Cache & Persist

cache persist 명령 넣으면 내부에 어떻게 되는지,

cache = persist(mem)임, 완전히 동일.

이후 persist할 때 sc의 persistentRdds에 추가하고, 나중에 computation할때 값을 참조함

unpersist할 때는 blockmanager에서 제거하고, persistentRdd에서 뺀 후 listenerBus에 다 지우라고 명

Last updated