Cache & Persist
cache persist 명령 넣으면 내부에 어떻게 되는지,
cache = persist(mem)임, 완전히 동일.
이후 persist할 때 sc의 persistentRdds에 추가하고, 나중에 computation할때 값을 참조함
unpersist할 때는 blockmanager에서 제거하고, persistentRdd에서 뺀 후 listenerBus에 다 지우라고 명
Last updated
cache persist 명령 넣으면 내부에 어떻게 되는지,
cache = persist(mem)임, 완전히 동일.
이후 persist할 때 sc의 persistentRdds에 추가하고, 나중에 computation할때 값을 참조함
unpersist할 때는 blockmanager에서 제거하고, persistentRdd에서 뺀 후 listenerBus에 다 지우라고 명
Last updated