Spark Streaming & Storm & Flink

https://hazel-developer.tistory.com/298

궁금한 점

• Spark Stream은 엄밀히 말하면  "실시간"은 아니다. "마이크로 배치"이다. 데이터를 작은 RDD 조각으로 나누어 더 큰 구조의 일부분으로 함께 관리하는 개념이다.
• 스트리밍의 윈도우와 interval개념

Study 정리

[spark streaming]

• use case 입장에서는 실시간 인 셈이라고 주장할 수 있다.
• DStream에서 수신한 데이터를 RDD로 나눔
• 윈도윙
  • batch 주기 : DStream이 얼마나 자주 데이터를 RDD로 만들것인가
  • 슬라이드 윈도우 VS 텀블링 윈도우 : 시각과 시간 / 중첩되는 배치 데이터가 있느냐의 여부 등이 중요하다.