• spark join, shuffle 최적화
• spark join에 대한 정리
• spark 공식문서
• Spark Internal Part 3. Spark SQL’s Catalyst Optimizer
• Spark SQL의 카탈리스트 옵티마이저
• spark shuffle partition과 최적화
• 효율적인 spark join 전략
• apache join strategy
• spark join strategy - how & what
• Map-Side Join in Spark

spark join

• 스파크는 왼쪽과 오른쪽 데이터셋에 있는 하나 이상의 키값을 비교

Spark에서 join을 수행하는 경우는 크게 두 가지로 나눌 수 있다. (1) 큰 테이블과 작은 테이블을 조인 또는 (2) 큰 테이블과 큰 테이블을 조인. Spark은 join을 수행하기 위해 Sort Merge Join, Broadcast Join, Shuffle Hash Join 등의 방법을 제공한다.

• 핵심 키워드 : sort merge join, shuffle hash join, broadcast join, straggler

spark 조인 시에 나올 수 있느 ㄴ여러 내부적인 이슈 특히, 메모리 에러의 근본적인 원인을 파악하고 스파크 잡의 성능을 향상할 수 있다.

조인타입

• 조인 표현식은 두 로우의 조인여부를 결정하는데
• 조인 타입은 결과 데이터셋에 어떤 데이터가 있어야 하는지 결정

1. 내부 조인 ( Inner Join )
   • 왼쪽과 오른쪽 데이터셋에 키가 있는 로우 유지