SLASH 23 - 은행 데이터플랫폼 오픈소스로 전환하기 (Airflow, HDFS, Spark)

- 마트 이관 방법

- HDFS 를 데이터 마트로 사용

- Oracle -> Impala -> Spark 로 변환

 

 

 

 

 

개선 전

- 하둡에 쌓고, 또 Oracle Exa 에 옮기는 불필요한 분산이 존재

 

 

 

 

 

 

 

 

 

 

 

 

- 대부분 PK 만 지원하면 되어서 하둡 사용

 

 

 

 

 

 

 

- XStream API 사용함. 2.8 차이남

 

- update 이후에 것만 가져갈 수 있도록 하는 것이 ETL 성능에 도움이 된다.