7. Dataflow Orchestration

 

1. Orchestration

  1. 테스크 스케줄링
  2. 분산 실행
  3. 테스크간 의존성 관리

2. Why Orchestration?

  1. 서비스가 커지면서 데이터 플랫폼의 복잡도가 커짐
  2. 데이터가 사용자와 직접 연관되는 경우가 많음
  3. 테스크 각각의 중요성이 커짐
  4. 테스크간 의존성 발생