HOME

  • 원칙: 사용적 역동성, 유연성, 확장성
  • 파이썬 코드로 작성하여 스케줄 내용을 다양하게 사용할 수 있음. 나만의 오퍼레이터(operator)와 실행자(executor)를 쉽게 정의하고, 업무 환경의 추상화 레벨에 맞추어 라이브러리를 확장할 수 있다. 스크립트를 파라미터화하여 활용하려면 Jinja 템플릿 엔진을 이용하라. 메세지 큐를 이용해서 추상적인 작업자 수를 조정 지휘할 수 있다.
  • spark streaming 처럼 데이터를 직접 옮기는 것으로 착각하기 쉽습니다. 하지만 실제로는 meta data를 넘기는 것이므로 데이터를 변화시키지 않음.