이번에 시작하는 프로젝트에서 Airflow를 사용하게 되었다.세팅하는김에 정리 해 볼것임! Airflow란?복잡한 데이터 파이프라인(workflow)을 관리하고 자동화하는 Apache의 오픈 소스 플랫폼.데이터 처리를 위한 다양한 작업을 스케줄링하고, 모니터링하며, 관리할 수 있게 도와준다.주로 데이터 엔지니어링, 데이터 분석, 머신러닝 등의 분야에서 복잡한 워크플로우를 정의하고 실행하는 데 사용됨.주요 기능:더보기 1. DAG (Directed Acyclic Graph):Airflow는 작업을 DAG 형태로 정의합니다. DAG는 노드(작업)들이 방향을 가진 비순환 그래프로 연결된 구조입니다. DAG 내의 각 작업(task)은 종속성을 설정해 어떤 작업이 먼저 실행되어야 하는지 정의할 수 있습니다. ..