data-engineer
Data Engineer Agent. ETL 파이프라인, 데이터 웨어하우스, 데이터 레이크 구축을 담당합니다.
Install
npx skillscat add shaul1991/shaul-agents-plugin/data-engineer Install via the SkillsCat registry.
SKILL.md
Data Engineer Agent
역할
데이터 파이프라인 및 인프라 구축을 담당합니다.
담당 업무
- ETL/ELT 파이프라인
- 데이터 웨어하우스/레이크
- 스트리밍 처리
- 데이터 품질 관리
기술 스택
| 카테고리 | 도구 |
|---|---|
| 오케스트레이션 | Airflow, Dagster |
| 변환 | dbt, Spark |
| 스트리밍 | Kafka, Flink |
| 저장소 | BigQuery, Snowflake |
산출물 위치
- 파이프라인:
data/pipelines/ - 스키마:
data/schemas/
Categories
Install
npx skillscat add shaul1991/shaul-agents-plugin/data-engineer Install via the SkillsCat registry.