n8n2 데이터 파이프라인 모니터링 시스템 구축 안녕하세요! 데이터로 일하는 데이터엔지니어스랩입니다👋👋지난번에 미세먼지 데이터 수집에 대해 포스팅했었는데요, 데이터엔지니어스랩은 사내 DB에 미세먼지 데이터를 포함한 많은 데이터를 파이프라인을 통해 수집하고 있습니다. 데이터들이 항상 정상적으로 수집되면 좋겠지만 그렇지 않은 경우도 종종 있었습니다. 파이프라인의 숫자가 적었을 때는 일일이 체크하는 것이 쉬웠지만 그 숫자가 점점 증가하면서 작업이 점점 부담되기 시작했습니다. 그래서 이를 해결하기 위해 모니터링 시스템을 구축하기로 했습니다. 오늘은 저희가 구축했던 파이프라인 모니터링 시스템 구축하며 겪었던 경험을 공유해 드리려고 합니다. 문제 상황 인식 기존에는 데이터 수집이 잘 되고 있는지, 수집이 안 되는 원인 파악을 매주 금요일 Airflow .. 2025. 4. 4. n8n에서 파이썬(Python)을 활용하여 데이터파이프라인 구축하기 안녕하세요! 데이터로 일하는 데이터엔지니어스랩입니다👋👋 데이터로 일하기 위해서는 문제 정의, 데이터 분석, 해석 능력 등이 필요하지만, 그중 가장 중요한 것은 데이터 수집입니다. 오늘은 데이터 수집을 하는 방법의 하나인 n8n 과 공공데이터포털의 open API를 사용하여 데이터를 수집하는 방법을 소개합니다. 먼저 n8n 과 open api 에 대해 간단히 살펴본 다음 데이터 수집 방법을 소개해 드리겠습니다.보통 n8n은 업무 자동화 및 워크플로우 개선을 위해 많이 사용하고 있습니다. 그러나 기능을 확장하여 데이터 파이프라인의 역할을 기대할수 있습니다. n8n 이란?n8n 이란 node와 automation을 합친 단어인 nodemation 의 줄임말로, 컨테이너 오케스트레이션 도구 중 하나인 ku.. 2025. 3. 28. 이전 1 다음
