Tech lab10 PostgreSQL 과 MySQL 특징 및 성능 비교 안정적인 서비스 구축을 위해서는 여러 가지 요소가 뒷받침되어야 하지만 그중 중요한 요소 중 하나는 DB(데이터베이스)입니다. 사용자에게 최적화된 정보를 제공하기 위해서 회원 정보를 저장하거나 사용자가 원하는 데이터를 제공하기 위해 데이터를 저장하는 등 서비스에서 DB의 역할은 큰 비중을 차지하고 있습니다. 웹사이트 검색, 구인 공고 등 여러 가지 기준을 통하여 DB에 대한 각종 통계를 만들어주는 db-engines 에는 현재 385개의 DB에 대한 통계를 내고 있습니다. DB-Engines RankingPopularity ranking of database management systems.db-engines.com 2025년 5월을 기준으로 전통의 RDBMS 들이 강세를 보이는 것을 알 수 있습니.. 2025. 5. 23. AI를 제조업에서 사용하다면? (feat. Cropper) 안녕하세요! 데이터로 일하는 데이터엔지니어스랩입니다.👋👋 인공지능은 이미 우리 삶에 많은 변화를 가져다주었습니다. 이제는 ChatGPT가 없이는 업무를 할 수 없을 정도로 자신의 라이프스타일과 환경에 맞추어 사용하는 개인이 늘어나고 있습니다. 이를 증명하듯 수많은 활용 강좌와 팁 그리고 영상이 홍수를 이루고 있습니다. 그에 맞춰서 AI를 업무에 사용하려는 다양한 시도들도 함께 일어나고 있고 많은 분야에서 이미 높은 효율과 높은 생산율을 보여주고 있고 실제로 검증된 사례도 흔하지 않게 볼 수 있습니다. 하지만 여전히 해결해야 할 문제들도 존재합니다. 대표적으로 불확실한 보안 문제를 가지고 있습니다. AI는 사전 학습된 데이터를 기반으로 추론하여 답변을 생성합니다. 이 과정에서 의도치 않게 우리의 데.. 2025. 5. 9. 데이터 파이프라인 모니터링 시스템 구축 안녕하세요! 데이터로 일하는 데이터엔지니어스랩입니다👋👋지난번에 미세먼지 데이터 수집에 대해 포스팅했었는데요, 데이터엔지니어스랩은 사내 DB에 미세먼지 데이터를 포함한 많은 데이터를 파이프라인을 통해 수집하고 있습니다. 데이터들이 항상 정상적으로 수집되면 좋겠지만 그렇지 않은 경우도 종종 있었습니다. 파이프라인의 숫자가 적었을 때는 일일이 체크하는 것이 쉬웠지만 그 숫자가 점점 증가하면서 작업이 점점 부담되기 시작했습니다. 그래서 이를 해결하기 위해 모니터링 시스템을 구축하기로 했습니다. 오늘은 저희가 구축했던 파이프라인 모니터링 시스템 구축하며 겪었던 경험을 공유해 드리려고 합니다. 문제 상황 인식 기존에는 데이터 수집이 잘 되고 있는지, 수집이 안 되는 원인 파악을 매주 금요일 Airflow .. 2025. 4. 4. n8n에서 파이썬(Python)을 활용하여 데이터파이프라인 구축하기 안녕하세요! 데이터로 일하는 데이터엔지니어스랩입니다👋👋 데이터로 일하기 위해서는 문제 정의, 데이터 분석, 해석 능력 등이 필요하지만, 그중 가장 중요한 것은 데이터 수집입니다. 오늘은 데이터 수집을 하는 방법의 하나인 n8n 과 공공데이터포털의 open API를 사용하여 데이터를 수집하는 방법을 소개합니다. 먼저 n8n 과 open api 에 대해 간단히 살펴본 다음 데이터 수집 방법을 소개해 드리겠습니다.보통 n8n은 업무 자동화 및 워크플로우 개선을 위해 많이 사용하고 있습니다. 그러나 기능을 확장하여 데이터 파이프라인의 역할을 기대할수 있습니다. n8n 이란?n8n 이란 node와 automation을 합친 단어인 nodemation 의 줄임말로, 컨테이너 오케스트레이션 도구 중 하나인 ku.. 2025. 3. 28. 이전 1 2 다음
