빅데이터5 [2025-05-09] OpenDate Release note 🚀 주요 변경 사항 (What's New) 📂 ☁️ 워드클라우드 기능 강화주식별 감성분석, 공기분석, 텍스트마이닝, 네트워크분석 등 다양한 분석 기능을 워드클라우드에 새롭게 추가하여 데이터 해석의 폭을 넓혔습니다.🛠 차트 에러 개선데이터 유무에 따라 간헐적으로 발생하던 차트 오류를 수정하여, 보다 안정적으로 차트가 표시되도록 개선했습니다. 🛠 성능 개선 (Improvements) ⚡️ 워드클라우드 분석 속도 개선워드클라우드의 분석 처리 속도를 최적화하여, 대용량 데이터도 빠르게 분석할 수 있도록 성능을 향상시켰습니다. 🔍 과거/의안 탭 검색 편의성 개선 과거 일 탭과 의안 탭에서 입력한 검색어가 내용과 완전히 일치하지 않아도 관련 결과를 쉽게 찾을 수 있도록 검색 기능을 개선했습니다.🖱 UI.. 2025. 5. 9. [2025-04-18] OpenDate Release note 🚀 주요 변경 사항 (What's New) 📂 사이드바 접기 & 튜토리얼 연동 버그 수정 사이드바 접기 기능 사용시 OpenDate 화면의 튜토리얼에서 발생하는 에러를 수정했습니다.▶️ 날짜 자동 진행(플레이) 버튼 버그 수정날짜 자동 진행 버튼 추가로 발생했던 에러를 수정하여 안정성을 개선했습니다. 📉 주식 데이터 미포함 조회 시 차트 오류 수정주식 데이터가 없는 경우에도 연관 차트(Candle, WordCloud, Line 등)가 정상적으로 표시되도록 수정했습니다.🗂 OpenDate 페이지 조회 및 차트 버그 픽스OpenDate 페이지에서 데이터 조회 및 차트 표시 과정에서 발견된 다양한 이슈를 테스트 및 수정하여, 전반적인 안정성을 높였습니다.🎨 테이블 차트 페이지당 행 선택 UI 개선 .. 2025. 4. 18. [2025-03-27] OpenDate Release note 🚀 주요 변경 사항 (What's New) 📊 테이블 차트 추가 테이블 차트를 새롭게 추가하여 데이터를 일목요연하게 확인하는 것이 가능해졌습니다.📜 과거 이슈 & 의안 검색 기능 추가 사용자가 과거 이슈와 의안을 쉽게 검색할 수 있는 기능이 추가되었습니다. 🔄 새로고침을 통한 이슈 탐색 과거 이슈 탭에서 새로고침 버튼을 통해 랜덤하게 띄워지는 다른 이슈를 탐색할 수 있는 기능을 추가했습니다. 📂 사이드바 접기 기능 도입 작업 화면의 공간 활용도를 높일 수 있도록 사이드바를 접는 기능을 추가했습니다. 🎨 OpenDate 화면 UI 개선 배색, 레이아웃, 아이콘 디자인을 전반적으로 변경하여 사용자 인터페이스를 개선했습니다. 📈 차트 정렬 기능 추가 차트 정렬 기능을 통해 사용자가 차트를 손쉽게.. 2025. 4. 18. 데이터 파이프라인 모니터링 시스템 구축 안녕하세요! 데이터로 일하는 데이터엔지니어스랩입니다👋👋지난번에 미세먼지 데이터 수집에 대해 포스팅했었는데요, 데이터엔지니어스랩은 사내 DB에 미세먼지 데이터를 포함한 많은 데이터를 파이프라인을 통해 수집하고 있습니다. 데이터들이 항상 정상적으로 수집되면 좋겠지만 그렇지 않은 경우도 종종 있었습니다. 파이프라인의 숫자가 적었을 때는 일일이 체크하는 것이 쉬웠지만 그 숫자가 점점 증가하면서 작업이 점점 부담되기 시작했습니다. 그래서 이를 해결하기 위해 모니터링 시스템을 구축하기로 했습니다. 오늘은 저희가 구축했던 파이프라인 모니터링 시스템 구축하며 겪었던 경험을 공유해 드리려고 합니다. 문제 상황 인식 기존에는 데이터 수집이 잘 되고 있는지, 수집이 안 되는 원인 파악을 매주 금요일 Airflow .. 2025. 4. 4. n8n에서 파이썬(Python)을 활용하여 데이터파이프라인 구축하기 안녕하세요! 데이터로 일하는 데이터엔지니어스랩입니다👋👋 데이터로 일하기 위해서는 문제 정의, 데이터 분석, 해석 능력 등이 필요하지만, 그중 가장 중요한 것은 데이터 수집입니다. 오늘은 데이터 수집을 하는 방법의 하나인 n8n 과 공공데이터포털의 open API를 사용하여 데이터를 수집하는 방법을 소개합니다. 먼저 n8n 과 open api 에 대해 간단히 살펴본 다음 데이터 수집 방법을 소개해 드리겠습니다.보통 n8n은 업무 자동화 및 워크플로우 개선을 위해 많이 사용하고 있습니다. 그러나 기능을 확장하여 데이터 파이프라인의 역할을 기대할수 있습니다. n8n 이란?n8n 이란 node와 automation을 합친 단어인 nodemation 의 줄임말로, 컨테이너 오케스트레이션 도구 중 하나인 ku.. 2025. 3. 28. 이전 1 다음
