본문 바로가기

분류 전체보기7

PostgreSQL 과 MySQL 특징 및 성능 비교 안정적인 서비스 구축을 위해서는 여러 가지 요소가 뒷받침되어야 하지만 그중 중요한 요소 중 하나는 DB(데이터베이스)입니다. 사용자에게 최적화된 정보를 제공하기 위해서 회원 정보를 저장하거나 사용자가 원하는 데이터를 제공하기 위해 데이터를 저장하는 등 서비스에서 DB의 역할은 큰 비중을 차지하고 있습니다. 웹사이트 검색, 구인 공고 등 여러 가지 기준을 통하여 DB에 대한 각종 통계를 만들어주는 db-engines 에는 현재 385개의 DB에 대한 통계를 내고 있습니다. DB-Engines RankingPopularity ranking of database management systems.db-engines.com 2025년 5월을 기준으로 전통의 RDBMS 들이 강세를 보이는 것을 알 수 있습니.. 2025. 5. 23.
[2025-05-09] OpenDate Release note 🚀 주요 변경 사항 (What's New) 📂 ☁️ 워드클라우드 기능 강화주식별 감성분석, 공기분석, 텍스트마이닝, 네트워크분석 등 다양한 분석 기능을 워드클라우드에 새롭게 추가하여 데이터 해석의 폭을 넓혔습니다.🛠 차트 에러 개선데이터 유무에 따라 간헐적으로 발생하던 차트 오류를 수정하여, 보다 안정적으로 차트가 표시되도록 개선했습니다. 🛠 성능 개선 (Improvements) ⚡️ 워드클라우드 분석 속도 개선워드클라우드의 분석 처리 속도를 최적화하여, 대용량 데이터도 빠르게 분석할 수 있도록 성능을 향상시켰습니다. 🔍 과거/의안 탭 검색 편의성 개선 과거 일 탭과 의안 탭에서 입력한 검색어가 내용과 완전히 일치하지 않아도 관련 결과를 쉽게 찾을 수 있도록 검색 기능을 개선했습니다.🖱 UI.. 2025. 5. 9.
AI를 제조업에서 사용하다면? (feat. Cropper) 안녕하세요! 데이터로 일하는 데이터엔지니어스랩입니다.👋👋 인공지능은 이미 우리 삶에 많은 변화를 가져다주었습니다. 이제는 ChatGPT가 없이는 업무를 할 수 없을 정도로 자신의 라이프스타일과 환경에 맞추어 사용하는 개인이 늘어나고 있습니다. 이를 증명하듯 수많은 활용 강좌와 팁 그리고 영상이 홍수를 이루고 있습니다. 그에 맞춰서 AI를 업무에 사용하려는 다양한 시도들도 함께 일어나고 있고 많은 분야에서 이미 높은 효율과 높은 생산율을 보여주고 있고 실제로 검증된 사례도 흔하지 않게 볼 수 있습니다. 하지만 여전히 해결해야 할 문제들도 존재합니다. 대표적으로 불확실한 보안 문제를 가지고 있습니다. AI는 사전 학습된 데이터를 기반으로 추론하여 답변을 생성합니다. 이 과정에서 의도치 않게 우리의 데.. 2025. 5. 9.
[2025-04-18] OpenDate Release note 🚀 주요 변경 사항 (What's New) 📂 사이드바 접기 & 튜토리얼 연동 버그 수정 사이드바 접기 기능 사용시 OpenDate 화면의 튜토리얼에서 발생하는 에러를 수정했습니다.▶️ 날짜 자동 진행(플레이) 버튼 버그 수정날짜 자동 진행 버튼 추가로 발생했던 에러를 수정하여 안정성을 개선했습니다. 📉 주식 데이터 미포함 조회 시 차트 오류 수정주식 데이터가 없는 경우에도 연관 차트(Candle, WordCloud, Line 등)가 정상적으로 표시되도록 수정했습니다.🗂 OpenDate 페이지 조회 및 차트 버그 픽스OpenDate 페이지에서 데이터 조회 및 차트 표시 과정에서 발견된 다양한 이슈를 테스트 및 수정하여, 전반적인 안정성을 높였습니다.🎨 테이블 차트 페이지당 행 선택 UI 개선 .. 2025. 4. 18.
[2025-03-27] OpenDate Release note 🚀 주요 변경 사항 (What's New) 📊 테이블 차트 추가 테이블 차트를 새롭게 추가하여 데이터를 일목요연하게 확인하는 것이 가능해졌습니다.📜 과거 이슈 & 의안 검색 기능 추가 사용자가 과거 이슈와 의안을 쉽게 검색할 수 있는 기능이 추가되었습니다. 🔄 새로고침을 통한 이슈 탐색 과거 이슈 탭에서 새로고침 버튼을 통해 랜덤하게 띄워지는 다른 이슈를 탐색할 수 있는 기능을 추가했습니다. 📂 사이드바 접기 기능 도입 작업 화면의 공간 활용도를 높일 수 있도록 사이드바를 접는 기능을 추가했습니다. 🎨 OpenDate 화면 UI 개선 배색, 레이아웃, 아이콘 디자인을 전반적으로 변경하여 사용자 인터페이스를 개선했습니다. 📈 차트 정렬 기능 추가 차트 정렬 기능을 통해 사용자가 차트를 손쉽게.. 2025. 4. 18.
데이터 파이프라인 모니터링 시스템 구축 안녕하세요! 데이터로 일하는 데이터엔지니어스랩입니다👋👋​지난번에 미세먼지 데이터 수집에 대해 포스팅했었는데요, 데이터엔지니어스랩은 사내 DB에 미세먼지 데이터를 포함한 많은 데이터를 파이프라인을 통해 수집하고 있습니다. 데이터들이 항상 정상적으로 수집되면 좋겠지만 그렇지 않은 경우도 종종 있었습니다. ​파이프라인의 숫자가 적었을 때는 일일이 체크하는 것이 쉬웠지만 그 숫자가 점점 증가하면서 작업이 점점 부담되기 시작했습니다. 그래서 이를 해결하기 위해 모니터링 시스템을 구축하기로 했습니다. 오늘은 저희가 구축했던 파이프라인 모니터링 시스템 구축하며 겪었던 경험을 공유해 드리려고 합니다. 문제 상황 인식  기존에는 데이터 수집이 잘 되고 있는지, 수집이 안 되는 원인 파악을 매주 금요일 Airflow .. 2025. 4. 4.