전체 글(114)
-
Kibana 로그 파묘 및 부검 후, 사수님 양지바른 곳으로 매장(?)해드리기
> 이 글은 Elastic APM이 Kibana에 수집하는 데이터를 바탕으로, transaction 및 span 같은 주요 이벤트의 종류와 의미를 분석하며, 이를 통해 성능 병목 문제를 어떻게 확인하고 해결할 수 있는지에 대해 설명합니다. 또한, 실제 사례를 통해 문제가 발생한 원인을 추적하는 과정을 공유합니다.배경최근에 회사에서 검색을 개선하기 위해 저는 Elasticsearch 를 도입했었습니다.그래서 매번 Elasticsearch 관련 이슈가 생길때마다 항상 제가 도맡아 작업을 하게 됐는데,이러다 보니 팀원들에게 이제 Elastic? —> 채훈님? 이라는 인식이 강하게 박혀있던 찰나, 일이 생겼습니다.금주 개발 서버가 갑자기 원인 모를 이유로 매우 아파하는 이슈가 있었습니다.그리고 그럴때마다 항상 ..
2024.11.24 -
왜 Elasticsearch는 Java로 개발되었을까? Compass부터 Lucene까지
이 글은 팀원의 단순한 한마디 "왜 Elasticsearch 는 C 나 C++ 이 아니고 Java 로 개발했어요?성능을 고려한다면 Java 보단 다른게 좋지 않나?" 라는 의문에서 시작된 글입니다.Elasticsearch란?Elasticsearch is a search engine based on Apache Lucene. It provides a distributed, multitenant-capable full-text search engine with an HTTP web interface and schema-free JSON documents. 출처 : https://en.wikipedia.org/wiki/Elasticsearch#External_linksElasticsearch는 Apache L..
2024.11.10 -
MySQL에서 ElasticSearch로 대용량 데이터 마이그레이션: OFFSET vs PK 기반 커서 방식 비교
본 문서는 회사의 기존 RDB 에서 ElasticSearch 로의 데이터 마이그레이션 전략을 다룬 문서입니다!개발 환경JDK : 17 Spring Boot : 3.0.0 MySQL : 8.0.36ElasticSearch : 7.15.1 Spring Data ElasticSearch : 5.0.12배경ElasticSearch 설치 이후, 남은 작업은 국내 숙박 목적지 검색에 사용되었던 호텔, 지역 정보 데이터들을 ElasticSearch 로 옮겨야하는 데이터 마이그레이션 작업입니다. 그래서 이관에 앞서 숙박 목적지 검색에 사용되던 데이터들 총 마이그레이션 데이터의 양을 계산 해야 합니다.기존 목적지 검색 API 의 응답 형태는 다음과 같습니다.{ "regions" : [...], "hotels" : [...
2024.10.27 -
회사의 기존 인증/인가 시스템 유지보수 및 새로운 방안 도입
1. 배경과 한계저는 회사의 기존 인증/인가 시스템을 개선하기 위한 작업을 진행했습니다. 회사는 Spring Security를 사용해 인증/인가 시스템을 구축하려 했으나, 도입 과정에서 여러 문제에 직면했습니다. Spring Security는 강력한 기능을 제공하지만, 설정이 복잡하고 유지보수가 어려운 단점이 있었습니다.또한, 기존 전역 필터와 새롭게 도입하려는 Spring Security Filter Chain 간의 충돌 문제가 발생했습니다. 기존 시스템은 전역 필터를 통해 인증과 인가를 처리하고 있었고, 이 필터들이 Spring Security의 Security Context를 사용하고 있었습니다. 이로 인해 새로운 Spring Security Filter Chain과 충돌이 발생했고, 이를 해결하기..
2024.10.13 -
CTE: 장점과 단점, 그리고 가독성 문제에 대한 고찰
💡 본 글은 회사에서 CTE(Common Table Expression) 를 처음보고, 이에 대해 조사해본 글입니다!💡 CTE 문법은 ANSI 표준 중 일부라, 대부분의 DBMS 에서 지원하지만, 내부적으로 동작을 하는 방식은 DBMS 마다 다르니, 참고하세요! (ex. Postgre 에서 CTE는 무조건 Using Temp 지만, MySQL 은 Execution Plan 에 따라 다릅니다! )CTE 의 기본 개념A common table expression (CTE) is a named temporary result set that exists within the scope of a single statement and that can be referred to later within that st..
2024.07.16 -
초보자를 위한 SSL/TLS 가이드: 무료와 유료 인증서의 차이점
1. SSL의 등장 배경과 역사인터넷이 상용화되면서 데이터 전송 과정에서 도청, 변호, 위변조의 위험성이 커졌습니다.예를 들어 사용자가 웹사이트에 로그인할 때 입력하는 ID 와 비밀번호가 중간에서 도청될 수 있습니다.이러한 보안 문제를 해결하기 위해 안전한 데이터 전송 방식의 필요성이 대두됐습니다.개인정보 보호 및 기밀성 유지인터넷에서 전송되는 데이터는 개인 정보나 금융 정보 등 민감한 정보를 포함할 수 있습니다. 이러한 정보가 유출되면 심각한 문제가 발생할 수 있기 때문에, 기밀성을 유지하는 것이 중요합니다.SSL의 탄생1994년, Netscape Communications는 이러한 문제를 해결하기 위해 SSL(Secure Sockets Layer) 프로토콜을 개발했습니다. SSL은 데이터 암호화를 통..
2024.06.10