전체 글149 [Elasticsearch] 2. 엘라스틱서치 기본 동작과 구조 기본 실습 1. 문서 색인 PUT POST 2. 문서 조회 GET 3. 문서 업데이트 POST _version, _seq_no 그대로임 4. 문서 검색 GET { "query":{ "match": { "stock": "3" } } } w전용 DSL(domain specific languag) 을 제공 GET, POST 둘 다 제공하는데, 각 상황 철학에 맞는 엔드포인트 사용하면됨 문서를 분석해서 역색인을 만들고 검색어 분석해서 유사도 높은 문서를 찾는다 문서가 복수 검색됨 _score 에서 유사도 점수 확인 가능 5. 문서 삭제 DELETE result 가 deleted 로 온다 2024. 1. 26. [Elasticsearch] 1. 엘라스틱 서치란? 역사 2010년 2월 샤이 배논이 아파치의 루씬 라이브러리를 기반으로 만든 분산 검색 엔진 → 루씬은 중요한 역할을 하니 기억할 것 2012년에 설립한 엘라스틱에서 관리 2013년 키바나, 로그스태시가 엘라스틱에 합류 2015년 비츠가 합류하면서 엘라스택 스택 완성 소개 검색 엔진 분야에서 가장 각광받고 있는 시스템 분산 처리나 고가용성, 수평적 확장성 등 엔터프라이즈 영역에 필요한 주요 기능을 제공 데이터 수집부터 시각화를 위한 플랫폼 구축까지 한번에 소화할 수 있어 인기가 많음 JSON 기반 문서 자정, 색인 NoSQL 스토리지 성격도 가지고 있음 주요 개념 루씬 데이터를 색인하고 검색 기능을 제공하는 검색 엔진의 코어 라이브러리 엘라스틱 서치는 루씬을 코어로 이용해 JSON 문서 저장, 색인, 검색.. 2024. 1. 26. SLASH 23 - 실시간 시세 데이터 안전하고 빠르게 처리하기 (Redis Pub/Sub) TR;DR - Kafka 대신 Redis pub/sub 사용함 (카프카가 지연시간 길었음) 2023. 10. 10. SLASH 22 - 토스증권 실시간 시세 적용기 (Kafka, WebSocket) TL;DR - 웹소켓을 사용해 실시간 정보를 제공한다. (풀링 방식 사용 고려했으나 취소) - 연결 정보는 Redis 에 넣는다. - Kafka Acks 는 1을 사용해서 속도를 높이고, 프로듀서 컨슈머 양쪽 고려해 가장 빠른 lz4 를 사용한다. - WebSocket Connection Leak 은 정상 종료 외 비정상 종료 시에도 연결 끊어줘야한다. - 에러 코드일 때도 닫아줘야한다. 2023. 10. 10. SLASH 23 - 은행 데이터플랫폼 오픈소스로 전환하기 (Airflow, HDFS, Spark) - 마트 이관 방법 - HDFS 를 데이터 마트로 사용 - Oracle -> Impala -> Spark 로 변환 개선 전 - 하둡에 쌓고, 또 Oracle Exa 에 옮기는 불필요한 분산이 존재 - 대부분 PK 만 지원하면 되어서 하둡 사용 - XStream API 사용함. 2.8 차이남 - update 이후에 것만 가져갈 수 있도록 하는 것이 ETL 성능에 도움이 된다. 2023. 10. 10. Slash2023 - 토스ㅣSLASH 23 - Kafka 이중화로 다양한 장애 상황 완벽 대처하기 TL;DR 카프카는 토스에서 핵심 기술로 사용되고 있음(금융 관련 정보 제공, 모든 로그 수집, CDC) 쿼리만으로 실시간 프로세싱이 가능한 ksqlDB 사용 중 Active-Active 로 IDC 이중화하여 DR 시스템 구축 Kafka Connect + Offset Sync로 Kafka 이중화 구성 많은 부분을 자동화해서 사용 중이다 (이중화 토픽들 자동 생성) 카프카로 입수하는 정보 서비스 간 비동기 통신 클라이언트, 서버 네트워크 보안 장비 시스템 로그 서비스 데이터로그 CDC 안정적인 카프카 운영 방법 1. 장애 발생 징후 미리 감지 2.장애 발생 시 대응 시나리오 잘 갖추기 장애 종류 1. 카프카 클러스터 내 일부 노드 장애 -> 카프카는 분산 시스템이라 가용성 해치지 않고 서비스 유지됨, 극복.. 2023. 10. 10. [if(kakao)2022] 카프카, 대규모 클러스터 운영 후기 정리 TL;DR - 카카오 카프카 클러스터는 초당 1,800만 건 메시지를 처리한다. - 주키퍼는 홀수 구성하는 게 좋고 5대 구성하는 것이 좋다. - Non-Raid 를 사용해 디스크 독립 구성을 한다. - 기본적으로 토픽 리텐션은 3일(주말 대비), 토픽 별로 따로 관리하는 경우도 있다. - 소량의 메시지 소실을 감안하고 빠른 장애 복구를 최우선으로 클러스터를 구성한다. - 메트릭 정보는 프로메테우스에 저장해 그라파나로 시각화한다. - 로그는 파일피트로 수집 후 나이파이로 재처리 후 엘라스틱서치로 저장 후 키바나로 시각화한다. - Kraft Mode 도입을 아직, 4.x부터 도입 예정. - 2018년 처음 클러스터 소개 - 데이터 흐름을 모아주는 실시간 분산 스트리밍 플랫폼 - 전체 1.5조 메시지 - 초.. 2023. 9. 29. [카프카] Rebalancing Rebalancing? 컨슈머 그룹에 속한 컨슈머들은 특정 파티션에 대한 소유권을 갖고 있음. (중복 소유x) 따라서 컨슈머에 변동이 있거나, 파티션에 변동이 있으면 이 소유권을 재조정하는데 이 과정이 Rebalancing. 과정 2023. 9. 6. JUMPIT TO BACK - END Session1 - 중요한 건 인터페이스야 https://www.youtube.com/watch?v=qI4zF0GfEW0 정리 문제 1: FE ↔︎BE 현상 API는 많은 과정을 거쳐 완성됨. 문제는 완성 후 수정되는 경우가 적지 않게 발생함. 원인 해결 - FE, BE 개발자가 설계를 같이한다. 문제 2: 개발자 ↔︎ 디자이너 현상 디자이너의 의도와 다르게 산출물이 개발되는 경우가 있음. 원인 개발자들도 참여해야한다. 해결 빠르게 와이어프레임 만들어서 공유하고 피드백을 주고 받음 문서에 빠진 맥락을 서로 공유할 수 있게됨 문제 3: 서비스 제공자 ↔︎ 고객 현상 원인 해결 나와 고객은 다르다는 걸 인정하라 제품을 만들지 않고 고객의 반응을 확인해보는 것 나무 모형을 꾸며 실제 흉내 내보는 것 사전 신청 이미 존재하는 도구를 이용해서 시도 설문 .. 2023. 9. 2. [Web] Search Engine Optimization 검색 등록 네이버 웹마스터: https://searchadvisor.naver.com 구글 검색: https://search.google.com/search-console 헤더에 메타 정보 설정 Ben의 블로그 로봇 설정 robots.txt 작성 후 root에 호스팅 공개 사이트면 모두 허용 User-agent: * Allow:/ Sitemap sitemap.xml 작성 후 root에 호스팅 사이트 내 페이지를 나열 https://ben.com/ 2023-07-28T18:15:38+00:00 1.00 https://ben.com/about 2023-07-28T18:15:38+00:00 0.80 2023. 7. 30. 이전 1 ··· 4 5 6 7 8 9 10 ··· 15 다음
