본문 바로가기

분류 전체보기148

[DB] Slow query 개선, 인덱스 추가 WIP 인덱스 - 추가적인 저장 공간을 활용하여 데이터베이스 테이블의 검색 속도를 향상시키기 위한 자료구조 인덱스 장점 - 최적화된 인덱스는 조회 속도를 매우 높일 수 있다. 인덱스 주의 - 인덱싱에 필요한 추가 저장 공간이 필요하다. - 결합 인덱스일 경우, 모두 일치해야 인덱스가 동작한다. 고려사항 - 모니터링을 통해 Slow 쿼리를 먼저 분석한다 (e.g. AWS RDS Performance Insight) - 카디널리티가 보통 높으면 좋다. 다만 카디널리티가 높더라도 선택성이 낮으면 지정할만 하다. 2024. 4. 2.
[Kubernetes] Failed to pull image “no matching manifest for linux/arm64/v8 in the manifest list entries 원인도커 이미지가 노드 아키텍처를 지원하지 않아 이미지를 받아올 수 없음 해결 방법1. 멀티 플랫폼 지원platforms 에 플랫폼을 명시한다. 다만 플랫폼 별 이미지를 만들기 때문에 시간이 빌드 시간이 오래걸린다.platforms: linux/amd64, linux/arm64/v8 2. node-select 혹은 affinity 설정  (노드 아키텍처 타입이 여러개일 때)특정 아키텍처 노드에만 Pod이 스케줄링되도록 구성할 수 있다. node-select 예시apiVersion: apps/v1kind: Deploymentmetadata: name: example-deploymentspec: replicas: 3 selector: matchLabels: app: example tem.. 2024. 3. 31.
[Grafana] 그라파나란? 간단한 구성과 실습 Grafana? - 오픈소스 메트릭 데이터 시각화 도구, 메트릭 분석 플랫폼 - 다양한 빅테크 기업에서 시각화 도구로 사용하고 있다. 특징 (ChatGPT) 1. 다양한 데이터 소스 지원 그라파나는 여러 다양한 데이터 소스를 지원합니다. 예를 들어, Prometheus, InfluxDB, Elasticsearch, MySQL, PostgreSQL, Microsoft SQL Server 등 다양한 데이터베이스 및 시계열 데이터베이스와 통합할 수 있습니다. 2. 시각적 대시보드 라파나는 다양한 차트, 그래프, 테이블 등을 이용하여 데이터를 시각적으로 표현할 수 있는 대시보드를 제공합니다. 이를 통해 데이터의 변화 및 추이를 쉽게 파악할 수 있습니다. 3. 경고 및 알림 그라파나는 사용자가 정의한 임계값을 기.. 2024. 3. 27.
[재미] 워터게이트 사건 (언론사상 최대 특종) - 언론사상 최대 특종으로 뽑히는 워터게이트 사건, 우드스타인(우드워드와 번스타인) 듀오, 배리 서스먼 편집장에 의해 보도되었다. (https://zdnet.co.kr/view/?no=20220609150425) - 닉슨 대통령의 재선을 위해 상대 정당 공간에 도청장치를 설치하려는 시도가 있었으며 Bob Woodward와 Carl Bernstein이 이를 보도했다. - 닉슨 대통령은 이 결과로 재선 후 2년 뒤 사임하게 된다. - 우드워드가 취재해오면 번스타인이 퍼즐을 맞추는 식으로 취재가 진행되었다. )https://www.chosun.com/site/data/html_dir/2018/09/07/2018090700253.html) - 비밀 취재원 딥스트로(본명 마크 팰트)의 도움을 받았다. (https.. 2024. 3. 23.
Illegal mix of collations (latin1_swedish_ci,IMPLICIT) and (utf8mb4_general_ci,COERCIBLE) for operation '=' SET collation_connection = 'utf8_general_ci'; ALTER DATABASE your_database_name CHARACTER SET utf8 COLLATE utf8_general_ci; ALTER TABLE your_table_name CONVERT TO CHARACTER SET utf8 COLLATE utf8_general_ci; 2024. 3. 15.
[Elasticsearch] 3. 인덱스 설계 (Template, Routing) 3.4 템플릿 템플릿의 필요성 운영하다 보면 수시로 많은 양의 유사한 구조를 가진 인덱스를 생성해야 할 때가 많다. 매번 인덱스 매핑 설정값을 지정하는 건 수고가 많이 들어간다. 템플릿을 사용하면 재사용할 수 있으므로, 업무 효율을 향상시키고 반복 작업을 줄일 수 있다. 또 사람의 실수를 줄일 수 있다. 3.4.1 인덱스 템플릿 https://www.elastic.co/guide/en/elasticsearch/reference/current/index-templates.html PUT _index_template/template_1 { "index_patterns": ["te*", "bar*"], "priority": 1, "template": { "settings": { "number_of_shards.. 2024. 3. 13.
[Elasticsearch] 3. 인덱스 설계 (Analyzer, Tokenizer) TL;DR- 애널라이저: 문장이 들어오면 변형, 필터링을 거쳐 의도한 Term 단위로 저장할 때 사용함- 캐릭터 필터: HTML 와 같은 포맷에서 필요한 문장만 뽑아냄- 토크나이저: 문장을 원하는 방식으로 쪼갬- 토큰 필터: 불용어, 공백 등 토크나이징된 결과물 중 필요없는 단어 제거- 애널라이저는 캐릭터 필터, 토크나이저, 토큰 필터로 구성된다.- 노말라이저는 키워드 타입에 적용 가능하므로, 토크나이저가 없다. (키워드는 토크나이징을 거치지 않는다) 3.3 애널라이저와 토크나이저의미들어온 문자열에 변형을 가해 분석 완료된 “텀”을 얻는다.구성캐릭터 필터0개 이상문자열 변형토크나이저1개토큰 쪼개기토큰 필터0개 이상토큰 변형3.3.1 analyze API애널라이저와 각 구성 요소 동작을 쉽게 테스트할 수 .. 2024. 3. 13.
[Elasticsearch] 3. 인덱스 설계 (설정, 맵핑, doc_values, _source) TL;DR 인덱스 설계에 신경써야 하는 이유 설정에 따라 동작과 특성이 매우 달라진다. 인덱스 설정은 직접해야한다. 문서 생성으로 자동x 3.1 인덱스 설정 인덱스 확인 GET my_index/_settings 3.1.1 number_of_shards 이 인덱스가 데이터를 몇 개의 샤드로 쪼갤 것인지 지정하는 값 주의 한 번 지정하면 reindex 같은 동작을 통해 인덱스를 통쨰로 재색인하는 등 특별한 작업을 수행하지 않는 한 바꿀 수 없다. 클러스터에 샤드 숫자가 너무 많아지면 클러스터 성능이 떨어진다. 운영 엘라스틱서치 7부터 1로 변경됨, 미만까지는 5였음 오버샤딩하는 경향을 확인해 기본값을 수정한 것 다만 실제 운영 환경에서 데이털르 담기 시작하면 반드시 이 값을 적절한 값으로 조정해야한다. 3... 2024. 3. 4.
[Node] Stream 이란 (실제 개선 예시) 짜집기한 글입니다. TL;DR - Stream은 데이터, 패킷 ,비트 등의 일련 연속성을 갖는 흐름을 의미하는데-음성,영상,데이터 등의 작은 조각들을 하나의 줄기를 이루어 전송하는 데이터열이다. - 스트림은 데이터를 청크 단위로 쪼개 처리해야 할 때 적절하게 사용할 수 있다. - Node Stream은 결국 EventEmitter의 인스턴스이다. 따라서 이벤트 핸들러를 작성할 수 있다. Stream 이란? Stream은 추상적인 개념으로 데이터를 통일된 방식으로 다루기 위한 가상의 개념이다. 큰 데이터를 다룰 때나, 외부 소스로부터 데이터를 가져올 때 chunk해서 가져온다. 종류 Writable: 데이터를 쓸 수 있는 스트림 쓸 수 있는 스트림(ex. fs.createWriteStream()) fs.c.. 2024. 2. 21.
[Elasticsearch] 2. 엘라스틱서치 기본 동작과 구조 기본 실습 1. 문서 색인 PUT POST 2. 문서 조회 GET 3. 문서 업데이트 POST _version, _seq_no 그대로임 4. 문서 검색 GET { "query":{ "match": { "stock": "3" } } } w전용 DSL(domain specific languag) 을 제공 GET, POST 둘 다 제공하는데, 각 상황 철학에 맞는 엔드포인트 사용하면됨 문서를 분석해서 역색인을 만들고 검색어 분석해서 유사도 높은 문서를 찾는다 문서가 복수 검색됨 _score 에서 유사도 점수 확인 가능 5. 문서 삭제 DELETE result 가 deleted 로 온다 2024. 1. 26.

티스토리툴바