본문 바로가기

전체 글157

[Kubernetes] Failed to pull image “no matching manifest for linux/arm64/v8 in the manifest list entries 원인도커 이미지가 노드 아키텍처를 지원하지 않아 이미지를 받아올 수 없음 해결 방법1. 멀티 플랫폼 지원platforms 에 플랫폼을 명시한다. 다만 플랫폼 별 이미지를 만들기 때문에 시간이 빌드 시간이 오래걸린다.platforms: linux/amd64, linux/arm64/v8 2. node-select 혹은 affinity 설정  (노드 아키텍처 타입이 여러개일 때)특정 아키텍처 노드에만 Pod이 스케줄링되도록 구성할 수 있다. node-select 예시apiVersion: apps/v1kind: Deploymentmetadata: name: example-deploymentspec: replicas: 3 selector: matchLabels: app: example tem.. 2024. 3. 31.
[Grafana] 그라파나란? 간단한 구성과 실습 Grafana? - 오픈소스 메트릭 데이터 시각화 도구, 메트릭 분석 플랫폼 - 다양한 빅테크 기업에서 시각화 도구로 사용하고 있다. 특징 (ChatGPT) 1. 다양한 데이터 소스 지원 그라파나는 여러 다양한 데이터 소스를 지원합니다. 예를 들어, Prometheus, InfluxDB, Elasticsearch, MySQL, PostgreSQL, Microsoft SQL Server 등 다양한 데이터베이스 및 시계열 데이터베이스와 통합할 수 있습니다. 2. 시각적 대시보드 라파나는 다양한 차트, 그래프, 테이블 등을 이용하여 데이터를 시각적으로 표현할 수 있는 대시보드를 제공합니다. 이를 통해 데이터의 변화 및 추이를 쉽게 파악할 수 있습니다. 3. 경고 및 알림 그라파나는 사용자가 정의한 임계값을 기.. 2024. 3. 27.
[재미] 워터게이트 사건 (언론사상 최대 특종) - 언론사상 최대 특종으로 뽑히는 워터게이트 사건, 우드스타인(우드워드와 번스타인) 듀오, 배리 서스먼 편집장에 의해 보도되었다. (https://zdnet.co.kr/view/?no=20220609150425) - 닉슨 대통령의 재선을 위해 상대 정당 공간에 도청장치를 설치하려는 시도가 있었으며 Bob Woodward와 Carl Bernstein이 이를 보도했다. - 닉슨 대통령은 이 결과로 재선 후 2년 뒤 사임하게 된다. - 우드워드가 취재해오면 번스타인이 퍼즐을 맞추는 식으로 취재가 진행되었다. )https://www.chosun.com/site/data/html_dir/2018/09/07/2018090700253.html) - 비밀 취재원 딥스트로(본명 마크 팰트)의 도움을 받았다. (https.. 2024. 3. 23.
Illegal mix of collations (latin1_swedish_ci,IMPLICIT) and (utf8mb4_general_ci,COERCIBLE) for operation '=' SET collation_connection = 'utf8_general_ci'; ALTER DATABASE your_database_name CHARACTER SET utf8 COLLATE utf8_general_ci; ALTER TABLE your_table_name CONVERT TO CHARACTER SET utf8 COLLATE utf8_general_ci; 2024. 3. 15.
[Elasticsearch] 3. 인덱스 설계 (Template, Routing) 3.4 템플릿 템플릿의 필요성 운영하다 보면 수시로 많은 양의 유사한 구조를 가진 인덱스를 생성해야 할 때가 많다. 매번 인덱스 매핑 설정값을 지정하는 건 수고가 많이 들어간다. 템플릿을 사용하면 재사용할 수 있으므로, 업무 효율을 향상시키고 반복 작업을 줄일 수 있다. 또 사람의 실수를 줄일 수 있다. 3.4.1 인덱스 템플릿 https://www.elastic.co/guide/en/elasticsearch/reference/current/index-templates.html PUT _index_template/template_1 { "index_patterns": ["te*", "bar*"], "priority": 1, "template": { "settings": { "number_of_shards.. 2024. 3. 13.
[Elasticsearch] 3. 인덱스 설계 (Analyzer, Tokenizer) TL;DR- 애널라이저: 문장이 들어오면 변형, 필터링을 거쳐 의도한 Term 단위로 저장할 때 사용함- 캐릭터 필터: HTML 와 같은 포맷에서 필요한 문장만 뽑아냄- 토크나이저: 문장을 원하는 방식으로 쪼갬- 토큰 필터: 불용어, 공백 등 토크나이징된 결과물 중 필요없는 단어 제거- 애널라이저는 캐릭터 필터, 토크나이저, 토큰 필터로 구성된다.- 노말라이저는 키워드 타입에 적용 가능하므로, 토크나이저가 없다. (키워드는 토크나이징을 거치지 않는다) 3.3 애널라이저와 토크나이저의미들어온 문자열에 변형을 가해 분석 완료된 “텀”을 얻는다.구성캐릭터 필터0개 이상문자열 변형토크나이저1개토큰 쪼개기토큰 필터0개 이상토큰 변형3.3.1 analyze API애널라이저와 각 구성 요소 동작을 쉽게 테스트할 수 .. 2024. 3. 13.
[Elasticsearch] 3. 인덱스 설계 (설정, 맵핑, doc_values, _source) TL;DR 인덱스 설계에 신경써야 하는 이유 설정에 따라 동작과 특성이 매우 달라진다. 인덱스 설정은 직접해야한다. 문서 생성으로 자동x 3.1 인덱스 설정 인덱스 확인 GET my_index/_settings 3.1.1 number_of_shards 이 인덱스가 데이터를 몇 개의 샤드로 쪼갤 것인지 지정하는 값 주의 한 번 지정하면 reindex 같은 동작을 통해 인덱스를 통쨰로 재색인하는 등 특별한 작업을 수행하지 않는 한 바꿀 수 없다. 클러스터에 샤드 숫자가 너무 많아지면 클러스터 성능이 떨어진다. 운영 엘라스틱서치 7부터 1로 변경됨, 미만까지는 5였음 오버샤딩하는 경향을 확인해 기본값을 수정한 것 다만 실제 운영 환경에서 데이털르 담기 시작하면 반드시 이 값을 적절한 값으로 조정해야한다. 3... 2024. 3. 4.
[Node] Stream 이란 (실제 개선 예시) 짜집기한 글입니다. TL;DR - Stream은 데이터, 패킷 ,비트 등의 일련 연속성을 갖는 흐름을 의미하는데-음성,영상,데이터 등의 작은 조각들을 하나의 줄기를 이루어 전송하는 데이터열이다. - 스트림은 데이터를 청크 단위로 쪼개 처리해야 할 때 적절하게 사용할 수 있다. - Node Stream은 결국 EventEmitter의 인스턴스이다. 따라서 이벤트 핸들러를 작성할 수 있다. Stream 이란? Stream은 추상적인 개념으로 데이터를 통일된 방식으로 다루기 위한 가상의 개념이다. 큰 데이터를 다룰 때나, 외부 소스로부터 데이터를 가져올 때 chunk해서 가져온다. 종류 Writable: 데이터를 쓸 수 있는 스트림 쓸 수 있는 스트림(ex. fs.createWriteStream()) fs.c.. 2024. 2. 21.
[Elasticsearch] 2. 엘라스틱서치 기본 동작과 구조 기본 실습 1. 문서 색인 PUT POST 2. 문서 조회 GET 3. 문서 업데이트 POST _version, _seq_no 그대로임 4. 문서 검색 GET { "query":{ "match": { "stock": "3" } } } w전용 DSL(domain specific languag) 을 제공 GET, POST 둘 다 제공하는데, 각 상황 철학에 맞는 엔드포인트 사용하면됨 문서를 분석해서 역색인을 만들고 검색어 분석해서 유사도 높은 문서를 찾는다 문서가 복수 검색됨 _score 에서 유사도 점수 확인 가능 5. 문서 삭제 DELETE result 가 deleted 로 온다 2024. 1. 26.
[Elasticsearch] 1. 엘라스틱 서치란? 역사 2010년 2월 샤이 배논이 아파치의 루씬 라이브러리를 기반으로 만든 분산 검색 엔진 → 루씬은 중요한 역할을 하니 기억할 것 2012년에 설립한 엘라스틱에서 관리 2013년 키바나, 로그스태시가 엘라스틱에 합류 2015년 비츠가 합류하면서 엘라스택 스택 완성 소개 검색 엔진 분야에서 가장 각광받고 있는 시스템 분산 처리나 고가용성, 수평적 확장성 등 엔터프라이즈 영역에 필요한 주요 기능을 제공 데이터 수집부터 시각화를 위한 플랫폼 구축까지 한번에 소화할 수 있어 인기가 많음 JSON 기반 문서 자정, 색인 NoSQL 스토리지 성격도 가지고 있음 주요 개념 루씬 데이터를 색인하고 검색 기능을 제공하는 검색 엔진의 코어 라이브러리 엘라스틱 서치는 루씬을 코어로 이용해 JSON 문서 저장, 색인, 검색.. 2024. 1. 26.

티스토리툴바