본문 바로가기

전체 글157

[Kafka] 카프카란? Kafka?링크드인 사내 프로그램에서 출발하여 정식 Apache 오픈소스로 등록된 분산 이벤트 스트리밍 플랫폼Architecture간단히 알아보기이름 설명주키퍼(ZooKeeper)카프카의 메타데이터(metadata) 관리 및 브로커의 정상상태 점검(health check)을 담당합니다.카프카(Kafka) 또는 카프카 클러스터(Kafka cluster)아파치 프로젝트 애플리케이션 이름입니다. 여러 대의 브로커를 구성한 클러스터를 의미합니다.브로커(broker)카프카 애플리케이션이 설치된 서버 또는 노드를 말합니다.프로듀서(producer)카프카로 메시지를 보내는 역할을 하는 클라이언트를 총칭합니다.컨슈머(consumer)카프카에서 메시지를 꺼내가는 역할을 하는 클라이언트를 총칭합니다.토픽(topic)카프카.. 2023. 3. 10.
[AWS 자격증] AWS Certificated Solutions Architect 취득 https://mystudylab.tistory.com/103 에 있는 학습만 했다. 덤프 문제를 많이 풀면 충분히 풀 수 있는 수준이다. 2023. 3. 9.
[AWS 자격증] AWS Certificated Cloud Practitioner 취득 Practitioner 취득한 이유 1. 난이도 낮음, AWS 서비스 기본 개념 학습 가능 2. 시험 50% 할인 바우처 물론 단번에 Associate 취득하는 것이 더 좋다. Practitioner 비용: 114,000원 Associate 비용: 170,000원 3. Associate 에 떨어지더라도 Practitioner 가 남는다. 공부 방법 개념 AWS 공인 솔루션스 아키텍트 올인원 - 어소시에이트 2/e 봤다. 문제풀이 영어 https://www.examtopics.com/ 한글 https://hagsig.tistory.com/125 와 같이 한글로 번역된 문제들을 검색 통해 풀어봄 2023. 3. 9.
[Kafka] 토픽 Naming Convention 고민 TL;DR https://cnr.sh/essays/how-paint-bike-shed-kafka-topic-naming-conventions 을 참고한 글입니다. [namespace]-[application name]-[topic type]-[version numbers] 조합을 추천합니다. 개요 카프카 클러스터를 운영하다보면 수많은 토픽을 생성하게 된다. 토픽 이름은 변경할 수 없기 때문에 카프카 도입을 고려하고 있다면 Naming Convention에 대한 고민을 먼저 해보는 것이 좋다. 주의 1. 토픽 이름은 한번 지정하면 바꿀 수 없다 토픽 이름은 변경 불가능한 값이다. 즉 한번 컨벤션을 정하면 수정하기 어렵다. 카프카를 운영하면서 다양한 케이스의 토픽을 생성하게 될 것임으로 최대한 범용적인 이름.. 2023. 3. 9.
[KSR] 카프라 스키마 레지스트리(Kafka Schema Registry) 란? Kafka Schema Registry?Kafak 클러스터를 통해 전달되는 데이터 스키마를 관리하는 독립적인 애플리케이션Confluent Server 를 사용하는 경우 Enterprise License 이며, 그렇지 않으면 Community License이다. https://docs.confluent.io/platform/current/installation/license.html#community-license구조 프로듀서컨슈머스키마 레지스트리카프카 클러스터장점1. 시스템 장애 방지기본적으로 카프카 메시지 형태에는 강제성이 없다.무슨 말이냐면 위 A형태의 메시지를 보내다가 갑자기 B형태로 보내는 것이 가능하다는 말이다.소수의 사용자만 카프카 토픽을 소비한다면 큰 문제가 아닐 수 있다. 문제는 실제 카프.. 2023. 3. 9.
개발자 이모티콘 추천 지인이 개발자 이모티콘을 출시했다. 평소에 라인을 주로 사용하는데 재미있을 것 같아서 공유한다. 동글동글 도이는 개발자 : 대추쌈장 - 네이버 OGQ마켓 동글동글 도이는 개발자 스티커입니다. 공기팟과 사원증, 그리고 회색 후드티는 도이와 한몸같은 시그니처입니다. | 동글동글 도이는 개발자 : 대추쌈장 - 네이버 OGQ마켓 ogqmarket.naver.com 도이는 개발자 – LINE 스티커 | LINE STORE 귀여운 도이는 개발자입니다. 도이는 항상 회색후드를 입고 사원증, 공기팟을 하고 다닙니다. store.line.me 2023. 1. 21.
Git hook pre-commit .git/hooks/prepare-commit-msg #!/bin/sh BRANCH=`git branch | grep '^\*' | cut -b3-` FILE=`cat "$1"` echo "$BRANCH $FILE" > "$1" .git/hooks/pre-commit #!/bin/bash find vendor -name ".git*" -type d | while read i do if [ -d "$i" ]; then DIR=`dirname $i` rm -fR $i git rm -r --cached $DIR > /dev/null 2>&1 git add $DIR > /dev/null 2>&1 fi done You can do it with a combination of the prepare-commit-ms.. 2021. 4. 16.
Relation 관계 타입의 유형, 사상 원소수 4가지 사상 원소수 (mapping cardinality) – 관계의 분류 기준 1) 1 : 1 (일 대 일) fx : x → y and fy : y → x marriage : bridegroom ↔ bride 2) 1 : n (일 대 다) fx : x → y or fy : y → x (but not both) mothership : mother → children 3) n : 1 (다 대 일) fx : x → y or fy : y → x (but not both) position : professor → department 4) n : m (다 대 다) fx : x → y fy : y → x (neither) enrollment : student ↔ course Mapping cardinality – 상한(m.. 2021. 4. 4.
Entity, Relationship, Attribute ER 모델( Entity Relation Model ) ER 모델은 요구사항으로부터 얻어낸 정보들을 개체(Entity), 애트리뷰트(Attribute), 관계성(Relation)으로 기술하는 데이터 모델을 말합니다. 위에서 개체 타입은 Studuent, 속성은 Student_no, 관계는 Takes 이다. 개체는 여러개 있을 수 있다. 1. 개체( Entity ) 개체란 단독으로 존재하는 객체를 의미하며, 동일한 객체는 존재하지 않습니다. 예를 들어, 학생 정보가 학번, 이름, 학년이 있을 때, 3개의 정보가 모두 같은 학생이 오직 한 명이면 이를 개체라고 합니다. 즉, 학생 한명이 개체가 되는 것입니다. 이 개체들의 집합을 Entity Type이라고 합니다. 여기서는 Student, Course가 되겠.. 2021. 4. 4.
데이터 모델링 과정 요약 1. 요구 조건 수집 - 정적 정보 구조 요소: 개체, 애트리뷰트, 관계성, 제약 조건 - 동적 DB 처리 요구조건: 트랜잭션 유형, 실행 빈도 - 범 기관적 제약 조건: 경영 목표, 정책 2. 요구 조건 분석(Requirement analaysis) 잠정적인 사용자(활용처) 식별 사용자가 의도하는 DB의 용도 파악 모델링보다는 업무 분석에 가까움 누가쓰는지 파악 Out: 요구 조건 명세(requirement specification) 명세하는 이유 공식 문서로 해야하는 경우? 다른 회사에게 컨펌 받기 위해서 보호 수단 개념적 설계만하고 다른곳으로 옮기는 경우도 있음. key man? 요구사항 분석 과정 1) 수집 쉽지 않고, 준다고 하더라도 충분하지 않음 요청하는 사람들 이야기를 들은 후에는 직접적으로.. 2021. 4. 4.

티스토리툴바