DevOps & Infra5 [kafka] 자주 쓰이는 명령어 ✅ 1. 토픽 관련 명령어🔍 토픽 목록 확인 kafka-topics.sh --bootstrap-server localhost:9094 --list 📌 토픽 생성kafka-topics.sh --bootstrap-server localhost:9094 --create \ --topic my-topic --partitions 3 --replication-factor 1🧹 토픽 삭제kafka-topics.sh --bootstrap-server localhost:9094 --delete --topic my-topic❗ 삭제가 안 될 경우 server.properties에 delete.topic.enable=true 확인🔎 토픽 상세 정보 보기kafka-topics.sh --bootstrap-server l.. 2025. 6. 10. [Kafka] Docker로 Kafka 세팅하기 ( Zookeeper 방식 ) 사이드 프로젝트 진행하면서 도커와 카프카를 사용해보기로 했다.Zookeeper 환경이 오래되어 잘 사용은 안하지만 연습삼아 Zookeeper 방식으로 구성했고 추후 KRaft 방식의 클러스터를 구성할 예정이다. * 환경도커 데스크탑만 설치되어있음Mac Apple M1✅ 1단계. Kafka 설치용 docker-compose.yml 만들기1. 터미널 켜고 새 폴더 만들기mkdir kafka-dockercd kafka-docker 2. docker-compose.yml 파일 만들기touch docker-compose.yml 3. 아래 코드 복사해서 붙여넣기version: '3'services: zookeeper-0: image: bitnami/zookeeper:3.9.2 container_name.. 2025. 6. 7. [개념] Kafka, Producer, Consumer, Topic, Zookeeper 기본 개념 1. Kafka 분산형 메시지 큐 시스템 ( 데이터를 효율적으로 전달하는 택배 시스템 ) 역할설명비유역할 🐳 Kafka메시지 중간 전달자엄청 빠른 우체국 📨 Producer메시지 보내는 사람편지 쓰는 사람데이터를 Kafka로 보냄📫 Topic편지를 모아두는 우체통"야구뉴스함" 같은 분류함데이터를 종류별로 분류해서 넣는 공간📬 Consumer메시지를 받는 사람편지를 읽는 사람Kafka에서 데이터를 읽어감Broker우체국 서버 데이터를 저장하고 중계함예: 야구 앱에서 실시간 경기 결과를 사용자들에게 보여줘야할 때크롤러가 실시간 점수 데이터를 Kafka에 보냄 → ProducerKafka는 이걸 game-score라는 Topic에 저장Spring 서비스 또는 다른 서버가 Kafka에서 데이터를 읽음 →.. 2025. 6. 7. Docker) Linux Docker Engine install ( Ubuntu 18.04 ) * 본 포스팅을 무단 복제하시거나 배포하지 마시기 바랍니다. ( 게시글 최상단에 본 블로그 출처를 밝히시면 포스팅은 가능합니다. ) * 시작하세요! 도커/쿠버네티스 책을 학습한 뒤 정리한 글이며 수정이 많을 예정입니다. # 설치 전 확인사항 1. 최신 버전 커널을 사용하고 있는지 확인 - 호스트 운영체제가 최소한 3.10 버전 이상을 사용해야 도커 컨테이너를 정상적 사용가능 sso@sso-System-Product-Name:~$ uname -r 4.15.0-154-generic 2. 지원 기간 내에 있는 배포판인지 확인 - Ubuntu 14.04, 16.04, 18.04 및 CentOS 7 등 3. 64bit linux인지 확인 4.. sudo 명령어를 통해 설치하거나 root 권한을 소유한 계정에서 설.. 2021. 12. 13. Docker) 도커와 가상화 기술의 차이 * 본 포스팅을 무단 복제하시거나 배포하지 마시기 바랍니다. ( 게시글 최상단에 본 블로그 출처를 밝히시면 포스팅은 가능합니다. ) * 시작하세요! 도커/쿠버네티스 책을 학습한 뒤 정리한 글이며 수정이 많을 예정입니다. 도커의 개념을 들어가기 전에 가상화 기술에 대해 먼저 알아야한다. 가상화 기술은 Hypervisor를 이용해 여러 개의 운영체제를 하나의 호스트에서 생성해 사용한다. VirtualBox, VMware 등과 같은 가상화 툴을 이용해 가상화 기술을 사용하여 가상 머신에 여러 가지 운영체제를 설치한다. 이때 생성된 게스트 운영체제는 다른 게스트 운영체제와는 완전히 독립된 공간과 시스템 자원을 할당받아 사용한다. 그래서 이 가상 머신에는 게스트 운영체제를 사용하기 위한 라이브러리, 커널 등을 전.. 2021. 12. 13. 이전 1 다음
