코딩공장공장장

애플리케이션 정보스프링 부트 3.2.xmysql 8.0로컬 pc 환경cpu - 16 core메모리 32GB부하 테스트 조건동시 접속자 100명반복 100회위와 같은 환경에서 부하테스틑 진행해보았다.테스트한 api는 GET 요청으로 내부 로직은 select만 존재하며 100건의 게시글을 조회하는 api이다. 애플리케이션 지표cpu 가장 먼저 cpu 지표를 보면 시스템 cpu 사용량은 99%이지만,애플리케이션의 cpu 사용량은 6% 정도이다.로컬에서 테스트를 하다보니 크롬, mysql, 도커 등 여러 프레스를 실행중이라 애플리케이션의 cpu 사용량은 높지 않았다.정확한 테스트를 수행하기 위해서는 별도의 서버 인스턴스에 애플리케이션만 구동하여 테스트 해야한다. 메모리 메모리 사용량을 보면 old 영역의 지표..

Topic 설정Topic 설정은 kafka-UI를 통해 설정하였다. partition을 3으로 설정하여 해당 토픽의 메시지를 3개 단위로 나누어 병렬처리가 될 수 있도록 하였다.(Consumer 설정에서 해당 Topic을 처리하는 Consumer Group의 Consumer를 3개로 해야함, 뒤에서 설명) replica.factor는 3으로 설정하여 각 파티션이 3개의 브로커에 복제되도록 하였고,min.insync.replicas를 2로 설정하여 최소 2개의 브로커에 각 파티션이 복제되면 메시지 전송이 성공하도록 하였다. 이 조건을 만족할 경우에만 다음 메시지 처리가 가능하도록 설정하였다[잠깐] min.insync.replicasmin.insync.replicas는 Kafka 파티션이 메시지를 정상적으로..

ConsumerConsumer는 Kafka Topic에서 메시지를 읽어오는 주체이다.Consumer는 반드시 Consumer Group에 속해 있다.토픽에 쓰여진 메시지를 Pull 방식으로 가져옴Partition의 데이터는 동일 Consumer Group 내에서 단 하나의 Consumer만 읽을 수 있음(Consumer Group 내에서 offset을 공유함)Consumer Group 이 다르면 Partition의 데이터 여러 Consumer가 읽을 수 있음-> 하나의 메시지에 다양한 처리 진행 가능한 Consumer는 여러 Partition을 담당할 수 있음 Consumer Offset 관리Kafka 컨슈머가 어디까지 메시지를 읽었는지 추적하고, 장애 복구나 재시작 시 중복 처리 없이 메시지를 이어서..

Kafka Producer는 Broker에 메시지를 발행(Publish)하는 클라이언트이다.Producer의 메시지 발행 방식메시지 생성ProducerRecord로 메시지 구성(key, value, topic, optional partition) 지정파티셔너가 파티션 결정파티셔너는 클라이언트에 존재명시된 파티션이 있으면 그대로 사용없다면 key가 있을 경우 → key.hashCode() % partition 수key도 없으면 → round-robin 방식배치 처리 (Batch Accumulator)같은 파티션의 메시지는 batch 단위로 묶음설정에 따라 linger.ms, batch.size 조건 만족 시 전송목적: latency 줄이고 throughput 증가브로커 전송 (send)네트워크를 통해 파티..

Kafka Replication카프카에서 Replication이란 각 메시지들을 여러개로 복제해서 카프카 클러스터 내 브로커들에 분산 시키는 동작을 의미한다.이러한 Replication 덕분에 하나의 브로커가 종료되더라도 카프카는 안정성을 유지할 수 있다. replication factor 옵션을 통해 복제할 브로커의 수를 지정할 수 있다.factor 수가 커지면 안정성은 높아지지만 그만큼 브로커 리소스를 많이 사용하게된다.일반적으로 테스트나 개발환경은 1, 운영환경에서 로그와 같이 유실이 허용되는 메시지는 2, 유실이 허용되지 않는 메시지는 3으로 설정하는 것이 권장된다.대규모 서비스에서도 3으로 충분히 안정성을 확보하여 가용된다고 한다. Replication이 필요한 이유카프카(Kafka)는 수많은 ..

카프카(Kafka)란?Kafka는 대규모 실시간 데이터 스트리밍 처리를 위해 설계된 분산 이벤트 스트리밍 플랫폼으로,메시지를 발행하는 Producer와 메시지를 소비하는 Consumer가 완전히 분리된 Pub-Sub 패턴 기반으로 동작한다.이들은 모두 메시지를 중개하는 Broker에만 연결되는 중앙 집중형 구조를 갖고 있으며,이를 통해 시스템 간의 느슨한 결합과 높은 유연성을 확보할 수 있다.구조만 보면 모든 부하가 Broker에 집중될 것처럼 보이지만,Kafka는 클러스터와 파티션이라는 개념을 통해 트래픽과 데이터를 효과적으로 분산시키고,메시지 처리의 복잡한 로직은 Producer와 Consumer 클라이언트가 자체적으로 수행함으로써,중앙 집중형 구조임에도 불구하고 고가용성과 확장성을 모두 갖춘 안정적..

분산 서비스에서 문제가 될 수 있는 부분분산 서비스 배포 프로세스분산 서비스 로그 관리모니터링트레이싱서비스 디스커버리인증(API Gateway)

kafka의 개념에 대한 내용은 아래 글을 통해 어느정도 알아보았다.[Kafka] 카프카 아키텍쳐이번 포스팅에서는 kafka-UI 툴을 통한 kafka 관리를 직접 실습하며 추가 개념 학습을 진행하겠다. kafka cluster 구성로컬 환경macOS(intel 칩)[docker-compose.yml]version: '3.8'networks: kafka_network:services: zookeeper: image: confluentinc/cp-zookeeper:7.3.10 container_name: zookeeper networks: - kafka_network ports: - "2181:2181" environment: ZOOKEEPER_CL..