Kafka Producer는 Broker에 메시지를 발행(Publish)하는 클라이언트이다.Producer의 메시지 발행 방식메시지 생성ProducerRecord로 메시지 구성(key, value, topic, optional partition) 지정파티셔너가 파티션 결정파티셔너는 클라이언트에 존재명시된 파티션이 있으면 그대로 사용없다면 key가 있을 경우 → key.hashCode() % partition 수key도 없으면 → round-robin 방식배치 처리 (Batch Accumulator)같은 파티션의 메시지는 batch 단위로 묶음설정에 따라 linger.ms, batch.size 조건 만족 시 전송목적: latency 줄이고 throughput 증가브로커 전송 (send)네트워크를 통해 파티..
Kafka Replication카프카에서 Replication이란 각 메시지들을 여러개로 복제해서 카프카 클러스터 내 브로커들에 분산 시키는 동작을 의미한다.이러한 Replication 덕분에 하나의 브로커가 종료되더라도 카프카는 안정성을 유지할 수 있다. replication factor 옵션을 통해 복제할 브로커의 수를 지정할 수 있다.factor 수가 커지면 안정성은 높아지지만 그만큼 브로커 리소스를 많이 사용하게된다.일반적으로 테스트나 개발환경은 1, 운영환경에서 로그와 같이 유실이 허용되는 메시지는 2, 유실이 허용되지 않는 메시지는 3으로 설정하는 것이 권장된다.대규모 서비스에서도 3으로 충분히 안정성을 확보하여 가용된다고 한다. Replication이 필요한 이유카프카(Kafka)는 수많은 ..
[Kafka 개념] 카프카 아키텍쳐
카프카(Kafka)란?Kafka는 대규모 실시간 데이터 스트리밍 처리를 위해 설계된 분산 이벤트 스트리밍 플랫폼으로,메시지를 발행하는 Producer와 메시지를 소비하는 Consumer가 완전히 분리된 Pub-Sub 패턴 기반으로 동작한다.이들은 모두 메시지를 중개하는 Broker에만 연결되는 중앙 집중형 구조를 갖고 있으며,이를 통해 시스템 간의 느슨한 결합과 높은 유연성을 확보할 수 있다.구조만 보면 모든 부하가 Broker에 집중될 것처럼 보이지만,Kafka는 클러스터와 파티션이라는 개념을 통해 트래픽과 데이터를 효과적으로 분산시키고,메시지 처리의 복잡한 로직은 Producer와 Consumer 클라이언트가 자체적으로 수행함으로써,중앙 집중형 구조임에도 불구하고 고가용성과 확장성을 모두 갖춘 안정적..
kafka-UI 툴 사용법
kafka의 개념에 대한 내용은 아래 글을 통해 어느정도 알아보았다.[Kafka] 카프카 아키텍쳐이번 포스팅에서는 kafka-UI 툴을 통한 kafka 관리를 직접 실습하며 추가 개념 학습을 진행하겠다. kafka cluster 구성로컬 환경macOS(intel 칩)[docker-compose.yml]version: '3.8'networks: kafka_network:services: zookeeper: image: confluentinc/cp-zookeeper:7.3.10 container_name: zookeeper networks: - kafka_network ports: - "2181:2181" environment: ZOOKEEPER_CL..
Spring 애플리케이션과 Redis 간의 데이터 통신은 직렬화와 역직렬화를 필요로 한다.Redis는 문자열, 리스트, 해시, 집합 등 다양한 자료구조를 지원하지만,실제로는 모든 데이터를 byte[] 형태로 저장하고 처리한다.따라서 Redis와 Spring 간의 데이터 전달은 기본적으로 byte[] 형식으로 이루어지며,Spring 애플리케이션에서 이를 문자열, List, Set, Hash 등으로 활용하기 위해서는적절한 직렬화/역직렬화 설정이 반드시 필요하다. Spring에서는 StringRedisTemplate을 통해 Redis에 저장될 데이터를 처리하며,직렬화와 역직렬화를 내부적으로 자동 처리해준다.StringRedisTemplate을 이용하면 String, List, Set, Hash와 같은 자료구조..
스프링 프로젝트에 Redis 연동을 위한 어떤 설정을 해야하고 각 역할이 무엇인지 알아보겠다. [build.gradle.kts]implementation("org.springframework.boot:spring-boot-starter-data-redis:3.2.3") RedisConnectionFactoryRedisConnectionFactory는 Redis 서버와의 연결을 생성하고 관리하는 역할을 한다.단일 인스턴스, master/slave, Cluster 모드에서 커넥션 생성과 관리의 추상화 타입이다. [RedisConnectionFactory의 구현체] LettuceConnectionFactoryJedisConnectionFactory클라이언트 방식비동기-NonBlocking동기-Blocking스..
Redis 자료구조와 시간복잡도전체 키 조회keys * 모든 키를 조회하기에 시간복잡도가 O(N)이다. (N은 키의 갯수)Redis는 싱글 스레드 기반으로 동작하기에 keys *를 사용하면 해당 명령어 수행으로 인해 다른 명령어 처리가 늦어질 수 있다. Redis 모든 DB 키 삭제FLUSHALLFLUSHALL ASYNCASYNC 키워드는 키 삭제를 비동기로 실행되도록 한다.FLUSHALL의 경우 동기적으로 실행되며 메모리에 key-value 삭제하는 처리가 모두 완료될때까지 다른 명령어는 block 된다.반면에 FLUSHALL ASYNC의 경우 참조관계만 끊어 놓고 실제 메모리에서 삭제는 백그라운드 스레드가 제거하는 처리를 진행하게 된다.(키를 저장하는 해시테이블에서 키 참조를 제거 후 백그라운드가 실..