샤딩이란데이터를 여러 서버에 분산 저장하는 기술이다.서버를 여러개 두어 scale-out하는 기법으로 단일 DB의 서버의 용량과 성능의 한계를 극복할 수 있는 기법이다. 샤딩의 장점성능 향상여러 DB 인스턴스에 데이터를 나누고 각 데이터가 존재하는 DB에서 연산을 수행하므로부하와 데이터가 분산되어 쿼리 성능 향상을 이룰 수 있다.장애 격리샤드 단위 백업 및 복구샤딩의 단점일괄성 유지 어려움- 분산 트랜잭션 처리 및 데이터 동기화에 대한 관리 필요- auto_increment 충돌 (충돌 방지 미들웨어 사용해야함, sharding-sphere)복잡성 증가조인 연산이나 복잡한 쿼리는 샤딩 이전 환경의 쿼리보다 느리고 에러 발생 빈도가 높아질 수 있다.샤드 불균형 발생 가능샤딩은 스케일업으로 DB 스펙이 한계..
파티셔닝(Partitioning)파티셔닝은 논리적인 하나의 테이블을 여러개의 물리적인 파티션으로 나누어 저장/관리하는 기법이다.이때, 파티션을 나누는 기준을 파티션 키 칼럼이라고 한다.mysql 파티션은 파티션 단위로 테이블과 인덱스가 모두 분리되기에 파티션 키 설정이 매우 중요하다.자주 사용되는 키가 아니라면 인덱스 조회시 모든 파티션 탐색을 수행할 수 있기에파티션 키는 가급적 자주 사용되는 조건이어야한다. 파티션이 필요한 이유하나의 테이블에 너무 많은 레코드가 쌓이는 경우,스캔 범위가 넓어지는 것 뿐만 아니라 레코드나 인덱스를 메모리에 올리지 못하여 디스크 접근을 유발하여 더더욱 성능 저하를 유발할 수 있다.이때, 하나의 테이블을 물리적으로 여러 파티션으로 나누게 되면 파티션 단위 접근과 파티션 단위..
RDB의 부하를 줄이는 방법단일 DB 내에서 최적화쿼리 최적화인덱스 추가CQRS파티션스케일업분산 DB를 통한 부하 분산복제캐싱 DB 별도 사용(redis)DB MSA샤딩서비스가 지속되고 사용자와 트래픽이 증가하게 되면 DB의 부하가 증가할 수 있다.이때 가장 고려해볼만한 옵션은 쿼리 최적화나 인덱스 추가, CQRS 패턴 같은 것들이 있다.이는 단일 DB 내에서 CPU, 메모리, IO 자원을 효율적으로 사용하기 위해 고려하는 옵션이다. 단일 DB는 컴퓨터의 용량과 스펙이라는 한계가 존재하기 때문에,쿼리 최적화, 인덱스, CQRS 패턴으로는 한계에 직면할 수 있다. 이때, 고려해볼 수 있는 옵션이 레플리케이션(복제)이다.복제는 RDB에서 제공해주는 옵션으로 쉽게 적용 가능하고 데이터의 신뢰성 측면에서도 안정..
Spring 애플리케이션과 Redis 간의 데이터 통신은 직렬화와 역직렬화를 필요로 한다.Redis는 문자열, 리스트, 해시, 집합 등 다양한 자료구조를 지원하지만,실제로는 모든 데이터를 byte[] 형태로 저장하고 처리한다.따라서 Redis와 Spring 간의 데이터 전달은 기본적으로 byte[] 형식으로 이루어지며,Spring 애플리케이션에서 이를 문자열, List, Set, Hash 등으로 활용하기 위해서는적절한 직렬화/역직렬화 설정이 반드시 필요하다. Spring에서는 StringRedisTemplate을 통해 Redis에 저장될 데이터를 처리하며,직렬화와 역직렬화를 내부적으로 자동 처리해준다.StringRedisTemplate을 이용하면 String, List, Set, Hash와 같은 자료구조..
스프링 프로젝트에 Redis 연동을 위한 어떤 설정을 해야하고 각 역할이 무엇인지 알아보겠다. [build.gradle.kts]implementation("org.springframework.boot:spring-boot-starter-data-redis:3.2.3") RedisConnectionFactoryRedisConnectionFactory는 Redis 서버와의 연결을 생성하고 관리하는 역할을 한다.단일 인스턴스, master/slave, Cluster 모드에서 커넥션 생성과 관리의 추상화 타입이다. [RedisConnectionFactory의 구현체] LettuceConnectionFactoryJedisConnectionFactory클라이언트 방식비동기-NonBlocking동기-Blocking스..
Redis 자료구조와 시간복잡도전체 키 조회keys * 모든 키를 조회하기에 시간복잡도가 O(N)이다. (N은 키의 갯수)Redis는 싱글 스레드 기반으로 동작하기에 keys *를 사용하면 해당 명령어 수행으로 인해 다른 명령어 처리가 늦어질 수 있다. Redis 모든 DB 키 삭제FLUSHALLFLUSHALL ASYNCASYNC 키워드는 키 삭제를 비동기로 실행되도록 한다.FLUSHALL의 경우 동기적으로 실행되며 메모리에 key-value 삭제하는 처리가 모두 완료될때까지 다른 명령어는 block 된다.반면에 FLUSHALL ASYNC의 경우 참조관계만 끊어 놓고 실제 메모리에서 삭제는 백그라운드 스레드가 제거하는 처리를 진행하게 된다.(키를 저장하는 해시테이블에서 키 참조를 제거 후 백그라운드가 실..
Redis - 싱글스레드, 영구성, 고가용성(feat. docker 환경설정)
Redis란Redis의 가장 큰 특징은 빠른 성능이다. 데이터를 메모리에 저장하고, 해시 기반 키 관리 방식을 통해 대부분의 연산을 시간복잡도 O(1)로 처리할 수 있어 매우 빠른 응답 속도를 제공한다. 또한 Redis는 싱글 스레드 기반으로 동작하기 때문에, 동시성 문제에 비교적 자유롭고 구현이 단순하다는 장점이 있다. 사용자 명령어 처리는 싱글 스레드로 수행되지만, I/O 처리는 I/O Multiplexing 기법과 백그라운드 스레드를 통해 처리되어 성능을 더욱 향상시킨다. Redis는 메모리 기반 DB이지만, 데이터의 영속성(persistence)을 보장하기 위해 디스크에 데이터를 저장하는 두 가지 방식인 RDB(Redis Database)와 AOF(Append Only File)를 지원한다.RDB..
redis - 도입기
개인 프로젝트에서 redis를 도입했던 사례를 공유하겠다.redis는 데이터를 메모리에 저장하기에 빠른 성능을 나타낸다.또한 ttl이라는 유효기간을 통해 별도의 삭제 처리 없이 간단한 구현을 할 수 있다. 아래는 redis를 사용하기 좋은 사례들이다.RDB의 부하를 줄이고 성능 향상을 위한 캐시 용도좋아요 수, 조회수, 인기 게시글, 사용자 정보분산 서버 환경에서 각 서버에 공유되어야할 정보사용자 세션, 리프레시 토큰, 분산락데이터의 유효기간이 존재하는 경우3분 동안 유효한 인증 코드, 알림, 최근 읽은 게시글 목록, 최근 1개월간 담은 장바구니 위의 사례들 중 내가 적용했던 사레들을 공유하겠다. RDB 부하 분산 및 성능 향상 목적의 캐시 목적 사례사용자 정보HandlerMethodArgumentRes..