반응형

전체 글 2050

분산 락을 걸었는데도 중복 처리가 된다면: Redis 분산 락에서 놓치기 쉬운 다섯 가지

서버가 여러 대인 환경에서 "같은 작업이 동시에 두 번 실행되면 안 된다"는 요구는 흔합니다. 쿠폰 발급, 재고 차감, 중복 결제 방지 같은 경우입니다. 이때 가장 많이 쓰는 도구가 Redis 분산 락입니다. 그런데 락을 걸었는데도 중복 처리가 발생하는 경우가 있습니다. 락 자체가 틀린 것이 아니라 락을 다루는 방식에 빈틈이 있기 때문입니다. 자주 놓치는 다섯 가지를 정리합니다.1. 락을 잡는 것과 만료를 거는 것은 한 번에 해야 한다락은 "키가 없을 때만 저장"하는 명령으로 잡습니다. 여기에 만료 시간을 별도 명령으로 걸면 두 명령 사이에 서버가 죽었을 때 만료 없는 락이 영원히 남습니다. 그 뒤로는 아무도 락을 잡지 못합니다. SET 명령에 NX와 만료 옵션을 함께 주어 한 번에 처리해야 합니다. 만..

─━ IT ━─ 03:15:16

컨슈머 랙이 줄지 않는다면: Kafka 컨슈머를 늘리기 전에 확인할 다섯 가지

Kafka를 운영하다 보면 컨슈머 랙, 즉 아직 처리하지 못한 메시지 수가 계속 쌓이는 상황을 만납니다. 가장 먼저 떠오르는 대응은 컨슈머 인스턴스를 늘리는 것입니다. 그런데 늘려도 랙이 그대로이거나 오히려 처리량이 떨어지는 경우가 있습니다. 랙은 증상이고 원인은 여러 가지이기 때문입니다. 컨슈머를 늘리기 전에 확인할 것 다섯 가지를 정리합니다.1. 파티션 수가 병렬 처리의 상한이다하나의 컨슈머 그룹 안에서 파티션 하나는 컨슈머 하나에만 배정됩니다. 파티션이 6개인 토픽에 컨슈머를 10개 띄워도 일하는 것은 6개이고 나머지 4개는 놀게 됩니다. 컨슈머를 늘려도 효과가 없다면 먼저 파티션 수를 봐야 합니다. 다만 파티션은 늘릴 수는 있어도 줄일 수는 없고, 늘리는 순간 키와 파티션의 대응이 바뀌어 같은 키..

─━ IT ━─ 2026.11.21

로그는 많은데 원인을 못 찾는다면: 장애 때 읽히는 로그를 남기는 다섯 가지

장애가 나면 가장 먼저 로그를 엽니다. 그런데 로그가 하루에 수 기가바이트씩 쌓이는데도 정작 "이 요청이 어디서 실패했는가"에는 답하지 못하는 경우가 많습니다. 로그가 부족해서가 아니라 찾을 수 없게 남겼기 때문입니다. 로그는 쓰는 시점이 아니라 읽는 시점을 기준으로 설계해야 합니다. 장애 때 실제로 읽히는 로그를 만드는 기준 다섯 가지를 정리합니다.1. 요청마다 추적 ID를 붙인다서버에는 여러 요청의 로그가 뒤섞여 찍힙니다. 한 요청의 흐름만 골라 보려면 모든 로그 줄에 같은 식별자가 있어야 합니다. Java에서는 MDC를 씁니다. 요청이 들어올 때 필터에서 추적 ID를 만들거나 헤더에서 받아 MDC에 넣고, 로그 패턴에 그 값을 포함시키면 코드 곳곳에서 따로 신경 쓰지 않아도 모든 줄에 ID가 찍힙니..

─━ IT ━─ 2026.11.21

재시도가 오히려 장애를 키운다: 외부 API 호출의 타임아웃과 재시도 설계

외부 API를 호출하는 코드는 정상일 때는 누가 짜도 비슷하게 동작합니다. 차이는 상대가 느려지거나 응답하지 않을 때 드러납니다. 타임아웃이 없으면 스레드가 끝없이 붙잡히고, 재시도를 아무렇게나 넣으면 이미 힘든 상대를 더 세게 두드리게 됩니다. 외부 호출을 설계할 때 정해 두어야 할 다섯 가지를 정리합니다.1. 타임아웃은 연결과 읽기를 따로 정한다타임아웃은 하나가 아닙니다. 연결 타임아웃은 상대 서버와 연결을 맺는 데 걸리는 시간의 한도이고, 읽기 타임아웃은 연결된 뒤 응답을 기다리는 시간의 한도입니다. 연결은 보통 수십 밀리초면 끝나므로 1~3초로 짧게 잡고, 읽기는 상대 API의 실제 응답 시간 분포를 보고 정합니다. 평균이 아니라 p99에 약간의 여유를 더한 값이 기준입니다. 많은 HTTP 클라이..

─━ IT ━─ 2026.11.21

배포할 때마다 502가 뜬다면: 쿠버네티스에서 Spring Boot를 우아하게 종료하는 법

무중단 배포를 하고 있다고 생각했는데 배포 시간마다 502나 연결 끊김 에러가 몇 건씩 찍히는 경우가 있습니다. 롤링 업데이트는 새 Pod를 먼저 띄우고 옛 Pod를 내리기 때문에 이론상 끊김이 없어야 합니다. 그런데도 에러가 나는 이유는 대부분 "옛 Pod가 어떻게 종료되는가"를 설정하지 않았기 때문입니다. 종료 과정을 순서대로 살펴보면 어디를 고쳐야 하는지 보입니다.Pod가 종료될 때 실제로 일어나는 일쿠버네티스가 Pod를 삭제하기로 하면 두 가지 일이 거의 동시에, 그러나 서로 독립적으로 시작됩니다. 하나는 컨테이너에 SIGTERM 신호를 보내는 일이고, 다른 하나는 서비스의 엔드포인트 목록에서 이 Pod를 빼는 일입니다. 문제는 두 번째 작업이 클러스터 전체에 퍼지는 데 시간이 걸린다는 점입니다...

─━ IT ━─ 2026.11.21

커넥션 풀이 고갈되는 진짜 이유: 풀 크기를 늘리기 전에 확인할 것들

운영 중인 Spring Boot 애플리케이션에서 "Connection is not available, request timed out" 같은 에러를 만나면 가장 먼저 떠오르는 조치는 커넥션 풀 크기를 늘리는 것입니다. 실제로 숫자를 올리면 잠깐은 조용해집니다. 하지만 원인이 그대로라면 더 큰 풀이 다시 가득 차는 것은 시간문제입니다.커넥션 풀 고갈은 대부분 "커넥션이 모자라서"가 아니라 "커넥션을 너무 오래 쥐고 있어서" 생깁니다. HikariCP를 기준으로, 풀 크기를 건드리기 전에 확인해 볼 것들을 정리합니다.1. 느린 쿼리가 커넥션을 붙잡고 있다풀에 커넥션이 열 개 있고 쿼리 하나가 10밀리초에 끝난다면, 이 풀은 초당 많은 요청을 처리할 수 있습니다. 같은 풀에서 쿼리가 3초씩 걸리기 시작하면 처..

─━ IT ━─ 2026.11.21

인덱스를 만들었는데 왜 안 탈까: 실행 계획을 열기 전에 확인하는 다섯 가지

쿼리가 느리다는 이야기가 나오면 가장 먼저 나오는 처방은 "인덱스를 추가하자"입니다. 그런데 인덱스를 만들고도 쿼리가 그대로 느린 경우가 적지 않습니다. 인덱스가 없어서가 아니라, 있는 인덱스를 쓸 수 없게 쿼리를 작성했기 때문입니다.Oracle을 기준으로, 인덱스가 있는데도 사용되지 않는 대표적인 이유 다섯 가지를 정리했습니다. 다른 관계형 DB에서도 대부분 같은 원리가 적용됩니다.1. 인덱스 컬럼을 가공하면 탈 수 없다인덱스는 컬럼의 원래 값을 정렬해 둔 구조입니다. WHERE 절에서 그 컬럼에 함수를 씌우거나 연산을 하면, DB는 정렬된 값을 그대로 쓸 수 없습니다. 날짜 컬럼에 TO_CHAR를 씌워 문자열과 비교하거나, 컬럼에 숫자를 더한 뒤 비교하는 것이 대표적입니다.원칙은 "컬럼은 그대로 두고..

─━ IT ━─ 2026.11.20

캐시가 만료되는 순간 DB가 무너진다: 캐시 스탬피드와 TTL 설계

캐시를 붙이면 빨라집니다. 여기까지는 누구나 압니다. 그런데 캐시 때문에 장애가 나는 경우가 있다는 것은 겪어 보기 전에는 잘 와닿지 않습니다. 평소에는 캐시가 요청의 대부분을 받아 주다가, 어느 순간 그 캐시가 사라지면 뒤에 있던 DB가 평소에 받아 본 적 없는 양의 조회를 한꺼번에 받게 됩니다.이 현상을 캐시 스탬피드(cache stampede)라고 부릅니다. Redis 같은 캐시를 쓰는 서비스라면 한 번쯤 점검해 볼 만한 주제라, 원인과 대응 방법을 일반적인 설계 관점에서 정리해 봅니다.1. 왜 만료 시점에 조회가 몰리는가가장 흔한 캐시 패턴은 "캐시에 있으면 반환하고, 없으면 DB에서 읽어 캐시에 넣는다"입니다. 요청이 하나씩 올 때는 문제가 없습니다. 하지만 인기 있는 키가 만료된 직후에 요청 ..

─━ IT ━─ 2026.11.20

@Transactional을 붙였는데 롤백이 안 된다면: 조용히 동작하지 않는 네 가지 경우

Spring으로 개발하다 보면 @Transactional은 가장 자주 쓰는 애너테이션 중 하나입니다. 그만큼 "붙였으니 되겠지" 하고 넘어가기도 쉽습니다. 문제는 이 애너테이션이 동작하지 않을 때 에러가 나지 않는다는 점입니다. 조용히 트랜잭션 없이 실행되고, 데이터가 어긋난 뒤에야 알게 됩니다.코드 리뷰에서 반복해서 보게 되는 대표적인 경우 네 가지를 정리합니다. 네 가지 모두 원인은 하나, 선언적 트랜잭션이 프록시로 동작한다는 사실에서 나옵니다.1. 같은 클래스 안에서 호출하면 적용되지 않는다Spring의 선언적 트랜잭션은 프록시로 동작합니다. 외부에서 빈의 메서드를 호출하면 프록시가 먼저 받아 트랜잭션을 시작하고 실제 메서드를 부릅니다. 그런데 같은 클래스 안에서 this로 다른 메서드를 호출하면 ..

─━ IT ━─ 2026.11.20

Running이라고 다 정상은 아니다: 개발자가 Pod를 볼 때 확인하는 네 가지

요즘 프로젝트에서는 쿠버네티스 위에 올라간 애플리케이션의 Pod를 Rancher로 관리하고 있습니다. 저는 인프라 엔지니어가 아니라 애플리케이션 쪽 사람이라, 클러스터 전체보다는 "내 애플리케이션이 지금 괜찮은가"를 보는 입장입니다.관리 화면은 편리합니다. 목록에 초록색 Running이 줄지어 있으면 마음이 놓입니다. 하지만 Running은 컨테이너가 떠 있다는 뜻이지, 일을 잘하고 있다는 뜻은 아닙니다. 그래서 제가 Pod를 볼 때 습관처럼 확인하는 것들을 정리해 봅니다.1. 상태보다 재시작 횟수를 먼저 본다Pod가 죽어도 쿠버네티스는 다시 띄웁니다. 그래서 문제가 있는 Pod도 화면을 여는 순간에는 Running일 수 있습니다. 상태 옆의 재시작 횟수가 올라가 있다면, 그 Pod는 조용히 죽었다 살아..

─━ IT ━─ 2026.11.17
반응형