반응형

전체 글 2055

새벽 배치가 중간에 죽었을 때 처음부터 다시 돌리나요: 대량 배치를 안전하게 만드는 다섯 가지

배치 작업은 평소에는 눈에 띄지 않습니다. 새벽에 돌고, 아침이면 끝나 있습니다. 배치의 품질은 실패한 날에 드러납니다. 백만 건 중 칠십만 건을 처리하다 죽었을 때 처음부터 다시 돌려야 하는지, 다시 돌리면 앞의 칠십만 건이 두 번 처리되는지, 업무 시작 전까지 끝낼 수 있는지. 이 질문에 답할 수 있게 만드는 다섯 가지를 정리합니다.1. 전체를 한 트랜잭션으로 처리하지 않는다대상을 모두 읽어 메모리에 올리고 한 번에 커밋하는 방식은 건수가 적을 때만 통합니다. 건수가 늘면 메모리가 부족해지고, 트랜잭션이 길어져 락과 언두 영역에 부담을 주며, 마지막 한 건에서 실패하면 전체가 롤백됩니다. 일정 건수씩 읽고 처리하고 쓰고 커밋하는 청크 방식이 기본입니다. Spring Batch의 청크 지향 처리가 이 ..

─━ IT ━─ 03:13:59

결제 버튼을 두 번 눌렀을 때 생기는 일: 멱등 키로 중복 요청을 막는 API 설계

네트워크는 믿을 수 없습니다. 요청이 서버에 도착해 처리됐는데 응답만 유실될 수 있고, 그러면 클라이언트는 실패한 줄 알고 다시 보냅니다. 사용자가 버튼을 두 번 누르기도 하고, 중간의 게이트웨이나 라이브러리가 자동으로 재시도하기도 합니다. 조회라면 문제가 없지만 결제, 주문, 송금처럼 상태를 바꾸는 요청이 두 번 처리되면 사고가 됩니다. 이 문제를 서버가 책임지고 막는 방법이 멱등 키입니다.1. 멱등하다는 것의 의미같은 요청을 한 번 보내든 여러 번 보내든 결과가 같으면 멱등하다고 합니다. HTTP에서 GET, PUT, DELETE는 정의상 멱등하지만 POST는 그렇지 않습니다. "주문을 생성한다"는 요청은 보낼 때마다 새 주문이 만들어집니다. 그래서 POST 요청에 한해 클라이언트가 "이 요청은 이 ..

─━ IT ━─ 2026.11.22

@Async를 붙였더니 장애가 늦게 온다: Spring 비동기 처리에서 확인할 다섯 가지

응답을 빨리 돌려주고 싶을 때 가장 손쉬운 방법은 오래 걸리는 작업에 @Async를 붙이는 것입니다. 알림 발송, 로그 적재, 외부 시스템 통지 같은 작업이 대상이 됩니다. 한 줄이면 되고 평소에는 잘 동작합니다. 문제는 부하가 몰리거나 외부 시스템이 느려질 때 나타납니다. 비동기는 작업을 없애는 것이 아니라 뒤로 미루는 것이라서, 미뤄 둔 곳이 어떻게 생겼는지를 알아야 합니다.1. 어떤 스레드 풀에서 실행되는지 확인한다@Async는 지정한 실행기에서 메서드를 실행합니다. 따로 정의하지 않으면 프레임워크의 기본 실행기가 쓰이는데, 버전과 설정에 따라 기본 동작이 다릅니다. 기본값에 기대지 말고 스레드 풀을 직접 빈으로 정의해 이름을 붙이고, 애너테이션에 그 이름을 지정하는 편이 안전합니다. 성격이 다른 ..

─━ IT ━─ 2026.11.22

컬럼 이름 하나 바꿨을 뿐인데 장애가 난다면: 운영 중인 테이블을 무중단으로 바꾸는 순서

운영 중인 서비스에서 테이블 구조를 바꾸는 일은 코드 배포보다 훨씬 조심스럽습니다. 컬럼 이름을 바꾸거나 타입을 고치는 단순한 변경도 배포 순간에 에러를 쏟아낼 수 있습니다. 원인은 하나입니다. 스키마 변경과 코드 배포는 절대 같은 순간에 일어나지 않는다는 것입니다. 롤링 배포 중에는 옛 코드와 새 코드가 함께 떠 있고, 둘 다 같은 테이블을 봅니다. 이 사실에서 출발하면 안전한 순서가 정해집니다.1. 원칙: 어느 시점에도 옛 코드와 새 코드가 모두 동작해야 한다컬럼 이름을 한 번에 바꾸면 변경 직후 옛 코드는 없는 컬럼을 찾다가 실패합니다. 반대로 코드를 먼저 배포하면 새 코드가 아직 없는 컬럼을 찾습니다. 어느 쪽을 먼저 해도 깨집니다. 해결은 변경을 여러 단계로 쪼개서, 각 단계가 바로 앞뒤 버전의..

─━ IT ━─ 2026.11.22

힙은 남는데 Pod가 OOMKilled 된다면: 컨테이너에서 JVM 메모리를 이해하는 법

쿠버네티스에서 Java 애플리케이션을 운영하다 보면 Pod가 OOMKilled로 재시작되는 일이 생깁니다. 그런데 힙 사용량 그래프를 보면 여유가 있고, 애플리케이션 로그에는 OutOfMemoryError도 없습니다. 이 둘은 서로 다른 사건이기 때문입니다. OutOfMemoryError는 JVM이 스스로 던지는 예외이고, OOMKilled는 컨테이너가 메모리 한도를 넘어서 운영체제가 프로세스를 강제로 종료한 것입니다. 후자는 로그 한 줄 남기지 못하고 죽습니다.1. JVM이 쓰는 메모리는 힙만이 아니다-Xmx로 정하는 것은 힙의 최대 크기일 뿐입니다. JVM은 그 밖에도 클래스 정보를 담는 메타스페이스, 스레드마다 하나씩 잡히는 스택, JIT 컴파일된 코드를 담는 코드 캐시, 가비지 컬렉터가 쓰는 내부..

─━ IT ━─ 2026.11.22

분산 락을 걸었는데도 중복 처리가 된다면: Redis 분산 락에서 놓치기 쉬운 다섯 가지

서버가 여러 대인 환경에서 "같은 작업이 동시에 두 번 실행되면 안 된다"는 요구는 흔합니다. 쿠폰 발급, 재고 차감, 중복 결제 방지 같은 경우입니다. 이때 가장 많이 쓰는 도구가 Redis 분산 락입니다. 그런데 락을 걸었는데도 중복 처리가 발생하는 경우가 있습니다. 락 자체가 틀린 것이 아니라 락을 다루는 방식에 빈틈이 있기 때문입니다. 자주 놓치는 다섯 가지를 정리합니다.1. 락을 잡는 것과 만료를 거는 것은 한 번에 해야 한다락은 "키가 없을 때만 저장"하는 명령으로 잡습니다. 여기에 만료 시간을 별도 명령으로 걸면 두 명령 사이에 서버가 죽었을 때 만료 없는 락이 영원히 남습니다. 그 뒤로는 아무도 락을 잡지 못합니다. SET 명령에 NX와 만료 옵션을 함께 주어 한 번에 처리해야 합니다. 만..

─━ IT ━─ 2026.11.22

컨슈머 랙이 줄지 않는다면: Kafka 컨슈머를 늘리기 전에 확인할 다섯 가지

Kafka를 운영하다 보면 컨슈머 랙, 즉 아직 처리하지 못한 메시지 수가 계속 쌓이는 상황을 만납니다. 가장 먼저 떠오르는 대응은 컨슈머 인스턴스를 늘리는 것입니다. 그런데 늘려도 랙이 그대로이거나 오히려 처리량이 떨어지는 경우가 있습니다. 랙은 증상이고 원인은 여러 가지이기 때문입니다. 컨슈머를 늘리기 전에 확인할 것 다섯 가지를 정리합니다.1. 파티션 수가 병렬 처리의 상한이다하나의 컨슈머 그룹 안에서 파티션 하나는 컨슈머 하나에만 배정됩니다. 파티션이 6개인 토픽에 컨슈머를 10개 띄워도 일하는 것은 6개이고 나머지 4개는 놀게 됩니다. 컨슈머를 늘려도 효과가 없다면 먼저 파티션 수를 봐야 합니다. 다만 파티션은 늘릴 수는 있어도 줄일 수는 없고, 늘리는 순간 키와 파티션의 대응이 바뀌어 같은 키..

─━ IT ━─ 2026.11.21

로그는 많은데 원인을 못 찾는다면: 장애 때 읽히는 로그를 남기는 다섯 가지

장애가 나면 가장 먼저 로그를 엽니다. 그런데 로그가 하루에 수 기가바이트씩 쌓이는데도 정작 "이 요청이 어디서 실패했는가"에는 답하지 못하는 경우가 많습니다. 로그가 부족해서가 아니라 찾을 수 없게 남겼기 때문입니다. 로그는 쓰는 시점이 아니라 읽는 시점을 기준으로 설계해야 합니다. 장애 때 실제로 읽히는 로그를 만드는 기준 다섯 가지를 정리합니다.1. 요청마다 추적 ID를 붙인다서버에는 여러 요청의 로그가 뒤섞여 찍힙니다. 한 요청의 흐름만 골라 보려면 모든 로그 줄에 같은 식별자가 있어야 합니다. Java에서는 MDC를 씁니다. 요청이 들어올 때 필터에서 추적 ID를 만들거나 헤더에서 받아 MDC에 넣고, 로그 패턴에 그 값을 포함시키면 코드 곳곳에서 따로 신경 쓰지 않아도 모든 줄에 ID가 찍힙니..

─━ IT ━─ 2026.11.21

재시도가 오히려 장애를 키운다: 외부 API 호출의 타임아웃과 재시도 설계

외부 API를 호출하는 코드는 정상일 때는 누가 짜도 비슷하게 동작합니다. 차이는 상대가 느려지거나 응답하지 않을 때 드러납니다. 타임아웃이 없으면 스레드가 끝없이 붙잡히고, 재시도를 아무렇게나 넣으면 이미 힘든 상대를 더 세게 두드리게 됩니다. 외부 호출을 설계할 때 정해 두어야 할 다섯 가지를 정리합니다.1. 타임아웃은 연결과 읽기를 따로 정한다타임아웃은 하나가 아닙니다. 연결 타임아웃은 상대 서버와 연결을 맺는 데 걸리는 시간의 한도이고, 읽기 타임아웃은 연결된 뒤 응답을 기다리는 시간의 한도입니다. 연결은 보통 수십 밀리초면 끝나므로 1~3초로 짧게 잡고, 읽기는 상대 API의 실제 응답 시간 분포를 보고 정합니다. 평균이 아니라 p99에 약간의 여유를 더한 값이 기준입니다. 많은 HTTP 클라이..

─━ IT ━─ 2026.11.21

배포할 때마다 502가 뜬다면: 쿠버네티스에서 Spring Boot를 우아하게 종료하는 법

무중단 배포를 하고 있다고 생각했는데 배포 시간마다 502나 연결 끊김 에러가 몇 건씩 찍히는 경우가 있습니다. 롤링 업데이트는 새 Pod를 먼저 띄우고 옛 Pod를 내리기 때문에 이론상 끊김이 없어야 합니다. 그런데도 에러가 나는 이유는 대부분 "옛 Pod가 어떻게 종료되는가"를 설정하지 않았기 때문입니다. 종료 과정을 순서대로 살펴보면 어디를 고쳐야 하는지 보입니다.Pod가 종료될 때 실제로 일어나는 일쿠버네티스가 Pod를 삭제하기로 하면 두 가지 일이 거의 동시에, 그러나 서로 독립적으로 시작됩니다. 하나는 컨테이너에 SIGTERM 신호를 보내는 일이고, 다른 하나는 서비스의 엔드포인트 목록에서 이 Pod를 빼는 일입니다. 문제는 두 번째 작업이 클러스터 전체에 퍼지는 데 시간이 걸린다는 점입니다...

─━ IT ━─ 2026.11.21
반응형