인사채용 관리 시스템에서 약 8천 건의 엑셀 점수 계산을 멀티스레드 병렬화와 로깅 조정으로 300초에서 10초로 줄였습니다. 병렬화로 60초가 됐고, 그 뒤 병목이던 로그를 줄여 10초가 됐습니다.
이 글에서 로그 비용을 잰 수치는 운영 환경이 아니라 로컬에서 만든 테스트 프로젝트의 값입니다. 운영 조건은 기록이 없어서 이 숫자와 나란히 놓을 수 없으니, 방식끼리의 상대 비교로만 읽어 주세요.
4명이 참여한 프로젝트에 중간에 합류해 백엔드를 주로 맡았습니다. 사용한 기술은 Spring과 Apache POI였습니다.
그림은 흐름을 보여 주는 예시입니다. 그림 아래쪽의 막대만 측정한 시간의 비율입니다.
문제: 사용자가 300초를 기다렸다
인사채용 관리 시스템에서는 지원자 데이터를 엑셀로 올리면 점수가 계산됩니다. 지원자 약 8천 건을 계산하는데, 건마다 사칙연산이 많이 들어가는 계산이 단일 스레드로 돌았습니다. 한 번 처리하는 데 300초가 걸렸고, 사용자는 그 시간 동안 결과를 기다려야 했습니다.
1단계: 멀티스레드 병렬화, 300초에서 60초로
원인은 점수 계산이 한 스레드에서만 돌고 있었다는 것입니다. 엑셀의 전체 라인을 CPU 프로세서 수만큼 나누고, 각 스레드가 자기 몫의 라인만 계산하도록 바꿨습니다. 결과는 합쳐서 데이터베이스에 저장합니다.
나눈 조각끼리는 함께 쓰는 계산 데이터가 없어서 동기화가 필요 없었습니다. 프로세서 수보다 더 잘게 나누면 스레드를 바꾸는 비용만 늘어날 것으로 보고, 프로세서 수에 맞췄습니다. 이 단계에서 300초가 60초가 됐습니다.
2단계: 로깅 조정, 60초에서 10초로
운영 조건(데이터 건수, 서버 사양, 반복 횟수)은 기록이 없습니다. 그래서 아래 수치는 테스트 프로젝트에서 잰 값이며, 운영의 300초, 60초, 10초와 같은 조건이 아닙니다.
병목과 조치
병렬화 뒤 병목은 로그 함수 호출이었습니다. IntelliJ 프로파일러로 확인했습니다. 동기 방식은 호출할 때마다 시스템 콜과 락 비용이 들어서, 로그를 많이 찍던 구조에서는 이 비용이 처리 시간의 큰 부분을 차지했습니다.
| 조치 | 하는 일 | 대가 |
|---|---|---|
| 로그 레벨 조정 | 운영에 필요한 로그만 남김 | 원인을 추적할 로그가 줄어듦 |
| 로그 호출 줄이기 | 계산 전후 숫자 중 계산에 필요한 최초의 숫자만 한 번에 찍음 | 로그에 남는 숫자가 줄어듦 |
| 비동기/버퍼 방식 | 로그를 큐나 버퍼에 모았다가 나중에 씀 | 프로세스가 강제 종료되면 메모리에 남은 로그가 사라질 수 있음 |
세 조치를 함께 적용한 뒤 60초가 10초가 됐습니다. 조치마다 나눈 수치는 없고, 세 조치를 합친 결과만 있습니다. 운영 로그는 계산 전후의 숫자를 보여 주는 단순한 로그라서, 이 대가를 감수할 만하다고 봤습니다.
측정 방법
로그 한 줄의 비용을 확인하려고 테스트 프로젝트를 만들어 쟀습니다.
| 항목 | 테스트 조건 |
|---|---|
| 계산 | 변수 20개를 사칙연산으로 섞음. 계산 단계마다 로그 1줄, 한 바퀴에 10줄 |
| 규모 | 스레드 4개, 행 8,000건, 행당 로그 10줄 (총 80,000줄) |
| 환경 | Apple M4 Pro, JDK 21 |
| 라이브러리 | Spring Boot 3.5.16 기본 로깅 구성, Logback 1.5.34, SLF4J 2.0.18 |
| 반복 | 워밍업 뒤 3회 측정, 중앙값 |
시간은 두 가지로 나눠 쟀습니다.
| 이름 | 재는 것 | 동기 방식 | 비동기 방식 |
|---|---|---|---|
| 호출 | 로그 함수 한 번을 부르고 돌아올 때까지 걸린 평균 시간 (호출한 스레드가 멈춘 시간) | 파일 쓰기까지 포함 | 큐에 넣는 시간만 포함 |
| 전체 | 스레드 4개가 행 8,000건을 나눠 계산을 시작해서 모두 끝낼 때까지의 시계 시간. 스레드별 시간을 더한 값이 아님 | 계산이 끝난 시점까지 | 계산이 끝난 뒤 로그 80,000줄이 파일에 다 쓰일 때까지 남은 시간을 더함 |
측정 결과
| 방식 | flush | 호출 | 전체 |
|---|---|---|---|
| 로그 없음 (기준선) | - | - | 2.6 ms |
| 레벨 off (호출만 하고 돌아옴) | - | 0.00044 ms | 21 ms |
| 동기 | 쓸 때마다 | 0.0121 ms | 252 ms |
| 동기 | 미룸 (buffer) | 0.0021 ms | 45 ms |
| 비동기 | 쓸 때마다 | 0.0014 ms | 164 ms |
| 비동기 | 미룸 (buffer) | 0.0019 ms | 40 ms |
로그 없이 계산만 하면 2.6 ms입니다. 계산은 가벼운데 로그가 대부분의 시간을 차지합니다. 레벨 off의 호출 값에는 시간을 재는 코드의 비용도 섞여 있어서, 레벨 확인만의 정확한 값으로 보지는 않습니다.
비동기 전체 시간의 구성
쓸 때마다 flush하는 비동기 방식(전체 164 ms)을 나눠 보면 다음과 같습니다.
| 구간 | 시간 |
|---|---|
| 계산 끝까지 (호출 포함) | 약 30 ms |
| 계산이 끝난 뒤 남은 줄을 파일에 쓰기 | 134 ms |
| 전체 | 164 ms |
약 30 ms는 164 ms에서 파일 쓰기 134 ms를 뺀 값입니다. 호출 시간만 보면 비동기가 짧지만, 쓰기 비용은 사라진 것이 아니라 큐에서 꺼내 쓰는 스레드 쪽으로 옮겨진 것입니다. 이 스레드는 줄을 여러 개씩 꺼내 쓰므로, 큐가 비었다고 쓰기가 끝난 것은 아닙니다.
몇 가지 용어를 짚으면 다음과 같습니다.
- 동기: 로그를 부른 스레드가 파일에 쓰기까지 끝내고 돌아갑니다.
- 비동기: 로그를 큐에 넣고 바로 돌아가고, 따로 있는 스레드가 큐에서 꺼내 파일에 씁니다.
- 출력 스트림: 로그가 파일로 나가는 통로입니다.
- flush: 통로에 쌓인 내용을 운영체제에 실제로 쓰라고 요청하는 일입니다. 쓸 때마다 flush하면 로그 한 줄마다 운영체제에 쓰기를 요청하게 됩니다.
결과와 한계
최종적으로 300초가 10초가 됐습니다. 약 97% 줄었고, 30배 빨라진 셈입니다.
이 수치는 테스트 환경의 값입니다. 실제 프로젝트의 계산량과 로그 줄 수에서도 같은 비율로 줄어드는지는 이 글의 범위 밖입니다. 다만 같은 로그를 찍더라도 쓰는 방식을 바꾸는 것만으로 시간이 크게 달라진다는 점은 테스트에서 드러났습니다. 운영의 60초와 10초를 같은 조건에서 견줄 기록이 없으므로, 이 글은 두 수치를 직접 비교하지 않습니다. 300초와 10초 사이의 데이터베이스 저장 시간이나 10초 이후의 병목도 이 글에서는 다루지 않습니다.