조선익의 개발자 생활
← 목록으로

인사채용 관리 시스템·최적화·2026-11-07

엑셀 점수 계산 300초를 10초로 줄인 과정

인사채용 관리 시스템에서 약 8천 건의 엑셀 점수 계산을 병렬화와 로깅 조정으로 300초에서 10초로 줄인 과정을 정리했습니다.

기술
Spring, Apache POI
결과
약 8천 건 엑셀 점수 계산 300초 → 10초 (운영 보고값)
  • 성능 최적화
  • 엑셀
  • 멀티스레드
  • 로깅
스킬SpringApache POI

인사채용 관리 시스템에서 약 8천 건의 엑셀 점수 계산을 멀티스레드 병렬화와 로깅 조정으로 300초에서 10초로 줄였습니다. 병렬화로 60초가 됐고, 그 뒤 병목이던 로그를 줄여 10초가 됐습니다.

이 글에서 로그 비용을 잰 수치는 운영 환경이 아니라 로컬에서 만든 테스트 프로젝트의 값입니다. 운영 조건은 기록이 없어서 이 숫자와 나란히 놓을 수 없으니, 방식끼리의 상대 비교로만 읽어 주세요.

4명이 참여한 프로젝트에 중간에 합류해 백엔드를 주로 맡았습니다. 사용한 기술은 Spring과 Apache POI였습니다.

엑셀 점수 계산의 세 상태입니다. 병렬화 전에는 스레드 1개가 행마다 노란 점 2개를 남깁니다. 병렬화 후에는 스레드 4개가 각각 2개씩 남기고, 노란 점은 로그 파일 쓰기 락 앞의 대기열에 먼저 온 순서대로 섭니다. 로그를 줄인 뒤에는 운영에 필요한 로그만 남겨 스레드마다 1개만 남깁니다. 맨 아래 막대는 300초, 60초, 10초의 비율입니다.엑셀 점수 계산의 세 상태입니다. 병렬화 전에는 스레드 1개가 행마다 노란 점 2개를 남깁니다. 병렬화 후에는 스레드 4개가 각각 2개씩 남기고, 노란 점은 로그 파일 쓰기 락 앞의 대기열에 먼저 온 순서대로 섭니다. 로그를 줄인 뒤에는 운영에 필요한 로그만 남겨 스레드마다 1개만 남깁니다. 맨 아래 막대는 300초, 60초, 10초의 비율입니다.

그림은 흐름을 보여 주는 예시입니다. 그림 아래쪽의 막대만 측정한 시간의 비율입니다.

문제: 사용자가 300초를 기다렸다

인사채용 관리 시스템에서는 지원자 데이터를 엑셀로 올리면 점수가 계산됩니다. 지원자 약 8천 건을 계산하는데, 건마다 사칙연산이 많이 들어가는 계산이 단일 스레드로 돌았습니다. 한 번 처리하는 데 300초가 걸렸고, 사용자는 그 시간 동안 결과를 기다려야 했습니다.

1단계: 멀티스레드 병렬화, 300초에서 60초로

원인은 점수 계산이 한 스레드에서만 돌고 있었다는 것입니다. 엑셀의 전체 라인을 CPU 프로세서 수만큼 나누고, 각 스레드가 자기 몫의 라인만 계산하도록 바꿨습니다. 결과는 합쳐서 데이터베이스에 저장합니다.

나눈 조각끼리는 함께 쓰는 계산 데이터가 없어서 동기화가 필요 없었습니다. 프로세서 수보다 더 잘게 나누면 스레드를 바꾸는 비용만 늘어날 것으로 보고, 프로세서 수에 맞췄습니다. 이 단계에서 300초가 60초가 됐습니다.

2단계: 로깅 조정, 60초에서 10초로

운영 조건(데이터 건수, 서버 사양, 반복 횟수)은 기록이 없습니다. 그래서 아래 수치는 테스트 프로젝트에서 잰 값이며, 운영의 300초, 60초, 10초와 같은 조건이 아닙니다.

병목과 조치

병렬화 뒤 병목은 로그 함수 호출이었습니다. IntelliJ 프로파일러로 확인했습니다. 동기 방식은 호출할 때마다 시스템 콜과 락 비용이 들어서, 로그를 많이 찍던 구조에서는 이 비용이 처리 시간의 큰 부분을 차지했습니다.

조치하는 일대가
로그 레벨 조정운영에 필요한 로그만 남김원인을 추적할 로그가 줄어듦
로그 호출 줄이기계산 전후 숫자 중 계산에 필요한 최초의 숫자만 한 번에 찍음로그에 남는 숫자가 줄어듦
비동기/버퍼 방식로그를 큐나 버퍼에 모았다가 나중에 씀프로세스가 강제 종료되면 메모리에 남은 로그가 사라질 수 있음

세 조치를 함께 적용한 뒤 60초가 10초가 됐습니다. 조치마다 나눈 수치는 없고, 세 조치를 합친 결과만 있습니다. 운영 로그는 계산 전후의 숫자를 보여 주는 단순한 로그라서, 이 대가를 감수할 만하다고 봤습니다.

측정 방법

로그 한 줄의 비용을 확인하려고 테스트 프로젝트를 만들어 쟀습니다.

항목테스트 조건
계산변수 20개를 사칙연산으로 섞음. 계산 단계마다 로그 1줄, 한 바퀴에 10줄
규모스레드 4개, 행 8,000건, 행당 로그 10줄 (총 80,000줄)
환경Apple M4 Pro, JDK 21
라이브러리Spring Boot 3.5.16 기본 로깅 구성, Logback 1.5.34, SLF4J 2.0.18
반복워밍업 뒤 3회 측정, 중앙값

시간은 두 가지로 나눠 쟀습니다.

이름재는 것동기 방식비동기 방식
호출로그 함수 한 번을 부르고 돌아올 때까지 걸린 평균 시간 (호출한 스레드가 멈춘 시간)파일 쓰기까지 포함큐에 넣는 시간만 포함
전체스레드 4개가 행 8,000건을 나눠 계산을 시작해서 모두 끝낼 때까지의 시계 시간. 스레드별 시간을 더한 값이 아님계산이 끝난 시점까지계산이 끝난 뒤 로그 80,000줄이 파일에 다 쓰일 때까지 남은 시간을 더함

측정 결과

방식flush호출전체
로그 없음 (기준선)--2.6 ms
레벨 off (호출만 하고 돌아옴)-0.00044 ms21 ms
동기쓸 때마다0.0121 ms252 ms
동기미룸 (buffer)0.0021 ms45 ms
비동기쓸 때마다0.0014 ms164 ms
비동기미룸 (buffer)0.0019 ms40 ms

로그 없이 계산만 하면 2.6 ms입니다. 계산은 가벼운데 로그가 대부분의 시간을 차지합니다. 레벨 off의 호출 값에는 시간을 재는 코드의 비용도 섞여 있어서, 레벨 확인만의 정확한 값으로 보지는 않습니다.

비동기 전체 시간의 구성

쓸 때마다 flush하는 비동기 방식(전체 164 ms)을 나눠 보면 다음과 같습니다.

구간시간
계산 끝까지 (호출 포함)약 30 ms
계산이 끝난 뒤 남은 줄을 파일에 쓰기134 ms
전체164 ms

약 30 ms는 164 ms에서 파일 쓰기 134 ms를 뺀 값입니다. 호출 시간만 보면 비동기가 짧지만, 쓰기 비용은 사라진 것이 아니라 큐에서 꺼내 쓰는 스레드 쪽으로 옮겨진 것입니다. 이 스레드는 줄을 여러 개씩 꺼내 쓰므로, 큐가 비었다고 쓰기가 끝난 것은 아닙니다.

몇 가지 용어를 짚으면 다음과 같습니다.

  • 동기: 로그를 부른 스레드가 파일에 쓰기까지 끝내고 돌아갑니다.
  • 비동기: 로그를 큐에 넣고 바로 돌아가고, 따로 있는 스레드가 큐에서 꺼내 파일에 씁니다.
  • 출력 스트림: 로그가 파일로 나가는 통로입니다.
  • flush: 통로에 쌓인 내용을 운영체제에 실제로 쓰라고 요청하는 일입니다. 쓸 때마다 flush하면 로그 한 줄마다 운영체제에 쓰기를 요청하게 됩니다.

결과와 한계

최종적으로 300초가 10초가 됐습니다. 약 97% 줄었고, 30배 빨라진 셈입니다.

이 수치는 테스트 환경의 값입니다. 실제 프로젝트의 계산량과 로그 줄 수에서도 같은 비율로 줄어드는지는 이 글의 범위 밖입니다. 다만 같은 로그를 찍더라도 쓰는 방식을 바꾸는 것만으로 시간이 크게 달라진다는 점은 테스트에서 드러났습니다. 운영의 60초와 10초를 같은 조건에서 견줄 기록이 없으므로, 이 글은 두 수치를 직접 비교하지 않습니다. 300초와 10초 사이의 데이터베이스 저장 시간이나 10초 이후의 병목도 이 글에서는 다루지 않습니다.

전체 글경력소개
  • 최적화4
  • 설계5
  • 연구0

태그

  • 성능 최적화4
  • 운영 문제4
  • 데이터베이스3
  • 멀티테넌트2
  • 스키마2
  • 이벤트 처리2
  • 가상화1
  • 결제 연동1
  • 공공 API1
  • 데이터 정제1
  • 로깅1
  • 마이그레이션1
  • 멀티스레드1
  • 배치 처리1
  • 엑셀1
  • 이벤트 순서1
  • 전자서명1
  • 타임아웃1
  • AI 연동1

스킬

  • React4
  • Spring Boot3
  • C#2
  • Apache POI1
  • DataTables1
  • Django1
  • Docker1
  • JPA1
  • LLM API1
  • MyBatis1
  • MySQL1
  • PostgreSQL1
  • Spring1
  • TypeScript1
문의

댓글 0

    조회 0