데이터사이언스학과(대학원)

KANGWON NATIONAL UNIVERSITY

강원대학교 컴퓨터공학과 박연수 교수(데이터사이언스학과 겸임)가 제1저자로 참여한 연구 논문이 데이터베이스 분야 세계 3대 학술대회 중 하나인 ICDE 2026(42nd IEEE International Conference on Data Engineering)에 게재 승인되었다. 논문 제목은 "Batcher: Learning to Construct Cost-Efficient Batches of Small Queries in Big Data Processing Platforms"로, 스파크(Spark)와 같은 빅데이터 처리 플랫폼에서 발생하는 수많은 소형 질의(small queries)의 처리 성능을 인공지능 기반의 최적 배치(batch) 구성 기술을 통해 획기적으로 개선한 연구다.

기존 빅데이터 처리 플랫폼은 대규모 데이터 분석에 특화되어 있어, 수많은 소형 질의가 동시다발적으로 유입될 때 심각한 성능 저하를 겪는 한계가 있었다. 소형 질의는 실제 연산량은 적지만 질의마다 발생하는 설정(setup) 및 입출력(I/O) 오버헤드가 실행 시간의 상당 부분을 차지한다. 최근 여러 소형 질의를 하나의 큰 질의로 병합하여 오버헤드를 줄이는 기술이 제안되었으나, 단순한 선입선출(FCFS) 방식의 무분별한 병합은 실행 시간이 길거나 구조가 전혀 다른 질의들을 섞게 되어 짧은 질의가 긴 질의의 완료를 기다려야 하는 새로운 병목 현상을 유발했다.

연구팀은 기계학습 기반의 비용 예측 모델과 다단계 클러스터링을 결합하여 질의들을 최적으로 그룹화하는 지능형 시스템 'Batcher'를 제안해 기존의 한계를 극복했다. Batcher는 다층 퍼셉트론 신경망 모델을 이용해 배치의 처리 비용을 정확하게 예측한다. 이를 바탕으로 예상 실행 시간과 방향성 비순환 그래프(DAG)로 표현되는 질의 실행 계획 구조의 유사성을 기준으로 질의들을 두 단계에 걸쳐 클러스터링하며, 점진적 개선(iterative refinement) 알고리즘을 통해 NP-hard 난제인 최적의 배치 구성 문제를 적은 연산 오버헤드로 신속하게 해결한다.

제안된 Batcher 시스템은 대규모 실제 트랜잭션 데이터셋을 활용한 심층 평가에서 기존 최고 수준의 기술 대비 최대 5.4배 향상된 처리 속도를 달성하며 실용성을 입증했다. 이는 정교한 배치 구성을 통해 짧은 질의가 긴 질의를 기다려야 하는 병목 현상을 해소하고, 질의의 실행 구조를 고려한 최적의 병합을 수행함으로써 빅데이터 플랫폼의 병렬 처리 효율을 극대화한 결과이다.

강원대학교 컴퓨터공학과 빅데이터 연구실(지도교수: 박연수)은 이번 성과를 바탕으로 Big Data/AI 분야 후속 연구를 수행하고 있으며, 함께 성장할 (예비) 석·박사 과정생을 모집하고 있다. 관심 있는 학생은 연구실 홈페이지(https://bigdata.kangwon.ac.kr)를 참고하거나, 박연수 교수 이메일(yeonsu.park@kangwon.ac.kr)로 문의하면 된다.