산업용 엣지 장비에서 비전 모델 지연 시간을 절반으로 줄인 연산 재배치

평균이 아니라 최대값

라인 카메라가 초당 여러 장을 보내는 환경에서 한 장이라도 판정이 늦으면 부품이 다음 공정으로 넘어가 버립니다. 그래서 우리는 평균 처리 시간보다 가장 느린 처리 시간을 목표 지표로 삼았습니다.

병목 찾기

엣지 장비에서 각 연산의 시간을 측정해 보니 모델 추론 자체보다 이미지 크기 조정과 색 변환 같은 전처리가 CPU에서 오래 걸리고 있었습니다. 또 판정 결과를 한 장씩 서버로 보내는 동안 다음 이미지가 대기하는 구간이 있었습니다.

재배치

전처리 연산을 가속기로 옮겨 이미지가 가속기 메모리 안에서 바로 모델로 들어가게 했습니다. 판정 결과 전송은 별도 작업으로 분리해 추론을 막지 않도록 했고, 카메라 두 대의 이미지를 짧은 간격으로 묶어 한 번에 처리했습니다.

결과

같은 모델, 같은 장비에서 최대 지연 시간이 절반 수준으로 줄었고 처리량도 늘었습니다(예시 데이터). 모델을 다시 학습하지 않았기 때문에 판정 정확도는 변하지 않았습니다.

교훈

경량화는 모델을 작게 만드는 일만이 아니었습니다. 장비의 구조를 이해하고 데이터가 이동하는 경로를 줄이는 것만으로도 큰 개선이 가능했습니다. 이 과정은 가늠 LITE의 장비별 연산 재배치 기능으로 정리되었습니다.