회의 요약에서 결정 사항만 뽑아 근거 발화를 인용하는 방법

요약을 믿기 어려운 이유

회의 요약을 받은 사람이 가장 먼저 묻는 것은 "정말 그렇게 결정했나요?"입니다. 요약 모델은 그럴듯한 문장을 만들지만, 회의에서 논의만 되고 결정되지 않은 내용을 결정 사항처럼 적는 경우가 있습니다.

설계 원칙

우리는 요약의 목적을 '짧게 만들기'보다 '확인할 수 있게 만들기'로 정했습니다. 요약의 모든 문장은 회의록의 특정 발화 구간을 근거로 가져야 하며, 근거를 찾지 못한 문장은 요약에 넣지 않습니다.

방법

먼저 회의록에서 결정, 합의, 할당을 나타내는 발화를 후보로 뽑습니다. 후보마다 담당자와 기한 표현을 찾고, 같은 주제의 후보를 묶어 하나의 요약 문장으로 만듭니다. 문장을 만들 때 참조한 발화 구간의 시작과 끝 시간을 함께 저장해 요약 화면에서 바로 재생할 수 있게 했습니다.

평가

가상의 프로젝트 회의 120건 녹음을 두 명의 평가자가 검토했습니다. 요약 문장마다 근거 구간을 들어 보고 내용이 맞는지 표시했으며, 근거가 없는 문장의 비율을 기존 요약 방식과 비교했습니다(예시 데이터).

관찰

근거 인용을 강제하자 요약이 조금 짧아졌지만 평가자가 요약을 확인하는 시간은 오히려 줄었습니다. 대신 "다음 주에 다시 보자"처럼 모호한 합의를 결정 사항으로 볼지에 대한 기준은 팀마다 달라 사용자가 규칙을 정할 수 있도록 했습니다.

다음 단계

여러 회의에 걸쳐 이어지는 안건을 추적해 이전 회의의 결정과 연결하는 기능을 연구하고 있습니다.