KR20210056085A

KR20210056085A - 고객 상담 요약 장치 및 방법

Info

Publication number: KR20210056085A
Application number: KR1020190142748A
Authority: KR
Inventors: 이세희; 이종언
Original assignee: 주식회사 엘지유플러스
Priority date: 2019-11-08
Filing date: 2019-11-08
Publication date: 2021-05-18
Also published as: KR102332268B1

Abstract

본 발명의 예시적인 실시예는 1) 여러 주제가 혼재되어 있고, 2) 문장의 시작과 끝이 모호하며, 3) 주제어가 반복되지 않는 상담 녹취 데이터의 특성을 반영하여 VoC 분석 효율성을 향상시킬 수 있도록 하기 위한 고객 상담 요약 장치 및 방법에 관한 것으로, 본 발명의 일 측면에 따른 고객 상담 요약 장치는, 상담 녹취 텍스트를 대화 주제별 문단으로 분리하기 위한 문단분리부; 상기 분리된 각 문단으로부터 상담 메모와 유사한 문장을 추출 또는 생성하여 요약 문장으로 출력하기 위한 요약문장출력부; 및 상기 출력된 요약 문장에 대한 선행문과 후행문 및 기 설정된 핵심 단어 중 적어도 하나 이상을 기초로 상기 출력된 요약 문장을 보정하기 위한 요약문장보정부;를 포함할 수 있다.

Description

고객 상담 요약 장치 및 방법{Customer Consultation Summary Apparatus and Method}

본 발명은 고객 상담 요약 장치 및 방법에 관한 것이다.

일반적으로, 일반 고객을 직접적으로 상대하는 금융/통신사 등의 다양한 기업에서는 고객의 불편을 해소하기 위해 고객이 요청하는 내용(VoC: Voice of Customer)을 중심적으로 분석하여 개선활동을 하고 있다.

이를 위해 상담 내용을 녹취하고 이를 분석하기 쉬운 형태인 텍스트로 변환하여 서버에 저장한다. 이때 녹취에 드러나지 않는 고객의 불만을 놓치지 않기 위해, 상담사가 직접 시스템에 고객의 불만을 요약하여 상담 메모에 적어 저장하는 활동을 함께 하고 있다.

이러한 VoC를 한눈에 파악하기 위해 회사에서는 상담 메모와 녹취데이터를 일일이 직접 보고 VoC를 유형별로 정리한다. 이러한 VoC 유형은 매번 달라지기 때문에, 자동화하기 힘든 영역이라 사람이 눈으로 확인하는 작업을 거쳐야 한다. 하루에 수십만개의 문의 전화가 들어오지만, 사람이 확인해야 하기 때문에 극히 일부만 정리할 수 있게 된다.

따라서 고객센터 상담 내용 중 고객이 요청하는 내용이 포함되어 있는 문장을 추출 혹은 생성하는 고객센터 상담 자동 요약 시스템을 도입함으로써, 상담 메모가 부족한 녹취데이터를 효율적으로 확인할 수 있게 된다. 또한, 상담사의 메모 작성 공수를 줄일 수 있고, 상담사가 미처 작성하지 못한 고객 불만을 확인하여 Human error를 줄일 수 있다.

콜센터가 있는 많은 회사에서 VoC 분석 효율화를 위해 요약 자동화 시스템을 도입하고자 하였다. 일반적인 기존의 요약 방식으로는 키워드의 빈도를 계산하여 중요 문장을 추출하는 방법을 사용한다.

그러나 전술한 기존의 요약 방식에 따를 경우 빈도는 높으나 VoC 분석을 하기에 필요가 없는 문장(ex: 고객님 안녕하세요. 고객님 위치. 고객님 혹시 휴대전화 말고 다른 연락처는 따로 없으세요. 등)이 추출될 수 있는 문제점이 있다.

즉, 상담 녹취 데이터는 1) 여러 주제가 혼재되어 있으며, 2) 문장의 시작과 끝이 모호하며, 3) 주제어가 반복되지 않는 특성이 있는데, 이러한 특성을 반영하지 못하는 기존의 요약 방식으로는 키워드의 빈도는 높지만 VoC 분석에 도움이 되지 않는 문장이 추출될 수 있는 문제점이 있었다.

공개특허공보 제10-2018-0073226호(2016.12.22.)

본 발명은 전술한 종래의 문제점을 해결하기 위한 것으로, 그 목적은 1) 여러 주제가 혼재되어 있고, 2) 문장의 시작과 끝이 모호하며, 3) 주제어가 반복되지 않는 상담 녹취 데이터의 특성을 반영하여 VoC 분석 효율성을 향상시킬 수 있도록 하기 위한 고객 상담 요약 장치 및 방법을 제공하는 것이다.

전술한 목적을 달성하기 위하여 본 발명의 일 측면에 따른 고객 상담 요약 장치는, 상담 녹취 텍스트를 대화 주제별 문단으로 분리하기 위한 문단분리부; 상기 분리된 각 문단으로부터 상담 메모와 유사한 문장을 추출 또는 생성하여 요약 문장으로 출력하기 위한 요약문장출력부; 및 상기 출력된 요약 문장에 대한 선행문과 후행문 및 기 설정된 핵심 단어 중 적어도 하나 이상을 기초로 상기 출력된 요약 문장을 보정하기 위한 요약문장보정부;를 포함할 수 있다.

상기 문단분리부는 상기 상담 녹취 텍스트의 문장별 각 상담 유형에 속할 확률을 구하고, 인접한 N개의 문장에 대한 동일 상담 유형의 상담 유형 확률의 합이 기 설정된 기준값 이상이고 해당 상담 유형이 최초이거나 선행 상담 유형과 다를 경우, 상기 해당 상담 유형에 대응하는 대화 주제의 문단으로 인식하여 다른 문단과 구분되는 문단으로 분리할 수 있다.

상기 문단분리부는 학습된 통계 모델(분류 모델)을 사용하여 문장별 상담 유형 분류 확률을 구할 수 있고, 상기 통계 모델은 인공지능망 및 SVM(Support Vector Machine) 중 적어도 하나를 포함할 수 있다.

상기 요약문장보정부는 상기 출력된 요약 문장에 대한 선행문과 후행문의 연결성 유무를 각각 확인하고, 연결성이 있는 문장을 상기 출력된 요약 문장에 연결하여 보정할 수 있다.

상기 요약문장보정부는 기 학습된 시퀀셜(sequential)한 언어 모델을 사용하여 선후 문장간(즉, 상기 선행문과 상기 출력된 요약 문장간, 및 상기 출력된 요약 문장과 상기 후행문간)의 연결성 확률을 산정하고 그 산정된 연결성 확률이 기 설정된 기준값 이상일 경우 연결성이 있는 것으로 확인할 수 있다.

상기 요약문장보정부는 기 학습된 시퀀셜(sequential)한 언어 모델을 사용하여 선후 문장간(즉, 상기 선행문과 상기 출력된 요약 문장간, 및 상기 출력된 요약 문장과 상기 후행문간)의 연결성 확률에 대응하는 제1 점수를 산정하고, 연결하고자 하는 문장(즉, 상기 선행문과 후행문 각각)에 포함된 상기 기 설정된 핵심 단어의 수에 대응하는 가중치를 부여하고, 상기 제1 점수와 상기 가중치의 합이 기 설정된 기준값 이상일 경우 연결성이 있는 것으로 확인할 수 있다.

상기 핵심 단어는 상기 상담 메모로부터 추출될 수 있으며, 상기 언어 모델은 LSTM(Long Short-Term Memory Network)을 포함할 수 있다.

전술한 목적을 달성하기 위하여 본 발명의 다른 측면에 따른 고객 상담 요약 방법은, (a) 상담 녹취 텍스트를 대화 주제별 문단으로 분리하기 위한 단계; (b) 상기 분리된 각 문단으로부터 상담 메모와 유사한 문장을 추출 또는 생성하여 요약 문장으로 출력하기 위한 단계; 및 (c) 상기 출력된 요약 문장에 대한 선행문과 후행문 및 기 설정된 핵심 단어 중 적어도 하나 이상을 기초로 상기 출력된 요약 문장을 보정하기 위한 단계;를 포함할 수 있다.

상기 단계 (a)는 상기 상담 녹취 텍스트의 문장별 각 상담 유형에 속할 확률을 구하고, 인접한 N개의 문장에 대한 동일 상담 유형의 상담 유형 확률의 합이 기 설정된 기준값 이상이고 해당 상담 유형이 최초이거나 선행 (분리된 문단의) 상담 유형과 다를 경우, 상기 상담 녹취 텍스트에서 상기 해당 상담 유형에 대응하는 대화 주제의 문단으로 분리할 수 있다.

상기 단계 (a)는 학습된 통계 모델을 사용하여 테스트 문장별 상담 유형 분류 확률을 구할 수 있고, 상기 통계 모델은 인공지능망 및 SVM(Support Vector Machine) 중 적어도 하나를 포함할 수 있다.

상기 단계 (c)는 상기 출력된 요약 문장에 대한 선행문과 후행문의 연결성 유무를 각각 확인하고, 연결성이 있는 문장을 상기 출력된 요약 문장에 연결하여 보정할 수 있다.

상기 단계 (c)는 기 학습된 시퀀셜(sequential)한 언어 모델을 사용하여 선후 문장간(즉, 상기 선행문과 상기 출력된 요약 문장간, 및 상기 출력된 요약 문장과 상기 후행문간)의 연결성 확률을 산정하고 그 산정된 연결성 확률이 기 설정된 기준값 이상일 경우 연결성이 있는 것으로 확인할 수 있다.

상기 단계 (c)는 기 학습된 시퀀셜(sequential)한 언어 모델을 사용하여 선후 문장간(즉, 상기 선행문과 상기 출력된 요약 문장간, 및 상기 출력된 요약 문장과 상기 후행문간)의 연결성 확률에 대응하는 제1 점수를 산정하고, 연결하고자 하는 문장(즉, 상기 선행문과 후행문 각각)에 포함된 상기 기 설정된 핵심 단어의 수에 대응하는 가중치를 부여하고, 상기 제1 점수와 상기 가중치의 합이 기 설정된 기준값 이상일 경우 연결성이 있는 것으로 확인할 수 있다.

상기 핵심 단어는 상기 상담 메모로부터 추출될 수 있고, 상기 언어 모델은 LSTM(Long Short-Term Memory Network)을 포함할 수 있다.

전술한 목적을 달성하기 위하여 본 발명의 또 다른 측면에 따르면, 상기 고객 상담 요약 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체가 제공될 수 있다.

전술한 목적을 달성하기 위하여 본 발명의 또 다른 측면에 따르면, 상기 고객 상담 요약 방법을 하드웨어와 결합하여 실행시키기 위하여 컴퓨터로 읽을 수 있는 기록 매체에 저장된 애플리케이션이 제공될 수 있다.

전술한 목적을 달성하기 위하여 본 발명의 또 다른 측면에 따르면, 상기 고객 상담 요약 방법을 컴퓨터에서 실행시키기 위하여 컴퓨터로 읽을 수 있는 기록 매체에 저장된 컴퓨터 프로그램이 제공될 수 있다.

이상에서 설명한 바와 같이 본 발명의 다양한 측면에 따르면, 1) 여러 주제가 혼재되어 있고, 2) 문장의 시작과 끝이 모호하며, 3) 주제어가 반복되지 않는 고객 상담 녹취 데이터의 특성을 반영하여 대화 주제별로 구분된 문단별로 추출 또는 생성된 하나 이상의 요약 문장을 포함하는 고객 상담 녹취 텍스트에 대한 요약문을 만듦으로써 VoC 분석 효율을 향상시키는 효과가 있다.

즉, 본 발명의 일 측면에 따라 대화 주제별 문단 분리를 선행하고 각 주제별로 요약된 문장을 추출함으로써, 상담 녹취 데이터의 특성 상 중복된 문장이 나올 수 있는 기존의 단점을 방지하여, VoC 분석 효율을 극대화 할 수 있는 효과가 있다.

또한, 대화문의 경우 말 늘어뜨림(예를 들어, ~하는데, ~하던지 등)으로 인해 문장이 완료되는 구간이 명확하지 않고, 끼어들기로 인해 문장 분리가 과하게 이루어져 있으며, 기존과 같이 특정 문장을 추출한 경우 한 대화의 일부만 추출하게 되는 경우가 많고, 특히 VoC의 경우 고객이 불만을 명확하게 말하지 않고 말을 늘어뜨리는 경향이 있는데, 본 발명의 일 측면에 따르면 핵심 문장 추출 이후, 앞 뒤 연결된 문장을 이어 붙여 대화 의미상 온전한 문장으로 보정할 수 있으므로 VoC 분석 효율을 극대화 할 수 있는 효과가 있다.

도 1은 본 발명의 예시적인 실시예에 따른 고객 상담 요약 장치의 구성도,
도 2는 본 발명의 실시예에 따른 문단 분리 방식을 설명하기 위한 예시도,
도 3은 본 발명의 실시예에 따른 요약 문장 보정을 설명하기 위한 예시도,
도 4는 본 발명의 실시예에 따른 입력(상담내용)과 출력(요약문)에 대한 예시도,
도 5는 본 발명의 실시예에 따른 정량적 평가에 대한 예시도,
도 6은 본 발명의 예시적인 실시예에 따른 고객 상담 요약 방법의 흐름도이다.

이하, 첨부도면을 참조하여 본 발명의 실시예에 대해 구체적으로 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 한다. 또한, 본 발명의 실시예에 대한 설명 시 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.

도 1은 본 발명의 예시적인 실시예에 따른 고객 상담 요약 장치의 구성도로서, 동 도면에 도시된 바와 같이, 녹취텍스트입력부(11), 문단분리부(12), 상담메모입력부(13), 형태소분석부(14), 정규화부(15), 핵심단어추출부(16), 요약문장출력부(17), 요약문장보정부(18), 및 요약문출력/평가부(19)를 포함할 수 있다.

녹취텍스트입력부(11)는 녹취되어 음성파일에서 텍스트파일로 변환된 텍스트 데이터를 입력하기 위한 것으로, 예를 들어, VoC(Voice of Customer)와 같은 고객 상담 내용에 대응하는 상담 녹취 텍스트를 입력할 수 있다.

문단분리부(12)는 상담 녹취 텍스트를 하나 이상의 대화 주제별 문단으로 분리하기 위한 것이다.

일반적으로 기존의 문서 요약 방식(모델)은 한가지 주제를 기초로 주요한 문장을 추출하거나 생성한다. 상담의 경우 한 대화(상담 내용)에 한가지 주제의 문의만 존재하기도 하지만, 한 대화에 2개 이상의 주제가 혼재되어 있는 경우도 많다. 예를 들어, 통신사 고객 상담 시 신규 상품 문의로 시작하여 도중에 상담사 추천 등으로 가족결합 서비스에 가입하는 경우가 있을 수 있는데, 이러한 경우 한 상담 내용에 2개의 주제(신규상품 및 가족결합)가 혼재된다. 다른 예로, 고객 불만을 포함하는 상담 내용의 경우, 초반에는 요금제 문의 대화가 이어지다가 중반부터 요금 불만이 이어지는 등 다수의 주제가 혼재되는 경우가 많다.

따라서, 상담 녹취 데이터를 요약하는 경우 불만 전화가 특히 중요한 항목이기 때문에, 본 실시예에 따른 문단분리부(12)를 통해 상담 녹취 텍스트를 하나 이상의 대화 주제별 문단으로 분리함으로써, 한 상담 내용에 포함된 특정 문의 내용뿐만 아니라 고객 불만 사항에 대해서도 놓치지 않고 요약할 수 있도록 한다.

문단분리부(12)는 상담 녹취 텍스트를 순차적인 문장으로 구분하여 문장별로 각 상담 유형에 속할 확률(또는, 상담 유형 확률이라 칭함)을 구하고, 인접한 N개의 문장에 대한 동일 상담 유형의 상담 유형 확률의 합이 기 설정된 기준값 이상이고 해당 상담 유형이 최초이거나 선행 (분리 문단의) 상담 유형과 다를 경우, 상기 해당 상담 유형에 대응하는 대화 주제의 문단으로 분리할 수 있다.

도 2의 (a)와 같은 상담 녹취 텍스트의 문장별 상담 유형과 상담 유형 확률은, 예를 들어, 도 2의 (b)에 도시된 바와 같이 기 학습된 분류 모델(또는 통계 모델이라 칭함)을 통해 문장에 대해 상담유형A에 속할 확률 5%, 상담유형B에 속할 확률 40%, 상담유형C에 속할 확률 30%, 및 상담유형D에 속할 확률 25%와 같이 구할 수 있다. 참고로, 상담 유형은 요금 관련 상담 유형은 A, 통화 품질 관련 상담 유형은 B 등과 같이 구분할 수 있다.

도 2(b)의 분류 모델(통계 모델)은 인공지능망 및 SVM(Support Vector Machine) 중 적어도 하나를 포함하는 모델을 사용하여 테스트 문장별로 상담 유형에 속할 확률을 내는 모델을 학습하여 생성할 수 있다.

문단분리부(12)는 인접한 N개 문장에 대한 동일 상담 유형 확률의 합이 기준값(threshold)을 넘으면서 선행 상담 유형과 다를 경우 경우 문단의 내용이 분리되었음을 인지할 수 있다.

예를 들어, N=3일 경우 순차적인 문장 1, 2, 3에 대한 상담 유형 확률이 하기 표 1과 같이 나왔을 때, N(=3)개의 문장에 대한 동일 상담 유형 A의 상담 유형 확률의 합은 5%+0+0=5%이고, 동일 상담 유형 B의 상담 유형 확률의 합은 40%+0+40=80%이고, 동일 상담 유형 C의 상담 유형 확률의 합은 30%+70%+40%=140%이고, 동일 상담 유형 D의 상담 유형 확률의 합은 25%+30%+20%=75%이므로, 기준값은 120%이고 선행 문단은 상담 유형은 A에 대응하는 대화 주제의 문단이라고 가정하면, 현재의 문단을 해당 상담 유형 C에 대응하는 대화 주제의 문단으로 분리할 수 있다.

문장	상담 유형 확률
1	A --> 5% B --> 40% C --> 30% D --> 25%
2	C --> 70% D --> 30%
3	B --> 40% C --> 40% D --> 20%

참고로, 상담 유형별 문장 개수를 비슷하게 하여 분류 모델(통계 모델)을 학습함으로써, 예를 들어,"여보세요" 등 일반적인 문장이 특정 상담 유형이 되는 현상을 방지하는 것이 중요하다.

상담메모입력부(13)는 상담사가 직접 요약한 상담 메모 텍스트를 입력하기 위한 것으로서, 예를 들어, 요약문장출력부(17)의 요약 모델이 상담사가 직접 요약한 상담 메모를 요약(문)의 정답으로 사용하여 상담 메모와 유사한 문장을 요약할 수 있도록 학습함으로써 이후 정답 없이 입력된 녹취 데이터에 대하여 요약문을 출력할 수 있도록 하기 위하여, 상담메모입력부(13)를 통해 상담 메모 텍스트를 입력할 수 있도록 한다.

형태소분석부(14)는 문단분리부(12)를 통해 출력된 문장 및 상담메모입력부(13)를 통해 입력된 문장에 대한 형태소 분석을 통해 주요 단어와 어미, 조사 등을 분리하기 위한 것으로, 기존의 형태소 분석 방식을 적용할 수 있으므로 자세한 설명은 생략한다.

정규화부(15)는 형태소분석부(14)를 통해 분리된 단어를 일정한 형태로 정규화 하여 총 문자 개수를 줄이기 위한 것으로, 예를 들어, 하다가, 했습니다. 하였음, 했으나 등을 '하다'와 같은 형태로 정규화 할 수 있으며, 기존의 정규화 방식을 적용할 수 있으므로 자세한 설명은 생략한다.

핵심단어추출부(16)는 정규화부(15)를 통해 출력된 상담 메모 데이터로부터 정답문(상담 메모)에서 반드시 포함되어야 하는 핵심 단어를 추출하여, 요약문장보정부(18)에서의 요약 문장을 보정 및 요약문출력/평가부(19)에서의 요약문 비교/평가 시에 사용할 수 있도록 하기 위한 것으로, 핵심 단어 추출 방식은 기존의 방식을 적용할 수 있으므로 자세한 설명은 생략한다.

요약문장출력부(17)는 정규화부(15)를 통해 출력된 상담 녹취 텍스트 데이터의 분리된 각 문단으로부터 상담 메모와 유사한 문장을 추출 또는 생성하여 요약 문장으로 출력하기 위한 것으로서, 문단분리부(12)를 통해 분리된 문단별로 요약 문장을 만들어 출력할 수 있다.

요약문장출력부(17)는, 일 예로 VoC 상담 메모와 유사한 문장을 본문(상담 녹취 텍스트)로부터 추출하거나, 다른 예로 VoC 상담 메모와 유사한 문장을 생성하도록 학습시킨 모델을 사용할 수 있으며, 예를 들어, 사람이 직접 패턴을 정의하여 사용하는 방식, 수식을 통해 주요 문장을 정하는 방식, 또는 인공신경망을 학습시켜 결과를 추출/생성하는 방식 등 기존의 방식을 적용할 수 있으므로 자세한 설명은 생략한다.

요약문장보정부(18)는 요약문장출력부(17)를 통해 출력된 요약 문장에 대한 상담 녹취 텍스트에서의 선행문과 후행문 및 핵심단어추출부(16)를 통해 설정되어 출력된 핵심 단어 중 적어도 하나 이상을 기초로 요약문장출력부(17)를 통해 출력된 요약 문장을 보정하기 위한 것이다.

요약문장보정부(18)는 상담 녹취 텍스트 데이터의 특성상 고객의 불만이 길어 말하는 도중 상담사의 개입으로 말이 끊겨있거나, STT(Speech To Text)의 오류로 인해 주요 문장이 분리되어 있는 경우 요약 문장을 기준으로 앞 뒤 문장(즉, 선행문과 후행문)의 요약 문장과의 연결성을 확인하여 이어 붙인다. 요약문장보정부(18)는 연결성을 확인하는 모듈이 포함되어 있으며, 이 모듈은 예를 들어 연결성이 있는 문장이면 O, 연결성이 없는 문장이면 X로 학습시켜 정답문이 떨어져 있을 경우 연결하여 보정함으로써 정답 확률을 높일 수 있다. 이때, 추가하고자 하는 문장(선행문 또는 후행문)에 핵심단어추출부(16)로부터 추출된 핵심 단어가 포함된 경우 해당 문장에 가중치를 준다.

요약문장보정부(18)는 요약문장출력부(17)를 통해 출력된 요약 문장에 대한 선행문과 후행문의 연결성 유무를 각각 확인하고 연결성이 있는 문장을 해당 요약 문장에 연결하는 방식으로 보정을 수행할 수 있는데, 일 예로 기 학습된 시퀀셜(sequential)한 언어 모델을 사용하여 선후 문장간(즉, 선행문과 해당 요약 문장간, 및 해당 요약 문장과 후행문간)의 연결성 확률을 산정하고 그 산정된 연결성 확률이 기 설정된 기준값 이상일 경우 연결성이 있는 것으로 확인하거나, 다른 예로 기 학습된 시퀀셜(sequential)한 언어 모델을 사용하여 선후 문장간(즉, 선행문과 해당 요약 문장간, 및 해당 요약 문장과 후행문간)의 연결성 확률에 대응하는 제1 점수를 산정하고, 연결하고자 하는 문장(즉, 선행문과 후행문 각각)에 포함된 핵심 단어의 수에 대응하는 가중치를 부여하고, 제1 점수와 가중치의 합이 기 설정된 기준값 이상일 경우 연결성이 있는 것으로 확인할 수 있다.

도 3은 본 발명의 실시예에 따른 요약 문장 보정을 설명하기 위한 예시도로, 동 도면에 도시된 바와 같이, 'ⓐ[고객]이제 보면 지하에 U+ 저기 뭐야 뭐라 그래야 되지 그 밖에 중계기 박스를 있는데 [상담사]중계기요 [상담사]네, ⓑ[고객]근데 00통신사나 다른 전화기들은 다 잘 터지는데 [상담사]음 네, ⓒ[고객]LG만 이래요'와 같은 ⓐⓑⓒ의 3 문장 중 요약문장출력부(17)로부터 출력된 요약 문장을 ⓑ라하고, 요약 문장 ⓑ에 대한 선행문과 후행문을 각각 ⓐⓒ라 할 경우, 요약문장보정부(18)는 다음과 같이 선후 문장간의 연결성을 확인하고 보정할 수 있다. 예를 들어, 기 학습된 시퀀셜(sequential)한 언어 모델을 사용하여 구해진 선후 문장간의 연결성 확률에 대응하여 산정된 점수 즉, 선행문 ⓐ와 요약 문장 ⓑ 간의 연결성 확률 50%에 대응하여 산정된 점수를 5점, 요약 문장 ⓑ와 후행문 ⓒ 간의 연결성 확률 40%에 대응하여 산정된 점수를 4점, 연결하고자 하는 문장 즉, 선행문 ⓐ와 후행문 ⓒ 각각에 포함된 핵심 단어의 수가 0개 및 3개이고 이에 대응하여 산정된 가중치가 각각 0점 및 3점이라고 가정하면, 선행문 ⓐ와 요약 문장 ⓑ 간의 연결성 점수(즉, 해당하는 연결성 확률 점수 5와 가중치 점수 0의 합)는 5+0=5점 이고, 요약 문장 ⓑ와 후행문 ⓒ 간의 연결성 점수(즉, 해당하는 연결성 확률 점수 4와 가중치 점수 3의 합)는 4+3=7점이 되므로, 기 설정된 연결성 기준값 점수가 6점이라고 가정하면, 요약 문장 ⓑ와 후행문 ⓒ 간에 연결성이 있는 것으로 확인하여 요약 문장 ⓑ에 후행문 ⓒ가 연결된 '근데 SK나 다른 전화기들은 다 잘 터지는데 LG만 이래요'의 문장으로 요약 문장을 보정할 수 있다.

본 실시예에서 언어 모델은 LSTM(Long Short-Term Memory Network)을 포함할 수 있다.

다시 도 1에서, 요약문출력/평가부(19)는 요약문장보정부(18)를 통해 문단별로 출력된 하나 이상의 요약 문장을 포함하는 요약문을 최종적으로 출력하고 평가하기 위한 것으로, 예를 들어, 최종적으로 출력된 요약문과 정답으로 사용된 상담 메모의 핵심 단어의 일치 정도를 평가하여, 정답에 있는 핵심 단어가 요약문에 기준 미만의 개수로 포함된 경우 요약문장출력부(17)의 요약 문장 추출/생성 모델을 통해 재학습을 하도록 할 수 있다.

도 4는 본 발명의 실시예에 따른 도 1의 장치의 입력과 출력에 대한 예시도로, 동 도면에 도시된 바와 같이, 입력은 상담 내용과 상담 메모이고 이에 대한 출력은 상담 메모를 기초로 상담 내용으로부터 추출된 요약문이다. 일 예로, 각 주제어(주제별 문단) 당 해당 문단의 1/10 분량을 추출 요약할 수 있다.

요약문출력평가부(19)에서의 평가(검증) 방식은, 일 예로 최종 출력된 요약문이 사람이 생각한 주제/내용과 일치하는지 또는 전혀 관계가 없는지에 따라 O/X 체크하는 정성적 방식, 및 핵심 단어 개수 '핵심단어와 요약문 단어의 일치 개수 / 핵심 단어 개수'로 산정되는 정량적 방식을 포함할 수 있다.

도 5는 본 발명의 실시예에 따른 정량적 평가에 대한 예시도로, 예를 들어, 도 5의 (a)에 예시된 바와 같은 콜001의 상담 내용으로부터 상담사가 메모한 정답문으로서의 상담 메모에 포함된 핵심 단어가 8개인 경우, 도 5의 (b)에 예시된 바와 같이 요약문 1은 핵심 단어 8개 중 2개의 단어가 일치하여 2/8x100=25점으로 평가되고, 요약문 2는 핵심 단어 8개 중 5개의 단어가 일치하여 5/8x100=62.5점으로 평가될 수 있다.

도 6은 본 발명의 예시적인 실시예에 따른 고객 상담 요약 방법의 흐름도로서, 도 1-5를 참조하여 설명한 고객 상담 요약 장치에 적용되므로 해당 장치의 동작과 병행하여 설명한다.

먼저, 녹취텍스트입력부(11)를 통해 VoC(Voice of Customer)와 같은 고객 상담 내용에 대응하는 상담 녹취 텍스트가 입력되고(S601), 상담메모입력부(13)를 통해 상담사가 직접 요약한 상담 메모 텍스트가 입력되면(S603), 문단분리부(12)는 입력된 단계 S601에서 입력된 상담 녹취 텍스트를 하나 이상의 대화 주제별 문단으로 분리한다(S605).

이어, 형태소분석부(14)는 단계 S605에서 문단분리부(12)를 통해 출력되어 입력된 대화 주제별 문단의 문장 및 단계 S603에서 상담메모입력부(13)를 통해 입력된 상담 메모의 문장에 대해 각각 별도로 형태소 분석을 수행하여 주요 단어와 어미, 조사 등을 분리한다(S607).

이어, 정규화부(15)는 형태소분석부(14)를 통해 출력되어 입력된 대화 주제별 문단의 문장의 단어 및 상담 메모의 문장의 단어를 각각 별도로 일정한 형태로 정규화 하여 총 문자 개수를 줄인다(S609).

이어, 핵심단어추출부(16)는 단계 S609에서 정규화부(15)를 통해 출력된 상담 메모 데이터로부터 정답문(상담 메모)에서 반드시 포함되어야 하는 핵심 단어를 추출한다(S611)

이어, 요약문장출력부(17)는 단계 S609에서 정규화부(15)를 통해 출력된 상담 녹취 텍스트 데이터의 각 문단(대화 주제별 문단) 및 상담 메모를 각각 입력받고, 입력된 대화 주제별 문단으로부터 입력된 상담 메모와 유사한 문장을 추출 또는 생성하여 요약 문장으로 출력 즉, 문단분리부(12)를 통해 대화 주제별로 분리된 문단별로 각각 요약 문장을 만들어 출력한다(S613).

이어, 요약문장보정부(18)는 단계 S613에서 요약문장출력부(17)를 통해 출력되어 입력된 요약 문장에 대한 상담 녹취 텍스트에서의 선행문과 후행문 및 단계 S611에서 핵심단어추출부(16)를 통해 출력되어 입력된 핵심 단어 중 적어도 하나 이상을 기초로 요약 문장을 보정하는데, 구체적인 보정 과정은 전술한 바와 동일하므로 해당 설명은 생략한다(S615).

마지막으로, 요약문출력/평가부(19)는 단계 S615에서 요약문장보정부(18)를 통해 대화 주제별 문단별로 각각 출력된 하나 이상의 요약 문장으로 구성된 요약문을 최종적으로 출력하고 평가하는데, 예를 들어, 최종적으로 출력된 요약문과 정답으로 사용된 상담 메모의 핵심 단어의 일치 정도를 평가하여, 정답에 있는 핵심 단어가 요약문에 기준 미만의 개수로 포함된 경우 요약문장출력부(17)의 요약 문장 추출/생성 모델을 통해 재학습을 하도록 할 수 있다(S617).

한편, 전술한 고객 상담 요약 방법에 따르면 해당 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 구현할 수 있다.

또 한편, 전술한 고객 상담 요약 방법에 따르면 해당 방법을 하드웨어와 결합하여 실행시키기 위하여 컴퓨터로 읽을 수 있는 기록 매체에 저장된 애플리케이션을 구현할 수 있다.

또 다른 한편, 전술한 고객 상담 요약 방법에 따르면 해당 방법을 컴퓨터에서 실행시키기 위하여 컴퓨터로 읽을 수 있는 기록 매체에 저장된 컴퓨터 프로그램을 구현할 수 있다.

예를 들어, 전술한 바와 같이 본 발명의 예시적인 실시예에 따른 고객 상담 요약 방법은 다양한 컴퓨터로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터 판독가능 기록 매체 또는 이러한 기록 매체에 저장된 애플리케이션으로 구현될 수 있다. 상기 컴퓨터 판독 가능 기록 매체는 프로그램 명령, 로컬 데이터 파일, 로컬 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 기록 매체는 본 발명의 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크와 같은 자기-광 매체, 및 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

11: 녹취텍스트입력부
12: 문단분리부
13: 상담메모입력부
14: 형태소분석부
15: 정규화부
16: 핵심단어추출부
17: 요약문장출력부
18: 요약문장보정부
19: 요약문출력/평가부

Claims

상담 녹취 텍스트를 대화 주제별 문단으로 분리하기 위한 문단분리부;
상기 분리된 각 문단으로부터 상담 메모와 유사한 문장을 추출 또는 생성하여 요약 문장으로 출력하기 위한 요약문장출력부; 및
상기 출력된 요약 문장에 대한 선행문과 후행문 및 기 설정된 핵심 단어 중 적어도 하나 이상을 기초로 상기 출력된 요약 문장을 보정하기 위한 요약문장보정부;
를 포함하는 고객 상담 요약 장치.
제1항에 있어서,
상기 문단분리부는 상기 상담 녹취 텍스트의 문장별 각 상담 유형에 속할 확률을 구하고, 인접한 N개의 문장에 대한 동일 상담 유형의 상담 유형 확률의 합이 기 설정된 기준값 이상이고 해당 상담 유형이 최초이거나 선행 상담 유형과 다를 경우, 상기 해당 상담 유형에 대응하는 대화 주제의 문단으로 분리하는 것을 특징으로 하는 고객 상담 요약 장치.
제2항에 있어서,
상기 문단분리부는 학습된 분류 모델을 사용하여 문장별 상담 유형 분류 확률을 구하는 것을 특징으로 하는 고객 상담 요약 장치.
제3항에 있어서,
상기 분류 모델은 인공지능망 및 SVM(Support Vector Machine) 중 적어도 하나를 포함하는 것을 특징으로 하는 고객 상담 요약 장치.
제1항에 있어서,
상기 요약문장보정부는 상기 출력된 요약 문장에 대한 선행문과 후행문의 연결성 유무를 각각 확인하고, 연결성이 있는 문장을 상기 출력된 요약 문장에 연결하여 보정하는 것을 특징으로 하는 고객 상담 요약 장치.
제5항에 있어서,
상기 요약문장보정부는 기 학습된 시퀀셜(sequential)한 언어 모델을 사용하여 선후 문장간(즉, 상기 선행문과 상기 출력된 요약 문장간, 및 상기 출력된 요약 문장과 상기 후행문간)의 연결성 확률을 산정하고 그 산정된 연결성 확률이 기 설정된 기준값 이상일 경우 연결성이 있는 것으로 확인하는 것을 특징으로 하는 고객 상담 요약 장치.
제5항에 있어서,
상기 요약문장보정부는 기 학습된 시퀀셜(sequential)한 언어 모델을 사용하여 선후 문장간(즉, 상기 선행문과 상기 출력된 요약 문장간, 및 상기 출력된 요약 문장과 상기 후행문간)의 연결성 확률에 대응하는 제1 점수를 산정하고, 연결하고자 하는 문장(즉, 상기 선행문과 후행문 각각)에 포함된 상기 기 설정된 핵심 단어의 수에 대응하는 가중치를 부여하고, 상기 제1 점수와 상기 가중치의 합이 기 설정된 기준값 이상일 경우 연결성이 있는 것으로 확인하는 것을 특징으로 하는 고객 상담 요약 장치.
제7항에 있어서,
상기 핵심 단어는 상기 상담 메모로부터 추출된 것을 특징으로 하는 고객 상담 요약 장치.
제6항 또는 제7항에 있어서,
상기 언어 모델은 LSTM(Long Short-Term Memory Network)을 포함하는 것을 특징으로 하는 고객 상담 요약 장치.
(a) 상담 녹취 텍스트를 대화 주제별 문단으로 분리하기 위한 단계;
(b) 상기 분리된 각 문단으로부터 상담 메모와 유사한 문장을 추출 또는 생성하여 요약 문장으로 출력하기 위한 단계; 및
(c) 상기 출력된 요약 문장에 대한 선행문과 후행문 및 기 설정된 핵심 단어 중 적어도 하나 이상을 기초로 상기 출력된 요약 문장을 보정하기 위한 단계;
를 포함하는 고객 상담 요약 방법.
제10항에 있어서,
상기 단계 (a)는 상기 상담 녹취 텍스트의 문장별 각 상담 유형에 속할 확률을 구하고, 인접한 N개의 문장에 대한 동일 상담 유형의 상담 유형 확률의 합이 기 설정된 기준값 이상이고 해당 상담 유형이 최초이거나 선행 상담 유형과 다를 경우, 상기 해당 상담 유형에 대응하는 대화 주제의 문단으로 분리하는 것을 특징으로 하는 고객 상담 요약 방법.
제11항에 있어서,
상기 단계 (a)는 학습된 분류 모델을 사용하여 테스트 문장별 상담 유형 분류 확률을 구하는 것을 특징으로 하는 고객 상담 요약 방법.
제12항에 있어서,
상기 분류 모델은 인공지능망 및 SVM(Support Vector Machine) 중 적어도 하나를 포함하는 것을 특징으로 하는 고객 상담 요약 방법.
제10항에 있어서,
상기 단계 (c)는 상기 출력된 요약 문장에 대한 선행문과 후행문의 연결성 유무를 각각 확인하고, 연결성이 있는 문장을 상기 출력된 요약 문장에 연결하여 보정하는 것을 특징으로 하는 고객 상담 요약 방법.
제14항에 있어서,
상기 단계 (c)는 기 학습된 시퀀셜(sequential)한 언어 모델을 사용하여 선후 문장간(즉, 상기 선행문과 상기 출력된 요약 문장간, 및 상기 출력된 요약 문장과 상기 후행문간)의 연결성 확률을 산정하고 그 산정된 연결성 확률이 기 설정된 기준값 이상일 경우 연결성이 있는 것으로 확인하는 것을 특징으로 하는 고객 상담 요약 방법.
제14항에 있어서,
상기 단계 (c)는 기 학습된 시퀀셜(sequential)한 언어 모델을 사용하여 선후 문장간(즉, 상기 선행문과 상기 출력된 요약 문장간, 및 상기 출력된 요약 문장과 상기 후행문간)의 연결성 확률에 대응하는 제1 점수를 산정하고, 연결하고자 하는 문장(즉, 상기 선행문과 후행문 각각)에 포함된 상기 기 설정된 핵심 단어의 수에 대응하는 가중치를 부여하고, 상기 제1 점수와 상기 가중치의 합이 기 설정된 기준값 이상일 경우 연결성이 있는 것으로 확인하는 것을 특징으로 하는 고객 상담 요약 방법.
제16항에 있어서,
상기 핵심 단어는 상기 상담 메모로부터 추출된 것을 특징으로 하는 고객 상담 요약 방법.
제16항에 있어서,
상기 언어 모델은 LSTM(Long Short-Term Memory Network)을 포함하는 것을 특징으로 하는 고객 상담 요약 방법.
제10항 내지 제19항 중 어느 한 항의 상기 고객 상담 요약 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
제10항 내지 제19항 중 어느 한 항의 상기 고객 상담 요약 방법을 하드웨어와 결합하여 실행시키기 위하여 컴퓨터로 읽을 수 있는 기록 매체에 저장된 애플리케이션.
제10항 내지 제19항 중 어느 한 항의 상기 고객 상담 요약 방법을 컴퓨터에서 실행시키기 위하여 컴퓨터로 읽을 수 있는 기록 매체에 저장된 컴퓨터 프로그램.