KR20190072823A

KR20190072823A - Rnn 문장임베딩과 elm 알고리즘을 이용한 은행업무 관련 고객상담을 위한 도메인 특화 화행분류 방법

Info

Publication number: KR20190072823A
Application number: KR1020170173901A
Authority: KR
Inventors: 최호진; 오교중; 이동건
Original assignee: 한국과학기술원
Priority date: 2017-12-18
Filing date: 2017-12-18
Publication date: 2019-06-26

Abstract

본 발명의 실시 형태에 따른 RNN 문장임베딩과 ELM 알고리즘을 이용한 은행업무 관련 고객상담을 위한 도메인 특화 화행분류 방법은 말뭉치 정제 및 수행단계; 학습 자질 추출 및 문장 임베딩 단계; ELM 알고리즘 기반 대화 문장 화행분류단계를 포함한다. 말뭉치 정제 및 수행단계는, 고객상담 대화 데이터 비식별화 단계, 언어모델 학습을 위한 말뭉치 정제 단계, 지도학습을 위한 화행 레이블링 수행단계를 포함할 수 있다. 학습 자질 추출 및 문장 임베딩 단계는, TF-IDF Top-20 워드임베딩 평균 벡터 추출 단계, LDA Top-10 토픽 단어의 자질 클러스터 추출 단계, RNN 문장 인코딩 자질 추출 단계를 포함할 수 있다. 이 기술을 통해 자연어로 이루어지는 상담내용을 이해하고 적합한 응답을 해줄 수 있는 챗봇을 개발할 수 있다.

Description

RNN 문장임베딩과 ELM 알고리즘을 이용한 은행업무 관련 고객상담을 위한 도메인 특화 화행분류 방법 {DOMAIN SPECIFIC DIALOGUE ACTS CLASSIFICATION FOR CUSTOMER COUNSELING OF BANKING SERVICES USING RNN SENTENCE EMBEDDING AND ELM ALGORITHM }

본 발명은 RNN 문장임베딩과 ELM 알고리즘을 통해 은행업무 관련 고객 상담 대화가 속하는 화행을 분류하는 것이다.

채팅은 컴퓨터 등의 장치를 통해 인터넷 상의 사용자가 만나 메시지를 주고받는 것으로 예전부터 사용되었다. 이후 휴대전화 및 모바일 장치의 발달로 인터넷 접속에 있어서의 공간적인 제약을 극복하여 채팅은 인터넷에 연결 할 수 있는 장치가 있는 곳이면 어디에서든 사용 가능하게 되었다.

그럼에도 불구하고, 채팅은 상대방이 존재하지 않는 경우에는 사용하기 힘들다. 이를 해결하기 위해서 채트봇이 탄생하여 입력된 말에 따라 적절한 대답을 추천함으로써 채트봇이 채팅 상대방을 대체 할 수 있게 되었다.

인터넷과 유ㅇ무선 전화 서비스를 통해서 상담자를 고객과 연결시켜 주는 고객 상담 시스템 또한 존재한다. 인터넷과 유ㅇ무선 전화 서비스 상담시스템은 고객이 상담을 위해서 업체 지점을 방문하는 수고를 덜어주어 시간과 비용을 절약해준다. 그러나 실시간 상담을 위해서는 상담가가 상시 대기해야 한다는 단점이 있다.

현재 채트봇은 질문의 주요 키워드와 미리 만들어진 답변 문장들 간의 단어의 유사성 따위를 이용해 답하기 때문에 연속된 대화의 의도를 추출해서 이용자의 의도에 따라서 정확한 답변을 하는 것이 어렵다.

기존의 RNN 문장 임베딩을 이용한 문장 유사도 분석 기술들은 사용자의 연속된 대화로부터 기본적인 문장의 구조를 학습 할 수 있다. 그러나 문장 내에 내재된 의도를 추출하여 은행 업무 관련 화행을 분류하는 것은 은행권의 화행 분류 방식의 특수성에 의해 어렵다. 따라서 도메인 특화 화행분류 방법을 제공할 수 있는 기법에 대한 연구가 필요하게 되었다.

본 발명은 RNN 문장임베딩과 ELM 알고리즘을 이용한 은행업무 관련 고객상담을 위한 도메인 특화 화행분류 방법을 제공한다.

본 발명의 실시 형태에 따른 RNN 문장임베딩과 ELM 알고리즘을 이용한 은행업무 관련 고객상담을 위한 도메인 특화 화행분류 방법은 말뭉치 정제 및 수행단계; 학습 자질 추출 및 문장 임베딩 단계; ELM 알고리즘 기반 대화 문장 화행분류단계를 포함한다.

일 실시예에 따르면, 말뭉치 정제 및 수행단계는, 고객상담 대화 데이터 비식별화 단계와, 언어모델 학습을 위한 말뭉치 정제 단계와, 지도학습을 위한 화행 레이블링 수행단계를 포함할 수 있다.

일 실시예에 따르면, 학습 자질 추출 및 문장 임베딩 단계는, TF-IDF Top-20 워드임베딩 평균 벡터 추출 단계, LDA Top-10 토픽 단어의 자질 클러스터 추출 단계, RNN 문장 인코딩 자질 추출 단계를 포함할 수 있다.

본 발명은 RNN 문장임베딩과 ELM 알고리즘을 이용한 은행업무 관련 고객상담을 위한 도메인 특화 화행분류 방법을 은행업무와 관련된 고객상담용 챗봇을 구현하기 위한 원천 기술로서 제공한다. 이 기술을 통해 자연어로 이루어지는 상담내용을 이해하고 적합한 응답을 해줄 수 있는 챗봇을 개발할 수 있다.

도 1은 본 발명의 실시예에 따른 채트봇을 이용해 사용자의 의도를 추출하고 이를 헬스케어 문장 추천에 사용하는 방법을 나타내는 흐름도이다.
도 2는 본 발명의 실시예에 따른 말뭉치 정제 및 수행 단계에 관한 상세 흐름도이다.
도 3은 본 발명의 실시예에 따른 학습 자질 추출 및 문장 임베딩 단계에 관한 상세 흐름도이다.
도 4는 금융 도멘인 고객상담 대화로서, 비식별화 된 형태를 가지는 대화 데이터를 예시한다.
도 5는 본 발명의 실시예에 따라 미리 정의된 화행의 종류를 예시적으로 보여준다.
도 6은 본 발명의 실시예에 따른 고객상담 대화 문장의 화행 분류 방법을 나타내는 도면이다.

후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.

이하, 첨부되는 도면을 참조하여 본 발명의 실시 형태에 따른 RNN 문장임베딩과 ELM 알고리즘을 이용한 은행업무 관련 고객상담을 위한 도메인 특화 화행분류 방법을 설명한다.

도 1을 참조하면 RNN 문장임베딩과 ELM 알고리즘을 이용한 은행업무 관련 고객상담을 위한 도메인 특화 화행분류 방법은 말뭉치 정제 및 수행단계(S100), 학습 자질 추출 및 문장 임베딩 단계(S200), ELM 알고리즘 기반 대화 문장 화행분류단계(S300)를 포함한다.

말뭉치 정제 및 수행단계(S100)는 고객상담 대화 데이터의 내용을 비식별화 및 정제하고, 언어모델 학습을 위한 말뭉치 구축과 지도학습을 위한 화행 레이블링을 수행하는 단계이다.

학습 자질 추출 및 문장 임베딩 단계(S200)는 TF-IDF, LDA 토픽 클러스터, GRU 문장인코딩 결과를 이용해서 화행분류를 위한 입력 자질을 추출하는 과정이다. 화행분류를 위한 입력 자질은 TF-IDF, LDA 토픽 클러스터, GRU 문장인코딩 결과를 이용할 수 있다.

ELM 알고리즘 기반 대화 문장 화행분류단계(S300)는 대화 세션의 도메인 대분류와 대분류 내 세부 화행을 분류하는 과정이다.

도 2는 본 발명의 실시예에 따라 도 1의 말뭉치 정체 및 수행단계(S100)의 구체적인 수행 방법에 관한 상세 흐름도이다.

도 2를 참조하면, 예시적인 실시예에 따른 말뭉치 정제 및 수행 단계(S100)는 고객상담 대화 데이터 비식별화 단계(S110), 언어 모델 학습을 위한 말뭉치 정제 단계(S120), 지도학습을 위한 화행 레이블링 수행 단계(S130)를 포함할 수 있다.

예시적인 실시예에 따른 상기 고객상담 대화 데이터 비식별화 단계(S110)는 고객의 개인정보를 보호하기 위해서 고객 데이터를 외부 사용자가 식별할 수 없도록 만드는 단계이다. 특정 고객을 추정 할 수 있는 정보를 제거 및 비식별화 한다.

예시적인 실시예에 따른 상기 언어 모델 학습을 위한 말뭉치 정제 단계(S120)는 비식별화 된 도 4에 예시된 형태를 가지는 대화 데이터를 말뭉치 형태로 변형하는 단계이다. 메신저와 같은 환경에서 이루어지는 대화 데이터이기 때문에 오타나 띄어쓰기 오류가 많이 포함되어 있다. 또한 문장을 문장 부호 기준으로 간단하게 분리 할 수가 없으며, 한 문장이 여러 대화에 걸쳐 쪼개지기도 한다. 연속된 대화에 대해서는 문장을 결합하고 문맥상 질문이 변경되었을 때는 대화 세션을 분리하여 말뭉치를 구축하여야 한다.

예시적인 실시예에 따른 상기 지도학습을 위한 화행 레이블링 수행 단계(130)는 분리된 말뭉치를 미리 정의된 화행에 따라서 분류하여 해당하는 화행을 부여하는 단계이다. 도 5는 미리 정의된 화행의 종류를 예시적으로 설명하고 있다.

다음으로, 도 3은 본 발명의 예시적인 실시예에 따라 도 1의 학습 자질 추출 및 문장 임베딩 단계(S200)의 구체적인 수행 방법에 관한 상세 흐름도이다.

도 3을 참조하면, TF-IDF(Term frequency and Inverse Document Frequency)는 분석하려는 대화 문장이나 문서에서 다른 대화 세션에 비해 중요도가 큰 키워드를 추출한다. 예시적인 실시예에 따르면, TF-IDF Top-20 워드 임베딩 평균 벡터를 추출할 수 있다(S210). 이를 통해 중요 키워드 자질을 화행분류 학습에 반영할 수 있다.

예시적인 실시예에 따르면, 학습 자질 추출 및 문장 임베딩 단계(S200)는 추출된 Top-20 중요 키워드의 워드임베딩 평균 벡터를 추출할 수 있다. 추출된 워드임베딩 평균 벡터는 입력 벡터의 일부로 사용할 수 있다.

예시적인 실시예에 따르면, LDA Top-10 토픽 단어의 자질 클러스터를 추출할 수 있다. LDA 토픽 클러스터는 대화에 등장한 단어를 바탕으로 대화 세션이 어떤 주제의 클러스터에 속하는지를 알려준다. LDA 토픽 모델로부터 가중치가 가장 높은 토픽 클러스터에 예컨대 추출된 Top-10 토픽 단어의 자질을 이용할 수 있다.

예시적인 실시예에 따르면, RNN 문장 인코딩 자질을 추출할 수 있다. 마지막 GRU 문장 인코딩 자질은 문장의 의미적 자질을 화행 분석에 사용하기 위해 사용된다. RNN 인코더는 Bi-directional GRU모델을 사용할 수 있다. 입력 층에는 각 단어의 워드임베딩 결과가 순차적으로 입력될 수 있다.

최종적으로 마지막 단어의 GRU RNN state의 dense 벡터를 문장 임베딩 결과로 사용할 수 있다. 위의 세 가지 자질들은 모두 100차원의 벡터로 표현될 수 있다. 이를 연결하여 예를 들어 300차원의 입력 벡터로 만든 후, 다음 단계인 ELM 알고리즘 기반 대화 문장 화행분류 모델에 입력 값으로 학습 시킨다.

다음으로, 도 6은 본 발명의 실시예에 따른 고객상담 대화 문장의 화행 분류 방법을 나타내는 도면이다.

도 6을 참조하면서, 도 1에 나타낸 상기 ELM 알고리즘 기반 대화 문장 화행분류단계(S300)를 설명한다.

이 단계(S300)는 대화 세션의 도메인 대분류와 대분류 내 세부 화행을 분류하는 단계이다. 세부 화행 분류를 위해서 위한 2개의 ELM classifier를 각각 학습하여 사용한다. Extreme Learning Machine(ELM)은 단일 또는 소수의 은닉층으로 구성된 전방 전달 신경망(feed forward neural network)의 한 종류로 주로 분류, 회귀 분석, 클러스터링 등에 많이 이용된다. 임의의 가중치를 갖는 입력층 및 은닉층과, 한 차례의 역전사 과정을 통해 가중치를 갖는 은닉층과 출력층 구조의 신경망으로 구성될 수 있다. 낮은 오류로 선형 분류 모델을 학습하는 SVM의 장점과, 다차원의 공간을 접거나 구부리는 신경망 분류 모델의 장점을 차용하여 multi-class classification에서 속도와 정확도 면에서 좋은 성능을 보이는 분류 모델이다.

첫 번째 ELM classifier는 도 6과 같이 출력층의 활성화 함수를 softmax 함수로 5개의 화행 클래스에 대한 [0, 1] 사이의 정규화된 수치를 얻음으로써 multi-label 분류를 할 수 있도록 분류 모델을 구성한다. 초반 분류 과정에서 상담사 연결 확률을 계산함으로써, 챗봇이 응답할 수 없는 대화에 대해서 빠르게 상담사에게 넘긴다. 초기 학습 과정에는 해당 카테고리에 해당하는 데이터가 없으므로 시스템 구현 이후 운용에 대비하기 위한 대분류 카테고리이다. 챗봇 구현 이후 상담사로 연결된 상담 사례들만을 모아 학습한다.

두 번째 ELM classifier는 첫 번째 대분류 결과까지 입력 자질로 활용하여 대분류 내 소분류(화행분류)에 해당하는 카테고리를 분류하는 모델이며, 대분류 별로 7~15개의 소분류 카테고리를 갖는다. 대분류 별 화행분류를 위한 카테고리 정의는 도 5와 같다.

이와 같이 본 발명은 자연어로 이루어지는 상담내용을 이해하고 적합한 응답을 해줄 수 있는 챗봇을 개발하는 원천 기술을 제공할 수 있다.

이상에서 실시예들에 설명된 특징, 구조, 효과 등은 본 발명의 하나의 실시예에 포함되며, 반드시 하나의 실시예에만 한정되는 것은 아니다. 나아가, 각 실시예에서 예시된 특징, 구조, 효과 등은 실시예들이 속하는 분야의 통상의 지식을 가지는 자에 의해 다른 실시 들에 대해서도 조합 또는 변형되어 실시 가능하다. 따라서 이러한 조합과 변형에 관계된 내용들은 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.

또한, 이상에서 실시예를 중심으로 설명하였으나 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 예를 들어, 실시예에 구체적으로 나타난 각 구성 요소는 변형하여 실시할 수 있는 것이다. 그리고 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.

Claims

고객상담 대화 데이터의 내용을 비식별화 및 정제하고, 언어모델 학습을 위한 말뭉치 구축과 지도학습을 위한 화행 레이블링을 수행하는 전처리 단계;
상기 전처리 단계의 처리 결과에 기초하여, TF-IDF, LDA 토픽 클러스터, GRU 문장인코딩 결과를 이용해서 화행분류를 위한 입력 자질을 추출하는 학습 자질 추출 및 문장 임베딩 단계; 및
추출된 자질을 ELM (Extreme learning machine) 모델 학습 기반의 분류기를 통해 도메인 및 화행 분류 모델을 학습하여 대화 세션의 도메인 대분류와 대분류 내 세부 화행을 분류하는 단계를 포함하는 것을 특징으로 하는 RNN 문장임베딩과 ELM 알고리즘을 이용한 은행업무 관련 고객상담을 위한 도메인 특화 화행분류 방법.
제1항에 있어서, 상기 전처리 단계는,
고객상담 데이터에서 고객의 개인정보를 보호하기 위해서 고객을 추정할 수 있는 고객 데이터를 제거하고 비식별화하여 외부 사용자가 식별할 수 없도록 만드는 고객상담 대화 데이터 비식별화 단계와,
비식별화된 대화 데이터를 언어모델 학습을 위한 말뭉치 형태로 변형하여 언어모델 학습용 말뭉치를 정제하는 단계와,
분리된 말뭉치를 미리 정의된 화행에 따라서 분류하여 해당하는 화행을 부여하여 지도학습을 위한 화행 레이블링을 수행하는 단계를 포함하는 것을 특징으로 하는 RNN 문장임베딩과 ELM 알고리즘을 이용한 은행업무 관련 고객상담을 위한 도메인 특화 화행분류 방법.
제1항에 있어서, 학습 자질 추출 및 문장 임베딩 단계는,
분석하려는 대화 문장이나 문서에서 다른 대화 세션에 비해 중요도가 높은 소정 개수의 키워드의 워드임베딩 평균벡터를 추출하는 단계,
대화에 등장한 단어를 바탕으로 대화 세션이 어떤 주제의 클러스터에 속하는지를 알려주는 LDA 토픽 클러스터를 추출하는 단계, 그리고
RNN 문장 인코딩 자질 추출 단계를 포함하는 것을 특징으로 하는 RNN 문장임베딩과 ELM 알고리즘을 이용한 은행업무 관련 고객상담을 위한 도메인 특화 화행분류 방법.
제3항에 있어서, 상기 LDA 토픽 클러스터는 LDA 토픽 모델로부터 가중치가 가장 높은 상위 10개의 토픽 클러스터를 추출하여 구성된 것을 특징으로 하는 RNN 문장임베딩과 ELM 알고리즘을 이용한 은행업무 관련 고객상담을 위한 도메인 특화 화행분류 방법.
제3항에 있어서, 상기 워드임베딩 평균벡터는, 중요 키워드 자질을 화행분류 학습에 반영하기 위해, TF-IDF Top-20에 속하는 키워드의 워드 임베딩 평균 벡터를 추출한 것으로 구성되는 것을 특징으로 하는 RNN 문장임베딩과 ELM 알고리즘을 이용한 은행업무 관련 고객상담을 위한 도메인 특화 화행분류 방법.
제1항에 있어서, 상기 세부 화행을 분류하는 단계는 제1 및 제2 ELM(Extreme Learning Machine) 분류기를 각각 학습하여 사용하며,
상기 제1 ELM 분류기는 출력층의 활성화 함수를 softmax 함수로 5개의 화행 클래스에 대한 [0, 1] 사이의 정규화된 수치를 얻음으로써 다중 레이블(multi-label) 분류를 할 수 있도록 분류 모델을 구성한 것이고,
제2 ELM 분류기는 첫 번째 대분류 결과까지 입력 자질로 활용하여 대분류 내 소분류(화행분류)에 해당하는 카테고리를 분류하는 모델인 것을 특징으로 하는 RNN 문장임베딩과 ELM 알고리즘을 이용한 은행업무 관련 고객상담을 위한 도메인 특화 화행분류 방법.