KR102630487B1 - 고객 불만 분석 시스템 및 방법 - Google Patents

Abstract

고객 불만 분석 시스템 및 방법이 개시된다. 본 발명의 실시예에 따른 고객 불만 분석 시스템은, 고객 상담 원문에 대해 적어도 두 개의 분석 단위로 분석 단위를 줄여가며 순차적으로 사전 학습된 텍스트 분석 모델을 적용하는 단계; 순차적으로 적용한 텍스트 분석 모델의 분석 결과에 근거하여 상기 적어도 두 개의 분석 단위 중 가장 작은 최소 분석 단위별 고객 불만과의 관련도를 판단하는 단계; 고객 불만과의 관련도에 근거하여 분류된 최소 분석 단위에 대해 상기 사전 학습된 텍스트 분석 모델과 다른 방식의 텍스트 분석 모델을 적용하여 고객 불만 내용에 대해 기 설정된 키워드가 포함되어 있는지를 판단하는 단계; 고객 불만과 관련된 키워드를 포함하는 최소 분석 단위에 근거하여 고객 상담 원문의 내용을 특정하는 단계;를 포함한다.

Description

고객 불만 분석 시스템 및 방법 {Customer Complaint Analysis System and Method}

이하의 개시는 통신 서비스 또는 스마트 홈 서비스 등 온라인 서비스 또는 쇼핑몰에서의 온라인 구매 등에 대한 고객 상담 원문으로부터 고객 불만을 빠르고 정확하게 추출하고 분석할 수 있는 고객 불만 분석 시스템 및 방법에 관한 것이다.

고객의 소리(Voice Of Customer, VOC)의 관리는 비즈니스에 있어 필수적인 요소라 할 수 있다. 따라서, 기업의 CS 센터(Customer Service Center)에 접수된 고객의 소리, 특히 고객 불만을 정확히 파악하고 분석하여 서비스, 비즈니스 모델 또는 제품을 개선할 필요가 있다.

텍스트 분석 기술이 발전하면서 고객 불만 분석에 대한 자동화가 이루어지고 있다. 특히, 단순한 키워드 매핑(mapping)이 아닌 고객 상담 원문의 문맥적 의미를 자동으로 파악할 수 있는 텍스트 마이닝(text mining) 기법들이 적용되어 고객 불만에 대한 정확한 분석이 도모되고 있다.

그럼에도 불구하고 여전히 기업 또는 사업의 특성이 반영되고 보다 정확한 고객 불만 분석 방안이 요구되고 있다.

이에 고객 상담 원문으로부터 고객 불만을 빠르고 정확하게 추출하고 분석할 수 있는 고객 불만 분석 시스템 및 방법을 제공하고자 한다.

상기 기술적 과제를 달성하기 위한 본 발명의 실시예에 따른 고객 불만 분석 방법은, 고객 상담 원문에 대해 적어도 두 개의 분석 단위로 분석 단위를 줄여가며 순차적으로 사전 학습된 텍스트 분석 모델을 적용하는 단계; 순차적으로 적용한 텍스트 분석 모델의 분석 결과에 근거하여 상기 적어도 두 개의 분석 단위 중 가장 작은 최소 분석 단위별 고객 불만과의 관련도를 판단하는 단계; 고객 불만과의 관련도에 근거하여 분류된 최소 분석 단위에 대해 상기 사전 학습된 텍스트 분석 모델과 다른 방식의 텍스트 분석 모델을 적용하여 고객 불만 내용에 대해 기 설정된 키워드가 포함되어 있는지를 판단하는 단계; 고객 불만과 관련된 키워드를 포함하는 최소 분석 단위에 근거하여 고객 상담 원문의 내용을 특정하는 단계;를 포함한다.

상기 순차적으로 사전 학습된 텍스트 분석 모델을 적용하는 단계는, 고객 상담 원문을 문단 단위로 나눠 사전 학습된 텍스트 분석 모델을 적용하여 고객 불만과 관련된 문단을 추출하는 단계; 및 고객 불만과 관련된 문단을 최소 분석 단위인 문장 단위로 나눠 사전 학습된 텍스트 분석 모델을 적용하는 단계;를 포함할 수 있다.

상기 사전 학습된 텍스트 분석 모델을 적용하는 단계는, 트랜스포머(transformer) 기반 텍스트 분석 모델을 적용하는 단계;를 포함하고, 상기 사전 학습된 텍스트 분석 모델과 다른 방식의 텍스트 분석 모델을 적용하여 최소 분석 단위에 기 설정된 키워드가 포함되어 있는지를 판단하는 단계는, 통계 기반 텍스트 분석 모델을 적용하는 단계;를 포함할 수 있다.

상기 사전 학습된 텍스트 분석 모델을 적용하는 단계는, BERT(Bidirectional Encoder Representation from Transformers) 모델을 적용하는 단계;를 포함할 수 있다.

상기 사전 학습된 텍스트 분석 모델을 적용하는 단계는, 고객 상담에 대응되는 비즈니스 코퍼스(corpus) 및 구어 코퍼스를 트레인 데이터(train data)로 하여 텍스트 분석 모델을 사전 학습하는 단계;를 포함할 수 있다.

상기 최소 분석 단위별 고객 불만과의 관련도를 판단하는 단계는, 최소 분석 단위별 셀프 어텐션 스코어(Self-Attention Score)의 평균값을 산출하는 단계; 셀프 어텐션 스코어의 평균값에 근거하여 최소 분석 단위별 고객 불만과의 관련 정도에 대해 순위를 설정하는 단계; 및 최소 분석 단위 중 일정 순위 이상인 최소 분석 단위를 추출하는 단계;를 포함할 수 있다.

상기 고객 상담 원문의 내용을 특정하는 단계는, 상기 최소 분석 단위별 관련도 순위를 반영하여 상기 고객 상담 원문의 고객 불만 내용을 특정하는 단계;를 포함할 수 있다.

상기 최소 분석 단위에 기 설정된 키워드가 포함되어 있는지를 판단하는 단계는, 고객 불만과의 관련도가 있는 최소 분석 단위에 대한 TF-IDF(Term Frequency-Inverse Document Frequency) 모델을 적용하여 키워드를 추출하는 단계; 및 최소 분석 단위에서 추출된 키워드를 고객 불만과 관련된 고객 불만 키워드 풀(pool)의 키워드와 비교하는 단계;를 포함할 수 있다.

상기 고객 불만 키워드 풀은, 고객 불만의 내용과 관련되어 적어도 둘 이상으로 그룹핑(grouping)된 서브 풀(sub pool)을 포함할 수 있다.

상기 기술적 과제를 달성하기 위한 본 발명의 실시예에 따른 고객 불만 분석 방법은, 고객 상담 원문에 대해 문단 단위로 트랜스포머(transformer) 기반 텍스트 분석 모델을 적용하여 고객 불만과 관련된 문단을 분류하는 단계; 고객 불만과 관련된 것으로 분류된 문단에 대해 문장 단위로 상기 트랜스포머 기반 텍스트 분석 모델을 적용하여 고객 불만과 관련된 문장을 분류하는 단계; 고객 불만과 관련된 것으로 분류된 문장에 대해 통계 기반 텍스트 분석 모델을 적용하여 기 설정된 키워드가 포함된 문장을 분류하는 단계; 및 기 설정된 키워드가 포함된 문장에 근거하여 고객 상담 원문의 내용을 특정하는 단계;를 포함한다.

상기 기술적 과제를 달성하기 위한 본 발명의 실시예에 따른 고객 불만 분석 시스템은, 고객 상담 원문에 대해 적어도 두 개의 분석 단위로 분석 단위를 줄여가며 순차적으로 제1 유형 텍스트 분석 방식을 적용하고, 상기 적어도 두 개의 분석 단위 중 가장 작은 최소 분석 단위 중 고객 불만과 관련된 최소 분석 단위를 후보 분석 단위로 분류하는 제1 유형 텍스트 분석 모듈; 상기 후보 분석 단위에 대해 상기 제2 유형 텍스트 분석 방식과 상이한 방식의 제2 유형 텍스트 분석 방식을 적용하고, 상기 후보 분석 단위 중 고객 불만과 관련된 기 설정된 키워드를 포함하고 있는 후보 분석 단위를 최종 분석 단위로 분류하는 제2 유형 텍스트 분석 모듈; 및 상기 최종 분석 단위에 근거하여 상기 고객 상담 원문의 고객 불만 내용을 특정하는 고객 불만 특정 모듈;을 포함한다.

상기 제1 유형 텍스트 분석 모듈은, 상기 고객 상담 원문을 문단 단위로 나눠 상기 제1 유형 텍스트 분석 방식을 적용하여 불만 문단을 분류하는 불만 문단 분류부; 및 상기 불만 문단을 문장 단위로 나눠 상기 제1 유형 텍스트 분석 방식을 적용하여 분류된 불만 문장을 상기 후보 분석 단위로 출력하는 불만 문장 분류부;을 포함할 수 있다.

상기 제1 유형 텍스트 분석 방식은 트랜스포머(transformer) 기반 텍스트 분석 방식이고, 상기 제2 유형 텍스트 분석 방식은 통계 기반 텍스트 분석 방식일 수 있다.

상기 제2 유형 텍스트 분석 모듈은, 상기 후보 분석 단위에 대해 상기 제2 유형 텍스트 분석 방식을 적용하여 키워드를 추출하는 키워드 추출부; 상기 후보 분석 단위에 대한 키워드와 고객 불만 키워드 풀(pool)에 포함된 키워드를 비교하여 비교 신호를 출력하는 키워드 비교부; 및 상기 비교 신호에 응답하여 상기 후보 분석 단위를 상기 최종 분석 단위로 선정하는 최종 분석 단위 선정부;를 포함할 수 있다.

본 발명의 실시예에 따른 고객 불만 분석 시스템 및 방법에 의하면, 고객 상담 원문에 대해 트랜스포머(transformer) 방식의 텍스트 분석 모델로 1차적으로 불만과 관련된 사항을 추출하고 통계 기반 텍스트 분석 모델로 최종적으로 불만 사항을 추출함으로써, 고객 불만을 정확하게 추출하고 분석할 수 있다.

본 발명의 실시예에 따른 고객 불만 분석 시스템 및 방법에 의하면, 고객 상담 원문에 대해 서로 다른 분석 단위에 대해 순차적으로 텍스트 분석 모델을 적용함으로써, 고객 불만을 정확하게 추출하고 분석할 수 있다.

본 발명의 실시예에 따른 고객 불만 분석 시스템 및 방법에 의하면, 고객 상담 원문에 대한 분석을 수행함에 있어, 기업 또는 사업에 최적화된 사전 학습 또는 키워드 풀(keyword pool) 등을 이용함으로써, 고객 불만을 정확하게 추출하고 분석할 수 있다.

도 1은 본 발명의 실시예에 따른 고객 불만 분석 시스템을 나타내는 도면이다.
도 2는 본 발명의 실시예에 따른 고객 불만 분석 방법을 나타내는 도면이다.
도 3은 본 발명의 실시예에 따른 고객의 소리 접수 시스템을 나타내는 도면이다.
도 4는 본 발명의 실시예에 따른 고객 불만 분석 시스템을 나타내는 도면이다.
도 5는 본 발명의 실시예에 따른 제1 유형 텍스트 분석 모델 적용 방법을 나타내는 도면이다.
도 6은 본 발명의 실시예에 따른 후보 불만 문장 분류 방법을 나타내는 도면이다.
도 7은 본 발명의 실시예에 따른 제2 유형 텍스트 분석 모델 적용 방법을 나타내는 도면이다.
도 8은 본 발명의 실시예에 따른 키워드 풀을 나타내는 도면이다.
도 9는 본 발명의 실시예에 따른 고객 불만 분석 방법을 나타내는 도면이다.
도 10은 본 발명의 실시예에 따른 고객 불만 처리 시스템을 나타내는 도면이다.

이하, 도면을 참조하여 본 발명의 구체적인 실시형태를 설명하기로 한다. 이하의 상세한 설명은 본 명세서에서 기술된 방법, 장치 및/또는 시스템에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다.

본 발명의 실시예들을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 본 발명의 실시예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다.

상측, 하측, 일측, 타측 등과 같은 방향성 용어는 개시된 도면들의 배향과 관련하여 사용된다. 본 발명의 실시예의 구성 요소는 다양한 배향으로 위치 설정될 수 있으므로, 방향성 용어는 예시를 목적으로 사용되는 것이지 이를 제한하는 것은 아니다.

제1, 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로 사용될 수 있다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성 요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명될 수 있다.

도 1은 본 발명의 실시예에 따른 고객 불만 분석 시스템을 나타내는 도면이고, 도 2는 본 발명의 실시예에 따른 고객 불만 분석 방법을 나타내는 도면이다.

도 1 및 도 2를 참조하면, 본 발명의 실시예에 따른 고객 불만 분석 시스템(100)은 본 발명의 실시예에 따른 고객 불만 분석 방법(200)으로 동작할 수 있다. 또한, 본 발명의 실시예에 따른 고객 불만 분석 방법(200)은 본 발명의 실시예에 따른 고객 불만 분석 시스템(100)에서 실행될 수 있다. 그러나, 이에 한정되는 것은 아니다. 본 발명의 실시예에 따른 고객 불만 분석 시스템(100)은 본 발명의 실시예에 따른 고객 불만 분석 방법(200)과 다른 방법으로 동작할 수 있다. 또한, 본 발명의 실시예에 따른 고객 불만 분석 방법(200)은 본 발명의 실시예에 따른 고객 불만 분석 시스템(100)과 다른 시스템에서 실행될 수 있다. 다만, 이하에서는 설명의 편의를 위해, 달리 언급하지 않는 한, 본 발명의 실시예에 따른 고객 불만 분석 시스템(100)이 본 발명의 실시예에 따른 고객 불만 분석 방법(200)으로 동작하고, 본 발명의 실시예에 따른 고객 불만 분석 방법(200)이 본 발명의 실시예에 따른 고객 불만 분석 시스템(100)에서 실행되는 예에 한하여 기술한다.

본 발명의 실시예에 따른 고객 불만 분석 시스템(100)은 제1 유형 텍스트 분석 모듈(120), 제2 유형 텍스트 분석 모듈(140) 및 고객 불만 특정 모듈(160)을 포함하여, 고객 상담 원문(CCOT)으로부터 고객 불만 내용(CCNT)을 정확히 추출하여 분석한다.

제1 유형 텍스트 분석 모듈(120)은 고객 상담 원문(CCOT)에 대해 적어도 두 개의 분석 단위로 분석 단위를 줄여가며 순차적으로 제1 유형 텍스트 분석 방식을 적용하고, 적어도 두 개의 분석 단위 중 가장 작은 최소 분석 단위 중 고객 불만과 관련된 최소 분석 단위를 후보 분석 단위(CAUN)로 분류한다.

제2 유형 텍스트 분석 모듈(140)은 후보 분석 단위(CAUN)에 대해 제1 유형 텍스트 분석 방식과 상이한 방식의 제2 유형 텍스트 분석 방식을 적용하고, 후보 분석 단위(CAUN) 중 고객 불만과 관련된 기 설정된 키워드(KWDp)를 포함하고 있는 후보 분석 단위(CAUN)를 최종 분석 단위(FAUN)로 분류한다.

고객 불만 특정 모듈(160)은 최종 분석 단위(FAUN)에 근거하여 고객 상담 원문(CCOT)의 고객 불만 내용(CCNT)을 특정한다.

본 발명의 실시예에 따른 고객 불만 분석 방법(200)은 고객 상담 원문(CCOT)에 대해 적어도 두 개의 분석 단위로 분석 단위를 줄여가며 순차적으로 사전 학습된 텍스트 분석 모델을 적용하는 단계(S220), 순차적으로 적용한 텍스트 분석 모델의 분석 결과에 근거하여 적어도 두 개의 분석 단위 중 가장 작은 최소 분석 단위별 고객 불만과의 관련도를 판단하는 단계(S240), 고객 불만과의 관련도에 근거하여 분류된 최소 분석 단위에 대해 사전 학습된 텍스트 분석 모델과 다른 방식의 텍스트 분석 모델을 적용하여 고객 불만 내용(CCNT)과 관련하여 기 설정된 키워드(KWDp)가 포함되어 있는지를 판단하는 단계(S260) 및 고객 불만과 관련된 키워드를 포함하는 최소 분석 단위에 근거하여 고객 상담 원문의 내용을 특정하는 단계(S280)를 포함하여, 고객 상담 원문(CCOT)으로부터 고객 불만 내용(CCNT)을 정확히 추출하여 분석한다.

단계 S220 및 단계 S240은 제1 유형 텍스트 분석 모듈(120)에서 수행되고, 단계 S260은 제2 유형 텍스트 분석 모듈(140)에서 수행되며, 단계 S280은 고객 불만 특정 모듈(160)에서 수행될 수 있다. 이하에서는 편의를 위해, 단계 S220 및 단계 S260을 각각 제1 유형 텍스트 분석 단계(S220) 및 제2 유형 텍스트 분석 단계(S260)로 기술될 수 있다.

상술된 각 분석 단위은 고객 상담 원문(CCOT)에 대한 페이지, 문단, 문장 등 다양한 분석 단위 중 하나일 수 있다. 또한 상술된 각 텍스트 분석 유형은 문맥 의미를 파악할 수 있는 트랜스포머(transformer) 기반 텍스트 분석 방식 및 반복 횟수를 통한 키워드를 추출할 수 있는 통계 기반 텍스트 분석 방식 등일 수 있다.

이렇듯, 본 발명의 실시예에 따른 고객 불만 분석 시스템(100) 및 고객 불만 분석 방법(200)은 서로 다른 분석 단위 또는 서로 다른 분석 방식을 적용하여 고객 불만 내용(CCNT)을 정확하게 특정할 수 있다. 본 발명의 실시예에 따른 고객 불만 분석 시스템(100) 및 고객 불만 분석 방법(200)에서 채택할 수 있는 분석 단위 및 분석 방식에 고객 불만 분석 등에 대한 더 자세한 설명은 후술된다.

도 3은 본 발명의 실시예에 따른 고객의 소리 접수 시스템을 나타내는 도면이다.

도 3을 참조하면, 본 발명의 실시예에 따른 고객 상담 원문(CCOT)은 전기통신 네트워크 또는 인터넷 등의 네트워크를 통해 고객 서비스 센터(CS Center)로 수신된 상담 통화 또는 상담 SNS 등의 고객의 소리, 즉 VOC를 텍스트로 변환한 원문일 수 있다. 다만, 본 발명의 실시예에 따른 고객 상담 원문(CCOT)은 음성 원문일 수도 있다.

본 발명의 실시예에 따른 고객 불만 분석 시스템(100)은 고객 서비스 센터로부터 고객 상담 원문(CCOT)을 수신하여 상기의 동작을 수행할 수 있다. 다만, 이에 한정되는 것은 아니다. 고객 불만 분석 시스템(100)은 고객 서비스 센터에 접수된 고객의 소리를 수신하여 고객 상담 원문(CCOT)으로 변환하는 동작을 더 수행할 수도 있다.

도 4는 본 발명의 실시예에 따른 고객 불만 분석 시스템을 나타내는 도면이다.

도 4를 참조하면, 본 발명의 실시예에 따른 고객 불만 분석 시스템(100)은 도 1과 마찬가지로 제1 유형 텍스트 분석 모듈(120), 제2 유형 텍스트 분석 모듈(140) 및 고객 불만 특정 모듈(160)을 포함하고 동일한 동작을 수행할 수 있다. 다만, 도 4의 제1 유형 텍스트 분석 모듈(120) 및 제2 유형 텍스트 분석 모듈(140)은 도 1과 대비하여 보다 구체적인 분석 단위 또는 분석 방식이 적용될 수 있다.

이를 위해, 도 4의 제1 유형 텍스트 분석 모듈(120)은 불만 문단 분류부(122) 및 불만 문장 분류부(124)를 포함할 수 있다. 도 4의 제1 유형 텍스트 분석 모듈(120)은 도 5의 방법으로 동작할 수 있다.

도 5는 본 발명의 실시예에 따른 제1 유형 텍스트 분석 모델 적용 방법을 나타내는 도면이다.

도 4 및 도 5를 참조하면, 제1 유형 텍스트 분석 모듈(120)의 불만 문단 분류부(122)는 고객 상담 원문(CCOT)을 문단 단위로 나눠 사전 학습된 텍스트 분석 모델, 즉 제1 유형 텍스트 분석 방식을 적용하여 고객 불만과 관련된 불만 문단(PAUN)을 분류할 수 있다(S224). 이때, 제1 유형 텍스트 분석 방식은 전술한 바와 같이 트랜스포머 기반 텍스트 분석 방식일 수 있다.

트랜스포머 기반 텍스트 분석 방식은 분석하고자 하는 입력 시퀀스(sequence)를 인코더(encoder)로 수신하고 디코더(decoder)로 출력 시퀀스를 출력하는 인코더-디코더 구조로 동작함에 있어 입력 시퀀스를 이루는 단어의 위치 정보가 반영되고 인코더 자체, 디코더 자체 또는 인코더 및 디코더 사이의 어텐션(attention) 처리를 통해 분석 성능을 향상시킬 수 있다. 본 발명의 실시예에 따른 제1 유형 텍스트 분석 방식은 특히, BERT(Bidirectional Encoder Representation from Transformers)일 수 있다.

이때, 제1 유형 텍스트 분석 모듈(120)은 BERT 모델에 대해 고객 상담에 대응되는 비즈니스 코퍼스(corpus) 및 구어 코퍼스를 트레인 데이터(train data)로 하여 사전 학습(pre-training)을 수행할 수 있다(S222). 고객에게 제공되는 제품이나 서비스에 특화된 비즈니스 코퍼스(corpus)와 고객 상담에 특화된 구어체를 반영한 구어 코퍼스를 이용함으로써, 보다 정확한 고객 불만 내용(CCNT)이 특정될 수 있다.

제1 유형 텍스트 분석 모듈(120)의 불만 문장 분류부(124)는 불만 문단(PAUN)을 문장 단위로 나눠 제1 유형 텍스트 분석 방식을 적용하여 후보 분석 단위(CAUN), 즉 후보 불만 문장(CAUN)을 분류할 수 있다(S246). 후보 분석 단위(CAUN)의 일 예인 후보 불만 문장(CAUN)은 동일한 도면 부호로 기술될 수 있다. 불만 문장 분류부(124)는 불만 문단 분류부(122)와 마찬가지로 BERT 모델을 적용할 수 있고, 전술된 사전 학습 방식을 통해 BERT 모델을 학습시킬 수 있다.

도 6은 본 발명의 실시예에 따른 후보 불만 문장 분류 방법을 나타내는 도면이다.

도 4 및 도 6을 참조하면, 불만 문장 분류부(124)는 최소 분석 단위, 즉 불만 문단(PAUN)의 각 문장(문장 단위)에 대해 제1 유형 텍스트 분석 방식을 적용하여 문장별 고객 불만과의 관련도를 판단(S240)함에 있어, 각 문장의 셀프 어텐션 스코어(Self-Attention Score)의 평균값을 산출하고(S242), 셀프 어텐션 스코어의 평균값에 근거하여 각 문장에 대한 고객 불만과의 관련도에 대한 순위를 설정하며(S244), 일정 순위 이상인 문장을 후보 불만 문장(CAUN)으로 분류할 수 있다(S246).

셀프 어텐션 스코어란 트랜스포머 기반 텍스트 분석 기법에서 양방향 학습 방식의 일종으로, 한 단위(예를 들어, 토큰(token))와 나머지 단위와의 관계 정보를 처리하는 일종의 해당 단위의 중요도를 나타내는 것으로, 분석 단위에 대한 셀프 어텐션 스코어의 평균값, 즉 분석 단위를 이루는 각 토큰에 대한 셀프 어텐션 스코어의 합을 토큰의 개수로 나눈 값은 해당 분석 단위의 고객 불만과의 관련도를 나타낼 수 있다.

따라서, 불만 문장 분류부(124)는 셀프 어텐션 스코어가 높은 문장을 후보 불만 문장(CAUN)으로 출력할 수 있다. 이때, 불만 문장 분류부(124)는 본 발명의 실시예에 따른 고객 불만 분석 시스템(100)에 요구되는 성능에 근거하여, 셀프 어텐션 스코어가 가장 높은 문장만을 후보 불만 문장(CAUN)으로 출력하거나, 셀프 어텐션 스코어가 상위인 임의의 개수의 문장을 후보 불만 문장(CAUN)으로 출력할 수 있다.

불만 문단 분류부(122)는 고객 상담 원문(CCOT)의 각 문단에 대해 BERT 모델을 적용하여 불만 문단(PAUN)을 분류함에 있어, 불만 문장 분류부(124)의 도 6의 동작 방법과 유사한 방법으로 동작할 수 있다.

다시 도 4를 참조하면, 도 4의 제2 유형 텍스트 분석 모듈(140)은 키워드 추출부(142), 키워드 비교부(144) 및 최종 분석 단위 선정부(146)를 포함할 수 있다. 도 4의 제2 유형 텍스트 분석 모듈(140)은 도 7의 방법으로 동작할 수 있다.

도 7은 본 발명의 실시예에 따른 제2 유형 텍스트 분석 모델 적용 방법을 나타내는 도면이다.

도 4 및 도 7을 참조하면, 본 발명의 실시예에 따른 제2 유형 텍스트 분석 모듈(140)는 고객 불만과 관련된 것으로 판단된 최소 분석 단위(후보 분석 단위(CAUN))에 기 설정된 키워드, 즉 키워드 풀(keyword pool)에서 규정한 키워드(KWDp)가 포함되어 있는지를 판단한다(S260).

예를 들어, 전술한 바와 같이, 후보 분석 단위(CAUN)는 후보 불만 문장(CAUN)일 수 있다. 이하에서는 설명의 편의를 위해 후보 분석 단위(CAUN)가 후보 불만 문장(CAUN)인 예에 한해 기술한다. 예를 들어, 키워드 추출부(142)는 후보 불만 문장(CAUN)에 대한 제2 유형 텍스트 분석을 수행할 수 있다. 예를 들어, 제2 유형 텍스트 분석 방식은 반복 횟수 등에 근거하여 키워드를 추출하는 통계 기반 분석 방식일 수 있다. 예를 들어, 키워드 추출부(142)는 후보 불만 문장(CAUN)에 대해 TF-IDF(Term Frequency-Inverse Document Frequency) 모델을 적용하여 키워드(KWDe)를 추출할 수 있다. 즉, 키워드 추출부(142)는 후보 불만 문장(CAUN) 내의 특정 단어의 빈도 및 역 문서 빈도에 근거하여 키워드(KWDe)를 추출할 수 있다.

키워드 비교부(144)는 후보 불만 문장(CAUN)에서 추출된 키워드(KWDe)를 키워드 풀의 키워드(KWDp)와 비교하여 비교 신호(XCOM)를 출력할 수 있다(S244). 즉, 키워드 비교부(144)는 후보 불만 문장(CAUN)에 고객 불만과 관련하여 기 구축된 키워드 풀에 포함된 키워드(KWDp)가 있는지를 판단한다.

도 8은 본 발명의 실시예에 따른 키워드 풀을 나타내는 도면이다.

도 8을 참조하면, 본 발명의 실시예에 따른 키워드 풀(KPOL)은 각 사업 분야에 대한 키워드(KWDp)의 리스트를 포함하고 있다. 이러한 키워드 풀(KPOL)은 해당 사업 분야의 기존 데이터 또는 본 발명의 실시예에 따른 고객 불만 분석 시스템 및 방법을 통해 학습하여 획득된 데이터(예를 들어, 도 4의 CCNT)를 통해 구축될 수 있다. 이때, 각 사업 분야에 대한 키워드(KWDp)들은 고객 불만의 내용과 관련되어 적어도 둘 이상으로 그룹핑(grouping)된 서브 풀(sub pool)을 구성할 수 있다.

도 8은 키워드 풀(KPOL)은 이해를 돕기 위한 예시일 뿐 다양한 키워드(KWDp)가 본 발명의 실시예에 따른 키워드 풀(KPOL)에 포함될 수 있다. 이렇듯, 본 발명의 실시예에 따른 고객 불만 분석 시스템(100)은, 고객 상담 원문(CCOT)에 대한 분석을 수행함에 있어, 기업 또는 사업에 최적화된 키워드 풀을 이용함으로써, 고객 불만을 정확하게 추출하고 분석할 수 있다.

다시 도 4 및 도 7을 참조하면, 최종 분석 단위 선정부(146)는 비교 결과(XCOM)에 응답하여 키워드 풀의 키워드(KWD)를 포함하는 후보 불만 문장(CAUN)을 최종 분석 단위(FAUN)인 최종 불만 문장(FAUN)으로 선정할 수 있다(S266). 최종 분석 단위(FAUN)의 일 예인 최종 불만 문장(FAUN)은 동일한 도면부호로 기술될 수 있다.

도 9는 본 발명의 실시예에 따른 고객 불만 분석 방법을 나타내는 도면이다.

도 1 및 도 9를 참조하면, 도 9의 고객 불만 분석 방법(900)은 도 1의 고객 불만 시스템(100)에서 수행되거나 도 1의 고객 불만 분석 시스템(100)은 도 9의 고객 불만 분석 방법(900)으로 동작할 수 있다.

예를 들어, 본 발명의 실시예에 따른 고객 불만 분석 방법(900)은, 제1 유형 텍스트 분석 모듈(120)은 고객 상담 원문(CCOT)에 대해 문단 단위로 트랜스포머(transformer) 기반 텍스트 분석 모델을 적용하여 불만 문단(PAUN)을 분류하고(S920), 불만 문단(PAUN)의 문장 단위로 트랜스포머 기반 텍스트 분석 모델을 적용하여 후보 불만 문장(CAUN)을 분류할 수 있다(S940). 제2 유형 텍스트 분석 모듈(140)은 후보 불만 문장(CAUN)에 대해 통계 기반 텍스트 분석 모델을 적용하여 기 설정된 키워드, 즉 키워드 풀의 키워드(KWDp)가 포함된 문장을 최종 불만 문장(FAUN)으로 분류할 수 있다(S960). 고객 불만 특정 모듈(160)은 최종 불만 문장(FAUN)에 근거하여 고객 상담 원문(CCOT)이 고객 불만에 대한 것인지 그렇다면 고객 불만 내용(CCNT)은 무엇인지 특정할 수 있다(S980).

도 9의 방법에 대한 구체적인 내용은 전술된 도 2, 도 5 내지 도 7에 대한 내용을 참조할 수 있다.

이렇듯, 본 발명의 실시예에 따른 고객 불만 분석 시스템(100) 및 고객 불만 분석 방법에 의하면, 고객 상담 원문에 대해 트랜스포머(transformer) 방식의 텍스트 분석 모델로 1차적으로 불만과 관련된 사항을 추출하고 통계 기반 텍스트 분석 모델로 최종적으로 불만 사항을 추출하거나, 고객 상담 원문에 대해 서로 다른 분석 단위에 대해 순차적으로 텍스트 분석 모델을 적용함으로써, 고객 불만을 정확하게 추출하고 분석할 수 있다.

도 10은 본 발명의 실시예에 따른 고객 불만 처리 시스템을 나타내는 도면이다.

도 10을 참조하면, 본 발명의 실시예에 따른 고객 불만 처리 시스템(1000)은 고객 불만 내용(CCNT)을 시각화하여 제공하는 대시보드를 구비하는 인터페이스 모듈(170) 및/또는 고객 불만 내용(CCNT)에 근거하여 고객 불만에 대한 처리를 지시하는 제어 신호(XCON)를 생성하는 제어 모듈(180)을 더 포함할 수 있다. 이때, 제어 모듈(180)은 자동 모드로 동작하거나 엔지니어가 인터페이스 모듈(170)을 통해 제어 모듈(180)을 동작시킬 수도 있다.

이상에서 본 발명의 대표적인 실시예들을 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

100: 고객 불만 분석 시스템 120: 제1 유형 텍스트 분석 모듈
140: 제2 유형 텍스트 분석 모듈 160: 고객 불만 특정 모듈
CCOT: 고객 상담 원문 CAUN: 후보 분석 단위
FAUN: 최종 분석 단위 KDWp: 키워드 풀(키워드 풀의 키워드)
CCNT: 고객 불만 내용 200: 고객 불만 분석 방법

Claims (15)

1. 고객 상담 원문에 대해 문단 단위로 트랜스포머(transformer) 기반 텍스트 분석 모델을 적용하여 상기 고객 상담 원문으로부터 고객 불만과 관련된 문단을 분류하는 단계;
   상기 고객 불만과 관련된 것으로 분류된 문단에 속한 문장 단위로, 각 문장에 포함된 모든 토큰들의 셀프-어텐션 스코어(self-attention score)의 평균값을 산출하는, 상기 셀프-어텐션 스코어는 고객 불만에 대한 중요도를 나타냄, 단계;
   상기 산출된 각 문장의 셀프-어텐션 스코어의 평균값에 기반하여, 고객 불만과의 관련 정도를 나타내는 순위를 상기 문단에 속한 각 문장에 설정하는 단계;
   상기 순위가 설정된 문장들 중 일정 순위 이상의 하나 이상의 문장들을 하나 이상의 후보 문장들로 분류하는 단계;
   상기 분류된 하나 이상의 후보 문장들에 통계 기반 텍스트 분석 모델을 적용하여 상기 분류된 하나 이상의 후보 문장들로부터 기 설정된 키워드가 포함되어 있는 하나 이상의 최종 문장들을 분류하는 단계; 및
   상기 분류된 하나 이상의 최종 문장들에 근거하여 상기 고객 상담 원문의 내용을 특정하는 단계;를 포함하는 고객 불만 분석 방법.
2. 삭제
3. 삭제
4. 삭제
5. 제1항에 있어서,
   상기 트랜스포머 기반 텍스트 분석 모델을 적용하는 단계는,
   고객 상담에 대응되는 비즈니스 코퍼스(corpus) 및 구어 코퍼스를 트레인 데이터(train data)로 하여 텍스트 분석 모델을 사전 학습하는 단계;를 포함하는 고객 불만 분석 방법.
6. 삭제
7. 제1항에 있어서,
   상기 고객 상담 원문의 내용을 특정하는 단계는,
   상기 문단에 속한 문장들에 설정된 순위를 반영하여 상기 고객 상담 원문의 고객 불만 내용을 특정하는 단계;를 포함하는 고객 불만 분석 방법.
8. 제1항에 있어서,
   상기 하나 이상의 최종 문장들을 분류하는 단계는,
   고객 불만과의 관련도가 있는 문장에 대한 TF-IDF(Term Frequency-Inverse Document Frequency) 모델을 적용하여 키워드를 추출하는 단계; 및
   상기 추출된 키워드를 고객 불만과 관련된 고객 불만 키워드 풀(pool)의 키워드와 비교하는 단계;를 포함하는 고객 불만 분석 방법.
9. 제8항에 있어서,
   상기 고객 불만 키워드 풀은,
   고객 불만의 내용과 관련되어 적어도 둘 이상으로 그룹핑(grouping)된 서브 풀(sub pool)을 포함하는 고객 불만 분석 방법.
10. 삭제
11. 삭제
12. 고객 상담 원문에 대해 문단 단위로 트랜스포머(transformer) 기반 텍스트 분석 모델을 적용하여 상기 고객 상담 원문으로부터 고객 불만과 관련된 문단을 분류하고, 상기 고객 불만과 관련된 것으로 분류된 문단에 속한 문장별로, 각 문장에 포함된 모든 토큰들의 셀프-어텐션 스코어(self-attention score)의 평균값을 산출하고, 상기 셀프-어텐션 스코어는 고객 불만에 대한 중요도를 나타내고, 상기 산출된 각 문장의 셀프-어텐션 스코어의 평균값에 기반하여, 고객 불만과의 관련 정도를 나타내는 순위를 상기 문단에 속한 각 문장에 설정하며, 상기 순위가 설정된 문장들 중 일정 순위 이상의 하나 이상의 문장들을 하나 이상의 후보 문장들로 분류하는 제1 유형 텍스트 분석 모듈;
    상기 분류된 하나 이상의 후보 문장들에 통계 기반 텍스트 분석 방식을 적용하여 상기 분류된 하나 이상의 후보 문장들로부터 기 설정된 키워드를 포함하고 있는 하나 이상의 최종 문장들을 분류하는 제2 유형 텍스트 분석 모듈; 및
    상기 분류된 하나 이상의 최종 문장들에 근거하여 상기 고객 상담 원문의 고객 불만 내용을 특정하는 고객 불만 특정 모듈;을 포함하는 고객 불만 분석 시스템.
13. 삭제
14. 삭제
15. 제12항에 있어서,
    상기 제2 유형 텍스트 분석 모듈은,
    상기 하나 이상의 후보 문장들에 대해 상기 통계 기반 텍스트 분석 방식을 적용하여 키워드를 추출하는 키워드 추출부;
    상기 하나 이상의 후보 문장들에 대한 키워드와 고객 불만 키워드 풀(pool)에 포함된 키워드를 비교하여 비교 신호를 출력하는 키워드 비교부; 및
    상기 비교 신호에 응답하여 상기 하나 이상의 후보 문장들로부터 상기 하나 이상의 최종 문장들을 분류하는 최종 분석 단위 선정부;를 포함하는 고객 불만 분석 시스템.