KR20220075714A - 챗봇에서의 사용자 질의 분류 방법 - Google Patents

챗봇에서의 사용자 질의 분류 방법 Download PDF

Info

Publication number
KR20220075714A
KR20220075714A KR1020200164100A KR20200164100A KR20220075714A KR 20220075714 A KR20220075714 A KR 20220075714A KR 1020200164100 A KR1020200164100 A KR 1020200164100A KR 20200164100 A KR20200164100 A KR 20200164100A KR 20220075714 A KR20220075714 A KR 20220075714A
Authority
KR
South Korea
Prior art keywords
query
user
type
search
classifying
Prior art date
Application number
KR1020200164100A
Other languages
English (en)
Other versions
KR102452506B1 (ko
Inventor
정휘웅
배영준
김미영
Original Assignee
주식회사 리노스
토피도 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 리노스, 토피도 주식회사 filed Critical 주식회사 리노스
Priority to KR1020200164100A priority Critical patent/KR102452506B1/ko
Publication of KR20220075714A publication Critical patent/KR20220075714A/ko
Application granted granted Critical
Publication of KR102452506B1 publication Critical patent/KR102452506B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/232—Orthographic correction, e.g. spell checking or vowelisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/268—Morphological analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/02—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail using automatic reactions or user delegation, e.g. automatic replies or chatbot-generated messages

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Machine Translation (AREA)

Abstract

사용자로부터의 질의문에 따라 응답하기 적합한 소스를 결정하는 챗봇에서의 사용자 질의 분류 방법이 제공된다. 본 발명의 일 실시예에서, 사용자 질의문을 언어모델 대화엔진에 입력하고, 언어모델 대화엔진에서 출력되는 스코어가 소정 기준을 만족하는지를 판별하여 스코어가 소정 기준을 만족하면 언어모델 유형으로 분류한다. 스코어가 소정 기준을 만족하지 않으면 사용자 질의문으로부터 질의문 유형을 분류한다. 검색과 연관된 단어 패턴들을 저장해두고 사용자 질의문과 이들 패턴을 비교하여 검색관련 유형 여부를 판단하고, 챗봇이 적용되는 특정 분야의 전형적인 대화에 포함되는 단어 패턴들을 저장해두고 사용자 질의문과 이들 패턴을 비교하여 시나리오 기반모델 유형 여부를 판단할 수 있다.

Description

챗봇에서의 사용자 질의 분류 방법 {Method for classifying user query in chatbot system}
본 발명은 챗봇에서의 사용자 질의 분류 방법에 관한 것으로서, 더욱 상세하게는 사용자로부터의 질의문에 따라 응답하기 적합한 소스를 결정하는 챗봇에서의 사용자 질의 분류 방법에 관한 것이다.
고객의 전화통화 또는 메신저를 통한 상담이나 문의에 대해서 인공지능을 활용하여 응대하는 챗봇 시스템(chatbot system)을 적용하고자 하는 기업이 늘고 있다. 챗봇은 사용자로부터 음성 또는 문자 메시지를 수신하여, 이로부터 사용자의 의도를 추출하여 추출된 의도에 대응하는 응답을 출력한다.
인공지능 기술이 발전함에 따라 챗봇을 사용한 간단한 응대는 가능해졌지만 아직도 사용자들의 만족도는 낮은 편이다. 이는 질의로부터 정확한 의도를 추출하는데 어려움이 있다는 점이 한가지 원인으로 지적된다. 또한, 사용자의 질의가 일반적인 대화인지 아니면 보다 일반적인 대화에서 벗어난 내용인지에 따라서도 응답 결과에 대한 사용자들의 만족도가 달라진다.
예를 들면, 사용자의 질의가 챗봇이 계속 다루고 있던 대화내용이라면 BERT (Bidirectional Encoder Representations from Transformers)와 같은 언어모델을 사용하여 훈련된 대화엔진만으로도 훌륭한 응대가 가능할 것이다. BERT는 셀프 어텐션(Self-Attention) 기법을 사용한 기계번역 신경망으로서, 특정 분야에 대해서 사전훈련 임베딩(embidding)을 통하여 해당 분야에 대한 인공지능 대화성능을 개선시킬 수 있다. 주기적으로 챗봇엔진을 기계학습시킴으로써 챗봇엔진의 성능이 개선되고 최신의 정보를 반영할 수 있게 된다.
그러나, 기계학습되지 않은 내용에 대한 질의인 경우에는 BERT 엔진을 사용하여서는 만족스러운 결과를 얻기 어려운 경우가 많다. BERT와 같은 대화엔진을 사용하는 경우의 이와 같은 문제점에 대한 해결이 필요한 상황이다.
본 발명은 이러한 점을 감안하여 이루어진 것으로서, 충분히 기계학습되지 않은 내용에 대한 질의에 대해서도 만족스러운 응대를 할 수 있도록 하기 위한 챗봇에서의 사용자 질의 분류 방법을 제공하는 것을 목적으로 한다.
본 발명의 일 실시예에 따른 챗봇에서의 사용자 질의 분류 방법은, 사용자 질의문을 언어모델 대화엔진에 입력하는 제1 단계와, 언어모델 대화엔진에서 출력되는 스코어가 소정 기준을 만족하는지를 판별하여 스코어가 소정 기준을 만족하면 언어모델 유형으로 분류하는 제2 단계와, 제2 단계에서 스코어가 소정 기준을 만족하지 않으면 사용자 질의문으로부터 질의문 유형을 분류하는 제3 단계를 구비한다.
일 실시예에서 제3 단계는, 검색과 연관된 단어 패턴들을 저장해두고 사용자 질의문과 이들 패턴을 비교하여 검색관련 유형 여부를 판단하고, 챗봇이 적용되는 특정 분야의 전형적인 대화에 포함되는 단어 패턴들을 저장해두고 사용자 질의문과 이들 패턴을 비교하여 시나리오 기반모델 유형 여부를 판단하도록 구성할 수 있다.
다른 실시예에서 제3 단계는, 검색과 연관된 질의문들을 사용하여 딥러닝 알고리즘으로 훈련한 신경망 회로와, 특정 분야의 전형적인 질의문들을 사용하여 딥러닝 알고리즘으로 훈련한 신경망 회로를 사용하여 그 출력값으로부터 질의문의 유형을 판단하도록 구성할 수 있다.
사용자 질의문의 유형이 판별되지 않는 경우에는 답변불가 유형으로 분류할 수 있다. 또한, 제1 단계 전에 사용자 질의문으로부터 명백한 오기를 정정하는 단계를 더 포함할 수 있다.
본 발명의 다른 실시예에 따른 챗봇에서의 사용자 질의 분류 방법은, 사용자 질의문을 언어모델 대화엔진에 입력하는 제1 단계와, 언어모델 대화엔진에서 출력되는 스코어가 소정 기준을 만족하는지를 판별하여 소정 기준을 만족하면 사용자 질의문을 언어모델 유형으로 분류하는 제2 단계와, 제 2단계에서 스코어가 소정 기준을 만족하지 않으면 사용자 질의문으로부터 검색관련 유형인지를 판별하여 검색관련 유형이면 사용자 질의문을 검색관련 유형으로 분류하는 단계와, 검색관련 유형이 아니면 사용자 질의문을 시나리오 기반모델 유형으로 분류하는 제4 단계를 구비한다.
일 실시예에서 제3 단계는, 사용자 질의문의 형태소를 분석하고 동사구와 내용어를 추출하는 단계와, 분석된 형태소 및 추출된 동사구와 내용어로부터 사용자 질의문에 검색과 관련된 용어나 표현이 포함되어 있는지를 파악하는 단계와, 사용자 질의문에 검색과 관련된 용어나 표현이 포함되어 있으면 사용자 질의문을 검색관련 유형으로 분류하는 단계를 포함할 수 있다.
다른 실시예에서 제3 단계는, 사용자 질의문이 검색관련 유형인지 여부는 검색과 연관된 질의문들을 사용하여 딥러닝 알고리즘으로 훈련한 신경망 회로를 사용하여 판별하도록 구성될 수 있다.
일 실시예에서 제4 단계는, 사용자 질의문이 검색관련 유형이 아니면 챗봇이 적용되는 특정 분야의 전형적인 대화에 포함되는 단어 패턴들을 저장해두고 사용자 질의문과 이들 패턴을 비교하여 소정 조건을 만족하면 시나리오 기반모델 유형으로 분류하는 단계와, 상기 소정 조건을 만족하지 않으면 답변불가 유형으로 분류하는 단계를 포함할 수 있다.
본 발명에 따르면, 사용자 질의문의 유형에 따라서 가장 적합한 응대 수단을 선택할 수 있으므로, 챗봇에서 사용자 질의에 대하여 보다 만족스러운 응대가 가능하다.
도 1은 챗봇 시스템에 본 발명이 적용된 예를 보여주는 블록도이다.
도 2는 본 발명의 일 실시예에 따른 대화분류기의 구성을 보여주는 기능 블록도이다.
도 3은 본 발명의 일 실시예에서의 대화분류기의 동작흐름을 보여주는 흐름도이다.
도 4는 본 발명의 다른 실시예에서의 대화분류기의 동작흐름을 보여주는 흐름도이다.
이하, 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다.
도 1은 챗봇 시스템에 본 발명이 적용된 예를 보여주는 블록도이다.
본 발명의 대화분류기(100)는 사용자 질의를 먼저 BERT (Bidirectional Encoder Representations from Transformers)와 같은 언어모델을 사용하여 훈련된 언어모델 대화엔진(10)에 입력하여 언어모델 대화엔진(10)의 출력의 스코어를 획득한다. BERT에 대해서는 예를 들면 Jacob Devlin과 Ming-Wei Chang의 2018년 11월 2일자 논문 "Open Sourcing BERT: State-of-the-Art Pre-training for Natural Language Processing"에 기재되어 있다. 언어모델 대화엔진(10)의 출력의 스코어가 소정 기준을 만족하면 대화분류기(100)는 사용자 질의문을 언어모델 유형으로 분류하여, 답변처리기(40)가 언어모델 대화엔진(10)의 출력을 이용하여 답변을 하도록 한다.
BERT 출력의 스코어가 소정 기준을 만족하지 못하는 경우에 대화분류기(100)는 사용자 질의를 분석하여 검색관련 질의인 경우에는 검색엔진(20)에 질의를 입력하여 답변을 획득한다. 검색관련 질의인지의 여부는 질의문이 검색과 연관될 수 있는 질의문 유형(검색관련 유형)인지로부터 판단할 수 있다. 검색관련 유형인지 여부는 검색과 연관된 질의문들을 사용하여 딥러닝 알고리즘으로 훈련한 신경망 회로를 사용하여 판별할 수 있다. 또는, 검색과 연관된 단어 패턴들을 저장해두고 질의문이 이들 중의 하나를 포함하는지로부터 판별할 수도 있다. 검색관련 유형이라고 판별되면 대화분류기(100)는 답변처리기(40)가 검색엔진(20)의 출력을 이용하여 답변을 하도록 한다.
사용자 질의문이 검색관련 유형이 아닌 경우에는 대화분류기(100)는 답변처리기(40)가 시나리오 기반모델 대화엔진(30)의 출력을 이용하여 답변을 하도록 한다. 시나리오 기반모델의 대화엔진은, 챗봇이 적용되는 분야에서 사용자와의 질문과 답변이 이어지는 전형적인 패턴들을 시나리오처럼 작성하여 두고, 사용자의 질문에 대한 응대를 이 시나리오대로 수행하는 것이다. 시나리오 기반모델의 대화엔진에 대해서는 예를 들면 특허등록 제2163081호, 특허등록 제2148439호, 특허등록 제2030803호 등에 개시되어 있다.
또는, 대화분류기(100)가 질의문을 분석하여 검색관련 유형인지 아니면 시나리오 기반모델 대화엔진(30)에서 처리하는 것이 적합한 유형(시나리오 기반모델 유형)인지를 판단하도록 구성하는 것도 가능하다. 일 실시예에서, 대화분류기(100)에 검색과 연관된 단어 패턴들과, 챗봇이 적용되는 분야의 전형적인 대화에 포함되는 단어 패턴들을 저장해두고, 질의문이 어느 유형에 더 해당이 되는지 판단할 수 있다. 다른 실시예에서, 검색과 연관된 질의문들을 사용하여 딥러닝 알고리즘으로 훈련한 신경망 회로와, 특정 분야의 전형적인 질의문들을 사용하여 딥러닝 알고리즘으로 훈련한 신경망 회로에 사용자의 질의문을 입력하고, 그 출력값의 신뢰도(스코어)가 가장 높은 유형으로 분류하도록 구성할 수 있다. 즉, 검색과 연관된 질의문들을 사용하여 딥러닝 알고리즘으로 훈련한 신경망 회로의 출력값의 스코어가 가장 높은 경우에는 검색유형으로 분류하고, 특정 분야의 전형적인 질의문들을 사용하여 딥러닝 알고리즘으로 훈련한 신경망 회로의 출력값의 스코어가 가장 높은 경우에는 시나리오 기반모델 유형으로 분류하도록 구성할 수 있다.
일 실시예에서, 응답에 적합한 엔진이 없는 경우에 대화분류기(100)는 사용자 질의문을 답변불가 유형으로 분류하여 답변처리기(40)에 전달함으로써, 답변처리기(40)가 사용자에게 질의를 보충해달라는 요청을 할 수 있도록 한다.
도 2는 본 발명의 일 실시예에 따른 대화분류기의 구성을 보여주는 기능 블록도이다.
대화분류기(100)는 질의문 처리부(110), 전처리부(120), 질의판별부(130)를 구비할 수 있다.
질의문 처리부(110)는 사용자 질의문을 언어모델 대화엔진(10)에 입력하여 출력되는 스코어로부터 사용자 질의문에 응답하는데 언어모델 대화엔진(10)을 사용하는게 적합할 것인지를 판단하고, 언어모델 유형이 아닌 경우에는 사용자 질의문을 질의유형 판별부(130)에 입력하여 그 결과로부터 검색관련 유형 또는 시나리오 기반모델 유형인지를 판별한다. 판별된 결과는 답변처리기(40)로 출력하여 질의문 유형에 적합한 응답을 하도록 한다.
전처리부(120)는 사용자 질의문으로부터 명백한 오기를 정정하거나 각 엔진에서의 사용에 적합한 문장으로 정정하여 질의문 처리부(110)로 전달한다.
질의유형 판별부(130)는 사용자 질의문이 검색관련 유형인지 특정 분야의 시나리오 기반모델 유형에 해당하는 문장인지를 판별한다. 검색 관련 질의인지의 여부는 검색과 연관된 단어 패턴들을 저장해두고 질의문이 이들 중의 하나를 포함하는지 또는 이들 패턴과 얼마나 유사한지 등으로부터 판별할 수 있다. 시나리오 기반모델에 해당하는지 여부는 챗봇이 적용되는 특정 분야의 전형적인 대화에 포함되는 단어 패턴들을 저장해두고 질의문이 이들 중의 하나를 포함하는지 또는 이들 패턴과 얼마나 유사한지 등으로부터 판별할 수 있다. 복수의 분야에 대한 시나리오 기반모델에 대해서 유형을 판별하도록 구성하는 것도 가능하다.
다른 실시예에서 질의유형 판별부(130)는, 검색과 연관된 질의문들을 사용하여 딥러닝 알고리즘으로 훈련한 신경망 회로와, 특정 분야의 전형적인 질의문들을 사용하여 딥러닝 알고리즘으로 훈련한 신경망 회로로 구성될 수도 있다. 이 경우에 질의유형 판별부(130)는 사용자의 질의문을 각 신경망 회로에 입력하고, 그 출력값을 질의문 처리부(110)로 전달할 수 있다. 또는 출력값으로부터 질의유형 판별부(130)가 질의문의 유형을 바로 판단할 수도 있다. 한편, 출력값이 높더라도 소정의 기준치보다 낮은 경우에는 답변불가 유형의 질의문으로 분류할 수 있다.
도 3은 본 발명의 일 실시예에서의 대화분류기의 동작흐름을 보여주는 흐름도이다.
대화분류기(100)는 사용자 질의문으로부터 명백한 오기를 정정하거나 각 엔진에서의 사용에 적합한 문장으로 정정하는 등의 전처리를 수행한다(단계 S110). 대화분류기(100)는 전처리된 사용자 질의문을 언어모델 대화엔진(10)에 입력하고(단계 120), 출력되는 스코어로부터 언어모델 대화엔진(10)으로부터의 답변이 신뢰성이 있는지 판단한다(단계 S130). 신뢰성 있는 답변이라면 대화분류기(100)는 사용자 질의문을 언어모델 유형으로 분류한다(단계 S160). 단계 S130에서 신뢰성이 없다고 판단되면, 대화분류기(100)는 질의문의 형태소를 분석하고 동사구 및/또는 내용어를 추출하고(단계 S140), 이로부터 검색과 관련된 용어나 표현이 포함되어 있는지를 파악하여 검색관련 질의인지를 판별한다(단계 S150). 검색관련 질의라고 판단되면 사용자 질의문을 검색관련 유형으로 분류하고(단계 S180), 그렇지 않으면 시나리오 모델기반 유형으로 분류한다(단계 S170). 실시예에 따라서는 사용자 질의문이 검색관련 유형이 아니면 챗봇이 적용되는 특정 분야의 전형적인 대화에 포함되는 단어 패턴들을 저장해두고, 단계 S170에서 사용자 질의문과 이들 패턴을 비교하여 소정 조건을 만족하면 시나리오 기반모델 유형으로 분류하도록 구성할 수도 있다. 이 경우에 사용자 질의문이 상기 소정 조건을 만족하지 않으면 답변불가 유형으로 분류한다.
도 4는 본 발명의 다른 실시예에서의 대화분류기의 동작흐름을 보여주는 흐름도이다.
대화분류기(100)는 사용자 질의문으로부터 명백한 오기를 정정하거나 각 엔진에서의 사용에 적합한 문장으로 정정하는 등의 전처리를 수행한다(단계 S210). 대화분류기(100)는 전처리된 사용자 질의문을 언어모델 대화엔진(10)에 입력하고(단계 220), 출력되는 스코어로부터 언어모델 대화엔진(10)으로부터의 답변이 신뢰성이 있는지 판단한다(단계 S230). 신뢰성 있는 답변이라면 대화분류기(100)는 사용자 질의문을 언어모델 유형으로 분류한다(단계 S260).
단계 S230에서 신뢰성이 없다고 판단되면, 대화분류기(100)는 질의문 문장을 분석하여(단계 S240), 기준을 만족하는 질의문 유형이 있는지를 확인한다. 질의문 문장의 분석은, 예를 들면, 검색과 연관된 단어 패턴들을 저장해두고 사용자 질의문과 이들 패턴을 비교하여 검색관련 유형에 해당하는 질의문인지를 판단한다. 예를 들면, 질의문이 이들 패턴 중의 하나를 포함하는지를 분석하여 검색관련 유형에 해당하는 질의문인지를 판단할 수 있다.
또한, 챗봇이 적용되는 특정 분야의 전형적인 대화에 포함되는 단어 패턴들을 저장해두고 사용자 질의문과 이들 패턴을 비교하여 시나리오 기반모델 유형에 해당하는 질의문인지를 판단한다. 예를 들면, 질의문이 이들 단어패턴들 중의 하나를 포함하는지로부터 시나리오 기반모델 유형인지를 판별할 수 있다.
실시예에 따라서는, 검색과 연관된 질의문들을 사용하여 딥러닝 알고리즘으로 훈련한 신경망 회로와, 특정 분야의 전형적인 질의문들을 사용하여 딥러닝 알고리즘으로 훈련한 신경망 회로를 사용하여 그 출력값으로부터 질의문의 유형을 판단하도록 구성할 수도 있다.
질의문 분석의 결과로부터 기준을 만족하는 유형이 있는지를 파악하여(단계 S250), 기준을 만족하는 유형이 있다면 질의문을 해당 유형으로 분류하고(단계 S270), 없다면 답변불가 유형의 질의문으로 분류한다(단계 S280). 한편, 두가지 유형 모두 기준을 만족하는 경우에는 보다 높은 출력값을 가진 유형으로 질의문을 분류한다.
이상, 본 발명을 몇가지 예를 들어 설명하였으나, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합하거나 결합하여 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터 또는 프로세서가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터 또는 프로세서에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다.
이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재할 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100 대화분류기,
110 질의문 처리부,
120 전처리부,
130 질의유형 판별부.

Claims (10)

  1. 사용자 질의문을 언어모델 대화엔진에 입력하는 제1 단계와,
    언어모델 대화엔진에서 출력되는 스코어가 소정 기준을 만족하는지를 판별하여 스코어가 소정 기준을 만족하면 언어모델 유형으로 분류하는 제2 단계와,
    제2 단계에서 스코어가 소정 기준을 만족하지 않으면 사용자 질의문으로부터 질의문 유형을 분류하는 제3 단계
    를 포함하는 챗봇에서의 사용자 질의 분류 방법.
  2. 제1항에 있어서, 상기 제3 단계는,
    검색과 연관된 단어 패턴들을 저장해두고 사용자 질의문과 이들 패턴을 비교하여 검색관련 유형 여부를 판단하고,
    챗봇이 적용되는 특정 분야의 전형적인 대화에 포함되는 단어 패턴들을 저장해두고 사용자 질의문과 이들 패턴을 비교하여 시나리오 기반모델 유형 여부를 판단하는, 챗봇에서의 사용자 질의 분류 방법.
  3. 제1항에 있어서, 상기 제3 단계는,
    검색과 연관된 질의문들을 사용하여 딥러닝 알고리즘으로 훈련한 신경망 회로와, 특정 분야의 전형적인 질의문들을 사용하여 딥러닝 알고리즘으로 훈련한 신경망 회로를 사용하여 그 출력값으로부터 질의문의 유형을 판단하는, 챗봇에서의 사용자 질의 분류 방법.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서,
    사용자 질의문의 유형이 판별되지 않는 경우에는 답변불가 유형으로 분류하는 단계를 더 포함하는 챗봇에서의 사용자 질의 분류 방법.
  5. 제4항에 있어서,
    제1 단계 전에 사용자 질의문으로부터 명백한 오기를 정정하는 단계를 더 포함하는, 챗봇에서의 사용자 질의 분류 방법.
  6. 사용자 질의문을 언어모델 대화엔진에 입력하는 제1 단계와,
    언어모델 대화엔진에서 출력되는 스코어가 소정 기준을 만족하는지를 판별하여 소정 기준을 만족하면 사용자 질의문을 언어모델 유형으로 분류하는 제2 단계와,
    제 2단계에서 스코어가 소정 기준을 만족하지 않으면 사용자 질의문으로부터 검색관련 유형인지를 판별하여 검색관련 유형이면 사용자 질의문을 검색관련 유형으로 분류하는 단계와,
    검색관련 유형이 아니면 사용자 질의문을 시나리오 기반모델 유형으로 분류하는 제4 단계
    를 포함하는 챗봇에서의 사용자 질의 분류 방법.
  7. 제6항에 있어서, 제3 단계는,
    사용자 질의문의 형태소를 분석하고 동사구와 내용어를 추출하는 단계와,
    분석된 형태소 및 추출된 동사구와 내용어로부터 사용자 질의문에 검색과 관련된 용어나 표현이 포함되어 있는지를 파악하는 단계와,
    사용자 질의문에 검색과 관련된 용어나 표현이 포함되어 있으면 사용자 질의문을 검색관련 유형으로 분류하는 단계
    를 포함하는, 챗봇에서의 사용자 질의 분류 방법.
  8. 제6항에 있어서, 제3 단계에서,
    사용자 질의문이 검색관련 유형인지 여부는 검색과 연관된 질의문들을 사용하여 딥러닝 알고리즘으로 훈련한 신경망 회로를 사용하여 판별하는 것인, 챗봇에서의 사용자 질의 분류 방법.
  9. 제6항에 있어서, 제4 단계는,
    사용자 질의문이 검색관련 유형이 아니면 챗봇이 적용되는 특정 분야의 전형적인 대화에 포함되는 단어 패턴들을 저장해두고 사용자 질의문과 이들 패턴을 비교하여 소정 조건을 만족하면 시나리오 기반모델 유형으로 분류하는 단계와,
    상기 소정 조건을 만족하지 않으면 답변불가 유형으로 분류하는 단계
    를 포함하는 챗봇에서의 사용자 질의 분류 방법.
  10. 제6항에 있어서,
    제1 단계 전에 사용자 질의문으로부터 명백한 오기를 정정하는 단계를 더 포함하는, 챗봇에서의 사용자 질의 분류 방법.
KR1020200164100A 2020-11-30 2020-11-30 챗봇에서의 사용자 질의 분류 방법 KR102452506B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200164100A KR102452506B1 (ko) 2020-11-30 2020-11-30 챗봇에서의 사용자 질의 분류 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200164100A KR102452506B1 (ko) 2020-11-30 2020-11-30 챗봇에서의 사용자 질의 분류 방법

Publications (2)

Publication Number Publication Date
KR20220075714A true KR20220075714A (ko) 2022-06-08
KR102452506B1 KR102452506B1 (ko) 2022-10-07

Family

ID=81980708

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200164100A KR102452506B1 (ko) 2020-11-30 2020-11-30 챗봇에서의 사용자 질의 분류 방법

Country Status (1)

Country Link
KR (1) KR102452506B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102636450B1 (ko) * 2023-11-29 2024-02-14 아티움그룹 주식회사 생성형 인공지능을 이용한 가상 환경 기반의 다종 분야 종합 상담 서비스 제공 시스템 및 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190061460A (ko) * 2017-11-28 2019-06-05 한국전자통신연구원 신뢰도 기반 질의응답 시스템 및 방법
KR20190114326A (ko) * 2018-03-29 2019-10-10 삼성전자주식회사 챗봇을 이용한 서비스 제공 방법 및 그 장치
KR20190123708A (ko) * 2019-10-24 2019-11-01 주식회사 카카오 중계 챗봇을 이용하여 인스턴트 메시징 서비스를 제공하는 서버, 단말 및 방법
KR20200105057A (ko) * 2019-02-28 2020-09-07 한국전력공사 질의 문장 분석을 위한 질의 자질 추출 장치 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190061460A (ko) * 2017-11-28 2019-06-05 한국전자통신연구원 신뢰도 기반 질의응답 시스템 및 방법
KR20190114326A (ko) * 2018-03-29 2019-10-10 삼성전자주식회사 챗봇을 이용한 서비스 제공 방법 및 그 장치
KR20200105057A (ko) * 2019-02-28 2020-09-07 한국전력공사 질의 문장 분석을 위한 질의 자질 추출 장치 및 방법
KR20190123708A (ko) * 2019-10-24 2019-11-01 주식회사 카카오 중계 챗봇을 이용하여 인스턴트 메시징 서비스를 제공하는 서버, 단말 및 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
learned society 2018 year spring ** * collection of learned papers twenty fifth Keown first call" and 2018. 5. pp.449-452. *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102636450B1 (ko) * 2023-11-29 2024-02-14 아티움그룹 주식회사 생성형 인공지능을 이용한 가상 환경 기반의 다종 분야 종합 상담 서비스 제공 시스템 및 방법

Also Published As

Publication number Publication date
KR102452506B1 (ko) 2022-10-07

Similar Documents

Publication Publication Date Title
US10705796B1 (en) Methods, systems, and computer program product for implementing real-time or near real-time classification of digital data
US10528329B1 (en) Methods, systems, and computer program product for automatic generation of software application code
US10467122B1 (en) Methods, systems, and computer program product for capturing and classification of real-time data and performing post-classification tasks
CN109033305A (zh) 问题回答方法、设备及计算机可读存储介质
KR20190133931A (ko) 문장 패러프레이즈 인식 기반 대화 시스템 답변 방법
US11854532B2 (en) System to detect and reduce understanding bias in intelligent virtual assistants
KR20190109614A (ko) 계층적으로 사용자 표현을 이해하고 답변을 생성하는 대화형 상담 챗봇 장치 및 방법
KR20160026892A (ko) 논팩토이드형 질의 응답 시스템 및 방법
US20230126751A1 (en) Dynamic intent classification based on environment variables
JP2010537321A (ja) 統計的分類のための最適な選択方略の方法及びシステム
JP2006244262A (ja) 質問回答検索システム、方法およびプログラム
KR101851789B1 (ko) 도메인 유사어구 생성 장치 및 방법
CN111274371B (zh) 一种基于知识图谱的智能人机对话方法及设备
CN110781673B (zh) 文档验收方法、装置、计算机设备及存储介质
KR20190072823A (ko) Rnn 문장임베딩과 elm 알고리즘을 이용한 은행업무 관련 고객상담을 위한 도메인 특화 화행분류 방법
Xiang et al. Problematic situation analysis and automatic recognition for chinese online conversational system
KR101851791B1 (ko) 도메인 특화 용어 및 고빈도 일반 용어를 이용한 도메인 다양성 계산 장치 및 방법
Chakraborty et al. Knowledge-based framework for intelligent emotion recognition in spontaneous speech
KR20140049680A (ko) 규칙기반 다중 에이전트를 이용한 감성 분류 시스템 및 그 방법
KR102452506B1 (ko) 챗봇에서의 사용자 질의 분류 방법
Bai et al. Sentiment extraction from unstructured text using tabu search-enhanced markov blanket
Reshadat et al. A new open information extraction system using sentence difficulty estimation
Ye et al. A sentiment based non-factoid question-answering framework
Connor et al. Context sensitive paraphrasing with a global unsupervised classifier
KR20200011251A (ko) 대화 인지를 위한 규칙 생성 방법, 규칙 기반의 추론 방법 및 그 방법이 적용된 장치

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant