KR102624790B1 - 다중 의도 발화의 의도 분석 및 처리를 위한 자연어 처리 장치, 프로그램 및 그것의 제어 방법 - Google Patents
다중 의도 발화의 의도 분석 및 처리를 위한 자연어 처리 장치, 프로그램 및 그것의 제어 방법 Download PDFInfo
- Publication number
- KR102624790B1 KR102624790B1 KR1020210061343A KR20210061343A KR102624790B1 KR 102624790 B1 KR102624790 B1 KR 102624790B1 KR 1020210061343 A KR1020210061343 A KR 1020210061343A KR 20210061343 A KR20210061343 A KR 20210061343A KR 102624790 B1 KR102624790 B1 KR 102624790B1
- Authority
- KR
- South Korea
- Prior art keywords
- utterance
- corpus
- intent
- natural language
- language processing
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000003058 natural language processing Methods 0.000 title claims abstract description 48
- 238000012545 processing Methods 0.000 title claims abstract description 43
- 238000012549 training Methods 0.000 claims abstract description 13
- 230000001419 dependent effect Effects 0.000 claims description 84
- 230000009471 action Effects 0.000 claims description 26
- 230000008569 process Effects 0.000 claims description 18
- 230000036961 partial effect Effects 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims 1
- 238000005516 engineering process Methods 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 16
- 235000021109 kimchi Nutrition 0.000 description 11
- 235000013547 stew Nutrition 0.000 description 11
- 235000013550 pizza Nutrition 0.000 description 6
- 230000011218 segmentation Effects 0.000 description 6
- 238000013473 artificial intelligence Methods 0.000 description 4
- 241000238557 Decapoda Species 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 235000013351 cheese Nutrition 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3329—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/3332—Query translation
- G06F16/3334—Selection or weighting of terms from queries, including natural language queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3344—Query execution using natural language analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
- G06F40/35—Discourse or dialogue representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/04—Segmentation; Word boundary detection
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/18—Speech classification or search using natural language modelling
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
Abstract
본 발명은 다중 의도가 포함된 발화에서 사용자의 의도를 보다 정확하게 파악하기 위한 기술에 관한 것이다. 보다 구체적으로 본 발명은, 사용자 발화를 입력 받고, 제 1 말뭉치 및 제 2 말뭉치를 저장하며, 상기 제 1 및 제 2 말뭉치 간 연결 정보를 입력 받고, 상기 입력 받은 연결 정보에 기초하여 상기 제 1 및 제 2 말뭉치를 조합한 말뭉치인 조합 말뭉치를 생성하며, 상기 조합 말뭉치에 기초하여 적어도 하나의 자연어 처리 모델을 훈련시키고, 상기 적어도 하나의 자연어 처리 모델에 기초하여 상기 입력된 사용자 발화를 처리하는 기술에 관한 것이다.
Description
본 발명은 다중 의도 발화를 분석하고 처리하기 위한 자연어 처리 장치 및 그것의 제어 방법에 관한 것으로 보다 구체적으로는, 여러 개의 의도가 연이어 입력되는 형태의 대등 의도 발화와 한 개의 의도의 결과가 다른 의도의 처리에 필요한 종속 의도 발화를 효과적으로 처리하기 위한 장치 및 제어 방법에 관한 것이다.
챗봇(chatBot)은 사용자와 컴퓨터가 자연어 형태로 다양한 주제의 일상적인 대화를 주고받는 시스템이다. 이러한 챗봇은, 정보 획득, FAQ 시스템 등 목적 지향 시스템과 통합되어 자연스러운 대화 인터페이스를 제공하는 요소 기술로 사용되고 있다.
사용자 발화를 이해하고, 명령을 적절하게 수행하거나 발화에 대하여 응답을 수행하기 위해서는 자연어 처리(natural language processing) 기술이 요구된다. 자연어 처리 기술이란, 컴퓨터와 인간 언어 사이의 상호 작용하는 기술로 인공지능의 핵심 기능 중 하나이다.
사용자 발화에는 두 개 이상의 의도가 하나의 문장에 포함되는 경우가 다수 존재한다. 예를 들어, "운세 봐주고 날씨 알려줘"라는 하나의 문장에는, 운세를 봐달라는 제 1 의도와 날씨 정보를 요청하는 제 2 의도가 포함된다. 이와 같이 서로 개별적인 의도가 단순 나열되는 경우를 대등 의도 발화라고 분류한다.
이에 반하여, 어느 하나의 의도에 대한 결과값이 다른 의도를 처리하는데 필요한 경우, 종속 의도 발화로 분류할 수 있다. 예를 들어 "김치찌개 요리법을 찾아서(제 1 의도) 나에게 문자로 보내줘(제 2 의도)"라는 사용자 발화가 있을 수 있다. 제 2 의도와 관련되는 작업을 수행하기 위해서는, 제 1 의도와 관련된 작업의 결과물이 필요하다는 특징이 존재한다.
대등 의도 발화의 경우에는, 특정 키워드를 중심으로 앞뒤 문장을 분할하는 방식을 통하여 복수 개의 의도 간에 구분을 할 수 있다. 하지만 종속 의도 발화의 경우에는, 특정 키워드를 기준으로 분할할 수 없다는 문제점이 존재한다.
따라서, 사용자 발화에 포함되어 있는 종속 의도 발화를 명확하게 구분하여 처리할 수 있는 자연어 처리 장치 및 제어 방법에 대한 개발이 요구되는 실정이다.
본 발명이 해결하고자 하는 과제는 대등 의도 발화와 종속 의도 발화를 구분하여, 다중 의도 발화에서 정확한 사용자 의도를 파악할 수 있는 장치 및 방법을 제공하는 것이다.
본 발명이 해결하고자 하는 다른 과제는 종속 의도 발화를 인식하기 위한 말뭉치를 자동으로 생성하기 위한 장치 및 방법을 제공하는 것이다.
본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기 또는 다른 과제를 해결하기 위해 본 발명의 일 측면에 따르면, 명령어들을 저장하는 메모리; 및 상기 저장된 명령어들을 실행하도록 설정된 프로세서를 포함하고, 상기 프로세서는: 사용자 발화를 입력 받고, 제 1 말뭉치 및 제 2 말뭉치를 저장하며, 상기 제 1 및 제 2 말뭉치 간 연결 정보를 입력 받고, 상기 입력 받은 연결 정보에 기초하여 상기 제 1 및 제 2 말뭉치를 조합한 말뭉치인 조합 말뭉치를 생성하며, 상기 조합 말뭉치에 기초하여 적어도 하나의 자연어 처리 모델을 훈련시키고, 상기 적어도 하나의 자연어 처리 모델에 기초하여 상기 입력된 사용자 발화를 처리하는, 자연어 처리 장치를 제공한다.
상기 프로세서는, 상기 입력된 사용자 발화에 포함되어 있는 복수 개의 의도를 기준으로 상기 입력된 사용자 발화를 복수 개의 발화로 분할할 수 있다.
상기 프로세서는, 상기 입력된 사용자 발화가 대등 의도 발화인지 여부를 판단하고, 상기 대등 의도 발화인 것으로 판단되면, 상기 대등 분할기에 기초하여 상기 입력된 사용자 발화를 복수 개의 부분 대등 의도 발화로 분할할 수 있다.
상기 프로세서는, 상기 대등 의도 발화가 아닌 것으로 판단되면, 상기 입력된 사용자 발화가 종속 의도 발화인지 판단하고, 상기 종속 의도 발화인 것으로 판단되면, 상기 종속 분할기에 기초하여 상기 입력된 사용자 발화를 복수 개의 부분 종속 의도 발화로 분할할 수 있다.
상기 복수 개의 부분 종속 의도 발화는, 데이터 부분 종속 의도 발화 및 액션 부분 종속 의도 발화를 포함할 수 있다.
상기 제 1 말뭉치는 데이터부 말뭉치이고, 상기 제 2 말뭉치는 액션부 말뭉치일 수 있다.
상기 연결 정보는, 상기 제 1 및 제 2 말뭉치 중 적어도 하나를 식별하는 정보를 포함할 수 있다.
상기 제 1 및 제 2 말뭉치 각각은 복수 개의 발화 문구를 포함하고, 상기 조합 말뭉치는, 상기 제 1 말뭉치에 포함된 발화 문구와, 상기 제 2 말뭉치에 포함된 발화 문구를 각각 하나씩 추출하여 매칭한 말뭉치일 수 있다.
상기 또는 다른 과제를 해결하기 위해 본 발명의 다른 측면에 따르면, 사용자 발화를 입력 받는 단계; 제 1 말뭉치 및 제 2 말뭉치를 저장하는 단계; 상기 제 1 및 제 2 말뭉치 간 연결 정보를 입력 받는 단계; 상기 입력 받은 연결 정보에 기초하여 상기 제 1 및 제 2 말뭉치를 조합한 말뭉치인 조합 말뭉치를 생성하는 단계; 상기 조합 말뭉치에 기초하여 적어도 하나의 자연어 처리 모델을 훈련시키는 단계; 및 상기 적어도 하나의 자연어 처리 모델에 기초하여 상기 입력된 사용자 발화를 처리하는 단계를 포함하는, 자연어 처리 장치의 제어 방법을 제공한다.
상기 사용자 발화를 처리하는 단계는, 상기 입력된 사용자 발화에 포함되어 있는 복수 개의 의도를 기준으로 상기 입력된 사용자 발화를 복수 개의 발화로 분할하는 단계를 포함할 수 있다.
상기 사용자 발화를 처리하는 단계는, 상기 입력된 사용자 발화가 대등 의도 발화인지 여부를 판단하는 단계; 및 상기 대등 의도 발화인 것으로 판단되면, 상기 입력된 사용자 발화를 복수 개의 부분 대등 의도 발화로 분할하는 단계를 더 포함할 수 있다.
상기 사용자 발화를 처리하는 단계는, 상기 대등 의도 발화가 아닌 것으로 판단되면, 상기 입력된 사용자 발화가 종속 의도 발화인지 판단하는 단계; 및 상기 종속 의도 발화인 것으로 판단되면, 상기 입력된 사용자 발화를 복수 개의 부분 종속 의도 발화로 분할하는 단계를 더 포함할 수 있다.
상기 복수 개의 부분 종속 의도 발화는, 데이터 부분 종속 의도 발화 및 액션 부분 종속 의도 발화를 포함할 수 있다.
상기 제 1 말뭉치는 데이터부 말뭉치고, 상기 제 2 말뭉치는 액션부말뭉치일 수 있다.
상기 연결 정보는, 제 1 및 제 2 말뭉치 중 적어도 하나를 식별하는 정보를 포함할 수 있다.
상기 제 1 및 제 2 말뭉치 각각은 복수 개의 발화 문구를 포함하고, 상기 조합 말뭉치는, 상기 제 1 말뭉치에 포함된 발화 문구와, 상기 제 2 말뭉치에 포함된 발화 문구를 각각 하나씩 추출하여 매칭한 말뭉치일 수 있다.
본 발명에 따른 자연어 처리 장치, 프로그램 및 제어 방법의 효과에 대해 설명하면 다음과 같다.
본 발명의 실시 예들 중 적어도 하나에 의하면, 다중 의도 발화를 인식하기 위한 말뭉치를 효과적으로 생성할 수 있다는 장점이 있다.
또한, 본 발명의 실시 예들 중 적어도 하나에 의하면, 종속 의도 발화에서 사용자 의도를 정확하게 판단하여 자연어 처리를 수행할 수 있다는 장점이 있다.
본 발명의 적용 가능성의 추가적인 범위는 이하의 상세한 설명으로부터 명백해질 것이다. 그러나 본 발명의 사상 및 범위 내에서 다양한 변경 및 수정은 당업자에게 명확하게 이해될 수 있으므로, 상세한 설명 및 본 발명의 바람직한 실시 예와 같은 특정 실시 예는 단지 예시로 주어진 것으로 이해되어야 한다.
도 1은 본 발명의 일실시예에 따른 자연어 처리 장치(100)의 블록도를 도시하는 도면이다.
도 2는 본 발명의 일실시예에 따라 두 개의 말뭉치를 조합하여 조합 말뭉치를 생성하는 예시를 도시한다.
도 3은 도 2의 제 1 및 제 2 말뭉치(200-1, 200-2) 및 연결 정보(203)에 기초하여 생성된 조합 말뭉치(210)의 예시를 도시한다.
도 4는 본 발명의 일실시예에 따른 말뭉치 생성부(106)가 종속 분할 말뭉치를 생성하는 방법을 도시하는 도면이다.
도 5는 본 발명의 일실시예에 따른 발화 처리부(104)를 구성하는 자연어 처리 모델을 도시하는 도면이다.
도 6은 본 발명의 일실시예에 따른 대등 분류기(501) 및 단일-종속 분류기(502)의 일예시를 도시하는 도면이다.
도 7은 본 발명의 일실시예에 따른 대등 분할기(503) 및 종속 분할기(504)의 일예시를 도시하는 도면이다.
도 8은 본 발명의 일실시예에 따른 발화 처리부(104)가 사용자 발화 처리 순서를 도시하는 도면이다.
도 9는 본 발명의 일실시예에 따른 대등 분할기(503)가 의도를 기준으로 발화를 분할하는 일예시를 도시한다.
도 10은 본 발명의 일실시예에 따른 종속 분할기(504)가 종속 의도 발화를 분할하는 예시를 도시한다.
도 11은 본 발명의 일실시예에 따른 발화 처리부(104)가 단일 의도 발화를 처리하는 예시를 도시한다.
도 12는 본 발명의 일실시예에 따른 대등 의도와 종속 의도가 혼재 시 발화 처리부(104)의 처리 개념도를 도시한다.
도 13은 일 실시예에 따른 자연어 처리 장치(100)의 구성을 도시한 도면이다.
도 2는 본 발명의 일실시예에 따라 두 개의 말뭉치를 조합하여 조합 말뭉치를 생성하는 예시를 도시한다.
도 3은 도 2의 제 1 및 제 2 말뭉치(200-1, 200-2) 및 연결 정보(203)에 기초하여 생성된 조합 말뭉치(210)의 예시를 도시한다.
도 4는 본 발명의 일실시예에 따른 말뭉치 생성부(106)가 종속 분할 말뭉치를 생성하는 방법을 도시하는 도면이다.
도 5는 본 발명의 일실시예에 따른 발화 처리부(104)를 구성하는 자연어 처리 모델을 도시하는 도면이다.
도 6은 본 발명의 일실시예에 따른 대등 분류기(501) 및 단일-종속 분류기(502)의 일예시를 도시하는 도면이다.
도 7은 본 발명의 일실시예에 따른 대등 분할기(503) 및 종속 분할기(504)의 일예시를 도시하는 도면이다.
도 8은 본 발명의 일실시예에 따른 발화 처리부(104)가 사용자 발화 처리 순서를 도시하는 도면이다.
도 9는 본 발명의 일실시예에 따른 대등 분할기(503)가 의도를 기준으로 발화를 분할하는 일예시를 도시한다.
도 10은 본 발명의 일실시예에 따른 종속 분할기(504)가 종속 의도 발화를 분할하는 예시를 도시한다.
도 11은 본 발명의 일실시예에 따른 발화 처리부(104)가 단일 의도 발화를 처리하는 예시를 도시한다.
도 12는 본 발명의 일실시예에 따른 대등 의도와 종속 의도가 혼재 시 발화 처리부(104)의 처리 개념도를 도시한다.
도 13은 일 실시예에 따른 자연어 처리 장치(100)의 구성을 도시한 도면이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
사용자의 발화에 복수 개의 의도가 포함되어 있을 때, 복수 개의 의도 간의 관계에 따라서 대등 의도 발화와 종속 의도 발화로 구분될 수 있다.
대등 의도 발화에 포함되는 복수 개의 의도 간에 관계는, (1) 각 의도를 나타내는 발화들이 하나의 문장 내에 별개로 존재하고, (2) 각 부분 발화들은 그 자체로 온전한 하나의 의도를 이루고 있으며, (3) 복수 개의 의도를 동시에 처리 가능하다는 특징이 존재한다.
대등 의도 발화의 예시로, "운세 봐주고(제 1 의도), 날씨 알려줘(제 2 의도)"를 들 수 있다.
종속 의도 발화에 포함되는 복수 개의 의도 간에 관계는, (1) 각 의도를 나타내는 발화들이 서로 섞여 있을 수 있고, (2) 각 부분 발화들은 그 자체로 온전한 의도를 이루지 못할 수도 있으며, (3) 각 의도간 처리 순서가 존재하다는 특징이 존재한다.
종속 의도 발화의 예시로, "나한테 문자로(제 1 의도), 김치찌개 요리법 찾아서(제 2 의도) 보내줘(제 1 의도)"를 들 수 있다. 이러한 예시에서 확인할 수 있듯이, 복수 개의 의도가 하나의 문장에 혼재되어 있기 때문에, 의도를 기준으로 발화를 분리하는 것이 쉬운 과정이 아니다.
상기 종속 의도 발화를 구성하는 복수 개의 의도 각각을 부분 의도라고 부른다. 그리고, 종속 의도 발화는 데이터부와 액션부를 포함하도록 구성될 수 있다. 데이터부는 데이터를 생산하는 의도를 의미하며, 액션부는 데이터부에 의해서 생산된 데이터(결과 데이터)를 받아 처리하는 액션 의도를 의미한다.
이에 따라서, 종속 의도 발화를 처리하기 위한 방법은 기존 대등 의도 발화를 처리하기 위한 방법과 달리 (1) 훈련을 위한 말뭉치 생성을 위해 특별한 처리가 필요하고 (2) 의도 분할을 위한 별도 모듈 필요하며, (3) 처리 순서를 보존하여 실제 실행 모듈에 전달하고 결과값을 받는 스케쥴러(scheduler)가 요구된다.
한편, 대등 의도 발화와 종속 의도 발화는 혼재되어 사용자 발화에 포함되어 있을 수도 있다. 대등 의도 발화 내에 종속 의도 발화가 포함될 수 있다. 예를 들어, "운세 좀 봐주고 김치찌개 요리법 찾아서 나에게 문자로 보내줘"라는 사용자 발화를 들 수 있다. "운세를 좀 봐주고"와 "김치찌개 요리법 찾아서 나에게 문자로 보내줘"는 서로 대등 의도 발화 관계이나, "김치찌개 요리법 찾아서"와 "나에게 문자로 보내줘"는 종속 의도 발화 관계이다.
반대로 종속 의도 발화 내에 대등 의도 발화가 포함되는 경우도 존재할 수 있다.
도 1은 본 발명의 일실시예에 따른 자연어 처리 장치(100)의 블록도를 도시하는 도면이다.
구체적으로 자연어 처리 장치(100)는, 발화 입력부(101), 말뭉치 데이터베이스(102), 연결 정보 입력부(103), 발화 처리부(104), 모델 훈련부(105) 및 말뭉치 생성부(106)를 포함하도록 구성될 수 있다. 도 1에 도시된 구성요소들은 자연어 처리 장치(100)를 구현하는데 있어서 필수적인 것은 아니어서, 본 명세서 상에서 설명되는 자연어 처리 장치(100)는 위에서 열거된 구성요소들 보다 많거나, 또는 적은 구성요소들을 가질 수 있다.
발화 입력부(101)는 사용자 발화를 입력 받는 구성이다. 입력된 사용자 발화는 발화 처리부(104)로 전달될 수 있다.
말뭉치 데이터베이스(102)는 적어도 하나의 말뭉치를 저장하는 구성이다. 말뭉치 또는 코퍼스(영어: corpus, 복수형: corpora)는 자연언어 연구를 위해 특정한 목적을 가지고 언어의 표본을 추출한 집합을 말한다.
본 발명의 일실시예에 따른 말뭉치 데이터베이스(102)는, 제 1 및 제 2 말뭉치, 조합 말뭉치 중 적어도 하나를 저장할 수 있다.
본 발명의 일실시예에서 제 1 말뭉치는 데이터부 말뭉치이고, 제 2 부분 의도 말뭉치는 액션부 말뭉치일 수 있다.
데이터부 말뭉치란, 데이터부에 관련되는 복수 개의 발화 문구로 구성된 말뭉치를 의미한다. 즉, 데이터부 말뭉치는, 데이터를 생산하는 의도에 관련되는 발화 문구만을 포함할 수 있다.
그리고 액션부 말뭉치란, 액션을 수행하는명령어를 포함하는 말뭉치를 의미하며, 액션부에 관련되는 복수 개의 발화 문구로 구성될 수 있다.
상기 데이터부 말뭉치와 액션부 말뭉치는, 사용자에 의해서 입력되는 말뭉치일 수 있다. 즉, 챗봇을 설계한다고 가정하였을 때, 챗봇 개발자가 입력하는 말뭉치일 것이다.
조합 말뭉치란, 제 1 및 제 2 부분 의도 말뭉치로부터 각각 하나씩 발화 문구를 추출하여 매칭한 말뭉치를 의미한다. 이하, 도 3을 참조하여, 조합 말뭉치를 생성하는 방법에 대해서 후술한다.
연결 정보 입력부(103)는 상기 제 1 및 제 2 말뭉치 간 연결 정보를 사용자로부터 입력 받는 구성이다. 연결 정보란, 제 1 및 제 2 말뭉치를 조합하는 구체적인 정보를 의미할 수 있다.
발화 처리부(104)는 적어도 하나의 자연어 처리 모델에 기초하여 상기 입력된 사용자 발화를 처리한다. 본 발명의 일실시예에 따른 자연어 처리 모델이란 인공지능 모델로서, 후술되는 모델 훈련부(105)가 지속적으로 자연어 처리 모델을 훈련시켜 최적화시킬 수 있다. 본 발명의 일실시예에 따른 사용자 발화의 처리란, 사용자 발화에 복수 개의 의도가 포함되어 있는 경우, 대등 의도인지 종속 의도인지 판단하는 과정, 복수 개의 대등 의도를 기준으로 발화를 분할하는 과정, 복수 개의 종속 의도를 기준으로 발화를 분할하는 과정, 분할된 발화를 출력하는 과정 중 적어도 하나를 포함할 수 있다.
자연어 처리 모델은, 대등 분류기, 종속 분류기, 대등 분할기 및 종속 분할기 중 적어도 하나를 포함할 수 있다. 각 모델의 구체적인 내용에 대해서는 이하에서 후술한다.
모델 훈련부(105)는 적어도 하나의 자연어 처리 모델을 훈련하는 구성이다.
말뭉치 생성부(106)는 상기 연결 정보에 기초하여 상기 제 1 및 제 2 말뭉치를 조합하여 조합 말뭉치를 생성하는 구성이다. 구체적으로 조합하는 방식에 대해서는 이하 도 2 ~ 도 3을 참조하여 후술한다.
도 2는 본 발명의 일실시예에 따라 두 개의 말뭉치를 조합하여 조합 말뭉치를 생성하는 예시를 도시한다.
제 1 말뭉치(200-1)는 데이터부 말뭉치이고, 제 2 말뭉치(200-2)는 액션부 말뭉치이다. 상기 제 1 및 제 2 말뭉치(200-1, 200-2)는 말뭉치 데이터베이스(102) 상에 저장될 수 있으며, 사용자(챗봇 개발자 등)로부터 입력 받은 말뭉치일 수 있다.
제 1 말뭉치(200-1)는 제 1 의도(201-1)와 관련되는 제 1 발화 목록(202-1)을 포함할 수 있다. 마찬가지로 제 2 말뭉치(200-2)는 제 2 의도(201-2)와 관련되는 제 2 발화 목록(202-2)을 포함할 수 있다. 본 발명의 일실시에에 따른 액션부 말뭉치에 포함된 발화 문구는, 조합에 의해 데이터 부분 발화 문구가 삽입되는 위치에 소정의 특수기호(도시된 예시에서는 __DATA__)를 포함하도록 제안한다. 자연스러운 형태의 조합 말뭉치를 생성하기 위함이다.
예를 들어, 도 2에 도시된 예시에서 "공기상태"라는 제 3 발화 문구(205-3)와 "나 한테 __DATA__ 전달해주라"라는 제 7 발화 문구(205-7)가 조합되는 경우, 제 7 발화 문구(205-7)의 '__DATA__' 부분에 제 3 발화 문구(205-3)인 "공기상태"가 삽입되어, "나 한테 공기상태 전달해주라"라는 조합 발화가 생성될 수 있다.
도시된 예시에서, 제 1 및 제 2 발화(202-1)는 엔티티 및 각 엔티티(Entity)에 포함되는 대표어를 식별하는 식별 정보를 포함할 수 있다. 엔티티란, 사용자의 말에서 중요하게 알아들어야 하는 정보들의 묶음 단위를 의미한다. 그리고 대표어란, 엔티티에 포함되는 것으로 사용자에 의해서 정의되는 적어도 하나의 하위 항목을 의미한다.
예를 들어, 피자 가게의 피자 메뉴로 페퍼로니, 쉬림프, 치즈 피자가 있다면 “피자메뉴”라는 엔티티에 “페퍼로니”, “쉬림프”, “치즈”라는 대표어를 정의할 수 있다. 이렇게 “피자메뉴” 엔티티를 정의하고 나면 사용자가 “페퍼로니”를 언급했을 때 “피자메뉴”를 말하고 있다고 인식할 수 있다. 도시된 예시에서 박스처리된 "공기상태", "이번 주", "통합대기", "용인", "에버랜드", "언니 엄마 방" 및 "나"는 식별된 엔티티 또는 대표어일 수 있다.
엔티티 또는 대표어를 식별하는 식별정보란, 상기 제 1 및 제 2 발화(202-1)에 포함되어 있는 엔티티 또는 대표어가 존재하는지 여부 및/또는 존재한다면 해당 엔티티 또는 대표어가 존재하는 위치에 대한 정보를 의미할 수 있다.
이어서 연결 정보 입력부(103)는 사용자로부터 연결 정보(203)를 입력 받을 수 있다. 연결 정보(203)란, 제 1 및 제 2 말뭉치(200-1, 200-2)를 서로 연결하여 조합하는 정보를 의미한다. 본 발명의 일실시예에 따른 연결 정보(203)는 제 1 및 제 2 말뭉치 중 적어도 하나를 식별하는 정보를 포함할 수 있다. 예를 들어, 도 2에 도시된 도면에서와 같이 상기 연결 정보(203)는 제 2 말뭉치(200-2)의 속성 정보로 저장되고, 제 2 말뭉치(200-2)의 속성 정보로 저장된 상태에서 조합의 상대방인 제 1 말뭉치(200-1)를 식별하는 정보(204)를 포함하도록 구성될 수 있다.
말뭉치 생성부(106)는 상기 제 1 및 제 2 말뭉치(200-1, 200-2) 및 연결 정보(203)에 기초하여 조합 말뭉치를 생성한다.
도 3은 도 2의 제 1 및 제 2 말뭉치(200-1, 200-2) 및 연결 정보(203)에 기초하여 생성된 조합 말뭉치(210)의 예시를 도시한다.
도시된 도면에서와 같이 말뭉치 생성부(106)에 의해서 생성된 조합 말뭉치(210)는, 상기 제 1 말뭉치(200-1)에 포함된 발화 문구(205-1 ~ 205-4)와, 상기 제 2 말뭉치(200-2)에 포함된 발화 문구(205-5 ~ 205-8)를 각각 하나씩 추출하고 매칭하여 생성할 수 있다.
도 3에 도시된 예시에서 조합 말뭉치(210)에 포함되어 있는 제 1 조합 발화(301-1)는 제 1 발화 문구(205-1)와 제 5 발화 문구(205-5)가 각각 제 1 말뭉치(200-1) 및 제 2 말뭉치(200-2)로부터 추출되어 매칭된 결과이다. 마찬가지 방법으로 제 1 말뭉치(200-1) 및 제 2 말뭉치(200-2)로부터 순차적으로 하나씩 추출하면서 일대일 매칭할 경우, 도 3의 조합 말뭉치(210)를 생성할 수 있을 것이다.
이와 같이 생성된 조합 말뭉치(210)는 종속 분류기의 학습을 위하여 사용될 수 있다. 이하에서는 종속 분류기의 학습을 위하여 사용되는 조합 말뭉치(210)를 '종속 분류 말뭉치'라 부른다. 도시된 도면에서 강조 표시(굵게와 밑줄 처리)된 부분은 데이터부 발화이고, 나머지 부분이 액션부 발화를 나타낸다.
본 발명의 일실시예에 따른 말뭉치 생성부(106)는 더 나아가, 생성된 종속 분류 말뭉치에 데이터부와 액션부를 구분하는 구분 정보를 더 포함하는 '종속 분할 말뭉치'를 더 생산하도록 제안한다. 구분 정보란, 일예시로 데이터부의 시작 지점과 종료 지점을 지시하는 정보일 수 있다. 보다 구체적으로 구분 정보는 BIO(Beginning-Inside-Outside) 태깅 방식을 통한 분석 정보를 포함할 수 있다. BIO 태그는 발화를 복수 개의 단위로 나누고, 각 단위의 시작점과 끝점을 표기하는 태그를 의미한다.
도 4는 본 발명의 일실시예에 따른 말뭉치 생성부(106)가 종속 분할 말뭉치를 생성하는 방법을 도시하는 도면이다. 본 발명의 일실시예에 따른 종속 분할 말뭉치란, 상기 종속 분류 말뭉치에서 구분 정보를 더 포함하는 말뭉치를 말한다.
도 4에서 사용한 BIO 태깅 방식에 따르면, 데이터부는 형태소 단위를 기준으로하여 'BI'로 치환되고, 액션부는 형태소 단위를 기준으로 O로 치환된다. 그리고 데이터부의 첫 형태소는 'B'이고, 연속되는 형태소들은 'I'를 반복하는 형태로 치환시킬 수 있다.
도 4에 도시된 도면에서는, 제 1 조합 발화(301-1)에 대하여 BIO 태깅하는 예시를 도시하였으나, 다른 조합 발화들에 대해서도 마찬가지로 BIO 태깅하여 종속 분할 말뭉치를 생성할 수 있을 것이다.
도 5는 본 발명의 일실시예에 따른 발화 처리부(104)를 구성하는 발화 처리 모델을 도시하는 도면이다. 본 발명의 일실시예에 따른 발화 처리부(104)는, 대등 분류기(501), 단일-종속 분류기(502), 대등 분할기(503) 및 종속 분할기(504)을 포함하도록 구성될 수 있다. 도 5에 도시된 구성요소들은 발화 처리부(104)를 구현하는데 있어서 필수적인 것은 아니어서, 위에서 열거된 구성요소들 보다 많거나, 또는 적은 구성요소들을 가질 수 있다.
대등 분류기(501)는 발화가 주어지면 대등 의도 발화인지 여부를 판별하고, 판별 결과를 출력한다. 예를 들어, 대등 의도 발화인지 여부가 이진 분류(Binary Classification) 형태로 출력될 수 있을 것이다. 대등 분류기(501)가 대등 의도 발화를 판단하는 구체적인 예시에 대해서는 이하 도 6을 참조하여 후술한다.
모델 훈련부(105)는, 대등 분류 말뭉치에 기초하여 대등 분류기(501)을 훈련시킨다. 대등 분류 말뭉치란, 대등 의도 발화인지 아닌지 이미 알고 있는 발화의 말뭉치를 의미한다. 예를 들어서 대등 분류기(501)는 인공지능 모델이고, 모델 훈련부(105)는 지도 학습(supervised learning)을 통하여 대등 분류기(501)를 훈련시킬 수 있다. 이때 지도 학습이란, 입력값과 그에 따른 출력값이 있는 데이터를 이용하여 주어진 입력에 맞는 출력을 찾는 학습을 의미한다.
단일-종속 분류기(502)는 발화가 주어지면 단일 의도인지 종속 의도인지 여부를 판단한다. 단일-종속 분류기(502)가 단일 의도인지 종속 의도인지 여부를 판단하는 구체적인 예시에 대해서는 이하 도 6을 참조하여 후술한다. 이때 단일-종속 분류기(502)로 입력되는 발화는 단일 의도 또는 종속 의도 중 하나이며, 대등 의도 발화는 입력되지 않는 것으로 가정한다. 모델 훈련부(105)는, 단일 의도 말뭉치와 상기 말뭉치 생성부(106)가 생성한 종속 분류 말뭉치를 합쳐서 단일-종속 분류기(502)을 훈련시킨다. 이때 단일-종속 분류기(502)는 인공지능 모델일 수 있으며, 상술한 바와 같이 지도 학습을 통하여 훈련이 수행될 수 있다.
도 6은 본 발명의 일실시예에 따른 대등 분류기(501) 및 단일-종속 분류기(502)의 일예시를 도시하는 도면이다. 도시된 도면에 의하면, 대등 분류기(501) 및 단일-종속 분류기(502)에 소정 텍스트가 입력(601)으로 들어갔을 때, 해당 텍스트가 어떤 분류에 속하는지 여부에 대해서 소프트맥스(softmax) 결과(602)가 출력될 수 있다.
대등 분류기(501)에 대한 소프트맥스 결과(602)는, 대등 의도 발화인지 아닌지를 나타내는 이진 분류 형태로 출력될 수 있을 것이다.
종속 분류기(502)에 대한 소프트맥스 결과(602)는, 단일 의도인지 종속 의도인지 여부를 나타내는 이진 분류 형태로 출력될 수 있을 것이다.
다시 도 5를 참조하여, 대등 분할기(503)는 주어진 발화가 대등 의도 발화일 경우, 의도를 기준으로 발화를 분할하여 출력한다. 예를 들어, 발명의 배경에서 상술한 예시에서와 같이 "김치찌개 요리법을 찾아서(제 1 의도) 나에게 문자로 보내줘(제 2 의도)"라는 발화가 입력될 경우, "김치찌개 요리법을 찾아서"라는 제 1 의도와 "나에게 문자로 보내줘"라는 제 2 의도로 발화를 분할하여 출력한다.
모델 훈련부(105)는, 대등 분할 말뭉치로 대등 분할기(503)을 훈련시킨다. 대등 분할 말뭉치란, 대등 의도 발화와 의도를 기준으로 그 대등 의도 발화가 분할된 것(정답)을 합친 말뭉치를 의미한다.
종속 분할기(504)는 주어진 발화가 종속 의도 발화인 경우, 의도를 기준으로 발화를 분리하여 출력할 수 있다. 이때 분리되는 발화는 데이터부 발화와 액션부 발화로 구분될 수 있을 것이다.
도 7은 본 발명의 일실시예에 따른 대등 분할기(503) 및 종속 분할기(504)의 일예시를 도시하는 도면이다. 도시된 도면에 의하면, 주어진 발화가 적어도 하나의 임베딩으로 변환(701)되고, biLSTM(700, Bidirectional LSTM)의 입력으로 들어간다. biLSTM(700)이란, 게이트 기법을 통해 순환 신경 회로망(RNN)의 한계를 극복한 모델인 LSTM을 순방향뿐 아니라 역방향의 결과를 함께 이용하는 모델이다. biLSTM(700)의 출력으로 발화의 분할하는 태깅 정보(702)가 나올 수 있다.
도 7에 도시된 모델은, BIO 태깅 기반 분할 모듈에 대한 하나의 예시일 뿐, 다양한 BIO 태깅 기반 분할 모듈이 본 발명에 적용될 수 있을 것이다.
도 8은 본 발명의 일실시예에 따른 발화 처리부(104)가 사용자 발화 처리 순서를 도시하는 도면이다.
발화 입력부(101)를 통하여 사용자 발화가 입력되면, 먼저 대등 분류기(501)는 입력된 사용자 발화가 대등 의도인지 여부를 판별(S801)한다. 이어서 S802 단계에서는 발화 처리부(104)는, S801 판별 결과 대등 의도인 경우 S803 단계로 진행하고, 대등 의도가 아닌 경우 S804 단계로 진행시킨다.
S803 단계에서 대등 분할기(503)는 의도를 기준으로 입력된 발화를 두 개로 분할한다. 분할된 발화는 다시 S801 단계로 되돌아가 상술한 과정을 반복적으로 수행할 수 있다.
도 9는 본 발명의 일실시예에 따른 대등 분할기(503)가 의도를 기준으로 발화를 분할하는 일예시를 도시한다.
대등 분할기(503)의 입력으로 "날씨를 알려준 후 뉴스 들려줘"라는 대등 의도 발화(901)가 들어간다. 그리고 대등 분할기(503)의 출력으로는 대등 의도 발화(901)가 두 개의 발화로 분할된 결과(902)가 출력된다.
먼저 대등 분할기(503)는 대등 의도 발화(901)에 대한 발화 속성 정보(903)를 판단하고, 이를 출력할 수 있다. 발화 속성 정보(903)는 발화의 타입(type), 의도(intent) 및 발화의 문구(utterance)중 적어도 하나를 포함할 수 있다. 도시된 예시의 발화 속성 정보(903)에서 "parallel" 타입이라는 것은, 입력된 발화가 대등 의도 발화(901)라는 것을 의미한다.
대등 분할기(503)는 분할된 발화 각각에 대한 분할 발화 속성 정보(904-1, 904-2)를 출력할 수 있다. 분할 발화 속성 정보(904-1, 904-2)는, 분할 발화가 단일 발화인지 여부(type이 single이면 단일 발화, parallel이면 대등 의도 발화)를 나타내는 타입(type) 정보, 단일 발화(type이 single)일 경우 해당 분할 발화의 의도를 나타내는 의도(intent) 정보, 분할된 발화의 문구(utterance) 정보를 포함할 수 있다.
다시 도 8을 이어서 참조하면, S804 단계에서 단일-종속 분류기(502)는 사용자 발화가 단일-종속 의도인지 여부를 판단한다. S805 단계에서 발화 처리부(104)는 종속 의도 발화일 경우 S806 단계로 진행하고, 단일 의도 발화일 경우에는 S807 단계로 진행한다.
본 발명의 일실시예에서는 더 나아가 S804 단계에서 단일 의도인지 종속 의도인지 여부를 구분하는 것뿐만 아니라, 구체적으로 어떤 의도인지를 판단하도록 제안한다. 예를 들어 단일-종속 분류기(502)는 "김치찌개 요리법 찾아서 카톡으로 나에게 보내줘"라는 발화가 종속 의도 발화에 속한다고 판단할 뿐만 아니라, "김치찌개 요리법 찾아서"라는 발화가 "MI-findcook"라는 제 1 의도에 속하고, “카톡으로 나에게 보내줘" 라는 발화가 "MI-readyToSendTalk"라는 제 2 의도에 속한다는 것을
S806 단계에서 종속 분할기(504)는 의도를 기준으로 종속 의도 발화를 두 개로 분할한다.
도 10은 본 발명의 일실시예에 따른 종속 분할기(504)가 종속 의도 발화를 분할하는 예시를 도시한다.
종속 분할기(504)의 입력으로 "김치찌개 요리법 찾아서 카톡으로 나에게 보내줘"라는 종속 의도 발화(1001)가 들어간다. 그리고 종속 분할기(504)의 출력으로는 종속 의도 발화(1001)가 두 개의 발화로 분할된 결과(1002)가 출력된다.
먼저 종속 분할기(504)는 종속 의도 발화(1001)에 대한 발화 속성 정보(1003)를 판단하고, 이를 출력할 수 있다. 발화 속성 정보(1003)는 발화의 타입(type), 의도(intent) 및 발화의 문구(utterance)중 적어도 하나를 포함할 수 있다. 도시된 예시의 발화 속성 정보(1003)에서 "multi-sub" 타입이라는 것은, 입력된 발화가 종속 의도 발화(1001)라는 것을 의미한다.
종속 분할기(504)는 분할된 발화 각각에 대한 분할 발화 속성 정보(1004-1, 1004-2)를 출력할 수 있다. 분할 발화 속성 정보(1004-1, 1004-2)는, 분할 발화가 데이터부 발화인지, 액션부 발화인지 여부(type이 partial-data이면 데이터부 발화, partial-action이면 액션부 발화)를 나타내는 타입(type) 정보, 데이터부 발화/액션부 발화의 의도를 나타내는 의도(intent) 정보, 분할된 발화의 문구(utterance) 정보를 포함할 수 있다.
종속 분할기(504)의 출력된 결과(1002)를 참조하면, 의도에 따라 분할되는 발화 문구뿐만 아니라, 각 분할된 발화가 데이터부 발화인지, 액션부 발화인지를 확인할 수 있다.
다시 도 8을 참조하여, S804 단계에서 단일 의도 발화인 것으로 판별되면 S807 단계로 진행하여 바로 최종 출력을 구축할 수 있다.
도 11은 본 발명의 일실시예에 따른 발화 처리부(104)가 단일 의도 발화를 처리하는 예시를 도시한다.
발화 처리부(104)의 입력으로 "운세 좀 봐줄래"라는 단일 의도 발화(1101)가 들어간다. 그리고 발화 처리부(104)의 출력으로는 단일 의도 발화(1101)의 발화 속성 정보(1103)가 출력된다.
발화 속성 정보(1103)는 발화의 타입(type), 의도(intent) 및 발화의 문구(utterance)중 적어도 하나를 포함할 수 있다. 도시된 예시의 발화 속성 정보(1003)에서 "single" 타입이라는 것은, 입력된 발화가 단일 의도 발화(1101)라는 것을 의미한다.
한편, 대등 의도와 종속 의도가 혼재 시에는, 상술한 도 9 및 도 10의 과정이 순차적으로 수행될 수 있다.
도 12는 본 발명의 일실시예에 따른 대등 의도와 종속 의도가 혼재 시 발화 처리부(104)의 처리 개념도를 도시한다.
먼저 대등 분할기(503)의 입력으로 "운세 좀 봐주고 김치찌개 요리법 찾아서 문자로 나에게 보내줘"라는 대등-종속 의도 혼재 발화(1201)가 들어간다. 그리고 대등 분할기(503)의 출력으로는 두 개의 대등 의도 발화가 분할된 결과(1202-1)가 출력된다. 두 개의 대등 의도 발화가 분할된 결과(1202-1)는 다시 종속 분할기(504)의 입력으로 들어갈 수 있다. 그리고 종속 분할기(504)의 결과(1202-2)로 두 개의 종속 의도 발화로 분할된다.
도 13은 일 실시예에 따른 자연어 처리 장치(100)의 구성을 도시한 도면이다.
도 13를 참조하면, 자연어 처리 장치(100)는 프로세서(1301) 및 메모리(1302)를 포함한다. 메모리(1302)는 프로세서(1301)에 의해 실행 가능한 하나 이상의 명령어를 저장한다. 프로세서(1301)는 메모리(1302)에 저장된 하나 이상의 명령어를 실행한다. 프로세서(1301)는 명령어를 실행하는 것에 의해 도 1 내지 도 12와 관련하여 위에서 설명된 하나 이상의 동작을 실행할 수 있다. 또한 도 1과 함께 상술한 본 발명의 구성은 프로세서(1301)에 의해서 실행되는 명령어에 의해서 구현되는 구성일 수 있을 것이다.
이상으로 본 발명에 따른 자연어 처리 장치 및 제어 방법의 실시예를 설시하였으나 이는 적어도 하나의 실시예로서 설명되는 것이며, 이에 의하여 본 발명의 기술적 사상과 그 구성 및 작용이 제한되지는 아니하는 것으로, 본 발명의 기술적 사상의 범위가 도면 또는 도면을 참조한 설명에 의해 한정／제한되지는 아니하는 것이다. 또한 본 발명에서 제시된 발명의 개념과 실시예가 본 발명의 동일 목적을 수행하기 위하여 다른 구조로 수정하거나 설계하기 위한 기초로써 본 발명이 속하는 기술분야의 통상의 지식을 가진 자에 의해 사용되어질 수 있을 것인데, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자에 의한 수정 또는 변경된 등가 구조는 청구범위에서 기술되는 본 발명의 기술적 범위에 구속되는 것으로서, 청구범위에서 기술한 발명의 사상이나 범위를 벗어나지 않는 한도 내에서 다양한 변화, 치환 및 변경이 가능한 것이다.
Claims (17)
- 자연어 처리 장치에 있어서,
명령어들을 저장하는 메모리; 및
상기 저장된 명령어들을 실행하도록 설정된 프로세서를 포함하고, 상기 프로세서는:
사용자 발화를 입력 받고,
제 1 말뭉치 및 제 2 말뭉치를 저장하며,
상기 제 1 및 제 2 말뭉치 간 연결 정보를 입력 받고,
상기 입력 받은 연결 정보에 기초하여 상기 제 1 및 제 2 말뭉치를 조합한 말뭉치인 조합 말뭉치를 생성하며,
상기 조합 말뭉치에 기초하여 적어도 하나의 자연어 처리 모델을 훈련시키고,
상기 적어도 하나의 자연어 처리 모델에 기초하여 상기 입력된 사용자 발화를 처리하되,
상기 연결 정보란, 상기 제 1 및 제 2 말뭉치를 조합하기 위한 정보를 의미하고,
상기 발화의 처리란 상기 입력된 사용자 발화를 복수 개의 발화로 분할하는 프로세스인,
자연어 처리 장치.
- 삭제
- 제 1 항에 있어서, 상기 프로세서는,
상기 입력된 사용자 발화가 대등 의도 발화인지 여부를 판단하고,
상기 대등 의도 발화인 것으로 판단되면, 대등 분할기에 기초하여 상기 입력된 사용자 발화를 복수 개의 부분 대등 의도 발화로 분할하는,
자연어 처리 장치.
- 제 3 항에 있어서, 상기 프로세서는,
상기 대등 의도 발화가 아닌 것으로 판단되면, 상기 입력된 사용자 발화가 종속 의도 발화인지 판단하고,
상기 종속 의도 발화인 것으로 판단되면, 종속 분할기에 기초하여 상기 입력된 사용자 발화를 복수 개의 부분 종속 의도 발화로 분할하는,
자연어 처리 장치.
- 제 4 항에 있어서, 상기 복수 개의 부분 종속 의도 발화는,
데이터 부분 종속 의도 발화 및 액션 부분 종속 의도 발화를 포함하는,
자연어 처리 장치.
- 제 1 항에 있어서,
상기 제 1 말뭉치는 데이터부 말뭉치이고, 상기 제 2 말뭉치는 액션부 말뭉치인,
자연어 처리 장치.
- 제 6 항에 있어서, 상기 연결 정보는,
상기 제 1 및 제 2 말뭉치 중 적어도 하나를 식별하는 정보를 포함하는,
자연어 처리 장치.
- 제 7 항에 있어서, 상기 제 1 및 제 2 말뭉치 각각은 복수 개의 발화 문구를 포함하고,
상기 조합 말뭉치는, 상기 제 1 말뭉치에 포함된 발화 문구와, 상기 제 2 말뭉치에 포함된 발화 문구를 각각 하나씩 추출하여 매칭한 말뭉치인,
자연어 처리 장치.
- 사용자 발화를 입력 받는 단계;
제 1 말뭉치 및 제 2 말뭉치를 저장하는 단계;
상기 제 1 및 제 2 말뭉치 간 연결 정보를 입력 받는 단계;
상기 입력 받은 연결 정보에 기초하여 상기 제 1 및 제 2 말뭉치를 조합한 말뭉치인 조합 말뭉치를 생성하는 단계;
상기 조합 말뭉치에 기초하여 적어도 하나의 자연어 처리 모델을 훈련시키는 단계; 및
상기 적어도 하나의 자연어 처리 모델에 기초하여 상기 입력된 사용자 발화를 처리하는 단계를 포함하되,
상기 연결 정보란, 상기 제 1 및 제 2 말뭉치를 조합하기 위한 정보를 의미하고,
상기 발화의 처리란 상기 입력된 사용자 발화를 복수 개의 발화로 분할하는 프로세스인,
자연어 처리 장치의 제어 방법.
- 삭제
- 제 9 항에 있어서, 상기 사용자 발화를 처리하는 단계는,
상기 입력된 사용자 발화가 대등 의도 발화인지 여부를 판단하는 단계; 및
상기 대등 의도 발화인 것으로 판단되면, 상기 입력된 사용자 발화를 복수 개의 부분 대등 의도 발화로 분할하는 단계를 더 포함하는,
자연어 처리 장치의 제어 방법.
- 제 11 항에 있어서, 상기 사용자 발화를 처리하는 단계는,
상기 대등 의도 발화가 아닌 것으로 판단되면, 상기 입력된 사용자 발화가 종속 의도 발화인지 판단하는 단계; 및
상기 종속 의도 발화인 것으로 판단되면, 상기 입력된 사용자 발화를 복수 개의 부분 종속 의도 발화로 분할하는 단계를 더 포함하는,
자연어 처리 장치의 제어 방법.
- 제 12 항에 있어서, 상기 복수 개의 부분 종속 의도 발화는,
데이터 부분 종속 의도 발화 및 액션 부분 종속 의도 발화를 포함하는,
자연어 처리 장치의 제어 방법.
- 제 9 항에 있어서,
상기 제 1 말뭉치는 데이터부 말뭉치고, 상기 제 2 말뭉치는 액션부말뭉치인,
자연어 처리 장치의 제어 방법.
- 제 14 항에 있어서, 상기 연결 정보는,
제 1 및 제 2 말뭉치 중 적어도 하나를 식별하는 정보를 포함하는,
자연어 처리 장치의 제어 방법.
- 제 15 항에 있어서, 상기 제 1 및 제 2 말뭉치 각각은 복수 개의 발화 문구를 포함하고,
상기 조합 말뭉치는, 상기 제 1 말뭉치에 포함된 발화 문구와, 상기 제 2 말뭉치에 포함된 발화 문구를 각각 하나씩 추출하여 매칭한 말뭉치인,
자연어 처리 장치의 제어 방법.
- 하드웨어와 결합되어 제 9 항, 제 11 항 내지 제 16 항 중 어느 하나의 항의 방법을 실행시키기 위하여 매체에 저장된 컴퓨터 프로그램.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210061343A KR102624790B1 (ko) | 2021-05-12 | 2021-05-12 | 다중 의도 발화의 의도 분석 및 처리를 위한 자연어 처리 장치, 프로그램 및 그것의 제어 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210061343A KR102624790B1 (ko) | 2021-05-12 | 2021-05-12 | 다중 의도 발화의 의도 분석 및 처리를 위한 자연어 처리 장치, 프로그램 및 그것의 제어 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220153852A KR20220153852A (ko) | 2022-11-21 |
| KR102624790B1 true KR102624790B1 (ko) | 2024-01-12 |
Family
ID=84233708
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210061343A KR102624790B1 (ko) | 2021-05-12 | 2021-05-12 | 다중 의도 발화의 의도 분석 및 처리를 위한 자연어 처리 장치, 프로그램 및 그것의 제어 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102624790B1 (ko) |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9424233B2 (en) * | 2012-07-20 | 2016-08-23 | Veveo, Inc. | Method of and system for inferring user intent in search input in a conversational interaction system |
-
2021
- 2021-05-12 KR KR1020210061343A patent/KR102624790B1/ko active IP Right Grant
Also Published As
| Publication number | Publication date |
|---|---|
| KR20220153852A (ko) | 2022-11-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102170563B1 (ko) | 인공 지능에 기반한 휴먼 머신 인터랙티브 방법 및 장치 | |
| US11586810B2 (en) | Generating responses in automated chatting | |
| WO2019046463A1 (en) | SYSTEM AND METHOD FOR THE DEFINITION OF DIALOGUE INTENTIONS AND THE CONSTRUCTION OF INTENTION RECOGNITION MODELS WITHOUT PRIOR KNOWLEDGE | |
| CN104573099A (zh) | 题目的搜索方法及装置 | |
| KR102315830B1 (ko) | 반지도 학습 기반 단어 단위 감정 임베딩과 lstm 모델을 이용한 대화 내에서 발화의 감정 분류 방법 | |
| US20200233908A1 (en) | Interactive system and computer program therefor | |
| KR20190109670A (ko) | 신경망을 이용한 사용자 의도분석 시스템 및 방법 | |
| US20200210505A1 (en) | Electronic apparatus and controlling method thereof | |
| CN112860871B (zh) | 自然语言理解模型训练方法、自然语言理解方法及装置 | |
| WO2023045184A1 (zh) | 一种文本类别识别方法、装置、计算机设备及介质 | |
| JP2019139574A (ja) | 情報提供装置、情報提供方法、およびプログラム | |
| CN112579733A (zh) | 规则匹配方法、规则匹配装置、存储介质及电子设备 | |
| US11328127B2 (en) | Apparatus and method for providing shared contents based on emoticon grammar for NLP on open user participation platform for AI answer dictionary and data set preprocessing | |
| EP4364044A1 (en) | Automated troubleshooter | |
| CN115186080A (zh) | 一种智能问答数据处理方法、系统、计算机设备及介质 | |
| Inupakutika et al. | Integration of NLP and Speech-to-text Applications with Chatbots | |
| Shynkarenko et al. | Constructive model of the natural language | |
| CN113051895A (zh) | 语音识别的方法、装置、电子设备、介质和程序产品 | |
| KR20190074508A (ko) | 챗봇을 위한 대화 모델의 데이터 크라우드소싱 방법 | |
| CN113918710A (zh) | 文本数据处理方法、装置、电子设备和可读存储介质 | |
| US20230244878A1 (en) | Extracting conversational relationships based on speaker prediction and trigger word prediction | |
| KR102624790B1 (ko) | 다중 의도 발화의 의도 분석 및 처리를 위한 자연어 처리 장치, 프로그램 및 그것의 제어 방법 | |
| KR20210051523A (ko) | 도메인 자동 분류 대화 시스템 | |
| CN114490967B (zh) | 对话模型的训练方法、对话机器人的对话方法、装置和电子设备 | |
| CN115798456A (zh) | 跨语言情感语音合成方法、装置及计算机设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |