KR20210049613A - 비정형 질문 또는 요구 발화의 구조화된 패러프레이징 시스템 및 방법 - Google Patents

비정형 질문 또는 요구 발화의 구조화된 패러프레이징 시스템 및 방법 Download PDF

Info

Publication number
KR20210049613A
KR20210049613A KR1020190134120A KR20190134120A KR20210049613A KR 20210049613 A KR20210049613 A KR 20210049613A KR 1020190134120 A KR1020190134120 A KR 1020190134120A KR 20190134120 A KR20190134120 A KR 20190134120A KR 20210049613 A KR20210049613 A KR 20210049613A
Authority
KR
South Korea
Prior art keywords
question
sentence
paraphrase
structured
input
Prior art date
Application number
KR1020190134120A
Other languages
English (en)
Other versions
KR102297480B1 (ko
Inventor
김남수
조원익
Original Assignee
서울대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울대학교산학협력단 filed Critical 서울대학교산학협력단
Priority to KR1020190134120A priority Critical patent/KR102297480B1/ko
Publication of KR20210049613A publication Critical patent/KR20210049613A/ko
Application granted granted Critical
Publication of KR102297480B1 publication Critical patent/KR102297480B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Machine Translation (AREA)

Abstract

본 발명은 비정형 질문 또는 요구 발화의 구조화된 패러프레이징(structured-paraphrasing) 시스템 및 방법에 관한 것으로서, 보다 구체적으로는 비정형 질문 또는 요구 발화의 구조화된 패러프레이징 시스템으로서, 질문 또는 요구 문장과 상기 문장의 논항(argument)이 한 쌍으로 병기된 병렬 코퍼스(parallel corpus)를 학습 입력 데이터로 수집하는 데이터 수집부; 상기 데이터 수집부에서 수집된 병렬 코퍼스의 질문 또는 요구 문장과 논항의 연관성 및 의미(semantic) 관계를 이해하도록 패러프레이징 모델을 학습하는 학습부; 및 사용자로부터 질문 또는 요구 발화가 입력되면, 상기 학습된 패러프레이징 모델을 이용하여, 입력된 질문 또는 요구 문장을 분류 및 분석하고, core content로서 논항을 추출하는 패러프레이징부를 포함하는 것을 그 구성상의 특징으로 한다.
본 발명에서 제안하고 있는 비정형 질문 또는 요구 발화의 구조화된 패러프레이징 시스템 및 방법에 따르면, 종래의 질의응답(question answering) 또는 대화 시스템 기술과는 입력과 출력의 형태 자체에서 큰 차이를 가지는바, 대상으로 하는 입력 자체가 기존 시스템에서 다루는 정형된 질문 또는 요구 문장에서 발전하여, 대화체의 비정형 문장이나 일상 회화에서 나올 수 있는 표현들까지도 포함하여 적용될 수 있으며, 입력 문장을 구조화하는 방식도 기존 시스템에서 자주 관찰되는 structured table 형태와는 달리, 일종의 정형화된 자연어의 형태를 지니도록 입력된 자연어에 대해 core content를 추출하는 structured paraphrasing을 수행함으로써, 인간이 질문 및 요구를 이해하는 방식으로 입력된 비정형 문장을 처리할 수 있다.
또한, 본 발명에서 제안하고 있는 비정형 질문 또는 요구 발화의 구조화된 패러프레이징 시스템 및 방법에 따르면, 입력되는 질문 또는 요구 문장의 종류에 따라 yes/no question, alternative question, wh-question, prohibition, requirement, strong requirement의 여섯 가지 유형 중 어느 하나의 유형으로 분류하여, 분류된 문장을 character 단위로 분석하고 core content를 추출함으로써, 비정형 질문 또는 요구 문장을 빠짐없이 다룰 수 있으며, 문장 내 지우거나 변환해야 할 부분을 시스템 스스로가 학습하는 과정에서 출력의 정확도를 높일 수 있다.
뿐만 아니라, 본 발명에서 제안하고 있는 비정형 질문 또는 요구 발화의 구조화된 패러프레이징 시스템 및 방법에 따르면, 두 개의 RNN(Recurrent Neural Network, 순환 신경망)으로 구성된 seq2seq 모델(시퀀스-투-시퀀스 모델, 인코더-디코더 모델)을 사용함으로써, 기존의 규칙기반 시스템과는 달리 다양한 문장에 대해서 출력 값 도출이 가능하여 한국어의 다양한 표현에 대해서도 유연하게 대응할 수 있으며, 학습되어 있지 않은 문장에 대해서도 시스템 자체적으로 추론하여 구조화된 패러프레이징을 할 수 있다.

Description

비정형 질문 또는 요구 발화의 구조화된 패러프레이징 시스템 및 방법{SYSTEM AND METHOD FOR STRUCTURED-PARAPHRASING THE UNSTRUCTURED QUERY OR REQUEST SENTENCE}
본 발명은 발화의 구조화된 패러프레이징 시스템 및 방법에 관한 것으로서, 보다 구체적으로는 비정형 질문 또는 요구 발화의 구조화된 패러프레이징 시스템 및 방법에 관한 것이다.
인공지능(Artificial Intelligence, AI) 시스템은 인간 수준의 지능을 구현하는 컴퓨터 시스템이며, 기존 Rule 기반 스마트 시스템과 달리 기계가 스스로 학습하고 판단하며 똑똑해지는 시스템이다. 인공지능 시스템은 사용할수록 인식률이 향상되고 사용자 취향을 보다 정확하게 이해할 수 있게 되어, 기존 Rule 기반 스마트 시스템은 점차 딥러닝 기반 인공지능 시스템으로 대체되고 있다.
인공지능 기술은 기계학습(딥러닝) 및 기계학습을 활용한 요소 기술들로 구성되는데, 기계학습은 입력 데이터들의 특징을 스스로 분류/학습하는 알고리즘 기술이며, 요소 기술은 딥러닝 등의 기계학습 알고리즘을 활용하여 인간 두뇌의 인지, 판단 등의 기능을 모사하는 기술로써, 언어적 이해, 시각적 이해, 추론/예측, 지식 표현, 동작 제어 등의 기술 분야로 구성된다. 특히, 언어적 이해는 인간의 언어/문자를 인식하고 응용/처리하는 기술로서, 자연어처리, 기계 번역, 대화 시스템, 질의응답, 음성 인식/합성 등을 포함한다. 예를 들어, 인공지능 시스템은 다양한 문장을 학습하고, 학습 결과에 따른 언어 모델(language model)의 생성에 적용될 수 있으며, 생성된 언어 모델에 기초하여 학습과 유사한 과정을 통해 새로운 워드를 제공하거나 문장을 완성할 수도 있다.
한편, 자연어 질문을 특정 데이터베이스 또는 지식베이스를 검색할 수 있는 질의로 변환하고 검색하는 방법에 관한 종래의 발명 또는 연구는, 자연어 질문을 이미 정의한 검색 질의로 대응시키는 방법을 사용하고 있었는바, 이 방법들은 자연어 질문의 형식 및 추출할 수 있는 지식/정답의 범위를 제한하기 때문에, 특정 지식베이스 유형을 위한 질의어를 생성하는 방법은 다양한 지식베이스 유형에 대처하기 어려우며, 질문의 형식과 내용에 제약을 받는 문제가 있었다.
따라서, 종래의 문제점을 해결하기 위하여, 인공지능 기술, 특히, 순환 신경망(Recurrent Neural Networks; RNN) 기반의 모델을 활용함으로써, 시중에 사용되고 있는 많은 대화형 모델들의 정해져 있는 대화에 정해져 있는 답변만을 하는 시스템과 달리, 인간이 질문 및 요구를 이해하는 방식으로 입력된 질문 및 요구 문장을 처리하는, 본질적인 기술에 대한 필요성이 대두된다.
한편, 본 발명과 관련된 선행기술로서, 한국등록특허 제10-1896973호(발명의 명칭: 기계학습모델을 이용한 자연어 생성 시스템, 방법, 및 컴퓨터 판독가능매체, 공고일자: 2018년 09월 04일) 등이 개시된 바 있다.
본 발명은 기존에 제안된 방법들의 상기와 같은 문제점들을 해결하기 위해 제안된 것으로서, 종래의 질의응답(question answering) 또는 대화 시스템 기술과는 입력과 출력의 형태 자체에서 큰 차이를 가지는바, 대상으로 하는 입력 자체가 기존 시스템에서 다루는 정형된 질문 또는 요구 문장에서 발전하여, 대화체의 비정형 문장이나 일상 회화에서 나올 수 있는 표현들까지도 포함하여 적용될 수 있으며, 입력 문장을 구조화하는 방식도 기존 시스템에서 자주 관찰되는 structured table 형태와는 달리, 일종의 정형화된 자연어의 형태를 지니도록 입력된 자연어에 대해 core content를 추출하는 structured paraphrasing을 수행함으로써, 인간이 질문 및 요구를 이해하는 방식으로 입력된 비정형 문장을 처리할 수 있는, 비정형 질문 또는 요구 발화의 구조화된 패러프레이징 시스템 및 방법을 제공하는 것을 그 목적으로 한다.
또한, 본 발명은, 입력되는 질문 또는 요구 문장의 종류에 따라 yes/no question, alternative question, wh-question, prohibition, requirement, strong requirement의 여섯 가지 유형 중 어느 하나의 유형으로 분류하여, 분류된 문장을 character 단위로 분석하고 core content를 추출함으로써, 비정형 질문 또는 요구 문장을 빠짐없이 다룰 수 있으며, 문장 내 지우거나 변환해야 할 부분을 시스템 스스로가 학습하는 과정에서 출력의 정확도를 높일 수 있는, 비정형 질문 또는 요구 발화의 구조화된 패러프레이징 시스템 및 방법을 제공하는 것을 다른 목적으로 한다.
뿐만 아니라, 본 발명은, 두 개의 RNN(Recurrent Neural Network, 순환 신경망)으로 구성된 seq2seq 모델(시퀀스-투-시퀀스 모델, 인코더-디코더 모델)을 사용함으로써, 기존의 규칙기반 시스템과는 달리 다양한 문장에 대해서 출력 값 도출이 가능하여 한국어의 다양한 표현에 대해서도 유연하게 대응할 수 있으며, 학습되어 있지 않은 문장에 대해서도 시스템 자체적으로 추론하여 구조화된 패러프레이징을 할 수 있는, 비정형 질문 또는 요구 발화의 구조화된 패러프레이징 시스템 및 방법을 제공하는 것을 또 다른 목적으로 한다.
상기한 목적을 달성하기 위한 본 발명의 특징에 따른 비정형 질문 또는 요구 발화의 구조화된 패러프레이징(structured-paraphrasing) 시스템은,
비정형 질문 또는 요구 발화의 구조화된 패러프레이징 시스템으로서,
질문 또는 요구 문장과 상기 문장의 논항(argument)이 한 쌍으로 병기된 병렬 코퍼스(parallel corpus)를 학습 입력 데이터로 수집하는 데이터 수집부;
상기 데이터 수집부에서 수집된 병렬 코퍼스의 질문 또는 요구 문장과 논항의 연관성 및 의미(semantic) 관계를 이해하도록 패러프레이징 모델을 학습하는 학습부; 및
사용자로부터 질문 또는 요구 발화가 입력되면, 상기 학습된 패러프레이징 모델을 이용하여, 입력된 질문 또는 요구 문장을 분류 및 분석하고, core content로서 논항을 추출하는 패러프레이징부를 포함하는 것을 그 구성상의 특징으로 한다.
바람직하게는, 상기 데이터 수집부는,
상기 병렬 코퍼스의 질문 또는 요구 문장의 종류에 따라 yes/no question, alternative question, wh-question, prohibition, requirement, strong requirement의 여섯 가지 유형으로 나뉘어 수집될 수 있다.
더욱 바람직하게는, 상기 패러프레이징부는,
사용자로부터 입력된 상기 질문 또는 요구 문장을 character 단위로 분석하여, 문장 내 지우거나 변환해야 할 부분을 판단하는 분석부; 및
상기 분석부에서의 판단에 따라 상기 질문 또는 요구 문장의 core content로서 논항을 추출하는 추출부를 포함하여 구성될 수 있다.
더욱 더 바람직하게는, 상기 분석부는,
사용자로부터 입력된 상기 질문 또는 요구 문장의 종류에 따라 yes/no question, alternative question, wh-question, prohibition, requirement, strong requirement의 여섯 가지 유형 중 어느 하나의 유형으로 분류하여, 분류된 문장을 character 단위로 분석하고, 문장 내 지우거나 변환해야 할 부분을 판단할 수 있다.
바람직하게는, 상기 패러프레이징 모델은,
seq2seq 모델(시퀀스-투-시퀀스 모델)을 사용하여 상기 입력된 문장을 분석하고, 논항을 추출할 수 있다.
더욱 바람직하게는, 상기 seq2seq 모델은,
두 개의 RNN(Recurrent Neural Network, 순환 신경망)으로 구성되며, RNN encoder-decoder with Attention 또는 Transformer 접근 방식을 이용할 수 있다.
상기한 목적을 달성하기 위한 본 발명의 특징에 따른 비정형 질문 또는 요구 발화의 구조화된 패러프레이징(structured-paraphrasing) 방법은,
비정형 질문 또는 요구 발화의 구조화된 패러프레이징 방법으로서,
(1) 데이터 수집부가, 질문 또는 요구 문장과 상기 문장의 논항(argument)이 한 쌍으로 병기된 병렬 코퍼스(parallel corpus)를 학습 입력 데이터로 수집하는 단계;
(2) 학습부가, 상기 단계 (1)에서 수집된 병렬 코퍼스의 질문 또는 요구 문장과 논항의 연관성 및 의미(semantic) 관계를 이해하도록 패러프레이징 모델을 학습하는 단계; 및
(3) 사용자로부터 질문 또는 요구 발화가 입력되면, 상기 단계 (2)에서 학습된 패러프레이징 모델을 이용하여, 패러프레이징부가, 입력된 질문 또는 요구 문장을 분류 및 분석하고, core content로서 논항을 추출하는 단계를 포함하는 것을 그 구현상의 특징으로 한다.
바람직하게는, 상기 단계 (1)에서는,
상기 병렬 코퍼스의 질문 또는 요구 문장의 종류에 따라 yes/no question, alternative question, wh-question, prohibition, requirement, strong requirement의 여섯 가지 유형으로 나뉘어 수집될 수 있다.
더욱 바람직하게는, 상기 단계 (3)은,
(3-1) 분석부가, 사용자로부터 입력된 상기 질문 또는 요구 문장을 character 단위로 분석하여, 문장 내 지우거나 변환해야 할 부분을 판단하는 단계; 및
(3-2) 추출부가, 상기 단계 (3-1)에서의 판단에 따라 상기 질문 또는 요구 문장의 core content로서 논항을 추출하는 단계를 포함할 수 있다.
더욱 더 바람직하게는, 상기 단계 (3-1)에서는,
사용자로부터 입력된 상기 질문 또는 요구 문장의 종류에 따라 yes/no question, alternative question, wh-question, prohibition, requirement, strong requirement의 여섯 가지 유형 중 어느 하나의 유형으로 분류하여, 분류된 문장을 character 단위로 분석하고, 문장 내 지우거나 변환해야 할 부분을 판단할 수 있다.
바람직하게는, 상기 패러프레이징 모델은,
seq2seq 모델(시퀀스-투-시퀀스 모델, 인코더-디코더 모델)을 사용하되,
상기 seq2seq 모델은, 두 개의 RNN(Recurrent Neural Network, 순환 신경망)으로 구성되며, RNN encoder-decoder with Attention 또는 Transformer 접근 방식을 이용할 수 있다.
본 발명에서 제안하고 있는 비정형 질문 또는 요구 발화의 구조화된 패러프레이징 시스템 및 방법에 따르면, 종래의 질의응답(question answering) 또는 대화 시스템 기술과는 입력과 출력의 형태 자체에서 큰 차이를 가지는바, 대상으로 하는 입력 자체가 기존 시스템에서 다루는 정형된 질문 또는 요구 문장에서 발전하여, 대화체의 비정형 문장이나 일상 회화에서 나올 수 있는 표현들까지도 포함하여 적용될 수 있으며, 입력 문장을 구조화하는 방식도 기존 시스템에서 자주 관찰되는 structured table 형태와는 달리, 일종의 정형화된 자연어의 형태를 지니도록 입력된 자연어에 대해 core content를 추출하는 structured paraphrasing을 수행함으로써, 인간이 질문 및 요구를 이해하는 방식으로 입력된 비정형 문장을 처리할 수 있다.
또한, 본 발명에서 제안하고 있는 비정형 질문 또는 요구 발화의 구조화된 패러프레이징 시스템 및 방법에 따르면, 입력되는 질문 또는 요구 문장의 종류에 따라 yes/no question, alternative question, wh-question, prohibition, requirement, strong requirement의 여섯 가지 유형 중 어느 하나의 유형으로 분류하여, 분류된 문장을 character 단위로 분석하고 core content를 추출함으로써, 비정형 질문 또는 요구 문장을 빠짐없이 다룰 수 있으며, 문장 내 지우거나 변환해야 할 부분을 시스템 스스로가 학습하는 과정에서 출력의 정확도를 높일 수 있다.
뿐만 아니라, 본 발명에서 제안하고 있는 비정형 질문 또는 요구 발화의 구조화된 패러프레이징 시스템 및 방법에 따르면, 두 개의 RNN(Recurrent Neural Network, 순환 신경망)으로 구성된 seq2seq 모델(시퀀스-투-시퀀스 모델, 인코더-디코더 모델)을 사용함으로써, 기존의 규칙기반 시스템과는 달리 다양한 문장에 대해서 출력 값 도출이 가능하여 한국어의 다양한 표현에 대해서도 유연하게 대응할 수 있으며, 학습되어 있지 않은 문장에 대해서도 시스템 자체적으로 추론하여 구조화된 패러프레이징을 할 수 있다.
도 1은 본 발명의 일실시예에 따른 비정형 질문 또는 요구 발화의 구조화된 패러프레이징 시스템의 구성을 기능블록으로 도시한 도면.
도 2는 본 발명의 일실시예에 따른 비정형 질문 또는 요구 발화의 구조화된 패러프레이징 시스템에서 질문 또는 요구 문장의 분류를 도시한 도면.
도 3은 본 발명의 일실시예에 따른 비정형 질문 또는 요구 발화의 구조화된 패러프레이징 시스템 패러프레이징부의 구성을 기능블록으로 도시한 도면.
도 4는 인공신경망 모델 중 RNN 모델을 설명하기 위해 도시한 도면.
도 5는 인공신경망 모델 중 seq2seq 모델을 설명하기 위해 도시한 도면.
도 6은 seq2seq 모델의 RNN encoder-decoder with Attention 방식을 설명하기 위해 도시한 도면.
도 7은 seq2seq 모델의 Transformer 방식을 설명하기 위해 도시한 도면.
도 8은 본 발명의 일실시예에 따른 비정형 질문 또는 요구 발화의 구조화된 패러프레이징 시스템이 작동하는 전체적인 모식도를 도시한 도면.
도 9는 본 발명의 일실시예에 따른 비정형 질문 또는 요구 발화의 구조화된 패러프레이징 방법 흐름을 도시한 도면.
도 10은 본 발명의 일실시예에 따른 비정형 질문 또는 요구 발화의 구조화된 패러프레이징 방법의 단계 S300의 흐름을 도시한 도면.
이하, 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일한 부호를 사용한다.
덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 '연결' 되어 있다고 할 때, 이는 '직접적으로 연결' 되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 '간접적으로 연결' 되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 '포함' 한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.
본 발명의 궁극적인 목적은 대화시스템에서 사용자의 질문이나 요구를 좀 더 원활하게 처리하는데 있다. 즉, 본 발명은, 사용자로부터 질문이나 요구의 문장(지시 발화)이 입력되면, 입력된 지시 발화에서 core content인 논항(argument)을 추출하는 과정인, 구조화된 패러프레이징(structured paraphrasing) 방법에 대한 발명으로써, 자연어처리(Natural Language Processing, NLP)를 하는 대화 장치 또는 질의응답 장치에 적용될 수 있다. 자연어처리(Natural Language Processing, NLP)는, 컴퓨터가 인간이 사용하는 언어를 이해하고, 분석할 수 있게 하는 분야를 총칭하는 말인데, 기본적으로 컴퓨터가 어떤 단어에 대해 인지할 수 있게 하도록 수치적인 방식으로 단어를 표현할 수 있어야 하는바, 단어 자체가 가지는 의미 자체를 다차원 공간에서 벡터화하는 방식을 고안하여, 단어의 의미 자체를 벡터화함으로써, 단어를 수치상으로 표현할 수 있다. 따라서, 입력되는 구절의 의미를 벡터화하여 분류 및 분석하고, core content로서 논항을 추출하는 방법에 관한 본 발명은, 인공지능이 접목된 대화 장치 또는 질의응답 장치에 폭넓게 적용될 수 있으며, 대화 장치 또는 질의응답 장치에서 목적하는 바에 부합된 적합한 대답을 도출하기 위한 전 단계로써 이용될 수 있다.
도 1은 본 발명의 일실시예에 따른 비정형 질문 또는 요구 발화의 구조화된 패러프레이징 시스템(10)의 구성을 기능블록으로 도시한 도면이다. 도 1에 도시된 바와 같이, 본 발명의 일실시예에 따른 비정형 질문 또는 요구 발화의 구조화된 패러프레이징 시스템(10)은, 질문 또는 요구 문장과 상기 문장의 논항(argument)이 한 쌍으로 병기된 병렬 코퍼스(parallel corpus)를 학습 입력 데이터로 수집하는 데이터 수집부(100); 데이터 수집부(100)에서 수집된 병렬 코퍼스의 질문 또는 요구 문장과 논항의 연관성 및 의미(semantic) 관계를 이해하도록 패러프레이징 모델을 학습하는 학습부(200); 및 사용자로부터 질문 또는 요구 발화가 입력되면, 학습된 패러프레이징 모델을 이용하여, 입력된 질문 또는 요구 문장을 분류 및 분석하고, core content로서 논항을 추출하는 패러프레이징부(300)를 포함하여 구성될 수 있다.
본 발명의 일실시예에 따른 비정형 질문 또는 요구 발화의 구조화된 패러프레이징 시스템(10)은, 데이터 수집부(100), 학습부(200), 및 패러프레이징부(300) 외에도 질문 또는 요구의 문장을 test data로 입력받는 입력 장치(미도시)와 입력된 질문 또는 요구 문장의 처리 결과값(논항)을 출력하는 출력 장치(미도시)를 더 포함할 수 있다.
보다 구체적으로, 입력 장치는 키 입력, 마우스 입력, 터치 입력, 음성 입력 등과 같은 사용자 입력을 수신하는 장치로써, 키보드, 마우스, 터치패널, 마이크 등을 포함할 수 있다. 바람직하게는, 마이크 등을 통해 입력되는 음성 입력은 텍스트 형태의 질문으로 변환될 수 있으며, 이를 위해 음성을 인식하고, 인식된 음성을 텍스트 형태로 변환하는 음성 인식 모듈을 더 포함할 수도 있다. 출력 장치는 처리 결과값(논항)을 음성으로 출력하는 스피커 또는 텍스트 형태로 출력하는 표시 장치를 포함할 수 있다. 따라서 본 발명의 일실시예에 따른 비정형 질문 또는 요구 발화의 구조화된 패러프레이징 시스템(10)은, 스피치 투 스피치(Speech-To-Speech), 스피치 투 텍스트(Speech-To-Text), 텍스트 투 스피치(text-to-Speech), 텍스트 투 텍스트(Text-To-Text)의 모든 형태의 시스템 또는 장치로 구현(demonstrate)될 수 있다.
도 2는 본 발명의 일실시예에 따른 비정형 질문 또는 요구 발화의 구조화된 패러프레이징 시스템(10)에서 질문 또는 요구 문장의 분류를 도시한 도면이다. 도 2에 도시된 바와 같이, 인간 언어에서 지시 발화로서, 질문 또는 요구의 문장은 그 종류에 따라 yes/no question, alternative question, wh-question, prohibition, requirement, strong requirement의 여섯 가지 유형으로 나뉠 수 있다. 보다 구체적으로는, 질문의 경우, yes/no question, alternative question, wh-question의 유형으로 나뉠 수 있으며, 요구의 경우, prohibition, requirement, strong requirement의 유형으로 나뉠 수 있다.
본 발명의 일실시예에 따른 비정형 질문 또는 요구 발화의 구조화된 패러프레이징 시스템(10)의 데이터 수집부(100)는, 질문 또는 요구 문장과 그 문장의 논항(argument)이 한 쌍으로 병기된 병렬 코퍼스(parallel corpus)를 학습 입력 데이터로 수집할 수 있다. 뿐만 아니라, 데이터 수집부(100)는, 병렬 코퍼스의 질문 또는 요구 문장의 종류에 따라 yes/no question, alternative question, wh-question, prohibition, requirement, strong requirement의 여섯 가지 유형으로 나뉘어 수집할 수 있으며, 이를 통해 학습 입력 데이터 셋을 구성하는 데 있어서, 존재하는 모든 형태의 질문 또는 요구의 문장을 빠짐없이 체계적으로 적용할 수 있고, 후술할 패러프레이징 모델을 학습하는 과정에서도, 분류된 병렬 코퍼스를 학습 입력 데이터로 사용할 수 있으므로 효율적인 학습이 가능하다.
본 발명의 일실시예에 따른 비정형 질문 또는 요구 발화의 구조화된 패러프레이징 시스템(10)의 학습부(200)는, 데이터 수집부(100)에서 수집된 병렬 코퍼스의 질문 또는 요구 문장과 논항의 연관성 및 의미(semantic) 관계를 이해하도록 패러프레이징 모델을 학습할 수 있다. 즉, 학습부(200)는, 6 가지 유형으로 분류되어 수집된 병렬 코퍼스를 학습 입력 데이터로 사용하여, 인공신경망(Artificial Neural Network, ANN) 기술이 적용된 패러프레이징 모델을 학습할 수 있다.
본 발명의 일실시예에 따른 비정형 질문 또는 요구 발화의 구조화된 패러프레이징 시스템(10)의 패러프레이징부(300)는, 사용자로부터 질문 또는 요구 발화가 입력되면, 학습부(200)에서 학습된 패러프레이징 모델을 이용하여, 입력된 질문 또는 요구 문장을 분류 및 분석하고, core content로서 논항을 추출할 수 있다. 이하 도면을 이용하여, 패러프레이징부(300)의 구성에 대하여 자세히 설명한다.
도 3은 본 발명의 일실시예에 따른 비정형 질문 또는 요구 발화의 구조화된 패러프레이징 시스템 패러프레이징부(300)의 구성을 기능블록으로 도시한 도면이다. 도 3에 도시된 바와 같이, 본 발명의 일실시예에 따른 비정형 질문 또는 요구 발화의 구조화된 패러프레이징 시스템(10)의 패러프레이징부(300)는, 사용자로부터 입력된 질문 또는 요구 문장을 character 단위로 분석하여, 문장 내 지우거나 변환해야 할 부분을 판단하는 분석부(310) 및 분석부(310)에서의 판단에 따라 질문 또는 요구 문장의 core content로서 논항을 추출하는 추출부(320)를 포함하여 구성될 수 있다.
본 발명의 일실시예에 따른 비정형 질문 또는 요구 발화의 구조화된 패러프레이징 시스템의 분석부(310)는, 사용자로부터 입력된 질문 또는 요구 문장을 character 단위로 분석할 수 있다. 예를 들면, "오늘은 날씨가 참 좋은 것 같죠"라는 입력 문장을 한 글자(character) 단위로 분석한다면, "오+늘+은+날+씨+가+참+좋+은+것+같+죠"라고 분해하여 분석할 수 있다. 필요에 따라서는, character 단위뿐만 아니라, 형태소 단위 또는 자음과 모음 단위로 분해하여 분석하는 것도 가능하다.
또한, 분석부(310)는, 데이터 수집부(100)에서의 병렬 코퍼스 분류와 마찬가지로, 입력된 질문 또는 요구 문장의 종류에 따라 yes/no question, alternative question, wh-question, prohibition, requirement, strong requirement의 여섯 가지 유형 중 어느 하나의 유형으로 분류하여, 분류된 문장을 character 단위로 분석하고, 문장 내 지우거나 변환해야 할 부분을 판단할 수 있다.
보다 구체적으로, 도 2에 도시된 바와 같이, 분석부(310)는, Transcript가 입력되면, 입력된 Transcript가 질문인지 또는 요구인지 먼저 판단하여, 입력된 Transcript가 질문의 경우, yes/no question, alternative question, wh-question의 유형 중 어느 하나의 유형으로 분류하고, 입력된 Transcript가 요구의 경우, prohibition, requirement, strong requirement의 유형 중 어느 하나의 유형으로 분류하는 과정을 거칠 수 있다. 따라서, 입력된 문장의 유형에 따라 문장 내 지우거나 변환해야 할 부분을 효과적으로 판단할 수 있고, 궁극적으로는 추출부(320)에서 core content로서 논항을 추출하는 과정을 좀 더 원활하게 할 수 있다.
본 발명의 일실시예에 따른 비정형 질문 또는 요구 발화의 구조화된 패러프레이징 시스템의 추출부(320)는, 분석부(310)에서의 판단에 따라 입력된 질문 또는 요구 문장의 core content로서 논항을 추출할 수 있다. 즉, 추출부(320)는, 입력된 구어체 또는 비정형의 질문과 요구 문장으로부터, 구조화된 방식으로 정보(논항)를 추출할 수 있다.
core content란 입력된 질문 또는 요구의 문장에서 중심이 되는 목적하는 바를 일정한 구(phrase) 형태로 추출한 것으로서, 본 발명에서는 이를 논항(argument)이라고 칭할 수 있다. 따라서 입력된 문장의 목적하는 바로 논항을 추출하는 과정은, 문장-문장의 일대일 대응이 주로 이루어지는 일반적인 translation 과정과는 상이하므로, multi to few 대응을 통해 phrase들이 생성될 수 있으며, 이와 같은 성질을 가진 다양한 대화 시스템이나 인공지능 스피커 등에 폭넓게 사용될 수 있다. 따라서, 본 발명의 일실시예에 따른 비정형 질문 또는 요구 발화의 구조화된 패러프레이징 시스템(10)은 자연어처리의 하위 분야에서 공학적으로 활용될 수 있을 뿐 아니라, structured paraphrasing의 패턴을 분석함으로써 인간 언어의 지시 발화 (질문, 요구 등)에서 core content가 어떤 식으로 결정되는지도 실험적으로 발견할 수도 있다.
보다 구체적으로, "내일 비 얼마나 온대"라는 구어체 형태의 질문에서 "내일 강수량"이 core content인 논항으로 추출될 수 있으며, 그 밖에 "내일 강수량이 어떻게 돼", "내일 비 많이 온대", "내일 강수량 좀 알려줘" 등의 여러 형태의 비정형 질문이나 요구 문장에서도 core content로서 추출되는 논항은 "내일 강수량"으로 동일할 수 있다. 즉, 본 발명의 추출부(320)에서 입력과 출력의 형식은, 일대일 대응이 아니라, multi to few 대응인 것을 확인할 수 있다.
본 발명은 어떤 입력에 대해서 어떠한 출력이 도출될 것인지 미리 정해져 있지 않다. 즉, 학습 데이터인 병렬 코퍼스의 질문 또는 요구 문장과 논항의 연관성 및 의미(semantic) 관계를 이해하도록 패러프레이징 모델을 학습하는바, 항상 같은 출력 결과가 도출되는 것이 아니라, 데이터 수집부(100)에서 축적된 데이터의 양과 질에 따라서 입력에 따른 출력(논항)이 달라질 수 있다. 또한, 축적된 병렬 코퍼스의 개수뿐만 아니라, 최근의 데이터인지의 여부(시기)도 기준으로 삼도록 패러프레이징 모델을 학습할 수도 있다.
본 발명의 일실시예에 따른 비정형 질문 또는 요구 발화의 구조화된 패러프레이징 시스템의 학습부(200)에서 학습하는 패러프레이징 모델은, 인공신경망(Artificial Neural Network, ANN) 모델의 일종인바, 이하 인공신경망에 대하여 더욱 상세히 설명한다.
인공신경망(Artificial Neural Network, ANN)은 기계학습과 인지과학에서 사용되며, 생물학의 신경망(동물의 중추신경계 중 특히 뇌)에서 영감을 얻은 통계학적 학습 알고리즘이다. 인공신경망은 시냅스의 결합으로 네트워크를 형성한 인공 뉴런(노드)이 학습을 통해 시냅스의 결합 세기를 변화시켜, 문제 해결 능력을 가지는 모델 전반을 가리킨다.
도 4는 인공신경망 모델 중 RNN(Recurrent Neural Networks) 모델을 설명하기 위해 도시한 도면이다. 도 4에 도시된 바와 같이, RNN 모델에서 A라고 표시된 부분이 hidden state인데, RNN 모델은 hidden state가 방향을 가진 엣지로 연결되어 순환구조(directed cycle)를 이루는 인공신경망의 한 종류로서, 음성, 문자 등 순차적으로 등장하는 데이터 처리에 적합한 모델로 알려져 있다.
RNN 모델은, 시퀀스 길이와 관계없이 입력과 출력을 받아들일 수 있는 네트워크 구조이기 때문에, 필요에 따라 다양하고 유연하게 구조를 만들 수 있다는 장점이 있다.
또한, RNN 모델은, 순환구조를 이루고 있고, hidden layer가 여러 개로 펼쳐져 있는 것으로서, 현재 상태의 hidden state는 직전 시점의 hidden state를 받아 갱신될 수 있으며, state 활성함수(activation function)로는 비선형 함수인 하이퍼볼릭탄젠트를 사용할 수 있다. 뿐만 아니라, RNN 모델은, 입력에서 hidden layer로 보내는 값, 이전 hidden layer에서 다음 hidden layer로 보내는 값, 및 hidden layer에서 출력으로 보내는 값을 통해 학습될 수 있다.
다만, RNN 모델은, 관련 정보와 그 정보를 사용하는 지점 사이 거리가 멀 경우 학습 능력이 크게 저하될 수 있는바, 이를 극복하기 위하여 고안된 것이 바로 시퀀스-투-시퀀스(sequence-to-sequence, 인코더-디코더, 이하 seq2seq) 모델이다. 예를 들면, "완벽한 날씨가 날 더 슬프게 할까"라는 입력이 있는 경우, RNN 모델을 이용하게 되면, 완벽한 날씨니까 좋은 기분일 것이라고 유추하면서 문장을 출력하다가 "슬프게"라는 단어를 마지막에 입력받고 출력이 꼬이게 될 것이다. 이처럼 일반적인 RNN 모델에서 문장을 다 듣기도 전에 답변하게 되면 제대로 답변할 수 없는 문제가 발생할 수 있는바, seq2seq 모델을 이용하여 이를 극복할 수 있다.
도 5는 인공신경망 모델 중 seq2seq 모델을 설명하기 위해 도시한 도면이다. 도 5에 도시된 바와 같이, seq2seq 모델은 인코더(Encoder)와 디코더(Decoder)로 불리는 두 개의 RNN으로 구성되는데, 영어를 프랑스어로 번역하는 신경망 기계 번역을 구축할 목적으로 제안되었다. 즉, seq2seq 모델은, input -> encoder -> decoder -> output의 구조를 가지며, 문장을 입력받으면 벡터의 형태로 압축해서 디코더의 첫 hidden state로 넘겨주는 형태이다. 앞의 모든 문장을 입력받고 출력을 진행하기 때문에 비교적 온전한 대답을 할 수 있으며, 짧은 텍스트를 요약하는 데 매우 뛰어나다. 따라서, seq2seq 접근 방식은 의미 및 담화 이해와 텍스트 생성 모두에 대해 완벽한 데이터 중심 솔루션을 제공할 수 있다.
본 발명의 학습부(200)에서 학습하는 패러프레이징 모델은, seq2seq 모델(시퀀스-투-시퀀스 모델, 인코더-디코더 모델)을 사용하여 입력된 문장을 분석하고, 논항을 추출할 수 있다. seq2seq 모델은, 두 개의 RNN(순환 신경망)으로 구성되어 있는바, 첫 번째 RNN은 한 문장을 쪼개어 하나의 벡터로 인코딩하는 작업을 하고, 두 번째 RNN은 인코딩된 벡터를 하나의 단어 또는 음절씩 디코딩하여 최종적으로 하나의 구 또는 절을 만들 수 있다. 즉, 기본적인 seq2seq 모델에서 인코더는 입력 문장을 하나의 벡터 hT로 압축하고, 디코더는 hT를 이용해 논항으로 출력될 수 있다.
그러나, 기본적인 seq2seq 모델에는 두 가지 문제점이 있는바, 하나는 인코더의 출력 hT가 입력된 문장을 표현하기에는 너무 작다는 것이고, 다른 하나는 디코더가 각 Step의 출력과 인코더 출력을 어떻게 연관시키는지 알지 못한다는 것이다. 따라서 문장의 길이가 길어질수록 그 수용력이 떨어질 수 있으므로, 본 발명에서 패러프레이징 모델로 사용되는 seq2seq 모델은, RNN encoder-decoder with Attention 또는 Transformer 접근 방식을 이용하여 문제점을 해결할 수 있다.
도 6은 seq2seq 모델의 RNN encoder-decoder with Attention 방식을 설명하기 위해 도시한 도면이다. 도 6에 도시된 바와 같이, RNN encoder-decoder with Attention 방식은 Attention Layer가 추가된 것을 그 특징으로 하는바, 제공되는 정보의 양이 너무 많을 때, 정보에 매겨진 관심도에 따라 분석하여 결과물을 출력하는 방식이다. RNN encoder-decoder with Attention 방식은, 기본적인 seq2seq 모델의 문제를 해결하기 위해 2014년에 바다나우(Bahdanau)로부터 처음 제안되었는데, 기본적인 아이디어는 인코더의 내부 상태 h1, h2, …, hT의 가중 평균을 디코더에게 전달해주는 것으로써, 디코더는 어텐션 가중치(Attention Weighting)를 이용해 입력에 관련된 많은 정보를 얻을 수 있다. 즉, 관심 있는 정보를 찾는 능력으로써 Attention Layer가 추가되기 때문에, 긴 문장이 입력되더라도 목적하는 출력값이 잘 도출되도록 할 수 있다.
도 7은 seq2seq 모델의 Transformer 방식을 설명하기 위해 도시한 도면이다. 도 7에 도시된 바와 같이, seq2seq 모델의 Transformer 방식은, Attention에 Positional Encoding을 추가함으로써, 처리 속도가 더 빠르고 긴 문장도 처리할 수 있다. Transformer는, 2017년 구글의 연구진(vaswani 외)에 의해 개발되었으며, 셀프 어텐션(Self-Attention)으로 구성된 인코더를 그 특징으로 한다. 셀프 어텐션은, 입력을 각 가중치로 연산하여 구하는데, 셀프 어텐션을 통해 단어 간의 연관 관계 정보를 얻을 수 있고, 특히 단어의 특징 정보를 가지고 있는 피처를 몇 개의 조각으로 나누어 셀프 어텐션하게 되면, 좀 더 효과적인 단어 간의 연관 관계 정보를 얻을 수도 있다.
도 8은 본 발명의 일실시예에 따른 비정형 질문 또는 요구 발화의 구조화된 패러프레이징 시스템이 작동하는 전체적인 모식도를 도시한 도면이다. 도 8에 도시된 바와 같이, 본 발명은 질문 또는 요구 문장과 그 문장의 논항(argument)이 한 쌍으로 병기된 병렬 코퍼스(parallel corpus)를 학습 입력 데이터로 이용하여 seq2seq 모델(패러프레이징 모델)을 학습시킬 수 있고, 사용자로부터 질문 또는 요구 발화가 입력되면, 학습된 패러프레이징 모델을 이용하여, 입력된 질문 또는 요구 문장을 분류 및 분석하고, core content로서 논항을 추출함으로써, 비정형의 질문이나 요구의 문장으로부터 구조화된 방식으로 정보를 추출할 수 있다. 따라서, 본 발명은, 자연어 질의응답의 원천기반 기술로 활용되어, 자연어를 인터페이스로 하는 다양한 대화 시스템에 적용될 수 있는바, 예를 들면, 지능형 콜센터 QA, 텍스트 빅데이터 QA, 지능 로봇, 스마트 단말 QA 등과 같은 다양한 서비스분야에서 활용될 수 있으며, 지능형 비서의 자연스러운 대화 생성이나 시맨틱 웹 서치(semantic web search) 등에도 활용될 수도 있다.
본 발명의 일실시예에 따른 비정형 질문 또는 요구 발화의 구조화된 패러프레이징 시스템(10)은, 사용자의 질문 또는 요구 입력에 대해 논항을 출력하도록 전자 장치상에 애플리케이션(application) 등의 형태로 구현될 수 있다. 이때, 비정형 질문 또는 요구 발화의 구조화된 패러프레이징 시스템(10)을 구성하는 각 구성은 모두 전자 장치에서 실행될 수 있고, 이들 중 적어도 하나는 전자 장치의 외부 기기에서 실행될 수도 있다. 전자 장치는 스마트폰, 태블릿(tablet) PC(personal computer), 이동 전화기, 영상 전화기, 전자책 리더기, 데스크탑(desktop) PC, 랩탑(laptop) PC, 넷북(netbook) 컴퓨터, 워크스테이션(workstation), 서버(server), PDA(personal digital assistant), 미디어 박스, 게임 콘솔, 전자사전 또는 웨어러블 장치(wearable device) 중 적어도 하나를 포함할 수 있으며, 웨어러블 장치는 액세서리형(예: 시계, 반지, 팔찌, 발찌, 목걸이, 안경, 콘택트렌즈, 또는 머리착용형 장치(HMD, head-mounted-device), 직물 또는 의류 일체형(예: 전자 의복), 신체 부착형(예: 스킨 패드(skin pad) 또는 문신), 또는 생체 이식형 회로(implantable circuit) 중 적어도 하나를 포함할 수 있다. 다양한 실시예들에서, 전자 장치는 플렉서블(flexible)하거나, 또는 전술한 다양한 장치들 중 둘 이상의 조합일 수 있다. 다만, 전자 장치는 전술한 기기들에 한정되지는 않는다.
도 9는 본 발명의 일실시예에 따른 비정형 질문 또는 요구 발화의 구조화된 패러프레이징 방법 흐름을 도시한 도면이다. 도 9에 도시된 바와 같이, 본 발명의 일실시예에 따른 비정형 질문 또는 요구 발화의 구조화된 패러프레이징 방법은, 데이터 수집부(100)가, 질문 또는 요구 문장과 상기 문장의 논항(argument)이 한 쌍으로 병기된 병렬 코퍼스(parallel corpus)를 학습 입력 데이터로 수집하는 단계(S100), 학습부(200)가, 단계 S200에서 수집된 병렬 코퍼스의 질문 또는 요구 문장과 논항의 연관성 및 의미(semantic) 관계를 이해하도록 패러프레이징 모델을 학습하는 단계(S200), 및 사용자로부터 질문 또는 요구 발화가 입력되면, 단계 S200에서 학습된 패러프레이징 모델을 이용하여, 패러프레이징부(300)가, 입력된 질문 또는 요구 문장을 분류 및 분석하고, core content로서 논항을 추출하는 단계(300)를 포함하여 구현될 수 있다.
도 10은 본 발명의 일실시예에 따른 비정형 질문 또는 요구 발화의 구조화된 패러프레이징 방법의 단계 S300의 흐름을 도시한 도면이다. 도 10에 도시된 바와 같이, 본 발명의 일실시예에 따른 비정형 질문 또는 요구 발화의 구조화된 패러프레이징 방법의 단계 S300은, 분석부(310)가, 사용자로부터 입력된 상기 질문 또는 요구 문장을 character 단위로 분석하여, 문장 내 지우거나 변환해야 할 부분을 판단하는 단계(S310), 및 추출부(320)가, 단계 S310에서의 판단에 따라 상기 질문 또는 요구 문장의 core content로서 논항을 추출하는 단계(S320)를 포함하여 구현될 수 있다.
각각의 단계들과 관련된 상세한 내용들은, 앞서 본 발명의 일실시예에 따른 비정형 질문 또는 요구 발화의 구조화된 패러프레이징(structured-paraphrasing) 시스템(10)과 관련하여 충분히 설명되었으므로, 상세한 설명은 생략하기로 한다.
상술한 바와 같이, 본 발명에서 제안하고 있는 비정형 질문 또는 요구 발화의 구조화된 패러프레이징 시스템 및 방법에 따르면, 종래의 질의응답(question answering) 또는 대화 시스템 기술과는 입력과 출력의 형태 자체에서 큰 차이를 가지는바, 대상으로 하는 입력 자체가 기존 시스템에서 다루는 정형된 질문 또는 요구 문장에서 발전하여, 대화체의 비정형 문장이나 일상 회화에서 나올 수 있는 표현들까지도 포함하여 적용될 수 있으며, 입력 문장을 구조화하는 방식도 기존 시스템에서 자주 관찰되는 structured table 형태와는 달리, 일종의 정형화된 자연어의 형태를 지니도록 입력된 자연어에 대해 core content를 추출하는 structured paraphrasing을 수행함으로써, 인간이 질문 및 요구를 이해하는 방식으로 입력된 비정형 문장을 처리할 수 있다.
또한, 입력되는 질문 또는 요구 문장의 종류에 따라 yes/no question, alternative question, wh-question, prohibition, requirement, strong requirement의 여섯 가지 유형 중 어느 하나의 유형으로 분류하여, 분류된 문장을 character 단위로 분석하고 core content를 추출함으로써, 비정형 질문 또는 요구 문장을 빠짐없이 다룰 수 있으며, 문장 내 지우거나 변환해야 할 부분을 시스템 스스로가 학습하는 과정에서 출력의 정확도를 높일 수 있다.
뿐만 아니라, 두 개의 RNN(Recurrent Neural Network, 순환 신경망)으로 구성된 seq2seq 모델(시퀀스-투-시퀀스 모델, 인코더-디코더 모델)을 사용함으로써, 기존의 규칙기반 시스템과는 달리 다양한 문장에 대해서 출력 값 도출이 가능하여 한국어의 다양한 표현에 대해서도 유연하게 대응할 수 있으며, 학습되어 있지 않은 문장에 대해서도 시스템 자체적으로 추론하여 구조화된 패러프레이징을 할 수 있다.
이상 설명한 본 발명은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에 의하여 다양한 변형이나 응용이 가능하며, 본 발명에 따른 기술적 사상의 범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.
10: 본 발명에 따른 비정형 질문 또는 요구 발화의 구조화된 패러프레이징 시스템
100: 데이터 수집부
200: 학습부
300: 패러프레이징부
310: 분석부
320: 추출부
S100: 질문 또는 요구 문장과 문장의 논항(argument)이 한 쌍으로 병기된 병렬 코퍼스를 학습 입력 데이터로 수집하는 단계
S200: 단계 S100에서 수집된 병렬 코퍼스의 질문 또는 요구 문장과 논항의 연관성 및 의미(semantic) 관계를 이해하도록 패러프레이징 모델을 학습하는 단계
S300: 사용자로부터 질문 또는 요구 발화가 입력되면, S200에서 학습된 패러프레이징 모델을 이용하여, 입력된 질문 또는 요구 문장을 분류 및 분석하고, core content로서 논항을 추출하는 단계
S310: 사용자로부터 입력된 질문 또는 요구 문장을 character 단위로 분석하여, 문장 내 지우거나 변환해야 할 부분을 판단하는 단계
S320: 단계 S310에서의 판단에 따라, 질문 또는 요구 문장의 core content로서 논항을 추출하는 단계

Claims (11)

  1. 비정형 질문 또는 요구 발화의 구조화된 패러프레이징(structured-paraphrasing) 시스템(10)으로서,
    질문 또는 요구 문장과 상기 문장의 논항(argument)이 한 쌍으로 병기된 병렬 코퍼스(parallel corpus)를 학습 입력 데이터로 수집하는 데이터 수집부(100);
    상기 데이터 수집부(100)에서 수집된 병렬 코퍼스의 질문 또는 요구 문장과 논항의 연관성 및 의미(semantic) 관계를 이해하도록 패러프레이징 모델을 학습하는 학습부(200); 및
    사용자로부터 질문 또는 요구 발화가 입력되면, 상기 학습된 패러프레이징 모델을 이용하여, 입력된 질문 또는 요구 문장을 분류 및 분석하고, core content로서 논항을 추출하는 패러프레이징부(300)를 포함하는 것을 특징으로 하는, 비정형 질문 또는 요구 발화의 구조화된 패러프레이징 시스템(10).
  2. 제1항에 있어서, 상기 데이터 수집부(100)는,
    상기 병렬 코퍼스의 질문 또는 요구 문장의 종류에 따라 yes/no question, alternative question, wh-question, prohibition, requirement, strong requirement의 여섯 가지 유형으로 나뉘어 수집하는 것을 특징으로 하는, 비정형 질문 또는 요구 발화의 구조화된 패러프레이징 시스템(10).
  3. 제2항에 있어서, 상기 패러프레이징부(300)는,
    사용자로부터 입력된 상기 질문 또는 요구 문장을 character 단위로 분석하여, 문장 내 지우거나 변환해야 할 부분을 판단하는 분석부(310); 및
    상기 분석부(310)에서의 판단에 따라 상기 질문 또는 요구 문장의 core content로서 논항을 추출하는 추출부(320)를 포함하는 것을 특징으로 하는, 비정형 질문 또는 요구 발화의 구조화된 패러프레이징 시스템(10).
  4. 제3항에 있어서, 상기 분석부(310)는,
    사용자로부터 입력된 상기 질문 또는 요구 문장의 종류에 따라 yes/no question, alternative question, wh-question, prohibition, requirement, strong requirement의 여섯 가지 유형 중 어느 하나의 유형으로 분류하여, 분류된 문장을 character 단위로 분석하고, 문장 내 지우거나 변환해야 할 부분을 판단하는 것을 특징으로 하는, 비정형 질문 또는 요구 발화의 구조화된 패러프레이징 시스템(10).
  5. 제1항에 있어서, 상기 패러프레이징 모델은,
    seq2seq 모델(시퀀스-투-시퀀스 모델, 인코더-디코더 모델)을 사용하여 상기 입력된 문장을 분석하고, 논항을 추출하는 것을 특징으로 하는, 비정형 질문 또는 요구 발화의 구조화된 패러프레이징 시스템(10).
  6. 제5항에 있어서, 상기 seq2seq 모델은,
    두 개의 RNN(Recurrent Neural Network, 순환 신경망)으로 구성되며, RNN encoder-decoder with Attention 또는 Transformer 접근 방식을 이용하는 것을 특징으로 하는, 비정형 질문 또는 요구 발화의 구조화된 패러프레이징 시스템(10).
  7. 비정형 질문 또는 요구 발화의 구조화된 패러프레이징(structured-paraphrasing) 방법으로서,
    (1) 데이터 수집부(100)가, 질문 또는 요구 문장과 상기 문장의 논항(argument)이 한 쌍으로 병기된 병렬 코퍼스(parallel corpus)를 학습 입력 데이터로 수집하는 단계;
    (2) 학습부(200)가, 상기 단계 (1)에서 수집된 병렬 코퍼스의 질문 또는 요구 문장과 논항의 연관성 및 의미(semantic) 관계를 이해하도록 패러프레이징 모델을 학습하는 단계; 및
    (3) 사용자로부터 질문 또는 요구 발화가 입력되면, 상기 단계 (2)에서 학습된 패러프레이징 모델을 이용하여, 패러프레이징부(300)가, 입력된 질문 또는 요구 문장을 분류 및 분석하고, core content로서 논항을 추출하는 단계를 포함하는 것을 특징으로 하는, 비정형 질문 또는 요구 발화의 구조화된 패러프레이징 방법.
  8. 제7항에 있어서, 상기 단계 (1)에서는,
    상기 병렬 코퍼스의 질문 또는 요구 문장의 종류에 따라 yes/no question, alternative question, wh-question, prohibition, requirement, strong requirement의 여섯 가지 유형으로 나뉘어 수집하는 것을 특징으로 하는, 비정형 질문 또는 요구 발화의 구조화된 패러프레이징 방법.
  9. 제8항에 있어서, 상기 단계 (3)은,
    (3-1) 분석부(310)가, 사용자로부터 입력된 상기 질문 또는 요구 문장을 character 단위로 분석하여, 문장 내 지우거나 변환해야 할 부분을 판단하는 단계; 및
    (3-2) 추출부(320)가, 상기 단계 (3-1)에서의 판단에 따라 상기 질문 또는 요구 문장의 core content로서 논항을 추출하는 단계를 포함하는 것을 특징으로 하는, 비정형 질문 또는 요구 발화의 구조화된 패러프레이징 방법.
  10. 제9항에 있어서, 상기 단계 (3-1)에서는,
    사용자로부터 입력된 상기 질문 또는 요구 문장의 종류에 따라 yes/no question, alternative question, wh-question, prohibition, requirement, strong requirement의 여섯 가지 유형 중 어느 하나의 유형으로 분류하여, 분류된 문장을 character 단위로 분석하고, 문장 내 지우거나 변환해야 할 부분을 판단하는 것을 특징으로 하는, 비정형 질문 또는 요구 발화의 구조화된 패러프레이징 방법.
  11. 제7항에 있어서, 상기 패러프레이징 모델은,
    seq2seq 모델(시퀀스-투-시퀀스 모델, 인코더-디코더 모델)을 사용하되,
    상기 seq2seq 모델은, 두 개의 RNN(Recurrent Neural Network, 순환 신경망)으로 구성되며, RNN encoder-decoder with Attention 또는 Transformer 접근 방식을 이용하는 것을 특징으로 하는, 비정형 질문 또는 요구 발화의 구조화된 패러프레이징 방법.
KR1020190134120A 2019-10-25 2019-10-25 비정형 질문 또는 요구 발화의 구조화된 패러프레이징 시스템 및 방법 KR102297480B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190134120A KR102297480B1 (ko) 2019-10-25 2019-10-25 비정형 질문 또는 요구 발화의 구조화된 패러프레이징 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190134120A KR102297480B1 (ko) 2019-10-25 2019-10-25 비정형 질문 또는 요구 발화의 구조화된 패러프레이징 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20210049613A true KR20210049613A (ko) 2021-05-06
KR102297480B1 KR102297480B1 (ko) 2021-09-02

Family

ID=75916016

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190134120A KR102297480B1 (ko) 2019-10-25 2019-10-25 비정형 질문 또는 요구 발화의 구조화된 패러프레이징 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR102297480B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022220636A1 (ko) 2021-04-16 2022-10-20 주식회사 엘지화학 1-(3-시아노-1-아이소프로필-인돌-5-일)피라졸-4-카르복실산을 포함하는 경구용 제제

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230153545A1 (en) * 2021-11-15 2023-05-18 Misoinfo Tech. Method for creating rules used to structure unstructured data

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101937778B1 (ko) * 2017-02-28 2019-01-14 서울대학교산학협력단 인공지능을 이용한 기계학습 기반의 한국어 대화 시스템과 방법 및 기록매체
KR20190030927A (ko) * 2017-09-15 2019-03-25 한동대학교 산학협력단 병렬 말뭉치와 타 언어 대화데이터를 이용한 지능형 대화 시스템 및 이의 동작방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101937778B1 (ko) * 2017-02-28 2019-01-14 서울대학교산학협력단 인공지능을 이용한 기계학습 기반의 한국어 대화 시스템과 방법 및 기록매체
KR20190030927A (ko) * 2017-09-15 2019-03-25 한동대학교 산학협력단 병렬 말뭉치와 타 언어 대화데이터를 이용한 지능형 대화 시스템 및 이의 동작방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022220636A1 (ko) 2021-04-16 2022-10-20 주식회사 엘지화학 1-(3-시아노-1-아이소프로필-인돌-5-일)피라졸-4-카르복실산을 포함하는 경구용 제제

Also Published As

Publication number Publication date
KR102297480B1 (ko) 2021-09-02

Similar Documents

Publication Publication Date Title
US12033621B2 (en) Method for speech recognition based on language adaptivity and related apparatus
Mei et al. Audio captioning transformer
Kheddar et al. Deep transfer learning for automatic speech recognition: Towards better generalization
Sheikhan et al. Modular neural-SVM scheme for speech emotion recognition using ANOVA feature selection method
Gharavian et al. Speech emotion recognition using FCBF feature selection method and GA-optimized fuzzy ARTMAP neural network
KR20170034227A (ko) 음성 인식 장치 및 방법과, 음성 인식을 위한 변환 파라미터 학습 장치 및 방법
Cardona et al. Online phoneme recognition using multi-layer perceptron networks combined with recurrent non-linear autoregressive neural networks with exogenous inputs
Shirani et al. Speech emotion recognition based on SVM as both feature selector and classifier
KR102297480B1 (ko) 비정형 질문 또는 요구 발화의 구조화된 패러프레이징 시스템 및 방법
Apfelbaum et al. Relative cue encoding in the context of sophisticated models of categorization: Separating information from categorization
Abhishek et al. Aiding the visually impaired using artificial intelligence and speech recognition technology
Zhang Ideological and political empowering english teaching: ideological education based on artificial intelligence in classroom emotion recognition
CN118193702A (zh) 用于英语教学的智能化人机交互系统及方法
Dabwan et al. Arabic Sign Language Recognition Using EfficientnetB1 and Transfer Learning Technique
Li et al. An attention-based, context-aware multimodal fusion method for sarcasm detection using inter-modality inconsistency
Goyal Indian sign language recognition using mediapipe holistic
CN113421593A (zh) 语音测评方法、装置、计算机设备和存储介质
Shufang Design of an automatic english pronunciation error correction system based on radio magnetic pronunciation recording devices
Mendiratta et al. A robust isolated automatic speech recognition system using machine learning techniques
Kebe et al. Bridging the gap: Using deep acoustic representations to learn grounded language from percepts and raw speech
Sung et al. Speech Recognition via CTC-CNN Model.
CN114758676A (zh) 一种基于深度残差收缩网络的多模态情感识别方法
KR20230120790A (ko) 가변적 언어모델을 이용한 음성인식 헬스케어 서비스
Yang et al. An Effective Mixture-Of-Experts Approach For Code-Switching Speech Recognition Leveraging Encoder Disentanglement
Gamage et al. A Multimodal Approach for Real-Time Sinhala Sign Language Translation

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right