KR20230174503A - 신경망 기반 질의 자동 생성 시스템 및 방법 - Google Patents

신경망 기반 질의 자동 생성 시스템 및 방법 Download PDF

Info

Publication number
KR20230174503A
KR20230174503A KR1020220075512A KR20220075512A KR20230174503A KR 20230174503 A KR20230174503 A KR 20230174503A KR 1020220075512 A KR1020220075512 A KR 1020220075512A KR 20220075512 A KR20220075512 A KR 20220075512A KR 20230174503 A KR20230174503 A KR 20230174503A
Authority
KR
South Korea
Prior art keywords
query
neural network
generation
query generation
weight
Prior art date
Application number
KR1020220075512A
Other languages
English (en)
Inventor
황명하
신지강
임정선
서호진
조희
Original Assignee
한국전력공사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전력공사 filed Critical 한국전력공사
Priority to KR1020220075512A priority Critical patent/KR20230174503A/ko
Publication of KR20230174503A publication Critical patent/KR20230174503A/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/237—Lexical tools
    • G06F40/242—Dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/02—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail using automatic reactions or user delegation, e.g. automatic replies or chatbot-generated messages

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

서로 다르게 사전학습 및 미세 조정된 다수의 모델을 활용한 신경망 기반 질의 자동 생성 시스템이 개시된다. 상기 시스템은, 다수의 질의 생성 신경망을 기반으로 질의를 생성하고 생성된 상기 질의에 대한 점수를 생성하는 질의 생성 수행부, 및 생성된 상기 점수를 이용하여 최종 질의를 선정하는 질의 선정 수행부를 포함하는 것을 특징으로 한다.

Description

신경망 기반 질의 자동 생성 시스템 및 방법{System and Method for generating automatically question based on neural network}
본 발명은 신경망 기반 챗봇 학습 기술에 관한 것으로서, 더 상세하게는 전 세계 산업 전반에 활용되는 심층신경망 기반 챗봇을 학습하기 위한 질의응답 데이터셋 구축을 위한 시스템 및 방법에 대한 것이다.
최근 자동화된 규칙과 자연어 처리(Natural Language Processing) 기반 대화형 챗봇은 사용자의 요청 데이터를 처리하여 응답을 제공한다. 따라서, 식당 예약, 정보 검색, 쇼핑 등 다양한 분야에서 널리 활용되고 있는 추세이다. 챗봇의 높은 수요로 인해 챗봇 관련 글로벌 시장 규모는 폭발적으로 증가하고 있는 추세이며 페이스북, 구글, 네이버 등과 같이 챗봇을 전문적으로 서비스하는 대기업들이 등장하였다.
예로써 스티브 잡스가 앱스토어를 소개한지 8년 후인 2016년 4월 페이스북의 마크 저커버그는 페이스북 메신저용 플랫폼을 발표했으며, 이는 앱스토어가 시작할 당시 아이폰 사용자보다 많은 10억명을 기록하였다. 또한, Transparency Market Research는 2020년부터 2027년까지 세계 챗봇 시장이 US $274.5Mn에서 US $2,358.2 Mn으로 매년 31.3% 성장률을 기록할 것 이라 예측하였다.
특히, 인공지능 기술의 폭발적인 발전에 따라 딥러닝을 활용한 다양한 챗봇 프레임워크가 등장하였고, 여러 산업 분야에서 연구 및 개발이 진행되고 있다. 그러나, LUIS, Watson Conversation, API.ai, RASA와 같이 딥러닝 기반 오픈소스 챗봇 프레임워크를 학습하기 위하여 질의응답(Question & Answer) 학습 데이터셋을 구축하는 일은 매우 어려우며, 사람이 직접 구축해야하는 번거로움이 있다.
최근에는 이러한 단점을 보완하고자 질의 데이터셋을 자동으로 생성하기 위한 심층 생성 신경망 모델 연구 분야인 Neural Question Generation(NQG)이 등장하였다. NQG 모델을 활용하면 챗봇의 학습 데이터셋을 구축할 때에 사람의 개입 없이 자동으로 구축할 수 있으므로 인건비를 줄이는 데에 큰 장점이 존재한다.
종래 기술의 연구 및 개발 사례를 살펴보면, 초기 NQG 모델은 Recurrent Neural Network(RNN)을 주로 활용하였다. RNN은 각 노드간의 연결이 순환적 구조를 갖는 특징을 갖는 인공신경망이다. 그러므로, 시퀀스 형태의 신호 처리에 특화되어 자연어처리 분야에서 널리 활용할 수 있는 장점이 있다. Nan Duan 연구팀은 RNN 기반의 NQG 모델을 제안하였다.
그리고 Xinya Du 연구팀은 어텐션(Attention)을 활용한 시퀀스 학습 기반의 NQG 모델을 제안하였다. 하지만, 이러한 RNN 기반 NQG 모델들은 순차적인 형태의 입력을 사용하기 때문에 긴 문장의 텍스트를 다룰 때에 거리가 먼 단어들에 대한 영향력이 줄어드는 Vanishing Gradient로 인하여 정확도가 다소 떨어지는 문제가 발생한다.
이러한 문제를 보완하고자 Ying-Hong Chen 연구팀은 BERT를 미세조정(Fine-tuning)한 3가지 형태의 NQG 모델인 BERT-QG, BERT-SQG(Sequential Question Generation), BERT-HLSQG(High-Light Sequential Question Generation)을 제안하였다. 그리고 Luis Enrico Lopez 연구팀은 GPT-2 모델을 미세조정한 NQG 모델을 제안하였다.
Text-To-Text Transformer(T5) 모델은 Transformer의 인코더(Encoder) 또는 디코더(Decoder) 한쪽만 활용하는 BERT 및 GPT와는 달리 인코더와 디코더를 동시에 활용하면서 모든 자연어처리 테스크(Task)에 적용할 수 있게 되었다. 또한, 타 모델 대비 높은 성능을 입증하여 최근 다양한 자연어처리 분야에서 활용되고 있다.
그러므로, 본 발명에서는 T5 기반의 앙상블 모델을 이용하여 챗봇 서비스를 위한 정확하면서도 많은 양의 유사한 질문들을 생성하는 모델을 제안한다. 특히, 여러 NQG 모델로부터 추출된 질문 간 유사도가 높은 질문들을 대상으로 대표 질문을 선정할 때 Redundancy가 높아 학습 시 편향(Bias)가 발생하는 단점을 극복하였으며, 실제 챗봇 서비스를 위한 데이터 셋 구축을 위한 품질이 좋으면서 많은 양의 유사 질문들을 구축하는 데에 활용할 수 있게 된다.
1. 대한민국등록특허번호 제10-2018283호(등록일자: 2019년08월29일)
본 발명은 위 배경기술에 따른 문제점을 해소하기 위해서 제안된 것으로서, 서로 다르게 사전학습 및 미세 조정된 다수의 모델을 활용한 신경망 기반 질의 자동 생성 시스템 및 방법을 제공하는데 그 목적이 있다.
또한, 본 발명은 심층 신경망 기반 챗봇을 학습하기 위한 질의응답 데이터셋의 구축을 위한 신경망 기반 질의 자동 생성 시스템 및 방법을 제공하는데 다른 목적이 있다.
본 발명은 위에서 제시된 과제를 달성하기 위해, 서로 다르게 사전학습 및 미세 조정된 다수의 모델을 활용한 신경망 기반 질의 자동 생성 시스템을 제공한다.
상기 시스템은,
다수의 질의 생성 신경망을 기반으로 질의를 생성하고 생성된 상기 질의에 대한 점수를 생성하는 질의 생성 수행부; 및
생성된 상기 점수를 이용하여 최종 질의를 선정하는 질의 선정 수행부;를 포함하는 것을 특징으로 한다.
이때, 질의 생성 수행부는,
다수의 질의 생성 신경망을 기반으로 질의를 생성하고 생성된 상기 질의에 대한 점수를 생성하는 질의 생성 수행부; 및 생성된 상기 점수를 이용하여 최종 질의를 선정하는 질의 선정 수행부;를 포함하는 것을 특징으로 한다.
또한, 상기 질의 생성 수행부는, 다수의 상기 질의 생성 신경망을 기반으로 상기 질의를 생성하는 질의 생성 신경망 모듈; 각 질의 생성 신경망의 가중치를 계산하는 신경망 가중화 모듈; 및 상기 신경망 가중화 모듈로부터 도출된 상기 각 질의 생성 신경망의 가중치와 상기 각 질의 생성 신경망으로부터 도출된 각각의 질의간 연산을 수행하여 각 질의에 대한 가중화 질의를 생성하는 질의 가중치 점수화 모듈;을 포함하는 것을 특징으로 한다.
또한, 상기 질의 선정 수행부는, 상기 질의 가중치 점수화 모듈로부터 연산된 각 질의에 대한 상기 가중치 점수를 대상으로 특정 카테고리로 분류하고 분류된 상기 카테고리를 이용하여 최종 질의를 선정하는 소프트 보팅 분류기(Soft-voting classifier) 모듈;을 포함하는 것을 특징으로 한다.
또한, 상기 특정 카테고리는 What(무엇), Why(왜), When(언제), Who(누가), Where(어디), How(어떻게)를 포함하는 의문사 카테고리인 것을 특징으로 한다.
또한, 상기 소프트 보팅 분류기 모듈은 각 카테고리 내에서 각각의 가중화 질의에 대해 일정한 상호 유사성 임계치(Mutual Similarity Threshold, MST) 이상 값이 도출되면 같은 클러스터로 묶을 수 있도록 클러스터링을 진행하는 것을 특징으로 한다.
또한, 상기 소프트 보팅 분류기 모듈은 상기 각 클러스터 내에서 각각의 가중화 질의의 가중치 값을 비교하여 가장 높은 가중치 값을 지닌 질의를 상기 최종 질의로 선정하는 것을 특징으로 한다.
또한, 상기 신경망 가중화 모듈은, 데이터셋을 저장하는 데이터베이스; 상기, 데이터셋을 활용하여 점수를 추출하는 점수 추출 블럭; 및 상기 점수를 평균하여 상기 각 질의 생성 신경망 모델의 가중치를 계산하는 가중치 산출 블럭;을 포함하는 것을 특징으로 한다.
또한, 다수의 상기 질의 생성 신경망은 각각 다르게 사전학습 및 미세조정된 T5(Text-To-Text Transfer Transformer) 기반 질의 생성 신경망인 것을 특징으로 한다.
또한, 다수의 상기 질의 생성 신경망은 컨텍스트를 입력으로하여 질문과 상기 질문에 맞는 답변을 동시에 생성하는 사전(Dictionary) 형태로 출력하는 싱글 태스크, 상기 컨텍스트를 입력으로 하여 질문과 답변을 동시에 생성하는 사전 형태로 출력할 뿐만 아니라, 질문과 컨텍스트 페어(Pair)를 입력으로 답변을 출력하는 멀티 태스크, 및 상기 컨텍스트를 입력으로 하여 답변 감독(Answer Supervision) 없이 질문만 생성하는 엔드-투-엔드의 타입 모델을 조합하여 이루어지는 것을 특징으로 한다.
다른 한편으로, 본 발명의 다른 일실시예는, (a) 질의 생성 수행부가 다수의 질의 생성 신경망을 기반으로 질의를 생성하고 생성된 상기 질의에 대한 점수를 생성하는 단계; 및 (b) 질의 선정 수행부가 생성된 상기 점수를 이용하여 최종 질의를 선정하는 단계;를 포함하는 것을 특징으로 하는 신경망 기반 질의 자동 생성 방법을 제공한다.
이때, 상기 (a) 단계는, (a-1) 질의 생성 신경망 모듈이 다수의 상기 질의 생성 신경망을 기반으로 상기 질의를 생성하는 단계; (a-2) 신경망 가중화 모듈이 각 질의 생성 신경망의 가중치를 계산하는 단계; 및 (a-3) 질의 가중치 점수화 모듈이 상기 신경망 가중화 모듈로부터 도출된 상기 각 질의 생성 신경망의 가중치와 상기 각 질의 생성 신경망으로부터 도출된 각각의 질의간 연산을 수행하여 각 질의에 대한 가중화 질의를 생성하는 단계;를 포함하는 것을 특징으로 한다.
또한, 상기 (b) 단계는, (b-1) 소프트 보팅 분류기 모듈이 상기 질의 가중치 점수화 모듈로부터 연산된 각 질의에 대한 상기 가중치 점수를 대상으로 특정 카테고리로 분류하고 분류된 상기 카테고리를 이용하여 최종 질의를 선정하는 단계;를 포함하는 것을 특징으로 한다.
또한, 상기 (b-1) 단계는, 상기 소프트 보팅 분류기 모듈(121)이 각 카테고리 내에서 각각의 가중화 질의에 대해 일정한 상호 유사성 임계치(Mutual Similarity Threshold, MST) 이상 값이 도출되면 같은 클러스터로 묶을 수 있도록 클러스터링을 진행하는 단계;를 포함하는 것을 특징으로 한다.
또한, 상기 (b-1) 단계는, 상기 소프트 보팅 분류기 모듈이 상기 각 클러스터 내에서 각각의 가중화 질의의 가중치 값을 비교하여 가장 높은 가중치 값을 지닌 질의를 상기 최종 질의로 선정하는 단계;를 포함하는 것을 특징으로 한다.
또한, 상기 (a-3) 단계는, 데이터셋을 데이터베이스에 저장하는 단계; 점수 추출 블럭이 상기 데이터셋을 활용하여 점수를 추출하는 단계; 및 가중치 산출 블럭이 상기 점수를 평균하여 상기 각 질의 생성 신경망 모델의 가중치를 계산하는 단계;를 포함하는 것을 특징으로 한다.
본 발명에 따르면, 기존 심층 생성 신경망 기반 질의 생성 모델 발명과 대비하여 BLEU(Bilingual Evaluation Understudy)-N, ROUGE(Recall-Oriented Understudy for Gisting Evaluation)-L 점수에 있어서 높은 성능을 입증한다.
또한, 본 발명의 다른 효과로서는 기존 심층 생성 신경망 기반 질의 생성 모델 발명과 대비하여 질문 생성의 양에 있어 더욱 많은 양을 생성할 수 있다는 점을 들 수 있다.
또한, 본 발명의 또 다른 효과로서는 프레임 워크이기에 향후 최신 NQG(Neural Question Generation) 모델의 추가, 수정, 삭제가 용이하다는 점을 들 수 있다.
또한, 본 발명의 또 다른 효과로서는 심층 신경망 기반 챗봇의 학습을 위한 질의응답 데이터셋 생성에 즉시 적용할 수 있으며, 이로 인해 기존에 활용되던 인건비를 현저히 감소시킬 수 있다는 점을 들 수 있다.
또한, 본 발명의 또 다른 효과로서는 심층 신경망 기반 프레임워크임으로 챗봇이 활용되는 로보틱 프로세스 자동화(Robotic Process Automation), 스마트 그리드(Smart Grid), 모바일 서비스 등 다양한 산업 분야에 적용할 수 있다는 점을 들 수 있다.
또한, 본 발명의 또 다른 효과로서는 오픈소스 프레임워크를 활용하기에 개발 및 유지보수비를 절감할 수 있다는 점을 들 수 있다.
또한, 본 발명의 또 다른 효과로서는 앙상블 심층 신경망 기반 질의 자동 생성 프레임워크를 개발함으로써 심층 신경망 기반 챗봇 서비스의 성능 향상으로 인한 고객 만족도가 향상되고 회사 이미지를 재고할 수 있다는 점을 들 수 있다.
도 1은 본 발명의 일실시예에 따른 신경망 기반 질의 자동 생성 시스템의 구성 블럭도이다.
도 2는 도 1에 도시된 질의 생성 수행부의 세부 구성 블럭도이다.
도 3은 도 1에 도시된 질의 생성 신경망 모듈의 질의 생성 과정을 보여주는 도면이다.
도 4는 도 1에 도시된 소프트 보팅 분류기 모듈의 알고리즘 수도 코드이다.
도 5는 본 발명의 일실시예에 따른 최종 질의를 생성하는 과정을 보여주는 흐름도이다.
도 6은 본 발명과 비교 발명 모델간의 BLEU(Bilingual Evaluation Understudy)-N, ROUGE(Recall-Oriented Understudy for Gisting Evaluation)-L 점수를 비교하는 그래프이다.
도 7은 본 발명과 비교 발명 모델간의 질문 생성량 비교 그래프이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 상세한 설명에 구체적으로 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용한다.
제 1, 제 2등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 명명될 수 있다. "및/또는" 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다.
일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않아야 한다.
이하 첨부된 도면을 참조하여 본 발명의 일실시예에 따른 신경망 기반 질의 자동 생성 시스템 및 방법을 상세하게 설명하기로 한다.
도 1은 본 발명의 일실시예에 따른 신경망 기반 질의 자동 생성 시스템(100)의 구성 블럭도이다. 도 1을 참조하면, 질의 자동 생성 시스템(100)은, 다수의 질의 생성 신경망을 기반으로 질의를 생성하고 생성된 상기 질의에 대한 점수를 생성하는 질의 생성 수행부(110), 생성된 상기 점수를 이용하여 최종 질의를 선정하는 질의 선정 수행부(120) 등을 포함하여 구성될 수 있다.
질의 생성 수행부(110)는 신경망을 기반으로 질의를 생성하는 질의 생성 신경망 모듈(111), 각 질의 생성 신경망의 가중치를 계산하는 신경망 가중화 모듈(112), 신경망 가중화 모듈로부터 도출된 각 질의 생성 신경망의 가중치와 각 질의 생성 신경망으로부터 도출된 각각의 질의 간 연산을 수행하여 각 질의에 대한 가중치 점수를 생성하는 질의 가중치 점수화 모듈(113) 등을 포함하여 구성될 수 있다.
질의 생성 신경망 모듈(111)은 다수의 질의 생성 신경망을 대상으로 질의를 생성하는 기능을 수행한다.
신경망 가중화 모듈(112)은 각 질의 생성 신경망의 가중치를 계산하는 기능을 수행한다.
질의 가중치 점수화 모듈(113)은 신경망 가중화 모듈(112)로부터 도출된 각 질의 생성 신경망의 가중치와 각 질의 생성 신경망으로부터 도출된 각각의 질의 간의 연산을 위한 질의 가중치 점수를 생성하는 기능을 수행한다.
질의 선정 수행부(120)는 질의 가중치 점수화 모듈(113)로부터 연산된 각 질의에 대한 가중치 점수를 대상으로 6개의 의문사 카테고리로 분류하고 분류된 카테고리를 이용하여 최종 질의를 선정하는 소프트 보팅 분류기 모듈(121)을 포함하여 구성될 수 있다.
도 1에 도시된 도면 기재된 "…모듈" 의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 소프트웨어 및/또는 하드웨어로 구현될 수 있다. 하드웨어 구현에 있어, 상술한 기능을 수행하기 위해 디자인된 ASIC(application specific integrated circuit), DSP(digital signal processing), PLD(programmable logic device), FPGA(field programmable gate array), 프로세서, 마이크로프로세서, 다른 전자 유닛 또는 이들의 조합으로 구현될 수 있다.
소프트웨어 구현에 있어, 소프트웨어 구성 컴포넌트(요소), 객체 지향 소프트웨어 구성 컴포넌트, 클래스 구성 컴포넌트 및 작업 구성 컴포넌트, 프로세스, 기능, 속성, 절차, 서브 루틴, 프로그램 코드의 세그먼트, 드라이버, 펌웨어, 마이크로 코드, 데이터, 데이터베이스, 데이터 구조, 테이블, 배열 및 변수를 포함할 수 있다. 소프트웨어, 데이터 등은 메모리에 저장될 수 있고, 프로세서에 의해 실행된다. 메모리나 프로세서는 당업자에게 잘 알려진 다양한 수단을 채용할 수 있다.
도 2는 도 1에 도시된 질의 생성 수행부(111)의 세부 구성 블럭도이다. 도 2를 참조하면, 질의 생성 수행부(111)는 제 1 내지 제 N 질의 생성 신경망(210)을 구성하고, 이 질의 생성 신경망(210)을 통해 질의(220)를 생성한다. 각 질의(Q1 내지 Qn)는 각 질의 생성 신경망(210)에 대응하여 생성된다.
질의 생성 신경망(210)은 Text-To-Text Transfer Transformer(T5) 모델 기반의 NQG(Neural Question Generation) 모델이 사용되나 이에 한정되는 것은 아니며 다른 질의응답 모델도 일부 변형 및 수정을 통해 사용될 수 있다.
질의 생성 신경망 모듈(210)은 각각 다르게 사전학습 및 미세조정된 Text-To-Text Transfer Transformer(T5) 기반 질의 생성 신경망들(210)을 활용하여 동시에 같은 컨텍스트(Context)를 입력하여 질의를 생성한다.
신경망 가중화 모듈(112)은 각 질의 생성 신경망 모델의 가중치를 계산하기 위한 모듈이다. 데이터셋을 저장하는 데이터베이스(221), 데이터셋을 활용하여 점수를 추출하는 점수 추출 블럭(222,223), 점수를 평균하여 각 질의 생성 신경망 모델의 가중치를 계산하는 가중치 산출 블럭(112) 등을 포함하여 구성될 수 있다.
데이터셋은 Stanford Question and Answering Dataset(SQuAD) 2.0이 될 수 있다. SQuAD 2.0은 SQuAD 1.1 데이터셋을 포함하며, 500개 이상의 위키피디아(Wikipedia) 기사 데이터셋을 대상으로 클라우드 소싱을 통해 만든 질의응답 쌍(Question & Answering Pair) 형태의 기계독해 데이터셋이다. 총 100,000개 이상의 질의응답 쌍이 존재하며, 질의응답 관련 연구분야에서 표준 벤치마크 데이터셋으로 널리 활용되고 있다.
또한, 본 발명의 성능 평가를 위한 점수는 Bilingual Evaluation Understudy(BLEU) 점수 및 Recall-Oriented Understudy for Gisting Evaluation(ROUGE) 점수를 활용한다.
더욱 자세하게는, BLEU의 경우 N-gram을 활용하여 기계 번역 결과(Candidates)가 사람이 직접 번역한 결과(Reference)와 얼마나 유사한지 측정하는 방법인 BLEU-N을 활용할 수 있다. 이는 자연어처리 분야에서 생성 모델의 성능을 측정하는 주요 지표 중 하나이다. Pn은 동일한 문자가 반복해서 나타나는 경우의 평가 단점을 해결한 수정된 N-gram 프리시젼(Precision)이며, 이에 대한 식은 다음과 같다.
여기서, k는 n 길이의 N-gram에 대한 모든 가능한 인덱스이고, h(k,r)은 r 내에 N-gram k의 번호이다. Precision 점수의 단점을 보완하고자 브레버티 패널티(Brevity Penalty)(b(
Figure pat00002
))를 적용한다.
이때 r은 후보(Candidate) 문장의 길이를 의미하며,
Figure pat00003
은 후보(Candidate) 문장과 가장 길이 차이가 작은 기준(Reference) 문장의 길이를 의미한다.
브레버티 패널티 함수는 토큰화된 문장을 입력받아서 문장 내의 n-gram의 개수를 카운트하는 함수이다.
β_n은 각 N-gram의 보정된 정밀도에 후보(Candidates)와 기준(Reference)인 각 문장에 대한 서로 다른 가중치를 의미하며 총 합은 1이 된다.
ROUGE 점수는 문서 요약 평가 방법으로 개발 되었지만 현재 자연어처리 분야에서 생성 모델의 성능을 측정하는 주요 지표 중 하나로 활용되고 있다. 본 발명의 일실시예에서는 ROUGE-L을 활용하는데, 이는 후보(Candidates)와 기준(Reference) 문장 사이에 Logest Common Subsequence(LCS) 기반 Precision과 Recall을 먼저 측정한다. 길이 m의 A는 Candidate 요약이며, 길이 n의 B는 Reference 요약이라고 가정하며, 이를 활용하여 F1 점수를 측정하는데, Precision과 Recall의 가중화된 하모닉 평균값(Weighted Harmonic Mean) 값을 도출하며 이는 다음식과 같다.
여기서, b는 프리시젼과 리콜의 가중치를 조절하는 파라미터이다.
질의 가중치 점수화 모듈(113)은 신경망 가중화 모듈(112)로부터 도출된 각 질의 생성 신경망의 가중치(ΠW1 내지 ΠWn)(231)와 각 질의 생성 신경망(210)으로부터 도출된 각각의 질의(Q1 내지 Qn) 간의 곱(Multiplication) 연산을 수행하여 가중화 질의(WQ1 내지 WQn)(232)를 산출한다.
소프트 보팅 분류기 모듈(121)은 질의 가중치 점수화 모듈(113)로부터 연산된 각 질의에 대한 상기 가중화 질의(WQ1 내지 WQn)를 대상으로 특정 카테고리로 분류하고 분류된 상기 카테고리를 이용하여 최종 질의(Qf)(250)를 선정한다.
부연하면, 소프트 보팅 분류기 모듈(121)은 질의 가중치 점수화 모듈(113)로부터 연산된 각 질의에 대한 가중화 질의(WQ1 내지 WQn)를 대상으로 6개의 의문사 카테고리로 분류하고, 분류된 카테고리에 따라 최종 질의(Qf)를 선정하며 이에 대한 수도 코드는 도 4와 같다. 이에 대해서는 후술하기로 한다.
도 3은 도 1에 도시된 질의 생성 신경망 모듈(111)의 질의 생성 과정을 보여주는 도면이다. 도 3을 참조하면, 질의 생성 신경망(210)은 컨텍스트(context)를 입력 데이터(X1,...Xn)로 입력하여 인코딩하는 인코더(311)와 출력 데이터(Y1,...,Ya)를 출력하는 디코더(312)로 구성된다.
질의 생성 신경망(210)은 모델 1 내지 모델 6으로 구성되며, 각각 다르게 사전학습 및 미세조정된 T5(Text-To-Text Transfer Transformer) 기반 질의 생성 신경망이 될 수 있다.
다음 표는 각 질의 생성 신경망의 학습 파라미터를 나타낸다. 각각의 질의 생성 신경망은 사전학습 및 미세조정 과정을 서로 다른 방법과 파라미터로 수행하였으므로 같은 컨텍스트를 입력 받았음에도 서로 다른 질문을 생성할 수 있다.
모델명 모델1 모델2 모델3 모델4 모델5 모델6
타입 싱글 태스크 멀티 태스크 싱글 태스크 멀티 태스크 엔드-투-엔드 엔드-투-엔드
모델크기 T5 Small
(230.8 MB)		 T5 Base
(850.3 MB)
 T5 Small
(230.8 MB)		 T5 Base
(850.3 MB)
더욱 자세하게는, 싱클 태스크(Single Task) 타입 모델의 경우 컨텍스트를 입력으로하여 질문과 이에 맞는 답변을 동시에 생성하는 사전(Dictionary) 형태로 출력한다. 즉, 출력은 (
Figure pat00005
)의 형태이다(330).
멀티 태스크(Multi Task) 타입 모델의 경우는 Single Task와 마찬가지로 컨텍스트를 입력으로 하여 질문과 답변을 동시에 생성하는 사전 형태로 출력할 뿐만 아니라, 질문과 컨텍스트 페어(Pair)를 입력으로 답변을 출력하는 기능도 포함되어 있다. 즉, 출력은 P(q,a|c)의 형태이다(330).
마지막으로 End-To-End 타입의 경우 컨텍스트를 입력으로 하여 답변 감독(Answer Supervision) 없이 질문만 생성한다. 즉, 출력은
Figure pat00006
의 형태이다(340).
그러므로, Single Task 또는 Multi Task 타입인 모델 1, 모델 2, 모델 3, 모델 4는 생성된 질의만 선택하며, End-To-End 타입인 모델 5, 모델 6은 생성된 질의를 모두 선택한다(350). 이를 통해, 질의 (Q1 내지 Qn)(220)가 생성된다.
물론, 도 3에서는 이해의 편의를 위해 6개의 모델로 구성되는 예를 도시하였으나, 6개 이하 또는 6개 이상의 모델로 구성될 수도 있다.
도 4는 도 1에 도시된 소프트 보팅 분류기 모듈의 알고리즘 수도 코드이다. 도 4를 참조하면, 각각의 가중화된 질의(Weighted Question)에 대하여 What(무엇), Why(왜), When(언제), Who(누가), Where(어디), How(어떻게)와 같이 6개의 카테고리로 분류하는 시멘틱 롤 라벨링(Semantic Role Labeling) 기반의 질문 문자 분류(Interrogative Sentence Classification)를 시행한다.
그리고 각 카테고리 내에서 각각의 가중화된 질의(WQi,j)에 대해 일정한 상호 유사성 임계치(Mutual Similarity Threshold, MST) 이상 값이 도출되면 같은 클러스터로 묶을 수 있도록 클러스터링을 진행한다. MST는 0.1로부터 1.0까지 0.1씩 증가한다.
그 다음 각 클러스터 내에서 각각의 가중화된 가중화 질의의 가중치 값을 비교하여 가장 높은 가중치 값을 지닌 질의를 최종 질의(Qf)로 선정한다.
도 5는 본 발명의 일실시예에 따른 최종 질의(Qf)를 생성하는 과정을 보여주는 흐름도이다. 도 5를 참조하면, 컨텍스트를 다수의 질의 생성 신경망(210)에 입력하여 질의(Q1 내지 Qn)를 생성한다(단계 S510).
이후, 각 질의 생성 신경망의 가중치를 계산한다(단계 S520).
이후, 신경망 가중화 모듈(112)로부터 도출된 상기 각 질의 생성 신경망의 가중치(Π1 내지 Πn)와 상기 각 질의 생성 신경망(210)으로부터 도출된 각각의 질의간 연산을 수행하여 각 질의에 대한 가중화 질의(WQ1 내지 WQn)를 생성한다(단계 S530).
이후, 질의 가중치 점수화 모듈(113)로부터 연산된 각 질의에 대한 상기 가중치 점수를 대상으로 특정 카테고리로 분류한다(단계 S540).
소프트 보팅 분류기 모듈(121)은 각 카테고리 내에서 각각의 가중화 질의(WQi,j)에 대해 일정한 상호 유사성 임계치(Mutual Similarity Threshold, MST) 이상 값이 도출되면 같은 클러스터로 묶을 수 있도록 클러스터링을 진행한다(단계 S550).
이후, 소프트 보팅 분류기 모듈(121)은 상기 각 클러스터 내에서 각각의 가중화 질의(WQi,j)의 가중치 값을 비교하여 가장 높은 가중치 값을 지닌 질의를 상기 최종 질의(Qf)로 선정한다(단계 S560).
본 발명의 실험예는 The Stanford Question Answering Dataset(SQuAD) 버전 2.0 데이터셋을 활용하였다. SQuAD 2.0은 SQuAD 1.1 데이터셋을 포함하며, 500개 이상의 위키피디아(Wikipedia) 기사 데이터셋을 대상으로 클라우드 소싱을 통해 만든 질의응답(Question-Answering) 페어(Pair) 형태의 기계독해 데이터셋이다.
총 100,000개 이상의 질의응답 페어가 존재하며, 질의응답 관련 연구 분야에서 표준 벤치마크 데이터셋으로 널리 활용되고 있다. 따라서, 입력으로 SQuAD 데이터셋의 컨텍스트를 활용하고 각 모델별 출력된 후보 질문에 대하여 상호 유사도 및 입력 컨텍스트와의 유사도를 산출한 후, 가중치 값을 모두 고려하여 최종 생성 질문을 선정한다.
본 발명의 실험예는 Google Colab의 고용량 RAM(Random Access Memory) 기반 TPU(Tensor Processing Unit)를 사용하였다. 이는 인텔 제논(Intel Xeon)(R) 2.30GHz 사양의 CPU(Central Processing Unit) 40개이며, 메모리는 35.25GB, Ubuntu 18.04.5 LTS(Long Term Support) 운영체제로 구성되어 있다. 그리고 컴퓨터 언어는 파이썬(Python) 3.7 버전을 활용하였다.
본 발명의 실험예에서 활용된 각 모델의 성능 평가를 위해 SQuAD 2.0 데이터셋을 대상으로 BLEU-N, ROUGE-L 점수와 질문 생성량의 수를 실험한 결과는 다음과 같다.
그 결과, 사전 학습에 크기의 영향에 따라 T5-Small 기반의 모델보다 T5-Base 기반 모델의 BLEU-N, ROUGE-L 점수가 비교적 높은 것을 확인할 수 있었다. 질문 생성량의 경우에는 Single Task 기반 모델보다 Multi Task 기반 모델의 경우는 비교적 BLEU-N, ROUGE-L 점수가 낮은 반면에 생성량은 비교적 많은 것을 확인하였다.
또한, 본 발명으로부터 생성된 질문을 활용하여 소프트 보팅 분류기 모듈(121)의 앙상블 최적 실험을 진행한 결과는 다음 표와 같다.
총 6개의 의문사 카테고리 내에서 Mutual Similarity Threshold(MST) 별로 질문 생성량과 BLEU-N, ROUGE-L 점수를 비교한 결과이다.
MST가 낮을 경우에는 질문간의 유사도가 낮아도 1개의 대표 질문만 추출하였으므로 BLEU-N 점수는 0.556, ROUGE-L 점수는 0.595와 같이 높은 점수를 보였지만, 질문 생성량은 415개로 적은 양을 추출하였다.
반면에, MST가 높을 경우에는 질문간의 유사도가 높을 때 1개의 대표 질문만 추출하였으므로 BLEU-N 점수가 0.462 및 ROUGE-L 점수가 0.427과 같이 비교적 낮은 점수를 보이는 반면 질문 생성량은 5,123개와 같이 많은 양의 결과를 도출하였다.
이는 BLEU-N 점수 및 ROUGE-L 점수와 질문 생성량간의 트레이드 오프(Trade-Off) 관계가 있음을 의미하며, MST를 조절함으로써 사용자의 필요에 맞게 결과를 도출할 수 있다.
본 발명과 이전 연구 모델들 간의 성능 비교 결과는 다음표와 같다.
본 발명의 일실시예에서 BLEU-N, ROUGE-L 점수와 질문 생성량 사이의 트레이드 오프 관계성을 고려한 MST 최적 점수를 0.6으로 선정하였다. 그 결과, BLEU-N 점수는 최소 0.035에서 최대 0.091까지 증가하였으며, ROUGE-L 점수는 최소 0.004에서 최대 0.038까지 증가함을 입증하였다. 그리고 질문 생성량의 경우 최소 998개에서 최대 1,288개가 증가한 것을 입증하였다.
도 6은 본 발명과 비교 발명 모델간의 BLEU(Bilingual Evaluation Understudy)-N, ROUGE(Recall-Oriented Understudy for Gisting Evaluation)-L 점수를 비교하는 그래프이다. 도 6을 참조하면, 즉, 표 4에서 본 발명과 이전 발명 모델 간의 BLEU-N 및 ROUGE-L 점수를 비교한 그래프이다.
도 7은 본 발명과 비교 발명 모델간의 질문 생성량 비교 그래프이다. 도 7을 참조하면, 즉, 표 4에서 본 발명과 이전 발명 모델간의 질문 생성량비교이다.
또한, 여기에 개시된 실시형태들과 관련하여 설명된 방법 또는 알고리즘의 단계들은, 마이크로프로세서, 프로세서, CPU(Central Processing Unit) 등과 같은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 (명령) 코드, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.
상기 매체에 기록되는 프로그램 (명령) 코드는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프 등과 같은 자기 매체(magnetic media), CD-ROM, DVD, 블루레이 등과 같은 광기록 매체(optical media) 및 롬(ROM: Read Only Memory), 램(RAM: Random Access Memory), 플래시 메모리 등과 같은 프로그램 (명령) 코드를 저장하고 수행하도록 특별히 구성된 반도체 기억 소자가 포함될 수 있다.
여기서, 프로그램 (명령) 코드의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
100: 신경망 기반 질의 자동 생성 시스템
110: 질의 생성 수행부
111: 질의 생성 신경망 모듈 112: 신경망 가중화 모듈
113: 질의 가중치 점수화 모듈
120: 질의 선정 수행부
121: 소프트 보팅 분류기 모듈

Claims (18)

  1. 다수의 질의 생성 신경망(210)을 기반으로 질의(Q1 내지 Qn)를 생성하고 생성된 상기 질의 (Q1 내지 Qn)에 대한 점수를 생성하는 질의 생성 수행부(110); 및
    생성된 상기 점수를 이용하여 최종 질의(Qf)를 선정하는 질의 선정 수행부(120);
    를 포함하는 것을 특징으로 하는 신경망 기반 질의 자동 생성 시스템.
  2. 제 1 항에 있어서,
    상기 질의 생성 수행부(110)는,
    다수의 상기 질의 생성 신경망(210)을 기반으로 상기 질의를 생성하는 질의 생성 신경망 모듈(111);
    각 질의 생성 신경망의 가중치를 계산하는 신경망 가중화 모듈(112); 및
    상기 신경망 가중화 모듈(112)로부터 도출된 상기 각 질의 생성 신경망의 가중치(Π1 내지 Πn)와 상기 각 질의 생성 신경망(210)으로부터 도출된 각각의 질의간 연산을 수행하여 각 질의에 대한 가중화 질의(WQ1 내지 WQn)를 생성하는 질의 가중치 점수화 모듈(113);을 포함하는 것을 특징으로 하는 신경망 기반 질의 자동 생성 시스템.
  3. 제 2 항에 있어서,
    상기 질의 선정 수행부(120)는,
    상기 질의 가중치 점수화 모듈(113)로부터 연산된 각 질의에 대한 상기 가중치 점수를 대상으로 특정 카테고리로 분류하고 분류된 상기 카테고리를 이용하여 최종 질의(Qf)를 선정하는 소프트 보팅 분류기 모듈(121);을 포함하는 것을 특징으로 하는 신경망 기반 질의 자동 생성 시스템.
  4. 제 3 항에 있어서,
    상기 특정 카테고리는 What(무엇), Why(왜), When(언제), Who(누가), Where(어디), How(어떻게)를 포함하는 의문사 카테고리인 것을 특징으로 하는 신경망 기반 질의 자동 생성 시스템.
  5. 제 4 항에 있어서,
    상기 소프트 보팅 분류기 모듈(121)은 각 카테고리 내에서 각각의 가중화 질의(WQi,j)에 대해 일정한 상호 유사성 임계치(Mutual Similarity Threshold, MST) 이상 값이 도출되면 같은 클러스터로 묶을 수 있도록 클러스터링을 진행하는 것을 특징으로 하는 신경망 기반 질의 자동 생성 시스템.
  6. 제 5 항에 있어서,
    상기 소프트 보팅 분류기 모듈(121)은 상기 각 클러스터 내에서 각각의 가중화 질의(WQi,j)의 가중치 값을 비교하여 가장 높은 가중치 값을 지닌 질의를 상기 최종 질의(Qf)로 선정하는 것을 특징으로 하는 신경망 기반 질의 자동 생성 시스템.
  7. 제 2 항에 있어서,
    상기 신경망 가중화 모듈(112)은,
    데이터셋을 저장하는 데이터베이스(221);
    상기 데이터셋을 활용하여 점수를 추출하는 점수 추출 블럭(222,223); 및
    상기 점수를 평균하여 상기 각 질의 생성 신경망 모델의 가중치를 계산하는 가중치 산출 블럭(112);을 포함하는 것을 특징으로 하는 신경망 기반 질의 자동 생성 시스템.
  8. 제 1 항에 있어서,
    다수의 상기 질의 생성 신경망(210)은 각각 다르게 사전학습 및 미세조정된 T5(Text-To-Text Transfer Transformer) 기반 질의 생성 신경망인 것을 특징으로 하는 신경망 기반 질의 자동 생성 시스템.
  9. 제 8 항에 있어서,
    다수의 상기 질의 생성 신경망(210)은 컨텍스트를 입력으로하여 질문과 상기 질문에 맞는 답변을 동시에 생성하는 사전(Dictionary) 형태로 출력하는 싱클 태스크, 상기 컨텍스트를 입력으로 하여 질문과 답변을 동시에 생성하는 사전 형태로 출력할 뿐만 아니라, 질문과 컨텍스트 페어(Pair)를 입력으로 답변을 출력하는 멀티 태스크, 및 상기 컨텍스트를 입력으로 하여 답변 감독(Answer Supervision) 없이 질문만 생성하는 엔드-투-엔드의 타입 모델을 조합하여 이루어지는 것을 특징으로 하는 신경망 기반 질의 자동 생성 시스템.
  10. (a) 질의 생성 수행부(110)가 다수의 질의 생성 신경망(210)을 기반으로 질의 (Q1 내지 Qn)를 생성하고 생성된 상기 질의(Q1 내지 Qn)에 대한 점수를 생성하는 단계; 및
    (b) 질의 선정 수행부(120)가 생성된 상기 점수를 이용하여 최종 질의(Qf)를 선정하는 단계;
    를 포함하는 것을 특징으로 하는 신경망 기반 질의 자동 생성 방법.
  11. 제 10 항에 있어서,
    상기 (a) 단계는,
    (a-1) 질의 생성 신경망 모듈(111)이 다수의 상기 질의 생성 신경망(210)을 기반으로 상기 질의를 생성하는 단계;
    (a-2) 신경망 가중화 모듈(112)이 각 질의 생성 신경망의 가중치를 계산하는 단계 ; 및
    (a-3) 질의 가중치 점수화 모듈(113)이 상기 신경망 가중화 모듈(112)로부터 도출된 상기 각 질의 생성 신경망의 가중치(Π1 내지 Πn)와 상기 각 질의 생성 신경망(210)으로부터 도출된 각각의 질의간 연산을 수행하여 각 질의에 대한 가중화 질의(WQ1 내지 WQn)를 생성하는 단계;를 포함하는 것을 특징으로 하는 신경망 기반 질의 자동 생성 방법.
  12. 제 11 항에 있어서,
    상기 (b) 단계는,
    (b-1) 소프트 보팅 분류기 모듈(121)이 상기 질의 가중치 점수화 모듈(113)로부터 연산된 각 질의에 대한 상기 가중치 점수를 대상으로 특정 카테고리로 분류하고 분류된 상기 카테고리를 이용하여 최종 질의(Qf)를 선정하는 단계;를 포함하는 것을 특징으로 하는 신경망 기반 질의 자동 생성 방법.
  13. 제 12 항에 있어서,
    상기 특정 카테고리는 What(무엇), Why(왜), When(언제), Who(누가), Where(어디), How(어떻게)를 포함하는 의문사 카테고리인 것을 특징으로 하는 신경망 기반 질의 자동 생성 방법.
  14. 제 13 항에 있어서,
    상기 (b-1) 단계는, 상기 소프트 보팅 분류기 모듈(121)이 각 카테고리 내에서 각각의 가중화 질의(WQi,j)에 대해 일정한 상호 유사성 임계치(Mutual Similarity Threshold, MST) 이상 값이 도출되면 같은 클러스터로 묶을 수 있도록 클러스터링을 진행하는 단계;를 포함하는 것을 특징으로 하는 신경망 기반 질의 자동 생성 방법.
  15. 제 14 항에 있어서,
    상기 (b-1) 단계는, 상기 소프트 보팅 분류기 모듈(121)이 상기 각 클러스터 내에서 각각의 가중화 질의(WQi,j)의 가중치 값을 비교하여 가장 높은 가중치 값을 지닌 질의를 상기 최종 질의(Qf)로 선정하는 단계;를 포함하는 것을 특징으로 하는 신경망 기반 질의 자동 생성 방법.
  16. 제 11 항에 있어서,
    상기 (a-3) 단계는,
    데이터셋을 데이터베이스(221)에 저장하는 단계;
    점수 추출 블럭(222,223)이 상기 데이터셋을 활용하여 점수를 추출하는 단계; 및
    가중치 산출 블럭(112)이 상기 점수를 평균하여 상기 각 질의 생성 신경망 모델의 가중치를 계산하는 단계;를 포함하는 것을 특징으로 하는 신경망 기반 질의 자동 생성 방법.
  17. 제 10 항에 있어서,
    다수의 상기 질의 생성 신경망(210)은 각각 다르게 사전학습 및 미세조정된 T5(Text-To-Text Transfer Transformer) 기반 질의 생성 신경망인 것을 특징으로 하는 신경망 기반 질의 자동 생성 방법.
  18. 제 17 항에 있어서,
    다수의 상기 질의 생성 신경망(210)은 컨텍스트를 입력으로하여 질문과 상기 질문에 맞는 답변을 동시에 생성하는 사전(Dictionary) 형태로 출력하는 싱클 태스크, 상기 컨텍스트를 입력으로 하여 질문과 답변을 동시에 생성하는 사전 형태로 출력할 뿐만 아니라, 질문과 컨텍스트 페어(Pair)를 입력으로 답변을 출력하는 멀티 태스크, 및 상기 컨텍스트를 입력으로 하여 답변 감독(Answer Supervision) 없이 질문만 생성하는 엔드-투-엔드의 타입 모델을 조합하여 이루어지는 것을 특징으로 하는 신경망 기반 질의 자동 생성 방법.




KR1020220075512A 2022-06-21 2022-06-21 신경망 기반 질의 자동 생성 시스템 및 방법 KR20230174503A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220075512A KR20230174503A (ko) 2022-06-21 2022-06-21 신경망 기반 질의 자동 생성 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220075512A KR20230174503A (ko) 2022-06-21 2022-06-21 신경망 기반 질의 자동 생성 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR20230174503A true KR20230174503A (ko) 2023-12-28

Family

ID=89384935

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220075512A KR20230174503A (ko) 2022-06-21 2022-06-21 신경망 기반 질의 자동 생성 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR20230174503A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117555904A (zh) * 2024-01-05 2024-02-13 杭银消费金融股份有限公司 一种异构环境下精确数据截面快速构建获取方法及系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102018283B1 (ko) 2018-05-31 2019-11-04 (주)유로보 우선순위 단어 인식 알고리즘 방식을 채용한 인공지능 비즈니스 챗봇 시스템

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102018283B1 (ko) 2018-05-31 2019-11-04 (주)유로보 우선순위 단어 인식 알고리즘 방식을 채용한 인공지능 비즈니스 챗봇 시스템

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117555904A (zh) * 2024-01-05 2024-02-13 杭银消费金融股份有限公司 一种异构环境下精确数据截面快速构建获取方法及系统
CN117555904B (zh) * 2024-01-05 2024-03-26 杭银消费金融股份有限公司 一种异构环境下精确数据截面快速构建获取方法及系统

Similar Documents

Publication Publication Date Title
US11640515B2 (en) Method and neural network system for human-computer interaction, and user equipment
US11604956B2 (en) Sequence-to-sequence prediction using a neural network model
CN106295796B (zh) 基于深度学习的实体链接方法
CN110532353B (zh) 基于深度学习的文本实体匹配方法、系统、装置
CN111191002B (zh) 一种基于分层嵌入的神经代码搜索方法及装置
CN110427623A (zh) 半结构化文档知识抽取方法、装置、电子设备及存储介质
CN107273913B (zh) 一种基于多特征融合的短文本相似度计算方法
CN110597961B (zh) 一种文本类目标注方法、装置、电子设备及存储介质
US11675975B2 (en) Word classification based on phonetic features
CN106202153A (zh) 一种es搜索引擎的拼写纠错方法及系统
CN110874439B (zh) 一种基于评论信息的推荐方法
CN111159412B (zh) 分类方法、装置、电子设备及可读存储介质
US20200272698A1 (en) Methods and arrangements to adjust communications
CN110674297B (zh) 舆情文本分类模型构建和舆情文本分类方法、装置及设备
CN113761868B (zh) 文本处理方法、装置、电子设备及可读存储介质
CN114036950B (zh) 一种医疗文本命名实体识别方法及系统
CN117076653A (zh) 基于思维链及可视化提升上下文学习知识库问答方法
WO2023050470A1 (zh) 一种基于多层图注意力网络的事件检测方法及装置
CN115309910B (zh) 语篇要素和要素关系联合抽取方法、知识图谱构建方法
CN112417119A (zh) 一种基于深度学习的开放域问答预测方法
CN112966117A (zh) 实体链接方法
CN115688779A (zh) 一种基于自监督深度学习的地址识别方法
KR20230174503A (ko) 신경망 기반 질의 자동 생성 시스템 및 방법
CN112131884A (zh) 用于实体分类的方法和装置、用于实体呈现的方法和装置
CN116955644A (zh) 基于知识图谱的知识融合方法、系统及存储介质