KR20190119839A - 신경망을 이용해 다양한 문체를 포함한 문장 생성 방법 - Google Patents
신경망을 이용해 다양한 문체를 포함한 문장 생성 방법 Download PDFInfo
- Publication number
- KR20190119839A KR20190119839A KR1020180043291A KR20180043291A KR20190119839A KR 20190119839 A KR20190119839 A KR 20190119839A KR 1020180043291 A KR1020180043291 A KR 1020180043291A KR 20180043291 A KR20180043291 A KR 20180043291A KR 20190119839 A KR20190119839 A KR 20190119839A
- Authority
- KR
- South Korea
- Prior art keywords
- sentence
- neural network
- stylistic
- style
- index word
- Prior art date
Links
Images
Classifications
-
- G06F17/28—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/31—Indexing; Data structures therefor; Storage structures
- G06F16/313—Selection or weighting of terms for indexing
-
- G06F17/2775—
-
- G06F17/279—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Machine Translation (AREA)
- Document Processing Apparatus (AREA)
Abstract
본 발명은 신경망을 이용해 다양한 문체를 포함한 문장 생성 시스템 및 그 방법에 관한 것으로서, 일반 문장으로부터 추출된 색인어와 해당 문장의 쌍으로 문장 생성에 대해 학습한 후에 특정 문체의 문장으로부터 추출된 색인어와 해당 문장의 쌍으로 문체 변환에 대해 학습한 시퀀스 투 시퀀스(sequence-to-sequence) 인공신경망을 준비하는 단계와, 입력된 색인어에 대해 인공신경망을 이용하여 대응하는 문장을 생성하는 단계와, 입력된 문체 정보에 따라 인공신경망을 이용하여 생성된 문장의 문체를 변환하는 단계를 구비하는 것을 특징으로 한다.
Description
본 발명은 신경망을 이용한 신경망을 이용해 다양한 문체를 포함한 문장 생성 시스템 및 그 방법에 관한 것으로 더욱 상세하게는, 인공신경망을 이용하여 색인어(이하, '문장 색인어')와 대응하는 문장을 생성하되, 생성한 문장과 기 저장된 특정 문체에 대한 색인어(이하, '문체 색인어')를 쌍으로 구성하여 문체 색인어와 대응하는 문체로 문장을 생성함으로써, 동일한 내용의 문장을 다양한 문체의 문장으로 재생성하는 기술에 관한 것이다.
지능형 대화시스템 또는 다양한 자연어 처리를 위한 응용 시스템의 고유성과 다양성을 확보하기 위해서는 동일한 내용의 문장도 다양한 문체로 문장을 생성하는 기능이 필요하다.
종래의 문체 변환 기술로는 대한민국 등록특허 제1,497,411호(문체 변환 장치, 문체 변환 방법, 저장 매체, 자동 대화 서비스 시스템 및 방법)이 개시되어 있다.
그러나, 선행특허는 어미 또는 조사 변환을 위한 규칙을 수동으로 구축하는 방법으로 구성되어 있다. 따라서, 규칙을 구축하는데 많은 시간과 노동력을 필요로 한다는 문제점이 있다.
본 발명의 목적은, 시퀀스-투-시퀀스(Sequence-to-Sequence) 인공신경망을 이용하여 문장 색인어와 대응하는 문장을 생성하되, 생성한 문장과 기 저장된 문체들을 색인하기 위한 문체 색인어를 쌍으로 구성하여 문체 색인어와 대응하는 문체로 문장을 재생성함으로써, 동일한 내용의 문장을 다양한 문체의 문장으로 재생성하여 지능형 대화시스템의 고유성과 다양성을 확보하는데 있다.
이러한 기술적 과제를 달성하기 위한 본 발명은 신경망을 이용해 다양한 문체를 포함한 문장 생성 시스템으로서, 인공신경망; 인공신경망을 이용하여 입력받은 문장 색인어와 대응하는 문장을 생성하는 문장 생성부; 및 문장 생성부로부터 학습 모델 및 생성한 문장을 인가받되, 인가받은 문장과 데이터베이스에 기 저장된 문체들을 색인하여 문장과 문체를 하나의 쌍으로 구성하여 문체 색인어와 대응하는 문체로 구성된 문장을 생성하는 문체 변환부를 포함하는 것을 특징으로 한다.
바람직하게 문장 생성은 내용어, 키워드, 문장유형, 양상 또는 시재 중에 어느 하나를 포함하는 문장 색인어에 대한 문장 생성 방법을 학습하여 생성하고, 문장 생성 방법 학습은 인공신경망 학습을 통해 수행되는 것을 특징으로 한다.
문체 변환부는, 문장 생성부로부터 인가받은 학습 모델을 기반으로 인공신경망 추가학습을 통해 문체 색인어와 대응하는 문체로 구성된 문장을 생성하는 것을 특징으로 한다.
문체 변환부는, 문장 생성부로부터 인공신경망 학습을 통해 문장 생성 능력을 갖는 학습 모델을 인가받고, 인가받은 학습 모델을 통해 문체 색인어와 대응하는 문체를 추가 학습하여 문체 색인어와 대응하는 문체로 구성된 문장을 생성하는 것을 특징으로 한다.
전술한 시스템을 기반으로 하는 신경망을 이용해 다양한 문체를 포함한 문장 생성 방법은, 문장 생성부가 입력받은 문장 색인어와 대응하는 문장 생성을 위한 인공신경망 학습을 수행하는 (a) 단계; 문장 생성부가 문장 색인어와 대응하는 문장을 생성하는 (b) 단계; 문체 변환부가 문장 생성부로부터 인공신경망 학습에 따른 학습 모델 및 생성한 문장을 인가받는 (c) 단계; 및 문체 변환부가 인가받은 문장을 입력받은 문체 색인어와 대응하는 문체로 구성된 문장으로 생성하는 (d) 단계를 포함한다.
바람직하게는, (a) 단계는, 문장 생성부가 문장 색인어를 입력받는 (a-1) 단계; 문장 생성부가 데이터베이스에 기 저장된 말뭉치로부터 문장 색인어를 추출하는 (a-2) 단계; 및 문장 생성부가 인공신경망 학습을 통해 문장 색인어와 대응하는 문장 생성 방법을 학습을 수행하는 (a-3) 단계를 포함하는 것을 특징으로 한다.
(d) 단계는, 문체 변환부가 데이터베이스에 기 저장된 문체 말뭉치로부터 입력받은 문체 색인어와 대응하는 문체를 추출하는 (d-1) 단계; 문체 변환부가 인가받은 문장과 입력받은 문체 색인어를 하나의 쌍으로 구성하는 (d-2) 단계; 문체 변환부가 인가받은 학습 모델을 토대로 문체 색인어와 대응하는 문장 생성을 위한 인공신경망 학습을 수행하는 (d-3) 단계; 및 문체 변환부가 문장에 기 포함된 문체를 입력받은 문체 색인어와 대응하는 문체로 변환한 문장을 생성하는 (d-4) 단계를 포함하는 것을 특징으로 한다.
전술한 시스템을 기반으로 하는 신경망을 이용해 다양한 문체를 포함한 문장 생성 방법은, 일반 문장으로부터 추출된 색인어와 해당 문장의 쌍으로 문장 생성에 대해 학습한 후에 특정 문체의 문장으로부터 추출된 색인어와 해당 문장의 쌍으로 문체 변환에 대해 학습한 시퀀스 투 시퀀스(sequence-to-sequence) 인공신경망을 준비하는 단계; 입력된 색인어에 대해 인공신경망을 이용하여 대응하는 문장을 생성하는 단계; 및 입력된 문체 정보에 따라 인공신경망을 이용하여 상기 생성된 문장의 문체를 변환하는 단계를 구비하는 것을 특징으로 한다.
문장을 생성하는 단계는, 문장 색인어를 입력받는 단계; 입력받은 문장 색인어를 대용량의 일반 말뭉치로부터 추출하는 단계; 대용량의 일반 말뭉치로부터 추출된 색인어와 문장을 쌍으로 하여 구성하는 단계; 및 문장 색인어와 대응하는 문장을 생성하는 단계를 구비하는 것을 특징으로 한다.
문체를 변환하는 단계는, 특정 문체를 담고 있는 말뭉치로부터 추출된 색인어와 문장의 쌍을 구성하여 문체 변환을 위한 학습을 수행하는 단계; 문체 디코더의 첫번째 심볼로 문체에 해당하는 심볼 입력하는 단계; 및 심볼 입력과 대응하도록 문체를 변환하는 단계를 구비하는 것을 특징으로 한다.
상기와 같은 본 발명에 따르면, 시퀀스-투-시퀀스(Sequence-to-Sequence) 인공신경망을 이용하여 문장 색인어와 대응하는 문장을 생성하되, 생성한 문장과 기 저장된 문체들을 색인하기 위한 문체 색인어를 쌍으로 구성하여 문체 색인어와 대응하는 문체로 문장을 재생성함으로써, 동일한 내용의 문장을 다양한 문체의 문장으로 재생성하여 지능형 대화시스템의 고유성과 다양성을 확보하는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 신경망을 이용해 다양한 문체를 포함한 문장 생성 시스템을 도시한 구성도.
도 2는 본 발명의 일 실시예에 따른 신경망을 이용해 다양한 문체를 포함한 문장 생성 시스템의 문장 생성과정을 도시한 예시도.
도 3은 본 발명의 일 실시예에 따른 신경망을 이용해 다양한 문체를 포함한 문장 생성 시스템의 문체가 변환된 문장 생성 과정을 도시한 예시도.
도 4는 본 발명의 일 실시예에 따른 신경망을 이용해 다양한 문체를 포함한 문장 생성 방법을 도시한 순서도.
도 5는 본 발명의 일 실시예에 따른 신경망을 이용해 다양한 문체를 포함한 문장 생성 방법의 제S10단계의 세부과정을 도시한 순서도.
도 6은 본 발명의 일 실시예에 따른 신경망을 이용해 다양한 문체를 포함한 문장 생성 방법의 제S40단계의 세부과정을 도시한 순서도.
도 2는 본 발명의 일 실시예에 따른 신경망을 이용해 다양한 문체를 포함한 문장 생성 시스템의 문장 생성과정을 도시한 예시도.
도 3은 본 발명의 일 실시예에 따른 신경망을 이용해 다양한 문체를 포함한 문장 생성 시스템의 문체가 변환된 문장 생성 과정을 도시한 예시도.
도 4는 본 발명의 일 실시예에 따른 신경망을 이용해 다양한 문체를 포함한 문장 생성 방법을 도시한 순서도.
도 5는 본 발명의 일 실시예에 따른 신경망을 이용해 다양한 문체를 포함한 문장 생성 방법의 제S10단계의 세부과정을 도시한 순서도.
도 6은 본 발명의 일 실시예에 따른 신경망을 이용해 다양한 문체를 포함한 문장 생성 방법의 제S40단계의 세부과정을 도시한 순서도.
본 발명의 구체적인 특징 및 이점들은 첨부 도면에 의거한 다음의 상세한 설명으로 더욱 명백해질 것이다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 발명자가 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 할 것이다. 또한, 본 발명에 관련된 공지 기능 및 그 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는, 그 구체적인 설명을 생략하였음에 유의해야 할 것이다.
도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 신경망을 이용해 다양한 문체를 포함한 문장 생성 시스템(S)은, 문장 생성부(100) 및 문체 변환부(200)를 포함하여 구성된다.
본 발명의 일 실시예에 따른 신경망을 이용해 다양한 문체를 포함한 문장 생성 시스템(S)은, 일반 문장으로부터 추출된 색인어와 해당 문장의 쌍으로 문장 생성에 대해 학습한 후에 특정 문체의 문장으로부터 추출된 색인어와 해당 문장의 쌍으로 문체 변환에 대해 학습한 시퀀스 투 시퀀스(sequence-to-sequence) 인공신경망을 준비하는 단계가 선행될 수 있다.
문장 생성부(100)는 입력된 색인어에 대해 상기 인공신경망을 이용하여 대응하는 문장을 생성하고, 문체 변환부(200)는 입력된 문체 정보에 따라 상기 인공신경망을 이용하여 생성된 문장의 문체를 변환하도록 구성된다.
구체적으로, 문장 생성부(100)는 인공신경망 학습 모델을 이용하여 입력받은 문장 색인어와 대응하는 문장을 생성한다. 이때, 문장 생성은 내용어(content word), 키워드, 문장유형, 양상 또는 시재 중에 어느 하나를 포함하는 문장 색인어로부터 문장 생성 방법을 학습하여 생성한다.
구체적으로, 문장 생성 방법 학습은 인공신경망 학습을 통해 수행되며, 본 발명의 일 실시예에 따른 인공신경망은, 피드포워드(FeedForward, FFN), 합성곱신경망(Convolutional Neural Network, CNN), 순환신경망(Recurrent/Long Short Term Memory, RNN/LSTM), 배치정규화(Batch Normalization), 또는 시퀀스-투-시퀀스(Sequence-to-Sequence) 중에 어느 하나를 포함하며, 바람직하게는 시퀀스-투-시퀀스 인공신경망을 이용한다.
예컨대, 문장 생성부(100)는 "내일/명사, 학교/명사, 가/동사, '평서문', '희망', '미래' " 중에 어느 하나의 문장 색인어를 문장 인코더(110)를 통해 입력하고, "내일 학교에 가고 싶다."와 같은 문장을 문장 디코더(120)를 통해 출력 하도록 시퀀스-투-시퀀스 인공신경망 학습을 수행하게 된다.
이때, 학습에 필요한 데이터는 데이터베이스에 기 저장된 대용량 일반 말뭉치로부터 추출한 색인어를 문장 인코더(110)에 입력하고, 문장 디코더(120)에 의해 생성된 문장을 쌍으로 구성할 수 있으며, 대용량 일반 말뭉치는 신문기사, 교과서 또는 백과사전 중에 어느 하나를 포함하나 본 발명이 이에 국한되는 것은 아니다.
문체 변환부(200)는 문장 생성부(100)로부터 학습 모델 및 생성한 문장을 인가받되, 인가받은 문장과 데이터베이스에 기 저장된 문체를 하나의 쌍으로 구성하여 문체 색인어와 대응하는 문체로 구성된 문장을 생성한다.
이때, 문체 색인어와 대응하는 문체로 구성된 문장의 생성은 문장 생성부(100)로부터 인가받은 학습 모델을 기반으로 인공신경망 추가학습(fine tuning)을 통해 수행되며, 바람직하게는 시퀀스-투-시퀀스 인공신경망을 이용한다.
예컨대, "집에 가삼" 이라는 특정 어투의 문체 색인어를 추가적으로 학습함에 따라 "내일/명사, 학교/명사, 가/동사, '평서문', '희망', '미래' "라는 문장 색인어가 입력된 경우, "내일 학교에 가고 싶삼." 과 같이 문체가 변환된 문장을 생성하게 된다.
즉, 문체 변환부(200)는 문장 생성부(100)로부터 인공신경망 학습을 통해 문장 생성 능력을 갖는 학습 모델을 인가받고, 이 학습 모델을 통해 문체 색인어(예컨대, 본 발명의 일 실시예에 따른 '햇삼체')와 대응하는 문체를 추가 학습하여 문체 색인어와 대응하는 문체로 구성된 문장을 생성하게 된다.
이하, 도 2 및 도 3을 참조하여 본 발명의 일 실시예에 따른 신경망을 이용해 다양한 문체를 포함한 문장 생성 시스템(S)의 문장 생성 과정 및 문체가 변환된 문장 생성 과정에 대해 살피면 아래와 같다.
먼저, 문장 생성부(100)는 데이터베이스에 기 저장된 대용량 일반 말뭉치로부터 문장 색인어와 대응하는 문장을 추출하고, 문장 인코더(110)가 추출한 문장을 입력 값으로 설정하며, 문장 디코더(120)가 원본 문장을 출력 값으로 설정하여 시퀀스-투-시퀀스 인공신경망 모델에 대한 학습을 수행한다. 즉, 문장 생성부(100)는 문장 색인어를 키워드로 입력받은 경우, 입력받은 문장 색인어를 기반으로 문장을 생성해내는 작업을 수행하게 된다.
이때, 문장 인코더(110)가 입력받는 문장 색인어는 명사, 동사 또는 형용사 중에 어느 하나로 구성된 제1 요소와, 서술문, 의문문, 청유문 또는 명령문 중에 어느 하나로 구성된 제2 요소, 또는 행위 또는 시점 중에 어느 하나로 구성된 제3 요소 중에 어느 하나의 요소가 포함될 수 있으나, 본 발명이 이에 국한되는 것은 아니다.
아울러, 문장 생성부(100)의 문장 생성 모델은 시퀀스-투-시퀀스 모델 기반에 복사작용(Copying mechanism) 및 주의집중 작용(Attention mechanism)을 추가함으로써, 문장 생성의 품질을 향상시킬 수 있다.
전술한 바와 같이 문장 생성 모델 학습이 완료되면, 문체 변환부(200)가 문장 생성부(100)에 의해 생성된 문장의 첫 번째 단어(이하, '심볼')에 입력받은 문체 색인어를 매칭시킨다.
문체 변환부(200)는 매칭된 문체 색인어와 대응하는 문체를 데이터베이스에 기 저장된 특정 문체 말뭉치로부터 추출하고, 문체 인코더(210)가 추출한 문체 색인어를 입력 값으로 설정하며, 문체 디코더(220)가 문체가 변환된 문장을 출력 값으로 설정하여 시퀀스-투-시퀀스 인공신경망 모델에 대한 학습을 수행한다.
즉, 문제 변환부(200)는 문장 생성부(100)에 의해 생성된 문장을 입력받은 문체 색인어와 대응하는 문체로 구성된 문장으로 변환한다. 따라서, 문제 변환부(200)는 입력받은 문체 색인어 각각과 대응하도록 변환된 문장의 생성이 가능하다.
전술한 바와 같은 본 발명의 일 실시예에 따른 신경망을 이용해 다양한 문체를 포함한 문장 생성 시스템의 특징은 아래와 같다.
1. Sequence-to-Sequence 인공신경망을 이용하여 색인어로부터 문장 생성
1-1. 색인어는 내용어 키워드, 문장 유형, 양상, 시제
1-2. 학습에 필요한 데이터는 대용량의 일반 말뭉치로부터 추출된 색인어와 해당 문장을 쌍으로 하여 구성
1-3. 복사 작용과 주의집중 작용 추가
2. 특정 문체를 담고 있는 말뭉치로부터 추출된 색인어와 문장의 쌍을 구성하여 문체 변환을 위한 학습
2-1. 디코딩의 첫번째 심볼로 문체에 해당하는 심볼 입력
한편, 본 발명의 일 실시예에 따른 신경망을 이용해 다양한 문체를 포함한 문장 생성 방법은, 일반 문장으로부터 추출된 색인어와 해당 문장의 쌍으로 문장 생성에 대해 학습한 후에 특정 문체의 문장으로부터 추출된 색인어와 해당 문장의 쌍으로 문체 변환에 대해 학습한 시퀀스 투 시퀀스(sequence-to-sequence) 인공신경망을 준비하는 단계와, 입력된 색인어에 대해 인공신경망을 이용하여 대응하는 문장을 생성하는 단계와, 및 입력된 문체 정보에 따라 인공신경망을 이용하여 상기 생성된 문장의 문체를 변환하는 단계로 구비된다.
이때, 문장을 생성하는 단계는, 문장 색인어를 입력받는 단계와, 입력받은 문장 색인어를 대용량의 일반 말뭉치로부터 추출하는 단계와, 대용량의 일반 말뭉치로부터 추출된 색인어와 문장을 쌍으로 하여 구성하는 단계와, 문장 색인어와 대응하는 문장을 생성하는 단계를 구비한다.
문체를 변환하는 단계는, 특정 문체를 담고 있는 말뭉치로부터 추출된 색인어와 문장의 쌍을 구성하여 문체 변환을 위한 학습을 수행하는 단계와, 문체 디코더의 첫번째 심볼로 문체에 해당하는 심볼 입력하는 단계와, 심볼 입력과 대응하도록 문체를 변환하는 단계를 구비한다.
이하, 도 4를 참조하여 본 발명의 일 실시예에 따른 신경망을 이용해 다양한 문체를 포함한 문장 생성 방법에 대해 살피면 아래와 같다.
구체적으로, 문장 생성부(100)가 입력받은 문장 색인어와 대응하는 문장 생성을 위한 인공신경망 학습을 수행한다(S100).
이어서, 문장 생성부(100)가 문장 색인어와 대응하는 문장을 생성한다(S20).
뒤이어, 문체 변환부(200)가 문장 생성부(100)로부터 인공신경망 학습에 따른 학습 모델 및 생성한 문장을 인가받는다(S300).
그리고, 문체 변환부(200)가 인가받은 문장을 입력받은 문체 색인어와 대응하는 문체로 구성된 문장으로 생성한다(S400).
이하, 도 5를 참조하여 본 발명의 일 실시예에 따른 신경망을 이용해 다양한 문체를 포함한 문장 생성 방법의 제S100단계에 대한 세부과정에 대해 살피면 아래와 같다.
먼저, 문장 생성부(100)가 문장 색인어를 입력받는다(S102).
이어서, 문장 생성부(100)가 데이터베이스에 기 저장된 말뭉치로부터 문장 색인어를 추출한다(S104).
그리고, 문장 생성부(100)가 문장 색인어와 대응하는 문장 생성을 위한 인공신경망 학습 수행한다(S106).
이하, 도 6을 참조하여 본 발명의 일 실시예에 따른 신경망을 이용해 다양한 문체를 포함한 문장 생성 방법의 제S40단계에 대한 세부과정에 대해 살피면 아래와 같다.
제S300단계 이후, 문체 변환부(200)가 데이터베이스에 기 저장된 말뭉치로부터 입력받은 문체 색인어와 대응하는 문체를 추출한다(S402).
이어서, 문체 변환부(200)가 인가받은 문장과 입력받은 문체 색인어를 하나의 쌍으로 구성한다(S404).
뒤이어, 문체 변환부(200)가 인가받은 학습 모델을 토대로 문체 색인어와 대응하는 문장 생성을 위한 인공신경망 학습을 수행한다(S406).
그리고, 문체 변환부(200)가 상기 문장에 기 포함된 문체를 입력받은 문체 색인어와 대응하는 문체로 변환한 문장을 생성한다(S408).
이상으로 본 발명의 기술적 사상을 예시하기 위한 바람직한 실시예와 관련하여 설명하고 도시하였지만, 본 발명은 이와 같이 도시되고 설명된 그대로의 구성 및 작용에만 국한되는 것이 아니며, 기술적 사상의 범주를 일탈함이 없이 본 발명에 대해 다수의 변경 및 수정이 가능함을 당업자들은 잘 이해할 수 있을 것이다. 따라서 그러한 모든 적절한 변경 및 수정과 균등 물들도 본 발명의 범위에 속하는 것으로 간주되어야 할 것이다.
S: 신경망을 이용해 다양한 문체를 포함한 문장 생성 시스템
100: 문장 생성부
110: 문장 인코더
120: 문장 디코더
200: 문체 변환부
210: 문체 인코더
220: 문체 디코더
100: 문장 생성부
110: 문장 인코더
120: 문장 디코더
200: 문체 변환부
210: 문체 인코더
220: 문체 디코더
Claims (10)
- 문장 생성 시스템에 있어서,
인공신경망;
상기 인공신경망을 이용하여 입력받은 문장 색인어와 대응하는 문장을 생성하는 문장 생성부; 및
상기 문장 생성부로부터 학습 모델 및 생성한 문장을 인가받되, 인가받은 문장과 데이터베이스에 기 저장된 문체들을 색인하여 문장과 문체를 하나의 쌍으로 구성하여 문체 색인어와 대응하는 문체로 구성된 문장을 생성하는 문체 변환부를
포함하는 것을 특징으로 하는 신경망을 이용해 다양한 문체를 포함한 문장 생성 시스템. - 제1항에 있어서,
상기 문장 생성은 내용어, 키워드, 문장유형, 양상 또는 시재 중에 어느 하나를 포함하는 문장 색인어에 대한 문장 생성 방법을 학습하여 생성하고,
상기 문장 생성 방법 학습은 인공신경망 학습을 통해 수행되는 것을 특징으로 하는 신경망을 이용해 다양한 문체를 포함한 문장 생성 시스템. - 제1항에 있어서,
상기 문체 변환부는,
상기 문장 생성부로부터 인가받은 학습 모델을 기반으로 인공신경망 추가학습을 통해 상기 문체 색인어와 대응하는 문체로 구성된 문장을 생성하는 것을 특징으로 하는 신경망을 이용해 다양한 문체를 포함한 문장 생성 시스템. - 제1항에 있어서,
상기 문체 변환부는,
상기 문장 생성부로부터 인공신경망 학습을 통해 문장 생성 능력을 갖는 학습 모델을 인가받고, 인가받은 학습 모델을 통해 상기 문체 색인어와 대응하는 문체를 추가 학습하여 상기 문체 색인어와 대응하는 문체로 구성된 문장을 생성하는 것을 특징으로 하는 신경망을 이용해 다양한 문체를 포함한 문장 생성 시스템. - 문장 생성 방법에 있어서,
(a) 문장 생성부가 입력받은 문장 색인어와 대응하는 문장 생성을 위한 인공신경망 학습을 수행하는 단계;
(b) 문장 생성부가 문장 색인어와 대응하는 문장을 생성하는 단계;
(c) 문체 변환부가 문장 생성부로부터 인공신경망 학습에 따른 학습 모델 및 생성한 문장을 인가받는 단계; 및
(d) 문체 변환부가 인가받은 문장을 입력받은 문체 색인어와 대응하는 문체로 구성된 문장으로 생성하는 단계를
포함하는 것을 특징으로 하는 신경망을 이용해 다양한 문체를 포함한 문장 생성 방법. - 제5항에 있어서,
상기 (a) 단계는,
(a-1) 문장 생성부가 문장 색인어를 입력받는 단계;
(a-2) 문장 생성부가 데이터베이스에 기 저장된 말뭉치로부터 문장 색인어를 추출하는 단계; 및
(a-3) 문장 생성부가 문장 색인어와 대응하는 문장 생성을 위한 인공신경망 학습 수행하는 단계를
포함하는 것을 특징으로 하는 신경망을 이용해 다양한 문체를 포함한 문장 생성 방법. - 제5항에 있어서,
상기 (d) 단계는,
(d-1) 문체 변환부가 데이터베이스에 기 저장된 말뭉치로부터 입력받은 문체 색인어와 대응하는 문체를 추출하는 단계;
(d-2) 문체 변환부가 인가받은 문장과 입력받은 문체 색인어를 하나의 쌍으로 구성하는 단계;
(d-3) 문체 변환부가 인가받은 학습 모델을 토대로 문체 색인어와 대응하는 문장 생성을 위한 인공신경망 학습을 수행하는 단계; 및
(d-4) 문체 변환부가 상기 문장에 기 포함된 문체를 입력받은 문체 색인어와 대응하는 문체로 변환한 문장을 생성하는 단계를
포함하는 것을 특징으로 하는 신경망을 이용해 다양한 문체를 포함한 문장 생성 방법. - 문장 생성 방법에 있어서,
일반 문장으로부터 추출된 색인어와 해당 문장의 쌍으로 문장 생성에 대해 학습한 후에 특정 문체의 문장으로부터 추출된 색인어와 해당 문장의 쌍으로 문체 변환에 대해 학습한 시퀀스 투 시퀀스(sequence-to-sequence) 인공신경망을 준비하는 단계와,
입력된 색인어에 대해 인공신경망을 이용하여 대응하는 문장을 생성하는 단계와,
입력된 문체 정보에 따라 인공신경망을 이용하여 상기 생성된 문장의 문체를 변환하는 단계를
구비하는 것을 특징으로 하는 신경망을 이용해 다양한 문체를 포함한 문장 생성 방법. - 제8항에 있어서,
상기 문장을 생성하는 단계는,
문장 색인어를 입력받는 단계와,
입력받은 문장 색인어를 대용량의 일반 말뭉치로부터 추출하는 단계와,
대용량의 일반 말뭉치로부터 추출된 색인어와 문장을 쌍으로 하여 구성하는 단계와,
문장 색인어와 대응하는 문장을 생성하는 단계를
구비하는 것을 특징으로 하는 신경망을 이용해 다양한 문체를 포함한 문장 생성 방법. - 제8항에 있어서,
상기 문체를 변환하는 단계는,
특정 문체를 담고 있는 말뭉치로부터 추출된 색인어와 문장의 쌍을 구성하여 문체 변환을 위한 학습을 수행하는 단계와,
문체 디코더의 첫번째 심볼로 문체에 해당하는 심볼 입력하는 단계와,
심볼 입력과 대응하도록 문체를 변환하는 단계를
구비하는 것을 특징으로 하는 신경망을 이용해 다양한 문체를 포함한 문장 생성 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180043291A KR102051807B1 (ko) | 2018-04-13 | 2018-04-13 | 신경망을 이용해 다양한 문체를 포함한 문장 생성 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180043291A KR102051807B1 (ko) | 2018-04-13 | 2018-04-13 | 신경망을 이용해 다양한 문체를 포함한 문장 생성 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20190119839A true KR20190119839A (ko) | 2019-10-23 |
| KR102051807B1 KR102051807B1 (ko) | 2019-12-04 |
Family
ID=68460771
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180043291A KR102051807B1 (ko) | 2018-04-13 | 2018-04-13 | 신경망을 이용해 다양한 문체를 포함한 문장 생성 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102051807B1 (ko) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111414733A (zh) * | 2020-03-18 | 2020-07-14 | 联想(北京)有限公司 | 一种数据处理方法、装置及电子设备 |
| CN112800750A (zh) * | 2021-01-26 | 2021-05-14 | 浙江香侬慧语科技有限责任公司 | 一种无监督的非自回归古诗生成方法、装置及存储介质 |
| CN112800750B (zh) * | 2021-01-26 | 2024-06-07 | 浙江香侬慧语科技有限责任公司 | 一种无监督的非自回归古诗生成方法、装置及存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20010103151A (ko) * | 2000-02-29 | 2001-11-23 | 김영택 | 기계번역 장치 및 시스템, 방법 |
| KR101472029B1 (ko) * | 2014-09-02 | 2014-12-16 | 김창환 | 색인요소를 이용한 자연어 분석 방법 및 시스템 |
| KR101497411B1 (ko) | 2008-09-09 | 2015-03-03 | 에스케이플래닛 주식회사 | 문체 변환 장치, 문체 변환 방법, 저장 매체, 자동 대화 서비스 시스템 및 방법 |
-
2018
- 2018-04-13 KR KR1020180043291A patent/KR102051807B1/ko active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20010103151A (ko) * | 2000-02-29 | 2001-11-23 | 김영택 | 기계번역 장치 및 시스템, 방법 |
| KR101497411B1 (ko) | 2008-09-09 | 2015-03-03 | 에스케이플래닛 주식회사 | 문체 변환 장치, 문체 변환 방법, 저장 매체, 자동 대화 서비스 시스템 및 방법 |
| KR101472029B1 (ko) * | 2014-09-02 | 2014-12-16 | 김창환 | 색인요소를 이용한 자연어 분석 방법 및 시스템 |
Non-Patent Citations (8)
| Title |
|---|
| G. Tanner, Generating text using a RNN - How to use Keras to create text in the style of Sir Arthur Conan Doyle (2018.10) * |
| J. Ficler et al., Controlling Linguistic Style Aspects in Neural Language Generation, arxiv.com, 1707.02633, proc. in Stylistic Variation Workshop 2017, (2017.07.09.) 1부.* * |
| K. Gero et al., Transfer Learning for Style-Specific Text Generation, NIPS 2018 (2018.12.02) * |
| Neil Yager, Neural text generation, generate text using conditional language model, https://medium.com (2018.05.04) * |
| S. Wiseman et al., Learning Neural Templates for Text Generation, 2018 Conf. on Empirical Methods in Natural Language Proc. pp.3174-3187 (2018.10.31) * |
| 이세희 외, Neural Attention을 반영한 문장 생성 모델, 한국컴퓨터정보학회 동계학술대회 논문집 25(1) pp.17-18 (2017.01) * |
| 이현구 외, 주의집중 및 복사 작용을 가진 sequence-to-sequence 순환신경망을 이용한 제목 생성 모델, 정보과학회논문지 44(7), pp.674-679 (2017.07.) 1부.* * |
| 임미영 외, 도메인 정보가 강화된 워드 임베딩을 사용한 한국어 텍스트 생성, 한국지능시스템학회 논문지 pp.142-147 (2019) * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111414733A (zh) * | 2020-03-18 | 2020-07-14 | 联想(北京)有限公司 | 一种数据处理方法、装置及电子设备 |
| CN111414733B (zh) * | 2020-03-18 | 2022-08-19 | 联想(北京)有限公司 | 一种数据处理方法、装置及电子设备 |
| CN112800750A (zh) * | 2021-01-26 | 2021-05-14 | 浙江香侬慧语科技有限责任公司 | 一种无监督的非自回归古诗生成方法、装置及存储介质 |
| CN112800750B (zh) * | 2021-01-26 | 2024-06-07 | 浙江香侬慧语科技有限责任公司 | 一种无监督的非自回归古诗生成方法、装置及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102051807B1 (ko) | 2019-12-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108153913B (zh) | 回复信息生成模型的训练方法、回复信息生成方法及装置 | |
| CN113590761B (zh) | 文本处理模型的训练方法、文本处理方法及相关设备 | |
| CN113254616B (zh) | 面向智能问答系统的句向量生成方法及系统 | |
| CN111930914A (zh) | 问题生成方法和装置、电子设备以及计算机可读存储介质 | |
| Chen et al. | Speech bert embedding for improving prosody in neural tts | |
| Qiu et al. | Dependency-Based Local Attention Approach to Neural Machine Translation. | |
| CN115759042A (zh) | 一种基于句法感知提示学习的句子级问题生成方法 | |
| CN115906815A (zh) | 一种用于修改一种或多种类型错误句子的纠错方法及装置 | |
| Lee et al. | Adaptable multi-domain language model for transformer asr | |
| Mandal et al. | Futurity of translation algorithms for neural machine translation (NMT) and its vision | |
| KR102051807B1 (ko) | 신경망을 이용해 다양한 문체를 포함한 문장 생성 방법 | |
| Mathur et al. | A scaled‐down neural conversational model for chatbots | |
| Chen et al. | Graph meets LLM: A novel approach to collaborative filtering for robust conversational understanding | |
| CN116432663B (zh) | 基于要素简图的可控多样性专业文本生成方法及系统 | |
| CN113360601A (zh) | 一种融合主题的pgn-gan文本摘要模型 | |
| CN110705310B (zh) | 一种文章生成的方法和装置 | |
| KR101497411B1 (ko) | 문체 변환 장치, 문체 변환 방법, 저장 매체, 자동 대화 서비스 시스템 및 방법 | |
| CN111126047B (zh) | 一种同义文本生成的方法及装置 | |
| De Gasperis | Building an AIML chatter bot knowledge-base starting from a FAQ and a glossary | |
| CN113312448A (zh) | 一种诗歌生成方法、系统及可读存储介质 | |
| Chang et al. | Two-step Masked Language Model for Domain-adapting Multi-modal Task-oriented Dialogue Systems | |
| CN114638238A (zh) | 一种神经网络模型的训练方法及装置 | |
| JP6526607B2 (ja) | 学習装置、学習方法、および学習プログラム | |
| Chen et al. | LLaMA-LoRA Neural Prompt Engineering: A Deep Tuning Framework for Automatically Generating Chinese Text Logical Reasoning Thinking Chains | |
| Nie et al. | Graph neural net-based user simulator |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |