KR20180077689A - 자연어 생성 장치 및 방법 - Google Patents

자연어 생성 장치 및 방법 Download PDF

Info

Publication number
KR20180077689A
KR20180077689A KR1020160182289A KR20160182289A KR20180077689A KR 20180077689 A KR20180077689 A KR 20180077689A KR 1020160182289 A KR1020160182289 A KR 1020160182289A KR 20160182289 A KR20160182289 A KR 20160182289A KR 20180077689 A KR20180077689 A KR 20180077689A
Authority
KR
South Korea
Prior art keywords
sentence
neural network
unit
sequence
generation model
Prior art date
Application number
KR1020160182289A
Other languages
English (en)
Inventor
노형종
이연수
이준엽
장정선
Original Assignee
주식회사 엔씨소프트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 엔씨소프트 filed Critical 주식회사 엔씨소프트
Priority to KR1020160182289A priority Critical patent/KR20180077689A/ko
Priority to US15/852,403 priority patent/US11055497B2/en
Publication of KR20180077689A publication Critical patent/KR20180077689A/ko

Links

Images

Classifications

    • G06F17/28—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/55—Rule-based translation
    • G06F40/56—Natural language generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Machine Translation (AREA)

Abstract

자연어 생성 장치 및 방법이 개시된다. 본 발명의 일 실시예에 따른 자연어 생성 방법은, 복수의 데이터를 입력받는 단계, 상기 복수의 데이터로부터 하나 이상의 문장 아이디(ID)를 포함하는 문장 아이디 시퀀스를 생성하는 단계 및 상기 문장 아이디 시퀀스 및 상기 복수의 데이터로부터 상기 문장 아이디 시퀀스에 포함된 문장 아이디 각각에 대응되는 문장을 생성하는 단계를 포함한다.

Description

자연어 생성 장치 및 방법{APPARATUS AND METHOD FOR GENERATING NATURAL LANGUAGE}
본 발명의 실시예들은 자연어 생성 기술과 관련된다.
자연어 생성(Natural Language Generation, NLG) 기술은 컴퓨터를 이용하여 다양한 데이터로부터 사람이 이해할 수 있는 자연어를 생성하는 기술이다.
자연어 생성 기술을 이용한 종래 문서 생성 방식은 일반적으로 어떠한 문장을 어떠한 순서를 배치할 것인지를 결정하고, 결정된 순서에 따라 실제 문장을 생성하여 배치시키게 된다. 그러나, 이러한 과정은 일반적으로 미리 설정된 규칙에 기반하여 이루어지는 것이 일반적이나, 모든 경우에 대해 규칙을 생성하는 것은 매우 어려운 일이며, 생성된 규칙에 대한 오류를 검증하는 것 역시 시간과 노동력이 많이 필요한 작업이다.
본 발명의 실시예들은 자연어 생성 장치 및 방법을 제공하기 위한 것이다.
본 발명의 일 실시예에 따른 자연어 생성 방법은, 하나 이상의 프로세서들 및 상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치에서 수행되며, 복수의 데이터를 입력받는 단계, 상기 복수의 데이터로부터 하나 이상의 문장 아이디(ID)를 포함하는 문장 아이디 시퀀스를 생성하는 단계 및 상기 문장 아이디 시퀀스 및 상기 복수의 데이터로부터 상기 문장 아이디 시퀀스에 포함된 문장 아이디 각각에 대응되는 문장을 생성하는 단계를 포함한다.
상기 문장 아이디 시퀀스를 생성하는 단계는, 재귀 신경망(Recurrent Neural Network)에 기반한 문단 생성 모델을 이용하여 상기 문장 아이디 시퀀스를 생성할 수 있다.
상기 문단 생성 모델은, 상기 복수의 데이터로부터 고정된 길이의 은닉 상태 벡터(hidden state vector)를 생성하는 인코더(encoder)와 상기 은닉 상태 벡터로부터 상기 문장 아이디 시퀀스를 생성하는 디코더(decoder)로 구성된 인코더-디코더 구조의 재귀 신경망 모델일 수 있다.
상기 문단 생성 모델은, LSTM(Latent Short Term Memory) 유닛 또는 GRU(Gated Recurrent Unit)를 은닉 층 유닛으로 이용하는 재귀 신경망 모델일 수 있다.
상기 문단 생성 모델은, 주목 메커니즘(attention mechanism)이 적용된 재귀 신경망 모델일 수 있다.
상기 문장을 생성하는 단계는, 재귀 신경망(Recurrent Neural Network)에 기반한 문장 생성 모델을 이용하여 상기 문장을 생성할 수 있다.
상기 문장 생성 모델은, 상기 문장 아이디 시퀀스에 포함된 문장 아이디 중 하나 및 상기 복수의 데이터로부터 고정된 길이의 은닉 상태 벡터(hidden state vector)를 생성하는 인코더와 생성된 은닉 상태 벡터로부터 상기 문장을 생성하는 디코더로 구성된 인코더-디코더 구조의 재귀 신경망 모델일 수 있다.
상기 문장 생성 모델은, LSTM(Latent Short Term Memory) 유닛 또는 GRU(Gated Recurrent Unit)를 은닉 층 유닛으로 이용하는 재귀 신경망 모델일 수 있다.
상기 문장 생성 모델은, 주목 메커니즘(attention mechanism)이 적용된 재귀 신경망에 기반한 문단 생성 모델일 수 있다.
상기 문장 생성 모델은, 복사 메커니즘(copy mechanism)이 적용된 재귀 신경망 모델일 수 있다.
본 발명의 일 실시예에 따른 자연어 생성 장치는, 복수의 데이터를 입력받는 입력부, 상기 복수의 데이터로부터 하나 이상의 문장 아이디(ID)를 포함하는 문장 아이디 시퀀스를 생성하는 문단 생성부 및 상기 문장 아이디 시퀀스 및 상기 복수의 데이터로부터 상기 문장 아이디 시퀀스에 포함된 문장 아이디 각각에 대응되는 문장을 생성하는 문장 생성부를 포함한다.
상기 문단 생성부는, 재귀 신경망(Recurrent Neural Network)에 기반한 문단 생성 모델을 이용하여 상기 문장 아이디 시퀀스를 생성할 수 있다.
상기 문단 생성 모델은, 상기 복수의 데이터로부터 고정된 길이의 은닉 상태 벡터(hidden state vector)를 생성하는 인코더(encoder)와 상기 은닉 상태 벡터로부터 상기 문장 아이디 시퀀스를 생성하는 디코더(decoder)로 구성된 인코더-디코더 구조의 재귀 신경망 모델일 수 있다.
상기 문단 생성 모델은, LSTM(Latent Short Term Memory) 유닛 또는 GRU(Gated Recurrent Unit)를 은닉 층 유닛으로 이용하는 재귀 신경망 모델일 수 있다.
상기 문단 생성 모델은, 주목 메커니즘(attention mechanism)이 적용된 재귀 신경망 모델일 수 있다.
상기 문장 생성부는, 재귀 신경망(Recurrent Neural Network)에 기반한 문장 생성 모델을 이용하여 상기 문장을 생성할 수 있다.
상기 문장 생성 모델은, 상기 문장 아이디 시퀀스에 포함된 문장 아이디 중 하나 및 상기 복수의 데이터로부터 고정된 길이의 은닉 상태 벡터(hidden state vector)를 생성하는 인코더와 생성된 은닉 상태 벡터로부터 상기 문장을 생성하는 디코더로 구성된 인코더-디코더 구조의 재귀 신경망 모델일 수 있다.
상기 문장 생성 모델은, LSTM(Latent Short Term Memory) 유닛 또는 GRU(Gated Recurrent Unit)를 은닉 층 유닛으로 이용하는 재귀 신경망 모델일 수 있다.
상기 문장 생성 모델은, 주목 메커니즘(attention mechanism)이 적용된 재귀 신경망에 기반한 문단 생성 모델일 수 있다.
상기 문장 생성 모델은, 복사 메커니즘(copy mechanism)이 적용된 재귀 신경망 모델일 수 있다.
본 발명의 실시예들에 따르면, 심층 학습(deep learning) 기반으로 생성된 모델을 이용하여 문단을 구성하기 위한 문장들의 배치를 결정하고, 결정된 배치에 따라 문장을 생성할 수 있으므로, 종래 규칙 기반 자연어 생성 기술과 비교하여 규칙 생성 및 검증을 위한 노력과 시간을 줄일 수 있으며, 문단을 구성하기 위한 문장들의 배치 및 문장의 생성이 학습된 모델에 의해 확률적으로 생성되므로, 정형화되지 않은 다양한 형태의 문장 및 문단 생성이 가능하게 된다.
도 1은 본 발명의 일 실시예에 따른 자연어 생성 장치의 구성도
도 2는 본 발명의 일 실시예에 따른 인코더-디코더 구조의 재귀 신경망 모델을 이용한 문장 아이디 시퀀스 생성 과정을 나타낸 도면
도 3은 주목 메커니즘을 설명하기 위한 예시도
도 4는 본 발명의 추가적인 실시예에 따른 문장 생성 장치의 구성도
도 5는 본 발명의 일 실시예에 따른 문장 아이디 생성부의 상세 구성도
도 6은 본 발명의 일 실시예에 따른 문장 아이디 시퀀스 생성의 일 예를 나타낸 도면
도 7은 본 발명의 일 실시예에 따른 자연어 생성 방법의 순서도
도 8은 본 발명의 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도
이하, 도면을 참조하여 본 발명의 구체적인 실시형태를 설명하기로 한다. 이하의 상세한 설명은 본 명세서에서 기술된 방법, 장치 및/또는 시스템에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다.
본 발명의 실시예들을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 본 발명의 실시예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다.
도 1은 본 발명의 일 실시예에 따른 자연어 생성 장치의 구성도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 자연어 생성 장치(100)는 입력부(110), 문단 생성부(120) 및 문장 생성부(130)를 포함한다.
입력부(110)는 하나 이상의 데이터를 포함하는 복수의 데이터를 입력받는다.
이때, 입력되는 복수의 데이터는 예를 들어, 관계형 데이터 베이스(Relational Database)에 구조화된 형태로 저장된 구조화 데이터(structured data)일 수 있다. 또한, 복수의 데이터는 예를 들어, 농구, 야구 등과 같은 스포츠 경기의 경기 기록(예를 들어, 승리팀, 스코어, 구장, 팀명 등), 날씨 데이터(예를 들어, 지역, 지역별 온도, 강우량 등) 등일 수 있으나, 반드시 이에 한정되는 것은 아니며, 상술한 예 외에도 종류의 데이터가 이용될 수 있다.
문단 생성부(120)는 입력된 복수의 데이터로부터 하나 이상의 문장 아이디(ID)를 포함하는 문장 아이디 시퀀스를 생성한다.
본 발명의 일 실시예에 따르면, 문단 생성부(120)는 기 수집된 복수의 데이터와 해당 복수의 데이터에 대응되는 문장 아이디 시퀀스를 입출력 쌍으로 하는 학습 데이터를 이용하여 학습된 문단 생성 모델을 이용하여 문장 아이디 시퀀스를 생성할 수 있다.
이때, 문장 아이디는 미리 수집된 복수의 문장들 중 동일하거나 유사한 의미를 가진 문장들 또는 유사한 구조를 가진 문장들에 대해 공통적으로 할당된 아이디를 의미할 수 있다. 문단 생성 모델의 학습에 이용되는 문장 아이디 시퀀스의 생성 및 이를 이용한 문단 생성 모델의 학습에 대한 상세한 설명은 후술하기로 한다.
한편, 본 발명의 일 실시예에 따르면, 문단 생성 모델은 재귀 신경망 (Recurrent Neural Network) 모델일 수 있다.
구체적으로, 문단 생성 모델은 입력된 복수의 데이터로부터 고정된 길이의 은닉 상태 벡터(hidden state vector)를 생성하는 인코더(encoder)와 생성된 은닉 상태 벡터로부터 하나 이상의 문장 아이디로 구성된 문장 아이디 시퀀스를 생성하는 디코더(decoder)로 구성된 인코더-디코더 구조의 재귀 신경망 모델일 수 있다.
도 2는 본 발명의 일 실시예에 따른 인코더-디코더 구조의 재귀 신경망 모델을 이용한 문장 아이디 시퀀스 생성 과정을 나타낸 도면이다.
도 2를 참조하면, 우선, 문단 생성부(120)는 입력된 각 데이터를 기 설정된 차원의 임베딩 벡터(embedding vector)(X1, X2, XT)로 변환할 수 있다. 이때, 임베딩 벡터 생성을 위해 예를 들어, Word2vec과 같은 워드 임베딩(word embedding) 기법이 이용될 수 있다.
이후, 문단 생성부(120)는 재귀 신경망 모델의 인코더에 의한 인코딩 과정을 통해 임베딩 벡터(X1, X2, XT)를 은닉 상태 벡터(C)로 변환할 수 있다.
이후, 문단 생성부(120)는 재귀 신경망 모델의 디코더에 의한 디코딩 과정을 통해 은닉 상태 벡터(C)를 각각 특정 문장 아이디에 대응되는 기 설정된 차원의 임베딩 벡터(Y1, Y2, YT ')로 변환할 수 있다.
이후, 문단 생성부(120)는 변환된 임베딩 벡터(Y1, Y2, YT ')를 각각 대응되는 문장 아이디로 변환하여 문장 아이디 시퀀스를 생성할 수 있다. 이때, 임베딩 벡터(Y1, Y2, YT') 각각을 대응되는 문장 아이디로 변환하기 위해 예를 들어, Word2vec과 같은 워드 임베딩(word embedding) 기법이 이용될 수 있다.
한편, 본 발명의 일 실시예에 따르면, 문단 생성 모델은 재귀 신경망의 인코더와 디코더의 은닉 층(hidden layer) 유닛(unit)으로 LSTM(Latent Short Term Memory) 유닛 또는 GRU(Gated Recurrent Unit)를 이용하는 재귀 신경망 모델일 수 있다.
또한, 본 발명의 일 실시예에 따르면, 문단 생성 모델은 주목 메커니즘(attention mechanism)이 적용된 재귀 신경망 모델일 수 있다.
구체적으로, 도 3은 주목 메커니즘을 설명하기 위한 예시도이다.
도 3을 참조하면, 주목 메커니즘이 적용된 재귀 신경망 모델은 디코더에서 출력되는 현재 시점(t)의 출력(yt)에 관련된 입력(X1, X2, X3, XT)에 더 많은 비중을 두기 위한 것으로, 현재 시점의 출력(yt)을 위한 은닉 상태 벡터(C)가 고정되지 않고 인코더의 은닉 층(310) 출력에 가중치(αt,1, αt,2, αt,3, αt,4)를 곱한 선형 조합으로 정의된다. 이때, 가중치(αt,1, αt,2, αt,3, αt,4)는 현재 시점의 출력(yt)에 대한 관련도를 나타낸다.
문장 생성부(130)는 문단 생성부(120)에 의해 생성된 문장 아이디 시퀀스와 입력부(110)를 통해 입력된 복수의 데이터를 이용하여 문장 아이디 시퀀스에 포함된 각 문장 아이디에 대응되는 문장을 생성한다.
구체적으로, 문단 생성부(130)는 문단 생성부(120)에 의해 생성된 문장 아이디 시퀀스에 포함된 특정 문장 아이디와 입력부(110)를 통해 입력된 복수의 데이터를 이용하여 해당 특정 문장 아이디에 대응되는 문장을 생성할 수 있다. 또한, 문단 생성부(120)는 동일한 방식으로 문장 아이디 시퀀스에 포함된 다른 문장 아이디 각각에 대응되는 문장을 생성할 수 있다.
한편, 본 발명의 일 실시예에 따르면 문장 생성부(130)는 문장 생성 모델을 이용하여 문장 아이디 시퀀스에 포함된 문장 아이디 각각에 대응되는 문장을 생성할 수 있다. 이때, 문장 생성 모델은 기 수집된 복수의 데이터 및 미리 생성된 문장 아이디를 입력으로 하고, 해당 복수의 데이터 및 문장 아이디에 대응되는 문장을 출력으로 하는 학습 데이터를 이용하여 학습된 모델일 수 있다.
구체적으로, 본 발명의 일 실시예에 따르면, 문장 생성 모델은 입력부(110)로 입력된 복수의 데이터와 문단 생성부(120)에서 생성된 문장 아이디 시퀀스에 포함된 문장 아이디 중 하나를 포함하는 입력 시퀀스로부터 고정된 길이의 은닉 상태 벡터를 생성하는 인코더와 생성된 은닉 상태 벡터로부터 문장을 생성하는 디코더로 구성된 인코더-디코더 구조의 재귀 신경망 모델일 수 있다.
또한, 본 발명의 일 실시예에 따르면, 문장 생성 모델은 재귀 신경망의 인코더와 디코더의 은닉 층 유닛으로 LSTM(Latent Short Term Memory) 유닛 또는 GRU(Gated Recurrent Unit)를 이용하는 재귀 신경망 모델일 수 있다.
또한, 본 발명의 일 실시예에 따르면, 문장 생성 모델은 주목 메커니즘(attention mechanism)이 적용된 재귀 신경망 모델일 수 있다.
또한, 본 발명의 일 실시예에 따르면, 문장 생성 모델은 복사 메커니즘(copy mechanism)이 적용된 재귀 신경망 모델일 수 있다. 이때, 복사 메커니즘은 학습되지 않은 미등록어(Out Of Vocabulary, OOV)에 의해 발생할 수 있는 오류를 해결하기 위한 방법 중 하나로서, 재귀 신경망 모델의 입력에 미등록어가 포함된 경우, 재귀 신경망 모델에 의해 생성되는 문장에 해당 미등록어가 그대로 포함되도록 하는 메커니즘을 의미한다.
도 4는 본 발명의 추가적인 실시예에 따른 문장 생성 장치의 구성도이다.
도 4를 참조하면, 문장 생성 장치(400)는 문장 아이디 생성부(140), 문단 생성 모델 학습부(150) 및 문장 생성 모델 학습부(160)를 더 포함할 수 있다.
문장 아이디 생성부(140)는 미리 수집된 복수의 문단 각각에 포함된 문장들을 하나 이상의 클러스터로 분류하고, 동일한 클러스터로 분류된 문장들에 동일한 문장 아이디를 할당할 수 있다.
구체적으로, 도 5는 본 발명의 일 실시예에 따른 문장 아이디 생성부(140)의 상세 구성도이다.
도 5를 참조하면, 문장 아이디 생성부(140)는 문장 벡터 생성부(141), 클러스터링부(142) 및 아이디 시퀀스 생성부(143)를 포함할 수 있다.
문장 벡터 생성부(141)는 미리 수집된 복수의 문단 각각에 포함된 문장들 각각에 대한 문장 벡터(sentence vector)를 생성할 수 있다.
구체적으로, 본 발명의 일 실시예에 따르면, 문장 벡터 생성부(141)는 문장 벡터 생성을 위해 하나의 문장을 입력 받아 고정된 길이의 은닉 상태 벡터를 생성하는 인코더와 생성된 은닉 상태 벡터로부터 문장을 생성하는 디코더로 구성된 인코더-디코더 구조의 재귀 신경망 모델을 이용하여 문장 벡터를 생성할 수 있다. 구체적으로, 문장 벡터 생성부(141)는 재귀 신경망 모델의 인코더를 이용하여 각 문장들에 대한 은닉 상태 벡터를 생성하고, 생성된 은닉 상태 벡터를 각 문장에 대한 문장 벡터로 이용할 수 있다.
한편, 클러스터링부(142)는 문장 벡터 생성부(141)에서 생성된 문장 벡터를 이용하여 복수의 문단에 각각에 포함된 문장들을 하나 이상의 클러스터로 분류하고, 동일한 클러스터로 분류된 문장들에 동일한 문장 아이디를 할당할 수 있다.
구체적으로, 본 발명의 일 실시예에 따르면, 클러스터링부(142)는 문장 벡터 사이의 유사도에 기반하여 복수의 문단 각각에 포함된 문장들을 하나 이상의 클러스터로 분류할 수 있다.
예를 들어, 클러스터링부(142)는 문장 벡터 사이의 코사인 유사도(cosine similarity)를 이용한 K-평균 클러스터링(K-mean clustering) 알고리즘을 이용하여 복수의 문단 각각에 포함된 문장들을 k개의 클러스터로 분류할 수 있다.
다른 예로, 클러스터링부(142)는 분류할 클러스터의 수를 정하지 않은 점진적 클러스터링(incremental clustering) 방식을 이용하여 복수의 문서에 포함된 문장들을 하나 이상의 클러스터로 분류할 수 있다.
한편, 복수의 문서 각각에 포함된 문장들에 대한 클러스터링 방식은 반드시 상술한 예에 한정되는 것은 아니므로, K-평균 클러스터링, 점진적 클러스터링 외에도 다양한 방식의 클러스터링 기법이 이용될 수 있다.
아이디 시퀀스 생성부(143)는 클러스터링부(142)에 의해 생성된 각 문장의 문장 아이디를 이용하여, 각 문단에 포함된 문장들 각각에 할당된 문장 아이디들로 구성된 문장 아이디 시퀀스를 생성할 수 있다.
예를 들어, 도 6에 도시된 예와 같이 하나의 문단(610)이 세 개의 문장(620, 630, 640)으로 이루어져 있고, 클러스터링부(142)에 의해 각 문장(620, 630, 640)에 대해 할당된 문장 아이디가 각각 C3, C1, C5인 것으로 가정하면, 아이디 시퀀스 생성부(143)는 {C3, C1, C5}를 해당 문단(610)에 대한 문장 아이디 시퀀스로 생성할 수 있다.
한편, 문단 생성 모델 학습부(150)는 문장 아이디 생성부(140)에서 문장 아이디 시퀀스 생성을 위해 이용된 문단과 관련된 복수의 데이터와 해당 문단에 대한 문장 아이디 시퀀스를 입출력 쌍으로 하는 학습 데이터를 이용하여 문단 생성 모델의 파라미터를 학습할 수 있다. 이때, 문단 생성 모델 학습을 위해 예를 들어, 오류 역전파(back propagation) 알고리즘이 이용될 수 있다.
한편, 문단 생성 모델의 학습을 위해 사용되는 복수의 데이터는 문장 아이디 생성부(130)에서 문장 아이디 시퀀스 생성을 위해 수집된 문단과 함께 수집되거나 사용자에 의해 생성될 수 있다. 예를 들어, 수집된 문단이 야구 경기의 경기 요약을 서술하는 문단인 것으로 가정하면, 해당 문단과 관련된 데이터는 해당 야구 경기에 대한 경기 결과 데이터(예를 들어, 승리팀, 점수, 경기일자, 선발투수 등)일 수 있다.
문장 생성 모델 학습부(160)는 문장 아이디 생성부(140)에서 문장 아이디 시퀀스 생성을 위해 이용된 문단과 관련된 복수의 데이터와 해당 문단에 포함된 문장 중 하나에 할당된 문장 아이디를 입력으로 하고, 입력된 문장 아이디가 할당된 문장을 출력으로 하는 학습 데이터를 이용하여 문장 생성 모델의 파라미터를 학습할 수 있다. 이때, 문장 생성 모델 학습을 위해 예를 들어, 오류 역전파(back propagation) 알고리즘이 이용될 수 있다.
한편, 일 실시예에서, 도 1 및 도 4에 도시된 자연어 생성 장치(100, 140)는 하나 이상의 프로세서 및 그 프로세서와 연결된 컴퓨터 판독 가능 기록 매체를 포함하는 컴퓨팅 장치 상에서 구현될 수 있다. 컴퓨터 판독 가능 기록 매체는 프로세서의 내부 또는 외부에 있을 수 있고, 잘 알려진 다양한 수단으로 프로세서와 연결될 수 있다. 컴퓨팅 장치 내의 프로세서는 각 컴퓨팅 장치로 하여금 본 명세서에서 기술되는 예시적인 실시예에 따라 동작하도록 할 수 있다. 예를 들어, 프로세서는 컴퓨터 판독 가능 기록 매체에 저장된 명령어를 실행할 수 있고, 컴퓨터 판독 가능 기록 매체에 저장된 명령어는 프로세서에 의해 실행되는 경우 컴퓨팅 장치로 하여금 본 명세서에 기술되는 예시적인 실시예에 따른 동작들을 수행하도록 구성될 수 있다.
도 7은 본 발명의 일 실시예에 따른 자연어 생성 방법의 순서도이다.
도 7에 도시된 방법은 예를 들어, 도 1에 도시된 문장 생성 장치(100)에 의해 수행될 수 있다.
한편, 도 7에 도시된 순서도에서는 상기 방법을 복수 개의 단계로 나누어 기재하였으나, 적어도 일부의 단계들은 순서를 바꾸어 수행되거나, 다른 단계와 결합되어 함께 수행되거나, 생략되거나, 세부 단계들로 나뉘어 수행되거나, 또는 도시되지 않은 하나 이상의 단계가 부가되어 수행될 수 있다.
도 7을 참조하면, 우선, 문장 생성 장치(100)는 복수의 데이터를 입력받는다(710).
이후, 문장 생성 장치(100)는 입력된 복수의 데이터로부터 하나 이상의 문장 아이디를 포함하는 문장 아이디 시퀀스를 생성한다(720).
본 발명의 일 실시예에 따르면, 문장 생성 장치(100)는 기 수집된 복수의 데이터와 해당 복수의 데이터에 대응되는 문장 아이디 시퀀스를 입출력 쌍으로 하는 학습 데이터를 이용하여 학습된 문단 생성 모델을 이용하여 입력된 복수의 데이터로부터 문장 아이디 시퀀스를 생성할 수 있다.
이때, 본 발명의 일 실시예에 따르면, 문단 생성 모델은 재귀 신경망 모델일 수 있다.
구체적으로, 본 발명의 일 실시예에 따르면, 문단 생성 모델은 입력된 복수의 데이터로부터 고정된 길이의 은닉 상태 벡터를 생성하는 인코더와 은닉 상태 벡터로부터 문장 아이디 시퀀스를 생성하는 디코더로 구성된 인코더-디코더 구조의 재귀 신경망 모델일 수 있다.
한편, 본 발명의 일 실시예에 따르면, 문단 생성 모델은 LSTM 유닛 또는 GRU를 은닉 층 유닛으로 이용하는 재귀 신경망 모델일 수 있다.
또한, 본 발명의 일 실시예에 따르면, 문단 생성 모델은 주목 메커니즘이 적용된 재귀 신경망 모델일 수 있다.
이후, 문장 생성 장치(100)는 생성된 문장 아이디 시퀀스 및 입력된 복수의 데이터로부터 문장 아이디 시퀀스에 포함된 문장 아이디 각각에 대응되는 문장을 생성한다(730).
본 발명의 일 실시예에 따르면 문장 생성 장치(100)는 기 수집된 복수의 데이터 및 미리 생성된 문장 아이디를 입력으로 하고, 해당 복수의 데이터 및 문장 아이디에 대응되는 문장을 출력으로 하는 학습 데이터를 이용하여 학습된 문장 생성 모델을 이용하여 문장 아이디 시퀀스에 포함된 문장 아이디 각각에 대응되는 문장을 생성할 수 있다.
이때, 본 발명의 일 실시예에 따르면, 문장 생성 모델은 재귀 신경망 모델일 수 있다.
구체적으로, 본 발명의 일 실시예에 따르면, 문장 생성 모델은 문장 아이디 시퀀스에 포함된 문장 아이디 중 하나와 입력된 복수의 데이터로부터 고정된 길이의 은닉 상태 벡터를 생성하는 인코더와 생성된 은닉 상태 벡터로부터 문장을 생성하는 디코더로 구성된 인코더-디코더 구조의 재귀 신경망 모델일 수 있다.
한편, 본 발명의 일 실시예에 따르면, 문장 생성 모델은 LSTM 유닛 또는 GRU를 은닉 층 유닛으로 이용하는 재귀 신경망 모델일 수 있다.
또한, 본 발명의 일 실시예에 따르면, 문장 생성 모델은 주목 메커니즘이 적용된 재귀 신경망 모델일 수 있다.
또한, 본 발명의 일 실시예에 따르면, 문장 생성 모델은 복사 메커니즘이 적용된 재귀 신경망 모델일 수 있다.
도 8은 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경(10)을 예시하여 설명하기 위한 블록도이다. 도시된 실시예에서, 각 컴포넌트들은 이하에 기술된 것 이외에 상이한 기능 및 능력을 가질 수 있고, 이하에 기술된 것 이외에도 추가적인 컴포넌트를 포함할 수 있다.
도시된 컴퓨팅 환경(10)은 컴퓨팅 장치(12)를 포함한다. 일 실시예에서, 컴퓨팅 장치(12)는 본 발명의 실시예들에 따른 자연어 생성 장치(100, 400)일 수 있다. 컴퓨팅 장치(12)는 적어도 하나의 프로세서(14), 컴퓨터 판독 가능 저장 매체(16) 및 통신 버스(18)를 포함한다. 프로세서(14)는 컴퓨팅 장치(12)로 하여금 앞서 언급된 예시적인 실시예에 따라 동작하도록 할 수 있다. 예컨대, 프로세서(14)는 컴퓨터 판독 가능 저장 매체(16)에 저장된 하나 이상의 프로그램들을 실행할 수 있다. 상기 하나 이상의 프로그램들은 하나 이상의 컴퓨터 실행 가능 명령어를 포함할 수 있으며, 상기 컴퓨터 실행 가능 명령어는 프로세서(14)에 의해 실행되는 경우 컴퓨팅 장치(12)로 하여금 예시적인 실시예에 따른 동작들을 수행하도록 구성될 수 있다.
컴퓨터 판독 가능 저장 매체(16)는 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보를 저장하도록 구성된다. 컴퓨터 판독 가능 저장 매체(16)에 저장된 프로그램(20)은 프로세서(14)에 의해 실행 가능한 명령어의 집합을 포함한다. 일 실시예에서, 컴퓨터 판독 가능 저장 매체(16)는 메모리(랜덤 액세스 메모리와 같은 휘발성 메모리, 비휘발성 메모리, 또는 이들의 적절한 조합), 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 그 밖에 컴퓨팅 장치(12)에 의해 액세스되고 원하는 정보를 저장할 수 있는 다른 형태의 저장 매체, 또는 이들의 적합한 조합일 수 있다.
통신 버스(18)는 프로세서(14), 컴퓨터 판독 가능 저장 매체(16)를 포함하여 컴퓨팅 장치(12)의 다른 다양한 컴포넌트들을 상호 연결한다.
컴퓨팅 장치(12)는 또한 하나 이상의 입출력 장치(24)를 위한 인터페이스를 제공하는 하나 이상의 입출력 인터페이스(22) 및 하나 이상의 네트워크 통신 인터페이스(26)를 포함할 수 있다. 입출력 인터페이스(22) 및 네트워크 통신 인터페이스(26)는 통신 버스(18)에 연결된다. 입출력 장치(24)는 입출력 인터페이스(22)를 통해 컴퓨팅 장치(12)의 다른 컴포넌트들에 연결될 수 있다. 예시적인 입출력 장치(24)는 포인팅 장치(마우스 또는 트랙패드 등), 키보드, 터치 입력 장치(터치패드 또는 터치스크린 등), 음성 또는 소리 입력 장치, 다양한 종류의 센서 장치 및/또는 촬영 장치와 같은 입력 장치, 및/또는 디스플레이 장치, 프린터, 스피커 및/또는 네트워크 카드와 같은 출력 장치를 포함할 수 있다. 예시적인 입출력 장치(24)는 컴퓨팅 장치(12)를 구성하는 일 컴포넌트로서 컴퓨팅 장치(12)의 내부에 포함될 수도 있고, 컴퓨팅 장치(12)와는 구별되는 별개의 장치로 구현되어 컴퓨팅 장치(12)와 연결될 수도 있다.
한편, 본 발명의 실시예는 본 명세서에서 기술한 방법들을 컴퓨터상에서 수행하기 위한 프로그램을 포함하는 컴퓨터 판독 가능 기록매체를 포함할 수 있다. 상기 컴퓨터 판독 가능 기록매체는 프로그램 명령, 로컬 데이터 파일, 로컬 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나, 또는 컴퓨터 소프트웨어 분야에서 통상적으로 사용 가능한 것일 수 있다. 컴퓨터 판독 가능 기록매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광 기록 매체, 플로피 디스크와 같은 자기-광 매체, 및 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다.
이상에서 본 발명의 대표적인 실시예들을 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
100, 400: 자연어 생성 장치
110: 입력부
120: 문단 생성부
130: 문장 생성부
140: 문장 아이디 생성부
150: 문단 생성 모델 학습부
160: 문장 생성 모델 학습부
141: 문장 벡터 생성부
142: 클러스터링부
143: 아이디 시퀀스 생성부

Claims (20)

  1. 하나 이상의 프로세서들, 및
    상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치에서 수행되는 방법으로서,
    복수의 데이터를 입력받는 단계;
    상기 복수의 데이터로부터 하나 이상의 문장 아이디(ID)를 포함하는 문장 아이디 시퀀스를 생성하는 단계; 및
    상기 문장 아이디 시퀀스 및 상기 복수의 데이터로부터 상기 문장 아이디 시퀀스에 포함된 문장 아이디 각각에 대응되는 문장을 생성하는 단계를 포함하는 자연어 생성 방법.
  2. 청구항 1에 있어서,
    상기 문장 아이디 시퀀스를 생성하는 단계는, 재귀 신경망(Recurrent Neural Network)에 기반한 문단 생성 모델을 이용하여 상기 문장 아이디 시퀀스를 생성하는 자연어 생성 방법.
  3. 청구항 2에 있어서,
    상기 문단 생성 모델은, 상기 복수의 데이터로부터 고정된 길이의 은닉 상태 벡터(hidden state vector)를 생성하는 인코더(encoder)와 상기 은닉 상태 벡터로부터 상기 문장 아이디 시퀀스를 생성하는 디코더(decoder)로 구성된 인코더-디코더 구조의 재귀 신경망 모델인 자연어 생성 방법.
  4. 청구항 2에 있어서,
    상기 문단 생성 모델은, LSTM(Latent Short Term Memory) 유닛 또는 GRU(Gated Recurrent Unit)를 은닉 층(hidden layer) 유닛으로 이용하는 재귀 신경망 모델인 자연어 생성 방법.
  5. 청구항 2에 있어서,
    상기 문단 생성 모델은, 주목 메커니즘(attention mechanism)이 적용된 재귀 신경망 모델인 자연어 생성 방법.
  6. 청구항 1에 있어서,
    상기 문장을 생성하는 단계는, 재귀 신경망(Recurrent Neural Network)에 기반한 문장 생성 모델을 이용하여 상기 문장을 생성하는 자연어 생성 방법.
  7. 청구항 6에 있어서,
    상기 문장 생성 모델은, 상기 문장 아이디 시퀀스에 포함된 문장 아이디 중 하나 및 상기 복수의 데이터로부터 고정된 길이의 은닉 상태 벡터(hidden state vector)를 생성하는 인코더와 생성된 은닉 상태 벡터로부터 상기 문장을 생성하는 디코더로 구성된 인코더-디코더 구조의 재귀 신경망 모델인 자연어 생성 방법.
  8. 청구항 6에 있어서,
    상기 문장 생성 모델은, LSTM(Latent Short Term Memory) 유닛 또는 GRU(Gated Recurrent Unit)를 은닉 층(hidden layer) 유닛으로 이용하는 재귀 신경망 모델인 자연어 생성 방법.
  9. 청구항 6에 있어서,
    상기 문장 생성 모델은, 주목 메커니즘(attention mechanism)이 적용된 재귀 신경망에 기반한 문단 생성 모델인 자연어 생성 방법.
  10. 청구항 6에 있어서,
    상기 문장 생성 모델은, 복사 메커니즘(copy mechanism)이 적용된 재귀 신경망 모델인 자연어 생성 방법.
  11. 복수의 데이터를 입력받는 입력부;
    상기 복수의 데이터로부터 하나 이상의 문장 아이디(ID)를 포함하는 문장 아이디 시퀀스를 생성하는 문단 생성부; 및
    상기 문장 아이디 시퀀스 및 상기 복수의 데이터로부터 상기 문장 아이디 시퀀스에 포함된 문장 아이디 각각에 대응되는 문장을 생성하는 문장 생성부를 포함하는 자연어 생성 장치.
  12. 청구항 11에 있어서,
    상기 문단 생성부는, 재귀 신경망(Recurrent Neural Network)에 기반한 문단 생성 모델을 이용하여 상기 문장 아이디 시퀀스를 생성하는 자연어 생성 장치.
  13. 청구항 12에 있어서,
    상기 문단 생성 모델은, 상기 복수의 데이터로부터 고정된 길이의 은닉 상태 벡터(hidden state vector)를 생성하는 인코더(encoder)와 상기 은닉 상태 벡터로부터 상기 문장 아이디 시퀀스를 생성하는 디코더(decoder)로 구성된 인코더-디코더 구조의 재귀 신경망 모델인 자연어 생성 장치.
  14. 청구항 12에 있어서,
    상기 문단 생성 모델은, LSTM(Latent Short Term Memory) 유닛 또는 GRU(Gated Recurrent Unit)를 은닉 층 유닛으로 이용하는 재귀 신경망 모델인 자연어 생성 장치.
  15. 청구항 12에 있어서,
    상기 문단 생성 모델은, 주목 메커니즘(attention mechanism)이 적용된 재귀 신경망 모델인 자연어 생성 장치.
  16. 청구항 11에 있어서,
    상기 문장 생성부는, 재귀 신경망(Recurrent Neural Network)에 기반한 문장 생성 모델을 이용하여 상기 문장을 생성하는 자연어 생성 장치.
  17. 청구항 16에 있어서,
    상기 문장 생성 모델은, 상기 문장 아이디 시퀀스에 포함된 문장 아이디 중 하나 및 상기 복수의 데이터로부터 고정된 길이의 은닉 상태 벡터(hidden state vector)를 생성하는 인코더와 생성된 은닉 상태 벡터로부터 상기 문장을 생성하는 디코더로 구성된 인코더-디코더 구조의 재귀 신경망 모델인 자연어 생성 장치.
  18. 청구항 16에 있어서,
    상기 문장 생성 모델은, LSTM(Latent Short Term Memory) 유닛 또는 GRU(Gated Recurrent Unit)를 은닉 층 유닛으로 이용하는 재귀 신경망 모델인 자연어 생성 장치.
  19. 청구항 16에 있어서,
    상기 문장 생성 모델은, 주목 메커니즘(attention mechanism)이 적용된 재귀 신경망에 기반한 문단 생성 모델인 자연어 생성 장치.
  20. 청구항 16에 있어서,
    상기 문장 생성 모델은, 복사 메커니즘(copy mechanism)이 적용된 재귀 신경망 모델인 자연어 생성 장치.
KR1020160182289A 2016-12-29 2016-12-29 자연어 생성 장치 및 방법 KR20180077689A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020160182289A KR20180077689A (ko) 2016-12-29 2016-12-29 자연어 생성 장치 및 방법
US15/852,403 US11055497B2 (en) 2016-12-29 2017-12-22 Natural language generation of sentence sequences from textual data with paragraph generation model

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160182289A KR20180077689A (ko) 2016-12-29 2016-12-29 자연어 생성 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20180077689A true KR20180077689A (ko) 2018-07-09

Family

ID=62711857

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160182289A KR20180077689A (ko) 2016-12-29 2016-12-29 자연어 생성 장치 및 방법

Country Status (2)

Country Link
US (1) US11055497B2 (ko)
KR (1) KR20180077689A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020122994A1 (en) * 2018-12-14 2020-06-18 Western Digital Technologies, Inc. Hardware accelerated discretized neural network
KR102240303B1 (ko) 2019-12-30 2021-05-27 (주)제타큐브사이언스 데이터 테이블로부터의 자연어 생성 방법 및 데이터 테이블로부터의 자연어 생성을 수행하는 전자 장치

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11288328B2 (en) 2014-10-22 2022-03-29 Narrative Science Inc. Interactive and conversational data exploration
WO2016077797A1 (en) 2014-11-14 2016-05-19 Google Inc. Generating natural language descriptions of images
WO2018142378A1 (en) 2017-02-06 2018-08-09 Deepmind Technologies Limited Memory augmented generative temporal models
US11568148B1 (en) 2017-02-17 2023-01-31 Narrative Science Inc. Applied artificial intelligence technology for narrative generation based on explanation communication goals
US11954445B2 (en) 2017-02-17 2024-04-09 Narrative Science Llc Applied artificial intelligence technology for narrative generation based on explanation communication goals
JP6894534B2 (ja) * 2017-10-31 2021-06-30 ▲騰▼▲訊▼科技（深▲セン▼）有限公司 情報処理方法及び端末、コンピュータ記憶媒体
KR102608469B1 (ko) * 2017-12-22 2023-12-01 삼성전자주식회사 자연어 생성 방법 및 장치
US10963649B1 (en) 2018-01-17 2021-03-30 Narrative Science Inc. Applied artificial intelligence technology for narrative generation using an invocable analysis service and configuration-driven analytics
US10755046B1 (en) 2018-02-19 2020-08-25 Narrative Science Inc. Applied artificial intelligence technology for conversational inferencing
US11042713B1 (en) 2018-06-28 2021-06-22 Narrative Scienc Inc. Applied artificial intelligence technology for using natural language processing to train a natural language generation system
JP7130233B2 (ja) * 2018-08-06 2022-09-05 国立研究開発法人情報通信研究機構 要約生成装置、および学習方法
CN109543200B (zh) * 2018-11-30 2022-04-15 腾讯科技（深圳）有限公司 一种文本翻译方法及装置
US11341330B1 (en) 2019-01-28 2022-05-24 Narrative Science Inc. Applied artificial intelligence technology for adaptive natural language understanding with term discovery
US11132511B2 (en) * 2019-02-05 2021-09-28 International Business Machines Corporation System for fine-grained affective states understanding and prediction
US11501159B2 (en) * 2019-03-26 2022-11-15 Alibaba Group Holding Limited Methods and systems for text sequence style transfer by two encoder decoders
CN111581986A (zh) * 2020-05-13 2020-08-25 识因智能科技(北京)有限公司 一种基于动态推敲网络的自然语言生成方法
CN113489751B (zh) * 2021-09-07 2021-12-10 浙江大学 一种基于深度学习的网络流量过滤规则转化方法
US11516158B1 (en) 2022-04-20 2022-11-29 LeadIQ, Inc. Neural network-facilitated linguistically complex message generation systems and methods

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5664174A (en) * 1995-05-09 1997-09-02 International Business Machines Corporation System and method for discovering similar time sequences in databases
US6052657A (en) * 1997-09-09 2000-04-18 Dragon Systems, Inc. Text segmentation and identification of topic using language models
AUPQ138199A0 (en) * 1999-07-02 1999-07-29 Telstra R & D Management Pty Ltd A search system
US7213027B1 (en) * 2000-03-21 2007-05-01 Aol Llc System and method for the transformation and canonicalization of semantically structured data
US6941513B2 (en) * 2000-06-15 2005-09-06 Cognisphere, Inc. System and method for text structuring and text generation
US20070244690A1 (en) * 2003-11-21 2007-10-18 Koninklijke Philips Electronic, N.V. Clustering of Text for Structuring of Text Documents and Training of Language Models
JP2008065395A (ja) * 2006-09-04 2008-03-21 Fuji Xerox Co Ltd 翻訳装置、翻訳方法および翻訳プログラム
US7783640B2 (en) * 2006-11-03 2010-08-24 Oracle International Corp. Document summarization
US8510249B2 (en) * 2008-10-10 2013-08-13 Nec Corporation Determining whether text information corresponds to target information
JP4993319B2 (ja) * 2009-02-13 2012-08-08 インターナショナル・ビジネス・マシーンズ・コーポレーション ソフトウェアの国際化の検証を支援する装置及び方法
US8457948B2 (en) * 2010-05-13 2013-06-04 Expedia, Inc. Systems and methods for automated content generation
WO2011148571A1 (ja) * 2010-05-24 2011-12-01 日本電気株式会社 情報抽出システム、方法及びプログラム
US8515736B1 (en) * 2010-09-30 2013-08-20 Nuance Communications, Inc. Training call routing applications by reusing semantically-labeled data collected for prior applications
HUE030528T2 (en) * 2012-03-15 2017-05-29 Cortical Io Gmbh Process, equipment and product for semantic processing of texts
WO2015047377A1 (en) * 2013-09-30 2015-04-02 Hewlett-Packard Development Company, L.P. Delivering an email attachment as a summary
US10181098B2 (en) * 2014-06-06 2019-01-15 Google Llc Generating representations of input sequences using neural networks
US9753916B2 (en) * 2014-06-19 2017-09-05 International Business Machines Corporation Automatic generation of a speech by processing raw claims to a set of arguments
US10049148B1 (en) * 2014-08-14 2018-08-14 Medallia, Inc. Enhanced text clustering based on topic clusters
JP2016057986A (ja) * 2014-09-11 2016-04-21 株式会社東芝 音声翻訳装置、方法およびプログラム
US9575952B2 (en) * 2014-10-21 2017-02-21 At&T Intellectual Property I, L.P. Unsupervised topic modeling for short texts
US9971760B2 (en) * 2014-12-22 2018-05-15 International Business Machines Corporation Parallelizing semantically split documents for processing
US9473637B1 (en) * 2015-07-28 2016-10-18 Xerox Corporation Learning generation templates from dialog transcripts
US10083169B1 (en) * 2015-08-28 2018-09-25 Google Llc Topic-based sequence modeling neural networks
US10395118B2 (en) * 2015-10-29 2019-08-27 Baidu Usa Llc Systems and methods for video paragraph captioning using hierarchical recurrent neural networks
US10489439B2 (en) * 2016-04-14 2019-11-26 Xerox Corporation System and method for entity extraction from semi-structured text documents
US11250841B2 (en) * 2016-06-10 2022-02-15 Conduent Business Services, Llc Natural language generation, a hybrid sequence-to-sequence approach
US10546230B2 (en) * 2016-08-12 2020-01-28 International Business Machines Corporation Generating labeled data by sequence-to-sequence modeling with added perturbations to encoded information
US10430521B2 (en) * 2016-09-02 2019-10-01 Sap Se Translatable texts in cloud applications
US10366163B2 (en) * 2016-09-07 2019-07-30 Microsoft Technology Licensing, Llc Knowledge-guided structural attention processing
US10489719B2 (en) * 2016-09-09 2019-11-26 Facebook, Inc. Shared per content provider prediction models
US20180075368A1 (en) * 2016-09-12 2018-03-15 International Business Machines Corporation System and Method of Advising Human Verification of Often-Confused Class Predictions
US11205110B2 (en) * 2016-10-24 2021-12-21 Microsoft Technology Licensing, Llc Device/server deployment of neural network data entry system
US10083162B2 (en) * 2016-11-28 2018-09-25 Microsoft Technology Licensing, Llc Constructing a narrative based on a collection of images
US10387560B2 (en) * 2016-12-05 2019-08-20 International Business Machines Corporation Automating table-based groundtruth generation
KR20180077691A (ko) * 2016-12-29 2018-07-09 주식회사 엔씨소프트 문장 추상화 장치 및 방법
KR20180077690A (ko) * 2016-12-29 2018-07-09 주식회사 엔씨소프트 문서의 내러티브 학습 장치 및 방법, 문서의 내러티브 생성 장치 및 방법
US10776579B2 (en) * 2018-09-04 2020-09-15 International Business Machines Corporation Generation of variable natural language descriptions from structured data

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020122994A1 (en) * 2018-12-14 2020-06-18 Western Digital Technologies, Inc. Hardware accelerated discretized neural network
US11074318B2 (en) 2018-12-14 2021-07-27 Western Digital Technologies, Inc. Hardware accelerated discretized neural network
US11741188B2 (en) 2018-12-14 2023-08-29 Western Digital Technologies, Inc. Hardware accelerated discretized neural network
KR102240303B1 (ko) 2019-12-30 2021-05-27 (주)제타큐브사이언스 데이터 테이블로부터의 자연어 생성 방법 및 데이터 테이블로부터의 자연어 생성을 수행하는 전자 장치

Also Published As

Publication number Publication date
US20180189274A1 (en) 2018-07-05
US11055497B2 (en) 2021-07-06

Similar Documents

Publication Publication Date Title
KR20180077689A (ko) 자연어 생성 장치 및 방법
KR20180077691A (ko) 문장 추상화 장치 및 방법
US11093707B2 (en) Adversarial training data augmentation data for text classifiers
US11972365B2 (en) Question responding apparatus, question responding method and program
US10726204B2 (en) Training data expansion for natural language classification
US10949615B2 (en) Apparatus and method for verifying sentence
Zhang et al. Explain and predict, and then predict again
US11189269B2 (en) Adversarial training data augmentation for generating related responses
KR20210061141A (ko) 자연어 처리 방법 및 장치
US11755657B2 (en) Training a question-answer dialog system to avoid adversarial attacks
JP2023018624A (ja) 言語モデルを利用したデータ生成方法、コンピュータ装置、およびコンピュータプログラム
KR102391466B1 (ko) Ai 기반 질의응답 시스템 및 방법
KR20190080415A (ko) 이미지 생성 시스템 및 방법
Feng et al. Probing and fine-tuning reading comprehension models for few-shot event extraction
CN115310551A (zh) 文本分析模型训练方法、装置、电子设备和存储介质
Cao et al. Inference time style control for summarization
US11106874B2 (en) Automated chatbot linguistic expression generation
Banerjee et al. Generating abstractive summaries from meeting transcripts
US20180322111A1 (en) Method for parsing natural language text with constituent construction links
JP5290218B2 (ja) 文書平易化装置および平易化規則テーブル作成装置、ならびにプログラム
US20220254351A1 (en) Method and system for correcting speaker diarization using speaker change detection based on text
Zhang Analysis of the Application of Feedback Filtering and Seq2Seq Model in English Grammar
JP5528376B2 (ja) 文書平易化装置およびプログラム
Gong [Retracted] Analysis and Application of the Business English Translation Query and Decision Model with Big Data Corpus
US20230131259A1 (en) Apparatus and method of training machine learning model, and apparatus and method for summarizing document using the same