KR102030289B1 - 적대적 학습 방법을 이용한 문장 생성 시스템 및 방법 - Google Patents

적대적 학습 방법을 이용한 문장 생성 시스템 및 방법 Download PDF

Info

Publication number
KR102030289B1
KR102030289B1 KR1020180133717A KR20180133717A KR102030289B1 KR 102030289 B1 KR102030289 B1 KR 102030289B1 KR 1020180133717 A KR1020180133717 A KR 1020180133717A KR 20180133717 A KR20180133717 A KR 20180133717A KR 102030289 B1 KR102030289 B1 KR 102030289B1
Authority
KR
South Korea
Prior art keywords
generator
sentence
data
training data
discriminator
Prior art date
Application number
KR1020180133717A
Other languages
English (en)
Inventor
차정원
박다솔
Original Assignee
창원대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 창원대학교 산학협력단 filed Critical 창원대학교 산학협력단
Priority to KR1020180133717A priority Critical patent/KR102030289B1/ko
Application granted granted Critical
Publication of KR102030289B1 publication Critical patent/KR102030289B1/ko

Links

Images

Classifications

    • G06F17/2705—
    • G06F17/2755—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Machine Translation (AREA)

Abstract

문장을 생성하기 위한 컴퓨터 구현 방법에 있어서, 생성기가 학습 데이터 저장부(100)로부터 정답 레이블이 부착된 학습 데이터를 읽어오는 단계와, 상기 생성기가 읽어온 학습 데이터에 대해 인공 신경망을 이용하여 문장들을 생성하고, 생성된 문장들을 생성기의 결과물로서 출력하는 단계와, 판별기가 상기 학습 데이터와 상기 생성기의 결과물을 입력받고, 입력된 데이터가 실제 데이터인지 생성기가 만들어낸 데이터인지를 분류하는 단계를 포함하고, 상기 생성기와 상기 판별기는 적대적 학습 방법을 이용하여 학습된다.

Description

적대적 학습 방법을 이용한 문장 생성 시스템 및 방법{SYSTEM AND METHOD FOR GENERATING A SENTENCE USING ADVERSARIAL LEARNING}
본 발명의 개념에 따른 실시 예는 문장 생성 시스템에 관한 것으로, 특히 적대적 학습 방법을 이용한 문장 생성 알고리즘에 관한 것이다.
딥러닝(deep learning) 기반의 인공 지능(artificial intelligence(AI))을 이용하여 학습을 수행할 때 레이블이 부착된 대량의 학습 데이터가 필요하다. 상기 딥러닝 기반의 인공 지능은 기존의 기계학습을 능가하는 우수한 성능을 보여준다. 이러한 딥러닝의 우수한 성능은 학습 데이터의 양이 증가할수록 커진다.
그러나, 대량의 학습 데이터는 사람이 직접 생성해야 하기 때문에 시간과 비용이 많이 소모되고, 일관성 있는 데이터를 생성하기도 어렵다. 이러한 단점을 줄이기 위해서 사람이 직접 작성한 레이블이 부착된 소량의 데이터와 레이블이 부착되지 않은 대량의 데이터를 사용하여 학습을 수행하는 방법에 대해서 널리 연구되고 있다.
등록특허 제10-1836996호는 러프 셋을 이용한 형태소 품사 태깅 코퍼스 오류 자동 검출 장치 및 그 방법에 관한 것으로, 입력된 코퍼스에 포함된 어절들에 대하여 러프 셋 이론을 적용한 커널을 이용하여 자질을 생성하고, 상기 어절들 중 동일 어절에 대한 자질을 카운트하여 동일 어절에 대한 자질들과 빈도수를 산출하는 것에 의해 품사 태깅 코퍼스 오류 데이터를 생성하는 구성이 개시되어 있다.
등록특허공보 제10-1813683호는 자연어 처리에서 기계학습을 위한 학습 말뭉치 내의 오류를 자동으로 수정하는 방법에 관한 것으로, RDR(ripple-down rule)을 이용하여 오류 말뭉치와 정답 말뭉치에서 태깅된 문서의 특성을 반영한 수정규칙을 자동으로 생성하고, 기계학습을 위한 학습 말뭉치 내의 오류를 인식하여 형태소 분석 말뭉치와 개체명 말뭉치의 오류를 수정하여 대량의 말뭉치 제작시 오류를 최소화할 수 있는 구성이 개시되어 있다.
그러나 상기 선행기술문헌들은 자연어 처리를 위한 코퍼스에 포함된 오류를 검출하여 정량화하는 것에 의해 오류를 자동으로 수정하는 기술만을 제공할 뿐이다.
등록특허공보 제10-1836996호 등록특허공보 제10-1813683호
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 문장 생성 시스템은 생성적 적대 신경망(generative adversarial network(GANs))의 프레임 워크를 적용하여 레이블이 부착된 문장을 생성하는 것을 목적으로 한다.
상기와 같은 목적을 달성하기 위한 본 발명의 문장을 생성하기 위한 컴퓨터 구현 방법에 있어서, 생성기가 학습 데이터 저장부(100)로부터 정답 레이블이 부착된 학습 데이터를 읽어오는 단계와, 상기 생성기가 읽어온 학습 데이터에 대해 인공 신경망을 이용하여 문장들을 생성하고, 생성된 문장들을 생성기의 결과물로서 출력하는 단계와, 판별기가 상기 학습 데이터와 상기 생성기의 결과물을 입력받고, 입력된 데이터가 실제 데이터인지 생성기가 만들어낸 데이터인지를 분류하는 단계를 포함하고, 상기 생성기와 상기 판별기는 적대적 학습 방법을 이용하여 학습된다.
상기 생성기의 결과물로서 출력하는 단계는, 상기 생성기가 읽어온 학습 데이터에 대해 인공 신경망과 함께 미리 정의된 언어 지식을 동시에 적용하여 문장들을 생성하고, 생성된 문장들을 생성기의 결과물로서 출력하고, 상기 언어 지식은 문장의 구조나 표현 방식을 변경하기 위한 규칙을 의미한다.
연산부가 상기 인공 신경망을 적용하여 생성된 문장들 중에서 일부와 상기 언어 지식을 동시에 적용하여 생성된 문장들 중에서 일부를 선택하여 상기 판별기로 출력한다.
상기 연산부에 의해 출력된 상기 인공 신경망을 적용하여 생성된 문장들과 상기 언어 지식을 동시에 적용하여 생성된 문장들의 비율은 상기 판별기의 성능에 따라 조절된다.
본 발명의 실시 예에 따른 문장을 생성하기 위한 하나 이상의 프로세서들을 포함하는 컴퓨터 시스템에 있어서, 정답 레이블이 부착된 학습 데이터가 저장된 학습 데이터 저장부를 포함하고, 상기 하나 이상의 프로세서들은, 상기 학습 데이터 저장부로부터 상기 학습 데이터를 읽어오고, 읽어온 학습 데이터에 대해 미리 정의된 언어 지식을 이용하여 제1 문장들을 생성하는 규칙 기반 생성기와, 상기 학습 데이터 저장부로부터 상기 학습 데이터를 읽어오고, 읽어온 학습 데이터에 대해 인공 신경망을 이용하여 학습하고, 읽어온 학습 데이터와 유사한 제2 문장들을 생성하는 네트워크 기반 생성기와, 상기 학습 데이터, 상기 제1 문장들, 및 상기 제2 문장들을 읽어오고, 읽어온 데이터들이 실제 데이터인지 가짜 데이터인지를 분류하는 판별기를 포함하고, 상기 언어 지식은 문장의 구조나 표현 방식을 변경하기 위한 규칙을 의미한다.
상기 규칙 기반 생성기, 상기 네트워크 기반 생성기, 및 상기 판별기는 적대적 학습 방법을 이용하여 학습된다.
상기 학습 데이터 저장부에 저장된 학습 데이터가 복수의 카테고리로 분류될 경우, 상기 규칙 기반 생성기와 상기 네트워크 기반 생성기 각각은 카테고리 별로 복수개 존재한다.
상기 제1 문장들 중에서 일부와 상기 제2 문장들 중에서 일부를 선택하여 상기 판별기로 출력하는 연산부를 더 포함하고, 상기 판별기는 상기 학습 데이터와 상기 연산부에서 출력된 문장들이 실제 데이터인지 가짜 데이터인지를 분류한다.
상기 규칙 기반 생성기와 상기 네트워크 기반 생성기가 동시에 문장을 생성한다.
상기한 바와 같은 본 발명의 적대적 학습 방법을 이용한 문장 생성 시스템은 학습 데이터에 나타난 표현 뿐만 아니라 더욱 다양한 표현의 문장들을 생성할 수 있는 효과가 있다.
도 1은 본 발명의 실시 예에 따른 문장 생성 시스템을 나타낸다.
도 2는 본 발명의 실시 예에 따른 규칙 기반 생성기를 적용하여 생성되는 문장에 대한 예시를 나타낸다.
도 3은 본 발명의 실시 예에 따른 판별기의 모델 결과를 나타낸다.
도 4는 본 발명의 실시 예에 따른 문장 생성 시스템의 동작을 설명하기 위한 플로우차트이다.
이하에서는 본 발명에 따른 실시예 및 도면을 참조하여, 본 발명을 더욱 상술한다.
도 1은 본 발명의 실시 예에 따른 문장 생성 시스템을 나타낸다. 도 1을 참조하면, 문장 생성 시스템(10)은 학습 데이터 저장부(100), 규칙 기반 생성기(200), 네트워크 기반 생성기(300), 연산부(400), 및 판별기(500)를 포함한다. 문장 생성 시스템(10)은 프로세서에 의해 실행 가능한 명령들을 저장하는 메모리와, 저장된 명령들이 실행하는 프로세서를 포함하는 컴퓨터 시스템일 수 있다. 상기 프로세서는 기본적인 산술, 로직 및 입출력 연산을 수행함으로써 컴퓨터 프로그램의 명령을 처리하도록 구성될 수 있다. 명령은 메모리 또는 통신 모듈에 의해 프로세서로 제공될 수 있다. 예컨대, 프로세서는 메모리와 같은 기록 장치에 저장된 프로그램 코드에 따라 수신되는 명령을 실행하도록 구성될 수 있다.
문장 생성 시스템(10)은 규칙 기반 생성기(200)와 네트워크 기반 생성기(300)의 2개의 생성기와, 1개의 판별기로 이루어진 생성적 적대 신경망 프레임 워크를 적용한 시스템이다.
생성적 적대 신경망은 생성기(generator)와 판별기(discriminator)가 존재하는데 서로 다른 두 모델이 상호 경쟁을 통해서 성능을 개선하는 머신 러닝 방식이다. 생성기는 실제 데이터를 학습하고 이를 바탕으로 거짓 데이터를 생성하고, 판별기는 생성기가 생성한 데이터가 실제인지 거짓인지를 판별하도록 학습한다. 이 때, 생성기는 판별기가 실제인지 거짓인지 헷갈려하도록 데이터를 생성하는 것을 목적으로 하고, 판별기는 생성기가 생성한 데이터를 더 잘 분류하도록 하는 것을 목적으로 한다. 따라서, 이러한 과정이 반복되면 문장 생성 시스템은 점점 실제에 가까운 거짓 데이터를 만들 수 있다.
학습 데이터 저장부(100)는 정답 레이블이 부착된 학습 데이터가 저장된다. 학습 데이터 저장부(100)는 소량의 학습 데이터가 저장된다. 학습 데이터 저장부(100)는 정답 레이블에 의해 서로 다른 종류의 카테고리로 분류되는 학습 데이터가 저장될 수 있다. 본 명세서에서 레이블의 단위는 형태소, 개체명 등 해당 작업에 따라 다양하게 나타낼 수 있다.
규칙 기반 생성기(200)는 학습 데이터 저장부(100)로부터 정답 레이블이 부착된 학습 데이터를 입력받고, 입력된 학습 데이터에 대해 언어지식(knowledge base(KB))을 이용하여 문장을 생성한다. 상기 언어 지식은 문장의 구조나 표현 방식을 변경하기 위한 사용자가 지정한 규칙을 의미할 수 있다. 규칙 기반 생성기(200)는 입력된 학습 데이터에 대해 학습 없이 사용자가 지정한 규칙을 적용하여 문장을 생성할 수 있다.
학습 데이터 저장부(100)에 저장된 학습 데이터가 복수의 카테고리로 분류될 경우, 규칙 기반 생성기(200)는 카테고리 별로 존재할 수 있다. 따라서, 규칙 기반 생성기(200)의 개수는 상기 카테고리의 개수와 동일할 수 있다. 각 규칙 기반 생성기(200)로 해당 카테고리 별로 학습 데이터가 입력되고, 각 규칙 기반 생성기(200)는 입력된 학습 데이터에 대해 언어지식을 이용하여 학습을 수행한다.
도 2는 본 발명의 실시 예에 따른 규칙 기반 생성기를 적용하여 생성되는 문장에 대한 예시를 나타낸다. 도 2를 참조하면, 규칙 기반 생성기(200)의 입력된 문장과 생성된 문장은 음절 단위로 이루어져 있다. 규칙 기반 생성기(200)는 '정도 부사 삽입', '어순 변경' 등 다양한 규칙들을 포함할 수 있다. '정도 부사 삽입'은 입력된 문장에 정도 부사를 삽입하여 문장을 생성하는 것을 의미하고, '어순 변경'은 입력된 문장의 어순을 변경하여 문장을 생성하는 것을 의미할 수 있다.
규칙 기반 생성기(200)는 다양한 규칙들 중에서 '정도 부사 삽입'을 선택할 수 있다. 규칙 기반 생성기(200)가 '정도 부사 삽입'을 선택한 경우, 규칙 기반 생성기(200)는 입력된 문장에 대해 '정도 부사 삽입' 규칙을 이용하여 문장을 생성한다. 생성된 문장에서 "가끔"과 "자주"는 삽입된 정도 부사를 나타낸다.
다시 도 1을 참조하면, 네트워크 기반 생성기(300)는 학습 데이터 저장부(100)로부터 정답 레이블이 부착된 학습 데이터를 입력받고, 입력된 학습 데이터에 대해 인공 신경망을 이용하여 학습하고, 입력된 학습 데이터와 유사한 문장을 생성한다. 네트워크 기반 생성기(300)는 입력 문장을 설정된 차원의 벡터로 생성하고, 출력 문장의 벡터도 상기 입력 문장과 동일한 차원의 벡터로 생성한다. 네트워크 기반 생성기(300)는 입력 문장의 벡터와 출력 문장의 벡터를 이용하여 손실이 줄어들도록 학습을 진행한다.
즉, 네트워크 기반 생성기(300)는 문장을 잘 생성하기 위한 네트워크의 가중치 등의 파라미터를 학습하고, 입력 문장의 벡터와 출력 문장의 벡터를 이용하여 손실을 계산함에 있어 설정값 만큼 손실의 갱신이 없으면 학습을 종료한다. 따라서, 네트워크 기반 생성기(300)는 입력된 학습 데이터를 읽어서 동일한 결과가 나오도록 문장을 생성한다.
예컨대, 네트워크 기반 생성기(300)가 입력 문장에 대해 오토인코더(auto encoder(AE))를 이용하여 학습할 수 있다. 오토 인코더는 입력 값과 출력 값을 같게 하는 신경망으로서, 인코더를 통해 입력층으로 들어온 데이터를 은닉층으로 내보내고, 디코더를 통해 은닉층의 데이터를 출력층으로 내보내게 된다. 그리고, 출력 값을 입력값과 비슷해지도록 하는 가중치를 찾아낸다.
네트워크 기반 생성기(300)는 판별기(500)가 네트워크 기반 생성기(300)가 생성한 문장이 생성된 문장인지 실제 문장인지 헷갈려하도록 입력 문장과 비슷한 문장을 생성하는 것이 목표이다.
연산부(400)는 규칙 기반 생성기(200)의 출력 문장들과 네트워크 기반 생성기(300)의 출력 문장들 각각에 비율을 적용하여 생성기의 결과물로 출력한다. 예컨대, 상기 비율은 <규칙 기반 생성기(200)의 출력 문장들 : 네트워크 기반 생성기(300)의 출력 문장들 = n:m(n과 m은 자연수)> 일 수 있다. 연산부(400)는 규칙 기반 생성기(200)의 출력 문장들 중에서 일부와 네트워크 기반 생성기(300)의 출력 문장들 중에서 일부를 선택하여 생성기의 결과물로 출력한다. 상기 비율은 판별기(500)의 성능에 따라 달라질 수 있고, 사용자가 설정할 수 있다.
즉, 문장 생성 시스템(10)은 규칙 기반 생성기(200)와 네트워크 기반 생성기(300)가 동시에 문장을 생성하고, 연산부(400)가 상기 생성된 문장들의 비율을 조절하여 생성기의 결과물로 출력한다.
따라서, 문장 생성 시스템(10)은 규칙 기반 생성기(200)가 생성한 문장을 학습함으로써 적대적 학습 방법을 이용한 학습이 되는 효과가 있다. 또한, 문장 생성 시스템(10)은 연산부(400)가 학습 결과들의 비율을 조절함으로써 판별기(500)로 입력되는 실제 데이터와 생성기가 만들어낸 데이터의 수를 적절히 조절할 수 있고, 따라서 판별기(500)가 입력 데이터를 잘 분류할 수 있도록 하는 효과가 있다.
판별기(500)는 학습 데이터 저장부(100)로부터 정답 레이블이 부착된 학습 데이터를 입력받고, 연산부(400)로부터 생성기의 결과물을 입력받는다. 판별기(500)는 인공 신경망을 이용하여 입력된 데이터가 실제 데이터인지 생성기가 만들어낸 데이터인지를 분류하도록 학습한다. 판별기(500)는 생성기가 만든 데이터는 생성된 데이터라고 더 잘 분류되도록 하고 실제 데이터는 실제 데이터라고 더 잘 분류되도록 하는 것이 목표이다. 즉, 판별기(500)는 입력 문장이 생성된 문장인지 실제 문장인지에 대해서 잘 분류하는 것이 목표이다.
판별기(500)는 학습 코퍼스의 문장을 입력으로 하여 해당 문장의 정답 값과 모델이 예측한 값의 차이인 에러를 이용하여 문장을 분류하는 모델의 가중치 등의 파라미터를 학습한다. 여기서의 분류는 실제 데이터인지 생성기가 생성한 데이터인지 분류하는 이진 분류이다.
도 3은 본 발명의 실시 예에 따른 판별기의 모델 결과를 나타낸다. 도 3을 참조하면, 판별기(500)로 입력된 문장은 음절 단위로 이루어져 있다. 분류 1에 해당하는 문장이 판별기(500)로 입력될 때, 판별기(500)는 실제 데이터라는 의미인 '1'을 분류 값으로 출력하고, 분류 2에 해당하는 문장이 입력될 때, 판별기(500)는 생성기가 생성한 데이터라는 의미인 '0'을 분류 값으로 출력한다.
도 4는 본 발명의 실시 예에 따른 문장 생성 시스템의 동작을 설명하기 위한 플로우차트이다. 도 1과 도 4를 참조하면, 규칙 기반 생성기(200)는 학습 데이터 저장부(100)로부터 정답 레이블이 부착된 학습 데이터를 읽어온다(S110). 규칙 기반 생성기(200)는 읽어온 학습 데이터에 대해 언어지식을 이용하여 문장을 생성한다(S120). 이 때, 학습 데이터 저장부(100)에 저장된 학습 데이터가 복수의 카테고리로 분류될 경우, 규칙 기반 생성기(200)는 카테고리 별로 존재할 수 있고, 각 규칙 기반 생성기(200)는 해당 카테고리 별로 학습 데이터를 읽어오고, 읽어온 학습 데이터에 대해 언어 지식을 이용하여 학습을 수행한다.
네트워크 기반 생성기(300)는 학습 데이터 저장부(100)로부터 정답 레이블이 부착된 학습 데이터를 읽어온다(S130). 네트워크 기반 생성기(300)는 읽어온 학습 데이터에 대해 인공 신경망을 이용하여 학습하고, 입력된 학습 데이터와 유사한 문장을 생성한다(S140). 이 때, 학습 데이터 저장부(100)에 저장된 학습 데이터가 복수의 카테고리로 분류될 경우, 네트워크 기반 생성기(300)는 카테고리 별로 존재할 수 있고, 각 네트워크 기반 생성기(300)는 해당 카테고리 별로 학습 데이터를 읽어오고, 읽어온 학습 데이터에 대해 인공 신경망을 이용하여 학습하고, 입력된 학습 데이터와 유사한 문장을 생성한다.
규칙 기반 생성기(200)와 네트워크 기반 생성기(300)는 동시에 문장을 생성할 수 있다. 문장 생성 시스템(10)은 규칙 기반 생성기(200)가 생성한 문장을 학습함으로써 학습 데이터에 나타나는 표현 뿐만 아니라 더욱 다양한 표현의 문장들을 생성할 수 있는 효과가 있다.
연산부(400)는 규칙 기반 생성기(200)의 출력 문장들 중에서 일부와 네트워크 기반 생성기(300)의 출력 문장들 중에서 일부를 선택하여 생성기의 결과물로 출력한다(S150). 이 때, 규칙 기반 생성기(200)의 출력 문장들과 네트워크 기반 생성기(300)의 출력 문장들의 비율은 판별기(500)의 성능에 따라 달라질 수 있고, 사용자가 설정할 수 있다.
판별기(500)는 학습 데이터 저장부(100)로부터 정답 레이블이 부착된 학습 데이터를 입력받고, 연산부(400)로부터 생성기의 결과물을 입력받는다(S160). 판별기(500)는 인공 신경망을 이용하여, 입력된 데이터가 실제 데이터인지 생성기가 만들어낸 데이터인지를 분류하도록 학습한다(S170).
연산부(400)가 학습 결과들의 비율을 조절함으로써 판별기(500)로 입력되는 실제 데이터와 생성기가 만들어낸 데이터의 수를 적절히 조절할 수 있고, 따라서 판별기(500)가 입력 데이터를 잘 분류할 수 있도록 하는 효과가 있다.
이러한 과정을 반복하면 문장 생성 시스템(10)은 정답 레이블이 부착된 소량의 학습 데이터로부터 대량의 학습 데이터를 생성할 수 있다.
본 발명은 도면에 도시된 일 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.
10; 문장 생성 시스템
100; 학습 데이터 저장부
200; 규칙 기반 생성기
300; 네트워크 기반 생성기
400; 연산부
500; 판별기

Claims (9)

  1. 문장을 생성하기 위한 컴퓨터 구현(computer-implemented) 방법에 있어서,
    생성기가 학습 데이터 저장부로부터 정답 레이블이 부착된 학습 데이터를 읽어오는 단계;
    상기 생성기가 읽어온 학습 데이터에 대해 인공 신경망을 이용하여 학습하고, 상기 학습 데이터와 유사한 제1 문장을 생성하는 동시에 상기 생성기가 읽어온 학습 데이터에 대해 미리 정의된 언어 지식을 동시에 적용하여 제2 문장을 생성하고, 생성된 상기 제1 문장 및 상기 제2 문장을 생성기의 결과물로서 출력하는 단계; 및
    판별기가 상기 학습 데이터와 상기 생성기의 결과물인 상기 제1 문장 및 상기 제2 문장을 입력받고, 입력된 데이터가 실제 데이터인지 생성기가 만들어낸 데이터인지를 분류하는 단계;를 포함하고,
    상기 언어 지식은 문장의 구조나 표현 방식을 변경하기 위한 규칙을 의미하며,
    상기 생성기와 상기 판별기는 적대적 학습 방법을 이용하여 학습되는 것을 특징으로 하는 방법.
  2. 삭제
  3. 제1항에 있어서,
    연산부가 상기 인공 신경망을 적용하여 생성된 문장들 중에서 일부와 상기 언어 지식을 동시에 적용하여 생성된 문장들 중에서 일부를 선택하여 상기 판별기로 출력하는 것을 특징으로 하는 방법.
  4. 제3항에 있어서,
    상기 연산부에 의해 출력된 상기 인공 신경망을 적용하여 생성된 문장들과 상기 언어 지식을 동시에 적용하여 생성된 문장들의 비율은 상기 판별기의 상기 실제 데이터인지 상기 생성기가 만들어낸 데이터인지를 분류하는 성능에 따라 조절되는 것을 특징으로 하는 방법.
  5. 문장을 생성하기 위한 하나 이상의 프로세서들을 포함하는 문장 생성 시스템에 있어서,
    정답 레이블이 부착된 학습 데이터가 저장된 학습 데이터 저장부를 포함하고,
    상기 하나 이상의 프로세서들은,
    상기 학습 데이터 저장부로부터 상기 학습 데이터를 읽어오고, 읽어온 학습 데이터에 대해 미리 설정된 방법을 이용하여 상기 학습 데이터와 유사한 제1 문장 및 제2 문장을 생성하는 생성기; 및
    상기 학습 데이터, 상기 제1 문장 및 상기 제2 문장을 읽어오고, 읽어온 데이터들이 실제 데이터인지 가짜 데이터인지를 분류하는 판별기;를 포함하고,
    상기 생성기는 문장의 구조나 표현 방식을 변경하기 위한 규칙을 포함하는 언어 지식을 이용하여 유사한 문장을 생성하는 규칙 기반 생성기; 및
    상기 읽어온 학습 데이터에 대해 인공 신경망을 이용하여 학습하고, 상기 읽어온 학습 데이터와 유사한 문장을 생성하는 네트워크 기반 생성기로 구성되며,
    상기 규칙 기반 생성기와 상기 네트워크 기반 생성기가 동시에 문장을 생성하는 것을 특징으로 하는 문장 생성 시스템.
  6. 제5항에 있어서,
    상기 규칙 기반 생성기, 상기 네트워크 기반 생성기, 및 상기 판별기는 적대적 학습 방법을 이용하여 학습되는 것을 특징으로 하는 문장 생성 시스템.
  7. 제5항에 있어서,
    상기 학습 데이터 저장부에 저장된 학습 데이터가 복수의 카테고리로 분류될 경우, 상기 규칙 기반 생성기와 상기 네트워크 기반 생성기 각각은 카테고리 별로 복수개 존재하는 것을 특징으로 하는 문장 생성 시스템.
  8. 제5항에 있어서,
    상기 제1 문장들 중에서 일부와 상기 제2 문장들 중에서 일부를 선택하여 상기 판별기로 출력하는 연산부;를 더 포함하고,
    상기 판별기는 상기 학습 데이터와 상기 연산부에서 출력된 문장들이 실제 데이터인지 가짜 데이터인지를 분류하는 것을 특징으로 하는 문장 생성 시스템.
  9. 삭제
KR1020180133717A 2018-11-02 2018-11-02 적대적 학습 방법을 이용한 문장 생성 시스템 및 방법 KR102030289B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180133717A KR102030289B1 (ko) 2018-11-02 2018-11-02 적대적 학습 방법을 이용한 문장 생성 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180133717A KR102030289B1 (ko) 2018-11-02 2018-11-02 적대적 학습 방법을 이용한 문장 생성 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR102030289B1 true KR102030289B1 (ko) 2019-11-08

Family

ID=68542268

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180133717A KR102030289B1 (ko) 2018-11-02 2018-11-02 적대적 학습 방법을 이용한 문장 생성 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR102030289B1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101813683B1 (ko) 2016-08-17 2017-12-29 창원대학교 산학협력단 커널 ｒｄｒ을 이용한 태깅 말뭉치 오류 자동수정방법
KR101826921B1 (ko) * 2017-11-29 2018-02-07 한국과학기술정보연구원 기술정의문 생성장치 및 그 동작 방법
KR101836996B1 (ko) 2016-11-10 2018-04-19 창원대학교 산학협력단 러프 셋을 이용한 형태소 품사 태깅 코퍼스 오류 자동 검출 장치 및 그 방법
KR101851792B1 (ko) * 2017-12-22 2018-04-24 주식회사 마인드셋 질문 데이터 세트의 가상 레이블 생성 장치 및 방법
KR101851785B1 (ko) * 2017-03-20 2018-06-07 주식회사 마인드셋 챗봇의 트레이닝 세트 생성 장치 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101813683B1 (ko) 2016-08-17 2017-12-29 창원대학교 산학협력단 커널 ｒｄｒ을 이용한 태깅 말뭉치 오류 자동수정방법
KR101836996B1 (ko) 2016-11-10 2018-04-19 창원대학교 산학협력단 러프 셋을 이용한 형태소 품사 태깅 코퍼스 오류 자동 검출 장치 및 그 방법
KR101851785B1 (ko) * 2017-03-20 2018-06-07 주식회사 마인드셋 챗봇의 트레이닝 세트 생성 장치 및 방법
KR101826921B1 (ko) * 2017-11-29 2018-02-07 한국과학기술정보연구원 기술정의문 생성장치 및 그 동작 방법
KR101851792B1 (ko) * 2017-12-22 2018-04-24 주식회사 마인드셋 질문 데이터 세트의 가상 레이블 생성 장치 및 방법

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
GAN implement reference site, http://ishmaelbelghazi.github.io/ALI/ *
I. Goodfellow et al., Generative Adversarial Nets, arxiv.org, arXiv:1406.2661, (2014.06) *
김용준 외, 딥 러닝 기술에서의 적대적 학습 기술 동향, 정보과학회지 36(2) pp.9-13 (2018.02) *
추형석, 적대적 생성신경망의 소개와 활동 현황, 소프트웨어정책연구소, 월간SW중심사회2017년9월호, (2017.09.29.)* *

Similar Documents

Publication Publication Date Title
CN111859960B (zh) 基于知识蒸馏的语义匹配方法、装置、计算机设备和介质
US11080492B2 (en) Method and device for correcting error in text
CN110532353B (zh) 基于深度学习的文本实体匹配方法、系统、装置
US20170278510A1 (en) Electronic device, method and training method for natural language processing
WO2020088330A1 (en) Latent space and text-based generative adversarial networks (latext-gans) for text generation
CN111444320A (zh) 文本检索方法、装置、计算机设备和存储介质
CN111241287A (zh) 用于生成对抗文本的生成模型的训练方法及装置
US20230259707A1 (en) Systems and methods for natural language processing (nlp) model robustness determination
CN111859964A (zh) 一种语句中命名实体的识别方法及装置
US11200366B2 (en) Using classifications from text to determine instances of graphical element types to include in a template layout for digital media output
CN111444346B (zh) 一种用于文本分类的词向量对抗样本生成方法及装置
US20220284326A1 (en) Using functions to annotate a syntax tree with real data used to generate an answer to a question
CN113722439B (zh) 基于对抗性类别对齐网络的跨领域情感分类方法及系统
CN108628868A (zh) 文本分类方法和装置
CN116601626A (zh) 个人知识图谱构建方法、装置及相关设备
CN111310464A (zh) 词向量获取模型生成方法、装置及词向量获取方法、装置
WO2020170593A1 (ja) 情報処理装置及び情報処理方法
CN114818729A (zh) 一种训练语义识别模型、查找语句的方法、装置及介质
CN114625858A (zh) 一种基于神经网络的政务问答智能回复方法及装置
Irissappane et al. Leveraging GPT-2 for classifying spam reviews with limited labeled data via adversarial training
KR102030289B1 (ko) 적대적 학습 방법을 이용한 문장 생성 시스템 및 방법
JP6899973B2 (ja) 意味関係学習装置、意味関係学習方法、及び意味関係学習プログラム
US7933449B2 (en) Pattern recognition method
CN109740163A (zh) 应用于深度学习模型的语义表示资源生成方法及装置
CN109740162A (zh) 文本表示方法、装置及介质

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant