KR102563376B1 - 문장 데이터 클래스 분류 및 클래스 사전 생성을 위한 신경망 학습 방법 - Google Patents

문장 데이터 클래스 분류 및 클래스 사전 생성을 위한 신경망 학습 방법 Download PDF

Info

Publication number
KR102563376B1
KR102563376B1 KR1020200159601A KR20200159601A KR102563376B1 KR 102563376 B1 KR102563376 B1 KR 102563376B1 KR 1020200159601 A KR1020200159601 A KR 1020200159601A KR 20200159601 A KR20200159601 A KR 20200159601A KR 102563376 B1 KR102563376 B1 KR 102563376B1
Authority
KR
South Korea
Prior art keywords
class
neural network
sentence
words
sentence data
Prior art date
Application number
KR1020200159601A
Other languages
English (en)
Other versions
KR20220072226A (ko
KR102563376B9 (ko
Inventor
한요섭
이주형
천현준
손재만
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR1020200159601A priority Critical patent/KR102563376B1/ko
Publication of KR20220072226A publication Critical patent/KR20220072226A/ko
Application granted granted Critical
Publication of KR102563376B1 publication Critical patent/KR102563376B1/ko
Publication of KR102563376B9 publication Critical patent/KR102563376B9/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition
    • G06N5/025—Extracting rules from data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Algebra (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

문장 데이터 클래스 분류 및 클래스 사전 생성을 위한 신경망 학습 방법이 개시된다. 개시된 방법은, 클래스가 레이블링된 문장 데이터를 LSTM 분류 신경망에 입력하여 클래스 레이블과의 차이값을 이용한 초기 학습을 수행하는 단계(a); 상기 초기 학습이 이루어진 후 클래스가 레이블링된 문장 데이터를 LSTM 분류 신경망에 입력하여 중기 학습을 수행하고, LSTM 신경망으로부터 획득되는 상기 문장을 구성하는 단어들의 어텐션 스코어에 기초하여 클래스 사전을 갱신하는 단계(b); 클래스 레이블이 없는 문장 데이터를 LSTM 분류 신경망에 입력하여 출력되는 클래스 확률과 상기 클래스 레이블이 없는 문장을 구성하는 단어들 중 상기 생성된 클래스 사전에 있는 단어들과 매칭되는 매칭 단어의 수를 카운팅한 후 상기 클래스 확률 및 상기 매칭 단어의 수에 기초하여 상기 클래스 레이블이 없는 문장 데이터에 대해 클래스 레이블을 부여하는 단계(c); 및 상기 클래스 레이블이 부여된 문장 데이터를 이용하여 상기 LSTM 분류 신경망에 대한 학습을 수행하고 상기 클래스 레이블이 부여된 문장을 구성하는 단어들의 어텐션 스코어에 기초하여 클래스 사전을 갱신하는 단계(d)를 포함한다. 개시된 방법은 레이블이 부여되지 않은 문장 데이터를 학습에 사용할 수 있어 신경망의 성능을 향상시킬 수 있는 장점이 있다.

Description

문장 데이터 클래스 분류 및 클래스 사전 생성을 위한 신경망 학습 방법{Neural Network Learning Method for Sentence Data Classification and Class Dictionary Generation}
본 발명은 신경망 학습 방법에 관한 것으로서, 더욱 상세하게는 텍스트 데이터 분류 및 클래스 사전 생성을 위한 신경망 학습 방법에 관한 것입니다.
특정 문장에 대한 클래스 분류는 주로 텍스트 마이닝을 통해 이루어졌다. 문장을 구성하는 단어들의 의미와 단어들간의 관계를 분석해서 문장의 클래스를 분류하는 것이다.
그러나, 텍스트 마이닝만으로 문장의 클래스(예를 들어, 문장이 비윤리 문장인지 또는 윤리 문장인지 여부)를 분류 정확도를 확보하는 데에는 한계가 있었으며, 근래에는 신경망을 이용하여 문장의 클래스를 분류하는 시도가 이루어졌다.
신경망을 이용한 문장 클래스 분류는 텍스트 마이닝에 비해 높은 정확도를 확보할 수는 있으나 신경망의 학습에 레이블이 부여된 대량의 학습 데이터가 요구된다는 문제점이 있었다. 신경망이 정확성이 담보되려면 충분한 학습이 이루어져야 하나, 학습을 위한 레이블이 부여된 문장 데이터는 많지 않기에 신경망의 성능을 극대화시키기 용이하지 않은 문제점이 있었다.
본 발명은 레이블이 부여되지 않은 문장 데이터를 학습에 사용할 수 있는 클래스 분류 및 클래스 사전 생성을 위한 신경망 학습 방법을 제안한다.
상기 목적을 달성하기 위해 본 발명의 일 측면에 따르면, 클래스가 레이블링된 문장 데이터를 LSTM 분류 신경망에 입력하여 클래스 레이블과의 차이값을 이용한 초기 학습을 수행하는 단계(a); 상기 초기 학습이 이루어진 후 클래스가 레이블링된 문장 데이터를 LSTM 분류 신경망에 입력하여 중기 학습을 수행하고, LSTM 신경망으로부터 획득되는 상기 문장을 구성하는 단어들의 어텐션 스코어에 기초하여 클래스 사전을 갱신하는 단계(b); 클래스 레이블이 없는 문장 데이터를 LSTM 분류 신경망에 입력하여 출력되는 클래스 확률과 상기 클래스 레이블이 없는 문장을 구성하는 단어들 중 상기 생성된 클래스 사전에 있는 단어들과 매칭되는 매칭 단어의 수를 카운팅한 후 상기 클래스 확률 및 상기 매칭 단어의 수에 기초하여 상기 클래스 레이블이 없는 문장 데이터에 대해 클래스 레이블을 부여하는 단계(c); 및 상기 클래스 레이블이 부여된 문장 데이터를 이용하여 상기 LSTM 분류 신경망에 대한 학습을 수행하고 상기 클래스 레이블이 부여된 문장을 구성하는 단어들의 어텐션 스코어에 기초하여 클래스 사전을 갱신하는 단계(d)를 포함하는 클래스 분류 및 클래스 사전 생성을 위한 신경망 학습 방법이 제공된다.
상기 단계(b)는 상기 LSTM 신경망의 출력값에 대한 신뢰도가 미리 설정된 제1 경계값 이상인 문장에 대해서만 문장을 구성하는 단어들 중 어텐션 스코어가 미리 설정된 제2 경계값 이상인 단어들을 상기 클래스 사전에 추가한다.
상기 단계(c)는 상기 클래스 확률이 미리 설정된 제3 경계값 이하이고, 상기 매칭 단어의 수가 미리 설정된 제4 경계값 이상일 경우 상기 클래스 레이블이 없는 문장 데이터에 대해 레이블을 부여한다.
상기 단계(c)는 상기 클래스 확률이 미리 설정된 제3 경계값 이상이고, 상기 매칭 단어의 수가 미리 설정된 제5 경계값 이상일 경우 상기 클래스 레이블이 없는 문장 데이터에 대해 레이블을 부여하고, 상기 제5 경계값은 상기 제4 경계값에 비해 작게 설정된다.
본 발명의 클래스 분류 및 클래스 사전 생성을 위한 신경망 학습 방법은 레이블이 부여되지 않은 문장 데이터를 학습에 사용할 수 있어 신경망의 성능을 향상시킬 수 있는 장점이 있다.
도 1은 레이블링된 데이터를 이용하여 초기 학습을 수행하는 구조를 나타낸 도면.
도 2는 레이블링된 데이터를 이용하여 사전을 생성하는 중기 학습을 수행하는 구조를 나타낸 도면.
도 3은 레이블링된 데이터의 신경망 출력값에 대한 신뢰도의 일레를 나타낸 도면.
도 4는 본 발명의 일 실시예에 따른 사전 생성 방법을 나타낸 순서도.
도 5는 본 발명의 일 실시예에 따른 LSTM 분류 신경망으로부터 출력되는 어텐션 스코어의 일례를 나타낸 도면.
도 6은 본 발명의 일 실시예에 따라 생성되는 사전의 일례를 나타낸 도면.
도 7은 레이블링이 없는 없는 데이터에 대해 레이블을 부여하고 사전을 생성하는 구조를 나타낸 도면.
도 8은 레이블링이 없는 데이터에 대해 레이블을 부여하는 방법을 나타낸 순서도.
도 9는 본 발명의 일 실시예에 따른 레이블 부여 방법을 설명하기 위한 예시 도면.
본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시예를 예시하는 첨부 도면 및 첨부 도면에 기재된 내용을 참조하여야만 한다.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예를 설명함으로써, 본 발명을 상세히 설명한다. 그러나, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 설명하는 실시예에 한정되는 것이 아니다. 그리고, 본 발명을 명확하게 설명하기 위하여 설명과 관계없는 부분은 생략되며, 도면의 동일한 참조부호는 동일한 부재임을 나타낸다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 “포함”한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 “...부”, “...기”, “모듈”, “블록” 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
본 발명은 문장의 클래스 분류 방법에 관한 것으로서, 문장의 클래스 분류는 다양한 용도로 활용될 수 있다. 예를 들어, 기사의 댓글, 게임 내 주고받는 메시지 등에서 특정 문장이 비윤리 문장인지 또는 윤리 문장인지 여부를 판단하여 필터링 여부를 판단하는데 사용될 수 있다. 또한, 특정 문장이 정치, 경제, 가회 중 어느 분야와 관련된 문장인지 판단하여 사용자가 요구하는 정보를 제공하는데에도 활용될 수 있을 것이다.
근래에 들어 이와 같은 문장의 클래스 분류는 신경망을 통해 많이 이루어지고 있으나, 클래스 분류의 높은 정확도를 담보하려면 많은 학습 데이터가 필요하나, 충분한 수의 학습 데이터를 확보하는 것은 용이하지 않다.
여기서, 학습 데이터는 레이블링이 있는 학습 데이터를 의미하며, 예를 들어, 윤리/비윤리 클래스를 분류하는 경우, 특정 문장이 윤리 문장인지 또는 비윤리 문장인지 여부가 미리 레이블로 설정되어 있는 데이터를 의미한다.
그러나, 이러한 레이블링이 있는 학습 데이터는 충분히 확보하기 어려우며, 이에 높은 정확도를 가지는 문장 분류 신경망을 학습시키는 것 역시 용이하지 않게 된다.
본 발명은 이와 같은 문제를 해결하기 위해 레이블링이 없는 문장 데이터를 이용하여 학습을 수행할 수 있는 방법을 제안하며, 레이블링이 없는 문장 데이터에 레이블을 부여하기 위해 클래스별 사전을 생성하고 생성된 클래스별 사전을 이용하여 레이블을 부여하는 방법을 제안한다.
본 발명의 전체적인 학습 방법은 초기/중기/후기로 구분될 수 있다. 초기와 중기는 레이블링이 있는 학습 데이터를 이용하여 신경망을 학습시키는 단계이다. 후기 학습 단계는 레이블링이 없는 학습 데이터를 이용하여 신경망을 학습시키는 단계이다.
본 발명의 문장 데이터 분류는 다양한 클래스 분류에 사용될 수 있을 것이나, 설명의 편의를 위해 본 실시예에서는 윤리 문장과 비윤리 문장을 구분하는 경우를 예로 하여 설명하기로 한다.
도 1은 레이블링된 데이터를 이용하여 초기 학습을 수행하는 구조를 나타낸 도면이다.
도 1을 참조하면, 레이블링이 있는 문장 데이터가 LSTM 분류 신경망(100)으로 입력된다. 초기 단계의 LSTM 분류 신경망(100)은 아직 학습이 충분히 이루어지지 않은 신경망이다. 이에, 초기 단계에서 LSTN 분류 신경망(100)이 출력하는 결과는 신뢰도가 높다고 보기 어려우며, 초기 단계는 요구되는 문장 데이터 분류를 위해 신경망이 어느 정도의 성능을 가지도록 학습하는 단계로 정의할 수 있을 것이다.
초기 단계의 학습은 신경망의 출력과 문장 데이터에 대해 부여된 레이블을 비교하여 그 차이를 역전파하여 LSTM 분류 신경망(100)의 가중치를 변경하는 일반적인 학습이다.
예를 들어, LSTM 분류 신경망(100)이 윤리/비윤리 문장에 대한 클래스 분류를 수행하도록 설정된 경우, LSTM 분류 신경망(100)은 문장 데이터를 입력받아 윤리 문장일 확률과 비윤리 문장일 확률을 각각 출력한다.
비윤리로 레이블된 문장 데이터를 LSTM 분류 신경망(100)에 입력하고, LSTM 분류 신경망(100)이 윤리 확률 0.2/비윤리 확률 0.8을 출력한다고 가정하자. 이때 레이블이 윤리 확률 1/비윤리 확률 0이므로 LSTM 신경망은 이러한 손실을 역전파하여 학습을 수행한다. 요컨대, 윤리 확률이 1에 근접하고 비윤리 확률이 0에 근접하도록 LSTM 신경망의 가중치를 갱신하는 것이다.
도 2는 레이블링된 데이터를 이용하여 사전을 생성하는 중기 학습을 수행하는 구조를 나타낸 도면이다.
초기 학습을 통해 LSTM 분류 신경망(100)이 학습된 후 레이블링된 데이터를 이용하여 학습을 지속하면서 클래스 사전을 생성하는 과정이 함께 이루어진다.
중기 학습에서도 레이블링된 문장 데이터가 LSTM 분류 신경망(100)에 입력되고, 레이블과 LSTM 분류 신경망(100) 출력과의 손실을 역전파하여 학습을 수행하는 구조는 동일하다.
중기 학습 단계에서는 LSTM 분류 신경망(100)의 출력값과 레이블 값을 비교하여 신뢰도를 연산한다.
도 3은 레이블링된 데이터의 신경망 출력값에 대한 신뢰도의 일레를 나타낸 도면이다.
도 3을 참조하면, 데이터별 예측 클래스(윤리 또는 비윤리)와 예측값에 대한 신뢰도가 표시되어 있다.
신뢰도는 레이블링 값과 신경망 출력값의 비에 의해 연산될 수 있을 것이다. 예를 들어, 비윤리인 경우 1 윤리인 경우 0으로 레이블 값이 정해져 있을 때, 비윤리일 확률이 0.95로 LSTM 분류 신경망에서 출력될 경우 신뢰도는 0.95로 연산된다.
중기 학습 단계에서는 신경망 출력값에 대한 신뢰도에 기초하여 클래스 사전을 생성한다. 클래스 사전은 각 클래스와 연관이 있는 단어를 저장하고 있는 사전이다.
도 4는 본 발명의 일 실시예에 따른 사전 생성 방법을 나타낸 순서도이다.
도 4를 참조하면, 우선 입력된 문장을 LSTM 분류 신경망(100)에 입력하여 신경망 출력값의 신뢰도를 획득한다(400).
획득한 신뢰도가 미리 설정된 제1 경계값 이상인지 여부를 판단한다(402).
획득한 신뢰도가 미리 설정된 제1 경계값 이하일 경우, 입력된 문장으로부터는 사전을 생성하거나 갱신하지 않는다(단계 404).
획득한 신뢰도가 미리 설정된 제1 경계값 이상일 경우, LSTM 분류 신경망(100)으로부터 입력된 문장을 구상하는 단어들에 대한 어텐션 스코어(attention score)를 획득한다(단계 406).
도 5는 본 발명의 일 실시예에 따른 LSTM 분류 신경망으로부터 출력되는 어텐션 스코어의 일례를 나타낸 도면이다.
도 5를 참조하면, LSTM 분류 신경망은 입력된 문장을 구성하는 각 단어별로 어텐션 스코어를 출력한다. 초기 학습 단계에서도 어텐션 스코어를 획득할 수 있으나, 초기 학습 단계에서 획득되는 어텐션 스코어는 사용되지 아니하며, 중기 학습 단계에서는 신뢰도가 미리 설정된 제1 경계값 이상인 경우 어텐션 스코어가 이용된다.
도 5를 참조하면, 다른 단어에 비해 “stupid”와 “bad”는 다른 단어들에 비해 높은 어텐션 스코어를 가지는 것을 확인할 수 있다. 어텐션 스코어가 높다는 것은 해당 단어가 LSTN의 분류 신경망의 클래스 판단에 주요한 원인이 되는 단어라는 것을 의미한다.
입력된 문장의 각 단어에 대한 어텐션 스코어가 획득되면, 미리 설정된 제2 경계값 이상의 어텐션 스코어를 가지는 단어를 클래스 사전에 추가하여 사전을 생성하거나 갱신한다(단계 408).
도 6은 본 발명의 일 실시예에 따라 생성되는 사전의 일례를 나타낸 도면이다.
도 6을 참조하면, 윤리 클래스 사전과 비윤리 클래스 사전이 구분되어 있다. 앞서 설명한 바와 같이, LSTM 분류 신경망에서 문장의 클래스가 비윤리로 판단되고, 입력된 문장 데이터에서 어텐션 스코어가 높은 단어가 비윤리 클래스에 추가되어 도 6과 같은 비윤리 클래스 사전이 생성된다.
또한, LSTM 분류 신경망에서 클래스가 윤리로 판단되고, 입력된 문장 데이터에서 어텐션 스코어가 높은 단어가 윤리 클래스에 추가되어 도 6과 같은 윤리 클래스 사전이 생성된다.
도 7은 레이블링이 없는 없는 데이터에 대해 레이블을 부여하고 사전을 생성하는 구조를 나타낸 도면이다.
중기 학습이 완료되고 클래스 사전이 생성되면, 레이블링이 없는 문장 데이터를 이용하여 학습을 지속한다. LSTM 분류 신경망은 레이블링이 있어야만 학습이 가능한 구조이다. 이에, 본 발명은 레이블링이 없는 문장에 레이블을 부여하고 부여된 레이블을 이용하여 학습이 지속되도록 한다.
도 8은 레이블링이 없는 데이터에 대해 레이블을 부여하는 방법을 나타낸 순서도이다.
도 8을 참조하면, 우선 레이블링이 없는 문장 데이터를 학습된 LSTM 분류 신경망에 입력하여, LSTM 분류 신경망의 출력값을 확인한다(단계 800). LSTM 신경망은 학습된 가중치에 기반하여 클래스 판단 및 판단된 클래스 확률을 출력한다.
LSTM 분류 신경망에서 출력되는 클래스 확률이 미리 설정된 제3 경계값 이상인지 여부를 판단한다(단계 802).
LSTM 분류 신경망에서 출력되는 클래스 확률이 미리 설정된 제3 경계값 이하일 경우, LSTM 분류 신경망으로 입력된 문장의 단어 중 LSTM 분류 신경망에서 판단된 클래스 사전에 있는 단어들과 매칭되는 매칭 단어의 수를 카운팅한다(단계 804).
클래스 확률이 미리 설정된 제3 경계값 이하이나, 입력된 문장을 구성하는 단어들 중 클래스 사전에 있는 단어들과 매칭되는 매칭 단어의 수가 미리 설정된 제4 경계값 이상일 경우, LSTM 분류 신경망에서 판단한 클래스로 입력된 문장에 대한 레이블을 부여한다(단계 806). 예를 들어, 입력된 문장에 대해 LSTM 분류 신경망에서 비윤리 클래스로 판단하고, 비윤리 클래스 확률이 제3 경계값 이하이나 매칭 단어의 수가 미리 설정된 제4 경계값 이상일 경우에는 입력된 문장의 클래스가 '비윤리'라고 레이블을 부여하는 것이다.
그러나, 매칭 단어의 수가 미리 설정된 제4 경계값 이하일 경우에는 입력된 문장에 대해 레이블을 부여하지 않고 입력된 문장에 대한 학습을 수행하지 않는다(단계 808).
클래스 확률이 미리 설정된 제3 경계값 이상일 경우, LSTM 분류 신경망으로 입력된 문장의 단어 중 LSTM 분류 신경망에서 판단된 클래스 사전에 있는 단어들과 매칭되는 매칭 단어의 수를 카운팅한다(단계 810)
클래스 확률이 미리 설정된 제3 경계값 이상이고 입력된 문장을 구성하는 단어들 중 클래스 사전에 있는 단어들과 매칭되는 매칭 단어의 수가 미리 설정된 제5 경계값 이상일 경우, LSTM 분류 신경망에서 판단한 클래스로 입력된 문장에 대한 레이블을 부여한다(단계 812). 여기서, 제5 경계값은 제4 경계값에 비해 낮게 설정된다. 예를 들어, 클래스 확률이 제3 경계값 이하일 경우 레이블을 부여하기 위한 매칭 단어 수 경계값(제4 경계값)이 4라면, 클래스 확률이 제3 경계값 이사일 경우 레이블을 부여하기 위한 매칭 단어 수 경계값(제5 경계값)은 3으로 설정될 수 있다.
클래스 확률이 미리 설정된 제3 경계값 이상이나 입력된 문장을 구성하는 단어들 중 클래스 사전에 있는 단어들과 매칭되는 매칭 단어의 수가 미리 설정된 제5 경계값 이하일 경우 입력된 문장에 대해 레이블을 부여하지 않고 입력된 문장에 대한 학습을 수행하지 않는다(단계 814).
입력된 문장에 대해 레이블이 부여되면 입력된 문장에 대한 신경망 연산 결과에 대한 오차를 역전파하여 학습을 수행하고, 입력된 문장에서 어텐션 스코어가 제2 경계값 이상인 단어들은 클래스 사전에 추가한다(단계 816).
도 9는 본 발명의 일 실시예에 따른 레이블 부여 방법을 설명하기 위한 예시 도면이다.
클래스 확률에 대한 제3 경계값은 0.7, 제4 경계값은 4, 제5 경계값은 3이라고 가정한다.
도 9에서, Data1(문장 데이터)은 클래스 확률이 0.7 이상이고 매칭 단어의 수가 3 이상이므로 Data1에 대해서는 레이블을 부여한다.
Data2는 클래스 확률이 0.7 이하이나, 매칭 단어의 수가 4이상이므로 Data2에 대해서도 레이블이 부여된다.
그러나, Data3는 클래스 확률이 0.7 이상이지만, 매칭 단어의 수가 3 이하이므로 레이블이 부여되지 않는다.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다.
따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 청구범위의 기술적 사상에 의해 정해져야 할 것이다.

Claims (4)

  1. 신경망 학습을 수행하는 컴퓨팅 하드웨어에서 수행되는 신경망 학습 방법으로서,
    클래스가 레이블링된 문장 데이터를 LSTM 분류 신경망에 입력하여 클래스 레이블과의 차이값을 이용한 초기 학습을 수행하는 단계(a);
    상기 초기 학습이 이루어진 후 클래스가 레이블링된 문장 데이터를 LSTM 분류 신경망에 입력하여 중기 학습을 수행하고, LSTM 신경망으로부터 획득되는 상기 문장을 구성하는 단어들의 어텐션 스코어에 기초하여 클래스 사전을 갱신하는 단계(b);
    클래스 레이블이 없는 문장 데이터를 LSTM 분류 신경망에 입력하여 출력되는 클래스 확률과 상기 클래스 레이블이 없는 문장을 구성하는 단어들 중 상기 클래스 사전에 있는 단어들과 매칭되는 매칭 단어의 수를 카운팅한 후 상기 클래스 확률 및 상기 매칭 단어의 수에 기초하여 상기 클래스 레이블이 없는 문장 데이터에 대해 클래스 레이블을 부여하는 단계(c); 및
    상기 클래스 레이블이 부여된 문장 데이터를 이용하여 상기 LSTM 분류 신경망에 대한 학습을 수행하고 상기 클래스 레이블이 부여된 문장을 구성하는 단어들의 어텐션 스코어에 기초하여 클래스 사전을 갱신하는 단계(d)를 포함하는 것을 특징으로 하는 클래스 분류 및 클래스 사전 생성을 위한 신경망 학습 방법.
  2. 제1항에 있어서,
    상기 단계(b)는 상기 LSTM 신경망의 출력값에 대한 신뢰도가 미리 설정된 제1 경계값 이상인 문장에 대해서만 문장을 구성하는 단어들 중 어텐션 스코어가 미리 설정된 제2 경계값 이상인 단어들을 상기 클래스 사전에 추가하는 것을 특징으로 하는 클래스 분류 및 클래스 사전 생성을 위한 신경망 학습 방법
  3. 제1항에 있어서,
    상기 단계(c)는 상기 클래스 확률이 미리 설정된 제3 경계값 이하이고, 상기 매칭 단어의 수가 미리 설정된 제4 경계값 이상일 경우 상기 클래스 레이블이 없는 문장 데이터에 대해 레이블을 부여하는 것을 특징으로 하는 클래스 분류 및 클래스 사전 생성을 위한 신경망 학습 방법.
  4. 제3항에 있어서,
    상기 단계(c)는 상기 클래스 확률이 미리 설정된 제3 경계값 이상이고, 상기 매칭 단어의 수가 미리 설정된 제5 경계값 이상일 경우 상기 클래스 레이블이 없는 문장 데이터에 대해 레이블을 부여하고, 상기 제5 경계값은 상기 제4 경계값에 비해 작게 설정되는 것을 특징으로 하는 클래스 분류 및 클래스 사전 생성을 위한 신경망 학습 방법.
KR1020200159601A 2020-11-25 2020-11-25 문장 데이터 클래스 분류 및 클래스 사전 생성을 위한 신경망 학습 방법 KR102563376B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200159601A KR102563376B1 (ko) 2020-11-25 2020-11-25 문장 데이터 클래스 분류 및 클래스 사전 생성을 위한 신경망 학습 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200159601A KR102563376B1 (ko) 2020-11-25 2020-11-25 문장 데이터 클래스 분류 및 클래스 사전 생성을 위한 신경망 학습 방법

Publications (3)

Publication Number Publication Date
KR20220072226A KR20220072226A (ko) 2022-06-02
KR102563376B1 true KR102563376B1 (ko) 2023-08-02
KR102563376B9 KR102563376B9 (ko) 2024-02-08

Family

ID=81985349

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200159601A KR102563376B1 (ko) 2020-11-25 2020-11-25 문장 데이터 클래스 분류 및 클래스 사전 생성을 위한 신경망 학습 방법

Country Status (1)

Country Link
KR (1) KR102563376B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018097468A (ja) 2016-12-09 2018-06-21 日本電信電話株式会社 文分類学習装置、文分類装置、文分類学習方法、及び文分類学習プログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3459016B1 (en) * 2016-05-20 2023-07-05 Deepmind Technologies Limited Classifying input examples using a comparison set
KR102334018B1 (ko) * 2018-11-27 2021-12-02 연세대학교 산학협력단 자가 증식된 비윤리 텍스트의 유효성 검증 장치 및 방법
KR102375876B1 (ko) * 2019-02-12 2022-03-18 주식회사 자이냅스 인공지능 기술을 이용한 문장의 의미 관계를 학습하는 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018097468A (ja) 2016-12-09 2018-06-21 日本電信電話株式会社 文分類学習装置、文分類装置、文分類学習方法、及び文分類学習プログラム

Also Published As

Publication number Publication date
KR20220072226A (ko) 2022-06-02
KR102563376B9 (ko) 2024-02-08

Similar Documents

Publication Publication Date Title
CN110717039B (zh) 文本分类方法和装置、电子设备、计算机可读存储介质
CN110717327B (zh) 标题生成方法、装置、电子设备和存储介质
EP3852001A1 (en) Method and apparatus for generating temporal knowledge graph, device, and medium
CN111460083B (zh) 文档标题树的构建方法、装置、电子设备及存储介质
WO2022100045A1 (zh) 分类模型的训练方法、样本分类方法、装置和设备
US8041733B2 (en) System for automatically categorizing queries
AU2017408800B2 (en) Method and system of mining information, electronic device and readable storable medium
US20060020448A1 (en) Method and apparatus for capitalizing text using maximum entropy
US20190317986A1 (en) Annotated text data expanding method, annotated text data expanding computer-readable storage medium, annotated text data expanding device, and text classification model training method
Antony et al. Kernel based part of speech tagger for kannada
US10546088B2 (en) Document implementation tool for PCB refinement
US11216739B2 (en) System and method for automated analysis of ground truth using confidence model to prioritize correction options
US11669740B2 (en) Graph-based labeling rule augmentation for weakly supervised training of machine-learning-based named entity recognition
US20210103699A1 (en) Data extraction method and data extraction device
US8224642B2 (en) Automated identification of documents as not belonging to any language
CN107577738A (zh) 一种通过svm文本挖掘处理数据的fmeca方法
Fischbach et al. Fine-grained causality extraction from natural language requirements using recursive neural tensor networks
US11625630B2 (en) Identifying intent in dialog data through variant assessment
KR102563376B1 (ko) 문장 데이터 클래스 분류 및 클래스 사전 생성을 위한 신경망 학습 방법
CN112579781A (zh) 文本归类方法、装置、电子设备及介质
US10558778B2 (en) Document implementation tool for PCB refinement
Suhasini et al. A Hybrid TF-IDF and N-Grams Based Feature Extraction Approach for Accurate Detection of Fake News on Twitter Data
Ţucudean et al. The Use of Data Augmentation as a Technique for Improving Fake News Detection in the Romanian Language
CN109145297B (zh) 基于hash存储的网络词汇语义分析方法和系统
JP5888222B2 (ja) 情報処理装置及び情報処理プログラム

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
G170 Re-publication after modification of scope of protection [patent]
G170 Re-publication after modification of scope of protection [patent]