KR20220140260A

KR20220140260A - 인공 신경망 기반의 감성 분석 장치, 방법 및 이의 학습 방법

Info

Publication number: KR20220140260A
Application number: KR1020210046536A
Authority: KR
Inventors: 고영중; 손동철
Original assignee: 성균관대학교산학협력단
Priority date: 2021-04-09
Filing date: 2021-04-09
Publication date: 2022-10-18

Abstract

본 발명에 따르면, 소셜 미디어 플랫폼의 게시물에 대한 이용자들의 반응을 나타낸 데이터인 피드 데이터를 입력 받아, 상기 인공지능 언어모델을 이용하여, 상기 피드 데이터로부터 이용자의 감성을 분석하는 인공 신경망 기반의 감성 분석 장치, 방법 및 이의 학습 방법이 개시된다.

Description

인공 신경망 기반의 감성 분석 장치, 방법 및 이의 학습 방법 {APPARATUS AND METHOD FOR ANALYZING SENTIMENT BASED ON ARTIFICIAL NEURAL NETWORK AND LEARNING METHOD THEREOF}

본 발명은 인공 신경망 기반으로 데이터에 포함된 감성을 분석하는 감성 분석 장치, 방법 및 이의 학습 방법에 관한 것이다.

감성 분석 시스템은 주어진 데이터에 포함된 화자의 감성을 긍정(Positive) 또는 부정(Negative)으로 분석하는 시스템이다. 최근 감성 분석 연구에는 다양한 자연어 처리 분야에서 높은 성능 향상을 보이고 있는 양방향 트랜스포머(Transformers) 기반 범용 언어모델인 버트(BERT)를 사용한 감성 분석 연구가 수행되고 있다.

하지만 기존의 버트는 뉴스, 위키피디아 등의 데이터를 이용하여 사전 학습 되었기 때문에 상품 리뷰나 영화평 등의 비정형 데이터에 대한 이해가 부족하다. 이러한 문제를 해결하기 위해 인터넷 뉴스 댓글 데이터를 기초로 사전 학습된 모델도 등장했으나, 뉴스 댓글 데이터만을 이용하여 학습된 모델은 상품 리뷰와 영화평처럼 도메인이 다른 비정형 데이터(표준어가 아닌 언어 데이터 등)에 대한 이해가 여전히 부족하다.

도메인이 다른 비정형 데이터의 특징을 학습하기 위해 모든 도메인 데이터를 새롭게 학습하는 것은 많은 양의 데이터와 높은 컴퓨팅 자원, 그리고 긴 학습 시간을 필요로 한다. 따라서 기존의 시스템은 비정형 데이터를 처리하는데 있어서는 효과적이라 보기 어렵다.

본 발명은 보다 적은 양의 데이터와 짧은 학습시간으로 비정형 데이터에 대한 시스템의 이해를 높이고 감성 분석 성능을 향상시키는데 그 목적이 있다.

또한, 사전 학습된 모델에 비정형 데이터의 정보를 반영하는 사후 학습(Post-Training) 방법을 사용하여 SNS에서 추출한 데이터를 기반으로 지식 베이스 감성 임베딩을 구축함으로써 기존 시스템의 우수한 성능을 유지한 상태로 새로운 데이터의 특성을 학습시키는데 또 다른 목적이 있다.

본 발명의 명시되지 않은 또 다른 목적들은 하기의 상세한 설명 및 그 효과로부터 용이하게 추론할 수 있는 범위 내에서 추가적으로 고려될 수 있다.

상기 과제를 해결하기 위해, 본 발명의 일 실시예에 따른 인공 신경망 기반의 감성 분석 장치는, 인공지능 언어모델이 저장된 메모리 및 소셜 미디어 플랫폼의 게시물에 대한 이용자들의 반응을 나타낸 데이터인 피드 데이터를 입력 받아, 상기 인공지능 언어모델을 이용하여, 상기 피드 데이터로부터 이용자의 감성을 분석하는 프로세서를 포함한다.

여기서, 상기 인공지능 언어모델은, 사전 학습된 인공지능 언어모델에 포함되는 적어도 하나의 레이어에 새로운 레이어를 치환 또는 추가하여 생성된 것일 수 있다.

여기서, 상기 인공지능 언어모델은, 트레이닝 텍스트의 다수의 토큰 중 적어도 하나를 임의로 마스킹하여 생성한 마스킹 데이터를 입력 데이터로 하고, 상기 마스킹 데이터의 원본 데이터를 레이블로 하여 학습된 것일 수 있다.

여기서, 상기 트레이닝 텍스트는, 비표준어, 오탈자가 있는 단어 및 비속어 중 적어도 하나를 포함할 수 있다.

여기서, 상기 인공지능 언어모델은, 제1 트레이닝 텍스트와 제2 트레이닝 텍스트를 입력 데이터로 하고, 상기 제1 트레이닝 텍스트의 레이블과 상기 제2 트레이닝 텍스트의 레이블 사이의 관계를 예측한 결과를 출력하도록 학습된 것일 수 있다.

여기서, 상기 제1 트레이닝 텍스트와 상기 제2 트레이닝 텍스트는, 각각 표준어를 포함하는 정형 데이터와 비표준어, 오탈자가 있는 단어 및 비속어 중 적어도 하나를 포함하는 비정형 데이터 중 하나를 선택하여 구성될 수 있다.

본 발명의 또 다른 실시예에 따른 인공지능 언어모델 학습 방법은, 프로세서가, 사전 학습된 인공지능 언어모델에 포함되는 적어도 하나의 레이어에 새로운 레이어를 치환 또는 추가하여 생성된 인공지능 언어모델에, 트레이닝 텍스트의 다수의 토큰 중 적어도 하나를 임의로 마스킹하여 생성한 제1 트레이닝 텍스트와 제2 트레이닝 텍스트를 입력데이터로 하고, 마스킹된 트레이닝 텍스트의 원본 텍스트를 제1 레이블, 제1 트레이닝 텍스트의 레이블과 상기 제2 트레이닝 텍스트의 레이블 사이의 관계를 제2 레이블로 하여 입력시키는 단계 및 사후 학습된 인공지능 언어모델이 예측한 결과에 기초하여 상기 인공지능 언어모델의 제1 레이어의 제1 파라미터를 조정하는 단계를 포함한다.

여기서, 감성 분석의 대상이 되는 텍스트를 입력데이터로 하고, 상기 감성 분석의 대상이 되는 텍스트의 긍정 또는 부정 결과를 레이블로 하여 입력시키는 단계 및 추가 학습된 인공지능 언어모델이 긍정 또는 부정 결과를 예측한 결과에 기초하여 상기 인공지능 언어모델의 제2 레이어의 제2 파라미터를 조정하는 단계를 포함할 수 있다.

본 발명의 또 다른 실시예에 따른 감성 분석 장치에 의해 수행되는 감성 분석 방법은, 소셜 미디어 플랫폼의 게시물에 대한 이용자들의 반응을 나타낸 데이터인 피드 데이터를 입력 받는 단계 및 학습된 인공지능 언어모델을 이용하여, 상기 피드 데이터로부터 이용자의 감성을 분석하는 단계를 포함한다.

또한, 컴퓨터 프로그램을 저장하고 있는 컴퓨터 판독 가능 기록매체로서, 상기 컴퓨터 프로그램은, 인공 신경망 기반의 감성 분석 방법을 프로세서가 수행하도록 하기 위한 명령어를 포함하는 컴퓨터 판독 가능한 기록매체를 제공할 수 있다.

또한, 컴퓨터 판독 가능한 기록매체에 저장되어 있는 컴퓨터 프로그램으로서, 상기 컴퓨터 프로그램은, 인공 신경망 기반의 감성 분석 방법을 상기 프로세서가 수행하도록 하기 위한 명령어를 포함하는 컴퓨터 프로그램을 제공할 수 있다.

이상에서 설명한 바와 같이 본 발명의 실시예들에 의하면, 사전 학습된 모델에 비정형 데이터의 정보를 반영하는 사후 학습(Post-Training) 방법을 사용하여, 새롭게 사전 학습하는 것에 비해 훨씬 적은 데이터와 짧은 학습 시간으로 시스템의 비정형 데이터에 대한 이해를 높이고, 감성 분석 성능을 향상시킬 수 있다.

이에 따라, 비정형 데이터에 대한 감성 분석을 통해, 소비자는 상품 및 서비스의 구매 여부 판단에 도움을 얻을 수 있고 기업은 소비자의 불만 및 요구 사항을 수렴하여 마케팅 전략을 수립하는 데 이를 활용할 수 있다.

여기에서 명시적으로 언급되지 않은 효과라 하더라도, 명세서에서 기재된 본 발명의 기술적 구성에 의해 기대되는 잠정적인 효과 또한 본 발명의 명세서에 기재된 것과 같이 취급된다.

도 1은 본 발명의 일 실시예에 따른 인공 신경망 기반의 감성 분석 장치가 적용되는 시스템의 구성을 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 인공 신경망 기반의 감성 분석 장치를 개념적으로 도시한 블록도이다.
도 3은 본 발명의 일 실시예에 따른 인공지능 언어모델의 각 구성을 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 인공지능 언어모델의 지식 베이스 감성 임베딩을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 인공 신경망 기반의 감성 분석 방법을 나타낸 흐름도이다.
도 6은 본 발명의 일 실시예에 따른 인공지능 언어모델 학습 방법을 나타낸 흐름도이다.

이하, 본 발명에 관련된 인공 신경망 기반의 감성 분석 장치, 방법 및 이의 학습 방법에 대하여 도면을 참조하여 보다 상세하게 설명한다. 그러나, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 설명하는 실시예에 한정되는 것이 아니다. 그리고, 본 발명을 명확하게 설명하기 위하여 설명과 관계없는 부분은 생략되며, 도면의 동일한 참조부호는 동일한 부재임을 나타낸다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.

이하의 설명에서 사용되는 구성요소에 대한 접미사 “모듈” 및 “부”는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

본 발명은 인공 신경망 기반의 감성 분석 장치, 방법 및 이의 학습 방법에 관한 것이다.

도 1은 본 발명의 일 실시예에 따른 인공 신경망 기반의 감성 분석 장치가 적용되는 시스템의 구성을 나타낸 도면이다.

본 발명의 일 실시예에 따른 인공 신경망 기반의 감성 분석 장치(10)는 소셜 미디어 플랫폼의 게시물에 대한 이용자들의 반응을 나타낸 데이터인 피드 데이터를 입력 받아, 인공지능 언어모델을 이용하여, 상기 피드 데이터로부터 이용자의 감성을 분석하는 장치이다.

도 1을 참조하면, 감성 분석 장치(10)는 소셜 네트워크 서비스 서버(20)와 연결되어 소셜 미디어 플랫폼(21, 22, 23) 각각의 게시물에 대한 이용자들의 반응을 나타낸 데이터인 피드 데이터를 입력 받아, 인공지능 언어모델을 이용하여, 피드 데이터로부터 이용자의 감성을 분석할 수 있다.

여기서, 본 발명의 일 실시예에 따른 인공 신경망 기반의 감성 분석 장치(10)는 감성 분석 장치(10)가 적용되는 시스템(1)에서 연동된 소셜 네트워크 서비스 서버(20)로부터의 피드 데이터를 입력 받을 수도 있고, 별도로 마련된 데이터 베이스에 저장된 피드 데이터를 입력 받아 이용자의 감성을 분석할 수도 있다.

여기서, 소셜 미디어 플랫폼은 트위터(Twitter), 페이스북(Facebook)과 같은 소셜 네트워킹 서비스(social networking service, SNS)에 가입한 이용자들이 서로 정보와 의견을 공유하면서 대인관계망을 넓힐 수 있는 플랫폼이다.

소셜 미디어 플랫폼은 페이스북, 유튜브, 인스타그램, 트위터, 카카오스토리, 트위터, 라인, 밴드, 카카오톡, 블로그, 폴라, 포스트, 프레인 등이 가능할 것이며, 이에 한정되지 않는다.

도 2는 본 발명의 일 실시예에 따른 인공 신경망 기반의 감성 분석 장치를 개념적으로 도시한 블록도이다.

도 2를 참조하면, 본 발명의 일 실시예에 따른 인공 신경망 기반의 감성 분석 장치(10)는 프로세서(11) 및 메모리(12)를 포함한다.

본 발명의 일 실시예에 따른 인공 신경망 기반의 감성 분석 장치(10)는 인공지능 언어모델을 이용하여, 피드 데이터로부터 이용자의 감성을 분석하기 위한 장치로서, 사후 학습과 지식 베이스 감성 임베딩을 이용한 버트(BERT)기반 감성 분석 장치이다.

메모리(12)는 프로세서(11)의 처리 및 제어를 위한 프로그램들(하나 이상의 인스트럭션들)을 저장할 수 있고, 인공지능 언어모델이 저장되며, 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어, SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 컴퓨터 판독 가능한 저장매체를 포함할 수 있다.

메모리(12)에 저장된 프로그램들은 기능에 따라 복수 개의 모듈들로 구분될 수 있으며, 후술할 인공지능 언어모델이 소프트웨어 모듈로 구성될 수 있다.

프로세서(11)는 메모리(12)에 저장된 하나 이상의 인스트럭션을 실행하며, 구체적으로, 소셜 미디어 플랫폼의 게시물에 대한 이용자들의 반응을 나타낸 데이터인 피드 데이터를 입력 받아, 인공지능 언어모델을 이용하여, 피드 데이터로부터 이용자의 감성을 분석한다.

여기서, 프로세서(11)는 기능에 따라 복수 개의 모듈들로 구분될 수도 있고, 하나의 프로세서에서 기능들을 수행할 수도 있다. 프로세서는 중앙처리장치(central processing unit(CPU)), 어플리케이션 프로세서(application processor(AP)), 마이크로 컨트롤러 유닛(micro controller unit(MCU)) 또는 커뮤니케이션 프로세서(communication processor(CP)) 중 하나 또는 그 이상을 포함할 수 있다.

여기서, 인공지능 언어모델은, 사전 학습된 인공지능 언어모델에 포함되는 적어도 하나의 레이어에 새로운 레이어를 치환 또는 추가하여 생성된 것이다.

구체적으로, 상기 인공지능 언어모델은 첫 번째 학습과 두 번째 학습이 완료된 인공지능 언어모델이며, 학습 단계는 당업자의 설계 변경에 의해 더 추가될 수도 있다.

여기서, 첫 번째 학습은 사후 학습, 두 번째 학습은 Fine-tuning이며, 첫 번째 학습의 목표는 사전 학습된 언어모델을 학습시켜 사후 학습된 언어모델을 만드는 것이며, 두 번째 학습의 목표는 사후 학습된 언어모델을 학습시켜 Fine-tunned 언어모델을 만드는 것이다.

이에 따라, 본 발명의 일 실시예에 따르면 사전 학습된 인공지능 언어모델, 사전 학습된 인공지능 언어모델을 이용하여 첫 번째 학습이 수행된 사후 학습된 언어모델, 사후 학습된 언어모델에 RNN과 KBE가 추가되어 두 번째 학습이 수행된 Fine-tunned 언어모델을 이용할 수 있으며, 본 명세서에서는 하나의 인공지능 모델만을 지칭하는 것은 아니다.

여기서, 상기 사후 학습된 언어모델은 사전 학습된 모델에 비정형 데이터의 정보를 반영하는 사후 학습 방법으로 학습되는 것으로서, 사전 학습된 인공지능 언어모델에 포함되는 적어도 하나의 레이어에 새로운 레이어를 치환 또는 추가하여 생성된 것일 수 있다.

여기서, 사후 학습된 언어모델은, 트레이닝 텍스트의 다수의 토큰 중 적어도 하나를 임의로 마스킹하여 생성한 제1 트레이닝 텍스트와 제2 트레이닝 텍스트를 입력데이터로 하고, 제1 레이블, 제1 트레이닝 텍스트의 레이블과 상기 제2 트레이닝 텍스트의 레이블 사이의 관계를 제2 레이블로 하여 학습된다.

상기 학습은 첫 번째 학습인 사후 학습을 수행하는 단계로써, 사전 학습된 언어모델을 학습시켜 사후 학습된 언어모델을 생성하게 된다.

구체적으로, 비정형 데이터 기반 Masked Language Model(MLM) 학습과 Sentence Polarity Prediction(SPP)를 수행하며, MLM은 입력된 텍스트 내 토큰 중 하나를 무작위로 마스킹한 후, 주변 문맥을 바탕으로 마스킹된 토큰을 예측하는 학습 방법이다.

이를 통해 정형 데이터로 학습된 기존 모델의 학습 편향을 감소시키고 동시에 새로 학습할 데이터의 특성 및 도메인 정보를 모델에 반영한다. 예를 들어 "연기가 [MASK]"처럼 마스킹된 토큰을 포함한 텍스트가 주어졌을 때, 정형 데이터로 사전 학습된 BERT는 [MASK]를 '난다' 또는 '좋다' 등의 정형 표현으로 많이 예측했을 것이다. 하지만 영화평과 같은 비정형 데이터로 사후 학습된 BERT는 [MASK]를 '난다'와 '좋다' 뿐만 아니라, '쩐다'와 '끝내준다'와 같은 비정형 표현도 예측할 수 있게 된다. 학습에 사용된 비정형의 영화평에는 '연기가 끝내준다' 또는 '연기가 쩐다'와 같은 비정형 표현이 사용되기 때문이다. 따라서 MLM 학습을 통해 비정형 데이터의 특성뿐만 아니라 새로운 도메인의 정보도 모델에 반영할 수 있다.

여기서 마스킹 데이터는 '연기가 쩐다'로 입력 받은 트레이닝 데이터에서 '쩐다'에 대응되는 부분을 마스킹하여 "연기가 [MASK]"처럼 마스킹된 토큰을 포함한 텍스트로 생성한 데이터이며, 레이블은 마스킹 데이터의 원본 데이터로써 '연기가 쩐다' 텍스트 그 자체이거나, 마스킹된 영역인 '쩐다'에 해당하는 텍스트일 수 있다.

SPP는 입력된 두 텍스트의 감성이 일치하는지 예측하는 학습 방법이다.

여기서, 제1 트레이닝 텍스트와 제2 트레이닝 텍스트를 입력 데이터로 하고, 상기 제1 트레이닝 텍스트의 레이블과 상기 제2 트레이닝 텍스트의 레이블 사이의 관계를 예측한 결과를 출력하도록 학습된다.

여기서, 제1 트레이닝 텍스트와 상기 제2 트레이닝 텍스트는, 각각 표준어를 포함하는 정형 데이터와 비표준어, 오탈자가 있는 단어 및 비속어 중 적어도 하나를 포함하는 비정형 데이터 중 하나를 선택하여 구성될 수 있다.

예를 들어, 제1 트레이닝 텍스트와 제2 트레이닝 텍스트는 (정형, 정형) / (정형, 비정형) / (비정형, 정형) 등 자유롭게 쌍이 구성될 수 있다.

이러한 학습을 통해 정형 데이터로만 학습된 기존의 BERT에 새로 학습하는 비정형 데이터의 감성 정보를 보다 집중적으로 반영할 수 있다. 예를 들어, "연기가 쩐다"와 "연기가 좋다"처럼, 두 개의 긍정 문장이 입력되었을 때, 기존 모델은 비정형 표현에 대한 이해가 낮아 "연기가 쩐다"를 긍정으로 올바르게 예측하기 어려웠을 것이다. 하지만 SPP 학습을 통해 해당 표현이 어떤 표현과 동일한 감성을 가지고, 또 다른 감성을 가지는지 학습함으로써 새롭게 학습하는 표현의 감성 정보와 다른 문장과의 감성 관계를 학습한다. 이를 위해 긍정과 긍정, 또는 부정과 부정으로 동일한 감성의 텍스트가 주어진다면 긍정 예시(Positive Example), 서로 다른 감성의 텍스트가 주어진다면 부정 예시(Negative Example)로 구성하여 학습된다.

여기서, 제1 트레이닝 텍스트를 "연기가 좋다"로, 제2 트레이닝 텍스트를 "연기가 쩐다"로 입력하면, 제1 트레이닝 텍스트의 레이블이 "긍정"이고, 상기 제2 트레이닝 텍스트의 레이블 "긍정"으로 동일한 감성의 텍스트이므로 제1 트레이닝 텍스트의 레이블과 상기 제2 트레이닝 텍스트의 레이블 사이의 관계를 예측한 결과를 긍정 예시(Positive Example)로 하여 학습된다.

도 3은 본 발명의 일 실시예에 따른 인공지능 언어모델의 구성을 나타낸 도면이다.

본 발명의 일 실시예에 따른 인공지능 언어모델의 구성은 Contextual Embed Layer(100), Modeling Layer(200), Knowledge based Attention Layer(300), Output Layer(400)로 나뉜다. Contextual Embed Layer(100)는 입력된 텍스트를 컴퓨터가 계산 가능한 벡터로 바꾸는 단계를 포함한다.

여기서, 인공지능 언어모델은 첫 번째 학습과 두 번째 학습이 완료된 인공지능 언어모델이며, 학습 단계는 당업자의 설계 변경에 의해 더 추가될 수도 있다.

또한, 본 발명의 일 실시예에 따르면 상기 인공지능 언어모델은 입력된 텍스트의 긍정, 부정을 잘 예측하기 위해, 모든 레이어(100,200,300,400)에 걸쳐 학습이 수행된다.

본 발명의 일 실시예에 따른 인공지능 언어모델은 버트 모델을 비정형 데이터로 사후 학습함으로써, 모델에 비정형 데이터가 입력되었을 때, 해당 데이터에 대한 심층 이해가 반영된 벡터를 도출함에 따라 텍스트를 유의미한 벡터로 만들 수 있고, 인공지능 모델의 성능을 향상시킬 수 있다.

여기서, 상기 인공지능 언어모델은, Contextual Embed Layer(100)를 포함하며, 미리 학습된 버트 모델로서 비표준어, 오탈자가 있는 단어 및 비속어 중 적어도 하나를 포함할 수 있는 텍스트를 입력 데이터로 하고, 상기 데이터의 감성 레이블과 상기 인공지능 언어모델에서 출력된 감성 분석 예측 결과에 기초하여 미리 학습된 것이다.

도출된 벡터는 Modeling Layer(200)의 입력으로 사용된다. Modeling Layer(200)는 각 토큰 별 벡터에 순차적인(Sequential) 정보를 반영하는 단계를 포함한다. 사람이 작성한 텍스트는 문장의 앞뒤 문맥에 따라 그 의미가 영향을 받으므로, 이러한 순서 정보를 반영하는 것은 모델이 텍스트의 의미를 올바르게 이해하는데 매우 중요한 역할을 한다.

본 발명의 일 실시예에 따른 인공지능 언어모델은 감성 분석을 위한 BERT의 Fine-Tuning 방법으로 BERT의 출력을 입력으로 사용하는 RNN 모델을 추가하여 사용한다. BERT의 입력으로는 감성 분석의 대상이 되는 텍스트가 Wordpiece 단위로 토큰화되어 사용된다. 각 토큰(110)은 Token={Tok1, Tok2, ... ,TokN}으로 나타난다. BERT는 각 토큰의 자질(120)인 Tj를 출력하며, Tj는 RNN 모델의 입력으로 사용된다. 본 발명의 일 실시예에서는 RNN 모델로 양방향 GRU(210, 220)를 사용하며, 그 수식은 수학식 1과 같다.

여기서,

은 RNN 모델의 순방향(forward),

은 역방향(backward) 히든 스테이트이다. RNN 모델의 출력은 두 방향의 마지막 셀에 해당하는 히든 스테이트를 연결(concatenate)(310)하여 만든 최종 텍스트의 임베딩 C이다. C는 지식 베이스 감성 임베딩과 Attention 연산을 수행한 뒤, Feed-Forward Neural Network (FFNN)를 거쳐 긍정 또는 부정으로 이진 분류된다.

Knowledge based Attention Layer(300)는 미리 구축한 감성 사전의 단어 중, 입력된 텍스트와 유사도가 높은 Top K개의 단어를 선정하는 단계를 포함한다. 텍스트와 관련 높은 감성 단어들의 벡터를 유사도 가중치만큼 모두 더하여 텍스트가 내포한 감성 정보를 극대화할 수 있다. 이는 결과적으로 모델이 텍스트의 감성을 분석할 때, 유용한 자질로 활용 가능하다.

본 발명의 일 실시예에 따른 인공지능 언어모델은 각 감성의 특징을 모델에 반영하기 위해 지식 베이스 감성 임베딩(Sentiment Knowledge-Base Embedding; Sent_KBE)을 사용한다. 감성 임베딩 구축을 위해 약 25,000건의 SNS 트위터 데이터를 수집하고, 이를 여섯 가지 감정(행복, 슬픔, 혐오, 분노, 공포, 놀람) 중 하나의 감정으로 분류하여 유효한 데이터를 추출하게 된다. 이를 형태소 분석한 뒤, Feature Selection 방법인 Correlation Coefficient를 사용하여 자동으로 지식 베이스 감성 사전을 구축할 수 있다.

감성 단어의 임베딩은 수집한 학습 데이터에서 해당 감성 단어가 포함된 텍스트를 추출한 뒤, 이를 BERT의 입력으로 넣어 출력되는 감성 단어의 임베딩을 평균하여 구축한다. 본 발명의 일 실시예에서는 위 과정을 통해 구축한 지식 베이스 감성 임베딩을 S라고 정의한다. 수학식 2는 BERT와 RNN 모델을 통해 생성된 텍스트 임베딩 C와 지식 베이스 감성 임베딩 S를 Attention 연산(320)하여 Score A를 구하는 수식이다.

여기서, Attention Score A 중, C와 유사도가 높은 상위 K개의 감성 단어 Attention Score를 Z={z₁,z₂, ... ,z_K}, 임베딩 값을 U={u₁,u₂, ... ,u_K}로 정의한다. K는 실험을 통해 가장 높은 성능을 보인 3으로 설정한다. 수학식 3은 추출한 상위 K개의 감성 단어 임베딩을 더하여 상위 K개의 감성 단어 임베딩 Q를 구하는 수식이다.

수학식 4는 텍스트 임베딩 C와 감성 단어 임베딩 Q를 연결하여 Attention Gate g을 구하는 수식이다. 활성함수는 Sigmoid를 사용한다.

수학식 5는 수학식 4를 통해 계산된 Attention Gate g를 이용 Gate Mechanism연산하는 수식이며 ⊙는 Element Wise 곱셈 연산을 나타낸다.

Output Layer(400)는 일련의 연산을 거친 텍스트 벡터를 이용해 긍정과 부정으로 이진 분류하는 단계를 포함한다.

Attention Gate g는 [C;Q]와 같은 차원을 가진다. 생성된 벡터 P는 FFNN(410)을 거쳐 최종적으로 긍정(420) 또는 부정(430) 레이블로 이진 분류된다.

도 4는 본 발명의 일 실시예에 따른 인공지능 언어모델의 지식 베이스 감성 임베딩을 설명하기 위한 도면이다.

본 발명의 일 실시예에 따른 인공지능 언어모델은 감성의 특징을 모델에 반영하기 위해 지식 베이스 감성 임베딩(Sentiment Knowledge-Base Embedding)을 사용한다. 영화평 또는 사용자 후기와 같은 비정형 입력 데이터의 벡터와 미리 구축한 감성 사전간의 Attention 연산을 통해, 입력 데이터와 가장 관련 높은 Top K개 감성 자질을 추출한다. 그런 다음, K개의 감성 자질 임베딩을 Weighted Sum하여 잠재적인 감성 의미가 담긴 벡터 Q를 생성한다. 벡터 Q는 입력 데이터의 벡터와 연결되어 최종 분류를 할 때 활용된다.

도 5는 본 발명의 일 실시예에 따른 인공 신경망 기반의 감성 분석 방법을 나타낸 흐름도이다.

도 5를 참조하면, 본 발명의 일 실시예에 따른 인공 신경망 기반의 감성 분석 방법은 감성 분석 장치에 의해 수행되며, 단계 S10에서 소셜 미디어 플랫폼의 게시물에 대한 이용자들의 반응을 나타낸 데이터인 피드 데이터를 입력 받는다.

단계 S20에서 학습된 인공지능 언어모델을 이용하여, 피드 데이터로부터 이용자의 감성을 분석한다.

여기서, 인공지능 언어모델은, 트레이닝 텍스트의 다수의 토큰 중 적어도 하나를 임의로 마스킹하여 생성한 마스킹 데이터를 입력 데이터로 하고, 마스킹 데이터의 원본 데이터를 레이블로 하여 학습된 것이다.

여기서, 트레이닝 텍스트는, 비표준어, 오탈자가 있는 단어 및 비속어 중 적어도 하나를 포함하는 비정형 데이터이다.

여기서, 인공지능 언어모델은, 제1 트레이닝 텍스트와 제2 트레이닝 텍스트를 입력 데이터로 하고, 상기 제1 트레이닝 텍스트의 레이블과 상기 제2 트레이닝 텍스트의 레이블 사이의 관계를 예측한 결과를 출력하도록 학습된 것이다.

본 발명의 실시예에 따라 입력되는 피드 데이터와 최종 출력 결과를 예로 들면, 입력 데이터가 '로코 굉장히 즐겨보는데, 이 영화는 좀 별로였다. 뭔가 사랑도 개그도 억지스런 느낌'인 경우, 시스템 결과는 Negative (0)으로 출력될 수 있다.

또한, 입력 데이터가 '세븐을 생각하면서 봤다가 큰코다친 영화, 모건프리먼의 연기는 좋았으나..'인 경우, 시스템 결과는 Negative (0)으로 출력될 수 있다.

또한, 입력 데이터가 '피는 물보다 진하다. 이 한마디로 모든게 표현되는 영화'인 경우, 시스템 결과는 Positive (1)으로 출력될 수 있다.

또한, 입력 데이터가 '마지막 도서카드에 그려진 모습을 보고 우는 이츠키의 모습을 보고 저도 울었습니다... 지금 본지 3달은 지난거 같은데 아직도 그 모습을 떠올리면 먹먹해지네요'인 경우, 시스템 결과는 Positive (1)으로 출력될 수 있다.

도 6은 본 발명의 일 실시예에 따른 인공지능 언어모델 학습 방법을 나타낸 흐름도이다.

도 6을 참조하면, 본 발명의 일 실시예에 따른 인공지능 언어모델 학습 방법은 프로세서에 의해 수행되며, 단계 S110에서, 사전 학습된 인공지능 언어모델에 포함되는 적어도 하나의 레이어에 새로운 레이어를 치환 또는 추가하여 생성된 인공지능 언어모델에, 트레이닝 텍스트의 다수의 토큰 중 적어도 하나를 임의로 마스킹하여 생성한 제1 트레이닝 텍스트와 제2 트레이닝 텍스트를 입력데이터로 하고, 마스킹된 트레이닝 텍스트의 원본 텍스트를 제1 레이블, 제1 트레이닝 텍스트의 레이블과 상기 제2 트레이닝 텍스트의 레이블 사이의 관계를 제2 레이블로 하여 입력시킨다.

이후, 단계 S120에서 사후 학습된 인공지능 언어모델이 예측한 결과에 기초하여 상기 인공지능 언어모델의 제1 레이어의 제1 파라미터를 조정한다.

또한, 단계 S130에서 감성 분석의 대상이 되는 텍스트를 입력데이터로 하고, 상기 감성 분석의 대상이 되는 텍스트의 긍정 또는 부정 결과를 레이블로 하여 입력시킨다.

이후, 단계 S140에서 추가 학습된 인공지능 언어모델이 긍정 또는 부정 결과를 예측한 결과에 기초하여 상기 인공지능 언어모델의 제2 레이어의 제2 파라미터를 조정한다.

여기서, 인공지능 언어모델의 제1 레이어의 제1 파라미터를 조정하는 학습 단계는 첫 번째 학습 단계에 관한 것으로, Pre-trained 모델을 학습시켜 Post-trained 모델을 만드는 단계를 포함한다.

인공지능 언어모델의 제2 레이어의 제2 파라미터를 조정하는 학습 단계는 두 번째 학습 단계에 관한 것으로, Post-trained 모델을 학습시켜 Fine-tunned 모델을 만드는 단계를 포함한다.

또한, 본 명세서에서는, 설명의 편의상, 첫 번째 학습 단계와 두 번째 학습 단계가 순차적으로 한정되는 것처럼 설명하였지만, 수행되는 순서는 도 6과 상이할 수 있으며, 첫 번째 학습 단계와 두 번째 학습 단계가 별도로 수행될 수도 있다.

또한, 컴퓨터 프로그램을 저장하고 있는 컴퓨터 판독 가능 기록매체로서, 상기 컴퓨터 프로그램은, 인공 신경망 기반의 감성 분석 방법과 학습 방법을 프로세서가 수행하도록 하기 위한 명령어를 포함하는 컴퓨터 판독 가능한 기록매체를 제공할 수 있다.

또한, 컴퓨터 판독 가능한 기록매체에 저장되어 있는 컴퓨터 프로그램으로서, 상기 컴퓨터 프로그램은, 인공 신경망 기반의 감성 분석 방법과 학습 방법을 상기 프로세서가 수행하도록 하기 위한 명령어를 포함하는 컴퓨터 프로그램을 제공할 수 있다.

표 1-4는 본 발명의 감성 분석 실험 성능을 보이는 표이다. 표 1을 참조하면, 본 발명은 학습 데이터로 15만 개의 NSMC 데이터와 66만 개의 NSMC+ 데이터를 사용하며, 테스트 데이터로 5만 개의 NSMC 데이터를 사용한다.

표 2는 사전 학습된 모델과 사후 학습된 모델의 성능 차이에 따른 감성 분석 성능 비교 실험 결과를 나타낸다.

실험 결과 사전 학습된 BERT의 [CLS] 토큰만 사용하여 감성 분석하는 것보다 양방향 GRU도 사용하는 것이 감성 분석 성능 향상에 도움이 된다는 것을 알 수 있다.

표 3은 Post-training의 효과에 대해 보이는 학습 데이터 개수 별 성능 비교 결과를 나타낸다.

실험 결과 정형 데이터로 사전 학습된 BERT보다 비정형 데이터로 사후 학습한 BERT가 더 높은 감성 분석 성능을 보였다. 사후 학습은 단순히 MLM 학습만 하는 것보다 본 발명의 일 실시예에 따른 SPP 학습 방법과 함께 적용했을 때 더 높은 성능 향상을 보였다. 또한 사후 학습에 더 많은 데이터를 사용할수록 감성 분석 성능이 향상됨을 보였다.

표 4는 사후 학습된 모델의 SNS 데이터에 대한 여섯 가지 감정 분류 성능을 나타낸다. 실험에는 자체 수집한 5,787개의 SNS 데이터 중, 사후 학습과 Fine-Tuning에 4,627개의 학습 데이터, 테스트에 1,160개의 테스트 데이터를 사용했다.

실험 결과 사후 학습 방법을 통해 비정형 데이터를 학습하고 지식 베이스 감성 임베딩을 사용하는 것이 여섯 가지 감정 분류에서도 성능 향상에 도움이 된다는 것을 보였다.

이러한 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 기록 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(Floptical disk)와 같은 자기-광매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상의 설명은 본 발명의 일 실시예에 불과할 뿐, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현할 수 있을 것이다. 따라서 본 발명의 범위는 전술한 실시예에 한정되지 않고 특허 청구 범위에 기재된 내용과 동등한 범위 내에 있는 다양한 실시 형태가 포함되도록 해석되어야 할 것이다.

10: 감성 분석 장치
11: 프로세서
12: 메모리

Claims

감성 분석 장치에 있어서,
인공지능 언어모델이 저장된 메모리; 및
소셜 미디어 플랫폼의 게시물에 대한 이용자들의 반응을 나타낸 데이터인 피드 데이터를 입력 받아, 상기 인공지능 언어모델을 이용하여, 상기 피드 데이터로부터 이용자의 감성을 분석하는 프로세서;를 포함하는 감성 분석 장치.
제1항에 있어서,
상기 인공지능 언어모델은,
사전 학습된 인공지능 언어모델에 포함되는 적어도 하나의 레이어에 새로운 레이어를 치환 또는 추가하여 생성된 것인 감성 분석 장치.
제2항에 있어서,
상기 인공지능 언어모델은,
트레이닝 텍스트의 다수의 토큰 중 적어도 하나를 임의로 마스킹하여 생성한 마스킹 데이터를 입력 데이터로 하고, 상기 마스킹 데이터의 원본 데이터를 레이블로 하여 학습된 것인 감성 분석 장치.
제3항에 있어서,
상기 트레이닝 텍스트는, 비표준어, 오탈자가 있는 단어 및 비속어 중 적어도 하나를 포함하는 비정형 데이터인 감성 분석 장치.
제2항에 있어서,
상기 인공지능 언어모델은,
제1 트레이닝 텍스트와 제2 트레이닝 텍스트를 입력 데이터로 하고, 상기 제1 트레이닝 텍스트의 레이블과 상기 제2 트레이닝 텍스트의 레이블 사이의 관계를 예측한 결과를 출력하도록 학습된 것인 감성 분석 장치.
제5항에 있어서,
상기 제1 트레이닝 텍스트와 상기 제2 트레이닝 텍스트는, 각각 표준어를 포함하는 정형 데이터와 비표준어, 오탈자가 있는 단어 및 비속어 중 적어도 하나를 포함하는 비정형 데이터 중 하나를 선택하여 구성되는 감성 분석 장치.
인공지능 언어모델 학습 방법에 있어서,
프로세서가, 사전 학습된 인공지능 언어모델에 포함되는 적어도 하나의 레이어에 새로운 레이어를 치환 또는 추가하여 생성된 인공지능 언어모델에, 트레이닝 텍스트의 다수의 토큰 중 적어도 하나를 임의로 마스킹하여 생성한 제1 트레이닝 텍스트와 제2 트레이닝 텍스트를 입력데이터로 하고, 마스킹된 트레이닝 텍스트의 원본 텍스트를 제1 레이블, 제1 트레이닝 텍스트의 레이블과 상기 제2 트레이닝 텍스트의 레이블 사이의 관계를 제2 레이블로 하여 입력시키는 단계; 및
사후 학습된 인공지능 언어모델이 예측한 결과에 기초하여 상기 인공지능 언어모델의 제1 레이어의 제1 파라미터를 조정하는 단계;를 포함하는 인공지능 언어모델 학습 방법.
제7항에 있어서,
상기 제1 트레이닝 텍스트와 상기 제2 트레이닝 텍스트는, 각각 표준어를 포함하는 정형 데이터와 비표준어, 오탈자가 있는 단어 및 비속어 중 적어도 하나를 포함하는 비정형 데이터 중 하나를 선택하여 구성되는 인공지능 언어모델 학습 방법.
제7항에 있어서,
감성 분석의 대상이 되는 텍스트를 입력데이터로 하고, 상기 감성 분석의 대상이 되는 텍스트의 긍정 또는 부정 결과를 레이블로 하여 입력시키는 단계; 및
추가 학습된 인공지능 언어모델이 긍정 또는 부정 결과를 예측한 결과에 기초하여 상기 인공지능 언어모델의 제2 레이어의 제2 파라미터를 조정하는 단계;를 포함하는 인공지능 언어모델 학습 방법.
감성 분석 장치에 의해 수행되는 감성 분석 방법에 있어서,
소셜 미디어 플랫폼의 게시물에 대한 이용자들의 반응을 나타낸 데이터인 피드 데이터를 입력 받는 단계; 및
학습된 인공지능 언어모델을 이용하여, 상기 피드 데이터로부터 이용자의 감성을 분석하는 단계;를 포함하는 감성 분석 방법.
제10항에 있어서,
상기 인공지능 언어모델은,
사전 학습된 인공지능 언어모델에 포함되는 적어도 하나의 레이어에 새로운 레이어를 치환 또는 추가하여 생성된 것인 감성 분석 방법.
제11항에 있어서,
상기 인공지능 언어모델은,
트레이닝 텍스트의 다수의 토큰 중 적어도 하나를 임의로 마스킹하여 생성한 마스킹 데이터를 입력 데이터로 하고, 상기 마스킹 데이터의 원본 데이터를 레이블로 하여 학습된 것인 감성 분석 방법.
제12항에 있어서,
상기 트레이닝 텍스트는, 비표준어, 오탈자가 있는 단어 및 비속어 중 적어도 하나를 포함하는 비정형 데이터인 감성 분석 방법.
제11항에 있어서,
상기 인공지능 언어모델은,
제1 트레이닝 텍스트와 제2 트레이닝 텍스트를 입력 데이터로 하고, 상기 제1 트레이닝 텍스트의 레이블과 상기 제2 트레이닝 텍스트의 레이블 사이의 관계를 예측한 결과를 출력하도록 학습된 것인 감성 분석 방법.
제14항에 있어서,
상기 제1 트레이닝 텍스트와 상기 제2 트레이닝 텍스트는, 각각 표준어를 포함하는 정형 데이터와 비표준어, 오탈자가 있는 단어 및 비속어 중 적어도 하나를 포함하는 비정형 데이터 중 하나를 선택하여 구성되는 감성 분석 방법.
컴퓨터 프로그램을 저장하고 있는 컴퓨터 판독 가능 기록매체로서,
상기 컴퓨터 프로그램은,
제7항 내지 제15항 중 어느 한 항에 따른 방법을 프로세서가 수행하도록 하기 위한 명령어를 포함하는
컴퓨터 판독 가능한 기록매체.
컴퓨터 판독 가능한 기록매체에 저장되어 있는 컴퓨터 프로그램으로서,
상기 컴퓨터 프로그램은,
제7항 내지 제15항 중 어느 한 항에 따른 방법을 프로세서가 수행하도록 하기 위한 명령어를 포함하는
컴퓨터 프로그램.