KR20220135798A - 언어 모델을 기초로 생성된 인공신경망을 이용한 리뷰 분석 방법 및 장치 - Google Patents

Abstract

일 실시예에 따른 언어 모델을 기초로 생성된 인공신경망을 이용한 리뷰 분석 장치는 도메인으로부터 특정 상품에 대해 수집한 리뷰 데이터를 문장 단위로 토큰화(tokenization)하여 단위 텍스트를 생성하고, 상기 단위 텍스트에 상기 도메인 정보 및 상기 상품에 대해 미리 정해져 있는 항목(aspect) 정보를 라벨링(annotation)하여 라벨링 정보를 생성하는 데이터 전처리 모듈, 상기 단위 텍스트를 입력 정보로 하여 임베딩 벡터를 생성하는 임베딩 모듈, 상기 임베딩 벡터를 입력 정보로 하고, 상기 단위 텍스트에 대한 임베디드 텍스트를 출력 정보로 하는 기 학습된 사전 학습 언어(pre-trained language) 인공신경망 모듈 및 상기 임베디드 텍스트를 입력 정보로 하고, 상기 상품에 대한 항목별 리뷰 감성 정보를 출력 정보로 하며, 상기 사전 학습 언어 인공신경망 모듈의 파라미터를 기초로 생성된 하이퍼파라미터를 파라미터로 하는 기 학습된 리뷰 분석 인공신경망 모듈을 포함할 수 있다.

Description

언어 모델을 기초로 생성된 인공신경망을 이용한 리뷰 분석 방법 및 장치{Review analysis method and apparatus using artificial neural network generated based on language model}

본 발명은 언어 모델을 기초로 생성된 인공신경망을 이용한 리뷰 분석 방법 및 장치에 관한 발명으로서, 보다 상세하게는 언어 모델을 기초로 생성된 인공신경망을 이용하여 상품에 대한 리뷰 분석을 효율적으로 수행할 수 있는 기술에 관한 발명이다.

코로나19 확산으로 비대면 문화가 발달함에 따라, 온라인 쇼핑 시장의 규모는 나날이 성장하고 있으며, 소비지가 온라인 쇼핑 몰에서 상품을 구매함에 있어서, 특정 상품에 대한 다른 구매자의 리뷰(review)는 소비자들의 구매의사결정 과정에 매우 큰 영향을 미치는 것으로 밝혀져 있다. 특히 이러한 리뷰는 SNS와 블로그의 발달로 물건을 파는 쇼핑 몰 사이트 뿐만 아니라 다양한 사이트에서 쉽게 노출되어, 그 상품을 구매하고자 하는 의사가 없는 소비자까지 물건을 구입하게 되는 등, 리뷰의 역할은 온라인 쇼핑 시장에서 매우 중요한 역할을 하고 있다.

온라인 쇼핑 몰 시장이 현재처럼 크지 않았던 시대에는, 단순히 구매자들은 구매한 상품에 대해 평점 정도만을 남길 수 밖에 없었으나, 현재는 온라인 쇼핑 몰의 발달로 구매자들은 특정 상품에 대해 다양한 항목(가격, 재질, 색상, 디자인, 크기 등)에 대해 리뷰를 다양하게 남길 수 있게 되었다. 따라서, 소비자들은 리뷰를 참고함에 있어서, 단순하게 특정 제품에 대한 리뷰의 수와 평점만을 참고하여 구매를 결정하는 것이 아니라, 리뷰의 퀄리티와 콘텐츠를 신중히 참고하여 구매 여부를 결정하게 되므로, 온라인 쇼핑 몰 입장에서는 소비자들의 리뷰를 정확하게 분석하고 이를 활용하는 것이 온라인 쇼핑의 사업에 성공에 있어서 매우 중요한 요소에 해당한다.

이에 따라, 자연스럽게 상품 리뷰에 담긴 방대한 양의 의견 정보를 분석하는 여러 방법이 제안되어 왔는데, 종래 기술에 따를 경우 종래의 인터넷 상에 업로드 된 리뷰는 반복되는 표현이 많고, 리뷰의 질에 상관없이 최근 업로드된 순서로 보여지기 때문에 제품 정보 파악 또는 제품 구매에 도움이 될 수 있는 리뷰를 찾기까지 오랜 시간이 걸린다는 단점이 있었으며, 판매자 입장에서는 사용자가 원하는 정보가 담긴 리뷰를 찾지 못하여, 상품 구매까지 이어지지 않아 판매수익이 저하 될 수 있다는 문제점이 존재하였다.

또한, 종래 방식에 따른 리뷰 분석의 경우 사용자가 부여한 평점이 각 상품의 어떤 특징에 의해서 부여된 것인지 알 수 없는 문제점이 존재하였다. 즉, 비교 포털 사이트를 살펴보면 각 상품에 대한 특정 사용자가 부여한 평점만 존재할 뿐, 각 상품의 다양한 항목에 대해 세분화된 평점을 부여하는 체계를 제공하지 않기 때문에, 종래 소비자가 5라는 평점을 부여한 경우 이러한 평점이 '가격', '배송', '디자인' 등의 다양한 특징 중 어떤 특징에 대해 만족을 느껴서 5점이라는 평점을 부여하였는지 알 수 없는 문제점이 존재하였다.

즉, 종래 기술의 경우 단순히 리뷰의 평점이나 리뷰의 수에 대한 정보 등 리뷰에 대한 단편적인 정보만을 제공하는 것에 그칠 뿐, 리뷰를 문장별로 분석하여 특정 상품에 대한 다양한 항목에 대한 각각의 리뷰 정보를 정확하게 제공해주는 기술은 존재하지 않아 리뷰에 대한 활용도가 많이 떨어지고 있는 상황입니다.

대한민국 공개특허 제 10-2016-0089177 A호 (2016.07.27. 공개) - 폴라리티 기반 사용자 의견 랭킹 산정방법 및 시스템

따라서, 일 실시예에 따른 언어 모델을 기초로 생성된 인공신경망을 이용한 리뷰 분석 방법 및 장치는 앞서 설명한 문제점을 해결하기 위해 고안된 발명으로서, 소비자들이 남긴 리뷰를 효과적으로 분석하여 사용자에게 정확한 리뷰 정보를 제공해주는데 그 목적이 있다.

일 실시예에 따른 언어 모델을 기초로 생성된 인공신경망을 이용한 리뷰 분석 장치는 도메인으로부터 특정 상품에 대해 수집한 리뷰 데이터를 문장 단위로 토큰화(tokenization)하여 단위 텍스트를 생성하고, 상기 단위 텍스트에 상기 도메인 정보 및 상기 상품에 대해 미리 정해져 있는 항목(aspect) 정보를 라벨링(annotation)하여 라벨링 정보를 생성하는 데이터 전처리 모듈, 상기 단위 텍스트를 입력 정보로 하여 임베딩 벡터를 생성하는 임베딩 모듈, 상기 임베딩 벡터를 입력 정보로 하고, 상기 단위 텍스트에 대한 임베디드 텍스트를 출력 정보로 하는 기 학습된 사전 학습 언어(pre-trained language) 인공신경망 모듈 및 상기 임베디드 텍스트를 입력 정보로 하고, 상기 상품에 대한 항목별 리뷰 감성 정보를 출력 정보로 하며, 상기 사전 학습 언어 인공신경망 모듈의 파라미터를 기초로 생성된 하이퍼파라미터를 파라미터로 하는 기 학습된 리뷰 분석 인공신경망 모듈을 포함할 수 있다.

상기 리뷰 분석 인공신경망 모듈은, 상기 라벨링 정보를 레퍼런스 정보로 하여, 상기 리뷰 감성 정보와 상기 레퍼런스 정보와의 차이를 손실함수로 하여, 상기 손실함수의 크기가 작아지는 방향으로 상기 리뷰 분석 인공신경망 모듈의 파라미터를 조정(fine-tunning)할 수 있다.

상기 리뷰 분석 인공신경망 모듈은, 상기 손실함수를 이용하여 학습을 함에 있어서, 상기 상품에 대한 항목별 라벨링 데이터를 이용하여 항목별로 학습을 수행할 수 있다.

상기 항목은, 상기 상품의 가격, 색상, 재질, 디자인 및 품질 중 적어도 하나를 포함하고, 상기 리뷰 감성 정보는, 상기 항목에 대한 긍정 또는 부정의 정도에 대한 정보를 포함할 수 있다.

일 실시예에 따른 언어 모델을 기초로 생성된 인공신경망을 이용한 리뷰 분석 방법은, 도메인으로부터 특정 상품에 대해 수집한 리뷰 데이터를 문장 단위로 토큰화(tokenization)하여 단위 텍스트를 생성하는 단계, 상기 단위 텍스트에 상기 도메인 정보 및 상기 상품에 대해 미리 정해져 있는 항목(aspect) 정보를 라벨링(annotation)하여 라벨링 정보를 생성하는 데이터 전처리 단계, 상기 단위 텍스트를 입력 정보로 하여 임베딩 벡터를 생성하는 임베딩 단계, 상기 임베딩 벡터를 입력 정보로 하고, 상기 단위 텍스트에 대한 임베디드 텍스트를 출력 정보로 하는 기 학습된 사전 학습 언어(pre-trained language) 인공신경망 모듈을 이용하여 상기 단위 텍스트에 대한 사전 학습을 수행하는 단계, 상기 사전 학습 언어 인공신경망 모듈의 파라미터를 기초로 생성된 하이퍼파라미터를 파라미터로 하고, 상기 임베디드 텍스트를 입력 정보로 하고, 상기 상품에 대한 항목별 리뷰 감성 정보를 출력 정보로 하는 리뷰 분석 인공신경망 모듈을 생성하는 단계 및 상기 라벨링 정보를 기초로 상기 리뷰 분석 인공신경망 모듈에 대한 학습을 수행하는 단계를 포함할 수 있다.

일 실시예에 따른 언어 모델을 기초로 생성된 인공신경망을 이용한 리뷰 분석 방법 및 장치는 광범위한 데이터에 사전에 학습을 수행 한 사전 학습 언어 인공신경망 모델을 기초로 파인 튜닝(fine tunning)을 실행하여 리뷰 분석 인공신경망을 생성할 수 있어, 보다 빠르게 리뷰를 효과적으로 분석할 수 있는 인공신경망 생성할 수 있는 장점이 있다. 또한, 파인 튜닝의 방법으로 리뷰를 분석 할 수 있는 인공신경망을 생성할 수 있으므로, 사용자의 기호에 맞춘 인공신경망을 생성할 수 있는 장점이 존재한다.

따라서, 일 실시예에 따른 언어 모델을 기초로 생성된 인공신경망을 이용한 리뷰 분석 방법 및 장치는 시간과 인력을 필요로 하는 리뷰 모니터링 및 분석 업무를 인공신경망을 이용하여 빠르고 편리하게 진행할 수 있어, 보다 효율적으로 소비자들의 제품/서비스/미디어 콘텐츠에 대한 선호도를 정확히 파악할 수 있는 장점이 존재한다.

도 1은 본 발명의 일 실시예에 따른 인공신경망을 이용한 리뷰 분석 서비스 제공 장치의 일부 구성 요소를 도시한 블럭도이다.
도 2는 본 발명의 다른 실시예에 따른 인공신경망을 이용한 리뷰 분석 서비스 제공 장치의 일부 구성 요소를 도시한 블럭도이다.
도 3은 본 발명에 따른 사전 학습 언어 인공신경망 모듈의 일부 구성 요소를 도시한 블럭도이다.
도 4는 본 발명에 따른 임베딩 모듈에 입력되는 정보와 출력되는 정보를 도시한 도면이다.
도 5는 본 발명에 따른 사전 학습 언어 인공신경망 모듈에 입력되는 데이터들의 변환 과정을 설명하기 위한 도면이다
도 6은 본 발명에 따른 리뷰 분석 인공신경망 모듈이 텍스트 분류를 하는 과정을 설명하기 위한 도면이다.
도 7은 본 발명에 따른 리뷰 분석 인공신경망 모듈이 하나의 텍스트에 대한 태깅 작업 과정을 설명하기 위한 도면이다.
도 8은 본 발명에 따른 리뷰 분석 인공신경망 모듈의 출력 정보를 도시한 도면이다.

이하, 본 발명에 따른 실시 예들은 첨부된 도면들을 참조하여 설명한다. 각 도면의 구성요소들에 참조 부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명의 실시 예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 실시예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 이하에서 본 발명의 실시 예들을 설명할 것이나, 본 발명의 기술적 사상은 이에 한정되거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있다.

또한, 본 명세서에서 사용한 용어는 실시 예를 설명하기 위해 사용된 것으로, 개시된 발명을 제한 및/또는 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.

본 명세서에서, "포함하다", "구비하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는다.

또한, 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "간접적으로 연결"되어 있는 경우도 포함하며, 본 명세서에서 사용한 "제 1", "제 2" 등과 같이 서수를 포함하는 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되지는 않는다.

아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략한다.

도 1은 본 발명의 일 실시예에 따른 인공신경망을 이용한 리뷰 분석 서비스 제공 장치의 일부 구성 요소를 도시한 블럭도이며, 도 2는 본 발명의 다른 실시예에 따른 인공신경망을 이용한 리뷰 분석 서비스 제공 장치의 일부 구성 요소를 도시한 블럭도이다.

도 1을 참조하면, 일 실시예에 따른 인공신경망을 이용한 리뷰 분석 서비스 제공 장치(1)는 데이터 전처리 모듈(10), 임베딩 모듈(20), 사전 학습 언어 인공신경망 모듈(30) 및 리뷰 분석 인공신경망 모듈(40)을 포함할 수 있다.

데이터 전처리 모듈(10)은 리뷰 대상이 될 수 있는 데이터를 수집하고, 사전 학습 언어 인공신경망 모듈(10)이 효율적으로 학습을 수행할 수 있도록 수집한 데이터를 전처리 하여 사전 학습 언어 인공신경망 모듈(10)의 입력 정보로 입력할 수 있다.

구체적으로, 데이터 전처리 모듈(10)은 리뷰 분석을 하고자 않는 웹 사이트 상의 특정 도메인(domain)의 리뷰에 관한 데이터 즉, 리뷰 텍스트를 크롤링(crawling) 할 수 있으며, 리뷰 텍스트에는 구매한 상품에 대해 구매자가 남긴 가격, 색상, 품질, 재료, 디자인 등에 대한 리뷰 정보가 포함될 수 있다.

데이터 전처리 모듈(10)이 크롤링 하는 대상은 도메인 상에서 판매하고 있는 상품에 대한 리뷰 정보 뿐만 아니라, 해당 상품에 대한 카테고리 정보, 작성 시기에 대한 정보, 작성자에 대한 정보 등도 포함될 수 잇다.

데이터 전처리 모듈(10)은 수집한 리뷰 데이터에 대해 전처리 과정을 진행한다. 구체적으로 데이터 전처리 모듈(10)은 수집한 리뷰 텍스트에서 특수 기호나 이모티콘 등을 제거하고, case normalization 등을 작업을 수행할 수 있으며, 광범위한 리뷰 텍스트를 문장 단위로 토큰화(tokenization)하여 리뷰 텍스트를 단위 텍스트로 분류하는 있다.

리뷰 텍스트가 단위 텍스트로 분류되면 전처리 모듈(10)은 단위 텍스트에 대해 특정 도메인에 따른 항목별 정보를 미리 설정되어 있는 기준하에 분류한 후, 분류된 정보를 단위 텍스트에 자동 라벨링(annotation) 작업을 수행할 수 있다.

임베딩 모듈(20)은 데이터 전처리 모듈(10)에 의해 출력되는 단위 텍스트에 대해 임베딩(embedding)을 수행하고, 임베딩된 데이터를 사전 학습 언어 인공신경망 모듈(30)의 입력 정보로 송신할 수 있다. 본 발명에서 임베딩은 자연어를 인공신경망이 이해하고, 효율적으로 업무를 처리할 수 있도록 자연어에 해당하는 단어를 벡터로 표현하는 작업을 의미한다. 본 발명에 따른 임베딩 모듈(20)의 특징은 후술할 도 3을 통해서 자세히 설명하도록 한다.

본 발명에 따른 사전 학습 언어 인공신경망 모듈(30)은 자연어 처리(natural language processing, NLP)를 수행하는 언어 모델(language model)을 의미할 수 있다. 여기서, 자연어(natural language)란 우리가 일상 생활에서 사용하는 언어를 의미하며, 자연어 처리(natural language processing)란 이러한 자연어의 의미를 분석하여 컴퓨터가 처리할 수 있도록 하는 일을 의미하고, 언어 모델(Language Model, LM)은 언어라는 현상을 모델링하고자 단어 시퀀스(또는 문장)에 확률을 할당(assign)하는 모델을 의미한다. 본 발명에서의 사전 학습 언어 인공신경망 모듈(30)은 인공신경망을 통해 구현될 수 있다.

언어 모델은 단어 시퀀스에 확률을 할당(assign)하는 일을 하는 모델을 의미하며, 본 발명에서는 구체적으로 가장 자연스러운 단어 시퀀스를 찾아내는 모델을 의미할 수 있다. 언어 모델은 단어 시퀀스에 확률을 할당하게 하기 위해서 가장 보편적으로 사용되는 방법은 언어 모델이 이전 단어들이 주어졌을 때 다음 단어를 예측하도록 구현될 수 있다.

본 발명에 따른 리뷰 분석 인공신경망 모듈(40)은 입력되는 데이터에 대해 항목별 리뷰 분석 정보를 출력하는 인공신경망을 의미할 수 있다.

구체적으로, 리뷰 분석 인공신경망 모듈(40)은 사전 학습 언어 인공신경망 모듈(30)이 출력하는 임베디드 텍스트를 입력 정보로 하고, 특정 상품에 대한 항목별 리뷰 감성 정보를 출력 정보로 하며, 사전 학습 언어 인공신경망 모듈의 파리미터를 기초로 생성된 하이퍼파라미터를 파리미터로 하는 인공신경망을 의미한다. 이에 대한 자세한 설명은 후술하도록 한다.

도 1에서는 리뷰 분석 인공신경망 모듈(40)과 사전 학습 언어 인공신경망 모듈(30)을 별개의 구성요소로 도시하여, 언어 학습은 리뷰 분석 인공신경망 모듈(40)이 수행하고, 사전 학습 언어 인공신경망 모듈(40)은 리뷰 분석을 수행하는 것으로 나누어 설명하였지만, 본 발명의 실시예가 이로 한정되는 것은 아니고 하나의 인공신경망에서 언어 학습과 리뷰 분석을 동시에 수행할 수 있다.

구체적으로, 도 2에 도시된 바와 같이 사전 학습 언어 인공신경망 모듈(30)과 리뷰 분석 인공신경망 모듈(40)이 하나의 인공신경망으로 구성되어, 언어 학습과 리뷰 분석에 대한 학습 및 추론을 동시에 수행하는 구성으로 본 발명이 구현될 수 도 있다.

도 3은 본 발명에 따른 임베딩 모듈 및 사전 학습 언어 인공신경망 모듈의 일부 구성 요소를 도시한 블럭도이고, 도 4는 본 발명에 따른 임베딩 모듈에 입력되는 정보와 출력되는 정보를 도시한 도면이다. 본 명세서에서는 설명의 편의를 위해 사전 학습 언어 인공신경망 모듈이 사전 학습하는 대상은 입력되는 영어 텍스트를 불어 텍스트로 변환하는 학습을 기준으로 설명한다.

도 3을 참조하면, 일 실시예에 따른 임베딩 모듈(20)은 제1임베딩부(21)와 제2임베딩부(22)를 포함할 수 있으며, 사전 학습 언어 인공신경망 모듈(30)는 인코더부(100)와 디코더부(200)를 포함할 수 있다.

구체적으로, 제1임베딩부(21)는 인코더부(100)에 입력되는 단위 텍스트에 대해 임베딩을 한 정보를 사전 학습 언어 인공신경망 모듈(30)의 입력 정보로, 보다 구체적으로 인코더부(100)의 제1인코더(110)로 입력 정보로 송신할 수 있다. 제2임베딩부(22)는 디코더부(200)에 입력되는 단위 텍스트(12)에 대한 레퍼런스 정보에 해당하는 텍스트(13)를 디코더부(200)의 제1디코더(210)의 입력 정보로 송신할 수 있다.

본 발명에 따른 언어 모델 기반 리뷰 분석 인공신경망 모듈(30)은 순환 신경망(Recurrent neural network) 구조는 아니나, seq2seq처럼 인코더부(100)에서 입력 시퀀스를 입력 받고, 디코더부(200)에서 출력 시퀀스를 출력하는 인코더-디코더 구조를 가지고 있다. 인코더부(100)와 디코더부(200)는 도 3에 도시된 바와 같이 각각 적어도 하나의 인코더와 디코더를 포함할 수 있다. 본 발명에 따른 인코더부(100)와 디코더부(200)에 포함되어 있는 인코더와 디코더의 개수는 특정 개수로 한정되는 것은 아니고 사용 환경 및 목적에 따라 1개부터 N개까지 다양하게 설정될 수 있으며, 디코더부(200)는 기존의 seq2seq 구조처럼 시작 심볼 <sos>를 입력으로 받아 종료 심볼 <eos>가 나올 때까지 연산을 진행할 수 있다. 언어 모델 기반 리뷰 분석 인공신경망 모듈(30)의 구체적인 프로세서에 대해서는 도 5에서 자세히 알아보도록 하고, 도 4를 통해 임베딩 모듈(20)에 입력되는 정보와 출력되는 정보에 대해 알아본다.

본 발명에 따른 임베딩 모듈(20)은 제1단위 텍스트(12)를 입력 받아 총 3개의 임배딩 정보를 가지는 벡터를 출력할 수 있다. 구체적으로, 제1임베딩부(21) 제1단위 텍스트(12)를 입력 받고, 제1단위 텍스트(12)에 대한 워드 임베딩(61), 위치 임베딩(62) 및 구별(segment) 임베딩(63)을 출력할 수 있으며, 제2임베딩부(22) 제2단위 텍스트(13)를 입력 받고, 제2단위 텍스트(13)에 대한 워드 임베딩(71), 위치 임베딩(72) 및 구별(segment) 임베딩(73)을 출력할 수 있다.

워드 임베딩(61)은 단어에 대한 임베딩으로서 실질적인 입력이 되는 임베딩에 해당한다. 단어보다 더 작은 단위로 쪼개는 서브워드 토크나이저를 이용하여 서브워드들을 병합해가는 방식으로 최종 단위 집합인 단어(vocabulary)를 만들어 갈 수 있다. 임베딩 벡터의 종류는 단어 집합의 크기와 동일하다.

사전 학습 언어 인공신경망 모듈(30)은 RNN처럼 자연어 처리를 위해 단어를 순차적으로 입력 받는 방식이 아니기 때문에, 단어의 위치 정보를 위치 임베딩(62)을 이용하여 표현할 수 있다. 위치 임베딩(62)은 위치 정보를 표현하는 임베딩으로서, 해당 워드 임베딩이 벡터가 몇 번째 위치한 단어인지에 대한 정보를 포함하고 있으며, 학습을 통해서 위치 임베딩(62)을 획득할 수 있다.

위치 임베딩(62)의 경우 워드 임베딩(61)처럼 임베딩 층(Embedding layer)을 하나 더 사용하여 표현된다. 따라서, 도 4에 도시된 바와 같이 입력되는 문장의 길이가 4라면(총 단어가 4개라면) 4개의 위치 임베딩 벡터를 학습시키며, 워드 임베딩(61)이 입력 될 때마다 위치 임베딩(62) 벡터가 더해질 수 있다. 즉, 첫번째 단어의 임베딩 벡터는0번 위치 임베딩 벡터가 더해지고, 두번째 단어의 임베딩 벡터는 1번 위치 임베딩 벡터가 더해지고, 세번째 단어의 임베딩 벡터는 2번 포지션 임베딩 벡터가 더해지고, 네번째 단어의 임베딩 벡터는 3번 포지션 임베딩 벡터가 더해질 수 있다. 즉, 이와 같은 방식으로 인해 사전 학습 언어 인공신경망 모듈(30)에 입력되는 벡터는 순서 정보가 고려된 임베딩 벡터가 입력된다고 볼 수 있다.

또한, 사전 학습 언어 인공신경망 모듈(30)에 입력되는 임베딩 벡터는 구별 임베딩(73)이 워드 임베딩(71)과 위치 임베딩(72)과 결합되어 같이 입력될 수 있는데, 구별 임베딩(73)은 입력되는 2개의 문장을 구별하기 위한 임베딩을 의미한다. 따라서, 첫번째 문장의 경우 첫번째 문장에 해당하는 모든 단어에 대해 0 임베딩 벡터가 부여되고, 두번째 문장의 경우 두번째 문장에 해당하는 모든 단어에 대해 1임베딩 벡터가 부여될 수 있다.

제2임베딩부(22)에 입력되는 제2단위 텍스트 또한 제2임베딩부(22)를 통과하여 제2단위 텍스트(13)에 대한 워드 임베딩(71), 위치 임베딩(72) 및 구별(segment) 임베딩(73)을 출력할 수 있다. 각각의 임베딩이 출력되는 과정은 제1임베딩부(21)와 동일한바 생략하도록 한다.

도 5는 본 발명에 따른 사전 학습 언어 인공신경망 모듈(30)에 입력되는 데이터들의 변환 과정을 설명하기 위한 도면이다. 이하 설명의 편의를 위해 도 5에서는 인코더부(100)와 디코더부(200)가 각각 1개의 인코더와 디코더를 포함하는 것으로 도시하였지만, 앞서 설명한 바와 같이 인코더부(100)와 디코더부(200)는 복수 개의 인코더와 디코더를 포함할 수 있다.

도 5를 참조하면, 제1단위 텍스트(12)에 대한 워드 임베딩(61), 위치 임베딩(62) 및 구별(segment) 임베딩(63)을 포함하는 제1데이터(60)는 제1인코더(110)의 제1어텐션부(111)에 입력될 수 있으며, 제2위 텍스트(12)에 대한 워드 임베딩(71), 위치 임베딩(72) 및 구별(segment) 임베딩(73)을 포함하는 제2데이터(70)는 제2인코더(110)의 제2어텐션부(111)에 입력될 수 있으며,

제1어텐션부(110)에 입력된 제1데이터(60)는 다중 셀프 어텐션(S11)과 잔차 연결 및 정규화(S12)를 거처, 제1피드 포워부(112)로 입력 될 수 있으며, 인공신경망 관점에서 S11과 S12는 하나의 layer를 통과하는 것으로 의미 될 수 있다.

다중 셀프 어텐션은 셀프 어텐션(self-attention)을 병렬적으로 수행하는 과정을 의미한다. 일반적으로 어텐션 함수는 주어진 '쿼리(Query)'에 대해서 모든 '키(Key)'와의 유사도를 각각 구하고, 구해낸 이 유사도를 가중치로 하여 키와 맵핑 되어있는 각각의 '값(Value)'에 반영하며, 유사도가 반영된 '값(Value)'을 모두 가중합하여 리턴합을 하는 것을 특징으로 한다.

셀프 어텐션 함수는 이러한 셀프 어텐션을 자기 자신에게 수행한다는 것을 의미한다. 구체적으로, 어텐션 함수에서 Q(Query)는 t 시점의 디코더 셀에서의 은닉 상태를 의미하고, K(Keys)는 모든 시점의 인코더 셀의 은닉 상태들을 의미하며, V(Values)는 모든 시점의 인코더 셀의 은닉 상태들을 의미한다. 여기서 t 시점이라는 것은 계속 변화하면서 반복적으로 쿼리를 수행하므로 결국 전체 시점에 대해서 일반화를 할 수 있으므로, 어텐션 함수의 경우 셀의 은닉 상태가 Q이고 인코더 셀의 은닉 상태가 K라는 점에서 Q와 K가 서로 다른 값을 가지고 있는데, 셀프 어텐션 함수는 Q, K, V가 전부 동일한 특징을 가지고 있다. 따라서, 셀프 어텐션의 경우 특정 단어와 입력 문장 내의 단어들끼리의 유사도를 구하는 방법으로 특정 단어가 입력 문장 내의 단어들과 어떠한 관계를 가지고 있는지 알 수 있는 장점이 존재한다.

다중 셀프 어텐션의 경우 다양한 기준에 따라 셀프 어텐션을 여러 번 수행하는 것을 의미하며, 구체적으로 scaled dot-product 어텐션을 병렬 처리하기 위해 셀프 어텐션을 여러 번 수행하는 것을 의미한다. 다중 셀프 어텐션을 수행하는 경우 셀프 어텐션을 다양한 기준에 따라 여러 번 수행하는 것을 의미하므로, 하나의 기준에 의해 셀프 어텐션을 수행하는 경우보다 더 정확한 결과값을 도출해 낼 수 있다.

S12에 따른 잔차 연결은 Residual connection을 의미하고, 정규화는 Layer Normalization을 의미할 수 있다.

구체적으로, 잔차 연결은 서브층의 입력과 출력을 더하는 것을 의미한다. 제1인코더(110)는 서브층의 입력과 출력은 동일한 차원을 갖고 있으므로, 서브층의 입력과 서브층의 출력은 덧셈 연산을 할 수 있다. 따라서, 다중 셀프 어텐션을 통과한 데이터와 제1데이터는 S12의해 합쳐질 수 있다. 이를 수학적으로 표현하면 x + Sublayer(x)로 표현될 수 있다.

S12에 따라 잔차 연결 및 정규화 과정이 끝난 데이터는 제1피드 포워드부(112)에 입력되어 완전 연결(FFNN) 및 잔차 연결 및 정규화 과정을 거칠 수 있다. 여기서 완전 연결 FFNN(Fully-connected FFNN)을 의미한다.

도 5에서는 제1인코더(110)을 기준으로 설명하였기 때문에 S11~S14 과정은 한 번만 진행이 되나, 인코더가 N개 있는 경우 S11-14과정은 N번 반복될 수 있다.

제2 텍스트(12)에 대한 워드 임베딩(71), 위치 임베딩(72) 및 구별(segment) 임베딩(73)을 포함하는 제2데이터(70)는 제2인코더(110)의 제2어텐션부(111)에 입력될 수 있고, 순차적으로 제2어텐션(212)와 제2피드 포워드부(212)를 거칠 수 있다.

사전 학습 언어 인공신경망 모듈(30)은 학습을 수행함에 있어서 마스크드 언어 모델(Masked Language Model, MLM)과, 다음 문장 예측(Next Sentence Prediction, NSP) 학습 방법을 이용하여 학습을 수행할 수 있다.

마스크드 언어 모델의 경우 인공 신경망의 입력으로 들어가는 입력 텍스트의 15%의 단어를 랜덤으로 마스킹(Masking)하고 인공신경망에게 이 가려진 단어들을(Masked words) 예측하도록 하는 학습 방법을 의미한다.

다음 문장 예측 학습 방법의 경우, 여러 개의 문장을 준 후에 이 문장이 이어지는 문장인지 아닌지를 맞추는 방식으로 훈련하는 방법을 의미한다. 이를 위해서 50:50 비율로 실제 이어지는 두 개의 문장과 랜덤으로 이어 붙인 두 개의 문장을 주고 훈련한다.

도 6은 본 발명에 따른 리뷰 분석 인공신경망 모듈이 텍스트 분류를 하는 과정을 설명하기 위한 도면이다.

도 6에 따른 리뷰 분석 인공신경망 모듈(40)은 입력되는 텍스트들에 대해 리뷰 정보를 추출하는 인공신경망 모듈로서, 주로 상품이나 영화에 대해 리뷰 감성 분류 모델로 사용된다.

도 6에 도시된 바와 같이 문서의 시작에 [CLS] 라는 토큰을 입력하고, 텍스트 분류 문제를 풀기 위해서 [CLS] 토큰의 위치의 출력층에서 밀집층(Dense layer) 또는 같은 이름으로는 완전 연결층(fully-connected layer)이라고 불리는 층들을 추가하여 분류에 대한 예측을 할 수 있다.

구체적으로 입력 문장인 The bag is pretty인 경우 문장의 시작은 CLS로, 문장의 끝은 SEP 토큰이 같이 입력이 되며 총 6개의 토큰(CLS, The, bag, is, pretty, SEP)이 인풋 임베딩 모듈(20)의 소단위 임배딩 모듈(IE1~IE6) 입력되어, 임베딩 벡터로 출력되며, 출력된 벡터는 리뷰 분석 인공신경망 모듈(40)에 입력되며, 리뷰 분석 인공신경망 모듈(40)은 입력된 벡터들이 가지는 의미에 대해 분석을 수행한다. 그리고 인공신경망 모듈(40)에 의해 출력된 벡터들은 다시 아웃풋 임배딩 모듈(90)에 입력된 후, 출력층을 거쳐 최종 정보가 출력될 수 있는데, 도 6에 도시된 바와 같이 pretty라는 단어를 통해 긍정적인 의미가 담긴 문장임을 분석하고 최종 분석 결과로 positvie를 출력할 수 있다.

도 7은 본 발명에 따른 리뷰 분석 인공신경망 모듈이 하나의 텍스트에 대한 태깅 작업 과정을 설명하기 위한 도면이다.

도 7에 따른 리뷰 분석 인공신경망 모듈(40)은 문장 속에서 각 단어에 품사를 태깅하는 품사 태깅 작업과 개체를 태깅하는 개체명 인식 작업을 수행할 수 있으며, 출력층에서는 입력 텍스트의 각 토큰의 위치에 밀집층을 사용하여 분류에 대한 예측을 할 수 있다.

도 7에 도시된 바와 같이 리뷰 분석 인공신경망 모듈(40)은 입력된 임베딩 벡터들을 분석하여 bag을 통해 item의 대상을 추출하고, pretty를 통해 감정 분석 정보를 태깅하여 출력할 수 있다.

도 8은 본 발명에 따른 리뷰 분석 인공신경망 모듈의 출력 정보를 도시한 도면이다.

도 8을 참조하면 본 발명에 따른 리뷰 분석 인공신경망 모듈은 입력되는 문장들 속에서 리뷰가 해당 상품의 어느 항목에 대해 리뷰를 하고 있는지에 대한 정보와, 그에 따른 감정 분석 정보를 같이 출력할 수 있어, 보도 효과적으로 리뷰 분석을 수행할 수 있는 장점이 존재한다.

일 실시예에 따른 언어 모델을 기초로 생성된 인공신경망을 이용한 리뷰 분석 방법 및 장치는 광범위한 데이터에 사전에 학습을 수행 한 사전 학습 언어 인공신경망 모델을 기초로 파인 튜닝(fine tunning)을 실행하여 리뷰 분석 인공신경망을 생성할 수 있어, 보다 빠르게 리뷰를 효과적으로 분석할 수 있는 인공신경망 생성할 수 있는 장점이 있다. 또한, 파인 튜닝의 방법으로 리뷰를 분석 할 수 있는 인공신경망을 생성할 수 있으므로, 사용자의 기호에 맞춘 인공신경망을 생성할 수 있는 장점이 존재한다.

따라서, 일 실시예에 따른 언어 모델을 기초로 생성된 인공신경망을 이용한 리뷰 분석 방법 및 장치는 시간과 인력을 필요로 하는 리뷰 모니터링 및 분석 업무를 인공신경망을 이용하여 빠르고 편리하게 진행할 수 있어, 보다 효율적으로 소비자들의 제품/서비스/미디어 콘텐츠에 대한 선호도를 정확히 파악할 수 있는 장점이 존재한다.

지금까지 도면을 통해 일 실시예에 따른 디지털 오디오 광고 서비스 제공 방법 및 장치에 대해 자세히 살펴보았다.

한편, 본 명세서에 기재된 "~부"로 기재된 구성요소들, 유닛들, 모듈들, 컴포넌트들 등은 함께 또는 개별적이지만 상호 운용 가능한 로직 디바이스들로서 개별적으로 구현될 수 있다. 모듈들, 유닛들 등에 대한 서로 다른 특징들의 묘사는 서로 다른 기능적 실시예들을 강조하기 위해 의도된 것이며, 이들이 개별 하드웨어 또는 소프트웨어 컴포넌트들에 의해 실현되어야만 함을 필수적으로 의미하지 않는다. 오히려, 하나 이상의 모듈들 또는 유닛들과 관련된 기능은 개별 하드웨어 또는 소프트웨어 컴포넌트들에 의해 수행되거나 또는 공통의 또는 개별의 하드웨어 또는 소프트웨어 컴포넌트들 내에 통합될 수 있다.

특정한 순서로 작동들이 도면에 도시되어 있지만, 이러한 작동들이 원하는 결과를 달성하기 위해 도시된 특정한 순서, 또는 순차적인 순서로 수행되거나, 또는 모든 도시된 작동이 수행되어야 할 필요가 있는 것으로 이해되지 말아야 한다. 임의의 환경에서는, 멀티태스킹 및 병렬 프로세싱이 유리할 수 있다. 더욱이, 상술한 실시예에서 다양한 구성요소들의 구분은 모든 실시예에서 이러한 구분을 필요로 하는 것으로 이해되어서는 안되며, 기술된 구성요소들이 일반적으로 단일 소프트웨어 제품으로 함께 통합되거나 다수의 소프트웨어 제품으로 패키징될 수 있다는 것이 이해되어야 한다.

컴퓨터 프로그램(프로그램, 소프트웨어, 소프트웨어 어플리케이션, 스크립트 또는 코드로도 알려져 있음)은 컴파일되거나 해석된 언어나 선험적 또는 절차적 언어를 포함하는 프로그래밍 언어의 어떠한 형태로도 작성될 수 있으며, 독립형 프로그램이나 모듈, 컴포넌트, 서브루틴 또는 컴퓨터 환경에서 사용하기에 적합한 다른 유닛을 포함하여 어떠한 형태로도 전개될 수 있다.

부가적으로, 본 특허문헌에서 기술하는 논리 흐름과 구조적인 블럭도는 개시된 구조적인 수단의 지원을 받는 대응하는 기능과 단계의 지원을 받는 대응하는 행위 및/또는 특정한 방법을 기술하는 것으로, 대응하는 소프트웨어 구조와 알고리즘과 그 등가물을 구축하는 데에도 사용 가능하다.

본 명세서에서 기술하는 프로세스와 논리 흐름은 입력 데이터 상에서 작동하고 출력을 생성함으로써 기능을 수행하기 위하여 하나 이상이 컴퓨터 프로그램을 실행하는 하나 이상이 프로그래머블 프로세서에 의하여 수행 가능하다.

본 기술한 설명은 본 발명의 최상의 모드를 제시하고 있으며, 본 발명을 설명하기 위하여, 그리고 당업자가 본 발명을 제작 및 이용할 수 있도록 하기 위한 예를 제공하고 있다. 이렇게 작성된 명세서는 그 제시된 구체적인 용어에 본 발명을 제한하는 것이 아니다.

이상에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자 또는 해당 기술 분야에 통상의 지식을 갖는 자라면, 후술될 특허청구범위에 기재된 본 발명의 사상 및 기술 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다. 따라서, 본 발명의 기술적 범위는 명세서의 상세한 설명에 기재된 내용으로 한정되는 것이 아니라 특허청구범위에 의해 정해져야 할 것이다.

10: 데이터 전처리 모듈
20: 임베딩 모듈
30: 사전 학습 언어 인공신경망 모듈
40: 리뷰 분석 인공신경망 모듈
100: 인코더부
200: 디코더부

Claims (5)

1. 도메인으로부터 특정 상품에 대해 수집한 리뷰 데이터를 문장 단위로 토큰화(tokenization)하여 단위 텍스트를 생성하고, 상기 단위 텍스트에 상기 도메인 정보 및 상기 상품에 대해 미리 정해져 있는 항목(aspect) 정보를 라벨링(annotation)하여 라벨링 정보를 생성하는 데이터 전처리 모듈;
   상기 단위 텍스트를 입력 정보로 하여 임베딩 벡터를 생성하는 임베딩 모듈;
   상기 임베딩 벡터를 입력 정보로 하고, 상기 단위 텍스트에 대한 임베디드 텍스트를 출력 정보로 하는 기 학습된 사전 학습 언어(pre-trained language) 인공신경망 모듈; 및
   상기 임베디드 텍스트를 입력 정보로 하고, 상기 상품에 대한 항목별 리뷰 감성 정보를 출력 정보로 하며, 상기 사전 학습 언어 인공신경망 모듈의 파리미터를 기초로 생성된 하이퍼파라미터를 파리미터로 하는 기 학습된 리뷰 분석 인공신경망 모듈;을 포함하는 것을 특징으로 하는,
   언어 모델을 기초로 생성된 인공신경망을 이용한 리뷰 분석 장치.
2. 제 1항에 있어서,
   상기 리뷰 분석 인공신경망 모듈은,
   상기 라벨링 정보를 레퍼런스 정보로 하여, 상기 리뷰 감성 정보와 상기 레퍼런스 정보와의 차이를 손실함수로 하여, 상기 손실함수의 크기가 작아지는 방향으로 상기 리뷰 분석 인공신경망 모듈의 파라미터를 조정(fine-tunning)하는 것을 특징으로 하는,
   언어 모델을 기초로 생성된 인공신경망을 이용한 리뷰 분석 장치.
3. 제2항에 있어서,
   상기 리뷰 분석 인공신경망 모듈은,
   상기 손실함수를 이용하여 학습을 함에 있어서, 상기 상품에 대한 항목별 라벨링 데이터를 이용하여 항목별로 학습을 수행하는 것을 특징으로 하는,
   언어 모델을 기초로 생성된 인공신경망을 이용한 리뷰 분석 장치.
4. 제 2항에 있어서,
   상기 항목은, 상기 상품의 가격, 색상, 재질, 디자인 및 품질 중 적어도 하나를 포함하고,
   상기 리뷰 감성 정보는,
   상기 항목에 대한 긍정 또는 부정의 정도에 대한 정보를 포함하는 것을 특징으로 하는,
   언어 모델을 기초로 생성된 인공신경망을 이용한 리뷰 분석 장치.
5. 도메인으로부터 특정 상품에 대해 수집한 리뷰 데이터를 문장 단위로 토큰화(tokenization)하여 단위 텍스트를 생성하는 단계;
   상기 단위 텍스트에 상기 도메인 정보 및 상기 상품에 대해 미리 정해져 있는 항목(aspect) 정보를 라벨링(annotation)하여 라벨링 정보를 생성하는 데이터 전처리 단계;
   상기 단위 텍스트를 입력 정보로 하여 임베딩 벡터를 생성하는 임베딩 단계;
   상기 임베딩 벡터를 입력 정보로 하고, 상기 단위 텍스트에 대한 임베디드 텍스트를 출력 정보로 하는 기 학습된 사전 학습 언어(pre-trained language) 인공신경망 모듈을 이용하여 상기 단위 텍스트에 대한 사전 학습을 수행하는 단계;
   상기 사전 학습 언어 인공신경망 모듈의 파라미터를 기초로 생성된 하이퍼파라미터를 파라미터로 하고, 상기 임베디드 텍스트를 입력 정보로 하고, 상기 상품에 대한 항목별 리뷰 감성 정보를 출력 정보로 하는 리뷰 분석 인공신경망 모듈을 생성하는 단계; 및
   상기 라벨링 정보를 기초로 상기 리뷰 분석 인공신경망 모듈에 대한 학습을 수행하는 단계;를 포함하는 것을 특징으로 하는,
   언어 모델을 기초로 생성된 인공신경망을 이용한 리뷰 분석 방법.
   

Images