KR20210097935A - 대화문 발화 성격 인식 방법 및 시스템 - Google Patents

대화문 발화 성격 인식 방법 및 시스템 Download PDF

Info

Publication number
KR20210097935A
KR20210097935A KR1020200011541A KR20200011541A KR20210097935A KR 20210097935 A KR20210097935 A KR 20210097935A KR 1020200011541 A KR1020200011541 A KR 1020200011541A KR 20200011541 A KR20200011541 A KR 20200011541A KR 20210097935 A KR20210097935 A KR 20210097935A
Authority
KR
South Korea
Prior art keywords
personality
emotion
speaker
speech
category
Prior art date
Application number
KR1020200011541A
Other languages
English (en)
Other versions
KR102319013B1 (ko
Inventor
박종철
박한철
송호윤
이희제
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020200011541A priority Critical patent/KR102319013B1/ko
Publication of KR20210097935A publication Critical patent/KR20210097935A/ko
Application granted granted Critical
Publication of KR102319013B1 publication Critical patent/KR102319013B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/04—Segmentation; Word boundary detection
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/183—Speech classification or search using natural language modelling using context dependencies, e.g. language models
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Child & Adolescent Psychology (AREA)
  • General Health & Medical Sciences (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Machine Translation (AREA)

Abstract

대화문 발화 성격 인식 시스템 및 그 방법이 개시된다. 일 실시예에 따르면, 컴퓨터로 구현되는 대화문 발화 성격 인식 시스템은 컴퓨터가 판독 가능한 명령을 실행하도록 구현되는 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세스는, 입력된 대화문으로부터 성격 인식의 대상이 되는 대상 발화문 및 상기 대상 발화문을 발화한 발화자를 구분하는 전처리부; 상기 대상 발화문에 기초하여 상기 대상 발화문을 발화한 발화자의 감정을 예측하는 감정 정보 예측부; 상기 대상 발화문에 기초하여 상기 발화자의 성격 범주를 예측하는 발화 성격 예측부; 및 상기 예측된 감정 및 상기 예측된 성격 범주 간 의존성을 분석하여 상기 발화자의 성격을 인식하는 감정-성격 의존성 분석부를 포함한다.

Description

대화문 발화 성격 인식 방법 및 시스템{METHOD AND SYSTEM FOR PERSONALITY RECOGNITION FROM DIALOGUES}
아래의 설명은 대화문 발화 성격 인식 시스템 및 그 방법에 관한 것으로, 보다 상세하게는 입력된 대화문을 대상으로 자연어 처리 시스템을 이용하여 발화자의 감정과 성격 범주 간 의존성을 분석하여 발화로부터 나타나는 발화자의 성격을 자동으로 예측 및 인식하는 기술에 대한 것이다.
인공신경망 기반의 성격 범주 예측 분야에서는 Big-Five나 MBTI와 같이 심리학 분야에서 사용하는 성격 모델을 적용하여 발화자의 성격을 예측하는 연구가 매우 활발히 진행되고 있으나, 성격 범주간의 의존관계를 고려하여 성격 범주를 예측 및 인식하는 방법에 대해 진행된 연구는 아직 부족한 실정이다.
일례로, Big-Five 모델에서 신경질적인(neuroticism) 성격 특성이 나타나는 발화에서는 적대적인(antagonism) 성격 특성이 함께 발현되는 경우가 많은데 이러한 성격 범주간의 의존성을 고려한 성격 범주 예측 기술 도입 사례는 보고된 바 없다.
또한, 발화자의 성격 특성은 발화자가 감정을 표현할 때 두드러지게 나타난다는 특징이 있는데, 현재까지 성격 특성을 예측하는 연구를 진행함에 있어, 발화자의 감정과 관련된 정보를 활용하는 연구는 진행된 바 없다.
이에, 발화자의 감정과 관련된 정보를 활용하는 동시에, 성격 범주 간의 의존성을 고려하는 성격 예측 및 인식 기술이 제안될 필요가 있다.
일 실시예들은 심리학 이론에서 사용하는 성격 모델(Big-five, MBTI 등)을 적용하여, 대화문으로부터 발화문을 발화한 발화자가 나타내는 성격을 인공신경망 모델을 기초로 예측 및 인식하는 방법 및 시스템을 제안한다.
보다 상세하게는, 일 실시예들은 발화문에서 발화자의 감정과 성격 범주를 예측함으로써, 예측된 감정과 성격 범주 간 의존성을 분석하여 발화자의 성격을 인식하는 방법 및 시스템을 제안한다.
이 때, 일 실시예들은 발화자의 감정 및 성격 범주를 예측하는 과정과 성격을 인식하는 과정에서 자가 주의집중 기법을 활용함으로써, 각 과정들에서 사용되는 파라미터들 사이의 의존성을 분석하는 방법 및 시스템을 제안한다.
또한, 일 실시예들은 발화자의 감정 및 성격 범주를 예측하는 과정에서 발화문의 문맥 정보를 반영하는 방법 및 시스템을 제안한다.
또한, 일 실시예들은 발화자의 감정 및 성격 범주를 예측하는 과정을 수행하는 인공신경망 모델을 감정 인식 결과를 자질로 사용하여 다중 작업 학습 방법을 통해 훈련하는 방법 및 시스템을 제안한다.
일 실시예에 따르면, 컴퓨터로 구현되는 대화문 발화 성격 인식 시스템은, 컴퓨터가 판독 가능한 명령을 실행하도록 구현되는 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세스는, 입력된 대화문으로부터 성격 인식의 대상이 되는 대상 발화문 및 상기 대상 발화문을 발화한 발화자를 구분하는 전처리부; 상기 대상 발화문에 기초하여 상기 대상 발화문을 발화한 발화자의 감정을 예측하는 감정 정보 예측부; 상기 대상 발화문에 기초하여 상기 발화자의 성격 범주를 예측하는 발화 성격 예측부; 및 상기 예측된 감정 및 상기 예측된 성격 범주 간 의존성을 분석하여 상기 발화자의 성격을 인식하는 감정-성격 의존성 분석부를 포함한다.
일 측면에 따르면, 상기 감정 정보 예측부는, 상기 대상 발화문에 상기 대상 발화문의 문맥 정보를 반영하여 상기 발화자의 감정을 예측하는 것을 특징으로 할 수 있다.
다른 측면에 따르면, 상기 감정 정보 예측부는, 상기 대상 발화문을 임베딩 벡터로 변환하고, 상기 임베딩 벡터를 상기 발화자를 나타내는 구분자와 결합하여 출력하는 대화문 임베딩 결합층; 상기 임베딩 벡터에 상기 임베딩 벡터의 문맥 정보를 반영한 문맥 임베딩 벡터를 출력하는 자가 주의 집중층; 및 상기 문맥 임베딩 벡터를 분석하여 상기 발화자의 감정을 예측하고 출력하는 선형층을 포함할 수 있다.
또 다른 측면에 따르면, 상기 자가 주의 집중층은, 상기 대상 발화문 내 언어토큰 간의 의존관계를 분석하여 상기 임베딩 벡터의 문맥 정보를 추출하는 것을 특징으로 할 수 있다.
또 다른 측면에 따르면, 상기 발화 성격 예측부는, 상기 대상 발화문에 상기 대상 발화문의 문맥 정보를 반영하여 상기 발화자의 성격 범주를 예측하는 것을 특징으로 할 수 있다.
또 다른 측면에 따르면, 상기 발화 성격 예측부는, 상기 감정 정보 예측부와 적어도 일부 구성요소를 공유하는 것을 특징으로 할 수 있다.
또 다른 측면에 따르면, 상기 발화 성격 예측부는, 상기 감정 정보 예측부의 대화문 임베딩 결합층 및 자가 주의 집중층을 공유하고, 상기 자가 주의 집중층에서 출력되는 상기 문맥 임베딩 벡터를 분석하여 상기 발화자의 성격 범주를 예측하고 출력하는 선형층을 포함할 수 있다.
또 다른 측면에 따르면, 상기 선형층은, 상기 문맥 임베딩 벡터 내에 기 설정된 성격 범주를 구성하는 성격 요소들이 존재하는지 여부를 독립적으로 판단하여, 상기 발화자의 성격 범주를 예측하고 출력하는 것을 특징으로 할 수 있다.
또 다른 측면에 따르면, 상기 감정-성격 의존성 분석부는, 상기 예측된 감정 및 상기 예측된 성격 범주 간 의존관계를 분석하는 자가 주의 집중층; 및 상기 분석된 결과로 상기 발화자의 성격을 인식하고 출력하는 선형-활성층을 포함할 수 있다.
또 다른 측면에 따르면, 상기 자가 주의 집중층은, 상기 예측된 성격 범주 간 의존관계를 더 분석하는 것을 특징으로 할 수 있다.
또 다른 측면에 따르면, 상기 대화문 발화 성격 인식 시스템은, 상기 감정 정보 예측부가 상기 예측된 감정을 토대로 감정 예측 훈련을 수행하는데 사용되는 발화 단위 감정 주석 데이터베이스; 및 상기 발화 성격 예측부가 상기 예측된 성격 범주를 토대로 성격 범주 예측 훈련을 수행하는데 사용되고, 상기 감정-성격 의존성 분석부가 상기 인식된 성격을 토대로 성격 인식 훈련을 수행하는데 사용되는 발화 단위 성격 주석 데이터베이스를 더 포함할 수 있다.
일 실시예에 따르면, 컴퓨터에 의해 수행되는 대화문 발화 성격 인식 방법은, 입력된 대화문으로부터 성격 인식의 대상이 되는 대상 발화문 및 상기 대상 발화문을 발화한 발화자를 구분하는 단계; 상기 대상 발화문에 기초하여 상기 대상 발화문을 발화한 발화자의 감정을 예측하는 단계; 상기 대상 발화문에 기초하여 상기 발화자의 성격 범주를 예측하는 단계; 및 상기 예측된 감정 및 상기 예측된 성격 범주 간 의존성을 분석하여 상기 발화자의 성격을 인식하는 단계를 포함한다.
일 실시예에 따르면, 대화문 발화 성격 인식 방법을 실행시키기 위해 컴퓨터 판독 가능한 기록 매체에 기록된 컴퓨터 프로그램에 있어서, 상기 대화문 발화 성격 인식 방법은, 입력된 대화문으로부터 성격 인식의 대상이 되는 대상 발화문 및 상기 대상 발화문을 발화한 발화자를 구분하는 단계; 상기 대상 발화문에 기초하여 상기 대상 발화문을 발화한 발화자의 감정을 예측하는 단계; 상기 대상 발화문에 기초하여 상기 발화자의 성격 범주를 예측하는 단계; 및 상기 예측된 감정 및 상기 예측된 성격 범주 간 의존성을 분석하여 상기 발화자의 성격을 인식하는 단계를 포함한다.
일 실시예들은 심리학 이론에서 사용하는 성격 모델(Big-five, MBTI 등)을 적용하여, 대화문으로부터 발화문을 발화한 발화자가 나타내는 성격을 인공신경망 모델을 기초로 예측 및 인식하는 방법 및 시스템을 제안할 수 있다.
보다 상세하게는, 일 실시예들은 발화문에서 발화자의 감정과 성격 범주를 예측함으로써, 예측된 감정과 성격 범주 간 의존성을 분석하여 발화자의 성격을 인식하는 방법 및 시스템을 제안할 수 있다.
이 때, 일 실시예들은 발화자의 감정 및 성격 범주를 예측하는 과정과 성격을 인식하는 과정에서 자가 주의집중 기법을 활용함으로써, 각 과정들에서 사용되는 파라미터들 사이의 의존성을 분석하는 방법 및 시스템을 제안할 수 있다.
또한, 일 실시예들은 발화자의 감정 및 성격 범주를 예측하는 과정에서 발화문의 문맥 정보를 반영하는 방법 및 시스템을 제안할 수 있다.
또한, 일 실시예들은 발화자의 감정 및 성격 범주를 예측하는 과정을 수행하는 인공신경망 모델을 감정 인식 결과를 자질로 사용하여 다중 작업 학습 방법을 통해 훈련하는 방법 및 시스템을 제안할 수 있다.
따라서, 일 실시예들은 대화문 내 발화문들이 포함하고 있는 발화자의 감정과 성격 범주 관계 사이에서 동시에 나타날 수 있는 성격 특성을 정확하게 예측 및 인식하여 대화의 흐름을 파악하는데 도움을 주는 기술을 제안할 수 있다.
또한, 일 실시예들은 발화자들 각각의 성격에 따르는 적절한 대응을 위한 대화문을 생성하는데 도움을 주는 기술을 제안할 수 있다.
이상, 일 실시예들의 효과는 상기한 예시로 제한되지 않으며, 언급되지 않은 다른 효과들은 청구범위의 기재로부터 추론 가능한 모든 효과를 포함하는 것으로 이해되어야 한다.
도 1은 일 실시예에 따른 네트워크 환경의 예를 도시한 도면이다.
도 2는 일 실시예에 있어서 전자 기기 및 서버의 내부 구성을 설명하기 위한 블록도이다.
도 3은 일 실시예에 따른 서버의 프로세서로 구성되는 대화문 발화 성격 인식 시스템을 설명하기 위한 블록도이다.
도 4는 도 3에 도시된 대화문 발화 성격 인식 시스템이 실시하는 대화문 발화 성격 인식 방법을 나타낸 플로우 차트이다.
도 5는 도 3에 도시된 대화문 발화 성격 인식 시스템의 동작을 보다 상세하게 설명하기 위한 개념도이다.
이하, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 또한, 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
또한, 본 명세서에서 사용되는 용어(terminology)들은 본 발명의 바람직한 실시예를 적절히 표현하기 위해 사용된 용어들로서, 이는 시청자, 운용자의 의도 또는 본 발명이 속하는 분야의 관례 등에 따라 달라질 수 있다. 따라서, 본 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
이하에서 설명되는 실시예들은 심리학 이론에서 사용하는 성격 모델을 적용하여 발화문에서 발화자의 감정과 성격 범주를 예측함으로써, 인공신경망 모델을 기초로 예측된 감정과 성격 범주 간 의존성을 분석하여 발화자의 성격을 인식하는 방법 및 시스템을 제안한다. 이에, 발화자의 감정과 성격 범주 관계 사이에서 동시에 나타날 수 있는 성격 특성을 정확하게 예측 및 인식하여 대화의 흐름을 파악하는데 도움을 주고, 발화자들 각각의 성격에 따르는 적절한 대응을 위한 대화문을 생성하는데 도움을 주는 장점이 달성될 수 있다.
도 1은 일 실시예에 따른 네트워크 환경의 예를 도시한 도면이다. 도 1의 네트워크 환경은 복수의 전자 기기들(110, 120, 130, 140), 서버(150) 및 네트워크(160)를 포함하는 예를 나타내고 있다. 이러한 도 1은 발명의 설명을 위한 일례로 전자 기기의 수나 서버의 수가 도 1과 같이 한정되는 것은 아니다.
복수의 전자 기기들(110, 120, 130, 140)은 컴퓨터 장치로 구현되는 이동형 단말일 수 있다. 복수의 전자 기기들(110, 120, 130, 140)의 예를 들면, 스마트폰(smart phone), 휴대폰, 태블릿 PC, 내비게이션, 컴퓨터, 노트북, 디지털방송용 단말, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player) 등이 있다. 일례로 제1 전자 기기(110)는 무선 또는 유선 통신 방식을 이용하여 네트워크(160)를 통해 다른 전자 기기들(120, 130, 140) 및/또는 서버(150)와 통신할 수 있다.
통신 방식은 제한되지 않으며, 네트워크(160)가 포함할 수 있는 통신망(일례로, 이동통신망, 유선 인터넷, 무선 인터넷, 방송망)을 활용하는 통신 방식뿐만 아니라 기기들간의 근거리 무선 통신 역시 포함될 수 있다. 예를 들어, 네트워크(160)는, PAN(personal area network), LAN(local area network), CAN(campus area network), MAN(metropolitan area network), WAN(wide area network), BBN(broadband network), 인터넷 등의 네트워크 중 하나 이상의 임의의 네트워크를 포함할 수 있다. 또한, 네트워크(160)는 버스 네트워크, 스타 네트워크, 링 네트워크, 메쉬 네트워크, 스타-버스 네트워크, 트리 또는 계층적(hierarchical) 네트워크 등을 포함하는 네트워크 토폴로지 중 임의의 하나 이상을 포함할 수 있으나, 이에 제한되지 않는다.
서버(150)는 복수의 전자 기기들(110, 120, 130, 140)과 네트워크(160)를 통해 통신하여 명령, 코드, 파일, 컨텐츠, 서비스 등을 제공하는 컴퓨터 장치 또는 복수의 컴퓨터 장치들로 구현될 수 있다.
일례로, 서버(150)는 네트워크(160)를 통해 접속한 제1 전자 기기(110)로 어플리케이션의 설치를 위한 파일을 제공할 수 있다. 이 경우 제1 전자 기기(110)는 서버(150)로부터 제공된 파일을 이용하여 어플리케이션을 설치할 수 있다. 또한, 제1 전자 기기(110)가 포함하는 운영체제(Operating System, OS)나 적어도 하나의 프로그램(일례로 브라우저나 상기 설치된 어플리케이션)의 제어에 따라 서버(150)에 접속하여 서버(150)가 제공하는 서비스나 컨텐츠를 제공받을 수 있다. 예를 들어, 제1 전자 기기(110)가 어플리케이션의 제어에 따라 네트워크(160)를 통해 서비스 요청 메시지를 서버(150)로 전송하면, 서버(150)는 서비스 요청 메시지에 대응하는 코드를 제1 전자 기기(110)로 전송할 수 있고, 제1 전자 기기(110)는 어플리케이션의 제어에 따라 코드에 따른 화면을 구성하여 표시함으로써 컨텐츠를 제공할 수 있다.
도 2는 일 실시예에 있어서 전자 기기 및 서버의 내부 구성을 설명하기 위한 블록도이다. 도 2에서는 하나의 전자 기기에 대한 예로서 제1 전자 기기(110), 그리고 서버(150)의 내부 구성을 설명한다. 다른 전자 기기들(120, 130, 140) 역시 동일한 또는 유사한 내부 구성을 가질 수 있다.
제1 전자 기기(110)와 서버(150)는 메모리(211, 221), 프로세서(212, 222), 통신 모듈(213, 223) 그리고 입출력 인터페이스(214, 224)를 포함할 수 있다. 메모리(211, 221)는 컴퓨터에서 판독 가능한 기록 매체로서, RAM(random access memory), ROM(read only memory) 및 디스크 드라이브와 같은 비소멸성 대용량 기록장치(permanent mass storage device)를 포함할 수 있다. 또한, 메모리(211, 221)에는 운영체제나 적어도 하나의 프로그램 코드(일례로 제1 전자 기기(110)에 설치되어 구동되는 어플리케이션 등을 위한 코드)가 저장될 수 있다. 이러한 소프트웨어 구성요소들은 메모리(211, 221)와는 별도의 컴퓨터에서 판독 가능한 기록 매체로부터 로딩될 수 있다. 이러한 별도의 컴퓨터에서 판독 가능한 기록 매체는 플로피 드라이브, 디스크, 테이프, DVD/CD-ROM 드라이브, 메모리 카드 등의 컴퓨터에서 판독 가능한 기록 매체를 포함할 수 있다. 다른 실시예에서 소프트웨어 구성요소들은 컴퓨터에서 판독 가능한 기록 매체가 아닌 통신 모듈(213, 223)을 통해 메모리(211, 221)에 로딩될 수도 있다. 예를 들어, 적어도 하나의 프로그램은 개발자들 또는 어플리케이션의 설치 파일을 배포하는 파일 배포 시스템(일례로 상술한 서버(150))이 네트워크(160)를 통해 제공하는 파일들에 의해 설치되는 프로그램(일례로 상술한 어플리케이션)에 기반하여 메모리(211, 221)에 로딩될 수 있다.
프로세서(212, 222)는 기본적인 산술, 로직 및 입출력 연산을 수행함으로써, 컴퓨터 프로그램의 명령을 처리하도록 구성될 수 있다. 명령은 메모리(211, 221) 또는 통신 모듈(213, 223)에 의해 프로세서(212, 222)로 제공될 수 있다. 예를 들어 프로세서(212, 222)는 메모리(211, 221)와 같은 기록 장치에 저장된 프로그램 코드에 따라 수신되는 명령을 실행하도록 구성될 수 있다.
통신 모듈(213, 223)은 네트워크(160)를 통해 제1 전자 기기(110)와 서버(150)가 서로 통신하기 위한 기능을 제공할 수 있으며, 다른 전자 기기(일례로 제2 전자 기기(120)) 또는 다른 서버와 통신하기 위한 기능을 제공할 수 있다. 일례로, 제1 전자 기기(110)의 프로세서(212)가 메모리(211)와 같은 기록 장치에 저장된 프로그램 코드에 따라 생성한 요청(일례로 검색 요청)이 통신 모듈(213)의 제어에 따라 네트워크(160)를 통해 서버(150)로 전달될 수 있다. 역으로, 서버(150)의 프로세서(222)의 제어에 따라 제공되는 제어 신호나 명령, 컨텐츠, 파일 등이 통신 모듈(223)과 네트워크(160)를 거쳐 제1 전자 기기(110)의 통신 모듈(213)을 통해 제1 전자 기기(110)로 수신될 수 있다. 예를 들어 통신 모듈(213)을 통해 수신된 서버(150)의 제어 신호나 명령 등은 프로세서(212)나 메모리(211)로 전달될 수 있고, 컨텐츠나 파일 등은 제1 전자 기기(110)가 더 포함할 수 있는 저장 매체로 저장될 수 있다.
입출력 인터페이스(214)는 입출력 장치(215)와의 인터페이스를 위한 수단일 수 있다. 예를 들어, 입력 장치는 키보드 또는 마우스 등의 장치를, 그리고 출력 장치는 어플리케이션의 통신 세션을 표시하기 위한 디스플레이와 같은 장치를 포함할 수 있다. 다른 예로 입출력 인터페이스(214)는 터치스크린과 같이 입력과 출력을 위한 기능이 하나로 통합된 장치와의 인터페이스를 위한 수단일 수도 있다. 보다 구체적인 예로, 제1 전자 기기(110)의 프로세서(212)는 메모리(211)에 로딩된 컴퓨터 프로그램의 명령을 처리함에 있어서 서버(150)나 제2 전자 기기(120)가 제공하는 데이터를 이용하여 구성되는 서비스 화면이나 컨텐츠가 입출력 인터페이스(214)를 통해 디스플레이에 표시될 수 있다. 입출력 인터페이스(224) 또한 마찬가지로 서버(150)의 프로세서(222)가 메모리(221)에 로딩된 컴퓨터 프로그램의 명령을 처리함에 있어 서버(150)가 제공하는 데이터를 이용하여 구성되는 정보를 출력할 수 있다.
또한, 다른 실시예들에서 제1 전자 기기(110) 및 서버(150)는 도 2의 구성요소들보다 더 많은 구성요소들을 포함할 수도 있다. 그러나, 대부분의 종래기술적 구성요소들을 명확하게 도시할 필요성은 없다. 예를 들어, 제1 전자 기기(110)는 상술한 입출력 장치(215) 중 적어도 일부를 포함하도록 구현되거나 또는 트랜시버(transceiver), GPS(Global Positioning System) 모듈, 이미지 센서(카메라), 음성 센서(마이크), 데이터베이스 등과 같은 다른 구성요소들을 더 포함할 수도 있다. 보다 구체적인 예로, 제1 전자 기기(110)가 스마트폰인 경우, 일반적으로 스마트폰이 포함하고 있는 가속도 센서나 자이로 센서, 이미지 센서, 음성 센서, 각종 물리적인 버튼, 터치패널을 이용한 버튼, 입출력 포트, 진동을 위한 진동기 등의 다양한 구성요소들이 제1 전자 기기(110)에 더 포함되도록 구현될 수 있음을 알 수 있다.
이하에서는 대화문 발화 성격 인식 시스템 및 그 방법의 구체적인 실시예를 설명하기로 한다.
도 3은 일 실시예에 따른 서버의 프로세서로 구성되는 대화문 발화 성격 인식 시스템을 설명하기 위한 블록도이고, 도 4는 도 3에 도시된 대화문 발화 성격 인식 시스템이 실시하는 대화문 발화 성격 인식 방법을 나타낸 플로우 차트이며, 도 5는 도 3에 도시된 대화문 발화 성격 인식 시스템의 동작을 보다 상세하게 설명하기 위한 개념도이다.
일 실시예에 따른 서버(150)에는 컴퓨터로 구현된 대화문 발화 성격 인식 시스템이(300) 구성될 수 있다. 일례로, 서버(150)의 프로세서(222)로서 대화문 발화 성격 인식 시스템이 구성될 수 있다.
서버(150)는 클라이언트(client)인 복수의 전자 기기들(110, 120, 130, 140)을 대상으로 대화문 발화 성격 인식 서비스를 제공하는 것(이하, 특정 전자 기기로 대화문 발화 성격 인식 서비스를 제공한다는 것은 특정 전자 기기를 대상으로 대화문 발화 성격 인식 방법을 수행하는 것을 의미함)으로, 전자 기기들(110, 120, 130, 140) 상에 설치된 전용 어플리케이션이나 서버(150)와 관련된 웹/모바일 사이트 접속을 통한 서비스 요청에 대응되는 대화문 발화 성격 인식 서비스를 제공할 수 있다.
대화문 발화 성격 인식 방법을 실시하기 위하여, 서버(150)의 프로세서(222)로 구성되는 대화문 발화 성격 인식 시스템(300)은 구성요소로서 도 3에 도시된 바와 같이, 전처리부(310), 감정 정보 예측부(320), 발화 성격 예측부(330), 감정-성격 의존성 분석부(340), 발화 단위 감정 주석 데이터베이스(350) 및 발화 단위 성격 주석 데이터베이스(360)를 포함할 수 있다.
이에, 대화문 발화 성격 인식 시스템(300)은 도 3과 같이 입력된 대화문(370) 내 성격 인식의 대상이 되는 대상 발화문(371)에서 발화자의 감정과 성격 범주를 예측하고, 예측된 감정과 성격 범주 간 의존성을 분석하여 발화자의 성격을 인식함으로써, 인식된 발화자의 성격 특성이 포함된 대상 발화문(381)을 출력할 수 있다. 또한, 대화문 발화 성격 인식 시스템(300)은 대화문(370)을 구성하는 발화문들(371, 372) 각각에 대해 성격 인식을 수행함으로써, 결과적으로 인식된 발화자들 각각의 성격 특성이 포함된 대화문(380)을 출력할 수 있다.
실시예에 따라 프로세서(222)의 구성요소들은 선택적으로 프로세서(222)에 포함되거나 제외될 수도 있다. 또한, 실시예에 따라 프로세서(222)의 구성요소들은 프로세서(222)의 기능의 표현을 위해 분리 또는 병합될 수도 있다. 예컨대, 프로세서(222)의 구성요소들 중 적어도 일부는 제1 전자 기기(110)에 포함되는 프로세서(212)에 구현될 수 있다.
이러한 프로세서(222) 및 프로세서(222)의 구성요소들은 도 4의 대화문 발화 성격 인식 방법이 포함하는 단계들(S410 내지 S440)을 수행하도록 서버(150)를 제어할 수 있다. 예를 들어, 프로세서(222) 및 프로세서(222)의 구성요소들은 메모리(221)가 포함하는 운영체제의 코드와 적어도 하나의 프로그램의 코드에 따른 명령(instruction)을 실행하도록 구현될 수 있다.
여기서, 프로세서(222)의 구성요소들은 서버(150)에 저장된 프로그램 코드가 제공하는 명령에 따라 프로세서(222)에 의해 수행되는 프로세서(222)의 서로 다른 기능들(different functions)의 표현들일 수 있다. 예를 들어, 서버(150)가 입력된 대화문으로부터 성격 인식의 대상이 되는 대상 발화문(371) 및 대상 발화문(371)을 발화한 발화자를 구분하도록 하는 명령에 따라 서버(150)를 제어하는 프로세서(222)의 기능적 표현으로서 전처리부(310)가 이용될 수 있다.
이하, 프로세서(222) 및 프로세서(222)의 구성요소들은 각각 대화문 발화 성격 인식 시스템(300) 및 대화문 발화 성격 인식 시스템(300)의 구성요소들로 기재한다.
대화문 발화 성격 인식 시스템(300)은 단계(S410) 이전에, 서버(150)의 제어와 관련된 명령이 로딩된 메모리(221)로부터 필요한 명령을 읽어드릴 수 있다(도면 상 별도의 단계로 도시되지 않음). 이 경우, 상기 읽어드린 명령은 대화문 발화 성격 인식 시스템(300)이 이후 설명될 단계들(S410 내지 S440)을 실행하도록 제어하기 위한 명령을 포함할 수 있다.
단계(S410)에서 전처리부(310)는 입력된 대화문(370)으로부터 성격 인식의 대상이 되는 대상 발화문(371) 및 대상 발화문(371)을 발화한 발화자를 구분할 수 있다.
보다 상세하게, 전처리부(310)는 텍스트 기반의 대화문(370)을 입력 받고, 대화문(370)에 포함되는 발화문들(371, 372)과 발화문들(371, 372)을 발화한 발화자들을 구분할 수 있다. 예를 들어, 전처리부(310)는 입력된 대화문(370)을 발화자들을 나타내는 구분자들(예컨대, A, B 등)과 발화문들(371, 372)(예컨대, s1, s2 등)로 이루어진 나열로 인식하고, 각 발화문(371, 372) 중 대상 발화문(371)과 대상 발화문(371)에 대한 문맥 정보를 나타내는 문맥 대화문을 구분하여, 대화문(370)을 시작 발화임을 알리는 구분자(예컨대, <CLS>, <SEP> 등), 대상 발화문(371)임을 나타내는 구분자(예컨대, <p>), 발화자를 나타내는 구분자(예컨대, <A>, <B>)를 포함하도록 대화문(370)을 변환할 수 있다.
이어서, 단계(S420)에서 감정 정보 예측부(320)는 대상 발화문(371)에 기초하여 대상 발화문(371)을 발화한 발화자의 감정을 예측할 수 있다. 이 때, 감정 정보 예측부(320)는 대상 발화문(371)에 대상 발화문(371)의 문맥 정보를 반영하여 발화자의 감정을 예측할 수 있다. 보다 상세하게, 감정 정보 예측부(320)는 대상 발화문(371)의 문맥 정보를 토대로, 기 설정된 감정 범주(예컨대, 심리학 이론에서 사용하는 감정 모델인 Ekman의 6가지 감정 범주(Anger, Disgust, Happiness, Fear, Sadness, Surprise)) 중 대상 발화문(371)에 나타나는 발화자의 가장 유력한 감정을 파악하고, 파악된 가장 유력한 감정을 대상 발화문(371)을 발화한 발화자의 감정으로 예측할 수 있다.
이러한 감정 정보 예측부(320)는 발화 단위 감정 주석 데이터베이스(350)를 이용하여 감정 예측 훈련을 수행할 수 있다. 일례로, 감정 정보 예측부(320)는 단계(S420)에서 예측된 감정에 대한 정보를 발화 단위 감정 주석 데이터베이스(350)에 주석된 감정 정보와 비교함으로써, 단계(S420)에서 예측된 감정이 제대로 예측되었는지를 평가하고 평가 결과를 반영하여 다음 번 감정 예측 과정에 대한 감정 예측 훈련을 수행할 수 있다. 또한, 감정 정보 예측부(320)는 현재 대화문(370)뿐만 아니라, 훈련을 위한 복수의 대화문들에 대해서도 동일한 훈련 과정을 수행함으로써, 감정 예측 정확도를 향상시킬 수 있다.
단계(S420)를 보다 상세하게 설명하기 위하여 도 5를 참조하면, 감정 정보 예측부(320)는 대화문 임베딩 결합층(321), 자가 주의 집중층(322) 및 선형층(323)을 포함할 수 있다.
대화문 임베딩 결합층(321)은 대상 발화문(371)을 임베딩 벡터로 변환하고, 임베딩 벡터를 발화자를 나타내는 구분자와 결합하여 출력할 수 있다.
자가 주의 집중층(322)은 임베딩 벡터에 임베딩 벡터의 문맥 정보를 반영한 문맥 임베딩 벡터를 출력할 수 있다. 구체적으로, 자가 주의 집중층(322)은 대상 발화문(371) 내 언어토큰 간의 의존관계를 분석함으로써, 대상 발화문(371)과 관련된 주변 발화의 언어토큰을 고려하여 대상 발화문(371)에 대응하는 임베딩 벡터의 문맥 정보를 추출할 수 있다. 이에, 자가 주의 집중층(322)으로는 Transformer Encoder가 사용될 수 있다. 따라서, 자가 주의 집중층(322)에 의해 출력되는 문맥 임베딩 벡터는 대상 발화문(371)의 의미를 나타낼 수 있다.
여기서, 자가 주의 집중층(322)이 의존관계를 분석하는 대상 발화문(371) 내 언어토큰은, 문장을 나타내는 단위이며, 띄어쓰기를 통한 단어 구분 또는 Byte-pair Encoding(BPE)의 subword units, Unigram Language Model에 의해 나누어진 subwords가 사용될 수 있다.
선형층(323)은 문맥 임베딩 벡터를 분석하여 발화자의 감정을 예측하고 출력할 수 있다. 보다 상세하게, 선형층(323)은, 문맥 임베딩 벡터를 분석하여, 기 설정된 감정 범주(예컨대, 심리학 이론에서 사용하는 감정 모델인 Ekman의 6가지 감정 범주(Anger, Disgust, Happiness, Fear, Sadness, Surprise)) 중 대상 발화문(371)에 나타나는 발화자의 가장 유력한 감정을 파악하고, 파악된 가장 유력한 감정을 대상 발화문(371)을 발화한 발화자의 감정으로 예측 및 출력할 수 있다. 이와 같은 선형층(323)으로는 Feed-forward layer가 사용될 수 있다.
그 다음, 단계(S430)에서 발화 성격 예측부(330)는 대상 발화문(371)에 기초하여 발화자의 성격 범주를 예측할 수 있다. 이 때, 발화 성격 예측부(330)는 대상 발화문(371)에 대상 발화문(371)의 문맥 정보를 반영하여 발화자의 성격 범주를 예측할 수 있다. 보다 상세하게, 발화 성격 예측부(330)는 대상 발화문(371)의 문맥 정보를 토대로, 기 설정된 성격 범주를 구성하는 성격 요소들(예컨대, 심리학 이론에서 사용하는 성격 모델인 Big-five의 5가지 성격(OCEAN)에 의한 10가지 성격 요소들(openness, closedness 등))이 대상 대화문(371)에 존재하는지 여부를 성격 요소들 별로 독립적으로 판단하여 발화자의 성격 범주를 예측하고 출력할 수 있다. 이에, 기 설정된 성격 범주를 구성하는 성격 요소들이 대상 대화문(370)에 존재하는지 여부를 독립적으로 판단하기 위하여, 발화 성격 예측부(330)는 기 설정된 성격 범주를 구성하는 성격 요소들의 개수만큼 구비되는 인공신경망으로 구성될 수 있다. 이에 대한 상세한 설명은 아래에서 기재하기로 한다.
이러한 발화 성격 예측부(330)는 발화 단위 성격 주석 데이터베이스(360)를 이용하여 성격 범주 예측 훈련을 수행할 수 있다. 일례로, 발화 성격 예측부(330)는 단계(S430)에서 예측된 성격 범주에 대한 정보를 발화 단위 성격 주석 데이터베이스(360)에 주석된 성격 범주 정보와 비교함으로써, 단계(S430)에서 예측된 성격 범주가 제대로 예측되었는지를 평가하고 평가 결과를 반영하여 다음 번 성격 범주 예측 과정에 대한 성격 범주 예측 훈련을 수행할 수 있다. 또한, 발화 성격 예측부(330)는 현재 대화문(370)뿐만 아니라, 훈련을 위한 복수의 대화문들에 대해서도 동일한 훈련 과정을 수행함으로써, 성격 범주 예측 정확도를 향상시킬 수 있다.
발화 단위 성격 주석 데이터베이스(360)는 설명된 바와 같이 발화 성격 예측부(330)의 성격 범주 예측 훈련에 사용될 뿐만 아니라. 후술되는 감정-의견 의존성 분석부(340)의 성격 인식 훈련에 사용될 수도 있다. 예를 들어, 감정-성격 의존성 분석부(340)는 최종적으로 예측 및 인식된 발화자의 성격에 대한 정보를 발화 단위 성격 주석 데이터베이스(360)에 주석된 성격에 대한 정보와 비교함으로써, 후술되는 단계(S440)에서 예측 및 인식된 발화자의 성격이 제대로 예측 및 인식되었는지를 평가하고 평가 결과를 반영하여 다음 번 성격 예측 및 인식 과정에 대한 성격 인식 예측 훈련을 수행할 수 있다. 마찬가지로, 감정-성격 의존성 분석부(340)는 현재 대화문(370)뿐만 아니라, 훈련을 위한 복수의 대화문들에 대해서도 동일한 훈련 과정을 수행함으로써, 성격 예측 및 인식 정확도를 향상시킬 수 있다.
단계(S430)를 보다 상세하게 설명하기 위하여 도 5를 참조하면, 발화 성격 예측부(330)는 대화문 임베딩 결합층(321), 자가 주의 집중층(322) 및 선형층(331)을 포함할 수 있다. 특히, 발화 성격 예측부(330)는 감정 정보 예측부(320)와 적어도 일부 구성요소(예컨대, 대화문 임베딩 결합층(321) 및 자가 주의 집중층(322))을 공유함을 특징으로 할 수 있다. 즉, 감정 정보 예측부(320) 및 발화 성격 예측부(330)는 감정 정보 분석과 성격 정보 분석을 동시에 할 수 있도록 인공신경망 초기 특성(대화문 임베딩 결합층(321) 및 자가 주의 집중층(322))이 공유되는 다중 작업 학습을 진행할 수 있다.
이에, 발화 성격 예측부(330)의 동작에서 사용되는 대화문 임베딩 결합층(321)과 자가 주의 집중층(322)은 감정 정보 예측부(320)의 동작에서 사용되는 파라미터를 공유할 수 있다.
대화문 임베딩 결합층(321)은 대상 발화문(371)을 임베딩 벡터로 변환하고, 임베딩 벡터를 발화자를 나타내는 구분자와 결합하여 출력할 수 있다.
자가 주의 집중층(322)은 임베딩 벡터에 임베딩 벡터의 문맥 정보를 반영한 문맥 임베딩 벡터를 출력할 수 있다. 구체적으로, 자가 주의 집중층(322)은 대상 발화문(371) 내 언어토큰 간의 의존관계를 분석함으로써, 대상 발화문(371)과 관련된 주변 발화의 언어토큰을 고려하여 대상 발화문(371)에 대응하는 임베딩 벡터의 문맥 정보를 추출할 수 있다. 이에, 자가 주의 집중층(322)으로는 Transformer Encoder가 사용될 수 있다. 따라서, 자가 주의 집중층(322)에 의해 출력되는 문맥 임베딩 벡터는 대상 발화문(371)의 의미를 나타낼 수 있다.
여기서, 자가 주의 집중층(322)이 의존관계를 분석하는 대상 발화문(371) 내 언어토큰은, 문장을 나타내는 단위이며, 띄어쓰기를 통한 단어 구분 또는 Byte-pair Encoding(BPE)의 subword units, Unigram Language Model에 의해 나누어진 subwords가 사용될 수 있다.
선형층(331)은 문맥 임베딩 벡터를 분석하여 발화자의 성격 범주를 예측하고 출력할 수 있다. 보다 상세하게, 선형층(331)은, 문맥 임베딩 벡터를 분석하여, 기 설정된 성격 범주를 구성하는 성격 요소들(예컨대, 심리학 이론에서 사용하는 성격 모델인 Big-five의 5가지 성격(OCEAN)에 의한 10가지 성격 요소들(openness, closedness 등))이 대상 대화문(371)에 존재하는지 여부를 성격 요소들 별로 독립적으로 판단하여 발화자의 성격 범주를 예측하고 출력할 수 있다. 이와 같은 선형층(331)으로는 Feed-forward layer가 사용될 수 있다. 기 설정된 성격 범주를 구성하는 성격 요소들이 대상 대화문(370)에 존재하는지 여부를 독립적으로 판단하기 위하여, 선형층(331)은 기 설정된 성격 범주를 구성하는 성격 요소들의 개수만큼 구비되는 인공신경망으로 구성되어, 각 성격 범주를 나타내는 독립적 파라미터를 가질 수 있다.
설명된 것처럼, 감정 정보 예측부(320)와 발화 성격 예측부(330)는 공유되는 대화문 임베딩 결합층(321), 자가 주의 집중층(322)을 포함하고, 각기 독립적인 선형층(323, 331)을 포함함으로써, 감정 예측과 성격 범주 예측의 출력을 독립적으로 진행할 수 있으며, 감정 예측과 성격 범주 예측 각각의 훈련을 선형층(323, 331) 별로 각기 다른 데이터베이스를 활용하여 독립적으로 진행할 수 있다.
그 후, 단계(S440)에서 감정-성격 의존성 분석부(340)는 예측된 감정 및 예측된 성격 범주 간 의존성을 분석하여 발화자의 성격을 인식할 수 있다.
단계(S440)를 보다 상세하게 설명하기 위하여 도 5를 참조하면, 감정-성격 의존성 분석부(340)는 자가 주의 집중층(341) 및 선형-활성층(342)을 포함할 수 있다.
자가 주의 집중층(341)은 예측된 감정 및 예측된 성격 범주 간 의존관계를 분석할 수 있다. 이 때, 자가 주의 집중층(341)은 예측된 감정 및 예측된 성격 범주 간의 의존관계뿐만 아니라, 예측된 성격 범주 간의 의존관계를 분석할 수도 있다.
선형-활성층(342)은 분석된 결과로 발화자의 성격을 인식하고 출력할 수 있다. 이와 같은 선형-활성층(342)로는 Feed-forward layer의 선형층과 Softmax function의 활성층의 결합이 사용될 수 있다.
따라서, 단계(S440)를 통해 예측 및 인식된 발화자의 성격은 성격 특성으로 표현되어, 감정-성격 의존성 분석부(340)에 의해 성격 특성이 포함된 대화문(380)으로 출력될 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 이때, 매체는 컴퓨터로 실행 가능한 프로그램을 계속 저장하거나, 실행 또는 다운로드를 위해 임시 저장하는 것일 수도 있다. 또한, 매체는 단일 또는 수 개의 하드웨어가 결합된 형태의 다양한 기록수단 또는 저장수단일 수 있는데, 어떤 컴퓨터 시스템에 직접 접속되는 매체에 한정되지 않고, 네트워크 상에 분산 존재하는 것일 수도 있다. 매체의 예시로는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등을 포함하여 프로그램 명령어가 저장되도록 구성된 것이 있을 수 있다. 또한, 다른 매체의 예시로, 어플리케이션을 유통하는 앱 스토어나 기타 다양한 소프트웨어를 공급 내지 유통하는 사이트, 서버 등에서 관리하는 기록매체 내지 저장매체도 들 수 있다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (13)

  1. 컴퓨터로 구현되는 대화문 발화 성격 인식 시스템에 있어서,
    컴퓨터가 판독 가능한 명령을 실행하도록 구현되는 적어도 하나의 프로세서
    를 포함하고,
    상기 적어도 하나의 프로세스는,
    입력된 대화문으로부터 성격 인식의 대상이 되는 대상 발화문 및 상기 대상 발화문을 발화한 발화자를 구분하는 전처리부;
    상기 대상 발화문에 기초하여 상기 대상 발화문을 발화한 발화자의 감정을 예측하는 감정 정보 예측부;
    상기 대상 발화문에 기초하여 상기 발화자의 성격 범주를 예측하는 발화 성격 예측부; 및
    상기 예측된 감정 및 상기 예측된 성격 범주 간 의존성을 분석하여 상기 발화자의 성격을 인식하는 감정-성격 의존성 분석부
    를 포함하는 대화문 발화 성격 인식 시스템.
  2. 제1항에 있어서,
    상기 감정 정보 예측부는,
    상기 대상 발화문에 상기 대상 발화문의 문맥 정보를 반영하여 상기 발화자의 감정을 예측하는 것을 특징으로 하는 대화문 발화 성격 인식 시스템.
  3. 제2항에 있어서,
    상기 감정 정보 예측부는,
    상기 대상 발화문을 임베딩 벡터로 변환하고, 상기 임베딩 벡터를 상기 발화자를 나타내는 구분자와 결합하여 출력하는 대화문 임베딩 결합층;
    상기 임베딩 벡터에 상기 임베딩 벡터의 문맥 정보를 반영한 문맥 임베딩 벡터를 출력하는 자가 주의 집중층; 및
    상기 문맥 임베딩 벡터를 분석하여 상기 발화자의 감정을 예측하고 출력하는 선형층
    을 포함하는 대화문 발화 성격 인식 시스템.
  4. 제3항에 있어서,
    상기 자가 주의 집중층은,
    상기 대상 발화문 내 언어토큰 간의 의존관계를 분석하여 상기 임베딩 벡터의 문맥 정보를 추출하는 것을 특징으로 하는 대화문 발화 성격 인식 시스템.
  5. 제1항에 있어서,
    상기 발화 성격 예측부는,
    상기 대상 발화문에 상기 대상 발화문의 문맥 정보를 반영하여 상기 발화자의 성격 범주를 예측하는 것을 특징으로 하는 대화문 발화 성격 인식 시스템.
  6. 제5항에 있어서,
    상기 발화 성격 예측부는,
    상기 감정 정보 예측부와 적어도 일부 구성요소를 공유하는 것을 특징으로 하는 대화문 발화 성격 인식 시스템.
  7. 제6항에 있어서,
    상기 발화 성격 예측부는,
    상기 감정 정보 예측부의 대화문 임베딩 결합층 및 자가 주의 집중층을 공유하고,
    상기 자가 주의 집중층에서 출력되는 상기 문맥 임베딩 벡터를 분석하여 상기 발화자의 성격 범주를 예측하고 출력하는 선형층
    을 포함하는 대화문 발화 성격 인식 시스템.
  8. 제7항에 있어서,
    상기 선형층은,
    상기 문맥 임베딩 벡터 내에 기 설정된 성격 범주를 구성하는 성격 요소들이 존재하는지 여부를 독립적으로 판단하여, 상기 발화자의 성격 범주를 예측하고 출력하는 것을 특징으로 하는 대화문 발화 성격 인식 시스템.
  9. 제1항에 있어서,
    상기 감정-성격 의존성 분석부는,
    상기 예측된 감정 및 상기 예측된 성격 범주 간 의존관계를 분석하는 자가 주의 집중층; 및
    상기 분석된 결과로 상기 발화자의 성격을 인식하고 출력하는 선형-활성층
    을 포함하는 대화문 발화 성격 인식 시스템.
  10. 제9항에 있어서,
    상기 자가 주의 집중층은,
    상기 예측된 성격 범주 간 의존관계를 더 분석하는 것을 특징으로 하는 대화문 발화 성격 인식 시스템.
  11. 제1항에 있어서,
    상기 감정 정보 예측부가 상기 예측된 감정을 토대로 감정 예측 훈련을 수행하는데 사용되는 발화 단위 감정 주석 데이터베이스; 및
    상기 발화 성격 예측부가 상기 예측된 성격 범주를 토대로 성격 범주 예측 훈련을 수행하는데 사용되고, 상기 감정-성격 의존성 분석부가 상기 인식된 성격을 토대로 성격 인식 훈련을 수행하는데 사용되는 발화 단위 성격 주석 데이터베이스
    를 더 포함하는 대화문 발화 성격 인식 시스템.
  12. 컴퓨터에 의해 수행되는 대화문 발화 성격 인식 방법에 있어서,
    입력된 대화문으로부터 성격 인식의 대상이 되는 대상 발화문 및 상기 대상 발화문을 발화한 발화자를 구분하는 단계;
    상기 대상 발화문에 기초하여 상기 대상 발화문을 발화한 발화자의 감정을 예측하는 단계;
    상기 대상 발화문에 기초하여 상기 발화자의 성격 범주를 예측하는 단계; 및
    상기 예측된 감정 및 상기 예측된 성격 범주 간 의존성을 분석하여 상기 발화자의 성격을 인식하는 단계
    를 포함하는 대화문 발화 성격 인식 방법.
  13. 대화문 발화 성격 인식 방법을 실행시키기 위해 컴퓨터 판독 가능한 기록 매체에 기록된 컴퓨터 프로그램에 있어서,
    상기 대화문 발화 성격 인식 방법은,
    입력된 대화문으로부터 성격 인식의 대상이 되는 대상 발화문 및 상기 대상 발화문을 발화한 발화자를 구분하는 단계;
    상기 대상 발화문에 기초하여 상기 대상 발화문을 발화한 발화자의 감정을 예측하는 단계;
    상기 대상 발화문에 기초하여 상기 발화자의 성격 범주를 예측하는 단계; 및
    상기 예측된 감정 및 상기 예측된 성격 범주 간 의존성을 분석하여 상기 발화자의 성격을 인식하는 단계
    를 포함하는 기록 매체에 기록된 컴퓨터 프로그램.
KR1020200011541A 2020-01-31 2020-01-31 대화문 발화 성격 인식 방법 및 시스템 KR102319013B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200011541A KR102319013B1 (ko) 2020-01-31 2020-01-31 대화문 발화 성격 인식 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200011541A KR102319013B1 (ko) 2020-01-31 2020-01-31 대화문 발화 성격 인식 방법 및 시스템

Publications (2)

Publication Number Publication Date
KR20210097935A true KR20210097935A (ko) 2021-08-10
KR102319013B1 KR102319013B1 (ko) 2021-10-29

Family

ID=77315891

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200011541A KR102319013B1 (ko) 2020-01-31 2020-01-31 대화문 발화 성격 인식 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR102319013B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023095988A1 (ko) * 2021-11-29 2023-06-01 한국과학기술원 대화 상대방의 성격정보를 고려하여 신뢰도 증강을 위한 맞춤형 대화 생성 시스템 및 그 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003202892A (ja) * 2002-01-09 2003-07-18 Aruze Corp 音声ロボットシステム及び音声ロボット動作方法
KR20130011002A (ko) * 2011-07-20 2013-01-30 세종대학교산학협력단 음성 신호를 이용하여 사용자의 성격을 판단하는 시스템 및 방법
KR20190104490A (ko) * 2019-08-21 2019-09-10 엘지전자 주식회사 사용자의 발화 음성을 인식하는 인공 지능 장치 및 그 방법
KR20190140803A (ko) * 2018-05-25 2019-12-20 한국전자인증 주식회사 감정 임베딩과 순환형 신경망을 이용한 대화 시스템 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003202892A (ja) * 2002-01-09 2003-07-18 Aruze Corp 音声ロボットシステム及び音声ロボット動作方法
KR20130011002A (ko) * 2011-07-20 2013-01-30 세종대학교산학협력단 음성 신호를 이용하여 사용자의 성격을 판단하는 시스템 및 방법
KR20190140803A (ko) * 2018-05-25 2019-12-20 한국전자인증 주식회사 감정 임베딩과 순환형 신경망을 이용한 대화 시스템 및 방법
KR20190104490A (ko) * 2019-08-21 2019-09-10 엘지전자 주식회사 사용자의 발화 음성을 인식하는 인공 지능 장치 및 그 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023095988A1 (ko) * 2021-11-29 2023-06-01 한국과학기술원 대화 상대방의 성격정보를 고려하여 신뢰도 증강을 위한 맞춤형 대화 생성 시스템 및 그 방법

Also Published As

Publication number Publication date
KR102319013B1 (ko) 2021-10-29

Similar Documents

Publication Publication Date Title
KR102204740B1 (ko) 대화 시스템에서의 의도 불분명 질의를 처리하는 방법 및 시스템
JP6960914B2 (ja) ダイアログ・システムにおけるパラメータ収集および自動ダイアログ生成
KR101886373B1 (ko) 딥러닝 인공신경망 기반의 타스크 제공 플랫폼
EP3513324B1 (en) Computerized natural language query intent dispatching
US20190103092A1 (en) Rapid deployment of dialogue system
JP2019503526A5 (ko)
JP2021533397A (ja) 話者埋め込みと訓練された生成モデルとを使用する話者ダイアライゼーション
KR102075505B1 (ko) 핵심 키워드 추출 방법 및 시스템
US11574637B1 (en) Spoken language understanding models
US11790891B2 (en) Wake word selection assistance architectures and methods
KR102170088B1 (ko) 인공지능 기반 자동 응답 방법 및 시스템
KR20220130565A (ko) 키워드 검출 방법 및 장치
KR20190109651A (ko) 인공지능 기반의 음성 모방 대화 서비스 제공 방법 및 시스템
KR102319013B1 (ko) 대화문 발화 성격 인식 방법 및 시스템
US11615787B2 (en) Dialogue system and method of controlling the same
JP7044856B2 (ja) 増強された一貫性正規化を利用した音声認識モデル学習方法およびシステム
US20220375469A1 (en) Intelligent voice recognition method and apparatus
WO2021153830A1 (ko) 대화문 발화 성격 인식 방법 및 시스템
US11804225B1 (en) Dialog management system
US20210406463A1 (en) Intent detection from multilingual audio signal
US11908463B1 (en) Multi-session context
CN113555006B (zh) 一种语音信息识别方法、装置、电子设备及存储介质
KR102446300B1 (ko) 음성 기록을 위한 음성 인식률을 향상시키는 방법, 시스템, 및 컴퓨터 판독가능한 기록 매체
US20240185846A1 (en) Multi-session context
US20230360648A1 (en) Electronic device and method for controlling electronic device

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant