KR101423258B1 - 상담 대화 제공 방법 및 이를 이용하는 장치 - Google Patents

Abstract

상담 대화 제공 방법 및 이를 이용하는 장치가 개시된다. 본 발명에 따른 상담 대화 장치는 발화된 음성을 인식하여 텍스트로 변환하는 음성 인식 모듈, 사용자의 영상 또는 상기 음성 인식 모듈이 출력하는 사용자 음성 텍스트로부터 사용자의 감정을 분석하는 감정 탐지 모듈, 사용자의 발화 텍스트로부터 사용자 발화의 주행을 파악하여 발화 의도를 분석하고, 사용자의 감정의 원인이 되는 요인을 6하 원칙으로 분석하는 발화 이해 모듈, 및 사용자 발화에서 분석한 주행과 6하 원칙 정보로부터 사용자에 대한 대화 전략을 선택하는 대화 처리 모듈을 포함하여 구성됨으로써, 감정을 이해하는 상담 대화를 제공할 수 있다.

Description

상담 대화 제공 방법 및 이를 이용하는 장치{METHOD FOR SUPPLYING CONSULTING COMMUNICATION AND APPARATUS USING THE METHOD}

본 발명은 감정을 이해하는 상담 대화 제공에 관한 것으로, 더욱 상세하게는 감정을 인식하는 가상 인간 상담 대화를 통한 상담 대화 제공 방법 및 이를 이용하는 장치에 관한 것이다.

가상인간 청자 시스템이란 사용자의 발화를 잘 들어주는 시스템을 말한다. 가상인간 청자 시스템은 사람의 발화, 억양, 표정, 몸짓 등을 분석하여 사용자의 감정을 분석하고, 분석한 결과에 따라 적절한 반응과 몸짓, 표정 등을 가상인간으로 출력하도록 개발되었다.

가상인간 청자 시스템은 하지만, 대화를 나누기 보다는 사용자에게 적절한 반응을 보여주고 계속 대화하도록 유도하는 발화 이외의 대화를 나누지는 못한다. 이러한 시스템의 예로 SEMAINE 시스템이 있다.

하지만, 기존의 청자 시스템의 경우에는 적절한 반응과 호응을 제공하지만 이는 사용자의 감정에 따른 출력만이 지정되었을 뿐, 어떠한 상황에 어떠한 질문을 하고 발화로써 사용자의 이야기를 이해하고 따르고 있음을 알리기에는 부족하다.

기존의 대화 시스템 또한, 감성적인 대화가 아닌 질답의 형식 혹은 명령 위주의 대화이다. 또한, 대화의 대부분이 특정 디바이스를 핸들링하거나 잡담 형식의 대화가 주를 이루고 있어 인간 생활에 실질적인 도움을 주지 못한다는 문제가 있다.

기존의 청자 시스템은 대화가 아닌 적절한 반응을 내는 것에 초점이 맞추어져 있기 때문에 사용자의 이야기를 이해하고 따라가고 있다고 보기 힘들다.

상술한 문제점을 극복하기 위한 본 발명의 목적은 사용자의 감정을 이해하고 그 감정의 원인이 무엇인지에 대한 대화를 사용자에게 제공하는 상담 대화 제공 방법을 제공하는 데 있다.

본 발명의 다른 목적은 상기 방법을 이용하여 상담 대화를 제공하는 상담 대화 제공 장치를 제공하는 데 있다.

상술한 본 발명의 목적을 달성하기 위한 본 발명의 일 측면에 따른 상담 대화 장치는, 발화된 음성을 인식하여 텍스트로 변환하는 음성 인식 모듈, 사용자의 영상 또는 상기 음성 인식 모듈이 출력하는 사용자 음성 텍스트 로부터 사용자의 감정을 분석하는 감정 탐지 모듈, 사용자의 발화 텍스트로부터 사용자 발화의 주행을 파악하여 발화 의도를 분석하고, 사용자의 감정의 원인이 되는 요인을 6하 원칙으로 분석하는 발화 이해 모듈, 및 사용자 발화에서 분석한 주행과 6하 원칙 정보로부터 사용자에 대한 대화 전략을 선택하는 대화 처리 모듈을 포함할 수 있다.

상기 상담 대화 장치는, 상기 대화 처리 모듈에 의해 선택된 대화 전략 및 상기 감정 탐지 모듈이 출력하는 사용자의 감정을 이용해 사용자에 대한 응답을 생성하는 응답 생성 모듈을 더 포함할 수 있다.

상기 응답 생성 모듈은, 상기 대화 처리 모듈이 선택한 대화 전략과 상기 감정 탐지 모듈에 의해 분석된 사용자의 감정을 이용해 사용자에게 발화할 대화 템플릿을 선택하고 발화 태도를 생성할 수 있다.

또한, 상기 상담 대화 장치는, 상기 응답 생성 모듈에 의해 생성된 적어도 하나의 대화 템플릿 데이터를 저장하는 대화 템플릿 데이터베이스를 더 포함한다.

여기에서, 상기 상담 대화 장치는, 상기 응답 생성 모듈이 출력하는 결과를 이용해 가상 인간을 표현해 출력하는 가상인간 출력 모듈을 더 포함한다.

여기에서, 상기 감정 탐지 모듈은, 사용자의 감정을 감지하는 데 필요한 데이터를 추출하는 특징 추출 모듈과 상기 특징 추출 모듈이 출력하는 데이터를 이용해 사용자의 행동을 분석하는 특징 분석 모듈, 상기 특징 분석 모듈의 출력을 이용해 사용자의 감정을 감정 좌표 상에 표시하는 특징 합성 모듈 및 상기 특징 합성 모듈이 출력하는 감정 좌표상의 데이터 및 음성 인식 모듈의 결과값을 이용해 감정을 분석하는 감정 분석 모듈을 포함한다.

한편, 상기 감정 탐지 모듈은 또한, 사용자의 발화 텍스트 내에 존재하는 감정 키워드를 추출하여 사용자의 감정을 판단할 수 있다.

상기 대화 처리 모듈은, 상기 6하 원칙 관련 데이터를 저장하는 슬롯들 중 채워지지 않은 슬롯이 있는 경우, 추가 질문을 통해 사용자의 응답을 유도하고 사용자의 음성 응답을 분석하여 대화 전략을 선택할 수 있다.

상기 대화 전략은, 잘 들어주기 전략, 질문하기 전략, 따라 말하기 전략, 감정 확인하기 전략 중 하나 이상을 포함할 수 있다.

상술한 본 발명의 다른 목적을 달성하기 위한 본 발명의 일 측면에 따른 상담 대화 제공 방법은, 발화된 음성을 인식하여 텍스트로 변환하는 음성 인식 단계, 사용자의 영상 또는 상기 음성 인식 모듈이 출력하는 사용자 음성 텍스트 로부터 사용자의 감정을 분석하는 감정 탐지 단계, 사용자의 발화 텍스트로부터 사용자 발화의 주행을 파악하여 발화 의도를 분석하고, 사용자의 감정의 원인이 되는 요인을 6하 원칙으로 분석하는 발화 이해 단계, 및 사용자 발화에서 분석한 주행과 6하 원칙 정보로부터 사용자에 대한 대화 전략을 선택하는 대화 처리 단계를 포함할 수 있다.

상기 상담 대화 제공 방법은 또한, 상기 대화 처리 모듈에 의해 선택된 대화 전략 및 상기 감정 탐지 모듈이 출력하는 사용자의 감정을 이용해 사용자에 대한 응답을 생성하는 단계를 더 포함할 수 있다.

상술한 바와 같은 본 발명에 따른 상담 대화 장치에 따르면, 사용자에게 적절한 반응뿐 아니라 적절한 질문과 모방발화, 그리고 감정 확인을 하여 사용자로 하여금 시스템이 자신을 이해하고 있다는 인식을 줄 수 있다.

또한, 발화 혹은 텍스트만으로는 표현할 수 없었던 감정들을 복합적으로 시스템이 판단하므로 더욱 자연스럽고 복합적인 감성 대화가 가능하다.

뿐만 아니라, 가상인간을 이용하여 적절한 태도와 몸짓을 이용하여 마치 다른 인격체와 대화하는 듯한 경험을 제공할 수 있으며, 이러한 경험은 시스템을 심리적으로 가깝게 느끼게 하여 사용자가 더 많은 발화를 하도록 유도할 수 있다.

도 1은 본 발명에 따른 상담 대화 시스템의 블록 구성도이다.
도 2는 본 발명에 따른 대화 처리 모듈의 동작 순서를 도시한다.
도 3은 본 발명의 일 실시예에 따른 감정 탐지 모듈의 블록 구성도이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다.

그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.

본 발명은 인간과 자연스러운 상담을 나눌 수 있는 가상인간 상담 대화 시스템을 제공하는 방법에 관한 것으로, 사용자의 음성 대화에서의 내용으로 사용자가 어떤 상황인지를 파악하고, 표정, 몸짓, 억양 등에서도 감정을 분석하며 적절한 질문으로 사용자를 이해한다. 본 발명은 또한 이러한 이해를 기반으로 사용자에게 감정을 이해해 주는 상담을 해주는 상담 대화 시스템에 대한 것이다.

본 발명에 따른 상담 대화 시스템은, 사용자의 표정, 몸짓, 억양, 단어 선택 등을 통해 사용자의 감정을 파악하며, 발화를 통해 감정의 원인이 무엇인지 이해할 수 있다. 이를 위해 본 발명에 따른 상담 대화 시스템은, 음성, 표정 등의 데이터로부터 특징을 추출하고, 추출한 데이터를 이용하여 사용자가 어떤 감정 상태인지 판단한다. 상담 대화 시스템은 또한, 대화 중간중간에 주요한 질문을 통해 감정의 원인을 구체화할 수 있도록 적절한 질문을 하며, 추가로 적절한 질문을 하면서 그에 따른 사용자의 대답을 확인하는 발화를 출력하여 공감을 유도하고 발화를 확인하도록 한다.

상담 대화 시스템은 사용자로부터 공감을 얻기 위해서 "응, 그래" 혹은 "정말? 계속 말해봐" 등의 표현을 통해 중간중간 발화를 유도하거나 동조하는 형식의 반응도 필요하다. 또한 분석된 사용자의 감정과 원인을 이용하여 동감하거나 이해하였다는 형식의 발화를 최종으로 출력함으로써 사용자가 공감을 느끼게 함과 동시에 제대로 상황과 감정을 파악하였음을 표현한다.

도 1은 본 발명에 따른 상담 대화 장치의 블록 구성도이다.

본 발명에 따른 상담 대화 장치는, 현재 사용자의 감정과 발화를 인식하여 현재 사용자의 감정을 사용자가 원하는 방향으로 전환하도록 대화를 이끄는 상담 대화 장치의 블록 구성을 나타낸다.

도 1에 도시된 상담 대화 장치는, 음성 인식 모듈(200), 발화 이해 모듈(210), 대화 처리 모듈(220), 감정 탐지 모듈(100), 응답 생성 모듈(300), 가상인간 출력 모듈(310), 대화 템플릿 데이터베이스(400)를 포함하여 구성될 수 있다.

음성 인식 모듈(200)은 사용자의 발화를 소리에서 문자 데이터로 해석한다. 즉, 음성 인식 모듈은 사용자의 음성을 텍스트로 바꾸어 주는 모듈이다.

발화 이해 모듈(210)은 사용자의 발화의 주행을 파악하여 발화 의도를 분석한다. 주행은 발화를 인식하기 전에 정의하며, 감정을 표현하는 발화인지, 원인을 설명하기 위한 발화인지 등을 분류한다. 또한, 사용자의 발화 내에서 사용자의 감정의 원인이 되는 요인을 6하 원칙으로 분석하여 6하 원칙 슬롯에 데이터를 적절히 저장한다.

여기서, 6하 원칙 슬롯은 "누가", "언제", "어디서", "무엇을", "어떻게", "왜"의 6개의 슬롯이다. 예를 들어 "강아지가 차에 치여 죽었어" 라는 발화가 들어온다면, '누가'는 '강아지', '어떻게' 은 '죽었다' 그리고 '왜' 는 '차에 치이다'가 된다.

6하 원칙에 맞게 분석하는 방법으로는, 6하 원칙을 발화에 맞게 태깅한 말뭉치를 훈련하여 분석하는 방법이 사용될 수 있으며, 그 외에도 구문 분석기와 의미역 결정(semantic role labeling) 기술을 이용하여 분석할 수 있다.

감정 탐지 모듈(100)은 사용자의 음성, 영상 데이터를 수신하여 사용자의 감정이 어떤 상태인지 분석하는 모듈로, 사용자의 발화 내용 또는 단어, 억양, 표정, 몸짓 등을 분석하여 획득한 감정 좌표 값을 이용하여 사용자의 감정을 판단한다. 여기서 판단된 감정은 대화 처리 모듈의 결과와 함께 응답 생성 모듈의 동작에 영향을 준다. 감정 탐지 모듈(100)의 상세 구성에 대해서는 이하 도 3를 통해 자세히 설명한다.

대화 처리 모듈(220)은 발화 이해 모듈의 결과를 이용하여 어떠한 대화 전략을 선택할지 결정한다. 본 발명의 일 실시예에 따른 대화 처리 모듈(220)에서 생성하는 대화 전략은 크게 4가지를 가질 수 있다. 제1 전략은 잘 들어주기, 제2 전략은 질문하기, 제3 전략은 따라 말하기, 제4 전략은 감정 확인하기이다. 대화 처리 모듈(220)은 아래 도 2와 관련한 설명을 통해 더 자세히 설명될 것이다.

응답 생성 모듈(300)에서는 대화 전략과 사용자 감정을 이용하여 적절한 발화를 생성하고 가상인간의 태도를 어떻게 설정할지 결정한다. 구체적으로, 응답 생성 모듈(300)은 생성된 대화 처리 모듈의 결과 값과 감정 결과 값을 이용하여 발화와 태도를 생성한다. 생성된 발화와 태도는 태도 형성 모듈인 가상 인간 출력 모듈(310)을 통해 발화와 표정, 몸짓 등의 형태로 출력된다.

응답 생성 모듈(300)은 상술한 동작 과정에서 획득한 데이터를 저장함으로써 대화 템플릿 데이터베이스를 생성한다.

대화 템플릿 데이터베이스(400)에 저장되는 대화 템플릿 데이터는 적절한 질문과 적절한 따라 말하기, 혹은 감정 확인하기를 위한 템플릿 대화를 의미한다. 대화 템플릿의 예를 들자면, '<who>가 언제 <how> 했는데?'가 그 예가 될 수 있다.

이러한 대화 템플릿 데이터베이스를 생성하는 방법은 사용자의 감정과 시스템 발화 전략, 그리고 6하 원칙 슬롯을 이용하여 생성할 수 있다. 어떠한 슬롯에 데이터가 존재하는지, 어떠한 슬롯에 존재하지 않는지를 분석하고, 어떤 조합으로 어떠한 질문을 할지를 분석한 뒤에 대화 템플릿을 만들 수 있다.

예를 들어 <who>와 <how>가 존재하고 <when>을 알고 싶다면 위와 같이 '<who>가 언제 <how> 했는데?'라는 질문을 템플릿으로 만들 수 있다. 또한, 예를 들어 <who>와 <what>을 아는 상황에서 사용자에게 <where> 슬롯의 정보를 질문하려는 발화 전략을 선택하고, 사용자의 감정이 화남이면, '도대체 <who>랑 어디에서 <what> 했길래 화가 난 거야?' 라는 질문을 템플릿으로 만들 수 있다.

응답 생성 모듈(300)은 대화 처리 모듈에서 출력된 대화 전략과 사용자의 감정을 입력으로 수신하여 적절한 발화 및 태도를 생성하는 모듈이다.

대화 처리 모듈(220)이 잘 들어주기의 전략을 선택할 경우에는, 저장된 맞장구 말뭉치를 이용하여 출력하고, 이 경우의 시스템의 태도는 눈을 맞추고, 몸을 앞으로 숙여 사용자를 바라보는 등의 '사용자에게 집중'하는 느낌을 주는 태도이다.

질문하기의 경우에는 대화 템플릿 데이터베이스를 참조한다. 어떠한 6하 원칙 슬롯 값을 가지고 있는지, 어떠한 값이 없는지를 파악하고 그에 맞는 대화 템플릿을 선택하여야 한다. 예를 들어 '강아지가 죽었다' 라는 사용자의 발화를 들을 경우에는 '누가' 는 강아지, '어떻게' 는 죽었다 가 될 것이고, 이때 '왜' 라는 슬롯을 채우기 위해서는 "<who>가 왜 <how> 했는데?" 형식의 템플릿과 6하 원칙의 채워진 슬롯 데이터를 이용하여 발화를 생성한다. 어떤 템플릿을 선택할지는 대화 처리 모듈(220)의 결과값을 이용한다. 이 전략을 취할 때에는 질문의 위치에 있으므로 시스템의 태도는 호기심, 혹은 궁금한 태도를 취한다. 예를 들면, 고개를 갸우뚱한다던가, 혹은 질문 형태로 말 끝을 올리는 것 등이 포함된다.

따라 말하기의 경우는 6하 원칙 슬롯의 조합으로 발화가 형성되며, 어떤 조합으로 발화를 할 지에 대해서는 대화 처리 모듈에서 정보를 받아온다. 따라 말하기의 경우 질문하기와 비슷하게 대화 템플릿을 가져와서 발화한다. 예를 들어 '<who>가 <how> 했다는 말이지?' 형식의 템플릿을 이용하여 발화를 생성한다.

감정 확인하기의 전략은 채워진 6하 원칙 슬롯의 데이터와 감지된 사용자의 감정, 그리고 대화 템플릿을 이용하여 사용자의 감정을 이해하는 발화를 생성하는 전략이다. 예를 들면 "아, 그러니까 <who>가 <why>해서 <when> <where>에서 <what>을 <how>한 것 때문에 <emotion> 하신 거군요…" 라는 템플릿을 이용할 수 있다. 이 때의 시스템의 태도는 사용자의 감정에 따라 바뀌어야 한다. 사용자의 감정이 '즐거움' 이라면 같이 '즐거움'을 표현하여야 하며, '화남' 이라면 '맞장구'를 치는 태도를, '기쁨' 이라면 함께 '기쁨'을 표현하여야 하며 사용자가 '공포'의 상황에 놓였다면 '온화' 한 태도로 사용자를 안심시켜야 한다.

응답 생성 모듈(300)에서는 시스템의 발화뿐 아니라 표정, 고갯짓, 태도, 손짓, 억양 등도 함께 출력한다. 응답 생성 모듈(300)의 출력은 이후 가상인간 출력 모듈(310)에서 사용된다.

가상인간 출력 모듈(310)은 응답 생성 모듈(300)이 결정한 태도와 발화를 기반으로 가상인간의 음성, 입모양, 몸짓 등을 출력한다.

구체적으로 가상인간 출력 모듈(310)에서는, 응답 생성 모듈에서 출력한 결과를 이용하여 가상인간을 표현하는데, 텍스트 형식의 발화를 음성 출력으로 출력하며, 음성 출력에 상응하는 입 모양 등을 영상으로 출력한다.

가상인간 출력 모듈(310)은 또한, 효과적인 감정 표현을 위해 눈, 눈썹, 입 모양, 고갯짓, 손 동작 등을 출력하며, 음성으로 감정을 표현하기 위해 억양 또한 표현 가능한다.

이와 같은 구성으로 이루어지는 본 발명에 따른 가상인간 상담 대화 장치는, 사용자에게 적절한 질문을 하고 사용자의 발화를 잘 이해하고 있음을 발화함으로써 확인받기도 한다. 또한 최종적으로 사용자의 감정이 어디서 어떻게 비롯되었는지를 이해하는 발화를 함으로써 사용자에게 감정적으로 이해를 받았다는 느낌을 준다.

도 2는 본 발명에 따른 대화 처리 모듈의 동작 순서를 도시한다.

대화 처리 모듈(220)에서는 발화 이해 모듈의 출력을 이용해 대화 전략을 선택한다. 대화 처리 모듈이 생성하는 대화 전략은 크게 4가지이다. 제1 전략은 잘 들어주기, 제2 전략은 질문하기, 제3 전략은 따라 말하기, 제4 전략은 감정 확인하기이다.

제1 전략인 잘 들어주기는 사용자와 눈을 맞추고, 사용자의 발화에 집중하고 있다는 인상을 주며 "응응 계속 얘기해봐", 혹은 "오 흥미롭다" 등의 반응을 하여 사용자에게 '듣고 있다' 혹은 '집중하고 있다' 라는 인상을 심어주기 위한 전략이다. 이러한 제1 전략은 대화 중간중간에 발현된다.

제 2 전략인 질문하기는 6하 원칙 슬롯에 얼마나 내용이 저장되어 있느냐에 따라 발현된다. 6하 원칙 슬롯은 사용자와의 상담을 통해 채워지는데, 만일 슬롯이 모두 차지 않아 빈 슬롯이 존재하는 경우, 그 슬롯에 대한 정보를 얻기 위한 질문을 한다. 이러한 질문은 응답 생성 모듈에서 생성되지만, 어떠한 슬롯에 대해 질문할지는 대화 처리 모듈에서 처리된다.

예를 들어, 강아지가 왜 죽었는지를 알기 위해서는 ask_why 식의 결과가 나올 것이다. 사용자가 어떠한 6하 원칙 슬롯의 정보를 포함하지 않는 발화, 예를 들어 '슬퍼' 등의 발화를 했을 경우에는 어떠한 6하 원칙 슬롯의 정보를 발화하도록 유도하기 위해 '무슨 일 있니?' 식의 질문을 선택한다.

제3 전략인 따라 말하기는 사용자로부터 시스템이 '듣고 있다', 혹은 '이야기를 잘 따라가고 있다' 라는 인식을 심어줌과 동시에 잘못 이해할 경우 사용자로부터 수정을 받기 위해 존재하는 전략이다. 따라 말하기 전략은 질문하기 이후에 사용자의 발화의 내용을 가지고 따라 말하는 발화를 생성한다. 대화 처리 모듈에서는 어떠한 슬롯 정보들을 조합하여 따라 말할 것인지에 대한 전략 또한 정보로 포함하여 출력한다. 예를 들어 '강아지가 교통사고로 죽었다'의 경우 '강아지가 죽었어?' 혹은 '교통사고로 죽었어?' 등의 슬롯의 조합에 따른 다양한 전략이 가능하기 때문이다.

제4 전략인 감정 확인하기 전략은 사용자의 발화 내 감정표현, 혹은 목소리, 몸짓, 표정 등을 통해 사용자의 감정을 파악하고, 6하 원칙 슬롯의 데이터를 이용하여 발화함으로서 사용자에게 공감을 얻어내기 위한 전략이다. 이는 또한, 사용자의 발화를 잘 이해했는지를 확인할 수 있는 전략이다. 이러한 전략은 6하 원칙 슬롯이 모두 데이터로 저장되어 있는 경우에 발현된다.

아래에서는, 상술한 바와 같은 전략을 토대로 대화 처리 모듈의 동작 순서를 도 2를 참조하여 설명한다.

대화 처리 모듈은 우선 발화 이해 모듈의 출력을 이용해 6하 원칙 중 빈 슬롯에 대해 감정을 유도하는 질문을 한다(S210). 이때의 질문은 예를 들어, "오늘 기분이 어때?" 등의 질문이 될 수 있다. 질문에 대한 사용자 입력을 수신하면(S220), 사용자의 감정을 탐지한 후 상황에 적절한 질문을 한다(S230). 예를 들어, '슬퍼'라고 사용자가 답한 경우 "무슨 일 있어?" 등의 질문을 통해 사용자로부터 추가 정보를 얻어내도록 한다.

다시. 질문에 대한 사용자 입력을 수신하면(S240), 사용자 입력이 6하 원칙에 잘 부합하는지 판단한다(S250).

사용자의 입력은 주로 사용자로부터의 발화의 형태로 나타나며, 이러한 사용자의 발화에 대해서는 제1 전략인 잘 들어주기(S200)와 같은 전략이 사용될 수 있다. 예를 들어, "응응, 계속해봐" 등의 추임새로 사용자가 추가적으로 말을 할 수 있는 분위기를 조성한다. 잘 들어주기 전략은 대화 전반에 걸쳐 사용자의 발화가 있을 때마다 수행될 수 있다.

한편, 사용자의 입력이 6하 원칙에 잘 부합하는 것으로 나타난 경우에는 따라 말하기(S260)를 수행한다. 예를 들어, 사용의 발화에 대해 "슬프구나", "어제 죽었구나"등의 형태로 따라 말함으로써 사용자에게 잘 이해하고 있음을 표현해 준다.

사용자의 입력이 6하 원칙에 잘 부합하지 않는 것으로 나타난 경우에는 추가 질문(S251)을 통해 추가로 사용자의 입력을 유도한다. 즉, 사용자가 6하 원칙에 어긋나게 "아, 슬퍼"라고 답한 경우, "강아지가 언제 죽었는데" 등의 추가 질문을 통해 사용자가 추가로 감정 표현을 할 수 있도록 유도한다.

이후, 사용자의 입력들을 토대로 6하 원칙 슬롯이 모두 찼는지 아직 비어 있는 슬롯이 있는지 확인한다(S270). 슬롯이 모두 차 있지 않은 경우에는, 빈 원칙과 관련하여 추가적으로 사용자에게 질문을 한다(S271). 예를 들어, "강아지가 언제 죽었는데?" 등으로 6하 원칙에 맞는 내용으로 답할 수 있도록 사용자를 유도한다.

한편, 6하 원칙 슬롯이 모두 찬 경우에는 최종적으로 사용자의 감정을 확인한다(S280). 예를 들어, "강아지가 차에 치여 죽어서 슬프겠구나" 등의 표현을 통해 사용자의 감정을 잘 이해했음을 정리하여 표현해 준다.

도 2의 각 단계에서 사용자에 의해 입력된 데이터 중 6하 원칙에 해당하는 정보, 예를 들어, "어제","강아지가", "횡단보도에서", "차에 치여", "죽었다", "운전자가 못 봤기 때문에" 등의 정보는, 해당 정보가 획득될 시마다 6하 원칙 슬롯에 저장된다.

도 3은 본 발명의 일 실시예에 따른 감정 탐지 모듈의 블록 구성도이다.

본 발명에 따른 감정 탐지 모듈(100)은 특징 추출 모듈(110), 특징 분석 모듈(120), 특징 합성 모듈(130), 감정 분석 모듈(140)을 포함하여 구성될 수 있다.

특징 추출 모듈(110)은 사용자의 비디오, 오디오 데이터에서 감정을 감지하는 데 도움이 될만한 특징을 데이터 값으로 추출해 낸다. 여기서 특징은, 예를 들어, 사람 얼굴의 좌표, 목소리의 주파수 등이 될 수 있다.

특징 분석 모듈(120)에서는 특징 추출 모듈(110)로부터 출력된 데이터 값을 이용하여 사용자가 어떠한 행동을 취했는지 분석한다. 예를 들어, 사람의 얼굴 위치의 좌표 값이 좌에서 우로 움직임이 포착되었다면 '고개를 좌우로 움직였다'로 분석한다.

특징 합성 모듈(130)은 특징 분석 모듈의 결과값을 이용하여 사용자의 감정을 감정 좌표 상에 표시하는 모듈이다. 사람의 감정을 좌표로 나타내었을 때, 현재 사용자의 감정이 어느 좌표에 위치하는지를 출력한다.

감정 분석 모듈(140)에서는 특징 합성 모듈에서 나온 감정의 좌표상의 데이터 및 음성 인식 모듈(200)로부터 출력되는 값을 이용하여 감정을 분석한다. 감정 분석 모듈(140)은 기준 감정들을 기준 좌표로 설정하고, 기준 좌표와 특징 합성 모듈에서 감지된 좌표와의 거리 중 가장 가까운 기준 감정으로 사용자의 감정을 분석하는 방법을 선택한다.

하지만, 감정 탐지 모듈(100)의 다른 실시예에 따르면, 사용자가 "슬퍼", 혹은 "화나" 등의 감정 키워드와 관련한 발화를 할 경우, 키워드만으로 감정 인식을 분명하게 할 수 있기 때문에 사용자의 발화에 감정적인 키워드가 있는지를 분석하고 사용자의 감정을 최종 결정할 수 있다.

이상 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

100: 감정 탐지 모듈 110: 특징 추출 모듈
120: 특징 분석 모듈 130: 특징 합성 모듈
140: 감정 분석 모듈 200: 음성 인식 모듈
210: 발화 이해 모듈 220: 대화 처리 모듈
300: 응답 생성 모듈 310: 가상 인간 출력 모듈
400: 대화 템플릿 데이터 베이스

Claims (20)

1. 발화된 음성을 인식하여 텍스트로 변환하는 음성 인식 모듈;
   사용자의 영상 또는 상기 음성 인식 모듈이 출력하는 사용자 음성 텍스트 로부터 사용자의 감정을 분석하는 감정 탐지 모듈;
   사용자의 발화 텍스트로부터 사용자 발화의 주행을 파악하여 발화 의도를 분석하고, 사용자의 감정의 원인이 되는 요인을 6하 원칙으로 분석하는 발화 이해 모듈; 및
   사용자 발화에서 분석한 주행과 6하 원칙 정보로부터 사용자에 대한 잘 들어주기 전략, 질문하기 전략, 따라 말하기 전략 및 감정 확인하기 전략 중 하나 이상을 포함하는 대화 전략을 선택하는 대화 처리 모듈을 포함하되,
   상기 감정 탐지 모듈은,
   상기 사용자의 영상 또는 상기 발화된 음성으로부터 사용자 얼굴의 움직임 좌표 값 및 사용자 목소리의 주파수 중 적어도 하나를 포함하는 특징을 데이터 값으로 추출하는 특징 추출 모듈;
   상기 추출된 데이터 값을 이용하여 상기 사용자의 감정을 분석하는 특징 분석 모듈;
   상기 분석된 사용자의 감정을 감정 좌표에 표시하는 특징 합성 모듈; 및
   하나 이상의 기준 감정들에 대해 미리 설정된 기준 좌표와 상기 감정 좌표의 거리를 비교하여 가장 가까운 거리에 위치하는 기준 좌표의 기준 감정을 상기 사용자의 감정으로 분석하는 감정 분석 모듈을 포함하고,
   상기 대화 처리 모듈은,
   상기 사용자 발화 시 상기 잘 들어주기 전략을 수행하고, 상기 사용자 발화가 상기 6하 원칙에 부합하는지 판단하여,
   상기 6하 원칙에 부합하는 경우, 상기 따라 말하기 전략 또는 상기 감정 확인하기 전략을 선택하고,
   상기 6하 원칙 정보를 저장하는 슬롯들 중 채워지지 않은 슬롯이 있어 상기 6하 원칙에 부합하지 않는 경우, 상기 질문하기 전략을 통해 상기 채워지지 않은 슬롯에 대한 추가 질문을 통해 사용자의 응답을 유도하는 것을 특징으로 하는 상담 대화 장치.
2. 청구항 1에 있어서,
   상기 대화 처리 모듈에 의해 선택된 대화 전략 및 상기 감정 탐지 모듈이 출력하는 사용자의 감정을 이용해 사용자에 대한 응답을 생성하는 응답 생성 모듈을 더 포함하는, 상담 대화 장치.
3. 청구항 2에 있어서,
   상기 응답 생성 모듈은,
   상기 대화 처리 모듈이 선택한 대화 전략과 상기 감정 탐지 모듈에 의해 분석된 사용자의 감정을 이용해 사용자에게 발화할 대화 템플릿을 선택하고 발화 태도를 생성하는, 상담 대화 장치.
4. 청구항 2에 있어서,
   상기 응답 생성 모듈에 의해 생성된 적어도 하나의 대화 템플릿 데이터를 저장하는 대화 템플릿 데이터베이스를 더 포함하는, 상담 대화 장치.
5. 청구항 2에 있어서,
   상기 응답 생성 모듈이 출력하는 결과를 이용해 가상 인간을 표현해 출력하는 가상인간 출력 모듈을 더 포함하는, 상담 대화 장치.
6. 삭제
7. 삭제
8. 청구항 1에 있어서,
   상기 감정 탐지 모듈은,
   사용자의 발화 텍스트 내에 존재하는 감정 키워드를 추출하여 사용자의 감정을 판단하는, 상담 대화 장치.
9. 삭제
10. 삭제
11. 발화된 음성을 인식하여 텍스트로 변환하는 음성 인식 단계;
    사용자의 영상 또는 상기 음성 인식 모듈이 출력하는 사용자 음성 텍스트 로부터 사용자의 감정을 분석하는 감정 탐지 단계;
    사용자의 발화 텍스트로부터 사용자 발화의 주행을 파악하여 발화 의도를 분석하고, 사용자의 감정의 원인이 되는 요인을 6하 원칙으로 분석하는 발화 이해 단계; 및
    사용자 발화에서 분석한 주행과 6하 원칙 정보로부터 사용자에 대한 잘 들어주기 전략, 질문하기 전략, 따라 말하기 전략 및 감정 확인하기 전략 중 하나 이상을 포함하는 대화 전략을 선택하는 대화 처리 단계를 포함하되,
    상기 감정 탐지 단계는,
    상기 사용자의 영상 또는 상기 발화된 음성으로부터 사용자 얼굴의 움직임 좌표 값 및 사용자 목소리의 주파수 중 적어도 하나를 포함하는 특징을 데이터 값으로 추출하는 단계;
    상기 추출된 데이터 값을 이용하여 상기 사용자의 감정을 분석하는 단계;
    상기 분석된 사용자의 감정을 감정 좌표에 표시하는 단계; 및
    하나 이상의 기준 감정들에 대해 미리 설정된 기준 좌표와 상기 감정 좌표의 거리를 비교하여 가장 가까운 거리에 위치하는 기준 좌표의 기준 감정을 상기 사용자의 감정으로 분석하는 단계를 포함하고,
    상기 대화 처리 단계는,
    상기 사용자 발화 시 상기 잘 들어주기 전략을 수행하고, 상기 사용자 발화가 상기 6하 원칙에 부합하는지 판단하여,
    상기 6하 원칙에 부합하는 경우, 상기 따라 말하기 전략 또는 상기 감정 확인하기 전략을 선택하고,
    상기 6하 원칙 정보를 저장하는 슬롯들 중 채워지지 않은 슬롯이 있어 상기 6하 원칙에 부합하지 않는 경우, 상기 질문하기 전략을 통해 상기 채워지지 않은 슬롯에 대한 추가 질문을 통해 사용자의 응답을 유도하는 것을 특징으로 하는 상담 대화 제공 방법.
12. 청구항 11에 있어서,
    상기 대화 처리 모듈에 의해 선택된 대화 전략 및 상기 감정 탐지 모듈이 출력하는 사용자의 감정을 이용해 사용자에 대한 응답을 생성하는 단계를 더 포함하는, 상담 대화 제공 방법.
13. 청구항 12에 있어서,
    상기 사용자에 대한 응답을 생성하는 단계는,
    선택된 대화 전략과 분석된 사용자의 감정을 이용해 사용자에게 발화할 대화 템플릿을 선택하고 발화 태도를 생성하는 단계를 포함하는, 상담 대화 제공 방법.
14. 청구항 13에 있어서,
    적어도 하나의 대화 템플릿 데이터를 저장하여 대화 템플릿 데이터베이스를 생성하는 단계를 더 포함하는, 상담 대화 제공 방법.
15. 청구항 12에 있어서,
    상기 사용자에 대한 응답을 이용해 가상 인간을 표현해 출력하는 단계를 더 포함하는, 상담 대화 제공 방법.
16. 삭제
17. 삭제
18. 청구항 11에 있어서,
    상기 감정 탐지 단계는,
    사용자의 발화 텍스트 내에 존재하는 감정 키워드를 추출하여 사용자의 감정을 판단하는 단계를 포함하는, 상담 대화 제공 방법.
19. 삭제
20. 삭제

Images