KR20040014123A - 가상인격체의 감정표현과 동작구현 시스템 및 그 방법 - Google Patents

가상인격체의 감정표현과 동작구현 시스템 및 그 방법 Download PDF

Info

Publication number
KR20040014123A
KR20040014123A KR1020020072102A KR20020072102A KR20040014123A KR 20040014123 A KR20040014123 A KR 20040014123A KR 1020020072102 A KR1020020072102 A KR 1020020072102A KR 20020072102 A KR20020072102 A KR 20020072102A KR 20040014123 A KR20040014123 A KR 20040014123A
Authority
KR
South Korea
Prior art keywords
emotion
emotional
analysis
action
virtual personality
Prior art date
Application number
KR1020020072102A
Other languages
English (en)
Other versions
KR101006191B1 (ko
Inventor
윤재민
Original Assignee
윤재민
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 윤재민 filed Critical 윤재민
Publication of KR20040014123A publication Critical patent/KR20040014123A/ko
Application granted granted Critical
Publication of KR101006191B1 publication Critical patent/KR101006191B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services

Abstract

1. 청구범위에 기재된 발명이 속하는 기술분야
본 발명은 가상인격체의 감정표현과 동작구현 시스템 및 그 방법과 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것임.
2. 발명이 해결하려고 하는 기술적 과제
본 발명은 입력되는 동작데이터나 자연어 데이터에 내포되어 있는 감정을 분석하고, 그 분석된 감정을 동작으로 표현하는 가상인격체를 구현하는, 가상인격체의 감정표현과 동작구현 시스템 및 그 방법과 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는데 그 목적이 있음.
3. 발명의 해결 방법의 요지
본 발명은, 가상인격체의 감정표현과 동작구현 시스템에 있어서, 외부로부터 동작데이터와 자연어데이터로 이루어진 데이터를 입력받기 위한 입력 수단; 퍼지 추론과 신경망 기법을 이용하여, 상기 입력데이터 중 동작데이터에 내포된 감정을 분석하고 감정의 강도를 계산하기 위한 뉴로퍼지 감정추론 수단; 상기 입력데이터 중 자연어데이터가 문서인지를 확인하여, 문서이면 중요한 문장을 추출하여 문장수준으로 변환하는 문서 요약을 수행하고, 문서가 아니면 상기 문서 요약을 수행하지 않고 단순히 출력하기 위한 문서요약 수단; 상기 문서요약 수단의 출력에 대하여 화행분석 및 의미분석을 수행하기 위한 자연어 분석 수단; 상기 자연어 분석 수단에 의한 화행분석결과와 의미분석결과를 이용하여, 상기 자연어데이터에 포함되어 있는 감정을 분석하고 감정의 강도를 계산하기 위한 감정 분석 수단; 상기 뉴로퍼지 감정추론 수단에 의하여 분석된 감정과 상기 감정 분석 수단에 의하여 분석된 감정을 상호 보정해서 취사 선택하기 위한 감정 선택추론 수단; 상기 감정 선택추론 수단에 의하여 취사선택된 감정을 바탕으로 하여 상기 입력데이터에 부합하는 동작을 분석하고, 상기 동작 분석결과를 이용하여 자연어데이터를 대상으로 상기 입력데이터에 부합하는 동작을 생성하기 위한 동작 분석/생성 수단; 상기 분석/계산된 감정 및 감정의 강도에 따라, 상기 동작 분석/생성 수단에 의하여 생성된 동작에 대응하는 가상인격체의 동작을 계획하기 위한 감정/동작 계획 수단; 사용자로부터 가상인격체의 특성정보를 입력받아, 상기 입력된 특성 정보에 부합하는 가상인격체를 생성하기 위한 영상정보 입력 수단; 상기 영상정보 입력 수단에 의하여 생성된 가상인격체에 상기 감정/동작 계획 수단의 동작 계획을 적용하여, 동적 가상인격체를 생성하기 위한 영상정보와 감정/동작 합성 수단; 및 상기 영상정보와 감정/동작 합성 수단에 의하여 생성된 동적 가상인격체를 영상으로 출력하기 위한 제 1 통합 출력 수단을 포함함.
4. 발명의 중요한 용도
본 발명은 가상인격체의 감정표현과 동작구현 등에 이용됨.

Description

가상인격체의 감정표현과 동작구현 시스템 및 그 방법{Emotion and Motion Extracting System of Virtual Human and its Method}
본 발명은 가상인격체의 감정표현과 동작구현 시스템에 관한 것으로서, 더욱 상세하게는 입력되는 동작데이터나 자연어 데이터에 내포되어 있는 감정을 분석하고, 그 분석된 감정을 동작으로 표현하는 가상인격체를 구현하는, 가상인격체의 감정표현과 동작구현 시스템 및 그 방법과 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것이다.
인간은 오랫동안 기계에다 인간의 감정과 정신, 그리고 능력을 실현시키는 세상을 꿈꿔왔다. 인간과 동일하거나 더 뛰어난 지능을 소유하면서 인간 대신 힘든 일을 하고, 인간의 삶을 윤택하게 해 줄 가상인격체는 아마 멀지 않은 미래에 실현될 것이다.
본 발명에서는 아바타나 캐릭터, 로보트 등으로 실현될 인간과 동일한 지능을 가진 가상인격체를 구현하는 선행연구로서, 먼저 인간의 동작과 제스처, 음성, 자연어 입력문장 등으로부터 감정과 동작을 생성하고, 이 결과를 이용해서 자연스러운 감정표현과 동작을 완벽하게 재현할 수 있는 가상인격체를 구현하는데 초점을 두고 있다. 이러한 모방은 단순히 동작과 제스처, 음성 등을 복제하는 것이 아니라, 인간의 동작과 제스처, 음성, 자연어 입력문장 등에 내재되어 있는 감정을 추출해서, 인간과 동일한 감정을 가진 가상인격체가 동작과 제스처를 하면서 음성이나 자연어 출력문장 등으로 표현하는 창조적 모방을 말한다.
그러나, 인간이나 가상인격체의 동작과 제스처, 음성이나 자연어 입력문장을 통하여 기계적으로 컴퓨터가 인간이나 가상인격체가 전달하고 싶은 감정을 분석한다는 것은 정말 난해한 문제이다. 그리고, 특별히 인간은 말할 때, 제스처와 몸짓을 병행하는데, 이때, 제스처나 몸짓, 음성 중 어느 하나만으로 인간의 감정을 분석한다면 분석된 결과가 의심스러울 것은 당연하다. 따라서, 인간의 제스처나 몸짓과 음성은 서로 별개의 존재가 아니라 끊임없이 상호작용하면서 인간이 말하고자 하는 목적을 전달하는 역할을 하기 때문에 인간의 감정분석이라는 화두는 인간의 제스처나 몸짓, 음성을 서로 유기적으로 통합하여 분석해야 한다는 것을 알 수 있다.
그러나, 음성이나 자연어 문장만 단독으로 입력될 때는, 부득불 음성이나 자연어 문장만으로 감정을 분석하고 동작으로 구현해야 할 필요성도 있다. 따라서, 동작과 제스처, 음성이나 자연어 입력문장이 개별적으로 입력될 때에는 통합적으로 분석할 필요성이 있게 된다.
인간의 동작과 제스처를 화상정보나 공간위치정보, 센서입력 등을 통하여 분석하거나 자연스럽게 구현하는 기술은 현재까지 개발 중에 있고, 앞으로도 많은 시간이 지나야 해결될 문제이다. 그리고 인간의 음성을 자연어 문장이나 문서로 변환하는 음성인식 기술도 아직 연구단계에 있고, 상업적인 이용은 단어레벨의 음성인식만 조금 지원되는 수준이다. 그러나, 음성합성 기술은 음성인식 기술에 비해 기술적으로 구현하기가 쉬워서 상업적으로 많이 이용되고 있는 기술이다.
자연어 입력문장을 통해서 가상인격체의 동작과 제스처로 구현하는 연구는 현재 미국 MIT 미디어 연구소에서 선도적으로 연구하고 있지만, 자연어 입력문장에서 감정을 분석하여, 가상인격체의 동작과 제스처를 표현할 때, 감정에 기반한 얼굴표정, 감정에 기반한 동작과 제스처 생성에 대한 연구는 아직 없다.
따라서, 본 발명이 추구하는 바와 같이, '어떻게 인간이나 가상인격체의 동작과 제스처, 음성 등을 효과적으로 인식하거나 구현할 것인가'가 아니라, 인간이나 가상인격체의 동작과 제스처, 음성 등을 인식하거나 구현하는 기술이 거의 완벽하다고 가정하고, 인식된 결과에 해당하는 동작과 제스처의 상세정보, 음성인식에 의해 음성을 자연어로 변환시킨 문장과 순수한 자연어 입력문장 등을 입력 데이터로 받아서 감정과 동작을 분석하고, 분석된 정보를 바탕으로 가상인격체가 인간의 감정을 유지하면서, 동작과 제스처, 음성 등으로 즉시 구현할 수 있는 통합적인 방법이 절실히 요구된다.
현재, 가상 인격체의 하나인 아바타를 이용해서 감정을 표현하는 종래의 기술에는 공개특허 제01-25161호(2001. 04. 06), 공개특허 제02-42248호(2002. 06. 05)와 공개특허 제01-34987호(2001. 05. 07)가 있다.
공개특허 제01-25161호(2001. 04. 06)는 감정처리가 가능한 아바타를 구현하기 위해서 감정 처리 데이터에 기반한 자연언어를 해석하고, 그 패턴을 분석하여, 표정 및 립싱크 데이터를 조합한 후, 실시간 렌더링을 수행하여 아바타를 디스플레이하고 있다. 그러나 어떠한 방법에 의해서 감정처리 데이터를 기반으로 자연언어를 해석하였는지, 그리고 어떻게 자연언어의 패턴을 분석하는지 분명히 설명하지 못하고 있으며, 또한 자연언어를 해석하고 자연언어의 패턴을 분석한 후, 어떤 식으로 표정 및 립싱크 데이터를 조합할 것인가에 대한 설명도 미흡하다는 문제점이 있다.
한편, 공개특허 제02-42248호(2002. 06. 05)는 샘플문장마다 감정코드를 부여하고 새롭게 입력되는 문장의 감정을 계산하기 위해서 이전에 샘플문장과 얼마나 유사한지를 확률로 계산하여 새롭게 입력되는 문장의 감정을 계산하는 방법을 제안하였고 있는데, 다음과 같은 문제점이 있다.
첫째, 단순히 어절분석 레벨에서 확률을 이용한 것으로서, 감정단어와 화행간의 관계, 감정단어와 감정을 느끼는 심리적인 주체인 경험주 (Experiencer)와의 관계를 어떻게 분석할 것인가에 대한 언급 없이, 문장에 나타난 어절만으로 그 문장이 나타내는 감정을 분석하는 것은 상식적으로 생각할 수 없다는 문제점이 있다.
둘째, 자연어로 구성될 수 있는 문장조합이 무한대이므로 샘플문장마다 감정을 부여하는 것이 불가능하고, 수백 개에서 수천 개의 샘플문장에 감정을 부여했다 하더라도, 입력으로 들어오는 문장이 샘플문장과 유사하지 않으면 의미적으로는 같은 감정이지만 다른 감정이 할당되거나 아예 감정이 부여되지 않는 오류가 발생할 수 있다는 문제점이 있다.
셋째, 자연어 처리에서 형태소분석을 하는 이유는 유사도 계산이나 확률 계산시 단어의 원형을 유추함으로써, 계산 빈도를 줄여주고, 단어의미 애매성을 줄이기 위해서 이용되는데, 공개특허 제02-42248호(2002. 06. 05)는 형태소분석을 하지 않고, 어절 단위로 문장을 분리해서 확률계산에 이용하는 바, 정통적인 자연어처리 기술에 역행하면서, 많은 시스템메모리 소모와 계산속도 지연을 유발하게 된다는 문제점이 있다.
예 1) 우와 장난 아니군. [감정:놀람] [공개특허 제02-42248호]
예 2) 우와 장난이 아니군. [감정:놀람]
예 3) 우와 장난이 아니네. [감정:놀람]
예 4) 우와 장난이 아닌데. [감정:놀람]
예 5) 우와와 장난이 아니지. [감정:놀람]
예 6) 우와와 장난이 아냐. [감정:놀람]
예제로 인용한 예 2) ~ 예 6)는 예 1)과 같은 감정을 나타내는 문장이지만, 상기 선행기술의 방식을 따르면, 형태소 분석을 하지 않고 어절단위로 계산하기 때문에, 사전에 [우와, 우와와, 장난, 장난이, 아니군, 아니네, 아닌데, 아니지, 아냐, …등]등의 어절 정보를 모두 넣어주어야 하기 때문에 상기 선행기술의 확률계산용 단어사전의 용량이 기하급수적으로 늘어나고, 따라서, 엄청난 메모리 소모와 계산속도의 지연을 가져올 수 있다.
여기서, 형태소 분석이 선행된다면, 예제로 인용한 예 1) ~ 예 6)은 각 단어의 원형만 사전에 저장되어 있으면 되므로, 사전에는 [우와, 장난, 아니]라는 정보만 있으면 된다.
넷째, 가장 치명적인 문제점은 텍스트의 입력내용을 의미적으로 분석하지 않고 단순하게 입력문장에 포함되는 어절의 확률정보만 이용하여 감정을 계산하기 때문에 다음과 같은 중대한 결함을 안고 있다는 것이다.
예를 들면, 화자와 청자의 쌍방대화시 화자의 입력문장이 '너, 어제 영화가 재미있었니?'일 경우, 상기 방법을 따르면, 감정을 표현하는 어절인 '재미있었니'에 해당하는 확률값에 의해서 캐릭터가 '재미' 라는 감정을 표현해야 하므로, 화자의 캐릭터가 웃는 표정이나 동작을 하게 된다. 이러한 결과는 화자가 청자에게 '너, 어제 영화가 재미있었니?'라고 질문하면서 화자가 소유한 캐릭터의 표정이나행동이 화자의 입력내용과 전혀 상관없는 태도를 보여준다.
즉, 감정을 느끼는 경험주가 누구인지도 분석하지 않고, 입력문장의 어절만 보고 감정을 부여하면, 그 감정이 누구의 감정을 표현하는 것인지 모르게 된다는 것이다. 이러한, 예는 동작분석적인 측면에서도 똑 같이 적용될 수 있는데, '아, 졸려'라고 한다면, 화자의 캐릭터가 조는 행동을 취하지만, '너, 졸리니?, 너 지금 졸고 있네.'라고 해도 화자의 캐릭터가 조는 행동을 취하게 되는 심각한 오류가 발생한다. 따라서, 인간의 감정분석은 의미분석 레벨에까지 심층적으로 분석하지 않으면, 거의 제대로 된 감정을 분석할 수 없게 된다.
또한, 공개특허 제01-34987호(2001. 05. 07)는 전자우편(E-mail)의 송수신 또는 대화(Chatting)를 함에 있어서, 문자와 연동하여 움직이는 캐릭터를 이용하여 문자와 더불어 동적캐릭터를 송수신하여 수신자가 문자를 읽는 동안 캐릭터가 그 문자 또는 문단의 의미에 맞추어 움직이게 하거나, 양방향 대화시 입력하는 문자 또는 문단의 의미에 따라 캐릭터를 움직이게 하는 방법에 관한 것이다. 이 방법의 핵심적인 내용은 텍스트의 입력내용 중 감정을 표현하는 문자를 분류하여 군(群)으로 나누고, 각 군에 연동하는 캐릭터의 표정, 행동들을 생성하여 데이터베이스화하여, 각 문자가 속하는 군 별로 캐릭터가 움직이게 하는 것이다.
그러나, 이 방법의 핵심적인 내용에서 텍스트의 입력내용 중 감정을 표현하는 문자를 분류하여 군(群)으로 나누는 부분은 인간의 감정을 나타내는 단어는 천차만별하고, 그 정도도 다양한데, 하나의 문자가 어느 감정에 속하는지 틀을 정해서 이것을 모두 일괄적으로 군으로 나눈다는 것은 많은 문제점을 가지고 있고, 또한 하나의 문장에서 감정을 나타내는 단어가 여러 개 있을 경우, 어느 감정을 우선해서 선택할지도 모호하게 된다는 문제점이 있다.
또한, 공개특허 제01-34987호(2001. 05. 07)가 내포하고 있는 문제는 텍스트의 입력내용을 의미적으로 분석하지 않고 단순하게 입력내용에 포함되는 어떤 문자에 해당하는 캐릭터의 표정, 행동을 생성하는 것으로서 다음과 같은 중대한 문제점을 안고 있다.
예를 들면, 감정분석적인 측면에서, 화자와 청자의 쌍방대화시 화자의 입력내용이 '어제 영화가 재미있었니?'일 경우, 상기 방법을 따르면, 감정을 표현하는 단어인 '재미'에 해당하는 캐릭터의 감정이 생성되므로, 화자의 캐릭터가 웃는 표정이나 동작을 하게 된다. 이러한 결과는 화자가 청자에게 '어제 영화가 재미있었니?'라고 질문하면서 화자가 소유한 캐릭터의 표정이나 행동이 화자의 입력내용과 전혀 상관없는 태도를 보여준다.
또한, 동작분석적인 측면에서, 화자와 청자의 쌍방대화시 화자의 입력내용이 '너는 어제 어디 갔었니?'일 경우, 상기방법을 따르면, 동작을 표현하는 단어인 '가다'에 해당하는 캐릭터의 동작이 생성되므로, 화자의 캐릭터가 걷고 있는 동작을 하게 된다. 그러나 입력내용인 '너는 어제 어디 갔었니?'는 청자가 어제 한 행동을 묻는 것이므로 화자의 캐릭터가 동작을 표현하는 것은 입력문장의 의미를 제대로 분석하지 않고 문자만 보고 패턴 매칭하였기 때문이다.
또한, 공개특허 제01-34987호(2001. 05. 07)가 제안하고 있는 방법론에 따르면 하나의 문장에서 주어가 두개 오는 이중주격 문장에서는 동작이나 감정의 주체를 구분할 수 없는 단점이 있다. 이중 주격 문장이란 주어 표지가 붙을 수 있는 체언이 적어도 2개 이상인 문장으로서 겹주격 문장이라고도 하는데 다음과 같은 예문을 통해서 문제점을 알 수 있다.
가. 철수는 영희가 좋다.
나. 영희가 철수는 좋다.
다. 철수가 영희가 좋다.
이상과 같은 문장은 단순히 주어표지만 보면 좋아하는 주체가 누구인지 구문적으로 알 수 없는데, 이런 문제는 의미분석을 통해서 해결할 수 있다.
또한, 인간이 문자를 이용해서 양방향 대화시 단순히 그때, 그때 입력되는 문장에서 감정을 표현하는 문자만 추출하여 데이터 베이스화 되어 있는 캐릭터의 표정을 출력하기 때문에, 화행이 변동되는 시점에서 문장에 출력되지 않는 감정은 추적하지 못하고, 직접 감정을 표현하는 문자가 아닌 인간의 신체 부위나 생리적인 상태를 이용해서 은유적으로 표현할 때는 감정을 추출하지 못한다는 문제점이 있다.
예를 들면, 화행분석적인 측면에서는, 화자의 화행이 '죄송합니다' (Apologize)일 경우, 청자가 어떻게 대응하느냐에 따라 화자의 감정이 변화된다. 즉, 상기 화자의 사과에 대해 청자가 거절(Rejection)하면 화자의 감정은 자신의 사과를 거절하므로 화(Anger)가 날 것이다. 그리고, 화자가 사과할 때, 청자가 사과를 받아들이면 화자는 감정적으로 안도(Relief)하게 될 것이다. 또한, 신체부위나 생리적인 상태를 이용한 감정표현 측면에서는, 인간은 대부분 직접 감정을 표현하는 단어를 사용하기 보다는 은유적으로 표현하는 경우가 많고, 이럴 경우 인간의 신체 부위나 생리적인 상태를 이용해서 표현한다. 즉, 청자가'가슴이 찢어지다'라고 말할 때는 동사인'찢어지다'만 보면 청자의 감정을 헤아릴 수 없다. 따라서, 인간의 신체 부위나 생리적인 상태를 이용해서 은유적으로 어떻게 감정을 표현하는가에 대해서도 연구가 선행되어야 한다.
상기 입력내용들은 대화체 문장 뿐만 아니고 모든 종류의 텍스트에 나타날 수 있는 문장 유형이므로 공개특허 제01-34987호(2001. 05. 07)가 가진 치명적인 문제점이라고 할 수 있다.
본 발명은, 상기와 같은 문제점을 해결하기 위하여 안출된 것으로, 입력되는 동작데이터나 자연어 데이터에 내포되어 있는 감정을 분석하고, 그 분석된 감정을 동작으로 표현하는 가상인격체를 구현하는, 가상인격체의 감정표현과 동작구현 시스템 및 그 방법과 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는데 그 목적이 있다.
도 1 은 본 발명에 따른 가상인격체의 감정표현과 동작구현 시스템 및 그 방법에 대한 일실시예 설명도.
도 2 는 본 발명에 따른 도 1 의 뉴로퍼지 감정추론 장치의 일실시예 구성도.
도 3 은 본 발명에 따른 도 2 의 신경회로망의 다층퍼셉트론의 계층 구조도.
도 4 는 본 발명에 따른 도 2 의 신경회로망에 적용되는 역전파 학습 방법에 대한 일실시예 흐름도.
도 5 는 본 발명에 따른 도 1 의 화행분석부의 화행 전이 다이어그램의 예시도.
도 6 은 본 발명에 따른 도 1 의 화행분석부의 화행에 따른 감정의 전이를 나타내는 감정 전이 다이어그램의 예시도.
도 7 은 본 발명에 따른 도 1 의 감정분석 장치에서의 효과적인 감정 분석을 위한 3차원 감정공간에 대한 예시도.
도 8 은 본 발명에 따른 도 1 의 동작 분석/생성 장치의 일실시예 구성도.
도 9 은 본 발명에 따른 도 8 의 동작 분석부에서의 동작분석 결과를 트리구조로 나타낸 계층도.
도 10 은 본 발명에 따른 도 8 의 동작 생성부에서의 동작생성 결과를 트리구조로 나타낸 계층도.
도 11 은 본 발명에 따른 도 1 의 영상정보 입력 장치에 적용되는 영상정보 입력 방법에 대한 일실시예 흐름도.
도 12 는 본 발명에 따른 도 1 의 영상정보와 감정/동작 합성 장치의 일실시예 구성도.
도 13 은 본 발명에 따른 도 1 의 배경 생성 장치의 일실시예 구성도.
도 14 는 본 발명에 따른 도 1 의 배경 생성 장치에서 2차원(2D) 배경 화면과 가상인격체을 중첩하여 표현한 화면 구성도.
도 15 는 본 발명에 따른 도 1 의 배경 생성 장치에서 2차원(2D) /3차원(3D) 가상환경에 가상인격체를 삽입하여 표현한 화면구성도.
도 16 은 본 발명에 따른 도 1 의 통합 출력 장치의 일실시예 구성도.
도 17a 및 도 17b 는 본 발명에 따른 감정에 따른 가상인격체(캐릭터)의 표정에 대한 예시도.
도 18 은 본 발명에 따른 화행의 일종인 인사(Greeting)에 대한 가상인격체의 연속적인 동작표현에 대한 예시도.
도 19 는 본 발명에 따른 화행의 일종인 수용(Acceptance)에 대한 가상인격체의 연속적인 동작표현에 대한 예시도.
도 20 은 본 발명에 따른 자연어 입력문장에 대하여 감정기반 얼굴표정, 제스처, 및 동작에 대한 일실시예 설명도.
도 21 은 본 발명이 적용되는 2차원(2D) 채팅 서비스와 종래의 채팅 서비스(세이클럽에서 제공하는 채팅 서비스)와의 비교 설명도.
도 22 내지 도 24 는 본 발명이 적용되는 2차원 아바타 채팅서비스에서 작동하고 있는 감정/동작 분석 엔진의 출력에 대한 일실시예 설명도.
*도면의 주요부분의 부호 설명
100: 데이터 입력 장치 104: 뉴로퍼지 감정추론 장치
106: 문서 요약 장치 112: 자연어 분석 장치
118: 감정 분석 장치 124: 감정 선택추론 장치
132: 동작 분석/생성 장치 138: 감정/동작 계획 장치
140: 영상정보 입력 장치 142: 영상정보와 간정/동작 합성 장치
144: 배경 생성 장치 146: 통합 출력 장치
본 발명은, 상기와 같은 문제점을 해결하기 위하여 제안된 것으로, 가상인격체의 감정표현과 동작구현 시스템에 있어서, 외부로부터 동작데이터를 입력받기 위한 입력 수단; 퍼지 추론과 신경망 기법을 이용하여 상기 입력된 동작데이터에 내포된 감정을 분석하고 감정의 강도를 계산하기 위한 뉴로퍼지 감정추론 수단; 상기 분석/계산된 감정 및 감정의 강도에 따라, 상기 입력된 동작데이터에 대응하는 가상인격체의 동작을 계획하기 위한 감정/동작 계획 수단; 사용자로부터 가상인격체 영상에 대한 특성정보를 입력받아, 상기 입력된 특성정보에 부합하는 가상인격체를 생성하기 위한 영상정보 입력 수단; 상기 영상정보 입력 수단에 의하여 생성된 가상인격체에 상기 감정/동작 계획 수단의 동작 계획을 적용하여 동적 가상인격체를 생성하기 위한 영상정보와 감정/동작 합성 수단; 및 상기 영상정보와 감정/동작 합성 수단에 의하여 생성된 동적 가상인격체를 영상으로 출력하기 위한 제 1 통합 출력 수단을 포함한다.
또한, 상기 본 발명의 시스템은, 상기 제 1 통합 출력 수단의 영상 출력에 대응하는 음성과 텍스트를 출력하기 위한 제 2 통합 출력 수단을 더 포함한다.
한편, 본 발명은, 가상인격체의 감정표현과 동작구현 시스템에 있어서, 외부로부터 자연어데이터를 입력받기 위한 입력 수단; 상기 입력된 자연어데이터가 문서인지를 확인하여, 문서이면 중요한 문장을 추출하여 문장수준으로 변환하는 문서 요약을 수행하고, 문서가 아니면 상기 문서 요약을 수행하지 않고 단순히 출력하기 위한 문서요약 수단; 상기 문서요약 수단의 출력에 대하여 화행분석 및 의미분석을 수행하기 위한 자연어 분석 수단; 상기 자연어 분석 수단에 의한 화행분석결과와 의미분석결과를 이용하여, 상기 입력된 자연어데이터에 포함되어 있는 감정을 분석하고 감정의 강도를 계산하기 위한 감정 분석 수단; 상기 감정 분석 수단에 의하여분석된 감정을 바탕으로 하여 상기 입력된 자연어데이터에 포함되어 있는 동작을 분석하고, 상기 동작 분석결과를 이용하여 상기 입력된 자연데이터에 부합하는 동작을 생성하기 위한 동작 분석/생성 수단; 상기 분석/계산된 감정 및 감정의 강도에 따라, 상기 동작 분석/생성 수단에 의하여 생성된 동작에 대응하는 가상인격체의 동작을 계획하기 위한 감정/동작 계획 수단; 사용자로부터 가상인격체의 특성정보를 입력받아, 상기 입력된 특성 정보에 부합하는 가상인격체를 생성하기 위한 영상정보 입력 수단; 상기 영상정보 입력 수단에 의하여 생성된 가상인격체에 상기 감정/동작 계획 수단의 동작 계획을 적용하여, 동적 가상인격체를 생성하기 위한 영상정보와 감정/동작 합성 수단; 및 상기 영상정보와 감정/동작 합성 수단에 의하여 생성된 동적 가상인격체를 영상으로 출력하기 위한 제 1 통합 출력 수단을 포함한다.
또한, 상기 본 발명의 시스템은, 상기 자연어 분석 수단에 의하여 분석된 의미정보에 해당하는 배경 화면과 상기 동적 가상인격체를 결합하고, 상기 의미정보의 변화에 따라 배경 화면을 변동시키기 위한 배경 생성 수단; 및 상기 제 1 통합 출력 수단과 상기 배경 생성 수단의 영상 출력에 대응하는 음성과 텍스트를 출력하기 위한 제 2 통합 출력 수단을 더 포함한다.
한편, 본 발명은, 가상인격체의 감정표현과 동작구현 시스템에 있어서, 외부로부터 동작데이터와 자연어데이터로 이루어진 데이터를 입력받기 위한 입력 수단; 퍼지 추론과 신경망 기법을 이용하여, 상기 입력데이터 중 동작데이터에 내포된 감정을 분석하고 감정의 강도를 계산하기 위한 뉴로퍼지 감정추론 수단; 상기 입력데이터 중 자연어데이터가 문서인지를 확인하여, 문서이면 중요한 문장을 추출하여 문장수준으로 변환하는 문서 요약을 수행하고, 문서가 아니면 상기 문서 요약을 수행하지 않고 단순히 출력하기 위한 문서요약 수단; 상기 문서요약 수단의 출력에 대하여 화행분석 및 의미분석을 수행하기 위한 자연어 분석 수단; 상기 자연어 분석 수단에 의한 화행분석결과와 의미분석결과를 이용하여, 상기 자연어데이터에 포함되어 있는 감정을 분석하고 감정의 강도를 계산하기 위한 감정 분석 수단; 상기 뉴로퍼지 감정추론 수단에 의하여 분석된 감정과 상기 감정 분석 수단에 의하여 분석된 감정을 상호 보정해서 취사선택하기 위한 감정 선택추론 수단; 상기 감정 선택추론 수단에 의하여 취사선택된 감정을 바탕으로 하여 상기 입력데이터에 부합하는 동작을 분석하고, 상기 동작 분석결과를 이용하여 자연어데이터를 대상으로 상기 입력데이터에 부합하는 동작을 생성하기 위한 동작 분석/생성 수단; 상기 분석/계산된 감정 및 감정의 강도에 따라, 상기 동작 분석/생성 수단에 의하여 생성된 동작에 대응하는 가상인격체의 동작을 계획하기 위한 감정/동작 계획 수단; 사용자로부터 가상인격체의 특성정보를 입력받아, 상기 입력된 특성 정보에 부합하는 가상인격체를 생성하기 위한 영상정보 입력 수단; 상기 영상정보 입력 수단에 의하여 생성된 가상인격체에 상기 감정/동작 계획 수단의 동작 계획을 적용하여, 동적 가상인격체를 생성하기 위한 영상정보와 감정/동작 합성 수단; 및 상기 영상정보와 감정/동작 합성 수단에 의하여 생성된 동적 가상인격체를 영상으로 출력하기 위한 제 1 통합 출력 수단을 포함한다.
또한, 상기 본 발명의 시스템은, 상기 자연어 분석 수단에 의하여 분석된 의미정보에 해당하는 배경 화면과 상기 동적 가상인격체를 결합하고, 상기 의미정보의 변화에 따라 배경 화면을 변동시키기 위한 배경 생성 수단; 및 상기 제 1 통합 출력 수단과 상기 배경 생성 수단의 영상 출력에 대응하는 음성과 텍스트를 출력하기 위한 제 2 통합 출력 수단을 더 포함한다.
한편, 본 발명은, 가상인격체의 감정표현과 동작구현 시스템에 적용되는 가상인격체의 감정표현과 동작구현 방법에 있어서, 입력 수단이 외부로부터 동작데이터를 입력받는 제 1 단계; 뉴로퍼지 감정추론 수단이 퍼지 추론과 신경망 기법을 이용하여 상기 입력된 동작데이터에 내포된 감정을 분석하고 감정의 강도를 계산하는 제 2 단계; 감정/동작 계획 수단이 상기 제 2 단계에서 분석/계산된 감정 및 감정의 강도에 따라, 상기 입력된 동작데이터에 대응하는 가상인격체의 동작을 계획하는 제 3 단계; 영상정보 입력 수단이 사용자로부터 가상인격체 영상에 대한 특성정보를 입력받아, 상기 입력된 특성정보에 부합하는 가상인격체를 생성하는 제 4 단계; 영상정보와 감정/동작 합성 수단이, 상기 제 4 단계에서 생성된 가상인격체에 상기 제 3 단계의 동작 계획을 적용하여 동적 가상인격체를 생성하는 제 5 단계; 및 제 1 통합 출력 수단이, 상기 제 5 단계에서 생성된 동적 가상인격체를 영상으로 출력하는 제 6 단계를 포함한다.
또한, 상기 본 발명의 방법은, 제 2 통합 출력 수단이, 상기 제 1 통합 출력 수단의 영상 출력에 대응하는 음성과 텍스트를 출력하는 제 7 단계를 더 포함한다.
한편, 본 발명은, 가상인격체의 감정표현과 동작구현 시스템에 적용되는 가상인격체의 감정표현과 동작구현 방법에 있어서, 입력 수단이 외부로부터 자연어데이터를 입력받는 제 1 단계; 문서요약 수단이, 상기 입력된 자연어데이터가 문서인지를 확인하여, 문서이면 중요한 문장을 추출하여 문장수준으로 변환하는 문서 요약을 수행하고, 문서가 아니면 상기 문서 요약을 수행하지 않고 단순히 출력하는 제 2 단계; 자연어 분석 수단이 상기 제 2 단계의 문서요약 수단의 출력에 대하여 화행분석 및 의미분석을 수행하는 제 3 단계; 감정 분석 수단이, 상기 제 2 단계의 화행분석결과와 의미분석결과를 이용하여 상기 입력된 자연어데이터에 포함되어 있는 감정을 분석하고 감정의 강도를 계산하는 제 4 단계; 동작 분석/생성 수단이, 상기 제 4 단계에서 분석된 감정을 바탕으로 하여 상기 입력된 자연어데이터에 포함되어 있는 동작을 분석하고, 상기 동작 분석결과를 이용하여 상기 입력된 자연데이터에 부합하는 동작을 생성하는 제 5 단계; 감정/동작 계획 수단이, 상기 제 4 단계에서 분석/계산된 감정 및 감정의 강도에 따라, 상기 동작 분석/생성 수단에 의하여 생성된 동작에 대응하는 가상인격체의 동작을 계획하는 제 6 단계; 영상정보 입력 수단이 사용자로부터 가상인격체의 특성정보를 입력받아, 상기 입력된 특성 정보에 부합하는 가상인격체를 생성하는 제 7 단계; 영상정보와 감정/동작 합성 수단이 상기 제 7 단계에서 생성된 가상인격체에 상기 제 6 단계의 동작 계획을 적용하여, 동적 가상인격체를 생성하는 제 8 단계; 및 제 1 통합 출력 수단이 상기 제 8 단계에서 생성된 동적 가상인격체를 영상으로 출력하는 제 9 단계를 포함한다.
또한, 상기 본 발명의 방법은, 배경 생성 수단이, 상기 제 3 단계에서 분석된 의미정보에 해당하는 배경 화면과 상기 동적 가상인격체를 결합하고, 상기 의미정보의 변화에 따라 배경 화면을 변동시키는 제 10 단계 ; 및 제 2 통합 출력 수단이, 상기 제 9 단계의 제 1 통합 출력 수단과 상기 제 10 단계의 배경 생성 수단의 영상 출력에 대응하는 음성과 텍스트를 출력하는 제 11 단계를 더 포함한다.
한편, 본 발명은, 가상인격체의 감정표현과 동작구현 시스템에 적용되는 가상인격체의 감정표현과 동작구현 방법에 있어서, 입력 수단이 외부로부터 동작데이터와 자연어데이터로 이루어진 데이터를 입력받는 제 1 단계; 뉴로퍼지 감정추론 수단이, 퍼지 추론과 신경망 기법을 이용하여, 상기 입력데이터 중 동작데이터에 내포된 감정을 분석하고 감정의 강도를 계산하는 제 2 단계; 문서요약 수단이, 상기 입력데이터 중 자연어데이터가 문서인지를 확인하여, 문서이면 중요한 문장을 추출하여 문장수준으로 변환하는 문서 요약을 수행하고, 문서가 아니면 상기 문서 요약을 수행하지 않고 단순히 출력하는 제 3 단계; 자연어 분석 수단이 상기 제 2 단계의 문서요약 수단의 출력에 대하여 화행분석 및 의미분석을 수행하는 제 4 단계; 감정 분석 수단이 상기 제 4 단계에서 수행된 화행분석결과와 의미분석결과를 이용하여, 상기 자연어데이터에 포함되어 있는 감정을 분석하고 감정의 강도를 계산하는 제 5 단계; 감정 선택추론 수단이, 상기 제 2 단계에서 뉴로퍼지 감정추론 수단에 의하여 분석된 감정과 상기 제 5 단계에서 감정 분석 수단에 의하여 분석된 감정을 상호 보정해서 취사선택하는 제 6 단계; 동작 분석/생성 수단이, 상기 제 6 단계에서 취사선택된 감정을 바탕으로 하여 상기 입력데이터에 부합하는 동작을 분석하고, 상기 동작 분석결과를 이용하여 자연어데이터를 대상으로 상기 입력데이터에 부합하는 동작을 생성하는 제 7 단계; 감정/동작 계획 수단이, 상기 분석/계산된 감정 및 감정의 강도에 따라, 상기 동작 분석/생성 수단에 의하여 생성된 동작에 대응하는 가상인격체의 동작을 계획하는 제 8 단계; 영상정보 입력 수단이 사용자로부터 가상인격체의 특성정보를 입력받아, 상기 입력된 특성 정보에 부합하는 가상인격체를 생성하는 제 9 단계; 영상정보와 감정/동작 합성 수단이 상기 제 9 단계에서 생성된 가상인격체에 상기 제 8 단계의 동작 계획을 적용하여, 동적 가상인격체를 생성하는 제 10 단계; 및 제 1 통합 출력 수단이 상기 제 10 단계에서 생성된 동적 가상인격체를 영상으로 출력하는 제 11 단계를 포함한다.
또한, 상기 본 발명의 방법은, 배경 생성 수단이, 상기 제 4 단계에서 분석된 의미정보에 해당하는 배경 화면과 상기 동적 가상인격체를 결합하고, 상기 의미정보의 변화에 따라 배경 화면을 변동시키는 제 12 단계; 및 제 2 통합 출력 수단이, 상기 제 11 단계의 제 1 통합 출력 수단과 상기 제 12 단계의 배경 생성 수단의 영상 출력에 대응하는 음성과 텍스트를 출력하는 제 13 단계를 더 포함한다.
한편, 본 발명은, 프로세서를 구비한 가상인격체의 감정표현과 동작구현 시스템에, 입력 수단이 외부로부터 동작데이터를 입력받는 제 1 기능; 뉴로퍼지 감정추론 수단이 퍼지 추론과 신경망 기법을 이용하여 상기 입력된 동작데이터에 내포된 감정을 분석하고 감정의 강도를 계산하는 제 2 기능; 감정/동작 계획 수단이 상기 제 2 기능에서 분석/계산된 감정 및 감정의 강도에 따라, 상기 입력된 동작데이터에 대응하는 가상인격체의 동작을 계획하는 제 3 기능; 영상정보 입력 수단이 사용자로부터 가상인격체 영상에 대한 특성정보를 입력받아, 상기 입력된 특성정보에 부합하는 가상인격체를 생성하는 제 4 기능; 영상정보와 감정/동작 합성 수단이,상기 제 4 기능에서 생성된 가상인격체에 상기 제 3 기능의 동작 계획을 적용하여 동적 가상인격체를 생성하는 제 5 기능; 및 제 1 통합 출력 수단이, 상기 제 5 기능에서 생성된 동적 가상인격체를 영상으로 출력하는 제 6 기능을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
또한, 상기 본 발명은, 제 2 통합 출력 수단이, 상기 제 1 통합 출력 수단의 영상 출력에 대응하는 음성과 텍스트를 출력하는 제 7 기능을 더 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
한편, 본 발명은, 프로세서를 구비한 가상인격체의 감정표현과 동작구현 시스템에, 입력 수단이 외부로부터 자연어데이터를 입력받는 제 1 기능; 문서요약 수단이, 상기 입력된 자연어데이터가 문서인지를 확인하여, 문서이면 중요한 문장을 추출하여 문장수준으로 변환하는 문서 요약을 수행하고, 문서가 아니면 상기 문서 요약을 수행하지 않고 단순히 출력하는 제 2 기능; 자연어 분석 수단이 상기 제 2 기능의 문서요약 수단의 출력에 대하여 화행분석 및 의미분석을 수행하는 제 3 기능; 감정 분석 수단이, 상기 제 2 기능의 화행분석결과와 의미분석결과를 이용하여 상기 입력된 자연어데이터에 포함되어 있는 감정을 분석하고 감정의 강도를 계산하는 제 4 기능; 동작 분석/생성 수단이, 상기 제 4 기능에서 분석된 감정을 바탕으로 하여 상기 입력된 자연어데이터에 포함되어 있는 동작을 분석하고, 상기 동작 분석결과를 이용하여 상기 입력된 자연데이터에 부합하는 동작을 생성하는 제 5 기능; 감정/동작 계획 수단이, 상기 제 4 기능에서 분석/계산된 감정 및 감정의 강도에 따라, 상기 동작 분석/생성 수단에 의하여 생성된 동작에 대응하는 가상인격체의 동작을 계획하는 제 6 기능; 영상정보 입력 수단이 사용자로부터 가상인격체의 특성정보를 입력받아, 상기 입력된 특성 정보에 부합하는 가상인격체를 생성하는 제 7 기능; 영상정보와 감정/동작 합성 수단이 상기 제 7 기능에서 생성된 가상인격체에 상기 제 6 기능의 동작 계획을 적용하여, 동적 가상인격체를 생성하는 제 8 기능; 및 제 1 통합 출력 수단이 상기 제 8 기능에서 생성된 동적 가상인격체를 영상으로 출력하는 제 9 기능을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
또한, 상기 본 발명은, 배경 생성 수단이, 상기 제 3 기능에서 분석된 의미정보에 해당하는 배경 화면과 상기 동적 가상인격체를 결합하고, 상기 의미정보의 변화에 따라 배경 화면을 변동시키는 제 10 기능 ; 및 제 2 통합 출력 수단이, 상기 제 9 기능의 제 1 통합 출력 수단과 상기 제 10 기능의 배경 생성 수단의 영상 출력에 대응하는 음성과 텍스트를 출력하는 제 11 기능을 더 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
한편, 본 발명은, 프로세서를 구비한 가상인격체의 감정표현과 동작구현 시스템에, 입력 수단이 외부로부터 동작데이터와 자연어데이터로 이루어진 데이터를 입력받는 제 1 기능; 뉴로퍼지 감정추론 수단이, 퍼지 추론과 신경망 기법을 이용하여, 상기 입력데이터 중 동작데이터에 내포된 감정을 분석하고 감정의 강도를 계산하는 제 2 기능; 문서요약 수단이, 상기 입력데이터 중 자연어데이터가 문서인지를 확인하여, 문서이면 중요한 문장을 추출하여 문장수준으로 변환하는 문서 요약을 수행하고, 문서가 아니면 상기 문서 요약을 수행하지 않고 단순히 출력하는 제3 기능; 자연어 분석 수단이 상기 제 2 기능의 문서요약 수단의 출력에 대하여 화행분석 및 의미분석을 수행하는 제 4 기능; 감정 분석 수단이 상기 제 4 기능에서 수행된 화행분석결과와 의미분석결과를 이용하여, 상기 자연어데이터에 포함되어 있는 감정을 분석하고 감정의 강도를 계산하는 제 5 기능; 감정 선택추론 수단이, 상기 제 2 기능에서 뉴로퍼지 감정추론 수단에 의하여 분석된 감정과 상기 제 5 기능에서 감정 분석 수단에 의하여 분석된 감정을 상호 보정해서 취사선택하는 제 6 기능; 동작 분석/생성 수단이, 상기 제 6 기능에서 취사선택된 감정을 바탕으로 하여 상기 입력데이터에 부합하는 동작을 분석하고, 상기 동작 분석결과를 이용하여 자연어데이터를 대상으로 상기 입력데이터에 부합하는 동작을 생성하는 제 7 기능;감정/동작 계획 수단이, 상기 분석/계산된 감정 및 감정의 강도에 따라, 상기 동작 분석/생성 수단에 의하여 생성된 동작에 대응하는 가상인격체의 동작을 계획하는 제 8 기능; 영상정보 입력 수단이 사용자로부터 가상인격체의 특성정보를 입력받아, 상기 입력된 특성 정보에 부합하는 가상인격체를 생성하는 제 9 기능; 영상정보와 감정/동작 합성 수단이 상기 제 9 기능에서 생성된 가상인격체에 상기 제 8 기능의 동작 계획을 적용하여, 동적 가상인격체를 생성하는 제 10 기능; 및 제 1 통합 출력 수단이 상기 제 10 기능에서 생성된 동적 가상인격체를 영상으로 출력하는 제 11 기능을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
또한, 상기 본 발명은, 배경 생성 수단이, 상기 제 4 기능에서 분석된 의미정보에 해당하는 배경 화면과 상기 동적 가상인격체를 결합하고, 상기 의미정보의변화에 따라 배경 화면을 변동시키는 제 12 기능; 및 제 2 통합 출력 수단이, 상기 제 11 기능의 제 1 통합 출력 수단과 상기 제 12 기능의 배경 생성 수단의 영상 출력에 대응하는 음성과 텍스트를 출력하는 제 13 기능을 더 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
본 발명은 모든 감정 분석단계에서는 감정을 분석하기 위해서 공간감정을 제안하고 감정을 나타내는 단어를 퍼지벡터로 표시한다. 본 발명은 인간이나 가상 인격체가 취할 수 있는 동작과 제스처, 얼굴모양, 얼굴색깔, 음성, 억양, 음색이나 자연어 문장 입력에 대해서, 인간이나 가상인격체가 전달하고 싶은 감정을 분석하고, 분석된 감정을 바탕으로, 가상인격체가 동작이나 제스처를 동반한 말과 자연어 텍스트 출력으로 완벽하게 재현할 수 있는 방법을 제공하고 있다.
본 발명은, 인간이나 가상인격체의 동작과 제스처, 얼굴모양, 얼굴색깔, 음성, 억양, 음색이나 자연어 문서나 문장을 서로 유기적으로 통합하여 감정을 추출해서 가상인격체의 얼굴표정, 제스처나 몸짓, 음성으로 표현하는 기술에 관한 것으로서, 이러한 본 발명을 달성하기 위해서는 다음과 같은 과제가 선행적으로 해결되어야 한다.
첫번째, 공개특허 제01-34987호의 핵심적인 내용에서 텍스트의 입력내용 중 감정을 표현하는 문자를 분류하여 군(群)으로 나누는 부분은 인간의 감정을 나타내는 단어는 천차만별하고, 그 정도에 있어서 다양한데, 하나의 문자가 어느 감정에 속하는지 틀을 정해서 이것을 모두 일괄적으로 군을 나눈다는 것은 많은 문제점을 가지고 있고, 또한 하나의 문장에서 감정을 나타내는 단어가 여러 개 있을 경우,어느 감정을 우선해서 선택할지도 모호하게 된다는 문제점이 있다.
이러한 문제를 해결하기 위해서 본 발명은 3차원 감정공간 상에 감정을 나타내는 단어를 위치시키는 방법을 제공하며, 여러 가지 감정을 나타내는 단어가 동시에 나타날 경우, 또는 연달아 입력될 경우, 감정을 계산하는 방법도 제공한다.
두번째, 동사의 다의성을 해소해야 한다. 즉, 거의 모든 동사는 다의어적인 성격을 갖는데, 다음은 '가다'의 경우를 살펴보자.
(ㄱ) 서울에는 언제 가느냐?
(ㄴ) 나는 중구청에 간다.
(ㄷ) 어제 연락이 갔다.
(ㄹ) 그의 시계는 잘 간다.
이상과 같이, '가다'동사의 의미들은 상황에 따라 여러가지 의미변환을 이루고 있는데, 의미분석을 하지 않으면 동사의 의미를 정확하게 파악할 수 없다. 위에서 (ㄱ)은 장소이동을 나타내고 (ㄴ)은 용건, (ㄷ)은 소식, (ㄹ)은 성능을 나타낸다. 이러한 동사의 다의성 문제는 의미분석으로 해결할 수 있다.
세번째. 시간에 따른 감정변화와 동작의 속도감을 고려해야 한다. 인간의 감정과 동작은 시간에 따라 변화한다. 인간의 감정변화 측면에서 볼 때, 점진적인 감정의 변화, 급격한 감정의 변화, 완만한 감정의 유지, 시간에 따른 감정의 소멸 등으로 세분화 할 수 있고, 인간의 동작변화 측면으로 볼 때, 느린 동작, 빠른 동작, 완만한 동작 등으로 세분화할 수 있다.
네번째, 효과적인 감정분석 방법론을 제시해야 한다. 인간의 감정을 분석하기 위해서는 그 분석 방법이 지역적인 또는 문화적인 차이 없이 모든 인간에게 적용 될 수 있게 보편타당해야 하고 합리적인 방법이 제시되어야 한다. 본 발명에는 공간감정 분석방법을 제시하고 감정을 합성하는 방법과 시간에 따라 소멸시키는 방법 등을 제시한다.
다번섯째, 감정의 강도를 분석해야 한다. 감정이 시간에 따라 변하듯이 감정의 강도도 변하게 된다. 감정의 강도가 세다는 말은 긍정적인 감정일 경우, 적극적인 제스처나 동작으로 표현될 것이고, 부정적인 감정일 때, 감정의 강도가 세다는 말은 그 감정유형에 따라 제스처나 동작이 거칠게 표현되거나 소극적으로 표현되어야 한다.
여섯번째, 감정을 나타내는 단어는 주변단어와의 관계를 파악해야 한다. '아버지가 우셨다.'에서 동사 '울다'는 '새가 울었다.'에서도 쓸 수 있는데, '새가 울었다.'에서는 화자에게 어떤 감정을 유발하고 있는지 명확하지 않지만, '아버지가 우셨다.'에서는 화자의 감정에 영향을 미치고 있음을 알 수 있다. 따라서, 감정동사가 쓰인 문장에서 경험주, 행위주, 대상 등과 감정동사의 감정관계를 규명해야 한다.
일곱번째, 장소와 공간배경에 따른 인간의 동작유형을 규명해야 한다. 즉, '내가 어제 산에 올랐다.'라는 예문에서 '올랐다'라는 단어의 원형인'오르다'라는 동사만 보고 판단하면 어디를 오르는지 그 대상이 명확하지 않다. '나의 성적이 올랐다'의 경우 '오르다'는 동작의 개념이 전혀 없는 의미로 쓰였기 때문에 동작을 구현할 때는 그 동작이 장소적, 공간적 배경으로 쓰였는지 고려해야 한다.
여덟번째, 하나의 문장에서 주어가 두개 오는 이중주격 문장에서는 동작이나 감정의 주체를 구분할 수 없는 단점이 있기 때문에 의미분석해서 행위주(Agent)와 대상(Theme)의 관계를 파악해야 한다.
아홉번째, 인간의 감정을 제대로 분석하기 위해서는, 자연어 입력문장 뿐만 아니라 화행이 변동되는 시점에서 화자와 청자의 화행성격에 따라 변하는 감정을 추적해야 한다.
열번째, 인간은 감정을 직접적으로 표현하기 보다는 신체부위나 생리적인 상태를 이용해서 은유적으로 감정표현하기 때문에 인간의 신체 부위나 생리적인 상태를 어떻게 감정표현에 이용하는가에 대한 연구가 선행되어야 효과적인 해결책을 제시할 수 있다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명한다.
도 1 은 본 발명에 따른 가상인격체의 감정표현과 동작구현 시스템 및 그 방법에 대한 일실시예 설명도이다.
본 발명은 입력으로 들어오는 인간이나 가상인격체(예를 들면, 아바타, 캐릭터, 로보트 등)의 동작, 제스처, 얼굴모양, 얼굴색깔, 음성, 억양, 음색이나 자연언어 텍스트(Text) 등을 이용하여 감정을 분석하고, 그 분석된 결과를 이용해서 가상인격체의 감정표현과 동작표현을 구현한다.
즉, 본 발명은 동작(걷기, 뛰기 등)이나 제스처(몸짓, 손짓 등), 얼굴모양, 얼굴색깔, 음성, 억양(음의 고저), 음색(음의 특질) 등(이하, 동작데이터라 함)은뉴로퍼지 감정추론 장치와 신경망 기법을 이용해서 감정을 추론하고, 음성을 음성인식에 의해 자연어로 변경한 문장, 대화체 문장과 휴대폰 문자메시지, 이메일, 전자게시판 등에서 이용되는 자연언어로 된 문서나 문장 등(이하, 자연어데이터라 함)은 문서요약, 화행분석, 및 의미분석을 통하여 그 문서나 문장에 내포된 감정을 추출하여, 가상인격체를 이용해서 인간이나 가상인격체의 감정과 동작으로 표현한다.
본 발명은, 입력데이터의 유형에 따라 처리 과정이 다음과 같이 다르다.
먼저, 데이터 입력 장치(100)의 동작데이터 입력부(101)를 통하여 동작데이터만이 입력될 때는 뉴로퍼지(Neuro-Fuzzy) 감정추론 장치(104)를 통하여 감정을 분석하고 감정강도를 계산하여 감정/동작 계획 장치(138)로 간다.
한편, 데이터입력 장치(100)를 통하여 동작데이터와 자연어데이터가 동시에 입력될 때는 동작데이터로 분석한 감정과 자연어데이터를 이용해서 분석한 감정은, 상호 보정해서 취사선택하는 감정선택추론장치(124)를 거쳐 감정을 추출한다.
한편, 데이터 입력 장치(100)의 자연어데이터 입력부(102)를 통하여 자연어데이터만 입력될 때는 입력데이터가 문서인가 문장인가를 판단하여(108), 만약 문서일 경우에는 문서요약과정(110)을 거쳐서 중요한 문장을 추출하여 문장수준으로 변환하고, 자연어 분석 장치(112)와 감정분석장치(118)를 거쳐 동작분석장치(132)로 입력되고; 만약 문서가 문장수준으로 변환되거나 자연어데이터 자체가 문장이라 변환이 필요 없는 입력 문장인 경우에는 문서요약(110)을 수행하지 않고 자연어 분석 장치(112)로 이동하여, 화행분석부 (114)와 의미분석부(116)를 거쳐 문장에 포함되어 있는 감정표현과 동작표현에 대한 의미파악이 이루어진 후, 감정분석장치 (118)에 의하여 문장에 내재된 감정이 분석된다.
상기와 같이 동작데이터와 자연어데이터를 이용한 감정분석 과정에서는 동작데이터와 자연어데이터에 해당하는 각각의 감정을 추출하고, 일정한 기간동안 감정의 지속정도, 감정의 변화정도, 감정의 소멸정도, 3차원 좌표로 표현되는 감정벡터의 크기 등을 고려하여 감정의 강도(Intensity)를 계산한다. 동작데이터와 자연어데이터에서 추출된 감정의 강도는 가상인격체가 동작데이터와 자연어 데이터에 대한 동작이나 제스처를 표현할 때, 얼굴감정표현의 세기정도, 제스처나 몸짓의 동작크기와 거칠기, 억양의 강약 등을 결정하는데 이용한다.
동작분석장치(132)는 자연어 입력문장에서 동작을 추출하는 동작분석부(134)와 추출된 동작을 바탕으로 자연어 입력문장에 제스처와 동작를 할당하는 동작생성부(136)로 구성된다.
감정/동작 계획 장치(138)는 자연어 문장을 음성으로 출력하거나 문자로 출력하면서 일정한 형태로 얼굴표정, 동작과 제스처를 표현하고 상기 얼굴표정, 동작과 제스처, 음성 등은 감정과 감정의 강도에 의해 조절하는 일관된 출력방법을 제시한다.
영상정보와 감정/동작 합성 장치(142)는 영상정보 입력 장치(140)를 입력으로 받아 들여 입력문장에 따라 자동적으로 가상인격체를 생성하고 감정을 표현하며, 실시간으로 얼굴표정과 제스처, 동작을 변화시키면서 애니메이션이 가능할 수 있도록 통합적인 방법을 제시한다.
여기서, 영상정보 입력 장치(140)는 사용자가 어떤 가상인격체를 표현하기 위해서 표현하고자 하는 가상인격체의 얼굴특징 및 여러 가지 신체적 특성 즉, 신체 사이즈들을 제대로 표현해주는 기능을 한다.
배경 생성 장치(144)는 자연어 분석 장치(112)에서 생성된 의미정보를 이용하여 배경 그래픽 세트를 실시간으로 변동시킴으로써, 가상캐릭터와 배경 그래픽의 상호연동이 가능하게 한다.
통합 출력 장치(146)는 영상정보 및 감정/동작 합성 장치(142)와 배경 생성 장치(146)에 의해 생성된 최종 결과물을 음성합성(TTS)을 이용하여 실시간 음성, 자연어 텍스트 출력, 애니메이션으로 2D나 3D의 가상환경에서 가상인격체로 하여금 자연스럽게 감정을 표현하고 동작을 구현한다.
따라서, 본 발명은 인간이나 가상 인격체가 취할 수 있는 동작과 제스처, 음성이나 자연어 문장 입력에 대해서, 인간이나 가상인격체가 전달하고 싶은 감정을 분석하고, 그 분석된 감정을 바탕으로, 가상인격체가 얼굴표정, 동작이나 제스처를 동반한 음성과 자연어 텍스트 출력으로 완벽하게 재현한다.
이하, 도 1 에서 설명한 가상인격체의 감정표현과 동작구현 시스템의 각 구성요소를 기준으로 설명하기로 한다. 즉, 데이터 입력 장치(100), 뉴로퍼지(Neuro-Fuzzy) 감정추론 장치(104), 문서요약 장치(106), 자연어 분석 장치(112), 감정분석 장치(118), 감정선택추론 장치(124), 동작 분석/생성 장치(132), 감정/동작 계획 장치(138), 영상정보 입력 장치(140), 영상정보 및 감정/동작 합성 장치(142), 배경 생성 장치(144), 통합 출력 장치(146) 등에 대하여 순서대로 설명하면서 관련도면은 함께 설명하기로 한다.
< 데이터 입력 장치(100) >
데이터 입력 장치(100)는 외부로부터 들어오는 데이터를 입력받는 것으로서, 이는 동작데이터 입력부(101)와 자연어데이터 입력부(102)로 구성된다.
동작데이터 입력부(101)는 입력 데이터 중에서 동작데이터를 입력받아 뉴로퍼지(Neuro-Fuzzy) 감정추론 장치(104)로 출력하고, 자연어데이터 입력부 (102)는 입력 데이터 중에서 자연어데이터를 입력받아 문서요약 장치(106)으로 출력한다.
< 뉴로퍼지(Neuro-Fuzzy) 감정추론 장치(104) >
도 2 는 본 발명에 따른 도 1 의 뉴로퍼지(Neuro-Fuzzy) 감정추론 장치의 일실시예 구성도이다.
이하, 인간이 자신의 의견을 표현하기 위해 이용하는 동작과 제스처, 얼굴모양, 얼굴색깔, 음성, 억양, 음색 등을 입력으로 인간의 감정을 추론하는 뉴로퍼지 감정추론 장치(104)를 설명한다. 인간의 사회적인 상호작용에서 제스처의 일종인 얼굴표정은 구어체언어 (Spoken language)가 가진 애매성을 감소시키는 기능을 하고 있다.
뉴로퍼지 감정추론 장치(104)는 퍼지추론부(21)와 신경망회로망(24)으로 이루어져 있는데, 퍼지추론부(21)는 인간이나 가상인격체의 감정을 퍼지규칙베이스 (22)에 저장되어 있는 퍼지규칙에 의해서 감정과 감정 강도를 추출하기 위한 것이고, 신경망회로망(24)은 퍼지규칙으로 해결하지 못한 입력패턴에 대해서 그 입력패턴과 근사한 감정을 생성하기 위한 것으로서 퍼지규칙을 학습한 후 연결강도를 조정한 뒤에 상기 퍼지 규칙으로 해결하지 못한 입력패턴에 적당한 감정을 근사시키는 것으로서 퍼지추론부(21)를 보조해 주는 역할을 한다.
본 발명은 동작이나 제스처(얼굴표정, 손짓 등) 인식 그 자체보다는 인간의 감정상태를 파악하는데 목적이 있으므로 동작이나 제스처 인식 시스템, 음성인식 시스템 등으로부터 분석된 결과를 입력으로 하여 감정을 분석한다.
본 발명의 퍼지 추론부(21)는 동작과 제스처, 얼굴모양, 얼굴색깔, 음성, 억양, 음색 등을 퍼지 추론기 입력으로 사용하여 감정을 분석하는데, 퍼지 추론에 사용되는 퍼지규칙의 예는 다음과 같다.
제스처의 입력이 머리(Head Gesture)를 끄덕이면서(nod) 눈동자(Eye gaze)를 밑으로(Down) 응시하고, 눈을 깜박이고(Blinking), 손 제스처(Hand Gesture)가 약간 아래위로 들어올렸다 내렸다(Beat)하고, 음색(Timbre)이 명쾌(Clear)하면 감정의 상태는 수용(Acceptance)이고, 고개를 숙이고(drop), 눈썹(Eyebrow)을 내리고 (Lowering), 눈꺼풀(Eyebrow)이 밑으로 처지고(Lowing), 입술(Lip)을 깨문(Bite) 상태에서 팔(Arm)을 위(Up)로 굽혀(Bend), 손(Hand Gesture)을 머리에 갖다 대고(Deictics_Head), 억양(Intonation)이 낮으면(Low) 감정의 상태는 고통(Pain)이 된다. 이상과 같이 인간의 감정을 유발할 수 있는 동작과 제스처 등을 퍼지 If-Then 룰로 일부 실시예를 보여주면 (표 1)과 같다.
IF Head_Gesture is nod, Eye_gaze is down, Blinking is on, Hand_Gesture is Beat,Timbre is Clear, Then Emotion is Acceptance_Middle.
IF Head_Gesture is Drop, Eyebrow is Lowing, Eyelid is Droop, Lip is Bite, Arm is Bend_up, Hand_gesture is Deictics_Head, Intonation is Low, Then Emotion is Pain_Middle
여기서, 퍼지 추론부(21)로 입력되는 동작과 제스처의 패턴은 제스처의 일종인 안면동작(Facial movements)에 해당하는 머리 움직임(Head_Gesture), 눈응시 (Eye_gaze), 눈깜박임(Blinking), 눈썹움직임(Eye_brow), 눈꺼풀 동작(Eyelid), 입술동작(Lip) 등과, 동작의 일종인 몸짓(Body posture)에 해당하는 손동작 (Hand_Gesture), 어깨동작(Shoulder_Gesture), 팔동작(Arm_Gesture), 허리동작 (Waist_Gesture) 등과, 동작 중 행동(Action)에 해당하는 걷기(walk), 뛰기(run), 먹기(eat), 춤추기(dance) 등으로 구분된다.
감정 값은 두려움(Fear), 화남(Anger), 혐오(disgust), 놀람(Surprise), 흥미(Interest), 평온(Calm), 권태(Boredom), 수용(Acceptance), 고통(Distress), 슬픔(Sorrow), 기쁨(Joy), 완고(Stern), 부끄러움(Shame), 기대(Anticipation) 등이며, 각각의 감정은 감정의 강도를 SMALL, MIDDLE, LARGE, VERY LARGE 의 등급으로 구분 하거나 0-1 사이의 값을 가질 수 있다.
도 3 은 본 발명에 따른 도 2 의 신경회로망의 다층퍼셉트론의 계층 구조도이다.
본 발명의 신경회로망(24)은 동작이나 제스처 등의 입력패턴을 가지는 입력층(300)과 은닉층(301), 그리고 감정값을 나타내는 출력층(302)으로 이루어진 다층퍼셉트론 (Multilayer Perceptron)의 구조를 가진다.
도 4 는 본 발명에 따른 도 2 의 신경회로망에 적용되는 역전파 (Backpropagation) 학습 방법에 대한 일실시예 흐름로서, 신경회로망에서 퍼지규칙 베이스의 감정값과 신경회로망에 의한 출력값의 차이를 최소화하도록 각 층간의 연결강도와 임계값을 조정하는데 이용하는 역전파(Backpropagation) 학습 알고리즘을 나타낸다.
신경회로망(24)은 퍼지규칙베이스(22)에 저장되어 있는 퍼지규칙과 감정벡터값을 입력으로 받아 들여 단위 신경망을 생성하고, 그 생성된 단위 신경망을 학습시킨 다음 신경망의 일반화 능력을 이용하여 유사입력에 대해 학습된 유사 출력을 내도록 하는 구조이다.
여기서, 신경망을 이용하는 이유는 퍼지규칙베이스(22)에 모든 퍼지규칙을 저장하는 것이 현실적으로 불가능하기 때문에, 현재의 퍼지규칙베이스에 저장된 퍼지규칙을 학습하여 예상치 못하는 동작, 제스처 패턴이 입력으로 들어올 경우 근사적인 답변을 제시해줄 수 있기 때문이다.
< 문서요약 장치(106) >
본 발명에서 입력패턴이 언어적인 측면을 가질 때, 입력된 자연어 텍스트가 문장레벨인지 문서레벨인지 분석한다(108).
분석 결과, 문서레벨일 경우에는 문서요약기법을 적용하여 문장레벨로 축소하는 단계를 거치게 된다. 이때 문서요약방법은 요약문을 생성하는 방식에 따라 추출(Extract)기법과 요약(Abstract)기법으로 나눌 수 있는데, 추출(Extract)기법은 원문에서 토픽(Topic)이나 제목과의 유사도, 단어공기정보 등을 사용하여 중요한 문장이나 단락을 추출해 내는 방법이고, 요약(Abstract)기법은 문서의 이해를 바탕으로 하여 문장이나 단락의 재구성 및 생성(Generation)을 통하여 원문에서 암시하고 있는 내용을 원문에서 사용하지 않는 새로운 문장으로 요약하는 방법이다. 본 발명에서는 추출(Extract) 기법을 이용해서 중요문장을 추출한다.
본 발명에 따른 문서요약 방법은 입력문서에서 주요단락을 추출하는 단계, 추출된 주요 단락에서 중요문장을 선택하는 단계로 크게 나눌 수 있다.
주요 단락을 추출하는 단계에서는 수사구조 정보, 제목과의 유사도, 단락간의 유사도를 이용해서 각 단락에 가중치를 할당한 다음, 가중치 합이 큰 순서대로 단락을 선택한다.
수사구조 정보를 이용한 방법에서 수사구조란 테스트를 이루는 문장들 간의 논리적인 결합관계로서 수사어구 정보에 따라 텍스트를 주문단-부문단(Nucleus-satellite)관계로 표현하여 주 문장을 선택하는 방법을 말한다. 주 문장과 부 문장을 연결하는 수사어구에는 접속어구, 지시어, 숙어적인 표현 등이 있는데, '그래서, 때문에, 말하자면, 예를 들어, 왜냐하면, 따라서'와 같은 단어가 수사어구에 해당한다. 또한, 제목과의 유사도와 단락간의 유사도를 구하기 위해서는 코사인유사도(수학식 2)를 사용하며, 용어 가중치(Term weighting) 타입은 tf*idf(수학식 1)를 사용한다.
(수학식 1) 에서 ωik는 단어 Tk의 가중치이고,N은 문서를 이루는 단락의 총 개수, nk는 단어를 포함하는 단락의 개수이다.
한편, 주요 단락을 추출한 후, 주요 단락에서 주요 문장을 추출하기 위해서는 제목과의 유사도(Similarity), 단서 단어와 단어 공기정보, 수사구조 (Rhetorical structure) 정보를 이용한다. 여기서, 주요단락을 선택하기 위해서 언급한 수사구조 정보를 이용하는 방법은 주문단-부문단(Nucleus-satellite)관계를 주문장-부문장(Nucleus-satellite) 관계로 축소해서 주요문장을 구하는 방법이다. 그리고, 단서단어를 이용하는 방법은 원문의 문장에서 "결론은, 중요한 사항은"과같은 핵심단어나 구(Cue word or phrase)가 있는 문장에는 상대적인 가중치를 부여하는 방법이다. 단어공기정보(word co-occurrence)를 이용하는 방법은 원문의 문장에서 발생하는 "문제는 ~라는 점이다", "~은 왜 변할까?. ~ 에서 원인을 ~ 찾을 수 있다."와 같은 패턴에 높은 가중치를 부여하는 방법을 말한다.
< 자연어 분석 장치(112)(화행분석부 및 의미분석부) >
자연어 분석 장치(112)는 화행분석부(114)와 의미분석부(116)로 구성되는데, 먼저 화행분석부(114)를 설명하기로 한다.
화행분석부(114)는 문서요약기법에 의해 중요문장으로 추출된 문장 또는 문서요약기법이 필요 없는 순수한 자연어 문장 등을 입력으로 받아들여 화행분석을 하여 감정을 분석한다.
본 발명에서 입력으로 들어오는 자연어 문장에서 감정과 동작을 추출하기 위해서는 자연어 문장이 암시하는 목적이나 의도를 알아내야 한다. 따라서, 본 발명에서는 입력되는 자연어 문장에서 감정과 동작을 분석하기 위한 실례로서, 입력으로 들어오는 자연어 문장을 대화체 문장으로 간주하고 분석하도록 한다.
먼저, 본 발명에서 화행이란 화자에 의해 의도되어 발화 속에 포함된 행위를 말하고, 대화를 처리한다는 것은 지금까지의 화자와 청자사이에 오고 간 대화 상황들을 올바르게 분석하여 이에 대한 적절한 응답을 하는 것으로서, 이때 발화의 화행을 알아내는 일은 대화분석의 기본이라고 할 수 있다.
또한, 본 발명의 화행분석부(114)는 한국어 대화체 문장에서 대화 속에서의문장의 화행을 알아내고자 하는 것으로서, 표층적 화행분석과 심층적 화행분석으로 나누어서 화행을 분석한다.
표층적 화행분석은 대화의 흐름을 고려하지 않고 해당 발화의 언어적인 정보만을 고려하여 화행을 분석해 내는 것으로서, 대화체 문장에서의 거의 모든 화행을 결정할 수 있는 방법이고, 심층적 화행분석은 대화의 문맥을 반영한 화행 분석으로서 표층적 화행분석결과를 입력으로 받아서 문맥 정보인 재귀적 대화 전이망을 통하여 화행을 결정하는 방법이다.
화행에는 요청(Request), 제시(Suggest), 사과(Apologize), 거절(Reject), 제안(Propose) , 용의표시(Willing), 불평(Complain), 보장(License), 결심 (resolve), 감사(Thank), 언급(Tell), 주장(Claim), 의견개진(Opine), 관찰(Remark), 변명(Excuse), 정당화(Jestify), 옹호(Condone), 최소화 (Minimization), 동조(Sympathize), 인사(Greet) 등이 있는데, 실제대화 속에 발화의 의미 및 화맥 속에서의 발화의 위치, 담화 내적(Discourse internal)에 근거하여 화행을 분석한 일부 예제는 다음 (표 2)와 같다. 여기서, 담화내적은 담화의 유지라는 목표를 위해서 화자들이 활용하는 화행을 뜻한다.
요청(Request) : 식사하려 가시죠?제시(Suggest) : 영화 보는 게 좋겠네요.사과(Apologize) : 죄송합니다.거절(Reject) : 제가 개인적인 일로 바쁘기 때문에 어렵겠군요.토픽전환(Topic_shift) : 근데 저기수용(Accept) : 그렇게 하겠습니다.
또한, 본 발명에서 화행은 언표내적 행위(Illocutionary Act)에 우선순위를 부여하는데, 대화상에 나타나는 자연언어의 실제 표현과 해당 언표내적 행위의 관계의 일부 예제는 (표 3)과 같고, 화행별 특성을 분석한 일부 예제는 (표 4)와 같다. (표 4) 에서 S는 화자(Speaker), H는 청자(Hearer), A는 액션(Action)을 나타낸다.
화행은 각 화행마다 그 화행분류에 화자의 의도 및 화맥을 고려하고 그 화행에 내재되어 있는 감정을 고려하게 되면, 보다 종합적으로 발화의 의미를 알 수 있게 된다는 특징을 가진다.
언표내적행위(Illocutionary Act) 대화상에 나타나는 실제 표현들
Request_Act ~ 할 수 있어요?, ~ 주세요, ~ 줘, ~ 싶은데요, 궁금해.
Apologize 미안해. 죄송합니다. 용서해줘. 한번만 봐줘. 사과할께.시정하겠습니다.
Gratitude 감사합니다. 고맙습니다, 고마워, 땡큐, Thank you
Illocutionary Act Action Goal Content Condition Emotion
Request Act S's wish H's belief S for H's A Good for S Anticipation
Apologize S's wish H's belief S not for S's A(pase) Bad for H Apologize
Gratitude S's wish H's belief S for H's A(past) Good for S Joy
(표 4)에 제시한대로, 대화에 나타난 각 발화의 표현에 따라 부가된 제약을감안하여 선별된 언표내적 행위를 그 발화의 화행으로 할당한다. 그리고, 대화 흐름을 자연스럽게 유도하기 위해 각 발화에 결정된 화행에 의해 유발될 수 있는 화행은 다음 (표 5)와 같다.
Speaker(Speech_Act) Hearer(Reaction) Speaker(Speech_Act for Reaction))
Request_Act Give_Act Give_Act
Promise Acceptance, Rejection. Ask_Why(in Rejection)
Give_Info Request_Info Request_Info or Ask_yes/no
지금까지의 논의를 정리해보면, (표 4)와 같이 각 화행분류에 적절한 감정이 부여되고, (표 5)와 같이 각 발화에 결정된 화행에 유발될 수 있는 화행이 결정될 수 있으므로 (표 6)과 같이 화자의 각 발화에 청자가 어떤 화행으로 대응하는가에 따라 감정을 배정할 수 있다.
도 5 는 본 발명에 따른 도 1 의 화행분석부(114)의 화행 전이 다이어그램의 예시도로서, (표 5)에 해당하는 화행 전이 다이어그램을 나타낸다.
도 6 은 본 발명에 따른 도 1 의 화행분석부의 화행에 따른 감정의 전이를 나타내는 감정 전이 다이어그램의 예시도로서, (표 6)에 해당하는 감정 전이 다이어그램을 나타낸다.
Speaker(Speech_Act) Hearer(Reaction) Emotion of Speaker
Request_Act Acceptance Joy
Rejection Disappointment
Apologize Acceptance Relief
Rejection Anger
Correction Perplexed
Complain Disgust
감정 전이 다이어그램(도 6 참조)을 상세하게 설명하면, 다음과 같다.
(표 6)에서 화자(Speaker)가 청자(Hearer)에게 어떤 행동을 요청 (Requer_Act)하는데 청자가 승낙(Acceptance)하면 기쁠(Joy) 것이고 거절 (Rejection)하면 실망스러울 (Disappointment) 것이다. 또한, 화자가 청자에게 사과를 하는데 청자가 사과를 받아 들여(Acceptance) 용서하면 안도할 것이고, 거절(Rejection)하면 화(Anger)가 날 것이다. 그리고, 화자가 사과할 때, 청자가 사과를 받아 들이지 않고, '아니오', '틀렸습니다'(Correction)라고 대답한다면 화자는 당황(Perplexed)하게 될 것이다. 그리고, 청자가 불평(Complain)한다면 화자는 청자가 혐오스럽게(Disgust) 느껴질 것이다.
상기와 같은 청자와 화자의 다양한 화형의 변화에 따른 감정의 전이 상태를 일부만 나타낸 것이 도 6 의 감정 전이 다이어그램이다.
또한, 화행분석은 화행전이 다이어그램(도 6 참조)에서 보듯이, 화자의 각 발화에 대한 청자의 발화 중에 무엇을 강조해서 발음해야 할 것인가에 대한 정보를 제공해 준다. 즉, 화자의 화행이 '어제 누가 길을 잃었지?'라고 발화하고, 청자가 '철수가 길을 잃었어.'라고 대응한다면, 청자의 발화 중에 가장 강조해서 읽어야 되는 부분은 육하원칙중 누구(Who)에 해당되는 '철수'이다.
다음 (표 7)에는 육하원칙에 대한 정보를 얻을 수 있는 화행들과 실제 표현들에 대한 일부 실시예이다.
일반적인 자연어 문장에서 육하원칙 중 Who로 올 수 있는 것은 사람, 동물, 국적, 소속단체 등이 문장성분 중 주어로 쓰인 경우이고, What으로 올 수 있는 것은 사람, 동물, 국적, 소속단체 이외의 명사가 주어로 쓰인 경우, 그리고, 명사구가 목적어로 쓰인 경우가 해당된다. 그리고 Where로 올 수 있는 것은 장소명사구에 '에', '에서'등의 조사가 붙은 것이 해당된다. 이상과 같이 육하원칙의 각 요소를 추출하기 위해서는 구문분석된 정보를 바탕으로 패턴 매칭에 의해 충분히 달성될 수 있으며, Where 성분을 구분하기 위해서는 장소명사에 대한 정보를 알아야 하는데 이러한 정보는 가도카와 시소러스를 이용하여 구한다.
언표내적행위(Illocutionary Act) 대화상에 나타나는 실제 표현들
Ask_who 누가, 누구를, 누구에게
k_what 무엇을, 무엇이, 뭐가, 뭐를, 무엇입니까?, 뭡니까?,얼마나 되나요?
Ask_where 어디에, 어디에서
다음으로는, 자연어 분석 장치(112)의 의미분석부(116)를 설명한다.
본 발명에서, 화행분석을 통하여 감정 전이 다이어그램(도 6 참조)에 의해서 분석된 감정과는 별도로, 자연어 문장 내에 잠재하는 감정을 분석하기 위해서는 의미분석 과정을 거쳐야 한다.
본 발명에서 제안하는 의미분석 방법은 문장 단위의 감정 분석뿐만 아니라동작분석까지 실시하는 것을 목표로 한다.
본 발명에서 의미분석은 감정을 느끼거나 동작을 실행하는 대상(Theme)과 행위주(Agent) 등의 관계를 명확히 설정하기에 앞서, 자연언어를 구문분석한 정보를 바탕으로 격구조(Case structure)를 이용한 의미분석을 행한다. 격구조 표현(Case structure representation)이란 입력 문장을 받아 구문요소들의 적당한 격들을 선택하여 이들의 구조를 분석하여 표현하는 방법으로서 격 구조 표현을 위해 정의한 격(의미역)은 다음의 (표 8)과 같다.
AGT(AGneT) 행위를 야기시키거나 행위의 주체
THM(TheMe) 동작이나 과정의 영향을 입는 요소
EXP(EXPeriencer) 감정이나 정서, 경험의 주체
LOC(LOCation) 공간적 배경
SOC(SOurCe) 동작의 시작점
GOL(GOaL) 도달 지점
... ...
본 발명에서 의미분석은 동사 격틀 사전과 명사 의미사전을 이용해서 격관계를 분석하고, 상기 방법을 이용해서 분석되지 못한 격관계는 확률분석에 의해서 최종적으로 분석하는 것에 의하여 이루어진다.
명사 의미사전은 모든 명사의 의미 자질들이 계층적으로 저장되어 있는 사전을 말하며, 동사 격틀 사전에서 동사는 각각 자신이 가질 수 있는 격들의 종류를 가지며, 각 격마다 자신을 채울 수 있는 명사의 의미자질(Semantic feature) 및 조사(Case marker)를 가지는데 일반적으로 다음과 같은 저장 형식을 가진다.
[나가다] {
(N1 <가>, (Human/Animal), AGT),
(N2 <에서> (Location), From_LOC),
(*N3 <에> (Location), To_LOC)
}
여기서, 동사 나가다는 AGT와 From_LOC을 필수격으로 가지고 To_LOC를 자유격으로 가진다는 것을 보여주고 있으며, AGT의 주격조사 '가'는 Human이나 Animal등의 의미자질을 가지는 명사 뒤에 붙어 쓰일 수 있고, From_LOC은 대표조사 '에서'가 Location의 의미자질을 가지는 명사 뒤에 쓰일 수 있다는 것을 나타낸다.
본 발명에 사용되는 의미분석 알고리즘은 다음과 같다.
(가). 동사 격틀 사전에서 주어진 입력 문장의 동사에 해당하는 격틀을 모두 가져온다.
(나). 주어진 입력문장과 동사 격틀간의 조사를 비교해서 어절을 대응시킨다.
(다). 대응된 어절마다 명사 부분의 의미자질을 비교해서 의미자질이 일치할 경우, 격틀 내에 보유하고 있는 이 어절의 격관계를 알아내어 의미분석 결과로 제시한다.
(라). 대응하는 의미자질을 찾지 못하였을 경우, 지배소의 의미부류, 의존소의 의미부류, 지배소의 어휘와 지배소의 품사 정보를 이용하여 확률 분석하는데,확률분석에 이용되는 확률모델식은 다음의 (수학식 3)과 같다. 여기서,Rsubject는 주어의 의미역을 나타내고,Radverb는 부사어의 의미역을 결정하기 위한 확률모델이다.
여기서,dep는 의존소의 의미부류,gov는 지배소의 의미부류,govm는 지배소의 형태소,govp는 지배소의 품사를 나타내고, (수학식 3)과 (수학식 4)에 적용되는 확률은 자질조합이 출현한 빈도로 의미역과 자질조합이 함께 나타난 빈도로 나눈 (수학식 5)와 같은 방법으로 구한다.
또한, 본 발명에서는 확률분석에서의 자료부족(Sparseness) 문제를 해결하기 위해 Bigram model을 이용한 Linear interpolation과 Backing-off models을 이용하는데, 이러한 방법론은 확률적으로 구체적인 자질을 이용해서 해결하지 못하는 경우, 일반적인 자질을 이용해서 확률값을 계산하는 방법을 사용하는 것으로서, 그 확률식은 다음의 (수학식 6)과 같다. 여기서, λ의 범위는 0~1 사이이고 합은 1이 되도록 조정한다.
상기와 같은 의미분석에 의해, 입력문장이 "나는 개를 좋아한다."일 경우, 전체 의미분석 결과는 다음과 같다.
SENSE {[LOVE] -> (AGT: I), (THM: DOG)}
TENSE {PRESENT}
< 감정분석 장치(118)(감정분석부 및 감정강도계산부) >
감정분석 장치(118)는 감정분석부(120)와 감정강도계산부(122)로 이루어지는데, 먼저 「감정분석부」(120)를 설명하면, 다음과 같다.
인간의 감정은 동작이나 제스처를 통해서 표현하거나 언어로 감정을 나타낸다. 그러나 인간이 언어로 감정을 표현하는 방법은 '나는 지금 너무 부끄러워.'와 같이 부끄러운 감정을 직접 표현하는 방법과 '나는 지금 몸 둘 바를 모르겠어.'와 같이 추상적이고 심리적으로 감정을 표현하는 방법이 있다. 또한, '나는 지금 너무 부끄러워.'에서 '지금'은 현재의 감정을 나타내고, '나는 어제 너무 부끄러웠어.'는 과거의 감정을 나타내고, '나는 아마 부끄러워 할 거야'는 미래의 감정을 나타내고 있다. 그리고 '너무 부끄러워.', '조금 부끄러워.'와 같이 같은 부끄러운 감정도 감정의 정도가 수식하는 부사어의 종류에 따라 다름을 알 수 있다.
이하, 인간의 감정을 분석하기 위해서 감정의 전달 유형에 따라 4가지 종류로 나누고, 각각에 대해서 효과적으로 감정을 분석할 수 있는 방법론을 제안한다.
첫째로, '나는 지금 너무 부끄러워.'같은 직접적인 감정표현은 의미분석을 통해서 분석하고, 둘째로, '엄청', '너무', '조금' 등의 감정의 정도는 그 감정의강도를 나타냄으로 감정의 강도를 계산하는 방법을 제안한다. 그리고, 셋째로, 감정을 추상적이고 심리적인 언어로 표현하는 경우는 심리기반 감정추론 시스템에 의해서 감정을 분석하도록 한다. 넷째로, 감정을 나타내는 단어가 주변단어와 감정관계가 있는가 없는가를 파악한다.
첫째로, 감정용언(감정동사와 감정형용사)를 이용해서 직접적으로 감정을 표출하는 경우에 대해서는, 의미분석 결과인 행위주, 대상, 경험주 등의 관계를 파악함으로써 알 수 있다.
일반적으로 감정용언은 감정의 대상을 전제로 하는 대상 의존적인 경우와 그렇지 않은 경우로 나뉘는데, 감정용언 중 '노엽다, 고맙다, 부끄럽다, 자랑스럽다, 가엽다, 부럽다' 등은 대상 의존적인 경우가 된다. 이 감정용언들은 자극의 유무에 따라 분류되는데, 이를 나타내는 표지로는 '한테', '에 대해'가 쓰인다. 또한, 감정용언의 고유속성에 나타난 심리형상은 경험주와의 관계에 따라 '우월감, 만족, 열등감' 등의 감정을 파악할 수 있다.
감정용언은 그 속성에 따라 셋으로 구분되는데, (유형 1)은 '행복하다', '기쁘다'와 같이 어떤 대상에 의해서가 아니더라도 스스로 느낄 수 있거나, 또는 그 느낌이 원인을 설명할 수 없을 경우가 있고, (유형 2)는 '사랑하다', '부럽다'와 같이 감정의 대상을 전제하는 대상 의존적인 경우가 있으며, 마지막으로 (유형 3)은 '노엽다','고맙다'처럼 대상에 의존적이면서도 그 대상한테 감정을 발생하는 자극이 있다고 보는 경우이다.
본 발명에서는 감정용언은 감정벡터로 표시되고, 각각의 감정용언은 그 유형에 따라 감정용언의 의미역과 함께 그 용언이 취할 수 있는 감정을 함께 병행 기술하여 저장함을 원칙으로 한다. 따라서, 감정용언 (유형 1)은 경험주만 파악해서 감정 추출이 가능하고, (유형 2)와 (유형 3)은 경험주와 대상의 관계를 모두 고려해서 파악해야 한다.
보다 상세하게 설명하면, 다음과 같다.
(ㄱ), 나는 아버지가 고맙다, 부끄럽다.
(ㄱ) 은 감정용언이 쓰인 문장으로서 감정동사나 심리동사는 이중주어구문을 많이 동반한다. 상기 문장을 구분분석 후, 단순히 주어 서술어 관계만 따지면 누가 누구에게 어떤 감정이 표현되는지 알 수 없는 관계이므로 의미분석을 통해야만 정확히 알 수 있다. 따라서, 구문분석 후, 의미분석을 통하여 경험주 '나'와 대상인 '아버지' 사이에는 '자극-감정 발생'의 상호관계가 이루어져 경험주 '나'의 심리적 감정은 대상인 '아버지'에 대해 고마움(부끄러움)을 느끼는 감정이라는 것을 파악할 수 있다.
둘째로, 인간이 어떤 감정을 표현할 때는 표현하는 감정의 정도를 언어적으로 나타내는데 이때, 보통 정도 부사어를 사용한다. 정도 부사어는 그 적용 대상이 가장 넓으며 형용사를 비롯하여 관형사나 동태 부사어를 두루 수식할 수 있는데, 상태 서술이나 동태 수식의 정도를 한층 높이거나 낮추는 기능, 즉, 피수식어의 의미 효과를 한층 세차게 하거나 약하게 하는 기능을 보인다.
정도 부사어가 쓰인 예문은 다음과 같다.
(ㄱ) 그 옷이 너무 좋다.
(ㄴ) 나는 그녀를 무척 사랑한다.
(ㄷ) 부모님이 퍽 걱정하신다.
(ㄹ) 머리가 좀 아프다.
정도 부사어에 대하여 예를 들면, 다음과 같다.
(a) 가장, 지극히, 극히, 최고로, 최대로
(b) 아주, 심히, 매우, 대단히, 굉장히, 참, 몹시, 사뭇, 무척, 퍽, 자못
(c) 유난히, 유달리, 워낙, 훨씬, 더욱, 더욱이, 더구나, 한층, 한결, 게다가.
(d) 상당히, 꽤, 제법
(e) 조금, 덜
(f) 너무나, 너무, 하도
앞의 정도부사어의 예에서 (a)의 보기들은 '맏높은 정도'를 나타내는 것으로서 그 강조성이 가장 높은 것이다. (b)의 것들은 최상에 가까울 만큼 그 정도를 세차게 수식하는 효과를 보인다. (c)의 보기들은 '한층 더'라는 의미를 가지고 정도를 강하게 나타내는 것들이다. (d)의 보기들은 '생각한 것보다는 더'또는 '보통 보다는 더'라는 의미로 쓰이는 정도 부사어이고, (e)는 낮은 정도를 나타낸다. 그리고 (f)는 정도가 지나침을 나타내는 것들이다.
본 발명에서는 정도부사어에 일정한 가중치를 부여하여 감정이나 동작의 강도(Intensity)를 측정하는데 이용한다. 아래 (표 9)는 정도부사어에 일정한 가중치를 부여한 표이고, 그 범위는 0~1 사이에 존재한다.
정도부사어(Intensifier) 강도(Intensity)
(a), (f) 1.0
(b) 0.8
(c) 0.6
(d) 0.4
Default 0.2
(e) 0.1
셋째로, 심리기반 감정 추론은 인간이 감정을 언어적으로 간접 표현할 때, 신체 부위나 생리적인 상태를 이용해서 은유적으로 표현한다, 즉, 인간의 신체는 다양한 감정을 표현하는 주요 근원이 된다.
먼저, 신체 부위를 범주화한 감정표현을 분석하기 위해서, 감정 표현에 관한 문장을 구문적인 관계에 의해서 두가지 경우로 나눌 수 있다. 즉, 제 1유형은 '주어(신체부위) + 서술어(감정 표현 자동사 및 형용사)', 제 2유형은 '목적어(신체부위) + 서술어(감정 표현 타동사)'의 두가지로 나눌 수 있는데, 제 1유형과 제 2유형을 분석하기 위해 입력문장을 구문분석하는 과정을 거치게 된다.
신체부위별 생리적 반응양상에 따른 감정표현에 대하여 예를 들면, 다음의 (표 10)와 같다.
신체부위 감정표현 유형 감정(Emotion)
가슴 벅차다/부풀다/뿌듯하다/설레다 기쁨(Joy)
*펴다 자부심(Pride)
뭉클하다 감동(Impression)
미어지다/쓰리다/찢어지다/*저미다 슬픔(Sorrow)
답답하다/막히다 화(Anger)
간 간장이 끓어지다 슬픔(Sorrow)
뒤집히다 화(Anger)
떨리다/오그라들다/콩알만하다 두려움(Fear)
마르다/*졸이다 긴장(Tension)
여기서, "*저미다"에서 "*"표시는 상기 제2유형 문장에 해당한다.
넷째로. 감정을 나타내는 단어는 주변단어와의 관계를 파악해야 한다. '아버지가 우셨다.'에서 동사 '울다'는 '새가 울었다.'에서도 쓸 수 있는데, '새가 울었다.'에서는 화자에게 어떤 감정을 유발하고 있는지 명확하지 않지만, '아버지가 우셨다.'에서는 화자의 감정에 영향을 미치고 있음을 알 수 있다. 따라서, 감정동사가 쓰인 문장에서는 다른 단어와의 감정관계를 규명해야 해야 하는데, 이러한 관계는 의미분석 후, 행위주와 감정관계가 있는 단어를 모은 감정관계 어휘사전을 통해서 해결한다.
상기와 같이 입력문장으로부터 인간의 감정 전달 유형에 따라 감정을 분석한 뒤에, 추출된 감정을 3차원 벡터로 표현해서 3차원 감정공간에 매핑하고, 연속하여 추출되는 감정값을 중합하여 성격모델을 형성하는 과정을 거친다. 이때, 성격모델은 입력되는 감정값 벡터를 서로 중합해 나가면서, 3차원 공간상의 한점으로 표시되고, 동시에 감정강도를 가지게 되는데, 최종적으로 결정되는 감정은 상기 방법으로 계산된 3차원 공간상의 한점과 가장 가까운 곳에 위치하고 있는 감정에 할당하게 된다.
도 7 은 본 발명에 따른 도 1 의 감정분석 장치에서의 효과적인 감정 분석을 위한 3차원 감정공간(Affect Space)에 대한 예시도로서, 각성(Arousal)축, 유발성(Valence)축, 및 스탠스(Stance)축으로 이루어진 3차원 공간상에 일부 감정을 배치한 것이다.
3차원 감정공간의 한 축을 형성하는 각성(Arousal) 축은 의식의 상태가 높은지(High), 평온한지 (Neutral), 낮은지(Low)를 결정하는 축으로서 활성화 정도를 나타낸다. 유발성(Valence)축은 어떤 행위가 끌어당기는 힘이 적극적(Positive)인가, 소극적(Negative)인가, 중립적(Neutral)인가에 따라 결정되는 축을 나타내는데 예를 들면, 어떤 감정이 쾌한지 불쾌한지의 정도를 나타낸다. 스탠스(Stance)축은 정신적, 감정적 자세가 열려있는지(Open), 닫혀있는지(Close), 중립적인지 (Neutral)를 결정하는 축이다.
감정사전(감정 명사사전과 감정용언사전)에 저장되어 있는 감정명사와 감정용언에 대한 벡터표현은 다음과 같다. 이때, 감정명사와 감정용언의 저장 형식은 "[감정명사와 감정용언의 기본형] : [감정명사와 감정용언의 어간](품사범주) {감정명사와 감정용언의 3차원 벡터값} / [감정명사와 감정용언의 지배감정]"의 형태로 구성되어 있다.
감정의 3차원 벡터값의 범위는 실제 사람들이 느끼는 감정의 정도를 실험에 의해 구한 값으로서, 감정의 정도에 따라 -1 에서 1사이의 값을 가진다.
[감정명사]
감명 : 감명(CMCPA){0.00, 0.43, 0.53}/ 감명
감회 : 감회(CMCN) {0.00, 0.22, 0.18} / 회상
거부 : 거부(CMCPA) {0.19, -0.65, -0.40} / 거부
[감정용언]
연모하다 : 연모(CMCPA) {0.03, 0.16, 0.34} / 사랑
열광하다 : 열광(CMCPA) {0.91, 0.53, 0.67} / 열광
염려하다 : 염려(CMCPA) {-0.02, -0.44, -0.27} / 염려
외롭다 : 외롭(YBHO) {-0.40, -0.58, -0.54} / 외로움
우려하다 : 우려(CMCPA) {-0.04, -0.49, -0.21} / 걱정
우습다 : 우습(YBHO) {0.15, -0.08, 0.29} / 웃음
일반적으로, 대화는 음성이나 자연어 문자를 이용한 채팅이나 모바일메시지에서의 메시지의 전달, 음성전달과 같이 상대방의 동작과 모습을 보지 못하면서 대화하는 경우와, 서로 상대방을 직접 또는 간접적으로 보면서 음성으로 대화를 주고받는 경우와 서로 상대방을 직접 또는 간접적으로 보면서 자연어 문자를 이용해서 대화를 주고받는 경우로 나눌 수 있다.
이러한 여러 가지 대화상황은, 동작과 제스처만 입력으로 들어오는 경우, 동작과 제스처와 음성입력이 들어오는 경우, 동작과 제스처 없이 음성만 입력되는 경우, 동작과 제스처없이 자연어만 입력되는 경우를 산정할 수 있는데, 이러한 모든경우에 대해 감정을 분석하기 위해 다음과 같은 절차를 수행한다.
먼저, 자연어데이터(동작, 제스처 등)를 이용해서 분석한 감정은 다음의 (수학식 7)과 같이 3차원 좌표값으로 표시된다. 이때, 감정은 감정단어의 3차원 벡터값이다.
한편, 동작데이터(음성, 자연어 문자 등)로 들어온 몸짓이나 제스처 등을 이용해서 분석한 감정은 (수학식 8)과 같이 표시된다.
한편, 자연어데이터와 동작데이터에서 추출한 감정이 동시에 들어올 때는 감정선택추론장치(124)에 의해서 적당한 감정값으로 보정되지만, 개별적으로 들어올 때는 하나의 감정값을 다른 값으로 치환한 후 연속된 감정을 계산하는데 이용한다. 다음 (수학식 9)는 입력된 감정이 동작데이터일 경우, 자연어데이터의 감정으로 치환한 후 연속된 감정을 계산하는데 이용된다.
또한, 한 문장에서 감정을 나타내는 단어가 여러 개 발생할 경우, 그리고 의미분석에 의해서 직접적으로 감정을 추론할 수 있는 경우는 (수학식 7)로 표시되는 감정벡터의 크기가 우선하는 단어에 대해서 그 문장에 대한 감정을 할당한다.
감정선택추론장치(124)의 감정선택추론부(128)에 의해서 적당하게 보정된 감정이거나 개별 감정은 연속대화의 경우 다음의 (수학식 10)과 같이 3차원 공간상의 감정벡터를 중합시키는 과정이 필요하다. 이러한 중합절차는 연속해서 들어오는 감정이 비슷하면 어느 일정한 영역에 계속 유지하게 하고, 감정이 평온한 상태에 이르면 감정벡터의 크기를 줄이면서 감정을 소멸시키고, 다시 활동적일 때 감정벡터의 크기를 늘리는 역할을 한다.
다음으로, 감정분석장치(118)의 「감정강도 계산부」(122)를 설명하면, 다음과 같다.
다음의 (수학식 11)과 (수학식 12)는 감정의 강도를 측정하기 위한 식으로서, 대화시 어느 특정 시간(t)에 그 감정의 강도를 파악하게 해 준다. 여기서, ωInt는 정도부사어에 의한 감정의 강도를 나타내고, 초기 가중치(Default)는 0.2로 할당하였다.p j는 어떤 임계값 이상의 감정이 지속되는지를 파악하기 위한 항목으로 문턱치(Threshold)는 0~1까지의 특정 값을 가지며 경험치를 사용한다. αt는 현재의 감정벡터와 이전벡터와의 거리차이를 나타냄으로서 급격한 감정 변화를 추적할 수 있다. 마지막으로 |SEIt|는 성격모듈로서, 일정기간 과거의 감정들을 추적 탐지하면서 평균적인 감정을 나타내고, 감정의 소멸과 활동을 반영해 주는 역할을 한다.
감정의 강도는 가상인격체의 감정과 동작 표현시 얼굴 감정표현과 함께, 제스처나 몸짓을 생성하는데 중요한 역할을 한다. 즉, 같은 기쁜 감정이라도 감정의 강도가 크면 클수록 그 기쁨의 정도는 가상인격체의 음성, 음성의 억양, 음성의 음색, 제스처, 몸짓, 동작등에 반영된다. 따라서, 기쁨의 감정으로 제스처나 동작을 표현하더라도 더 크고 씩씩하게 표현하게 된다
< 감정선택추론(Emotion Reasoning) 장치(124) >
본 발명의 감정선택추론 장치(124), 특히 감정선택추론부(128)에서는 동작데이터와 자연어데이터가 동시에 입력될 때는 동작데이터로 분석한 감정과 자연어데이터를 이용해서 분석한 감정은 상호 보정해서 취사선택하는 선택추론과정을 거치는데, 선택 추론과정은 다음과 같은 (수학식 13)로 표시 될 수 있다.
상기와 같은 추론 과정의 물리적의미를 상세하게 설명하면, 다음과 같다.
자연어데이터를 분석한 후 얻은 감정을 벡터로 표현한 EG(i, NLP)와 동작데이터를 분석한 후 얻은 감정을 벡터로 표현한 EG(i, MOV)의 값이 같으면, 즉, 자연어데이터를 분석한 후 얻은 감정이 놀라움(Surprise)이고, 동작데이터를 분석한 후 얻은 감정도 놀라움(Surprise)이면, 선택추론장치에서 얻은 감정도 놀라움 (Surprise)이 된다는 의미다.
한편, EG(i, NLP)의 벡터크기가 EG(i, MOV)의 벡터크기보다 크면, 즉, 자연어데이터를 분석한 후 얻은 감정이 놀라움(Surprise)이고, 동작데이터를 분석한 후 얻은 감정은 고요함(Calm)이거나 흥미(Interest)이면, 선택추론장치에서 얻은 감정은 놀라움(Surprise)이다.
한편, EG(i, NLP)의 벡터크기가 EG(i, MOV)의 벡터크기보다 작으면, 감정선택추론 장치에서 얻은 감정은 EG(i, MOV)가 지시하는 감정을 따른다.
상기와 같은 감정선택추론 장치의 학습철학은 승자독점(Winner-take-all) 조정방식을 취하는데, 인간두뇌의 추론과정을 모방한 신경망기법 중 하나인 Kohonen network에서 뉴런의 연결강도를 조절할 때 많이 사용하는 방법으로서, 인간의 감정을 추론하기에도 적합한 추론 방법이라고 할 수 있다.
< 동작 분석/생성 장치(132) >
도 8 은 본 발명에 따른 도 1 의 동작 분석/생성 장치의 일실시예 구성도이다.
동작 분석부(81)는 자연어데이터를 대상으로 입력문장에 맞는 동작을 생성하기 위해서, 입력 문장을 최소한의 단위로 나누어서 각 단위의 성격을 규명하는 역할을 하며, 이러한 역할은 지식베이스(85)를 이용함으로써 달성된다.
동작 생성부(82)는 동작분석부(81)에 의해서 생성된 XML 트리를 이용해서 각 노드에 적합한 동작을 제시하는 동작생성기(83)와 생성된 다양한 동작의 충돌문제를 해결하기 위한 동작필터(84)로 구성된다.
본 발명에서는 입력문장에서 동작과 제스처를 추출해 내는 과정을 거치는데 이러한 분석과정을 동작분석이라고 한다.
동작분석(Motion analysis)은 크게 제스처 분석(Gesture analysis)과 행동분석(Action analysis)로 나눌 수 있다. 제스처분석은 얼굴표정(눈썹모양, 눈 응시, 입술 동작 등), 손동작, 머리 동작 등으로 세분할 수 있고, 행동분석은 걷기, 뛰기, 먹기, 오르기, 춤추기, 자기 등의 동작으로 세분한다.
먼저, 입력 문장을 바탕으로 행동동사의 동작유형을 파악하기 위해서는 인간이나 동물의 동작을 설명하는 동사를 분석하면 알 수 있는데, 동사에는 크게 운동동사와 상태동사가 있고, 운동동사의 운동범위는 이동운동과 비 이동운동으로 나눌 수 있다.
(a) 이동하다. 옮기다. 이사하다.
(b) 생각하다. 염려하다. 후회하다.
(c) 먹다. 벗다. 씻다. 차다. 때리다. 춤을 추다. 노래하다.
위에서 (a)는 구체적인 대상의 이동, (b)는 인체의 정신활동, (c)는 이동 이외의 행위자(Agent)의 활동이다. (b)는 운동요소가 배제되어 있기 때문에 상태동사의 한 범주로 논의되고 있으며, 본 발명에서는 행위자(Agent)의 행동을 파악하기 위해서는 운동과 관련되는 동사((a), (c)) 중에 대상의 이동((a))보다는 대상의 활동과 관련된 동사((a))를 한정해서 신체의 움직임을 분석한다.
다음으로, 제스처를 대상으로 분석해 보면, 사람들은 서로 이야기 할 때, 말과 동시에 몸짓을 주로 사용하는데, 이런 몸짓에는 손짓, 고개를 숙이거나 젖는 동작, 어깨를 어쓱거리거나 움츠리는 동작, 눈을 흘기거나 부릅뜨는 동작, 눈썹이나 이마를 찡그리는 동작, 입술을 깨물거나 삐죽이는 동작, 뒷짐지는 동작 등이 있다. 이러한 제스쳐는 말과 동시에 발생하고, 또, 동일한 의미로 전달된다. 그리고 말의 억양이나 제스쳐, 머리나 입술 동작과 그들이 합쳐진 종합적인 표현이 자동적으로 생성되어야 자연스럽게 보일 수 있다. 그러나, 지금까지 가상인격체(예를 들면, 캐릭터, 아바타 등)을 표현하는데 있어서 말과 제스처의 중요성에도 불구하고 기술적인 난이성 때문에 무시되어 왔다.
예를 들어, 다음 문장을 분석해 보기로 한다.
철수 : 기분이 우울하신가봐요?
영희 : 네, 어제 시험에 떨어졌거든요.
철수 : 제가 뭘 도와 드릴까요?
영희 : 아니, 괜찮아요.
철수 : 그런데, 오늘 날씨 참 좋죠?
영희 : 네, 그래요.
철수 : 그럼 놀이공원에 놀러 갈까요?
영희 : 좋아요.
위의 문장에서 철수와 영희는 서로 얼굴을 쳐다보면서 이야기를 진행하고 있다. 그리고, 영희는 매번 긍정적으로 대답하면서 철수가 제안한 내용에 대해 눈썹과 이마를 펴고 고개를 끄덕이면서 좋다고 이야기 한다.
얼굴표정과 머리움직임은 그때, 그때 대화의 상황과 중요성에 의해서 좌우되는데, 얼굴표정은 다음과 같은 기능들로 세분화될 수 있다.
(1) 문장기능(Syntactic functions): 철수가 영희에게 질문 할 때("제가 뭘 도와 드릴까요?")는 고개를 들고 눈썹을 조금 올리고, 눈은 영희를 응시한다. 이 부분은, 눈을 깜박거리거나, 고개를 끄덕이거나 윙크하는 동작 등을 포함한다.
(2) 의미기능(Semantic functions): 이 기능은 대화를 주고 받으면서 화자의 감정이 문장에 나타날 때, 즉 '시궁창 냄새가 역겨워'라는 말을 하면서 얼굴을 찡그리는 동작을 하고, '이 꽃 참 예쁘네'하면서 미소를 짓는 것과 같은 얼굴 동작을 하는 것을 말한다.
위 두 가지 기능은 다음과 같은 변수에 의해서 조절된다.
화자와 청자의 성격기능(Speaker and listener characteristic functions): 문장기능은 화자와 청자의 사회적인 신분, 감정, 태도, 나이 등에 따라 조금 씩 달라지는데, 예를 들어, 키가 작은 어린이에게 '제가 뭘 도와 드릴까요?'라는 질문을 할 때, 눈은 밑으로 응시해야 한다.
청자기능(Listener functions): 화자가 이야기 할 때, 청자의 반응이 중요한데, 부정적인 답변('아니, 괜찮아요.'청자는 고개를 좌우로 흔들거나 손을 뻗어서 좌우로 흔들고 화자는 실망한다.), 긍정적인 답변('네, 그래요.'청자는 고개를 끄덕이고 화자는 기분이 좋아진다.), 동의하는 답변('좋아요.' 청자는 고개를 끄덕이고 화자는 기분이 좋아진다.) 등에 따라 화자와 청자의 얼굴표정이 조정된다.
손짓(Hand Gesture)은 다음과 같은 세부 기능으로 분류된다.
아이콘화(Iconics): 화자가 말하고 내용을 시각화하여 표현하는 것을 말한다. 즉, '이 정도의 못을 가지고 있니?' 하면서 엄지와 검지 손가락으로 못의 길이를 표현하는 것 등을 말한다. 그리고, 나는 밥을 많이 먹었어에서 많이라는 단어가 올 때는 두손으로 포옹하듯이 크고 둥글게 표현하는 것을 말한다.
은유(Metaphorics): 화자가 말하고자 하는 추상적인 특징을 표현하는 것을 말한다. 즉, 어제 우리 개가 죽었어하면서 한 팔로 목을 자르는 행동 등이 해당된다.
지시(Deictics): 화자가 '머리가 아프세요?'하면서 화자의 머리를 가리키는 행동, '나는, 저는'의 경우처럼 1인칭일 때, 자신을 가리키고, '너는, 당신은' 등의 2인칭일 경우, 상대방을 가리키는 행동등을 말한다. 3인칭의 경우는 아래의 비트(Beats) 동작을 수행한다.
비트(Beats): 화자의 제안에 청자는 '좋아요'하면서 손으로 탁자를 조금 치거나 무의식적으로 손을 위아래로 약간 움직이는 동작, '그것은 나빠'에서 '그것은'이라는 부분에서 손을 약간 위로 올리는 동작 등을 포함한다.
또한, 입력문장의 각 문장표시에 따라, 얼굴표정과 제스처, 동작이 변화하는데, 예를 들면, 감탄표시나 질문표시 등이 있을 경우는 눈썹을 올리고, 발화가 시작되거나 끝났을 경우는 상대방을 응시하는 동작 등을 말한다. 그리고, 제스처는 화행과 밀접한 관계를 가지는데, 긍정하거나 확신할 때는 머리를 끄덕이고, 부정할 때는 머리를 좌우로 흔드는 동작 등을 말한다.
다음의 (표 11)은 입력문장의 문장표시에 따라 제스처가 어떻게 변하는지를 나타낸다.
Syntactic Display Gesture
Exclamation marks, Question marks, Emphasizers Eyebrow raising
Punctuations Eyebrow movements
End of an utterance End of an utteranceEyebrow raising
Story continuation Avoid eye contact
Beginning of a story Eyebrow raising
End of a story Eye contact
다음의 (표 12)는 화행과 제스처와의 상관관계를 일부 나타낸다.
Illocutionary Acts Gesture
Confident Eyebrow raising, Head nod
Agreement, Request Eyebrow raising
Correction, Rejection Head shaking, Eyebrow lowering
또한, 얼굴표정에 대한 제스처 중 입술동작은 입력문장의 각 음절에 따라, 개별적인 입술모양 정보를 DB에 저장하고, 동작생성시 입력문장의 각 음절에 대한 입술모양정보를 해당 DB에서 가져와서 음성합성(TTS) 결과를 립싱크(Lip-synchronization)하기 위해서 사용한다.
동작 분석부(81)는 자연어데이터를 대상으로 의미분석 과정을 거친 다음에 이루어지는데, 이전에 화행분석과 구문분석, 의미분석 등 자연어의 의미처리가 끝난 상태이기 때문에, 하나의 입력 문장이 들어오면, 그 입력문장을 분석하는 것은 쉬운 일이다.
일단, 입력문장에 맞는 동작을 분석하기 위해서, 입력 문장을 절(Clause) 단위로 나누는 과정이 필요하다. 절은 이때, 테마(THEME)과 레마(RHEME)로, 두개의 더 작은 단위로 나눈다. THEME는 이전의 대화에서 언급했던 부분을 말하고 RHEME는 새로운 부분을 말하는데, 화자의 말이'그는 누구야?'이고 청자의 말이'그는 학생이야'라고 할 때, THEME는 '그는'이고 RHEME는'학생이야'이다. 대부분의 제스처 활동이 RHEME에서 많이 발생하기 때문에 THEME에 비해서 상대적으로 중요한 부분이다.
그 다음으로, 가장 작은 단위인 단어(Word)로 나누는데 있어서, 명사일 경우는 객체(Object)에, 동사일 경우는 술어(Predicate)에, 동사 중에서 행위자의 활동을 나타내는 동사는 액션(Action)으로 할당한다.
대상과 술어, 액션은 지식베이스에 기재되어 있고, 대상은 대상 데이터베이스에서 찾고, 술어는 술어 데이터베이스에서, 액션은 액션 데이터베이스에서 찾는데, 동작분석부(81)는 술어와 액션에 해당하는 동사의 어근을 이용해서 데이터베이스에서 해당 술어와 액션에 해당하는 지식을 찾는다. 만약 해당 동사를 정확하게 찾지 못하였을 경우는 그 동사의 상위어에 해당하는 동사를 찾는다. 상위어에 대한 정보는 본 발명에서는 WordNet을 한국어로 번역하여 이용한다.
이전 화자의 발화에서 나타나지 않는 단어는 NEW 태그가 붙여지고, 이러한 태그는 억양(Intonation)의 추가나, 눈썹운동(Eyebrow motion), 손짓(Hand gesture) 등으로 강조된다. 입력 문장에 쓰인 단어들 중, 그 어미가 서로 대조되는 것은 특별히 강조할 필요가 있는데 이런 경우는 억양이나 손짓으로 표시할 수 있다. 또한, 감정분석장치(118)에 의해서 분석된 감정과 감정의 강도도 표시하는데, 이상에서 언급한 동작분석시 이용되는 태그목록은 다음과 같다.
Clause
Theme and Rheme
Word newness
Contrast
Object, Predicate, action
Syntactic Display
Illocutionary Acts
Emotion
Intensity of Emotion
도 9 는 본 발명에 따른 도 8 의 동작 분석부에서의 동작분석 결과를 트리구조로 나타낸 계층도로서, 도면에 도시된 바와 같이, 동작분석된 결과는 트리구조를 가진다. 도 9 는 화자가 "그는 어제 뭐했니?"라고 물었을 때, "그는 집에서 놀다가 점심을 먹었다"라고 청자가 답변한 대화문장이다.
다음은, 동작 분석/생성 장치(132)의 「동작 생성부(82)」에 대하여 설명한다.
도 8 에 도시된 바와 같이, 동작 생성부(82)는 동작생성기(83)와 동작필터(84)로 구성된다.
동작생성과정에는 행동 가능한 모든 동작들이 생성되고, 이중에서 가상인격체의 성격이나 대화상황과 잘 어울리는 동작을 필터링하게 된다. 본 발명에서는 동작분석/생성 장치(132)에 이용하는 데이터구조를 기술하기 위해 XML을 이용하는데, XML은 정보를 기술하기 위한 가장 자연스러운 언어이다.
지식베이스(Knowledge Base)(85)에는 텍스트 그 자체로부터 이해할 수 있는 세상(World)에 대한 기본 지식이 들어있다. 현재, 지식베이스는 3개의 XML파일로 저장되어 있는데, 하나는 '객체(Object)'에 대해서 설명하고 있고, 다른 하나는 '술어(Predicate)'에 대해서 설명하며, 나머지는 '액션(Action)'에 대해서 설명하고 있다.
지식베이스(85)는 일반적인 대상과 술어, 액션 기재의 기본이 되면서 서로 다른 영역으로 쉽게 확장이 가능하고, 동작생성부(82)의 효율성을 증대시키는 역할을 한다.
객체(Object) 지식베이스는 객체유형(Object Type)과 그 객체유형에 해당하는 실례(Instance)로 구성되어 있는데, 객체에는 객체의 성격에 따라 직업 (PROFESSIONAL), 감정(EMOTION), 역할(ROLE), 나이(AGE), 성별(SEX) 등으로 나뉘어서 적당한 값을 할당받고, 다음과 같은 기재형식을 갖게 된다.
<TYPE NAME= "PROFESSIONAL" CLASS="PERSON">
<FEATURE NAME="EMOTION" TYPICAL="JOY"/>
<FEATURE NAME="ROLE" TYPICAL="ANY"/>
<FEATURE NAME="AGE" TYPICAL="25-50"/>
<FEATURE NAME="SEX" TYPICAL="MAN"/>
</TYPE>
<INSTANCE OF = "PROFESSIONAL"
ID= "ANNOUNCER1"
ROLE= "ANNOUNCER"
TYPE="VIRTUAL"
/>
액션(Action) 지식베이스는 영역액션과 그 액션이 묘사하는 행동을 기재하는데, 손으로 머리를 가리키는 동작과 오른쪽 어깨를 앞으로 내미는 동작은 다음과 같다.
< BODY_POSTURE TYPE="DEICTICS_HEAD" VALUE="VIRTUAL">
<RIGHTARM HANDSHAPE="3" HANDMOVE="BEND_UP" TRAJECTORY="moves from DOWN toward UP" />
</ BODY_POSTURE >
<BODY_POSTURE TYPE="SHOULDER" VALUE="VIRTUAL">
<RIGHT_SHOULDER SHOULDER_SHAPE="5" SHOULDER_MOVE="FRONT "TRAJECTORY ="moves from BACK toward FRONT" />
</BODY_POSTURE >
술어(Predicate) 지식베이스는 제스처 기재하는데, 기재 형식은 다음과 같다.
<GESTURE TYPE="MOVE" VALUE="BEAT">
<RIGHTARM HANDSHAPE="4" TRAJECTORY=null/>
</GESTURE>
동작 생성부(82)는 동작 분석부(81)에 의해서 생성된 XML 트리에서 작동하는데, 다음은 동작 생성부(82)에서 동작 분석부(81)에 의하여 생성된 XML 트리의 각 노드에 적합한 동작을 제시하기 위한 알고리즘을 의사코드(Pseudocode)로 표시하여 나타낸다.
FOR each RHEME node in the tree
IF the RHEME node contains at least one NEW node
THEN Suggest a BEAT to coincide with the OBJECT phrase
여기서, BEAT 제스처란 일반적으로 자연스러운 대화상태에서 약 50%정도 발생하므로 다른 제스처보다 상대적으로 낮은 우선순위를 부여하였다. BEAT 제스처 뿐만 아니라 Iconic, Eyebrow, Gaze 제스처 등도 이와 유사하게 의사코드로 표시할 수 있고, 이렇게 다양한 제스처를 생성하고 나면 많은 제스처들이 서로 충돌하게 되는데, 이때, 이런 문제를 해결하기위해서 낮은 우선순위를 가지는 제스처는 충돌할 때 제거하도록 하는 동작필터(84)를 이용한다.
도 10 은 본 발명에 따른 도 8 의 동작 생성부에서의 동작생성 결과를 트리구조로 나타낸 계층도이며, 도면에 도시된 바와 같이, 동작 생성 결과는 트리구조를 갖는다.
도 10 은 화자가 '그는 어제 뭐했니?'라고 물었을 때, '그는 집에서 놀다가 점심을 먹었다' 라고 청자가 답변한 대화문장이다.
위 대화문장에서 청자가 대답한 문장인 '그는' 은 화자가 이미 물어봤던 내용이므로 덜 중요하기 때문에 목소리를 조금 낮추어야 하고, 특별히 강조되는 부분은 청자의 질문 중 무엇에 해당하는 '놀다가 점심을 먹었다' 부분이다. 따라서, 이부분은 목소리를 높이게 되고, '그는' 부분은 BEAT 제스처를 동반하면서 눈동자를 다른데 응시했다가 점차적으로 청자를 바라보며 이야기 하다가, 마지막, '먹었다'부분에서는 행동동사 '먹다'에 해당하는 동작을 취하게 된다.
< 감정/동작 계획(Emotion/Behavior Scheduling) 장치(138) >
인간이 단어(Word)를 이용해서 다른 사람과 커뮤니케이션 할 때, 억양(Intonation)이나 손짓(Hand gestures), 얼굴표정(Facial displays), 눈 응시(Eye gaze), 머리 움직임(Head gesture)과 몸짓(Body posture) 등은 개별적으로 이루어지는 게 아니라, 두개 이상의 동작이 거의 동시에 발생한다.
화자는 자신이 중요하다고 생각되는 단어를 크게 말하고, 단어와 관련된 제스처를 하게 된다. 이야기가 다 끝나 갈 때, 화자는 청자를 향하여 눈을 돌리고, 화자의 이야기에 수긍하면 화자가 눈을 이동할려는 찰나에 청자는 고개를 끄덕일 것이다.
동작 분석/생성 장치(132)의 동작이 끝난 후, 마지막 단계는 동작 생성된 XML트리를 애니메이션 시스템(Animation system)으로 실현시키거나 랜더링 (Rendering)하기 전에 애니메이터(Animator)에 의해 편집될 수 있는 소스 기술(記述)(Source description)로 바꾸는 작업이 필요하다.
가상인격체의 동작과 말을 동시에 발생시킬 수 있는 방법에는 두 가지 방법이 있는데, 첫째로, 단어와 음소 타이밍의 추정치를 얻어서 실행 전에 애니메이션 동작계획을 세우는 것이고, 둘째로, TTS(Text-To-Speech) 엔진을 이용하여 실시간 이벤트의 이용가능성을 추정하는 방법이다.
다음의 (표 13)에서는 위의 두 방법의 입력으로 들어갈 소스 기술을 간단하게 보여주고 있다, 최종적으로 가상인격체가 얼굴표정, 동작, 제스처를 음성과 타이밍을 맞춰 실연되는데, 감정분석 장치(118)에서 구한 감정과 감정의 강도가 실연될 가상인격체의 감정과 동작의 강도를 조절하게 된다.
(표 13)에서 시간기반 계획의 경우, 감정은 평온(Calm)이며 감정강도는 0.5이다. 여기서, 임의의 임계치(강도 평균값 = 0.5)와 비교하여 감정강도가 임계치보다 크면 가상인격체의 음성, 음성의 억양, 음성의 음색, 제스처, 몸짓, 동작 등의 동작범위를 보통보다 크게 하고, 임계치보다 작으면 동작의 범위를 작게 하여 감정이 음성이나, 제스처, 동작 등에 반영되도록 하였다. 또한, 입력 문장에서 의미분석 정보인 행위주(Agent), 장소(Location), 대상(Theme) 등과 동작생성 정보인 객체(Object)와 술어(Predicate), 액션(Action)에 대한 정보가 통합 제시되는 것을 특징으로 한다.
Time based Scheduling Agent , Location , ThemeObject, Predicate , ActionTenseEmotion = CalmEmotion intensity = 0.5T=0, begin SpeechT=13, Begin Behavior1T=25, Begin Behavior2 & Behavior1T=37, Begin Behavior3T=52, End Behavior3
Event based Scheduling Agent , Location , ThemeObject, Predicate , ActionTenseTenseEmotion = CalmEmotion intensity = 0.5BeginIF Event1 THEN Begin Behavior1IF Event4 THEN Begin Behavior2IF Event5 THEN End Behavior3
보다 상세히 설명하자면, 감정/동작 계획 장치(138)에서는 이벤트기반 계획일 경우, (표 13)를 이용해서 가상인격체가 취할 행동 부분만 추출하여, (표 14)에 다음과 같은 상세 소스기술로 출력한다.
<Animation_Event: GAZE & R_GESTURE W=1 t=0.0 TONE=L SPEC=AWAY_FROM_HEARER&BEAT EMOTION=CALM INTENSITY=0.5><Animation_Event: L_GESTURE_START&R_GESTURE_START&GAZE&EYEBROWS_START W=2 t=0.513 TONE=H SPEC=LOCATION_HOUSE*TOWARD_HEARER EMOTION = CALM INTENSITY=0.5><Animation_Event: ACTION W=5 t=1.352 TONE=H SPEC=EAT EMOTION = CALM INTENSITY=0.5>
본 발명에서의 감정/동작 계획 장치(138)는 (표 14)와 같은 소스기술을 바탕으로 애니메이션 시스템(Animation system)으로 실현시키거나 즉시 랜더링 (Rendering)할 수 있다.
< 영상정보 입력 장치(140) >
도 11 은 본 발명에 따른 도 1 의 영상정보 입력 장치에 적용되는 영상정보 입력 방법에 대한 일실시예 흐름도이다.
통상적으로 어떤 가상인격체를 표현하기 위해서는 표현하고자 하는 가상인격체의 얼굴 특징 및 여러 가지 신체 특성 즉, 신체 사이즈들을 제대로 표현해 주어야 한다.
본 발명에서 사용되는 기본 캐릭터 영상은 얼굴의 특징을 강조하는 캐리커쳐 영상이거나, 애니메이션 효과를 포함하는 2D나 3D 캐릭터 영상, 얼굴의 부분 색상정보를 치환한 메이크업 영상, 또는 목탄 효과나 수채화 효과와 같은 다양한 영상 필터를 적용한 명도/칼라 영상 등이 이용될 수 있다. 이러한 가상인격체의 얼굴과 신체 영상에 자연어 입력문장에 대한 가상인격체 얼굴전체의 표정정보와 제스처, 동작정보를 복원하기 위해서, 입력영상에 대한 개념적인 분석이 필요하다.
영상정보 입력 장치(14)는 사용자로부터 가상인격체 신체정보와 가상인격체 상세정보를 선택받은 후(1100, 1101), 영상 DB(1103)를 이용해서(1102) 가상인격체의 기본적인 얼굴표정, 제스처, 동작 등을 각각의 얼굴표정DB(1104), 제스처DB(1105), 동작DB(1106)에서 선택하여 기본적인 가상인격체를 생성한다 (1107).
따라서, 영상정보 입력 장치(140)는 가상인격체의 영상정보에 해당하는 얼굴표정, 제스처, 동작 등에 대한 영상 DB를 미리 구축함으로써, 사용자가 원하는 개성 있는 가상인격체를 차별적으로 생성할 수 있게 한다.
한편, 영상 DB를 이용하지 않을 경우에는(1102), 가상인격체의 감정과 감정의 강도를 조절함으로써(1109), 각각의 감정과 감정의 강도에 따른 얼굴표정, 제스처, 동작에 대한 영상을 감정영상DB(1108)에서 가져온 후, 가상인격체의 얼굴표정, 제스처, 동작을 일괄적으로 선택하고, 최종적으로 기본적인 가상인격체를 생성한다(1107).
< 영상정보와 감정/동작 합성 장치(142) >
도 12 는 본 발명에 따른 도 1 의 영상정보와 감정/동작 합성 장치의 일실시예 구성도이다.
종래의 캐릭터 시스템은 사전제작에 의해 가상캐릭터의 동작을 생성하기 때문에 실시간으로 얼굴표정이 바뀌면서 동작을 하는 것이 대단히 어렵고 단지 정해진 시나리오대로 동작을 연출하는 수동적인 가상캐릭터 기능만 제공하였다.
그러나, 본 발명에서는 입력문장에 따라 자동적으로 가상인격체를 생성하고 감정을 표현할 수 있으며, 실시간으로 얼굴표정과 제스처, 동작을 변화시키는 애니메이션이 가능하다.
또한, 본 발명은 영상정보 입력 장치(140)에 의해 입력되는 가상인격체의 얼굴과 신체 영상에 감정/동작 계획 장치(138)에서 계획한 소스기술을 적용하여, 이를 기반으로 자연어 문장에 대해서 가상인격체의 얼굴표정과 제스처, 동작정보를 복원하고, 시간이나 이벤트에 따라 변화는 연속된 정보에 대응하여 새로운 합성영상을 만들어 낸다.
보다 상세히 설명하자면, 감정/동작 계획 장치(138)에 의해서 계획된 감정기반 얼굴표정, 제스처와 동작은 가상인격체의 자연스러운 애니메이션이 가능할 수 있도록, 감정/동작 관리부(1201)에 의해 얼굴표정, 제스처, 동작 DB(1204)가 제어된다.
또한, 감정분석 장치(118)에 의해 분석된 감정과 감정의 강도는 감정에 따른 얼굴표정, 제스처, 동작의 선택과, 감정강도에 따른 얼굴표정, 제스처, 동작의 선택이 동시에 이루어지는데, 이러한 과정은 감정/동작 관리부(1201)에 의해서 처리된다.
언어정보 관리부(1202)는 최소 언어정보 단위에 따른 얼굴표정, 제스처, 동작정보와 자연어 입력문장의 음절, 단어레벨에 대한 입술모양 DB(1205)를 제어하고, 화행에 따른 얼굴표정, 제스처, 동작이 연속적으로 구현된 애니메이션 DB(1206)를 저장관리한다.
여기서, 얼굴표정, 제스처, 동작의 선택과 화행에 따른 애니메이션의 충돌을 방지하기 위해 우선순위에 따라 취사선택하는 합성필터(1203)를 이용한다.
영상정보 제어부(1200)는 감정/동작 관리부(1201)와 언어정보 관리부(1202)를 동시에 제어함으로써, 동적 가상인격체 생성부(1207)가 실시간으로 동적인 가상인격체를 생성하도록 한다.
< 배경 생성 장치(144) >
도 13 은 본 발명에 따른 도 1 의 배경 생성 장치의 일실시예 구성도이다.
배경 생성 장치(144)는 자연어 입력정보를 바탕으로 단어나 어절, 형태소 정보를 이용하여 가상캐릭터의 얼굴표정, 제스처, 몸동작을 실시간으로 제어하고, 언어정보를 분석하여 배경 그래픽 세트를 실시간으로 변동시킴으로써, 가상캐릭터와 배경 그래픽의 상호연동이 가능하게 한다.
또한, 배경 생성 장치(144)는 '내가 어릴 때, 개울가에 가재 잡으러 많이 갔지' 등과 같이 과거의 일을 회상하면서 이야기 할 때는 회상의 공간적인 배경인 '개울가'와 시간적 배경인 '내가 어릴 때'로 화자의 유년시절인 것으로 유추할 수 있으므로, 회상기법에 의해서 배경이미지와 가상 캐릭터의 유년시절 이미지를 합성하여 배경이미지로 처리하게 된다.
배경분석은 크게 시간적 배경과 공간적배경으로 구분할 수 있는데, 시간적 배경은 시간을 나타내는 숫자나 단어가 단독으로 쓰일 때와 조사(에, 에는 등)와 같이 쓰일 경우를 나타나고, 자연어 입력문장에서 공간적 배경분석은 화행분석 시스템에서 언급했던 것처럼, 육하원칙의 Where의 구성요소를 추출해내는 것으로써, 장소명사(구)에 '에', '에서'등의 처소격 조사가 붙은 것이 배경에 해당한다.
이러한 When과 Where구성성분을 분석하기 위해서는 시간명사와 장소명사에 대한 정보를 알아야 하는데, 이러한 정보는 자연어 문장(1301)으로부터 가도카와 시소러스(1302)를 이용하여 구한다. 그리고, 시간과 공간상의 배경이미지는 시간배경DB(1304)와 공간배경DB(1305)에 각각 저장되어 자연어문장에 따라 공간/시간 배경선택부(1303)에 의해서 선택적으로 공간적 배경과 시간적 배경을 취하게 된다.
자연어 문장에서 시간과 공간정보을 추출하기 위한 패턴 정보는 (표 15)에자세히 정리되어 있다.
육하원칙 성분 보 기
When 숫자+년/월/일/시/분/초,작년/올해/오전/오후/낮/밤 등
Where 장소명사(구) + 에,에서 등
또한, 가상인격체와 배경 그래픽 세트를 자연스럽게 합성할 수 있는 영상 합성부(1310)는 배경 생성 장치(144)에서 가상캐릭터와 배경 그래픽 세트를 영상출력과 합성할 때, 배경정보DB(1313)를 이용하여 그래픽 워크스테이션의 그래픽 처리속도 만큼 음성이나 자연어 출력 속도를 딜레이 시키는 프레임 딜레이부(1312)를 바탕으로 실시간으로 가상인격체를 생성한다(1311).
도 14 는 본 발명에 따른 도 1 의 배경 생성 장치에서 2차원(2D) 배경 화면과 가상인격체을 중첩하여 표현한 화면 구성도이고, 도 15 는 본 발명에 따른 도 1 의 배경 생성 장치에서 2차원(2D) /3차원(3D) 가상환경에 가상인격체를 삽입하여 표현한 화면구성도이다.
영상합성부(1310)는 사진이나 이미지로 구성된 2D 배경 화면에 가상인격체를 중첩시켜 나타내거나(도 14 참조), 2D나 3D 가상환경에 가상인격체를 삽입하여 표현한다(도 15 참조).
< 통합 출력 장치(146) >
도 16 은 본 발명에 따른 도 1 의 통합 출력 장치의 일실시예 구성도이다.
영상정보와 감정/동작 합성 장치(142)에 의해 생성된 최종 결과물은 영상정보와 감정/동작 합성 관리부(1600)에 의해서 관리되고, 배경 생성 장치(144)의 출력결과는 배경생성 관리부(1601)에 의해서 관리된다.
영상정보와 감정/동작 합성 관리부(1600)와 배경 생성 관리부(1601)에 의해 제어되는 가상인격체(1602)와 배경정보(1603)는 최종적으로 영상 디스플레이부 (1604)에 의해서 영상이 출력되고, 음성 출력부(1605)에서는 TTS시스템에 의해 자연어를 음성데이터로 변환하여 음성으로 출력되며, 자연어 문장은 텍스트 출력부(1606)에서 출력된다.
또한, 통합 출력 장치(146)는 입력 데이터에 대하여 출력되는 영상 출력에 대응하는 음성과 텍스트를 함께 출력한다.
이상으로 본 발명을 구성하고 있는 주요 성분들에 대해서 설명하였다. 본 발명의 좀 더 구체적인 이해를 위해서 본 발명이 적용될 수 있는 일부 실시예의 하나로, 2차원 아바타 채팅의 경우에 대해서 설명하면 다음과 같다.
도 17a 및 도 17b 는 본 발명에 따른 감정에 따른 가상인격체(캐릭터)의 표정에 대한 예시도로서, 2차원 아바타 채팅에 사용되고 있는 감정에 따른 가상인격체(캐릭터)의 표정을 나타내고, 도 18 은 본 발명에 따른 화행의 일종인 인사(Greeting)에 대한 가상인격체의 연속적인 동작표현에 대한 예시도이며, 도 19 는 본 발명에 따른 화행의 일종인 수용(Acceptance)에 대한 가상인격체의 연속적인 동작표현에 대한 예시도이다.
도 20 은 본 발명에 따른 자연어 입력문장에 대하여 감정기반 얼굴표정, 제스처, 및 동작에 대한 일실시예 설명도이다.
일반적으로 채팅에서는 대화문장은 단문 뿐만 아니라 장문도 사용하게 되는데, 화자가 '아이스크림 좀 드실래요?' 라고 질문할 경우 청자가 '나는 밥을 많이 먹었더니 배가 불러 더 이상 못 먹겠어요'라고 응대한다면, 영상정보와 감정/동작 합성 장치(142)가 시간이나 이벤트에 따라 얼굴표정, 제스처, 동작정보를 합성하여 도 20 과 같이 표현한다. 따라서, 도 20 은 자연어 입력문장인 '나는 밥을 많이 먹었더니 배가 불러 더 이상 못 먹겠어요'에 대하여 감정기반 얼굴표정, 제스처, 동작을 연속적으로 나타낸 것이다.
도 21 은 본 발명이 적용되는 2차원(2D) 채팅 서비스와 종래의 채팅 서비스와의 비교 설명도로서, 종래의 채팅 서비스, 즉 세이클럽(http://www.sayclub.com)에서 상업적으로 서비스하고 있는 채팅서비스에서 채팅창과 본 발명에 따른 채팅창을 비교하는 도면이다.
세이클럽에서는 감정표현을 마우스로 일일이 클릭하면서 캐릭터의 얼굴모양을 변화시켜 자신의 감정을 표현하지만, 본 발명에서는 입력된 대화문장의 내용을 의미적으로 완전히 이해해서 대화문장에 따라 실시간으로 캐릭터의 표정변화와, 제스처, 동작변화가 가능하다. 즉, 본 발명에 의해 서비스하는 채팅은 2D채팅 시스템에서 사용자의 자연어 입력문장에 대응하여 가상인격체가 자유로운 얼굴표정, 제스처, 동작과 함께 음성을 전달할 수 있는 채팅 시스템이다.
도 22 내지 도 24 는 본 발명이 적용되는 2차원 아바타 채팅서비스에서 작동하고 있는 감정/동작 분석 엔진의 출력에 대한 일실시예 설명도이다.
도 22 에 도시된 바와 같이, 임의의 입력문장인 '나는 산에 갔다'에 대해서, 감정/동작분석 엔진은 감정분석1에서는 화행, 기본감정, 지배감정을 제공하고, 감정분석2에서는 활성화도, 쾌-불쾌도, 감정강도의 값을 제공하며, 의미분석에서는 행위주, 경험주, 대상, 장소에 대한 의미역을 제공하고, 동작분석에서는 각 단어에 대해서 생성된 동작과 제스처 등을 보여준다.
입력문장인 '나는 산에 갔다'에 대해서는, 감정분석에 의해서 특별한 감정을 추론할 수 없었기 때문에 감정분석값이 없지만, 의미분석한 결과, 행위주는 '나', 장소는 '산'이라는 것을 알 수 있기 때문에, 배경 생성 장치(144)에 의하여 배경이미지가 자동적으로 산으로 교체된 것을 알 수 있다.
이는 도 23 에서 '나는 바다에 갔다'라는 입력문장을 통해서도 잘 알 수 있다.
도 24 는 '나는 호랑이를 무서워해'라는 입력문장에 대해서 감정/동작분석 엔진으로 분석한 결과를 나타낸 것으로써, 감정분석1에서는 기본감정을 '무섭다'로 분석하고, 지배감정은 '두려움'으로 분석한 것을 알 수 있다. 또한, 감정분석2에서 활성화도, 쾌-불쾌도, 감정강도에 대한 각각의 감정값을 보여주고 있는데, 기본감정인 '무섭다'에 대한 감정강도 값은 0.468로, 지배감정인 '두려움'을 기본으로 하여 얼굴표정, 동작, 제스처를 감정강도의 정도에 따라 다르게 조정한다. 마지막으로 동작분석결과에 따라 가상인격체는 연속적으로 감정과 동작을 표현하게 된다.
상술한 바와 같은 본 발명의 방법은 프로그램으로 구현되어 컴퓨터로 읽을수 있는 형태로 기록매체(씨디롬, 램, 롬, 플로피 디스크, 하드 디스크, 광자기 디스크 등)에 저장될 수 있다.
이상에서 설명한 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 있어 본 발명의 기술적 사상을 벗어나지 않는 범위내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.
다시 말해, 동작이나 제스처(얼굴모양), 음성(억양, 음색) 등과 자연언어로 된 문서나 문장들이 매우 다양한 서로 다른 성분과 서로 다른 기능을 포함할 수 있다는 것은 당해 기술 분야에서 잘 알려져 있다. 본 발명의 또 다른 실시예는 서로 다른 구성요소들과 서로 다른 기능들의 혼합을 포함할 수 있고, 다양한 구성요소의 일부로서 여러 가지 기능을 그룹 지을 수 있다.
보다 명확하게, 본 발명은 서로 상이한 혁신적인 성분들과 이들의 혁신적인 조합을 포함하는 시스템으로 설명된다. 다만, 본 명세서에서 설명하는 실시예에 나열된 혁신적인 모든 성분들의 조합으로 본 발명을 한정하고자 하는 것은 아니다.
더욱이, 개개의 자연어로 이루어진 텍스트 형식, 자연어 기술언어 및 연산자의 우선순위 방법을 변경하는 것은 자연언어 처리분야와 인공지능 시스템에 대한 당업자들에게 잘 알려져 있다. 구성요소의 특정 구현언어 또는 포멧에 대한 개시는 특허청구범위에 기재되어 있지 않는 한 본 발명을 한정하는 것이 아님은 명백하다.
상기와 같은 본 발명은, 다음과 같은 효과가 있다.
첫번째, 본 발명은, 온라인 대화환경에서, 기존의 정적인 아바타에게 제스처나 얼굴표정을 가미함으로써 현실감을 높일 수 있는 효과가 있다.
두번째, 본 발명은, 인간의 대화상황에서 단어(Word)와 동작사이의 관계, 화행과 동작사이의 관계, 감정과 동작사이의 관계를 통합적으로 규명함으로써, 가상인격체가 인간처럼 감정을 가지고 말하면서 동작할 수 있게 하는 효과가 있다.
세번째, 본 발명은, 텍스트에서 문맥정보와 언어정보, 의미정보를 추출하여 음성의 억양, 얼굴, 손, 팔의 운동을 조절할 수 있게 하는 효과가 있다.
네번째, 본 발명은, 가상인격체가 인간의 동작을 취할 때, 텍스트나 동작으로부터 추출된 감정은 가상인격체가 취할 수 있는 동작을 제어하는데 이용한다. 예들 들면, 음성의 억양 제어시, 기분 좋을 때는 음성의 억양을 높고 명확하게, 기분이 침울할 때는 억양을 낮게 조절할 수 있는 효과가 있다.
다섯번째, 본 발명은, 3차원 감정 벡터 공간을 제안하고, 감정을 3차원 상에 표현할 수 있는 방법을 제시함으로써, 감정의 수치화 방안을 제공하는 효과가 있다.
여섯번째, 본 발명은, 감정단어를 벡터로 표현함으로써, 3차원 감정 벡터 공간상의 다른 감정과의 상관관계를 규명하는 효과가 있다.
일곱번째, 본 발명은, 입력 텍스트가 주어지면 몸짓과 제스처를 사용하여, 그 텍스트에 내포된 감정을 표현하면서, 텍스트를 암송하는 가상인격체의 비디오 장면을 제작할 수 있게 하는 효과가 있다.
여덥번째, 본 발명은, 입력 텍스트에서 내포한 감정에 의해, 가상인격체의 얼굴표정, 제스처나 몸짓의 거칠기 정도, 억양의 강약 등을 결정하는데 이용할 수 있는 효과가 있다.
아홉번째, 본 발명은, 자연어 분석을 통해서 인간의 감정을 분석함으로써 감정이 동작에 미치는 영향에 대한 역학관계를 규명하는 효과가 있다.
열번째, 본 발명은, 휴대폰 문자메시지나 이메일, 전자게시판의 문서 등에서 문서요약방법을 이용해서 감정과 동작추출이 가능하게 하는 효과가 있다.
열한번째, 본 발명은, 아나운서역할을 맡은 가상인격체(캐릭터, 아바타, 로보트 등)이 뉴스를 실시간으로 음성으로 낭독하면서 제스처를 취할 때, 연속되는 문장을 음성으로 낭독하면서 시간에 따른 감정변화를 얼굴표정으로 나타낼 수 있고, 또한, 감정변화에 따라 제스처의 동작범위를 자연스럽게 조절할 수 있게 하는 효과가 있다.
열두번째, 본 발명은, 감정에 따른 얼굴표정, 제스처와 동작을 자연스럽게 생성가능하기 때문에 고객이 원하는 각종 정보를 가상인격체가 마지 실제로 사람이 이야기 하듯이 실시간으로 읽어주며 안내할 수 있어서, 인터넷, TV, 영화, 연극, 공공기관, 백화점, 쇼핑몰, 전시장, 호텔, 학교, 광관안내소 등 많은 사람이 이용하는 장소에서 고객에게 차별화된 정보를 제공하는 효과가 있다.
열세번째, 본 발명은, 2차원이나 3차원 채팅환경에서 채팅도중 대화내용을 바탕으로 배경이미지를 자연스럽게 변화시킬 수 있고, 지난 일을 회상하면서 머리속의 추억을 가상캐릭터와 배경이미지를 통해서 표현할 수 있게 하는 효과가 있다.
열네번째, 본 발명은, 자연언어로 된 문서나 문장에서 감정과 동작을 추출하여 디지털 컨텐츠로 이용하는 것을 가능하게 하는 효과가 있다.
열다섯번째, 본 발명은, 자연언어로 된 문서나 문장에서 감정과 동작을 추출하여 가상인격체로 하여금 자연스러운 감정표현과 동작구현을 가능하게 함으로써 감정표현과 동작구현의 새로운 패러다임 구축하게 하는 효과가 있다.
열여섯번째, 본 발명은, 세계최초의 감정/동작 분석엔진을 바탕으로 국내 산업기반 전체를 기술적으로 업그레이드시키는 효과가 있다.
열일곱번째, 본 발명은, 도메인에 독립적인 감정표현과 동작구현기술로 타 시스템과의 호환성을 보장하는 효과가 있다.
열여덟번째, 본 발명은, 문서나 문장으로 된 자연언어를 초고속으로 화행분석 및 의미분석할 수 있게 하는 효과가 있다.
열아홉번째, 본 발명은, 기존의 문서나 문장의 수정 없이도 무한정으로 감정표현, 동작구현을 가능하게 하는 효과가 있다.
스무번째. 본 발명은, 유저나 게이머가 입력한 대화글로부터 실시간 감정표현과 동작구현이 가능하므로, 모바일, 온라인 게임과 디지털 콘텐츠 시장의 활성화 및 새로운 시장 창출할 수 있는 효과가 있다.
스물한번째, 본 발명은, 자연스럽게 감정을 표현하고 동작을 구현할 수 있는 수화 시스템의 제작을 가능하게 하는 효과가 있다.
스물두번째, 본 발명은, 게임 속의 대화모듈에서 자유롭게 감정표현하고 동작하는 가상캐릭터를 구현함으로써, 다마고치류의 육성 시뮬레이션 게임, 롤플래잉게임등에 이용할 수 있게 하는 효과가 있다.
스물세번째, 본 발명은, 지능적인 아바타가 안내하는 아바타 쇼핑몰 시스템이나 아바타를 이용한 팬시 쇼핑몰에 이용할 수 있는 효과가 있다.
스물네번째, 본 발명은, 개인 홈페이지, 기업 홈페이지 등에서 아바타를 이용한 웹사이트 도우미 시스템에 이용될 수 있는 효과가 있다.
스물다섯번째, 본 발명은, 사람과 대화 가능한 로봇애완견, 완구류, 전자재품, 모닝콜시스템 등의 로봇 시스템에 응용될 수 있는 효과가 있다.
스물여섯번째, 본 발명은, 의료분야, 교육분야, 기술분야 등 질의응답을 구현할 수 있는 전문가 시스템에 가상에이전트를 제공할 수 있는 효과가 있다.
스물일곱번째, 본 발명은, 미취학 아동을 대상으로 아바타가 동화책을 읽어주는 동화책 구독 시스템이나 뉴스나 메일, 문자서비스를 읽어주는 아바타 대행 서비스에 이용될 수 있는 효과가 있다.
스물여덟번째, 본 발명은, 전화로 대화할 때, 아바타로 감정을 표현하고 동작을 구현하는 전화대행 아바타 시스템에 이용될 수 있고, 음성인식/합성과 연동되는 인공두뇌 시스템의 시발점이 되는 효과가 있다.
스물아홉번째, 본 발명은, 박물관, 백화점, 전시장 등 각종 안내시스템 대행 서비스를 가능하게 하는 효과가 있다.
서른번째, 본 발명은, 가상인격체와 자유롭게 대화가 가능한 인공지능 채팅 시스템에 이용될 수 있고, PC나 웹에서 활동하는 인공생명 응용 서비스에 적용될 수 있는 효과가 있다.
서른한번째, 본 발명은, 가상 시뮬레이션, 영화, 연극, 애니메이션 자동 제작 서비스와 사이버 가수, 모델, 아기, 비디오자키, 교수, 아나운서 시스템 등에 이용될 수 있는 효과가 있다.
서른두번째, 본 발명은, 동작과 제스처, 얼굴모양, 얼굴색깔, 음성, 억양, 음색이나 자연어 문장 중 적어도 어느 하나 이상을 입력받아도 감정을 추출할 수 있는 효과가 있다.

Claims (88)

  1. 가상인격체의 감정표현과 동작구현 시스템에 있어서,
    외부로부터 동작데이터를 입력받기 위한 입력 수단;
    퍼지 추론과 신경망 기법을 이용하여 상기 입력된 동작데이터에 내포된 감정을 분석하고 감정의 강도를 계산하기 위한 뉴로퍼지 감정추론 수단;
    상기 분석/계산된 감정 및 감정의 강도에 따라, 상기 입력된 동작데이터에 대응하는 가상인격체의 동작을 계획하기 위한 감정/동작 계획 수단;
    사용자로부터 가상인격체 영상에 대한 특성정보를 입력받아, 상기 입력된 특성정보에 부합하는 가상인격체를 생성하기 위한 영상정보 입력 수단;
    상기 영상정보 입력 수단에 의하여 생성된 가상인격체에 상기 감정/동작 계획 수단의 동작 계획을 적용하여 동적 가상인격체를 생성하기 위한 영상정보와 감정/동작 합성 수단; 및
    상기 영상정보와 감정/동작 합성 수단에 의하여 생성된 동적 가상인격체를 영상으로 출력하기 위한 제 1 통합 출력 수단
    을 포함하는 가상인격체의 감정표현과 동작구현 시스템.
  2. 제 1 항에 있어서,
    상기 제 1 통합 출력 수단의 영상 출력에 대응하는 음성과 텍스트를 출력하기 위한 제 2 통합 출력 수단
    을 더 포함하는 가상인격체의 감정표현과 동작구현 시스템.
  3. 가상인격체의 감정표현과 동작구현 시스템에 있어서,
    외부로부터 자연어데이터를 입력받기 위한 입력 수단;
    상기 입력된 자연어데이터가 문서인지를 확인하여, 문서이면 중요한 문장을 추출하여 문장수준으로 변환하는 문서 요약을 수행하고, 문서가 아니면 상기 문서 요약을 수행하지 않고 단순히 출력하기 위한 문서요약 수단;
    상기 문서요약 수단의 출력에 대하여 화행분석 및 의미분석을 수행하기 위한 자연어 분석 수단;
    상기 자연어 분석 수단에 의한 화행분석결과와 의미분석결과를 이용하여, 상기 입력된 자연어데이터에 포함되어 있는 감정을 분석하고 감정의 강도를 계산하기 위한 감정 분석 수단;
    상기 감정 분석 수단에 의하여 분석된 감정을 바탕으로 하여 상기 입력된 자연어데이터에 포함되어 있는 동작을 분석하고, 상기 동작 분석결과를 이용하여 상기 입력된 자연데이터에 부합하는 동작을 생성하기 위한 동작 분석/생성 수단;
    상기 분석/계산된 감정 및 감정의 강도에 따라, 상기 동작 분석/생성 수단에 의하여 생성된 동작에 대응하는 가상인격체의 동작을 계획하기 위한 감정/동작 계획 수단;
    사용자로부터 가상인격체의 특성정보를 입력받아, 상기 입력된 특성 정보에 부합하는 가상인격체를 생성하기 위한 영상정보 입력 수단;
    상기 영상정보 입력 수단에 의하여 생성된 가상인격체에 상기 감정/동작 계획 수단의 동작 계획을 적용하여, 동적 가상인격체를 생성하기 위한 영상정보와 감정/동작 합성 수단; 및
    상기 영상정보와 감정/동작 합성 수단에 의하여 생성된 동적 가상인격체를 영상으로 출력하기 위한 제 1 통합 출력 수단
    을 포함하는 가상인격체의 감정표현과 동작구현 시스템.
  4. 제 3 항에 있어서,
    상기 자연어 분석 수단에 의하여 분석된 의미정보에 해당하는 배경 화면과 상기 동적 가상인격체를 결합하고, 상기 의미정보의 변화에 따라 배경 화면을 변동시키기 위한 배경 생성 수단; 및
    상기 제 1 통합 출력 수단과 상기 배경 생성 수단의 영상 출력에 대응하는 음성과 텍스트를 출력하기 위한 제 2 통합 출력 수단
    을 더 포함하는 가상인격체의 감정표현과 동작구현 시스템.
  5. 가상인격체의 감정표현과 동작구현 시스템에 있어서,
    외부로부터 동작데이터와 자연어데이터로 이루어진 데이터를 입력받기 위한 입력 수단;
    퍼지 추론과 신경망 기법을 이용하여, 상기 입력데이터 중 동작데이터에 내포된 감정을 분석하고 감정의 강도를 계산하기 위한 뉴로퍼지 감정추론 수단;
    상기 입력데이터 중 자연어데이터가 문서인지를 확인하여, 문서이면 중요한 문장을 추출하여 문장수준으로 변환하는 문서 요약을 수행하고, 문서가 아니면 상기 문서 요약을 수행하지 않고 단순히 출력하기 위한 문서요약 수단;
    상기 문서요약 수단의 출력에 대하여 화행분석 및 의미분석을 수행하기 위한 자연어 분석 수단;
    상기 자연어 분석 수단에 의한 화행분석결과와 의미분석결과를 이용하여, 상기 자연어데이터에 포함되어 있는 감정을 분석하고 감정의 강도를 계산하기 위한 감정 분석 수단;
    상기 뉴로퍼지 감정추론 수단에 의하여 분석된 감정과 상기 감정 분석 수단에 의하여 분석된 감정을 상호 보정해서 취사선택하기 위한 감정 선택추론 수단;
    상기 감정 선택추론 수단에 의하여 취사선택된 감정을 바탕으로 하여 상기 입력데이터에 부합하는 동작을 분석하고, 상기 동작 분석결과를 이용하여 자연어데이터를 대상으로 상기 입력데이터에 부합하는 동작을 생성하기 위한 동작 분석/생성 수단;
    상기 분석/계산된 감정 및 감정의 강도에 따라, 상기 동작 분석/생성 수단에 의하여 생성된 동작에 대응하는 가상인격체의 동작을 계획하기 위한 감정/동작 계획 수단;
    사용자로부터 가상인격체의 특성정보를 입력받아, 상기 입력된 특성 정보에 부합하는 가상인격체를 생성하기 위한 영상정보 입력 수단;
    상기 영상정보 입력 수단에 의하여 생성된 가상인격체에 상기 감정/동작 계획 수단의 동작 계획을 적용하여, 동적 가상인격체를 생성하기 위한 영상정보와 감정/동작 합성 수단; 및
    상기 영상정보와 감정/동작 합성 수단에 의하여 생성된 동적 가상인격체를 영상으로 출력하기 위한 제 1 통합 출력 수단
    을 포함하는 가상인격체의 감정표현과 동작구현 시스템.
  6. 제 5 항에 있어서,
    상기 자연어 분석 수단에 의하여 분석된 의미정보에 해당하는 배경 화면과 상기 동적 가상인격체를 결합하고, 상기 의미정보의 변화에 따라 배경 화면을 변동시키기 위한 배경 생성 수단; 및
    상기 제 1 통합 출력 수단과 상기 배경 생성 수단의 영상 출력에 대응하는 음성과 텍스트를 출력하기 위한 제 2 통합 출력 수단
    을 더 포함하는 가상인격체의 감정표현과 동작구현 시스템.
  7. 제 2 항 또는 제 6 항에 있어서,
    상기 뉴로퍼지 감정추론 수단은,
    퍼지규칙베이스에 저장되어 있는 퍼지규칙을 이용하여 상기 입력된 동작데이터에 내포된 감정을 추출하기 위한 퍼지추론 수단; 및
    상기 퍼지규칙으로 감정을 추출하지 못한 동작데이터에 대해서는, 상기 퍼지규칙을 학습하고 연결강도를 조정한 후 상기 동작데이터에 일정한 감정을 근사시키기 위한 신경회로망
    을 포함하는 가상인격체의 감정표현과 동작구현 시스템.
  8. 제 7 항에 있어서,
    상기 퍼지추론 수단은,
    인간의 감정을 유발할 수 있는 동작을 입력으로 사용하여, 퍼지 If-Then 룰을 구성하는 것을 특징으로 하는 가상인격체의 감정표현과 동작구현 시스템.
  9. 제 7 항에 있어서,
    상기 신경회로망은,
    인간의 감정을 유발할 수 있는 동작을 입력패턴으로 가지는 입력층과 은닉층, 및 감정값을 나타내는 출력층으로 이루어진 다층퍼셉트론(MultilayerPerceptron)의 구조를 가지며, 상기 퍼지규칙 베이스의 감정값과 상기 신경회로망에 의한 출력값의 차이를 최소화하기 위해 역전파(Backpropagation) 학습알고리즘을 이용하는 것을 특징으로 하는 가상인격체의 감정표현과 동작구현 시스템.
  10. 제 3 항 내지 제 6 항 중 어느 한 항에 있어서,
    상기 문서요약 수단은,
    수사구조 정보, 제목과의 유사도, 단락간의 유사도를 이용하여 상기 입력된 자연어데이터로부터 주요 단락을 추출한 후, 상기 추출된 주요 단락에서 제목과의 유사도(Similarity), 단서 단어와 단어 공기정보, 수사구조 (Rhetorical structure) 정보를 이용하여 주요 문장을 추출하는 것을 특징으로 하는 가상인격체의 감정표현과 동작구현 시스템.
  11. 제 3 항 내지 제 6 항 중 어느 한 항에 있어서,
    상기 자연어 분석 수단의 화행분석은,
    각 화행마다 그 화행분류에 화자의 의도와 화맥을 고려하고 그 화행에 내재되어 있는 감정을 고려하여 감정을 부여하는 것을 특징으로 하는 가상인격체의 감정표현과 동작구현 시스템.
  12. 제 3 항 내지 제 6 항 중 어느 한 항에 있어서,
    상기 자연어 분석 수단의 화행분석은,
    화행이 변동되는 시점에서 문장에 출력되지 않는 감정을 추적하기 위해, 화자의 각 발화에 대응하는 청자의 화행에 따라 감정을 부여하는 것을 특징으로 하는 가상인격체의 감정표현과 동작구현 시스템.
  13. 제 3 항 내지 제 6 항 중 어느 한 항에 있어서,
    상기 자연어 분석 수단의 화행분석은,
    화자의 각 발화에 대한 청자의 발화 중에 육하원칙을 이용해서 중요한 어휘를 찾아 강조하는 것을 특징으로 하는 가상인격체의 감정표현과 동작구현 시스템.
  14. 제 3 항 내지 제 6 항 중 어느 한 항에 있어서,
    상기 자연어 분석 수단의 의미분석은,
    동사 격틀사전과 명사 의미사전을 이용하여 격관계를 분석하고, 동사 격틀사전과 명사 의미사전을 이용해도 분석되지 않는 격관계는 확률분석을 이용하여 분석하는 것을 특징으로 하는 가상인격체의 감정표현과 동작구현 시스템.
  15. 제 3 항 내지 제 6 항 중 어느 한 항에 있어서,
    상기 감정분석 수단의 감정강도 계산은,
    감정의 지속정도, 감정의 변화정도, 감정의 소멸정도, 및 3차원 좌표로 표현되는 감정벡터의 크기를 고려하여 감정의 강도를 계산하는 것을 특징으로 하는 가상인격체의 감정표현과 동작구현 시스템.
  16. 제 3 항 내지 제 6 항 중 어느 한 항에 있어서,
    상기 감정분석 수단의 감정분석은,
    상기 입력된 자연어데이터가 연속되는 대화체 문장이면, 시간에 따라 연속해서 변하는 감정을 합성하는 것을 특징으로 하는 가상인격체의 감정표현과 동작구현 시스템.
  17. 제 3 항 내지 제 6 항 중 어느 한 항에 있어서,
    상기 감정분석 수단의 감정분석은,
    3차원 감정공간상의 벡터 정보가 저장되어 있는 감정명사사전와 감정용언사전을 이용하는 것을 특징으로 하는 가상인격체의 감정표현과 동작구현 시스템.
  18. 제 17 항에 있어서,
    상기 감정명사사전와 감정용언사전의 저장 형식은,
    [감정명사와 감정용언의 기본형] : [감정명사와 감정용언의 어간](품사범주) {감정명사와 감정용언의 3차원 벡터값} / [감정명사와 감정용언의 상위감정]의 형태로 표시하는 것을 특징으로 하는 가상인격체의 감정표현과 동작구현 시스템.
  19. 제 3 항 내지 제 6 항 중 어느 한 항에 있어서,
    상기 감정분석 수단의 감정분석은,
    각성(Arousal)축, 유발성(Valence)축, 및 스탠스(Stance)축으로 이루어진 3차원 감정공간에, 감정을 나타내는 단어와 지배 감정을 퍼지벡터로 표시하여 감정을 분석하는 것을 특징으로 하는 가상인격체의 감정표현과 동작구현 시스템.
  20. 제 3 항 내지 제 6 항 중 어느 한 항에 있어서,
    상기 감정분석 수단의 감정분석은,
    상기 입력된 자연어데이터로부터 인간의 감정전달 유형에 따라 감정을 분석 한 후, 상기 분석된 감정을 3차원 벡터로 표현하여 상기 3차원 감정공간에 매핑하고, 연속하여 추출되는 감정의 벡터를 중합하여 3차원 감정공간상의 한 점으로 표시한 뒤, 가장 가까운 곳에 위치하고 있는 감정을 할당하는 것을 특징으로 하는 가상인격체의 감정표현과 동작구현 시스템.
  21. 제 20 항에 있어서,
    상기 인간의 감정전달 유형에 따른 감정분석은,
    상기 입력된 자연어데이터에 포함되어 있는 정도 부사어에 소정의 가중치를 부여하여 감정을 분석하는 것을 특징으로 하는 가상인격체의 감정표현과 동작구현 시스템.
  22. 제 20 항에 있어서,
    상기 인간의 감정전달 유형에 따른 감정분석은,
    상기 입력된 자연어데이터에 포함되어 있는, 신체부위나 생리적 상태를 이용한 은유적 감정 표현어를 이용하여 감정을 분석하는 것을 특징으로 하는 가상인격체의 감정표현과 동작구현 시스템.
  23. 제 20 항에 있어서,
    상기 인간의 감정전달 유형에 따른 감정분석은,
    감정을 나타내는 단어와 주변단어와의 감정관계를 이용하는 것을 특징으로 하는 가상인격체의 감정표현과 동작구현 시스템.
  24. 제 23 항에 있어서,
    상기 감정관계는,
    감정관계 어휘사전을 이용하여 파악하는 것을 특징으로 하는 가상인격체의 감정표현과 동작구현 시스템.
  25. 제 20 항에 있어서,
    상기 인간의 감정전달 유형에 따른 감정분석은,
    상기 입력된 자연어데이터가 한 문장 내에 다수의 감정단어를 갖는 문장을 포함하고 있으면, 감정벡터의 크기가 우선하는 단어에 대해서 상기 문장에 대한 감정을 할당하는 것을 특징으로 하는 가상인격체의 감정표현과 동작구현 시스템.
  26. 제 5 항 또는 제 6 항에 있어서,
    상기 감정 선택추론 수단의 취사선택 과정은,
    승자독점(Winner-take-all) 방식을 이용하여 취사선택하는 것을 특징으로 하는 가상인격체의 감정표현과 동작구현 시스템.
  27. 제 3 항 내지 제 6 항 중 어느 한 항에 있어서,
    상기 동작 분석/생성 수단의 동작분석 과정은,
    상기 입력된 데이터를 절(Clause) 단위로 나누는 제 1 단계;
    상기 각각의 절(Clause)을 테마(THEME)와 레마(RHEME)로 나누는 제 2 단계;
    명사는 객체(Object), 동사는 술어(Predicate), 동사 중에서 행위자의 활동을 나타내는 동사는 액션(Action)으로 할당하는 과정을 통하여 상기 테마(THEME)와 레마(RHEME)를 가장 작은 단위인 단어(Word)로 나누는 제 3 단계;
    상기 제 3 단계에서 나뉘어진 객체, 술어, 및 액션에 대한 동작을, 지식베이스에서 찾는 제 4 단계;
    이전 화자의 발화에서 나타나지 않는 단어는 "NEW" 태그를 붙이는 제 5 단계; 및
    상기 제 4 단계와 제 5 단계의 결과를 이용하여 엑스엠엘(XML: eXtensible Markup Language) 트리를 생성하는 제 6 단계
    를 포함하는 것을 특징으로 하는 가상인격체의 감정표현과 동작구현 시스템.
  28. 제 27 항에 있어서,
    상기 제 4 단계의 지식베이스는,
    객체(Object) 지식베이스, 액션(Action) 지식베이스, 및 술어(Predicate) 지식베이스로 구분되는 것을 특징으로 하는 가상인격체의 감정표현과 동작구현 시스템.
  29. 제 28 항에 있어서,
    상기 객체(Object) 지식베이스는,
    객체(Object)유형과 상기 객체유형에 해당하는 실례로 구성되고, 객체에는 객체의 성격에 따라 직업, 감정, 역할, 나이, 성별 등의 기재형식을 가지는 것을 특징으로 하는 가상인격체의 감정표현과 동작구현 시스템.
  30. 제 28 항에 있어서,
    상기 액션(Action) 지식베이스는,
    영역(Action)액션과 상기 액션이 묘사하는 행동을 저장하는 것을 특징으로 하는 가상인격체의 감정표현과 동작구현 시스템.
  31. 제 3 항 내지 제 6 항 중 어느 한 항에 있어서,
    상기 동작 분석/생성 수단의 동작분석은,
    손짓(Hand Gesture)을 아이콘화(Iconics), 은유(Metaphorics), 지시 (Deictics), 비트(Beats)로 나누는 것을 특징으로 하는 가상인격체의 감정표현과 동작구현 시스템.
  32. 제 3 항 내지 제 6 항 중 어느 한 항에 있어서,
    상기 동작 분석/생성 수단의 동작분석은,
    상기 입력된 데이터의 문장표시에 따라 제스처(Gesture)를 할당하는 것을 특징으로 하는 가상인격체의 감정표현과 동작구현 시스템.
  33. 제 3 항 내지 제 6 항 중 어느 한 항에 있어서,
    상기 동작 분석/생성 수단의 동작분석은,
    상기 자연어 분석 수단에 의하여 분석된 화행의 종류에 따라, 동작과 제스처를 할당하는 것을 특징으로 하는 가상인격체의 감정표현과 동작구현 시스템.
  34. 제 27 항에 있어서,
    상기 동작 분석/생성 수단의 동작 생성은,
    상기 생성된 엑스엠엘(XML) 트리를 이용해서 각 노드에 적합한 동작을 생성하고, 상기 생성된 동작들 간의 충돌은 동작필터를 통하여 낮은 우선순위의 동작을 제거하여 해결하는 것을 특징으로 하는 가상인격체의 감정표현과 동작구현 시스템.
  35. 제 34 항에 있어서,
    상기 동작생성은,
    동작생성 결과를 트리구조로 나타내는 것을 특징으로 하는 가상인격체의 감정표현과 동작구현 시스템.
  36. 제 2 항, 제 4 항 또는 제 6 항 중 어느 한 항에 있어서,
    상기 감정/동작 계획 수단의 동작계획은,
    상기 제 2 통합 출력 수단에 의한 음성과 텍스트의 출력과 타이밍이 맞도록 가상인격체의 동작을 계획하는 것을 특징으로 하는 가상인격체의 감정표현과 동작구현 시스템.
  37. 제 2 항, 제 4 항 또는 제 6 항 중 어느 한 항에 있어서,
    상기 감정/동작 계획 수단의 동작계획은,
    상기 감정과 감정의 강도에 따라, 동작의 출력과 상기 제 2 통합 출력 수단에 의한 음성출력을 계획하는 것을 특징으로 하는 가상인격체의 감정표현과 동작구현 시스템.
  38. 제 1 항 내지 제 6 항 중 어느 한 항에 있어서,
    상기 감정/동작 계획 수단의 동작 계획은,
    소스기술(Source Description)을 이용하는 것을 특징으로 하는 가상인격체의 감정표현과 동작구현 시스템.
  39. 제 3 항 내지 제 6 항 중 어느 한 항에 있어서,
    상기 감정/동작 계획 수단의 동작 계획은,
    상기 자연어 분석 수단에 의한 의미분석 정보인 행위주(Agent), 장소(Location) 및 대상(Theme)과, 상기 동작 분석/생성 수단에 의한 동작생성 정보인 객체(Object), 술어 (Predicate) 및 액션(Action)을 통합 제시하는 것을 특징으로 하는 가상인격체의 감정표현과 동작구현 시스템.
  40. 제 1 항 내지 제 6 항 중 어느 한 항에 있어서,
    상기 영상정보 입력 수단의 가상인격체의 특성정보는,
    가상인격체의 얼굴 특징정보와 신체 특성정보를 포함하는 것을 특징으로 하는 가상인격체의 감정표현과 동작구현 시스템.
  41. 제 2 항, 제 4 항 또는 제 6 항 중 어느 한 항에 있어서,
    상기 제 2 통합 출력 수단의 텍스트 출력은,
    감정분석결과, 의미분석결과, 및 동작분석 결과 중 적어도 어느 하나 이상을 텍스트로 출력하는 것을 특징으로 하는 가상인격체의 감정표현과 동작구현 시스템.
  42. 가상인격체의 감정표현과 동작구현 시스템에 적용되는 가상인격체의 감정표현과 동작구현 방법에 있어서,
    입력 수단이 외부로부터 동작데이터를 입력받는 제 1 단계;
    뉴로퍼지 감정추론 수단이 퍼지 추론과 신경망 기법을 이용하여 상기 입력된 동작데이터에 내포된 감정을 분석하고 감정의 강도를 계산하는 제 2 단계;
    감정/동작 계획 수단이 상기 제 2 단계에서 분석/계산된 감정 및 감정의 강도에 따라, 상기 입력된 동작데이터에 대응하는 가상인격체의 동작을 계획하는 제 3 단계;
    영상정보 입력 수단이 사용자로부터 가상인격체 영상에 대한 특성정보를 입력받아, 상기 입력된 특성정보에 부합하는 가상인격체를 생성하는 제 4 단계;
    영상정보와 감정/동작 합성 수단이, 상기 제 4 단계에서 생성된 가상인격체에 상기 제 3 단계의 동작 계획을 적용하여 동적 가상인격체를 생성하는 제 5 단계; 및
    제 1 통합 출력 수단이, 상기 제 5 단계에서 생성된 동적 가상인격체를 영상으로 출력하는 제 6 단계
    를 포함하는 가상인격체의 감정표현과 동작구현 방법.
  43. 제 42 항에 있어서,
    제 2 통합 출력 수단이, 상기 제 1 통합 출력 수단의 영상 출력에 대응하는 음성과 텍스트를 출력하는 제 7 단계
    를 더 포함하는 가상인격체의 감정표현과 동작구현 방법.
  44. 가상인격체의 감정표현과 동작구현 시스템에 적용되는 가상인격체의 감정표현과 동작구현 방법에 있어서,
    입력 수단이 외부로부터 자연어데이터를 입력받는 제 1 단계;
    문서요약 수단이, 상기 입력된 자연어데이터가 문서인지를 확인하여, 문서이면 중요한 문장을 추출하여 문장수준으로 변환하는 문서 요약을 수행하고, 문서가아니면 상기 문서 요약을 수행하지 않고 단순히 출력하는 제 2 단계;
    자연어 분석 수단이 상기 제 2 단계의 문서요약 수단의 출력에 대하여 화행분석 및 의미분석을 수행하는 제 3 단계;
    감정 분석 수단이, 상기 제 2 단계의 화행분석결과와 의미분석결과를 이용하여 상기 입력된 자연어데이터에 포함되어 있는 감정을 분석하고 감정의 강도를 계산하는 제 4 단계;
    동작 분석/생성 수단이, 상기 제 4 단계에서 분석된 감정을 바탕으로 하여 상기 입력된 자연어데이터에 포함되어 있는 동작을 분석하고, 상기 동작 분석결과를 이용하여 상기 입력된 자연데이터에 부합하는 동작을 생성하는 제 5 단계;
    감정/동작 계획 수단이, 상기 제 4 단계에서 분석/계산된 감정 및 감정의 강도에 따라, 상기 동작 분석/생성 수단에 의하여 생성된 동작에 대응하는 가상인격체의 동작을 계획하는 제 6 단계;
    영상정보 입력 수단이 사용자로부터 가상인격체의 특성정보를 입력받아, 상기 입력된 특성 정보에 부합하는 가상인격체를 생성하는 제 7 단계;
    영상정보와 감정/동작 합성 수단이 상기 제 7 단계에서 생성된 가상인격체에 상기 제 6 단계의 동작 계획을 적용하여, 동적 가상인격체를 생성하는 제 8 단계; 및
    제 1 통합 출력 수단이 상기 제 8 단계에서 생성된 동적 가상인격체를 영상으로 출력하는 제 9 단계
    를 포함하는 가상인격체의 감정표현과 동작구현 방법.
  45. 제 44 항에 있어서,
    배경 생성 수단이, 상기 제 3 단계에서 분석된 의미정보에 해당하는 배경 화면과 상기 동적 가상인격체를 결합하고, 상기 의미정보의 변화에 따라 배경 화면을 변동시키는 제 10 단계 ; 및
    제 2 통합 출력 수단이, 상기 제 9 단계의 제 1 통합 출력 수단과 상기 제 10 단계의 배경 생성 수단의 영상 출력에 대응하는 음성과 텍스트를 출력하는 제 11 단계
    를 더 포함하는 가상인격체의 감정표현과 동작구현 방법.
  46. 가상인격체의 감정표현과 동작구현 시스템에 적용되는 가상인격체의 감정표현과 동작구현 방법에 있어서,
    입력 수단이 외부로부터 동작데이터와 자연어데이터로 이루어진 데이터를 입력받는 제 1 단계;
    뉴로퍼지 감정추론 수단이, 퍼지 추론과 신경망 기법을 이용하여, 상기 입력데이터 중 동작데이터에 내포된 감정을 분석하고 감정의 강도를 계산하는 제 2 단계;
    문서요약 수단이, 상기 입력데이터 중 자연어데이터가 문서인지를 확인하여, 문서이면 중요한 문장을 추출하여 문장수준으로 변환하는 문서 요약을 수행하고,문서가 아니면 상기 문서 요약을 수행하지 않고 단순히 출력하는 제 3 단계;
    자연어 분석 수단이 상기 제 2 단계의 문서요약 수단의 출력에 대하여 화행분석 및 의미분석을 수행하는 제 4 단계;
    감정 분석 수단이 상기 제 4 단계에서 수행된 화행분석결과와 의미분석결과를 이용하여, 상기 자연어데이터에 포함되어 있는 감정을 분석하고 감정의 강도를 계산하는 제 5 단계;
    감정 선택추론 수단이, 상기 제 2 단계에서 뉴로퍼지 감정추론 수단에 의하여 분석된 감정과 상기 제 5 단계에서 감정 분석 수단에 의하여 분석된 감정을 상호 보정해서 취사선택하는 제 6 단계;
    동작 분석/생성 수단이, 상기 제 6 단계에서 취사선택된 감정을 바탕으로 하여 상기 입력데이터에 부합하는 동작을 분석하고, 상기 동작 분석결과를 이용하여 자연어데이터를 대상으로 상기 입력데이터에 부합하는 동작을 생성하는 제 7 단계;
    감정/동작 계획 수단이, 상기 분석/계산된 감정 및 감정의 강도에 따라, 상기 동작 분석/생성 수단에 의하여 생성된 동작에 대응하는 가상인격체의 동작을 계획하는 제 8 단계;
    영상정보 입력 수단이 사용자로부터 가상인격체의 특성정보를 입력받아, 상기 입력된 특성 정보에 부합하는 가상인격체를 생성하는 제 9 단계;
    영상정보와 감정/동작 합성 수단이 상기 제 9 단계에서 생성된 가상인격체에 상기 제 8 단계의 동작 계획을 적용하여, 동적 가상인격체를 생성하는 제 10 단계; 및
    제 1 통합 출력 수단이 상기 제 10 단계에서 생성된 동적 가상인격체를 영상으로 출력하는 제 11 단계
    를 포함하는 가상인격체의 감정표현과 동작구현 방법.
  47. 제 46 항에 있어서,
    배경 생성 수단이, 상기 제 4 단계에서 분석된 의미정보에 해당하는 배경 화면과 상기 동적 가상인격체를 결합하고, 상기 의미정보의 변화에 따라 배경 화면을 변동시키는 제 12 단계; 및
    제 2 통합 출력 수단이, 상기 제 11 단계의 제 1 통합 출력 수단과 상기 제 12 단계의 배경 생성 수단의 영상 출력에 대응하는 음성과 텍스트를 출력하는 제 13 단계
    를 더 포함하는 가상인격체의 감정표현과 동작구현 방법.
  48. 제 43 항 또는 제 47 항에 있어서,
    상기 뉴로퍼지 감정추론 수단의 감정분석 과정은,
    퍼지추론 수단이, 퍼지규칙베이스에 저장되어 있는 퍼지규칙을 이용하여 상기 입력된 동작데이터에 내포된 감정을 추출하는 제 14 단계; 및
    신경회로망이, 상기 퍼지규칙으로 감정을 추출하지 못한 동작데이터에 대해서는, 상기 퍼지규칙을 학습하고 연결강도를 조정한 후 상기 동작데이터에 일정한 감정을 근사시키는 제 15 단계
    를 포함하는 가상인격체의 감정표현과 동작구현 방법.
  49. 제 48 항에 있어서,
    상기 제 14 단계의 퍼지추론 수단의 감정 추출은,
    인간의 감정을 유발할 수 있는 동작을 입력으로 사용하여, 퍼지 If-Then 룰을 구성하여 감정을 추출하는 것을 특징으로 하는 가상인격체의 감정표현과 동작구현 방법.
  50. 제 48 항에 있어서,
    상기 제 15 단계의 신경회로망은,
    인간의 감정을 유발할 수 있는 동작을 입력패턴으로 가지는 입력층과 은닉층, 및 감정값을 나타내는 출력층으로 이루어진 다층퍼셉트론(Multilayer Perceptron)의 구조를 가지며, 상기 퍼지규칙 베이스의 감정값과 상기 신경회로망에 의한 출력값의 차이를 최소화하기 위해 역전파(Backpropagation) 학습알고리즘을 이용하는 것을 특징으로 하는 가상인격체의 감정표현과 동작구현 방법.
  51. 제 44 항 내지 제 47 항 중 어느 한 항에 있어서,
    상기 문서요약 수단의 문서 요약은,
    수사구조 정보, 제목과의 유사도, 단락간의 유사도를 이용하여 상기 입력된 자연어데이터로부터 주요 단락을 추출한 후, 상기 추출된 주요 단락에서 제목과의 유사도(Similarity), 단서 단어와 단어 공기정보, 수사구조(Rhetorical structure) 정보를 이용하여 주요 문장을 추출하는 것을 특징으로 하는 가상인격체의 감정표현과 동작구현 방법.
  52. 제 44 항 내지 제 47 항 중 어느 한 항에 있어서,
    상기 자연어 분석 수단의 화행분석은,
    각 화행마다 그 화행분류에 화자의 의도와 화맥을 고려하고 그 화행에 내재되어 있는 감정을 고려하여 감정을 부여하는 것을 특징으로 하는 가상인격체의 감정표현과 동작구현 방법.
  53. 제 44 항 내지 제 47 항 중 어느 한 항에 있어서,
    상기 자연어 분석 수단의 화행분석은,
    화행이 변동되는 시점에서 문장에 출력되지 않는 감정을 추적하기 위해, 화자의 각 발화에 대응하는 청자의 화행에 따라 감정을 부여하는 것을 특징으로 하는 가상인격체의 감정표현과 동작구현 방법.
  54. 제 44 항 내지 제 47 항 중 어느 한 항에 있어서,
    상기 자연어 분석 수단의 화행분석은,
    화자의 각 발화에 대한 청자의 발화 중에 육하원칙을 이용해서 중요한 어휘를 찾아 강조하는 것을 특징으로 하는 가상인격체의 감정표현과 동작구현 방법.
  55. 제 44 항 내지 제 47 항 중 어느 한 항에 있어서,
    상기 자연어 분석 수단의 의미분석은,
    동사 격틀사전과 명사 의미사전을 이용하여 격관계를 분석하고, 동사 격틀사전과 명사 의미사전을 이용해도 분석되지 않는 격관계는 확률분석을 이용하여 분석하는 것을 특징으로 하는 가상인격체의 감정표현과 동작구현 방법.
  56. 제 44 항 내지 제 47 항 중 어느 한 항에 있어서,
    상기 감정분석 수단의 감정강도 계산은,
    감정의 지속정도, 감정의 변화정도, 감정의 소멸정도, 및 3차원 좌표로 표현되는 감정벡터의 크기를 고려하여 감정의 강도를 계산하는 것을 특징으로 하는 가상인격체의 감정표현과 동작구현 방법.
  57. 제 44 항 내지 제 47 항 중 어느 한 항에 있어서,
    상기 감정분석 수단의 감정분석은,
    상기 입력된 자연어데이터가 연속되는 대화체 문장이면, 시간에 따라 연속해서 변하는 감정을 합성하는 것을 특징으로 하는 가상인격체의 감정표현과 동작구현 방법.
  58. 제 44 항 내지 제 47 항 중 어느 한 항에 있어서,
    상기 감정분석 수단의 감정분석은,
    3차원 감정공간상의 벡터 정보가 저장되어 있는 감정명사사전와 감정용언사전을 이용하는 것을 특징으로 하는 가상인격체의 감정표현과 동작구현 방법.
  59. 제 58 항에 있어서,
    상기 감정명사사전와 감정용언사전의 저장 형식은,
    [감정명사와 감정용언의 기본형] : [감정명사와 감정용언의 어간](품사범주) {감정명사와 감정용언의 3차원 벡터값} / [감정명사와 감정용언의 상위감정]의 형태로 표시하는 것을 특징으로 하는 가상인격체의 감정표현과 동작구현 방법.
  60. 제 44 항 내지 제 47 항 중 어느 한 항에 있어서,
    상기 감정분석 수단의 감정분석은,
    각성(Arousal)축, 유발성(Valence)축, 및 스탠스(Stance)축으로 이루어진 3차원 감정공간에, 감정을 나타내는 단어와 지배 감정을 퍼지벡터로 표시하여 감정을 분석하는 것을 특징으로 하는 가상인격체의 감정표현과 동작구현 방법.
  61. 제 44 항 내지 제 47 항 중 어느 한 항에 있어서,
    상기 감정분석 수단의 감정분석은,
    상기 입력된 자연어데이터로부터 인간의 감정전달 유형에 따라 감정을 분석 한 후, 상기 분석된 감정을 3차원 벡터로 표현하여 상기 3차원 감정공간에 매핑하고, 연속하여 추출되는 감정의 벡터를 중합하여 3차원 감정공간상의 한 점으로 표시한 뒤, 가장 가까운 곳에 위치하고 있는 감정을 할당하는 것을 특징으로 하는 가상인격체의 감정표현과 동작구현 방법.
  62. 제 61 항에 있어서,
    상기 인간의 감정전달 유형에 따른 감정분석은,
    상기 입력된 자연어데이터에 포함되어 있는 정도 부사어에 소정의 가중치를 부여하여 감정을 분석하는 것을 특징으로 하는 가상인격체의 감정표현과 동작구현 방법.
  63. 제 61 항에 있어서,
    상기 인간의 감정전달 유형에 따른 감정분석은,
    상기 입력된 자연어데이터에 포함되어 있는, 신체부위나 생리적 상태를 이용한 은유적 감정 표현어를 이용하여 감정을 분석하는 것을 특징으로 하는 가상인격체의 감정표현과 동작구현 방법.
  64. 제 61 항에 있어서,
    상기 인간의 감정전달 유형에 따른 감정분석은,
    감정을 나타내는 단어와 주변단어와의 감정관계를 이용하는 것을 특징으로 하는 가상인격체의 감정표현과 동작구현 방법.
  65. 제 64 항에 있어서,
    상기 감정관계는,
    감정관계 어휘사전을 이용하여 파악하는 것을 특징으로 하는 가상인격체의 감정표현과 동작구현 방법.
  66. 제 61 항에 있어서,
    상기 인간의 감정전달 유형에 따른 감정분석은,
    상기 입력된 자연어데이터가 한 문장내에 다수의 감정단어를 갖는 문장을 포함하고 있으면, 감정벡터의 크기가 우선하는 단어에 대해서 상기 문장에 대한 감정을 할당하는 것을 특징으로 하는 가상인격체의 감정표현과 동작구현 방법.
  67. 제 46 항 또는 제 47 항에 있어서,
    상기 제 6 단계의 감정 선택추론 수단의 취사선택 과정은,
    승자독점(Winner-take-all) 방식을 이용하여 취사선택하는 것을 특징으로 하는 가상인격체의 감정표현과 동작구현 방법.
  68. 제 44 항 내지 제 47 항 중 어느 한 항에 있어서,
    상기 동작 분석/생성 수단의 동작분석 과정은,
    상기 입력된 데이터를 절(Clause) 단위로 나누는 제 14 단계;
    상기 각각의 절(Clause)을 테마(THEME)와 레마(RHEME)로 나누는 제 15 단계;
    명사는 객체(Object), 동사는 술어(Predicate), 동사 중에서 행위자의 활동을 나타내는 동사는 액션(Action)으로 할당하는 과정을 통하여 상기 테마(THEME)와 레마(RHEME)를 가장 작은 단위인 단어(Word)로 나누는 제 16 단계;
    상기 제 16 단계에서 나뉘어진 객체, 술어, 및 액션에 대한 동작을, 지식베이스에서 찾는 제 17 단계;
    이전 화자의 발화에서 나타나지 않는 단어는 "NEW" 태그를 붙이는 제 18 단계; 및
    상기 제 17 단계와 제 18 단계의 결과를 이용하여 엑스엠엘(XML: eXtensible Markup Language) 트리를 생성하는 제 19 단계
    를 포함하는 것을 특징으로 하는 가상인격체의 감정표현과 동작구현 방법.
  69. 제 68 항에 있어서,
    상기 제 17 단계의 지식베이스는,
    객체(Object) 지식베이스, 액션(Action) 지식베이스, 및 술어(Predicate) 지식베이스로 구분되는 것을 특징으로 하는 가상인격체의 감정표현과 동작구현 방법.
  70. 제 69 항에 있어서,
    상기 객체(Object) 지식베이스는,
    객체(Object)유형과 상기 객체유형에 해당하는 실례로 구성되고, 객체에는 객체의 성격에 따라 직업, 감정, 역할, 나이, 성별 등의 기재형식을 가지는 것을 특징으로 하는 가상인격체의 감정표현과 동작구현 방법.
  71. 제 69 항에 있어서,
    상기 액션(Action) 지식베이스는,
    영역(Action)액션과 상기 액션이 묘사하는 행동을 저장하는 것을 특징으로 하는 가상인격체의 감정표현과 동작구현 방법.
  72. 제 44 항 내지 제 47 항 중 어느 한 항에 있어서,
    상기 동작 분석/생성 수단의 동작분석은,
    손짓(Hand Gesture)을 아이콘화(Iconics), 은유(Metaphorics), 지시 (Deictics), 비트(Beats)로 나누는 것을 특징으로 하는 가상인격체의 감정표현과 동작구현 방법.
  73. 제 44 항 내지 제 47 항 중 어느 한 항에 있어서,
    상기 동작 분석/생성 수단의 동작분석은,
    상기 입력된 데이터의 문장표시에 따라 제스처(Gesture)를 할당하는 것을 특징으로 하는 가상인격체의 감정표현과 동작구현 방법.
  74. 제 44 항 내지 제 47 항 중 어느 한 항에 있어서,
    상기 동작 분석/생성 수단의 동작분석은,
    상기 자연어 분석 수단에 의하여 분석된 화행의 종류에 따라, 동작과 제스처를 할당하는 것을 특징으로 하는 가상인격체의 감정표현과 동작구현 방법.
  75. 제 68 항에 있어서,
    상기 동작 분석/생성 수단의 동작 생성은,
    상기 생성된 엑스엠엘(XML) 트리를 이용해서 각 노드에 적합한 동작을 생성하고, 상기 생성된 동작들간의 충돌은 동작필터를 통하여 낮은 우선순위의 동작을 제거하여 해결하는 것을 특징으로 하는 가상인격체의 감정표현과 동작구현 방법.
  76. 제 75 항에 있어서,
    상기 동작생성은,
    동작생성 결과를 트리구조로 나타내는 것을 특징으로 하는 가상인격체의 감정표현과 동작구현 방법.
  77. 제 43 항, 제 45 항 또는 제 47 항 중 어느 한 항에 있어서,
    상기 감정/동작 계획 수단의 동작계획은,
    상기 제 2 통합 출력 수단에 의한 음성과 텍스트의 출력과 타이밍이 맞도록 가상인격체의 동작을 계획하는 것을 특징으로 하는 가상인격체의 감정표현과 동작구현 방법.
  78. 제 43 항, 제 45 항 또는 제 47 항 중 어느 한 항에 있어서,
    상기 감정/동작 계획 수단의 동작계획은,
    상기 감정과 감정의 강도에 따라, 동작의 출력과 상기 제 2 통합 출력 수단에 의한 음성출력을 계획하는 것을 특징으로 하는 가상인격체의 감정표현과 동작구현 방법.
  79. 제 42 항 내지 제 47 항 중 어느 한 항에 있어서,
    상기 감정/동작 계획 수단의 동작 계획은,
    소스기술(Source Description)을 이용하는 것을 특징으로 하는 가상인격체의 감정표현과 동작구현 방법.
  80. 제 44 항 내지 제 47 항 중 어느 한 항에 있어서,
    상기 감정/동작 계획 수단의 동작 계획은,
    상기 자연어 분석 수단에 의한 의미분석 정보인 행위주(Agent), 장소(Location) 및 대상(Theme)과, 상기 동작 분석/생성 수단에 의한 동작생성 정보인 객체(Object), 술어(Predicate) 및 액션(Action)을 통합 제시하는 것을 특징으로 하는 가상인격체의 감정표현과 동작구현 방법.
  81. 제 42 항 내지 제 47 항 중 어느 한 항에 있어서,
    상기 영상정보 입력 수단의 가상인격체의 특성정보는,
    가상인격체의 얼굴 특징정보와 신체 특성정보를 포함하는 것을 특징으로 하는 가상인격체의 감정표현과 동작구현 방법.
  82. 제 43 항, 제 45 항 또는 제 47 항 중 어느 한 항에 있어서,
    상기 제 2 통합 출력 수단의 텍스트 출력은,
    감정분석결과, 의미분석결과, 및 동작분석 결과 중 적어도 어느 하나 이상을 텍스트로 출력하는 것을 특징으로 하는 가상인격체의 감정표현과 동작구현 방법.
  83. 프로세서를 구비한 가상인격체의 감정표현과 동작구현 시스템에,
    입력 수단이 외부로부터 동작데이터를 입력받는 제 1 기능;
    뉴로퍼지 감정추론 수단이 퍼지 추론과 신경망 기법을 이용하여 상기 입력된 동작데이터에 내포된 감정을 분석하고 감정의 강도를 계산하는 제 2 기능;
    감정/동작 계획 수단이 상기 제 2 기능에서 분석/계산된 감정 및 감정의 강도에 따라, 상기 입력된 동작데이터에 대응하는 가상인격체의 동작을 계획하는 제 3 기능;
    영상정보 입력 수단이 사용자로부터 가상인격체 영상에 대한 특성정보를 입력받아, 상기 입력된 특성정보에 부합하는 가상인격체를 생성하는 제 4 기능;
    영상정보와 감정/동작 합성 수단이, 상기 제 4 기능에서 생성된 가상인격체에 상기 제 3 기능의 동작 계획을 적용하여 동적 가상인격체를 생성하는 제 5 기능; 및
    제 1 통합 출력 수단이, 상기 제 5 기능에서 생성된 동적 가상인격체를 영상으로 출력하는 제 6 기능
    을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  84. 제 83 항에 있어서,
    제 2 통합 출력 수단이, 상기 제 1 통합 출력 수단의 영상 출력에 대응하는 음성과 텍스트를 출력하는 제 7 기능
    을 더 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  85. 프로세서를 구비한 가상인격체의 감정표현과 동작구현 시스템에,
    입력 수단이 외부로부터 자연어데이터를 입력받는 제 1 기능;
    문서요약 수단이, 상기 입력된 자연어데이터가 문서인지를 확인하여, 문서이면 중요한 문장을 추출하여 문장수준으로 변환하는 문서 요약을 수행하고, 문서가 아니면 상기 문서 요약을 수행하지 않고 단순히 출력하는 제 2 기능;
    자연어 분석 수단이 상기 제 2 기능의 문서요약 수단의 출력에 대하여 화행분석 및 의미분석을 수행하는 제 3 기능;
    감정 분석 수단이, 상기 제 2 기능의 화행분석결과와 의미분석결과를 이용하여 상기 입력된 자연어데이터에 포함되어 있는 감정을 분석하고 감정의 강도를 계산하는 제 4 기능;
    동작 분석/생성 수단이, 상기 제 4 기능에서 분석된 감정을 바탕으로 하여상기 입력된 자연어데이터에 포함되어 있는 동작을 분석하고, 상기 동작 분석결과를 이용하여 상기 입력된 자연데이터에 부합하는 동작을 생성하는 제 5 기능;
    감정/동작 계획 수단이, 상기 제 4 기능에서 분석/계산된 감정 및 감정의 강도에 따라, 상기 동작 분석/생성 수단에 의하여 생성된 동작에 대응하는 가상인격체의 동작을 계획하는 제 6 기능;
    영상정보 입력 수단이 사용자로부터 가상인격체의 특성정보를 입력받아, 상기 입력된 특성 정보에 부합하는 가상인격체를 생성하는 제 7 기능;
    영상정보와 감정/동작 합성 수단이 상기 제 7 기능에서 생성된 가상인격체에 상기 제 6 기능의 동작 계획을 적용하여, 동적 가상인격체를 생성하는 제 8 기능; 및
    제 1 통합 출력 수단이 상기 제 8 기능에서 생성된 동적 가상인격체를 영상으로 출력하는 제 9 기능
    을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  86. 제 85 항에 있어서,
    배경 생성 수단이, 상기 제 3 기능에서 분석된 의미정보에 해당하는 배경 화면과 상기 동적 가상인격체를 결합하고, 상기 의미정보의 변화에 따라 배경 화면을 변동시키는 제 10 기능 ; 및
    제 2 통합 출력 수단이, 상기 제 9 기능의 제 1 통합 출력 수단과 상기 제10 기능의 배경 생성 수단의 영상 출력에 대응하는 음성과 텍스트를 출력하는 제 11 기능
    을 더 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  87. 프로세서를 구비한 가상인격체의 감정표현과 동작구현 시스템에,
    입력 수단이 외부로부터 동작데이터와 자연어데이터로 이루어진 데이터를 입력받는 제 1 기능;
    뉴로퍼지 감정추론 수단이, 퍼지 추론과 신경망 기법을 이용하여, 상기 입력데이터 중 동작데이터에 내포된 감정을 분석하고 감정의 강도를 계산하는 제 2 기능;
    문서요약 수단이, 상기 입력데이터 중 자연어데이터가 문서인지를 확인하여, 문서이면 중요한 문장을 추출하여 문장수준으로 변환하는 문서 요약을 수행하고, 문서가 아니면 상기 문서 요약을 수행하지 않고 단순히 출력하는 제 3 기능;
    자연어 분석 수단이 상기 제 2 기능의 문서요약 수단의 출력에 대하여 화행분석 및 의미분석을 수행하는 제 4 기능;
    감정 분석 수단이 상기 제 4 기능에서 수행된 화행분석결과와 의미분석결과를 이용하여, 상기 자연어데이터에 포함되어 있는 감정을 분석하고 감정의 강도를 계산하는 제 5 기능;
    감정 선택추론 수단이, 상기 제 2 기능에서 뉴로퍼지 감정추론 수단에 의하여 분석된 감정과 상기 제 5 기능에서 감정 분석 수단에 의하여 분석된 감정을 상호 보정해서 취사선택하는 제 6 기능;
    동작 분석/생성 수단이, 상기 제 6 기능에서 취사선택된 감정을 바탕으로 하여 상기 입력데이터에 부합하는 동작을 분석하고, 상기 동작 분석결과를 이용하여 자연어데이터를 대상으로 상기 입력데이터에 부합하는 동작을 생성하는 제 7 기능;
    감정/동작 계획 수단이, 상기 분석/계산된 감정 및 감정의 강도에 따라, 상기 동작 분석/생성 수단에 의하여 생성된 동작에 대응하는 가상인격체의 동작을 계획하는 제 8 기능;
    영상정보 입력 수단이 사용자로부터 가상인격체의 특성정보를 입력받아, 상기 입력된 특성 정보에 부합하는 가상인격체를 생성하는 제 9 기능;
    영상정보와 감정/동작 합성 수단이 상기 제 9 기능에서 생성된 가상인격체에 상기 제 8 기능의 동작 계획을 적용하여, 동적 가상인격체를 생성하는 제 10 기능; 및
    제 1 통합 출력 수단이 상기 제 10 기능에서 생성된 동적 가상인격체를 영상으로 출력하는 제 11 기능
    을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  88. 제 87 항에 있어서,
    배경 생성 수단이, 상기 제 4 기능에서 분석된 의미정보에 해당하는 배경 화면과 상기 동적 가상인격체를 결합하고, 상기 의미정보의 변화에 따라 배경 화면을 변동시키는 제 12 기능; 및
    제 2 통합 출력 수단이, 상기 제 11 기능의 제 1 통합 출력 수단과 상기 제 12 기능의 배경 생성 수단의 영상 출력에 대응하는 음성과 텍스트를 출력하는 제 13 기능
    을 더 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020020072102A 2002-08-06 2002-11-19 가상인격체의 감정표현과 동작구현방법 KR101006191B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20020046285 2002-08-06
KR1020020046285 2002-08-06
KR20020068930 2002-11-07
KR1020020068930 2002-11-07

Publications (2)

Publication Number Publication Date
KR20040014123A true KR20040014123A (ko) 2004-02-14
KR101006191B1 KR101006191B1 (ko) 2011-01-07

Family

ID=37321354

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020020072102A KR101006191B1 (ko) 2002-08-06 2002-11-19 가상인격체의 감정표현과 동작구현방법

Country Status (1)

Country Link
KR (1) KR101006191B1 (ko)

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100757500B1 (ko) * 2005-12-08 2007-09-11 한국전자통신연구원 서비스 로봇과 사람 사이의 동작기반 인터페이스 시스템 및방법
KR100779955B1 (ko) * 2007-05-01 2007-11-28 지원영 3차원 가상친구 제공 서비스 방법
KR100919825B1 (ko) * 2008-03-25 2009-10-01 한국전자통신연구원 다차원 벡터공간에서 복합감성 모델링 방법
KR100955247B1 (ko) * 2008-07-09 2010-04-29 울산대학교 산학협력단 캐릭터 표현 시스템 또는 캐릭터 표현 방법
KR101388633B1 (ko) * 2014-02-10 2014-04-24 대한민국 가상 쌍방향 신문 훈련 시스템 및 이를 활용한 훈련 방법
US9189471B2 (en) 2011-11-18 2015-11-17 Samsung Electronics Co., Ltd. Apparatus and method for recognizing emotion based on emotional segments
CN107710235A (zh) * 2015-06-17 2018-02-16 情感爱思比株式会社 控制系统、系统以及程序
KR20180018198A (ko) * 2016-08-12 2018-02-21 주식회사 케이티 캐릭터 제공 시스템 및 이를 이용한 정보 수집 방법
CN108886532A (zh) * 2016-01-14 2018-11-23 三星电子株式会社 用于操作个人代理的装置和方法
KR101984283B1 (ko) * 2017-11-22 2019-05-30 주식회사 제네시스랩 기계학습모델을 이용한 자동화된 피평가자분석 시스템, 방법, 및 컴퓨터 판독가능매체
US10389873B2 (en) 2015-06-01 2019-08-20 Samsung Electronics Co., Ltd. Electronic device for outputting message and method for controlling the same
KR20200008838A (ko) * 2018-07-17 2020-01-29 김하륜 가상 면접 제공 방법 및 이를 이용하는 장치
EP3614304A1 (en) * 2014-11-05 2020-02-26 INTEL Corporation Avatar video apparatus and method
FR3088604A1 (fr) * 2018-11-21 2020-05-22 Valeo Systemes Thermiques Système interactif avec un occupant d’un véhicule automobile
CN112182194A (zh) * 2020-10-21 2021-01-05 南京创维信息技术研究院有限公司 电视虚拟形象情绪动作表达方法、系统和可读存储介质
CN113260955A (zh) * 2019-01-07 2021-08-13 法雷奥热系统公司 交互系统
JP2021174283A (ja) * 2020-04-27 2021-11-01 グリー株式会社 コンピュータプログラム、サーバ装置、端末装置、及び方法
JP2021189674A (ja) * 2020-05-28 2021-12-13 グリー株式会社 コンピュータプログラム、サーバ装置、端末装置、及び方法
KR20220134408A (ko) * 2021-03-26 2022-10-05 주식회사 트랜스버스 캐릭터를 활용한 인공지능 자연어 처리 기반의 화상교육 콘텐츠 제공 방법 및 장치
KR20230030793A (ko) * 2021-08-26 2023-03-07 한국로봇융합연구원 비언어적 상호작용을 위한 로봇의 행동을 제어하기 위한 장치 및 이를 위한 방법
CN116402928A (zh) * 2023-05-26 2023-07-07 南昌航空大学 一种虚拟谈话数字人生成方法
CN117522643A (zh) * 2023-12-04 2024-02-06 新励成教育科技股份有限公司 一种口才训练方法、装置、设备及存储介质
WO2024042444A1 (en) 2022-08-22 2024-02-29 Velazquez Garcia Lopez Agustin Manuel System and method for creating, storing, saving, managing, tagging, collecting, organizing, assigning, sharing and/or transferring information within the system itself when no longer an active user, or with a highly secure virtual vault, avatar or android
CN117522643B (zh) * 2023-12-04 2024-05-10 新励成教育科技股份有限公司 一种口才训练方法、装置、设备及存储介质

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170086317A (ko) 2016-01-18 2017-07-26 한국전자통신연구원 타이밍 변환을 이용한 3차원 캐릭터 동작 생성 장치 및 방법
US11544886B2 (en) 2019-12-17 2023-01-03 Samsung Electronics Co., Ltd. Generating digital avatar
KR102504722B1 (ko) * 2020-06-24 2023-02-28 영남대학교 산학협력단 감정 표현 영상 생성을 위한 학습 장치 및 방법과 감정 표현 영상 생성 장치 및 방법
KR20220015214A (ko) 2020-07-30 2022-02-08 주식회사 케이티 아바타의 얼굴 표정을 생성하는 서버, 방법 및 컴퓨터 프로그램
AU2021204758A1 (en) * 2020-11-20 2022-06-16 Soul Machines Autonomous animation in embodied agents

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10154238A (ja) * 1996-09-25 1998-06-09 Matsushita Electric Ind Co Ltd 動作生成装置
JP2000250907A (ja) * 1999-02-26 2000-09-14 Fuji Xerox Co Ltd 文書処理装置および記録媒体
JP2001209820A (ja) * 2000-01-25 2001-08-03 Nec Corp 感情表出装置及びプログラムを記録した機械読み取り可能な記録媒体

Cited By (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100757500B1 (ko) * 2005-12-08 2007-09-11 한국전자통신연구원 서비스 로봇과 사람 사이의 동작기반 인터페이스 시스템 및방법
KR100779955B1 (ko) * 2007-05-01 2007-11-28 지원영 3차원 가상친구 제공 서비스 방법
KR100919825B1 (ko) * 2008-03-25 2009-10-01 한국전자통신연구원 다차원 벡터공간에서 복합감성 모델링 방법
US8099372B2 (en) 2008-03-25 2012-01-17 Electronics And Telecommunications Research Institute Method of modeling composite emotion in multidimensional vector space
KR100955247B1 (ko) * 2008-07-09 2010-04-29 울산대학교 산학협력단 캐릭터 표현 시스템 또는 캐릭터 표현 방법
US9189471B2 (en) 2011-11-18 2015-11-17 Samsung Electronics Co., Ltd. Apparatus and method for recognizing emotion based on emotional segments
KR101388633B1 (ko) * 2014-02-10 2014-04-24 대한민국 가상 쌍방향 신문 훈련 시스템 및 이를 활용한 훈련 방법
EP3614304A1 (en) * 2014-11-05 2020-02-26 INTEL Corporation Avatar video apparatus and method
US10389873B2 (en) 2015-06-01 2019-08-20 Samsung Electronics Co., Ltd. Electronic device for outputting message and method for controlling the same
CN107710235A (zh) * 2015-06-17 2018-02-16 情感爱思比株式会社 控制系统、系统以及程序
EP3312775A4 (en) * 2015-06-17 2018-06-27 Cocoro SB Corp. Control system, system, and program
CN108886532B (zh) * 2016-01-14 2021-12-17 三星电子株式会社 用于操作个人代理的装置和方法
CN108886532A (zh) * 2016-01-14 2018-11-23 三星电子株式会社 用于操作个人代理的装置和方法
KR20180018198A (ko) * 2016-08-12 2018-02-21 주식회사 케이티 캐릭터 제공 시스템 및 이를 이용한 정보 수집 방법
KR101984283B1 (ko) * 2017-11-22 2019-05-30 주식회사 제네시스랩 기계학습모델을 이용한 자동화된 피평가자분석 시스템, 방법, 및 컴퓨터 판독가능매체
KR20200008838A (ko) * 2018-07-17 2020-01-29 김하륜 가상 면접 제공 방법 및 이를 이용하는 장치
FR3088604A1 (fr) * 2018-11-21 2020-05-22 Valeo Systemes Thermiques Système interactif avec un occupant d’un véhicule automobile
WO2020104742A1 (fr) * 2018-11-21 2020-05-28 Valeo Systemes Thermiques Système interactif avec un occupant d'un vehicule automobile
CN113164119A (zh) * 2018-11-21 2021-07-23 法雷奥热系统公司 与机动车辆的乘员交互的系统
US11970059B2 (en) 2019-01-07 2024-04-30 Valeo Systemes Thermiques Interactive system
CN113260955A (zh) * 2019-01-07 2021-08-13 法雷奥热系统公司 交互系统
JP2021174283A (ja) * 2020-04-27 2021-11-01 グリー株式会社 コンピュータプログラム、サーバ装置、端末装置、及び方法
JP2021189674A (ja) * 2020-05-28 2021-12-13 グリー株式会社 コンピュータプログラム、サーバ装置、端末装置、及び方法
CN112182194A (zh) * 2020-10-21 2021-01-05 南京创维信息技术研究院有限公司 电视虚拟形象情绪动作表达方法、系统和可读存储介质
KR20220134408A (ko) * 2021-03-26 2022-10-05 주식회사 트랜스버스 캐릭터를 활용한 인공지능 자연어 처리 기반의 화상교육 콘텐츠 제공 방법 및 장치
KR20230030793A (ko) * 2021-08-26 2023-03-07 한국로봇융합연구원 비언어적 상호작용을 위한 로봇의 행동을 제어하기 위한 장치 및 이를 위한 방법
WO2024042444A1 (en) 2022-08-22 2024-02-29 Velazquez Garcia Lopez Agustin Manuel System and method for creating, storing, saving, managing, tagging, collecting, organizing, assigning, sharing and/or transferring information within the system itself when no longer an active user, or with a highly secure virtual vault, avatar or android
CN116402928A (zh) * 2023-05-26 2023-07-07 南昌航空大学 一种虚拟谈话数字人生成方法
CN116402928B (zh) * 2023-05-26 2023-08-25 南昌航空大学 一种虚拟谈话数字人生成方法
CN117522643A (zh) * 2023-12-04 2024-02-06 新励成教育科技股份有限公司 一种口才训练方法、装置、设备及存储介质
CN117522643B (zh) * 2023-12-04 2024-05-10 新励成教育科技股份有限公司 一种口才训练方法、装置、设备及存储介质

Also Published As

Publication number Publication date
KR101006191B1 (ko) 2011-01-07

Similar Documents

Publication Publication Date Title
KR101006191B1 (ko) 가상인격체의 감정표현과 동작구현방법
Feine et al. A taxonomy of social cues for conversational agents
Ball et al. Emotion and personality in a conversational agent
De Carolis et al. APML, a markup language for believable behavior generation
Badler et al. Representing and parameterizing agent behaviors
JP7352115B2 (ja) 非言語情報生成装置、非言語情報生成モデル学習装置、非言語情報生成方法、非言語情報生成モデル学習方法及びプログラム
KR20020067592A (ko) 개인 상호 작용을 시뮬레이트하고 유저의 정신 상태및/또는 인격에 응답하는 유저 인터페이스/엔터테인먼트장치
KR20020067591A (ko) 개인의 상호작용을 시뮬레이팅하는 자기-갱신 사용자인터페이스/오락 장치
KR20020067590A (ko) 개인 상호작용을 시뮬레이팅하는 환경-응답 유저인터페이스/엔터테인먼트 장치
KR20020071917A (ko) 개인 상호 작용을 시뮬레이트하고 관련 데이터를 갖는외부 데이터베이스를 차징하는 유저인터페이스/엔터테인먼트 장치
KR101006491B1 (ko) 자연어 기반 감정인식, 감정표현 시스템 및 그 방법
Ma Automatic conversion of natural language to 3D animation
JP7212284B2 (ja) 非言語情報生成装置、方法、及びプログラム
JP7157340B2 (ja) 非言語情報生成装置、非言語情報生成モデル学習装置、方法、及びプログラム
Neviarouskaya et al. EmoHeart: conveying emotions in second life based on affect sensing from text
Nishida Conversational informatics: An engineering approach
Hubal et al. Lessons learned in modeling schizophrenic and depressed responsive virtual humans for training
JP2023156489A (ja) 自然言語処理システム、自然言語処理方法および自然言語処理プログラム
Nijholt Conversational agents and the construction of humorous acts
JP2006120136A (ja) 言語処理装置、言語処理方法、言語処理プログラムおよびそれを記録したコンピュータ読み取り可能な記録媒体
JPWO2019160104A1 (ja) 非言語情報生成装置、非言語情報生成モデル学習装置、方法、及びプログラム
Ishizuka et al. Describing and generating multimodal contents featuring affective lifelike agents with MPML
Nakatsu Nonverbal information recognition and its application to communications
Pelachaud et al. Multimodal communication between synthetic agents
Maya et al. Influences on embodied conversational agent's expressivity: Toward an individualization of the ecas

Legal Events

Date Code Title Description
N231 Notification of change of applicant
N231 Notification of change of applicant
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
J201 Request for trial against refusal decision
E902 Notification of reason for refusal
B701 Decision to grant
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20131229

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20151228

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20170117

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20180621

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20190424

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20200116

Year of fee payment: 10

R401 Registration of restoration