KR20110081364A - 캐릭터의 발화와 감정표현 제공 시스템 및 방법 - Google Patents

캐릭터의 발화와 감정표현 제공 시스템 및 방법 Download PDF

Info

Publication number
KR20110081364A
KR20110081364A KR1020100000837A KR20100000837A KR20110081364A KR 20110081364 A KR20110081364 A KR 20110081364A KR 1020100000837 A KR1020100000837 A KR 1020100000837A KR 20100000837 A KR20100000837 A KR 20100000837A KR 20110081364 A KR20110081364 A KR 20110081364A
Authority
KR
South Korea
Prior art keywords
lip
speech
expression
lip shape
sound source
Prior art date
Application number
KR1020100000837A
Other languages
English (en)
Other versions
KR101089184B1 (ko
Inventor
송세경
이준영
Original Assignee
(주) 퓨처로봇
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주) 퓨처로봇 filed Critical (주) 퓨처로봇
Priority to KR20100000837A priority Critical patent/KR101089184B1/ko
Priority to PCT/KR2011/000071 priority patent/WO2011083978A2/ko
Publication of KR20110081364A publication Critical patent/KR20110081364A/ko
Application granted granted Critical
Publication of KR101089184B1 publication Critical patent/KR101089184B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings

Abstract

본 발명은 3차원 애니메이션이나 3차원 가상 공간, 광고 내용 전달 등에서 등장하는 3차원 캐릭터가 울거나 웃는 등의 감정표현 동작을 실행하면서 전달 내용을 말로 표출하는 발화 동작을 동시에 실행함으로써, 3차원 캐릭터를 통해 스토리 전달이나 광고 전달, 내용 전달 등이 명확하게 이루어질 수 있도록 된, 캐릭터의 발화와 감정표현 제공 시스템 및 방법에 관한 것이다.
본 발명에 따른 캐릭터의 발화 및 감정표현 제공 시스템은, 주변 상황을 인식하기 위한 상황 인식부; 상기 인식된 주변 상황에 따른 발화문을 선택하는 발화문 선택부; 상기 선택된 발화문을 표현하는데 필요한 입술모양을 선택하기 위한 발화이미지 선택부; 상기 인식된 주변 상황에 따른 감정표현에 대응된 얼굴표정을 선택하기 위한 표정 선택부; 상기 선택된 발화문에 해당하는 음원을 생성하는 음원 생성부; 상기 발화문으로부터 입술모양 생성에 필요한 자음 및 모음 정보를 추출하고, 상기 입술모양이 변하는 자음 및 모음이 발음되는 시간 정보를 생성하는 구문 분석부; 상기 얼굴표정과 상기 입술모양 및 상기 음원을 동기시켜 표출하도록 제어하는 제어부; 및 상기 동기된 얼굴표정과 입술모양 및 음원을 표출하는 감정 표현부를 포함한다.
본 발명에 따르면, 2D 또는 3D 캐릭터에 있어서 얼굴 표정과 발화 내용을 동시에 표출할 수 있는 캐릭터를 제공할 수 있다. 따라서, 캐릭터의 얼굴표정과 발화내용에 따라 다양한 감정표현을 제공할 수 있다.

Description

캐릭터의 발화와 감정표현 제공 시스템 및 방법{Method and system for providing a speech and expression of emotion in 3D charactor}
본 발명은 3차원 캐릭터의 발화(發話) 동작과 감정표현 동작을 동시에 제공하는 시스템 및 방법에 관한 것으로, 보다 상세하게는 3차원 애니메이션이나 3차원 가상 공간, 광고 내용 전달 등에서 등장하는 3차원 캐릭터가 울거나 웃는 등의 감정표현 동작을 실행하면서 전달 내용을 말로 표출하는 발화 동작을 동시에 실행함으로써, 3차원 캐릭터를 통해 스토리 전달이나 광고 전달, 내용 전달 등이 명확하게 이루어질 수 있도록 된, 캐릭터의 발화와 감정표현 제공 시스템 및 방법에 관한 것이다.
종래의 얼굴 애니메이션 연구의 주된 방향은 감정과 입술 움직임 등을 처리하기 위한 효율적인 방법을 찾는 것이었다. 지금까지 국내외에서 얼굴 표정 동작에 대한 연구는 많이 행해져 왔으나 아직 3D 게임이나 애니메이션에 등장하는 캐릭터가 자연스러운 얼굴 표정을 연출하고 있다고 보기 힘들다. 그럼에도, 불구하고 얼굴 모델링과 애니메이션은 사실 최근에 비약적으로 발전했다.
3차원 애니메이션 제작을 위한 컴퓨터 그래픽 기술은 현재 세계적으로 성장, 발전기에 있으며, 표현 범위의 확대 및 고품질화, 제작 기간 단축 및 제작비 절감을 위한 성능 향상과 사용자 편의를 위한 인터페이스의 개선 등에 대한 연구가 진행되고 있다.
또한, 현재 음성인식이나 화자 인증 기술은 세계적으로 꾸준히 발전되어 제한적인 환경에서 매우 만족스러운 성능을 나타내고 있다. 이러한 기술에서 음식인식이나 화자 인증시스템 성능을 향상시키기 위해 연속되는 음성에서 음소의 명확한 경계를 추출하는 것이 핵심기술이다. 애니메이션에 등장하는 캐릭터의 자연스러운 얼굴 표정 연출에서 가장 고려하여야 할 점은 음성 신호와 입술 움직임의 동기화이다.
애니메이션을 제작하는 경우 우선 성우가 대사 부분을 녹음하고 이에 맞추어 캐릭터 애니메이션을 제작하는 방식으로 이루어지므로, 종래의 텍스트 기반 입 모양 동기화 및 표정 애니메이션 방법을 실제 제작현장에서 사용하기 어려운 점이 있어, 최근에는 성우가 녹음한 음성 데이터로부터 바로 음소를 추출하여 애니메이션을 생성하는 기술이 연구되고 있었다.
하지만, 지금까지 얼굴 표정 및 얼굴 부분의 움직임 자체에 대한 연구는 의학, 미술 등을 비롯하여 많이 이루어졌지만 실제로 사용되고 있는 3차원 얼굴 모델들은 주로 애니메이터에 의해 수작업으로 프레임별로 직접 그려내거나, 3차원 소프트웨어를 이용하여 애니메이션을 수행하더라도 작업시간 대비 품질(Quality)이 떨어진다는 단점이 있었다.
또한, 3차원 캐릭터에 대해 감정표현과 발화 동작을 적용할 경우, 3차원 캐릭터가 웃는 모습 등의 감정표현 동작을 실행한 후에 입술이 움직이는 발화 동작이 이어지거나, 발화 동작을 실행한 후에 우는 모습 등의 감정표현 동작이 이루어지는 등 감정표현과 발화 동작이 순차적인 별도의 동작으로 진행되었다. 따라서, 3차원 캐릭터의 동작에 따른 내용 전달이나 스토리(Story) 전달력을 향상시키기 위해 울거나 웃는 등의 감정표현 동작을 실행하면서 발화 동작이 동시에 이루어질 수 있도록 하는 기술이 요구되고 있다.
전술한 문제점을 해결하기 위한 본 발명의 목적은, 3차원 애니메이션이나 3차원 가상 공간, 광고 내용 전달 등에서 등장하는 3차원 캐릭터가 울거나 웃는 등의 감정표현 동작을 실행하면서 전달 내용을 말로 표출하는 발화 동작을 동시에 실행함으로써, 3차원 캐릭터를 통해 스토리 전달이나 광고 전달, 내용 전달 등이 명확하게 이루어질 수 있도록 된, 캐릭터의 발화와 감정표현 제공 시스템 및 방법을 제공함에 있다.
전술한 목적을 달성하기 위한 본 발명에 따른 캐릭터의 발화 및 감정표현 제공 시스템은, 주변 상황을 인식하기 위한 상황 인식부; 상기 인식된 주변 상황에 따른 발화문을 선택하는 발화문 선택부; 상기 선택된 발화문을 표현하는데 필요한 입술모양을 선택하기 위한 발화이미지 선택부; 상기 인식된 주변 상황에 따른 감정표현에 대응된 얼굴표정을 선택하기 위한 표정 선택부; 상기 선택된 발화문에 해당하는 음원을 생성하는 음원 생성부; 상기 발화문으로부터 입술모양 생성에 필요한 자음 및 모음 정보를 추출하고, 상기 입술모양이 변하는 자음 및 모음이 발음되는 시간 정보를 생성하는 구문 분석부; 상기 얼굴표정과 상기 입술모양 및 상기 음원을 동기시켜 표출하도록 제어하는 제어부; 및 상기 동기된 얼굴표정과 입술모양 및 음원을 표출하는 감정 표현부를 포함한다.
또한, 상기 얼굴표정을 이미지로 저장하고 있는 표정 데이터베이스; 상기 입술모양을 발화이미지로 저장하고 있는 발화이미지 데이터베이스; 상기 발화문에 해당하는 데이터를 저장하고 있는 발화문 데이터베이스; 및 상기 생성된 음원의 음색을 변화시켜 감정 정보를 가미하는 감정 가미부를 더 포함한다.
또한, 상기 감정 표현부는, 상기 동기된 얼굴모양과 입술모양을 화면 상에 디스플레이하는 디스플레이부와, 상기 얼굴모양과 입술모양에 동기된 음원을 출력하는 음원 출력부를 포함한다.
또한, 상기 제어부는, 상기 발화문의 자음 및 모음을 분석하여, 상기 입술모양이 가장 크게 변하는 모음을 기준으로 입술모양을 제어하고, 입술이 닫히는 자음 발음 시에 다음 모음을 표현하기 전에 입술이 닫히도록 제어한다.
또한, 상기 제어부는, 상기 입술모양의 움직임에 대하여, 관절이 움직이는 것과 유사하도록 윗입술과 아랫입술의 입술모양의 그래픽 객체에 사람의 뼈에 해당하는 본(Bone)과 같은 연결선들을 구비하여, 상기 연결선들의 움직임에 따라 상기 입술모양이 움직이도록 제어한다.
또한, 상기 제어부는, 상기 윗입술에 대해 다수의 연결선과 연결선내 다수의 회전 제어점, 입술 끝단의 다수의 위치 제어점을 제어하고, 상기 아랫입술에 대해 다수의 연결선과 다수의 위치 제어점을 제어한다.
또한, 상기 제어부는, 제어점을 이동/회전 시켜 상기 입술모양이 변하도록 제어하거나, 두 제어점이 연결되는 객체에 가/감속을 적용하여 상기 입술모양의 동작을 제어한다.
또한, 상기 제어부는, 상기 입술모양의 제어점을 조정할 때 감정 상태에 따른 상기 얼굴 표정에서 상기 입술모양이 갖는 제어점에 가중치를 적용하여 제어한다.
그리고, 상기 제어부는, 상기 얼굴표정과 상기 입술모양 및 상기 음원에 대해, 얼굴표정과 표현시간, 발화문과 발화시간, 얼굴표정 시간과 발화문 시간 간의 차이로 이루어진 동기함수에 따라 상기 얼굴표정과 상기 입술모양 및 상기 음원이 동기되도록 제어한다.
한편, 전술한 목적을 달성하기 위한 본 발명에 따른 캐릭터의 발화 및 감정표현 제공 방법은, (a) 주변 상황을 인식하는 단계; (b) 상기 인식된 주변 상황에 따른 발화문을 선택하는 단계; (c) 상기 선택된 발화문을 표현하는데 필요한 입술모양을 선택하는 단계; (d) 상기 인식된 주변 상황에 따른 감정표현에 대응된 얼굴표정을 선택하는 단계; (e) 상기 선택된 발화문에 해당하는 음원을 생성하는 단계; (f) 상기 발화문으로부터 입술모양 생성에 필요한 자음 및 모음 정보를 추출하고, 상기 입술모양이 변하는 자음 및 모음이 발음되는 시간 정보를 생성하는 단계; 및 (g) 상기 얼굴표정과 상기 입술모양 및 상기 음원을 동기시켜 표출하는 단계를 포함한다.
또한, 상기 (c) 단계는, 상기 발화문의 자음 및 모음을 분석하여, 상기 입술모양이 가장 크게 변하는 모음을 기준으로 입술모양을 선택하고, 입술이 닫히는 자음 발음 시에 다음 모음을 표현하기 전에 입술이 닫히는 입술모양을 선택한다.
또한, 상기 (g) 단계는, 상기 얼굴표정과 상기 입술모양 및 상기 음원에 대해, 얼굴표정과 표현시간, 발화문과 발화시간, 얼굴표정 시간과 발화문 시간 간의 차이로 이루어진 동기함수에 따라 상기 얼굴표정과 상기 입술모양 및 상기 음원을 동기시켜 표출한다.
또한, 상기 (c) 단계는, 상기 입술모양의 선택에 대하여, 관절이 움직이는 것과 유사하도록 윗입술과 아랫입술의 입술모양의 그래픽 객체에 사람의 뼈에 해당하는 본(Bone)과 같은 연결선들을 구비하여, 상기 연결선들의 움직임에 따라 형성된 입술모양을 선택한다.
또한, 상기 (c) 단계는, 제어점을 이동/회전 시켜 변화된 입술모양을 선택하거나, 두 제어점이 연결되는 객체에 가/감속이 적용된 입술모양을 선택한다.
그리고, 상기 (c) 단계는, 감정 상태에 따른 상기 얼굴 표정에서 상기 입술모양이 갖는 제어점에 가중치가 적용된 입술모양을 선택한다.
본 발명에 따르면, 2D 또는 3D 캐릭터에 있어서 얼굴 표정과 발화 내용을 동시에 표출할 수 있는 캐릭터를 제공할 수 있다.
따라서, 캐릭터의 얼굴표정과 발화내용에 따라 다양한 감정표현을 제공할 수 있다.
도 1은 본 발명의 실시예에 따른 캐릭터의 발화 및 감정표현 제공 시스템의 기능 블럭을 개략적으로 나타낸 구성도이다.
도 2는 본 발명의 실시예에 따른 캐릭터의 발화 및 감정표현 제공 방법을 설명하기 위한 동작 흐름도이다.
도 3은 본 발명의 실시예에 따라 본이 구비된 입술모양의 예를 나타낸 도면이다.
도 4는 시간 정보에 근거한 얼굴표정과 발화 정보를 동기화시키는 예를 나타낸 도면이다.
도 5는 본 발명의 실시예에 따라 얼굴표정과 입술모양이 동시에 표출되는 예를 나타낸 도면이다.
본 발명의 목적과 기술적 구성 및 그에 따른 작용 효과에 관한 자세한 사항은 본 발명의 명세서에 첨부된 도면에 의거한 이하 상세한 설명에 의해 보다 명확하게 이해될 것이다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 실시예를 상세하게 설명한다.
도 1은 본 발명의 실시예에 따른 캐릭터의 발화 및 감정표현 제공 시스템의 기능 블럭을 개략적으로 나타낸 구성도이다.
도 1을 참조하면, 본 발명에 따른 캐릭터의 발화 및 감정표현 제공 시스템(100)은, 상황 인식부(102), 발화문 선택부(104), 발화이미지 선택부(106), 표정 선택부(108), 음원 생성부(110), 구문 분석부(112), 제어부(114), 감정 표현부(116), 표정 데이터베이스(118), 발화이미지 데이터베이스(120), 발화문 데이터베이스(122), 감정 가미부(124)를 포함한다.
상황 인식부(102)는 주변 상황을 인식한다. 예컨대, 상황 인식부(102)는 주변 상황이 손님이 일정 거리 이상으로 접근한 상황 등을 인식하는 것이다.
발화문 선택부(104)는 인식된 주변 상황에 따른 발화문을 선택한다. 즉, 발화문 선택부(104)는 상황 인식부(102)에 의해 손님이 일정 거리 이상 접근한 것으로 인식되면, 예컨대, "안녕하세요? 오서오세요!"라는 발화문을 선택한다.
또한, 사용자가 임의로 감정과 발화문을 입력할 수 있도록 사용자 임의 입력부를 구비할 수 있다.
발화이미지 선택부(106)는 선택된 발화문을 표현하는데 필요한 입술모양을 선택한다.
표정 선택부(108)는 인식된 주변 상황에 따른 감정표현에 대응된 얼굴표정을 선택한다.
음원 생성부(110)는 선택된 발화문에 해당하는 음원을 생성한다.
구문 분석부(112)는 발화문으로부터 입술모양 생성에 필요한 자음 및 모음 정보를 추출하고, 그에 따라 입술모양이 변하는 자음 및 모음이 발음되는 시간 정보를 생성한다.
제어부(114)는 얼굴표정과 입술모양 및 음원을 동기시켜 표출하도록 제어한다.
감정 표현부(116)는 동기된 얼굴표정과 입술모양 및 음원을 표출한다. 여기서, 감정 표현부(116)는 동기된 얼굴모양과 입술모양을 화면 상에 디스플레이하는 디스플레이부와, 얼굴모양과 입술모양에 동기된 음원을 출력하는 음원 출력부를 포함한다.
표정 DB(118)는 다수 개의 얼굴표정을 이미지로 저장하고 있다.
발화이미지 DB(120)는 다수 개의 입술모양을 발화이미지로 저장하고 있다.
발화문 DB(122)는 발화문에 해당하는 데이터를 저장하고 있다.
감정 가미부(124)는 생성된 음원의 음색을 변화시켜 감정 정보를 가미한다.
또한, 제어부(114)는 발화문의 자음 및 모음을 분석하여, 입술모양이 가장 크게 변하는 모음을 기준으로 입술모양을 제어하고, 입술이 닫히는 자음 발음 시에 다음 모음을 표현하기 전에 입술이 닫히도록 제어한다.
또한, 제어부(114)는 입술모양의 움직임에 대하여, 관절이 움직이는 것과 유사하도록 윗입술과 아랫입술의 입술모양의 그래픽 객체에 사람의 뼈에 해당하는 본(Bone)과 같은 연결선들을 구비하여, 본과 같은 연결선들의 움직임에 따라 입술모양이 움직이도록 제어한다.
또한, 제어부(114)는 윗입술에 대해 다수의 연결선과 연결선내 다수의 회전 제어점, 입술 끝단의 다수의 위치 제어점을 제어하고, 아랫입술에 대해 다수의 연결선과 다수의 위치 제어점을 제어한다.
또한, 제어부(114)는 트윈(Tween) 기법 등을 사용하여 제어점을 이동/회전 시켜 입술모양이 변하도록 제어하거나, Ease in/out 기법 등을 사용하여 두 제어점이 연결되는 객체에 가/감속을 적용하여 상기 입술모양의 동작을 제어한다.
또한, 제어부(114)는 입술모양의 제어점을 조정할 때 감정 상태에 따른 얼굴 표정에서 입술모양이 갖는 제어점에 가중치를 적용하여 제어한다.
그리고, 제어부(114)는 얼굴표정과 입술모양 및 음원에 대해, 다음 수학식1과 같이 얼굴표정과 표현시간, 발화문과 발화시간, 얼굴표정 시간과 발화문 시간 간의 차이로 이루어진 동기함수에 따라 얼굴표정과 입술모양 및 음원이 동기되도록 제어한다.
Figure pat00001
여기서, Tai는 얼굴표정i와 표현시간ti로 이루어지고, Tbi는 발화문i와 발화시간ti로 이루어지며, Tci는 얼굴표정 시간과 발화문 시간 간의 차이i를 나타낸다.
도 2는 본 발명의 실시예에 따른 캐릭터의 발화 및 감정표현 제공 방법을 설명하기 위한 동작 흐름도이다.
도 2를 참조하면, 본 발명에 따른 캐릭터의 발화 및 감정표현 제공 시스템(100)은 먼저 상황 인식부(102)를 통해 주변 상황을 인식한다(S202).
여기서, 상황 인식부(102)는 주변 상황을 카메라를 통해 촬영하여 이미지를 분석하는 시스템 등으로 구현할 수 있다. 또한, 상황 인식부(102)는 상황을 인식할 수 있는 각종 센서를 구비하여 이를 통해 상황을 인식할 수도 있다.
이어, 캐릭터의 발화 및 감정표현 제공 시스템(100)은 상황 인식부(102)를 통해 인식된 주변 상황에 따른 발화문을 발화문 선택부(104)를 통해 선택한다(S204).
이어, 캐릭터의 발화 및 감정표현 제공 시스템(100)은 선택된 발화문을 표현하는데 필요한 입술모양을 발화이미지 선택부(106)를 통해 선택한다(S206).
이때, 캐릭터의 발화 및 감정표현 제공 시스템(100)은 발화문의 자음 및 모음을 분석하여, 입술모양이 가장 크게 변하는 모음을 기준으로 입술모양을 선택하고, 입술이 닫히는 자음 발음 시에 다음 모음을 표현하기 전에 입술이 닫히는 입술모양을 선택한다.
또한, 캐릭터의 발화 및 감정표현 제공 시스템(100)은 입술모양의 선택에 대하여, 관절이 움직이는 것과 유사하도록 윗입술과 아랫입술의 입술모양의 그래픽 객체에 도 3에 도시된 바와 같이 사람의 뼈와 같은 기능을 하는 본(Bone)과 같은 연결선들을 구비하여, 이 본(Bone)과 같은 연결선들의 움직임에 따라 형성된 입술모양을 선택한다. 도 3은 본 발명의 실시예에 따라 본이 구비된 입술모양의 예를 나타낸 도면이다.
또한, 캐릭터의 발화 및 감정표현 제공 시스템(100)은 트윈(Tween) 기법 등을 사용하여 제어점을 이동/회전 시켜 변화된 입술모양을 선택하거나, Ease in/out 기법 등을 사용하여 두 제어점이 연결되는 객체에 가/감속이 적용된 입술모양을 선택한다.
그리고, 캐릭터의 발화 및 감정표현 제공 시스템(100)은 입술모양을 제어하는 제어점을 조정할 때, 감정 상태에 따른 얼굴 표정에서 예컨대, 다음 수학식2와 같이 입술모양이 갖는 제어점에 가중치가 적용된 입술모양을 선택한다.
Figure pat00002
여기서, k 값은 최종 입술모양을 결정하는 가중치를 나타낸다.
이어, 캐릭터의 발화 및 감정표현 제공 시스템(100)은 인식된 주변 상황에 따른 감정표현에 대응된 얼굴표정을 표정 선택부(108)를 통해 선택한다(S208).
이어, 캐릭터의 발화 및 감정표현 제공 시스템(100)은 선택된 발화문에 해당하는 음원을 음원 생성부(110)를 통해 생성한다(S210).
이어, 캐릭터의 발화 및 감정표현 제공 시스템(100)은 발화문으로부터 입술모양 생성에 필요한 자음 및 모음 정보를 추출하고, 입술모양이 변하는 자음 및 모음이 발음되는 시간 정보를 생성한다(S212).
이어, 캐릭터의 발화 및 감정표현 제공 시스템(100)은 시간 정보에 근거해 수학식 1의 동기함수에 따라 도 4에 도시된 바와 같이 얼굴표정과 입술모양 및 음원을 동기시켜 감정 표현부(116)를 통해 표출한다(S214). 여기서, 도 4는 시간 정보에 근거한 얼굴표정과 발화 정보를 동기화시키는 예를 나타낸 도면이다.
즉, 캐릭터의 발화 및 감정표현 제공 시스템(100)은 얼굴표정과 입술모양 및 음원에 대해, 도 5에 도시된 바와 같에 얼굴표정i와 표현시간ti에 따른 Tai 요소와, 발화문i와 발화시간ti에 따른 Tbi 요소, 얼굴표정 시간과 발화문 시간 간의 차이 Tci로 이루어진 동기(Sync) 함수에 따라 예컨대, A, O, E, U, L, N 등을 얼굴표정과 입술모양 및 음원을 동기시켜 표출할 수 있다. 도 5는 본 발명의 실시예에 따라 얼굴표정과 입술모양이 동시에 표출되는 예를 나타낸 도면이다. 본 발명의 경우, 캐릭터의 발화 및 감정표현 제공 시스템(100)은 벡터 방식으로 이미지를 제어하고, 음원의 재생과 동시에 입술 모양을 제어한다.
따라서, 웃는 얼굴 등의 얼굴표정과 동시에 입술모양 및 음원을 표출할 수 있는 3차원 캐릭터를 사용자들에게 제공할 수 있다.
전술한 바와 같이 본 발명에 의하면, 3차원 애니메이션이나 3차원 가상 공간, 광고 내용 전달 등에서 등장하는 3차원 캐릭터가 울거나 웃는 등의 감정표현 동작을 실행하면서 전달 내용을 말로 표출하는 발화 동작을 동시에 실행함으로써, 3차원 캐릭터를 통해 스토리 전달이나 광고 전달, 내용 전달 등이 명확하게 이루어질 수 있도록 된, 캐릭터의 발화와 감정표현 제공 시스템 및 방법을 실현할 수 있다.
본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있으므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100 : 캐릭터의 발화 및 감정표현 제공 시스템 102 : 상황 인식부
104 : 발화문 선택부 106 : 발화이미지 선택부
108 : 표정 선택부 110 : 음원 생성부
112 : 구문 분석부 114 : 제어부
116 : 감정 표현부 118 : 표정 DB
120 : 발화이미지 DB 122 : 발화문 DB
124 : 감정 가미부

Claims (15)

  1. 주변 상황을 인식하기 위한 상황 인식부;
    상기 인식된 주변 상황에 따른 발화문을 선택하는 발화문 선택부;
    상기 선택된 발화문을 표현하는데 필요한 입술모양을 선택하기 위한 발화이미지 선택부;
    상기 인식된 주변 상황에 따른 감정표현에 대응된 얼굴표정을 선택하기 위한 표정 선택부;
    상기 선택된 발화문에 해당하는 음원을 생성하는 음원 생성부;
    상기 발화문으로부터 입술모양 생성에 필요한 자음 및 모음 정보를 추출하고, 상기 입술모양이 변하는 자음 및 모음이 발음되는 시간 정보를 생성하는 구문 분석부;
    상기 얼굴표정과 상기 입술모양 및 상기 음원을 동기시켜 표출하도록 제어하는 제어부; 및
    상기 동기된 얼굴표정과 입술모양 및 음원을 표출하는 감정 표현부;
    를 포함하는 캐릭터의 발화 및 감정표현 제공 시스템.
  2. 제 1 항에 있어서,
    상기 얼굴표정을 이미지로 저장하고 있는 표정 데이터베이스;
    상기 입술모양을 발화이미지로 저장하고 있는 발화이미지 데이터베이스;
    상기 발화문에 해당하는 데이터를 저장하고 있는 발화문 데이터베이스; 및
    상기 생성된 음원의 음색을 변화시켜 감정 정보를 가미하는 감정 가미부;
    를 더 포함하는 것을 특징으로 하는 캐릭터의 발화 및 감정표현 제공 시스템.
  3. 제 1 항에 있어서,
    상기 감정 표현부는, 상기 동기된 얼굴모양과 입술모양을 화면 상에 디스플레이하는 디스플레이부와, 상기 얼굴모양과 입술모양에 동기된 음원을 출력하는 음원 출력부를 포함하는 것을 특징으로 하는 캐릭터의 발화 및 감정표현 제공 시스템.
  4. 제 1 항에 있어서,
    상기 제어부는, 상기 발화문의 자음 및 모음을 분석하여, 상기 입술모양이 가장 크게 변하는 모음을 기준으로 입술모양을 제어하고, 입술이 닫히는 자음 발음 시에 다음 모음을 표현하기 전에 입술이 닫히도록 제어하는 것을 특징으로 하는 캐릭터의 발화 및 감정표현 제공 시스템.
  5. 제 1 항에 있어서,
    상기 제어부는, 상기 입술모양의 움직임에 대하여, 관절이 움직이는 것과 유사하도록 윗입술과 아랫입술의 입술모양의 그래픽 객체에 사람의 뼈에 해당하는 본(Bone)과 같은 연결선들을 구비하여, 상기 연결선들의 움직임에 따라 상기 입술모양이 움직이도록 제어하는 것을 특징으로 하는 캐릭터의 발화 및 감정표현 제공 시스템.
  6. 제 5 항에 있어서,
    상기 제어부는, 상기 윗입술에 대해 다수의 연결선과 연결선내 다수의 회전 제어점, 입술 끝단의 다수의 위치 제어점을 제어하고, 상기 아랫입술에 대해 다수의 연결선과 다수의 위치 제어점을 제어하는 것을 특징으로 하는 캐릭터의 발화 및 감정표현 제공 시스템.
  7. 제 5 항에 있어서,
    상기 제어부는, 제어점을 이동/회전 시켜 상기 입술모양이 변하도록 제어하거나, 두 제어점이 연결되는 객체에 가/감속을 적용하여 상기 입술모양의 동작을 제어하는 것을 특징으로 하는 캐릭터의 발화 및 감정표현 제공 시스템.
  8. 제 5 항에 있어서,
    상기 제어부는, 상기 입술모양의 제어점을 조정할 때 감정 상태에 따른 상기 얼굴 표정에서 상기 입술모양이 갖는 제어점에 가중치를 적용하여 제어하는 것을 특징으로 하는 캐릭터의 발화 및 감정표현 제공 시스템.
  9. 제 1 항에 있어서,
    상기 제어부는, 상기 얼굴표정과 상기 입술모양 및 상기 음원에 대해, 얼굴표정과 표현시간, 발화문과 발화시간, 얼굴표정 시간과 발화문 시간 간의 차이로 이루어진 동기함수에 따라 상기 얼굴표정과 상기 입술모양 및 상기 음원이 동기되도록 제어하는 것을 특징으로 하는 캐릭터의 발화 및 감정표현 제공 시스템.
  10. (a) 주변 상황을 인식하는 단계;
    (b) 상기 인식된 주변 상황에 따른 발화문을 선택하는 단계;
    (c) 상기 선택된 발화문을 표현하는데 필요한 입술모양을 선택하는 단계;
    (d) 상기 인식된 주변 상황에 따른 감정표현에 대응된 얼굴표정을 선택하는 단계;
    (e) 상기 선택된 발화문에 해당하는 음원을 생성하는 단계;
    (f) 상기 발화문으로부터 입술모양 생성에 필요한 자음 및 모음 정보를 추출하고, 상기 입술모양이 변하는 자음 및 모음이 발음되는 시간 정보를 생성하는 단계; 및
    (g) 상기 얼굴표정과 상기 입술모양 및 상기 음원을 동기시켜 표출하는 단계;
    를 포함하는 캐릭터의 발화 및 감정표현 제공 방법.
  11. 제 10 항에 있어서,
    상기 (c) 단계는, 상기 발화문의 자음 및 모음을 분석하여, 상기 입술모양이 가장 크게 변하는 모음을 기준으로 입술모양을 선택하고, 입술이 닫히는 자음 발음 시에 다음 모음을 표현하기 전에 입술이 닫히는 입술모양을 선택하는 것을 특징으로 하는 캐릭터의 발화 및 감정표현 제공 방법.
  12. 제 10 항에 있어서,
    상기 (g) 단계는, 상기 얼굴표정과 상기 입술모양 및 상기 음원에 대해, 얼굴표정과 표현시간, 발화문과 발화시간, 얼굴표정 시간과 발화문 시간 간의 차이 로 이루어진 동기함수에 따라 상기 얼굴표정과 상기 입술모양 및 상기 음원을 동기시켜 표출하는 것을 특징으로 하는 캐릭터의 발화 및 감정표현 제공 방법.
  13. 제 10 항에 있어서,
    상기 (c) 단계는, 상기 입술모양의 선택에 대하여, 관절이 움직이는 것과 유사하도록 윗입술과 아랫입술의 입술모양의 그래픽 객체에 사람의 뼈에 해당하는 본(Bone)과 같은 연결선들을 구비하여, 상기 연결선들의 움직임에 따라 형성된 입술모양을 선택하는 것을 특징으로 하는 캐릭터의 발화 및 감정표현 제공 방법.
  14. 제 10 항에 있어서,
    상기 (c) 단계는, 제어점을 이동/회전 시켜 변화된 입술모양을 선택하거나, 두 제어점이 연결되는 객체에 가/감속이 적용된 입술모양을 선택하는 것을 특징으로 하는 캐릭터의 발화 및 감정표현 제공 방법.
  15. 제 10 항에 있어서,
    상기 (c) 단계는, 감정 상태에 따른 상기 얼굴 표정에서 상기 입술모양이 갖는 제어점에 가중치가 적용된 입술모양을 선택하는 것을 특징으로 하는 캐릭터의 발화 및 감정표현 제공 방법.
KR20100000837A 2010-01-06 2010-01-06 캐릭터의 발화와 감정표현 제공 시스템 및 방법 KR101089184B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR20100000837A KR101089184B1 (ko) 2010-01-06 2010-01-06 캐릭터의 발화와 감정표현 제공 시스템 및 방법
PCT/KR2011/000071 WO2011083978A2 (ko) 2010-01-06 2011-01-06 캐릭터의 발화와 감정표현 제공 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20100000837A KR101089184B1 (ko) 2010-01-06 2010-01-06 캐릭터의 발화와 감정표현 제공 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20110081364A true KR20110081364A (ko) 2011-07-14
KR101089184B1 KR101089184B1 (ko) 2011-12-02

Family

ID=44305944

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20100000837A KR101089184B1 (ko) 2010-01-06 2010-01-06 캐릭터의 발화와 감정표현 제공 시스템 및 방법

Country Status (2)

Country Link
KR (1) KR101089184B1 (ko)
WO (1) WO2011083978A2 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013077527A1 (ko) * 2011-11-21 2013-05-30 (주) 퓨처로봇 캐릭터의 다국어 발화 시스템 및 방법
US9165404B2 (en) 2011-07-14 2015-10-20 Samsung Electronics Co., Ltd. Method, apparatus, and system for processing virtual world
KR20190072777A (ko) * 2017-12-18 2019-06-26 주식회사 엘지유플러스 커뮤니케이션 방법 및 장치

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6776409B1 (ja) * 2019-06-21 2020-10-28 株式会社コロプラ プログラム、方法、および端末装置
KR102045761B1 (ko) 2019-09-26 2019-11-18 미디어젠(주) 캐릭터 발화 맥락에 따른 음성합성 모델 변경장치
CN112669420A (zh) * 2020-12-25 2021-04-16 江苏匠韵文化传媒有限公司 一种3d动画制作方法及计算制作装置
CN114928755B (zh) * 2022-05-10 2023-10-20 咪咕文化科技有限公司 一种视频制作方法、电子设备及计算机可读存储介质
CN115222856B (zh) * 2022-05-20 2023-09-26 一点灵犀信息技术(广州)有限公司 表情动画生成方法及电子设备

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100856786B1 (ko) * 2006-07-27 2008-09-05 주식회사 와이즌와이드 3ｄ 버추얼 에이전트를 사용한 멀티미디어 나레이션 저작시스템 및 그 제공 방법
KR20080018408A (ko) * 2006-08-24 2008-02-28 한국문화콘텐츠진흥원 음성 사운드 소스를 이용한 얼굴 표정 변화 프로그램을기록한 컴퓨터에서 읽을 수 있는 기록매체
KR100912877B1 (ko) * 2006-12-02 2009-08-18 한국전자통신연구원 ３차원 아바타 생성 기능을 구비한 이동통신 단말기 및３차원 아바타 생성 방법

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9165404B2 (en) 2011-07-14 2015-10-20 Samsung Electronics Co., Ltd. Method, apparatus, and system for processing virtual world
WO2013077527A1 (ko) * 2011-11-21 2013-05-30 (주) 퓨처로봇 캐릭터의 다국어 발화 시스템 및 방법
KR101358999B1 (ko) * 2011-11-21 2014-02-07 (주) 퓨처로봇 캐릭터의 다국어 발화 시스템 및 방법
CN104011791A (zh) * 2011-11-21 2014-08-27 （株）未来机器人 角色的多语言语音系统及方法
KR20190072777A (ko) * 2017-12-18 2019-06-26 주식회사 엘지유플러스 커뮤니케이션 방법 및 장치

Also Published As

Publication number Publication date
WO2011083978A2 (ko) 2011-07-14
KR101089184B1 (ko) 2011-12-02
WO2011083978A3 (ko) 2011-11-10

Similar Documents

Publication Publication Date Title
WO2022048403A1 (zh) 基于虚拟角色的多模态交互方法、装置及系统、存储介质、终端
CN106653052B (zh) 虚拟人脸动画的生成方法及装置
US8224652B2 (en) Speech and text driven HMM-based body animation synthesis
KR101089184B1 (ko) 캐릭터의 발화와 감정표현 제공 시스템 및 방법
KR102035596B1 (ko) 인공지능 기반의 가상 캐릭터의 페이셜 애니메이션 자동 생성 시스템 및 방법
US20120130717A1 (en) Real-time Animation for an Expressive Avatar
KR102116309B1 (ko) 가상 캐릭터와 텍스트의 동기화 애니메이션 출력 시스템
Mattheyses et al. Audiovisual speech synthesis: An overview of the state-of-the-art
EP1269465B1 (en) Character animation
CN111145777A (zh) 一种虚拟形象展示方法、装置、电子设备及存储介质
CN113781610A (zh) 一种虚拟人脸的生成方法
Naert et al. A survey on the animation of signing avatars: From sign representation to utterance synthesis
CN112734889A (zh) 一种2d角色的口型动画实时驱动方法和系统
KR20080018408A (ko) 음성 사운드 소스를 이용한 얼굴 표정 변화 프로그램을기록한 컴퓨터에서 읽을 수 있는 기록매체
US20150187112A1 (en) System and Method for Automatic Generation of Animation
Karpov et al. Multimodal synthesizer for Russian and Czech sign languages and audio-visual speech
KR100813034B1 (ko) 캐릭터 형성방법
CN115311731B (zh) 一种手语数字人的表情生成方法和装置
Gibet et al. Signing Avatars-Multimodal Challenges for Text-to-sign Generation
JP2003058908A (ja) 顔画像制御方法および装置、コンピュータプログラム、および記録媒体
Verma et al. Animating expressive faces across languages
Kolivand et al. Realistic lip syncing for virtual character using common viseme set
Yang et al. A multimodal approach of generating 3D human-like talking agent
Lacerda et al. Enhancing Portuguese Sign Language Animation with Dynamic Timing and Mouthing
Wang et al. A real-time text to audio-visual speech synthesis system.

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20141128

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20151127

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20161128

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20171124

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20181128

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20191128

Year of fee payment: 9