WO2011083978A2 - 캐릭터의 발화와 감정표현 제공 시스템 및 방법 - Google Patents

캐릭터의 발화와 감정표현 제공 시스템 및 방법 Download PDF

Info

Publication number
WO2011083978A2
WO2011083978A2 PCT/KR2011/000071 KR2011000071W WO2011083978A2 WO 2011083978 A2 WO2011083978 A2 WO 2011083978A2 KR 2011000071 W KR2011000071 W KR 2011000071W WO 2011083978 A2 WO2011083978 A2 WO 2011083978A2
Authority
WO
WIPO (PCT)
Prior art keywords
expression
lip
utterance
character
speech
Prior art date
Application number
PCT/KR2011/000071
Other languages
English (en)
French (fr)
Other versions
WO2011083978A3 (ko
Inventor
송세경
이준영
Original Assignee
(주) 퓨처로봇
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주) 퓨처로봇 filed Critical (주) 퓨처로봇
Publication of WO2011083978A2 publication Critical patent/WO2011083978A2/ko
Publication of WO2011083978A3 publication Critical patent/WO2011083978A3/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings

Definitions

  • the present invention relates to a system and a method for simultaneously providing a utterance motion and an emotion expression motion of a three-dimensional character. More specifically, the present invention relates to a three-dimensional animation, a three-dimensional virtual space, and an advertisement content delivery. Simultaneous utterances that express the contents of speech while performing emotional expressions such as fall or smiley, make it possible to clearly convey stories, advertisements, and contents through 3D characters. will be.
  • the expression of the 3D character is performed, such as the smiley expression, and the lip movements are followed by the movement of the lips, or the crying after the utterance motion is performed.
  • Emotional expressions and utterances were performed in separate sequential motions. Therefore, three-dimensional In order to improve the content delivery or story delivery ability according to the character's movement, there is a demand for a technology that enables the utterance operation to be performed at the same time while performing an emotional expression operation such as crying or laughing.
  • the object of the present invention is to simultaneously carry out a utterance operation that expresses the contents of speech while executing an emotional expression operation such as a 3D animation or a 3D virtual space, an advertisement content delivery, etc. It is to provide a system and method for providing a character's utterance and emotion expression that can clearly communicate the story, the advertisement, and the content through the 3D character.
  • a system for providing a speech and emotion expression of a character the situation recognition unit configured to recognize a surrounding situation;
  • a speech door selection unit for selecting a speech door according to the recognized surrounding situation;
  • a utterance image selection unit for selecting a lip shape required to express the selected utterance sentence;
  • An expression selection unit for selecting a facial expression performed on the expression of emotion according to the recognized surrounding situation;
  • a sound source generator for generating a sound source corresponding to the selected speech sentence;
  • a syntax analysis unit for extracting consonant and vowel information necessary for generating a lip form from the spoken sentence, and generating time information in which the consonant and vowel in which the lip shape is changed are pronounced;
  • the facial expression, the lips and the sound source A control unit for controlling the display to be synchronized; And an emotional expression unit expressing the synchronized facial expressions, the lips, and the sound source.
  • the facial expression database for storing the facial expression as an image;
  • a utterance image database storing the lip-like utterance image;
  • a utterance statement database storing data corresponding to the utterance statement;
  • an emotion adding unit configured to change the tone of the generated sound source to add emotion information.
  • the emotion expression unit may include a display unit for displaying the synchronized face and lips on a screen, and a sound source output unit for outputting a sound source synchronized with the face and lips.
  • the controller analyzes the consonants and vowels of the speech sentence, controls the lip shape based on the vowel in which the lip shape changes the most, and expresses the next vowel when the lip is closed consonant pronunciation. Control lips to close.
  • the control unit may include connection lines, such as bones, corresponding to human bones on the lip-shaped graphic objects of the upper and lower lips, similar to the movement of the joints, with respect to the movement of the lips. Also, the lip shape is controlled to move according to the movement of the connecting lines.
  • control unit controls a plurality of connection lines and a plurality of rotation control points in the connection line, a plurality of position control points of the lip end for the upper lip, and controls a plurality of connection lines and a plurality of position control points for the lower lip. do.
  • the controller may be configured to control the lip shape by moving / rotating a control point, or by applying acceleration / deceleration to an object to which the two control points are connected. Control the operation.
  • control unit controls by applying a weight to the control point of the lip shape in the facial expression according to the emotional state when adjusting the control point of the lip shape.
  • the controller may be further configured to generate the facial expression, the lip shape, and the sound source according to a synchronization function including a difference between facial expression and expression time, speech door and speech time, facial expression time and speech door time. Facial expression and the lips and the sound source is controlled to be synchronized.
  • the method for providing speech and emotion expression of the character according to the present invention for achieving the above object, (a) recognizing the surrounding situation; (b) selecting a spoken text according to the recognized surrounding situation; (C) selecting the shape of the lips needed to express the selected speech; (d) selecting a facial expression corresponding to the emotional expression according to the recognized surrounding situation; (e) generating a sound source corresponding to the selected speech sentence;
  • the consonants and vowels of the utterance are analyzed to select a lip shape based on the vowel in which the lip shape changes the most, and the next vowel is generated when the lip is closed.
  • the facial function and the lip shape and the sound source include a synchronous function consisting of the difference between facial expression and expression time, speech and speech time, facial expression time and speech time. According to the facial expression and the lip shape and the sound source is expressed in synchronization.
  • step (C) is for the selection of the lip shape,.
  • the upper and lower lip graphic objects of the upper and lower lips are provided with connection lines such as bones corresponding to human bones, and the lip shape formed according to the movement of the connection lines is selected.
  • step (C) the changed lip shape is selected by moving / rotating the control point, or the lip shape to which acceleration / deceleration is applied to the object to which the two control points are connected.
  • the step (C) selects a lip shape to which weights are applied to a control point of the lip shape in the facial expression according to the emotional state.
  • various emotion expressions can be provided according to facial expressions and utterances of the character.
  • FIG. 1 is a view illustrating a system for providing speech and emotion expression of a character according to an embodiment of the present invention. It is a schematic diagram showing the functional power.
  • FIG. 2 is a flowchart illustrating a method of providing a speech and emotion expression of a character according to an exemplary embodiment of the present invention.
  • FIG 3 is a view showing an example of a lip shape provided with a bone according to an embodiment of the present invention.
  • FIG. 4 is a diagram illustrating an example of synchronizing facial expression and speech information based on time information.
  • FIG. 5 is a diagram illustrating an example in which facial expressions and lip shapes are simultaneously displayed according to an embodiment of the present invention.
  • FIG. 1 is a configuration diagram schematically showing a functional block of a system for providing a speech and emotion expression of a character according to an exemplary embodiment of the present invention.
  • the situation recognition unit 102 speech sentence selection unit 104, speech image selection unit 106, facial expression selection unit 108, sound source generation unit 110, syntax analysis unit 112, control unit (114), emotion expression unit (116), facial expression database (118), speech image database (120), speech sentence database (122), emotional tail portion (124).
  • the situation recognition unit 102 recognizes the surrounding situation. For example, the situation recognition unit 102 recognizes a situation in which the surrounding situation is approached by a guest more than a predetermined distance.
  • the speech door selecting unit 104 selects a speech door according to the recognized surrounding situation. That is, foot If the language selection unit 104 recognizes that the guest has approached the predetermined distance by the situation recognition unit 102, for example, the speech sentence "Hello? Come! Is selected.
  • the user may be provided with a user's arbitrary performance section so that the user can arbitrarily input emotions and utterances.
  • the utterance image selection unit 106 selects a lip shape necessary for expressing the selected speech sentence.
  • the facial expression selecting unit 108 selects a facial expression corresponding to the emotional expression according to the recognized surrounding situation.
  • the sound source generator 110 generates a sound source corresponding to the selected speech sentence.
  • the parser 112 extracts consonant and vowel information necessary for lip generation from the spoken text, and generates time information in which the consonant and vowel in which the lip shape is changed are pronounced.
  • the controller 114 controls to express the facial expression, the lip shape, and the sound source in synchronization.
  • the emotion expression unit 116 expresses synchronized facial expressions, lips, and sound sources.
  • the emotion expression unit 116 includes a display unit for displaying the synchronized face and lips on the screen, and a sound source output unit for outputting a sound source synchronized with the face and the lips.
  • the facial expression DB 118 stores a plurality of facial expressions as an image.
  • the utterance image DB 120 stores a plurality of lip shapes as a utterance image.
  • the utterance statement DB 122 stores data corresponding to the utterance statement.
  • the emotion adding unit 124 adds emotion information by changing the tone of the generated sound source.
  • controller 114 analyzes the consonants and vowels of the spoken sentence, controls the lip shape based on the vowel in which the lip shape changes the most, and expresses the lip before expressing the next vowel when the lip is closed. Control to close
  • control unit 114 is a pattern corresponding to the human bones on the lip-like graphical objects of the upper lip and the lower lip, similar to the movement of the joints with respect to the movement of the lips.
  • connecting lines such as (Bone) and controls the lips to move according to the movement of the connecting lines such as bones.
  • control unit 114 controls a plurality of connection lines, a plurality of rotation control points in the connection line, a plurality of position control points of the lip end for the upper lip, and controls a plurality of connection lines and a plurality of position control points for the lower lip. do.
  • controller 114 controls the lip shape by moving / rotating the control point using a Tween technique or the like, or applies the object to which the two control points are connected by using an Ease in / out technique. Apply deceleration to control the lip movement.
  • controller 114 controls by applying a weight to the control point of the lip shape in the facial expression according to the emotional state when adjusting the control point of the lip shape.
  • the facial expressions, the lips, and the sound source are controlled to be synchronized.
  • Tai is composed of facial expression i and expression time ti
  • Tbi is composed of speech i and speech time ti
  • Tci represents the difference i between facial expression time and speech time.
  • FIG. 2 is a flowchart illustrating a method of providing a speech and emotion expression of a character according to an exemplary embodiment of the present invention.
  • the situation recognition unit 102 may be implemented as a system for analyzing an image by photographing the surrounding situation through a camera.
  • the situation recognition unit 102 may be provided with various sensors capable of recognizing the situation, thereby recognizing the situation.
  • the utterance and emotion expression providing system 100 of the character selects the utterance text according to the surrounding situation recognized by the situation recognition unit 102 through the utterance sentence selection unit 104.
  • the character utterance and emotion expression providing system 100 selects, through the utterance image selection unit 106, a lip shape necessary to express the selected utterance sentence (S206).
  • the character utterance and emotion expression providing system 100 analyzes the consonants and the vowels of the utterance, and selects the lip shape based on the vowel in which the lip shape changes the most.
  • the consonant pronunciation of the closed lips is pronounced, the shape of the closed lips is selected before the next vowel is expressed.
  • the character 100 provides a speech and emotion expression providing system 100 for the lip selection, as shown in FIG. 3 on the lip graphic objects of the upper lip and the lower lip so that the joints move similarly.
  • the lip shape is formed according to the movement of the bone-like connections.
  • 3 is a view showing an example of a lip shape provided with a bone according to an embodiment of the present invention.
  • the character utterance and emotion expression providing system 100 selects a changed lip shape by moving / rotating a control point using a Tween technique, or uses two control points using an Ease in / out technique. Select the lips with acceleration / deceleration applied to this connected object.
  • the weight value is applied to the control point of the lip shape in the facial expression according to the emotional state, for example, as shown in Equation 2 below. Select the lip shape applied.
  • k represents a weight that determines the final lip shape.
  • the utterance and emotion expression providing system 100 of the character selects the facial expressions performed on the expression of emotion according to the recognized surrounding situation through the facial expression selection unit 108 (S208). Subsequently, the character speech and emotion expression providing system 100 generates a sound source corresponding to the selected speech sentence through the sound source generator 110 (S210).
  • the character speech and emotion expression providing system 100 extracts consonant and vowel information necessary for generating a lip shape from the utterance sentence, and generates time information in which the consonant and the vowel of which the lip shape is pronounced are pronounced ( S212).
  • the utterance and emotion expression providing system 100 of the character expresses emotion by synchronizing the facial expression, the lip shape and the sound source as shown in FIG. 4 according to the synchronization function of Equation 1 based on the time information.
  • Expressed through the unit 116 (S214). 4 is a diagram illustrating an example of synchronizing facial expression and speech information based on time information.
  • the system 100 for providing the speech and emotion expression of the character includes facial expressions, lip shapes, and sound sources, as shown in FIG. 5, Tai elements according to facial expressions i and expression time ti, and speech phrases i. And A, 0, E, U, L, N, etc., according to the synchronization function consisting of the Tbi element, the difference between the facial expression time and the speech time according to the ignition time ti and the facial expression and the lip shape.
  • the sound source can be displayed in synchronization.
  • 5 is a view showing an example in which the facial expression and the shape of the lips are simultaneously expressed according to an embodiment of the present invention.
  • the character utterance and emotion expression providing system 100 controls the image in a vector manner, and controls the shape of the lips at the same time as the reproduction of the sound source.
  • the three-dimensional characters appearing in three-dimensional animation, three-dimensional virtual space, advertisement contents delivery, etc. express emotions such as crying or laughing.
  • the present invention can be applied to a device or a system that enables the delivery of a story, an advertisement, a content, and the like clearly through a 3D character.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 3차원 애니메이션이나 3차원 가상 공간, 광고 내용 전달 등에서 등장하는 3차원 캐릭터가 울거나 웃는 등의 감정표현 동작을 실행하면서 전달 내용을 말로 표출하는 발화 동작을 동시에 실행함으로써, 3차원 캐릭터를 통해 스토리 전달이나 광고 전달, 내용 전달 등이 명확하게 이루어질 수 있도록 된, 캐릭터의 발화와 감정표현 제공 시스템 및 방법에 관한 것이다. 본 발명에 따른 캐릭터의 발화 및 감정표현 제공 시스템은, 주변 상황을 인식하기 위한 상황 인식부; 상기 인식된 주변 상황에 따른 발화문을 선택하는 발화문 선택부; 상기 선택된 발화문을 표현하는데 필요한 입술모양을 선택하기 위한 발화이미지 선택부; 상기 인식된 주변 상황에 따른 감정표현에 대응된 얼굴표정을 선택하기 위한 표정 선택부; 상기 선택된 발화문에 해당하는 음원을 생성하는 음원 생성부; 상기 발화문으로부터 입술모양 생성에 필요한 자음 및 모음 정보를 추출하고, 상기 입술모양이 변하는 자음 및 모음이 발음되는 시간 정보를 생성하는 구문 분석부; 상기 얼굴표정과 상기 입술모양 및 상기 음원을 동기시켜 표출하도록 제어하는 제어부; 및 상기 동기된 얼굴표정과 입술모양 및 음원을 표출하는 감정 표현부를 포함한다. 본 발명에 따르면, 2D 또는 3D 캐릭터에 있어서 얼굴 표정과 발화 내용을 동시에 표출할 수 있는 캐릭터를 제공할 수 있다. 따라서, 캐릭터의 얼굴표정과 발화내용에 따라 다양한 감정표현을 제공할 수 있다.

Description

【명세서】
【발명의 명칭】
캐릭터의 발화와 감정표현 제공 시스템 및 방법
【기술분야】
<ι> 본 발명은 3차원 캐릭터의 발화 (發話) 동작과 감정표현 동작을 동시에 제공 하는 시스템 및 방법에 관한 것으로, 보다 상세하게는 3차원 애니메이션이나 3차원 가상 공간， 광고 내용 전달 등에서 등장하는 3차원 캐릭터가 을거나 웃는 등의 감 정표현 동작을 실행하면서 전달 내용을 말로 표출하는 발화 동작올 동시에 실행함 으로써, 3차원 캐릭터를 통해 스토리 전달이나 광고 전달， 내용 전달 등이 명확하 게 이루어질 수 있도록 된 것이다.
<2>
【배경기술】
<3> 종래의 얼굴 애니메이션 연구의 주된 방향은 감정과 입술 움직임 등을 처리 하기 위한 효율적인 방법올 찾는 것이었다 . 지금까지 국내외에서 얼굴 표정 동작에 대한 연구는 많이 행해져 왔으나 아직 3D 게임이나 애니메이션에 등장하는 캐릭터 가 자연스러운 얼굴 표정을 연출하고 있다고 보기 힘들다. 그럼에도， 불구하고 얼 굴 모델링과 애니메이션은 사실 최근에 비약적으로 발전했다.
<4> 3차원 애니메이션 제작을 위한 컴퓨터 그래픽 기술은 현재 세계적으로 성장， 발전기에 있으며， 표현 범위의 확대 및 고품질화， 제작 기간 단축 및 제작비 절감 을 위한 성능 향상과 사용자 편의를 위한 인터페이스의 개선 등에 대한 연구가 진 행되고 있다.
또한， 현재 음성인식이나 화자 인증 기술은 세계적으로 꾸준히 발전되어 제 한적인 환경에서 매우 만족스러운 성능을 나타내고 있다. 이러한 기술에서 음식인 식이나 화자 인증시스템 성능을 향상시키기 위해 연속되는 음성에서 음소의 명확한 경계를 추출하는 것이 핵심기술이다. 애니메이션에 등장하는 캐릭터의 자연스러운 얼굴 표정 연출에서 가장 고려하여야 할 점은 음성 신호와 입술 움직임의 동기화이 다.
애니메이션을 제작하는 경우 우선 성우가 대사 부분을 녹음하고 이에 맞추어 캐릭터 애니메이션을 제작하는 방식으로 이루어지므로, 종래의 텍스트 기반 입 모 양 동기화 및 표정 애니메이션 방법을 실제 제작현장에서 사용하기 어려운 점이 있 어, 최근에는 성우가 녹음한 음성 데이터로부터 바로 음소를 추출하여 애니메이션 을 생성하는 기술이 연구되고 있었다.
하지만， 지금까지 얼굴 표정 및 얼굴 부분의 움직임 자체에 대한 연구는 의 학， 미술 등을 비롯하여 많이 이루어졌지만 실제로 사용되고 있는 3차원 얼굴 모델 들은 주로 애니메이터에 의해 수작업으로 프레임별로 직접 그려내거나， 3차원 소프 트웨어를 이용하여 애니메이션을 수행하더라도 작업시간 대비 품질 (Quality)이 떨 어진다는 단점이 있었다.
또한， 3차원 캐릭터에 대해 감정표현과 발화 동작을 적용할 경우， 3차원 캐 릭터가 웃는 모습 등의 감정표현 동작을 실행한 후에 입술이 움직이는 발화 동작이 이어지거나， 발화 동작을 실행한 후에 우는 모습 등의 감정표현 동작이 이루어지는 등 감정표현과 발화 동작이 순차적인 별도의 동작으로 진행되었다. 따라서， 3차원 캐릭터의 동작에 따른 내용 전달이나 스토리 (Story) 전달력을 향상시키기 위해 울 거나웃는 등의 감정표현 동작을 실행하면서 발화 동작이 동시에 이루어질 수 있도 록 하는 기술이 요구되고 있다.
<9>
【발명의 상세한 설명】
【기술적 과제】
<ιο> 본 발명의 목적은， 3차원 애니메이션이나 3차원 가상 공간， 광고 내용 전달 등에서 등장하는 3차원 캐릭터가 을거나 웃는 등의 감정표현 동작을 실행하면서 전 달 내용을 말로 표출하는 발화 동작을 동시에 실½함으로써 , 3차원 캐릭터를 통해 스토리 전달이나 광고 전달， 내용 전달 등이 명확하게 이루어질 수 있도록 된， 캐 릭터의 발화와감정표현 제공 시스템 및 방법을 제공함에 있다.
<11>
【기술적 해결방법】
<12> 전술한목적을 달성하기 위한본 발명에 따른 캐릭터의 발화 및 감정표현 제 공 시스템은， 주변 상황을 인식하기 위한 상황 인식부; 상기 인식된 주변 상황에 따른 발화문을 선택하는 발화문 선택부; 상기 선택된 발화문을 표현하는데 필요한 입술모양을 선택하기 위한 발화이미지 선택부; 상기 인식된 주변 상황에 따른 감정 표현에 대웅된 얼굴표정을 선택하기 위한 표정 선택부; 상기 선택된 발화문에 해당 하는 음원올 생성하는 음원 생성부 ; 상기 발화문으로부터 입술모양 생성에 필요한 자음 및 모음 정보를 추출하고， 상기 입술모양이 변하는 자음 및 모음이 발음되는 시간 정보를 생성하는 구문 분석부; 상기 얼굴표정과 상기 입술모양 및 상기 음원 을 동기시켜 표출하도록 제어하는 제어부; 및 상기 동기된 얼굴표정과 입술모양 및 음원을 표출하는 감정 표현부를 포함한다.
<13> 또한， 상기 얼굴표정을 이미지로 저장하고 있는 표정 데이터베이스; 상기 입 술모양올 발화이미지로 저장하고 있는 발화이미지 데이터베이스; 상기 발화문에 해 당하는 데이터를 저장하고 있는 발화문 데이터베이스; 및 상기 생성된 음원의 음색 을 변화시켜 감정 정보를 가미하는 감정 가미부를 더 포함한다.
<14> 또한, 상기 감정 표현부는, 상기 동기된 얼굴모양과 입술모양을 화면 상에 디스플레이하는 디스플레이부와, 상기 얼굴모양과 입술모양에 동기된 음원을 출력 하는 음원 출력부를 포함한다.
<15> 또한， 상기 제어부는， 상기 발화문의 자음 및 모음을 분석하여， 상기 입술모 양이 가장 크게 변하는 모음을 기준으로 입술모양을 제어하고， 입술이 닫히는 자음 발음 시에 다음 모음을 표현하기 전에 입술이 닫히도록 제어한다 .
<16> 또한, 상기 제어부는， 상기 입술모양의 움직임에 대하여， 관절이 움직이는 것과 유사하도록 윗입술과 아랫입술의 입술모양의 그래픽 객체에 사람의 뼈에 해당 하는 본 (Bone)과 같은 연결선들을 구비하여， 상기 연결선들의 .움직임에 따라 상기 입술모양이 움직이도록 제어한다 .
<17> 또한, 상기 제어부는， 상기 윗입술에 대해 다수의 연결선과 연결선내 다수의 회전 제어점， 입술 끝단의 다수의 위치 제어점을 제어하고, 상기 아랫입술에 대해 다수의 연결선과 다수의 위치 제어점을 제어한다.
<18> 또한, 상기 제어부는， 제어점을 이동 /회전 시켜 상기 입술모양이 변하도록 제어하거나, 두 제어점이 연결되는 객체에 가 /감속을 적용하여 상기 입술모양의 동 작을 제어한다.
<19> 또한， 상기 제어부는, 상기 입술모양의 제어점을 조정할 때 감정 상태에 따 른 상기 얼굴 표정에서 상기 입술모양이 갖는 제어점에 가중치를 적용하여 제어한 다.
<20> 그리고， 상기 제어부는 , 상기 얼굴표정과 상기 입술모양 및 상기 음원에 대 해， 얼굴표정과 표현시간， 발화문과 발화시간， 얼굴표정 시간과 발화문 시간 간의 차이로 이루어진 동기함수에 따라 상기 얼굴표정과 상기 입술모양 및 상기 음원이 동기되도록 제어한다.
<21>
<22> 한편, 전술한 목적을 달성하기 위한 본 발명에 따른 캐릭터의 발화 및 감정 표현 제공 방법은， (a) 주변 상황을 인식하는 단계; (b) 상기 인식된 주변 상황에 따른 발화문을 선택하는 단계; (C) 상기 선택된 발화문을 표현하는데 필요한 입술 모양을 선택하는 단계; (d) 상기 인식된 주변 상황에 따른 감정표현에 대응된 얼굴 표정을 선택하는 단계; (e) 상기 선택된 발화문에 해당하는 음원을 생성하는 단계;
(f) 상기 발화문으로부터 입술모양 생성에 필요한 자음 및 모음 정보를 추출하고, 상기 입술모양이 변하는 자음 및 모음이 발음되는 시간 정보를 생성하는 단계 ; 및
(g) 상기 얼굴표정과 상기 입술모양 및 상기 음원을 동기시켜 표출하는 단계를 포 함한다.
<23> 또한 , 상기 (C) 단계는， 상기 발화문의 자음 및 모음을 분석하여 , 상기 입술 모양이 가장 크게 변하는 모음을 기준으로 입술모양을 선택하고， 입술이 닫히는 자 음 발음 시에 다음 모음을 표현하기 전에 입술이 닫히는 입술모양을 선택한다. <24> 또한， 상기 (g) 단계는, 상기 얼굴표정과 상기 입술모양 및 상기 음원에 대 해 , 얼굴표정과 표현시간, 발화문과 발화시간， 얼굴표정 시간과 발화문 시간 간의 차이로 이루어진 동기함수에 따라 상기 얼굴표정과 상기 입술모양 및 상기 음원올 동기시켜 표출한다.
<25> 또한， 상기 (C) 단계는， 상기 입술모양의 선택에 대하여，. 관절이 움직이는 것과 유사하도톡 윗입술과 아랫입술의 입술모양의 그래픽 객체에 사람의 뼈에 해당 하는 본 (Bone)과 같은 연결선들올 구비하여， 상기 연결선들의 움직임에 따라 형성 된 입술모양을 선택한다.
<26> 또한， 상기 (C) 단계는， 제어점을 이동 /회전 시켜 변화된 입술모양을 선택하 거나, 두 제어점이 연결되는 객체에 가 /감속이 적용된 입술모양을 선택한다.
<27> 그리고， 상기 (C) 단계는， 감정 상태에 따른 상기 얼굴 표정에서 상기 입술 모양이 갖는 제어점에 가중치가 적용된 입술모양을 선택한다.
<28>
【유리한 효과】
<29> 본 발명에 따르면， 2D 또는 3D 캐릭터에 있어서 얼굴 표정과 발화 내용을 동 시에 표출할 수 있는 캐릭터를 제공할 수 있다.
<30> 따라서 , 캐릭터의 얼굴표정과 발화내용에 따라 다양한 감정표현을 제공할 수 있다.
<31>
【도면의 간단한 설명】
<32> 도 1은 본 발명의 실시예에 따른 캐릭터의 발화 및 감정표현 제공 시스템의 기능 블력을 개략적으로 나타낸 구성도이다.
<33> 도 2는 본 발명의 실시예에 따른 캐릭터의 발화 및 감정표현 제공 방법을 설 명하기 위한동작흐름도이다.
<34> 도 3은 본 발명의 실시예에 따라 본이 구비된 입술모양의 예를 나타낸 도면 이다.
<35> 도 4는 시간 정보에 근거한 얼굴표정과 발화 정보를 동기화시키는 예를 나타 낸 도면이다.
<36> 도 5는 본 발명의 실시예에 따라 얼굴표정과 입술모양이 동시에 표출되는 예 를 나타낸 도면이다.
<37>
【발명의 실시를 위한 최선의 형태】
<38> 도 1은 본 발명의 실시예에 따른 캐릭터의 발화 및 감정표현 제공 시스템의 기능블럭올 개략적으로 나타낸 구성도이다.
<39> 도 1을 참조하면， 본 발명에 따른 캐릭터의 발화 및 감정표현 제공 시스템
(100)은, 상황 인식부 (102), 발화문 선택부 (104), 발화이미지 선택부 (106), 표정 선택부 (108), 음원 생성부 (110), 구문 분석부 (112)， 제어부 (114)， 감정 표현부 (116)， 표정 데이터베이스 (118)， 발화이미지 데이터베이스 (120)， 발화문 데이터베 이스 (122)， 감정 가미부 (124)를 포함한다.
<40> 상황 인식부 (102)는 주변 상황올 인식한다. 예컨대， 상황 인식부 (102)는 주 변 상황이 손님이 일정 거리 이상으로 접근한상황 등을 인식하는 것이다.
<41> 발화문 선택부 (104)는 인식된 주변 상황에 따른 발화문을 선택한다. 즉， 발 화문 선택부 (104)는 상황 인식부 (102)에 의해 손님이 일정 거리 이상 접근한 것으 로 인식되면， 예컨대, "안녕하세요?오서오세요! "라는 발화문을선택한다.
<42> 또한, 사용자가 임의로 감정과 발화문을 입력할수 있도록 사용자 임의 업력 부를 구비할수 있다.
<43> 발화이미지 선택부 (106)는 선택된 발화문올 표현하는데 필요한 입술모양을 선택한다.
<44> 표정 선택부 (108)는 인식된 주변 상황에 따른 감정표현에 대응된 얼굴표정올 선택한다.
<45> 음원 생성부 (110)는 선택된 발화문에 해당하는 음원을 생성한다.
<46> 구문 분석부 (112)는 발화문으로부터 입술모양 생성에 필요한 자음 및 모음 정보를 추출하고, 그에 따라 입술모양이 변하는 자음 및 모음이 발음되는 시간 정 보를 생성한다.
<47> 제어부 (114)는 얼굴표정과 입술모양 및 음원을 동기시켜 표출하도록 제어한 다.
<48> 감정 표현부 (116)는 동기된 얼굴표정과 입술모양 및 음원을 표출한다. 여기 서， 감정 표현부 (116)는 동기된 얼굴모양과 입술모양을 화면 상에 디스플레이하는 디스플레이부와, 얼굴모양과 입술모양에 동기된 음원을 출력하는 음원 출력부를 포 함한다.
<49> 표정 DB(118)는 다수 개의 얼굴표정을 이미지로 저장하고 있다.
<50> 발화이미지 DB(120)는 다수 개의 입술모양을 발화이미지로 저장하고 있다.
<51> 발화문 DB(122)는 발화문에 해당하는 데이터를 저장하고 있다. <52> 감정 가미부 (124)는 생성된 음원의 음색을 변화시켜 감정 정보를 가미한다.
<53> 또한， 제어부 (114)는 발화문의 자음 및 모음을 분석하여, 입술모양이 가장 크게 변하는 모음을 기준으로 입술모양을 제어하고, 입술이 닫히는 자음 발음 시에 다음 모음을 표현하기 전에 입술이 닫히도록 제어한다.
<54> 또한, 제어부 (114)는 입술모양의 움직임에 대하여， 관절이 움직이는 것과 유 사하도록 윗입술과 아랫입술의 입술모양의 그래픽 객체에 사람의 뼈에 해당하는 본
(Bone)과 같은 연결선들을 구비하여， 본과 같은 연결선들의 움직임에 따라 입술모 양이 움직이도록 제어한다.
<55> 또한， 제어부 (114)는 윗입술에 대해 다수의 연결선과 연결선내 다수의 회전 제어점, 입술 끝단의 다수의 위치 제어점을 제어하고， 아랫입술에 대해 다수의 연 결선과 다수의 위치 제어점을 제어한다.
<56> 또한， 제어부 (114)는 트원 (Tween) 기법 등을 사용하여 제어점을 이동 /회전 시켜 입술모양이 변하도록 제어하거나, Ease in/out 기법 등을 사용하여 두 제어점 이 연결되는 객체에 가 /감속을 적용하여 상기 입술모양의 동작을 제어한다.
<57> 또한， 제어부 (114)는 입술모양의 제어점올 조정할 때 감정 상태에 따른 얼글 표정에서 입술모양이 갖는 제어점에 가중치를 적용하여 제어한다.
<58> 그리고， 제어부 (114)는 얼굴표정과 입슬모양 및 음원에 대해, 다음 수학식 1 과 같이 얼굴표정과 표현시간, 발화문과 발화시간, 얼굴표정 시간과 발화문 시간 간의 차이로 이루어진 동기함수에 따라 얼굴표정과 입술모양 및 음원이 동기되도록 제어한다 . <59> 【수학식 1】
<60> 동기함수^ 7¾Γ6/,7¾0
<6ΐ> 여기서， Tai는 얼굴표정 i와표현시간 ti로 이루어지고， Tbi는 발화문 i와발화 시간 ti로 이루어지며 , Tci는 얼굴표정 시간과 발화문 시간 간의 차이 i를 나타낸다.
<62>
【발명의 실시를 위한 형태】
<63> 도 2는 본 발명의 실시예에 따른 캐릭터의 발화 및 감정표현 제공 방법을 설 명하기 위한 동작흐름도이다.
<64> 도 2를 참조하면, 본 발명에 따른 캐릭터의 발화 및 감정표현 제공 시스템
(100)은 먼저 상황 인식부 (102)를 통해 주변 상황을 인식한다 (S202).
<65> 여기서 , 상황 인식부 (102)는 주변 상황올 카메라를 통해 촬영하여 이미지를 분석하는 시스템 등으로 구현할 수 있다. 또한， 상황 인식부 (102)는 상황을 인식할 수 있는 각종 센서를 구비하여 이를 통해 상황을 인식할 수도 있다.
<66> 이어, 캐릭터의 발화 및 감정표현 제공 시스템 (100)은 상황 인식부 (102)를 통해 인식된 주변 상황에 따른 발화문을 발화문 선택부 (104)를 통해 선택한다
(S204).
<67> 이어 , 캐릭터의 발화 및 감정표현 제공 시스템 (100)은 선택된 발화문을 표현 하는데 필요한 입술모양을 발화이미지 선택부 (106)를 통해 선택한다 (S206).
<68> 이때， 캐릭터의 발화 및 감정표현 제공 시스템 (100)은 발화문의 자음 및 모 음을 분석하여， 입술모양이 가장 크게 변하는 모음을 기준으로 입술모양을 선택하 고， 입술이 닫히는 자음 발음 시에 다음 모음을 표현하기 전에 입술이 닫히는 입술 모양올 선택한다.
<69> 또한, 캐릭터의 발화 및 감정표현 제공 시스템 (100)은 입술모양의 선택에 대 하여, 관절이 움직이는 것과 유사하도록 윗입술과 아랫입술의 입술모양의 그래픽 객체에 도 3에 도시된 바와 같이 사람의 뼈와 같은 기능을 하는 본 (Bone)과 같은 연결선들을 구비하여, 이 본 (Bone)과 같은 연결선들의 움직임에 따라 형성된 입술 모양을 선택한다. 도 3은 본 발명의 실시예에 따라 본이 구비된 입술모양의 예를 나타낸 도면이다.
<70> 또한， 캐릭터의 발화 및 감정표현 제공 시스템 (100)은 트원 (Tween) 기법 등 을 사용하여 제어점을 이동 /회전 시켜 변화된 입술모양을 선택하거나， Ease in/out 기법 등을 사용하여 두 제어점이 연결되는 객체에 가 /감속이 적용된 입술모양을 선 택한다.
<7i> 그리고， 캐릭터의 발화 및 감정표현 제공 시스템 (100)은 입술모양을 제어하 는 제어점을 조정할 때， 감정 상태에 따른 얼굴 표정에서 예컨대， 다음 수학식 2와 같이 입술모양이 갖는 제어점에 가중치가 적용된 입술모양을 선택한다.
<72> 【수학식 2】
<73> 입슬모양=얼굴표정내의입술모양 발화시입슬모양 *(1- )
<74> 여기서， k 값은 최종 입술모양을 결정하는 가중치를 나타낸다 .
<75> 이어， 캐릭터의 발화 및 감정표현 제공 시스템 (100)은 인식된 주변 상황에 따른 감정표현에 대웅된 얼굴표 을 표정 선택부 (108)를 통해 선택한다 (S208). <76> 이어 , 캐릭터의 발화 및 감정표현 제공 시스템 (100)은 선택된 발화문에 해당 하는 음원을음원 생성부 (110)를 통해 생성한다 (S210).
<77> 이어, 캐릭터의 발화 및 감정표현 제공 시스템 (100)은 발화문으로부터 입술 모양 생성에 필요한 자음 및 모음 정보를 추출하고， 입술모양이 변하는 자음 및 모 음이 발음되는 시간 정보를 생성한다 (S212).
<78> 이어, 캐릭터의 발화 및 감정표현 제공 시스템 (100)은 시간 정보에 근거해 수학식 1의 동기함수에 따라 도 4에 도시된 바와 같이 얼굴표정과 입술모양 및 음 원을 동기시켜 감정 표현부 (116)를 통해 표출한다 (S214). 여기서, 도 4는 시간 정 보에 근거한 얼굴표정과 발화 정보를 동기화시키는 예를 나타낸 도면이다.
<79> 즉， 캐릭터의 발화 및 감정표현 제공 시스템 (100)은 얼굴표정과 입술모양 및 음원에 대해, 도 5에 도시된 바와 같에 얼굴표정 i와 표현시간 ti에 따른 Tai 요소 와， 발화문 i와 발화시간 ti에 따른 Tbi 요소, 얼굴표정 시간과 발화문 시간 간의 차 이 Tci로 이루어진 동기 (Sync) 함수에 따라 예컨대 , A, 0, E, U, L, N 등을 얼굴표 정과 입술모양 및 음원을 동기시켜 표출할 수 있다. 도 5는 본 발명의 실시예에 따 라 얼굴표정과 입술모양이 동시에 표출되는 예를 나타낸 도면이다. 본 발명의 경 우， 캐릭터의 발화 및 감정표현 제공 시스템 (100)은 백터 방식으로 이미지를 제어 하고， 음원의 재생과 동시에 입술 모양을 제어한다.
<80> 따라서， 웃는 얼굴 등의 얼굴표정과 동시에 입술모양 및 음원을 표출할 수 있는 3차원 캐릭터를사용자들에게 제공할수 있다.
<8i> 전술한 바와 같이 본 발명에 의하면， 3차원 애니메이션이나 3차원 가상 공 간， 광고 내용 전달 등에서 등장하는 3차원 캐릭터가 울거나 웃는 등의 감정표현 동작을 실행하면서 전달 내용을 말로 표출하는 발화 동작을 동시에 실행함으로써， 3차원 캐릭터를 통해 스토리 전달이나 광고 전달， 내용 전달 등이 명확하게 이루어 질 수 있도록 된, 캐릭터의 발화와 감정표현 제공 시스템 및 방법을 실현할 수 있 다.
<82> 본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수 적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있으므로， 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이 해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위 에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부 터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해 석되어야 한다.
<83>
【산업상 이용가능성】
<84> 본 발명은 3차원 캐릭터를 통해 스토리 전달이나 광고 전달， 내용 전달 등이 명확하게 이루어질 수 있도록 된 장치나시스템 등에 적용할수 있다.
【서열목록 프리텍스트】
<85> 캐릭터, 3차원， 애니메이션 , 광고, 발화, 감정 , 모양， 표정

Claims

【청구의 범위】
【청구항 1】
주변 상황을 인식하기 위한 상황 인식부;
상기 인식된 주변 상황에 따른 발화문을 선택하는 발화문 선택부;
상기 선택된 발화문을 표현하는데 필요한 입술모양을 선택하기 위한 발화이 미지 선택부; 상기 인식된 주변 상황에 따른 감정표현에 대응된 얼굴표정을 선택하기 위한 표정 선택부;
상기 선택된 발화문에 해당하는 음원을 생성하는 음원 생성부;
상기 발화문으로부터 입술모양 생성에 필요한 자음 및 모음 정보를 추출하 고， 상기 입술모양이 변하는 자음 및 모음이 발음되는 시간 정보를 생성하는 구문 분석부;
상기 얼굴표정과 상기 입술모양 및 상기 음원올 동기시켜 표출하도록 제어하 는 제어부; 및
상기 동기된 얼굴표정과 입술모양 및 음원을 표출하는 감정 표현부;
를 포함하는 캐릭터의 발화 및 감정표현 제공 시스템.
【청구항 2】
거 11 항에 있어서,
상기 얼굴표정을 이미지로 저장하고 있는 표정 데이터베이스;
상기 입술모양을 발화아미지로 저장하고 있는 발화이미지 데이터베이스; 상기 발화문에 해당하는 데이터를 저장하고 있는 발화문 데이터베이스 ; 및 상기 생성된 음원의 음색을 변화시켜 감정 정보를 가미하는 감정 가미부 ; 를 더 포함하는 것을 특징으로 하는 캐릭 터의 발화 및 감정표현 제공 시스
【청구항 3]
제 1 항에 있어서 ,
상기 감정 표현부는， 상기 동기된 얼굴모양과 입술모양을 화면 상에 디스플 레이하는 디스플레이부와, 상기 얼굴모양과 입술모양에 동기된 음원을 출력하는 음 원 출력부를 포함하는 것을 특징으로 하는 캐릭터의 발화 및 감정표현 제공 시스 템 .
【청구항 4】
게 1 항에 있어서，
상기 제어부는， 상기 발화문의 자음 및 모음을 분석하여， 상기 입술모양이 가장 크게 변하는 모음을 기준으로 입술모양을 제어하고， 입술이 닫히는 자음 발음 시 에 다음 모음을 표현하기 전에 입술이 닫히도록 제어하는 것을 특징으로 하는 캐 릭 터 의 발화 및 감정표현 제공 시스템 .
【청구항 5】
제 1 항에 있어서 상기 제어부는， 상기 입술모양의 움직임에 대하여， 관절이 움직이는 것과 유 사하도록 윗입술과 아랫입술의 입술모양의 그래픽 객체에 사람의 뼈에 해당하는 본 (Bone)과 같은 연결선들을 구비하여， 상기 연결선들의 움직임에 따라 상기 입술모 양이 움직이도록 제어하는 것을 특징으로 하는 캐릭터의 발화 및 감정표현 제공 시 스템
【청구항 6]
제 5 항에 있어서 ,
상기 제어부는， 상기 윗입술에 대해 다수의 연결선과 연결선내 다수의 회전 제어점， 입술 끝단의 다수의 위치 제어점을 제어하고， 상기 아랫입술에 대해 다수 의 연결선과 다수의 위치 제어점을 제어하는 것을 특징으로 하는 캐릭터의 발화 및 감정표현 제공 시스템.
【청구항 7】
제 5 항에 있어서，
상기 제어부는， 제어점을 이동 /회전 시켜 상기 입술모양이 변하도록 제어하 거나, 두 제어점이 연결되는 객체에 가 /감속을 적용하여 상기 입술모양의 동작을 제어하는 것을 특징으로 하는 캐릭터의 발화 및 감정표현 제공 시스템.
【청구항 8】
제 5 항에 있어서 상기 제어부는， 상기 입술모양의 제어점을 조정할 때 감정 상태에 따른 상기 얼굴 표정에서 상기 입술모양이 갖는 제어점에 가중치를 적용하여 제어하는 것을 특징으로 하는 캐릭터의 발화 및 감정표현 제공 시스템 .
【청구항 9】
계 1 항에 있어서，
상기 제어부는, 상기 얼굴표정과 상기 입술모양 및 상기 음원에 대해， 얼굴 표정과 표현시간， 발화문과 발화시간, 얼굴표정 사간과 발화문 시간 간의 차이로 이루어진 동기함수에 따라 상기 얼굴표정과 상기 입술모양 및 상기 음원이 동기되 도록 제어하는 것올 특징으로 하는 캐릭터의 발화 및 감정표현 제공 시스템.
【청구항 10】
(a) 주변 상황올 인식하는 단계 ;
(b) 상기 인식된 주변 상황에 따른 발화문을 선택하는 단계;
(c) 상기 선택된 발화문을 표현하는데 필요한 입술모양을 선택하는 단계;
(d) 상기 인식된 주변 상황에 따른 감정표현에 대응된 얼굴표정을 선택하는 단계;
(e) 상기 선택된 발화문에 해당하는 음원을 생성하는 단계;
(f) 상기 발화문으로부터 입술모양 생성에 필요한 자음 및 모음 정보를 추출 하고, 상기 입술모양이 변하는 자음 및 모음이 발음되는 시간 정보를 생성하는 단 계; 및 (g) 상기 얼굴표정과 상기 입술모양 및 상기 음원을 동기시켜 표출하는 단 계;
를 포함하는 캐릭터의 발화 및 감정표현 제공 방법.
【청구항 11]
제 10 항에 있어서，
상기 (c) 단계는， 상기 발화문의 자음 및 모음을 분석하여， 상기 입술모양이 가장 크게 변하는 모음을 기준으로 입술모양을 선택하고, 입술이 닫히는 자음 발음 시에 다음 모음을 표현하기 전에 입술이 닫히는 입술모양을 선택하는 것을 특징으 로 하는 캐릭터의 발화 및 감정표현 제공 방법.
【청구항 12]
제 10 항에 있어서，
상기 (g) 단계는， 상기 얼굴표정과 상기 입술모양 및 상기 음원에 대해, 얼 굴표정과 표현시간, 발화문과 발화시간， 얼굴표정 시간과 발화문 시간 간의 차이 로 이루어진 동기함수에 따라 상기 얼굴표정과 상기 입술모양 및 상기 음원올 동기 시켜 표출하는 것을 특징으로 하는 캐릭터의 발화 및 감정표현 제공 방법.
【청구항 13]
제 10 항에 있어서，
상기 (c) 단계는, 상기 입술모양의 선택에 대하여, 관절이 움직이는 것과 유 사하도록 윗입술과 아랫입술의 입술모양의 그래픽 객체에 사람의 뼈에 해당하는 본 (Bone)과 같은 연결선들을 구비하여， 상기 연결선들의 움직임에 따라 형성된 입술 모양을 선택하는 것을 특징으로 하는 캐릭터의 발화 및 감정표현 제공 방법.
【청구항.14】
제 10 항에 있어서，
상기 (c) 단계는， 제어점을 이동 /회전 시켜 변화된 입술모양을 선택하거나， 두 제어점이 연결되는 객체에 가 /감속이 적용된 입술모양을 선택하는 것을 특징으 로 하는 캐릭터의 발화 및 감정표현 제공 방법.
【청구항 15】
게 10 항에 있어서，
상기 (c) 단계는， 감정 상태에 따른 상기 얼굴 표정에서 상기 입술모양이 갖 는 제어점에 가중치가 적용된 입술모양을 선택하는 것을 특징으로 하는 캐릭터의 발화 및 감정표현 제공 방법 .
PCT/KR2011/000071 2010-01-06 2011-01-06 캐릭터의 발화와 감정표현 제공 시스템 및 방법 WO2011083978A2 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2010-0000837 2010-01-06
KR20100000837A KR101089184B1 (ko) 2010-01-06 2010-01-06 캐릭터의 발화와 감정표현 제공 시스템 및 방법

Publications (2)

Publication Number Publication Date
WO2011083978A2 true WO2011083978A2 (ko) 2011-07-14
WO2011083978A3 WO2011083978A3 (ko) 2011-11-10

Family

ID=44305944

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2011/000071 WO2011083978A2 (ko) 2010-01-06 2011-01-06 캐릭터의 발화와 감정표현 제공 시스템 및 방법

Country Status (2)

Country Link
KR (1) KR101089184B1 (ko)
WO (1) WO2011083978A2 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112669420A (zh) * 2020-12-25 2021-04-16 江苏匠韵文化传媒有限公司 一种3d动画制作方法及计算制作装置
CN114928755A (zh) * 2022-05-10 2022-08-19 咪咕文化科技有限公司 一种视频制作方法、电子设备及计算机可读存储介质
CN115222856A (zh) * 2022-05-20 2022-10-21 一点灵犀信息技术(广州)有限公司 表情动画生成方法及电子设备
EP3988189A4 (en) * 2019-06-21 2023-06-28 Colopl, Inc. Program, method, and terminal device

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9165404B2 (en) 2011-07-14 2015-10-20 Samsung Electronics Co., Ltd. Method, apparatus, and system for processing virtual world
KR101358999B1 (ko) * 2011-11-21 2014-02-07 (주) 퓨처로봇 캐릭터의 다국어 발화 시스템 및 방법
KR102522867B1 (ko) * 2017-12-18 2023-04-17 주식회사 엘지유플러스 커뮤니케이션 방법 및 장치
KR102045761B1 (ko) 2019-09-26 2019-11-18 미디어젠(주) 캐릭터 발화 맥락에 따른 음성합성 모델 변경장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080010564A (ko) * 2006-07-27 2008-01-31 주식회사 와이즌와이드 3ｄ 버추얼 에이전트를 사용한 멀티미디어 나레이션 저작시스템 및 그 제공 방법
KR20080018408A (ko) * 2006-08-24 2008-02-28 한국문화콘텐츠진흥원 음성 사운드 소스를 이용한 얼굴 표정 변화 프로그램을기록한 컴퓨터에서 읽을 수 있는 기록매체
KR20080050336A (ko) * 2006-12-02 2008-06-05 한국전자통신연구원 ３차원 아바타 생성 기능을 구비한 이동통신 단말기 및３차원 아바타 생성 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080010564A (ko) * 2006-07-27 2008-01-31 주식회사 와이즌와이드 3ｄ 버추얼 에이전트를 사용한 멀티미디어 나레이션 저작시스템 및 그 제공 방법
KR20080018408A (ko) * 2006-08-24 2008-02-28 한국문화콘텐츠진흥원 음성 사운드 소스를 이용한 얼굴 표정 변화 프로그램을기록한 컴퓨터에서 읽을 수 있는 기록매체
KR20080050336A (ko) * 2006-12-02 2008-06-05 한국전자통신연구원 ３차원 아바타 생성 기능을 구비한 이동통신 단말기 및３차원 아바타 생성 방법

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3988189A4 (en) * 2019-06-21 2023-06-28 Colopl, Inc. Program, method, and terminal device
CN112669420A (zh) * 2020-12-25 2021-04-16 江苏匠韵文化传媒有限公司 一种3d动画制作方法及计算制作装置
CN114928755A (zh) * 2022-05-10 2022-08-19 咪咕文化科技有限公司 一种视频制作方法、电子设备及计算机可读存储介质
CN114928755B (zh) * 2022-05-10 2023-10-20 咪咕文化科技有限公司 一种视频制作方法、电子设备及计算机可读存储介质
CN115222856A (zh) * 2022-05-20 2022-10-21 一点灵犀信息技术(广州)有限公司 表情动画生成方法及电子设备
CN115222856B (zh) * 2022-05-20 2023-09-26 一点灵犀信息技术(广州)有限公司 表情动画生成方法及电子设备

Also Published As

Publication number Publication date
KR20110081364A (ko) 2011-07-14
KR101089184B1 (ko) 2011-12-02
WO2011083978A3 (ko) 2011-11-10

Similar Documents

Publication Publication Date Title
WO2022048403A1 (zh) 基于虚拟角色的多模态交互方法、装置及系统、存储介质、终端
KR101089184B1 (ko) 캐릭터의 발화와 감정표현 제공 시스템 및 방법
CN106653052B (zh) 虚拟人脸动画的生成方法及装置
KR102035596B1 (ko) 인공지능 기반의 가상 캐릭터의 페이셜 애니메이션 자동 생성 시스템 및 방법
US8224652B2 (en) Speech and text driven HMM-based body animation synthesis
KR102116309B1 (ko) 가상 캐릭터와 텍스트의 동기화 애니메이션 출력 시스템
CN113454708A (zh) 语言学风格匹配代理
EP1269465B1 (en) Character animation
US20120130717A1 (en) Real-time Animation for an Expressive Avatar
CN113781610B (zh) 一种虚拟人脸的生成方法
CN111145777A (zh) 一种虚拟形象展示方法、装置、电子设备及存储介质
CN112734889A (zh) 一种2d角色的口型动画实时驱动方法和系统
JP4599606B2 (ja) 頭部動作自動生成のための頭部動作学習装置及び頭部動作合成装置並びにコンピュータプログラム
Karpov et al. Multimodal synthesizer for Russian and Czech sign languages and audio-visual speech
Čereković et al. Multimodal behavior realization for embodied conversational agents
KR100813034B1 (ko) 캐릭터 형성방법
Wang et al. A real-time text to audio-visual speech synthesis system.
Rojc et al. TTS-driven expressive embodied conversation agent EVA for UMB-SmartTV
Safabakhsh et al. AUT-Talk: a farsi talking head
Basori et al. Emotion expression of avatar through eye behaviors, lip synchronization and MPEG4 in virtual reality based on Xface toolkit: Present and future
JP2003296753A (ja) 聴覚障害者用対話システム
Čereković et al. A controller-based animation system for synchronizing and realizing human-like conversational behaviors
Barbulescu Generation of audio-visual prosody for expressive virtual actors
KR20240002670A (ko) 디지털트윈기반 건설현장에서 hmi를 위한 디지털휴먼과의 커뮤니케이션 시스템 및 그 방법
Czap et al. Multimodality in a Speech Aid System [J]

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11731916

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase in:

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11731916

Country of ref document: EP

Kind code of ref document: A2