KR20030007726A

KR20030007726A - 얼굴 감정들을 포함하는 텍스트 비주얼 스피치 시스템 및방법

Info

Publication number: KR20030007726A
Application number: KR1020027016111A
Authority: KR
Inventors: 에스. 챨러팰리키란
Original assignee: 코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date: 2001-03-29
Filing date: 2002-03-19
Publication date: 2003-01-23
Also published as: EP1374179A1; CN1460232A; WO2002080107A1; JP2004519787A; US20020194006A1

Abstract

이모티콘들을 표시가능한 애니메이트된 얼굴 이미지 상의 얼굴 표정으로 변환하기 위한 비주얼 스피치 시스템이 개시된다. 시스템은 (1)적어도 하나의 이모티콘 스트링을 포함하는 텍스트 데이터를 수신하기 위한 데이터 임포트 시스템으로서, 적어도 하나의 이모티콘 스트링은 소정의 얼굴 표정과 관련되는, 데이터 임포트 시스템과, (2)소정의 얼굴 표정에 대응하는 적어도 하나의 얼굴 움직임을 시뮬레이트(simulate)할 수 있는 표시가능한 애니메이트된 얼굴 이미지를 생성하기 위한 텍스트-애니메이션 시스템을 포함한다. 시스템은 바람직하게는 온라인 채팅 환경에서와 같은, 네트워크를 통해 원격으로 구현된다.

Description

얼굴 감정들을 포함하는 텍스트 비주얼 스피치 시스템 및 방법{Text to visual speech system and method incorporating facial emotions}

인터넷 및 다른 네트워킹 환경들의 도래로, 원격 위치들에 있는 사용자들은 전자메일 및 온라인 채팅(예컨대, 채팅 룸들(rooms))을 통해 이와 같은 다양한 형태들로 서로 통신할 수 있다. 온라인 채팅은 사용자로 하여금 일반적인 메시지 윈도우에서 서로 앞뒤로 텍스트 메시지들을 타이핑함으로써 실시간으로 네트워크를 통해 통신할 수 있게 하므로 많은 상황들에 특히 유용하다. 온라인 채팅 논의를 더 개인화된(personalized) 것으로 하기 위해서, "이모티콘들(emoticons)"이 종종 메시지들의 감정들 및/또는 얼굴 표정들을 나타내기 위해 타이핑된다. 일반적으로 사용되는 이모티콘들의 예들은 웃는 얼굴에 대해 :-), 불쾌함에 대해 :-( , 윙크에 대해 ;-) , 놀람에 대해 :-0 , 슬픔에 대해 :-<을 포함할 수 있다(이모티콘들의 더많은 목록은 첨부된 부록에서 찾아 볼 수 있다). 불행히도, 이모티콘들이 우리 주변에 광범위하게 퍼져있지만, 온라인 채팅은 비인간적(impersonal)인 경향이 있으며, 사용자로 하여금 각각의 메시지를 수동적으로 판독하고 해석할 것을 요구한다.

고속 계산 및 방송 시스템들의 도래로, 더 개선된 통신 형태들이 온라인화되어 가고 있다. 한가지 이러한 예는 음성 및 얼굴 애니메이션(animation)의 자동적인 생성을 다루는 오디오 비주얼 스피치 합성 시스템들(audio-visual speech synthesis systems)을 포함한다. 통상의 시스템들은 조작될 수 있는 얼굴 모양들(예컨대, 입)을 갖는 컴퓨터 생성된 얼굴 이미지를 제공한다. 얼굴 이미지는 통상 얼굴 이미지가 말하고 있는 인상을 제공하기 위해 스피치된 워드들을 따라서 생기가 있는 매쉬 모델 기반의 얼굴 대상(mesh model based face object)을 포함한다. 이 기술을 이용하는 응용들은 손상되는 히어링(hearing)을 위한 도구들로부터 스피치되고 다중양식의 에이전트 기반의 사용자 인터페이스들(spoken and multimodal agent-based user interfaces)에 걸칠 수 있다.

오디오-비디오 스피치 합성 시스템들의 주요한 이점은 애니메이트된(animated) 얼굴 이미지의 뷰(view)가 강등된 음향 상태들 하에서, 충분히 자연적이고 합성적인 스피치의 명료함을 개선할 수 있다는 것이다. 또한, 얼굴 이미지가 컴퓨터로 생성되므로, 다른 것들 중에서, 스피치에 대해 강조(emphasis)를 부가하고 대화 상태의 상호작용을 지지할 수 있는 신호 감정(signal emotion)에 대한 얼굴 표정들을 조절하는 것이 가능하다.

"텍스트-비주얼 스피치(text to visual speech)" 시스템들은 키보드를 이용하거나, 또는 텍스트를 입력하고, 그후에 텍스트를 스피치된 메시지로 변환하고, 애니메이트된 얼굴 이미지를 따라서 스피치된 메시지를 방송하는 것과 같은 것을 이용한다. 텍스트-비주얼 스피치 시스템들의 제한들 중 하나는 메시지의 장본인이 단순히 텍스트로 타이핑하기 때문에, 출력(즉, 애니메이트된 얼굴 및 스피치된 메시지)에는 감정 및 얼굴 표정들이 결핍된다. 따라서, 텍스트-비주얼 스피치 시스템들은 개인간 통신의 다소 빈약한 형태를 제공하는 경향이 있다.

따라서, 감정이 쉽게 대화에 포함될 수 있는 온라인 통신 시스템을 제공하기 위한 필요성이 존재한다.

본 발명은 비주얼 스피치 시스템들에 관한 것으로, 특히 얼굴 이미지의 감정들을 생성하기 위해 이모티콘들(emoticons)을 이용하기 위한 시스템 및 방법에 관한 것이다.

도 1은 본 발명의 바람직한 실시예에 따른 비주얼 스피치 시스템의 블록도.

도 2 및 도 3은 본 발명의 예시적인 애니메이트된 얼굴 이미지들을 나타내는 도면.

본 발명은 애니메이트된 얼굴 상의 표현된 감정들이 감정 스트링들을 입력함으로써 생성될 수 있게 하는 비주얼 스피치 시스템을 제공함으로써 상술한 문제점들을 해소한다. 제 1 양상에서, 본 발명은 워드 스트링들(word strings) 및 이모티콘 스트링들(emoticon strings)을 포함하는 텍스트 데이터를 수신하기 위한 데이터 임포트 시스템(data import system)과, 수신된 워드 스트링들과 수신된 이모티콘 스트링들에 대응하는 얼굴 움직임을 재생할 수 있는 표시가능한 애니메이트된 얼굴 이미지를 생성하기 위한 텍스트-애니메이션 시스템(text-to-animation system)을 포함하는 비주얼 스피치 시스템을 제공한다.

제 2 양상에서, 본 발명은 실행될 때 워드 스트링들 및 이모티콘 스트링들을 포함하는 텍스트 데이터를 수신하기 위한 데이터 임포트 시스템과, 수신된 워드 스트링들 및 수신된 이모티콘 스트링들에 대응하는 얼굴 움직임들을 재생할 수 있는 표시가능한 애니메이트된 얼굴 이미지를 생성하기 위한 텍스트-애니메이션 시스템을 포함하는 비주얼 스피치 시스템을 제공하는, 기록가능 매체 상에 저장되는 프로그램 제품을 제공한다.

제 3 양상에서,

(1)(a)워드 스트링들 및 이모티콘 스트링들을 포함하는 텍스트 데이터를 수신하기 위한 제 1 데이터 임포트 시스템과, (b)텍스트 데이터를 네트워크에 전송하기 위한 데이터 엑스포트 시스템(data export system)을 갖춘 제 1 네트워크된 클라이언트와, (2)(a)네트워크로부터 텍스트 데이터를 수신하기 위한 제 2 데이터 임포트 시스템과, (b)텍스트 데이터에 포함되는 수신된 워드 스트링들 및 수신된 이모티콘 스트링들에 대응하는 얼굴 움직임들을 재생하는 표시가능한 애니메이트된 얼굴 이미지를 생성하기 위한 텍스트-애니메이션 시스템을 갖춘 제 2 네트워크된 클라이언트를 포함하는, 비주얼 스피치 성능들을 갖춘 온라인 채팅 시스템을 제공한다.

제 4 양상에서, 본 발명은 키보드로 텍스트 데이터를 입력하는 단계로서, 텍스트 데이터가 워드 스트링들 및 이모티콘 스트링들을 포함하는, 입력 단계와, 워드 스트링들을 오디오 스치피로 변환하는 단계와, 임의 움직임들이 오디오 스피치와 대응하도록 워드 스트링들을 표시가능한 애니메이트된 얼굴 이미지 상의 입의 움직임들로 변환하는 단계와, 얼굴 움직임들이 입력된 이모티콘 스트링들과 연관되는 표현된 감정들과 대응하도록 이모티콘 스트링들을 표시가능한 애니메이트된 얼굴 이미지 상의 얼굴 움직임들로 변환하는 단계와, 오디오 스피치의 방송을 따라서 애니메이트된 얼굴 이미지를 표시하는 단계를 포함하는, 표시가능한 애니메이트된 얼굴을 갖는 시스템 상에서 비주얼 스피치를 행하는 방법을 제공한다.

제 5 양상에서, 본 발명은 적어도 하나의 이모티콘 스트링을 포함하는 텍스트 데이터를 수신하기 위한 데이터 임포트 시스템으로서, 적어도 하나의 이모티콘 스트링은 소정의 얼굴 표정과 관련되는, 데이터 임포트 시스템과, 소정의 얼굴 표정에 대응하는 적어도 하나의 얼굴 움직임을 시뮬레이트(simulate)할 수 있는 표시가능한 애니메이트된 얼굴 이미지를 생성하기 위한 텍스트-애니메이션 시스템을 포함하는, 비주얼 스피치 시스템을 제공한다.

이하, 본 발명의 바람직한 예시적인 실시예는 동일한 대상들이 동일한 요소들을 나타내는 첨부된 도면들과 연계하여 설명한다.

이하, 도 1을 참조하면, 비주얼 스피치 시스템(10)이 도시된다. 도시된 실시예에서, 비주얼 스피치 시스템(10)은 네트워크(40)를 통해 서로 통신하는 제 1 클라이언트 시스템(12), 제 2 클라이언트 시스템(42)을 포함한다. 이 실시예는 다수의 클라이언트 시스템들 상에서 구현되는 것을 보여주며, 본 발명은 네트워크에 접속될 수 있거나 접속될 수 없는 단일의 컴퓨터 시스템 상에서 구현될 수 있다는 것을 이해해야 한다. 하지만, 도 1에 도시된 바와 같이 다수의 클라이언트 시스템은 제 1 클라이언트 시스템(12)에서의 사용자가 제 2 클라이언트(42)에서의 사용자와 통신하는 온라인 채팅 응용들에 특히 유용하다.

각각의 클라이언트 시스템(예컨대, 클라이언트 시스템(12))은 메모리, 프로세서, 입/출력 등과 같은 성분들을 포함하거나 그에 액세스하는 임의 형태의 컴퓨터 시스템에 의해 구현될 수 있다. 컴퓨터 성분들은 단일의 물리적인 위치에 남아 있을 수 있으며, 또는 다양한 형태들(예컨대, 클라이언트 및 서버)로 복수의 물리적인 시스템들을 가로질러 분포될 수 있다. 따라서, 클라이언트 시스템(12)은 컴퓨터 프로그램을 실행할 수 있는 독립형(stand-alone) 개인용 컴퓨터와, 서버를 통해 이용가능한 응용들에 액세스하는 브라우저 프로그램(browser program)과, 서버와 통신하는 덤 터미널(dumb terminal) 등으로 구성될 수 있다.

I/O 시스템(20) 및 텍스트-스피치 비디오 시스템(30)을 포함하는 실행가능한 프로세스들이 각각의 클라이언트 시스템에 저장(또는 각각의 클라이언트 시스템에 액세스가능함)된다. I/0 시스템(20) 및 텍스트-스피치 비디오 시스템(30)은 프로세싱 유닛 상에서 실행가능한, 소프트웨어 프로그램들로서 구현될 수 있다. 각각의 클라이언트 시스템은 또한 (1)텍스트 데이터를 입력하기 위한, 키보드, 마우스, 휴대용 장치, 셀 전화기, 음성 인식 시스템들 등과 같은 입력 시스템(14)과, (2) 예컨대, CRT 표시장치(16) 및 오디오 스피커(18)로 구성된 오디오-비디오 출력 시스템을 포함한다.

비주얼 스피치 시스템(10)의 예시적인 동작은 아래와 같이 설명된다. 클라이언트들(12,42)간의 사용자들 간의 온라인 채팅 응용에서, 클라이언트(12)에서의 제 1 사용자는 입력 시스템(14)을 통해 텍스트 데이터를 입력할 수 있고, 대응하는 애니메이트된 얼굴 이미지와 수반하는 오디오 스피치가 생성되어 클라이언트 시스템(42)의 표시장치(46)와 스피커(48) 상에 나타난다. 유사하게, 클라이언트 시스템(42)에서의 제 2 사용자는 입력 시스템(44)을 통해 텍스트 데이터를 입력함으로써 반응할 수 있고, 제 2의 대응하는 애니메이트된 얼굴 이미지와 수반하는 오디오 스피치가 생성되어 클라이언트 시스템(12)의 표시장치(16)와 스피커(18) 상에 나타난다. 그러므로, 입력된 텍스트 데이터는 스피치를 시뮬레이트하는 움직이는 애니메이트된 얼굴 이미지로 구성된 원격 오디오-비주얼 방송으로 변환된다, 따라서, 단지 텍스트 메시지를 수시는 것보다 오히려, 사용자는 메시지를 포함하는 비디오 스피치 방송을 수신한다.

하지만, 시스템을 더 튼튼하게 만들기 위해서, 메시지를 전송하는 사용자는 워드를 입력할 수 있을 뿐만 아니라, 애니메이트된 이미지가 얼굴 표정들 및 이모티콘들을 포함하도록 표시되도록 하는 이모티콘 스트링들을 입력할 수 있다. (이 설명의 목적을 위해서, 용어 "얼굴 표정(facial expression) 및 "이모티콘들(emoticons)"은 상호변경가능하게 사용되며, 임의의 말을 사용하지 않는 얼굴 움직임을 포함할 수 있음). 예를 들면, 클라이언트 시스템(12)에서의 사용자가 입력된 워드 스트링들을 따라서 기쁨 또는 행복을 나타내고자 한다면, 사용자는 또한 적절한 이모티콘 스트링, 즉 웃는 얼굴 :-)을 타이핑한다. 표시장치(46) 상에서 얻어진 애니메이트된 이미지는 제 1 클라이언트 시스템들에서 입력된 워드들을 말하고 있는 동안 웃는다. 다른 감정들은 윙크, 슬픈 얼굴, 웃음, 놀람 등을 포함할 수 있다.

첨부된 부록들에 제공된 것은 채팅 룸들, 전자메일, 및 감정 또는 그와 같은 것을 나타내는 온라인 통신의 다른 형태들에서 일정하게 사용되는 이모티콘들의 비교적 철저한 목록이다. 여기에 리스트되지 않은 다른 것들뿐만 아니라, 이들 이모티콘들 각각은 표시가능한 애니메이트된 얼굴 이미지에 포함될 수 있는 연관된 얼굴 반응을 가질 수 있다. 얼굴 표정 및/또는 이모티콘 반응은 임의의 스피치된 워드들 전 또는 후에 나타날 수 있으며, 또는 바람직하게는, 각각의 메시지에 대해 부드러운 이행을 제공하기 위해 스피치된 워드들로 모프(morph)되고 스피치된 워드들을 따라서 모프(morphed)될 수 있다.

도 2 및 도 3은 다른 감정 또는 얼굴 표정들을 갖는 표시가능한 애니메이트된 얼굴 이미지의 두 가지 예들을 나나낸다. 도 2에서, 중립적인 얼굴 표정(감정이 입력되지 않음)의 피사체(subject)가 도시되며, 반면 도 3은 화나 얼굴 표정(화난 이모티콘 스트링 >:-<으로부터 얻어짐)의 피사체를 보여준다. 도 2와 도 3에 도시되지는 않았지만, 애니메이트된 얼굴 이미지가 감정의 표시에 따라 말하는 것을 모프할 수 있다는 것을 이해해야 한다.

도 2 및 도 3의 애니메이트된 얼굴 이미지들은 삼각형 매시 기반의(triangular-mesh-based) 3D 대상들로서 모형화되는 얼굴 지형들을 포함할수 있다. 이미지 또는 광도측정(photometry) 데이터는 얼굴 이미지를 얻기 위해 그 지형 상에 중첩되거나 중첩되지 않을 수 있다. 표정들 및 감정들을 시뮬레이트하도록 얼굴 움직임들을 구현하기 위해서, 얼굴 이미지는 눈썹, 눈, 입 등의 복수의 액션 유닛들(action units)로 분할되는 대상들로서 조절될 수 이따. 각각의 이모티콘에 대응하여, 하나 이상의 액션 유닛들은 소정의 조합 및 등급(degree)에 따라 시뮬레이트될 수 있다.

이하, 도 1을 다시 참조하여, 비주얼 스피치 시스템(10)의 동작이 보다 상세히 설명된다. 우선, 텍스트 데이터는 입력 시스템(14)을 통해 제 1 클라이언트 시스템(12)에 입력된다. 언급하는 바와 같이, 텍스트 데이터는 워드 스트링들 및 이모티콘 스트링들 둘 모두를 포함할 수 있다. 그 데이터는 I/O 시스템(20)의 데이터 임포트 시스템(26)에 의해 수신된다. 이 점에서, 텍스트 데이터는 클라이언트 시스템(12)(즉, 국부적으로(locally)의 표시장치(16)에 표시하기 위해 처리될 수 있으며, 그리고/또는 원격 표시를 위해 클라이언트 시스템(42)을 따라서 넘어간다. 온라인 채팅의 경우에, 텍스트 데이터는 클라이언트 시스템(42)의 네트워크(40)를 따라서 넘어가고, 이것은 오디오-비주얼 스피치로서 처리되고 출력된다. 클라이언트 시스템(12)은 네트워크(40)에 데이터를 엑스포트(export)하는 데이터 엑스포트 시스템(28)을 사용하여 텍스트 데이터를 전송할 수 있다. 그후에, 클라이언트 시스템(42)은 데이터 임포트 시스템(27)을 사용하여 데이터를 임포트한다. 임포트된 텍스트 데이터는 처리를 위해 텍스트-스피치 비디오 시스템(31)을 따라서 넘어간다.

텍스트-스피치 비디오 시스템(31)은; 첫 번째로, 텍스트 데이터를 오디오 스피치로 변환하는 것과, 두 번 째로, 표시가능한 얼굴 움직임들에 대응하는 텍스트 데이터를 액션 유닛들로 변환하는 것 두 가지 기본적인 기능들을 갖는다. 텍스트 데이터를 스피치로의 변환은 텍스트-오디오 시스템(33)에 의해 처리된다. 텍스트를 스피치로의 변환하기 위한 시스템들은 당해 기술분야에 공지되어 있다. 텍스트 데이터를 얼굴 움직임으로 변환하는 처리는 텍스트-애니메이션 시스템(35)에 의해 조절된다. 텍스트-애니메이션 시스템(35)은 워드 스트링 프로세서(37)와 이모티콘 스트링 프로세서(39)의 두 개의 성분들을 갖는다. 워드 스트링 프로세서(37)는 기본적으로 스피치된 워드들로서 방송될 워드 스트링들과 관련되는 입의 움직임들을 책임진다. 따라서, 워드 스트링 프로세서(37)는 기본적으로 표시가능한 얼굴 이미지 중 입으로 구성된 얼굴 액션 유닛을 제어한다.

이모티콘 스트링 프로세서(39)는 수신된 이모티콘 스트링들을 처리하고, 그것들을 대응하는 얼굴 표정들로 변환하는 것을 책임진다. 따라서, 이모티콘 스트링 프로세서(39)는 적절한 얼굴 반응을 달성하기 위해서 얼굴 액션 유닛들 모두를 제어하는 것을 책임진다. 얼굴 움직임의 임의 유형, 그의 조합 및 그의 정도는 원하는 표정을 생성하는데 이용된다는 것을 이해해야 한다.

그러므로, 텍스트-애니메이션 시스템(35)은 스피치를 위한 입의 움직임들 및 표정들을 위한 분류된 얼굴 움직임들 둘 모두로 구성되는 완전히 애니메이트된 얼굴 이미지를 생성한다. 애니메이트된 얼굴 이미지를 수반하는 것은 워드 스트링들과 관련되는 스피치이다. 표시 드라이버(23) 및 오디오 드라이버(25)는표시장치(46) 및 스피커(48) 상에 오디오 및 비주얼 정보를 생성하는데 사용될 수 있다.

볼 수 있는 바와 같이, 각각의 클라이언트 시스템은 비주얼 스피치를 통신하고 생성하기 위한 동일한 소프트웨어를 필수적으로 포함할 수 있다. 따라서, 클라이언트 시스템(42)이 클라이언트 시스템(12)으로 다시 응답 메시지를 통신할 때, 상술한 바와 같이 동일한 처리 단계들은 I/O 시스템(20 및 텍스트-스피치 비디오 시스템(30)에 의해 클라이언트 시스템(12) 상에서 구현된다.

여기에서 설명되는 시스템들, 기능들, 메커니즘들, 및 모듈들은 하드웨어, 소프트웨어, 또는 하드웨어와 소프트웨어의 조합으로 구현될 있다는 것을 이해해야 한다. 그것들은 여기에서 설명되는 방법들을 실행하기 위해 적응되는 임의 형태의 컴퓨터 시스템 또는 다른 장치에 의해 구현될 수 있다. 하드웨어와 소프트웨어의 통상적인 조합은 로드(load)되고 실행될 때 여기에서 설명되는 방법들을 행하도록 컴퓨터 시스템을 제어하는 컴퓨터 프로그램을 갖는 일반 목적의 컴퓨터 시스템이다. 대안으로는, 본 발명의 하나 이상의 기능적인 태스크들(tasks)을 실행하기 위해 특별화된 하드웨어를 포함하는 특정 사용 컴퓨터(specific use computer)가 이용된다. 본 발명은 또한 여기에서 설명되는 방법들 및 기능들을 구현할 수 있는 특징들 모두를 포함하며, 컴퓨터 시스템 내에서 로드될 때 이들 방법들 및 기능들을 실행할 수 있는 컴퓨터 프로그램 제품에 내장될 수 있다. 본 콘텍스트 내의 컴퓨터 프로그램, 소프트웨어 프로그램, 프로그램, 프로그램 제품, 또는 소프트웨어는 임의의 언어, 코드, 또는 개념으로, 정보 처리 성능을 갖춘 시스템이 직접적으로 또는 (a)또 다른 언어, 코드, 또는 개념(notation)으로 변환, 및/또는 (b)다른 자료 형태로 재생 중 하나 또는 그 둘 모두 후에 특정의 기능을 수행하도록 의도된 명령들의 세트의 임의 표현을 의미한다.

본 발명의 바람직한 실시예의 앞의 설명은 예시 및 설명 목적이다. 그것들은 본 발명을 개시된 정확한 형태로 소모하거나 제한하려는 것이 아니며, 명백히 많은 변형들 및 변종들이 상기 기술들에 비추어 가능하다. 기술분야의 숙련자에게 명백한 이러한 변형들 및 변종들은 첨부된 청구의 범위에 의해 정의되는 바와 같이 본 발명의 범위 내에 포함되도록 의도된다.

부록:

#:-0놀란

%-(혼란스러움

%-)멍하거나 어리석음

>>:-<<노한

>->윙크하는 악마

>-<노한

>-)악마의 윙크

>:)작은 악마

>:->매우 장난스런 악마

>:-<화난

>:-<미친

>:-(괴로운

>:-)장난스런 악마

>=^P요크(Yuck)

<:>악마같은 표정

<:->악마같은 표정

<:-(저능아

<:-)순진하게 물어보는 어처구니없는 질문

(:&화난

(:-&화난

(:-(불쾌한

(:-)웃음으로 변환

키스

매우 슬픈

*키스

웃음

8)커진 눈, 또는 안경낀

8-)커진 눈, 또는 안경낀

8-o놀란

8-O놀란

8-P요크!(Yuck)

8-[과민성, 긴장한

8-]와우(Wow)!

8-｜놀라서 커진 눈

:(슬픈

:)웃음

:[지루한, 슬픈

:｜지루한, 슬픈

:()큰소리로 떠는 사람, 항상 말하는, 또는 고함

키스

되돌려주는 키스

:,(울음

:->행복한 또는 빈정대는 웃음

:-><키스시 오므려진

:-<매우 슬픈

:-(찌푸린

:-)단아한 미소

키스

:-,능글맞은 웃음

:-/찡그린 얼굴

:-6지친

:-9낼름거리는 입

:-?낼름거리는 입, 또는 뺨에 혀

:-@외침

:-C놀란

:-c매우 불행한

:-D웃는

:-d~심한 흡연자

:-e낙담한

:-f혀를 내미는

:-I고민중, 또는 공평한

:-i빈정대는 미소 또는 절반의 미소

:-j한쪽으로 치우친 미소

:-k당황

:-l한쪽으로 치우친 미소

:-O벌어진 입, 놀란

:-o놀란 표정, 또는 하품

:-P혀를 내미는

:-p혀를 내미는

:-Q역겨워 내미는 혀, 또는 흡연자

:-Q~담배피고 있는

:-r혀를 내미는

:-s뭐라고?!

:-t웃기지 않음

:-V외침

:-X나의 입술을 다물다. 또는 키스

:-x키스, 또는 나의 입술을 다물다

:-Y여담(Aside comment), 또한 비평

:-[미소짓지 않는 얼간이, 또한 비꼬는

코를 훌쩍거림

:-]미소짓는 얼간이, 또한 비꼬는

:-{)콧수염을 가진 미소

:-{)}콧수염과 턱수염을 가진 미소

:-{}키스 소리를 내는

:-｜무관심한, 따분한 또는 역겨운

매우 화난

:-}장난스런 미소

:.(우는

:C놀란

:e낙담한

:P혀를 내미는

;)윙크(wink)

;-)윙크(winkey)

낄낄 웃는

올라간 눈썹

키스하기 위해 오므려진

큰 웃음

하품

잠든

코골고 있는

}-)비꼬는 미소

}:[화난, 좌절한

~:-(격노한

Claims

비주얼 스피치 시스템(visual speed system)에 있어서,

워드 스트링들(word strings) 및 이모티콘 스트링들(emoticon strings)을 포함하는 텍스트 데이터를 수신하기 위한 데이터 임포트 시스템(data import system)과,

수신된 워드 스트링들과 수신된 이모티콘 스트링들에 대응하는 얼굴 움직임을 재생할 수 있는 표시가능한 애니메이트된 얼굴 이미지를 생성하기 위한 텍스트-애니메이션 시스템(text-to-animation system)을 포함하는, 비주얼 스피치 시스템.
제 1항에 있어서, 텍스트 데이터(text data)로 타이핑(typing)하기 위해 키보드를 더 포함하는, 비주얼 스피치 시스템.
제 1항에 있어서, 상기 수신된 워드 스트링들에 대응하는 오디오 스피치 방송을 생성할 수 있는 텍스트-오디오 시스템(text_to_audio system)을 더 포함하는, 비주얼 스피치 시스템.
제 3항에 있어서, 상기 오디오 스피치 방송에 따라서 상기 표시가능한 애니메이트된 얼굴 이미지를 표시하기 위한 오디오-비주얼 인터페이스(audio-visual interface)를 더 포함하는, 비주얼 스피치 시스템.
제 1항에 있어서, 상기 텍스트-애니메이션 시스템은 각각의 이모티콘 스트링과 표현된 감정을 연관시키고, 상기 표현된 감정은 적어도 하나의 얼굴 움직임을 갖는 상기 애니메이트된 얼굴 이미지에 재생되는, 비주얼 스피치 시스템.
제 5항에 있어서, 텍스트-애니메이션 시스템은 각각의 워드 스트링을 스피치된 워드와 연관시키고, 상기 스피치된 워드는 적어도 하나의 입의 움직임을 갖는 상기 애니메이트된 얼굴 이미지에 재생되는, 비주얼 스피치 시스템.
제 6항에 있어서, 상기 적어도 하나의 얼굴 움직임은 적어도 하나의 입의 움직임과 모프(morph)되는, 비주얼 스피치 시스템.
제 1항에 있어서, 네트워크를 통해 텍스트 데이터를 수신하고 전송하기 위한 입/출력 시스템을 더 포함하는, 비주얼 스피치 시스템.
실행될 때 비주얼 스피치 시스템을 제공하는, 기록가능 매체 상에 저장되는 프로그램 제품에 있어서,

워드 스트링들 및 이모티콘 스트링들을 포함하는 텍스트 데이터를 수신하기 위한 데이터 임포트 시스템과,

수신된 워드 스트링들과 수신된 이모티콘 스트링들에 대응하는 얼굴 움직임들을 재생할 수 있는 표시가능한 애니메이트된 얼굴 이미지를 생성하기 위한 텍스트-애니메이션 시스템을 포함하는, 프로그램 제품.
제 9항에 있어서, 입력된 이모티콘 스트링은 표현된 감정으로서 상기 애니메이트된 얼굴 이미지로 재생되는, 프로그램 제품.
제 10항에 있어서, 입력된 워드 스트링은 입의 움직임에 의해 상기 애니메이트된 얼굴 이미지로 재생되는, 프로그램 제품.
제 11항에 있어서, 상기 표현된 감정은 상기 입의 움직임들과 모프되는, 프로그램 제품.
비주얼 스피치 성능들을 갖춘 온라인 채팅 시스템(online chat system)에 있어서,

워드 스트링들과 이모티콘 스트링들을 포함하는 텍스트 데이터를 수신하기 위한 제 1 데이터 임포트 시스템과, 상기 텍스트 데이터를 네트워크에 전송하기 위한 데이터 임포트 시스템을 갖춘 제 1 네트워크된 클라이언트(client)와,

상기 네트워크로부터 상기 텍스트 데이터를 수신하기 위한 제 2 데이터 임포트 시스템과, 상기 텍스트 데이터에 포함되는 수신된 워드 스트링들과 수신된 이모티콘 스트링들에 대응하는 얼굴 움직임들을 재생하는 표시가능한 애니메이트된 얼굴 이미지를 생성하기 위한 텍스트-애니메이션 시스템을 갖춘 제 2 네트워크된 클라이언트를 포함하는, 온라인 채팅 시스템.
제 13항에 있어서, 각각의 이모티콘 스트링은 표현된 감정으로서 상기 애니메이트된 얼굴 이미지로 재생되는, 온라인 채팅 시스템.
제 14항에 있어서, 각각의 워드 스트링은 입의 움직임들에 의해 상기 애니메이트된 얼굴 이미지로 재생되는, 온라인 채팅 시스템.
제 15항에 있어서, 상기 표현된 감정은 상기 입의 움직임들과 모프되는, 온라인 채팅 시스템.
표시가능한 애니메이트된 얼굴 이미지를 갖는 시스템 상에서 비주얼 스피치를 행하는 방법에 있어서,

키보드로 텍스트 데이터를 입력하는 단계로서, 상기 텍스트 데이터는 워드 스트링들과 이모티콘 스트링들을 포함하는, 상기 입력 단계와,

상기 워드 스트링들을 오디오 스피치로 변환하는 단계와,

입의 움직임들이 상기 오디오 스피치와 대응하도록, 상기 워드 스트링들을 상기 표시가능한 애니메이트된 얼굴 이미지들 상의 입의 움직임들로 변환하는 단계와,

상기 얼굴 움직임들이 상기 입력된 이모티콘 스트링들과 연관되는 표현된 감정들과 대응하도록, 상기 이모티콘 스트링을 상기 표시가능한 애니메이트된 얼굴 이미지 상의 얼굴 움직임들로 변환하는 단계와,

상기 오디오 스피치의 방송에 따라서 상기 애니메이트된 얼굴 이미지 표시하는 단계를 포함하는, 방법
제 17항에 있어서, 상기 입의 움직임들 및 얼굴 움직임들은 함께 모프되는, 방법.
제 17항에 있어서, 상기 오디오 스피치의 방송에 따라서 상기 애니메이트된 얼굴 이미지를 표시하는 것은 네트워크를 통해 원격으로 행해지는, 방법.
비주얼 스피치 시스템에 있어서,

적어도 하나의 이모티콘 스트링을 포함하는 텍스트 데이터를 수신하기 위한 데이터 임포트 시스템으로서, 상기 적어도 하나의 이모티콘 스트링은 소정의 얼굴 표정과 연관되는, 데이터 임포트 시스템과,

상기 소정의 얼굴 표정에 대응하는 적어도 하나의 얼굴 움직임을 시뮬레이트(simulate)할 수 있는 표시가능한 애니메이트된 얼굴 이미지를 생성하기 위한 텍스트-애니메이션 시스템을 포함하는, 비주얼 스피치 시스템.