KR101671900B1 - 가상 세계에서의 객체를 제어하는 시스템, 방법 및 기록 매체 - Google Patents
가상 세계에서의 객체를 제어하는 시스템, 방법 및 기록 매체 Download PDFInfo
- Publication number
- KR101671900B1 KR101671900B1 KR1020100041736A KR20100041736A KR101671900B1 KR 101671900 B1 KR101671900 B1 KR 101671900B1 KR 1020100041736 A KR1020100041736 A KR 1020100041736A KR 20100041736 A KR20100041736 A KR 20100041736A KR 101671900 B1 KR101671900 B1 KR 101671900B1
- Authority
- KR
- South Korea
- Prior art keywords
- virtual world
- world object
- avatar
- information
- control
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/30—Definitions, standards or architectural aspects of layered protocol stacks
- H04L69/32—Architecture of open systems interconnection [OSI] 7-layer type protocol stacks, e.g. the interfaces between the data link level and the physical level
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/30—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device
- A63F2300/302—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device specially adapted for receiving control signals not targeted to a display device or game input means, e.g. vibrating driver's seat, scent dispenser
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/131—Protocols for games, networked simulations or virtual reality
Abstract
가상 세계에서의 아바타 특징을 제어하는 시스템 및 방법, 영상 장치 및 기록 매체가 개시된다. 아바타 특징 제어 시스템은 센서 기반 입력 장치를 통해 사용자 의도를 표현하는 센서 제어 명령과 가상 세계의 아바타 정보를 통해 아바타 제어 정보를 생성한다.
Description
본 발명의 일실시예들은 현실 세계의 사용자의 모습이 가상 세계에서 아바타의 특징에 반영할 수 있도록 제어하는 방법에 관한 것이다.
최근 현실 세계의 사용자들을 가상 세계의 아바타로 표현하는 것에 관심이 많다. 특히, 현실 세계에서 사용자들의 외양, 움직임 등의 실제 특징들을 가상 세계의 아바타에 현실감 있게 반영할 수 있는 제어 방법에 대한 연구가 활발히 이루어지고 있다.
본 명세서에서는 효율적으로 가상 세계의 아바타 특징을 제어하기 위한 시스템 및 방법이 제안된다.
센서 기반 입력 장치를 통해 사용자 의도를 표현하는 센서 제어 명령을 수신하는 센서 제어 명령 수신부 및 가상 세계의 아바타 정보 및 상기 센서 제어 명령에 기초하여 아바타 제어 정보를 생성하는 아바타 제어 정보 생성부를 포함하는 아바타 특징 제어 시스템이 제공된다.
일측에 따르면, 아바타 정보는, 메타데이터로 아바타의 식별을 위한 식별자 및 아바타의 형태적인 정보를 나타내는 패밀리(family)의 속성(attribute) 항목을 포함할 수 있다.
다른 측면에서, 아바타 정보는, 메타데이터로 아바타 애니메이션(animation)의 다양한 행동 정의를 위한 움직임 구성요소(move element)의 자유 방향(FreeDirection) 항목을 포함할 수 있다.
또 다른 측면에서, 아바타 정보는, 아바타 외향에 대한 메타데이터로 아바타 행동의 다양한 표현 정도를 나타내기 위해 물리적 조건(PhysicalCondition)의 구성요소(element)를 포함하고, 상기 물리적 조건(PhysicalCondition)의 부요소(subelement)로 신체 유연성(BodyFlexibility)과 신체 강도(BodyStrength) 항목을 포함할 수 있다.
또 다른 측면에서, 아바타 정보는, 아바타의 얼굴표정과 동작의 제어를 위한 아바타 얼굴 특징점(face feature point) 및 신체 특징점(body feature point)을 정의하는 메타데이터를 포함할 수 있다.
센서 기반 입력 장치를 통해 사용자 의도를 표현하는 센서 제어 명령을 수신하는 단계 및 가상 세계의 아바타 정보 및 상기 센서 제어 명령에 기초하여 아바타 제어 정보를 생성하는 단계를 포함하는 아바타 특징 제어 방법이 제공된다.
아바타의 얼굴표정과 동작의 제어를 위한 아바타 얼굴 특징점 및 신체 특징점이 정의된 메타데이터 구조를 기록한 컴퓨터 판독 가능 기록 매체가 제공된다.
애니메이션 클립, 상기 애니메이션 클립이 어느 아바타의 어느 부분에 대응하는지에 관한 정보 및 우선 순위를 포함하는 애니메이션 제어 정보 및 모션 센서로부터 수신된 값을 처리한 모션 데이터가 어느 아바타의 어느 부분에 대응하는지에 관한 정보 및 우선 순위를 포함하는 컨트롤 제어 정보를 저장하는 저장부 및 아바타의 제1 부분에 대응하는 상기 애니메이션 제어 정보의 우선 순위와 상기 아바타의 상기 제1 부분에 대응하는 상기 컨트롤 제어 정보의 우선 순위를 비교하여, 상기 아바타의 상기 제1 부분에 적용할 데이터를 결정하는 처리부를 포함하는 영상 장치가 제공된다.
애니메이션 제어 정보 및 컨트롤 제어 정보를 저장하는 제1 명령어 세트 및 아바타의 각 부분에 대응하는 상기 애니메이션 제어 정보 및 상기 컨트롤 제어 정보를 참조하여 모션 센서로부터 수신된 값으로부터 생성된 모션 데이터 및 애니메이션 클립을 결합하는 제2 명령어 세트를 포함하고, 상기 애니메이션 제어 정보는, 대응하는 애니메이션 클립에 대한 정보 및 상기 대응하는 애니메이션 클립이 어느 아바타의 얼굴 표정, 머리, 상체, 중체, 및 하체 중 어느 부분에 대응하는지에 관한 식별자를 포함하고, 상기 컨트롤 제어 정보는, 상기 실시간 모션 데이터가 어느 아바타의 얼굴 표정, 머리, 상체, 중체, 및 하체 중 어느 부분에 대응하는지에 관한 식별자를 포함하는 컴퓨터 판독 가능 기록 매체가 제공된다.
가상 세계에서 아바타 특징을 효율적으로 제어할 수 있다.
가상 세계의 아바타를 제어하기 위한 애니메이션 제어 정보 및 모션 데이터의 구조에 관한 제어 메타데이터가 제공될 수 있다.
가상 세계의 아바타의 임의의 부분에 대응하는 애니메이션 클립의 우선 순위와 모션 데이터의 우선 순위를 비교하여, 아바타의 임의의 부분에 대응하는 데이터를 결정함으로써, 애니메이션 클립과 현실 세계의 사용자의 동작을 센싱한 모션 데이터가 결합된 아바타의 동작을 생성할 수 있다.
현실 세계의 사용자의 얼굴을 센싱하기 위한 특징점을 설정하고, 특징점에 대해 수집한 데이터를 이용하여 가상 세계의 아바타의 얼굴을 생성함으로써, 애니메이션에서 정의할 수 없는 임의의 표정을 생성할 수 있다.
도 1은 본 발명의 일실시예에 있어서, 현실 세계의 사용자 의도를 센서 제어 명령을 통해 전달받고, 아바타 정보 및 아바타 제어 정보에 의해 가상 세계와 적응 RV가 통신하는 시스템을 도시하고 있다.
도 2는 RV와 VR의 대칭구조를 갖는 시스템의 간략도를 도시한 도면이다.
도 3은 RV와 VR의 대칭구조를 갖는 시스템의 상세도를 도시한 도면이다.
도 4는 본 발명의 일실시예에 따른 적응 RV의 구동 프로세스를 도시한다.
도 5는 본 발명의 일실시예에 따른 얼굴 제어를 위한 아바타 얼굴 표현 제어 점을 정의한 일례를 나타낸다.
도 6은 본 발명의 일실시예에 있어서, 얼굴 제어의 일례를 나타낸다.
도 7은 본 발명의 일실시예에 있어서, 얼굴 제어를 통해 현실 세계의 사용자에 대한 개별 아바타를 생성한 일례를 나타낸다.
도 8은 본 발명의 일실시예에 있어서, 아바타의 물리적 조건에 따라 두 아바타가 서로 다른 모습을 보이는 일례를 나타낸다.
도 9는 본 발명의 일실시예에 있어서, 공통 특징 타입의 구조를 나타낸 도면이다.
도 10은 본 발명의 일실시예에 있어서, 식별 타입의 구조를 나타낸 도면이다.
도 11은 본 발명의 일실시예에 있어서, 가상 세계 객체 소리 타입의 구조를 나타낸 도면이다.
도 12는 본 발명의 일실시예에 있어서, 가상 세계 객체 냄새 타입의 구조를 나타낸 도면이다.
도 13은 본 발명의 일실시예에 있어서, 가상 세계 객체 제어 타입의 구조를 나타낸 도면이다.
도 14는 본 발명의 일실시예에 있어서, 가상 세계 객체 이벤트 타입의 구조를 나타낸 도면이다.
도 15는 본 발명의 일실시예에 있어서, 가상 세계 객체 행동 모델 타입의 구조를 나타낸 도면이다.
도 16은 본 발명의 일실시예에 있어서, 가상 세계 객체 햅틱 속성 타입의 구조를 나타낸 도면이다.
도 17은 본 발명의 일실시예에 있어서, 소재 속성 타입의 구조를 나타낸 도면이다.
도 18은 본 발명의 일실시예에 있어서, 역학적 힘 효과 타입의 구조를 나타낸 도면이다.
도 19는 본 발명의 일실시예에 있어서, 촉각 타입의 구조를 나타낸 도면이다.
도 20은 본 발명의 일실시예에 있어서, 아바타 타입의 구조를 나타낸 도면이다.
도 21은 본 발명의 일실시예에 있어서, 아바타 외양 타입의 구조를 나타낸 도면이다.
도 22는 본 발명의 일실시예에 있어서, 얼굴 눈금점을 나타낸 일례이다.
도 23은 본 발명의 일실시예에 있어서, 물리적 조건 타입의 구조를 나타낸 도면이다.
도 24는 본 발명의 일실시예에 있어서, 아바타 애니메이션 타입의 구조를 나타낸 도면이다.
도 25는 본 발명의 일실시예에 있어서, 아바타 커뮤니케이션 스킬 타입의 구조를 나타낸 도면이다.
도 26은 본 발명의 일실시예에 있어서, 구두 커뮤니케이션 타입의 구조를 나타낸 도면이다.
도 27은 본 발명의 일실시예에 있어서, 언어 타입의 구조를 나타낸 도면이다.
도 28은 본 발명의 일실시예에 있어서, 비-구두 커뮤니케이션 타입의 구조를 나타낸 도면이다.
도 29는 본 발명의 일실시예에 있어서, 사인 언어 타입의 구조를 나타낸 도면이다.
도 30은 본 발명의 일실시예에 있어서, 아바타 개성 타입의 구조를 나타낸 도면이다.
도 31은 본 발명의 일실시예에 있어서, 아바타 제어 특성 타입의 구조를 나타낸 도면이다.
도 32는 본 발명의 일실시예에 있어서, 제어 신체 특징 타입의 구조를 나타낸 도면이다.
도 33은 본 발명의 일실시예에 있어서, 제어 얼굴 특징 타입의 구조를 나타낸 도면이다.
도 34는 본 발명의 일실시예에 있어서, 머리 외곽선(outline)을 나타내는 일례이다.
도 35는 본 발명의 일실시예에 있어서, 왼쪽 눈 외곽선을 나타내는 일례이다.
도 36은 본 발명의 일실시예에 있어서, 오른쪽 눈 외곽선을 나타내는 일례이다.
도 37은 본 발명의 일실시예에 있어서, 왼쪽 눈썹의 외곽선을 나타내는 일례이다.
도 38은 본 발명의 일실시예에 있어서, 오른쪽 눈썹의 외곽선을 나타내는 일례이다.
도 39는 본 발명의 일실시예에 있어서, 왼쪽 및 오른쪽 귀의 외곽선을 나타내는 일례이다.
도 40은 본 발명의 일실시예에 있어서, 코의 외곽선을 나타내는 일례이다.
도 41은 본 발명의 일실시예에 있어서, 입술의 외곽선을 나타내는 일례이다.
도 42는 본 발명의 일실시예에 있어서, 얼굴점을 나타내는 일례이다.
도 43은 본 발명의 일실시예에 있어서, 외곽선 타입의 구조를 나타낸 도면이다.
도 44는 본 발명의 일실시예에 있어서, 외곽선 4점 타입의 구조를 나타낸 도면이다.
도 45는 본 발명의 일실시예에 있어서, 외곽선 5점 타입의 구조를 나타낸 도면이다.
도 46은 본 발명의 일실시예에 있어서, 외곽선 8점 타입의 구조를 나타낸 도면이다.
도 47은 본 발명의 일실시예에 있어서, 외곽선 14점 타입의 구조를 나타낸 도면이다.
도 48은 본 발명의 일실시예에 있어서, 가상 객체 타입의 구조를 나타낸 도면이다.
도 49는 본 발명의 일실시예에 있어서, 가상 객체 외양 타입의 구조를 나타낸 도면이다.
도 50은 본 발명의 일실시예에 있어서, 가상 객체 애니메이션 타입의 구조를 나타낸 도면이다.
도 51은 본 발명의 일실시예에 있어서, 아바타 특징 제어 시스템의 내부 구성을 설명하기 위한 블록도이다.
도 52는 본 발명의 일실시예에 있어서, 아바타 특징 제어 방법을 도시한 흐름도이다.
도 53은 본 발명의 다른 실시예에 있어서, 현실 세계와 가상 세계 사이의 정보 및 데이터 교환에 관한 시스템의 구조를 나타낸 도면이다.
도 54 내지 도 58은 본 발명의 일실시예에 따른 아바타 제어 명령을 설명하기 위한 도면이다.
도 59는 본 발명의 일실시예에 따른 어피어런스 제어 타입의 구조를 나타내는 도면이다.
도 60은 본 발명의 일실시예에 따른 커뮤니케이션 스킬 제어 타입의 구조를 나타내는 도면이다.
도 61은 본 발명의 일실시예에 따른 개성 제어 타입의 구조를 나타내는 도면이다.
도 62는 본 발명의 일실시예에 따른 애니메이션 제어 타입의 구조를 나타내는 도면이다.
도 63은 본 발명의 일실시예에 따른 컨트롤 제어 타입의 구조를 나타내는 도면이다.
도 64는 본 발명의 일실시예에 따른 영상 장치의 구성을 나타낸 도면이다.
도 65는 본 발명의 일실시예에 따른 가상 세계의 아바타를 얼굴 표정, 머리, 상체, 중체 및 하체의 부분으로 나눈 도면을 나타낸다.
도 66은 본 발명의 일실시예에 따른 애니메이션 클립에 대한 데이터베이스를 나타낸 도면이다.
도 67은 본 발명의 일실시예에 따른 모션 데이터에 대한 데이터베이스를 나타낸 도면이다.
도 68은 본 발명의 일실시예에 따른 우선 순위를 비교하여 아바타의 임의의 부분에 적용할 모션 객체 데이터를 결정하는 동작을 나타낸 도면이다.
도 69는 아바타의 각 부분에 적용할 모션 객체 데이터를 결정하는 방법의 흐름도이다.
도 70은 본 발명의 일실시예에 따른 아바타의 각 부분에 대응하는 모션 객체 데이터를 결합하는 동작을 나타낸 흐름도이다.
도 71은 본 발명의 일실시예에 따른 아바타의 각 부분에 대응하는 모션 객체 데이터를 결합하는 동작을 나타낸 도면이다.
도 72는 본 발명의 일실시예에 있어서, 가상 세계 객체를 제어하기 위한 단말기와 가상 세계 서버를 나타낸 도면이다.
도 73은 본 발명의 다른 실시예에 있어서, 가상 세계 객체를 제어하기 위한 단말기를 나타낸 도면이다.
도 74는 본 발명의 또 다른 실시예에 있어서, 가상 세계 객체를 제어하기 위한 복수의 단말기를 나타낸 도면이다.
도 75는 본 발명의 또 다른 실시예에 있어서, 가상 세계 객체를 제어하기 위한 단말기를 나타낸 도면이다.
도 2는 RV와 VR의 대칭구조를 갖는 시스템의 간략도를 도시한 도면이다.
도 3은 RV와 VR의 대칭구조를 갖는 시스템의 상세도를 도시한 도면이다.
도 4는 본 발명의 일실시예에 따른 적응 RV의 구동 프로세스를 도시한다.
도 5는 본 발명의 일실시예에 따른 얼굴 제어를 위한 아바타 얼굴 표현 제어 점을 정의한 일례를 나타낸다.
도 6은 본 발명의 일실시예에 있어서, 얼굴 제어의 일례를 나타낸다.
도 7은 본 발명의 일실시예에 있어서, 얼굴 제어를 통해 현실 세계의 사용자에 대한 개별 아바타를 생성한 일례를 나타낸다.
도 8은 본 발명의 일실시예에 있어서, 아바타의 물리적 조건에 따라 두 아바타가 서로 다른 모습을 보이는 일례를 나타낸다.
도 9는 본 발명의 일실시예에 있어서, 공통 특징 타입의 구조를 나타낸 도면이다.
도 10은 본 발명의 일실시예에 있어서, 식별 타입의 구조를 나타낸 도면이다.
도 11은 본 발명의 일실시예에 있어서, 가상 세계 객체 소리 타입의 구조를 나타낸 도면이다.
도 12는 본 발명의 일실시예에 있어서, 가상 세계 객체 냄새 타입의 구조를 나타낸 도면이다.
도 13은 본 발명의 일실시예에 있어서, 가상 세계 객체 제어 타입의 구조를 나타낸 도면이다.
도 14는 본 발명의 일실시예에 있어서, 가상 세계 객체 이벤트 타입의 구조를 나타낸 도면이다.
도 15는 본 발명의 일실시예에 있어서, 가상 세계 객체 행동 모델 타입의 구조를 나타낸 도면이다.
도 16은 본 발명의 일실시예에 있어서, 가상 세계 객체 햅틱 속성 타입의 구조를 나타낸 도면이다.
도 17은 본 발명의 일실시예에 있어서, 소재 속성 타입의 구조를 나타낸 도면이다.
도 18은 본 발명의 일실시예에 있어서, 역학적 힘 효과 타입의 구조를 나타낸 도면이다.
도 19는 본 발명의 일실시예에 있어서, 촉각 타입의 구조를 나타낸 도면이다.
도 20은 본 발명의 일실시예에 있어서, 아바타 타입의 구조를 나타낸 도면이다.
도 21은 본 발명의 일실시예에 있어서, 아바타 외양 타입의 구조를 나타낸 도면이다.
도 22는 본 발명의 일실시예에 있어서, 얼굴 눈금점을 나타낸 일례이다.
도 23은 본 발명의 일실시예에 있어서, 물리적 조건 타입의 구조를 나타낸 도면이다.
도 24는 본 발명의 일실시예에 있어서, 아바타 애니메이션 타입의 구조를 나타낸 도면이다.
도 25는 본 발명의 일실시예에 있어서, 아바타 커뮤니케이션 스킬 타입의 구조를 나타낸 도면이다.
도 26은 본 발명의 일실시예에 있어서, 구두 커뮤니케이션 타입의 구조를 나타낸 도면이다.
도 27은 본 발명의 일실시예에 있어서, 언어 타입의 구조를 나타낸 도면이다.
도 28은 본 발명의 일실시예에 있어서, 비-구두 커뮤니케이션 타입의 구조를 나타낸 도면이다.
도 29는 본 발명의 일실시예에 있어서, 사인 언어 타입의 구조를 나타낸 도면이다.
도 30은 본 발명의 일실시예에 있어서, 아바타 개성 타입의 구조를 나타낸 도면이다.
도 31은 본 발명의 일실시예에 있어서, 아바타 제어 특성 타입의 구조를 나타낸 도면이다.
도 32는 본 발명의 일실시예에 있어서, 제어 신체 특징 타입의 구조를 나타낸 도면이다.
도 33은 본 발명의 일실시예에 있어서, 제어 얼굴 특징 타입의 구조를 나타낸 도면이다.
도 34는 본 발명의 일실시예에 있어서, 머리 외곽선(outline)을 나타내는 일례이다.
도 35는 본 발명의 일실시예에 있어서, 왼쪽 눈 외곽선을 나타내는 일례이다.
도 36은 본 발명의 일실시예에 있어서, 오른쪽 눈 외곽선을 나타내는 일례이다.
도 37은 본 발명의 일실시예에 있어서, 왼쪽 눈썹의 외곽선을 나타내는 일례이다.
도 38은 본 발명의 일실시예에 있어서, 오른쪽 눈썹의 외곽선을 나타내는 일례이다.
도 39는 본 발명의 일실시예에 있어서, 왼쪽 및 오른쪽 귀의 외곽선을 나타내는 일례이다.
도 40은 본 발명의 일실시예에 있어서, 코의 외곽선을 나타내는 일례이다.
도 41은 본 발명의 일실시예에 있어서, 입술의 외곽선을 나타내는 일례이다.
도 42는 본 발명의 일실시예에 있어서, 얼굴점을 나타내는 일례이다.
도 43은 본 발명의 일실시예에 있어서, 외곽선 타입의 구조를 나타낸 도면이다.
도 44는 본 발명의 일실시예에 있어서, 외곽선 4점 타입의 구조를 나타낸 도면이다.
도 45는 본 발명의 일실시예에 있어서, 외곽선 5점 타입의 구조를 나타낸 도면이다.
도 46은 본 발명의 일실시예에 있어서, 외곽선 8점 타입의 구조를 나타낸 도면이다.
도 47은 본 발명의 일실시예에 있어서, 외곽선 14점 타입의 구조를 나타낸 도면이다.
도 48은 본 발명의 일실시예에 있어서, 가상 객체 타입의 구조를 나타낸 도면이다.
도 49는 본 발명의 일실시예에 있어서, 가상 객체 외양 타입의 구조를 나타낸 도면이다.
도 50은 본 발명의 일실시예에 있어서, 가상 객체 애니메이션 타입의 구조를 나타낸 도면이다.
도 51은 본 발명의 일실시예에 있어서, 아바타 특징 제어 시스템의 내부 구성을 설명하기 위한 블록도이다.
도 52는 본 발명의 일실시예에 있어서, 아바타 특징 제어 방법을 도시한 흐름도이다.
도 53은 본 발명의 다른 실시예에 있어서, 현실 세계와 가상 세계 사이의 정보 및 데이터 교환에 관한 시스템의 구조를 나타낸 도면이다.
도 54 내지 도 58은 본 발명의 일실시예에 따른 아바타 제어 명령을 설명하기 위한 도면이다.
도 59는 본 발명의 일실시예에 따른 어피어런스 제어 타입의 구조를 나타내는 도면이다.
도 60은 본 발명의 일실시예에 따른 커뮤니케이션 스킬 제어 타입의 구조를 나타내는 도면이다.
도 61은 본 발명의 일실시예에 따른 개성 제어 타입의 구조를 나타내는 도면이다.
도 62는 본 발명의 일실시예에 따른 애니메이션 제어 타입의 구조를 나타내는 도면이다.
도 63은 본 발명의 일실시예에 따른 컨트롤 제어 타입의 구조를 나타내는 도면이다.
도 64는 본 발명의 일실시예에 따른 영상 장치의 구성을 나타낸 도면이다.
도 65는 본 발명의 일실시예에 따른 가상 세계의 아바타를 얼굴 표정, 머리, 상체, 중체 및 하체의 부분으로 나눈 도면을 나타낸다.
도 66은 본 발명의 일실시예에 따른 애니메이션 클립에 대한 데이터베이스를 나타낸 도면이다.
도 67은 본 발명의 일실시예에 따른 모션 데이터에 대한 데이터베이스를 나타낸 도면이다.
도 68은 본 발명의 일실시예에 따른 우선 순위를 비교하여 아바타의 임의의 부분에 적용할 모션 객체 데이터를 결정하는 동작을 나타낸 도면이다.
도 69는 아바타의 각 부분에 적용할 모션 객체 데이터를 결정하는 방법의 흐름도이다.
도 70은 본 발명의 일실시예에 따른 아바타의 각 부분에 대응하는 모션 객체 데이터를 결합하는 동작을 나타낸 흐름도이다.
도 71은 본 발명의 일실시예에 따른 아바타의 각 부분에 대응하는 모션 객체 데이터를 결합하는 동작을 나타낸 도면이다.
도 72는 본 발명의 일실시예에 있어서, 가상 세계 객체를 제어하기 위한 단말기와 가상 세계 서버를 나타낸 도면이다.
도 73은 본 발명의 다른 실시예에 있어서, 가상 세계 객체를 제어하기 위한 단말기를 나타낸 도면이다.
도 74는 본 발명의 또 다른 실시예에 있어서, 가상 세계 객체를 제어하기 위한 복수의 단말기를 나타낸 도면이다.
도 75는 본 발명의 또 다른 실시예에 있어서, 가상 세계 객체를 제어하기 위한 단말기를 나타낸 도면이다.
이하, 첨부된 도면들에 기재된 내용들을 참조하여 본 발명에 따른 실시예를 상세하게 설명한다. 다만, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다.
1. 개요(Instruction)
멀티미디어 산업에서 가상 환경(VE: virtual environment)의 중요성이 인식되고 있다. 다른 멀티미디어 어플리케이션에 대한 가상 환경의 특수성(specificity)은 가상 환경 내부에 사용자의 시각적 표현을 포함한다. 그러한 표현은 대개 다른 목적을 제공하는 그래픽 오브젝트인 아바타의 형태를 취할 수 있다.
- 실제 세계의 사용자의 시각적인 존재를 가상 환경에 나타내는 것(make visible the presence of a real user into the VE)
- 가상 환경에서 사용자를 특징짓는 것(characterize the user within the VE)
- 가상 세계와 상호작용 하는 것(interaction with the VE)
도 1은 본 발명의 일실시예에 있어서, 현실 세계의 사용자 의도를 센서 제어 명령을 통해 전달받고, 아바타 정보 및 아바타 제어 정보에 의해 가상 세계와 적응 RV가 통신하는 시스템을 도시하고 있다. 현실 세계에서 사용자들의 의도는 센서 기반의 입력 장치(101)를 통하여 적응 RV(102)에 센서 제어 명령(Sensor Control Command)(103)으로서 전달될 수 있다. 또한, 가상 세계(104)에서 아바타와 물체(object)의 구조적 정보는 아바타 정보(Avatar Information)(105)로서 적응 RV(102)(일례로, 적응 RV 엔진)에 전달될 수 있다. 즉, 적응 RV(102)에서는 사용자의 의도로 만들어진 센서 제어 명령(103)과 아바타의 정보(105)를 이용해 가상세계의 아바타와 물체를 제어 할 수 있는 아바타 제어 정보(Avatar Control Information)(106)로 변환하여 가상 세계(104)로 전달될 수 있다. 이 아바타 제어 정보(106)로 가상 세계(104)의 아바타가 조작될 수 있다. 일례로, 동작 센서는 위치, 속도 등의 정보를, 카메라는 실루엣, 칼라, 깊이(depth) 등의 정보를 전달할 수 있다. 이러한 정보는 적응 RV(102)에 있는 아바타 정보와 함께 계산되어 아바타 제어 정보(106)로 변환될 수 있다.
도 2 및 도 3은 RV와 VR의 대칭구조를 갖는 시스템의 간략도 및 상세도를 각각 도시한 도면이다. 도 2 및 도 3에 도시된 VR(virtual to real)은 가상 세계의 상황을 가상 센서(virtual sensor)로 센싱하여 이를 현실 세계에 있는 액추에이터(actuator)를 통해 동일한 상황을 제공할 수 있다. 일례로, 체험형 영화관의 경우, 바람이 불고, 흔들리는 등의 영화 속의 상황을 영화를 보는 관객이 있는 공간으로 동일하게 재현할 수 있다. 또한, RV(real to virtual)는 현실 세계의 센서로부터 현재의 실상황을 센싱하여 이를 가상 세계의 상황에 맞게 입력/명령 정보를 생성하고, 가상 세계에 반영할 수 있다. 이때, 가상 액추에이터는 아바타, 가상 물체, 가상 환경에 관련된 것일 수 있다. 도 3에서 타원 모양은 도 2의 파트 2에 해당하는 제어 정보에 대한 표준화 영역 A를 의미할 수 있다. 여기서, 파트 2는 현실 세계에 존재하는 장치(예를 들어 센서와 액추에이터)에 대한 제품의 성능(capability) 및 사용자의 선호도(Preference), 장치 명령(device command) 등을 정의한다. 원통 모양은 도 2의 파트 3에 해당하는 센서리(sensory) 정보, 파트 4에 해당하는 아바타 정보 및 파트 5에 해당하는 가상 물체 정보와 같이 컨텍스트 정보에 대한 표준화 영역 B를 의미할 수 있다. 이때, 파트 3은 컨텐츠(예를 들어, 가상 게임, 게임 등)에서 현실 세계에 전달하고자 하는 효과(effect)를 정의한다. 이러한 효과는 저작자가 이러한 컨텐츠에 포함시킨 센서리(Sensory) 효과로서, MPEG-V 엔진을 통해 제어 정보로 변환되어 각각의 기기에 명령으로 전달될 수 있다. 파트 4는 가상 세계에 존재하는 아바타 및 가상 물체에 대한 특징을 정의한다. 즉, 제어 정보에서 취득된 정보와 아바타 정보 및 가상 물체 정보를 활용하여 가상 세계의 아바타 및 가상 물체를 자유롭게 조작 가능하게 하기 위한 파트이다. 이러한 표준화 영역 A 및 B는 MPEG-V 표준화의 목표이다.
도 4는 본 발명의 일실시예에 따른 적응 RV의 구동 프로세스를 도시한다. 단계(401)에서 적응 RV 엔진의 아바타 정보가 셋팅될 수 있고, 단계(402)에서 센서 입력이 모니터링될 수 있다. 이때, 단계(403)에서 센서 제어 명령이 발생되면, 단계(404)에서 적응 RV 엔진의 명령이 인식될 수 있고, 단계(405)에서 아바타 제어 정보가 생성될 수 있다. 이후, 단계(406)에서 아바타 조작이 출력될 수 있다.
일반적으로, 아바타를 생성하는 것은 시간을 소모하는 작업이다. 아바타의 몇몇 요소들이 가상 환경(예를 들면, 현대적인(contemporary) 스타일의 가상 세계에서 중세적인(medieval) 의류를 입는 것은 부적절함)과 연관되어 있는 반면, 아바타를 한번 생성하고, 이를 다른 가상 환경들에 개입시키고(import) 사용하기 위한 실제 필요성이 존재한다. 덧붙여, 외부 어플리케이션(예를 들면, 가상 환경에서 하나의 아바타가 감정들을 노출하는 것은 사용자 심리 센서들을 수행함으로써 획득 가능함)으로부터 아바타를 제어하는 것이 가능해야만 한다.
이러한 두 가지 주요 요구 사항을 고려함으로써, 아바타를 나타내기 위한 XML 스키마가 제안될 수 있다.
- 다양한 가상 환경들의 수행으로부터 임포터(importer) / 익스포터(exporter)를 쉽게 생성하는 것이 가능해야 함.
- 가상 환경 내부에서 아바타를 쉽게 제어할 수 있어야 함.
제안되는 스키마는 메타데이터를 다루며, 지오메트리(geometry), 애니메이션 또는 텍스처의 표현을 포함하지 않는다.
스키마는 실재하는 가상 세계의 존재와 컨텐츠 인증 패키지들로부터의 대부분의 인기 있는 게임들, 도구들 및 기법과 함께 마크업 언어와 관련된 다른 가상 인간에 대한 연구에 기초한 것이다.
기본적인 아바타의 속성(attribute)으로 VR 공간에서 각각의 아바타를 구분 짓는 식별자(ID) 및 각 아바타의 형태적인 종류를 나타내는 패밀리(family)를 갖는다. 패밀리의 경우 아바타가 사람의 형태인지, 로봇 혹은 특정 동물의 형태인지에 대한 정보를 제공할 수 있다. 이를 활용하여 여러 아바타들이 함께 존재하는 VR 공간에서 다른 사용자의 아바타와 자신의 아바타를 식별자를 통해 구별하여 조작할 수 있으며, 패밀리 속성을 통해 여러 형태의 아바타를 적용시킬 수 있다. 또한, 옵션 속성(optional attribute)으로서 이름, 성별 등을 포함할 수 있다.
아바타의 요소(element)는 아래의 데이터 타입으로 구성될 수 있다.
- 외양(appearance): 외양에 대한 하이 레벨의 설명을 포함하고, 정확한 지오메트리와 텍스처를 포함하는 미디어를 참조할 수 있다. 본 실시예들에서는 추가적으로 'PhysicalCondition' 항목을 제안한다. 'PhysicalCondition'는 부요소(subelement)로서, 'BodyFlexibility'와 'BodyStrength'를 포함할 수 있다. 이는 각 아바타의 외향적인 특징을 정의할 때, 신체 유연성(body flexibility)이나 신체 강도(body strength)는 아바타가 행동을 표현하는 정도에 대한 정보를 제공할 수 있다. 예를 들어, 신체 유연성이 큰 아바타와 신체 유연성이 낮은 아바타를 비교할 때, 동일한 춤(예를 들어, 발레)을 행할 때, 이러한 신체 유연성의 정도에 따라 행동의 크기반영이 달라질 수 있다. 신체 강도 또한, 동일한 운동을 할 때 신체 강도가 큰 아바타의 행동이 더 힘차 보이게 표현할 수 있다. 이런 효과를 위해 'PhysicalCondition'이 아바타 외양(avatar appearance)의 부요소에 대한 메타데이터로서 제안될 수 있다.
- 애니메이션(animation): 아바타를 수행할 수 있는 애니메이션 시퀀스의 집합에 대한 설명을 포함하고, 정확한 애니메이션 파라미터들(지오메트리 변형(geometric transformations))을 포함하는 여러 미디어들을 참조할 수 있다. 기존의 아바타 애니메이션 메타데이터에 추가적으로 이동 요소(move element)의 'FreeDirection'항목을 제안한다. 4방향 화살표 버튼 입력 장치에 익숙해져 기존 아바타의 이동 조작을 위(up), 아래(down), 왼쪽(left), 오른쪽(right)으로 한정된 상태에서 정의되어 왔다. 이에 어느 방향으로든 자유롭게 조작될 수 있는 항목을 추가하여 아바타의 이동 애니메이션(move animation)의 표현 정보를 다양하게 제공할 수 있다.
- 커뮤니케이션 스킬(Communication Skills): 아바타가 커뮤니케이션 할 수 있는 다른 양상(modality)들에 정보를 제공하는 설명자들(descriptor)의 집합을 포함할 수 있다.
- 개성(Personality): 아바타의 개성을 정의하는 설명자들의 집합을 포함할 수 있다.
- 제어 특성(Control Features): 아바타의 얼굴 표정 및 동작 포인트의 집합을 포함하고, 그래서 사용자는 설명자들에 리스트되지 않은 얼굴 표정(facial expression), 전체 신체 동작(full body motion)을 제어할 수 있다.
다시 말해서, 외양은 아바타의 모습을 의미하는 것으로, 아바타의 눈, 코, 입술, 귀, 머리, 눈썹, 손톱 등의 크기, 위치, 모양 형태 등 다양한 아바타의 모습이 정의될 수 있다. 애니메이션은 아바타의 인사, 춤, 걷기, 움직임, 싸움, 축하, 신체 동작(화난 동작, 동의 동작, 지친 동작 등), 얼굴표정(웃고, 울고, 놀람 등), 무의미한 동작 등으로 구분될 수 있다. 그리고, 커뮤니케이션 스킬은 아바타의 대화 능력의 정보를 의미할 수 있다. 예를 들어, 커뮤니케이션 스킬은 아바타가 한국어를 모국어로 하고 영어는 능숙하게 구사하며, 불어는 인사 정도를 구사한다는 대화 능력 정보를 의미할 수 있다. 개성은 개방성(Opennes), 우호성(Agreableness), 신경성(Neuroticism), 외향성(Extraversion), 성실성(Conscientiousness) 등으로 특징될 수 있다.
이러한 아바타의 특징 중 얼굴 표정과 전체 신체 동작은 다음과 같이 제어될 수 있다. 도 5는 본 발명의 일실시예에 따른 얼굴 제어를 위한 아바타 얼굴 표현 제어 점을 정의한 일례를 나타낸다. 이러한 얼굴 제어(Face Control)는 도 5에 도시한 것과 같은 머리 윤곽, 좌우 눈 윤곽, 좌우 눈썹 윤곽, 좌우 귀 윤곽, 코 윤곽, 입술 윤곽 위에 제어 점들(마커 등)을 공간 좌표 상에서 움직임으로써, 웃는 표정이나 우는 표정, 또는 무수한 무의미한 표정 등 미리 정의되지 않은 다양한 표정을 표현할 수 있다. 예를 들어, 얼굴 표정 제어에 의하면, 현실 세계에 존재하는 사용자들의 표정을 카메라로 인식하여 가상 세계에 존재하는 아바타의 표정에 그대로 반영할 수 있다.
도 6은 본 발명의 일실시예에 있어서, 얼굴 제어의 일례를 나타낸다. 깊이 카메라와 같은 현실 세계 장치(601)를 통해 얻어진 사용자 얼굴 특징점들의 위치 정보는 적응 RV 엔진(602)으로 전송될 수 있다. 이러한 정보는 정규화 과정(사용자 얼굴 크기와 아바타 모델의 얼굴 크기를 맞추기 위함)을 통해 기본 아바타 모델의 특징점 정보와 매핑이 이루어져서 적응 RV 엔진(602)으로 보내지거나 또는 적응 RV 엔진(602)에서 상술한 처리가 수행될 수 있다. 이후, 특징점 매핑을 통해 생성된 아바타 모델과 같은 가상 세계 정보(603)는 가상 세계(604)의 개별 아바타의 얼굴 크기로 조절되고 매핑되어 가상 세계(604)의 위치 정보로 가상 세계(604)에 보내진다. 그리하여 현실 세계의 다양한 표정의 변화를 가상 세계(604)의 아바타 표정으로 나타내어 질 수 있다. 이러한 도 6에서 'RW'는 현실 세계를 'VW'는 가상 세계를 의미할 수 있다. 도 7은 본 발명의 일실시예에 있어서, 얼굴 제어를 통해 현실 세계의 사용자에 대한 개별 아바타를 생성한 일례를 나타낸다.
서로 다른 물리적 조건(physical condition)을 갖은 2개의 아바타를 비교할 때, 동일한 작업을 하는 중 혹은 작업을 마친 후의 상태가 다르게 나타날 수 있다. 도 8은 본 발명의 일실시예에 있어서, 아바타의 물리적 조건에 따라 두 아바타가 서로 다른 모습을 보이는 일례를 나타낸다. 2개의 아바타가 달리기 시합을 마치자 마자, 신체 강도가 높은 값을 지닌 아바타(801)는 계속 활력 있는 모습을 보여주고, 신체 강도가 낮은 값을 지닌 아바타(802)는 지친 모습을 보여준다. 다른 실시예로, 요가 동작을 할 경우, 스트래칭 되는 정도가 신체 유연성의 값에 따라 다르게 보여질 수 있다.
골격은 현실 세계에 존재하는 사람의 뼈에 기준으로 실제 사람의 형태로 구성될 수 있다. 예를 들어, 골격은 좌우 빗장뼈(Clavicle), 좌우 견갑골(Scapulae), 좌우 상완골(Humerus), 좌우 요골(Radius), 좌우 손목(Wrist), 좌우 손(Hand), 좌우 엄지손가락(Thumb) 등을 포함할 수 있다. 그리고, 골격의 움직임을 표현하는 신체 제어(Body Control)는 신체의 움직임을 반영하기 위해 각 뼈의 움직임을 반영하도록 하여야 하는데, 각 뼈의 움직임은 각 뼈마다 존재하는 관절점(joint point)을 이용하여 제어할 수 있다. 각 뼈는 서로 연결되어 있으므로, 이웃하는 뼈들의 경우 관절점을 공유할 수 있다. 그러므로 골반(Pelvis)을 기준점으로 시작하여 각 뼈의 끝점(end points) 중 골반(Pelvis)에서 멀리 떨어져 있는 끝점을 각 뼈의 제어 점으로 정의하고, 그 제어 점들을 움직임으로써 미리 정의되지 않은 아바타의 움직임을 다양하게 표현할 수 있다. 예를 들어, 위 상완골(Humerus)의 움직임은 팔꿈치(elbow)와의 관절점의 3차원 위치, 방향 및 뼈의 길이 정보를 이용하여 제어할 수 있다. 손가락의 경우에도 각 관절에서 끝점의 3차원 위치/방향/길이 정보를 통해 제어할 수 있다. 각 관절의 움직임은 위치만을 이용하여, 또는 방향과 거리만을 이용하여서도 제어할 수 있다.
이를 이용한 아바타 신체 제어의 경우는 현실 세계의 사용자들의 동작 형태를 카메라, 또는 동작을 인식하는 센서류 등으로 인식하여 가상 세계에 존재하는 아바타의 움직임에 그대로 반영할 수 있다. 이러한 아바타 신체 제어는 도 6을 통해 설명한 아바타 얼굴 제어와 유사한 과정을 통해 수행될 수 있다. 즉, 카메라나 동작 센서와 같은 현실 세계 장치를 얻어진 사용자 골격의 특징점들의 위치/방향 정보는 적응 RV 엔진으로 전송될 수 있다. 이러한 정보는 정규화 과정(사용자의 신체의 특성에 따라 계산된 골격 모델의 정보와 아바타의 골격 모델을 맞추어 놓기 위함)을 통해 기본 아바타 모델의 골격 특징점들 정보와 매핑되어 적응 RV 엔진으로 보내지거나 또는 적응 RV 엔진에서 상기 처리가 수행될 수 있다. 이 상기 처리가 수행된 정보는 가상세계의 개별 아바타의 골격 모델에 맞게 재조정되어 가상 세계의 위치 정보를 기반으로 가상 세계에 보내진다. 그리하여 현실 세계에서 사용자의 신체의 움직임을 가상세계의 아바타에 반영하게 된다.
결국, 본 발명의 일실시예에 따르면, 아바타의 특징을 나타내는 아바타 특징 제어를 통해 사용자의 다양한 얼굴 표정, 움직임 또는 개성 등을 자연스럽게 표현할 수 있다. 이를 위해, 본 발명의 일실시예에 따르면, 현실 세계의 사용자를 센싱 디바이스(카메라, 적외선, 동작 센서 등)을 통해 감지하여 사용자들의 특징을 그대로 아바타에 재연함으로써, 사용자들의 다양한 모습을 가상 세계의 아바타에 자연스럽게 반영할 수 있다.
능동적인 아바타 제어는 현실 세계(real world)의 센싱 장치로부터 데이터 시퀀스에서 공통적으로 특징(feature)을 추적(tracking), 인식(recognize)하며, 합성(synthesis)하기 위해 사용되는 일반적인 파라메틱 모델(parametic model)이다. 예를 들어, 캡처된 사용자의 전체 신체 동작은 아바타 동작을 제어하기 위해 시스템에 전송될 수 있다. 신체 동작 센싱(body motion sensing)은 입을 수 있거나(wearable) 또는 부착할 수 있는(attachable) 3D 위치(position) 및 자세(attitude) 센싱 장치의 집합을 요구할 수 있다. 따라서, 본 발명에 따른 실시예들에서는 아바타 신체 제어의 컨셉을 추가하는 것이 제안되고, 이러한 컨셉은 사용자의 모든 센싱된 동작을 사용함으로써 아바타의 전체(full) 제어를 가능하도록 하는 것을 의미할 수 있다.
또한, 제어는 아바타에 한정되지 않고, 가상 환경의 모든 객체에 적용될 수도 있다. 이를 위해, 본 발명의 일실시예에 따른 객체 제어 시스템은 가상 환경의 객체에 대한 제어 명령을 수신하는 제어 명령 수신부 및 상기 수신된 제어 명령 및 상기 객체의 객체 정보에 따라 상기 객체를 제어하는 객체 제어부를 포함할 수 있다. 이때, 객체 정보는 이후 설명될, 가상 세계 객체에 대한 메타데이터로서 가상 세계 객체의 공통 특징, 아바타에 대한 메타데이터로서 아바타 정보, 가상 객체에 대한 메타데이터로서 가상 객체에 대한 정보를 포함할 수 있다.
우선, 객체 정보는, 가상 세계 객체의 공통 특징을 포함할 수 있다. 이때, 공통 특징은, 메타데이터로 가상 세계 객체를 구분하기 위한 식별(Identification), 가상 세계 객체 소리(VWOSound: Virtual World Object Sound), 가상 세계 객체 냄새(VWOScent), 가상 세계 객체 제어(VWOControl), 가상 세계 객체 이벤트(VWOEvent), 가상 세계 객체 행동 모델(VWOBehviorModel) 및 가상 세계 객체 햅틱 속성(VWOHapticProperties) 중 적어도 하나의 구성요소(element)를 포함할 수 있다.
이때, 식별은, 가상 세계 객체와 관련된 사용자 식별을 위한 사용자 식별자(UserID), 가상 세계 객체의 소유권(Ownership), 권리(Rights) 및 공헌자(Credits) 중 적어도 하나를 구성요소로 포함하고, 가상 세계 객체의 이름(Name) 및 다른 가상 세계 객체와의 관계(Family) 중 적어도 하나를 속성(attribute)으로 포함할 수 있다.
가상 세계 객체 소리는, 소리 파일로의 하나 이상의 링크를 포함하는 소리 리소스 URL(Uniform Resource Locator)을 구성요소로 포함하고, 객체 소리의 유일한 식별자인 소리 식별자(SoundID), 소리의 세기(strength)를 나타내는 강도(Intensity), 소리가 지속되는 시간의 길이를 나타내는 기간(Duration), 재생 옵션을 나타내는 반복(Loop) 및 소리의 이름 중 적어도 하나를 상기 속성으로 포함할 수 있다.
가상 세계 객체 냄새는, 냄새 파일로의 하나 이상의 링크를 포함하는 냄새 리소스 URL을 구성요소로 포함하고, 객체 냄새의 유일한 식별자인 냄새 식별자(ScentID), 냄새의 세기를 나타내는 강도, 냄새가 지속되는 시간의 길이를 나타내는 기간, 재생 옵션을 나타내는 반복 및 냄새의 이름 중 적어도 하나를 속성으로 포함할 수 있다.
가상 세계 객체 제어는, 가상 세계 객체의 위치(Position), 방향(Orientation) 및 스케일(Scale)을 제어하는 구성요소의 집합인 동작 특징 제어(MotionFeatureControl)을 구성요소로 포함하고, 제어의 유일한 식별자인 제어 식별자(ControlID)를 속성으로 포함할 수 있다. 여기서, 동작 특징 제어는, 3차원 플로팅 포인트 벡터(floating point vector)를 갖는 장면에서 객체의 위치, 오일러 각(Euler angle)으로 3차원 플로팅 포인트 벡터를 갖는 장면에서 객체의 방향 및 3차원 플로팅 포인트 벡터로 표현되는 장면에서 객체의 스케일 중 적어도 하나를 구성요소로 포함할 수 있다.
가상 세계 객체 이벤트는, 마우스 이벤트 구성요소의 집합인 마우스(Mouse), 키보드 이벤트 구성요소의 집합인 키보드(Keyboard) 및 사용자 정의 입력(UserDefinedInput) 중 적어도 하나를 구성요소로 포함하고, 이벤트의 유일한 식별자인 이벤트 식별자(EventID)를 속성으로 포함할 수 있다. 이때, 마우스는, 클릭(Click), 더블 클릭(Double_Click), 마우스 왼쪽 버튼을 누르고 있는 순간에 발생하는 이벤트인 왼쪽 버튼 다운(LeftBttn_down), 마우스 왼쪽 버튼을 떼는 순간에 발생하는 이벤트인 왼쪽 버튼 업(LeftBttn_up), 마우스 오른쪽 버튼을 누르고 있는 순간에 발생하는 이벤트인 오른쪽 버튼 다운(RightBttn_down), 마우스 오른쪽 버튼을 떼는 순간에 발생하는 이벤트인 오른쪽 버튼 업(RightBttn_up) 및 마우스 위치를 변경하는 동안 발생하는 이벤트인 이동(Move) 중 적어도 하나를 구성요소로 포함할 수 있다. 또한, 키보드는, 키보드 버튼을 누르고 있는 순간에 발생하는 이벤트인 키다운(Key_Down) 및 키보드 버튼을 떼는 순간에 발생하는 이벤트인 키 업(Key_Up) 중 적어도 하나를 구성요소로 포함할 수 있다.
가상 세계 객체 행동 모델은, 객체 행동을 생성하기 위한 입력 이벤트인 행동 입력(BehaviorInput) 및 입력 이벤트에 따른 객체 행동 출력인 행동 출력(BehaviorOutput) 중 적어도 하나를 구성요소로 포함할 수 있다. 여기서, 상기 행동 입력은, 이벤트 식별자를 속성으로 포함할 수 있고, 행동 출력은, 소리 식별자, 냄새 식별자 및 애니메이션 식별자 중 적어도 하나를 속성으로 포함할 수 있다.
가상 세계 객체 햅틱 속성 타입은, 햅틱 속성(haptic properties)을 특징짓는 파라미터인 소재 속성(MaterialProperty), 힘 효과(force effects)를 특징짓는 파라미터인 역학적 힘 효과(DynamicForceEffect) 및 촉각 속성(tactile properties)을 특징짓는 파라미터인 촉각 속성(TactileProperties) 중 적어도 하나를 구성요소로 포함할 수 있다. 여기서, 소재 속성은, 가상 세계 객체의 강상(Stiffness), 가상 세계 객체의 정지 마찰력(StaticFriction), 가상 세계 객체의 운동 마찰력(DynamicFriction), 가상 세계 객체의 담핑(damping), 햅틱 텍스처 파일로의 링크를 포함하는 텍스처(Texture) 및 가상 세계 객체의 질량(Mass) 중 적어도 하나를 속성으로 포함할 수 있다. 또한, 역학적 힘 효과는, 힘 필드 벡터 파일로의 링크를 포함하는 힘 필드(ForceField) 및 힘 궤적 파일로의 링크를 포함하는 이동 궤적(MovementTrajectory) 중 적어도 하나를 속성으로 포함할 수 있다. 뿐만 아니라, 촉각 속성은, 가상 세계 객체의 온도(Temperature), 가상 세계 객체의 진동(Vibration), 가상 세계 객체의 전류(Current) 및 촉각 패턴 파일로의 링크를 포함하는 촉각 패턴(TactilePatterns) 중 적어도 하나를 속성으로 포함할 수 있다.
또한, 객체 정보는, 가상 세계의 아바타에 대한 아바타 정보를 포함할 수 있다. 아바타 정보는, 메타데이터로 아바타 외양(AvatarAppearance), 아바타 애니메이션(AvatarAnimation), 아바타 커뮤니케이션 스킬(AvatarCommunicationSkills), 아바타 개성(AvatarPersonality), 아바타 제어 특성(AvatarControlFeatures) 및 아바타 공통 특징(AvatarCC: Avatar Common Characteristics) 중 적어도 하나의 구성요소를 포함하고, 아바타의 성별(Gender)을 속성으로 포함할 수 있다.
이때, 아바타 외양은, 신체(Body), 머리(Head), 눈(Eyes), 귀(Ears), 코(nose), 입술(MouthLip), 피부(Skin), 얼굴(Facial), 손톱(Nail), 신체 겉모습(BodyLook), 헤어(hair), 눈썹(EyeBrows), 얼굴 헤어(FacialHair), 얼굴 눈금점(FacialCalibrationPoints), 물리적 조건(PhysicalCondition), 의복(Clothes), 신발(Shoes), 액세서리(Accessories) 및 외양 리소스(AppearanceResource) 중 적어도 하나의 구성요소를 포함할 수 있다. 여기서, 물리적 조건은 신체 강도(BodyStrength) 및 신체 유연성(BodyFlexibility) 중 적어도 하나를 구성요소로 포함할 수 있다.
또한, 아바타 애니메이션은 아이들(Idle), 인사(Greeting), 댄스(Dance), 걷기(Walk), 이동(Moves), 싸움(Fighting), 듣기(Hearing), 담배피기(Smoke), 축하(Congratulation), 공통 행동(Common_Action), 특정 행동(Specific_Action), 얼굴 표현(Facial_Expression), 신체 표현(Body_Expression), 애니메이션 리소스(AnimationResource) 중 적어도 하나의 구성요소를 포함할 수 있다.
아바타 커뮤니케이션 스킬은 입력 구두 커뮤니케이션 (InputVerbalComuunication), 입력 비-구두 커뮤니케이션 (InputNonVerbalCommunication), 출력 구두 커뮤니케이션 (OutputVerbalCommunication) 및 출력 비-구두 커뮤니케이션 (OutputNonVerbalCommunication) 중 적어도 하나를 구성요소로 포함하고, 이름(Name) 및 디폴트 언어(DefaultLanguage) 중 적어도 하나를 속성으로 포함할 수 있다. 이때, 입력 구두 커뮤니케이션 및 상기 출력 구두 커뮤니케이션을 포함하는 구두 커뮤니케이션은 언어(Language)를 구성요소로 포함하고, 음성(Voice), 텍스트(Text) 및 언어(Language) 중 적어도 하나를 속성으로 포함할 수 있고, 언어는, 언어의 이름을 명시한 문자열인 이름 및 상기 구두 커뮤니케이션에서 언어를 이용하기 위한 선호(Preference) 중 적어도 하나를 속성으로 포함할 수 있다. 또한, 선호를 포함하는 커뮤니케이션 선호는 아바타의 커뮤니케이션의 선호 레벨을 포함할 수 있다. 뿐만 아니라, 언어는, 아바타가 말하거나 이해할 수 있는 각각의 언어를 위한 선호 레벨을 포함하는 커뮤니케이션 선호 레벨(CommunicationPreferenceLevel)이 설정될 수 있다. 입력 비-구두 커뮤니케이션 및 상기 출력 비-구두 커뮤니케이션을 포함하는 비-구두 커뮤니케이션은 사인 언어(SignLanguage) 및 큐드 스피치 커뮤니케이션(CuedSpeechCommumicaiton) 중 적어도 하나를 구성요소로 포함하고, 상호 보완적 제스처(ComplementaryGesture)를 속성으로 포함할 수 있다. 이때, 사인 언어는 언어의 이름을 속성으로 포함할 수 있다.
아바타 개성은, 개방성(Openness), 성실성(Conscientiousness), 외향성 (Extraversion), 친화성(Agreeableness) 및 신경성(Neuroticism) 중 적어도 하나를 구성요소로 포함하고, 선택적으로 개성의 이름을 포함할 수 있다.
아바타 제어 특성은, 신체의 이동을 제어하는 구성요소의 집합인 제어 신체 특성(ControlBodyFeature) 및 얼굴의 이동을 제어하는 구성요소의 집합인 제어 얼굴 특성(ControlFaceFeature)을 구성요소로 포함하고, 선택적으로 제어 구성의 이름을 속성으로 포함할 수 있다.
제어 신체 특성은, 머리뼈(headBones), 상체뼈(UpperBodyBones), 하체뼈(DownBodyBones), 중체뼈(MiddleBodyBones) 중 적어도 하나를 구성요소로 포함할 수 있다.
제어 얼굴 특성은, 머리 외곽선(HeadOutline), 왼쪽 눈 외곽선(LeftEyeOutline), 오른쪽 눈 외곽선(RightEyeOutline), 왼쪽 눈썹 외곽선(LeftEyeBrowOutline), 오른쪽 눈썹 외곽선(RightEyeBrowOutline), 왼쪽 귀 외곽선(LeftEarOutline), 오른쪽 귀 외곽선(RightEarOutline), 코 외곽선(NoseOutline), 입술 외곽선(MouthLipOutline), 얼굴점(FacePoints) 및 미셀레이니어스 점(MiscellaneousPoints) 중 적어도 하나를 구성요소로 포함하고, 선택적으로 얼굴 제어 구성의 이름을 속성으로 포함할 수 있다. 이때, 제어 얼굴 특성이 포함하는 구성요소 중 적어도 하나는 4개의 점을 갖는 외곽선인 외곽선 4점(Outline4Points), 5개의 점을 갖는 외곽선인 외곽선 5점(Outline5Points), 8개의 점을 갖는 외곽선인 외곽선 8점(Outline8Points) 및 14개의 점을 갖는 외곽선인 외곽선 14점(Outline14Points) 중 적어도 하나를 구성요소로 포함할 수 있다. 또는, 제어 얼굴 특성이 포함하는 구성요소 중 적어도 하나는 기본 개수의 점을 포함하고, 선택적으로 추가의 점을 더 포함할 수도 있다.
또한, 객체 정보는, 가상 객체에 대한 정보를 포함할 수 있고, 가상 객체에 대한 정보는, 메타데이터로 가상 객체 외양(VOAppearance: Virtual Object Appearance), 가상 객체 애니메이션(VOAnimation) 및 가상 객체 공통 특징(VOCC: Virtual Object Common Characteristics) 중 적어도 하나의 구성요소를 포함할 수 있다.
가상 객체 외양은, 외양 파일에 대한 하나 이상의 링크가 존재하는 경우, 상기 하나 이상의 링크를 포함하는 구성요소인 가상 객체 URL(VirtualObjectURL)을 구성요소로 포함할 수 있다.
가상 객체 애니메이션은, 가상 객체 동작(VOMotion), 가상 객체 변형(VODeformation) 및 가상 객체 추가 애니메이션(VOAdditionalAnimation) 중 적어도 하나를 구성요소로 포함하고, 애니메이션 식별자(AnimationID), 애니메이션이 지속되는 시간의 길이인 기간(Duration) 및 재생 옵션인 반복(Loop) 중 적어도 하나를 속성으로 포함할 수 있다.
객체 정보가 포함할 수 있는 메타데이터들에 대해서는 이후 더욱 자세히 설명한다.
객체 제어부는, 상기 객체가 아바타인 경우, 상기 아바타의 얼굴표정과 동작의 제어를 위한 아바타 얼굴 특징점(face feature point) 및 신체 특징점(body feature point)을 정의하는 메타데이터 및 상기 수신된 제어 명령에 기초하여 상기 아바타를 제어할 수 있다. 또한, 제어 명령은, 상기 객체가 가상 세계의 아바타인 경우, 현실 세계의 사용자의 얼굴 표정과 신체 동작을 센싱하여 생성될 수 있고, 이 경우, 객체 제어부는 상기 얼굴 표정과 신체 동작에 따른 사용자의 특징이 상기 가상 세계의 아바타에 매핑되도록 상기 객체를 제어할 수 있다.
또한, 본 발명의 일실시예에 따른 객체 제어 방법은 가상 환경의 객체에 대한 제어 명령을 수신하는 단계 및 상기 수신된 제어 명령 및 상기 객체의 객체 정보에 따라 상기 객체를 제어하는 단계를 포함할 수 있다. 객체 제어 방법에서 이용되는 객체 정보 또한 객체 제어 시스템에서 이용되는 객체 정보와 동일할 수 있다. 이때, 객체를 제어하는 단계는, 상기 객체가 아바타인 경우, 상기 아바타의 얼굴표정과 동작의 제어를 위한 아바타 얼굴 특징점 및 신체 특징점을 정의하는 메타데이터 및 상기 수신된 제어 명령에 기초하여 상기 아바타를 제어하는 단계를 포함할 수 있다. 또한, 제어 명령은, 상기 객체가 가상 세계의 아바타인 경우, 현실 세계의 사용자의 얼굴 표정과 신체 동작을 센싱하여 생성될 수 있고, 이 경우, 객체를 제어하는 단계는, 얼굴 표정과 신체 동작에 따른 사용자의 특징이 상기 가상 세계의 아바타에 매핑되도록 상기 객체를 제어하는 단계를 포함할 수 있다.
본 발명의 다른 실시예에 따른 객체 제어 시스템은 현실 세계 장치로부터 수신된 정보에 기초하여 정규화된 제어 명령을 생성하는 제어 명령 생성부, 정규화된 제어 명령을 가상 세계 서버로 전송하는 제어 명령 전송부 및 가상 세계 서버로부터 수신된 가상 세계 객체에 대한 정보에 기초하여 가상 세계 객체를 제어하는 객체 제어부를 포함한다. 이때, 본 실시예에 따른 객체 제어 시스템은 하나의 단말기의 역할을 수행할 수 있고, 가상 세계 서버의 역할을 수행하는 본 발명의 또 다른 실시예에 따른 객체 제어 시스템은 단말기로부터 수신된 정규화된 제어 명령을 해당하는 가상 세계 객체에 따라 변환하여 가상 세계 객체에 대한 정보를 생성하는 정보 생성부 및 가상 세계 객체에 대한 정보를 단말기로 전송하는 정보 전송부를 포함한다. 이 경우, 정규화된 제어 명령은 단말기가 현실 세계 장치로부터 수신한 정보에 기초하여 생성된다.
본 발명의 다른 실시예에 따른 객체 제어 방법은 현실 세계 장치로부터 수신된 정보에 기초하여 정규화된 제어 명령을 생성하는 단계, 정규화된 제어 명령을 가상 세계 서버로 전송하는 단계 및 가상 세계 서버로부터 수신된 가상 세계 객체에 대한 정보에 기초하여 가상 세계 객체를 제어하는 단계를 포함한다. 이때, 본 실시예에 따른 객체 제어 방법은 하나의 단말기를 통해 수행될 수 있고, 가상 세계 서버는 본 발명의 또 다른 실시예에 따른 객체 제어 방법을 수행할 수 있다. 즉, 가상 세계 서버에 의해 수행될 수 있는 객체 제어 방법은 단말기로부터 수신된 정규화된 제어 명령을 해당하는 가상 세계 객체에 따라 변환하여 가상 세계 객체에 대한 정보를 생성하는 단계 및 가상 세계 객체에 대한 정보를 단말기로 전송하는 단계를 포함한다. 이 경우, 정규화된 제어 명령은 단말기가 현실 세계 장치로부터 수신한 정보에 기초하여 생성된다.
본 발명의 또 다른 실시예에 따른 객체 제어 시스템은 현실 세계 장치로부터 수신된 정보를 가상 세계 서버로 전송하는 정보 전송부 및 전송된 정보에 따라 가상 세계 서버로부터 수신된 가상 세계 객체에 대한 정보에 기초하여 가상 세계 객체를 제어하는 객체 제어부를 포함한다. 이때, 본 실시예에 따른 객체 제어 시스템은 하나의 단말기의 역할을 수행할 수 있고, 가상 세계 서버의 역할을 수행하는 본 발명의 또 다른 실시예에 따른 객체 제어 시스템은 단말기로부터 수신된 정보에 기초하여 정규화된 제어 명령을 생성하는 제어 명령 생성부, 정규화된 제어 명령을 해당하는 가상 세계 객체에 따라 변환하여 가상 세계 객체에 대한 정보를 생성하는 정보 생성부 및 가상 세계 객체에 대한 정보를 단말기로 전송하는 정보 전송부를 포함한다. 이 경우, 수신된 정보는 단말기가 현실 세계 장치로부터 수신한 정보를 포함한다.
본 발명의 또 다른 실시예에 따른 객체 제어 방법은 현실 세계 장치로부터 수신된 정보를 가상 세계 서버로 전송하는 단계 및 전송된 정보에 따라 가상 세계 서버로부터 수신된 가상 세계 객체에 대한 정보에 기초하여 가상 세계 객체를 제어하는 단계를 포함한다. 이때, 본 실시예에 따른 객체 제어 방법은 하나의 단말기를 통해 수행될 수 있고, 가상 세계 서버는 본 발명의 또 다른 실시예에 따른 객체 제어 방법을 수행할 수 있다. 즉, 가상 세계 서버에 의해 수행될 수 있는 객체 제어 방법은 단말기로부터 수신된 정보에 기초하여 정규화된 제어 명령을 생성하는 단계, 정규화된 제어 명령을 해당하는 가상 세계 객체에 따라 변환하여 가상 세계 객체에 대한 정보를 생성하는 단계 및 가상 세계 객체에 대한 정보를 단말기로 전송하는 단계를 포함한다. 이 경우, 수신된 정보는 단말기가 현실 세계 장치로부터 수신한 정보를 포함한다.
본 발명의 또 다른 실시예에 따른 객체 제어 시스템은 현실 세계 장치로부터 수신된 정보에 기초하여 정규화된 제어 명령을 생성하는 제어 명령 생성부, 정규화된 제어 명령을 해당하는 가상 세계 객체에 따라 변환하여 가상 세계 객체에 대한 정보를 생성하는 정보 생성부 및 가상 세계 객체에 대한 정보에 기초하여 가상 세계 객체를 제어하는 객체 제어부를 포함한다.
본 발명의 또 다른 실시예에 따른 객체 제어 방법은 현실 세계 장치로부터 수신된 정보에 기초하여 정규화된 제어 명령을 생성하는 단계, 정규화된 제어 명령을 해당하는 가상 세계 객체에 따라 변환하여 가상 세계 객체에 대한 정보를 생성하는 단계 및 가상 세계 객체에 대한 정보에 기초하여 가상 세계 객체를 제어하는 단계를 포함한다.
본 발명의 또 다른 실시예에 따른 객체 제어 시스템은 현실 세계 장치로부터 수신된 정보에 기초하여 정규화된 제어 명령을 생성하는 제어 명령 생성부, 정규화된 제어 명령을 해당하는 가상 세계 객체에 따라 변환하여 가상 세계 객체에 대한 정보를 생성하는 정보 생성부, 가상 세계 객체에 대한 정보와 다른 객체 제어 시스템의 가상 세계 객체에 대한 정보를 교환하는 정보 교환부 및 가상 세계 객체에 대한 정보 및 교환된 가상 세계 객체에 대한 정보에 기초하여 가상 세계 객체를 제어하는 객체 제어부를 포함한다.
본 발명의 또 다른 실시예에 따른 객체 제어 방법은 현실 세계 장치로부터 수신된 정보에 기초하여 정규화된 제어 명령을 생성하는 단계, 정규화된 제어 명령을 해당하는 가상 세계 객체에 따라 변환하여 가상 세계 객체에 대한 정보를 생성하는 단계, 가상 세계 객체에 대한 정보와 다른 객체 제어 시스템의 가상 세계 객체에 대한 정보를 교환하는 단계 및 가상 세계 객체에 대한 정보 및 교환된 가상 세계 객체에 대한 정보에 기초하여 가상 세계 객체를 제어하는 단계를 포함한다.
본 발명의 또 다른 실시예에 따른 객체 제어 시스템은 현실 세계 장치로부터 수신된 정보 및 가상 세계 서버로부터 수신된 가상 세계 정보에 기초하여 가상 세계 객체에 대한 정보를 생성하는 정보 생성부, 가상 세계 객체에 대한 정보에 기초하여 가상 세계 객체를 제어하는 객체 제어부 및 가상 세계 객체의 제어에 따른 처리 결과를 가상 세계 서버로 전송하는 처리 결과 전송부를 포함한다. 이때, 본 실시예에 따른 객체 제어 시스템은 하나의 단말기의 역할을 수행할 수 있고, 가상 세계 서버의 역할을 수행하는 본 발명의 또 다른 실시예에 따른 객체 제어 시스템은 단말기로 가상 세계 정보를 전송하는 정보 전송부 및 단말기로부터 수신되는 처리 결과에 기초하여 가상 세계 정보를 갱신하는 정보 갱신부를 포함한다. 이 경우, 처리 결과는 단말기가 현실 세계 장치로부터 수신한 정보 및 가상 세계 정보에 기초하여 가상 세계 객체를 제어한 결과를 포함한다.
본 발명의 또 다른 실시예에 따른 객체 제어 방법은 현실 세계 장치로부터 수신된 정보 및 가상 세계 서버로부터 수신된 가상 세계 정보에 기초하여 가상 세계 객체에 대한 정보를 생성하는 단계, 가상 세계 객체에 대한 정보에 기초하여 가상 세계 객체를 제어하는 단계 및 가상 세계 객체의 제어에 따른 처리 결과를 가상 세계 서버로 전송하는 단계를 포함한다. 이때, 본 실시예에 따른 객체 제어 방법은 하나의 단말기를 통해 수행될 수 있고, 가상 세계 서버는 본 발명의 또 다른 실시예에 따른 객체 제어 방법을 수행할 수 있다. 즉, 가상 세계 서버에 의해 수행될 수 있는 객체 제어 방법은 단말기로 가상 세계 정보를 전송하는 단계 및 단말기로부터 수신되는 처리 결과에 기초하여 가상 세계 정보를 갱신하는 단계를 포함한다. 이 경우, 처리 결과는 단말기가 현실 세계 장치로부터 수신한 정보 및 가상 세계 정보에 기초하여 가상 세계 객체를 제어한 결과를 포함한다.
이때, 각각의 실시예들에 따른 객체 제어 시스템의 객체 제어부는, 가상 세계 객체에 대한 정보에 기초하여 제어 명령을 생성하여 디스플레이로 전송함으로써 가상 세계 객체를 제어할 수 있다.
2. 가상 세계 객체 메타데이터(Virtual World Object metadata)
2.1 메타데이터의 타입(Types of metadata)
다른 멀티미디어 어플리케이션에 대한 가상 환경(VEs: Virtual Environments)의 특이함(specificity)은 환경 내의 가상 세계 객체의 표현(representation)에 있다. "가상 세계 객체"는 아바타 및 가상 객체와 같이 두 개의 타입으로 분류될 수 있다. 아바타는 환경 안에 사용자의 (시각적) 표현으로 이용될 수 있다. 이러한 가상 세계 객체는 서로 다른 목적을 제공한다.
- 가상 환경 내에서 객체들의 다양한 종류의 특징을 묘사한다.
- 가상 환경과의 상호 작용을 제공한다.
일반적으로, 객체의 생성은 시간을 소모하는 작업이다. 비록 객체의 몇 가지 요소가 가상 세계와 관련될 수 있다 하더라도, 객체를 한번 생성하고, 다른 가상 세계에서 그것을 이용할 실제 필요성이 있다. 예를 들어, 현대 스타일의 가상 환경에서 중세의 슈트를 입고 있는 아바타는 부적절할 수 있다. 게다가, 외부 어플리케이션으로부터 객체를 제어하는 것이 가능해야 한다. 예를 들어, 가상 세계에서 아바타가 표현하는 감정이 사용자의 생리학적(physiological) 센서와 관련된 처리를 통해 얻어질 수 있어야 한다.
아래 세가지 메인 요구를 고려함으로써 객체를 묘사하기 위해, 가상 세계 객체 특징(Virtual World Object Characteristics) XSD라 불리우는 XML 스키마(Schema)가 제안될 수 있다.
- 다양한 가상 환경 실행(implementation)으로부터 임포터(importers)나 익스포터(exporters)를 쉽게 생성하는 것이 가능해야 한다.
- 가상 환경 내의 객체를 제어하는 것이 쉬워야 한다.
- 가상 세계 객체 특징 파일에 포함된 데이터를 이용하여 객체의 지역 템플릿(local template)을 수정하는 것이 가능해야 한다.
제안된 스키마(schema)는 오직 메타데이터를 다루고, 기하학적 구조(geometry), 소리(sound), 냄새(scent), 애니메이션이나 텍스처(texture)는 포함하지 않는다. 후자를 표현하기 위해, 미디어 리소스(media resource)의 참조가 이용될 수 있다.
가상 객체와 아바타에 공유되는 가상 세계 객체의 속성과 특징의 공통 타입이 있다.
공통 관련 속성(attributes) 및 특징(characteristics)은 아래 데이터 타입으로 구성될 수 있다.
- 아이덴티티(Identity): 식별(identification) 설명자(descriptors)를 포함한다.
- 소리(Sound): 소리 리소스(resources) 및 관련 속성(properties)를 포함한다.
- 냄새(Scent): 냄새 리소스 및 관련 속성을 포함한다.
- 제어(Control): 변형(translation), 방향(orientation), 스케일링(scaling)과 같은 객체의 동작 특성을 제어하기 위한 설명자의 집합을 포함한다.
- 이벤트(Event): 마우스나 키보드와 같은 입력 장치로부터의 입력 이벤트를 제공하기 위한 설명자의 집합을 포함한다.
- 행동 모델(Behaviour Model): 입력 이벤트에 따른 객체의 행동 정보를 정의하기 위한 설명자의 집합을 포함한다.
- 햅틱 속성(Haptic Properties): 햅틱 속성의 고레벨(high level) 설명자의 집합을 포함한다.
공통 특징 및 속성은 아바타 메타데이터와 가상 객체 메타데이터 각각의 특징적 면을 확장하기 위해 아바타 메타데이터와 가상 객체 메타데이터 모두에 상속될 수 있다.
2.2 가상 세계 객체 공통 특징(Virtual World Object Common Characteristics)
2.2.1 공통 특징 타입(commonCharacteristicsType)
2.2.1.1 신텍스(Syntax)
도 9는 본 발명의 일실시예에 있어서, 공통 특징 타입의 구조를 나타낸 도면이다. 또한, 아래 표 1은 공통 특징 타입의 신텍스를 나타낸다.
2.2.1.2 시멘틱스(Semantics)
아래 표 2는 공통 특징 타입의 시멘틱스를 나타낸다.
2.2.2 식별 타입(IdentificationType)
2.2.2.1 신텍스(Syntax)
도 10은 본 발명의 일실시예에 있어서, 식별 타입의 구조를 나타낸 도면이다. 또한, 아래 표 3은 식별 타입의 신텍스를 나타낸다.
2.2.2.2 시멘틱스(Semantics)
아래 표 4는 식별 타입의 시멘틱스를 나타낸다.
2.2.3 가상 세계 객체 소리 타입(VWO(Virtual World Object)SoundType)
2.2.3.1 신텍스(Syntax)
도 11은 본 발명의 일실시예에 있어서, 가상 세계 객체 소리 타입의 구조를 나타낸 도면이다. 또한, 아래 표 5는 가상 세계 객체 소리 타입의 신텍스를 나타낸다.
2.2.3.2 시멘틱스(Semantics)
아래 표 6는 가상 세계 객체 소리 타입의 시멘틱스를 나타낸다.
2.2.3.3 예
아래 표 7은 시멘틱스의 객체와 관련된 소리 정보의 설명을 나타낸다. 이름이 "BigAlarm"인 소리 리소스가 "http://sounddb.com/alarmsound_0001.wav"에서 구해지고, "SoundID"의 값은 식별자 "3"이다. 소리의 길이는 30초이다. 소리는 강도의 볼륨 50%로 반복적으로 재생될 수 있다.
2.2.4 가상 세계 객체 냄새 타입(VWOScentType)
2.2.4.1 신텍스(Syntax)
도 12는 본 발명의 일실시예에 있어서, 가상 세계 객체 냄새 타입의 구조를 나타낸 도면이다. 또한, 아래 표 8은 가상 세계 객체 냄새 타입의 신텍스를 나타낸다.
2.2.4.2 시멘틱스(Semantics)
아래 표 9는 가상 세계 객체 냄새 타입의 시멘틱스를 나타낸다.
2.2.4.3 예
아래 표 10은 객체와 관련된 냄새 정보의 설명을 나타낸다. 이름이 "rose"인 냄새 리소스가 "http://scentdb.com/flower_0001.sct"에서 구해지고, "ScentID"의 값은 식별자 "5"이다. 강도는 20%로 20초 지속될 수 있다.
2.2.5 가상 세계 객체 제어 타입(VWOControlType)
2.2.5.1 신텍스(Syntax)
도 13은 본 발명의 일실시예에 있어서, 가상 세계 객체 제어 타입의 구조를 나타낸 도면이다. 또한, 아래 표 11은 가상 세계 객체 제어 타입의 신텍스를 나타낸다.
2.2.5.2 시멘틱스(Semantics)
아래 표 12는 가상 세계 객체 제어 타입의 시멘틱스를 나타낸다.
주) 제어의 레벨: 전체 객체, 객체의 부분
(Note) levels of controls: entire object, part of the object)
주: 만약 두 개의 컨트롤러가 동일한 객체와 관련되어 있으나 객체의 서로 다른 부분과 관련되어 있고, 이러한 부분이 계층적 구조(부모와 자식 관계)로 존재한다면, 그때, 자식의 관련 동작이 수행될 수 있다. 만약, 컨트롤러들이 동일한 부분과 관련되어 있다면, 컨트롤러는 전체 객체를 위해 스케일링하거나 비슷한 효과를 가져올 것이다.( Note: if two controllers are associated to the same object but on different parts of the object and if these parts exist hierarchical structures (parent and children relationship) then the relative motion of the children should be performed. If the controllers are associated with the same part, the controller does the scaling or similar effects for the entire object.)
2.2.5.3 예
아래 표 13은 객체 제어 정보의 설명을 나타낸다. 위치 변화의 동작 특징 제어가 주어지고, "ControlID"의 값은 식별자 "7"이다. 객체는 "DistanceX=122.0", "DistanceY=150.0" 및 "DistanceZ=40.0"의 위치에 존재한다.
2.2.6 가상 세계 객체 이벤트 타입(VWOEventType)
2.2.6.1 신텍스(Syntax)
도 14는 본 발명의 일실시예에 있어서, 가상 세계 객체 이벤트 타입의 구조를 나타낸 도면이다. 또한, 아래 표 14는 가상 세계 객체 이벤트 타입의 신텍스를 나타낸다.
2.2.6.2 시멘틱스(Semantics)
아래 표 15는 가상 세계 객체 이벤트 타입의 시멘틱스를 나타낸다.
2.2.6.3 예
아래 표 16은 객체 이벤트의 설명을 나타낸다. 입력 장치로서 마우스는 새로운 입력 값 "click"을 생성한다. 이러한 입력을 식별하기 위해 "EventID"의 값은 "3"이다.
2.2.7 가상 세계 객체 행동 모델 타입(VWOBehaviourModelType)
2.2.7.1 신텍스(Syntax)
도 15는 본 발명의 일실시예에 있어서, 가상 세계 객체 행동 모델 타입의 구조를 나타낸 도면이다. 또한, 아래 표 17은 가상 세계 객체 행동 모델 타입의 신텍스를 나타낸다.
2.2.7.2 시멘틱스(Semantics)
아래 표 18은 가상 세계 객체 행동 모델 타입의 시멘틱스를 나타낸다.
2.2.7.3 예
아래 표 19는 가상 세계 객체 행동 모델의 설명을 나타낸다. 만약, 행동 입력으로서 EventID가 "1"로 주어지면, 행동 출력은 SoundID의 값 "5" 및 AnimationID의 값 "4"와 관련되어 실행될 수 있다.
2.2.8 가상 세계 객체 햅틱 속성 타입(VWOHapticPropertyType)
2.2.8.1 신텍스(Syntax)
도 16은 본 발명의 일실시예에 있어서, 가상 세계 객체 햅틱 속성 타입의 구조를 나타낸 도면이다. 또한, 아래 표 20은 가상 세계 객체 햅틱 속성 타입의 신텍스를 나타낸다.
2.2.8.2 시멘틱스(Semantics)
아래 표 21은 가상 세계 객체 햅틱 속성 타입의 시멘틱스를 나타낸다.
2.2.8.3 소재 속성 타입(MaterialPropertyType)
2.2.8.3.1 신텍스(Syntax)
도 17은 본 발명의 일실시예에 있어서, 소재 속성 타입의 구조를 나타낸 도면이다. 또한, 아래 표 22는 소재 속성 타입의 신텍스를 나타낸다.
2.2.8.3.2 시멘틱스(Semantics)
아래 표 23은 소재 속성 타입의 시멘틱스를 나타낸다.
2.2.8.3.3 예
아래 표 24는 가상 세계 객체의 소재 속성을 나타낸다. 여기서, 가상 세계 객체의 강성은 0.5 N/mm이고, 정지 마찰력의 계수는 0.3, 운동 마찰력의 계수는 0.002, 담핑 계수는 0.001, 질량은 0.7이고, 표면 햅틱 텍스처는 주어진 URL로부터 로드될 수 있다.
2.2.8.4 역학적 힘 효과 타입(DynamicForceEffectType)
2.2.8.4.1 신텍스(Syntax)
도 18은 본 발명의 일실시예에 있어서, 역학적 힘 효과 타입의 구조를 나타낸 도면이다. 또한, 아래 표 25는 역학적 힘 효과 타입의 신텍스를 나타낸다.
2.2.8.4.2 시멘틱스(Semantics)
아래 표 26은 역학적 힘 효과 타입의 시멘틱스를 나타낸다.
2.2.8.4.3 예
아래 표 27은 아바타의 역학적 힘 효과를 나타낸다. 아바타의 힘 필드 특징은 URL로부터의 디자인된 임 필드 파일에 의해 결정될 수 있다.
2.2.8.5 촉각 타입(TactileType)
2.2.8.5.1 신텍스(Syntax)
도 19는 본 발명의 일실시예에 있어서, 촉각 타입의 구조를 나타낸 도면이다. 또한, 아래 표 28은 촉각 타입의 신텍스를 나타낸다.
2.2.8.5.2 시멘틱스(Semantics)
아래 표 29는 촉각 타입의 시멘틱스를 나타낸다.
2.2.8.5.3 예
아래 표 30은 아바타의 촉각 속성을 나타낸다. 여기서, 촉각 속성으로 15도의 온도와 아래의 URL로부터의 촉각 정보에 기초한 촉각 효과를 가질 수 있다.
3. 아바타 메타데이터(Avatar metadata)
3.1 아바타 메타데이터의 타입(Type of Avatar metadata)
가상 환경 내부에서의 사용자의 시각적 표현으로서의 아바타 메타데이터는 아래와 같은 목적을 제공한다.
- 가상 환경에서 실제 사용자의 존재가 보이도록 만든다.
- 가상 환경내에서 사용자를 특징짓는다.
- 가상 환경과의 상호작용
"아바타" 구성요소는 가상 세계 객체의 공통 특징 타입에 더하여, 아래 데이터의 타입으로 구성될 수 있다.
- 아바타 외양(Avatar Appearance): 외양의 고레벨 설명을 포함하고, 정밀한 지오메트리(geometry) 및 텍스처(texture)를 포함하는 미디어를 참조할 수 있다.
- 아마자 애니메이션(Avatar Animation): 아바타가 수행할 수 있는 애니메이션 시퀀스의 집합의 설명을 포함할 수 있고, 정확한 (기하학적 변형) 애니메이션 파라미터를 포함하는 몇몇의 미디어들을 참조할 수 있다.
- 아바타 커뮤니케이션 스킬(Avatar Communication Skills): 아바타와 커뮤니케이션할 수 있는 서로 다른 양식(modalities)의 정보를 제공하는 서술자(descriptor)들의 집합을 포함한다.
- 아바타 개성(Avatar Personality): 아바타의 개성을 정의하는 서술자들의 집합을 포함한다.
- 아바타 제어 특성(Avatar Control Features): 신체 뼈대와 얼굴 특징점에 센서를 위해 가능한 플레이스-홀더(place-holders)를 정의하는 서술자들의 집합을 포함한다.
3.2 아바타 특성 XSD(Avatar Characteristics XSD)
3.2.1 아바타 타입(AvatarType)
3.2.1.1 신텍스(Syntax)
도 20은 본 발명의 일실시예에 있어서, 아바타 타입의 구조를 나타낸 도면이다. 또한, 아래 표 31은 아바타 타입의 신텍스를 나타낸다.
3.2.1.2 시멘틱스(Semantics)
아래 표 32는 아바타 타입의 시멘틱스를 나타낸다.
3.2.2 아바타 외양 타입(AvatarAppearanceType)
3.2.2.1. 신텍스(Syntax)
도 21은 본 발명의 일실시예에 있어서, 아바타 외양 타입의 구조를 나타낸 도면이다. 또한, 아래 표 33은 아바타 외양 타입의 신텍스를 나타낸다.
3.2.2.2. 시멘틱스(Semantics)
아래 표 34는 아바타 외양 타입의 시멘틱스를 나타낸다. 또한, 도 22는 본 발명의 일실시예에 있어서, 얼굴 눈금점을 나타낸 일례이다.
3.2.2.3 물리적 조건 타입(PhysicalConditionType)
3.2.2.3.1. 신텍스(Syntax)
도 23은 본 발명의 일실시예에 있어서, 물리적 조건 타입의 구조를 나타낸 도면이다. 또한, 아래 표 35는 물리적 조건 타입의 신텍스를 나타낸다.
3.2.2.3.2. 시멘틱스(Semantics)
아래 표 36은 물리적 조건 타입의 시멘틱스를 나타낸다.
3.2.3 아바타 애니메이션 타입(AvatarAnimationType)
3.2.3.1 신텍스(Syntax)
도 24는 본 발명의 일실시예에 있어서, 아바타 애니메이션 타입의 구조를 나타낸 도면이다. 또한, 아래 표 37은 아바타 애니메이션 타입의 신텍스를 나타낸다.
3.2.3.2 시멘틱스(Semantics)
아래 표 38은 아바타 애니메이션 타입의 시멘틱스를 나타낸다.
3.2.3.3 예
아래 표 39는 아바타 애니메이션 정보의 설명을 나타낸다. 모든 애니메이션 중 디폴트에서의 아이들(idle), 경례 인사(saluting greeting), 굽히기(bow), 댄스(dance) 및 살사 댄스(salsa dance)가 주어진다. 애니메이션 리소스는 URL "http://avatarAnimationdb.com/default_idle.bvh", "http://avatarAnimationdb.com/salutes.bvh", "http://avatarAnimationdb.com/bowing.bvh", "http://avatarAnimationdb.com/dancing.bvh" 및 "http://avatarAnimationdb.com/salsa.bvh"에서 구해질 수 있다.
3.2.4 아바타 커뮤니케이션 스킬 타입(AvatarCommunicationSkillsType)
이 구성요소는 다른 아바타에 관하여 아바타의 커뮤니케이션 스킬을 정의한다.
3.2.4.1 신텍스(Syntax)
도 25는 본 발명의 일실시예에 있어서, 아바타 커뮤니케이션 스킬 타입의 구조를 나타낸 도면이다. 또한, 아래 표 40는 아바타 커뮤니케이션 스킬 타입의 신텍스를 나타낸다.
3.2.4.2 시멘틱스(Semantics)
표 40은 아바타의 입출력을 입출력의 선호(그들 자신의 선호와도 역시 균형을 이루는)에 적용할 수 있는 가상 세계 및 아바타의 나머지에 대해 설명한다. 모든 입출력은 개별적으로 각각의 아바타에 적용될 수 있다.
커뮤니케이션 선호는 복수 양식을 보장하는 두 개의 입력과 두 개의 출력 채널의 도움으로 정의될 수 있다. 두 개의 입력과 두 개의 출력 채널은 입력으로서 구두(verbal) 인식과 비-구두(non-verbal) 인식 그리고 출력으로서 구두 실행과 비-구두 실행이다. 이러한 채널들은 "인에이블된(enabled)" 및 "디스에이블된(disabled)"으로서 명시될 수 있다. "인에이블된" 모든 채널은 제스처를 수행하고, 말과 제스처를 인식하기 위해 아바타가 말할 수 있음을 나타낸다.
구두 실행과 구두 인식 채널에서 텍스트를 통해 그리고 음성을 통해 채널을 이용하기 위한 선호는 명시될 수 있다.
비-구두 실행과 비-구두 인식 채널은 제스처의 타입인 "비구두 언어(language)", "사인(sign) 언어" 및 "큐드 스피치 커뮤니케이션(cued speech communication)"을 명시할 수 있다.
언어(텍스트 또는 음성을 통한 말하기, 텍스트 또는 음성을 통한 말하기 인식 및 사인/큐드 언어의 이용/인식)에 의존한 모든 특성들은 구체적인(concrete) 언어 스킬을 정의하기 위한 언어 속성을 이용할 수 있다.
아래 표 41은 아바타 커뮤니케이션 스킬 타입의 시멘틱스를 나타낸다.
DefaultLanguage 속성은 아바타의 모든 커뮤니케이션 채널을 위한 우선 언어(preferred language)를 명시할 수 있다. 우선 언어는 일반적으로 네이티브 언어일 수 있다. 각각의 커뮤니케이션 채널을 위해 선호보다 더 중요한 다른 언어가 명시될 수 있다.
3.2.4.3 구두 커뮤니케이션 타입(VerbalCommunicationType)
3.2.4.3.1 신텍스(Syntax)
도 26은 본 발명의 일실시예에 있어서, 구두 커뮤니케이션 타입의 구조를 나타낸 도면이다. 또한, 아래 표 42는 구두 커뮤니케이션 타입의 신텍스를 나타낸다.
3.2.4.3.2 시멘틱스(Semantics)
아래 표 43은 구두 커뮤니케이션 타입의 시멘틱스를 나타낸다.
이러한 표 43은 아바타의 구두 커뮤니케이션 스킬을 명시한다. 음성과 텍스트는 선호된 구두 모드가 무엇인지를 명시하고, 다른 구두 모드의 유효성(availability)을 명시하기 위해 "인에이블된", "디스에이블된" 또는 "선호된(preferred)"으로서 정의될 수 있다.
선택적인 태그 '언어(Language)'는 구두 커뮤니케이션을 위해 선호된 언어를 정의할 수 있다. 만약, 선호된 언어가 명시되지 않으면, 커뮤니케이션 스킬 태그에 정의된 속성 DefaultLanguage의 값이 적용될 수 있다.
3.2.4.3.3 언어 타입(LanguageType)
3.2.4.3.3.1 신텍스(Syntax)
도 27은 본 발명의 일실시예에 있어서, 언어 타입의 구조를 나타낸 도면이다. 또한, 아래 표 44는 언어 타입의 신텍스를 나타낸다.
3.2.4.3.3.2 시멘틱스(Semantics)
아래 표 45는 언어 타입의 시멘틱스를 나타낸다.
표 45는 구두 커뮤니케이션을 위한 부차적인 커뮤니케이션 스킬들의 정의를 나타낸다. 다른 아바타와의 커뮤니케이션을 위해 정의된 선호된 언어(또는 디폴트 언어)의 사용이 불가능한 경우에 이러한 부차적인 언어가 지원될 수 있다.
3.2.4.3.3.3 커뮤니케이션 선호 타입(CommunicationPreferenceType)
3.2.4.3.3.3.1 신텍스(Syntax)
아래 표 46은 커뮤니케이션 선호 타입의 신텍스를 나타낸다.
3.2.4.3.3.3.2 시멘틱스(Semantics)
아래 표 47은 커뮤니케이션 선호 타입의 시멘틱스를 나타낸다.
3.2.4.3.4 커뮤니케이션 선호 레벨 타입(CommunicationPreferenceLevelType)
3.2.4.3.4.1 신텍스(Syntax)
아래 표 48은 커뮤니케이션 선호 레벨 타입의 신텍스를 나타낸다.
3.2.4.3.4.2 시멘틱스(Semantics)
아래 표 49는 커뮤니케이션 선호 레벨 타입의 시멘틱스를 나타낸다.
3.2.4.4 비-구두 커뮤니케이션 타입(NonVerbalCommunicationType)
3.2.4.4.1 신텍스(Syntax)
도 28은 본 발명의 일실시예에 있어서, 비-구두 커뮤니케이션 타입의 구조를 나타낸 도면이다. 또한, 아래 표 50은 비-구두 커뮤니케이션 타입의 신텍스를 나타낸다.
3.2.4.4.2 시멘틱스(Semantics)
아래 표 51은 비-구두 커뮤니케이션 타입의 시멘틱스를 나타낸다.
3.2.4.4.3 사인 언어 타입(SignLanguageType)
3.2.4.4.3.1 신텍스(Syntax)
도 29는 본 발명의 일실시예에 있어서, 사인 언어 타입의 구조를 나타낸 도면이다. 또한, 아래 표 52는 사인 언어 타입의 신텍스를 나타낸다.
3.2.4.4.3.2 시멘틱스(Semantics)
아래 표 53은 사인 언어 타입의 시멘틱스를 나타낸다.
표 53은 비-구두 커뮤니케이션(사인 또는 큐드 커뮤니케이션)을 위한 부차적인 커뮤니케이션 스킬을 정의한다. 선호 언어(또는 디폴트 언어)를 이용하는 것이 불가능한 경우에 이러한 부차적인 언어가 지원될 수 있다.
3.2.5 아바타 개성 타입(AvatarPersonalityType)
3.2.5.1 신텍스(Syntax)
도 30은 본 발명의 일실시예에 있어서, 아바타 개성 타입의 구조를 나타낸 도면이다. 또한, 아래 표 54는 아바타 개성 타입의 신텍스를 나타낸다.
3.2.5.2 시멘틱스(Semantics)
아바타 개성 타입은 아바타의 개성을 정의할 수 있다. 이러한 정의는 개성이 구성된 특징 집합으로 구성된 OCEAN(Openness, Conscientiousness, Extroversion, Agreeableness, Neuroticism) 모델에 기반할 수 있다. 이러한 특징의 결합은 특정 개성일 수 있다. 따라서, 아바타는 OCEAN 모델에서 정의된 각각의 속성을 위한 하위 태그로서 개방성(Openness), 성실성(Conscientiousness), 외향성(Extraversion), 친화성(Agreeableness) 및 신경성(Neuroticism)을 포함할 수 있다.
또한, 이러한 정의는 요구되는 아바타의 개성 그리고 가상 세계의 구조가 주민의 의도로서 이해할 수 있는 아바타의 개성을 정의할 수 있는 가능성을 제공할 수 있다. 이러한 정의는 이러한 개성에 아바타의 구두 및 비-구두 커뮤니케이션을 적용하는 것을 가능하게 할 수 있다. 게다가, 가상 세계 이벤트(예를 들어, 아바타간 커뮤니케이션 또는 실시간 흐름)에 의해 유발될 수 있는 감정(emotion)과 기분(mood)은 이러한 기본 개성에 따라 조절될 수 있다.
아래 표 55는 아바타 개성 타입의 시멘틱스를 나타낸다.
3.2.6 아바타 제어 특성 타입(AvatarControlFeaturesType)
3.2.6.1 신텍스(Syntax)
도 31은 본 발명의 일실시예에 있어서, 아바타 제어 특성 타입의 구조를 나타낸 도면이다. 또한, 아래 표 56은 아바타 제어 특성 타입의 신텍스를 나타낸다.
3.2.6.2 시멘틱스(Semantics)
아래 표 57은 아바타 제어 특성 타입의 시멘틱스를 나타낸다.
3.2.6.3 예
아래 표 58은 신체 특징 및 얼굴 특징을 제어하는 설명을 나타낸다. 제어 특징은 주어지고, 컨테이너로서 동작할 수 있다.
3.2.6.4 제어 신체 특징 타입(ControlBodyFeaturesType)
3.2.6.4.1 신텍스(Syntax)
도 32는 본 발명의 일실시예에 있어서, 제어 신체 특징 타입의 구조를 나타낸 도면이다. 또한, 아래 표 59는 제어 신체 특징 타입의 신텍스를 나타낸다.
3.2.6.4.2 시멘틱스(Semantics)
아래 표 60은 제어 신체 특징 타입의 시멘틱스를 나타낸다.
3.2.6.4.3 예
아래 표 61은 신체 특징을 제어하는 설명을 나타낸다. 신체 특징 제어는 사용자 정의된 신체 특징점과 플레이스 홀더를 맵핑한다. 아래 표 62는 시멘틱스에서 정의된 플레이스 홀더에 맵핑되는 특징점의 집합을 나타낸다.
3.2.6.5 ControlFaceFeaturesType(제어 얼굴 특징 타입)
3.2.6.5.1 신텍스(Syntax)
도 33은 본 발명의 일실시예에 있어서, 제어 얼굴 특징 타입의 구조를 나타낸 도면이다. 또한, 아래 표 63은 제어 얼굴 특징 타입의 신텍스를 나타낸다.
3.2.6.5.2 시멘틱스(Semantics)
아래 표 64는 제어 얼굴 특징 타입의 시멘틱스를 나타낸다.
도 34는 본 발명의 일실시예에 있어서, 머리 외곽선(outline)을 나타내는 일례이다. 이때, "Point1" 내지 "Point4" 는 머리의 기본 외곽선을 구성하는 4개의 점을 나타낸다. 또한, "Point5" 내지 "Point8"은 머리의 고해상도(high resolution) 외곽선을 구성하기 위한 추가적인 4개의 점을 나타낸다.
도 35는 본 발명의 일실시예에 있어서, 왼쪽 눈 외곽선을 나타내는 일례이다. 이때, "Point1" 내지 "Point4" 는 왼쪽 눈의 기본 외곽선을 구성하는 4개의 점을 나타낸다. 또한, "Point5" 내지 "Point8"은 왼쪽 눈의 고해상도 외곽선을 구성하기 위한 추가적인 4개의 점을 나타낸다.
도 36은 본 발명의 일실시예에 있어서, 오른쪽 눈 외곽선을 나타내는 일례이다. 이때, "Point1" 내지 "Point4" 는 오른쪽 눈의 기본 외곽선을 구성하는 4개의 점을 나타낸다. 또한, "Point5" 내지 "Point8"은 오른쪽 눈의 고해상도 외곽선을 구성하기 위한 추가적인 4개의 점을 나타낸다.
도 37은 본 발명의 일실시예에 있어서, 왼쪽 눈썹의 외곽선을 나타내는 일례이다. 이때, "Point1" 내지 "Point4" 는 왼쪽 눈썹의 외곽선을 구성하는 4개의 점을 나타낸다.
도 38은 본 발명의 일실시예에 있어서, 오른쪽 눈썹의 외곽선을 나타내는 일례이다. 이때, "Point1" 내지 "Point4" 는 오른쪽 눈썹의 외곽선을 구성하는 4개의 점을 나타낸다.
도 39는 본 발명의 일실시예에 있어서, 왼쪽 및 오른쪽 귀의 외곽선을 나타내는 일례이다. 이때, 왼쪽 얼굴 형상에서 "Point1" 내지 "Point4"는 왼쪽 귀의 외곽선을 구성하는 4개의 점을, 오른쪽 얼굴 형상에서 "Point1" 내지 "Point4"는 오른쪽 귀의 외곽선을 구성하는 4개의 점을 각각 나타낸다.
도 40은 본 발명의 일실시예에 있어서, 코의 외곽선을 나타내는 일례이다. 이때, "Point1" 내지 "Point4" 는 코의 기본 외곽선을 구성하는 4개의 점을 나타낸다. 또한, "Point5" 내지 "Point8"은 코의 고해상도 외곽선을 구성하기 위한 추가적인 4개의 점을 나타낸다.
도 41은 본 발명의 일실시예에 있어서, 입술의 외곽선을 나타내는 일례이다. 이때, "Point1" 내지 "Point4" 는 입술의 기본 외곽선을 구성하는 4개의 점을 나타낸다. 또한, "Point5" 내지 "Point14"는 입술의 고해상도 외곽선을 구성하기 위한 추가적인 10개의 점을 나타낸다.
도 42는 본 발명의 일실시예에 있어서, 얼굴점을 나타내는 일례이다. 이때, "Point1" 내지 "Point5" 는 고해상도 얼굴 표정을 형성하는 5개의 점을 나타낸다.
3.2.6.5.3 외곽선 타입(OutlineType)
3.2.6.5.3.1 신텍스(Syntax)
도 43은 본 발명의 일실시예에 있어서, 외곽선 타입의 구조를 나타낸 도면이다. 또한, 아래 표 65는 외곽선 타입의 신텍스를 나타낸다.
3.2.6.5.3.2 시멘틱스(Semantics)
아래 표 66은 외곽선 타입의 시멘틱스를 나타낸다. 즉, 외곽선 타입은 외곽선을 형성하는 점의 수에 의존적인 외곽선의 서로 다른 타입을 포함할 수 있다.
3.2.6.5.3.3 외곽선 4점 타입(Outline4PointsType)
3.2.6.5.3.3.1 신텍스(Syntax)
도 44는 본 발명의 일실시예에 있어서, 외곽선 4점 타입의 구조를 나타낸 도면이다. 또한, 아래 표 67은 외곽선 4점 타입의 신텍스를 나타낸다.
3.2.6.5.3.3.2 시멘틱스(Semantics)
아래 표 68은 외곽선 4점 타입의 시멘틱스를 나타낸다. 이때, 점들은 가장 왼쪽에서부터 반시계 방향으로 번호를 매길 수 있다. 예를 들어, 외곽선의 왼쪽(left), 위쪽(top), 오른쪽(right), 아래쪽(bottom)에 4개의 점이 존재한다면, 왼쪽 점이 "Point1", 위쪽 점이 "Point2", 오른쪽 점이 "Point3", 아래쪽 점이 "Point4"가 될 수 있다.
3.2.6.5.3.4 외곽선 5점 타입(Outline5PointsType)
3.2.6.5.3.4.1 신텍스(Syntax)
도 45는 본 발명의 일실시예에 있어서, 외곽선 5점 타입의 구조를 나타낸 도면이다. 또한, 아래 표 69는 외곽선 5점 타입의 신텍스를 나타낸다.
3.2.6.5.3.4.2 시멘틱스(Semantics)
아래 표 70은 외곽선 5점 타입의 시멘틱스를 나타낸다. 이때, 점들은 상술한 바와 같이 가장 왼쪽에서부터 반시계 방향으로 번호를 매길 수 있다.
3.2.6.5.3.5 외곽선 8점 타입(Outline8PointsType)
3.2.6.5.3.5.1 신텍스(Syntax)
도 46은 본 발명의 일실시예에 있어서, 외곽선 8점 타입의 구조를 나타낸 도면이다. 또한, 아래 표 71은 외곽선 8점 타입의 신텍스를 나타낸다.
3.2.6.5.3.5.2 시멘틱스(Semantics)
아래 표 72는 외곽선 8점 타입의 시멘틱스를 나타낸다. 이때, 점들은 상술한 바와 같이 가장 왼쪽에서부터 반시계 방향으로 번호를 매길 수 있다.
3.2.6.5.3.6 Outline14Points
3.2.6.5.3.6.1 신텍스(Syntax)
도 47은 본 발명의 일실시예에 있어서, 외곽선 14점 타입의 구조를 나타낸 도면이다. 또한, 아래 표 73은 외곽선 14점 타입의 신텍스를 나타낸다.
3.2.6.5.3.6.2 시멘틱스(Semantics)
아래 표 74는 외곽선 14점 타입의 시멘틱스를 나타낸다. 이때, 점들은 상술한 바와 같이 가장 왼쪽에서부터 반시계 방향으로 번호를 매길 수 있다.
3.2.6.5.4 예
아래 표 75는 얼굴 특징 제어는 사용자 정의된 얼굴 특징점을 플레이스 홀더에 맵핑할 수 있다. 아래 표 76은 시멘틱스에서 정의된 플레이스 홀더에 맵핑된 특징점의 집합을 나타낸다.
4 가상 객체 메타데이터(Virtual object metadata)
4.1 가상 객체 메타데이터의 타입(Type of Virtual Object metadata)
환경 내의 가상 객체의 (시각적) 표현으로서 가상 객체 메타데이터는 다음과 같은 목적을 제공할 수 있다.
- 가상 환경 내의 객체의 다양한 종류를 특징짓는다.
- 가상 객체와 아바타간의 상화 작용을 제공한다.
- 가상 환경 내의 상호 작용을 제공한다.
"가상 객체" 구성요소는 가상 세계 객체 특징의 타입과 관련된 공통 타입에 더하여 아래 데이터의 타입으로 구성될 수 있다.
- 가상 객체 외양(VO Appearance): 외양의 고레벨 설명을 포함하고, 정확한 지오메트리, 텍스처 및 햅틱 속성을 포함하는 미디어를 참조할 수 있다.
- 가상 객체 애니메이션(VO Animation): 객체가 수행할 수 있는 애니메이션 시퀀스의 집합의 설명을 포함할 수 있고, 정확한 (지오메트릭 트랜스포메이션(geometric transformation) 및 디포메이션(deformations)) 애니메이션 파라미터를 포함하는 몇몇의 미디어들을 참조할 수 있다.
4.2 가상 객체 특징 XSD
4.2.1 가상 객체 타입(VirtualObjectType)
4.2.1.1 신텍스
도 48은 본 발명의 일실시예에 있어서, 가상 객체 타입의 구조를 나타낸 도면이다. 또한, 아래 표 77은 가상 객체 타입의 신텍스를 나타낸다.
4.2.1.2 시멘틱스
아래 표 78은 가상 객체 타입의 시멘틱스를 나타낸다.
4.2.2 가상 객체 외양 타입(VOAppearanceType)
4.2.2.1 신텍스
도 49는 본 발명의 일실시예에 있어서, 가상 객체 외양 타입의 구조를 나타낸 도면이다. 또한, 아래 표 79은 가상 객체 외양 타입의 신텍스를 나타낸다.
4.2.2.2 시멘틱스
아래 표 80은 가상 객체 외양 타입의 시멘틱스를 나타낸다.
4.2.2.3 예
아래 표 81은 가상 객체 외양의 리소스를 나타낸다. 가상 객체URL(VirtualObjectURL)은 가상 객체 모델을 어디서 구할 수 있는가에 대한 위치 정보를 제공한다. 표 81에서는 가상 객체 URL의 값이 http://3DmodelDb.com/object_0001.3ds인 경우를 나타낸다.
4.2.3 가상 객체 애니메이션 타입(VOAnimationType)
4.2.3.1 신텍스
도 50은 본 발명의 일실시예에 있어서, 가상 객체 애니메이션 타입의 구조를 나타낸 도면이다. 또한, 아래 표 82는 가상 객체 애니메이션 타입의 신텍스를 나타낸다.
4.2.3.2 시멘틱스
아래 표 83은 가상 객체 애니메이션 타입의 시멘틱스를 나타낸다.
4.2.3.3 예
아래 표 84는 객체 애니메이션 정보의 설명을 나타낸다. 모드 애니메이션 중 360도 회전의 동작 타입 애니메이션이 주어진다. 애니메이션 리소스는 "http://voAnimaitondb.com/turn_360.bvh"에서 구해질 수 있고, 애니메이션 식별자(AnimaitionID)는 "3"의 값을 가질 수 있다. 강도(intensity)는 30의 지속기간으로 한번 재생(play)될 수 있다.
도 51은 본 발명의 일실시예에 있어서, 아바타 특징 제어 시스템의 내부 구성을 설명하기 위한 블록도이다. 본 실시예에 따른 아바타 특징 제어 시스템(5100)은 센서 제어 명령 수신부(5110) 및 아바타 제어 정보 생성부(5120)를 포함한다.
센서 제어 명령 수신부(5110)는 센서 기반 입력 장치를 통해 사용자 의도를 표현하는 센서 제어 명령을 수신한다. 우선, 센서 기반 입력 장치는 도 1을 통해 설명한 센서 기반 입력 장치(101)에 대응될 수 있다. 예를 들어, 동작 센서, 카메라, 깊이 카메라, 3차원 마우스 등이 센서 기반 입력 장치로 이용될 수 있다. 이러한 센서 제어 명령은, 현실 세계의 사용자들의 얼굴 표정과 신체 동작을 센싱하여 생성될 수 있다.
아바타 제어 정보 생성부(5120)는 가상 세계의 아바타 정보 및 센서 제어 명령에 기초하여 아바타 제어 정보를 생성한다. 이때, 아바타 제어 정보는, 얼굴 표정과 신체 동작에 따른 사용자들의 특징이 상기 가상 세계의 아바타에 매핑되도록 제어하는 정보를 포함할 수 있다.
우선, 아바타 정보는 가상 세계 객체의 공통 특징에 대한 메타데이터로 가상 세계 객체를 구분하기 위한 식별(Identification), 가상 세계 객체 소리(VWOSound: Virtual World Object Sound), 가상 세계 객체 냄새(VWOScent), 가상 세계 객체 제어(VWOControl), 가상 세계 객체 이벤트(VWOEvent), 가상 세계 객체 행동 모델(VWOBehviorModel) 및 가상 세계 객체 햅틱 속성(VWOHapticProperties) 중 적어도 하나의 구성요소(element)를 포함할 수 있다.
이때, 식별은, 가상 세계 객체와 관련된 사용자 식별을 위한 사용자 식별자(UserID), 가상 세계 객체의 소유권(Ownership), 권리(Rights) 및 공헌자(Credits) 중 적어도 하나를 구성요소로 포함하고, 가상 세계 객체의 이름(Name) 및 다른 가상 세계 객체와의 관계(Family) 중 적어도 하나를 속성(attribute)으로 포함할 수 있다.
또한, 가상 세계 객체 소리는, 소리 파일로의 하나 이상의 링크를 포함하는 소리 리소스 URL(Uniform Resource Locator)을 구성요소로 포함하고, 객체 소리의 유일한 식별자인 소리 식별자(SoundID), 소리의 세기(strength)를 나타내는 강도(Intensity), 소리가 지속되는 시간의 길이를 나타내는 기간(Duration), 재생 옵션을 나타내는 반복(Loop) 및 소리의 이름 중 적어도 하나를 상기 속성으로 포함할 수 있다.
또한, 상기 가상 세계 객체 냄새는, 냄새 파일로의 하나 이상의 링크를 포함하는 냄새 리소스 URL을 구성요소로 포함하고, 객체 냄새의 유일한 식별자인 냄새 식별자(ScentID), 냄새의 세기를 나타내는 강도, 냄새가 지속되는 시간의 길이를 나타내는 기간, 재생 옵션을 나타내는 반복 및 냄새의 이름 중 적어도 하나를 속성으로 포함할 수 있다.
또한, 가상 세계 객체 제어는, 가상 세계 객체의 위치(Position), 방향(Orientation) 및 스케일(Scale)을 제어하는 구성요소의 집합인 동작 특징 제어(MotionFeatureControl)을 구성요소로 포함하고, 제어의 유일한 식별자인 제어 식별자(ControlID)를 속성으로 포함할 수 있다. 여기서, 동작 특징 제어는, 3차원 플로팅 포인트 벡터(floating point vector)를 갖는 장면에서 객체의 위치, 오일러 각(Euler angle)으로 3차원 플로팅 포인트 벡터를 갖는 장면에서 객체의 방향 및 3차원 플로팅 포인트 벡터로 표현되는 장면에서 객체의 스케일 중 적어도 하나를 구성요소로 포함할 수 있다.
또한, 가상 세계 객체 이벤트는, 마우스 이벤트 구성요소의 집합인 마우스(Mouse), 키보드 이벤트 구성요소의 집합인 키보드(Keyboard) 및 사용자 정의 입력(UserDefinedInput) 중 적어도 하나를 구성요소로 포함하고, 이벤트의 유일한 식별자인 이벤트 식별자(EventID)를 속성으로 포함할 수 있다. 이때, 마우스는, 클릭(Click), 더블 클릭(Double_Click), 마우스 왼쪽 버튼을 누르고 있는 순간에 발생하는 이벤트인 왼쪽 버튼 다운(LeftBttn_down), 마우스 왼쪽 버튼을 떼는 순간에 발생하는 이벤트인 왼쪽 버튼 업(LeftBttn_up), 마우스 오른쪽 버튼을 누르고 있는 순간에 발생하는 이벤트인 오른쪽 버튼 다운(RightBttn_down), 마우스 오른쪽 버튼을 떼는 순간에 발생하는 이벤트인 오른쪽 버튼 업(RightBttn_up) 및 마우스 위치를 변경하는 동안 발생하는 이벤트인 이동(Move) 중 적어도 하나를 구성요소로 포함할 수 있다. 또한, 키보드는, 키보드 버튼을 누르고 있는 순간에 발생하는 이벤트인 키다운(Key_Down) 및 키보드 버튼을 떼는 순간에 발생하는 이벤트인 키 업(Key_Up) 중 적어도 하나를 구성요소로 포함할 수 있다.
가상 세계 객체 행동 모델은, 객체 행동을 생성하기 위한 입력 이벤트인 행동 입력(BehaviorInput) 및 입력 이벤트에 따른 객체 행동 출력인 행동 출력(BehaviorOutput) 중 적어도 하나를 구성요소로 포함할 수 있다. 여기서, 상기 행동 입력은, 이벤트 식별자를 속성으로 포함할 수 있고, 행동 출력은, 소리 식별자, 냄새 식별자 및 애니메이션 식별자 중 적어도 하나를 속성으로 포함할 수 있다.
가상 세계 객체 햅틱 속성 타입은, 햅틱 속성(haptic properties)을 특징짓는 파라미터인 소재 속성(MaterialProperty), 힘 효과(force effects)를 특징짓는 파라미터인 역학적 힘 효과(DynamicForceEffect) 및 촉각 속성(tactile properties)을 특징짓는 파라미터인 촉각 속성(TactileProperties) 중 적어도 하나를 구성요소로 포함할 수 있다. 여기서, 소재 속성은, 가상 세계 객체의 강상(Stiffness), 가상 세계 객체의 정지 마찰력(StaticFriction), 가상 세계 객체의 운동 마찰력(DynamicFriction), 가상 세계 객체의 담핑(damping), 햅틱 텍스처 파일로의 링크를 포함하는 텍스처(Texture) 및 가상 세계 객체의 질량(Mass) 중 적어도 하나를 속성으로 포함할 수 있다. 또한, 역학적 힘 효과는, 힘 필드 벡터 파일로의 링크를 포함하는 힘 필드(ForceField) 및 힘 궤적 파일로의 링크를 포함하는 이동 궤적(MovementTrajectory) 중 적어도 하나를 속성으로 포함할 수 있다. 뿐만 아니라, 촉각 속성은, 가상 세계 객체의 온도(Temperature), 가상 세계 객체의 진동(Vibration), 가상 세계 객체의 전류(Current) 및 촉각 패턴 파일로의 링크를 포함하는 촉각 패턴(TactilePatterns) 중 적어도 하나를 속성으로 포함할 수 있다.
또한, 아바타 정보는, 메타데이터로 아바타 외양(AvatarAppearance), 아바타 애니메이션(AvatarAnimation), 아바타 커뮤니케이션 스킬(AvatarCommunicationSkills), 아바타 개성(AvatarPersonality), 아바타 제어 특성(AvatarControlFeatures) 및 아바타 공통 특징(AvatarCC: Avatar Common Characteristics) 중 적어도 하나의 구성요소를 포함하고, 아바타의 성별(Gender)을 속성으로 포함할 수 있다.
이때, 아바타 외양은, 신체(Body), 머리(Head), 눈(Eyes), 귀(Ears), 코(nose), 입술(MouthLip), 피부(Skin), 얼굴(Facial), 손톱(Nail), 신체 겉모습(BodyLook), 헤어(hair), 눈썹(EyeBrows), 얼굴 헤어(FacialHair), 얼굴 눈금점(FacialCalibrationPoints), 물리적 조건(PhysicalCondition), 의복(Clothes), 신발(Shoes), 액세서리(Accessories) 및 외양 리소스(AppearanceResource) 중 적어도 하나의 구성요소를 포함할 수 있다. 여기서, 물리적 조건은 신체 강도(BodyStrength) 및 신체 유연성(BodyFlexibility) 중 적어도 하나를 구성요소로 포함할 수 있다.
또한, 아바타 애니메이션은 아이들(Idle), 인사(Greeting), 댄스(Dance), 걷기(Walk), 이동(Moves), 싸움(Fighting), 듣기(Hearing), 담배피기(Smoke), 축하(Congratulation), 공통 행동(Common_Action), 특정 행동(Specific_Action), 얼굴 표현(Facial_Expression), 신체 표현(Body_Expression), 애니메이션 리소스(AnimationResource) 중 적어도 하나의 구성요소를 포함할 수 있다.
아바타 커뮤니케이션 스킬은 입력 구두 커뮤니케이션 (InputVerbalComuunication), 입력 비-구두 커뮤니케이션 (InputNonVerbalCommunication), 출력 구두 커뮤니케이션 (OutputVerbalCommunication) 및 출력 비-구두 커뮤니케이션 (OutputNonVerbalCommunication) 중 적어도 하나를 구성요소로 포함하고, 이름(Name) 및 디폴트 언어(DefaultLanguage) 중 적어도 하나를 속성으로 포함할 수 있다. 이때, 입력 구두 커뮤니케이션 및 상기 출력 구두 커뮤니케이션을 포함하는 구두 커뮤니케이션은 언어(Language)를 구성요소로 포함하고, 음성(Voice), 텍스트(Text) 및 언어(Language) 중 적어도 하나를 속성으로 포함할 수 있고, 언어는, 언어의 이름을 명시한 문자열인 이름 및 상기 구두 커뮤니케이션에서 언어를 이용하기 위한 선호(Preference) 중 적어도 하나를 속성으로 포함할 수 있다. 또한, 선호를 포함하는 커뮤니케이션 선호는 아바타의 커뮤니케이션의 선호 레벨을 포함할 수 있다. 뿐만 아니라, 언어는, 아바타가 말하거나 이해할 수 있는 각각의 언어를 위한 선호 레벨을 포함하는 커뮤니케이션 선호 레벨(CommunicationPreferenceLevel)이 설정될 수 있다. 입력 비-구두 커뮤니케이션 및 상기 출력 비-구두 커뮤니케이션을 포함하는 비-구두 커뮤니케이션은 사인 언어(SignLanguage) 및 큐드 스피치 커뮤니케이션(CuedSpeechCommumicaiton) 중 적어도 하나를 구성요소로 포함하고, 상호 보완적 제스처(ComplementaryGesture)를 속성으로 포함할 수 있다. 이때, 사인 언어는 언어의 이름을 속성으로 포함할 수 있다.
아바타 개성은, 개방성(Openness), 성실성(Conscientiousness), 외향성 (Extraversion), 친화성(Agreeableness) 및 신경성(Neuroticism) 중 적어도 하나를 구성요소로 포함하고, 선택적으로 개성의 이름을 포함할 수 있다.
아바타 제어 특성은, 신체의 이동을 제어하는 구성요소의 집합인 제어 신체 특성(ControlBodyFeature) 및 얼굴의 이동을 제어하는 구성요소의 집합인 제어 얼굴 특성(ControlFaceFeature)을 구성요소로 포함하고, 선택적으로 제어 구성의 이름을 속성으로 포함할 수 있다.
제어 신체 특성은, 머리뼈(headBones), 상체뼈(UpperBodyBones), 하체뼈(DownBodyBones), 중체뼈(MiddleBodyBones) 중 적어도 하나를 구성요소로 포함할 수 있다.
제어 얼굴 특성은, 머리 외곽선(HeadOutline), 왼쪽 눈 외곽선(LeftEyeOutline), 오른쪽 눈 외곽선(RightEyeOutline), 왼쪽 눈썹 외곽선(LeftEyeBrowOutline), 오른쪽 눈썹 외곽선(RightEyeBrowOutline), 왼쪽 귀 외곽선(LeftEarOutline), 오른쪽 귀 외곽선(RightEarOutline), 코 외곽선(NoseOutline), 입술 외곽선(MouthLipOutline), 얼굴점(FacePoints) 및 미셀레이니어스 점(MiscellaneousPoints) 중 적어도 하나를 구성요소로 포함하고, 선택적으로 얼굴 제어 구성의 이름을 속성으로 포함할 수 있다. 이때, 제어 얼굴 특성이 포함하는 구성요소 중 적어도 하나는 4개의 점을 갖는 외곽선인 외곽선 4점(Outline4Points), 5개의 점을 갖는 외곽선인 외곽선 5점(Outline5Points), 8개의 점을 갖는 외곽선인 외곽선 8점(Outline8Points) 및 14개의 점을 갖는 외곽선인 외곽선 14점(Outline14Points) 중 적어도 하나를 구성요소로 포함할 수 있다. 또는, 제어 얼굴 특성이 포함하는 구성요소 중 적어도 하나는 기본 개수의 점을 포함하고, 선택적으로 추가의 점을 더 포함할 수도 있다.
또한, 아바타 정보는, 가상 환경의 가상 객체를 표현하기 위한 메타데이터로 가상 객체 외양(VOAppearance: Virtual Object Appearance), 가상 객체 애니메이션(VOAnimaiotn) 및 가상 객체 공통 특징(VOCC: Virtual Object Common Characteristics) 중 적어도 하나의 구성요소를 포함할 수 있다.
가상 객체 외양은, 외양 파일에 대한 하나 이상의 링크가 존재하는 경우, 상기 하나 이상의 링크를 포함하는 구성요소인 가상 객체 URL(VirtualObjectURL)을 구성요소로 포함할 수 있다.
가상 객체 애니메이션은, 가상 객체 동작(VOMotion), 가상 객체 변형(VODeformation) 및 가상 객체 추가 애니메이션(VOAdditionalAnimation) 중 적어도 하나를 구성요소로 포함하고, 애니메이션 식별자(AnimationID), 애니메이션이 지속되는 시간의 길이인 기간(Duration) 및 재생 옵션인 반복(Loop) 중 적어도 하나를 속성으로 포함할 수 있다.
이러한 아바타 정보에 대해서는 상술한 도 9 내지 도 50의 설명을 참조할 수 있다. 즉, 아바타 정보에 대해서는 이미 상세히 설명하였기에 반복적인 설명은 생략한다. 이러한 아바타 정보들을 위한 메타데이터 구조들은 컴퓨터로 판독이 가능한 기록 매체에 기록될 수 있다.
즉, 아바타 제어 정보 생성부(5120)는 현실 세계의 사용자들의 얼굴 표정과 신체 동작을 센싱하여 생성된 센서 제어 명령과, 상술한 아바타 정보를 통해 사용자들의 특징이 상기 가상 세계의 아바타에 매핑되도록 제어하기 위한 정보인 아바타 제어 정보를 생성할 수 있다. 이러한 아바타 제어 정보를 통해 아바타 특징 제어 시스템(5100)은 직접 아바타를 조작하거나, 또는 다른 실시예로, 아바타를 조작하는 별도의 시스템으로 상기 아바타 제어 정보를 전송할 수 있다. 아바타 특징 제어 시스템(5100)에서 직접 아바타를 조작하는 경우, 아바타 특징 제어 시스템(5100)은 도 51의 실시예에서와 같이, 아바타 조작부(5130)를 더 포함할 수 있다.
아바타 조작부(5130)는 아바타 제어 정보를 이용하여 가상 세계의 아바타를 조작한다. 상술한 바와 같이, 아바타 제어 정보는 사용자들의 특징이 상기 가상 세계의 아바타에 매핑되도록 제어하기 위한 정보로서, 아바타 조작부(5130)는 아바타 제어 정보를 통해 현실 세계의 사용자 의도가 가상 세계의 아바타에 적용되도록 아바타를 조작할 수 있다.
도 52는 본 발명의 일실시예에 있어서, 아바타 특징 제어 방법을 도시한 흐름도이다. 본 실시예에 따른 아바타 특징 제어 방법은 도 51을 통해 설명한 아바타 특징 제어 시스템(5100)에 의해 수행될 수 있다. 도 52에서는 아바타 특징 제어 시스템(5100)에 의해 각각의 단계가 수행되는 과정을 설명함으로써, 아바타 특징 제어 방법을 설명한다.
단계(5210)에서 아바타 특징 제어 시스템(5100)은 센서 기반 입력 장치를 통해 사용자 의도를 표현하는 센서 제어 명령을 수신한다. 우선, 센서 기반 입력 장치는 도 1을 통해 설명한 센서 기반 입력 장치(101)에 대응될 수 있다. 예를 들어, 동작 센서, 카메라, 깊이 카메라, 3차원 마우스 등이 센서 기반 입력 장치로 이용될 수 있다. 이러한 센서 제어 명령은, 현실 세계의 사용자들의 얼굴 표정과 신체 동작을 센싱하여 생성될 수 있다.
단계(5220)에서 아바타 특징 제어 시스템(5100)은 가상 세계의 아바타 정보 및 센서 제어 명령에 기초하여 아바타 제어 정보를 생성한다. 이때, 아바타 제어 정보는, 얼굴 표정과 신체 동작에 따른 사용자들의 특징이 상기 가상 세계의 아바타에 매핑되도록 제어하는 정보를 포함할 수 있다.
우선, 아바타 정보는 가상 세계 객체의 공통 특징에 대한 메타데이터로 가상 세계 객체를 구분하기 위한 식별(Identification), 가상 세계 객체 소리(VWOSound: Virtual World Object Sound), 가상 세계 객체 냄새(VWOScent), 가상 세계 객체 제어(VWOControl), 가상 세계 객체 이벤트(VWOEvent), 가상 세계 객체 행동 모델(VWOBehviorModel) 및 가상 세계 객체 햅틱 속성(VWOHapticProperties) 중 적어도 하나의 구성요소(element)를 포함할 수 있다.
이때, 식별은, 가상 세계 객체와 관련된 사용자 식별을 위한 사용자 식별자(UserID), 가상 세계 객체의 소유권(Ownership), 권리(Rights) 및 공헌자(Credits) 중 적어도 하나를 구성요소로 포함하고, 가상 세계 객체의 이름(Name) 및 다른 가상 세계 객체와의 관계(Family) 중 적어도 하나를 속성(attribute)으로 포함할 수 있다.
또한, 가상 세계 객체 소리는, 소리 파일로의 하나 이상의 링크를 포함하는 소리 리소스 URL(Uniform Resource Locator)을 구성요소로 포함하고, 객체 소리의 유일한 식별자인 소리 식별자(SoundID), 소리의 세기(strength)를 나타내는 강도(Intensity), 소리가 지속되는 시간의 길이를 나타내는 기간(Duration), 재생 옵션을 나타내는 반복(Loop) 및 소리의 이름 중 적어도 하나를 상기 속성으로 포함할 수 있다.
또한, 상기 가상 세계 객체 냄새는, 냄새 파일로의 하나 이상의 링크를 포함하는 냄새 리소스 URL을 구성요소로 포함하고, 객체 냄새의 유일한 식별자인 냄새 식별자(ScentID), 냄새의 세기를 나타내는 강도, 냄새가 지속되는 시간의 길이를 나타내는 기간, 재생 옵션을 나타내는 반복 및 냄새의 이름 중 적어도 하나를 속성으로 포함할 수 있다.
또한, 가상 세계 객체 제어는, 가상 세계 객체의 위치(Position), 방향(Orientation) 및 스케일(Scale)을 제어하는 구성요소의 집합인 동작 특징 제어(MotionFeatureControl)을 구성요소로 포함하고, 제어의 유일한 식별자인 제어 식별자(ControlID)를 속성으로 포함할 수 있다. 여기서, 동작 특징 제어는, 3차원 플로팅 포인트 벡터(floating point vector)를 갖는 장면에서 객체의 위치, 오일러 각(Euler angle)으로 3차원 플로팅 포인트 벡터를 갖는 장면에서 객체의 방향 및 3차원 플로팅 포인트 벡터로 표현되는 장면에서 객체의 스케일 중 적어도 하나를 구성요소로 포함할 수 있다.
또한, 가상 세계 객체 이벤트는, 마우스 이벤트 구성요소의 집합인 마우스(Mouse), 키보드 이벤트 구성요소의 집합인 키보드(Keyboard) 및 사용자 정의 입력(UserDefinedInput) 중 적어도 하나를 구성요소로 포함하고, 이벤트의 유일한 식별자인 이벤트 식별자(EventID)를 속성으로 포함할 수 있다. 이때, 마우스는, 클릭(Click), 더블 클릭(Double_Click), 마우스 왼쪽 버튼을 누르고 있는 순간에 발생하는 이벤트인 왼쪽 버튼 다운(LeftBttn_down), 마우스 왼쪽 버튼을 떼는 순간에 발생하는 이벤트인 왼쪽 버튼 업(LeftBttn_up), 마우스 오른쪽 버튼을 누르고 있는 순간에 발생하는 이벤트인 오른쪽 버튼 다운(RightBttn_down), 마우스 오른쪽 버튼을 떼는 순간에 발생하는 이벤트인 오른쪽 버튼 업(RightBttn_up) 및 마우스 위치를 변경하는 동안 발생하는 이벤트인 이동(Move) 중 적어도 하나를 구성요소로 포함할 수 있다. 또한, 키보드는, 키보드 버튼을 누르고 있는 순간에 발생하는 이벤트인 키다운(Key_Down) 및 키보드 버튼을 떼는 순간에 발생하는 이벤트인 키 업(Key_Up) 중 적어도 하나를 구성요소로 포함할 수 있다.
가상 세계 객체 행동 모델은, 객체 행동을 생성하기 위한 입력 이벤트인 행동 입력(BehaviorInput) 및 입력 이벤트에 따른 객체 행동 출력인 행동 출력(BehaviorOutput) 중 적어도 하나를 구성요소로 포함할 수 있다. 여기서, 상기 행동 입력은, 이벤트 식별자를 속성으로 포함할 수 있고, 행동 출력은, 소리 식별자, 냄새 식별자 및 애니메이션 식별자 중 적어도 하나를 속성으로 포함할 수 있다.
가상 세계 객체 햅틱 속성 타입은, 햅틱 속성(haptic properties)을 특징짓는 파라미터인 소재 속성(MaterialProperty), 힘 효과(force effects)를 특징짓는 파라미터인 역학적 힘 효과(DynamicForceEffect) 및 촉각 속성(tactile properties)을 특징짓는 파라미터인 촉각 속성(TactileProperties) 중 적어도 하나를 구성요소로 포함할 수 있다. 여기서, 소재 속성은, 가상 세계 객체의 강상(Stiffness), 가상 세계 객체의 정지 마찰력(StaticFriction), 가상 세계 객체의 운동 마찰력(DynamicFriction), 가상 세계 객체의 담핑(damping), 햅틱 텍스처 파일로의 링크를 포함하는 텍스처(Texture) 및 가상 세계 객체의 질량(Mass) 중 적어도 하나를 속성으로 포함할 수 있다. 또한, 역학적 힘 효과는, 힘 필드 벡터 파일로의 링크를 포함하는 힘 필드(ForceField) 및 힘 궤적 파일로의 링크를 포함하는 이동 궤적(MovementTrajectory) 중 적어도 하나를 속성으로 포함할 수 있다. 뿐만 아니라, 촉각 속성은, 가상 세계 객체의 온도(Temperature), 가상 세계 객체의 진동(Vibration), 가상 세계 객체의 전류(Current) 및 촉각 패턴 파일로의 링크를 포함하는 촉각 패턴(TactilePatterns) 중 적어도 하나를 속성으로 포함할 수 있다.
또한, 아바타 정보는, 메타데이터로 아바타 외양(AvatarAppearance), 아바타 애니메이션(AvatarAnimation), 아바타 커뮤니케이션 스킬(AvatarCommunicationSkills), 아바타 개성(AvatarPersonality), 아바타 제어 특성(AvatarControlFeatures) 및 아바타 공통 특징(AvatarCC: Avatar Common Characteristics) 중 적어도 하나의 구성요소를 포함하고, 아바타의 성별(Gender)을 속성으로 포함할 수 있다.
이때, 아바타 외양은, 신체(Body), 머리(Head), 눈(Eyes), 귀(Ears), 코(nose), 입술(MouthLip), 피부(Skin), 얼굴(Facial), 손톱(Nail), 신체 겉모습(BodyLook), 헤어(hair), 눈썹(EyeBrows), 얼굴 헤어(FacialHair), 얼굴 눈금점(FacialCalibrationPoints), 물리적 조건(PhysicalCondition), 의복(Clothes), 신발(Shoes), 액세서리(Accessories) 및 외양 리소스(AppearanceResource) 중 적어도 하나의 구성요소를 포함할 수 있다. 여기서, 물리적 조건은 신체 강도(BodyStrength) 및 신체 유연성(BodyFlexibility) 중 적어도 하나를 구성요소로 포함할 수 있다.
또한, 아바타 애니메이션은 아이들(Idle), 인사(Greeting), 댄스(Dance), 걷기(Walk), 이동(Moves), 싸움(Fighting), 듣기(Hearing), 담배피기(Smoke), 축하(Congratulation), 공통 행동(Common_Action), 특정 행동(Specific_Action), 얼굴 표현(Facial_Expression), 신체 표현(Body_Expression), 애니메이션 리소스(AnimationResource) 중 적어도 하나의 구성요소를 포함할 수 있다.
아바타 커뮤니케이션 스킬은 입력 구두 커뮤니케이션 (InputVerbalComuunication), 입력 비-구두 커뮤니케이션 (InputNonVerbalCommunication), 출력 구두 커뮤니케이션 (OutputVerbalCommunication) 및 출력 비-구두 커뮤니케이션 (OutputNonVerbalCommunication) 중 적어도 하나를 구성요소로 포함하고, 이름(Name) 및 디폴트 언어(DefaultLanguage) 중 적어도 하나를 속성으로 포함할 수 있다. 이때, 입력 구두 커뮤니케이션 및 상기 출력 구두 커뮤니케이션을 포함하는 구두 커뮤니케이션은 언어(Language)를 구성요소로 포함하고, 음성(Voice), 텍스트(Text) 및 언어(Language) 중 적어도 하나를 속성으로 포함할 수 있고, 언어는, 언어의 이름을 명시한 문자열인 이름 및 상기 구두 커뮤니케이션에서 언어를 이용하기 위한 선호(Preference) 중 적어도 하나를 속성으로 포함할 수 있다. 또한, 선호를 포함하는 커뮤니케이션 선호는 아바타의 커뮤니케이션의 선호 레벨을 포함할 수 있다. 뿐만 아니라, 언어는, 아바타가 말하거나 이해할 수 있는 각각의 언어를 위한 선호 레벨을 포함하는 커뮤니케이션 선호 레벨(CommunicationPreferenceLevel)이 설정될 수 있다. 입력 비-구두 커뮤니케이션 및 상기 출력 비-구두 커뮤니케이션을 포함하는 비-구두 커뮤니케이션은 사인 언어(SignLanguage) 및 큐드 스피치 커뮤니케이션(CuedSpeechCommumicaiton) 중 적어도 하나를 구성요소로 포함하고, 상호 보완적 제스처(ComplementaryGesture)를 속성으로 포함할 수 있다. 이때, 사인 언어는 언어의 이름을 속성으로 포함할 수 있다.
아바타 개성은, 개방성(Openness), 성실성(Conscientiousness), 외향성 (Extraversion), 친화성(Agreeableness) 및 신경성(Neuroticism) 중 적어도 하나를 구성요소로 포함하고, 선택적으로 개성의 이름을 포함할 수 있다.
아바타 제어 특성은, 신체의 이동을 제어하는 구성요소의 집합인 제어 신체 특성(ControlBodyFeature) 및 얼굴의 이동을 제어하는 구성요소의 집합인 제어 얼굴 특성(ControlFaceFeature)을 구성요소로 포함하고, 선택적으로 제어 구성의 이름을 속성으로 포함할 수 있다.
제어 신체 특성은, 머리뼈(headBones), 상체뼈(UpperBodyBones), 하체뼈(DownBodyBones), 중체뼈(MiddleBodyBones) 중 적어도 하나를 구성요소로 포함할 수 있다.
제어 얼굴 특성은, 머리 외곽선(HeadOutline), 왼쪽 눈 외곽선(LeftEyeOutline), 오른쪽 눈 외곽선(RightEyeOutline), 왼쪽 눈썹 외곽선(LeftEyeBrowOutline), 오른쪽 눈썹 외곽선(RightEyeBrowOutline), 왼쪽 귀 외곽선(LeftEarOutline), 오른쪽 귀 외곽선(RightEarOutline), 코 외곽선(NoseOutline), 입술 외곽선(MouthLipOutline), 얼굴점(FacePoints) 및 미셀레이니어스 점(MiscellaneousPoints) 중 적어도 하나를 구성요소로 포함하고, 선택적으로 얼굴 제어 구성의 이름을 속성으로 포함할 수 있다. 이때, 제어 얼굴 특성이 포함하는 구성요소 중 적어도 하나는 4개의 점을 갖는 외곽선인 외곽선 4점(Outline4Points), 5개의 점을 갖는 외곽선인 외곽선 5점(Outline5Points), 8개의 점을 갖는 외곽선인 외곽선 8점(Outline8Points) 및 14개의 점을 갖는 외곽선인 외곽선 14점(Outline14Points) 중 적어도 하나를 구성요소로 포함할 수 있다. 또는, 제어 얼굴 특성이 포함하는 구성요소 중 적어도 하나는 기본 개수의 점을 포함하고, 선택적으로 추가의 점을 더 포함할 수도 있다.
또한, 아바타 정보는, 가상 환경의 가상 객체를 표현하기 위한 메타데이터로 가상 객체 외양(VOAppearance: Virtual Object Appearance), 가상 객체 애니메이션(VOAnimaiotn) 및 가상 객체 공통 특징(VOCC: Virtual Object Common Characteristics) 중 적어도 하나의 구성요소를 포함할 수 있다.
가상 객체 외양은, 외양 파일에 대한 하나 이상의 링크가 존재하는 경우, 상기 하나 이상의 링크를 포함하는 구성요소인 가상 객체 URL(VirtualObjectURL)을 구성요소로 포함할 수 있다.
가상 객체 애니메이션은, 가상 객체 동작(VOMotion), 가상 객체 변형(VODeformation) 및 가상 객체 추가 애니메이션(VOAdditionalAnimation) 중 적어도 하나를 구성요소로 포함하고, 애니메이션 식별자(AnimationID), 애니메이션이 지속되는 시간의 길이인 기간(Duration) 및 재생 옵션인 반복(Loop) 중 적어도 하나를 속성으로 포함할 수 있다.
이러한 아바타 정보에 대해서는 상술한 도 9 내지 도 50의 설명을 참조할 수 있다. 즉, 아바타 정보에 대해서는 이미 상세히 설명하였기에 반복적인 설명은 생략한다. 이러한 아바타 정보들을 위한 메타데이터 구조들은 컴퓨터로 판독이 가능한 기록 매체에 기록될 수 있다.
즉, 아바타 특징 제어 시스템(5100)은 현실 세계의 사용자들의 얼굴 표정과 신체 동작을 센싱하여 생성된 센서 제어 명령과, 상술한 아바타 정보를 통해 사용자들의 특징이 상기 가상 세계의 아바타에 매핑되도록 제어하기 위한 정보인 아바타 제어 정보를 생성할 수 있다. 이러한 아바타 제어 정보를 통해 아바타 특징 제어 시스템(5100)은 직접 아바타를 조작하거나, 또는 다른 실시예로, 아바타를 조작하는 별도의 시스템으로 상기 아바타 제어 정보를 전송할 수 있다. 아바타 특징 제어 시스템(5100)에서 직접 아바타를 조작하는 경우, 아바타 특징 제어 시스템(5100)은 도 52의 실시예에서와 같이, 단계(5230)를 더 포함할 수 있다.
단계(5230)에서 아바타 특징 제어 시스템(5100)은 아바타 제어 정보를 이용하여 가상 세계의 아바타를 조작한다. 상술한 바와 같이, 아바타 제어 정보는 사용자들의 특징이 상기 가상 세계의 아바타에 매핑되도록 제어하기 위한 정보로서, 아바타 특징 제어 시스템(5100)은 아바타 제어 정보를 통해 현실 세계의 사용자 의도가 가상 세계의 아바타에 적용되도록 아바타를 조작할 수 있다.
이와 같이, 본 실시예들에 따른 아바타 특징 제어 시스템 또는 아바타 특징 제어 방법을 이용하면, 가상 세계에서 아바타 특징을 효율적으로 제어할 수 있고, 현실 세계의 사용자의 얼굴을 센싱하기 위한 특징점을 설정하고, 특징점에 대해 수집한 데이터를 이용하여 가상 세계의 아바타의 얼굴을 생성함으로써, 애니메이션에서 정의할 수 없는 임의의 표정을 생성할 수 있다.
도 53은 본 발명의 다른 실시예에 있어서, 현실 세계와 가상 세계 사이의 정보 및 데이터 교환에 관한 시스템의 구조를 나타낸 도면이다. 도 53을 참조하면, 현실 세계 장치(real world device)(예를 들어서, 도 1을 통해 설명한 동작 센서와 같은 센서 기반 입력 장치(101))를 통해서 현실 세계의 사용자가 자신의 의도를 입력하면, 현실 세계 사용자의 의도에 관한 제어 정보(control information, CI)를 포함한 센서 신호는 가상 세계 처리 장치로 전송될 수 있다.
제어 정보(CI)는 현실 세계 장치를 통해 입력한 값에 따른 명령(command) 및 상기 명령에 관련된 정보일 수 있다. 제어 정보(CI)는 SIDC(sensory input device capabilities, 센서 입력 장치 특성), USIP(user sensory input preferences, 사용자 센서 입력 선호), SDICmd(sensory input device commands, 센서 입력 장치 명령)를 포함할 수 있다.
적응 RV(adaptation real world to virtual world)는 RV 엔진(real world to virtual world engine, RV engine)으로 구현될 수 있다. 적응 RV는 센서 신호에 포함되어 있는 현실 세계의 사용자의 동작, 상태, 의도, 형태 등에 관한 제어 정보(CI)를 이용하여 현실 세계 장치를 통해 입력된 현실 세계의 정보를 가상 세계에 적응(adaptation)될 수 있는 정보로 변환할 수 있다. 이러한 적응 과정을 통해 가상 세계 정보(Virtual World Information, VWI)에 영향을 줄 수 있다.
가상 세계 정보(VWI)는 가상 세계에 관한 정보이다. 예를 들어, 가상 세계 객체(virtual object)나 아바타(avatar) 등 가상 세계(virtual world)를 구성하는 요소에 관한 정보일 수 있다. 가상 세계 정보(VWI)에 대한 변화는 RV 엔진에서 VWEM(virtual world effect metadata, 가상 세계 효과 메타데이터), VWP(virtual world preferences, 가상 세계 선호), VWC(virtual world capabilities, 가상 세계 특성) 형태의 명령으로 이루어질 수 있다.
표 85는 도 53에 표시되어 있는 구성들을 설명한다.
도 54 내지 도 58은 본 발명의 일실시예에 따른 아바타 제어 명령을 설명하기 위한 도면이다.
도 54를 참조하면, 본 발명의 일실시예에 따른 아바타 제어 명령(avatar control commands)(5410)은 아바타 제어 명령 기본 타입(avatar control command base type)(5411)과 예외 속성(any attributes)(5412)를 포함할 수 있다.
또한, 도 55 내지 도 58은 XML(eXtensible Markup Language)을 이용하여 아바타 제어 명령(avatar control commands)을 나타낸 일례이다. 그러나 도 55 내지 도 58에 표시된 프로그램 소스(source)는 일실시예일 뿐이고, 본 발명이 이에 제한되는 것은 아니다.
도면 부호(5518)는 아바타 제어 명령(5410)의 기본 구성요소(base element)의 정의를 나타낸다. 아바타 제어 명령(5410)은 아바타를 제어하기 위한 명령을 의미(Semantics)한다.
도면 부호(5520)는 아바타 제어 명령(5410)의 루트 구성요소(root element)의 정의를 나타낸다. 아바타 제어 명령(5410)은 메타데이터(metadata)를 위한 루트 구성요소(root element)의 역할을 의미할 수 있다.
도면 부호(5519) 및 도면 부호(5521)는 아바타 제어 명령 기본 타입(5411)의 정의를 나타낸다. 아바타 제어 명령 기본 타입(avatar control command base type)(5411)은 아바타 제어 명령 기본 타입(avatar ctrl cmd base type)을 확장하고, 아바타 제어 명령 메타데이터 타입으로서 정의된 타입의 서브셋을 위한 기본 추상 타입을 제공하는 것을 의미한다(avatar control command base type provides a base abstract type for a subset of types defined as part of the avatar control commands metadata types).
예외 속성(5412)은 추가적인 아바타 제어 명령일 수 있다.
본 발명의 일측에 따르면, 아바타 제어 명령 기본 타입(5411)은 아바타 제어 명령 기본 속성(avatar control command base attributes)(5413) 및 예외 속성(5414)을 포함할 수 있다.
도면 부호(5515)은 아바타 제어 명령 기본 속성(5413)의 정의를 나타낸다. 아바타 제어 명령 기본 속성(5413)은 명령의 속성으로 이루어진 그룹(group of attribute for the commands)을 표시하는 것을 의미한다.
아바타 제어 명령 기본 속성(5413)은 id, idref, 활성 상태(activate) 및 값(value)를 포함할 수 있다.
id는 아바타 제어 명령 기본 타입(5411)의 개별적인 정체성을 구분하기 위한 아이디 정보이다.
idref는 타입 id의 예시된 속성을 포함하는 구성요소를 참조한다(idref references elements that have an instantiated attribute of type id). idref는 아바타 제어 명령 기본 타입(5411)의 개별적인 정체성을 구분하기 위한 id에 대한 부가적인 정보일 수 있다.
활성 상태(activate)는 효과가 활성화될 것인지 여부를 표시한다(activate describes whether the effect shall be activated). 'true'값은 효과가 활성화됨을 의미하고, 'false'값은 효과가 비활성화됨을 의미할 수 있다. 도면 부호(5516)에 따르면, 활성 상태는 "boolean" 유형의 데이터를 가지고, 선택적(optional)으로 사용될 수 있다.
값(value)은 효과의 강도를 개별 효과의 의미 정의 내에 정의된 최대 스케일에 따라 비율로서 표시한다(value describes the intensity of the effect in percentage according to the max scale defined within the semantics definition of the individual effects). 도면 부호(5517)에 따르면, 값은 "integer" 유형의 데이터를 가지고, 선택적(optional)으로 사용될 수 있다.
예외 속성(5414)은 타겟 네임스페이스(target namespace)와는 다른 네임스페이스로부터의 속성을 포함하기 위한 확장 메커니즘을 제공하는 것을 의미한다. 포함되어야 할 속성은 프로세스 유닛을 식별하고, 프로세스 유닛들의 시간 정보를 결합(associating)하기 위해 ISO/IEC 21000-7에서 정의된 XML 스트리밍 명령어일 수 있다. 예를 들어, 'si:pts'는 결합된 정보가 프로세싱을 위한 어플리케이션에서 이용될 수 있는 포인트를 표시할 수 있다.
도면 부호(5622)는 아바타 제어 명령 어피어런스 타입(avatar control command appearance type)의 정의를 나타낸다.
본 발명의 일측에 따르면, 아바타 제어 명령 어피어런스 타입은 어피어런스 제어 타입(appearance control type), 애니메이션 제어 타입(animation control type), 커뮤니케이션 스킬 제어 타입(communication skill control type), 개성 제어 타입(personality control type) 및 컨트롤 제어 타입(control control type)을 포함할 수 있다.
도면 부호(5623)은 어피어런스 제어 타입(appearance control type)의 구성요소(element)를 나타낸다. 어피어런스 제어 타입(appearance control type)은 어피어런스 제어 명령을 표시하기 위한 도구(tool)이다. 이하, 어피어런스 제어 타입의 구조를 도 59를 참조하여 상세히 설명한다.
도 59는 본 발명의 일실시예에 따른 어피어런스 제어 타입의 구조를 나타내는 도면이다. 도 59를 참조하면, 본 발명의 일실시예에 따른 어피어런스 제어 타입(appearance control type)(5910)은 아바타 제어 명령 기본 타입(avatar control command base type)(5920) 및 구성요소(element)를 포함할 수 있다. 아바타 제어 명령 기본 타입(5920)에 대해서는 위에서 상세히 설명하였는바, 이하 설명을 생략한다.
본 발명의 일측에 따르면, 어피어런스 제어 타입(5910)의 구성요소는 신체(body), 머리(head), 눈(eyes), 코(nose), 입술(mouthlip), 피부(skin), 얼굴(facial), 손톱(nail), 머리카락(hair), 눈썹(eyebrows), 얼굴 털(facial hair), 외양 리소스(appearance resources), 육체적 상태(physical condition), 의상(clothes), 신발(shoes) 및 액세서리(accessories)를 포함할 수 있다.
다시 도 54 내지 도 58을 참조하면, 도면 부호(5725)는 커뮤니케이션 스킬 제어 타입(communication skill control type)의 구성요소를 나타낸다. 커뮤니케이션 스킬 제어 타입은 애니메이션 제어 명령을 표시하기 위한 도구(tool)이다. 이하, 커뮤니케이션 스킬 제어 타입의 구조를 도 60을 참조하여 상세히 설명한다.
도 60은 본 발명의 일실시예에 따른 커뮤니케이션 스킬 제어 타입의 구조를 나타내는 도면이다. 도 60을 참조하면, 본 발명의 일실시예에 따른 커뮤니케이션 스킬 제어 타입(6010)은 아바타 제어 명령 기본 타입(avatar control command base type)(6020) 및 구성요소(element)를 포함할 수 있다.
본 발명의 일측에 따르면, 커뮤니케이션 스킬 제어 타입(6010)의 구성요소는 입력 구두 의사교환(input verbal communication), 입력 비구두 의사교환(input nonverbal communication), 출력 구두 의사교환(ouput verbal communication) 및 출력 비구두 의사교환(ouput nonverbal communication)를 포함할 수 있다.
다시 도 54 내지 도 58을 참조하면, 도면 부호(5826)는 개성 제어 타입(personality control type)의 구성요소를 나타낸다. 개성 제어 타입은 애니메이션 제어 명령을 표시하기 위한 도구(tool)이다. 이하, 개성 제어 타입의 구조를 도 61을 참조하여 상세히 설명한다.
도 61은 본 발명의 일실시예에 따른 개성 제어 타입의 구조를 나타내는 도면이다. 도 61을 참조하면, 본 발명의 일실시예에 따른 개성 제어 타입(6110)은 아바타 제어 명령 기본 타입(avatar control command base type)(6120) 및 구성요소(element)를 포함할 수 있다. 본 발명의 일측에 따르면, 개성 제어 타입(6110)의 구성요소는 개방적(openness), 상냥함(agreeableness), 신경질적(neuroticism), 외향적(extraversion) 및 양심적(conscientiousness)을 포함할 수 있다.
다시 도 54 내지 도 58을 참조하면, 도면 부호(5624)는 애니메이션 제어 타입(animation control type)의 구성요소를 나타낸다. 애니메이션 제어 타입은 애니메이션 제어 명령을 표시하기 위한 도구(tool)이다. 이하, 애니메이션 제어 타입의 구조를 도 62를 참조하여 상세히 설명한다.
도 62는 본 발명의 일실시예에 따른 애니메이션 제어 타입의 구조를 나타내는 도면이다. 도 62를 참조하면, 본 발명의 일실시예에 따른 애니메이션 제어 타입(6210)은 아바타 제어 명령 기본 타입(avatar control command base type)(6220), 예외 속성(6230) 및 구성요소(element)를 포함할 수 있다. 본 발명의 일측에 따르면, 예외 속성(6230)은 모션 우선 순위(motion priority)(6231) 및 속도(speed)(6232)를 포함할 수 있다.
모션 우선 순위(6231)는 애니메이션과 신체 및/또는 제어 얼굴 특징을 믹싱함으로써 아바타의 동작을 생성할 때의 우선 순위를 결정한다(motion priority determines the priority when generating the motion of avatar by mixing with animation and body and/or facial feature control).
속도(6232)는 동일한 애니메이션을 사용하여 다양한 효과를 얻을 수 있도록 애니메이션의 속도를 조절한다. 예를 들어, 걷는 동작에 관한 애니메이션의 경우, 속도의 단계에 따라 천천히 걷는 동작, 보통 속도로 걷는 동작 및 빨리 걷는 동작으로 분류될 수 있다.
애니메이션 제어 타입(6210)의 구성요소는 한가한(idle), 인사(greeting), 댄스(dance), 걷기(walk), 이동(moves), 싸우기(fighting), 듣기(hearing), 담배피기(smoke), 축하(congratulations), 일반행동(common actions), 특별한 행동(specific actions), 얼굴 표정(facial expression), 신체 표현(body expression) 및 애니메이션 수단(animation resources)을 포함할 수 있다.
다시 도 54 내지 도 58을 참조하면, 도면 부호(5827)는 컨트롤 제어 타입(control control type)의 구성요소를 나타낸다. 컨트롤 제어 타입은 컨트롤 특징 제어 명령을 표시하기 위한 도구(tool)이다. 이하, 컨트롤 제어 타입의 구조를 도 63을 참조하여 상세히 설명한다.
도 63은 본 발명의 일실시예에 따른 컨트롤 제어 타입의 구조를 나타내는 도면이다. 도 63을 참조하면, 본 발명의 일실시예에 따른 컨트롤 제어 타입(6310)은 아바타 제어 명령 기본 타입(avatar control command base type)(6320), 예외 속성(6330) 및 구성요소(element)를 포함할 수 있다.
본 발명의 일측에 따르면, 예외 속성(6330)은 모션 우선 순위(motion priority)(6331), 프레임시간(frame time)(6332), 프레임개수(num of frame)(6333) 및 프레임id(frame id)(6334)를 포함할 수 있다.
모션 우선 순위(6331)는 애니메이션과 제어 신체 특징 및/또는 제어 얼굴 특징을 믹싱함으로써 아바타의 동작을 생성할 때의 우선 순위를 결정한다.
프레임시간(6332)은 모션 제어 데이터의 프레임 간격을 정의한다(frame time defines the frame interval of motion control data). 예를 들어, 프레임 간격의 단위는 초(second)일 수 있다.
프레임개수(6333)는 모션 제어를 위한 프레임의 전체 수를 선택적으로 정의한다(num of frame optionally defines the total number of frames for the motion control).
프레임id(6334)는 각 프레임의 순서를 가리킨다(frame id indicates the order of each frame).
컨트롤 제어 타입(6310)의 구성요소는 제어 신체 특징(control body features)(6340) 및 제어 얼굴 특징(control face features)(6350)를 포함할 수 있다.
본 발명의 일측에 따르면, 제어 신체 특징(6340)는 제어 신체 특징 타입을 포함할 수 있다. 또한, 상기 제어 신체 특징 타입은 머리뼈(headbones), 상체뼈(upper body bones), 하체뼈(down body bones) 및 중체뼈(middle body bones)의 구성요소를 포함할 수 있다.
가상 세계의 아바타의 동작(motion)은 애니메이션 제어 타입과 컨트롤 제어 타입과 관련된다. 애니메이션 제어 타입은 애니메이션 세트의 순서에 관한 정보를 포함하고, 컨트롤 제어 타입은 모션 센싱(motion sensing)에 관한 정보를 포함할 수 있다. 가상 세계의 아바타의 동작을 제어하기 위해서는 애니메이션 또는 모션 센싱 장치를 이용할 수 있다. 따라서, 이하 본 발명의 일실시예에 따른 가상 세계의 아바타의 동작을 제어하기 위한 영상 장치를 상세히 설명한다.
도 64는 본 발명의 일실시예에 따른 영상 장치의 구성을 나타낸 도면이다.
도 64를 참조하면, 본 발명의 일실시예에 따른 영상 장치(6400)는 저장부(6410) 및 처리부(6420)를 포함한다.
저장부(6410)는 애니메이션 클립(animation clip), 애니메이션 클립이 어느 아바타(avatar)의 어느 부분(part)에 대응하는지에 관한 정보와 우선 순위(priority)를 포함하는 애니메이션 제어 정보(animation control information) 및 모션 센서(motion sensor)로부터 수신된 값을 처리한 모션 데이터(motion data)가 어느 아바타의 어느 부분에 대응하는지에 관한 정보와 우선 순위를 포함하는 컨트롤 제어 정보(control control information)를 저장한다.
애니메이션 클립은 가상 세계의 아바타의 동작에 대한 동영상 데이터이다.
본 발명의 일측에 따르면, 가상 세계의 아바타를 부분으로 나누어, 각 부분에 대응하는 애니메이션 클립 및 모션 데이터를 저장할 수 있다. 실시예에 따라서는, 가상 세계의 아바타를 얼굴 표정(facial expression), 머리(head), 상체(upper body), 중체(middle body) 및 하체(lower body)의 부분으로 나눌 수 있다. 이에 대해서 도 65를 참조하여 상세히 설명한다.
도 65는 본 발명의 일실시예에 따른 가상 세계의 아바타를 얼굴 표정, 머리, 상체, 중체 및 하체의 부분으로 나눈 도면을 나타낸다.
도 65를 참조하면, 가상 세계의 아바타(6500)는 얼굴 표정(6510), 머리(6520), 상체(6530), 중체(6540) 및 하체(6550)의 부분으로 나누어진다.
본 발명의 일측에 따르면, 애니메이션 클립 및 모션 데이터는 얼굴 표정(6510), 머리(6520), 상체(6530), 중체(6540) 및 하체(6550) 중 어느 하나에 대응하는 데이터일 수 있다.
다시 도 64를 참조하면, 애니메이션 제어 정보(animation control information)는 애니메이션 클립이 어느 아바타의 어느 부분에 대응하는지에 관한 정보 및 우선 순위를 포함한다. 가상 세계의 아바타는 하나 이상일 수 있고, 애니메이션 제어 정보에 따라, 애니메이션 클립은 하나의 아바타 또는 하나 이상의 아바타에 대응할 수 있다.
실시예에 따라서는, 애니메이션 클립이 어느 아바타의 어느 부분에 대응하는지에 관한 정보는 아바타의 얼굴 표정, 머리, 상체, 중체 및 하체 중 어느 부분에 대응하는지에 관한 정보일 수 있다.
아바타의 임의의 부분에 대응하는 애니메이션 클립은 우선 순위를 가질 수 있다. 우선 순위는 현실 세계의 사용자에 의해서 미리 설정되거나, 실시간으로 입력 받아 설정될 수 있다. 우선 순위에 대해서는 도 68을 참조하여 뒤에서 상세히 설명한다.
실시예에 따라서는, 애니메이션 제어 정보는 아바타의 임의의 부분에 대응하는 애니메이션 클립의 속도에 관한 정보를 더 포함할 수 있다. 예를 들어, 아바타의 하체에 대응하는 애니메이션 클립으로서 걷는 동작을 나타내는 데이터의 경우, 상기 애니메이션 클립의 속도에 관한 정보에 따라서, 상기 애니메이션 클립은 천천히 걷는 동작, 보통의 속도로 걷는 동작, 빨리 걷는 동작 및 뛰는 동작에 관한 데이터로 구분될 수 있다.
컨트롤 제어 정보(control control information)는 모션 센서로부터 수신된 값을 처리한 모션 데이터가 어느 아바타의 어느 부분에 대응하는지에 관한 정보와 우선 순위를 포함한다.
모션 센서는 현실 세계의 사용자의 동작, 표정, 상태 등을 측정하기 위한 현실 세계 장치(real world device)인 센서(sensor)이다.
모션 데이터는 모션 센서로부터 현실 세계의 사용자의 동작, 표정, 상태 등을 측정한 값을 수신하고, 상기 값을 가상 세계의 아바타에 적용할 수 있도록 처리한 데이터일 수 있다.
예를 들어, 모션 센서는 현실 세계의 사용자의 팔과 다리에 대한 위치 정보를 측정하여 x, y, z축의 값인 Xreal, Yreal, Zreal값과 x, y, z축과의 각도의 값인 θXreal, θYreal, θZreal값으로 나타낼 수 있다. 또한, 모션 데이터는 상기 위치 정보에 대한 값을 가상 세계의 아바타에 적용할 수 있도록 처리한 데이터일 수 있다.
본 발명의 일측에 따르면, 가상 세계의 아바타를 부분으로 나누어, 각 부분에 대응하는 모션 데이터를 저장할 수 있다. 실시예에 따라서는, 모션 데이터가 어느 아바타의 어느 부분에 대응하는지에 관한 정보는 아바타의 얼굴 표정, 머리, 상체, 중체 및 하체 중 어느 부분에 대응하는지에 관한 정보일 수 있다.
아바타의 임의의 부분에 대응하는 모션 데이터는 우선 순위를 가질 수 있다. 우선 순위는 현실 세계의 사용자에 의해서 미리 설정되거나, 실시간으로 입력 받아 설정될 수 있다. 우선 순위에 대해서는 도 68을 참조하여 뒤에서 상세히 설명한다
처리부(6420)는 아바타의 제1 부분에 대응하는 애니메이션 제어 정보의 우선 순위와 아바타의 상기 제1 부분에 대응하는 컨트롤 제어 정보의 우선 순위를 비교하여, 아바타의 제1 부분에 적용할 데이터를 결정한다. 이에 대해서는 도 66을 참조하여 뒤에서 상세히 설명한다.
도 66은 본 발명의 일실시예에 따른 애니메이션 클립에 대한 데이터베이스를 나타낸 도면이다. 도 66을 참조하면, 본 발명의 일실시예에 따른 애니메이션 클립에 대한 데이터베이스(database)(6600)는 애니메이션 클립(6610), 대응 부분(6620) 및 우선 순위(6630)의 카테고리로 분류된다.
애니메이션 클립(6610)은 가상 세계의 아바타의 임의의 부분에 대응하는 아바타의 동작에 대한 데이터의 카테고리이다. 실시예에 따라서는, 애니메이션 클립(6610)은 아바타의 얼굴 표정, 머리, 상체, 중체 및 하체 중 어느 한 부분에 대응하는 애니메이션 클립에 대한 카테고리일 수 있다. 예를 들어, 제1 애니메이션 클립(6611)은 아바타의 얼굴 표정 부분에 대응하는 애니메이션 클립으로서, 웃는 동작에 대한 데이터일 수 있다. 제2 애니메이션 클립(6612)은 아바타의 머리 부분에 대응하는 애니메이션 클립으로서, 고개를 좌우로 흔드는 동작에 대한 데이터일 수 있다. 제3 애니메이션 클립(6613)은 아바타의 상체 부분에 대응하는 애니메이션 클립으로서, 양팔을 위로 올리는 동작에 대한 데이터일 수 있다. 제4 애니메이션 클립(6614)은 아바타의 중체 부분에 대응하는 애니메이션 클립으로서, 엉덩이를 앞으로 내미는 동작에 대한 데이터일 수 있다. 제5 애니메이션 클립(6615)은 아바타의 하체 부분에 대응하는 애니메이션 클립으로서, 다리 하나를 구부리고 다른 다리는 뒤로 뻗는 동작에 대한 데이터일 수 있다.
대응 부분(6620)은 애니메이션 클립이 아바타의 어느 부분에 대응하는지에 대한 데이터의 카테고리이다. 실시예에 따라서는, 대응 부분(6620)은 애니메이션 클립이 아바타의 얼굴 표정, 머리, 상체, 중체 및 하체 중 어느 부분에 대응하는지에 대한 데이터의 카테고리일 수 있다. 예를 들어, 제1 애니메이션 클립(6611)은 아바타의 얼굴 표정 부분에 대응하는 애니메이션 클립이므로, 제1 대응 부분(6621)은 'facial expression'으로 표기될 수 있다. 제2 애니메이션 클립(6612)은 아바타의 머리 부분에 대응하는 애니메이션 클립이므로, 제2 대응 부분(6622)은 'head'로 표기될 수 있다. 제3 애니메이션 클립(6613)은 아바타의 상체 부분에 대응하는 애니메이션 클립이므로, 제3 대응 부분(6623)은 'upper body'로 표기될 수 있다. 제4 애니메이션 클립(6614)은 아바타의 중체 부분에 대응하는 애니메이션 클립이므로, 제4 대응 부분(6624)은 'middle body'로 표기될 수 있다. 제5 애니메이션 클립(6615)은 아바타의 하체 부분에 대응하는 애니메이션 클립이므로, 제5 대응 부분(6625)은 'lower body'로 표기될 수 있다.
우선 순위(6630)는 애니메이션 클립이 갖는 우선 순위에 대한 값의 카테고리이다. 실시예에 따라서는, 아바타의 얼굴 표정, 머리, 상체, 중체 및 하체 중 어느 한 부분에 대응하는 애니메이션 클립이 갖는 우선 순위에 대한 값의 카테고리일 수 있다. 예를 들어, 아바타의 얼굴 표정 부분에 대응하는 제1 애니메이션 클립(6611)은 '5'의 우선 순위 값을 가질 수 있다. 아바타의 머리 부분에 대응하는 제2 애니메이션 클립(6612)은 '2'의 우선 순위 값을 가질 수 있다. 아바타의 상체 부분에 대응하는 제3 애니메이션 클립(6613)은 '5'의 우선 순위 값을 가질 수 있다. 아바타의 중체 부분에 대응하는 제4 애니메이션 클립(6614)은 '1'의 우선 순위 값을 가질 수 있다. 아바타의 하체 부분에 대응하는 제5 애니메이션 클립(6615)은 '1'의 우선 순위 값을 가질 수 있다. 애니메이션 클립에 대한 우선 순위 값은 현실 세계의 사용자로부터 미리 설정되거나, 실시간으로 입력 받아 설정될 수 있다.
도 67은 본 발명의 일실시예에 따른 모션 데이터에 대한 데이터베이스를 나타낸 도면이다. 도 67을 참조하면, 본 실시예에 따른 모션 데이터에 대한 데이터베이스 (6700)는 모션 데이터(6710), 대응 부분(6720) 및 우선 순위(6730)의 카테고리로 분류된다.
모션 데이터(6710)는 모션 센서로부터 수신된 값을 처리한 데이터로서, 가상 세계의 아바타의 임의의 부분에 대응하는 모션 데이터의 카테고리이다. 실시예에 따라서는, 모션 데이터(6710)는 아바타의 얼굴 표정, 머리, 상체, 중체 및 하체 중 어느 한 부분에 대응하는 모션 데이터의 카테고리일 수 있다. 예를 들어, 제1 모션 데이터(6711)는 아바타의 얼굴 표정 부분에 대응하는 모션 데이터로서, 현실 세계의 사용자가 얼굴을 찡그리는 동작을 하고 모션 센서가 이를 측정하면, 측정된 값을 가상 세계의 아바타의 얼굴 표정 부분에 적용할 수 있도록 처리한, 현실 세계의 사용자가 얼굴을 찡그리는 동작에 대한 데이터일 수 있다. 마찬가지로, 제2 모션 데이터(6712)는 아바타의 머리 부분에 대응하는 모션 데이터로서, 현실 세계 세계의 사용자가 고개를 숙이는 동작에 대한 데이터일 수 있다. 제3 모션 데이터(6713)는 아바타의 상체 부분에 대응하는 모션 데이터로서, 현실 세계 세계의 사용자가 양팔을 좌우로 들어 올리는 동작에 대한 데이터일 수 있다. 제4 모션 데이터(6714)는 아바타의 중체 부분에 대응하는 모션 데이터로서, 현실 세계 세계의 사용자가 엉덩이를 앞뒤로 흔드는 동작에 대한 데이터일 수 있다. 제5 모션 데이터(6715)는 아바타의 하체 부분에 대응하는 모션 데이터로서, 현실 세계 세계의 사용자가 양 다리를 좌우로 벌리면서 구부리는 동작에 대한 데이터일 수 있다.
대응 부분(6720)은 모션 데이터가 아바타의 어느 부분에 대응하는지에 대한 데이터의 카테고리이다. 실시예에 따라서는, 대응 부분(6720)은 모션 데이터가 아바타의 얼굴 표정, 머리, 상체, 중체 및 하체 중 어느 부분에 대응하는지에 대한 데이터의 카테고리일 수 있다. 예를 들어, 제1 모션 데이터(6711)는 아바타의 얼굴 표정 부분에 대응하는 모션 데이터이므로, 제1 대응 부분(6721)은 'facial expression'으로 표기될 수 있다. 제2 모션 데이터(6712)는 아바타의 머리 부분에 대응하는 모션 데이터이므로, 제2 대응 부분(6722)은 'head'로 표기될 수 있다. 제3 모션 데이터(6713)는 아바타의 상체 부분에 대응하는 모션 데이터이므로, 제3 대응 부분(6723)은 'upper body'로 표기될 수 있다. 제4 모션 데이터(6714)는 아바타의 중체 부분에 대응하는 모션 데이터이므로, 제4 대응 부분(6724)은 'middle body'로 표기될 수 있다. 제5 모션 데이터(6715)는 아바타의 하체 부분에 대응하는 모션 데이터이므로, 제5 대응 부분(6725)은 'lower body'로 표기될 수 있다.
우선 순위(6730)는 모션 데이터가 갖는 우선 순위에 대한 값의 카테고리이다. 실시예에 따라서는, 아바타의 얼굴 표정, 머리, 상체, 중체 및 하체 중 어느 한 부분에 대응하는 모션 데이터가 갖는 우선 순위에 대한 값의 카테고리일 수 있다. 예를 들어, 아바타의 얼굴 표정 부분에 대응하는 제1 모션 데이터(6711)는 '1'의 우선 순위 값을 가질 수 있다. 아바타의 머리 부분에 대응하는 제2 모션 데이터(6712)는 '5'의 우선 순위 값을 가질 수 있다. 아바타의 상체 부분에 대응하는 제3 모션 데이터(6713)는 '2'의 우선 순위 값을 가질 수 있다. 아바타의 중체 부분에 대응하는 제4 모션 데이터(6714)는 '5'의 우선 순위 값을 가질 수 있다. 아바타의 하체 부분에 대응하는 제5 모션 데이터(6715)는 '5'의 우선 순위 값을 가질 수 있다. 모션 데이터에 대한 우선 순위 값은 현실 세계의 사용자로부터 미리 설정되거나, 실시간으로 입력 받아 설정될 수 있다.
도 68은 본 발명의 일실시예에 따른 우선 순위를 비교하여 아바타의 임의의 부분에 적용할 모션 객체 데이터를 결정하는 동작을 나타낸 도면이다. 도 68을 참조하면, 아바타(6810)는 얼굴 표정(6811), 머리(6812), 상체(6813), 중체(6814) 및 하체(6815)의 부분으로 나누어진다.
모션 객체 데이터(motion object data)는 아바타의 임의의 부분의 동작에 관한 데이터이다. 모션 객체 데이터는 애니메이션 클립 및 모션 데이터를 포함할 수 있다. 모션 객체 데이터는 모션 센서로부터 수신된 값을 처리하거나, 영상 장치의 저장부로부터 독출되어 획득될 수 있다. 실시예에 따라서는, 모션 객체 데이터는 아바타의 얼굴 표정, 머리, 상체, 중체 및 하체 중 어느 한 부분에 대응할 수 있다.
데이터베이스(6820)는 애니메이션 클립에 대한 데이터베이스이다. 또한, 데이터베이스(6830)는 모션 데이터에 대한 데이터베이스이다.
본 발명의 일실시예에 따른 영상 장치의 처리부는 아바타(6810)의 제1 부분에 대응하는 애니메이션 제어 정보의 우선 순위와 아바타의 제1 부분에 대응하는 컨트롤 제어 정보의 우선 순위를 비교하여, 아바타의 제1 부분에 적용할 데이터를 결정할 수 있다.
실시예에 따라서는, 아바타(6810)의 얼굴 표정(6811)에 대응하는 제1 애니메이션 클립(6821)은 우선 순위의 값이 '5'이고, 아바타(6810)의 얼굴 표정(6811)에 대응하는 제1 모션 데이터(6831)는 우선 순위의 값이 '1'일 수 있다. 제1 애니메이션 클립(6821)이 제1 모션 데이터(6831)보다 우선 순위의 값이 더 높으므로, 영상 장치의 처리부는 아바타(6810)의 얼굴 표정(6811)에 적용할 데이터를 제1 애니메이션 클립(6821)으로 결정할 수 있다.
또한, 아바타(6810)의 머리(6812)에 대응하는 제2 애니메이션 클립(6822)은 우선 순위의 값이 '2'이고, 아바타(6810)의 머리(6812)에 대응하는 제2 모션 데이터(6832)는 우선 순위의 값이 '5'일 수 있다. 제2 모션 데이터(6832)가 제2 애니메이션 클립(6822)보다 우선 순위의 값이 더 높으므로, 영상 장치의 처리부는 아바타(6810)의 머리(6812)에 적용할 데이터를 제2 모션 데이터(6832)로 결정할 수 있다.
또한, 아바타(6810)의 상체(6813)에 대응하는 제3 애니메이션 클립(6823)은 우선 순위의 값이 '5'이고, 아바타(6810)의 상체(6813)에 대응하는 제3 모션 데이터(6833)는 우선 순위의 값이 '2'일 수 있다. 제3 애니메이션 클립(6823)이 제3 모션 데이터(6833)보다 우선 순위의 값이 더 높으므로, 영상 장의 처리부는 아바타(6810)의 상체(6813)에 적용할 데이터를 제3 애니메이션 클립(6823)으로 결정할 수 있다.
또한, 아바타(6810)의 중체(6814)에 대응하는 제4 애니메이션 클립(6824)은 우선 순위의 값이 '1'이고, 아바타(6810)의 중체(6814)에 대응하는 제4 모션 데이터(6834)는 우선 순위의 값이 '5'일 수 있다. 제4 모션 데이터(6834)가 제4 애니메이션 클립(6824)보다 우선 순위의 값이 더 높으므로, 영상 장치의 처리부는 아바타(6810)의 중체(6814)에 적용할 데이터를 제4 모션 데이터(6834)로 결정할 수 있다.
또한, 아바타(6810)의 하체(6815)에 대응하는 제5 애니메이션 클립(6825)은 우선 순위의 값이 '1'이고, 아바타(6810)의 하체(6815)에 대응하는 제5 모션 데이터(6835)는 우선 순위의 값이 '5'일 수 있다. 제5 모션 데이터(6835)가 제5 애니메이션 클립(6825)보다 우선 순위의 값이 더 높으므로, 영상 장치의 처리부는 아바타(6810)의 하체(6815)에 적용할 데이터를 제5 모션 데이터(6835)로 결정할 수 있다.
따라서, 아바타(6810)는 얼굴 표정(6811)에 제1 애니메이션 클립(6821)을, 머리(6812)에 제2 모션 데이터(6832)를, 상체(6813)에 제3 애니메이션 클립(6823)을, 중체(6814)에 제4 모션 데이터(6834)를, 하체(6815)에 제5 모션 데이터(6835)를 가질 수 있다.
아바타(6810)의 임의의 부분에 대응하는 데이터는 복수 개의 애니메이션 클립과 복수 개의 모션 데이터가 있을 수 있다. 아바타(6810)의 임의의 부분에 대응하는 데이터가 복수 개 있는 경우, 아바타(6810)의 임의의 부분에 적용할 데이터를 결정하는 방법을 이하 도 69를 참조하여 설명한다.
도 69는 아바타의 각 부분에 적용할 모션 객체 데이터를 결정하는 방법의 흐름도이다. 도 69를 참조하면, 본 발명의 일실시예에 따른 영상 장치는 모션 객체 데이터(motion object data)에 포함되어 있는 정보를 확인한다(S6910). 모션 객체 데이터에 포함되어 있는 정보는, 모션 객체 데이터가 어느 아바타의 어느 부분에 대응하는지에 관한 정보 및 모션 객체 데이터의 우선 순위를 포함할 수 있다.
아바타의 제1 부분에 대응하는 모션 객체 데이터가 아직 없는 경우, 독출 또는 처리되어 획득된 모션 객체 데이터를 아바타의 제1 부분에 적용할 데이터로 결정할 수 있다.
아바타의 제1 부분에 대응하는 모션 객체 데이터가 있는 경우, 영상 장치의 처리부는 기존의 모션 객체 데이터와 새로 독출 또는 처리되어 획득된 모션 객체 데이터의 우선 순위의 값을 비교한다(S6920).
기존의 모션 객체 데이터보다 새로 독출 또는 처리되어 획득된 모션 객체 데이터가 더 높은 우선 순위의 값을 갖는 경우, 아바타의 제1 부분에 적용할 데이터를 새로 독출 또는 처리되어 획득된 모션 객체 데이터로 결정한다(S6930).
그러나, 기존의 모션 객체 데이터가 새로 독출 또는 처리된 모션 객체 데이터보다 더 높은 우선 순위의 값을 갖는 경우, 기존의 모션 객체 데이터가 아바타의 제1 부분에 적용할 데이터로 결정된다.
모든 모션 객체 데이터를 확인하였는지 여부를 판단한다(S6940)
판단되지 않는 모션 객체 데이터가 있는 경우, 영상 장치는 판단되지 않은 모션 객체 데이터에 대해서 상기 단계(S6910)부터 단계(S6940)까지의 과정을 반복 수행한다.
모든 모션 객체 데이터에 대해서 판단한 경우, 아바타의 각 부위에 대응하는 모션 객체 데이터 중 우선 순위가 가장 높은 데이터를 결합하여 아바타의 동영상을 생성한다(S6950).
본 발명의 일실시예에 따른 영상 장치의 처리부는 아바타의 각 부분에 대응하는 애니메이션 제어 정보의 우선 순위와 컨트롤 제어 정보의 우선 순위를 비교하여, 상기 각 부분에 적용할 데이터를 결정하고, 결정된 데이터를 결합하여 아바타의 동영상을 생성할 수 있다. 아바타의 각 부분에 적용할 데이터를 결정하는 과정에 대해서는 도 에서 상세히 설명하였는바, 이하 도 70을 참조하여, 결정된 데이터를 결합하여 아바타의 동영상을 생성하는 과정에 대해 설명한다.
도 70은 본 발명의 일실시예에 따른 아바타의 각 부분에 대응하는 모션 객체 데이터를 결합하는 동작을 나타낸 흐름도이다. 도 70을 참조하면, 본 발명의 일실시예에 따른 영상 장치는 루트 구성요소(root element)를 포함하는 아바타의 부분을 확인(find)한다(S7010).
또한, 아바타의 부분에 대응하는 모션 객체 데이터로부터 연결 축에 관한 정보를 추출한다(S7020). 모션 객체 데이터는 애니메이션 클립 및 모션 데이터를 포함할 수 있다. 모션 객체 데이터는 연결 축에 관한 정보를 포함할 수 있다.
또한, 결합되지 않은 모션 객체 데이터가 존재하는지 확인한다(S7030).
결합되지 않은 모션 객체 데이터가 존재하지 않는 경우, 아바타의 각 부분에 대응하는 모든 데이터가 결합되었으므로, 아바타의 동영상을 생성하는 과정은 종료된다.
결합되지 않은 모션 객체 데이터가 존재하는 경우, 상기 모션 객체 데이터로부터 추출한 연결 축에 관한 정보에 포함되는 관절 방향각을 상대적 방향으로 변경한다(S7040). 실시예에 따라서는, 연결 축에 관한 정보에 포함되는 관절 방향각은 상대적 방향일 수 있고, 이 경우 변경하는 단계(S7040)는 생략하고 단계(S7050)로 바로 갈 수 있다.
이하, 본 발명의 일측에 따른, 관절 방향각이 절대적 방향인 경우, 상기 관절 방향각을 상대적 방향으로 변경하는 방법을 상세히 설명한다. 또한, 가상 세계의 아바타가 얼굴 표정, 머리, 상체, 중체 및 하체의 부분으로 나누어진 경우를 실시예로 하여 설명한다.
실시예에 따라서는, 아바타의 중체에 대응하는 모션 객체 데이터는 신체 중심 좌표를 포함할 수 있다. 절대적 방향인 관절 방향각은 신체 중심 좌표를 포함하는 중체 부분의 연결 부위를 기준으로 상대적 방향으로 변경될 수 있다.
영상 장치는 아바타의 중체에 대응하는 모션 객체 데이터에 저장된 연결 축에 관한 정보를 추출한다. 연결 축에 관한 정보는 아바타의 상체 부분의 연결 부위인 가슴 척추골(thoracic vertebrae)과 머리 부분의 연결 부위인 경부 척추골(cervical vertebrae) 간의 관절 방향각, 상체 부분의 연결 부위인 가슴 척추골(thoracic vertebrae)과 왼편 쇄골(left clavicle) 간의 관절 방향각, 상체 부분의 연결 부위인 가슴 척추골(thoracic vertebrae)과 오른편 쇄골(right clavicle) 간의 관절 방향각 및 중체 부분의 연결 부위인 골반(pelvis)과 하체 부분의 연결 부위인 왼편 대퇴부(left femur), 중체 부분의 연결 부위인 골반(pelvis)과 하체 부분의 연결 부위인 오른편 대퇴부(right femur) 간의 관절 방향각을 포함할 수 있다.
예를 들어, 골반과 오른편 대퇴부 간의 관절 방향각은 다음과 같은 수학식 1로 나타날 수 있다.
상기 수학식 1에서 함수 A(.)는 디렉셔널 코사인 함수(directional cosine matrix)이고, RRightFemur _ Pelvis는 골반과 오른편 대퇴부 간의 방향각에 대한 회전 함수(rotational matrix)이다. 또한, θRightFemur는 아바타의 하체 부분의 오른편 대퇴부(right femur)에서의 관절 방향각이고, θPelvis는 중체 부분의 골반(pelvis)과 오른편 대퇴부(right femur)와의 관절 방향각이다.
상기 수학식 1로부터 다음의 수학식 2와 같이 회전 함수를 계산할 수 있다.
절대적 방향인 관절 방향각은 신체 중심 좌표를 포함하는 중체 부분의 연결 부위를 기준으로 상대적 방향으로 변경될 수 있다. 예를 들어, 상기 수학식 2의 회전 함수를 이용하여, 아바타의 하체에 대응하는 모션 객체 데이터에 저장된 연결 축에 관한 정보에 포함되는 절대적 방향인 관절 방향각을 하기의 수학식 3과 같이 상대적 방향으로 변경할 수 있다.
마찬가지로, 아바타의 머리 및 상체에 대응하는 모션 객체 데이터에 저장된 연결 축에 관한 정보에 포함되는 절대적 방향인 관절 방향각을 상대적 방향으로 변경할 수 있다.
상기 과정에 의해, 관절 방향각이 상대적 방향으로 변경되면, 아바타의 각 부분에 대응하는 모션 객체 데이터에 저장된 연결 축에 관한 정보를 이용하여, 각 부분에 대응하는 모션 객체 데이터를 결합한다(S7050).
다시 단계(S7030)로 돌아가서, 결합되지 않은 모션 객체 데이터가 존재하는지 확인한다(S7030).
결합되지 않은 모션 객체 데이터가 존재하지 않는 경우, 아바타의 각 부분에 대응하는 모든 데이터가 결합되었으므로, 아바타의 동영상을 생성하는 과정은 종료된다.
도 71은 본 발명의 일실시예에 따른 아바타의 각 부분에 대응하는 모션 객체 데이터를 결합하는 동작을 나타낸 도면이다.
도 71을 참조하면, 본 발명의 일실시예에 따른 영상 장치는 아바타의 제1 부분에 대응하는 모션 객체 데이터(7110)와 제2 부분에 대응하는 모션 객체 데이터(7120)가 결합하여 아바타의 동영상(7130)을 생성한다.
제1 부분에 대응하는 모션 객체 데이터(7110)는 애니메이션 클립 및 모션 데이터 중 어느 하나일 수 있다. 마찬가지로, 제2 부분에 대응하는 모션 객체 데이터(7120)는 애니메이션 클립 및 모션 데이터 중 어느 하나일 수 있다.
본 발명의 일측에 따르면, 영상 장치의 저장부는 애니메이션 클립의 연결 축(7101)에 관한 정보를 더 저장하고, 처리부는 애니메이션 클립의 연결 축(7101)에 관한 정보를 이용하여 애니메이션 클립과 모션 데이터를 결합할 수 있다. 또한, 처리부는 애니메이션 클립의 연결 축(7101)에 관한 정보를 이용하여 애니메이션 클립과 애니메이션 클립을 결합할 수 있다.
실시예에 따라서는, 처리부는 모션 데이터로부터 연결 축에 관한 정보를 추출하고, 애니메이션 클립의 연결 축(7101)과 모션 데이터의 연결 축을 대응시켜 애니메이션 클립과 모션 데이터를 결합할 수 있다. 또한, 처리부는 모션 데이터로부터 추출한 연결 축에 관한 정보를 이용하여 모션 데이터와 모션 데이터를 결합할 수 있다. 연결 축에 관한 정보는 도 70에서 상세히 설명하였는바, 이하 설명을 생략한다.
이하, 본 발명의 일실시예에 따른 영상 장치가 현실 세계의 사용자의 얼굴을 가상 세계의 아바타의 얼굴에 반영하는 일례를 설명한다.
영상 장치는 현실 세계의 사용자의 얼굴을 현실 세계 장치(예를 들어서, 영상 센서)를 통해서 센싱(sensing)하고, 가상 세계의 아바타의 얼굴에 반영할 수 있다. 가상 세계의 아바타를 얼굴 표정, 머리, 상체, 중체 및 하체의 부분으로 나눈 경우, 영상 장치는 현실 세계의 사용자의 얼굴을 센싱하여, 가상 세계의 아바타의 얼굴 표정 및 머리 부분에 반영할 수 있다.
실시예에 따라서는, 영상 장치는 현실 세계의 사용자의 얼굴의 특징점을 센싱하여 특징점에 대한 데이터를 수집하고, 상기 특징점에 대한 데이터를 이용하여 가상 세계의 아바타의 얼굴을 생성할 수 있다.
이와 같이, 본 발명의 실시예에 따른 영상 장치를 이용하면, 가상 세계의 아바타를 제어하기 위한 애니메이션 제어 정보 및 모션 데이터의 구조에 관한 제어 메타데이터를 제공할 수 있고, 가상 세계의 아바타의 임의의 부분에 대응하는 애니메이션 클립의 우선 순위와 모션 데이터의 우선 순위를 비교하여, 아바타의 임의의 부분에 대응하는 데이터를 결정함으로써, 애니메이션 클립과 현실 세계의 사용자의 동작을 센싱한 모션 데이터가 결합된 아바타의 동작을 생성할 수 있다.
도 72는 본 발명의 일실시예에 있어서, 가상 세계 객체를 제어하기 위한 단말기와 가상 세계 서버를 나타낸 도면이다.
도 72를 참조하면, 단말기(7210)는 현실 세계 장치(7220)로부터 정보를 수신(7221)할 수 있다. 여기서, 현실 세계 장치(7220)로부터 수신(7221)된 정보는 키보드, 마우스 또는 포인터와 같은 장치를 통해 입력된 제어 입력과 온도 센서, 동작 센서, 광학 센서, 인텔리전트 카메라(intelligent camera), 위치 센서 또는 가속도 센서 등과 같은 장치를 통해 입력된 센서 입력을 포함할 수 있다. 이때, 단말기(7210)가 포함하는 적응 엔진(adaptation engine)(7211)은 수신(7221)된 정보를 이용하여 정규화된 제어 명령을 생성할 수 있다. 예를 들어, 제어 입력을 제어 명령에 맞게 변환하여 제어 명령을 생성하거나 또는 센서 입력에 기초하여 제어 명령을 생성할 수 있다. 이때, 단말기(7210)는 정규화된 제어 명령을 가상 세계 서버(7230)로 전송(7212)할 수 있다.
가상 세계 서버(7230)는 단말기(7210)에서 전송(7212)된 정규화된 제어 명령을 수신할 수 있다. 이때, 가상 세계 서버(7230)가 포함하는 가상 세계 엔진(7231)은 정규화된 제어 명령을 해당하는 가상 세계 객체에 따라 변환하여 가상 세계 객체에 대한 정보를 생성할 수 있다. 가상 세계 서버(7230)는 생성된 가상 세계 객체에 대한 정보를 다시 단말기(7210)로 전송(7232)할 수 있다. 가상 세계 객체는 아바타 및 가상 객체를 포함할 수 있다. 여기서, 아바타는 가상 세계 객체 중 사용자의 모습이 반영된 객체를, 가상 객체는 가상 세계 객체 중 아바타를 제외한 나머지 객체를 의미할 수 있다.
단말기(7210)는 가상 세계 객체에 대한 정보에 기초하여 가상 세계 객체를 제어할 수 있다. 예를 들어, 단말기(7210)는 가상 세계 객체에 대한 정보에 기초하여 제어 명령을 생성하여 디스플레이(7240)로 전송(7213)함으로써 가상 세계 객체를 제어할 수 있다. 즉, 디스플레이(7240)는 전송(7213)된 제어 명령에 기초하여 가상 세계의 정보를 재생할 수 있다.
이때, 상술한 실시예에서는 단말기(7210)가 포함하는 적응 엔진(7211)에서 현실 세계 장치(7220)로부터 수신(7221)된 정보를 통해 정규화된 제어 명령을 생성하였으나, 다른 실시예에서는, 단말기(7210)가 직접 정규화된 제어 명령을 생성하지 않고, 수신(7221)된 정보를 바로 가상 세계 서버(7230)로 전송할 수 있다. 또는 수신(7221)된 정보를 정규화하는 처리만을 수행한 후 가상 세계 서버(7230)로 전송(7212)할 수도 있다. 예를 들어, 제어 입력은 가상 세계에 맞게 변형하고, 센서 입력은 정규화하여 가상 세계 서버(7230)로 전송(7212)할 수 있다. 이 경우, 가상 세계 서버(7230)는 전송(7212)된 정보에 기초하여 정규화된 제어 명령을 생성하고, 정규화된 제어 명령을 해당하는 가상 세계 객체에 따라 변환하여 가상 세계 객체에 대한 정보를 생성할 수 있다. 이때, 가상 세계 서버(7230)는 생성된 가상 세계 객체에 대한 정보를 단말기(7210)로 전송(7232)할 수 있다. 즉, 현실 세계 장치로부터 수신(7221) 정보에 기초하여 가상 세계 객체에 대한 정보를 생성하는 모든 과정을 가상 세계 서버(7230)가 처리할 수 있다.
여기서, 이러한 가상 세계 서버(7230)는 복수의 단말기와 통신하여 각각의 단말기에서 처리된 내용이 복수의 단말기 각각에 대한 디스플레이에서 동일하게 재생되도록 하기 위해 이용될 수 있다.
도 73은 본 발명의 다른 실시예에 있어서, 가상 세계 객체를 제어하기 위한 단말기를 나타낸 도면이다.
도 73에 나타난 단말기(7310)는 도 72에 나타난 단말기(7210)에 비해, 가상 세계 엔진(7312)을 더 포함함을 알 수 있다. 즉, 도 72에서 설명한 가상 세계 서버(7230)와 통신하지 않고, 단말기(7310)에서 적응 엔진(7311)과 가상 세계 엔진(7312)을 모두 포함하여 현실 세계 장치(7320)로부터 수신되는 정보를 이용하여 가상 세계 객체에 대한 정보를 생성하고, 가상 세계 객체에 대한 정보에 기초하여 가상 세계 객체를 제어할 수 있다. 이 경우에도, 단말기(7310)는 가상 세계 객체에 대한 정보에 기초하여 제어 명령을 생성하여 디스플레이(7330)로 전송함으로써 가상 세계 객체를 제어할 수 있다. 즉, 디스플레이(7330)는 전송된 제어 명령에 기초하여 가상 세계의 정보를 재생할 수 있다.
도 74는 본 발명의 또 다른 실시예에 있어서, 가상 세계 객체를 제어하기 위한 복수의 단말기를 나타낸 도면이다.
제1 단말기(7410)는 현실 세계 장치(7420)로부터 정보를 수신하고, 적응 엔진(7411)과 가상 세계 엔진(7412)에서 수신된 정보를 이용하여 가상 세계 객체에 대한 정보를 생성할 수 있다. 또한, 제1 단말기(7410)는 가상 세계 객체에 대한 정보에 기초하여 제어 명령을 생성하여 제1 디스플레이(7430)로 전송함으로써, 가상 세계 객체를 제어할 수 있다.
제2 단말기(7440) 또한, 현실 세계 장치(7450)로부터 정보를 수신하고, 적응 엔진(7441)과 가상 세계 엔진(7442)에서 수신된 정보를 이용하여 가상 세계 객체에 대한 정보를 생성할 수 있다. 또한, 제2 단말기(7410)는 가상 세계 객체에 대한 정보에 기초하여 제어 명령을 생성하여 제2 디스플레이(7460)로 전송함으로써, 가상 세계 객체를 제어할 수 있다.
이때, 제1 단말기(7410)와 제2 단말기(7440)는 가상 세계 엔진(7412, 7442)간의 가상 세계 객체에 대한 정보를 서로 교환(7470)할 수 있다. 예를 들어, 복수의 사용자가 하나의 가상 세계상에서의 아바타를 조작하는 경우, 제1 단말기(7410)와 제2 단말기(7440) 각각에서 처리된 내용이 하나의 가상 세계에 동일하게 적용되도록 하기 위해, 제1 단말기(7410)와 제2 단말기(7440)간에 가상 세계 객체에 대한 정보가 서로 교환(7470)될 수 있다.
도 74에서 설명한 실시예에서는 설명의 편의를 위해 두 개의 단말기만을 나타내었으나 셋 이상의 단말기간에 서로 가상 세계 객체에 대한 정보가 교환될 수 있음은 너무나 당연하다.
도 75는 본 발명의 또 다른 실시예에 있어서, 가상 세계 객체를 제어하기 위한 단말기를 나타낸 도면이다.
도 75에 나타난 단말기(7510)는 가상 세계 서버(7530)와 통신함과 동시에 가상 세계 서브 엔진(7512)을 더 포함한다. 즉, 단말기(7510)가 포함하는 적응 엔진(7511)은 현실 세계 장치(7520)로부터 수신된 정보에 기초하여 정규화된 제어 명령을 생성하고, 가상 세계 서브 엔진(7512)은 정규화된 제어 명령에 기초하여 가상 세계 객체에 대한 정보를 생성할 수 있다. 이때, 단말기(7510)는 가상 세계 객체에 대한 정보에 기초하여 가상 세계 객체를 제어할 수 있다. 즉, 단말기(7510)는 가상 세계 객체에 대한 정보에 기초하여 제어 명령을 생성하여 디스플레이(7540)로 전송함으로써, 가상 세계 객체를 제어할 수 있다. 이 경우, 단말기(7510)는 가상 세계 서버(7530)로부터 가상 세계 정보를 수신하고, 가상 세계 정보와 가상 세계 객체에 대한 정보를 통해 제어 명령을 생성하여 디스플레이(7540)로 전송함으로써, 가상 세계의 전체적인 정보가 재생되도록 할 수 있다. 이때, 일례로, 아바타 정보는 단말기(7510)에 의해 가상 세계에 반영될 수 있기 때문에, 가상 세계 서버(7530)는 단말기(7510)에서 필요로 하는 가상 세계 정보(예를 들어, 가상 객체에 대한 정보나 다른 아바타에 대한 정보)만을 전송할 수 있다.
이때, 단말기(7510)는 가상 세계 객체의 제어에 따른 처리 결과를 가상 세계 서버(7530)로 전송할 수 있고, 가상 세계 서버(7530)는 처리 결과에 기초하여 가상 세계 정보를 갱신할 수 있다. 즉, 가상 세계 서버(7530)에서 단말기(7510)의 처리 결과에 따라 가상 세계 정보가 갱신되기 때문에 다른 단말기에도 이러한 처리 결과가 반영된 가상 세계 정보가 제공될 수 있다. 가상 세계 서버(7530)는 가상 세계 엔진(7531)을 이용하여 가상 세계 정보를 처리할 수 있다.
본 발명의 실시예에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 또한, 상술한 바와 같은 다양한 메타데이터 구조가 컴퓨터 판독 가능 기록 매체에 기록될 수 있다. 일실시예로, 아바타의 얼굴표정과 동작의 제어를 위한 아바타 얼굴 특징점 및 신체 특징점이 정의된 메타데이터 구조가 컴퓨터 판독 가능 기록 매체에 기록될 수 있다. 이때, 상기 아바타 얼굴 특징점에 기초하여 머리 외곽선, 왼쪽 눈 외곽선, 오른쪽 눈 외곽선, 왼쪽 눈썹 외곽선, 오른쪽 눈썹 외곽선, 왼쪽 귀 외곽선, 오른쪽 귀 외곽선, 코 외곽선, 입술 외곽선, 얼굴점 및 미셀레이니어스 점 중 적어도 하나가 표현될 수 있다. 다른 실시예에 따른 컴퓨터 판독 가능 기록 매체는 애니메이션 제어 정보 및 컨트롤 제어 정보를 저장하는 제1 명령어 세트 및 아바타의 각 부분에 대응하는 상기 애니메이션 제어 정보 및 상기 컨트롤 제어 정보를 참조하여 모션 센서로부터 수신된 값으로부터 생성된 모션 데이터 및 애니메이션 클립을 결합하는 제2 명령어 세트를 포함할 수 있다. 여기서, 애니메이션 제어 정보 및 컨트롤 제어 정보는 이미 자세히 설명한 바 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
101: 센서 기반의 입력 장치
102: 적응 RV
104: 가상 세계
102: 적응 RV
104: 가상 세계
Claims (82)
- 가상 환경의 객체에 대한 제어 명령을 수신하는 제어 명령 수신부; 및
상기 수신된 제어 명령 및 상기 객체의 객체 정보에 따라 상기 객체를 제어하는 객체 제어부
를 포함하고,
상기 객체 정보는, 가상 세계 객체의 공통 특징을 포함하고,
상기 공통 특징은,
상기 객체와 관련하여 하나 이상의 입력 이벤트를 포함하는 가상 세계 객체 이벤트(VWOEvent);
상기 객체와 관련된 하나 이상의 소리 효과를 포함하는 가상 세계 객체 소리(VWOSound), 상기 객체와 관련된 하나 이상의 냄새 효과를 포함하는 가상 세계 객체 냄새(VWOScent), 상기 객체와 관련된 하나 이상의 제어를 포함하는 가상 세계 객체 제어(VWOControl) 중 적어도 하나; 및
가상 세계 객체 행동 모델(VWOBehviorModel)
을 포함하며,
상기 가상 세계 객체 행동 모델은,
상기 하나의 이상의 입력 이벤트 중 하나의 입력 이벤트를 참조하는 이벤트 식별자(EventID); 및
상기 하나 이상의 소리 효과 중 하나의 소리 효과를 참조하는 소리 식별자(SoundID), 상기 하나 이상의 냄새 효과 중 하나의 냄새 효과를 참조하는 냄새 식별자(ScentID), 상기 하나 이상의 제어 중 하나의 제어를 참조하는 제어 식별자(ControlID) 중 적어도 하나
를 포함하는,
객체 제어 시스템. - 제1항에 있어서,
상기 공통 특징은, 메타데이터로 가상 세계 객체를 구분하기 위한 식별(Identification), 상기 가상 세계 객체 소리(VWOSound: Virtual World Object Sound), 상기 가상 세계 객체 냄새(VWOScent), 상기 가상 세계 객체 제어(VWOControl), 상기 가상 세계 객체 이벤트(VWOEvent), 상기 가상 세계 객체 행동 모델(VWOBehviorModel) 및 가상 세계 객체 햅틱 속성(VWOHapticProperties) 중 적어도 하나의 구성요소(element)를 포함하는, 객체 제어 시스템. - 제2항에 있어서,
상기 식별은, 가상 세계 객체와 관련된 사용자 식별을 위한 사용자 식별자(UserID), 가상 세계 객체의 소유권(Ownership), 권리(Rights) 및 공헌자(Credits) 중 적어도 하나를 구성요소로 포함하고, 가상 세계 객체의 이름(Name) 및 다른 가상 세계 객체와의 관계(Family) 중 적어도 하나를 속성(attribute)으로 포함하는, 객체 제어 시스템. - 제2항에 있어서,
상기 가상 세계 객체 소리는, 소리 파일로의 하나 이상의 링크를 포함하는 소리 리소스 URL(Uniform Resource Locator)을 구성요소로 포함하고, 객체 소리의 유일한 식별자인 소리 식별자(SoundID), 소리의 세기(strength)를 나타내는 강도(Intensity), 소리가 지속되는 시간의 길이를 나타내는 기간(Duration), 재생 옵션을 나타내는 반복(Loop) 및 소리의 이름 중 적어도 하나를 상기 속성으로 포함하는, 객체 제어 시스템. - 제2항에 있어서,
상기 가상 세계 객체 냄새는, 냄새 파일로의 하나 이상의 링크를 포함하는 냄새 리소스 URL을 구성요소로 포함하고, 객체 냄새의 유일한 식별자인 냄새 식별자(ScentID), 냄새의 세기를 나타내는 강도, 냄새가 지속되는 시간의 길이를 나타내는 기간, 재생 옵션을 나타내는 반복 및 냄새의 이름 중 적어도 하나를 속성으로 포함하는, 객체 제어 시스템. - 제2항에 있어서,
상기 가상 세계 객체 제어는, 가상 세계 객체의 위치(Position), 방향(Orientation) 및 스케일(Scale)을 제어하는 구성요소의 집합인 동작 특징 제어(MotionFeatureControl)을 구성요소로 포함하고, 제어의 유일한 식별자인 제어 식별자(ControlID)를 속성으로 포함하는, 객체 제어 시스템. - 제6항에 있어서,
상기 동작 특징 제어는, 3차원 플로팅 포인트 벡터(floating point vector)를 갖는 장면에서 객체의 위치, 오일러 각(Euler angle)으로 3차원 플로팅 포인트 벡터를 갖는 장면에서 객체의 방향 및 3차원 플로팅 포인트 벡터로 표현되는 장면에서 객체의 스케일 중 적어도 하나를 구성요소로 포함하는, 객체 제어 시스템. - 제2항에 있어서,
상기 가상 세계 객체 이벤트는, 마우스 이벤트 구성요소의 집합인 마우스(Mouse), 키보드 이벤트 구성요소의 집합인 키보드(Keyboard) 및 사용자 정의 입력(UserDefinedInput) 중 적어도 하나를 구성요소로 포함하고, 이벤트의 유일한 식별자인 이벤트 식별자(EventID)를 속성으로 포함하는, 객체 제어 시스템. - 제8항에 있어서,
상기 마우스는, 클릭(Click), 더블 클릭(Double_Click), 마우스 왼쪽 버튼을 누르고 있는 순간에 발생하는 이벤트인 왼쪽 버튼 다운(LeftBttn_down), 마우스 왼쪽 버튼을 떼는 순간에 발생하는 이벤트인 왼쪽 버튼 업(LeftBttn_up), 마우스 오른쪽 버튼을 누르고 있는 순간에 발생하는 이벤트인 오른쪽 버튼 다운(RightBttn_down), 마우스 오른쪽 버튼을 떼는 순간에 발생하는 이벤트인 오른쪽 버튼 업(RightBttn_up) 및 마우스 위치를 변경하는 동안 발생하는 이벤트인 이동(Move) 중 적어도 하나를 구성요소로 포함하는, 객체 제어 시스템. - 제8항에 있어서,
상기 키보드는, 키보드 버튼을 누르고 있는 순간에 발생하는 이벤트인 키다운(Key_Down) 및 키보드 버튼을 떼는 순간에 발생하는 이벤트인 키 업(Key_Up) 중 적어도 하나를 구성요소로 포함하는, 객체 제어 시스템. - 제2항에 있어서,
상기 가상 세계 객체 행동 모델은, 객체 행동을 생성하기 위한 입력 이벤트인 행동 입력(BehaviorInput) 및 입력 이벤트에 따른 객체 행동 출력인 행동 출력(BehaviorOutput) 중 적어도 하나를 구성요소로 포함하는, 객체 제어 시스템. - 제11항에 있어서,
상기 행동 입력은, 이벤트 식별자를 속성으로 포함하고,
상기 행동 출력은, 소리 식별자, 냄새 식별자 및 애니메이션 식별자 중 적어도 하나를 속성으로 포함하는, 객체 제어 시스템. - 제2항에 있어서,
상기 가상 세계 객체 햅틱 속성 타입은, 햅틱 속성(haptic properties)을 특징짓는 파라미터인 소재 속성(MaterialProperty), 힘 효과(force effects)를 특징짓는 파라미터인 역학적 힘 효과(DynamicForceEffect) 및 촉각 속성(tactile properties)을 특징짓는 파라미터인 촉각 속성(TactileProperties) 중 적어도 하나를 구성요소로 포함하는, 객체 제어 시스템. - 제13항에 있어서,
상기 소재 속성은, 가상 세계 객체의 강상(Stiffness), 가상 세계 객체의 정지 마찰력(StaticFriction), 가상 세계 객체의 운동 마찰력(DynamicFriction), 가상 세계 객체의 담핑(damping), 햅틱 텍스처 파일로의 링크를 포함하는 텍스처(Texture) 및 가상 세계 객체의 질량(Mass) 중 적어도 하나를 속성으로 포함하는, 객체 제어 시스템. - 제13항에 있어서,
상기 역학적 힘 효과는, 힘 필드 벡터 파일로의 링크를 포함하는 힘 필드(ForceField) 및 힘 궤적 파일로의 링크를 포함하는 이동 궤적(MovementTrajectory) 중 적어도 하나를 속성으로 포함하는, 객체 제어 시스템. - 제13항에 있어서,
상기 촉각 속성은, 가상 세계 객체의 온도(Temperature), 가상 세계 객체의 진동(Vibration), 가상 세계 객체의 전류(Current) 및 촉각 패턴 파일로의 링크를 포함하는 촉각 패턴(TactilePatterns) 중 적어도 하나를 속성으로 포함하는, 객체 제어 시스템. - 제1항에 있어서,
상기 객체 정보는, 가상 세계의 아바타에 대한 아바타 정보를 포함하고,
상기 아바타 정보는, 메타데이터로 아바타 외양(AvatarAppearance), 아바타 애니메이션(AvatarAnimation), 아바타 커뮤니케이션 스킬(AvatarCommunicationSkills), 아바타 개성(AvatarPersonality), 아바타 제어 특성(AvatarControlFeatures) 및 아바타 공통 특징(AvatarCC: Avatar Common Characteristics) 중 적어도 하나의 구성요소를 포함하고, 아바타의 성별(Gender)을 속성으로 포함하는, 객체 제어 시스템. - 제17항에 있어서,
상기 아바타 외양은, 신체(Body), 머리(Head), 눈(Eyes), 귀(Ears), 코(nose), 입술(MouthLip), 피부(Skin), 얼굴(Facial), 손톱(Nail), 신체 겉모습(BodyLook), 헤어(hair), 눈썹(EyeBrows), 얼굴 헤어(FacialHair), 얼굴 눈금점(FacialCalibrationPoints), 물리적 조건(PhysicalCondition), 의복(Clothes), 신발(Shoes), 액세서리(Accessories) 및 외양 리소스(AppearanceResource) 중 적어도 하나의 구성요소를 포함하는, 객체 제어 시스템. - 제18항에 있어서,
상기 물리적 조건은 신체 강도(BodyStrength) 및 신체 유연성(BodyFlexibility) 중 적어도 하나를 구성요소로 포함하는, 객체 제어 시스템. - 제17항에 있어서,
상기 아바타 애니메이션은 아이들(Idle), 인사(Greeting), 댄스(Dance), 걷기(Walk), 이동(Moves), 싸움(Fighting), 듣기(Hearing), 담배피기(Smoke), 축하(Congratulation), 공통 행동(Common_Action), 특정 행동(Specific_Action), 얼굴 표현(Facial_Expression), 신체 표현(Body_Expression), 애니메이션 리소스(AnimationResource) 중 적어도 하나의 구성요소를 포함하는, 객체 제어 시스템. - 제17항에 있어서,
상기 아바타 커뮤니케이션 스킬은 입력 구두 커뮤니케이션 (InputVerbalComuunication), 입력 비-구두 커뮤니케이션 (InputNonVerbalCommunication), 출력 구두 커뮤니케이션 (OutputVerbalCommunication) 및 출력 비-구두 커뮤니케이션 (OutputNonVerbalCommunication) 중 적어도 하나를 구성요소로 포함하고, 이름(Name) 및 디폴트 언어(DefaultLanguage) 중 적어도 하나를 속성으로 포함하는, 객체 제어 시스템. - 제21항에 있어서,
상기 입력 구두 커뮤니케이션 및 상기 출력 구두 커뮤니케이션을 포함하는 구두 커뮤니케이션은 언어(Language)를 구성요소로 포함하고, 음성(Voice), 텍스트(Text) 및 언어(Language) 중 적어도 하나를 속성으로 포함하는, 객체 제어 시스템. - 제22항에 있어서,
상기 언어는, 언어의 이름을 명시한 문자열인 이름 및 상기 구두 커뮤니케이션에서 언어를 이용하기 위한 선호(Preference) 중 적어도 하나를 속성으로 포함하는, 객체 제어 시스템. - 제23항에 있어서,
상기 선호를 포함하는 커뮤니케이션 선호는 아바타의 커뮤니케이션의 선호 레벨을 포함하는, 객체 제어 시스템. - 제22항에 있어서,
상기 언어는, 아바타가 말하거나 이해할 수 있는 각각의 언어를 위한 선호 레벨을 포함하는 커뮤니케이션 선호 레벨(CommunicationPreferenceLevel)이 설정되는, 객체 제어 시스템. - 제21항에 있어서,
상기 입력 비-구두 커뮤니케이션 및 상기 출력 비-구두 커뮤니케이션을 포함하는 비-구두 커뮤니케이션은 사인 언어(SignLanguage) 및 큐드 스피치 커뮤니케이션(CuedSpeechCommumicaiton) 중 적어도 하나를 구성요소로 포함하고, 상호 보완적 제스처(ComplementaryGesture)를 속성으로 포함하는, 객체 제어 시스템. - 제26항에 있어서,
상기 사인 언어는 언어의 이름을 속성으로 포함하는, 객체 제어 시스템. - 제17항에 있어서,
상기 아바타 개성은, 개방성(Openness), 성실성(Conscientiousness), 외향성 (Extraversion), 친화성(Agreeableness) 및 신경성(Neuroticism) 중 적어도 하나를 구성요소로 포함하고, 선택적으로 개성의 이름을 포함하는, 객체 제어 시스템. - 제17항에 있어서,
상기 아바타 제어 특성은, 신체의 이동을 제어하는 구성요소의 집합인 제어 신체 특성(ControlBodyFeature) 및 얼굴의 이동을 제어하는 구성요소의 집합인 제어 얼굴 특성(ControlFaceFeature)을 구성요소로 포함하고, 선택적으로 제어 구성의 이름을 속성으로 포함하는, 객체 제어 시스템. - 제29항에 있어서,
상기 제어 신체 특성은, 머리뼈(headBones), 상체뼈(UpperBodyBones), 하체뼈(DownBodyBones), 중체뼈(MiddleBodyBones) 중 적어도 하나를 구성요소로 포함하는, 객체 제어 시스템. - 제29항에 있어서,
상기 제어 얼굴 특성은, 머리 외곽선(HeadOutline), 왼쪽 눈 외곽선(LeftEyeOutline), 오른쪽 눈 외곽선(RightEyeOutline), 왼쪽 눈썹 외곽선(LeftEyeBrowOutline), 오른쪽 눈썹 외곽선(RightEyeBrowOutline), 왼쪽 귀 외곽선(LeftEarOutline), 오른쪽 귀 외곽선(RightEarOutline), 코 외곽선(NoseOutline), 입술 외곽선(MouthLipOutline), 얼굴점(FacePoints) 및 미셀레이니어스 점(MiscellaneousPoints) 중 적어도 하나를 구성요소로 포함하고, 선택적으로 얼굴 제어 구성의 이름을 속성으로 포함하는, 객체 제어 시스템. - 제31항에 있어서,
상기 제어 얼굴 특성이 포함하는 구성요소 중 적어도 하나는 4개의 점을 갖는 외곽선인 외곽선 4점(Outline4Points), 5개의 점을 갖는 외곽선인 외곽선 5점(Outline5Points), 8개의 점을 갖는 외곽선인 외곽선 8점(Outline8Points) 및 14개의 점을 갖는 외곽선인 외곽선 14점(Outline14Points) 중 적어도 하나를 구성요소로 포함하는, 객체 제어 시스템. - 제31항에 있어서,
상기 제어 얼굴 특성이 포함하는 구성요소 중 적어도 하나는 기본 개수의 점을 포함하고, 선택적으로 추가의 점을 더 포함하는, 객체 제어 시스템. - 제1항에 있어서,
상기 객체 정보는, 가상 객체에 대한 정보를 포함하고,
상기 가상 객체에 대한 정보는 메타데이터로 가상 환경의 가상 객체를 표현하기 위한 메타데이터로, 가상 객체 외양(VOAppearance: Virtual Object Appearance), 가상 객체 애니메이션(VOAnimaiotn) 및 가상 객체 공통 특징(VOCC: Virtual Object Common Characteristics) 중 적어도 하나의 구성요소를 포함하는, 객체 제어 시스템. - 제34항에 있어서,
상기 가상 객체 외양은, 외양 파일에 대한 하나 이상의 링크가 존재하는 경우, 상기 하나 이상의 링크를 포함하는 구성요소인 가상 객체 URL(VirtualObjectURL)을 구성요소로 포함하는, 객체 제어 시스템. - 제34항에 있어서,
상기 가상 객체 애니메이션은, 가상 객체 동작(VOMotion), 가상 객체 변형(VODeformation) 및 가상 객체 추가 애니메이션(VOAdditionalAnimation) 중 적어도 하나를 구성요소로 포함하고, 애니메이션 식별자(AnimationID), 애니메이션이 지속되는 시간의 길이인 기간(Duration) 및 재생 옵션인 반복(Loop) 중 적어도 하나를 속성으로 포함하는, 객체 제어 시스템. - 제1항에 있어서,
상기 객체 제어부는,
상기 객체가 아바타인 경우, 상기 아바타의 얼굴표정과 동작의 제어를 위한 아바타 얼굴 특징점(face feature point) 및 신체 특징점(body feature point)을 정의하는 메타데이터 및 상기 수신된 제어 명령에 기초하여 상기 아바타를 제어하는, 객체 제어 시스템. - 제1항에 있어서,
상기 제어 명령은, 상기 객체가 가상 세계의 아바타인 경우, 현실 세계의 사용자의 얼굴 표정과 신체 동작을 센싱하여 생성되고,
상기 객체 제어부는,
상기 얼굴 표정과 신체 동작에 따른 사용자의 특징이 상기 가상 세계의 아바타에 매핑되도록 상기 객체를 제어하는, 객체 제어 시스템. - 가상 세계의 가상 세계 객체를 제어하는 객체 제어 시스템에 있어서,
상기 가상 세계 객체는 아바타 및 가상 객체를 포함하고,
상기 객체 제어 시스템은,
상기 아바타 및 상기 가상 객체의 공통 특징을 이용하여 가상 세계 객체를 제어하고,
상기 공통 특징은 가상 세계 객체를 구분하기 위한 식별, 가상 세계 객체 소리, 가상 세계 객체 냄새, 가상 세계 객체 제어, 가상 세계 객체 이벤트, 가상 세계 객체 행동 모델 및 가상 세계 객체 햅틱 속성 중 적어도 하나의 구성요소를 포함하고,
상기 가상 세계 객체 이벤트는 상기 객체와 관련하여 하나 이상의 입력 이벤트를 포함하고, 상기 가상 세계 객체 소리는 상기 객체와 관련된 하나 이상의 소리 효과를 포함하고, 상기 가상 세계 객체 냄새는 상기 객체와 관련된 하나 이상의 냄새 효과를 포함하고, 상기 가상 세계 객체 제어는 상기 객체와 관련된 하나 이상의 제어를 포함하고,
상기 가상 세계 객체 행동 모델은,
상기 하나의 이상의 입력 이벤트 중 하나의 입력 이벤트를 참조하는 이벤트 식별자; 및
상기 하나 이상의 소리 효과 중 하나의 소리 효과를 참조하는 소리 식별자, 상기 하나 이상의 냄새 효과 중 하나의 냄새 효과를 참조하는 냄새 식별자, 상기 하나 이상의 제어 중 하나의 제어를 참조하는 제어 식별자 중 적어도 하나
를 포함하는, 객체 제어 시스템. - 가상 세계의 가상 세계 객체를 제어하는 객체 제어 시스템에 있어서,
상기 가상 세계 객체는 아바타를 포함하고,
상기 객체 제어 시스템은,
상기 아바타의 아바타 정보를 이용하여 가상 세계 객체를 제어하고,
상기 아바타 정보는 아바타 외양, 아바타 애니메이션, 아바타 커뮤니케이션 스킬, 아바타 개성, 아바타 제어 특성 및 아바타 공통 특징 중 적어도 하나의 구성요소를 포함하고, 아바타의 성별을 속성으로 포함하며,
상기 아바타 정보는, 상기 가상 세계 객체의 공통 특징을 더 포함하고,
상기 가상 세계 객체의 공통 특징은,
상기 아바타와 관련하여 하나 이상의 입력 이벤트를 포함하는 가상 세계 객체 이벤트(VWOEvent);
상기 아바타와 관련된 하나 이상의 소리 효과를 포함하는 가상 세계 객체 소리(VWOSound), 상기 아바타와 관련된 하나 이상의 냄새 효과를 포함하는 가상 세계 객체 냄새(VWOScent), 상기 아바타와 관련된 하나 이상의 제어를 포함하는 가상 세계 객체 제어(VWOControl) 중 적어도 하나; 및
가상 세계 객체 행동 모델(VWOBehviorModel)
을 포함하며,
상기 가상 세계 객체 행동 모델은,
상기 하나의 이상의 입력 이벤트 중 하나의 입력 이벤트를 참조하는 이벤트 식별자(EventID); 및
상기 하나 이상의 소리 효과 중 하나의 소리 효과를 참조하는 소리 식별자(SoundID), 상기 하나 이상의 냄새 효과 중 하나의 냄새 효과를 참조하는 냄새 식별자(ScentID), 상기 하나 이상의 제어 중 하나의 제어를 참조하는 제어 식별자(ControlID) 중 적어도 하나
를 포함하는, 객체 제어 시스템. - 가상 세계의 가상 세계 객체를 제어하는 객체 제어 시스템에 있어서,
상기 가상 세계 객체는 가상 객체를 포함하고,
상기 객체 제어 시스템은,
상기 가상 객체에 대한 정보를 이용하여 상기 가상 세계 객체를 제어하고,
상기 가상 객체에 대한 정보는 가상 객체 외양, 가상 객체 애니메이션 및 가상 객체 공통 특징 중 적어도 하나의 구성요소를 포함하고,
상기 가상 객체 공통 특징은,
상기 가상 객체와 관련하여 하나 이상의 입력 이벤트를 포함하는 가상 세계 객체 이벤트(VWOEvent); 및
상기 가상 객체와 관련된 하나 이상의 소리 효과를 포함하는 가상 세계 객체 소리(VWOSound), 상기 가상 객체와 관련된 하나 이상의 냄새 효과를 포함하는 가상 세계 객체 냄새(VWOScent), 상기 가상 객체와 관련된 하나 이상의 제어를 포함하는 가상 세계 객체 제어(VWOControl) 중 적어도 하나; 및
가상 세계 객체 행동 모델(VWOBehviorModel)
을 포함하며,
상기 가상 세계 객체 행동 모델은,
상기 하나의 이상의 입력 이벤트 중 하나의 입력 이벤트를 참조하는 이벤트 식별자(EventID); 및
상기 하나 이상의 소리 효과 중 하나의 소리 효과를 참조하는 소리 식별자(SoundID), 상기 하나 이상의 냄새 효과 중 하나의 냄새 효과를 참조하는 냄새 식별자(ScentID), 상기 하나 이상의 제어 중 하나의 제어를 참조하는 제어 식별자(ControlID) 중 적어도 하나
를 포함하는, 객체 제어 시스템. - 현실 세계의 정보를 수집하는 현실 세계 장치로부터 수신된 정보에 기초하여 정규화된 제어 명령을 생성하는 제어 명령 생성부;
상기 정규화된 제어 명령을 가상 세계 서버로 전송하는 제어 명령 전송부; 및
상기 가상 세계 서버로부터 수신된 가상 세계 객체에 대한 정보에 기초하여 상기 가상 세계 객체를 제어하는 객체 제어부
를 포함하고,
상기 가상 세계 객체에 대한 정보는, 상기 가상 세계 객체의 공통 특징을 포함하고,
상기 공통 특징은,
상기 가상 세계 객체와 관련하여 하나 이상의 입력 이벤트를 포함하는 가상 세계 객체 이벤트(VWOEvent); 및
상기 가상 세계 객체와 관련된 하나 이상의 소리 효과를 포함하는 가상 세계 객체 소리(VWOSound), 상기 가상 세계 객체와 관련된 하나 이상의 냄새 효과를 포함하는 가상 세계 객체 냄새(VWOScent), 상기 가상 세계 객체와 관련된 하나 이상의 제어를 포함하는 가상 세계 객체 제어(VWOControl) 중 적어도 하나; 및
가상 세계 객체 행동 모델(VWOBehviorModel)
을 포함하며,
상기 가상 세계 객체 행동 모델은,
상기 하나의 이상의 입력 이벤트 중 하나의 입력 이벤트를 참조하는 이벤트 식별자(EventID); 및
상기 하나 이상의 소리 효과 중 하나의 소리 효과를 참조하는 소리 식별자(SoundID), 상기 하나 이상의 냄새 효과 중 하나의 냄새 효과를 참조하는 냄새 식별자(ScentID), 상기 하나 이상의 제어 중 하나의 제어를 참조하는 제어 식별자(ControlID) 중 적어도 하나
를 포함하는 객체 제어 시스템. - 단말기로부터 수신된 정규화된 제어 명령을 해당하는 가상 세계 객체에 따라 변환하여 가상 세계 객체에 대한 정보를 생성하는 정보 생성부; 및
상기 가상 세계 객체에 대한 정보를 상기 단말기로 전송하는 정보 전송부
를 포함하고,
상기 정규화된 제어 명령은 상기 단말기가, 현실 세계의 정보를 수집하는 현실 세계 장치로부터 수신한 정보에 기초하여 생성되고,
상기 가상 세계 객체에 대한 정보는, 상기 가상 세계 객체의 공통 특징을 포함하고,
상기 공통 특징은,
상기 가상 세계 객체와 관련하여 하나 이상의 입력 이벤트를 포함하는 가상 세계 객체 이벤트(VWOEvent); 및
상기 가상 세계 객체와 관련된 하나 이상의 소리 효과를 포함하는 가상 세계 객체 소리(VWOSound), 상기 가상 세계 객체와 관련된 하나 이상의 냄새 효과를 포함하는 가상 세계 객체 냄새(VWOScent), 상기 가상 세계 객체와 관련된 하나 이상의 제어를 포함하는 가상 세계 객체 제어(VWOControl) 중 적어도 하나; 및
가상 세계 객체 행동 모델(VWOBehviorModel)
을 포함하며,
상기 가상 세계 객체 행동 모델은,
상기 하나의 이상의 입력 이벤트 중 하나의 입력 이벤트를 참조하는 이벤트 식별자(EventID); 및
상기 하나 이상의 소리 효과 중 하나의 소리 효과를 참조하는 소리 식별자(SoundID), 상기 하나 이상의 냄새 효과 중 하나의 냄새 효과를 참조하는 냄새 식별자(ScentID), 상기 하나 이상의 제어 중 하나의 제어를 참조하는 제어 식별자(ControlID) 중 적어도 하나
를 포함하는, 객체 제어 시스템. - 현실 세계의 정보를 수집하는 현실 세계 장치로부터 수신된 정보를 가상 세계 서버로 전송하는 정보 전송부; 및
상기 전송된 정보에 따라 가상 세계 서버로부터 수신된 가상 세계 객체에 대한 정보에 기초하여 상기 가상 세계 객체를 제어하는 객체 제어부
를 포함하고,
상기 가상 세계 객체에 대한 정보는, 상기 가상 세계 객체의 공통 특징을 포함하고,
상기 공통 특징은,
상기 가상 세계 객체와 관련하여 하나 이상의 입력 이벤트를 포함하는 가상 세계 객체 이벤트(VWOEvent); 및
상기 가상 세계 객체와 관련된 하나 이상의 소리 효과를 포함하는 가상 세계 객체 소리(VWOSound), 상기 가상 세계 객체와 관련된 하나 이상의 냄새 효과를 포함하는 가상 세계 객체 냄새(VWOScent), 상기 가상 세계 객체와 관련된 하나 이상의 제어를 포함하는 가상 세계 객체 제어(VWOControl) 중 적어도 하나; 및
가상 세계 객체 행동 모델(VWOBehviorModel)
를 포함하며,
상기 가상 세계 객체 행동 모델은,
상기 하나의 이상의 입력 이벤트 중 하나의 입력 이벤트를 참조하는 이벤트 식별자(EventID); 및
상기 하나 이상의 소리 효과 중 하나의 소리 효과를 참조하는 소리 식별자(SoundID), 상기 하나 이상의 냄새 효과 중 하나의 냄새 효과를 참조하는 냄새 식별자(ScentID), 상기 하나 이상의 제어 중 하나의 제어를 참조하는 제어 식별자(ControlID) 중 적어도 하나
를 포함하는 객체 제어 시스템. - 단말기로부터 수신된 정보에 기초하여 정규화된 제어 명령을 생성하는 제어 명령 생성부;
상기 정규화된 제어 명령을 해당하는 가상 세계 객체에 따라 변환하여 상기 가상 세계 객체에 대한 정보를 생성하는 정보 생성부; 및
상기 가상 세계 객체에 대한 정보를 상기 단말기로 전송하는 정보 전송부
를 포함하고,
상기 수신된 정보는 상기 단말기가, 현실 세계의 정보를 수집하는 현실 세계 장치로부터 수신한 정보를 포함하고,
상기 가상 세계 객체에 대한 정보는, 상기 가상 세계 객체의 공통 특징을 포함하고,
상기 공통 특징은,
상기 가상 세계 객체와 관련하여 하나 이상의 입력 이벤트를 포함하는 가상 세계 객체 이벤트(VWOEvent); 및
상기 가상 세계 객체와 관련된 하나 이상의 소리 효과를 포함하는 가상 세계 객체 소리(VWOSound), 상기 가상 세계 객체와 관련된 하나 이상의 냄새 효과를 포함하는 가상 세계 객체 냄새(VWOScent), 상기 가상 세계 객체와 관련된 하나 이상의 제어를 포함하는 가상 세계 객체 제어(VWOControl) 중 적어도 하나; 및
가상 세계 객체 행동 모델(VWOBehviorModel)
을 포함하며,
상기 가상 세계 객체 행동 모델은,
상기 하나의 이상의 입력 이벤트 중 하나의 입력 이벤트를 참조하는 이벤트 식별자(EventID); 및
상기 하나 이상의 소리 효과 중 하나의 소리 효과를 참조하는 소리 식별자(SoundID), 상기 하나 이상의 냄새 효과 중 하나의 냄새 효과를 참조하는 냄새 식별자(ScentID), 상기 하나 이상의 제어 중 하나의 제어를 참조하는 제어 식별자(ControlID) 중 적어도 하나
를 포함하는, 객체 제어 시스템. - 현실 세계의 정보를 수집하는 현실 세계 장치로부터 수신된 정보에 기초하여 정규화된 제어 명령을 생성하는 제어 명령 생성부;
상기 정규화된 제어 명령을 해당하는 가상 세계 객체에 따라 변환하여 상기 가상 세계 객체에 대한 정보를 생성하는 정보 생성부; 및
상기 가상 세계 객체에 대한 정보에 기초하여 상기 가상 세계 객체를 제어하는 객체 제어부
를 포함하고,
상기 가상 세계 객체에 대한 정보는, 상기 가상 세계 객체의 공통 특징을 포함하고,
상기 공통 특징은,
상기 가상 세계 객체와 관련하여 하나 이상의 입력 이벤트를 포함하는 가상 세계 객체 이벤트(VWOEvent); 및
상기 가상 세계 객체와 관련된 하나 이상의 소리 효과를 포함하는 가상 세계 객체 소리(VWOSound), 상기 가상 세계 객체와 관련된 하나 이상의 냄새 효과를 포함하는 가상 세계 객체 냄새(VWOScent), 상기 가상 세계 객체와 관련된 하나 이상의 제어를 포함하는 가상 세계 객체 제어(VWOControl) 중 적어도 하나; 및
가상 세계 객체 행동 모델(VWOBehviorModel)
를 포함하며,
상기 가상 세계 객체 행동 모델은,
상기 하나의 이상의 입력 이벤트 중 하나의 입력 이벤트를 참조하는 이벤트 식별자(EventID); 및
상기 하나 이상의 소리 효과 중 하나의 소리 효과를 참조하는 소리 식별자(SoundID), 상기 하나 이상의 냄새 효과 중 하나의 냄새 효과를 참조하는 냄새 식별자(ScentID), 상기 하나 이상의 제어 중 하나의 제어를 참조하는 제어 식별자(ControlID) 중 적어도 하나
를 포함하는 객체 제어 시스템. - 현실 세계의 정보를 수집하는 현실 세계 장치로부터 수신된 정보에 기초하여 정규화된 제어 명령을 생성하는 제어 명령 생성부;
상기 정규화된 제어 명령을 해당하는 가상 세계 객체에 따라 변환하여 상기 가상 세계 객체에 대한 정보를 생성하는 정보 생성부;
상기 가상 세계 객체에 대한 정보와 다른 객체 제어 시스템의 가상 세계 객체에 대한 정보를 교환하는 정보 교환부; 및
상기 가상 세계 객체에 대한 정보 및 상기 교환된 가상 세계 객체에 대한 정보에 기초하여 상기 가상 세계 객체를 제어하는 객체 제어부
를 포함하고,
상기 가상 세계 객체에 대한 정보는, 상기 가상 세계 객체의 공통 특징을 포함하고,
상기 공통 특징은,
상기 가상 세계 객체와 관련하여 하나 이상의 입력 이벤트를 포함하는 가상 세계 객체 이벤트(VWOEvent); 및
상기 가상 세계 객체와 관련된 하나 이상의 소리 효과를 포함하는 가상 세계 객체 소리(VWOSound), 상기 가상 세계 객체와 관련된 하나 이상의 냄새 효과를 포함하는 가상 세계 객체 냄새(VWOScent), 상기 가상 세계 객체와 관련된 하나 이상의 제어를 포함하는 가상 세계 객체 제어(VWOControl) 중 적어도 하나; 및
가상 세계 객체 행동 모델(VWOBehviorModel)
을 포함하며,
상기 가상 세계 객체 행동 모델은,
상기 하나의 이상의 입력 이벤트 중 하나의 입력 이벤트를 참조하는 이벤트 식별자(EventID); 및
상기 하나 이상의 소리 효과 중 하나의 소리 효과를 참조하는 소리 식별자(SoundID), 상기 하나 이상의 냄새 효과 중 하나의 냄새 효과를 참조하는 냄새 식별자(ScentID), 상기 하나 이상의 제어 중 하나의 제어를 참조하는 제어 식별자(ControlID) 중 적어도 하나
를 포함하는 객체 제어 시스템. - 현실 세계의 정보를 수집하는 현실 세계 장치로부터 수신된 정보 및 가상 세계 서버로부터 수신된 가상 세계 정보에 기초하여 가상 세계 객체에 대한 정보를 생성하는 정보 생성부;
상기 가상 세계 객체에 대한 정보에 기초하여 상기 가상 세계 객체를 제어하는 객체 제어부; 및
상기 가상 세계 객체의 제어에 따른 처리 결과를 상기 가상 세계 서버로 전송하는 처리 결과 전송부
를 포함하고,
상기 가상 세계 객체에 대한 정보는, 상기 가상 세계 객체의 공통 특징을 포함하고,
상기 공통 특징은,
상기 가상 세계 객체와 관련하여 하나 이상의 입력 이벤트를 포함하는 가상 세계 객체 이벤트(VWOEvent); 및
상기 가상 세계 객체와 관련된 하나 이상의 소리 효과를 포함하는 가상 세계 객체 소리(VWOSound), 상기 가상 세계 객체와 관련된 하나 이상의 냄새 효과를 포함하는 가상 세계 객체 냄새(VWOScent), 상기 가상 세계 객체와 관련된 하나 이상의 제어를 포함하는 가상 세계 객체 제어(VWOControl) 중 적어도 하나; 및
가상 세계 객체 행동 모델(VWOBehviorModel)
을 포함하며,
상기 가상 세계 객체 행동 모델은,
상기 하나의 이상의 입력 이벤트 중 하나의 입력 이벤트를 참조하는 이벤트 식별자(EventID); 및
상기 하나 이상의 소리 효과 중 하나의 소리 효과를 참조하는 소리 식별자(SoundID), 상기 하나 이상의 냄새 효과 중 하나의 냄새 효과를 참조하는 냄새 식별자(ScentID), 상기 하나 이상의 제어 중 하나의 제어를 참조하는 제어 식별자(ControlID) 중 적어도 하나
를 포함하는 객체 제어 시스템. - 단말기로 가상 세계 정보를 전송하는 정보 전송부; 및
상기 단말기로부터 수신되는 처리 결과에 기초하여 상기 가상 세계 정보를 갱신하는 정보 갱신부
를 포함하고,
상기 처리 결과는 상기 단말기가, 현실 세계의 정보를 수집하는 현실 세계 장치로부터 수신한 정보 및 상기 가상 세계 정보에 기초하여 가상 세계 객체를 제어한 결과를 포함하고,
상기 가상 세계 객체에 대한 정보는, 상기 가상 세계 객체의 공통 특징을 포함하고,
상기 공통 특징은,
상기 가상 세계 객체와 관련하여 하나 이상의 입력 이벤트를 포함하는 가상 세계 객체 이벤트(VWOEvent); 및
상기 가상 세계 객체와 관련된 하나 이상의 소리 효과를 포함하는 가상 세계 객체 소리(VWOSound), 상기 가상 세계 객체와 관련된 하나 이상의 냄새 효과를 포함하는 가상 세계 객체 냄새(VWOScent), 상기 가상 세계 객체와 관련된 하나 이상의 제어를 포함하는 가상 세계 객체 제어(VWOControl) 중 적어도 하나; 및
가상 세계 객체 행동 모델(VWOBehviorModel)
을 포함하며,
상기 가상 세계 객체 행동 모델은,
상기 하나의 이상의 입력 이벤트 중 하나의 입력 이벤트를 참조하는 이벤트 식별자(EventID); 및
상기 하나 이상의 소리 효과 중 하나의 소리 효과를 참조하는 소리 식별자(SoundID), 상기 하나 이상의 냄새 효과 중 하나의 냄새 효과를 참조하는 냄새 식별자(ScentID), 상기 하나 이상의 제어 중 하나의 제어를 참조하는 제어 식별자(ControlID) 중 적어도 하나
를 포함하는, 객체 제어 시스템. - 제42항, 제44항 또는 제46항 내지 제48항 중 어느 한 항에 있어서,
상기 객체 제어부는,
상기 가상 세계 객체에 대한 정보에 기초하여 제어 명령을 생성하여 디스플레이로 전송함으로써 상기 가상 세계 객체를 제어하는, 객체 제어 시스템. - 객체 제어 시스템에서 객체를 제어하는 방법에 있어서,
가상 환경의 객체에 대한 제어 명령을 수신하는 단계; 및
상기 수신된 제어 명령 및 상기 객체의 객체 정보에 따라 상기 객체를 제어하는 단계
를 포함하고,
상기 객체 정보는, 가상 세계 객체의 공통 특징을 포함하고,
상기 공통 특징은,
상기 객체와 관련하여 하나 이상의 입력 이벤트를 포함하는 가상 세계 객체 이벤트(VWOEvent); 및
상기 객체와 관련된 하나 이상의 소리 효과를 포함하는 가상 세계 객체 소리(VWOSound), 상기 객체와 관련된 하나 이상의 냄새 효과를 포함하는 가상 세계 객체 냄새(VWOScent), 상기 객체와 관련된 하나 이상의 제어를 포함하는 가상 세계 객체 제어(VWOControl) 중 적어도 하나; 및
가상 세계 객체 행동 모델(VWOBehviorModel)
을 포함하며,
상기 가상 세계 객체 행동 모델은,
상기 하나의 이상의 입력 이벤트 중 하나의 입력 이벤트를 참조하는 이벤트 식별자(EventID); 및
상기 하나 이상의 소리 효과 중 하나의 소리 효과를 참조하는 소리 식별자(SoundID), 상기 하나 이상의 냄새 효과 중 하나의 냄새 효과를 참조하는 냄새 식별자(ScentID), 상기 하나 이상의 제어 중 하나의 제어를 참조하는 제어 식별자(ControlID) 중 적어도 하나
를 포함하는 객체 제어 방법. - 제51항에 있어서,
상기 공통 특징은, 메타데이터로 가상 세계 객체를 구분하기 위한 식별, 상기 가상 세계 객체 소리, 상기 가상 세계 객체 냄새, 상기 가상 세계 객체 제어, 상기 가상 세계 객체 이벤트, 상기 가상 세계 객체 행동 모델 및 가상 세계 객체 햅틱 속성 중 적어도 하나의 구성요소를 포함하는, 객체 제어 방법. - 제51항에 있어서,
상기 객체 정보는, 가상 세계의 아바타에 대한 아바타 정보를 포함하고,
상기 아바타 정보는, 메타데이터로 아바타 외양, 아바타 애니메이션, 아바타 커뮤니케이션 스킬, 아바타 개성, 아바타 제어 특성 및 아바타 공통 특징 중 적어도 하나의 구성요소를 포함하고, 아바타의 성별을 속성으로 포함하는, 객체 제어 방법. - 제51항에 있어서,
상기 객체 정보는, 가상 객체에 대한 정보를 포함하고,
상기 가상 객체에 대한 정보는 메타데이터로 가상 환경의 가상 객체를 표현하기 위한 메타데이터로 가상 객체 외양, 가상 객체 애니메이션 및 가상 객체 공통 특징 중 적어도 하나의 구성요소를 포함하는, 객체 제어 방법. - 제51항에 있어서,
상기 객체를 제어하는 단계는,
상기 객체가 아바타인 경우, 상기 아바타의 얼굴표정과 동작의 제어를 위한 아바타 얼굴 특징점 및 신체 특징점을 정의하는 메타데이터 및 상기 수신된 제어 명령에 기초하여 상기 아바타를 제어하는 단계
를 포함하는, 객체 제어 방법. - 제51항에 있어서,
상기 제어 명령은, 상기 객체가 가상 세계의 아바타인 경우, 현실 세계의 사용자의 얼굴 표정과 신체 동작을 센싱하여 생성되고,
상기 객체를 제어하는 단계는,
상기 얼굴 표정과 신체 동작에 따른 사용자의 특징이 상기 가상 세계의 아바타에 매핑되도록 상기 객체를 제어하는 단계
를 포함하는, 객체 제어 방법. - 가상 세계의 가상 세계 객체를 제어하는 객체 제어 방법에 있어서,
상기 가상 세계 객체는 아바타 및 가상 객체를 포함하고,
상기 객체 제어 방법은,
상기 아바타 및 상기 가상 객체의 공통 특징을 이용하여 가상 세계 객체를 제어하고,
상기 공통 특징은 가상 세계 객체를 구분하기 위한 식별, 가상 세계 객체 소리, 가상 세계 객체 냄새, 가상 세계 객체 제어, 가상 세계 객체 이벤트, 가상 세계 객체 행동 모델 및 가상 세계 객체 햅틱 속성 중 적어도 하나의 구성요소를 포함하고,
상기 가상 세계 객체 이벤트는 상기 객체와 관련하여 하나 이상의 입력 이벤트를 포함하고, 상기 가상 세계 객체 소리는 상기 객체와 관련된 하나 이상의 소리 효과를 포함하고, 상기 가상 세계 객체 냄새는 상기 객체와 관련된 하나 이상의 냄새 효과를 포함하고, 상기 가상 세계 객체 제어는 상기 객체와 관련된 하나 이상의 제어를 포함하고,
상기 가상 세계 객체 행동 모델은,
상기 하나의 이상의 입력 이벤트 중 하나의 입력 이벤트를 참조하는 이벤트 식별자; 및
상기 하나 이상의 소리 효과 중 하나의 소리 효과를 참조하는 소리 식별자, 상기 하나 이상의 냄새 효과 중 하나의 냄새 효과를 참조하는 냄새 식별자, 상기 하나 이상의 제어 중 하나의 제어를 참조하는 제어 식별자 중 적어도 하나
를 포함하는, 객체 제어 방법. - 가상 세계의 가상 세계 객체를 제어하는 객체 제어 방법에 있어서,
상기 가상 세계 객체는 아바타를 포함하고,
상기 객체 제어 방법은,
상기 아바타의 아바타 정보를 이용하여 가상 세계 객체를 제어하고,
상기 아바타 정보는 아바타 외양, 아바타 애니메이션, 아바타 커뮤니케이션 스킬, 아바타 개성, 아바타 제어 특성 및 아바타 공통 특징 중 적어도 하나의 구성요소를 포함하고, 아바타의 성별을 속성으로 포함하고,
상기 아바타 정보는, 상기 가상 세계 객체의 공통 특징을 더 포함하고,
상기 가상 세계 객체의 공통 특징은,
상기 아바타와 관련하여 하나 이상의 입력 이벤트를 포함하는 가상 세계 객체 이벤트(VWOEvent);
상기 아바타와 관련된 하나 이상의 소리 효과를 포함하는 가상 세계 객체 소리(VWOSound), 상기 아바타와 관련된 하나 이상의 냄새 효과를 포함하는 가상 세계 객체 냄새(VWOScent), 상기 아바타와 관련된 하나 이상의 제어를 포함하는 가상 세계 객체 제어(VWOControl) 중 적어도 하나; 및
가상 세계 객체 행동 모델(VWOBehviorModel)
을 포함하며,
상기 가상 세계 객체 행동 모델은,
상기 하나의 이상의 입력 이벤트 중 하나의 입력 이벤트를 참조하는 이벤트 식별자(EventID); 및
상기 하나 이상의 소리 효과 중 하나의 소리 효과를 참조하는 소리 식별자(SoundID), 상기 하나 이상의 냄새 효과 중 하나의 냄새 효과를 참조하는 냄새 식별자(ScentID), 상기 하나 이상의 제어 중 하나의 제어를 참조하는 제어 식별자(ControlID) 중 적어도 하나
를 포함하는, 객체 제어 방법. - 가상 세계의 가상 세계 객체를 제어하는 객체 제어 방법에 있어서,
상기 가상 세계 객체는 가상 객체를 포함하고,
상기 객체 제어 방법은,
상기 가상 객체에 대한 정보를 이용하여 상기 가상 세계 객체를 제어하고,
상기 가상 객체에 대한 정보는 가상 객체 외양, 가상 객체 애니메이션 및 가상 객체 공통 특징 중 적어도 하나의 구성요소를 포함하고,
상기 가상 객체 공통 특징은,
상기 가상 세계 객체와 관련하여 하나 이상의 입력 이벤트를 포함하는 가상 세계 객체 이벤트(VWOEvent); 및
상기 가상 세계 객체와 관련된 하나 이상의 소리 효과를 포함하는 가상 세계 객체 소리(VWOSound), 상기 가상 세계 객체와 관련된 하나 이상의 냄새 효과를 포함하는 가상 세계 객체 냄새(VWOScent), 상기 가상 세계 객체와 관련된 하나 이상의 제어를 포함하는 가상 세계 객체 제어(VWOControl) 중 적어도 하나; 및
가상 세계 객체 행동 모델(VWOBehviorModel)
을 포함하며,
상기 가상 세계 객체 행동 모델은,
상기 하나의 이상의 입력 이벤트 중 하나의 입력 이벤트를 참조하는 이벤트 식별자(EventID); 및
상기 하나 이상의 소리 효과 중 하나의 소리 효과를 참조하는 소리 식별자(SoundID), 상기 하나 이상의 냄새 효과 중 하나의 냄새 효과를 참조하는 냄새 식별자(ScentID), 상기 하나 이상의 제어 중 하나의 제어를 참조하는 제어 식별자(ControlID) 중 적어도 하나
를 포함하는, 객체 제어 방법. - 현실 세계의 정보를 수집하는 현실 세계 장치로부터 수신된 정보에 기초하여 정규화된 제어 명령을 생성하는 단계;
상기 정규화된 제어 명령을 가상 세계 서버로 전송하는 단계; 및
상기 가상 세계 서버로부터 수신된 가상 세계 객체에 대한 정보에 기초하여 상기 가상 세계 객체를 제어하는 단계
를 포함하고,
상기 가상 세계 객체에 대한 정보는, 상기 가상 세계 객체의 공통 특징을 포함하고,
상기 공통 특징은,
상기 가상 세계 객체와 관련하여 하나 이상의 입력 이벤트를 포함하는 가상 세계 객체 이벤트(VWOEvent); 및
상기 가상 세계 객체와 관련된 하나 이상의 소리 효과를 포함하는 가상 세계 객체 소리(VWOSound), 상기 가상 세계 객체와 관련된 하나 이상의 냄새 효과를 포함하는 가상 세계 객체 냄새(VWOScent), 상기 가상 세계 객체와 관련된 하나 이상의 제어를 포함하는 가상 세계 객체 제어(VWOControl) 중 적어도 하나; 및
가상 세계 객체 행동 모델(VWOBehviorModel)
을 포함하며,
상기 가상 세계 객체 행동 모델은,
상기 하나의 이상의 입력 이벤트 중 하나의 입력 이벤트를 참조하는 이벤트 식별자(EventID); 및
상기 하나 이상의 소리 효과 중 하나의 소리 효과를 참조하는 소리 식별자(SoundID), 상기 하나 이상의 냄새 효과 중 하나의 냄새 효과를 참조하는 냄새 식별자(ScentID), 상기 하나 이상의 제어 중 하나의 제어를 참조하는 제어 식별자(ControlID) 중 적어도 하나
를 포함하는 객체 제어 방법. - 단말기로부터 수신된 정규화된 제어 명령을 해당하는 가상 세계 객체에 따라 변환하여 가상 세계 객체에 대한 정보를 생성하는 단계; 및
상기 가상 세계 객체에 대한 정보를 상기 단말기로 전송하는 단계
를 포함하고,
상기 정규화된 제어 명령은 상기 단말기가, 현실 세계의 정보를 수집하는 현실 세계 장치로부터 수신한 정보에 기초하여 생성되고,
상기 가상 세계 객체에 대한 정보는, 상기 가상 세계 객체의 공통 특징을 포함하고,
상기 공통 특징은,
상기 가상 세계 객체와 관련하여 하나 이상의 입력 이벤트를 포함하는 가상 세계 객체 이벤트(VWOEvent); 및
상기 가상 세계 객체와 관련된 하나 이상의 소리 효과를 포함하는 가상 세계 객체 소리(VWOSound), 상기 가상 세계 객체와 관련된 하나 이상의 냄새 효과를 포함하는 가상 세계 객체 냄새(VWOScent), 상기 가상 세계 객체와 관련된 하나 이상의 제어를 포함하는 가상 세계 객체 제어(VWOControl) 중 적어도 하나; 및
가상 세계 객체 행동 모델(VWOBehviorModel)
을 포함하며,
상기 가상 세계 객체 행동 모델은,
상기 하나의 이상의 입력 이벤트 중 하나의 입력 이벤트를 참조하는 이벤트 식별자(EventID); 및
상기 하나 이상의 소리 효과 중 하나의 소리 효과를 참조하는 소리 식별자(SoundID), 상기 하나 이상의 냄새 효과 중 하나의 냄새 효과를 참조하는 냄새 식별자(ScentID), 상기 하나 이상의 제어 중 하나의 제어를 참조하는 제어 식별자(ControlID) 중 적어도 하나
를 포함하는, 객체 제어 방법. - 현실 세계의 정보를 수집하는 현실 세계 장치로부터 수신된 정보를 가상 세계 서버로 전송하는 단계; 및
상기 전송된 정보에 따라 가상 세계 서버로부터 수신된 가상 세계 객체에 대한 정보에 기초하여 상기 가상 세계 객체를 제어하는 단계
를 포함하고,
상기 가상 세계 객체에 대한 정보는, 상기 가상 세계 객체의 공통 특징을 포함하고,
상기 공통 특징은,
상기 가상 세계 객체와 관련하여 하나 이상의 입력 이벤트를 포함하는 가상 세계 객체 이벤트(VWOEvent); 및
상기 가상 세계 객체와 관련된 하나 이상의 소리 효과를 포함하는 가상 세계 객체 소리(VWOSound), 상기 가상 세계 객체와 관련된 하나 이상의 냄새 효과를 포함하는 가상 세계 객체 냄새(VWOScent), 상기 가상 세계 객체와 관련된 하나 이상의 제어를 포함하는 가상 세계 객체 제어(VWOControl) 중 적어도 하나; 및
가상 세계 객체 행동 모델(VWOBehviorModel)
을 포함하며,
상기 가상 세계 객체 행동 모델은,
상기 하나의 이상의 입력 이벤트 중 하나의 입력 이벤트를 참조하는 이벤트 식별자(EventID); 및
상기 하나 이상의 소리 효과 중 하나의 소리 효과를 참조하는 소리 식별자(SoundID), 상기 하나 이상의 냄새 효과 중 하나의 냄새 효과를 참조하는 냄새 식별자(ScentID), 상기 하나 이상의 제어 중 하나의 제어를 참조하는 제어 식별자(ControlID) 중 적어도 하나
를 포함하는 객체 제어 방법. - 단말기로부터 수신된 정보에 기초하여 정규화된 제어 명령을 생성하는 단계;
상기 정규화된 제어 명령을 해당하는 가상 세계 객체에 따라 변환하여 상기 가상 세계 객체에 대한 정보를 생성하는 단계; 및
상기 가상 세계 객체에 대한 정보를 상기 단말기로 전송하는 단계
를 포함하고,
상기 수신된 정보는 상기 단말기가, 현실 세계의 정보를 수집하는 현실 세계 장치로부터 수신한 정보를 포함하고,
상기 가상 세계 객체에 대한 정보는, 상기 가상 세계 객체의 공통 특징을 포함하고,
상기 공통 특징은,
상기 가상 세계 객체와 관련하여 하나 이상의 입력 이벤트를 포함하는 가상 세계 객체 이벤트(VWOEvent); 및
상기 가상 세계 객체와 관련된 하나 이상의 소리 효과를 포함하는 가상 세계 객체 소리(VWOSound), 상기 가상 세계 객체와 관련된 하나 이상의 냄새 효과를 포함하는 가상 세계 객체 냄새(VWOScent), 상기 가상 세계 객체와 관련된 하나 이상의 제어를 포함하는 가상 세계 객체 제어(VWOControl) 중 적어도 하나; 및
가상 세계 객체 행동 모델(VWOBehviorModel),
를 포함하며,
상기 가상 세계 객체 행동 모델은,
상기 하나의 이상의 입력 이벤트 중 하나의 입력 이벤트를 참조하는 이벤트 식별자(EventID); 및
상기 하나 이상의 소리 효과 중 하나의 소리 효과를 참조하는 소리 식별자(SoundID), 상기 하나 이상의 냄새 효과 중 하나의 냄새 효과를 참조하는 냄새 식별자(ScentID), 상기 하나 이상의 제어 중 하나의 제어를 참조하는 제어 식별자(ControlID) 중 적어도 하나
를 포함하는, 객체 제어 방법. - 현실 세계의 정보를 수집하는 현실 세계 장치로부터 수신된 정보에 기초하여 정규화된 제어 명령을 생성하는 단계;
상기 정규화된 제어 명령을 해당하는 가상 세계 객체에 따라 변환하여 상기 가상 세계 객체에 대한 정보를 생성하는 단계; 및
상기 가상 세계 객체에 대한 정보에 기초하여 상기 가상 세계 객체를 제어하는 단계
를 포함하고,
상기 가상 세계 객체에 대한 정보는, 상기 가상 세계 객체의 공통 특징을 포함하고,
상기 공통 특징은,
상기 가상 세계 객체와 관련하여 하나 이상의 입력 이벤트를 포함하는 가상 세계 객체 이벤트(VWOEvent); 및
상기 가상 세계 객체와 관련된 하나 이상의 소리 효과를 포함하는 가상 세계 객체 소리(VWOSound), 상기 가상 세계 객체와 관련된 하나 이상의 냄새 효과를 포함하는 가상 세계 객체 냄새(VWOScent), 상기 가상 세계 객체와 관련된 하나 이상의 제어를 포함하는 가상 세계 객체 제어(VWOControl) 중 적어도 하나; 및
가상 세계 객체 행동 모델(VWOBehviorModel)
을 포함하며,
상기 가상 세계 객체 행동 모델은,
상기 하나의 이상의 입력 이벤트 중 하나의 입력 이벤트를 참조하는 이벤트 식별자(EventID); 및
상기 하나 이상의 소리 효과 중 하나의 소리 효과를 참조하는 소리 식별자(SoundID), 상기 하나 이상의 냄새 효과 중 하나의 냄새 효과를 참조하는 냄새 식별자(ScentID), 상기 하나 이상의 제어 중 하나의 제어를 참조하는 제어 식별자(ControlID) 중 적어도 하나
를 포함하는 객체 제어 방법. - 현실 세계의 정보를 수집하는 현실 세계 장치로부터 수신된 정보에 기초하여 정규화된 제어 명령을 생성하는 단계;
상기 정규화된 제어 명령을 해당하는 가상 세계 객체에 따라 변환하여 상기 가상 세계 객체에 대한 정보를 생성하는 단계;
상기 가상 세계 객체에 대한 정보와 다른 객체 제어 시스템의 가상 세계 객체에 대한 정보를 교환하는 단계; 및
상기 가상 세계 객체에 대한 정보 및 상기 교환된 가상 세계 객체에 대한 정보에 기초하여 상기 가상 세계 객체를 제어하는 단계
를 포함하고,
상기 가상 세계 객체에 대한 정보는, 상기 가상 세계 객체의 공통 특징을 포함하고,
상기 공통 특징은,
상기 가상 세계 객체와 관련하여 하나 이상의 입력 이벤트를 포함하는 가상 세계 객체 이벤트(VWOEvent); 및
상기 가상 세계 객체와 관련된 하나 이상의 소리 효과를 포함하는 가상 세계 객체 소리(VWOSound), 상기 가상 세계 객체와 관련된 하나 이상의 냄새 효과를 포함하는 가상 세계 객체 냄새(VWOScent), 상기 가상 세계 객체와 관련된 하나 이상의 제어를 포함하는 가상 세계 객체 제어(VWOControl) 중 적어도 하나; 및
가상 세계 객체 행동 모델(VWOBehviorModel)
을 포함하며,
상기 가상 세계 객체 행동 모델은,
상기 하나의 이상의 입력 이벤트 중 하나의 입력 이벤트를 참조하는 이벤트 식별자(EventID); 및
상기 하나 이상의 소리 효과 중 하나의 소리 효과를 참조하는 소리 식별자(SoundID), 상기 하나 이상의 냄새 효과 중 하나의 냄새 효과를 참조하는 냄새 식별자(ScentID), 상기 하나 이상의 제어 중 하나의 제어를 참조하는 제어 식별자(ControlID) 중 적어도 하나
를 포함하는 객체 제어 방법. - 현실 세계의 정보를 수집하는 현실 세계 장치로부터 수신된 정보 및 가상 세계 서버로부터 수신된 가상 세계 정보에 기초하여 가상 세계 객체에 대한 정보를 생성하는 단계;
상기 가상 세계 객체에 대한 정보에 기초하여 상기 가상 세계 객체를 제어하는 단계; 및
상기 가상 세계 객체의 제어에 따른 처리 결과를 상기 가상 세계 서버로 전송하는 단계
를 포함하고,
상기 가상 세계 객체에 대한 정보는, 상기 가상 세계 객체의 공통 특징을 포함하고,
상기 공통 특징은,
상기 가상 세계 객체와 관련하여 하나 이상의 입력 이벤트를 포함하는 가상 세계 객체 이벤트(VWOEvent); 및
상기 가상 세계 객체와 관련된 하나 이상의 소리 효과를 포함하는 가상 세계 객체 소리(VWOSound), 상기 가상 세계 객체와 관련된 하나 이상의 냄새 효과를 포함하는 가상 세계 객체 냄새(VWOScent), 상기 가상 세계 객체와 관련된 하나 이상의 제어를 포함하는 가상 세계 객체 제어(VWOControl) 중 적어도 하나; 및
가상 세계 객체 행동 모델(VWOBehviorModel),
를 포함하며,
상기 가상 세계 객체 행동 모델은,
상기 하나의 이상의 입력 이벤트 중 하나의 입력 이벤트를 참조하는 이벤트 식별자(EventID); 및
상기 하나 이상의 소리 효과 중 하나의 소리 효과를 참조하는 소리 식별자(SoundID), 상기 하나 이상의 냄새 효과 중 하나의 냄새 효과를 참조하는 냄새 식별자(ScentID), 상기 하나 이상의 제어 중 하나의 제어를 참조하는 제어 식별자(ControlID) 중 적어도 하나
를 포함하는 객체 제어 방법. - 단말기로 가상 세계 정보를 전송하는 단계; 및
상기 단말기로부터 수신되는 처리 결과에 기초하여 상기 가상 세계 정보를 갱신하는 단계
를 포함하고,
상기 처리 결과는 상기 단말기가, 현실 세계의 정보를 수집하는 현실 세계 장치로부터 수신한 정보 및 상기 가상 세계 정보에 기초하여 가상 세계 객체를 제어한 결과를 포함하고,
상기 가상 세계 객체에 대한 정보는, 상기 가상 세계 객체의 공통 특징을 포함하고,
상기 공통 특징은,
상기 가상 세계 객체와 관련하여 하나 이상의 입력 이벤트를 포함하는 가상 세계 객체 이벤트(VWOEvent); 및
상기 가상 세계 객체와 관련된 하나 이상의 소리 효과를 포함하는 가상 세계 객체 소리(VWOSound), 상기 가상 세계 객체와 관련된 하나 이상의 냄새 효과를 포함하는 가상 세계 객체 냄새(VWOScent), 상기 가상 세계 객체와 관련된 하나 이상의 제어를 포함하는 가상 세계 객체 제어(VWOControl) 중 적어도 하나; 및
가상 세계 객체 행동 모델(VWOBehviorModel),
를 포함하며,
상기 가상 세계 객체 행동 모델은,
상기 하나의 이상의 입력 이벤트 중 하나의 입력 이벤트를 참조하는 이벤트 식별자(EventID); 및
상기 하나 이상의 소리 효과 중 하나의 소리 효과를 참조하는 소리 식별자(SoundID), 상기 하나 이상의 냄새 효과 중 하나의 냄새 효과를 참조하는 냄새 식별자(ScentID), 상기 하나 이상의 제어 중 하나의 제어를 참조하는 제어 식별자(ControlID) 중 적어도 하나
를 포함하는, 객체 제어 방법. - 제60항, 제62항 또는 제64항 내지 제66항 중 어느 한 항에 있어서,
상기 가상 세계 객체를 제어하는 단계는,
상기 가상 세계 객체에 대한 정보에 기초하여 제어 명령을 생성하여 디스플레이로 전송함으로써 상기 가상 세계 객체를 제어하는, 객체 제어 방법. - 제51항 내지 제67항 중 어느 한 항의 방법을 수행하는 프로그램을 기록한 컴퓨터 판독 가능 기록 매체.
- 아바타의 얼굴표정과 동작의 제어를 위한 아바타 얼굴 특징점 및 신체 특징점이 정의된 메타데이터 구조를 기록하고,
상기 아바타의 아바타 정보를 이용하여 가상 세계 객체를 제어하고,
상기 아바타 정보는 아바타 외양, 아바타 애니메이션, 아바타 커뮤니케이션 스킬, 아바타 개성, 아바타 제어 특성 및 아바타 공통 특징 중 적어도 하나의 구성요소를 포함하고, 아바타의 성별을 속성으로 포함하며,
상기 아바타 정보는, 상기 가상 세계 객체의 공통 특징을 더 포함하고,
상기 가상 세계 객체의 공통 특징은,
상기 아바타와 관련하여 하나 이상의 입력 이벤트를 포함하는 가상 세계 객체 이벤트(VWOEvent);
상기 아바타와 관련된 하나 이상의 소리 효과를 포함하는 가상 세계 객체 소리(VWOSound), 상기 아바타와 관련된 하나 이상의 냄새 효과를 포함하는 가상 세계 객체 냄새(VWOScent), 상기 아바타와 관련된 하나 이상의 제어를 포함하는 가상 세계 객체 제어(VWOControl) 중 적어도 하나; 및
가상 세계 객체 행동 모델(VWOBehviorModel)
를 포함하며,
상기 가상 세계 객체 행동 모델은,
상기 하나의 이상의 입력 이벤트 중 하나의 입력 이벤트를 참조하는 이벤트 식별자(EventID); 및
상기 하나 이상의 소리 효과 중 하나의 소리 효과를 참조하는 소리 식별자(SoundID), 상기 하나 이상의 냄새 효과 중 하나의 냄새 효과를 참조하는 냄새 식별자(ScentID), 상기 하나 이상의 제어 중 하나의 제어를 참조하는 제어 식별자(ControlID) 중 적어도 하나
를 포함하는, 컴퓨터 판독 가능 기록 매체. - 제70항에 있어서,
상기 아바타 얼굴 특징점에 기초하여 머리 외곽선, 왼쪽 눈 외곽선, 오른쪽 눈 외곽선, 왼쪽 눈썹 외곽선, 오른쪽 눈썹 외곽선, 왼쪽 귀 외곽선, 오른쪽 귀 외곽선, 코 외곽선, 입술 외곽선, 얼굴점 및 미셀레이니어스 점 중 적어도 하나가 표현되는, 메타데이터 구조를 기록한 컴퓨터 판독 가능 기록 매체. - 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020100041736A KR101671900B1 (ko) | 2009-05-08 | 2010-05-04 | 가상 세계에서의 객체를 제어하는 시스템, 방법 및 기록 매체 |
| CN201080031098.7A CN102458595B (zh) | 2009-05-08 | 2010-05-08 | 在虚拟世界中控制对象的系统、方法和记录介质 |
| US13/319,456 US20130038601A1 (en) | 2009-05-08 | 2010-05-08 | System, method, and recording medium for controlling an object in virtual world |
| PCT/KR2010/002938 WO2010128830A2 (ko) | 2009-05-08 | 2010-05-08 | 가상 세계에서의 객체를 제어하는 시스템, 방법 및 기록 매체 |
| EP10772290.2A EP2431936A4 (en) | 2009-05-08 | 2010-05-08 | SYSTEM, METHOD AND RECORDING MEDIUM FOR CONTROLLING AN OBJECT IN A VIRTUAL WORLD |
Applications Claiming Priority (7)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR20090040476 | 2009-05-08 | ||
| KR1020090040476 | 2009-05-08 | ||
| KR20090101471 | 2009-10-23 | ||
| KR1020090101471 | 2009-10-23 | ||
| US25563609P | 2009-10-28 | 2009-10-28 | |
| US61/255,636 | 2009-10-28 | ||
| KR1020100041736A KR101671900B1 (ko) | 2009-05-08 | 2010-05-04 | 가상 세계에서의 객체를 제어하는 시스템, 방법 및 기록 매체 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20100121420A KR20100121420A (ko) | 2010-11-17 |
| KR101671900B1 true KR101671900B1 (ko) | 2016-11-03 |
Family
ID=43050652
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020100041736A KR101671900B1 (ko) | 2009-05-08 | 2010-05-04 | 가상 세계에서의 객체를 제어하는 시스템, 방법 및 기록 매체 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20130038601A1 (ko) |
| EP (1) | EP2431936A4 (ko) |
| KR (1) | KR101671900B1 (ko) |
| CN (1) | CN102458595B (ko) |
| WO (1) | WO2010128830A2 (ko) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023287012A1 (ko) * | 2021-07-14 | 2023-01-19 | 삼성전자 주식회사 | 외부 장치의 성능에 기반하여 컨텐츠 생성 방법 및 전자 장치 |
| WO2023113369A1 (ko) * | 2021-12-16 | 2023-06-22 | 주식회사 케이티앤지 | 아바타 제어 방법 및 장치 |
Families Citing this family (105)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101640458B1 (ko) * | 2009-06-25 | 2016-07-18 | 삼성전자주식회사 | 영상 장치 및 컴퓨터 판독 기록매체 |
| KR20100138700A (ko) * | 2009-06-25 | 2010-12-31 | 삼성전자주식회사 | 가상 세계 처리 장치 및 방법 |
| KR20110070056A (ko) * | 2009-12-18 | 2011-06-24 | 한국전자통신연구원 | 사용자 맞춤형 고품질 3ｄ 아바타 생성 방법 및 그 장치 |
| KR101685922B1 (ko) * | 2010-04-05 | 2016-12-13 | 삼성전자주식회사 | 가상 세계 처리 장치 및 방법 |
| KR101516465B1 (ko) | 2010-07-06 | 2015-05-04 | 한국전자통신연구원 | 아바타 생성 방법 및 장치 |
| JP5652097B2 (ja) * | 2010-10-01 | 2015-01-14 | ソニー株式会社 | 画像処理装置、プログラム及び画像処理方法 |
| US9734637B2 (en) * | 2010-12-06 | 2017-08-15 | Microsoft Technology Licensing, Llc | Semantic rigging of avatars |
| US8994718B2 (en) | 2010-12-21 | 2015-03-31 | Microsoft Technology Licensing, Llc | Skeletal control of three-dimensional virtual world |
| KR101800182B1 (ko) | 2011-03-16 | 2017-11-23 | 삼성전자주식회사 | 가상 객체 제어 장치 및 방법 |
| US9857868B2 (en) | 2011-03-19 | 2018-01-02 | The Board Of Trustees Of The Leland Stanford Junior University | Method and system for ergonomic touch-free interface |
| US8840466B2 (en) | 2011-04-25 | 2014-09-23 | Aquifi, Inc. | Method and system to create three-dimensional mapping in a two-dimensional game |
| CN107656615B (zh) | 2011-05-06 | 2021-09-14 | 奇跃公司 | 大量同时远程数字呈现世界 |
| JP2013101529A (ja) * | 2011-11-09 | 2013-05-23 | Sony Corp | 情報処理装置、表示制御方法、およびプログラム |
| KR101271305B1 (ko) * | 2011-12-02 | 2013-06-04 | 건국대학교 산학협력단 | 다중 가상 객체 제어 장치 및 방법 |
| US8854433B1 (en) | 2012-02-03 | 2014-10-07 | Aquifi, Inc. | Method and system enabling natural user interface gestures with an electronic system |
| WO2013152455A1 (en) * | 2012-04-09 | 2013-10-17 | Intel Corporation | System and method for avatar generation, rendering and animation |
| WO2013152453A1 (en) | 2012-04-09 | 2013-10-17 | Intel Corporation | Communication using interactive avatars |
| CN102629303A (zh) * | 2012-04-22 | 2012-08-08 | 盛绩信息技术（上海）有限公司 | 建立自创世界的方法及建立自创世界的游戏开发系统 |
| US9098739B2 (en) | 2012-06-25 | 2015-08-04 | Aquifi, Inc. | Systems and methods for tracking human hands using parts based template matching |
| US9111135B2 (en) | 2012-06-25 | 2015-08-18 | Aquifi, Inc. | Systems and methods for tracking human hands using parts based template matching using corresponding pixels in bounded regions of a sequence of frames that are a specified distance interval from a reference camera |
| US20140125678A1 (en) * | 2012-07-11 | 2014-05-08 | GeriJoy Inc. | Virtual Companion |
| US20160287989A1 (en) * | 2012-08-31 | 2016-10-06 | Blue Goji Llc | Natural body interaction for mixed or virtual reality applications |
| US11181938B2 (en) * | 2012-08-31 | 2021-11-23 | Blue Goji Llc | Full body movement control of dual joystick operated devices |
| US8836768B1 (en) | 2012-09-04 | 2014-09-16 | Aquifi, Inc. | Method and system enabling natural user interface gestures with user wearable glasses |
| US10133470B2 (en) | 2012-10-09 | 2018-11-20 | Samsung Electronics Co., Ltd. | Interfacing device and method for providing user interface exploiting multi-modality |
| US10127724B2 (en) * | 2013-01-04 | 2018-11-13 | Vuezr, Inc. | System and method for providing augmented reality on mobile devices |
| KR101504103B1 (ko) * | 2013-01-16 | 2015-03-19 | 계명대학교 산학협력단 | 깊이맵 센서를 이용한 3차원 캐릭터 가상공간 내비게이션 동작 합성 및 제어 방법 |
| US9129155B2 (en) | 2013-01-30 | 2015-09-08 | Aquifi, Inc. | Systems and methods for initializing motion tracking of human hands using template matching within bounded regions determined using a depth map |
| US9092665B2 (en) | 2013-01-30 | 2015-07-28 | Aquifi, Inc | Systems and methods for initializing motion tracking of human hands |
| US9298266B2 (en) | 2013-04-02 | 2016-03-29 | Aquifi, Inc. | Systems and methods for implementing three-dimensional (3D) gesture based graphical user interfaces (GUI) that incorporate gesture reactive interface objects |
| CN103218844B (zh) * | 2013-04-03 | 2016-04-20 | 腾讯科技（深圳）有限公司 | 虚拟形象的配置方法、实现方法、客户端、服务器及系统 |
| US8998725B2 (en) * | 2013-04-30 | 2015-04-07 | Kabam, Inc. | System and method for enhanced video of game playback |
| US10295338B2 (en) | 2013-07-12 | 2019-05-21 | Magic Leap, Inc. | Method and system for generating map data from an image |
| US9798388B1 (en) | 2013-07-31 | 2017-10-24 | Aquifi, Inc. | Vibrotactile system to augment 3D input systems |
| CN103456197A (zh) * | 2013-09-18 | 2013-12-18 | 重庆创思特科技有限公司 | 教学用无线智能体感交互前端 |
| CN103472756A (zh) * | 2013-09-27 | 2013-12-25 | 腾讯科技（深圳）有限公司 | 一种实现人工智能的方法、服务器和设备 |
| US20150149292A1 (en) * | 2013-11-25 | 2015-05-28 | John C. Feghali | Leveraging sensors on smart mobile phones and tablets to create advertisements to replicate a real world experience |
| US9507417B2 (en) | 2014-01-07 | 2016-11-29 | Aquifi, Inc. | Systems and methods for implementing head tracking based graphical user interfaces (GUI) that incorporate gesture reactive interface objects |
| US9971491B2 (en) | 2014-01-09 | 2018-05-15 | Microsoft Technology Licensing, Llc | Gesture library for natural user input |
| KR101519775B1 (ko) * | 2014-01-13 | 2015-05-12 | 인천대학교 산학협력단 | 오브젝트의 모션 인식 기반 애니메이션 생성 방법 및 장치 |
| US9619105B1 (en) | 2014-01-30 | 2017-04-11 | Aquifi, Inc. | Systems and methods for gesture based interaction with viewpoint dependent user interfaces |
| US20150269765A1 (en) * | 2014-03-20 | 2015-09-24 | Digizyme, Inc. | Systems and methods for providing a visualization product |
| US20150269763A1 (en) * | 2014-03-20 | 2015-09-24 | Digizyme, Inc. | Curated model database |
| US9579799B2 (en) * | 2014-04-30 | 2017-02-28 | Coleman P. Parker | Robotic control system using virtual reality input |
| EP3172720A4 (en) * | 2014-07-25 | 2018-04-11 | Intel Corporation | Avatar facial expression animations with head rotation |
| US20160062987A1 (en) * | 2014-08-26 | 2016-03-03 | Ncr Corporation | Language independent customer communications |
| CN107106716B (zh) * | 2014-10-06 | 2021-04-13 | Jb科学有限责任公司 | 用于递送一系列气味以改变个体食欲的系统，装置和方法 |
| US10973440B1 (en) * | 2014-10-26 | 2021-04-13 | David Martin | Mobile control using gait velocity |
| US9830728B2 (en) | 2014-12-23 | 2017-11-28 | Intel Corporation | Augmented facial animation |
| KR101744674B1 (ko) | 2015-03-19 | 2017-06-09 | 모젼스랩(주) | 가상아바타와 실감아바타의 동기화를 이용한 콘텐츠 생성 장치 및 방법 |
| US10627908B2 (en) * | 2015-03-27 | 2020-04-21 | Lucasfilm Entertainment Company Ltd. | Facilitate user manipulation of a virtual reality environment view using a computing device with touch sensitive surface |
| CN104866101B (zh) * | 2015-05-27 | 2018-04-27 | 世优（北京）科技有限公司 | 虚拟对象的实时互动控制方法及装置 |
| CN104881123A (zh) * | 2015-06-06 | 2015-09-02 | 深圳市虚拟现实科技有限公司 | 基于虚拟现实的嗅觉模拟方法、设备和系统 |
| CN107615217B (zh) * | 2015-06-12 | 2020-07-17 | 索尼互动娱乐股份有限公司 | 信息处理装置、信息处理方法和计算机可读存储介质 |
| WO2017006640A1 (ja) * | 2015-07-08 | 2017-01-12 | ソニー株式会社 | 情報処理装置、表示装置、情報処理方法及びプログラム |
| WO2017018012A1 (ja) * | 2015-07-28 | 2017-02-02 | ソニー株式会社 | 情報処理システム、情報処理方法、および記録媒体 |
| US10360716B1 (en) | 2015-09-18 | 2019-07-23 | Amazon Technologies, Inc. | Enhanced avatar animation |
| CN105183172A (zh) * | 2015-09-28 | 2015-12-23 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
| JP6569452B2 (ja) * | 2015-10-08 | 2019-09-04 | 富士通株式会社 | 画像生成システム、画像生成プログラム及び画像生成方法 |
| WO2017101094A1 (en) | 2015-12-18 | 2017-06-22 | Intel Corporation | Avatar animation system |
| US10664741B2 (en) * | 2016-01-14 | 2020-05-26 | Samsung Electronics Co., Ltd. | Selecting a behavior of a virtual agent |
| US11496587B2 (en) | 2016-04-28 | 2022-11-08 | Verizon Patent And Licensing Inc. | Methods and systems for specification file based delivery of an immersive virtual reality experience |
| US10356216B2 (en) * | 2016-04-28 | 2019-07-16 | Verizon Patent And Licensing Inc. | Methods and systems for representing real-world input as a user-specific element in an immersive virtual reality experience |
| US9864431B2 (en) * | 2016-05-11 | 2018-01-09 | Microsoft Technology Licensing, Llc | Changing an application state using neurological data |
| EP3481520A1 (en) | 2016-07-05 | 2019-05-15 | Lego A/S | Method for creating a virtual object |
| EP3552199A4 (en) * | 2016-12-13 | 2020-06-24 | Deepmotion, Inc. | IMPROVED VIRTUAL REALITY SYSTEM USING MULTIPLE FORCE ASSEMBLIES FOR A SOLVER |
| TWI597691B (zh) * | 2017-01-10 | 2017-09-01 | A method of updating a virtual pet's appearance based on the pictures taken by the user | |
| JP6812803B2 (ja) * | 2017-01-12 | 2021-01-13 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
| US20180225858A1 (en) * | 2017-02-03 | 2018-08-09 | Sony Corporation | Apparatus and method to generate realistic rigged three dimensional (3d) model animation for view-point transform |
| KR20180096937A (ko) * | 2017-02-22 | 2018-08-30 | 삼성전자주식회사 | 전자 장치 및 그 제어 방법 |
| DE102017205079A1 (de) * | 2017-03-27 | 2018-09-27 | Ford Global Technologies, Llc | Unterhaltungsvorrichtung für ein selbstfahrendes Kraftfahrzeug |
| CN106951095A (zh) * | 2017-04-07 | 2017-07-14 | 胡轩阁 | 基于三维扫描技术的虚拟现实互动方法以及系统 |
| US10311624B2 (en) * | 2017-06-23 | 2019-06-04 | Disney Enterprises, Inc. | Single shot capture to animated vr avatar |
| US10861221B2 (en) * | 2017-07-14 | 2020-12-08 | Electronics And Telecommunications Research Institute | Sensory effect adaptation method, and adaptation engine and sensory device to perform the same |
| CN107657651B (zh) | 2017-08-28 | 2019-06-07 | 腾讯科技（上海）有限公司 | 表情动画生成方法和装置、存储介质及电子装置 |
| US10732708B1 (en) * | 2017-11-21 | 2020-08-04 | Amazon Technologies, Inc. | Disambiguation of virtual reality information using multi-modal data including speech |
| US10521946B1 (en) * | 2017-11-21 | 2019-12-31 | Amazon Technologies, Inc. | Processing speech to drive animations on avatars |
| US11232645B1 (en) | 2017-11-21 | 2022-01-25 | Amazon Technologies, Inc. | Virtual spaces as a platform |
| CN108021233B (zh) * | 2017-11-29 | 2021-12-31 | 浙江超人科技股份有限公司 | 一种人机交互方法和系统 |
| KR102481333B1 (ko) * | 2018-05-08 | 2022-12-23 | 그리 가부시키가이샤 | 액터의 움직임에 기초하여 생성되는 캐릭터 오브젝트의 애니메이션을 포함하는 동화상을 배신하는 동화상 배신 시스템, 동화상 배신 방법 및 동화상 배신 프로그램 |
| CN110460893B (zh) | 2018-05-08 | 2022-06-03 | 日本聚逸株式会社 | 动态图像分发系统及其方法和记录介质 |
| US11128932B2 (en) | 2018-05-09 | 2021-09-21 | Gree, Inc. | Video distribution system for live distributing video containing animation of character object generated based on motion of actors |
| US10762219B2 (en) | 2018-05-18 | 2020-09-01 | Microsoft Technology Licensing, Llc | Automatic permissions for virtual objects |
| US10818093B2 (en) | 2018-05-25 | 2020-10-27 | Tiff's Treats Holdings, Inc. | Apparatus, method, and system for presentation of multimedia content including augmented reality content |
| US10984600B2 (en) | 2018-05-25 | 2021-04-20 | Tiff's Treats Holdings, Inc. | Apparatus, method, and system for presentation of multimedia content including augmented reality content |
| CN108833937B (zh) * | 2018-05-30 | 2021-03-23 | 华为技术有限公司 | 视频处理方法和装置 |
| CN109035415B (zh) * | 2018-07-03 | 2023-05-16 | 百度在线网络技术（北京）有限公司 | 虚拟模型的处理方法、装置、设备和计算机可读存储介质 |
| KR20200019486A (ko) | 2018-08-14 | 2020-02-24 | 삼성전자주식회사 | 전자 장치, 그 제어 방법 및 전자 시스템 |
| US11044535B2 (en) | 2018-08-28 | 2021-06-22 | Gree, Inc. | Video distribution system for live distributing video containing animation of character object generated based on motion of distributor user, distribution method, and storage medium storing video distribution program |
| CN109448737B (zh) * | 2018-08-30 | 2020-09-01 | 百度在线网络技术（北京）有限公司 | 虚拟形象的创建方法、装置、电子设备与存储介质 |
| US11068065B2 (en) | 2018-11-28 | 2021-07-20 | International Business Machines Corporation | Non-verbal communication tracking and classification |
| KR102648993B1 (ko) * | 2018-12-21 | 2024-03-20 | 삼성전자주식회사 | 사용자의 감정 상태에 기반하여 아바타를 제공하기 위한 전자 장치 및 그에 관한 방법 |
| KR102181226B1 (ko) * | 2019-01-08 | 2020-11-20 | 주식회사 원이멀스 | 잡기 모션을 활용한 가상 현실 로코모션 통합 제어 시스템 및 방법 |
| WO2020162673A1 (en) | 2019-02-07 | 2020-08-13 | Samsung Electronics Co., Ltd. | Electronic device for providing avatar animation and method thereof |
| CN110209283A (zh) * | 2019-06-11 | 2019-09-06 | 北京小米移动软件有限公司 | 数据处理方法、装置、系统、电子设备及存储介质 |
| KR102235771B1 (ko) * | 2019-07-15 | 2021-04-02 | 이성진 | 증강현실 기반의 서비스 시스템 |
| KR20210012724A (ko) | 2019-07-26 | 2021-02-03 | 삼성전자주식회사 | 아바타를 제공하는 전자 장치 및 그의 동작 방법 |
| JP2023524930A (ja) * | 2020-03-20 | 2023-06-14 | ライン プラス コーポレーション | アバターを利用したカンファレンス処理方法およびシステム |
| US20210409535A1 (en) * | 2020-06-25 | 2021-12-30 | Snap Inc. | Updating an avatar status for a user of a messaging system |
| KR102501811B1 (ko) * | 2020-10-23 | 2023-02-21 | 주식회사 모아이스 | 이미지상에 그래픽 객체를 표시하기 위한 방법, 디바이스 및 비일시성의 컴퓨터 판독 가능한 기록 매체 |
| CN112657200B (zh) * | 2020-12-23 | 2023-02-10 | 上海米哈游天命科技有限公司 | 一种角色控制方法、装置、设备及存储介质 |
| CN112657201B (zh) * | 2020-12-23 | 2023-03-07 | 上海米哈游天命科技有限公司 | 一种角色臂长确定方法、装置、设备及存储介质 |
| CN114401438B (zh) * | 2021-12-31 | 2022-12-09 | 魔珐(上海)信息科技有限公司 | 虚拟数字人的视频生成方法及装置、存储介质、终端 |
| CN115170707B (zh) * | 2022-07-11 | 2023-04-11 | 上海哔哩哔哩科技有限公司 | 基于应用程序框架的3d图像实现系统及方法 |
| KR20240011391A (ko) * | 2022-07-19 | 2024-01-26 | 주식회사 케이티앤지 | 가상 연기 영상 출력 방법 및 장치 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006201912A (ja) * | 2005-01-19 | 2006-08-03 | Nippon Telegr & Teleph Corp <Ntt> | ３次元仮想オブジェクト情報提供サービス処理方法と３次元仮想オブジェクト提供システムおよびプログラム |
| JP2008198174A (ja) * | 2007-01-16 | 2008-08-28 | Sony Corp | 画像処理装置、画像処理方法、およびプログラム、並びに目標関数 |
Family Cites Families (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6117007A (en) * | 1996-08-09 | 2000-09-12 | Konami Corporation | Driving game machine and a storage medium for storing a driving game program |
| US6175842B1 (en) * | 1997-07-03 | 2001-01-16 | At&T Corp. | System and method for providing dynamic three-dimensional multi-user virtual spaces in synchrony with hypertext browsing |
| US6208375B1 (en) * | 1999-05-21 | 2001-03-27 | Elite Engineering Corporation | Test probe positioning method and system for micro-sized devices |
| JP3623415B2 (ja) * | 1999-12-02 | 2005-02-23 | 日本電信電話株式会社 | 仮想空間通信システムにおけるアバタ表示装置、アバタ表示方法および記憶媒体 |
| US6545682B1 (en) * | 2000-05-24 | 2003-04-08 | There, Inc. | Method and apparatus for creating and customizing avatars using genetic paradigm |
| US7090576B2 (en) * | 2003-06-30 | 2006-08-15 | Microsoft Corporation | Personalized behavior of computer controlled avatars in a virtual reality environment |
| KR100610199B1 (ko) * | 2004-06-21 | 2006-08-10 | 에스케이 텔레콤주식회사 | 모션인식 아바타 서비스 방법 및 시스템 |
| US7775885B2 (en) * | 2005-10-14 | 2010-08-17 | Leviathan Entertainment, Llc | Event-driven alteration of avatars |
| TWI434718B (zh) * | 2006-12-07 | 2014-04-21 | Cel Kom Llc | 觸覺式可穿戴型遊戲裝置 |
| JP5068080B2 (ja) * | 2007-01-09 | 2012-11-07 | 株式会社バンダイナムコゲームス | ゲーム装置、プログラム及び情報記憶媒体 |
| WO2008106197A1 (en) * | 2007-03-01 | 2008-09-04 | Sony Computer Entertainment America Inc. | Interactive user controlled avatar animations |
| US20080310707A1 (en) * | 2007-06-15 | 2008-12-18 | Microsoft Corporation | Virtual reality enhancement using real world data |
| US8577203B2 (en) * | 2007-10-16 | 2013-11-05 | Electronics And Telecommunications Research Institute | Sensory effect media generating and consuming method and apparatus thereof |
| US20090113319A1 (en) * | 2007-10-30 | 2009-04-30 | Dawson Christopher J | Developing user profiles in virtual worlds |
| US20090128555A1 (en) * | 2007-11-05 | 2009-05-21 | Benman William J | System and method for creating and using live three-dimensional avatars and interworld operability |
| US8375397B1 (en) * | 2007-11-06 | 2013-02-12 | Google Inc. | Snapshot view of multi-dimensional virtual environment |
| US8386918B2 (en) * | 2007-12-06 | 2013-02-26 | International Business Machines Corporation | Rendering of real world objects and interactions into a virtual universe |
| US8149241B2 (en) * | 2007-12-10 | 2012-04-03 | International Business Machines Corporation | Arrangements for controlling activities of an avatar |
| CN102016877B (zh) * | 2008-02-27 | 2014-12-10 | 索尼计算机娱乐美国有限责任公司 | 用于捕获场景的深度数据并且应用计算机动作的方法 |
| US8730245B2 (en) * | 2008-12-01 | 2014-05-20 | Naturalmotion Ltd. | Defining an animation of a virtual object within a virtual world |
| US20100251185A1 (en) * | 2009-03-31 | 2010-09-30 | Codemasters Software Company Ltd. | Virtual object appearance control |
-
2010
- 2010-05-04 KR KR1020100041736A patent/KR101671900B1/ko active IP Right Grant
- 2010-05-08 EP EP10772290.2A patent/EP2431936A4/en not_active Ceased
- 2010-05-08 WO PCT/KR2010/002938 patent/WO2010128830A2/ko active Application Filing
- 2010-05-08 CN CN201080031098.7A patent/CN102458595B/zh not_active Expired - Fee Related
- 2010-05-08 US US13/319,456 patent/US20130038601A1/en not_active Abandoned
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006201912A (ja) * | 2005-01-19 | 2006-08-03 | Nippon Telegr & Teleph Corp <Ntt> | ３次元仮想オブジェクト情報提供サービス処理方法と３次元仮想オブジェクト提供システムおよびプログラム |
| JP2008198174A (ja) * | 2007-01-16 | 2008-08-28 | Sony Corp | 画像処理装置、画像処理方法、およびプログラム、並びに目標関数 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023287012A1 (ko) * | 2021-07-14 | 2023-01-19 | 삼성전자 주식회사 | 외부 장치의 성능에 기반하여 컨텐츠 생성 방법 및 전자 장치 |
| WO2023113369A1 (ko) * | 2021-12-16 | 2023-06-22 | 주식회사 케이티앤지 | 아바타 제어 방법 및 장치 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20130038601A1 (en) | 2013-02-14 |
| CN102458595B (zh) | 2015-07-29 |
| EP2431936A4 (en) | 2014-04-02 |
| EP2431936A2 (en) | 2012-03-21 |
| CN102458595A (zh) | 2012-05-16 |
| WO2010128830A3 (ko) | 2011-04-21 |
| WO2010128830A2 (ko) | 2010-11-11 |
| KR20100121420A (ko) | 2010-11-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101671900B1 (ko) | 가상 세계에서의 객체를 제어하는 시스템, 방법 및 기록 매체 | |
| Machidon et al. | Virtual humans in cultural heritage ICT applications: A review | |
| Magnenat-Thalmann et al. | Handbook of virtual humans | |
| JP5859456B2 (ja) | プレゼンテーション用カメラ・ナビゲーション | |
| CN102473320A (zh) | 通过学习到的来自用户的输入使视觉表示生动化 | |
| CN102222431A (zh) | 基于机器的手语翻译器 | |
| CN102470273A (zh) | 基于玩家表情的视觉表示表情 | |
| US11554315B2 (en) | Communication with augmented reality virtual agents | |
| CN114630738B (zh) | 用于模拟感测数据和创建感知的系统和方法 | |
| JP2024513001A (ja) | 顔の表情を取り込んでメッシュデータを生成するための人工知能 | |
| JP5495222B2 (ja) | 操作対象物制御装置、システム、方法およびプログラム | |
| KR101640458B1 (ko) | 영상 장치 및 컴퓨터 판독 기록매체 | |
| Kim et al. | Virtual world control system using sensed information and adaptation engine | |
| US9753940B2 (en) | Apparatus and method for transmitting data | |
| Liu | An analysis of the current and future state of 3D facial animation techniques and systems | |
| Han et al. | Controlling virtual world by the real world devices with an MPEG-V framework | |
| WO2020203368A1 (ja) | 情報処理システム、コンテンツ生成装置、コンテンツ提示装置、コンテンツ生成方法、コンテンツ提示方法およびプログラム | |
| Jovanova et al. | The role of interoperability in virtual worlds, analysis of the specific cases of avatars | |
| Nedel | Simulating virtual humans | |
| JP2001229398A (ja) | パフォーマンス動画ジェスチャーの取得及び動画キャラクター上での再生方法及び装置 | |
| Nordin | Realistic virtual hands: Exploring how appearance affects the sense of embodiment | |
| CN113808280A (zh) | 增强现实显示装置以及记录介质 | |
| Feng et al. | Embodied Autonomous Agents. | |
| Palamar | Maya Studio Projects Photorealistic Characters | |
| Valvoda | Virtual humanoids and presence in virtual environments |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| FPAY | Annual fee payment |
Payment date: 20190910 Year of fee payment: 4 |