WO2010128830A2 - 가상 세계에서의 객체를 제어하는 시스템, 방법 및 기록 매체 - Google Patents

가상 세계에서의 객체를 제어하는 시스템, 방법 및 기록 매체 Download PDF

Info

Publication number
WO2010128830A2
WO2010128830A2 PCT/KR2010/002938 KR2010002938W WO2010128830A2 WO 2010128830 A2 WO2010128830 A2 WO 2010128830A2 KR 2010002938 W KR2010002938 W KR 2010002938W WO 2010128830 A2 WO2010128830 A2 WO 2010128830A2
Authority
WO
WIPO (PCT)
Prior art keywords
virtual world
avatar
information
control
virtual
Prior art date
Application number
PCT/KR2010/002938
Other languages
English (en)
French (fr)
Other versions
WO2010128830A3 (ko
Inventor
한승주
한재준
안정환
이현정
방원철
박준아
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to CN201080031098.7A priority Critical patent/CN102458595B/zh
Priority to EP10772290.2A priority patent/EP2431936A4/en
Priority to US13/319,456 priority patent/US20130038601A1/en
Publication of WO2010128830A2 publication Critical patent/WO2010128830A2/ko
Publication of WO2010128830A3 publication Critical patent/WO2010128830A3/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/30—Definitions, standards or architectural aspects of layered protocol stacks
    • H04L69/32—Architecture of open systems interconnection [OSI] 7-layer type protocol stacks, e.g. the interfaces between the data link level and the physical level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/30—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device
    • A63F2300/302—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device specially adapted for receiving control signals not targeted to a display device or game input means, e.g. vibrating driver's seat, scent dispenser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/131—Protocols for games, networked simulations or virtual reality

Definitions

  • One embodiment of the present invention relates to a method for controlling the appearance of the user in the real world to reflect the characteristics of the avatar in the virtual world.
  • Avatar features including a sensor control command receiver for receiving a sensor control command expressing user intention through a sensor-based input device, and an avatar control information generator for generating avatar control information based on avatar information of the virtual world and the sensor control command.
  • a control system is provided.
  • the avatar information may include an attribute for identifying the avatar as metadata and an attribute item of a family representing the morphological information of the avatar.
  • the avatar information may include a FreeDirection item of a move element for defining various behaviors of the avatar animation as metadata.
  • the avatar information includes elements of a PhysicalCondition to indicate various expression levels of the avatar behavior in metadata about the outward appearance of the avatar, and includes sub-elements of the PhysicalCondition. (subelement) may include BodyFlexibility and BodyStrength items.
  • the avatar information may include metadata defining avatar face feature points and body feature points for controlling facial expression and motion of the avatar.
  • a method for controlling avatar features comprising: receiving a sensor control command expressing user intention through a sensor-based input device, and generating avatar control information based on avatar information of the virtual world and the sensor control command.
  • a computer readable recording medium having recorded thereon a metadata structure in which avatar facial feature points and body feature points are defined for controlling facial expressions and operations of an avatar is provided.
  • Animation control information including an animation clip, information on which part of the avatar the animation clip corresponds to, and priority, and which part of the avatar the motion data processing values received from the motion sensor correspond to.
  • a storage unit for storing control control information including information and priority, and a priority of the animation control information corresponding to the first portion of the avatar and a priority of the control control information corresponding to the first portion of the avatar.
  • an imaging apparatus including a processor configured to determine data to be applied to the first portion of the avatar.
  • a computer readable recording medium comprising an identifier relating to which avatar's facial expression, head, upper body, middle body, and lower body the real-time motion data corresponds to. do.
  • Animation control information for controlling the avatar of the virtual world and control metadata regarding the structure of the motion data may be provided.
  • Sensing the motion of the animation clip and the user of the real world by comparing the priority of the animation clip corresponding to any part of the avatar in the virtual world with the priority of the motion data, and determining the data corresponding to any part of the avatar.
  • the motion of the avatar combined with one motion data may be generated.
  • FIG. 1 illustrates a system in which a user's intention of the real world is transmitted through a sensor control command, and an adaptive RV communicates with the virtual world through avatar information and avatar control information according to an embodiment of the present invention.
  • FIG. 2 is a schematic diagram of a system having a symmetrical structure of RV and VR.
  • FIG 3 is a view showing a detailed view of a system having a symmetric structure of RV and VR.
  • FIG. 4 illustrates a driving process of an adaptive RV according to an embodiment of the present invention.
  • FIG. 5 illustrates an example of defining an avatar face expression control point for face control according to an embodiment of the present invention.
  • FIG 6 illustrates an example of face control according to an embodiment of the present invention.
  • FIG. 7 illustrates an example of generating an individual avatar for a user of the real world through face control according to an embodiment of the present invention.
  • FIG. 8 illustrates an example in which two avatars show different appearances according to physical conditions of the avatar in accordance with one embodiment of the present invention.
  • FIG 9 illustrates a structure of a common feature type in an embodiment of the present invention.
  • FIG. 10 is a diagram illustrating a structure of an identification type according to an embodiment of the present invention.
  • FIG. 11 is a diagram illustrating a structure of a virtual world object sound type according to one embodiment of the present invention.
  • FIG. 12 is a diagram illustrating a structure of a virtual world object smell type according to one embodiment of the present invention.
  • FIG. 13 is a diagram illustrating a structure of a virtual world object control type according to one embodiment of the present invention.
  • FIG. 14 is a diagram illustrating a structure of a virtual world object event type according to one embodiment of the present invention.
  • 15 is a diagram showing the structure of a virtual world object behavior model type according to one embodiment of the present invention.
  • 16 is a diagram showing the structure of a virtual world object haptic property type according to one embodiment of the present invention.
  • 17 is a diagram illustrating a structure of a material attribute type according to one embodiment of the present invention.
  • FIG. 18 is a view showing the structure of the mechanical force effect type in one embodiment of the present invention.
  • FIG. 19 is a diagram illustrating a tactile type structure according to one embodiment of the present invention.
  • FIG. 20 is a diagram illustrating an avatar type structure according to one embodiment of the present invention.
  • 21 is a view showing the structure of the avatar appearance type according to an embodiment of the present invention.
  • FIG. 22 is an example showing a face scale point in an embodiment of the present invention.
  • FIG. 23 is a diagram illustrating a structure of a physical condition type according to one embodiment of the present invention.
  • FIG. 24 is a diagram illustrating a structure of an avatar animation type according to one embodiment of the present invention.
  • 25 is a diagram illustrating a structure of an avatar communication skill type according to one embodiment of the present invention.
  • FIG. 26 illustrates a structure of a verbal communication type according to an embodiment of the present invention.
  • 27 is a diagram showing the structure of a language type according to one embodiment of the present invention.
  • 29 is a diagram illustrating a structure of a sign language type according to an embodiment of the present invention.
  • FIG. 30 is a diagram showing the structure of an avatar personality type according to one embodiment of the present invention.
  • 31 is a diagram showing the structure of an avatar control characteristic type according to an embodiment of the present invention.
  • 32 is a diagram showing the structure of a control body feature type according to one embodiment of the present invention.
  • 33 is a diagram showing the structure of a control face feature type according to one embodiment of the present invention.
  • 35 shows an example of a left eye outline according to an embodiment of the present invention.
  • FIG. 36 shows an example of a right eye outline according to an embodiment of the present invention.
  • FIG. 37 illustrates an example of an outline of a left eyebrow according to an embodiment of the present invention.
  • 40 is an example showing the outline of the nose in one embodiment of the present invention.
  • 41 is an example showing the outline of a lip in an embodiment of the present invention.
  • FIG. 43 is a diagram illustrating an outline type structure according to an embodiment of the present invention.
  • 44 is a view showing the structure of the outline four-point type in one embodiment of the present invention.
  • 45 is a diagram illustrating a structure of an outline five-point type according to an embodiment of the present invention.
  • 46 is a view showing the structure of the outline eight-point type in one embodiment of the present invention.
  • 47 is a diagram illustrating a structure of an outline 14 point type according to an embodiment of the present invention.
  • FIG. 48 is a diagram showing the structure of a virtual object type according to one embodiment of the present invention.
  • 49 is a diagram showing the structure of a virtual object appearance type according to one embodiment of the present invention.
  • 50 is a diagram showing the structure of a virtual object animation type according to one embodiment of the present invention.
  • 51 is a block diagram illustrating an internal configuration of an avatar feature control system according to an embodiment of the present invention.
  • FIG. 52 is a flowchart illustrating a method for controlling avatar features according to an embodiment of the present invention.
  • 53 is a diagram showing the structure of a system for exchanging information and data between a real world and a virtual world according to another embodiment of the present invention.
  • 54 and 58 are diagrams for describing an avatar control command according to an embodiment of the present invention.
  • 59 is a diagram illustrating a structure of an appearance control type according to an embodiment of the present invention.
  • 60 is a diagram illustrating a structure of a communication skill control type according to an embodiment of the present invention.
  • 61 is a view showing the structure of the personality control type according to an embodiment of the present invention.
  • FIG. 62 is a diagram illustrating a structure of an animation control type according to an embodiment of the present invention.
  • 63 is a diagram illustrating a structure of a control control type according to an embodiment of the present invention.
  • 64 is a diagram illustrating a configuration of an imaging apparatus according to an embodiment of the present invention.
  • 65 is a diagram illustrating an avatar divided into parts of a facial expression, a head, an upper body, a middle body, and a lower body according to an embodiment of the present invention.
  • 66 is a diagram illustrating a database for animation clips according to an embodiment of the present invention.
  • 67 is a diagram illustrating a database for motion data according to an embodiment of the present invention.
  • FIG. 68 is a view illustrating an operation of determining motion object data to be applied to any part of an avatar by comparing priorities according to an embodiment of the present invention.
  • 69 is a flowchart of a method of determining motion object data to be applied to each part of an avatar.
  • 70 is a flowchart illustrating an operation of combining motion object data corresponding to each part of an avatar according to an embodiment of the present invention.
  • 71 is a diagram illustrating an operation of combining motion object data corresponding to each part of an avatar according to an embodiment of the present invention.
  • 72 is a diagram illustrating a terminal and a virtual world server for controlling a virtual world object according to one embodiment of the present invention.
  • 73 is a diagram showing a terminal for controlling a virtual world object according to another embodiment of the present invention.
  • FIG. 74 is a diagram illustrating a plurality of terminals for controlling a virtual world object according to another embodiment of the present invention.
  • FIG. 75 is a diagram illustrating a terminal for controlling a virtual world object according to another embodiment of the present invention.
  • the importance of the virtual environment (VE) is recognized in the multimedia industry.
  • the specificity of the virtual environment for other multimedia applications includes a visual representation of the user inside the virtual environment.
  • Such a representation may take the form of an avatar, which is usually a graphical object serving a different purpose.
  • FIG. 1 illustrates a system in which a user's intention of the real world is transmitted through a sensor control command, and an adaptive RV communicates with the virtual world through avatar information and avatar control information according to an embodiment of the present invention.
  • the intentions of the users may be communicated as a sensor control command 103 to the adaptive RV 102 via the sensor based input device 101.
  • structural information of the avatar and the object in the virtual world 104 may be conveyed to the adaptive RV 102 (eg, the adaptive RV engine) as the avatar information 105. That is, in the adaptive RV 102, the avatar control information 106 for controlling the avatar and the object in the virtual world using the sensor control command 103 and the avatar information 105 made by the user's intention.
  • the avatar control information 106 can manipulate the avatar of the virtual world 104.
  • the motion sensor may transmit information such as a position and a speed
  • the camera may transmit information such as a silhouette, a color, and a depth. This information may be calculated along with the avatar information in adaptive RV 102 and converted into avatar control information 106.
  • FIGS. 2 and 3 are schematic and detailed views of a system having a symmetric structure of RV and VR, respectively.
  • the virtual to real (VR) shown in FIGS. 2 and 3 may sense the virtual world situation with a virtual sensor and provide the same situation through an actuator in the real world.
  • an actuator in the real world.
  • RV real to virtual
  • RV can sense the current real situation from the sensor of the real world, generate the input / command information according to the situation of the virtual world, and reflect it in the virtual world.
  • the virtual actuator may be related to an avatar, a virtual object, or a virtual environment.
  • an ellipse shape may mean a standardization area A for control information corresponding to part 2 of FIG. 2.
  • Part 2 defines the product's capabilities, user preferences, device commands, etc., for devices (eg sensors and actuators) that exist in the real world.
  • the cylindrical shape may mean a normalization area B for context information such as sensory information corresponding to part 3 of FIG. 2, avatar information corresponding to part 4, and virtual object information corresponding to part 5.
  • part 3 defines an effect to be delivered to the real world in a content (eg, a virtual game, a game, etc.). Such an effect is a sensory effect included in the content by the author, and may be converted into control information through the MPEG-V engine and transmitted to each device as a command.
  • Part 4 defines the features for avatars and virtual objects that exist in the virtual world. That is, it is a part for freely manipulating the avatar and the virtual object of the virtual world by using the information acquired from the control information, the avatar information, and the virtual object information.
  • These standardization areas A and B are the goals of MPEG-V standardization.
  • step 401 avatar information of the adaptive RV engine may be set, and in step 402 the sensor input may be monitored.
  • the sensor control command is generated in step 403
  • the command of the adaptive RV engine may be recognized in step 404
  • avatar control information may be generated in step 405.
  • the avatar manipulation may be output in step 406.
  • creating an avatar is a time consuming task. While some elements of the avatar are associated with a virtual environment (e.g., improper wearing medieval clothing in a contemporary style virtual world), create an avatar once and then create another virtual environment. There is a real need for importing and using them. In addition, it must be possible to control the avatar from an external application (e.g., one avatar's exposure of emotions in a virtual environment can be obtained by performing user psychological sensors).
  • an external application e.g., one avatar's exposure of emotions in a virtual environment can be obtained by performing user psychological sensors.
  • -Avatar can be easily controlled inside the virtual environment.
  • the proposed schema deals with metadata and does not contain representations of geometry, animations or textures.
  • the schema is based on the existence of a real virtual world and the study of other virtual humans associated with the markup language with most popular games, tools and techniques from content authentication packages.
  • an attribute of a basic avatar it has an identifier (ID) for distinguishing each avatar in the VR space and a family representing the type of each avatar.
  • ID identifier
  • a family information about whether an avatar is in the form of a human, a robot, or a specific animal can be provided.
  • an optional attribute may include a name, a gender, and the like.
  • Elements of the avatar may be configured with the following data types.
  • Appearance Contains a high-level description of the appearance and can refer to media containing the correct geometry and textures.
  • an additional 'PhysicalCondition' item is proposed.
  • 'PhysicalCondition' is a subelement and may include 'BodyFlexibility' and 'BodyStrength'.
  • body flexibility or body strength may provide information on the degree to which the avatar expresses its behavior. For example, when comparing an avatar having high body flexibility and an avatar having low body flexibility, when performing the same dance (for example, ballet), the size reflection of the behavior may vary depending on the degree of such body flexibility. Body strength can also be expressed to make the avatar's behavior more powerful when doing the same exercise. For this effect, 'PhysicalCondition' can be proposed as metadata for sub-elements of the avatar appearance.
  • Animation Contains a description of a set of animation sequences capable of performing avatars, and may refer to various media including precise animation parameters (geometric transformations).
  • a 'FreeDirection' item of a move element is proposed. Familiar with the four-way arrow button input device has been defined in the state that the movement operation of the existing avatar is limited to up, down, left, right. An item that can be freely manipulated in any direction can be added to provide a variety of expression information of a move animation of the avatar.
  • Communication Skills May include a set of descriptors that provide information on other modalities with which the avatar can communicate.
  • Personality may include a set of descriptors that define the personality of the avatar.
  • Control Features Includes a set of avatar facial expressions and action points, so the user can control facial expressions, full body motion, not listed in the descriptors. .
  • the appearance refers to the appearance of the avatar, and the appearance of various avatars such as the size, position, and shape of the avatar's eyes, nose, lips, ears, hair, eyebrows, and nails may be defined.
  • Animations can be divided into avatars' greetings, dancing, walking, movements, fights, celebrations, physical gestures (anger gestures, motion gestures, exhausting gestures, etc.), facial expressions (smiling, crying, surprises, etc.), and meaningless movements.
  • the communication skill may mean information on the avatar's communication ability.
  • the communication skill may refer to conversation ability information that an avatar speaks Korean as a native language, speaks English fluently, and speaks French. Personality may be characterized by Opennes, Agreableness, Neuroticism, Extraversion, Conscientiousness, and the like.
  • facial expressions and overall physical motion may be controlled as follows.
  • 5 illustrates an example of defining an avatar face expression control point for face control according to an embodiment of the present invention.
  • This face control is performed by moving control points (markers, etc.) on the head coordinates, the left and right eye contours, the left and right eyebrow contours, the left and right ear contours, the nose contour, and the lip contours as shown in FIG. 5 in spatial coordinates.
  • the facial expressions of the users existing in the real world can be recognized by the camera and reflected on the facial expressions of the avatars existing in the virtual world.
  • FIG. 6 illustrates an example of face control according to an embodiment of the present invention.
  • the location information of the user face feature points obtained through the real world device 601 such as a depth camera may be transmitted to the adaptive RV engine 602.
  • This information is mapped to the feature information of the base avatar model through a normalization process (to match the face size of the avatar model with the user face size) and sent to the adaptive RV engine 602 or described above in the adaptive RV engine 602. Processing can be performed.
  • the virtual world information 603 such as the avatar model generated through the feature point mapping is adjusted and mapped to the face size of the individual avatar of the virtual world 604 to the virtual world 604 as the location information of the virtual world 604. Is sent.
  • various facial expression changes in the real world may be represented by avatar expressions of the virtual world 604.
  • 'RW' may mean a real world
  • 'VW' may mean a virtual world.
  • 7 illustrates an example of generating an individual avatar for a user of the real world through face control according to an embodiment of the
  • FIG. 8 illustrates an example in which two avatars show different appearances according to physical conditions of the avatar in accordance with one embodiment of the present invention. As soon as the two avatars have finished running, the avatar 801 having a high body strength value continues to show vitality, and the avatar 802 having a low body strength value shows exhaustion. In another embodiment, when doing yoga, the degree of stretching may be seen differently depending on the value of the body flexibility.
  • the skeleton may be constructed in the form of a real person based on the bones of a person present in the real world.
  • the skeleton may include left and right clavicles, left and right scapulae, left and right humerus, left and right radial, radius, wrist, left and right hands, thumb, and the like. It may include.
  • the body control expressing the movement of the skeleton should reflect the movement of each bone to reflect the movement of the body, and the movement of each bone uses a joint point existing in each bone. Can be controlled. Since each bone is connected to each other, neighboring bones can share a joint point.
  • the end point of each bone that is far from the pelvis as the control point of each bone, and move the control points to the undefined avatar.
  • the movement of the humerus of the stomach may be controlled by using three-dimensional position, direction, and bone length information of the joint point with the elbow.
  • it can be controlled through the three-dimensional position / direction / length information of the end point in each joint.
  • the movement of each joint can be controlled using only the position, or using only the direction and distance.
  • a user's motion form of the real world may be recognized as a camera or a sensor that recognizes the motion, and may be reflected in the motion of the avatar existing in the virtual world.
  • the avatar body control may be performed through a process similar to the avatar face control described with reference to FIG. 6. That is, the position / direction information of the feature points of the user skeleton obtained from the real world device such as a camera or a motion sensor may be transmitted to the adaptive RV engine. This information is mapped to the skeletal feature points of the basic avatar model and sent to the adaptive RV engine through the normalization process (to match the skeletal model of the avatar with the information of the skeletal model calculated according to the characteristics of the user's body).
  • the processing can be performed in an RV engine.
  • the information on which this processing is performed is readjusted to fit the skeleton model of the individual avatar of the virtual world and sent to the virtual world based on the positional information of the virtual world.
  • the movement of the user's body in the real world is reflected in the avatar of the virtual world.
  • various facial expressions, movements, or personalities of the user may be naturally expressed through the avatar feature control indicating the characteristics of the avatar.
  • a sensing device camera, infrared, motion sensor, etc.
  • Active avatar control is a common parametric model used for tracking, recognizing, and synthesizing features common in data sequences from real world sensing devices. model). For example, the captured user's overall body motion may be sent to the system to control the avatar motion. Body motion sensing may require a collection of 3D position and attitude sensing devices that are wearable or attachable. Therefore, in embodiments according to the present invention, it is proposed to add a concept of avatar body control, and this concept may mean enabling full control of the avatar by using all the sensed motions of the user. .
  • the control is not limited to the avatar and may be applied to all objects of the virtual environment.
  • the object control system is a control command receiving unit for receiving a control command for an object of a virtual environment and an object control unit for controlling the object according to the received control command and the object information of the object It may include.
  • the object information may include common features of the virtual world object as metadata about the virtual world object, avatar information as metadata about the avatar, and information about the virtual object as metadata about the virtual object, which will be described later. .
  • the object information may include common features of the virtual world object.
  • the common features may include identification, virtual world object sound (VWOSound), virtual world object smell (VWOScent), virtual world object control (VWOControl), It may include at least one element of a virtual world object event (VWOEvent), a virtual world object behavior model (VWOBehviorModel), and a virtual world object haptic property (VWOHapticProperties).
  • the identification may include at least one of a user identifier (UserID), ownership of the virtual world object, rights, and contributors (Credits) for identifying a user associated with the virtual world object, and the virtual world. At least one of a name of the object and a relationship with another virtual world object may be included as an attribute.
  • UserID user identifier
  • Ciredits contributors
  • a virtual world object sound contains a sound resource Uniform Resource Locator (URL) containing one or more links to a sound file as its component, and includes a sound identifier (SoundID), a strength of sound, which is the only identifier of the object sound.
  • the attribute may include at least one of an intensity indicating, a duration indicating a length of time that the sound lasts, a loop indicating a playback option, and a name of the sound.
  • the virtual world object scent includes a scent resource URL that contains one or more links to the scent file as components, the scent identifier (ScentID), the unique identifier of the object's scent, the intensity that indicates the scent's strength, and how long the scent lasts.
  • the attributes may include at least one of a duration indicating the length of the, a repeat indicating the regeneration option, and a name of the smell.
  • the virtual world object control includes a motion feature control, which is a set of components that control the position, orientation, and scale of the virtual world object, and includes a unique identifier of the control.
  • the control identifier (ControlID) may be included as an attribute.
  • the operation feature control may include the position of the object in the scene having the three-dimensional floating point vector, the direction and the three-dimensional floating point vector of the object in the scene having the three-dimensional floating point vector at the Euler angle. At least one of a scale of an object in a scene represented by may be included as a component.
  • the virtual world object event includes at least one of a mouse, a set of mouse event components, a keyboard, a set of keyboard event components, and a user-defined input, and a unique identifier of the event.
  • Event ID may be included as an attribute.
  • the left mouse button (LeftBttn_down) which is an event occurring when the user clicks the button, double-click, left mouse button, and left button up (left button up) LeftBttn_up), the right button down (RightBttn_down), the event that occurs when you press the right mouse button, the right button up (RightBttn_up), which occurs when you release the right mouse button
  • the keyboard may include, as a component, at least one of a key down (Key_Down) which is an event occurring when the keyboard button is pressed and a key up (Key_Up) which is an event occurring when the keyboard button is released.
  • the virtual world object behavior model may include at least one of a behavior input, which is an input event for generating an object behavior, and a behavior output, which is an object behavior output according to the input event, as a component.
  • the action input may include an event identifier as an attribute
  • the action output may include at least one of a sound identifier, an odor identifier, and an animation identifier as an attribute.
  • the virtual world object haptic property type includes material properties, which are parameters that characterize haptic properties, mechanical force effects, which are parameters that characterize force effects, and tactile properties. At least one of the tactile properties (TactileProperties), which is a characteristic parameter, may be included as a component.
  • the material properties may include the stiffness of the virtual world object, the static friction of the virtual world object, the dynamic friction of the virtual world object, the damping of the virtual world object, and the link to the haptic texture file. It may include at least one of the texture (Texture) and the mass of the virtual world object including a property.
  • the dynamic force effect may include at least one of a force field including a link to a force field vector file and a movement trajectory (MovementTrajectory) including a link to a force trajectory file.
  • the tactile properties may include at least one of a tactile pattern (TactilePatterns) including a temperature of the virtual world object, a vibration of the virtual world object, a current of the virtual world object, and a link to a tactile pattern file. You can include one as an attribute.
  • the object information may include avatar information of an avatar of the virtual world.
  • Avatar information includes metadata of avatar appearance, avatar animation, avatar communication skills, avatar personality, avatar control characteristics, and avatar common characteristics (AvatarCC). At least one component may be included and a gender of the avatar may be included as an attribute.
  • an appearance resource may include at least one component.
  • the physical condition may include at least one of a body strength and a body flexibility as a component.
  • avatar animations include Idle, Greeting, Dance, Walk, Moves, Fighting, Hearing, Smoke, and disappointment. It may include at least one component of a common action (Common_Action), a specific action (Specific_Action), a facial expression (Facial_Expression), a body expression (Body_Expression), and an animation resource (AnimationResource).
  • Common_Action Common Action
  • Specific_Action Specific Action
  • Face_Expression a facial expression
  • Body_Expression Body expression
  • AnimationResource an animation resource
  • the avatar communication skill includes at least one of input verbal communication (InputVerbalComuunication), input non-verbal communication (InputNonVerbalCommunication), output verbal communication (OutputVerbalCommunication), and output non-verbal communication (OutputNonVerbalCommunication) as a component.
  • At least one of a default language (DefaultLanguage) may be included as an attribute.
  • the verbal communication including the input verbal communication and the output verbal communication may include language as a component and include at least one of voice, text, and language as attributes.
  • the language may include, as an attribute, at least one of a name that is a string that specifies the name of the language and a preference for using the language in the oral communication.
  • the communication preference including the preference may include a preference level of the avatar's communication.
  • the language may be set with a communication preference level (CommunicationPreferenceLevel) including a preference level for each language that the avatar can speak or understand.
  • Non-oral communication including input non-verbal communication and output non-verbal communication, includes at least one of SignLanguage and CuedSpeechCommumicaiton as components, and complementary gestures. Can be included as an attribute.
  • the sign language may include the name of the language as an attribute.
  • the avatar personality may include at least one of Openness, Conscientiousness, Extraversion, Agreeableness and Neuroticism, and may optionally include the name of the personality.
  • the avatar control feature includes, as components, a control body feature (ControlBodyFeature), which is a set of components that control the movement of the body, and a control face feature (ControlFaceFeature), which is a set of components that control the movement of the face. You can include the name of the configuration as an attribute.
  • ControlBodyFeature which is a set of components that control the movement of the body
  • ControlFaceFeature control face feature
  • the control body characteristic may include at least one of head bones, upper body bones (UpBodyBones), lower body bones (DownBodyBones), and middle body bones (MiddleBodyBones) as components.
  • Controlled face features include HeadOutline, Left Eye Outline, Left Eye Outline, Right Eye Outline, Left Eyebrow Outline, Right Eyebrow Outline, Right Eye Outline, Left Ear Outline, and Right Ear Outline. Include at least one of RightEarOutline, NoseOutline, MouthLipOutline, FacePoints, and MiscellaneousPoints as components, and optionally include the name of the face control configuration as an attribute. Can be. In this case, at least one of the components included in the control face characteristic may be outline 4 points (Outline4Points), which is an outline having four points, outline 5 points (Outline5Points), which is an outline having five points, and outlines having eight points.
  • At least one of 8 points (Outline8Points) and 14 points (Outline14Points) which are outlines having 14 points may be included as a component.
  • at least one of the components included in the control face feature may include a basic number of points, and optionally further include additional points.
  • the object information may include information about the virtual object, and the information about the virtual object may include virtual object appearance (VOAppearance), virtual object animation (VOAnimation), and virtual object common features (VIM) as metadata. It may include at least one component of VOCC (Virtual Object Common Characteristics).
  • the virtual object appearance may include a virtual object URL (VirtualObjectURL), which is a component including the one or more links, when one or more links to the appearance file exist.
  • VirtualObjectURL VirtualObjectURL
  • the virtual object animation includes at least one of a virtual object motion (VOMotion), a virtual object deformation (VODeformation), and a virtual object addition animation (VOAdditionalAnimation) as a component, and includes an animation identifier (AnimationID) and a length of time for which the animation lasts. At least one of a duration and a loop, which is a reproduction option, may be included as an attribute.
  • the metadata that may be included in the object information will be described in more detail later.
  • the object controller may include metadata that defines an avatar face feature point and a body feature point for controlling facial expression and motion of the avatar, and the received control command.
  • the avatar may be controlled based on the result.
  • the control command may be generated by sensing facial expressions and physical motions of a user in the real world.
  • the object may be controlled to map a feature to an avatar of the virtual world.
  • the object control method may include receiving a control command for the object of the virtual environment and controlling the object according to the received control command and the object information of the object.
  • the object information used in the object control method may also be the same as the object information used in the object control system.
  • the controlling of the object when the object is an avatar, the avatar is determined based on metadata for defining an avatar facial feature point and a body feature point for controlling facial expression and motion of the avatar and the received control command. It may include the step of controlling.
  • the control command may be generated by sensing a facial expression and a physical motion of a user of the real world when the object is an avatar of the virtual world.
  • the controlling of the object may be performed by the facial expression and the physical motion. And controlling the object such that the feature of the user is mapped to the avatar of the virtual world.
  • Object control system is a control command generation unit for generating a normalized control command based on the information received from the real-world device, a control command transmission unit for transmitting the normalized control command to the virtual world server; And an object controller configured to control the virtual world object based on the information about the virtual world object received from the virtual world server.
  • the object control system according to the present embodiment may serve as one terminal, and the object control system according to another embodiment of the present invention serving as a virtual world server may be a normalized control received from a terminal.
  • an information generator for converting a command according to the corresponding virtual world object to generate information about the virtual world object, and an information transmitter for transmitting information about the virtual world object to the terminal.
  • the normalized control command is generated based on the information received by the terminal from the real world device.
  • An object control method comprises the steps of: generating a normalized control command based on information received from a real-world device, transmitting the normalized control command to a virtual world server, and received from the virtual world server. Controlling the virtual world object based on the information about the virtual world object.
  • the object control method according to the present embodiment may be performed through one terminal, and the virtual world server may perform the object control method according to another embodiment of the present invention. That is, the object control method that can be performed by the virtual world server comprises the steps of generating the information on the virtual world object by converting the normalized control command received from the terminal according to the corresponding virtual world object and the information on the virtual world object Transmitting to the terminal.
  • the normalized control command is generated based on the information received by the terminal from the real world device.
  • An object control system is an information transmitter for transmitting information received from a real world device to a virtual world server and based on the information about the virtual world object received from the virtual world server according to the transmitted information. It includes an object control unit for controlling the virtual world object.
  • the object control system according to the present embodiment may serve as one terminal, and the object control system according to another embodiment of the present invention serving as a virtual world server may be based on information received from the terminal.
  • the received information includes the information received by the terminal from the real world device.
  • an object control method includes transmitting information received from a real-world device to a virtual world server, and based on information about the virtual world object received from the virtual world server according to the transmitted information. Controlling the world object.
  • the object control method according to the present embodiment may be performed through one terminal, and the virtual world server may perform the object control method according to another embodiment of the present invention. That is, the object control method which may be performed by the virtual world server may include generating a normalized control command based on information received from the terminal, converting the normalized control command according to the corresponding virtual world object to the virtual world object. Generating information on the virtual world object and transmitting the information on the virtual world object to the terminal.
  • the received information includes the information received by the terminal from the real world device.
  • the object control system is a control command generation unit for generating a normalized control command based on the information received from the real-world device, converts the normalized control command according to the corresponding virtual world object virtual
  • An information generating unit for generating information about the world object and an object control unit for controlling the virtual world object based on the information about the virtual world object.
  • an object control method includes generating a normalized control command based on information received from a real-world device, and converting the normalized control command according to a corresponding virtual world object to the virtual world object. Generating information about the virtual world object and controlling the virtual world object based on the information about the virtual world object.
  • the object control system is a control command generation unit for generating a normalized control command based on the information received from the real-world device, converts the normalized control command according to the corresponding virtual world object virtual
  • An information generator for generating information about world objects, an information exchange unit for exchanging information about virtual world objects and information about virtual world objects in other object control systems, and information about virtual world objects and exchanged virtual world objects. It includes an object control unit for controlling the virtual world object based on the information about.
  • an object control method includes generating a normalized control command based on information received from a real-world device, and converting the normalized control command according to a corresponding virtual world object to the virtual world object. Creating information about the virtual world object, exchanging information about the virtual world object with information about the virtual world object in another object control system, and based on the information about the virtual world object and the information about the exchanged virtual world object. Controlling the object.
  • Object control system is an information generation unit for generating information on the virtual world object based on the information received from the real world device and the virtual world information received from the virtual world server, the virtual world object An object controller for controlling the virtual world object based on the information about the information processing unit and a processing result transmission unit for transmitting the processing result according to the control of the virtual world object to the virtual world server.
  • the object control system according to the present embodiment may perform the role of one terminal, and the object control system according to another embodiment of the present invention which performs the role of a virtual world server transmits virtual world information to the terminal.
  • an information updating unit for updating the virtual world information based on the processing result received from the terminal.
  • the processing result includes a result of the terminal controlling the virtual world object based on the information received from the real world device and the virtual world information.
  • an object control method includes generating information on a virtual world object based on information received from a real world device and virtual world information received from a virtual world server, and information on a virtual world object. Controlling the virtual world object based on the method, and transmitting the processing result according to the control of the virtual world object to the virtual world server.
  • the object control method according to the present embodiment may be performed through one terminal, and the virtual world server may perform the object control method according to another embodiment of the present invention. That is, the object control method that can be performed by the virtual world server includes transmitting the virtual world information to the terminal and updating the virtual world information based on the processing result received from the terminal.
  • the processing result includes a result of the terminal controlling the virtual world object based on the information received from the real world device and the virtual world information.
  • the object controller of the object control system may control the virtual world object by generating and transmitting a control command to the display based on the information about the virtual world object.
  • Virtual Environments for other multimedia applications lies in the representation of virtual world objects in the environment.
  • Virtual world objects can be classified into two types, such as avatars and virtual objects.
  • avatar can be used as a (visual) representation of the user in the environment.
  • These virtual world objects serve different purposes.
  • creating an object is a time consuming task.
  • some elements of an object may be related to the virtual world, there is a real need to create the object once and use it in other virtual worlds.
  • an avatar wearing a medieval suit in a modern style virtual environment may be inappropriate.
  • emotions expressed by avatars in the virtual world should be able to be obtained through processing associated with the user's physiological sensors.
  • the proposed schema only deals with metadata and does not include geometry, sound, scents, animations or textures. To express the latter, a reference of a media resource can be used.
  • Sound Contains sound resources and related properties.
  • Scent Contains odor resources and related attributes.
  • Control Contains a set of descriptors for controlling the behavior of an object, such as translation, orientation, and scaling.
  • Event Contains a set of descriptors for providing input events from input devices such as a mouse or keyboard.
  • Behavior Model Contains a set of descriptors for defining the behavior information of an object according to an input event.
  • Haptic Properties Contains a set of high level descriptors of haptic properties.
  • Table 1 shows the syntax of the common feature type.
  • Table 2 below shows the semantics of the common feature types.
  • VWOSound Describes the sound effect associated to the virtual world object.
  • VWOScent Describes the scent effect associated to the virtual world object.
  • VWOControl Describes the control such as scaling, translation, and rotation associated to the virtual world object.
  • VWOEvent Describes the input event associated to the virtual world object.
  • VWOBehaviorModel Describes the behavior model associated to the virtual world object.
  • VWOHapticProperties Contains the high level description of the haptic properties of the virtual world object.
  • FIG. 10 is a diagram illustrating a structure of an identification type according to an embodiment of the present invention.
  • Table 3 shows the syntax of the identification type.
  • Table 4 below shows semantics of the identification type.
  • IdentificationType Describes the identification of a virtual world object.
  • UserID Contains the user identification associated to the virtual world object.
  • Ownership Describes the ownership of the virtual world object.
  • Rights Describes the rights of the virtual world object.
  • Credits Describes the contributors of the virtual object in chronological order. (Note: The 1st listed credit describes an original author of a virtual world object.The subsequent credits represent the list of the contributors of the virtual world object chronologically .)
  • Name Describes the name of the virtual world object.
  • Family Describes the relationship with other virtual world objects.
  • VWO Virtual World Object SoundType
  • FIG. 11 is a diagram illustrating a structure of a virtual world object sound type according to one embodiment of the present invention.
  • FIG. 11 shows the syntax of the virtual world object sound type.
  • Table 6 below shows the semantics of the virtual world object sound type.
  • Table 7 below shows descriptions of sound information related to an object of semantics.
  • a sound resource named "BigAlarm” is obtained from “http://sounddb.com/alarmsound_0001.wav”, and the value of "SoundID” is identifier "3".
  • the sound is 30 seconds long. The sound can be repeatedly played at a volume of 50% of the intensity.
  • VWOScentType Virtual World Object Odor Type
  • FIG. 12 is a diagram illustrating a structure of a virtual world object smell type according to one embodiment of the present invention.
  • Table 8 shows the syntax of the virtual world object smell type.
  • Table 9 shows the semantics of the virtual world object odor type.
  • Table 10 shows a description of the smell information associated with the object.
  • the smell resource named "rose” is obtained from “http://scentdb.com/flower_0001.sct”, and the value of "ScentID” is the identifier "5".
  • the intensity can last 20 seconds at 20%.
  • VWOControlType Virtual World Object Control Type
  • FIG. 13 is a diagram illustrating a structure of a virtual world object control type according to one embodiment of the present invention.
  • Table 11 shows the syntax of the virtual world object control type.
  • Table 12 below shows semantics of the virtual world object control type.
  • Table 13 shows the description of the object control information. Operation characteristic control of the position change is given, and the value of "ControlID" is the identifier "7".
  • VWOEventType Virtual World Object EventType
  • Table 14 is a diagram illustrating a structure of a virtual world object event type according to one embodiment of the present invention.
  • Table 14 below shows the syntax of the virtual world object event type.
  • Table 15 below shows semantics of the virtual world object event type.
  • VWOBehaviourModelType Virtual World Object Behavior Model Type
  • FIG. 15 is a diagram showing the structure of a virtual world object behavior model type according to one embodiment of the present invention.
  • Table 17 shows the syntax of the virtual world object behavior model type.
  • Table 18 below shows semantics of the virtual world object behavior model type.
  • Table 19 below shows a description of the virtual world object behavior model. If EventID is given as “1" as the behavior input, the behavior output can be executed in association with the value "5" of SoundID and the value "4" of AnimationID.
  • VWOHapticPropertyType Virtual World Object Haptic Property Type
  • 16 is a diagram showing the structure of a virtual world object haptic property type according to one embodiment of the present invention.
  • Table 20 below shows the syntax of the virtual world object haptic attribute type.
  • Table 21 shows semantics of the virtual world object haptic attribute type.
  • Table 21 Name Description MaterialProperty This type contains parameters characterizing haptic properties. DynamicForceEffect This type contains parameters characterizing force effects. TactileProperty This type contains parameters characterizing tactile properties.
  • 17 is a diagram illustrating a structure of a material attribute type according to one embodiment of the present invention.
  • Table 22 below shows the syntax of the material attribute type.
  • Table 23 below shows semantics of material attribute types.
  • Table 23 Name Description Stiffness The stiffness of the virtual world object (in N / mm). StaticFriction The static friction of the virtual world object. DynamicFriction The dynamic friction of the virtual world object. Damping The damping of the virtual world object. Texture Contains a link to haptic texture file (eg bump image) Mass The mass of the virtual world object.
  • Table 24 shows material properties of virtual world objects.
  • the rigidity of the virtual world object is 0.5 N / mm
  • the coefficient of static friction is 0.3
  • the coefficient of kinetic friction is 0.002
  • the damping coefficient is 0.001
  • the mass is 0.7
  • the surface haptic texture may be loaded from a given URL.
  • Forcefield Contains link to force filed vector file (sum of force field vectors).
  • MovementTrajectory Contains link to force trajectory file (eg .dat file including sum of motion data).
  • Table 27 below shows the avatar's mechanical force effects.
  • the power field feature of the avatar can be determined by the designed field file from the URL.
  • FIG. 19 is a diagram illustrating a tactile type structure according to one embodiment of the present invention.
  • Table 28 below shows a tactile type syntax.
  • Table 29 below shows the semantics of the tactile type.
  • Table 29 Name Description Temperature The temperature of the virtual world object (in degree celsius). Vibration The vibration of the virtual world object. Current The electric current of the virtual world object (in mA) TactilePatterns Contains link to tactile pattern file (eg grey-scale video (.avi, h.264, or .dat file.)))
  • Table 30 below shows the tactile properties of the avatar.
  • the tactile attribute may have a tactile effect based on a temperature of 15 degrees and tactile information from the URL below.
  • Avatar metadata as a visual representation of a user in a virtual environment serves the following purposes.
  • the "avatar” component may be configured with the following types of data, in addition to the common feature types of virtual world objects.
  • Avatar Appearance Contains a high level description of the appearance and may refer to media containing precise geometry and textures.
  • Avatar Animation may contain a description of the set of animation sequences that the avatar can perform, and may refer to some media containing accurate (geometrical transformation) animation parameters.
  • Avatar Communication Skills Contains a set of descriptors that provide different modalities of information to communicate with the avatar.
  • Avatar Personality Contains a set of descriptors that define an individual's personality.
  • Avatar Control Features Contains a set of descriptors that define possible place-holders for sensors on body skeletons and facial features.
  • FIG. 20 is a diagram illustrating an avatar type structure according to one embodiment of the present invention.
  • Table 31 shows the syntax of the avatar type.
  • Table 32 below shows semantics of avatar types.
  • AvatarAppearance (Contains the high level description of the appearance of an avatar,) AvatarAnimation (Contains the description of a set of animation sequences that the avatar is able to perform.)
  • AvatarCommunicationSkills Contains a set of descriptors providing information on the different modalities an avatar is able to communicate.
  • AvatarPersonality Contains a set of descriptors defining the personality of the avatar.
  • AvatarControlFeatures Contains a set of descriptors defining possible place-holders for sensors on body skeleton and face feature points.
  • AvatarCC (Contains a set of descriptors about the common characteristics defined in the common characteristics of the virtual world object.)
  • Gender Describes the gender of the avatar.
  • FIG. 21 is a view showing the structure of the avatar appearance type according to an embodiment of the present invention.
  • Table 33 below shows the syntax of the avatar appearance type.
  • Table 34 below shows semantics of the avatar appearance type. 22 is an example showing a face scale point in an embodiment of the present invention.
  • FIG. 23 is a diagram illustrating a structure of a physical condition type according to one embodiment of the present invention.
  • Table 35 shows the syntax of the physical condition type.
  • Table 36 below shows the semantics of the physical condition type.
  • Bodystrength This component describes the strength of the body. (This element describes the body strength.Values for this element can be from-3 to 3.)
  • Bodyflexibility This component accounts for body flexibility. (This element describes the body flexibility.Values for this element can be low, medium, high.)
  • FIG. 24 is a diagram illustrating a structure of an avatar animation type according to one embodiment of the present invention.
  • Table 37 shows the syntax of the avatar animation type.
  • Table 38 below shows semantics of the avatar animation type.
  • Table 39 below describes the avatar animation information. Of all animations are given idle, saluting greetings, bows, dances and salsa dances by default. Animation resources are listed in the URL "http://avatarAnimationdb.com/default_idle.bvh”, "http://avatarAnimationdb.com/salutes.bvh”, "http://avatarAnimationdb.com/bowing.bvh”, "http: / /avatarAnimationdb.com/dancing.bvh "and” http://avatarAnimationdb.com/salsa.bvh ".
  • This component defines the avatar's communication skills with respect to other avatars.
  • FIG. 25 is a diagram illustrating a structure of an avatar communication skill type according to one embodiment of the present invention.
  • Table 40 shows the syntax of the avatar communication skill type.
  • Table 40 describes the rest of the avatar and the virtual world that can apply the input and output of the avatar to the preferences of the input and output (also in balance with their own preferences). All inputs and outputs can be applied to each avatar individually.
  • Communication preferences can be defined with the help of two input and two output channels ensuring multiple modalities.
  • the two input and two output channels are verbal recognition, non-verbal recognition as input, and verbal and non-verbal execution as output.
  • Such channels may be specified as “enabled” and “disabled”. Every channel that is “enabled” indicates that the avatar can speak to perform gestures and recognize speech and gestures.
  • the preferences for using the channel through text and through voice in verbal execution and verbal recognition channels may be specified.
  • Non-verbal execution and non-verbal recognition channels may specify the types of gestures "language”, “sign language” and "cued speech communication”.
  • Table 41 below shows semantics of avatar communication skill type.
  • the DefaultLanguage attribute may specify a preferred language for all communication channels of the avatar.
  • the preferred language may generally be a native language. Different languages may be specified that are more important than preference for each communication channel.
  • FIG. 26 illustrates a structure of a verbal communication type according to an embodiment of the present invention.
  • Table 42 shows the syntax of the verbal communication type.
  • Table 43 below shows the semantics of the verbal communication type.
  • Table 43 Name Definition Voice Defines if the avatar is able or prefers to speak when used when used for output verbal communication for OutputVerbalCommunication and understand when used for InputVerbalCommunication.). Text Defines if the avatar is able or prefers to write when used for OutputVerbalCommunication and read when used for InputVerbalCommunication.). Language Defines the preferred language for verbal communication.
  • This Table 43 specifies the verbal communication skills of the avatar. Voice and text can be defined as “enabled”, “disabled” or “preferred” to specify what preferred verbal mode is, and to specify the availability of other verbal modes. have.
  • the optional tag 'Language' may define the preferred language for verbal communication. If the preferred language is not specified, the value of the attribute DefaultLanguage defined in the communication skill tag may be applied.
  • 27 is a diagram showing the structure of a language type according to one embodiment of the present invention.
  • Table 44 shows syntax of language types.
  • Table 45 below shows semantics of language types.
  • Table 45 shows the definition of secondary communication skills for verbal communication. This secondary language may be supported if the preferred language (or default language) defined for communication with other avatars is not available.
  • Table 46 below shows the syntax of the communication preference type.
  • Table 47 below shows semantics of the communication preference type.
  • Table 48 below shows syntax of communication preference level type.
  • Table 49 below shows semantics of the communication preference level type.
  • CommunicationPreferenceLevelType Define preference levels for each language your avatar can speak or understand. Defined the level of preference for each language that the avatar can speak / understand.This level can be: preferred, enabled or disabled .)
  • Table 51 below shows the semantics of the non-oral communication type.
  • SignLanguage Defines the sign languages that the avatar is able to perform when used for OutputVerbalCommunication and interpret when used for InputVerbalCommunication.
  • CuedSpeechCommunication Defines the cued speech communications that the avatar is able to perform when used for OutputVerbalCommunication and interpret when used for InputVerbalCommunication.
  • ComplementaryGesture Defines if the avatar is able to perform complementary gesture during output verbal communication.
  • 29 is a diagram illustrating a structure of a sign language type according to an embodiment of the present invention.
  • Table 52 shows the syntax of the sign language type.
  • Table 53 shows semantics of a sign language type.
  • Table 53 defines secondary communication skills for non-verbal communication (signed or cued communication). This secondary language may be supported if it is not possible to use the preferred language (or default language).
  • FIG. 30 is a diagram showing the structure of an avatar personality type according to one embodiment of the present invention.
  • Table 54 shows the syntax of the avatar personality type.
  • the avatar personality type may define the personality of the avatar. This definition can be based on the OCEAN (Openness, Conscientiousness, Extroversion, Agreeableness, Neuroticism) model, which consists of a set of personalized features. The combination of these features can be of particular personality. Accordingly, the avatar may include Openness, Conscientiousness, Extraversion, Agreeableness, and Neuroticism as sub-tags for each attribute defined in the OCEAN model.
  • OCEAN Openness, Conscientiousness, Extroversion, Agreeableness, Neuroticism
  • this definition may offer the possibility to define the personality of the avatar required and the structure of the virtual world that the structure of the virtual world can understand as the intention of the inhabitants. This definition may make it possible to apply the avatar's verbal and non-verbal communication to this personality.
  • the emotions and moods that may be triggered by virtual world events e.g., communication between avatars or real-time flows
  • Table 55 below shows semantics of the avatar personality type.
  • FIG. 31 is a diagram showing the structure of an avatar control characteristic type according to an embodiment of the present invention.
  • Table 56 below shows the syntax of the avatar control property type.
  • Table 57 shows semantics of the avatar control characteristic type.
  • Table 58 shows a description of controlling the body features and facial features. Control features are given and can act as a container.
  • control body feature type 32 is a diagram showing the structure of a control body feature type according to one embodiment of the present invention.
  • Table 59 below shows the syntax of the control body feature type.
  • Table 60 below shows the semantics of the control body feature type.
  • Table 61 below shows a description of controlling body features.
  • Body feature control maps user-defined body feature points and placeholders.
  • Table 62 shows a set of feature points mapped to placeholders defined in semantics.
  • Table 62 Name of Placeholder User defined features sacrum hip pelvis abdomen Lfemur LThigh Ltibia (femur in front) LShin Lfibulae Lfoot Rfemur RThigh Rtibia (femur in front) Rshin Rfibulae Rfoot thoracic vertebrae 1 chest cervical vertebrae 1 neck skull head Lclavicle lCollar Lhumerus lShldr Lradius lForeArm lfHand lHand Rclavicle Rcollar Rhumerus RShldr Rradius RForeArm
  • control face feature type 33 is a diagram showing the structure of a control face feature type according to one embodiment of the present invention.
  • Table 63 shows the syntax of the control face feature type.
  • Table 64 below shows the semantics of the control face feature type.
  • FIG. 35 shows an example of a left eye outline according to an embodiment of the present invention.
  • "Point1" to "Point4" represent four points constituting the basic outline of the left eye.
  • "Point5" through “Point8” represent four additional points for constructing a high resolution outline of the left eye.
  • FIG. 36 shows an example of a right eye outline according to an embodiment of the present invention.
  • "Point1" to "Point4" represent four points constituting the basic outline of the right eye.
  • "Point5" through “Point8” represent four additional points for constructing a high resolution outline of the right eye.
  • FIG. 37 illustrates an example of an outline of a left eyebrow according to an embodiment of the present invention.
  • FIG. 39 shows an example of outlines of left and right ears according to an embodiment of the present invention.
  • "Point1" to "Point4" in the left face shape represent four points forming the outline of the left ear
  • "Point1" to "Point4" in the right face shape each represent four points forming the outline of the right ear.
  • FIG. 40 is an example showing the outline of the nose in one embodiment of the present invention.
  • "Point1" to “Point4" represent four points constituting the basic outline of the nose.
  • "Point5" through “Point8” represent four additional points for constructing the high resolution outline of the nose.
  • FIG. 41 is an example showing the outline of a lip in an embodiment of the present invention.
  • "Point1" to “Point4" represent four points constituting the basic outline of the lips.
  • "Point5" through “Point14” represent ten additional points for constructing the high resolution outline of the lips.
  • FIG. 42 illustrates an example of a face point according to an exemplary embodiment of the present invention.
  • "Point1" to "Point5" represent five points forming a high resolution facial expression.
  • FIG. 43 is a diagram illustrating an outline type structure according to an embodiment of the present invention.
  • FIG. 43 shows the syntax of the outline type.
  • the outline type may include different types of outlines depending on the number of points forming the outline.
  • 44 is a view showing the structure of the outline four-point type in one embodiment of the present invention.
  • Table 67 shows the syntax of the four-point outline type.
  • Table 68 shows the semantics of the outline 4-point type.
  • the points may be numbered counterclockwise from the leftmost. For example, if there are four points on the left, top, right, and bottom of the outline, the left point is "Point1", the top point is “Point2”, the right point is “Point3”, The bottom point can be "Point4".
  • Table 68 Name Description Point1 The 1st point of the outline. Point2 The 2nd point of the outline Point3 The 3rd point of the outline. Point4 The 4th point of the outline.
  • FIG. 45 is a diagram illustrating a structure of an outline five-point type according to an embodiment of the present invention.
  • Table 69 shows the syntax of the outline five-point type.
  • Table 70 below shows the semantics of the outline 5-point type. In this case, the points may be numbered counterclockwise from the leftmost side as described above.
  • Table 70 Name Description Point1 The 1st point of the outline. Point2 The 2nd point of the outline. Point3 The 3rd point of the outline. Point4 The 4th point of the outline. Point5 The 5th point of the outline.
  • Table 72 below shows the semantics of the outline eight-point type. In this case, the points may be numbered counterclockwise from the leftmost side as described above.
  • Table 72 Name Description Point1 The 1st point of the outline. Point2 The 2nd point of the outline. Point3 The 3rd point of the outline. Point4 The 4th point of the outline. Point5 The 5th point of the outline. Point6 The 6th point of the outline. Point7 The 7th point of the outline. Point8 The 8th point of the outline.
  • FIG. 47 is a diagram illustrating a structure of an outline 14 point type according to an embodiment of the present invention.
  • Table 73 shows the syntax of the outline 14-point type.
  • Table 74 shows the semantics of the outline 14-point type. In this case, the points may be numbered counterclockwise from the leftmost side as described above.
  • Table 74 Name Description Point1 The 1st point of the outline. Point2 The 2nd point of the outline. Point3 The 3rd point of the outline. Point4 The 4th point of the outline. Point5 The 5th point of the outline. Point6 The 6th point of the outline. Point7 The 7th point of the outline. Point8 The 8th point of the outline. Point9 The 9th point of the outline. Point10 The 10th point of the outline. Point11 The 11th point of the outline. Point12 The 12th point of the outline. Point13 The 13th point of the outline. Point14 The 14th point of the outline.
  • Table 75 below shows that facial feature control may map user-defined facial feature points to placeholders.
  • Table 76 below shows a set of feature points mapped to placeholders defined in semantics.
  • the virtual object metadata may serve the following purposes.
  • the "virtual object” component may consist of the following types of data in addition to the common types associated with the types of virtual world object features.
  • VO Appearance Contains a high level description of the appearance and may refer to media containing accurate geometry, textures and haptic properties.
  • Virtual object animation which may include a description of a set of animation sequences that an object may perform, including some exact (geometric transformation and deformations) animation parameters Can refer to the media.
  • FIG. 48 is a diagram showing the structure of a virtual object type according to one embodiment of the present invention.
  • Table 77 shows the syntax of the virtual object type.
  • Table 78 shows semantics of a virtual object type.
  • VOAppearance This element contains a set of metadata describing the visual and tactile elements of the object.
  • VOAnimation This element contains a set of metadata describing pre-recorded animations associated with the object.
  • VOCC This element contains a set of descriptors about the common characteristics defined in the common characteristics of the virtual world object.
  • 49 is a diagram showing the structure of a virtual object appearance type according to one embodiment of the present invention.
  • Table 79 below shows the syntax of the virtual object appearance type.
  • Table 80 below shows semantics of the virtual object appearance type.
  • Table 81 below shows resources of virtual object appearance.
  • VirtualObjectURL provides location information about where the virtual object model can be obtained.
  • Table 81 shows the case where the value of the virtual object URL is http://3DmodelDb.com/object_0001.3ds .
  • FIG. 50 is a diagram showing the structure of a virtual object animation type according to one embodiment of the present invention.
  • Table 82 shows the syntax of the virtual object animation type.
  • Table 83 shows semantics of the virtual object animation type.
  • Table 84 shows the description of the object animation information.
  • a motion type animation of 360 degree rotation is given during the mode animation.
  • the animation resource may be obtained from "http://voAnimaitondb.com/turn_360.bvh", and the animation identifier AnimaitionID may have a value of "3". Intensity can be played once with a duration of 30.
  • the avatar feature control system 5100 includes a sensor control command receiver 5110 and an avatar control information generator 5120.
  • the sensor control command receiver 5110 receives a sensor control command expressing user intention through a sensor-based input device.
  • the sensor-based input device may correspond to the sensor-based input device 101 described with reference to FIG. 1.
  • a motion sensor, a camera, a depth camera, a three-dimensional mouse, or the like may be used as the sensor-based input device.
  • the sensor control command may be generated by sensing facial expressions and body motions of users in the real world.
  • the avatar control information generator 5120 generates avatar control information based on the avatar information and the sensor control command of the virtual world.
  • the avatar control information may include information for controlling characteristics of users according to facial expressions and physical motions to be mapped to avatars of the virtual world.
  • avatar information is metadata about common features of virtual world objects. Identification, virtual world object sound (VWOSound), virtual world object smell (VWOScent), virtual It may include at least one element of a world object control (VWOControl), a virtual world object event (VWOEvent), a virtual world object behavior model (VWOBehviorModel), and a virtual world object haptic properties (VWOHapticProperties).
  • VWOControl virtual world object control
  • VWOEvent virtual world object event
  • VWOBehviorModel virtual world object behavior model
  • VWOHapticProperties virtual world object haptic properties
  • the identification may include at least one of a user identifier (UserID), ownership of the virtual world object, rights, and contributors (Credits) for identifying a user associated with the virtual world object, and the virtual world. At least one of a name of the object and a relationship with another virtual world object may be included as an attribute.
  • UserID user identifier
  • Ciredits contributors
  • the virtual world object sound also includes, as a component, a sound resource Uniform Resource Locator (URL) containing one or more links to the sound file, a sound identifier (SoundID) that is the only identifier of the object sound, and a strength of the sound.
  • the attribute may include at least one of an intensity indicating a), a duration indicating a length of time that a sound lasts, a loop indicating a playback option, and a name of a sound.
  • the virtual world object odor includes an odor resource URL including one or more links to an odor file as a component, and includes a scent identifier (ScentID) that is the only identifier of the object odor, an intensity indicating the intensity of the odor, and a odor.
  • the attributes may include at least one of a duration indicating a length of time, a repetition indicating a regeneration option, and a name of an odor.
  • the virtual world object control includes a motion feature control (MotionFeatureControl) that is a set of components that control the position, orientation and scale of the virtual world object,
  • a control identifier (ControlID), which is an identifier, may be included as an attribute.
  • the operation feature control may include the position of the object in the scene having the three-dimensional floating point vector, the direction and the three-dimensional floating point vector of the object in the scene having the three-dimensional floating point vector at the Euler angle. At least one of a scale of an object in a scene represented by may be included as a component.
  • the virtual world object event may include at least one of a mouse, which is a set of mouse event components, a keyboard, which is a set of keyboard event components, and a user-defined input.
  • An event identifier (EventID), which is a unique identifier, may be included as an attribute.
  • the left mouse button (LeftBttn_down), which is an event occurring when the user clicks the button, double-click, left mouse button, and left button up (left button up) LeftBttn_up), the right button down (RightBttn_down), the event that occurs when you press the right mouse button, the right button up (RightBttn_up), which occurs when you release the right mouse button
  • At least one of the movement may be included as a component.
  • the keyboard may include, as a component, at least one of a key down (Key_Down) which is an event occurring when the keyboard button is pressed and a key up (Key_Up) which is an event occurring when the keyboard button is released.
  • the virtual world object behavior model may include at least one of a behavior input, which is an input event for generating an object behavior, and a behavior output, which is an object behavior output according to the input event, as a component.
  • the action input may include an event identifier as an attribute
  • the action output may include at least one of a sound identifier, an odor identifier, and an animation identifier as an attribute.
  • the virtual world object haptic property type includes material properties, which are parameters that characterize haptic properties, mechanical force effects, which are parameters that characterize force effects, and tactile properties. At least one of the tactile properties (TactileProperties), which is a characteristic parameter, may be included as a component.
  • the material properties may include the stiffness of the virtual world object, the static friction of the virtual world object, the dynamic friction of the virtual world object, the damping of the virtual world object, and the link to the haptic texture file. It may include at least one of the texture (Texture) and the mass of the virtual world object including a property.
  • the dynamic force effect may include at least one of a force field including a link to a force field vector file and a movement trajectory (MovementTrajectory) including a link to a force trajectory file.
  • the tactile properties may include at least one of a tactile pattern (TactilePatterns) including a temperature of the virtual world object, a vibration of the virtual world object, a current of the virtual world object, and a link to a tactile pattern file. You can include one as an attribute.
  • avatar information includes avatar appearance (AvatarAppearance), avatar animation (AvatarAnimation), avatar communication skills (AvatarCommunicationSkills), avatar personality (AvatarPersonality), avatar control characteristics (AvatarCC) and avatar common characteristics (AvatarCC). ) And at least one component, and may include a gender of the avatar as an attribute.
  • an appearance resource may include at least one component.
  • the physical condition may include at least one of a body strength and a body flexibility as a component.
  • avatar animations include Idle, Greeting, Dance, Walk, Moves, Fighting, Hearing, Smoke, and disappointment. It may include at least one component of a common action (Common_Action), a specific action (Specific_Action), a facial expression (Facial_Expression), a body expression (Body_Expression), and an animation resource (AnimationResource).
  • Common_Action Common Action
  • Specific_Action Specific Action
  • Face_Expression a facial expression
  • Body_Expression Body expression
  • AnimationResource an animation resource
  • the avatar communication skill includes at least one of input verbal communication (InputVerbalComuunication), input non-verbal communication (InputNonVerbalCommunication), output verbal communication (OutputVerbalCommunication), and output non-verbal communication (OutputNonVerbalCommunication) as a component.
  • At least one of a default language (DefaultLanguage) may be included as an attribute.
  • the verbal communication including the input verbal communication and the output verbal communication may include language as a component and include at least one of voice, text, and language as attributes.
  • the language may include, as an attribute, at least one of a name that is a string that specifies the name of the language and a preference for using the language in the oral communication.
  • the communication preference including the preference may include a preference level of the avatar's communication.
  • the language may be set with a communication preference level (CommunicationPreferenceLevel) including a preference level for each language that the avatar can speak or understand.
  • Non-oral communication including input non-verbal communication and output non-verbal communication, includes at least one of SignLanguage and CuedSpeechCommumicaiton as components, and complementary gestures. Can be included as an attribute.
  • the sign language may include the name of the language as an attribute.
  • the avatar personality may include at least one of Openness, Conscientiousness, Extraversion, Agreeableness and Neuroticism, and may optionally include the name of the personality.
  • the avatar control feature includes, as components, a control body feature (ControlBodyFeature), which is a set of components that control the movement of the body, and a control face feature (ControlFaceFeature), which is a set of components that control the movement of the face. You can include the name of the configuration as an attribute.
  • ControlBodyFeature which is a set of components that control the movement of the body
  • ControlFaceFeature control face feature
  • the control body characteristic may include at least one of head bones, upper body bones (UpBodyBones), lower body bones (DownBodyBones), and middle body bones (MiddleBodyBones) as components.
  • Controlled face features include HeadOutline, Left Eye Outline, Left Eye Outline, Right Eye Outline, Left Eyebrow Outline, Right Eyebrow Outline, Right Eye Outline, Left Ear Outline, and Right Ear Outline. Include at least one of RightEarOutline, NoseOutline, MouthLipOutline, FacePoints, and MiscellaneousPoints as components, and optionally include the name of the face control configuration as an attribute. Can be. In this case, at least one of the components included in the control face characteristic may be outline 4 points (Outline4Points), which is an outline having four points, outline 5 points (Outline5Points), which is an outline having five points, and outlines having eight points.
  • At least one of 8 points (Outline8Points) and 14 points (Outline14Points) which are outlines having 14 points may be included as a component.
  • at least one of the components included in the control face feature may include a basic number of points, and optionally further include additional points.
  • the avatar information is metadata for representing a virtual object of a virtual environment and includes at least one of a virtual object appearance (VOAppearance), a virtual object animation (VOAnimaiotn), and a virtual object common characteristic (VOCC). It may include one component.
  • VOAppearance virtual object appearance
  • VOAnimaiotn virtual object animation
  • VOCC virtual object common characteristic
  • the virtual object appearance may include a virtual object URL (VirtualObjectURL), which is a component including the one or more links, when one or more links to the appearance file exist.
  • VirtualObjectURL VirtualObjectURL
  • the virtual object animation includes at least one of a virtual object motion (VOMotion), a virtual object deformation (VODeformation), and a virtual object addition animation (VOAdditionalAnimation) as a component, and includes an animation identifier (AnimationID) and a length of time for which the animation lasts. At least one of a duration and a loop, which is a reproduction option, may be included as an attribute.
  • Such avatar information may be referred to the description of FIGS. 9 to 50 described above. That is, since the avatar information has been described in detail, repeated description thereof will be omitted. Metadata structures for such avatar information may be recorded in a computer-readable recording medium.
  • the avatar control information generation unit 5120 controls the feature of the user to be mapped to the avatar of the virtual world through a sensor control command generated by sensing facial expressions and body motions of users in the real world and the above-described avatar information.
  • Avatar control information which is information for doing so may be generated.
  • the avatar feature control system 5100 may directly manipulate the avatar through the avatar control information, or in another embodiment, may transmit the avatar control information to a separate system for manipulating the avatar.
  • the avatar feature control system 5100 may further include an avatar manipulation unit 5130 as in the embodiment of FIG. 51.
  • the avatar manipulation unit 5130 manipulates the avatar of the virtual world using the avatar control information.
  • the avatar control information is information for controlling the user's characteristics to be mapped to the avatar of the virtual world.
  • the avatar manipulation unit 5130 applies the user intention of the real world to the avatar of the virtual world through the avatar control information. You can manipulate the avatar as much as possible.
  • FIG. 52 is a flowchart illustrating a method for controlling avatar features according to an embodiment of the present invention.
  • the avatar feature control method according to the present embodiment may be performed by the avatar feature control system 5100 described with reference to FIG. 51.
  • an avatar feature control method will be described by describing a process in which each step is performed by the avatar feature control system 5100.
  • the avatar feature control system 5100 receives a sensor control command representing a user intention through a sensor-based input device.
  • the sensor-based input device may correspond to the sensor-based input device 101 described with reference to FIG. 1.
  • a motion sensor, a camera, a depth camera, a three-dimensional mouse, or the like may be used as the sensor-based input device.
  • the sensor control command may be generated by sensing facial expressions and body motions of users in the real world.
  • the avatar feature control system 5100 generates avatar control information based on the avatar information and the sensor control command of the virtual world.
  • the avatar control information may include information for controlling characteristics of users according to facial expressions and physical motions to be mapped to avatars of the virtual world.
  • avatar information is metadata about common features of virtual world objects. Identification, virtual world object sound (VWOSound), virtual world object smell (VWOScent), virtual It may include at least one element of a world object control (VWOControl), a virtual world object event (VWOEvent), a virtual world object behavior model (VWOBehviorModel), and a virtual world object haptic properties (VWOHapticProperties).
  • VWOControl virtual world object control
  • VWOEvent virtual world object event
  • VWOBehviorModel virtual world object behavior model
  • VWOHapticProperties virtual world object haptic properties
  • the identification may include at least one of a user identifier (UserID), ownership of the virtual world object, rights, and contributors (Credits) for identifying a user associated with the virtual world object, and the virtual world. At least one of a name of the object and a relationship with another virtual world object may be included as an attribute.
  • UserID user identifier
  • Ciredits contributors
  • the virtual world object sound also includes, as a component, a sound resource Uniform Resource Locator (URL) containing one or more links to the sound file, a sound identifier (SoundID) that is the only identifier of the object sound, and a strength of the sound.
  • the attribute may include at least one of an intensity indicating a), a duration indicating a length of time that a sound lasts, a loop indicating a playback option, and a name of a sound.
  • the virtual world object odor includes an odor resource URL including one or more links to an odor file as a component, and includes a scent identifier (ScentID) that is the only identifier of the object odor, an intensity indicating the intensity of the odor, and a odor.
  • the attributes may include at least one of a duration indicating a length of time, a repetition indicating a regeneration option, and a name of an odor.
  • the virtual world object control includes a motion feature control (MotionFeatureControl) that is a set of components that control the position, orientation and scale of the virtual world object,
  • a control identifier (ControlID), which is an identifier, may be included as an attribute.
  • the operation feature control may include the position of the object in the scene having the three-dimensional floating point vector, the direction and the three-dimensional floating point vector of the object in the scene having the three-dimensional floating point vector at the Euler angle. At least one of a scale of an object in a scene represented by may be included as a component.
  • the virtual world object event may include at least one of a mouse, which is a set of mouse event components, a keyboard, which is a set of keyboard event components, and a user-defined input.
  • An event identifier (EventID), which is a unique identifier, may be included as an attribute.
  • the left mouse button (LeftBttn_down), which is an event occurring when the user clicks the button, double-click, left mouse button, and left button up (left button up) LeftBttn_up), the right button down (RightBttn_down), the event that occurs when you press the right mouse button, the right button up (RightBttn_up), which occurs when you release the right mouse button
  • At least one of the movement may be included as a component.
  • the keyboard may include, as a component, at least one of a key down (Key_Down) which is an event occurring when the keyboard button is pressed and a key up (Key_Up) which is an event occurring when the keyboard button is released.
  • the virtual world object behavior model may include at least one of a behavior input, which is an input event for generating an object behavior, and a behavior output, which is an object behavior output according to the input event, as a component.
  • the action input may include an event identifier as an attribute
  • the action output may include at least one of a sound identifier, an odor identifier, and an animation identifier as an attribute.
  • the virtual world object haptic property type includes material properties, which are parameters that characterize haptic properties, mechanical force effects, which are parameters that characterize force effects, and tactile properties. At least one of the tactile properties (TactileProperties), which is a characteristic parameter, may be included as a component.
  • the material properties may include the stiffness of the virtual world object, the static friction of the virtual world object, the dynamic friction of the virtual world object, the damping of the virtual world object, and the link to the haptic texture file. It may include at least one of the texture (Texture) and the mass of the virtual world object including a property.
  • the dynamic force effect may include at least one of a force field including a link to a force field vector file and a movement trajectory (MovementTrajectory) including a link to a force trajectory file.
  • the tactile properties may include at least one of a tactile pattern (TactilePatterns) including a temperature of the virtual world object, a vibration of the virtual world object, a current of the virtual world object, and a link to a tactile pattern file. You can include one as an attribute.
  • avatar information includes avatar appearance (AvatarAppearance), avatar animation (AvatarAnimation), avatar communication skills (AvatarCommunicationSkills), avatar personality (AvatarPersonality), avatar control characteristics (AvatarCC) and avatar common characteristics (AvatarCC). ) And at least one component, and may include a gender of the avatar as an attribute.
  • an appearance resource may include at least one component.
  • the physical condition may include at least one of a body strength and a body flexibility as a component.
  • avatar animations include Idle, Greeting, Dance, Walk, Moves, Fighting, Hearing, Smoke, and disappointment. It may include at least one component of a common action (Common_Action), a specific action (Specific_Action), a facial expression (Facial_Expression), a body expression (Body_Expression), and an animation resource (AnimationResource).
  • Common_Action Common Action
  • Specific_Action Specific Action
  • Face_Expression a facial expression
  • Body_Expression Body expression
  • AnimationResource an animation resource
  • the avatar communication skill includes at least one of input verbal communication (InputVerbalComuunication), input non-verbal communication (InputNonVerbalCommunication), output verbal communication (OutputVerbalCommunication), and output non-verbal communication (OutputNonVerbalCommunication) as a component.
  • At least one of a default language (DefaultLanguage) may be included as an attribute.
  • the verbal communication including the input verbal communication and the output verbal communication may include language as a component and include at least one of voice, text, and language as attributes.
  • the language may include, as an attribute, at least one of a name that is a string that specifies the name of the language and a preference for using the language in the oral communication.
  • the communication preference including the preference may include a preference level of the avatar's communication.
  • the language may be set with a communication preference level (CommunicationPreferenceLevel) including a preference level for each language that the avatar can speak or understand.
  • Non-oral communication including input non-verbal communication and output non-verbal communication, includes at least one of SignLanguage and CuedSpeechCommumicaiton as components, and complementary gestures. Can be included as an attribute.
  • the sign language may include the name of the language as an attribute.
  • the avatar personality may include at least one of Openness, Conscientiousness, Extraversion, Agreeableness and Neuroticism, and may optionally include the name of the personality.
  • the avatar control feature includes, as components, a control body feature (ControlBodyFeature), which is a set of components that control the movement of the body, and a control face feature (ControlFaceFeature), which is a set of components that control the movement of the face. You can include the name of the configuration as an attribute.
  • ControlBodyFeature which is a set of components that control the movement of the body
  • ControlFaceFeature control face feature
  • the control body characteristic may include at least one of head bones, upper body bones (UpBodyBones), lower body bones (DownBodyBones), and middle body bones (MiddleBodyBones) as components.
  • Controlled face features include HeadOutline, Left Eye Outline, Left Eye Outline, Right Eye Outline, Left Eyebrow Outline, Right Eyebrow Outline, Right Eye Outline, Left Ear Outline, and Right Ear Outline. Include at least one of RightEarOutline, NoseOutline, MouthLipOutline, FacePoints, and MiscellaneousPoints as components, and optionally include the name of the face control configuration as an attribute. Can be. In this case, at least one of the components included in the control face characteristic may be outline 4 points (Outline4Points), which is an outline having four points, outline 5 points (Outline5Points), which is an outline having five points, and outlines having eight points.
  • At least one of 8 points (Outline8Points) and 14 points (Outline14Points) which are outlines having 14 points may be included as a component.
  • at least one of the components included in the control face feature may include a basic number of points, and optionally further include additional points.
  • the avatar information is metadata for representing a virtual object of a virtual environment and includes at least one of a virtual object appearance (VOAppearance), a virtual object animation (VOAnimaiotn), and a virtual object common characteristic (VOCC). It may include one component.
  • VOAppearance virtual object appearance
  • VOAnimaiotn virtual object animation
  • VOCC virtual object common characteristic
  • the virtual object appearance may include a virtual object URL (VirtualObjectURL), which is a component including the one or more links, when one or more links to the appearance file exist.
  • VirtualObjectURL VirtualObjectURL
  • the virtual object animation includes at least one of a virtual object motion (VOMotion), a virtual object deformation (VODeformation), and a virtual object addition animation (VOAdditionalAnimation) as a component, and includes an animation identifier (AnimationID) and a length of time for which the animation lasts. At least one of a duration and a loop, which is a reproduction option, may be included as an attribute.
  • Such avatar information may be referred to the description of FIGS. 9 to 50 described above. That is, since the avatar information has been described in detail, repeated description thereof will be omitted. Metadata structures for such avatar information may be recorded in a computer-readable recording medium.
  • the avatar feature control system 5100 controls the feature of the user to be mapped to the avatar of the virtual world through a sensor control command generated by sensing facial expressions and body motions of users in the real world and the above-described avatar information.
  • Avatar control information that is information for the user may be generated.
  • the avatar feature control system 5100 may directly manipulate the avatar through the avatar control information, or in another embodiment, may transmit the avatar control information to a separate system for manipulating the avatar.
  • the avatar feature control system 5100 may further include a step 5230 as in the embodiment of FIG. 52.
  • the avatar feature control system 5100 manipulates the avatar of the virtual world using the avatar control information.
  • the avatar control information is information for controlling the characteristics of the users to be mapped to the avatar of the virtual world.
  • the avatar feature control system 5100 uses the avatar control information to determine the avatar of the virtual world.
  • the avatar can be manipulated to apply to.
  • the avatar feature control system or the avatar feature control method according to the present embodiments it is possible to efficiently control the avatar feature in the virtual world, to set a feature point for sensing a face of a user in the real world, By generating the face of the avatar of the virtual world using the data collected for the feature points, an arbitrary expression that cannot be defined in the animation can be generated.
  • FIG. 53 is a diagram showing the structure of a system for exchanging information and data between a real world and a virtual world according to another embodiment of the present invention.
  • a real world device eg, a sensor-based input device 101 such as the motion sensor described with reference to FIG. 1
  • the sensor signal including control information (CI) regarding the intention of the real world user may be transmitted to the virtual world processing apparatus.
  • the control information CI may be a command according to a value input through a real-world device and information related to the command.
  • the control information CI may include sensory input device capabilities (SIDC), user sensory input preferences (USIP), sensory input device commands (SDICmd).
  • the adaptation real world to virtual world may be implemented as a real world to virtual world engine (RV engine).
  • the adaptive RV adapts the information of the real world input through the real world device to the virtual world by using control information (CI) related to the motion, state, intention, and shape of the user of the real world included in the sensor signal.
  • CI control information
  • To information that can be converted into This adaptation process can affect virtual world information (VWI).
  • Virtual world information is information about the virtual world.
  • the information may be information about elements constituting a virtual world, such as a virtual world object or an avatar.
  • Changes to virtual world information (VWI) can take the form of virtual world effect metadata (VWEM), virtual world preferences (VWP), and virtual world capabilities (VWC) in the RV engine. It can be done by command.
  • VWEM virtual world effect metadata
  • VWP virtual world preferences
  • VWC virtual world capabilities
  • Table 85 describes the configurations shown in FIG. 53.
  • 54 and 58 are diagrams for describing an avatar control command according to an embodiment of the present invention.
  • avatar control commands 5410 may include an avatar control command base type 5411 and an exception attributes 5412. ) May be included.
  • FIGS. 55 to 58 are examples of avatar control commands using XML (eXtensible Markup Language).
  • XML eXtensible Markup Language
  • the program source shown in FIGS. 55 to 58 is only one embodiment, and the present invention is not limited thereto.
  • Reference numeral 5518 denotes a definition of a base element of the avatar control command 5410.
  • the avatar control command 5410 refers to a command for controlling an avatar.
  • Reference numeral 5520 denotes a definition of a root element of the avatar control command 5410.
  • the avatar control command 5410 may mean a role of a root element for metadata.
  • Avatar control command base type 5411 extends the avatar ctrl cmd base type and defines a base abstract type for a subset of the types defined as avatar control command metadata types. (Avatar control command base type provides a base abstract type for a subset of types defined as part of the avatar control commands metadata types).
  • the exception property 5412 may be an additional avatar control command.
  • the avatar control command base type 5411 may include an avatar control command base attributes 5413 and an exception attribute 5414.
  • Reference numeral 5515 denotes the definition of the avatar control command basic attribute 5413.
  • the avatar control command basic attribute 5413 refers to displaying a group of attributes for the commands.
  • the avatar control command basic attribute 5413 may include an id, an idref, an activated state, and a value.
  • id is ID information for identifying an individual identity of the avatar control command basic type 5411.
  • idref references elements containing the instantiated attribute of type id (idref references elements that have an instantiated attribute of type id).
  • the idref may be additional information about an id for distinguishing individual identities of the avatar control command base type 5411.
  • Activate indicates whether the effect shall be activated.
  • a 'true' value may mean that the effect is activated, and a 'false' value may mean that the effect is deactivated.
  • the active state has data of type "boolean" and may be used optionally.
  • Value describes the intensity of the effect in percentage according to the max scale defined within the semantics definition of the individual effects .
  • the value has data of type “integer” and may be used optionally.
  • Exception attribute 5414 is meant to provide an extension mechanism for including attributes from a namespace other than the target namespace.
  • the attribute to be included may be an XML streaming instruction defined in ISO / IEC 21000-7 to identify the process unit and to associate the time information of the process units.
  • 'si: pts' may indicate the point at which the combined information may be used in an application for processing.
  • Reference numeral 5162 denotes the definition of an avatar control command appearance type.
  • the avatar control command appearance type includes an appearance control type, an animation control type, a communication skill control type, and an individuality control type. personality control type and control control type.
  • Reference numeral 5403 denotes an element of an appearance control type.
  • the appearance control type is a tool for displaying appearance control commands.
  • the structure of the appearance control type will be described in detail with reference to FIG. 59.
  • an appearance control type 5910 may include an avatar control command base type 5920 and an element. It may include. Since the avatar control command basic type 5920 has been described in detail above, a description thereof will be omitted.
  • the components of the appearance control type 5910 may include a body, a head, eyes, nose, lips, skin, and a face. facials, nails, hair, eyebrows, facial hair, appearance resources, physical conditions, clothes, shoes, It may include accessories.
  • reference numeral 5725 denotes a component of a communication skill control type.
  • the communication skill control type is a tool for displaying animation control commands.
  • the structure of the communication skill control type will be described in detail with reference to FIG. 60.
  • a communication skill control type 6010 may include an avatar control command base type 6020 and an element.
  • the components of the communication skill control type 6010 include input verbal communication, input nonverbal communication, output verbal communication, and output. It may include ouput nonverbal communication.
  • reference numeral 5826 denotes a component of a personality control type.
  • the personality control type is a tool for displaying animation control commands.
  • the structure of the personality control type will be described in detail with reference to FIG.
  • the personality control type 6110 may include an avatar control command base type 6120 and an element.
  • the components of the personality control type 6110 may include openness, agreeableness, neuroticism, extraversion and conscientiousness.
  • reference numeral 5624 denotes a component of an animation control type.
  • the animation control type is a tool for displaying animation control commands.
  • the structure of the animation control type will be described in detail with reference to FIG. 62.
  • an animation control type 6210 includes an avatar control command base type 6220, an exception attribute 6230, and an element. can do.
  • the exception attribute 6230 may include a motion priority 6321 and a speed 6322.
  • Motion priority determines the priority when generating the motion of avatar by mixing with animation and body by mixing animation with body and / or control facial features. and / or facial feature control).
  • Speed 6322 adjusts the speed of the animation to achieve various effects using the same animation.
  • animations related to walking motions may be classified into slow walking motions, normal speed walking motions, and fast walking motions according to the speed level.
  • the components of the animation control type 6210 are idle, greeting, dance, walk, moves, fighting, listening, smoking, and smoke. , disappointment, common actions, specific actions, facial expressions, body expressions, and animation resources.
  • control Control type is a tool for displaying control feature control commands.
  • the structure of the control control type will be described in detail with reference to FIG.
  • a control control type 6310 according to an embodiment of the present invention includes an avatar control command base type 6320, an exception attribute 6330, and an element. can do.
  • the exception property 6330 is a motion priority (631), frame time (6332), num of frame (6333) and frame id (frame id). (6334).
  • Motion priority 6331 determines priority when generating an avatar's motion by mixing animation with control body features and / or control face features.
  • Frame time 6332 defines the frame interval of the motion control data.
  • the unit of the frame interval may be seconds.
  • the number of frames 6333 selectively defines the total number of frames for motion control (num of frame optionally defines the total number of frames for the motion control).
  • Frame id 6342 indicates the order of each frame.
  • the components of the control control type 6310 may include control body features 6340 and control face features 6350.
  • control body feature 6340 may include a control body feature type.
  • control body feature type may include components of headbones, upper body bones, down body bones and middle body bones.
  • the motion of the avatar in the virtual world is related to the animation control type and the control control type.
  • the animation control type may include information regarding the order of the animation set, and the control control type may include information regarding motion sensing.
  • an animation or a motion sensing device may be used. Accordingly, an image device for controlling the operation of the avatar of the virtual world according to an embodiment of the present invention will be described in detail.
  • 64 is a diagram illustrating a configuration of an imaging apparatus according to an embodiment of the present invention.
  • an imaging device 6400 includes a storage unit 6410 and a processor 6420.
  • the storage unit 6410 includes animation control information including animation clip, information about which part of an avatar the animation clip corresponds to, and priority. And control control information including information on which part of which avatar the motion data processing the value received from the motion sensor corresponds to, and priority.
  • An animation clip is moving image data of an action of an avatar of a virtual world.
  • the avatar of the virtual world may be divided into parts to store animation clips and motion data corresponding to each part.
  • the avatar of the virtual world may be divided into parts of a facial expression, a head, an upper body, a middle body, and a lower body. This will be described in detail with reference to FIG. 65.
  • 65 is a diagram illustrating an avatar divided into parts of a facial expression, a head, an upper body, a middle body, and a lower body according to an embodiment of the present invention.
  • the avatar 6500 of the virtual world is divided into a facial expression 6510, a head 6520, an upper body 6530, a middle body 6540, and a lower body 6550.
  • the animation clip and motion data may be data corresponding to any one of a facial expression 6510, a head 6520, an upper body 6530, a middle body 6540, and a lower body 6550.
  • animation control information includes information and priority regarding which part of which avatar an animation clip corresponds to.
  • the information regarding which part of which avatar the animation clip corresponds to may be information about which part of the avatar's facial expression, head, upper body, middle body, and lower body.
  • Animation clips corresponding to any part of the avatar may have a priority.
  • the priority may be set in advance by a user in the real world, or may be set in real time. The priority will be described later in detail with reference to FIG. 68.
  • the animation control information may further include information about the speed of the animation clip corresponding to any part of the avatar.
  • the animation clip may move slowly, walk at a normal speed, or walk fast according to information about the speed of the animation clip. And data about a jumping operation.
  • the control control information includes information and priority regarding which part of which avatar the motion data processing the value received from the motion sensor corresponds to.
  • a motion sensor is a sensor that is a real world device for measuring a user's motion, facial expression, and state of the real world.
  • the motion data may be data processed to receive a value measured by a motion sensor of a user in the real world, a facial expression, a state, and the like, and apply the value to an avatar of the virtual world.
  • a motion sensor measures the positional information of the user's arms and legs in the real world, which is the value of X real , Y real , Z real, the values of the x, y, and z axes It can be represented by ⁇ Xreal , ⁇ Yreal , and ⁇ Zreal
  • the motion data may be data processed to apply the value of the location information to the avatar of the virtual world.
  • the avatar of the virtual world may be divided into parts, and motion data corresponding to each part may be stored.
  • the information regarding which part of which avatar the motion data corresponds to may be information regarding which part of the avatar's facial expression, head, upper body, middle body, and lower body.
  • Motion data corresponding to any portion of the avatar may have a priority.
  • the priority may be set in advance by a user of the real world, or may be set by receiving an input in real time. The priority will be described later in detail with reference to FIG. 68.
  • the processor 6620 determines the data to be applied to the first portion of the avatar by comparing the priority of the animation control information corresponding to the first portion of the avatar with the priority of the control control information corresponding to the first portion of the avatar. do. This will be described later in detail with reference to FIG. 66.
  • 66 is a diagram illustrating a database for animation clips according to an embodiment of the present invention.
  • a database 6600 for an animation clip according to an embodiment of the present invention is classified into categories of an animation clip 6610, a corresponding portion 6620, and a priority 6630.
  • Animation clip 6610 is a category of data about the behavior of the avatar corresponding to any portion of the avatar in the virtual world.
  • the animation clip 6610 may be a category for an animation clip corresponding to any one of an avatar's facial expression, a head, an upper body, a middle body, and a lower body.
  • the first animation clip 6611 is an animation clip corresponding to the facial expression portion of the avatar and may be data about a smiley motion.
  • the second animation clip 6612 is an animation clip corresponding to the head of the avatar and may be data about an operation of shaking the head from side to side.
  • the third animation clip 6613 is an animation clip corresponding to the upper body part of the avatar and may be data about an operation of raising both arms.
  • the fourth animation clip 6614 is an animation clip corresponding to the middle part of the avatar and may be data about an action of extending the hip forward.
  • the fifth animation clip 6615 is an animation clip corresponding to the lower body part of the avatar, and may be data about an operation of bending one leg and extending the other leg backward.
  • the corresponding part 6620 is a category of data regarding which part of the avatar the animation clip corresponds to.
  • the corresponding part 6620 may be a category of data regarding which part of the avatar's facial expression, head, upper body, middle body, and lower body corresponds to the avatar.
  • the first animation clip 6611 is an animation clip corresponding to the facial expression part of the avatar
  • the first correspondence part 6621 may be expressed as 'facial expression'.
  • the second animation clip 6612 is an animation clip corresponding to the head of the avatar
  • the second corresponding part 6622 may be denoted as 'head'.
  • the third animation clip 6613 is an animation clip corresponding to the upper body part of the avatar
  • the third correspondence part 6623 may be referred to as an 'upper body'.
  • the fourth animation clip 6614 is an animation clip corresponding to the middle part of the avatar
  • the fourth correspondence part 6624 may be referred to as a 'middle body'.
  • the fifth animation clip 6615 is an animation clip corresponding to the lower body part of the avatar, the fifth corresponding part 6625 may be referred to as a 'lower body'.
  • Priority 6630 is a category of values for the priority of the animation clip. According to an embodiment, it may be a category of values for priority of animation clips corresponding to any one of a facial expression, a head, an upper body, a middle body, and a lower body of an avatar.
  • the first animation clip 6611 corresponding to the facial expression portion of the avatar may have a priority value of '5'.
  • the second animation clip 6612 corresponding to the head of the avatar may have a priority value of '2'.
  • the third animation clip 6613 corresponding to the upper body of the avatar may have a priority value of '5'.
  • the fourth animation clip 6614 corresponding to the middle part of the avatar may have a priority value of '1'.
  • the fifth animation clip 6615 corresponding to the lower body of the avatar may have a priority value of '1'.
  • the priority value for the animation clip may be set in advance from a user in the real world or may be set by receiving an input in real time.
  • 67 is a diagram illustrating a database for motion data according to an embodiment of the present invention.
  • the database 6700 for motion data according to the present embodiment is classified into categories of the motion data 6710, the corresponding part 6720 , and the priority 6730.
  • the motion data 6710 is data obtained by processing a value received from a motion sensor, and is a category of motion data corresponding to any part of an avatar of the virtual world.
  • the motion data 6710 may be a category of motion data corresponding to any one of a facial expression, a head, an upper body, a middle body, and a lower body of an avatar.
  • the first motion data 6711 is motion data corresponding to the facial expression portion of the avatar. When the user in the real world performs a frowning motion and the motion sensor measures the measured value, the first motion data 6711 may measure the measured value as the avatar in the virtual world.
  • the data may be data about an operation of frowning a face by a user of the real world, which is processed to be applied to a facial expression portion of the face.
  • the second motion data 6712 may be motion data corresponding to the head of the avatar and may be data about an operation of bowing down by a user of the real world.
  • the third motion data 6713 may be motion data corresponding to the upper body of the avatar, and may be data about an operation of lifting a user's arms from side to side in the real world.
  • the fourth motion data 6714 is motion data corresponding to the middle portion of the avatar, and may be data about an action of shaking a hip back and forth by a user of the real world.
  • the fifth motion data 6715 may be motion data corresponding to the lower body of the avatar, and may be data about an operation of bending a user of the real world while bending both legs from side to side.
  • the corresponding part 6720 is a category of data regarding which part of the avatar the motion data corresponds to.
  • the corresponding part 6720 may be a category of data regarding whether the motion data corresponds to the facial expression, the head, the upper body, the middle body, and the lower body of the avatar.
  • the first motion data 6711 is motion data corresponding to the facial expression part of the avatar
  • the first corresponding part 6721 may be expressed as a 'facial expression'.
  • the second motion data 6712 is motion data corresponding to the head of the avatar
  • the second corresponding part 6722 may be referred to as 'head'.
  • the third motion data 6713 is motion data corresponding to the upper body part of the avatar
  • the third corresponding part 6723 may be referred to as 'upper body'.
  • the fourth motion data 6714 is motion data corresponding to the middle part of the avatar
  • the fourth corresponding part 6724 may be referred to as a 'middle body'.
  • the fifth motion data 6715 is motion data corresponding to the lower body part of the avatar
  • the fifth corresponding part 6725 may be referred to as a 'lower body'.
  • Priority 6730 is a category of values for the priority of motion data. According to an embodiment, it may be a category of values for priority of motion data corresponding to any one of a facial expression, a head, an upper body, a middle body, and a lower body of an avatar.
  • the first motion data 6711 corresponding to the facial expression portion of the avatar may have a priority value of '1'.
  • the second motion data 6712 corresponding to the head of the avatar may have a priority value of '5'.
  • the third motion data 6713 corresponding to the upper body of the avatar may have a priority value of '2'.
  • the fourth motion data 6714 corresponding to the middle part of the avatar may have a priority value of '5'.
  • the fifth motion data 6715 corresponding to the lower body of the avatar may have a priority value of '5'.
  • the priority value for the motion data may be set in advance from a user of the real world or may be set by receiving an input in real time.
  • FIG. 68 is a view illustrating an operation of determining motion object data to be applied to any part of an avatar by comparing priorities according to an embodiment of the present invention.
  • the avatar 6810 is divided into parts of a facial expression 6811, a head 6812, an upper body 6713, a middle body 6814, and a lower body 6815.
  • Motion object data is data about the motion of any part of the avatar.
  • Motion object data may include animation clips and motion data.
  • the motion object data may be obtained by processing a value received from a motion sensor or by reading from a storage unit of an image device.
  • the motion object data may correspond to any one of facial expression, head, upper body, middle body and lower body of the avatar.
  • Database 6820 is a database for animation clips. Also, database 6830 is a database for motion data.
  • the processing unit of the imaging apparatus compares the priority of the animation control information corresponding to the first portion of the avatar 6810 with the priority of the control control information corresponding to the first portion of the avatar, It is possible to determine the data to apply to the first part of.
  • the first animation clip 6821 corresponding to the facial expression 6811 of the avatar 6810 has a priority value of '5' and corresponds to the facial expression 6811 of the avatar 6810.
  • the first motion data 6831 may have a priority value of '1'. Since the first animation clip 6821 has a higher priority value than the first motion data 6831, the processor of the imaging apparatus may apply data to be applied to the facial expression 6811 of the avatar 6810. 6821).
  • the second animation clip 6822 corresponding to the head 6812 of the avatar 6810 has a priority value of '2' and second motion data 6832 corresponding to the head 6812 of the avatar 6810. ) May have a value of '5'. Since the second motion data 6832 has a higher priority value than the second animation clip 6822, the processing unit of the imaging apparatus applies the data to be applied to the head 6812 of the avatar 6810. Can be determined.
  • the third animation clip 6823 corresponding to the upper body 6713 of the avatar 6810 has a priority value of '5'
  • the third motion data 6833 corresponding to the upper body 6713 of the avatar 6810. May have a value of '2'. Since the third animation clip 6823 has a higher priority value than the third motion data 6833, the processing unit of the video chapter applies data to the upper body 6713 of the avatar 6810 to the third animation clip 6823. Can be determined.
  • the fourth animation clip 6824 corresponding to the middle body 6814 of the avatar 6810 has a priority value of '1'
  • the fourth motion data 6834 corresponding to the middle body 6814 of the avatar 6810. May have a value of '5'. Since the fourth motion data 6834 has a higher priority value than the fourth animation clip 6824, the processing unit of the imaging apparatus applies the data to be applied to the middle body 6814 of the avatar 6810 to the fourth motion data 6834. Can be determined.
  • the fifth animation clip 6825 corresponding to the lower body 6815 of the avatar 6810 has a priority value of '1'
  • the fifth motion data 6835 corresponding to the lower body 6815 of the avatar 6810. May have a value of '5'. Since the fifth motion data 6635 has a higher priority value than the fifth animation clip 6825, the processor of the imaging apparatus may apply data to be applied to the lower body 6815 of the avatar 6810. Can be determined.
  • the avatar 6810 has a first animation clip 6721 at the facial expression 6811, a second motion data 6832 at the head 6812, a third animation clip 6827 at the upper body 6613,
  • the middle body 6814 may have fourth motion data 6834 and the lower body 6815 may have fifth motion data 6835.
  • Data corresponding to any part of the avatar 6810 may include a plurality of animation clips and a plurality of motion data.
  • a method of determining data to be applied to any part of the avatar 6810 will be described with reference to FIG. 69.
  • the imaging apparatus checks information included in motion object data (S6910).
  • the information included in the motion object data may include information regarding which part of which avatar the motion object data corresponds to and the priority of the motion object data.
  • the motion object data obtained by reading or processing may be determined as data to be applied to the first part of the avatar.
  • the processor of the imaging apparatus compares the existing motion object data with the priority value of the newly acquired or processed motion object data (S6920).
  • the data to be applied to the first part of the avatar is determined as the newly acquired or processed motion object data. (S6930).
  • the existing motion object data has a higher priority value than the newly read or processed motion object data
  • the existing motion object data is determined as data to be applied to the first portion of the avatar.
  • the imaging apparatus repeats the processes from step S6910 to step S6940 on the motion object data that is not determined.
  • a video of the avatar is generated by combining data having the highest priority among the motion object data corresponding to each part of the avatar (S6950).
  • the processor of the imaging apparatus compares the priority of the animation control information corresponding to each part of the avatar with the priority of the control control information, determines the data to be applied to each part, and determines the determined data. Can be combined to create a video of the avatar.
  • a process of determining data to be applied to each part of the avatar has been described in detail with reference to FIG. 70. Hereinafter, a process of generating a video of the avatar by combining the determined data will be described.
  • FIG. 70 is a flowchart illustrating an operation of combining motion object data corresponding to each part of an avatar according to an embodiment of the present invention.
  • the imaging apparatus finds a part of an avatar including a root element (S7010).
  • motion object data may include animation clips and motion data.
  • the motion object data may include information about the connection axis.
  • the joint direction angle included in the information about the connection axis extracted from the motion object data is changed in a relative direction (S7040).
  • the joint direction angle included in the information about the connecting axis may be a relative direction, in which case the step S7040 may be omitted and the process may directly go to step S7050.
  • the joint direction angle is an absolute direction
  • a method of changing the joint direction angle in a relative direction will be described in detail.
  • the case where the avatar of the virtual world is divided into parts of a facial expression, a head, an upper body, a middle body, and a lower body is demonstrated as an Example.
  • the motion object data corresponding to the middle body of the avatar may include body center coordinates.
  • the absolute direction of the joint direction may be changed in a relative direction with respect to the connection portion of the intermediate portion including the body center coordinates.
  • the imaging apparatus extracts information about a connection axis stored in motion object data corresponding to the middle body of the avatar.
  • Information about the linking axis can be found in the articulation angle between the thoracic vertebrae, the connecting part of the upper body of the avatar, and the cervical vertebrae, the connecting part of the head, and the thoracic vertebrae, the connecting part of the upper body.
  • Joint orientation angle between the left clavicle and the left clavicle, joint orientation angle between the thoracic vertebrae and the right clavicle and the pelvis and pelvis It may include a joint direction angle between the left femur, the connection site, the pelvis, the connection site of the middle portion, and the right femur, the connection site of the lower body region.
  • Equation 1 the joint direction angle between the pelvis and the right thigh may be represented by Equation 1 below.
  • Equation 1 function A (.) Is a directional cosine matrix, and R RightFemur_Pelvis is a rotational matrix for a direction angle between the pelvis and the right thigh. Further, ⁇ RightFemur is the joint direction angle at the right femur of the lower body part of the avatar, and ⁇ Pelvis is the joint direction angle of the pelvis and right femur of the middle body part.
  • Equation 2 a rotation function
  • the absolute direction of the joint direction may be changed in a relative direction with respect to the connection portion of the intermediate portion including the body center coordinates.
  • the joint direction angle which is an absolute direction included in the information about the connection axis stored in the motion object data corresponding to the lower body of the avatar, is represented by the relative direction as shown in Equation 3 below. Can be changed.
  • the joint direction angle which is an absolute direction included in the information about the connection axis stored in the motion object data corresponding to the head and the upper body of the avatar, may be changed in the relative direction.
  • the motion object data corresponding to each part is combined using the information about the connection axis stored in the motion object data corresponding to each part of the avatar (S7050). .
  • step S7030 it is checked whether there is motion data that is not combined (S7030).
  • 71 is a diagram illustrating an operation of combining motion object data corresponding to each part of an avatar according to an embodiment of the present invention.
  • the motion object data 7110 corresponding to the first part of the avatar and the motion object data 7120 corresponding to the second part are combined to provide a video of the avatar. Create (7130).
  • the motion object data 7110 corresponding to the first part may be any one of an animation clip and motion data.
  • the motion object data 7120 corresponding to the second part may be any one of an animation clip and motion data.
  • the storage unit of the imaging device further stores information about the connection axis 7101 of the animation clip, the processing unit using the information about the connection axis 7101 of the animation clip using the animation clip and motion data Can be combined.
  • the processor may combine the animation clip and the animation clip by using information about the connection axis 7101 of the animation clip.
  • the processor may extract information about the connection axis from the motion data, and combine the animation clip and the motion data by matching the connection axis 7101 of the animation clip with the connection axis of the motion data.
  • the processor may combine the motion data and the motion data by using information about the connection axis extracted from the motion data. Information about the connection axis has been described in detail with reference to FIG. 70, and will not be described below.
  • an imaging apparatus reflects a face of a user in the real world to a face of an avatar in a virtual world will be described.
  • the imaging device may sense a face of a user of the real world through a real world device (for example, an image sensor) and reflect the face of the avatar of the virtual world.
  • a real world device for example, an image sensor
  • the imaging apparatus may sense a face of a user of the real world and reflect the facial expression and head of the avatar of the virtual world.
  • the imaging apparatus may sense data on feature points of a user's face in the real world, collect data on the feature points, and generate a face of an avatar in the virtual world using the data on the feature points.
  • the imaging apparatus using the imaging apparatus according to the exemplary embodiment of the present invention, it is possible to provide animation control information for controlling the avatar of the virtual world and control metadata regarding the structure of the motion data, and to provide arbitrary By comparing the priority of the animation clip corresponding to the part with the priority of the motion data, and determining the data corresponding to any part of the avatar, the avatar combined with the motion clip sensing the motion of the animation clip and the user in the real world. Can generate an operation.
  • 72 is a diagram illustrating a terminal and a virtual world server for controlling a virtual world object according to one embodiment of the present invention.
  • the terminal 7210 may receive 7181 information from the real-world device 7220.
  • the information received from the real-world device 7220 (7221) is the control input and the temperature sensor, motion sensor, optical sensor, intelligent camera, position sensor or inputted through a device such as a keyboard, mouse or pointer It may include a sensor input input through a device such as an acceleration sensor.
  • the adaptation engine 7121 included in the terminal 7210 may generate a normalized control command using the received information 7141.
  • the control input may be converted according to the control command to generate the control command, or the control command may be generated based on the sensor input.
  • the terminal 7210 may transmit 7212 the normalized control command to the virtual world server 7230.
  • the virtual world server 7230 may receive the normalized control command transmitted 7212 at the terminal 7210.
  • the virtual world engine 7121 included in the virtual world server 7230 may generate information about the virtual world object by converting the normalized control command according to the corresponding virtual world object.
  • the virtual world server 7230 may transmit 7222 information about the generated virtual world object to the terminal 7210.
  • the virtual world object may include an avatar and a virtual object.
  • the avatar may mean an object in which the user's appearance is reflected among the virtual world objects, and the virtual object may mean other objects except the avatar among the virtual world objects.
  • the terminal 7210 may control the virtual world object based on the information about the virtual world object. For example, the terminal 7210 may control the virtual world object by generating a control command based on the information about the virtual world object and transmitting it to the display 7240 (7213). That is, the display 7240 may reproduce the information of the virtual world based on the transmitted control command 7213.
  • a normalized control command is generated by using the information received from the real-world device 7220 (7221) in the adaptation engine 7121 included in the terminal 7210, but in another embodiment, the terminal ( The 7210 may send the received 7221 information directly to the virtual world server 7230 without directly generating a normalized control command. Alternatively, the process may be performed 7212 to the virtual world server 7230 after performing only a process of normalizing the received information 7221.
  • the control input can be modified to fit the virtual world, and the sensor input can be normalized and sent 7212 to the virtual world server 7230.
  • the virtual world server 7230 generates a normalized control command based on the transmitted 7212 information, and converts the normalized control command according to the corresponding virtual world object to generate information about the virtual world object. Can be.
  • the virtual world server 7230 may transmit (7232) the information about the generated virtual world object to the terminal 7210. That is, the virtual world server 7230 may process all the processes of generating information about the virtual world object based on the received information from the real world device 7141.
  • the virtual world server 7230 may be used to communicate with a plurality of terminals so that the contents processed by each terminal are reproduced in the same display on each of the plurality of terminals.
  • 73 is a diagram showing a terminal for controlling a virtual world object according to another embodiment of the present invention.
  • the terminal 7310 illustrated in FIG. 73 further includes a virtual world engine 7312 compared to the terminal 7210 illustrated in FIG. 72. That is, the terminal 7310 uses information received from the real world device 7320 including both the adaptation engine 7311 and the virtual world engine 7312 in the terminal 7310 without communicating with the virtual world server 7230 described with reference to FIG. 72.
  • the terminal 7310 may control the virtual world object by generating a control command based on the information on the virtual world object and transmitting the generated control command to the display 7330. That is, the display 7330 may reproduce the information of the virtual world based on the transmitted control command.
  • FIG. 74 is a diagram illustrating a plurality of terminals for controlling a virtual world object according to another embodiment of the present invention.
  • the first terminal 7210 may receive information from the real world device 7420, and generate information about the virtual world object by using the information received from the adaptation engine 7171 and the virtual world engine 7422. In addition, the first terminal 7210 may control the virtual world object by generating a control command based on the information on the virtual world object and transmitting the generated control command to the first display 7230.
  • the second terminal 7440 may also receive information from the real world device 7450, and generate information on the virtual world object using the information received from the adaptation engine 7501 and the virtual world engine 7702. .
  • the second terminal 7210 may control the virtual world object by generating a control command based on the information on the virtual world object and transmitting the generated control command to the second display 7460.
  • the first terminal 7710 and the second terminal 7440 may exchange information about the virtual world object between the virtual world engines 7242 and 7442 (7470).
  • the contents processed in each of the first terminal 7410 and the second terminal 7440 are equally applied to one virtual world.
  • information about a virtual world object may be exchanged between the first terminal 7410 and the second terminal 7440.
  • FIG. 75 is a diagram illustrating a terminal for controlling a virtual world object according to another embodiment of the present invention.
  • the terminal 7510 shown in FIG. 75 further includes a virtual world sub engine 7512 in communication with the virtual world server 7530. That is, the adaptation engine 7511 included in the terminal 7510 generates a normalized control command based on the information received from the real world device 7520, and the virtual world sub engine 7512 is based on the normalized control command.
  • the terminal 7510 may control the virtual world object based on the information about the virtual world object. That is, the terminal 7510 may control the virtual world object by generating a control command based on the information about the virtual world object and transmitting the generated control command to the display 7540.
  • the terminal 7510 receives the virtual world information from the virtual world server 7530, generates a control command through the virtual world information and the information about the virtual world object, and transmits the control command to the display 7540, thereby providing The whole information can be played back.
  • the virtual world server 7530 may use the virtual world information (eg, for a virtual object) required by the terminal 7510. Information or information about other avatars).
  • the terminal 7510 may transmit the processing result according to the control of the virtual world object to the virtual world server 7730, and the virtual world server 7730 may update the virtual world information based on the processing result. That is, since the virtual world information is updated in the virtual world server 7530 according to the processing result of the terminal 7510, the virtual world information reflecting the processing result may be provided to other terminals.
  • the virtual world server 7530 may process virtual world information using the virtual world engine 7531.
  • Methods according to an embodiment of the present invention may be implemented in the form of program instructions that can be executed by various computer means and recorded in a computer readable medium.
  • the computer readable medium may include program instructions, data files, data structures, etc. alone or in combination.
  • Program instructions recorded on the media may be those specially designed and constructed for the purposes of the present invention, or they may be of the kind well-known and available to those having skill in the computer software arts.
  • various metadata structures as described above may be recorded in a computer readable recording medium.
  • a metadata structure in which avatar facial feature points and body feature points for controlling facial expressions and operations of the avatar may be recorded in a computer-readable recording medium.
  • a computer-readable recording medium may include a first instruction set for storing animation control information and control control information and received from a motion sensor with reference to the animation control information and the control control information corresponding to each part of the avatar. And a second instruction set that combines motion data and animation clips generated from the values.
  • the animation control information and the control control information have already been described in detail.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

가상 세계에서의 아바타 특징을 제어하는 시스템 및 방법, 영상 장치 및 기록 매체가 개시된다. 아바타 특징 제어 시스템은 센서 기반 입력 장치를 통해 사용자 의도를 표현하는 센서 제어 명령과 가상 세계의 아바타 정보를 통해 아바타 제어 정보를 생성한다.

Description

가상 세계에서의 객체를 제어하는 시스템, 방법 및 기록 매체
본 발명의 일실시예들은 현실 세계의 사용자의 모습이 가상 세계에서 아바타의 특징에 반영할 수 있도록 제어하는 방법에 관한 것이다.
최근 현실 세계의 사용자들을 가상 세계의 아바타로 표현하는 것에 관심이 많다. 특히, 현실 세계에서 사용자들의 외양, 움직임 등의 실제 특징들을 가상 세계의 아바타에 현실감 있게 반영할 수 있는 제어 방법에 대한 연구가 활발히 이루어지고 있다.
본 명세서에서는 효율적으로 가상 세계의 아바타 특징을 제어하기 위한 시스템 및 방법이 제안된다.
센서 기반 입력 장치를 통해 사용자 의도를 표현하는 센서 제어 명령을 수신하는 센서 제어 명령 수신부 및 가상 세계의 아바타 정보 및 상기 센서 제어 명령에 기초하여 아바타 제어 정보를 생성하는 아바타 제어 정보 생성부를 포함하는 아바타 특징 제어 시스템이 제공된다.
일측에 따르면, 아바타 정보는, 메타데이터로 아바타의 식별을 위한 식별자 및 아바타의 형태적인 정보를 나타내는 패밀리(family)의 속성(attribute) 항목을 포함할 수 있다.
다른 측면에서, 아바타 정보는, 메타데이터로 아바타 애니메이션(animation)의 다양한 행동 정의를 위한 움직임 구성요소(move element)의 자유 방향(FreeDirection) 항목을 포함할 수 있다.
또 다른 측면에서, 아바타 정보는, 아바타 외향에 대한 메타데이터로 아바타 행동의 다양한 표현 정도를 나타내기 위해 물리적 조건(PhysicalCondition)의 구성요소(element)를 포함하고, 상기 물리적 조건(PhysicalCondition)의 부요소(subelement)로 신체 유연성(BodyFlexibility)과 신체 강도(BodyStrength) 항목을 포함할 수 있다.
또 다른 측면에서, 아바타 정보는, 아바타의 얼굴표정과 동작의 제어를 위한 아바타 얼굴 특징점(face feature point) 및 신체 특징점(body feature point)을 정의하는 메타데이터를 포함할 수 있다.
센서 기반 입력 장치를 통해 사용자 의도를 표현하는 센서 제어 명령을 수신하는 단계 및 가상 세계의 아바타 정보 및 상기 센서 제어 명령에 기초하여 아바타 제어 정보를 생성하는 단계를 포함하는 아바타 특징 제어 방법이 제공된다.
아바타의 얼굴표정과 동작의 제어를 위한 아바타 얼굴 특징점 및 신체 특징점이 정의된 메타데이터 구조를 기록한 컴퓨터 판독 가능 기록 매체가 제공된다.
애니메이션 클립, 상기 애니메이션 클립이 어느 아바타의 어느 부분에 대응하는지에 관한 정보 및 우선 순위를 포함하는 애니메이션 제어 정보 및 모션 센서로부터 수신된 값을 처리한 모션 데이터가 어느 아바타의 어느 부분에 대응하는지에 관한 정보 및 우선 순위를 포함하는 컨트롤 제어 정보를 저장하는 저장부 및 아바타의 제1 부분에 대응하는 상기 애니메이션 제어 정보의 우선 순위와 상기 아바타의 상기 제1 부분에 대응하는 상기 컨트롤 제어 정보의 우선 순위를 비교하여, 상기 아바타의 상기 제1 부분에 적용할 데이터를 결정하는 처리부를 포함하는 영상 장치가 제공된다.
애니메이션 제어 정보 및 컨트롤 제어 정보를 저장하는 제1 명령어 세트 및 아바타의 각 부분에 대응하는 상기 애니메이션 제어 정보 및 상기 컨트롤 제어 정보를 참조하여 모션 센서로부터 수신된 값으로부터 생성된 모션 데이터 및 애니메이션 클립을 결합하는 제2 명령어 세트를 포함하고, 상기 애니메이션 제어 정보는, 대응하는 애니메이션 클립에 대한 정보 및 상기 대응하는 애니메이션 클립이 어느 아바타의 얼굴 표정, 머리, 상체, 중체, 및 하체 중 어느 부분에 대응하는지에 관한 식별자를 포함하고, 상기 컨트롤 제어 정보는, 상기 실시간 모션 데이터가 어느 아바타의 얼굴 표정, 머리, 상체, 중체, 및 하체 중 어느 부분에 대응하는지에 관한 식별자를 포함하는 컴퓨터 판독 가능 기록 매체가 제공된다.
가상 세계에서 아바타 특징을 효율적으로 제어할 수 있다.
가상 세계의 아바타를 제어하기 위한 애니메이션 제어 정보 및 모션 데이터의 구조에 관한 제어 메타데이터가 제공될 수 있다.
가상 세계의 아바타의 임의의 부분에 대응하는 애니메이션 클립의 우선 순위와 모션 데이터의 우선 순위를 비교하여, 아바타의 임의의 부분에 대응하는 데이터를 결정함으로써, 애니메이션 클립과 현실 세계의 사용자의 동작을 센싱한 모션 데이터가 결합된 아바타의 동작을 생성할 수 있다.
현실 세계의 사용자의 얼굴을 센싱하기 위한 특징점을 설정하고, 특징점에 대해 수집한 데이터를 이용하여 가상 세계의 아바타의 얼굴을 생성함으로써, 애니메이션에서 정의할 수 없는 임의의 표정을 생성할 수 있다.
도 1은 본 발명의 일실시예에 있어서, 현실 세계의 사용자 의도를 센서 제어 명령을 통해 전달받고, 아바타 정보 및 아바타 제어 정보에 의해 가상 세계와 적응 RV가 통신하는 시스템을 도시하고 있다.
도 2는 RV와 VR의 대칭구조를 갖는 시스템의 간략도를 도시한 도면이다.
도 3은 RV와 VR의 대칭구조를 갖는 시스템의 상세도를 도시한 도면이다.
도 4는 본 발명의 일실시예에 따른 적응 RV의 구동 프로세스를 도시한다.
도 5는 본 발명의 일실시예에 따른 얼굴 제어를 위한 아바타 얼굴 표현 제어 점을 정의한 일례를 나타낸다.
도 6은 본 발명의 일실시예에 있어서, 얼굴 제어의 일례를 나타낸다.
도 7은 본 발명의 일실시예에 있어서, 얼굴 제어를 통해 현실 세계의 사용자에 대한 개별 아바타를 생성한 일례를 나타낸다.
도 8은 본 발명의 일실시예에 있어서, 아바타의 물리적 조건에 따라 두 아바타가 서로 다른 모습을 보이는 일례를 나타낸다.
도 9는 본 발명의 일실시예에 있어서, 공통 특징 타입의 구조를 나타낸 도면이다.
도 10은 본 발명의 일실시예에 있어서, 식별 타입의 구조를 나타낸 도면이다.
도 11은 본 발명의 일실시예에 있어서, 가상 세계 객체 소리 타입의 구조를 나타낸 도면이다.
도 12는 본 발명의 일실시예에 있어서, 가상 세계 객체 냄새 타입의 구조를 나타낸 도면이다.
도 13은 본 발명의 일실시예에 있어서, 가상 세계 객체 제어 타입의 구조를 나타낸 도면이다.
도 14는 본 발명의 일실시예에 있어서, 가상 세계 객체 이벤트 타입의 구조를 나타낸 도면이다.
도 15는 본 발명의 일실시예에 있어서, 가상 세계 객체 행동 모델 타입의 구조를 나타낸 도면이다.
도 16은 본 발명의 일실시예에 있어서, 가상 세계 객체 햅틱 속성 타입의 구조를 나타낸 도면이다.
도 17은 본 발명의 일실시예에 있어서, 소재 속성 타입의 구조를 나타낸 도면이다.
도 18은 본 발명의 일실시예에 있어서, 역학적 힘 효과 타입의 구조를 나타낸 도면이다.
도 19는 본 발명의 일실시예에 있어서, 촉각 타입의 구조를 나타낸 도면이다.
도 20은 본 발명의 일실시예에 있어서, 아바타 타입의 구조를 나타낸 도면이다.
도 21은 본 발명의 일실시예에 있어서, 아바타 외양 타입의 구조를 나타낸 도면이다.
도 22는 본 발명의 일실시예에 있어서, 얼굴 눈금점을 나타낸 일례이다.
도 23은 본 발명의 일실시예에 있어서, 물리적 조건 타입의 구조를 나타낸 도면이다.
도 24는 본 발명의 일실시예에 있어서, 아바타 애니메이션 타입의 구조를 나타낸 도면이다.
도 25는 본 발명의 일실시예에 있어서, 아바타 커뮤니케이션 스킬 타입의 구조를 나타낸 도면이다.
도 26은 본 발명의 일실시예에 있어서, 구두 커뮤니케이션 타입의 구조를 나타낸 도면이다.
도 27은 본 발명의 일실시예에 있어서, 언어 타입의 구조를 나타낸 도면이다.
도 28은 본 발명의 일실시예에 있어서, 비-구두 커뮤니케이션 타입의 구조를 나타낸 도면이다.
도 29는 본 발명의 일실시예에 있어서, 사인 언어 타입의 구조를 나타낸 도면이다.
도 30은 본 발명의 일실시예에 있어서, 아바타 개성 타입의 구조를 나타낸 도면이다.
도 31은 본 발명의 일실시예에 있어서, 아바타 제어 특성 타입의 구조를 나타낸 도면이다.
도 32는 본 발명의 일실시예에 있어서, 제어 신체 특징 타입의 구조를 나타낸 도면이다.
도 33은 본 발명의 일실시예에 있어서, 제어 얼굴 특징 타입의 구조를 나타낸 도면이다.
도 34는 본 발명의 일실시예에 있어서, 머리 외곽선(outline)을 나타내는 일례이다.
도 35는 본 발명의 일실시예에 있어서, 왼쪽 눈 외곽선을 나타내는 일례이다.
도 36은 본 발명의 일실시예에 있어서, 오른쪽 눈 외곽선을 나타내는 일례이다.
도 37은 본 발명의 일실시예에 있어서, 왼쪽 눈썹의 외곽선을 나타내는 일례이다.
도 38은 본 발명의 일실시예에 있어서, 오른쪽 눈썹의 외곽선을 나타내는 일례이다.
도 39는 본 발명의 일실시예에 있어서, 왼쪽 및 오른쪽 귀의 외곽선을 나타내는 일례이다.
도 40은 본 발명의 일실시예에 있어서, 코의 외곽선을 나타내는 일례이다.
도 41은 본 발명의 일실시예에 있어서, 입술의 외곽선을 나타내는 일례이다.
도 42는 본 발명의 일실시예에 있어서, 얼굴점을 나타내는 일례이다.
도 43은 본 발명의 일실시예에 있어서, 외곽선 타입의 구조를 나타낸 도면이다.
도 44는 본 발명의 일실시예에 있어서, 외곽선 4점 타입의 구조를 나타낸 도면이다.
도 45는 본 발명의 일실시예에 있어서, 외곽선 5점 타입의 구조를 나타낸 도면이다.
도 46은 본 발명의 일실시예에 있어서, 외곽선 8점 타입의 구조를 나타낸 도면이다.
도 47은 본 발명의 일실시예에 있어서, 외곽선 14점 타입의 구조를 나타낸 도면이다.
도 48은 본 발명의 일실시예에 있어서, 가상 객체 타입의 구조를 나타낸 도면이다.
도 49는 본 발명의 일실시예에 있어서, 가상 객체 외양 타입의 구조를 나타낸 도면이다.
도 50은 본 발명의 일실시예에 있어서, 가상 객체 애니메이션 타입의 구조를 나타낸 도면이다.
도 51은 본 발명의 일실시예에 있어서, 아바타 특징 제어 시스템의 내부 구성을 설명하기 위한 블록도이다.
도 52는 본 발명의 일실시예에 있어서, 아바타 특징 제어 방법을 도시한 흐름도이다.
도 53은 본 발명의 다른 실시예에 있어서, 현실 세계와 가상 세계 사이의 정보 및 데이터 교환에 관한 시스템의 구조를 나타낸 도면이다.
도 54 내지 도 58은 본 발명의 일실시예에 따른 아바타 제어 명령을 설명하기 위한 도면이다.
도 59는 본 발명의 일실시예에 따른 어피어런스 제어 타입의 구조를 나타내는 도면이다.
도 60은 본 발명의 일실시예에 따른 커뮤니케이션 스킬 제어 타입의 구조를 나타내는 도면이다.
도 61은 본 발명의 일실시예에 따른 개성 제어 타입의 구조를 나타내는 도면이다.
도 62는 본 발명의 일실시예에 따른 애니메이션 제어 타입의 구조를 나타내는 도면이다.
도 63은 본 발명의 일실시예에 따른 컨트롤 제어 타입의 구조를 나타내는 도면이다.
도 64는 본 발명의 일실시예에 따른 영상 장치의 구성을 나타낸 도면이다.
도 65는 본 발명의 일실시예에 따른 가상 세계의 아바타를 얼굴 표정, 머리, 상체, 중체 및 하체의 부분으로 나눈 도면을 나타낸다.
도 66은 본 발명의 일실시예에 따른 애니메이션 클립에 대한 데이터베이스를 나타낸 도면이다.
도 67은 본 발명의 일실시예에 따른 모션 데이터에 대한 데이터베이스를 나타낸 도면이다.
도 68은 본 발명의 일실시예에 따른 우선 순위를 비교하여 아바타의 임의의 부분에 적용할 모션 객체 데이터를 결정하는 동작을 나타낸 도면이다.
도 69는 아바타의 각 부분에 적용할 모션 객체 데이터를 결정하는 방법의 흐름도이다.
도 70은 본 발명의 일실시예에 따른 아바타의 각 부분에 대응하는 모션 객체 데이터를 결합하는 동작을 나타낸 흐름도이다.
도 71은 본 발명의 일실시예에 따른 아바타의 각 부분에 대응하는 모션 객체 데이터를 결합하는 동작을 나타낸 도면이다.
도 72는 본 발명의 일실시예에 있어서, 가상 세계 객체를 제어하기 위한 단말기와 가상 세계 서버를 나타낸 도면이다.
도 73은 본 발명의 다른 실시예에 있어서, 가상 세계 객체를 제어하기 위한 단말기를 나타낸 도면이다.
도 74는 본 발명의 또 다른 실시예에 있어서, 가상 세계 객체를 제어하기 위한 복수의 단말기를 나타낸 도면이다.
도 75는 본 발명의 또 다른 실시예에 있어서, 가상 세계 객체를 제어하기 위한 단말기를 나타낸 도면이다.
이하, 첨부된 도면들에 기재된 내용들을 참조하여 본 발명에 따른 실시예를 상세하게 설명한다. 다만, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다.
1. 개요(Instruction)
멀티미디어 산업에서 가상 환경(VE: virtual environment)의 중요성이 인식되고 있다. 다른 멀티미디어 어플리케이션에 대한 가상 환경의 특수성(specificity)은 가상 환경 내부에 사용자의 시각적 표현을 포함한다. 그러한 표현은 대개 다른 목적을 제공하는 그래픽 오브젝트인 아바타의 형태를 취할 수 있다.
- 실제 세계의 사용자의 시각적인 존재를 가상 환경에 나타내는 것(make visible the presence of a real user into the VE)
- 가상 환경에서 사용자를 특징짓는 것(characterize the user within the VE)
- 가상 세계와 상호작용 하는 것(interaction with the VE)
도 1은 본 발명의 일실시예에 있어서, 현실 세계의 사용자 의도를 센서 제어 명령을 통해 전달받고, 아바타 정보 및 아바타 제어 정보에 의해 가상 세계와 적응 RV가 통신하는 시스템을 도시하고 있다. 현실 세계에서 사용자들의 의도는 센서 기반의 입력 장치(101)를 통하여 적응 RV(102)에 센서 제어 명령(Sensor Control Command)(103)으로서 전달될 수 있다. 또한, 가상 세계(104)에서 아바타와 물체(object)의 구조적 정보는 아바타 정보(Avatar Information)(105)로서 적응 RV(102)(일례로, 적응 RV 엔진)에 전달될 수 있다. 즉, 적응 RV(102)에서는 사용자의 의도로 만들어진 센서 제어 명령(103)과 아바타의 정보(105)를 이용해 가상세계의 아바타와 물체를 제어 할 수 있는 아바타 제어 정보(Avatar Control Information)(106)로 변환하여 가상 세계(104)로 전달될 수 있다. 이 아바타 제어 정보(106)로 가상 세계(104)의 아바타가 조작될 수 있다. 일례로, 동작 센서는 위치, 속도 등의 정보를, 카메라는 실루엣, 칼라, 깊이(depth) 등의 정보를 전달할 수 있다. 이러한 정보는 적응 RV(102)에 있는 아바타 정보와 함께 계산되어 아바타 제어 정보(106)로 변환될 수 있다.
도 2 및 도 3은 RV와 VR의 대칭구조를 갖는 시스템의 간략도 및 상세도를 각각 도시한 도면이다. 도 2 및 도 3에 도시된 VR(virtual to real)은 가상 세계의 상황을 가상 센서(virtual sensor)로 센싱하여 이를 현실 세계에 있는 액추에이터(actuator)를 통해 동일한 상황을 제공할 수 있다. 일례로, 체험형 영화관의 경우, 바람이 불고, 흔들리는 등의 영화 속의 상황을 영화를 보는 관객이 있는 공간으로 동일하게 재현할 수 있다. 또한, RV(real to virtual)는 현실 세계의 센서로부터 현재의 실상황을 센싱하여 이를 가상 세계의 상황에 맞게 입력/명령 정보를 생성하고, 가상 세계에 반영할 수 있다. 이때, 가상 액추에이터는 아바타, 가상 물체, 가상 환경에 관련된 것일 수 있다. 도 3에서 타원 모양은 도 2의 파트 2에 해당하는 제어 정보에 대한 표준화 영역 A를 의미할 수 있다. 여기서, 파트 2는 현실 세계에 존재하는 장치(예를 들어 센서와 액추에이터)에 대한 제품의 성능(capability) 및 사용자의 선호도(Preference), 장치 명령(device command) 등을 정의한다. 원통 모양은 도 2의 파트 3에 해당하는 센서리(sensory) 정보, 파트 4에 해당하는 아바타 정보 및 파트 5에 해당하는 가상 물체 정보와 같이 컨텍스트 정보에 대한 표준화 영역 B를 의미할 수 있다. 이때, 파트 3은 컨텐츠(예를 들어, 가상 게임, 게임 등)에서 현실 세계에 전달하고자 하는 효과(effect)를 정의한다. 이러한 효과는 저작자가 이러한 컨텐츠에 포함시킨 센서리(Sensory) 효과로서, MPEG-V 엔진을 통해 제어 정보로 변환되어 각각의 기기에 명령으로 전달될 수 있다. 파트 4는 가상 세계에 존재하는 아바타 및 가상 물체에 대한 특징을 정의한다. 즉, 제어 정보에서 취득된 정보와 아바타 정보 및 가상 물체 정보를 활용하여 가상 세계의 아바타 및 가상 물체를 자유롭게 조작 가능하게 하기 위한 파트이다. 이러한 표준화 영역 A 및 B는 MPEG-V 표준화의 목표이다.
도 4는 본 발명의 일실시예에 따른 적응 RV의 구동 프로세스를 도시한다. 단계(401)에서 적응 RV 엔진의 아바타 정보가 셋팅될 수 있고, 단계(402)에서 센서 입력이 모니터링될 수 있다. 이때, 단계(403)에서 센서 제어 명령이 발생되면, 단계(404)에서 적응 RV 엔진의 명령이 인식될 수 있고, 단계(405)에서 아바타 제어 정보가 생성될 수 있다. 이후, 단계(406)에서 아바타 조작이 출력될 수 있다.
일반적으로, 아바타를 생성하는 것은 시간을 소모하는 작업이다. 아바타의 몇몇 요소들이 가상 환경(예를 들면, 현대적인(contemporary) 스타일의 가상 세계에서 중세적인(medieval) 의류를 입는 것은 부적절함)과 연관되어 있는 반면, 아바타를 한번 생성하고, 이를 다른 가상 환경들에 개입시키고(import) 사용하기 위한 실제 필요성이 존재한다. 덧붙여, 외부 어플리케이션(예를 들면, 가상 환경에서 하나의 아바타가 감정들을 노출하는 것은 사용자 심리 센서들을 수행함으로써 획득 가능함)으로부터 아바타를 제어하는 것이 가능해야만 한다.
이러한 두 가지 주요 요구 사항을 고려함으로써, 아바타를 나타내기 위한 XML 스키마가 제안될 수 있다.
- 다양한 가상 환경들의 수행으로부터 임포터(importer) / 익스포터(exporter)를 쉽게 생성하는 것이 가능해야 함.
- 가상 환경 내부에서 아바타를 쉽게 제어할 수 있어야 함.
제안되는 스키마는 메타데이터를 다루며, 지오메트리(geometry), 애니메이션 또는 텍스처의 표현을 포함하지 않는다.
스키마는 실재하는 가상 세계의 존재와 컨텐츠 인증 패키지들로부터의 대부분의 인기 있는 게임들, 도구들 및 기법과 함께 마크업 언어와 관련된 다른 가상 인간에 대한 연구에 기초한 것이다.
기본적인 아바타의 속성(attribute)으로 VR 공간에서 각각의 아바타를 구분 짓는 식별자(ID) 및 각 아바타의 형태적인 종류를 나타내는 패밀리(family)를 갖는다. 패밀리의 경우 아바타가 사람의 형태인지, 로봇 혹은 특정 동물의 형태인지에 대한 정보를 제공할 수 있다. 이를 활용하여 여러 아바타들이 함께 존재하는 VR 공간에서 다른 사용자의 아바타와 자신의 아바타를 식별자를 통해 구별하여 조작할 수 있으며, 패밀리 속성을 통해 여러 형태의 아바타를 적용시킬 수 있다. 또한, 옵션 속성(optional attribute)으로서 이름, 성별 등을 포함할 수 있다.
아바타의 요소(element)는 아래의 데이터 타입으로 구성될 수 있다.
- 외양(appearance): 외양에 대한 하이 레벨의 설명을 포함하고, 정확한 지오메트리와 텍스처를 포함하는 미디어를 참조할 수 있다. 본 실시예들에서는 추가적으로 'PhysicalCondition' 항목을 제안한다. 'PhysicalCondition'는 부요소(subelement)로서, 'BodyFlexibility'와 'BodyStrength'를 포함할 수 있다. 이는 각 아바타의 외향적인 특징을 정의할 때, 신체 유연성(body flexibility)이나 신체 강도(body strength)는 아바타가 행동을 표현하는 정도에 대한 정보를 제공할 수 있다. 예를 들어, 신체 유연성이 큰 아바타와 신체 유연성이 낮은 아바타를 비교할 때, 동일한 춤(예를 들어, 발레)을 행할 때, 이러한 신체 유연성의 정도에 따라 행동의 크기반영이 달라질 수 있다. 신체 강도 또한, 동일한 운동을 할 때 신체 강도가 큰 아바타의 행동이 더 힘차 보이게 표현할 수 있다. 이런 효과를 위해 'PhysicalCondition'이 아바타 외양(avatar appearance)의 부요소에 대한 메타데이터로서 제안될 수 있다.
- 애니메이션(animation): 아바타를 수행할 수 있는 애니메이션 시퀀스의 집합에 대한 설명을 포함하고, 정확한 애니메이션 파라미터들(지오메트리 변형(geometric transformations))을 포함하는 여러 미디어들을 참조할 수 있다. 기존의 아바타 애니메이션 메타데이터에 추가적으로 이동 요소(move element)의 'FreeDirection'항목을 제안한다. 4방향 화살표 버튼 입력 장치에 익숙해져 기존 아바타의 이동 조작을 위(up), 아래(down), 왼쪽(left), 오른쪽(right)으로 한정된 상태에서 정의되어 왔다. 이에 어느 방향으로든 자유롭게 조작될 수 있는 항목을 추가하여 아바타의 이동 애니메이션(move animation)의 표현 정보를 다양하게 제공할 수 있다.
- 커뮤니케이션 스킬(Communication Skills): 아바타가 커뮤니케이션 할 수 있는 다른 양상(modality)들에 정보를 제공하는 설명자들(descriptor)의 집합을 포함할 수 있다.
- 개성(Personality): 아바타의 개성을 정의하는 설명자들의 집합을 포함할 수 있다.
- 제어 특성(Control Features): 아바타의 얼굴 표정 및 동작 포인트의 집합을 포함하고, 그래서 사용자는 설명자들에 리스트되지 않은 얼굴 표정(facial expression), 전체 신체 동작(full body motion)을 제어할 수 있다.
다시 말해서, 외양은 아바타의 모습을 의미하는 것으로, 아바타의 눈, 코, 입술, 귀, 머리, 눈썹, 손톱 등의 크기, 위치, 모양 형태 등 다양한 아바타의 모습이 정의될 수 있다. 애니메이션은 아바타의 인사, 춤, 걷기, 움직임, 싸움, 축하, 신체 동작(화난 동작, 동의 동작, 지친 동작 등), 얼굴표정(웃고, 울고, 놀람 등), 무의미한 동작 등으로 구분될 수 있다. 그리고, 커뮤니케이션 스킬은 아바타의 대화 능력의 정보를 의미할 수 있다. 예를 들어, 커뮤니케이션 스킬은 아바타가 한국어를 모국어로 하고 영어는 능숙하게 구사하며, 불어는 인사 정도를 구사한다는 대화 능력 정보를 의미할 수 있다. 개성은 개방성(Opennes), 우호성(Agreableness), 신경성(Neuroticism), 외향성(Extraversion), 성실성(Conscientiousness) 등으로 특징될 수 있다.
이러한 아바타의 특징 중 얼굴 표정과 전체 신체 동작은 다음과 같이 제어될 수 있다. 도 5는 본 발명의 일실시예에 따른 얼굴 제어를 위한 아바타 얼굴 표현 제어 점을 정의한 일례를 나타낸다. 이러한 얼굴 제어(Face Control)는 도 5에 도시한 것과 같은 머리 윤곽, 좌우 눈 윤곽, 좌우 눈썹 윤곽, 좌우 귀 윤곽, 코 윤곽, 입술 윤곽 위에 제어 점들(마커 등)을 공간 좌표 상에서 움직임으로써, 웃는 표정이나 우는 표정, 또는 무수한 무의미한 표정 등 미리 정의되지 않은 다양한 표정을 표현할 수 있다. 예를 들어, 얼굴 표정 제어에 의하면, 현실 세계에 존재하는 사용자들의 표정을 카메라로 인식하여 가상 세계에 존재하는 아바타의 표정에 그대로 반영할 수 있다.
도 6은 본 발명의 일실시예에 있어서, 얼굴 제어의 일례를 나타낸다. 깊이 카메라와 같은 현실 세계 장치(601)를 통해 얻어진 사용자 얼굴 특징점들의 위치 정보는 적응 RV 엔진(602)으로 전송될 수 있다. 이러한 정보는 정규화 과정(사용자 얼굴 크기와 아바타 모델의 얼굴 크기를 맞추기 위함)을 통해 기본 아바타 모델의 특징점 정보와 매핑이 이루어져서 적응 RV 엔진(602)으로 보내지거나 또는 적응 RV 엔진(602)에서 상술한 처리가 수행될 수 있다. 이후, 특징점 매핑을 통해 생성된 아바타 모델과 같은 가상 세계 정보(603)는 가상 세계(604)의 개별 아바타의 얼굴 크기로 조절되고 매핑되어 가상 세계(604)의 위치 정보로 가상 세계(604)에 보내진다. 그리하여 현실 세계의 다양한 표정의 변화를 가상 세계(604)의 아바타 표정으로 나타내어 질 수 있다. 이러한 도 6에서 'RW'는 현실 세계를 'VW'는 가상 세계를 의미할 수 있다. 도 7은 본 발명의 일실시예에 있어서, 얼굴 제어를 통해 현실 세계의 사용자에 대한 개별 아바타를 생성한 일례를 나타낸다.
서로 다른 물리적 조건(physical condition)을 갖은 2개의 아바타를 비교할 때, 동일한 작업을 하는 중 혹은 작업을 마친 후의 상태가 다르게 나타날 수 있다. 도 8은 본 발명의 일실시예에 있어서, 아바타의 물리적 조건에 따라 두 아바타가 서로 다른 모습을 보이는 일례를 나타낸다. 2개의 아바타가 달리기 시합을 마치자 마자, 신체 강도가 높은 값을 지닌 아바타(801)는 계속 활력 있는 모습을 보여주고, 신체 강도가 낮은 값을 지닌 아바타(802)는 지친 모습을 보여준다. 다른 실시예로, 요가 동작을 할 경우, 스트래칭 되는 정도가 신체 유연성의 값에 따라 다르게 보여질 수 있다.
골격은 현실 세계에 존재하는 사람의 뼈에 기준으로 실제 사람의 형태로 구성될 수 있다. 예를 들어, 골격은 좌우 빗장뼈(Clavicle), 좌우 견갑골(Scapulae), 좌우 상완골(Humerus), 좌우 요골(Radius), 좌우 손목(Wrist), 좌우 손(Hand), 좌우 엄지손가락(Thumb) 등을 포함할 수 있다. 그리고, 골격의 움직임을 표현하는 신체 제어(Body Control)는 신체의 움직임을 반영하기 위해 각 뼈의 움직임을 반영하도록 하여야 하는데, 각 뼈의 움직임은 각 뼈마다 존재하는 관절점(joint point)을 이용하여 제어할 수 있다. 각 뼈는 서로 연결되어 있으므로, 이웃하는 뼈들의 경우 관절점을 공유할 수 있다. 그러므로 골반(Pelvis)을 기준점으로 시작하여 각 뼈의 끝점(end points) 중 골반(Pelvis)에서 멀리 떨어져 있는 끝점을 각 뼈의 제어 점으로 정의하고, 그 제어 점들을 움직임으로써 미리 정의되지 않은 아바타의 움직임을 다양하게 표현할 수 있다. 예를 들어, 위 상완골(Humerus)의 움직임은 팔꿈치(elbow)와의 관절점의 3차원 위치, 방향 및 뼈의 길이 정보를 이용하여 제어할 수 있다. 손가락의 경우에도 각 관절에서 끝점의 3차원 위치/방향/길이 정보를 통해 제어할 수 있다. 각 관절의 움직임은 위치만을 이용하여, 또는 방향과 거리만을 이용하여서도 제어할 수 있다.
이를 이용한 아바타 신체 제어의 경우는 현실 세계의 사용자들의 동작 형태를 카메라, 또는 동작을 인식하는 센서류 등으로 인식하여 가상 세계에 존재하는 아바타의 움직임에 그대로 반영할 수 있다. 이러한 아바타 신체 제어는 도 6을 통해 설명한 아바타 얼굴 제어와 유사한 과정을 통해 수행될 수 있다. 즉, 카메라나 동작 센서와 같은 현실 세계 장치를 얻어진 사용자 골격의 특징점들의 위치/방향 정보는 적응 RV 엔진으로 전송될 수 있다. 이러한 정보는 정규화 과정(사용자의 신체의 특성에 따라 계산된 골격 모델의 정보와 아바타의 골격 모델을 맞추어 놓기 위함)을 통해 기본 아바타 모델의 골격 특징점들 정보와 매핑되어 적응 RV 엔진으로 보내지거나 또는 적응 RV 엔진에서 상기 처리가 수행될 수 있다. 이 상기 처리가 수행된 정보는 가상세계의 개별 아바타의 골격 모델에 맞게 재조정되어 가상 세계의 위치 정보를 기반으로 가상 세계에 보내진다. 그리하여 현실 세계에서 사용자의 신체의 움직임을 가상세계의 아바타에 반영하게 된다.
결국, 본 발명의 일실시예에 따르면, 아바타의 특징을 나타내는 아바타 특징 제어를 통해 사용자의 다양한 얼굴 표정, 움직임 또는 개성 등을 자연스럽게 표현할 수 있다. 이를 위해, 본 발명의 일실시예에 따르면, 현실 세계의 사용자를 센싱 디바이스(카메라, 적외선, 동작 센서 등)을 통해 감지하여 사용자들의 특징을 그대로 아바타에 재연함으로써, 사용자들의 다양한 모습을 가상 세계의 아바타에 자연스럽게 반영할 수 있다.
능동적인 아바타 제어는 현실 세계(real world)의 센싱 장치로부터 데이터 시퀀스에서 공통적으로 특징(feature)을 추적(tracking), 인식(recognize)하며, 합성(synthesis)하기 위해 사용되는 일반적인 파라메틱 모델(parametic model)이다. 예를 들어, 캡처된 사용자의 전체 신체 동작은 아바타 동작을 제어하기 위해 시스템에 전송될 수 있다. 신체 동작 센싱(body motion sensing)은 입을 수 있거나(wearable) 또는 부착할 수 있는(attachable) 3D 위치(position) 및 자세(attitude) 센싱 장치의 집합을 요구할 수 있다. 따라서, 본 발명에 따른 실시예들에서는 아바타 신체 제어의 컨셉을 추가하는 것이 제안되고, 이러한 컨셉은 사용자의 모든 센싱된 동작을 사용함으로써 아바타의 전체(full) 제어를 가능하도록 하는 것을 의미할 수 있다.
또한, 제어는 아바타에 한정되지 않고, 가상 환경의 모든 객체에 적용될 수도 있다. 이를 위해, 본 발명의 일실시예에 따른 객체 제어 시스템은 가상 환경의 객체에 대한 제어 명령을 수신하는 제어 명령 수신부 및 상기 수신된 제어 명령 및 상기 객체의 객체 정보에 따라 상기 객체를 제어하는 객체 제어부를 포함할 수 있다. 이때, 객체 정보는 이후 설명될, 가상 세계 객체에 대한 메타데이터로서 가상 세계 객체의 공통 특징, 아바타에 대한 메타데이터로서 아바타 정보, 가상 객체에 대한 메타데이터로서 가상 객체에 대한 정보를 포함할 수 있다.
우선, 객체 정보는, 가상 세계 객체의 공통 특징을 포함할 수 있다. 이때, 공통 특징은, 메타데이터로 가상 세계 객체를 구분하기 위한 식별(Identification), 가상 세계 객체 소리(VWOSound: Virtual World Object Sound), 가상 세계 객체 냄새(VWOScent), 가상 세계 객체 제어(VWOControl), 가상 세계 객체 이벤트(VWOEvent), 가상 세계 객체 행동 모델(VWOBehviorModel) 및 가상 세계 객체 햅틱 속성(VWOHapticProperties) 중 적어도 하나의 구성요소(element)를 포함할 수 있다.
이때, 식별은, 가상 세계 객체와 관련된 사용자 식별을 위한 사용자 식별자(UserID), 가상 세계 객체의 소유권(Ownership), 권리(Rights) 및 공헌자(Credits) 중 적어도 하나를 구성요소로 포함하고, 가상 세계 객체의 이름(Name) 및 다른 가상 세계 객체와의 관계(Family) 중 적어도 하나를 속성(attribute)으로 포함할 수 있다.
가상 세계 객체 소리는, 소리 파일로의 하나 이상의 링크를 포함하는 소리 리소스 URL(Uniform Resource Locator)을 구성요소로 포함하고, 객체 소리의 유일한 식별자인 소리 식별자(SoundID), 소리의 세기(strength)를 나타내는 강도(Intensity), 소리가 지속되는 시간의 길이를 나타내는 기간(Duration), 재생 옵션을 나타내는 반복(Loop) 및 소리의 이름 중 적어도 하나를 상기 속성으로 포함할 수 있다.
가상 세계 객체 냄새는, 냄새 파일로의 하나 이상의 링크를 포함하는 냄새 리소스 URL을 구성요소로 포함하고, 객체 냄새의 유일한 식별자인 냄새 식별자(ScentID), 냄새의 세기를 나타내는 강도, 냄새가 지속되는 시간의 길이를 나타내는 기간, 재생 옵션을 나타내는 반복 및 냄새의 이름 중 적어도 하나를 속성으로 포함할 수 있다.
가상 세계 객체 제어는, 가상 세계 객체의 위치(Position), 방향(Orientation) 및 스케일(Scale)을 제어하는 구성요소의 집합인 동작 특징 제어(MotionFeatureControl)을 구성요소로 포함하고, 제어의 유일한 식별자인 제어 식별자(ControlID)를 속성으로 포함할 수 있다. 여기서, 동작 특징 제어는, 3차원 플로팅 포인트 벡터(floating point vector)를 갖는 장면에서 객체의 위치, 오일러 각(Euler angle)으로 3차원 플로팅 포인트 벡터를 갖는 장면에서 객체의 방향 및 3차원 플로팅 포인트 벡터로 표현되는 장면에서 객체의 스케일 중 적어도 하나를 구성요소로 포함할 수 있다.
가상 세계 객체 이벤트는, 마우스 이벤트 구성요소의 집합인 마우스(Mouse), 키보드 이벤트 구성요소의 집합인 키보드(Keyboard) 및 사용자 정의 입력(UserDefinedInput) 중 적어도 하나를 구성요소로 포함하고, 이벤트의 유일한 식별자인 이벤트 식별자(EventID)를 속성으로 포함할 수 있다. 이때, 마우스는, 클릭(Click), 더블 클릭(Double_Click), 마우스 왼쪽 버튼을 누르고 있는 순간에 발생하는 이벤트인 왼쪽 버튼 다운(LeftBttn_down), 마우스 왼쪽 버튼을 떼는 순간에 발생하는 이벤트인 왼쪽 버튼 업(LeftBttn_up), 마우스 오른쪽 버튼을 누르고 있는 순간에 발생하는 이벤트인 오른쪽 버튼 다운(RightBttn_down), 마우스 오른쪽 버튼을 떼는 순간에 발생하는 이벤트인 오른쪽 버튼 업(RightBttn_up) 및 마우스 위치를 변경하는 동안 발생하는 이벤트인 이동(Move) 중 적어도 하나를 구성요소로 포함할 수 있다. 또한, 키보드는, 키보드 버튼을 누르고 있는 순간에 발생하는 이벤트인 키다운(Key_Down) 및 키보드 버튼을 떼는 순간에 발생하는 이벤트인 키 업(Key_Up) 중 적어도 하나를 구성요소로 포함할 수 있다.
가상 세계 객체 행동 모델은, 객체 행동을 생성하기 위한 입력 이벤트인 행동 입력(BehaviorInput) 및 입력 이벤트에 따른 객체 행동 출력인 행동 출력(BehaviorOutput) 중 적어도 하나를 구성요소로 포함할 수 있다. 여기서, 상기 행동 입력은, 이벤트 식별자를 속성으로 포함할 수 있고, 행동 출력은, 소리 식별자, 냄새 식별자 및 애니메이션 식별자 중 적어도 하나를 속성으로 포함할 수 있다.
가상 세계 객체 햅틱 속성 타입은, 햅틱 속성(haptic properties)을 특징짓는 파라미터인 소재 속성(MaterialProperty), 힘 효과(force effects)를 특징짓는 파라미터인 역학적 힘 효과(DynamicForceEffect) 및 촉각 속성(tactile properties)을 특징짓는 파라미터인 촉각 속성(TactileProperties) 중 적어도 하나를 구성요소로 포함할 수 있다. 여기서, 소재 속성은, 가상 세계 객체의 강상(Stiffness), 가상 세계 객체의 정지 마찰력(StaticFriction), 가상 세계 객체의 운동 마찰력(DynamicFriction), 가상 세계 객체의 담핑(damping), 햅틱 텍스처 파일로의 링크를 포함하는 텍스처(Texture) 및 가상 세계 객체의 질량(Mass) 중 적어도 하나를 속성으로 포함할 수 있다. 또한, 역학적 힘 효과는, 힘 필드 벡터 파일로의 링크를 포함하는 힘 필드(ForceField) 및 힘 궤적 파일로의 링크를 포함하는 이동 궤적(MovementTrajectory) 중 적어도 하나를 속성으로 포함할 수 있다. 뿐만 아니라, 촉각 속성은, 가상 세계 객체의 온도(Temperature), 가상 세계 객체의 진동(Vibration), 가상 세계 객체의 전류(Current) 및 촉각 패턴 파일로의 링크를 포함하는 촉각 패턴(TactilePatterns) 중 적어도 하나를 속성으로 포함할 수 있다.
또한, 객체 정보는, 가상 세계의 아바타에 대한 아바타 정보를 포함할 수 있다. 아바타 정보는, 메타데이터로 아바타 외양(AvatarAppearance), 아바타 애니메이션(AvatarAnimation), 아바타 커뮤니케이션 스킬(AvatarCommunicationSkills), 아바타 개성(AvatarPersonality), 아바타 제어 특성(AvatarControlFeatures) 및 아바타 공통 특징(AvatarCC: Avatar Common Characteristics) 중 적어도 하나의 구성요소를 포함하고, 아바타의 성별(Gender)을 속성으로 포함할 수 있다.
이때, 아바타 외양은, 신체(Body), 머리(Head), 눈(Eyes), 귀(Ears), 코(nose), 입술(MouthLip), 피부(Skin), 얼굴(Facial), 손톱(Nail), 신체 겉모습(BodyLook), 헤어(hair), 눈썹(EyeBrows), 얼굴 헤어(FacialHair), 얼굴 눈금점(FacialCalibrationPoints), 물리적 조건(PhysicalCondition), 의복(Clothes), 신발(Shoes), 액세서리(Accessories) 및 외양 리소스(AppearanceResource) 중 적어도 하나의 구성요소를 포함할 수 있다. 여기서, 물리적 조건은 신체 강도(BodyStrength) 및 신체 유연성(BodyFlexibility) 중 적어도 하나를 구성요소로 포함할 수 있다.
또한, 아바타 애니메이션은 아이들(Idle), 인사(Greeting), 댄스(Dance), 걷기(Walk), 이동(Moves), 싸움(Fighting), 듣기(Hearing), 담배피기(Smoke), 축하(Congratulation), 공통 행동(Common_Action), 특정 행동(Specific_Action), 얼굴 표현(Facial_Expression), 신체 표현(Body_Expression), 애니메이션 리소스(AnimationResource) 중 적어도 하나의 구성요소를 포함할 수 있다.
아바타 커뮤니케이션 스킬은 입력 구두 커뮤니케이션 (InputVerbalComuunication), 입력 비-구두 커뮤니케이션 (InputNonVerbalCommunication), 출력 구두 커뮤니케이션 (OutputVerbalCommunication) 및 출력 비-구두 커뮤니케이션 (OutputNonVerbalCommunication) 중 적어도 하나를 구성요소로 포함하고, 이름(Name) 및 디폴트 언어(DefaultLanguage) 중 적어도 하나를 속성으로 포함할 수 있다. 이때, 입력 구두 커뮤니케이션 및 상기 출력 구두 커뮤니케이션을 포함하는 구두 커뮤니케이션은 언어(Language)를 구성요소로 포함하고, 음성(Voice), 텍스트(Text) 및 언어(Language) 중 적어도 하나를 속성으로 포함할 수 있고, 언어는, 언어의 이름을 명시한 문자열인 이름 및 상기 구두 커뮤니케이션에서 언어를 이용하기 위한 선호(Preference) 중 적어도 하나를 속성으로 포함할 수 있다. 또한, 선호를 포함하는 커뮤니케이션 선호는 아바타의 커뮤니케이션의 선호 레벨을 포함할 수 있다. 뿐만 아니라, 언어는, 아바타가 말하거나 이해할 수 있는 각각의 언어를 위한 선호 레벨을 포함하는 커뮤니케이션 선호 레벨(CommunicationPreferenceLevel)이 설정될 수 있다. 입력 비-구두 커뮤니케이션 및 상기 출력 비-구두 커뮤니케이션을 포함하는 비-구두 커뮤니케이션은 사인 언어(SignLanguage) 및 큐드 스피치 커뮤니케이션(CuedSpeechCommumicaiton) 중 적어도 하나를 구성요소로 포함하고, 상호 보완적 제스처(ComplementaryGesture)를 속성으로 포함할 수 있다. 이때, 사인 언어는 언어의 이름을 속성으로 포함할 수 있다.
아바타 개성은, 개방성(Openness), 성실성(Conscientiousness), 외향성 (Extraversion), 친화성(Agreeableness) 및 신경성(Neuroticism) 중 적어도 하나를 구성요소로 포함하고, 선택적으로 개성의 이름을 포함할 수 있다.
아바타 제어 특성은, 신체의 이동을 제어하는 구성요소의 집합인 제어 신체 특성(ControlBodyFeature) 및 얼굴의 이동을 제어하는 구성요소의 집합인 제어 얼굴 특성(ControlFaceFeature)을 구성요소로 포함하고, 선택적으로 제어 구성의 이름을 속성으로 포함할 수 있다.
제어 신체 특성은, 머리뼈(headBones), 상체뼈(UpperBodyBones), 하체뼈(DownBodyBones), 중체뼈(MiddleBodyBones) 중 적어도 하나를 구성요소로 포함할 수 있다.
제어 얼굴 특성은, 머리 외곽선(HeadOutline), 왼쪽 눈 외곽선(LeftEyeOutline), 오른쪽 눈 외곽선(RightEyeOutline), 왼쪽 눈썹 외곽선(LeftEyeBrowOutline), 오른쪽 눈썹 외곽선(RightEyeBrowOutline), 왼쪽 귀 외곽선(LeftEarOutline), 오른쪽 귀 외곽선(RightEarOutline), 코 외곽선(NoseOutline), 입술 외곽선(MouthLipOutline), 얼굴점(FacePoints) 및 미셀레이니어스 점(MiscellaneousPoints) 중 적어도 하나를 구성요소로 포함하고, 선택적으로 얼굴 제어 구성의 이름을 속성으로 포함할 수 있다. 이때, 제어 얼굴 특성이 포함하는 구성요소 중 적어도 하나는 4개의 점을 갖는 외곽선인 외곽선 4점(Outline4Points), 5개의 점을 갖는 외곽선인 외곽선 5점(Outline5Points), 8개의 점을 갖는 외곽선인 외곽선 8점(Outline8Points) 및 14개의 점을 갖는 외곽선인 외곽선 14점(Outline14Points) 중 적어도 하나를 구성요소로 포함할 수 있다. 또는, 제어 얼굴 특성이 포함하는 구성요소 중 적어도 하나는 기본 개수의 점을 포함하고, 선택적으로 추가의 점을 더 포함할 수도 있다.
또한, 객체 정보는, 가상 객체에 대한 정보를 포함할 수 있고, 가상 객체에 대한 정보는, 메타데이터로 가상 객체 외양(VOAppearance: Virtual Object Appearance), 가상 객체 애니메이션(VOAnimation) 및 가상 객체 공통 특징(VOCC: Virtual Object Common Characteristics) 중 적어도 하나의 구성요소를 포함할 수 있다.
가상 객체 외양은, 외양 파일에 대한 하나 이상의 링크가 존재하는 경우, 상기 하나 이상의 링크를 포함하는 구성요소인 가상 객체 URL(VirtualObjectURL)을 구성요소로 포함할 수 있다.
가상 객체 애니메이션은, 가상 객체 동작(VOMotion), 가상 객체 변형(VODeformation) 및 가상 객체 추가 애니메이션(VOAdditionalAnimation) 중 적어도 하나를 구성요소로 포함하고, 애니메이션 식별자(AnimationID), 애니메이션이 지속되는 시간의 길이인 기간(Duration) 및 재생 옵션인 반복(Loop) 중 적어도 하나를 속성으로 포함할 수 있다.
객체 정보가 포함할 수 있는 메타데이터들에 대해서는 이후 더욱 자세히 설명한다.
객체 제어부는, 상기 객체가 아바타인 경우, 상기 아바타의 얼굴표정과 동작의 제어를 위한 아바타 얼굴 특징점(face feature point) 및 신체 특징점(body feature point)을 정의하는 메타데이터 및 상기 수신된 제어 명령에 기초하여 상기 아바타를 제어할 수 있다. 또한, 제어 명령은, 상기 객체가 가상 세계의 아바타인 경우, 현실 세계의 사용자의 얼굴 표정과 신체 동작을 센싱하여 생성될 수 있고, 이 경우, 객체 제어부는 상기 얼굴 표정과 신체 동작에 따른 사용자의 특징이 상기 가상 세계의 아바타에 매핑되도록 상기 객체를 제어할 수 있다.
또한, 본 발명의 일실시예에 따른 객체 제어 방법은 가상 환경의 객체에 대한 제어 명령을 수신하는 단계 및 상기 수신된 제어 명령 및 상기 객체의 객체 정보에 따라 상기 객체를 제어하는 단계를 포함할 수 있다. 객체 제어 방법에서 이용되는 객체 정보 또한 객체 제어 시스템에서 이용되는 객체 정보와 동일할 수 있다. 이때, 객체를 제어하는 단계는, 상기 객체가 아바타인 경우, 상기 아바타의 얼굴표정과 동작의 제어를 위한 아바타 얼굴 특징점 및 신체 특징점을 정의하는 메타데이터 및 상기 수신된 제어 명령에 기초하여 상기 아바타를 제어하는 단계를 포함할 수 있다. 또한, 제어 명령은, 상기 객체가 가상 세계의 아바타인 경우, 현실 세계의 사용자의 얼굴 표정과 신체 동작을 센싱하여 생성될 수 있고, 이 경우, 객체를 제어하는 단계는, 얼굴 표정과 신체 동작에 따른 사용자의 특징이 상기 가상 세계의 아바타에 매핑되도록 상기 객체를 제어하는 단계를 포함할 수 있다.
본 발명의 다른 실시예에 따른 객체 제어 시스템은 현실 세계 장치로부터 수신된 정보에 기초하여 정규화된 제어 명령을 생성하는 제어 명령 생성부, 정규화된 제어 명령을 가상 세계 서버로 전송하는 제어 명령 전송부 및 가상 세계 서버로부터 수신된 가상 세계 객체에 대한 정보에 기초하여 가상 세계 객체를 제어하는 객체 제어부를 포함한다. 이때, 본 실시예에 따른 객체 제어 시스템은 하나의 단말기의 역할을 수행할 수 있고, 가상 세계 서버의 역할을 수행하는 본 발명의 또 다른 실시예에 따른 객체 제어 시스템은 단말기로부터 수신된 정규화된 제어 명령을 해당하는 가상 세계 객체에 따라 변환하여 가상 세계 객체에 대한 정보를 생성하는 정보 생성부 및 가상 세계 객체에 대한 정보를 단말기로 전송하는 정보 전송부를 포함한다. 이 경우, 정규화된 제어 명령은 단말기가 현실 세계 장치로부터 수신한 정보에 기초하여 생성된다.
본 발명의 다른 실시예에 따른 객체 제어 방법은 현실 세계 장치로부터 수신된 정보에 기초하여 정규화된 제어 명령을 생성하는 단계, 정규화된 제어 명령을 가상 세계 서버로 전송하는 단계 및 가상 세계 서버로부터 수신된 가상 세계 객체에 대한 정보에 기초하여 가상 세계 객체를 제어하는 단계를 포함한다. 이때, 본 실시예에 따른 객체 제어 방법은 하나의 단말기를 통해 수행될 수 있고, 가상 세계 서버는 본 발명의 또 다른 실시예에 따른 객체 제어 방법을 수행할 수 있다. 즉, 가상 세계 서버에 의해 수행될 수 있는 객체 제어 방법은 단말기로부터 수신된 정규화된 제어 명령을 해당하는 가상 세계 객체에 따라 변환하여 가상 세계 객체에 대한 정보를 생성하는 단계 및 가상 세계 객체에 대한 정보를 단말기로 전송하는 단계를 포함한다. 이 경우, 정규화된 제어 명령은 단말기가 현실 세계 장치로부터 수신한 정보에 기초하여 생성된다.
본 발명의 또 다른 실시예에 따른 객체 제어 시스템은 현실 세계 장치로부터 수신된 정보를 가상 세계 서버로 전송하는 정보 전송부 및 전송된 정보에 따라 가상 세계 서버로부터 수신된 가상 세계 객체에 대한 정보에 기초하여 가상 세계 객체를 제어하는 객체 제어부를 포함한다. 이때, 본 실시예에 따른 객체 제어 시스템은 하나의 단말기의 역할을 수행할 수 있고, 가상 세계 서버의 역할을 수행하는 본 발명의 또 다른 실시예에 따른 객체 제어 시스템은 단말기로부터 수신된 정보에 기초하여 정규화된 제어 명령을 생성하는 제어 명령 생성부, 정규화된 제어 명령을 해당하는 가상 세계 객체에 따라 변환하여 가상 세계 객체에 대한 정보를 생성하는 정보 생성부 및 가상 세계 객체에 대한 정보를 단말기로 전송하는 정보 전송부를 포함한다. 이 경우, 수신된 정보는 단말기가 현실 세계 장치로부터 수신한 정보를 포함한다.
본 발명의 또 다른 실시예에 따른 객체 제어 방법은 현실 세계 장치로부터 수신된 정보를 가상 세계 서버로 전송하는 단계 및 전송된 정보에 따라 가상 세계 서버로부터 수신된 가상 세계 객체에 대한 정보에 기초하여 가상 세계 객체를 제어하는 단계를 포함한다. 이때, 본 실시예에 따른 객체 제어 방법은 하나의 단말기를 통해 수행될 수 있고, 가상 세계 서버는 본 발명의 또 다른 실시예에 따른 객체 제어 방법을 수행할 수 있다. 즉, 가상 세계 서버에 의해 수행될 수 있는 객체 제어 방법은 단말기로부터 수신된 정보에 기초하여 정규화된 제어 명령을 생성하는 단계, 정규화된 제어 명령을 해당하는 가상 세계 객체에 따라 변환하여 가상 세계 객체에 대한 정보를 생성하는 단계 및 가상 세계 객체에 대한 정보를 단말기로 전송하는 단계를 포함한다. 이 경우, 수신된 정보는 단말기가 현실 세계 장치로부터 수신한 정보를 포함한다.
본 발명의 또 다른 실시예에 따른 객체 제어 시스템은 현실 세계 장치로부터 수신된 정보에 기초하여 정규화된 제어 명령을 생성하는 제어 명령 생성부, 정규화된 제어 명령을 해당하는 가상 세계 객체에 따라 변환하여 가상 세계 객체에 대한 정보를 생성하는 정보 생성부 및 가상 세계 객체에 대한 정보에 기초하여 가상 세계 객체를 제어하는 객체 제어부를 포함한다.
본 발명의 또 다른 실시예에 따른 객체 제어 방법은 현실 세계 장치로부터 수신된 정보에 기초하여 정규화된 제어 명령을 생성하는 단계, 정규화된 제어 명령을 해당하는 가상 세계 객체에 따라 변환하여 가상 세계 객체에 대한 정보를 생성하는 단계 및 가상 세계 객체에 대한 정보에 기초하여 가상 세계 객체를 제어하는 단계를 포함한다.
본 발명의 또 다른 실시예에 따른 객체 제어 시스템은 현실 세계 장치로부터 수신된 정보에 기초하여 정규화된 제어 명령을 생성하는 제어 명령 생성부, 정규화된 제어 명령을 해당하는 가상 세계 객체에 따라 변환하여 가상 세계 객체에 대한 정보를 생성하는 정보 생성부, 가상 세계 객체에 대한 정보와 다른 객체 제어 시스템의 가상 세계 객체에 대한 정보를 교환하는 정보 교환부 및 가상 세계 객체에 대한 정보 및 교환된 가상 세계 객체에 대한 정보에 기초하여 가상 세계 객체를 제어하는 객체 제어부를 포함한다.
본 발명의 또 다른 실시예에 따른 객체 제어 방법은 현실 세계 장치로부터 수신된 정보에 기초하여 정규화된 제어 명령을 생성하는 단계, 정규화된 제어 명령을 해당하는 가상 세계 객체에 따라 변환하여 가상 세계 객체에 대한 정보를 생성하는 단계, 가상 세계 객체에 대한 정보와 다른 객체 제어 시스템의 가상 세계 객체에 대한 정보를 교환하는 단계 및 가상 세계 객체에 대한 정보 및 교환된 가상 세계 객체에 대한 정보에 기초하여 가상 세계 객체를 제어하는 단계를 포함한다.
본 발명의 또 다른 실시예에 따른 객체 제어 시스템은 현실 세계 장치로부터 수신된 정보 및 가상 세계 서버로부터 수신된 가상 세계 정보에 기초하여 가상 세계 객체에 대한 정보를 생성하는 정보 생성부, 가상 세계 객체에 대한 정보에 기초하여 가상 세계 객체를 제어하는 객체 제어부 및 가상 세계 객체의 제어에 따른 처리 결과를 가상 세계 서버로 전송하는 처리 결과 전송부를 포함한다. 이때, 본 실시예에 따른 객체 제어 시스템은 하나의 단말기의 역할을 수행할 수 있고, 가상 세계 서버의 역할을 수행하는 본 발명의 또 다른 실시예에 따른 객체 제어 시스템은 단말기로 가상 세계 정보를 전송하는 정보 전송부 및 단말기로부터 수신되는 처리 결과에 기초하여 가상 세계 정보를 갱신하는 정보 갱신부를 포함한다. 이 경우, 처리 결과는 단말기가 현실 세계 장치로부터 수신한 정보 및 가상 세계 정보에 기초하여 가상 세계 객체를 제어한 결과를 포함한다.
본 발명의 또 다른 실시예에 따른 객체 제어 방법은 현실 세계 장치로부터 수신된 정보 및 가상 세계 서버로부터 수신된 가상 세계 정보에 기초하여 가상 세계 객체에 대한 정보를 생성하는 단계, 가상 세계 객체에 대한 정보에 기초하여 가상 세계 객체를 제어하는 단계 및 가상 세계 객체의 제어에 따른 처리 결과를 가상 세계 서버로 전송하는 단계를 포함한다. 이때, 본 실시예에 따른 객체 제어 방법은 하나의 단말기를 통해 수행될 수 있고, 가상 세계 서버는 본 발명의 또 다른 실시예에 따른 객체 제어 방법을 수행할 수 있다. 즉, 가상 세계 서버에 의해 수행될 수 있는 객체 제어 방법은 단말기로 가상 세계 정보를 전송하는 단계 및 단말기로부터 수신되는 처리 결과에 기초하여 가상 세계 정보를 갱신하는 단계를 포함한다. 이 경우, 처리 결과는 단말기가 현실 세계 장치로부터 수신한 정보 및 가상 세계 정보에 기초하여 가상 세계 객체를 제어한 결과를 포함한다.
이때, 각각의 실시예들에 따른 객체 제어 시스템의 객체 제어부는, 가상 세계 객체에 대한 정보에 기초하여 제어 명령을 생성하여 디스플레이로 전송함으로써 가상 세계 객체를 제어할 수 있다.
2. 가상 세계 객체 메타데이터(Virtual World Object metadata)
2.1 메타데이터의 타입(Types of metadata)
다른 멀티미디어 어플리케이션에 대한 가상 환경(VEs: Virtual Environments)의 특이함(specificity)은 환경 내의 가상 세계 객체의 표현(representation)에 있다. "가상 세계 객체"는 아바타 및 가상 객체와 같이 두 개의 타입으로 분류될 수 있다. 아바타는 환경 안에 사용자의 (시각적) 표현으로 이용될 수 있다. 이러한 가상 세계 객체는 서로 다른 목적을 제공한다.
- 가상 환경 내에서 객체들의 다양한 종류의 특징을 묘사한다.
- 가상 환경과의 상호 작용을 제공한다.
일반적으로, 객체의 생성은 시간을 소모하는 작업이다. 비록 객체의 몇 가지 요소가 가상 세계와 관련될 수 있다 하더라도, 객체를 한번 생성하고, 다른 가상 세계에서 그것을 이용할 실제 필요성이 있다. 예를 들어, 현대 스타일의 가상 환경에서 중세의 슈트를 입고 있는 아바타는 부적절할 수 있다. 게다가, 외부 어플리케이션으로부터 객체를 제어하는 것이 가능해야 한다. 예를 들어, 가상 세계에서 아바타가 표현하는 감정이 사용자의 생리학적(physiological) 센서와 관련된 처리를 통해 얻어질 수 있어야 한다.
아래 세가지 메인 요구를 고려함으로써 객체를 묘사하기 위해, 가상 세계 객체 특징(Virtual World Object Characteristics) XSD라 불리우는 XML 스키마(Schema)가 제안될 수 있다.
- 다양한 가상 환경 실행(implementation)으로부터 임포터(importers)나 익스포터(exporters)를 쉽게 생성하는 것이 가능해야 한다.
- 가상 환경 내의 객체를 제어하는 것이 쉬워야 한다.
- 가상 세계 객체 특징 파일에 포함된 데이터를 이용하여 객체의 지역 템플릿(local template)을 수정하는 것이 가능해야 한다.
제안된 스키마(schema)는 오직 메타데이터를 다루고, 기하학적 구조(geometry), 소리(sound), 냄새(scent), 애니메이션이나 텍스처(texture)는 포함하지 않는다. 후자를 표현하기 위해, 미디어 리소스(media resource)의 참조가 이용될 수 있다.
가상 객체와 아바타에 공유되는 가상 세계 객체의 속성과 특징의 공통 타입이 있다.
공통 관련 속성(attributes) 및 특징(characteristics)은 아래 데이터 타입으로 구성될 수 있다.
- 아이덴티티(Identity): 식별(identification) 설명자(descriptors)를 포함한다.
- 소리(Sound): 소리 리소스(resources) 및 관련 속성(properties)를 포함한다.
- 냄새(Scent): 냄새 리소스 및 관련 속성을 포함한다.
- 제어(Control): 변형(translation), 방향(orientation), 스케일링(scaling)과 같은 객체의 동작 특성을 제어하기 위한 설명자의 집합을 포함한다.
- 이벤트(Event): 마우스나 키보드와 같은 입력 장치로부터의 입력 이벤트를 제공하기 위한 설명자의 집합을 포함한다.
- 행동 모델(Behaviour Model): 입력 이벤트에 따른 객체의 행동 정보를 정의하기 위한 설명자의 집합을 포함한다.
- 햅틱 속성(Haptic Properties): 햅틱 속성의 고레벨(high level) 설명자의 집합을 포함한다.
공통 특징 및 속성은 아바타 메타데이터와 가상 객체 메타데이터 각각의 특징적 면을 확장하기 위해 아바타 메타데이터와 가상 객체 메타데이터 모두에 상속될 수 있다.
2.2 가상 세계 객체 공통 특징(Virtual World Object Common Characteristics)
2.2.1 공통 특징 타입(commonCharacteristicsType)
2.2.1.1 신텍스(Syntax)
도 9는 본 발명의 일실시예에 있어서, 공통 특징 타입의 구조를 나타낸 도면이다. 또한, 아래 표 1은 공통 특징 타입의 신텍스를 나타낸다.
표 1
Figure PCTKR2010002938-appb-T000001
2.2.1.2 시멘틱스(Semantics)
아래 표 2는 공통 특징 타입의 시멘틱스를 나타낸다.
표 2
Name Description
Identification 가상 세계 객체의 식별을 설명한다.(Describes the identification of the virtual world object.)
VWOSound 가상 세계 객체와 관련된 소리 효과를 설명한다.(Describes the sound effect associated to the virtual world object.)
VWOScent 가상 세계 객체와 관련된 냄새 효과를 설명한다.Describes the scent effect associated to the virtual world object.
VWOControl 가상 세계 객체와 관련된 스케일링, 변형 및 회전을 설명한다.(Describes the control such as scaling, translation, and rotation associated to the virtual world object.)
VWOEvent 가상 세계 객체와 관련된 입력 이벤트를 설명한다.(Describes the input event associated to the virtual world object.)
VWOBehaviorModel 가상 세계 객체와 관련된 행동 모델을 설명한다.(Describes the behaviour model associated to the virtual world object.)
VWOHapticProperties 가상 세계 객체의 햅틱 속성의 고레벨 설명을 포함한다.Contain the high level description of the haptic properties of the virtual world object.
2.2.2 식별 타입(IdentificationType)
2.2.2.1 신텍스(Syntax)
도 10은 본 발명의 일실시예에 있어서, 식별 타입의 구조를 나타낸 도면이다. 또한, 아래 표 3은 식별 타입의 신텍스를 나타낸다.
표 3
Figure PCTKR2010002938-appb-T000002
2.2.2.2 시멘틱스(Semantics)
아래 표 4는 식별 타입의 시멘틱스를 나타낸다.
표 4
Name Definition
IdentificationType 가상 세계 객체의 식별을 설명한다.(Describes the identification of a virtual world object.)
UserID 가상 세계 객체와 관련된 사용자 식별을 포함한다.(Contains the user identification associated to the virtual world object.)
Ownership 가상 세계 객체의 소유권을 설명한다.(Describes the ownership of the virtual world object.)
Rights 가상 세계 객체의 권리를 설명한다.(Describes the rights of the virtual world object.)
Credits 순차적으로 가상 객체의 공헌자를 설명한다.(Describes the contributors of the virtual object in chronological order.)주: 처음 리스트된 크레디트는 가상 세계 객체의 원작자를 설명한다. 그 다음의 크레디트는 가상 세계 객체의 공헌자의 리스트를 순차적으로 표현한다.(Note: The 1st listed credit describes an original author of a virtual world object. The subsequent credits represent the list of the contributors of the virtual world object chronologically.)
Name 가상 세계 객체의 이름을 설명한다.(Describes the name of the virtual world object.)
Family 다른 가상 세계 객체와의 관계를 설명한다.(Describes the relationship with other virtual world objects.)
2.2.3 가상 세계 객체 소리 타입(VWO(Virtual World Object)SoundType)
2.2.3.1 신텍스(Syntax)
도 11은 본 발명의 일실시예에 있어서, 가상 세계 객체 소리 타입의 구조를 나타낸 도면이다. 또한, 아래 표 5는 가상 세계 객체 소리 타입의 신텍스를 나타낸다.
표 5
Figure PCTKR2010002938-appb-T000003
2.2.3.2 시멘틱스(Semantics)
아래 표 6는 가상 세계 객체 소리 타입의 시멘틱스를 나타낸다.
표 6
Figure PCTKR2010002938-appb-T000004
2.2.3.3 예
아래 표 7은 시멘틱스의 객체와 관련된 소리 정보의 설명을 나타낸다. 이름이 "BigAlarm"인 소리 리소스가 "http://sounddb.com/alarmsound_0001.wav"에서 구해지고, "SoundID"의 값은 식별자 "3"이다. 소리의 길이는 30초이다. 소리는 강도의 볼륨 50%로 반복적으로 재생될 수 있다.
표 7
Figure PCTKR2010002938-appb-T000005
2.2.4 가상 세계 객체 냄새 타입(VWOScentType)
2.2.4.1 신텍스(Syntax)
도 12는 본 발명의 일실시예에 있어서, 가상 세계 객체 냄새 타입의 구조를 나타낸 도면이다. 또한, 아래 표 8은 가상 세계 객체 냄새 타입의 신텍스를 나타낸다.
표 8
Figure PCTKR2010002938-appb-T000006
2.2.4.2 시멘틱스(Semantics)
아래 표 9는 가상 세계 객체 냄새 타입의 시멘틱스를 나타낸다.
표 9
Figure PCTKR2010002938-appb-T000007
2.2.4.3 예
아래 표 10은 객체와 관련된 냄새 정보의 설명을 나타낸다. 이름이 "rose"인 냄새 리소스가 "http://scentdb.com/flower_0001.sct"에서 구해지고, "ScentID"의 값은 식별자 "5"이다. 강도는 20%로 20초 지속될 수 있다.
표 10
Figure PCTKR2010002938-appb-T000008
2.2.5 가상 세계 객체 제어 타입(VWOControlType)
2.2.5.1 신텍스(Syntax)
도 13은 본 발명의 일실시예에 있어서, 가상 세계 객체 제어 타입의 구조를 나타낸 도면이다. 또한, 아래 표 11은 가상 세계 객체 제어 타입의 신텍스를 나타낸다.
표 11
Figure PCTKR2010002938-appb-T000009
2.2.5.2 시멘틱스(Semantics)
아래 표 12는 가상 세계 객체 제어 타입의 시멘틱스를 나타낸다.
표 12
Figure PCTKR2010002938-appb-T000010
주) 제어의 레벨: 전체 객체, 객체의 부분
(Note) levels of controls: entire object, part of the object)
주: 만약 두 개의 컨트롤러가 동일한 객체와 관련되어 있으나 객체의 서로 다른 부분과 관련되어 있고, 이러한 부분이 계층적 구조(부모와 자식 관계)로 존재한다면, 그때, 자식의 관련 동작이 수행될 수 있다. 만약, 컨트롤러들이 동일한 부분과 관련되어 있다면, 컨트롤러는 전체 객체를 위해 스케일링하거나 비슷한 효과를 가져올 것이다.( Note: if two controllers are associated to the same object but on different parts of the object and if these parts exist hierarchical structures (parent and children relationship) then the relative motion of the children should be performed. If the controllers are associated with the same part, the controller does the scaling or similar effects for the entire object.)
2.2.5.3 예
아래 표 13은 객체 제어 정보의 설명을 나타낸다. 위치 변화의 동작 특징 제어가 주어지고, "ControlID"의 값은 식별자 "7"이다. 객체는 "DistanceX=122.0", "DistanceY=150.0" 및 "DistanceZ=40.0"의 위치에 존재한다.
표 13
Figure PCTKR2010002938-appb-T000011
2.2.6 가상 세계 객체 이벤트 타입(VWOEventType)
2.2.6.1 신텍스(Syntax)
도 14는 본 발명의 일실시예에 있어서, 가상 세계 객체 이벤트 타입의 구조를 나타낸 도면이다. 또한, 아래 표 14는 가상 세계 객체 이벤트 타입의 신텍스를 나타낸다.
표 14
Figure PCTKR2010002938-appb-T000012
2.2.6.2 시멘틱스(Semantics)
아래 표 15는 가상 세계 객체 이벤트 타입의 시멘틱스를 나타낸다.
표 15
Figure PCTKR2010002938-appb-T000013
2.2.6.3 예
아래 표 16은 객체 이벤트의 설명을 나타낸다. 입력 장치로서 마우스는 새로운 입력 값 "click"을 생성한다. 이러한 입력을 식별하기 위해 "EventID"의 값은 "3"이다.
표 16
Figure PCTKR2010002938-appb-T000014
2.2.7 가상 세계 객체 행동 모델 타입(VWOBehaviourModelType)
2.2.7.1 신텍스(Syntax)
도 15는 본 발명의 일실시예에 있어서, 가상 세계 객체 행동 모델 타입의 구조를 나타낸 도면이다. 또한, 아래 표 17은 가상 세계 객체 행동 모델 타입의 신텍스를 나타낸다.
표 17
Figure PCTKR2010002938-appb-T000015
2.2.7.2 시멘틱스(Semantics)
아래 표 18은 가상 세계 객체 행동 모델 타입의 시멘틱스를 나타낸다.
표 18
Figure PCTKR2010002938-appb-T000016
2.2.7.3 예
아래 표 19는 가상 세계 객체 행동 모델의 설명을 나타낸다. 만약, 행동 입력으로서 EventID가 "1"로 주어지면, 행동 출력은 SoundID의 값 "5" 및 AnimationID의 값 "4"와 관련되어 실행될 수 있다.
표 19
Figure PCTKR2010002938-appb-T000017
2.2.8 가상 세계 객체 햅틱 속성 타입(VWOHapticPropertyType)
2.2.8.1 신텍스(Syntax)
도 16은 본 발명의 일실시예에 있어서, 가상 세계 객체 햅틱 속성 타입의 구조를 나타낸 도면이다. 또한, 아래 표 20은 가상 세계 객체 햅틱 속성 타입의 신텍스를 나타낸다.
표 20
Figure PCTKR2010002938-appb-T000018
2.2.8.2 시멘틱스(Semantics)
아래 표 21은 가상 세계 객체 햅틱 속성 타입의 시멘틱스를 나타낸다.
표 21
Name Description
MaterialProperty 본 타입은 햅틱 속성을 특징짓는 파라미터를 포함.(This type contains parameters characterizing haptic properties.)
DynamicForceEffect 본 타입은 힘 효과를 특징짓는 파라미터를 포함.(This type contains parameters characterizing force effects.)
TactileProperty 본 타입은 촉각 속성을 특징짓는 파라미터를 포함.(This type contains parameters characterizing tactile properties.)
2.2.8.3 소재 속성 타입(MaterialPropertyType)
2.2.8.3.1 신텍스(Syntax)
도 17은 본 발명의 일실시예에 있어서, 소재 속성 타입의 구조를 나타낸 도면이다. 또한, 아래 표 22는 소재 속성 타입의 신텍스를 나타낸다.
표 22
Figure PCTKR2010002938-appb-T000019
2.2.8.3.2 시멘틱스(Semantics)
아래 표 23은 소재 속성 타입의 시멘틱스를 나타낸다.
표 23
Name Description
Stiffness 가상 세계 객체의 강성(N/mm 에서, N은 뉴턴).(The stiffness of the virtual world object (in N/mm).
StaticFriction 가상 세계 객체의 정지 마찰력.(The static friction of the virtual world object.)
DynamicFriction 가상 세계 객체의 운동 마찰력(The dynamic friction of the virtual world object.)
Damping 가상 세계 객체의 담핑.(The damping of the virtual world object.)
Texture 햅틱 텍스처 파일로의 링크를 포함(예를 들어, 범프 이미지).(Contains a link to haptic texture file(e.g. bump image))
Mass 가상 세계 객체의 질량.(The mass of the virtual world object.)
2.2.8.3.3 예
아래 표 24는 가상 세계 객체의 소재 속성을 나타낸다. 여기서, 가상 세계 객체의 강성은 0.5 N/mm이고, 정지 마찰력의 계수는 0.3, 운동 마찰력의 계수는 0.002, 담핑 계수는 0.001, 질량은 0.7이고, 표면 햅틱 텍스처는 주어진 URL로부터 로드될 수 있다.
표 24
Figure PCTKR2010002938-appb-T000020
2.2.8.4 역학적 힘 효과 타입(DynamicForceEffectType)
2.2.8.4.1 신텍스(Syntax)
도 18은 본 발명의 일실시예에 있어서, 역학적 힘 효과 타입의 구조를 나타낸 도면이다. 또한, 아래 표 25는 역학적 힘 효과 타입의 신텍스를 나타낸다.
표 25
Figure PCTKR2010002938-appb-T000021
2.2.8.4.2 시멘틱스(Semantics)
아래 표 26은 역학적 힘 효과 타입의 시멘틱스를 나타낸다.
표 26
Name Description
ForceField 힘 필드 벡터 파일로의 링크를 포함(힘 필드 벡터의 합).(Contains link to force filed vector file (sum of force field vectors).)
MovementTrajectory 힘 궤적 파일로의 링크를 포함(예를 들어, 동작 데이터의 합을 포함하는 데이터 파일).(Contains link to force trajectory file (e.g. .dat file including sum of motion data).)
2.2.8.4.3 예
아래 표 27은 아바타의 역학적 힘 효과를 나타낸다. 아바타의 힘 필드 특징은 URL로부터의 디자인된 임 필드 파일에 의해 결정될 수 있다.
표 27
Figure PCTKR2010002938-appb-T000022
2.2.8.5 촉각 타입(TactileType)
2.2.8.5.1 신텍스(Syntax)
도 19는 본 발명의 일실시예에 있어서, 촉각 타입의 구조를 나타낸 도면이다. 또한, 아래 표 28은 촉각 타입의 신텍스를 나타낸다.
표 28
Figure PCTKR2010002938-appb-T000023
2.2.8.5.2 시멘틱스(Semantics)
아래 표 29는 촉각 타입의 시멘틱스를 나타낸다.
표 29
Name Description
Temperature 가상 세계 객체의 온도(섭씨온도).(The temperature of the virtual world object(in degree celsius).
Vibration 가상 세계 객체의 진동.(The vibration of the virtual world object.)
Current 가상 세계 객체의 전류(mA)(The electric current of the virtual world object. (in mA))
TactilePatterns 촉각 패턴 파일로의 링크를 포함(예를 들어, 회색톤의 비디오(.avi, h.264 또는 .dat file))(Contains link to tactile pattern file (e.g. grey-scale video(.avi, h.264, or .dat file.)))
2.2.8.5.3 예
아래 표 30은 아바타의 촉각 속성을 나타낸다. 여기서, 촉각 속성으로 15도의 온도와 아래의 URL로부터의 촉각 정보에 기초한 촉각 효과를 가질 수 있다.
표 30
Figure PCTKR2010002938-appb-T000024
3. 아바타 메타데이터(Avatar metadata)
3.1 아바타 메타데이터의 타입(Type of Avatar metadata)
가상 환경 내부에서의 사용자의 시각적 표현으로서의 아바타 메타데이터는 아래와 같은 목적을 제공한다.
- 가상 환경에서 실제 사용자의 존재가 보이도록 만든다.
- 가상 환경내에서 사용자를 특징짓는다.
- 가상 환경과의 상호작용
"아바타" 구성요소는 가상 세계 객체의 공통 특징 타입에 더하여, 아래 데이터의 타입으로 구성될 수 있다.
- 아바타 외양(Avatar Appearance): 외양의 고레벨 설명을 포함하고, 정밀한 지오메트리(geometry) 및 텍스처(texture)를 포함하는 미디어를 참조할 수 있다.
- 아마자 애니메이션(Avatar Animation): 아바타가 수행할 수 있는 애니메이션 시퀀스의 집합의 설명을 포함할 수 있고, 정확한 (기하학적 변형) 애니메이션 파라미터를 포함하는 몇몇의 미디어들을 참조할 수 있다.
- 아바타 커뮤니케이션 스킬(Avatar Communication Skills): 아바타와 커뮤니케이션할 수 있는 서로 다른 양식(modalities)의 정보를 제공하는 서술자(descriptor)들의 집합을 포함한다.
- 아바타 개성(Avatar Personality): 아바타의 개성을 정의하는 서술자들의 집합을 포함한다.
- 아바타 제어 특성(Avatar Control Features): 신체 뼈대와 얼굴 특징점에 센서를 위해 가능한 플레이스-홀더(place-holders)를 정의하는 서술자들의 집합을 포함한다.
3.2 아바타 특성 XSD(Avatar Characteristics XSD)
3.2.1 아바타 타입(AvatarType)
3.2.1.1 신텍스(Syntax)
도 20은 본 발명의 일실시예에 있어서, 아바타 타입의 구조를 나타낸 도면이다. 또한, 아래 표 31은 아바타 타입의 신텍스를 나타낸다.
표 31
Figure PCTKR2010002938-appb-T000025
3.2.1.2 시멘틱스(Semantics)
아래 표 32는 아바타 타입의 시멘틱스를 나타낸다.
표 32
Name Definition
AvatarAppearance 아바타의 외양의 고레벨 설명을 포함.(Contains the high level description of the appearance of an avatar,)
AvatarAnimation 아바타가 수행 가능한 애니메이션 시퀀스의 집합을 포함.(Contains the description of a set of animation sequences that the avatar is able to perform.)
AvatarCommunicationSkills 아바타와 커뮤니케이션할 수 있는 서로 다른 양식의 정보를 제공하는 서술자들의 집합을 포함.(Contains a set of descriptors providing information on the different modalities an avatar is able to communicate.)
AvatarPersonality 아바타의 개성을 정의하는 서술자들의 집합을 포함.(Contains a set of descriptors defining the personality of the avatar.)
AvatarControlFeatures 신체 뼈대와 얼굴 특징점에 센서를 위해 가능한 플레이스-홀더(place-holders)를 정의하는 서술자들의 집합을 포함.(Contains a set of descriptors defining possible place-holders for sensors on body skeleton and face feature points.)
AvatarCC 가상 세계 객체의 공통 특징에서 정의된 공통 특징에 관한 서술자의 집합을 포함.(Contains a set of descriptors about the common characteristics defined in the common characteristics of the virtual world object.)
Gender 아바타의 성별을 설명.(Describes the gender of the avatar.)
3.2.2 아바타 외양 타입(AvatarAppearanceType)
3.2.2.1. 신텍스(Syntax)
도 21은 본 발명의 일실시예에 있어서, 아바타 외양 타입의 구조를 나타낸 도면이다. 또한, 아래 표 33은 아바타 외양 타입의 신텍스를 나타낸다.
표 33
Figure PCTKR2010002938-appb-T000026
3.2.2.2. 시멘틱스(Semantics)
아래 표 34는 아바타 외양 타입의 시멘틱스를 나타낸다. 또한, 도 22는 본 발명의 일실시예에 있어서, 얼굴 눈금점을 나타낸 일례이다.
표 34
Figure PCTKR2010002938-appb-T000027
Figure PCTKR2010002938-appb-I000001
Figure PCTKR2010002938-appb-I000002
Figure PCTKR2010002938-appb-I000003
Figure PCTKR2010002938-appb-I000004
Figure PCTKR2010002938-appb-I000005
Figure PCTKR2010002938-appb-I000006
Figure PCTKR2010002938-appb-I000007
Figure PCTKR2010002938-appb-I000008
Figure PCTKR2010002938-appb-I000009
Figure PCTKR2010002938-appb-I000010
Figure PCTKR2010002938-appb-I000011
Figure PCTKR2010002938-appb-I000012
3.2.2.3 물리적 조건 타입(PhysicalConditionType)
3.2.2.3.1. 신텍스(Syntax)
도 23은 본 발명의 일실시예에 있어서, 물리적 조건 타입의 구조를 나타낸 도면이다. 또한, 아래 표 35는 물리적 조건 타입의 신텍스를 나타낸다.
표 35
Figure PCTKR2010002938-appb-T000028
3.2.2.3.2. 시멘틱스(Semantics)
아래 표 36은 물리적 조건 타입의 시멘틱스를 나타낸다.
표 36
Name Description
BodyStrength 이 구성요소는 신체의 강도를 설명한다. 이 구성요소를 위한 값은 -3에서 3까지가 될 수 있다.(This element describes the body strength. Values for this element can be from - 3 to 3.)
BodyFlexibility 이 구성요소는 신체 유연성을 설명한다. 이 구성요소를 위한값은 낮음, 중간, 높음이 될 수 있다.(This element describes the body flexibility. Values for this element can be low, medium, high.)
3.2.3 아바타 애니메이션 타입(AvatarAnimationType)
3.2.3.1 신텍스(Syntax)
도 24는 본 발명의 일실시예에 있어서, 아바타 애니메이션 타입의 구조를 나타낸 도면이다. 또한, 아래 표 37은 아바타 애니메이션 타입의 신텍스를 나타낸다.
표 37
Figure PCTKR2010002938-appb-T000029
3.2.3.2 시멘틱스(Semantics)
아래 표 38은 아바타 애니메이션 타입의 시멘틱스를 나타낸다.
표 38
Figure PCTKR2010002938-appb-T000030
Figure PCTKR2010002938-appb-I000013
Figure PCTKR2010002938-appb-I000014
Figure PCTKR2010002938-appb-I000015
Figure PCTKR2010002938-appb-I000016
Figure PCTKR2010002938-appb-I000017
Figure PCTKR2010002938-appb-I000018
Figure PCTKR2010002938-appb-I000019
Figure PCTKR2010002938-appb-I000020
Figure PCTKR2010002938-appb-I000021
Figure PCTKR2010002938-appb-I000022
Figure PCTKR2010002938-appb-I000023
Figure PCTKR2010002938-appb-I000024
3.2.3.3 예
아래 표 39는 아바타 애니메이션 정보의 설명을 나타낸다. 모든 애니메이션 중 디폴트에서의 아이들(idle), 경례 인사(saluting greeting), 굽히기(bow), 댄스(dance) 및 살사 댄스(salsa dance)가 주어진다. 애니메이션 리소스는 URL "http://avatarAnimationdb.com/default_idle.bvh", "http://avatarAnimationdb.com/salutes.bvh", "http://avatarAnimationdb.com/bowing.bvh", "http://avatarAnimationdb.com/dancing.bvh" 및 "http://avatarAnimationdb.com/salsa.bvh"에서 구해질 수 있다.
표 39
Figure PCTKR2010002938-appb-T000031
3.2.4 아바타 커뮤니케이션 스킬 타입(AvatarCommunicationSkillsType)
이 구성요소는 다른 아바타에 관하여 아바타의 커뮤니케이션 스킬을 정의한다.
3.2.4.1 신텍스(Syntax)
도 25는 본 발명의 일실시예에 있어서, 아바타 커뮤니케이션 스킬 타입의 구조를 나타낸 도면이다. 또한, 아래 표 40는 아바타 커뮤니케이션 스킬 타입의 신텍스를 나타낸다.
표 40
Figure PCTKR2010002938-appb-T000032
3.2.4.2 시멘틱스(Semantics)
표 40은 아바타의 입출력을 입출력의 선호(그들 자신의 선호와도 역시 균형을 이루는)에 적용할 수 있는 가상 세계 및 아바타의 나머지에 대해 설명한다. 모든 입출력은 개별적으로 각각의 아바타에 적용될 수 있다.
커뮤니케이션 선호는 복수 양식을 보장하는 두 개의 입력과 두 개의 출력 채널의 도움으로 정의될 수 있다. 두 개의 입력과 두 개의 출력 채널은 입력으로서 구두(verbal) 인식과 비-구두(non-verbal) 인식 그리고 출력으로서 구두 실행과 비-구두 실행이다. 이러한 채널들은 "인에이블된(enabled)" 및 "디스에이블된(disabled)"으로서 명시될 수 있다. "인에이블된" 모든 채널은 제스처를 수행하고, 말과 제스처를 인식하기 위해 아바타가 말할 수 있음을 나타낸다.
구두 실행과 구두 인식 채널에서 텍스트를 통해 그리고 음성을 통해 채널을 이용하기 위한 선호는 명시될 수 있다.
비-구두 실행과 비-구두 인식 채널은 제스처의 타입인 "비구두 언어(language)", "사인(sign) 언어" 및 "큐드 스피치 커뮤니케이션(cued speech communication)"을 명시할 수 있다.
언어(텍스트 또는 음성을 통한 말하기, 텍스트 또는 음성을 통한 말하기 인식 및 사인/큐드 언어의 이용/인식)에 의존한 모든 특성들은 구체적인(concrete) 언어 스킬을 정의하기 위한 언어 속성을 이용할 수 있다.
아래 표 41은 아바타 커뮤니케이션 스킬 타입의 시멘틱스를 나타낸다.
표 41
Name Definition
<VerbalCommunicationType> 아바타의 구두(음성 및 텍스트) 커뮤니케이션 스킬을 정의(Defines the verbal (voice and text) communication skills of the avatar.).
<NonVerbalCommunicationType> 아바타의 비-구두(신체 제스처) 커뮤니케이션 스킬을 정의Defines the non-verbal (body gesture) communication skills of the avatar.
Name 커뮤니케이션 타입 구성요소를 조절하기 위해 이용되는 사용자 정의된 캐릭터들의 체인(A user defined chain of characters used for addressing the CommunicationType element.).
DefaultLanguage 아바타의 네이티브 언어(예를 들어, 영어, 프랑스어)(The native language of the avatar (e.g. English, French).).
DefaultLanguage 속성은 아바타의 모든 커뮤니케이션 채널을 위한 우선 언어(preferred language)를 명시할 수 있다. 우선 언어는 일반적으로 네이티브 언어일 수 있다. 각각의 커뮤니케이션 채널을 위해 선호보다 더 중요한 다른 언어가 명시될 수 있다.
3.2.4.3 구두 커뮤니케이션 타입(VerbalCommunicationType)
3.2.4.3.1 신텍스(Syntax)
도 26은 본 발명의 일실시예에 있어서, 구두 커뮤니케이션 타입의 구조를 나타낸 도면이다. 또한, 아래 표 42는 구두 커뮤니케이션 타입의 신텍스를 나타낸다.
표 42
Figure PCTKR2010002938-appb-T000033
3.2.4.3.2 시멘틱스(Semantics)
아래 표 43은 구두 커뮤니케이션 타입의 시멘틱스를 나타낸다.
표 43
Name Definition
Voice 출력 구두 커뮤니케이션을 위해 이용될 때, 아바타가 말할 수 있는지 또는 말하는 것을 선호하는지 그리고, 입력 구두 커뮤니케이션을 위해 이용될 때, 아바타가 이해할 수 있는지를 정의(Defines if the avatar is able or prefers to speak when used for OutputVerbalCommunication and understand when used for InputVerbalCommunication.).
Text 출력 구두 커뮤니케이션을 위해 이용될 때, 아바타가 쓸 수 있는지 또는 쓰는 것을 선호하는지, 그리고 입력 구두 커뮤니케이션을 이용할 때 읽을 수 있는지를 정의(Defines if the avatar is able or prefers to write when used for OutputVerbalCommunication and read when used for InputVerbalCommunication.).
Language 구두 커뮤니케이션을 위해 선호된 언어 정의(Defines the preferred language for verbal communication).
이러한 표 43은 아바타의 구두 커뮤니케이션 스킬을 명시한다. 음성과 텍스트는 선호된 구두 모드가 무엇인지를 명시하고, 다른 구두 모드의 유효성(availability)을 명시하기 위해 "인에이블된", "디스에이블된" 또는 "선호된(preferred)"으로서 정의될 수 있다.
선택적인 태그 '언어(Language)'는 구두 커뮤니케이션을 위해 선호된 언어를 정의할 수 있다. 만약, 선호된 언어가 명시되지 않으면, 커뮤니케이션 스킬 태그에 정의된 속성 DefaultLanguage의 값이 적용될 수 있다.
3.2.4.3.3 언어 타입(LanguageType)
3.2.4.3.3.1 신텍스(Syntax)
도 27은 본 발명의 일실시예에 있어서, 언어 타입의 구조를 나타낸 도면이다. 또한, 아래 표 44는 언어 타입의 신텍스를 나타낸다.
표 44
Figure PCTKR2010002938-appb-T000034
3.2.4.3.3.2 시멘틱스(Semantics)
아래 표 45는 언어 타입의 시멘틱스를 나타낸다.
표 45
Name Definition
Name 언어의 이름을 명시한 문자열(예, 영어, 스페인어)(String that specifies the name of the language (ex. English, Spanish...)).
Preference 구두 커뮤니케이션에서 언어를 이용하기 위한 선호를 정의(Define the preference for using the language in verbal communication: voice or text)
표 45는 구두 커뮤니케이션을 위한 부차적인 커뮤니케이션 스킬들의 정의를 나타낸다. 다른 아바타와의 커뮤니케이션을 위해 정의된 선호된 언어(또는 디폴트 언어)의 사용이 불가능한 경우에 이러한 부차적인 언어가 지원될 수 있다.
3.2.4.3.3.3 커뮤니케이션 선호 타입(CommunicationPreferenceType)
3.2.4.3.3.3.1 신텍스(Syntax)
아래 표 46은 커뮤니케이션 선호 타입의 신텍스를 나타낸다.
표 46
Figure PCTKR2010002938-appb-T000035
3.2.4.3.3.3.2 시멘틱스(Semantics)
아래 표 47은 커뮤니케이션 선호 타입의 시멘틱스를 나타낸다.
표 47
Name Definition
CommunicationPreferenceType 아바타의 커뮤니케이션의 선호 레벨을 정의: 음성 또는 텍스트(Defines the preferred level of communication of the avatar: voice or text.).
3.2.4.3.4 커뮤니케이션 선호 레벨 타입(CommunicationPreferenceLevelType)
3.2.4.3.4.1 신텍스(Syntax)
아래 표 48은 커뮤니케이션 선호 레벨 타입의 신텍스를 나타낸다.
표 48
Figure PCTKR2010002938-appb-T000036
3.2.4.3.4.2 시멘틱스(Semantics)
아래 표 49는 커뮤니케이션 선호 레벨 타입의 시멘틱스를 나타낸다.
표 49
Name Definition
CommunicationPreferenceLevelType 아바타가 말하거나 이해할 수 있는 각각의 언어를 위한 선호 레벨 정의. 레벨은 "선호된", "인에이블된" 또는 "디스에이블된"이 될 수 있다.(Defined the level of preference for each language that the avatar can speak/understand. This level can be: preferred, enabled or disabled.)
3.2.4.4 비-구두 커뮤니케이션 타입(NonVerbalCommunicationType)
3.2.4.4.1 신텍스(Syntax)
도 28은 본 발명의 일실시예에 있어서, 비-구두 커뮤니케이션 타입의 구조를 나타낸 도면이다. 또한, 아래 표 50은 비-구두 커뮤니케이션 타입의 신텍스를 나타낸다.
표 50
Figure PCTKR2010002938-appb-T000037
3.2.4.4.2 시멘틱스(Semantics)
아래 표 51은 비-구두 커뮤니케이션 타입의 시멘틱스를 나타낸다.
표 51
Name Definition
SignLanguage 출력 구두 커뮤니케이션이 이용될 때 수행 가능하고, 입력 구두 커뮤니케이션이 이용될 때 해석 가능한 사인 언어를 정의(Defines the sign languages that the avatar is able to perform when used for OutputVerbalCommunication and interpret when used for InputVerbalCommunication.).
CuedSpeechCommunication 출력 구두 커뮤니케이션을 이용할 때 수행 가능하고, 입력 구두 커뮤니케이션을 이용할 때 해석 가능한 큐드 스피치 커뮤니케이션을 정의(Defines the cued speech communications that the avatar is able to perform when used for OutputVerbalCommunication and interpret when used for InputVerbalCommunication.)
ComplementaryGesture 출력 구두 커뮤니케이션 동안 아바타가 상호 보완적 제스처를 수행할 수 있는지를 정의(Defines if the avatar is able to perform complementary gesture during output verbal communication.).
3.2.4.4.3 사인 언어 타입(SignLanguageType)
3.2.4.4.3.1 신텍스(Syntax)
도 29는 본 발명의 일실시예에 있어서, 사인 언어 타입의 구조를 나타낸 도면이다. 또한, 아래 표 52는 사인 언어 타입의 신텍스를 나타낸다.
표 52
Figure PCTKR2010002938-appb-T000038
3.2.4.4.3.2 시멘틱스(Semantics)
아래 표 53은 사인 언어 타입의 시멘틱스를 나타낸다.
표 53
Name Definition
Name 언어의 이름을 특징짓는 문자열(예, 영어 스페인어).(String that specifies the name of the language (ex. English, Spanish...))
표 53은 비-구두 커뮤니케이션(사인 또는 큐드 커뮤니케이션)을 위한 부차적인 커뮤니케이션 스킬을 정의한다. 선호 언어(또는 디폴트 언어)를 이용하는 것이 불가능한 경우에 이러한 부차적인 언어가 지원될 수 있다.
3.2.5 아바타 개성 타입(AvatarPersonalityType)
3.2.5.1 신텍스(Syntax)
도 30은 본 발명의 일실시예에 있어서, 아바타 개성 타입의 구조를 나타낸 도면이다. 또한, 아래 표 54는 아바타 개성 타입의 신텍스를 나타낸다.
표 54
Figure PCTKR2010002938-appb-T000039
3.2.5.2 시멘틱스(Semantics)
아바타 개성 타입은 아바타의 개성을 정의할 수 있다. 이러한 정의는 개성이 구성된 특징 집합으로 구성된 OCEAN(Openness, Conscientiousness, Extroversion, Agreeableness, Neuroticism) 모델에 기반할 수 있다. 이러한 특징의 결합은 특정 개성일 수 있다. 따라서, 아바타는 OCEAN 모델에서 정의된 각각의 속성을 위한 하위 태그로서 개방성(Openness), 성실성(Conscientiousness), 외향성(Extraversion), 친화성(Agreeableness) 및 신경성(Neuroticism)을 포함할 수 있다.
또한, 이러한 정의는 요구되는 아바타의 개성 그리고 가상 세계의 구조가 주민의 의도로서 이해할 수 있는 아바타의 개성을 정의할 수 있는 가능성을 제공할 수 있다. 이러한 정의는 이러한 개성에 아바타의 구두 및 비-구두 커뮤니케이션을 적용하는 것을 가능하게 할 수 있다. 게다가, 가상 세계 이벤트(예를 들어, 아바타간 커뮤니케이션 또는 실시간 흐름)에 의해 유발될 수 있는 감정(emotion)과 기분(mood)은 이러한 기본 개성에 따라 조절될 수 있다.
아래 표 55는 아바타 개성 타입의 시멘틱스를 나타낸다.
표 55
Name Definition
Openness 개성의 개방성 레벨을 명시하는 -1과 1사이의 값(A value between -1 and 1 specifying the openness level of the personality).
Agreeableness 개성의 성실성 레벨을 명시하는 -1과 1사이의 값(A value between -1 and 1 specifying the agreeableness level of the personality).
Neuroticism 개성의 신경성 레벨을 명시하는 -1과 1사이의 값(A value between -1 and 1 specifying the neuroticism level of the personality).
Extraversion 개성의 외향성 레벨을 명시하는 -1과 1사이의 값(A value between -1 and 1 specifying the extraversion level of the personality).
Conscientiousness 개성의 성실성 레벨을 명시하는 -1과 1사이의 값(A value between -1 and 1 specifying the conscientiousness level of the personality).
3.2.6 아바타 제어 특성 타입(AvatarControlFeaturesType)
3.2.6.1 신텍스(Syntax)
도 31은 본 발명의 일실시예에 있어서, 아바타 제어 특성 타입의 구조를 나타낸 도면이다. 또한, 아래 표 56은 아바타 제어 특성 타입의 신텍스를 나타낸다.
표 56
Figure PCTKR2010002938-appb-T000040
3.2.6.2 시멘틱스(Semantics)
아래 표 57은 아바타 제어 특성 타입의 시멘틱스를 나타낸다.
표 57
Name Description
ControlBodyFeatures 신체의 이동을 제어하는 구성요소의 집합(Set of elements that control moves of the body (bones)).
ControlFaceFeatures 얼굴의 이동을 제어하는 구성요소의 집합(Set of elements that control moves of the face).
3.2.6.3 예
아래 표 58은 신체 특징 및 얼굴 특징을 제어하는 설명을 나타낸다. 제어 특징은 주어지고, 컨테이너로서 동작할 수 있다.
표 58
Figure PCTKR2010002938-appb-T000041
3.2.6.4 제어 신체 특징 타입(ControlBodyFeaturesType)
3.2.6.4.1 신텍스(Syntax)
도 32는 본 발명의 일실시예에 있어서, 제어 신체 특징 타입의 구조를 나타낸 도면이다. 또한, 아래 표 59는 제어 신체 특징 타입의 신텍스를 나타낸다.
표 59
Figure PCTKR2010002938-appb-T000042
3.2.6.4.2 시멘틱스(Semantics)
아래 표 60은 제어 신체 특징 타입의 시멘틱스를 나타낸다.
표 60
Figure PCTKR2010002938-appb-T000043
Figure PCTKR2010002938-appb-I000025
Figure PCTKR2010002938-appb-I000026
Figure PCTKR2010002938-appb-I000027
3.2.6.4.3 예
아래 표 61은 신체 특징을 제어하는 설명을 나타낸다. 신체 특징 제어는 사용자 정의된 신체 특징점과 플레이스 홀더를 맵핑한다. 아래 표 62는 시멘틱스에서 정의된 플레이스 홀더에 맵핑되는 특징점의 집합을 나타낸다.
표 61
Figure PCTKR2010002938-appb-T000044
표 62
Name of Placeholder User defined features
sacrum hip
pelvis abdomen
Lfemur LThigh
Ltibia ( femur in front ) LShin
Lfibulae Lfoot
Rfemur RThigh
Rtibia ( femur in front ) Rshin
Rfibulae Rfoot
thoracic vertebrae 1 chest
cervical vertebrae 1 neck
skull head
Lclavicle lCollar
Lhumerus lShldr
Lradius lForeArm
lfHand lHand
Rclavicle Rcollar
Rhumerus RShldr
Rradius RForeArm
3.2.6.5 ControlFaceFeaturesType(제어 얼굴 특징 타입)
3.2.6.5.1 신텍스(Syntax)
도 33은 본 발명의 일실시예에 있어서, 제어 얼굴 특징 타입의 구조를 나타낸 도면이다. 또한, 아래 표 63은 제어 얼굴 특징 타입의 신텍스를 나타낸다.
표 63
Figure PCTKR2010002938-appb-T000045
3.2.6.5.2 시멘틱스(Semantics)
아래 표 64는 제어 얼굴 특징 타입의 시멘틱스를 나타낸다.
표 64
Figure PCTKR2010002938-appb-T000046
Figure PCTKR2010002938-appb-I000028
도 34는 본 발명의 일실시예에 있어서, 머리 외곽선(outline)을 나타내는 일례이다. 이때, "Point1" 내지 "Point4" 는 머리의 기본 외곽선을 구성하는 4개의 점을 나타낸다. 또한, "Point5" 내지 "Point8"은 머리의 고해상도(high resolution) 외곽선을 구성하기 위한 추가적인 4개의 점을 나타낸다.
도 35는 본 발명의 일실시예에 있어서, 왼쪽 눈 외곽선을 나타내는 일례이다. 이때, "Point1" 내지 "Point4" 는 왼쪽 눈의 기본 외곽선을 구성하는 4개의 점을 나타낸다. 또한, "Point5" 내지 "Point8"은 왼쪽 눈의 고해상도 외곽선을 구성하기 위한 추가적인 4개의 점을 나타낸다.
도 36은 본 발명의 일실시예에 있어서, 오른쪽 눈 외곽선을 나타내는 일례이다. 이때, "Point1" 내지 "Point4" 는 오른쪽 눈의 기본 외곽선을 구성하는 4개의 점을 나타낸다. 또한, "Point5" 내지 "Point8"은 오른쪽 눈의 고해상도 외곽선을 구성하기 위한 추가적인 4개의 점을 나타낸다.
도 37은 본 발명의 일실시예에 있어서, 왼쪽 눈썹의 외곽선을 나타내는 일례이다. 이때, "Point1" 내지 "Point4" 는 왼쪽 눈썹의 외곽선을 구성하는 4개의 점을 나타낸다.
도 38은 본 발명의 일실시예에 있어서, 오른쪽 눈썹의 외곽선을 나타내는 일례이다. 이때, "Point1" 내지 "Point4" 는 오른쪽 눈썹의 외곽선을 구성하는 4개의 점을 나타낸다.
도 39는 본 발명의 일실시예에 있어서, 왼쪽 및 오른쪽 귀의 외곽선을 나타내는 일례이다. 이때, 왼쪽 얼굴 형상에서 "Point1" 내지 "Point4"는 왼쪽 귀의 외곽선을 구성하는 4개의 점을, 오른쪽 얼굴 형상에서 "Point1" 내지 "Point4"는 오른쪽 귀의 외곽선을 구성하는 4개의 점을 각각 나타낸다.
도 40은 본 발명의 일실시예에 있어서, 코의 외곽선을 나타내는 일례이다. 이때, "Point1" 내지 "Point4" 는 코의 기본 외곽선을 구성하는 4개의 점을 나타낸다. 또한, "Point5" 내지 "Point8"은 코의 고해상도 외곽선을 구성하기 위한 추가적인 4개의 점을 나타낸다.
도 41은 본 발명의 일실시예에 있어서, 입술의 외곽선을 나타내는 일례이다. 이때, "Point1" 내지 "Point4" 는 입술의 기본 외곽선을 구성하는 4개의 점을 나타낸다. 또한, "Point5" 내지 "Point14"는 입술의 고해상도 외곽선을 구성하기 위한 추가적인 10개의 점을 나타낸다.
도 42는 본 발명의 일실시예에 있어서, 얼굴점을 나타내는 일례이다. 이때, "Point1" 내지 "Point5" 는 고해상도 얼굴 표정을 형성하는 5개의 점을 나타낸다.
3.2.6.5.3 외곽선 타입(OutlineType)
3.2.6.5.3.1 신텍스(Syntax)
도 43은 본 발명의 일실시예에 있어서, 외곽선 타입의 구조를 나타낸 도면이다. 또한, 아래 표 65는 외곽선 타입의 신텍스를 나타낸다.
표 65
Figure PCTKR2010002938-appb-T000047
3.2.6.5.3.2 시멘틱스(Semantics)
아래 표 66은 외곽선 타입의 시멘틱스를 나타낸다. 즉, 외곽선 타입은 외곽선을 형성하는 점의 수에 의존적인 외곽선의 서로 다른 타입을 포함할 수 있다.
표 66
Name Description
Outline4Points 4개 점을 갖는 외곽선(The outline with 4 points).
Outline5Points 5개의 점을 갖는 외곽선(The outline with 5 points).
Outline8Points 8개의 점을 갖는 외곽선(The outline with 8 points).
Outline14Points 14개의 점을 갖는 외곽선(The outline with 14 points).
3.2.6.5.3.3 외곽선 4점 타입(Outline4PointsType)
3.2.6.5.3.3.1 신텍스(Syntax)
도 44는 본 발명의 일실시예에 있어서, 외곽선 4점 타입의 구조를 나타낸 도면이다. 또한, 아래 표 67은 외곽선 4점 타입의 신텍스를 나타낸다.
표 67
Figure PCTKR2010002938-appb-T000048
3.2.6.5.3.3.2 시멘틱스(Semantics)
아래 표 68은 외곽선 4점 타입의 시멘틱스를 나타낸다. 이때, 점들은 가장 왼쪽에서부터 반시계 방향으로 번호를 매길 수 있다. 예를 들어, 외곽선의 왼쪽(left), 위쪽(top), 오른쪽(right), 아래쪽(bottom)에 4개의 점이 존재한다면, 왼쪽 점이 "Point1", 위쪽 점이 "Point2", 오른쪽 점이 "Point3", 아래쪽 점이 "Point4"가 될 수 있다.
표 68
Name Description
Point1 외곽선의 첫 번째 점(The 1st point of the outline).
Point2 외곽선의 두 번째 점(The 2nd point of the outline)
Point3 외곽선의 세 번째 점(The 3rd point of the outline).
Point4 외곽선의 네 번째 점(The 4th point of the outline).
3.2.6.5.3.4 외곽선 5점 타입(Outline5PointsType)
3.2.6.5.3.4.1 신텍스(Syntax)
도 45는 본 발명의 일실시예에 있어서, 외곽선 5점 타입의 구조를 나타낸 도면이다. 또한, 아래 표 69는 외곽선 5점 타입의 신텍스를 나타낸다.
표 69
Figure PCTKR2010002938-appb-T000049
3.2.6.5.3.4.2 시멘틱스(Semantics)
아래 표 70은 외곽선 5점 타입의 시멘틱스를 나타낸다. 이때, 점들은 상술한 바와 같이 가장 왼쪽에서부터 반시계 방향으로 번호를 매길 수 있다.
표 70
Name Description
Point1 외곽선의 첫 번째 점(The 1st point of the outline).
Point2 외곽선의 두 번째 점(The 2nd point of the outline).
Point3 외곽선의 세 번째 점(The 3rd point of the outline).
Point4 외곽선의 네 번째 점(The 4th point of the outline).
Point5 외곽선의 다섯 번째 점(The 5th point of the outline).
3.2.6.5.3.5 외곽선 8점 타입(Outline8PointsType)
3.2.6.5.3.5.1 신텍스(Syntax)
도 46은 본 발명의 일실시예에 있어서, 외곽선 8점 타입의 구조를 나타낸 도면이다. 또한, 아래 표 71은 외곽선 8점 타입의 신텍스를 나타낸다.
표 71
Figure PCTKR2010002938-appb-T000050
3.2.6.5.3.5.2 시멘틱스(Semantics)
아래 표 72는 외곽선 8점 타입의 시멘틱스를 나타낸다. 이때, 점들은 상술한 바와 같이 가장 왼쪽에서부터 반시계 방향으로 번호를 매길 수 있다.
표 72
Name Description
Point1 외곽선의 첫 번째 점(The 1st point of the outline).
Point2 외곽선의 두 번째 점(The 2nd point of the outline).
Point3 외곽선의 세 번째 점(The 3rd point of the outline).
Point4 외곽선의 네 번째 점(The 4th point of the outline).
Point5 외곽선의 다섯 번째 점(The 5th point of the outline).
Point6 외곽선의 여섯 번째 점(The 6th point of the outline).
Point7 외곽선의 일곱 번째 점(The 7th point of the outline).
Point8 외곽선의 여덟 번째 점(The 8th point of the outline).
3.2.6.5.3.6 Outline14Points
3.2.6.5.3.6.1 신텍스(Syntax)
도 47은 본 발명의 일실시예에 있어서, 외곽선 14점 타입의 구조를 나타낸 도면이다. 또한, 아래 표 73은 외곽선 14점 타입의 신텍스를 나타낸다.
표 73
Figure PCTKR2010002938-appb-T000051
3.2.6.5.3.6.2 시멘틱스(Semantics)
아래 표 74는 외곽선 14점 타입의 시멘틱스를 나타낸다. 이때, 점들은 상술한 바와 같이 가장 왼쪽에서부터 반시계 방향으로 번호를 매길 수 있다.
표 74
Name Description
Point1 외곽선의 첫 번째 점(The 1st point of the outline).
Point2 외곽선의 두 번째 점(The 2nd point of the outline).
Point3 외곽선의 세 번째 점(The 3rd point of the outline).
Point4 외곽선의 네 번째 점(The 4th point of the outline).
Point5 외곽선의 다섯 번째 점(The 5th point of the outline).
Point6 외곽선의 여섯 번째 점(The 6th point of the outline).
Point7 외곽선의 일곱 번째 점(The 7th point of the outline).
Point8 외곽선의 여덟 번째 점(The 8th point of the outline).
Point9 외곽선의 아홉 번째 점(The 9th point of the outline).
Point10 외곽선의 열 번째 점(The 10th point of the outline).
Point11 외곽선의 열 한번째 점(The 11th point of the outline).
Point12 외곽선의 열두 번째 점(The 12th point of the outline).
Point13 외곽선의 열세 번째 점(The 13th point of the outline).
Point14 외곽선의 열네 번째 점(The 14th point of the outline).
3.2.6.5.4 예
아래 표 75는 얼굴 특징 제어는 사용자 정의된 얼굴 특징점을 플레이스 홀더에 맵핑할 수 있다. 아래 표 76은 시멘틱스에서 정의된 플레이스 홀더에 맵핑된 특징점의 집합을 나타낸다.
표 75
Figure PCTKR2010002938-appb-T000052
표 76
Name of Placeholder User defined features
HeadOutline Point1 Head HeadLeft
Point2 HeadTop
Point3 HeadRight
Point4 HeadDown
LeftEyeOutline Point1 Leye LeyeLeft
Point2 LeyeTop
Point3 LeyeRight
Point4 LeyeDown
RightEyeOutline Point1 Reye ReyeLeft
Point2 ReyeTop
Point3 ReyeRight
Point4 ReyeDown
MouseLipOutline Point1 Lips LipsLeft
Point2 LipsTop
Point3 LipsRight
Point4 LipsDown
NoseOutline Point1 Nose NoseLeft
Point2 NoseTop
Point3 NoseRight
Point4 NoseDown
4 가상 객체 메타데이터(Virtual object metadata)
4.1 가상 객체 메타데이터의 타입(Type of Virtual Object metadata)
환경 내의 가상 객체의 (시각적) 표현으로서 가상 객체 메타데이터는 다음과 같은 목적을 제공할 수 있다.
- 가상 환경 내의 객체의 다양한 종류를 특징짓는다.
- 가상 객체와 아바타간의 상화 작용을 제공한다.
- 가상 환경 내의 상호 작용을 제공한다.
"가상 객체" 구성요소는 가상 세계 객체 특징의 타입과 관련된 공통 타입에 더하여 아래 데이터의 타입으로 구성될 수 있다.
- 가상 객체 외양(VO Appearance): 외양의 고레벨 설명을 포함하고, 정확한 지오메트리, 텍스처 및 햅틱 속성을 포함하는 미디어를 참조할 수 있다.
- 가상 객체 애니메이션(VO Animation): 객체가 수행할 수 있는 애니메이션 시퀀스의 집합의 설명을 포함할 수 있고, 정확한 (지오메트릭 트랜스포메이션(geometric transformation) 및 디포메이션(deformations)) 애니메이션 파라미터를 포함하는 몇몇의 미디어들을 참조할 수 있다.
4.2 가상 객체 특징 XSD
4.2.1 가상 객체 타입(VirtualObjectType)
4.2.1.1 신텍스
도 48은 본 발명의 일실시예에 있어서, 가상 객체 타입의 구조를 나타낸 도면이다. 또한, 아래 표 77은 가상 객체 타입의 신텍스를 나타낸다.
표 77
Figure PCTKR2010002938-appb-T000053
4.2.1.2 시멘틱스
아래 표 78은 가상 객체 타입의 시멘틱스를 나타낸다.
표 78
Name Definition
VOAppearance 객체의 시각 및 촉각 구성요소를 설명하는 메타데이터의 집합을 포함하는 구성요소(This element contains a set of metadata describing the visual and tactile elements of the object.).
VOAnimation 객체와 관련된 미리-기록된 애니메이션을 설명하는 메타데이터의 집합을 포함하는 구성요소(This element contains a set of metadata describing pre-recorded animations associated with the object.).
VOCC 가상 세계 객체의 공통 특징에서 정의된 공통 특징에 관한 설명의 집합을 포함하는 구성요소(This element contains a set of descriptors about the common characteristics defined in the common characteristics of the virtual world object.).
4.2.2 가상 객체 외양 타입(VOAppearanceType)
4.2.2.1 신텍스
도 49는 본 발명의 일실시예에 있어서, 가상 객체 외양 타입의 구조를 나타낸 도면이다. 또한, 아래 표 79은 가상 객체 외양 타입의 신텍스를 나타낸다.
표 79
Figure PCTKR2010002938-appb-T000054
4.2.2.2 시멘틱스
아래 표 80은 가상 객체 외양 타입의 시멘틱스를 나타낸다.
표 80
Figure PCTKR2010002938-appb-T000055
4.2.2.3 예
아래 표 81은 가상 객체 외양의 리소스를 나타낸다. 가상 객체URL(VirtualObjectURL)은 가상 객체 모델을 어디서 구할 수 있는가에 대한 위치 정보를 제공한다. 표 81에서는 가상 객체 URL의 값이 http://3DmodelDb.com/object_0001.3ds인 경우를 나타낸다.
표 81
Figure PCTKR2010002938-appb-T000056
4.2.3 가상 객체 애니메이션 타입(VOAnimationType)
4.2.3.1 신텍스
도 50은 본 발명의 일실시예에 있어서, 가상 객체 애니메이션 타입의 구조를 나타낸 도면이다. 또한, 아래 표 82는 가상 객체 애니메이션 타입의 신텍스를 나타낸다.
표 82
Figure PCTKR2010002938-appb-T000057
Figure PCTKR2010002938-appb-I000029
4.2.3.2 시멘틱스
아래 표 83은 가상 객체 애니메이션 타입의 시멘틱스를 나타낸다.
표 83
Figure PCTKR2010002938-appb-T000058
Figure PCTKR2010002938-appb-I000030
4.2.3.3 예
아래 표 84는 객체 애니메이션 정보의 설명을 나타낸다. 모드 애니메이션 중 360도 회전의 동작 타입 애니메이션이 주어진다. 애니메이션 리소스는 "http://voAnimaitondb.com/turn_360.bvh"에서 구해질 수 있고, 애니메이션 식별자(AnimaitionID)는 "3"의 값을 가질 수 있다. 강도(intensity)는 30의 지속기간으로 한번 재생(play)될 수 있다.
표 84
Figure PCTKR2010002938-appb-T000059
도 51은 본 발명의 일실시예에 있어서, 아바타 특징 제어 시스템의 내부 구성을 설명하기 위한 블록도이다. 본 실시예에 따른 아바타 특징 제어 시스템(5100)은 센서 제어 명령 수신부(5110) 및 아바타 제어 정보 생성부(5120)를 포함한다.
센서 제어 명령 수신부(5110)는 센서 기반 입력 장치를 통해 사용자 의도를 표현하는 센서 제어 명령을 수신한다. 우선, 센서 기반 입력 장치는 도 1을 통해 설명한 센서 기반 입력 장치(101)에 대응될 수 있다. 예를 들어, 동작 센서, 카메라, 깊이 카메라, 3차원 마우스 등이 센서 기반 입력 장치로 이용될 수 있다. 이러한 센서 제어 명령은, 현실 세계의 사용자들의 얼굴 표정과 신체 동작을 센싱하여 생성될 수 있다.
아바타 제어 정보 생성부(5120)는 가상 세계의 아바타 정보 및 센서 제어 명령에 기초하여 아바타 제어 정보를 생성한다. 이때, 아바타 제어 정보는, 얼굴 표정과 신체 동작에 따른 사용자들의 특징이 상기 가상 세계의 아바타에 매핑되도록 제어하는 정보를 포함할 수 있다.
우선, 아바타 정보는 가상 세계 객체의 공통 특징에 대한 메타데이터로 가상 세계 객체를 구분하기 위한 식별(Identification), 가상 세계 객체 소리(VWOSound: Virtual World Object Sound), 가상 세계 객체 냄새(VWOScent), 가상 세계 객체 제어(VWOControl), 가상 세계 객체 이벤트(VWOEvent), 가상 세계 객체 행동 모델(VWOBehviorModel) 및 가상 세계 객체 햅틱 속성(VWOHapticProperties) 중 적어도 하나의 구성요소(element)를 포함할 수 있다.
이때, 식별은, 가상 세계 객체와 관련된 사용자 식별을 위한 사용자 식별자(UserID), 가상 세계 객체의 소유권(Ownership), 권리(Rights) 및 공헌자(Credits) 중 적어도 하나를 구성요소로 포함하고, 가상 세계 객체의 이름(Name) 및 다른 가상 세계 객체와의 관계(Family) 중 적어도 하나를 속성(attribute)으로 포함할 수 있다.
또한, 가상 세계 객체 소리는, 소리 파일로의 하나 이상의 링크를 포함하는 소리 리소스 URL(Uniform Resource Locator)을 구성요소로 포함하고, 객체 소리의 유일한 식별자인 소리 식별자(SoundID), 소리의 세기(strength)를 나타내는 강도(Intensity), 소리가 지속되는 시간의 길이를 나타내는 기간(Duration), 재생 옵션을 나타내는 반복(Loop) 및 소리의 이름 중 적어도 하나를 상기 속성으로 포함할 수 있다.
또한, 상기 가상 세계 객체 냄새는, 냄새 파일로의 하나 이상의 링크를 포함하는 냄새 리소스 URL을 구성요소로 포함하고, 객체 냄새의 유일한 식별자인 냄새 식별자(ScentID), 냄새의 세기를 나타내는 강도, 냄새가 지속되는 시간의 길이를 나타내는 기간, 재생 옵션을 나타내는 반복 및 냄새의 이름 중 적어도 하나를 속성으로 포함할 수 있다.
또한, 가상 세계 객체 제어는, 가상 세계 객체의 위치(Position), 방향(Orientation) 및 스케일(Scale)을 제어하는 구성요소의 집합인 동작 특징 제어(MotionFeatureControl)을 구성요소로 포함하고, 제어의 유일한 식별자인 제어 식별자(ControlID)를 속성으로 포함할 수 있다. 여기서, 동작 특징 제어는, 3차원 플로팅 포인트 벡터(floating point vector)를 갖는 장면에서 객체의 위치, 오일러 각(Euler angle)으로 3차원 플로팅 포인트 벡터를 갖는 장면에서 객체의 방향 및 3차원 플로팅 포인트 벡터로 표현되는 장면에서 객체의 스케일 중 적어도 하나를 구성요소로 포함할 수 있다.
또한, 가상 세계 객체 이벤트는, 마우스 이벤트 구성요소의 집합인 마우스(Mouse), 키보드 이벤트 구성요소의 집합인 키보드(Keyboard) 및 사용자 정의 입력(UserDefinedInput) 중 적어도 하나를 구성요소로 포함하고, 이벤트의 유일한 식별자인 이벤트 식별자(EventID)를 속성으로 포함할 수 있다. 이때, 마우스는, 클릭(Click), 더블 클릭(Double_Click), 마우스 왼쪽 버튼을 누르고 있는 순간에 발생하는 이벤트인 왼쪽 버튼 다운(LeftBttn_down), 마우스 왼쪽 버튼을 떼는 순간에 발생하는 이벤트인 왼쪽 버튼 업(LeftBttn_up), 마우스 오른쪽 버튼을 누르고 있는 순간에 발생하는 이벤트인 오른쪽 버튼 다운(RightBttn_down), 마우스 오른쪽 버튼을 떼는 순간에 발생하는 이벤트인 오른쪽 버튼 업(RightBttn_up) 및 마우스 위치를 변경하는 동안 발생하는 이벤트인 이동(Move) 중 적어도 하나를 구성요소로 포함할 수 있다. 또한, 키보드는, 키보드 버튼을 누르고 있는 순간에 발생하는 이벤트인 키다운(Key_Down) 및 키보드 버튼을 떼는 순간에 발생하는 이벤트인 키 업(Key_Up) 중 적어도 하나를 구성요소로 포함할 수 있다.
가상 세계 객체 행동 모델은, 객체 행동을 생성하기 위한 입력 이벤트인 행동 입력(BehaviorInput) 및 입력 이벤트에 따른 객체 행동 출력인 행동 출력(BehaviorOutput) 중 적어도 하나를 구성요소로 포함할 수 있다. 여기서, 상기 행동 입력은, 이벤트 식별자를 속성으로 포함할 수 있고, 행동 출력은, 소리 식별자, 냄새 식별자 및 애니메이션 식별자 중 적어도 하나를 속성으로 포함할 수 있다.
가상 세계 객체 햅틱 속성 타입은, 햅틱 속성(haptic properties)을 특징짓는 파라미터인 소재 속성(MaterialProperty), 힘 효과(force effects)를 특징짓는 파라미터인 역학적 힘 효과(DynamicForceEffect) 및 촉각 속성(tactile properties)을 특징짓는 파라미터인 촉각 속성(TactileProperties) 중 적어도 하나를 구성요소로 포함할 수 있다. 여기서, 소재 속성은, 가상 세계 객체의 강상(Stiffness), 가상 세계 객체의 정지 마찰력(StaticFriction), 가상 세계 객체의 운동 마찰력(DynamicFriction), 가상 세계 객체의 담핑(damping), 햅틱 텍스처 파일로의 링크를 포함하는 텍스처(Texture) 및 가상 세계 객체의 질량(Mass) 중 적어도 하나를 속성으로 포함할 수 있다. 또한, 역학적 힘 효과는, 힘 필드 벡터 파일로의 링크를 포함하는 힘 필드(ForceField) 및 힘 궤적 파일로의 링크를 포함하는 이동 궤적(MovementTrajectory) 중 적어도 하나를 속성으로 포함할 수 있다. 뿐만 아니라, 촉각 속성은, 가상 세계 객체의 온도(Temperature), 가상 세계 객체의 진동(Vibration), 가상 세계 객체의 전류(Current) 및 촉각 패턴 파일로의 링크를 포함하는 촉각 패턴(TactilePatterns) 중 적어도 하나를 속성으로 포함할 수 있다.
또한, 아바타 정보는, 메타데이터로 아바타 외양(AvatarAppearance), 아바타 애니메이션(AvatarAnimation), 아바타 커뮤니케이션 스킬(AvatarCommunicationSkills), 아바타 개성(AvatarPersonality), 아바타 제어 특성(AvatarControlFeatures) 및 아바타 공통 특징(AvatarCC: Avatar Common Characteristics) 중 적어도 하나의 구성요소를 포함하고, 아바타의 성별(Gender)을 속성으로 포함할 수 있다.
이때, 아바타 외양은, 신체(Body), 머리(Head), 눈(Eyes), 귀(Ears), 코(nose), 입술(MouthLip), 피부(Skin), 얼굴(Facial), 손톱(Nail), 신체 겉모습(BodyLook), 헤어(hair), 눈썹(EyeBrows), 얼굴 헤어(FacialHair), 얼굴 눈금점(FacialCalibrationPoints), 물리적 조건(PhysicalCondition), 의복(Clothes), 신발(Shoes), 액세서리(Accessories) 및 외양 리소스(AppearanceResource) 중 적어도 하나의 구성요소를 포함할 수 있다. 여기서, 물리적 조건은 신체 강도(BodyStrength) 및 신체 유연성(BodyFlexibility) 중 적어도 하나를 구성요소로 포함할 수 있다.
또한, 아바타 애니메이션은 아이들(Idle), 인사(Greeting), 댄스(Dance), 걷기(Walk), 이동(Moves), 싸움(Fighting), 듣기(Hearing), 담배피기(Smoke), 축하(Congratulation), 공통 행동(Common_Action), 특정 행동(Specific_Action), 얼굴 표현(Facial_Expression), 신체 표현(Body_Expression), 애니메이션 리소스(AnimationResource) 중 적어도 하나의 구성요소를 포함할 수 있다.
아바타 커뮤니케이션 스킬은 입력 구두 커뮤니케이션 (InputVerbalComuunication), 입력 비-구두 커뮤니케이션 (InputNonVerbalCommunication), 출력 구두 커뮤니케이션 (OutputVerbalCommunication) 및 출력 비-구두 커뮤니케이션 (OutputNonVerbalCommunication) 중 적어도 하나를 구성요소로 포함하고, 이름(Name) 및 디폴트 언어(DefaultLanguage) 중 적어도 하나를 속성으로 포함할 수 있다. 이때, 입력 구두 커뮤니케이션 및 상기 출력 구두 커뮤니케이션을 포함하는 구두 커뮤니케이션은 언어(Language)를 구성요소로 포함하고, 음성(Voice), 텍스트(Text) 및 언어(Language) 중 적어도 하나를 속성으로 포함할 수 있고, 언어는, 언어의 이름을 명시한 문자열인 이름 및 상기 구두 커뮤니케이션에서 언어를 이용하기 위한 선호(Preference) 중 적어도 하나를 속성으로 포함할 수 있다. 또한, 선호를 포함하는 커뮤니케이션 선호는 아바타의 커뮤니케이션의 선호 레벨을 포함할 수 있다. 뿐만 아니라, 언어는, 아바타가 말하거나 이해할 수 있는 각각의 언어를 위한 선호 레벨을 포함하는 커뮤니케이션 선호 레벨(CommunicationPreferenceLevel)이 설정될 수 있다. 입력 비-구두 커뮤니케이션 및 상기 출력 비-구두 커뮤니케이션을 포함하는 비-구두 커뮤니케이션은 사인 언어(SignLanguage) 및 큐드 스피치 커뮤니케이션(CuedSpeechCommumicaiton) 중 적어도 하나를 구성요소로 포함하고, 상호 보완적 제스처(ComplementaryGesture)를 속성으로 포함할 수 있다. 이때, 사인 언어는 언어의 이름을 속성으로 포함할 수 있다.
아바타 개성은, 개방성(Openness), 성실성(Conscientiousness), 외향성 (Extraversion), 친화성(Agreeableness) 및 신경성(Neuroticism) 중 적어도 하나를 구성요소로 포함하고, 선택적으로 개성의 이름을 포함할 수 있다.
아바타 제어 특성은, 신체의 이동을 제어하는 구성요소의 집합인 제어 신체 특성(ControlBodyFeature) 및 얼굴의 이동을 제어하는 구성요소의 집합인 제어 얼굴 특성(ControlFaceFeature)을 구성요소로 포함하고, 선택적으로 제어 구성의 이름을 속성으로 포함할 수 있다.
제어 신체 특성은, 머리뼈(headBones), 상체뼈(UpperBodyBones), 하체뼈(DownBodyBones), 중체뼈(MiddleBodyBones) 중 적어도 하나를 구성요소로 포함할 수 있다.
제어 얼굴 특성은, 머리 외곽선(HeadOutline), 왼쪽 눈 외곽선(LeftEyeOutline), 오른쪽 눈 외곽선(RightEyeOutline), 왼쪽 눈썹 외곽선(LeftEyeBrowOutline), 오른쪽 눈썹 외곽선(RightEyeBrowOutline), 왼쪽 귀 외곽선(LeftEarOutline), 오른쪽 귀 외곽선(RightEarOutline), 코 외곽선(NoseOutline), 입술 외곽선(MouthLipOutline), 얼굴점(FacePoints) 및 미셀레이니어스 점(MiscellaneousPoints) 중 적어도 하나를 구성요소로 포함하고, 선택적으로 얼굴 제어 구성의 이름을 속성으로 포함할 수 있다. 이때, 제어 얼굴 특성이 포함하는 구성요소 중 적어도 하나는 4개의 점을 갖는 외곽선인 외곽선 4점(Outline4Points), 5개의 점을 갖는 외곽선인 외곽선 5점(Outline5Points), 8개의 점을 갖는 외곽선인 외곽선 8점(Outline8Points) 및 14개의 점을 갖는 외곽선인 외곽선 14점(Outline14Points) 중 적어도 하나를 구성요소로 포함할 수 있다. 또는, 제어 얼굴 특성이 포함하는 구성요소 중 적어도 하나는 기본 개수의 점을 포함하고, 선택적으로 추가의 점을 더 포함할 수도 있다.
또한, 아바타 정보는, 가상 환경의 가상 객체를 표현하기 위한 메타데이터로 가상 객체 외양(VOAppearance: Virtual Object Appearance), 가상 객체 애니메이션(VOAnimaiotn) 및 가상 객체 공통 특징(VOCC: Virtual Object Common Characteristics) 중 적어도 하나의 구성요소를 포함할 수 있다.
가상 객체 외양은, 외양 파일에 대한 하나 이상의 링크가 존재하는 경우, 상기 하나 이상의 링크를 포함하는 구성요소인 가상 객체 URL(VirtualObjectURL)을 구성요소로 포함할 수 있다.
가상 객체 애니메이션은, 가상 객체 동작(VOMotion), 가상 객체 변형(VODeformation) 및 가상 객체 추가 애니메이션(VOAdditionalAnimation) 중 적어도 하나를 구성요소로 포함하고, 애니메이션 식별자(AnimationID), 애니메이션이 지속되는 시간의 길이인 기간(Duration) 및 재생 옵션인 반복(Loop) 중 적어도 하나를 속성으로 포함할 수 있다.
이러한 아바타 정보에 대해서는 상술한 도 9 내지 도 50의 설명을 참조할 수 있다. 즉, 아바타 정보에 대해서는 이미 상세히 설명하였기에 반복적인 설명은 생략한다. 이러한 아바타 정보들을 위한 메타데이터 구조들은 컴퓨터로 판독이 가능한 기록 매체에 기록될 수 있다.
즉, 아바타 제어 정보 생성부(5120)는 현실 세계의 사용자들의 얼굴 표정과 신체 동작을 센싱하여 생성된 센서 제어 명령과, 상술한 아바타 정보를 통해 사용자들의 특징이 상기 가상 세계의 아바타에 매핑되도록 제어하기 위한 정보인 아바타 제어 정보를 생성할 수 있다. 이러한 아바타 제어 정보를 통해 아바타 특징 제어 시스템(5100)은 직접 아바타를 조작하거나, 또는 다른 실시예로, 아바타를 조작하는 별도의 시스템으로 상기 아바타 제어 정보를 전송할 수 있다. 아바타 특징 제어 시스템(5100)에서 직접 아바타를 조작하는 경우, 아바타 특징 제어 시스템(5100)은 도 51의 실시예에서와 같이, 아바타 조작부(5130)를 더 포함할 수 있다.
아바타 조작부(5130)는 아바타 제어 정보를 이용하여 가상 세계의 아바타를 조작한다. 상술한 바와 같이, 아바타 제어 정보는 사용자들의 특징이 상기 가상 세계의 아바타에 매핑되도록 제어하기 위한 정보로서, 아바타 조작부(5130)는 아바타 제어 정보를 통해 현실 세계의 사용자 의도가 가상 세계의 아바타에 적용되도록 아바타를 조작할 수 있다.
도 52는 본 발명의 일실시예에 있어서, 아바타 특징 제어 방법을 도시한 흐름도이다. 본 실시예에 따른 아바타 특징 제어 방법은 도 51을 통해 설명한 아바타 특징 제어 시스템(5100)에 의해 수행될 수 있다. 도 52에서는 아바타 특징 제어 시스템(5100)에 의해 각각의 단계가 수행되는 과정을 설명함으로써, 아바타 특징 제어 방법을 설명한다.
단계(5210)에서 아바타 특징 제어 시스템(5100)은 센서 기반 입력 장치를 통해 사용자 의도를 표현하는 센서 제어 명령을 수신한다. 우선, 센서 기반 입력 장치는 도 1을 통해 설명한 센서 기반 입력 장치(101)에 대응될 수 있다. 예를 들어, 동작 센서, 카메라, 깊이 카메라, 3차원 마우스 등이 센서 기반 입력 장치로 이용될 수 있다. 이러한 센서 제어 명령은, 현실 세계의 사용자들의 얼굴 표정과 신체 동작을 센싱하여 생성될 수 있다.
단계(5220)에서 아바타 특징 제어 시스템(5100)은 가상 세계의 아바타 정보 및 센서 제어 명령에 기초하여 아바타 제어 정보를 생성한다. 이때, 아바타 제어 정보는, 얼굴 표정과 신체 동작에 따른 사용자들의 특징이 상기 가상 세계의 아바타에 매핑되도록 제어하는 정보를 포함할 수 있다.
우선, 아바타 정보는 가상 세계 객체의 공통 특징에 대한 메타데이터로 가상 세계 객체를 구분하기 위한 식별(Identification), 가상 세계 객체 소리(VWOSound: Virtual World Object Sound), 가상 세계 객체 냄새(VWOScent), 가상 세계 객체 제어(VWOControl), 가상 세계 객체 이벤트(VWOEvent), 가상 세계 객체 행동 모델(VWOBehviorModel) 및 가상 세계 객체 햅틱 속성(VWOHapticProperties) 중 적어도 하나의 구성요소(element)를 포함할 수 있다.
이때, 식별은, 가상 세계 객체와 관련된 사용자 식별을 위한 사용자 식별자(UserID), 가상 세계 객체의 소유권(Ownership), 권리(Rights) 및 공헌자(Credits) 중 적어도 하나를 구성요소로 포함하고, 가상 세계 객체의 이름(Name) 및 다른 가상 세계 객체와의 관계(Family) 중 적어도 하나를 속성(attribute)으로 포함할 수 있다.
또한, 가상 세계 객체 소리는, 소리 파일로의 하나 이상의 링크를 포함하는 소리 리소스 URL(Uniform Resource Locator)을 구성요소로 포함하고, 객체 소리의 유일한 식별자인 소리 식별자(SoundID), 소리의 세기(strength)를 나타내는 강도(Intensity), 소리가 지속되는 시간의 길이를 나타내는 기간(Duration), 재생 옵션을 나타내는 반복(Loop) 및 소리의 이름 중 적어도 하나를 상기 속성으로 포함할 수 있다.
또한, 상기 가상 세계 객체 냄새는, 냄새 파일로의 하나 이상의 링크를 포함하는 냄새 리소스 URL을 구성요소로 포함하고, 객체 냄새의 유일한 식별자인 냄새 식별자(ScentID), 냄새의 세기를 나타내는 강도, 냄새가 지속되는 시간의 길이를 나타내는 기간, 재생 옵션을 나타내는 반복 및 냄새의 이름 중 적어도 하나를 속성으로 포함할 수 있다.
또한, 가상 세계 객체 제어는, 가상 세계 객체의 위치(Position), 방향(Orientation) 및 스케일(Scale)을 제어하는 구성요소의 집합인 동작 특징 제어(MotionFeatureControl)을 구성요소로 포함하고, 제어의 유일한 식별자인 제어 식별자(ControlID)를 속성으로 포함할 수 있다. 여기서, 동작 특징 제어는, 3차원 플로팅 포인트 벡터(floating point vector)를 갖는 장면에서 객체의 위치, 오일러 각(Euler angle)으로 3차원 플로팅 포인트 벡터를 갖는 장면에서 객체의 방향 및 3차원 플로팅 포인트 벡터로 표현되는 장면에서 객체의 스케일 중 적어도 하나를 구성요소로 포함할 수 있다.
또한, 가상 세계 객체 이벤트는, 마우스 이벤트 구성요소의 집합인 마우스(Mouse), 키보드 이벤트 구성요소의 집합인 키보드(Keyboard) 및 사용자 정의 입력(UserDefinedInput) 중 적어도 하나를 구성요소로 포함하고, 이벤트의 유일한 식별자인 이벤트 식별자(EventID)를 속성으로 포함할 수 있다. 이때, 마우스는, 클릭(Click), 더블 클릭(Double_Click), 마우스 왼쪽 버튼을 누르고 있는 순간에 발생하는 이벤트인 왼쪽 버튼 다운(LeftBttn_down), 마우스 왼쪽 버튼을 떼는 순간에 발생하는 이벤트인 왼쪽 버튼 업(LeftBttn_up), 마우스 오른쪽 버튼을 누르고 있는 순간에 발생하는 이벤트인 오른쪽 버튼 다운(RightBttn_down), 마우스 오른쪽 버튼을 떼는 순간에 발생하는 이벤트인 오른쪽 버튼 업(RightBttn_up) 및 마우스 위치를 변경하는 동안 발생하는 이벤트인 이동(Move) 중 적어도 하나를 구성요소로 포함할 수 있다. 또한, 키보드는, 키보드 버튼을 누르고 있는 순간에 발생하는 이벤트인 키다운(Key_Down) 및 키보드 버튼을 떼는 순간에 발생하는 이벤트인 키 업(Key_Up) 중 적어도 하나를 구성요소로 포함할 수 있다.
가상 세계 객체 행동 모델은, 객체 행동을 생성하기 위한 입력 이벤트인 행동 입력(BehaviorInput) 및 입력 이벤트에 따른 객체 행동 출력인 행동 출력(BehaviorOutput) 중 적어도 하나를 구성요소로 포함할 수 있다. 여기서, 상기 행동 입력은, 이벤트 식별자를 속성으로 포함할 수 있고, 행동 출력은, 소리 식별자, 냄새 식별자 및 애니메이션 식별자 중 적어도 하나를 속성으로 포함할 수 있다.
가상 세계 객체 햅틱 속성 타입은, 햅틱 속성(haptic properties)을 특징짓는 파라미터인 소재 속성(MaterialProperty), 힘 효과(force effects)를 특징짓는 파라미터인 역학적 힘 효과(DynamicForceEffect) 및 촉각 속성(tactile properties)을 특징짓는 파라미터인 촉각 속성(TactileProperties) 중 적어도 하나를 구성요소로 포함할 수 있다. 여기서, 소재 속성은, 가상 세계 객체의 강상(Stiffness), 가상 세계 객체의 정지 마찰력(StaticFriction), 가상 세계 객체의 운동 마찰력(DynamicFriction), 가상 세계 객체의 담핑(damping), 햅틱 텍스처 파일로의 링크를 포함하는 텍스처(Texture) 및 가상 세계 객체의 질량(Mass) 중 적어도 하나를 속성으로 포함할 수 있다. 또한, 역학적 힘 효과는, 힘 필드 벡터 파일로의 링크를 포함하는 힘 필드(ForceField) 및 힘 궤적 파일로의 링크를 포함하는 이동 궤적(MovementTrajectory) 중 적어도 하나를 속성으로 포함할 수 있다. 뿐만 아니라, 촉각 속성은, 가상 세계 객체의 온도(Temperature), 가상 세계 객체의 진동(Vibration), 가상 세계 객체의 전류(Current) 및 촉각 패턴 파일로의 링크를 포함하는 촉각 패턴(TactilePatterns) 중 적어도 하나를 속성으로 포함할 수 있다.
또한, 아바타 정보는, 메타데이터로 아바타 외양(AvatarAppearance), 아바타 애니메이션(AvatarAnimation), 아바타 커뮤니케이션 스킬(AvatarCommunicationSkills), 아바타 개성(AvatarPersonality), 아바타 제어 특성(AvatarControlFeatures) 및 아바타 공통 특징(AvatarCC: Avatar Common Characteristics) 중 적어도 하나의 구성요소를 포함하고, 아바타의 성별(Gender)을 속성으로 포함할 수 있다.
이때, 아바타 외양은, 신체(Body), 머리(Head), 눈(Eyes), 귀(Ears), 코(nose), 입술(MouthLip), 피부(Skin), 얼굴(Facial), 손톱(Nail), 신체 겉모습(BodyLook), 헤어(hair), 눈썹(EyeBrows), 얼굴 헤어(FacialHair), 얼굴 눈금점(FacialCalibrationPoints), 물리적 조건(PhysicalCondition), 의복(Clothes), 신발(Shoes), 액세서리(Accessories) 및 외양 리소스(AppearanceResource) 중 적어도 하나의 구성요소를 포함할 수 있다. 여기서, 물리적 조건은 신체 강도(BodyStrength) 및 신체 유연성(BodyFlexibility) 중 적어도 하나를 구성요소로 포함할 수 있다.
또한, 아바타 애니메이션은 아이들(Idle), 인사(Greeting), 댄스(Dance), 걷기(Walk), 이동(Moves), 싸움(Fighting), 듣기(Hearing), 담배피기(Smoke), 축하(Congratulation), 공통 행동(Common_Action), 특정 행동(Specific_Action), 얼굴 표현(Facial_Expression), 신체 표현(Body_Expression), 애니메이션 리소스(AnimationResource) 중 적어도 하나의 구성요소를 포함할 수 있다.
아바타 커뮤니케이션 스킬은 입력 구두 커뮤니케이션 (InputVerbalComuunication), 입력 비-구두 커뮤니케이션 (InputNonVerbalCommunication), 출력 구두 커뮤니케이션 (OutputVerbalCommunication) 및 출력 비-구두 커뮤니케이션 (OutputNonVerbalCommunication) 중 적어도 하나를 구성요소로 포함하고, 이름(Name) 및 디폴트 언어(DefaultLanguage) 중 적어도 하나를 속성으로 포함할 수 있다. 이때, 입력 구두 커뮤니케이션 및 상기 출력 구두 커뮤니케이션을 포함하는 구두 커뮤니케이션은 언어(Language)를 구성요소로 포함하고, 음성(Voice), 텍스트(Text) 및 언어(Language) 중 적어도 하나를 속성으로 포함할 수 있고, 언어는, 언어의 이름을 명시한 문자열인 이름 및 상기 구두 커뮤니케이션에서 언어를 이용하기 위한 선호(Preference) 중 적어도 하나를 속성으로 포함할 수 있다. 또한, 선호를 포함하는 커뮤니케이션 선호는 아바타의 커뮤니케이션의 선호 레벨을 포함할 수 있다. 뿐만 아니라, 언어는, 아바타가 말하거나 이해할 수 있는 각각의 언어를 위한 선호 레벨을 포함하는 커뮤니케이션 선호 레벨(CommunicationPreferenceLevel)이 설정될 수 있다. 입력 비-구두 커뮤니케이션 및 상기 출력 비-구두 커뮤니케이션을 포함하는 비-구두 커뮤니케이션은 사인 언어(SignLanguage) 및 큐드 스피치 커뮤니케이션(CuedSpeechCommumicaiton) 중 적어도 하나를 구성요소로 포함하고, 상호 보완적 제스처(ComplementaryGesture)를 속성으로 포함할 수 있다. 이때, 사인 언어는 언어의 이름을 속성으로 포함할 수 있다.
아바타 개성은, 개방성(Openness), 성실성(Conscientiousness), 외향성 (Extraversion), 친화성(Agreeableness) 및 신경성(Neuroticism) 중 적어도 하나를 구성요소로 포함하고, 선택적으로 개성의 이름을 포함할 수 있다.
아바타 제어 특성은, 신체의 이동을 제어하는 구성요소의 집합인 제어 신체 특성(ControlBodyFeature) 및 얼굴의 이동을 제어하는 구성요소의 집합인 제어 얼굴 특성(ControlFaceFeature)을 구성요소로 포함하고, 선택적으로 제어 구성의 이름을 속성으로 포함할 수 있다.
제어 신체 특성은, 머리뼈(headBones), 상체뼈(UpperBodyBones), 하체뼈(DownBodyBones), 중체뼈(MiddleBodyBones) 중 적어도 하나를 구성요소로 포함할 수 있다.
제어 얼굴 특성은, 머리 외곽선(HeadOutline), 왼쪽 눈 외곽선(LeftEyeOutline), 오른쪽 눈 외곽선(RightEyeOutline), 왼쪽 눈썹 외곽선(LeftEyeBrowOutline), 오른쪽 눈썹 외곽선(RightEyeBrowOutline), 왼쪽 귀 외곽선(LeftEarOutline), 오른쪽 귀 외곽선(RightEarOutline), 코 외곽선(NoseOutline), 입술 외곽선(MouthLipOutline), 얼굴점(FacePoints) 및 미셀레이니어스 점(MiscellaneousPoints) 중 적어도 하나를 구성요소로 포함하고, 선택적으로 얼굴 제어 구성의 이름을 속성으로 포함할 수 있다. 이때, 제어 얼굴 특성이 포함하는 구성요소 중 적어도 하나는 4개의 점을 갖는 외곽선인 외곽선 4점(Outline4Points), 5개의 점을 갖는 외곽선인 외곽선 5점(Outline5Points), 8개의 점을 갖는 외곽선인 외곽선 8점(Outline8Points) 및 14개의 점을 갖는 외곽선인 외곽선 14점(Outline14Points) 중 적어도 하나를 구성요소로 포함할 수 있다. 또는, 제어 얼굴 특성이 포함하는 구성요소 중 적어도 하나는 기본 개수의 점을 포함하고, 선택적으로 추가의 점을 더 포함할 수도 있다.
또한, 아바타 정보는, 가상 환경의 가상 객체를 표현하기 위한 메타데이터로 가상 객체 외양(VOAppearance: Virtual Object Appearance), 가상 객체 애니메이션(VOAnimaiotn) 및 가상 객체 공통 특징(VOCC: Virtual Object Common Characteristics) 중 적어도 하나의 구성요소를 포함할 수 있다.
가상 객체 외양은, 외양 파일에 대한 하나 이상의 링크가 존재하는 경우, 상기 하나 이상의 링크를 포함하는 구성요소인 가상 객체 URL(VirtualObjectURL)을 구성요소로 포함할 수 있다.
가상 객체 애니메이션은, 가상 객체 동작(VOMotion), 가상 객체 변형(VODeformation) 및 가상 객체 추가 애니메이션(VOAdditionalAnimation) 중 적어도 하나를 구성요소로 포함하고, 애니메이션 식별자(AnimationID), 애니메이션이 지속되는 시간의 길이인 기간(Duration) 및 재생 옵션인 반복(Loop) 중 적어도 하나를 속성으로 포함할 수 있다.
이러한 아바타 정보에 대해서는 상술한 도 9 내지 도 50의 설명을 참조할 수 있다. 즉, 아바타 정보에 대해서는 이미 상세히 설명하였기에 반복적인 설명은 생략한다. 이러한 아바타 정보들을 위한 메타데이터 구조들은 컴퓨터로 판독이 가능한 기록 매체에 기록될 수 있다.
즉, 아바타 특징 제어 시스템(5100)은 현실 세계의 사용자들의 얼굴 표정과 신체 동작을 센싱하여 생성된 센서 제어 명령과, 상술한 아바타 정보를 통해 사용자들의 특징이 상기 가상 세계의 아바타에 매핑되도록 제어하기 위한 정보인 아바타 제어 정보를 생성할 수 있다. 이러한 아바타 제어 정보를 통해 아바타 특징 제어 시스템(5100)은 직접 아바타를 조작하거나, 또는 다른 실시예로, 아바타를 조작하는 별도의 시스템으로 상기 아바타 제어 정보를 전송할 수 있다. 아바타 특징 제어 시스템(5100)에서 직접 아바타를 조작하는 경우, 아바타 특징 제어 시스템(5100)은 도 52의 실시예에서와 같이, 단계(5230)를 더 포함할 수 있다.
단계(5230)에서 아바타 특징 제어 시스템(5100)은 아바타 제어 정보를 이용하여 가상 세계의 아바타를 조작한다. 상술한 바와 같이, 아바타 제어 정보는 사용자들의 특징이 상기 가상 세계의 아바타에 매핑되도록 제어하기 위한 정보로서, 아바타 특징 제어 시스템(5100)은 아바타 제어 정보를 통해 현실 세계의 사용자 의도가 가상 세계의 아바타에 적용되도록 아바타를 조작할 수 있다.
이와 같이, 본 실시예들에 따른 아바타 특징 제어 시스템 또는 아바타 특징 제어 방법을 이용하면, 가상 세계에서 아바타 특징을 효율적으로 제어할 수 있고, 현실 세계의 사용자의 얼굴을 센싱하기 위한 특징점을 설정하고, 특징점에 대해 수집한 데이터를 이용하여 가상 세계의 아바타의 얼굴을 생성함으로써, 애니메이션에서 정의할 수 없는 임의의 표정을 생성할 수 있다.
도 53은 본 발명의 다른 실시예에 있어서, 현실 세계와 가상 세계 사이의 정보 및 데이터 교환에 관한 시스템의 구조를 나타낸 도면이다. 도 53을 참조하면, 현실 세계 장치(real world device)(예를 들어서, 도 1을 통해 설명한 동작 센서와 같은 센서 기반 입력 장치(101))를 통해서 현실 세계의 사용자가 자신의 의도를 입력하면, 현실 세계 사용자의 의도에 관한 제어 정보(control information, CI)를 포함한 센서 신호는 가상 세계 처리 장치로 전송될 수 있다.
제어 정보(CI)는 현실 세계 장치를 통해 입력한 값에 따른 명령(command) 및 상기 명령에 관련된 정보일 수 있다. 제어 정보(CI)는 SIDC(sensory input device capabilities, 센서 입력 장치 특성), USIP(user sensory input preferences, 사용자 센서 입력 선호), SDICmd(sensory input device commands, 센서 입력 장치 명령)를 포함할 수 있다.
적응 RV(adaptation real world to virtual world)는 RV 엔진(real world to virtual world engine, RV engine)으로 구현될 수 있다. 적응 RV는 센서 신호에 포함되어 있는 현실 세계의 사용자의 동작, 상태, 의도, 형태 등에 관한 제어 정보(CI)를 이용하여 현실 세계 장치를 통해 입력된 현실 세계의 정보를 가상 세계에 적응(adaptation)될 수 있는 정보로 변환할 수 있다. 이러한 적응 과정을 통해 가상 세계 정보(Virtual World Information, VWI)에 영향을 줄 수 있다.
가상 세계 정보(VWI)는 가상 세계에 관한 정보이다. 예를 들어, 가상 세계 객체(virtual object)나 아바타(avatar) 등 가상 세계(virtual world)를 구성하는 요소에 관한 정보일 수 있다. 가상 세계 정보(VWI)에 대한 변화는 RV 엔진에서 VWEM(virtual world effect metadata, 가상 세계 효과 메타데이터), VWP(virtual world preferences, 가상 세계 선호), VWC(virtual world capabilities, 가상 세계 특성) 형태의 명령으로 이루어질 수 있다.
표 85는 도 53에 표시되어 있는 구성들을 설명한다.
표 85
SIDC 센서 입력 장치 특성(Sensory input device capabilities) VWI 가상 세계 정보(Virtual world information)
USIP 사용자 센서 입력 선호(User sensory input preferences) SODC 센서 출력 장치 특성(Sensory output device capabilities)
SIDCmd 센서 입력 장치 명령(Sensory input device commands) USOP 사용자 센서 출력 선호(User sensory output preferences)
VWC 가상 세계 특성(Virtual world capabilities) SODCmd 센서 출력 장치 명령(Sensory output device commands)
VWP 가상 세계 선호(Virtual world preferences) SEM 센서 효과 메타데이터(Sensory effect metadata)
VWEM 가상 세계 효과 메타데이터(Virtual world effect metadata) SI 센서 정보(Sensory information)
도 54 내지 도 58은 본 발명의 일실시예에 따른 아바타 제어 명령을 설명하기 위한 도면이다.
도 54를 참조하면, 본 발명의 일실시예에 따른 아바타 제어 명령(avatar control commands)(5410)은 아바타 제어 명령 기본 타입(avatar control command base type)(5411)과 예외 속성(any attributes)(5412)를 포함할 수 있다.
또한, 도 55 내지 도 58은 XML(eXtensible Markup Language)을 이용하여 아바타 제어 명령(avatar control commands)을 나타낸 일례이다. 그러나 도 55 내지 도 58에 표시된 프로그램 소스(source)는 일실시예일 뿐이고, 본 발명이 이에 제한되는 것은 아니다.
도면 부호(5518)는 아바타 제어 명령(5410)의 기본 구성요소(base element)의 정의를 나타낸다. 아바타 제어 명령(5410)은 아바타를 제어하기 위한 명령을 의미(Semantics)한다.
도면 부호(5520)는 아바타 제어 명령(5410)의 루트 구성요소(root element)의 정의를 나타낸다. 아바타 제어 명령(5410)은 메타데이터(metadata)를 위한 루트 구성요소(root element)의 역할을 의미할 수 있다.
도면 부호(5519) 및 도면 부호(5521)는 아바타 제어 명령 기본 타입(5411)의 정의를 나타낸다. 아바타 제어 명령 기본 타입(avatar control command base type)(5411)은 아바타 제어 명령 기본 타입(avatar ctrl cmd base type)을 확장하고, 아바타 제어 명령 메타데이터 타입으로서 정의된 타입의 서브셋을 위한 기본 추상 타입을 제공하는 것을 의미한다(avatar control command base type provides a base abstract type for a subset of types defined as part of the avatar control commands metadata types).
예외 속성(5412)은 추가적인 아바타 제어 명령일 수 있다.
본 발명의 일측에 따르면, 아바타 제어 명령 기본 타입(5411)은 아바타 제어 명령 기본 속성(avatar control command base attributes)(5413) 및 예외 속성(5414)을 포함할 수 있다.
도면 부호(5515)은 아바타 제어 명령 기본 속성(5413)의 정의를 나타낸다. 아바타 제어 명령 기본 속성(5413)은 명령의 속성으로 이루어진 그룹(group of attribute for the commands)을 표시하는 것을 의미한다.
아바타 제어 명령 기본 속성(5413)은 id, idref, 활성 상태(activate) 및 값(value)를 포함할 수 있다.
id는 아바타 제어 명령 기본 타입(5411)의 개별적인 정체성을 구분하기 위한 아이디 정보이다.
idref는 타입 id의 예시된 속성을 포함하는 구성요소를 참조한다(idref references elements that have an instantiated attribute of type id). idref는 아바타 제어 명령 기본 타입(5411)의 개별적인 정체성을 구분하기 위한 id에 대한 부가적인 정보일 수 있다.
활성 상태(activate)는 효과가 활성화될 것인지 여부를 표시한다(activate describes whether the effect shall be activated). 'true'값은 효과가 활성화됨을 의미하고, 'false'값은 효과가 비활성화됨을 의미할 수 있다. 도면 부호(5516)에 따르면, 활성 상태는 "boolean" 유형의 데이터를 가지고, 선택적(optional)으로 사용될 수 있다.
값(value)은 효과의 강도를 개별 효과의 의미 정의 내에 정의된 최대 스케일에 따라 비율로서 표시한다(value describes the intensity of the effect in percentage according to the max scale defined within the semantics definition of the individual effects). 도면 부호(5517)에 따르면, 값은 "integer" 유형의 데이터를 가지고, 선택적(optional)으로 사용될 수 있다.
예외 속성(5414)은 타겟 네임스페이스(target namespace)와는 다른 네임스페이스로부터의 속성을 포함하기 위한 확장 메커니즘을 제공하는 것을 의미한다. 포함되어야 할 속성은 프로세스 유닛을 식별하고, 프로세스 유닛들의 시간 정보를 결합(associating)하기 위해 ISO/IEC 21000-7에서 정의된 XML 스트리밍 명령어일 수 있다. 예를 들어, 'si:pts'는 결합된 정보가 프로세싱을 위한 어플리케이션에서 이용될 수 있는 포인트를 표시할 수 있다.
도면 부호(5622)는 아바타 제어 명령 어피어런스 타입(avatar control command appearance type)의 정의를 나타낸다.
본 발명의 일측에 따르면, 아바타 제어 명령 어피어런스 타입은 어피어런스 제어 타입(appearance control type), 애니메이션 제어 타입(animation control type), 커뮤니케이션 스킬 제어 타입(communication skill control type), 개성 제어 타입(personality control type) 및 컨트롤 제어 타입(control control type)을 포함할 수 있다.
도면 부호(5623)은 어피어런스 제어 타입(appearance control type)의 구성요소(element)를 나타낸다. 어피어런스 제어 타입(appearance control type)은 어피어런스 제어 명령을 표시하기 위한 도구(tool)이다. 이하, 어피어런스 제어 타입의 구조를 도 59를 참조하여 상세히 설명한다.
도 59는 본 발명의 일실시예에 따른 어피어런스 제어 타입의 구조를 나타내는 도면이다. 도 59를 참조하면, 본 발명의 일실시예에 따른 어피어런스 제어 타입(appearance control type)(5910)은 아바타 제어 명령 기본 타입(avatar control command base type)(5920) 및 구성요소(element)를 포함할 수 있다. 아바타 제어 명령 기본 타입(5920)에 대해서는 위에서 상세히 설명하였는바, 이하 설명을 생략한다.
본 발명의 일측에 따르면, 어피어런스 제어 타입(5910)의 구성요소는 신체(body), 머리(head), 눈(eyes), 코(nose), 입술(mouthlip), 피부(skin), 얼굴(facial), 손톱(nail), 머리카락(hair), 눈썹(eyebrows), 얼굴 털(facial hair), 외양 리소스(appearance resources), 육체적 상태(physical condition), 의상(clothes), 신발(shoes) 및 액세서리(accessories)를 포함할 수 있다.
다시 도 54 내지 도 58을 참조하면, 도면 부호(5725)는 커뮤니케이션 스킬 제어 타입(communication skill control type)의 구성요소를 나타낸다. 커뮤니케이션 스킬 제어 타입은 애니메이션 제어 명령을 표시하기 위한 도구(tool)이다. 이하, 커뮤니케이션 스킬 제어 타입의 구조를 도 60을 참조하여 상세히 설명한다.
도 60은 본 발명의 일실시예에 따른 커뮤니케이션 스킬 제어 타입의 구조를 나타내는 도면이다. 도 60을 참조하면, 본 발명의 일실시예에 따른 커뮤니케이션 스킬 제어 타입(6010)은 아바타 제어 명령 기본 타입(avatar control command base type)(6020) 및 구성요소(element)를 포함할 수 있다.
본 발명의 일측에 따르면, 커뮤니케이션 스킬 제어 타입(6010)의 구성요소는 입력 구두 의사교환(input verbal communication), 입력 비구두 의사교환(input nonverbal communication), 출력 구두 의사교환(ouput verbal communication) 및 출력 비구두 의사교환(ouput nonverbal communication)를 포함할 수 있다.
다시 도 54 내지 도 58을 참조하면, 도면 부호(5826)는 개성 제어 타입(personality control type)의 구성요소를 나타낸다. 개성 제어 타입은 애니메이션 제어 명령을 표시하기 위한 도구(tool)이다. 이하, 개성 제어 타입의 구조를 도 61을 참조하여 상세히 설명한다.
도 61은 본 발명의 일실시예에 따른 개성 제어 타입의 구조를 나타내는 도면이다. 도 61을 참조하면, 본 발명의 일실시예에 따른 개성 제어 타입(6110)은 아바타 제어 명령 기본 타입(avatar control command base type)(6120) 및 구성요소(element)를 포함할 수 있다. 본 발명의 일측에 따르면, 개성 제어 타입(6110)의 구성요소는 개방적(openness), 상냥함(agreeableness), 신경질적(neuroticism), 외향적(extraversion) 및 양심적(conscientiousness)을 포함할 수 있다.
다시 도 54 내지 도 58을 참조하면, 도면 부호(5624)는 애니메이션 제어 타입(animation control type)의 구성요소를 나타낸다. 애니메이션 제어 타입은 애니메이션 제어 명령을 표시하기 위한 도구(tool)이다. 이하, 애니메이션 제어 타입의 구조를 도 62를 참조하여 상세히 설명한다.
도 62는 본 발명의 일실시예에 따른 애니메이션 제어 타입의 구조를 나타내는 도면이다. 도 62를 참조하면, 본 발명의 일실시예에 따른 애니메이션 제어 타입(6210)은 아바타 제어 명령 기본 타입(avatar control command base type)(6220), 예외 속성(6230) 및 구성요소(element)를 포함할 수 있다. 본 발명의 일측에 따르면, 예외 속성(6230)은 모션 우선 순위(motion priority)(6231) 및 속도(speed)(6232)를 포함할 수 있다.
모션 우선 순위(6231)는 애니메이션과 신체 및/또는 제어 얼굴 특징을 믹싱함으로써 아바타의 동작을 생성할 때의 우선 순위를 결정한다(motion priority determines the priority when generating the motion of avatar by mixing with animation and body and/or facial feature control).
속도(6232)는 동일한 애니메이션을 사용하여 다양한 효과를 얻을 수 있도록 애니메이션의 속도를 조절한다. 예를 들어, 걷는 동작에 관한 애니메이션의 경우, 속도의 단계에 따라 천천히 걷는 동작, 보통 속도로 걷는 동작 및 빨리 걷는 동작으로 분류될 수 있다.
애니메이션 제어 타입(6210)의 구성요소는 한가한(idle), 인사(greeting), 댄스(dance), 걷기(walk), 이동(moves), 싸우기(fighting), 듣기(hearing), 담배피기(smoke), 축하(congratulations), 일반행동(common actions), 특별한 행동(specific actions), 얼굴 표정(facial expression), 신체 표현(body expression) 및 애니메이션 수단(animation resources)을 포함할 수 있다.
다시 도 54 내지 도 58을 참조하면, 도면 부호(5827)는 컨트롤 제어 타입(control control type)의 구성요소를 나타낸다. 컨트롤 제어 타입은 컨트롤 특징 제어 명령을 표시하기 위한 도구(tool)이다. 이하, 컨트롤 제어 타입의 구조를 도 63을 참조하여 상세히 설명한다.
도 63은 본 발명의 일실시예에 따른 컨트롤 제어 타입의 구조를 나타내는 도면이다. 도 63을 참조하면, 본 발명의 일실시예에 따른 컨트롤 제어 타입(6310)은 아바타 제어 명령 기본 타입(avatar control command base type)(6320), 예외 속성(6330) 및 구성요소(element)를 포함할 수 있다.
본 발명의 일측에 따르면, 예외 속성(6330)은 모션 우선 순위(motion priority)(6331), 프레임시간(frame time)(6332), 프레임개수(num of frame)(6333) 및 프레임id(frame id)(6334)를 포함할 수 있다.
모션 우선 순위(6331)는 애니메이션과 제어 신체 특징 및/또는 제어 얼굴 특징을 믹싱함으로써 아바타의 동작을 생성할 때의 우선 순위를 결정한다.
프레임시간(6332)은 모션 제어 데이터의 프레임 간격을 정의한다(frame time defines the frame interval of motion control data). 예를 들어, 프레임 간격의 단위는 초(second)일 수 있다.
프레임개수(6333)는 모션 제어를 위한 프레임의 전체 수를 선택적으로 정의한다(num of frame optionally defines the total number of frames for the motion control).
프레임id(6334)는 각 프레임의 순서를 가리킨다(frame id indicates the order of each frame).
컨트롤 제어 타입(6310)의 구성요소는 제어 신체 특징(control body features)(6340) 및 제어 얼굴 특징(control face features)(6350)를 포함할 수 있다.
본 발명의 일측에 따르면, 제어 신체 특징(6340)는 제어 신체 특징 타입을 포함할 수 있다. 또한, 상기 제어 신체 특징 타입은 머리뼈(headbones), 상체뼈(upper body bones), 하체뼈(down body bones) 및 중체뼈(middle body bones)의 구성요소를 포함할 수 있다.
가상 세계의 아바타의 동작(motion)은 애니메이션 제어 타입과 컨트롤 제어 타입과 관련된다. 애니메이션 제어 타입은 애니메이션 세트의 순서에 관한 정보를 포함하고, 컨트롤 제어 타입은 모션 센싱(motion sensing)에 관한 정보를 포함할 수 있다. 가상 세계의 아바타의 동작을 제어하기 위해서는 애니메이션 또는 모션 센싱 장치를 이용할 수 있다. 따라서, 이하 본 발명의 일실시예에 따른 가상 세계의 아바타의 동작을 제어하기 위한 영상 장치를 상세히 설명한다.
도 64는 본 발명의 일실시예에 따른 영상 장치의 구성을 나타낸 도면이다.
도 64를 참조하면, 본 발명의 일실시예에 따른 영상 장치(6400)는 저장부(6410) 및 처리부(6420)를 포함한다.
저장부(6410)는 애니메이션 클립(animation clip), 애니메이션 클립이 어느 아바타(avatar)의 어느 부분(part)에 대응하는지에 관한 정보와 우선 순위(priority)를 포함하는 애니메이션 제어 정보(animation control information) 및 모션 센서(motion sensor)로부터 수신된 값을 처리한 모션 데이터(motion data)가 어느 아바타의 어느 부분에 대응하는지에 관한 정보와 우선 순위를 포함하는 컨트롤 제어 정보(control control information)를 저장한다.
애니메이션 클립은 가상 세계의 아바타의 동작에 대한 동영상 데이터이다.
본 발명의 일측에 따르면, 가상 세계의 아바타를 부분으로 나누어, 각 부분에 대응하는 애니메이션 클립 및 모션 데이터를 저장할 수 있다. 실시예에 따라서는, 가상 세계의 아바타를 얼굴 표정(facial expression), 머리(head), 상체(upper body), 중체(middle body) 및 하체(lower body)의 부분으로 나눌 수 있다. 이에 대해서 도 65를 참조하여 상세히 설명한다.
도 65는 본 발명의 일실시예에 따른 가상 세계의 아바타를 얼굴 표정, 머리, 상체, 중체 및 하체의 부분으로 나눈 도면을 나타낸다.
도 65를 참조하면, 가상 세계의 아바타(6500)는 얼굴 표정(6510), 머리(6520), 상체(6530), 중체(6540) 및 하체(6550)의 부분으로 나누어진다.
본 발명의 일측에 따르면, 애니메이션 클립 및 모션 데이터는 얼굴 표정(6510), 머리(6520), 상체(6530), 중체(6540) 및 하체(6550) 중 어느 하나에 대응하는 데이터일 수 있다.
다시 도 64를 참조하면, 애니메이션 제어 정보(animation control information)는 애니메이션 클립이 어느 아바타의 어느 부분에 대응하는지에 관한 정보 및 우선 순위를 포함한다. 가상 세계의 아바타는 하나 이상일 수 있고, 애니메이션 제어 정보에 따라, 애니메이션 클립은 하나의 아바타 또는 하나 이상의 아바타에 대응할 수 있다.
실시예에 따라서는, 애니메이션 클립이 어느 아바타의 어느 부분에 대응하는지에 관한 정보는 아바타의 얼굴 표정, 머리, 상체, 중체 및 하체 중 어느 부분에 대응하는지에 관한 정보일 수 있다.
아바타의 임의의 부분에 대응하는 애니메이션 클립은 우선 순위를 가질 수 있다. 우선 순위는 현실 세계의 사용자에 의해서 미리 설정되거나, 실시간으로 입력 받아 설정될 수 있다. 우선 순위에 대해서는 도 68을 참조하여 뒤에서 상세히 설명한다.
실시예에 따라서는, 애니메이션 제어 정보는 아바타의 임의의 부분에 대응하는 애니메이션 클립의 속도에 관한 정보를 더 포함할 수 있다. 예를 들어, 아바타의 하체에 대응하는 애니메이션 클립으로서 걷는 동작을 나타내는 데이터의 경우, 상기 애니메이션 클립의 속도에 관한 정보에 따라서, 상기 애니메이션 클립은 천천히 걷는 동작, 보통의 속도로 걷는 동작, 빨리 걷는 동작 및 뛰는 동작에 관한 데이터로 구분될 수 있다.
컨트롤 제어 정보(control control information)는 모션 센서로부터 수신된 값을 처리한 모션 데이터가 어느 아바타의 어느 부분에 대응하는지에 관한 정보와 우선 순위를 포함한다.
모션 센서는 현실 세계의 사용자의 동작, 표정, 상태 등을 측정하기 위한 현실 세계 장치(real world device)인 센서(sensor)이다.
모션 데이터는 모션 센서로부터 현실 세계의 사용자의 동작, 표정, 상태 등을 측정한 값을 수신하고, 상기 값을 가상 세계의 아바타에 적용할 수 있도록 처리한 데이터일 수 있다.
예를 들어, 모션 센서는 현실 세계의 사용자의 팔과 다리에 대한 위치 정보를 측정하여 x, y, z축의 값인 Xreal, Yreal, Zreal값과 x, y, z축과의 각도의 값인 θXreal, θYreal, θZreal값으로 나타낼 수 있다. 또한, 모션 데이터는 상기 위치 정보에 대한 값을 가상 세계의 아바타에 적용할 수 있도록 처리한 데이터일 수 있다.
본 발명의 일측에 따르면, 가상 세계의 아바타를 부분으로 나누어, 각 부분에 대응하는 모션 데이터를 저장할 수 있다. 실시예에 따라서는, 모션 데이터가 어느 아바타의 어느 부분에 대응하는지에 관한 정보는 아바타의 얼굴 표정, 머리, 상체, 중체 및 하체 중 어느 부분에 대응하는지에 관한 정보일 수 있다.
아바타의 임의의 부분에 대응하는 모션 데이터는 우선 순위를 가질 수 있다. 우선 순위는 현실 세계의 사용자에 의해서 미리 설정되거나, 실시간으로 입력 받아 설정될 수 있다. 우선 순위에 대해서는 도 68을 참조하여 뒤에서 상세히 설명한다.
처리부(6420)는 아바타의 제1 부분에 대응하는 애니메이션 제어 정보의 우선 순위와 아바타의 상기 제1 부분에 대응하는 컨트롤 제어 정보의 우선 순위를 비교하여, 아바타의 제1 부분에 적용할 데이터를 결정한다. 이에 대해서는 도 66을 참조하여 뒤에서 상세히 설명한다.
도 66은 본 발명의 일실시예에 따른 애니메이션 클립에 대한 데이터베이스를 나타낸 도면이다. 도 66을 참조하면, 본 발명의 일실시예에 따른 애니메이션 클립에 대한 데이터베이스(database)(6600)는 애니메이션 클립(6610), 대응 부분(6620) 및 우선 순위(6630)의 카테고리로 분류된다.
애니메이션 클립(6610)은 가상 세계의 아바타의 임의의 부분에 대응하는 아바타의 동작에 대한 데이터의 카테고리이다. 실시예에 따라서는, 애니메이션 클립(6610)은 아바타의 얼굴 표정, 머리, 상체, 중체 및 하체 중 어느 한 부분에 대응하는 애니메이션 클립에 대한 카테고리일 수 있다. 예를 들어, 제1 애니메이션 클립(6611)은 아바타의 얼굴 표정 부분에 대응하는 애니메이션 클립으로서, 웃는 동작에 대한 데이터일 수 있다. 제2 애니메이션 클립(6612)은 아바타의 머리 부분에 대응하는 애니메이션 클립으로서, 고개를 좌우로 흔드는 동작에 대한 데이터일 수 있다. 제3 애니메이션 클립(6613)은 아바타의 상체 부분에 대응하는 애니메이션 클립으로서, 양팔을 위로 올리는 동작에 대한 데이터일 수 있다. 제4 애니메이션 클립(6614)은 아바타의 중체 부분에 대응하는 애니메이션 클립으로서, 엉덩이를 앞으로 내미는 동작에 대한 데이터일 수 있다. 제5 애니메이션 클립(6615)은 아바타의 하체 부분에 대응하는 애니메이션 클립으로서, 다리 하나를 구부리고 다른 다리는 뒤로 뻗는 동작에 대한 데이터일 수 있다.
대응 부분(6620)은 애니메이션 클립이 아바타의 어느 부분에 대응하는지에 대한 데이터의 카테고리이다. 실시예에 따라서는, 대응 부분(6620)은 애니메이션 클립이 아바타의 얼굴 표정, 머리, 상체, 중체 및 하체 중 어느 부분에 대응하는지에 대한 데이터의 카테고리일 수 있다. 예를 들어, 제1 애니메이션 클립(6611)은 아바타의 얼굴 표정 부분에 대응하는 애니메이션 클립이므로, 제1 대응 부분(6621)은 'facial expression'으로 표기될 수 있다. 제2 애니메이션 클립(6612)은 아바타의 머리 부분에 대응하는 애니메이션 클립이므로, 제2 대응 부분(6622)은 'head'로 표기될 수 있다. 제3 애니메이션 클립(6613)은 아바타의 상체 부분에 대응하는 애니메이션 클립이므로, 제3 대응 부분(6623)은 'upper body'로 표기될 수 있다. 제4 애니메이션 클립(6614)은 아바타의 중체 부분에 대응하는 애니메이션 클립이므로, 제4 대응 부분(6624)은 'middle body'로 표기될 수 있다. 제5 애니메이션 클립(6615)은 아바타의 하체 부분에 대응하는 애니메이션 클립이므로, 제5 대응 부분(6625)은 'lower body'로 표기될 수 있다.
우선 순위(6630)는 애니메이션 클립이 갖는 우선 순위에 대한 값의 카테고리이다. 실시예에 따라서는, 아바타의 얼굴 표정, 머리, 상체, 중체 및 하체 중 어느 한 부분에 대응하는 애니메이션 클립이 갖는 우선 순위에 대한 값의 카테고리일 수 있다. 예를 들어, 아바타의 얼굴 표정 부분에 대응하는 제1 애니메이션 클립(6611)은 '5'의 우선 순위 값을 가질 수 있다. 아바타의 머리 부분에 대응하는 제2 애니메이션 클립(6612)은 '2'의 우선 순위 값을 가질 수 있다. 아바타의 상체 부분에 대응하는 제3 애니메이션 클립(6613)은 '5'의 우선 순위 값을 가질 수 있다. 아바타의 중체 부분에 대응하는 제4 애니메이션 클립(6614)은 '1'의 우선 순위 값을 가질 수 있다. 아바타의 하체 부분에 대응하는 제5 애니메이션 클립(6615)은 '1'의 우선 순위 값을 가질 수 있다. 애니메이션 클립에 대한 우선 순위 값은 현실 세계의 사용자로부터 미리 설정되거나, 실시간으로 입력 받아 설정될 수 있다.
도 67은 본 발명의 일실시예에 따른 모션 데이터에 대한 데이터베이스를 나타낸 도면이다. 도 67을 참조하면, 본 실시예에 따른 모션 데이터에 대한 데이터베이스 (6700)는 모션 데이터(6710), 대응 부분(6720) 및 우선 순위(6730)의 카테고리로 분류된다.
모션 데이터(6710)는 모션 센서로부터 수신된 값을 처리한 데이터로서, 가상 세계의 아바타의 임의의 부분에 대응하는 모션 데이터의 카테고리이다. 실시예에 따라서는, 모션 데이터(6710)는 아바타의 얼굴 표정, 머리, 상체, 중체 및 하체 중 어느 한 부분에 대응하는 모션 데이터의 카테고리일 수 있다. 예를 들어, 제1 모션 데이터(6711)는 아바타의 얼굴 표정 부분에 대응하는 모션 데이터로서, 현실 세계의 사용자가 얼굴을 찡그리는 동작을 하고 모션 센서가 이를 측정하면, 측정된 값을 가상 세계의 아바타의 얼굴 표정 부분에 적용할 수 있도록 처리한, 현실 세계의 사용자가 얼굴을 찡그리는 동작에 대한 데이터일 수 있다. 마찬가지로, 제2 모션 데이터(6712)는 아바타의 머리 부분에 대응하는 모션 데이터로서, 현실 세계 세계의 사용자가 고개를 숙이는 동작에 대한 데이터일 수 있다. 제3 모션 데이터(6713)는 아바타의 상체 부분에 대응하는 모션 데이터로서, 현실 세계 세계의 사용자가 양팔을 좌우로 들어 올리는 동작에 대한 데이터일 수 있다. 제4 모션 데이터(6714)는 아바타의 중체 부분에 대응하는 모션 데이터로서, 현실 세계 세계의 사용자가 엉덩이를 앞뒤로 흔드는 동작에 대한 데이터일 수 있다. 제5 모션 데이터(6715)는 아바타의 하체 부분에 대응하는 모션 데이터로서, 현실 세계 세계의 사용자가 양 다리를 좌우로 벌리면서 구부리는 동작에 대한 데이터일 수 있다.
대응 부분(6720)은 모션 데이터가 아바타의 어느 부분에 대응하는지에 대한 데이터의 카테고리이다. 실시예에 따라서는, 대응 부분(6720)은 모션 데이터가 아바타의 얼굴 표정, 머리, 상체, 중체 및 하체 중 어느 부분에 대응하는지에 대한 데이터의 카테고리일 수 있다. 예를 들어, 제1 모션 데이터(6711)는 아바타의 얼굴 표정 부분에 대응하는 모션 데이터이므로, 제1 대응 부분(6721)은 'facial expression'으로 표기될 수 있다. 제2 모션 데이터(6712)는 아바타의 머리 부분에 대응하는 모션 데이터이므로, 제2 대응 부분(6722)은 'head'로 표기될 수 있다. 제3 모션 데이터(6713)는 아바타의 상체 부분에 대응하는 모션 데이터이므로, 제3 대응 부분(6723)은 'upper body'로 표기될 수 있다. 제4 모션 데이터(6714)는 아바타의 중체 부분에 대응하는 모션 데이터이므로, 제4 대응 부분(6724)은 'middle body'로 표기될 수 있다. 제5 모션 데이터(6715)는 아바타의 하체 부분에 대응하는 모션 데이터이므로, 제5 대응 부분(6725)은 'lower body'로 표기될 수 있다.
우선 순위(6730)는 모션 데이터가 갖는 우선 순위에 대한 값의 카테고리이다. 실시예에 따라서는, 아바타의 얼굴 표정, 머리, 상체, 중체 및 하체 중 어느 한 부분에 대응하는 모션 데이터가 갖는 우선 순위에 대한 값의 카테고리일 수 있다. 예를 들어, 아바타의 얼굴 표정 부분에 대응하는 제1 모션 데이터(6711)는 '1'의 우선 순위 값을 가질 수 있다. 아바타의 머리 부분에 대응하는 제2 모션 데이터(6712)는 '5'의 우선 순위 값을 가질 수 있다. 아바타의 상체 부분에 대응하는 제3 모션 데이터(6713)는 '2'의 우선 순위 값을 가질 수 있다. 아바타의 중체 부분에 대응하는 제4 모션 데이터(6714)는 '5'의 우선 순위 값을 가질 수 있다. 아바타의 하체 부분에 대응하는 제5 모션 데이터(6715)는 '5'의 우선 순위 값을 가질 수 있다. 모션 데이터에 대한 우선 순위 값은 현실 세계의 사용자로부터 미리 설정되거나, 실시간으로 입력 받아 설정될 수 있다.
도 68은 본 발명의 일실시예에 따른 우선 순위를 비교하여 아바타의 임의의 부분에 적용할 모션 객체 데이터를 결정하는 동작을 나타낸 도면이다. 도 68을 참조하면, 아바타(6810)는 얼굴 표정(6811), 머리(6812), 상체(6813), 중체(6814) 및 하체(6815)의 부분으로 나누어진다.
모션 객체 데이터(motion object data)는 아바타의 임의의 부분의 동작에 관한 데이터이다. 모션 객체 데이터는 애니메이션 클립 및 모션 데이터를 포함할 수 있다. 모션 객체 데이터는 모션 센서로부터 수신된 값을 처리하거나, 영상 장치의 저장부로부터 독출되어 획득될 수 있다. 실시예에 따라서는, 모션 객체 데이터는 아바타의 얼굴 표정, 머리, 상체, 중체 및 하체 중 어느 한 부분에 대응할 수 있다.
데이터베이스(6820)는 애니메이션 클립에 대한 데이터베이스이다. 또한, 데이터베이스(6830)는 모션 데이터에 대한 데이터베이스이다.
본 발명의 일실시예에 따른 영상 장치의 처리부는 아바타(6810)의 제1 부분에 대응하는 애니메이션 제어 정보의 우선 순위와 아바타의 제1 부분에 대응하는 컨트롤 제어 정보의 우선 순위를 비교하여, 아바타의 제1 부분에 적용할 데이터를 결정할 수 있다.
실시예에 따라서는, 아바타(6810)의 얼굴 표정(6811)에 대응하는 제1 애니메이션 클립(6821)은 우선 순위의 값이 '5'이고, 아바타(6810)의 얼굴 표정(6811)에 대응하는 제1 모션 데이터(6831)는 우선 순위의 값이 '1'일 수 있다. 제1 애니메이션 클립(6821)이 제1 모션 데이터(6831)보다 우선 순위의 값이 더 높으므로, 영상 장치의 처리부는 아바타(6810)의 얼굴 표정(6811)에 적용할 데이터를 제1 애니메이션 클립(6821)으로 결정할 수 있다.
또한, 아바타(6810)의 머리(6812)에 대응하는 제2 애니메이션 클립(6822)은 우선 순위의 값이 '2'이고, 아바타(6810)의 머리(6812)에 대응하는 제2 모션 데이터(6832)는 우선 순위의 값이 '5'일 수 있다. 제2 모션 데이터(6832)가 제2 애니메이션 클립(6822)보다 우선 순위의 값이 더 높으므로, 영상 장치의 처리부는 아바타(6810)의 머리(6812)에 적용할 데이터를 제2 모션 데이터(6832)로 결정할 수 있다.
또한, 아바타(6810)의 상체(6813)에 대응하는 제3 애니메이션 클립(6823)은 우선 순위의 값이 '5'이고, 아바타(6810)의 상체(6813)에 대응하는 제3 모션 데이터(6833)는 우선 순위의 값이 '2'일 수 있다. 제3 애니메이션 클립(6823)이 제3 모션 데이터(6833)보다 우선 순위의 값이 더 높으므로, 영상 장의 처리부는 아바타(6810)의 상체(6813)에 적용할 데이터를 제3 애니메이션 클립(6823)으로 결정할 수 있다.
또한, 아바타(6810)의 중체(6814)에 대응하는 제4 애니메이션 클립(6824)은 우선 순위의 값이 '1'이고, 아바타(6810)의 중체(6814)에 대응하는 제4 모션 데이터(6834)는 우선 순위의 값이 '5'일 수 있다. 제4 모션 데이터(6834)가 제4 애니메이션 클립(6824)보다 우선 순위의 값이 더 높으므로, 영상 장치의 처리부는 아바타(6810)의 중체(6814)에 적용할 데이터를 제4 모션 데이터(6834)로 결정할 수 있다.
또한, 아바타(6810)의 하체(6815)에 대응하는 제5 애니메이션 클립(6825)은 우선 순위의 값이 '1'이고, 아바타(6810)의 하체(6815)에 대응하는 제5 모션 데이터(6835)는 우선 순위의 값이 '5'일 수 있다. 제5 모션 데이터(6835)가 제5 애니메이션 클립(6825)보다 우선 순위의 값이 더 높으므로, 영상 장치의 처리부는 아바타(6810)의 하체(6815)에 적용할 데이터를 제5 모션 데이터(6835)로 결정할 수 있다.
따라서, 아바타(6810)는 얼굴 표정(6811)에 제1 애니메이션 클립(6821)을, 머리(6812)에 제2 모션 데이터(6832)를, 상체(6813)에 제3 애니메이션 클립(6823)을, 중체(6814)에 제4 모션 데이터(6834)를, 하체(6815)에 제5 모션 데이터(6835)를 가질 수 있다.
아바타(6810)의 임의의 부분에 대응하는 데이터는 복수 개의 애니메이션 클립과 복수 개의 모션 데이터가 있을 수 있다. 아바타(6810)의 임의의 부분에 대응하는 데이터가 복수 개 있는 경우, 아바타(6810)의 임의의 부분에 적용할 데이터를 결정하는 방법을 이하 도 69를 참조하여 설명한다.
도 69는 아바타의 각 부분에 적용할 모션 객체 데이터를 결정하는 방법의 흐름도이다. 도 69를 참조하면, 본 발명의 일실시예에 따른 영상 장치는 모션 객체 데이터(motion object data)에 포함되어 있는 정보를 확인한다(S6910). 모션 객체 데이터에 포함되어 있는 정보는, 모션 객체 데이터가 어느 아바타의 어느 부분에 대응하는지에 관한 정보 및 모션 객체 데이터의 우선 순위를 포함할 수 있다.
아바타의 제1 부분에 대응하는 모션 객체 데이터가 아직 없는 경우, 독출 또는 처리되어 획득된 모션 객체 데이터를 아바타의 제1 부분에 적용할 데이터로 결정할 수 있다.
아바타의 제1 부분에 대응하는 모션 객체 데이터가 있는 경우, 영상 장치의 처리부는 기존의 모션 객체 데이터와 새로 독출 또는 처리되어 획득된 모션 객체 데이터의 우선 순위의 값을 비교한다(S6920).
기존의 모션 객체 데이터보다 새로 독출 또는 처리되어 획득된 모션 객체 데이터가 더 높은 우선 순위의 값을 갖는 경우, 아바타의 제1 부분에 적용할 데이터를 새로 독출 또는 처리되어 획득된 모션 객체 데이터로 결정한다(S6930).
그러나, 기존의 모션 객체 데이터가 새로 독출 또는 처리된 모션 객체 데이터보다 더 높은 우선 순위의 값을 갖는 경우, 기존의 모션 객체 데이터가 아바타의 제1 부분에 적용할 데이터로 결정된다.
모든 모션 객체 데이터를 확인하였는지 여부를 판단한다(S6940)
판단되지 않는 모션 객체 데이터가 있는 경우, 영상 장치는 판단되지 않은 모션 객체 데이터에 대해서 상기 단계(S6910)부터 단계(S6940)까지의 과정을 반복 수행한다.
모든 모션 객체 데이터에 대해서 판단한 경우, 아바타의 각 부위에 대응하는 모션 객체 데이터 중 우선 순위가 가장 높은 데이터를 결합하여 아바타의 동영상을 생성한다(S6950).
본 발명의 일실시예에 따른 영상 장치의 처리부는 아바타의 각 부분에 대응하는 애니메이션 제어 정보의 우선 순위와 컨트롤 제어 정보의 우선 순위를 비교하여, 상기 각 부분에 적용할 데이터를 결정하고, 결정된 데이터를 결합하여 아바타의 동영상을 생성할 수 있다. 아바타의 각 부분에 적용할 데이터를 결정하는 과정에 대해서는 도 에서 상세히 설명하였는바, 이하 도 70을 참조하여, 결정된 데이터를 결합하여 아바타의 동영상을 생성하는 과정에 대해 설명한다.
도 70은 본 발명의 일실시예에 따른 아바타의 각 부분에 대응하는 모션 객체 데이터를 결합하는 동작을 나타낸 흐름도이다. 도 70을 참조하면, 본 발명의 일실시예에 따른 영상 장치는 루트 구성요소(root element)를 포함하는 아바타의 부분을 확인(find)한다(S7010).
또한, 아바타의 부분에 대응하는 모션 객체 데이터로부터 연결 축에 관한 정보를 추출한다(S7020). 모션 객체 데이터는 애니메이션 클립 및 모션 데이터를 포함할 수 있다. 모션 객체 데이터는 연결 축에 관한 정보를 포함할 수 있다.
또한, 결합되지 않은 모션 객체 데이터가 존재하는지 확인한다(S7030).
결합되지 않은 모션 객체 데이터가 존재하지 않는 경우, 아바타의 각 부분에 대응하는 모든 데이터가 결합되었으므로, 아바타의 동영상을 생성하는 과정은 종료된다.
결합되지 않은 모션 객체 데이터가 존재하는 경우, 상기 모션 객체 데이터로부터 추출한 연결 축에 관한 정보에 포함되는 관절 방향각을 상대적 방향으로 변경한다(S7040). 실시예에 따라서는, 연결 축에 관한 정보에 포함되는 관절 방향각은 상대적 방향일 수 있고, 이 경우 변경하는 단계(S7040)는 생략하고 단계(S7050)로 바로 갈 수 있다.
이하, 본 발명의 일측에 따른, 관절 방향각이 절대적 방향인 경우, 상기 관절 방향각을 상대적 방향으로 변경하는 방법을 상세히 설명한다. 또한, 가상 세계의 아바타가 얼굴 표정, 머리, 상체, 중체 및 하체의 부분으로 나누어진 경우를 실시예로 하여 설명한다.
실시예에 따라서는, 아바타의 중체에 대응하는 모션 객체 데이터는 신체 중심 좌표를 포함할 수 있다. 절대적 방향인 관절 방향각은 신체 중심 좌표를 포함하는 중체 부분의 연결 부위를 기준으로 상대적 방향으로 변경될 수 있다.
영상 장치는 아바타의 중체에 대응하는 모션 객체 데이터에 저장된 연결 축에 관한 정보를 추출한다. 연결 축에 관한 정보는 아바타의 상체 부분의 연결 부위인 가슴 척추골(thoracic vertebrae)과 머리 부분의 연결 부위인 경부 척추골(cervical vertebrae) 간의 관절 방향각, 상체 부분의 연결 부위인 가슴 척추골(thoracic vertebrae)과 왼편 쇄골(left clavicle) 간의 관절 방향각, 상체 부분의 연결 부위인 가슴 척추골(thoracic vertebrae)과 오른편 쇄골(right clavicle) 간의 관절 방향각 및 중체 부분의 연결 부위인 골반(pelvis)과 하체 부분의 연결 부위인 왼편 대퇴부(left femur), 중체 부분의 연결 부위인 골반(pelvis)과 하체 부분의 연결 부위인 오른편 대퇴부(right femur) 간의 관절 방향각을 포함할 수 있다.
예를 들어, 골반과 오른편 대퇴부 간의 관절 방향각은 다음과 같은 수학식 1로 나타날 수 있다.
수학식 1
Figure PCTKR2010002938-appb-M000001
상기 수학식 1에서 함수 A(.)는 디렉셔널 코사인 함수(directional cosine matrix)이고, RRightFemur_Pelvis는 골반과 오른편 대퇴부 간의 방향각에 대한 회전 함수(rotational matrix)이다. 또한, θRightFemur는 아바타의 하체 부분의 오른편 대퇴부(right femur)에서의 관절 방향각이고, θPelvis는 중체 부분의 골반(pelvis)과 오른편 대퇴부(right femur)와의 관절 방향각이다.
상기 [수학식 1]로부터 다음의 [수학식 2]와 같이 회전 함수를 계산할 수 있다.
수학식 2
Figure PCTKR2010002938-appb-M000002
절대적 방향인 관절 방향각은 신체 중심 좌표를 포함하는 중체 부분의 연결 부위를 기준으로 상대적 방향으로 변경될 수 있다. 예를 들어, 상기 수학식 2의 회전 함수를 이용하여, 아바타의 하체에 대응하는 모션 객체 데이터에 저장된 연결 축에 관한 정보에 포함되는 절대적 방향인 관절 방향각을 하기의 수학식 3과 같이 상대적 방향으로 변경할 수 있다.
수학식 3
Figure PCTKR2010002938-appb-M000003
마찬가지로, 아바타의 머리 및 상체에 대응하는 모션 객체 데이터에 저장된 연결 축에 관한 정보에 포함되는 절대적 방향인 관절 방향각을 상대적 방향으로 변경할 수 있다.
상기 과정에 의해, 관절 방향각이 상대적 방향으로 변경되면, 아바타의 각 부분에 대응하는 모션 객체 데이터에 저장된 연결 축에 관한 정보를 이용하여, 각 부분에 대응하는 모션 객체 데이터를 결합한다(S7050).
다시 단계(S7030)로 돌아가서, 결합되지 않은 모션 객체 데이터가 존재하는지 확인한다(S7030).
결합되지 않은 모션 객체 데이터가 존재하지 않는 경우, 아바타의 각 부분에 대응하는 모든 데이터가 결합되었으므로, 아바타의 동영상을 생성하는 과정은 종료된다.
도 71은 본 발명의 일실시예에 따른 아바타의 각 부분에 대응하는 모션 객체 데이터를 결합하는 동작을 나타낸 도면이다.
도 71을 참조하면, 본 발명의 일실시예에 따른 영상 장치는 아바타의 제1 부분에 대응하는 모션 객체 데이터(7110)와 제2 부분에 대응하는 모션 객체 데이터(7120)가 결합하여 아바타의 동영상(7130)을 생성한다.
제1 부분에 대응하는 모션 객체 데이터(7110)는 애니메이션 클립 및 모션 데이터 중 어느 하나일 수 있다. 마찬가지로, 제2 부분에 대응하는 모션 객체 데이터(7120)는 애니메이션 클립 및 모션 데이터 중 어느 하나일 수 있다.
본 발명의 일측에 따르면, 영상 장치의 저장부는 애니메이션 클립의 연결 축(7101)에 관한 정보를 더 저장하고, 처리부는 애니메이션 클립의 연결 축(7101)에 관한 정보를 이용하여 애니메이션 클립과 모션 데이터를 결합할 수 있다. 또한, 처리부는 애니메이션 클립의 연결 축(7101)에 관한 정보를 이용하여 애니메이션 클립과 애니메이션 클립을 결합할 수 있다.
실시예에 따라서는, 처리부는 모션 데이터로부터 연결 축에 관한 정보를 추출하고, 애니메이션 클립의 연결 축(7101)과 모션 데이터의 연결 축을 대응시켜 애니메이션 클립과 모션 데이터를 결합할 수 있다. 또한, 처리부는 모션 데이터로부터 추출한 연결 축에 관한 정보를 이용하여 모션 데이터와 모션 데이터를 결합할 수 있다. 연결 축에 관한 정보는 도 70에서 상세히 설명하였는바, 이하 설명을 생략한다.
이하, 본 발명의 일실시예에 따른 영상 장치가 현실 세계의 사용자의 얼굴을 가상 세계의 아바타의 얼굴에 반영하는 일례를 설명한다.
영상 장치는 현실 세계의 사용자의 얼굴을 현실 세계 장치(예를 들어서, 영상 센서)를 통해서 센싱(sensing)하고, 가상 세계의 아바타의 얼굴에 반영할 수 있다. 가상 세계의 아바타를 얼굴 표정, 머리, 상체, 중체 및 하체의 부분으로 나눈 경우, 영상 장치는 현실 세계의 사용자의 얼굴을 센싱하여, 가상 세계의 아바타의 얼굴 표정 및 머리 부분에 반영할 수 있다.
실시예에 따라서는, 영상 장치는 현실 세계의 사용자의 얼굴의 특징점을 센싱하여 특징점에 대한 데이터를 수집하고, 상기 특징점에 대한 데이터를 이용하여 가상 세계의 아바타의 얼굴을 생성할 수 있다.
이와 같이, 본 발명의 실시예에 따른 영상 장치를 이용하면, 가상 세계의 아바타를 제어하기 위한 애니메이션 제어 정보 및 모션 데이터의 구조에 관한 제어 메타데이터를 제공할 수 있고, 가상 세계의 아바타의 임의의 부분에 대응하는 애니메이션 클립의 우선 순위와 모션 데이터의 우선 순위를 비교하여, 아바타의 임의의 부분에 대응하는 데이터를 결정함으로써, 애니메이션 클립과 현실 세계의 사용자의 동작을 센싱한 모션 데이터가 결합된 아바타의 동작을 생성할 수 있다.
도 72는 본 발명의 일실시예에 있어서, 가상 세계 객체를 제어하기 위한 단말기와 가상 세계 서버를 나타낸 도면이다.
도 72를 참조하면, 단말기(7210)는 현실 세계 장치(7220)로부터 정보를 수신(7221)할 수 있다. 여기서, 현실 세계 장치(7220)로부터 수신(7221)된 정보는 키보드, 마우스 또는 포인터와 같은 장치를 통해 입력된 제어 입력과 온도 센서, 동작 센서, 광학 센서, 인텔리전트 카메라(intelligent camera), 위치 센서 또는 가속도 센서 등과 같은 장치를 통해 입력된 센서 입력을 포함할 수 있다. 이때, 단말기(7210)가 포함하는 적응 엔진(adaptation engine)(7211)은 수신(7221)된 정보를 이용하여 정규화된 제어 명령을 생성할 수 있다. 예를 들어, 제어 입력을 제어 명령에 맞게 변환하여 제어 명령을 생성하거나 또는 센서 입력에 기초하여 제어 명령을 생성할 수 있다. 이때, 단말기(7210)는 정규화된 제어 명령을 가상 세계 서버(7230)로 전송(7212)할 수 있다.
가상 세계 서버(7230)는 단말기(7210)에서 전송(7212)된 정규화된 제어 명령을 수신할 수 있다. 이때, 가상 세계 서버(7230)가 포함하는 가상 세계 엔진(7231)은 정규화된 제어 명령을 해당하는 가상 세계 객체에 따라 변환하여 가상 세계 객체에 대한 정보를 생성할 수 있다. 가상 세계 서버(7230)는 생성된 가상 세계 객체에 대한 정보를 다시 단말기(7210)로 전송(7232)할 수 있다. 가상 세계 객체는 아바타 및 가상 객체를 포함할 수 있다. 여기서, 아바타는 가상 세계 객체 중 사용자의 모습이 반영된 객체를, 가상 객체는 가상 세계 객체 중 아바타를 제외한 나머지 객체를 의미할 수 있다.
단말기(7210)는 가상 세계 객체에 대한 정보에 기초하여 가상 세계 객체를 제어할 수 있다. 예를 들어, 단말기(7210)는 가상 세계 객체에 대한 정보에 기초하여 제어 명령을 생성하여 디스플레이(7240)로 전송(7213)함으로써 가상 세계 객체를 제어할 수 있다. 즉, 디스플레이(7240)는 전송(7213)된 제어 명령에 기초하여 가상 세계의 정보를 재생할 수 있다.
이때, 상술한 실시예에서는 단말기(7210)가 포함하는 적응 엔진(7211)에서 현실 세계 장치(7220)로부터 수신(7221)된 정보를 통해 정규화된 제어 명령을 생성하였으나, 다른 실시예에서는, 단말기(7210)가 직접 정규화된 제어 명령을 생성하지 않고, 수신(7221)된 정보를 바로 가상 세계 서버(7230)로 전송할 수 있다. 또는 수신(7221)된 정보를 정규화하는 처리만을 수행한 후 가상 세계 서버(7230)로 전송(7212)할 수도 있다. 예를 들어, 제어 입력은 가상 세계에 맞게 변형하고, 센서 입력은 정규화하여 가상 세계 서버(7230)로 전송(7212)할 수 있다. 이 경우, 가상 세계 서버(7230)는 전송(7212)된 정보에 기초하여 정규화된 제어 명령을 생성하고, 정규화된 제어 명령을 해당하는 가상 세계 객체에 따라 변환하여 가상 세계 객체에 대한 정보를 생성할 수 있다. 이때, 가상 세계 서버(7230)는 생성된 가상 세계 객체에 대한 정보를 단말기(7210)로 전송(7232)할 수 있다. 즉, 현실 세계 장치로부터 수신(7221) 정보에 기초하여 가상 세계 객체에 대한 정보를 생성하는 모든 과정을 가상 세계 서버(7230)가 처리할 수 있다.
여기서, 이러한 가상 세계 서버(7230)는 복수의 단말기와 통신하여 각각의 단말기에서 처리된 내용이 복수의 단말기 각각에 대한 디스플레이에서 동일하게 재생되도록 하기 위해 이용될 수 있다.
도 73은 본 발명의 다른 실시예에 있어서, 가상 세계 객체를 제어하기 위한 단말기를 나타낸 도면이다.
도 73에 나타난 단말기(7310)는 도 72에 나타난 단말기(7210)에 비해, 가상 세계 엔진(7312)을 더 포함함을 알 수 있다. 즉, 도 72에서 설명한 가상 세계 서버(7230)와 통신하지 않고, 단말기(7310)에서 적응 엔진(7311)과 가상 세계 엔진(7312)을 모두 포함하여 현실 세계 장치(7320)로부터 수신되는 정보를 이용하여 가상 세계 객체에 대한 정보를 생성하고, 가상 세계 객체에 대한 정보에 기초하여 가상 세계 객체를 제어할 수 있다. 이 경우에도, 단말기(7310)는 가상 세계 객체에 대한 정보에 기초하여 제어 명령을 생성하여 디스플레이(7330)로 전송함으로써 가상 세계 객체를 제어할 수 있다. 즉, 디스플레이(7330)는 전송된 제어 명령에 기초하여 가상 세계의 정보를 재생할 수 있다.
도 74는 본 발명의 또 다른 실시예에 있어서, 가상 세계 객체를 제어하기 위한 복수의 단말기를 나타낸 도면이다.
제1 단말기(7410)는 현실 세계 장치(7420)로부터 정보를 수신하고, 적응 엔진(7411)과 가상 세계 엔진(7412)에서 수신된 정보를 이용하여 가상 세계 객체에 대한 정보를 생성할 수 있다. 또한, 제1 단말기(7410)는 가상 세계 객체에 대한 정보에 기초하여 제어 명령을 생성하여 제1 디스플레이(7430)로 전송함으로써, 가상 세계 객체를 제어할 수 있다.
제2 단말기(7440) 또한, 현실 세계 장치(7450)로부터 정보를 수신하고, 적응 엔진(7441)과 가상 세계 엔진(7442)에서 수신된 정보를 이용하여 가상 세계 객체에 대한 정보를 생성할 수 있다. 또한, 제2 단말기(7410)는 가상 세계 객체에 대한 정보에 기초하여 제어 명령을 생성하여 제2 디스플레이(7460)로 전송함으로써, 가상 세계 객체를 제어할 수 있다.
이때, 제1 단말기(7410)와 제2 단말기(7440)는 가상 세계 엔진(7412, 7442)간의 가상 세계 객체에 대한 정보를 서로 교환(7470)할 수 있다. 예를 들어, 복수의 사용자가 하나의 가상 세계상에서의 아바타를 조작하는 경우, 제1 단말기(7410)와 제2 단말기(7440) 각각에서 처리된 내용이 하나의 가상 세계에 동일하게 적용되도록 하기 위해, 제1 단말기(7410)와 제2 단말기(7440)간에 가상 세계 객체에 대한 정보가 서로 교환(7470)될 수 있다.
도 74에서 설명한 실시예에서는 설명의 편의를 위해 두 개의 단말기만을 나타내었으나 셋 이상의 단말기간에 서로 가상 세계 객체에 대한 정보가 교환될 수 있음은 너무나 당연하다.
도 75는 본 발명의 또 다른 실시예에 있어서, 가상 세계 객체를 제어하기 위한 단말기를 나타낸 도면이다.
도 75에 나타난 단말기(7510)는 가상 세계 서버(7530)와 통신함과 동시에 가상 세계 서브 엔진(7512)을 더 포함한다. 즉, 단말기(7510)가 포함하는 적응 엔진(7511)은 현실 세계 장치(7520)로부터 수신된 정보에 기초하여 정규화된 제어 명령을 생성하고, 가상 세계 서브 엔진(7512)은 정규화된 제어 명령에 기초하여 가상 세계 객체에 대한 정보를 생성할 수 있다. 이때, 단말기(7510)는 가상 세계 객체에 대한 정보에 기초하여 가상 세계 객체를 제어할 수 있다. 즉, 단말기(7510)는 가상 세계 객체에 대한 정보에 기초하여 제어 명령을 생성하여 디스플레이(7540)로 전송함으로써, 가상 세계 객체를 제어할 수 있다. 이 경우, 단말기(7510)는 가상 세계 서버(7530)로부터 가상 세계 정보를 수신하고, 가상 세계 정보와 가상 세계 객체에 대한 정보를 통해 제어 명령을 생성하여 디스플레이(7540)로 전송함으로써, 가상 세계의 전체적인 정보가 재생되도록 할 수 있다. 이때, 일례로, 아바타 정보는 단말기(7510)에 의해 가상 세계에 반영될 수 있기 때문에, 가상 세계 서버(7530)는 단말기(7510)에서 필요로 하는 가상 세계 정보(예를 들어, 가상 객체에 대한 정보나 다른 아바타에 대한 정보)만을 전송할 수 있다.
이때, 단말기(7510)는 가상 세계 객체의 제어에 따른 처리 결과를 가상 세계 서버(7530)로 전송할 수 있고, 가상 세계 서버(7530)는 처리 결과에 기초하여 가상 세계 정보를 갱신할 수 있다. 즉, 가상 세계 서버(7530)에서 단말기(7510)의 처리 결과에 따라 가상 세계 정보가 갱신되기 때문에 다른 단말기에도 이러한 처리 결과가 반영된 가상 세계 정보가 제공될 수 있다. 가상 세계 서버(7530)는 가상 세계 엔진(7531)을 이용하여 가상 세계 정보를 처리할 수 있다.
본 발명의 실시예에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 또한, 상술한 바와 같은 다양한 메타데이터 구조가 컴퓨터 판독 가능 기록 매체에 기록될 수 있다. 일실시예로, 아바타의 얼굴표정과 동작의 제어를 위한 아바타 얼굴 특징점 및 신체 특징점이 정의된 메타데이터 구조가 컴퓨터 판독 가능 기록 매체에 기록될 수 있다. 이때, 상기 아바타 얼굴 특징점에 기초하여 머리 외곽선, 왼쪽 눈 외곽선, 오른쪽 눈 외곽선, 왼쪽 눈썹 외곽선, 오른쪽 눈썹 외곽선, 왼쪽 귀 외곽선, 오른쪽 귀 외곽선, 코 외곽선, 입술 외곽선, 얼굴점 및 미셀레이니어스 점 중 적어도 하나가 표현될 수 있다. 다른 실시예에 따른 컴퓨터 판독 가능 기록 매체는 애니메이션 제어 정보 및 컨트롤 제어 정보를 저장하는 제1 명령어 세트 및 아바타의 각 부분에 대응하는 상기 애니메이션 제어 정보 및 상기 컨트롤 제어 정보를 참조하여 모션 센서로부터 수신된 값으로부터 생성된 모션 데이터 및 애니메이션 클립을 결합하는 제2 명령어 세트를 포함할 수 있다. 여기서, 애니메이션 제어 정보 및 컨트롤 제어 정보는 이미 자세히 설명한 바 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

Claims (82)

  1. 가상 환경의 객체에 대한 제어 명령을 수신하는 제어 명령 수신부; 및
    상기 수신된 제어 명령 및 상기 객체의 객체 정보에 따라 상기 객체를 제어하는 객체 제어부
    를 포함하는 객체 제어 시스템.
  2. 제1항에 있어서,
    상기 객체 정보는, 가상 세계 객체의 공통 특징을 포함하고,
    상기 공통 특징은, 메타데이터로 가상 세계 객체를 구분하기 위한 식별(Identification), 가상 세계 객체 소리(VWOSound: Virtual World Object Sound), 가상 세계 객체 냄새(VWOScent), 가상 세계 객체 제어(VWOControl), 가상 세계 객체 이벤트(VWOEvent), 가상 세계 객체 행동 모델(VWOBehviorModel) 및 가상 세계 객체 햅틱 속성(VWOHapticProperties) 중 적어도 하나의 구성요소(element)를 포함하는, 객체 제어 시스템.
  3. 제2항에 있어서,
    상기 식별은, 가상 세계 객체와 관련된 사용자 식별을 위한 사용자 식별자(UserID), 가상 세계 객체의 소유권(Ownership), 권리(Rights) 및 공헌자(Credits) 중 적어도 하나를 구성요소로 포함하고, 가상 세계 객체의 이름(Name) 및 다른 가상 세계 객체와의 관계(Family) 중 적어도 하나를 속성(attribute)으로 포함하는, 객체 제어 시스템.
  4. 제2항에 있어서,
    상기 가상 세계 객체 소리는, 소리 파일로의 하나 이상의 링크를 포함하는 소리 리소스 URL(Uniform Resource Locator)을 구성요소로 포함하고, 객체 소리의 유일한 식별자인 소리 식별자(SoundID), 소리의 세기(strength)를 나타내는 강도(Intensity), 소리가 지속되는 시간의 길이를 나타내는 기간(Duration), 재생 옵션을 나타내는 반복(Loop) 및 소리의 이름 중 적어도 하나를 상기 속성으로 포함하는, 객체 제어 시스템.
  5. 제2항에 있어서,
    상기 가상 세계 객체 냄새는, 냄새 파일로의 하나 이상의 링크를 포함하는 냄새 리소스 URL을 구성요소로 포함하고, 객체 냄새의 유일한 식별자인 냄새 식별자(ScentID), 냄새의 세기를 나타내는 강도, 냄새가 지속되는 시간의 길이를 나타내는 기간, 재생 옵션을 나타내는 반복 및 냄새의 이름 중 적어도 하나를 속성으로 포함하는, 객체 제어 시스템.
  6. 제2항에 있어서,
    상기 가상 세계 객체 제어는, 가상 세계 객체의 위치(Position), 방향(Orientation) 및 스케일(Scale)을 제어하는 구성요소의 집합인 동작 특징 제어(MotionFeatureControl)을 구성요소로 포함하고, 제어의 유일한 식별자인 제어 식별자(ControlID)를 속성으로 포함하는, 객체 제어 시스템.
  7. 제6항에 있어서,
    상기 동작 특징 제어는, 3차원 플로팅 포인트 벡터(floating point vector)를 갖는 장면에서 객체의 위치, 오일러 각(Euler angle)으로 3차원 플로팅 포인트 벡터를 갖는 장면에서 객체의 방향 및 3차원 플로팅 포인트 벡터로 표현되는 장면에서 객체의 스케일 중 적어도 하나를 구성요소로 포함하는, 객체 제어 시스템.
  8. 제2항에 있어서,
    상기 가상 세계 객체 이벤트는, 마우스 이벤트 구성요소의 집합인 마우스(Mouse), 키보드 이벤트 구성요소의 집합인 키보드(Keyboard) 및 사용자 정의 입력(UserDefinedInput) 중 적어도 하나를 구성요소로 포함하고, 이벤트의 유일한 식별자인 이벤트 식별자(EventID)를 속성으로 포함하는, 객체 제어 시스템.
  9. 제8항에 있어서,
    상기 마우스는, 클릭(Click), 더블 클릭(Double_Click), 마우스 왼쪽 버튼을 누르고 있는 순간에 발생하는 이벤트인 왼쪽 버튼 다운(LeftBttn_down), 마우스 왼쪽 버튼을 떼는 순간에 발생하는 이벤트인 왼쪽 버튼 업(LeftBttn_up), 마우스 오른쪽 버튼을 누르고 있는 순간에 발생하는 이벤트인 오른쪽 버튼 다운(RightBttn_down), 마우스 오른쪽 버튼을 떼는 순간에 발생하는 이벤트인 오른쪽 버튼 업(RightBttn_up) 및 마우스 위치를 변경하는 동안 발생하는 이벤트인 이동(Move) 중 적어도 하나를 구성요소로 포함하는, 객체 제어 시스템.
  10. 제8항에 있어서,
    상기 키보드는, 키보드 버튼을 누르고 있는 순간에 발생하는 이벤트인 키다운(Key_Down) 및 키보드 버튼을 떼는 순간에 발생하는 이벤트인 키 업(Key_Up) 중 적어도 하나를 구성요소로 포함하는, 객체 제어 시스템.
  11. 제2항에 있어서,
    상기 가상 세계 객체 행동 모델은, 객체 행동을 생성하기 위한 입력 이벤트인 행동 입력(BehaviorInput) 및 입력 이벤트에 따른 객체 행동 출력인 행동 출력(BehaviorOutput) 중 적어도 하나를 구성요소로 포함하는, 객체 제어 시스템.
  12. 제11항에 있어서,
    상기 행동 입력은, 이벤트 식별자를 속성으로 포함하고,
    상기 행동 출력은, 소리 식별자, 냄새 식별자 및 애니메이션 식별자 중 적어도 하나를 속성으로 포함하는, 객체 제어 시스템.
  13. 제2항에 있어서,
    상기 가상 세계 객체 햅틱 속성 타입은, 햅틱 속성(haptic properties)을 특징짓는 파라미터인 소재 속성(MaterialProperty), 힘 효과(force effects)를 특징짓는 파라미터인 역학적 힘 효과(DynamicForceEffect) 및 촉각 속성(tactile properties)을 특징짓는 파라미터인 촉각 속성(TactileProperties) 중 적어도 하나를 구성요소로 포함하는, 객체 제어 시스템.
  14. 제13항에 있어서,
    상기 소재 속성은, 가상 세계 객체의 강상(Stiffness), 가상 세계 객체의 정지 마찰력(StaticFriction), 가상 세계 객체의 운동 마찰력(DynamicFriction), 가상 세계 객체의 담핑(damping), 햅틱 텍스처 파일로의 링크를 포함하는 텍스처(Texture) 및 가상 세계 객체의 질량(Mass) 중 적어도 하나를 속성으로 포함하는, 객체 제어 시스템.
  15. 제13항에 있어서,
    상기 역학적 힘 효과는, 힘 필드 벡터 파일로의 링크를 포함하는 힘 필드(ForceField) 및 힘 궤적 파일로의 링크를 포함하는 이동 궤적(MovementTrajectory) 중 적어도 하나를 속성으로 포함하는, 객체 제어 시스템.
  16. 제13항에 있어서,
    상기 촉각 속성은, 가상 세계 객체의 온도(Temperature), 가상 세계 객체의 진동(Vibration), 가상 세계 객체의 전류(Current) 및 촉각 패턴 파일로의 링크를 포함하는 촉각 패턴(TactilePatterns) 중 적어도 하나를 속성으로 포함하는, 객체 제어 시스템.
  17. 제1항에 있어서,
    상기 객체 정보는, 가상 세계의 아바타에 대한 아바타 정보를 포함하고,
    상기 아바타 정보는, 메타데이터로 아바타 외양(AvatarAppearance), 아바타 애니메이션(AvatarAnimation), 아바타 커뮤니케이션 스킬(AvatarCommunicationSkills), 아바타 개성(AvatarPersonality), 아바타 제어 특성(AvatarControlFeatures) 및 아바타 공통 특징(AvatarCC: Avatar Common Characteristics) 중 적어도 하나의 구성요소를 포함하고, 아바타의 성별(Gender)을 속성으로 포함하는, 객체 제어 시스템.
  18. 제17항에 있어서,
    상기 아바타 외양은, 신체(Body), 머리(Head), 눈(Eyes), 귀(Ears), 코(nose), 입술(MouthLip), 피부(Skin), 얼굴(Facial), 손톱(Nail), 신체 겉모습(BodyLook), 헤어(hair), 눈썹(EyeBrows), 얼굴 헤어(FacialHair), 얼굴 눈금점(FacialCalibrationPoints), 물리적 조건(PhysicalCondition), 의복(Clothes), 신발(Shoes), 액세서리(Accessories) 및 외양 리소스(AppearanceResource) 중 적어도 하나의 구성요소를 포함하는, 객체 제어 시스템.
  19. 제18항에 있어서,
    상기 물리적 조건은 신체 강도(BodyStrength) 및 신체 유연성(BodyFlexibility) 중 적어도 하나를 구성요소로 포함하는, 객체 제어 시스템.
  20. 제17항에 있어서,
    상기 아바타 애니메이션은 아이들(Idle), 인사(Greeting), 댄스(Dance), 걷기(Walk), 이동(Moves), 싸움(Fighting), 듣기(Hearing), 담배피기(Smoke), 축하(Congratulation), 공통 행동(Common_Action), 특정 행동(Specific_Action), 얼굴 표현(Facial_Expression), 신체 표현(Body_Expression), 애니메이션 리소스(AnimationResource) 중 적어도 하나의 구성요소를 포함하는, 객체 제어 시스템.
  21. 제17항에 있어서,
    상기 아바타 커뮤니케이션 스킬은 입력 구두 커뮤니케이션 (InputVerbalComuunication), 입력 비-구두 커뮤니케이션 (InputNonVerbalCommunication), 출력 구두 커뮤니케이션 (OutputVerbalCommunication) 및 출력 비-구두 커뮤니케이션 (OutputNonVerbalCommunication) 중 적어도 하나를 구성요소로 포함하고, 이름(Name) 및 디폴트 언어(DefaultLanguage) 중 적어도 하나를 속성으로 포함하는, 객체 제어 시스템.
  22. 제21항에 있어서,
    상기 입력 구두 커뮤니케이션 및 상기 출력 구두 커뮤니케이션을 포함하는 구두 커뮤니케이션은 언어(Language)를 구성요소로 포함하고, 음성(Voice), 텍스트(Text) 및 언어(Language) 중 적어도 하나를 속성으로 포함하는, 객체 제어 시스템.
  23. 제22항에 있어서,
    상기 언어는, 언어의 이름을 명시한 문자열인 이름 및 상기 구두 커뮤니케이션에서 언어를 이용하기 위한 선호(Preference) 중 적어도 하나를 속성으로 포함하는, 객체 제어 시스템.
  24. 제23항에 있어서,
    상기 선호를 포함하는 커뮤니케이션 선호는 아바타의 커뮤니케이션의 선호 레벨을 포함하는, 객체 제어 시스템.
  25. 제22항에 있어서,
    상기 언어는, 아바타가 말하거나 이해할 수 있는 각각의 언어를 위한 선호 레벨을 포함하는 커뮤니케이션 선호 레벨(CommunicationPreferenceLevel)이 설정되는, 객체 제어 시스템.
  26. 제21항에 있어서,
    상기 입력 비-구두 커뮤니케이션 및 상기 출력 비-구두 커뮤니케이션을 포함하는 비-구두 커뮤니케이션은 사인 언어(SignLanguage) 및 큐드 스피치 커뮤니케이션(CuedSpeechCommumicaiton) 중 적어도 하나를 구성요소로 포함하고, 상호 보완적 제스처(ComplementaryGesture)를 속성으로 포함하는, 객체 제어 시스템.
  27. 제26항에 있어서,
    상기 사인 언어는 언어의 이름을 속성으로 포함하는, 객체 제어 시스템.
  28. 제17항에 있어서,
    상기 아바타 개성은, 개방성(Openness), 성실성(Conscientiousness), 외향성 (Extraversion), 친화성(Agreeableness) 및 신경성(Neuroticism) 중 적어도 하나를 구성요소로 포함하고, 선택적으로 개성의 이름을 포함하는, 객체 제어 시스템.
  29. 제17항에 있어서,
    상기 아바타 제어 특성은, 신체의 이동을 제어하는 구성요소의 집합인 제어 신체 특성(ControlBodyFeature) 및 얼굴의 이동을 제어하는 구성요소의 집합인 제어 얼굴 특성(ControlFaceFeature)을 구성요소로 포함하고, 선택적으로 제어 구성의 이름을 속성으로 포함하는, 객체 제어 시스템.
  30. 제29항에 있어서,
    상기 제어 신체 특성은, 머리뼈(headBones), 상체뼈(UpperBodyBones), 하체뼈(DownBodyBones), 중체뼈(MiddleBodyBones) 중 적어도 하나를 구성요소로 포함하는, 객체 제어 시스템.
  31. 제29항에 있어서,
    상기 제어 얼굴 특성은, 머리 외곽선(HeadOutline), 왼쪽 눈 외곽선(LeftEyeOutline), 오른쪽 눈 외곽선(RightEyeOutline), 왼쪽 눈썹 외곽선(LeftEyeBrowOutline), 오른쪽 눈썹 외곽선(RightEyeBrowOutline), 왼쪽 귀 외곽선(LeftEarOutline), 오른쪽 귀 외곽선(RightEarOutline), 코 외곽선(NoseOutline), 입술 외곽선(MouthLipOutline), 얼굴점(FacePoints) 및 미셀레이니어스 점(MiscellaneousPoints) 중 적어도 하나를 구성요소로 포함하고, 선택적으로 얼굴 제어 구성의 이름을 속성으로 포함하는, 객체 제어 시스템.
  32. 제31항에 있어서,
    상기 제어 얼굴 특성이 포함하는 구성요소 중 적어도 하나는 4개의 점을 갖는 외곽선인 외곽선 4점(Outline4Points), 5개의 점을 갖는 외곽선인 외곽선 5점(Outline5Points), 8개의 점을 갖는 외곽선인 외곽선 8점(Outline8Points) 및 14개의 점을 갖는 외곽선인 외곽선 14점(Outline14Points) 중 적어도 하나를 구성요소로 포함하는, 객체 제어 시스템.
  33. 제31항에 있어서,
    상기 제어 얼굴 특성이 포함하는 구성요소 중 적어도 하나는 기본 개수의 점을 포함하고, 선택적으로 추가의 점을 더 포함하는, 객체 제어 시스템.
  34. 제1항에 있어서,
    상기 객체 정보는, 가상 객체에 대한 정보를 포함하고,
    상기 가상 객체에 대한 정보는 메타데이터로 가상 환경의 가상 객체를 표현하기 위한 메타데이터로, 가상 객체 외양(VOAppearance: Virtual Object Appearance), 가상 객체 애니메이션(VOAnimaiotn) 및 가상 객체 공통 특징(VOCC: Virtual Object Common Characteristics) 중 적어도 하나의 구성요소를 포함하는, 객체 제어 시스템.
  35. 제34항에 있어서,
    상기 가상 객체 외양은, 외양 파일에 대한 하나 이상의 링크가 존재하는 경우, 상기 하나 이상의 링크를 포함하는 구성요소인 가상 객체 URL(VirtualObjectURL)을 구성요소로 포함하는, 객체 제어 시스템.
  36. 제34항에 있어서,
    상기 가상 객체 애니메이션은, 가상 객체 동작(VOMotion), 가상 객체 변형(VODeformation) 및 가상 객체 추가 애니메이션(VOAdditionalAnimation) 중 적어도 하나를 구성요소로 포함하고, 애니메이션 식별자(AnimationID), 애니메이션이 지속되는 시간의 길이인 기간(Duration) 및 재생 옵션인 반복(Loop) 중 적어도 하나를 속성으로 포함하는, 객체 제어 시스템.
  37. 제1항에 있어서,
    상기 객체 제어부는,
    상기 객체가 아바타인 경우, 상기 아바타의 얼굴표정과 동작의 제어를 위한 아바타 얼굴 특징점(face feature point) 및 신체 특징점(body feature point)을 정의하는 메타데이터 및 상기 수신된 제어 명령에 기초하여 상기 아바타를 제어하는, 객체 제어 시스템.
  38. 제1항에 있어서,
    상기 제어 명령은, 상기 객체가 가상 세계의 아바타인 경우, 현실 세계의 사용자의 얼굴 표정과 신체 동작을 센싱하여 생성되고,
    상기 객체 제어부는,
    상기 얼굴 표정과 신체 동작에 따른 사용자의 특징이 상기 가상 세계의 아바타에 매핑되도록 상기 객체를 제어하는, 객체 제어 시스템.
  39. 가상 세계의 가상 세계 객체를 제어하는 객체 제어 시스템에 있어서,
    상기 가상 세계 객체는 아바타 및 가상 객체를 포함하고,
    상기 객체 제어 시스템은,
    상기 아바타 및 상기 가상 객체의 공통 특징을 이용하여 가상 세계 객체를 제어하고,
    상기 공통 특징은 가상 세계 객체를 구분하기 위한 식별, 가상 세계 객체 소리, 가상 세계 객체 냄새, 가상 세계 객체 제어, 가상 세계 객체 이벤트, 가상 세계 객체 행동 모델 및 가상 세계 객체 햅틱 속성 중 적어도 하나의 구성요소를 포함하는, 객체 제어 시스템.
  40. 가상 세계의 가상 세계 객체를 제어하는 객체 제어 시스템에 있어서,
    상기 가상 세계 객체는 아바타를 포함하고,
    상기 객체 제어 시스템은,
    상기 아바타의 아바타 정보를 이용하여 가상 세계 객체를 제어하고,
    상기 아바타 정보는 아바타 외양, 아바타 애니메이션, 아바타 커뮤니케이션 스킬, 아바타 개성, 아바타 제어 특성 및 아바타 공통 특징 중 적어도 하나의 구성요소를 포함하고, 아바타의 성별을 속성으로 포함하는, 객체 제어 시스템.
  41. 가상 세계의 가상 세계 객체를 제어하는 객체 제어 시스템에 있어서,
    상기 가상 세계 객체는 가상 객체를 포함하고,
    상기 객체 제어 시스템은,
    상기 가상 객체에 대한 정보를 이용하여 상기 가상 세계 객체를 제어하고,
    상기 가상 객체에 대한 정보는 가상 객체 외양, 가상 객체 애니메이션 및 가상 객체 공통 특징 중 적어도 하나의 구성요소를 포함하는, 객체 제어 시스템.
  42. 현실 세계 장치로부터 수신된 정보에 기초하여 정규화된 제어 명령을 생성하는 제어 명령 생성부;
    상기 정규화된 제어 명령을 가상 세계 서버로 전송하는 제어 명령 전송부; 및
    상기 가상 세계 서버로부터 수신된 가상 세계 객체에 대한 정보에 기초하여 상기 가상 세계 객체를 제어하는 객체 제어부
    를 포함하는 객체 제어 시스템.
  43. 단말기로부터 수신된 정규화된 제어 명령을 해당하는 가상 세계 객체에 따라 변환하여 가상 세계 객체에 대한 정보를 생성하는 정보 생성부; 및
    상기 가상 세계 객체에 대한 정보를 상기 단말기로 전송하는 정보 전송부
    를 포함하고,
    상기 정규화된 제어 명령은 상기 단말기가 현실 세계 장치로부터 수신한 정보에 기초하여 생성되는, 객체 제어 시스템.
  44. 현실 세계 장치로부터 수신된 정보를 가상 세계 서버로 전송하는 정보 전송부; 및
    상기 전송된 정보에 따라 가상 세계 서버로부터 수신된 가상 세계 객체에 대한 정보에 기초하여 상기 가상 세계 객체를 제어하는 객체 제어부
    를 포함하는 객체 제어 시스템.
  45. 단말기로부터 수신된 정보에 기초하여 정규화된 제어 명령을 생성하는 제어 명령 생성부;
    상기 정규화된 제어 명령을 해당하는 가상 세계 객체에 따라 변환하여 상기 가상 세계 객체에 대한 정보를 생성하는 정보 생성부; 및
    상기 가상 세계 객체에 대한 정보를 상기 단말기로 전송하는 정보 전송부
    를 포함하고,
    상기 수신된 정보는 상기 단말기가 현실 세계 장치로부터 수신한 정보를 포함하는, 객체 제어 시스템.
  46. 현실 세계 장치로부터 수신된 정보에 기초하여 정규화된 제어 명령을 생성하는 제어 명령 생성부;
    상기 정규화된 제어 명령을 해당하는 가상 세계 객체에 따라 변환하여 상기 가상 세계 객체에 대한 정보를 생성하는 정보 생성부; 및
    상기 가상 세계 객체에 대한 정보에 기초하여 상기 가상 세계 객체를 제어하는 객체 제어부
    를 포함하는 객체 제어 시스템.
  47. 현실 세계 장치로부터 수신된 정보에 기초하여 정규화된 제어 명령을 생성하는 제어 명령 생성부;
    상기 정규화된 제어 명령을 해당하는 가상 세계 객체에 따라 변환하여 상기 가상 세계 객체에 대한 정보를 생성하는 정보 생성부;
    상기 가상 세계 객체에 대한 정보와 다른 객체 제어 시스템의 가상 세계 객체에 대한 정보를 교환하는 정보 교환부; 및
    상기 가상 세계 객체에 대한 정보 및 상기 교환된 가상 세계 객체에 대한 정보에 기초하여 상기 가상 세계 객체를 제어하는 객체 제어부
    를 포함하는 객체 제어 시스템.
  48. 현실 세계 장치로부터 수신된 정보 및 가상 세계 서버로부터 수신된 가상 세계 정보에 기초하여 가상 세계 객체에 대한 정보를 생성하는 정보 생성부;
    상기 가상 세계 객체에 대한 정보에 기초하여 상기 가상 세계 객체를 제어하는 객체 제어부; 및
    상기 가상 세계 객체의 제어에 따른 처리 결과를 상기 가상 세계 서버로 전송하는 처리 결과 전송부
    를 포함하는 객체 제어 시스템.
  49. 단말기로 가상 세계 정보를 전송하는 정보 전송부; 및
    상기 단말기로부터 수신되는 처리 결과에 기초하여 상기 가상 세계 정보를 갱신하는 정보 갱신부
    를 포함하고,
    상기 처리 결과는 상기 단말기가 현실 세계 장치로부터 수신한 정보 및 상기 가상 세계 정보에 기초하여 가상 세계 객체를 제어한 결과를 포함하는, 객체 제어 시스템.
  50. 제42항, 제44항 또는 제46항 내지 제48항 중 어느 한 항에 있어서,
    상기 객체 제어부는,
    상기 가상 세계 객체에 대한 정보에 기초하여 제어 명령을 생성하여 디스플레이로 전송함으로써 상기 가상 세계 객체를 제어하는, 객체 제어 시스템.
  51. 객체 제어 시스템에서 객체를 제어하는 방법에 있어서,
    가상 환경의 객체에 대한 제어 명령을 수신하는 단계; 및
    상기 수신된 제어 명령 및 상기 객체의 객체 정보에 따라 상기 객체를 제어하는 단계
    를 포함하는 객체 제어 방법.
  52. 제51항에 있어서,
    상기 객체 정보는, 가상 세계 객체의 공통 특징을 포함하고,
    상기 공통 특징은, 메타데이터로 가상 세계 객체를 구분하기 위한 식별, 가상 세계 객체 소리, 가상 세계 객체 냄새, 가상 세계 객체 제어, 가상 세계 객체 이벤트, 가상 세계 객체 행동 모델 및 가상 세계 객체 햅틱 속성 중 적어도 하나의 구성요소를 포함하는, 객체 제어 방법.
  53. 제51항에 있어서,
    상기 객체 정보는, 가상 세계의 아바타에 대한 아바타 정보를 포함하고,
    상기 아바타 정보는, 메타데이터로 아바타 외양, 아바타 애니메이션, 아바타 커뮤니케이션 스킬, 아바타 개성, 아바타 제어 특성 및 아바타 공통 특징 중 적어도 하나의 구성요소를 포함하고, 아바타의 성별을 속성으로 포함하는, 객체 제어 방법.
  54. 제51항에 있어서,
    상기 객체 정보는, 가상 객체에 대한 정보를 포함하고,
    상기 가상 객체에 대한 정보는 메타데이터로 가상 환경의 가상 객체를 표현하기 위한 메타데이터로 가상 객체 외양, 가상 객체 애니메이션 및 가상 객체 공통 특징 중 적어도 하나의 구성요소를 포함하는, 객체 제어 방법.
  55. 제51항에 있어서,
    상기 객체를 제어하는 단계는,
    상기 객체가 아바타인 경우, 상기 아바타의 얼굴표정과 동작의 제어를 위한 아바타 얼굴 특징점 및 신체 특징점을 정의하는 메타데이터 및 상기 수신된 제어 명령에 기초하여 상기 아바타를 제어하는 단계
    를 포함하는, 객체 제어 방법.
  56. 제51항에 있어서,
    상기 제어 명령은, 상기 객체가 가상 세계의 아바타인 경우, 현실 세계의 사용자의 얼굴 표정과 신체 동작을 센싱하여 생성되고,
    상기 객체를 제어하는 단계는,
    상기 얼굴 표정과 신체 동작에 따른 사용자의 특징이 상기 가상 세계의 아바타에 매핑되도록 상기 객체를 제어하는 단계
    를 포함하는, 객체 제어 방법.
  57. 가상 세계의 가상 세계 객체를 제어하는 객체 제어 방법에 있어서,
    상기 가상 세계 객체는 아바타 및 가상 객체를 포함하고,
    상기 객체 제어 방법은,
    상기 아바타 및 상기 가상 객체의 공통 특징을 이용하여 가상 세계 객체를 제어하고,
    상기 공통 특징은 가상 세계 객체를 구분하기 위한 식별, 가상 세계 객체 소리, 가상 세계 객체 냄새, 가상 세계 객체 제어, 가상 세계 객체 이벤트, 가상 세계 객체 행동 모델 및 가상 세계 객체 햅틱 속성 중 적어도 하나의 구성요소를 포함하는, 객체 제어 방법.
  58. 가상 세계의 가상 세계 객체를 제어하는 객체 제어 방법에 있어서,
    상기 가상 세계 객체는 아바타를 포함하고,
    상기 객체 제어 방법은,
    상기 아바타의 아바타 정보를 이용하여 가상 세계 객체를 제어하고,
    상기 아바타 정보는 아바타 외양, 아바타 애니메이션, 아바타 커뮤니케이션 스킬, 아바타 개성, 아바타 제어 특성 및 아바타 공통 특징 중 적어도 하나의 구성요소를 포함하고, 아바타의 성별을 속성으로 포함하는, 객체 제어 방법.
  59. 가상 세계의 가상 세계 객체를 제어하는 객체 제어 방법에 있어서,
    상기 가상 세계 객체는 가상 객체를 포함하고,
    상기 객체 제어 방법은,
    상기 가상 객체에 대한 정보를 이용하여 상기 가상 세계 객체를 제어하고,
    상기 가상 객체에 대한 정보는 가상 객체 외양, 가상 객체 애니메이션 및 가상 객체 공통 특징 중 적어도 하나의 구성요소를 포함하는, 객체 제어 방법.
  60. 현실 세계 장치로부터 수신된 정보에 기초하여 정규화된 제어 명령을 생성하는 단계;
    상기 정규화된 제어 명령을 가상 세계 서버로 전송하는 단계; 및
    상기 가상 세계 서버로부터 수신된 가상 세계 객체에 대한 정보에 기초하여 상기 가상 세계 객체를 제어하는 단계
    를 포함하는 객체 제어 방법.
  61. 단말기로부터 수신된 정규화된 제어 명령을 해당하는 가상 세계 객체에 따라 변환하여 가상 세계 객체에 대한 정보를 생성하는 단계; 및
    상기 가상 세계 객체에 대한 정보를 상기 단말기로 전송하는 단계
    를 포함하고,
    상기 정규화된 제어 명령은 상기 단말기가 현실 세계 장치로부터 수신한 정보에 기초하여 생성되는, 객체 제어 방법.
  62. 현실 세계 장치로부터 수신된 정보를 가상 세계 서버로 전송하는 단계; 및
    상기 전송된 정보에 따라 가상 세계 서버로부터 수신된 가상 세계 객체에 대한 정보에 기초하여 상기 가상 세계 객체를 제어하는 단계
    를 포함하는 객체 제어 방법.
  63. 단말기로부터 수신된 정보에 기초하여 정규화된 제어 명령을 생성하는 단계;
    상기 정규화된 제어 명령을 해당하는 가상 세계 객체에 따라 변환하여 상기 가상 세계 객체에 대한 정보를 생성하는 단계; 및
    상기 가상 세계 객체에 대한 정보를 상기 단말기로 전송하는 단계
    를 포함하고,
    상기 수신된 정보는 상기 단말기가 현실 세계 장치로부터 수신한 정보를 포함하는, 객체 제어 방법.
  64. 현실 세계 장치로부터 수신된 정보에 기초하여 정규화된 제어 명령을 생성하는 단계;
    상기 정규화된 제어 명령을 해당하는 가상 세계 객체에 따라 변환하여 상기 가상 세계 객체에 대한 정보를 생성하는 단계; 및
    상기 가상 세계 객체에 대한 정보에 기초하여 상기 가상 세계 객체를 제어하는 단계
    를 포함하는 객체 제어 방법.
  65. 현실 세계 장치로부터 수신된 정보에 기초하여 정규화된 제어 명령을 생성하는 단계;
    상기 정규화된 제어 명령을 해당하는 가상 세계 객체에 따라 변환하여 상기 가상 세계 객체에 대한 정보를 생성하는 단계;
    상기 가상 세계 객체에 대한 정보와 다른 객체 제어 시스템의 가상 세계 객체에 대한 정보를 교환하는 단계; 및
    상기 가상 세계 객체에 대한 정보 및 상기 교환된 가상 세계 객체에 대한 정보에 기초하여 상기 가상 세계 객체를 제어하는 단계
    를 포함하는 객체 제어 방법.
  66. 현실 세계 장치로부터 수신된 정보 및 가상 세계 서버로부터 수신된 가상 세계 정보에 기초하여 가상 세계 객체에 대한 정보를 생성하는 단계;
    상기 가상 세계 객체에 대한 정보에 기초하여 상기 가상 세계 객체를 제어하는 단계; 및
    상기 가상 세계 객체의 제어에 따른 처리 결과를 상기 가상 세계 서버로 전송하는 단계
    를 포함하는 객체 제어 방법.
  67. 단말기로 가상 세계 정보를 전송하는 단계; 및
    상기 단말기로부터 수신되는 처리 결과에 기초하여 상기 가상 세계 정보를 갱신하는 단계
    를 포함하고,
    상기 처리 결과는 상기 단말기가 현실 세계 장치로부터 수신한 정보 및 상기 가상 세계 정보에 기초하여 가상 세계 객체를 제어한 결과를 포함하는, 객체 제어 방법.
  68. 제60항, 제62항 또는 제64항 내지 제66항 중 어느 한 항에 있어서,
    상기 가상 세계 객체를 제어하는 단계는,
    상기 가상 세계 객체에 대한 정보에 기초하여 제어 명령을 생성하여 디스플레이로 전송함으로써 상기 가상 세계 객체를 제어하는, 객체 제어 방법.
  69. 제51항 내지 제68항 중 어느 한 항의 방법을 수행하는 프로그램을 기록한 컴퓨터 판독 가능 기록 매체.
  70. 아바타의 얼굴표정과 동작의 제어를 위한 아바타 얼굴 특징점 및 신체 특징점이 정의된 메타데이터 구조를 기록한 컴퓨터 판독 가능 기록 매체.
  71. 제70항에 있어서,
    상기 아바타 얼굴 특징점에 기초하여 머리 외곽선, 왼쪽 눈 외곽선, 오른쪽 눈 외곽선, 왼쪽 눈썹 외곽선, 오른쪽 눈썹 외곽선, 왼쪽 귀 외곽선, 오른쪽 귀 외곽선, 코 외곽선, 입술 외곽선, 얼굴점 및 미셀레이니어스 점 중 적어도 하나가 표현되는, 메타데이터 구조를 기록한 컴퓨터 판독 가능 기록 매체.
  72. 애니메이션 클립, 상기 애니메이션 클립이 어느 아바타의 어느 부분에 대응하는지에 관한 정보 및 우선 순위를 포함하는 애니메이션 제어 정보 및 모션 센서로부터 수신된 값을 처리한 모션 데이터가 어느 아바타의 어느 부분에 대응하는지에 관한 정보 및 우선 순위를 포함하는 컨트롤 제어 정보를 저장하는 저장부; 및
    아바타의 제1 부분에 대응하는 상기 애니메이션 제어 정보의 우선 순위와 상기 아바타의 상기 제1 부분에 대응하는 상기 컨트롤 제어 정보의 우선 순위를 비교하여, 상기 아바타의 상기 제1 부분에 적용할 데이터를 결정하는 처리부
    를 포함하는 영상 장치.
  73. 제72항에 있어서,
    상기 처리부는,
    상기 아바타의 각 부분에 대응하는 상기 애니메이션 제어 정보의 우선 순위와 상기 컨트롤 제어 정보의 우선 순위를 비교하여, 상기 각 부분에 적용할 데이터를 결정하고, 상기 결정된 데이터를 결합하여 상기 아바타의 동영상을 생성하는, 영상 장치.
  74. 제72항에 있어서,
    어느 아바타의 어느 부분에 대응하는지에 관한 상기 정보는,
    상기 아바타의 얼굴 표정, 머리, 상체, 중체 및 하체 중 어느 부분에 대응하는지에 관한 정보인, 영상 장치.
  75. 제72항에 있어서,
    상기 애니메이션 제어 정보는,
    상기 아바타의 애니메이션의 속도에 관한 정보를 더 포함하는 영상 장치.
  76. 제72항에 있어서,
    상기 저장부는,
    상기 애니메이션 클립의 연결 축에 관한 정보를 더 저장하고,
    상기 처리부는,
    상기 애니메이션 클립의 연결 축에 관한 상기 정보를 이용하여 상기 애니메이션 클립과 상기 모션 데이터를 결합하는 영상 장치.
  77. 제76항에 있어서,
    상기 처리부는,
    상기 모션 데이터로부터 연결 축에 관한 정보를 추출하고, 상기 애니메이션 클립의 연결 축과 상기 모션 데이터의 연결 축을 대응시켜 상기 애니메이션 클립과 상기 모션 데이터를 결합하는 영상 장치.
  78. 프로세서 및 메모리를 포함하는 컴퓨터 시스템에서 수행되는 컴퓨터 프로그램을 기록한 컴퓨터 판독 가능 기록매체에 있어서,
    애니메이션 제어 정보 및 컨트롤 제어 정보를 저장하는 제1 명령어 세트; 및
    아바타의 각 부분에 대응하는 상기 애니메이션 제어 정보 및 상기 컨트롤 제어 정보를 참조하여 모션 센서로부터 수신된 값으로부터 생성된 모션 데이터 및 애니메이션 클립을 결합하는 제2 명령어 세트
    를 포함하고,
    상기 애니메이션 제어 정보는,
    대응하는 애니메이션 클립에 대한 정보; 및
    상기 대응하는 애니메이션 클립이 어느 아바타의 얼굴 표정, 머리, 상체, 중체, 및 하체 중 어느 부분에 대응하는지에 관한 식별자
    를 포함하고,
    상기 컨트롤 제어 정보는,
    상기 실시간 모션 데이터가 어느 아바타의 얼굴 표정, 머리, 상체, 중체, 및 하체 중 어느 부분에 대응하는지에 관한 식별자
    를 포함하는 컴퓨터 판독 가능 기록매체.
  79. 제78항에 있어서,
    상기 애니메이션 제어 정보는 우선 순위를 더 포함하고,
    상기 컨트롤 제어 정보는 우선 순위를 더 포함하는, 컴퓨터 판독 가능 기록매체.
  80. 제79항에 있어서,
    상기 제2 명령어 세트는,
    아바타의 제1 부분에 대응하는 상기 애니메이션 제어 정보의 우선 순위와 상기 아바타의 상기 제1 부분에 대응하는 상기 컨트롤 제어 정보의 우선 순위를 비교하여, 상기 아바타의 상기 제1 부분에 적용할 데이터를 결정하는 컴퓨터 판독 가능 기록매체.
  81. 제78항에 있어서,
    상기 애니메이션 제어 정보는,
    상기 아바타의 애니메이션의 속도에 관한 정보를 더 포함하는 컴퓨터 판독 가능 기록매체.
  82. 제78항에 있어서,
    상기 제2 명령어 세트는,
    상기 모션 데이터로부터 연결 축에 관한 정보를 추출하고, 상기 애니메이션 클립의 연결 축과 상기 모션 데이터의 연결 축을 대응시켜 상기 애니메이션 클립과 상기 모션 데이터를 결합하는 컴퓨터 판독 가능 기록매체.
PCT/KR2010/002938 2009-05-08 2010-05-08 가상 세계에서의 객체를 제어하는 시스템, 방법 및 기록 매체 WO2010128830A2 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201080031098.7A CN102458595B (zh) 2009-05-08 2010-05-08 在虚拟世界中控制对象的系统、方法和记录介质
EP10772290.2A EP2431936A4 (en) 2009-05-08 2010-05-08 SYSTEM, METHOD AND RECORDING MEDIUM FOR CONTROLLING AN OBJECT IN A VIRTUAL WORLD
US13/319,456 US20130038601A1 (en) 2009-05-08 2010-05-08 System, method, and recording medium for controlling an object in virtual world

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
KR20090040476 2009-05-08
KR10-2009-0040476 2009-05-08
KR20090101471 2009-10-23
KR10-2009-0101471 2009-10-23
US25563609P 2009-10-28 2009-10-28
US61/255,636 2009-10-28
KR1020100041736A KR101671900B1 (ko) 2009-05-08 2010-05-04 가상 세계에서의 객체를 제어하는 시스템, 방법 및 기록 매체
KR10-2010-0041736 2010-05-04

Publications (2)

Publication Number Publication Date
WO2010128830A2 true WO2010128830A2 (ko) 2010-11-11
WO2010128830A3 WO2010128830A3 (ko) 2011-04-21

Family

ID=43050652

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2010/002938 WO2010128830A2 (ko) 2009-05-08 2010-05-08 가상 세계에서의 객체를 제어하는 시스템, 방법 및 기록 매체

Country Status (5)

Country Link
US (1) US20130038601A1 (ko)
EP (1) EP2431936A4 (ko)
KR (1) KR101671900B1 (ko)
CN (1) CN102458595B (ko)
WO (1) WO2010128830A2 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140198121A1 (en) * 2012-04-09 2014-07-17 Xiaofeng Tong System and method for avatar generation, rendering and animation
US11295502B2 (en) 2014-12-23 2022-04-05 Intel Corporation Augmented facial animation
US11303850B2 (en) 2012-04-09 2022-04-12 Intel Corporation Communication using interactive avatars
CN115170707A (zh) * 2022-07-11 2022-10-11 上海哔哩哔哩科技有限公司 基于应用程序框架的3d图像实现系统及方法
US11887231B2 (en) 2015-12-18 2024-01-30 Tahoe Research, Ltd. Avatar animation system
EP4332735A4 (en) * 2022-07-19 2024-08-21 Kt & G Corp METHOD AND DEVICE FOR OUTPUTTING A VIRTUAL SMOKE IMAGE

Families Citing this family (104)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101640458B1 (ko) * 2009-06-25 2016-07-18 삼성전자주식회사 영상 장치 및 컴퓨터 판독 기록매체
KR20100138700A (ko) * 2009-06-25 2010-12-31 삼성전자주식회사 가상 세계 처리 장치 및 방법
KR20110070056A (ko) * 2009-12-18 2011-06-24 한국전자통신연구원 사용자 맞춤형 고품질 3ｄ 아바타 생성 방법 및 그 장치
KR101685922B1 (ko) * 2010-04-05 2016-12-13 삼성전자주식회사 가상 세계 처리 장치 및 방법
US9245369B2 (en) 2010-07-06 2016-01-26 Electronics And Telecommunications Research Institute Method and apparatus for generating an avatar
JP5652097B2 (ja) * 2010-10-01 2015-01-14 ソニー株式会社 画像処理装置、プログラム及び画像処理方法
US9734637B2 (en) * 2010-12-06 2017-08-15 Microsoft Technology Licensing, Llc Semantic rigging of avatars
US8994718B2 (en) * 2010-12-21 2015-03-31 Microsoft Technology Licensing, Llc Skeletal control of three-dimensional virtual world
KR101800182B1 (ko) 2011-03-16 2017-11-23 삼성전자주식회사 가상 객체 제어 장치 및 방법
US9857868B2 (en) 2011-03-19 2018-01-02 The Board Of Trustees Of The Leland Stanford Junior University Method and system for ergonomic touch-free interface
US8840466B2 (en) 2011-04-25 2014-09-23 Aquifi, Inc. Method and system to create three-dimensional mapping in a two-dimensional game
JP6316186B2 (ja) 2011-05-06 2018-04-25 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 広範囲同時遠隔ディジタル提示世界
JP2013101529A (ja) * 2011-11-09 2013-05-23 Sony Corp 情報処理装置、表示制御方法、およびプログラム
KR101271305B1 (ko) * 2011-12-02 2013-06-04 건국대학교 산학협력단 다중 가상 객체 제어 장치 및 방법
US8854433B1 (en) 2012-02-03 2014-10-07 Aquifi, Inc. Method and system enabling natural user interface gestures with an electronic system
CN102629303A (zh) * 2012-04-22 2012-08-08 盛绩信息技术（上海）有限公司 建立自创世界的方法及建立自创世界的游戏开发系统
US9111135B2 (en) 2012-06-25 2015-08-18 Aquifi, Inc. Systems and methods for tracking human hands using parts based template matching using corresponding pixels in bounded regions of a sequence of frames that are a specified distance interval from a reference camera
US8934675B2 (en) 2012-06-25 2015-01-13 Aquifi, Inc. Systems and methods for tracking human hands by performing parts based template matching using images from multiple viewpoints
US20140125678A1 (en) * 2012-07-11 2014-05-08 GeriJoy Inc. Virtual Companion
US20160287989A1 (en) * 2012-08-31 2016-10-06 Blue Goji Llc Natural body interaction for mixed or virtual reality applications
US11181938B2 (en) * 2012-08-31 2021-11-23 Blue Goji Llc Full body movement control of dual joystick operated devices
US8836768B1 (en) 2012-09-04 2014-09-16 Aquifi, Inc. Method and system enabling natural user interface gestures with user wearable glasses
US10133470B2 (en) 2012-10-09 2018-11-20 Samsung Electronics Co., Ltd. Interfacing device and method for providing user interface exploiting multi-modality
US10127724B2 (en) * 2013-01-04 2018-11-13 Vuezr, Inc. System and method for providing augmented reality on mobile devices
KR101504103B1 (ko) * 2013-01-16 2015-03-19 계명대학교 산학협력단 깊이맵 센서를 이용한 3차원 캐릭터 가상공간 내비게이션 동작 합성 및 제어 방법
US9129155B2 (en) 2013-01-30 2015-09-08 Aquifi, Inc. Systems and methods for initializing motion tracking of human hands using template matching within bounded regions determined using a depth map
US9092665B2 (en) 2013-01-30 2015-07-28 Aquifi, Inc Systems and methods for initializing motion tracking of human hands
US9298266B2 (en) 2013-04-02 2016-03-29 Aquifi, Inc. Systems and methods for implementing three-dimensional (3D) gesture based graphical user interfaces (GUI) that incorporate gesture reactive interface objects
CN103218844B (zh) * 2013-04-03 2016-04-20 腾讯科技（深圳）有限公司 虚拟形象的配置方法、实现方法、客户端、服务器及系统
US8998725B2 (en) * 2013-04-30 2015-04-07 Kabam, Inc. System and method for enhanced video of game playback
US9952042B2 (en) 2013-07-12 2018-04-24 Magic Leap, Inc. Method and system for identifying a user location
US9798388B1 (en) 2013-07-31 2017-10-24 Aquifi, Inc. Vibrotactile system to augment 3D input systems
CN103456197A (zh) * 2013-09-18 2013-12-18 重庆创思特科技有限公司 教学用无线智能体感交互前端
CN103472756A (zh) * 2013-09-27 2013-12-25 腾讯科技（深圳）有限公司 一种实现人工智能的方法、服务器和设备
US20150149292A1 (en) * 2013-11-25 2015-05-28 John C. Feghali Leveraging sensors on smart mobile phones and tablets to create advertisements to replicate a real world experience
US9507417B2 (en) 2014-01-07 2016-11-29 Aquifi, Inc. Systems and methods for implementing head tracking based graphical user interfaces (GUI) that incorporate gesture reactive interface objects
US9971491B2 (en) 2014-01-09 2018-05-15 Microsoft Technology Licensing, Llc Gesture library for natural user input
KR101519775B1 (ko) * 2014-01-13 2015-05-12 인천대학교 산학협력단 오브젝트의 모션 인식 기반 애니메이션 생성 방법 및 장치
US9619105B1 (en) 2014-01-30 2017-04-11 Aquifi, Inc. Systems and methods for gesture based interaction with viewpoint dependent user interfaces
US20150269763A1 (en) * 2014-03-20 2015-09-24 Digizyme, Inc. Curated model database
US20150269765A1 (en) * 2014-03-20 2015-09-24 Digizyme, Inc. Systems and methods for providing a visualization product
US9579799B2 (en) * 2014-04-30 2017-02-28 Coleman P. Parker Robotic control system using virtual reality input
KR102103939B1 (ko) * 2014-07-25 2020-04-24 인텔 코포레이션 머리 회전을 갖는 아바타 얼굴 표정 애니메이션
US20160062987A1 (en) * 2014-08-26 2016-03-03 Ncr Corporation Language independent customer communications
EP3204056B1 (en) * 2014-10-06 2021-02-17 JB Scientific, LLC Apparatus for delivering a sequence of scents for the purpose of altering an individual's appetite
US10973440B1 (en) * 2014-10-26 2021-04-13 David Martin Mobile control using gait velocity
KR101744674B1 (ko) 2015-03-19 2017-06-09 모젼스랩(주) 가상아바타와 실감아바타의 동기화를 이용한 콘텐츠 생성 장치 및 방법
US10627908B2 (en) * 2015-03-27 2020-04-21 Lucasfilm Entertainment Company Ltd. Facilitate user manipulation of a virtual reality environment view using a computing device with touch sensitive surface
CN104866101B (zh) * 2015-05-27 2018-04-27 世优（北京）科技有限公司 虚拟对象的实时互动控制方法及装置
CN104881123A (zh) * 2015-06-06 2015-09-02 深圳市虚拟现实科技有限公司 基于虚拟现实的嗅觉模拟方法、设备和系统
CN107615217B (zh) * 2015-06-12 2020-07-17 索尼互动娱乐股份有限公司 信息处理装置、信息处理方法和计算机可读存储介质
WO2017006640A1 (ja) * 2015-07-08 2017-01-12 ソニー株式会社 情報処理装置、表示装置、情報処理方法及びプログラム
US10607063B2 (en) * 2015-07-28 2020-03-31 Sony Corporation Information processing system, information processing method, and recording medium for evaluating a target based on observers
US10360716B1 (en) 2015-09-18 2019-07-23 Amazon Technologies, Inc. Enhanced avatar animation
CN105183172A (zh) * 2015-09-28 2015-12-23 联想(北京)有限公司 一种信息处理方法及电子设备
JP6569452B2 (ja) * 2015-10-08 2019-09-04 富士通株式会社 画像生成システム、画像生成プログラム及び画像生成方法
US10664741B2 (en) * 2016-01-14 2020-05-26 Samsung Electronics Co., Ltd. Selecting a behavior of a virtual agent
US10356216B2 (en) * 2016-04-28 2019-07-16 Verizon Patent And Licensing Inc. Methods and systems for representing real-world input as a user-specific element in an immersive virtual reality experience
US11496587B2 (en) 2016-04-28 2022-11-08 Verizon Patent And Licensing Inc. Methods and systems for specification file based delivery of an immersive virtual reality experience
US9864431B2 (en) * 2016-05-11 2018-01-09 Microsoft Technology Licensing, Llc Changing an application state using neurological data
CN109562294A (zh) 2016-07-05 2019-04-02 乐高公司 用于创建虚拟对象的方法
WO2018112112A1 (en) * 2016-12-13 2018-06-21 DeepMotion, Inc. Improved virtual reality system using multiple force arrays for a solver
TWI597691B (zh) * 2017-01-10 2017-09-01 A method of updating a virtual pet's appearance based on the pictures taken by the user
JP6812803B2 (ja) * 2017-01-12 2021-01-13 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US20180225858A1 (en) * 2017-02-03 2018-08-09 Sony Corporation Apparatus and method to generate realistic rigged three dimensional (3d) model animation for view-point transform
KR20180096937A (ko) * 2017-02-22 2018-08-30 삼성전자주식회사 전자 장치 및 그 제어 방법
DE102017205079A1 (de) * 2017-03-27 2018-09-27 Ford Global Technologies, Llc Unterhaltungsvorrichtung für ein selbstfahrendes Kraftfahrzeug
CN106951095A (zh) * 2017-04-07 2017-07-14 胡轩阁 基于三维扫描技术的虚拟现实互动方法以及系统
US10311624B2 (en) * 2017-06-23 2019-06-04 Disney Enterprises, Inc. Single shot capture to animated vr avatar
US10861221B2 (en) * 2017-07-14 2020-12-08 Electronics And Telecommunications Research Institute Sensory effect adaptation method, and adaptation engine and sensory device to perform the same
CN107657651B (zh) * 2017-08-28 2019-06-07 腾讯科技（上海）有限公司 表情动画生成方法和装置、存储介质及电子装置
US11232645B1 (en) 2017-11-21 2022-01-25 Amazon Technologies, Inc. Virtual spaces as a platform
US10521946B1 (en) * 2017-11-21 2019-12-31 Amazon Technologies, Inc. Processing speech to drive animations on avatars
US10732708B1 (en) * 2017-11-21 2020-08-04 Amazon Technologies, Inc. Disambiguation of virtual reality information using multi-modal data including speech
CN108021233B (zh) * 2017-11-29 2021-12-31 浙江超人科技股份有限公司 一种人机交互方法和系统
CN114915827A (zh) 2018-05-08 2022-08-16 日本聚逸株式会社 动态图像分发系统及其方法和记录介质
KR102585051B1 (ko) * 2018-05-08 2023-10-04 그리 가부시키가이샤 액터의 움직임에 기초하여 생성되는 캐릭터 오브젝트의 애니메이션을 포함하는 동화상을 배신하는 동화상 배신 시스템, 동화상 배신 방법 및 동화상 배신 프로그램
US11128932B2 (en) 2018-05-09 2021-09-21 Gree, Inc. Video distribution system for live distributing video containing animation of character object generated based on motion of actors
US10762219B2 (en) 2018-05-18 2020-09-01 Microsoft Technology Licensing, Llc Automatic permissions for virtual objects
US10984600B2 (en) 2018-05-25 2021-04-20 Tiff's Treats Holdings, Inc. Apparatus, method, and system for presentation of multimedia content including augmented reality content
US10818093B2 (en) 2018-05-25 2020-10-27 Tiff's Treats Holdings, Inc. Apparatus, method, and system for presentation of multimedia content including augmented reality content
CN108833937B (zh) * 2018-05-30 2021-03-23 华为技术有限公司 视频处理方法和装置
CN109035415B (zh) * 2018-07-03 2023-05-16 百度在线网络技术（北京）有限公司 虚拟模型的处理方法、装置、设备和计算机可读存储介质
KR102710460B1 (ko) 2018-08-14 2024-09-27 삼성전자주식회사 전자 장치, 그 제어 방법 및 전자 시스템
US11044535B2 (en) 2018-08-28 2021-06-22 Gree, Inc. Video distribution system for live distributing video containing animation of character object generated based on motion of distributor user, distribution method, and storage medium storing video distribution program
CN109448737B (zh) * 2018-08-30 2020-09-01 百度在线网络技术（北京）有限公司 虚拟形象的创建方法、装置、电子设备与存储介质
US11068065B2 (en) 2018-11-28 2021-07-20 International Business Machines Corporation Non-verbal communication tracking and classification
KR102648993B1 (ko) * 2018-12-21 2024-03-20 삼성전자주식회사 사용자의 감정 상태에 기반하여 아바타를 제공하기 위한 전자 장치 및 그에 관한 방법
KR102181226B1 (ko) * 2019-01-08 2020-11-20 주식회사 원이멀스 잡기 모션을 활용한 가상 현실 로코모션 통합 제어 시스템 및 방법
KR102659357B1 (ko) 2019-02-07 2024-04-19 삼성전자주식회사 아바타 애니메이션을 제공하기 위한 전자 장치 및 그에 관한 방법
CN110209283A (zh) * 2019-06-11 2019-09-06 北京小米移动软件有限公司 数据处理方法、装置、系统、电子设备及存储介质
KR102235771B1 (ko) * 2019-07-15 2021-04-02 이성진 증강현실 기반의 서비스 시스템
KR20210012724A (ko) * 2019-07-26 2021-02-03 삼성전자주식회사 아바타를 제공하는 전자 장치 및 그의 동작 방법
KR102701902B1 (ko) * 2020-03-20 2024-09-02 라인플러스 주식회사 아바타를 이용한 컨퍼런스 처리 방법 및 시스템
CN115803723A (zh) * 2020-06-25 2023-03-14 斯纳普公司 在消息收发系统中更新化身状态
KR102501811B1 (ko) * 2020-10-23 2023-02-21 주식회사 모아이스 이미지상에 그래픽 객체를 표시하기 위한 방법, 디바이스 및 비일시성의 컴퓨터 판독 가능한 기록 매체
CN112657201B (zh) * 2020-12-23 2023-03-07 上海米哈游天命科技有限公司 一种角色臂长确定方法、装置、设备及存储介质
CN112657200B (zh) * 2020-12-23 2023-02-10 上海米哈游天命科技有限公司 一种角色控制方法、装置、设备及存储介质
KR20230011780A (ko) * 2021-07-14 2023-01-25 삼성전자주식회사 외부 장치의 성능에 기반하여 컨텐츠 생성 방법 및 전자 장치
KR20230091356A (ko) * 2021-12-16 2023-06-23 주식회사 케이티앤지 아바타 제어 방법 및 장치
CN114401438B (zh) * 2021-12-31 2022-12-09 魔珐(上海)信息科技有限公司 虚拟数字人的视频生成方法及装置、存储介质、终端
CN116977501A (zh) * 2022-04-22 2023-10-31 北京字跳网络技术有限公司 虚拟形象的控制方法、装置、设备及存储介质
US12097427B1 (en) * 2022-08-26 2024-09-24 Meta Platforms Technologies, Llc Alternate avatar controls
US20240189709A1 (en) * 2022-12-12 2024-06-13 Sony Interactive Entertainment LLC Using images of upper body motion only to generate running vr character

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6117007A (en) * 1996-08-09 2000-09-12 Konami Corporation Driving game machine and a storage medium for storing a driving game program
US6175842B1 (en) * 1997-07-03 2001-01-16 At&T Corp. System and method for providing dynamic three-dimensional multi-user virtual spaces in synchrony with hypertext browsing
US6208375B1 (en) * 1999-05-21 2001-03-27 Elite Engineering Corporation Test probe positioning method and system for micro-sized devices
JP3623415B2 (ja) * 1999-12-02 2005-02-23 日本電信電話株式会社 仮想空間通信システムにおけるアバタ表示装置、アバタ表示方法および記憶媒体
US6545682B1 (en) * 2000-05-24 2003-04-08 There, Inc. Method and apparatus for creating and customizing avatars using genetic paradigm
US7090576B2 (en) * 2003-06-30 2006-08-15 Microsoft Corporation Personalized behavior of computer controlled avatars in a virtual reality environment
KR100610199B1 (ko) * 2004-06-21 2006-08-10 에스케이 텔레콤주식회사 모션인식 아바타 서비스 방법 및 시스템
JP2006201912A (ja) * 2005-01-19 2006-08-03 Nippon Telegr & Teleph Corp <Ntt> ３次元仮想オブジェクト情報提供サービス処理方法と３次元仮想オブジェクト提供システムおよびプログラム
US7775885B2 (en) * 2005-10-14 2010-08-17 Leviathan Entertainment, Llc Event-driven alteration of avatars
TWI434718B (zh) * 2006-12-07 2014-04-21 Cel Kom Llc 觸覺式可穿戴型遊戲裝置
JP5068080B2 (ja) * 2007-01-09 2012-11-07 株式会社バンダイナムコゲームス ゲーム装置、プログラム及び情報記憶媒体
JP4304639B2 (ja) * 2007-01-16 2009-07-29 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
WO2008106197A1 (en) * 2007-03-01 2008-09-04 Sony Computer Entertainment America Inc. Interactive user controlled avatar animations
US20080310707A1 (en) * 2007-06-15 2008-12-18 Microsoft Corporation Virtual reality enhancement using real world data
WO2009051428A1 (en) * 2007-10-16 2009-04-23 Electronics And Telecommunications Research Institute Sensory effect media generating and consuming method and apparatus thereof
US20090113319A1 (en) * 2007-10-30 2009-04-30 Dawson Christopher J Developing user profiles in virtual worlds
US20090128555A1 (en) * 2007-11-05 2009-05-21 Benman William J System and method for creating and using live three-dimensional avatars and interworld operability
US8375397B1 (en) * 2007-11-06 2013-02-12 Google Inc. Snapshot view of multi-dimensional virtual environment
US8386918B2 (en) * 2007-12-06 2013-02-26 International Business Machines Corporation Rendering of real world objects and interactions into a virtual universe
US8149241B2 (en) * 2007-12-10 2012-04-03 International Business Machines Corporation Arrangements for controlling activities of an avatar
KR101335346B1 (ko) * 2008-02-27 2013-12-05 소니 컴퓨터 엔터테인먼트 유럽 리미티드 장면의 심도 데이터를 포착하고, 컴퓨터 액션을 적용하기 위한 방법들
US8730245B2 (en) * 2008-12-01 2014-05-20 Naturalmotion Ltd. Defining an animation of a virtual object within a virtual world
US20100251185A1 (en) * 2009-03-31 2010-09-30 Codemasters Software Company Ltd. Virtual object appearance control

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
None
See also references of EP2431936A4

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140198121A1 (en) * 2012-04-09 2014-07-17 Xiaofeng Tong System and method for avatar generation, rendering and animation
US11303850B2 (en) 2012-04-09 2022-04-12 Intel Corporation Communication using interactive avatars
US11595617B2 (en) 2012-04-09 2023-02-28 Intel Corporation Communication using interactive avatars
US11295502B2 (en) 2014-12-23 2022-04-05 Intel Corporation Augmented facial animation
US11887231B2 (en) 2015-12-18 2024-01-30 Tahoe Research, Ltd. Avatar animation system
CN115170707A (zh) * 2022-07-11 2022-10-11 上海哔哩哔哩科技有限公司 基于应用程序框架的3d图像实现系统及方法
CN115170707B (zh) * 2022-07-11 2023-04-11 上海哔哩哔哩科技有限公司 基于应用程序框架的3d图像实现系统及方法
EP4332735A4 (en) * 2022-07-19 2024-08-21 Kt & G Corp METHOD AND DEVICE FOR OUTPUTTING A VIRTUAL SMOKE IMAGE

Also Published As

Publication number Publication date
EP2431936A4 (en) 2014-04-02
US20130038601A1 (en) 2013-02-14
EP2431936A2 (en) 2012-03-21
KR101671900B1 (ko) 2016-11-03
CN102458595B (zh) 2015-07-29
WO2010128830A3 (ko) 2011-04-21
CN102458595A (zh) 2012-05-16
KR20100121420A (ko) 2010-11-17

Similar Documents

Publication Publication Date Title
WO2010128830A2 (ko) 가상 세계에서의 객체를 제어하는 시스템, 방법 및 기록 매체
WO2017111234A1 (en) Method for electronic device to control object and electronic device
WO2010151054A2 (ko) 가상 세계 처리 장치 및 방법
WO2020149581A1 (en) Electronic device for generating avatar and method thereof
WO2018088794A2 (ko) 디바이스가 이미지를 보정하는 방법 및 그 디바이스
WO2020054945A1 (ko) 로봇 및 그 동작 방법
WO2010151070A2 (ko) 가상 세계 처리 장치 및 방법
WO2017082543A1 (en) Electronic device and method for controlling the same
WO2016048102A1 (en) Image display method performed by device including switchable mirror and the device
WO2012011665A2 (ko) 생체 정보를 활용한 가상 세계 조작 장치 및 방법
WO2020130177A1 (ko) 세탁 스케줄링 장치 및 그 방법
WO2018084577A1 (en) Data recognition model construction apparatus and method for constructing data recognition model thereof, and data recognition apparatus and method for recognizing data thereof
EP3198376A1 (en) Image display method performed by device including switchable mirror and the device
WO2017188696A1 (ko) Vr 공간에서 사용자 인터페이스를 제공하는 방법, 디바이스 및 기록매체
WO2019225961A1 (en) Electronic device for outputting response to speech input by using application and operation method thereof
WO2021242005A1 (ko) 전자 장치 및 사용자 아바타 기반의 이모지 스티커를 생성하는 방법
WO2016089079A1 (en) Device and method for outputting response
WO2018056749A1 (ko) 접이식 가상현실 장비
WO2020251238A1 (ko) 입력영상데이터 기반 사용자 관심정보 획득 방법 및 대상체 디자인 커스터마이징 방법
WO2020153785A1 (ko) 전자 장치 및 이를 이용한 감정 정보에 대응하는 그래픽 오브젝트를 제공하는 방법
WO2020122293A1 (ko) 세탁 스케쥴링 장치
WO2019164275A1 (ko) 수술도구 및 카메라의 위치 인식 방법 및 장치
WO2012005501A2 (ko) 아바타 생성 방법 및 장치
WO2022191542A1 (ko) 홈 트레이닝 서비스 제공 방법 및 그를 수행하는 디스플레이 장치
WO2019164271A1 (ko) 가상신체모델 생성 방법 및 장치

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201080031098.7

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10772290

Country of ref document: EP

Kind code of ref document: A2

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2010772290

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 13319456

Country of ref document: US