WO2010087654A2 - 다중 입력 소스를 이용한 오브젝트 조작 장치 - Google Patents

다중 입력 소스를 이용한 오브젝트 조작 장치 Download PDF

Info

Publication number
WO2010087654A2
WO2010087654A2 PCT/KR2010/000571 KR2010000571W WO2010087654A2 WO 2010087654 A2 WO2010087654 A2 WO 2010087654A2 KR 2010000571 W KR2010000571 W KR 2010000571W WO 2010087654 A2 WO2010087654 A2 WO 2010087654A2
Authority
WO
WIPO (PCT)
Prior art keywords
avatar
virtual object
virtual
information
attributes
Prior art date
Application number
PCT/KR2010/000571
Other languages
English (en)
French (fr)
Other versions
WO2010087654A3 (ko
Inventor
이현정
한승주
박준아
장욱
안정환
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to EP10736045.5A priority Critical patent/EP2393064A4/en
Priority to US13/147,069 priority patent/US9454222B1/en
Publication of WO2010087654A2 publication Critical patent/WO2010087654A2/ko
Publication of WO2010087654A3 publication Critical patent/WO2010087654A3/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/55—Controlling game characters or game objects based on the game progress
    • A63F13/58—Controlling game characters or game objects based on the game progress by computing conditions of game characters, e.g. stamina, strength, motivation or energy level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/28—Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
    • A63F13/285—Generating tactile feedback signals via the game input device, e.g. force feedback
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/55—Controlling game characters or game objects based on the game progress
    • A63F13/56—Computing the motion of game characters with respect to other game characters, game objects or elements of the game scene, e.g. for simulating the behaviour of a group of virtual soldiers or for path finding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1037—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals being specially adapted for converting control signals received from the game device into a haptic signal, e.g. using force feedback
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/50—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
    • A63F2300/55—Details of game data or player data management
    • A63F2300/5546—Details of game data or player data management using player registration data, e.g. identification, account, preferences, game history
    • A63F2300/5553—Details of game data or player data management using player registration data, e.g. identification, account, preferences, game history user representation in the game field, e.g. avatar
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/65—Methods for processing data by generating or executing the game program for computing the condition of a game character
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/66—Methods for processing data by generating or executing the game program for rendering three dimensional images
    • A63F2300/6607—Methods for processing data by generating or executing the game program for rendering three dimensional images for animating game characters, e.g. skeleton kinematics
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/66—Methods for processing data by generating or executing the game program for rendering three dimensional images
    • A63F2300/6623—Methods for processing data by generating or executing the game program for rendering three dimensional images for animating a group of characters
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082—Virtual reality

Definitions

  • the present invention is a technique for modeling a structure of a virtual object and modeling an avatar in a virtual world.
  • VR Virtual Reality
  • VR technology is applied to various areas.
  • the entertainment sector is being commercialized as 3D virtual online communities such as Second Life and 3D Game Station.
  • 3D games and the like provide a new game experience using a 3D input device.
  • a sensor-based multi-modal interface can be applied to the VR system.
  • the connection between the real world and the virtual world is made through the VR-ROSE and RV-ROSE engines.
  • An object operating apparatus includes an object modeling unit for setting a structure of a virtual object, and an object operating unit for controlling the selection of the virtual object and the operation of the selected virtual object.
  • the virtual object has general information of the virtual object, an object identifier for identifying the virtual object in a virtual world, and one or more attributes of the virtual object. It may include at least one of object attribute information.
  • the object attribute information includes at least one of spatial attributes, physical attributes, temporal attributes, and complex attributes. can do.
  • the spatial attribute information includes at least one of a shape, a location, and a size of the virtual object, and the physical attribute information is included in the virtual object. And at least one of a material, a pressure, a vibration, and a temperature, wherein the temporal attribute information includes at least one of a duration and a motion of the virtual object. It may include.
  • the object operation unit selecting the virtual object, collecting object attributes of the virtual object (Object Attributes), modifying the object attribute of the virtual object, removing and storing the object attribute of the virtual object At least one implementation can be controlled.
  • the object manipulation apparatus may include an avatar structure setting unit for setting the structure of an avatar and an avatar navigation unit for controlling the movement of the avatar in response to user movement in the real world.
  • the avatar structure setting unit includes: an avatar identification unit for setting information for identifying the avatar, an avatar condition management unit for setting physical and mental conditions of the avatar, and a motion of the avatar. Data of the avatar motion manager that manages the data may be set.
  • the avatar navigation unit may include a general information manager that manages general information of the avatar and a control data manager that controls movement of the avatar.
  • control data management unit may manage at least one of the moving state, direction, and speed of the avatar.
  • an object manipulation apparatus and method that can effectively reflect the movement of the real world to the object manipulation of the virtual world Is provided.
  • an object manipulation apparatus and method capable of efficiently navigating an avatar in a virtual world by defining physical and mental conditions of the avatar and setting motion data of the avatar.
  • FIG. 1 is a block diagram illustrating an object manipulation apparatus according to an embodiment of the present invention.
  • FIG. 2 is a diagram illustrating a system for connecting a virtual world and a real world according to an embodiment of the present invention.
  • FIG. 3 is a view for explaining object modeling according to an embodiment of the present invention.
  • FIG. 4 is a diagram for describing an object motion model according to an embodiment of the present invention.
  • FIG. 5 is a diagram for describing an object operation model according to another exemplary embodiment of the present invention.
  • FIG. 6 is a diagram illustrating an object manipulation process interworking with an RV-RoSE engine according to an embodiment of the present invention.
  • FIG. 7 is a block diagram illustrating an object manipulation apparatus according to another exemplary embodiment.
  • FIG. 8 is a diagram illustrating facial expressions and poses of avatars determined by an avatar condition manager according to an embodiment of the present invention.
  • FIG. 9 is a diagram for describing metadata control for avatar navigation according to an embodiment of the present invention.
  • FIG. 10 is a diagram for describing an avatar navigation process linked to an RV-RoSE engine according to an embodiment of the present invention.
  • FIG. 1 is a block diagram illustrating an object manipulation apparatus according to an embodiment of the present invention.
  • the object manipulation apparatus 100 may include an object modeling unit 110 that sets a structure of a virtual object, an object operation unit 120 that controls selection of a virtual object and an operation of the selected virtual object. ) May be included.
  • Object modeling may mean defining an object model including identifiers and attributes for manipulating virtual objects.
  • FIG. 2 is a diagram illustrating a system for connecting a virtual world and a real world according to an embodiment of the present invention. That is, FIG. 2 shows a system architecture of sensor input metadata and virtual element metadata, and the connection between the real world 220 and the virtual world 220 is a VR-ROSE engine 231 and an RV-ROSE engine 232.
  • the virtual element metadata refers to metadata about the structure of the objects and avatars in the virtual space
  • the sensor input metadata refers to navigation of avatars and objects in the multi-model input device.
  • Means metadata for control such as manipulation, and object modeling and object operations will be described in more detail below.
  • object modeling is related to sensor input metadata
  • object operation is related to sensor input command.
  • FIG. 3 is a view for explaining object modeling according to an embodiment of the present invention.
  • an object 310 having a shape and an object 320 having a touch are illustrated.
  • Object modeling allows you to define objects so that they can have shape and tactile properties.
  • the virtual world can provide the effects of selection and manipulation, and for this purpose, the variables of interest are the size, shape, tactile, density, Motion or the like.
  • An object may be broadly divided into general information, object identifier, and object attribute information.
  • General Information may describe the overall description of the object.
  • Object Identifier is the part that distinguishes object in Virtual World. It is a Modifiable that determines whether an object is given an object ID, an object state that selects, selects, and cannot select the current state. It can consist of Attributes.
  • Object Attributes includes Spatial Attributes (ex. Shape, Location, Size), Physical Attributes (ex. Tactile, Pressure / Force, Vibration, Temperature), Temporal Attributes (ex. Duration, Motion)), and the Combinations section that combines the properties.
  • Object manipulation may include gathering information from interfaces, modifying attributes, removing objects, and recovering objects.
  • An example of the object operation will be described below.
  • FIG. 4 is a diagram for describing an object motion model according to an embodiment of the present invention.
  • Creating a virtual car can be performed by using the initial models and modifying the size, position, and shape of the initial models. That is, the desired car may be generated by modifying the size, position, shape, etc. of the initial models through sequential steps 410, 420, 430 from the initial models.
  • reality may be provided to the virtual object according to the weight, roughness, etc. of the virtual object.
  • FIG. 5 a hand grip is shown for a box having various masses. That is, various motions may be displayed for objects having the same shape according to weight and mass.
  • FIG. 5 the result of the shape deformation while grasping the rubber ball is shown. That is, the shape of the object may be deformed according to the force, pressure, etc. applied to the object.
  • Object operations may be largely composed of object selection for selecting an object that a user wants to deform and object manipulation for modifying an attribute of the selected object.
  • the object manipulation may perform at least one of collecting object attribute information of the virtual object, modifying object attributes of the virtual object, removing and storing object attributes of the virtual object.
  • the object manipulation may be composed of ObtainTargetInfo which obtains the ID of the selected object and information of the existing attribute, ModifyAttributes which change the attribute value of the object, and Remove / RestoreObject which removes and stores the attribute value. .
  • the following describes a system architecture for manipulating objects.
  • the object manipulation process may select a target object according to a user preference, extract attributes of the selected object, modify the extracted attributes, store the modified attributes, and release the object.
  • FIG. 6 is a diagram illustrating an object manipulation process interworking with a Real to Virtual-Representation of Sensory Effect (RV-RoSE) engine according to an embodiment of the present invention.
  • RV-RoSE Real to Virtual-Representation of Sensory Effect
  • the entire system is composed of a Virtual World Engine 610, a Real World Interface 630, a Sensor Adaptation Preference 620, and an RV-RoSE Engine 640.
  • the Virtual World Engine 610 is a system for interworking a virtual world such as Second Life, and the Real World Interface 630 refers to a terminal that enables the virtual world to be controlled by a user's control.
  • the Real World Interface 630 a 2 / 3D mouse, a keyboard, a joystick, a motion sensor, a heat sensor, a camera, and a haptic glove may be present.
  • the sensor adaptation preference 620 represents a part that reflects the user's intention (data value range adjustment, etc.).
  • ID information of the selected object enters the importer of RV-RoSE, and the object object controller is accessed through the object manipulation controller of RV-RoSE. Spatial, physical, and temporal information comes in.
  • the object manipulation controller of RV-RoSE adjusts and stores the value of the variable corresponding to the operation. Then, the changed object's attributes can be passed to the virtual world engine through the Object Information Exporter.
  • OM is the basic element of virtual element metadata.
  • Figure 7 is a block diagram showing an object manipulation apparatus according to another embodiment of the present invention.
  • the object manipulation apparatus 700 may include an avatar structure setting unit 710 for setting a structure of an avatar and an avatar navigation unit 720 for controlling the movement of the avatar in response to user movement in the real world. ).
  • the structure setting of the avatar is related to the virtual element metadata
  • the movement control of the avatar that is, the navigation control, is related to the sensor [y] input metadata. .
  • Virtual elements include avatars, objects, geometry, cameras, light conditions, etc.
  • the structure of the avatar is defined. .
  • the avatar represents another user's self in the virtual space.
  • avatars must have attributes that include physical and mental conditions. This is because avatars may behave differently depending on the physical and mental conditions.
  • the behavior patterns of the avatar may vary depending on how the physical and mental conditions are mixed. In order to mix information about the physical and mental conditions, parameters related to the physical and mental conditions may be included.
  • AvatarCondition a representative element, can be defined for the physical and mental conditions of the avatar.
  • AvatarCondition may include subparameters PhysicalCondition and MentalCondition, respectively, for physical and mental conditions.
  • the facial expression or pose of the avatar may be determined by the value of AvatarCondition, which will be described in more detail with reference to FIG. 8.
  • FIG. 8 is a diagram illustrating facial expressions and poses of avatars determined by the avatar condition manager according to an embodiment of the present invention.
  • various expressions and poses may be determined according to the value of AvatarCondition such as the expressionless expression 810, the happiness 820, the pose 830 sitting on a chair.
  • the avatar metadata may also include AvatarMotionData.
  • AvatarMotionData may include the current motion state (ex. On / off) to which the motion data is assigned, and how much the avatar responds to the motion (ex. Response range).
  • the information structure of the avatar may be configured as follows.
  • Avatar navigation is the basic operation of the controls for the 3D virtual world.
  • the multi-model interface can recognize contextual information related to the user or its environment, as well as recognize indispensable information for navigation. If these sensor inputs of the multiple input model interface are organized, the navigation of the avatar can be represented in various ways.
  • FIG. 9 is a diagram for describing metadata control for avatar navigation according to an embodiment of the present invention.
  • the avatar may use MoveState to determine whether to walk or run.
  • Running and walking can be distinguished using speed.
  • RefMotionID provides for the avatar which motion is performed concurrently with the navigation.
  • various situations apply to navigation through contextual information from multiple model interfaces.
  • the information structure of the navigation control for the sensor input may be configured as follows.
  • FIG. 10 is a diagram for describing an avatar navigation process linked to an RV-RoSE engine according to an embodiment of the present invention.
  • the entire system includes a Virtual World Engine 1010, a Real World Interface 1030, a Sensor Adaptation Preference 1020, and an RV-RoSE Engine 1040.
  • the Virtual World Engine 1010 is a system for interworking a virtual world such as Second Life, and the Real World Interface 1030 is a terminal that enables the virtual world to be controlled by a user's control.
  • the sensor adaptation preference 1020 may add a user's intention (data value range adjustment, etc.).
  • the ID information of the selected avatar enters the importer of RV-RoSE, and also the lower navigation variable through the avatar navigation controller of RV-RoSE. Navigation information comes in.
  • the avatar navigation controller of RV-RoSE adjusts and stores the value of the variable corresponding to the operation. After that, the Avatar's Navigation value changed through the Avatar Information Exporter can be passed to the virtual world engine.
  • VE is a basic element of Virtual Elements.
  • Avatar contains information of all parameters that can be applied to the avatar characteristic.
  • AvatarIdentifier includes a specific type for avatar identification information.
  • AvatarMotionData includes a specific type of avatar motion information.
  • AvatarCondition includes a specific type of avatar condition information, and includes PhysicalCondition and MentalCondition.
  • Navigation contains all control parameters and information of these contextual states.
  • the NavigationDescription contains information for the initial navigation state.
  • the movement of the real world can be efficiently reflected in the object manipulation of the virtual world.
  • Embodiments according to the present invention can be implemented in the form of program instructions that can be executed by various computer means can be recorded in a computer readable medium.
  • the computer readable medium may include program instructions, data files, data structures, etc. alone or in combination.
  • Program instructions recorded on the media may be those specially designed and constructed for the purposes of the present invention, or they may be of the kind well-known and available to those having skill in the computer software arts.
  • Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tape, optical media such as CD-ROMs, DVDs, and magnetic disks, such as floppy disks.
  • program instructions include machine code, such as produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like.
  • the hardware device described above may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Architecture (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Input From Keyboards Or The Like (AREA)

Abstract

오브젝트 조작 장치 및 방법이 개시된다. 가상 오브젝트를 조작하기 위한 오브젝트를 모델링하고, 오브젝트 동작 스키마를 제안하며, 아바타의 물리적 및 정신적인 조건을 정의하고, 아바타의 모션 데이터를 설정하는 오브젝트 조작 장치 및 방법을 제공한다.

Description

다중 입력 소스를 이용한 오브젝트 조작 장치
본 발명은 가상 오브젝트의 구조를 모델링하고, 가상 세계에서 아바타를 모델링하기 위한 기술이다.
최근 연구 결과에 기초하여 인간-컴퓨터 상호 관계에서 사용자의 관심이 급격하게 증가하고 있다. VR(Virtual Reality) 기술의 개발에 따라, VR 기술은 다양한 영역에 적용되고 있다. 특히, 엔터테인먼트 영역은 Second Life 및 3D Game Station과 같은 3D 가상 온라인 커뮤니티와 같이 상업화되고 있다. 3D 게임 등에서는 3D 입력 장치를 이용하여 새로운 게임 경험을 제공한다. 복잡한 3D 가상 세계를 제어하기 위해, 센서 기반 다중 모델 인터페이스(sensor-based multi-modal interface)가 VR 시스템에 적용될 수 있다. 이때, 현실 세계(real world)와 가상 세계(virtual world) 간의 연결은 VR-ROSE와 RV-ROSE 엔진을 통해 이루어진다.
따라서, VR 기술이 발전함에 따라, 현실 세계의 움직임을 보다 효율적으로 가상 세계의 오브젝트 조작에 반영하고, 가상 세계에서 아바타를 효율적으로 내비게이션하는 방법이 요구된다.
본 발명의 일실시예에 따른 오브젝트 조작 장치는 가상 오브젝트의 구조를 설정하는 오브젝트 모델링부 및 상기 가상 오브젝트의 선택 및 상기 선택된 가상 오브젝트의 동작을 제어하는 오브젝트 동작부를 포함한다.
본 발명의 일측에 따르면, 상기 가상 오브젝트는, 상기 가상 오브젝트의 일반 정보(General Information), 가상 세계에서 상기 가상 오브젝트를 식별하기 위한 식별자 정보(Object Identifier), 및 상기 가상 오브젝트의 하나 이상의 속성을 보유하는 오브젝트 속성 정보(Object Attributes) 중 적어도 하나를 포함할 수 있다.
또한 본 발명의 일측에 따르면, 상기 식별자 정보는, 상기 가상 오브젝트에 부여된 오브젝트 ID, 상기 가상 오브젝트의 상태를 식별하기 위한 오브젝트 상태 정보, 상기 가상 오브젝트에 대한 속성을 변형할 수 있는지 여부를 판별하는 속성 변형 정보(Modifiable Attributes)중 적어도 하나를 포함할 수 있다.
또한 본 발명의 일측에 따르면, 상기 오브젝트 속성 정보는, 공간 속성 정보(Spatial Attributes), 물리적 속성 정보(Physical Attributes), 시간적 속성 정보(Temporal Attributes), 및 복합 속성 정보(Combinations) 중 적어도 하나를 포함할 수 있다.
또한 본 발명의 일측에 따르면, 상기 공간 속성 정보는, 상기 가상 오브젝트의 형태(Shape), 위치(Location), 및 크기(Size) 중 적어도 하나를 포함하고, 상기 물리적 속성 정보는, 상기 가상 오브젝트의 재질(Tactile), 압력(Pressure), 진동(Vibration), 및 온도(Temperature) 중 적어도 하나를 포함하며, 상기 시간적 속성 정보는, 상기 가상 오브젝트의 지속기간(Duration) 및 움직임(Motion) 중 적어도 하나를 포함할 수 있다.
또한 본 발명의 일측에 따르면, 상기 오브젝트 동작부는, 상기 가상 오브젝트의 선택, 상기 가상 오브젝트의 오브젝트 속성 정보(Object Attributes) 수집, 상기 가상 오브젝트의 오브젝트 속성 수정, 상기 가상 오브젝트의 오브젝트 속성 제거 및 저장 중 적어도 하나의 수행을 제어할 수 있다.
본 발명의 다른 일실시예에 따른 오브젝트 조작 장치는 아바타(Avatar)의 구조를 설정하는 아바타 구조 설정부 및 현실 세계의 사용자 움직임에 대응하여 상기 아바타의 움직임을 제어하는 아바타 내비게이션부를 포함할 수 있다.
또한 본 발명의 일측에 따르면, 상기 아바타 구조 설정부는, 상기 아바타를 식별하기 위한 정보를 설정하는 아바타 식별부, 상기 아바타의 물리적 컨디션 및 정신적 컨디션을 설정하는 아바타 컨디션 관리부 및 상기 아바타의 모션(Motion)을 관리하는 아바타 모션 관리부의 데이터를 설정할 수 있다.
또한 본 발명의 일측에 따르면, 상기 아바타 내비게이션부는, 상기 아바타의 일반 정보를 관리하는 일반 정보 관리부 및 상기 아바타의 움직임을 제어하는 제어 데이터 관리부를 포함할 수 있다.
또한 본 발명의 일측에 따르면, 상기 제어 데이터 관리부는, 상기 아바타의 이동 상태, 방향, 및 속도 중 적어도 하나를 관리할 수 있다.
본 발명의 일실시예에 따르면, 가상 오브젝트를 조작하기 위한 오브젝트를 모델링하고, 오브젝트 동작 스키마를 제안함으로써, 현실 세계의 움직임을 효율적으로 가상 세계의 오브젝트 조작에 반영할 수 있는 오브젝트 조작 장치 및 방법이 제공된다.
본 발명의 일실시예에 따르면, 아바타의 물리적 및 정신적인 조건을 정의하고, 아바타의 모션 데이터를 설정함으로써, 가상 세계에서 아바타를 효율적으로 내비게이션할 수 있는 오브젝트 조작 장치 및 방법이 제공된다.
도 1은 본 발명의 일실시예에 따른, 오브젝트 조작 장치를 도시한 블록도이다.
도 2는 본 발명의 일실시예에 따라, 가상 세계와 현실 세계를 연결하는 시스템을 도시한 도면이다.
도 3은 본 발명의 일실시예에 따른, 오브젝트 모델링을 설명하기 위한 도면이다.
도 4는 본 발명의 일실시예에 따른, 오브젝트 동작 모델을 설명하기 위한 도면이다.
도 5는 본 발명의 다른 일실시예에 따른, 오브젝트 동작 모델을 설명하기 위한 도면이다.
도 6은 본 발명의 일실시예에 따라, RV-RoSE 엔진과 연동한 오브젝트 조작 과정을 설명하기 위한 도면이다.
도 7은 본 발명의 다른 일실시예에 따른, 오브젝트 조작 장치를 도시한 블록도이다.
도 8은 본 발명의 일실시예에 따라, 아바타 컨디션 관리부에 따라 결정되는 아바타의 얼굴 표정 및 포즈를 나타내는 도면이다.
도 9는 본 발명의 일실시예에 따른, 아바타 내비게이션을 위한 메타데이터 제어를 설명하기 위한 도면이다.
도 10은 본 발명의 일실시예에 따라, RV-RoSE 엔진과 연동한 아바타 내비게이션 과정을 설명하기 위한 도면이다.
이하에서, 본 발명에 따른 실시예를 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
도 1은 본 발명의 일실시예에 따른, 오브젝트 조작 장치를 도시한 블록도이다.
도 1을 참고하면, 오브젝트 조작 장치(100)는 가상 오브젝트의 구조를 설정하는 오브젝트 모델링부(110)와 가상 오브젝트의 선택 및 상기 선택된 가상 오브젝트의 동작(Object Operation)을 제어하는 오브젝트 동작부(120)을 포함할 수 있다. 오브젝트 모델링(Object Modeling)은 가상 오브젝트를 조작하기 위해 식별자 및 속성을 포함하는 오브젝트 모델을 정의하는 것을 의미할 수 있다.
도 2는 본 발명의 일실시예에 따라, 가상 세계와 현실 세계를 연결하는 시스템을 도시한 도면이다. 즉, 도 2에는 센서 입력 메타데이터 및 가상 요소 메타데이터의 시스템 아키텍처가 도시되어 있으며, 현실 세계(220)와 가상 세계(220) 간의 연결은 VR-ROSE 엔진(231)과 RV-ROSE 엔진(232)을 통해 이루어질 수 있다. 여기서, 가상 요소 메타데이터(virtual element metadata)는 가상 공간에서 오브젝트 및 아바타들의 구조에 대한 메타데이터를 의미하고, 센서 입력 메타데이터(sensor input metadata)는 다중 모델 입력 장치에서 아바타들 및 오브젝트들의 내비게이션 및 조작과 같은 제어를 위한 메타데이터를 의미하며, 오브젝트 모델링(Object Modeling)과 오브젝트 동작(Object Operations)은 이하에서 더욱 상세하게 설명한다. 이때, 오브젝트 모델링은 센서 입력 메타데이터(sensor input metadata)와 관련되고, 오브젝트 동작은 센서 입력 명령(sensor input command)과 관련된다.
<Object Modeling (OM)>
가상 오브젝트를 조작하기 위해 식별자 및 속성을 포함하는 오브젝트 모델을 정의할 수 있다. 가상 세계에서 모든 오브젝트들은 오브젝트 사이를 인식하고 구별할 수 있는 소프트웨어를 제어할 수 있는 고유한 식별자들을 요구한다. 또한, 모든 오브젝트들은 현실감을 제공하기 위해 공간적(spatial), 물리적(physical) 및 시간적(temporal) 속성을 수반할 수 있다. 오브젝트 모델링의 일례를 도 3을 참고하여 이하에서 설명한다.
도 3은 본 발명의 일실시예에 따른, 오브젝트 모델링을 설명하기 위한 도면이다.
도 3을 참고하면, 모양을 갖는 오브젝트(310) 및 촉감을 갖는 오브젝트(320)가 도시되어 있다. 오브젝트 모델링을 통해 오브젝트가 모양 속성, 촉감 속성을 가질 수 있도록 정의할 수 있다.
한편, 가상 세계는 선택(selection)과 조작(manipulation)의 효과를 제공할 수 있으며, 이를 위해 관심있는 변수들은 오브젝트의 사이즈(size), 모양(shape), 촉감(tactile), 밀도(density), 모션(motion) 등일 수 있다.
아래에서는 선택과 조작을 위한 오브젝트 모델링의 구조를 나타낸다.
Figure PCTKR2010000571-appb-I000001
오브젝트는 크게 일반 정보(General Information), 식별자 정보(Object Identifier), 오브젝트 속성 정보(Object Attributes)로 나뉠 수 있다. 여기서, General Information은 오브젝트의 전체적 설명을 서술할 수 있다.
Object Identifier는 Virtual World에서 object를 구분하기 위한 부분이며, object의 부여된 Object ID, 현재의 상태를 선택, 선택가능, 선택 불가능으로 구분해 주는 Object State, 속성을 변형할 수 있는지를 판별해 주는 Modifiable Attributes로 구성될 수 있다.
Object Attributes는 공간 속성 정보(Spatial Attributes(ex. Shape, Location, Size)), 물리적 속성 정보(Physical Attributes(ex. Tactile, Pressure/Force, Vibration, Temperature)), 시간적 속성 정보(Temporal Attributes(ex. Duration, Motion)), 그리고 그 속성들을 복합하는 복합 속성 정보(Combinations) 부분으로 나뉠 수 있다.
< Object Operation (OO)>
오브젝트 조작은 인터페이스에서 정보를 수집하고, 속성을 수정하며, 오브젝트를 제거하고 오브젝트를 회복하는 것을 포함할 수 있다. 이하에서는, 오브젝트 동작의 일례를 설명한다.
도 4는 본 발명의 일실시예에 따른, 오브젝트 동작 모델을 설명하기 위한 도면이다.
도 4를 참고하면, 가상 자동차를 생성하는 과정이 도시되어 있다. 가상 자동차를 생성하는 작업은 초기 모델들을 사용하고, 초기 모델들의 사이즈, 위치, 모양을 수정함으로써 수행될 수 있다. 즉, 초기 모델들로부터 순차적인 단계들(410, 420, 430)을 거쳐 초기 모델들의 사이즈, 위치, 모양 등을 변형함으로써 원하는 자동차를 생성할 수 있다.
한편, 가상 오브젝트의 무게, 거친 정도 등에 따라 가상 오브젝트에 현실감을 제공할 수 있다.
예를 들어 도 5에서는, 다양한 질량을 가진 박스에 대해 손으로 움켜지는 모습이 도시되어 있다. 즉, 동일한 모양의 오브젝트에 대해서 무게, 질량 등에 따라 다양한 동작을 나타내도록 할 수 있다. 또한, 도 5에서는, 고무 공을 움켜쥐는 동안의 형태 변형의 결과가 도시되어 있다. 즉, 오브젝트에 가해진 힘, 압력 등에 따라서 오브젝트의 형태가 변형되도록 할 수 있다.
아래에서는, 오브젝트 동작(OO)의 구조를 보다 상세하게 정의한다.
Figure PCTKR2010000571-appb-I000002
오브젝트 동작(Object Operations)은 크게 사용자가 변형하고 싶은 오브젝트(object)를 선택하는 오브젝트 선택(Object Selection)과 선택된 오브젝트(object)의 속성을 변형하는 오브젝트 조작(Object Manipulation)으로 구성될 수 있다. 오브젝트 조작(Object Manipulation)은 상기 가상 오브젝트의 오브젝트 속성 정보 수집, 상기 가상 오브젝트의 오브젝트 속성 수정, 상기 가상 오브젝트의 오브젝트 속성 제거 및 저장 중 적어도 하나를 수행할 수 있다. 이를 위해, 오브젝트 조작(Object Manipulation)은 선택된 오브젝트의 ID와 기존 속성의 정보를 얻어내는 ObtainTargetInfo, 오브젝트의 속성값을 바꾸는 ModifyAttributes, 그리고 그 속성값을 제거, 저장하는 Remove/RestoreObject부분으로 구성될 수 있다.
이하에서는, 오브젝트 조작을 위한 시스템 아키텍처를 설명한다.
오브젝트 조작 과정은 사용자 선호에 따라 타겟 오브젝트를 선택하고, 선택된 오브젝트의 속성을 추출하며, 상기 추출된 속성을 변형하고, 변형된 속성을 저장한 후 상기 오브젝트를 릴리즈 할 수 있다.
도 6은 본 발명의 일실시예에 따라, RV-RoSE(Real to Virtual - Representation of Sensory Effect) 엔진과 연동한 오브젝트 조작 과정을 설명하기 위한 도면이다.
도 6을 참고하면, 전체 시스템은 Virtual World Engine(610), Real World Interface(630), Sensor Adaptation Preference(620), 및 RV-RoSE Engine(640)으로 구성된다.
Virtual World Engine(610)은 Second Life 같은 가상 세계를 연동하는 시스템이며, Real World Interface(630)은 가상 세계를 사용자의 제어로 통제할 수 있게 하는 단말기를 의미한다. Real World Interface(630)의 일예로 2/3D 마우스, 키보드, 조이스틱, 모션 센서, 열 감지 센서, 카메라, Haptic Glove등이 존재할 수 있다.
Sensor Adaptation Preference(620)는 사용자의 의도(데이터값 범위 조절 등)를 가미하는 부분을 나타낸다.
사용자가 다양한 현실 세계 인터페이스를 통해 가상 오브젝트를 선택하면 선택된 오브젝트의 ID 정보가 RV-RoSE의 importer로 들어오고, RV-RoSE의 오브젝트 조작 컨트롤러(Object Manipulation Controller)를 통해 하부 오브젝트 변수(object variable)에 공간적(spatial), 물리적(physical), 시간적(temporal) 정보가 들어온다. 사용자가 다양한 현실 세계 인터페이스를 통해 오브젝트의 속성(attribute)을 변형하면 RV-RoSE의 오브젝트 조작 컨트롤러는 그 동작에 해당하는 variable의 값을 조절하고 저장한다. 그 후, Object Information Exporter를 통해 바뀐 오브젝트의 속성은 가상 세계 엔진에 전달될 수 있다.
<메타데이터를 위한 스키마>
이하에서는 오브젝트 모델링 및 오브젝트 동작에 대한 메타데이터 스키마(metadata schema), 구문(syntax) 및 의미(semantics)를 설명한다.
<ObjectModel (OM) Schema>
1. OM
OM은 가상 요소 메타데이터의 기본 요소이다.
-Syntax
Figure PCTKR2010000571-appb-I000003
2. ObjectIdentifier
-Syntax
Figure PCTKR2010000571-appb-I000004
-Semantic
Figure PCTKR2010000571-appb-I000005
3. ObjectAttributes
-Syntax
Figure PCTKR2010000571-appb-I000006
-Semantic
Figure PCTKR2010000571-appb-I000007
4. SpatialAttributes
-Syntax
Figure PCTKR2010000571-appb-I000008
-Semantic
Figure PCTKR2010000571-appb-I000009
5. PhysicalAttributes
-Syntax
Figure PCTKR2010000571-appb-I000010
-Semantic
Figure PCTKR2010000571-appb-I000011
6. TemporalAttributes
-Syntax
Figure PCTKR2010000571-appb-I000012
-Semantic
Figure PCTKR2010000571-appb-I000013
<ObjectOperations(OO) Schema>
1. OO
-Syntax
Figure PCTKR2010000571-appb-I000014
-Semantic
Figure PCTKR2010000571-appb-I000015
2 . ObjectManipulation
-Syntax
Figure PCTKR2010000571-appb-I000016
-Semantic
Figure PCTKR2010000571-appb-I000017
한편, 도 7은 본 발명의 다른 일실시예에 따른, 오브젝트 조작 장치를 도시한 블록도이다.
도 7을 참고하면, 오브젝트 조작 장치(700)는 아바타(Avatar)의 구조를 설정하는 아바타 구조 설정부(710) 및 현실 세계의 사용자 움직임에 대응하여 상기 아바타의 움직임을 제어하는 아바타 내비게이션부(720)를 포함한다. 이때, 아바타의 구조 설정은 가상 엘리먼트 메타 메타데이터(Virtual Element Metadata)와 관련되고, 아바타의 움직임 제어, 즉, 내비게이션 제어(Navigation Control)는 센서 입력 메타데이터(sensor[y] input Metadata)와 관련된다.
<아바타 (Avatar)>
가상 요소(Virtual Elements)는 아바타들(avatars), 오브젝트들(objects), 기하도형(geometry), 카메라, 라이트(light) 조건 등을 포함하며, 본 발명의 일실시예에서는 아바타의 구조를 정의한다.
아바타는 가상 공간에서 사용자의 다른 자아(self)를 나타낸다. Second Life 또는 3D Game에서, 아바타는 물리적 및 정신적 조건을 포함하는 속성을 가져야 한다. 왜냐하면, 아바타는 상기 물리적 및 정신적 조건에 따라 다르게 행동할 수 있기 때문이다. 또한, 아바타의 동작 패턴들은 상기 물리적 및 정신적 조건을 어떻게 혼합하는 가에 따라 다양할 수 있다. 상기 물리적 및 정신적 조건에 대한 정보를 혼합하기 위해, 상기 물리적 및 정신적 조건과 관련된 파라미터를 포함할 수 있다.
우선, 아바타의 물리적 및 정신적 조건을 위해 대표적인 요소인 AvatarCondition을 정의할 수 있다. AvatarCondition은 물리적 및 정신적 조건을 위해 각각 서브 파라미터인 PhysicalCondition 및 MentalCondition을 포함할 수 있다.
한편, 아바타의 얼굴 표정 또는 포즈는 AvatarCondition의 값에 의해 결정될 수 있으며, 도 8을 참고하여 보다 상세하게 설명한다.
도 8은 본 발명의 일실시예에 따라, 아바타 컨디션 관리부에 따라 결정되는 아바타의 얼굴 표정 및 포즈를 나타내는 도면이다.
도 8을 참고하면, AvatarCondition의 값에 따라 무표정(810), 행복(820), 의자에 앉아 있는 포즈(830) 등 다양한 표정과 포즈를 결정할 수 있다.
아바타의 다양한 행동 패턴들을 생성하기 위해, 아바타 메타데이터는 또한 AvatarMotionData를 포함할 수 있다. AvatarMotionData는 모션 데이터가 할당된 현재 모션 상태(ex. on/off), 및 아바타가 모션에 얼마나 반응하는지(ex. 반응 범위)를 포함할 수 있다.
따라서, 아바타의 정보 구조는 아래와 같이 구성될 수 있다.
Figure PCTKR2010000571-appb-I000018
<내비게이션 제어(Navigation Control)>
아바타 내비게이션은 3D 가상 세계를 위한 제어들 중 기본적인 동작이다. 다중 모델 인터페이스는 사용자 또는 그것의 환경과 관련된 컨텍스트 정보를 인식할 수 있을 뿐만 아니라, 내비게이션을 위한 필요불가결한 정보를 인식할 수 있다. 만약, 다중 입력 모델 인터페이스의 이들 센서 입력이 조직화된다면, 아바타의 내비게이션은 다양한 방법으로 표현될 수 있다.
도 9는 본 발명의 일실시예에 따른, 아바타 내비게이션을 위한 메타데이터 제어를 설명하기 위한 도면이다.
도 9를 참고하면, 아바타는 걷기 또는 뛰기 등의 동작 여부를 확인하기 위해 MoveState를 사용할 수 있다. 뛰는 것과 걷는 것은 속도를 이용하여 구별될 수 있다. RefMotionID는 아바타에 대해 어떤 모션이 내비게이션과 동시적으로 수행되는 것인지를 제공한다. 또한, 다양한 상황은 다중 모델 인터페이스로부터 컨텍스트 정보를 통해 내비게이션 할 수 있도록 적용된다.
센서 입력에 대해 내비게이션 제어의 정보 구조는 아래와 같이 구성될 수 있다.
Figure PCTKR2010000571-appb-I000019
도 10은 본 발명의 일실시예에 따라, RV-RoSE 엔진과 연동한 아바타 내비게이션 과정을 설명하기 위한 도면이다.
도 10을 참고하면, 전체 시스템은 Virtual World Engine(1010), Real World Interface(1030), Sensor Adaptation Preference(1020), 그리고 RV-RoSE Engine(1040)으로 구성된다.
Virtual World Engine(1010)은 Second Life 같은 가상 세계를 연동하는 시스템이며, Real World Interface(1030)은 가상 세계를 사용자의 제어로 통제할 수 있게 하는 단말기이다. 또한, Sensor Adaptation Preference(1020)는 사용자의 의도(데이터값 범위 조절 등)를 가미할 수 있다.
사용자가 다양한 현실 세계 인터페이스를 통해 아바타를 선택하면 상기 선택된 아바타 의 ID 정보가 RV-RoSE의 importer로 들어오고, 또한 RV-RoSE의 아바타 내비게이션 컨트롤러(Avatar Navigation Controller)를 통해 하부 내비게이션 변수(Navigation variable)에 Navigation정보가 들어온다. 사용자가 다양한 현실 세계 인터페이스를 통해 아바타의 Navigation 값을 변형하면 RV-RoSE의 아바타 내비게이션 컨트롤러는 그 동작에 해당하는 variable의 값을 조절하고 저장한다. 그 후, Avatar Information Exporter를 통해 바뀐 Avatar의 Navigation 값은 가상 세계 엔진에 전달될 수 있다.
<메타데이터를 위한 스키마>
<Virtual Element Schema>
1. VE
VE는 Virtual Elements의 기본 요소이다.
-syntax
Figure PCTKR2010000571-appb-I000020
-semantics
Figure PCTKR2010000571-appb-I000021
2. Avatar
Avatar 는 아바타 특성에 적용될 수 있는 모든 파라미터들의 정보를 포함한다.
-syntax
Figure PCTKR2010000571-appb-I000022
-semantics
Figure PCTKR2010000571-appb-I000023
3. AvatarIdentifier
AvatarIdentifier는 아바타 식별 정보에 대한 특정 타입을 포함한다.
-syntax
Figure PCTKR2010000571-appb-I000024
-semantics
Figure PCTKR2010000571-appb-I000025
4. AvatarMotionData
AvatarMotionData는 아바타 모션 정보의 특정 타입을 포함한다.
-syntax
Figure PCTKR2010000571-appb-I000026
-semantics
Figure PCTKR2010000571-appb-I000027
5. AvatarCondition
AvatarCondition은 아바타의 조건 정보의 특정 타입을 포함하고, PhysicalCondition 와 MentalCondition를 포함한다.
-syntax
Figure PCTKR2010000571-appb-I000028
-semantics
Figure PCTKR2010000571-appb-I000029
Figure PCTKR2010000571-appb-I000030
<Navigation Control Schema>
1. Navigation
Navigation은 모든 제어 파라미터들과 이들 컨텍스처 상태(contextual state)들의 정보를 포함한다.
-syntax
Figure PCTKR2010000571-appb-I000031
-semantics
Figure PCTKR2010000571-appb-I000032
2. NavigationDescription
NavigationDescription은 초기 내비게이션 상태를 위한 정보를 포함한다.
-syntax
Figure PCTKR2010000571-appb-I000033
-semantics
Figure PCTKR2010000571-appb-I000034
상기와 같이, 가상 오브젝트를 조작하기 위한 오브젝트를 모델링하고, 오브젝트 동작 스키마를 제안함으로써, 현실 세계의 움직임을 효율적으로 가상 세계의 오브젝트 조작에 반영할 수 있다.
또한, 아바타의 물리적 및 정신적인 조건을 정의하고, 아바타의 모션 데이터를 설정함으로써, 가상 세계에서 아바타를 효율적으로 내비게이션할 수 있다.
본 발명에 따른 실시예들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

Claims (11)

  1. 가상 오브젝트의 구조를 설정하는 오브젝트 모델링부; 및
    상기 가상 오브젝트의 선택 및 상기 선택된 가상 오브젝트의 동작을 제어하는 오브젝트 동작부
    를 포함하는, 오브젝트 조작 장치.
  2. 제1항에 있어서,
    상기 가상 오브젝트는,
    상기 가상 오브젝트의 일반 정보(General Information),
    가상 세계에서 상기 가상 오브젝트를 식별하기 위한 식별자 정보(Object Identifier), 및
    상기 가상 오브젝트의 하나 이상의 속성을 보유하는 오브젝트 속성 정보(Object Attributes)
    중 적어도 하나를 포함하는, 오브젝트 조작 장치.
  3. 제2항에 있어서,
    상기 식별자 정보는,
    상기 가상 오브젝트에 부여된 오브젝트 ID,
    상기 가상 오브젝트의 상태를 식별하기 위한 오브젝트 상태 정보,
    상기 가상 오브젝트에 대한 속성을 변형할 수 있는지 여부를 판별하는 속성 변형 정보(Modifiable Attributes)
    중 적어도 하나를 포함하는, 오브젝트 조작 장치.
  4. 제2항에 있어서,
    상기 오브젝트 속성 정보는,
    공간 속성 정보(Spatial Attributes), 물리적 속성 정보(Physical Attributes), 시간적 속성 정보(Temporal Attributes), 및 복합 속성 정보(Combinations) 중 적어도 하나를 포함하는, 오브젝트 조작 장치.
  5. 제4항에 있어서,
    상기 공간 속성 정보는,
    상기 가상 오브젝트의 형태(Shape), 위치(Location), 및 크기(Size) 중 적어도 하나를 포함하고,
    상기 물리적 속성 정보는,
    상기 가상 오브젝트의 재질(Tactile), 압력(Pressure), 진동(Vibration), 및 온도(Temperature) 중 적어도 하나를 포함하며,
    상기 시간적 속성 정보는,
    상기 가상 오브젝트의 지속기간(Duration) 및 움직임(Motion) 중 적어도 하나를 포함하는, 오브젝트 조작 장치.
  6. 제1항에 있어서,
    상기 오브젝트 동작부는,
    상기 가상 오브젝트의 선택, 상기 가상 오브젝트의 오브젝트 속성 정보(Object Attributes) 수집, 상기 가상 오브젝트의 오브젝트 속성 수정, 상기 가상 오브젝트의 오브젝트 속성 제거 및 저장 중 적어도 하나의 수행을 제어하는, 오브젝트 조작 장치.
  7. 아바타(Avatar)의 구조를 설정하는 아바타 구조 설정부; 및
    현실 세계의 사용자 움직임에 대응하여 상기 아바타의 움직임을 제어하는 아바타 내비게이션부
    를 포함하는, 오브젝트 조작 장치.
  8. 제7항에 있어서,
    상기 아바타 구조 설정부는,
    상기 아바타를 식별하기 위한 정보를 설정하는 아바타 식별부;
    상기 아바타의 물리적 컨디션 및 정신적 컨디션을 설정하는 아바타 컨디션 관리부; 및
    상기 아바타의 모션(Motion)을 관리하는 아바타 모션 관리부
    의 데이터를 설정하는, 오브젝트 조작 장치.
  9. 제8항에 있어서,
    상기 아바타 컨디션 관리부는,
    상기 아바타의 물리적 컨디션 및 정신적 컨디션에 기초하여 상기 아바타의 얼굴 표정 및 포즈 중 적어도 하나를 관리하는, 오브젝트 조작 장치.
  10. 제7항에 있어서,
    상기 아바타 내비게이션부는,
    상기 아바타의 일반 정보를 관리하는 일반 정보 관리부; 및
    상기 아바타의 움직임을 제어하는 제어 데이터 관리부
    를 포함하는, 오브젝트 조작 장치.
  11. 제10항에 있어서,
    상기 제어 데이터 관리부는,
    상기 아바타의 이동 상태, 방향, 및 속도 중 적어도 하나를 관리하는, 오브젝트 조작 장치.
PCT/KR2010/000571 2009-01-29 2010-01-29 다중 입력 소스를 이용한 오브젝트 조작 장치 WO2010087654A2 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP10736045.5A EP2393064A4 (en) 2009-01-29 2010-01-29 OBJECT HANDLING DEVICE USING MULTIPLE INPUT SOURCES
US13/147,069 US9454222B1 (en) 2009-01-29 2010-01-29 Device for object manipulating with multi-input sources

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
KR10-2009-0007181 2009-01-29
KR20090007181 2009-01-29
KR10-2009-0007182 2009-01-29
KR20090007182 2009-01-29
KR10-2010-0008110 2010-01-28
KR1020100008110A KR20100088094A (ko) 2009-01-29 2010-01-28 다중 입력 소스를 이용한 오브젝트 조작 장치

Publications (2)

Publication Number Publication Date
WO2010087654A2 true WO2010087654A2 (ko) 2010-08-05
WO2010087654A3 WO2010087654A3 (ko) 2010-11-04

Family

ID=42754397

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2010/000571 WO2010087654A2 (ko) 2009-01-29 2010-01-29 다중 입력 소스를 이용한 오브젝트 조작 장치

Country Status (4)

Country Link
US (1) US9454222B1 (ko)
EP (1) EP2393064A4 (ko)
KR (1) KR20100088094A (ko)
WO (1) WO2010087654A2 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5998861B2 (ja) * 2012-11-08 2016-09-28 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
EP3019913A4 (en) * 2013-07-10 2017-03-08 Real View Imaging Ltd. Three dimensional user interface
US10228242B2 (en) * 2013-07-12 2019-03-12 Magic Leap, Inc. Method and system for determining user input based on gesture
KR20180033822A (ko) * 2016-09-26 2018-04-04 포항공과대학교 산학협력단 물리적 시뮬레이션으로부터 진동 효과를 발생시키는 방법 및 장치
US11291919B2 (en) * 2017-05-07 2022-04-05 Interlake Research, Llc Development of virtual character in a learning game
KR20220086873A (ko) * 2020-12-17 2022-06-24 한국전자통신연구원 숙련도 조절이 가능한 npc 생성 장치 및 방법

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0864145A4 (en) * 1995-11-30 1998-12-16 Virtual Technologies Inc TACTILE FEEDBACK FOR HUMAN / MACHINE INTERFACE
GB2404315A (en) * 2003-07-22 2005-01-26 Kelseus Ltd Controlling a virtual environment
US20060250401A1 (en) * 2005-05-06 2006-11-09 Patrick Pannese Systems and methods for generating 3D simulations
KR100571832B1 (ko) * 2004-02-18 2006-04-17 삼성전자주식회사 3차원 객체의 물리특성을 고려한 통합 모델링 방법 및 장치
JP4297804B2 (ja) * 2004-02-19 2009-07-15 任天堂株式会社 ゲーム装置及びゲームプログラム
JP2007536634A (ja) 2004-05-04 2007-12-13 フィッシャー−ローズマウント・システムズ・インコーポレーテッド プロセス制御システムのためのサービス指向型アーキテクチャ
US20050285853A1 (en) * 2004-06-29 2005-12-29 Ge Medical Systems Information Technologies, Inc. 3D display system and method
US8060251B2 (en) * 2004-12-06 2011-11-15 Honda Motor Co., Ltd. Interface for robot motion control
US8683386B2 (en) 2006-10-03 2014-03-25 Brian Mark Shuster Virtual environment for computer game
US8902227B2 (en) * 2007-09-10 2014-12-02 Sony Computer Entertainment America Llc Selective interactive mapping of real-world objects to create interactive virtual-world objects

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
None
See also references of EP2393064A4

Also Published As

Publication number Publication date
WO2010087654A3 (ko) 2010-11-04
US20160259409A1 (en) 2016-09-08
KR20100088094A (ko) 2010-08-06
EP2393064A4 (en) 2013-07-31
US9454222B1 (en) 2016-09-27
EP2393064A2 (en) 2011-12-07

Similar Documents

Publication Publication Date Title
WO2010087654A2 (ko) 다중 입력 소스를 이용한 오브젝트 조작 장치
WO2019168336A1 (en) Autonomous driving apparatus and method thereof
WO2019164373A1 (en) Electronic device displaying avatar motion-performed as per movement of facial feature point and method for operating same
WO2020153810A1 (en) Method of controlling device and electronic device
WO2014058233A1 (ko) 데이터 프리로드를 통한 사용자 디바이스의 gui 반응 속도 증대 방법 및 그 사용자 디바이스
WO2017119745A1 (en) Electronic device and control method thereof
WO2010050693A2 (en) Interface apparatus for generating control command by touch and motion, interface system including the interface apparatus, and interface method using the same
WO2016192438A1 (zh) 一种体感交互系统激活方法、体感交互方法及系统
WO2019027258A1 (en) ELECTRONIC DEVICE AND METHOD FOR CONTROLLING THE ELECTRONIC DEVICE
WO2020180084A1 (ko) 타겟 이미지의 채색 완성 방법, 장치 및 컴퓨터 프로그램
WO2018043966A1 (ko) 로봇 청소기, 단말 장치 및 그 제어 방법
WO2019146942A1 (ko) 전자 장치 및 그의 제어방법
WO2016129923A1 (ko) 디스플레이 장치 및 디스플레이 방법 및 컴퓨터 판독가능 기록매체
WO2021040105A1 (ko) 개체명 테이블을 생성하는 인공 지능 장치 및 그 방법
WO2020251096A1 (ko) 인공 지능 로봇 및 그의 동작 방법
WO2021162366A1 (ko) Ar 객체를 배치하는 방법 및 전자 장치
WO2021075705A1 (ko) 전자 장치 및 그의 제어 방법
WO2014092293A1 (ko) 사용자의 입력에 즉각적인 결과를 제공할 수 있는 서비스 제공 방법, 이를 위한 시스템 및 장치
WO2020027417A1 (en) Electronic device and method for providing virtual input tool
WO2015167081A1 (ko) 신체 부분 검출 방법 및 장치
WO2021221394A1 (ko) 이미지 증강을 위한 방법 및 전자 장치
WO2023063570A1 (ko) 손 동작에 관한 이미지 데이터를 획득하는 전자 장치 및 그 동작 방법
WO2015012478A1 (ko) 테두리 터치를 이용하는 입력 및 포인팅을 위한 방법 및 장치
WO2022240082A1 (ko) 의상 시뮬레이션 방법 및 장치
WO2023058819A1 (ko) 가상 현실 공간에 대한 제어를 수행하는 전자 시스템, 전자 장치 및 그 동작 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10736045

Country of ref document: EP

Kind code of ref document: A2

NENP Non-entry into the national phase

Ref country code: DE

REEP Request for entry into the european phase

Ref document number: 2010736045

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2010736045

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 13147069

Country of ref document: US