KR102009753B1 - System for processing object based on virtual reality and operating method thereof - Google Patents
System for processing object based on virtual reality and operating method thereof Download PDFInfo
- Publication number
- KR102009753B1 KR102009753B1 KR1020170072640A KR20170072640A KR102009753B1 KR 102009753 B1 KR102009753 B1 KR 102009753B1 KR 1020170072640 A KR1020170072640 A KR 1020170072640A KR 20170072640 A KR20170072640 A KR 20170072640A KR 102009753 B1 KR102009753 B1 KR 102009753B1
- Authority
- KR
- South Korea
- Prior art keywords
- virtual reality
- sensing data
- change
- information
- reality space
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/003—Navigation within 3D models or images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/038—Indexing scheme relating to G06F3/038
- G06F2203/0384—Wireless input, i.e. hardware and software details of wireless interface arrangements for pointing devices
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Software Systems (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
본 발명은 가상현실에 기반하는 객체 처리장치 및 그 동작 방법에 관한 것으로, 일 실시 예에 따르면, 가상현실에 기반하는 객체 처리장치의 동작 방법에 있어서, 무선 통신으로 연결된 객체장치로부터 최초 센싱데이터를 수신하는 단계; 상기 센싱데이터에 기반하여 상기 객체장치의 환경 및 상기 객체장치를 가상현실 공간 및 상기 가상현실 공간에 위치하는 객체로 구현하는 단계; 상기 객체장치로부터 최후 센싱데이터를 수신하고, 상기 최후 센싱데이터로부터 상기 객체장치의 변화를 검출하는 단계; 및 검출된 변화에 기반하여 상기 객체의 변화를 구현하는 단계;를 포함하며, 다른 실시 예로도 적용이 가능하다.The present invention relates to an object processing apparatus based on virtual reality and a method of operating the same. According to an embodiment of the present invention, in the method of operating an object processing apparatus based on a virtual reality, the first sensing data is transmitted from an object device connected through wireless communication. Receiving; Implementing the environment of the object device and the object device as an object located in the virtual reality space and the virtual reality space based on the sensing data; Receiving last sensing data from the object apparatus, and detecting a change of the object apparatus from the last sensing data; And implementing a change of the object based on the detected change. It may be applied to another embodiment.
Description
본 발명은 가상현실에 기반하는 객체 처리장치 및 그 동작 방법에 관한 것으로, 상세하게는, 객체에 가해지는 움직임을 가상현실을 통하여 구현하는 장치 및 그 동작 방법에 관한 것이다.The present invention relates to an apparatus for processing an object based on virtual reality and a method of operating the same, and more particularly, to an apparatus for implementing a motion applied to an object through virtual reality and a method of operating the same.
가상 현실 (virtual reality, VR) 은 현실의 환상을 제공한다. 가상현실 기술은 일반적으로 교육, 오락, 훈련, 의학 등의 분야의 컴퓨팅 시스템 (computing system) 에서 사용된다. 가상현실 환경은 시각, 청각, 촉각, 후각(냄새), 및 구개(맛)의 다양한 인간 감각 현상에 대한 경험을 가상의 공간을 통하여 제공한다.Virtual reality (VR) provides the illusion of reality. Virtual reality technology is commonly used in computing systems in the fields of education, entertainment, training and medicine. The virtual reality environment provides a virtual space for the experience of various human sensory phenomena of sight, hearing, touch, smell (smell), and palate (taste).
이들 중, 촉각은 컴퓨터-인간 상호작용에서 시각 및 청각 다음으로 가장 지배적인 감각이며, 더욱 높은 몰입성 및 상호작용성의 질을 갖는 가상 환경을 제공하기 위하여 지각을 가상 현실에 구현하기 위한 많은 연구가 진행되고 있다.Among them, tactile sense is the most dominant sensation after sight and hearing in computer-human interaction, and much research has been carried out to implement perception in virtual reality in order to provide a virtual environment with higher quality of immersion and interactivity. It is becoming.
특허문헌 제10-2017-0037220호는 촉각 질감(tactile texture) 및 3D 형태를 인지하는 능력을 개선하도록 장애인뿐만 아니라 노인 및 어린이를 돕기 위해 사용될 수 있는 햅틱 가상 현실 게이밍 (Haptic Virtual Reality Gaming) 시스템을 이용하여 햅틱 퍼즐 (Haptic Puzzle) 을 제공하는 방법으로서, 표시부에 질의 객체 및 복수의 예시 객체에 대응하는 아이콘을 표시하는 단계; 햅틱 장치를 이용하여 상기 질의 객체 및 복수의 예시 객체들 각각에 대한 촉각 감각을 사용자에게 제공하는 단계; 입력부를 이용하여 상기 사용자로부터 상기 복수의 예시 객체 중 상기 질의 객체와 동일한 질감의 예시 객체에 대한 선택을 수신하는 단계; 및 상기 선택된 예시 객체와 상기 질의 객체가 동일한 질감을 가지는지 여부를 결정하는 단계를 포함하는, 햅틱 가상 현실 게이밍 시스템을 이용하여 햅틱 퍼즐을 제공하는 방법을 개시한다.Patent document 10-2017-0037220 describes a haptic virtual reality gaming system that can be used to help elderly and children as well as disabled people to improve their tactile texture and ability to perceive 3D shapes. A method of providing a haptic puzzle using the method, the method comprising: displaying an icon corresponding to a query object and a plurality of example objects on a display unit; Providing a user with a haptic sense of each of the query object and a plurality of example objects using a haptic device; Receiving a selection of an example object having the same texture as the query object among the plurality of example objects from the user by using an input unit; And determining whether the selected example object and the query object have the same texture. The method provides a haptic puzzle using a haptic virtual reality gaming system.
이러한 햅틱 가상 현실 게이밍 시스템은 질감의 차이를 구분하여 사용자에게 제공함으로써 인지능력을 개선시킬 수 있음을 개시하고 있으나, 시스템을 통하여 제공되는 햅틱의 차이를 느끼고 표시된 예들 중 하나를 선택하는 수동적인 방법을 제공할 뿐, 사용자로 하여금 인지능력을 향상시키기 위한 적극적인 행동을 유도하는 데 여전히 한계가 존재한다.Although the haptic virtual reality gaming system discloses that the cognitive ability can be improved by distinguishing the difference of texture and providing it to the user, the haptic virtual reality gaming system feels the difference of haptic provided through the system and selects one of the displayed examples. In addition, there are still limitations in inducing the user to take active actions to improve cognitive ability.
이러한 종래의 문제점을 해결하기 위한 본 발명의 다양한 실시 예에 따르면, 객체장치의 위상 또는 움직임이 특정된 데이터를 수신하여 가상현실 공간에 구현하는. 가상현실에 기반하는 객체 처리장치 및 그 동작 방법을 제공할 수 있다.According to various embodiments of the present disclosure for solving the conventional problems, the data receiving the phase or the movement of the object apparatus is specified and implemented in the virtual reality space. An object processing apparatus based on virtual reality and a method of operating the same may be provided.
다양한 실시 예에 따르면, 객체장치 주변 환경에 대하여 측정된 데이터를 수신하여 가상현실 공간을 구현하는 가상현실에 기반하는 객체 처리장치 및 그 동작 방법을 제공할 수 있다.According to various embodiments of the present disclosure, an object processing apparatus based on virtual reality that receives data measured with respect to an environment around an object apparatus and implements a virtual reality space, and a method of operating the same may be provided.
본 발명의 일 실시 예에 따르면, 가상현실에 기반하는 객체 처리장치의 동작 방법에 있어서, 무선 통신으로 연결된 객체장치로부터 최초 센싱데이터를 수신하는 단계; 상기 센싱데이터에 기반하여 상기 객체장치의 환경 및 상기 객체장치를 가상현실 공간 및 상기 가상현실 공간에 위치하는 객체로 구현하는 단계; 상기 객체장치로부터 최후 센싱데이터를 수신하고, 상기 최후 센싱데이터로부터 상기 객체장치의 변화를 검출하는 단계; 및 검출된 변화에 기반하여 상기 객체의 변화를 구현하는 단계;를 포함한다.According to an embodiment of the present invention, a method of operating an object processing apparatus based on virtual reality, the method comprising: receiving first sensing data from an object apparatus connected through wireless communication; Implementing the environment of the object device and the object device as an object located in the virtual reality space and the virtual reality space based on the sensing data; Receiving last sensing data from the object apparatus, and detecting a change of the object apparatus from the last sensing data; And implementing a change in the object based on the detected change.
다양한 실시 예에 따르면, 상기 최초 센싱데이터는, 상기 객체의 기울기 정보, 상기 객체의 방향 정보, 상기 객체의 높이 정보, 상기 객체 주변에 위치한 다른 객체와의 거리 정보, 상기 다른 객체의 위치, 상기 다른 객체가 위치한 방향 정보 중 적어도 하나의 정보를 포함할 수 있다.According to various embodiments of the present disclosure, the initial sensing data may include slope information of the object, direction information of the object, height information of the object, distance information with respect to other objects located around the object, location of the other object, and other information. It may include at least one piece of information about the direction in which the object is located.
또한, 상기 변화는, 상기 객체의 가속도 정보, 상기 객체의 회전 정보, 상기 객체의 높이 변화 정보, 상기 객체에 가해지는 압력 정보 중 적어도 하나의 정보를 포함할 수 있다.The change may include at least one of acceleration information of the object, rotation information of the object, height change information of the object, and pressure information applied to the object.
또한, 검출된 변화에 기반하여 상기 객체의 변화를 구현하는 단계는, 상기 검출된 변화에 기반하여 상기 객체의 형상 변화, 상기 객체의 회전, 상기 객체의 높이 변화 중 적어도 하나를 상기 가상현실 공간에 구현할 수 있다.The implementing of the change of the object based on the detected change may include at least one of a shape change of the object, a rotation of the object, and a height change of the object on the basis of the detected change. Can be implemented.
또한, 상기 센싱데이터에 기반하여 상기 객체장치의 환경 및 상기 객체장치를 가상현실 공간 및 상기 가상현실 공간에 위치하는 객체로 구현하는 단계는, 상기 센싱데이터로부터 검출되는 상기 객체장치와 다른 객체와의 거리 및 상기 가상현실 공간의 사이즈에 기반하여 상기 가상현실 공간 내에 상기 다른 객체 및 상기 객체의 위상을 구현할 수 있다.The method may further include implementing the environment of the object apparatus and the object apparatus based on the sensing data as an object located in the virtual reality space and the virtual reality space, between the object apparatus detected from the sensing data and another object. The other object and the phase of the object may be implemented in the virtual reality space based on a distance and the size of the virtual reality space.
한편, 본 발명의 일 실시 예에 따르면, 가상현실에 기반하는 객체 처리장치는, 적어도 하나의 객체장치와 무선 통신으로 데이터를 송수신하는 통신부; 가상현실 공간을 출력하는 디스플레이; 및 상기 객체장치로부터 최초 센싱데이터를 수신하고, 상기 센싱데이터에 기반하여 상기 객체장치의 환경 및 상기 객체장치를 가상현실 공간 및 상기 가상현실 공간에 위치하는 객체로 구현하여 상기 디스플레이를 통하여 출력하고, 상기 객체장치로부터 최후 센싱데이터를 수신하고, 상기 최후 센싱데이터로부터 상기 객체장치의 변화를 검출하고, 검출된 변화에 기반하여 상기 객체의 변화를 구현하여 상기 디스플레이에 출력하는 제어부;를 포함한다.On the other hand, according to an embodiment of the present invention, an object processing apparatus based on virtual reality, the communication unit for transmitting and receiving data in wireless communication with at least one object device; A display for outputting a virtual reality space; And receiving the first sensing data from the object device, embodying the environment of the object device and the object device as a virtual reality space and an object located in the virtual reality space based on the sensing data, and outputting the same through the display. And a controller configured to receive the last sensing data from the object device, detect a change in the object device from the last sensing data, and implement a change of the object based on the detected change and output the change to the display.
다양한 실시 예에 따르면, 상기 제어부는, 상기 객체의 기울기 정보, 상기 객체의 방향 정보, 상기 객체의 높이 정보, 상기 객체 주변에 위치한 다른 객체와의 거리 정보, 상기 다른 객체의 위치, 상기 다른 객체가 위치한 방향 정보 중 적어도 하나의 정보를 상기 최초 센싱데이터로부터 검출할 수 있다.According to various embodiments of the present disclosure, the controller may include the inclination information of the object, the direction information of the object, the height information of the object, the distance information of another object located around the object, the location of the other object, and the other object. At least one piece of information on the located direction may be detected from the first sensing data.
또한, 상기 제어부는, 상기 객체의 가속도 정보, 상기 객체의 회전 정보, 상기 객체의 높이 변화 정보, 상기 객체에 가해지는 압력 정보 중 적어도 하나의 정보를 상기 변화에 포함하여 처리할 수 있다.The control unit may process the change by including at least one of acceleration information of the object, rotation information of the object, height change information of the object, and pressure information applied to the object.
또한, 상기 제어부는, 상기 검출된 변화에 기반하여 상기 객체의 형상 변화, 상기 객체의 회전, 상기 객체의 높이 변화 중 적어도 하나를 상기 가상현실 공간에 구현하여 상기 객체의 변화를 구현할 수 있다.The controller may implement a change of the object by implementing at least one of a shape change of the object, a rotation of the object, and a change of the height of the object based on the detected change.
또한, 상기 제어부는, 상기 센싱데이터로부터 검출되는 상기 객체장치와 다른 객체와의 거리 및 상기 가상현실 공간의 사이즈에 기반하여 상기 가상현실 공간 내에 상기 다른 객체 및 상기 객체의 위상을 구현할 수 있다.The controller may implement the phases of the other object and the object in the virtual reality space based on the distance between the object apparatus and another object detected from the sensing data and the size of the virtual reality space.
본 발명의 다양한 실시 예에 따르면, 처리장치를 통하여 시각적 가상현실 공간에 객체를 생성하고, 사용자로 하여금 객체장치를 파지하고 조작하는 동작에 따른 객체장치의 움직임, 위상을 가상현실 공간에 구현함으로써, 사용자에게 스스로의 동작을 인지시키고, 인지능력 또는 행동능력의 기능 향상의 기회를 제공할 수 있다.According to various embodiments of the present disclosure, by creating an object in a visual virtual reality space through a processing device, and implementing a movement and a phase of the object device in a virtual reality space according to an operation of a user grasping and manipulating the object device, The user may be aware of his or her own movement, and may provide an opportunity for improving cognitive or behavioral ability.
다양한 실시 예에 따르면, 처리장치를 통하여 가상현실 공간을 생성하고, 객체장치에 작용하는 현상을 감각적 효과가 추가된 객체로 구현함으로써 현실에서의 인지능력 훈련 대비 그 효과를 행상시킬 수 있고, 더하여, 시각적 효과뿐만 아니라, 청각적 효과 또한 제공할 수 있어 사용자에게 복합적인 인지능력의 향상을 기대할 수 있다.According to various embodiments of the present disclosure, a virtual reality space may be generated through a processing device, and a phenomenon acting on an object device may be implemented as an object to which sensory effects are added. In addition to visual effects, auditory effects can also be provided, so the user can expect complex cognitive enhancement.
도 1은 본 발명의 일 실시 예에 따른 시스템을 통하여 제공되는 가상현실을 도시하는 도면이다.
도 2는 본 발명의 일 실시 예에 따른 처리장치 또는 처리장치가 연결되는 가상현실 제공장치에 대한 도면이다.
도 3은 본 발명의 일 실시 예에 따른 처리장치의 구성 요소를 도시하는 도면이다.
도 4는 본 발명의 일 실시 예에 따른 객체장치의 구성 요소를 도시하는 도면이다.
도 5는 본 발명의 일 실시 예에 따른 처리장치에서 가상현실 공간 및 객체를 구현하고 출력하는 동작의 흐름도이다.
도 6은 본 발명의 일 실시 예에 따른 처리장치에서 가상현실 공간에 구현된 객체의 변화를 요청하고 변화를 처리하는 동작의 흐름도이다.
도 7은 본 발명의 일 실시 예에 따른 처리장치에서 객체장치로부터 수신하는 센싱데이터에 기반하여 생성되는 가상현실 공간 및 객체를 도시하는 도면이다.
도 8은 본 발명의 일 실시 예에 따른 처리장치에서 객체장치로부터 수신하는 센싱데이터에 기반하여 가상현실 공간에 구현된 객체를 변형하는 동작을 도시하는 도면이다.
도 9는 본 발명의 일 실시 예에 따른 처리장치에서 객체장치로부터 수신하는 센싱데이터에 기반하여 가상현실 공간에 구현된 객체를 변형하는 동작을 도시하는 도면이다.
도 10은 본 발명의 일 실시 예에 따른 시스템에서 객체장치의 구체적인 구성을 도시하는 도면이다.1 is a diagram illustrating a virtual reality provided through a system according to an embodiment of the present invention.
2 is a diagram of a virtual reality providing apparatus to which a processing apparatus or a processing apparatus is connected according to an embodiment of the present invention.
3 is a diagram illustrating components of a processing apparatus according to an embodiment of the present invention.
4 is a diagram illustrating components of an object apparatus according to an embodiment of the present invention.
5 is a flowchart of an operation of implementing and outputting a virtual reality space and an object in a processing apparatus according to an exemplary embodiment.
FIG. 6 is a flowchart illustrating an operation of requesting a change of an object implemented in a virtual reality space and processing a change in a processing apparatus according to an exemplary embodiment.
FIG. 7 is a diagram illustrating a virtual reality space and an object generated based on sensing data received from an object device in a processing device according to an exemplary embodiment.
FIG. 8 is a diagram illustrating an operation of deforming an object implemented in a virtual reality space based on sensing data received from an object device in a processing device according to an embodiment of the present disclosure.
FIG. 9 is a diagram illustrating an operation of deforming an object implemented in a virtual reality space based on sensing data received from an object device in a processing device according to an embodiment of the present disclosure.
10 is a diagram illustrating a specific configuration of an object apparatus in a system according to an embodiment of the present invention.
이하, 첨부된 도면을 참조하여 본 발명의 실시 예들을 보다 상세하게 설명하고자 한다. 이 때, 첨부된 도면에서 동일한 구성 요소는 가능한 동일한 부호로 나타내고 있음을 유의해야 한다. 그리고 본 발명의 요지를 흐리게 할 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략할 것이다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. At this time, it should be noted that the same components in the accompanying drawings are represented by the same reference numerals as possible. And a detailed description of known functions and configurations that can blur the gist of the present invention will be omitted.
본 발명의 다양한 실시 예에서 사용되는 ‘또는’, ‘적어도 하나’ 등의 표현은 함께 나열된 단어들 중 하나를 나타내거나, 또는 둘 이상의 조합을 나타낼 수 있다.The expression 'or' or 'at least one' used in various embodiments of the present disclosure may indicate one of the words listed together or a combination of two or more.
본 발명의 다양한 실시 예에서 사용되는 용어들은 특정 일 실시 예를 설명하기 위한 것으로, 본 발명을 한정하는 것으로 해석되어서는 안되며, 예를 들어, 단수의 표현은 문맥상 명백하게 다른 것으로 명시되지 않는 한 복수의 의미를 포함할 수 있을 것이다.Terms used in various embodiments of the present disclosure are for explaining a specific embodiment and should not be construed as limiting the present disclosure. For example, the singular forms "a", "an" and "the" are intended to be used in the plural unless the context clearly indicates otherwise. It may include the meaning of.
본 발명의 다양한 실시 예에 따르면, 가상현실에 기반하는 객체 처리장치(이하, 처리장치) 및 그 동작 방법을 설명한다. 여기서, 가상현실에 기반하는 객체처리장치는, 시각, 촉각 및/또는 청각과 같은 감각적 인지 훈련을 위하여 사용자의 손에 접촉되는 객체장치를 통하여 검출되는 정보를 수신하고, 가상현실 공간에 출력하는 장치로 제공될 수 있다.According to various embodiments of the present disclosure, an object processing apparatus (hereinafter, referred to as a processing apparatus) based on virtual reality and a method of operating the same will be described. Here, the object processing apparatus based on the virtual reality is a device for receiving information detected through the object device in contact with the user's hand for sensory cognitive training, such as visual, tactile and / or auditory, and output to the virtual reality space It may be provided as.
또한, 본 발명의 다양한 실시 예에 따르면, 객체장치 및 객체장치로부터 수신한 정보를 처리하는 처리장치를 포함하는 시스템이 제공될 수 있다.In addition, according to various embodiments of the present disclosure, a system including an object device and a processing device for processing information received from the object device may be provided.
도 1은 본 발명의 일 실시 예에 따른 시스템을 통하여 제공되는 가상현실을 도시하는 도면이다. 여기서, 시스템은 적어도 하나의 전자장치를 포함하여 구성될 수 있다. 일 실시 예에 따르면, 시스템은 사용자에 파지 및 조작되며 그 위상을 검출하는 객체장치(이하, 객체(102) 및 객체의 동작 상태를 수신하여 사용자에게 시각 인터페이스를 출력하는 처리장치(101) 중 적어도 하나의 장치를 포함한다.1 is a diagram illustrating a virtual reality provided through a system according to an embodiment of the present invention. Here, the system may include at least one electronic device. According to an embodiment of the present disclosure, the system may include at least one of an object device (hereinafter, referred to as an object 102 and a
여기서, 도 1을 참조하면, 객체장치(103)는, 육면체(또는 사각기둥) 형상의 블록으로 제공될 수 있다. 객체장치(103)는 내부에 적어도 하나의 센서를 포함하여, 객체장치(103)의 위상, 예를 들면, 객체장치(103)의 위치, 움직임 또는 표면에 작용하는 외력(또는 압력)을 검출할 수 있다. 다양한 실시 예에 따르면, 객체장치(103)의 외형은 육면체에 한정하지 않고, 사면체, 오면체, 삼각기둥, 사각기둥, 오각기둥, 삼각뿔, 사각뿔, 오각뿔, 플라톤의 입체 등과 같이 다면체 형상으로 제공될 수 있고 또는 구, 토러스, 실린더, 콘 등과 같이 비-다면체 형상으로 제공될 수도 있다.Here, referring to FIG. 1, the
객체장치(103)의 센서를 통해서 검출된 센싱데이터는 처리장치(101)로 전송되며, 처리장치(101)는, 수신한 센싱데이터에 기반하여 객체에 작용된 외력을 시각적으로 구현하여 디스플레이에 출력할 수 있다. 여기서, 처리장치(101)는, 디스플레이를 통하여 사용자에게 가상현실을 제공하는 장치로 구현될 수 있다.The sensing data detected through the sensor of the
일 실시 예에 따르면, 처리장치(101)가 디스플레이(150)를통해서 사용자에게 이미지를 제공하는 동작을 설명할 수 있다. 예를 들면, 처리장치(101)는 일반적으로 시각적 가상현실을 제공하기 위하여 동일 또는 유사한 두 개의 영상을 생성하여 디스플레이에 표시할 수 있다. 예를 들면, 처리장치(101)는 일반적으로 디스플레이(150)에 하나로 표시되는 영상을, 좌 영상(111) 및 우 영상(113)으로 분리하여 디스플레이(150)에 표시할 수 있다. 사용자는 디스플레이(150)에 표시된 좌 영상(111) 및 우 영상(113)을 처리장치(101)의 구조, 영상 처리 및/또는 광학적 처리를 통해서 하나의 영상(예: 가상 화면, 또는 가상현실 공간(151))으로 인식할 수 있다.According to an embodiment of the present disclosure, an operation of providing an image to a user through the
더하여, 일 실시 예에 따르면 처리장치(101)가 디스플레이(150)에 표시하는 분리된 영상(예: 좌 영상(111) 및 우 영상(113))은 처리장치(101)에 포함된 적어도 하나의 렌즈(예: 도 2의(203))에 의해 영상이 왜곡되는 현상이 발생할 수 있다. 처리장치(101)는 왜곡되지 않은 영상을 사용자에게 제공하기 위하여 디스플레이(150)에 분리되어 표시된 평면의 이미지를, 렌즈(예: 도 2의(203))의 특성을 고려하여 역 왜곡을 할 수 있다.In addition, according to an embodiment, the separated images (eg, the
이하 도면을 설명함에 있어서, 처리장치(101)에서 디스플레이(150)에 출력하는 화면 구성은 도 1에서 설명한 바와 같이 좌 영상(111) 및 우 영상(113)으로 가공된 이미지일 수 있다. 이때, 공간 상(예: 사용자의 눈 앞 또는 시야)에 보여지는 가상현실 공간(151)은 처리장치(101)의 디스플레이(150)에 표시되는 화면 구성(또는 이미지)이 사용자에게 제공되는(또는 보여지는) 이미지로 설명할 수 있다.In the following description, a screen configuration output from the
또한, 객체장치(103)에 대응되는 객체를 표시함에 있어서, 보다 적절한 실시 예를 설명하기 위하여 디스플레이(150)에 표시 또는 가상현실 공간(151)에 표시하는 것으로 구분하여 설명할 수 있지만, 이는 출력부를 통하여 출력되는 것과, 사용자의 시각에 보여지는 것의 차이를 의미할 뿐 다른 장치나 방법을 이용한 것으로 이해되서는 안될 것이다.In addition, in displaying an object corresponding to the
상술한 바에 따르면, 처리장치(101)는 디스플레이(150)에 영상을 표시함에 있어서, 좌 영상 및 우 영상으로 생성하여 표시하고 있지만, 이는 일 실시 예에 따른 표시 방법으로 좌 영상 및 우 영상으로 생성하는 것에 한정하지 않고, 상 영상 및 하 영상으로 생성하는 방식 등 다양한 방식의 구분 영상으로 적용할 수 있다. 더하여, 처리장치(101)는 디스플레이(150)의 인터페이스를 변형함에 있어서, 입체 영상 출력 기능과 같은 다양한 모드에 기반하여 디스플레이(150)에 표시하는 인터페이스를 변형할 수 있고, 또는 처리장치(101)에서 변형한 디스플레이 인터페이스를 기반으로 입체 화면 또는 입체 영상과 같은 방식의 영상을 처리장치(101)를 통하여 사용자에게 제공할 수 있다.As described above, the
도 2는 본 발명의 일 실시 예에 따른 처리장치 또는 처리장치가 연결되는 가상현실 제공장치에 대한 도면이다. 일 실시 예에 다르면, 처리장치(101)는 디스플레이(150)에 표시되는 화면 구성을 사용자에게 제공함에 있어서, 디스플레이(150)에서 처리되는 이미지 처리 기법 및/또는 물리적인 렌즈의 광학적 처리와 같은 영상 처리에 기반하여 사용자의 눈 앞(또는 시야)에 펼쳐지는 것처럼 표현할 수 있다. 예를 들어, 처리장치(101)를 통해서이미지를 출력하는 기술은 증강 현실(augmented reality, AR) 기술 또는 가상 현실(virtual reality, VR) 기술의 적어도 일부를 구현한 기법을 사용할 수 있다.2 is a diagram of a virtual reality providing apparatus to which a processing apparatus or a processing apparatus is connected according to an embodiment of the present invention. According to an embodiment, the
따라서, 사용자가 처리장치(101)를 통해서 디스플레이(150)에 표시되는 화면 구성을 제공 받기 위하여 처리장치(101)를 사용자의 두부에 위치하도록 제공될 수 있고, 본 발명의 다양한 실시 예에 따른 처리장치(101)는 두부 장착 디스플레이(예: head mounted display, HMD)와 동일 또는 유사한 카테고리에 포함되는 가상현실 제공장치로 설명할 수 있다.Therefore, in order for the user to be provided with the screen configuration displayed on the
두부 장착 디스플레이 방식의 처리장치(101)를 제공함에 있어서는 다양한 방법들이 있으나 설명의 편의성을 위해 도 2와 같은 형태를 가진 구조를 실시 예로 설명한다. 일 실시 예에 따르면 처리장치(101)는 두부에 장착 가능한 특정 기구물(예: 프레임 또는 본체, 이하 프레임(201))에 포함되어 구현되고, 프레임(201)의 일 방향으로 디스플레이(150)가 배치될 수 있다. 디스플레이(150)에는 표시되는 영상을 사용자에게 가상현실 이미지로 제공하기 위한 적어도 하나의 렌즈(203)가 배치될 수 있다.In providing the head mounted display
프레임(201)은 일면, 예를 들면, 디스플레이(150)와 수직하는 일측면에 처리장치(101)를 컨트롤 하기 위한 컨트롤 장치를 포함할 수 있다. 일 실시 예에 따르면, 컨트롤 장치는 키 패드(key pad), 돔 스위치(dome switch), 터치 패드(touch pad), 터치 패널(touch panel), 터치 키(touch key), 조이스틱(joystick), 버튼(button), 휠키(wheel key) 중에 적어도 하나로 구성될 수 있다. 터치 패드는 처리장치(101)의 기능을 제어(예: 음향 또는 영상을 제어)할 수 있는 그래픽 사용자 인터페이스(graphical user interface, GUI)를 표시할 수 있다.The
더하여, 처리장치(101)의 프레임(201)은, 상술한 구성 요소 예를 들면, 제어부, 센서부(센서모듈), 입력부(입력장치), 전원장치(전력관리모듈), 진동 모터(vibrator), 초점조절부(ajustable optics) 중 적어도 일부를 포함하여 구성될 수 있다.In addition, the
다양한 실시 예에 따르면, 처리장치(101)는, 프레임(201)에 탈/부착 가능한 별도의 장치로 제공될 수 있다. 이때, 가상현실 제공장치의 프레임(201)은 처리장치(101)와 연결되어, 처리장치(101)로부터 수신되는 데이터에 기반하여 사용자에게 가상현실을 제공하기 위한 디스플레이(150) 및 렌즈(203) 중 적어도 하나의 구성 요소를 포함할 수 있다.According to various embodiments of the present disclosure, the
처리장치(101)가 프레임(201)에 탈/부착 가능하도록 제공되는 경우, 프레임(201)의 일면에 부착되거나, 프레임(201)에 형성된 커버를 이용하여 내부에 장착되거나 또는 프레임(201)의 일면을 통하여 내부에 삽입되도록 제공될 수 있다. 이때, 처리장치(101)는, USB와 같은 유선 통신 또는 와이파이(wireless fidelity, WiFi), 블루투스(bluetooth)와 같은 무선 통신 등을 이용하여 프레임(201)과 연결되어 데이터를 송수신할 수 있다.When the
이하, 도 3을 통하여 본 발명의 일 실시 예에 따른 처리장치의 구성 요소를 설명한다. 도 3에 도시된 바와 같이 처리장치(101)는 통신부(301), 객체장치(103)(303), 출력부(305), 메모리(307) 및 제어부(309) 중 적어도 하나의 구성 요소를 포함한다.Hereinafter, the components of the processing apparatus according to an embodiment of the present invention will be described with reference to FIG. 3. As shown in FIG. 3, the
통신부(301)는 객체장치(103)와 같은 외부장치와 통신을 수행한다. 이를 위해, 통신부(301)는 유선 또는 무선 통신 중 적어도 하나의 통신을 수행할 수 있다. 통신부(301)는 WiFi(wireless fidelity), 블루투스(bluetooth), BLE(bluetooth low energy) 및 NFC(near field communication) 등의 무선 통신을 수행할 수 있다.The
다양한 실시 예에 따르면, 처리장치(101)가 가상현실 제공장치와 일체가 아닌, 탈/부착 가능하도록 제공되는 경우, 통신부(301)는 가상현실 제공장치와 유선 또는 무선 통신을 수행할 수 있다.According to various embodiments of the present disclosure, when the
입력부(303)는 처리장치(101)에 대한 사용자 입력에 대응하여, 입력데이터를 발생시킨다. 입력부(303)는 적어도 하나의 입력수단을 포함한다. 이러한 입력부(303)는 상술한 컨트롤 장치와 동일 또는 유사하게 제공될 수 있다. The
출력부(305)는 제어부(309)의 처리 결과를 출력한다. 출력부(305)는, 디스플레이 및 스피커 중 적어도 하나의 장치를 포함하여 구성될 수 있다. 출력부(305)가 디스플레이로 구비되는 경우 출력부(305)는 표시데이터를 출력한다. 예를 들면, 출력부(305)는 액정 디스플레이(LCD; liquid crystal display), 발광 다이오드(LED; light emitting diode) 디스플레이, 유기 발광 다이오드(OLED; organic LED) 디스플레이 등을 포함할 수 있다. 또한 출력부(305)는 다수개의 발광 소자들을 포함할 수 있다. 출력부(305)는 입력부(303)와 결합되어 터치 스크린(touch screen)으로 구현될 수 있다. 출력부(305)가 스피커로 구비되는 경우 출력부(305)는 제어부(309)로부터 수신하는 데이터를 오디오로 출력할 수 있다.The
여기서, 처리장치(101)가 가상현실 제공장치와 일체로 구비되는 경우, 디스플레이는, 상술한 바와 같이 가상현실 제공장치의 디스플레이(150)로 제공될 수 있다. 반면, 처리장치(101)가 가상현실 제공장치와 별도의 장치로 구비되는 경우, 디스플레이는 디스플레이(150)와는 별개로 처리장치(101)의 일부에 형성될 수 있다.Here, when the
메모리(307)는 통신부(301)를 통해서 수신하는 객체장치(103)의 센싱데이터를 저장한다. 또한, 메모리(307)는 처리장치(101)의 동작 프로그램들 또는 처리/생성되는 데이터를 저장할 수 있다. 예를 들면, 메모리(307)는 수신한 센싱데이터에 기반하여 제어부(309)를 통해서 생성되는 가상현실 공간과 관련된 데이터, 객체장치(103)에 대응하여 가상현실 공간에 생성되는 객체와 관련된 데이터를 저장할 수 있다.The
메모리(307)는, 사용자로 하여금 객체장치(103)를 통하여 행동하도록 요청되는 행동 요청데이터(이하, 요청데이터)가 저장될 수 있다. 여기서, 메모리(307)는, 요청데이터와 관련된 정보를 출력부(150)를 통하여 표시하기 위하여 생성된 그래픽 사용자 인터페이스를 저장할 수 있다.The
제어부(309)는, 통신부(301)를 통해서 연결된 객체장치(103)로부터 센싱데이터를 수신한다. 일 실시 예에 따르면, 제어부(309)는 센싱데이터로부터 객체장치(103)가 위치한 공간과 관련된 정보와 객체장치(103)와 관련된 정보를 확인할 수 있다.The
여기서, 공간과 관련된 정보는 객체장치(103)의 주변 환경과 관련된 정보일 수 있다. 예를 들면, 객체장치(103)가 놓여진 바닥 영역(또는 지형), 객체장치(103) 주변에 놓여진 다른 객체(또는 구조물)와 관련된 정보 중 적어도 일부를 포함할 수 있다. 일 실시 예에 따르면, 다른 객체는 객체장치(103)와 구분되는 다양한 형상의 객체 또는 장치 중 적어도 하나를 포함할 수 있다. 또한, 다른 객체와 관련된 정보는 다른 객체의 위치, 방향 및 거리 중 적어도 하나의 정보를 포함할 수 있다.Here, the information related to the space may be information related to the surrounding environment of the
또한, 객체장치(103)와 관련된 정보는 객체장치(103)가 정지된 상태인 경우 객체장치(103)의 위상과 관련된 정보를 포함할 수 있다. 예를 들면, 객체장치(103)의 고도, 기울기, 객체장치(103)의 표면에 작용하는 외력 중 적어도 하나의 정보를 포함할 수 있다. 객체장치(103)가 지피에스(global positioning system, GPS) 등의 위성항법시스템을 포함하는 경우 공간 좌표를 포함할 수 있다.In addition, the information related to the
제어부(309)는, 수신한 객체장치(103)와 관련된 정보에 기반하여, 가상현실 공간을 생성하고 객체장치(103)에 대응되는 객체를 구현할 수 있다. 제어부(309)는, 생성된 가상현실 공간 및 구현된 객체를 출력부(이하, 디스플레이(150)를 통해서 출력할 수 있다.The
다양한 실시 예에 따르면, 제어부(309)는, 센싱데이터로부터 검출하는 객체장치(103) 및 다른 객체와 관련된 정보와 그에 기반하여 구현되는 가상현실 공간에 따라서, 가상현실 공간에 구현되는 다른 객체 또는 객체의 사이즈 또는 객체와 다른 객체 사이의 거리 중 적어도 일부를 결정할 수 있다.According to various embodiments of the present disclosure, the
또한, 객체장치(103)와 관련된 정보는 객체장치(103)의 움직임과 관련된 정보를 포함할 수 있다. 예를 들면, 객체장치(103)의 가속도, 회전, 높이 변화, 객체장치(103)의 표면에 가해지는 외력 중 적어도 하나의 정보를 포함할 수 있다. 제어부(309)는 객체장치(103)의 움직임과 관련된 정보에 기반하여 가상현실 공간에 위치한 객체의 움직임을 구현할 수 있다. 제어부(309)는, 객체의 움직임을 디스플레이(150)를 통하여 출력할 수 있다.Also, the information related to the
제어부(309)는 가상현실 공간, 객체, 객체의 위상 및/또는 객체의 움직임을 구현함에 있어서 다양한 3차원 그래픽 처리 기법을 적용할 수 있다. 일 실시 예에 따르면, 제어부(309)는 가상현실 공간, 객체 및/또는 다른 객체에 대하여, 버텍스 쉐이더(vertex shader), 레스터라이저(rasterizer), 픽셀 쉐이더(pixel shader), Z-버퍼(Z-buffer), 판탈라(pantalla) 중 적어도 일부에 기반하는 3차원 이미지 처리를 수행할 수 있다.The
제어부(309)는 디스플레이(150)에 출력된 미션(mission)에 대한 응답으로 센싱데이터를 수신할 수 있다. 여기서 미션은, 사용자로 하여금 객체장치(103)를 통하여 객체장치(103)의 위상 또는 움직임을 구현하도록 제시되는 동작일 수 있다. 미션은, 객체장치(103)의 위상 또는 움직임에 대응되는 객체의 이미지를 디스플레이(150)에 출력함으로써 제공될 수 있다.The
또한 처리장치(101)는 제공된 객체의 이미지와 관련하여 센싱데이터에 대응되는 데이터(요청데이터)를 생성할 수 있다. 여기서, 요청데이터는, 객체에 대하여 각도(또는 기울기), 방향, 높이 표면에 가해지는 압력 중 적어도 일부에 대하여 지정된 수치가 설정된 데이터로 제공될 수 있다. 제어부(309)는 호출된 요청데이터에 기반하여 가상현실 공간에 구현되는 객체가 특정 포지션(position) 또는 햅틱(haptic)을 완성하도록 요청하는 이미지(요청데이터의 이미지)를 생성하고 디스플레이(150)에 표시할 수 있다.In addition, the
제어부(309)는, 요청데이터에 대한 응답으로 객체장치(103)로부터 수신한 센싱데이터에 기반하여 객체의 포지션 또는 햅틱을 구현하고, 요청데이터의 객체와 비교할 수 있다. 제어부(309)는, 구현된 객체의 포지션 또는 햅틱과 요청데이터의 이미지를 비교 결과가 동일 또는 유사한 것으로 결정하는 경우 미션(mission)을 완료한 것으로 결정할 수 있다.The
이하, 도 4을 통하여 본 발명의 일 실시 예에 따른 객체장치의 구성 요소를 설명한다. 도 4에 도시된 바와 같이 객체장치(103)는 통신부(401), 센서부(403), 메모리(405) 및 제어부(407) 중 적어도 하나의 구성 요소를 포함한다.Hereinafter, the components of the object apparatus according to an embodiment of the present invention will be described with reference to FIG. 4. As shown in FIG. 4, the
통신부(401)는 처리장치(101)의 통신부(301)와 통신을 수행한다. 이를 위해, 통신부(401)는 유선 또는 무선 통신 중 적어도 하나의 통신을 수행할 수 있다. 일 실시 예에 따르면, 통신부(401)는 처리장치(101)의 통신부와 동일 또는 유사하게 구성될 수 있다. 예를 들어, 통신부(301)는 WiFi(wireless fidelity), 블루투스(bluetooth), BLE(bluetooth low energy) 및 NFC(near field communication) 등의 무선 통신을 수행할 수 있다.The
센서부(403)는 객체장치(103)의 내/외부 상황을 측정할 수 있는 적어도 하나의 센서를 포함하며, 객체장치(103)의 위치 및/또는 움직임을 측정할 수 있다. 예를 들면, 센서부(403)는 지피에스, 자이로스코프, 가속도 센서, 기울기 센서, 고도 센서, 근접 센서, 이미지 센서(또는 카메라), 압력감지 센서(이하, 압력센서), 자기 센서, 적외선 센서, 터치 센서 중 적어도 하나의 센서를 포함할 수 있다.The
메모리(405)에는 센서부(403)를 통해서 측정된 정보 및 측정된 정보에 기반하여 생성된 센싱데이터가 저장될 수 있다. 또한, 메모리(405)에는 센싱데이터의 전송에 대응하여 수신된 피드백데이터가 저장될 수 있다. 다양한 실시 예에 따르면, 메모리(405)는, 처리장치(101)의 메모리(307)와 동일 또는 유사하게 구성될 수 있다.The
제어부(407)는 센서부(403)를 통해서, 객체장치(103)의 위치, 좌표, 고도, 객체장치(103) 표면에 작용하는 외력 중 적어도 하나에 대한 정보를 획득할 수 있다. 또한, 제어부(407)는, 센서부(403)를 통하여 객체장치(103)의 움직임에 대한 가속도, 속도, 이동 방향, 회전, 고도 변화, 좌표 변화, 객체장치(103) 표면에 작용하는 외력 중 적어도 하나의 정보를 획득할 수 있다.The
더하여, 제어부(407)는, 센서부(403)를 통해서 객체장치(103)의 주변에 위치하는 다른 객체와 관련된 정보를 획득할 수 있다. 일 실시 예에 따르면, 제어부(407)는 센서부(403)를 통해서 객체장치(103) 주변에 위치한 지형 또는 지물과의 거리 및/또는 형상에 관련된 정보를 획득할 수 있다.In addition, the
예를 들면, 제어부(407)는, 센서부(403)에 구성되는, 적외선 센서, 근접 센서, 이미지 센서 중 적어도 하나의 센서에 기반하여 객체장치(103)의 주변에 위치한 적어도 하나의 다른 객체와 관련된 정보를 측정할 수 있다.For example, the
제어부(407)는 객체장치(103)가 사용자의 손을 이용하여 파지되어 손의 움직임에 따라서 이동, 진동, 회전 또는 객체장치(103)의 표면에 가해지는 힘의 변화에 대응하여 센서부(403)에 구성된 센서를 통하여 객체장치(103)의 위상 및/또는 변화를 측정할 수 있다.The
예를 들면, 제어부(407)는, 객체장치(103) 내부 또는 표면에 형성된, 압력 센서, 터치 센서 중 적어도 하나의 센서를 통하여 사용자의 파지, 파지 위치, 가해지는 압력 중 적어도 하나의 정보를 측정할 수 있다.For example, the
제어부(407)는 측정된 정보(또는 측정값)을 이용하여 처리장치(101)에 전송하기 위한 센싱데이터를 생성할 수 있다. 제어부(407)는 생성된 센싱데이터를 통신부(401)를 통하여 처리장치(101)에 전송할 수 있다.The
더하여, 객체장치(103)는 진동을 통하여 다양한 자극을 출력하는 모터(또는 진동 모터)를 더 포함할 수 있다. 제어부(407)는, 센서부(403)를 통하여 위상의 변화 또는 움직임을 감지하거나, 또는 처리장치(101)로부터 지정된 명령을 수행하는 경우, 모터를 통하여 해당하는 진동을 출력할 수 있다.In addition, the
도 5는 본 발명의 일 실시 예에 따른 처리장치에서 가상현실 공간 및 객체를 구현하고 출력하는 동작의 흐름도이다.5 is a flowchart of an operation of implementing and outputting a virtual reality space and an object in a processing apparatus according to an exemplary embodiment.
501 동작에서, 처리장치(101)는 객체장치(103)로부터 센싱데이터(최초 센싱데이터)를 수신한다. 수신한 최초 센싱데이터는 객체장치(103)의 위치 정보를 포함할 수 있다. 여기서, 위치 정보는 객체장치(103)의 위치뿐만 아니라 객체장치(103)의 주변 환경과 관련된 정보, 예를 들면, 객체장치(103)의 주변에 위치한 다른 객체에 대한 정보를 포함할 수 있다. 최초 센싱데이터에 다른 객체에 대한 정보를 포함하는 경우, 다른 객체와의 거리, 방향 정보가 포함될 수 있다.In
일 실시 예에 따르면, 처리장치(101)가 객체장치(103)로부터 최초 센싱데이터를 수신하는 동작은, 처리장치(101)와 객체장치(103)가 통신으로 연결된 후 처리되는 동작일 수 있다. 예를 들면, 처리장치(101)는 객체장치(103)와 블루투스 통신을 통해서 연결된 후 객체장치(103)를 통해서 센싱데이터를 수신할 수 이다. 일 실시 예에 따르면, 처리장치(101)는 객체장치(103)에 센싱데이터의 요청을 전송한 이후 객체장치(103)로부터 최초 센싱데이터를 수신할 수 있다.According to an embodiment, the operation of receiving the first sensing data from the
503 동작에서, 처리장치(101)는 수신한 최초 센싱데이터에 기반하여 가상현실 공간을 생성한다. 처리장치(101)는, 최초 센싱데이터로부터 객체장치(103)의 주변 환경 및 객체장치(103)의 위상과 관련된 정보를 검출하고, 검출된 정보에 기반하여 가상현실 공간을 생성할 수 있다. 또한 처리장치(101)는, 객체장치(103)에 대응하여 가상현실 공간에 위치하는 객체를 생성할 수 있다.In
처리장치(101)는 가상현실 공간을 구현함에 있어서, 최초 센싱데이터에 포함된 객체장치(103)의 주변 환경과 관련된 정보에 기반하여 공간의 지형 및 배치된 지물을 구현할 수 있다. 이때, 처리장치(101)는, 가상현실 공간에 객체장치(103) 주변에서 검출된 다른 객체를 구현할 수 있다. 예를 들면, 처리장치(101)는, 최초 센싱데이터로부터 다른 객체, 다른 객체와의 거리 및 방향과 관련된 정보를 획득하고, 획득한 정보에 기반하여 가상현실 공간에 구조물을 구현할 수 있다. 이때, 가상현실 공간에 생성되는 구조물의 형상은, 대응되는 다른 객체와 동일한 형상으로 구현될 수 있고, 사용자의 선택 또는 기 설정된 값에 따라서 변경될 수 있다.In implementing the virtual reality space, the
처리장치(101)는, 객체장치(103)를 가상현실 공간에 생성함에 있어서, 객체장치(103)와 동일한 형상 또는 다른 형상을 가지는 객체로 구현할 수 있다. 예를 들면, 객체장치(103)가 육면체 형상으로 제공되는 경우, 가상현실 공간에 구현되는 객체는 육면체로 제공될 수 있고 또는 사면체, 오면체, 삼각기둥, 사각기둥, 오각기둥, 삼각뿔, 사각뿔, 오각뿔, 플라톤의 입체 등과 같이 다면체 중 어느 하나의 형상으로 제공될 수 있다. 또한, 처리장치(101)는 객체장치(103)에 대응되는 객체를 생성함에 있어서, 다면체에 한정하지 않고, 구, 토러스, 실린더, 콘 등과 같이 비-다면체 또는 사용자의 손에 파지 가능한 다양한 형상으로 생성될 수 있다.The
505 동작에서, 처리장치(101)는 객체장치(103)로부터 객체장치(103)의 변화에 대한 센싱데이터(최후 센싱데이터)를 수신하는지 여부를 확인한다. 일 실시 예에 따르면, 처리장치(101)는, 가상현실 공간의 생성 및 최초 객체의 구현 이후 객체장치(103)로부터 센싱데이터를 수신하는 경우 507 동작을 수행할 수 있고, 센싱데이터를 수신하지 못하는 경우 505 동작을 반복 수행할 수 있다.In
507 동작에서, 처리장치(101)는 수신한 최후 센싱데이터로부터 객체장치(103)의 변화 또는 변화된 위상과 관련된 정보를 검출할 수 있다. 일 실시 예에 따르면, 처리장치(101)는, 최후 센싱데이터로부터 수신한 가상현실 공간 및 객체장치(103)의 이동, 움직임, 변형(예: 외력의 작용)과 관련된 데이터를 검출할 수 있다.In
다양한 실시 예에 따르면, 처리장치(101)는, 이전 수신한 센싱데이터(예: 최초 센싱데이터)로부터 검출된 객체와 관련된 정보와 최후 센싱데이터로부터 검출된 객체와 관련된 정보를 비교하여 객체장치(103)의 변화를 확인할 수 있다. 또한, 처리장치(101)는, 이전 수신한 센싱데이터와 최후 센싱데이터를 비교하여 가상현실 공간의 변화를 검출할 수도 있다.According to various embodiments of the present disclosure, the
509 동작에서, 처리장치(101)는 확인된 가상현실 공간의 변화 또는 객체장치(103)의 변화 정보를 적용하여 가상현실 공간 또는 객체의 변화를 구현 및 디스플레이(150)를 통해서 출력할 수 있다.In
예를 들면, 처리장치(101)는, 이전 수신된 센싱데이터(예: 최초 센싱데이터)에 기반하여 생성된 가상현실 공간 및 객체에 대하여 최후 센싱데이터로부터 검출된 가상현실 공간 및 객체와 관련된 정보를 적용하여 가상현실 공간의 변화 또는 객체의 변화를 구현할 수 있다.For example, the
여기서, 최후 센싱데이터에 포함되는 가상현실 공간 또는 객체장치(103)의 변화는 연속된 동작에 대하여 측정된 정보일 수 있다. 처리장치(101)는, 수신한 최후 센싱데이터에 기반하여 가상현실 공간 또는 객체의 변화에 대한 움직임을 구현 및 출력할 수 있다.Here, the change of the virtual reality space or the
상술한 바와 같이, 처리장치(101)는 객체장치(103)로부터 수신하는 최초 센싱데이터에 기반하여 가상현실 공간 및 객체를 생성 및 출력하고, 이후 수신하는 최후 센싱데이터에 기반하여 가상현실 공간 및 객체의 변화를 구현 및 출력할 수 있다. 처리장치(101)는 509 동작을 수행하면, 도 5의 실시 예를 종료할 수 있고, 또는 505 동작을 수행하여 추가적인 센싱데이터를 수신할 수 있다. 이때, 추가적으로 수신하는 센싱데이터와 최초 센싱데이터 사이에는 객체장치(103)로부터 수신한 적어도 1회의 센싱데이터가 포함될 수 있다.As described above, the
도 6은 본 발명의 일 실시 예에 따른 처리장치에서 가상현실 공간에 구현된 객체의 변화를 요청하고 변화를 처리하는 동작의 흐름도이다. 601 동작은, 도 5의 503 동작을 수행한 후 처리되는 동작으로 설명될 수 있다.FIG. 6 is a flowchart illustrating an operation of requesting a change of an object implemented in a virtual reality space and processing a change in a processing apparatus according to an exemplary embodiment.
601 동작에서, 처리장치(101)는 디스플레이(150)를 통해서 사용자로 하여금 객체장치(103)의 조작을 요청할 수 있다. 예를 들면, 처리장치(101)는, 입력부(303)를 통한 사용자의 입력 또는 메모리(307)에 기 저장된 설정에 따라서 요청데이터를 생성할 수 있다. 처리장치(101)는 생성된 요청데이터에 기반하여 가상현실 공간에 기 구현된 객체의 변화된 위상 또는 햅틱과 관련된 이미지를 디스플레이(150)를 통해서 출력할 수 있다.In
여기서, 디스플레이(150)를 통하여 객체의 변화를 출력하는 동작은, 처리장치(101)를 통해서 구현된 가상현실 공간 일부에 객체의 변화된 이미지를 출력하는 동작일 수 있다.Here, the operation of outputting the change of the object through the
상술한 바에 따르면, 객체의 변화된 이미지를 가상현실 공간에 출력함으로써, 사용자로 하여금 객체를 파지하고, 가상현실 공간에 출력된 객체의 변화된 이미지와 동일 또는 유사하게 객체장치(103)를 움직이도록 유도할 수 있다.As described above, by outputting the changed image of the object to the virtual reality space, the user can grasp the object and induce the
603 동작에서, 처리장치(101)는, 객체장치(103)의 위상 변화, 움직임에 대한 센싱데이터를 수신하는지 여부를 확인할 수 있다. 처리장치(101)는, 객체장치(103)로부터 센싱데이터를 수신하는 경우 605 동작을 수행하고, 수신하지 못하는 경우 603 동작을 반복 수행할 수 있다.In
605 동작에서, 처리장치(101)는 객체장치(103)로부터 수신한 센싱데이터에 기반하여 객체의 변화된 위상, 움직임 또는 햅틱을 구현할 수 있다. 예를 들면, 처리장치(101)는, 센싱데이터로부터 객체의 위상, 움직임과 관련된 정보를 검출하고, 검출된 정보를 이전 센싱데이터로 구현된 객체에 적용할 수 있다. 일 실시 예에 따르면, 처리장치(101)는, 센싱데이터에 기반하여 객체의 이동, 회전, 높이 변화, 표면에 가해지는 외력 중 적어도 일부를 구현할 수 있다.In
607 동작에서 처리장치(101)는 센싱데이터에 기반하여 구현된 객체의 변화가 가상현실 공간을 통하여 기 요청된 객체의 움직임(또는 위치)과 동일 또는 유사한지 여부를 결정한다. 예를 들면, 처리장치(101)는, 기 요청된 객체의 이동, 회전, 높이 변화, 표면에 가해진 외력 등의 변화 정보와 센싱데이터에 기반하여 구현된 객체의 이동, 회전, 높이 변화, 표면에 가해진 외력 등의 변화 정보를 비교하여 동일 또는 유사한지 여부를 결정할 수 있다.In
처리장치(101)는, 객체의 변화가 요청데이터에 기반하는 객체의 이미지와 동일 또는 유사한 것으로 결정하는 경우 609 동작을 통해서 결과를 출력하고, 동일 또는 유사하지 않은 것으로 결정하는 경우, 603 동작을 수행할 수 있다. 처리장치(101)는 추가적으로 수신되는 센싱데이터에 기반하여 비교된 객체의 변화가 지정된 횟수 이상 동일 또는 유사하지 않은 것으로 결정하는 경우, 도 6의 실시 예를 종료할 수 있다. 이때, 처리장치(101)는 미션 실패에 대한 알림을 디스플레이(150)를통하여 출력할 수 있다.The
609 동작에서, 처리장치(101)는 결과에 대한 알림을 출력할 수 있다. 일 실시 예에 따르면, 처리장치(101)는, 요청된 객체의 이미지와 동일 또는 유사한 것으로 결정하는 경우, 미션 성공에 대한 알림을 디스플레이(150)를 통해서 출력할 수 있다.In
상술한 바에 따르면 도 6에서 설명되는 객체의 변화는, 객체의 기울기, 방향, 높이, 표면에 가해진 외력 중 적어도 일부를 포함하여 구현되는 변화 결과(예: 위상)를 의미할 수 있다. 하지만, 이에 한정하지 않고, 객체의 변화는 이동, 회전, 높이 변화와 같이 변화 과정을 포함하도록 구성될 수 있음은 자명하다.As described above, the change of the object described in FIG. 6 may mean a change result (for example, a phase) that is implemented by including at least a part of the tilt, direction, height, and external force applied to the surface of the object. However, without being limited thereto, it is obvious that the change of the object may be configured to include a change process such as movement, rotation, and height change.
도 7은 본 발명의 일 실시 예에 따른 처리장치(101)에서 객체장치(103)로부터 수신하는 센싱데이터에 기반하여 생성되는 가상현실 공간 및 객체를 도시하는 도면이다.FIG. 7 is a diagram illustrating a virtual reality space and an object generated based on sensing data received from an
상술한 바와 같이, 처리장치(101)는, 객체장치(103)로부터 수신하는 센싱데이터에 기반하여 가상현실 공간을 생성하고, 구현된 가상현실 공간에 객체장치(103)에 대응되는 객체를 구현할 수 있다.As described above, the
도 7을 참조하면, 객체장치(103)는, 객체장치(103)에 포함된 센서를 통하여 주변 환경과 관련된 정보를 획득할 수 있다. 이때, 객체장치(103)는, 객체장치(103) 주변의 지형뿐만 아니라 지물(예: 다른 객체(701))를 확인할 수 있고, 다른 객체(701)에 대한 정보를 측정할 수 있다. 예를 들면, 객체장치(103)는, 다른 객체(701)와의 거리 및 방향과 관련된 정보를 측정할 수 있다. 객체장치(103)는, 측정된 정보를 이용하여 센싱데이터를 생성하고 생성된 센싱데이터를 처리장치(101)에 전송할 수 있다.Referring to FIG. 7, the
처리장치(101)는 수신한 센싱데이터(최초 센싱데이터)에 기반하여 가상현실 공간(151)을 생성하고, 생성된 가상현실 공간에 객체장치(103)에 대응하는 객체(713)를 구현할 수 있다. 처리장치(101)는, 수신한 센싱데이터로부터 다른 객체(701)와 관련된 정보, 예를 들면 객체장치(103)와 다른 객체(701)와의 거리 정보 및/또는 방향 정보를 확인할 수 있다. 처리장치(101)는 다른 객체(701)와 관련된 정보, 생성된 가상현실 공간(151)에 기반하여 다른 객체(711) 및 객체(713)를 가상현실 공간(151)에 구현할 수 있다.The
도 8은 본 발명의 일 실시 예에 따른 처리장치(101)에서 객체장치(103, 803)로부터 수신하는 센싱데이터에 기반하여 가상현실 공간에 구현된 객체를 변형하는 동작을 도시하는 도면이다. 도 8을 참조하면, 처리장치(101)는, 수신하는 센싱데이터에 기반하여 객체장치(103, 803)에 가해지는 변화를 구현할 수 있다.FIG. 8 is a diagram illustrating an operation of deforming an object implemented in a virtual reality space based on sensing data received from the
일 실시 예에 따르면, 처리장치(101)는 최초 센싱데이터 이후 수신하는 센싱데이터에 기반하여 객체장치(103, 803)에 가해지는 변화를 검출할 수 있다. 예를 들면, 처리장치(101)는, 센싱데이터로부터 객체장치(103, 803)의 이동, 회전, 높이 변화, 객체장치(103)의 표면에 가해지는 외력 등 객체장치(103, 803)의 변화 정보를 검출할 수 있다.According to an embodiment of the present disclosure, the
처리장치(101)는 이전 수신한 센싱데이터에 기반하여 구현된 객체에 객체장치(803)의 변화 정보를 적용하여 객체(813)를 구현할 수 있다. 처리장치(101)는 객체장치(803)가 사용자로부터 파지된 상태에서 표면에 가해지는 외력을 객체(813)에 시각적으로 구현(821)할 수 있다.The
예를 들면, 처리장치(101)는 수신한 센싱데이터로부터 사용자의 파지 동작에 따라서 객체장치(803)의 표면에 가해지는 압력, 압력의 위치, 압력의 크기 중 적어도 일부 정보를 검출할 수 있고, 검출된 정보에 따라서 가상현실 공간(151)에 생성된 객체(813)에 표현에 그 효과를 시각적으로 구현할 수 있다.For example, the
또한, 처리장치(101)는, 객체장치(103, 803)의 위치가 변경된 경우, 센싱데이터로부터 검출된 다른 객체(801)와 관련된 정보에 기반하여 가상현실 공간(151)에 구현된 다른 객체(811)와의 배치를 재설정할 수 있다.In addition, when the positions of the
도 9는 본 발명의 일 실시 예에 따른 처리장치(101)에서 객체장치(103, 803)로부터 수신하는 센싱데이터에 기반하여 가상현실 공간에 구현된 객체를 변형하는 동작을 도시하는 도면이다.FIG. 9 is a diagram illustrating an operation of deforming an object implemented in a virtual reality space based on sensing data received from the
도 9를 참조하면, 처리장치(101)는, 요청데이터에 기반하여 생성된 객체의 이미지(910)를 가상현실 공간(151)에 출력할 수 있다. Referring to FIG. 9, the
처리장치(101)는 디스플레이(150)를 통해서 객체의 특정 위상을 표시하고 사용자로 하여금 객체장치(103)를 표시된 객체로 조작하도록 요청할 수 있다. 예를 들면, 처리장치(101)는, 사용자의 입력 또는 메모리(307)에 기 저장된 설정에 따라서 객체의 특정 위상과 관련된 요청데이터를 생성할 수 있다. 처리장치(101)는, 요청데이터에 기반하는 객체의 위상을 구현하여 요청데이터의 이미지(910)를 디스플레이(150)를 통하여 출력할 수 있다.The
처리장치(101)는 객체장치(103)로부터 객체장치(103)의 변화에 대한 센싱데이터를 수신하고, 수신된 센싱데이터에 기반하여 가상현실 공간(151)에 구현된 객체의 움직임을 구현할 수 있다. 처리장치(101)는, 센싱데이터에 기반하여 구현된 객체(913)의 위상을 요청데이터의 이미지(910)에 구현된 객체의 위상과 비교할 수 있다.The
처리장치(101)는 비교 결과 객체(913)의 위상이 요청데이터의 이미지(910)에 구현된 객체의 위상과 동일 또는 유사한 것으로 결정하는 경우 미션 성공에 대한 알림을 출력할 수 있다. 예를 들면, 처리장치(101)는, 지정된 그래픽 효과를 객체(913)에 적용하여 알림을 출력할 수 있다.The
도 10은 본 발명의 일 실시 예에 따른 시스템에서 객체장치의 구체적인 구성을 도시하는 도면이다.10 is a diagram illustrating a specific configuration of an object apparatus in a system according to an embodiment of the present invention.
다양한 실시 예에 따르면, 객체장치(103)는, 상술한 바와 같이 도형 형상의 블록으로 제공되는 것에 한정하지 않고, 다양한 형상의 제품이 적용될 수 있다. 도 10을 참조하면, 객체장치(103)는 처리장치(101)의 가상현실 공간 또는 처리장치(101)의 기능을 제어하는 컨트롤러(1001)로 제공될 수 있다. 일 실시 예에 따르면, 컨트롤러(1001)는 리모컨, 조이스틱, 햅틱그립과 같이 적어도 하나의 버튼을 포함할 수 있다.According to various embodiments of the present disclosure, the
처리장치(1001)는 가상현실 공간에 컨트롤러(1001)에 대응되는 객체를 구현함에 있어서, 컨트롤러(1001)의 형상을 구현할 수 있지만, 이에 한정하지 않고 다양한 다른 객체의 형상, 예를 들면, 다면체, 비-다면체 등의 블록 형상으로 구현할 수 있다.The
컨트롤러(1001)는, 통신부를 포함하며 무선 통신을 통해서 처리장치(101)와 데이터를 송수신할 수 있다. 또한, 컨트롤러(1001)는, 객체장치(103)의 구성 요소들 중 적어도 하나와 동일 또는 유사한 구성요소를 포함하여 제공될 수 있다.The
상술한 바와 같이, 시스템은 처리장치(101)를 통하여 시각적 가상현실 공간에 객체장치(103)에 대응되는 객체를 생성하고, 사용자로 하여금 객체장치(103)를 파지하고 조작하는 동작에 따른 객체장치(103)의 움직임, 위상을 가상현실 공간에 구현할 수 있다. 이를 통하여 시스템은 사용자에게 스스로의 동작을 인지시킴으로써 인지능력 또는 행동능력의 훈련 방법 및 그 장치를 제공할 수 있다.As described above, the system creates an object corresponding to the
다양한 실시 예에 따르면, 처리장치(101)는 사용자가 객체장치(103)를 파지하여 조작하는 것에 대한 위상, 움직임 정보에 대하여 객체장치(103)가 측정한 센싱데이터를 수신하고, 가상현실 공간에 객체로 구현함에 있어서, 시각 효과, 또는 청각 효과를 추가하여 객체를 구현하거나, 또는 객체를 변형하여 구현할 수 있다.According to various embodiments of the present disclosure, the
상술한 바와 같이, 시스템은 처리장치(101)를 통하여 가상현실 공간을 생성하고, 객체장치(103)에 작용하는 현상을 감각적 효과가 추가된 객체로 구현함으로써 현실에서의 인지능력 훈련 대비 그 효과를 행상시킬 수 있고, 더하여, 시각적 효과뿐만 아니라, 청각적 효과 또한 제공할 수 있어 사용자에게 복합적인 인지능력의 향상을 기대할 수 있다.As described above, the system generates the virtual reality space through the
한편, 본 명세서와 도면에 개시된 본 발명의 실시 예들은 본 발명의 기술 내용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 즉 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.On the other hand, the embodiments of the present invention disclosed in the specification and drawings are merely presented specific examples to easily explain the technical contents of the present invention and help the understanding of the present invention, and are not intended to limit the scope of the present invention. That is, it will be apparent to those skilled in the art that other modifications based on the technical idea of the present invention can be implemented.
101 : 처리장치 103 : 객체장치
150 : 디스플레이 151 : 가상현실 공간
301 : 통신부 303 : 입력부
305 : 출력부 307 : 메모리
109 : 제어부 401 : 통신부
403 : 센서부 405 : 메모리
407 : 제어부 1001 : 컨트롤러101: processing device 103: object device
150: display 151: virtual reality space
301: communication unit 303: input unit
305: output unit 307: memory
109
403: sensor portion 405: memory
407
Claims (10)
상기 최초 센싱데이터에 기반하여 상기 객체장치를 가상현실 공간에 위치하는 객체로 구현하는 단계;
상기 가상현실 공간에 요청데이터에 기반하여 생성된 객체의 변형된 이미지를 출력하는 단계;
사용자가 상기 객체장치를 파지한 상태에서, 파지 위치, 파지 압력을 검출한 결과인 최후 센싱데이터를 객체장치로부터 수신하고, 상기 최후 센싱데이터로부터 상기 객체장치의 외형 변화를 검출하는 단계; 및
검출된 변화에 기반하여 상기 객체의 외형 변화를 구현하고, 구현된 객체의 외형 변화가 상기 객체의 변형된 이미지와 일치하는 경우 미션 성공에 대한 알림을 출력하여 사용자의 인지능력 향상에 도움을 주는 단계;를 포함하는, 가상현실에 기반하는 객체 처리장치의 동작 방법.Receiving initial sensing data of the shape of the object apparatus from the object apparatus connected by wireless communication;
Implementing the object device as an object located in a virtual reality space based on the first sensing data;
Outputting a deformed image of an object created based on request data in the virtual reality space;
Receiving a final sensing data, which is a result of detecting a grip position and a gripping pressure, from the object apparatus while the user grips the object apparatus, and detecting a change in appearance of the object apparatus from the last sensing data; And
Implementing the appearance change of the object based on the detected change, and if the appearance change of the implemented object coincides with the modified image of the object, outputting a notification of the success of the object to help improve the user's cognitive ability Method of operating an object processing apparatus based on virtual reality, including.
상기 최초 센싱데이터는, 상기 객체의 기울기 정보, 상기 객체의 방향 정보, 상기 객체의 높이 정보, 상기 객체 주변에 위치한 다른 객체와의 거리 정보, 상기 다른 객체의 위치, 상기 다른 객체가 위치한 방향 정보 중 적어도 하나의 정보를 포함하는, 가상현실에 기반하는 객체 처리장치의 동작 방법.The method of claim 1,
The first sensing data may include slope information of the object, direction information of the object, height information of the object, distance information with respect to other objects located around the object, location of the other object, and direction information where the other object is located. Method of operating an object processing apparatus based on virtual reality, including at least one information.
상기 변화는, 상기 객체의 가속도 정보, 상기 객체의 회전 정보, 상기 객체의 높이 변화 정보, 상기 객체에 가해지는 압력 정보 중 적어도 하나의 정보를 포함하는, 가상현실에 기반하는 객체 처리장치의 동작 방법.The method of claim 1,
The change may include at least one of acceleration information of the object, rotation information of the object, height change information of the object, and pressure information applied to the object. .
검출된 변화에 기반하여 상기 객체의 변화를 구현하는 단계는, 상기 검출된 변화에 기반하여 상기 객체의 형상 변화, 상기 객체의 회전, 상기 객체의 높이 변화 중 적어도 하나를 상기 가상현실 공간에 구현하는, 가상현실에 기반하는 객체 처리장치의 동작 방법.The method of claim 1,
Implementing the change of the object based on the detected change, to implement at least one of the shape change of the object, the rotation of the object, the height change of the object based on the detected change in the virtual reality space , A method of operating an object processing apparatus based on virtual reality.
상기 센싱데이터에 기반하여 상기 객체장치의 환경 및 상기 객체장치를 가상현실 공간 및 상기 가상현실 공간에 위치하는 객체로 구현하는 단계는,
상기 센싱데이터로부터 검출되는 상기 객체장치와 다른 객체와의 거리 및 상기 가상현실 공간의 사이즈에 기반하여 상기 가상현실 공간 내에 상기 다른 객체 및 상기 객체의 위상을 구현하는, 가상현실에 기반하는 객체 처리장치의 동작 방법.The method of claim 1,
Implementing the environment of the object device and the object device based on the sensing data as a virtual reality space and an object located in the virtual reality space,
The object processing apparatus based on virtual reality, which implements the phase of the other object and the object in the virtual reality space based on a distance between the object apparatus and another object detected from the sensing data and the size of the virtual reality space. Method of operation.
가상현실 공간을 출력하는 디스플레이; 및
상기 객체장치의 형상에 대한 최초 센싱데이터를 수신하고, 상기 센싱데이터에 기반하여 상기 객체장치를 가상현실 공간 및 상기 가상현실 공간에 위치하는 객체로 구현하여 상기 디스플레이를 통하여 출력함과 아울러 요청데이터에 대한 객체의 변형된 이미지를 상기 가상현실 공간에 표시하고,
사용자가 상기 객체장치를 파지하였을 때, 파지 위치, 파지 압력을 최후 센싱데이터를 수신하고, 상기 최후 센싱데이터로부터 상기 객체장치의 형상 변화를 검출하여, 검출된 변화에 기반하여 상기 객체의 형상 변화를 구현하여 상기 디스플레이에 출력하고,
객체의 변화된 형상이 상기 요청데이터에 대한 객체의 변형된 이미지와 일치하는 경우 미션성공에 대한 알림을 출력하여 사용자의 인지능력 향상에 도움을 주는 제어부;를 포함하는, 가상현실에 기반하는 객체 처리장치.Communication unit for transmitting and receiving data in at least one object device and the wireless communication;
A display for outputting a virtual reality space; And
Receive initial sensing data of the shape of the object device, and implement the object device as an object located in the virtual reality space and the virtual reality space based on the sensing data to output through the display and to request data Display the transformed image of the object in the virtual reality space,
When the user grips the object device, the sensor receives the last sensing data of the grip position and the gripping pressure, detects a shape change of the object device from the last sensing data, and detects the shape change of the object based on the detected change. And output to the display,
And a control unit for outputting a notification of a successful mission when the changed shape of the object coincides with the deformed image of the object for the request data, thereby improving the cognitive ability of the user. .
상기 제어부는, 상기 객체의 기울기 정보, 상기 객체의 방향 정보, 상기 객체의 높이 정보, 상기 객체 주변에 위치한 다른 객체와의 거리 정보, 상기 다른 객체의 위치, 상기 다른 객체가 위치한 방향 정보 중 적어도 하나의 정보를 상기 최초 센싱데이터로부터 검출하는, 가상현실에 기반하는 객체 처리장치.The method of claim 6,
The control unit may include at least one of inclination information of the object, direction information of the object, height information of the object, distance information with respect to another object located around the object, location of the other object, and direction information where the other object is located. The object processing apparatus based on virtual reality, detecting information of the first sensing data.
상기 제어부는, 상기 객체의 가속도 정보, 상기 객체의 회전 정보, 상기 객체의 높이 변화 정보, 상기 객체에 가해지는 압력 정보 중 적어도 하나의 정보를 상기 변화에 포함하여 처리하는, 가상현실에 기반하는 객체 처리장치.The method of claim 6,
The controller may include at least one of acceleration information of the object, rotation information of the object, height change information of the object, and pressure information applied to the object in the change, and process the object based on virtual reality. Processing unit.
상기 제어부는, 상기 검출된 변화에 기반하여 상기 객체의 형상 변화, 상기 객체의 회전, 상기 객체의 높이 변화 중 적어도 하나를 상기 가상현실 공간에 구현하여 상기 객체의 변화를 구현하는, 가상현실에 기반하는 객체 처리장치.The method of claim 6,
The controller is configured to implement the change of the object by implementing at least one of a shape change of the object, a rotation of the object, and a change of the height of the object based on the detected change in the virtual reality space. Object processing unit.
상기 제어부는, 상기 센싱데이터로부터 검출되는 상기 객체장치와 다른 객체와의 거리 및 상기 가상현실 공간의 사이즈에 기반하여 상기 가상현실 공간 내에 상기 다른 객체 및 상기 객체의 위상을 구현하는, 가상현실에 기반하는 객체 처리장치.The method of claim 6,
The controller is configured to implement the phases of the other object and the object in the virtual reality space based on a distance between the object apparatus and another object detected from the sensing data and the size of the virtual reality space. Object processing unit.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020170072640A KR102009753B1 (en) | 2017-06-09 | 2017-06-09 | System for processing object based on virtual reality and operating method thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020170072640A KR102009753B1 (en) | 2017-06-09 | 2017-06-09 | System for processing object based on virtual reality and operating method thereof |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20180134635A KR20180134635A (en) | 2018-12-19 |
KR102009753B1 true KR102009753B1 (en) | 2019-08-12 |
Family
ID=65008907
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020170072640A KR102009753B1 (en) | 2017-06-09 | 2017-06-09 | System for processing object based on virtual reality and operating method thereof |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102009753B1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20240096987A (en) | 2022-12-19 | 2024-06-27 | 주식회사 삼우이머션 | Object control apparatus on virtual reality |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102311039B1 (en) * | 2019-05-03 | 2021-10-12 | 한국기술교육대학교 산학협력단 | Apparatus for generating touch sensation based on virtural environment |
KR102164371B1 (en) * | 2019-11-29 | 2020-10-12 | 주식회사 아이브이알시스템즈 | Interaction implementing method of virtual object for virtual maintenance training |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101174450B1 (en) * | 2007-09-14 | 2012-08-16 | 독립행정법인 산업기술종합연구소 | Virtual reality environment creating device, and controller device |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101338043B1 (en) * | 2012-03-05 | 2013-12-09 | 한국과학기술연구원 | Cognitive Rehabilitation System and Method Using Tangible Interaction |
US10518188B2 (en) * | 2014-06-30 | 2019-12-31 | Microsoft Technology Licensing, Llc | Controlling physical toys using a physics engine |
-
2017
- 2017-06-09 KR KR1020170072640A patent/KR102009753B1/en active IP Right Grant
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101174450B1 (en) * | 2007-09-14 | 2012-08-16 | 독립행정법인 산업기술종합연구소 | Virtual reality environment creating device, and controller device |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20240096987A (en) | 2022-12-19 | 2024-06-27 | 주식회사 삼우이머션 | Object control apparatus on virtual reality |
Also Published As
Publication number | Publication date |
---|---|
KR20180134635A (en) | 2018-12-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6093473B1 (en) | Information processing method and program for causing computer to execute information processing method | |
JP6246310B1 (en) | Method, program, and apparatus for providing virtual space | |
CN103744518B (en) | Stereo interaction method and display device thereof and system | |
JP2017058971A (en) | Program and image formation device | |
KR102009753B1 (en) | System for processing object based on virtual reality and operating method thereof | |
JP6220937B1 (en) | Information processing method, program for causing computer to execute information processing method, and computer | |
JP2018194889A (en) | Information processing method, computer and program | |
JP6157703B1 (en) | Information processing method, program for causing computer to execute information processing method, and computer | |
JP6113897B1 (en) | Method for providing virtual space, method for providing virtual experience, program, and recording medium | |
KR101618004B1 (en) | Interactive content providing apparatus based on the virtual reality and method thereof | |
JP6140871B1 (en) | Information processing method and program for causing computer to execute information processing method | |
JP6203346B1 (en) | Method, program, and recording medium for providing virtual space | |
JP6535699B2 (en) | INFORMATION PROCESSING METHOD, INFORMATION PROCESSING PROGRAM, AND INFORMATION PROCESSING APPARATUS | |
JP6918630B2 (en) | Information processing methods, programs and computers | |
JP6159455B1 (en) | Method, program, and recording medium for providing virtual space | |
JP2018026105A (en) | Information processing method, and program for causing computer to implement information processing method | |
JP2018026099A (en) | Information processing method and program for causing computer to execute the information processing method | |
JP2018067297A (en) | Information processing method, apparatus, and program for causing computer to implement information processing method | |
JP6934374B2 (en) | How it is performed by a computer with a processor | |
JP6122194B1 (en) | Information processing method and program for causing computer to execute information processing method | |
JP6449922B2 (en) | Information processing method and program for causing computer to execute information processing method | |
JP6290493B2 (en) | Information processing method, program for causing computer to execute information processing method, and computer | |
JP2019207714A (en) | Information processing method, computer and program | |
JP2018028900A (en) | Method, program, and recording medium for providing virtual space | |
KR20190099650A (en) | Motion Input Device Using Survomotorsand Motoin Input Method thereof |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E90F | Notification of reason for final refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |