KR102102309B1 - Object recognition method for 3d virtual space of head mounted display apparatus - Google Patents
Object recognition method for 3d virtual space of head mounted display apparatus Download PDFInfo
- Publication number
- KR102102309B1 KR102102309B1 KR1020190028402A KR20190028402A KR102102309B1 KR 102102309 B1 KR102102309 B1 KR 102102309B1 KR 1020190028402 A KR1020190028402 A KR 1020190028402A KR 20190028402 A KR20190028402 A KR 20190028402A KR 102102309 B1 KR102102309 B1 KR 102102309B1
- Authority
- KR
- South Korea
- Prior art keywords
- gesture
- user
- virtual space
- coordinates
- probability distribution
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04842—Selection of displayed objects or displayed text elements
-
- G06K9/00201—
-
- G06K9/00335—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
Abstract
Description
본 발명은 머리 착용형 디스플레이 장치에서의 객체 인식 방법에 관한 것으로서, 보다 구체적으로는 머리 착용형 디스플레이 장치의 3차원 가상공간을 위한 객체 인식 방법에 관한 것이다.The present invention relates to a method of recognizing an object in a head-worn display device, and more particularly, to an object recognition method for a 3D virtual space of a head-worn display device.
디지털 디바이스의 경량화 및 소형화 추세에 따라 다양한 웨어러블 디바이스(wearable device)들이 개발되고 있다. 이러한 웨어러블 디바이스의 일종인 헤드 마운티드 디스플레이(Head Mounted Display)는 사용자가 머리에 착용하여 멀티미디어 컨텐츠 등을 제공받을 수 있는 각종 디바이스를 의미한다. 여기서, 헤드 마운티드 디스플레이(HMD)는 사용자의 신체에 착용되어 사용자가 이동함에 따라서 다양한 환경에서 사용자에게 영상을 제공하게 된다. 이러한 헤드 마운티드 디스플레이(HMD)는 투과(see-through)형과 밀폐(see-closed)형으로 구분되고 있으며, 투과형은 주로 증강현실(Augmented Reality, AR)용으로 사용되고, 밀폐형은 주로 가상현실(Virtual Reality, VR)용으로 사용되고 있다.
Various wearable devices have been developed according to the trend of lighter and smaller digital devices. A head mounted display, which is a type of such wearable device, refers to various devices that can be provided with multimedia contents by a user wearing it on the head. Here, the head mounted display (HMD) is worn on the user's body to provide an image to the user in various environments as the user moves. The head mounted display (HMD) is divided into a see-through type and a see-closed type, and the transmissive type is mainly used for augmented reality (AR), and the sealed type is mainly virtual reality (Virtual). Reality, VR).
도 1은 일반적인 안경 형태의 헤드 마운티드 디스플레이(HMD)의 개략적인 구성을 도시한 도면이고, 도 2는 일반적인 밴드 형태의 헤드 마운티드 디스플레이(HMD)의 개략적인 구성을 도시한 도면이다. 도 1 및 도 2에 각각 도시된 바와 같이, 일반적인 안경 형태 또는 밴드 형태의 헤드 마운티드 디스플레이는 사용자의 안면 또는 두부에 착용되어 투과되는 렌즈를 통해 실제 세계에 증강현실(AR)의 영상 정보를 투영하여 사용자에게 제공하게 된다.
1 is a view showing a schematic configuration of a head mounted display (HMD) in the form of a general glasses, and FIG. 2 is a view showing a schematic configuration of a head mounted display (HMD) in a general band form. As shown in FIGS. 1 and 2, the head-mounted display in the form of a general eyeglass or band is projected by augmented reality (AR) image information to the real world through a lens that is worn and transmitted through the user's face or head. It is provided to the user.
특히, 헤드 마운티드 디스플레이의 증강현실은, 현실 세계에 3차원의 영상 정보를 결합하여 증강된 영상을 제공할 수 있으므로, 3차원 공간에서의 상호작용이 필요하다. 그러나 종래의 증강현실 제스처 인식은, 헤드 마운티드 디스플레이 장치에 구비된 버튼을 활용하거나, 2차원의 손동작을 이용하는 정도에 머무르고 있어서, 3차원 공간에서의 정확하고 효과적인 상호작용에는 한계가 있는 실정이다.
In particular, since augmented reality of a head mounted display can provide augmented images by combining 3D image information in the real world, interaction in a 3D space is necessary. However, the conventional augmented reality gesture recognition uses a button provided in the head mounted display device or stays at the level of using two-dimensional hand gestures, so there is a limit to accurate and effective interaction in a three-dimensional space.
한편, 본 발명과 관련된 선행기술로서, 공개특허 제10-2018-0049739호(발명의 명칭: HMD 이동 단말기 및 그의 동작 방법, 공개일자: 2018년 05월 11일), 공개특허 제10-2016-0150565호(발명의 명칭: 헤드 마운트 디스플레이를 위한 3차원 사용자 인터페이스, 공개일자: 2016년 12월 30일) 등이 개시된 바 있다.On the other hand, as a prior art related to the present invention, Patent Publication No. 10-2018-0049739 (invention name: HMD mobile terminal and its operation method, publication date: May 11, 2018), Patent Publication No. 10-2016- 0150565 (name of invention: 3D user interface for head mounted display, publication date: December 30, 2016) and the like have been disclosed.
본 발명은 기존에 제안된 방법들의 상기와 같은 문제점들을 해결하기 위해 제안된 것으로서, 사용자의 제스처 및 제스처의 유지 시간을 검출하여 3차원 좌표를 계산하고, 가상공간의 영상 정보에 포함된 객체 중에서 계산된 3차원 좌표와 매칭되는 객체를 추출함으로써, 제스처의 유지 시간을 도입하여 제스처만으로 정확하고 편리하게 가상공간 내에 3차원으로 배치된 객체를 인식할 수 있는, 머리 착용형 디스플레이 장치의 3차원 가상공간을 위한 객체 인식 방법을 제공하는 것을 그 목적으로 한다.
The present invention is proposed to solve the above problems of the previously proposed methods, detects the user's gesture and the retention time of the gesture, calculates three-dimensional coordinates, and calculates among objects included in the image information of the virtual space. 3D virtual space of the head-wearable display device capable of accurately and conveniently recognizing an object placed in 3D in a virtual space with only a gesture by introducing a holding time of a gesture by extracting an object matching the 3D coordinates An object of the present invention is to provide a method for object recognition.
또한, 본 발명은, 제스처의 유지 시간이 길수록 사용자로부터 멀어지는 깊이 정보를 추출하고 이를 이용해 객체를 추출함으로써, 동일한 위치의 제스처이더라도 제스처의 유지 시간에 따라 가까운 곳의 객체와 먼 곳의 객체를 구분할 수 있고, 제스처의 유지 시간이 길수록 먼 곳의 객체를 가리키는 것으로 판단하여 사용자가 직관적으로 사용할 수 있는, 머리 착용형 디스플레이 장치의 3차원 가상공간을 위한 객체 인식 방법을 제공하는 것을 또 다른 목적으로 한다.In addition, according to the present invention, the longer the holding time of the gesture is, the depth information away from the user is extracted and the object is extracted using the same. Another object is to provide an object recognition method for a 3D virtual space of a head-worn display device that can be intuitively used by a user by determining that the gesture is longer and the longer the holding time of the gesture is.
상기한 목적을 달성하기 위한 본 발명의 특징에 따른 머리 착용형 디스플레이 장치의 3차원 가상공간을 위한 객체 인식 방법은,Object recognition method for a three-dimensional virtual space of the head-worn display device according to the features of the present invention for achieving the above object,
실제 세계에 3차원 가상공간의 영상 정보를 투영하여 증강현실 영상을 사용자에게 제공하는 머리 착용형 디스플레이 장치의 3차원 가상공간을 위한 객체 인식 방법으로서,An object recognition method for a 3D virtual space of a head-worn display device that provides augmented reality images to a user by projecting image information of a 3D virtual space into the real world,
(1) 사용자의 입력 신호로서 제스처 및 상기 제스처의 유지 시간을 검출하는 단계;(1) detecting a gesture as a user input signal and a holding time of the gesture;
(2) 상기 제스처의 유지 시간을 이용해 깊이 정보를 추출하는 단계;(2) extracting depth information using the holding time of the gesture;
(3) 상기 제스처 및 상기 깊이 정보를 이용해 사용자에게 제공되는 상기 증강현실 영상 내의 3차원 좌표를 계산하는 단계; 및(3) calculating 3D coordinates in the augmented reality image provided to a user using the gesture and the depth information; And
(4) 상기 가상공간의 영상 정보에 포함된 객체 중에서, 상기 단계 (3)에서 계산된 3차원 좌표와 매칭되는 객체를 추출하는 단계를 포함하는 것을 그 구성상의 특징으로 한다.
(4) Among the objects included in the image information of the virtual space, it comprises a step of extracting an object matching the three-dimensional coordinates calculated in step (3) is characterized by its configuration.
바람직하게는, 상기 사용자의 입력 신호는, 손의 동작일 수 있다.
Preferably, the user's input signal may be a hand motion.
바람직하게는, 상기 단계 (1)에서는,Preferably, in step (1),
상기 머리 착용형 디스플레이 장치에 구비된 동작 인식 장치를 이용하여, 상기 사용자의 입력 신호를 인식할 수 있다.
The input signal of the user may be recognized by using a motion recognition device provided in the head-worn display device.
더욱 바람직하게는,More preferably,
상기 단계 (1)에서는, 상기 동작 인식 장치와 상기 제스처까지의 거리를 산출하고,In step (1), the distance to the gesture recognition device and the gesture is calculated,
상기 단계 (3)에서는, 상기 산출한 거리를 고려하여 상기 3차원 좌표를 계산할 수 있다.
In step (3), the 3D coordinates may be calculated in consideration of the calculated distance.
바람직하게는, 상기 단계 (2)에서는,Preferably, in step (2),
상기 제스처의 유지 시간이 길수록 사용자로부터 멀어지는 깊이 정보를 추출할 수 있다.
The longer the holding time of the gesture, the depth information away from the user can be extracted.
바람직하게는, 상기 단계 (3)은,Preferably, the step (3),
(3-1) 상기 제스처를 이용해 사용자에게 제공되는 상기 증강현실 영상의 시야 범위 내에서, 2차원 좌표를 계산하는 단계; 및(3-1) calculating a two-dimensional coordinate within a viewing range of the augmented reality image provided to a user using the gesture; And
(3-2) 상기 계산된 2차원 좌표 및 상기 단계 (2)에서 추출된 깊이 정보를 이용해 3차원 좌표를 계산하는 단계를 포함할 수 있다.
(3-2) calculating the 3D coordinates using the calculated 2D coordinates and the depth information extracted in the step (2).
바람직하게는, 상기 단계 (3)에서는,Preferably, in step (3),
상기 제스처 및 상기 깊이 정보를 이용해 사용자에게 제공되는 상기 증강현실 영상 내에서 상기 3차원 좌표의 확률 분포를 계산할 수 있다.
The probability distribution of the 3D coordinates in the augmented reality image provided to the user may be calculated using the gesture and the depth information.
더욱 바람직하게는, 상기 단계 (4)에서는,More preferably, in step (4),
상기 가상공간의 영상 정보에 포함된 객체의 3차원 위치 정보, 및 상기 3차원 좌표의 확률 분포를 이용해, 상기 사용자의 입력 신호에 대응할 확률이 가장 높은 객체를 추출할 수 있다.Using the 3D position information of the object included in the image information of the virtual space and the probability distribution of the 3D coordinates, the object having the highest probability to correspond to the user's input signal may be extracted.
본 발명에서 제안하고 있는 머리 착용형 디스플레이 장치의 3차원 가상공간을 위한 객체 인식 방법에 따르면, 사용자의 제스처 및 제스처의 유지 시간을 검출하여 3차원 좌표를 계산하고, 가상공간의 영상 정보에 포함된 객체 중에서 계산된 3차원 좌표와 매칭되는 객체를 추출함으로써, 제스처의 유지 시간을 도입하여 제스처만으로 정확하고 편리하게 가상공간 내에 3차원으로 배치된 객체를 인식할 수 있다.
According to the object recognition method for the 3D virtual space of the head-worn display device proposed in the present invention, the user's gesture and the retention time of the gesture are detected to calculate the 3D coordinates and included in the image information of the virtual space By extracting an object that matches the calculated 3D coordinates among the objects, it is possible to accurately and conveniently recognize an object arranged in 3D in a virtual space by only introducing a gesture holding time.
또한, 본 발명에서 제안하고 있는 머리 착용형 디스플레이 장치의 3차원 가상공간을 위한 객체 인식 방법에 따르면, 제스처의 유지 시간이 길수록 사용자로부터 멀어지는 깊이 정보를 추출하고 이를 이용해 객체를 추출함으로써, 동일한 위치의 제스처이더라도 제스처의 유지 시간에 따라 가까운 곳의 객체와 먼 곳의 객체를 구분할 수 있고, 제스처의 유지 시간이 길수록 먼 곳의 객체를 가리키는 것으로 판단하여 사용자가 직관적으로 사용할 수 있다.In addition, according to the object recognition method for the 3D virtual space of the head-worn display device proposed in the present invention, the longer the holding time of the gesture is, the depth information away from the user is extracted and an object is used to extract the object, thereby using the object recognition method. Even in the case of a gesture, it is possible to distinguish objects in the near and far objects according to the holding time of the gesture, and the longer the holding time of the gesture is determined to indicate an object in the far place, the user can intuitively use the gesture.
도 1은 일반적인 안경 형태의 헤드 마운티드 디스플레이(HMD)의 개략적인 구성을 도시한 도면.
도 2는 일반적인 밴드 형태의 헤드 마운티드 디스플레이(HMD)의 개략적인 구성을 도시한 도면.
도 3은 본 발명의 일실시예에 따른 머리 착용형 디스플레이 장치의 3차원 가상공간을 위한 객체 인식 방법의 흐름을 도시한 도면.
도 4는 본 발명의 일실시예에 따른 머리 착용형 디스플레이 장치의 3차원 가상공간을 위한 객체 인식 방법에서, 단계 S300의 세부적인 흐름을 도시한 도면.
도 5 및 도 6은 본 발명의 일실시예에 따른 머리 착용형 디스플레이 장치의 3차원 가상공간을 위한 객체 인식 방법에 의한 객체 인식을 예를 들어 도시한 도면.1 is a view showing a schematic configuration of a head mounted display (HMD) in the form of a general glasses.
2 is a view showing a schematic configuration of a general band-shaped head mounted display (HMD).
3 is a diagram illustrating a flow of an object recognition method for a 3D virtual space of a head-worn display device according to an embodiment of the present invention.
4 is a diagram illustrating a detailed flow of step S300 in the object recognition method for a 3D virtual space of the head-worn display device according to an embodiment of the present invention.
5 and 6 are views for example of object recognition by an object recognition method for a 3D virtual space of a head-worn display device according to an embodiment of the present invention.
이하, 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일한 부호를 사용한다.
Hereinafter, preferred embodiments will be described in detail with reference to the accompanying drawings so that those skilled in the art to which the present invention pertains can easily implement the present invention. However, in the detailed description of a preferred embodiment of the present invention, when it is determined that a detailed description of related known functions or configurations may unnecessarily obscure the subject matter of the present invention, the detailed description will be omitted. In addition, the same reference numerals are used throughout the drawings for parts having similar functions and functions.
덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 연결 되어 있다고 할 때, 이는 직접적으로 연결 되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 간접적으로 연결 되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 포함 한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.
In addition, throughout the specification, when a part is connected to another part, this includes not only the case of being directly connected, but also the case of being connected indirectly with another element in between. In addition, the inclusion of any component means that other components may be further included rather than excluding other components, unless otherwise stated.
본 발명의 일실시예에 따른 머리 착용형 디스플레이 장치의 3차원 가상공간을 위한 객체 인식 방법의 각각의 단계는 머리 착용형 디스플레이 장치, 컴퓨터 장치 또는 네트워크 서버에 의해 수행될 수 있다. 이하에서는 설명의 편의를 위해 각각의 단계에서 수행 주체가 생략될 수도 있다.
Each step of the object recognition method for the 3D virtual space of the head-worn display device according to an embodiment of the present invention may be performed by a head-worn display device, a computer device, or a network server. Hereinafter, for convenience of description, the subject may be omitted in each step.
도 3은 본 발명의 일실시예에 따른 머리 착용형 디스플레이 장치의 3차원 가상공간을 위한 객체 인식 방법의 흐름을 도시한 도면이다. 도 3에 도시된 바와 같이, 본 발명의 일실시예에 따른 머리 착용형 디스플레이 장치의 3차원 가상공간을 위한 객체 인식 방법은, 사용자의 입력 신호로서 제스처 및 제스처의 유지 시간을 검출하는 단계(S100), 제스처의 유지 시간을 이용해 깊이 정보를 추출하는 단계(S200), 제스처 및 깊이 정보를 이용해 3차원 좌표를 계산하는 단계(S300) 및 가상공간의 영상 정보에 포함된 객체 중에서 계산된 3차원 좌표와 매칭되는 객체를 추출하는 단계(S400)를 포함하여 구현될 수 있다.
3 is a diagram illustrating a flow of an object recognition method for a 3D virtual space of a head-worn display device according to an embodiment of the present invention. As illustrated in FIG. 3, an object recognition method for a 3D virtual space of a head-worn display device according to an embodiment of the present invention includes detecting a gesture and a holding time of a gesture as an input signal from a user (S100) ), Extracting depth information using the holding time of the gesture (S200), calculating 3D coordinates using the gesture and depth information (S300), and calculated 3D coordinates among objects included in the image information of the virtual space. And extracting an object that matches (S400).
즉, 본 발명은, 실제 세계에 3차원 가상공간의 영상 정보를 투영하여 증강현실 영상을 사용자에게 제공하는 머리 착용형 디스플레이 장치의 3차원 가상공간을 위한 객체 인식 방법으로서, 사용자의 입력 신호로서 제스처 및 제스처의 유지 시간을 검출하여 3차원 좌표를 계산하고, 가상공간의 영상 정보에 포함된 객체 중에서 계산된 3차원 좌표와 매칭되는 객체를 추출할 수 있다. 따라서 2차원의 제스처 인식에 더하여 제스처의 유지 시간을 도입함으로써, 제스처만으로 정확하고 편리하게 가상공간 내에 3차원으로 배치된 객체를 인식하고, 이를 통해 사용자에게 편리한 상호작용을 제공할 수 있다. 이하에서는, 본 발명의 일실시예에 따른 머리 착용형 디스플레이 장치의 3차원 가상공간을 위한 객체 인식 방법의 각 단계에 대해 상세히 설명하도록 한다.
That is, the present invention is an object recognition method for a 3D virtual space of a head-worn display device that provides an augmented reality image to a user by projecting image information of a 3D virtual space into the real world, and gestures as an input signal of the user And detecting a holding time of the gesture to calculate 3D coordinates, and extracting an object matching the calculated 3D coordinates from objects included in the image information of the virtual space. Therefore, by introducing the retention time of the gesture in addition to the two-dimensional gesture recognition, it is possible to accurately and conveniently recognize an object arranged in three dimensions in the virtual space with only the gesture, thereby providing convenient interaction to the user. Hereinafter, each step of the object recognition method for the 3D virtual space of the head-worn display device according to an embodiment of the present invention will be described in detail.
단계 S100에서는, 사용자의 입력 신호로서 제스처 및 제스처의 유지 시간을 검출할 수 있다. 여기서, 사용자의 입력 신호는, 제스처 및 제스처의 유지 시간을 포함할 수 있으며, 보다 구체적으로는 손의 동작에 따른 제스처 및 제스처의 유지 시간일 수 있다. 즉, 사용자는 머리 착용형 디스플레이 장치에서 보이는 증강현실 뷰 필드 내에서 손으로 제스처를 취함으로써, 특정 객체를 선택하는 등의 각종 명령어를 입력할 수 있다.
In step S100, a gesture and a holding time of the gesture can be detected as the user's input signal. Here, the user's input signal may include a gesture and a holding time of the gesture, and more specifically, a holding time of the gesture and the gesture according to the operation of the hand. That is, the user may input various commands, such as selecting a specific object, by making a gesture with a hand in the augmented reality view field seen on the head-worn display device.
보다 구체적으로, 단계 S100에서는, 머리 착용형 디스플레이 장치에 구비된 동작 인식 장치를 이용하여, 사용자의 입력 신호를 인식할 수 있다. 이때, 동작 인식 장치는 카메라일 수 있으며, 실시예에 따라서는 복수의 카메라를 포함할 수도 있다. 따라서 단계 S100에서는, 머리 착용형 디스플레이 장치에 구비된 카메라 등의 동작 인식 장치를 이용해, 사용자가 취하는 손의 동작을 인식할 수 있으며, 인식된 손의 동작으로부터 손의 자세 즉, 제스처 및 해당 자세를 유지하는 시간 즉, 제스처 유지 시간을 검출할 수 있다.
More specifically, in step S100, a user's input signal may be recognized using a motion recognition device provided in the head-worn display device. In this case, the motion recognition device may be a camera, and may include a plurality of cameras depending on the embodiment. Accordingly, in step S100, a gesture of a hand taken by a user may be recognized using a motion recognition device such as a camera provided in the head-worn display device, and a posture of a hand, that is, a gesture and a corresponding posture, from the recognized gesture of the hand. The holding time, that is, the holding time of the gesture can be detected.
단계 S200에서는, 제스처의 유지 시간을 이용해 깊이 정보를 추출할 수 있다. 즉, 제스처의 유지 시간으로부터 원거리의 객체에 대한 입력 신호인지, 근거리의 객체에 대한 입력 신호인지를 판단하여, 거리를 깊이 정보로 추출할 수 있다.
In step S200, depth information may be extracted using the holding time of the gesture. That is, it is possible to determine whether the input signal is for an object at a long distance or an input signal for an object at a short distance from the holding time of the gesture and extract the distance as depth information.
보다 구체적으로는, 단계 S200에서는, 제스처 유지 시간이 길수록 사용자로부터 멀어지는 깊이 정보를 추출할 수 있다. 예를 들어, 제스처의 유지 시간이 0.1초, 0.2초, 0.5초, 1초 등으로 길어짐에 따라, 바로 눈앞의 깊이에서부터, 근거리, 원거리로 점점 멀어지는 깊이 정보를 추출할 수 있다. 이때, 추출되는 깊이 정보는 머리 착용형 디스플레이 장치에서 보이는 증강현실 뷰 필드 내에서 3차원 좌표를 구성하는 어느 하나의 변수로 변환되는 값일 수 있다. 또한, 사용자가 항상 제스처의 유지 시간을 정량적으로 정확하게 취하기는 어려우므로, 단계 S200에서 추출하는 깊이 정보는 일정한 범위 또는 확률 분포일 수 있다.
More specifically, in step S200, as the gesture holding time is longer, depth information farther away from the user may be extracted. For example, as the holding time of the gesture is increased to 0.1 seconds, 0.2 seconds, 0.5 seconds, 1 second, and the like, depth information that is gradually farther away from the depth in front of the eyes, at a short distance, may be extracted. At this time, the extracted depth information may be a value that is converted into any one variable constituting the three-dimensional coordinates in the augmented reality view field seen in the head-worn display device. In addition, since it is difficult for a user to always accurately and accurately maintain a gesture holding time, the depth information extracted in step S200 may be a certain range or probability distribution.
단계 S300에서는, 제스처 및 깊이 정보를 이용해 사용자에게 제공되는 증강현실 영상 내의 3차원 좌표를 계산할 수 있다. 도 4는 본 발명의 일실시예에 따른 머리 착용형 디스플레이 장치의 3차원 가상공간을 위한 객체 인식 방법에서, 단계 S300의 세부적인 흐름을 도시한 도면이다. 도 4에 도시된 바와 같이, 본 발명의 일실시예에 따른 머리 착용형 디스플레이 장치의 3차원 가상공간을 위한 객체 인식 방법의 단계 S300은, 제스처를 이용해 사용자에게 제공되는 증강현실 영상의 시야 범위 내에서 2차원 좌표를 계산하는 단계(S310) 및 계산된 2차원 좌표 및 깊이 정보를 이용해 3차원 좌표를 계산하는 단계(S320)를 포함하여 구현될 수 있다.
In step S300, three-dimensional coordinates in the augmented reality image provided to the user may be calculated using gesture and depth information. 4 is a diagram illustrating a detailed flow of step S300 in the object recognition method for the 3D virtual space of the head-worn display device according to an embodiment of the present invention. As illustrated in FIG. 4, step S300 of an object recognition method for a 3D virtual space of a head-worn display device according to an embodiment of the present invention is within a field of view of an augmented reality image provided to a user using a gesture It may be implemented including the step of calculating the two-dimensional coordinates (S310) and the step of calculating the three-dimensional coordinates using the calculated two-dimensional coordinates and depth information (S320).
단계 S310에서는, 제스처를 이용해 사용자에게 제공되는 증강현실 영상의 시야 범위 내에서, 2차원 좌표를 계산할 수 있다. 예를 들어, 단계 S310에서는, 제스처에서 사용자의 집게손가락 끝이 증강현실 뷰 필드 내에서 가리키는 좌우 및 상하지점을 2차원 좌표로 계산할 수 있다. 이때, 좌우를 x 방향, 상하를 y 방향으로 하여, (x, y)의 2차원 좌표를 계산할 수 있다.
In step S310, two-dimensional coordinates may be calculated within a field of view of an augmented reality image provided to a user using a gesture. For example, in step S310, the left and right and upper and lower points of the user's index finger pointing in the augmented reality view field in the gesture may be calculated in two-dimensional coordinates. At this time, the two-dimensional coordinates of (x, y) can be calculated by setting the left and right in the x direction and the top and bottom in the y direction.
단계 S320에서는, 계산된 2차원 좌표 및 단계 S200에서 추출된 깊이 정보를 이용해 3차원 좌표를 계산할 수 있다. 예를 들어, 단계 S320에서는, 단계 S200에서 추출된 깊이 정보를 z 방향으로 하고, 단계 S320에서 계산된 2차원 좌표와 결합하여 (x, y, z)의 3차원 좌표를 계산할 수 있다.
In step S320, three-dimensional coordinates may be calculated using the calculated two-dimensional coordinates and depth information extracted in step S200. For example, in step S320, the depth information extracted in step S200 is set to the z direction, and the 3D coordinates of (x, y, z) can be calculated by combining with the 2D coordinates calculated in step S320.
또한, 단계 S100에서는, 동작 인식 장치와 제스처까지의 거리를 산출하고, 단계 S300에서는, 산출한 거리를 고려하여 3차원 좌표를 계산할 수 있다. 사용자는 증강현실 뷰 필드 내에서 제스처를 취하게 되는데, 사용자의 제스처를 인식하는 동작 인식 장치와 사용자의 제스처 사이의 거리는 매번 다를 수 있으므로, 단계 S300에서는 단계 S200에서 추출된 깊이 정보뿐 아니라 동작 인식 장치와 제스처 사이의 거리를 더 고려하여 z 방향의 좌표를 계산함으로써, 더욱 정확한 (x, y, z)의 3차원 좌표를 계산할 수 있다.
In addition, in step S100, the distance to the gesture recognition device and the gesture is calculated, and in step S300, three-dimensional coordinates can be calculated in consideration of the calculated distance. The user makes a gesture in the augmented reality view field. Since the distance between the motion recognition device for recognizing the user's gesture and the user's gesture may be different each time, in step S300, the motion recognition device as well as the depth information extracted in step S200 By further considering the distance between the and gestures and calculating the coordinates in the z direction, more accurate (x, y, z) 3D coordinates can be calculated.
한편, 단계 S300에서는, 제스처 및 깊이 정보를 이용해 사용자에게 제공되는 증강현실 영상 내에서 3차원 좌표의 확률 분포를 계산할 수 있다. 보다 구체적으로, 단계 S310에서는 2차원 좌표를 확률 분포로 계산하고, 단계 S320에서는 3차원 좌표를 확률 분포로 계산할 수 있다.
On the other hand, in step S300, the probability distribution of 3D coordinates in the augmented reality image provided to the user may be calculated using gesture and depth information. More specifically, in step S310, two-dimensional coordinates may be calculated as a probability distribution, and in step S320, three-dimensional coordinates may be calculated as a probability distribution.
본 발명의 일실시예에 따른 머리 착용형 디스플레이 장치의 3차원 가상공간을 위한 객체 인식 방법에서는, 제스처의 유지 시간을 이용하는데, 제스처의 유지 시간 동안 사용자의 손의 동작은 고정되지 않고 움직일 수 있다. 특히, 사용자는 고정된 위치에서 입력 신호를 입력했다고 생각하더라도, 미세한 손의 떨림이나 자세의 불안정성 등으로 인하여 손이 흔들릴 수도 있다. 따라서 단계 S310에서는, 제스처의 유지 시간 동안의 사용자의 제스처를 x 방향의 확률 분포 및 y 방향의 확률 분포로 구성되는 2차원 좌표의 확률 분포로 계산할 수 있다. 또한, 단계 S200에서 추출하는 깊이 정보는 일정한 범위 또는 확률 분포일 수 있으므로, 단계 S320에서는 깊이 정보를 이용한 z 방향의 확률 분포까지 포함하여 구성되는 3차원 좌표의 확률 분포를 계산할 수 있다.
In the object recognition method for a 3D virtual space of the head-worn display device according to an embodiment of the present invention, a gesture holding time is used. During the holding time of the gesture, a user's hand movement is not fixed but can be moved. . In particular, even if the user thinks that the input signal is input at a fixed position, the hand may shake due to minute hand tremor or posture instability. Therefore, in step S310, the gesture of the user during the holding time of the gesture may be calculated as a probability distribution of two-dimensional coordinates composed of a probability distribution in the x direction and a probability distribution in the y direction. In addition, since the depth information extracted in step S200 may be a constant range or probability distribution, in step S320, a probability distribution of 3D coordinates including the z-direction probability distribution using depth information may be calculated.
단계 S400에서는, 가상공간의 영상 정보에 포함된 객체 중에서, 단계 S300에서 계산된 3차원 좌표와 매칭되는 객체를 추출할 수 있다. 즉, 증강현실 영상에 포함되는 가상공간의 영상 정보는 3차원으로 배치된 복수의 객체를 포함할 수 있는데, 단계 S400에서는 증강현실 뷰 필드 내에서의 각 객체들의 위치 정보와 단계 S300에서 계산된 3차원 좌표를 이용하여 정확하게 객체를 인식할 수 있다.
In step S400, an object matching the 3D coordinates calculated in step S300 may be extracted from objects included in the image information of the virtual space. That is, the image information of the virtual space included in the augmented reality image may include a plurality of objects arranged in 3D. In step S400, the position information of each object in the augmented reality view field and the 3 calculated in step S300. Objects can be accurately recognized using dimensional coordinates.
보다 구체적으로는, 단계 S400에서는, 가상공간의 영상 정보에 포함된 객체의 3차원 위치 정보, 및 3차원 좌표의 확률 분포를 이용해, 사용자의 입력 신호에 대응할 확률이 가장 높은 객체를 추출할 수 있다. 따라서 사용자의 손이 다소 흔들리거나 제스처의 유지 시간이 일정하지 않더라도, 사용자의 의도에 맞는 객체를 높은 확률로 추출할 수 있다.
More specifically, in step S400, the object having the highest probability to correspond to the user's input signal can be extracted using the 3D position information of the object included in the virtual space image information and the probability distribution of the 3D coordinates. . Therefore, even if the user's hand is slightly shaken or the duration of the gesture is not constant, an object matching the user's intention can be extracted with a high probability.
이와 같이, 본 발명의 일실시예에 따른 머리 착용형 디스플레이 장치의 3차원 가상공간을 위한 객체 인식 방법을 통해, 사용자의 입력 신호의 대상이 되는 객체를 정확하게 추출하여 인식할 수 있다. 머리 착용형 디스플레이 장치는 인식된 객체에 대해 사용자의 입력 신호에 따른 프로세스를 처리할 수 있다. 예를 들어, 사용자의 입력 신호는 선택, 확대, 복사 등 다양한 명령에 해당할 수 있는데, 인식된 객체를 선택한 것으로 처리하고 그에 대응하는 프로세스를 처리하거나, 인식된 객체를 확대, 복사함으로써 사용자가 제스처를 이용해 편리하게 증강현실 내에서 상호작용을 할 수 있다.
As described above, through the object recognition method for the 3D virtual space of the head-worn display device according to an embodiment of the present invention, an object that is a target of a user's input signal can be accurately extracted and recognized. The head-worn display device may process a process according to a user's input signal for the recognized object. For example, the user's input signal may correspond to various commands such as selection, magnification, and copying. The user gestures by processing the recognized object as selected and processing the corresponding process, or enlarging or copying the recognized object. You can conveniently interact within augmented reality.
도 5 및 도 6은 본 발명의 일실시예에 따른 머리 착용형 디스플레이 장치의 3차원 가상공간을 위한 객체 인식 방법에 의한 객체 인식을 예를 들어 도시한 도면이다. 본 발명의 일실시예에 따른 머리 착용형 디스플레이 장치의 3차원 가상공간을 위한 객체 인식 방법에서는, 머리 착용형 디스플레이 장치를 통해, 3차원으로 배치된 복수의 객체(시간, 미세먼지 정보, star 커피 및 moon 커피)를 포함하는 가상공간의 영상 정보가 실제 세계에 투영되어 증강현실 영상이 제공될 수 있다. 이때, star 커피는 근거리에 있는 커피숍에 대한 정보를 포함하는 객체로서 가까운 곳에 배치되고, moon 커피는 원거리에 있는 커피숍에 대한 정보를 포함하는 객체로서 먼 곳에 배치되어 있을 수 있다.
5 and 6 are diagrams illustrating object recognition by an object recognition method for a 3D virtual space of a head-worn display device according to an embodiment of the present invention, for example. In the object recognition method for a 3D virtual space of the head-wearable display device according to an embodiment of the present invention, a plurality of objects (time, fine dust information, star coffee) arranged in 3D through the head-wearable display device And moon coffee), augmented reality images may be provided by projecting image information of a virtual space onto the real world. At this time, the star coffee may be disposed in the vicinity as an object containing information about the coffee shop at a short distance, and the moon coffee may be disposed at a remote location as an object containing information about the coffee shop at a remote location.
도 5 및 도 6의 상단에 도시된 바와 같이 사용자가 두 객체 사이를 가리키는 제스처를 취할 수 있는데, 종래의 기술에 따르면 사용자가 star 커피와 moon 커피 중 어느 객체를 가리키는지 명확하지 않을 수 있다. 그러나 본 발명의 일실시예에 따른 머리 착용형 디스플레이 장치의 3차원 가상공간을 위한 객체 인식 방법에 따르면, 제스처의 유지 시간을 이용한 깊이 정보로 3차원 좌표를 계산하기 때문에, 도 5에 도시된 바와 같이 제스처를 0.2초 동안 유지한 경우에는 근거리의 star 커피 객체가 인식되어, star 커피의 상세한 정보와 바로 주문을 하거나 메뉴를 볼 수 있는 화면이 활성화될 수 있다. 그러나 도 6에 도시된 바와 같이 제스처를 0.5초 동안 유지한 경우에는 원거리의 moon 커피 객체가 인식되어, moon 커피의 상세한 정보가 활성화될 수 있다.
5 and 6, a user may take a gesture pointing between two objects, according to a conventional technique, it may not be clear which object the user points to, star coffee or moon coffee. However, according to an object recognition method for a 3D virtual space of a head-worn display device according to an embodiment of the present invention, since 3D coordinates are calculated using depth information using a holding time of a gesture, as shown in FIG. Similarly, if the gesture is maintained for 0.2 seconds, a short-range star coffee object is recognized, and a detailed information of the star coffee and a screen for directly placing an order or viewing a menu may be activated. However, as shown in FIG. 6, when the gesture is maintained for 0.5 seconds, a long distance moon coffee object is recognized, and detailed information of the moon coffee can be activated.
이와 같이, 본 발명에서 제안하고 있는 머리 착용형 디스플레이 장치의 3차원 가상공간을 위한 객체 인식 방법에 따르면, 사용자의 제스처 및 제스처의 유지 시간을 검출하여 3차원 좌표를 계산하고, 가상공간의 영상 정보에 포함된 객체 중에서 계산된 3차원 좌표와 매칭되는 객체를 추출함으로써, 제스처의 유지 시간을 도입하여 제스처만으로 정확하고 편리하게 가상공간 내에 3차원으로 배치된 객체를 인식할 수 있다. 또한, 제스처의 유지 시간이 길수록 사용자로부터 멀어지는 깊이 정보를 추출하고 이를 이용해 객체를 추출함으로써, 동일한 위치의 제스처이더라도 제스처의 유지 시간에 따라 가까운 곳의 객체와 먼 곳의 객체를 구분할 수 있고, 제스처의 유지 시간이 길수록 먼 곳의 객체를 가리키는 것으로 판단하여 사용자가 직관적으로 사용할 수 있다.
As described above, according to the object recognition method for the 3D virtual space of the head-worn display device proposed in the present invention, the user's gesture and the retention time of the gesture are detected to calculate the 3D coordinates, and the image information of the virtual space By extracting an object that matches the calculated 3D coordinates among the objects included in, it is possible to accurately and conveniently recognize an object arranged in 3D in a virtual space by only introducing a gesture holding time. In addition, the longer the holding time of the gesture is, the depth information away from the user is extracted and the object is extracted using the same, so that even in the case of the gesture at the same location, the close object and the distant object can be distinguished according to the holding time of the gesture. The longer the retention time, the more the user can intuitively use it by judging that it refers to an object in a distant place.
이상 설명한 본 발명은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에 의하여 다양한 변형이나 응용이 가능하며, 본 발명에 따른 기술적 사상의 범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.The present invention described above can be variously modified or applied by a person having ordinary knowledge in the technical field to which the present invention belongs, and the scope of the technical idea according to the present invention should be defined by the following claims.
S100: 사용자의 입력 신호로서 제스처 및 제스처의 유지 시간을 검출하는 단계
S200: 제스처의 유지 시간을 이용해 깊이 정보를 추출하는 단계
S300: 제스처 및 깊이 정보를 이용해 3차원 좌표를 계산하는 단계
S310: 제스처를 이용해 사용자에게 제공되는 증강현실 영상의 시야 범위 내에서 2차원 좌표를 계산하는 단계
S320: 계산된 2차원 좌표 및 깊이 정보를 이용해 3차원 좌표를 계산하는 단계
S400: 가상공간의 영상 정보에 포함된 객체 중에서 계산된 3차원 좌표와 매칭되는 객체를 추출하는 단계S100: detecting a gesture and a holding time of the gesture as a user input signal
S200: Step of extracting depth information using the holding time of the gesture
S300: Step of calculating 3D coordinates using gesture and depth information
S310: Calculating two-dimensional coordinates within the field of view of the augmented reality image provided to the user using a gesture
S320: Step of calculating 3D coordinates using calculated 2D coordinate and depth information
S400: Extracting an object matching the calculated 3D coordinates among the objects included in the image information of the virtual space
Claims (8)
(1) 사용자의 입력 신호로서 손의 동작에 따른 제스처 및 상기 제스처의 유지 시간을 검출하는 단계;
(2) 상기 제스처의 유지 시간을 이용해 깊이 정보를 추출하되, 상기 제스처의 유지 시간이 길수록 사용자로부터 멀어지는 깊이 정보를 추출하며, 확률 분포로 깊이 정보를 추출하는 단계;
(3) 상기 제스처 및 상기 깊이 정보를 이용해 사용자에게 제공되는 상기 증강현실 영상 내의 3차원 좌표를 계산하는 단계; 및
(4) 상기 가상공간의 영상 정보에 포함된 객체 중에서, 상기 단계 (3)에서 계산된 3차원 좌표와 매칭되는 객체를 추출하는 단계를 포함하며,
상기 단계 (1)에서는,
상기 머리 착용형 디스플레이 장치에 구비된 동작 인식 장치를 이용하여, 상기 사용자의 입력 신호를 인식하고, 상기 동작 인식 장치와 상기 제스처까지의 거리를 산출하고,
상기 단계 (3)에서는, 상기 단계 (2)에서 추출된 깊이 정보뿐 아니라, 상기 산출한 거리를 더 고려하여 깊이 방향의 좌표를 계산하여, 상기 3차원 좌표를 계산하며,
상기 단계 (3)에서는,
상기 제스처 및 상기 깊이 정보를 이용해 사용자에게 제공되는 상기 증강현실 영상 내에서 상기 3차원 좌표의 확률 분포를 계산하되,
상기 단계 (3)은,
(3-1) 상기 제스처를 이용해 사용자에게 제공되는 상기 증강현실 영상의 시야 범위 내에서, 2차원 좌표를 확률 분포로 계산하되, 상기 제스처의 유지 시간 동안의 사용자의 제스처를 x 방향의 확률 분포 및 y 방향의 확률 분포로 구성되는 2차원 좌표의 확률 분포로 계산하는 단계; 및
(3-2) 상기 계산된 2차원 좌표 및 상기 단계 (2)에서 추출된 깊이 정보를 이용해 3차원 좌표를 확률 분포로 계산하되, 상기 단계 (2)에서 확률 분포로 추출된 깊이 정보를 이용한 z 방향의 확률 분포까지 포함하여 구성되는 3차원 좌표의 확률 분포를 계산하는 단계를 포함하며,
상기 단계 (4)에서는,
상기 가상공간의 영상 정보에 포함된 객체의 3차원 위치 정보, 및 상기 3차원 좌표의 확률 분포를 이용해, 상기 사용자의 입력 신호에 대응할 확률이 가장 높은 객체를 추출하며,
상기 머리 착용형 디스플레이 장치는,
상기 단계 (4)에서 추출된 객체에 대해 상기 사용자의 입력 신호에 따른 프로세스를 처리하되, 상기 제스처 및 상기 제스처의 유지 시간으로부터 추출된 객체를 선택한 것으로 처리하고 상기 추출된 객체에 대응하는 프로세스를 처리하거나, 또는 상기 사용자의 제스처에 해당하는 확대 및 복사를 포함하는 명령을 상기 제스처 및 상기 제스처의 유지 시간으로부터 추출된 객체에 대해 처리하는 것을 특징으로 하는, 머리 착용형 디스플레이 장치의 3차원 가상공간을 위한 객체 인식 방법.An object recognition method for a 3D virtual space of a head-worn display device that provides augmented reality images to a user by projecting image information of a 3D virtual space into the real world,
(1) detecting a gesture according to a hand motion and a holding time of the gesture as an input signal of the user;
(2) extracting depth information using the holding time of the gesture, extracting depth information away from a user as the holding time of the gesture is longer, and extracting depth information with a probability distribution;
(3) calculating 3D coordinates in the augmented reality image provided to a user using the gesture and the depth information; And
(4) extracting an object matching the three-dimensional coordinates calculated in step (3), among objects included in the image information of the virtual space,
In step (1),
Using the motion recognition device provided in the head-wearing display device, the user's input signal is recognized, and the distance between the motion recognition device and the gesture is calculated,
In the step (3), not only the depth information extracted in the step (2), but also calculates the coordinates of the depth direction in consideration of the calculated distance, and calculates the three-dimensional coordinates,
In step (3),
Calculating the probability distribution of the three-dimensional coordinates in the augmented reality image provided to the user using the gesture and the depth information,
Step (3) is,
(3-1) Within the field of view of the augmented reality image provided to the user using the gesture, two-dimensional coordinates are calculated as a probability distribution, but the user's gesture during the duration of the gesture is distributed in the x direction and calculating a probability distribution of 2D coordinates consisting of a probability distribution in the y direction; And
(3-2) The 3D coordinates are calculated as a probability distribution using the calculated 2D coordinates and the depth information extracted in step (2), but z using depth information extracted as a probability distribution in step (2) Comprising the step of calculating the probability distribution of the three-dimensional coordinates comprising the probability distribution in the direction,
In step (4),
Using the 3D position information of the object included in the image information of the virtual space and the probability distribution of the 3D coordinates, the object having the highest probability to correspond to the user's input signal is extracted,
The head wearable display device,
The object extracted in the step (4) is processed according to the user's input signal, but the object extracted from the gesture and the holding time of the gesture is selected and the process corresponding to the extracted object is processed. Or, processing the 3D virtual space of the head-worn display device, characterized in that for processing the command including the zoom and copy corresponding to the user's gesture on the gesture and the object extracted from the holding time of the gesture. For object recognition method.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190028402A KR102102309B1 (en) | 2019-03-12 | 2019-03-12 | Object recognition method for 3d virtual space of head mounted display apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190028402A KR102102309B1 (en) | 2019-03-12 | 2019-03-12 | Object recognition method for 3d virtual space of head mounted display apparatus |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102102309B1 true KR102102309B1 (en) | 2020-04-21 |
Family
ID=70456435
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190028402A KR102102309B1 (en) | 2019-03-12 | 2019-03-12 | Object recognition method for 3d virtual space of head mounted display apparatus |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102102309B1 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20220164376A (en) * | 2021-06-04 | 2022-12-13 | 주식회사 피앤씨솔루션 | Lightweight hand joint prediction method and apparatus for real-time hand motion interface implementation of ar glasses device |
| KR20240026056A (en) | 2022-08-19 | 2024-02-27 | 광운대학교 산학협력단 | Virtual object and virtual space recognition method displaying the user interface differently depending on the user's condition |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20100047793A (en) * | 2008-10-29 | 2010-05-10 | 한국전자통신연구원 | Apparatus for user interface based on wearable computing environment and method thereof |
| JP2011113107A (en) * | 2009-11-24 | 2011-06-09 | Konami Digital Entertainment Co Ltd | Input acceptance device, input determination method, and program |
| KR20140107229A (en) * | 2011-12-06 | 2014-09-04 | 톰슨 라이센싱 | Method and system for responding to user's selection gesture of object displayed in three dimensions |
| JP2017199379A (en) * | 2013-02-19 | 2017-11-02 | ミラマ サービス インク | Tracking display system, tracking display program, tracking display method, wearable device using the same, tracking display program for wearable device, and manipulation method for wearable device |
-
2019
- 2019-03-12 KR KR1020190028402A patent/KR102102309B1/en active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20100047793A (en) * | 2008-10-29 | 2010-05-10 | 한국전자통신연구원 | Apparatus for user interface based on wearable computing environment and method thereof |
| JP2011113107A (en) * | 2009-11-24 | 2011-06-09 | Konami Digital Entertainment Co Ltd | Input acceptance device, input determination method, and program |
| KR20140107229A (en) * | 2011-12-06 | 2014-09-04 | 톰슨 라이센싱 | Method and system for responding to user's selection gesture of object displayed in three dimensions |
| JP2017199379A (en) * | 2013-02-19 | 2017-11-02 | ミラマ サービス インク | Tracking display system, tracking display program, tracking display method, wearable device using the same, tracking display program for wearable device, and manipulation method for wearable device |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20220164376A (en) * | 2021-06-04 | 2022-12-13 | 주식회사 피앤씨솔루션 | Lightweight hand joint prediction method and apparatus for real-time hand motion interface implementation of ar glasses device |
| KR102548208B1 (en) | 2021-06-04 | 2023-06-28 | 주식회사 피앤씨솔루션 | Lightweight hand joint prediction method and apparatus for real-time hand motion interface implementation of ar glasses device |
| KR20240026056A (en) | 2022-08-19 | 2024-02-27 | 광운대학교 산학협력단 | Virtual object and virtual space recognition method displaying the user interface differently depending on the user's condition |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6393367B2 (en) | Tracking display system, tracking display program, tracking display method, wearable device using them, tracking display program for wearable device, and operation method of wearable device | |
| US11714592B2 (en) | Gaze-based user interactions | |
| CN116027894A (en) | Passive optical and inertial tracking for slim form factors | |
| JP6177872B2 (en) | I / O device, I / O program, and I / O method | |
| US11714540B2 (en) | Remote touch detection enabled by peripheral device | |
| WO2014128752A1 (en) | Display control device, display control program, and display control method | |
| US9906778B2 (en) | Calibration device, calibration program, and calibration method | |
| KR20120068253A (en) | Method and apparatus for providing response of user interface | |
| US11803233B2 (en) | IMU for touch detection | |
| WO2014128751A1 (en) | Head mount display apparatus, head mount display program, and head mount display method | |
| KR102102309B1 (en) | Object recognition method for 3d virtual space of head mounted display apparatus | |
| JP7459798B2 (en) | Information processing device, information processing method, and program | |
| CN110895433B (en) | Method and apparatus for user interaction in augmented reality | |
| JP6446465B2 (en) | I / O device, I / O program, and I / O method | |
| US20230367403A1 (en) | Terminal device, virtual object manipulation method, and virtual object manipulation program | |
| US10936147B2 (en) | Tablet computing device with display dock |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| AMND | Amendment | ||
| X091 | Application refused [patent] | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) | ||
| GRNT | Written decision to grant |