KR101651535B1 - Head mounted display device and control method thereof - Google Patents
Head mounted display device and control method thereof Download PDFInfo
- Publication number
- KR101651535B1 KR101651535B1 KR1020140170842A KR20140170842A KR101651535B1 KR 101651535 B1 KR101651535 B1 KR 101651535B1 KR 1020140170842 A KR1020140170842 A KR 1020140170842A KR 20140170842 A KR20140170842 A KR 20140170842A KR 101651535 B1 KR101651535 B1 KR 101651535B1
- Authority
- KR
- South Korea
- Prior art keywords
- wearable device
- marker
- light
- image data
- hmd
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/02—Viewing or reading apparatus
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/02—Viewing or reading apparatus
- G02B27/022—Viewing apparatus
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/80—Technologies aiming to reduce greenhouse gasses emissions common to all road transportation technologies
- Y02T10/84—Data processing systems or methods, management, administration
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
HMD(Head Mounted Display) 디바이스가 개시된다. 본 발명에 따른 HMD(Head Mounted Display) 디바이스는, 화면을 디스플레이하는 투명한 접안식 디스플레이부, 사용자가 화면을 보는 시야를 포함하는 전방에서, 웨어러블 디바이스에 구비된 발광 소자에서 발광하는 빛을 촬영한 영상 데이터를 획득하는 복수의 촬영 장치를 포함하는 촬영부 및 서로 상이한 촬영 장치에서 획득한 적어도 둘 이상의 영상 데이터에 기초하여 촬영 대상의 HMD 디바이스에 대한 상대적 위치를 계산하는 제1 연산을 수행하고, 빛의 위치를 계산한 제1 연산 결과에 따른 사용자 인터렉션 명령을 감지하고, 감지된 사용자 인터렉션 명령에 대응하는 화면을 디스플레이하도록 디스플레이부를 제어하는 프로세서를 포함한다.An HMD (Head Mounted Display) device is disclosed. An HMD (Head Mounted Display) device according to the present invention includes a transparent goggle-type display unit for displaying a screen, an image capturing light emitted from a light emitting element provided in the wearable device, Performing a first calculation for calculating a relative position with respect to an HMD device to be imaged on the basis of at least two or more image data acquired by a photographing section including a plurality of photographing apparatuses for acquiring data, And a processor for controlling the display unit to display a screen corresponding to the detected user interaction instruction.
Description
본 발명은 HMD 디바이스 및 그 제어 방법에 관한 것으로, 더욱 상세하게는 손에 착용할 수 있는 웨어러블 디바이스를 이용하여 디스플레이되는 화면을 제어할 수 있는 HMD 디바이스 및 그 제어 방법에 관한 것이다.The present invention relates to an HMD device and a control method thereof, and more particularly, to an HMD device and a control method thereof that can control a display screen using a wearable device that can be worn by a hand.
최근 전자 기술의 발전에 따라 다양한 형태로 사용자에게 시각 정보를 표시하기 위한 수단으로서, 사용자의 두부에 착용 가능한 형태를 갖는 디스플레이 장치가 개발되고 있다. 이러한 두부에 착용 가능한 디스플레이 장치를 HMD 디바이스 (Head Mounted Display Device)라고 하며, 사용자의 눈에 접한 디스플레이 패널을 통해 가상 현실 세계를 보여주거나, 현실 세계와 함께 증강된 화면을 보여준다.2. Description of the Related Art Recently, as a means for displaying visual information to a user in various forms in accordance with the development of electronic technology, a display device having a form wearable on a user's head has been developed. Such a head-mounted display device is referred to as an HMD device (Head Mounted Display Device), and displays a virtual reality world through a display panel facing the user's eyes or displays an enhanced image together with the real world.
특히, 투명 디스플레이 패널을 이용하여 두부에 착용 가능한 형태의 안경식 HMD 디바이스의 경우, 사용자의 실생활에 접목하여 보다 유용하고 편리한 기능을 제공할 수 있기 때문에, 차세대 정보 통신 기기로서 많은 각광을 받고 있다.In particular, in the case of a spectacle-type HMD device that can be worn on a head using a transparent display panel, the HMD device can provide a more useful and convenient function by combining it with the actual life of a user, and thus has attracted much attention as a next generation information communication device.
그러나, HMD 디바이스의 경우, 그 휴대성이 갖는 장점과 함께, 디스플레이되는 화면을 제어할 수 있는 하드 키를 구비한 별도의 제어 장치가 요구되는 불편을 수반하였다. However, in the case of the HMD device, there is a disadvantage that a separate control device having a hard key for controlling the displayed screen is required along with the advantages of the portability.
본 발명은 상술한 문제점을 해결하기 위한 것으로, 본 발명의 목적은 웨어러블 디아비스를 착용한 손만으로 직관적으로 HMD 디바이스의 화면을 제어할 수 있는 HMD 디바이스 및 그 제어 방법을 제공함에 있다.It is an object of the present invention to provide an HMD device and a control method thereof that can intuitively control the screen of an HMD device with only a hand wearing a wearable diabe.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 HMD(Head Mounted Display) 디바이스는, 화면을 디스플레이하는 투명한 접안식 디스플레이부, 사용자가 상기 화면을 보는 시야를 포함하는 전방에서, 웨어러블 디바이스에 구비된 발광 소자에서 발광하는 빛을 촬영한 영상 데이터를 획득하는 복수의 촬영 장치를 포함하는 촬영부 및 서로 상이한 상기 촬영 장치에서 획득한 적어도 둘 이상의 영상 데이터에 기초하여 촬영 대상의 상기 HMD 디바이스에 대한 상대적 위치를 계산하는 제1 연산을 수행하고, 상기 빛의 위치를 계산한 제1 연산 결과에 따른 사용자 인터렉션 명령을 감지하고, 상기 감지된 사용자 인터렉션 명령에 대응하는 화면을 디스플레이하도록 상기 디스플레이부를 제어하는 프로세서를 포함한다.According to an aspect of the present invention, there is provided an HMD (Head Mounted Display) device including: a transparent gesture display unit for displaying a screen; And a plurality of image pickup devices for acquiring image data of light emitted from the light emitting devices, and an image pickup device for outputting the image data relative to the HMD device to be picked up A processor for controlling the display unit to display a screen corresponding to the sensed user interaction instruction, and a controller for controlling the display unit to display a screen corresponding to the sensed user interaction instruction, .
이 경우, 상기 촬영부는, 상기 빛과 함께 고정된 위치에 놓인 기설정된 모양을 갖는 마커를 촬영한 영상 데이터를 획득하고, 상기 프로세서는, 상기 제1 연산에 따른 상기 빛의 위치 및 상기 마커의 위치를 계산하고, 상기 HMD 디바이스의 위치 및 자세에 따라 상기 마커의 변경되는 제1 연산 결과 및 상기 마커의 변경되는 촬영 모양으로부터 산출된 보상값을 이용하여, 변경되는 촬영 대상의 제1 연산 결과로부터 상기 촬영 대상이 공간상에서 움직인 변위를 계산하는 제2 연산을 수행하고, 상기 빛의 변위를 계산한 제2 연산 결과에 따른 사용자 인터렉션 명령을 감지할 수 있다.In this case, the photographing unit acquires image data of a marker having a predetermined shape placed at a fixed position together with the light, and the processor calculates the position of the light according to the first calculation and the position of the marker From the first computation result of the photographed object to be changed, using the first computation result changed from the marker and the compensation value computed from the changed imaging form of the marker according to the position and attitude of the HMD device, A second operation for calculating a displacement in which an object to be photographed moves in space is performed and a user interaction command according to a second operation result for calculating the displacement of the light can be sensed.
이 경우, 상기 HMD 디바이스는, 회전 대칭성이 없는 모양을 갖는 적어도 하나의 패턴을 기저장하는 저장부를 더 포함할 수 있고, 상기 프로세서는, 상기 저장부에 기저장된 패턴에 대응하는 마커를 인식하여 상기 보상값을 산출할 수 있다.In this case, the HMD device may further include a storage unit for storing at least one pattern having a shape without rotational symmetry, wherein the processor recognizes a marker corresponding to a pattern previously stored in the storage unit, The compensation value can be calculated.
이 경우, 상기 프로세서는, 상기 마커를 지정하는 명령을 수신하면, 전방을 촬영한 상기 영상 데이터에서 상기 지정된 마커에 대응되는 모양을 상기 저장부에 저장하도록 제어할 수 있다.In this case, upon receipt of an instruction to designate the marker, the processor may control to store, in the storage unit, a shape corresponding to the designated marker in the image data captured in the forward direction.
한편, 상기 프로세서는, 상기 화면에 고정된 오브젝트를 디스플레이하는 일반 모드에서는 상기 제1 연산에 따른 사용자 인터렉션 명령에 대응되는 기능을 수행하고, 3차원 공간감을 일으키는 오브젝트를 상기 마커의 상대적인 위치에 디스플레이하는 증강현실 모드에서는 상기 제2 연산에 따른 사용자 인터렉션 명령에 대응되는 기능을 수행할 수 있다.Meanwhile, in the general mode for displaying an object fixed on the screen, the processor performs a function corresponding to a user interaction command according to the first operation and displays an object causing a three-dimensional spatial sensation at a relative position of the marker In the augmented reality mode, a function corresponding to the user interaction command according to the second operation can be performed.
한편, 상기 촬영부는, 상기 웨어러블 디바이스에 구비된 복수의 발광 소자에서 발광하는 빛을 촬영한 영상 데이터를 획득하고, 상기 프로세서는, 상기 복수의 발광 소자 중 어느 하나로부터 상기 복수의 광원이 배열된 방향으로 기설정된 길이만큼 이격된 가상의 지점을 지시할 수 있는 지시자를 제공하는 기능을 수행할 수 있다.The photographing unit may acquire image data of light emitted from a plurality of light emitting devices provided in the wearable device, and the processor may be configured to acquire image data from any one of the plurality of light emitting devices in a direction in which the plurality of light sources are arranged And an indicator for indicating a virtual point spaced by a predetermined length.
한편, 상기 HMD 디바이스는, 상기 웨어러블 디바이스와 통신을 수행하는 통신 인터페이스부를 더 포함하고, 상기 프로세서는, 상기 통신 인터페이스부를 통해 상기 웨어러블 디바이스에 구비된 터치 어레이를 터치하는 명령을 수신하면 상기 디스플레이된 화면을 스크롤 또는 주밍(zooming)하는 기능을 수행할 수 있다.The HMD device may further include a communication interface unit for performing communication with the wearable device, and the processor, when receiving an instruction to touch the touch array provided in the wearable device through the communication interface unit, The user can perform a function of scrolling or zooming.
한편, 상기 촬영부는, 상기 웨어러블 디바이스에 구비된 발광 소자에서 발광하는 빛과 상기 웨어러블 디바이스에서 방출된 레이저가 물체에 부딪혀 반사된 빔 스팟(beam spot)을 촬영한 영상 데이터를 획득하고, 상기 프로세서는, 상기 제1 연산에 따른 상기 빛의 위치와 상기 빔 스팟의 위치를 연장하는 선상에 위치한 가상 오브젝트와 인터렉션하는 기능을 수행할 수 있다.Meanwhile, the photographing unit obtains image data obtained by photographing a light beam emitted from a light emitting element provided in the wearable device and a beam spot reflected by a laser emitted from the wearable device, And perform a function of interacting with a virtual object positioned on a line extending the position of the light and the position of the beam spot according to the first operation.
이 경우, 상기 웨어러블 디바이스와 통신을 수행하는 통신 인터페이스부를 더 포함하고, 상기 프로세서는, 상기 통신 인터페이스부를 통해 상기 웨어러블 디바이스에 구비된 터치 어레이를 터치하는 명령을 수신하면, 상기 발광 소자로부터 상기 가상 오브젝트를 지시하기 위한 지시자의 길이를 제어할 수 있다.In this case, the portable terminal further includes a communication interface unit for performing communication with the wearable device, wherein the processor, when receiving a command to touch the touch array provided in the wearable device through the communication interface unit, Lt; RTI ID = 0.0 > a < / RTI >
한편, 본 발명의 일 실시예에 따른, 웨어러블 디바이스를 이용하여 HMD(Head Mounted Display) 디바이스의 투명한 접안식 디스플레이 장치에 디스플레이되는 화면을 제어하는 HMD 디바이스 제어 방법은, 사용자가 상기 화면을 보는 시야를 포함하는 전방을 촬영하는 복수의 촬영 장치를 이용하여, 상기 웨어러블 디바이스에 구비된 발광 소자에서 발광하는 빛을 촬영한 영상 데이터를 획득하는 단계, 상기 복수의 촬영 장치에서 획득한 적어도 둘 이상의 영상 데이터에 기초하여 촬영 대상의 상기 HMD 디바이스에 대한 상대적인 위치를 계산하는 제1 연산에 따라 상기 빛의 위치를 계산하는 단계, 상기 빛의 위치를 계산한 제1 연산 결과에 따른 사용자 인터렉션 명령을 감지하는 단계 및 상기 감지된 사용자 인터렉션 명령에 대응하는 화면을 디스플레이하는 단계를 포함한다.Meanwhile, according to an embodiment of the present invention, an HMD device control method for controlling a screen displayed on a transparent edge display device of an HMD (Head Mounted Display) device using a wearable device includes the steps of: A method of controlling a wearable device, the method comprising: acquiring image data of light emitted from a light emitting element provided in the wearable device by using a plurality of image capturing apparatuses that capture a front side image including at least two images captured by the plurality of image capturing apparatuses Calculating a position of the light according to a first calculation for calculating a relative position of the object to be photographed with respect to the HMD device; sensing a user interaction command according to a first calculation result of calculating the position of the light; And displaying a screen corresponding to the detected user interaction command .
이 경우, 상기 영상 데이터를 획득하는 단계는, 상기 빛과 함께 고정된 위치에 놓인 기설정된 모양을 갖는 마커를 촬영한 영상 데이터를 획득하고, 상기 HMD 디바이스 제어 방법은, 상기 제1 연산에 따른 상기 마커의 위치를 계산하는 단계, 상기 HMD 디바이스의 위치 및 자세에 따라 상기 마커의 변경되는 제1 연산 결과 및 상기 마커의 변경되는 촬영 모양으로부터 보상값을 산출하는 단계, 상기 산출된 보상값을 이용하여, 변경되는 상기 빛의 제1 연산 결과로부터 상기 촬영 대상이 공간상에서 움직인 변위를 계산하는 제2 연산에 따라 상기 빛의 변위를 계산하는 단계 및 상기 빛의 변위를 계산한 제2 연산 결과에 따른 사용자 인터렉션 명령을 감지하는 단계를 더 포함할 수 있다.In this case, the acquiring of the image data may acquire image data of a marker having a predetermined shape placed at a fixed position together with the light, and the HMD device controlling method may further include: Calculating a compensation value from a first calculation result of changing the marker and a shooting shape in which the marker is changed according to a position and an attitude of the HMD device, calculating the compensation value using the calculated compensation value, Calculating a displacement of the light according to a second calculation for calculating a displacement in which the object to be photographed moves in space from a first calculation result of the light to be changed, and a second calculation result And detecting a user interaction command.
이 경우, 상기 HMD 디바이스 제어 방법은 회전 대칭성이 없는 모양을 갖는 적어도 하나의 패턴을 기저장하는 단계를 더 포함할 수 있고, 상기 보상값을 산출하는 단계는, 상기 기저장된 패턴에 대응하는 마커를 인식하여 상기 보상값을 산출할 수 있다.In this case, the HMD device control method may further include storing at least one pattern having a shape having no rotational symmetry, and the step of calculating the compensation value may further include storing a marker corresponding to the pre- And can calculate the compensation value.
이 경우, 상기 HMD 디바이스 제어 방법은 상기 마커를 지정하는 명령을 수신하는 단계 및 전방을 촬영한 상기 영상 데이터에서 상기 지정된 마커에 대응되는 모양을 저장하는 단계를 더 포함할 수 있다.In this case, the HMD device control method may further include receiving an instruction to designate the marker, and storing a shape corresponding to the designated marker in the image data captured in the forward direction.
한편, 상기 사용자 인터렉션 명령에 대응되는 기능을 수행하는 단계는, 상기 화면에 고정된 오브젝트를 디스플레이하는 일반 모드에서는 상기 제1 연산에 따른 사용자 인터렉션 명령에 대응되는 기능을 수행하고, 3차원 공간감을 일으키는 오브젝트를 상기 마커의 상대적인 위치에 디스플레이하는 증강현실 모드에서는 상기 제2 연산에 따른 사용자 인터렉션 명령에 대응되는 기능을 수행할 수 있다.The performing of the function corresponding to the user interaction command may include performing a function corresponding to the user interaction command according to the first operation in a general mode for displaying an object fixed on the screen, In the augmented reality mode in which an object is displayed at a relative position of the marker, a function corresponding to a user interaction command according to the second operation can be performed.
한편, 상기 영상 데이터를 획득하는 단계는, 상기 웨어러블 디바이스에 구비된 복수의 발광 소자에서 발광하는 빛을 촬영한 영상 데이터를 획득하고, 상기 HMD 디바이스 제어 방법은, 상기 복수의 발광 소자 중 어느 하나로부터 상기 복수의 발광 소자가 배열된 방향으로 기설정된 길이만큼 이격된 가상의 지점을 지시할 수 있는 지시자를 제공하는 단계를 더 포함할 수 있다.Meanwhile, the acquiring of the image data may acquire image data of light emitted from a plurality of light emitting devices provided in the wearable device, and the HMD device controlling method may further comprise: The method may further include the step of providing an indicator capable of indicating a virtual point spaced by a predetermined length in a direction in which the plurality of light emitting elements are arranged.
한편, 상기 웨어러블 디바이스에 구비된 터치 어레이를 터치하는 명령을 수신하는 단계 및 상기 터치 명령에 따라 상기 디스플레이된 화면을 스크롤 또는 주밍(zooming)하는 단계를 더 포함할 수 있다.The method may further include receiving an instruction to touch a touch array included in the wearable device, and scrolling or zooming the displayed screen according to the touch command.
한편, 상기 영상 데이터를 획득하는 단계는, 상기 웨어러블 디바이스에 구비된 발광 소자에서 발광하는 빛과 상기 웨어러블 디바이스에서 방출된 레이저가 물체에 부딪혀 반사된 빔 스팟(beam spot)을 촬영한 영상 데이터를 획득하고, 상기 사용자 인터렉션 명령에 대응되는 기능을 수행하는 단계는, 상기 제1 연산에 따른 상기 빛의 위치와 상기 빔 스팟의 위치를 연장하는 선상에 위치한 가상 오브젝트와 인터렉션하는 기능을 수행할 수 있다.The acquiring of the image data may include acquiring image data obtained by photographing a light beam emitted from a light emitting element provided in the wearable device and a beam spot reflected by a laser emitted from the wearable device, And performing a function corresponding to the user interaction command may perform a function of interacting with a virtual object positioned on a line extending the position of the light according to the first operation and the position of the beam spot.
이 경우, 상기 HMD 디바이스 제어 방법은 상기 웨어러블 디바이스에 구비된 터치 어레이를 터치하는 명령을 수신하는 단계 및 상기 터치 명령에 따라 상기 발광 소자로부터 상기 가상 오브젝트를 지시하기 위한 지시자의 길이를 제어하는 단계를 더 포함할 수 있다.In this case, the HMD device control method may include receiving an instruction to touch the touch array provided in the wearable device, and controlling a length of an indicator for indicating the virtual object from the light emitting device according to the touch command .
도 1은 본 발명의 일 실시예에 따른 HMD 디바이스 제어 시스템의 구현 형태를 설명하기 위한 도면,
도 2는 본 발명의 일 실시예에 따른 HMD 디바이스의 간략한 구성을 나타내는 블럭도,
도 3은 도 2의 HMD 디바이스의 상세한 구성을 나타내는 블럭도,
도 4는 본 발명의 일 실시예에 따른 웨어러블 디바이스의 간략한 구성을 나타내는 블럭도,
도 5는 도 4의 웨어러블 디바이스의 상세한 구성을 나타내는 블럭도,
도 6은 본 발명의 일 실시예에 따른 HMD 디바이스의 상대 위치 산출 방식을 설명하기 위한 도면,
도 7 내지 도 8은 본 발명의 일 실시예에 따른 HMD 디바이스의 촬영 방향에 따라 달라지는 마커의 영상을 설명하기 위한 도면,
도 9는 본 발명의 일 실시예에 따른 HMD 디바이스가 마커를 이용하여 빛의 변위를 계산하는 방식을 설명하기 위한 도면,
도 10은 본 발명의 일 실시예에 따른 HMD 디바이스에 마커를 등록하는 방법을 설명하기 위한 도면,
도 11은 본 발명의 일 실시예에 따른 HMD 디바이스의 3차원 증강현실 화면의 제어를 설명하기 위한 도면,
도 12는 본 발명의 다양한 실시예에 따른 웨어러블 디바이스의 형태를 설명하기 위한 도면,
도 13은 본 발명의 일 실시예에 따른 웨어러블 디바이스의 구조를 설명하기 위한 도면,
도 14는 본 발명의 다른 실시예에 따른 웨어러블 디바이스의 구조 및 HMD 디바이스의 제어 방식을 설명하기 위한 도면,
도 15 내지 16은 본 발명의 다른 실시예에 따른 웨어러블 디바이스의 구조 및 HMD 디바이스의 제어 방식을 설명하기 위한 도면, 그리고,
도 17은 본 발명의 일 실시예에 따른 HMD 디바이스의 제어 방법을 설명하기 위한 흐름도이다.1 is a diagram for explaining an embodiment of an HMD device control system according to an embodiment of the present invention,
2 is a block diagram showing a simplified configuration of an HMD device according to an embodiment of the present invention;
3 is a block diagram showing a detailed configuration of the HMD device of FIG. 2,
4 is a block diagram showing a simplified configuration of a wearable device according to an embodiment of the present invention;
Fig. 5 is a block diagram showing a detailed configuration of the wearable device of Fig. 4,
6 is a view for explaining a relative position calculating method of an HMD device according to an embodiment of the present invention;
7 to 8 are views for explaining an image of a marker depending on a photographing direction of an HMD device according to an embodiment of the present invention,
9 is a view for explaining a method of calculating the displacement of light by using an HMD device according to an embodiment of the present invention;
10 is a view for explaining a method of registering a marker in an HMD device according to an embodiment of the present invention;
11 is a view for explaining control of a 3D enhanced real-time screen of an HMD device according to an embodiment of the present invention;
12 is a view for explaining a form of a wearable device according to various embodiments of the present invention;
13 is a view for explaining a structure of a wearable device according to an embodiment of the present invention,
14 is a view for explaining a structure of a wearable device and a control method of an HMD device according to another embodiment of the present invention;
15 to 16 are views for explaining a structure of a wearable device and a control method of an HMD device according to another embodiment of the present invention,
17 is a flowchart illustrating a method of controlling an HMD device according to an embodiment of the present invention.
이하에서는 본 발명의 바람직한 실시 예를 첨부된 도면을 참조하여 상세히 설명한다. 본 발명을 설명함에 있어서, 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단된 경우 그 상세한 설명은 생략한다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the following description of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear. The following terms are defined in consideration of the functions of the present invention, and may vary depending on the user, the operator, or the convention. Therefore, the definition should be based on the contents throughout this specification.
도 1은 본 발명의 일 실시예에 따른 HMD 디바이스 제어 시스템의 구현 형태를 설명하기 위한 도면이다.1 is a view for explaining an embodiment of an HMD device control system according to an embodiment of the present invention.
도 1을 참조하면, HMD(Head Mounted Display) 디바이스 제어 시스템은, HMD 디바이스(200) 및 웨어러블(wearable) 디바이스(400)을 포함한다.Referring to FIG. 1, an HMD (Head Mounted Display) device control system includes an
HMD 디바이스(200)는 사용자의 두부에 착용 가능하고, 화면을 표시할 수 있는 디스플레이 장치를 구비한다. 그리고, 디스플레이 장치는 사용자의 눈과 근거리에 위치한 접안식 디스플레이 장치이다.The
접안식 디스플레이 장치는 사용자의 양안에 대응되는 두 개의 디스플레이 장치로 구분될 수 있으며, 두 디스플레이 장치는 동일한 화면을 표시할 수 있고, 다른 화면을 표시할 수 있다. 예를 들어, 사용자에게 전방에 하나의 대상으로 인식할 수 있는 오브젝트를 표시하고자 하는 경우, 두 화면은 동일하거나 대응하는 화면을 표시할 수 있으며, 양안시차에 의한 3차원 화면을 표시하고자 하는 경우, 두 디스플레이 장치는 다른 화면을 표시할 수 있다.The passive display device may be divided into two display devices corresponding to both sides of the user, and the two display devices can display the same screen and display different screens. For example, when a user wants to display an object that can be recognized as one object in front of the user, the two screens can display the same or corresponding screens. In the case of displaying a three-dimensional screen by binocular parallax, The two display devices can display different screens.
HMD 디바이스(200)는 전방을 촬영할 수 있다. 구체적으로, HMD 디바이스(200)는 전방을 촬영하여 영상 데이터를 획득하는 촬영 장치를 구비할 수 있다. 그리고, 촬영 장치는 양안에 대응하는 두 개 또는 그 이상의 촬영 장치를 구비할 수 있으며, 사용자가 HMD 디바이스(200)의 디스플레이 장치의 화면을 바라보는 시야각을 포함하는 화각을 가질 수 있다. 즉, 시야각을 포함하는 화각을 갖는 둘 이상의 디스플레이 장치를 통해 사용자가 외계를 바라볼 때, 획득하는 시야 정보를 포함하는 영상 데이터를 획득할 수 있다. 또한, 둘 이상의 촬영 장치를 통해, 외계의 3차원 상에 존재하는 물체의 위치를 계산할 수 있는 서로 다른 두 영상 데이터를 획득할 수 있다. The
웨어러블 디바이스(400)는 사용자의 손에 착용할 수 있다. 구체적으로, 웨어러블 디바이스(400)는 사용자의 손에 착용할 수 있는 형태의 링 모양의 부재를 포함할 수 있다. 웨어러블 디바이스(400)는 사용자의 손에 간편하게 이용할 수 있도록 착용 가능한 형태일 수 있지만, 사용자가 쉽게 파지할 수 있는 막대 모양 등이 될 수 있다.The
웨어러블 디바이스(400)는 빛을 발광하는 광원 장치를 구비할 수 있다. 따라서, 사용자의 손에 착용된 웨어러블 디바이스(400)에서 발광하는 빛을 이용하여, HMD 디바이스(200)에서 디스플레이되는 화면을 제어하는 사용자 인터렉션 명령을 입력할 수 있다.The
사용자 인터렉션 명령은 HMD 디바이스(200)에 구비된 촬영 장치가 웨어러블 디바이스(400)에서 발광하는 빛을 촬영한 영상 데이터로부터 분석될 수 있다. The user interaction instruction can be analyzed from the image data of the photographing apparatus provided in the
이상과 같은 HMD 디바이스 제어 시스템(100)에 의하여, 사용자는 착용 가능한 웨어러블 디바이스(400)를 이용하여 간편하게 HMD 디바이스(200)에 표시된 화면을 제어할 수 있다.
With the HMD
도 2는 본 발명의 일 실시예에 따른 HMD 디바이스의 간략한 구성을 나타내는 블럭도이다.2 is a block diagram illustrating a simplified configuration of an HMD device according to an embodiment of the present invention.
도 2를 참조하면, 사용자의 두부에 장착 가능한 HMD(Head Mounted Display) 디바이스(200)는 디스플레이부(210), 촬영부(220) 및 프로세서(230)를 포함한다.Referring to FIG. 2, a head mounted display (HMD)
디스플레이부(210)는 화면을 디스플레이한다. 구체적으로, 디스플레이부(210)는 사용자의 눈으로부터 근거리에 위치한 투명 디스플레이 패널을 포함하는 접안식 디스플레이 장치일 수 있다. 그리고, 디스플레이부(210)는 사용자의 양안에 대응되는 둘 이상의 투명 디스플레이 패널을 포함할 수 있다. The
이로써, 디스플레이부(210)는 투명 디스플레이 패널을 통해 사용자가 HMD 디바이스(200)를 착용한 상태에서 외계의 사물을 인지할 수 있으며, 동시에 투명 디스플레이 패널을 통해 증강 현실 화면을 구현할 수 있다.Accordingly, the
촬영부(220)는 전방을 촬영한 영상 데이터를 획득한다. 구체적으로, 촬영부(220)는 사용자가 디스플레이부(210)의 화면을 통해 바라보는 시야각을 포함하는 화각으로 전방의 외계를 촬영할 수 있다. 또한, 촬영부(220)는 웨어러블 디바이스(400)에 구비된 광원에서 발광하는 빛과 고정된 위치에 놓인 기설정된 모양을 갖는 마커를 촬영한 영상 데이터를 획득할 수 있다. The photographing
여기서, 마커란, 실재하는 물체로서, 증강 현실 화면을 구성하기 위한 기준이 되는 표식을 말하며, 바닥이나 벽면의 표면에 그려지거나 부착된 기설정된 모양으로 나타낼 수 있고, 또는 특정 형상을 갖는 물건이 어떤 위치에 놓여있고, 그 물건을 촬영한 모양이 마커로서 설정될 수 있다.Here, the marker is an actual object, which is a reference mark for constituting an augmented reality screen, and can be represented by a predetermined shape drawn or attached to the floor or the surface of a wall surface, or an object having a specific shape Position, and the shape in which the object is photographed can be set as a marker.
촬영부(220)는 복수의 촬영 장치로 구성될 수 있다. 그리고, 촬영부(220)를 구성하는 복수의 촬영 장치는 사용자의 양안에 대응되는 둘 이상의 촬영 장치로 배치될 수 있다. 그 이유는 사용자가 화면을 통해 볼 수 있는 범위는 화면 내이고, 화면을 바라보는 사용자의 시야 범위 내에서 사용자의 인터렉션 명령이 이루어지기 때문에 촬영부(220)는 사용자의 시야각을 포함할 수 있는 둘 이상의 촬영 장치를 구비할 수 있다. 또한, 둘 이상의 촬영 장치를 통해 기설정된 거리로 이격된 두 촬영 장치에서 획득한 영상 데이터를 획득하여 외계의 사물의 HMD 디바이스(200)에 대한 상대적인 위치를 계산할 수 있다.The photographing
촬영부(220)는 물체로부터 입사되는 피사체의 빛을 모아서 촬상 영역에 광학상이 맺히게 하는 렌즈, 렌즈를 통해 입사되는 빛을 전기 신호로 광전 변환하는 촬상 소자 및 촬상 소자의 아날로그 형태의 신호를 디지털 신호로 변환하여 출력하는 A/D 컨버터로 구성될 수 있다. 여기서, 촬상 소자는 CCD(Charged Coupled Device) 촬상 소자 및 CMOS(Complementary Metal Oxide Semiconductor) 촬상 소자일 수 있다.The photographing
프로세서(230)는 HMD 디바이스(200)의 각 구성을 제어한다. 구체적으로 프로세서(230)는 HMD 디바이스(200)의 디스플레이부(210)를 통해 증강 현실 화면을 디스플레이하도록 제어하고, 촬영부(220)로부터 획득한 영상 데이터로부터 웨어러블 디바이스(400)의 빛의 위치 및 움직임을 추출하여, 사용자 인터렉션 명령을 분석하고 그에 대응하는 기능을 수행하도록 제어할 수 있다.The
보다 구체적으로, 프로세서(230)는 촬영부(220)의 복수의 촬영 장치로부터 획득한 둘 이상의 영상 데이터에 기초하여 HMD 디바이스(100)에 대한 웨어러블 디바이스(400)의 빛 및 마커의 상대적인 위치를 계산하는 제1 연산을 수행할 수 있다. More specifically, the
그리고, 프로세서(230)는 HMD 디바이스(100)의 위치 및 자세에 따라 변경되는 마커에 대한 제1 연산 결과 및 변경된 마커의 모양으로부터 보상값을 산출할 수 있다.The
그리고, 프로세서(230)는 HMD 디바이스(100)의 위치 및 자세에 따라 변경되는 빛에 대한 제1 연산 결과와 산출된 보상값을 이용하여 웨어러블 디바이스(400)에서 발광하는 빛이 공간상에서 움직인 변위를 계산하는 제2 연산을 수행할 수 있다.Then, the
프로세서(230)는 웨어러블 디바이스(400)에서 발광하는 빛의 상대적인 움직임을 계산한 제1 연산 결과 또는 공간상에서 웨어러블 디바이스(400)에서 발광하는 빛이 실제 움직인 절대적인 변위를 계산한 제2 연산 결과에 따른 사용자 인터렉션 명령을 분석하여, 그에 대응되는 기능을 수행할 수 있다. The
예를 들어, 프로세서(230)는 특정 위치에서 발광하는 빛이 깜박이는 패턴을 분석하여 특정 오브젝트를 선택하는 사용자 인터렉션 명령을 수행할 수 있다. 또는, 일련의 연속적인 화면이 존재하고, 사용자가 다음 화면으로 전환하기 위하여 사용자가 웨어러블 디바이스(400)를 횡으로 길게 움직인 경우, 웨어러블 디바이스(400)의 빛의 연속적인 움직임에 따른 사용자 인터렉션 명령을 감지하여, 감지된 사용자 인터렉션 명령에 따라 다음 화면 또는 이전 화면으로 전환하는 기능을 수행할 수 있다.For example, the
프로세서(230)는 촬영부(220)에서 웨어러블 디바이스(400)에 구비된 복수의 광원에서 발광하는 빛을 촬영한 영상 데이터가 획득되면, 복수의 광원 중 어느 하나로부터 복수의 광원이 배열된 방향으로 기설정된 길이만큼 이격된 가상의 지점을 지시할 수 있는 지시자를 제공하는 기능을 수행할 수 있다.When the image data obtained by photographing the light emitted from the plurality of light sources provided in the
한편, 프로세서(230)는 사용자의 시야상에서 고정된 위치에 오브젝트가 디스플레이되는 일반 모드에서는 제1 연산에 따른 사용자 인터렉션 명령에 대응되는 기능을 수행하고, 마커의 위치를 기준으로 3차원 공간감을 일으키는 오브젝트가 디스플레이되는 증강현실 모드에서는 제2 연산에 따른 사용자 인터렉션 명령에 대응되는 기능을 수행할 수 있다. Meanwhile, in the general mode in which an object is displayed at a fixed position on the visual field of the user, the
구체적으로, 프로세서(230)는 사용자가 HMD 디바이스를 장착한 상태에서 증강 현실이 적용된 디스플레이를 볼 때, 외계의 특정 위치에 가상의 물체가 존재하는 것처럼 사용자가 주시하는 방향에 따라 화면이 달라지는 증강현실 모드에서는 웨어러블 디바이스(400)의 실제 공간상의 위치 변화를 계산하는 제2 연산에 따른 사용자 인터렉션 명령에 대응되는 기능을 수행할 수 있다. 예를 들어, 증강 현실로 표시되는 3차원 오브젝트가 마커의 위치를 기준으로 특정 지점에 놓인 것과 같은 효과의 화면이 디스플레이되면, 사용자가 오브젝트를 바라보는 방향이나 시야를 다른 곳으로 돌리면 오브젝트가 화면에서 사라지거나 다른 각도에서 오브젝트를 바라보는 화면이 디스플레이되게 된다. 이 경우, 다른 각도와 위치에서 3차원 오브젝트를 바라보기 위하여 사용자가 HMD 디바이스를 착용한 상태에서 움직이게 되면, 웨어러블 디바이스의 빛이 촬영되는 위치도 변하게 되어 이를 그대로 사용자 인터렉션 명령으로 받아들일 수 없다. 따라서, 프로세서(230)는 제2 연산에 따른 웨어러블 디바이스의 빛의 변위를 측정하여 사용자 인터렉션 명령을 해석하도록 할 수 있다.Specifically, when the user views the display to which the augmented reality is applied while the user is wearing the HMD device, the
이와 달리, 특정 위치에 놓인 것과 같은 오브젝트를 표시하는 증강현실 화면이 아니라, 사용자가 주시하는 방향이나 위치와 상관 없이 고정된 창이 디스플레이되는 화면이나, 사용자가 주시하는 곳에 따라 화면에 표시되는 정보가 달라지는 경우에는, 사용자가 시야상에서 보이는 고정된 오브젝트를 그대로 선택하면 되기 때문에 웨어러블 디바이스(400)의 실제 공간상의 위치 변화가 얼마나 되는지 계산할 필요가 없다. 따라서, 프로세서(230)는 제1 연산에 따른 웨어러블 디바이스의 빛의 상대적인 위치만 계산하여 사용자 인터렉션 명령을 해석하도록 할 수 있다.Alternatively, instead of the augmented reality screen in which an object such as a specific location is displayed, a fixed window may be displayed regardless of a direction or a position of the user, or information displayed on a screen It is not necessary to calculate how much the position of the
프로세서(230)는 CPU, 제어 프로그램이 저장된 롬 및 외부 입력 신호 또는 데이터를 저장하거나, 수행되고 있는 기능을 저장하기 위한 저장매체로서 사용되는 램을 포함할 수 있다. 여기서 CPU는 싱글 코어뿐 아니라, 듀얼 코어 등 멀티 코어 프로세서일 수 있다. 한편, 프로세서(230)는 다양한 방식으로 구현될 수 있다. 예로서, 주문형 집적회로(ASIC), 임베디드 프로세서, 마이크로 프로세서, 하드웨어 컨트롤 로직, 하드웨어 유한 상태 머신(FSM), 디지털 신호 프로세서(DSP) 중 적어도 하나일 수 있다. The
이상과 같은, 본 발명의 일 실시예에 따른 HMD 디바이스(200)는 빛을 발광하는 간단한 구성의 웨어러블 디바이스(400)만으로 다양한 형태의 사용자 인터렉션 명령을 인식하여 디스플레이되는 화면을 제어하는 기능을 수행할 수 있다.
As described above, the
도 3은 도 2의 HMD 디바이스의 상세한 구성을 나타내는 블럭도이다.3 is a block diagram showing a detailed configuration of the HMD device of FIG.
도 3을 참조하면, 사용자의 두부에 장착 가능한 HMD 디바이스(300)는 디스플레이부(310), 촬영부(320), 프로세서(330), 통신 인터페이스부(340), 저장부(350) 및 모션 센서(360)를 포함한다.3, an
디스플레이부(310)는 투명한 접안식이고, 화면을 디스플레이한다. 디스플레이부(310)의 구성 및 기능은 도 2의 디스플레이부(210)와 동일한바 구체적인 설명은 생략한다.The
촬영부(320)는 사용자가 디스플레이부(310)를 통해 화면을 보는 시야각을 포함하는 화각을 가지고, 웨어러블 디바이스에 구비된 광원에서 발광하는 빛과 고정된 위치에 놓인 기설정된 모양의 마커를 촬영한 영상 데이터를 획득한다. 그리고, 촬영부(320)는 전방을 촬영하는 복수의 촬영 장치로 구성될 수 있다. 촬영부(320)의 구성 및 기능은 도 2의 촬영부(220)와 동일한바 구체적인 설명은 생략한다.The photographing
통신 인터페이스부(340)는 웨어러블 디바이스(400)와 통신을 수행한다. 구체적으로, 통신 인터페이스부(340)는 웨어러블 디바이스(400)로부터 사용자의 명령을 수신할 수 있다. 예를 들어, 통신 인터페이스부(340)는 웨어러블 디바이스(400)에 구비된 터치 어레이에 터치되는 사용자의 조작에 따라 입력된 명령을 수신할 수 있다. 또한, 통신 인터페이스부(340)는 웨어러블 디바이스(400)에 구비된 다양한 종류의 버튼을 입력하는 사용자의 명령을 수신할 수 있다.The
통신 인터페이스부(340)는 다양한 통신 방식으로 웨어러블 디바이스(400)와 통신을 수행할 수 있다. 예를 들어, 통신 인터페이스부(340)는 블루투스, 지그비, 적외선(IrDA), RF 통신 등의 근거리 통신 방식 및 인터넷 망이나 무선 통신망과 같은 네트워크를 통해 통신을 수행할 수 있다. The
저장부(350)는 HMD 디바이스(300)가 기능을 수행하기 위한 다양한 프로그램및 데이터를 저장할 수 있다. 구체적으로, 저장부(350)는 회전 대칭성 없는 모양을 갖는 적어도 하나의 패턴을 저장할 수 있다.The
여기서, 패턴은 마커로서 사용될 수 있는 표식 등을 말하며, 회전 대칭성이 없다는 것은 패턴을 360도 회전시켜도 같은 모양이 나타나지 않는 것을 말한다. Here, the pattern refers to a marker or the like that can be used as a marker, and the absence of rotational symmetry means that the same shape does not appear even if the pattern is rotated 360 degrees.
한편, 저장부(350)에는 촬영부(320)가 촬영한 물체 중에서 마커로 지정한 물체의 모양이 저장될 수 있다.Meanwhile, the shape of the object designated by the marker among the objects photographed by the photographing
저장부(350)는 롬, 램, 또는 HMD 디바이스(300)에 탈/장착 가능한 메모리 카드를 포함할 수 있다. 또한 저장부(350)는 비휘발성 메모리, 휘발성 메모리, 하드 디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD)를 포함할 수 있다.The
모션 센서(360)는 HMD 디바이스(300)의 움직임, 자세, 지향하는 방향, 기울어진 각도 등을 감지할 수 있다. 구체적으로, 모션 센서(360)는 방위 센서를 구비하여 HMD 디바이스(300)를 장착한 사용자가 주시하는 방향이 어느 방향인지 감지할 수 있다. 또는 모션 센서(360)는 가속도 센서를 구비하여, HMD 디바이스(300)를 장착한 사용자가 움직이는 방향이나 속도를 감지할 수 있다. The motion sensor 360 can sense the motion, the posture, the direction in which the
프로세서(330)는 HMD 디바이스(300)의 각 구성을 제어한다. 디스플레이부(310)와 촬영부(320)를 제어하는 프로세서(330)의 기능 및 동작은 도 2의 프로세서(230)와 동일한바 중복 설명은 생략한다.The
프로세서(330)는 저장부(350)에 기저장된 패턴에 대응하는 마커를 인식하여 보상값을 산출할 수 있다. 구체적으로, 프로세서(330)는 촬영부(320)를 통해 획득한 영상 데이터에서 저장부(350)에 저장된 적어도 하나의 패턴과 대응하는 물체를 식별하여 이를 마커로서 인식할 수 있다. 그리고, 프로세서(330)는 인식된 마커를 이용하여, HMD 디바이스(300)의 위치 및 자세에 따라 달라지는 마커에 대한 제1 연산 결과 및 변경된 마커의 모양으로부터 보상값을 산출할 수 있다.The
프로세서(330)는 마커를 지정하는 명령이 수신되면, 획득한 영상 데이터 중 지정된 마커에 대응되는 모양을 저장부(350)에 저장하도록 제어할 수 있다.The
프로세서(330)는 통신 인터페이스부(340)를 통해 수신된 명령에 대응되는 기능을 수행할 수 있다. 구체적으로 프로세서(330)는 웨어러블 디바이스(400)에 구비된 터치 어레이를 터치하는 명령을 수신하면, 디스플레이된 화면을 스크롤(scroll) 또는 주밍(zooming)하는 기능을 수행할 수 있다.The
프로세서(330)는 촬영부(320)에서 웨어러블 디바이스(400)에 구비된 광원에서 발광하는 빛과 웨어러블 디바이스에서 방출된 레이저가 물체에 부딪혀 반사된 빔 스팟(beam spot)이 촬영된 영상 데이터가 획득되면, 제1 연산에 따른 빛의 상대적 위치와 빔 스팟의 상대적 위치를 연장하는 선상에 위치한 가상 오브젝트와 인터렉션하는 기능을 수행할 수 있다. The
구체적으로, 프로세서(330)는 빛과 빔 스팟을 연장하는 선상에 가상 오브젝트를 지시하기 위한 지시자를 제공하는 기능을 수행할 수 있다. 여기서, 레이저를 방출하는 웨어러블 디바이스(400)에 터치 어레이가 구비되고, 사용자가 터치 어레이를 터치하는 명령이 통신 인터페이스부(340)를 통해 수신될 수 있다. 이 경우, 프로세서(330)는 웨어러블 디바이스(400)의 광원으로부터 이격된 가상 오브젝트를 선택할 수 있는 지시자의 길이를 사용자의 터치 명령에 따라 제어할 수 있다. 예를 들어, 사용자가 웨어러블 디바이스(400)의 터치 어레이를 기설정된 방향으로 슬라이딩하는 터치 조작을 하는 경우, 통신 인터페이스부(340)를 통해 음의 방향으로 터치하는 슬라이딩 명령이 수신되어, 지시자의 길이를 줄이는 기능이 수행될 수 있다.Specifically, the
이상과 같은 본 발명의 일 실시예에 따른 HMD 디바이스(300)는 사용자의 손에 착용 가능한 웨어러블 디바이스(400)를 움직이거나 웨어러블 디바이스(400)에 구비된 간단한 터치 조작만으로 HMD 디바이스(300)에서 디스플레이 화면을 제어할 수 있다.
The
도 4는 본 발명의 일 실시예에 따른 웨어러블 디바이스의 간략한 구성을 나타내는 블럭도이다.4 is a block diagram showing a simplified configuration of a wearable device according to an embodiment of the present invention.
도 4를 참조하면, 웨어러블 디바이스(400)는 발광 소자(410) 및 제어부(420)를 포함한다.Referring to FIG. 4, the
발광 소자(410)는 빛을 발광한다. 구체적으로, 발광 소자(410)는 웨어러블 디바이스(400)에서 발광하는 빛의 광원이 될 수 있다. 발광 소자(410)는 열변환식 전구, 형광 램프, 전자와 정공 재결합에 의해 빛을 방출하는 LED 또는 OLED로 구현될 수 있다.The
제어부(420)는 웨어러블 디바이스(400)의 구성을 제어한다. 구체적으로, 제어부(420)는 웨어러블 디바이스(400)가 사용자의 손에 착용되어 사용자의 손 동작이나 웨어러블 디바이스(400)의 조작에 의한 기능이 수행될 수 있도록 각 구성을 제어할 수 있다.The
제어부(420)는 발광 소자(410)에서 발광하는 빛을 제어할 수 있다. 구체적으로, 제어부(420)는 발광 소자(410)가 일정 패턴을 갖는 온/오프 동작을 수행하도록 제어할 수 있다. 또한, 제어부(420)는 발광 소자(410)에서 발광하는 빛의 세기를 조절하거나 빛의 색상(주파수)이 변경되도록 제어할 수 있다.
The
도 5는 도 4의 웨어러블 디바이스의 상세한 구성을 나타내는 블럭도이다.5 is a block diagram showing a detailed configuration of the wearable device of Fig.
도 5를 참조하면, 사용자의 손에 착용 가능한 웨어러블 디바이스(500)는 발광 소자(510-1, 510-2), 통신 인터페이스부(520), 터치 어레이(530), 모션 센서(540) 및 레이저원(550)을 포함한다.5, a
발광 소자(510-1, 510-2)는 빛을 발광한다. 발광 소자(510-1, 510-2)의 구성 및 기능은 도 4의 발광 소자(410)와 동일한바 중복 설명은 생략한다.The light emitting elements 510-1 and 510-2 emit light. The configuration and function of the light emitting elements 510-1 and 510-2 are the same as those of the
발광 소자(510-1, 510-2)는 복수 개로 구성될 수 있다. 구체적으로, 발광 소자는 제1 발광 소자(510-1) 및 제2 발광 소자(510-2)를 포함할 수 있다. 제1 발광 소자(510-1) 및 제2 발광 소자(510-2)는 웨어러블 디바이스(500)의 사용자의 손에 착용 가능한 부재 위에 나란히 배열될 수 있다. 구체적으로, 제1 발광 소자(510-1) 및 제2 발광 소자(510-2)는 반지형 부재 위에 사용자의 손가락이 향하는 방향과 나란하게 일렬로 배열될 수 있다. The light emitting devices 510-1 and 510-2 may be composed of a plurality of light emitting devices. Specifically, the light emitting device may include a first light emitting device 510-1 and a second light emitting device 510-2. The first light emitting device 510-1 and the second light emitting device 510-2 may be arranged side by side on a wearable member of the user of the
통신 인터페이스부(520)는 HMD 디바이스(100)와 통신을 수행한다. 구체적으로, 통신 인터페이스부(520)는 웨어러블 디바이스(500)에 입력한 사용자의 조작에 따른 명령을 HMD 디바이스(100)로 송신할 수 있다. The
터치 어레이(530)는 사용자의 터치를 감지한다. 구체적으로, 터치 어레이(530)는 웨어러블 디바이스(500)의 표면에 구비되어 사용자가 손가락이나 접촉을 감지할 수 있는 물체의 터치를 감지할 수 있다. The touch array 530 senses the touch of the user. Specifically, the touch array 530 may be provided on the surface of the
모션 센서(540)는 웨어러블 디바이스(500)의 움직임, 자세, 지향하는 방향, 기울어진 각도 등을 감지할 수 있다. 구체적으로, 모션 센서(540)는 방위 센서를 구비하여 웨어러블 디바이스(500)를 착용한 사용자가 가리키는 방향이 어느 방향인지 감지할 수 있다. 또는 모션 센서(540)는 가속도 센서를 구비하여, 웨어러블 디바이스(500)를 착용한 사용자가 손을 움직이는 방향이나 속도를 감지할 수 있다. The
레이저원(550)은 레이저를 방출한다. 구체적으로, 레이저원(550)은 단일 파장의 광선인 레이저를 방출할 수 있다. The laser source 550 emits a laser. Specifically, the laser source 550 can emit a laser, which is a single wavelength of light.
제어부(560)는 웨어러블 디바이스(500)의 각 구성을 제어한다. 구체적으로, 제어부(560)는 사용자가 웨어러블 디바이스(500)를 손에 착용하여 HMD 디바이스(200)를 제어하기 위한 각종 기능을 수행하기 위하여 웨어러블 디바이스(500)의 각 구성을 제어할 수 있다.The
제어부(560)는 발광 소자(510-1, 510-2)의 온/오프를 제어할 수 있다. 구체적으로, 제어부(560)는 각각의 제1 발광 소자(510-1) 및 제2 발광 소자(510-2)의 온/오프 동작을 제어할 수 있다. 예를 들어, 두 발광 소자(510-1, 510-2)가 동시에 점멸하도록 할 수 있고, 순차적으로 온 되도록 제어하여 웨어러블 디바이스(500)의 앞과 뒤를 구분할 수 있도록 할 수 있다. 이 경우, 기설정된 순서에 따른 발광 소자(510-1, 510-2)의 점등 순서에 의해 HMD 디바이스(200)는 사용자가 가리키는 방향을 판단할 수 있다.The
제어부(560)는 터치 어레이(530)를 터치하는 사용자 조작에 대응되는 명령을 판단할 수 있다. 구체적으로, 제어부(560)는 터치 어레이(530)에 터치하는 사용자의 조작이 터치 어레이(530)의 연속적인 좌표를 터치하는 드래깅(dragging), 슬라이딩 조작시 드래깅하는 속도, 튕기는 플리킹(flicking), 한 위치를 길게 누르는 터치, 문지르는 러빙(rubbing), 연속적으로 누르는 탭핑(tapping)을 구분하여 각각의 조작에 대응하는 명령을 통신 인터페이스부(520)를 통해 HMD 디바이스(100)로 전송하도록 할 수 있다.The
제어부(560)는 발광 소자(510-1, 510-2)와 레이저원(550)이 켜지는 순서를 제어할 수 있다. 구체적으로, 제어부(560)는 웨어러블 디바이스(500)에 구비된 발광 소자(510-1, 510-2 중 적어도 하나)가 우선 온 된 후에, 레이저원에서 레이저가 방출되도록 제어할 수 있다. 이 경우, 발광 소자(510-1, 510-2)에서 발광하는 빛과 레이저가 물체에 부딪혀 반사된 빔 스팟을 촬영한 HMD 디바이스(100)는 발광하는 빛의 위치에서 빔 스팟 방향으로 기설정된 길이의 지시자를 제공할 수 있다.
The
도 6은 본 발명의 일 실시예에 따른 HMD 디바이스의 상대 위치 산출 방식을 설명하기 위한 도면이다.6 is a view for explaining a relative position calculation method of the HMD device according to an embodiment of the present invention.
도 6을 참조하면, 사용자의 좌안(610-1)과 우안(610-2)이 화면이 표시되는 투명 디스플레이 패널(630-1, 630-2) 내에서 볼 수 있는 시야각이 점선으로 표시되어 있고, 시야각을 포함하는 화각을 갖는 두 촬영 장치(620-1, 620-2)가 웨어러블 디바이스에서 발광하는 빛(640)을 촬영하고 있다.6, viewing angles that can be seen in the transparent display panels 630-1 and 630-2 in which the user's left and right eyes 610-1 and 610-2 are displayed are indicated by dotted lines , And two photographing apparatuses 620-1 and 620-2 having a viewing angle including a viewing
그리고, HMD 디바이스(600)는 좌안(610-1)에 대응하는 제1 촬영 장치(620-1)에서 빛(640)을 촬영한 영상 데이터와 우안(610-2)에 대응하는 제2 촬영 장치(620-2)에서 빛(640)을 촬영한 영상 데이터를 분석하여, 일점 쇄선으로 표시된 각 제1 및 제2 촬영 장치(620-1, 620-2)의 중심으로부터 벗어난 각도를 측정한다.The
설명의 편의를 위해 사용자의 전방 방향을 y, 오른쪽을 x, 위쪽을 z축 방향으로 정의할 때, xy 평면에서, 각 제1 및 제2 촬영 장치(620-1, 620-2) 중심으로부터 빛(640)이 편향된 각도는 θ1과 θ2 이고, yz 평면에서 편향된 각도는 θ3이다.For convenience of explanation, when defining the forward direction of the user as y, the right as x, and the upward as the z-axis direction, light from the center of each of the first and second image pickup devices 620-1 and 620-2 The angles of
그리고, 두 촬영 장치(620-1, 620-2) 사이의 거리를 d라고 하면, 이미 알고있는 한 변의 길이 d와 측정된 삼각형의 두 내각으로부터 빛(640)의 HMD 디바이스(600)에 대한 상대 위치를 구할 수 있다.
Assuming that the distance between the two photographing apparatuses 620-1 and 620-2 is d, the length d of one side, which is already known, and the distance from the two interior angles of the measured triangle to the
도 7 내지 도 8은 본 발명의 일 실시예에 따른 HMD 디바이스의 촬영 방향에 따라 달라지는 마커의 영상을 설명하기 위한 도면이다.FIGS. 7 to 8 are views for explaining an image of a marker depending on the photographing direction of the HMD device according to an embodiment of the present invention.
도 7을 참조하면, 바닥의 마커를 수직으로 바라보는 HMD 디바이스의 상태를 나타내는 도 7(a)를 기준으로 하였을 때, HMD 디바이스가 마커를 바라보는 모든 방향을 나타낼 수 있는 세 가지 요소는 직각 좌표계의 x, y, z축에서 각 축을 중심으로 회전한 각도 α, β, γ이다. 여기서, 회전한 각도 α, β, γ는 각 x, y, z 축과 수직한 평면상에 오리엔테이션(orientation) 방향으로 회전한 경우(right-hand rule), 양의 값을 가지고, 반대 방향으로 회전한 경우, 음의 값을 갖는 것으로 정의한다.Referring to FIG. 7, three elements that can represent all directions in which an HMD device looks at a marker are shown in FIG. 7 (a), which shows the state of the HMD device looking vertically at the bottom marker, And the angles α, β, and γ about the respective axes in the x, y, and z axes. Here, the rotated angles?,?, And? Have a positive value when rotated in the orientation direction on a plane perpendicular to each x, y, and z axis, In one case, it is defined as having a negative value.
도 7(b)는 도 7(a)에서 z 축을 중심으로 γ도 회전하였을 때의 HMD 디바이스의 모습을 나타낸다. 이 경우, HMD 디바이스는 마커가 -γ도 회전한 형태를 촬영하게 된다. 7 (b) shows the appearance of the HMD device when it is rotated about the z-axis by γ degrees in FIG. 7 (a). In this case, the HMD device photographs the shape of the marker rotated by -γ.
도 7(c)는 도 7(a)에서 y 축을 중심으로 β 도 회전하였을 때의 HMD 디바이스의 모습을 나타낸다. 이 경우, HMD 디바이스는 마커가 -β 도 회전하여 뒤로 기울어진 형태를 촬영하게 된다.Fig. 7 (c) shows the appearance of the HMD device when it is rotated about the y-axis as shown in Fig. 7 (a). In this case, the HMD device photographs a shape in which the marker is rotated by -β, and is inclined backward.
도 7(d)는 도 7(a)에서 x 축을 중심으로 α 도 회전하였을 때의 HMD 디바이스의 모습을 나타낸다. 이 경우, HMD 디바이스는 마커가 -α 도 회전하여 옆으로 틀어진 형태를 촬영하게 된다.Fig. 7 (d) shows the appearance of the HMD device when it is rotated about the x-axis in Fig. 7 (a). In this case, the HMD device rotates the marker by -α to take a picture that is laterally distorted.
도 8을 참조하면, 도 8(a)는 바닥의 마커를 수직으로 촬영한 도 7(a)의 방향에서 보이는 마커의 모습이다.Referring to Fig. 8, Fig. 8 (a) is a view of a marker seen in the direction of Fig. 7 (a), in which the bottom marker is photographed vertically.
도 8(b)는 z 축을 중심으로 45도 회전한 HMD 디바이스에서 보이는 마커의 모습이다. 마커가 HMD 디바이스에 상대적으로 -45도 회전한 모습을 볼 수 있다.FIG. 8 (b) is a view of the marker seen from the HMD device rotated 45 degrees around the z-axis. You can see that the marker is rotated about -45 degrees relative to the HMD device.
도 8(c)는 y 축을 중심으로 60도 회전한 HMD 디바이스에서 보이는 마커의 모습이다. 마커가 HMD 디바이스에 상대적으로 -60도 뉘여진 모습을 볼 수 있다.FIG. 8 (c) is a view of the marker seen from the HMD device rotated 60 degrees around the y-axis. You can see that the marker is -60 degrees relative to the HMD device.
도 8(d)는 각 x, y, z축을 중심으로 45도, 30도, -45도 회전한 HMD 디바이스에서 보이는 마커의 모습이다. 마커가 HMD 디바이스에 상대적으로 틀어진 모습을 볼 수 있다.FIG. 8 (d) is a view of the marker seen from the HMD device rotated 45 degrees, 30 degrees, and -45 degrees around the x, y, and z axes. You can see that the markers are relative to the HMD device.
이상과 같이 HMD 디바이스에 기설정된 마커의 모양을 기준으로, HMD 디바이스가 마커를 촬영한 모양으로부터 HMD 디바이스가 어느 방향으로 얼마만큼 기울어져 있는지 판단할 수 있다. 그리고, HMD 디바이스는 마커가 기울어진 모양으로부터 증강현실을 통해 표현하고자 하는 오브젝트를 마커와 수직한 방향 또는 수평 방향과 같은 특정 방향으로 고정된 형태로 디스플레이할 수 있다.
As described above, based on the shape of the marker set in the HMD device, it is possible to determine in which direction the HMD device is tilted from the shape of the marker taken by the HMD device. The HMD device can display an object to be represented through the augmented reality from the shape of the marker in a fixed form in a specific direction such as a direction perpendicular to the marker or a horizontal direction.
도 9는 본 발명의 일 실시예에 따른 HMD 디바이스가 마커를 이용하여 빛의 변위를 계산하는 방식을 설명하기 위한 도면이다.FIG. 9 is a view for explaining a method of calculating the displacement of light by using an HMD device according to an embodiment of the present invention.
도 9를 참조하면, HMD 디바이스의 좌안에 해당하는 디스플레이 화면(910)이 도시되고 있다.Referring to FIG. 9, a
초기 사용자가 HMD 디바이스를 착용하여 바라본 마커(920)의 모양이 사용자와 나란히 뉘여진 모습이다. 그리고, 사용자가 머리를 기울이거나 움직여서 HMD 디바이스의 위치나 방향이 바뀌게 되면 촬영하면, 상대적으로 마커(920')가 이동하여 회전한 형태를 촬영하게 된다.The shape of the
HMD 디바이스는 초기 상태에 촬영된 마커(920)와 모양이 달라진 마커(920')를 이용하여, 고정된 마커의 위치 및 방향으로부터 자신이 얼만큼 이동하여 몇 도의 각도로 자세가 바뀌었는지 계산함으로써 보상값을 산출한다.The HMD device calculates a compensation amount by calculating how many degrees the user has changed from the position and direction of the fixed marker by using the marker 920 'whose shape is different from that of the
또한, HMD 디바이스는 초기 상태에 촬영된 웨어러블 디바이스에서 발광하는 빛(930)과 위치 또는 자세가 바뀐 후의 빛(930')의 HMD 디바이스에 대한 상대적 위치를 계산한다. 그리고, 초기 상태에 촬영된 빛(930)의 상대적 위치에 보상값만을 적용했을 때 빛의 위치와 최종 빛(930')의 위치를 비교하여 실제 공간상에서 웨어러블 디바이스가 이동한 변위를 구할 수 있다.
Further, the HMD device calculates the relative position of the light 930 emitted from the wearable device photographed in the initial state and the light 930 'after the position or posture is changed, with respect to the HMD device. When the compensation value is applied only to the relative position of the light 930 photographed in the initial state, the position of the light and the position of the final light 930 'are compared to find the displacement of the wearable device in the actual space.
도 10은 본 발명의 일 실시예에 따른 HMD 디바이스에 마커를 등록하는 방법을 설명하기 위한 도면이다.10 is a diagram illustrating a method of registering a marker in the HMD device according to an embodiment of the present invention.
도 10을 참조하면, HMD 디바이스에 기저장되어 있는 기설정된 모양의 패턴이 준비되어 있지 아니한 경우, 특정 사물을 마커로 등록하여 사용하는 좌안에 대응되는 화면(1010)을 도시하고 있다.Referring to FIG. 10, there is shown a
실제 외계에서는 X자로 겹쳐진 두 막대 모양의 끈 테이프(1020)가 바닥에 붙어 있다. 그리고, 사용자가 X자 모양의 끈 테이프(1020)를 마커로 사용하기 위하여 마커 지정 기능을 실행하면, HMD 디바이스의 화면에 창(1030)이 활성화되어 촬영된 X자 모양이 마커로 지정되도록 할 수 있다.
In the actual outer world, two rod-
도 11은 본 발명의 일 실시예에 따른 HMD 디바이스의 3차원 증강현실 화면의 제어를 설명하기 위한 도면이다.11 is a view for explaining control of a 3D enhanced real-time screen of an HMD device according to an embodiment of the present invention.
도 11을 참조하면, 좌안에 대응하는 화면(1110)에는 체스판(1130)과 마커(1131) 위에 증강된 3차원 오브젝트로서 표시되는 체스맨(1140, 1150)이 디스플레이 되고 있다. 11,
회전 대칭성이 존재하는 체스판(1130) 한 쪽 변에 특정 색상을 갖는 마커(1131)를 위치시킴으로써, HMD 디바이스는 체스판(1130) 위에 수직으로 서 있는 체스맨(1140, 1150)을 입체 오브젝트로 디스플레이할 수 있다.By positioning the
사용자는 빛을 발광하는 웨어러블 디바이스(1120)를 이용하여 체스맨(1140)을 선택하고, 이동시킬 수 있다.
The user can select and move the
도 12는 본 발명의 다양한 실시예에 따른 웨어러블 디바이스의 형태를 설명하기 위한 도면이다.12 is a view for explaining a form of a wearable device according to various embodiments of the present invention.
도 12를 참조하면, 웨어러블 디바이스는 반지형(1210), 골무형(1220), 팔찌형(1230) 및 막대형(1240) 중 어느 하나가 될 수 있다.
12, the wearable device may be one of a
도 13은 본 발명의 일 실시예에 따른 웨어러블 디바이스의 구조를 설명하기 위한 도면이다.13 is a diagram for explaining the structure of a wearable device according to an embodiment of the present invention.
도 13을 참조하면, 웨어러블 디바이스(1300)는 링형 부재(1310), 발광 소자(1320) 및 터치 어레이(1330, 1340)를 포함한다.13, the
링형 부재(1310)는 사용자의 손가락에 낄 수 있는 크기의 토러스 형태를 가진다. 그리고, 발광 소자(1320)는 사용자가 웨어러블 디바이스(1300)를 착용한 상태에서 빛이 발광할 수 있도록, 링형 부재(1310)의 외주면의 일측에 구비될 수 있다. 터치 어레이(1330, 1340)는 링형 부재(1310)의 외주면 양 측에 구비될 수 있으며, 사용자가 웨어러블 디바이스(1300)를 착용한 상태에서 손가락으로 쉽게 터치할 수 있는 위치에 구비될 수 있다.
The ring-
도 14는 본 발명의 다른 실시예에 따른 웨어러블 디바이스의 구조 및 HMD 디바이스의 제어 방식을 설명하기 위한 도면이다.FIG. 14 is a diagram for explaining a structure of a wearable device and a control method of an HMD device according to another embodiment of the present invention.
도 14를 참조하면, 웨어러블 디바이스(1410)는 반지형으로서, 두 개의 발광 소자(1411, 1412)를 구비한다. 그리고, HMD 디바이스의 좌안에 대응하는 화면(1420)에는 웨어러블 디바이스(1410)의 발광 소자(1411, 1412)로부터 기설정된 거리로 이격된 지점을 선택할 수 있는 지시자(1430)가 디스플레이된다.14, the
이러한, 기설정된 거리로 이격된 지시자(1430)를 이용하여, 손가락이 눈 앞을 가리지 않고, 실제 사물(1450)을 선택하거나, 화면(1420)에 디스플레이된 가상 오브젝트(1440)를 선택할 수 있다.
Such an
도 15 내지 16은 본 발명의 다른 실시예에 따른 웨어러블 디바이스의 구조 및 HMD 디바이스의 제어 방식을 설명하기 위한 도면이다.15 to 16 are views for explaining a structure of a wearable device and a control method of an HMD device according to another embodiment of the present invention.
도 15를 참조하면, 막대형 웨어러블 디바이스(1510)에는 발광 소자(1520), 레이저원(1530) 및 터치 어레이(1540)가 포함된다. 그리고, 웨어러블 디바이스(1510)에서 방출된 레이저는 벽(1520)에 부딪혀 반사된 빔 스팟(beam spot, 1550)을 형성한다.15, the rod-shaped
도 16을 참조하면, HDM 디바이스의 좌안에 대응하는 화면(1610)에는 웨어러블 디바이스(1620)와 빔 스팟의 연장선상에 지시자(1640)가 디스플레이되고 있다.16, a
지시자(1640)는 웨어러블 디바이스(1620)가 레이저를 방출하는 방향으로 웨어러블 디바이스(1620)로부터 기설정된 거리만큼 이격된 곳에 위치한다.The
그리고, 기설정된 거리는 웨어러블 디바이스(1620)의 터치 어레이(1540)를 터치하는 사용자 조작에 의하여, 웨어러블 디바이스(1620)와 빔 스팟의 연장선상을 따라 조절될 수 있다.
The predetermined distance may be adjusted along an extension line of the
도 17은 본 발명의 일 실시예에 따른 HMD 디바이스의 제어 방법을 설명하기 위한 흐름도이다.17 is a flowchart illustrating a method of controlling an HMD device according to an embodiment of the present invention.
도 17을 참조하면, 먼저, HMD 디바이스는 빛과 마커를 촬영한 영상 데이터를 획득한다(S1710). 구체적으로, HMD 디바이스는 사용자가 투명한 접안식 디스플레이 장치에 디스플레이 되는 화면을 보는 시야각을 포함하는 화각을 갖는 복수의 촬영 장치를 이용하여, 웨어러블 디바이스에 구비된 광원에서 발광하는 빛과 고정된 위치에 놓인 기설정된 모양을 갖는 마커를 촬영한 영상을 획득할 수 있다.Referring to FIG. 17, the HMD device acquires image data of a light and a marker (S1710). Specifically, the HMD device uses a plurality of photographing apparatuses having a viewing angle including a viewing angle for viewing a screen displayed on a transparent stray-type display device by a user, so that the light emitted from the light source provided in the wearable device It is possible to acquire an image of a marker having a predetermined shape.
여기서, 마커는 회전 대칭성이 없는 패턴을 가질 수 있으며, 회전 대칭성이 없는 패턴은 기저장되어 있을 수 있다. 또한, 마커는 실제 사물을 촬영한 영상 데이터로부터 사용자의 마커 지정 명령에 따라 HMD 디바이스에 저장될 수 있다.Here, the marker may have a pattern without rotational symmetry, and a pattern without rotational symmetry may be stored beforehand. Further, the marker can be stored in the HMD device according to the user's marker designation command from the image data of the real object.
다음으로, 빛의 상대 위치를 계산하는 제1 연산을 수행한다(S1720). 구체적으로, 복수의 촬영 장치에서 확득한 적어도 둘 이상의 영상 데이터에 기초하여 HMD 디바이스에 대한 빛의 상대적인 위치를 계산하는 제1 연산을 수행할 수 있다.Next, a first calculation for calculating the relative position of light is performed (S1720). Specifically, it is possible to perform a first operation for calculating a relative position of light for the HMD device based on at least two pieces of image data acquired by a plurality of photographing apparatuses.
그리고, 보상값을 산출한다(S1730). 구체적으로, HDM 디바이스의 위치 및 자세에 따라 변경되는 마커에 대한 제1 연산 결과 및 변경된 마커의 모양으로부터 보상값을 산출할 수 있다. 여기서, 보상값은 기저장된 패턴과 대응하는 마커를 인식하여 산출될 수 있다.Then, the compensation value is calculated (S1730). Specifically, the compensation value can be calculated from the first calculation result of the marker changed according to the position and attitude of the HDM device and the shape of the changed marker. Here, the compensation value can be calculated by recognizing the marker corresponding to the previously stored pattern.
다음으로, 보상값을 이용하여 빛이 공간상에서 움직인 변위를 계산하는 제2 연산을 수행한다(S1740). 구체적으로, 변경된 마커의 모양으로부터 HMD 디바이스가 움직인 위치 및 각도로부터 초기 위치의 빛이 다르게 촬영될 것으로 예상되는 보상값을 반영한 위치와, 제1 연산 결과에 따른 현재 빛의 상대 위치를 비교하여 빛이 공간상에서 움직인 변위를 계산하는 제2 연산을 수행할 수 있다.Next, a second calculation is performed to calculate a displacement in which light travels in space using the compensation value (S1740). Specifically, from the position and angle of the HMD device moving from the shape of the changed marker, the relative position of the current light according to the first calculation result is compared with the position reflecting the compensation value, It is possible to perform a second operation for calculating a displacement moving in this space.
그리고, 제1 연산 또는 제2 연산에 따른 사용자 인터렉션 명령에 대응되는 기능을 수행한다(S1750). 여기서, 화면에 대하여 고정된 위치에 오브젝트가 디스플레이되는 일반 모드에서는 제1 연산에 따른 사용자 인터렉션 명령에 대응되는 기능을 수행하고, 마커의 위치를 기준으로 3차원 공간감을 일으키는 오브젝트가 디스플레이되는 증강현실 모드에서는 제2 연산에 따른 사용자 인터렉션 명령에 대응되는 기능이 수행될 수 있다.Then, a function corresponding to the user interaction instruction according to the first operation or the second operation is performed (S1750). Here, in a general mode in which an object is displayed at a fixed position with respect to a screen, a function corresponding to a user interaction command according to a first operation is performed, and an augmented reality mode The function corresponding to the user interaction instruction according to the second operation can be performed.
웨어러블 디바이스에 터치 어레이가 구비되어 사용자가 터치 어레이를 터치하는 명령이 수신되면, 디스플레이된 화면을 스크롤 또는 주밍하는 단계가 더 포함될 수 있다. 또는, 웨어러블 디바이스가 레이저를 방출하여 빔 스팟을 형성하는 경우, 사용자가 터치 어레이를 터치하는 명령에 따라 디스플레이된 지시자가 웨어러블 디바이스로부터 이격된 거리를 조절하는 단계를 더 포함할 수 있다.The wearable device may further include a step of scrolling or zooming the displayed screen when a touch array is provided in the wearable device and a command for touching the touch array is received by the user. Alternatively, when the wearable device emits a laser to form a beam spot, the displayed indication may adjust the distance from the wearable device according to an instruction that the user touches the touch array.
이상과 같은, 본 발명의 일 실시예에 따른 웨어러블 디바이스를 이용한 HMD 디바이스의 제어 방법은 빛을 발광하는 간단한 구성의 웨어러블 디바이스만으로 다양한 형태의 사용자 인터렉션 명령을 인식하여 디스플레이되는 화면을 제어하는 기능을 수행할 수 있다.The method of controlling the HMD device using the wearable device according to an embodiment of the present invention can recognize various types of user interaction commands using only a simple wearable device that emits light, can do.
또한, 상술한 바와 같은 HMD 디바이스 제어 방법은, 도 2 내지 도 4의 HMD 디바이스(200, 300)와 웨어러블 디바이스(400, 500)에 의해 구현될 수 있다.In addition, the HMD device control method as described above can be implemented by the
또한, 상술한 바와 같은 HMD 디바이스 제어 방법은, 상술한 바와 같은 제어 방법을 실행하기 위한 적어도 하나의 실행 프로그램으로 구현될 수 있으며, 이러한 실행 프로그램은 컴퓨터 판독 기록매체에 저장될 수 있다. Further, the HMD device control method as described above can be implemented as at least one executable program for executing the control method as described above, and the executable program can be stored in a computer readable recording medium.
예를 들어, 컴퓨터 판독가능한 기록매체는 롬(ROM), 램(RAM), 씨디-롬(CD-ROMs), 마그네틱 테이프, 플로피 디스크, 광디스크, 광 데이터 저장 디바이스 및 상기 저장 디바이스를 포함하는 텔레비전과 같은 영상디스플레이 장치 등이 될 수 있다. 또한, 컴퓨터 판독가능한 코드는 반송파의 컴퓨터 데이터 신호로 실시될 수 있다.For example, the computer-readable recording medium may be a ROM, a RAM, a CD-ROMs, a magnetic tape, a floppy disk, an optical disk, an optical data storage device, The same image display device or the like. In addition, the computer readable code may be embodied as a computer data signal of a carrier wave.
한편, 본 발명의 실시 예를 구성하는 모든 구성 요소들이 하나로 결합하거나 결합하여 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시 예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. While the present invention has been described in connection with what is presently considered to be the most practical and preferred embodiment, it is to be understood that the invention is not limited to the disclosed embodiments. That is, within the scope of the present invention, all of the components may be selectively coupled to one or more of them. In addition, although all of the components may be implemented as one independent hardware, some or all of the components may be selectively combined to perform a part or all of the functions in one or a plurality of hardware. As shown in FIG.
그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 비일시적 저장매체(non-transitory computer readable media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시 예를 구현할 수 있다. The codes and code segments constituting the computer program may be easily deduced by those skilled in the art. Such a computer program may be stored in a non-transitory computer readable medium readable by a computer, readable and executed by a computer, thereby implementing an embodiment of the present invention.
여기서 비일시적 판독 가능 기록매체란, 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라, 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로, 상술한 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리 카드, ROM 등과 같은 비일시적 판독가능 기록매체에 저장되어 제공될 수 있다.
Here, the non-transitory readable recording medium is not a medium for storing data for a short time such as a register, a cache, a memory, etc., but means a medium that semi-permanently stores data and can be read by a device. Specifically, the above-described programs can be stored in non-volatile readable recording media such as CD, DVD, hard disk, Blu-ray disk, USB, memory card, ROM, and the like.
이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.While the invention has been described in connection with what is presently considered to be practical exemplary embodiments, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the present invention.
100: HMD 디바이스 제어 시스템 200: HMD 디바이스
210: 디스플레이부 220: 촬영부
230: 프로세서 400: 웨어러블 디바이스
410: 발광 소자 420: 제어부100: HMD device control system 200: HMD device
210: display unit 220:
230: processor 400: wearable device
410: light emitting element 420:
Claims (18)
투명한 접안식 디스플레이부;
상기 HMD 디바이스의 전방에서, 웨어러블 디바이스에 구비된 발광 소자에서 발광하는 빛을 촬영한 영상 데이터를 획득하는 복수의 촬영 장치를 포함하는 촬영부; 및
일반 모드 및 증강 현실 모드 중 하나로 선택적으로 동작하는 프로세서;를 포함하며,
상기 프로세서는,
상기 일반 모드로 동작하는 동안에는 화면을 디스플레이하도록 상기 접안식 디스플레이부를 제어하고, 상기 증강 현실 모드로 동작하는 동안에는 상기 접안식 디스플레이부를 통해 사용자에게 인식되는 외부 물체에 중첩되는 증강 현실 오브젝트를 디스플레이하도록 상기 접안식 디스플레이부를 제어하며,
상기 프로세서는,
상기 일반 모드에서는 상기 복수의 촬영 장치에서 획득한 복수의 영상 데이터에 기초하여 상기 웨어러블 디바이스의 상기 HMD 디바이스에 대한 상대적 위치를 계산하는 제1 연산을 수행하여, 상기 제1 연산의 결과에 따라 사용자 인터렉션을 수행하고,
상기 증강 현실 모드에서는 상기 웨어러블 디바이스가 공간 상에서 움직이는 변위를 계산하는 제2 연산을 수행하여 상기 제2 연산의 결과에 따라 사용자 인터렉션을 수행하는 것을 특징으로 하는 HMD 디바이스. An HMD (Head Mounted Display) device,
A transparent straddle display portion;
A photographing unit including a plurality of photographing devices for acquiring image data of light emitted from a light emitting device provided in a wearable device in front of the HMD device; And
A processor selectively operating in one of a normal mode and an augmented reality mode,
The processor comprising:
Wherein the control unit controls the grabbing display unit to display a screen during operation in the normal mode and displays the augmented reality object superimposed on the external object recognized by the user through the grabbing display unit while the grabber is operating in the augmented reality mode, Controls the rest display unit,
The processor comprising:
In the normal mode, a first operation for calculating a relative position of the wearable device with respect to the HMD device is performed based on a plurality of pieces of image data acquired by the plurality of image pickup devices, Lt; / RTI >
Wherein in the augmented reality mode, the wearable device performs a second operation for calculating a displacement in a space, and performs a user interaction according to a result of the second operation.
상기 촬영부는,
상기 빛과 함께 고정된 위치에 놓인 기 설정된 모양을 갖는 마커를 촬영한 영상 데이터를 획득하고,
상기 프로세서는,
상기 제1 연산에 따라 상기 빛의 위치 및 상기 마커의 위치를 계산하고,
상기 HMD 디바이스의 위치 및 자세에 따라 상기 마커의 변경되는 제1 연산 결과 및 상기 마커의 변경되는 촬영 모양으로부터 산출된 보상값을 이용하여, 변경되는 촬영 대상의 제1 연산 결과로부터 상기 촬영 대상이 공간상에서 움직인 변위를 계산하는 상기 제2 연산을 수행하는 것을 특징으로 하는 HMD 디바이스.The method according to claim 1,
Wherein,
Acquiring image data of a marker having a predetermined shape placed at a fixed position together with the light,
The processor comprising:
Calculating a position of the light and a position of the marker according to the first calculation,
From the first computation result of the imaging subject to be changed, using the first computation result of the marker changed according to the position and the posture of the HMD device and the compensation value calculated from the imaging form of the marker that is changed, Wherein the second calculation is performed to calculate a displacement that has been moved on the first surface of the substrate.
회전 대칭성이 없는 모양을 갖는 적어도 하나의 패턴을 기저장하는 저장부;를 더 포함하고,
상기 프로세서는,
상기 저장부에 기저장된 패턴에 대응하는 마커를 인식하여 상기 보상값을 산출하는 것을 특징으로 하는 HMD 디바이스.3. The method of claim 2,
And a storage unit for storing at least one pattern having a shape without rotational symmetry,
The processor comprising:
Wherein the HMD device recognizes a marker corresponding to a pattern previously stored in the storage unit and calculates the compensation value.
상기 프로세서는,
상기 마커를 지정하는 명령을 수신하면, 전방을 촬영한 상기 영상 데이터에서 상기 지정된 마커에 대응되는 모양을 상기 저장부에 저장하도록 제어하는 것을 특징으로 하는 HMD 디바이스.The method of claim 3,
The processor comprising:
And controls to store, in the storage unit, a shape corresponding to the designated marker in the image data captured in the forward direction upon receipt of an instruction to designate the marker.
상기 촬영부는,
상기 웨어러블 디바이스에 구비된 복수의 발광 소자에서 발광하는 빛을 촬영한 영상 데이터를 획득하고,
상기 프로세서는,
상기 복수의 발광 소자 중 어느 하나로부터 상기 복수의 광원이 배열된 방향으로 기설정된 길이만큼 이격된 가상의 지점을 지시할 수 있는 지시자를 제공하는 기능을 수행하는 것을 특징으로 하는 HMD 디바이스.The method according to claim 1,
Wherein,
Acquiring image data of light emitted from a plurality of light emitting devices provided in the wearable device,
The processor comprising:
Wherein the HMD device performs the function of providing an indicator capable of indicating an imaginary point spaced by a predetermined length in a direction in which the plurality of light sources are arranged from any one of the plurality of light emitting elements.
상기 웨어러블 디바이스와 통신을 수행하는 통신 인터페이스부;를 더 포함하고,
상기 프로세서는,
상기 통신 인터페이스부를 통해 상기 웨어러블 디바이스에 구비된 터치 어레이를 터치하는 명령을 수신하면 상기 디스플레이된 화면을 스크롤 또는 주밍(zooming)하는 기능을 수행하는 것을 특징으로 하는 HMD 디바이스.The method according to claim 1,
And a communication interface unit for performing communication with the wearable device,
The processor comprising:
Wherein the controller performs a function of scrolling or zooming the displayed screen upon receiving a command to touch a touch array provided in the wearable device through the communication interface unit.
상기 촬영부는,
상기 웨어러블 디바이스에 구비된 발광 소자에서 발광하는 빛과 상기 웨어러블 디바이스에서 방출된 레이저가 물체에 부딪혀 반사된 빔 스팟(beam spot)을 촬영한 영상 데이터를 획득하고,
상기 프로세서는,
상기 제1 연산에 따른 상기 빛의 위치와 상기 빔 스팟의 위치를 연장하는 선상에 위치한 가상 오브젝트와 인터렉션하는 기능을 수행하는 것을 특징으로 하는 HMD 디바이스.The method according to claim 1,
Wherein,
Acquiring image data obtained by photographing a light beam emitted from a light emitting element provided in the wearable device and a beam spot reflected by a laser emitted from the wearable device against an object,
The processor comprising:
And performs a function of interacting with a virtual object located on a line extending the position of the light and the position of the beam spot according to the first operation.
상기 웨어러블 디바이스와 통신을 수행하는 통신 인터페이스부;를 더 포함하고,
상기 프로세서는,
상기 통신 인터페이스부를 통해 상기 웨어러블 디바이스에 구비된 터치 어레이를 터치하는 명령을 수신하면, 상기 발광 소자로부터 상기 가상 오브젝트를 지시하기 위한 지시자의 길이를 제어하는 것을 특징으로 하는 HMD 디바이스.9. The method of claim 8,
And a communication interface unit for performing communication with the wearable device,
The processor comprising:
And controls the length of an indicator for indicating the virtual object from the light emitting element when receiving an instruction to touch the touch array provided on the wearable device through the communication interface unit.
복수의 촬영 장치를 이용하여웨어러블 디바이스를 촬영하여, 상기 웨어러블 디바이스에 구비된 발광 소자에서 발광하는 빛을 촬영한 영상 데이터를 획득하는 단계;
상기 HMD 디바이스가 상기 일반 모드로 동작하는 동안에는 상기 접안식 디스플레이부에서 화면을 디스플레이하며, 상기 복수의 촬영 장치에서 획득한 복수의 영상 데이터에 기초하여 상기 발광 소자에서 발광하는 빛과 상기 HMD 디바이스에 대한 상대적인 위치를 계산하는 제1 연산의 결과에 따라 사용자 인터렉션을 수행하는 단계; 및
상기 HMD 디바이스가 상기 증강 현실 모드로 동작하는 동안에는, 상기 접안식 디스플레이부가 상기 접안식 디스플레이부를 통해 인식 가능한 외부 물체에 중첩되는 증강 현실 오브젝트를 디스플레이하며, 상기 웨어러블 디바이스가 공간 상에서 움직이는 변위를 계산하는 제2 연산의 결과에 따라 사용자 인터렉션을 수행하는 단계;를 포함하는 HMD 디바이스 제어 방법. An HMD device control method for controlling a HMD (Head Mounted Display) device including a transparent edge display unit and selectively operable in one of a normal mode and an augmented reality mode,
Capturing a wearable device using a plurality of image pickup devices and acquiring image data of light emitted from a light emitting device provided in the wearable device;
Wherein the HMD device displays a screen in the grabbing display while the HMD device is operating in the normal mode and controls the light emitted by the light emitting device on the basis of the plurality of image data acquired by the plurality of imaging devices, Performing a user interaction according to a result of a first operation of calculating a relative position; And
Wherein the wearable display unit displays an augmented reality object that is superimposed on an external object recognizable by the straddle type display unit while the HMD device is operating in the augmented reality mode, And performing a user interaction according to a result of the second operation.
상기 영상 데이터를 획득하는 단계는,
상기 빛과 함께 고정된 위치에 놓인 기설정된 모양을 갖는 마커를 촬영한 영상 데이터를 획득하고,
상기 HMD 디바이스 제어 방법은,
상기 제1 연산에 따라 상기 마커의 위치를 계산하는 단계;
상기 HMD 디바이스의 위치 및 자세에 따라 상기 마커의 변경되는 제1 연산 결과 및 상기 마커의 변경되는 촬영 모양으로부터 산출된 보상값을 이용하여, 변경되는 상기 빛의 제1 연산 결과로부터 촬영 대상이 공간상에서 움직인 변위를 계산하는 제2 연산에 따라 상기 빛의 변위를 계산하는 단계; 및
상기 빛의 변위를 계산한 제2 연산 결과에 따른 사용자 인터렉션 명령을 감지하는 단계;를 더 포함하는 것을 특징으로 하는 HMD 디바이스 제어 방법.11. The method of claim 10,
Wherein the step of acquiring the image data comprises:
Acquiring image data of a marker having a predetermined shape placed at a fixed position together with the light,
The HMD device control method includes:
Calculating a position of the marker according to the first operation;
The first calculation result of the marker and the compensation value calculated from the changed shooting shape of the marker according to the position and attitude of the HMD device, Calculating a displacement of the light according to a second calculation for calculating a moving displacement; And
And detecting a user interaction instruction according to a second calculation result of calculating the light displacement.
회전 대칭성이 없는 모양을 갖는 적어도 하나의 패턴을 기저장하는 단계;를 더 포함하고,
상기 보상값을 산출하는 단계는,
상기 기저장된 패턴에 대응하는 마커를 인식하여 상기 보상값을 산출하는 것을 특징으로 하는 HMD 디바이스 제어 방법.12. The method of claim 11,
Storing the at least one pattern having a shape without rotational symmetry,
The step of calculating the compensation value includes:
Recognizing a marker corresponding to the pre-stored pattern, and calculating the compensation value.
상기 마커를 지정하는 명령을 수신하는 단계; 및
전방을 촬영한 상기 영상 데이터에서 상기 지정된 마커에 대응되는 모양을 저장하는 단계;를 더 포함하는 것을 특징으로 하는 HMD 디바이스 제어 방법.13. The method of claim 12,
Receiving an instruction specifying the marker; And
And storing a shape corresponding to the designated marker in the image data captured in front of the HMD device.
상기 영상 데이터를 획득하는 단계는,
상기 웨어러블 디바이스에 구비된 복수의 발광 소자에서 발광하는 빛을 촬영한 영상 데이터를 획득하고,
상기 HMD 디바이스 제어 방법은,
상기 복수의 발광 소자 중 어느 하나로부터 상기 복수의 발광 소자가 배열된 방향으로 기설정된 길이만큼 이격된 가상의 지점을 지시할 수 있는 지시자를 제공하는 단계;를 더 포함하는 것을 특징으로 하는 HMD 디바이스 제어 방법.11. The method of claim 10,
Wherein the step of acquiring the image data comprises:
Acquiring image data of light emitted from a plurality of light emitting devices provided in the wearable device,
The HMD device control method includes:
Providing an indicator capable of indicating an imaginary point spaced by a predetermined length in a direction in which the plurality of light emitting elements are arranged from any one of the plurality of light emitting elements Way.
상기 웨어러블 디바이스에 구비된 터치 어레이를 터치하는 터치 명령을 수신하는 단계; 및
상기 터치 명령에 따라 상기 접안식 디스플레이부에서 디스플레이된 화면을 스크롤 또는 주밍(zooming)하는 단계;를 더 포함하는 것을 특징으로 하는 HMD 디바이스 제어 방법.11. The method of claim 10,
Receiving a touch command for touching a touch array provided in the wearable device; And
And scrolling or zooming the screen displayed on the gesture-type display unit according to the touch command.
상기 영상 데이터를 획득하는 단계는,
상기 웨어러블 디바이스에 구비된 발광 소자에서 발광하는 빛과 상기 웨어러블 디바이스에서 방출된 레이저가 물체에 부딪혀 반사된 빔 스팟(beam spot)을 촬영한 영상 데이터를 획득하고,
상기 HMD 디바이스 제어 방법은,
상기 제1 연산에 따른 상기 빛의 위치와 상기 빔 스팟의 위치를 연장하는 선상에 위치한 가상 오브젝트와 인터렉션하는 기능을 수행하는 단계;를 더 포함하는 것을 특징으로 하는 HMD 디바이스 제어 방법.11. The method of claim 10,
Wherein the step of acquiring the image data comprises:
Acquiring image data obtained by photographing a light beam emitted from a light emitting element provided in the wearable device and a beam spot reflected by a laser emitted from the wearable device against an object,
The HMD device control method includes:
And performing a function of interacting with a virtual object positioned on a line extending the position of the light and the position of the beam spot according to the first calculation.
상기 웨어러블 디바이스에 구비된 터치 어레이를 터치하는 터치 명령을 수신하는 단계; 및
상기 터치 명령에 따라 상기 발광 소자로부터 상기 가상 오브젝트를 지시하기 위한 지시자의 길이를 변경하는 단계;를 더 포함하는 것을 특징으로 하는 HMD 디바이스 제어 방법.
18. The method of claim 17,
Receiving a touch command for touching a touch array provided in the wearable device; And
And changing the length of an indicator for indicating the virtual object from the light emitting device according to the touch command.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020140170842A KR101651535B1 (en) | 2014-12-02 | 2014-12-02 | Head mounted display device and control method thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020140170842A KR101651535B1 (en) | 2014-12-02 | 2014-12-02 | Head mounted display device and control method thereof |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20160066451A KR20160066451A (en) | 2016-06-10 |
KR101651535B1 true KR101651535B1 (en) | 2016-09-05 |
Family
ID=56190756
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020140170842A KR101651535B1 (en) | 2014-12-02 | 2014-12-02 | Head mounted display device and control method thereof |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101651535B1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20190122266A (en) * | 2018-03-07 | 2019-10-29 | 매직 립, 인코포레이티드 | Visual tracking of peripheral devices |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3756074A4 (en) * | 2018-04-19 | 2021-10-20 | Hewlett-Packard Development Company, L.P. | Inputs to virtual reality devices from touch surface devices |
KR102152761B1 (en) * | 2019-12-31 | 2020-09-07 | 주식회사 카이토리 | System for providing html5 web enviroment based virtual reality and augmented reality interaction contents service |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014093703A (en) | 2012-11-06 | 2014-05-19 | Sony Computer Entertainment Inc | Head mount display, movement detection device, movement detection method and video presentation system |
JP2014142751A (en) | 2013-01-23 | 2014-08-07 | Seiko Epson Corp | Display device, head-mounted type display device, and method for controlling display device |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5966510B2 (en) * | 2012-03-29 | 2016-08-10 | ソニー株式会社 | Information processing system |
-
2014
- 2014-12-02 KR KR1020140170842A patent/KR101651535B1/en active IP Right Grant
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014093703A (en) | 2012-11-06 | 2014-05-19 | Sony Computer Entertainment Inc | Head mount display, movement detection device, movement detection method and video presentation system |
JP2014142751A (en) | 2013-01-23 | 2014-08-07 | Seiko Epson Corp | Display device, head-mounted type display device, and method for controlling display device |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20190122266A (en) * | 2018-03-07 | 2019-10-29 | 매직 립, 인코포레이티드 | Visual tracking of peripheral devices |
KR102122600B1 (en) * | 2018-03-07 | 2020-06-12 | 매직 립, 인코포레이티드 | Visual tracking of peripheral devices |
US10860090B2 (en) | 2018-03-07 | 2020-12-08 | Magic Leap, Inc. | Visual tracking of peripheral devices |
US11181974B2 (en) | 2018-03-07 | 2021-11-23 | Magic Leap, Inc. | Visual tracking of peripheral devices |
US11625090B2 (en) | 2018-03-07 | 2023-04-11 | Magic Leap, Inc. | Visual tracking of peripheral devices |
US11989339B2 (en) | 2018-03-07 | 2024-05-21 | Magic Leap, Inc. | Visual tracking of peripheral devices |
Also Published As
Publication number | Publication date |
---|---|
KR20160066451A (en) | 2016-06-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20220075466A1 (en) | External user interface for head worn computing | |
US20210294415A1 (en) | External user interface for head worn computing | |
US10591729B2 (en) | Wearable device | |
TWI722280B (en) | Controller tracking for multiple degrees of freedom | |
EP2834723B1 (en) | Touch sensitive user interface | |
US8971565B2 (en) | Human interface electronic device | |
US20150205351A1 (en) | External user interface for head worn computing | |
US20160025979A1 (en) | External user interface for head worn computing | |
US20170017323A1 (en) | External user interface for head worn computing | |
US10474226B2 (en) | Head-mounted display device, computer program, and control method for head-mounted display device | |
KR20150093831A (en) | Direct interaction system for mixed reality environments | |
KR20210010437A (en) | Power management for optical positioning devices | |
US10261327B2 (en) | Head mounted display and control method for head mounted display | |
CN105103198A (en) | Display control device, display control method and program | |
JP2018151851A (en) | Transmissive type display device, display control method, and computer program | |
US10867454B2 (en) | Information processing apparatus and method to control operations in virtual space | |
JP2019128693A (en) | Head-mounted display, and method for controlling head-mounted display | |
KR101651535B1 (en) | Head mounted display device and control method thereof | |
JPWO2017122270A1 (en) | Image display device | |
JP6996115B2 (en) | Head-mounted display device, program, and control method of head-mounted display device | |
JP6740613B2 (en) | Display device, display device control method, and program | |
US20180260068A1 (en) | Input device, input control method, and computer program | |
US20210302587A1 (en) | Power-efficient hand tracking with time-of-flight sensor | |
JP2018091882A (en) | Head-mounted display, program, and method for controlling head-mounted display | |
CN113196212A (en) | Mobile platform as a physical interface for interaction |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E90F | Notification of reason for final refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20190725 Year of fee payment: 4 |