KR20160066451A - Head mounted display device and control method thereof - Google Patents

Head mounted display device and control method thereof Download PDF

Info

Publication number
KR20160066451A
KR20160066451A KR1020140170842A KR20140170842A KR20160066451A KR 20160066451 A KR20160066451 A KR 20160066451A KR 1020140170842 A KR1020140170842 A KR 1020140170842A KR 20140170842 A KR20140170842 A KR 20140170842A KR 20160066451 A KR20160066451 A KR 20160066451A
Authority
KR
South Korea
Prior art keywords
light
marker
wearable device
image data
hmd
Prior art date
Application number
KR1020140170842A
Other languages
Korean (ko)
Other versions
KR101651535B1 (en
Inventor
주영구
Original Assignee
경북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경북대학교 산학협력단 filed Critical 경북대학교 산학협력단
Priority to KR1020140170842A priority Critical patent/KR101651535B1/en
Publication of KR20160066451A publication Critical patent/KR20160066451A/en
Application granted granted Critical
Publication of KR101651535B1 publication Critical patent/KR101651535B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/02—Viewing or reading apparatus
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/02—Viewing or reading apparatus
    • G02B27/022—Viewing apparatus
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/80—Technologies aiming to reduce greenhouse gasses emissions common to all road transportation technologies
    • Y02T10/84—Data processing systems or methods, management, administration

Abstract

Disclosed is a head mounted display (HMD) device. According to the disclosed specification, the HND device comprises: a transparent ocular display unit for displaying the screen; a photographing unit with multiple photographing devices for acquiring image data of light emitted from light emitting elements arranged on a wearable device, from the front view of a wearer; and a processor for performing a first computation of calculating relative location of an object against the HMD device based on image data acquired by different photographing devices, for sensing user interaction commands depending on the first computation result which is about the location of light, and for controlling the display unit to display a screen corresponding to the sensed user interaction command. The purpose of the present invention is to provide the HMD device and the controlling method thereof capable of controlling the screen of the HMD device intuitively with a hand wearing a wearable device.

Description

HMD 디바이스 및 그 제어 방법{HEAD MOUNTED DISPLAY DEVICE AND CONTROL METHOD THEREOF}[0001] HMD DEVICE AND CONTROL METHOD THEREOF [0002]

본 발명은 HMD 디바이스 및 그 제어 방법에 관한 것으로, 더욱 상세하게는 손에 착용할 수 있는 웨어러블 디바이스를 이용하여 디스플레이되는 화면을 제어할 수 있는 HMD 디바이스 및 그 제어 방법에 관한 것이다.The present invention relates to an HMD device and a control method thereof, and more particularly, to an HMD device and a control method thereof that can control a display screen using a wearable device that can be worn by a hand.

최근 전자 기술의 발전에 따라 다양한 형태로 사용자에게 시각 정보를 표시하기 위한 수단으로서, 사용자의 두부에 착용 가능한 형태를 갖는 디스플레이 장치가 개발되고 있다. 이러한 두부에 착용 가능한 디스플레이 장치를 HMD 디바이스 (Head Mounted Display Device)라고 하며, 사용자의 눈에 접한 디스플레이 패널을 통해 가상 현실 세계를 보여주거나, 현실 세계와 함께 증강된 화면을 보여준다.2. Description of the Related Art Recently, as a means for displaying visual information to a user in various forms in accordance with the development of electronic technology, a display device having a form wearable on a user's head has been developed. Such a head-mounted display device is referred to as an HMD device (Head Mounted Display Device), and displays a virtual reality world through a display panel facing the user's eyes or displays an enhanced image together with the real world.

특히, 투명 디스플레이 패널을 이용하여 두부에 착용 가능한 형태의 안경식 HMD 디바이스의 경우, 사용자의 실생활에 접목하여 보다 유용하고 편리한 기능을 제공할 수 있기 때문에, 차세대 정보 통신 기기로서 많은 각광을 받고 있다.In particular, in the case of a spectacle-type HMD device that can be worn on a head using a transparent display panel, the HMD device can provide a more useful and convenient function by combining it with the actual life of a user, and thus has attracted much attention as a next generation information communication device.

그러나, HMD 디바이스의 경우, 그 휴대성이 갖는 장점과 함께, 디스플레이되는 화면을 제어할 수 있는 하드 키를 구비한 별도의 제어 장치가 요구되는 불편을 수반하였다. However, in the case of the HMD device, there is a disadvantage that a separate control device having a hard key for controlling the displayed screen is required along with the advantages of the portability.

본 발명은 상술한 문제점을 해결하기 위한 것으로, 본 발명의 목적은 웨어러블 디아비스를 착용한 손만으로 직관적으로 HMD 디바이스의 화면을 제어할 수 있는 HMD 디바이스 및 그 제어 방법을 제공함에 있다.It is an object of the present invention to provide an HMD device and a control method thereof that can intuitively control the screen of an HMD device with only a hand wearing a wearable diabe.

상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 HMD(Head Mounted Display) 디바이스는, 화면을 디스플레이하는 투명한 접안식 디스플레이부, 사용자가 상기 화면을 보는 시야를 포함하는 전방에서, 웨어러블 디바이스에 구비된 발광 소자에서 발광하는 빛을 촬영한 영상 데이터를 획득하는 복수의 촬영 장치를 포함하는 촬영부 및 서로 상이한 상기 촬영 장치에서 획득한 적어도 둘 이상의 영상 데이터에 기초하여 촬영 대상의 상기 HMD 디바이스에 대한 상대적 위치를 계산하는 제1 연산을 수행하고, 상기 빛의 위치를 계산한 제1 연산 결과에 따른 사용자 인터렉션 명령을 감지하고, 상기 감지된 사용자 인터렉션 명령에 대응하는 화면을 디스플레이하도록 상기 디스플레이부를 제어하는 프로세서를 포함한다.According to an aspect of the present invention, there is provided an HMD (Head Mounted Display) device including: a transparent gesture display unit for displaying a screen; And a plurality of image pickup devices for acquiring image data of light emitted from the light emitting devices, and an image pickup device for outputting the image data relative to the HMD device to be picked up A processor for controlling the display unit to display a screen corresponding to the sensed user interaction instruction, and a controller for controlling the display unit to display a screen corresponding to the sensed user interaction instruction, .

이 경우, 상기 촬영부는, 상기 빛과 함께 고정된 위치에 놓인 기설정된 모양을 갖는 마커를 촬영한 영상 데이터를 획득하고, 상기 프로세서는, 상기 제1 연산에 따른 상기 빛의 위치 및 상기 마커의 위치를 계산하고, 상기 HMD 디바이스의 위치 및 자세에 따라 상기 마커의 변경되는 제1 연산 결과 및 상기 마커의 변경되는 촬영 모양으로부터 산출된 보상값을 이용하여, 변경되는 촬영 대상의 제1 연산 결과로부터 상기 촬영 대상이 공간상에서 움직인 변위를 계산하는 제2 연산을 수행하고, 상기 빛의 변위를 계산한 제2 연산 결과에 따른 사용자 인터렉션 명령을 감지할 수 있다.In this case, the photographing unit acquires image data of a marker having a predetermined shape placed at a fixed position together with the light, and the processor calculates the position of the light according to the first calculation and the position of the marker From the first computation result of the photographed object to be changed, using the first computation result changed from the marker and the compensation value computed from the changed imaging form of the marker according to the position and attitude of the HMD device, A second operation for calculating a displacement in which an object to be photographed moves in space is performed and a user interaction command according to a second operation result for calculating the displacement of the light can be sensed.

이 경우, 상기 HMD 디바이스는, 회전 대칭성이 없는 모양을 갖는 적어도 하나의 패턴을 기저장하는 저장부를 더 포함할 수 있고, 상기 프로세서는, 상기 저장부에 기저장된 패턴에 대응하는 마커를 인식하여 상기 보상값을 산출할 수 있다.In this case, the HMD device may further include a storage unit for storing at least one pattern having a shape without rotational symmetry, wherein the processor recognizes a marker corresponding to a pattern previously stored in the storage unit, The compensation value can be calculated.

이 경우, 상기 프로세서는, 상기 마커를 지정하는 명령을 수신하면, 전방을 촬영한 상기 영상 데이터에서 상기 지정된 마커에 대응되는 모양을 상기 저장부에 저장하도록 제어할 수 있다.In this case, upon receipt of an instruction to designate the marker, the processor may control to store, in the storage unit, a shape corresponding to the designated marker in the image data captured in the forward direction.

한편, 상기 프로세서는, 상기 화면에 고정된 오브젝트를 디스플레이하는 일반 모드에서는 상기 제1 연산에 따른 사용자 인터렉션 명령에 대응되는 기능을 수행하고, 3차원 공간감을 일으키는 오브젝트를 상기 마커의 상대적인 위치에 디스플레이하는 증강현실 모드에서는 상기 제2 연산에 따른 사용자 인터렉션 명령에 대응되는 기능을 수행할 수 있다.Meanwhile, in the general mode for displaying an object fixed on the screen, the processor performs a function corresponding to a user interaction command according to the first operation and displays an object causing a three-dimensional spatial sensation at a relative position of the marker In the augmented reality mode, a function corresponding to the user interaction command according to the second operation can be performed.

한편, 상기 촬영부는, 상기 웨어러블 디바이스에 구비된 복수의 발광 소자에서 발광하는 빛을 촬영한 영상 데이터를 획득하고, 상기 프로세서는, 상기 복수의 발광 소자 중 어느 하나로부터 상기 복수의 광원이 배열된 방향으로 기설정된 길이만큼 이격된 가상의 지점을 지시할 수 있는 지시자를 제공하는 기능을 수행할 수 있다.The photographing unit may acquire image data of light emitted from a plurality of light emitting devices provided in the wearable device, and the processor may be configured to acquire image data from any one of the plurality of light emitting devices in a direction in which the plurality of light sources are arranged And an indicator for indicating a virtual point spaced by a predetermined length.

한편, 상기 HMD 디바이스는, 상기 웨어러블 디바이스와 통신을 수행하는 통신 인터페이스부를 더 포함하고, 상기 프로세서는, 상기 통신 인터페이스부를 통해 상기 웨어러블 디바이스에 구비된 터치 어레이를 터치하는 명령을 수신하면 상기 디스플레이된 화면을 스크롤 또는 주밍(zooming)하는 기능을 수행할 수 있다.The HMD device may further include a communication interface unit for performing communication with the wearable device, and the processor, when receiving an instruction to touch the touch array provided in the wearable device through the communication interface unit, The user can perform a function of scrolling or zooming.

한편, 상기 촬영부는, 상기 웨어러블 디바이스에 구비된 발광 소자에서 발광하는 빛과 상기 웨어러블 디바이스에서 방출된 레이저가 물체에 부딪혀 반사된 빔 스팟(beam spot)을 촬영한 영상 데이터를 획득하고, 상기 프로세서는, 상기 제1 연산에 따른 상기 빛의 위치와 상기 빔 스팟의 위치를 연장하는 선상에 위치한 가상 오브젝트와 인터렉션하는 기능을 수행할 수 있다.Meanwhile, the photographing unit obtains image data obtained by photographing a light beam emitted from a light emitting element provided in the wearable device and a beam spot reflected by a laser emitted from the wearable device, And perform a function of interacting with a virtual object positioned on a line extending the position of the light and the position of the beam spot according to the first operation.

이 경우, 상기 웨어러블 디바이스와 통신을 수행하는 통신 인터페이스부를 더 포함하고, 상기 프로세서는, 상기 통신 인터페이스부를 통해 상기 웨어러블 디바이스에 구비된 터치 어레이를 터치하는 명령을 수신하면, 상기 발광 소자로부터 상기 가상 오브젝트를 지시하기 위한 지시자의 길이를 제어할 수 있다.In this case, the portable terminal further includes a communication interface unit for performing communication with the wearable device, wherein the processor, when receiving a command to touch the touch array provided in the wearable device through the communication interface unit, Lt; RTI ID = 0.0 > a < / RTI >

한편, 본 발명의 일 실시예에 따른, 웨어러블 디바이스를 이용하여 HMD(Head Mounted Display) 디바이스의 투명한 접안식 디스플레이 장치에 디스플레이되는 화면을 제어하는 HMD 디바이스 제어 방법은, 사용자가 상기 화면을 보는 시야를 포함하는 전방을 촬영하는 복수의 촬영 장치를 이용하여, 상기 웨어러블 디바이스에 구비된 발광 소자에서 발광하는 빛을 촬영한 영상 데이터를 획득하는 단계, 상기 복수의 촬영 장치에서 획득한 적어도 둘 이상의 영상 데이터에 기초하여 촬영 대상의 상기 HMD 디바이스에 대한 상대적인 위치를 계산하는 제1 연산에 따라 상기 빛의 위치를 계산하는 단계, 상기 빛의 위치를 계산한 제1 연산 결과에 따른 사용자 인터렉션 명령을 감지하는 단계 및 상기 감지된 사용자 인터렉션 명령에 대응하는 화면을 디스플레이하는 단계를 포함한다.Meanwhile, according to an embodiment of the present invention, an HMD device control method for controlling a screen displayed on a transparent edge display device of an HMD (Head Mounted Display) device using a wearable device includes the steps of: A method of controlling a wearable device, the method comprising: acquiring image data of light emitted from a light emitting element provided in the wearable device by using a plurality of image capturing apparatuses that capture a front side image including at least two images captured by the plurality of image capturing apparatuses Calculating a position of the light according to a first calculation for calculating a relative position of the object to be photographed with respect to the HMD device; sensing a user interaction command according to a first calculation result of calculating the position of the light; And displaying a screen corresponding to the detected user interaction command .

이 경우, 상기 영상 데이터를 획득하는 단계는, 상기 빛과 함께 고정된 위치에 놓인 기설정된 모양을 갖는 마커를 촬영한 영상 데이터를 획득하고, 상기 HMD 디바이스 제어 방법은, 상기 제1 연산에 따른 상기 마커의 위치를 계산하는 단계, 상기 HMD 디바이스의 위치 및 자세에 따라 상기 마커의 변경되는 제1 연산 결과 및 상기 마커의 변경되는 촬영 모양으로부터 보상값을 산출하는 단계, 상기 산출된 보상값을 이용하여, 변경되는 상기 빛의 제1 연산 결과로부터 상기 촬영 대상이 공간상에서 움직인 변위를 계산하는 제2 연산에 따라 상기 빛의 변위를 계산하는 단계 및 상기 빛의 변위를 계산한 제2 연산 결과에 따른 사용자 인터렉션 명령을 감지하는 단계를 더 포함할 수 있다.In this case, the acquiring of the image data may acquire image data of a marker having a predetermined shape placed at a fixed position together with the light, and the HMD device controlling method may further include: Calculating a compensation value from a first calculation result of changing the marker and a shooting shape in which the marker is changed according to a position and an attitude of the HMD device, calculating the compensation value using the calculated compensation value, Calculating a displacement of the light according to a second calculation for calculating a displacement in which the object to be photographed moves in space from a first calculation result of the light to be changed, and a second calculation result And detecting a user interaction command.

이 경우, 상기 HMD 디바이스 제어 방법은 회전 대칭성이 없는 모양을 갖는 적어도 하나의 패턴을 기저장하는 단계를 더 포함할 수 있고, 상기 보상값을 산출하는 단계는, 상기 기저장된 패턴에 대응하는 마커를 인식하여 상기 보상값을 산출할 수 있다.In this case, the HMD device control method may further include storing at least one pattern having a shape having no rotational symmetry, and the step of calculating the compensation value may further include storing a marker corresponding to the pre- And can calculate the compensation value.

이 경우, 상기 HMD 디바이스 제어 방법은 상기 마커를 지정하는 명령을 수신하는 단계 및 전방을 촬영한 상기 영상 데이터에서 상기 지정된 마커에 대응되는 모양을 저장하는 단계를 더 포함할 수 있다.In this case, the HMD device control method may further include receiving an instruction to designate the marker, and storing a shape corresponding to the designated marker in the image data captured in the forward direction.

한편, 상기 사용자 인터렉션 명령에 대응되는 기능을 수행하는 단계는, 상기 화면에 고정된 오브젝트를 디스플레이하는 일반 모드에서는 상기 제1 연산에 따른 사용자 인터렉션 명령에 대응되는 기능을 수행하고, 3차원 공간감을 일으키는 오브젝트를 상기 마커의 상대적인 위치에 디스플레이하는 증강현실 모드에서는 상기 제2 연산에 따른 사용자 인터렉션 명령에 대응되는 기능을 수행할 수 있다.The performing of the function corresponding to the user interaction command may include performing a function corresponding to the user interaction command according to the first operation in a general mode for displaying an object fixed on the screen, In the augmented reality mode in which an object is displayed at a relative position of the marker, a function corresponding to a user interaction command according to the second operation can be performed.

한편, 상기 영상 데이터를 획득하는 단계는, 상기 웨어러블 디바이스에 구비된 복수의 발광 소자에서 발광하는 빛을 촬영한 영상 데이터를 획득하고, 상기 HMD 디바이스 제어 방법은, 상기 복수의 발광 소자 중 어느 하나로부터 상기 복수의 발광 소자가 배열된 방향으로 기설정된 길이만큼 이격된 가상의 지점을 지시할 수 있는 지시자를 제공하는 단계를 더 포함할 수 있다.Meanwhile, the acquiring of the image data may acquire image data of light emitted from a plurality of light emitting devices provided in the wearable device, and the HMD device controlling method may further comprise: The method may further include the step of providing an indicator capable of indicating a virtual point spaced by a predetermined length in a direction in which the plurality of light emitting elements are arranged.

한편, 상기 웨어러블 디바이스에 구비된 터치 어레이를 터치하는 명령을 수신하는 단계 및 상기 터치 명령에 따라 상기 디스플레이된 화면을 스크롤 또는 주밍(zooming)하는 단계를 더 포함할 수 있다.The method may further include receiving an instruction to touch a touch array included in the wearable device, and scrolling or zooming the displayed screen according to the touch command.

한편, 상기 영상 데이터를 획득하는 단계는, 상기 웨어러블 디바이스에 구비된 발광 소자에서 발광하는 빛과 상기 웨어러블 디바이스에서 방출된 레이저가 물체에 부딪혀 반사된 빔 스팟(beam spot)을 촬영한 영상 데이터를 획득하고, 상기 사용자 인터렉션 명령에 대응되는 기능을 수행하는 단계는, 상기 제1 연산에 따른 상기 빛의 위치와 상기 빔 스팟의 위치를 연장하는 선상에 위치한 가상 오브젝트와 인터렉션하는 기능을 수행할 수 있다.The acquiring of the image data may include acquiring image data obtained by photographing a light beam emitted from a light emitting element provided in the wearable device and a beam spot reflected by a laser emitted from the wearable device, And performing a function corresponding to the user interaction command may perform a function of interacting with a virtual object positioned on a line extending the position of the light according to the first operation and the position of the beam spot.

이 경우, 상기 HMD 디바이스 제어 방법은 상기 웨어러블 디바이스에 구비된 터치 어레이를 터치하는 명령을 수신하는 단계 및 상기 터치 명령에 따라 상기 발광 소자로부터 상기 가상 오브젝트를 지시하기 위한 지시자의 길이를 제어하는 단계를 더 포함할 수 있다.In this case, the HMD device control method may include receiving an instruction to touch the touch array provided in the wearable device, and controlling a length of an indicator for indicating the virtual object from the light emitting device according to the touch command .

도 1은 본 발명의 일 실시예에 따른 HMD 디바이스 제어 시스템의 구현 형태를 설명하기 위한 도면,
도 2는 본 발명의 일 실시예에 따른 HMD 디바이스의 간략한 구성을 나타내는 블럭도,
도 3은 도 2의 HMD 디바이스의 상세한 구성을 나타내는 블럭도,
도 4는 본 발명의 일 실시예에 따른 웨어러블 디바이스의 간략한 구성을 나타내는 블럭도,
도 5는 도 4의 웨어러블 디바이스의 상세한 구성을 나타내는 블럭도,
도 6은 본 발명의 일 실시예에 따른 HMD 디바이스의 상대 위치 산출 방식을 설명하기 위한 도면,
도 7 내지 도 8은 본 발명의 일 실시예에 따른 HMD 디바이스의 촬영 방향에 따라 달라지는 마커의 영상을 설명하기 위한 도면,
도 9는 본 발명의 일 실시예에 따른 HMD 디바이스가 마커를 이용하여 빛의 변위를 계산하는 방식을 설명하기 위한 도면,
도 10은 본 발명의 일 실시예에 따른 HMD 디바이스에 마커를 등록하는 방법을 설명하기 위한 도면,
도 11은 본 발명의 일 실시예에 따른 HMD 디바이스의 3차원 증강현실 화면의 제어를 설명하기 위한 도면,
도 12는 본 발명의 다양한 실시예에 따른 웨어러블 디바이스의 형태를 설명하기 위한 도면,
도 13은 본 발명의 일 실시예에 따른 웨어러블 디바이스의 구조를 설명하기 위한 도면,
도 14는 본 발명의 다른 실시예에 따른 웨어러블 디바이스의 구조 및 HMD 디바이스의 제어 방식을 설명하기 위한 도면,
도 15 내지 16은 본 발명의 다른 실시예에 따른 웨어러블 디바이스의 구조 및 HMD 디바이스의 제어 방식을 설명하기 위한 도면, 그리고,
도 17은 본 발명의 일 실시예에 따른 HMD 디바이스의 제어 방법을 설명하기 위한 흐름도이다.1 is a diagram for explaining an embodiment of an HMD device control system according to an embodiment of the present invention,
2 is a block diagram showing a simplified configuration of an HMD device according to an embodiment of the present invention;
3 is a block diagram showing a detailed configuration of the HMD device of FIG. 2,
4 is a block diagram showing a simplified configuration of a wearable device according to an embodiment of the present invention;
Fig. 5 is a block diagram showing a detailed configuration of the wearable device of Fig. 4,
6 is a view for explaining a relative position calculating method of an HMD device according to an embodiment of the present invention;
7 to 8 are views for explaining an image of a marker depending on a photographing direction of an HMD device according to an embodiment of the present invention,
9 is a view for explaining a method of calculating the displacement of light by using an HMD device according to an embodiment of the present invention;
10 is a view for explaining a method of registering a marker in an HMD device according to an embodiment of the present invention;
11 is a view for explaining control of a 3D enhanced real-time screen of an HMD device according to an embodiment of the present invention;
12 is a view for explaining a form of a wearable device according to various embodiments of the present invention;
13 is a view for explaining a structure of a wearable device according to an embodiment of the present invention,
14 is a view for explaining a structure of a wearable device and a control method of an HMD device according to another embodiment of the present invention;
15 to 16 are views for explaining a structure of a wearable device and a control method of an HMD device according to another embodiment of the present invention,
17 is a flowchart illustrating a method of controlling an HMD device according to an embodiment of the present invention.

이하에서는 본 발명의 바람직한 실시 예를 첨부된 도면을 참조하여 상세히 설명한다. 본 발명을 설명함에 있어서, 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단된 경우 그 상세한 설명은 생략한다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the following description of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear. The following terms are defined in consideration of the functions of the present invention, and may vary depending on the user, the operator, or the convention. Therefore, the definition should be based on the contents throughout this specification.

도 1은 본 발명의 일 실시예에 따른 HMD 디바이스 제어 시스템의 구현 형태를 설명하기 위한 도면이다.1 is a view for explaining an embodiment of an HMD device control system according to an embodiment of the present invention.

도 1을 참조하면, HMD(Head Mounted Display) 디바이스 제어 시스템은, HMD 디바이스(200) 및 웨어러블(wearable) 디바이스(400)을 포함한다.Referring to FIG. 1, an HMD (Head Mounted Display) device control system includes an HMD device 200 and a wearable device 400.

HMD 디바이스(200)는 사용자의 두부에 착용 가능하고, 화면을 표시할 수 있는 디스플레이 장치를 구비한다. 그리고, 디스플레이 장치는 사용자의 눈과 근거리에 위치한 접안식 디스플레이 장치이다.The HMD device 200 has a display device that can be worn on the head of a user and can display a screen. And, the display device is a folding display device located close to the user's eyes.

접안식 디스플레이 장치는 사용자의 양안에 대응되는 두 개의 디스플레이 장치로 구분될 수 있으며, 두 디스플레이 장치는 동일한 화면을 표시할 수 있고, 다른 화면을 표시할 수 있다. 예를 들어, 사용자에게 전방에 하나의 대상으로 인식할 수 있는 오브젝트를 표시하고자 하는 경우, 두 화면은 동일하거나 대응하는 화면을 표시할 수 있으며, 양안시차에 의한 3차원 화면을 표시하고자 하는 경우, 두 디스플레이 장치는 다른 화면을 표시할 수 있다.The passive display device may be divided into two display devices corresponding to both sides of the user, and the two display devices can display the same screen and display different screens. For example, when a user wants to display an object that can be recognized as one object in front of the user, the two screens can display the same or corresponding screens. In the case of displaying a three-dimensional screen by binocular parallax, The two display devices can display different screens.

HMD 디바이스(200)는 전방을 촬영할 수 있다. 구체적으로, HMD 디바이스(200)는 전방을 촬영하여 영상 데이터를 획득하는 촬영 장치를 구비할 수 있다. 그리고, 촬영 장치는 양안에 대응하는 두 개 또는 그 이상의 촬영 장치를 구비할 수 있으며, 사용자가 HMD 디바이스(200)의 디스플레이 장치의 화면을 바라보는 시야각을 포함하는 화각을 가질 수 있다. 즉, 시야각을 포함하는 화각을 갖는 둘 이상의 디스플레이 장치를 통해 사용자가 외계를 바라볼 때, 획득하는 시야 정보를 포함하는 영상 데이터를 획득할 수 있다. 또한, 둘 이상의 촬영 장치를 통해, 외계의 3차원 상에 존재하는 물체의 위치를 계산할 수 있는 서로 다른 두 영상 데이터를 획득할 수 있다. The HMD device 200 can photograph the front side. Specifically, the HMD device 200 may include a photographing device for photographing the front and acquiring image data. The photographing apparatus may have two or more photographing apparatuses corresponding to both eyes and may have an angle of view including a viewing angle in which the user views the screen of the display device of the HMD device 200. [ That is, when the user looks at the outside world through two or more display devices having a viewing angle including a viewing angle, it is possible to acquire image data including viewing information to be acquired. Further, two or more different image data that can calculate the position of an object existing on the three-dimensional outer world can be obtained through two or more photographing apparatuses.

웨어러블 디바이스(400)는 사용자의 손에 착용할 수 있다. 구체적으로, 웨어러블 디바이스(400)는 사용자의 손에 착용할 수 있는 형태의 링 모양의 부재를 포함할 수 있다. 웨어러블 디바이스(400)는 사용자의 손에 간편하게 이용할 수 있도록 착용 가능한 형태일 수 있지만, 사용자가 쉽게 파지할 수 있는 막대 모양 등이 될 수 있다.The wearable device 400 can be worn by the user. Specifically, the wearable device 400 may include a ring-shaped member in the form of a wearable user's hand. The wearable device 400 may be a wearable form that can be easily used in the hands of a user, but it may be a rod shape that the user can easily grasp.

웨어러블 디바이스(400)는 빛을 발광하는 광원 장치를 구비할 수 있다. 따라서, 사용자의 손에 착용된 웨어러블 디바이스(400)에서 발광하는 빛을 이용하여, HMD 디바이스(200)에서 디스플레이되는 화면을 제어하는 사용자 인터렉션 명령을 입력할 수 있다.The wearable device 400 may include a light source device that emits light. Therefore, a user interaction command for controlling a screen displayed on the HMD device 200 can be input using light emitted from the wearable device 400 worn by a user.

사용자 인터렉션 명령은 HMD 디바이스(200)에 구비된 촬영 장치가 웨어러블 디바이스(400)에서 발광하는 빛을 촬영한 영상 데이터로부터 분석될 수 있다. The user interaction instruction can be analyzed from the image data of the photographing apparatus provided in the HMD device 200 that has taken the light emitted from the wearable device 400. [

이상과 같은 HMD 디바이스 제어 시스템(100)에 의하여, 사용자는 착용 가능한 웨어러블 디바이스(400)를 이용하여 간편하게 HMD 디바이스(200)에 표시된 화면을 제어할 수 있다.
With the HMD device control system 100 as described above, the user can easily control the screen displayed on the HMD device 200 by using the wearable wearable device 400.

도 2는 본 발명의 일 실시예에 따른 HMD 디바이스의 간략한 구성을 나타내는 블럭도이다.2 is a block diagram illustrating a simplified configuration of an HMD device according to an embodiment of the present invention.

도 2를 참조하면, 사용자의 두부에 장착 가능한 HMD(Head Mounted Display) 디바이스(200)는 디스플레이부(210), 촬영부(220) 및 프로세서(230)를 포함한다.Referring to FIG. 2, a head mounted display (HMD) device 200 mounted on a head of a user includes a display unit 210, a photographing unit 220, and a processor 230.

디스플레이부(210)는 화면을 디스플레이한다. 구체적으로, 디스플레이부(210)는 사용자의 눈으로부터 근거리에 위치한 투명 디스플레이 패널을 포함하는 접안식 디스플레이 장치일 수 있다. 그리고, 디스플레이부(210)는 사용자의 양안에 대응되는 둘 이상의 투명 디스플레이 패널을 포함할 수 있다. The display unit 210 displays a screen. Specifically, the display unit 210 may be a grabbing display device including a transparent display panel positioned close to the user's eyes. The display unit 210 may include two or more transparent display panels corresponding to both sides of the user.

이로써, 디스플레이부(210)는 투명 디스플레이 패널을 통해 사용자가 HMD 디바이스(200)를 착용한 상태에서 외계의 사물을 인지할 수 있으며, 동시에 투명 디스플레이 패널을 통해 증강 현실 화면을 구현할 수 있다.Accordingly, the display unit 210 can recognize an object of an external world in a state in which the user wears the HMD device 200 through the transparent display panel, and at the same time, realize the augmented reality screen through the transparent display panel.

촬영부(220)는 전방을 촬영한 영상 데이터를 획득한다. 구체적으로, 촬영부(220)는 사용자가 디스플레이부(210)의 화면을 통해 바라보는 시야각을 포함하는 화각으로 전방의 외계를 촬영할 수 있다. 또한, 촬영부(220)는 웨어러블 디바이스(400)에 구비된 광원에서 발광하는 빛과 고정된 위치에 놓인 기설정된 모양을 갖는 마커를 촬영한 영상 데이터를 획득할 수 있다. The photographing unit 220 acquires the image data photographed forward. Specifically, the photographing unit 220 can photograph an outer space ahead of the user with a viewing angle including a viewing angle viewed through a screen of the display unit 210. [ In addition, the photographing unit 220 can acquire image data obtained by photographing a marker having a predetermined shape, which is located at a fixed position, with light emitted from a light source provided in the wearable device 400.

여기서, 마커란, 실재하는 물체로서, 증강 현실 화면을 구성하기 위한 기준이 되는 표식을 말하며, 바닥이나 벽면의 표면에 그려지거나 부착된 기설정된 모양으로 나타낼 수 있고, 또는 특정 형상을 갖는 물건이 어떤 위치에 놓여있고, 그 물건을 촬영한 모양이 마커로서 설정될 수 있다.Here, the marker is an actual object, which is a reference mark for constituting an augmented reality screen, and can be represented by a predetermined shape drawn or attached to the floor or the surface of a wall surface, or an object having a specific shape Position, and the shape in which the object is photographed can be set as a marker.

촬영부(220)는 복수의 촬영 장치로 구성될 수 있다. 그리고, 촬영부(220)를 구성하는 복수의 촬영 장치는 사용자의 양안에 대응되는 둘 이상의 촬영 장치로 배치될 수 있다. 그 이유는 사용자가 화면을 통해 볼 수 있는 범위는 화면 내이고, 화면을 바라보는 사용자의 시야 범위 내에서 사용자의 인터렉션 명령이 이루어지기 때문에 촬영부(220)는 사용자의 시야각을 포함할 수 있는 둘 이상의 촬영 장치를 구비할 수 있다. 또한, 둘 이상의 촬영 장치를 통해 기설정된 거리로 이격된 두 촬영 장치에서 획득한 영상 데이터를 획득하여 외계의 사물의 HMD 디바이스(200)에 대한 상대적인 위치를 계산할 수 있다.The photographing unit 220 may be constituted by a plurality of photographing apparatuses. The plurality of photographing apparatuses constituting the photographing section 220 may be disposed in two or more photographing apparatuses corresponding to the two sides of the user. The reason for this is that the range that the user can see through the screen is in the screen and the user's interaction instruction is made within the view range of the user viewing the screen, The above photographing apparatus can be provided. In addition, image data obtained from two photographing apparatuses spaced at predetermined distances through two or more photographing apparatuses may be acquired to calculate a relative position of an object of an extraneous object with respect to the HMD device 200.

촬영부(220)는 물체로부터 입사되는 피사체의 빛을 모아서 촬상 영역에 광학상이 맺히게 하는 렌즈, 렌즈를 통해 입사되는 빛을 전기 신호로 광전 변환하는 촬상 소자 및 촬상 소자의 아날로그 형태의 신호를 디지털 신호로 변환하여 출력하는 A/D 컨버터로 구성될 수 있다. 여기서, 촬상 소자는 CCD(Charged Coupled Device) 촬상 소자 및 CMOS(Complementary Metal Oxide Semiconductor) 촬상 소자일 수 있다.The photographing unit 220 includes a lens for collecting light of an object incident from an object and causing an optical image to be formed in the imaging region, an image pickup device for photoelectrically converting light incident through the lens into an electric signal, And an A / D converter for outputting the converted signal. Here, the image pickup element may be a CCD (Charge Coupled Device) image pickup element and a CMOS (Complementary Metal Oxide Semiconductor) image pickup element.

프로세서(230)는 HMD 디바이스(200)의 각 구성을 제어한다. 구체적으로 프로세서(230)는 HMD 디바이스(200)의 디스플레이부(210)를 통해 증강 현실 화면을 디스플레이하도록 제어하고, 촬영부(220)로부터 획득한 영상 데이터로부터 웨어러블 디바이스(400)의 빛의 위치 및 움직임을 추출하여, 사용자 인터렉션 명령을 분석하고 그에 대응하는 기능을 수행하도록 제어할 수 있다.The processor 230 controls each configuration of the HMD device 200. Specifically, the processor 230 controls the display unit 210 of the HMD device 200 to display the augmented reality screen. Based on the image data acquired from the photographing unit 220, the position of the light of the wearable device 400, Extracts the motion, and analyzes the user interaction command and controls to perform the corresponding function.

보다 구체적으로, 프로세서(230)는 촬영부(220)의 복수의 촬영 장치로부터 획득한 둘 이상의 영상 데이터에 기초하여 HMD 디바이스(100)에 대한 웨어러블 디바이스(400)의 빛 및 마커의 상대적인 위치를 계산하는 제1 연산을 수행할 수 있다. More specifically, the processor 230 calculates the relative positions of the light and the markers of the wearable device 400 with respect to the HMD device 100, based on two or more pieces of image data acquired from the plurality of photographing apparatuses of the photographing section 220 Can perform the first operation.

그리고, 프로세서(230)는 HMD 디바이스(100)의 위치 및 자세에 따라 변경되는 마커에 대한 제1 연산 결과 및 변경된 마커의 모양으로부터 보상값을 산출할 수 있다.The processor 230 may calculate the compensation value from the first calculation result of the marker changed according to the position and the posture of the HMD device 100 and the shape of the changed marker.

그리고, 프로세서(230)는 HMD 디바이스(100)의 위치 및 자세에 따라 변경되는 빛에 대한 제1 연산 결과와 산출된 보상값을 이용하여 웨어러블 디바이스(400)에서 발광하는 빛이 공간상에서 움직인 변위를 계산하는 제2 연산을 수행할 수 있다.Then, the processor 230 determines whether the light emitted from the wearable device 400 is displaced in the space using the first calculation result for the light changed according to the position and the attitude of the HMD device 100 and the calculated compensation value Lt; RTI ID = 0.0 > a < / RTI >

프로세서(230)는 웨어러블 디바이스(400)에서 발광하는 빛의 상대적인 움직임을 계산한 제1 연산 결과 또는 공간상에서 웨어러블 디바이스(400)에서 발광하는 빛이 실제 움직인 절대적인 변위를 계산한 제2 연산 결과에 따른 사용자 인터렉션 명령을 분석하여, 그에 대응되는 기능을 수행할 수 있다. The processor 230 determines whether or not the first calculation result of calculating the relative movement of the light emitted from the wearable device 400 or the second calculation result of calculating the absolute displacement in which the light emitted from the wearable device 400 actually moves, The user interaction instruction can be analyzed and the corresponding function can be performed.

예를 들어, 프로세서(230)는 특정 위치에서 발광하는 빛이 깜박이는 패턴을 분석하여 특정 오브젝트를 선택하는 사용자 인터렉션 명령을 수행할 수 있다. 또는, 일련의 연속적인 화면이 존재하고, 사용자가 다음 화면으로 전환하기 위하여 사용자가 웨어러블 디바이스(400)를 횡으로 길게 움직인 경우, 웨어러블 디바이스(400)의 빛의 연속적인 움직임에 따른 사용자 인터렉션 명령을 감지하여, 감지된 사용자 인터렉션 명령에 따라 다음 화면 또는 이전 화면으로 전환하는 기능을 수행할 수 있다.For example, the processor 230 may perform a user interaction command to select a specific object by analyzing a blinking pattern of light emitted at a specific location. Or, if there is a series of consecutive screens and the user moves the wearable device 400 long in the lateral direction to switch to the next screen, the user interaction instruction And to switch to the next screen or the previous screen according to the detected user interaction command.

프로세서(230)는 촬영부(220)에서 웨어러블 디바이스(400)에 구비된 복수의 광원에서 발광하는 빛을 촬영한 영상 데이터가 획득되면, 복수의 광원 중 어느 하나로부터 복수의 광원이 배열된 방향으로 기설정된 길이만큼 이격된 가상의 지점을 지시할 수 있는 지시자를 제공하는 기능을 수행할 수 있다.When the image data obtained by photographing the light emitted from the plurality of light sources provided in the wearable device 400 is obtained in the photographing unit 220, the processor 230 reads the image data from any one of the plurality of light sources in a direction in which the plurality of light sources are arranged It is possible to provide an indicator that can indicate a virtual point spaced by a predetermined length.

한편, 프로세서(230)는 사용자의 시야상에서 고정된 위치에 오브젝트가 디스플레이되는 일반 모드에서는 제1 연산에 따른 사용자 인터렉션 명령에 대응되는 기능을 수행하고, 마커의 위치를 기준으로 3차원 공간감을 일으키는 오브젝트가 디스플레이되는 증강현실 모드에서는 제2 연산에 따른 사용자 인터렉션 명령에 대응되는 기능을 수행할 수 있다. Meanwhile, in the general mode in which an object is displayed at a fixed position on the visual field of the user, the processor 230 performs a function corresponding to the user interaction command according to the first operation, and generates an object In the augmented reality mode in which the user interaction instruction is displayed, the function corresponding to the user interaction instruction according to the second operation can be performed.

구체적으로, 프로세서(230)는 사용자가 HMD 디바이스를 장착한 상태에서 증강 현실이 적용된 디스플레이를 볼 때, 외계의 특정 위치에 가상의 물체가 존재하는 것처럼 사용자가 주시하는 방향에 따라 화면이 달라지는 증강현실 모드에서는 웨어러블 디바이스(400)의 실제 공간상의 위치 변화를 계산하는 제2 연산에 따른 사용자 인터렉션 명령에 대응되는 기능을 수행할 수 있다. 예를 들어, 증강 현실로 표시되는 3차원 오브젝트가 마커의 위치를 기준으로 특정 지점에 놓인 것과 같은 효과의 화면이 디스플레이되면, 사용자가 오브젝트를 바라보는 방향이나 시야를 다른 곳으로 돌리면 오브젝트가 화면에서 사라지거나 다른 각도에서 오브젝트를 바라보는 화면이 디스플레이되게 된다. 이 경우, 다른 각도와 위치에서 3차원 오브젝트를 바라보기 위하여 사용자가 HMD 디바이스를 착용한 상태에서 움직이게 되면, 웨어러블 디바이스의 빛이 촬영되는 위치도 변하게 되어 이를 그대로 사용자 인터렉션 명령으로 받아들일 수 없다. 따라서, 프로세서(230)는 제2 연산에 따른 웨어러블 디바이스의 빛의 변위를 측정하여 사용자 인터렉션 명령을 해석하도록 할 수 있다.Specifically, when the user views the display to which the augmented reality is applied while the user is wearing the HMD device, the processor 230 determines that the augmented reality A function corresponding to a user interaction instruction according to a second operation for calculating a change in position on the actual space of the wearable device 400 can be performed. For example, if a three-dimensional object displayed as an augmented reality is displayed at a specific point based on the position of the marker, if the user turns the direction or the view direction of the object to another position, The screen disappears or the object is viewed from a different angle. In this case, if the user moves while wearing the HMD device to view the three-dimensional object at different angles and positions, the position at which the wearable device is photographed also changes, which can not be accepted as a user interaction command. Thus, the processor 230 may measure the light displacement of the wearable device in accordance with the second operation to interpret the user interaction command.

이와 달리, 특정 위치에 놓인 것과 같은 오브젝트를 표시하는 증강현실 화면이 아니라, 사용자가 주시하는 방향이나 위치와 상관 없이 고정된 창이 디스플레이되는 화면이나, 사용자가 주시하는 곳에 따라 화면에 표시되는 정보가 달라지는 경우에는, 사용자가 시야상에서 보이는 고정된 오브젝트를 그대로 선택하면 되기 때문에 웨어러블 디바이스(400)의 실제 공간상의 위치 변화가 얼마나 되는지 계산할 필요가 없다. 따라서, 프로세서(230)는 제1 연산에 따른 웨어러블 디바이스의 빛의 상대적인 위치만 계산하여 사용자 인터렉션 명령을 해석하도록 할 수 있다.Alternatively, instead of the augmented reality screen in which an object such as a specific location is displayed, a fixed window may be displayed regardless of a direction or a position of the user, or information displayed on a screen It is not necessary to calculate how much the position of the wearable device 400 changes on the actual space because the user simply selects the fixed object visible in the visual field. Thus, the processor 230 may calculate only the relative position of the light of the wearable device in accordance with the first operation to interpret the user interaction command.

프로세서(230)는 CPU, 제어 프로그램이 저장된 롬 및 외부 입력 신호 또는 데이터를 저장하거나, 수행되고 있는 기능을 저장하기 위한 저장매체로서 사용되는 램을 포함할 수 있다. 여기서 CPU는 싱글 코어뿐 아니라, 듀얼 코어 등 멀티 코어 프로세서일 수 있다. 한편, 프로세서(230)는 다양한 방식으로 구현될 수 있다. 예로서, 주문형 집적회로(ASIC), 임베디드 프로세서, 마이크로 프로세서, 하드웨어 컨트롤 로직, 하드웨어 유한 상태 머신(FSM), 디지털 신호 프로세서(DSP) 중 적어도 하나일 수 있다. The processor 230 may include a CPU, a ROM storing a control program, and a RAM used as a storage medium for storing external input signals or data, or for storing functions being performed. Here, the CPU may be a multicore processor such as a dual core as well as a single core. Meanwhile, the processor 230 may be implemented in various ways. For example, at least one of an application specific integrated circuit (ASIC), an embedded processor, a microprocessor, hardware control logic, a hardware finite state machine (FSM), and a digital signal processor (DSP).

이상과 같은, 본 발명의 일 실시예에 따른 HMD 디바이스(200)는 빛을 발광하는 간단한 구성의 웨어러블 디바이스(400)만으로 다양한 형태의 사용자 인터렉션 명령을 인식하여 디스플레이되는 화면을 제어하는 기능을 수행할 수 있다.
As described above, the HMD device 200 according to an embodiment of the present invention recognizes various types of user interaction commands and controls a displayed screen by using only the wearable device 400 having a simple structure that emits light .

도 3은 도 2의 HMD 디바이스의 상세한 구성을 나타내는 블럭도이다.3 is a block diagram showing a detailed configuration of the HMD device of FIG.

도 3을 참조하면, 사용자의 두부에 장착 가능한 HMD 디바이스(300)는 디스플레이부(310), 촬영부(320), 프로세서(330), 통신 인터페이스부(340), 저장부(350) 및 모션 센서(360)를 포함한다.3, an HMD device 300 that can be mounted on a user's head includes a display unit 310, a photographing unit 320, a processor 330, a communication interface unit 340, a storage unit 350, (360).

디스플레이부(310)는 투명한 접안식이고, 화면을 디스플레이한다. 디스플레이부(310)의 구성 및 기능은 도 2의 디스플레이부(210)와 동일한바 구체적인 설명은 생략한다.The display unit 310 is transparent and displays a screen. The configuration and functions of the display unit 310 are the same as those of the display unit 210 of FIG. 2, and a detailed description thereof will be omitted.

촬영부(320)는 사용자가 디스플레이부(310)를 통해 화면을 보는 시야각을 포함하는 화각을 가지고, 웨어러블 디바이스에 구비된 광원에서 발광하는 빛과 고정된 위치에 놓인 기설정된 모양의 마커를 촬영한 영상 데이터를 획득한다. 그리고, 촬영부(320)는 전방을 촬영하는 복수의 촬영 장치로 구성될 수 있다. 촬영부(320)의 구성 및 기능은 도 2의 촬영부(220)와 동일한바 구체적인 설명은 생략한다.The photographing unit 320 has a viewing angle that includes a viewing angle through which the user views the screen through the display unit 310 and displays the light emitted from the light source provided in the wearable device and a predetermined shape marker placed at a fixed position And acquires image data. The photographing unit 320 may be constituted by a plurality of photographing apparatuses for photographing the front side. The configuration and functions of the photographing unit 320 are the same as those of the photographing unit 220 in FIG. 2, and a detailed description thereof will be omitted.

통신 인터페이스부(340)는 웨어러블 디바이스(400)와 통신을 수행한다. 구체적으로, 통신 인터페이스부(340)는 웨어러블 디바이스(400)로부터 사용자의 명령을 수신할 수 있다. 예를 들어, 통신 인터페이스부(340)는 웨어러블 디바이스(400)에 구비된 터치 어레이에 터치되는 사용자의 조작에 따라 입력된 명령을 수신할 수 있다. 또한, 통신 인터페이스부(340)는 웨어러블 디바이스(400)에 구비된 다양한 종류의 버튼을 입력하는 사용자의 명령을 수신할 수 있다.The communication interface 340 performs communication with the wearable device 400. Specifically, the communication interface unit 340 can receive a command of the user from the wearable device 400. [ For example, the communication interface unit 340 can receive a command input according to an operation of a user touched to a touch array provided in the wearable device 400. [ In addition, the communication interface unit 340 can receive a user command for inputting various kinds of buttons provided in the wearable device 400. [

통신 인터페이스부(340)는 다양한 통신 방식으로 웨어러블 디바이스(400)와 통신을 수행할 수 있다. 예를 들어, 통신 인터페이스부(340)는 블루투스, 지그비, 적외선(IrDA), RF 통신 등의 근거리 통신 방식 및 인터넷 망이나 무선 통신망과 같은 네트워크를 통해 통신을 수행할 수 있다. The communication interface unit 340 can perform communication with the wearable device 400 by various communication methods. For example, the communication interface unit 340 can perform communication through a short-range communication method such as Bluetooth, Zigbee, IrDA, and RF communication, and a network such as an Internet network or a wireless communication network.

저장부(350)는 HMD 디바이스(300)가 기능을 수행하기 위한 다양한 프로그램및 데이터를 저장할 수 있다. 구체적으로, 저장부(350)는 회전 대칭성 없는 모양을 갖는 적어도 하나의 패턴을 저장할 수 있다.The storage unit 350 may store various programs and data for the HMD device 300 to perform its functions. Specifically, the storage unit 350 may store at least one pattern having a shape without rotational symmetry.

여기서, 패턴은 마커로서 사용될 수 있는 표식 등을 말하며, 회전 대칭성이 없다는 것은 패턴을 360도 회전시켜도 같은 모양이 나타나지 않는 것을 말한다. Here, the pattern refers to a marker or the like that can be used as a marker, and the absence of rotational symmetry means that the same shape does not appear even if the pattern is rotated 360 degrees.

한편, 저장부(350)에는 촬영부(320)가 촬영한 물체 중에서 마커로 지정한 물체의 모양이 저장될 수 있다.Meanwhile, the shape of the object designated by the marker among the objects photographed by the photographing unit 320 may be stored in the storage unit 350.

저장부(350)는 롬, 램, 또는 HMD 디바이스(300)에 탈/장착 가능한 메모리 카드를 포함할 수 있다. 또한 저장부(350)는 비휘발성 메모리, 휘발성 메모리, 하드 디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD)를 포함할 수 있다.The storage unit 350 may include a ROM, a RAM, or a removable memory card in the HMD device 300. In addition, the storage unit 350 may include a nonvolatile memory, a volatile memory, a hard disk drive (HDD), or a solid state drive (SSD).

모션 센서(360)는 HMD 디바이스(300)의 움직임, 자세, 지향하는 방향, 기울어진 각도 등을 감지할 수 있다. 구체적으로, 모션 센서(360)는 방위 센서를 구비하여 HMD 디바이스(300)를 장착한 사용자가 주시하는 방향이 어느 방향인지 감지할 수 있다. 또는 모션 센서(360)는 가속도 센서를 구비하여, HMD 디바이스(300)를 장착한 사용자가 움직이는 방향이나 속도를 감지할 수 있다. The motion sensor 360 can sense the motion, the posture, the direction in which the HMD device 300 is oriented, the inclined angle, and the like. Specifically, the motion sensor 360 may include an orientation sensor to sense which direction the user wearing the HMD device 300 is looking at. Alternatively, the motion sensor 360 may include an acceleration sensor to sense a direction or speed of movement of a user wearing the HMD device 300.

프로세서(330)는 HMD 디바이스(300)의 각 구성을 제어한다. 디스플레이부(310)와 촬영부(320)를 제어하는 프로세서(330)의 기능 및 동작은 도 2의 프로세서(230)와 동일한바 중복 설명은 생략한다.The processor 330 controls each configuration of the HMD device 300. The functions and operations of the processor 330 that controls the display unit 310 and the photographing unit 320 are the same as those of the processor 230 of FIG. 2, and redundant explanations are omitted.

프로세서(330)는 저장부(350)에 기저장된 패턴에 대응하는 마커를 인식하여 보상값을 산출할 수 있다. 구체적으로, 프로세서(330)는 촬영부(320)를 통해 획득한 영상 데이터에서 저장부(350)에 저장된 적어도 하나의 패턴과 대응하는 물체를 식별하여 이를 마커로서 인식할 수 있다. 그리고, 프로세서(330)는 인식된 마커를 이용하여, HMD 디바이스(300)의 위치 및 자세에 따라 달라지는 마커에 대한 제1 연산 결과 및 변경된 마커의 모양으로부터 보상값을 산출할 수 있다.The processor 330 can recognize the marker corresponding to the pattern previously stored in the storage unit 350 and calculate the compensation value. Specifically, the processor 330 identifies an object corresponding to at least one pattern stored in the storage unit 350 from the image data acquired through the photographing unit 320, and recognizes the object as a marker. The processor 330 may calculate the compensation value from the first calculation result of the marker depending on the position and attitude of the HMD device 300 and the shape of the changed marker using the recognized marker.

프로세서(330)는 마커를 지정하는 명령이 수신되면, 획득한 영상 데이터 중 지정된 마커에 대응되는 모양을 저장부(350)에 저장하도록 제어할 수 있다.The processor 330 may control the storage unit 350 to store the shape corresponding to the designated marker among the acquired image data when the command for specifying the marker is received.

프로세서(330)는 통신 인터페이스부(340)를 통해 수신된 명령에 대응되는 기능을 수행할 수 있다. 구체적으로 프로세서(330)는 웨어러블 디바이스(400)에 구비된 터치 어레이를 터치하는 명령을 수신하면, 디스플레이된 화면을 스크롤(scroll) 또는 주밍(zooming)하는 기능을 수행할 수 있다.The processor 330 may perform a function corresponding to the command received through the communication interface 340. [ Specifically, the processor 330 may perform a function of scrolling or zooming the displayed screen upon receiving a command to touch the touch array provided in the wearable device 400.

프로세서(330)는 촬영부(320)에서 웨어러블 디바이스(400)에 구비된 광원에서 발광하는 빛과 웨어러블 디바이스에서 방출된 레이저가 물체에 부딪혀 반사된 빔 스팟(beam spot)이 촬영된 영상 데이터가 획득되면, 제1 연산에 따른 빛의 상대적 위치와 빔 스팟의 상대적 위치를 연장하는 선상에 위치한 가상 오브젝트와 인터렉션하는 기능을 수행할 수 있다. The processor 330 receives the light emitted from the light source provided in the wearable device 400 in the photographing unit 320 and the image data in which the beam spot reflected by the laser emitted from the wearable device collides with the object is photographed , It is possible to perform a function of interacting with a virtual object located on a line extending the relative position of the light according to the first operation and the relative position of the beam spot.

구체적으로, 프로세서(330)는 빛과 빔 스팟을 연장하는 선상에 가상 오브젝트를 지시하기 위한 지시자를 제공하는 기능을 수행할 수 있다. 여기서, 레이저를 방출하는 웨어러블 디바이스(400)에 터치 어레이가 구비되고, 사용자가 터치 어레이를 터치하는 명령이 통신 인터페이스부(340)를 통해 수신될 수 있다. 이 경우, 프로세서(330)는 웨어러블 디바이스(400)의 광원으로부터 이격된 가상 오브젝트를 선택할 수 있는 지시자의 길이를 사용자의 터치 명령에 따라 제어할 수 있다. 예를 들어, 사용자가 웨어러블 디바이스(400)의 터치 어레이를 기설정된 방향으로 슬라이딩하는 터치 조작을 하는 경우, 통신 인터페이스부(340)를 통해 음의 방향으로 터치하는 슬라이딩 명령이 수신되어, 지시자의 길이를 줄이는 기능이 수행될 수 있다.Specifically, the processor 330 may perform the function of providing an indicator for indicating a virtual object on a line extending the light and the beam spot. Here, the touch array is provided in the wearable device 400 that emits the laser, and an instruction that the user touches the touch array can be received through the communication interface 340. [ In this case, the processor 330 may control the length of the indicator that can select a virtual object spaced from the light source of the wearable device 400 according to a touch command of the user. For example, when the user performs a touch operation to slide the touch array of the wearable device 400 in a predetermined direction, a sliding command for touching the touch array in the negative direction through the communication interface 340 is received, Can be performed.

이상과 같은 본 발명의 일 실시예에 따른 HMD 디바이스(300)는 사용자의 손에 착용 가능한 웨어러블 디바이스(400)를 움직이거나 웨어러블 디바이스(400)에 구비된 간단한 터치 조작만으로 HMD 디바이스(300)에서 디스플레이 화면을 제어할 수 있다.
The HMD device 300 according to an embodiment of the present invention may be configured to move the wearable device 400 that can be worn on the user's hand or to move the wearable device 400 from the HMD device 300 to the display 300 by a simple touch operation provided on the wearable device 400. [ You can control the screen.

도 4는 본 발명의 일 실시예에 따른 웨어러블 디바이스의 간략한 구성을 나타내는 블럭도이다.4 is a block diagram showing a simplified configuration of a wearable device according to an embodiment of the present invention.

도 4를 참조하면, 웨어러블 디바이스(400)는 발광 소자(410) 및 제어부(420)를 포함한다.Referring to FIG. 4, the wearable device 400 includes a light emitting device 410 and a control unit 420.

발광 소자(410)는 빛을 발광한다. 구체적으로, 발광 소자(410)는 웨어러블 디바이스(400)에서 발광하는 빛의 광원이 될 수 있다. 발광 소자(410)는 열변환식 전구, 형광 램프, 전자와 정공 재결합에 의해 빛을 방출하는 LED 또는 OLED로 구현될 수 있다.The light emitting element 410 emits light. Specifically, the light emitting device 410 may be a light source of light emitted from the wearable device 400. The light emitting device 410 may be implemented as a thermal conversion type bulb, a fluorescent lamp, an LED or OLED that emits light by electron and hole recombination.

제어부(420)는 웨어러블 디바이스(400)의 구성을 제어한다. 구체적으로, 제어부(420)는 웨어러블 디바이스(400)가 사용자의 손에 착용되어 사용자의 손 동작이나 웨어러블 디바이스(400)의 조작에 의한 기능이 수행될 수 있도록 각 구성을 제어할 수 있다.The control unit 420 controls the configuration of the wearable device 400. Specifically, the control unit 420 can control the respective components so that the wearable device 400 is worn in the user's hand so that a function of the user's hand or the operation of the wearable device 400 can be performed.

제어부(420)는 발광 소자(410)에서 발광하는 빛을 제어할 수 있다. 구체적으로, 제어부(420)는 발광 소자(410)가 일정 패턴을 갖는 온/오프 동작을 수행하도록 제어할 수 있다. 또한, 제어부(420)는 발광 소자(410)에서 발광하는 빛의 세기를 조절하거나 빛의 색상(주파수)이 변경되도록 제어할 수 있다.
The control unit 420 may control light emitted from the light emitting device 410. Specifically, the control unit 420 may control the light emitting device 410 to perform an ON / OFF operation having a predetermined pattern. In addition, the controller 420 may control the intensity of light emitted from the light emitting device 410 or change the color of light (frequency).

도 5는 도 4의 웨어러블 디바이스의 상세한 구성을 나타내는 블럭도이다.5 is a block diagram showing a detailed configuration of the wearable device of Fig.

도 5를 참조하면, 사용자의 손에 착용 가능한 웨어러블 디바이스(500)는 발광 소자(510-1, 510-2), 통신 인터페이스부(520), 터치 어레이(530), 모션 센서(540) 및 레이저원(550)을 포함한다.5, a wearable device 500 that can be worn on the user's hand includes light emitting devices 510-1 and 510-2, a communication interface 520, a touch array 530, a motion sensor 540, Circle 550 < / RTI >

발광 소자(510-1, 510-2)는 빛을 발광한다. 발광 소자(510-1, 510-2)의 구성 및 기능은 도 4의 발광 소자(410)와 동일한바 중복 설명은 생략한다.The light emitting elements 510-1 and 510-2 emit light. The configuration and function of the light emitting elements 510-1 and 510-2 are the same as those of the light emitting element 410 of FIG. 4, and a duplicate description thereof will be omitted.

발광 소자(510-1, 510-2)는 복수 개로 구성될 수 있다. 구체적으로, 발광 소자는 제1 발광 소자(510-1) 및 제2 발광 소자(510-2)를 포함할 수 있다. 제1 발광 소자(510-1) 및 제2 발광 소자(510-2)는 웨어러블 디바이스(500)의 사용자의 손에 착용 가능한 부재 위에 나란히 배열될 수 있다. 구체적으로, 제1 발광 소자(510-1) 및 제2 발광 소자(510-2)는 반지형 부재 위에 사용자의 손가락이 향하는 방향과 나란하게 일렬로 배열될 수 있다. The light emitting devices 510-1 and 510-2 may be composed of a plurality of light emitting devices. Specifically, the light emitting device may include a first light emitting device 510-1 and a second light emitting device 510-2. The first light emitting device 510-1 and the second light emitting device 510-2 may be arranged side by side on a wearable member of the user of the wearable device 500. [ Specifically, the first light emitting device 510-1 and the second light emitting device 510-2 may be arranged in line in a direction parallel to the direction in which the user's finger faces the ring-shaped member.

통신 인터페이스부(520)는 HMD 디바이스(100)와 통신을 수행한다. 구체적으로, 통신 인터페이스부(520)는 웨어러블 디바이스(500)에 입력한 사용자의 조작에 따른 명령을 HMD 디바이스(100)로 송신할 수 있다. The communication interface unit 520 performs communication with the HMD device 100. Specifically, the communication interface unit 520 can transmit a command to the HMD device 100 according to the operation of the user input to the wearable device 500. [

터치 어레이(530)는 사용자의 터치를 감지한다. 구체적으로, 터치 어레이(530)는 웨어러블 디바이스(500)의 표면에 구비되어 사용자가 손가락이나 접촉을 감지할 수 있는 물체의 터치를 감지할 수 있다. The touch array 530 senses the touch of the user. Specifically, the touch array 530 may be provided on the surface of the wearable device 500 to sense a touch of an object that a user can perceive a finger or a contact.

모션 센서(540)는 웨어러블 디바이스(500)의 움직임, 자세, 지향하는 방향, 기울어진 각도 등을 감지할 수 있다. 구체적으로, 모션 센서(540)는 방위 센서를 구비하여 웨어러블 디바이스(500)를 착용한 사용자가 가리키는 방향이 어느 방향인지 감지할 수 있다. 또는 모션 센서(540)는 가속도 센서를 구비하여, 웨어러블 디바이스(500)를 착용한 사용자가 손을 움직이는 방향이나 속도를 감지할 수 있다. The motion sensor 540 can sense the movement, the posture, the direction of the wearable device 500, the inclined angle, and the like. Specifically, the motion sensor 540 may include an orientation sensor to sense which direction the user wearing the wearable device 500 is pointing to. Alternatively, the motion sensor 540 may include an acceleration sensor to sense the direction or speed at which the user wearing the wearable device 500 moves his / her hand.

레이저원(550)은 레이저를 방출한다. 구체적으로, 레이저원(550)은 단일 파장의 광선인 레이저를 방출할 수 있다. The laser source 550 emits a laser. Specifically, the laser source 550 can emit a laser, which is a single wavelength of light.

제어부(560)는 웨어러블 디바이스(500)의 각 구성을 제어한다. 구체적으로, 제어부(560)는 사용자가 웨어러블 디바이스(500)를 손에 착용하여 HMD 디바이스(200)를 제어하기 위한 각종 기능을 수행하기 위하여 웨어러블 디바이스(500)의 각 구성을 제어할 수 있다.The control unit 560 controls each configuration of the wearable device 500. The control unit 560 may control each configuration of the wearable device 500 to perform various functions for the user to wear the wearable device 500 in order to control the HMD device 200. [

제어부(560)는 발광 소자(510-1, 510-2)의 온/오프를 제어할 수 있다. 구체적으로, 제어부(560)는 각각의 제1 발광 소자(510-1) 및 제2 발광 소자(510-2)의 온/오프 동작을 제어할 수 있다. 예를 들어, 두 발광 소자(510-1, 510-2)가 동시에 점멸하도록 할 수 있고, 순차적으로 온 되도록 제어하여 웨어러블 디바이스(500)의 앞과 뒤를 구분할 수 있도록 할 수 있다. 이 경우, 기설정된 순서에 따른 발광 소자(510-1, 510-2)의 점등 순서에 의해 HMD 디바이스(200)는 사용자가 가리키는 방향을 판단할 수 있다.The control unit 560 can control ON / OFF of the light emitting devices 510-1 and 510-2. Specifically, the controller 560 can control on / off operations of the first light emitting device 510-1 and the second light emitting device 510-2, respectively. For example, the two light emitting devices 510-1 and 510-2 may be simultaneously turned on and off so that the wearable device 500 can be distinguished from the front and back. In this case, the HMD device 200 can determine the direction indicated by the user by the lighting sequence of the light emitting devices 510-1 and 510-2 according to the predetermined order.

제어부(560)는 터치 어레이(530)를 터치하는 사용자 조작에 대응되는 명령을 판단할 수 있다. 구체적으로, 제어부(560)는 터치 어레이(530)에 터치하는 사용자의 조작이 터치 어레이(530)의 연속적인 좌표를 터치하는 드래깅(dragging), 슬라이딩 조작시 드래깅하는 속도, 튕기는 플리킹(flicking), 한 위치를 길게 누르는 터치, 문지르는 러빙(rubbing), 연속적으로 누르는 탭핑(tapping)을 구분하여 각각의 조작에 대응하는 명령을 통신 인터페이스부(520)를 통해 HMD 디바이스(100)로 전송하도록 할 수 있다.The control unit 560 can determine a command corresponding to a user operation of touching the touch array 530. [ The control unit 560 controls the operation of the touching array 530 such that the user's operation of touching the touch array 530 is controlled by dragging to touch successive coordinates of the touch array 530, ), Touching a position for a long time, rubbing rubbing, and tapping continuously, and transmits a command corresponding to each operation to the HMD device 100 through the communication interface 520 .

제어부(560)는 발광 소자(510-1, 510-2)와 레이저원(550)이 켜지는 순서를 제어할 수 있다. 구체적으로, 제어부(560)는 웨어러블 디바이스(500)에 구비된 발광 소자(510-1, 510-2 중 적어도 하나)가 우선 온 된 후에, 레이저원에서 레이저가 방출되도록 제어할 수 있다. 이 경우, 발광 소자(510-1, 510-2)에서 발광하는 빛과 레이저가 물체에 부딪혀 반사된 빔 스팟을 촬영한 HMD 디바이스(100)는 발광하는 빛의 위치에서 빔 스팟 방향으로 기설정된 길이의 지시자를 제공할 수 있다.
The control unit 560 can control the order in which the light emitting devices 510-1 and 510-2 and the laser source 550 are turned on. Specifically, the control unit 560 may control the laser source to emit laser light after the light emitting devices 510-1 and 510-2 provided in the wearable device 500 are first turned on. In this case, the HMD device 100 photographs the beam emitted from the light emitting devices 510-1 and 510-2 and the beam spot reflected from the laser beam against the object, ≪ / RTI >

도 6은 본 발명의 일 실시예에 따른 HMD 디바이스의 상대 위치 산출 방식을 설명하기 위한 도면이다.6 is a view for explaining a relative position calculation method of the HMD device according to an embodiment of the present invention.

도 6을 참조하면, 사용자의 좌안(610-1)과 우안(610-2)이 화면이 표시되는 투명 디스플레이 패널(630-1, 630-2) 내에서 볼 수 있는 시야각이 점선으로 표시되어 있고, 시야각을 포함하는 화각을 갖는 두 촬영 장치(620-1, 620-2)가 웨어러블 디바이스에서 발광하는 빛(640)을 촬영하고 있다.6, viewing angles that can be seen in the transparent display panels 630-1 and 630-2 in which the user's left and right eyes 610-1 and 610-2 are displayed are indicated by dotted lines , And two photographing apparatuses 620-1 and 620-2 having a viewing angle including a viewing angle photograph light 640 emitted from the wearable device.

그리고, HMD 디바이스(600)는 좌안(610-1)에 대응하는 제1 촬영 장치(620-1)에서 빛(640)을 촬영한 영상 데이터와 우안(610-2)에 대응하는 제2 촬영 장치(620-2)에서 빛(640)을 촬영한 영상 데이터를 분석하여, 일점 쇄선으로 표시된 각 제1 및 제2 촬영 장치(620-1, 620-2)의 중심으로부터 벗어난 각도를 측정한다.The HMD device 600 transmits the image data obtained by photographing the light 640 in the first photographing apparatus 620-1 corresponding to the left eye 610-1 and the second photographing apparatus 610-1 corresponding to the right eye 610-2, The image data obtained by photographing the light 640 at the first and second photographing apparatuses 620-2 and 620-2 is analyzed to measure an angle deviated from the center of each of the first and second photographing apparatuses 620-1 and 620-2 indicated by the alternate long and short dashed line.

설명의 편의를 위해 사용자의 전방 방향을 y, 오른쪽을 x, 위쪽을 z축 방향으로 정의할 때, xy 평면에서, 각 제1 및 제2 촬영 장치(620-1, 620-2) 중심으로부터 빛(640)이 편향된 각도는 θ1과 θ2 이고, yz 평면에서 편향된 각도는 θ3이다.For convenience of explanation, when defining the forward direction of the user as y, the right as x, and the upward as the z-axis direction, light from the center of each of the first and second image pickup devices 620-1 and 620-2 The angles of deflection 640 are? 1 and? 2, and the angle deflected in the yz plane is? 3.

그리고, 두 촬영 장치(620-1, 620-2) 사이의 거리를 d라고 하면, 이미 알고있는 한 변의 길이 d와 측정된 삼각형의 두 내각으로부터 빛(640)의 HMD 디바이스(600)에 대한 상대 위치를 구할 수 있다.
Assuming that the distance between the two photographing apparatuses 620-1 and 620-2 is d, the length d of one side, which is already known, and the distance from the two interior angles of the measured triangle to the HMD device 600 of the light 640 The location can be obtained.

도 7 내지 도 8은 본 발명의 일 실시예에 따른 HMD 디바이스의 촬영 방향에 따라 달라지는 마커의 영상을 설명하기 위한 도면이다.FIGS. 7 to 8 are views for explaining an image of a marker depending on the photographing direction of the HMD device according to an embodiment of the present invention.

도 7을 참조하면, 바닥의 마커를 수직으로 바라보는 HMD 디바이스의 상태를 나타내는 도 7(a)를 기준으로 하였을 때, HMD 디바이스가 마커를 바라보는 모든 방향을 나타낼 수 있는 세 가지 요소는 직각 좌표계의 x, y, z축에서 각 축을 중심으로 회전한 각도 α, β, γ이다. 여기서, 회전한 각도 α, β, γ는 각 x, y, z 축과 수직한 평면상에 오리엔테이션(orientation) 방향으로 회전한 경우(right-hand rule), 양의 값을 가지고, 반대 방향으로 회전한 경우, 음의 값을 갖는 것으로 정의한다.Referring to FIG. 7, three elements that can represent all directions in which an HMD device looks at a marker are shown in FIG. 7 (a), which shows the state of the HMD device looking vertically at the bottom marker, And the angles α, β, and γ about the respective axes in the x, y, and z axes. Here, the rotated angles?,?, And? Have a positive value when rotated in the orientation direction on a plane perpendicular to each x, y, and z axis, In one case, it is defined as having a negative value.

도 7(b)는 도 7(a)에서 z 축을 중심으로 γ도 회전하였을 때의 HMD 디바이스의 모습을 나타낸다. 이 경우, HMD 디바이스는 마커가 -γ도 회전한 형태를 촬영하게 된다. 7 (b) shows the appearance of the HMD device when it is rotated about the z-axis by γ degrees in FIG. 7 (a). In this case, the HMD device photographs the shape of the marker rotated by -γ.

도 7(c)는 도 7(a)에서 y 축을 중심으로 β 도 회전하였을 때의 HMD 디바이스의 모습을 나타낸다. 이 경우, HMD 디바이스는 마커가 -β 도 회전하여 뒤로 기울어진 형태를 촬영하게 된다.Fig. 7 (c) shows the appearance of the HMD device when it is rotated about the y-axis as shown in Fig. 7 (a). In this case, the HMD device photographs a shape in which the marker is rotated by -β, and is inclined backward.

도 7(d)는 도 7(a)에서 x 축을 중심으로 α 도 회전하였을 때의 HMD 디바이스의 모습을 나타낸다. 이 경우, HMD 디바이스는 마커가 -α 도 회전하여 옆으로 틀어진 형태를 촬영하게 된다.Fig. 7 (d) shows the appearance of the HMD device when it is rotated about the x-axis in Fig. 7 (a). In this case, the HMD device rotates the marker by -α to take a picture that is laterally distorted.

도 8을 참조하면, 도 8(a)는 바닥의 마커를 수직으로 촬영한 도 7(a)의 방향에서 보이는 마커의 모습이다.Referring to Fig. 8, Fig. 8 (a) is a view of a marker seen in the direction of Fig. 7 (a), in which the bottom marker is photographed vertically.

도 8(b)는 z 축을 중심으로 45도 회전한 HMD 디바이스에서 보이는 마커의 모습이다. 마커가 HMD 디바이스에 상대적으로 -45도 회전한 모습을 볼 수 있다.FIG. 8 (b) is a view of the marker seen from the HMD device rotated 45 degrees around the z-axis. You can see that the marker is rotated about -45 degrees relative to the HMD device.

도 8(c)는 y 축을 중심으로 60도 회전한 HMD 디바이스에서 보이는 마커의 모습이다. 마커가 HMD 디바이스에 상대적으로 -60도 뉘여진 모습을 볼 수 있다.FIG. 8 (c) is a view of the marker seen from the HMD device rotated 60 degrees around the y-axis. You can see that the marker is -60 degrees relative to the HMD device.

도 8(d)는 각 x, y, z축을 중심으로 45도, 30도, -45도 회전한 HMD 디바이스에서 보이는 마커의 모습이다. 마커가 HMD 디바이스에 상대적으로 틀어진 모습을 볼 수 있다.FIG. 8 (d) is a view of the marker seen from the HMD device rotated 45 degrees, 30 degrees, and -45 degrees around the x, y, and z axes. You can see that the markers are relative to the HMD device.

이상과 같이 HMD 디바이스에 기설정된 마커의 모양을 기준으로, HMD 디바이스가 마커를 촬영한 모양으로부터 HMD 디바이스가 어느 방향으로 얼마만큼 기울어져 있는지 판단할 수 있다. 그리고, HMD 디바이스는 마커가 기울어진 모양으로부터 증강현실을 통해 표현하고자 하는 오브젝트를 마커와 수직한 방향 또는 수평 방향과 같은 특정 방향으로 고정된 형태로 디스플레이할 수 있다.
As described above, based on the shape of the marker set in the HMD device, it is possible to determine in which direction the HMD device is tilted from the shape of the marker taken by the HMD device. The HMD device can display an object to be represented through the augmented reality from the shape of the marker in a fixed form in a specific direction such as a direction perpendicular to the marker or a horizontal direction.

도 9는 본 발명의 일 실시예에 따른 HMD 디바이스가 마커를 이용하여 빛의 변위를 계산하는 방식을 설명하기 위한 도면이다.FIG. 9 is a view for explaining a method of calculating the displacement of light by using an HMD device according to an embodiment of the present invention.

도 9를 참조하면, HMD 디바이스의 좌안에 해당하는 디스플레이 화면(910)이 도시되고 있다.Referring to FIG. 9, a display screen 910 corresponding to the left eye of the HMD device is shown.

초기 사용자가 HMD 디바이스를 착용하여 바라본 마커(920)의 모양이 사용자와 나란히 뉘여진 모습이다. 그리고, 사용자가 머리를 기울이거나 움직여서 HMD 디바이스의 위치나 방향이 바뀌게 되면 촬영하면, 상대적으로 마커(920')가 이동하여 회전한 형태를 촬영하게 된다.The shape of the marker 920, which the initial user views by wearing the HMD device, is a side view of the user. When the user tilts or moves his or her head to change the position or direction of the HMD device, the marker 920 'relatively moves and photographs the rotated shape.

HMD 디바이스는 초기 상태에 촬영된 마커(920)와 모양이 달라진 마커(920')를 이용하여, 고정된 마커의 위치 및 방향으로부터 자신이 얼만큼 이동하여 몇 도의 각도로 자세가 바뀌었는지 계산함으로써 보상값을 산출한다.The HMD device calculates a compensation amount by calculating how many degrees the user has changed from the position and direction of the fixed marker by using the marker 920 'whose shape is different from that of the marker 920 photographed in the initial state, Lt; / RTI >

또한, HMD 디바이스는 초기 상태에 촬영된 웨어러블 디바이스에서 발광하는 빛(930)과 위치 또는 자세가 바뀐 후의 빛(930')의 HMD 디바이스에 대한 상대적 위치를 계산한다. 그리고, 초기 상태에 촬영된 빛(930)의 상대적 위치에 보상값만을 적용했을 때 빛의 위치와 최종 빛(930')의 위치를 비교하여 실제 공간상에서 웨어러블 디바이스가 이동한 변위를 구할 수 있다.
Further, the HMD device calculates the relative position of the light 930 emitted from the wearable device photographed in the initial state and the light 930 'after the position or posture is changed, with respect to the HMD device. When the compensation value is applied only to the relative position of the light 930 photographed in the initial state, the position of the light and the position of the final light 930 'are compared to find the displacement of the wearable device in the actual space.

도 10은 본 발명의 일 실시예에 따른 HMD 디바이스에 마커를 등록하는 방법을 설명하기 위한 도면이다.10 is a diagram illustrating a method of registering a marker in the HMD device according to an embodiment of the present invention.

도 10을 참조하면, HMD 디바이스에 기저장되어 있는 기설정된 모양의 패턴이 준비되어 있지 아니한 경우, 특정 사물을 마커로 등록하여 사용하는 좌안에 대응되는 화면(1010)을 도시하고 있다.Referring to FIG. 10, there is shown a screen 1010 corresponding to a left eye that is used to register a specific object as a marker when a predetermined pattern previously stored in the HMD device is not prepared.

실제 외계에서는 X자로 겹쳐진 두 막대 모양의 끈 테이프(1020)가 바닥에 붙어 있다. 그리고, 사용자가 X자 모양의 끈 테이프(1020)를 마커로 사용하기 위하여 마커 지정 기능을 실행하면, HMD 디바이스의 화면에 창(1030)이 활성화되어 촬영된 X자 모양이 마커로 지정되도록 할 수 있다.
In the actual outer world, two rod-like string tapes 1020, which are overlapped with X characters, are attached to the floor. When the user executes the marker designation function to use the X-shaped string tape 1020 as a marker, the window 1030 is activated on the screen of the HMD device so that the photographed X-shape can be designated as a marker have.

도 11은 본 발명의 일 실시예에 따른 HMD 디바이스의 3차원 증강현실 화면의 제어를 설명하기 위한 도면이다.11 is a view for explaining control of a 3D enhanced real-time screen of an HMD device according to an embodiment of the present invention.

도 11을 참조하면, 좌안에 대응하는 화면(1110)에는 체스판(1130)과 마커(1131) 위에 증강된 3차원 오브젝트로서 표시되는 체스맨(1140, 1150)이 디스플레이 되고 있다. 11, chessmen 1140 and 1150 displayed as three-dimensional objects reinforced on a chessboard 1130 and a marker 1131 are displayed on a screen 1110 corresponding to the left eye.

회전 대칭성이 존재하는 체스판(1130) 한 쪽 변에 특정 색상을 갖는 마커(1131)를 위치시킴으로써, HMD 디바이스는 체스판(1130) 위에 수직으로 서 있는 체스맨(1140, 1150)을 입체 오브젝트로 디스플레이할 수 있다.By positioning the marker 1131 having a particular hue on one side of the chessboard 1130 with rotational symmetry, the HMD device can be used to position the chessman 1140, 1150 standing vertically on the chessboard 1130 as a three- Can be displayed.

사용자는 빛을 발광하는 웨어러블 디바이스(1120)를 이용하여 체스맨(1140)을 선택하고, 이동시킬 수 있다.
The user can select and move the chessman 1140 using the wearable device 1120 that emits light.

도 12는 본 발명의 다양한 실시예에 따른 웨어러블 디바이스의 형태를 설명하기 위한 도면이다.12 is a view for explaining a form of a wearable device according to various embodiments of the present invention.

도 12를 참조하면, 웨어러블 디바이스는 반지형(1210), 골무형(1220), 팔찌형(1230) 및 막대형(1240) 중 어느 하나가 될 수 있다.
12, the wearable device may be one of a ring shape 1210, a ring shape 1220, a bracelet shape 1230, and a bar shape 1240. [

도 13은 본 발명의 일 실시예에 따른 웨어러블 디바이스의 구조를 설명하기 위한 도면이다.13 is a diagram for explaining the structure of a wearable device according to an embodiment of the present invention.

도 13을 참조하면, 웨어러블 디바이스(1300)는 링형 부재(1310), 발광 소자(1320) 및 터치 어레이(1330, 1340)를 포함한다.13, the wearable device 1300 includes a ring-shaped member 1310, a light emitting element 1320, and touch arrays 1330 and 1340.

링형 부재(1310)는 사용자의 손가락에 낄 수 있는 크기의 토러스 형태를 가진다. 그리고, 발광 소자(1320)는 사용자가 웨어러블 디바이스(1300)를 착용한 상태에서 빛이 발광할 수 있도록, 링형 부재(1310)의 외주면의 일측에 구비될 수 있다. 터치 어레이(1330, 1340)는 링형 부재(1310)의 외주면 양 측에 구비될 수 있으며, 사용자가 웨어러블 디바이스(1300)를 착용한 상태에서 손가락으로 쉽게 터치할 수 있는 위치에 구비될 수 있다.
The ring-like member 1310 has a torus shape sized to fit on the user's fingers. The light emitting element 1320 may be provided on one side of the outer peripheral surface of the ring-shaped member 1310 so that light can be emitted when the user wears the wearable device 1300. The touch arrays 1330 and 1340 may be provided on both sides of the outer circumferential surface of the ring-like member 1310 and may be provided at a position where the user can easily touch the wearable device 1300 with his / her finger while wearing the wearable device 1300.

도 14는 본 발명의 다른 실시예에 따른 웨어러블 디바이스의 구조 및 HMD 디바이스의 제어 방식을 설명하기 위한 도면이다.FIG. 14 is a diagram for explaining a structure of a wearable device and a control method of an HMD device according to another embodiment of the present invention.

도 14를 참조하면, 웨어러블 디바이스(1410)는 반지형으로서, 두 개의 발광 소자(1411, 1412)를 구비한다. 그리고, HMD 디바이스의 좌안에 대응하는 화면(1420)에는 웨어러블 디바이스(1410)의 발광 소자(1411, 1412)로부터 기설정된 거리로 이격된 지점을 선택할 수 있는 지시자(1430)가 디스플레이된다.14, the wearable device 1410 is ring-shaped and has two light emitting elements 1411 and 1412. [ An indicator 1430 is displayed on the screen 1420 corresponding to the left eye of the HMD device so as to select a spot spaced from the light emitting elements 1411 and 1412 of the wearable device 1410 by a predetermined distance.

이러한, 기설정된 거리로 이격된 지시자(1430)를 이용하여, 손가락이 눈 앞을 가리지 않고, 실제 사물(1450)을 선택하거나, 화면(1420)에 디스플레이된 가상 오브젝트(1440)를 선택할 수 있다.
Such an indicator 1430 spaced by a predetermined distance can be used to select the actual object 1450 or to select the virtual object 1440 displayed on the screen 1420 without the fingers hitting the eyes.

도 15 내지 16은 본 발명의 다른 실시예에 따른 웨어러블 디바이스의 구조 및 HMD 디바이스의 제어 방식을 설명하기 위한 도면이다.15 to 16 are views for explaining a structure of a wearable device and a control method of an HMD device according to another embodiment of the present invention.

도 15를 참조하면, 막대형 웨어러블 디바이스(1510)에는 발광 소자(1520), 레이저원(1530) 및 터치 어레이(1540)가 포함된다. 그리고, 웨어러블 디바이스(1510)에서 방출된 레이저는 벽(1520)에 부딪혀 반사된 빔 스팟(beam spot, 1550)을 형성한다.15, the rod-shaped wearable device 1510 includes a light emitting element 1520, a laser source 1530, and a touch array 1540. Then, the laser emitted from the wearable device 1510 collides with the wall 1520 to form a reflected beam spot 1550.

도 16을 참조하면, HDM 디바이스의 좌안에 대응하는 화면(1610)에는 웨어러블 디바이스(1620)와 빔 스팟의 연장선상에 지시자(1640)가 디스플레이되고 있다.16, a wearable device 1620 and an indicator 1640 on an extension of a beam spot are displayed on a screen 1610 corresponding to the left eye of the HDM device.

지시자(1640)는 웨어러블 디바이스(1620)가 레이저를 방출하는 방향으로 웨어러블 디바이스(1620)로부터 기설정된 거리만큼 이격된 곳에 위치한다.The indicator 1640 is located at a predetermined distance from the wearable device 1620 in the direction in which the wearable device 1620 emits the laser.

그리고, 기설정된 거리는 웨어러블 디바이스(1620)의 터치 어레이(1540)를 터치하는 사용자 조작에 의하여, 웨어러블 디바이스(1620)와 빔 스팟의 연장선상을 따라 조절될 수 있다.
The predetermined distance may be adjusted along an extension line of the wearable device 1620 and the beam spot by a user operation that touches the touch array 1540 of the wearable device 1620. [

도 17은 본 발명의 일 실시예에 따른 HMD 디바이스의 제어 방법을 설명하기 위한 흐름도이다.17 is a flowchart illustrating a method of controlling an HMD device according to an embodiment of the present invention.

도 17을 참조하면, 먼저, HMD 디바이스는 빛과 마커를 촬영한 영상 데이터를 획득한다(S1710). 구체적으로, HMD 디바이스는 사용자가 투명한 접안식 디스플레이 장치에 디스플레이 되는 화면을 보는 시야각을 포함하는 화각을 갖는 복수의 촬영 장치를 이용하여, 웨어러블 디바이스에 구비된 광원에서 발광하는 빛과 고정된 위치에 놓인 기설정된 모양을 갖는 마커를 촬영한 영상을 획득할 수 있다.Referring to FIG. 17, the HMD device acquires image data of a light and a marker (S1710). Specifically, the HMD device uses a plurality of photographing apparatuses having a viewing angle including a viewing angle for viewing a screen displayed on a transparent stray-type display device by a user, so that the light emitted from the light source provided in the wearable device It is possible to acquire an image of a marker having a predetermined shape.

여기서, 마커는 회전 대칭성이 없는 패턴을 가질 수 있으며, 회전 대칭성이 없는 패턴은 기저장되어 있을 수 있다. 또한, 마커는 실제 사물을 촬영한 영상 데이터로부터 사용자의 마커 지정 명령에 따라 HMD 디바이스에 저장될 수 있다.Here, the marker may have a pattern without rotational symmetry, and a pattern without rotational symmetry may be stored beforehand. Further, the marker can be stored in the HMD device according to the user's marker designation command from the image data of the real object.

다음으로, 빛의 상대 위치를 계산하는 제1 연산을 수행한다(S1720). 구체적으로, 복수의 촬영 장치에서 확득한 적어도 둘 이상의 영상 데이터에 기초하여 HMD 디바이스에 대한 빛의 상대적인 위치를 계산하는 제1 연산을 수행할 수 있다.Next, a first calculation for calculating the relative position of light is performed (S1720). Specifically, it is possible to perform a first operation for calculating a relative position of light for the HMD device based on at least two pieces of image data acquired by a plurality of photographing apparatuses.

그리고, 보상값을 산출한다(S1730). 구체적으로, HDM 디바이스의 위치 및 자세에 따라 변경되는 마커에 대한 제1 연산 결과 및 변경된 마커의 모양으로부터 보상값을 산출할 수 있다. 여기서, 보상값은 기저장된 패턴과 대응하는 마커를 인식하여 산출될 수 있다.Then, the compensation value is calculated (S1730). Specifically, the compensation value can be calculated from the first calculation result of the marker changed according to the position and attitude of the HDM device and the shape of the changed marker. Here, the compensation value can be calculated by recognizing the marker corresponding to the previously stored pattern.

다음으로, 보상값을 이용하여 빛이 공간상에서 움직인 변위를 계산하는 제2 연산을 수행한다(S1740). 구체적으로, 변경된 마커의 모양으로부터 HMD 디바이스가 움직인 위치 및 각도로부터 초기 위치의 빛이 다르게 촬영될 것으로 예상되는 보상값을 반영한 위치와, 제1 연산 결과에 따른 현재 빛의 상대 위치를 비교하여 빛이 공간상에서 움직인 변위를 계산하는 제2 연산을 수행할 수 있다.Next, a second calculation is performed to calculate a displacement in which light travels in space using the compensation value (S1740). Specifically, from the position and angle of the HMD device moving from the shape of the changed marker, the relative position of the current light according to the first calculation result is compared with the position reflecting the compensation value, It is possible to perform a second operation for calculating a displacement moving in this space.

그리고, 제1 연산 또는 제2 연산에 따른 사용자 인터렉션 명령에 대응되는 기능을 수행한다(S1750). 여기서, 화면에 대하여 고정된 위치에 오브젝트가 디스플레이되는 일반 모드에서는 제1 연산에 따른 사용자 인터렉션 명령에 대응되는 기능을 수행하고, 마커의 위치를 기준으로 3차원 공간감을 일으키는 오브젝트가 디스플레이되는 증강현실 모드에서는 제2 연산에 따른 사용자 인터렉션 명령에 대응되는 기능이 수행될 수 있다.Then, a function corresponding to the user interaction instruction according to the first operation or the second operation is performed (S1750). Here, in a general mode in which an object is displayed at a fixed position with respect to a screen, a function corresponding to a user interaction command according to a first operation is performed, and an augmented reality mode The function corresponding to the user interaction instruction according to the second operation can be performed.

웨어러블 디바이스에 터치 어레이가 구비되어 사용자가 터치 어레이를 터치하는 명령이 수신되면, 디스플레이된 화면을 스크롤 또는 주밍하는 단계가 더 포함될 수 있다. 또는, 웨어러블 디바이스가 레이저를 방출하여 빔 스팟을 형성하는 경우, 사용자가 터치 어레이를 터치하는 명령에 따라 디스플레이된 지시자가 웨어러블 디바이스로부터 이격된 거리를 조절하는 단계를 더 포함할 수 있다.The wearable device may further include a step of scrolling or zooming the displayed screen when a touch array is provided in the wearable device and a command for touching the touch array is received by the user. Alternatively, when the wearable device emits a laser to form a beam spot, the displayed indication may adjust the distance from the wearable device according to an instruction that the user touches the touch array.

이상과 같은, 본 발명의 일 실시예에 따른 웨어러블 디바이스를 이용한 HMD 디바이스의 제어 방법은 빛을 발광하는 간단한 구성의 웨어러블 디바이스만으로 다양한 형태의 사용자 인터렉션 명령을 인식하여 디스플레이되는 화면을 제어하는 기능을 수행할 수 있다.The method of controlling the HMD device using the wearable device according to an embodiment of the present invention can recognize various types of user interaction commands using only a simple wearable device that emits light, can do.

또한, 상술한 바와 같은 HMD 디바이스 제어 방법은, 도 2 내지 도 4의 HMD 디바이스(200, 300)와 웨어러블 디바이스(400, 500)에 의해 구현될 수 있다.In addition, the HMD device control method as described above can be implemented by the HMD devices 200 and 300 and the wearable devices 400 and 500 shown in Figs. 2 to 4.

또한, 상술한 바와 같은 HMD 디바이스 제어 방법은, 상술한 바와 같은 제어 방법을 실행하기 위한 적어도 하나의 실행 프로그램으로 구현될 수 있으며, 이러한 실행 프로그램은 컴퓨터 판독 기록매체에 저장될 수 있다. Further, the HMD device control method as described above can be implemented as at least one executable program for executing the control method as described above, and the executable program can be stored in a computer readable recording medium.

예를 들어, 컴퓨터 판독가능한 기록매체는 롬(ROM), 램(RAM), 씨디-롬(CD-ROMs), 마그네틱 테이프, 플로피 디스크, 광디스크, 광 데이터 저장 디바이스 및 상기 저장 디바이스를 포함하는 텔레비전과 같은 영상디스플레이 장치 등이 될 수 있다. 또한, 컴퓨터 판독가능한 코드는 반송파의 컴퓨터 데이터 신호로 실시될 수 있다.For example, the computer-readable recording medium may be a ROM, a RAM, a CD-ROMs, a magnetic tape, a floppy disk, an optical disk, an optical data storage device, The same image display device or the like. In addition, the computer readable code may be embodied as a computer data signal of a carrier wave.

한편, 본 발명의 실시 예를 구성하는 모든 구성 요소들이 하나로 결합하거나 결합하여 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시 예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. While the present invention has been described in connection with what is presently considered to be the most practical and preferred embodiment, it is to be understood that the invention is not limited to the disclosed embodiments. That is, within the scope of the present invention, all of the components may be selectively coupled to one or more of them. In addition, although all of the components may be implemented as one independent hardware, some or all of the components may be selectively combined to perform a part or all of the functions in one or a plurality of hardware. As shown in FIG.

그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 비일시적 저장매체(non-transitory computer readable media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시 예를 구현할 수 있다. The codes and code segments constituting the computer program may be easily deduced by those skilled in the art. Such a computer program may be stored in a non-transitory computer readable medium readable by a computer, readable and executed by a computer, thereby implementing an embodiment of the present invention.

여기서 비일시적 판독 가능 기록매체란, 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라, 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로, 상술한 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리 카드, ROM 등과 같은 비일시적 판독가능 기록매체에 저장되어 제공될 수 있다.
Here, the non-transitory readable recording medium is not a medium for storing data for a short time such as a register, a cache, a memory, etc., but means a medium that semi-permanently stores data and can be read by a device. Specifically, the above-described programs can be stored in non-volatile readable recording media such as CD, DVD, hard disk, Blu-ray disk, USB, memory card, ROM, and the like.

이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.While the invention has been described in connection with what is presently considered to be practical exemplary embodiments, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the present invention.

100: HMD 디바이스 제어 시스템 200: HMD 디바이스
210: 디스플레이부 220: 촬영부
230: 프로세서 400: 웨어러블 디바이스
410: 발광 소자 420: 제어부100: HMD device control system 200: HMD device
210: display unit 220:
230: processor 400: wearable device
410: light emitting element 420:

Claims (18)

HMD(Head Mounted Display) 디바이스에 있어서,
화면을 디스플레이하는 투명한 접안식 디스플레이부;
사용자가 상기 화면을 보는 시야를 포함하는 전방에서, 웨어러블 디바이스에 구비된 발광 소자에서 발광하는 빛을 촬영한 영상 데이터를 획득하는 복수의 촬영 장치를 포함하는 촬영부; 및
서로 상이한 상기 촬영 장치에서 획득한 적어도 둘 이상의 영상 데이터에 기초하여 촬영 대상의 상기 HMD 디바이스에 대한 상대적 위치를 계산하는 제1 연산을 수행하고,
상기 빛의 위치를 계산한 제1 연산 결과에 따른 사용자 인터렉션 명령을 감지하고,
상기 감지된 사용자 인터렉션 명령에 대응하는 화면을 디스플레이하도록 상기 디스플레이부를 제어하는 프로세서;를 포함하는 HMD 디바이스.An HMD (Head Mounted Display) device,
A transparent straddle display unit for displaying a screen;
A photographing unit including a plurality of photographing apparatuses for acquiring image data of light emitted from a light emitting device provided in a wearable device in front of a user including a view of the screen; And
Performing a first calculation to calculate a relative position of the subject to be photographed with respect to the HMD device based on at least two or more image data obtained by the photographing device,
Detecting a user interaction instruction according to a first calculation result of calculating the position of the light,
And a processor for controlling the display unit to display a screen corresponding to the detected user interaction command. 제1항에 있어서,
상기 촬영부는,
상기 빛과 함께 고정된 위치에 놓인 기설정된 모양을 갖는 마커를 촬영한 영상 데이터를 획득하고,
상기 프로세서는,
상기 제1 연산에 따른 상기 빛의 위치 및 상기 마커의 위치를 계산하고,
상기 HMD 디바이스의 위치 및 자세에 따라 상기 마커의 변경되는 제1 연산 결과 및 상기 마커의 변경되는 촬영 모양으로부터 산출된 보상값을 이용하여, 변경되는 촬영 대상의 제1 연산 결과로부터 상기 촬영 대상이 공간상에서 움직인 변위를 계산하는 제2 연산을 수행하고,
상기 빛의 변위를 계산한 제2 연산 결과에 따른 사용자 인터렉션 명령을 감지하는 것을 특징으로 하는 HMD 디바이스.The method according to claim 1,
Wherein,
Acquiring image data of a marker having a predetermined shape placed at a fixed position together with the light,
The processor comprising:
Calculating a position of the light and a position of the marker according to the first calculation,
From the first computation result of the imaging subject to be changed, using the first computation result of the marker changed according to the position and the posture of the HMD device and the compensation value calculated from the imaging form of the marker that is changed, A second operation for calculating a displacement that has been performed on the first substrate,
And detects a user interaction instruction according to a second calculation result of calculating the displacement of the light. 제2항에 있어서,
회전 대칭성이 없는 모양을 갖는 적어도 하나의 패턴을 기저장하는 저장부;를 더 포함하고,
상기 프로세서는,
상기 저장부에 기저장된 패턴에 대응하는 마커를 인식하여 상기 보상값을 산출하는 것을 특징으로 하는 HMD 디바이스.3. The method of claim 2,
And a storage unit for storing at least one pattern having a shape without rotational symmetry,
The processor comprising:
Wherein the HMD device recognizes a marker corresponding to a pattern previously stored in the storage unit and calculates the compensation value. 제3항에 있어서,
상기 프로세서는,
상기 마커를 지정하는 명령을 수신하면, 전방을 촬영한 상기 영상 데이터에서 상기 지정된 마커에 대응되는 모양을 상기 저장부에 저장하도록 제어하는 것을 특징으로 하는 HMD 디바이스.The method of claim 3,
The processor comprising:
And controls to store, in the storage unit, a shape corresponding to the designated marker in the image data captured in the forward direction upon receipt of an instruction to designate the marker. 제2항에 있어서,
상기 프로세서는,
상기 화면에 고정된 오브젝트를 디스플레이하는 일반 모드에서는 상기 제1 연산에 따른 사용자 인터렉션 명령에 대응되는 기능을 수행하고,
3차원 공간감을 일으키는 오브젝트를 상기 마커의 상대적인 위치에 디스플레이하는 증강현실 모드에서는 상기 제2 연산에 따른 사용자 인터렉션 명령에 대응되는 기능을 수행하는 것을 특징으로 하는 HMD 디바이스.3. The method of claim 2,
The processor comprising:
In a general mode for displaying an object fixed on the screen, performs a function corresponding to a user interaction command according to the first operation,
Wherein the controller performs a function corresponding to a user interaction command according to the second operation in an augmented reality mode in which an object causing a three-dimensional spatial sensation is displayed at a relative position of the marker. 제1항에 있어서,
상기 촬영부는,
상기 웨어러블 디바이스에 구비된 복수의 발광 소자에서 발광하는 빛을 촬영한 영상 데이터를 획득하고,
상기 프로세서는,
상기 복수의 발광 소자 중 어느 하나로부터 상기 복수의 광원이 배열된 방향으로 기설정된 길이만큼 이격된 가상의 지점을 지시할 수 있는 지시자를 제공하는 기능을 수행하는 것을 특징으로 하는 HMD 디바이스.The method according to claim 1,
Wherein,
Acquiring image data of light emitted from a plurality of light emitting devices provided in the wearable device,
The processor comprising:
Wherein the HMD device performs the function of providing an indicator capable of indicating an imaginary point spaced by a predetermined length in a direction in which the plurality of light sources are arranged from any one of the plurality of light emitting elements. 제1항에 있어서,
상기 웨어러블 디바이스와 통신을 수행하는 통신 인터페이스부;를 더 포함하고,
상기 프로세서는,
상기 통신 인터페이스부를 통해 상기 웨어러블 디바이스에 구비된 터치 어레이를 터치하는 명령을 수신하면 상기 디스플레이된 화면을 스크롤 또는 주밍(zooming)하는 기능을 수행하는 것을 특징으로 하는 HMD 디바이스.The method according to claim 1,
And a communication interface unit for performing communication with the wearable device,
The processor comprising:
Wherein the controller performs a function of scrolling or zooming the displayed screen upon receiving a command to touch a touch array provided in the wearable device through the communication interface unit. 제1항에 있어서,
상기 촬영부는,
상기 웨어러블 디바이스에 구비된 발광 소자에서 발광하는 빛과 상기 웨어러블 디바이스에서 방출된 레이저가 물체에 부딪혀 반사된 빔 스팟(beam spot)을 촬영한 영상 데이터를 획득하고,
상기 프로세서는,
상기 제1 연산에 따른 상기 빛의 위치와 상기 빔 스팟의 위치를 연장하는 선상에 위치한 가상 오브젝트와 인터렉션하는 기능을 수행하는 것을 특징으로 하는 HMD 디바이스.The method according to claim 1,
Wherein,
Acquiring image data obtained by photographing a light beam emitted from a light emitting element provided in the wearable device and a beam spot reflected by a laser emitted from the wearable device against an object,
The processor comprising:
And performs a function of interacting with a virtual object located on a line extending the position of the light and the position of the beam spot according to the first operation. 제8항에 있어서,
상기 웨어러블 디바이스와 통신을 수행하는 통신 인터페이스부;를 더 포함하고,
상기 프로세서는,
상기 통신 인터페이스부를 통해 상기 웨어러블 디바이스에 구비된 터치 어레이를 터치하는 명령을 수신하면, 상기 발광 소자로부터 상기 가상 오브젝트를 지시하기 위한 지시자의 길이를 제어하는 것을 특징으로 하는 HMD 디바이스.9. The method of claim 8,
And a communication interface unit for performing communication with the wearable device,
The processor comprising:
And controls the length of an indicator for indicating the virtual object from the light emitting element when receiving an instruction to touch the touch array provided on the wearable device through the communication interface unit. 웨어러블 디바이스를 이용하여 HMD(Head Mounted Display) 디바이스의 투명한 접안식 디스플레이 장치에 디스플레이되는 화면을 제어하는 HMD 디바이스 제어 방법에 있어서,
사용자가 상기 화면을 보는 시야를 포함하는 전방을 촬영하는 복수의 촬영 장치를 이용하여, 상기 웨어러블 디바이스에 구비된 발광 소자에서 발광하는 빛을 촬영한 영상 데이터를 획득하는 단계;
상기 복수의 촬영 장치에서 획득한 적어도 둘 이상의 영상 데이터에 기초하여 촬영 대상의 상기 HMD 디바이스에 대한 상대적인 위치를 계산하는 제1 연산에 따라 상기 빛의 위치를 계산하는 단계;
상기 빛의 위치를 계산한 제1 연산 결과에 따른 사용자 인터렉션 명령을 감지하는 단계; 및
상기 감지된 사용자 인터렉션 명령에 대응하는 화면을 디스플레이하는 단계;를 포함하는 HMD 디바이스 제어 방법.An HMD device control method for controlling a screen to be displayed on a transparent edge display device of an HMD (Head Mounted Display) device using a wearable device,
Obtaining image data of light emitted from a light emitting device provided in the wearable device by using a plurality of photographing devices for photographing a front side including a view of a user viewing the screen;
Calculating a position of the light according to a first calculation for calculating a relative position with respect to the HMD device of an object to be imaged based on at least two or more image data acquired by the plurality of imaging devices;
Detecting a user interaction instruction according to a first calculation result of calculating the position of the light; And
And displaying a screen corresponding to the sensed user interaction command. 제10항에 있어서,
상기 영상 데이터를 획득하는 단계는,
상기 빛과 함께 고정된 위치에 놓인 기설정된 모양을 갖는 마커를 촬영한 영상 데이터를 획득하고,
상기 HMD 디바이스 제어 방법은,
상기 제1 연산에 따른 상기 마커의 위치를 계산하는 단계;
상기 HMD 디바이스의 위치 및 자세에 따라 상기 마커의 변경되는 제1 연산 결과 및 상기 마커의 변경되는 촬영 모양으로부터 산출된 보상값을 이용하여, 변경되는 상기 빛의 제1 연산 결과로부터 상기 촬영 대상이 공간상에서 움직인 변위를 계산하는 제2 연산에 따라 상기 빛의 변위를 계산하는 단계; 및
상기 빛의 변위를 계산한 제2 연산 결과에 따른 사용자 인터렉션 명령을 감지하는 단계;를 더 포함하는 것을 특징으로 하는 HMD 디바이스 제어 방법.11. The method of claim 10,
Wherein the step of acquiring the image data comprises:
Acquiring image data of a marker having a predetermined shape placed at a fixed position together with the light,
The HMD device control method includes:
Calculating a position of the marker according to the first operation;
From the first computation result of the changed light, using the first computation result changed from the marker according to the position and the posture of the HMD device and the compensation value calculated from the changed imaging form of the marker, Calculating a displacement of the light in accordance with a second calculation to calculate a displacement that has moved on the object; And
And detecting a user interaction instruction according to a second calculation result of calculating the light displacement. 제11항에 있어서,
회전 대칭성이 없는 모양을 갖는 적어도 하나의 패턴을 기저장하는 단계;를 더 포함하고,
상기 보상값을 산출하는 단계는,
상기 기저장된 패턴에 대응하는 마커를 인식하여 상기 보상값을 산출하는 것을 특징으로 하는 HMD 디바이스 제어 방법.12. The method of claim 11,
Storing the at least one pattern having a shape without rotational symmetry,
The step of calculating the compensation value includes:
Recognizing a marker corresponding to the pre-stored pattern, and calculating the compensation value. 제12항에 있어서,
상기 마커를 지정하는 명령을 수신하는 단계; 및
전방을 촬영한 상기 영상 데이터에서 상기 지정된 마커에 대응되는 모양을 저장하는 단계;를 더 포함하는 것을 특징으로 하는 HMD 디바이스 제어 방법.13. The method of claim 12,
Receiving an instruction specifying the marker; And
And storing a shape corresponding to the designated marker in the image data captured in front of the HMD device. 제11항에 있어서,
상기 사용자 인터렉션 명령에 대응되는 기능을 수행하는 단계는,
상기 화면에 고정된 오브젝트를 디스플레이하는 일반 모드에서는 상기 제1 연산에 따른 사용자 인터렉션 명령에 대응되는 기능을 수행하고,
3차원 공간감을 일으키는 오브젝트를 상기 마커의 상대적인 위치에 디스플레이하는 증강현실 모드에서는 상기 제2 연산에 따른 사용자 인터렉션 명령에 대응되는 기능을 수행하는 것을 특징으로 하는 HMD 디바이스 제어 방법.12. The method of claim 11,
Wherein performing the function corresponding to the user interaction instruction comprises:
In a general mode for displaying an object fixed on the screen, performs a function corresponding to a user interaction command according to the first operation,
And a function corresponding to a user interaction command according to the second operation is performed in an augmented reality mode in which an object causing a three-dimensional spatial sensation is displayed at a relative position of the marker. 제10항에 있어서,
상기 영상 데이터를 획득하는 단계는,
상기 웨어러블 디바이스에 구비된 복수의 발광 소자에서 발광하는 빛을 촬영한 영상 데이터를 획득하고,
상기 HMD 디바이스 제어 방법은,
상기 복수의 발광 소자 중 어느 하나로부터 상기 복수의 발광 소자가 배열된 방향으로 기설정된 길이만큼 이격된 가상의 지점을 지시할 수 있는 지시자를 제공하는 단계;를 더 포함하는 것을 특징으로 하는 HMD 디바이스 제어 방법.11. The method of claim 10,
Wherein the step of acquiring the image data comprises:
Acquiring image data of light emitted from a plurality of light emitting devices provided in the wearable device,
The HMD device control method includes:
Providing an indicator capable of indicating an imaginary point spaced by a predetermined length in a direction in which the plurality of light emitting elements are arranged from any one of the plurality of light emitting elements Way. 제10항에 있어서,
상기 웨어러블 디바이스에 구비된 터치 어레이를 터치하는 명령을 수신하는 단계; 및
상기 터치 명령에 따라 상기 디스플레이된 화면을 스크롤 또는 주밍(zooming)하는 단계;를 더 포함하는 것을 특징으로 하는 HMD 디바이스 제어 방법.11. The method of claim 10,
Receiving an instruction to touch a touch array provided in the wearable device; And
Further comprising: scrolling or zooming the displayed screen according to the touch command. 제10항에 있어서,
상기 영상 데이터를 획득하는 단계는,
상기 웨어러블 디바이스에 구비된 발광 소자에서 발광하는 빛과 상기 웨어러블 디바이스에서 방출된 레이저가 물체에 부딪혀 반사된 빔 스팟(beam spot)을 촬영한 영상 데이터를 획득하고,
상기 사용자 인터렉션 명령에 대응되는 기능을 수행하는 단계는,
상기 제1 연산에 따른 상기 빛의 위치와 상기 빔 스팟의 위치를 연장하는 선상에 위치한 가상 오브젝트와 인터렉션하는 기능을 수행하는 것을 특징으로 하는 HMD 디바이스 제어 방법.11. The method of claim 10,
Wherein the step of acquiring the image data comprises:
Acquiring image data obtained by photographing a light beam emitted from a light emitting element provided in the wearable device and a beam spot reflected by a laser emitted from the wearable device against an object,
Wherein performing the function corresponding to the user interaction instruction comprises:
And performing a function of interacting with a virtual object positioned on a line extending the position of the light and the position of the beam spot according to the first operation. 제17항에 있어서,
상기 웨어러블 디바이스에 구비된 터치 어레이를 터치하는 명령을 수신하는 단계; 및
상기 터치 명령에 따라 상기 발광 소자로부터 상기 가상 오브젝트를 지시하기 위한 지시자의 길이를 제어하는 단계;를 더 포함하는 것을 특징으로 하는 HMD 디바이스 제어 방법.18. The method of claim 17,
Receiving an instruction to touch a touch array provided in the wearable device; And
And controlling the length of an indicator for indicating the virtual object from the light emitting device according to the touch command.
KR1020140170842A 2014-12-02 2014-12-02 Head mounted display device and control method thereof KR101651535B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140170842A KR101651535B1 (en) 2014-12-02 2014-12-02 Head mounted display device and control method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140170842A KR101651535B1 (en) 2014-12-02 2014-12-02 Head mounted display device and control method thereof

Publications (2)

Publication Number Publication Date
KR20160066451A true KR20160066451A (en) 2016-06-10
KR101651535B1 KR101651535B1 (en) 2016-09-05

Family

ID=56190756

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140170842A KR101651535B1 (en) 2014-12-02 2014-12-02 Head mounted display device and control method thereof

Country Status (1)

Country Link
KR (1) KR101651535B1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110494792A (en) * 2018-03-07 2019-11-22 奇跃公司 The vision of peripheral equipment tracks
KR102152761B1 (en) * 2019-12-31 2020-09-07 주식회사 카이토리 System for providing html5 web enviroment based virtual reality and augmented reality interaction contents service
CN111989643A (en) * 2018-04-19 2020-11-24 惠普发展公司，有限责任合伙企业 Input from a touch-surface device to a virtual reality device

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014093703A (en) * 2012-11-06 2014-05-19 Sony Computer Entertainment Inc Head mount display, movement detection device, movement detection method and video presentation system
JP2014142751A (en) * 2013-01-23 2014-08-07 Seiko Epson Corp Display device, head-mounted type display device, and method for controlling display device
KR20140136943A (en) * 2012-03-29 2014-12-01 소니 주식회사 Information processing apparatus, information processing system, and information processing method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140136943A (en) * 2012-03-29 2014-12-01 소니 주식회사 Information processing apparatus, information processing system, and information processing method
JP2014093703A (en) * 2012-11-06 2014-05-19 Sony Computer Entertainment Inc Head mount display, movement detection device, movement detection method and video presentation system
JP2014142751A (en) * 2013-01-23 2014-08-07 Seiko Epson Corp Display device, head-mounted type display device, and method for controlling display device

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110494792A (en) * 2018-03-07 2019-11-22 奇跃公司 The vision of peripheral equipment tracks
KR20200067959A (en) * 2018-03-07 2020-06-12 매직 립, 인코포레이티드 Visual tracking of peripheral devices
CN110494792B (en) * 2018-03-07 2021-07-09 奇跃公司 Visual tracking of peripheral devices
US11181974B2 (en) 2018-03-07 2021-11-23 Magic Leap, Inc. Visual tracking of peripheral devices
US11625090B2 (en) 2018-03-07 2023-04-11 Magic Leap, Inc. Visual tracking of peripheral devices
CN111989643A (en) * 2018-04-19 2020-11-24 惠普发展公司，有限责任合伙企业 Input from a touch-surface device to a virtual reality device
KR102152761B1 (en) * 2019-12-31 2020-09-07 주식회사 카이토리 System for providing html5 web enviroment based virtual reality and augmented reality interaction contents service

Also Published As

Publication number Publication date
KR101651535B1 (en) 2016-09-05

Similar Documents

Publication Publication Date Title
US10818092B2 (en) Robust optical disambiguation and tracking of two or more hand-held controllers with passive optical and inertial tracking
EP3469457B1 (en) Modular extension of inertial controller for six dof mixed reality input
EP2834723B1 (en) Touch sensitive user interface
TWI722280B (en) Controller tracking for multiple degrees of freedom
US8971565B2 (en) Human interface electronic device
US20150205351A1 (en) External user interface for head worn computing
US20160025979A1 (en) External user interface for head worn computing
US20170017323A1 (en) External user interface for head worn computing
KR20150093831A (en) Direct interaction system for mixed reality environments
US10474226B2 (en) Head-mounted display device, computer program, and control method for head-mounted display device
WO2017213940A1 (en) Passive optical and inertial tracking in slim form-factor
KR20210010437A (en) Power management for optical positioning devices
CN105103198A (en) Display control device, display control method and program
US10261327B2 (en) Head mounted display and control method for head mounted display
JP2018151851A (en) Transmissive type display device, display control method, and computer program
US10867454B2 (en) Information processing apparatus and method to control operations in virtual space
JP2019128693A (en) Head-mounted display, and method for controlling head-mounted display
KR101651535B1 (en) Head mounted display device and control method thereof
JP6996115B2 (en) Head-mounted display device, program, and control method of head-mounted display device
US20180260068A1 (en) Input device, input control method, and computer program
JP6932917B2 (en) Head-mounted display, program, and head-mounted display control method
US20210302587A1 (en) Power-efficient hand tracking with time-of-flight sensor
JP6740613B2 (en) Display device, display device control method, and program
JP6631299B2 (en) DISPLAY DEVICE, DISPLAY DEVICE CONTROL METHOD, AND PROGRAM
CN113196212A (en) Mobile platform as a physical interface for interaction

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190725

Year of fee payment: 4