KR20150110257A - Method and wearable device for providing a virtual input interface - Google Patents

Method and wearable device for providing a virtual input interface Download PDF

Info

Publication number
KR20150110257A
KR20150110257A KR20140098653A KR20140098653A KR20150110257A KR 20150110257 A KR20150110257 A KR 20150110257A KR 20140098653 A KR20140098653 A KR 20140098653A KR 20140098653 A KR20140098653 A KR 20140098653A KR 20150110257 A KR20150110257 A KR 20150110257A
Authority
KR
Grant status
Application
Patent type
Prior art keywords
method
wearable
device
providing
virtual
Prior art date
Application number
KR20140098653A
Other languages
Korean (ko)
Inventor
윤인국
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]

Abstract

허공 또는 실제 객체 위에 입력 영역을 설정하는 모션을 인식하는 이미지 센서, 상기 인식된 모션에 기초하여, 상기 입력 영역을 설정하고, 상기 설정된 입력 영역의 속성에 기초하여, 디스플레이부에 표시할 가상의 입력 인터페이스를 결정하며, 상기 결정된 가상의 입력 인터페이스가 웨어러블 디바이스의 사용자에 의해 상기 설정된 입력 영역 상에 오버랩(overlap)되어 보여지도록 상기 결정된 가상의 입력 인터페이스를 상기 디스플레이부에 표시하는 제어부 및 상기 웨어러블 디바이스로부터 상기 입력 영역까지의 제1 깊이 값과, 상기 웨어러블 디바이스로부터 상기 가상의 입력 인터페이스를 터치하는 입력 도구까지의 제2 깊이 값을 획득하는 깊이 센서를 포함하고, 상기 제어부는, 상기 제1 깊이 값과 상기 제2 깊이 값을 비교한 결과에 따라, 상기 The air or on the basis of the actual object to set the input area on the recognized motion image sensor, and the recognition that the motion, setting the input area, and based on the attributes of the established input region, the virtual input of the display on the display unit determining the interface, from the controller, and the wearable device for the determined virtual input interface displays the virtual input interface determined above to be presented overlaps (overlap) on the predetermined input area by the user of the wearable device on the display unit the first depth value and, from the wearable device comprises a depth sensor to obtain a second depth value up to the insertion tool to touch the input interface of the virtual, the control unit to the input region, and wherein the first depth value, the claim in accordance with the result of comparing the second depth value, 상의 입력 인터페이스를 통한 입력 발생 여부를 결정할 수 있는 웨어러블 디바이스를 개시한다. It discloses a wearable device that can determine whether the input is from the input through the interface.

Description

웨어러블 디바이스에서 가상의 입력 인터페이스를 제공하는 방법 및 이를 위한 웨어러블 디바이스 {METHOD AND WEARABLE DEVICE FOR PROVIDING A VIRTUAL INPUT INTERFACE} A method of providing a virtual input interface in wearable devices and wearable devices therefor {METHOD AND WEARABLE DEVICE FOR PROVIDING A VIRTUAL INPUT INTERFACE}

본 발명의 다양한 실시예는 웨어러블 디바이스에서 가상의 입력 인터페이스를 제공하는 방법 및 이를 위한 웨어러블 디바이스에 관한 것이다. Various embodiments of the present invention relates to a method of providing a virtual interface of the input from the wearable device and wearable devices therefor.

우리가 살아가는 현실 공간은 3차원 좌표로 구성된다. The physical space in which we live is composed of three-dimensional coordinates. 사람은 양쪽 눈으로 보이는 시각정보를 결합하여 입체감 있는 3차원 공간을 인식한다. Person recognizes the three-dimensional space in a three-dimensional a combination of the time information shown by each eye. 하지만, 일반적인 디지털 기기로 촬영한 사진이나 동영상은 3차원 좌표로 2차원 좌표로 표현하는 기술이어서, 공간에 대한 정보는 포함하지 않는다. However, then a general technique for a photo or video taken with a digital device is represented by two-dimensional coordinates into three-dimensional coordinates, and does not include information on the area. 이러한 공간감을 표현하기 위해 2대의 카메라를 함께 사용하여 입체감 있는 영상들을 촬영하고 보여주는 3D 카메라 또는 디스플레이 제품들이 등장하고 있다. To express this sense of space and shoot the three-dimensional images that use two cameras with 3D camera and display products, or have emerged showing.

한편, 현재의 스마트 글래스의 입력 방식은 제한적이다. On the other hand, the current input method of smart glass is limited. 사용자는 기본적으로 음성 명령어를 이용하여 스마트 글래스를 제어한다. By default, the user controls the smart glass using a voice command. 하지만, 사용자가 텍스트 입력이 필요한 상황에서 음성 명령어만으로 스마트 글래스를 제어하기는 어렵다. However, the user and is difficult to control the smart glass only by voice command in a situation that requires text entry. 따라서, 다양한 입력 인터랙션 방식을 제공하는 웨어러블 시스템이 필요하다. Therefore, there is a need for a wearable system for providing interaction with a variety of input methods.

본 발명의 다양한 실시예들은, 사용자 모션에 기초하여, 허공 또는 실제 객체 위에 입력 영역을 설정하고, 설정된 입력 영역에 가상의 입력 인터페이스를 제공하는 방법 및 이를 위한 웨어러블 디바이스를 제공할 수 있다. Various embodiments of the invention, based on the user motion, it is possible to provide a thin air or how to set the input area on the physical object, and providing a virtual interface to the set input of the input area and the wearable device therefor.

본 발명의 일 실시예에 따른 웨어러블 디바이스는, 허공 또는 실제 객체 위에 입력 영역을 설정하는 모션을 인식하는 이미지 센서, 상기 인식된 모션에 기초하여, 상기 입력 영역을 설정하고, 상기 설정된 입력 영역의 속성에 기초하여, 디스플레이부에 표시할 가상의 입력 인터페이스를 결정하며, 상기 결정된 가상의 입력 인터페이스가 웨어러블 디바이스의 사용자에 의해 상기 설정된 입력 영역 상에 오버랩(overlap)되어 보여지도록 상기 결정된 가상의 입력 인터페이스를 상기 디스플레이부에 표시하는 제어부 및 상기 웨어러블 디바이스로부터 상기 입력 영역까지의 제1 깊이 값과, 상기 웨어러블 디바이스로부터 상기 가상의 입력 인터페이스를 터치하는 입력 도구까지의 제2 깊이 값을 획득하는 깊이 센서를 포함하고, 상기 제어부는, 상기 제1 깊이 Wearable device in accordance with one embodiment of the invention, the air or on the basis of the image sensor, the recognized motion of recognizing the motion for setting an input area on a real object, and set said input area, and the properties of the established input region on the basis of, determining a virtual input interface to be displayed on the display unit, the determined virtual input interface overlaps the image input area is set the by the user of the wearable device (overlap) is a virtual input interfaces such that the determined show It includes a depth sensor to obtain a second depth value of the first depth value from the controller, and the wearable device that displays on the display unit to the input area, from the wearable device to the insertion tool to touch the input interface of the virtual and, wherein, the first depth 과 상기 제2 깊이 값을 비교한 결과에 따라, 상기 가상의 입력 인터페이스를 통한 입력 발생 여부를 결정할 수 있다. And wherein depending on the result of comparing the two depth values, one can determine whether or not input through the input interface of the virtual generated.

본 발명의 일 실시예에 따른 이미지 센서는, 상기 허공 또는 실제 객체 위에 상기 입력 도구를 이용하여, 도형을 그리는 모션을 인식하고, 상기 제어부는, 상기 도형에 대응하는 영역을 상기 입력 영역으로 설정할 수 있다. Image sensor according to one embodiment of the present invention, by using the air or the insertion tool on the actual object, and recognizing the motion to draw a geometry, wherein the control unit can set the region corresponding to the shapes in the input area, have.

본 발명의 일 실시예에 따른 제어부는, 상기 설정된 입력 영역의 제1 깊이 값의 크기에 기초하여, 상기 디스플레이부에 표시할 가상의 입력 인터페이스를 결정할 수 있다. Controller according to an embodiment of the present invention, based on the magnitude of the first depth value of the set input area, it is possible to determine the virtual input interface displayed on the display unit.

본 발명의 일 실시예에 따른 제어부는, 상기 설정된 입력 영역의 크기에 기초하여, 상기 디스플레이부에 표시할 가상의 입력 인터페이스를 결정할 수 있다. Controller according to an embodiment of the present invention, based on the magnitude of the input area is set, it is possible to determine the virtual input interface displayed on the display unit.

본 발명의 일 실시예에 따른 제어부는, 상기 입력 영역이 상기 실제 객체 위에 설정된 경우, 상기 입력 영역이 설정된 실제 객체의 종류에 기초하여, 상기 디스플레이부에 표시할 가상의 입력 인터페이스를 결정할 수 있다. Controller according to an embodiment of the present invention, when the input area is set on the physical object, based on the type of physical object, the input area is set, it is possible to determine the virtual input interface to be displayed on the display unit.

본 발명의 일 실시예에 따른 제어부는, 상기 웨어러블 디바이스에서 실행 중인 어플리케이션의 종류에 따라 상기 디스플레이부에 표시할 가상의 입력 인터페이스를 결정할 수 있다. Controller according to an embodiment of the present invention can, depending on the type of application running on the wearable device, determining a virtual input interface to be displayed on the display unit.

본 발명의 일 실시예에 따른 제어부는, 투명 디스플레이를 투과하여 관측되는 상기 입력 영역에 상기 가상의 입력 인터페이스가 오버랩되도록 상기 투명 디스플레이에 상기 가상의 입력 인터페이스를 표시할 수 있다. Controller according to an embodiment of the present invention can be such that the input interface of the virtual overlap with the input area is observed to pass through the transparent display to display the input interface of the virtual to the transparent display.

본 발명의 일 실시예에 따른 이미지 센서는, 상기 입력 영역을 포함하는 제1 이미지를 촬영하고, 상기 제어부는, 상기 제1 이미지에 포함된 상기 입력 영역에 상기 가상의 입력 인터페이스가 오버랩된 제2 이미지를 생성하고, 상기 제2 이미지를 상기 디스플레이부에 표시할 수 있다. Image sensor according to one embodiment of the present invention, recording a first image including the input area, and the control unit, the to the input region contained in the first image input interface of the virtual overlap the second generating an image, and may display the second image on the display unit.

본 발명의 일 실시예에 따른 제어부는, 상기 제1 깊이 값과 상기 제2 깊이 값의 차이가 임계값 미만인 경우, 상기 가상의 입력 인터페이스를 통한 입력이 발생한 것으로 결정할 수 있다. Controller according to an embodiment of the present invention, when the first depth value and the second difference between the depth value is less than the threshold value, may determine that the input via the virtual input of the interface occurs.

본 발명의 일 실시예에 따른 제어부는, 상기 제1 깊이 값보다 상기 제2 깊이 값이 큰 경우, 상기 가상의 입력 인터페이스를 통한 입력이 발생한 것으로 결정할 수 있다. Controller according to an embodiment of the present invention, if the first and the second depth value is greater than the first depth value, may determine that the input via the virtual input of the interface occurs.

본 발명의 일 실시예에 따른 웨어러블 디바이스에서 가상의 입력 인터페이스를 제공하는 방법은, 허공 또는 실제 객체 위에 입력 영역을 설정하는 단계, 상기 설정된 입력 영역의 속성에 기초하여, 디스플레이부에 표시할 가상의 입력 인터페이스를 결정하는 단계, 상기 결정된 가상의 입력 인터페이스가 상기 설정된 입력 영역에 오버랩(overlap)되어 보여지도록 상기 결정된 가상의 입력 인터페이스를 상기 디스플레이부에 표시하는 단계, 상기 웨어러블 디바이스로부터 상기 입력 영역까지의 제1 깊이 값과 상기 웨어러블 디바이스로부터 상기 가상의 입력 인터페이스를 터치하는 입력 도구까지의 제2 깊이 값을 획득하는 단계 및 상기 제1 깊이 값과 상기 제2 깊이 값을 비교한 결과에 따라, 상기 가상의 입력 인터페이스를 통한 입력 발생 여부를 결정하 A method of providing a virtual input interface in the wearable device in accordance with one embodiment of the present invention is based on the step of the air or set the input area on the physical object, the attribute of the predetermined input area of ​​the virtual display to the display unit determining the input interface, the step of displaying the determined virtual input of the input interface, wherein the overlap (overlap) at the set input region so that the determined fictitious show interface on the display unit, from the wearable device to said input region according to the result of comparing the first step for obtaining a second depth value and the first depth value with the second depth values ​​from the insertion tool to touch the input interface of the virtual from the first depth value and the wearable device, the virtual determining whether the input generated through the input interface, 단계를 포함할 수 있다. It can include.

본 발명의 일 실시예에 따른 입력 영역을 설정하는 단계는, 기 허공 또는 실제 객체 위에 상기 입력 도구를 이용하여, 도형을 그리는 모션을 인식하는 단계 및 기 도형에 대응하는 영역을 상기 입력 영역으로 설정하는 단계를 포함한다. Step of setting an input area according to an embodiment of the present invention using, group the air or the insertion tool on the actual object, set the area corresponding to the stage and the group shape recognizing the motion to draw shapes in the input area, and a step of.

본 발명의 일 실시예에 따른 상의 입력 인터페이스를 결정하는 단계는, 기 설정된 입력 영역의 제1 깊이 값의 크기에 기초하여, 가상의 입력 인터페이스를 결정하는 단계일 수 있다. Determining an input interface on in accordance with an embodiment of the present invention, groups based on the magnitude of the first depth value is set in the input area, may be a step of determining a virtual input interfaces.

본 발명의 일 실시예에 따른 가상의 입력 인터페이스를 결정하는 단계는, 기 설정된 입력 영역의 크기에 기초하여, 가상의 입력 인터페이스를 결정하는 단계일 수 있다. Determining a virtual input interface according to an embodiment of the present invention is based on the basis of the size of the input area is set, it can be determining a type of the virtual interface.

본 발명의 일 실시예에 따른 가상의 입력 인터페이스를 결정하는 단계는, 입력 영역이 상기 실제 객체 위에 설정된 경우, 상기 입력 영역이 설정된 실제 객체의 종류에 기초하여, 가상의 입력 인터페이스를 결정하는 단계일 수 있다. Determining a virtual input interface according to an embodiment of the present invention, when the input area is set on the physical object, the method comprising: based on the type of physical object, the input area is set, determining virtual input interface days can.

본 발명의 일 실시예에 따른 가상의 입력 인터페이스를 결정하는 단계는, 상기 웨어러블 디바이스에서 실행 중인 어플리케이션의 종류에 따라 상기 가상의 입력 인터페이스를 결정하는 단계를 포함할 수 있다. Determining a virtual input interface according to an embodiment of the present invention, depending on the type of application running on the wearable device can include determining a type of the virtual interface.

본 발명의 일 실시예에 따른 결정된 가상의 입력 인터페이스를 표시하는 단계는, 투명 디스플레이를 투과하여 관측되는 상기 입력 영역에 상기 가상의 입력 인터페이스가 오버랩되도록 상기 투명 디스플레이에 상기 가상의 입력 인터페이스를 표시하는 단계일 수 있다. Displaying a virtual input interface of the determined in accordance with one embodiment of the invention, such that the input interface of the virtual overlap with the input area is observed to pass through the transparent display for displaying the input interface of the virtual on the transparent display steps can be.

본 발명의 일 실시예에 따른 결정된 가상의 입력 인터페이스를 표시하는 단계는, 이미지 센서를 이용하여, 상기 입력 영역을 포함하는 제1 이미지를 촬영하는 단계, 상기 제1 이미지에 포함된 상기 입력 영역에 상기 가상의 입력 인터페이스가 오버랩된 제2 이미지를 생성하는 제2 이미지를 생성하는 단계 및 상기 제2 이미지를 표시하는 단계를 포함할 수 있다. Displaying a virtual input interface of the determined in accordance with an embodiment of the present invention, by using an image sensor, in the input region comprises a step of taking a first image including the input area, the first image It may include the step and the step of displaying the second image to generate a second image to generate a second image input interface of the virtual overlapped.

본 발명의 일 실시예에 따른 입력 발생 여부를 결정하는 단계는, 상기 제1 깊이 값과 상기 제2 깊이 값의 차이가 임계값 미만인 경우, 상기 가상의 입력 인터페이스를 통한 입력이 발생한 것으로 결정하는 단계일 수 있다. Determining whether the input is in accordance with one embodiment of the present invention, when the first depth value and the second difference between the depth value is less than the threshold value, determining that the input via the virtual input interface occurred one can.

본 발명의 일 실시예에 따른 입력 발생 여부를 결정하는 단계는, 상기 제1 깊이 값보다 상기 제2 깊이 값이 큰 경우, 상기 가상의 입력 인터페이스를 통한 입력이 발생한 것으로 결정하는 단계일 수 있다. Determining whether the input is in accordance with one embodiment of the present invention may be, when the first and the second depth value is greater than the first depth value, determining that the input via the virtual input interface occurred.

도 1은 본 발명의 일 실시예에 따른 웨어러블 디바이스에서 가상의 입력 인터페이스를 제공하는 시스템을 설명하기 위한 도면이다. 1 is a view illustrating a system for providing a virtual interface of the input from the wearable device in accordance with one embodiment of the present invention.
도 2는 본 발명의 일 실시예에 따른, 웨어러블 디바이스에서 가상의 입력 인터페이스를 제공하는 방법을 나타내는 흐름도이다. 2 is a flow chart illustrating a method for providing a virtual interface of the type in, wearable device in accordance with one embodiment of the present invention.
도 3 내지 도 5는 본 발명의 일 실시예에 따른 입력 영역을 설정하는 방법을 나타내는 도면들이다. 3 to 5 are views illustrating a method for setting an input area according to one embodiment of the present invention.
도 6은 본 발명의 일 실시예에 따른 설정된 입력 영역의 깊이 값에 따라 가상의 입력 인터페이스를 제공하는 방법을 나타내는 흐름도이다. 6 is a flow chart illustrating a method for providing a virtual interface according to the depth of the input values ​​of the input set in accordance with an embodiment of the invention the area.
도 7 내지 도 9는 설정된 입력 영역의 깊이 값에 따라 표시되는 가상의 입력 인터페이스의 종류 및 크기가 변경되는 일례를 설명하기 위한 도면들이다. 7 to 9 are views for explaining an example where the type and size of the input interface of the virtual display to be changed according to the depth value of the selected input area.
도 10은 본 발명의 일 실시예에 따른 입력 영역이 설정된 실제 객체의 깊이 값이 변경됨에 따라, 가상의 입력 인터페이스의 종류가 적응적으로 변경되는 일례를 설명하기 위한 도면이다. Figure 10 according to the depth value of the real object, the input area is set in accordance with one embodiment of the present invention changes a view for explaining an example in which the type of the virtual input interfaces change adaptively.
도 11은 본 발명의 일 실시예에 따른 설정된 입력 영역의 크기 또는 입력 영역 설정 모션에 기초하여, 결정된 가상의 입력 인터페이스를 제공하는 방법을 설명하기 위한 흐름도이다. 11 is a flowchart illustrating a method based on the size or input area of ​​the input motion is set in accordance with an embodiment of the invention the area, provided the determined virtual input interfaces.
도 12 및 도 13은 설정된 입력 영역의 크기에 따라 표시되는 가상의 입력 인터페이스의 종류가 변경되는 일례를 설명하기 위한 도면들이다. 12 and 13 are views for explaining an example where the type of the virtual input interface displayed according to the size of the input area is set to change.
도 14 및 도 15는 입력 영역을 설정하는 모션에 따라 표시되는 가상의 입력 인터페이스의 종류가 변경되는 일례를 설명하기 위한 도면들이다. 14 and 15 are views for explaining an example where the type of the virtual input interface displayed in accordance with the motion to set the input region changed.
도 16은 본 발명의 일 실시예에 따른 입력 영역이 설정된 객체에 기초하여, 결정된 가상의 입력 인터페이스를 제공하는 일례를 나타내는 도면이다. 16 is a view based on the object, the input area is set in accordance with one embodiment of the present invention, showing an example of providing the determined virtual input interfaces.
도 17A 내지 도 17C는 본 발명의 일 실시예에 따른 웨어러블 디바이스가 입력 영역이 설정되는 실제 객체의 종류에 기초하여, 결정된 가상의 입력 인터페이스를 제공하는 일례를 나타내는 도면들이다. Figs. 17A to 17C on the basis of the type of real-world objects which the wearable device is input area in accordance with one embodiment of the present invention, are diagrams showing an example of providing the determined virtual input interfaces.
도 18은 본 발명의 일 실시예에 따른 입력 영역을 설정하는 입력 도구에 기초하여, 결정된 가상의 입력 인터페이스를 제공하는 일례를 나타내는 도면이다. 18 is a view based on the input tool for setting an input area according to one embodiment of the present invention, showing an example of providing the determined virtual input interfaces.
도 19는 본 발명의 일 실시예에 따른 웨어러블 디바이스에서 실행되고 있는 어플리케이션에 기초하여, 결정된 가상의 입력 인터페이스를 제공하는 방법을 나타내는 흐름도이다. 19 is a flow chart illustrating a method based on the application running on the wearable device, according to an embodiment of the invention, provided the determined virtual input interfaces.
도 20은 본 발명의 일 실시예에 따른 실행되는 어플리케이션의 종류에 기초하여, 결정된 가상의 입력 인터페이스가 제공되는 일례를 나타내는 도면이다. 20 is a view based on the type of application executed in accordance with an embodiment of the present invention, showing an example provided with a determined type of the virtual interface.
도 21은 본 발명의 일 실시예에 따른 실행되는 컨텐츠의 종류에 기초하여, 결정된 가상의 입력 인터페이스를 설명하기 위한 도면이다. 21 is based on the type of content to be executed in accordance with an embodiment of the present invention, a diagram illustrating the determined virtual input interfaces.
도 22 및 도 23은 본 발명의 일 실시예에 따른 웨어러블 디바이스가 이전에 가상의 입력 인터페이스가 제공되었던 실제 객체를 인식하는 경우, 이전에 제공되었던 가상의 입력 인터페이스와 동일한 가상의 입력 인터페이스를 제공하는 일례를 나타내는 도면들이다. 22 and 23, if recognizing the physical object that was provided by the input interface of the virtual before the wearable device in accordance with one embodiment of the present invention, to provide a previous same virtual type interface and a virtual input interface that was provided to the are views showing an example.
도 24는 본 발명의 일 실시예에 따른 허공에 설정된 입력 영역에 가상의 입력 인터페이스를 제공하는 방법을 나타내는 흐름도이다. 24 is a flowchart illustrating a method for providing a virtual type interface of the input area is set in the air according to an embodiment of the present invention.
도 25는 입력영역이 허공에 설정된 경우, 가상의 입력 인터페이스를 통한 입력 발생 여부를 결정하는 방법을 설명하기 위해 참조되는 도면이다. Figure 25 when the input area is set in the air, a view for explaining a method of determining whether or not input through the virtual input of the interface occurs.
도 26은 본 발명의 일 실시예에 따른 허공 또는 실제 객체에 설정된 입력 영역에 가상의 입력 인터페이스를 제공하는 방법을 나타내는 흐름도이다. 26 is a flowchart illustrating a method for providing a virtual interface of the input to the set input region in the air or a physical object according to an embodiment of the present invention.
도 27은 입력 영역이 실제 객체에 설정된 경우, 가상의 입력 인터페이스를 통한 입력 발생 여부를 결정하는 방법을 설명하기 위해 참조되는 도면이다. Figure 27 when the input area is set to a real object, a view for explaining a method of determining whether or not input through the virtual input of the interface occurs.
도 28은 본 발명의 일 실시예에 따른 입력 영역에 대한 제1 깊이 값과 입력 도구에 대한 제2 깊이 값을 획득하는 방법을 설명하기 위해 참조되는 도면이다. 28 is a view for explaining how to obtain a second depth value for the first depth value and the insertion tool relative to the input area in accordance with one embodiment of the present invention.
도 29는 본 발명의 일 실시예에 따른 가상의 입력 인터페이스를 통한 입력 발생 여부에 대한 피드백을 제공하는 방법을 나타내는 흐름도이다. 29 is a flowchart illustrating a method for providing feedback as to whether occurrence input through the virtual input interface according to an embodiment of the present invention.
도 30 및 31은 본 발명의 일 실시예에 따른 웨어러블 디바이스의 입력 발생 여부에 대응하는 알림 신호를 출력하는 일례를 나타내는 도면들이다. 30 and 31 are diagrams showing an example of outputting a notification signal corresponding to whether the input is a wearable device in accordance with one embodiment of the present invention.
도 32는 본 발명의 일 실시예에 따른 가상의 입력 인터페이스를 통한 입력 발생 여부에 대응하는 알림 신호를 출력하는 일례를 나타내는 도면이다. 32 is a view showing an example of outputting a notification signal corresponding to whether the generated input through the virtual input interface according to an embodiment of the present invention.
도 33 및 도 34는 본 발명의 일 실시예에 따르는 웨어러블 디바이스의 구성을 설명하기 위한 블록 구성도이다. 33 and 34 is a block diagram illustrating the configuration of a wearable device according to one embodiment of the present invention.

본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다. An overview of the terms used herein, and will be specifically described in the present invention.

본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. As used in the present invention include, but selects general terms that are considered while possible now widely used functions of the present invention, which may vary depending on the appearance of the technicians intention or precedent, new technologies to engage in the art. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. Furthermore, the particular case will be the applicant and also randomly selected term, described in detail in the description of the meaning of the invention applicable in this case. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다. Therefore, the terms used in the present invention is not entitled simpler terms, to be defined on the basis of information over a wide meaning of the present invention the term is having.

명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. Assuming that any part "includes" a certain component in the specification, which means that not to exclude other components not specifically described that are opposite may further contain other components. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. In addition, terms such as "... unit", "module" described in the specification means a unit that processes at least one function or operation, which may be implemented, or implemented in hardware or software as a combination of hardware and software .

아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. In the following detailed description that the present invention can be easily implemented by those of ordinary skill, in which with respect to the embodiment of the present invention with reference to the accompanying drawings. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. However, the invention is not to be implemented in many different forms and limited to the embodiments set forth herein. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다. And the part not related to the description in order to clearly describe the present invention in the figures was in nature and not restrictive. Like reference numerals designate like elements throughout the specification.

<도 1> <1>

도 1은 본 발명의 일 실시예에 따른 웨어러블 디바이스에서 가상의 입력 인터페이스를 제공하는 시스템을 설명하기 위한 도면이다. 1 is a view illustrating a system for providing a virtual interface of the input from the wearable device in accordance with one embodiment of the present invention.

본 발명의 일 실시예에 따른 웨어러블 디바이스(100)는, 머리 부분에 장착 가능한 헤드 마운트 디스플레이(HMD: Head mounted display, 이하 'HMD'라 함)를 포함할 수 있다. Wearable device in accordance with one embodiment of the present invention 100 is mountable to the head of a head mounted display: may include (HMD referred Head mounted display, hereinafter 'HMD'). 예를 들어, 헤드 마운트 디스플레이(HMD)는 안경, 헬멧, 모자 등을 포함할 수 있으나, 이에 한정되는 것은 아니다. For example, a head mounted display (HMD), but may include a glasses, helmets, hats, and the like. 본 발명의 일 실시예에 따르는 웨어러블 디바이스(100)는, 시계, 밴드, 반지, 목걸이, 팔찌, 신발, 귀걸이, 헤어밴드, 옷, 장갑, 골무 등을 포함할 수도 있다. Wearable device 100 according to one embodiment of the present invention, may include a clock, bands, rings, necklaces, bracelets, shoes, earrings, hair bands, clothing, gloves, finger-stall and the like.

본 발명의 일 실시예에 따른 웨어러블 디바이스(100)는 하나의 기기일 수도 있고, 복수 개의 기기가 결합된 형태일 수도 있다. Wearable device 100 according to one embodiment of the present invention may be a single device or may be a plurality of devices coupled form. 예를 들어, 본 명세서에서 웨어러블 디바이스(100)는, 안경 하나로 구현될 수도 있고, 안경과 반지, 안경과 시계, 안경과 골무 등과 같이 두 개 이상의 기기가 조합된 형태로 구현될 수도 있다. For example, wearable device 100 herein, may be implemented as one glasses, may be implemented as a glasses and ring, glasses and watches, glasses and the more than one device, a combined form, such as a thimble.

본 발명의 일 실시예에 따른 웨어러블 디바이스(100)는, 적어도 하나의 가상의 입력 인터페이스를 제공하는 기기일 수 있다. Wearable device 100 in accordance with one embodiment of the present invention may be a device for providing at least one virtual input interfaces. 예를 들어, 웨어러블 디바이스(100)는, 입력 영역을 설정하는 입력 도구의 모션을 인식하고, 설정된 입력 영역의 속성에 기초하여, 결정된 가상의 입력 인터페이스를 입력 영역에 제공할 수 있다. For example, wearable device 100 to recognize the motion of the insertion tool to set the input region, based on the attribute of the input area is set, it is possible to provide an input interface of the determined virtual input region. 이에 대해서는, 도 2를 참조하여 자세히 후술하기로 한다. For this, refer to FIG. 2 will be described later in detail.

본 발명의 일 실시예에 따른 가상의 입력 인터페이스(50)는, 웨어러블 디바이스(100)를 이용하는 사용자의 입력을 수신하기 위한 GUI(Graphical User Interface)일 수 있다. Virtual input interface in accordance with one embodiment of the present invention 50 may be a GUI (Graphical User Interface) for receiving a user's input using a wearable device (100). 또한, 가상의 입력 인터페이스(50)는 다양한 형태로 구현될 수 있으며, 예를 들어, 가상의 입력 인터페이스(50)는, 키보드(쿼티(QWERTY) 자판 또는 휴대 단말용 자판), 메모장, 게임 컨트롤러, 계산기, 피아노 건반, 드럼, 다이얼 패널 등을 포함할 수 있으나, 이에 한정되는 것은 아니다. Further, the input interface 50 of the virtual may be implemented in various forms, for example, the input interface 50 of the virtual is a keyboard (QWERTY (QWERTY) keyboard or keypad for a portable terminal), a notepad, a game controller, It may include a calculator, a piano keyboard, drums, the dial panel and so on, but is not limited to this.

본 발명의 일 실시예에 따른 웨어러블 디바이스(100)는, 가상의 입력 인터페이스(50)를 사용자에 의해 설정된 입력 영역에 제공할 수 있다. Wearable device in accordance with one embodiment of the present invention 100 can be provided in the input region set by the input interface 50 of the virtual user. 웨어러블 디바이스(100)는 가상의 입력 인터페이스가 설정된 입력 영역에 오버랩되도록 디스플레이부(121)에 표시할 수 있다. Wearable device 100 may display on the display unit 121 to overlap the input area is an input interface of a virtual set.

이때, 웨어러블 디바이스(100)는 가상의 입력 인터페이스(50)를 증강현실(AR: Augmented Reality), 혼합현실(MR: Mixed Reality), 또는 가상현실(VR: Virtual Reality) 형태로 디스플레이부(121)에 표시할 수 있다. In this case, the wearable device 100 may enhance the input interface 50 of virtual reality (AR: Augmented Reality), Mixed Reality (MR: Mixed Reality), or virtual reality: the display unit 121 to (VR Virtual Reality) form in can be displayed.

예를 들어, 증강현실 또는 혼합현실의 형태로 가상의 입력 인터페이스(50)를 표시하는 경우, 웨어러블 디바이스(100)는, 투명 디스플레이를 투과하여 관측되는 입력 영역에 가상의 입력 인터페이스(50)가 오버랩되도록, 투명 디스플레이에 가상의 입력 인터페이스를 표시할 수 있다. For example, the case of displaying the input interface 50 of the virtual in the form of augmented reality or mixed reality, wearable device 100, the virtual input interface (50) overlapping the input area is observed to pass through the transparent display so, it is possible to display the input interface of the virtual display in a transparent.

또는, 가상현실의 형태로 가상의 입력 인터페이스(50)를 표시하는 경우, 웨어러블 디바이스(100)는 입력 영역을 포함하는 제1 이미지를 촬영하고, 촬영된 제1 이미지의 입력 영역에 가상의 입력 인터페이스(50)를 추가하여 제 2 이미지를 생성할 수 있다. Or, in the case of displaying the input interface 50 of the virtual in the form of virtual reality, wearable device 100 may record the first image comprising the input area and the virtual input in the input area of ​​the recorded first image interface by adding 50 may generate a second image. 웨어러블 디바이스(100)는 가상의 입력 인터페이스(50)가 입력 영역에 오버랩된 제2 이미지를 불투명 디스플레이에 표시할 수 있다. Wearable device 100 is a virtual input interface 50 is to display the second image overlaps the input area, the non-transparent display.

본 발명의 일 실시예에 따른, 웨어러블 디바이스(100)는 이미지 센서(111) 및 깊이 센서(112)를 포함할 수 있다. , Wearable device 100 in accordance with one embodiment of the present invention may comprise an image sensor 111 and depth sensor 112. The

이미지 센서(111)는 외부의 이미지를 촬영하거나, 입력 영역을 설정하는 사용자 모션을 감지할 수 있다. Image sensor 111 may sense the user motion, photographed, or set the input region of the image outside. 또한, 이미지 센서(111)는 입력 도구의 움직임을 감지할 수 있다. In addition, the image sensor 111 may sense the movement of the insertion tool. 이때, 입력 도구는 기 설정된 도구일 수 있으며, 예를 들어, 입력 도구는 펜, 손가락, 막대기 등을 포함할 수 있으나, 이에 한정되는 것은 아니다. At this time, the insertion tool to the group may be a tool set, for example, the insertion tool, but may include a pen, a finger, a stick, etc., and the like.

또한, 깊이 센서(112)는 사용자에 의해 설정된 입력 영역의 깊이 값 또는 입력 도구의 깊이 값 등을 측정할 수 있다. The depth sensor 112 may measure the depth value or depth value, such as the insertion tool of the input region set by the user. 깊이 값은 깊이 센서(112)로부터 특정 객체까지의 거리에 대응할 수 있다. The depth value may correspond to a distance to the specific object from the depth sensor 112. 본 명세서에서 깊이 센서(112)로부터 특정 객체까지의 거리가 멀수록 깊이 값이 커질 수 있다. The more the distance to certain objects far from the depth sensor 112 herein may be larger the depth value.

예를 들어, 깊이 값은 깊이 센서(112)로부터 특정 객체까지의 Z축 상의 거리를 의미할 수 있다. For example, the depth value may be the distance on the Z axis of the object to a certain depth from the sensor 112. 도 1에 도시된 바와 같이, 3차원 공간 상에서 X 축은 웨어러블 디바이스(100)를 좌우로 지나는 기준 축이고, Y축은 웨어러블 디바이스(100)를 상하로 지나는 기준 축이고, Z 축은 웨어러블 디바이스(100)를 전후로 지나는 기준 축일 수 있다. 1, the in by the X-axis wearable device standard axis, Z-axis wearable device 100 passes through the reference axis, Y-axis wearable device 100 passing through from side to side 100 up and down on the three-dimensional space back and forth reference may feast. 또한, X축, Y 축 및 Z 축은 서로 수직을 이룰 수 있다. Further, it is possible to achieve the X-axis, Y-axis and Z-axis perpendicular to each other.

본 발명의 일 실시예에 의하면, 깊이 센서(112)는 다양한 방식으로 객체의 깊이 값을 획득할 수 있다. According to one embodiment of the invention, the depth sensor 112 may obtain the depth value of the objects in a number of ways. 예를 들어, 깊이 센서(112)는 TOF(Time of flight) 방식, 스테레오스코프 비전(stereoscopic vision) 방식, 구조화 광 패턴(structured light pattern) 방식 중 적어도 하나의 방식을 이용하여 깊이 값을 측정할 수 있다. For example, the depth sensor 112 TOF (Time of flight) method, stereo scope vision (stereoscopic vision) system, the structured light pattern (structured light pattern) method at least one way the can measure the depth value by using of have.

TOF(Time of flight) 방식은, 빛이 물체에 반사되어 돌아오는 시간을 분석하여, 물체까지의 거리를 측정하는 방식을 의미한다. TOF (Time of flight) method, by analyzing the light coming back time is reflected on an object, refers to the method of measuring the distance to an object. TOF 시스템에서는, 적외선 LED가 적외선 펄스를 발사하고, 물체에 반사되어 돌아오는 빛의 도달 시간을 적외선 카메라가 측정한다. In TOF systems, an infrared LED is fired infrared pulses, is reflected on the object is an infrared camera measures the arrival time of the returning light. 이 경우, 깊이 센서(112)는 적외선 LED와 적외선 카메라를 포함할 수 있다. In this case, the depth sensor 112 may include an infrared LED and an infrared camera. 깊이 센서(112)는 1초에 수십 번 빛을 발사하고 수신하는 것을 반복함으로써, 동영상 형태로 거리 정보를 촬영할 수 있다. Depth sensor 112, the distance information may be recorded in the form of video by repeatedly firing a dozen times a second light receiving. 또한, 깊이 센서(112)는, 각 픽셀의 밝기 또는 색상으로 거리 정보를 표현하는 깊이 맵을 생성할 수도 있다. The depth sensor 112 may generate a depth map to represent the distance information as the brightness or color of each pixel.

스테레오스코프 비전(stereoscopic vision) 방식은 2 대의 카메라를 이용하여 물체의 입체감을 촬영하는 방식을 의미한다. Stereo vision scope (stereoscopic vision) method refers to a method for photographing a three-dimensional appearance of an object using the two cameras. 이 경우, 깊이 센서(112)는 2대의 카메라를 포함할 수 있다. In this case, the depth sensor 112 may comprise two cameras. 깊이 센서(112)는, 각각의 카메라가 바라보는 영상의 차이 정보를 이용하여, 삼각측량의 원리에 기반하여 거리를 계산할 수 있다. Depth sensor 112, using the respective difference information of the video camera is looking at, the distance can be calculated on the basis of the principle of triangulation. 사람은 왼쪽 눈과 오른쪽 눈에 들어오는 영상의 차이를 통해 입체감을 느끼게 되며, 깊이 센서(112)는 사람 눈의 원리와 비슷한 방식으로 거리를 측정하게 된다. Who are feeling the cubic effect by the difference of the image entering the right eye and the left eye, the depth sensor 112 will measure a distance in a similar fashion to the principles of the human eye. 예를 드렁, 거리가 가까우면, 2대의 카메라에서 촬영된 영상의 차이가 크고, 거리가 멀면 2대의 카메라에서 촬영된 영상의 차이가 적다. For deureong, if the distance is close, the difference between the taken images from two cameras large, the difference between images taken at two cameras a distance far away is small.

구조화된 광 패턴 방식은, 패턴을 가진 빛을 물체에 비추고, 물체 표면에 맺힌 패턴의 위치를 분석하여 물체까지의 거리를 측정하는 방식이다. Structured light pattern approach, reflecting the light with a pattern on an object, the method analyzes the location of the Rimed pattern on the object surface to measure the distance to an object. 깊이 센서(112)는 일반적으로 직선형 무늬나 점 패턴을 물체에 투사하게 되며, 물체의 굴곡에 따라 무늬가 달라진다. Depth sensor 112 are typically projected to a straight line pattern or a dot pattern on the object, the pattern depends on the curvature of the object.

구조화된 광 패턴 방식은, 스테레오스코프 비전 방식에 사용된 2 개의 카메라 중의 하나를 광 프로젝터로 교체한 구조라고 할 수 있다. A structured light pattern scheme, can be said that a structure replacing one of the two cameras used in the scope stereo vision system to the light projector. 예를 들어, 깊이 센서(112)는, 적외선 프로젝터로 발사된 빛이 물체 표면에 맺혀서 생긴 패턴의 위치를 알고리즘으로 분석하여 깊이 맵을 실시간으로 계산할 수 있다. For example, the depth sensor 112, the launched light to the infrared projector to calculate the depth map by analyzing the position of the pattern caused maethyeoseo the object surface to the algorithm in real time.

한편, 이미지 센서(111)와 깊이 센서(112)는 별개의 센서로 구성될 수도 있고, 하나의 센서로 구성될 수도 있다. On the other hand, the image sensor 111 and depth sensor 112 may be constructed as a separate sensor may be of a single sensor.

본 발명의 일 실시예에 따른 웨어러블 디바이스(100)는 깊이 센서(111)를 통해 획득되는 입력 영역의 깊이 값 또는 입력 도구의 깊이 값을 이용하여, 가상의 입력 인터페이스(50)를 통한 입력 발생 여부를 결정할 수 있다. Wearable device 100 in accordance with one embodiment of the present invention by using the depth value of the depth value or the Language of the input area that is obtained by means of the depth sensor 111, whether or not input through the input interface 50 of the virtual generated to be determined.

<도 2> <2>

도 2는 본 발명의 일 실시예에 따른, 웨어러블 디바이스에서 가상의 입력 인터페이스를 제공하는 방법을 나타내는 흐름도이다. 2 is a flow chart illustrating a method for providing a virtual interface of the type in, wearable device in accordance with one embodiment of the present invention.

도 2를 참조하면, 웨어러블 디바이스(100)는 입력 영역을 설정할 수 있다(S210). 2, the wearable device 100 may set the input region (S210). 입력 영역은 가상의 입력 인터페이스가 디스플레이부(121)에 표시될 때, 가상의 입력 인터페이스가 오버랩되는 현실세계의 2차원 또는 3차원의 공간일 수 있다. Input area has an input interface of a virtual number of days when displayed on the display unit 121, two-dimensional or three-dimensional space in the real world, which is an input interface of a virtual overlap.

웨어러블 디바이스(100)는 사용자 모션에 기초하여, 입력 영역을 설정할 수 있다. Wearable device 100 based on the user motion, it is possible to set the input area. 예를 들어, 웨어러블 디바이스(100)는 사용자가 입력 도구(예를 들어, 손가락, 펜, 막대기 등)를 이용하여, 허공 또는 실제 객체(예를 들어, 손바닥, 책상, 벽 등)에 그리는 도형을 인식하고, 인식된 도형에 대응하는 영역을 입력 영역으로 설정할 수 있다. For example, by using a wearable device 100 by the user input tool (e.g., a finger, a pen, stick, etc.), a figure drawn in the air or a physical object (e.g., hand, desk, wall, etc.) It may set the area corresponding to the recognized, and the recognized shape in the writing area.

또는, 웨어러블 디바이스(100)는 기 설정된 객체를 인식하여, 인식된 객체에 대응하는 영역을 입력 영역으로 설정할 수 있다. Alternatively, the wearable device 100 recognizes a predetermined object, and the region corresponding to the recognized object can be set to the writing area. 또는, 웨어러블 디바이스(100)는 사용자가 입력 도구를 이용하여, 기 설정된 객체를 터치하는 동작을 인식하고, 터치된 객체에 대응하는 영역을 입력 영역으로 설정할 수 있다. Or, wearable device 100 may allow user to set the type using a tool, machine, and recognize an operation to touch the set object area corresponding to the touched object to the input area.

입력 영역을 설정하는 방법에 대해서는, 도 3 내지 도 5를 참조하여, 자세히 후술하기로 한다. For information on how to set the input area, see Figures 3 to 5 to be described later in detail.

또한, 본 발명의 일 실시예에 따른 웨어러블 디바이스(100)는 입력 영역 설정 모드로 진입하기 위한 기 설정된 음성 입력 또는 기 설정된 키 입력을 수신할 수 있다. Further, the wearable device 100 in accordance with one embodiment of the present invention may receive a predetermined voice input or a predetermined input key to enter the setup mode, enter the area. 예를 들어, 웨어러블 디바이스(100)는 입력 모드로 진입하기 위한 음성 입력 또는 키 입력이 수신되는 경우에만, 입력 영역을 설정하는 사용자 모션을 인식할 수도 있다. For example, wearable device 100 may recognize the user's motion to set only, if the input region is received by the voice input or key input for entering the input mode.

입력 영역이 설정되면, 웨어러블 디바이스(100)는 설정된 입력 영역의 속성에 기초하여, 표시할 가상의 입력 인터페이스를 결정할 수 있다(S220). If the input area, wearable device 100 may on the basis of the property of the input area is set, determining virtual input interface to display (S220).

예를 들어, 웨어러블 디바이스(100)는 입력 영역의 크기, 모양, 입력 영역과 웨어러블 디바이스(100) 간의 거리(입력 영역의 깊이 값), 입력 영역이 설정된 실제 객체의 종류, 입력 영역 설정 모션 중 적어도 하나에 기초하여, 디스플레이부(121)에 표시할 가상의 입력 인터페이스를 결정할 수 있다. For example, wearable device 100 may an input area of ​​a size, shape, type area and a distance between wearable device 100 (the input depth value of the area), the type of physical object, the input area is set, at least one input area set in motion on the basis of one, it is possible to determine the virtual interface to be displayed on the display of the input unit 121.

웨어러블 디바이스(100)는 결정된 가상의 입력 인터페이스를 설정된 입력 영역에 오버랩되도록 표시할 수 있다(S230). Wearable device 100 may be displayed to overlap on the input area is set to the determined virtual input interface (S230).

이때, 웨어러블 디바이스(100)는 증강현실(AR), 혼합현실(MR) 또는 가상현실(VR)의 형태로 가상의 입력 인터페이스를 표시할 수 있다. In this case, the wearable device 100 may display a virtual input interface in the form of augmented reality (AR), a mixed reality (MR) or virtual reality (VR).

예를 들어, 증강현실 또는 혼합현실의 형태로 가상의 입력 인터페이스를 표시하는 경우, 웨어러블 디바이스(100)는, 투명 디스플레이를 투과하여 관측되는 입력 영역(현실 세계의 2차원 또는 3차원 공간)에 가상의 입력 인터페이스가 오버랩되도록, 투명 디스플레이에 가상의 입력 인터페이스를 표시할 수 있다. For example, if the display of the virtual input interface in the form of augmented reality or mixed reality, wearable device 100, the virtual input region to be observed to pass through the transparent display (two-dimensional or three-dimensional space of the real world) such that the input interface is overlapped, it is possible to display the input interface of the virtual display in a transparent.

또는, 가상현실의 형태로 가상의 입력 인터페이스를 표시하는 경우, 웨어러블 디바이스(100)는 입력 영역(현실 세계의 2차원 또는 3차원 공간)을 포함하는 제1 이미지(실사 영상)를 촬영하고, 촬영된 제1 이미지의 입력 영역에 가상의 입력 인터페이스(가상 영상)를 추가하여 제2 이미지를 생성할 수 있다. Or, the case of displaying the input interface of the virtual in the form of virtual reality, wearable device 100 may record the first image (real image) that includes an input area (2-D or 3-D space in the real world), taken in the input field of the first image may be added to the input interface of a virtual (virtual image) generating a second image. 웨어러블 디바이스(100)는 가상의 입력 인터페이스가 입력 영역에 오버랩된 제2 이미지를 불투명 디스플레이에 표시할 수 있다. Wearable device 100 may display the second image input interface for the virtual overlapping the input area on the non-transparent display.

본 발명의 일 실시예에 따른 웨어러블 디바이스(100)는 프로젝터와 반투명 프리즘을 이용하여, 가상의 입력 인터페이스를 포함하는 증강현실 레이어를 사람의 망막에 직접 전달할 수도 있다. An exemplary wearable device 100 in accordance with an embodiment of the present invention can also pass by using a projector and a semi-transparent prism, directly to the AR layer including a virtual input interface to the human retina.

본 발명의 일 실시예에 따른 웨어러블 디바이스(100)는 설정된 입력 영역에 대한 제1 깊이 값과 가상의 입력 인터페이스를 터치하는 입력 도구에 대한 제2 깊이 값을 획득할 수 있다(S240). Wearable device 100 according to one embodiment of the present invention may obtain a first depth value with the second depth values ​​for the input tool to touch the virtual input interface for the input area is set (S240).

웨어러블 디바이스(100)는 깊이 센서(112)를 이용하여, 웨어러블 디바이스(100)에서 설정된 입력 영역까지의 거리(설정된 입력 영역의 깊이 값, 제1 깊이 값)를 측정할 수 있다. Wearable device 100 may be measured by using a depth sensor 112, the distance to the input region set by the wearable device 100 (the depth value, the depth value of the first set input area).

한편, 설정된 입력 영역이 동일한 평면 상에 존재하지 않는 경우, 설정된 입력 영역의 깊이 값은 복수일 수 있다. On the other hand, when the set input region does not exist on the same plane, the depth value of the selected input region may be a plurality. 입력 영역의 깊이 값이 복수일 경우, 제1 깊이 값은 복수의 깊이 값을 평균한 평균 깊이 값, 복수의 깊이 값 중 가장 작은 최소 깊이 값, 복수의 깊이 값 중 최대 깊이 값 중 하나일 수 있으나, 이에 한정되는 것은 아니다. If the depth value of entry areas a plurality, the first depth value can be one of a mean depth values ​​mean a plurality of depth values, the smallest minimum depth value of the plural depth values ​​and maximum depth value of the plural depth values, but , and the like.

또한, 입력 영역이 실제 객체 위에 설정된 경우, 제1 깊이 값은 실제 객체의 깊이 값일 수 있다. Further, when the input area is set on the physical object, the first depth value can include the depth of the actual object.

또한, 웨어러블 디바이스(100)는 깊이 센서(112)를 이용하여, 웨어러블 디바이스(100)에서 입력 도구까지의 거리(입력 도구의 깊이 값, 제2 깊이 값)를 측정할 수 있다. Further, it is possible to measure the wearable device 100 is a distance (depth value, the second depth values ​​of the input tool) in using a depth sensor 112, and wearable device 100 to the insertion tool.

입력 도구가 3차원 물체인 경우, 입력 도구의 깊이 값은 복수일 수 있다. If the input tool, the three-dimensional object, the depth values ​​of the input tool may be a plurality. 입력 도구의 깊이 값이 복수일 경우, 제2 깊이 값은 복수의 깊이 값을 평균한 평균 깊이 값, 복수의 깊이 값 중 가장 작은 최소 깊이 값, 복수의 깊이 값 중 최대 깊이 값 중 하나일 수 있으나, 이에 한정되는 것은 아니다. If the depth value in the Language plurality, the second depth value can be one of a mean depth values ​​mean a plurality of depth values, the smallest minimum depth value of the plural depth values ​​and maximum depth value of the plural depth values, but , and the like.

예를 들어, 입력 도구를 사용하여, 가상의 입력 인터페이스를 터치하는 경우, 입력 도구와 가상의 입력 인터페이스가 접촉하는 지점(입력 도구의 끝 점)을 제2 깊이 값으로 할 수 있다. For example, by using an input tool, if the touch input of a virtual interface, it is possible to the point at which the input tool and a virtual interface of the input contact (end point of the Language) to a second depth value.

웨어러블 디바이스(100)는 제1 깊이 값과 제2 깊이 값을 비교하여, 가상의 입력 인터페이스를 통한 입력 발생 여부를 결정할 수 있다(S250). Wearable device 100 is compared to the first depth value with the second depth values, one can determine whether or not input through the virtual input interface generated (S250).

예를 들어, 입력 영역에 대한 제1 깊이 값이 입력 발생 여부를 결정하는 기준 값이 될 수 있으며, 제1 깊이 값과 제2 깊이 값의 차가 임계 값 이하인 경우, 웨어러블 디바이스(100)는 가상의 입력 인터페이스를 통한 입력이 발생된 것으로 결정할 수 있다. For example, the first and the depth value can be a reference value for determining whether the input is activated, when the first difference is less than or equal to the threshold value of the depth value and the second depth value, wearable device 100 for the input area is a virtual It can be determined to have been input through the input interface occurs.

또는, 웨어러블 디바이스(100)는 제1 깊이 값보다 제2 깊이 값이 큰 경우, 가상의 입력 인터페이스를 통한 입력이 발생된 것으로 결정할 수 있다. Alternatively, the wearable device 100 when the second depth value that is less than the first depth value is larger, may be determined to have been input via the virtual input of the interface occurs.

본 발명의 일 실시예에 따른 웨어러블 디바이스(100)는 사용자 모션 등에 기초하여 입력 영역을 설정할 수 있으며, 설정된 입력 영역의 깊이 값과 입력 도구의 깊이 값을 비교하여, 입력 발생 여부를 결정함으로써, 가상의 입력 인터페이스를 통한 입력의 정확도를 향상시킬 수 있다. Wearable device 100 in accordance with one embodiment of the present invention may set the input region on the basis of a user or the like in motion, as compared to the depth value of the depth value and the insertion tool of the set input region, by determining whether the input is activated, the virtual the input interface can improve the accuracy of input through.

도 3 내지 도 5는 본 발명의 일 실시예에 따른 입력 영역을 설정하는 방법을 나타내는 도면들이다. 3 to 5 are views illustrating a method for setting an input area according to one embodiment of the present invention.

<도 3> <3>

도 3을 참조하면, 본 발명의 일 실시예에 따른 웨어러블 디바이스(100)는 사용자에 의해 허공이나 실제 객체에 그려지는 도형을 인식하여, 입력 영역을 설정할 수 있다. 3, the wearable device 100 in accordance with one embodiment of the present invention to recognize the shape to be drawn into the air or a physical object by a user, may set the input region.

예를 들어, 도 3의 (a)에 도시된 바와 같이, 사용자는 펜, 막대기, 손가락 등의 입력 도구(310)를 이용하여, 허공에 도형(예를 들어, 사각형)을 그릴 수 있다. For example, as illustrated in Figure 3 (a), the user can draw a shape (e.g., square) in the air by using the insertion tool 310, such as a pen, stick finger. 웨어러블 디바이스(100)는 사용자에 의해 그려지는 도형을 인식하여, 인식된 도형에 대응하는 영역을 입력 영역(320)으로 설정할 수 있다. Wearable device 100 recognizes the shape drawn by the user, and the area corresponding to the recognized shape can be set as the input region 320. 예를 들어, 인식된 도형의 깊이 값(웨어러블 디바이스로부터 도형까지의 거리), 인식된 도형의 모양 및 인식된 도형의 크기를 가지는 영역을 입력 영역으로 설정할 수 있다. For example, with the size of the depth value of the recognized shape (the distance from the wearable device to shape), the shape of the recognized shape and shape recognition region can be set to the writing area.

다만, 도 3의 (a)에는 도형이 사각형인 것으로 도시하였으나, 이에 한정되지 않고, 도형은 원형, 다각형, 자유 폐곡선 등 다양한 모양과 크기를 가지는 도형을 포함할 수 있으며, 2차원 또는 3차원 도형일 수 있다. However, the diagram (a) of 3, but shown as the shape is square, not limited to this, and the shape is a circle, a polygon, a free closed curve, such as may include shapes having a variety of shapes and sizes, two-dimensional or three-dimensional shape, one can.

또한, 도 3의 (b)에 도시된 바와 같이, 사용자는 펜, 막대기, 손가락 등의 입력 도구(345)를 이용하여, 실제 객체(330, 예를 들어, 손바닥)에 도형(340, 예를 들어, 직사각형)을 그릴 수 있다. In addition, as shown in Figure 3 (b), the user by using the insertion tool 345, such as a pen, stick, the finger, the real object (330, for example, palm) graphics (340, for the g., rectangular) may be drawn. 웨어러블 디바이스(100)는 사용자에 의해 그려지는 도형(340)을 인식하여, 인식된 도형(340)에 대응하는 영역을 입력 영역으로 설정할 수 있다. Wearable device 100 to recognize the shapes 340 drawn by the user, the region corresponding to the recognized shape 340 can be set to the writing area. 예를 들어, 인식된 도형의 깊이 값(웨어러블 디바이스로부터 실제 객체까지의 거리), 인식된 도형의 모양 및 인식된 도형의 크기를 가지는 영역을 입력 영역으로 설정할 수 있다. For example, with the size of the depth value of the recognized shape (the distance from the wearable device to the physical object), the shape of the recognized shape and shape recognition region can be set to the writing area.

<도 4> <4>

도 4를 참조하면, 본 발명의 일 실시예에 따른 웨어러블 디바이스(100)는 특정 객체를 인식하여, 입력 영역을 설정할 수 있다. 4, the wearable device 100 in accordance with one embodiment of the present invention can be set up to recognize certain objects, the input area.

예를 들어, 도 4의 (a)에 도시된 바와 같이, 웨어러블 디바이스(100)는 이미지 센서(111)를 이용하여, 손바닥(410)을 인식할 수 있다. For example, as illustrated in Figure 4 (a), wearable device 100 may use the image sensor 111, recognizing the hand 410. The 이때, 웨어러블 디바이스(100)에는 손바닥(410)의 모양, 크기 등에 대한 정보가 미리 저장되어 있을 수 있다. At this time, there may include a wearable device 100 is information about the shape, the size of the palm of the hand (410) is stored in advance. 이에 따라, 웨어러블 디바이스(100)는 인식된 객체의 모양, 크기 등에 대한 정보를 기 저장된 객체의 모양, 크기 등에 대한 정보와 비교하여, 인식된 객체를 입력 영역으로 설정할지 여부를 결정할 수 있다. Accordingly, the wearable device 100 may determine whether or not as compared with the information about the information about the shape and size of the recognized object group stored in the shape of an object, the size or the like, whether to set the recognized object as the input area.

인식된 객체가 웨어러블 디바이스(100)에 기 저장된 객체(입력 영역으로 설정할 객체)의 정보와 동일한 경우, 웨어러블 디바이스(100)는 인식된 객체의 기 설정된 영역(420)을 입력 영역으로 설정할 수 있다. When the recognized object is equal to the information of the object (the object set as the input region) pre-stored in the wearable device 100, wearable device 100 may set the region 420 is set based on the recognized object as the input area. 이때, 인식된 객체의 기 설정된 영역은 다양한 모양과 크기를 포함하는 영역일 수 있다. In this case, a predetermined area of ​​the recognized object may be a region including a range of shapes and sizes.

도 4의 (a)에서는 웨어러블 디바이스(100)가 손바닥(410)을 인식하여, 입력 영역을 설정하는 것으로 도시하고 설명하였지만, 이에 한정되지 않고, 책상, 노트 등 다양한 객체를 인식하여, 입력 영역을 설정할 수 있다. And Fig. In (a) of 4 wearable device 100 recognizes the hand 410, although shown and described as to set the input region, not limited to this, and aware of the various objects such as a floor, notes, the input area It can be set.

또한, 웨어러블 디바이스(100)는 특정 형태를 마커로 정의하고, 마커가 인식되는 경우, 마커를 포함하는 실제 객체의 평면을 입력 영역으로 설정할 수 있다. Further, wearable device 100 may set the plane of the real object, including marker if the definition of a particular type with a marker, and the marker is recognized in the input area.

예를 들어, 마커가 직사각형 형태로 정의된 경우, 웨어러블 디바이스(100)는 이미지 센서(111)를 이용하여, 직사각형 형태를 마커로 인식할 수 있다. For example, if the marker is defined as a rectangular shape, the wearable device 100 is an image sensor 111, it is possible to recognize the shape of rectangle with a marker. 도 4의 (b)에 도시된 바와 같이, 웨어러블 디바이스(100)는 직사각형 형태(430)를 가지는 노트를 마커로 인식할 수 있다. A, wearable device 100 as shown in Figure 4 (b) is able to recognize the note having a rectangular shape (430) with a marker.

마커가 인식되면, 웨어러블 디바이스(100)는 마커를 포함하는 실제 객체의 평면을 입력 영역으로 설정할 수 있다. When the marker is recognized, wearable device 100 may be set to the real object plane containing the marker to the writing area. 예를 들어, 웨어러블 디바이스(100)는 도 4의 (b)에 도시된 바와 같이, 직사각형 형태(430)를 가지는 노트의 평면을 입력 영역으로 설정할 수 있다. For example, wearable device 100 may be set, the plane of the notes has a rectangular shape 430, as shown in (b) of Fig. 4 to the input region. 이때, 웨어러블 디바이스(100)는 노트의 평면 전체를 입력 영역으로 설정하거나, 노트의 평면 중 일부 영역을 입력 영역으로 설정할 수도 있다. In this case, the wearable device 100 may set the whole of the note plane as the input area, or may set a partial region of the plane of the note in the input area.

도 4의 (b)에서는 마커가 직사각형 형태로 정의된 경우에 대해서 도시하고 설명하였지만, 이에 한정되지 않고, 마커는 원형, 다각형 등 다양한 형태로 정의될 수 있다. In Fig. (B) 4 Although shown and described for the case where the marker is defined as a rectangular shape, not limited to this, the marker may be defined in a variety of forms such as a circle, polygon.

<도 5> <5>

도 5의 (a)를 참조하면, 본 발명의 일 실시예에 따른 웨어러블 디바이스(100)는 실제 입력 인터페이스를 인식하여, 입력 영역을 설정할 수 있다. Referring to (a) of Figure 5, the wearable device 100 in accordance with one embodiment of the present invention can be set up to recognize the actual input interface, the input area.

웨어러블 디바이스(100)는 실제 입력 인터페이스를 인식하여, 인식된 실제 입력 인터페이스와 동일한 종류의 가상 입력 인터페이스를 표시할 수 있다. Wearable device 100 may recognize the actual input interface, it displays the same type of the virtual input interface and the recognized actual input interface. 또한, 웨어러블 디바이스(100)는 사용자가 펜, 막대기, 손가락 등의 입력 도구를 이용하여, 실제 입력 인터페이스를 터치하는 입력을 수신한 후에, 터치된 실제 입력 인터페이스를 인식할 수 있다. Further, the wearable device 100, the user can then use an input tool such as a pen, stick, the finger, receives a real input to touch the input interface, recognizes the real-touch input interface.

실제 입력 인터페이스는 실제 키보드, 실제 키패드, 실제 메모장 인터페이스, 실제 계산기, 실제 피아노 건반, 실제 게임 컨트롤러, 실제 다이얼 패널 등을 포함할 수 있으나, 이에 한정되는 것은 아니다. The actual input interface, but it can include a physical keyboard, keypad, real, real notepad interface, the actual calculator, real piano, keyboard, game controllers, real, real Dial panel, including, but not limited thereto. 또한, 실제 입력 인터페이스(510)는 휴대 단말기 등에 디스플레이되는 GUI일 수 있다. Further, real input interface 510 may be a GUI that is displayed in portable terminals.

예를 들어, 도 5의 (a)에 도시된 바와 같이, 사용자가 입력 도구(520, 예를 들어, 손가락)을 이용하여, 실제 키보드(510)를 터치하는 경우, 웨어러블 디바이스(100)는 입력 도구(520)가 터치하는 실제 키보드(510)를 인식할 수 있다. For example, as illustrated in Figure 5 (a), the user and the insertion tool (520, for example, a finger) by using, in the case of touching the physical keyboard 510, a wearable device 100 is input tools can 520 is touch-sensitive for the physical keyboard 510. 이때, 웨어러블 디바이스(100)는 깊이 센서를 이용하여, 실제 키보드(510)의 깊이 값과 입력 도구(520)의 깊이 값을 획득하고, 실제 키보드(510)의 깊이 값과 입력 도구(520)의 깊이 값의 차이가 임계값 이하인 경우, 실제 키보드(510)를 터치한 것으로 결정할 수 있다. In this case, the wearable device 100 by using a depth sensor, a physical keyboard 510, a depth value and the Language obtain a depth value of 520, and a physical keyboard (510), the depth value and the insertion tool 520 of the If the difference of the depth value is less than the threshold value, it may determine that touch a physical keyboard (510).

또한, 웨어러블 디바이스(100)에는 실제 입력 인터페이스의 종류, 모양, 크기 등에 관한 정보가 미리 저장되어 있을 수 있다. Further, the wearable device 100 can have information on the actual type of the input interface, the shape, size stored in advance. 이에 따라, 웨어러블 디바이스(100)는 이미지 센서(111)에 의해, 인식된 실제 키보드(510)의 종류, 모양, 크기 등에 관한 정보를 웨어러블 디바이스(100)에 저장되어 있는 실제 입력 인터페이스의 종류, 모양, 크기 등에 관한 정보와 비교하여, 인식된 객체가 입력 인터페이스인지를 결정할 수 있다. Accordingly, the wearable device 100 is the type of physical input interface stored information by the image sensor 111, the type of the recognized physical keyboard (510), shape, size or the like to the wearable device 100, the shape , as compared to the information on the size, there is a recognized object may determine whether the input interface.

또한, 웨어러블 디바이스(100)는 인식된 실제 입력 인터페이스에 대응하는 가상 입력 인터페이스를 표시할 수 있다. Further, wearable device 100 may display a virtual input interface corresponding to the recognized real input interface. 웨어러블 디바이스(100)는 인식된 실제 입력 인터페이스와 동일한 종류의 가상 입력 인터페이스를 인식된 실제 입력 인터페이스 영역에 오버랩되도록 실제 입력 인터페이스와 동일한 크기와 모양의 가상 입력 인터페이스를 디스플레이부(121)에 표시할 수 있다. Wearable device 100 can display the same size and shape of the virtual type interface from the original input interface to overlap with the recognition of the same type of the virtual input interface and the recognized actual input interface actual input interface region on the display unit 121 have.

예를 들어, 도 5의 (a)에 도시된 바와 같이, 실제 키보드(510)가 인식된 경우, 웨어러블 디바이스(100)는 인식된 실제 키보드와 동일한 크기와 모양을 가지는 가상 키보드를 실제 키보드(510)가 표시되는 영역에 오버랩되도록 표시할 수 있다. For example, as illustrated in (a) of Figure 5, a physical keyboard (510) if the recognition, wearable device 100 is a virtual keyboard has the same size and shape as the recognized physical keyboard, a physical keyboard (510 ) it may be displayed to overlap a region to be displayed.

한편, 도 5의 (b)를 참조하면, 본 발명의 일 실시예에 따른 웨어러블 디바이스(100)는 실제 객체의 평면을 인식하여, 입력 영역을 설정할 수 있다. On the other hand, referring to (b) of Figure 5, the wearable device 100 in accordance with one embodiment of the present invention recognizes the plane of the real-world objects, may set the input region.

웨어러블 디바이스(100)는 실제 객체의 평면을 인식하고, 사용자가 펜, 막대기, 손가락 등의 입력 도구를 이용하여, 인식된 평면을 터치하는 입력을 수신하는 경우, 터치된 평면을 입력 영역으로 설정할 수 있다. Wearable device 100 is aware of the plane of the physical object, if the user receives an input by using an input tool such as a pen, rod, finger, touch the identified plane, to set the touch plane in the input area, have.

예를 들어, 도 5의 (b)에 도시된 바와 같이, 사용자가 입력 도구(530, 예를 들어, 펜)를 이용하여, 노트의 평면(540)을 터치하는 경우, 웨어러블 디바이스(100)는 입력 도구(530)가 터치하는 노트의 평면(540)을 인식할 수 있다. For example, as illustrated in Figure 5 (b), the user and the insertion tool using a (530, e.g., a pen), and when touching the plane 540 of the note, wearable device 100 the input tool 530 can be aware of the plane (540) of the Notes to the touch. 이때, 웨어러블 디바이스(100)는 깊이 센서(112)를 이용하여, 노트 평면(540)의 깊이 값과 입력 도구(530)의 깊이 값을 획득하고, 노트 평면(540)의 깊이 값과 입력 도구(530)의 깊이 값의 차이가 임계값 이하인 경우, 입력 도구(530)가 노트 평면(540)을 터치한 것으로 결정할 수 있다. In this case, the wearable device 100 by using the depth sensor 112, obtains the depth value of the depth value and the insertion tool 530 of the note plane 540, and the depth value of the note plane 540 and the insertion tool ( If is less than or equal to a threshold value that is a difference between a depth value of 530), the insertion tool 530 may determine that the touch note plane 540.

이에 따라, 웨어러블 디바이스(100)는 터치된 노트의 평면(540)을 입력 영역으로 설정할 수 있다. Accordingly, the wearable device 100 may establish a plane 540 of the input area of ​​the touch-notes.

<도 6> <6>

도 6은 본 발명의 일 실시예에 따른 설정된 입력 영역의 깊이 값에 따라 가상의 입력 인터페이스를 제공하는 방법을 나타내는 흐름도이다. 6 is a flow chart illustrating a method for providing a virtual interface according to the depth of the input values ​​of the input set in accordance with an embodiment of the invention the area.

도 6을 참조하면, 웨어러블 디바이스(100)는 사용자 모션 등에 기초하여, 입력 영역을 설정할 수 있다(S610). 6, the wearable device 100 on the basis of a user or the like in motion, may set the input region (S610). 이에 대해서는 도 2의 210단계(S210) 및 도 3 내지 5에서 자세히 설명하였으므로, 구체적인 설명은 생략하기로 한다. As it will also hayeoteumeuro detailed in step 210 of 2 (S210) and 3 to 5, a detailed description will be omitted.

웨어러블 디바이스(100)는 입력 영역에 대한 제1 깊이 값을 획득할 수 있다(S620). Wearable device 100 may obtain a first depth values ​​for the input region (S620).

입력 영역이 허공에 설정되는 경우, 웨어러블 디바이스(100)는 입력 영역을 설정하는 사용자의 모션에 기초하여, 입력 영역의 깊이 값을 획득할 수 있다. If the input area is set in the air, wearable device 100 based on the user's motion to set the input area, it is possible to obtain a depth value of the input area. 예를 들어, 사용자가 입력 도구를 이용하여, 허공에 도형을 그리는 경우, 웨어러블 디바이스(100)는 깊이 센서(112)를 이용하여, 도형을 그리는 입력 도구의 깊이 값을 획득할 수 있으며, 획득된 입력 도구의 깊이 값을 입력 영역에 대한 제1 깊이 값으로 할 수 있다. For example, and the user can, if using an input tool, to draw shapes in the air, wearable device 100 by using a depth sensor 112, obtains the depth value of the input tool, draw a shape, the obtained It may be the depth value of the input tool in a first depth values ​​for the input region.

또한, 입력 영역이 실제 객체 위에 설정되는 경우, 웨어러블 디바이스(100)는 깊이 센서(112)를 이용하여, 실제 객체의 깊이 값을 획득할 수 있으며, 획득된 실제 객체의 깊이 값을 입력 영역에 대한 제1 깊이 값으로 할 수 있다. Further, when the input area is set on the physical object, using a wearable device (100) is a depth sensor 112, it is possible to obtain a depth value of the actual object, for the depth value of the acquired real-world objects in the input area it is possible to a first depth value.

웨어러블 디바이스(100)는 입력 영역에 대한 제1 깊이 값에 기초하여, 표시할 가상의 입력 인터페이스의 종류를 결정할 수 있다(S630). Wearable device 100 may determine the first, the type of the virtual input interface to be displayed on the basis of a first depth values ​​for the input region (S630).

예를 들어, 입력 영역에 대한 제1 깊이 값의 크기가 제1 임계값 이하인 경우, 웨어러블 디바이스(100)는 디스플레이부(121)에 표시할 가상의 입력 인터페이스로 제1 크기의 제1 키보드를 결정할 수 있다. For example, the size of the first depth values ​​for the input region a first threshold value or less when, wearable device 100 to the virtual input interface to be displayed on the display unit 121 to determine a first keyboard of a first size can.

또한, 입력 영역에 대한 제1 깊이 값의 크기가 제1 임계값 보다 크고, 제2 임계 값(제1 임계값 보다 큰 임계값) 이하인 경우, 웨어러블 디바이스(100)는 디스플레이부(121)에 표시할 가상의 입력 인터페이스로 제2 크기의 제2 키보드를 결정할 수 있으며, 제2 크기는 제1 크기보다 작을 수 있다. In addition, the size of the first depth values ​​for the input zone is greater than the first threshold, the second threshold value or less (a first large threshold value than the threshold value), wearable device 100 is displayed on the display unit 121 a virtual interface of the input to determine the second keyboard in the second size and the second size may be less than the first size.

또한, 입력 영역에 대한 제1 깊이 값의 크기가 제2 임계값 보다 큰 경우, 웨어러블 디바이스(100)는 디스플레이부(121)에 표시할 가상의 입력 인터페이스로 제3 크기의 제3 키보드를 결정할 수 있으며, 제3 크기는 제2 크기보다 작을 수 있다. In addition, the size of the first depth values ​​for the input area when is larger than a second threshold value, wearable device 100 by an input interface of the virtual display to the display unit 121 can determine the third keyboard of the third size and, a third size, may be smaller than the second size.

입력 영역에 대한 제1 깊이 값이 커지면, 웨어러블 디바이스(100) 사용자에게 관측되는 입력 영역의 크기가 작아지게 되므로, 웨어러블 디바이스(100)는 작은 크기의 입력 인터페이스를 결정할 수 있다. The larger the depth value for the first input region, since the magnitude of the input to be observed to a wearable device 100, a user area becomes small, wearable device 100 may determine an input interface of a small size. 다만, 이에 한정되는 것은 아니다. However, the embodiment is not limited thereto.

또한, 웨어러블 디바이스(100)는 입력 영역에 대한 제1 깊이 값에 기초하여, 가상의 입력 인터페이스의 크기뿐만 아니라 형태도 결정할 수 있으며, 이에 대해서는 도 7 내지 9를 참조하여, 자세히 설명하기로 한다. In addition, the wearable device 100 based on the first depth values ​​for the input region, will be described with reference to Figures 7 to 9, for this as well as the size of the virtual input interface types also can determine, in detail.

다시, 도 6을 참조하면, 웨어러블 디바이스(100)는 630 단계(S630)에서 결정된 가상의 입력 인터페이스를 610 단계(S610)에서 설정된 입력 영역에 오버랩되도록 디스플레이부(121)에 표시할 수 있다(S640). Again, 6, the wearable device 100 may display on the display unit 121 to overlap the virtual input interface determined in step 630 (S630), the input area is set in step 610 (S610) (S640 ).

또한, 웨어러블 디바이스(100)는 설정된 입력 영역에 대한 제1 깊이 값과 가상의 입력 인터페이스를 터치하는 입력 도구에 대한 제2 깊이 값을 획득하고(S650), 획득된 제1 깊이 값 및 제2 깊이 값에 기초하여, 가상의 입력 인터페이스를 통한 입력 발생 여부를 결정할 수 있다(S660). Further, the wearable device 100 has a first depth value and the acquired a second depth value (S650), it obtains a first depth value and a second depth for the insertion tool to touch the virtual input interface to the set input region based on the value and determine whether or not input through the virtual input interface generated (S660).

도 6의 640 단계(S640) 내지 660 단계(S660)는 도 2의 230 단계(S230) 내지 250 단계(S250)에서 자세히 설명하였으므로, 구체적인 설명은 생략하기로 한다. Step 640 (S640) to step 660 in Fig. 6 (S660) is to hayeoteumeuro detailed in step 230 (S230) through step 250 (S250) in FIG. 2, a detailed description is omitted.

<도 7 내지 도 9> <7 to 9>

도 7 내지 도 9는 설정된 입력 영역의 깊이 값에 따라 표시되는 가상의 입력 인터페이스의 종류 및 크기가 변경되는 일례를 설명하기 위한 도면들이다. 7 to 9 are views for explaining an example where the type and size of the input interface of the virtual display to be changed according to the depth value of the selected input area.

도 7을 참조하면, 웨어러블 디바이스(100)는 사용자가 입력 도구(예를 들어, 손가락, 펜, 막대기 등)를 이용하여, 웨어러블 디바이스(100)로부터 7cm 떨어진 손바닥(710) 위에 입력 영역을 설정하는 모션(예를 들어, 직사각형을 그리는 모션)을 인식할 수 있다. 7, the wearable device 100 by the user using the input tool (e.g., a finger, a pen, stick, etc.), to set the input region over 7cm away from the palm 710 from the wearable device (100) it is possible to recognize the motion (e.g., motion to draw a rectangle). 웨어러블 디바이스(100)는 인식된 모션에 기초하여, 쿼티(QWERTY) 자판(720)을 손바닥(710)에 오버랩되도록 표시할 수 있다. Wearable device 100 may be displayed to overlap the, QWERTY (QWERTY) keyboard 720 based on the recognized motion on the palm (710). 이때, 쿼티 자판(720)은 도 7에 도시된 바와 같이, 입력창('메시지를 입력하세요'가 표시되는 창)을 포함할 수 있으며, 쿼티 자판(720)을 통해 입력되는 문자가 입력창에 표시될 수 있다. At this time, the QWERTY keyboard 720, as illustrated in Figure 7, the input window may include a ( "Please enter your message" the window that is displayed), and the characters that are input through the QWERTY keyboard 720, the input window It can be displayed.

또한, 도 8을 참조하면, 웨어러블 디바이스(100)는 사용자가 입력 도구(예를 들어, 손가락, 펜, 막대기 등)를 이용하여, 웨어러블 디바이스(100)로부터 10cm 떨어진 손바닥(810) 위에 입력 영역을 설정하는 모션(예를 들어, 직사각형을 그리는 모션)을 인식할 수 있다. Also, referring to Figure 8, wearable device 100 includes a user input tool used (e.g., a finger, a pen, stick, etc.), input over 10cm away from the palm 810 from the wearable device (100) regions setting in motion that it can be recognized (for example, to draw a rectangle motion).

손바닥과 웨어러블 디바이스의 거리가 10cm인 경우, 도 7과 같이, 손바닥(710)과 웨어러블 디바이스(100) 사이의 거리가 7cm인 경우에 비해, 웨어러블 디바이스 사용자에게 관측되는 손바닥 크기가 작아질 수 있다. When the distance between the palm and the wearable device is 10cm, as shown in Figure 7, the palm of the hand can be compared with the case of 710 and the wearable device 100, the distance is 7cm between, the smaller the palm-size as measured by a wearable device user. 이에 따라, 웨어러블 디바이스(100)는 천지인과 같은 휴대 단말용 자판(820)을 손바닥(810)에 오버랩되도록 표시할 수 있다. Accordingly, the wearable device 100 may be displayed to overlap the portable terminal keyboard 820 for such as a palm Tenchijin 810.

또한, 도 9를 참조하면, 웨어러블 디바이스(100)는 사용자가 입력 도구(예를 들어, 손가락, 펜, 막대기 등)를 이용하여, 웨어러블 디바이스(100)로부터 15cm 떨어진 손바닥(910) 위에 입력 영역을 설정하는 모션(예를 들어, 직사각형을 그리는 모션)을 인식할 수 있다. Also, referring to Figure 9, a wearable device 100 includes a user input tool used (e.g., a finger, a pen, stick, etc.), the input area over 15cm away from the palm 910 from the wearable device (100) setting in motion that it can be recognized (for example, to draw a rectangle motion).

손바닥(910)과 웨어러블 디바이스(100)의 거리가 15cm인 경우, 도 8과 같이, 손바닥(810)과 웨어러블 디바이스(100) 사이의 거리가 10cm인 경우에 비해, 웨어러블 디바이스 사용자에게 관측되는 손바닥 크기가 작아질 수 있다. Palm 910 and if the distance is 15cm of wearable device 100, as shown in Figure 8, the palm 810 and the wearable device 100 compared to the case where a distance of 10cm between the palm observed to wearable device user size that can be reduced. 이에 따라, 웨어러블 디바이스(100)는 필기 입력 창(920)을 손바닥(910)에 오버랩되도록 표시할 수 있다. Accordingly, the wearable device 100 may be displayed to overlap the handwriting input window 920 in the palm 910.

도 7 내지 도 9에서는, 손바닥(설정된 입력 영역)과 웨어러블 디바이스(100) 사이의 거리가 커지는 경우(입력 영역에 대한 제1 깊이 값이 커지는 경우), 쿼티(QWERTY) 자판(720), 휴대 단말용 자판(820), 필기 입력 창(920) 순서로 가상의 입력 인터페이스가 결정되는 것으로 도시하고 설명하였지만, 이에 한정되는 것은 아니다. The portable terminal also in the 7 to 9, when the distance between the palm of the hand (set input area) and the wearable device 100 increase (in the first depth values ​​for the input region increases), QWERTY (QWERTY) keyboard 720, Although it is shown and described as being for a keyboard 820, a handwriting input panel 920, the input interface of the order determined by the virtual, and the like. 설명한 것과 반대로, 손바닥(설정된 입력 영역)과 웨어러블 디바이스(100) 사이의 거리가 작아지는 경우(입력 영역에 대한 제1 깊이 값이 작아지는 경우), 필기 입력 창(920), 휴대 단말용 자판(820), 쿼티 자판(720) 순서로 결정될 수도 있으며, 이외에도 다양한 종류의 입력 인터페이스가 결정될 수 있다. As On the other hand, when the distance between the palm of the hand (set input area) and the wearable device 100 may be small (if there is a first depth values ​​for an input area smaller), handwriting input window 920, a keyboard for a portable terminal as described ( 820), may be determined as a QWERTY keyboard 720, in order, it can be determined in addition to the various types of input interfaces.

<도 10> <10>

도 10은 본 발명의 일 실시예에 따른 입력 영역이 설정된 실제 객체의 깊이 값이 변경됨에 따라, 가상의 입력 인터페이스의 종류가 적응적으로 변경되는 일례를 설명하기 위한 도면이다. Figure 10 according to the depth value of the real object, the input area is set in accordance with one embodiment of the present invention changes a view for explaining an example in which the type of the virtual input interfaces change adaptively.

도 10을 참조하면, 웨어러블 디바이스(100)는 사용자가 입력 도구(예를 들어, 손가락, 펜, 막대기 등)를 이용하여, 웨어러블 디바이스(100)로부터 7cm 떨어진 손바닥(1010) 위에 입력 영역을 설정하는 모션(예를 들어, 직사각형을 그리는 모션)을 인식할 수 있다. 10, the wearable device 100 by the user using the input tool (e.g., a finger, a pen, stick, etc.), to set the input region over 7cm away from a palm 1010 from the wearable device (100) it is possible to recognize the motion (e.g., motion to draw a rectangle). 웨어러블 디바이스(100)는 인식된 모션에 기초하여, 쿼티(QWERTY) 자판(1020)을 손바닥(1010)에 오버랩되도록 표시할 수 있다. Wearable device 100 may be displayed to overlap the, QWERTY (QWERTY) keyboard 1020, based on the recognized motion on the palm 1010.

쿼티 자판(1020)이 표시된 상태에서, 사용자는 웨어러블 디바이스(100)와 손바닥(1010) 사이의 거리가 10cm가 되도록 손바닥(1010)을 웨어러블 디바이스(100)로부터 멀리 이동시킬 수 있다. In the QWERTY keyboard 1020 is displayed, the user can move away from the wearable device 100 and the hand 1010, the distance between the palm of the hand so that the 10cm 1010 from the wearable device (100).

손바닥(1010)과 웨어러블 디바이스(100)의 거리가 10cm인 경우, 도 10과 같이, 손바닥(100)과 웨어러블 디바이스(100) 사이의 거리가 7cm인 경우에 비해, 웨어러블 디바이스 사용자에게 관측되는 손바닥 크기가 작아질 수 있다. Hand 1010 and when the distance is 10cm of wearable device 100, as shown in Figure 10, the palm 100 and the wearable device 100 compared to the case where a distance of 7cm between palm observed to wearable device user size that can be reduced. 이에 따라, 웨어러블 디바이스(100)는 표시되는 쿼티 자판(1020) 대신에 천지인과 같은 휴대 단말용 자판(1030)을 손바닥(1010)에 오버랩되도록 표시할 수 있다. Accordingly, the wearable device 100 may be displayed to overlap the keyboard 1030 for the portable terminal, such as Tenchijin instead QWERTY keyboard 1020 is displayed on a palm 1010.

반대로, 웨어러블 디바이스(100)는 사용자가 입력 도구(예를 들어, 손가락, 펜, 막대기 등)를 이용하여, 웨어러블 디바이스(100)로부터 10cm 떨어진 손바닥(1010) 위에 입력 영역을 설정하는 모션(예를 들어, 직사각형을 그리는 모션)을 인식할 수 있다. On the other hand, the wearable device 100 is a motion (for example, for setting up the input area on the insertion tool using a (e.g., a finger, a pen, stick, etc.), 10cm away from a palm 1010 from the wearable device (100) example, you can recognize the motion) to draw a rectangle. 웨어러블 디바이스(100)는 인식된 모션에 기초하여, 휴대 단말용 자판(1030)을 손바닥(1010)에 오버랩되도록 표시할 수 있다. Wearable device 100 on the basis of the recognized motion, can be displayed to overlap the portable terminal keyboard (1030) for the palm of the hand (1010).

휴대 단말용 자판(1030)이 표시된 상태에서, 사용자는 웨어러블 디바이스(100)와 손바닥(1010) 사이의 거리가 7cm가 되도록 손바닥(1010)을 웨어러블 디바이스(100) 가까이 이동시킬 수 있다. While the keyboard 1030 for the portable terminal is displayed, the user wearable device 100 and a palm 1010, a palm 1010, the distance is such that between 7cm to move close to the wearable device (100).

손바닥(1010)과 웨어러블 디바이스(100)의 거리가 7cm인 경우, 도 10과 같이, 손바닥(1010)과 웨어러블 디바이스(100) 사이의 거리가 10cm인 경우에 비해, 웨어러블 디바이스 사용자에게 관측되는 손바닥 크기가 커질 수 있다. Hand 1010 and when the distance is 7cm of wearable device 100, as shown in Figure 10, a palm 1010, and the wearable device 100 compared to the case where a distance of 10cm between the palm observed to wearable device user size that can be large. 이에 따라, 웨어러블 디바이스(100)는 표시되는 휴대 단말용 자판(1030) 대신에 쿼티 자판(1020)을 손바닥(1010)에 오버랩되도록 표시할 수 있다. Accordingly, the wearable device 100 may be displayed to overlap the QWERTY keyboard 1020, a palm 1010, in place of the mobile terminal keyboard 1030 for being displayed.

따라서, 사용자는 실제 객체 위에 입력 영역이 설정된 후에, 실제 객체의 위치(웨어러블 디바이스와 실제 객체 사이의 거리)를 변경함으로써, 표시되는 가상의 입력 인터페이스의 종류를 변경할 수 있다. Thus, the user after the input area is set on a real object, by changing the position of the real object (the distance between the wearable device and the real objects), it is possible to change the type of the virtual input interface displayed.

<도 11> <11>

도 11은 본 발명의 일 실시예에 따른 설정된 입력 영역의 크기 또는 입력 영역 설정 모션에 기초하여, 결정된 가상의 입력 인터페이스를 제공하는 방법을 설명하기 위한 흐름도이다. 11 is a flowchart illustrating a method based on the size or input area of ​​the input motion is set in accordance with an embodiment of the invention the area, provided the determined virtual input interfaces.

도 11을 참조하면, 웨어러블 디바이스(100)는 사용자 모션 등에 기초하여, 입력 영역을 설정할 수 있다(S1110). 11, the wearable device 100 on the basis of a user or the like in motion, it is possible to set an input area (S1110). 이에 대해서는 도 2의 210단계(S210) 및 도 3 내지 5에서 자세히 설명하였으므로, 구체적인 설명은 생략하기로 한다. As it will also hayeoteumeuro detailed in step 210 of 2 (S210) and 3 to 5, a detailed description will be omitted.

웨어러블 디바이스(100)는 설정된 입력 영역의 크기 또는 입력 영역 설정 모션에 기초하여, 가상의 입력 인터페이스의 종류를 결정할 수 있다(S1120). Wearable device 100 based on the size or input area is set in motion in the input area, it is possible to determine the type of the virtual input interfaces (S1120).

예를 들어, 입력 영역의 크기가 제1 임계값 이하인 경우, 웨어러블 디바이스(100)는 제1 크기를 가지는 가상의 입력 인터페이스를 제공할 수 있다. For example, when the size of the input area not more than a first threshold value, wearable device 100 may provide a virtual input interface having a first size.

또한, 입력 영역의 크기가 제1 임계값 보다 크고, 제2 임계 값(제1 임계값 보다 큰 임계값) 이하인 경우, 웨어러블 디바이스(100)는 제2 크기를 가지는 가상의 입력 인터페이스를 제공할 수 있으며, 제2 크기는 제1 크기보다 클 수 있다. In addition, the size of the input area is greater than the first threshold, the second threshold value can be provided (a first threshold larger threshold than the value) or less, wearable device 100 may enter a virtual having a second size Interface and the second size may be larger than the first size.

또한, 웨어러블 디바이스(100)는 사용자가 입력 영역을 설정하기 위해, 허공 또는 실제 객체 위에 그리는 도형에 따라, 다른 종류의 가상의 입력 인터페이스를 제공할 수 있다. Further, the wearable device 100, the user can provide a different type of virtual input interface in accordance with the air or graphics drawn on the physical object in order to set the input region.

예를 들어, 사용자가 입력 영역을 설정하기 위해 제1 도형을 그리는 경우, 웨어러블 디바이스(100)는 제1 도형을 인식하여, 제1 도형에 대응하는 가상의 입력 인터페이스를 제공할 수 있다. For example, if the user draws the first shape in order to set the input region, the wearable device 100 recognizes the first shape, it is possible to provide a virtual input interface corresponding to the first shape. 또한, 사용자가 입력 영역을 설정하기 위해 제2 도형을 그리는 경우, 웨어러블 디바이스(100)는 제2 도형에 대응하는 가상의 입력 인터페이스를 제공할 수 있다. Further, if the user draws a second shape in order to set the input region, wearable device 100 may provide a virtual input interface corresponding to the second shape.

이에 대해서는, 도 12 내지 도 15를 참조하여, 자세히 설명하기로 한다. In the respect, with reference to FIGS. 12 to 15, will be described in detail.

다시, 도 11을 참조하면, 웨어러블 디바이스(100)는 1120 단계(S1120)에서 결정된 가상의 입력 인터페이스를 단계에서 설정된 입력 영역에 오버랩되도록 디스플레이부(121)에 표시할 수 있다(S1130). Again with reference to Figure 11, the wearable device 100 may display on the display unit 121 so that the overlap of the virtual input interface determined in step 1120 (S1120) to the input area set in the step (S1130).

또한, 웨어러블 디바이스(100)는 설정된 입력 영역에 대한 제1 깊이 값과 가상의 입력 인터페이스를 터치하는 입력 도구에 대한 제2 깊이 값을 획득하고(S1140), 획득된 제1 깊이 값 및 제2 깊이 값에 기초하여, 가상의 입력 인터페이스를 통한 입력 발생 여부를 결정할 수 있다(S1150). Further, the wearable device 100 has a first depth value and the acquired a second depth value (S1140), it obtains a first depth value and a second depth for the insertion tool to touch the virtual input interface to the set input region based on the value and determine whether or not input through the virtual input interface generating (S1150).

도 11의 1130 단계(S1130) 내지 1150 단계(S1150)는 도 2의 230 단계(S230) 내지 250단계(S250)에서 자세히 설명하였으므로, 구체적인 설명은 생략하기로 한다. Step 1130 (S1130) to 1150 steps in Fig. 11 (S1150) is to hayeoteumeuro detailed in step 230 (S230) through step 250 (S250) in FIG. 2, a detailed description is omitted.

<도 12 및 도 13> <12 and 13>

도 12 및 도 13은 설정된 입력 영역의 크기에 따라 표시되는 가상의 입력 인터페이스의 종류가 변경되는 일례를 설명하기 위한 도면들이다. 12 and 13 are views for explaining an example where the type of the virtual input interface displayed according to the size of the input area is set to change.

도 12의 (a)에 도시된 바와 같이, 웨어러블 디바이스 사용자는 책상(1210) 위에 입력 영역을 설정하기 위한 도형을 그릴 수 있다. As shown in (a) of Figure 12, the wearable device, the user can draw the geometry for setting an input area on the table 1210. 예를 들어, 웨어러블 디바이스 사용자는 양 손을 이용하여, 책상 위에 제1 크기(예를 들어, 20cm X 10cm)의 사각형(1220)을 그릴 수 있다. For example, wearable device user using both hands, the first size on the table may draw a rectangle 1220 of (for example, 20cm X 10cm). 이때, 웨어러블 디바이스(100)는 웨어러블 디바이스 사용자가 양 손을 이용하여 사각형을 그리는 모션을 입력 영역을 설정하는 모션으로 인식할 수 있다. In this case, the wearable device 100 may recognize a motion input to set the area of ​​motion to draw a rectangle to a user wearable device using both hands.

또한, 웨어러블 디바이스(100)는 도 12의 (b)에 도시된 바와 같이, 사각형(1220)을 그리는 모션에 응답하여, 가상의 피아노 건반(1230)을 인식된 사각형 영역에 오버랩되도록 표시할 수 있다. Further, the wearable device 100 as shown in Figure 12 (b), in response to the motion to draw a rectangle 1220 may be displayed to overlap the rectangular area recognize the piano keys 1230 of the virtual . 이때, 표시되는 가상의 피아노 건반의 크기는 사각형(1220)의 크기(예를 들어, 20cm X 10cm)에 따라 결정될 수 있다. At this time, the size of a virtual piano keyboard that is displayed can be determined according to the size of the squares 1220 (e.g., 20cm X 10cm).

도 13의 (a)에 도시된 바와 같이, 웨어러블 디바이스 사용자는 책상(1310) 위에 입력 영역을 설정하기 위한 도형을 그릴 수 있다. As shown in Figure 13 (a), wearable device, the user can draw the geometry for setting an input area on the table 1310. 예를 들어, 웨어러블 디바이스 사용자는 양 손을 이용하여, 책상 위에 제2 크기(예를 들어, 10cm X 10cm)의 사각형(1320)을 그릴 수 있다. For example, wearable device user with both hands, it is possible to draw a rectangle 1320 of the second size on the table (e.g., 10cm X 10cm). 이때, 웨어러블 디바이스(100)는 웨어러블 디바이스 사용자가 양 손을 이용하여 사각형을 그리는 모션을 입력 영역을 설정하는 모션으로 인식할 수 있다. In this case, the wearable device 100 may recognize a motion input to set the area of ​​motion to draw a rectangle to a user wearable device using both hands.

또한, 웨어러블 디바이스(100)는 도 13의 (b)에 도시된 바와 같이, 사각형을 그리는 모션에 응답하여, 가상의 피아노 건반(1330)을 인식된 사각형 영역에 오버랩되도록 표시할 수 있다. Further, wearable device 100 may be displayed to overlap the rectangular area, in response to the motion to draw a rectangle, recognizing the piano keys 1330, the virtual, as shown in (b) of Fig. 이때, 표시되는 가상의 피아노 건반의 크기는 사각형의 크기(예를 들어, 10cm X 10cm)에 따라 결정될 수 있다. At this time, the size of a virtual piano keyboard that is displayed can be determined according to the size (e.g., 10cm X 10cm) of the rectangle.

또한, 웨어러블 디바이스(100)는 입력 영역의 크기에 따라, 크기뿐만 아니라 형태가 다른 가상의 입력 인터페이스를 제공할 수 있다. Further, wearable device 100 may, depending on the size of the input region, as well as the size of the form is provided to the other input of the virtual interface.

도 12의 (b) 및 도 13의 (b)를 참조하면, 도 12의 (b)에 도시된 가상의 피아노 건반(1230, 제1 피아노 건반)은 한 줄로 표시되는 피아노 건반일 수 있으며, 도 13의 (b)에 도시된 가상의 피아노 건반(1330, 제2 피아노 건반)은 두 줄로 표시되는 피아노 건반일 수 있다. (B), and a virtual piano keyboard (1230, the first piano key) shown in (b) of Fig. Referring to (b) of 13, 12 of Figure 12 may be a piano keyboard is displayed on a single line, and Fig. of the virtual shown in 13 (b) piano key (1330, second piano keyboard) may be a piano keyboard displayed on two lines. 다만, 이에 한정되는 것은 아니다. However, the embodiment is not limited thereto.

<도 14 및 15> <14 and 15>

도 14 및 도 15는 입력 영역을 설정하는 모션에 따라 표시되는 가상의 입력 인터페이스의 종류가 변경되는 일례를 설명하기 위한 도면들이다. 14 and 15 are views for explaining an example where the type of the virtual input interface displayed in accordance with the motion to set the input region changed.

도 14의 (a)에 도시된 바와 같이, 웨어러블 디바이스 사용자가 손바닥(1410)에 손가락(1420)을 이용하여, 사각형(1430)을 그리는 경우, 웨어러블 디바이스(100)는 이미지 센서(111)를 이용하여, 사각형을 그리는 모션을 인식할 수 있으며, 사각형(1430)을 입력 영역으로 설정할 수 있다. As shown in Figure 14 (a), a wearable device when a user using a finger 1420, a palm 1410, to draw a rectangle 1430, a wearable device 100 includes an image sensor (111) and, it is possible to recognize the motion to draw a rectangle, it is possible to set a rectangle 1430 with the input area.

이때, 웨어러블 디바이스(100)는 도 14의 (b)에 도시된 바와 같이, 인식된 사각형 영역에 가상의 휴대 단말용 자판(1450)이 오버랩되도록 디스플레이부(121)에 표시할 수 있다. In this case, the wearable device 100 may display on the display unit 121 so that the portable terminal keyboard 1450 for the virtual overlap on the recognized rectangular area as shown in (b) of Fig. 예를 들어, 웨어러블 디바이스(100)는 투명 디스플레이 또는 불투명 디스플레이에 가상의 휴대 단말용 자판(1450)을 표시할 수 있다. For example, wearable device 100 may display a keyboard 1450 for the virtual portable terminal display to a transparent or opaque display.

도 15의 (a)에 도시된 바와 같이, 웨어러블 디바이스 사용자가 손바닥(1510)에 손가락(1520)을 이용하여, 원(1530)을 그리는 경우, 웨어러블 디바이스(100)는 이미지 센서(111)를 이용하여, 원을 그리는 모션을 인식할 수 있으며, 원을 입력 영역으로 설정할 수 있다. As it is shown in Figure 15 (a), the wearable device user using a finger 1520, a palm 1510, when drawing a circle (1530), wearable device 100 includes an image sensor (111) and, it is possible to recognize the motion draws a circle, the circle can be set to the writing area.

이때, 웨어러블 디바이스(100)는 도 15의 (b)에 도시된 바와 같이, 인식된 원형 영역에 가상의 다이얼 패드(1550)가 오버랩되도록 디스플레이부(121)에 표시할 수 있다. In this case, the wearable device 100 may display on the display unit 121 so as to be, a dial pad (1550) of the virtual circle overlaps the recognized region as shown in (b) of Fig. 예를 들어, 웨어러블 디바이스(100)는 투명 디스플레이 또는 불투명 디스플레이에 가상의 다이얼 패드(1550)를 표시할 수 있다. For example, wearable device 100 may display a dial pad (1550) of the virtual display in a transparent or non-transparent display.

따라서, 본 발명의 일 실시예에 따른 웨어러블 디바이스(100)는 입력 영역을 설정하는 모션의 종류에 따라 다른 형태의 가상 입력 인터페이스를 제공할 수 있으며, 모션의 종류에 따라 제공되는 가상 입력 인터페이스의 종류, 크기, 형태 등에 관한 정보는 웨어러블 디바이스(100)에 저장되어 있을 수 있다. Thus, the wearable device 100 in accordance with one embodiment of the invention may provide a different type of virtual input interface according to the type of motion to set the input region, the type of the virtual input interface provided in accordance with the type of motion , information about the size, shape or the like may be stored in the wearable device (100).

<도 16> <16>

도 16은 본 발명의 일 실시예에 따른 입력 영역이 설정된 객체에 기초하여, 결정된 가상의 입력 인터페이스를 제공하는 일례를 나타내는 도면이다. 16 is a view based on the object, the input area is set in accordance with one embodiment of the present invention, showing an example of providing the determined virtual input interfaces.

도 16의 (a)를 참조하면, 웨어러블 디바이스 사용자는 책상 위에 입력 영역을 설정하기 위한 도형(예를 들어, 사각형)을 그릴 수 있다. Referring to (a) of FIG. 16, the wearable device, the user can draw the shapes (e.g., rectangular) for setting an input area on the table. 예를 들어, 웨어러블 디바이스 사용자는 양 손을 이용하여, 책상 위에 사각형을 그릴 수 있다. For example, wearable device user with both hands, it is possible to draw a rectangle on the table.

웨어러블 디바이스(100)는 웨어러블 디바이스 사용자가 양 손을 이용하여, 사각형을 그리는 모션을 입력 영역을 설정하는 모션으로 인식하여, 책상 위에 그려진 사각형 영역을 입력 영역으로 설정할 수 있다. Wearable device 100 recognizes the motion of the wearable device user using both hands, set the input region the motion to draw a rectangle, it can be set to a rectangular area drawn on the table with the input area.

이때, 입력 영역이 설정된 실제 객체가 책상(1610)인 경우, 웨어러블 디바이스 사용자는 양 손 입력이 가능하므로, 웨어러블 디바이스(100)는 쿼티 자판(1620)을 가상의 입력 인터페이스로 결정할 수 있다. At this time, if the physical object, the input area is set in a desk 1610, wearable device user because the hands input is possible, wearable device 100 may determine a QWERTY keyboard 1620 as the input virtual interface.

또한, 웨어러블 디바이스(100)는 쿼티 자판(1620)을 책상의 사각형 영역에 오버랩되도록 디스플레이부(121)에 표시할 수 있다. Further, the wearable device 100 is a QWERTY keyboard 1620 can be displayed on the display unit 121 to overlap the rectangular area of ​​the desk. 예를 들어, 웨어러블 디바이스(100)는 투명 디스플레이 또는 불투명 디스플레이에 가상의 쿼티 자판(1620)을 표시할 수 있다. For example, wearable device 100 may display a QWERTY keyboard 1620 in the virtual display in a transparent or non-transparent display.

한편, 도 16의 (b)를 참조하면, 웨어러블 디바이스 사용자는 손바닥() 위에 입력 영역을 설정하기 위한 도형(예를 들어, 사각형)을 그릴 수 있다. On the other hand, referring to (b) of FIG. 16, the wearable device, the user can draw the shapes (e.g., rectangular) for setting an input area on the palm of the hand (). 예를 들어, 웨어러블 디바이스 사용자는 손가락을 이용하여, 손바닥(1630) 위에 사각형을 그릴 수 있다. For example, wearable device user using a finger, it is possible to draw a rectangle on the palm of the hand 1630.

웨어러블 디바이스(100)는 웨어러블 디바이스 사용자가 손가락을 이용하여, 사각형을 그리는 모션을 입력 영역을 설정하는 모션으로 인식하여, 손바닥(1630) 위에 그려진 사각형 영역을 입력 영역으로 설정할 수 있다. Wearable device 100 includes a wearable device by a user using a finger, it can be set to recognize the motion to draw a rectangle as a motion for setting an input area, a rectangular area drawn on the palm of the hand 1630 as the writing area.

이때, 입력 영역이 설정된 실제 객체가 손바닥(1630)인 경우, 웨어러블 디바이스 사용자는 한 손 입력만 가능하므로, 웨어러블 디바이스(100)는 휴대 단말용 자판을 가상의 입력 인터페이스로 결정할 수 있다. At this time, if the physical object, the input area is set in a palm 1630, a user wearable device because only one-handed input, wearable device 100 may determine a keyboard for a mobile terminal to a virtual input interfaces.

또한, 웨어러블 디바이스(100)는 휴대 단말용 자판(1640)을 손바닥의 사각형 영역에 오버랩되도록 디스플레이부에 표시할 수 있다. Further, wearable device 100 may display on the display portion to overlap a keyboard (1640) for a mobile terminal in a rectangular region of the palm. 예를 들어, 웨어러블 디바이스(100)는 투명 디스플레이 또는 불투명 디스플레이에 가상의 휴대 단말용 자판(1640)을 표시할 수 있다. For example, wearable device 100 may display a keyboard 1640 for the virtual portable terminal display to a transparent or opaque display.

또는, 입력 영역의 색상에 따라, 가상의 입력 인터페이스의 색상을 결정할 수 있다. Or, depending on the color of the source region, it may determine the color of the virtual input interfaces. 예를 들어, 입력 영역의 색상이 제1 색상인 경우, 가상의 입력 인터페이스의 색상을 제1 색상과 다른 제2 색상 또는 제1 색상의 보색인 제3 색상으로 결정할 수 있다. For example, if the color is the first color of the source region, it may determine the color of the virtual input interface with a first color and a second, different color or complementary color of the third color of the first color. 이에 따라, 사용자는 입력 영역에 오버랩되어 표시되는 가상의 입력 인터페이스를 입력 영역으로부터 용이하게 구별할 수 있다. Accordingly, the user can easily distinguish the virtual input interface displayed overlap on the input region from the input region.

<도 17> <17>

도 17A 내지 도 17C는 본 발명의 일 실시예에 따른 웨어러블 디바이스가 입력 영역이 설정되는 실제 객체의 종류에 기초하여, 결정된 가상의 입력 인터페이스를 제공하는 일례를 나타내는 도면들이다. Figs. 17A to 17C on the basis of the type of real-world objects which the wearable device is input area in accordance with one embodiment of the present invention, are diagrams showing an example of providing the determined virtual input interfaces.

도 17A 내지 도 17C는 사용자가 웨어러블 디바이스를 착용하고, 책을 읽다가 책 위에 입력 영역을 설정하는 모션을 수행하는 경우를 예로 들어 설명하기로 한다. Figs. 17A to 17C will be described a case that the user wears the wearable device, while reading a book performs motion for setting an input area on a book as an example.

본 발명의 일 실시예에 따른, 웨어러블 디바이스(100)는 이미지 센서(111)를 이용하여, 입력 영역이 설정되는 실제 객체의 종류를 인식할 수 있다. , Wearable device 100 in accordance with one embodiment of the present invention can be by using the image sensor 111, recognizing the type of the physical object that is the input area. 예를 들어, 도 17A에 도시된 바와 같이, 웨어러블 디바이스(100)는 이미지 센서(111)를 이용하여, 책(1700) 위에 입력 도구(1701)를 이용하여 사각형(1710)을 그리는 사용자의 모션을 감지할 수 있다. For example, as shown in Fig. 17A, the wearable device 100 is an image sensor 111, the user's motion to draw a rectangle 1710 with a book Language over 1700 1701 It can be detected. 이때, 웨어러블 디바이스(100)는 영상 처리를 통해, 입력 영역이 그려지는 실제 객체가 책(1700)이라는 것을 식별할 수 있으며, 이에 따라 책(1700)에 대응하는 가상의 입력 인터페이스로 메모장을 결정할 수 있다. In this case, the wearable device 100 through the image processing, the input region to be drawn can be identified that the physical object book 1700, this may according determine the notepad to the virtual input interface corresponding to the book 1700 have.

도 17B에 도시된 바와 같이, 웨어러블 디바이스(100)는 가상의 메모장(1720)을 책(1700)에 설정된 입력 영역에 오버랩되도록 투명 디스플레이 또는 불투명 디스플레이에 표시할 수 있다. A, wearable device 100 as shown in FIG 17B can be displayed on a transparent display or a non-transparent display to overlap the notepad 1720 of the virtual input region set in the book (1700).

또한, 본 발명의 일 실시예에 따른 웨어러블 디바이스(100)는 영상 처리를 통해, 책(1700)에서 텍스트 또는 이미지가 표시되지 않는 여백 부분을 입력 영역으로 설정하고, 가상의 메모장(1720)을 여백 부분에 오버랩되도록 투명 디스플레이 또는 불투명 디스플레이에 표시할 수 있다. Further, the wearable device 100 in accordance with one embodiment of the present invention through the image processing, and sets the margin portion is not the text or images displayed in a book 1700 to the input area, the margin a notepad 1720 for the virtual to overlap the part may be displayed on a transparent display or a non-transparent display.

또한, 웨어러블 디바이스(100)는 책(1700)에 대한 제1 깊이 값과 입력 도구(1701)에 대한 제2 깊이 값을 획득하고, 제1 깊이 값 및 제2 깊이 값에 기초하여, 입력이 발생하는 경우, 입력되는 가상의 메모장(1720) 위에 표시할 수 있다. Further, the wearable device 100 based on the first depth value and the received a second depth value, the first depth value and the second depth values ​​for the Language 1701 to the book 1700, the generated input It can be displayed on a virtual notepad 1720 to be input, if applicable.

또한, 도 17C에 도시된 바와 같이, 웨어러블 디바이스(100)는 가상의 메모장 위에 표시되는 입력 데이터(1730)를 사용자 입력에 기초하여, 저장할 수 있다. In addition, the, wearable device 100 as shown in Figure 17C on the basis of the input data 1730 that is displayed over the virtual notepad to user input, may be stored.

이에 따라, 사용자는 웨어러블 디바이스(100)를 착용하고 책(1700)을 읽는 경우, 가상의 메모장을 이용하여, 중요한 정보를 용이하게 저장할 수 있다. Accordingly, if a user is reading a book and wearing a wearable device 1700 (100), using a virtual notepad, you can easily save your important information.

<도 18> <18>

도 18은 본 발명의 일 실시예에 따른 입력 영역을 설정하는 입력 도구에 기초하여, 결정된 가상의 입력 인터페이스를 제공하는 일례를 나타내는 도면이다. 18 is a view based on the input tool for setting an input area according to one embodiment of the present invention, showing an example of providing the determined virtual input interfaces.

도 18을 참조하면, 웨어러블 디바이스 사용자는 입력 도구(예를 들어, 손가락, 펜 등)를 이용하여, 허공 또는 실제 객체 위에 입력 영역을 설정하기 위한 도형(예를 들어, 사각형)을 그릴 수 있다. Referring to Figure 18, the wearable device, the user can draw the Language using (e.g., a finger, a pen, etc.), air or the actual shape for setting an input area on the object (e.g., rectangle).

웨어러블 디바이스(100)는 웨어러블 디바이스 사용자가 입력 도구를 이용하여 사각형을 그리는 모션을 입력 영역을 설정하는 모션으로 인식하여, 허공 또는 실제 객체 위에 그려진 사각형 영역을 입력 영역으로 설정할 수 있다. Wearable device 100 recognizes the motion to draw a rectangle to a user wearable device using the input motion to the tool to set the input area, it is possible to set a rectangular area drawn over the air or the actual objects in the input area.

입력 영역이 설정되면, 웨어러블 디바이스(100)는 입력 영역을 설정하는 입력 도구에 기초하여, 가상의 입력 인터페이스를 결정할 수 있다. If the input area, wearable device 100 based on the input tool for setting an input area, it is possible to determine the virtual input interfaces.

예를 들어, 도 18의 (a)에 도시된 바와 같이, 입력 영역(1820)을 설정하는 입력 도구가 손가락(1810)인 경우, 웨어러블 디바이스(100)는 손가락(1810)을 이용하여 터치하기 쉬운 휴대 단말용 자판(1830)을 가상의 입력 인터페이스로 결정할 수 있다. For example, as illustrated in (a) of Figure 18, the insertion tool for setting an input area 1820, the finger 1810 of the case, the wearable device 100 is an easy-to-touch by using a finger 1810 the portable terminal keyboard 1830 for a can be determined in the virtual input interfaces.

이에 따라, 웨어러블 디바이스(100)는 가상의 휴대 단말용 자판(1830)을 설정된 사각형 영역(1810)에 오버랩되도록 디스플레이부(121)에 표시할 수 있으며, 웨어러블 디바이스(100)는 투명 디스플레이 또는 불투명 디스플레이에 가상의 휴대 단말용 자판(1830)을 표시할 수 있다. Accordingly, the wearable device 100 may display on the display unit 121 to overlap a fictitious mobile rectangular area 1810 is set to for the keyboard 1830 terminals, wearable device 100 includes a transparent display or a non-transparent display the can display a keypad 1830 for the virtual portable terminal.

한편, 도 17의 (b)에 도시된 바와 같이, 입력 영역(1840)을 설정하는 입력 도구가 펜(1850)인 경우, 웨어러블 디바이스(100)는 펜(1850)을 이용하여 입력하기 쉬운 필기 입력 창(1860)을 가상의 입력 인터페이스로 결정할 수 있다. On the other hand, the input when the input tool for setting the area (1840) of the pen (1850), wearable device 100 may handwriting input easy-to-input using a pen (1850) as shown in (b) of Figure 17 a window (1860) may be determined as the virtual input interfaces.

이에 따라, 웨어러블 디바이스(100)는 가상의 필기 입력 창(1860)을 설정된 사각형 영역(1840)에 오버랩되도록 디스플레이부(121)에 표시할 수 있으며, 웨어러블 디바이스(100)는 투명 디스플레이 또는 불투명 디스플레이에 가상의 필기 입력 창(1860)을 표시할 수 있다. Accordingly, the wearable device 100 may display on the display unit 121 to overlap the rectangular area 1840 is set handwriting input window (1860) of a virtual, wearable device 100 to the transparent display or a non-transparent display it is possible to display the virtual handwriting input window (1860).

<도 19> <19>

도 19는 본 발명의 일 실시예에 따른 웨어러블 디바이스에서 실행되고 있는 어플리케이션에 기초하여, 결정된 가상의 입력 인터페이스를 제공하는 방법을 나타내는 흐름도이다. 19 is a flow chart illustrating a method based on the application running on the wearable device, according to an embodiment of the invention, provided the determined virtual input interfaces.

도 19를 참조하면, 웨어러블 디바이스(100)는 어플리케이션을 실행시킬 수 있다. 19, wearable device 100 may execute the application. 예를 들어, 웨어러블 디바이스(100)는 웨어러블 디바이스(100)에 설치된 복수의 어플리케이션 중 어느 하나를 선택하여, 실행시킬 수 있다. For example, wearable device 100 by selecting any one of a plurality of applications installed on the wearable device 100, can be executed. 이때, 사용자는 음성 입력 또는 키 입력 등을 이용하여, 어플리케이션을 실행시킬 수 있다. At this time, the user can execute the application by using a voice input or key input.

어플리케이션을 실행시키는 중에 텍스트나 숫자 등의 입력이 필요한 경우(가상의 입력 인터페이스를 표시할 필요가 있는 경우), 웨어러블 디바이스(100)는 사용자 모션 등에 기초하여, 입력 영역을 설정할 수 있다(S1920). If during that run applications that require input, such as text or numbers (when it is necessary to display the input interface of the virtual), wearable device 100 may set the input region on the basis of a user or the like motion (S1920). 이에 대해서는 도 2의 210단계(S210) 및 도 3 내지 5에서 자세히 설명하였으므로, 구체적인 설명은 생략하기로 한다. As it will also hayeoteumeuro detailed in step 210 of 2 (S210) and 3 to 5, a detailed description will be omitted.

웨어러블 디바이스(100)는 실행되는 어플리케이션의 종류에 기초하여, 가상의 입력 인터페이스를 결정할 수 있다(S1930). Wearable device 100 based on the type of application running, it is possible to determine the virtual input interface (S1930).

예를 들어, 실행되는 어플리케이션에서 텍스트 입력을 필요로 하는 경우, 웨어러블 디바이스(100)는 가상의 키보드(예를 들어, 쿼티 자판이나 휴대 단말용 자판 등)를 입력 인터페이스로 결정할 수 있다. For example, in the case that requires text input in the running application, wearable device 100 may determine a keyboard (e.g., QWERTY keyboard or keypad for a portable terminal) by the virtual input interfaces. 또는 실행되는 어플리케이션에서 숫자 입력을 필요로 하는 경우, 웨어러블 디바이스(100)는 가상의 다이얼 패드를 입력 인터페이스로 결정할 수 있다. If you need a numeric type or in an application running, wearable device 100 may determine a virtual dial pad to input interface. 이에 대해서는 도 20을 참조하여, 자세히 설명하기로 한다. As will reference to Fig. 20, it will be described in detail.

웨어러블 디바이스(100)는 결정된 가상의 입력 인터페이스를 설정된 입력 영역에 오버랩되도록 표시할 수 있다(S1940). Wearable device 100 may be displayed to overlap on the input area is set to the determined virtual input interface (S1940).

이때, 웨어러블 디바이스(100)는 증강현실(AR), 혼합현실(MR) 또는 가상현실(VR)의 형태로 가상의 입력 인터페이스를 표시할 수 있다. In this case, the wearable device 100 may display a virtual input interface in the form of augmented reality (AR), a mixed reality (MR) or virtual reality (VR).

예를 들어, 웨어러블 디바이스(100)는 증강현실 또는 혼합현실의 형태로 가상의 입력 인터페이스를 표시하는 경우, 가상의 입력 인터페이스가 입력 영역에 오버랩되어 나타나도록 투명 디스플레이에 가상의 입력 인터페이스를 표시할 수 있다. For example, wearable device 100 when displaying the virtual input interface in the form of augmented reality or mixed reality, the input interface of the virtual to display a virtual input interface to the transparent display to appear overlaps the input area, have.

또한, 웨어러블 디바이스(100)는 가상현실의 형태로 가상의 입력 인터페이스를 표시하는 경우, 가상의 입력 인터페이스가 입력 영역에 오버랩되어 나타나도록 불투명 디스플레이에 가상의 입력 인터페이스를 표시할 수 있다. In the case of a wearable display device 100 of the virtual type interface in the form of virtual reality, the input interface of the virtual interface to display a virtual input to the non-transparent display to appear to overlap the input area.

웨어러블 디바이스(100)는 설정된 입력 영역에 대한 제1 깊이 값과 가상의 입력 인터페이스를 터치하는 입력 도구에 대한 제2 깊이 값을 획득할 수 있다(S1950). Wearable device 100 may obtain a first depth value with the second depth values ​​for the input tool to touch the virtual input interface for the input area is set (S1950).

웨어러블 디바이스(100)는 제1 깊이 값과 제2 깊이 값을 비교하여, 가상의 입력 인터페이스를 통한 입력 발생 여부를 결정할 수 있다(S1960). Wearable device 100 first compares the depth value and the second depth value, it is possible to determine whether or not input through the virtual input interface generating (S1960).

도 19의 1940 단계(S1940) 내지 1960 단계(S1960)는 도 2의 230 단계(S230) 내지 250단계(S250)에 대응하므로, 구체적인 설명은 생략하기로 한다. Step 1940 (S1940) to step 1960 (S1960) of Figure 19 because it corresponds to the step 230 (S230) through step 250 (S250) in FIG. 2, a detailed description will be omitted.

<도 20> <20>

도 20은 본 발명의 일 실시예에 따른 실행되는 어플리케이션의 종류에 기초하여, 결정된 가상의 입력 인터페이스가 제공되는 일례를 나타내는 도면이다. 20 is a view based on the type of application executed in accordance with an embodiment of the present invention, showing an example provided with a determined type of the virtual interface.

웨어러블 디바이스(100)는 사용자 입력에 기초하여, 통화 어플리케이션을 실행시킬 수 있다. Wearable device 100 based on user input, it is possible to execute the call application. 예를 들어, 음성 입력이나 키 입력 등을 이용하여, 통화 어플리케이션을 실행시킬 수 있다. For example, using the voice input or key input, etc., it is possible to execute the call application.

통화 어플리케이션이 실행되는 경우, 웨어러블 디바이스 사용자는 통화를 요청할 상대방 단말의 전화번호를 입력하기 위한 가상의 입력 인터페이스를 표시하기 위해, 입력 영역을 설정할 수 있다. When a call application is executed, wearable device user, to set the input region for displaying a virtual input interface for inputting a telephone number of the other party terminal to request a call. 예를 들어, 웨어러블 디바이스는 손바닥에 입력 영역을 설정하는 모션을 인식하여, 손바닥에 입력 영역을 설정할 수 있다. For example, wearable device by recognizing the motion for setting an input area on a palm, it is possible to set the input region in the palm of a hand.

또한, 웨어러블 디바이스(100)는 현재 실행중인 어플리케이션에 대응하는 가상의 입력 인터페이스를 결정하고, 도 20의 (a)에 도시된 바와 같이, 입력 영역으로 설정된 손바닥(2010)에 가상의 다이얼 패드(2020)가 오버랩되도록 투명 디스플레이 또는 불투명 디스플레이에 표시할 수 있다. Further, the wearable device 100, a dial pad of a virtual on hand (2010) is set to the input area (2020, as shown in determining a virtual input interface, in Fig. 20 (a) corresponding to the currently running application ) it can be displayed on a transparent display or a non-transparent display to overlap.

한편, 웨어러블 디바이스(100)는 사용자 입력에 기초하여, 메모장 어플리케이션을 실행시킬 수 있다. On the other hand, wearable device 100 may be based on a user input, executing the notepad application. 예를 들어, 사용자는 음성 입력이나 키 입력 등을 이용하여, 메모장 어플리케이션을 실행시킬 수 있다. For example, a user may be by using a voice input or key input, execution of a notepad application.

메모장 어플리케이션이 실행되는 경우, 웨어러블 디바이스 사용자는 텍스트를 입력하기 위한 가상의 입력 인터페이스를 표시하기 위해, 입력 영역을 설정할 수 있다. When a notepad application execution, wearable device user, to set the input region for displaying a virtual input interface for inputting text. 예를 들어, 웨어러블 디바이스는 손바닥에 입력 영역을 설정하는 모션을 인식하여, 손바닥에 입력 영역을 설정할 수 있다. For example, wearable device by recognizing the motion for setting an input area on a palm, it is possible to set the input region in the palm of a hand.

또한, 웨어러블 디바이스(100)는 현재 실행중인 어플리케이션에 대응하는 가상의 입력 인터페이스를 결정하고, 도 20의 (b)에 도시된 바와 같이, 입력 영역으로 설정된 손바닥(2010)에 가상의 휴대 단말용 자판(2030)이 오버랩되도록 투명 디스플레이 또는 불투명 디스플레이에 표시할 수 있다. Further, the wearable device 100 keyboard for the virtual portable terminal to the palm (2010) set to the input area as shown in Figure 20 determines the virtual input interface, and (b) corresponding to the currently running application 2030 can be displayed on a transparent display or a display non-transparent so that the overlap. 다만, 이에 한정되는 것은 아니다. However, the embodiment is not limited thereto.

<도 21> <21>

도 21은 본 발명의 일 실시예에 따른 실행되는 컨텐츠의 종류에 기초하여, 결정된 가상의 입력 인터페이스를 설명하기 위한 도면이다. 21 is based on the type of content to be executed in accordance with an embodiment of the present invention, a diagram illustrating the determined virtual input interfaces.

본 발명의 일 실시예에 따른 웨어러블 디바이스(100)는 웨어러블 디바이스(100)에서 실행 중인 컨텐츠의 종류에 기초하여, 표시할 가상의 입력 인터페이스를 결정할 수 있다. Wearable device in accordance with one embodiment of the present invention (100) on the basis of the types of content that are running on the wearable device 100 may determine a virtual type interface to display.

컨텐츠는 정지 영상, 동영상, 텍스트, 웹 페이지 등을 포함할 수 있으나, 이에 한정되는 것은 아니다. Content, but may include still images, video, text, web pages, etc., but it is not limited thereto. 예를 들어, 컨텐츠는 교육 컨텐츠, 영화 컨텐츠, 방송 컨텐츠, 게임 컨텐츠, 광고 컨텐츠, 사진 컨텐츠, 뉴스 컨텐츠 등을 포함할 수 있다. For example, the content may include educational content, movie content, broadcasting content, game content, advertising content, photo content, including news content.

컨텐츠를 실행한다는 것은 컨텐츠의 표시, 컨텐츠의 출력, 컨텐츠의 재생 등을 포함할 수 있다. It should execute the content, and the like of the display content, the output of the content, reproduction of the content.

도 21을 참조하면, 웨어러블 디바이스(100)는 게임 컨텐츠(2110)를 실행하는 중에 입력 영역을 설정하는 사용자 모션을 감지할 수 있다. Referring to Figure 21, wearable device 100 may sense the user's motion to set the input area during execution of the game contents (2110). 이 경우, 웨어러블 디바이스(100)는 게임 컨텐츠(2110)에 대응하는 가상의 게임 컨트롤 패널(2115)을 설정된 입력 영역에 오버랩되도록 투명 디스플레이 또는 불투명 디스플레이에 표시할 수 있다. In this case, the wearable device 100 may display on the display a transparent or non-transparent display of the virtual game control panel 2115 corresponding to the game contents (2110) is set to overlap the input area.

또한, 웨어러블 디바이스(100)는 음악 컨텐츠(2120, 예를 들어, 드럼 연주 컨텐츠)를 실행하는 중에 입력 영역을 설정하는 사용자 모션을 감지할 수 있다. Further, wearable device 100 may sense the user's motion to set the input area during execution of the music content (2120, for example, drums content). 이 경우, 웨어러블 디바이스(100)는 음악 컨텐츠(2120)에 대응하는 드럼 연주 패널(2125)을 설정된 입력 영역에 오버랩되도록 투명 디스플레이 또는 불투명 디스플레이에 표시할 수 있다. In this case, the wearable device 100 may display on the display a transparent or non-transparent display to overlap the drums panel 2125 corresponding to the music content 2120 to the set input region.

또한, 웨어러블 디바이스(100)는 웹 페이지(2130)를 표시하는 중에 입력 영역을 설정하는 사용자 모션을 감지할 수 있다. Further, wearable device 100 may sense the user's motion to set the input region while displaying a Web page 2130. 이 경우, 웨어러블 디바이스(100)는 웹 페이지에서 정보를 검색할 수 있도록 가상의 키보드(2135)를 설정된 입력 영역에 오버랩되도록 투명 디스플레이 또는 불투명 디스플레이에 표시할 수 있다. In this case, the wearable device 100 may be displayed on a transparent display or a display non-transparent so that the overlap region is set to the input keyboard (2135) for virtual to retrieve information from a Web page.

<도 22 및 도 23> <22 and 23>

도 22 및 도 23은 본 발명의 일 실시예에 따른 웨어러블 디바이스가 이전에 가상의 입력 인터페이스가 제공되었던 실제 객체를 인식하는 경우, 이전에 제공되었던 가상의 입력 인터페이스와 동일한 가상의 입력 인터페이스를 제공하는 일례를 나타내는 도면이다. 22 and 23, if recognizing the physical object that was provided by the input interface of the virtual before the wearable device in accordance with one embodiment of the present invention, to provide a previous same virtual type interface and a virtual input interface that was provided to the a diagram showing an example.

도 22의 (a)에 도시된 바와 같이, 웨어러블 디바이스 사용자가 손바닥(2210)에 손가락(2220)을 이용하여, 사각형(2230)을 그리는 경우, 웨어러블 디바이스(100)는 이미지 센서(111)를 이용하여, 사각형(2230)을 그리는 모션을 인식할 수 있으며, 사각형(2230)을 입력 영역으로 설정할 수 있다. As it is shown in Figure 22 (a), a wearable device when a user using a finger 2220 into the palm 2210, to draw a rectangle 2230, wearable device 100 includes an image sensor (111) and, it is possible to recognize the motion to draw a rectangle 2230, a rectangle can be set 2230 to the input area.

이때, 웨어러블 디바이스(100)는 현재 실행 중인 어플리케이션의 종류에 기초하여, 표시할 가상의 입력 인터페이스의 종류를 결정할 수 있다. In this case, the wearable device 100 may determine, the type of the virtual input interface to be displayed on the basis of the type of application that is currently running. 예를 들어, 텍스트 입력이 필요한 메모장 어플리케이션이 실행 중인 경우, 웨어러블 디바이스(100)는 가상의 입력 인터페이스로 휴대 단말용 자판(2250)을 결정할 수 있다. For example, if you are a notepad application executing text input is required, wearable device 100 may determine a keyboard 2250 for the portable terminal as a virtual input interfaces. 다만, 이에 한정되는 것은 아니다. However, the embodiment is not limited thereto.

웨어러블 디바이스(100)는 도 22의 (b)에 도시된 바와 같이, 인식된 사각형 영역에 가상의 휴대 단말용 자판(2250)이 오버랩되도록 디스플레이부에 표시할 수 있다. Wearable device 100 may display on the display unit such that the portable terminal keyboard 2250 for the virtual overlap on the recognized rectangular area as shown in (b) Fig. 예를 들어, 웨어러블 디바이스(100)는 투명 디스플레이 또는 불투명 디스플레이에 가상의 휴대 단말용 자판(2250)을 표시할 수 있다. For example, wearable device 100 may display a keyboard 2250 for the virtual portable terminal display to a transparent or opaque display.

이후에, 웨어러블 디바이스(100)는 메모장 어플리케이션을 실행 중에, 가상의 입력 인터페이스가 제공되었던 실제 객체(2220, 도 22의 (b)에 도시된 손바닥)와 동일한 객체를 인식할 수 있다. Then, the wearable device 100 during execution of the notepad application, can be used to identify the same object as the (a hand shown in 2220, Fig. 22 (b)), the actual object is an input interface of the virtual was provided.

예를 들어, 도 23의 (a)에 도시된 바와 같이, 웨어러블 디바이스(100)는 이미지 센서(111)를 이용하여, 사용자의 손바닥(2210)을 감지할 수 있다. For example, as illustrated in Figure 23 (a), wearable device 100 may use the image sensor 111, it detects the user's hand 2210. 이때, 웨어러블 디바이스(100)는 영상 처리를 통해, 인식된 사용자의 손바닥(2210)이 가상의 입력 인터페이스가 제공되었던 실제 객체(2210, 도 22의 (b)에 도시된 손바닥)라는 것을 식별할 수 있다. In this case, the wearable device 100 through the image processing, the palm of the recognized user 2210 can identify that (a hand shown in 2210, Fig. 22 (b)), the actual object is an input interface of the virtual was provided have.

가상의 입력 인터페이스가 제공되었던 실제 객체(2210, 도 22의 (b)에 도시된 손바닥)가 인식되는 경우, 웨어러블 디바이스(100)는 23의 (b)에 도시된 바와 같이, 이전에 제공하였던 가상의 입력 인터페이스와 동일한 가상의 입력 인터페이스를 이전에 설정되었던 입력 영역에 제공할 수 있다. If the physical object is a virtual input interface that was provided (2210, the hand shown in (b) Fig. 22) is recognized, wearable device 100 as shown in 23 (b), a virtual who previously provided the same virtual input interface and an input interface can be provided before the input area has been set to.

예를 들어, 사용자가 입력 영역을 설정하기 위해, 입력 도구를 이용하여, 사각형을 그리는 동작을 수행하지 않아도, 웨어러블 디바이스(100)는 이전에 제공하였던 가상의 휴대 단말용 자판(2250)을 이전에 설정되었던 손바닥의 입력 영역(2270)에 오버랩되도록 투명 디스플레이 또는 불투명 디스플레이에 표시할 수 있다. For example, for users to set an input area, by using an input tool, do not need to perform an operation to draw a rectangle, a wearable device 100 prior to the keyboard 2250 for the virtual portable terminal who had previously provided the to overlap the input region 2270 was set in the palm of the hand can be displayed on a transparent display or a non-transparent display.

따라서, 사용자는 과거에 가상의 입력 인터페이스가 표시되던 실제 객체를 인식시킴으로써, 과거에 제공되었던 가상의 입력 인터페이스를 제공받을 수 있다. Accordingly, the user is recognized by the release of the real objects in the virtual input interface shown in the past, it can be provided with a virtual input interface that was provided in the past.

<도 24> <24>

도 24는 본 발명의 일 실시예에 따른 허공에 설정된 입력 영역에 가상의 입력 인터페이스를 제공하는 방법을 나타내는 흐름도이다. 24 is a flowchart illustrating a method for providing a virtual type interface of the input area is set in the air according to an embodiment of the present invention.

도 24를 참조하면, 웨어러블 디바이스(100)는 허공에 입력 영역을 설정할 수 있다(S2410). Referring to Figure 24, wearable device 100 may set the input region in the air (S2410). 예를 들어, 도 3의 (a)에서 설명한 바와 같이, 웨어러블 디바이스(100)는 사용자가 입력 도구(예를 들어, 손가락, 펜, 막대기 등)를 이용하여, 허공에 그리는 도형을 인식하고, 인식된 도형에 대응하는 영역을 입력 영역으로 설정할 수 있다. For example, as described in FIG. 3 (a), using a wearable device 100 by the user input tool (e.g., a finger, a pen, stick, etc.), it recognizes the shapes to draw in the air, the recognition the area corresponding to the figure can be set to the writing area.

웨어러블 디바이스(100)는 가상의 입력 인터페이스를 결정할 수 있다(S2420). Wearable device 100 may determine a virtual input interface (S2420).

예를 들어, 웨어러블 디바이스(100)는 설정된 입력 영역의 속성에 기초하여, 가상의 입력 인터페이스를 결정할 수 있다. For example, wearable device 100 may determine the type of the virtual interface based on the property of the input area is set. 웨어러블 디바이스(100)는 입력 영역의 크기, 모양, 입력 영역과 웨어러블 디바이스 간의 거리(입력 영역에 대한 제1 깊이 값) 및 입력 영역 설정 모션 중 적어도 하나에 기초하여, 디스플레이부(121)에 표시할 가상의 입력 인터페이스를 결정할 수 있다. Wearable device 100 based on at least one of (a first depth values ​​for the input area) and the input area size, shape, type area the distance between the wearable device in the input region in motion, to be displayed on the display unit 121 It may determine the virtual input interfaces.

또는, 웨어러블 디바이스(100)는 실행되는 어플리케이션 또는 컨텐츠의 종류에 기초하여, 가상의 입력 인터페이스를 결정할 수 있다. Alternatively, the wearable device 100 on the basis of the application or the type of content to be executed, it is possible to determine the virtual input interfaces. 예를 들어, 실행되는 어플리케이션에서 텍스트 입력을 필요로 하는 경우, 웨어러블 디바이스(100)는 가상의 키보드(예를 들어, 쿼티 자판이나 휴대 단말용 자판 등)를 입력 인터페이스로 결정할 수 있다. For example, in the case that requires text input in the running application, wearable device 100 may determine a keyboard (e.g., QWERTY keyboard or keypad for a portable terminal) by the virtual input interfaces. 또는 실행되는 어플리케이션에서 숫자 입력을 필요로 하는 경우, 웨어러블 디바이스(100)는 가상의 다이얼 패드를 입력 인터페이스로 결정할 수 있다. If you need a numeric type or in an application running, wearable device 100 may determine a virtual dial pad to input interface.

웨어러블 디바이스(100)는 결정된 가상의 입력 인터페이스를 설정된 입력 영역에 오버랩되도록 표시할 수 있다(S2430). Wearable device 100 may be displayed to overlap on the input area is set to the determined virtual input interface (S2430).

이때, 웨어러블 디바이스(100)는 증강현실(AR), 혼합현실(MR) 또는 가상현실(VR)의 형태로 가상의 입력 인터페이스를 표시할 수 있다. In this case, the wearable device 100 may display a virtual input interface in the form of augmented reality (AR), a mixed reality (MR) or virtual reality (VR).

예를 들어, 증강현실 또는 혼합현실의 형태로 가상의 입력 인터페이스를 표시하는 경우, 웨어러블 디바이스(100)는, 투명 디스플레이를 투과하여 관측되는 입력 영역(현실 세계의 2차원 또는 3차원 공간)에 가상의 입력 인터페이스가 오버랩되도록, 투명 디스플레이에 가상의 입력 인터페이스를 표시할 수 있다. For example, if the display of the virtual input interface in the form of augmented reality or mixed reality, wearable device 100, the virtual input region to be observed to pass through the transparent display (two-dimensional or three-dimensional space of the real world) such that the input interface is overlapped, it is possible to display the input interface of the virtual display in a transparent.

또는, 가상현실의 형태로 가상의 입력 인터페이스를 표시하는 경우, 웨어러블 디바이스(100)는 입력 영역(현실 세계의 2차원 또는 3차원 공간)을 포함하는 제1 이미지(실사 영상)를 촬영하고, 촬영된 제1 이미지의 입력 영역에 가상의 입력 인터페이스(가상 영상)를 추가하여 제2 이미지를 생성할 수 있다. Or, the case of displaying the input interface of the virtual in the form of virtual reality, wearable device 100 may record the first image (real image) that includes an input area (2-D or 3-D space in the real world), taken in the input field of the first image may be added to the input interface of a virtual (virtual image) generating a second image. 웨어러블 디바이스(100)는 가상의 입력 인터페이스가 입력 영역에 오버랩된 제2 이미지를 불투명 디스플레이에 표시할 수 있다. Wearable device 100 may display the second image input interface for the virtual overlapping the input area on the non-transparent display.

웨어러블 디바이스(100)는 설정된 입력 영역에 대한 제1 깊이 값과 가상의 입력 인터페이스를 터치하는 입력 도구에 대한 제2 깊이 값을 획득할 수 있다(S2440). Wearable device 100 may obtain a first depth value with the second depth values ​​for the input tool to touch the virtual input interface for the input area is set (S2440).

웨어러블 디바이스(100)는 깊이 센서(112)를 이용하여, 웨어러블 디바이스(100)에서 설정된 입력 영역까지의 거리(설정된 입력 영역의 깊이 값, 제1 깊이 값)를 측정할 수 있다. Wearable device 100 may be measured by using a depth sensor 112, the distance to the input region set by the wearable device 100 (the depth value, the depth value of the first set input area).

예를 들어, 입력 영역이 허공에 설정된 경우, 웨어러블 디바이스(100)는 허공에 입력 영역을 설정하는 입력 도구(예를 들어, 손가락, 펜 등)에 대한 깊이 값을 측정하여, 입력 영역에 대한 제1 깊이 값을 획득할 수 있다. For example, when the input area is set in the air, the wearable device 100 may determine the depth value for the Language for setting an input area in the air (e.g., a finger, a pen, etc.), agents for the input area 1 may obtain the depth value.

한편, 설정된 입력 영역이 동일한 평면 상에 존재하지 않는 경우, 설정된 입력 영역의 깊이 값은 복수일 수 있다. On the other hand, when the set input region does not exist on the same plane, the depth value of the selected input region may be a plurality. 입력 영역의 깊이 값이 복수일 경우, 제1 깊이 값은 복수의 깊이 값을 평균한 평균 깊이 값, 복수의 깊이 값 중 가장 작은 최소 깊이 값, 복수의 깊이 값 중 최대 깊이 값 중 하나일 수 있으나, 이에 한정되는 것은 아니다. If the depth value of entry areas a plurality, the first depth value can be one of a mean depth values ​​mean a plurality of depth values, the smallest minimum depth value of the plural depth values ​​and maximum depth value of the plural depth values, but , and the like.

또한, 웨어러블 디바이스(100)는 깊이 센서(112)를 이용하여, 웨어러블 디바이스(100)에서 가상의 입력 인터페이스를 터치하는 입력 도구까지의 거리(입력 도구에 대한 깊이 값, 제2 깊이 값)를 측정할 수 있다. Further, wearable device 100 may measure the distance (depth value for the input tool, a second depth value) to the input tool by using a depth sensor 112, touch a fictitious input interface on the wearable device 100 can do.

입력 도구가 3차원 물체인 경우, 입력 도구의 깊이 값은 복수일 수 있다. If the input tool, the three-dimensional object, the depth values ​​of the input tool may be a plurality. 입력 도구의 깊이 값이 복수일 경우, 제2 깊이 값은 복수의 깊이 값을 평균한 평균 깊이 값, 복수의 깊이 값 중 가장 작은 최소 깊이 값, 복수의 깊이 값 중 최대 깊이 값 중 하나일 수 있으나, 이에 한정되는 것은 아니다. If the depth value in the Language plurality, the second depth value can be one of a mean depth values ​​mean a plurality of depth values, the smallest minimum depth value of the plural depth values ​​and maximum depth value of the plural depth values, but , and the like.

예를 들어, 입력 도구를 사용하여, 가상의 입력 인터페이스를 터치하는 경우, 입력 도구와 가상의 입력 인터페이스가 접촉하는 지점(입력 도구의 끝 점)을 제2 깊이 값으로 할 수 있다. For example, by using an input tool, if the touch input of a virtual interface, it is possible to the point at which the input tool and a virtual interface of the input contact (end point of the Language) to a second depth value.

또한, 웨어러블 디바이스(100)는 깊이 센서(112)를 이용하여, 움직이는 입력 도구를 실시간으로 추적할 수 있으며, 실시간으로 변하는 제2 깊이 값을 계산할 수 있다. Further, the wearable device 100 by using a depth sensor 112, it is possible to track the moving the insertion tool in real time, it is possible to calculate a second depth value that varies in real time.

웨어러블 디바이스(100)는 제1 깊이 값과 제2 깊이 값을 비교할 수 있다(S2450). Wearable device 100 may compare the first depth value and the second depth value (S2450).

예를 들어, 웨어러블 디바이스(100)는 제2 깊이 값이 제1 깊이 값보다 큰 지를 판단하여, 제2 깊이 값이 제1 깊이 값과 큰 경우, 가상의 입력 인터페이스를 통한 입력이 발생한 것으로 결정할 수 있다(S2460). For example, wearable device 100 when the second to determine if the depth value is greater than the first depth value, a second depth value, the first depth value and large, can be determined to have occurred is input via a virtual input interface It is (S2460).

반면에, 웨어러블 디바이스(100)는 제2 깊이 값이 제1 깊이 값보다 작은 경우, 가상의 입력 인터페이스를 통한 입력이 발생하지 않은 것으로 결정할 수 있다(S2470). On the other hand, the wearable device 100, if the depth is less than the second value is a first depth value, may determine that it does not occur is input via the virtual input interface (S2470).

이에 대해서는 도 25를 참조하여, 자세히 설명하기로 한다. As will refer to Fig. 25 to, there will be described in detail.

<도 25> <25>

도 25는 입력영역이 허공에 설정된 경우, 가상의 입력 인터페이스를 통한 입력 발생 여부를 결정하는 방법을 설명하기 위해 참조되는 도면이다. Figure 25 when the input area is set in the air, a view for explaining a method of determining whether or not input through the virtual input of the interface occurs.

도 25를 참조하면, 웨어러블 디바이스(100)는 허공에 설정된 입력 영역에 가상의 키보드(2510)가 오버랩되어 나타나도록 투명 디스플레이 또는 불투명 디스플레이에 가상의 키보드(2510)를 표시할 수 있다. 25, a wearable device 100 may display the keyboard 2510, the virtual display in a transparent or non-transparent display to show the keyboard 2510, the virtual overlaps the input area is set in the air.

또한, 웨어러블 디바이스(100)는 깊이 센서(112)를 이용하여, 가상의 키보드(2510)에 대한 제1 깊이 값을 측정할 수 있다. In addition, the wearable device 100 by using the depth sensor 112, it is possible to measure a first depth value for the keyboard 2510, a virtual.

한편, 웨어러블 디바이스(100)는 웨어러블 디바이스(100)를 착용한 사용자가 이동하더라도, 제1 깊이 값을 갖는 입력 영역에 계속해서 가상의 입력 인터페이스(2510, 예를 들어, 가상의 키보드)가 오버랩되어 나타나도록 투명 디스플레이 또는 불투명 디스플레이에 가상의 키보드(2510)를 표시할 수 있다. On the other hand, the wearable device 100 even when the user wearing the wearable device 100 moves, the continues to the input region having a first depth value by the overlap of the virtual input interface (2510, for example, a virtual keyboard) transparent or opaque display to appear on the display can display a keyboard (2510) of the virtual. 예를 들어, 웨어러블 디바이스(100)는 사용자가 걷는 중이더라도 깊이 센서(112)를 이용하여, 웨어러블 디바이스(100)로부터 소정 거리(제1 깊이 값)만큼 떨어진 영역에 계속해서 가상의 키보드(2510)가 오버랩되어 나타나도록 조절할 수 있다. For example, wearable device 100 by the user and using the running, even if the depth sensor 112 to walk, given from a wearable device 100, the distance (a first depth value) as to continue the virtual keyboard 2510, a remote area the overlap can be adjusted to appear.

또한, 도 25를 참조하면, 웨어러블 디바이스 사용자는 손가락(2520)을 이용하여, 허공에 나타나는 가상의 키보드(2510)를 터치함으로써, 데이터를 입력할 수 있다. Also, Referring to Figure 25, the wearable device by a user using a finger 2520, a touch screen keyboard 2510 appears in the air, may enter data.

이때, 웨어러블 디바이스(100)는 가상의 키보드(2510)를 터치하는 사용자의 손가락(2520)에 대한 깊이 값(제2 깊이 값)을 측정하여, 가상의 키보드(2510)를 통한 입력 발생 여부를 결정할 수 있다. In this case, the wearable device 100 by measuring the depth value (the second depth values) for the user's finger 2520 to touch the keyboard 2510, the virtual, determining whether input through the keyboard 2510, the virtual generated can.

예를 들어, 도 25의 (a)에 도시된 바와 같이, 사용자는 가상의 키보드(2510)에 표시되는 일부 버튼을 선택하기 위해 손가락(2520)을 가상의 키보드 근처로 가져갈 수 있다. For example, as illustrated in (a) of Figure 25, the user can take the finger 2520 to the vicinity of a virtual keyboard to select some buttons displayed on the keyboard 2510, a virtual. 이때, 사용자의 손가락(2520)이 가상의 키보드(2510)가 나타나는 입력 영역을 통과하지 않은 경우, 손가락(2520)에 대한 제2 깊이 값은 제1 깊이 값보다 작을 수 있다. At this time, when the user's finger 2520 that do not go through the keyboard input area 2510 of the virtual appear, the second depth values ​​for the finger 2520 may be smaller than the first depth value.

웨어러블 디바이스(100)는 손가락(2520)에 대한 제2 깊이 값이 제1 깊이 값보다 작은 경우, 사용자가 가상의 키보드(2510)를 터치하지 않은 것으로 인식할 수 있으며, 가상의 키보드(2510)를 통한 입력이 발생되지 않은 것으로 결정할 수 있다. Wearable device 100 when the second depth values ​​for the finger 2520 is less than the first depth value, and the user can recognize that it does not touch the keyboard 2510, the virtual, the keyboard 2510, the virtual It may determine that the input via not occur.

반면에, 도 25의 (b)에 도시된 바와 같이, 사용자의 손가락(2520)이 가상의 키보드(2510)가 나타나는 입력 영역을 통과하는 경우, 손가락(2520)에 대한 제2 깊이 값은 제1 깊이 값보다 클 수 있다. As on the other hand, as shown in (b) of Figure 25, if the user's finger 2520 is passing through the input area, a keyboard 2510, a virtual appear, the second depth values ​​for the finger 2520 has a first depth may be greater than the value.

웨어러블 디바이스(100)는 손가락(2520)에 대한 제2 깊이 값이 제1 깊이 값보다 큰 경우, 사용자가 가상의 키보드(2510)를 터치한 것으로 인식할 수 있다. Wearable device 100 when the second depth values ​​for the finger (2520) greater than the first depth value, the user can recognize that the touch keyboard 2510, a virtual.

또한, 웨어러블 디바이스(100)는 가상의 키보드(2510)를 사용자가 터치한 것으로 인식되는 경우, 이미지 센서(111)를 이용하여, 가상의 키보드(2510) 상의 사용자의 손가락(2520) 위치를 검출할 수 있다. Further, when the wearable device 100 recognizes that the user touches the keyboard 2510, the virtual, using the image sensor 111, to detect the user's finger (2520) located on the keyboard 2510, the virtual can. 웨어러블 디바이스(100)는 검출된 손가락 위치에 기초하여, 사용자의 입력 데이터를 결정할 수 있다. Wearable device 100 based on the detected finger position, it is possible to determine the user's input data. 예를 들어, 사용자의 손가락(2520)이 가상의 키보드에 포함된 'enter' 버튼을 통과하고 있는 경우, 웨어러블 디바이스(100)는 사용자가 'enter' 버튼을 선택한 것으로 판단할 수 있다. For example, if the user's finger 2520 is passing the 'enter' button, included in the virtual keyboard, wearable device 100 may determine that the user has selected the 'enter' button.

본 발명의 일 실시예에 따르면, 웨어러블 디바이스(100)는 사용자가 허공에 설정한 입력 영역에 대한 제1 깊이 값과 가상의 입력 인터페이스를 터치하는 입력 도구(예를 들어, 손가락, 펜 등)에 대한 제2 깊이 값을 비교함으로써, 허공에 제공되는 가상의 입력 인터페이스를 통한 사용자의 입력 발생 여부를 정확히 판단할 수 있다. According to one embodiment of the invention, the wearable device 100 is input tool which the user touches the first depth value and the imaginary input interface to one input area set in the air (e.g., a finger, a pen, etc.) by comparison for the second depth value, it is possible to accurately determine whether the user's input occurs through a virtual input interface provided in the air.

<도 26> <26>

도 26은 본 발명의 일 실시예에 따른 허공 또는 실제 객체에 설정된 입력 영역에 가상의 입력 인터페이스를 제공하는 방법을 나타내는 흐름도이다. 26 is a flowchart illustrating a method for providing a virtual interface of the input to the set input region in the air or a physical object according to an embodiment of the present invention.

도 26을 참조하면, 웨어러블 디바이스(100)는 허공 또는 실제 객체 위에 입력 영역을 설정할 수 있다(S2610). Referring to Figure 26, the wearable device 100 may be set in the air or an input area on a real object (S2610). 예를 들어, 도 3에서 설명한 바와 같이, 웨어러블 디바이스(100)는 사용자가 입력 도구(예를 들어, 손가락, 펜, 막대기 등)를 이용하여, 허공 또는 실제 객체(예를 들어, 손바닥, 책상, 벽 등) 위에 그리는 도형을 인식하고, 인식된 도형에 대응하는 영역을 입력 영역으로 설정할 수 있다. For example, as described in Figure 3, the wearable device 100 by the user using the input tool (e.g., a finger, a pen, stick, etc.), air or a physical object (e.g., a hand, a desk, recognizing a shape drawn on a wall, etc.), and the area corresponding to the recognized shape can be set to the writing area.

또는, 도 4에서 설명한 바와 같이, 웨어러블 디바이스(100)는 기 설정된 객체를 인식하여, 인식된 객체에 대응하는 영역을 입력 영역으로 설정할 수 있다. Alternatively, as described in Figure 4, the wearable device 100 to recognize a predetermined object, and can set the area corresponding to the recognized object as the input area.

또는, 도 5에서 설명한 바와 같이, 웨어러블 디바이스(100)는 사용자가 입력 도구를 이용하여, 기 설정된 객체를 터치하는 동작을 인식하여, 터치된 객체에 대응하는 영역을 입력 영역으로 설정할 수 있다. Alternatively, as described in Figure 5, the wearable device 100 by the user using an input tool, recognizing an operation of touching a predetermined object, and can set the area corresponding to the object with the touch input area.

웨어러블 디바이스(100)는 가상의 입력 인터페이스를 결정할 수 있다(S2620). Wearable device 100 may determine a virtual input interface (S2620).

예를 들어, 웨어러블 디바이스(100)는 설정된 입력 영역의 속성에 기초하여, 가상의 입력 인터페이스를 결정할 수 있다. For example, wearable device 100 may determine the type of the virtual interface based on the property of the input area is set. 웨어러블 디바이스(100)는 입력 영역의 크기, 모양, 입력 영역과 웨어러블 디바이스 간의 거리(입력 영역에 대한 제1 깊이 값), 입력 영역이 설정된 실제 객체의 종류, 입력 영역 설정 모션 중 적어도 하나에 기초하여, 디스플레이부(121)에 표시할 가상의 입력 인터페이스를 결정할 수 있다. The wearable device 100 based on the size of the input area, shape, type area and a distance between the wearable device (first depth values ​​for the input area), the type of physical object, the input area is set, at least one of a setting input area motion and determine a virtual input interface to be displayed on the display unit 121. the

또는, 웨어러블 디바이스(100)는 실행되는 어플리케이션 또는 컨텐츠의 종류에 기초하여, 가상의 입력 인터페이스를 결정할 수 있다. Alternatively, the wearable device 100 on the basis of the application or the type of content to be executed, it is possible to determine the virtual input interfaces. 예를 들어, 실행되는 어플리케이션에서 텍스트 입력을 필요로 하는 경우, 웨어러블 디바이스(100)는 가상의 키보드(예를 들어, 쿼티 자판이나 휴대 단말용 자판 등)를 입력 인터페이스로 결정할 수 있다. For example, in the case that requires text input in the running application, wearable device 100 may determine a keyboard (e.g., QWERTY keyboard or keypad for a portable terminal) by the virtual input interfaces. 또는 실행되는 어플리케이션에서 숫자 입력을 필요로 하는 경우, 웨어러블 디바이스(100)는 가상의 다이얼 패드를 입력 인터페이스로 결정할 수 있다. If you need a numeric type or in an application running, wearable device 100 may determine a virtual dial pad to input interface.

웨어러블 디바이스(100)는 결정된 가상의 입력 인터페이스를 설정된 입력 영역에 오버랩되도록 표시할 수 있다(S2630). Wearable device 100 may be displayed to overlap on the input area is set to the determined virtual input interface (S2630).

이때, 웨어러블 디바이스(100)는 증강현실(AR), 혼합현실(MR) 또는 가상현실(VR)의 형태로 가상의 입력 인터페이스를 표시할 수 있다. In this case, the wearable device 100 may display a virtual input interface in the form of augmented reality (AR), a mixed reality (MR) or virtual reality (VR).

예를 들어, 웨어러블 디바이스(100)는 증강현실 또는 혼합현실의 형태로 가상의 입력 인터페이스를 표시하는 경우, 가상의 입력 인터페이스가 입력 영역에 오버랩되어 나타나도록 투명 디스플레이에 가상의 입력 인터페이스를 표시할 수 있다. For example, wearable device 100 when displaying the virtual input interface in the form of augmented reality or mixed reality, the input interface of the virtual to display a virtual input interface to the transparent display to appear overlaps the input area, have.

또한, 웨어러블 디바이스(100)는 가상현실의 형태로 가상의 입력 인터페이스를 표시하는 경우, 가상의 입력 인터페이스가 입력 영역에 오버랩되어 나타나도록 불투명 디스플레이에 가상의 입력 인터페이스를 표시할 수 있다. In the case of a wearable display device 100 of the virtual type interface in the form of virtual reality, the input interface of the virtual interface to display a virtual input to the non-transparent display to appear to overlap the input area.

도 26의 2630단계(S2630)는 도 24의 2430단계(S2430)와 동일하므로, 구체적인 설명은 생략하기로 한다. Step 2630 (S2630) of Figure 26 is the same as the step 2430 (S2430) of Figure 24, a detailed description will be omitted.

웨어러블 디바이스(100)는 설정된 입력 영역에 대한 제1 깊이 값과 가상의 입력 인터페이스를 터치하는 입력 도구에 대한 제2 깊이 값을 획득할 수 있다(S2640). Wearable device 100 may obtain a first depth value with the second depth values ​​for the input tool to touch the virtual input interface for the input area is set (S2640).

예를 들어, 입력 영역이 허공에 설정된 경우, 웨어러블 디바이스(100)는 허공에 입력 영역을 설정하는 입력 도구(예를 들어, 손가락, 펜 등)에 대한 깊이 값을 측정하여, 입력 영역에 대한 제1 깊이 값을 획득할 수 있다. For example, when the input area is set in the air, the wearable device 100 may determine the depth value for the Language for setting an input area in the air (e.g., a finger, a pen, etc.), agents for the input area 1 may obtain the depth value.

또한, 입력 영역이 실제 객체 위에 설정된 경우, 웨어러블 디바이스(100)는 실제 객체의 깊이 값(웨어러블 디바이스로부터 실제 객체까지의 거리)을 측정하여, 입력 영역에 대한 제1 깊이 값을 획득할 수 있다. Further, when the input area is set on the physical object, wearable device 100 by measuring the depth values ​​of the actual object (the distance from the wearable device to the physical object), it is possible to obtain a first depth values ​​for the input region.

또한, 웨어러블 디바이스(100)는 깊이 센서(112)를 이용하여, 웨어러블 디바이스(100)에서 가상의 입력 인터페이스를 터치하는 입력 도구까지의 거리(입력 도구에 대한 깊이 값, 제2 깊이 값)를 측정할 수 있다. Further, wearable device 100 may measure the distance (depth value for the input tool, a second depth value) to the input tool by using a depth sensor 112, touch a fictitious input interface on the wearable device 100 can do.

또한, 웨어러블 디바이스(100)는 깊이 센서(112)를 이용하여, 움직이는 입력 도구를 실시간으로 추적할 수 있으며, 실시간으로 변하는 제2 깊이 값을 계산할 수 있다. Further, the wearable device 100 by using a depth sensor 112, it is possible to track the moving the insertion tool in real time, it is possible to calculate a second depth value that varies in real time.

웨어러블 디바이스(100)는 제1 깊이 값과 제2 깊이 값의 차이값을 기 설정된 임계값과 비교할 수 있다(S2650). Wearable device 100 may be compared with a threshold value set based on the difference between the first depth value and the second depth value (S2650).

예를 들어, 웨어러블 디바이스(100)는 제1 깊이 값과 제2 깊이 값의 차이 값이 임계값보다 작은 지를 판단하여, 제1 깊이 값과 제2 깊이 값의 차이 값이 임계값보다 작은 경우, 가상의 입력 인터페이스를 통한 입력이 발생한 것으로 결정할 수 있다(S2660). For example, wearable device 100 includes a first difference value between the depth values ​​and a second depth value to determine if less than the threshold value, the difference value of the first depth value and the second depth is less than the threshold value when, can be determined to have occurred is input via a virtual input interface (S2660).

반면에, 웨어러블 디바이스(100)는 제1 깊이 값과 제2 깊이 값의 차이 값이 임계값 이상인 경우, 가상의 입력 인터페이스를 통한 입력이 발생하지 않은 것으로 결정할 수 있다(S2670). On the other hand, the wearable device 100 is not less than the difference value of the first depth value and a second depth value, a threshold value can be determined to be not generated input through the virtual input interface (S2670).

이에 대해서는 도 27을 참조하여, 자세히 설명하기로 한다. As will refer to Fig. 27, it will be described in detail.

<도 27> <27>

도 27은 입력 영역이 실제 객체에 설정된 경우, 가상의 입력 인터페이스를 통한 입력 발생 여부를 결정하는 방법을 설명하기 위해 참조되는 도면이다. Figure 27 when the input area is set to a real object, a view for explaining a method of determining whether or not input through the virtual input of the interface occurs.

도 27을 참조하면, 웨어러블 디바이스(100)는 실제 객체(예를 들어, 손바닥)에 설정된 입력 영역에 가상의 키보드(2730)가 오버랩되어 나타나도록 투명 디스플레이 또는 불투명 디스플레이에 가상의 키보드(2730)를 표시할 수 있다. Referring to Figure 27, the wearable device 100 is a keyboard (2730) for virtual to a transparent display or a non-transparent display to show the keyboard (2730) of the virtual overlap the set input region to the actual object (e.g., the palm) It can be displayed.

또한, 웨어러블 디바이스(100)는 깊이 센서(112)를 이용하여, 손바닥(2710)에 대한 제1 깊이 값을 측정할 수 있다. Further, the wearable device 100 by using a depth sensor 112, it is possible to measure a first depth value of the hand 2710.

한편, 웨어러블 디바이스(100)는 손바닥(2710)의 위치가 변하더라도, 손바닥(2710)을 실시간으로 추적할 수 있으며, 실시간으로 변하는 제1 깊이 값을 계산하여, 계속해서 손바닥(2710)에 가상의 키보드(2730)가 오버랩되어 나타나도록 조절할 수 있다. On the other hand, even if the wearable device 100 may change the position of the palm of the hand 2710, which can track the hand 2710 in real time, by calculating a first depth value that varies in real time, continuously fictitious a palm 2710 You can adjust the keyboard to appear (2730) overlap.

또한, 도 27을 참조하면, 웨어러블 디바이스 사용자는 손가락(2720)을 이용하여, 손바닥(2710)에 나타나는 가상의 키보드(2730)를 터치함으로써, 데이터를 입력할 수 있다. Also, Referring to Figure 27, the wearable device user using a finger 2720, by touching the virtual keyboard (2730) that appears in the palm of the hand 2710, and to enter data.

이때, 웨어러블 디바이스(100)는 가상의 키보드(2730)를 터치하는 사용자의 손가락(2720)에 대한 깊이 값(제2 깊이 값)을 측정하여, 가상의 키보드(2730)를 통한 입력 발생 여부를 결정할 수 있다. In this case, the wearable device 100 by measuring the depth value (the second depth values) for the user's finger 2720 to touch the keyboard (2730) for virtual, decide whether the input via the keyboard (2730) of the virtual generated can.

도 27의 (a)에 도시된 바와 같이, 사용자는 손가락(2720)이 손바닥(2710)에서 소정 거리 이상 떨어져 있는 경우, 웨어러블 디바이스(100)는 가상의 키보드(2730)를 통한 입력이 발생되지 않은 것으로 결정할 수 있다. As shown in (a) of Figure 27, the user if the finger 2720 is approximately equal to or greater than a predetermined distance from the palm of the hand 2710, wearable device 100 is not generated is input via the keyboard (2730) of the virtual as it can be determined.

예를 들어, 가상의 키보드(2730)가 나타나는 손바닥(2710)에 대한 제1 깊이 값과 손가락에 대한 제2 깊이 값의 차가 임계값 이상인 경우, 사용자가 가상의 키보드(2730)를 터치하지 않은 것으로 인식할 수 있으며, 가상의 키보드(2730)를 통한 입력이 발생되지 않은 것으로 결정할 수 있다. For example, for the second depth value for the first depth value and the finger on the palm of the hand 2710 is a keyboard (2730) of the virtual appearing difference greater than the threshold value, that the user does not touch the keyboard (2730) of the virtual It can be recognized and may determine that the input through a keyboard (2730), the virtual is not generated.

반면에, 도 27의 (b)에 도시된 바와 같이, 사용자가 가상의 키보드(2730)에 표시되는 일부 버튼을 선택하기 위해 손가락(2720)을 가상의 키보드(2730) 근처로 가져갈 수 있다. On the other hand, as shown in (b) of Figure 27, the user can take the finger 2720 to select some of the buttons displayed on the virtual keyboard (2730) near the keyboard (2730) of the virtual. 이때, 손바닥(2710)에 대한 제1 깊이 값과 손가락에 대한 제2 깊이 값의 차가 임계값보다 작은 경우, 사용자가 가상의 키보드(2730)를 터치한 것으로 인식할 수 있다. At this time, if the difference between the first depth value with the second depth values ​​for the finger of the hand 2710 is smaller than the threshold value, the user can recognize that the touch keyboard (2730) of the virtual.

또한, 웨어러블 디바이스(100)는 손바닥(2710)에 대한 제1 깊이 값과 손가락(2720)에 대한 제2 깊이 값의 차가 임계값보다 작은 경우, 이미지 센서(111)를 이용하여, 가상의 키보드(2730) 상의 사용자의 손가락(2720) 위치를 검출할 수 있다. Further, by using a wearable device (100) when the difference of the second depth values ​​for the first depth value and the finger 2720 to the palm of the hand 2710 is less than the threshold, the image sensor 111, a virtual keyboard ( 2730) it is possible to detect the user's finger 2720 on the position. 웨어러블 디바이스(100)는 검출된 손가락(2720) 위치에 기초하여, 사용자의 입력 데이터를 결정할 수 있다. Wearable device 100 based on the detected finger 2720 position, it is possible to determine the user's input data. 예를 들어, 사용자의 손가락(2720)이 가상의 키보드(2730)에 포함된 'enter' 버튼을 통과하고 있는 경우, 웨어러블 디바이스(100)는 사용자가 'enter' 버튼을 선택한 것으로 판단할 수 있다. For example, if the user's finger 2720 is passing the 'enter' button, included in the keyboard (2730) for virtual, wearable device 100 may determine that the user has selected the 'enter' button.

본 발명의 일 실시예에 따르면, 웨어러블 디바이스(100)는 사용자가 허공 또는 실제 객체에 설정한 입력 영역에 대한 제1 깊이 값과 가상의 입력 인터페이스를 터치하는 입력 도구(예를 들어, 손가락, 펜 등)에 대한 제2 깊이 값을 비교함으로써, 허공 또는 실제 객체에 제공되는 가상의 입력 인터페이스를 통한 사용자의 입력 발생 여부를 정확히 판단할 수 있다. According to one embodiment of the invention, the wearable device 100 is input tool which the user touches the first depth value and the imaginary input interface to one input area set in the air or a physical object (e.g., a finger, a pen by comparing the depth values ​​for the second, and so on), it is possible to accurately determine whether the air or generating the user's input through the virtual input interfaces provided on a real object.

<도 28> <28>

도 28은 본 발명의 일 실시예에 따른 입력 영역에 대한 제1 깊이 값과 입력 도구에 대한 제2 깊이 값을 획득하는 방법을 설명하기 위해 참조되는 도면이다. 28 is a view for explaining how to obtain a second depth value for the first depth value and the insertion tool relative to the input area in accordance with one embodiment of the present invention.

도 28에서는 웨어러블 디바이스 사용자가 키보드 입력이 필요한 경우, 손바닥을 입력 영역으로 이용하여, 가상의 키보드를 표시하는 경우를 예로 들어 설명하기로 한다. In Figure 28, when the wearable device users who require keyboard input, using the palm of the hand to the input area, a description for the case of displaying a virtual keyboard, for example.

도 28의 (a)를 참조하면, 사용자는 안경 형태의 웨어러블 디바이스(100, 제1 웨어러블 디바이스)를 착용한 상태에서, 왼손바닥(2820)에 입력 영역을 설정할 수 있으며, 왼손목에 제2 웨어러블 디바이스(2810)를 착용한 상태일 수 있다. Referring to (a) of Figure 28, the user glasses in the form of a wearable device, in a state of wearing (100, first wearable device), and to set the input region to the left bottom (2820), a second wearable on left hand neck may be wearing the device 2810 state. 이때, 제2 웨어러블 디바이스(2810)는 사용자의 손목에 착용할 수 있는 형태일 수 있으며, 시계, 팔찌, 밴드 등을 포함할 수 있으나, 이에 한정되는 것은 아니다. At this time, the second wearable device 2810 may be a type that can be worn on the wrist of the user, but may include a watch, bracelet, band, etc., and the like.

이때, 제2 웨어러블 디바이스(2810)는 위치 센서를 포함할 수 있으며, 위치 센서를 이용하여, 제2 웨어러블 디바이스의 위치 정보를 센싱할 수 있다. At this time, the second wearable device 2810 may include a position sensor, it is possible to, sensing a second position information of wearable devices using a position sensor.

또한, 제1 웨어러블 디바이스(100) 및 제2 웨어러블 디바이스(2810)는 통신부를 포함하여, 서로 데이터를 송수신할 수 있으며, 제2 웨어러블 디바이스(2810)는 센싱된 제2 웨어러블 디바이스의 위치 정보를 제1 웨어러블 디바이스(100)로 송신할 수 있다. Further, the first wearable device 100 and a second wearable device 2810, including a communication section, it is possible to transmit and receive data with each other, a second wearable device 2810 is position information of the sensed second wearable device It can be sent to the first wearable device 100.

한편, 제1 웨어러블 디바이스(100)는 위치 센서를 포함할 수 있으며, 위치 센서를 이용하여, 제1 웨어러블 디바이스(100)의 위치 정보를 센싱할 수 있다. On the other hand, the first wearable device 100 may also may include a position sensor, by using a position sensor, sensing the position information of the first wearable device 100.

제1 웨어러블 디바이스(100)는 센싱된 제1 웨어러블 디바이스의 위치 정보와 수신한 제2 웨어러블 디바이스(2810)의 위치 정보를 비교하여, 제1 웨어러블 디바이스(100)와 제2 웨어러블 디바이스(2810) 사이의 거리를 계산할 수 있다. Claim from 1 wearable device 100 by comparing the location information of a second wearable device 2810 receives the position information of the sensed first wearable device, the first wearable device 100 and a second wearable device 2810 You can calculate the distance.

제2 웨어러블 디바이스(2810)를 착용한 왼 손목이 제1 웨어러블 디바이스(100)로부터 떨어진 거리와 가상의 키보드가 나타나는 입력 영역으로 설정된 왼 손바닥이 제1 웨어러블 디바이스로부터 떨어진 거리는 유사할 수 있다. The left hand may be similar distance away from the first wearable device is set to a distance of the input area and the virtual keyboard is displayed from the second wearable device 2810 by the first left wrist wearable device 100 wearing. 이에 따라, 제1 웨어러블 디바이스(100)는 제2 웨어러블 디바이스(2810)와 제1 웨어러블 디바이스(100) 사이의 거리를 제1 깊이 값으로 할 수 있다. Accordingly, the first wearable device 100 may be the distance between the second wearable device 2810 from the first wearable device 100 to the first depth value.

이에 따라, 제1 웨어러블 디바이스(100)는 제2 웨어러블 디바이스(2810)의 위치 정보를 사용하여, 정확한 제1 깊이 값을 획득할 수 있다. In this way, the first by a wearable device 100 may use the location information of the second wearable device 2810, it is possible to obtain an accurate first depth value.

한편, 도 28의 (b)를 참조하면, 사용자는 안경 형태의 웨어러블 디바이스(제1 웨어러블 디바이스)를 착용한 상태에서, 왼 손바닥(2820)에 입력 영역을 설정할 수 있으며, 오른 손가락(2830)에 제3 웨어러블 디바이스(2850)를 착용한 상태일 수 있다. On the other hand, referring to (b) of Figure 28, the user while wearing the glasses in the form of a wearable device (first wearable device), and to set the input region to the left hand (2820), the right finger 2830 Article may be a state of wearing a wearable device 3 (2850). 이때, 제3 웨어러블 디바이스(2850)는 사용자의 손가락에 착용할 수 있는 형태일 수 있으며, 골무, 반지 등을 포함할 수 있으나, 이에 한정되는 것은 아니다. At this time, the third wearable device 2850 may be a type that can be worn on the finger of the user, but may comprise a thimble, ring, etc., and the like.

이때, 제3 웨어러블 디바이스(2850)는 위치 센서를 포함할 수 있으며, 위치 센서를 이용하여, 제3 웨어러블 디바이스(2850)의 위치 정보를 센싱할 수 있다. In this case, the wearable device 3 (2850) may be may include position sensors, using the position sensor, to sense the location of the third wearable device (2850).

또한, 제1 웨어러블 디바이스(100) 및 제3 웨어러블 디바이스(2850)는 통신부를 포함하여, 서로 데이터를 송수신할 수 있으며, 제3 웨어러블 디바이스(2850)는 센싱된 제3 웨어러블 디바이스(2850)의 위치 정보를 제1 웨어러블 디바이스(100)로 송신할 수 있다. In addition, the position of the first wearable device 100 and a third wearable device 2850, including a communication section, it is possible to transmit and receive data with each other, the third wearable device (2850) is the sensed third wearable device (2850) information can be transmitted to the first wearable device 100.

한편, 제1 웨어러블 디바이스(100)는 위치 센서를 포함할 수 있으며, 위치 센서를 이용하여, 제1 웨어러블 디바이스(100)의 위치 정보를 센싱할 수 있다. On the other hand, the first wearable device 100 may also may include a position sensor, by using a position sensor, sensing the position information of the first wearable device 100.

제1 웨어러블 디바이스(100)는 센싱된 제1 웨어러블 디바이스(100)의 위치 정보와 수신한 제3 웨어러블 디바이스(2850)의 위치 정보를 비교하여, 제1 웨어러블 디바이스(100)와 제3 웨어러블 디바이스(2850) 사이의 거리를 계산할 수 있다. Claim the first wearable device 100 by comparing the location information of the received location information of the sensed first wearable device 100, a third wearable device 2850, the first wearable device 100, a third wearable device ( It may compute the distance between 2850).

도 28의 (b)에 도시된 바와 같이, 제3 웨어러블 디바이스(2850, 예를 들어, 골무)를 착용한 손가락이 가상의 키보드(2840)를 터치하는 입력도구로 사용되는 경우, 골무(2850)의 깊이 값이 손가락(2830)의 깊이 값이 될 수 있으며, 골무(2850, 제3 웨어러블 디바이스)와 제1 웨어러블 디바이스(100) 사이의 거리를 제2 깊이 값으로 할 수 있다. As it is shown in (b) of Figure 28, the third wearable device when used with the insertion tool to touch (2850, e.g., a thimble), the fingers on the virtual keyboard (2840), a wear, a thimble (2850) the value of the depth may be the depth value of the fingers 2830 may be the distance between the thimble (2850, third wearable device) and the first wearable device 100 to the second depth values.

이에 따라, 제1 웨어러블 디바이스(100)는 제3 웨어러블 디바이스(2850)의 위치 정보를 사용하여, 정확한 제1 깊이 값을 획득할 수 있다. Accordingly, the first wearable device 100 by using the position information of the third wearable device (2850), it is possible to obtain an accurate first depth value.

<도 29> <29>

도 29는 본 발명의 일 실시예에 따른 가상의 입력 인터페이스를 통한 입력 발생 여부에 대한 피드백을 제공하는 방법을 나타내는 흐름도이다. 29 is a flowchart illustrating a method for providing feedback as to whether occurrence input through the virtual input interface according to an embodiment of the present invention.

도 29를 참조하면, 웨어러블 디바이스(100)는 입력 영역을 설정할 수 있다(S2910). Referring to Figure 29, wearable device 100 may set the input region (S2910).

입력 영역이 설정되면, 웨어러블 디바이스(100)는 가상의 입력 인터페이스를 결정할 수 있다(S2920). If the input area, wearable device 100 may determine a virtual input interface (S2920).

예를 들어, 웨어러블 디바이스(100)는 설정된 입력 영역의 속성에 기초하여, 가상의 입력 인터페이스를 결정할 수 있다. For example, wearable device 100 may determine the type of the virtual interface based on the property of the input area is set. 웨어러블 디바이스(100)는 입력 영역의 크기, 모양, 입력 영역과 웨어러블 디바이스(100) 간의 거리(입력 영역에 대한 제1 깊이 값) 및 입력 영역 설정 모션 중 적어도 하나에 기초하여, 디스플레이부(121)에 표시할 가상의 입력 인터페이스를 결정할 수 있다. Wearable device 100 based on at least one of (a first depth values ​​for the input area), and an input region set in motion the distance between the size, shape, type area and a wearable device 100 of the input area, the display unit 121 a virtual input interface to display in can be determined.

또는, 웨어러블 디바이스(100)는 실행되는 어플리케이션 또는 컨텐츠의 종류에 기초하여, 가상의 입력 인터페이스를 결정할 수 있다. Alternatively, the wearable device 100 on the basis of the application or the type of content to be executed, it is possible to determine the virtual input interfaces. 예를 들어, 실행되는 어플리케이션에서 텍스트 입력을 필요로 하는 경우, 웨어러블 디바이스(100)는 가상의 키보드(예를 들어, 쿼티 자판이나 휴대 단말용 자판 등)를 입력 인터페이스로 결정할 수 있다. For example, in the case that requires text input in the running application, wearable device 100 may determine a keyboard (e.g., QWERTY keyboard or keypad for a portable terminal) by the virtual input interfaces. 또는 실행되는 어플리케이션에서 숫자 입력을 필요로 하는 경우, 웨어러블 디바이스(100)는 가상의 다이얼 패드를 입력 인터페이스로 결정할 수 있다. If you need a numeric type or in an application running, wearable device 100 may determine a virtual dial pad to input interface.

웨어러블 디바이스(100)는 결정된 가상의 입력 인터페이스를 설정된 입력 영역에 오버랩되도록 표시할 수 있다(S2930). Wearable device 100 may be displayed to overlap on the input area is set to the determined virtual input interface (S2930).

이때, 웨어러블 디바이스(100)는 증강현실(AR), 혼합현실(MR) 또는 가상현실(VR)의 형태로 가상의 입력 인터페이스를 표시할 수 있다. In this case, the wearable device 100 may display a virtual input interface in the form of augmented reality (AR), a mixed reality (MR) or virtual reality (VR).

예를 들어, 웨어러블 디바이스(100)는 증강현실 또는 혼합현실의 형태로 가상의 입력 인터페이스를 표시하는 경우, 가상의 입력 인터페이스가 입력 영역에 오버랩되어 나타나도록 투명 디스플레이에 가상의 입력 인터페이스를 표시할 수 있다. For example, wearable device 100 when displaying the virtual input interface in the form of augmented reality or mixed reality, the input interface of the virtual to display a virtual input interface to the transparent display to appear overlaps the input area, have.

또한, 웨어러블 디바이스(100)는 가상현실의 형태로 가상의 입력 인터페이스를 표시하는 경우, 가상의 입력 인터페이스가 입력 영역에 오버랩되어 나타나도록 불투명 디스플레이에 가상의 입력 인터페이스를 표시할 수 있다. In the case of a wearable display device 100 of the virtual type interface in the form of virtual reality, the input interface of the virtual interface to display a virtual input to the non-transparent display to appear to overlap the input area.

웨어러블 디바이스(100)는 설정된 입력 영역에 대한 제1 깊이 값과 가상의 입력 인터페이스를 터치하는 입력 도구에 대한 제2 깊이 값을 획득할 수 있다(S2940). Wearable device 100 may obtain a first depth value with the second depth values ​​for the input tool to touch the virtual input interface for the input area is set (S2940).

웨어러블 디바이스(100)는 제1 깊이 값과 제2 깊이 값을 비교하여, 가상의 입력 인터페이스를 통한 입력 발생 여부를 결정할 수 있다(S2950). Wearable device 100 is compared to the first depth value with the second depth values, one can determine whether or not input through the virtual input interface generating (S2950).

도 29의 2930 단계(S2930) 내지 2950 단계(S2950)는 도 2의 230 단계(S230) 내지 250 단계(S250)에 대응하므로, 구체적인 설명은 생략하기로 한다. Step 2930 (S2930) to step 2950 in Fig. 29 (S2950) because it is made to correspond to the 230 steps (S230) through step 250 (S250) in FIG. 2, a detailed description is omitted.

웨어러블 디바이스(100)는 가상의 입력 인터페이스를 통한 입력이 발생된 경우, 입력 발생에 대응하는 알림 신호를 출력할 수 있다(S2960). Wearable device 100 when the input through the virtual input interface generation may output a notification signal corresponding to the input is activated (S2960). 이때, 알림 신호는 비디오 신호, 오디오 신호, 햅틱 신호 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다. At this time, the alert signal, but it may include at least one of video signals, audio signals, haptic signals, and the like.

이에 대해서는 도 30 내지 32을 참조하여, 자세히 설명하기로 한다. As will refer to Fig. 30 to 32 and, will be described in detail.

<도 30 및 31> <30 and 31>

도 30 및 31은 본 발명의 일 실시예에 따른 웨어러블 디바이스의 입력 발생 여부에 대응하는 알림 신호를 출력하는 일례를 나타내는 도면들이다. 30 and 31 are diagrams showing an example of outputting a notification signal corresponding to whether the input is a wearable device in accordance with one embodiment of the present invention.

도 30 및 도 31에 도시된 바와 같이, 웨어러블 디바이스(100)는 손바닥에 입력 영역을 설정하는 사용자 모션을 인식하여, 손바닥(3010)에 오버랩되도록 가상의 키보드(3030)를 투명 디스플레이 또는 불투명 디스플레이에 표시할 수 있다. As shown in Figs. 30 and 31, a wearable device 100 is a virtual keyboard (3030) for recognizing the user's motion to set the input area, so that the overlap in the palm of the hand 3010 of a palm transparent display or a non-transparent display It can be displayed.

이때, 사용자는 손가락(3020)을 이용하여, 가상의 키보드(3030)에 표시된 버튼을 터치하여, 입력을 수행할 수 있다. In this case, the user using a finger 3020, by touching the displayed buttons on the keyboard 3030 in the virtual, it is possible to perform an input.

웨어러블 디바이스(100)는 사용자의 손가락(3020)에 대한 깊이 값(제2 깊이 값)과 손바닥(3010)에 대한 깊이 값(제1 깊이 값)을 비교하여, 제1 깊이 값과 제2 깊이 값의 차이가 임계값보다 작은 경우, 손가락(3020)에 의한 입력이 발생한 것으로 결정할 수 있다. By comparing the wearable device 100 includes depth values ​​for the user's finger 3020 (the second depth value) and palm depth value (a first depth value) for 3010, the first depth value with the second depth values If the difference is less than the threshold, one can determine that the input by the finger 3020 has occurred.

웨어러블 디바이스(100)는 입력이 발생된 경우, 가상의 키보드(3030) 상에서 손가락(3020)의 위치를 검출하고, 손가락(3020)이 위치하는 해당 버튼에 대한 입력 데이터를 발생시킬 수 있다. Wearable device 100 may generate input data for the button to when the input occurs, and detecting the position of the finger 3020 on the keyboard 3030 of the virtual finger 3020 is located. 또한, 웨어러블 디바이스(100)는 해당 입력에 대해 사용자가 용이하게 인식할 수 있도록 피드백을 제공할 수 있다. Further, wearable device 100 may provide feedback to the user to easily recognize for that input.

예를 들어, 도 30에 도시된 바와 같이, 해당 버튼(3040)에 대한 컬러를 다르게 표시할 수 있다. For example, it may be as shown in Figure 30, the display color of the corresponding button (3040) different. 또는, 가상의 키보드(3030)를 통한 입력이 발생된 경우, 알림음을 출력할 수 있다. Alternatively, it is possible to output, notification sound when the input through a keyboard (3030) of the virtual generated.

한편, 웨어러블 디바이스(100)는 가상의 입력 인터페이스를 통한 입력이 발생하는 경우, 주변 기기를 이용하여, 햅틱 신호를 출력할 수도 있다. On the other hand, wearable device 100 may be raised are input through the virtual input interface, by a peripheral device, it is also possible to output a haptic signal.

도 31에 도시된 바와 같이, 웨어러블 디바이스 사용자는 가상 키보드(3030)를 터치하는 손가락(3020)에 제2 웨어러블 디바이스(3150)를 착용한 상태일 수 있다. As shown in Figure 31, a user wearable device may be a state in which the second wear wearable device 3150 to the finger 3020 by touching the virtual keyboard 3030. 이때, 제2 웨어러블 디바이스(3150)는 사용자의 손가락(3020)에 착용할 수 있는 형태일 수 있으며, 골무, 반지 등을 포함할 수 있다. At this time, the second wearable device 3150 may be a type that can be worn on the user's finger 3020, and can include finger-stall, ring or the like. 다만, 이에 한정되는 것은 아니며, 제2 웨어러블 디바이스(3150)는 사용자의 다른 신체 부위에 착용할 수 있는 형태일 수 있다. However, this is not limited, the second wearable device 3150 may be of a type that can be worn on other parts of the body of the user.

또한, 제2 웨어러블 디바이스(3150)는 햅틱 모듈을 포함할 수 있다. In addition, the second wearable device 3150 may include a haptic module. 햅틱 모듈(haptic module)은 사용자가 느낄 수 있는 다양한 촉각 효과를 발생시킬 수 있다. The haptic module (haptic module) can generate various tactile effects which a user can feel. 햅틱 모듈이 발생시키는 촉각 효과의 대표적인 예로는 진동 효과가 있다. A typical example of the tactile effect of the haptic generation module has a vibrating effect. 햅틱 모듈이 촉각 효과로 진동을 발생시키는 경우, 햅틱 모듈이 발생하는 진동의 세기와 패턴 등은 변환가능하며, 서로 다른 진동을 합성하여 출력하거나 순차적으로 출력할 수도 있다. The case of a haptic module to generate vibration haptic effect, the intensity and the pattern of vibration, such as the haptic module to generate conversion is possible, it may be synthesized with each other to output or sequentially output different vibrations.

웨어러블 디바이스(100)는 가상의 키보드에 표시되는 버튼에 대한 입력이 발생되는 경우, 통신부를 통하여, 제2 웨어러블 디바이스(3150)로 햅틱 신호 출력을 요청할 수 있다. Wearable device 100 may request, output the haptic signal to a second wearable device 3150, via the communication occurs when the input to the button displayed on the virtual keyboard.

제2 웨어러블 디바이스(3150)는 웨어러블 디바이스의 요청에 응답하여, 햅틱 모듈을 통하여, 햅틱 신호를 출력할 수 있다. A second wearable device 3150 may be in response to a request of the wearable device, through the haptic module to output a haptic signal.

<도 32> <32>

도 32는 본 발명의 일 실시예에 따른 가상의 입력 인터페이스를 통한 입력 발생 여부에 대응하는 알림 신호를 출력하는 일례를 나타내는 도면이다. 32 is a view showing an example of outputting a notification signal corresponding to whether the generated input through the virtual input interface according to an embodiment of the present invention.

도 32에 도시된 바와 같이, 웨어러블 디바이스(100)는 책상(3210) 위에 입력 영역을 설정하는 사용자 모션을 인식하여, 책상(3210)에 오버랩되도록 가상의 피아노 건반(3220)을 투명 디스플레이 또는 불투명 디스플레이에 표시할 수 있다. As shown in Figure 32, the wearable device 100 is a desk 3210, and on recognizing the user's motion to set the input region, a desk 3210, a virtual piano keyboard 3220 to overlap the transparent display or a non-transparent display in can be displayed.

이때, 사용자는 손가락(3230)을 이용하여, 가상의 피아노 건반(3220)에 표시된 건반을 터치하여, 입력을 수행할 수 있다. In this case, the user using a finger 3230, by touching the keys displayed on the piano keys 3220 of the virtual, it is possible to perform an input.

웨어러블 디바이스(100)는 사용자의 손가락들(3230)에 대한 깊이 값(제2 깊이 값)과 책상(3210)에 대한 깊이 값(제1 깊이 값)을 비교하여, 제1 깊이 값과 제2 깊이 값의 차이가 임계값보다 작은 경우, 손가락(3230)에 의한 입력이 발생한 것으로 결정할 수 있다. By comparing the wearable device 100 is a depth value for a depth value (a second depth value) and tables (3210) for the user's finger 3230 (the first depth value), the first depth value and the second depth If the difference value is smaller than the threshold value, it may determine that the input by the finger 3230 has occurred.

웨어러블 디바이스(100)는 입력이 발생된 경우, 가상의 피아노 건반(3220) 상에서 손가락들(3230)의 위치를 검출하고, 손가락들(3230)이 위치하는 해당 건반 위에 가상의 이미지(3250)를 표시할 수 있다. Wearable device 100 when the input occurs, the display image 3250 for the virtual on the keyboard to the detect the position of the fingers 3230, the fingers 3230 are positioned on the piano keys 3220 of the virtual can do. 이에 따라, 사용자는 가상의 이미지가 표시되는 해당 건반 입력이 발생하였음을 용이하게 인식할 수 있다. Accordingly, the user can easily recognize that the key input is a virtual image that is displayed has occurred.

<도 33 및 34> <33, 34>

도 33 및 도 34는 본 발명의 일 실시예에 따르는 웨어러블 디바이스의 구성을 설명하기 위한 블록 구성도이다. 33 and 34 is a block diagram illustrating the configuration of a wearable device according to one embodiment of the present invention.

도 33에 도시된 바와 같이, 본 발명의 일 실시예에 따른 웨어러블 디바이스(100)는, 센싱부(110), 디스플레이부(121), 제어부(130)를 포함할 수 있다. As shown in Figure 33, it may include a wearable device 100, a sensing unit 110, a display unit 121, the control unit 130 according to an embodiment of the present invention. 그러나 도시된 구성요소 모두가 필수구성요소인 것은 아니다. However, not all of the illustrated components is a prerequisite. 도시된 구성요소보다 많은 구성요소에 의해 디바이스(100)가 구현될 수도 있고, 그보다 적은 구성요소에 의해서도 디바이스(100)는 구현될 수 있다. And the device 100 may be implemented by a number of components than the illustrated components, but rather the device 100 by the small components may be implemented.

예를 들어, 도 34에 도시된 바와 같이, 본 발명의 일 실시예에 따른 웨어러블 디바이스(100)는, 센싱부(110), 출력부(120), 제어부(130) 이외에 사용자 입력부(140), 통신부(150), 메모리(160)를 더 포함할 수도 있다. For example, as shown in Fig. 34, the wearable device 100 in accordance with one embodiment of the invention, the sensing unit 110, an output unit 120, a control unit 130 in addition to the user input unit 140, the communication unit 150 may further include a memory 160.

이하 상기 구성요소들에 대해 차례로 살펴본다. Look for the following order the components.

센싱부(110)는, 웨어러블 디바이스(100)의 상태 또는 웨어러블 디바이스(100) 주변의 상태를 감지하고, 감지된 정보를 제어부(130)로 전달할 수 있다. The sensing unit 110 may be a wearable device 100, state or wearable device 100 detects the close state, and to pass the detected information to the controller 130. The

센싱부(110)는, 이미지 센서(111) 및 깊이 센서(112)를 포함할 수 있다. The sensing unit 110 may include an image sensor 111 and depth sensor 112. The 웨어러블 디바이스(100)는, 이미지 센서(111)를 통해 정지영상 또는 동영상 등의 화상 프레임을 얻을 수 있다. Wearable device 100, via the image sensor 111 to obtain an image frame such as a still image or moving image. 이때, 이미지 센서를 통해 캡쳐된 이미지는 제어부(130) 또는 별도의 이미지 처리부(미도시)를 통해 처리될 수 있다. In this case, the image captured by the image sensor may be processed by the controller 130 or a separate image processing unit (not shown).

본 발명의 일 실시예에 따르면, 이미지 센서(111)는 허공 또는 실제 객체 위에 입력 영역을 설정하는 모션을 인식할 수 있다. According to one embodiment of the invention, image sensor 111 may recognize a motion of setting the input area on the air or a physical object. 예를 들어, 이미지 센서(111)는 입력 도구를 이용하여 허공 또는 실제 객체 위에 입력 영역을 설정하는 모션을 인식할 수 있다. For example, the image sensor 111 may recognize a motion of setting the input area on the air or a physical object using the input tool.

또한, 이미지 센서(111)는 입력 영역으로 설정할 기 설정된 객체를 인식할 수 있으며, 입력 도구를 이용하여, 기 설정된 객체를 터치하는 모션을 인식할 수 있다. In addition, the image sensor 111 can recognize an object input in a predetermined set area, it is possible to use the insertion tool, recognizing a motion of touching a predetermined object. 또한, 이미지 센서(111)는 입력 영역을 포함하는 제1 이미지를 촬영할 수도 있다. In addition, the image sensor 111 may take a first image including the input area.

본 발명의 일 실시예에 따르면, 깊이 센서(112)는 입력 영역에 대한 제1 깊이 값과 가상의 입력 인터페이스를 터치하는 입력 도구에 대한 제2 깊이 값을 획득할 수 있다. According to one embodiment of the invention, the depth sensor 112 may obtain a first depth value with the second depth values ​​for the input tool to touch the virtual input interface for the input region. 예를 들어, 깊이 센서(112)는 웨어러블 디바이스(100)에서 입력 영역까지의 거리 및 웨어러블 디바이스(100)에서 입력 도구까지의 거리를 측정할 수 있다. For example, the depth sensor 112 is located in the distance and the wearable device 100 in the wearable device (100) to the input area to measure the distance to the insertion tool.

또한, 깊이 센서(112)는 실제 객체 위에 입력 영역이 설정된 경우, 웨어러블 디바이스(100)에서 실제 객체까지의 거리 정보를 측정하고, 실제 객체까지의 거리 정보를 이용하여, 입력 영역에 대한 제 1 깊이 값을 획득할 수 있다. Further, the depth when the sensor 112 is the input area is set on a real object, by determining the distance information to the actual object on the wearable device 100, using the distance information to the actual object, the first depth of the input area it is possible to obtain a value.

본 발명의 일 실시예에 따르면, 센싱부(110)는 이미지 센서(111) 및 깊이 센서(112) 이외에 가속도 센서(Acceleration sensor)(113), 위치 센서(114)(예컨대, GPS), 기압 센서(115), 온/습도 센서(116), 지자기 센서(117), 자이로스코프 센서(118), 마이크로폰(119) 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다. According to one embodiment of the invention, the sensing unit 110 includes an acceleration sensor (Acceleration sensor) (113), the position sensor 114 (e.g., GPS), barometric pressure sensor in addition to image sensor 111 and depth sensor 112 115, on / humidity sensor 116, a geomagnetic sensor 117, but may include at least one of a gyroscope sensor 118, a microphone 119, and the like.

마이크로폰(119)은, 외부의 음향 신호를 입력 받아 전기적인 음성 데이터로 처리한다. Microphone 119, receives an external sound signal is processed into electrical voice data. 예를 들어, 마이크로폰(119)은 외부 디바이스 또는 화자로부터 음향 신호를 수신할 수 있다. For example, the microphone 119 may receive a sound signal from an external device or a speaker. 마이크로폰(119)은 외부의 음향 신호를 입력 받는 과정에서 발생 되는 잡음(noise)를 제거하기 위한 다양한 잡음 제거 알고리즘을 이용할 수 있다. Microphone 119 may use various noise removal algorithms for removing noise (noise) generated in the course of receiving the external audio signal.

가속도 센서(Acceleration sensor)(113), 위치 센서(114), 기압 센서(115), 온/습도 센서(116), 지자기 센서(117), 자이로스코프 센서(118)들의 기능은 그 명칭으로부터 당업자가 직관적으로 추론할 수 있으므로, 구체적인 설명은 생략하기로 한다. The functions of the acceleration sensor (Acceleration sensor) (113), position sensor 114, pressure sensor 115, an on / humidity sensor 116, a geomagnetic sensor 117, a gyro sensor 118 is any person skilled in the art from the name can be deduced intuitively, a detailed description will be omitted.

출력부(120)는, 오디오 신호 또는 비디오 신호 또는 진동 신호의 출력을 위한 것으로, 이에는 디스플레이부(121)와 음향 출력부(122), 진동 모터(123) 등이 포함될 수 있다. An output unit 120, as for the output of the audio signal or a video signal or a vibration signal, this may be included such as a display unit 121 and the sound output unit 122, the vibration motor 123.

디스플레이부(121)는 웨어러블 디바이스(100)에서 처리되는 정보를 표시 출력할 수 있다. The display unit 121 may output display information processed in the wearable device (100). 예를 들어, 디스플레이부(121)는, 통화 모드인 경우 통화와 관련된 UI(User Interface) 또는 GUI(Graphic User Interface)를 표시할 수 있고, 입력 모드인 경우, 가상의 입력 인터페이스를 표시할 수 있다. For example, the display unit 121, if the communication mode, and can display a UI (User Interface) or GUI (Graphic User Interface) related to the call, if the input mode, it is possible to display a virtual input interface .

본 발명의 일 실시예에 의하면, 디스플레이부(121)는, 투명 디스플레이일 수도 있고, 불투명 디스플레이일 수도 있다. According to one embodiment of the invention, the display unit 121, it may be a transparent display may be a non-transparent display. 투명 디스플레이란 정보를 표시하는 스크린의 뒷면이 비치는 형태의 정보 표시 장치를 말한다. A transparent display means the form of the information display device is reflected back of a screen for displaying information. 투명 디스플레이는 투명 소자로 구성되고, 투명 소자에 대한 광 투과율을 조절하여 투명도를 조절하거나 각 픽셀의 RGB값을 조절하여 투명도를 조절할 수 있다. Transparent display may consist of a transparent element, by controlling the light transmittance of the transparent element to control the transparency by varying the transparency or adjust the RGB value of each pixel.

한편, 디스플레이부(121)와 터치패드가 레이어 구조를 이루어 터치 스크린으로 구성되는 경우, 디스플레이부(121)는 출력 장치 이외에 입력 장치로도 사용될 수 있다. On the other hand, when the display unit 121 and a touch pad made of a layer structure consisting of a touch screen, the display unit 121 may also be used as an output device other than the input device. 터치 스크린은 사용자의 터치 스크린 상의 터치 제스처를 감지하고, 터치 제스처에 관한 정보를 제어부(130)로 전달할 수 있다. The touch screen can detect a touch gesture on the touch screen of the user, and forward the information to the touch gesture to the controller 130. 사용자의 터치 제스처에는 탭, 터치&홀드, 더블 탭, 드래그, 패닝, 플릭, 드래그 앤드 드롭, 스와이프 등이 있을 수 있다. The user's touch gesture can have a tab, touch & hold, double-tap, drag, panning, etc. flick, drag and drop, swipe.

디스플레이부(121)는, 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전기영동 디스플레이(electrophoretic display) 중에서 적어도 하나를 포함할 수 있다. A display unit 121, a liquid crystal display (liquid crystal display), a thin film transistor liquid crystal display (thin film transistor-liquid crystal display), OLED (organic light-emitting diode), a flexible display (flexible display), 3-dimensional display It may include at least one of (3D display), an electrophoretic display (electrophoretic display). 그리고 웨어러블 디바이스(100)의 구현 형태에 따라 웨어러블 디바이스(100)는 디스플레이부(121)를 2개 이상 포함할 수도 있다. And in accordance with the implementation of the wearable device 100, wearable device 100 may include two or more display unit 121. The

음향 출력부(122)는 통신부(150)로부터 수신되거나 메모리(160)에 저장된 오디오 데이터를 출력한다. The sound output unit 122 outputs audio data received or stored in the memory 160 from the communication unit 150. 또한, 음향 출력부(122)는 웨어러블 디바이스(100)에서 수행되는 기능(예를 들어, 호신호 수신음, 메시지 수신음 등)과 관련된 음향 신호를 출력한다. Further, the sound output section 122 outputs the acoustic signal related to the function (e.g., a call signal incoming sound, a message incoming sound, etc.) performed in the wearable device (100). 이러한 음향 출력부(122)에는 스피커(speaker), 버저(Buzzer) 등이 포함될 수 있다. The sound output section 122 may include such as a speaker (speaker), a buzzer (Buzzer).

본 발명의 일 실시예에 따르면, 음향 출력부(122)는 가상의 입력 인터페이스를 통한 입력이 발생하는 경우, 발생한 입력에 대응하는 오디오 신호를 출력할 수 있다. According to one embodiment of the invention, the sound output unit 122 when the generated input through the virtual input interface, it is possible to output audio signals corresponding to the generated input.

진동 모터(123)는 진동 신호를 출력할 수 있다. The vibration motor 123 may output a vibration signal. 예를 들어, 진동 모터(123)는 오디오 데이터 또는 비디오 데이터(예컨대, 호신호 수신음, 메시지 수신음 등)의 출력에 대응하는 진동 신호를 출력할 수 있다. For example, the vibration motor 123 may output a vibration signal corresponding to the output of audio data or video data (e.g., a call signal incoming sound, incoming sound messages, and so on). 또한, 진동 모터(123)는, 가상의 입력 인터페이스를 통한 입력이 발생되는 경우, 진동 신호를 출력할 수도 있다. In addition, the vibration motor 123 may be outputs a vibration signal when the input through the virtual input interface generated.

제어부(130)는, 통상적으로 웨어러블 디바이스(100)의 전반적인 동작을 제어한다. The controller 130 typically controls the overall operation of wearable device 100. 예를 들어, 제어부(130)는, 메모리(160)에 저장된 프로그램들을 실행함으로써, 센싱부(110), 출력부(120), 사용자 입력부(140), 통신부(150), 메모리(160) 등을 전반적으로 제어할 수 있다. For the example, the control unit 130, by executing the program stored in the memory 160, a sensing unit 110, an output unit 120, a user input unit 140, communication unit 150, a memory 160, etc. It can be generally controlled.

제어부(130)는 이미지 센서(111)에서 인식된 모션에 기초하여, 입력 영역을 설정할 수 있다. The control unit 130 may set the input region on the basis of the motion recognized by the image sensor 111. 예를 들어, 이미지 센서(111)에서 허공 또는 실제 객체 위에 도형을 그리는 모션을 인식한 경우, 제어부(130)는 인식된 도형에 대응하는 영역을 입력 영역으로 설정할 수 있다. For example, if the air or recognize the motion to draw a figure on the actual objects in the image sensor 111, the controller 130 is a region corresponding to the recognized shape can be set to the writing area.

제어부(130)는 설정된 입력 영역의 속성에 기초하여, 디스플레이부(121)에 표시할 가상의 입력 인터페이스를 결정할 수 있다. The control unit 130 may be based on the attribute of the input area is set, determining virtual input interface to be displayed on the display unit 121. The

제어부(130)는 설정된 입력 영역의 제1 깊이 값의 크기에 기초하여, 가상의 입력 인터페이스의 종류를 결정하고, 결정된 가상의 입력 인터페이스가 설정된 입력 영역에 오버랩되도록 디스플레이부(121)에 표시할 수 있다. The control unit 130 based on the first depth value of the set input area size, can be displayed on the display unit 121 to determine the type of the virtual input interfaces, and the overlap with the input area is a virtual input interface determined set have.

제어부(130)는, 입력 영역이 설정된 실제 객체의 종류에 기초하여, 가상의 입력 인터페이스의 종류를 결정하고, 결정된 가상의 입력 인터페이스가 설정된 입력 영역에 오버랩되도록 디스플레이부(121)에 표시할 수 있다. The controller 130, based on the type of physical object, the input area is set, it is possible to display on the display unit 121 to determine the type of the virtual input interface, overlaps the input area, the determined virtual type interface is set .

제어부(130)는, 입력 영역을 설정하는 모션의 종류 또는 입력 영역의 크기에 기초하여, 가상의 입력 인터페이스의 종류를 결정하고, 결정된 가상의 입력 인터페이스가 설정된 입력 영역에 오버랩되도록 디스플레이부(121)에 표시할 수 있다. The controller 130, based on the magnitude of the kind or type region of the motion to set the input area, the display unit 121 to determine the type of the virtual input interfaces and overlaps with the determined virtual input region is an input interface configured for in can be displayed.

제어부(130)는, 웨어러블 디바이스(100)에서 실행중인 어플리케이션의 종류에 따라, 가상의 입력 인터페이스를 결정하고, 결정된 가상의 입력 인터페이스가 설정된 입력 영역에 오버랩되도록 디스플레이부(121)에 표시할 수 있다. The control unit 130, can be displayed on the display unit 121 to determine which of the virtual type interface, overlaps the input area, the determined virtual type interface is set according to the type of application running on the wearable device 100 .

제어부(130)는, 투명 디스플레이를 투과하여 관측되는 입력 영역에 가상의 입력 인터페이스가 나타나도록 투명 디스플레이에 가상의 입력 인터페이스를 표시할 수 있다. The control unit 130, a virtual type interface to display a virtual input interface to the transparent display to appear in the input region is observed to pass through the transparent display. , ,

제어부(130)는, 제1 이미지에 포함된 입력 영역에 가상의 입력 인터페이스가 오버랩된 제2 이미지를 생성하고, 가상의 입력 인터페이스가 포함된 제2 이미지를 디스플레이부(121)에 표시할 수 있다. The control unit 130 generates the second image is a virtual input interface overlap with the input area included in the first image, and may display a second image with the input interface of the virtual on the display unit 121 .

제어부(130)는, 제1 깊이 값과 제2 깊이 값을 비교한 결과에 기초하여, 가상의 입력 인터페이스를 통한 입력 발생 여부를 결정할 수 있다. The control unit 130, the first based on a depth value and the result of comparing the two depth values, one can determine whether or not input through the virtual input interface occurs. 예를 들어, 제어부(130)는, 제1 깊이 값과 제2 깊이 값의 차가 임계 값 이내인 경우, 가상의 입력 인터페이스를 통한 입력이 발생된 것으로 결정할 수 있다. For example, the control unit 130, if the difference is within the threshold value of the first depth value and the second depth value may be determined to have been input via the virtual input interface occurs.

제어부(130)는 제1 깊이 값 보다 제 2깊이 값이 큰 경우, 가상의 입력 인터페이스를 통한 입력이 발생된 것으로 결정할 수 있다. The control unit 130 when the second depth value that is less than the first depth value is larger, may be determined to have been input via the virtual input of the interface occurs.

제어부(130)는, 입력 발생 여부에 대응하는 알림 신호를 출력하도록 출력부(120)를 제어할 수도 있다. Control unit 130 may control the output unit 120 to output a notification signal corresponding to whether the input is activated.

사용자 입력부(140)는, 사용자가 웨어러블 디바이스(100)를 제어하기 위한 데이터를 입력하는 수단을 의미한다. The user input unit 140, refers to a means for users to input data for controlling the wearable device (100). 예를 들어, 사용자 입력부(140)에는 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등), 조그 휠, 조그 스위치 등이 있을 수 있으나, 이에 한정되는 것은 아니다. For example, the user input unit 140 has a keypad (key pad), dome switches (dome switch), the touch pad (touch-capacitive type, a pressure type resistive method, an infrared detection method, the surface ultrasonic conductivity type, integral equation tension measurement method, the piezoelectric effect method, etc.), a jog wheel, jog switch and so on, but may be, but is not limited to such. 본 발명의 일 실시예에 의하면, 사용자 입력부(110)는, 가상의 입력 인터페이스를 포함할 수도 있다. According to one embodiment of the invention, the user input unit 110 may include a virtual input interfaces.

통신부(150)는, 웨어러블 디바이스(100)와 외부 디바이스 또는 웨어러블 디바이스(100)와 서버 간의 통신을 하게 하는 하나 이상의 구성요소를 포함할 수 있다. The communication unit 150, may include one or more components that make communications between wearable device 100 and the external device or a wearable device 100 and the server. 예를 들어, 통신부(150)는, 근거리 통신부(151), 이동 통신부(152), 방송 수신부(153)를 포함할 수 있다. For example, the communication unit 150 may include a local communication section 151, a mobile communication unit 152, a broadcast receiver (153).

근거리 통신부(151)는, 블루투스 통신부, 근거리 무선 통신부(NFC/RFID 부), WLAN(와이파이) 통신부, 지그비(Zigbee) 통신부, 적외선(IrDA, infrared Data Association) 통신부, UWB(ultra wideband) 통신부, Ant+ 통신부 등을 포함할 수 있으나, 이에 한정되는 것은 아니다. Local communication section 151, Bluetooth communication, the short-range wireless communication (NFC / RFID unit), WLAN (Wi-Fi) communication, Zigbee (Zigbee) communication, infrared (IrDA, infrared Data Association) communication, UWB (ultra wideband) communication, Ant + It may include a communication unit such as, but not limited to this.

예를 들어, 근거리 통신부(151)는 제2 웨어러블 디바이스의 위치 정보 또는 제3 웨어러블 디바이스의 위치 정보를 수신할 수 있다. For example, the short-range communication unit 151 may receive location information or the location information of the wearable device 3 of the second wearable device.

이동 통신부(152)는, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. Mobile communication unit 152 transmits and receives the radio signal and at least one of a base station, an external terminal, a server on a mobile communication network. 여기에서, 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다. Here, the wireless signals may include various types of data according to a voice call signal, video call, call signal or text / multimedia message transmission and reception.

방송 수신부(153)는, 방송 채널을 통하여 외부로부터 방송 신호 및/또는 방송 관련된 정보를 수신한다. Broadcast receiver 153, through the broadcasting channel and receives the information broadcast signal and / or broadcast associated externally. 방송 채널은 위성 채널, 지상파 채널을 포함할 수 있다. Broadcast channel may include a satellite channel and a terrestrial channel. 구현 예에 따라서 웨어러블 디바이스(100)가 방송 수신부(153)를 포함하지 않을 수도 있다. Therefore, the embodiments may be a wearable device 100 does not include a broadcast receiver (153).

메모리(160)는, 제어부(130)의 처리 및 제어를 위한 프로그램을 저장할 수도 있고, 입/출력되는 데이터들(예컨대, 입력 모드에 대응하는 모션 정보, 가상의 입력 인터페이스, 가상의 입력 인터페이스를 통해 입력된 데이터, 센서에서 측정되는 센싱 정보, 컨텐츠 등)을 저장할 수도 있다. Memory 160 may store a program for processing and controlling of the controller 130, the data input / output (e.g., through the motion information, the virtual input interface, the virtual input interface corresponding to the input mode, the input data, may store the sensed information, content, etc.) that are measured by the sensor.

메모리(160)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. Memory 160 is a flash type of memory (flash memory type), hard disk type (hard disk type), a multimedia card micro type (multimedia card micro type), a card type memory (e.g., SD or XD memory), RAM (RAM, Random Access memory) SRAM (Static Random Access memory), ROM (ROM, Read-Only memory), EEPROM (Electrically Erasable Programmable Read-Only memory), PROM (Programmable Read-Only memory), magnetic memory, magnetic disk, , it may include at least one type of storage medium of the optical disc. 또한, 웨어러블 디바이스(100)는 인터넷(internet)상에서 메모리(160)의 저장 기능을 수행하는 웹 스토리지(web storage) 또는 클라우드 서버를 운영할 수도 있다. Further, wearable device 100 may operate a web storage (web storage) or in the cloud server that performs the storage function of the memory 160 on the Internet (internet).

메모리(160)에 저장된 프로그램들은 그 기능에 따라 복수 개의 모듈들로 분류할 수 있는데, 예를 들어, UI 모듈(161), 알림 모듈(162) 등으로 분류될 수 있다. There program stored in the memory 160 may be divided into a plurality of modules according to their function, for example, it may be classified in such UI module 161, a notification module 162.

UI 모듈(161)은, 애플리케이션 별로 디바이스(100)와 연동되는 특화된 UI, GUI 등을 제공할 수 있다. UI module 161, may provide such a specialized UI, GUI that works with the device 100 by each application. 또한, 본 발명의 일 실시예에 의하면, UI 모듈(161)은, 상황에 맞는 가상의 입력 인터페이스를 선택하여, 제공할 수도 있다. Further, according to one embodiment of the invention, UI module 161, to select a virtual input interface context, it may be provided.

알림 모듈(162)은, 웨어러블 디바이스(100)의 이벤트 발생을 알리기 위한 신호를 발생할 수 있다. Notification module 162, may generate a signal to inform an event occurrence in the wearable device (100). 웨어러블 디바이스(100)에서 발생되는 이벤트의 예로는 호 신호 수신, 메시지 수신, 가상의 입력 인터페이스를 통해 키 신호 입력, 일정 알림 등이 있다. Examples of events generated in the wearable device (100) has a call signal reception, message reception, key signal input through the virtual input interface, event reminder and so on. 알림 모듈(162)은 디스플레이부(121)를 통해 비디오 신호 형태로 알림 신호를 출력할 수도 있고, 음향 출력부(122)를 통해 오디오 신호 형태로 알림 신호를 출력할 수도 있고, 진동 모터(123)를 통해 진동 신호 형태로 알림 신호를 출력할 수도 있다. Notification module 162 is a video signal, and may output a notification signal in the form, and may output a notification signal to the audio signal type via the sound output unit 122, the vibration motor 123 via the display unit 121 a may output a notification signal to the vibration signal form over. 또한, 알림 모듈(162)은, 외부의 웨어러브 디바이스(예컨대, 반지, 골무, 팔찌, 장갑 등)를 이용하여 햅틱 신호를 출력할 수도 있다. Further, the notification module 162, an external device using the Love wear (e. G., Ring, thimble, wristband, glove, etc.) may output a haptic signal.

본 발명의 일 실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. Method in accordance with one embodiment of the present invention is implemented in program instruction form that can be executed by various computer it means to be recorded in computer-readable media. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. The media may also include, alone or in combination with the program instructions, data files, data structures, and the like. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. The media and program instructions may be ones, or they may be of well-known and available to those skilled in the art computer software specifically designed and constructed for the purposes of the present invention. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. Examples of the computer readable recording medium such as an optical recording medium (optical media), flop tikeol disk (floptical disk) such as a magnetic medium (magnetic media), CD-ROM, DVD, such as hard disks, floppy disks, and magnetic tape - hardware devices that are specially configured to store the program instructions, such as an optical medium (magneto-optical media), and read-only memory (ROM), random access memory (RAM), flash memory and perform. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. Examples of program instructions include both machine code, such as produced by a compiler, using an interpreter for a high-level language code that can be executed by a computer.

본 발명의 일 실시예에 따른 웨어러블 디바이스(100)는, 가상의 입력 인터페이스를 터치하는 입력 도구에 대한 깊이 값을 사용자에 의해 정의된 기준 깊이 값과 비교함으로써, 가상의 입력 인터페이스를 통한 입력 발생 여부를 정확히 판단할 수 있다. Wearable device 100 in accordance with one embodiment of the present invention, whether or not by comparing the reference depth value defines the depth value by the user for the input tool to touch the virtual input interface, input via the virtual input interface generation the can be accurately determined.

이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속한다. Although detailed description will be given of an embodiment of the present invention in the above scope of the present invention it is not limited to this number of variations and modifications in the form of one of ordinary skill in the art using the basic concept of the invention as defined in the following claims In addition, according to the present invention belong to the scope.

Claims (20)

  1. 허공 또는 실제 객체 위에 입력 영역을 설정하는 모션을 인식하는 이미지 센서; An image sensor for the air or the motion recognition to set the input area on the physical object;
    상기 인식된 모션에 기초하여, 상기 입력 영역을 설정하고, 상기 설정된 입력 영역의 속성에 기초하여, 디스플레이부에 표시할 가상의 입력 인터페이스를 결정하며, 상기 결정된 가상의 입력 인터페이스가 웨어러블 디바이스의 사용자에 의해 상기 설정된 입력 영역 상에 오버랩(overlap)되어 보여지도록 상기 결정된 가상의 입력 인터페이스를 상기 디스플레이부에 표시하는 제어부; On the basis of the recognized motion, setting the input area, and based on the attributes of the established input region, and determining a virtual type interface to display the display portion, the determined virtual input interface to a user of the wearable device by the control unit for displaying the input interface of the determined virtual display unit to be shown it is overlapping (overlap) to the input area specified above; And
    상기 웨어러블 디바이스로부터 상기 입력 영역까지의 제1 깊이 값과, 상기 웨어러블 디바이스로부터 상기 가상의 입력 인터페이스를 터치하는 입력 도구까지의 제2 깊이 값을 획득하는 깊이 센서를 포함하고, And the first depth value from the wearable device to the entry area, and from the wearable device comprises a depth sensor to obtain a second depth value up to the insertion tool to touch the input interface of the virtual,
    상기 제어부는, Wherein,
    상기 제1 깊이 값과 상기 제2 깊이 값을 비교한 결과에 따라, 상기 가상의 입력 인터페이스를 통한 입력 발생 여부를 결정하는 웨어러블 디바이스. Wherein according to a result of comparing the first depth value and the second depth value, wearable device for determining whether or not input through the virtual input of the interface occurs.
  2. 제1항에 있어서, According to claim 1,
    상기 이미지 센서는, The image sensor,
    상기 허공 또는 실제 객체 위에 상기 입력 도구를 이용하여, 도형을 그리는 모션을 인식하고, Using the insertion tool on the air or a physical object, and recognizing the motion to draw a shape,
    상기 제어부는, Wherein,
    상기 도형에 대응하는 영역을 상기 입력 영역으로 설정하는 웨어러블 디바이스. A wearable device for setting a region corresponding to the shapes in the input area.
  3. 제1항에 있어서, According to claim 1,
    상기 제어부는, Wherein,
    상기 설정된 입력 영역의 제1 깊이 값의 크기에 기초하여, 상기 디스플레이부에 표시할 가상의 입력 인터페이스를 결정하는 웨어러블 디바이스. Wearable device based on the magnitude of the first depth value of the set input region, determining a virtual input interface to be displayed on the display unit.
  4. 제1항에 있어서, According to claim 1,
    상기 제어부는, Wherein,
    상기 설정된 입력 영역의 크기에 기초하여, 상기 디스플레이부에 표시할 가상의 입력 인터페이스를 결정하는 웨어러블 디바이스. Wearable device based on the magnitude of the established input region, determining a virtual input interface to be displayed on the display unit.
  5. 제1항에 있어서, According to claim 1,
    상기 입력 영역이 상기 실제 객체 위에 설정된 경우, If the input area is set on the real objects,
    상기 제어부는, Wherein,
    상기 입력 영역이 설정된 실제 객체의 종류에 기초하여, 상기 디스플레이부에 표시할 가상의 입력 인터페이스를 결정하는 웨어러블 디바이스. Wearable device based on the type of physical object, the input area is set, determining virtual input interface to be displayed on the display unit.
  6. 제1항에 있어서, According to claim 1,
    상기 제어부는, Wherein,
    상기 웨어러블 디바이스에서 실행 중인 어플리케이션의 종류에 기초하여, 상기 디스플레이부에 표시할 가상의 입력 인터페이스를 결정하는 웨어러블 디바이스. Wearable device based on the type of application running on the wearable device, determining a virtual input interface to be displayed on the display unit.
  7. 제1항에 있어서, According to claim 1,
    상기 제어부는, Wherein,
    투명 디스플레이를 투과하여 관측되는 상기 입력 영역에 상기 가상의 입력 인터페이스가 오버랩되도록 상기 투명 디스플레이에 상기 가상의 입력 인터페이스를 표시하는 웨어러블 디바이스. Wearable device for displaying the input interface of the virtual to the transparent display type so that the interface of the overlap in the virtual input region to be observed to pass through the transparent display.
  8. 제1항에 있어서, According to claim 1,
    상기 이미지 센서는, The image sensor,
    상기 입력 영역을 포함하는 제1 이미지를 촬영하고, Recording a first image that includes the input region,
    상기 제어부는, Wherein,
    상기 제1 이미지에 포함된 상기 입력 영역에 상기 가상의 입력 인터페이스가 오버랩된 제2 이미지를 생성하고, 상기 제2 이미지를 상기 디스플레이부에 표시하는 웨어러블 디바이스. The input region contained in the first image to generate a second image input interface of the virtual overlapped, and a wearable device for displaying the second image on the display unit.
  9. 제1항에 있어서, According to claim 1,
    상기 제어부는, Wherein,
    상기 제1 깊이 값과 상기 제2 깊이 값의 차이가 임계값 미만인 경우, 상기 가상의 입력 인터페이스를 통한 입력이 발생한 것으로 결정하는 웨어러블 디바이스. If the depth of the first value and the second difference value is less than the depth threshold, wearable device for determining that the input via the virtual input of the interface occurs.
  10. 제1항에 있어서, According to claim 1,
    상기 제어부는, Wherein,
    상기 제1 깊이 값보다 상기 제2 깊이 값이 큰 경우, 상기 가상의 입력 인터페이스를 통한 입력이 발생한 것으로 결정하는 웨어러블 디바이스. If the second value than the first depth and the second depth value is larger, wearable device for determining that the input via the virtual input of the interface occurs.
  11. 웨어러블 디바이스에서 가상의 입력 인터페이스를 제공하는 방법에 있어서, A method for providing a virtual interface of the input device in a wearable,
    허공 또는 실제 객체 위에 입력 영역을 설정하는 단계; The step of setting the air or an input area on a real object;
    상기 설정된 입력 영역의 속성에 기초하여, 디스플레이부에 표시할 가상의 입력 인터페이스를 결정하는 단계; Determining, based on the attribute of the input area is set, determining virtual input interface to be displayed on the display unit;
    상기 결정된 가상의 입력 인터페이스가 상기 설정된 입력 영역에 오버랩(overlap)되어 보여지도록 상기 결정된 가상의 입력 인터페이스를 상기 디스플레이부에 표시하는 단계; The method comprising the determined virtual display of the input interface to the input interface of the determined virtual display unit to be shown are overlapping (overlap) to the set input region;
    상기 웨어러블 디바이스로부터 상기 입력 영역까지의 제1 깊이 값과 상기 웨어러블 디바이스로부터 상기 가상의 입력 인터페이스를 터치하는 입력 도구까지의 제2 깊이 값을 획득하는 단계; Obtaining a first depth value with the second depth values ​​from the wearable device to the insertion tool to touch the input interface of the virtual from the wearable device to said input region; And
    상기 제1 깊이 값과 상기 제2 깊이 값을 비교한 결과에 따라, 상기 가상의 입력 인터페이스를 통한 입력 발생 여부를 결정하는 단계를 포함하는 방법. According to a result of comparing the first depth value and the second depth value, the method includes determining whether or not input through the virtual input of the interface occurs.
  12. 제1항에 있어서, According to claim 1,
    상기 입력 영역을 설정하는 단계는, Step of setting said input area,
    상기 허공 또는 실제 객체 위에 상기 입력 도구를 이용하여, 도형을 그리는 모션을 인식하는 단계; The step of using the insertion tool, recognizing the motion to draw a shape over the air or the actual object; And
    상기 도형에 대응하는 영역을 상기 입력 영역으로 설정하는 단계를 포함하는 방법. It comprises the step of setting an area corresponding to the shapes in the input area.
  13. 제1항에 있어서, According to claim 1,
    상기 가상의 입력 인터페이스를 결정하는 단계는, Determining a type of the virtual interface is,
    상기 설정된 입력 영역의 제1 깊이 값의 크기에 기초하여, 가상의 입력 인터페이스를 결정하는 단계인 방법. The method further comprising: based on the magnitude of the first depth value of the set input region, determining a virtual input interfaces.
  14. 제1항에 있어서, According to claim 1,
    상기 가상의 입력 인터페이스를 결정하는 단계는, Determining a type of the virtual interface is,
    상기 설정된 입력 영역의 크기에 기초하여, 가상의 입력 인터페이스를 결정하는 단계인 방법. The method further comprising: based on the magnitude of the established input region, determining a virtual input interfaces.
  15. 제1항에 있어서, According to claim 1,
    상기 입력 영역이 상기 실제 객체 위에 설정된 경우, If the input area is set on the real objects,
    상기 가상의 입력 인터페이스를 결정하는 단계는, Determining a type of the virtual interface is,
    상기 입력 영역이 설정된 실제 객체의 종류에 기초하여, 가상의 입력 인터페이스를 결정하는 단계인 방법. The method of determining, based on the type of physical object, the input area is set, determining virtual input interfaces.
  16. 제1항에 있어서, According to claim 1,
    상기 가상의 입력 인터페이스를 결정하는 단계는, Determining a type of the virtual interface is,
    상기 웨어러블 디바이스에서 실행 중인 어플리케이션의 종류에 기초하여, 상기 가상의 입력 인터페이스를 결정하는 단계를 포함하는 방법. Based on the type of application running on the wearable device, the method comprising the step of determining the virtual input interfaces.
  17. 제1항에 있어서, According to claim 1,
    상기 결정된 가상의 입력 인터페이스를 표시하는 단계는, Displaying the determined virtual type interface,
    투명 디스플레이를 투과하여 관측되는 상기 입력 영역에 상기 가상의 입력 인터페이스가 오버랩되도록 상기 투명 디스플레이에 상기 가상의 입력 인터페이스를 표시하는 단계인 방법. Step method of displaying the input interface of the virtual to the transparent display type so that the interface of the overlap in the virtual input region to be observed to pass through the transparent display.
  18. 제1항에 있어서, According to claim 1,
    상기 결정된 가상의 입력 인터페이스를 표시하는 단계는, Displaying the determined virtual type interface,
    이미지 센서를 이용하여, 상기 입력 영역을 포함하는 제1 이미지를 촬영하는 단계; The method comprising using an image sensor shooting a first image including the input area;
    상기 제1 이미지에 포함된 상기 입력 영역에 상기 가상의 입력 인터페이스가 오버랩된 제2 이미지를 생성하는 제2 이미지를 생성하는 단계; Generating a second image to generate a second image input interface to the overlap of the virtual input region contained in the first image; And
    상기 제2 이미지를 표시하는 단계를 포함하는 방법. Comprising the step of displaying the second image.
  19. 제1항에 있어서, According to claim 1,
    상기 입력 발생 여부를 결정하는 단계는, Determining whether the input is generated,
    상기 제1 깊이 값과 상기 제2 깊이 값의 차이가 임계값 미만인 경우, 상기 가상의 입력 인터페이스를 통한 입력이 발생한 것으로 결정하는 단계인 방법. If the depth of the first value and the second difference between the depth value is less than the threshold, step of a method of determining that the input via the virtual input of the interface occurs.
  20. 제1항에 있어서, According to claim 1,
    상기 입력 발생 여부를 결정하는 단계는, Determining whether the input is generated,
    상기 제1 깊이 값보다 상기 제2 깊이 값이 큰 경우, 상기 가상의 입력 인터페이스를 통한 입력이 발생한 것으로 결정하는 단계인 방법. If the second value than the first depth and the second depth is high, the method comprising: determining that the input via the virtual input of the interface occurs.
KR20140098653A 2014-03-21 2014-07-31 Method and wearable device for providing a virtual input interface KR20150110257A (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020140033705 2014-03-21
KR20140033705 2014-03-21

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
KR20140179354A KR20150110285A (en) 2014-03-21 2014-12-12 Method and wearable device for providing a virtual input interface
EP20150733329 EP2946266A4 (en) 2014-03-21 2015-03-17 Method and wearable device for providing a virtual input interface
CN 201580001071 CN105339870A (en) 2014-03-21 2015-03-17 Method and wearable device for providing a virtual input interface
PCT/KR2015/002554 WO2015142023A1 (en) 2014-03-21 2015-03-17 Method and wearable device for providing a virtual input interface
US14665678 US9829986B2 (en) 2014-03-21 2015-03-23 Method and wearable device for providing a virtual input interface
US15782505 US20180032146A1 (en) 2014-03-21 2017-10-12 Method and wearable device for providing a virtual input interface

Publications (1)

Publication Number Publication Date
KR20150110257A true true KR20150110257A (en) 2015-10-02

Family

ID=54341451

Family Applications (2)

Application Number Title Priority Date Filing Date
KR20140098653A KR20150110257A (en) 2014-03-21 2014-07-31 Method and wearable device for providing a virtual input interface
KR20140179354A KR20150110285A (en) 2014-03-21 2014-12-12 Method and wearable device for providing a virtual input interface

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR20140179354A KR20150110285A (en) 2014-03-21 2014-12-12 Method and wearable device for providing a virtual input interface

Country Status (2)

Country Link
KR (2) KR20150110257A (en)
CN (1) CN105339870A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016211494A1 (en) 2016-06-27 2017-12-28 Ford Global Technologies, Llc Control device for a motor vehicle
DE102016211495A1 (en) 2016-06-27 2017-12-28 Ford Global Technologies, Llc Control device for a motor vehicle

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012124844A1 (en) * 2011-03-16 2012-09-20 Lg Electronics Inc. Method and electronic device for gesture-based key input
US9069164B2 (en) * 2011-07-12 2015-06-30 Google Inc. Methods and systems for a virtual input device
CN103019377A (en) * 2012-12-04 2013-04-03 天津大学 Head-mounted visual display equipment-based input method and device

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016211494A1 (en) 2016-06-27 2017-12-28 Ford Global Technologies, Llc Control device for a motor vehicle
DE102016211495A1 (en) 2016-06-27 2017-12-28 Ford Global Technologies, Llc Control device for a motor vehicle

Also Published As

Publication number Publication date Type
CN105339870A (en) 2016-02-17 application
KR20150110285A (en) 2015-10-02 application

Similar Documents

Publication Publication Date Title
US8094091B2 (en) Information presenting apparatus, method, and computer program product
US8217856B1 (en) Head-mounted display that displays a visual representation of physical interaction with an input interface located outside of the field of view
US6771294B1 (en) User interface
US8179604B1 (en) Wearable marker for passive interaction
US20100026723A1 (en) Image magnification system for computer interface
US20140267024A1 (en) Computing interface system
WO2015179877A2 (en) External user interface for head worn computing
US20140361988A1 (en) Touch Free Interface for Augmented Reality Systems
US20150138101A1 (en) Mobile terminal and control method thereof
CN101452356A (en) Input device, display device, input method, display method, and program
US20120229509A1 (en) System and method for user interaction
US20150205358A1 (en) Electronic Device with Touchless User Interface
KR20090047889A (en) The method, apparatus and system for realizing augmented reality using transparent display
US20160004393A1 (en) Wearable device user interface control
US20130176202A1 (en) Menu selection using tangible interaction with mobile devices
US20140028567A1 (en) Display device and control method thereof
US20070243863A1 (en) System for using mobile communication terminal as pointer and method and medium thereof
US20120188179A1 (en) Touch sensitive display
US20170024035A1 (en) External user interface for head worn computing
US20140320383A1 (en) Head-mounted display and information display apparatus
WO2017015093A1 (en) External user interface for head worn computing
US20110319130A1 (en) Mobile terminal and method of operation
US20150254471A1 (en) Mobile terminal and method for controlling the same
US20160026425A1 (en) Mobile terminal and control method for the mobile terminal
US20160239142A1 (en) Watch type terminal