KR20160109336A - Apparatus for providing virtual input using depth sensor and method for using the apparatus - Google Patents
Apparatus for providing virtual input using depth sensor and method for using the apparatus Download PDFInfo
- Publication number
- KR20160109336A KR20160109336A KR1020150033545A KR20150033545A KR20160109336A KR 20160109336 A KR20160109336 A KR 20160109336A KR 1020150033545 A KR1020150033545 A KR 1020150033545A KR 20150033545 A KR20150033545 A KR 20150033545A KR 20160109336 A KR20160109336 A KR 20160109336A
- Authority
- KR
- South Korea
- Prior art keywords
- user
- finger
- virtual input
- input
- plane
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
Abstract
Description
본 발명은 가상 입력 장치에 관한 것으로, 더욱 상세하게는, 깊이 센서를 이용하여 산출한 사용자 손가락의 위치를 기반으로 입력 상태를 판단할 수 있는 가상 입력 장치 및 이를 이용하는 방법에 관한 것이다.The present invention relates to a virtual input device, and more particularly, to a virtual input device capable of determining an input state based on a position of a user's finger calculated using a depth sensor, and a method of using the same.
최근 정보 통신 기술이 급속하게 발전함에 따라 스마트폰, 태블릿 PC, PDA(Personal Digital Assistant), 컴퓨터, 노트북, 스마트 가전 기기와 같은 정보 처리 장치뿐 아니라 스마트 워치(smart watch), 스마트 안경 등의 웨어러블 디바이스를 포함하는 사용자 단말에 대한 사용이 대중화되고 있다.2. Description of the Related Art [0002] With the rapid development of information communication technology in recent years, information processing devices such as a smart phone, a tablet PC, a PDA (Personal Digital Assistant), a computer, a notebook, Has become popular.
일반적으로 사용자 단말은 사용자의 요청에 상응하는 서비스를 제공할 수 있도록 입력 장치(input device)와 출력 장치(output device), 중앙처리장치(Central Processing Unit, CPU), 기억 장치(memory unit) 등이 탑재된다.In general, a user terminal includes an input device, an output device, a central processing unit (CPU), a memory unit, and the like so as to provide a service corresponding to a user's request Lt; / RTI >
다만, 웨어러블 디바이스의 경우 사용자 신체에 직접 착용해야 한다는 점에서 장치의 소형화가 필수적으로 요구된다. 그리하여, 사용자 단말을 소형화하기 위해 가상 입력 장치를 구현하는 기술에 대한 연구가 활발하게 진행되고 있는 추세이다.However, in the case of a wearable device, it is essential that the device be miniaturized because it must be worn directly on the wearer's body. Therefore, there is a tendency that a technology for implementing a virtual input device to miniaturize a user terminal is actively being studied.
도 1은 종래의 가상 입력 장치를 설명하는 예시도이다. 도 1을 참조하면, 종래의 가상 입력 장치는 사용자 단말과 분리된 평면 상의 공간에 카메라 등의 이미지 센서(10), 프로젝터(20) 및 광 투사 장치(30)를 배치할 수 있다.1 is an exemplary diagram illustrating a conventional virtual input device. Referring to FIG. 1, a conventional virtual input device may include an
그리하여, 광 투사 장치(30)를 통해 광(31)을 투사함과 동시에 프로젝터(20)를 이용하여 평면 상에 키보드 이미지(21)와 같은 가상의 사용자 인터페이스를 출력한 후, 가상의 키보드 이미지(21) 상에 위치하는 사용자 손가락의 영상과 광(31)을 이미지 센서(10)에서 촬영함으로써 사용자의 입력을 인식할 수 있다.Thus, after projecting the
다만, 상술한 종래의 가상 입력 장치는 사용자 단말과 분리된 공간에 구현된다는 점에서 사용자의 편의성이 떨어진다는 문제가 있다.However, the conventional virtual input device described above is disadvantageous in that the user's convenience is reduced in that the virtual input device is implemented in a space separated from the user terminal.
또한, 사용자 입력의 신뢰성을 향상시키기 위해 이미지 센서(10), 프로젝터(20) 및 광 투사 장치(30)가 수직으로 배치된다는 점에서 공간의 활용도가 떨어지는 한계가 있다.Further, there is a limit in that the utilization of the space is lowered in that the
이로 인해 사용자가 움직이는 중이거나 공간이 충분히 확보되지 않은 좁은 공간에 위치하는 경우에는 사용하기 어려우며 스마트폰, 태블릿 PC와 같이 납작한 형태의 정보 처리 장치에 적용하기 어렵다는 문제가 있다.This makes it difficult to use when the user is moving or is located in a narrow space where a sufficient space is not secured, and it is difficult to apply to a flat type information processing device such as a smart phone or a tablet PC.
특히, 종래의 가상 입력 장치는 스마트 워치, 스마트 안경 등 최근 수요가 증가하고 있는 웨어러블 디바이스(wearable device)에 적용하기 어렵다는 문제가 있다.Particularly, the conventional virtual input device has a problem that it is difficult to apply it to a wearable device which is in recent demand such as a smart watch and smart glasses.
상기와 같은 문제점을 해결하기 위한 본 발명의 목적은, 깊이 센서를 구성하는 적어도 하나 이상의 광 투사부 및 이미지 센서를 가상 입력 평면과 동일 평면 상에 배치하여 가상 입력 장치를 소형화함으로써 다양한 웨어러블 디바이스(wearable device)에 용이하게 적용할 수 있는 가상 입력 장치를 제공하는 데 있다.In order to solve the above problems, it is an object of the present invention to dispose a virtual input device by arranging at least one light projecting part and an image sensor constituting a depth sensor on the same plane as a virtual input plane, The present invention also provides a virtual input device that can be easily applied to a device.
또한, 본 발명의 다른 목적은, 2개 이상의 가상 입력 평면을 이용하여 사용자의 입력 상태뿐만 아니라 입력 대기 상태도 인식함으로써 사용자 인터페이스의 출력 또는 외부 입력 장치의 사용이 어려운 상황에서도 사용자로 하여금 신뢰도 높은 입력 환경을 제공할 수 있는 가상 입력 방법을 제공하는 데 있다.Another object of the present invention is to provide a method and apparatus for recognizing input states of users as well as input waiting states by using two or more virtual input planes, And to provide a virtual input method that can provide the environment.
상기 목적을 달성하기 위한 본 발명의 일 측면에 따른 가상 입력 장치는, 사용자에 의해 운용되는 사용자 단말에 구현되며 깊이 센서(depth sensor)를 이용하여 가상 입력 평면에서 사용자 손가락의 위치를 산출하는 위치 산출부, 가상 입력 평면에서 산출된 사용자 손가락의 위치를 기반으로 사용자 손가락의 입력 여부를 판단하는 입력 판단부 및 사용자 손가락이 입력 상태인 것으로 판단됨에 따라 사용자 손가락의 위치에 상응하는 입력이 수행되도록 제어하는 제어부를 포함한다.According to an aspect of the present invention, there is provided a virtual input apparatus, which is implemented in a user terminal operated by a user and calculates a position of a user's finger on a virtual input plane using a depth sensor, An input determination unit for determining whether or not a user's finger is input based on the position of the user's finger calculated in the virtual input plane, and an input corresponding to the position of the user's finger according to the determination that the user's finger is in the input state And a control unit.
여기에서, 깊이 센서는 제1 가상 입력 평면 및 제2 가상 입력 평면으로 구분되는 가상 입력 평면이 형성되도록 선 형태(line-type)의 광을 투사하는 광 투사부 및 투사된 광이 사용자 손가락에 반사됨에 따라 반사된 광을 수신하여 영상 신호로 변환하는 이미지 센서를 포함하며, 광 투사부와 이미지 센서가 가상 입력 평면과 동일 평면 상에 배치될 수 있다.Here, the depth sensor includes a light projecting portion for projecting light of a line-type so as to form a virtual input plane divided into a first virtual input plane and a second virtual input plane, And an image sensor for receiving the reflected light and converting the received light into a video signal. The light projector and the image sensor may be disposed on the same plane as the virtual input plane.
여기에서, 위치 산출부는 광 투사부에서 투사된 광이 사용자 손가락에 반사되어 이미지 센서에 수신되는 각도, 거리 및 시간 중 적어도 하나를 측정하여 가상 입력 평면에서 사용자 손가락의 위치를 산출할 수 있다.Here, the position calculating unit may calculate at least one of an angle, a distance and a time at which the light projected from the light projecting unit is reflected on the user's finger and received by the image sensor, thereby calculating the position of the user's finger in the virtual input plane.
여기에서, 입력 판단부는 산출된 사용자 손가락의 위치가 가상 입력 평면에서 제1 가상 입력 평면에 포함되는지 또는 제1 가상 입력 평면과 제2 가상 입력 평면에 모두 포함되는지에 따라 사용자 손가락의 입력 여부를 판단할 수 있다.Here, the input determination unit determines whether or not the user's finger is input according to whether the calculated position of the user's finger is included in the first virtual input plane in the virtual input plane or in both the first virtual input plane and the second virtual input plane can do.
여기에서, 입력 판단부는 사용자 손가락의 위치가 제1 가상 입력 평면에 포함되는 경우, 사용자 손가락을 입력 대기 상태인 것으로 판단할 수 있다.Here, if the position of the user's finger is included in the first virtual input plane, the input determining unit may determine that the user's finger is in the input waiting state.
여기에서, 제1 가상 입력 평면은 적어도 하나의 영역으로 구분하고, 구분된 영역 각각에 사용자 손가락이 위치함에 따라 마우스 또는 키보드를 이용하는 데이터 입력 동작 및 사용자 단말을 제어하는 제어 동작 중 적어도 하나를 포함하는 입력 동작이 수행되도록 미리 설정될 수 있다.Here, the first virtual input plane includes at least one of a data input operation using a mouse or a keyboard and a control operation for controlling the user terminal as the user's finger is positioned in each of the divided areas, The input operation can be preset to be performed.
여기에서, 입력 판단부는 사용자 손가락의 위치가 제1 가상 입력 평면과 제2 가상 입력 평면에 모두 포함되는 경우, 사용자 손가락을 입력 상태인 것으로 판단할 수 있다.Here, if the position of the user's finger is included in both the first virtual input plane and the second virtual input plane, the input determining unit may determine that the user's finger is in the input state.
여기에서, 제어부는 제1 가상 입력 평면에서 사용자 손가락이 위치하는 영역을 추출하고, 사용자 손가락이 제1 가상 입력 평면과 제2 가상 입력 평면에 모두 포함되어 입력 상태인 것으로 판단됨에 따라 추출된 영역에 상응하는 미리 설정된 입력 동작이 수행되도록 제어할 수 있다.Here, the control unit extracts a region where the user's finger is located in the first virtual input plane, and determines whether the user's finger is included in the first virtual input plane and the second virtual input plane, It is possible to control the corresponding preset input operation to be performed.
여기에서, 가상 입력 장치는 다수의 가상 입력 장치가 연동되어 사용할 수 있다.Here, the virtual input device can be used by interlocking a plurality of virtual input devices.
또한, 상기 다른 목적을 달성하기 위한 본 발명의 일 측면에 따른 가상 입력 방법은, 가상 입력 장치에서 수행되며 깊이 센서를 이용하여 가상 입력 평면에서 사용자 손가락의 위치를 산출하는 단계, 가상 입력 평면에서 산출된 사용자 손가락의 위치를 기반으로 사용자 손가락의 입력 여부를 판단하는 단계 및 사용자 손가락이 입력 상태인 것으로 판단됨에 따라 사용자 손가락의 위치에 상응하는 입력이 수행되도록 제어하는 단계를 포함한다.According to another aspect of the present invention, there is provided a virtual input method comprising the steps of: calculating a position of a user's finger on a virtual input plane using a depth sensor, Determining whether the user's finger is input based on the position of the user's finger, and controlling the input corresponding to the position of the user's finger according to the determination that the user's finger is in the input state.
상술한 바와 같은 본 발명의 실시예에 따른 가상 입력 장치 및 이를 이용하는 방법에 따르면, 깊이 센서를 구성하는 적어도 하나 이상의 광 투사부 및 이미지 센서를 가상 입력 평면과 동일 평면 상에 배치하여 가상 입력 장치를 소형화함으로써 다양한 웨어러블 디바이스(wearable device)에 용이하게 적용할 수 있다.According to the virtual input device and the method of using the virtual input device according to the embodiment of the present invention, at least one light projector and the image sensor constituting the depth sensor are arranged on the same plane as the virtual input plane, And can be easily applied to various wearable devices by miniaturization.
또한, 2개 이상의 가상 입력 평면을 이용하여 사용자의 입력 상태뿐만 아니라 입력 대기 상태도 인식함으로써 사용자 인터페이스의 출력 또는 외부 입력 장치의 사용이 어려운 상황에서도 사용자로 하여금 신뢰도 높은 입력 환경을 제공할 수 있다.Also, by recognizing not only the input state of the user but also the input waiting state by using two or more virtual input planes, it is possible to provide the user with a highly reliable input environment even in the case where the output of the user interface or the use of the external input device is difficult.
또한, 1차원적인 선 형태(line-type)의 광을 이용함으로써 기존 깊이 센서에서의 2차원 이미지 처리에 비해 빠른 연산 처리가 가능하며 관심 영역(ROI) 제한을 통해 신뢰도 높은 위치를 산출할 수 있다.In addition, by using one-dimensional line-type light, it is possible to perform computational processing faster than the two-dimensional image processing in existing depth sensors and to calculate a reliable position through ROI restriction .
도 1은 종래의 가상 입력 장치를 설명하는 예시도이다.
도 2는 본 발명의 실시예에 따른 가상 입력 장치를 나타내는 블록도이다.
도 3은 본 발명의 실시예에 따른 사용자 손가락의 위치를 산출함에 있어 구조광 방식을 이용하는 것을 설명하는 예시도이다.
도 4는 본 발명의 실시예에 따른 사용자 손가락의 위치를 산출함에 있어 스테레오 방식을 이용하는 것을 설명하는 예시도이다.
도 5는 본 발명의 실시예에 따른 사용자 손가락의 입력 상태 및 입력 대기 상태를 확인할 수 있도록 제공되는 사용자 인터페이스를 설명하는 예시도이다.
도 6은 본 발명의 실시예에 따른 가상 입력 장치가 탑재된 스마트 워치(smart watch)를 설명하는 예시도이다.
도 7은 본 발명의 실시예에 따른 스마트 워치에서 사용자 손가락의 입력 여부가 판단되는 것을 설명하는 예시도이다.
도 8은 본 발명의 실시예에 따른 가상 입력 장치가 탑재된 스마트 폰(smart phone)을 설명하는 예시도이다.
도 9는 본 발명의 실시예에 따른 둘 이상의 가상 입력 장치와 연동된 스마트 안경(smart glasses)을 설명하는 예시도이다.
도 10은 본 발명의 실시예에 따른 가상 입력 방법을 설명하는 흐름도이다.1 is an exemplary diagram illustrating a conventional virtual input device.
2 is a block diagram illustrating a virtual input device according to an embodiment of the present invention.
FIG. 3 is an exemplary diagram illustrating the use of a structured light method in calculating the position of a user's finger according to an embodiment of the present invention.
FIG. 4 is a diagram illustrating an example of using a stereo method in calculating a position of a user's finger according to an exemplary embodiment of the present invention. Referring to FIG.
FIG. 5 is a diagram illustrating an example of a user interface provided for checking input and input waiting states of a user's finger according to an embodiment of the present invention. Referring to FIG.
6 is an exemplary view illustrating a smart watch equipped with a virtual input device according to an embodiment of the present invention.
FIG. 7 is an exemplary view for explaining whether a user's finger is input or not in a smart watch according to an embodiment of the present invention. FIG.
8 is an exemplary diagram illustrating a smart phone equipped with a virtual input device according to an embodiment of the present invention.
FIG. 9 is an exemplary diagram illustrating smart glasses interlocked with two or more virtual input devices according to an embodiment of the present invention. Referring to FIG.
10 is a flowchart illustrating a virtual input method according to an embodiment of the present invention.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다. While the invention is susceptible to various modifications and alternative forms, specific embodiments thereof are shown by way of example in the drawings and will herein be described in detail. It should be understood, however, that the invention is not intended to be limited to the particular embodiments, but includes all modifications, equivalents, and alternatives falling within the spirit and scope of the invention. Like reference numerals are used for like elements in describing each drawing.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다. The terms first, second, A, B, etc. may be used to describe various elements, but the elements should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, the first component may be referred to as a second component, and similarly, the second component may also be referred to as a first component. And / or < / RTI > includes any combination of a plurality of related listed items or any of a plurality of related listed items.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. It is to be understood that when an element is referred to as being "connected" or "connected" to another element, it may be directly connected or connected to the other element, . On the other hand, when an element is referred to as being "directly connected" or "directly connected" to another element, it should be understood that there are no other elements in between.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terminology used in this application is used only to describe a specific embodiment and is not intended to limit the invention. The singular expressions include plural expressions unless the context clearly dictates otherwise. In the present application, the terms "comprises" or "having" and the like are used to specify that there is a feature, a number, a step, an operation, an element, a component or a combination thereof described in the specification, But do not preclude the presence or addition of one or more other features, integers, steps, operations, elements, components, or combinations thereof.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs. Terms such as those defined in commonly used dictionaries are to be interpreted as having a meaning consistent with the contextual meaning of the related art and are to be interpreted as either ideal or overly formal in the sense of the present application Do not.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.Hereinafter, preferred embodiments according to the present invention will be described in detail with reference to the accompanying drawings.
도 2는 본 발명의 실시예에 따른 가상 입력 장치를 나타내는 블록도이고, 도 3은 본 발명의 실시예에 따른 사용자 손가락의 위치를 산출함에 있어 구조광 방식을 이용하는 것을 설명하는 예시도이며, 도 4는 본 발명의 실시예에 따른 사용자 손가락의 위치를 산출함에 있어 스테레오 방식을 이용하는 것을 설명하는 예시도이다.FIG. 2 is a block diagram illustrating a virtual input device according to an embodiment of the present invention. FIG. 3 is an exemplary diagram illustrating the use of a structured light method in calculating a position of a user's finger according to an exemplary embodiment of the present invention. 4 is an exemplary view for explaining the use of the stereo method in calculating the position of the user's finger according to the embodiment of the present invention.
또한, 도 5는 본 발명의 실시예에 따른 사용자 손가락의 입력 상태 및 입력 대기 상태를 확인할 수 있도록 제공되는 사용자 인터페이스를 설명하는 예시도이다.5 is a diagram illustrating an example of a user interface provided for checking an input state and an input waiting state of a user finger according to an embodiment of the present invention.
도 2를 참조하면, 가상 입력 장치(100)는 사용자에 의해 운용되는 사용자 단말에서 구현될 수 있다.Referring to FIG. 2, the
여기에서, 사용자 단말은 스마트폰, 태블릿 PC, PDA(Personal Digital Assistant), 컴퓨터, 노트북, 스마트 가전 기기 등의 정보 처리 장치 및 스마트 워치(smart watch), 스마트 안경 등과 같이 사용자가 신체에 직접 착용할 수 있는 웨어러블 디바이스(wearable device)를 포함할 수 있으나 이에 한정되지 않고 사용자 입력이 필요한 다양한 장치에 확대 적용할 수 있을 것이다.Herein, the user terminal is an information processing device such as a smart phone, a tablet PC, a PDA (personal digital assistant), a computer, a notebook, a smart home appliance, and a smart watch, The present invention can be applied to various devices requiring user input, but the present invention is not limited thereto.
최근 사용자 단말에 대한 소형화가 요구됨에 따라 이를 위해 가상 입력 장치를 구현하는 기술에 대한 연구가 활발하게 진행되고 있는 추세이다.In recent years, miniaturization of a user terminal has been demanded, so that a technology for implementing a virtual input device has been actively studied.
다만, 종래의 가상 입력 장치는 사용자 단말과 분리된 공간에 구현된다는 점에서 사용자의 편의성이 떨어지고, 각 장치가 수직으로 배치된다는 점에서 공간의 활용도가 떨어지는 한계가 있다.However, since the conventional virtual input device is implemented in a separate space from the user terminal, the convenience of the user is degraded, and each device is arranged vertically, which limits the utilization of the space.
특히, 걷는 중이거나 사용자가 좁은 공간에 위치하는 등과 같이 공간이 충분히 확보되지 않은 환경에서 사용하기 어려우며 특히, 스마트폰, 태블릿 PC와 같이 납작한 형태의 정보 처리 장치나 스마트 워치, 스마트 안경 등의 웨어러블 디바이스에서 활용하기 어렵다는 문제가 있다.Particularly, it is difficult to use in an environment in which a sufficient space is not ensured, for example, while walking or a user is located in a narrow space. Particularly, a wearable device such as a smartphone or a tablet PC, It is difficult to utilize it.
상술한 종래 기술의 문제를 해결하기 위해 본 발명은 사용자 인터페이스를 출력하거나 별도의 외부 입력 장치의 사용 없이 깊이 센서를 구성하는 적어도 하나 이상의 광 투사부 및 이미지 센서를 가상 입력 평면과 동일 평면 상에 배치하여 사용자의 입력을 인식하는 가상 입력 장치를 제안한다.According to an aspect of the present invention, there is provided an image processing apparatus including at least one light projecting unit and an image sensor, which are arranged on the same plane as a virtual input plane, for outputting a user interface or configuring a depth sensor without using a separate external input device And a virtual input device recognizing a user input is proposed.
본 발명에 따른 가상 입력 장치(100)는 위치 산출부(200), 입력 판단부(300) 및 제어부(400)를 포함하고, 위치 산출부(200)는 적어도 하나 이상의 광 투사부(110)와 이미지 센서(121)로 구성된 깊이 센서(210)를 포함할 수 있다.The
광 투사부(110)는 가상 입력 평면이 형성되도록 선 형태(line-type)의 광을 투사할 수 있다. 여기에서, 광은 특정한 주파수를 가지는 자외선, 가시광선 또는 적외선을 의미할 수 있으나 이에 한정되는 것은 아니다.The
광 투사부(110)에서 선 형태의 다수의 광을 투사함에 따라 2차원의 가상 입력 평면이 형성될 수 있다. 이 때, 가상 입력 평면은 제1 가상 입력 평면과 제2 가상 입력 평면으로 구분될 수 있다.A two-dimensional virtual input plane can be formed by projecting a plurality of linear light beams in the
특히, 광 투사부(110)는 가상 입력 평면을 제1 가상 입력 평면과 제2 가상 입력 평면으로 구분하기 위해 투사한 선 형태의 광의 상하 위치, 즉 투사한 광에 의해 형성된 가상 입력 평면의 상하 위치를 구분한다. 그리하여, 입력을 위해 손가락을 아래로 내렸을 때 먼저 닿게 되는 평면을 제 1 가상 입력 평면으로 정의하고 다른 하나의 가상 입력 평면을 제 2 가상 입력 평면으로 정의한다. In particular, the
여기에서, 가상 입력 평면을 제1 가상 입력 평면과 제2 가상 입력 평면으로 구분하는 이유는 사용자 손가락이 제1 가상 입력 평면 또는 제2 가상 입력 평면에 위치하느냐에 따라 입력 상태 여부를 판단하기 위해서이다. 즉, 제1 가상 입력 평면은 입력 대기 상태인 사용자 손가락을 감지하고 사용자 손가락의 위치를 산출하는 반면, 제2 가상 입력 평면은 특수한 응용을 제외하고는 위치를 산출할 필요가 없다.Here, the reason for dividing the virtual input plane into the first virtual input plane and the second virtual input plane is to judge whether or not the input state is in accordance with whether the user's finger is located on the first virtual input plane or the second virtual input plane. That is, the first virtual input plane senses the user's finger in the input waiting state and calculates the position of the user's finger, while the second virtual input plane does not need to calculate the position except for a special application.
일반적으로 사용자는 입력을 진행하기 위해 손가락으로 입력 장치를 누른다. 이에 따라 입력 상태인 사용자 손가락의 위치는 입력 대기 상태인 사용자 손가락에 비해 밑에 위치할 수 있다. 따라서, 가상 입력 평면에서 제2 가상 입력 평면은 제1 가상 입력 평면의 아래쪽에 위치하여 입력 상태인 사용자 손가락을 감지할 수 있다. Typically, the user presses the input device with a finger to advance the input. Accordingly, the position of the user's finger in the input state can be positioned below the user's finger in the input waiting state. Thus, the second virtual input plane in the virtual input plane can be located below the first virtual input plane to sense the user's finger in the input state.
그리하여, 위치 산출부(200)는 깊이 센서(210)를 구성하는 광 투사부(110)와 이미지 센서(121)를 이용하여 가상 입력 평면에서 사용자 손가락의 위치를 산출할 수 있다.Thus, the
여기에서, 깊이 센서(210)를 구성하는 적어도 하나 이상의 광 투사부(110)와 이미지 센서(121)는 종래의 가상 입력 장치와는 달리 가상 입력 평면과 동일 평면 상에 배치된다. 이로써 공간 활용도를 향상시켜 가상 입력 장치를 소형화할 수 있다.At least one
보다 구체적으로, 위치 산출부(200)는 광 투사부(110)에서 투사된 광이 가상 입력 평면에 위치한 사용자 손가락에 반사되어 이미지 센서(121)로 수신되는 각도, 거리 및 시간 중 적어도 하나를 측정하고, 측정된 각도, 거리 및 시간을 통해 가상 입력 평면에서 사용자 손가락의 위치를 산출할 수 있다.More specifically, the
더 나아가, 가상 입력 평면에서 사용자 손가락의 위치를 산출하기 위해 구조광 방식, 스테레오 방식 또는 TOF(Time Of Flight) 방식이 이용될 수 있다.Furthermore, a structured optical system, a stereo system or a TOF (Time Of Flight) system can be used to calculate the position of the user's finger in the virtual input plane.
구조광 방식은 도 3에 도시된 바와 같이 광 투사부(110)에 의해 투사된 광이 사용자 손가락에 반사되는 위치(A)를 산출하는 방식으로 광이 사용자 손가락에 반사되는 위치 A를 산출하기 위해서는 광 투사부(110)에서 투사된 광이 가상 입력 평면에 위치한 사용자 손가락에 반사되어 이미지 센서(121)로 수신되는 각도 α를 산출해야 한다.In the structured optical system, as shown in FIG. 3, in order to calculate the position A where light is reflected on the user's finger in such a manner that light projected by the
각도 α의 산출을 위해 이용되는 구조광 방식에는 시분할 방식과 공간 분할 방식이 이용될 수 있다. 시분할 방식은 매 시간마다 서로 다른 광 패턴을 투사하여 시간 별로 사용자 손가락의 위치를 특정하는 방법으로 매 시간마다 사용자 손가락에 반사되는 패턴을 n개의 비트(bit)로 표현한다는 점에서 n이 클수록 사용자 손가락의 위치를 보다 세밀하게 산출할 수 있다. 공간분할 방식은 여러 줄에 걸쳐 한꺼번에 여러 광 패턴을 투사하는 방법으로 시간에 따라 광의 패턴을 변화시킬 필요 없이 한번에 사용자 손가락의 위치를 산출할 수 있다. 두 방식에는 바이너리 패턴, 그레이 코드 패턴 등 여러가지 광 패턴이 이용될 수 있다.A time-division method and a space division method can be used for the structured light method used for calculating the angle [alpha]. The time division method is a method of projecting different light patterns every hour to specify the position of the user's finger by time. In this method, the pattern reflected by the user's finger is expressed by n bits every hour. Can be calculated more finely. In the space division method, a plurality of light patterns are projected all at once over a plurality of lines, and the position of the user's finger can be calculated at once without changing the light pattern over time. In both methods, various light patterns such as a binary pattern and a gray code pattern can be used.
스테레오 방식은 도 4에 도시된 바와 같이 광 투사부(110)를 두 개의 이미지 센서(121) A와 B사이에 배치하여 사용자 손가락의 위치를 산출하는 방법을 의미한다. 상세하게는, 광 투사부(110)에서 투사된 광이 사용자 손가락에 반사되어 이미지 센서(121) A와 B 각각에 수신됨에 따라 이미지 센서(121) A에서 촬영된 사용자 손가락 이미지 d1과 이미지 센서(121) B에서 촬영된 사용자 손가락 이미지의 d2 간의 차이(disparity)를 계산하여 사용자 손가락의 위치를 신속하게 산출할 수 있다. 이 때, 필요에 따라서는 손가락의 위치를 보다 세밀하게 판단하기 위하여 광 투사부(110)에서 광 패턴을 투사함으로써 상기의 구조광 방식을 응용할 수 있다.The stereoscopic method is a method of calculating the position of a user's finger by arranging the
여기서는 가상 입력 평면에서 사용자 손가락의 위치를 산출함에 있어 구조광 방식과 스테레오 방식이 이용되는 것을 설명하였으나, 광 투사부(110)에서 투사된 광이 사용자 손가락에 반사되어 이미지 센서(121)에 수신되는 시간을 측정함으로써 사용자 손가락의 위치를 산출하는 TOF 방식 또한 이용될 수 있다.Here, the structure optical system and the stereoscopic system are used in calculating the position of the user's finger on the virtual input plane. However, when the light projected from the
입력 판단부(300)는 사용자 손가락의 위치를 확인하여 사용자 손가락의 입력 여부를 판단할 수 있다. 즉, 사용자 손가락의 위치가 가상 입력 평면에서 제1 가상 입력 평면에 포함되는지 제2 가상 입력 평면에 포함되는지를 확인하여 사용자 손가락의 입력 여부를 판단할 수 있다.The
만약, 사용자 손가락의 위치가 제1 가상 입력 평면에 포함되는 경우, 사용자 손가락을 입력 대기 상태인 것으로 판단할 수 있다. If the position of the user's finger is included in the first virtual input plane, it can be determined that the user's finger is in the input waiting state.
반면, 사용자 손가락의 위치가 제 1 가상 입력 평면과 제2 가상 입력 평면에 모두 포함되는 경우, 사용자 손가락을 입력 상태인 것으로 판단할 수 있다.On the other hand, if the position of the user's finger is included in both the first virtual input plane and the second virtual input plane, it can be determined that the user's finger is in the input state.
이와 같이 손가락이 입력 대기 상태(즉, 호버링 상태)인지 입력 상태인지 판단한 결과를 용이하게 확인할 수 있도록 사용자에게 사용자 인터페이스를 제공할 수 있다.The user interface can be provided to the user so that the result of determining whether the finger is in the input waiting state (i.e., the hovering state) or the input state can be easily confirmed.
보다 구체적으로, 사용자 인터페이스(51)는 도 5에 도시된 바와 같이 사용자 단말의 화면에 다수의 키 이미지와 사용자 손가락의 입력 상태를 확인할 수 있는 이미지가 포함할 수 있다. 그리하여, 손가락이 호버링 중인 것으로 판단되는 경우, 사용자 인터페이스(51)에서 A와 같이 표시될 수 있으며, 손가락이 입력 중인 것으로 판단되는 경우, B와 같이 표시될 수 있다.More specifically, as shown in FIG. 5, the
이 때, 사용자 인터페이스(51)는 사용자 단말의 화면에서 다른 애플리케이션들과 함께 확인될 수 있도록 반투명으로 표시될 수 있다.At this time, the
제어부(400)는 사용자 손가락이 제1 가상 입력 평면과 제2 가상 입력 평면에 모두 포함되어 입력 상태인 것으로 판단됨에 따라 사용자 손가락의 위치에 상응하는 입력이 수행되도록 제어할 수 있다.The
이 때, 제1 가상 입력 평면은 미리 구분된 적어도 하나의 영역 각각에 사용자 손가락이 위치함에 따라 마우스 또는 키보드를 이용하는 데이터 입력 동작 및 사용자 단말을 제어하는 제어 동작 중 적어도 하나를 포함하는 입력 동작이 수행되도록 미리 설정될 수 있다.At this time, the first virtual input plane has an input operation including at least one of a data input operation using a mouse or a keyboard and a control operation for controlling a user terminal as the user's finger is positioned in each of at least one of the pre- As shown in FIG.
따라서, 제1 가상 입력 평면에서 사용자 손가락이 위치하는 영역을 추출하고, 사용자 손가락이 제1 가상 입력 평면과 제2 가상 입력 평면에 모두 포함되어 입력 상태인 것으로 판단됨에 따라 추출된 영역에 상응하는 미리 설정된 입력 동작이 수행되도록 제어할 수 있다.Accordingly, the region where the user's finger is located in the first virtual input plane is extracted, and the user's finger is included in both the first virtual input plane and the second virtual input plane, So that the set input operation can be controlled to be performed.
가상 입력 장치가 탑재된 사용자 단말의 예는 이하 도 6 내지 도 9를 통해 구체적으로 설명하도록 한다.
An example of a user terminal equipped with a virtual input device will be described below with reference to FIGS. 6 to 9. FIG.
도 6은 본 발명의 실시예에 따른 가상 입력 장치가 탑재된 스마트 워치(smart watch)를 설명하는 예시도이고, 도 7은 본 발명의 실시예에 따른 스마트 워치에서 사용자 손가락의 입력 여부가 판단되는 것을 설명하는 예시도이다.FIG. 6 is a diagram illustrating an example of a smart watch equipped with a virtual input device according to an embodiment of the present invention. FIG. 7 is a flowchart illustrating a method of determining whether a user's finger is input in a smart watch according to an exemplary embodiment of the present invention Fig.
또한, 도 8은 본 발명의 실시예에 따른 가상 입력 장치가 탑재된 스마트 폰(smart phone)을 설명하는 예시도이고, 도 9는 본 발명의 실시예에 따른 둘 이상의 가상 입력 장치와 연동된 스마트 안경(smart glasses)을 설명하는 예시도이다.FIG. 8 is a diagram illustrating a smart phone equipped with a virtual input device according to an embodiment of the present invention. FIG. 9 is a diagram illustrating a smart phone connected with two or more virtual input devices according to an embodiment of the present invention. Fig. 8 is an illustration showing the smart glasses. Fig.
도 6 내지 도 9를 참조하면, 본 발명에서 제안하는 가상 입력 장치를 다양한 사용자 단말에 적용할 수 있다.6 to 9, the virtual input device proposed by the present invention can be applied to various user terminals.
먼저, 도 6은 가상 입력 장치를 스마트 워치에 적용한 예로, 스마트 워치 하단에 광 투사부(110)와 이미지 센서(121)로 구성된 깊이 센서를 탑재할 수 있다. 이 때, 광 투사부(110)와 이미지 센서(121)는 광 투사부(110)를 통해 형성되는 가상 입력 평면과 동일 평면 상에 배치되는 것을 알 수 있다.6 illustrates an example in which a virtual input device is applied to a smart watch, and a depth sensor including a
보다 구체적으로, 도 6a와 같이 광 투사부(110)와 이미지 센서(121)가 사용자의 손목과 밀착되도록 배치할 수 있으며, 도 6b와 같이 평소에는 사용자 손목과 평행한 방향에 위치하다가 입력 시에만 사용자 손목과 90도를 이루도록 접이식으로 부착될 수 있다. 도 6b와 같이 접이식을 채택하는 경우, 사용자 손목으로부터 일정 높이를 획득할 수 있으므로 움푹 들어간 손목으로 인해 사용자 손가락이 가려지는 현상을 방지할 수 있다. More specifically, as shown in FIG. 6A, the
도 6a와 도 6b은 사용자 손가락을 아래로 눌러 입력하는 것을 예로 들었으나, 이에 한정되지 않고 도 6c에 도시된 바와 같이 스마트 워치를 착용한 손의 손바닥이 하늘로 향하도록 하여 입력하거나 스마트 워치를 착용한 손과 다른 손을 이용하여 입력할 수 있도록 다양한 응용이 가능할 것이다.6A and 6B illustrate an example in which the user's finger is pressed down, but the present invention is not limited thereto. For example, as shown in FIG. 6C, when the palm of the hand wearing the smart watch is directed toward the sky, A variety of applications will be possible to input using one hand and the other hand.
그리하여, 스마트 워치에 탑재된 광 투사부(110)에서 광이 선 형태로 투사됨에 따라 사용자 손가락 아래로 제1 가상 입력 평면(111) 및 제2 가상 입력 평면(113)으로 구분된 가상 입력 평면이 형성될 수 있다.As the light is projected in a linear form in the
다만, 일반적으로 사용자는 입력을 진행하기 위해 손가락으로 입력 장치를 누르는 행동을 취함에 따라 입력 상태인 사용자 손가락의 위치는 입력 대기 상태인 사용자 손가락에 비해 밑에 위치할 수 있다. 따라서, 제1 가상 입력 평면(111)을 통해서는 입력 대기 상태인 사용자 손가락을 감지하고, 제2 가상 입력 평면(113)을 통해서는 입력 상태인 사용자 손가락을 감지할 수 있다.However, generally, as the user takes an action of pressing the input device with a finger to proceed with the input, the position of the user finger in the input state may be positioned below the user finger in the input waiting state. Accordingly, the user can sense the user's finger in the input standby state through the first
사용자 손가락이 제1 가상 입력 평면(111)에 위치하는지 또는 제1 가상 입력 평면(111)과 제2 가상 입력 평면(113) 모두에 위치하는지를 구체적으로 산출하기 위해 투사된 광이 사용자 손가락에 반사되어 이미지 센서(121)에 수신되는 상하 위치를 측정할 수 있다.The projected light is reflected on the user's finger to specifically calculate whether the user's finger is located on the first
도 6a와 도 6b를 예로 들면, 사용자의 다섯 손가락 중에서 엄지와 검지는 제1 가상 입력 평면(111) 및 제2 가상 입력 평면(113)의 어디에도 위치하지 않으므로 입력에 참여하고 있지 않은 것으로 판단할 수 있다.6A and 6B, it can be determined that the thumb and index finger of the user's five fingers are not located in the first
다만, 사용자의 다섯 손가락 중에서 중지, 약지 및 소지는 광 투사부(110)에서 투사되어 제1 가상 입력 평면(111)을 형성하는 광이 반사되어 이미지 센서(121)에 수신될 수 있다. However, among the five fingers of the user, the stop, the finger and the pad may be reflected by the
그리하여, 제1 가상 입력 평면(111)에는 도 7a에 도시된 바와 같이 중지가 위치하는 영역(C), 약지가 위치하는 영역(B) 및 소지가 위치하는 영역 (A)이 표시될 수 있다.Thus, in the first
이 때, 제1 가상 입력 평면(111)에서 감지된 중지, 약지 및 소지 중에서 소지는 광 투사부(110)에서 투사되어 제2 가상 입력 평면(113)을 형성하는 광이 반사되어 이미지 센서(121)로 수신될 수 있다. 그리하여, 제2 가상 입력 평면(113)에는 도 7b에 도시된 바와 같이 소지가 위치하는 영역(A’)이 표시될 수 있다.At this time, the image of the stop, the finger, and the object sensed by the first
즉, 사용자의 다섯 손가락 중에서 제1 가상 입력 평면(111)과 제2 가상 입력 평면(113)에 동시에 감지되는 소지를 입력 진행 상태인 것으로 판단하고, 제1 가상 입력 평면(111)에서만 감지되는 사용자의 중지와 약지는 입력 대기 상태 즉, 호버링 상태인 것으로 판단할 수 있다.That is, it is determined that the user is in the input progress state and the user who is detected simultaneously on the first
소지가 입력 진행 상태인 것으로 판단됨에 따라 제1 가상 입력 평면(111)에서 소지가 위치하고 있는 영역(A)에 상응하는 미리 설정된 입력 동작이 수행될 수 있다. A predetermined input operation corresponding to the region A where the object is located in the first
만약, 미리 설정된 입력 동작이 스마트 워치 상의 디스플레이를 활성화시키는 동작인 경우, 영역(A)에 사용자 손가락이 위치함에 따라 스마트 워치의 디스플레이를 활성화하는 입력 신호를 전송하는 등의 제어가 수행될 수 있다.If the preset input operation is an operation for activating the display on the smart watch, control such as transmitting an input signal activating the display of the smart watch as the user's finger is placed in the area A can be performed.
상술한 바와 같이 깊이 센서를 구성하는 적어도 하나 이상의 광 투사부 및 이미지 센서를 가상 입력 평면과 동일 평면 상에 배치함으로써 도 8에 도시된 바와 같이 스마트 폰, 태블릿 PC와 같이 납작한 형태의 정보 처리 장치에도 적용이 용이할 것으로 판단된다.As described above, by disposing at least one or more light projecting units and image sensors constituting the depth sensor on the same plane as the virtual input plane, the flat information processing apparatus such as a smart phone or a tablet PC It is considered to be easy to apply.
도 8에서는 제1 가상 입력 평면(111)와 제2 가상 입력 평면(113)을 형성하는 광 투사부(110)와 반사되는 광을 수신하는 이미지 센서(121)가 스마트 폰의 측면에 탑재되어 있으나, 이에 한정되지 않고 깊이 센서(210)를 구성하는 적어도 하나 이상의 광 투사부(110) 및 이미지 센서(121)와 가상 입력 평면이 동일 평면 상에 위치하도록 할 수 있는 다양한 위치에 탑재될 수 있다.8, the
또한, 본 발명에서 제안하는 가상 입력 장치를 둘 또는 그 이상 연동하여 사용할 수 있다. 보다 구체적으로, 도 9와 같이 스마트 안경과 같은 장치에 대한 입력 장치로 사용할 경우, 사용자의 양 손목에 착용된 두개의 가상 입력 장치가 연동하고 스마트 안경에 전체(Full-size) 키보드와 동일한 가상 인터페이스를 구현함으로써 일반적인 PC를 사용할 때와 동일한 환경을 가상으로 구축할 수 있다.
In addition, two or more virtual input devices proposed by the present invention can be used in conjunction with each other. 9, when two virtual input devices worn on both wrists of the user are interlocked and the same virtual interface as the full-size keyboard is connected to the smart glasses, It is possible to virtually build the same environment as when using a general PC.
도 10은 본 발명의 실시예에 따른 가상 입력 방법을 설명하는 흐름도이다.10 is a flowchart illustrating a virtual input method according to an embodiment of the present invention.
도 10을 참조하면, 가상 입력 방법은 가상 입력 장치에 의해 수행될 수 있으며, 가상 입력 장치는 사용자에 의해 운용되는 사용자 단말에 구현될 수 있다.Referring to FIG. 10, the virtual input method may be performed by a virtual input device, and the virtual input device may be implemented in a user terminal operated by a user.
이 때, 사용자 단말은 스마트폰, 태블릿 PC, PDA(Personal Digital Assistant), 컴퓨터, 노트북, 스마트 가전 기기 등의 정보 처리 장치 및 스마트 워치(smart watch), 스마트 안경 등과 같이 사용자가 신체에 직접 착용할 수 있는 웨어러블 디바이스(wearable device)를 포함할 수 있으나 이에 한정되지 않고 사용자 입력이 필요한 다양한 장치에 확대 적용할 수 있을 것이다.In this case, the user terminal may be an information processing device such as a smart phone, a tablet PC, a PDA (personal digital assistant), a computer, a notebook, a smart home appliance, and a smart watch, The present invention can be applied to various devices requiring user input, but the present invention is not limited thereto.
본 발명에 따른 가상 입력 방법은 깊이 센서를 이용하여 가상 입력 평면에서 사용자 손가락의 위치를 산출하는 단계(S100), 사용자 손가락의 위치를 확인하여 사용자 손가락의 입력 여부를 판단하는 단계(S200) 및 입력 상태인 경우 사용자 손가락의 위치에 상응하는 입력이 수행되도록 제어하는 단계(S300)를 포함할 수 있다.A virtual input method according to the present invention includes calculating a position of a user's finger on a virtual input plane using a depth sensor (S100), determining whether a user's finger is input by checking the position of the user's finger (S200) (S300) to perform an input corresponding to the position of the user's finger when the state of the user's finger is in a state.
먼저, 깊이 센서를 이용하여 가상 입력 평면에서 사용자 손가락의 위치를 산출할 수 있다(S100). 여기에서, 깊이 센서는 적어도 하나의 광 투사부와 이미지 센서로 구성될 수 있다. First, the position of the user's finger can be calculated from the virtual input plane using the depth sensor (S100). Here, the depth sensor may be composed of at least one light projector and an image sensor.
이 때, 광 투사부는 사용자 손가락을 감지하기 위해 가상 입력 평면이 형성되도록 선 형태(line-type)의 광을 투사할 수 있다. 여기에서, 가상 입력 평면은 제1 가상 입력 평면과 제2 가상 입력 평면으로 구분될 수 있다. 제1 가상 입력 평면과 제2 가상 입력 평면은 투사한 선 형태 광의 상하 위치, 즉 투사한 광에 의해 형성된 가상 입력 평면의 상하 위치를 통해 구분한다. 이 때, 입력을 위해 손가락을 아래로 내렸을 때 먼저 닿게 되는 평면을 제 1 가상 입력 평면으로 정의하고 다른 하나의 가상 입력 평면을 제 2 가상 입력 평면으로 정의한다.At this time, the light projecting unit may project line-type light so that a virtual input plane is formed to detect a user's finger. Here, the virtual input plane may be divided into a first virtual input plane and a second virtual input plane. The first virtual input plane and the second virtual input plane are divided by the vertical position of the projected line shaped light, that is, the vertical position of the virtual input plane formed by the projected light. In this case, a plane which is first touched when the finger is lowered for input is defined as a first virtual input plane, and another virtual input plane is defined as a second virtual input plane.
그리하여, 가상 입력 평면에서 사용자 손가락은 어떠한 평면에도 포함되지 않거나 제 1 가상 입력 평면에만 포함되거나 제 1 가상 입력 평면과 제 2 가상 입력 평면 모두에 포함되는 세 가지의 상태를 갖게 되며, 제 2 가상 입력 평면에만 포함되는 경우는 존재하지 않는다.Thus, in the virtual input plane, the user's finger has three states that are either not included in any plane, included only in the first virtual input plane, or included in both the first virtual input plane and the second virtual input plane, It does not exist in the plane only.
여기에서, 가상 입력 평면을 제1 가상 입력 평면과 제2 가상 입력 평면으로 구분하는 이유는 사용자 손가락이 제1 가상 입력 평면 또는 제2 가상 입력 평면에 위치하느냐에 따라 입력 상태 여부를 판단하기 위해서이다. 그리하여, 제1 가상 입력 평면은 입력 대기 상태인 사용자 손가락을 감지하고 사용자 손가락에 대한 가상 입력 평면 상의 위치를 산출하는 반면, 제2 가상 입력 평면은 입력 상태인 사용자 손가락을 감지할 수 있다.Here, the reason for dividing the virtual input plane into the first virtual input plane and the second virtual input plane is to judge whether or not the input state is in accordance with whether the user's finger is located on the first virtual input plane or the second virtual input plane. Thus, the first virtual input plane senses the user's finger in the input waiting state and calculates the position on the virtual input plane with respect to the user's finger, while the second virtual input plane can sense the user's finger in the input state.
일반적으로 사용자는 입력을 진행하기 위해 손가락으로 입력 장치를 누른다. 이에 따라 입력 상태인 사용자 손가락의 위치는 입력 대기 상태인 사용자 손가락에 비해 밑에 위치할 수 있다. 따라서, 가상 입력 평면에서 제2 가상 입력 평면은 제1 가상 입력 평면의 아래쪽에 위치하여 입력 상태인 사용자 손가락을 감지할 수 있다.Typically, the user presses the input device with a finger to advance the input. Accordingly, the position of the user's finger in the input state can be positioned below the user's finger in the input waiting state. Thus, the second virtual input plane in the virtual input plane can be located below the first virtual input plane to sense the user's finger in the input state.
광 투사부에 의해 형성된 가상 입력 평면상에서 사용자 손가락에 반사되어 이미지 센서에 수신되는 각도, 거리 및 시간 중 적어도 하나를 측정함으로써 사용자 손가락의 위치를 산출할 수 있다.The position of the user's finger can be calculated by measuring at least one of the angle, distance and time reflected on the user's finger on the virtual input plane formed by the light projection part and received by the image sensor.
일반적으로 이러한 위치 산출 단계는 제 1 가상 입력 평면에서만 필요하며, 제 2 가상 입력 평면은 손가락의 포함 여부에 따른 입력 상태를 판단하는 데에만 사용되므로 특수한 응용을 제외하면 제 2 가상 입력 평면에서 위치를 산출할 필요는 없다.Generally, this position calculation step is required only in the first virtual input plane, and the second virtual input plane is used only to determine the input state depending on whether the finger is included or not. Therefore, except for a special application, There is no need to calculate.
산출된 사용자 손가락의 위치를 확인하여 사용자 손가락의 입력 여부를 판단할 수 있다(S200).The calculated position of the user's finger can be checked to determine whether the user's finger is input (S200).
즉, 사용자 손가락의 위치가 가상 입력 평면에서 제1 가상 입력 평면에 포함되는지 제2 가상 입력 평면에 포함되는지를 확인하여 사용자 손가락의 입력 여부를 판단할 수 있다.That is, it can be determined whether the position of the user's finger is included in the first virtual input plane or the second virtual input plane in the virtual input plane, thereby determining whether or not the user's finger is input.
만약, 사용자 손가락의 위치가 제1 가상 입력 평면에 포함되는 경우, 사용자 손가락을 입력 대기 상태인 것으로 판단할 수 있다. If the position of the user's finger is included in the first virtual input plane, it can be determined that the user's finger is in the input waiting state.
반면, 사용자 손가락의 위치가 제1 가상 입력 평면과 제2 가상 입력 평면 모두에 포함되는 경우, 사용자 손가락을 입력 상태인 것으로 판단할 수 있다. On the other hand, when the position of the user's finger is included in both the first virtual input plane and the second virtual input plane, it can be determined that the user's finger is in the input state.
사용자 손가락이 제2 가상 입력 평면에 포함되어 입력 상태인 것으로 판단됨에 따라 사용자 손가락의 위치에 상응하는 동작이 실행되도록 제어할 수 있다(S300).It is possible to control the operation corresponding to the position of the user's finger to be executed according to the determination that the user's finger is included in the second virtual input plane to be in the input state (S300).
이 때, 제1 가상 입력 평면은 적어도 하나의 영역으로 구분한 후 영역 각각에 사용자 손가락이 위치함에 따라 마우스 또는 키보드를 이용하는 데이터 입력 동작 및 사용자 단말을 제어하는 제어 동작 중 적어도 하나를 포함하는 입력 동작이 실행되도록 미리 설정되어 있다. In this case, the first virtual input plane is divided into at least one area, and an input operation including at least one of a data input operation using a mouse or a keyboard and a control operation for controlling a user terminal, Is set to be executed in advance.
따라서, 제1 가상 입력 평면에서 사용자 손가락이 위치하는 영역을 추출하고, 사용자 손가락이 제1 가상 입력 평면과 제2 가상 입력 평면 모두에 포함되어 입력 상태인 것으로 판단됨에 따라 추출된 영역에 상응하는 미리 설정된 입력 동작이 실행되도록 제어할 수 있다.
Accordingly, the region in which the user's finger is located in the first virtual input plane is extracted, and the user's finger is included in both the first virtual input plane and the second virtual input plane, So that the set input operation can be controlled to be executed.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
It will be apparent to those skilled in the art that various modifications and variations can be made in the present invention without departing from the spirit or scope of the present invention as defined by the following claims It can be understood that
10: 이미지 센서
20: 프로젝터
21: 키보드 이미지
30: 광 투사 장치
31: 광
51: 사용자 인터페이스
100: 가상 입력 장치
110: 광 투사부
111: 제1 가상 입력 평면
113: 제2 가상 입력 평면
121: 이미지 센서
200: 위치 산출부
210: 깊이 센서
300: 입력 판단부
400: 제어부10: image sensor 20: projector
21: keyboard image 30: light projection device
31: light 51: user interface
100: virtual input device 110: light projection part
111: first virtual input plane 113: second virtual input plane
121: image sensor 200: position calculating section
210: depth sensor 300:
400:
Claims (16)
깊이 센서(depth sensor)를 이용하여 가상 입력 평면에서 상기 사용자 손가락의 위치를 산출하는 위치 산출부;
상기 가상 입력 평면에서 산출된 사용자 손가락의 위치를 기반으로 상기 사용자 손가락의 입력 여부를 판단하는 입력 판단부; 및
상기 사용자 손가락이 입력 상태인 것으로 판단됨에 따라 상기 사용자 손가락의 위치에 상응하는 입력이 수행되도록 제어하는 제어부를 포함하는 가상 입력 장치.In a user terminal operated by a user,
A position calculating unit for calculating a position of the user's finger on a virtual input plane using a depth sensor;
An input determination unit for determining whether the user's finger is input based on the position of the user's finger calculated on the virtual input plane; And
And a controller for controlling the input corresponding to the position of the user's finger to be performed according to the determination that the user's finger is in the input state.
상기 깊이 센서는,
제1 가상 입력 평면 및 제2 가상 입력 평면으로 구분되는 상기 가상 입력 평면이 형성되도록 선 형태(line-type)의 광을 투사하는 광 투사부; 및
상기 투사된 광이 상기 사용자 손가락에 반사됨에 따라 상기 반사된 광을 수신하여 영상 신호로 변환하는 이미지 센서를 포함하며,
상기 광 투사부와 상기 이미지 센서가 상기 가상 입력 평면과 동일 평면 상에 배치되는 것을 특징으로 하는 가상 입력 장치.The method according to claim 1,
Wherein the depth sensor comprises:
A light projector for projecting line-type light so that the virtual input plane is divided into a first virtual input plane and a second virtual input plane; And
And an image sensor for receiving the reflected light and converting the reflected light into a video signal as the projected light is reflected on the user's finger,
Wherein the light projecting unit and the image sensor are disposed on the same plane as the virtual input plane.
상기 위치 산출부는,
상기 광 투사부에서 투사된 광이 상기 사용자 손가락에 반사되어 상기 이미지 센서에 수신되는 각도, 거리 및 시간 중 적어도 하나를 측정하여 상기 가상 입력 평면에서 상기 사용자 손가락의 위치를 산출하는 것을 특징으로 하는 가상 입력 장치.The method of claim 2,
The position calculating unit calculates,
And calculating a position of the user's finger on the virtual input plane by measuring at least one of an angle, a distance, and a time that is reflected by the user's finger and received by the image sensor, Input device.
상기 입력 판단부는,
상기 산출된 사용자 손가락의 위치가 상기 가상 입력 평면에서 상기 제1 가상 입력 평면에 포함되는지 또는 상기 제1 가상 입력 평면과 상기 제2 가상 입력 평면에 모두 포함되는지에 따라 상기 사용자 손가락의 입력 여부를 판단하는 것을 특징으로 하는 가상 입력 장치.The method of claim 3,
The input judging unit,
Determining whether the user's finger is input according to whether the calculated position of the user's finger is included in the first virtual input plane in the virtual input plane or both in the first virtual input plane and the second virtual input plane And the virtual input device.
상기 입력 판단부는,
상기 사용자 손가락의 위치가 상기 제1 가상 입력 평면에 포함되는 경우, 상기 사용자 손가락을 입력 대기 상태인 것으로 판단하는 것을 특징으로 하는 가상 입력 장치.The method of claim 4,
The input judging unit,
When the position of the user's finger is included in the first virtual input plane, determines that the user's finger is in an input waiting state.
상기 제1 가상 입력 평면은,
적어도 하나의 영역으로 구분하고, 상기 구분된 영역 각각에 상기 사용자 손가락이 위치함에 따라 마우스 또는 키보드를 이용하는 데이터 입력 동작 및 상기 사용자 단말을 제어하는 제어 동작 중 적어도 하나를 포함하는 입력 동작이 수행되도록 미리 설정되는 것을 특징으로 하는 가상 입력 장치.The method of claim 5,
Wherein the first virtual input plane comprises:
Wherein the input operation includes at least one of a data input operation using a mouse or a keyboard and a control operation for controlling the user terminal as the user's finger is positioned in each of the divided areas, And the virtual input device.
상기 입력 판단부는,
상기 사용자 손가락의 위치가 상기 제1 가상 입력 평면과 상기 제2 가상 입력 평면에 모두 포함되는 경우, 상기 사용자 손가락을 입력 상태인 것으로 판단하는 것을 특징으로 하는 가상 입력 장치.The method of claim 4,
The input judging unit,
If the position of the user's finger is included in both the first virtual input plane and the second virtual input plane, determining that the user's finger is in the input state.
상기 제어부는,
상기 제1 가상 입력 평면에서 상기 사용자 손가락이 위치하는 영역을 추출하고, 상기 사용자 손가락이 상기 제1 가상 입력 평면과 상기 제2 가상 입력 평면에 모두 포함되어 입력 상태인 것으로 판단됨에 따라 상기 추출된 영역에 상응하는 상기 미리 설정된 입력 동작이 수행되도록 제어하는 것을 특징으로 하는 가상 입력 장치.The method of claim 7,
Wherein,
Extracting an area in which the user's finger is located in the first virtual input plane and determining whether the user's finger is included in both the first virtual input plane and the second virtual input plane, Wherein the control unit controls the input unit to perform the predetermined input operation corresponding to the virtual input unit.
상기 가상 입력 장치는,
다수의 가상 입력 장치가 연동되어 사용 가능한 것을 특징으로 하는 가상 입력 장치.The method according to claim 1,
The virtual input device includes:
Wherein a plurality of virtual input devices are interlocked and usable.
깊이 센서(depth sensor)를 이용하여 가상 입력 평면에서 상기 사용자 손가락의 위치를 산출하는 단계;
상기 가상 입력 평면에서 산출된 사용자 손가락의 위치를 기반으로 상기 사용자 손가락의 입력 여부를 판단하는 단계; 및
상기 사용자 손가락이 입력 상태인 것으로 판단됨에 따라 상기 사용자 손가락의 위치에 상응하는 입력이 수행되도록 제어하는 단계를 포함하는 가상 입력 방법.In a virtual input method performed by a virtual input device,
Calculating a position of the user's finger in a virtual input plane using a depth sensor;
Determining whether the user's finger is input based on the position of the user's finger calculated on the virtual input plane; And
And controlling the input corresponding to the position of the user's finger to be performed according to the determination that the user's finger is in the input state.
상기 깊이 센서는,
제1 가상 입력 평면 및 제2 가상 입력 평면으로 구분되는 상기 가상 입력 평면이 형성되도록 선 형태(line-type)의 광을 투사하는 광 투사부; 및
상기 투사된 광이 상기 사용자 손가락에 반사됨에 따라 상기 반사된 광을 수신하여 영상 신호로 변환하는 이미지 센서를 포함하며,
상기 광 투사부와 상기 이미지 센서가 상기 가상 입력 평면과 동일 평면 상에 배치되는 것을 특징으로 하는 가상 입력 방법.The method of claim 10,
Wherein the depth sensor comprises:
A light projector for projecting line-type light so that the virtual input plane is divided into a first virtual input plane and a second virtual input plane; And
And an image sensor for receiving the reflected light and converting the reflected light into a video signal as the projected light is reflected on the user's finger,
Wherein the light projecting unit and the image sensor are disposed on the same plane as the virtual input plane.
상기 사용자 손가락의 위치를 산출하는 단계는,
상기 광 투사부에서 투사된 광이 상기 사용자 손가락에 반사되어 상기 이미지 센서에 수신되는 각도, 거리 및 시간 중 적어도 하나를 측정하여 상기 가상 입력 평면에서 상기 사용자 손가락의 위치를 산출하는 것을 특징으로 하는 가상 입력 방법.The method of claim 11,
Wherein calculating the position of the user finger comprises:
And calculating a position of the user's finger on the virtual input plane by measuring at least one of an angle, a distance, and a time that is reflected by the user's finger and received by the image sensor, Input method.
상기 사용자 손가락의 입력 여부를 판단하는 단계는,
상기 산출된 사용자 손가락의 위치가 상기 가상 입력 평면에서 상기 제1 가상 입력 평면에 포함되는지 또는 상기 제1 가상 입력 평면과 상기 제2 가상 입력 평면에 모두 포함되는지에 따라 상기 사용자 손가락의 입력 여부를 판단하는 것을 특징으로 하는 가상 입력 방법.The method of claim 12,
Wherein the step of determining whether the user's finger is input comprises:
Determining whether the user's finger is input according to whether the calculated position of the user's finger is included in the first virtual input plane in the virtual input plane or both in the first virtual input plane and the second virtual input plane The virtual input method comprising:
상기 사용자 손가락의 입력 여부를 판단하는 단계는,
상기 사용자 손가락의 위치가 상기 제1 가상 입력 평면에 포함되는 경우, 상기 사용자 손가락을 입력 대기 상태인 것으로 판단하고,
상기 사용자 손가락의 위치가 상기 제1 가상 입력 평면과 상기 제2 가상 입력 평면에 모두 포함되는 경우, 상기 사용자 손가락을 입력 상태인 것으로 판단하는 것을 특징으로 하는 가상 입력 방법.14. The method of claim 13,
Wherein the step of determining whether the user's finger is input comprises:
If the position of the user's finger is included in the first virtual input plane, determining that the user's finger is in an input waiting state,
If the position of the user's finger is included in both the first virtual input plane and the second virtual input plane, determining that the user's finger is in the input state.
상기 제1 가상 입력 평면은,
적어도 하나의 영역으로 구분하고, 상기 구분된 영역 각각에 상기 사용자 손가락이 위치함에 따라 마우스 또는 키보드를 이용하는 데이터 입력 동작 및 상기 사용자 단말을 제어하는 제어 동작 중 적어도 하나를 포함하는 입력 동작이 수행되도록 미리 설정되는 것을 특징으로 하는 가상 입력 방법.15. The method of claim 14,
Wherein the first virtual input plane comprises:
Wherein the input operation includes at least one of a data input operation using a mouse or a keyboard and a control operation for controlling the user terminal as the user's finger is positioned in each of the divided areas, Wherein the virtual input method is a virtual input method.
상기 사용자 손가락의 위치에 상응하는 입력이 수행되도록 제어하는 단계는,
상기 제1 가상 입력 평면에서 상기 사용자 손가락이 위치하는 영역을 추출하고, 상기 사용자 손가락이 상기 제1 가상 입력 평면과 상기 제2 가상 입력 평면에 모두 포함되어 입력 상태인 것으로 판단됨에 따라 상기 추출된 영역에 상응하는 상기 미리 설정된 입력 동작이 수행되도록 제어하는 것을 특징으로 하는 가상 입력 방법.16. The method of claim 15,
Wherein the step of controlling to perform an input corresponding to the position of the user's finger comprises:
Extracting an area in which the user's finger is located in the first virtual input plane and determining whether the user's finger is included in both the first virtual input plane and the second virtual input plane, Wherein the control unit performs control so that the preset input operation corresponding to the predetermined input operation is performed.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020150033545A KR101873842B1 (en) | 2015-03-11 | 2015-03-11 | Apparatus for providing virtual input using depth sensor and method for using the apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020150033545A KR101873842B1 (en) | 2015-03-11 | 2015-03-11 | Apparatus for providing virtual input using depth sensor and method for using the apparatus |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20160109336A true KR20160109336A (en) | 2016-09-21 |
| KR101873842B1 KR101873842B1 (en) | 2018-07-04 |
Family
ID=57080296
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020150033545A KR101873842B1 (en) | 2015-03-11 | 2015-03-11 | Apparatus for providing virtual input using depth sensor and method for using the apparatus |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101873842B1 (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190078883A (en) * | 2017-12-27 | 2019-07-05 | 한양대학교 산학협력단 | Wearable device for providing virtual input and control method for the same |
| WO2019164048A1 (en) * | 2018-02-24 | 2019-08-29 | 링크플로우 주식회사 | Method for implementing user interface by user device and apparatus for performing same method |
| US10963066B2 (en) | 2017-06-26 | 2021-03-30 | Seoul National University R&Db Foundation | Keyboard input system and keyboard input method using finger gesture recognition |
| CN112732158A (en) * | 2020-12-31 | 2021-04-30 | 维沃移动通信有限公司 | Wearable device and control method of wearable device |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022019416A1 (en) * | 2020-07-24 | 2022-01-27 | Samsung Electronics Co., Ltd. | Method and electronic device for enabling virtual input on electronic device |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6614422B1 (en) * | 1999-11-04 | 2003-09-02 | Canesta, Inc. | Method and apparatus for entering data using a virtual input device |
| JP4846871B1 (en) * | 2010-10-28 | 2011-12-28 | 善博 和田 | KEY INPUT DEVICE, PORTABLE TERMINAL PROVIDED WITH THE SAME, AND PROGRAM FOR MAKING PORTABLE TERMINAL FUNCTION AS INPUT DEVICE |
-
2015
- 2015-03-11 KR KR1020150033545A patent/KR101873842B1/en active IP Right Grant
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10963066B2 (en) | 2017-06-26 | 2021-03-30 | Seoul National University R&Db Foundation | Keyboard input system and keyboard input method using finger gesture recognition |
| KR20190078883A (en) * | 2017-12-27 | 2019-07-05 | 한양대학교 산학협력단 | Wearable device for providing virtual input and control method for the same |
| WO2019164048A1 (en) * | 2018-02-24 | 2019-08-29 | 링크플로우 주식회사 | Method for implementing user interface by user device and apparatus for performing same method |
| CN112732158A (en) * | 2020-12-31 | 2021-04-30 | 维沃移动通信有限公司 | Wearable device and control method of wearable device |
Also Published As
| Publication number | Publication date |
|---|---|
| KR101873842B1 (en) | 2018-07-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11099655B2 (en) | System and method for gesture based data and command input via a wearable device | |
| KR101873842B1 (en) | Apparatus for providing virtual input using depth sensor and method for using the apparatus | |
| US20230384895A1 (en) | Optical proximity sensors | |
| CA3051912C (en) | Gesture recognition devices and methods | |
| CN105824431B (en) | Message input device and method | |
| CN105324741B (en) | Optical proximity sensor | |
| US20160349926A1 (en) | Interface device, portable device, control device and module | |
| EP3139256B1 (en) | Wearable touch apparatus and wearable touch method | |
| US20180150186A1 (en) | Interface control system, interface control apparatus, interface control method, and program | |
| EP1523807A1 (en) | Pointing device having fingerprint image recognition function, fingerprint image recognition and pointing method, and method for providing portable terminal service using thereof | |
| US10209787B2 (en) | Dual mode optical navigation device and mode switching method thereof | |
| KR20090061179A (en) | Data input apparatus and data processing method using by it | |
| KR101328385B1 (en) | Tactile finger tip mouse and operating method of the same | |
| KR101452343B1 (en) | Wearable device | |
| WO2012171116A1 (en) | Visual feedback by identifying anatomical features of a hand | |
| CN104777927A (en) | Image type touch control device and control method thereof | |
| US20160004351A1 (en) | Input device and display | |
| US11886643B2 (en) | Information processing apparatus and information processing method | |
| CN109739349A (en) | A kind of palm dummy keyboard input method, system and input sensing identifier | |
| TWM485448U (en) | Image-based virtual interaction device | |
| KR20140112316A (en) | control apparatus method of smart device using motion recognition | |
| KR101418018B1 (en) | Touch pen and touch display system | |
| KR20130128723A (en) | Direction input device and user interface controlling method using the direction input device | |
| KR100629410B1 (en) | A Pointing Device and Pointing Method having the Fingerprint Image Recognition Function, and Mobile Terminal Device therefor | |
| KR20160149403A (en) | Wearable data input device and method thereof |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |