KR20140021166A - Two-dimensional virtual touch apparatus - Google Patents

Two-dimensional virtual touch apparatus Download PDF

Info

Publication number
KR20140021166A
KR20140021166A KR1020120087037A KR20120087037A KR20140021166A KR 20140021166 A KR20140021166 A KR 20140021166A KR 1020120087037 A KR1020120087037 A KR 1020120087037A KR 20120087037 A KR20120087037 A KR 20120087037A KR 20140021166 A KR20140021166 A KR 20140021166A
Authority
KR
South Korea
Prior art keywords
display unit
user
display
finger
content
Prior art date
Application number
KR1020120087037A
Other languages
Korean (ko)
Inventor
김석중
Original Assignee
주식회사 브이터치
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 브이터치 filed Critical 주식회사 브이터치
Priority to KR1020120087037A priority Critical patent/KR20140021166A/en
Publication of KR20140021166A publication Critical patent/KR20140021166A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04101—2.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup

Abstract

The present invention is to provide a two-dimensional virtual touch apparatus which can virtually touch content displayed on a display of a user by using a rear image of the display photographed through a camera, operate an interface of an electronic device, and obtain related information corresponding to the content. The two-dimensional virtual touch apparatus comprises: a microprocessor configured to perform a function for driving or controlling a function of an existing electronic device; a display unit configured to display content for enabling the microprocessor to manipulate the electronic device or obtain specific information; a camera attached to one side of the display unit and photographing a user body; a point detection unit configured to compute coordinates data of a contact point at which the photographed user body is in contact with a display surface of the display unit by using two-dimensional coordinates data computed by using the image photographed through the camera; and a matching processing unit configured to select any one content matched to the content displayed on the display unit by using the contact point coordinates data computed in the point detection unit.

Description

2차원 가상 터치 장치{Two-dimensional virtual touch apparatus}Two-dimensional virtual touch apparatus

본 발명은 카메라를 통해 디스플레이 뒤를 촬영한 영상을 이용하여 사용자의 디스플레이에 표시되는 컨텐츠를 가상 터치하고 전자기기의 인터페이스를 조작 및 컨텐츠에 해당되는 관련정보를 획득할 수 있는 2차원 가상 터치 장치에 관한 것이다.The present invention relates to a two-dimensional virtual touch device capable of virtually touching a content displayed on a user's display using an image photographed behind a display through a camera, manipulating an interface of an electronic device, and obtaining related information corresponding to the content. will be.

최근 스마트폰과 같이 터치패널을 구비한 전자기기들이 많이 사용되고 있다. 이러한 터치패널 기술은 기존 마우스로 조작 가능한 컴퓨터 등의 전자기기와 비교할 때, 디스플레이에 포인터를 표시할 필요가 없다. 즉, 사용자는 전자기기 조작을 위해 포인터(컴퓨터의 커서)를 해당 위치(예, 프로그램 아이콘)까지 이동시킬 필요 없이, 손가락을 직접 아이콘 위로 이동한 후 터치하여 동작을 수행한다.Recently, electronic devices having a touch panel such as a smart phone are widely used. This touch panel technology does not need to display a pointer on the display, compared to electronic devices such as computers that can be operated with a conventional mouse. That is, the user does not need to move the pointer (cursor of the computer) to a corresponding position (for example, a program icon) in order to operate the electronic device. Instead, the user directly moves a finger over the icon and touches it.

이러한 터치패널 기술에서는 기존 전자기기 제어수단으로 필수적인 포인터 이동단계가 불필요하여 전자기기의 빠른 조작이 가능하다.In such a touch panel technology, a pointer movement step, which is essential as an existing electronic device control unit, is unnecessary, so that the electronic device can be quickly operated.

그러나 기존의 터치패널 기술의 경우 디스플레이에 표시된 아이콘을 직접이건 가상이건 손가락으로 터치하여 동작을 수행함에 따라, 디스플레이에 표시된 아이콘을 선택하기 위해서는 시선과 디스플레이 사이에 손가락이 반드시 위치하여야 한다. 이에 따라, 휴대용 단말기와 같이 그 크기가 소형인 전자기기의 경우 작은 디스플레이에 표시되는 아이콘 역시 매우 작은 크기로 이루어져 있어서 아이콘을 터치하기 위해서는 매우 정밀하고 해당 위치를 터치하여야 정확한 아이콘의 선택이 이루어지게 된다. However, in the case of the existing touch panel technology, as an operation performed by touching an icon displayed on the display with a finger directly or virtually, a finger must be positioned between the line of sight and the display in order to select an icon displayed on the display. Accordingly, in the case of an electronic device having a small size, such as a portable terminal, an icon displayed on a small display is also made of a very small size. Therefore, in order to touch an icon, an accurate icon is selected by touching a corresponding position. .

그런데, 시선과 디스플레이 사이에 터치를 위한 손가락이 위치함에 따라 손가락에 의해 시선이 차단되어 아이콘을 터치하는데 어려움이 있다. However, as the finger for touch is located between the gaze and the display, the gaze is blocked by the finger, which makes it difficult to touch the icon.

또한 터치된 아이콘을 다른 위치로 이동시키거나 또는 볼륨 등과 같이 레벨을 올리는 경우에 터치를 한 상태에서 드래그를 통해 제어하게 되는데, 이런 경우에도 손가락에 디스플레이에 표시되는 화면이 시야에서 가려지게 되어 정확하고 정밀한 제어가 어려운 문제점이 있다. In addition, when the touched icon is moved to another location or the level is increased, such as a volume, it is controlled by dragging the touched state. In this case, the screen shown on the display of the finger is hidden from view. There is a problem that precise control is difficult.

이는 기존에 전자기기 조작을 위해 마우스 등을 통해 화면에 표시되는 포인터(컴퓨터의 커서)를 이동시키는 경우, 시선과 디스플레이 사이에는 시야를 방해하는 물체가 없음에 따라 포인터의 미세한 움직임의 조정이 가능하지만, 손가락을 직접 아이콘 위로 이동한 후 터치하여 동작을 수행하는 경우에는 이러한 미세한 움직임의 조정이 불가능함을 알 수 있다.When the pointer (computer cursor) displayed on the screen is moved by a mouse or the like for manipulating the electronic device, the fine movement of the pointer can be adjusted as there is no object obstructing the field of view between the line of sight and the display. In the case of performing an operation by directly moving a finger over an icon, it can be seen that such fine movement cannot be adjusted.

따라서 본 발명은 상기와 같은 문제점을 해결하기 위해 안출한 것으로서, 카메라를 통해 촬영된 영상을 이용하여 사용자의 디스플레이에 표시되는 컨텐츠를 가상 터치하고 전자기기의 인터페이스를 조작 및 컨텐츠에 해당되는 관련정보를 획득할 수 있는 2차원 가상 터치 장치를 제공하는데 그 목적이 있다.Accordingly, the present invention has been made to solve the above problems, using the image captured by the camera to virtually touch the content displayed on the user's display, the operation of the interface of the electronic device and related information corresponding to the content Its purpose is to provide a two-dimensional virtual touch device that can be obtained.

본 발명의 다른 목적은 투명 디스플레이를 통해 확인되는 디스플레이 뒤쪽에 위치한 자신의 손가락을 이용하여 가상터치를 수행함으로써, 디스플레이에 표시된 컨텐츠의 터치에 따른 손가락으로 인해 시야차단을 해소할 수 있는 2차원 가상 터치 장치를 제공하는데 있다.Another object of the present invention is to perform a virtual touch using his finger located behind the display confirmed through the transparent display, the two-dimensional virtual touch that can eliminate the blockage of the view due to the touch of the content displayed on the display To provide a device.

상기와 같은 목적을 달성하기 위한 3차원 가상 터치 장치의 특징은 기존 전자기기의 기능을 구동시키거나 제어하는 기능을 수행하는 마이크로 프로세서와, 상기 마이크로 프로세서에서 전자기기를 조작하거나 특정한 정보획득을 수행할 수 있는 컨텐츠를 표시하는 디스플레이부와, 상기 디스플레이부의 일 측에 부착되어 사용자 신체를 촬영하는 카메라와, 상기 카메라를 통해 촬영된 영상을 이용하여 산출된 2차원 좌표 데이터를 이용하여 상기 사용자의 촬영된 신체가 디스플레이부의 표시면과 만나는 접점 좌표 데이터를 산출하는 포인트 검출부와, 상기 포인트 검출부에서 산출한 접점 좌표 데이터를 이용하여 디스플레이부에 표시된 컨텐츠 중 매칭되는 어느 하나의 컨텐츠를 선택하는 매칭 처리부를 포함하여 구성되는데 있다.Features of the three-dimensional virtual touch device for achieving the above object is a microprocessor for performing a function to drive or control the function of the existing electronic device, and to operate the electronic device or to acquire specific information in the microprocessor A photographed image of the user using a display unit for displaying a content that can be displayed on the content, a camera attached to one side of the display unit to photograph the user's body, and two-dimensional coordinate data calculated using the image captured by the camera. A point detector which calculates contact coordinate data where the body meets the display surface of the display unit, and a matching processor which selects one of the contents displayed on the display unit by using the contact coordinate data calculated by the point detector. It is composed.

바람직하게 상기 사용자의 촬영된 신체는 상기 사용자 손가락 중 어느 한 손가락의 끝, 상기 사용자가 손가락으로 파지하고 있는 포인터의 끝 중 어느 하나의 3차원 좌표로 구성되는 것을 특징으로 한다.Preferably, the photographed body of the user is configured as one of three-dimensional coordinates of one of the end of the finger of the user finger, the end of the pointer held by the user with the finger.

바람직하게 상기 디스플레이부는 투명 디스플레이인 것을 특징으로 한다.Preferably, the display unit is a transparent display.

이상에서 설명한 바와 같은 본 발명에 따른 2차원 가상 터치 장치는 다음과 같은 효과가 있다.As described above, the two-dimensional virtual touch device according to the present invention has the following effects.

첫째, 디스플레이에 표시된 컨텐츠의 터치에 따른 손가락으로 인한 시야차단을 해소할 수 있어 정교하고 정확한 터치가 가능하다.First, it is possible to solve the blocking of the view caused by the finger according to the touch of the content displayed on the display, which enables precise and accurate touch.

둘째, 작은 크기의 컨텐츠의 정확한 터치가 가능하여 터치 팬의 사용 없이도 작은 크기의 디스플레이에서도 손가락을 이용한 터치패널 기술의 적용이 가능하다.Secondly, it is possible to accurately touch small sized contents, and thus it is possible to apply touch panel technology using a finger even in a small sized display without using a touch fan.

셋째, 디스플레이와 상관없이 디스플레이 뒤쪽의 공간을 통해 디스플레이에 표시된 컨텐츠를 터치함에 따라 손가락 터치에 따른 공간적 제약이 없다. Third, there is no spatial limitation due to the finger touch as the content displayed on the display is touched through the space behind the display regardless of the display.

도 1 은 본 발명의 실시예에 따른 2차원 가상 터치 장치의 구조를 나타낸 블록도
도 2a는 본 발명에 따른 2차원 가상 터치 장치의 구성도를 나타낸 제 1 실시예
도 2b는 본 발명에 따른 2차원 가상 터치 장치의 구성도를 나타낸 제 2 실시예
도 3 은 본 발명의 실시예에 따른 2차원 가상 터치 장치의 실제 사용 예를 나타낸 도면1 is a block diagram showing the structure of a two-dimensional virtual touch device according to an embodiment of the present invention;
Figure 2a is a first embodiment showing a configuration diagram of a two-dimensional virtual touch device according to the present invention
Figure 2b is a second embodiment showing the configuration of a two-dimensional virtual touch device according to the present invention
3 is a view showing an actual use example of a two-dimensional virtual touch device according to an embodiment of the present invention

본 발명의 다른 목적, 특성 및 이점들은 첨부한 도면을 참조한 실시예들의 상세한 설명을 통해 명백해질 것이다.Other objects, features and advantages of the present invention will become apparent from the detailed description of the embodiments with reference to the accompanying drawings.

본 발명에 따른 2차원 가상 터치 장치의 바람직한 실시예에 대하여 첨부한 도면을 참조하여 설명하면 다음과 같다. 그러나 본 발명은 이하에서 개시되는 실시예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예는 본 발명의 개시가 완전하도록하며 통상의 지식을 가진자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.A preferred embodiment of a two-dimensional virtual touch device according to the present invention will be described with reference to the accompanying drawings. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. Rather, these embodiments are provided so that this disclosure will be thorough and complete, and will fully convey the scope of the invention to those skilled in the art. It is provided to let you know. Therefore, the embodiments described in the present specification and the configurations shown in the drawings are merely the most preferred embodiments of the present invention and are not intended to represent all of the technical ideas of the present invention. Therefore, various equivalents It should be understood that water and variations may be present.

도 1 은 본 발명의 실시예에 따른 2차원 가상 터치 장치의 구조를 나타낸 블록도이다.1 is a block diagram showing the structure of a two-dimensional virtual touch device according to an embodiment of the present invention.

도 1과 같이, 2차원 가상 터치 장치는 마이크로 프로세서(100)와, 카메라(200)와, 디스플레이부(300)와, 포인트 검출부(400)와, 매칭 처리부(500)로 구성된다.As shown in FIG. 1, the two-dimensional virtual touch device includes a microprocessor 100, a camera 200, a display unit 300, a point detector 400, and a matching processor 500.

상기 마이크로 프로세서(100)는 기존 전자기기의 기능을 구동시키거나 제어하는 기능을 수행한다. 이는 디스플레이부(300)를 갖는 모든 전자기기에서 해당 전자기기에 따른 기능을 구동시키거나 제어하는 공지된 모듈을 말하며, 이는 전자기기의 기능에 따라 다양한 블록 및 기능을 포함하고 있다. 한편 상기 마이크로 프로세서(100)는 이미 공지된 기술을 나타내고 있으므로, 이에 따른 상세한 구조 및 기술 설명은 생략한다.The microprocessor 100 performs a function of driving or controlling a function of an existing electronic device. This refers to a known module that drives or controls a function according to the electronic device in all the electronic devices having the display unit 300, and includes various blocks and functions according to the function of the electronic device. On the other hand, the microprocessor 100 represents a known technology, and thus detailed structure and description thereof will be omitted.

상기 디스플레이부(300)는 상기 마이크로 프로세서(100)에서 전자기기를 조작하거나 특정한 정보획득을 수행할 수 있는 컨텐츠를 표시한다.The display unit 300 displays contents capable of manipulating electronic devices or obtaining specific information in the microprocessor 100.

상기 카메라(200)는 디스플레이부(300)의 일 측에 부착되어 디스플레이부(300) 뒷단에 위치하는 사용자 신체를 촬영한다. 이때, 상기 카메라(200)는 영상을 검출하여 전기적인 이미지 신호로 변환하는 CCD 또는 CMOS와 같은 이미지 센서를 2개 이상 포함할 수 있다.The camera 200 is attached to one side of the display unit 300 to photograph a user's body located at the rear end of the display unit 300. In this case, the camera 200 may include two or more image sensors such as a CCD or a CMOS for detecting an image and converting the image into an electrical image signal.

상기 포인트 검출부(400)는 카메라(200)를 통해 촬영된 영상을 이용하여 산출된 2차원 좌표 데이터를 이용하여 상기 사용자의 촬영된 신체(예, 사용자의 손가락 끝)가 상기 디스플레이부(300)의 표시면과 만나는 접점 좌표 데이터를 산출한다. The point detector 400 is a user's photographed body (eg, the user's fingertips) of the display unit 300 by using the two-dimensional coordinate data calculated using the image captured by the camera 200 The contact coordinate data that meets the display surface is calculated.

이때, 사람의 신체 중에서 손가락은 정교하고 섬세한 조작이 가능한 유일한 부분이다. 특히, 손가락 중에서도 엄지 또는 집게손가락 중에서 어느 하나를 사용하거나 두 손가락을 함께 사용할 경우 정교한 포인팅을 수행할 수 있다. 이에 따라, 본 발명에서 포인터로서 엄지 및/또는 집게손가락의 끝부분을 사용하는 것이 매우 효과적이다. 또한 같은 맥락에서 손가락의 끝부분을 대신하여 손가락으로 파지하고 있는 끝이 뾰족한 포인터(예, 펜끝)를 사용할 수도 있다. At this time, the finger of the human body is the only part capable of fine and delicate operation. Particularly, when using either the thumb or the index finger among the fingers or using the two fingers together, it is possible to perform precise pointing. Accordingly, it is very effective to use the tip of the thumb and / or forefinger as a pointer in the present invention. In the same vein, you can also use a pointed tip (such as a pen tip) that is held by your finger instead of the tip of your finger.

한편, 상기 포인트 검출부(400)는 상기 사용자의 촬영된 2차원 이미지를 이용하여 좌표 데이터를 산출하게 되는데, 이러한 방식들은 이미 공지된 기술에 해당되므로 이에 따른 상세한 설명은 생략한다. 이와 관련하여 2차원 이미지를 이용하여 좌표 데이터를 산출하는 방법과 관련된 특허문헌으로 국내공개특허 제10-0021803호, 제10-2004-0004135호, 제10-2007-0066382호, 제10-2007-0117877호 등 다수가 존재한다.Meanwhile, the point detector 400 calculates coordinate data using the photographed two-dimensional image of the user. Since these methods correspond to a known technique, a detailed description thereof will be omitted. In this regard, Korean Patent Publication Nos. 10-0021803, 10-2004-0004135, 10-2007-0066382, 10-2007- There are many such as 0117877.

상기 매칭 처리부(500)는 포인트 검출부(400)에서 산출한 접점 좌표 데이터를 이용하여 디스플레이부(300)에 표시된 컨텐츠 중 매칭되는 어느 하나의 컨텐츠를 선택한다. The matching processing unit 500 selects one of the contents to be matched among the contents displayed on the display unit 300 using the contact coordinate data calculated by the point detection unit 400.

이후, 사용자가 원격에서 손 등의 움직임(제스처)을 통한 가상터치를 이용하여 선택 조작이 수행되면, 상기 선택된 하나의 컨텐츠가 선택되어 컨텐츠 관련 서비스가 수행되게 된다. 이때 상기 컨텐츠는 영상, 동영상, 텍스트, 이미지 3D를 포함한다.
Subsequently, when a user performs a selection operation remotely using a virtual touch through a movement (gesture) of a hand or the like, the selected one content is selected to perform a content related service. In this case, the content includes video, video, text, and image 3D.

이와 같이 구성된 본 발명에 따른 2차원 가상 터치 장치의 동작을 첨부한 도면을 참조하여 상세히 설명하면 다음과 같다. 도 1과 동일한 참조부호는 동일한 기능을 수행하는 동일한 부재를 지칭한다. The operation of the 2D virtual touch device according to the present invention configured as described above will be described in detail with reference to the accompanying drawings. The same reference numerals as those in Fig. 1 designate the same members performing the same function.

도 2a는 본 발명에 따른 2차원 가상 터치 장치의 구성도를 나타낸 제 1 실시예이다.Figure 2a is a first embodiment showing the configuration of a two-dimensional virtual touch device according to the present invention.

도 2a에서 도시하고 있는 것과 같이, 사용자가 투명 디스플레이부(300a)를 통해 확인되는 투명 디스플레이부(300a) 뒤쪽에 위치한 자신의 손이 투명 디스플레이부(300a)에 표시된 컨텐츠 중 선택을 희망하는 적어도 하나의 컨텐츠에 위치되도록 이동시킨다.As shown in FIG. 2A, at least one of a user's hand positioned behind the transparent display unit 300a that is identified through the transparent display unit 300a desires to select among contents displayed on the transparent display unit 300a. Move it to be located in the content.

그러면, 투명 디스플레이부(300a)의 일 측에 부착되어 있는 카메라(200)는 투명 디스플레이부(300a)의 뒷단에 위치하는 사용자 손가락을 촬영한다. 카메라(200)는 투명 디스플레이부(300a)와 일체형으로 구성될 수도 있다.Then, the camera 200 attached to one side of the transparent display unit 300a captures a user's finger located at the rear end of the transparent display unit 300a. The camera 200 may be integrated with the transparent display unit 300a.

그리고 포인트 검출부(400)를 통해 카메라(200)를 통해 촬영된 영상을 이용하여 산출된 2차원 좌표 데이터를 이용하여 상기 사용자 손가락이 상기 투명 디스플레이부(300a)의 표시면과 만나는 접점 좌표 데이터를 산출한다. And using the two-dimensional coordinate data calculated using the image captured by the camera 200 through the point detector 400 to calculate the contact coordinate data where the user's finger meets the display surface of the transparent display unit 300a do.

이어, 매칭 처리부(500)를 통해 포인트 검출부(400)에서 산출한 접점 좌표 데이터를 이용하여 디스플레이부(300a)에 표시된 컨텐츠 중 매칭되는 어느 하나의 컨텐츠를 선택함으로써, 사용자가 선택을 희망하는 컨텐츠를 확인하게 된다.Subsequently, by selecting any one of the contents displayed on the display unit 300a by using the contact coordinate data calculated by the point detector 400 through the matching processor 500, the user desires to select the content. You will be confirmed.

그리고 사용자가 원격에서 손 등의 움직임(제스처)을 통한 위치한 컨텐츠를 가상터치를 이용하여 선택 조작이 수행되면, 상기 선택된 하나의 컨텐츠가 선택되어 컨텐츠 관련 서비스가 수행되게 된다.
When the user performs a selection operation by using a virtual touch on content located remotely through a movement of a hand or the like, the selected one content is selected to perform a content related service.

도 2b는 본 발명에 따른 2차원 가상 터치 장치의 구성도를 나타낸 제 2 실시예이다. 상기 도 2a에서 도시하고 있는 제 1 실시예는 디스플레이부(300)로 투명 디스플레이부(300a)를 이용하여 투명 디스플레이부(300a)를 투과하여 보여지는 사용자 손이 디스플레이부(300a)에 표시된 컨텐츠 중 매칭되는 어느 하나의 컨텐츠가 선택되게 되는데 반해, 도 2b에서 도시하고 있는 제 2 실시예는 디스플레이부(300)로 불투명 디스플레이부(300b)를 이용하고, 아울러 카메라(200)를 통해 촬영된 사용자 손의 영상이 디스플레이부(300b)에 표시된 컨텐츠 중 매칭되는 어느 하나의 컨텐츠가 선택되게 되는데 그 차이점이 있다.2B is a second embodiment showing a configuration diagram of a two-dimensional virtual touch device according to the present invention. In the first exemplary embodiment illustrated in FIG. 2A, the user's hand, which is seen through the transparent display unit 300a by using the transparent display unit 300a, is displayed on the display unit 300a. While any one content to be matched is selected, the second embodiment shown in FIG. 2B uses the opaque display unit 300b as the display unit 300 and a user's hand photographed through the camera 200. The selected image is selected from among the contents displayed on the display unit 300b, which has a difference.

따라서 도 2b에서 도시하고 있는 것과 같이, 사용자가 디스플레이부(300b) 뒤쪽에 자신의 손을 위치시켜면, 디스플레이부(300b)의 일 측에 부착되어 있는 카메라(200)는 디스플레이부(300b)의 뒷단에 위치하는 사용자 손가락을 촬영한다. 그리고 촬영된 사용자 손가락의 영상을 디스플레이부(300b)에 표시한다.Therefore, as shown in FIG. 2B, when the user places his or her hand behind the display unit 300b, the camera 200 attached to one side of the display unit 300b may be connected to the display unit 300b. Take the user's finger on the back end. The captured image of the user's finger is displayed on the display unit 300b.

그리고 포인트 검출부(400)를 통해 카메라(200)를 통해 촬영된 영상(사용자 손가락)으로부터 산출된 2차원 좌표 데이터를 이용하여 상기 사용자의 손가락이 상기 디스플레이부(300b)의 표시면과 만나는 접점 좌표 데이터를 산출한다. Contact coordinate data where the user's finger meets the display surface of the display unit 300b by using two-dimensional coordinate data calculated from an image (user's finger) captured by the camera 200 through the point detector 400. Calculate

이어, 매칭 처리부(500)를 통해 포인트 검출부(400)에서 산출한 접점 좌표 데이터를 이용하여 산출된 접점 좌표 데이터에 해당되는 디스플레이부(300b)에 촬영된 사용자 손가락의 영상이 동일한 위치에 표시되게 된다. 디스플레이부(300b)에 표시되는 촬영된 사용자 손가락이 움직일 때마다 포인트 검출부(400)에서 디스플레이부(300b)의 표시면과 만나는 접점 좌표 데이터를 산출함으로써, 상기 사용자의 손가락이 디스플레이부(300b)의 접점 좌표 데이터에 따라 매칭되면서 이동하게 된다.Subsequently, an image of the user's finger photographed on the display unit 300b corresponding to the contact coordinate data calculated by using the contact coordinate data calculated by the point detector 400 through the matching processor 500 is displayed at the same position. . When the photographed user's finger displayed on the display unit 300b moves, the point detection unit 400 calculates contact coordinate data that meets the display surface of the display unit 300b, so that the user's finger is moved to the display unit 300b. It moves while matching according to the contact coordinate data.

이에 따라, 사용자는 기존 컴퓨터에서 마우스를 움직일 때와 같이, 디스플레이부(300b)의 시야로 확보한 상태에서 자신의 손이 움직이는 위치에 따라 디스플레이부(300b)에 표시되어 움직이는 사용자 손의 영상을 확인하면서 디스플레이부(300b)에 표시된 컨텐츠 중 포인터가 가리키는 어느 하나의 컨텐츠를 선택하게 된다.Accordingly, the user checks an image of the user's hand which is displayed on the display unit 300b according to the position of the user's hand while the user's hand is secured in the field of view of the display unit 300b, as when the user moves the mouse in the existing computer. While selecting one of the contents indicated by the pointer among the contents displayed on the display unit 300b.

그리고 사용자가 원격에서 손 등의 움직임(제스처)을 통한 위치한 컨텐츠를 가상터치를 이용하여 선택 조작이 수행되면, 상기 선택된 하나의 컨텐츠가 선택되어 컨텐츠 관련 서비스가 수행되게 된다.
When the user performs a selection operation by using a virtual touch on content located remotely through a movement of a hand or the like, the selected one content is selected to perform a content related service.

이처럼, 도 2a에서 도시하고 있는 제 1 실시예는 투명 디스플레이부(600a)의 경우 디스플레이를 투과하여 보이는 실제 사용자 손가락을 통해 디스플레이부(300b)에 표시된 컨텐츠를 선택하고 있으며, 도 2b에서 도시하고 있는 제 2 실시예는 디스플레이부(300b) 뒷단에서 움직이는 사용자 손가락을 촬영하고 디스플레이부(300b)에 표시되는 촬영된 사용자 손가락을 통해 디스플레이부(300b)에 표시된 컨텐츠를 선택하는 것으로, 카메라(200)를 통해 촬영된 영상을 이용하여 산출된 2차원 좌표 데이터를 이용하여 디스플레이부(300)에 표시된 컨텐츠를 선택하는 기술적 사상은 동일함을 알 수 있다.As described above, in the first exemplary embodiment illustrated in FIG. 2A, the transparent display unit 600a selects the content displayed on the display unit 300b through an actual user's finger visible through the display, and is illustrated in FIG. 2B. The second embodiment captures a user's finger moving behind the display unit 300b and selects the content displayed on the display unit 300b through the captured user's finger displayed on the display unit 300b. It can be seen that the technical idea of selecting the content displayed on the display unit 300 using the two-dimensional coordinate data calculated by using the captured image is the same.

도 3 은 본 발명의 실시예에 따른 3차원 가상 터치 장치의 실제 사용 예를 나타낸 도면이다.3 is a diagram illustrating an actual use example of a 3D virtual touch device according to an exemplary embodiment of the present invention.

도 3에서 도시하고 있는 것과 같이, 디스플레이(300)에 표시된 컨텐츠를 손가락으로 터치할 때, 사용자는 디스플레이부(300) 뒤쪽에 위치한 자신의 손을 이용하여 가상터치를 수행함으로써, 디스플레이부(300)에 표시된 컨텐츠를 표시할 때 터치로 인한 손가락으로 인해 시야 방해를 해소할 수 있어 정교하고 정확한 터치가 가능하다.
As shown in FIG. 3, when a user touches content displayed on the display 300 with a finger, the user performs a virtual touch using his or her hand located behind the display unit 300, thereby displaying the display unit 300. When displaying the content displayed on the touch screen, the finger due to the touch can eliminate the disturbance, so that precise and accurate touch is possible.

상기에서 설명한 본 발명의 기술적 사상은 바람직한 실시예에서 구체적으로 기술되었으나, 상기한 실시예는 그 설명을 위한 것이며 그 제한을 위한 것이 아님을 주의하여야 한다. 또한, 본 발명의 기술적 분야의 통상의 지식을 가진자라면 본 발명의 기술적 사상의 범위 내에서 다양한 실시예가 가능함을 이해할 수 있을 것이다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.Although the technical spirit of the present invention described above has been described in detail in a preferred embodiment, it should be noted that the above-described embodiment is for the purpose of description and not of limitation. It will be apparent to those skilled in the art that various modifications may be made without departing from the scope of the present invention. Accordingly, the true scope of the present invention should be determined by the technical idea of the appended claims.

Claims (3)

기존 전자기기의 기능을 구동시키거나 제어하는 기능을 수행하는 마이크로 프로세서와,
상기 마이크로 프로세서에서 전자기기를 조작하거나 특정한 정보획득을 수행할 수 있는 컨텐츠를 표시하는 디스플레이부와,
상기 디스플레이부의 일 측에 부착되어 뒷단에 위치하는 사용자 신체를 촬영하는 카메라와,
상기 카메라를 통해 촬영된 영상을 이용하여 산출된 2차원 좌표 데이터를 이용하여 상기 사용자의 촬영된 신체가 상기 디스플레이부의 표시면과 만나는 접점 좌표 데이터를 산출하는 포인트 검출부와,
상기 포인트 검출부에서 산출한 접점 좌표 데이터를 이용하여 디스플레이부에 표시된 컨텐츠 중 매칭되는 어느 하나의 컨텐츠를 선택하는 매칭 처리부를 포함하여 구성되는 것을 특징으로 하는 2차원 가상 터치 장치.A microprocessor for driving or controlling a function of an existing electronic device,
A display unit displaying contents capable of manipulating electronic devices or acquiring specific information in the microprocessor;
A camera attached to one side of the display unit and photographing a user's body positioned at a rear end thereof;
A point detector which calculates contact coordinate data where the photographed body of the user meets the display surface of the display unit by using two-dimensional coordinate data calculated using the image photographed by the camera;
And a matching processing unit which selects one of the contents to be matched among the contents displayed on the display unit by using the contact coordinate data calculated by the point detection unit. 제 1 항에 있어서,
상기 사용자의 촬영된 신체는 상기 사용자 손가락 중 어느 한 손가락의 끝, 상기 사용자가 손가락으로 파지하고 있는 포인터의 끝 중 어느 하나의 3차원 좌표로 구성되는 것을 특징으로 하는 2차원 가상 터치 장치.The method of claim 1,
The photographed body of the user is a two-dimensional virtual touch device, characterized in that composed of any one of the end of the finger of the user finger, the end of the pointer held by the user with the finger. 제 1 항에 있어서,
상기 디스플레이부는 투명 디스플레이인 것을 특징으로 하는 3차원 가상 터치 장치.The method of claim 1,
The display unit is a three-dimensional virtual touch device, characterized in that the transparent display.
KR1020120087037A 2012-08-09 2012-08-09 Two-dimensional virtual touch apparatus KR20140021166A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120087037A KR20140021166A (en) 2012-08-09 2012-08-09 Two-dimensional virtual touch apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120087037A KR20140021166A (en) 2012-08-09 2012-08-09 Two-dimensional virtual touch apparatus

Publications (1)

Publication Number Publication Date
KR20140021166A true KR20140021166A (en) 2014-02-20

Family

ID=50267708

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120087037A KR20140021166A (en) 2012-08-09 2012-08-09 Two-dimensional virtual touch apparatus

Country Status (1)

Country Link
KR (1) KR20140021166A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10496225B2 (en) 2016-03-30 2019-12-03 Samsung Electronics Co., Ltd. Electronic device and operating method therof

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10496225B2 (en) 2016-03-30 2019-12-03 Samsung Electronics Co., Ltd. Electronic device and operating method therof

Similar Documents

Publication Publication Date Title
US20190250714A1 (en) Systems and methods for triggering actions based on touch-free gesture detection
KR101872426B1 (en) Depth-based user interface gesture control
KR101381928B1 (en) virtual touch apparatus and method without pointer on the screen
KR101151962B1 (en) Virtual touch apparatus and method without pointer on the screen
JP5167523B2 (en) Operation input device, operation determination method, and program
TWI464640B (en) Gesture sensing apparatus and electronic system having gesture input function
JP6165485B2 (en) AR gesture user interface system for mobile terminals
WO2012039140A1 (en) Operation input apparatus, operation input method, and program
US20180188894A1 (en) Virtual Touchpads For Wearable And Portable Devices
KR101608423B1 (en) Full 3d interaction on mobile devices
KR20120126508A (en) method for recognizing touch input in virtual touch apparatus without pointer
US10591988B2 (en) Method for displaying user interface of head-mounted display device
US20140022171A1 (en) System and method for controlling an external system using a remote device with a depth sensor
EP2558924B1 (en) Apparatus, method and computer program for user input using a camera
Babic et al. Pocket6: A 6dof controller based on a simple smartphone application
KR20140114913A (en) Apparatus and Method for operating sensors in user device
JP2013016060A (en) Operation input device, operation determination method, and program
KR101321274B1 (en) Virtual touch apparatus without pointer on the screen using two cameras and light source
TW201439813A (en) Display device, system and method for controlling the display device
KR101535738B1 (en) Smart device with touchless controlling operation function and the control method of using the same
Colaço Sensor design and interaction techniques for gestural input to smart glasses and mobile devices
KR20140021166A (en) Two-dimensional virtual touch apparatus
KR101588021B1 (en) An input device using head movement
JP6008904B2 (en) Display control apparatus, display control method, and program
KR101272458B1 (en) virtual touch apparatus and method without pointer on the screen

Legal Events

Date Code Title Description
A201 Request for examination
N231 Notification of change of applicant
E902 Notification of reason for refusal
E601 Decision to refuse application