KR101321274B1 - Virtual touch apparatus without pointer on the screen using two cameras and light source - Google Patents
Virtual touch apparatus without pointer on the screen using two cameras and light source Download PDFInfo
- Publication number
- KR101321274B1 KR101321274B1 KR1020120057028A KR20120057028A KR101321274B1 KR 101321274 B1 KR101321274 B1 KR 101321274B1 KR 1020120057028 A KR1020120057028 A KR 1020120057028A KR 20120057028 A KR20120057028 A KR 20120057028A KR 101321274 B1 KR101321274 B1 KR 101321274B1
- Authority
- KR
- South Korea
- Prior art keywords
- light source
- pointer
- cameras
- electronic device
- user
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
- G06F2203/04101—2.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Position Input By Displaying (AREA)
Abstract
Description
본 발명은 사용자가 전자기기를 원격으로 조작하는 장치 및 방법에 관한 것으로 전자기기 디스플레이 표시면에 포인터를 표시하지 않고서도 원격에서 전자기기를 정확하게 제어할 수 있는 두대의 카메라와 광원을 이용한 포인터를 사용하지 않는 가상 터치 장치에 관한 것이다.The present invention relates to a device and a method for remotely controlling an electronic device by a user, and using a pointer using two cameras and a light source capable of accurately controlling the electronic device remotely without displaying the pointer on the display screen of the electronic device. To a virtual touch device that does not.
최근 스마트폰과 같이 터치패널을 구비한 전자기기들이 많이 사용되고 있다. 이러한 터치패널 기술은 기존 마우스로 조작 가능한 컴퓨터 등 전자기기와 비교할 때 디스플레이에 '포인터'를 표시할 필요가 없다. 사용자는 전자기기 조작을 위해 포인터(컴퓨터의 커서)를 해당 위치(예, 프로그램 아이콘)까지 이동시킬 필요 없이, 손가락을 아이콘 위로 이동한 후 터치하여 동작을 수행한다. 이러한 터치패널 기술에서는 기존 전자기기 제어수단으로 필수적인 '포인터'이동 단계가 불필요하여 전자기기의 빠른 조작이 가능하다.Recently, electronic devices having a touch panel such as a smart phone are widely used. This touch panel technology does not need to display a 'pointer' on the display when compared to an electronic device such as a computer that can be operated with an existing mouse. The user moves the finger over the icon and performs the operation by touching it without moving the pointer (the cursor of the computer) to the corresponding position (e.g., the program icon) in order to operate the electronic device. In this touch panel technology, it is unnecessary to move the 'pointer' necessary for the conventional electronic device control means, thereby enabling quick operation of the electronic device.
그러나 터치패널 기술은 위와 같은 편리성에도 불구하고 사용자가 디스플레이 표시면을 직접 터치해야하기 때문에 원격에서는 이용할 수 없다는 생래적인 단점이 있다. 따라서 터치패널 기술을 채용하는 전자기기라 하더라도 원격 조작을 위해서는 종래 리모콘과 같은 장치에 의존할 수밖에 없다.However, the touch panel technology has a disadvantage in that it can not be used remotely because the user has to directly touch the display surface in spite of the above convenience. Therefore, even an electronic device employing a touch panel technology can not but rely on a device such as a conventional remote control for remote operation.
최근 원격 전자기기 제어장치로서 터치패널 기술과 같이 정확한 지점에 포인터를 생성할 수 있는 장치, 즉 2대의 카메라를 이용하여 디스플레이 전면을 촬영한 후 촬영된 이미지로부터 사용자의 눈과 손가락의 연장 직선이 디스플레이와 만나는 점에 포인터를 생성시키는 기술이 공개된 특허출원 [문헌 1]에 공개된 바 있으나, 전자기기 제어를 위한 예비적인 조치로 '포인터'를 반드시 생성해야 하고(포인터 제어부를 두고 있음), 그 후에 구체적인 동작제어를 위해 사용자의 제스쳐를 기존에 저장된 패턴과 비교함으로써 동작을 수행하는 점에서 매우 불편하다.
Recently, as a remote electronic control device, a device capable of generating a pointer at an accurate point, such as touch panel technology, that is, a straight line of the user's eyes and fingers is displayed from the captured image after photographing the front of the display using two cameras. Although a technique for generating a pointer at the point of meeting is disclosed in the published patent application [Document 1], a 'pointer' must be generated as a preliminary measure for controlling an electronic device (with a pointer control unit). It is very inconvenient in performing an operation by comparing a user's gesture with a previously stored pattern for a specific operation control.
[문헌 1] 공개특허 2010-0129629 2010. 12. 9.
Document 1 Publication 2010-0129629 December 9, 2010
본 발명은 사용자가 원격에서 전자기기를 조작할 때에도 마치 터치패널 표면을 터치하는 것과 같은 편리한 사용자 인터페이스를 제공함에 있다. 이를 위해 본 발명은 전자기기 표시면에 포인터를 사용하지 않고도 전자기기의 조작이 가능하고, 또한 터치패널의 특정 부분을 정교하게 터치하는 것과 같이 정확한 영역 선택이 가능한 방법을 제공한다.The present invention is to provide a convenient user interface, such as touching the surface of the touch panel even when the user remotely operates the electronic device. To this end, the present invention provides a method capable of operating an electronic device without using a pointer on the display surface of the electronic device, and precisely selecting an area such as precisely touching a specific part of the touch panel.
상기 목적을 달성하기 위한 본 발명의 두대의 카메라와 광원을 이용한 포인터를 사용하지 않는 가상 터치 장치는, 전자기기를 원격에서 제어하는 장치에 있어서, 서로 다른 각도에서 적외선 광원과 함께 표시되는 일정한 패턴을 촬영한 영상을 이용하여 패턴의 각 포인트 매칭에 따른 포인트의 시차를 산출하고, 산출된 포인트의 시차에 따라 미리 저장되어 있는 깊이 정보값을 이용하여 사용자의 신체의 3차원 좌표를 산출하는 3차원 좌표 산출장치; 및 상기 3차원 좌표 산출장치로부터 수신한 제1 공간좌표와 제2 공간좌표를 이용하여 상기 제1 공간좌표와 제2 공간좌표를 연결하는 직선이 상기 전자기기와 만나는 접점 좌표 데이터를 산출하는 터치 위치 산출부와, 상기 터치 위치 산출부로부터 수신된 상기 접점 좌표 데이터에 대응되도록 설정된 동작을 수행하는 명령코드를 생성하여 상기 전자기기의 주 제어부로 입력하는 가상 터치 처리부를 포함하는 제어부로 구성되는 것을 특징으로 한다.In order to achieve the above object, a virtual touch device that does not use a pointer using two cameras and a light source of the present invention, in a device for remotely controlling an electronic device, has a predetermined pattern displayed together with an infrared light source at different angles. Three-dimensional coordinates that calculate the parallax of a point according to each point matching of the pattern by using the captured image, and calculate the three-dimensional coordinates of the user's body using the depth information value stored in advance according to the calculated parallax of the point Output device; And a touch position that calculates contact coordinate data where a straight line connecting the first spatial coordinates and the second spatial coordinates meets the electronic device by using the first spatial coordinates and the second spatial coordinates received from the 3D coordinate calculator. And a controller including a virtual touch processor configured to generate a command code for performing an operation set to correspond to the contact coordinate data received from the touch position calculator, and input the command code to a main controller of the electronic device. It is done.
바람직하게 상기 3차원 좌표 산출장치는 상기 사용자 신체에 조사되는 적외선을 생성하는 적외선 광원과, 상기 사용자 신체와 적외선 광원 사이에 위치하고, 일정한 패턴을 포함하는 광원필터와, 상기 적외선 광원이 투사된 사용자 신체를 서로 다른 각도에서 촬영하는 두대의 적외선 카메라를 포함하는 것을 특징으로 한다.Preferably, the three-dimensional coordinate calculation device is an infrared light source for generating an infrared ray irradiated to the user body, a light source filter located between the user body and the infrared light source, including a predetermined pattern, and the user body is projected the infrared light source It characterized in that it comprises two infrared cameras to shoot at different angles.
바람직하게 상기 일정한 패턴은 그리드(grid) 또는 도트(dot) 패턴인 것을 특징으로 한다.Preferably, the predetermined pattern is characterized in that the grid (grid) or dot (dot) pattern.
바람직하게 상기 두대의 적외선 카메라는 서로 10 Cm 이내 5 Cm 이상의 거리에 구성되는 것을 특징으로 한다.Preferably, the two infrared cameras are configured at a distance of 5 Cm or more within 10 Cm of each other.
바람직하게 상기 두대의 적외선 카메라에서 촬영된 영상은 적외선 광원이 광원필터를 거쳐 피사체와 함께 그리드 또는 도트 패턴이 함께 촬영되게 되는 것을 특징으로 한다.Preferably, the images captured by the two infrared cameras are characterized in that the infrared light source passes through the light source filter and the grid or dot pattern is taken together with the subject.
바람직하게 상기 적외선 광원은 2대의 적외선 카메라 사이에 위치하는 것을 특징으로 한다.Preferably, the infrared light source is located between two infrared cameras.
바람직하게 상기 포인트의 시차의 크기에 따라 카메라와 피사체간의 거리(깊이) 정보를 미리 정의하여 데이터베이스화하고 저장하는 저장부를 더 포함하여 구성되는 것을 특징으로 한다.Preferably, the apparatus further comprises a storage unit which defines, in advance, a database and stores distance (depth) information between the camera and the subject according to the size of the parallax of the point.
바람직하게 상기 제1 공간좌표는 상기 사용자 손가락 중 어느 하나 손가락의 끝, 상기 사용자가 손가락으로 파지하고 있는 포인터의 끝 중 어느 하나의 3차원 좌표이고, 상기 제2 공간좌표는 상기 사용자의 어느 한쪽 눈의 중심점의 3차원 좌표로 형성되는 것을 특징으로 한다.Preferably, the first spatial coordinate is a three-dimensional coordinate of any one of the end of a finger of the user's finger, the end of the pointer held by the user with the finger, and the second spatial coordinate is one eye of the user. Characterized in that the three-dimensional coordinates of the center point of the.
바람직하게 상기 가상 터치 처리부는 초기 접점 좌표 데이터가 산출된 시간으로부터 설정 시간 이상 상기 접점 좌표 데이터의 변동이 있는지를 판단하여 설정시간 이상 상기 접점 좌표 데이터의 변동이 없으면 상기 접점 좌표 데이터에 대응되도록 설정된 동작을 수행하는 명령코드를 생성하여 상기 전자기기의 주 제어부로 입력하도록 구성되는 것을 특징으로 한다.Preferably, the virtual touch processing unit determines whether there is a change in the contact coordinate data for a predetermined time or more from a time at which initial contact coordinate data is calculated, and sets the operation to correspond to the contact coordinate data if there is no change in the contact coordinate data for a predetermined time or more. It is characterized in that it is configured to generate a command code for performing the input to the main control unit of the electronic device.
바람직하게 상기 접점 좌표 데이터의 변동이 상기 전자기기의 영역 범위 내인 것으로 판단되면 상기 접점 좌표 데이터의 변동이 없는 것으로 간주하도록 구성되는 것을 특징으로 한다.Preferably, if it is determined that the variation of the contact coordinate data is within the area range of the electronic device, the contact coordinate data is configured to be regarded as no change.
바람직하게 상기 가상 터치 처리부는 초기 접점 좌표 데이터가 산출된 시간으로부터 설정 시간 이상 상기 접점 좌표 데이터의 변동이 있는지를 판단하여 설정시간 이상 상기 접점 좌표 데이터의 변동이 없으면, 제1 공간좌표와 제2 공간좌표 사이에 설정 거리 이상의 거리 변화 발생 유무를 판단하여 설정 거리 이상의 거리 변화가 발생한 경우에는 상기 접점 좌표 데이터에 대응되도록 설정된 동작을 수행하는 명령코드를 생성하여 상기 전자기기의 주 제어부로 입력하도록 구성되는 것을 특징으로 한다.Preferably, the virtual touch processor determines whether there is a change in the contact coordinate data for a set time or more from a time at which initial contact coordinate data is calculated, and if there is no change in the contact coordinate data for a set time or more, a first spatial coordinate and a second space. It is configured to generate a command code for performing the operation set to correspond to the contact coordinate data when the distance change over the set distance occurs by determining whether there is a change in distance or more than the set distance between the coordinates is input to the main control unit of the electronic device It is characterized by.
바람직하게 상기 제1 공간좌표는 상기 사용자 손가락 중 2개 이상의 손가락 끝의 3차원 좌표들이고, 상기 제2 공간좌표는 상기 사용자의 어느 한쪽 눈의 중심점의 3차원 좌표로 구성되는 것을 특징으로 한다.Preferably, the first spatial coordinates are three-dimensional coordinates of two or more fingertips of the user's fingers, and the second spatial coordinates comprise three-dimensional coordinates of a center point of one eye of the user.
바람직하게 상기 제1 공간좌표는 2인 이상 사용자에 의해 제시되는 각자 하나 이상의 손가락 끝의 3차원 좌표들이고, 상기 제2 공간좌표는 상기 2인 이상 사용자들의 어느 한쪽 눈의 중심점의 3차원 좌표들로 구성되는 것을 특징으로 한다.하는 두대의 카메라와 광원을 이용한 포인터를 사용하지 않는 가상 터치 장치.Preferably, the first spatial coordinates are three-dimensional coordinates of one or more fingertips respectively presented by two or more users, and the second spatial coordinates are three-dimensional coordinates of a center point of one eye of the two or more users. A virtual touch device that does not use a pointer using two cameras and a light source.
본 발명에 따른 두대의 카메라와 광원을 이용한 포인터를 사용하지 않는 가상 터치 장치는 다음과 같은 효과가 있다.A virtual touch device that does not use a pointer using two cameras and a light source according to the present invention has the following effects.
본 발명에 따른 가상 터치 장치 및 방법은 디스플레이에서 포인터를 사용하지 않음으로써 전자기기의 신속한 조작이 가능하다. 따라서 본 발명은 앞서 설명한 터치패널의 장점을 전자기기 원격제어장치분야에 적용할 수 있는 장치 및 방법을 제안하는 것이다. 일반적으로 컴퓨터, 디지털TV 등 전자기기는 제어방법으로 해당 영역에 포인터를 생성한 후 특정 추가 동작을 수행함으로써 전자기기 조작이 가능하다. 또한 지금까지는 디스플레이 포인터의 위치를 고속으로 설정하기 위한 방법, 디스플레이에서 포인터의 속도 선택 방법, 하나 이상의 포인터를 사용하는 방법, 리모컨에 의해 포인터를 제어하는 방법 등과 같이 무수히 많은 기술들이 포인터를 활용한 응용기술에만 국한되어 개발되어왔다. The virtual touch device and method according to the present invention enable fast manipulation of electronic devices by not using a pointer in a display. Therefore, the present invention proposes an apparatus and method that can apply the advantages of the above-described touch panel to the field of electronic device remote control. In general, an electronic device such as a computer or a digital TV can be manipulated by creating a pointer in a corresponding area using a control method and then performing a specific additional operation. Up to now, a myriad of technologies, such as a method for setting the position of the display pointer at a high speed, a method for selecting the speed of the pointer in the display, a method for using one or more pointers, and a method for controlling the pointer by the remote control, Technology has been developed only.
또한, 사용자는 전자기기 표시면의 특정영역을 정교하게 포인팅 할 수 있다.In addition, the user may precisely point a specific area of the display surface of the electronic device.
본 발명에서는 전자기기 표시면을 정교하게 포인팅 하기 위해 '손가락 끝과 한쪽 눈만을 이용해야 사물의 위치를 정확히 포인팅할 수 있다'는 원리를 채용한다(손가락 끝을 두 눈으로 보면 손가락 끝이 2개로 보임). 본 발명에서는 이러한 방식을 채용함으로써 사용자는 원격에서도 마치 터치패널을 사용하는 것과 같이 정교하게 화면상의 메뉴를 포인팅할 수 있다. In the present invention, in order to precisely point the display surface of the electronic device, the principle that 'only the fingertip and one eye can be used to accurately point the position of the object' is adopted. show). By employing such a method in the present invention, the user can point at a menu on the screen in detail as if using a touch panel remotely.
도 1은 본 발명의 바람직한 실시예에 따른 가상 터치 장치 블록도.
도 2a에서 사용자가 디스플레이에 표시된 화면 메뉴를 선택한다.
도 2b에서 전자기기 디스플레이 서브 메뉴가 표시된다.
도 2c에서 사용자가 디스플레이에 표시된 서브 메뉴를 선택한다.
도 3a에서 사용자가 일정시간 동안 제1 공간좌표와 제2 공간좌표를 유지한다.
도 3b에서 사용자가 손가락 끝을 초기 접점 좌표 방향으로 이동시킨다.
도 3c에서 사용자가 손가락 끝을 제2 공간좌표 방향으로 이동시킨다.
도 4에서 1 사용자가 2개 손가락 끝을 사용하여 터치 동작을 수행한다.
도 5에서 2 사용자가 각자 손가락 끝을 사용하여 터치 동작을 수행한다.1 is a block diagram of a virtual touch device according to a preferred embodiment of the present invention.
In FIG. 2A the user selects a screen menu displayed on the display.
In FIG. 2B, the electronic device display submenu is displayed.
In FIG. 2C the user selects a submenu displayed on the display.
In FIG. 3A, a user maintains a first spatial coordinate and a second spatial coordinate for a predetermined time.
In FIG. 3B, the user moves the fingertip in the initial contact coordinate direction.
In FIG. 3C, the user moves the fingertip in the direction of the second spatial coordinate.
In FIG. 4, a user performs a touch operation using two fingertips.
In FIG. 5, two users each use a fingertip to perform a touch operation.
본 발명의 다른 목적, 특성 및 이점들은 첨부한 도면을 참조한 실시예들의 상세한 설명을 통해 명백해질 것이다.Other objects, features and advantages of the present invention will become apparent from the detailed description of the embodiments with reference to the accompanying drawings.
본 발명에 따른 두대의 카메라와 광원을 이용한 포인터를 사용하지 않는 가상 터치 장치의 바람직한 실시예에 대하여 첨부한 도면을 참조하여 설명하면 다음과 같다. 그러나 본 발명은 이하에서 개시되는 실시예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예는 본 발명의 개시가 완전하도록 하며 통상의 지식을 가진자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있다.A preferred embodiment of a virtual touch device that does not use a pointer using two cameras and a light source according to the present invention will be described with reference to the accompanying drawings. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. Rather, these embodiments are provided so that this disclosure will be thorough and complete, and will fully convey the scope of the invention to those skilled in the art. It is provided to let you know. Therefore, the embodiments described in the present specification and the configurations shown in the drawings are merely the most preferred embodiments of the present invention and are not intended to represent all of the technical ideas of the present invention. Therefore, various equivalents There may be water and variations.
도 1 은 본 발명의 실시예에 따른 가상 터치 장치를 나타낸 블록 구성도이다. 1 is a block diagram showing a virtual touch device according to an embodiment of the present invention.
도 1을 참조하면, 가상 터치 장치(1)는 사용자 신체의 3차원 좌표 데이터를 추출하는 3차원 좌표 산출장치(10) 및 제어부(20)를 포함한다. Referring to FIG. 1, the virtual touch device 1 includes a 3D coordinate calculating apparatus 10 and a controller 20 for extracting 3D coordinate data of a user's body.
상기 3차원 좌표 산출장치(10)는 적외선 광원과 함께 표시되는 일정한 패턴을 서로 다른 각도에서 촬영한 영상을 이용하여 패턴의 각 포인트 매칭에 따른 포인트의 시차를 산출하고, 산출된 포인트의 시차에 따라 미리 저장되어 있는 깊이 정보값을 이용하여 사용자의 신체의 3차원 좌표를 산출한다.The three-dimensional coordinate calculation apparatus 10 calculates the parallax of a point according to each point matching of the pattern by using an image of a predetermined pattern displayed with an infrared light source from different angles, and according to the calculated parallax of the point The 3D coordinates of the user's body are calculated by using the depth information stored in advance.
상기 3차원 좌표 산출장치(10)의 구조를 좀 더 상세히 설명하면, 사용자 신체에 조사되는 적외선을 생성하는 적외선 광원과, 상기 사용자 신체와 적외선 광원 사이에 위치하고, 그리드(grid) 또는 도트(dot) 패턴 등과 같은 일정한 패턴을 포함하는 광원필터와, 상기 적외선 광원이 투사된 사용자 신체를 서로 다른 각도에서 촬영하는 2대의 적외선 카메라를 포함하여 구성된다. The structure of the three-dimensional coordinate calculation device 10 will be described in more detail. An infrared light source for generating infrared rays irradiated to the user's body and the user's body and the infrared light source are located between a grid or a dot. It includes a light source filter including a predetermined pattern, such as a pattern, and two infrared cameras for photographing the user's body projected by the infrared light source from different angles.
이때, 상기 2대의 적외선 카메라는 서로 10 Cm 이내 5 Cm 이상의의 거리에 위치하며, 적외선 광원은 2대의 적외선 카메라 사이에 위치하는 것이 바람직하다. 이때, 상기 적외선 카메라의 거리가 너무 멀면 2대의 적외선 카메라 사이의 가까운 위치에 촬영되지 않는 영역이 발생되는 문제점이 있으며, 거리가 너무 가까우면 촬영되는 2개의 영상 간의 시차가 너무 작아져서 차후 사용자 신체의 3차원 좌표를 산출하는데 어려움이 있는 문제점이 있다. 이처럼, 2대의 카메라 간의 거리는 바람직한 실시예에 따른 것으로 이에 제한되지 않으며, 3차원 좌표 산출장치(10)의 크기에 한정하여 그 거리가 더 커질 수도, 또는 더 작아질 수도 있음을 주의하여야 한다.In this case, the two infrared cameras are located at a distance of 5 Cm or more within 10 cm from each other, the infrared light source is preferably located between the two infrared cameras. In this case, if the distance of the infrared camera is too far, there is a problem that a region that is not photographed at a close position between two infrared cameras is generated. If the distance is too close, the parallax between the two images to be photographed is too small, There is a problem in that it is difficult to calculate three-dimensional coordinates. As such, the distance between the two cameras is according to a preferred embodiment, and the present invention is not limited thereto, and it should be noted that the distance may be greater or smaller than the size of the 3D coordinate calculating apparatus 10.
이와 같이 구성된 3차원 좌표 산출장치(10)의 원리를 설명하면, 서로 다른 각도에서 촬영되는 하나의 피사체는 평행한 선상에 카메라가 위치하는 경우 좌 또는 우로 두대의 카메라의 거리에 비례해서 시차가 발생되게 된다. 이때, 적외선 광원이 광원필터를 거쳐 피사체를 투사하는 경우에, 적외선 카메라에서 촬영된 영상에는 피사체와 함께 그리드 또는 도트 패턴이 함께 촬영되게 된다.Referring to the principle of the three-dimensional coordinate calculation apparatus 10 configured as described above, when one camera photographed from different angles is located in parallel lines, parallax occurs in proportion to the distance of two cameras to the left or right Will be. At this time, when the infrared light source projects the subject through the light source filter, the grid or dot pattern is taken together with the subject in the image photographed by the infrared camera.
이처럼, 두대의 적외선 카메라에서 촬영된 각각의 영상은 일정한 패턴의 전, 후, 좌, 우의 패턴이 피사체와 함께 촬영되어 있으며, 아울러, 두 영상은 서로 다른 각도에서 촬영됨에 따라 서로 다른 시차를 가지게 된다. 이에 따라, 피사체에 위치하는 패턴의 위치가 시차의 크기만큼 서로 다른 오차를 발생시키게 된다. As described above, each image taken by two infrared cameras has a pattern of before, after, left and right of a certain pattern with the subject, and the two images have different parallax as they are taken from different angles. . Accordingly, the position of the pattern located on the subject generates different errors by the amount of parallax.
이와 같이, 시차의 크기만큼 발생된 패턴의 오차를 이용하여 사용자의 신체의 3차원 좌표를 산출하게 된다. 즉, 패턴의 오차의 범위에 따라 카메라와 피사체간의 거리(깊이) 정보를 미리 정의하여 데이터베이스화하고 저장한 후에, 발생된 패턴의 오차에 해당되는 깊이 정보를 검출하고, 이렇게 검출된 깊이 정보를 이용하여 사용자의 신체의 3차원 좌표를 산출한다.As such, the 3D coordinates of the user's body are calculated using the error of the pattern generated by the size of the parallax. That is, the distance (depth) information between the camera and the subject is predefined and databased according to the error range of the pattern, and then stored. Then, the depth information corresponding to the error of the generated pattern is detected, and the detected depth information is used. 3D coordinates of the user's body are calculated.
한편, 상기 광원필터에 표시되는 그리드(grid) 또는 도트(dot) 패턴 등과 같은 일정한 패턴의 경우, 그 패턴 간의 거리에 따라 그 오차 값을 미리 정의하여 발생되는 오차의 범위를 보다 빨리 추산 할 수 있도록 한다.Meanwhile, in the case of a certain pattern such as a grid or dot pattern displayed on the light source filter, the error value is defined in advance according to the distance between the patterns so that the range of the error generated can be estimated more quickly. do.
상기 제어부(20)는 터치 위치 산출부(21)과 가상 터치 산출부(22)로 구성된다.The controller 20 includes a touch position calculator 21 and a virtual touch calculator 22.
터치 위치 산출부(21)은 3차원 좌표 산출장치(10)로부터 수신한 제1 공간좌표와 제2 공간좌표를 이용하여 상기 제1 공간좌표와 제2 공간좌표를 연결하는 직선이 상기 표시면과 만나는 접점 좌표 데이터를 산출하는 역할을 수행한다.The touch position calculator 21 may include a straight line connecting the first spatial coordinates and the second spatial coordinates using the first spatial coordinates and the second spatial coordinates received from the 3D coordinate calculator 10. It calculates contact point coordinate data.
일반적으로 사람의 신체 중에서 손가락은 정교하고 섬세한 조작이 가능한 유일한 부분이다. 특히, 손가락 중에서도 엄지 또는 집게 손가락 중에서 어느 하나를 사용하거나 두 손가락을 함께 사용할 경우 정교한 포인팅을 수행할 수 있다. 이에 따라 본 발명에서 제1 공간좌표로서 엄지 및/또는 집게 손가락의 끝부분을 사용하는 것은 매우 효과적이다. Generally speaking, the fingers are the only part of the human body that allows precise and delicate manipulation. In particular, when using either one of the thumb or index finger among the fingers, or when using two fingers together, precise pointing can be performed. Therefore, it is very effective to use the tip of the thumb and / or index finger as the first spatial coordinates in the present invention.
또한 같은 맥락에서 상기 제1 공간좌표의 역할을 하는 손가락의 끝 부분을 대신하여 손가락으로 파지하고 있는 끝이 뾰족한 포인터(예, 펜 끝)를 사용할 수 있다. 이러한 포인터를 사용할 경우 손가락 끝에 비해 사용자 시야로부터 디스플레이를 가리는 부분이 작고 포인터의 뾰족한 끝으로 디스플레이의 매우 작은 부분까지도 정확히 포인팅 할 수 있는 장점이 있다.In addition, in the same context, instead of the tip of the finger serving as the first spatial coordinate, a pointed tip (eg, a pen tip) held by the finger may be used. The advantage of using such a pointer is that the portion that covers the display from the user's view is smaller than the fingertip, and the pointed end of the pointer can accurately point to a very small portion of the display.
또한 본 발명에서는 사용자의 한쪽 눈의 중심점만을 이용한다. 예를 들어 사용자가 두 눈 앞에 집게 손가락을 배치시켜 쳐다보면 상기 집게 손가락은 2개로 보일 것이다. 이는 사용자 양안이 바라 보는 집게 손가락의 형상이 서로 다르기 때문에 이와 같은 현상이 발생한다(양안의 각도차에 의한 것임). 그러나 만약 한쪽 눈으로만 집게 손가락을 바라본다면 집게 손가락이 명확하게 보일 것이다. 또한 굳이 한쪽 눈을 감지 않더라도 의식적으로 한쪽 눈으로만 바라보더라도 집게 손가락은 뚜렷이 보일 것이다. 사격, 양궁 등과 같이 조준에 있어 고도의 정확성을 요구하는 스포츠 종목의 경우 대부분 한쪽 눈을 감고 조준하는 것도 이와 같은 원리에 따른 것이다.In the present invention, only the center point of one eye of the user is used. For example, if a user places an index finger in front of both eyes and looks at the index finger, the index finger will appear as two. This phenomenon occurs because the shape of the index finger viewed by both eyes of the user is different (due to the angle difference between the eyes). However, if you look at your index finger with only one eye, your index finger will be clearly visible. Also, even if you do not sense one eye, your index finger will be clearly visible even if you are consciously looking at one eye. It is the same principle to close and close one eye for sports events that require a high degree of accuracy in aiming, such as shooting and archery.
본 발명에서는 한쪽 눈으로만 손가락 끝(제1 공간좌표)을 바라 보았을 때 손가락 끝의 형태를 뚜렷하게 파악할 수 있다는 원리를 채용하는 것이다. 이와 같이 사용자가 제1 공간좌표를 정확히 볼 수 있어야 제1 공간좌표와 일치되는 디스플레이의 특정 영역을 포인팅 할 수 있다.The present invention adopts the principle that the shape of the fingertip can be clearly recognized when looking at the fingertip (first spatial coordinate) with only one eye. In this way, the user must be able to correctly view the first spatial coordinates, so that a specific area of the display coinciding with the first spatial coordinates can be pointed.
본 발명에서는 1인 사용자가 손가락 중 어느 하나를 사용하는 경우, 제1 공간좌표는 사용자 손가락 중 어느 하나 손가락의 끝, 상기 사용자가 손가락으로 파지하고 있는 포인터의 끝 중 어느 하나의 3차원 좌표이고, 제2 공간좌표는 사용자의 어느 한쪽 눈의 중심점의 3차원 좌표이 될 것이다. In the present invention, when the user of 1 uses any one of the fingers, the first spatial coordinate is a three-dimensional coordinate of any one of the end of the finger of the user's finger, the end of the pointer held by the user with the finger, The second spatial coordinate will be the three-dimensional coordinates of the center point of either eye of the user.
또한, 1인 사용자가 손가락 중 2개 이상을 사용하는 경우, 상기 제1 공간좌표는 2인 이상 사용자에 의해 제시되는 각자 하나 이상의 손가락의 끝의 3차원 좌표들이고, 상기 제2 공간좌표는 상기 2인 이상 사용자들의 어느 한쪽 눈의 중심점의 3차원 좌표들로 형성될 수 있다.If one user uses two or more of the fingers, the first spatial coordinates are three-dimensional coordinates of the ends of one or more fingers presented by two or more users, and the second spatial coordinates are the second Dimensional coordinates of a center point of one eye of the users who are at least three-dimensional.
또한, 2인 이상의 사용자가 사용하는 경우, 제1 공간좌표는 2인 이상 사용자에 의해 제시되는 각자 하나 이상의 손가락의 끝의 3차원 좌표들이고, 제2 공간좌표는 상기 2인 이상 사용자들의 어느 한쪽 눈의 중심점의 3차원 좌표들로 형성될 수 있다.In addition, when two or more users are used, the first spatial coordinates are three-dimensional coordinates of the ends of one or more fingers presented by the user of two or more users, and the second spatial coordinates are coordinates of one of the two or more users Dimensional coordinates of the center point of the center point.
본 발명에 있어서, 가상 터치 처리부(22)는 초기 접점 좌표 데이터가 산출된 시간으로부터 설정 시간 이상 상기 접점 좌표 데이터의 변동이 있는지를 판단하여 설정 시간 이상 상기 접점 좌표 데이터의 변동이 없으면 상기 접점 좌표 데이터에 대응되도록 설정된 동작을 수행하는 명령코드를 생성하여 상기 전자기기의 주 제어부(31)로 입력하도록 형성될 수 있다. 가상 터치 처리부(22)는 1인 사용자 2개 손가락 또는 2인 이상의 사용자에 의해서도 마찬가지로 방식으로 처리할 수 있다.In the present invention, the virtual touch processing unit 22 determines whether there is a change in the contact coordinate data for a set time or more from a time at which initial contact coordinate data is calculated, and if there is no change in the contact coordinate data for a set time or more, the contact coordinate data. It may be configured to generate a command code for performing the operation set to correspond to the input to the main control unit 31 of the electronic device. The virtual touch processing unit 22 can be processed in the same manner by two users of one user or two or more users.
또한 본 발명에 있어서, 가상 터치 처리부(22)는 초기 접점 좌표 데이터가 산출된 시간으로부터 설정 시간 이상 상기 접점 좌표 데이터의 변동이 있는지를 판단하여 설정 시간 이상 상기 접점 좌표 데이터의 변동이 없으면, 제1 공간좌표와 제2 공간좌표 사이에 설정 거리 이상의 거리 변화 발생 유무를 판단하여 설정 거리 이상의 거리 변화가 발생한 경우에는 상기 접점 좌표 데이터에 대응되도록 설정된 동작을 수행하는 명령코드를 생성하여 상기 전자기기의 주 제어부(31)로 입력하도록 형성될 수 있다. 가상 터치 처리부(22)는 1인 사용자 2개 손가락 또는 2인 이상의 사용자에 의해서도 마찬가지로 방식으로 처리할 수 있다.In the present invention, the virtual touch processing unit 22 determines whether there is a change in the contact point coordinate data over a set time from the time at which the initial contact point coordinate data is calculated. If there is no change in the contact point coordinate data over the set time, And a controller for generating a command code for performing an operation set to correspond to the contact coordinate data when the distance change is greater than or equal to the set distance, And may be formed to be input to the control unit 31. The virtual touch processing unit 22 can be processed in the same manner by two users of one user or two or more users.
한편, 상기 접점 좌표 데이터의 변동이 상기 디스플레이(30)의 설정 영역 범위 내인 것으로 판단되면 상기 접점 좌표 데이터들의 변동이 없는 것으로 간주되도록 형성될 수 있다. 즉, 사용자가 손가락 끝 또는 포인터의 끝으로 디스플레이를 포인팅 할 때 신체 특성상 신체 또는 손가락에 당연히 약간의 움직임 또는 떨림이 있으므로 사용자가 접점 좌표를 그대로 유지하는 것은 매우 어렵다. 따라서 상기 접점 좌표 데이터 값이 디스플레이의 설정 영역 범위안에 존재할 때는 상기 접점 좌표 데이터의 변동이 없는 것으로 간주하여 설정된 동작을 수행하는 명령코드를 생성하여 전자기기의 주 제어부(31)로 입력하도록 할 수 있다.On the other hand, if it is determined that the variation of the contact coordinate data is within the range of the setting area of the display 30, the contact coordinate data may be formed to be regarded as no change in the contact coordinate data. That is, it is very difficult for the user to keep the contact coordinates as it is because the body or the finger naturally has slight movement or trembling when the user points the display to the end of the finger or the pointer. Therefore, when the contact coordinate data value is within the range of the setting area of the display, it is assumed that there is no change in the contact coordinate data, and a command code for performing the set operation may be generated and input to the main controller 31 of the electronic device. .
본 발명에 따른 원격 조정의 대상이 되는 전자기기 중 대표적인 것으로 디지털텔레비젼을 들 수 있다. 일반적으로 디지털텔레비전 수신기는 방송신호 수신부, 영상신호 처리부, 시스템 제어부 등을 별도로 구비하고 있으나 이러한 구성요소들은 당업자에게는 지극히 자명한 사실이므로 여기서는 이들에 상세한 설명을 생략한다. 본 발명에 따른 원격 조정의 대상이 되는 기타 전자기기로는 가전 기기 뿐만 아니라 조명기기, 가스기기, 난방기기, 방법기기 등 홈 네트워킹을 구성하고 각종 전자기기들도 본 발명에 의한 원격 조정 대상이 될 수 있다. A representative example of the electronic apparatus to be subjected to the remote control according to the present invention is a digital television. Generally, the digital television receiver is provided with a broadcast signal receiving unit, a video signal processing unit, a system control unit, and the like. However, these components are obvious to those skilled in the art and will not be described in detail here. Other electronic devices to be subjected to the remote control according to the present invention include home networking such as home appliances as well as lighting devices, gas appliances, heating appliances, and method appliances, and various electronic appliances may be remotely controlled by the present invention .
본 발명에 따른 가상 터치 장치(1)는 원격 조정의 대상이 되는 전자기기 프레임 상단에 삽입되어 설치될 수 있고, 또한 전자기기와 별도로 분리되어 설치될 수도 있다.The virtual touch device 1 according to the present invention may be inserted into the top of an electronic device frame to be remotely controlled and installed separately from the electronic device.
도 2a는 본 발명의 실시예에 따라 사용자가 전자기기 디스플레이(30) 상에서 특정 아이콘을 선택하는 도면이다. 사용자는 한쪽 눈으로 손가락 끝을 보면서 디스플레이(30)상에서 '음악' 아이콘을 선택한다. 3차원 좌표 산출장치(10)에서는 사용자 신체의 3차원 공간좌표를 생성하고, 제어부(20)의 터치 위치 산출부(21)는 손가락 끝의 3차원 좌표 데이터(X1, Y1, Z1)와 한쪽 눈의 중심점의 3차원 좌표 데이터(X2, Y2, Z2)를 처리하여 디스플레이 표시면과의 접점 좌표(X, Y, Z)를 산출한다. 이후 가상 터치 처리부(22)는 접점 좌표 데이터(X, Y, Z)에 대응되도록 설정된 동작을 수행하는 명령코드를 생성하여 상기 전자기기의 주 제어부(31)로 입력한다. 주 제어부(31)는 상기 명령코드를 수행한 결과를 디스플레이(30)에 표시하도록 제어한다. 도 2a에서는 '음악' 아이콘 메뉴를 선택하였다.2A is a diagram in which a user selects a specific icon on the electronic device display 30 according to an embodiment of the present invention. The user selects the 'music' icon on the display 30 while viewing the fingertip with one eye. The three-dimensional coordinate calculation device 10 generates three-dimensional space coordinates of the user's body, and the touch position calculation unit 21 of the control unit 20 calculates three-dimensional coordinates of the fingertip based on three-dimensional coordinate data (X1, Y1, Z1) (X2, Y2, Z2) of the center point of the display screen (X, Y, Z) to calculate the contact coordinates (X, Y, Z) Then, the virtual touch processing unit 22 generates an instruction code for performing an operation set to correspond to the contact coordinate data (X, Y, Z) and inputs it to the main control unit 31 of the electronic apparatus. The main control unit 31 controls the display 30 to display the result of executing the command code. In FIG. 2A, a 'music' icon menu is selected.
도 2b는 사용자가 도 2a에서 '음악' 아이콘 메뉴를 선택한 후 나타나는 노래 곡명에 대한 서브 메뉴를 디스플레이에 표시한 화면을 나타낸다. 도 2c는 사용자가 음악 서브 메뉴 중에서 특정 곡을 선택하는 화면이다.FIG. 2B illustrates a screen in which a user displays a sub-menu for a song song name that appears after the user selects the 'music' icon menu in FIG. 2A. 2C is a screen in which a user selects a specific song from a music sub menu.
도 3a 내지 3c에서 제어부(20)의 터치 위치 산출부(21)는 손가락 끝의 3차원 좌표 데이터(X1, Y1, Z1)와 한쪽 눈의 중심점의 3차원 좌표 데이터(X2, Y2, Z2)가 일정한 조건(Z 좌표 값의 변동)에 해당될 때에만 디스플레이 표시면과의 접점 좌표(X, Y, Z)에 대응되도록 설정된 동작을 수행하는 명령코드를 생성하여 상기 전자기기의 주 제어부(31)로 입력하는 방법을 보여준다.3A to 3C, the touch position calculator 21 of the controller 20 includes three-dimensional coordinate data (X1, Y1, Z1) of the fingertip and three-dimensional coordinate data (X2, Y2, Z2) of the center point of one eye. The main control unit 31 of the electronic device generates a command code for performing an operation that is set to correspond to the contact coordinates (X, Y, Z) with the display display surface only when a certain condition (change in Z coordinate value) is met. Shows how to type.
도 3a는 터치 위치 산출부(21)가 초기 접점 좌표 데이터가 산출된 시간으로부터 설정 시간 이상 상기 접점 좌표 데이터의 변동이 있는지를 판단하여 설정 시간 이상 상기 접점 좌표 데이터의 변동이 없을 경우에만 상기 접점 좌표 데이터에 대응되도록 설정된 동작을 수행하는 명령코드를 생성하여 상기 전자기기의 주 제어부(31)로 입력한다.3A illustrates that the touch position calculator 21 determines whether there is a change in the contact coordinate data for a set time or more from a time at which initial contact coordinate data is calculated, and thus the contact coordinate only when there is no change in the contact coordinate data for a set time or more. A command code for performing an operation set to correspond to data is generated and input to the main controller 31 of the electronic device.
도 3b와 도 3c에서 가상 터치 처리부(22)는 초기 접점 좌표 데이터가 산출된 시간으로부터 설정 시간 이상 상기 접점 좌표 데이터의 변동이 있는지를 판단하여 설정 시간 이상 상기 접점 좌표 데이터의 변동(X와 Y 좌표값)이 없으면, 제1 공간좌표와 제2 공간좌표 사이에 설정 거리 이상의 거리 변화 발생 유무를 판단하여 설정 거리 이상의 거리 변화(Z 좌표값의 변화)가 발생한 경우에는 상기 접점 좌표 데이터에 대응되도록 설정된 동작을 수행하는 명령코드를 생성하여 상기 전자기기의 주 제어부(31)로 입력한다. 도 3b은 제1 공간좌표와 제2 공간좌표의 거리가 멀어진 경우이고 도 3c는 제1 공간좌표와 제2 공간좌표의 거리가 가까워진 경우이다.In FIGS. 3B and 3C, the virtual touch processor 22 determines whether there is a change in the contact coordinate data for a set time or more from a time at which initial contact coordinate data is calculated, and thus changes in the contact coordinate data for a set time or more (X and Y coordinates). Value), it is determined whether there is a change in distance greater than or equal to the set distance between the first spatial coordinate and the second spatial coordinate, and when a distance change (change in Z coordinate value) greater than or equal to the set distance occurs, A command code for performing an operation is generated and input to the main controller 31 of the electronic device. 3B illustrates a case where the distance between the first spatial coordinates and the second spatial coordinates is far from each other, and FIG. 3C illustrates a case where the distance between the first spatial coordinates and the second spatial coordinates approaches each other.
도 4는 1 사용자가 2개의 손가락 끝을 사용하여 전자기기 디스플레이 표시면에 2개의 접점 좌표, (Xa, Ya, Za)와 (Xb, Yb, Zb)를 갖는 경우를 나타낸다. 사용자가 표시면에 2개의 접점 좌표를 가지면서 전자기기 동작을 제어하는 예로는 게임 등에서 흔히 볼 수 있을 것이다. 또한 사용자가 2개의 손가락 끝을 사용할 경우 디스플레이 표시면에서 이미지를 조작(이동, 회전, 축소, 확대 등)할 때에도 매우 유용할 것이다.4 shows a case where one user has two contact coordinates, (Xa, Ya, Za) and (Xb, Yb, Zb) on an electronic device display display surface using two fingertips. An example of a user having two contact points on the display surface and controlling the operation of an electronic device may be commonly found in games and the like. It will also be very useful when the user manipulates (move, rotate, zoom, zoom, etc.) the image on the display screen when using two fingertips.
도5는 2 사용자가 각자 1개의 손가락 끝을 사용하여 전자기기 디스플레이 표시면에 2개의 접점 좌표, (Xa, Ya, Za)와 (Xb, Yb, Zb)를 갖는 경우를 나타낸다. 2명의 사용자가 표시면에 2개의 접점 좌표를 가지면서 각각 전자기기 동작을 제어하는 예로는 게임 등에서 흔히 볼 수 있을 것이다.
Fig. 5 shows a case where two users each have two contact coordinates, (Xa, Ya, Za) and (Xb, Yb, Zb) on an electronic device display display surface using one fingertip. An example in which two users have two contact coordinates on a display surface and controls electronic device operation, respectively, will be common in games.
상기에서 설명한 본 발명의 기술적 사상은 바람직한 실시예에서 구체적으로 기술되었으나, 상기한 실시예는 그 설명을 위한 것이며 그 제한을 위한 것이 님을 주의하여야 한다. 또한, 본 발명의 기술적 분야의 통상의 지식을 가진 자라면 본 발명의 기술적 사상의 범위 내에서 다양한 실시예가 가능함을 이해할 수 있을 것이다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다. While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments. It will be apparent to those skilled in the art that various modifications may be made without departing from the scope of the present invention. Accordingly, the true scope of the present invention should be determined by the technical idea of the appended claims.
Claims (13)
서로 다른 각도에서 적외선 광원과 함께 표시되는 일정한 패턴을 촬영한 영상을 이용하여 패턴의 각 포인트 매칭에 따른 포인트의 시차를 산출하고, 산출된 포인트의 시차에 따라 미리 저장되어 있는 깊이 정보값을 이용하여 사용자의 신체의 3차원 좌표를 산출하는 3차원 좌표 산출장치; 및
상기 3차원 좌표 산출장치로부터 수신한 제1 공간좌표와 제2 공간좌표를 이용하여 상기 제1 공간좌표와 제2 공간좌표를 연결하는 직선이 상기 전자기기와 만나는 접점 좌표 데이터를 산출하는 터치 위치 산출부와, 상기 터치 위치 산출부로부터 수신된 상기 접점 좌표 데이터에 대응되도록 설정된 동작을 수행하는 명령코드를 생성하여 상기 전자기기의 주 제어부로 입력하는 가상 터치 처리부를 포함하는 제어부로 구성되는 것을 특징으로 하는 두대의 카메라와 광원을 이용한 포인터를 사용하지 않는 가상 터치 장치.An apparatus for remotely controlling an electronic apparatus,
Calculate the parallax of a point according to each point matching of the pattern by using the image photographing a certain pattern displayed with the infrared light source from different angles, and using the depth information value stored in advance according to the calculated parallax of the point A three-dimensional coordinate calculator for calculating three-dimensional coordinates of a user's body; And
Calculating touch position for calculating contact coordinate data where a straight line connecting the first spatial coordinates and the second spatial coordinates meets the electronic device by using the first spatial coordinates and the second spatial coordinates received from the three-dimensional coordinate calculation apparatus. And a controller including a virtual touch processor configured to generate a command code for performing an operation set to correspond to the contact coordinate data received from the touch position calculator, and input the command code to a main controller of the electronic device. A virtual touch device that does not use a pointer using two cameras and a light source.
상기 사용자 신체에 조사되는 적외선을 생성하는 적외선 광원과,
상기 사용자 신체와 적외선 광원 사이에 위치하고, 일정한 패턴을 포함하는 광원필터와,
상기 적외선 광원이 투사된 사용자 신체를 서로 다른 각도에서 촬영하는 두대의 적외선 카메라를 포함하는 것을 특징으로 하는 두대의 카메라와 광원을 이용한 포인터를 사용하지 않는 가상 터치 장치.The apparatus of claim 1, wherein the three-dimensional coordinate calculating device
An infrared light source for generating infrared light emitted to the user's body;
A light source filter positioned between the user body and the infrared light source and including a predetermined pattern;
And two infrared cameras for photographing the user's body from which the infrared light source is projected from different angles.
상기 일정한 패턴은 그리드(grid) 또는 도트(dot) 패턴인 것을 특징으로 하는 두대의 카메라와 광원을 이용한 포인터를 사용하지 않는 가상 터치 장치.3. The method of claim 2,
The predetermined pattern is a grid or a dot pattern (dot) pattern, characterized in that a virtual touch device that does not use a pointer using two cameras and the light source.
상기 두대의 적외선 카메라는 서로 10 Cm 이내 5 Cm 이상의 거리에 구성되는 것을 특징으로 하는 두대의 카메라와 광원을 이용한 포인터를 사용하지 않는 가상 터치 장치.3. The method of claim 2,
The two infrared cameras do not use a pointer using a light source and the two cameras, characterized in that configured at a distance of 5 cm or more within 10 cm from each other.
상기 두대의 적외선 카메라에서 촬영된 영상은 적외선 광원이 광원필터를 거쳐 피사체와 함께 그리드 또는 도트 패턴이 함께 촬영되게 되는 것을 특징으로 하는 두대의 카메라와 광원을 이용한 포인터를 사용하지 않는 가상 터치 장치.5. The method of claim 4,
The image photographed by the two infrared cameras is a virtual touch device that does not use a pointer using the two cameras and the light source, characterized in that the infrared light source is taken through the light source filter together with the subject grid or dot pattern.
상기 적외선 광원은 2대의 적외선 카메라 사이에 위치하는 것을 특징으로 하는 두대의 카메라와 광원을 이용한 포인터를 사용하지 않는 가상 터치 장치.3. The method of claim 2,
The infrared light source is located between two infrared cameras, the virtual touch device that does not use a pointer using the two cameras and the light source.
상기 포인트의 시차의 크기에 따라 카메라와 피사체간의 거리(깊이) 정보를 미리 정의하여 데이터베이스화하고 저장하는 저장부를 더 포함하여 구성되는 것을 특징으로 하는 두대의 카메라와 광원을 이용한 포인터를 사용하지 않는 가상 터치 장치.The method of claim 1,
The virtual camera does not use a pointer using two cameras and a light source, further comprising a storage unit configured to predefine database and store distance (depth) information between the camera and the subject according to the size of the parallax of the point. Touch device.
상기 제1 공간좌표는 상기 사용자 손가락 중 어느 하나 손가락의 끝, 상기 사용자가 손가락으로 파지하고 있는 포인터의 끝 중 어느 하나의 3차원 좌표이고, 상기 제2 공간좌표는 상기 사용자의 어느 한쪽 눈의 중심점의 3차원 좌표로 형성되는 것을 특징으로 하는 두대의 카메라와 광원을 이용한 포인터를 사용하지 않는 가상 터치 장치.The method of claim 1,
The first spatial coordinate is a three-dimensional coordinate of any one of the end of one finger of the user finger, the end of the pointer held by the user with the finger, and the second spatial coordinate is the center point of one eye of the user. Virtual touch device that does not use a pointer using two cameras and the light source, characterized in that formed in three-dimensional coordinates.
상기 가상 터치 처리부는 초기 접점 좌표 데이터가 산출된 시간으로부터 설정 시간 이상 상기 접점 좌표 데이터의 변동이 있는지를 판단하여 설정시간 이상 상기 접점 좌표 데이터의 변동이 없으면 상기 접점 좌표 데이터에 대응되도록 설정된 동작을 수행하는 명령코드를 생성하여 상기 전자기기의 주 제어부로 입력하도록 구성되는 것을 특징으로 하는 두대의 카메라와 광원을 이용한 포인터를 사용하지 않는 가상 터치 장치.The method of claim 8,
The virtual touch processor determines whether there is a change in the contact coordinate data for a preset time or more from a time at which initial contact coordinate data is calculated, and performs a set operation to correspond to the contact coordinate data if there is no change in the contact coordinate data for a set time or more. The virtual touch device that does not use a pointer using two cameras and a light source, characterized in that it is configured to generate a command code to input to the main control unit of the electronic device.
상기 접점 좌표 데이터의 변동이 상기 전자기기의 영역 범위 내인 것으로 판단되면 상기 접점 좌표 데이터의 변동이 없는 것으로 간주하도록 구성되는 것을 특징으로 하는 두대의 카메라와 광원을 이용한 포인터를 사용하지 않는 가상 터치 장치.The method of claim 9,
And if the change of the contact coordinate data is determined to be within a range of the electronic device, the virtual touch device not using a pointer using two cameras and a light source.
상기 가상 터치 처리부는 초기 접점 좌표 데이터가 산출된 시간으로부터 설정 시간 이상 상기 접점 좌표 데이터의 변동이 있는지를 판단하여 설정시간 이상 상기 접점 좌표 데이터의 변동이 없으면, 제1 공간좌표와 제2 공간좌표 사이에 설정 거리 이상의 거리 변화 발생 유무를 판단하여 설정 거리 이상의 거리 변화가 발생한 경우에는 상기 접점 좌표 데이터에 대응되도록 설정된 동작을 수행하는 명령코드를 생성하여 상기 전자기기의 주 제어부로 입력하도록 구성되는 것을 특징으로 하는 두대의 카메라와 광원을 이용한 포인터를 사용하지 않는 가상 터치 장치.The method of claim 8,
The virtual touch processor determines whether there is a change in the contact coordinate data for more than a set time from a time at which initial contact coordinate data is calculated, and if there is no change in the contact coordinate data for a set time or more, between the first spatial coordinate and the second spatial coordinate. Determining whether the distance change is greater than or equal to a predetermined distance, and when a distance change is greater than or equal to a predetermined distance, generates a command code for performing an operation corresponding to the contact coordinate data, and inputs the command code to the main controller of the electronic device. A virtual touch device that does not use a pointer using two cameras and a light source.
상기 제1 공간좌표는 상기 사용자 손가락 중 2개 이상의 손가락 끝의 3차원 좌표들이고, 상기 제2 공간좌표는 상기 사용자의 어느 한쪽 눈의 중심점의 3차원 좌표로 구성되는 것을 특징으로 하는 두대의 카메라와 광원을 이용한 포인터를 사용하지 않는 가상 터치 장치.The method of claim 1,
The first spatial coordinates are three-dimensional coordinates of two or more fingertips of the user's fingers, and the second spatial coordinates comprise three-dimensional coordinates of a center point of one eye of the user; Virtual touch device that does not use a pointer using a light source.
상기 제1 공간좌표는 2인 이상 사용자에 의해 제시되는 각자 하나 이상의 손가락 끝의 3차원 좌표들이고, 상기 제2 공간좌표는 상기 2인 이상 사용자들의 어느 한쪽 눈의 중심점의 3차원 좌표들로 구성되는 것을 특징으로 하는 두대의 카메라와 광원을 이용한 포인터를 사용하지 않는 가상 터치 장치.The method of claim 1,
The first spatial coordinates are three-dimensional coordinates of one or more fingertips respectively presented by two or more users, and the second spatial coordinates are three-dimensional coordinates of a center point of one eye of the two or more users. Virtual touch device that does not use a pointer using two cameras and the light source.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020120057028A KR101321274B1 (en) | 2012-05-29 | 2012-05-29 | Virtual touch apparatus without pointer on the screen using two cameras and light source |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020120057028A KR101321274B1 (en) | 2012-05-29 | 2012-05-29 | Virtual touch apparatus without pointer on the screen using two cameras and light source |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101321274B1 true KR101321274B1 (en) | 2013-11-08 |
Family
ID=49856384
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020120057028A KR101321274B1 (en) | 2012-05-29 | 2012-05-29 | Virtual touch apparatus without pointer on the screen using two cameras and light source |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101321274B1 (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101542671B1 (en) | 2013-12-27 | 2015-08-06 | 한청훈 | Method and apparatus for space touch |
| KR101662022B1 (en) * | 2015-08-12 | 2016-10-10 | 연세대학교 산학협력단 | Apparatus and Method for Device Control using Gesture |
| KR101667510B1 (en) * | 2016-02-11 | 2016-10-18 | 윤일식 | Apparatus and Method for controlling the Motion of an Elevator using a Monitor |
| KR20180067918A (en) * | 2016-12-13 | 2018-06-21 | 윤일식 | Method for Preventing Malfunction of an Elevator Monitor |
| KR20190060197A (en) | 2017-11-24 | 2019-06-03 | 현대자동차주식회사 | Virtual touch recognition apparatus and method for correcting recognition error thereof |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20090048197A (en) * | 2007-11-09 | 2009-05-13 | 광주과학기술원 | Calculation method and system of pointing locations, and collaboration system comprising it |
| KR20110037053A (en) * | 2009-10-05 | 2011-04-13 | (주)휴비드씨엔에스 | The user interface apparatus and method for 3d space-touch using multiple imaging sensors |
| KR101103058B1 (en) | 2009-08-25 | 2012-01-05 | 김근섭 | Computer system and method of driving the same |
-
2012
- 2012-05-29 KR KR1020120057028A patent/KR101321274B1/en active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20090048197A (en) * | 2007-11-09 | 2009-05-13 | 광주과학기술원 | Calculation method and system of pointing locations, and collaboration system comprising it |
| KR101103058B1 (en) | 2009-08-25 | 2012-01-05 | 김근섭 | Computer system and method of driving the same |
| KR20110037053A (en) * | 2009-10-05 | 2011-04-13 | (주)휴비드씨엔에스 | The user interface apparatus and method for 3d space-touch using multiple imaging sensors |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101542671B1 (en) | 2013-12-27 | 2015-08-06 | 한청훈 | Method and apparatus for space touch |
| KR101662022B1 (en) * | 2015-08-12 | 2016-10-10 | 연세대학교 산학협력단 | Apparatus and Method for Device Control using Gesture |
| KR101667510B1 (en) * | 2016-02-11 | 2016-10-18 | 윤일식 | Apparatus and Method for controlling the Motion of an Elevator using a Monitor |
| WO2017138687A1 (en) * | 2016-02-11 | 2017-08-17 | 윤일식 | Device and method for controlling operation of elevator by using monitor |
| KR20180067918A (en) * | 2016-12-13 | 2018-06-21 | 윤일식 | Method for Preventing Malfunction of an Elevator Monitor |
| KR101958066B1 (en) * | 2016-12-13 | 2019-03-13 | 윤일식 | Method for Preventing Malfunction of an Elevator Monitor |
| KR20190060197A (en) | 2017-11-24 | 2019-06-03 | 현대자동차주식회사 | Virtual touch recognition apparatus and method for correcting recognition error thereof |
| US10866636B2 (en) | 2017-11-24 | 2020-12-15 | VTouch Co., Ltd. | Virtual touch recognition apparatus and method for correcting recognition error thereof |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101151962B1 (en) | Virtual touch apparatus and method without pointer on the screen | |
| KR101381928B1 (en) | virtual touch apparatus and method without pointer on the screen | |
| KR20120126508A (en) | method for recognizing touch input in virtual touch apparatus without pointer | |
| Wacker et al. | Arpen: Mid-air object manipulation techniques for a bimanual ar system with pen & smartphone | |
| CN108469899B (en) | Method of identifying an aiming point or area in a viewing space of a wearable display device | |
| JP6165485B2 (en) | AR gesture user interface system for mobile terminals | |
| KR101441882B1 (en) | method for controlling electronic devices by using virtural surface adjacent to display in virtual touch apparatus without pointer | |
| KR101872426B1 (en) | Depth-based user interface gesture control | |
| US8854433B1 (en) | Method and system enabling natural user interface gestures with an electronic system | |
| EP2733585B1 (en) | Remote manipulation device and method using a virtual touch of a three-dimensionally modeled electronic device | |
| KR101334585B1 (en) | Remote control apparatus and method for virtual touch using displaying information of projector | |
| KR101343748B1 (en) | Transparent display virtual touch apparatus without pointer | |
| Babic et al. | Pocket6: A 6dof controller based on a simple smartphone application | |
| KR20160048062A (en) | Systems and methods of direct pointing detection for interaction with a digital device | |
| EP2558924B1 (en) | Apparatus, method and computer program for user input using a camera | |
| US20140317576A1 (en) | Method and system for responding to user's selection gesture of object displayed in three dimensions | |
| KR102147430B1 (en) | virtual multi-touch interaction apparatus and method | |
| KR101321274B1 (en) | Virtual touch apparatus without pointer on the screen using two cameras and light source | |
| KR20120068253A (en) | Method and apparatus for providing response of user interface | |
| US20140347329A1 (en) | Pre-Button Event Stylus Position | |
| CN112068757B (en) | Target selection method and system for virtual reality | |
| TWI486815B (en) | Display device, system and method for controlling the display device | |
| Lee et al. | Tunnelslice: Freehand subspace acquisition using an egocentric tunnel for wearable augmented reality | |
| KR101272458B1 (en) | virtual touch apparatus and method without pointer on the screen | |
| WO2016102948A1 (en) | Coherent touchless interaction with stereoscopic 3d images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E701 | Decision to grant or registration of patent right | ||
| N231 | Notification of change of applicant | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20171016 Year of fee payment: 5 |
|
| FPAY | Annual fee payment |
Payment date: 20181016 Year of fee payment: 6 |
|
| FPAY | Annual fee payment |
Payment date: 20191016 Year of fee payment: 7 |