KR101386655B1 - 3d space touch system and method - Google Patents

3d space touch system and method Download PDF

Info

Publication number
KR101386655B1
KR101386655B1 KR1020130010643A KR20130010643A KR101386655B1 KR 101386655 B1 KR101386655 B1 KR 101386655B1 KR 1020130010643 A KR1020130010643 A KR 1020130010643A KR 20130010643 A KR20130010643 A KR 20130010643A KR 101386655 B1 KR101386655 B1 KR 101386655B1
Authority
KR
South Korea
Prior art keywords
image
fingertip
information
touch system
finger
Prior art date
Application number
KR1020130010643A
Other languages
Korean (ko)
Inventor
정광모
박영충
최광순
안양근
Original Assignee
전자부품연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전자부품연구원 filed Critical 전자부품연구원
Priority to KR1020130010643A priority Critical patent/KR101386655B1/en
Application granted granted Critical
Publication of KR101386655B1 publication Critical patent/KR101386655B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

The present invention relates to a 3D space touch system and method enabling a user to control a device through a space touch. The 3D space system detects a user′s fingertip point from the user image recognized through a camera and performs an operation based on the detected movement of the fingertip, thereby enabling the user to control the device without directly touching the tools such as a touch screen. [Reference numerals] (301) Image recognition unit; (302) Image analysis unit; (303) Result output unit; (304) Display unit; (AA) User; (BB) User operation information; (CC) Operation performing result; (DD) Image information; (EE) Command signal; (FF) Fingertip area information

Description

3D 공간 터치 시스템 및 방법 {3D Space Touch System and Method}3D Space Touch System and Method

본 발명은, 면적 특징을 이용한 3D 공간상의 사용자 손동작 기반 공간 터치 시스템에 관한 것으로서, 구체적으로는, 카메라를 통해 사용자의 손동작을 인식하고 인식한 손동작에 기초하여 사용자 명령을 인식하고 그 명령에 따른 동작을 수행하는 3D 공간 터치 시스템 및 방법에 관한 것이다.
The present invention relates to a spatial touch system based on a user's hand gesture in 3D space using an area feature. Specifically, the present invention recognizes a user's hand gesture through a camera and recognizes a user command based on the recognized hand gesture and operates according to the command. A 3D spatial touch system and method for performing the same.

최근 들어, 동작 인식 기술, 스마트 TV 등이 개발되면서 사용자에게 간단하고 편리한 인터페이스를 제공하기 위한 장비들이 다수 등장하고 있다.Recently, motion recognition technology and smart TV have been developed and many devices have been introduced to provide a simple and convenient interface to users.

이러한 인터페이스 중의 하나로서 공간 터치 인식 기술이 있는데, 종래의 공간 터치 인식 기술에는 사용자가 손에 마커를 붙이거나 데이터 글러브를 사용하도록 하여 사용자가 원하는 제스처를 인식하는 기술 또는 사용자의 손동작 자체를 인식하여 명령을 입력받는 기술 등이 있다.One of such interfaces is a spatial touch recognition technology. In the conventional spatial touch recognition technology, a user attaches a marker to a hand or uses a data glove to recognize a user's desired gesture or a user's hand gesture itself. There is a technique for receiving the input.

도 1은 이러한 기술들 중 사용자의 손동작 자체를 인식하여 사용자 명령을 입력받아 수행하는 기술로서, 최근 일본에서 개발된 시스템이다. 도 1에 도시된 기술은 모바일 장치에 카메라를 부착하고 영상분석기술을 활용함으로써, 사용자가 패널을 직접 터치하지 않고 공간상의 손동작을 통해 모바일 장치를 조작할 수 있도록 하는 공간 터치 기술에 관한 것이다.FIG. 1 is a technology that recognizes a user's hand gesture and receives and executes a user command. The technology illustrated in FIG. 1 relates to a spatial touch technology that allows a user to operate a mobile device through a hand gesture in space without directly touching a panel by attaching a camera to the mobile device and utilizing image analysis technology.

하지만, 이 시스템은 템플릿 매칭 추적기술을 기반으로 손가락을 추적 및 동작을 인식하기 때문에 추적 대상을 초기에 정의하는 단계가 필요하고, 정확한 추적을 위한 100 frame/sec 이상의 고속 카메라가 요구된다. 또한, 개발된 시스템은 RGB 카메라 영상을 기반으로 하기 때문에 조명 변화에 취약한 문제점이 존재한다.However, since the system tracks the finger and recognizes the motion based on the template matching tracking technology, it is necessary to define a tracking target at an early stage, and a high speed camera of 100 frames / sec or more for accurate tracking is required. In addition, the developed system is vulnerable to lighting changes because it is based on the RGB camera image.

최근 각국에서 비전기술을 이용한 3D 공간상의 공간 터치 기술을 개발하고 있으나 Interactive 3D 관련 핵심원천기술(TOF 3D 센서기술, 비접촉식 공간 터치 기술 등)은 아직 기술 개발 초기 단계이다.
Recently, countries are developing spatial touch technology in 3D space using vision technology, but core technologies related to Interactive 3D (TOF 3D sensor technology, non-contact space touch technology, etc.) are still in the early stages of technology development.

본 발명은 전술한 문제점을 해결하기 위하여, 사용자 손끝 인식을 이용한 공간 터치 기술을 이용하여 하드웨어와의 접촉이 필요 없는 인터렉티브 시스템을 구현할 수 있는 3D 공간 터치 시스템 및 방법을 제공하는 것을 목적으로 한다.
In order to solve the above problems, an object of the present invention is to provide a 3D space touch system and method that can implement an interactive system that does not require contact with hardware using a space touch technology using user finger recognition.

본 발명은, 카메라를 통해 촬영되는 영상 정보를 수집하는 영상 인식부; 상기 영상 인식부가 수집한 상기 영상 정보로부터 손가락 끝부분을 검출하고, 상기 손가락 끝부분의 위치 정보 및 면적 정보를 추출하는 영상 분석부; 및 상기 영상 분석부가 추출한 상기 손가락 끝부분의 위치 정보 및 면적 정보에 기초하여, 상기 손가락의 움직임에 따른 명령 신호를 출력하는 결과 출력부를 포함하는 3D 공간 터치 시스템을 제공한다.The present invention, the image recognition unit for collecting the image information taken by the camera; An image analyzer detecting a fingertip from the image information collected by the image recognition unit, and extracting location information and area information of the fingertip; And a result output unit configured to output a command signal according to the movement of the finger based on the location information and the area information of the fingertip extracted by the image analyzer.

본 발명의 일면에 따르면, 상기 영상 분석부는, 상기 영상 인식부가 수집한 영상 정보를 이진화하고, 이진화된 영상 정보에서 최상위 사각 영역을 선택한 후, 상기 최상위 사각 영역에서 타원 적합을 수행하여 상기 손가락 끝부분을 검출하는 것인 3D 공간 터치 시스템을 제공한다.According to an aspect of the present invention, the image analyzer binarizes the image information collected by the image recognition unit, selects the highest rectangular area from the binarized image information, and performs elliptic fitting on the highest rectangular area to perform the finger tip portion. To provide a 3D spatial touch system.

본 발명이 다른 일면에 따르면, 상기 영상 분석부는, 기저장된 손가락 끝부분에 대한 영상 정보를 이용하여 평균 영상을 생성하고, 상기 검출된 손가락 끝부분의 영상과 상기 평균 영상과의 매칭도를 분석하여, 상기 매칭도가 임계값 이상이면 손가락 끝부분으로 인식하는 것인 3D 공간 터치 시스템을 제공한다.According to another aspect of the present invention, the image analyzer generates an average image by using image information of a pre-stored fingertip, and analyzes a matching degree between the detected fingertip image and the average image. When the matching degree is greater than or equal to a threshold, the 3D spatial touch system recognizes the fingertip.

본 발명의 또 다른 일면에 따르면, 상기 결과 출력부는 좌표 추적부 및 동작 인식부를 더 포함하고, 상기 좌표 추적부는 상기 손가락 끝부분의 위치 정보에 기초하여 마우스 좌표를 인식하며, 상기 동작 인식부는 상기 손가락 끝부분이 앞뒤로 기설정된 속도 이상으로 이동하는 것을 클릭 동작으로 인식하는 것인 3D 공간 터치 시스템을 제공한다.According to another aspect of the invention, the result output unit further comprises a coordinate tracking unit and a motion recognition unit, the coordinate tracking unit recognizes the mouse coordinates based on the position information of the fingertip, the motion recognition unit the finger It provides a 3D space touch system that recognizes that the end moves back and forth over a predetermined speed as a click action.

한편, 본 발명은, 카메라를 통해 영상 정보를 수집하는 단계; 상기 수집한 영상 정보를 이진화하는 단계; 상기 이진화된 영상 정보에서 최상위 사각 영역을 선택하는 단계; 상기 최상위 사각 영역에서 에지 영상을 추출하고, 상기 에지를 이용하여 타원 적합을 수행하는 단계; 상기 타원 적합 결과에 의하여 산출된 장축과 단축의 길이 및 위치를 이용하여 회전된 타원 적합 사각 영역을 추정하는 단계; 상기 추정된 회전된 타원 적합 사각 영역의 회전각과 영역의 크기를 이용하여 상기 손가락 끝부분을 검출하는 단계; 상기 검출한 손가락 끝부분의 위치 정보 및 면적 정보를 추출하는 단계; 및 상기 손가락 끝부분의 위치 정보 및 면적 정보에 기초하여 상기 손가락의 움직임에 따른 명령 신호를 출력하는 단계를 포함하는 3D 공간 터치 방법으로 이용될 수 있다.
On the other hand, the present invention, collecting the image information through the camera; Binarizing the collected image information; Selecting a highest rectangular area from the binarized image information; Extracting an edge image from the highest rectangular area and performing elliptic fitting using the edge; Estimating the rotated elliptic fitting rectangular region using the length and position of the long axis and the short axis calculated by the elliptic fitting result; Detecting the fingertip by using the estimated rotation angle of the rotated elliptic fitting rectangular region and the size of the region; Extracting location information and area information of the detected fingertip; And outputting a command signal according to the movement of the finger based on the position information and the area information of the finger tip.

본 발명은, 손끝의 면적 특징을 기반으로 동작을 인식하기 때문에 동작 인식 잡음에 강건하고, 적외선 센서 기반 카메라 영상을 이용하기 때문에 RGB 카메라에 비해 인식이 정확하고 조명 변화에 강인한 결과를 출력하며, 동작시 공간상의 터치 기술을 이용하기 때문에 기기의 접촉식 패널에 접촉이 필요없게 한다.The present invention is robust to motion recognition noise because it recognizes motion based on the area feature of the fingertip, and outputs the result that recognition is more accurate and robust to lighting changes than RGB camera because it uses an infrared sensor-based camera image. The use of space-time touch technology eliminates the need for contacting the device's contact panel.

또한, 터치 패널을 직접 터치하지 않기 때문에 손의 오염에 대한 사용자 부담이 없어진다. 그리고, 장비를 직접적으로 터치하지 않고 사용 가능한 공간 터치 기술을 이용하기 때문에, 미세먼지에 취약한 의료관련 수술실 등의 장소에 있는 의료기기 등에 사용이 가능하다.
In addition, since the touch panel is not directly touched, the user burden on hand contamination is eliminated. In addition, since the space touch technology that can be used without directly touching the equipment is used, it can be used for a medical device in a place such as a medical operation room which is vulnerable to fine dust.

도 1은 종래의 공간 터치 시스템을 나타낸 도면.
도 2는 본 발명의 일실시예에 따른 3D 공간 터치 시스템 및 방법이 실시되는 일련의 과정을 나타낸 도면.
도 3은 본 발명의 일실시예에 따른 3D 공간 터치 시스템의 구조를 나타낸 블록도.
도 4 내지 도 6은 본 발명의 일실시예에 따른 3D 공간 터치 시스템이 손가락 끝부분 영역을 검출하는 과정을 나타낸 도면.
도 7은 본 발명의 일실시예에 따른 3D 공간 터치 시스템이 손가락 끝부분의 위치 정보 및 면적 정보를 추출하는 것을 나타낸 도면.
도 8은 본 발명의 일실시예에 따른 3D 공간 터치 시스템이 인식한 사용자 동작에 따라 명령을 수행하는 것을 나타낸 도면.
도 9는 본 발명의 일실시예에 따른 3D 공간 터치 방법의 과정을 나타낸 흐름도.1 illustrates a conventional spatial touch system.
2 is a diagram illustrating a series of processes in which a 3D spatial touch system and method according to an embodiment of the present invention are implemented.
Figure 3 is a block diagram showing the structure of a 3D spatial touch system according to an embodiment of the present invention.
4 to 6 are views illustrating a process of detecting a fingertip region by a 3D spatial touch system according to an embodiment of the present invention.
7 is a diagram illustrating a 3D spatial touch system extracting location information and area information of a fingertip according to an embodiment of the present invention.
8 is a diagram illustrating a command performed according to a user's motion recognized by a 3D spatial touch system according to an exemplary embodiment of the present invention.
9 is a flowchart illustrating a process of a 3D space touch method according to an embodiment of the present invention.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술 되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의된다.BRIEF DESCRIPTION OF THE DRAWINGS The advantages and features of the present invention and the manner of achieving them will become apparent with reference to the embodiments described in detail below with reference to the accompanying drawings. The present invention may, however, be embodied in many different forms and should not be construed as being limited to the embodiments set forth herein. Rather, these embodiments are provided so that this disclosure will be thorough and complete, and will fully convey the scope of the invention to those skilled in the art. Is provided to fully convey the scope of the invention to those skilled in the art, and the invention is defined by the scope of the claims.

한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성소자, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성소자, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다. 이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세히 설명하기로 한다.It is to be understood that the terminology used herein is for the purpose of describing particular embodiments only and is not intended to be limiting of the invention. In the present specification, the singular form includes plural forms unless otherwise specified in the specification. As used herein, the terms " comprises, " and / or "comprising" refer to the presence or absence of one or more other components, steps, operations, and / Or additions. Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 2는 본 발명의 일실시예에 따른 3D 공간 터치 시스템 및 방법이 실시되는 일련의 과정을 나타낸 것이다.2 illustrates a series of processes in which a 3D spatial touch system and method according to an embodiment of the present invention are implemented.

본 발명은 3D 공간상의 사용자 손동작을 인식하고 그에 따른 명령을 수행하는 3D 공간 터치 시스템 및 방법에 관한 것인데, 도 2에 도시된 바와 같이, 사용자가 제스처를 입력하고 카메라 모듈이 사용자의 제스처를 입력받으면, 본 발명에 따른 3D 공간 터치 시스템이 제스처를 인식하고 제스처에 따른 명령을 수행하여 결과를 출력하게 된다.The present invention relates to a 3D space touch system and method for recognizing a user's hand gesture in 3D space and performing a command accordingly. As shown in FIG. 2, when a user inputs a gesture and the camera module receives a user's gesture, In addition, the 3D spatial touch system according to the present invention recognizes a gesture and performs a command according to the gesture to output a result.

도 3은 본 발명의 일실시예에 따른 3D 공간 터치 시스템의 구조를 나타낸 블록도이다.3 is a block diagram showing the structure of a 3D spatial touch system according to an embodiment of the present invention.

본 발명의 일실시예에 따른 3D 공간 터치 시스템(300)은 영상 인식부(301), 영상 분석부(302), 결과 출력부(303) 및 디스플레이부(304)를 포함한다.The 3D spatial touch system 300 according to the exemplary embodiment of the present invention includes an image recognition unit 301, an image analyzer 302, a result output unit 303, and a display unit 304.

사용자는 3D 공간 터치 시스템(300)을 이용하여 장치(예컨대, 모바일 기기) 등을 조작하고자 하는 경우, 3D 공간 터치 시스템(300)에 의하여 사용자의 동작이 인식되는 영역에서 일정한 제스처를 취하게 된다.When the user wants to operate a device (eg, a mobile device) using the 3D space touch system 300, the user takes a certain gesture in an area where the user's motion is recognized by the 3D space touch system 300.

영상 인식부(301)는 사용자가 취하는 동작을 인식한다. 본 발명의 일실시예에 따르면, 영상 인식부(301)는 사용자 명령을 수행하기 위하여 사용자가 주먹을 쥐고 어느 하나의 손가락을 세운 상태에서 기기와 수평을 이루는 방향 또는 수직을 이루는 방향으로 손가락을 이동하는 동작을 인식한다.The image recognition unit 301 recognizes an action taken by the user. According to an embodiment of the present invention, the image recognition unit 301 moves a finger in a direction parallel to the device or in a direction perpendicular to the device in a state in which the user puts a fist and raises one finger to perform a user command. Recognize the action to do.

영상 인식부(301)는 3D 공간 터치 시스템(300)에 포함된 카메라 모듈 등으로 구성될 수 있는데, 카메라 모듈은 적외선 조명 센서로 구성된 적외선 카메라일 수 있다. 적외선 조명 카메라를 이용함으로써 잡음 및 조명 변화에 강건한 영상 정보를 수집할 수 있다.The image recognition unit 301 may be configured as a camera module included in the 3D spatial touch system 300, and the camera module may be an infrared camera composed of an infrared light sensor. By using an infrared illumination camera, image information robust to noise and light changes can be collected.

영상 인식부(301)는 인식한 동작에 대한 영상 정보를 영상 분석부(302)로 전달한다.The image recognizer 301 transmits image information about the recognized operation to the image analyzer 302.

영상 분석부(302)는 영상 인식부(301)로부터 전달받은 영상 정보에서 사용자의 손가락 끝부분의 영역을 검출한다.The image analyzer 302 detects an area of the end of the finger of the user from the image information received from the image recognizer 301.

도 4와 도 5는 영상 분석부(302)가 손가락 끝부분 영역을 검출하는 것을 나타낸 도면이다.4 and 5 are diagrams illustrating that the image analyzer 302 detects a fingertip region.

영상 분석부(302)는 영상 인식부(301)로부터 전달받은 영상에 대해 가우시안 블러링 알고리즘을 이용하여 잡음 제거 전처리를 수행하고 영상을 이진화한다. 이진화된 영상 정보에서 최상위 화소 영역을 선택한다. 최상위 화소로부터 추정된 사각 영역에서 에지 영상을 추출하고, 영역 내 에지들을 이용하여 타원 적합을 수행한다. 타원 적합이 되면 도 5에 도시된 바와 같이, 타원이 손가락 영역에 적합된다.The image analyzer 302 performs noise removal preprocessing on the image received from the image recognizer 301 using a Gaussian blurring algorithm and binarizes the image. The highest pixel area is selected from the binarized image information. An edge image is extracted from the rectangular region estimated from the highest pixel, and elliptic fitting is performed using edges in the region. Once the ellipse fits, as shown in FIG. 5, the ellipse fits the finger region.

타원 적합 결과로 장축과 단축의 길이와 위치가 나오는데 이를 이용하여 회전된 타원 적합 사각 영역을 추정한다. 구해진 회전된 타원 적합 사각 영역의 회전각과 영역의 크기를 이용하여 손끝을 검증한다.The result of the elliptic fitting is the length and position of the major and minor axes, which are used to estimate the rotated elliptic fitting rectangular region. The fingertips are verified using the rotation angle and the size of the area of the obtained elliptic fitting square region.

도 6은 손가락 끝부분을 검증하는 과정을 나타낸 것이다.Figure 6 shows the process of verifying the fingertips.

도 6에 도시된 바와 같이, 사전에 구해진 데이터베이스에 저장되어 있는 손끝 영상들을 이용하여 평균 영상을 생성하고, 입력 영상과 타원 적합 사각 영역을 회전시키고, 크기를 변환한 다음, 히스토그램 평활화 전처리를 수행한다. 최종 수행된 입력 손끝 영상을 데이터베이스에 저장된 평균 영상과 템플릿 매칭 기법을 이용하여 비교하고, 비교 결과 매칭도가 일정 임계값 이상인 경우 손끝으로 인식하고, 임계값 미만인 경우 동작 인식을 수행하지 않는다.As shown in FIG. 6, an average image is generated using fingertip images stored in a previously obtained database, the input image and the elliptic fitting rectangular region are rotated, the size is converted, and the histogram smoothing preprocessing is performed. . The final input fingertip image is compared with the average image stored in the database using a template matching technique, and when the matching result is greater than or equal to a predetermined threshold, the fingertip is recognized, and if it is less than the threshold, motion recognition is not performed.

영상 분석부(302)는 손가락 끝부분의 검출 및 검증이 완료되면, 도 7에 도시된 바와 같이, 손끝의 x, y 위치 특징과 면적 특징 z를 추출한다. z는 손끝의 면적으로 손끝으로부터 일정 크기의 사각 영역을 씌우고 명암값 0과 255로 이진화된 영상의 유효화소(명암값 255)의 개수로 추출한다.When the detection and verification of the fingertip is completed, the image analyzer 302 extracts x, y positional features and area features z of the fingertip, as shown in FIG. 7. z covers a square area of a certain size from the fingertip to the area of the fingertip and extracts the number of valid pixels (contrast value 255) of the image binarized with contrast values 0 and 255.

영상 분석부(302)는 손가락 끝부분의 위치 정보 및 면적 정보를 결과 출력부(303)로 전달한다.The image analyzer 302 transmits the position information and the area information of the fingertip to the result output unit 303.

결과 출력부(303)는 영상 분석부(302)로부터 전달받은 손가락 끝부분의 위치 정보 및 면적 정보에 기초하여, 사용자가 입력하고자 하는 명령을 인식하고 그 명령에 따른 동작을 수행한다.The result output unit 303 recognizes a command to be input by the user based on the positional information and area information of the fingertip received from the image analyzer 302 and performs an operation according to the command.

결과 출력부(303)는 좌표 추적부와 동작 인식부로 구성될 수 있다.The result output unit 303 may include a coordinate tracking unit and a motion recognition unit.

좌표 추적부는 영상 분석부(302)로부터 입력받은 손가락 끝부분의 위치 정보, 즉 x, y 좌표를 이용하여 마우스의 좌표를 이동한다(도 8(a)). The coordinate tracker moves the coordinates of the mouse by using the position information of the fingertip input from the image analyzer 302, that is, the x and y coordinates (FIG. 8A).

동작 인식부는 사용자가 손가락을 앞뒤로 빠른 변화가 느껴지도록 이동을 하는 경우 인식되는 고주파 성분을 분석하여, 고주파 성분이 임계값을 초과하면 마우스 클릭 동작을 수행한다(도 8(b)).The motion recognition unit analyzes the recognized high frequency component when the user moves the finger back and forth to feel a quick change, and performs a mouse click operation when the high frequency component exceeds a threshold (FIG. 8 (b)).

결과 출력부(303)에 의하여 마우스 동작이 수행되면 그 결과는 디스플레이부(304) 등을 통해 사용자에게 보여지게 되고, 사용자는 계속해서 손가락 공간 터치를 통해 기기를 조작할 수 있게 된다.When the mouse operation is performed by the result output unit 303, the result is displayed to the user through the display unit 304, etc., and the user can continue to operate the device through the finger space touch.

도 9는 본 발명의 일실시예에 따른 3D 공간 터치 방법의 과정을 나타낸 흐름도이다.9 is a flowchart illustrating a process of a 3D space touch method according to an embodiment of the present invention.

3D 공간 터치 시스템은 카메라 모듈 등을 통해 사용자의 동작을 인식하고(S900), 인식한 영상으로부터 사용자의 손가락 끝부분 영역을 검출한다(S910).The 3D spatial touch system recognizes the user's motion through the camera module (S900) and detects the user's finger region from the recognized image (S910).

손가락 끝부분의 영역을 검출하는 과정은 손가락 끝부분의 영역을 추정하는 과정과 검증하는 과정으로 구성된다.The process of detecting the region of the fingertip is composed of the process of estimating and verifying the region of the fingertip.

3D 공간 터치 시스템은 입력받은 영상을 가우시안 블러링 알고리즘을 이용하여 잡음 제거 전처리를 수행하고 영상을 이진화한다. 이진화된 영상 정보에서 최상위 화소 영역을 선택하고, 최상위 화소로부터 추정된 사각 영역에서 에지 영상을 추출한다. 그리고, 영역 내 에지들을 이용하여 타원 적합을 수행한다. 타원 적합 결과로 장축과 단축의 길이와 위치가 나오는데 이를 이용하여 회전된 타원 적합 사각 영역을 추정한다.The 3D spatial touch system performs noise reduction preprocessing on a received image using a Gaussian blurring algorithm and binarizes the image. A top pixel region is selected from the binarized image information, and an edge image is extracted from a rectangular region estimated from the top pixel. Then, elliptic fit is performed using the edges in the region. The result of the elliptic fitting is the length and position of the major and minor axes, which are used to estimate the rotated elliptic fitting rectangular region.

구해진 회전된 타원 적합 사각 영역의 회전각과 영역을 크기를 이용하여 손가락 끝부분을 검증한다.The fingertips are verified using the size and the angle of rotation of the obtained elliptic fitting rectangular region.

검증 과정은, 사전에 구해진 데이터베이스에 저장된 손끝 영상들을 이용하여 평균 영상을 생성하고, 입력 영상과 타원 적합 사각 영역을 회전시키고 크기를 변환한 후 히스토그램 평활화 전처리를 수행한다. 최종 수행된 입력 손끝 영상과 데이터베이스에 저장된 평균 영상 사이의 매칭도를 템플릿 매칭 기법을 이용하여 분석한다. 분석 결과, 매칭도가 일정 임계값 이상인 경우 손끝으로 인정하고, 임계값 미만인 경우에는 동작 인식을 수행하지 않는다.In the verification process, an average image is generated by using finger images stored in a previously obtained database, and the histogram smoothing preprocessing is performed after rotating and transforming an input image and an elliptic fitting rectangular region. The matching degree between the last input fingertip image and the average image stored in the database is analyzed using a template matching technique. As a result of the analysis, when the matching degree is greater than or equal to a predetermined threshold, the finger is recognized. If the matching degree is less than the threshold, motion recognition is not performed.

3D 공간 터치 시스템은 손가락 끝부분에 대한 검증을 완료하면, 손끝 부분의 좌표와 면적을 추출하고, 손끝의 좌표를 추적하여(S920) 그 좌표에 따라 마우스 좌표를 이동한다(S930). 그리고, 주파수 분석을 통해 손끝 부분이 앞뒤로 빠르게 이동할 때 발생하는 고주파 성분을 인식한 경우(S940), 고주파 성분이 임계값 이상이면 마우스 클릭을 수행한다(S950).When the 3D space touch system completes verification of the fingertips, the coordinates and the area of the fingertips are extracted, the coordinates of the fingertips are tracked (S920), and the mouse coordinates are moved according to the coordinates (S930). Then, when the high frequency component generated when the fingertips move back and forth quickly through the frequency analysis (S940), if the high frequency component is greater than or equal to the threshold value (S950).

이상의 설명은 본 발명의 기술적 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면, 본 발명의 본질적 특성을 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능하다. 따라서, 본 발명에 표현된 실시예들은 본 발명의 기술적 사상을 한정하는 것이 아니라, 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 권리범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 특허청구범위에 의하여 해석되어야 하고, 그와 동등하거나, 균등한 범위 내에 있는 모든 기술적 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
The foregoing description is merely illustrative of the technical idea of the present invention and various changes and modifications may be made without departing from the essential characteristics of the present invention. Therefore, the embodiments described in the present invention are not intended to limit the scope of the present invention, but are intended to be illustrative, and the scope of the present invention is not limited by these embodiments. It is intended that the present invention cover the modifications and variations of this invention provided they come within the scope of the appended claims and their equivalents, which fall within the scope of the present invention as claimed.

300 : 3D 공간 터치 시스템
301 : 영상 인식부
302 : 영상 분석부
303 : 결과 출력부
304 : 디스플레이부300: 3D space touch system
301: image recognition unit
302: image analysis unit
303: result output unit
304:

Claims (11)

카메라를 통해 촬영되는 영상 정보를 수집하는 영상 인식부;
상기 영상 인식부가 수집한 상기 영상 정보로부터 손가락 끝부분을 검출하고, 상기 손가락 끝부분의 위치 정보 및 면적 정보를 추출하는 영상 분석부; 및
상기 영상 분석부가 추출한 상기 손가락 끝부분의 위치 정보 및 면적 정보에 기초하여, 상기 손가락의 움직임에 따른 명령 신호를 출력하는 결과 출력부를 포함하되,
상기 영상 분석부는
상기 영상 인식부가 수집한 영상 정보를 이진화하고, 이진화된 영상 정보에서 최상위 사각 영역을 선택한 후, 상기 최상위 사각 영역에서 타원 적합을 수행하여 상기 손가락 끝부분을 검출하는 것
인 3D 공간 터치 시스템.
An image recognition unit collecting image information photographed through a camera;
An image analyzer detecting a fingertip from the image information collected by the image recognition unit, and extracting location information and area information of the fingertip; And
And a result output unit configured to output a command signal according to the movement of the finger based on the location information and the area information of the fingertip extracted by the image analyzer.
The image analyzing unit
Binarizing the image information collected by the image recognition unit, selecting a highest rectangular region from the binarized image information, and performing elliptic fitting on the highest rectangular region to detect the fingertips
3D space touch system.
삭제delete 제1항에 있어서, 상기 영상 분석부는
기저장된 손가락 끝부분에 대한 영상 정보를 이용하여 평균 영상을 생성하고, 상기 검출된 손가락 끝부분의 영상과 상기 평균 영상과의 매칭도를 분석하여, 상기 매칭도가 임계값 이상이면 손가락 끝부분으로 인식하는 것
인 3D 공간 터치 시스템.
The method of claim 1, wherein the image analyzer
An average image is generated by using the stored image information of the fingertip, and the matching degree between the detected fingertip image and the average image is analyzed. Recognition
3D space touch system.
제1항에 있어서, 상기 결과 출력부는
상기 손가락 끝부분의 위치 정보에 기초하여, 마우스 좌표의 이동 명령 신호를 출력하는 것
인 3D 공간 터치 시스템.
The method of claim 1, wherein the result output unit
Outputting a movement command signal of mouse coordinates based on the positional information of the fingertip;
3D space touch system.
제1항에 있어서, 상기 결과 출력부는
상기 손가락 끝부분이 앞뒤로 기설정된 속도 이상으로 이동하는 것이 인식되면, 마우스 클릭 명령 신호를 출력하는 것
인 3D 공간 터치 시스템.
The method of claim 1, wherein the result output unit
Outputting a mouse click command signal when it is recognized that the fingertip moves back and forth over a preset speed
3D space touch system.
제1항에 있어서, 상기 결과 출력부는
좌표 추적부를 더 포함하고,
상기 좌표 추적부는 상기 손가락 끝부분의 위치 정보에 기초하여 마우스 좌표를 인식하는 것
인 3D 공간 터치 시스템.
The method of claim 1, wherein the result output unit
Further includes a coordinate tracker,
The coordinate tracking unit recognizes the mouse coordinates based on the position information of the tip of the finger
3D space touch system.
제1항에 있어서, 상기 결과 출력부는
동작 인식부를 더 포함하고,
상기 동작 인식부는 상기 손가락 끝부분이 앞뒤로 기설정된 속도 이상으로 이동하는 것을 클릭 동작으로 인식하는 것
인 3D 공간 터치 시스템.
The method of claim 1, wherein the result output unit
Further comprising a gesture recognition unit,
The gesture recognition unit recognizes that the finger tip is moved back and forth over a predetermined speed as a click gesture.
3D space touch system.
3D 공간 터치 시스템이 카메라를 통해 영상 정보를 수집하는 단계;
상기 수집한 영상 정보에서 손가락 끝부분을 검출하는 단계;
상기 검출한 손가락 끝부분의 위치 정보 및 면적 정보를 추출하는 단계; 및
상기 손가락 끝부분의 위치 정보 및 면적 정보에 기초하여, 상기 손가락의 움직임에 따른 명령 신호를 출력하는 단계를 포함하되,
상기 손가락 끝부분을 검출하는 단계는
상기 수집한 영상 정보를 이진화하는 단계;
상기 이진화된 영상 정보에서 최상위 사각 영역을 선택하는 단계;
상기 최상위 사각 영역에서 에지 영상을 추출하고, 상기 에지를 이용하여 타원 적합을 수행하는 단계; 및
상기 타원 적합 결과에 기초하여, 상기 손가락 끝부분을 검출하는 단계를 포함하는 것
인 3D 공간 터치 방법.
A 3D spatial touch system collecting image information through a camera;
Detecting a fingertip from the collected image information;
Extracting location information and area information of the detected fingertip; And
And outputting a command signal according to the movement of the finger based on the position information and the area information of the fingertip.
Detecting the fingertips
Binarizing the collected image information;
Selecting a highest rectangular area from the binarized image information;
Extracting an edge image from the highest rectangular area and performing elliptic fitting using the edge; And
Detecting the fingertip based on the elliptic fit result.
3D space touch way.
삭제delete 제8항에 있어서, 상기 타원 적합 결과에 기초하여 상기 손가락 끝부분을 검출하는 단계는
상기 타원 적합 결과에 의하여 산출된 장축과 단축의 길이 및 위치를 이용하여, 회전된 타원 적합 사각 영역을 추정하는 단계; 및
상기 추정된 회전된 타원 적합 사각 영역의 회전각과 영역의 크기를 이용하여, 상기 손가락 끝부분을 검출하는 단계를 포함하는 것
인 3D 공간 터치 방법.
The method of claim 8, wherein the detecting of the fingertip based on the elliptic fitting result is performed.
Estimating the rotated elliptic fitting rectangular region using the length and position of the long axis and the short axis calculated by the elliptic fitting result; And
Detecting the fingertip by using the estimated rotation angle of the rotated elliptic fitting rectangular region and the size of the region.
3D space touch way.
제8항에 있어서, 상기 손가락의 움직임에 따른 명령 신호를 출력하는 단계는
상기 손가락의 끝부분의 위치 정보에 기초하여 마우스의 좌표 이동 명령 신호를 출력하고, 상기 손가락 끝부분이 앞뒤로 이동하는 것이 인식되면 마우스 클릭 명령 신호를 출력하는 것
인 3D 공간 터치 방법.
The method of claim 8, wherein the outputting the command signal according to the movement of the finger comprises:
Outputting a coordinate movement command signal of the mouse based on the positional information of the tip of the finger, and outputting a mouse click command signal when it is recognized that the tip of the finger moves back and forth
3D space touch way.
KR1020130010643A 2013-01-30 2013-01-30 3d space touch system and method KR101386655B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130010643A KR101386655B1 (en) 2013-01-30 2013-01-30 3d space touch system and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130010643A KR101386655B1 (en) 2013-01-30 2013-01-30 3d space touch system and method

Publications (1)

Publication Number Publication Date
KR101386655B1 true KR101386655B1 (en) 2014-04-17

Family

ID=50658060

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130010643A KR101386655B1 (en) 2013-01-30 2013-01-30 3d space touch system and method

Country Status (1)

Country Link
KR (1) KR101386655B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101869507B1 (en) 2016-12-22 2018-06-20 동의대학교 산학협력단 Method of Real-time Virtual Touch Recognition system for Embedded Environment and system For Real-time Virtual Touch Recognition Using This Method

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080029730A (en) * 2006-09-29 2008-04-03 김철우 Method and apparatus for user-interface using the hand trace
KR20100066330A (en) * 2008-12-09 2010-06-17 오충록 Method and device for processing input data using photographed image
KR20110105671A (en) * 2010-03-19 2011-09-27 김은주 System for controling non-contact screen and method for controling non-contact screen in the system
KR20130010837A (en) * 2011-07-19 2013-01-29 삼성전자주식회사 Apparatas and method of inputting selected symbol for detecting input gesture in a electronic device

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080029730A (en) * 2006-09-29 2008-04-03 김철우 Method and apparatus for user-interface using the hand trace
KR20100066330A (en) * 2008-12-09 2010-06-17 오충록 Method and device for processing input data using photographed image
KR20110105671A (en) * 2010-03-19 2011-09-27 김은주 System for controling non-contact screen and method for controling non-contact screen in the system
KR20130010837A (en) * 2011-07-19 2013-01-29 삼성전자주식회사 Apparatas and method of inputting selected symbol for detecting input gesture in a electronic device

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101869507B1 (en) 2016-12-22 2018-06-20 동의대학교 산학협력단 Method of Real-time Virtual Touch Recognition system for Embedded Environment and system For Real-time Virtual Touch Recognition Using This Method

Similar Documents

Publication Publication Date Title
EP2839357B1 (en) Rapid gesture re-engagement
KR101761050B1 (en) Human-to-computer natural three-dimensional hand gesture based navigation method
US20110158476A1 (en) Robot and method for recognizing human faces and gestures thereof
US20120062736A1 (en) Hand and indicating-point positioning method and hand gesture determining method used in human-computer interaction system
US8897490B2 (en) Vision-based user interface and related method
US20110115892A1 (en) Real-time embedded visible spectrum light vision-based human finger detection and tracking method
US20130279756A1 (en) Computer vision based hand identification
US10366281B2 (en) Gesture identification with natural images
US20130266174A1 (en) System and method for enhanced object tracking
KR101631011B1 (en) Gesture recognition apparatus and control method of gesture recognition apparatus
KR102347248B1 (en) Method and apparatus for recognizing touch gesture
WO2014126711A1 (en) Model-based multi-hypothesis target tracker
CN111475059A (en) Gesture detection based on proximity sensor and image sensor
US10013070B2 (en) System and method for recognizing hand gesture
CN114138121B (en) User gesture recognition method, device and system, storage medium and computing equipment
Ukita et al. Wearable virtual tablet: fingertip drawing on a portable plane-object using an active-infrared camera
KR101386655B1 (en) 3d space touch system and method
KR20190069023A (en) Method of Providing Touchless Input Interface Based on Hand Recognition and The Apparatus Applied Thereto
Maidi et al. Interactive media control using natural interaction-based Kinect
Wong et al. Virtual touchpad: Hand gesture recognition for smartphone with depth camera
KR20160025823A (en) System and method for detecting hand region based on depth image
Ukita et al. Wearable Virtual Tablet: Fingertip Drawing Interface Using an Active-Infrared Camera.
Agrawal et al. Hand Gesture Recognition and Interaction
Hsieh et al. Robust visual mouse by motion history image
Dandotiya et al. Computer Vision Based Mouse With Color Detection Technique

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180406

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190313

Year of fee payment: 6