KR101491413B1 - Method for generating 3d coordinate using finger image from mono camera in terminal and mobile terminal for generating 3d coordinate using finger image from mono camera - Google Patents
Method for generating 3d coordinate using finger image from mono camera in terminal and mobile terminal for generating 3d coordinate using finger image from mono camera Download PDFInfo
- Publication number
- KR101491413B1 KR101491413B1 KR20140063397A KR20140063397A KR101491413B1 KR 101491413 B1 KR101491413 B1 KR 101491413B1 KR 20140063397 A KR20140063397 A KR 20140063397A KR 20140063397 A KR20140063397 A KR 20140063397A KR 101491413 B1 KR101491413 B1 KR 101491413B1
- Authority
- KR
- South Korea
- Prior art keywords
- finger
- image
- region
- dimensional coordinate
- fingertip
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/155—Segmentation; Edge detection involving morphological operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20036—Morphological image processing
- G06T2207/20041—Distance transform
Abstract
본 발명에 따른 이동 단말기의 모노 카메라에 입력된 손가락 영상을 이용한 3차원 좌표 생성 방법은 (a) 이동 단말기의 모노 카메라가 손가락 영역을 포함하는 타겟 영상을 획득하는 단계, (b) 이동 단말기의 프로세서가 영상 처리 기술을 이용하여 타겟 영상에서 손가락 영역을 검출하는 단계, (c) 이동 단말기의 프로세서가 손가락 영역에서 아다부스트 알고리즘을 이용하여 손가락 끝(fingertip) 영역을 검출하는 단계 및 (d) 이동 단말기의 프로세서가 손가락 끝 영역을 이용하여 3차원 좌표값을 연산하는 단계를 포함한다.A method of generating three-dimensional coordinates using a finger image input to a mono camera of a mobile terminal according to the present invention includes the steps of: (a) acquiring a target image including a finger area by a mono camera of the mobile terminal; (b) (C) detecting a fingertip region in the finger region using the Adaboost algorithm in the processor of the mobile terminal, and (d) And the processor of the processor 3 calculates the three-dimensional coordinate value using the fingertip region.
Description
본 발명은 이동 단말과 같은 장치에서 하나의 후면부 카메라를 사용하여 3차원 좌표를 생성하는 방법 내지 이 방법을 사용하는 이동 단말에 관한 것이다.The present invention relates to a method for generating three-dimensional coordinates using a single rear-view camera in a device such as a mobile terminal and a mobile terminal using the method.
최근 공학 기술의 급속한 발전과 하드웨어의 우수한 성능으로 인해 컴퓨터가 인간의 일상생활에 차지하는 역할이 더욱 부각되고 있다. 인터넷 검색, 보고서 및 전자 메일의 작성, 게임 등과 같이 매우 다양한 형태로 편리성을 제공하는 컴퓨터가 대중화되었고, 이로 인해 인간과 컴퓨터 사이의 의사소통을 하기 위한 보다 효과적인 인터페이스의 개발과 연구가 활발히 진행되고 있다.Recently, due to the rapid development of engineering technology and the excellent performance of the hardware, the role of the computer in daily life of the human is getting more and more remarkable. Computers that provide convenience in a wide variety of forms, such as Internet search, report and e-mail writing, games, etc., have been popularized. As a result, more effective interfaces have been developed and studied for communication between humans and computers have.
현재 3차원 공간을 제어하는 장비로는 데이터 글러브, 3D 마우스, 적외선 센서를 이용하는 3D 입력장치 등이 있다. 게임 산업의 발전은 새로운 형태의 인터페이스를 요구하게 되었고, 이로 인해 3D 인터페이스 분야도 크게 발전하는 계기가 되었다.Currently, there are data gloves, 3D mice, and 3D input devices that use infrared sensors. The development of the game industry has required a new type of interface, which has led to the development of the 3D interface field.
한편 작은 컴퓨터 장치라고 할 수 있는 스마트폰과 같은 이동 단말 기기의 출현에 따라 이동 단말 기기에서도 다양한 인터페이스 수단이 연구되고 있다.On the other hand, according to the emergence of mobile terminal devices such as smart phones, which can be called small computer devices, various interface means have been studied in mobile terminal devices.
3차원 개념을 도입하기 위해 카메라를 이용한 영상 내의 분석을 통해 3차원 정보를 추정해 내는 연구가 활발히 진행되고 있다. 연구되고 있는 기술은 일반적으로 마커, 데이터 글러브, 스페이스 볼, 스테레오 카메라 등의 물리적 장치를 별도로 이용한다([1] F. Zhou, H. B. Duh, and M. Billinghurst,"Trends in augmented reality tracking, interaction and display: A review of ten years of ISMAR," IEEE/ACM International Symposium on Mixed and Augmented Reality, pp.193-202, 2008., [2] M. Fiala, "ARTag, a fiducial marker system using digital techniques," IEEE Computer Society Conference on Computer Vision and Pattern Recognition(CVPR'05), Vol.2, pp.590-596, 2005. 등 참조).In order to introduce the three - dimensional concept, researches for estimating three - dimensional information through analysis of images using a camera are actively conducted. The technology being studied generally uses separate physical devices such as markers, data gloves, space balls, and stereo cameras ([1] F. Zhou, HB Duh, and M. Billinghurst, "Trends in augmented reality tracking, interaction and display : A review of ten years of ISMAR, "IEEE / ACM International Symposium on Mixed and Augmented Reality, pp.193-202, 2008. [2] M. Fiala," ARTag, a fiducial marker system using digital techniques, IEEE Computer Vision and Pattern Recognition (CVPR'05), Vol. 2, pp. 590-596, 2005, etc.).
종래의 3차원의 정보를 얻기 위한 연구는 마커와 같은 장치를 사용하여 인식률과 구현의 용이성을 높이는 연구가 진행되었지만 항상 영상 내에 마커가 존재해야 하는 근본적이 단점이 존재하고, 데이터 글러브 및 스페이스 볼 등을 이용하기 위해서 추가적인 비용이 발생하는 문제점이 있다.In order to obtain the information of the conventional three-dimensional information, studies have been carried out to increase the recognition rate and ease of implementation by using a device such as a marker, but there is a fundamental disadvantage that a marker must always exist in the image, and data glove, There is a problem that an additional cost is incurred in order to use the apparatus.
본 발명은 이동 단말에 기본적으로 내장되어 있는 후면부 모노 카메라를 이용하여 3차원 좌표값을 생성하는 방법을 제공하고자 한다.The present invention provides a method of generating a three-dimensional coordinate value using a rear mono camera built in a mobile terminal.
본 발명은 후면부 모노 카메라에 촬영되는 손가락 영상을 이용하여 3차원 좌표값을 생성하는 방법을 제공하고자 한다.The present invention provides a method for generating a three-dimensional coordinate value using a finger image photographed by a rear mono camera.
본 발명은 후면부 모노 카메라를 이용하여 생성되는 3차원 좌표값을 이동 단말 또는 이동 단말에서 실행되는 애플리케이션의 인터페이스 입력 수단으로 삼고자 한다.The present invention attempts to use the three-dimensional coordinate value generated by the rear mono camera as an interface input means of an application executed in a mobile terminal or a mobile terminal.
본 발명의 해결과제는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 해결과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The solution of the present invention is not limited to those mentioned above, and other solutions not mentioned can be clearly understood by those skilled in the art from the following description.
상기 과제를 해결하기 위하여 이하 기술하는 단말기의 모노 카메라에 입력된 손가락 영상을 이용한 3차원 좌표 생성 방법은 (a) 단말기의 모노 카메라가 손가락 영역을 포함하는 타겟 영상을 획득하는 단계, (b) 단말기의 프로세서가 영상 처리 기술을 이용하여 타겟 영상에서 손가락 영역을 검출하는 단계, (c) 단말기의 프로세서가 손가락 영역에서 아다부스트 알고리즘을 이용하여 손가락 끝 영역을 검출하는 단계 및 (d) 단말기의 프로세서가 손가락 끝 영역을 이용하여 3차원 좌표값을 연산하는 단계를 포함한다.In order to solve the above-described problems, a method of generating three-dimensional coordinates using a finger image input to a mono camera of a terminal described below includes the steps of: (a) acquiring a target image including a finger area by a mono camera of the terminal; (C) a processor of the terminal detects a fingertip region using an adaboost algorithm in a finger region, and (d) the processor of the terminal detects the fingertip region using the image processing technique, And calculating a three-dimensional coordinate value using the fingertip area.
(b) 단계는 (ba) RGB 그레디언트 정보를 이용하여 타겟 영상에서 모폴로지컬 그레디언트 이미지를 검출하는 단계, (bb) YCbCr 컬러 정보를 이용하여 타겟 영상에서 배경을 제거한 손가락 이미지를 검출하는 단계 및 (bc) 모폴로지컬 그레디언트 이미지와 손가락 이미지를 결합하여 손가락 영역을 검출하는 단계를 포함한다.(b) comprises detecting a finger image to remove background from the target image using the steps, (bb) YC b C r color information for detecting Morphological gradient image from the target image using the (ba) RGB gradient information And (bc) combining the finger image with the morphological gradient image to detect the finger region.
(ba) 단계는 R, G 및 B 각각의 채널에서 모폴로지컬 그레디언트의 최대값 픽셀만을 결합하여 수행된다. (ba) step is performed by combining only the maximum value pixels of the morphological gradient in each of the R, G, and B channels.
(bb) 단계는 타겟 영상을 RGB 컬러 모델에서 YCbCr 컬러로 변환하는 단계, 타겟 영상에 피부색의 임계치를 적용하는 단계 및 침식 및 팽창 연산을 이용하여 노이즈를 제거하는 단계를 포함한다.(bb) step includes the step of using the stage and erosion and expansion operations of applying the threshold value of the skin color in the step, the target image to transform the target image from the RGB color model to a YC b C r color noise is removed.
(d) 단계는 손가락 끝 영역의 시작점 x좌표(Finger Region.x), 손가락 끝 영역의 시작점 y 좌표값(Finger Region.y), 가락 끝 영역의 너비(Finger Width), 손가락 끝 영역의 높이(Finger Height)를 이용하여 3차원 좌표값을 연산한다.The step (d) includes the steps of: determining a starting point x coordinate (Finger Region.x) of the fingertip region, a starting point y coordinate value (Finger Region.y) of the fingertip region, a finger width (Finger Width) Finger Height) to calculate the three-dimensional coordinate value.
이하 기술하는 모노 카메라에 입력된 손가락 영상을 이용하여 3차원 좌표를 생성하는 이동 단말기는 손가락 영역을 포함하는 타겟 영상을 획득하는 모노 카메라, 영상 처리 기술을 이용하여 타겟 영상에서 손가락 영역을 검출하는 손가락 영역 검출 모듈, 손가락 영역에서 아다부스트 알고리즘을 이용하여 손가락 끝 영역을 검출하는 손가락 끝 영역 검출 모듈 및 손가락 끝 영역을 이용하여 3차원 좌표값을 연산하는 3 차원 좌표 연산 모듈을 포함한다.A mobile terminal that generates three-dimensional coordinates using a finger image input to a mono camera described below includes a monochrome camera that acquires a target image including a finger region, a finger that detects a finger region in the target image using an image processing technique, An area detection module, a fingertip area detection module for detecting the fingertip area using the adabust algorithm in the finger area, and a three-dimensional coordinate calculation module for calculating the three-dimensional coordinate value using the fingertip area.
손가락 영역 검출 모듈은 RGB 그레디언트 정보를 이용하여 타겟 영상에서 모폴로지컬 그레디언트 이미지를 검출하고, YCbCr 컬러 정보를 이용하여 타겟 영상에서 배경을 제거한 손가락 이미지를 검출하고, 모폴로지컬 그레디언트 이미지와 손가락 이미지를 결합하여 손가락 영역을 검출한다.Finger domain detection module using the RGB gradient information detecting Morphological gradient image from the target image, by using the YC b C r color information detecting the finger image to remove background from the target image, and Morphological gradient image and a finger image To detect a finger region.
손가락 영역 검출 모듈은 R, G 및 B 각각의 채널에서 모폴로지컬 그레디언트의 최대값 픽셀만을 결합하여 모폴로지컬 그레디언트 이미지를 검출한다.The finger area detection module detects the morphological gradient image by combining only the maximum value pixels of the morphological gradient in each channel of R, G, and B.
손가락 영역 검출 모듈은 타겟 영상을 RGB 컬러 모델에서 YCbCr 컬러로 변환하고, 타겟 영상에 피부색의 임계치를 적용하고, 침식 및 팽창 연산을 통해 노이즈를 제거하여 손가락 이미지를 검출한다.The finger area detection module detects the finger image by converting the target image from the RGB color model to the YC b C r color, applying the threshold value of the skin color to the target image, and removing the noise by erosion and expansion calculation.
3 차원 좌표 연산 모듈은 손가락 끝 영역의 시작점 x좌표(Finger Region.x), 손가락 끝 영역의 시작점 y 좌표값(Finger Region.y), 손가락 끝 영역의 너비(Finger Width), 손가락 끝 영역의 높이(Finger Height)를 이용하여 3차원 좌표값을 연산한다.The three-dimensional coordinate calculation module calculates the coordinates of the starting point x of the fingertip region (Finger Region.x), the starting point y coordinate value of the fingertip region (Finger Region.y), the width of the fingertip region (Finger Width) (Finger Height) is used to calculate the three-dimensional coordinate value.
이하 기술하는 모노 카메라에 입력된 손가락 영상을 이용하여 3차원 좌표를 생성하는 이동 단말기의 다른 실시예는 손가락 영역을 포함하는 타겟 영상을 획득하는 모노 카메라, 영상 처리 기술을 이용하여 타겟 영상에서 손가락 영역을 검출하는 손가락 영역 검출 코드, 손가락 영역에서 아다부스트 알고리즘을 이용하여 손가락 끝 영역을 검출하는 손가락 끝 영역 검출 코드 및 손가락 끝 영역을 이용하여 3차원 좌표값을 연산하는 3 차원 좌표 연산 코드가 저장된 메모리 및 메모리에 저장된 손가락 영역 검출 코드를 실행하여 모노 카메라에서 획득하는 타겟 영상에서 손가락 영역을 검출하고, 메모리에 저장된 손가락 영역 검출 코드를 실행하여 손가락 영역에서 손가락 끝 영역을 검출하고, 메모리에 저장된 3 차원 좌표 연산 코드를 실행하여 3차원 좌표값을 연산하는 프로세서를 포함한다.Another embodiment of a mobile terminal that generates three-dimensional coordinates using a finger image input to a mono camera described below includes a monochrome camera that acquires a target image including a finger region, A fingertip area detection code for detecting a fingertip area using an adabust algorithm in a finger area, and a memory for storing a three-dimensional coordinate operation code for calculating a three-dimensional coordinate value using the fingertip area, And a finger area detection code stored in the memory to detect a finger area in a target image acquired by the mono camera, execute a finger area detection code stored in the memory to detect a fingertip area in the finger area, By executing the coordinate math code, And a processor for calculating the ticket.
손가락 영역 검출 코드가 실행되는 프로세서는 손가락 영역 검출 코드를 실행하여 RGB 그레디언트 정보를 이용하여 타겟 영상에서 모폴로지컬 그레디언트 이미지를 검출하고, YCbCr 컬러 정보를 이용하여 타겟 영상에서 배경을 제거한 손가락 이미지를 검출하고, 모폴로지컬 그레디언트 이미지와 손가락 이미지를 결합하여 손가락 영역을 검출한다.Processor finger area detecting code is executed, the finger region running detection code by using the RGB gradient information and detecting Morphological gradient image from the target image, YC b C r finger image by using the color information to remove background from the target image And detects the finger region by combining the morphological gradient image and the finger image.
3 차원 좌표 연산 코드가 실행되는 프로세서는 손가락 끝 영역의 시작점 x좌표(Finger Region.x), 손가락 끝 영역의 시작점 y 좌표값(Finger Region.y), 손가락 끝 영역의 너비(Finger Width), 손가락 끝 영역의 높이(Finger Height)를 이용하여 3차원 좌표값을 연산한다.The processor in which the three-dimensional coordinate math code is executed includes a starting point x coordinate (Finger Region.x) of the fingertip region, a y coordinate value (Finger Region.y) of the starting point of the fingertip region, a finger width of the fingertip region, The three-dimensional coordinate value is calculated using the height of the end area (Finger Height).
프로세서는 손가락 끝 영역의 시작점 x 좌표를 이용하여 3차원 좌표값 중 x 좌표값을 연산하고, 손가락 끝 영역의 시작점 y 좌표를 이용하여 3차원 좌표값 중 y 좌표값을 연산하며, 손가락 끝 영역의 너비, 높이 또는 면적 중 어느 하나 이상의 변경을 기준으로 모노 카메라와 손가락의 거리를 연산하여 3차원 좌표값 중 z 좌표값을 설정한다.The processor computes the x coordinate value of the three-dimensional coordinate value using the starting point x coordinate of the fingertip area, calculates the y coordinate value of the three-dimensional coordinate value using the y coordinate of the starting point of the fingertip area, The distance between the monocamera and the finger is calculated based on the change in width, height, or area, and the z coordinate value among the three-dimensional coordinate values is set.
본 발명에 따른 이동 단말에서의 3차원 좌표 생성 방법은 별도의 장비 없이 이동 단말에 내장된 후면부 모노 카메라를 이용하여 단말을 파지한 해당 손의 검지 손가락 움직임을 통하여 3차원 인터페이스 수단을 제공한다. 본 발명은 사용자에게 다양한 3D 콘텐츠를 이용하게 할 수 있고, 개발자에게 3차원 공간 안의 객체를 효과적으로 제어하는 인터페이스 제공할 수 있다. 나아가 이동 단말뿐만 아니라 카메라를 장착한 다양한 기기에도 응용이 가능하다. 예컨대, 게임기의 컨트롤러에도 적용이 가능하다.The method of generating three-dimensional coordinates in a mobile terminal according to the present invention provides a three-dimensional interface means through a finger movement of a corresponding hand holding a terminal using a rear mono camera built in a mobile terminal without any additional equipment. The present invention enables a user to use various 3D contents and provides an interface for effectively controlling an object in a three-dimensional space to a developer. Further, the present invention can be applied not only to a mobile terminal but also to various devices equipped with a camera. For example, it can be applied to a controller of a game machine.
본 발명의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The effects of the present invention are not limited to those mentioned above, and other effects not mentioned can be clearly understood by those skilled in the art from the following description.
도 1은 본 발명의 일 예에 따른 이동 단말기의 후면부 모노 카메라에 입력된 손가락 영상을 이용한 3차원 좌표 생성 방법의 개략적인 순서도이다.
도 2는 본 발명에서 손가락 영역을 검출하는 과정을 구체적으로 도시한 순서도이다.
도 3은 손가락 끝 영역을 검출하는 아다부스트 알고리즘의 분류기를 생성하기 위하여 사용하는 Positive 이미지와 Negative 이미지의 예이다.
도 4는 아다부스트 알고리즘을 사용하여 검출된 손가락 끝 영역을 도시하는 화면이다.
도 5는 3차원 좌표를 생성하기 위하여 이용하는 손가락 끝 영역의 변수를 도시한다.
도 6은 본 발명의 다른 일 예에 따른 후면부 모노 카메라에 입력된 손가락 영상을 이용하여 3차원 좌표를 생성하는 이동 단말기의 구성을 개략적으로 도시한 블록도이다.
도 7은 본 발명의 또 다른 일 예에 따른 모노 카메라에 입력된 손가락 영상을 이용하여 3차원 좌표를 생성하는 이동 단말기의 구성을 개략적으로 도시한 블록도이다.
도 8은 본 발명의 3차원 좌표 생성 방법 또는 3차원 좌표를 생성하는 이동 단말기를 통해 제어되는 3D 객체 및 화면을 도시한 예이다.FIG. 1 is a schematic flowchart of a three-dimensional coordinate generation method using a finger image input to a rear mono camera of a mobile terminal according to an exemplary embodiment of the present invention.
2 is a flowchart specifically illustrating a process of detecting a finger region in the present invention.
FIG. 3 is an example of a positive image and a negative image used for generating a classifier of an Adaboost algorithm for detecting a fingertip region.
4 is a screen showing a fingertip region detected using the Adaboost algorithm.
FIG. 5 shows a variable of a fingertip area used for generating three-dimensional coordinates.
6 is a block diagram schematically illustrating a configuration of a mobile terminal for generating three-dimensional coordinates using a finger image input to a back side mono camera according to another example of the present invention.
7 is a block diagram schematically illustrating a configuration of a mobile terminal for generating three-dimensional coordinates using a finger image input to a mono camera according to another embodiment of the present invention.
FIG. 8 illustrates an example of a three-dimensional coordinate generation method of the present invention or a 3D object and a screen controlled through a mobile terminal for generating three-dimensional coordinates.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.While the invention is susceptible to various modifications and alternative forms, specific embodiments thereof are shown by way of example in the drawings and will herein be described in detail. It should be understood, however, that the invention is not intended to be limited to the particular embodiments, but includes all modifications, equivalents, and alternatives falling within the spirit and scope of the invention.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 해당 구성요소들은 상기 용어들에 의해 한정되지는 않으며, 단지 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.The terms first, second, A, B, etc., may be used to describe various components, but the components are not limited by the terms, but may be used to distinguish one component from another . For example, without departing from the scope of the present invention, the first component may be referred to as a second component, and similarly, the second component may also be referred to as a first component. And / or < / RTI > includes any combination of a plurality of related listed items or any of a plurality of related listed items.
본 명세서에서 사용되는 용어에서 단수의 표현은 문맥상 명백하게 다르게 해석되지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함한다" 등의 용어는 설시된 특징, 개수, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 의미하는 것이지, 하나 또는 그 이상의 다른 특징들이나 개수, 단계 동작 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 배제하지 않는 것으로 이해되어야 한다.As used herein, the singular " include "should be understood to include a plurality of representations unless the context clearly dictates otherwise, and the terms" comprises & , Parts or combinations thereof, and does not preclude the presence or addition of one or more other features, integers, steps, components, components, or combinations thereof.
도면에 대한 상세한 설명을 하기에 앞서, 본 명세서에서의 구성부들에 대한 구분은 각 구성부가 담당하는 주기능 별로 구분한 것에 불과함을 명확히 하고자 한다. 즉, 이하에서 설명할 2개 이상의 구성부가 하나의 구성부로 합쳐지거나 또는 하나의 구성부가 보다 세분화된 기능별로 2개 이상으로 분화되어 구비될 수도 있다. 그리고 이하에서 설명할 구성부 각각은 자신이 담당하는 주기능 이외에도 다른 구성부가 담당하는 기능 중 일부 또는 전부의 기능을 추가적으로 수행할 수도 있으며, 구성부 각각이 담당하는 주기능 중 일부 기능이 다른 구성부에 의해 전담되어 수행될 수도 있음은 물론이다. 따라서, 본 명세서를 통해 설명되는 각 구성부들의 존재 여부는 기능적으로 해석되어야 할 것이며, 이러한 이유로 본 발명의 모노 카메라에 입력된 손가락 영상을 이용하여 3차원 좌표를 생성하는 이동 단말기(100, 200)에 따른 구성부들의 구성은 본 발명의 목적을 달성할 수 있는 한도 내에서 도 6 또는 도 7과는 상이해질 수 있음을 명확히 밝혀둔다.
Before describing the drawings in detail, it is to be clarified that the division of constituent parts in this specification is merely a division by main functions of each constituent part. That is, two or more constituent parts to be described below may be combined into one constituent part, or one constituent part may be divided into two or more functions according to functions that are more subdivided. In addition, each of the constituent units described below may additionally perform some or all of the functions of other constituent units in addition to the main functions of the constituent units themselves, and that some of the main functions, And may be carried out in a dedicated manner. Accordingly, the presence or absence of each component described in the present specification should be interpreted as a function. For this reason, the
이하에서는 도면을 참조하면서 본 발명에 따른 단말기의 후면부 모노 카메라에 입력된 손가락 영상을 이용한 3차원 좌표 생성 방법 및 모노 카메라에 입력된 손가락 영상을 이용하여 3차원 좌표를 생성하는 이동 단말기에 관하여 구체적으로 설명하겠다.Hereinafter, a three-dimensional coordinate generation method using a finger image input to a rear mono camera of a terminal according to the present invention and a mobile terminal for generating three-dimensional coordinates using a finger image input to a mono camera will be described in detail with reference to the drawings. I will explain.
도 1은 본 발명의 일 예에 따른 단말기의 후면부 모노 카메라에 입력된 손가락 영상을 이용한 3차원 좌표 생성 방법의 개략적인 순서도이다. 본 발명의 단말기는 휴대폰, 태블릿 PC 등과 같은 이동 단말기뿐만 아니라 카메라가 장착된 다양한 단말기를 포함한다.1 is a schematic flowchart of a method for generating three-dimensional coordinates using a finger image input to a rear mono camera of a terminal according to an embodiment of the present invention. The terminal of the present invention includes various terminals equipped with cameras as well as mobile terminals such as mobile phones and tablet PCs.
본 발명에 따른 단말기의 모노 카메라에 입력된 손가락 영상을 이용한 3차원 좌표 생성 방법은 (a) 단말기의 모노 카메라가 손가락 영역을 포함하는 타겟 영상을 획득하는 단계, (b) 단말기의 프로세서가 영상 처리 기술을 이용하여 타겟 영상에서 손가락 영역을 검출하는 단계, (c) 단말기의 프로세서가 손가락 영역에서 아다부스트 알고리즘을 이용하여 손가락 끝(fingertip) 영역을 검출하는 단계 및 (d) 단말기의 프로세서가 손가락 끝 영역을 이용하여 3차원 좌표값을 연산하는 단계를 포함한다.A method for generating three-dimensional coordinates using a finger image input to a mono camera of a terminal according to the present invention includes the steps of: (a) acquiring a target image including a finger area by a mono camera of the terminal; (b) (C) detecting a fingertip region in the finger region using the adaboost algorithm in the finger region, and (d) detecting a fingertip region in the finger region using a finger tip And calculating the three-dimensional coordinate value using the area.
타겟 영상은 카메라를 포함하는 영상 획득 장치를 통해 촬영된다. 단말기는 단말기에 내장되어 있는 카메라를 이용한다. 3차원 인터페이스는 실시간으로 3차원 좌표값이 입력되는 것이 일반적이므로 단말기의 디스플레이패널의 배면 방향(단말기의 후면부)에 설치된 카메라를 통해 타겟 영상을 획득하는 것이 바람직하다.The target image is captured through an image acquisition device including a camera. The terminal uses a camera built in the terminal. Since the 3D coordinate values are generally input in real time in the 3D interface, it is preferable to acquire the target image through the camera installed in the rear direction of the display panel of the terminal (the rear portion of the terminal).
(b) 단계는 (ba) RGB 그레디언트 정보를 이용하여 타겟 영상에서 모폴로지컬 그레디언트 이미지(Morphological Gradient Image)를 검출하는 단계, (bb) YCbCr 컬러 정보를 이용하여 타겟 영상에서 배경을 제거한 손가락 이미지를 검출하는 단계 및 (bc) 모폴로지컬 그레디언트 이미지와 손가락 이미지를 결합하여 손가락 영역을 검출하는 단계를 포함한다.step (b) (ba) using the RGB gradient information targeted Morphological gradient image from the image detecting (Morphological Gradient Image), (bb ) YC b C r finger by using a color information to remove background from the target image (Bc) combining the morphological gradient image and the finger image to detect the finger region.
도 2는 본 발명에서 손가락 영역을 검출하는 과정을 구체적으로 도시한 순서도이다.2 is a flowchart specifically illustrating a process of detecting a finger region in the present invention.
(ba) 단계는 손가락 객체 검출에 필요한 그레디언트 성분을 강조하기 위해 일반 그레이(Gray) 영상에서 모폴로지컬 그레디언트가 아닌 R, G, B 각각의 3개 채널에서의 모폴로지컬 그레디언트의 최대값 픽셀만을 결합한다. 이를 MMGC (Maximum Morphological Gradient Combination) 이미지라고 하고 이에 대한 수식은 아래의 수학식 1과 같다.
(ba) step combines only the maximum value pixels of the morphological gradient in the three channels of R, G, B instead of the morphological gradient in the normal gray image to emphasize the gradient component required for finger object detection . This is called an MMGC (Maximum Morphological Gradient Combination) image, and the formula for this is shown in
여기서, i 및 j는 픽셀 좌표를 의미하고, MGr는 R 채널에서 모폴로지컬 그레디언트가 최대인 픽셀, MGg는 G 채널에서 모폴로지컬 그레디언트가 최대인 픽셀, MGb는 B 채널에서 모폴로지컬 그레디언트가 최대인 픽셀을 의미한다.Here, i and j are pixel coordinates, MG r is a pixel having a maximum morphological gradient in the R channel, MG g is a pixel having a maximum morphological gradient in the G channel, and MG b is a pixel having a morphological gradient in the B channel Pixel "
(bb) 단계는 타겟 영상을 RGB 컬러 모델에서 YCbCr 컬러로 변환하는 단계, 타겟 영상에 피부색의 임계치를 적용하는 단계 및 침식 및 팽창 연산을 이용하여 노이즈를 제거하는 단계를 포함한다. (bb) 단계는 타겟 영상에서 손가락 부분만을 획득하기 위한 것이며, (bb) 단계에서 획득되는 이미지를 손가락 이미지라고 명명한다. (bb) step includes the step of using the stage and erosion and expansion operations of applying the threshold value of the skin color in the step, the target image to transform the target image from the RGB color model to a YC b C r color noise is removed. The step (bb) is for acquiring only the finger portion in the target image, and the image obtained in the step (bb) is called the finger image.
배경과 손가락 이미지를 분리하기 위한 피부색의 임계치(SkinColor)를 아래의 수학식 2와 같이 설정할 수 있다.
SkinColor for separating the background and the finger image can be set as shown in Equation (2) below.
임계치는 피부색에 따라 달라질 수 있으며 이러한 임계치 설정은 해당분야의 통상의 지식을 가진 자라면 누구나 할 수 있는 것이다.The threshold value may vary depending on the skin color, and the threshold value setting can be performed by anyone having ordinary knowledge in the field.
이를 통해 검출된 피부색 영역은 이진 영상으로 변환(Skin color Segmentation)되고, 이후 침식(Erosion) 및 팽창(Dilation) 연산을 이용한 닫힘 연산(Closing Operation)을 통해 노이즈를 제거하게 된다. 노이즈 제거 단계에서 피부색을 포함한 영역 중 크기가 큰 부분은 제거되지 않는 현상이 발생할 수 있는데 이 경우 손가락 이미지를 제외한 다른 부분을 제거하기 위해 각 영역을 라벨링 한 후 손가락 이미지만 검출하게 된다. 최종적으로 배경이 제거된 손가락 이미지만 검출된다(Blob detection).Skin color segmentation is performed on the detected skin color region, and noise is removed through a closing operation using an erosion and dilation operation. In the noise removal step, a portion having a large size may not be removed. In this case, only the finger image is detected after labeling each region in order to remove a portion other than the finger image. Finally, only the finger image with the background removed is detected (Blob detection).
이후 (ba) 단계에서 MMGC를 수행한 이미지와 (bb) 단계에서 분리된 손가락 이미지를 (bc) 단계에서 AND 연산을 통해 결합하여 최종적인 손가락 영상을 획득하게 된다.
The final finger image is obtained by combining the image of MMGC in step (ba) and the finger image separated in step (bb) by an AND operation in step (bc).
(c) 단계는 상기 손가락 영역에서 손가락 끝 영역을 검출한다. 손가락 영역은 타겟 영상에서 사용자의 손가락 전체를 의미하고, 손가락 끝 영역은 손가락 영역에서 좌표값 설정을 위한 기준이 되는 말단 영역을 의미한다. 본 발명에서 손가락 끝 영역은 아다부스트(AdaBoost(Adaptive Boosting)) 알고리즘을 사용하여 검출한다.(c) detects a fingertip region in the finger region. The finger region means the entire finger of the user in the target image, and the fingertip region means the end region that serves as a reference for setting the coordinate value in the finger region. In the present invention, the fingertip region is detected using an AdaBoost (Adaptive Boosting) algorithm.
아다부스트 학습 알고리즘의 기본 개념은 약한 분류기(weak classifier)를 선형적으로 결합하여 최종적으로 높은 검출 성능을 가진 강한 분류기(strong classifier)를 생성하는 것이다. The basic concept of the AdaBoost learning algorithm is to combine weak classifiers linearly to generate a strong classifier with high detection performance.
아다부스트 알고리즘은 클래스의 샘플을 이용하여 약한 분류기를 반복적인 계산에 의해서 학습을 수행하고, 생성된 약한 분류기의 결합에 의해서 강한 분류기를 생성한다. 초기에는 모든 샘플에 대하여 동일한 가중치를 주고 약한 분류기를 학습시킨 후, 단계가 진행될수록 기초 분류기에서 올바르게 분류된 데이터에 대해서는 낮은 에러 가중치가 부과되고 올바르지 않게 분류된 데이터에 대해서는 높은 에러 가중치를 부과함으로써 약한 분류기의 성능을 높여가는 기법이다.The AdaBoost algorithm performs learning by iterative computation of weak classifiers using samples of classes, and generates strong classifiers by combining weak classifiers generated. In the initial stage, weights are applied to all the samples and the weak classifiers are learned. The lower error weights are applied to correctly classified data in the baseline classifier and the higher error weights are applied to the incorrectly classified data as the steps progress. It is a technique to improve the performance of the classifier.
도 3은 손가락 끝 영역을 검출하는 아다부스트 알고리즘의 분류기를 생성하기 위하여 사용하는 Positive 이미지와 Negative 이미지의 예이다. positive 이미지는 손가락 끝 영역에 해당하는 이미지이고, negative 이미지는 손가락 끝 영역이 아닌 이미지이다. 반복적인 학습을 통해 최종적인 모델이 준비되는 것이다. 아다부트스 알고리즘 자체는 해당 분야의 통상의 지식을 가진자가 널리 알고 있는 것이므로 자세한 설명은 생략하기로 한다.FIG. 3 is an example of a positive image and a negative image used for generating a classifier of an Adaboost algorithm for detecting a fingertip region. The positive image is the image corresponding to the fingertip region, and the negative image is the image, not the fingertip region. The final model is prepared through iterative learning. The AdaBoots algorithm itself is widely known to those of ordinary skill in the art, so a detailed description thereof will be omitted.
도 4는 아다부스트 알고리즘을 사용하여 검출된 손가락 끝 영역을 도시하는 화면이다. 도 4(a)에서 중앙 부위에 원형으로 표시된 부위가 손가락 끝 영역이다. 도 4(a)는 손가락이 카메라에 비교적 근거리에 위치한 경우이고, 도 4(b)는 손가락이 비교적 카메라와 먼 거리에 위치한 경우이다. 나아가 도 4(c)는 다른 배경을 갖는 화면에서 손가락 끝 영역이 검출되는 화면을 도시한다.
4 is a screen showing a fingertip region detected using the Adaboost algorithm. In Fig. 4 (a), the region indicated by a circle at the center portion is the fingertip region. Fig. 4 (a) shows a case where a finger is located relatively close to the camera, and Fig. 4 (b) shows a case where the finger is located relatively far from the camera. 4 (c) shows a screen in which the fingertip region is detected on a screen having a different background.
도 5는 3차원 좌표를 생성하기 위하여 이용하는 손가락 끝 영역의 변수를 도시한다. 도 5에서 중앙의 사각형 박스로 도시된 영역이 손가락 끝 영역에 해당한다. 원형으로 표시된 사각박스 좌측 상단의 모서리를 손가락 끝 영역의 시작점이라고 한다. ①은 손가락 끝 영역의 시작점 y좌표값(y축 길이)을 의미한다. 타겟 영상에서 손가락 끝 영역이 y축으로 어떤 좌표에 위치하는지 기산하기 위한 기준이 된다. ②는 손가락 끝 영역의 시작점 x 좌표값(x축 길이)을 의미한다. ③은 손가락 끝 영역의 높이(Height)를 의미하고, ④는 손가락 끝 영역의 너비(Width)를 의미한다. 도 5에서는 사각박스의 중앙위치(삼각형 표시)를 3차원 좌표값 측정을 위한 기준으로 삼았다.FIG. 5 shows a variable of a fingertip area used for generating three-dimensional coordinates. In FIG. 5, the area indicated by the center square box corresponds to the fingertip area. The corner at the upper left corner of the rectangular box is called the starting point of the fingertip area. ① indicates the starting point y coordinate value (y axis length) of the fingertip area. It is a criterion for calculating the coordinates of the fingertip area on the y-axis in the target image. And ② denotes the starting point x coordinate value (x axis length) of the fingertip area. ③ means the height of the fingertip region, and ④ means the width of the fingertip region. In FIG. 5, the center position (triangle mark) of the rectangular box is used as a reference for measuring the three-dimensional coordinate value.
(d) 단계는 손가락 끝 영역의 시작점 x좌표(Finger Region.x), 손가락 끝 영역의 시작점 y 좌표값(Finger Region.y), 손가락 끝 영역의 너비(Finger Width), 손가락 끝 영역의 높이(Finger Height)를 이용하여 3차원 좌표값을 연산한다.(d) shows the starting point x coordinate (Finger Region.x) of the fingertip region, the y coordinate value (Finger Region.y) of the starting point of the fingertip region, the finger width of the fingertip region, the height of the fingertip region Finger Height) to calculate the three-dimensional coordinate value.
3차원 좌표값 중 x 좌표값(Finger Point(x))은 아래의 수학식 3으로 연산된다.
The x coordinate value (Finger Point (x)) of the three-dimensional coordinate values is calculated by the following equation (3).
FingerRegion.x는 입력된 영상에서의 검출된 손가락 영역의 시작점 x좌표이고, FingerWidth는 검출된 영역의 너비다. 우선 손가락 영역의 너비(FingerWidth)를 2로 나누어서 손가락 영역 중간을 설정한 후 손가락 영역의 시작점 x좌표(FingerRegion.x)를 더해서 입력 영상에서 손가락 포인터의 X좌표를 설정하게 된다. FingerRegion.x is the starting x coordinate of the detected finger region in the input image, and FingerWidth is the width of the detected region. First, the width of the finger area (FingerWidth) is divided by 2, the middle of the finger area is set, and the starting point x coordinate (FingerRegion.x) of the finger area is added to set the X coordinate of the finger pointer in the input image.
3차원 좌표값 중 y 좌표값(Finger Point(y))은 아래의 수학식 4로 연산된다.
The y coordinate value (Finger Point (y)) of the three-dimensional coordinate values is calculated by the following expression (4).
FingerRegion.y는 입력된 영상에서의 검출된 손가락 영역의 시작점 y좌표이고, FingerWidth는 검출된 영역의 높이다. 우선 손가락 영역의 높이(FingerHeight)를 2로 나누어서 손가락 영역 중간을 설정한 후 손가락 영역의 시작점 y좌표(FingerRegion.y)를 더해서 입력 영상에서 손가락 포인터의 Y좌표를 설정하게 된다.
FingerRegion.y is the y coordinate of the start point of the detected finger region in the input image, and FingerWidth is the height of the detected region. First, the height of the finger area (FingerHeight) is divided by 2, the center of the finger area is set, and the y coordinate of the finger pointer in the input image is set by adding the y coordinate (FingerRegion.y) of the starting point of the finger area.
3차원 좌표값 중 z 좌표값은 아래의 수학식 5로 연산되는 모노 카메라와 손가락의 거리(FingertoCameraDistance)를 이용하여 설정된다. 카메라와 손가락의 거리는 손가락 끝 영역의 면적을 이용하여 추정한다. 기준이 되는 거리에서의 면적과 현재 카메라를 통해 입력되는 손가락 끝 영역의 면적을 비교하여 카메라와 손가락의 거리를 추정할 수 있는 것이다.
The z coordinate value among the three-dimensional coordinate values is set using the distance (FingertoCameraDistance) between the mono camera and the finger calculated by the following equation (5). The distance between the camera and the finger is estimated using the area of the fingertip area. The distance between the camera and the finger can be estimated by comparing the area at the reference distance and the area of the fingertip area input through the current camera.
finger width는 사용자의 실제 손가락 너비이고, preview width는 모노 카메라로 입력되는 영상의 너비 픽셀 값이다. finger width는 정확하게는 실제 사용자의 손가락 끝 영역의 너비이고, pixel distance of finger width는 영상에서 손가락 끝 영역의 너비가 차지하는 픽셀값(픽셀 너비)이다. FOV(Field of View)는 카메라에서 특정 지점(손가락 끝 영역)을 관측할 때 나타나는 범위 시야를 각도로 표현한 것이다. 상기 수학식 5를 이용하여 카메라와 손가락의 거리가 측정되면, 손가락이 위치한 z 좌표의 상대적 위치를 파악할 수 있다.The finger width is the actual finger width of the user, and the preview width is the width pixel value of the image input by the monochrome camera. The finger width is exactly the width of the actual user's fingertip area, and the pixel distance of finger width is the pixel value (pixel width) that the width of the fingertip area occupies in the image. A field of view (FOV) is an angle representation of the field of view when viewing a specific point (fingertip area) in the camera. When the distance between the camera and the finger is measured using Equation (5), the relative position of the z-coordinate at which the finger is located can be grasped.
본 발명에서는 손가락 끝 영역의 시작점을 사각 블록의 좌측 상단 모서리로 설정하고 3차원 좌표를 연산한 것이나, 다른 위치의 시작점을 이용할 수도 있고, 좌표의 기준이 되는 지점을 손가락 끝 영역의 중심이 아닌 다른 지점을 이용할 수도 있음은 자명하다.
In the present invention, the start point of the fingertip area is set as the upper left corner of the rectangular block and the three-dimensional coordinates are calculated, the start point of another position may be used, and the point serving as the reference of the coordinates may be the center of the fingertip It is obvious that you can use branches.
본 발명의 다른 측면으로서, 모노 카메라에 입력된 손가락 영상을 이용하여 3차원 좌표를 생성하는 이동 단말기(100)는 손가락 영역을 포함하는 타겟 영상을 획득하는 모노 카메라(110), 영상 처리 기술을 이용하여 타겟 영상에서 손가락 영역을 검출하는 손가락 영역 검출 모듈(120), 손가락 영역에서 아다부스트 알고리즘을 이용하여 손가락 끝 영역을 검출하는 손가락 끝 영역 검출 모듈(130) 및 손가락 끝 영역을 이용하여 3차원 좌표값을 연산하는 3 차원 좌표 연산 모듈(140)을 포함한다.As another aspect of the present invention, a
도 6에 추가로 도시된 인터페이스 입력 모듈(150)은 3차원 좌표 연산 모듈(140)을 통해 연산된 최종 3차원 좌표를 전달받는 모듈을 의미한다. 인터페이스 입력 모듈(150)에 전달되는 좌표는 이동 단말기 또는 이동 단말기에서 구동되는 애플리케이션에서 특정 객체를 제어하기 위한 입력으로 사용된다.The
도 6은 본 발명의 다른 일 예에 따른 모노 카메라에 입력된 손가락 영상을 이용하여 3차원 좌표를 생성하는 이동 단말기의 구성을 개략적으로 도시한 블록도이다. 전술한 이동 단말기의 모노 카메라에 입력된 손가락 영상을 이용한 3차원 좌표 생성 방법과 중복되는 내용은 간략하게 설명한다.6 is a block diagram schematically illustrating a configuration of a mobile terminal for generating three-dimensional coordinates using a finger image input to a mono camera according to another exemplary embodiment of the present invention. The overlapping contents of the three-dimensional coordinate generation method using the finger image input to the mono camera of the mobile terminal will be briefly described.
손가락 영역 검출 모듈(120)은 RGB 그레디언트 정보를 이용하여 타겟 영상에서 모폴로지컬 그레디언트 이미지를 검출하고, YCbCr 컬러 정보를 이용하여 타겟 영상에서 배경을 제거한 손가락 이미지를 검출하고, 모폴로지컬 그레디언트 이미지와 손가락 이미지를 결합하여 손가락 영역을 검출한다.Finger
손가락 영역 검출 모듈(120)은 (1) R, G 및 B 각각의 채널에서 모폴로지컬 그레디언트의 최대값 픽셀만을 결합하여 모폴로지컬 그레디언트 이미지를 검출하고, (2) 타겟 영상을 RGB 컬러 모델에서 YCbCr 컬러로 변환하고, 타겟 영상에 피부색의 임계치를 적용하고, 침식 및 팽창 연산을 통해 노이즈를 제거하여 손가락 이미지를 검출하고, (3) 검출된 모폴로지컬 그레디언트 이미지와 손가락 이미지를 결합하여 최종 손가락 영역을 검출한다.Finger area detecting module 120 (1) R, G and B each combines the maximum value of pixels Morphological gradient in the channel by the Morphological gradient image is detected, and (2) of the target image from the RGB color model YC b C r color, applying a skin color threshold to the target image, detecting a finger image by removing noise through erosion and dilation calculation, and (3) combining the detected morphological gradient image and the finger image, Area.
3 차원 좌표 연산 모듈(130)은 손가락 끝 영역의 시작점 x좌표(Finger Region.x), 손가락 끝 영역의 시작점 y 좌표값(Finger Region.y), 손가락 끝 영역의 너비(Finger Width), 손가락 끝 영역의 높이(Finger Height)를 이용하여 3차원 좌표값을 연산한다.
The three-dimensional coordinate
도 7은 본 발명의 또 다른 일 예에 따른 모노 카메라에 입력된 손가락 영상을 이용하여 3차원 좌표를 생성하는 이동 단말기(200)의 구성을 개략적으로 도시한 블록도이다. 도 6과 다른 점은 각 구성을 별개의 모듈로 구성하지 않고, 소프트웨어적으로 3차원 좌표 연산이 수행되는 구조를 도시한 것이다.7 is a block diagram schematically illustrating a configuration of a
도 7에 따른 모노 카메라에 입력된 손가락 영상을 이용하여 3차원 좌표를 생성하는 이동 단말기(200)는 손가락 영역을 포함하는 타겟 영상을 획득하는 모노 카메라(210), 영상 처리 기술을 이용하여 타겟 영상에서 손가락 영역을 검출하는 손가락 영역 검출 코드, 손가락 영역에서 아다부스트 알고리즘을 이용하여 손가락 끝 영역을 검출하는 손가락 끝 영역 검출 코드 및 손가락 끝 영역을 이용하여 3차원 좌표값을 연산하는 3 차원 좌표 연산 코드가 저장된 메모리(220) 및 메모리에 저장된 손가락 영역 검출 코드를 실행하여 모노 카메라에서 획득하는 타겟 영상에서 손가락 영역을 검출하고, 메모리에 저장된 손가락 영역 검출 코드를 실행하여 손가락 영역에서 손가락 끝 영역을 검출하고, 메모리에 저장된 3차원 좌표 연산 코드를 실행하여 3차원 좌표값을 연산하는 프로세서(230)를 포함한다.A
데이터 전송 수단(240)은 프로세서에서 생성된 3차원 좌표를 전달하는 수단을 도시한 것이다. 한편 3차원 좌표는 특정한 애플리케이션 등에 곧바로 사용될 수 있으므로, 별도의 전송 수단이 필요 없을 수도 있다.The data transfer means 240 shows means for transferring the three-dimensional coordinates generated by the processor. On the other hand, since the three-dimensional coordinates can be directly used for a specific application, a separate transmission means may not be necessary.
도 7은 이동 단말기(200)에서 실행되는 애플리케이션 또는 소프트웨어를 통해 3차원 좌표값을 생성하는 실시예이다.FIG. 7 is an embodiment for generating a three-dimensional coordinate value through an application or software executed in the
손가락 영역 검출 코드가 실행되는 프로세서(230)는 손가락 영역 검출 코드를 실행하여 RGB 그레디언트 정보를 이용하여 타겟 영상에서 모폴로지컬 그레디언트 이미지를 검출하고, YCbCr 컬러 정보를 이용하여 타겟 영상에서 배경을 제거한 손가락 이미지를 검출하고, 모폴로지컬 그레디언트 이미지와 손가락 이미지를 결합하여 손가락 영역을 검출한다.
3 차원 좌표 연산 코드가 실행되는 프로세서(230)는 손가락 끝 영역의 시작점 x좌표(Finger Region.x), 손가락 끝 영역의 시작점 y 좌표값(Finger Region.y), 손가락 끝 영역의 너비(Finger Width), 손가락 끝 영역의 높이(Finger Height)를 이용하여 3차원 좌표값을 연산한다.The
프로세서(230)는 손가락 끝 영역의 시작점 x 좌표를 이용하여 3차원 좌표값 중 x 좌표값을 연산하고, 손가락 끝 영역의 시작점 y 좌표를 이용하여 3차원 좌표값 중 y 좌표값을 연산하고, 손가락 끝 영역의 너비, 높이 또는 면적 중 어느 하나 이상의 변경을 기준으로 모노 카메라(210)와 손가락의 거리를 연산하여 3차원 좌표값 중 z 좌표값을 설정한다.
The
도 8은 본 발명의 3차원 좌표 생성 방법 또는 3차원 좌표를 생성하는 이동 단말기를 통해 제어되는 3D 객체 및 화면을 도시한 예이다. 도 8(a)는 3차원 인터페이스를 입력받아 이동시키기 위한 객체(정육면체 박스 형태)를 도시하고, 도 8(b) 및 도 8(c)는 3차원 공간에서 도 8(a)에 도시된 객체가 이동하는 화면을 도시한다. 실제 발명자가 본 발명을 적용한 애플리케이션을 개발하여 객체를 제어하는 화면이다.
FIG. 8 illustrates an example of a three-dimensional coordinate generation method of the present invention or a 3D object and a screen controlled through a mobile terminal for generating three-dimensional coordinates. 8 (a) shows an object (cubic box form) for receiving and moving a 3D interface, and FIG. 8 (b) and FIG. 8 FIG. An actual inventor develops an application to which the present invention is applied and controls the object.
본 발명에 따른 이동 단말기의 모노 카메라에 입력된 손가락 영상을 이용한 3차원 좌표 생성 방법 또는 모노 카메라에 입력된 손가락 영상을 이용하여 3차원 좌표를 생성하는 이동 단말기의 효과를 실험하였다.The present invention has been applied to a three-dimensional coordinate generation method using a finger image input to a mono camera of a mobile terminal or a mobile terminal that generates a three-dimensional coordinate using a finger image input to a mono camera.
아다부스트 알고리즘에 대한 검출기 훈련에 있어 positive 이미지는 2240장, negative 이미지는 4500장을 사용하였고 검출기 단계는 총 13단계, 검출기 사이즈는 20x10으로 설정하였다.In the detector training for the AdaBoost algorithm, 2240 positive images and 4500 negative images were used, and the detector stage was set to 13 stages and the detector size to 20x10.
첫 번째 실험은 X, Y좌표 값으로 사용되는 손가락 좌표 기준(손가락 끝 영역의 중심점)의 검출 성능을 평가하였고, 두 번째 실험은 Z좌표 값으로 사용되는 손가락 면적을 이용한 거리 추정 성능을 평가하였다.The first experiment evaluated the detection performance of the finger coordinate reference (center point of the fingertip area) used as the X and Y coordinate values, and the second experiment evaluated the distance estimation performance using the finger area used as the Z coordinate value.
손가락 검출의 성능 평가를 위하여 아래의 표 1과 같은 5가지 단계의 조도 상태를 결정하여 실험을 진행하였다.
In order to evaluate the performance of the finger detection, the illuminance condition of five stages as shown in Table 1 below was determined and the experiment was conducted.
복잡한 배경에서 각각의 조도에 따라 검출성능을 평가하여 아래의 표 2에 나타내었다.
The detection performance is evaluated according to each illuminance in a complex background, and is shown in Table 2 below.
각각의 상태에서 100장의 이미지, 즉 총 500장의 이미지를 테스트한 결과 복잡한 배경에서의 손가락 검출율은 96%가 나타났다. 즉, 3차원 좌표값 생성을 위한 기준점 검출율이 매우 높다는 것을 알 수 있다.
Testing 100 images in each state, a total of 500 images, showed a 96% finger detection rate in a complex background. That is, it can be seen that the reference point detection rate for generating the three-dimensional coordinate value is very high.
손가락 면적을 이용한 거리 추정의 성능을 평가하기 위하여 아래의 표 3과 같이 0.5cm ~ 5cm까지 0.5cm마다 각 거리 당 100프레임씩 추정하여 그 오차율을 계산하였다.
In order to evaluate the performance of the distance estimation using the finger area, the error rate was calculated by estimating 100 frames per each distance of 0.5 cm to 0.5 cm from 0.5 cm to 5 cm as shown in Table 3 below.
거리 추정의 평균 오차율은 2.44%로 나타났다. 따라서 손가락 면적을 이용하여 z 좌표값을 설정하는 것도 매우 정확하다는 것을 알 수 있다.
The average error rate of the distance estimation was 2.44%. Therefore, it is very accurate to set the z coordinate value using the finger area.
본 실시예 및 본 명세서에 첨부된 도면은 본 발명에 포함되는 기술적 사상의 일부를 명확하게 나타내고 있는 것에 불과하며, 본 발명의 명세서 및 도면에 포함된 기술적 사상의 범위 내에서 당업자가 용이하게 유추할 수 있는 변형 예와 구체적인 실시예는 모두 본 발명의 권리범위에 포함되는 것이 자명하다고 할 것이다.It is to be understood that both the foregoing general description and the following detailed description of the present invention are exemplary and explanatory and are intended to provide further explanation of the invention as claimed. It will be understood that variations and specific embodiments which may occur to those skilled in the art are included within the scope of the present invention.
100 : 이동 단말기 110 : 모노 카메라
120 : 손가락 영역 검출 모듈 130 : 손가락 끝 영역 검출 모듈
140 : 3차원 좌표 연산 모듈 150 : 인터페이스 입력 모듈
200 : 이동 단말기 210 : 모노 카메라
220 : 메모리 230 : 프로세서
240 : 데이터 전송 수단100: mobile terminal 110: mono camera
120: finger area detection module 130: fingertip area detection module
140: three-dimensional coordinate calculation module 150: interface input module
200: mobile terminal 210: mono camera
220: memory 230: processor
240: Data transfer means
Claims (16)
(b) 단말기의 프로세서가 영상 처리 기술을 이용하여 상기 타겟 영상에서 상기 손가락 영역을 검출하는 단계;
(c) 단말기의 프로세서가 상기 손가락 영역에서 아다부스트 알고리즘을 이용하여 손가락 끝 영역을 검출하는 단계; 및
(d) 단말기의 프로세서가 상기 손가락 끝 영역의 기준점 및 일 방향 길이를 이용하여 3차원 좌표값을 연산하는 단계를 포함하되,
상기 손가락 영역을 검출하는 단계는 상기 타겟 영상에서
RGB 그레디언트 정보를 이용하여 상기 타겟 영상에서 모폴로지컬 그레디언트 이미지를 검출하고, YCbCr 컬러 정보를 이용하여 상기 타겟 영상에서 배경을 제거한 손가락 이미지를 검출하고, 상기 모폴로지컬 그레디언트 이미지와 상기 손가락 이미지를 결합하여 손가락 영역을 검출하는 단말기의 모노 카메라에 입력된 손가락 영상을 이용한 3차원 좌표 생성 방법.(a) obtaining a target image including a finger region by a mono camera of the terminal;
(b) detecting, by the processor of the terminal, the finger region in the target image using an image processing technique;
(c) the processor of the terminal detects the fingertip region using the AdaBoost algorithm in the finger region; And
(d) calculating a three-dimensional coordinate value using a reference point and a one-direction length of the fingertip region by a processor of the terminal,
Wherein the step of detecting the finger region comprises:
Using the RGB gradient information detecting Morphological gradient image from the target image, and detecting the finger image to remove background from the target image using the YC b C r color information, and the finger image and the Morphological gradient image A three-dimensional coordinate generation method using a finger image input to a mono camera of a terminal that detects a finger region by combining.
상기 모폴로지컬 그레디언트 이미지는 아래의 수식과 같이 R, G 및 B 각각의 채널에서 모폴로지컬 그레디언트의 최대값 픽셀만을 결합하여 생성되는 단말기의 모노 카메라에 입력된 손가락 영상을 이용한 3차원 좌표 생성 방법.
(여기서, i 및 j는 픽셀의 좌표를 의미하고, MGr는 R 채널에서 모폴로지컬 그레디언트가 최대인 픽셀, MGg는 G 채널에서 모폴로지컬 그레디언트가 최대인 픽셀, MGb는 B 채널에서 모폴로지컬 그레디언트가 최대인 픽셀임)The method according to claim 1,
Wherein the morphological gradient image is generated by combining only the maximum value pixels of the morphological gradient in each of the R, G, and B channels as shown in the following equation.
(Where i and j are the coordinates of the pixel, MG r is the pixel with the highest morphological gradient in the R channel, MG g is the pixel with the maximum morphological gradient in the G channel, MG b is the pixel with the highest morphological gradient in the B channel, The pixel with the largest gradient)
상기 손가락 이미지는
상기 타겟 영상을 RGB 컬러 모델에서 YCbCr 컬러로 변환하고, 상기 타겟 영상에 피부색의 임계치를 적용하고, 침식 및 팽창 연산을 이용하여 노이즈를 제거하여 생성되는 단말기의 모노 카메라에 입력된 손가락 영상을 이용한 3차원 좌표 생성 방법.The method according to claim 1,
The finger image
A finger image input to a mono camera of a terminal, which is generated by converting the target image from an RGB color model to a YC b C r color, applying a threshold value of a skin color to the target image, and removing noise using erosion and expansion calculation, A method for generating a three - dimensional coordinate using.
상기 (d) 단계는 손가락 끝 영역의 기준점의 x좌표(Finger Region.x)를 이용하여 상기 3차원 좌표값 중 x좌표값을 연산하고, 상기 기준점의 y 좌표(Finger Region.y)를 이용하여 상기 3차원 좌표값 중 y좌표값을 연산하고,
상기 손가락 끝 영역의 너비(Finger Width) 또는 손가락 끝 영역의 높이(Finger Height)를 이용하여 상기 3차원 좌표값 중 z좌표값을 연산하는 단말기의 모노 카메라에 입력된 손가락 영상을 이용한 3차원 좌표 생성 방법.The method according to claim 1,
In the step (d), an x-coordinate value of the three-dimensional coordinate value is calculated using an x-coordinate (Finger Region.x) of a reference point of a fingertip region, and the y-coordinate (Finger Region.y) Calculating y coordinate values among the three-dimensional coordinate values,
Dimensional coordinates using a finger image input to a mono camera of a terminal that calculates a z coordinate value among the three-dimensional coordinate values using the width of the fingertip region (Finger Width) or the height of the fingertip region (Finger Height) Way.
상기 3차원 좌표값 중 x 좌표값(Finger Point(x))은 아래의 수식으로 연산되는 단말기의 모노 카메라에 입력된 손가락 영상을 이용한 3차원 좌표 생성 방법.
Wherein the x coordinate value (Finger Point (x)) of the three-dimensional coordinate values is calculated by the following formula:
상기 3차원 좌표값 중 y 좌표값(Finger Point(y))은 아래의 수식으로 연산되는 단말기의 모노 카메라에 입력된 손가락 영상을 이용한 3차원 좌표 생성 방법.
Wherein the y coordinate value (Finger Point (y)) of the three-dimensional coordinate value is calculated by the following formula:
상기 3차원 좌표값 중 z 좌표값은 아래의 수식으로 연산되는 상기 모노 카메라와 손가락의 거리(FingertoCameraDistance)를 이용하여 설정되는 단말기의 모노 카메라에 입력된 손가락 영상을 이용한 3차원 좌표 생성 방법.
(여기서, finger width는 사용자의 실제 손가락 너비, preview width는 상기 타겟 영상의 너비 픽셀 값, pixel distandce of finger width는 상기 타겟 영상에서 상기 손가락 끝 영역의 너비 픽셀값, FOV는 카메라의 시야각임)6. The method of claim 5,
Wherein the z coordinate value of the three-dimensional coordinate value is calculated using a distance (FingertoCameraDistance) between the mono camera and a finger, which is calculated by the following equation.
(Wherein the finger width is the actual finger width of the user, the preview width is the width pixel value of the target image, the pixel distandce of finger width is the width pixel value of the fingertip area in the target image, and FOV is the viewing angle of the camera)
영상 처리 기술을 이용하여 상기 타겟 영상에서 상기 손가락 영역을 검출하는 손가락 영역 검출 모듈;
상기 손가락 영역에서 아다부스트 알고리즘을 이용하여 손가락 끝 영역을 검출하는 손가락 끝 영역 검출 모듈; 및
상기 손가락 끝 영역의 기준점 및 일 방향 길이를 이용하여 3차원 좌표값을 연산하는 3 차원 좌표 연산 모듈을 포함하되,
상기 손가락 영역 검출 모듈은 상기 타겟 영상에서 RGB 그레디언트 정보를 이용하여 상기 타겟 영상에서 모폴로지컬 그레디언트 이미지를 검출하고, YCbCr 컬러 정보를 이용하여 상기 타겟 영상에서 배경을 제거한 손가락 이미지를 검출하고, 상기 모폴로지컬 그레디언트 이미지와 상기 손가락 이미지를 결합하여 손가락 영역을 검출하는 모노 카메라에 입력된 손가락 영상을 이용하여 3차원 좌표를 생성하는 이동 단말기.A monochrome camera for acquiring a target image including a finger region;
A finger area detection module for detecting the finger area in the target image using an image processing technique;
A fingertip detection module for detecting a fingertip region in the finger region using an AdaBoost algorithm; And
And a three-dimensional coordinate calculation module for calculating a three-dimensional coordinate value using the reference point and the one-direction length of the fingertip region,
The finger region detection module detects a finger image to remove background from the target image based on the target video detecting Morphological gradient image in, and YC b C r color information using the RGB gradient information in the target image, And combining the morphological gradient image and the finger image to generate a three-dimensional coordinate using a finger image input to a mono camera detecting a finger region.
상기 손가락 영역 검출 모듈은 아래의 수식과 같이 R, G 및 B 각각의 채널에서 모폴로지컬 그레디언트의 최대값 픽셀만을 결합하여 모폴로지컬 그레디언트 이미지를 검출하는 모노 카메라에 입력된 손가락 영상을 이용하여 3차원 좌표를 생성하는 이동 단말기.
(여기서, i 및 j는 픽셀의 좌표를 의미하고, MGr는 R 채널에서 모폴로지컬 그레디언트가 최대인 픽셀, MGg는 G 채널에서 모폴로지컬 그레디언트가 최대인 픽셀, MGb는 B 채널에서 모폴로지컬 그레디언트가 최대인 픽셀임)10. The method of claim 9,
The finger area detection module detects the morphological gradient image by combining only the maximum value pixels of the morphological gradient in the channels of R, G, and B, respectively, according to the following equation: .
(Where i and j are the coordinates of the pixel, MG r is the pixel with the highest morphological gradient in the R channel, MG g is the pixel with the maximum morphological gradient in the G channel, MG b is the pixel with the highest morphological gradient in the B channel, The pixel with the largest gradient)
상기 손가락 영역 검출 모듈은
상기 타겟 영상을 RGB 컬러 모델에서 YCbCr 컬러로 변환하고, 상기 타겟 영상에 피부색의 임계치를 적용하고, 침식 및 팽창 연산을 통해 노이즈를 제거하여 상기 손가락 이미지를 검출하는 모노 카메라에 입력된 손가락 영상을 이용하여 3차원 좌표를 생성하는 이동 단말기.10. The method of claim 9,
The finger area detection module
Said target image in which a conversion from the RGB color model to a YC b C r color, and applies the threshold value of the skin color in the target image, by removing the noise through the erosion and expansion operations inputted to the mono-camera for detecting the finger image of the finger And generates three-dimensional coordinates using the image.
상기 3 차원 좌표 연산 모듈은
손가락 끝 영역의 기준점의 x좌표(Finger Region.x)를 이용하여 상기 3차원 좌표값 중 x좌표값을 연산하고, 상기 기준점의 y 좌표(Finger Region.y)를 이용하여 상기 3차원 좌표값 중 y좌표값을 연산하고,
상기 손가락 끝 영역의 너비(Finger Width) 또는 손가락 끝 영역의 높이(Finger Height)를 이용하여 상기 3차원 좌표값 중 z좌표값을 연산하는 모노 카메라에 입력된 손가락 영상을 이용하여 3차원 좌표를 생성하는 이동 단말기.10. The method of claim 9,
The three-dimensional coordinate calculation module
The x coordinate value of the three-dimensional coordinate value is calculated using the x-coordinate (Finger Region.x) of the reference point of the fingertip region, and the y coordinate of the reference point (Finger Region.y) calculates y coordinate values,
Dimensional coordinates using a finger image input to a mono camera that calculates a z coordinate value among the three-dimensional coordinate values using a finger width of the fingertip region or a finger height of the fingertip region .
상기 3차원 좌표값 중 x 좌표값(Finger Point(x))은 아래의 수식으로 연산되는 모노 카메라에 입력된 손가락 영상을 이용하여 3차원 좌표를 생성하는 이동 단말기.
Wherein the x coordinate value (Finger Point (x)) of the three-dimensional coordinate value is generated by using a finger image input to a mono camera calculated by the following equation.
상기 3차원 좌표값 중 y 좌표값(Finger Point(y))은 아래의 수식으로 연산되는 모노 카메라에 입력된 손가락 영상을 이용하여 3차원 좌표를 생성하는 이동 단말기.
Wherein the y coordinate value (Finger Point (y)) of the three-dimensional coordinate values is generated by using a finger image input to a mono camera calculated by the following equation.
상기 3차원 좌표값 중 z 좌표값은 아래의 수식으로 연산되는 상기 모노 카메라와 손가락의 거리(FingertoCameraDistance)를 이용하여 설정되는 모노 카메라에 입력된 손가락 영상을 이용하여 3차원 좌표를 생성하는 이동 단말기.
(여기서, finger width는 사용자의 실제 손가락 너비, preview width는 상기 타겟 영상의 너비 픽셀 값, pixel distandce of finger width는 상기 타겟 영상에서 상기 손가락 끝 영역의 너비 픽셀값, FOV는 카메라의 시야각임)14. The method of claim 13,
Wherein the z coordinate value of the three-dimensional coordinate value is generated using a finger image input to a mono camera set using a distance (FingertoCameraDistance) between the mono camera and a finger calculated by the following equation.
(Wherein the finger width is the actual finger width of the user, the preview width is the width pixel value of the target image, the pixel distandce of finger width is the width pixel value of the fingertip area in the target image, and FOV is the viewing angle of the camera)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR20140063397A KR101491413B1 (en) | 2014-05-27 | 2014-05-27 | Method for generating 3d coordinate using finger image from mono camera in terminal and mobile terminal for generating 3d coordinate using finger image from mono camera |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR20140063397A KR101491413B1 (en) | 2014-05-27 | 2014-05-27 | Method for generating 3d coordinate using finger image from mono camera in terminal and mobile terminal for generating 3d coordinate using finger image from mono camera |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020120086092A Division KR20140019950A (en) | 2012-08-07 | 2012-08-07 | Method for generating 3d coordinate using finger image from mono camera in terminal and mobile terminal for generating 3d coordinate using finger image from mono camera |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20140068842A KR20140068842A (en) | 2014-06-09 |
| KR101491413B1 true KR101491413B1 (en) | 2015-02-06 |
Family
ID=51124463
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR20140063397A KR101491413B1 (en) | 2014-05-27 | 2014-05-27 | Method for generating 3d coordinate using finger image from mono camera in terminal and mobile terminal for generating 3d coordinate using finger image from mono camera |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101491413B1 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017007229A1 (en) | 2015-07-06 | 2017-01-12 | 엘지이노텍(주) | Automatic water supply device |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101096807B1 (en) * | 2010-01-29 | 2011-12-22 | 주식회사 팬택 | Apparatus and Method for obtaining 3D location information |
-
2014
- 2014-05-27 KR KR20140063397A patent/KR101491413B1/en active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101096807B1 (en) * | 2010-01-29 | 2011-12-22 | 주식회사 팬택 | Apparatus and Method for obtaining 3D location information |
Non-Patent Citations (2)
| Title |
|---|
| 김장운, 김송국, 홍석주, 장한별, 이칠우, "HLF(Haar-like Feature)를 이용한 실시간 손 포즈 인식", 한국HCI학회 2007년도 학술대회, p.897-902, 2007년 2월. * |
| 김장운, 김송국, 홍석주, 장한별, 이칠우, "HLF(Haar-like Feature)를 이용한 실시간 손 포즈 인식", 한국HCI학회 2007년도 학술대회, p.897-902, 2007년 2월.* |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20140068842A (en) | 2014-06-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Memo et al. | Head-mounted gesture controlled interface for human-computer interaction | |
| Klein et al. | Parallel tracking and mapping on a camera phone | |
| US11037325B2 (en) | Information processing apparatus and method of controlling the same | |
| KR20140019950A (en) | Method for generating 3d coordinate using finger image from mono camera in terminal and mobile terminal for generating 3d coordinate using finger image from mono camera | |
| Kulshreshth et al. | Poster: Real-time markerless kinect based finger tracking and hand gesture recognition for HCI | |
| JP2018113021A (en) | Information processing apparatus and method for controlling the same, and program | |
| US10803604B1 (en) | Layered motion representation and extraction in monocular still camera videos | |
| EP3231175B1 (en) | System and method for processing depth images which capture an interaction of an object relative to an interaction plane | |
| KR20170036747A (en) | Method for tracking keypoints in a scene | |
| CN105809664B (en) | Method and device for generating three-dimensional image | |
| JP2009211563A (en) | Image recognition device, image recognition method, image recognition program, gesture operation recognition system, gesture operation recognition method, and gesture operation recognition program | |
| Akman et al. | Multi-cue hand detection and tracking for a head-mounted augmented reality system | |
| KR101465894B1 (en) | Mobile terminal for generating control command using marker put on finger and method for generating control command using marker put on finger in terminal | |
| KR101491413B1 (en) | Method for generating 3d coordinate using finger image from mono camera in terminal and mobile terminal for generating 3d coordinate using finger image from mono camera | |
| Fujishima et al. | Fingernail Detection Method from Hand Images including Palm. | |
| KR101909326B1 (en) | User interface control method and system using triangular mesh model according to the change in facial motion | |
| KR101396098B1 (en) | Method for generating 3d coordinate using finger image from mono camera in terminal and mobile terminal for generating 3d coordinate using finger image from mono camera | |
| KR101382806B1 (en) | Method for generating 3d coordinate using finger image from camera in terminal and mobile terminal for generating 3d coordinate using finger image from camera | |
| Hannuksela et al. | Face tracking for spatially aware mobile user interfaces | |
| KR101844367B1 (en) | Apparatus and Method for Head pose estimation using coarse holistic initialization followed by part localization | |
| KR101465896B1 (en) | Mobile terminal for generating control commands using front side camera and rear side camera | |
| KR20130081126A (en) | Method for hand-gesture recognition and apparatus thereof | |
| Lee et al. | Initializing markerless tracking using a simple hand gesture | |
| Soni et al. | Real-time hand tracking using integrated optical flow and CAMshift algorithm | |
| CN111368675A (en) | Method, device and equipment for processing gesture depth information and storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A107 | Divisional application of patent | ||
| A201 | Request for examination | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20180201 Year of fee payment: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20190104 Year of fee payment: 5 |