KR101414345B1 - Input device using camera and method thereof - Google Patents
Input device using camera and method thereof Download PDFInfo
- Publication number
- KR101414345B1 KR101414345B1 KR1020120056567A KR20120056567A KR101414345B1 KR 101414345 B1 KR101414345 B1 KR 101414345B1 KR 1020120056567 A KR1020120056567 A KR 1020120056567A KR 20120056567 A KR20120056567 A KR 20120056567A KR 101414345 B1 KR101414345 B1 KR 101414345B1
- Authority
- KR
- South Korea
- Prior art keywords
- pointer
- input
- display unit
- image
- setting
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
Abstract
본 발명은 카메라를 이용한 입력장치 및 그 방법에 관한 것이다.
본 발명에서는, 카메라 및 디스플레이부를 구비하고 있는 컴퓨팅장치에서, 사용자의 얼굴영상에서 적어도 하나의 특징점을 추출하여 상기 특징점 중 하나를 포인터영상으로 설정하기 위한 포인터영상 설정부와; 컴퓨팅장치에 데이터 입력 또는 제어명령을 입력하기 위한 입력명령 수단을 설정하기 위한 입력명령설정부와; 상기 카메라에 수신되는 사용자 얼굴영상 중 상기 포인터영상의 움직임을 추적하여 상기 디스플레이부에 상기 포인터영상의 움직임에 대응하는 움직임을 수행하는 포인터를 표시를 표시하기 위한 포인터표시부와; 상기 입력명령설정부에서 설정된 입력명령 수단을 입력하여 상기 컴퓨팅장치의 데이터입력 또는 제어명령을 수행하기 위한 입력명령수행부를 포함하는 카메라를 이용한 입력장치 및 그 방법이 제시된다.The present invention relates to an input device using a camera and a method thereof.
In the present invention, a computing device having a camera and a display unit includes a pointer image setting unit for extracting at least one feature point from a face image of a user and setting one of the feature points as a pointer image; An input command setting unit for setting input command means for inputting a data input or control command to the computing device; A pointer display unit for displaying a pointer on the display unit for tracking movement of the pointer image among user face images received by the camera and performing a movement corresponding to the movement of the pointer image; And an input instruction execution unit for inputting data or control instructions of the computing device by inputting the input instruction means set by the input instruction setting unit.
Description
본 발명은 카메라를 이용한 입력장치 및 그 방법에 관한 것이다. 더 상세하게는 카메라를 구비하고 있는 컴퓨팅장치에서 카메라로 촬영한 사용자 얼굴 영상을 이용하여 상기 컴퓨팅장치에 데이터를 입력하거나 제어명령을 입력시키기 위한 카메라를 이용한 입력장치 및 그 방법에 관한 것이다. The present invention relates to an input device using a camera and a method thereof. And more particularly, to an input device and a method using a camera for inputting data or a control command to the computing device using a user's face image captured by a camera in a computing device equipped with a camera.
퍼스널 컴퓨터 등의 입력장치는 키보드 및 마우스 등으로 구성되어 있다. 또한, 최근 터치 입력장치를 구비한 스마트폰 및 태블릿 PC 등이 보급되어 컴퓨팅장치가 모바일 및 소형화되었다. 상기 스마트폰 및 태블릿 PC는 표시장치에 터치스크린장치를 포함하도록 되어 있어 사용자의 손가락 등으로 터치스크린을 터치하여 데이터를 입력하거나 제어명령을 입력할 수 있다. 그러나 상기 퍼스널 컴퓨터와 같이 키보드 및 마우스를 사용하여 데이터 또는 제어명령을 입력하는 것은 키보드의 자판에 익숙하여야 하고, 특히 장애인 등에게는 사용이 제한적일 수 있다. 상기 터치스크린장치를 구비한 모바일 기기는 주로 손에 쥐고 사용하여야 하므로 사용자가 양손이 모두 사용 중일 경우에는 데이터 또는 제어명령을 입력할 수 없는 경우가 있다. 그리고 역시 장애인에게는 그 사용이 제한적일 수 있다.An input device such as a personal computer is composed of a keyboard and a mouse. In addition, recently, smartphones and tablet PCs equipped with touch input devices have become popular, and the computing devices have become mobile and miniaturized. The smartphone and the tablet PC include a touch screen device on the display device, and can input data or control commands by touching the touch screen with the user's finger or the like. However, inputting data or control commands using a keyboard and a mouse, such as the personal computer, must be familiar to the keyboard of a keyboard, and its use may be particularly limited to persons with disabilities. Since the mobile device having the touch screen device is mainly used in hand, it may not be able to input data or control commands when both hands are in use. Also, its use may be limited for people with disabilities.
상기의 문제점을 해결하기 위한 발명으로서, 대한민국 특허번호 제10-0843586호(등록일 2008년6월27일)에 “무접점 기능을 수행하는 장치 및 방법”이 공개되어 있다.As an invention for solving the above problems, Korean Patent No. 10-0843586 (published on June 27, 2008) discloses " an apparatus and method for performing a contactless function ".
상기 특허발명은, 촬상 기능이 구비된 디지털 처리 장치에 있어서, 외부 영상에 상응하는 영상 데이터를 생성하는 카메라부; 및 각 프레임 단위의 상기 영상 데이터에서 검출 영역의 면적을 검출하고, 연속된 둘 이상의 프레임을 비교하여 상기 검출 영역의 면적 변화를 인식하여 상응하는 변화 정보를 생성하여 출력하는 식별부를 포함하되, 상기 변화 정보에 의해 상기 디지털 처리 장치의 표시부에 표시되는 포인터의 이동폭이 결정되고, 상기 면적의 증가 또는 감소에 의해 상기 이동폭이 증감되도록 미리 지정되는 것을 특징으로 하는 디지털 처리 장치에 관한 발명이다.The patent invention relates to a digital processing apparatus having an image pickup function, the digital processing apparatus comprising: a camera unit for generating image data corresponding to an external image; And an identification unit for detecting the area of the detection area in the video data of each frame unit, comparing two or more consecutive frames, recognizing the area change of the detection area, and generating and outputting corresponding change information, The moving width of the pointer displayed on the display unit of the digital processing apparatus is determined by the information, and the moving width is increased or decreased by increasing or decreasing the area.
그러나 상기 특허발명은 손가락 등의 영상을 촬영하여 생성되는 영상데이터에서 검출영역의 면적을 검출하여 그 검출영역의 면적의 변화정보를 포인터의 이동폭으로 결정하는 것으로서, 손가락 등의 촬영면적이 작은 피사체를 움직여서 포인터의 이동폭으로 결정하여야 하므로 키패드를 직접 치는 것이나 큰 차이가 없고, 터치스크린장치를 구비한 모바일 기기에서는 그 활용도가 떨어지는 문제점이 있다.However, the patent invention detects the area of the detection area in the image data generated by photographing the image of the finger or the like and determines the change information of the area of the detection area as the movement width of the pointer. It is necessary to directly determine the moving width of the pointer, so that there is no significant difference between directly pressing the keypad and a problem that the utilization of the mobile device having the touch screen device is reduced.
따라서, 카메라를 구비한 컴퓨팅장치에서 손가락 등을 사용하지 않고 미리 설정된 포인터 영상의 움직임 궤적을 추적하여 표시장치의 포인터의 위치를 제어하고, 소리 등의 입력으로 데이터 입력 또는 제어명령의 입력 등을 수행할 수 있는 발명이 요망된다.Accordingly, in a computing device having a camera, a motion locus of a preset pointer image is tracked without using a finger or the like to control the position of a pointer of the display device, and data input or control command input An invention that can do this is desired.
본 발명은 종래기술의 문제점을 해결하기 위한 것으로서, 본 발명의 목적은 카메라를 구비하고 있는 컴퓨팅장치에서 카메라로 촬영한 사용자 얼굴 영상에서 특정 부위를 포인터 영상으로 설정하고, 사용자의 소리 등을 입력명령신호로 설정하여 사용자가 상기 컴퓨팅장치를 사용할 때 얼굴을 움직이는 것만으로도 포인터를 원하는 위치로 이동시키고 설정된 소리 등으로 데이터의 입력 및 제어명령의 입력을 수행할 수 있는 카메라를 이용한 입력장치 및 그 방법을 제공하는데 있다.An object of the present invention is to provide a computing device having a camera, in which a specific part of a user's face image captured by a camera is set as a pointer image, A signal input device for inputting data and a control command by moving a pointer to a desired position by moving a face when the user uses the computing device, .
상기 본 발명의 목적을 수행하기 위한 기술적 해결 수단으로서, 본 발명의 제1 관점으로는, 디스플레이부 및 카메라를 구비하고 있는 컴퓨팅장치에서, 상기 디스플레이부의 정보를 인식하고 인식된 상기 디스플레이부의 좌표를 설정하기 위한 디스플레이 정보인식부와, 상기 컴퓨팅장치에 구비된 카메라를 구동시키기 위한 카메라 구동부와, 상기 카메라로 촬영한 사용자의 얼굴영상에서 미리 설정된 부위의 특징점을 획득하여 저장하기 위한 얼굴영상 특징점 획득부와, 상기 사용자의 얼굴영상에서 획득한 특징점 중 하나를 포인터 영상으로 설정하기 위한 포인터영상 설정부와, 상기 디스플레이부에 표시된 포인터 위치에서 클릭 또는 터치를 제어하기 위한 입력명령 수단을 설정하기 위한 입력명령수단설정부와, 상기 카메라로 수신되는 사용자 얼굴 영상에서 상기 포인터 영상의 위치 정보를 기초로 상기 디스플레이부에 포인터를 표시시키기 위한 포인터표시부와, 상기 얼굴영상 특징점 획득부에서 획득하여 저장한 얼굴영상 특징점과 현재 카메라로 수신된 얼굴영상의 특징점을 비교하기 위한 얼굴영상 특징점비교부와, 상기 카메라로 수신되는 사용자 얼굴영상에서 설정된 포인터영상의 위치를 추적하기 위한 포인터영상 위치추적부와, 상기 입력명령수단 설정부에서 설정된 입력명령 수단을 수신하여 데이터 또는 제어의 입력명령을 수행하기 위한 입력명령수행부를 포함하는 카메라를 이용한 입력장치가 제시된다.As a technical solution for accomplishing the object of the present invention, in a first aspect of the present invention, in a computing apparatus having a display unit and a camera, coordinates of the display unit recognized are recognized A facial image feature point acquiring unit for acquiring and storing feature points of a predetermined region in a face image of a user photographed by the camera; A pointer image setting unit for setting one of the minutiae acquired from the face image of the user as a pointer image; and an input command unit for setting an input command unit for controlling click or touch at a pointer position displayed on the display unit A setting unit, and a user terminal A pointer display unit for displaying a pointer on the display unit based on the positional information of the pointer image in the image, and a feature point comparing unit for comparing the feature point of the face image acquired by the face image feature point acquiring unit and the face image received by the current camera A pointer image position tracking unit for tracking the position of the pointer image set in the user face image received by the camera; and a controller for receiving the input command unit set by the input command setting unit and outputting the data, And an input instruction execution unit for executing an input instruction of the control.
또한, 본 발명의 제2 관점으로는, 디스플레이부 및 카메라를 구비하고 있는 컴퓨팅장치에서, 상기 컴퓨팅장치의 디스플레이부의 정보를 인식하고, 상기 인식된 디스플레이부 정보를 기초로 이에 매칭되는 좌표를 설정하기 위한 디스플레이부 정보 인식 및 좌표설정단계와; 상기 카메라로 수신되는 사용자의 얼굴 영상에서 특정 부위를 포인터 영상으로 설정하는 단계와; 상기 디스플레이부에 표시된 포인터 위치에서 클릭 또는 터치를 제어하기 위한 입력명령 수단을 설정하기 위한 입력명령수단설정단계와; 현재 카메라로 수신되는 사용자의 얼굴 영상 중 상기 포인터 영상의 위치를 추적하는 단계와; 상기 추적된 포인터 영상의 위치의 좌표를 인식하여 상기 디스플레이부에 포인터를 표시하는 단계와; 상기 포인터 영상의 움직임 궤적을 추적하는 단계와; 상기 추적되는 포인터 영상의 움직임 궤적의 좌표들을 인식하여 상기 디스플레이부에 상기 인식된 좌표들을 따라 포인터를 이동시키는 단계와; 설정된 입력명령 수단이 수신되는지를 판단하는 단계와; 상기 입력명령 수단이 수신되면 상기 포인터의 위치에서 입력명령을 수행하는 단계를 포함하는 카메라를 이용한 입력방법이 제시된다. According to a second aspect of the present invention, there is provided a computer apparatus having a display unit and a camera, the computer apparatus comprising: a display unit that recognizes information on a display unit of the computing device, A display unit information recognition and coordinate setting step of; Setting a specific region of the user's face image received by the camera as a pointer image; An input command setting step of setting an input command means for controlling a click or a touch at a pointer position displayed on the display unit; Tracking the position of the pointer image in a face image of a user currently received by a camera; Recognizing a coordinate of a position of the tracked pointer image and displaying a pointer on the display unit; Tracking a motion locus of the pointer image; Recognizing coordinates of movement trajectories of the tracked pointer image and moving the pointer along the recognized coordinates to the display unit; Determining whether a set input command means is received; And performing an input command at the position of the pointer when the input command means is received.
본 발명에 의하면, 카메라를 구비하고 있는 컴퓨팅장치에서 카메라로 촬영한 사용자 얼굴 영상에서 특정 부위를 포인터 영상으로 설정하고, 사용자의 소리 등을 입력명령신호로 설정하여 사용자가 상기 컴퓨팅장치를 사용할 때 얼굴을 움직이는 것만으로도 포인터를 원하는 위치로 이동시키고 설정된 소리 등으로 데이터의 입력 및 제어명령의 입력을 수행할 수 있는 효과가 있다.According to the present invention, in a computing device having a camera, a specific part of a user's face image captured by a camera is set as a pointer image, a sound of a user is set as an input command signal, It is possible to move the pointer to a desired position and to input data and control commands with a set sound or the like.
도 1은 본 발명의 카메라를 이용한 입력장치의 실시예에 관한 개략적인 구성도이다.
도 2는 본 발명의 본 발명의 카메라를 이용한 입력방법의 실시예를 설명하기 위한 흐름도이다.
도 3은 본 발명의 본 발명의 카메라를 이용한 입력방법의 실시예에서 포인터 영상을 설정하는 실시예를 설명하기 위한 흐름도이다.1 is a schematic block diagram of an embodiment of an input device using a camera of the present invention.
2 is a flowchart for explaining an embodiment of the input method using the camera of the present invention of the present invention.
3 is a flowchart for explaining an embodiment of setting a pointer image in the embodiment of the input method using the camera of the present invention of the present invention.
이하에서, 본 발명의 실시예에 관한 발명의 구성을 첨부한 도면을 참조하면서 상세히 설명하기로 한다. 도 1은 본 발명의 카메라를 이용한 입력장치의 실시예에 관한 개략적인 구성도이다. 도 1에 도시한 바와 같이, 본 발명의 카메라를 이용한 입력장치는, 카메라, 디스플레이부 및 입력장치를 구비하고 있는 컴퓨팅장치에서, 상기 입력장치는, 상기 디스플레이부의 정보를 인식하고 인식된 상기 디스플레이부의 좌표를 설정하기 위한 디스플레이 정보인식부(10)와, 상기 컴퓨팅장치에 구비된 카메라를 구동시키기 위한 카메라 구동부(20)와, 상기 카메라로 촬영한 사용자의 얼굴 영상에서 미리 설정된 부위의 특징점을 획득하여 저장하기 위한 얼굴영상 특징점 획득부(30)와, 상기 사용자의 얼굴영상에서 획득한 특징점 중 하나를 포인터 영상으로 설정하기 위한 포인터영상 설정부(40)와, 상기 디스플레이부에 표시된 포인터 위치에서 클릭 또는 터치를 제어하기 위한 입력명령 수단을 설정하기 위한 입력명령수단설정부(50)와, 상기 카메라로 수신되는 사용자 얼굴영상에서 설정된 포인터영상의 위치를 추적하기 위한 포인터영상 위치추적부(60)와, 상기 카메라로 수신되는 사용자 얼굴 영상에서 상기 포인터 영상의 위치 정보를 기초로 상기 디스플레이부에 포인터를 표시시키기 위한 포인터표시부(70)와, 상기 얼굴영상 특징점 획득부(30)에서 획득하여 저장한 얼굴영상 특징점과 현재 카메라로 수신된 얼굴영상의 특징점을 비교하기 위한 얼굴영상 특징점비교부(80)와, 상기 입력명령수단 설정부(50)에서 설정된 입력명령 수단을 수신하여 데이터 또는 제어의 입력명령을 수행하기 위한 입력명령수행부(90)를 포함하는 구성이다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, the structure of the invention according to an embodiment of the present invention will be described in detail with reference to the accompanying drawings. 1 is a schematic block diagram of an embodiment of an input device using a camera of the present invention. 1, an input device using a camera according to the present invention is a computing device having a camera, a display unit, and an input device. The input device recognizes the information on the display unit, A camera driver 20 for driving a camera included in the computing device, and a feature point acquiring unit for acquiring feature points of a predetermined region in a face image of a user photographed by the camera, A pointer image setting unit 40 for setting one of the minutiae acquired from the face image of the user as a pointer image and a pointer image setting unit 40 for clicking or clicking at the pointer position displayed on the display unit. An input command setting unit 50 for setting input command means for controlling the touch, A pointer image position tracking unit 60 for tracking the position of the pointer image set in the user face image to be displayed; and a pointer display unit for displaying the pointer on the display unit based on the position information of the pointer image in the user face image received by the camera A facial image feature point comparator 80 for comparing facial image feature points acquired and stored by the facial image feature point acquiring unit 30 with feature points of a face image received by the current camera, And an input command execution unit (90) for receiving input command means set by the input command means setting unit (50) and executing an input command of data or control.
상기 디스플레이 정보인식부(10)는, 사용중인 컴퓨팅장치의 디스플레이부의 가로 및 세로 사이즈에 관한 정보, 예를 들면 가로 세로 픽셀수에 관한 정보를 인식한다. 상기 인식된 디스플레이부의 가로세로 픽셀수의 정보를 기초로 미리 설정된 단위로 디스플레이부 전체에 대한 x축 및 y축 좌표를 설정하여 저장한다. The display information recognizing unit 10 recognizes information on the horizontal and vertical sizes of the display unit of the computing device in use, for example, information on the number of horizontal and vertical pixels. And sets and stores x-axis and y-axis coordinates for the entire display unit in a preset unit based on the information of the number of the horizontal and vertical pixels of the recognized display unit.
상기 얼굴영상 특징점획득부(30)는, 우선, 촬영 영상에서 얼굴영역을 검출한다. 촬영 영상에서 얼굴영역을 검출하는 방법은 다양한 방법이 공지되어 있다. 예를 들면 컬러 세그멘테이션, 템플릿매칭 등의 알고리즘을 적용할 수 있다. 본 발명에서는 촬영영상에서 정확한 얼굴영역을 검출할 수 있도록 디스플레이부에 얼굴영역 촬영 영역 표시를 출력시켜 사용자가 그 표시된 영역에 얼굴을 위치시키도록 할 수 있다. 다음으로 검출된 얼굴영역에서 특징점을 추출하여 획득한다. 얼굴영역에서 특징점을 추출하는 것은 얼굴 인식 알고리즘을 사용하여 수행할 수 있다. 예를 들면, 얼굴 인식을 위해서는 PCA(Principal Component Analysis)에 기반을 둔 Eigenface와 LDA(Linear Discriminant Analysis)에 기반을 둔 Fisherface를 비교하여 구현할 수 있다.The facial image feature point obtaining unit 30 first detects the face region in the photographed image. Various methods are known for detecting a face region in a photographed image. For example, algorithms such as color segmentation and template matching can be applied. According to the present invention, the face region photographing region display is outputted to the display unit so that the correct face region can be detected from the photographed image, so that the user can place the face in the displayed region. Next, feature points are extracted from the detected face region and acquired. Extracting feature points from the face region can be performed using a face recognition algorithm. For example, face recognition can be implemented by comparing Eigenface based on PCA (Principal Component Analysis) and Fisherface based on LDA (Linear Discriminant Analysis).
특징점 추출을 위해, 얼굴영상 중 미리 설정된 부위들, 예를 들면 코, 입, 눈 및 얼굴 윤곽 및 인중길이 등을 특징점으로 획득하여 저장한다. In order to extract feature points, predetermined portions of the facial image, such as nose, mouth, eye and face contour, and the full length, are acquired and stored as feature points.
본 발명의 포인터영상 설정부(40)는, 상기 사용자의 얼굴 영상에서 획득한 특징점 중 하나를 포인터영상으로 사용할 수 있다. 바람직하게는 사용자의 얼굴영상의 특징점 중 코를 포인터영상으로 설정하는 것이 좋다. 얼굴의 정 중앙 위에 위치하기 때문에 포인터로써 활용하는 데 유리하다. The pointer image setting unit 40 of the present invention may use one of the minutiae acquired from the face image of the user as a pointer image. Preferably, the nose of the feature points of the face image of the user is set as the pointer image. It is advantageous to use it as a pointer because it is located above the center of the face.
본 발명의 입력명령수단 설정부(50)는, 상기 얼굴영상 특징점획득부(30)에서 획득한 사용자의 특징점 중 포인터영상으로 설정된 것을 제외한 하나의 움직임으로 설정할 수 있다. 그러나, 하나의 얼굴영상에서 포인터영상과 입력명령수단을 동시에 두면, 입력명령수단의 움직임으로 인해 디스플레이부에서 포인터영상의 위치가 변경될 우려가 있다. 본 발명에서는 상기 입력명령 수단의 바람직한 실시예로, 사용자의 소리를 사용할 수 있다. 상기 컴퓨팅장치에 음성수신수단이 구비되어 있는 상태에서 예를 들면, 사용자가 “후~” 소리를 입력명령수단으로 설정할 수 있다.The input instruction means setting unit 50 of the present invention may set a motion of the user's feature points acquired by the face image feature point obtaining unit 30, However, if the pointer image and the input command means are simultaneously placed in one face image, the position of the pointer image in the display unit may be changed due to the movement of the input command means. In the present invention, a sound of a user may be used as a preferred embodiment of the input command means. For example, the user can set a "after" sound as an input command means in a state where the computing device is provided with the voice receiving means.
본 발명의 포인터영상 위치추적부(60)는, 컴퓨팅장치를 사용하는 사용자 얼굴영상은 상기 카메라에 계속 수신되고 있고, 상기 얼굴영상 특징점 획득부(30)에서 수신되는 영상에서 얼굴영역을 검출하고 포인터영상으로 설정된 특징점, 예를 들면 사용자의 코의 디스플레이부에서의 위치를 인식한다. 인식된 코의 위치에서 사용자가 얼굴을 움직이거나 또는 사용자 얼굴은 움직이지 않고 컴퓨팅장치를 움직여 디스플레이부 내에서의 사용자 얼굴 위치가 이동되도록 하면, 사용자의 코의 이동 궤적을 추적하고, 상기 디스플레이 정보인식부에서 설정된 디스플레이부의 좌표정보를 기초로 사용자 코의 이동 궤적을 좌표로서 계산한다.The pointer image position tracking unit 60 of the present invention detects the face area in the image received by the face image feature point obtaining unit 30 while the user face image using the computing device is continuously received by the camera, For example, a position on the display unit of the user's nose. Tracking the movement trajectory of the user's nose when the user moves the computing device without moving the face or moving the user's face in the position of the recognized nose to move the user's face in the display unit, And calculates the movement trajectory of the user's nose as coordinates based on the coordinate information of the display unit set by the user.
본 발명의 포인터 표시부(70)는, 상기 포인터영상 위치추적부(60)서 계산한 포인터영상의 위치 및 이동궤적의 좌표값에 따라 디스플레이부에서 사용자가 확인할 수 있도록 표시시킨다. 이렇게 구성함으로써, 사용자 얼굴영상에서 포인터영상의 이동궤적과 정지 위치가 곧 디스플레이부상의 포인터의 이동 및 정지 위치로 표시된다.The pointer display unit 70 of the present invention displays the pointer image on the display unit so that the pointer can be viewed by the user according to the position of the pointer image calculated by the pointer image position tracking unit 60 and the coordinate value of the movement locus. With this configuration, the movement trajectory and the stop position of the pointer image in the user face image are displayed as the movement and stop positions of the pointer on the display unit.
본 발명의 얼굴영상 특징점 비교부(80)는, 사용자가 컴퓨팅장치를 타인이 사용하지 못하도록 하고자 할 경우에 유용하다. 현재 컴퓨팅장치를 사용하는 현 사용자의 얼굴영상을 수신하여 특징점을 추출하고, 저장되어 있는 사용자의 얼굴영상의 특징점과 비교하여 동일하면 상기 포인터영상 위치추적부(60) 및 포인터 표시부(70)를 구동시키고, 비교 특징점이 다르면 구동시키지 않도록 구성할 수 있다. 또한, 다른 예로서, 비교 특징점이 다르면 상기 입력명령 수행부(90)만의 구동을 정지시키도록 구성할 수 있다.The facial image feature point comparator 80 of the present invention is useful when the user wants to prevent the use of a computing device by a user. The face image of the current user using the current computing device is received and the minutiae point is extracted and compared with the minutiae of the stored face image of the user, the pointer image position tracking unit 60 and the pointer display unit 70 are driven And if the comparison feature points are different, it can be configured not to be driven. As another example, if the comparison feature points are different, the driving of only the input
본 발명의 입력명령 수행부(90)는, 상기 디스플레이부상에서 데이터를 입력하거나제어명령을 입력하고자 할 경우, 상기 포인터영상을 이동시켜 디스플레이상의 포인터를 원하는 위치로 이동한 후, 설정되어 있는 입력명령 수단이 입력되면, 컴퓨팅장치의 입력장치가 입력된 것과 같이 예를 들면, 클릭 또는 터치행위가 수행되었을 때 컴퓨팅장치를 제어신호가 입력되는 것과 같이 구성할 수 있다.The input
도 2는 본 발명의 본 발명의 카메라를 이용한 입력방법의 실시예를 설명하기 위한 흐름도이다. 도 2에 도시한 바와 같이, 본 발명의 카메라를 이용한 입력방법은, 디스플레이부 및 카메라를 구비하고 있는 컴퓨팅장치에서, 상기 컴퓨팅장치의 디스플레이부의 정보를 인식하고, 상기 인식된 디스플레이부 정보를 기초로 이에 매칭되는 좌표를 설정하기 위한 디스플레이부 정보 인식 및 좌표설정단계(S100)와;2 is a flowchart for explaining an embodiment of the input method using the camera of the present invention of the present invention. As shown in FIG. 2, the input method using a camera of the present invention, in a computing apparatus having a display unit and a camera, recognizes information of a display unit of the computing device, and based on the recognized display unit information A display unit information recognition and coordinate setting step (S100) for setting coordinates to be matched thereto;
상기 카메라로 수신되는 사용자의 얼굴 영상에서 특정 부위를 포인터 영상으로 설정하는 단계(S200)와; A step S200 of setting a specific part of the user's face image received by the camera as a pointer image;
상기 디스플레이부에 표시된 포인터 위치에서 클릭 또는 터치를 제어하기 위한 입력명령 수단을 설정하기 위한 입력명령수단설정단계(S300)와; An input command setting step (S300) for setting an input command means for controlling a click or a touch at a pointer position displayed on the display unit;
현재 카메라로 수신되는 사용자의 얼굴 영상 중 상기 포인터 영상의 위치를 추적하는 단계(S400)와; A step (S400) of tracking the position of the pointer image among a user's face image received by the current camera;
상기 추적된 포인터 영상의 위치의 좌표를 인식하여 상기 디스플레이부에 포인터를 표시하는 단계(S500)와; Recognizing coordinates of a position of the tracked pointer image and displaying a pointer on the display unit (S500);
상기 포인터 영상의 움직임 궤적을 추적하는 단계(S600)와; A step (S600) of tracking a motion locus of the pointer image;
상기 추적되는 포인터 영상의 움직임 궤적의 좌표들을 인식하여 상기 디스플레이부에 상기 인식된 좌표들을 따라 포인터를 이동시키는 단계(S700)와; (S700) of recognizing coordinates of the motion locus of the tracked pointer image and moving the pointer along the recognized coordinates to the display unit;
설정된 입력명령 수단이 수신되는지를 판단하는 단계(S800)와; A step (S800) of judging whether a set input command means is received;
상기 입력명령 수단이 수신되면 상기 포인터의 위치에서 입력명령을 수행하는 단계(S900)를 포함하는 구성이다.And performing an input command at the position of the pointer when the input command means is received (S900).
상기 디스플레이부 정보인식 및 좌표설정단계(S100) 및 상기 입력명령설정단계(S300) 내지 상기 입력명령을 수행하는 단계(S900)은 상술한 본 발명의 컴퓨터를 이용한 입력장치의 해당 구성의 작용 설명과 같은 취지의 작용 설명이므로, 그 설명을 생략하기로 한다. The display unit information recognition and coordinate setting step (S100) and the input command setting step (S300) to the input command execution step (S900) are the same as the operation description of the corresponding configuration of the computer- The description of the operation of the same effect will be omitted.
도 3은 본 발명의 본 발명의 카메라를 이용한 입력방법의 실시예에서 포인터 영상을 설정하는 단계의 실시예를 설명하기 위한 흐름도이다. 도 3에 도시한 바와 같이, 본 발명의 포인터영상 설정단계(S200)는, 상기 디스플레이부에 얼굴 영상 촬영 영역을 표시하는 단계(S210)와; 상기 디스플레이부의 얼굴 촬영 영역에서 촬영된 사용자의 얼굴 영상을 수신하여 적어도 하나의 설정된 부위의 특징점을 획득하여 저장하는 단계(S220)와; 상기 획득한 얼굴 영상의 적어도 하나의 특징점 중 하나를 포인터영상으로 설정하는 단계(S230)를 포함하는 구성이다.FIG. 3 is a flowchart for explaining an embodiment of a step of setting a pointer image in the embodiment of the input method using the camera of the present invention of the present invention. As shown in FIG. 3, the pointer image setting step S200 of the present invention includes: displaying a face image photographing region on the display unit S210; A step S220 of receiving a facial image of a user photographed in a facial photographing area of the display unit to acquire and store feature points of at least one set site; And setting one of at least one feature point of the obtained face image as a pointer image (S230).
또한, 현재 카메라로부터 수신되는 얼굴영상의 특징점을 획득하고, 상기 사용자의 얼굴영상에서 획득하여 저장된 특징점을 비교하는 특징점비교단계를 더 포함할 수 있다.The method may further include a feature point comparing step of obtaining feature points of the face image received from the current camera and comparing the acquired feature points with the acquired face images of the user.
또한, 상기 포인터영상 설정단계(S200)는 카메라에 수신되는 사용자의 얼굴영상을 사용하는 것으로 설명되었지만, 이에 한정되는 것은 아니다. 예를 들면, 이미 촬영되어 컴퓨팅장치에 저장된 얼굴영상을 사용할 수도 있고, 또한, 외부저장장치로부터 얼굴영상을 수신하여 포인터영상을 설정할 수도 있다.In addition, although the pointer image setting step S200 has been described as using the face image of the user received by the camera, the present invention is not limited thereto. For example, a face image already captured and stored in the computing device may be used, or a face image may be set by receiving a face image from an external storage device.
이상에서 설명한 본 발명의 카메라를 이용한 입력장치 및 그 방법의 실시예는 본 발명의 다양한 실시예 중 일부에 불과하다. 본 발명의 기술적 사상에 포함되는, 카메라 및 디스플레이부를 구비하고 있는 컴퓨팅장치에서, 사용자의 얼굴영상에서 특징점을 추출하고, 추출된 특징점 중 하나를 포인터영상으로 설정하고, 컴퓨팅장치의 입력명령 수단을 설정하고, 컴퓨팅장치를 사용할 때, 카메라에 수신되는 사용자 얼굴영상 중 상기 포인터영상의 움직임을 추적하여 디스플레이부에 포인터를 표시하고, 입력명령 수단의 입력으로 컴퓨팅장치를 제어하는 입력장치 및 그 방법에 포함되는 다양한 실시예가 본 발명의 보호범위에 포함되는 것은 당연하다. The above-described embodiments of the input device using a camera and the method thereof according to the present invention are only a part of various embodiments of the present invention. In the computing device having the camera and the display unit included in the technical idea of the present invention, a feature point is extracted from a face image of a user, one of the extracted feature points is set as a pointer image, An input device for tracking the movement of the pointer image among the user's face images received by the camera and displaying a pointer on the display unit and controlling the computing device as an input of the input instruction unit when the computing device is used; It will be understood that various changes and modifications may be made without departing from the spirit and scope of the invention as defined by the appended claims.
10 : 디스풀레이 정보인식부
20 : 카메라 구동부
30 : 얼굴영상 특징점획득부
40 : 포인터영상 설정부
50 : 입력명령 설정부
60 : 포인터영상 위치추적부
70 : 포인터표시부
80 : 얼굴영상 특징점 비교부
90 : 입력명령 수행부10: Dispaly information recognition unit
20: camera driver
30: face image feature point acquiring unit
40: Pointer image setting section
50: Input command setting section
60: Pointer image position tracking unit
70: Pointer display
80: facial image feature point comparator
90: Input command execution unit
Claims (10)
사용자의 얼굴영상에서 적어도 하나의 특징점을 추출하여 상기 특징점 중 하나를 포인터영상으로 설정하기 위한 포인터영상 설정부와;
상기 컴퓨팅장치의 음성수신수단으로 입력되는 사용자의 특정 소리를 입력명령 수단으로 설정하여 상기 컴퓨팅장치에 데이터 입력 또는 제어명령을 입력하기 위한 입력명령 수단을 설정하기 위한 입력명령설정부와;
상기 카메라에 수신되는 사용자 얼굴영상 중 상기 포인터영상의 움직임을 추적하여 상기 디스플레이부에 상기 포인터영상의 움직임에 대응하는 움직임을 수행하는 포인터를 표시하기 위한 포인터표시부와;
상기 입력명령설정부에서 설정된 입력명령 수단을 입력하여 상기 컴퓨팅장치의 데이터입력 또는 제어명령을 수행하기 위한 입력명령수행부를 포함하는 카메라를 이용한 입력장치.In a computing device having a camera and a display unit,
A pointer image setting unit for extracting at least one feature point from a user's face image and setting one of the feature points as a pointer image;
An input command setting unit for setting an input command means for inputting a data input or a control command to the computing device by setting a specific sound of a user input to the voice receiving means of the computing device as input command means;
A pointer display unit for displaying a pointer for tracking a movement of the pointer image among user face images received by the camera and performing a movement corresponding to the motion of the pointer image on the display unit;
And an input instruction execution unit for inputting input instruction means set by the input instruction setting unit and executing data input or control instruction of the computing device.
상기 입력장치는,
상기 디스플레이부의 정보를 인식하고 인식된 상기 디스플레이부의 좌표를 설정하기 위한 디스플레이 정보인식부와;
사용자의 얼굴 영상에서 미리 설정된 부위의 적어도 하나의 특징점을 획득하여 저장하기 위한 얼굴영상 특징점 획득부와;
상기 사용자의 얼굴영상에서 획득한 특징점 중 하나를 포인터 영상으로 설정하기 위한 포인터영상 설정부와;
상기 디스플레이부에 표시된 포인터 위치에서 데이터입력 또는 제어명령의 입력을 제어하기 위한 입력명령 수단을 설정하기 위한 입력명령설정부와;
상기 카메라로 수신되는 사용자 얼굴영상에서 설정된 포인터영상의 위치를 추적하기 위한 포인터영상 위치추적부와;
상기 카메라로 수신되는 사용자 얼굴 영상에서 상기 포인터 영상의 위치 정보를 기초로 상기 디스플레이부에 포인터를 표시시키기 위한 포인터표시부와;
상기 입력명령 설정부에서 설정된 입력명령 수단을 수신하여 데이터 또는 제어의 입력명령을 수행하기 위한 입력명령수행부를 포함하고;
상기 디스플레이 정보인식부는,
사용중인 컴퓨팅장치의 디스플레이부의 가로 및 세로 사이즈에 관한 정보를 인식하고, 상기 인식된 디스플레이부의 정보를 기초로 디스플레이부 전체에 대한 x축 및 y축 좌표를 설정하는 것을 특징으로 하는 카메라를 이용한 입력장치.In a computing device having a camera, a display, and an input device,
The input device includes:
A display information recognizing unit for recognizing information of the display unit and setting coordinates of the recognized display unit;
A face image feature point acquiring unit for acquiring and storing at least one feature point of a predetermined region in a face image of a user;
A pointer image setting unit for setting one of the minutiae acquired from the face image of the user as a pointer image;
An input command setting unit for setting input command means for controlling data input or control command input at a pointer position displayed on the display unit;
A pointer image position tracking unit for tracking a position of a pointer image set in a user face image received by the camera;
A pointer display unit for displaying a pointer on the display unit based on positional information of the pointer image in a face image received by the camera;
And an input instruction execution unit for receiving input instruction means set by the input instruction setting unit and executing an input instruction of data or control;
The display information recognizing unit,
Recognizes information on the horizontal and vertical sizes of the display unit of the computing device in use and sets the x-axis and y-axis coordinates for the entire display unit based on the recognized information of the display unit. .
현재 카메라로부터 수신되는 얼굴영상의 특징점을 획득하고, 상기 사용자의 얼굴영상에서 획득하여 저장된 특징점을 비교하기 위한 특징점비교부를 더 포함하는 카메라를 이용한 입력장치.The method according to claim 1 or 2,
Further comprising a feature point comparing unit for obtaining feature points of the face image received from the current camera and comparing the feature points acquired and stored in the user's face image.
상기 디스플레이 정보인식부는,
사용중인 컴퓨팅장치의 디스플레이부의 가로 및 세로 사이즈에 관한 정보를 인식하고, 상기 인식된 디스플레이부의 정보를 기초로 디스플레이부 전체에 대한 x축 및 y축 좌표를 설정하는 것을 특징으로 하는 카메라를 이용한 입력장치.The method according to claim 1,
The display information recognizing unit,
Recognizes information on the horizontal and vertical sizes of the display unit of the computing device in use and sets the x-axis and y-axis coordinates for the entire display unit based on the recognized information of the display unit. .
상기 입력명령설정부는,
상기 컴퓨팅장치의 음성수신수단으로 입력되는 사용자의 특정 소리를 입력명령 수단으로 설정하는 것을 특징으로 하는 카메라를 이용한 입력장치. The method of claim 2,
Wherein the input instruction setting unit comprises:
Wherein a specific sound of a user input to the voice receiving means of the computing device is set as an input command means.
상기 포인터영상은 사용자 얼굴영상 중 코의 영상인 것을 특징으로 하는 카메라를 이용한 입력장치.The method according to claim 1 or 2,
Wherein the pointer image is a nose image of a user's face image.
상기 컴퓨팅장치에서 사용자의 얼굴영상에서 적어도 하나의 특징점을 추출하여 상기 특징점 중 하나를 포인터영상으로 설정하는 포인터영상 설정단계와;
상기 컴퓨팅장치의 음성수신수단으로 입력되는 사용자의 특정 소리를 입력명령 수단으로 설정하여 상기 컴퓨팅장치에 데이터 입력 또는 제어명령을 입력하기 위한 입력명령 수단을 설정하는 입력명령수단 설정단계와;
상기 카메라에 수신되는 사용자 얼굴영상 중 상기 포인터영상의 움직임을 추적하여 상기 디스플레이부에 상기 포인터영상의 움직임에 대응하는 움직임을 수행하는 포인터를 표시하는 포인터표시단계와;
상기 설정된 입력명령 수단을 입력하여 상기 컴퓨팅장치의 데이터입력 또는 제어명령을 수행시키는 입력명령 수행단계를 포함하는 카메라를 이용한 입력방법.A method of inputting a computing device having a camera and a display unit,
A pointer image setting step of extracting at least one feature point from a user's face image in the computing device and setting one of the feature points as a pointer image;
An input command setting step of setting an input command means for inputting a data input or a control command to the computing device by setting a specific sound of a user input to the voice receiving means of the computing device as input command means;
A pointer display step of displaying a pointer on the display unit for tracking a movement of the pointer image among user face images received by the camera and performing a movement corresponding to the movement of the pointer image;
And an input command execution step of inputting the set input command means and executing a data input or control command of the computing device.
상기 컴퓨팅장치의 디스플레이부의 가로 및 세로 사이즈에 관한 정보를 인식하고, 상기 인식된 디스플레이부의 정보를 기초로 디스플레이부 전체에 대한 x축 및 y축 좌표를 설정하는 디스플레이부 정보 인식 및 좌표설정단계와;
사용자의 얼굴 영상에서 특정 부위를 포인터 영상으로 설정하는 단계와;
상기 디스플레이부에 표시된 포인터 위치에서 데이터입력 또는 제어명령의 입력을 제어하기 위한 입력명령 수단을 설정하기 위한 입력명령설정단계와;
상기 카메라로부터 수신되는 사용자의 얼굴 영상 중 상기 포인터 영상의 위치를 추적하는 단계와;
상기 추적된 포인터 영상의 위치의 좌표를 인식하여 상기 디스플레이부에 포인터를 표시하는 단계와;
상기 포인터 영상의 움직임 궤적을 추적하는 단계와;
상기 추적되는 포인터 영상의 움직임 궤적의 좌표들을 인식하여 상기 디스플레이부에 상기 인식된 좌표들을 따라 포인터를 이동시키는 단계와;
설정된 입력명령 수단이 수신되는지를 판단하는 단계와;
상기 입력명령 수단이 수신되면 상기 포인터의 위치에서 입력명령을 수행하는 단계를 포함하는 카메라를 이용한 입력방법.A method of inputting a computing device having a camera and a display unit,
A display unit information recognition and coordinate setting step of recognizing information on the horizontal and vertical sizes of the display unit of the computing device and setting x-axis and y-axis coordinates of the entire display unit based on the recognized information of the display unit;
Setting a specific region of the face image of the user as a pointer image;
An input command setting step of setting an input command means for controlling data input or control command input at a pointer position displayed on the display unit;
Tracking the position of the pointer image among the face images of the user received from the camera;
Recognizing a coordinate of a position of the tracked pointer image and displaying a pointer on the display unit;
Tracking a motion locus of the pointer image;
Recognizing coordinates of movement trajectories of the tracked pointer image and moving the pointer along the recognized coordinates to the display unit;
Determining whether a set input command means is received;
And performing an input command at a position of the pointer when the input command means is received.
상기 포인터 영상으로 설정하는 단계는,
상기 사용자의 얼굴 영상에서 설정된 부위의 적어도 하나의 특징점을 획득하여 저장하는 단계와; 상기 획득한 적어도 하나의 특징점 중 하나를 포인터영상으로 설정하는 단계를 포함하는 것을 특징으로 하는 카메라를 이용한 입력방법.The method of claim 8,
Wherein the setting of the pointer image comprises:
Acquiring and storing at least one feature point of the set part in the face image of the user; And setting one of the acquired at least one feature point as a pointer image.
현재 카메라로부터 수신되는 얼굴영상의 특징점을 획득하고, 상기 사용자의 얼굴영상에서 획득하여 저장된 특징점을 비교하는 특징점비교단계를 더 포함하는 카메라를 이용한 입력방법.The method according to claim 7 or 9,
And a feature point comparing step of obtaining feature points of the face image received from the current camera and comparing the acquired feature points with the acquired face images of the user.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020120056567A KR101414345B1 (en) | 2012-05-29 | 2012-05-29 | Input device using camera and method thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020120056567A KR101414345B1 (en) | 2012-05-29 | 2012-05-29 | Input device using camera and method thereof |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20130133378A KR20130133378A (en) | 2013-12-09 |
| KR101414345B1 true KR101414345B1 (en) | 2014-07-01 |
Family
ID=49981362
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020120056567A KR101414345B1 (en) | 2012-05-29 | 2012-05-29 | Input device using camera and method thereof |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101414345B1 (en) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011053747A (en) * | 2009-08-31 | 2011-03-17 | Nec Corp | Pointing device, pointing method, and program |
-
2012
- 2012-05-29 KR KR1020120056567A patent/KR101414345B1/en not_active IP Right Cessation
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011053747A (en) * | 2009-08-31 | 2011-03-17 | Nec Corp | Pointing device, pointing method, and program |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20130133378A (en) | 2013-12-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9448635B2 (en) | Rapid gesture re-engagement | |
| KR101603017B1 (en) | Gesture recognition device and gesture recognition device control method | |
| US9940507B2 (en) | Image processing device and method for moving gesture recognition using difference images | |
| US9405373B2 (en) | Recognition apparatus | |
| JP6011165B2 (en) | Gesture recognition device, control method thereof, display device, and control program | |
| US9256324B2 (en) | Interactive operation method of electronic apparatus | |
| EP3133527A1 (en) | Human face recognition method, apparatus and terminal | |
| KR20090119107A (en) | Gaze tracking apparatus and method using difference image entropy | |
| KR101631011B1 (en) | Gesture recognition apparatus and control method of gesture recognition apparatus | |
| KR100692526B1 (en) | Gesture recognition apparatus and methods for automatic control of systems | |
| JP2012238293A (en) | Input device | |
| US20220164567A1 (en) | Method for behaviour recognition based on line-of-sight estimation, electronic equipment, and storage medium | |
| US11886643B2 (en) | Information processing apparatus and information processing method | |
| US10444831B2 (en) | User-input apparatus, method and program for user-input | |
| US9148537B1 (en) | Facial cues as commands | |
| WO2016018518A1 (en) | Optical tracking of a user-guided object for mobile platform user input | |
| KR101465894B1 (en) | Mobile terminal for generating control command using marker put on finger and method for generating control command using marker put on finger in terminal | |
| WO2011096571A1 (en) | Input device | |
| KR20140132906A (en) | Device and method for mobile tooltip using eye detecting | |
| US20140301603A1 (en) | System and method for computer vision control based on a combined shape | |
| US10824237B2 (en) | Screen display control method and screen display control system | |
| KR20180074124A (en) | Method of controlling electronic device with face recognition and electronic device using the same | |
| KR20130116013A (en) | Camera apparatus and method for controlling thereof | |
| KR101414345B1 (en) | Input device using camera and method thereof | |
| CN114610155A (en) | Gesture control method and device, display terminal and storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| LAPS | Lapse due to unpaid annual fee |