KR20190027287A - The method of mimesis for keyboard and mouse function using finger movement and mouth shape - Google Patents

The method of mimesis for keyboard and mouse function using finger movement and mouth shape Download PDF

Info

Publication number
KR20190027287A
KR20190027287A KR1020170114168A KR20170114168A KR20190027287A KR 20190027287 A KR20190027287 A KR 20190027287A KR 1020170114168 A KR1020170114168 A KR 1020170114168A KR 20170114168 A KR20170114168 A KR 20170114168A KR 20190027287 A KR20190027287 A KR 20190027287A
Authority
KR
South Korea
Prior art keywords
finger
mouse
mouth shape
signature
information
Prior art date
Application number
KR1020170114168A
Other languages
Korean (ko)
Inventor
김영선
Original Assignee
김영선
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 김영선 filed Critical 김영선
Priority to KR1020170114168A priority Critical patent/KR20190027287A/en
Publication of KR20190027287A publication Critical patent/KR20190027287A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/45—Structures or tools for the administration of authentication
    • G06F21/46—Structures or tools for the administration of authentication by designing passwords or checking the strength of passwords
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G06K9/00885—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling

Abstract

The present invention relates to a user motion recognition and control input system for simulating functions of a keyboard and a mouse by extracting a mouth shape and finger movement from a video image inputted through a camera for functions of an existing keyboard and mouth. In addition, a large amount of training data is required to learn an algorithm for inputting a character by a mouth shape. In the present invention, with a mouth recognition algorithm learned by an existing speech recognition engine, a mouth shape recognizing character input system is developed without preprocessing for data acquisition. Also, proposed is a password authentication method is by a finger movement recognition method using mouse function simulation.

Description

손가락 동작과 입 모양에 의한 키보드와 마우스 기능 모사 방법 {The method of mimesis for keyboard and mouse function using finger movement and mouth shape}[0001] The present invention relates to a keyboard and mouse function simulating method,

본 발명은 카메라로부터 입력되는 사용자 영상이미지로부터 키보드와 마우스 기능을 모사하기 위한 관심영역인 입과 손가락 영상을 추출하여 입 모양과 손가락 동작을 인식하기 위한 모션인식 기술이다.
The present invention relates to a motion recognition technology for extracting a mouth and a finger image, which are areas of interest for simulating a keyboard and a mouse function, from a user image input from a camera and recognizing a mouth shape and a finger motion.

일반적으로 사용자 영상이미지로부터 입 모양을 인식하여 문자로 변환하려면, 딥러닝 알고리즘을 학습시킬 수 있는 많은 양의 데이터가 필요하다.
Generally, in order to recognize a mouth shape from a user image and convert it into a character, a large amount of data is required to learn a deep learning algorithm.

글로벌 하게 SNS나 검색서비스를 제공하는 회사들은 실시간 수집하는 엄청난 양의 데이터로 부터 서로 다른 언어들로 변환해 주는 번역시스템이나 음성인식을 통한 문자변환 서비스 등을 제공하고 있다. 이러한 막대한 실시간 데이터에 의해 딥러닝 알고리즘 학습을 수행할 수 있어 인식률이 높은 서비스를 제공한다.
Companies that provide SNS and search services globally provide translation systems that convert large amounts of data collected in real time into different languages, and character conversion services through voice recognition. Deep learning algorithm learning can be performed by the enormous real-time data, thereby providing a service with high recognition rate.

음성인식에 의한 문자변환 서비스는 키보드로 문자를 입력하지 않고 사용자가 음성을 통해 문자를 입력할 수 있어 빠른 속도로 문자입력이 가능한 서비스 이나, 마이크 성능이나 주변환경에 인식률이 많이 영향을 받는다.
The character conversion service based on speech recognition is a service that allows a user to input a character through voice without inputting a character with a keyboard, so that characters can be input at a high speed, but the recognition rate is greatly influenced by a microphone performance or the surrounding environment.

많은 사용자들이 휴대단말기 같이 아주 작은 화면을 통해 문자를 입력하고 있으나, 키 자판에 익숙하지 않은 사용자는 빠르게 문자를 입력하기 어렵고, 언어특성에 따라 또한 문자입력이 어려운 경우도 많다. 휴대단말기에서 음성을 통해 문자를 입력할 수 있으나, 지하철과 같이 시끄러운 환경에서는 인식률이 떨어져서 어렵고, 회사 사무실이나 공공장소에서도 음성을 통해 문자를 입력하는 것이 어렵다.
Although many users are inputting characters through a very small screen like a mobile terminal, a user who is not familiar with a key board is hard to input characters quickly, and in many cases, it is difficult to input characters depending on the language characteristics. Although it is possible to input a character through a voice in a mobile terminal, it is difficult to input a character through a voice in a company office or a public place because the recognition rate is low in a noisy environment such as a subway.

노트북 컴퓨터나 회사 사무실내 데스크탑 컴퓨터에서 워드나 파워포인트와 같은 응용프로그램을 실행시키고 음성인식에 의해 문자를 입력하는 경우에, 화면을 포인터를 제어하고 응용프로그램을 실행시키기 위해 마우스를 사용하는데, 카메라 센서기술 등을 활용하면 생체인식에 의한 인증과 모션/제스처 인식에 의한 게임 등 다양한 응용 서비스 제공이 가능하다.
When an application such as a word or a power point is executed on a notebook computer or a desktop computer in a company office and a character is input by voice recognition, a mouse is used to control the pointer on the screen and execute the application program. Technology, it is possible to provide various application services such as authentication by biometrics and games by motion / gesture recognition.

카메라로 부터 사용자 영상이미지를 취득하여, 이 영상이미지로 부터 사용자의 입 모양 인식과 손가락 동작 인식을 통해 전통적인 컴퓨터 입력도구인 키보드와 마우스의 기능을 모사하는 방법으로, 기존의 사용자 경험을 유지하면서, 아주 작은 동작만을 인식해도 키보드와 마우스 기능 이상을 구현하는 것이다.
By capturing a user image from a camera and simulating the functions of a keyboard and a mouse, which are traditional computer input tools, through recognition of the user's mouth and finger motion from the image, It recognizes only very small movements and implements keyboard and mouse functions.

일반적으로 모션인식 기술을 통해 키보드를 통한 문자입력 방식을 손의 동작 등으로 모사하는 것이 쉽지 않다.
Generally, it is not easy to simulate the character input method through the keyboard by the motion recognition technique.

본 발명에서는 입 모양 인식을 통해 문자입력 기능을 구현한다. 입 모양 인식을 통해 문자 입력기능을 구현하려면 입 모양인식 알고리즘을 학습 시키기 위한 아주 많은 학습데이터가 필요하다.
In the present invention, a character input function is implemented through mouth shape recognition. To realize the character input function through the mouth recognition, a lot of learning data is required to learn the mouth recognition algorithm.

본 발명에서는 인식률이 높은 음성인식엔진을 입 모양인식 알고리즘을 학습시킬 트레이너로 활용하여, 사용자의 입 모양과 음성을 동시에 입력 받아 입 모양인식 알고리즘 학습을 시키는 방법으로 키보드 기능을 모사한다.
In the present invention, a speech recognition engine having a high recognition rate is used as a trainer to learn a mouth shape recognition algorithm, and a keyboard function is simulated by a mouth shape recognition algorithm learning by simultaneously inputting a mouth shape and a voice of a user.

또한, 마우스 기능을 손가락 동작으로 모사하기 위해서는 사용자 손가락의 깊이를 측정해야 하는데, 피사체의 깊이를 측정하는 방법으로는 두 대의 카메라를 이용한 스테레오 비전 방법이나 구조광과 카메라를 이용한 삼각측량법을 이용하여 얻을 수 있다.
In order to simulate the mouse function with a finger, the depth of the user's finger must be measured. As a method of measuring the depth of the subject, a stereovision method using two cameras or a triangulation method using a structure light and a camera .

정밀한 깊이 정보를 얻기 위해 비행시간법(Time-of-Flight : TOF)이 도입되었다. TOF 방식은 피사체에 직접 광을 조사하고 되돌아 오는 반사광의 시간을 계산함으로써, 그 물체의 깊이를 측정하는 방식이다. 즉, 피사체에 조사된 광과 반사된 광의 위상차를 이용하여 피사체와 카메라 사이의 거리인 깊이 정보를 취득한다.
Time-of-Flight (TOF) was introduced to obtain accurate depth information. The TOF method is a method of measuring the depth of an object by directly irradiating the object with light and calculating the time of the reflected light coming back. That is, depth information that is the distance between the subject and the camera is acquired using the phase difference between the light irradiated to the subject and the reflected light.

TOF는 광원 조사 방식에 따라 면광원 방식과 스캐너 방식으로 구분되는데, 면광원 방식은 면광원을 이용하여 피사체에 동시에 광원을 조사하는 방식이고, 스캐너 방식은 픽셀 단위나 라인 단위로 순차적으로 조사하는 방식이다.
The TOF is classified into a surface light source method and a scanner method according to a light source method. The surface light source method is a method of simultaneously irradiating a light source to a subject using a surface light source, and the scanner method is a method to be.

본 발명에서 마우스 기능을 모사하는 방법은 기존 마우스를 움직이는 두 개의 손가락 사용자 경험을 그대로 손가락 동작을 인식하는 방법으로, 마우스 왼쪽키를 누르던 손가락의 방향과 손가락 끝만을 인식하는 것으로도 정밀하게 마우스의 동작을 모사할 수 있다. 뿐만 아니라, 마우스 모사용 두 개의 손가락 외에, 다른 손가락들에 키보드 상의 많이 사용하는 키 들을 사용자가 맵핑할 수 있게 하여, 입 모양 인식을 통한 문자인식을 더욱 쉽게 제어할 수 있게 한다.
In the present invention, a method of simulating a mouse function is a method of recognizing a finger motion without changing a two-finger user's experience of moving an existing mouse. By recognizing only the direction of a finger pressing the left key of the mouse and the finger tip, The behavior can be simulated. In addition to the two fingers used in the mouse mode, the user can map the keys frequently used on the keyboard to other fingers, thereby making it possible to more easily control character recognition through mouth recognition.

본 발명의 손가락 동작과 입 모양에 의한 키보드와 마우스 기능 모사 방법은 컴퓨터에 익숙하지 않은 사용자에게 좀 더 쉽고 빠르게 화면을 제어하고 문자를 입력할 수 있는 입력 수단을 제공한다.
The finger operation and mouth shape keyboard and mouse function simulation method of the present invention provides an input means for a user who is unfamiliar with a computer to more easily and quickly control a screen and input characters.

또한, 시끄러운 주변 환경에서도 휴대단말기와 같은 작은 화면에서도 입 모양 인식에 의한 문자입력이 가능하다.
In addition, even in a noisy environment, even in a small screen such as a portable terminal, character input by mouth recognition is possible.

손가락 동작에 의한 마우스 기능 모사 방법은 컴퓨터 환경뿐 아니라 TV 동작 제어에 있어서도 리모컨 없이도 세밀하게 제어할 수 있다.
The mouse function simulation method by the finger operation can be finely controlled not only in the computer environment but also in the TV operation control and the remote control.

도1. 본 발명의 손가락동작과 입 모양 인식을 통한 사용자 입력시스템 구성도.
도2. 본 발명의 손가락동작에 의한 화면상의 포인터 위치 제어 예시도.
도3. 본 발명의 손가락동작 인식을 위한 포인터와 키맵핑 예시도.
도4. 본 발명의 손가락동작에 의한 마우스 기능 모사 방법 예시도.
도5. 본 발명의 손가락동작과 입 모양 인식을 통한 사용자 입력시스템의 동작 흐름도.
도6. 본 발명의 손가락동작에 의한 패스워드 인증을 위한 서명 입력 방법 예시도.
도7. 본 발명의 손가락동작에 의한 패스워드 인증 트레이닝 모드 흐름도.
도8. 본 발명의 손가락동작에 의한 패스워드 인증 흐름도.Fig. Fig. 2 is a block diagram of a user input system through finger operation and mouth shape recognition of the present invention.
Fig. Fig. 8 is a diagram showing an example of pointer position control on the screen by the finger operation of the present invention;
3. Fig. 8 is an illustration of pointers and key mappings for finger movement recognition of the present invention;
FIG. Fig. 8 is a diagram illustrating an example of a mouse function simulation method by the finger operation of the present invention.
Figure 5. Figure 2 is a flow chart of the operation of the user input system through finger operation and mouth shape recognition of the present invention.
6. Fig. 8 is a diagram illustrating an example of a signature input method for password authentication by the finger operation of the present invention.
7. Fig. 6 is a flowchart of a password authentication training mode according to the finger operation of the present invention. Fig.
Figure 8. Fig. 8 is a flowchart of a password authentication process according to the present invention; Fig.

도1은 본 발명의 손가락동작과 입 모양 인식을 통한 사용자 입력시스템 구성도 이다.
1 is a block diagram of a user input system through finger operation and mouth shape recognition of the present invention.

본 발명의 사용자 입력시스템은 피사체의 정밀한 깊이 정보를 얻기 위해 피사체에 직접 광을 조사하는 IR광원제어부(110)와 피사체에 반사되어 되돌아 오는 반사광에 의한 이미지를 스캔 하기 위한 IR카메라(120)로 구성할 수 있다.
The user input system of the present invention comprises an IR light source control unit 110 for irradiating light directly to a subject to obtain accurate depth information of a subject and an IR camera 120 for scanning an image based on reflected light reflected back from the subject can do.

피사체에 조사된 광과 반사된 광의 위상차를 이용하여 피사체와 카메라 사이의 거리인 깊이 정보를 취득할 수 있다.
The depth information which is the distance between the subject and the camera can be obtained by using the phase difference between the light irradiated to the subject and the reflected light.

IR카메라(120)로부터의 명암이미지로 부터 마우스기능 모사를 위한 손가락 동작을 추출하여, 깊이정보 추출부(121)에서 추출된 깊이 정보와 함께 화면표시부(150)에 표시될 포인터 위치 계산 및 키동작 수행(134)를 할 수 있으나, 본 발명의 실시 예에서는 RGB카메라(13)를 통해 취득한 칼라영상이미지로부터 관심영역추출부(131)에서 관심영역인 손과 입 부분을 추출한다.
A pointer position calculation and a key operation to be displayed on the screen display unit 150 together with depth information extracted by the depth information extraction unit 121 are extracted by extracting the finger operation for mouse function simulation from the contrast image from the IR camera 120, However, in the embodiment of the present invention, the ROI extracting unit 131 extracts the hand and mouth portions of the ROI from the color image obtained through the RGB camera 13.

손가락동작 추출부(132)에서는 마우스 기능 모사를 위해, 마우스의 왼쪽키와 오른쪽키를 제어하는 손가락의 사용자 경험을 그대로 응용할 수 있도록, 왼쪽, 오른쪽 2개의 손가락 동작 인식 만으로 마우스 기능을 모사할 수 있다.
The finger operation extracting unit 132 can simulate the mouse function only by recognizing the left and right two fingers so that the user experience of the finger controlling the left and right keys of the mouse can be applied as it is to simulate the mouse function .

손가락 동작추출부(132)에서의 손가락 동작정보에 의해 포인터 및 키동작수행(134)이 이루어져, 인식된 포인터가 화면표시부(150)에 표시된다. 화면표시부(150)에 표시된 포인터와 손가락 동작 상호작용에 의해 쉽게 사용자가 마우스처럼 포인터를 제어하여 프로그램을 실행시키거나 창을 닫는 등의 마우스 기능을 수행할 수 있다.
The pointer operation and the key operation are performed by the finger operation information in the finger operation extracting unit 132 and the recognized pointer is displayed on the screen display unit 150. [ The user can easily perform a mouse function such as executing a program or closing a window by controlling a pointer like a mouse by finger interaction with a pointer displayed on the screen display unit 150. [

마우스 기능 모사를 위한 2개의 손가락 외의 오른손, 왼손의 모든 손가락들에 사용자가 키보드 상의 키 기능을 맵핑할 수 있다. 이 손가락키맵핑정보(160)는 손가락 동작추출부(132)에서 참조하여, 인식한 손가락의 키 동작을 수행한다.
You can map the key functions on the keyboard to all the fingers of the left and right hands, except two fingers for mouse function simulations. This finger keymapping information 160 refers to the finger operation extraction unit 132 and performs the key operation of the recognized finger.

관심영역추출부(131)에서 추출된 입모양 이미지로부터 입모양특징추출부(133)에서 입모양변환정보(135)를 추출한다.
The mouth shape feature extraction unit 133 extracts the mouth shape transformation information 135 from the mouth shape image extracted by the ROI extracting unit 131.

여기서 입모양변환정보(135)는 사용자가 사용하는 언어의 문자가 된다.
Here, the mouth shape conversion information 135 is a character of a language used by the user.

입모양특징추출부(133)는 딥러닝 알고리즘에 의해 구현할 수 있다. 그러나, 딥러닝 알고리즘을 학습시켜 사용자 입모양으로 부터 문자정보를 추출하려면 많은 학습데이터가 필요하다.
The mouth shape feature extraction unit 133 can be implemented by a deep learning algorithm. However, a lot of learning data is needed to learn the deep learning algorithm and to extract the character information from the user's mouth shape.

본 발명에서는 많은 정보로 부터 전처리 과정을 거쳐 대량의 학습데이터를 준비하는 방법보다는, 이미 일정수준 이상의 인식률을 보이는 음성인식엔진(141)을 트레이너로 활용하여 입모양특징추출부(133)를 학습시키는 방법을 제안한다.
In the present invention, rather than a method of preparing a large amount of learning data through a preprocessing process from a large amount of information, the mouth shape feature extracting unit 133 is learned by using a speech recognition engine 141, Method.

즉, 입 모양과 음성을 동시에 입력 받아, 음성인식엔진(141)에 의한 음성변환정보(142)와 입모양특징추출부(133)에서 추출한 입모양 특징점을 연관시켜 알고리즘 학습에 의한 입모양변환정보(135)를 생성한다.
That is, the mouth shape and the voice are input at the same time, and the voice conversion information 142 by the speech recognition engine 141 is associated with the mouth shape feature points extracted by the mouth shape feature extraction unit 133, (135).

학습데이터는 입모양인식트레이닝 DB(143)에 저장한다.
The learning data is stored in the mouth shape recognition training DB 143.

입모양변환정보(135)는 사전/문맥/어휘데이터베이스(170)에 의해 오류 검증을 할 수 있고, 오류정보는 사용자 입모양인식변환오류 데이터베이스(180)에 저장하여, 오류 수정단계에서 참조할 수 있다. 또한 입모양 변환정보(135)는 화면표시부(150)에 실시간 표시된다.
The mouth shape conversion information 135 can be error-verified by the dictionary / context / vocabulary database 170, the error information can be stored in the user mouth-shape recognition conversion error database 180, have. The mouth shape conversion information 135 is displayed on the screen display unit 150 in real time.

도2는 본 발명의 손가락동작에 의한 화면상의 포인터 위치 제어 예시도 이다.
2 is a diagram illustrating an example of pointer position control on the screen by the finger operation of the present invention.

관심영역추출부(131)에서 추출한 이미지로 부터 화면상의 손(210)의 위치와 깊이정보추출부(121)로부터 추출된 깊이 정보와 이미지 처리를 통해 손가락 끝(211)점과 각도를 인식할 수 있다. 상기 정보들로 부터 포인터(212)의 화면표시부(150)상 위치를 계산한다.
The position of the hand 210 on the screen and the depth information extracted from the depth information extraction unit 121 and the angle and angle of the fingertip 211 can be recognized through the image processing from the image extracted by the ROI extracting unit 131 have. And calculates the position of the pointer 212 on the screen display unit 150 from the information.

도3은 본 발명의 손가락동작 인식을 위한 포인터와 키 맵핑 예시도 이다.
3 is a diagram illustrating an example of a pointer and a key mapping for recognizing a finger motion of the present invention.

마우스 모사용 두 개의 손가락(331,332)를 제외한 나머지 손가락들에 사용자가 원하는 키보드 상의 키 기능을 설정할 수 있게 함으로서, 키보드와 마우스 기능을 입 모양과 손가락 동작만으로 모사할 수 있다.
Using the Mouse Mouse By allowing the user to set a key function on the keyboard on the fingers other than the two fingers 331 and 332, the keyboard and mouse functions can be simulated by only the mouth shape and the finger operation.

도3의 (b)는 마우스 키나 키보드 키를 클릭하는 동작을 손가락 끝의 왕복 시간(341)을 설정함으로서 화면표시부(150)에서 포인터(212)가 이동하는 동작과 클릭하는 동작을 쉽게 구별하여 인식할 수 있다.
3B shows an operation of clicking a mouse key or a keyboard key by setting the round trip time 341 of the fingertip so that the operation of moving the pointer 212 and the clicking operation on the screen display unit 150 are easily distinguished can do.

도3의 (c)는 화면표시부(150) 화면상의 응용프로그램 내에서 페이지를 앞이나 뒤로 넘기는 동작을 모사하기 위해 3개의 손가락 끝이 겹친 상태(350)에서 설정한 속도(tp) 로 움직이면 페이지 넘김으로 인식하여 손가락 끝이 겹쳐진 시점의 위치로 부터 이동한 방향에 의해 앞, 뒤페이지 이동을 수행할 수 있다.
3 (c) shows a case where when moving at the speed tp set in the state 350 where the three fingers are overlapped to simulate the operation of turning the page forward or backward in the application program on the screen of the screen display unit 150, And the forward and backward page movement can be performed by the direction in which the fingertip is moved from the position at which the fingertips are overlapped.

도4는 본 발명의 손가락동작에 의한 마우스 기능 모사 방법 예시도 이다.
4 is a diagram illustrating an example of a mouse function simulation method by the finger operation of the present invention.

마우스 기능테이블(400)에 서술된 마우스 기능을 모사하기 위한 손가락 동작이 마우스 모사 손가락동작 정의테이블(450)에 예시되어 있다.
A finger operation for simulating the mouse function described in the mouse function table 400 is illustrated in the mouse simulated finger operation definition table 450. [

마우스 왼쪽 단추(410) 클릭 동작(M410_1)은 왼쪽손가락(331)에 의한 화면상의 포인터를 원하는 위치로 옮기고, 그 위치에서 사용자가 설정한 속도로 왼쪽손가락(331)을 움직이면 클릭으로 인식한다.
The mouse left button 410 click operation M410_1 moves the pointer on the screen by the left finger 331 to a desired position and recognizes the click by moving the left finger 331 at the speed set by the user at that position.

마우스의 두 번 클릭 동작(M410_2)도 상기와 같은 방법으로 인식할 수 있다.
The double click operation (M410_2) of the mouse can also be recognized in the same manner as described above.

마우스 왼쪽 단추(410) 개체 끌기(M410_3)은 왼쪽손가락(331)에 의해 포인터를 화면의 항목으로 이동한 후, 왼쪽손가락(331)과 오른쪽손가락(332) 끝을 겹친 상태에서 포인터를 움직여 새 위치로 이동한 다음, 두 손가락(331, 332)끝을 떼는 방법으로 모사할 수 있다.
The left mouse button 410 dragging the object M410_3 moves the pointer to the item on the screen by the left finger 331 and then moves the pointer with the left finger 331 and the right finger 332 overlapping each other, And then the end of the two fingers 331 and 332 is released.

마우스 오른쪽 단추(420) 클릭(M420_1) 동작은 왼쪽손가락(331) 동작에 의해 포인터를 적절한 화면 위치로 이동한 다음, 오른쪽손가락(332)를 사용자가 설정한 속도로 움직이면 바로 가기 메뉴 또는 다른 프로그램별 기능이 표시되는데, 이때 왼쪽손가락(331)으로 포인터를 원하는 메뉴로 옮긴 후, 클릭동작을 하면 해당 메뉴가 실행된다.
The right-click (M420_1) operation of the right mouse button 420 moves the pointer to the proper screen position by the operation of the left finger 331 and then moves the right finger 332 at the speed set by the user. Function is displayed. At this time, the pointer is moved to the desired menu with the left finger 331, and the corresponding menu is executed when the click operation is performed.

마우스 휠(430)의 세로 스크롤(M430_1) 동작은, 스크롤 가능한 창으로 포인터를 옮긴 후, 두 손가락(331, 332)를 겹친 상태에서 세로 방향으로 움직이면서 화면을 제어할 수 있다.
In the vertical scroll (M430_1) operation of the mouse wheel 430, the pointer is moved to the scrollable window, and then the screen is controlled while moving the two fingers 331 and 332 in the vertical direction while overlapping each other.

가로 스크롤(M430_2)도 상기와 같은 방법으로 가로 방향으로 움직이면서 화면을 제어할 수 있다.
The horizontal scroll M430_2 can also control the screen while moving in the horizontal direction in the same manner as described above.

마우스 휠(430)의 확대/축소(M430_3) 동작은 두 손가락(331, 332) 끝을 겹친 상태에서 Z축 방향으로 움직이는 방법으로 모사할 수 있다.
The enlargement / reduction (M430_3) operation of the mouse wheel 430 can be performed by moving the two fingers 331 and 332 in the overlapping state in the Z-axis direction.

도5는 본 발명의 손가락동작과 입 모양 인식을 통한 사용자 입력시스템의 동작 흐름도 이다.
Figure 5 is a flow chart of the operation of the user input system through finger operation and mouth shape recognition of the present invention.

도6은 본 발명의 손가락동작에 의한 패스워드 인증을 위한 서명 입력 방법 예시도 이다.
6 is a diagram illustrating an example of a signature input method for password authentication by the finger operation of the present invention.

일반적으로 컴퓨터 로그인시, 특정 인터넷 사이트 서비스 이용시 패스워드를 입력해야 서비스 이용이 가능하나, 문제는 이러한 수 많은 사이트 서비스를 이용하다 보면 패스워드를 잊어버려 낭패를 당하기 쉽다. 또한, 패스워드가 해킹 등에 의해 외부로 노출되면 심각한 피해를 입기도 한다.
Generally, when you log in to a computer, you need to enter a password when you use a certain Internet site service, but the problem is that you are often overwhelmed by forgetting your password when you use many of these site services. In addition, if the password is exposed to the outside by hacking or the like, it may cause serious damage.

이런 문제로, 지문인식이나 홍채인식, 얼굴인식, 지정맥 인식 등 다양한 생체인증 방식을 적용하고 있는 상황이다.
Due to these problems, various biometric authentication methods such as fingerprint recognition, iris recognition, face recognition, fingerprint recognition, and the like are being applied.

그러나, 이러한 생체인증 정보는 해킹에 의해 외부로 노출되는 경우, 쉽게 바꿀 수 없어 근본적으로 심각한 문제가 될 수 있다.
However, when biometric authentication information is exposed to the outside by hacking, the biometric authentication information can not be easily changed, and thus can be fundamentally a serious problem.

본 발명에서는 마우스 모사 손가락 동작인식 방법을 사용하여 패스워드를 위한 서명을 입력하는 방법의 인증방법을 제시한다.
The present invention proposes an authentication method for inputting a signature for a password using a mouse simulated finger motion recognition method.

이 경우, 타인의 서명을 보고도 쉽게 모사하기 어려운 점을 활용하여, 손가락 동작에 의해 서명을 생성하고 패스워드 인증용으로 사용하는 방법이다. 손가락 동작으로 서명하기 때문에 모사가 어렵고, 해킹에 의해 외부로 노출되어도 쉽게 서명 패스워드를 바꿀 수 있다.
In this case, it is a method of generating a signature by a finger operation and using it for password authentication by making use of the point that it is difficult to easily copy another person's signature. It is hard to copy because it is signed by finger operation, and the signing password can easily be changed even if it is exposed to the outside by hacking.

본 발명에서는 손가락 동작에 대한 이미지로 부터 깊이 정보와 서명 시작점 부터 끝점 까지의 전체 시간정보와 서명 구간별 시간정보까지도 서명 특징점 요소로 포함시키기 때문에 더욱이 복제가 힘들다.
In the present invention, since the depth information, the entire time information from the signature start point to the end point, and the time information per signature section are included as signature feature point elements from the image of the finger operation, duplication is further difficult.

도7은 본 발명의 손가락동작에 의한 패스워드 인증 트레이닝 모드 흐름도 이다.7 is a flowchart of a password authentication training mode by the finger operation of the present invention.

손가락동작에 의한 패스워드 인증 트레이닝 모드를 통해 사용자가 일정 횟수 이상 반복하여 서명특징점추출(S704) 알고리즘을 학습시켜 인증오류를 줄일 수 있다.
Password Authentication by Finger Action The authentication error can be reduced by learning the signature minutiae point extraction (S704) algorithm by repeating the user more than a predetermined number of times through the training mode.

도8은 본 발명의 손가락동작에 의한 패스워드 인증 흐름도 이다.
8 is a flowchart of a password authentication process by the finger operation of the present invention.

140 : 음성인식부
400 : 마우스 기능테이블
450 : 마우스 모사 손가락 동작 정의 테이블
600 : 서명 입력창
610 : 서명
611 : 서명시작점
612 : 서명끝점140:
400: Mouse Function Table
450: Mouse Simulation Finger Motion Definition Table
600: Signature input window
610: Signature
611: Signature starting point
612: signature endpoint

Claims (19)

입 모양 인식을 통한 사용자 입력시스템 구현 방법에 있어서,

일정 수준 이상의 인식률을 가진 음성인식엔진을 트레이너로 선택하여 실행하는 단계;
사용자의 입 모양과 음성을 카메라와 마이크를 통해 동시에 입력 받는 단계;
마이크를 통해 입력된 사용자 음성정보를 음성인식엔진으로부터 인식하여 문자로 변환하는 단계;
카메라로부터 입력된 입 모양 이미지로부터 입 모양 특징점을 추출하는 단계;

상기로부터 변환된 문자정보와 추출된 입 모양 특징 점을 입 모양 인식 트레이닝 데이터베이스로 저장하는 단계를 포함하여, 음성인식엔진에 의해 입 모양 인식 입력시스템을 트레이닝 함을 특징으로 하는 사용자 입력시스템.
A method for implementing a user input system through mouth shape recognition,

Selecting and executing a speech recognition engine having a recognition rate higher than a predetermined level as a trainer;
Receiving a user's mouth shape and voice simultaneously through a camera and a microphone;
Recognizing user voice information input through a microphone from a speech recognition engine and converting the user voice information into characters;
Extracting mouth-shaped feature points from a mouth-shaped image input from a camera;

And storing the converted character information and the extracted mouth shape feature points in the mouth shape recognition training database, wherein the mouth shape recognition input system is trained by the speech recognition engine.
청구항 1항에 있어서,

언어별 사전, 문맥, 어휘 데이터베이스를 더 구비하여, 입 모양 특징 점과 입 모양 인식 트레이닝 데이터베이스로부터 변환된 입 모양 변환정보로부터 오류를 검출함을 특징으로 하는 사용자 입력시스템.
The method according to claim 1,

A language dictionary, a context, and a vocabulary database so as to detect an error from the mouth-shaped feature points and the mouth shape transformation information converted from the mouth shape recognition training database.
정구항 2항에 있어서,

문자입력모드에서 입모양 변환정보 오류 발생시, 트레이닝 모드를 ON 시켜, 음성인식엔진에 의해 입 모양 인식 입력시스템을 다시 트레이닝 하는 방법에 의해 오류를 수정함을 특징으로 하는 사용자 입력시스템.
In the tandem condition 2,

And when the mouth shape conversion information error occurs in the character input mode, the training mode is turned on, and the error is corrected by the method of retraining the mouth shape recognition input system by the speech recognition engine.
정구항 2항에 있어서,

문자입력모드에서 입 모양 변환정보 오류 발생시, 오류 정보를 입 모양인식 변환오류 데이터베이스에 저장하여, 트레이닝 모드에서 자주 발생하는 오류에 대한 트레이닝을 반복하여 입 모양인식 입력시스템을 학습시킴을 특징으로 하는 사용자 입력시스템.
In the tandem condition 2,

Wherein when the mouth shape conversion information error occurs in the character input mode, the error information is stored in the mouth shape recognition conversion error database and the training for the errors frequently occurred in the training mode is repeated to learn the mouth shape recognition input system Input system.
청구항 1항의 사용자 입력시스템에서 사용자 입력을 제어하기 위한 손가락 동작 인식에 의한 마우스기능 구현 방법에 있어서,

일반적으로 마우스를 제어하는 두 개의 손가락을 손가락 동작인식에 의한 마우스 기능 모사를 위한 손가락으로 지정하는 단계;

카메라로부터 입력된 사용자 영상이미지로부터 깊이 정보를 추출하는 단계;
사용자 영상이미지로부터 손가락동작을 추출하는 단계;

상기로부터 손가락동작 정보와 손가락 부분 깊이 정보로부터 포인터 위치를 계산하여 화면에 표시하고, 키 동작을 수행하는 단계를 포함함을 특징으로 하는 사용자 입력시스템.
A method of implementing a mouse function by finger operation recognition for controlling user input in a user input system according to claim 1,

Designating two fingers for controlling a mouse as fingers for simulating a mouse function by recognition of a finger motion;

Extracting depth information from a user image input from a camera;
Extracting a finger motion from the user video image;

Calculating a position of the pointer from the finger operation information and the finger portion depth information, displaying the pointer position on the screen, and performing a key operation.
청구항 5항에 있어서,

마우스 기능 모사를 위해 지정된 손가락 외의 다른 손가락들에 사용자에 의해 키보드 상의 특정키 기능을 지정할 수 있는 수단을 더 제공함을 특징으로 하는 사용자 입력시스템.
The method of claim 5,

Further comprising means for allowing a user to specify a particular key function on the keyboard by the user other fingers other than the designated finger for the mouse function simulation.
청구항 5항에 있어서,

마우스 기능 모사를 위해 지정된 왼쪽 손가락의 영상이미지에서의 위치와 손가락 각도와 손가락 끝점을 인식하고, 손가락 끝점의 깊이 정보로부터 화면상에 표시될 포인터(커서) 위치를 계산함을 특징으로 하는 사용자 입력시스템.
The method of claim 5,

(Cursor) position to be displayed on the screen from the depth information of the finger end point, and recognizes the position, the finger angle, and the finger end point in the video image of the designated left finger for simulating the mouse function, .
청구항 7항에 있어서,

왼쪽 손가락 끝점을 기준으로 가로(X), 세로(Y) 좌표를 나누어 형성되는 사분 면에서 손이 위치한 사분면의 대각선으로 맞은편 사분 면에서의 포인터 위치를 계산함을 특징으로 하는 사용자 입력시스템.
The method of claim 7,

Wherein the pointer position is calculated in a quadrant corresponding to a diagonal line of a quadrant where a hand is located in a quadrant formed by dividing horizontal (X) and vertical (Y) coordinates with respect to the left finger end point.
청구항 5항과 6항에 있어서,

마우스의 키와 키보드의 키를 클릭하는 동작을 모사하기 위한 손가락 동작 인식을 위해, 손가락 끝의 왕복 속도를 설정하도록 하여, 설정된 속도 이상으로 손가락 끝이 왕복운동을 하였을 경우, 클릭으로 인식함을 특징으로 하는 사용자 입력시스템.
The method according to claim 5 or 6,

In order to recognize the finger motion of the mouse and the key of the keyboard, the reciprocating speed of the finger tip is set so that when the finger tip makes a reciprocating motion at a predetermined speed or more, Lt; / RTI >
청구항 5항에 있어서,

마우스의 왼쪽 키에 의한 개체 끌기 동작을, 왼쪽 손가락에 의해 제어되는 포인터를 화면의 항목으로 이동한 후, 왼쪽손가락 끝과 오른쪽 손가락 끝을 겹친 상태에서 포인터를 움직여 새 위치로 이동한 다음 겹친 손가락을 떼는 방법으로 모사함을 특징으로 하는 사용자 입력시스템.
The method of claim 5,

Move the object dragging by the left key of the mouse to the item on the screen controlled by the left finger, move the pointer to the new position by overlapping the left finger and the right finger, Characterized in that the user input system is characterized in that it is simulated by means of a release.
청구항 5항에 있어서,

마우스의 오른쪽 키 동작을, 왼쪽 손가락에 의해 제어되는 포인터를 원하는 화면 위치로 이동한 다음, 오른쪽 손가락 동작에 의해 클릭으로 인식하여 바로 가기 메뉴 또는 다른 프로그램 별 기능을 표시하는 방법으로 모사함을 특징으로 하는 사용자 입력시스템.
The method of claim 5,

The right key operation of the mouse is simulated by moving the pointer controlled by the left finger to a desired screen position and then recognizing the right finger operation as a click to display a shortcut menu or other program-specific functions User input system.
청구항 5항에 있어서,

마우스의 휠에 의한 스크롤 동작을, 스크롤 가능한 창에서 마우스 모사용 두 개의 손가락 끝을 겹쳐서 세로나 가로로 움직이는 방법으로 모사함을 특징으로 하는 사용자 입력시스템.
The method of claim 5,

A user input system characterized in that the scroll action of the mouse wheel is simulated by moving the mouse in two or more fingers vertically or horizontally in a scrollable window.
청구항 5항에 있어서,

마우스의 휠에 의한 확대/축소 동작을, 마우스 모사용 두 개의 손가락 끝을 겹친 시점의 위치에서 손가락 끝을 겹친 상태에서 화면 방향으로 가깝게 이동하거나 멀어지는 방법으로 모사함을 특징으로 하는 사용자 입력시스템.
The method of claim 5,

Wherein the zooming operation by the mouse wheel is performed by moving the fingertip at a position where the two fingers are overlapped with each other and moving the fingertip close to or away from the screen.
청구항 5항에 있어서,

페이지의 앞, 뒤 이동을 모사하기 위한 방법으로 3개 이상의 손가락 끝을 겹친 시점의 위치를 기준으로 손가락 끝이 겹친 상태에서 사용자가 설정한 속도로 오른쪽과 왼쪽으로 이동하는 동작을 인식하도록 함을 특징으로 하는 사용자 입력시스템.
The method of claim 5,

A method for simulating the movement of the front and back of the page is to recognize the movement of the right and left at the speed set by the user in the state where the fingertips are overlapped with the position of the point where the three or more fingers are overlapped Lt; / RTI >
청구항 5항의 마우스 기능 모사 손가락동작에 의한 패스워드 인증 방법에 있어서,

손가락 동작에 의한 서명을 요구하는 서명윈도우를 화면에 실행하는 단계;
사용자의 손가락 동작이미지를 취득하고 화면에 출력하는 단계;
사용자 손가락 동작이미지로부터 서명 특징점을 추출하는 단계;

상기의 단계를 일정 횟수 반복하는 패스워드 트레이닝 방법에 의해 추출된 서명정보를 저장하는 단계를 포함함을 특징으로 하는 사용자 입력시스템.
A password authentication method using a mouse function simulated finger operation according to claim 5,

Executing a signature window on the screen requesting a signature by a finger operation;
Obtaining a finger motion image of a user and outputting the finger motion image to a screen;
Extracting signature feature points from user finger motion images;

And storing the signature information extracted by the password training method that repeats the above steps a predetermined number of times.
청구항 15항에 있어서,

마우스의 오른쪽 키 동작을 모사하는 왼쪽 손가락에 의해 제어되는 포인터를 서명윈도우로 위치시키는 단계;
왼쪽 손가락 끝에 오른쪽 손가락 끝을 겹치는 시점을 서명 시작점으로 하고, 손가락 끝을 겹친 상태에서 포인터를 움직여 서명을 입력하는 단계;

상기의 단계를 포함하여 포인터가 서명윈도우를 벗어나는 위치와 서명윈도우 내에서 겹친 손가락 끝이 떨어지는 시점을 서명의 끝으로 인식함을 특징으로 하는 사용자 입력시스템.
The method of claim 15,

Positioning a pointer, controlled by the left finger simulating the right key action of the mouse, in the signature window;
Inputting a signature by moving a pointer in a state where a finger end is overlapped with a start point of a right fingertip overlapping a left fingertip;

And recognizing, as the end of the signature, the point at which the pointer leaves the signature window and the point at which the fingertip overlapping in the signature window falls, including the steps described above.
청구항 15항과 16항에 있어서,

서명의 시작점과 끝점까지의 시간정보를 서명 특징점 정보로 포함시킴을 특징으로 하는 사용자 입력시스템.
The method according to claim 15 or 16,

And the time information from the start point to the end point of the signature is included as the signature feature point information.
청구항 15항과 16항에 있어서,

서명의 시작점과 끝점까지의 일정 구간별 시간정보를 서명 특징점 정보로 포함시킴을 특징으로 하는 사용자 입력시스템.
The method according to claim 15 or 16,

And time information of each section from the start point to the end point of the signature is included as the signature feature point information.
청구항 15항과 16항에 있어서,

서명의 시작점과 끝점까지의 깊이 정보를 서명 특징점 정보로 포함시킴을 특징으로 하는 사용자 입력시스템.
The method according to claim 15 or 16,

And the depth information from the start point to the end point of the signature is included as the signature feature point information.
KR1020170114168A 2017-09-06 2017-09-06 The method of mimesis for keyboard and mouse function using finger movement and mouth shape KR20190027287A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170114168A KR20190027287A (en) 2017-09-06 2017-09-06 The method of mimesis for keyboard and mouse function using finger movement and mouth shape

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170114168A KR20190027287A (en) 2017-09-06 2017-09-06 The method of mimesis for keyboard and mouse function using finger movement and mouth shape

Publications (1)

Publication Number Publication Date
KR20190027287A true KR20190027287A (en) 2019-03-14

Family

ID=65759638

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170114168A KR20190027287A (en) 2017-09-06 2017-09-06 The method of mimesis for keyboard and mouse function using finger movement and mouth shape

Country Status (1)

Country Link
KR (1) KR20190027287A (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110428814A (en) * 2019-07-25 2019-11-08 北京蓦然认知科技有限公司 A kind of method and device of speech recognition
CN112580596A (en) * 2020-12-30 2021-03-30 网易（杭州）网络有限公司 Data processing method and device
CN114462018A (en) * 2022-01-10 2022-05-10 电子科技大学 Password guessing system and method based on Transformer model and deep reinforcement learning

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110428814A (en) * 2019-07-25 2019-11-08 北京蓦然认知科技有限公司 A kind of method and device of speech recognition
CN110428814B (en) * 2019-07-25 2022-03-01 杭州蓦然认知科技有限公司 Voice recognition method and device
CN112580596A (en) * 2020-12-30 2021-03-30 网易（杭州）网络有限公司 Data processing method and device
CN112580596B (en) * 2020-12-30 2024-02-27 杭州网易智企科技有限公司 Data processing method and device
CN114462018A (en) * 2022-01-10 2022-05-10 电子科技大学 Password guessing system and method based on Transformer model and deep reinforcement learning

Similar Documents

Publication Publication Date Title
CN105045399B (en) A kind of electronic equipment with 3D camera assemblies
WO2018098861A1 (en) Gesture recognition method and device for virtual reality apparatus, and virtual reality apparatus
US20150084859A1 (en) System and Method for Recognition and Response to Gesture Based Input
US20150084884A1 (en) Extending the free fingers typing technology and introducing the finger taps language technology
US9063573B2 (en) Method and system for touch-free control of devices
Zhu et al. Vision based hand gesture recognition using 3D shape context
JP2014501011A5 (en)
CN105068662B (en) A kind of electronic equipment for man-machine interaction
CN105046249B (en) A kind of man-machine interaction method
WO2012163124A1 (en) Spatial motion-based input method and terminal
Alam et al. Implementation of a character recognition system based on finger-joint tracking using a depth camera
KR20190027287A (en) The method of mimesis for keyboard and mouse function using finger movement and mouth shape
CN103092437A (en) Portable touch interactive system based on image processing technology
US11656723B2 (en) Systems and methods for providing on-screen virtual keyboards
KR102052449B1 (en) System for virtual mouse and method therefor
Conci et al. Natural human-machine interface using an interactive virtual blackboard
CN111782041A (en) Typing method and device, equipment and storage medium
Abdallah et al. An overview of gesture recognition
CN111860086A (en) Gesture recognition method, device and system based on deep neural network
Sheu et al. Implementation of an interactive TV interface via gesture and handwritten numeral recognition
Patil et al. Gesture Recognition for Media Interaction: A Streamlit Implementation with OpenCV and MediaPipe
KR20190132885A (en) Apparatus, method and computer program for detecting hand from video
CN113961067A (en) Non-contact graffiti drawing method and recognition interaction system based on deep learning
He et al. Design and implementation of number gesture recognition system based on Kinect
Rautaray et al. Adaptive hand gesture recognition system for multiple applications