WO2013100430A1 - 미션실행 제스처 인식을 이용한 사용자 인증방법 - Google Patents

미션실행 제스처 인식을 이용한 사용자 인증방법 Download PDF

Info

Publication number
WO2013100430A1
WO2013100430A1 PCT/KR2012/010656 KR2012010656W WO2013100430A1 WO 2013100430 A1 WO2013100430 A1 WO 2013100430A1 KR 2012010656 W KR2012010656 W KR 2012010656W WO 2013100430 A1 WO2013100430 A1 WO 2013100430A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
gesture
mission
data
authentication
Prior art date
Application number
PCT/KR2012/010656
Other languages
English (en)
French (fr)
Inventor
김종성
Original Assignee
Kim Jong-Seong
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kim Jong-Seong filed Critical Kim Jong-Seong
Publication of WO2013100430A1 publication Critical patent/WO2013100430A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/70—Multimodal biometrics, e.g. combining information from different biometric modalities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition

Definitions

  • the present invention relates to a technique for performing user authentication using mission execution gesture recognition.
  • a user object is solved in order to solve the problem that the recognition method is exposed to other users, and thus security is weakened by imitation and modulation and accompanied by a hardware device.
  • the present invention relates to a technology for authenticating a user by recognizing a mission execution gesture.
  • An object of the present invention is that in the conventional technology of recognizing a user using a key input method or a voice input method, the recognition method is exposed to other users, so that security is weakened by imitation and modulation, and a hardware device must be accompanied. In order to solve the problem, it is to provide a technology for authenticating a user by recognizing a mission execution gesture of a user object.
  • a user authentication method using mission execution gesture recognition comprising: a first step of outputting a mission including a gesture of at least one object to a user; A second step of acquiring photographed data generated by the imaging device; Extracting object data divided into respective objects from the photographing data; Extracting a moving line of a gesture for each object of the photographing data from the object data; A fifth step of acquiring copper wire information of a gesture for each object previously stored for the user with respect to the mission; A fifth step of comparing the moving line of the gesture for each object of the photographing data with the moving line information of the gesture for each object; And a sixth step of determining whether to authenticate the user according to the comparison result.
  • the present invention may further include a zero step of requesting a mission for each user and acquiring photographing data corresponding to the mission, and extracting and previously storing copper wire information of a gesture for each object from the photographing data.
  • the fourth step in the user authentication method using the mission execution gesture recognition of the present invention the fourth step of extracting the motion vector according to the flow of the shooting time for each object data, and the motion vector extracted from each of the object data And a fourth step of acquiring a moving line of the object-specific gesture based on the moving line.
  • the gesture for each object of the third step includes one or more of the movement of the face, eye blink, head turn, mouth movement, finger movement in response to a preset time, and external attachment movement in order to execute the mission in the photographing data. It is preferable to be configured.
  • authentication UI implementation means for controlling to output a mission including a gesture of one or more preset objects to the user (21a); Object recognizing means (21c) for extracting object data divided into respective objects from photographing data generated by the imaging device; A storage unit 22 which stores, in advance, copper wire information of gestures for each object for each mission; And an authentication judging means 21e for comparing the moving line information extracted from the object data with the moving line information of the gesture for each object stored in advance for the user in the storage unit 22 and determining whether to authenticate the user from the comparison result.
  • the user authentication program after extracting the motion vector according to the flow of the shooting time for each object data, and stored in advance for the user by using the moving line of the motion vector extracted by the authentication determination means 21e And a movement vector determining unit 21d for comparing and determining the moving line information of the gesture for each object.
  • the user authentication program according to the present invention may further comprise a split focusing means (21b) for controlling the autofocusing divided by the object set in advance with respect to the image pickup device before receiving the photographing data.
  • the present invention provides an effect that can prevent unauthorized use by other users through input to the pass character or pass phrase set for each user without input means such as key input or voice input.
  • the user can object (object) a body part such as the user's mouth, eyes, face, fingers, etc., or an attachment possessed by the user, perform a gesture-by-object gesture, or identify the user by a combination of gestures. It is effective to reinforce personal security by enabling user authentication.
  • FIG. 1 is a view showing an entire system in which a user authentication method using mission execution gesture recognition according to the present invention is implemented.
  • FIG. 2 is a view for explaining a display device and an imaging device in the entire system according to the present invention.
  • FIG. 3 is a flowchart illustrating an embodiment of a user authentication method using mission execution gesture recognition according to the present invention.
  • FIG. 4 is a flowchart illustrating another embodiment of a user authentication method using mission execution gesture recognition according to the present invention.
  • FIG. 1 is a view showing an entire system in which a user authentication method using mission execution gesture recognition according to the present invention is implemented.
  • the entire system implementing the user authentication method using the mission execution gesture recognition includes a display device 10 having an image capturing apparatus 11, a gesture authentication module 21, and a storage unit ( And an authentication device 20 having a 22).
  • the authentication apparatus 20 may be formed as an external server connected to the display apparatus 10 by a data bus in a local area, or connected to the display apparatus 10 by a data cable through a network.
  • the gesture authentication module 21 includes an authentication UI implementing means 21a, a split focusing means 21b, an object recognition means 21c, a motion vector analyzing means 21d, and an authentication judging means 21e.
  • the authentication UI implementing means 21a specifies a mission for each user ID, which represents a preset gesture for each object stored in the storage unit 22, in response to a user's authentication (login) request or by displaying the display device 10 in a random manner. ) To the UI screen.
  • the mission is a specific task to be performed by a user who wants to be authenticated, reading a specific password or passphrase, following a specific physical action, or a combination thereof.
  • the following could be a mission:
  • the objects may be designated as body parts such as a user's mouth, eyes, face, fingers, and the like, and attachments carried by the user.
  • the object-specific gesture is basically aimed at recognizing the movement of the overall face that acts in response to the mission.
  • the movement of the face can be easily followed by a third party, so in terms of enhanced security for user authentication, the movement of the face adds a mouth-shaped movement that reads a pass or pass phrase formed of a single character or a series of strings. Can be implemented.
  • the split focusing means 21b controls the image pickup device 11 of the display apparatus 10 to transmit a control command so that divided auto focusing for each object set in advance for user authentication is performed.
  • the object recognizing means 21c receives the photographing data photographed by the imaging device 11 in a state in which the pre-set segmented autofocusing by the segmental focusing means 21b is performed, and then the respective object data is captured from the photographing data. The individual object data divided into the focused objects is extracted.
  • the motion vector analyzing means 21d extracts a motion vector with respect to each object data extracted by the object recognizing means 21c using the change of pixels according to the flow of the shooting time.
  • the authentication judging means 21e matches each of the moving lines of the movement vector extracted from the object data with the moving lines of the gesture for each object on the password or pass phrase previously stored in the storage unit 22 by the authentication UI implementing means 21a. Judge.
  • the authentication judging means 21e performs the authentication process for the user when the movement of the object-specific gesture on the password or pass phrase and the movement of the extracted motion vector are matched in all the objects.
  • FIG. 2 is a diagram for describing the display apparatus 10 and the imaging apparatus 11 of FIG. 1. 1 and 2, the image pickup device 11 is formed in a fixed type or a removable type on an upper front surface of the display device 10.
  • the imaging device 11 sets a region for the user to perform shooting. That is, as shown in FIG. 2, the image pickup apparatus 11 is configured to capture a specific area A formed in a circular, rectangular, or other shape so that the captured data is output to the display apparatus 10 in real time. do.
  • the image output to the display apparatus 10 may be the same as that of FIG. 2C.
  • the first focus f1 and the second according to the divided autofocusing for each object under the control of the split focusing means 21b.
  • the focus f2, the third focus f3,..., N-th focus (fn, n is a natural number of 4 or more), and the like may be implemented together with the display device 10.
  • the first focus f1 is an eye of the user
  • the second focus f2 is a mouth of the user
  • the third focus f3 is automatically assigned by the split focusing means 21b to the face of the user.
  • autofocusing can be performed by the split focusing means 21b.
  • the authentication apparatus 20 outputs a password or pass phrase indicating a preset gesture for each object to the UI screen of the display apparatus 10 (S1).
  • the authentication apparatus 20 controls the autofocusing to be performed for each preset object on the imaging device 11 of the display apparatus 10, and then performs the autofocusing for each preset object.
  • the photographing data picked up by the imaging device 11 in the set state is received (S2).
  • the authentication device 20 extracts individual object data divided into respective autofocused objects from the photographed data (S3).
  • the authentication apparatus 20 extracts the motion vector for each object data by using the change of pixels according to the flow of the shooting time (S4).
  • step S4 the authentication apparatus 20 determines whether or not the motion vector extracted from each object data matches the movement line of the gesture for each object on the password or pass phrase in step S1 (S5).
  • step S5 the authentication apparatus 20 performs an authentication process for the user when the movement of the object-specific gesture on the password or pass phrase matches the movement of the extracted movement vector on all objects (S6).
  • the authentication apparatus 20 controls the image pickup apparatus 11 of the display apparatus 10 with respect to the preset area A for the user, so that the authentication device 20 is located in the preset area A for the user. After shooting the corresponding image data, and receives the captured image data and the storage request (S11).
  • the captured image data may be a static photographic image.
  • the authentication device 20 After step S11, the authentication device 20 outputs a password or pass phrase including one or more gestures of a user's mouth shape, blinking eye, turning his head, and finger movement to the UI screen of the display device 10.
  • Control (S12) the password or pass phrase may be formed of data representing the mouth movement gesture alone, replaced by eye blinking, head turn, or finger movement, or adding the mouth movement gesture and metadata according to the passage of time of each gesture. It can be provided in one form of data.
  • passwords or pass phrases can be defined broadly about how to recognize faces (mission execution gestures), such as placing a user's face on the face, a change in eye blinks, a finger, etc. It may be defined as addition to the preset area A of the same external part of the face.
  • the password or pass phrase may be implemented in various ways in addition to the word or sentence, it may include a variety of expressive actions that can explain the user's gesture. For example, “read the given word with the index finger on the right wear”, “please follow the face (avatar) shown in the front” and the like.
  • the authentication apparatus 20 controls the image capturing apparatus 11 of the display apparatus 10 to perform autofocusing on at least one of a mouth part, an eye part, a face part, and a finger part of the user. After that, autofocusing is performed to receive photographed data (S13).
  • the authentication apparatus 20 extracts a movement vector by analyzing one or more movements of the mouth part, the eye part, the face part, and the finger part of the user from the photographing data of the step S13 (S14).
  • the authentication device 20 stores each of the moving lines of the movement vector representing the movement of at least one of the mouth part, the eye part, the face part, and the finger part of the user extracted in step S14 to the storage unit 22. It is determined whether or not a match is made by comparing a gesture representing a previously stored password or a pass phrase with a moving line (S15).
  • the authentication apparatus 20 After the step S15, the authentication apparatus 20 performs an authentication process for the user when both the movement lines of the extracted movement vectors and the movement lines of the gestures representing the previously stored passwords or pass phrases are matched (S16).
  • the authentication device 20 grants the user the right to use the initial image data stored in the storage unit 22 in step S11, thereby storing the initial image data in the storage unit 22 in the step S11. Save (S17).
  • the present invention mainly uses a user's dynamic mouth tracking when reading a specific word or sentence on a password or pass phrase as an authentication means for the user.
  • the password input function can be implemented without sound, and the possibility of being exposed to the surroundings can be reduced, and when the authentication is completed in step S16, the deletion of the initial image data stored in step 11, It is used to set up the use of photos, such as copying, editing, and transmitting to the outside via a network, thereby performing a function for enhancing security of personal information.
  • the invention can also be embodied in the form of computer readable codes on a computer readable recording medium.
  • the computer-readable recording medium includes all kinds of recording devices in which data that can be read by a computer system is stored.
  • Examples of computer-readable recording media include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage, and the like, which may be implemented in the form of a carrier wave (eg, transmission over the Internet). .
  • the computer readable recording medium can also store and execute computer readable code in a distributed manner over networked computer systems. And functional programs, codes, and code segments for implementing the present invention can be easily inferred by programmers in the technical field to which the present invention belongs.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Security & Cryptography (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Collating Specific Patterns (AREA)

Abstract

본 발명은 미션실행 제스처 인식을 이용하여 사용자 인증을 수행하는 기술에 관한 것이다. 특히, 키 입력 방식 또는 음성입력 방식을 이용하여 사용자를 인식하는 종래의 기술에서 다른 사용자에게 인식방식이 노출되어 모방 및 변조에 의해 보안이 취약해지고 하드웨어 장치가 수반되어야 한다는 문제점을 해결하기 위하여 사용자 오브젝트의 미션실행 제스처를 인식하하여 사용자를 인증하는 기술에 관한 것이다. 본 발명에 따르면 사용자의 입, 눈, 얼굴, 손가락 등과 같은 신체 일부 내지는 사용자가 소지한 부착물 등을 객체화(오브젝트화)하고 오브젝트 별로 제스처를 취하거나 제스처들의 조합으로 사용자를 식별하도록 함으로써 키 입력 또는 음성 입력 없이 사용자에 대한 인증을 수행이 가능하도록 하여 개인의 보안을 강화하는데 효과적이다.

Description

미션실행 제스처 인식을 이용한 사용자 인증방법
본 발명은 미션실행 제스처 인식을 이용하여 사용자 인증을 수행하는 기술에 관한 것이다. 특히, 키 입력 방식 또는 음성입력 방식을 이용하여 사용자를 인식하는 종래의 기술에서 다른 사용자에게 인식방식이 노출되어 모방 및 변조에 의해 보안이 취약해지고 하드웨어 장치가 수반되어야 한다는 문제점을 해결하기 위하여 사용자 오브젝트의 미션실행 제스처를 인식하하여 사용자를 인증하는 기술에 관한 것이다.
종래, 인터넷 또는 개인 단말에서 사용자 인증은 인터넷 서비스 제공 사업자 또는 개인 단말의 설정으로 개별적으로 인증이 수행되었다. 이러한 경우에 일반적으로 사용자는 미리 설정된 숫자와 문자의 조합에 따라 계정에 따른 비밀번호 입력 방식이 사용되어왔다. 또한 최근에는 음성 입력방식을 통한 사용자 인식이나 지문 인식을 통한 방법도 많이 쓰이고 있다.
그러나 전자의 비밀번호 입력 방식의 경우 해킹이나 부주의한 관리 등으로 인하여 다른 사용자에 대한 노출의 위험성이 높고 일단 노출되면 부정사용에 의해 개인정보가 유출되는 것을 막기가 곤란하다. 또한, 후자의 음성 입력 방식 내지는 지문 인식을 위한 방식은 별도의 입력 장치와 같은 하드웨어적인 기구 구성이 반드시 수반되어야 한다는 단점이 있다.
이에 따라 해당 기술분야에 있어서는 부정사용자에 의한 불법적인 사용자 인증을 방지하고, 소프트웨어적인 구성을 이용함으로써 사용자에 대한 인증 및 인증에 따른 개인적 데이터에 대한 사용권한을 사용자 특성에 맞도록 설계하기 위한 기술개발이 절실히 요구되고 있다.
[관련기술문헌]
1. 글로벌 인증 연속성 특징 및 그 실행 방법(특허출원 10-2004-0094524호)
2. 음성 인증 장치, 음성 인증 시스템 및 음성 인증 방법(특허출원 10-2006-7012391호)
본 발명의 목적은 키 입력 방식 또는 음성입력 방식을 이용하여 사용자를 인식하는 종래의 기술에서 다른 사용자에게 인식방식이 노출되어 모방 및 변조에 의해 보안이 취약해지고 하드웨어 장치가 수반되어야 한다는 종래기술의 문제점을 해결하기 위하여 사용자 오브젝트의 미션실행 제스처를 인식하여 사용자를 인증하는 기술을 제공하는 것이다.
이러한 과제를 달성하기 위한 본 발명에 따른 미션실행 제스처 인식을 이용한 사용자 인증방법은, 미리 설정된 하나 이상의 오브젝트의 제스처를 포함하는 미션을 사용자에게 출력하는 제 1 단계; 촬상장치에 의해 생성된 촬영데이터를 획득하는 제 2 단계; 촬영데이터로부터 각 오브젝트로 분할된 오브젝트 데이터를 추출하는 제 3 단계; 오브젝트 데이터로부터 촬영데이터의 오브젝트별 제스처의 동선을 추출하는 제 4 단계; 미션에 대하여 사용자에 대해 미리 저장된 오브젝트별 제스처의 동선 정보를 획득하는 제 5 단계; 촬영데이터의 오브젝트별 제스처의 동선과 미리 저장된 오브젝트별 제스처의 동선 정보를 비교하는 제 5 단계; 비교 결과에 따라 사용자 인증 여부를 판단하는 제 6 단계;를 포함하여 구성된다. 이때, 본 발명은 사용자별로 미션을 요청하고 미션에 대응되는 촬영데이터를 획득한 후, 촬영데이터로부터 오브젝트별 제스처의 동선 정보를 추출하여 미리 저장하는 제 0 단계;를 더 포함하여 구성될 수 있다.
한편, 본 발명의 미션실행 제스처 인식을 이용한 사용자 인증방법에서 제 4 단계는, 오브젝트 데이터 각각에 대해 촬영시간의 흐름에 따른 이동벡터를 추출하는 제 4a 단계와, 오브젝트 데이터 각각으로부터 추출된 이동벡터의 동선에 기초하여 오브젝트별 제스처의 동선을 획득하는 제 4b 단계를 포함하여 구성되는 것이 바람직하다. 또한, 제 3 단계의 오브젝트별 제스처는 촬영데이터에서 미션실행을 위해서 이루어지는 얼굴의 움직임, 눈 깜박임, 고개돌림, 입 모양의 움직임, 미리 설정된 시간에 반응하는 손가락 움직임, 외부 부착물 움직임 중에서 하나 이상을 포함하여 구성되는 것이 바람직하다.
또한, 본 발명에 따른 컴퓨터로 판독가능한 기록매체에 기록된 사용자 인증 프로그램은, 미리 설정된 하나 이상의 오브젝트의 제스처를 포함하는 미션을 사용자에게 출력하도록 제어하는 인증UI 구현수단(21a); 촬상장치에 의해 생성된 촬영데이터로부터 각 오브젝트로 분할된 오브젝트 데이터를 추출하는 오브젝트 인식수단(21c); 미션에 대하여 사용자별로 오브젝트별 제스처의 동선 정보를 미리 저장하고 있는 저장부(22); 오브젝트 데이터에서 추출된 동선과 저장부(22)에 사용자에 대해 미리 저장된 오브젝트별 제스처의 동선 정보를 비교하여, 비교 결과로부터 사용자 인증 여부를 판단하는 인증판단 수단(21e);을 구비하여 이루어진다.
이때, 본 발명에 따른 사용자 인증 프로그램은, 오브젝트 데이터 각각에 대해 촬영시간의 흐름에 따른 이동벡터를 추출한 뒤, 인증판단 수단(21e)에 의해 추출된 이동벡터의 동선을 이용하여 사용자에 대해 미리 저장된 오브젝트별 제스처의 동선 정보와 비교 판단하도록 하는 이동벡터 판단수단(21d);을 더 구비하여 이루어질 수 있다.
또한, 본 발명에 따른 사용자 인증 프로그램은, 촬영데이터 수신 전에 촬상장치에 대해 미리 설정된 오브젝트 별로 분할된 오토포커싱이 수행되도록 제어하는 분할포커싱 수단(21b);을 더 구비하여 이루어질 수 있다.
본 발명에 따르면 키 입력 또는 음성입력과 같은 입력 수단 없이 사용자별로 설정된 패스 문자 내지는 패스문구에 대한 입력을 통해 타 사용자에 의한 부정사용을 예방할 수 있는 효과를 제공한다. 즉, 사용자의 입, 눈, 얼굴, 손가락 등과 같은 신체 일부 내지는 사용자가 소지한 부착물 등을 객체화(오브젝트화)하고 오브젝트 별로 제스처를 취하거나 제스처들의 조합으로 사용자를 식별하도록 함으로써 키 입력 또는 음성 입력 없이 사용자에 대한 인증을 수행이 가능하도록 하여 개인의 보안을 강화하는데 효과적이다.
도 1은 본 발명에 따른 미션실행 제스처 인식을 이용한 사용자 인증방법이 구현되는 전체 시스템을 나타내는 도면.
도 2는 본 발명에 따른 전체 시스템에서 디스플레이 장치와 촬상장치를 설명하기 위한 도면.
도 3은 본 발명에 따른 미션실행 제스처 인식을 이용한 사용자 인증방법의 일 실시예를 나타내는 순서도.
도 4는 본 발명에 따른 미션실행 제스처 인식을 이용한 사용자 인증방법의 다른 실시예를 나타내는 순서도.
이하에서는 도면을 참조하여 본 발명을 상세하게 설명한다.
도 1은 본 발명에 따른 미션실행 제스처 인식을 이용한 사용자 인증방법이 구현되는 전체 시스템을 나타내는 도면이다.
도 1을 참조하여 살펴보면, 본 발명의 미션실행 제스처 인식을 이용한 사용자 인증방법이 구현되는 전체 시스템은 촬상장치(11)를 구비한 디스플레이 장치(10), 그리고 제스처 인증모듈(21)과 저장부(22)를 구비한 인증장치(20)를 포함한다. 여기서 인증장치(20)는 디스플레이 장치(10)와 로컬 영역에서 데이터 버스로 연결되거나, 디스플레이 장치(10)와 네트워크를 통한 데이터 케이블로 연결된 외부 서버로 형성될 수 있다.
한편, 제스처 인증모듈(21)은 인증UI 구현수단(21a), 분할포커싱 수단(21b), 오브젝트 인식수단(21c), 이동벡터 분석수단(21d), 인증판단 수단(21e)을 구비한다.
인증UI 구현수단(21a)은 사용자의 인증(로그인) 요청에 대응하여 저장부(22)에 저장된 미리 설정된 오브젝트별 제스처를 나타내는 미션(mission)을 사용자의 아이디 별로 지정하거나 랜덤 방식으로 디스플레이 장치(10)의 UI 화면으로 출력한다. 여기서, 미션은 인증을 바라는 사용자가 수행해야 할 특정의 작업으로서, 특정의 패스워드(password)나 패스문구(passphrase)를 읽는 것이거나, 특정의 신체 동작을 따라하는 것이거나, 혹은 이들의 조합이 가능하다. 예를 들어, 아래의 사항이 미션이 될 수 있다.
(1) 아래의 단어를 읽으세요.
(2) 아래의 문장을 읽으세요.
(3) 얼굴 오른쪽에 검지손가락을 대고 아래의 단어를 읽으세요.
(4) 고개를 좌우로 돌리세요.
(5) 자동차 열쇠를 위 아래로 흔드세요.
또한, 본 발명에서 오브젝트(objects)는 사용자의 입, 눈, 얼굴, 손가락 등과 같은 신체 일부, 사용자가 소지한 부착물 등으로 지정될 수 있다. 여기서, 오브젝트별 제스처는 기본적으로는 미션에 대응하여 행동하는 전체적인 얼굴의 움직임의 인식을 목적으로 한다.
추가로, 얼굴의 움직임은 제 3 자도 쉽게 따라할 수 있으므로 사용자 인증에 대한 보안 강화라는 측면에서 얼굴의 움직임에 하나의 문자 또는 연속된 문자열로 형성된 패스 문자 또는 패스문구를 읽는 입 모양의 움직임을 추가하여 구현할 수 있다. 그 밖에, 얼굴의 움직임에 특정 시간에 반응하는 눈 깜박임, 특정 시간에 반응하는 좌우상하의 고개돌림, 패스워드 또는 패스문구 상의 설명으로 제시되는 미리 설정된 시간에 반응하는 외부 부착물(손가락/기타 물건)의 움직임 등으로 구현될 수 있다.
분할포커싱 수단(21b)는 디스플레이 장치(10)의 촬상장치(11)를 제어함으로써 사용자 인증을 위해 미리 설정된 오브젝트별 분할된 오토포커싱이 이루어지도록 제어명령을 전송한다.
오브젝트 인식수단(21c)은 분할포커싱 수단(21b)에 의한 미리 설정된 오브젝트별 분할된 오토포커싱이 수행된 상태에서의 촬상장치(11)에 의해 촬영된 촬영데이터를 수신한 뒤, 촬영데이터로부터 각 오토포커싱된 오브젝트로 분할된 개별적 오브젝트 데이터를 추출한다.
이동벡터 분석수단(21d)은 오브젝트 인식수단(21c)에 의해 추출된 각 오브젝트 데이터에 대해 촬영시간의 흐름에 따른 픽셀들의 변화를 이용해 이동벡터를 추출한다.
인증판단 수단(21e)은 각 오브젝트 데이터에서 추출된 이동벡터의 동선 각각을 인증UI 구현수단(21a)에 의해 저장부(22)에 기저장된 패스워드 또는 패스문구 상의 오브젝트별 제스처의 동선과의 매칭 여부를 판단한다.
이에 따라, 인증판단 수단(21e)은 패스워드 또는 패스문구 상의 오브젝트별 제스처의 동선과 추출된 이동벡터의 동선이 모든 오브젝트에서 매칭된 경우, 사용자에 대한 인증 처리를 수행한다.
도 2는 도 1의 디스플레이 장치(10)와 촬상장치(11)를 설명하기 위한 도면이다. 도 1과 도 2을 참조하면, 디스플레이 장치(10)의 전면 상단에는 촬상장치(11)가 고정형 또는 탈부착형으로 형성된다. 여기서, 촬상장치(11)는 사용자에 대해 영역을 설정하여 촬영을 수행한다. 즉, 촬상장치(11)는 도 2에 도시된 바와 같이, 원형, 사각형, 그 밖의 형상으로 형성된 특정 영역(A)에 대해서 촬영을 수행하여 촬영된 데이터를 디스플레이 장치(10)로 실시간 출력되도록 설정된다.
여기서 디스플레이 장치(10)로 출력되는 영상은 도 2c와 같을 수 있으며, 이 경우, 분할포커싱 수단(21b)의 제어에 따른 미리 설정된 오브젝트별 분할된 오토포커싱에 따라 제 1 포커스(f1), 제 2 포커스(f2), 제 3 포커스(f3), ..., 제 n 포커스(fn, n은 4 이상의 자연수) 등과 같이 디스플레이 장치(10)로 출력시 함께 구현될 수 있다.
여기서, 제 1 포커스(f1)는 사용자의 눈, 제 2 포커스(f2)는 사용자의 입, 제 3 포커스(f3)는 사용자의 얼굴로 분할포커싱 수단(21b)에 의해 자동 지정될 수 있으며, 추가적으로 손이나, 사용자가 소지한 물건 등의 부착물을 영역(A) 상에 위치시킬 경우, 분할포커싱 수단(21b)에 의해 오토포커싱이 수행될 수 있다.
도 3은 본 발명에 따른 미션실행 제스처 인식을 이용한 사용자 인증방법을 나타내는 순서도이다. 도 1 내지 도 3을 참조하면, 인증장치(20)는 미리 설정된 오브젝트별 제스처를 나타내는 패스워드 또는 패스문구를 디스플레이 장치(10)의 UI 화면으로 출력한다(S1).
단계(S1) 이후, 인증장치(20)는 디스플레이 장치(10)의 촬상장치(11) 상에 미리 설정된 오브젝트별로 분할된 오토포커싱이 수행되도록 제어한 뒤, 미리 설정된 오브젝트별 분할된 오토포커싱이 수행된 상태에서의 촬상장치(11)에 의해 촬영된 촬영데이터를 수신한다(S2).
단계(S2) 이후, 인증장치(20)는 촬영데이터로부터 각 오토포커싱된 오브젝트로 분할된 개별적 오브젝트 데이터를 추출한다(S3).
단계(S3) 이후, 인증장치(20)는 각 오브젝트 데이터에 대해 촬영시간의 흐름에 따른 픽셀들의 변화를 이용해 이동벡터를 추출한다(S4).
단계(S4) 이후, 인증장치(20)는 각 오브젝트 데이터에서 추출된 이동벡터를 단계(S1)에서의 패스워드 또는 패스문구 상의 오브젝트별 제스처의 동선과 매칭 여부를 판단한다(S5).
단계(S5) 이후, 인증장치(20)는 패스워드 또는 패스문구 상의 오브젝트별 제스처의 동선이 추출된 이동벡터의 동선과 모든 오브젝트 상에서 매칭된 경우, 사용자에 대한 인증 처리를 수행한다(S6).
도 4는 본 발명의 다른 실시예에 따른 미션실행 제스처 인식을 이용한 사용자 인증방법을 나타내는 순서도이다. 도 1 내지 도 4를 참조하면, 인증장치(20)는 사용자에 대한 미리 설정된 영역(A)에 대해 디스플레이 장치(10)의 촬상장치(11)를 제어하여 사용자에 대해 미리 설정된 영역(A)에 해당하는 영상데이터를 촬영하도록 한 뒤, 촬영된 영상데이터 및 저장 요청을 수신한다(S11). 여기서 촬영된 영상데이터는 정적인 사진이미지 일 수 있다.
단계(S11) 이후, 인증장치(20)는 사용자의 입 모양 움직임, 눈 깜빡임, 고개 돌림, 손가락의 움직임 중 하나 이상의 제스처를 포함하는 패스워드 또는 패스문구를 디스플레이 장치(10)의 UI 화면으로 출력하도록 제어한다(S12). 여기서, 패스워드 또는 패스문구는 입 모양 움직임 제스처 단독을 의미하는 데이터로 형성될 수 있으며, 눈 깜박임, 고개 돌림, 손가람 움직임으로 대체되거나 입 모양 움직임 제스처와 각 제스처의 시간의 흐름에 따른 메타데이터를 추가한 형태의 데이터로 제공될 수 있다.
보다 구체적인 실시예로, 패스워드 또는 패스문구는 얼굴을 인식하는 방법(미션 실행 제스처)에 대해서 광범위하게 정의될 수 있으며, 사용자의 얼굴 상의 입모양, 눈 깜박임의 변화, 손가락 등을 입에 대도록 하는 것과 같은 얼굴 외적인 부분의 미리 설정된 영역(A)으로의 추가 등으로 정의될 수 있다.
한편, 패스워드 또는 패스문구는 단어나 문장 외에도 다양하게 구현될 수 있으며, 사용자의 제스처를 설명할 수 있는 다양한 표현 행위가 다 포함될 수 있다. 예컨대, "오른쪽 입고리에 검지를 대고 주어진 단어를 읽으세요", "앞에 보여지는 얼굴(아바타)을 따라 해주세요" 등으로도 제시될 수 있다.
단계(S12) 이후, 인증장치(20)는 디스플레이 장치(10)의 촬상장치(11)로 사용자의 입 부분, 눈 부분, 얼굴 부분, 손가락 부분 중 적어도 하나 이상에 대한 대한 오토포커싱이 수행되도록 제어한 뒤, 오토포커싱이 수행되어 촬영된 촬영데이터를 수신한다(S13).
단계(S13) 이후, 인증장치(20)는 단계(S13)의 촬영데이터로부터 사용자의 입 부분, 눈 부분, 얼굴 부분, 손가락 부분 중 하나 이상의 움직임을 분석하여 이동벡터를 추출한다(S14).
단계(S14) 이후, 인증장치(20)는 단계(S14)에서 추출된 사용자의 입 부분, 눈 부분, 얼굴 부분, 손가락 부분 중 하나 이상의 움직임을 나타내는 이동벡터의 동선 각각을 저장부(22)에 기저장된 패스워드 또는 패스문구를 나타내는 제스처의 동선과의 비교를 통해 매칭 여부를 판단한다(S15).
단계(S15) 이후, 인증장치(20)는 각 추출된 이동벡터의 동선과 기저장된 패스워드 또는 패스문구를 나타내는 제스처의 동선이 모두 매칭된 경우, 사용자에 대한 인증 처리를 수행한다(S16).
여기서, 인증장치(20)는 단계(S11)에서의 저장부(22)에 저장된 초기 영상데이터에 대한 사용자의 사용권한을 부여함으로써, 단계(S11)에서의 초기 영상데이터를 저장부(22)에 저장한다(S17).
본 발명은 패스워드 또는 패스문구 상의 특정 단어 내지 문장을 읽을 때의 사용자의 동적인 입 모양 추적을 사용자에 대한 인증 수단으로 주로 사용한다. 이 경우, 소리없이 패스워드 입력 기능에 대한 구현이 가능하며, 주변에 노출될 가능성도 감소할 수 있으며, 단계(S16)에서의 인증이 완료될 경우 단계(11)에서 저장된 초기 영상데이터에 대한 삭제, 복사, 편집, 네트워크를 통한 외부로의 전송 등과 같은 사진 이용에 대한 관한 설정에 사용됨으로써, 개인 정보에 대한 보안 강화를 수행할 수 있는 기능을 수행할 수 있다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드의 형태로 구현하는 것이 가능하다. 이때, 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 캐리어웨이브(예: 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산된 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인 프로그램, 코드, 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의해 용이하게 추론될 수 있다.

Claims (7)

  1. 미리 설정된 하나 이상의 오브젝트의 제스처를 포함하는 미션을 사용자에게 출력하는 제 1 단계;
    촬상장치에 의해 생성된 촬영데이터를 획득하는 제 2 단계;
    상기 촬영데이터로부터 각 오브젝트로 분할된 오브젝트 데이터를 추출하는 제 3 단계;
    상기 오브젝트 데이터로부터 상기 촬영데이터의 오브젝트별 제스처의 동선을 추출하는 제 4 단계;
    상기 미션에 대하여 상기 사용자에 대해 미리 저장된 오브젝트별 제스처의 동선 정보를 획득하는 제 5 단계;
    상기 촬영데이터의 오브젝트별 제스처의 동선과 상기 미리 저장된 오브젝트별 제스처의 동선 정보를 비교하는 제 5 단계;
    상기 비교 결과에 따라 사용자 인증 여부를 판단하는 제 6 단계;
    를 포함하여 구성되는 미션실행 제스처 인식을 이용한 사용자 인증방법.
  2. 청구항 1에 있어서,
    사용자별로 상기 미션을 요청하고 상기 미션에 대응되는 촬영데이터를 획득한 후, 상기 촬영데이터로부터 오브젝트별 제스처의 동선 정보를 추출하여 미리 저장하는 제 0 단계;
    를 더 포함하여 구성되는 미션실행 제스처 인식을 이용한 사용자 인증방법.
  3. 청구항 2에 있어서,
    상기 제 4 단계는,
    상기 오브젝트 데이터 각각에 대해 촬영시간의 흐름에 따른 이동벡터를 추출하는 제 4a 단계;
    상기 오브젝트 데이터 각각으로부터 추출된 이동벡터의 동선에 기초하여 상기 오브젝트별 제스처의 동선을 획득하는 제 4b 단계;
    를 포함하여 구성되는 것을 특징으로 하는 미션실행 제스처 인식을 이용한 사용자 인증방법.
  4. 청구항 3에 있어서,
    상기 제 3 단계의 상기 오브젝트별 제스처, 상기 촬영데이터에서 상기 미션실행을 위해서 이루어지는 얼굴의 움직임, 눈 깜박임, 고개돌림, 입 모양의 움직임, 미리 설정된 시간에 반응하는 손가락 움직임, 외부 부착물 움직임 중에서 하나 이상을 포함하여 구성되는 것을 특징으로 하는 미션실행 제스처 인식을 이용한 사용자 인증방법.
  5. 미리 설정된 하나 이상의 오브젝트의 제스처를 포함하는 미션을 사용자에게 출력하도록 제어하는 인증UI 구현수단(21a);
    촬상장치에 의해 생성된 촬영데이터로부터 상기 각 오브젝트로 분할된 오브젝트 데이터를 추출하는 오브젝트 인식수단(21c);
    상기 미션에 대하여 사용자별로 오브젝트별 제스처의 동선 정보를 미리 저장하고 있는 저장부(22);
    상기 오브젝트 데이터에서 추출된 동선과 상기 저장부(22)에 상기 사용자에 대해 미리 저장된 오브젝트별 제스처의 동선 정보를 비교하여, 상기 비교 결과로부터 사용자 인증 여부를 판단하는 인증판단 수단(21e);
    을 구비하는 미션실행 제스처 인식을 이용한 사용자 인증 프로그램을 기록한 컴퓨터로 판독가능한 기록매체.
  6. 청구항 5에 있어서,
    상기 사용자 인증 프로그램은,
    상기 오브젝트 데이터 각각에 대해 촬영시간의 흐름에 따른 이동벡터를 추출한 뒤, 상기 인증판단 수단(21e)에 의해 상기 추출된 이동벡터의 동선을 이용하여 상기 사용자에 대해 미리 저장된 오브젝트별 제스처의 동선 정보와 비교 판단하도록 하는 이동벡터 판단수단(21d);
    을 더 구비하는 미션실행 제스처 인식을 이용한 사용자 인증 프로그램을 기록한 컴퓨터로 판독가능한 기록매체.
  7. 청구항 6에 있어서,
    상기 사용자 인증 프로그램은,
    상기 촬영데이터 수신 전에 상기 촬상장치에 대해 미리 설정된 오브젝트 별로 분할된 오토포커싱이 수행되도록 제어하는 분할포커싱 수단(21b);
    을 더 구비하는 미션실행 제스처 인식을 이용한 사용자 인증 프로그램을 기록한 컴퓨터로 판독가능한 기록매체.
PCT/KR2012/010656 2011-12-28 2012-12-11 미션실행 제스처 인식을 이용한 사용자 인증방법 WO2013100430A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2011-0144140 2011-12-28
KR1020110144140A KR101457377B1 (ko) 2011-12-28 2011-12-28 미션실행 제스처 인식을 이용한 사용자 인증방법, 및 미션실행 제스처 인식을 이용한 사용자 인증 프로그램을 기록한 컴퓨터로 판독가능한 기록매체

Publications (1)

Publication Number Publication Date
WO2013100430A1 true WO2013100430A1 (ko) 2013-07-04

Family

ID=48697825

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2012/010656 WO2013100430A1 (ko) 2011-12-28 2012-12-11 미션실행 제스처 인식을 이용한 사용자 인증방법

Country Status (2)

Country Link
KR (1) KR101457377B1 (ko)
WO (1) WO2013100430A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016077578A1 (en) * 2014-11-13 2016-05-19 Intel Corporation System and method for feature-based authentication

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101464446B1 (ko) * 2013-10-07 2014-11-24 재단법인대구경북과학기술원 얼굴 인식과 자세 추정을 이용한 개인 인증 방법 및 그 장치
CN104808914B (zh) * 2014-01-27 2018-10-12 联想(北京)有限公司 信息处理方法及电子设备
US10613687B2 (en) 2014-01-13 2020-04-07 Beijing Lenovo Software Ltd. Information processing method and electronic device
US10204265B2 (en) 2016-01-11 2019-02-12 Electronics And Telecommunications Research Institute System and method for authenticating user
KR102444011B1 (ko) * 2021-09-17 2022-09-16 사십오센티미터 주식회사 온라인 거래 상품의 실제 판매 검증 시스템 및 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060133427A (ko) * 2005-06-20 2006-12-26 삼성전자주식회사 카메라부를 이용한 사용자 인증 방법 및 이를 위한이동통신단말기
KR20070045765A (ko) * 2005-10-28 2007-05-02 엘지전자 주식회사 동작감지에 의한 사용자 인증 기능을 구비한 이동통신단말기 및 그 방법
KR20100066352A (ko) * 2008-12-08 2010-06-17 한국전자통신연구원 상황 인지 장치 및 이를 이용한 상황 인지 방법
KR20110003146A (ko) * 2009-07-03 2011-01-11 한국전자통신연구원 제스쳐 인식 장치, 이를 구비한 로봇 시스템 및 이를 이용한 제스쳐 인식 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060133427A (ko) * 2005-06-20 2006-12-26 삼성전자주식회사 카메라부를 이용한 사용자 인증 방법 및 이를 위한이동통신단말기
KR20070045765A (ko) * 2005-10-28 2007-05-02 엘지전자 주식회사 동작감지에 의한 사용자 인증 기능을 구비한 이동통신단말기 및 그 방법
KR20100066352A (ko) * 2008-12-08 2010-06-17 한국전자통신연구원 상황 인지 장치 및 이를 이용한 상황 인지 방법
KR20110003146A (ko) * 2009-07-03 2011-01-11 한국전자통신연구원 제스쳐 인식 장치, 이를 구비한 로봇 시스템 및 이를 이용한 제스쳐 인식 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016077578A1 (en) * 2014-11-13 2016-05-19 Intel Corporation System and method for feature-based authentication
US9811649B2 (en) 2014-11-13 2017-11-07 Intel Corporation System and method for feature-based authentication

Also Published As

Publication number Publication date
KR20130093757A (ko) 2013-08-23
KR101457377B1 (ko) 2014-11-03

Similar Documents

Publication Publication Date Title
US20200287893A1 (en) Identity authentication method and apparatus
CN108804884B (zh) 身份认证的方法、装置及计算机存储介质
WO2013100430A1 (ko) 미션실행 제스처 인식을 이용한 사용자 인증방법
CN111886842B (zh) 使用基于阈值的匹配进行远程用户身份验证
Khamis et al. GTmoPass: two-factor authentication on public displays using gaze-touch passwords and personal mobile devices
CN105160227B (zh) 远程指纹验证方法和用户终端及指纹验证系统
Meng et al. Charging me and I know your secrets! Towards juice filming attacks on smartphones
KR101859433B1 (ko) 영상 모자이크 처리 방법 및 이를 위한 장치
US20150128292A1 (en) Method and system for displaying content including security information
US20120183270A1 (en) Webcam captcha
US11004163B2 (en) Terminal-implemented method, server-implemented method and terminal for acquiring certification document
JP2021099802A (ja) ユーザーを認証する方法およびシステム
KR101534808B1 (ko) 얼굴 인식 기술을 이용한 전자 앨범 관리 방법 및 시스템
WO2017065576A1 (ko) 가변 키패드를 이용한 본인 인증 방법 및 시스템
EP2281260A2 (en) Apparatus and method for inputting password using game
CN110247898B (zh) 身份验证方法、装置、介质及电子设备
US10956548B2 (en) User authentication via emotion detection
CN109034029A (zh) 检测活体的人脸识别方法、可读存储介质和电子设备
TW201504839A (zh) 可攜式電子裝置及互動式人臉登入方法
CN114612986A (zh) 检测方法、装置、电子设备及存储介质
WO2012074275A2 (ko) 인터넷 보안을 위한 본인인증 장치, 그 방법 및 이를 기록한 기록매체
EP3528152A1 (en) Method and apparatus for user authentication
CN114048504A (zh) 文件处理方法及装置、电子设备和存储介质
CN109388933A (zh) 基于动态子图的验证方法、装置、用户设备及存储介质
US20220245963A1 (en) Method, apparatus and computer program for authenticating a user

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12862125

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12862125

Country of ref document: EP

Kind code of ref document: A1