KR20030091345A - Method and system for facial liveness test - Google Patents
Method and system for facial liveness test Download PDFInfo
- Publication number
- KR20030091345A KR20030091345A KR1020020029275A KR20020029275A KR20030091345A KR 20030091345 A KR20030091345 A KR 20030091345A KR 1020020029275 A KR1020020029275 A KR 1020020029275A KR 20020029275 A KR20020029275 A KR 20020029275A KR 20030091345 A KR20030091345 A KR 20030091345A
- Authority
- KR
- South Korea
- Prior art keywords
- face image
- face
- image
- information
- person
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/147—Details of sensors, e.g. sensor lenses
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Collating Specific Patterns (AREA)
Abstract
Description
본 발명은 살아있는 얼굴의 진위 여부 검사 시스템 및 그 방법에 관한 것으로, 보다 상세하게는 입력되는 얼굴 영상이 실제 얼굴 영상인지 또는 사진, 주민등록증, 기타 인쇄물 상의 얼굴 영상인지를 식별한 후, 그 식별결과에 한하여 출입 통제 시스템이 동작하도록 그 출입 통제 시스템과 연계 동작하는 살아있는 얼굴의 진위 여부 검사 시스템 및 그 방법에 관한 것이다.The present invention relates to a system for checking the authenticity of a living face and a method thereof, and more particularly, to identify whether an input face image is an actual face image or a face image on a photograph, a social security card, or other printed matter, The present invention relates to a system for checking the authenticity of a living face and a method for operating the access control system in association with the access control system.
일반적으로 보안이 요구되거나 출입자의 신원 파악이 요구되는 건물이나 출입구에서는 출입이 허가된 사람들에게만 출입을 허용하는 출입 통제 시스템을 이용하고 있다. 이러한 출입 통제 시스템으로 종래에는 열쇠 또는 카드키 시스템이 이용되었으나 열쇠 또는 카드키의 분실로 인한 보안의 허점이 노출되어 점차 사용이 감소되고 있는 추세이다.In general, a building or doorway where security is required or identification of an accessor uses an access control system that allows access only to authorized persons. As such an access control system, a key or card key system has been conventionally used, but the use of the key or card key system is gradually decreasing due to the exposure of security holes due to loss of the key or card key.
최근 들어, 출입 통제 시스템으로는 출입자의 고유한 특징인 얼굴을 이용하여 출입을 통제하는 시스템의 사용이 점차 증가하고 있는 추세이다. 사람들의 얼굴 정보를 기반으로 하여 출입을 통제하는 출입 통제 시스템은 출입 허가된 사람들의 얼굴 특징 정보를 사전에 등록하여 임의의 출입자가 출입하고자 할 경우, 해당 출입자에 대한 얼굴 영상을 바탕으로 얼굴 특징 정보를 추출한 후, 추출된 얼굴 특징 정보가 기 등록되어 있지 않으면, 상기 출입자를 출입 허가되지 않은 사람으로 판단하여 출입을 통제하는 방식으로 보안을 유지하고 있다.Recently, the use of a system for controlling access by using a face, which is a unique feature of the accessor, is gradually increasing as an access control system. The access control system that controls access based on the face information of people, if any person wants to access by registering the face feature information of the authorized people in advance, the face feature information is based on the face image of the person. After extraction, if the extracted facial feature information is not registered in advance, the accessor is determined as an unauthorized person to maintain security by controlling access.
그러나, 얼굴 정보를 기반으로 하여 출입자를 통제하는 출입 통제 시스템은 실제 얼굴 영상과 사진, 주민등록증, 기타 인쇄물 상의 얼굴 영상을 식별하는 능력이 결여되어 있다. 그 결과, 타인이 악의적인 목적으로 기존에 출입 허가된 사람의 사진, 주민등록증, 기타 인쇄물을 이용하여 출입하고자 할 경우, 출입 통제 시스템은 타인을 출입 허가된 사람으로 오인하여 출입을 허가하는 오류를 범할 수 있다. 즉, 출입 통제 시스템 자체의 인식 성능과는 무관하게 보안상에 허점을 노출시킬 우려가 있었다.However, access control systems that control access based on face information lack the ability to identify real face images and face images on photographs, ID cards, and other printed matter. As a result, if a person attempts to enter by using a photograph, resident registration card, or other printed material of a previously authorized person for malicious purposes, the access control system may mistake the person as an authorized person and make an error. Can be. In other words, there is a concern that the security holes are exposed regardless of the recognition performance of the access control system itself.
본 발명은 상기와 같은 문제점을 해결하기 위해 안출한 것으로서, 입력되는 얼굴 영상이 실제 얼굴 영상인지 또는 사진, 주민등록증, 기타 인쇄물 상의 얼굴 영상인지 식별하는 시스템을 제공하여 출입 통제 시스템과 연계 동작시킴으로써,그 출입 통제 시스템의 보안성 및 신뢰도를 보다 향상시킬 수 있도록 한 살아있는 얼굴의 진위 여부 검사 시스템 및 그 방법을 제공하는데 목적이 있다.The present invention has been made in order to solve the above problems, by providing a system for identifying whether the input face image is a real face image or a face image on a photo, social security card, or other printed material, by operating in conjunction with the access control system, An object of the present invention is to provide a system for checking the authenticity of a living face and a method for improving the security and reliability of the access control system.
도 1은 본 발명에 따른 살아있는 얼굴의 진위 여부 검사 시스템의 운영방법에 대한 개략적인 구성도,1 is a schematic configuration diagram of a method of operating a system for checking the authenticity of a living face according to the present invention;
도 2는 본 발명의 제 1 실시 예에 따른 살아있는 얼굴의 진위 여부 검사시스템에 대한 기능 블록도,2 is a functional block diagram of a system for checking the authenticity of a living face according to a first embodiment of the present invention;
도 3은 본 발명의 제 1 실시 예에 따른 살아있는 얼굴의 진위 여부 검사 시스템에서 조명 장치가 설치되는 위치를 나타낸 예시도,3 is an exemplary view showing a position where the lighting device is installed in the authenticity inspection system of the living face according to the first embodiment of the present invention,
도 4는 본 발명의 제 2 실시 예에 따른 살아있는 얼굴의 진위 여부 검사 시스템에 대한 기능 블록도,4 is a functional block diagram of a system for checking the authenticity of a living face according to a second embodiment of the present invention;
도 5는 본 발명의 제 2 실시 예에 따른 살아있는 얼굴의 진위 여부 검사 시스템에서 거울이 설치되는 위치를 나타낸 예시도,5 is an exemplary view showing a position where a mirror is installed in the authenticity inspection system of a living face according to a second embodiment of the present invention;
도 6은 본 발명의 제 2 실시 예에 따른 살아있는 얼굴의 진위 여부 검사 시스템에서 얼굴 영상 입력부를 통해 입력되는 얼굴 영상을 나타낸 예시도,6 is an exemplary view illustrating a face image input through a face image input unit in a system for checking the authenticity of a living face according to a second embodiment of the present invention;
도 7은 본 발명의 제 3 실시 예에 따른 살아있는 얼굴의 진위 여부 검사 시스템에 대한 기능 블록도,7 is a functional block diagram of a system for checking the authenticity of a living face according to a third embodiment of the present invention;
도 8은 본 발명의 제 4 실시 예에 따른 살아있는 얼굴의 진위 여부 검사 시스템에 대한 기능 블록도,8 is a functional block diagram of a system for checking the authenticity of a living face according to a fourth embodiment of the present invention;
도 9는 본 발명의 일 실시 예에 따른 살아있는 얼굴의 진위 여부 검사방법에 대한 처리 흐름도,9 is a flowchart illustrating a method for checking the authenticity of a living face according to an embodiment of the present invention;
도 10은 본 발명의 다른 실시 예에 따른 살아있는 얼굴의 진위 여부 검사방법에 대한 처리 흐름도이다.10 is a flowchart illustrating a method for checking the authenticity of a living face according to another embodiment of the present invention.
*도면의 주요부분에 대한 부호의 설명** Description of the symbols for the main parts of the drawings *
100 : 영상 감지부 110 : 조명 점등부100: image detection unit 110: lighting lighting unit
120 : 얼굴 영상 입력부 130 : 얼굴 특징 정보 추출부120: face image input unit 130: face feature information extraction unit
140 : 실제 얼굴 영상 판단부 150 : 신호 출력부140: real face image determination unit 150: signal output unit
상기의 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 살아있는 얼굴의 진위 여부 검사 시스템은 소정 영역에서의 출입자 존재를 감지하는 영상 감지부; 영상 감지부로부터 영상 감지 신호가 전송되면, 상기 출입자에 대한 복수개의 얼굴 영상 정보를 입력하는 얼굴 영상 입력부; 상기 복수개의 얼굴 영상 정보로부터 얼굴 특징 정보를 각각 추출하는 얼굴 특징 정보 추출부; 상기 추출된 각 얼굴 특징 정보를 정규화한 후 각 얼굴 특징 부위별로 정합하여 차영상을 추출하고, 추출된 차영상의 전체 화소 값이 기 설정된 기준 임계치 이상이면 입력된 출입자의 얼굴 영상을 실제 얼굴 영상으로 판단하는 실제 얼굴 영상 판단부; 및 상기 실제 얼굴 영상 판단부로부터의 출입 통제 신호 전송에 따라 출입 통제 결과를 출력하는 신호 출력부를 포함하여 구성되는데 그 특징이 있다.According to an aspect of the present invention, there is provided a system for checking the authenticity of a living face, including: an image sensing unit configured to detect presence of a person in a predetermined area; A face image input unit configured to input a plurality of face image information of the person when the image detection signal is transmitted from the image sensor; A face feature information extracting unit for extracting face feature information from the plurality of face image information, respectively; After normalizing the extracted facial feature information, the extracted facial image is matched for each facial feature region, and if the total pixel value of the extracted differential image is greater than or equal to a preset reference threshold, the inputted face image of the entered person is converted into an actual facial image. An actual face image determination unit to determine; And a signal output unit configured to output an access control result according to the access control signal transmission from the actual face image determination unit.
또한, 상기의 목적을 달성하기 위한 본 발명의 다른 실시 예에 따른 살아있는 얼굴의 진위 여부 검사 시스템은 소정 영역에서의 출입자 존재를 감지하는 영상 감지부; 기 설정 시간 동안 출입자의 얼굴 영상 정보를 입력한 후 일정 주기로 분할하는 얼굴 영상 입력부; 상기 얼굴 영상 입력부를 통해 분할된 각 얼굴 영상 정보로부터 얼굴 영역 정보를 순차적으로 추출하는 얼굴 영역 추출부; 상기 순차적으로 추출되는 얼굴 영역 정보에 의거하여 인접한 얼굴 영역 정보간에 움직임 정보를 산출하고, 산출되는 각 움직임 정보를 지속적으로 움직임 모델에 정합하여 추출된총 누적 오차 값이 기준 임계치 이상이면, 입력된 출입자의 얼굴 영상을 실제 얼굴 영상으로 판단하는 실제 얼굴 영상 판단부; 및 상기 실제 얼굴 영상 판단부로부터의 출입 통제 신호 전송에 따라 출입 통제 결과를 출력하는 신호 출력부를 포함하여 구성되는데 그 특징이 있다.In addition, the authenticity inspection system of the living face according to another embodiment of the present invention for achieving the above object is an image sensor for detecting the presence of a person in a predetermined area; A face image input unit which inputs face image information of a person for a preset time and divides the image into a predetermined period; A face region extraction unit that sequentially extracts face region information from each face image information divided by the face image input unit; Based on the sequentially extracted face region information, motion information is calculated between adjacent face region information, and if the total cumulative error value extracted by continuously matching the calculated motion information with a motion model is equal to or greater than a reference threshold value, A real face image determiner configured to determine a face image of the face image as a real face image; And a signal output unit configured to output an access control result according to the access control signal transmission from the actual face image determination unit.
상기의 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 살아있는 얼굴의 진위 여부 검사방법은 (a)출입자에 대한 복수개의 얼굴 영상 정보를 입력하는 단계; (b)상기 복수개의 얼굴 영상 정보로부터 얼굴 특징 정보를 각각 추출하는 단계; (c)추출된 각 얼굴 특징 정보를 정규화한 후 각 얼굴 특징 부위별로 정합하여 차영상을 추출하는 단계; (d)상기 차영상의 전체 화소 값이 기준 임계치 이상이면, 입력된 출입자의 얼굴 영상을 실제 얼굴 영상으로 판단하여 실제 얼굴영상 인증 신호를 출력하는 단계; 및 (e)상기 차영상의 전체 화소 값이 기준 임계치 미만이면, 입력된 출입자의 얼굴 영상을 실제 얼굴 영상이 아닌 것으로 판단하여 출입자의 출입을 통제하는 단계를 포함하여 이루어지는데 그 특징이 있다.In accordance with an aspect of the present invention, a method for checking the authenticity of a living face includes: (a) inputting a plurality of face image information on a participant; (b) extracting facial feature information from the plurality of facial image information; (c) normalizing the extracted facial feature information and matching each facial feature to extract a difference image; (d) if the total pixel value of the difference image is equal to or greater than a reference threshold value, determining the input face image of the person entering the real face image and outputting an actual face image authentication signal; And (e) if the total pixel value of the difference image is less than a reference threshold, determining that the input face image of the person is not a real face image and controlling access of the person.
또한, 상기의 목적을 달성하기 위한 본 발명의 다른 실시 예에 따른 살아있는 얼굴의 진위 여부 검사방법은 (a)기 설정 시간 동안에 입력되는 출입자의 얼굴 영상 정보를 일정 주기로 분할하는 단계; (b)상기 분할된 각 얼굴 영상 정보로부터 얼굴 영역 정보를 순차적으로 추출하는 단계; (c)상기 순차적으로 추출되는 얼굴 영역 정보에 의거하여 인접한 얼굴 영역 정보간에 움직임 정보를 산출하고, 산출되는 각 움직임 정보를 지속적으로 움직임 모델에 정합하여 총 누적 오차 값을 추출하는 단계; (d)상기 총 누적 오차 값이 기준 임계치 이상이면 입력된 출입자의 얼굴 영상을 실제 얼굴 영상으로 판단하여 실제 얼굴 영상 인증 신호를 출력하는 단계; 및 (e)상기 총 누적 오차 값이 기준 임계치 미만이면, 입력된 출입자의 얼굴 영상을 실제 얼굴 영상이 아닌 것으로 판단하여 출입자의 출입을 통제하는 단계를 포함하여 이루어지는데 그 특징이 있다.In addition, a method for checking the authenticity of a living face according to another embodiment of the present invention for achieving the above object comprises the steps of: (a) dividing the face image information of the accessor input during a predetermined period of time; (b) sequentially extracting face region information from each of the divided face image informations; (c) calculating motion information between adjacent face area information based on the sequentially extracted face area information, and continuously extracting the total cumulative error value by matching each calculated motion information to a motion model; (d) if the total cumulative error value is greater than or equal to a reference threshold, determining the input face image of the visitor as a real face image and outputting an actual face image authentication signal; And (e) if the total cumulative error value is less than a reference threshold, determining that the input face image of the person is not an actual face image and controlling access of the person.
이하, 본 발명에 따른 살아있는 얼굴의 진위 여부 검사 시스템 및 그 방법에 대한 바람직한 실시 예들을 첨부한 도면을 참조하여 상세하게 설명하면 다음과 같다.Hereinafter, with reference to the accompanying drawings, preferred embodiments of the authenticity test system and method for a living face according to the present invention will be described in detail as follows.
도 1은 본 발명에 따른 살아있는 얼굴의 진위 여부 검사 시스템의 운영방법에 대한 개략적인 구성도이다. 도 1에 도시된 바와 같이, 본 발명에 따른 살아있는 얼굴의 진위 여부 검사 시스템(20)은 먼저, 출입자(10)의 존재가 감지되면, 그 출입자(10)의 얼굴 영상을 입력받아 분석 처리하여 그 얼굴 영상이 실제 얼굴 영상인지 또는 사진, 주민등록증, 기타 인쇄물 상의 얼굴 영상인지 식별한 후, 그 식별 결과를 출입 통제 시스템(30)으로 전송하도록 구성된다.1 is a schematic configuration diagram of a method of operating a system for checking the authenticity of a living face according to the present invention. As shown in FIG. 1, the authenticity inspection system 20 of the living face according to the present invention first detects the presence of an occupant 10, receives a face image of the occupant 10, and analyzes the face image. It is configured to identify whether the face image is a real face image or a face image on a photograph, a social security card, or other printed matter, and then transmit the identification result to the access control system 30.
그리고 출입 통제 시스템(30)은 살아있는 얼굴의 진위 여부 검사 시스템(20)으로부터 실제 얼굴 영상 인증 신호가 전송되면, 해당 출입자(10)의 얼굴 영상을 입력받아 얼굴 특징 정보를 추출하고, 그 추출된 얼굴 특징 정보가 기 저장된 해당 출입자(10)의 얼굴 특징 정보와 동일하면 상기 출입자(10)의 출입을 허가하고, 추출된 얼굴 특징 정보가 기 저장된 해당 출입자(10)의 얼굴 특징 정보와 동일하지 않으면 출입자(10)의 출입을 통제하는 일련의 출입 허가/통제 과정을 수행하도록 구성된다.When the real face image authentication signal is transmitted from the authenticity check system 20 of the living face, the access control system 30 receives a face image of the person 10 and extracts facial feature information, and extracts the extracted face. If the feature information is the same as the pre-stored face feature information of the person 10 is allowed access to the person 10, and if the extracted face feature information is not the same as the pre-stored face feature information of the person 10 (10) is configured to perform a series of access authorization / control processes to control the entry and exit.
즉, 상기 출입 통제 시스템(30)은 기존의 출입 통제 시스템과 달리 본 발명에 따른 살아있는 얼굴의 진위 여부 검사 시스템(20)으로부터 전송되는 실제 얼굴 영상 인증 신호를 입력한 후, 상기와 같은 출입 허가/통제 과정을 수행한다. 이하, 출입 통제 시스템(30)의 출입 허가/통제 과정은 본 기술분야의 당업자에게 널리 공지된 것으로 더 이상의 상세한 설명은 생략한다.That is, the access control system 30, unlike the existing access control system after inputting the actual face image authentication signal transmitted from the authenticity check system 20 of the living face according to the present invention, the access permission / Perform the control process. Hereinafter, the admission / control process of the access control system 30 is well known to those skilled in the art, and further detailed description thereof will be omitted.
그리고 출입 통제 시스템(30)과 연계 동작하는 본 발명의 살아있는 얼굴의 진위 여부 검사 시스템에 대한 실시 예를 첨부한 도면에 의거하여 설명하면 다음과 같다.And described with reference to the accompanying drawings an embodiment of the authenticity of the living face authenticity test system of the present invention in conjunction with the access control system 30 as follows.
도 2는 본 발명의 제 1 실시 예에 따른 살아있는 얼굴의 진위 여부 검사 시스템에 대한 기능 블록도이다. 도 2를 참조하면, 본 발명은 영상 감지부(100), 조명 점등부(110), 얼굴 영상 입력부(120), 얼굴 특징 정보 추출부(130), 실제 얼굴 영상 판단부(140), 신호 출력부(150)를 포함하여 구성된다.2 is a functional block diagram of a system for checking the authenticity of a living face according to a first embodiment of the present invention. Referring to FIG. 2, the present invention includes an image detector 100, an illumination lighting unit 110, a face image input unit 120, a face feature information extractor 130, an actual face image determiner 140, and a signal output. It is configured to include a portion 150.
영상 감지부(100)는 출입하고자 하는 출입자의 존재를 감지하는 장치로서, 적외선 센서를 이용하는 것이 가능하다. 영상 감지부(100)는 소정 위치에 출입자의 존재가 감지되면, 영상감지신호를 조명 점등부(110)와 얼굴 영상 입력부(120)로 출력한다.The image sensor 100 is a device for detecting the presence of a person who wants to enter and exit, and may use an infrared sensor. The image detecting unit 100 outputs an image detecting signal to the lighting lighting unit 110 and the face image input unit 120 when the presence of a person is detected at a predetermined position.
조명 점등부(110)는 도 3에 도시된 바와 같이, 카메라(10)의 정면에 위치하는 출입자(A10)와 소정 거리를 갖고 출입자(A10)의 측면에 설치된 조명 장치(11)를 점등시키기 위한 조명 점등 신호를 출력한다. 즉, 조명 점등부(110)는 영상 감지부(100)로부터 영상 감지 신호가 전송되면, 기 설정 시간 후에 조명 장치(11)를 점등시키기 위한 조명 점등 신호를 출력한다. 여기서 조명 장치(11)는 출입자(A10)의 얼굴에 음영을 주기 위해 설치된 것으로, 카메라(10)를 바라보는 출입자(A10)의 불쾌감을 최소화하기 위해 출입자(A10)의 정면 즉, 카메라(10)와 동일한 위치에 설치되는 것보다 카메라(10)의 촬영방향을 기준으로 하여 법선 방향으로 설치되는 것이 바람직하며, 또한, 카메라(10)를 바라보는 출입자(A10)의 위쪽 또는 아래쪽에 설치될 수도 있다.As shown in FIG. 3, the lighting lighting unit 110 has a predetermined distance from the accessor A10 positioned in front of the camera 10 to turn on the lighting device 11 installed at the side of the accessor A10. Outputs a lighting signal for lighting. That is, the illumination lighting unit 110 outputs an illumination lighting signal for lighting the lighting device 11 after a preset time when the image sensing signal is transmitted from the image sensing unit 100. Here, the lighting device 11 is installed to shade the face of the person A10, and in order to minimize the discomfort of the person A10 facing the camera 10, that is, the front of the person A10, that is, the camera 10. Rather than being installed at the same position as the camera 10, it is preferable to be installed in the normal direction based on the shooting direction, and may also be installed above or below the entrance A10 facing the camera 10. .
얼굴 영상 입력부(120)는 출입문의 소정 영역에 설치되어 출입자의 얼굴 영상 정보를 입력하는 장치로서, 카메라를 이용하는 것이 가능하다. 얼굴 영상 입력부(120)는 영상 감지부(100)로부터 영상 감지 신호가 전송되면 소정 영역에 위치한 출입자의 정면 얼굴 영상 정보를 입력하고, 또한, 조명 점등부(110)로부터의 조명 점등 신호 출력에 따라 발생되는 출입자의 음영 얼굴 영상 정보를 순차적으로 입력한다.The face image input unit 120 is installed in a predetermined area of the door and inputs face image information of the person. It is possible to use a camera. When the image detection signal is transmitted from the image sensing unit 100, the face image input unit 120 inputs front face image information of a person located in a predetermined area, and also outputs an illumination lighting signal from the lighting lighting unit 110. The shadowed face image information of the generated person is sequentially input.
얼굴 특징 정보 추출부(130)는 얼굴 영상 입력부(120)를 통해 입력된 정면 얼굴 영상 정보와 음영 얼굴 영상 정보로부터 얼굴 특징 정보(즉, 눈, 코, 입 등)를 각각 추출한다. 이와 같이, 얼굴 영상 정보로부터 특징 정보를 추출하는 방법은 이미 공지된 다양한 기술을 적용하는 것이 가능하다. 예를 들면, 눈, 코, 입, 턱선 등과 같은 얼굴의 국부적 특징들의 정보를 분석하는 "국부적 특징 분석(LFA : Local Feature Analysis)방법", 국부적인 특징들에 대한 분석이 아닌 전체적인 얼굴상에 대한 통계 정보를 분석하는 "주성분 분석(PCA : Principle Component Analysis)방법", 고차원의 공간상에서 두 클래스를 구별하는 초평면을 찾고 이를이용하여 동일 영상 여부를 판단하는 "지지 벡터 머신(SVM : Support Vector Machine)방법", 수학적 아이겐 값 계산 방법에 의해 아이겐 페이스라는 고유 얼굴들을 추출해 내고 이 고유 얼굴들과 평균 얼굴과의 차이를 계산하여 특징 정보로 사용하는 "아이겐 페이스 분석 방법", 가장 단순한 형태의 영상 비교 방법으로서 비교하고자 하는 두 영상의 픽셀 값들의 차이를 비교하는 "단순 영상 비교 방법"등을 적용하는 것이 가능하며, 이러한 방법들은 둘 이상 혼합하여 적용하는 것도 가능하다.The facial feature information extractor 130 extracts facial feature information (ie, eyes, nose, mouth, etc.) from the front face image information and the shaded face image information input through the face image input unit 120, respectively. As described above, the method for extracting the feature information from the face image information may apply various known techniques. For example, the "Local Feature Analysis (LFA) method," which analyzes information of local features of the face such as eyes, nose, mouth, jawline, etc., statistics on the overall face rather than the analysis of local features. "Principle Component Analysis (PCA) Method of Analyzing Information" and "Support Vector Machine (SVM) Method of Detecting Hyperplanes Distinguishing Two Classes in High-Dimensional Space and Using It to Determine Whether the Same Image "" Eigen face analysis method "which extracts unique faces called eigen faces by mathematical eigen value calculation method and calculates the difference between these unique faces and average face and uses them as feature information. It is possible to apply a "simple image comparison method" that compares the difference between pixel values of two images to be compared. Laws it is possible to apply a mixture of at least two.
실제 얼굴 영상 판단부(140)는 얼굴 특징 정보 추출부(130)에서 정면 얼굴 영상 정보를 바탕으로 추출된 얼굴 특징 정보와, 음영 얼굴 영상 정보를 바탕으로 추출된 얼굴 특징 정보를 정규화한 후, 얼굴 특징 부위별로 정합하여 차영상을 추출한다. 그리고 추출된 차영상의 전체 화소 값을 산출하여 그 화소 값이 기 설정된 기준 임계치 이상이면, 현재 입력된 출입자의 얼굴 영상을 실제 얼굴 영상으로 판단하여 출입 통제 시스템으로 실제 얼굴 영상 인증 신호를 출력하고, 화소 값이 기준 임계치 미만이면, 현재 입력된 출입자의 얼굴 영상을 사진, 주민등록증, 기타 인쇄물 상의 얼굴 영상 중 어느 하나로 판단하여 신호 출력부(150)로 출입 통제 신호를 출력한다. 이때, 출입 통제 시스템은 본 발명의 제 1 실시 예에 따른 살아있는 얼굴의 진위 여부 검사 시스템으로부터 실제 얼굴 영상 인증 신호가 전송됨에 따라 상기 출입자에 대하여 일련의 출입 통제/허가 과정을 수행한다.The real face image determiner 140 normalizes the face feature information extracted based on the front face image information from the face feature information extractor 130 and the extracted face feature information based on the shaded face image information, and then The difference image is extracted by matching the feature parts. If the pixel value of the extracted difference image is calculated and the pixel value is greater than or equal to a preset reference threshold, the face image of the currently inputted person is determined as the real face image, and an actual face image authentication signal is output to the access control system. When the pixel value is less than the reference threshold value, the face image of the currently inputted person is determined as one of a face image on a photograph, a social security card, and other printed matters, and outputs an access control signal to the signal output unit 150. In this case, the access control system performs a series of access control / permission process for the person as the real face image authentication signal is transmitted from the authenticity check system of the living face according to the first embodiment of the present invention.
여기서 두 얼굴 특징 정보를 정합하여 차영상을 추출하고, 그 차영상의 전체 화소 값을 산출하는 방법으로는 이미 공지된 얼굴 특징 정합방법, 블록 매칭 알고리즘(BMA : Block Matching Algorithm) 등을 적용하는 것이 가능하다.Here, a method of extracting a difference image by matching two facial feature information and calculating a total pixel value of the difference image is to apply a known face feature matching method, a block matching algorithm (BMA), or the like. It is possible.
얼굴 특징 정합방법은 입력된 두 영상의 얼굴 특징 정보를 각 얼굴 특징 부위별로 정합한 후, 차영상을 추출하여 그 차영상의 전체 화소 값을 산출하는 방식이다. 블록 매칭 알고리즘은 현재 영상을 블록으로 분할한 후, 분할된 각 블록에 대하여 이전 영상에서의 해당 블록을 추출하고, 추출된 블록의 이전 영상과 현재 영상에서의 움직임 벡터를 산출하여 두 영상간의 차에 해당되는 화소 값을 추출하는 방식이다. 상기의 얼굴 특징 정합방법과 블록 매칭 알고리즘은 본 발명에 따른 하나의 실시 예이며, 상기의 얼굴 특징 정합방법과 블록 매칭 알고리즘 이외에도 현재 알려진 다양한 방법들 또는 이로부터 개선된 방법들이 이용될 수 있는데, 이들 방법들이 모두 본 발명의 범위에 포함된다고 해석되어야 할 것이다. 이하, 본 발명의 제 1 실시 예에서는 두 얼굴 영상간의 차영상을 추출하여 전체 화소 값을 산출하는 방식으로 얼굴 특징 정합방법을 적용한다.The facial feature matching method is a method of matching the facial feature information of two input images for each facial feature part and extracting a difference image to calculate the total pixel value of the difference image. The block matching algorithm divides the current image into blocks, extracts the corresponding block from the previous image, and calculates a motion vector from the previous image and the current image of the extracted block, and calculates a difference between the two images. The pixel value is extracted. The facial feature matching method and the block matching algorithm are one embodiment according to the present invention. In addition to the facial feature matching method and the block matching algorithm, various methods currently known or improved methods may be used. It is to be understood that all the methods fall within the scope of the present invention. Hereinafter, in the first embodiment of the present invention, the facial feature matching method is applied by extracting a difference image between two face images and calculating a total pixel value.
신호 출력부(150)는 실제 얼굴 영상 판단부(140)로부터 출입 통제 신호가 전송되면, 출입 통제에 따른 출입 금지 메시지를 화면상에 디스플레이하거나, 출입 금지 안내 방송을 출력한다.When the access control signal is transmitted from the actual face image determination unit 140, the signal output unit 150 displays an access prohibition message according to the access control on the screen or outputs an access prohibition guide broadcast.
도 4는 본 발명의 제 2 실시 예에 따른 살아있는 얼굴의 진위 여부 검사 시스템에 대한 기능 블록도이다. 도 4를 참조하면, 본 발명은 영상 감지부(200), 얼굴 영상 입력부(210), 얼굴 특징 정보 추출부(220), 실제 얼굴 영상 판단부(230), 신호 출력부(240)를 포함하여 구성된다.4 is a functional block diagram of a system for checking the authenticity of a living face according to a second embodiment of the present invention. Referring to FIG. 4, the present invention includes an image detector 200, a face image input unit 210, a face feature information extractor 220, an actual face image determiner 230, and a signal output unit 240. It is composed.
영상 감지부(200)는 출입하고자 하는 출입자의 존재를 감지하는 장치로서,소정 영역에서의 출입자 존재가 감지되면, 영상 감지 신호를 얼굴 영상 입력부(210)로 출력한다.The image detecting unit 200 is a device for detecting the presence of a person who wants to enter and exit. When the presence of a person in a predetermined area is detected, the image detecting unit 200 outputs an image detection signal to the face image input unit 210.
얼굴 영상 입력부(210)는 출입자의 얼굴 영상 정보를 입력하는 장치로서, 카메라를 이용하는 것이 가능하다. 얼굴 영상 입력부(210)는 영상 감지부(200)로부터 영상 감지 신호가 전송되면, 출입자의 정면 얼굴 영상과 소정 위치에 설치된 거울(21a)(21b)을 통해 관찰되는 상기 출입자의 측면 얼굴 영상을 동시 입력한다.The face image input unit 210 is a device for inputting face image information of a person, and may use a camera. When the image detection signal is transmitted from the image sensing unit 200, the face image input unit 210 simultaneously displays the front face image of the person and the side face image of the person observed through the mirrors 21a and 21b installed at a predetermined position. Enter it.
여기서 거울(21a)(21b)은 사진, 주민등록증, 기타 인쇄물 상의 얼굴 영상과 같이 입체적이지 않은 얼굴 영상으로부터 입체적인 얼굴 영상을 식별하기 위해 설치된 것으로, 도 5에 도시된 바와 같이, 카메라(20)와의 소정 거리를 갖고 카메라(20) 전방에 설치된다. 이때, 거울(21a)(21b)은 비용 절감을 위해 한 개만 설치될 수 있으며, 보다 식별성을 높이기 위해 3개 이상 설치될 수도 있다. 또한, 상기 거울(21a)(21b) 대신에 카메라장치가 설치될 수도 있다.Here, the mirrors 21a and 21b are installed to identify a three-dimensional face image from a non-stereoscopic face image such as a photograph, a social security card, or a face image on other printed matters, and as shown in FIG. It is installed in front of the camera 20 at a distance. In this case, only one mirror 21a or 21b may be installed to reduce costs, and three or more mirrors 21a or 21b may be installed to further increase identification. In addition, a camera device may be installed in place of the mirrors 21a and 21b.
따라서, 얼굴 영상 입력부(210)는 도 6에 도시된 바와 같이, 출입자(A20)에 대한 정면 얼굴 영상(32)과, 두 거울(21a)(21b)을 통해 관찰되는 좌측면 얼굴 영상(31) 및 우측면 얼굴 영상(33)이 포함된 얼굴 영상 정보(30)를 입력한다. 그리고 얼굴 영상 입력부(210)는 입력된 얼굴 영상 정보(30)를 기 설정된 크기로 분할한다. 즉, 도 6에 도시된 바와 같이, 좌측면 얼굴 영상(311), 정면 얼굴 영상(312) 및 우측면 얼굴 영상(313)으로 분할한다.Accordingly, as shown in FIG. 6, the face image input unit 210 includes the front face image 32 of the person A20 and the left face image 31 observed through the two mirrors 21a and 21b. And face image information 30 including the right side face image 33. The face image input unit 210 divides the input face image information 30 into a preset size. That is, as shown in FIG. 6, the left face image 311, the front face image 312, and the right face image 313 are divided.
얼굴 특징 정보 추출부(220)는 얼굴 영상 입력부(210)를 통해 분할된 정면 얼굴 영상 정보와 측면 얼굴 영상 정보로부터 얼굴 특징 정보를 각각 추출하여 실제 얼굴 영상 판단부(230)로 전송한다.The facial feature information extractor 220 extracts facial feature information from the front face image information and the side face image information divided by the face image input unit 210 and transmits the facial feature information to the actual face image determiner 230.
그리고 실제 얼굴 영상 판단부(230)는 상기 추출된 각 얼굴 특징 정보를 정규화한 후 얼굴 특징 부위별로 정합하여 차영상을 추출하고, 그 차영상의 전체 화소 값이 기준 임계치 이상이면, 입력된 출입자에 대한 얼굴 영상을 실제 얼굴 영상으로 판단하여 출입 통제 시스템으로 실제 얼굴 영상 인증 신호를 출력한다. 한편, 상기 차영상의 전체 화소 값이 기준 임계치 미만이면, 입력된 출입자에 대한 얼굴 영상을 사진, 주민등록증, 기타 인쇄물 상의 얼굴 영상 중 어느 하나로 판단하여 신호 출력부(240)로 출입 통제 신호를 출력한다. 이하, 도 4에 도시된 신호 출력부(240)는 도 2에 도시된 신호 출력부(150)와 각각 동일하게 동작하므로 이에 중복되는 설명은 생략한다.The real face image determination unit 230 normalizes the extracted facial feature information, matches each face feature portion, extracts a difference image, and if the total pixel value of the difference image is greater than or equal to a reference threshold, The face image is determined as a real face image, and an actual face image authentication signal is output to the access control system. On the other hand, if the total pixel value of the difference image is less than the reference threshold value, the face image of the entered person is determined by any one of the face image on the photo, resident registration card, other printed matter and outputs the access control signal to the signal output unit 240. . Hereinafter, since the signal output unit 240 illustrated in FIG. 4 operates in the same manner as the signal output unit 150 illustrated in FIG. 2, descriptions thereof will not be repeated.
도 7은 본 발명의 제 3 실시 예에 따른 살아있는 얼굴의 진위 여부 검사 시스템에 대한 기능 블록도이다. 도 7을 참조하면, 본 발명은 영상 감지부(300), 동작 요청부(310), 얼굴 영상 입력부(320), 얼굴 특징 정보 추출부(330), 실제 얼굴 영상 판단부(340), 신호 출력부(350)를 포함하여 구성된다.7 is a functional block diagram of a system for checking the authenticity of a living face according to a third embodiment of the present invention. Referring to FIG. 7, the present invention includes an image detector 300, an operation requester 310, a face image inputter 320, a face feature information extractor 330, an actual face image determiner 340, and a signal output. It is configured to include a portion 350.
영상 감지부(300)는 출입자의 존재를 감지하는 장치로서, 출입자가 감지되면, 동작 요청부(310) 및 얼굴 영상 입력부(320)로 영상 감지 신호를 출력한다.The image detecting unit 300 is a device for detecting the presence of a person. When the person is detected, the image detecting unit 300 outputs an image detection signal to the operation request unit 310 and the face image input unit 320.
동작 요청부(310)는 영상 감지부(300)로부터 영상 감지 신호가 전송되면, 출입자의 얼굴 표정을 변화시키기 위한 얼굴 표정 변화 요청 신호를 출력하여 출입자의 얼굴 표정 변화를 유도한다. 예를 들어, 동작 요청부(310)는 스크린 상에 '웃어 주십시오' 또는 '눈을 깜빡여 주십시오'와 같은 메시지를 디스플레이하거나 또는스피커를 통해 상기의 '웃어 주십시오' 또는 '눈을 깜빡여 주십시오'를 음성으로 출력하여 출입자의 얼굴 표정이 변화되도록 유도할 수 있다.When the image detection signal is transmitted from the image sensing unit 300, the operation request unit 310 outputs a facial expression change request signal for changing the facial expression of the person to induce the facial expression change of the person. For example, the operation requesting unit 310 may display a message such as 'please smile' or 'blink eye' on the screen, or the above 'please smile' or 'blink eye' through the speaker. The voice may be output as a voice to induce the face expression of the person to be changed.
얼굴 영상 입력부(320)는 영상 감지부(300)로부터 영상 감지 신호가 전송되면, 출입자에 대한 표준 얼굴 영상 정보를 입력하고, 이어, 동작 요청부(310)로부터의 얼굴 표정 변화 요청 신호 출력에 따라 변화되는 출입자의 변동 얼굴 영상 정보를 연속적으로 소정 시간 동안 입력한다. 그리고 얼굴 영상 입력부(320)는 소정 시간 동안 연속적으로 입력되는 표준 얼굴 영상 정보에서부터 변동 얼굴 영상 정보까지를 일정 주기로 분할하여 출력한다. 여기서 표준 얼굴 영상 정보는 카메라를 바라본 출입자의 처음 얼굴상태정보를 나타낸다.When the image detection signal is transmitted from the image detection unit 300, the face image input unit 320 inputs standard face image information of the person entering the room, and then outputs a facial expression change request signal from the operation request unit 310. The changing face image information of the changed person is continuously input for a predetermined time. The face image input unit 320 divides and outputs from the standard face image information continuously input for a predetermined time to the variable face image information at regular intervals. In this case, the standard face image information represents the first face state information of the person looking at the camera.
얼굴 특징 정보 추출부(330)는 얼굴 영상 입력부(320)를 통해 분할된 각 얼굴 영상 정보로부터 얼굴 특징 정보를 순차적으로 추출한다. 여기서 얼굴 특징 정보 추출부(330)는 출입자가 양쪽 눈을 깜빡였을 경우에는 분할된 각 얼굴 영상 정보로부터 두 눈에 대한 특징 정보만을 순차적으로 추출하고, 출입자가 입을 움직였을 경우에는 분할된 각 얼굴 영상 정보로부터 입에 대한 특징 정보만을 순차적으로 추출한다.The face feature information extractor 330 sequentially extracts face feature information from each face image information divided by the face image input unit 320. Here, the facial feature information extractor 330 sequentially extracts only feature information for both eyes from each of the divided face image information when the person blinks both eyes, and separately divides each face image information when the person moves his or her mouth. Only feature information about the mouth is extracted sequentially.
이어서 실제 얼굴 영상 판단부(340)는 얼굴 특징 정보 추출부(330)에서 순차적으로 추출된 각 얼굴 특징 정보를 얼굴 특징 부위별로 정합하여 차영상을 추출하고, 추출된 차영상의 전체 화소 값이 기준 임계치 이상이면, 입력된 출입자의 얼굴 영상을 실제 얼굴 영상으로 판단하여 출입 통제 시스템으로 실제 얼굴 영상 인증 신호를 출력하고, 상기 차영상의 전체 화소 값이 기준 임계치 미만이면, 입력된 출입자의 얼굴 영상을 사진, 주민등록증, 기타 인쇄물 상의 얼굴 영상 중 어느 하나로 판단하여 신호 출력부(350)로 출입 통제 신호를 출력한다. 이하, 도 7에 도시된 신호 출력부(350)는 도 2에 도시된 신호 출력부(150)와 각각 동일하게 동작하므로 이에 중복되는 설명은 생략한다.Subsequently, the real face image determiner 340 extracts the difference image by matching each face feature information sequentially extracted by the face feature information extractor 330 for each face feature region, and the total pixel value of the extracted difference image is referenced. If the threshold value is greater than or equal to, the face image of the person entering is determined as the real face image, and outputs the real face image authentication signal to the access control system. If the total pixel value of the difference image is less than the reference threshold, the face image of the entered person is displayed. The control unit may output an access control signal to the signal output unit 350 by determining any one of a photograph, a resident registration card, and a face image on other printed matters. Hereinafter, since the signal output unit 350 shown in FIG. 7 operates in the same manner as the signal output unit 150 shown in FIG. 2, the description thereof will not be repeated.
도 8은 본 발명의 제 4 실시 예에 따른 살아있는 얼굴의 진위 여부 검사 시스템에 대한 기능 블록도이다. 도 8에 도시된 바와 같이, 본 발명은 영상 감지부(400), 얼굴 영상 입력부(410), 얼굴 영역 추출부(420), 실제 얼굴 영상 판단부(430), 신호 출력부(440)를 포함하여 구성된다.8 is a functional block diagram of a system for checking the authenticity of a living face according to a fourth embodiment of the present invention. As shown in FIG. 8, the present invention includes an image detector 400, a face image input unit 410, a face region extractor 420, an actual face image determiner 430, and a signal output unit 440. It is configured by.
영상 감지부(400)는 소정 영역에서 출입자가 감지되면, 얼굴 영상 입력부(410)로 영상 감지 신호를 출력한다.The image detector 400 outputs an image detection signal to the face image input unit 410 when an entrance is detected in a predetermined area.
얼굴 영상 입력부(410)는 기 설정 시간 동안 출입자에 대한 얼굴 영상 정보를 입력하고, 그 입력된 얼굴 영상 정보를 일정 주기로 분할하여 얼굴 정보 추출부(420)로 전송한다.The face image input unit 410 inputs face image information of the person for a predetermined time, divides the input face image information at a predetermined period, and transmits the face image information to the face information extracting unit 420.
얼굴 영역 추출부(420)는 분할된 각 얼굴 영상 정보로부터 얼굴 영역 정보를 순차적으로 추출한다.The face region extractor 420 sequentially extracts face region information from each of the divided face image information.
이어서 실제 얼굴 영상 판단부(430)는 얼굴 영역 추출부(420)를 통해 추출된 각 얼굴 영역 정보에 의거하여 인접한 얼굴 영역 정보간에 움직임 정보를 순차적으로 추출하고, 추출된 각 움직임 정보를 지속적으로 움직임 모델에 정합하여 총 누적 오차 값을 산출한다. 여기서 움직임 모델로 원근 움직임 모델이 사용되는 것이 바람직하며, 상기 원근 움직임 모델은 아래의 수학식1에 정의된 바와 같다.Subsequently, the actual face image determiner 430 sequentially extracts motion information between adjacent face region information based on each face region information extracted by the face region extractor 420, and continuously moves the extracted motion information. Match the model to calculate the total cumulative error value. Here, a perspective motion model is preferably used as a motion model, and the perspective motion model is as defined in Equation 1 below.
여기서 x, y, u, v는 벡터 형식으로 표현된 움직임 정보(m)를 나타낸다.Here, x, y, u and v represent motion information m expressed in a vector format.
상기 움직임 정보(m)가 원근 움직임 모델(x,y)에 정합되도록 수학식2에 정의된 'F'를 최소화하기 위한 'a~h'값을 산출한다. 상기 'F'값이 최소가 되기 위한 X, Y, Z 는 각각 X = xZ, Y = yZ, Z = gu + hv + 1이 되며, 상기 X, Y, Z 값은 수학식1과 수학식2의 연산에 의해 산출된다. 여기서 입력된 출입자의 얼굴 영상이 사진, 주민등록증, 기타 인쇄물 상의 얼굴 영상 정보일 경우에, 각 움직임 정보(m)는 원근 움직임 모델(x,y)에 정합하므로 'F'값은 최소값인 '0'이 된다. 그러나, 입력된 출입자의 얼굴 영상이 실제 얼굴 영상일 경우, 각 움직임 정보(m)를 원근 움직임 모델(x,y)에 정합하면, 'F'는 '0'이 아닌 값으로 산출된다. 이를 총 누적 오차 값이라 한다. 따라서, 각 움직임 정보(m)를 원근 움직임 모델(x,y)에 정합하여 발생하는 총 누적 오차 값이 기 설정된 기준 임계치 이상이면, 상기 입력된 출입자의 얼굴 영상을 실제 얼굴 영상으로 판단하는 것이다.A value 'a to h' for minimizing 'F' defined in Equation 2 is calculated so that the motion information m is matched to the perspective motion models x and y. X, Y, and Z for minimizing the 'F' value are X = xZ, Y = yZ, Z = gu + hv + 1, respectively, and the X, Y, and Z values are represented by Equations 1 and 2, respectively. It is calculated by the operation of. If the face image of the person entered here is the face image information on the photo, ID card, or other printed matter, each motion information (m) matches the perspective motion model (x, y), so the 'F' value is '0', which is the minimum value. Becomes However, when the inputted face image of the accessor is the actual face image, when the motion information m is matched to the perspective motion models x and y, 'F' is calculated as a value other than '0'. This is called the total cumulative error value. Therefore, when the total cumulative error value generated by matching each motion information m with the perspective motion model (x, y) is equal to or greater than a preset reference threshold, the face image of the entered person is determined as an actual face image.
즉, 실제 얼굴 영상 판단부(430)는 산출된 총 누적 오차 값이 기준 임계치 이상이면, 입력된 출입자의 얼굴 영상을 실제 얼굴 영상으로 판단하여 출입 통제 시스템으로 실제 얼굴 영상 인증 신호를 출력하고, 상기 총 누적 오차 값이 기준임계치 미만이면, 입력된 출입자의 얼굴 영상을 사진, 주민등록증, 기타 인쇄물 상의 얼굴 영상 중 어느 하나로 판단하여 신호 출력부(440)로 출입 통제 신호를 출력한다.That is, if the calculated total cumulative error value is equal to or greater than the reference threshold value, the real face image determination unit 430 determines the input face image of the person as the real face image and outputs the real face image authentication signal to the access control system. When the total cumulative error value is less than the reference threshold value, the face image of the inputted person is determined as one of a face image on a photograph, a social security card, and other printed matters, and outputs an access control signal to the signal output unit 440.
여기서 움직임 정보를 산출하는 방법으로는 광류 알고리즘(Optical Flow Algorithm), 블록 매칭 알고리즘을 적용할 수 있다. 광류 알고리즘은 한 점 위치의 화소에 대한 밝기 값이 연속된 영상 하에서 일정하다는 가정으로부터, 영상의 x축, y축 및 t축(시간축)에 대한 경사의 차이를 곧 화소의 이동속도로 하여 화소의 움직임 벡터를 산출하고, 그 움직임 벡터에 의거하여 화소의 움직임 정보를 추출하는 방법이다. 이하, 광류 알고리즘, 블록 매칭 알고리즘은 본 발명이 속하는 기술 분야에서 널리 알려져 있으므로 이에 대한 구체적인 설명은 생략한다. 이하, 신호 출력부(440)는 도 2에 도시된 신호 출력부(150)와 각각 동일하게 동작하므로 중복되는 설명은 생략한다.Herein, an optical flow algorithm and a block matching algorithm may be used as a method of calculating the motion information. The optical flow algorithm assumes that the brightness value for a pixel at a point position is constant under a continuous image, and the difference in inclination of the image along the x-axis, y-axis, and t-axis (time axis) is the pixel's moving speed. A method of calculating a motion vector and extracting motion information of a pixel based on the motion vector. Hereinafter, the optical flow algorithm and the block matching algorithm are well known in the art to which the present invention pertains, and thus a detailed description thereof will be omitted. Hereinafter, since the signal output unit 440 operates in the same manner as the signal output unit 150 illustrated in FIG. 2, overlapping descriptions thereof will be omitted.
도 9는 본 발명의 일 실시 예에 따른 살아있는 얼굴의 진위 여부 검사방법에 대한 처리 흐름도이다. 도 9를 참조하면, 본 발명은 먼저, 출입자의 영상이 감지되면(s100), 출입자에 대한 얼굴 영상 정보를 입력한다(s110). 즉, 카메라와 같은 장치를 이용하여 소정 영역에 위치한 출입자의 얼굴 영상 정보를 입력한다.9 is a flowchart illustrating a method for checking the authenticity of a living face according to an embodiment of the present invention. Referring to FIG. 9, in the present invention, when an image of an accessor is detected (S100), face image information of an accessor is input (S110). That is, the face image information of the person located in the predetermined area is input by using a device such as a camera.
여기서 카메라를 정면으로 바라보는 출입자와 소정 거리를 갖고 출입자의 측면에 조명 장치가 설치된 경우(도 3), 카메라는 조명 장치의 동작 전 상태에 따른 출입자의 정면 얼굴 영상 정보와, 조명 장치의 동작 상태에 따라 발생된 출입자의 음영 얼굴 영상 정보를 순차적으로 입력한다.Here, when the lighting device is installed on the side of the person with a predetermined distance from the person looking at the camera in front (FIG. 3), the camera is the front face image information of the person according to the state before the operation of the lighting device, and the operating state of the lighting device. The shadowed face image information of the person generated according to the present invention is sequentially input.
한편, 카메라와 소정 거리를 갖고 카메라의 전면 양쪽에 거울이 설치된 경우(도 5), 카메라는 출입자에 대한 정면얼굴 영상 정보와 거울을 통해 관찰된 출입자의 측면 얼굴 영상 정보를 동시 입력한다.On the other hand, when a mirror is installed on both sides of the front of the camera at a predetermined distance from the camera (FIG. 5), the camera simultaneously inputs front face image information of the person and side face image information of the person observed through the mirror.
또한, 카메라와 동일한 위치 또는 소정 영역에 스피커 또는 스크린과 같은 장치가 설치된 경우, 카메라는 스피커 또는 스크린과 같은 장치를 통해 출입자의 얼굴 표정 변화를 요청하는 신호가 출력됨에 따라 변화하는 출입자의 얼굴 영상 정보를 기 설정 시간 동안 입력한다.In addition, when a device such as a speaker or a screen is installed in the same location or in a predetermined area as the camera, the camera may change face image information of the person changing as a signal for requesting a change in facial expression of the person through the device such as a speaker or a screen is output. Enter for the preset time.
따라서 카메라는 출입자에 대하여 복수개의 얼굴 영상 정보를 입력하거나 또는 출입자의 얼굴 표정 변화에 따른 얼굴 영상 정보를 기 설정 시간 동안 입력한다. 이하, 본 발명의 살아있는 얼굴의 진위 여부 검사방법은 복수개의 얼굴 영상 정보를 바탕으로 출입자의 얼굴 영상이 실제 얼굴 영상인지 판단하는 과정을 설명한다.Therefore, the camera inputs a plurality of face image information to the person or inputs the face image information according to the change of the person's facial expression for a predetermined time. Hereinafter, the method for checking the authenticity of a living face of the present invention will be described a process of determining whether a face image of an accessor is an actual face image based on a plurality of face image information.
이어서 상기 s110단계에서 입력된 각 얼굴 영상 정보로부터 얼굴 특징 정보를 추출하고(s120), 추출된 각 얼굴 특징 정보를 얼굴 특징 부위별로 정합하여 차영상을 산출한다(s130). 그리고 상기 차영상의 전체 화소 값을 산출하여(s140), 그 전체 화소 값이 기준 임계치 이상인지 여부를 판단한다(s150).Subsequently, face feature information is extracted from the face image information input in step S110 (S120), and the difference image is calculated by matching the extracted face feature information for each face feature region (S130). The total pixel value of the difference image is calculated (s140), and it is determined whether the total pixel value is greater than or equal to a reference threshold (s150).
상기 s150단계를 판단한 결과, 산출된 전체 화소 값이 기준 임계치 이상이면, 입력된 출입자의 얼굴 영상을 실제 얼굴 영상으로 판단하여 출입 통제 시스템으로 실제 얼굴 영상 인증 신호를 출력한다(s160). 그리고 상기 s150단계를 판단한 결과, 산출된 전체 화소 값이 기준 임계치 미만이면, 입력된 출입자의 얼굴 영상을사진, 주민등록증, 기타 인쇄물 상의 얼굴 영상 중 어느 하나로 판단하여 출입 통제에 따른 안내 방송 또는 안내 메시지를 출력한다(s170).As a result of determining the operation s150, if the calculated total pixel value is equal to or greater than the reference threshold value, the input image of the person's face is determined as the actual face image and an actual face image authentication signal is output to the access control system (S160). In operation S150, when the calculated total pixel value is less than a reference threshold, the face image of the inputted person is determined as one of a face image on a photograph, a social security card, and other printed matters, and a guide broadcast or guide message according to access control is performed. Output (s170).
도 10은 본 발명의 다른 실시 예에 따른 살아있는 얼굴의 진위 여부 검사방법에 대한 처리 흐름도이다. 도 10을 참조하면, 본 발명은 먼저, 출입자의 영상이 감지되면(s200), 출입자에 대한 얼굴 영상 정보를 기 설정된 시간 동안 입력한다(s210). 즉, 카메라와 같은 장치를 이용하여 소정 영역에 위치한 출입자의 얼굴 영상 정보를 기 설정 시간 동안 입력한다.10 is a flowchart illustrating a method for checking the authenticity of a living face according to another embodiment of the present invention. Referring to FIG. 10, first, when an image of a person is detected (S200), face image information of the person is input for a predetermined time (S210). That is, the face image information of the person who is located in the predetermined area is input for a preset time using a device such as a camera.
그리고 상기 s210단계에서 입력된 얼굴 영상 정보를 일정 주기로 분할하고(s220), 각 분할된 얼굴 영상 정보로부터 얼굴 영역 정보를 순차적으로 추출한다(s230).The face image information input in step S210 is divided at predetermined cycles (S220), and the face region information is sequentially extracted from the divided face image information (S230).
상기 s230단계에서 순차적으로 추출된 각 얼굴 영역 정보에 의거하여 인접한 얼굴 영역 정보간에 움직임 정보를 산출하고, 산출되는 각 움직임 정보를 지속적으로 움직임 모델에 정합하여 총 누적 오차 값을 산출한다(s240).Based on each face region information sequentially extracted in step S230, motion information is calculated between adjacent face region information, and the calculated cumulative error value is calculated by continuously matching the calculated motion information with a motion model (S240).
그리고 상기 총 누적 오차 값이 기준 임계치 이상이면(s250), 입력된 출입자의 얼굴 영상을 실제 얼굴 영상으로 판단하여 출입 통제 시스템으로 실제 얼굴 영상 인증 신호를 출력한다(s260). 한편, 상기 총 누적 오차 값이 기준 임계치 미만이면, 입력된 출입자의 얼굴 영상을 사진, 주민등록증, 기타 인쇄물 상의 얼굴 영상 중 어느 하나로 판단하여 출입 통제에 따른 안내 방송 또는 안내 메시지를 출력한다(s270).When the total cumulative error value is greater than or equal to the reference threshold value (S250), the input face image of the visitor is determined as the real face image and an actual face image authentication signal is output to the access control system (S260). On the other hand, if the total cumulative error value is less than the reference threshold value, and determines the input face image of any one of the face image on the image, resident registration card, other printed matter and outputs a guide broadcast or guide message according to the access control (S270).
이제까지 본 발명에 대하여 그 바람직한 실시 예들을 중심으로 살펴보았다.본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.So far, the present invention has been described with reference to the preferred embodiments. Those skilled in the art to which the present invention pertains can realize that the present invention can be embodied in a modified form without departing from the essential characteristics of the present invention. I can understand. Therefore, the disclosed embodiments should be considered in descriptive sense only and not for purposes of limitation. The scope of the present invention is shown in the claims rather than the foregoing description, and all differences within the scope will be construed as being included in the present invention.
이상에서 설명한 바와 같은 본 발명에 따른 살아있는 얼굴의 진위 여부 검사 시스템 및 그 방법은 입력되는 얼굴 영상이 실제 얼굴 영상인지 또는 사진, 주민등록증, 기타 인쇄물 상의 얼굴 영상인지 식별한 후, 그 식별 결과에 한하여 출입 통제 시스템이 동작하도록 함으로써, 출입 통제 시스템의 출입 통제 기능을 보완하여 출입 통제 시스템의 보안성 및 신뢰도를 더욱 향상시킬 수 있는 효과가 있다.As described above, the system for checking the authenticity of the living face and the method thereof according to the present invention identify whether the input face image is a real face image or a face image on a photograph, ID card, or other printed matter, and then enters and exits only the identification result. By allowing the control system to operate, the access control function of the access control system can be supplemented to further improve the security and reliability of the access control system.
또한, 본 발명은 출입 통제 시스템 뿐만 아니라 각종 보안 시스템과 연계 동작하도록 적용 가능하며, 이로 인해 각 보안 시스템들의 보안 기능을 보다 향상시킬 수 있는 장점이 있다.In addition, the present invention can be applied to operate in conjunction with various security systems as well as access control system, which has the advantage of improving the security function of each security system.
Claims (9)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020020029275A KR20030091345A (en) | 2002-05-27 | 2002-05-27 | Method and system for facial liveness test |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020020029275A KR20030091345A (en) | 2002-05-27 | 2002-05-27 | Method and system for facial liveness test |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20030091345A true KR20030091345A (en) | 2003-12-03 |
Family
ID=32384489
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020020029275A KR20030091345A (en) | 2002-05-27 | 2002-05-27 | Method and system for facial liveness test |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20030091345A (en) |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100473600B1 (en) * | 2002-12-04 | 2005-03-10 | 삼성전자주식회사 | Apparatus and method for distinguishing photograph in face recognition system |
| KR100706871B1 (en) * | 2005-08-22 | 2007-04-12 | 주식회사 아이디테크 | Method for truth or falsehood judgement of monitoring face image |
| KR100756047B1 (en) * | 2006-01-25 | 2007-09-07 | 한국인식산업(주) | Apparatus for recognizing a biological face and method therefor |
| KR100772599B1 (en) * | 2006-05-12 | 2007-11-02 | 이상호 | Security system using the photographical analysis of the face and using method thereof |
| KR100775005B1 (en) * | 2004-12-07 | 2007-11-08 | 한국전자통신연구원 | User authentificatno system and method thereof |
| KR100842258B1 (en) * | 2006-10-26 | 2008-06-30 | 한국전자통신연구원 | Methdo for detecting forged face image and apparatus thereof |
| US7634113B2 (en) | 2004-12-07 | 2009-12-15 | Electronics And Telecommunications Research Institute | User authentication system and method thereof |
| KR101051365B1 (en) * | 2009-07-16 | 2011-07-22 | 주식회사 유니온커뮤니티 | Access control device with camera and access control method |
| KR101123834B1 (en) * | 2009-05-22 | 2012-03-15 | 한국인식산업(주) | Method and camera device for determination of photograph cheating using controllable ir light |
| WO2011156143A3 (en) * | 2010-06-08 | 2012-04-19 | Microsoft Corporation | Distinguishing live faces from flat surfaces |
| US8493178B2 (en) | 2008-12-02 | 2013-07-23 | Electronics And Telecommunications Research Institute | Forged face detecting method and apparatus thereof |
| KR20160009972A (en) * | 2014-07-17 | 2016-01-27 | 크루셜텍 (주) | Iris recognition apparatus for detecting false face image |
| KR20170076894A (en) * | 2015-12-24 | 2017-07-05 | 주식회사 씽크풀 | Method for digital image judging and system tereof, application system, and authentication system thereof |
| KR101877816B1 (en) * | 2017-02-20 | 2018-07-12 | 주식회사 에스원 | Composite Photograph and Video Fake Face Judgement Method by Using Single Visible Camera and System thereof |
| EP3012769B1 (en) * | 2009-06-16 | 2020-04-22 | Intel Corporation | Controlled access to functionality of a wireless device |
| KR20200079095A (en) * | 2018-12-24 | 2020-07-02 | 주식회사 포스코아이씨티 | Edge Device for Face Recognition |
| CN111898500A (en) * | 2020-07-17 | 2020-11-06 | 深圳阜时科技有限公司 | Optical detection system and electronic equipment under screen |
| WO2022010022A1 (en) * | 2020-07-06 | 2022-01-13 | 주식회사 유스비 | Non-contact personal authentication customer identification apparatus and method therefor |
| US11694480B2 (en) | 2020-07-27 | 2023-07-04 | Samsung Electronics Co., Ltd. | Method and apparatus with liveness detection |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5774591A (en) * | 1995-12-15 | 1998-06-30 | Xerox Corporation | Apparatus and method for recognizing facial expressions and facial gestures in a sequence of images |
| KR20000033061A (en) * | 1998-11-19 | 2000-06-15 | 전주범 | Method for mapping face image using panorama image in model based encoding system |
| JP2000354517A (en) * | 1999-06-15 | 2000-12-26 | Kao Corp | Method for creating face image |
| KR20010002097A (en) * | 1999-06-11 | 2001-01-05 | 김운용 | Method and apparatus for face photographing and recognizing by automatic trading a skin color and motion |
| KR20010030013A (en) * | 1999-09-22 | 2001-04-16 | 이칠기 | Method of Processing Face Recognition Robust to Illumination Change, Facial Expression or Eyewear |
| KR20020080064A (en) * | 2001-04-11 | 2002-10-23 | 학교법인 인하학원 | Face feature tracking method using block-matching algorithm based on extended cost function |
-
2002
- 2002-05-27 KR KR1020020029275A patent/KR20030091345A/en active IP Right Grant
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5774591A (en) * | 1995-12-15 | 1998-06-30 | Xerox Corporation | Apparatus and method for recognizing facial expressions and facial gestures in a sequence of images |
| KR20000033061A (en) * | 1998-11-19 | 2000-06-15 | 전주범 | Method for mapping face image using panorama image in model based encoding system |
| KR20010002097A (en) * | 1999-06-11 | 2001-01-05 | 김운용 | Method and apparatus for face photographing and recognizing by automatic trading a skin color and motion |
| JP2000354517A (en) * | 1999-06-15 | 2000-12-26 | Kao Corp | Method for creating face image |
| KR20010030013A (en) * | 1999-09-22 | 2001-04-16 | 이칠기 | Method of Processing Face Recognition Robust to Illumination Change, Facial Expression or Eyewear |
| KR20020080064A (en) * | 2001-04-11 | 2002-10-23 | 학교법인 인하학원 | Face feature tracking method using block-matching algorithm based on extended cost function |
Cited By (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100473600B1 (en) * | 2002-12-04 | 2005-03-10 | 삼성전자주식회사 | Apparatus and method for distinguishing photograph in face recognition system |
| KR100775005B1 (en) * | 2004-12-07 | 2007-11-08 | 한국전자통신연구원 | User authentificatno system and method thereof |
| US7634113B2 (en) | 2004-12-07 | 2009-12-15 | Electronics And Telecommunications Research Institute | User authentication system and method thereof |
| KR100706871B1 (en) * | 2005-08-22 | 2007-04-12 | 주식회사 아이디테크 | Method for truth or falsehood judgement of monitoring face image |
| KR100756047B1 (en) * | 2006-01-25 | 2007-09-07 | 한국인식산업(주) | Apparatus for recognizing a biological face and method therefor |
| KR100772599B1 (en) * | 2006-05-12 | 2007-11-02 | 이상호 | Security system using the photographical analysis of the face and using method thereof |
| KR100842258B1 (en) * | 2006-10-26 | 2008-06-30 | 한국전자통신연구원 | Methdo for detecting forged face image and apparatus thereof |
| US8493178B2 (en) | 2008-12-02 | 2013-07-23 | Electronics And Telecommunications Research Institute | Forged face detecting method and apparatus thereof |
| KR101123834B1 (en) * | 2009-05-22 | 2012-03-15 | 한국인식산업(주) | Method and camera device for determination of photograph cheating using controllable ir light |
| EP3012769B1 (en) * | 2009-06-16 | 2020-04-22 | Intel Corporation | Controlled access to functionality of a wireless device |
| KR101051365B1 (en) * | 2009-07-16 | 2011-07-22 | 주식회사 유니온커뮤니티 | Access control device with camera and access control method |
| WO2011156143A3 (en) * | 2010-06-08 | 2012-04-19 | Microsoft Corporation | Distinguishing live faces from flat surfaces |
| US8675926B2 (en) | 2010-06-08 | 2014-03-18 | Microsoft Corporation | Distinguishing live faces from flat surfaces |
| KR20160009972A (en) * | 2014-07-17 | 2016-01-27 | 크루셜텍 (주) | Iris recognition apparatus for detecting false face image |
| KR20170076894A (en) * | 2015-12-24 | 2017-07-05 | 주식회사 씽크풀 | Method for digital image judging and system tereof, application system, and authentication system thereof |
| KR101877816B1 (en) * | 2017-02-20 | 2018-07-12 | 주식회사 에스원 | Composite Photograph and Video Fake Face Judgement Method by Using Single Visible Camera and System thereof |
| KR20200079095A (en) * | 2018-12-24 | 2020-07-02 | 주식회사 포스코아이씨티 | Edge Device for Face Recognition |
| WO2022010022A1 (en) * | 2020-07-06 | 2022-01-13 | 주식회사 유스비 | Non-contact personal authentication customer identification apparatus and method therefor |
| CN111898500A (en) * | 2020-07-17 | 2020-11-06 | 深圳阜时科技有限公司 | Optical detection system and electronic equipment under screen |
| CN111898500B (en) * | 2020-07-17 | 2024-02-20 | 深圳阜时科技有限公司 | Under-screen optical detection system and electronic equipment |
| US11694480B2 (en) | 2020-07-27 | 2023-07-04 | Samsung Electronics Co., Ltd. | Method and apparatus with liveness detection |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20030091345A (en) | Method and system for facial liveness test | |
| EP3067829B1 (en) | Person authentication method | |
| CN111133433B (en) | Automatic authentication for access control using face recognition | |
| JP4679121B2 (en) | Human identification device and method using infrared rays | |
| JP3974375B2 (en) | Person recognition device, person recognition method, and traffic control device | |
| JP4156430B2 (en) | Face verification method and system using automatic database update method | |
| KR100456619B1 (en) | A system for registering and authenticating human face using support vector machines and method thereof | |
| KR101159164B1 (en) | Fake video detecting apparatus and method | |
| US8422746B2 (en) | Face authentication system and authentication method thereof | |
| JP6148064B2 (en) | Face recognition system | |
| US20140071293A1 (en) | Method and device for authintication of live human faces using infra red images | |
| JP2019133364A (en) | Information processing device | |
| JP2008090452A (en) | Detection device, method and program | |
| CN109196517B (en) | Comparison device and comparison method | |
| KR20200080533A (en) | Apparatus and Method for Recognizing Fake Face By Using Minutia Data Variation | |
| WO2021166062A1 (en) | Gate device, gate device control method, and storage medium | |
| JP2003233816A (en) | Access control system | |
| JP6915673B2 (en) | Information processing system | |
| JP3813023B2 (en) | Iris recognition device | |
| WO2021166064A1 (en) | Gate apparatus | |
| JP2004151978A (en) | Figure recognition device, figure recognition method and passage control device | |
| KR100557037B1 (en) | Indicated device of iris location for iris recognition system | |
| KR100880466B1 (en) | Method for pupil detection using of red eye effect for iris recognition | |
| JP2005115460A (en) | Device for collating face, and passage controller | |
| JP2019132019A (en) | Information processing unit |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E701 | Decision to grant or registration of patent right | ||
| NORF | Unpaid initial registration fee |