WO2018043796A1 - 위조 바이오 정보 검출 장치 및 방법 - Google Patents

위조 바이오 정보 검출 장치 및 방법 Download PDF

Info

Publication number
WO2018043796A1
WO2018043796A1 PCT/KR2016/011675 KR2016011675W WO2018043796A1 WO 2018043796 A1 WO2018043796 A1 WO 2018043796A1 KR 2016011675 W KR2016011675 W KR 2016011675W WO 2018043796 A1 WO2018043796 A1 WO 2018043796A1
Authority
WO
WIPO (PCT)
Prior art keywords
skin color
physiological signal
image
signal
information
Prior art date
Application number
PCT/KR2016/011675
Other languages
English (en)
French (fr)
Inventor
이의철
서건하
Original Assignee
상명대학교서울산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 상명대학교서울산학협력단 filed Critical 상명대학교서울산학협력단
Publication of WO2018043796A1 publication Critical patent/WO2018043796A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G06V40/45—Detection of the body part being alive
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/1032—Determining colour for diagnostic purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching

Definitions

  • the present invention relates to an apparatus and method for detecting counterfeit bioinformation. Specifically, in the biometric recognition using face, vein, fingerprint, finger, etc., it is possible to detect counterfeit bioinformation using heartbeat similarity information through skin color amplification. An apparatus and method are provided.
  • Bio-recognition technology is being used as a key technology for identity verification in real life with high accuracy and real-time processing. Bio-recognition technology is very convenient and effective in that it can use the bio information of one's body for authentication without the need for additional tools such as keys and cards.
  • Bio-recognition technology is very convenient and effective in that it can use the bio information of one's body for authentication without the need for additional tools such as keys and cards.
  • the importance of detecting the fake bioinformation as well as the technology for improving the authentication accuracy is increasing.
  • counterfeit bio attack scenarios include facial photos, facial videos, and 3D masks in face recognition systems, vein photos in vein recognition systems, and fake silicon fingers in fingerprint recognition systems. There are many studies on 'liveness detection' as a way to solve such counterfeit bio attack.
  • the present invention provides an apparatus and method for analyzing whether physiological signals obtained through skin color amplification are actual biometric or fake biometric information.
  • an apparatus for detecting fake bioinformation there is provided an apparatus for detecting fake bioinformation.
  • an apparatus for detecting counterfeit bioinformation includes an image input unit for receiving a biometric image, a skin color amplifying unit for amplifying a brightness component of a skin color region from the input biometric image, and a physiology for extracting a physiological signal from the amplified skin color region
  • the signal extractor may include a physiological signal analyzer configured to analyze the amplification of the extracted physiological signal and the deviation information of the inflection point, and a counterfeit information determiner that detects the fake bio information from the analyzed physiological signal.
  • a method for detecting fake bioinformation is provided.
  • a method of detecting counterfeit bioinformation includes: receiving an image, amplifying a brightness component of a skin color region from the input image, extracting a physiological signal from the amplified skin color, and extracting The method may include improving a quality of the physiological signal, extracting deviation information of the amplitude and inflection point of the improved physiological signal, and determining counterfeit bio information from the extracted deviation information.
  • the present invention may analyze the physiological signal obtained through skin color amplification to determine whether the bio information currently attempting to be recognized is real biometric information or forged biometric information.
  • the present invention is applicable not only to a face recognition system but also to a bio recognition system for acquiring and processing skin surfaces such as veins, fingerprints, and finger recognition as images.
  • FIG. 1 is a block diagram of a fake bio information detection apparatus according to an embodiment of the present invention.
  • 2 to 8 are diagrams for explaining a method for detecting forged bio information according to an embodiment of the present invention.
  • FIG. 1 is a block diagram of an apparatus for detecting forged bio information according to an embodiment of the present invention.
  • the counterfeit bioinformation detecting apparatus 10 may include an image input unit 11, a skin color amplifier 12, a physiological signal extractor 13, and a physiological signal analyzer 14. ), And a forgery information determining unit 15.
  • the image input unit 11 receives a biological image of the user.
  • the image input unit 11 continuously receives the biometric image of the user in real time using a visible light camera.
  • the image input unit 11 may continuously receive a biological image of a user using a near infrared ray, ultraviolet ray, microwave and infrared ray thermal imaging camera as well as a visible ray camera.
  • the skin color amplifier 12 amplifies the pixel brightness components of the skin color region in the input biological image.
  • the skin color amplifying unit 12 detects the skin color region in the input biological image, converts the pixel brightness component of the detected skin color region into a YCbCr color model and amplifies n times the radial on the Cb-Cr plane.
  • the skin color amplifying unit 12 detects a pixel brightness component of a skin color region from a biological image of an RGB color model acquired using a visible light camera, and converts the detected brightness component of a skin color pixel into a YCbCr color model.
  • the skin color amplifying unit 12 may adjust the pixel brightness component of the skin region in a gray-scale image when the biological image is input using a near infrared, ultraviolet, microwave, or infrared thermal camera. Can be detected and amplified.
  • the physiological signal extracting unit 13 extracts an average Hue value of the skin color pixels amplified by the skin color amplifying unit 12 as a time series signal in order to detect the fake bio information from the input biological image.
  • the physiological signal analysis unit 14 applies a band-pass filter to the time series signal extracted by the physiological signal extraction unit 13 to remove noise components of the signal, thereby improving the quality of the time series signal and improving the time series. Analyze signal amplitude and inflection deviation information. For example, the physiological signal analyzer 14 extracts a distance between adjacent inflection points using a more distinct physiological signal from a time series signal from which noise is removed, and then calculates an average value, or calculates an average value, or the largest and smallest distances between adjacent inflection points. By calculating the difference with the distance, it is possible to analyze the deviation information of the physiological signal.
  • the fake information determining unit 15 detects the fake bio information using the deviation information analyzed by the physiological signal analyzer 14. For example, the counterfeit information determination unit 15 may detect the counterfeit bio information by determining that the analyzed deviation information is the actual bio information when the analyzed deviation information is smaller than the predetermined threshold value, and determine the counterfeit bio information by the counterfeit bio information.
  • the inflection point interval does not change significantly in a time series signal extracted from a real face. Therefore, in order to determine the actual living body and the fake living body, it is possible to detect the fake bio information by setting an appropriate threshold value.
  • FIG. 2 illustrates a method of detecting forged bioinformation according to an embodiment of the present invention.
  • the biometric image of the user is continuously input using a visible light camera.
  • the fake bio information detecting method 20 may receive a biological image of a user using a near infrared, ultraviolet, microwave and infrared thermal imaging camera as well as a visible light camera.
  • the skin color region is detected from the biometric image input in step S21, converted into a YCbCr color model, and the pixel brightness value of the converted skin color region is amplified radially n times on the Cb-Cr plane.
  • the YCbCr color model is characterized by displaying the illumination component separately from the chrominance component.
  • Y is the lighting component and Cb and Cr are the blue and red color components respectively.
  • people's skin color is uniformly clustered near the center of the Cb-Cr plane regardless of race or skin brightness.
  • the step of amplifying the skin color (S22) excludes an illumination component from a biological image converted into a YCbCr color model, and captures a change in skin color due to blood flow in terms of color difference components.
  • the change can be amplified.
  • the fake bio information detection method 20 according to an embodiment of the present invention is a pixel brightness component of a skin region in a grayscale image when the received image is a biological image input using a near infrared, ultraviolet, microwave, and infrared thermal camera. Can be detected and amplified.
  • 3 and 4 illustrate examples before and after amplifying the skin color distribution of the face region in the step of amplifying the skin color according to an embodiment of the present invention.
  • the step of amplifying a skin color detects a skin color region in an input face image 310, converts the detected skin color region into a YCbCr color model, and generates an illumination component from a pixel brightness component of the skin color region. Excluding Cb-Cr component can be amplified n times by extracting as 320a.
  • the area a of FIG. 3 may be amplified radially 15 times as in the area b of FIG. 4 to enlarge the minute change of the skin color over time as shown in 410. have.
  • Extracting the physiological signal is extracted as the physiological signal from the skin color amplified in step S22.
  • a physiological signal similar to a heartbeat may be obtained by calculating an average value of the skin color pixels.
  • FIG. 5 illustrates an example of a time series graph extracted after skin color amplification from a real face and a fake face in the step of extracting a physiological signal according to an embodiment of the present invention.
  • an average Hue value of the amplified skin color pixels may be extracted as a time series signal.
  • Hue is a component of the HSV color model, and one color is represented by one of cyclic color values of 0 ° to 360 °.
  • 510 of FIG. 5 is a time series signal extracted by amplifying a real human skin color
  • 520 is a time series signal extracted by amplifying a skin color of a fake face such as a still picture.
  • a face region is detected as a red box using an Adaboost algorithm from an input face image, and the skin color pixels of the face region are detected.
  • the time series signal of 510 shows a waveform synchronized with a heartbeat of a real person
  • the time series signal of 520 shows a waveform mainly focused on high frequency components due to lighting reflection or photo motion. Therefore, the fake bio information extraction method 20 according to an embodiment may determine the fake bio information by analyzing a waveform of a time series signal.
  • step S24 the quality of the physiological signal is improved by removing noise components from the physiological signal extracted in step S23.
  • noise components may be included in an image according to a camera device, and thus, by removing such noise, it is possible to analyze a more distinct physiological signal from a time series graph.
  • the method 20 for detecting forged bioinformation according to an embodiment of the present invention may apply a band-pass filter to remove noise components of the extracted time series signal.
  • FIG 6 illustrates an example of the improved physiological signal through the step of improving the quality of the physiological signal according to an embodiment of the present invention.
  • the quality of a physiological signal according to an embodiment of the present invention is removed by applying a band pass filter to the physiological signals of 510 and 520 of FIG. 5 to remove noise. More clear physiological signals may be analyzed using the improved physiological signals such as 620 and 620.
  • step S25 analyzes the deviation information of the amplitude and inflection point (PPI) of the physiological signal improved in step S24. For example, step S25 extracts the distance between adjacent inflection points from the time series signal improved in step S24, respectively, and calculates an average value, or calculates a difference between the largest distance and the smallest distance among the distances between adjacent inflection points, thereby causing a deviation of the physiological signal. Analyze the information.
  • FIG. 7 is a diagram illustrating a method of analyzing a deviation of an amplitude and an inflection point of a physiological signal in the analysis of deviation information of an amplitude and an inflection point of a physiological signal according to an embodiment of the present invention.
  • the physiological signal 710 of the actual face has a constant amplitude and variation, and the spacing between the inflection points is relatively constant, whereas the physiological signal 720 of the fake face has a great variation of the amplitude and inflection points.
  • the magnitude of amplitude is also inconsistent. Therefore, the fake biometric extraction method 20 according to an embodiment of the present invention determines that the input bioinformation is forged when the biosignal extracted from the input biometric image has a severe variation in amplitude and inflection points and is not constant in amplitude. can do.
  • Forgery bio information determination step (S26) detects the fake bio information using the deviation information of the bio-signal analyzed in step S25.
  • the method for detecting forged bioinformation 20 determines that the analyzed deviation information of the input biometric image is smaller than a predetermined threshold value as actual bioinformation, and if it is large, determines as forged bioinformation. By this, counterfeit bio information can be detected.
  • the method for detecting forged bioinformation 20 may be used as a method for detecting forged bioinformation not only on a face but also on a vein, fingerprint, and finger recognition system capable of acquiring a skin surface image.
  • the physiological signal may be obtained from the fingerprint and the back of the finger to detect the fake bio information.
  • Counterfeit bio information detection method 20 may be implemented in the form of program instructions that can be executed through computer means such as various servers.
  • a program and an application for executing the counterfeit bioinformation detecting method 20 according to the present invention may be installed in computer means and recorded in a computer readable medium.
  • Computer-readable media may include, alone or in combination with the program instructions, data files, data structures, and the like.
  • the program instructions recorded on the computer readable medium may be those specially designed and constructed for the present invention, or may be known and available to those skilled in the computer software arts.
  • Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tape, optical media such as CD-ROMs, DVDs, and magnetic disks, such as floppy disks.
  • Hardware devices specially configured to store and execute program instructions such as magneto-optical media and ROM, RAM, flash memory and the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Dentistry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Collating Specific Patterns (AREA)

Abstract

본 발명은 위조 바이오 정보 검출 장치 및 방법에 관한 것으로서, 구체적으로는 얼굴, 정맥, 지문, 손가락 등을 사용하는 바이오 인식에서 피부색 증폭을 통한 심장박동 정보를 이용하여 위조 바이오 정보를 검출할 수 있는 장치 및 방법에 관한 것이다.

Description

위조 바이오 정보 검출 장치 및 방법
본 발명은 위조 바이오 정보 검출 장치 및 방법에 관한 것으로서, 구체적으로는 얼굴, 정맥, 지문, 손가락 등을 사용하는 바이오 인식에서 피부색 증폭을 통한 심장박동 유사정보를 이용하여 위조 바이오 정보를 검출할 수 있는 장치 및 방법에 관한 것이다.
바이오 인식 기술은 높은 정확성과 실시간 처리가 보장되면서 실생활에서 신원 인증을 위한 핵심 기술로 활용되고 있다. 바이오 인식 기술은 키나 카드와 같은 추가적인 도구 필요 없이 자신의 몸의 바이오 정보를 그대로 인증에 사용할 수 있다는 점에서 매우 편리하고 효과적인 인증 방식이다. 하지만, 최근 이러한 바이오 정보를 위조하여 기존의 생체 인식 보안 시스템을 속이는 사례들이 발생하면서 인증 정확성을 높이기 위한 기술뿐만 아니라 위조 바이오 정보 검출에 대한 중요성도 높아지고 있다.
대표적인 위조 바이오 공격 시나리오로는 얼굴 인식 시스템에서의 얼굴 사진, 얼굴 비디오, 3D 마스크 등의 공격들이 있으며, 정맥 인식 시스템에서의 정맥 사진, 지문 인식 시스템에서의 가짜 실리콘 손가락 등이 있다. 이러한 위조 바이오 공격을 해결하기 위한 방법으로 ‘liveness detection’에 대한 연구들이 많이 진행되고 있다.
본 발명은 피부색 증폭을 통해 획득한 생리 신호를 분석하여 현재 인식을 시도하는 바이오 정보가 실제 생체 정보인지 위조된 생체 정보인지를 판별하는 장치 및 방법을 제공한다.
본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 명확하게 이해될 수 있을 것이다.
본 발명의 일 측면에 따르면, 위조 바이오 정보 검출 장치가 제공된다.
본 발명의 일 실시 예에 따른 위조 바이오 정보 검출 장치는 생체 영상을 입력받는 영상 입력부, 입력받은 생체 영상에서 피부색 영역의 밝기 성분을 증폭하는 피부색 증폭부, 증폭된 피부색 영역에서 생리 신호를 추출하는 생리 신호 추출부, 추출된 생리 신호의 증폭 및 변곡점의 편차 정보를 분석하는 생리 신호 분석부, 분석한 생리 신호로부터 위조 바이오 정보를 검출하는 위조 정보 판별부를 포함할 수 있다.
본 발명의 다른 측면에 따르면, 위조 바이오 정보 검출 방법이 제공된다.
본 발명의 일 실시 예에 따른 위조 바이오 정보 검출 방법은 영상을 입력 받는 단계, 상기 입력된 영상에서 피부색 영역의 밝기 성분을 증폭하는 단계, 상기 증폭된 피부색으로부터 생리 신호를 추출하는 단계, 상기 추출된 생리 신호의 품질을 개선하는 단계, 상기 개선된 생리 신호의 진폭 및 변곡점의 편차 정보 추출 단계, 상기 추출된 편차 정보로부터 위조 바이오 정보 판단 단계를 포함할 수 있다.
본 발명은 피부색 증폭을 통해 획득한 생리 신호를 분석하여 현재 인식을 시도하는 바이오 정보가 실제 생체 정보인지 위조된 생체 정보인지를 판별할 수 있다.
또한, 본 발명은 얼굴 인식 시스템뿐만 아니라 정맥, 지문, 손가락 인식 등 피부 표면을 영상으로 획득하여 처리하는 바이오 인식 시스템에서 모두 적용 가능하다.
도 1은 본 발명의 일 실시 예에 따른 위조 바이오 정보 검출 장치의 블록도.
도 2 내지 도 8은 본 발명의 일 실시 예에 따른 위조 바이오 정보 검출 방법을 설명하기 위한 도면들.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시 예를 상세히 설명하도록 한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 또한, 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.
이하, 첨부된 도면을 참고하여 본 발명의 실시를 위한 구체적인 내용을 설명하도록 한다.
도 1은 본 발명의 일 실시 예에 따른 위조 바이오 정보 검출 장치의 블록도이다.
도 1을 참조하면, 본 발명의 일 실시 예에 따른 위조 바이오 정보 검출 장치(10)는 영상 입력부(11), 피부색 증폭부(12), 생리 신호 추출부(13), 생리 신호 분석부(14), 위조 정보 판별부(15)를 포함한다.
영상 입력부(11)는 사용자의 생체 영상을 입력받는다. 이때, 영상 입력부(11)는 가시광선 카메라를 이용하여 실시간으로 사용자의 생체 영상을 연속적으로 입력받는다. 일 실시 예에 따른 영상 입력부(11)는 가시광선 카메라뿐만 아니라 근적외선, 자외선, 마이크로파 및 적외선 열화상 카메라를 이용하여 사용자의 생체 영상을 연속적으로 입력받을 수 있다.
피부색 증폭부(12)는 입력받은 생체 영상에서 피부색 영역의 화소 밝기 성분을 증폭시킨다. 이를 위해, 피부색 증폭부(12)는 입력받은 생체 영상에서 피부색 영역을 검출하고, 검출한 피부색 영역의 화소 밝기 성분을 YCbCr 색상 모델로 변환하여 Cb-Cr 평면상에서 방사형으로 n배 증폭시킨다. 예를 들어, 피부색 증폭부(12)는 가시광선 카메라를 이용하여 취득된 RGB 색상 모델의 생체 영상에서 피부색 영역의 화소 밝기 성분을 검출하고, 검출한 피부색 화소의 밝기 성분을 YCbCr 색상 모델로 변환함으로써 피부색을 증폭시킬 수 있다. 또한, 일 실시 예에 따른 피부색 증폭부(12)는 근적외선, 자외선, 마이크로파, 적외선 열화상 카메라를 이용하여 입력된 생체 영상일 경우에 그레이스케일(gray-scale) 영상에서 피부 영역의 화소 밝기 성분을 검출하여 증폭시킬 수 있다.
생리 신호 추출부(13)는 입력된 생체 영상에서 위조 바이오 정보를 검출하기 위해, 피부색 증폭부(12)에서 증폭된 피부색 화소들의 평균 색상(Hue)값을 시계열 신호로 추출한다.
생리 신호 분석부(14)는 생리 신호 추출부(13)에서 추출한 시계열 신호에 대역 통과 필터(band-pass filter)를 적용하여 신호의 잡음 성분을 제거함으로써 시계열 신호의 품질을 개선하고, 개선된 시계열 신호의 진폭 및 변곡점의 편차 정보를 분석한다. 예를 들어, 생리 신호 분석부(14)는 잡음이 제거된 시계열 신호로부터 보다 뚜렷한 생리 신호를 이용하여 인접한 변곡점 간의 거리를 각각 추출한 후 평균값을 산출하거나, 인접한 변곡점 간의 거리 중 가장 큰 거리와 가장 작은 거리와의 차이를 산출함으로써 생리 신호의 편차 정보를 분석할 수 있다.
위조 정보 판별부(15)는 생리 신호 분석부(14)에서 분석된 편차 정보를 이용하여 위조 바이오 정보를 검출한다. 예를 들어, 위조 정보 판별부(15)는 분석된 편차 정보가 정해진 임계값보다 작으면 실제 바이오 정보로 판단하고, 크면 위조 바이오 정보로 판별함으로써, 위조 바이오 정보를 검출할 수 있다.
일반적으로 실제 사람의 심장 박동 신호는 불연속적이 아닌 점진적으로 변화하기 때문에 실제 얼굴에서 추출된 시계열 신호에서는 변곡점 간격이 큰 폭으로 변화하지 않는다. 따라서, 실제 생체와 위조 생체를 판단하기 위해서는 적절한 임계치를 설정함으로써 위조 바이오 정보를 검출할 수 있다.
도 2는 본 발명의 일 실시 예에 따른 위조 바이오 정보를 검출하는 방법을 도시한 것이다.
도 2를 참조하면, 본 발명의 일 실시 예에 따른 위조 바이오 정보 검출 방법(20)은 영상을 입력받는 단계(S21), 피부색을 증폭하는 단계(S22), 생리 신호를 추출하는 단계(S23), 생리 신호의 품질을 개선하는 단계(S24), 생리 신호의 진폭 및 변곡점의 편차 정보 추출 단계(S25), 위조 바이오 정보 판단 단계(S26)를 포함한다.
영상을 입력받는 단계(S21)는 가시광선 카메라를 이용하여 사용자의 생체 영상을 연속적으로 입력받는다. 일 실시 예에 따른 위조 바이오 정보 검출 방법(20)은 가시광선 카메라뿐만 아니라 근적외선, 자외선, 마이크로파 및 적외선 열화상 카메라를 이용하여 사용자의 생체 영상을 입력받을 수 있다.
피부색을 증폭하는 단계(S22)는 단계 S21에서 입력받은 생체 영상에서 피부색 영역을 검출하여 YCbCr 색상 모델로 변환하고, 변환된 피부색 영역의 화소 밝기 값을 Cb-Cr 평면상에서 방사형으로 n배 증폭시킨다. YCbCr 색상 모델은 RGB 색상 모델과 달리 조명 성분을 색차 성분과 따로 분리하여 나타내는 특징이 있다. YCbCr 색상 모델에서 Y는 조명성분, Cb와 Cr은 각각 푸른 색차와 붉은 색차 성분을 나타낸다. 일반적으로 사람들의 피부색은 인종이나 피부밝기에 상관없이 Cb-Cr 평면상의 중심 부근에서 일정한 군집 형태를 이룬다. 이러한 특징을 이용하여, 본 발명의 일 실시 예에 따라 피부색을 증폭하는 단계(S22)는 YCbCr 색상 모델로 변환된 생체 영상에서 조명 성분을 배제하고, 색차 성분 관점에서 혈류 흐름에 의한 피부색 변화를 포착하고, 그 변화를 증폭시킬 수 있다. 또한, 일 실시 예에 따른 위조 바이오 정보 검출 방법(20)은 입력받은 영상이 근적외선, 자외선, 마이크로파 및 적외선 열화상 카메라를 이용하여 입력된 생체 영상일 경우에 그레이스케일 영상에서 피부 영역의 화소 밝기 성분을 검출하여 증폭시킬 수 있다.
도 3 및 도 4는 본 발명의 일 실시 예에 따른 피부색을 증폭하는 단계에서 얼굴 영역의 피부색 분포를 증폭하기 전후의 예를 도시한 것이다.
도 3을 참조하면, 피부색을 증폭하는 단계(S22)는 입력받은 얼굴 영상(310)에서 피부색 영역을 검출하고, 검출한 피부색 영역을 YCbCr 색상 모델로 변환하여, 피부색 영역의 화소 밝기 성분에서 조명 성분을 배제한 Cb-Cr 성분을 320의 a와 같이 추출하여 n배 증폭시킬 수 있다.
도 4를 참조하면, 피부색을 증폭하는 단계(S22)는 도 3의 a 영역을 도 4의 b영역과 같이 방사형으로 15배 증폭시켜 410과 같이 시간의 흐름에 따른 피부색의 미세한 변화를 확대할 수 있다.
생리 신호를 추출하는 단계(S23)는 단계 S22에서 증폭된 피부색으로부터 생리 신호로 추출한다. 예를 들어, 단계 S23은 연속 영상을 입력받아 영상의 프레임마다 피부색 증폭을 수행한 후, 피부색 화소들의 평균값을 산출하여 심장 박동과 유사한 생리 신호를 획득할 수 있다.
도 5는 본 발명의 일 실시 예에 따른 생리 신호를 추출하는 단계에서 실제 얼굴과 위조 얼굴에서 피부색 증폭 후 추출한 시계열 그래프의 예를 도시한 것이다.
도 5를 참조하면, 본 발명의 일 실시 예에 따른 생리 신호를 추출하는 단계(S23)는 증폭된 피부색 화소들의 평균 색상(Hue)값을 시계열 신호로 추출할 수 있다. 여기서 색상(Hue)은 HSV 색상 모델의 성분으로, 하나의 색은 0°~360°의 순환적 색상 값 중 한 값으로 표현된다. 도 5의 510은 실제 사람의 피부색을 증폭하여 추출된 시계열 신호이고, 520은 정지 사진 등의 위조 얼굴의 피부색을 증폭하여 추출한 시계열 신호를 나타낸다. 이때, 본 발명의 일 실시 예에 따른 생리 신호를 추출하는 단계(S23)는 입력된 얼굴 영상에서 에이다부스트(Adaboost) 알고리즘을 사용하여 빨간색 박스와 같이 얼굴 영역을 검출하고, 얼굴 영역의 피부색 화소를 시계열 신호로 추출할 수 있다. 도 5에서 510의 시계열 신호는 실제 사람의 심장 박동과 동기화된 파형이 나타나는 반면, 520의 시계열 신호는 조명 반사나 사진 움직임 등에 의한 고주파 성분 위주의 파형을 보인다. 따라서, 일 실시 예에 따른 위조 바이오 정보 추출 방법(20)은 시계열 신호의 파형을 분석함으로써 위조 바이오 정보를 판단할 수 있다.
생리 신호의 품질을 개선하는 단계(S24)는 단계 S23에서 추출된 생리 신호에서 잡음 성분을 제거하여 생리 신호의 품질을 개선한다. 일반적으로 카메라 디바이스에 따라 영상에 잡음 성분이 포함될 수 있으므로, 이러한 잡음을 제거함으로써 시계열 그래프로부터 보다 뚜렷한 생리신호를 분석하는 것이 가능하다. 따라서, 본 발명의 일 실시 예에 따른 위조 바이오 정보 검출 방법(20)은 추출된 시계열 신호의 잡음 성분을 제거하기 위해 대역 통과 필터(band-pass filter)를 적용할 수 있다.
도 6은 본 발명의 일 실시 예에 따른 생리 신호의 품질을 개선하는 단계를 통해 개선된 생리 신호의 예를 도시한 것이다.
도 6을 참조하면, 본 발명의 일 실시 예에 따른 생리 신호의 품질을 개선하는 단계(S24)는 도 5의 510 및 520의 생리 신호에 대역 통과 필터를 적용하여 잡음을 제거함으로써 도 6의 610 및 620과 같이 개선된 생리 신호를 이용하여보다 뚜렷한 생리 신호를 분석할 수 있다.
생리 신호의 진폭 및 변곡점의 편차 정보 분석 단계(S25)는 단계 S24에서 개선된 생리 신호의 진폭 및 변곡점(PPI: Peak to peak interval)의 편차 정보를 분석한다. 예를 들어, 단계 S25는 단계 S24에서 개선된 시계열 신호로부터 인접한 변곡점 간의 거리를 각각 추출한 후 평균값을 산출하거나, 인접한 변곡점 간의 거리 중 가장 큰 거리와 가장 작은 거리와의 차이를 산출함으로써 생리 신호의 편차 정보를 분석할 수 있다.
도 7은 본 발명의 일 실시 예에 따른 생리 신호의 진폭 및 변곡점의 편차 정보 분석 단계에서 생리 신호의 진폭 및 변곡점의 편차를 분석하는 방법을 예시한 도면이다.
도 7을 참조하면, 실제 얼굴의 생리 신호(710)는 진폭의 크기와 편차가 일정하며 변곡점들 간의 간격 또한 비교적 일정하게 나타나는 반면, 위조 얼굴의 생리 신호(720)는 진폭과 변곡점들의 편차가 심하며, 진폭의 크기 또한 일정하지 않는 특징을 가지고 있다. 따라서, 본 발명의 일 실시 예에 따른 위조 바이오 인식 추출 방법(20)은 입력된 생체 영상에서 추출한 생체 신호가 진폭 및 변곡점들의 편차가 심하며 진폭의 크기 일정하지 않으면, 입력된 바이오 정보가 위조되었음을 판단할 수 있다.
위조 바이오 정보 판단 단계(S26)는 S25 단계에서 분석된 생체 신호의 편차 정보를 이용하여 위조 바이오 정보를 검출한다.
예를 들어, 본 발명의 일 실시 예에 따른 위조 바이오 정보 검출 방법(20)은 입력된 생체 영상의 분석된 편차 정보가 정해진 임계값보다 작으면 실제 바이오 정보로 판단하고, 크면 위조 바이오 정보로 판별함으로써, 위조 바이오 정보를 검출할 수 있다.
도 8을 참조하면, 본 발명의 일 실시 예에 따른 위조 바이오 정보 검출 방법(20)은 얼굴뿐만 아니라 피부 표면 영상이 획득 가능한 정맥, 지문, 손가락 인식 시스템에서도 위조 바이오 정보 검출을 위한 방법으로 활용될 수 있으며, 지문과 손가락 후면에서 생리 신호를 획득하여 위조 바이오 정보를 검출할 수 있다.
본 발명의 다양한 실시 예에 따른 위조 바이오 정보 검출 방법(20)은 다양한 서버 등의 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현될 수 있다. 또한, 본 발명에 따른 위조 바이오 정보 검출 방법(20)을 실행하는 프로그램 및 애플리케이션은 컴퓨터 수단에 설치되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.
이제까지 본 발명에 대하여 그 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (17)

  1. 위조 바이오 정보 검출 장치에 있어서,
    생체 영상을 입력받는 영상 입력부;
    입력받은 생체 영상에서 피부색 영역의 화소 밝기 성분을 증폭하는 피부색 증폭부;
    증폭된 피부색 영역에서 생리 신호를 추출하는 생리 신호 추출부;
    추출된 생리 신호의 증폭 및 변곡점(PPI: Peak to peak interval)의 편차 정보를 분석하는 생리 신호 분석부; 및
    분석한 생리 신호로부터 위조 바이오 정보를 검출하는 위조 정보 판별부;
    를 포함하는 위조 바이오 정보 검출 장치.
  2. 제1항에 있어서,
    상기 영상 입력부는 가시광선, 근적외선, 자외선, 마이크로파 및 적외선 열화상 카메라 중 적어도 하나를 이용하여 사용자의 생체 영상을 연속적으로 입력받는 위조 바이오 정보 검출 장치.
  3. 제1항에 있어서,
    상기 피부색 증폭부는 입력받은 생체 영상에서 피부색 영역을 검출하고, 상기 검출한 피부색 영역의 화소 밝기 성분을 YCbCr 색상 모델로 변환하여 Cb-Cr 평면상에서 방사형으로 n배 증폭시키는 위조 바이오 정보 검출 장치.
  4. 제3항에 있어서,
    상기 피부색 증폭부는 입력받은 생체 영상이 근적외선, 자외선, 마이크로파 및 적외선 열화상 카메라를 이용하여 취득된 영상일 경우에 그레이 스케일(gray-scale) 영상에서 피부 영역의 화소 밝기 성분을 n배 증폭하는 위조 바이오 정보 검출 장치.
  5. 제1항에 있어서,
    상기 생리 신호 추출부는 상기 피부색 증폭부에서 증폭된 피부색 화소들의 평균값을 시계열 신호로 추출하는 위조 바이오 정보 검출 장치.
  6. 제1항에 있어서,
    상기 생리 신호 분석부는 상기 추출된 시계열 신호로부터 인접한 변곡점(PPI: Peak to peak interval) 간의 거리를 추출한 후 평균값을 산출하거나, 인접한 변곡점 간의 거리 중 가장 큰 거리와 가장 작은 거리와의 차이를 산출함으로써 상기 시계열 신호의 편차 정보를 분석하는 위조 바이오 정보 검출 장치.
  7. 제6항에 있어서,
    상기 생리 신호 분석부는 상기 생리 신호 추출부에서 추출된 시계열 신호를 분석하기 전에 대역 통과 필터(band-pass filter)를 적용하여 신호의 잡음 성분을 제거함으로써 시계열 신호의 품질을 개선하는 위조 바이오 정보 추출 장치.
  8. 제1항에 있어서,
    상기 위조 정보 판별부는 상기 생리 신호 분석부에서 분석된 시계열 신호의 편차 정보가 정해진 임계값 보다 작으면 실제 바이오 정보로 판단하고, 크면 위조 바이오 정보로 판별하는 위조 바이오 정보 검출 장치.
  9. 위조 바이오 정보 검출 방법에 있어서,
    영상을 입력받는 단계;
    상기 입력된 영상에서 피부색 영역의 화소 밝기 성분을 증폭하는 단계;
    상기 증폭된 피부색으로부터 생리 신호를 추출하는 단계;
    상기 추출된 생리 신호의 품질을 개선하는 단계;
    상기 개선된 생리 신호의 진폭 및 변곡점의 편차 정보 추출 단계; 및
    상기 추출된 편차 정보로부터 위조 바이오 정보 판단 단계;
    를 포함하는 위조 바이오 정보 검출 방법.
  10. 제9항에 있어서,
    상기 영상을 입력받는 단계는 가시광선, 근적외선, 자외선, 마이크로파 및 적외선 열화상 카메라 중 적어도 하나를 이용하여 사용자의 생체 영상을 연속적으로 입력 받는 위조 바이오 정보 검출 방법.
  11. 제9항에 있어서,
    상기 피부색 영역의 화소 밝기 성분을 증폭하는 단계는 상기 입력된 영상에서 피부색 영역을 검출하고, 검출한 상기 피부색 영역의 화소 밝기 성분을 YCbCr 색상 모델로 변환하여 Cb-Cr평면상에서 방사형으로 n배 증폭시키는 것을 포함하는 위조 바이오 정보 검출 방법.
  12. 제11항에 있어서,
    상기 피부색 영역의 화소 밝기 성분을 증폭하는 단계는 입력받은 생체 영상이 근적외선, 자외선, 마이크로파 및 적외선 열화상 카메라를 이용하여 취득된 영상일 경우에 그레이 스케일(gray-scale) 영상에서 피부 영역의 화소 밝기 성분을 n배 증폭하는 위조 바이오 정보 검출 방법.
  13. 제9항에 있어서,
    상기 생리 신호를 추출하는 단계는 상기 증폭된 피부색 화소들의 평균값을 시계열 신호로 추출하는 것을 포함하는 위조 바이오 정보 검출 방법.
  14. 제9항에 있어서,
    상기 생리 신호의 품질을 개선하는 단계는 상기 추출된 시계열 신호에 대역 통과 필터(band-pass filter)를 적용하여 신호의 잡음 성분을 제거함으로써 시계열 신호의 품질을 개선하는 것을 포함하는 위조 바이오 정보 검출 방법.
  15. 제9항에 있어서,
    상기 생리 신호의 진폭 및 변곡점의 편차 정보 추출 단계는 상기 개선된 시계열 신호로부터 인접한 변곡점(PPI: Peak to peak interval) 간의 거리를 추출하여 평균값을 산출하거나, 인접한 변곡점 간의 거리 중 가장 큰 거리와 가장 작은 거리와의 차이를 산출함으로써 상기 생리 신호의 편차 정보를 분석하는 것을 포함하는 위조 바이오 정보 검출 방법.
  16. 제9항에 있어서,
    상기 위조 바이오 정보 판단 단계는 분석된 편차 정보가 정해진 임계값 보다 작으면 실제 바이오 정보로 판단하고, 크면 위조 바이오 정보로 판별하는 것을 포함하는 위조 바이오 정보 검출 방법.
  17. 제9항 내지 제16항 중 어느 한 항의 위조 바이오 정보 검출 방법을 실행하기 위하여 컴퓨터가 판독 가능한 기록매체에 저장된 컴퓨터 프로그램.
PCT/KR2016/011675 2016-09-01 2016-10-18 위조 바이오 정보 검출 장치 및 방법 WO2018043796A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2016-0112568 2016-09-01
KR1020160112568A KR101870226B1 (ko) 2016-09-01 2016-09-01 위조 바이오 정보 검출 장치 및 방법

Publications (1)

Publication Number Publication Date
WO2018043796A1 true WO2018043796A1 (ko) 2018-03-08

Family

ID=61301242

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2016/011675 WO2018043796A1 (ko) 2016-09-01 2016-10-18 위조 바이오 정보 검출 장치 및 방법

Country Status (2)

Country Link
KR (1) KR101870226B1 (ko)
WO (1) WO2018043796A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111783608A (zh) * 2020-06-24 2020-10-16 南京烽火星空通信发展有限公司 一种换脸视频检测方法
CN113420582A (zh) * 2020-11-04 2021-09-21 中国银联股份有限公司 用于掌静脉识别的防伪检测方法及其系统

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019017080A1 (ja) * 2017-07-20 2019-01-24 パナソニックＩｐマネジメント株式会社 照合装置及び照合方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100113651A (ko) * 2009-04-14 2010-10-22 경북대학교 산학협력단 생물학 기반의 돌출맵을 이용한 점진적 시각 환경 인지를 통한 얼굴 검출과 점진적 얼굴 인지 방법
US20120224041A1 (en) * 2009-11-10 2012-09-06 Nec Corporation Fake-finger determination device, fake-finger determination method, and fake-finger determination program
KR20130064556A (ko) * 2011-12-08 2013-06-18 에스케이텔레콤 주식회사 다중 검출 방식을 이용한 얼굴 검출 장치 및 방법
KR20140036803A (ko) * 2012-09-18 2014-03-26 한국전자통신연구원 위장 얼굴 판별 장치 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100113651A (ko) * 2009-04-14 2010-10-22 경북대학교 산학협력단 생물학 기반의 돌출맵을 이용한 점진적 시각 환경 인지를 통한 얼굴 검출과 점진적 얼굴 인지 방법
US20120224041A1 (en) * 2009-11-10 2012-09-06 Nec Corporation Fake-finger determination device, fake-finger determination method, and fake-finger determination program
KR20130064556A (ko) * 2011-12-08 2013-06-18 에스케이텔레콤 주식회사 다중 검출 방식을 이용한 얼굴 검출 장치 및 방법
KR20140036803A (ko) * 2012-09-18 2014-03-26 한국전자통신연구원 위장 얼굴 판별 장치 및 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SUH, KUN HA ET AL.: "FACE LIVENESS DETECTION FOR FACE RECOGNITION BASED ON CARDIAC FEATURES OF SKIN COLOR IMAGE", IN: FIRST INTERNATIONAL WORKSHOP ON PATTERN RECOGNITION TOKYO JAPAN, vol. 10011, 11 May 2016 (2016-05-11), pages 1 - 5 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111783608A (zh) * 2020-06-24 2020-10-16 南京烽火星空通信发展有限公司 一种换脸视频检测方法
CN111783608B (zh) * 2020-06-24 2024-03-19 南京烽火星空通信发展有限公司 一种换脸视频检测方法
CN113420582A (zh) * 2020-11-04 2021-09-21 中国银联股份有限公司 用于掌静脉识别的防伪检测方法及其系统
CN113420582B (zh) * 2020-11-04 2023-09-05 中国银联股份有限公司 用于掌静脉识别的防伪检测方法及其系统

Also Published As

Publication number Publication date
KR20180026013A (ko) 2018-03-12
KR101870226B1 (ko) 2018-06-25

Similar Documents

Publication Publication Date Title
Hernandez-Ortega et al. Time analysis of pulse-based face anti-spoofing in visible and NIR
WO2019134536A1 (zh) 基于神经网络模型的人脸活体检测
KR100480781B1 (ko) 치아영상으로부터 치아영역 추출방법 및 치아영상을이용한 신원확인방법 및 장치
KR101853006B1 (ko) 깊이영상에서 코 검출을 이용한 얼굴 인식
US20080294907A1 (en) Methods for using a biometric parameter in the identification of persons
CN104361326A (zh) 一种判别活体人脸的方法
CN108021892A (zh) 一种基于极短视频的人脸活体检测方法
WO2018043796A1 (ko) 위조 바이오 정보 검출 장치 및 방법
US8965068B2 (en) Apparatus and method for discriminating disguised face
WO2014012102A2 (en) Biometric identification via retina scanning
Monwar et al. Pain recognition using artificial neural network
Patwari et al. Personal identification algorithm based on retinal blood vessels bifurcation
WO2017183867A1 (ko) 생체의 심장 박동에 따른 지문 이미지의 미세한 밝기 변화에 기초하여 위조지문을 판별할 수 있는 위조지문 판별 장치 및 그 방법
Li et al. Video is all you need: Attacking PPG-based biometric authentication
KR101266603B1 (ko) 무인접수시스템의 사용자 인증을 위한 얼굴 인식 시스템
Feng et al. Iris localization with dual coarse-to-fine strategy
Birla et al. SUNRISE: Improving 3D mask face anti-spoofing for short videos using pre-emptive split and merge
EP3180736A1 (en) A method of detecting a falsified presentation to a vascular recognition system
Kossack et al. Local Remote Photoplethysmography Signal Analysis for Application in Presentation Attack Detection.
Kumar et al. Skin color segmentation for detecting human face region in image
KR101587874B1 (ko) 단일 채널 심전도를 이용한 생체 인식 장치 및 그 방법
US11436832B2 (en) Living skin tissue tracking in video stream
Szymkowski et al. Finger veins feature extraction algorithm based on image processing methods
Dhamecha et al. CrowdFaceDB: Database and benchmarking for face verification in crowd
TWI539383B (zh) Application of live detection method for face recognition customs clearance control system

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16915276

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16915276

Country of ref document: EP

Kind code of ref document: A1