KR20150022016A - 얼굴 검증용 시스템들 및 방법 - Google Patents

얼굴 검증용 시스템들 및 방법 Download PDF

Info

Publication number
KR20150022016A
KR20150022016A KR20157001834A KR20157001834A KR20150022016A KR 20150022016 A KR20150022016 A KR 20150022016A KR 20157001834 A KR20157001834 A KR 20157001834A KR 20157001834 A KR20157001834 A KR 20157001834A KR 20150022016 A KR20150022016 A KR 20150022016A
Authority
KR
South Korea
Prior art keywords
image data
human face
face
live
detected
Prior art date
Application number
KR20157001834A
Other languages
English (en)
Inventor
샤오펑 장
샤오캉 장
지라이 왕
샤오밍 저우
강 추
리앙 선
천 펑
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20150022016A publication Critical patent/KR20150022016A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G06V40/45—Detection of the body part being alive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Operations Research (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Algebra (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Collating Specific Patterns (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

이미지에서 라이브 사람 얼굴을 검출하기 위한 시스템들 및 방법들이 개시된다. 그 방법들 및 시스템들은 사람 얼굴을 포함하는 멀티스펙트럼 이미지 데이터를 수신할 수 있다. 멀티스펙트럼 이미지 데이터는 가시광 이미지 데이터와 근적외 (near-infrared; NIR) 이미지 데이터를 포함할 수 있다. 멀티스펙트럼 이미지 데이터는 사람 얼굴을 검출하도록 프로세싱될 수 있다. 검출된 사람 얼굴이 라이브 사람 얼굴인지의 여부를 결정하기 위해, 가시광 이미지 데이터에서의 검출된 사람 얼굴은 근적외 이미지 데이터에서의 검출된 사람 얼굴과 관련될 수 있다.

Description

얼굴 검증용 시스템들 및 방법{SYSTEMS AND METHOD FOR FACIAL VERIFICATION}
발명의 분야
본 개시는 얼굴 검증 (verification) 용 시스템들 및 방법들에 관한 것이다. 특히, 본 개시는 사람 얼굴을 검출하고 검출된 사람 얼굴이 라이브 사람 얼굴 (live human face) 인지 아닌지의 여부를 결정하기 위한 시스템들 및 방법들에 관한 것이다.
관련 기술의 설명
얼굴 검출 및/또는 검증 시스템들은, 예를 들면, 부모 제어 어플리케이션들, 법 집행, 모바일 뱅킹, 및 보안 어플리케이션들을 포함하는 다양한 상황들에서 유용할 수 있다. 종래의 자동화된 얼굴 검출 시스템들은 이미지에서 사람 얼굴을 검출할 수 있다. 그러나, 일반적으로, 이들 시스템들은 이미지에서 검출된 얼굴이 라이브 사람 얼굴에서 캡쳐된 것인지, 또는 단순히 사진 또는 사람 얼굴의 다른 복제물 (reproduction) 로부터 캡쳐된 것인지의 여부를 결정할 수 없다.
예를 들면, 몇몇 경우들에서, 검출된 얼굴은, 사진 속의 얼굴, 디스플레이 스크린 상의 얼굴의 이미지, 얼굴 마스크, 얼굴의 모델 복제물, 마네킹, 또는 임의의 다른 넌라이브 (non-live) 얼굴과 같은 인공적 소스로부터 유래할 수 있다. 위조 신분증들 (identification documents) 을 만들기를 원하는 주체는, 예를 들면, 얼굴 검출 시스템을 속이려는 시도로, 어떤 딴 사람의 얼굴의 사진, 또는 마스크를 사용할 수 있다. 또한, 눈 깜박임 및 다른 타입들의 얼굴 모션을 고려한 복잡한 시스템들의 경우에서도, 라이브 얼굴 대신 어떤 딴 사람의 얼굴의 비디오 스트림을 사용하는 것에 의해, 라이브 얼굴을 검출하는 것이 방해받을 수도 있다.
발명의 개요
일 구현예에서, 이미지에서 라이브 사람 얼굴을 검출하는 방법이 개시된다. 그 방법은, 사람 얼굴을 포함하는 멀티스펙트럼 (multispectral) 이미지 데이터를 수신하는 것을 포함할 수 있는데, 상기 멀티스펙트럼 이미지 데이터는 가시광 이미지 데이터와 근적외 (near-infrared; NIR) 이미지 데이터를 포함한다. 그 방법은 사람 얼굴을 검출하기 위해 멀티스펙트럼 이미지 데이터를 프로세싱하는 것을 포함할 수 있고, 검출된 사람 얼굴이 라이브 사람 얼굴인지의 여부를 결정하기 위해, 가시광 이미지 데이터에서의 검출된 사람 얼굴을 근적외 이미지 데이터에서의 검출된 사람 얼굴과 관련시키는 것을 더 포함할 수 있다.
다른 구현예에서, 이미지에서 라이브 사람 얼굴을 검출하는 이미징 시스템이 개시된다. 이미징 시스템은 가시광 이미지 데이터와 근적외 (NIR) 이미지 데이터를 포함하는 멀티스펙트럼 이미지 데이터를 캡쳐하도록 구성된 적어도 하나의 이미지 센서를 포함할 수 있는데, 멀티스펙트럼 이미지 데이터는 사람 얼굴을 포함한다. 또한, 이미징 시스템은 사람 얼굴을 검출하기 위해 멀티스펙트럼 이미지 데이터를 분석하도록 구성된 얼굴 검출 모듈을 포함할 수 있다. 이미징 시스템은 또한, 검출된 얼굴의 멀티스펙트럼 이미지 데이터를 분석하고 검출된 사람 얼굴이 라이브 사람 얼굴인지의 여부를 결정하도록 구성된 피부 검증 모듈 (skin verification module) 을 포함할 수 있다.
또 다른 구현예에서, 이미징 시스템이 개시된다. 이미징 시스템은, 사람 얼굴을 포함하는 멀티스펙트럼 이미지 데이터를 수신하는 수단을 포함할 수 있는데, 상기 멀티스펙트럼 이미지 데이터는 가시광 이미지 데이터와 근적외 이미지 데이터를 포함한다. 그 시스템은 사람 얼굴을 검출하기 위해 멀티스펙트럼 이미지 데이터를 프로세싱하는 수단을 더 포함할 수 있다. 또한, 그 시스템은, 검출된 사람 얼굴이 라이브 사람 얼굴인지의 여부를 결정하기 위해, 가시광 이미지 데이터에서의 검출된 사람 얼굴을 근적외 이미지 데이터에서의 검출된 사람 얼굴과 관련시키는 수단을 포함할 수 있다.
다른 구현예에서, 비일시적 컴퓨터 판독가능 매체가 개시된다. 비일시적 컴퓨터 판독가능 매체는 실행시 한 방법을 수행하는 코드를 저장할 수 있다. 그 방법은, 사람 얼굴을 포함하는 멀티스펙트럼 이미지 데이터를 수신하는 것을 포함할 수 있는데, 상기 멀티스펙트럼 이미지 데이터는 가시광 이미지 데이터와 근적외 이미지 데이터를 포함한다. 그 방법은 사람 얼굴을 검출하기 위해 멀티스펙트럼 이미지 데이터를 프로세싱하는 단계를 더 포함할 수 있다. 또한, 그 방법은, 검출된 사람 얼굴이 라이브 사람 얼굴인지의 여부를 결정하기 위해, 가시광 이미지 데이터에서의 검출된 사람 얼굴을 근적외 이미지 데이터에서의 검출된 사람 얼굴과 관련시키는 것을 포함할 수 있다.
도 1은, 일 구현예에 따른, 얼굴 검증 시스템의 개략도이다.
도 2는 멀티스펙트럼 이미징 데이터를 사용하여 라이브 사람 얼굴을 검증하는 방법의 한 구현 방법을 예시하는 흐름도이다.
도 3은 멀티스펙트럼 이미징 데이터를 사용하여 라이브 사람 얼굴을 검증하는 방법의 다른 구현예를 예시하는 흐름도이다.
도 4는 도 3에 제공된 방법으로부터의 실험적 결과들을 예시한다.
도 5는 캡쳐된 사람 얼굴이 라이브 사람 얼굴인지의 여부를 결정하는 한 방법을 예시하는 흐름도이다.
도 6a는 픽셀이 라이브 사람 피부를 나타내는지 또는 넌라이브 사람 피부를 나타내는지를 결정하는 한 방법을 예시하는 흐름도이다.
도 6b는, 일 구현예에 따른, 결정론적 방법을 예시하는 흐름도이다.
도 6c는, 다른 구현예에 따른, 확률론적 방법을 예시하는 흐름도이다.
도 6d 및 도 6e는 유도된 확률 밀도 함수들에 대한 실험적 결과들의 그래프들이다.
도 6f는 얼굴이 라이브 사람 얼굴인지의 여부를 결정하는 한 방법을 예시하는 흐름도이다.
도 7a 및 도 7b는, 다양한 구현예들에 따른, 유저 인터페이스의 이미지들이다.
도 8a 및 도 8b는 라이브 사람 얼굴을 검증하는 다양한 다른 구현예들을 예시하는 흐름도이다.
시스템 개관
본원에서 개시된 구현예들은, 하나 이상의 이미징 센서들을 구비하는 전자 디바이스로, 라이브 사람 얼굴을 검증하기 위한 시스템들, 방법들, 및 장치를 제공한다. 예를 들면, 일 실시형태에서, 시스템은 가시광 이미징 센서와 적외광 이미징 센서를 포함할 수도 있다. 이미지 캡쳐 동안, 시스템은 양 센서들로부터의 정보를 결합하는 것에 의해, 캡쳐된 얼굴이, 사진 또는 비디오와는 대조적으로, 라이브 사람으로부터 유래하는지의 여부를 검출할 수도 있다. 예를 들면, 몇몇 파장들에서, 적외광 이미징 센서로부터의 데이터는, 캡쳐된 얼굴로부터 나오는 열이 존재하는지를 결정하기 위해 사용될 수도 있고, 한편, 다른 파장들에서, 적외 이미징 센서로부터의 데이터는, 얼굴로부터 디테일한 텍스쳐 정보를 캡쳐하기 위해 사용될 수도 있다. 다른 실시형태에서, 하기에 설명되는 바와 같이, 시스템은 캡쳐된 얼굴에 대응하는 픽셀들이 라이브 피부로부터의 픽셀들인지를 결정할 수도 있다. 개시된 실시형태들은 하드웨어, 소프트웨어, 펌웨어, 또는 이의 임의의 조합으로 구현될 수도 있음을 당업자는 인식할 것이다.
하기의 설명에서, 예들에 대한 완전한 이해를 제공하기 위해 특정 상세들이 주어진다. 그러나, 예들은 이러한 특정 세부사항들이 없이도 실시될 수 있음이 당업자에 의해 이해될 것이다. 예를 들어, 불필요한 상세로 예들을 모호하게 하지 않기 위해 전기적 컴포넌트들/디바이스들은 블록 다이어그램들로 도시될 수도 있다. 다른 경우들에서, 이러한 컴포넌트들, 다른 구조들, 및 기법들은 예들을 추가적으로 설명하기 위해 상세히 도시될 수도 있다.
예들은 프로세스로서 설명될 수도 있으며, 프로세스는 흐름도, 플로우 다이어그램, 유한 상태 다이어그램, 구조 다이어그램, 또는 블록 다이어그램으로 도시됨에 또한 유의한다. 흐름도가 동작들을 순차적인 프로세스로 설명할지라도, 많은 동작들은 병렬로, 또는 동시에 수행될 수 있고, 프로세스는 반복될 수 있다. 또한, 동작들의 순서는 재배열될 수도 있다. 프로세스는 프로세스의 동작들이 완료되는 경우 종료된다. 프로세스는 방법, 함수, 절차, 서브루틴, 서브프로그램 등에 대응할 수도 있다. 프로세스가 소프트웨어 함수에 대응하는 경우, 그 종료는 호출 함수 또는 메인 함수로의 함수의 리턴, 또는 서브루틴 또는 유사한 기능성의 유사한 완료에 대응할 수도 있다.
당업자라면, 정보 및 신호들이 임의의 다양한 상이한 기술들 및 기법들을 사용하여 표현될 수도 있음을 이해할 것이다. 예를 들면, 상기 설명을 통해 참조될 수도 있는 데이터, 명령들, 커맨드들, 정보, 신호들, 비트들, 심볼들, 및 칩들은 전압들, 전류들, 전자기파들, 자기장들 또는 자기 입자들, 광학 필드들 또는 광학 입자들, 또는 이들의 임의의 조합에 의해 표현될 수도 있다.
도 1은 이미지화된 사람 얼굴이 라이브 사람 얼굴인지를 검증하는 얼굴 검증 시스템 (1) 의 일 구현예를 예시한다. 얼굴 검증 시스템 (1) 은 멀티스펙트럼 이미징 시스템 (2) 을 포함한다. 멀티스펙트럼 이미징 시스템 (2) 은, 적어도 가시광 파장들 및 근적외 (NIR) 광 파장들을 포함하는 광대역 파장들을 감지할 수 있는 멀티스펙트럼 이미징 센서를 포함하도록 구성될 수 있다. 멀티스펙트럼 이미징 센서는 약 390nm와 약 1400nm 사이의 파장들의 광을 검출하도록 구성될 수 있다. 물론, 이미징 센서는 더 넓은 범위의 파장들도 검출하도록 또한 구성될 수도 있다. 몇몇 구현예들에서, 전하 결합 소자 (charge-coupled device; CCD) 가 멀티스펙트럼 이미징 센서로서 사용될 수 있다. 다른 구현예들에서, 멀티스펙트럼 이미징 센서로서 CMOS 이미징 센서가 사용될 수 있다.
다른 구현예들에서, 멀티스펙트럼 이미징 시스템 (2) 는 멀티스펙트럼 이미징 센서 대신 2개의 별도의 센서들을 포함할 수 있다. 이 실시형태에서, 멀티스펙트럼 이미징 시스템 (2) 은 가시광 센서와 별개의 NIR 센서를 포함할 수 있을 것이다. 예를 들면, 멀티스펙트럼 이미징 시스템 (2) 은, 적어도, 약 390nm와 약 800nm 사이의 범위의 가시광을 검출할 수 있는 CCD/CMOS와 같은 제 1의 센서를 포함할 수 있다. 멀티스펙트럼 이미징 시스템 (2) 은, 약 800nm와 약 1400nm 사이의 범위의 NIR 광을 검출할 수 있는 CCD/CMOS와 같은 제 2의 센서를 더 포함할 수 있다. 몇몇 구현예들에서, 가시 및 NIR 센서들에 대한 파장 범위들은 중첩할 수 있거나 또는 실질적으로 동일할 수 있다. 예를 들면, 다양한 구현예들에서, 가시광 센서로서 Aptina Imaging (캘리포니아, 산호세) 에 의해 제조된 MT9M112가 사용될 수 있고, NIR 센서로서 Aptina Imaging (캘리포니아, 산호세) 에 의해 제조된 MT9M001 센서가 사용될 수 있다. 다른 타입들의 센서들도 가능함을 당업자는 이해할 것이다. 몇몇 구현예들에서, NIR 데이터만을 검출하기 위해, 적절한 CCD/CMOS 상에 이미징 필터들, 예컨대 NIR 패스 필터가 사용될 수 있다. 가시 및 NIR 이미지 데이터를 캡쳐하기 위해, 다양한 다른 센서들 또는 그 조합들이 사용될 수 있음을 당업자는 이해할 것이다.
얼굴 검증 시스템 (1) 은 메모리 (3) 와 프로세서 (4) 를 더 포함할 수 있다. 메모리 (3) 와 프로세서 (4) 는 서로 그리고 멀티스펙트럼 이미징 센서 (2) 와 전기적으로 통신하도록 구성된다. 얼굴 검증 시스템 (1) 은 또한, 프로세서 (3) 에 의해 실행될 수 있는 다양한 소프트웨어 모듈들을 저장할 수 있는 저장 디바이스 (5) 를 구비한다. 몇몇 구현예들에서, 프로세서 (4) 는 멀티스펙트럼 이미징 시스템 (2) 과 데이터를 송수신할 수 있고, 저장 디바이스 (5) 의 소프트웨어 모듈에 저장된 컴퓨터 구현 명령들을 실행하는 것에 의해 그 데이터에 대해 동작할 수 있다.
저장 디바이스 (5) 는 비일시적 저장 매체와 같은 임의의 적절한 컴퓨터 판독가능 저장 매체일 수 있다. 저장 디바이스 (5) 는 임의의 수의 소프트웨어 모듈들을 포함할 수 있다. 예를 들면, 통신 모듈 (10) 및 전처리 (pre-processing) 모듈 (11) 이 저장 디바이스 (5) 에 저장될 수 있다. 통신 모듈 (10) 은, 얼굴 검증 시스템 (1) 의 컴포넌트들 사이에서 데이터의 흐름을 관리하는 컴퓨터 구현 명령들을 포함할 수 있다. 전처리 모듈 (11) 은, 멀티스펙트럼 이미징 시스템 (2) 으로부터 수신된 이미지 데이터와 같은 데이터를, 그 데이터에 대해 다른 동작들이 수행되기 이전에, 전처리하도록 구성될 수 있다. 저장 디바이스 (5) 는 유저 인터페이스 모듈 (12) 을 또한 포함할 수 있다. 유저 인터페이스 모듈 (12) 은 유저 인터페이스 (6) 를 구현하기 위한 명령들을 포함할 수 있다. 도 7a 및 도 7b를 참조로 하기에 더 상세히 설명되는 바와 같이, 몇몇 구현예들에서, 유저에 의한 관찰을 위해 시스템에 의해 검출된 얼굴들 주위에 가상의 박스가 그려질 수 있고, 넌라이브 피부일 확률보다 라이브 피부일 확률이 더 높은 픽셀들의 비율이 유저 인터페이스 (6) 상에 디스플레이될 수 있다. 그래픽 유저 인터페이스 (graphical user interface; GUI) 를 포함하는 다른 유저 인터페이스 특징들은, 유저 인터페이스 모듈 (12) 에 저장된 명령들에 의해 제어되거나 구현될 수 있다.
저장 디바이스 (5) 는 얼굴 검출 모듈 (13) 을 더 포함한다. 얼굴 검출 모듈 (13) 은, 이미지에서 사람 얼굴을 검출할 수 있는 소프트웨어를 포함할 수 있다. 몇몇 구현예들에서, 얼굴 검출 모듈 (13) 은, 이미지에서의 캡쳐된 얼굴의 지오메트리를 검출하고 검증하기 위해 기지의 (known) 기술들을 사용할 수 있다. 몇몇 구현예들에서, 얼굴 검출 모듈 (13) 은 얼굴의 윤곽을 검출하도록 구성될 수 있고,한편 다른 구현예들에서, 얼굴 검출 모듈 (13) 은 얼굴이 위치되는 일반적인 영역 (예를 들면, 특정 정사각형 또는 직사각형 영역 내에 위치된 얼굴) 을 검출할 수 있다. 일 구현예에서, 얼굴 검출 모듈 (13) 에 의해, 예를 들면, 일본 교토의 OMRON Corporation에 의한 오카오 비전 (OKAO Vision) 얼굴 감지 기술이 사용될 수 있다. 얼굴 검출 모듈 (13) 의 다른 구현예들도 가능하며 따라서 실시형태들은 이미지에서 얼굴들을 검출하기 위한 임의의 특정 방법에 제한되지 않는다.
저장 디바이스 (5) 에 피부 검증 모듈 (14) 이 또한 저장될 수 있다. 본원에서 더 상세히 설명되는 바와 같이, 피부 검증 모듈 (14) 은, 사람 얼굴의 이미지에서의 피부가, 사진 또는 다른 인조 (artificial) 사람 얼굴로부터 캡쳐된 이미지에 의해 생성된 넌라이브 피부와는 반대로, 라이브 사람 피부인지를 검증하기 위한 컴퓨터 구현 명령들을 포함할 수 있다. 몇몇 구현예들에서, 피부 검증 모듈 (14) 은, 사람 인체의 다른 부분들 상의 피부가 라이브 사람 피부인지도 또한 검증할 수 있다. 저장 디바이스 (5) 는 유저 통지 모듈 (15) 을 또한 포함한다. 유저 통지 모듈 (15) 은, 검출된 얼굴이 라이브 사람 얼굴인지 또는 넌라이브 사람 얼굴인지를 유저에게 통지하도록 구성될 수 있다. 몇몇 구현예들에서, 유저 통지 모듈 (15) 은, 어떤 픽셀들이 라이브 또는 넌라이브 피부 픽셀들인 것으로 결정되었는지를 유저에게 통지할 수 있다. 또한, 도 1에 도시된 바와 같이, 시스템 (1) 에 대해 다양한 다른 기능성들을 구현하기 위한 다른 프로세싱 모듈들 (16) 이 필요에 따라 저장 디바이스 (5) 에 저장될 수 있다.
얼굴 검증 시스템 (1) 은 유저 인터페이스 (6) 를 포함한다. 유저 인터페이스 (6) 는 시스템 (1) 의 유저가 시스템과 상호작용하고 다양한 모듈들을 효과적으로 사용하여 이미지화된 얼굴이 이미지에서의 라이브 사람 얼굴인지를 검증하는 것을 가능하게 할 수 있다. 예를 들면, 유저 인터페이스 (6) 는 캡쳐된 이미지 및/또는 얼굴 검증 동작에 관련된 다른 데이터를 디스플레이하기 위한 하나 이상의 디스플레이들을 포함할 수 있다. 디스플레이(들) 는 시스템 (1) 의 유용성을 더 향상시키기 위해 그래픽 유저 인터페이스 (graphical user interface; GUI) 를 디스플레이하도록 또한 구성될 수 있다. 유저 인터페이스 (6) 는 다양한 오디오 디바이스들, 예컨대 마이크, 스피커들, 또는 사운드를 송수신하도록 구성된 다른 디바이스들을 포함할 수 있다. 몇몇 구현예들에서, 유저 인터페이스 (6) 는, 예를 들면, 키보드, 마우스, 프린터, 및 다른 입/출력 디바이스들을 포함하는 다양한 주변 디바이스들을 포함할 수 있다.
얼굴 검증 시스템 (1) 은, 모바일 폰 또는 스마트폰, 태블릿 컴퓨터, 랩탑 컴퓨터, 디지털 카메라 등을 포함하는 모바일 디바이스 상에서 구현될 수 있다. 멀티스펙트럼 이미징 시스템 (2), 메모리 (3), 프로세서 (4), 저장 디바이스 (5), 및 유저 인터페이스 (6) 를 모바일 디바이스 상에 통합함으로써, 얼굴 검증 시스템 (1) 은 고정된 위치에 남아 있을 필요 없이 유익하게 사용될 수 있다. 그러나, 다른 구현예들에서, 얼굴 검증 시스템 (1) 은 데스크탑 컴퓨터, 서버, 컴퓨터 워크스테이션, 또는 다른 타입의 컴퓨팅 디바이스를 포함할 수 있다. 멀티스펙트럼 이미징 시스템 (2) 은 다른 컴퓨터 하드웨어와 통합될 수 있거나, 또는 멀티스펙트럼 이미징 시스템 (2) 은, 예를 들면, 별도의 카메라 또는 카메라들로서, 컴퓨팅 디바이스와는 분리될 수 있다.
멀티스펙트럼 이미징 개관
도 2는 멀티스펙트럼 이미징 데이터를 사용하여 라이브 사람 얼굴을 검증하는 하나의 구현 방법 (20) 을 예시하는 흐름도이다. 블록 21에서, 멀티스펙트럼 이미지 데이터가 캡쳐된다. 멀티스펙트럼 이미지 데이터는 적어도 가시광 및 NIR 스펙트럼들에 걸친 이미지 데이터를 포함할 수 있다. 예를 들면, 이미지 데이터는 약 390nm와 약 1400nm 사이의 파장 범위에 걸쳐 멀티스펙트럼 이미징 시스템 (2) 에 의해 캡쳐될 수 있다. 가시 파장 및 NIR 파장 양자에 걸친 이미지 데이터를 활용함으로써, 이미지 데이터가 더 좁은 광의 스펙트럼에 제한된 경우보다, 장면 또는 오브젝트의 더 풍부한 상세들이 감지될 수 있다. 예를 들면, NIR 이미지 데이터는, 몇몇 상황들에서, 대응하는 가시광 이미지 데이터보다 더 평활한 표면들을 산출할 수 있다.
이미지가 블록 21에서 캡쳐된 이후, 방법 (20) 은 블록 22로 이동하는데, 블록 22에서는 캡쳐된 이미지에서 사람 얼굴이 검출된다. 이미지에서 얼굴을 검출하기 위해, 임의의 적절한 얼굴 검출 방법이 사용될 수 있다. 예를 들면, 위에서 설명된 바와 같이, 얼굴 검출 모듈 (13) 은 캡쳐된 얼굴의 지오메트리에 관한 상세들을 검출할 수 있다. 대안적으로, 얼굴 검출 모듈 (13) 은, 이미지에서의 특정 박스 안과 같이, 얼굴이 위치하는 일반적인 영역을 검출할 수 있다.
그러나, 위에서 설명된 바와 같이, 얼굴 검출은, 검출된 얼굴이 라이브 사람 얼굴인지 또는 얼굴의 인조 복제품, 예컨대 사진으로부터 캡쳐된 이미지, 마스크, 얼굴 모듈 또는 형 (mold), 또는 임의의 다른 인조 사람 얼굴인지의 여부를 결정할 수 없을 수도 있다. 블록 22에서 얼굴을 검출한 이후, 방법 (20) 은 블록 23으로 이동하는데, 블록 23에서는, 얼굴 검증 시스템 (1) 이 검출된 얼굴 상의 피부가 라이브 사람 피부인지의 여부를 검증할 수 있다. 하기에 더 상세히 논의되는 바와 같이, 피부가 라이브 피부인지를 검증하기 위해 다양한 방법들이 활용될 수 있다.
그 다음, 방법 (20) 은 결정 블록 24로 이동하여 검출된 얼굴이 라이브 사람 얼굴인지를 결정한다. 검출된 얼굴이 라이브 사람 얼굴인지를 결정하기 위한 다양한 방식들이 존재한다. 예를 들면, 도 6f에 관해 하기에 설명되는 바와 같이, 라이브 및 넌라이브 피부 픽셀들의 수가 계산될 수 있다. 검출된 얼굴 내에서 라이브 피부 픽셀들의 수가 픽셀들의 소정의 임계 수를 초과하면, 그 검출된 얼굴은 라이브 사람 얼굴인 것으로 결정될 수 있다. 다른 실시형태들에서, 각각의 픽셀에 대해, 그 픽셀이 라이브 피부 픽셀일 확률이 계산될 수 있다. 그 픽셀이 넌라이브 피부이기 보다는 라이브 피부일 확률이 더 높은 픽셀들의 수가 계산되어 라이브 피부 픽셀들의 수를 결정할 수 있다. 넌라이브 피부 픽셀들 (또는 다른 임계치) 보다 라이브 피부 픽셀들이 더 많이 존재하면, 그 얼굴은 라이브 사람 얼굴이라고 결정될 수 있다.
그 얼굴이 라이브 얼굴임이 결정되면, 방법 (20) 은 블록 26으로 이동하여 그 얼굴이 라이브임을 유저에게 통지한다. 그 얼굴이 라이브 얼굴이 아니라고 결정되면, 방법 (20) 은 블록 25로 이동하는데, 블록 25에서, 유저는 그 얼굴이 라이브 사람 얼굴이 아니라는 것을 통지받는다. 예를 들면, 유저 통지 모듈 (15) 은, 예를 들면, 유저 인터페이스 (6) 를 통해 얼굴이 넌라이브 얼굴이라는 것을 유저에게 통지하도록 구현될 수 있다. 하기에 설명되는 바와 같이, 이미지에서의 픽셀들의 세트에 대한 이미지 데이터가 주어지면, 얼굴이 전체적으로 라이브인지 또는 넌라이브인지의 여부가 결정될 수 있다. 예를 들면, 검출된 얼굴은, 다른 사진의 이미지와 같이, 사람 얼굴의 복제품의 이미지일 수 있을 것이다. 얼굴이 라이브인지 아닌지의 여부를 시스템이 검출하는 방법에 관한 더 구체적인 상세들이 하기에 설명된다.
도 3을 참조하면, 라이브 사람 얼굴을 검증하기 위한 다른 구현예의 방법 (30) 이 개시된다. 그러나, 도 2와는 달리, 방법 (30) 에서, NIR 이미지 데이터 및 가시광 이미지 데이터는, 단일의 멀티스펙트럼 센서에 의한 것과는 달리, 별도로 캡쳐된다. 방법 (30) 은 시작하여 블록 31로 이동하는데, 블록 31에서는, 분석될 얼굴의 가시광 이미지와 NIR 이미지가 캡쳐된다. 도 1에 관해 위에서 설명한 바와 같이, 별도의 가시광 및 NIR 센서들 (예를 들면, CCD들 또는 CMOS들) 은 사람 얼굴을 포함하는 2개의 별도의 이미지들을 캡쳐할 수 있다.
그 다음 방법 (30) 은 블록 32로 이동하는데, 블록 32에서는, 가시광 및 NIR 이미지들 양자에서 사람 얼굴이 검출된다. 위에서와 같이, 가시 및 NIR 이미지들에 대해 임의의 적절한 얼굴 검출 방법이 구현될 수 있다. 예를 들면, 몇몇 구현예들에서 얼굴을 검출하기 위해, OMRON Corporation에 의한 오카오 (OKAO) 비전 얼굴 감지 기술이 사용될 수 있다. 그 다음, 방법 (30) 은 블록 33으로 이동하는데, 블록 33에서, 시스템은, 가시광 및 NIR 이미지들 양자에서의 검출된 얼굴 상의 피부가 라이브 사람 피부인지를 검증한다. 도 6a 내지 도 6c에 관해 논의되는 바와 같은 라이브 피부를 검증하기 위한 다양한 시스템들 및 방법들이 본원에서 제공된다.
일단 블록 33에서 피부가 검증되면, 방법 (30) 은 결정 블록 34로 이동하여 캡쳐된 얼굴이 라이브 얼굴인지를 결정한다. 도 2에 관해 위에서 논의된 바와 같이, 검출된 얼굴이 라이브 사람 얼굴인지를 검출하기 위한 다양한 방식들이 존재한다. 예를 들면, 위에서와 같이, 검출된 얼굴 내에서 라이브 피부 픽셀들의 수가 픽셀들의 소정의 임계 수를 초과하면, 그 검출된 얼굴은 라이브 사람 얼굴인 것으로 결정될 수 있다. 도 2에서와 같이, 블록 34에서 결정될 때 검출된 얼굴이 라이브 사람 얼굴이 아니면, 방법 (30) 은 블록 35로 이동하는데, 블록 35에서, 유저는 얼굴이 라이브가 아님을 통지받는다. 그러나, 검출된 얼굴이 라이브 사람 얼굴인 것으로 결정 블록 34에서 결정되면, 방법 (30) 은 블록 36으로 이동하고, 유저는 캡쳐된 얼굴이 라이브 사람으로부터 유래한다는 것을 통지받을 수 있다.
도 4는 도 3에 제공된 방법으로부터의 실험적 결과들을 예시한다. 블록 31에 관해 설명된 바와 같이, 별도의 NIR 및 가시광 센서들에 의해, 각각, NIR 이미지 (41) 가 캡쳐되고 가시 (예를 들면, RGB) 이미지 (42) 가 캡쳐된다. 대안적으로, 멀티스펙트럼 센서가 사용될 수 있고, 이미지 데이터는 가시광 이미지 데이터로부터 NIR 이미지 데이터를 분리하기 위해 후처리 (post-process) 될 수 있다. 다른 구현예들에서, 소망의 파장들을 필터링하기 위해 센서들 위에 필터들이 적용될 수 있다.
NIR 및 가시 이미지들 (41, 42) 양자에서, 하나의 사람 얼굴 (46) 이 제공되고, 2개의 인조 사람 얼굴들 (45) 이 제공된다. 인조 사람 얼굴들 (45) 은 사람 얼굴의 사진들에 의해 표현될 수도 있다. 예를 들면, 인조 얼굴은 사람 얼굴의 칼라 또는 흑백 사진 인쇄물에 의해 표현될 수 있다. 실제, 얼굴 검증 시스템 (1) 은 칼라 및 흑백 이미지들 또는 표현물들에서 라이브 사람 얼굴들의 검증에 유효할 수 있다. 사람 얼굴의 다른 인조 표현물들도 가능함을 이해해야 한다. 종래의 얼굴 검출 시스템은 이미지들 (41, 42) 에서 세 명 모두의 사람 얼굴들을 검출할 수 있을 수도 있지만; 종래의 시스템은 이미지들 (41, 42) 에서의 세 명의 얼굴들 중 2명의 얼굴들이 라이브 사람 얼굴 (46) 이 아니라 실제로는 인조 얼굴들 (45) 이라는 것을 검출하지 못할 것이다.
도 4의 피부 검증 이미지 (43) 는, 도 3의 블록 33의 피부 검증 방법을 실행한 이후의 결과들을 예시하는데, 이것은 하기의 도 6a 내지 도 6c의 논의에서 더 상세히 설명될 것이다. 피부 검증 이미지 (43) 에서 알 수 있는 바와 같이, 라이브 얼굴 (46) 은, 라이브 얼굴 (46) 과 블랙의 백그라운드 사이의 높은 콘트라스트에 의해 나타내어진 바와 같이, 피부 검증 모듈 (14) 에 의해 정확하게 검증되었다. 이미지 (43) 에서의 라이브 얼굴 (46) 의 높은 콘트라스트는 이미지 (43) 에서 검출된 상대적으로 많은 수의 라이브 피부 픽셀들을 반영한다. 인조 사람 얼굴들 (45) 은 블랙의 배경에 대해 낮은 콘트라스트를 갖는 것으로 예시되는데, 그 이유는 라이브 피부 픽셀들인 것으로 결정된 픽셀들이 적기 때문이다.
도 4의 최종 라이브 얼굴 검증 이미지 (44) 에서, 라이브 얼굴 (46) 의 경계를 이루는 박스 (47) 의 실선들에 의해 도시된 바와 같이, 라이브 얼굴 (46) 이 정확하게 검출되었다. 한편, 넌라이브 얼굴들 (45) 의 경계를 이루는 점선들을 갖는 2개의 박스들 (48) 에 의해 예시된 바와 같이, 2개의 넌라이브 얼굴들 (45) 도 또한 식별되었다. 최종 이미지 (44) 가 주어지면, 유저는 검출된 사람 얼굴들이 실제 라이브 사람 얼굴들인지의 여부를 정확하게 통지받을 수 있다.
개관 - 검출된 얼굴이 라이브 사람 얼굴인지의 검증
도 5는 캡쳐된 사람 얼굴이 라이브 사람 얼굴인지의 여부를 결정하는 한 방법 (50) 을 예시하는 흐름도이다. 방법 (50) 은 블록 51에서 시작하는데, 블록 51에서, 가시 이미지 데이터 및 NIR 이미지 데이터가 얼굴 검증 시스템 (1) 에 의해 수신된다. 몇몇 구현예들에서, 통신 모듈 (10) 및/또는 프로세서 (4) 는 멀티스펙트럼 이미징 시스템 (2) 으로부터 이미지들을 수신할 수 있다. 이미지 데이터는 멀티스펙트럼 이미징 시스템 (2) 에 의해 캡쳐될 수 있거나, 또는 데이터는 외부 이미징 시스템에 의해 캡쳐되어 프로세서 (4) 및/또는 통신 모듈 (10) 로 통신될 수 있다. 위에서 설명된 바와 같이, NIR 및 가시 이미지 데이터는 단일의 센서에 의해 또는 개별 센서들에 의해 캡쳐될 수 있다.
가시 및 NIR 이미지 데이터가 블록 51에서 수신된 이후, 방법 (50) 은 블록 52로 이동하여 사람 얼굴을 검출하기 위해 가시 및 NIR 이미지 데이터를 프로세싱한다. 예를 들면, 얼굴 검출 모듈 (13) 은 도 1 내지 도 3에 관해 위에서 설명된 바와 같은 임의의 적절한 얼굴 검출 방법을 사용하여 이미지(들) 에서 사람 얼굴을 검출할 수 있다. 그 다음, 방법 (50) 은 블록 53으로 이동하는데, 여기서는, 검출된 사람 얼굴이 라이브 사람 얼굴인지의 여부를 결정하기 위해 가시 이미지 데이터와 NIR 이미지 데이터가 관련된다. 가시 이미지 데이터와 NIR 이미지 데이터의 관련은 멀티스펙트럼 이미지 데이터의 단일 배치 (batch) 에 또는 분리된 가시 및 NIR 이미지들에 적용될 수 있다. 그 다음 방법 (50) 은 결정 블록 54로 이동하여 검출된 얼굴이 인조 얼굴을 나타내는지의 여부를 결정한다. 검출된 얼굴이 라이브 사람 얼굴이 아니라는 결정이 이루어지면, 방법 (50) 은 블록 55으로 이동하여 그 얼굴이 넌라이브 얼굴임을 유저에게 통지한다. 그러나, 검출된 얼굴이 라이브 얼굴이라는 결정이 이루어지면, 방법 (50) 은 블록 56으로 이동하여 검출된 얼굴이 라이브 사람으로부터 유래한다는 것을 유저에게 통지한다.
라이브 및 넌라이브 피부 픽셀들의 식별
도 6a 내지 도 6c는 멀티스펙트럼 이미지 데이터의 검출된 사람 얼굴에서 라이브 및 넌라이브 피부 픽셀들을 식별하기 위한 다양한 구현예들을 예시하는 흐름도이다. 몇몇 구현예들에서, 검출된 얼굴이 라이브 사람 얼굴인지의 여부의 결정에 관해 유저가 통지받기 이전에, 피부 검증 모듈 (14) 은, 픽셀 단위로, 어떤 픽셀들이 라이브 사람 피부를 나타내고 어떤 픽셀들이 넌라이브 사람 피부를 나타내는지를 결정할 수 있다.
도 6a는, 이미지에서의 특정 픽셀 (i) 이 라이브 또는 넌라이브 사람 피부를 나타내는지의 여부를 결정하기 위한 방법 (60) 의 흐름도이다. 예시된 방법 (60) 은 블록 61에서 시작하는데, 블록 61에서, NIR 및 가시 이미지 데이터 양자와 관련된 특정 픽셀 (i) 에 대한 제 1의 반사율 차이 (v 1 ), 및 제 2의 반사율 차이 (v 2 ) 가 계산된다. 제 1의 반사율 차이 (v 1 ), 및 제 2의 반사율 차이 (v 2 ) 는 가시 및 NIR 스펙트럼들 양자에서의 사람 피부의 반사율 값에 부분적으로 기초할 수 있다. 일 구현예에 따르면, 제 1 및 제 2의 반사율 차이들은
Figure pct00001
에 의해 계산될 수도 있는데, 여기서 ρi는, NIR 파장들 (λNIR), 녹색 파장들 (λg), 적색 파장들 (λr) 각각에서의 (라이브이든 또는 넌라이브이든) 캡쳐된 피부의 픽셀 (i) 에 대한 반사율 값을 나타낸다. 몇몇 구현예들에서, 반사율 값 (ρi) 은, 표면에 영향을 주는 조도 (illumination; L) 및 특정 물질의 반사율 (R) 에 기초하여 모델링될 수 있다. 이 경우, 피부에 대한 반사율 (R) 은, 가시 스펙트럼에서보다 NIR 스펙트럼에서 더 강할 수 있다 (그리고 녹색 파장 대역에서보다 특히 더 강하다). NIR과 녹색 파장들 사이의 반사율에서의 불일치로 인해, 몇몇 구현예들에서, 반사율 차이들을 계산함에 있어서 녹색 이미지 데이터가 사용될 수 있다. 그러나, v 1 및 v 2 의 계산이, 지정된 파장들에서의 검출된 강도들 사이의 차이에 비례하기 때문에, 실제, 반사율 차이들 (v 1 및 v 2 ) 을 계산함에 있어서 각각의 픽셀 (i) 에 대해 각각의 파장에 대한 원시 (raw) 픽셀 값들이 사용될 수 있다. 따라서, 반사율 차이들 (v 1 및 v 2 ) 은 일반적으로, NIR 및 녹색 파장들에 대해, 그리고 녹색 및 적색 파장들에 대해, 각각, 이미지화된 피부의 검출된 강도들 사이의 차이에 비례할 수 있다.
v 1 및 v 2 에 대한 상기 관계에서 도시된 바와 같이, 제 1의 반사율 차이 (v 1 ) 는, NIR 이미지 데이터의 한 부분에서의 반사율 값 (또는 원시 픽셀 데이터) (ρi (λNIR)) 과 가시 이미지 데이터의 대응하는 부분에서의 녹색 데이터의 반사율 값 (또는 원시 픽셀 데이터) (ρi(λg)) 사이의 차이에 기초하여 결정될 수 있다. 몇몇 구현예들에서, NIR 이미지 데이터의 그 부분은 특정 픽셀 또는 픽셀들의 그룹이며, 가시광 이미지 데이터의 대응하는 부분은 가시광 이미지 데이터의 대응하는 픽셀 또는 픽셀들의 그룹이다. 제 2의 반사율 차이는, 가시광 이미지 데이터의 대응하는 부분 (예를 들면, 픽셀 또는 픽셀들의 그룹) 에서의 녹색 데이터의 반사율 값 (또는 원시 픽셀 데이터) 과 적색 데이터의 반사율 값 (또는 원시 픽셀 데이터) 사이의 차이일 수 있다. 이론에 의한 제한 없이, 반사율 값들 및/또는 반사율 차이들을 계산하기 위해 녹색 이미지 데이터가 사용될 수 있는데, 그 이유는, 위에서 설명된 바와 같이, NIR 데이터와 녹색 데이터 사이의 콘트라스트가 NIR 데이터와 다른 색상들 (예를 들면, 청색 또는 적색) 사이보다 더 클 수 있기 때문이다. 물론, 다른 색상들에 대한 반사율 값들이 비교될 수 있다. 예를 들면, 몇몇 구현예들에서, v 2 및 v 1 을 계산하기 위해, 적색 및 청색 반사율 값들 또는 녹색 및 청색 반사율 값들이 비교될 수 있다.
특정 픽셀에 대한 제 1 및 제 2의 반사율 차이들을 계산한 이후, 방법 (60) 은 도 6a의 블록 62로 이동하는데, 블록 62에서는, 제 1 및 제 2의 반사율 차이들 (v 1 및 v 2 ) 이 정규화되어,
Figure pct00002
에 의해 각각 주어지는 제 1 및 제 2의 정규화된 반사율 차이들 (r 1 및 r 2 ) 을 획득하게 된다. 반사율 차이들을 정규화하는 다른 방식들도 가능하다. 몇몇 구현예들에서, 정규화는 발생할 필요가 없고; 대신, 정규화 없이 원시 픽셀 값들이 사용될 수 있다.
정규화 이후, 방법 (60) 은 결정 블록 63으로 진행하여, 결정론적 방법이 사용될 것인지의 여부를 결정한다. 몇몇 구현예들에서, 피부 검증 모듈 (14) 은 검출된 피부를 분석하기 위한 방법을 선택할 수 있다. 예를 들면, 결정론적 방법을 선택하는 결정이 이루어지면, 방법 (60) 은 블록 64로 이동하여 결정론적 방법을 수행한다. 결정론적 방법을 선택하지 않는 결정이 이루어지면, 방법 (60) 은 블록 70으로 이동하여 확률론적 방법을 수행한다. 도 6a에서는 확률론적 방법이 예시되지만, 검출된 피부를 분석하기 위해 다른 방법들이 사용될 수 있음을 이해해야 한다.
결정론적 방법
도 6b는 결정론적 방법 (64) 의 일 구현예를 예시하는 흐름도이다. 방법 (64) 은 블록 65에서 시작하는데, 블록 65에서는, 제 1의 임계치 (t n1 ), 제 2의 임계치 (t n2 ), 제 3의 임계치 (t r1 ), 및 제 4의 임계치 (t r2 ) 가 설정되거나 또는 다르게는 결정된다. 몇몇 구현예들에서, 임계치들은 최적의 결과들을 획득하기 위한 경험적 방법들을 사용하여 실험적으로 결정될 수 있다. 다른 구현예들에서, 임계치들은 라이브 및 넌라이브 사람 피부에 대한 이론적 반사율 값들에 기초하여 추정될 수 있다. 또 다른 구현예들에서, 임계치들은 시스템 또는 이미징 디바이스 및/또는 이미징의 속성들에 기초하여 실시간으로 결정될 수 있다.
블록 65에서 임계치들을 설정한 이후, 방법 (64) 은 블록 66으로 진행하여, 제 1 및 제 2의 임계치들을 제 1의 정규화된 반사율 차이와 비교한다. 제 1의 반사율 차이가 제 1의 임계치보다 더 크지 않고 제 2의 임계치보다 더 작지 않으면, 프로세스는 블록 68로 진행하여 넌라이브 피부 픽셀을 유저에게 리턴한다. 제 1의 정규화된 반사율 차이 (r 1 ) 가 제 1의 임계치 (t n1 ) 보다 더 크지만 제 2의 임계치 (t n2 ) 보다 더 작다는 결정이 이루어지면, 프로세스는 다른 결정 블록 67로 진행하여 제 3 및 제 4의 임계치들을 제 2의 정규화된 반사율 차이와 비교한다.
블록 67을 참조하면, 제 2의 정규화된 반사율 차이 (r 2 ) 가 제 3의 임계치 (t r1 ) 보다 더 크지만 제 4의 임계치 (t r2 ) 보다 더 작다는 결정이 이루어지면, 방법 (64) 은 블록 69로 진행하여 라이브 피부 픽셀을 리턴한다. 제 2의 정규화된 반사율 차이가 제 3의 임계치보다 더 크지 않고 제 4의 임계치보다 더 작지 않으면, 방법 (64) 은 블록 68으로 진행하여 넌라이브 피부 픽셀을 리턴한다.
따라서, 도 6b에 개시된 바와 같이, 라이브 피부 픽셀을 식별하기 위해, 정규화된 반사율 차이들은
Figure pct00003
양자를 만족한다.
다른 구현예들에서, 임계치들의 한 세트는 다른 것들보다 더 많이 가중될 수도 있다. 예를 들면, 몇몇 구현예들에서, 임계치 부등식들 중 단지 하나 (예를 들면, 결정 블록들 (66 및 67) 중 단지 하나) 가 만족되면, 방법은 블록 69에서, 그럼에도 불구하고, 라이브 피부 픽셀을 리턴할 수 있다. 결정론적 방법에서 구현된 임계치들은, 다양한 조명 조건들 하에서 여러 임계치들이 적용된 사전 교정된 (pre-calibrated) 실험 데이터에 기초할 수 있다. 따라서, 얼굴 검증 시스템 (1) 은, 특정 픽셀이 라이브 또는 넌라이브 사람 피부를 나타내는지의 여부를 결정함에 있어서 NIR 및 가시 이미지 데이터에 의해 제공된 많은 정보를 활용할 수 있다. 실제, 위의 도 4에서 제공된 실험 결과들은 도 6a 및 도 6b에서 개시된 결정론적 방법의 예시적인 구현예를 예시한다.
확률론적 방법
도 6c를 참조하면, 확률론적 방법 (70) 의 예시적인 구현예가 예시된다. 일반적으로, 확률론적 방법은, 아주 많은 수의 샘플들에 걸쳐 기지의 라이브 피부를 캡쳐하는 이미지에 적어도 부분적으로 기초하여 주어진 픽셀이 라이브 사람 피부를 디스플레이하는 우도 (likelihood) 를 추정할 수 있다. 예를 들면, 하나 이상의 기지의 라이브 사람 얼굴들이 다양한 조명 조건들에서 이미지화될 수 있고, 기지의 라이브 피부 영역들에 대한 반사율 값들 및/또는 원시 픽셀 데이터가 저장될 수 있다. 마찬가지로, 사진과 같은 기지의 인조 피부가 아주 많은 수의 샘플들에 걸쳐 유사한 조명 조건들에서 이미지화될 수 있고, 반사율 값들 및/또는 원시 픽셀 데이터가 저장될 수 있다. 얼굴 검증 시스템 (1) 은, 이미지에서의 임의의 주어진 픽셀이 라이브 또는 넌라이브 피부를 디스플레이하는 확률을 추정하기 위해, 기지의 라이브 및 넌라이브 피부 이미지 데이터의 이 저장된 라이브러리를 사용할 수 있다.
도 6c에 예시된 방법 (70) 은 블록 71에서 시작하는데, 블록 71에서는, 라이브 사람 피부에 대해, 제 1 및 제 2의 정규화된 반사율 차이들 (r 1 및 r 2 ) 에 대한 확률 밀도 함수들 (probability density functions; PDF들) 이 각각 획득된다. PDF들은 다양한 미리 결정된 조명 조건들 하에서의 실험적 데이터에 기초하여 계산될 수 있다. 예를 들면, 상이한 타입들의 라이브 피부에 기초하여 큰 데이터 샘플이 수집될 수 있는데, 각각의 샘플은 어두운 것에서 밝은 것의 범위에 이르는 상이한 조명 조건들 하에서 이미지화된다. 충분히 많은 수의 이미지들 및/또는 픽셀들이 멀티스펙트럼 이미징 시스템 (2) 에 의해 캡쳐되는데, 이것은 시스템이 오프라인인 동안, 예를 들면, 라이브 얼굴을 검증하기 위해 활용되고 있지 않는 동안, 수행될 수 있다.
(r 1,1 , r 1,2 , ... r 1,M ) 이, M개의 라이브 피부 픽셀들로부터 계산되는 또는 유도되는 r 1 (예를 들면, 제 1의 정규화된 반사율 차이들) 의 세트를 나타낸다고 하자. M개의 픽셀들의 세트를 획득하기 위해 많은 상이한 이미지들이 캡쳐될 수 있다. r1에 대한 PDF를 계산하기 위해 라이브 대상 (live subject) 이 의도적으로 이미지화되기 때문에, M개의 라이브 피부 픽셀들은 라이브 피부를 나타내는 것으로 알려져 있다. 그 다음, 기지의 라이브 피부 이미지 데이터의 이 세트는, 임의의 주어진 픽셀이 라이브 피부를 나타내는 확률을 추정하기 위해 사용될 수 있다. M개의 라이브 픽셀들의 세트가 주어지면, 라이브 픽셀들에 대한 PDF인 f T (r 1 ) (위첨자 T에 의해 표현됨) 는,
Figure pct00004
에 의해 유도될 수 있는데, 여기서 K(.) 는 커널이고, 1로 통합되는 대칭 함수이며, h는 양의 평활 파라미터 (positive smoothing parameter) 이다. 임의의 적절한 커널 K(.) 가 사용될 수 있다. 몇몇 구현예들에서, 예를 들면, 정규 분포가 가정되고, 그 경우 가우시안 커널이 구현될 수 있다. 가우시안 커널의 경우, h에 대한 최적의 선택은
Figure pct00005
에 의해 유도될 수 있는데, 여기서 σ는 표준 편차이다.
마찬가지로, 라이브 피부에 대한 r 2 의 PDF는
Figure pct00006
에 의해 주어질 수 있다.
라이브 피부에 대한 제 1 및 제 2의 정규화된 반사율 차이들의 PDF들을 획득한 이후, 방법 (70) 은 블록 72로 이동하는데, 블록 72에서는, 넌라이브 피부의 실험적 이미지 데이터를 사용하여, 넌라이브 피부에 대한 정규화된 반사율 차이들 (r 1 및 r 2 ) 의 PDF들 (f F (r 1 ) 및 f F (r 2 )) (위첨자 F에 의해 표현됨) 이 마찬가지로 획득된다. 예를 들면, PDF를 획득하기 위해, 사람 얼굴의 모델 또는 사진의 하나 이상의 이미지들을 사용하여, 모조 피부를 나타내는 픽셀들의 샘플이 획득될 수 있다.
도 6d는 라이브 피부 픽셀들 및 넌라이브 피부 픽셀들에 대한 여러 조명 조건들 하에서의 r 1 에 대한 PDF의 그래프이다. 도 6e는 라이브 피부 픽셀들 및 넌라이브 피부 픽셀들에 대한 여러 조명 조건들 하에서의 r 2 에 대한 PDF의 그래프이다. 라이브 및 넌라이브 피부 픽셀들 양자에 대한 정규화된 반사율 값들의 획득된 PDF들은, 피부 검증 모듈 (14) 에 의한 용이한 액세스를 위해 몇몇 구현예들에서 룩업 테이블 (look-up table; LUT) 로서 저장될 수 있다. 다른 구현예들에서, PDF들은 파라미터화된 함수로서 추정될 수 있다.
위의 관계가 주어지는 경우, 픽셀 (j) 이 라이브 피부 픽셀인 것이 알려지면, r 1 및 r 2 의 확률들은, 각각,
Figure pct00007
이다. 픽셀 (j) 이 넌라이브 피부 픽셀인 것이 대신 알려지면, r 1 및 r 2 의 확률들을 결정하기 위해 유사한 계산들이 수행될 수 있다.
그 다음, 방법 (70) 은 블록 73으로 이동하는데, 블록 73에서는, 특정 픽셀이 라이브 피부 픽셀일 확률이 계산된다. 일단 특정한 (그리고 잠재적으로 소정의 조명 조건들 하에 있는) 디바이스 또는 특정한 (그리고 잠재적으로 소정의 조명 조건들 하에 있는) 타입의 디바이스에 대해 정규화된 반사율 차이에 대한 PDF가 획득되면, 이 정보는, 임의의 특정 픽셀이 임의의 후속하는 이미지들에서 라이브 피부를 포함하는 확률을 추정하기 위해 디바이스(들) 상에서 캡쳐되는 미래의 이미지들에서 사용될 수 있다. 따라서, 몇몇 구현예들에서는 오프라인으로 획득될 수 있는 위에서 획득된 PDF들은, 특정 픽셀이 라이브 또는 넌라이브 피부 픽셀인지의 여부를 실시간으로 결정하기 위해 온라인 모드에서 사용될 수 있다.
예를 들면, 임의의 픽셀 (i) 이 라이브 피부 픽셀일 확률은
Figure pct00008
에 의해 계산될 수 있다.
베이지안 룰 (Bayesian rule) 에 따르면,
Figure pct00009
이다.
r 1 과 r 2 가 독립 변수들이라고 가정하면,
Figure pct00010
이다.
또한, 픽셀 (i) 이 라이브인지 또는 넌라이브인지의 사전 지식이 없으면, 임의의 특정 픽셀 (i) 이 라이브 피부 픽셀일 확률은
Figure pct00011
에 의해 추정될 수 있다.
특정 픽셀이 넌라이브 피부 픽셀일 확률을 유사하게 계산하기 위해, 방법 (70) 은 블록 74로 이동할 수 있다. 픽셀 (i) 이 넌라이브 피부 픽셀일 확률은
Figure pct00012
에 의해 결정될 수 있다.
pi T 및 pi F 에 대한 2개의 표현들이 비례성의 항들로 표현되었지만, 픽셀 (i) 이 라이브 또는 넌라이브 피부 픽셀인지의 여부를 결정하기 위해 이들 확률들에 대한 상대적 값들이 사용될 수 있다.
픽셀이 라이브 또는 넌라이브 피부 픽셀일 확률들을 계산한 이후, 방법 (70) 은 블록 75로 진행하여, 픽셀이 라이브 피부를 디스플레이하는 확률을 픽셀이 넌라이브 피부를 디스플레이하는 확률과 비교한다. 픽셀이 라이브 피부일 확률이 픽셀이 넌라이브 피부일 확률보다 더 크다는 결정이 이루어지면, 방법 (70) 은 블록 77로 이동하여 픽셀이 라이브 피부 픽셀임을 나타낸다. 한편, 픽셀이 라이브 피부일 확률이 픽셀이 넌라이브 피부일 확률보다 더 크다는 결정이 이루어지면, 방법 (70) 은 블록 76으로 이동하여 픽셀이 넌라이브 피부 픽셀임을 나타낸다. 따라서, 특정 픽셀 (i) 은
Figure pct00013
이면
라이브 피부 픽셀로서 식별될 수 있다.
픽셀이 라이브 또는 넌라이브 피부일 확률을 추정하기 위한 다른 방법들도 가능하다. 예를 들면, 다양한 구현예들에서, 픽셀이 라이브 또는 넌라이브 피부 픽셀인지의 여부를 결정하기 위해 확률 임계치가 활용될 수 있다. 또한, 상기 결정론적 방법 및 확률론적 방법이 픽셀 단위로 구현될 수 있지만, 가시 및 NIR 이미지들 및/또는 이미지 데이터의 정확한 정렬은 필요되지 않는데, 그 이유는 얼굴 피부가 평활한 색상 응답을 가질 수 있기 때문이다. 따라서, 상기 방법들은, 가시 및 NIR 얼굴 이미지들이 얼굴 검출에 기초하여 개략적으로 정렬되는 경우에만 유효할 수 있다.
라이브 사람 얼굴의 식별
도 6a 내지 도 6c의 구현예들은 라이브 또는 넌라이브 피부 픽셀들을 식별하는 데 사용될 수 있다. 몇몇 구현예들에서, 이 정보는 디스플레이 상에서 유저에게 제공될 수 있고 (예를 들면, 도 4 참조), 검출된 얼굴이 라이브 사람 얼굴인지의 여부를 유저가 시각적으로 결정하기에 충분할 수 있다. 그러나, 다른 구현예들에서, 검출된 얼굴이 라이브 얼굴인지의 여부를 결정하기 위해, 식별된 픽셀들을 분석하도록 추가적인 프로세싱이 수행될 수 있다.
도 6f에서, 라이브 사람 얼굴을 식별하기 위한 한 방법 (80) 이 개시된다. 방법 (80) 은 블록 81에서 시작하는데, 여기서는, 검출된 얼굴 부위 내의 라이브 픽셀들의 수 (N T ) 가 계산된다. 라이브 피부 픽셀들의 수의 계산한 후, 방법 (80) 은 결정 블록 83으로 진행한다. 라이브 픽셀들의 수 (N T ) 가 픽셀들의 임계수 (T x ) 를 초과한다는 결정이 이루어지면, 방법 (80) 은 블록 85로 이동하여 검출된 얼굴이 라이브 얼굴임을 유저에게 통지한다. N T 가 T x 미만이라는 결정이 이루어지면, 방법 (80) 은 블록 84로 이동하여 검출된 얼굴이 라이브 사람 얼굴이 아니라는 것을 유저에게 통지한다. 다양한 임계치들 (T x ) 이 사용될 수 있다. 예를 들면, 몇몇 구현예들에서, T x 는 검출된 얼굴 내에서의 픽셀들의 특정 비율, 예를 들면, 몇몇 구현예들에서는 약 50% 초과일 수 있다. 다양한 구현예들에서, 임계치 (T x ) 는 약 50%, 60%, 70%, 80%, 90%, 또는 픽셀들의 임의의 다른 적절한 임계치 비율일 수 있다. 다른 구현예들에서, 다양한 다른 임계치들이 사용될 수 있다. 예를 들면, 검출된 얼굴 영역 내에서의 넌라이브 피부 픽셀들의 수 (N F ) 가 계산될 수 있다. N T > N F 이면, 유저는 검출된 얼굴이 라이브 얼굴임을 통지받을 수 있다. 그렇지 않으면, 유저는 검출된 얼굴이 라이브 얼굴이 아님을 통지받을 수 있다.
도 7a는 넌라이브 얼굴이 검출되는 경우의 유저 인터페이스 (6) 의 예시적인 구현예를 예시한다. 도 7a에서, 예를 들면, 분리된 NIR 센서 (좌측 이미지) 및 가시광 센서 (우측 이미지) 를 사용하여 사람 얼굴의 인조 모델 (예를 들면, 마네킹) 이 이미지화된다. 좌우 이미지들 상의 박스들은 얼굴 검출 모듈 (13) 에 의해 검출된 얼굴을 예시하기 위해 사용될 수 있다. 라이브 피부 픽셀들을 식별한 후, 도 7a의 유저 인터페이스 (6) 는, 단지 36%의 픽셀들만이 넌라이브 피부 픽셀일 확률보다 라이브 피부 픽셀일 확률이 더 높고, 64%의 픽셀들은 라이브 피부 픽셀일 확률보다 넌라이브 피부 픽셀일 확률이 더 높다는 것을 나타낸다. 예시된 구현예에서, 넌라이브 피부 픽셀보다 라이브 피부 픽셀들이 더 적게 존재하기 때문에 (예를 들면, 검출된 얼굴 내에서 라이브 피부 픽셀들의 수가 전체 픽셀들의 50% 미만이기 때문에), 유저 통지 모듈 (15) 은 검출된 얼굴이 넌라이브 사람 얼굴이라는 것을 유저 인터페이스 (6) 를 통해 유저에게 통지할 수 있다 (디스플레이 중앙에 걸쳐 "X"로 표시됨).
한편, 도 7b는 라이브 얼굴이 검출되는 경우의 유저 인터페이스 (6) 의 예시적인 구현예를 예시한다. 그러나, 도 7b에서는, 81%의 픽셀들이 넌라이브 피부 픽셀보다 라이브 피부 픽셀일 확률이 더 높다. 따라서, 유저 통지 모듈 (15) 은, 검출된 얼굴이 라이브 사람 얼굴임을 유저에게 통지할 수 있다 (도 7b에서 디스플레이의 중앙에 체크 마크로 표시됨).
다른 구현예들
얼굴 검증 시스템 (1) 의 다른 구현예들도 가능하다. 한 방법 (90) 이 도 8a에 도시된다. 도 8a에 도시된 바와 같이, 방법 (90) 은 NIR 이미지 및 가시 이미지를 캡쳐하는 블록 91에서 시작한다. 위에서와 같이, 일단 NIR 및 가시 이미지들이 캡쳐되면, 방법 (90) 은 블록 92로 이동하는데, 블록 92에서는, NIR 이미지와 가시 이미지에서 사람 얼굴이 검출된다. 그 다음, 방법 (90) 은 임의의 적절한 방법을 사용하여 얼굴에 대해 검출된 지오메트리를 검증하는 블록 93으로 이동한다. 얼굴의 지오메트리를 검증한 이후, 방법 (90) 은 블록 94로 이동하는데, 여기서는, 검출된 얼굴이 바이오메트릭적으로 (biometrically) 검증된다. 본원의 다양하게 개시된 구현예들에서 라이브 및 넌라이브 피부의 이미지 데이터가 사용되었지만, 얼굴이 라이브 얼굴임을 확인하기 위한 다양한 다른 방법들이 수행될 수 있음이 이해되어야 한다. 예를 들면, 몇몇 구현예들에서 홍채 인식 또는 망막 스캔들이 사용될 수 있다. 다른 구현예들에서, 검출된 얼굴이 라이브 얼굴인지의 여부를 결정하기 위해, 대상의 피부 아래에 있는 정맥들 및 동맥들이 이미지화될 수 있다. 추가적으로, 몇몇 구현예들에서는, 기지의 얼굴 움직임들 또는 틱들이 이미지화될 수 있다. 또 다른 구현예들에서는, 바이오메트릭 검증 방법으로서 열 시그니쳐 (heat signature) 가 사용될 수 있다. 위에서와 같이, 방법 (90) 은 결정 블록 95로 이동하여 검출된 얼굴이 라이브 사람 얼굴인지를 결정한다. 검출된 얼굴이 라이브 얼굴이 아니라는 결정이 이루어지면, 방법 (90) 은 블록 96으로 이동하여 검출된 라이브 얼굴을 유저에게 통지한다. 그렇지 않고, 검출된 얼굴이 라이브 얼굴이 아니라는 결정이 이루어지면, 방법 (90) 은 블록 97로 이동하여 그 얼굴이 넌라이브 얼굴임을 유저에게 통지한다.
도 8b를 참조하면, 라이브 얼굴을 검증하기 위한 다른 방법 (100) 이 개시된다. 방법 (100) 은 NIR 및 가시 이미지를 캡쳐하는 블록 101에서 시작한다. 이미지들을 캡쳐한 이후, 방법 (100) 은 블록 (102) 으로 진행하는데, 블록 102에서는, 기지의 융합 (fusing) 을 사용하여 NIR 및 가시 이미지 데이터가 함께 융합된다. 위에서와 같이, 방법 (100) 은 융합된 이미지에서 사람 얼굴을 검출하는 블록 103으로 이동한다. 도 8a에 관해 설명된 바와 같이, 예시된 방법 (100) 은, 융합된 이미지에서 검출된 사람 얼굴에 대해 하나 이상의 바이오메트릭 검증 프로세스들을 수행하는 블록 104로 진행한다. 그 다음 방법 (100) 은 결정 블록 105로 이동한다. 검출된 얼굴이 라이브 얼굴이라는 결정이 이루어지면, 방법 (100) 은 블록 107로 이동하여 그 얼굴이 라이브 얼굴임을 유저에게 통지한다. 그렇지 않고, 검출된 얼굴이 라이브 얼굴이 아니라는 결정이 이루어지면, 방법 (50) 은 블록 55으로 이동하여 그 얼굴이 넌라이브 얼굴임을 유저에게 통지한다.
전문용어에 관한 설명들
본원에 개시된 구현예들과 관련하여 설명된 다양한 예시적인 논리적 블록들, 모듈들, 회로들, 및 프로세스 단계들은 전자 하드웨어, 컴퓨터 소프트웨어, 또는 이들 양자의 조합들로 구현될 수도 있음을 당업자들은 또한 이해할 것이다. 하드웨어 및 소프트웨어의 이러한 상호 교환성을 명확하게 설명하기 위해, 다양한 예시적인 컴포넌트들, 블록들, 모듈들, 회로들, 및 단계들을 그들의 기능적 관점에서 일반적으로 위에서 설명하였다. 이러한 기능성이 하드웨어 구현되는지 또는 소프트웨어로 구현되는지의 여부는 특정 애플리케이션 및 전체 시스템에 부과되는 설계 제약들에 따라 달라진다. 당업자라면, 상기 상술한 기능성을 각각의 특정 어플리케이션에 대해 다양한 방식으로 구현할 수도 있지만, 이러한 구현 결정이 본 발명의 범위를 벗어나게 하는 것으로 이해되어서는 안된다. 일부분 또는 일부는 전체보다 적은 또는 전체와 동일한 어떤 것을 포함할 수도 있음을 당업자는 인식할 것이다. 예를 들어, 픽셀들의 집합 (collection) 의 일부분은 이러한 픽셀들의 하위 집합을 지칭할 수도 있다.
본원에서 개시된 실시예들과 연계하여 설명된 여러가지 예증적인 논리 블록들, 모듈들, 및 회로들은 본원에서 개시된 기능들을 수행하도록 디자인된 범용 프로세서, 디지털 신호 프로세서 (digital signal processor; DSP), 주문형 반도체 (application specific integrated circuit; ASIC), 필드 프로그래머블 게이트 어레이 (field programmable gate array; FPGA) 또는 다른 프로그래머블 로직 디바이스, 이산 게이트 또는 트랜지스터 로직, 이산 하드웨어 컴포넌트들, 또는 이들의 임의의 조합에 의해 구현되거나 수행될 수도 있다. 범용 프로세서는 마이크로프로세서일 수도 있지만, 다르게는, 상기 프로세서는 임의의 종래의 프로세서, 컨트롤러, 마이크로컨트롤러, 또는 상태 머신일 수도 있다. 프로세서는 또한 컴퓨팅 디바이스들의 조합, 예를 들면, DSP와 마이크로프로세서, 복수의 마이크로프로세서들, DSP 코어와 연계한 하나 이상의 마이크로프로세서들의 조합, 또는 임의의 다른 그러한 구성으로 구현될 수도 있다.
본원에서 개시된 구체예들과 연계하여 설명된 방법 또는 프로세스의 단계들은 하드웨어에서, 프로세서에 의해 실행되는 소프트웨어 모듈에서, 또는 이들 양자의 조합에서 직접적으로 구현될 수도 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터들, 하드 디스크, 이동식 디스크, CD-ROM, 또는 공지된 임의의 다른 형태의 저장 매체 내에 상주할 수도 있다. 예시적인 저장 매체는 프로세서에 커플링되어, 프로세가 저장 매체로부터 정보를 판독하거나 저장 매체에 정보를 기록할 수 있다. 대안에서, 저장 매체는 프로세서에 통합될 수도 있다. 프로세서와 저장 매체는 ASIC 내에 있을 수도 있다. ASIC은 유저 단말, 카메라, 또는 다른 디바이스 내에 있을 수도 있다. 대안에서, 프로세서 및 저장 매체는 유저 단말, 카메라, 또는 다른 디바이스에서 별개의 컴포넌트들로서 존재할 수도 있다.
표제들 (headings) 은 참조를 위해 본원에 포함되고 다양한 섹션들을 위치를 찾는 것을 돕고자 한다. 이러한 표제들은 그와 관련하여 설명된 개념들의 범위를 제한하도록 의도된 것은 아니다. 이러한 개념들은 전체 명세서에 걸쳐 적용가능할 수도 있다.
개시된 구현예들의 상기 설명들은 임의의 당업자가 본 발명을 실시하거나 이용하는 것을 가능하게 하도록 하기 위해 제공된다. 이들 구현예들에 대한 다양한 수정예들이 당업자에게는 자명할 것이고, 본원에서 정의된 일반적인 원칙들은 본 발명의 취지와 범위를 벗어나지 않으면서 다른 구현예들에 적용될 수도 있다. 따라서, 본 발명은 본원에서 보여진 구현예들로 제한되도록 의도된 것은 아니며 본원의 개시된 원칙들과 신규의 특징들과 부합하는 광의의 범위를 부여받아야 한다.

Claims (35)

  1. 이미지에서 라이브 (live) 사람 얼굴을 검출하는 방법으로서,
    사람 얼굴을 포함하는 멀티스펙트럼 이미지 데이터를 수신하는 단계로서, 상기 멀티스펙트럼 이미지 데이터는 가시광 이미지 데이터와 근적외 (near-infrared; NIR) 이미지 데이터를 포함하는, 상기 멀티스펙트럼 이미지 데이터를 수신하는 단계;
    상기 사람 얼굴을 검출하기 위해 상기 멀티스펙트럼 이미지 데이터를 프로세싱하는 단계; 및
    검출된 상기 사람 얼굴이 라이브 사람 얼굴인지의 여부를 결정하기 위해, 상기 가시광 이미지 데이터에서의 상기 검출된 사람 얼굴을 상기 NIR 이미지 데이터에서의 상기 검출된 사람 얼굴과 관련시키는 단계를 포함하는, 이미지에서 라이브 사람 얼굴을 검출하는 방법.
  2. 제 1항에 있어서,
    상기 가시광 이미지 데이터에서 검출된 상기 얼굴과 상기 NIR 이미지 데이터에서 검출된 상기 얼굴 사이의 관련은, 제 1의 반사율 차이와 제 2의 반사율 차이에 적어도 부분적으로 기초하고,
    상기 제 1의 반사율 차이는, 상기 NIR 이미지 데이터의 한 부분에서의 반사율 값과 상기 가시광 이미지 데이터의 대응하는 부분에서의 제 1의 색상의 반사율 값 사이의 차이이고,
    상기 제 2의 반사율 차이는, 상기 가시광 이미지 데이터의 상기 대응하는 부분에서의 상기 제 1의 색상의 반사율 값과 제 2의 색상의 반사율 값 사이의 차이인, 이미지에서 라이브 사람 얼굴을 검출하는 방법.
  3. 제 2항에 있어서,
    상기 가시광 이미지 데이터에서 캡쳐된 상기 검출된 사람 얼굴을 상기 NIR 이미지 데이터에서 캡쳐된 상기 검출된 사람 얼굴과 관련시키는 것은:
    제 1의 정규화된 반사율 차이를 획득하기 위해 상기 제 1의 반사율 차이를 정규화하는 단계; 및
    제 2의 정규화된 반사율 차이를 획득하기 위해 상기 제 2의 반사율 차이를 정규화하는 단계를 포함하는, 이미지에서 라이브 사람 얼굴을 검출하는 방법.
  4. 제 3항에 있어서,
    상기 가시광 이미지 데이터에서 캡쳐된 상기 검출된 사람 얼굴을 상기 NIR 이미지 데이터에서 캡쳐된 상기 검출된 사람 얼굴과 관련시키는 것은:
    상기 제 1의 정규화된 반사율 차이를 제 1의 임계치 및 제 2의 임계치와 비교하는 단계; 및
    상기 제 2의 정규화된 반사율 차이를 제 3의 임계치 및 제 4의 임계치와 비교하는 단계를 더 포함하는, 이미지에서 라이브 사람 얼굴을 검출하는 방법.
  5. 제 4항에 있어서,
    상기 제 1의 정규화된 반사율 차이가 상기 제 1의 임계치보다 더 크고 상기 제 2의 임계치보다 더 작은지의 여부에 적어도 부분적으로 기초하여, 그리고 상기 제 2의 정규화된 반사율 차이가 상기 제 3의 임계치보다 더 크고 상기 제 4의 임계치보다 더 작은지의 여부에 적어도 부분적으로 기초하여, 상기 NIR 이미지 데이터의 상기 한 부분과 상기 가시광 이미지 데이터의 상기 대응하는 부분이 라이브 사람 피부를 나타내는 이미지 데이터를 포함하는지의 여부를 결정하는 단계를 더 포함하는, 이미지에서 라이브 사람 얼굴을 검출하는 방법.
  6. 제 5항에 있어서,
    상기 검출된 얼굴에서 라이브 사람 피부를 나타내는 이미지 데이터를 포함하는 픽셀들의 수에 적어도 부분적으로 기초하여, 상기 검출된 사람 얼굴이 라이브 사람 얼굴인지의 여부를 결정하는 단계를 더 포함하는, 이미지에서 라이브 사람 얼굴을 검출하는 방법.
  7. 제 3항에 있어서,
    상기 제 1의 색상은 실질적으로 녹색이고, 상기 제 2의 색상은 실질적으로 적색인, 이미지에서 라이브 사람 얼굴을 검출하는 방법.
  8. 제 3항에 있어서,
    상기 제 1의 정규화된 반사율 차이의 제 1의 확률 밀도 함수 및 상기 제 2의 정규화된 반사율 차이의 제 2의 확률 밀도 함수를 획득하는 단계를 더 포함하고,
    상기 제 1의 확률 밀도 함수 및 상기 제 2의 확률 밀도 함수는 라이브 사람 피부의 이미지 데이터에 적어도 부분적으로 기초하는, 이미지에서 라이브 사람 얼굴을 검출하는 방법.
  9. 제 8항에 있어서,
    상기 NIR 이미지 데이터의 상기 한 부분과 상기 가시광 이미지 데이터의 상기 대응하는 부분이 라이브 사람 피부를 나타내는 이미지 데이터를 포함하고 있을 제 1의 확률을 계산하는 단계를 더 포함하고,
    상기 제 1의 확률은 상기 제 1의 확률 밀도 함수와 상기 제 2의 확률 밀도 함수에 적어도 부분적으로 기초하는, 이미지에서 라이브 사람 얼굴을 검출하는 방법.
  10. 제 9항에 있어서,
    상기 제 1의 정규화된 반사율 차이의 제 3의 확률 밀도 함수 및 상기 제 2의 정규화된 반사율 차이의 제 4의 확률 밀도 함수를 획득하는 단계로서, 상기 제 3의 확률 밀도 함수 및 상기 제 4의 확률 밀도 함수는 라이브 사람 피부를 나타내지 않는 이미지 데이터에 적어도 부분적으로 기초하는, 상기 획득하는 단계; 및
    상기 NIR 이미지 데이터의 상기 한 부분과 상기 가시광 이미지 데이터의 상기 대응하는 부분이 라이브 사람 피부를 나타내지 않는 이미지 데이터를 포함하고 있을 제 2의 확률을 계산하는 단계를 더 포함하고,
    상기 제 2의 확률은 상기 제 3의 확률 밀도 함수와 상기 제 4의 확률 밀도 함수에 적어도 부분적으로 기초하는, 이미지에서 라이브 사람 얼굴을 검출하는 방법.
  11. 제 10항에 있어서,
    상기 NIR 이미지 데이터의 상기 한 부분과 상기 가시광 이미지 데이터의 상기 대응하는 부분이 라이브 사람 피부를 나타내는 이미지 데이터를 포함하는지의 여부를 결정하기 위해 상기 제 1의 확률과 상기 제 2의 확률을 비교하는 단계를 더 포함하는, 이미지에서 라이브 사람 얼굴을 검출하는 방법.
  12. 제 11항에 있어서,
    상기 검출된 얼굴에서 라이브 사람 피부를 나타내는 이미지 데이터를 포함하는 픽셀들의 수에 적어도 부분적으로 기초하여, 상기 검출된 사람 얼굴이 라이브 사람 얼굴인지의 여부를 결정하는 단계를 더 포함하는, 이미지에서 라이브 사람 얼굴을 검출하는 방법.
  13. 제 1항에 있어서,
    이미징 장치로 멀티스펙트럼 이미지 데이터를 캡쳐하는 단계를 더 포함하는, 이미지에서 라이브 사람 얼굴을 검출하는 방법.
  14. 제 13항에 있어서,
    상기 멀티스펙트럼 이미지 데이터를 캡쳐하는 단계는, 가시광 이미지 및 NIR 이미지를 캡쳐하는 단계를 포함하는, 이미지에서 라이브 사람 얼굴을 검출하는 방법.
  15. 제 14항에 있어서,
    상기 멀티스펙트럼 이미지 데이터를 프로세싱하는 단계는:
    상기 사람 얼굴을 검출하기 위해 상기 가시광 이미지를 프로세싱하는 단계; 및
    상기 사람 얼굴을 검출하기 위해 상기 NIR 이미지를 프로세싱하는 단계를 포함하는, 이미지에서 라이브 사람 얼굴을 검출하는 방법.
  16. 이미지에서 라이브 사람 얼굴을 검출하기 위한 이미징 시스템으로서,
    가시광 이미지 데이터와 근적외 (NIR) 이미지 데이터를 포함하는 멀티스펙트럼 이미지 데이터를 캡쳐하도록 구성된 적어도 하나의 이미지 센서로서, 상기 멀티스펙트럼 이미지 데이터는 사람 얼굴을 포함하는, 상기 적어도 하나의 이미지 센서;
    상기 사람 얼굴을 검출하기 위해 상기 멀티스펙트럼 이미지 데이터를 분석하도록 구성된 얼굴 검출 모듈; 및
    검출된 상기 얼굴의 상기 멀티스펙트럼 이미지 데이터를 분석하고 검출된 상기 검출된 사람 얼굴이 라이브 사람 얼굴인지의 여부를 결정하도록 구성된 피부 검증 모듈을 포함하는, 이미지에서 라이브 사람 얼굴을 검출하기 위한 이미징 시스템.
  17. 제 16항에 있어서,
    상기 적어도 하나의 이미지 센서는 NIR 이미징 센서와 가시광 센서를 포함하는, 이미지에서 라이브 사람 얼굴을 검출하기 위한 이미징 시스템.
  18. 제 16항에 있어서,
    상기 피부 검증 모듈은, 캡쳐된 상기 멀티스펙트럼 이미지 데이터의 제 1의 반사율 차이 및 제 2의 반사율 차이에 적어도 부분적으로 기초하여, 상기 검출된 사람 얼굴이 라이브 사람 얼굴인지의 여부를 결정하도록 구성되는, 이미지에서 라이브 사람 얼굴을 검출하기 위한 이미징 시스템.
  19. 제 18항에 있어서,
    상기 피부 검증 모듈은:
    제 1의 정규화된 반사율 차이를 획득하기 위해 상기 제 1의 반사율 차이를 정규화하고; 그리고
    제 2의 정규화된 반사율 차이를 획득하기 위해 상기 제 2의 반사율 차이를 정규화하도록 더 구성되는, 이미지에서 라이브 사람 얼굴을 검출하기 위한 이미징 시스템.
  20. 제 19항에 있어서,
    상기 피부 검증 모듈은:
    상기 제 1의 정규화된 반사율 차이를 제 1의 임계치 및 제 2의 임계치와 비교하고; 그리고
    상기 제 2의 정규화된 반사율 차이를 제 3의 임계치 및 제 4의 임계치와 비교하도록 더 구성되는, 이미지에서 라이브 사람 얼굴을 검출하기 위한 이미징 시스템.
  21. 제 20항에 있어서,
    상기 피부 검증 모듈은, 상기 제 1의 정규화된 반사율 차이가 상기 제 1의 임계치보다 더 크고 상기 제 2의 임계치보다 더 작은지의 여부에 적어도 부분적으로 기초하여, 그리고 상기 제 2의 정규화된 반사율 차이가 상기 제 3의 임계치보다 더 크고 상기 제 4의 임계치보다 더 작은지의 여부에 적어도 부분적으로 기초하여, 상기 검출된 사람 얼굴이 라이브 사람 얼굴인지의 여부를 결정하도록 더 구성되는, 이미지에서 라이브 사람 얼굴을 검출하기 위한 이미징 시스템.
  22. 제 21항에 있어서,
    상기 피부 검증 모듈은, 상기 검출된 얼굴에서 라이브 사람 피부를 나타내는 이미지 데이터를 포함하는 픽셀들의 수에 적어도 부분적으로 기초하여, 상기 검출된 사람 얼굴이 라이브 사람 얼굴인지의 여부를 결정하도록 더 구성되는, 이미지에서 라이브 사람 얼굴을 검출하기 위한 이미징 시스템.
  23. 제 19항에 있어서,
    상기 피부 검증 모듈은, 상기 제 1의 정규화된 반사율 차이의 제 1의 확률 밀도 함수 및 상기 제 2의 정규화된 반사율 차이의 제 2의 확률 밀도 함수를 획득하도록 더 구성되고,
    상기 제 1의 확률 밀도 함수 및 상기 제 2의 확률 밀도 함수는 라이브 사람 피부의 이미지 데이터에 적어도 부분적으로 기초하는, 이미지에서 라이브 사람 얼굴을 검출하기 위한 이미징 시스템.
  24. 제 23항에 있어서,
    상기 피부 검증 모듈은:
    상기 NIR 이미지 데이터의 한 부분과 상기 가시광 이미지 데이터의 대응하는 부분이 라이브 사람 피부를 나타내는 이미지 데이터를 포함하고 있을 제 1의 확률을 계산하도록 더 구성되고,
    상기 제 1의 확률은 상기 제 1의 확률 밀도 함수와 상기 제 2의 확률 밀도 함수에 적어도 부분적으로 기초하는, 이미지에서 라이브 사람 얼굴을 검출하기 위한 이미징 시스템.
  25. 제 24항에 있어서,
    상기 피부 검증 모듈은:
    상기 제 1의 정규화된 반사율 차이의 제 3의 확률 밀도 함수 및 상기 제 2의 정규화된 반사율 차이의 제 4의 확률 밀도 함수를 획득하는 것으로서, 상기 제 3의 확률 밀도 함수 및 상기 제 4의 확률 밀도 함수는 라이브 사람 피부를 나타내지 않는 이미지 데이터에 적어도 부분적으로 기초하는, 상기 획득하고; 그리고
    상기 NIR 이미지 데이터의 상기 한 부분과 상기 가시광 이미지 데이터의 상기 대응하는 부분이 라이브 사람 피부를 나타내지 않는 이미지 데이터를 포함하고 있을 제 2의 확률을 계산하도록 더 구성되고,
    상기 제 2의 확률은 상기 제 3의 확률 밀도 함수와 상기 제 4의 확률 밀도 함수에 적어도 부분적으로 기초하는, 이미지에서 라이브 사람 얼굴을 검출하기 위한 이미징 시스템.
  26. 제 16항에 있어서,
    멀티스펙트럼 이미지 데이터를 수신하도록 구성된 통신 모듈을 더 포함하는, 이미지에서 라이브 사람 얼굴을 검출하기 위한 이미징 시스템.
  27. 제 16항에 있어서,
    상기 검출된 얼굴이 라이브 사람 얼굴인지 아닌지를 유저에게 통지하도록 구성된 유저 통신 모듈을 더 포함하는, 이미지에서 라이브 사람 얼굴을 검출하기 위한 이미징 시스템.
  28. 제 16항에 있어서,
    컴퓨터 판독가능 명령들 및 이미지 데이터 중 적어도 하나를 저장하도록 구성된 메모리를 더 포함하는, 이미지에서 라이브 사람 얼굴을 검출하기 위한 이미징 시스템.
  29. 이미징 시스템으로서,
    사람 얼굴을 포함하는 멀티스펙트럼 이미지 데이터를 수신하는 수단으로서, 상기 멀티스펙트럼 이미지 데이터는 가시광 이미지 데이터와 근적외 (NIR) 이미지 데이터를 포함하는, 상기 멀티스펙트럼 이미지 데이터를 수신하는 수단;
    상기 사람 얼굴을 검출하기 위해 상기 멀티스펙트럼 이미지 데이터를 프로세싱하는 수단; 및
    검출된 상기 사람 얼굴이 라이브 사람 얼굴인지의 여부를 결정하기 위해, 상기 가시광 이미지 데이터에서의 상기 검출된 사람 얼굴을 상기 NIR 이미지 데이터에서의 상기 검출된 사람 얼굴과 관련시키는 수단을 포함하는, 이미징 시스템.
  30. 제 29항에 있어서,
    상기 멀티스펙트럼 이미지 데이터를 수신하는 수단은 통신 모듈을 포함하는, 이미징 시스템.
  31. 제 29항에 있어서,
    상기 멀티스펙트럼 이미지 데이터를 프로세싱하는 수단은 얼굴 검출 모듈을 포함하는, 이미징 시스템.
  32. 제 29항에 있어서,
    상기 가시광 이미지 데이터에서의 상기 검출된 사람 얼굴을 상기 NIR 이미지 데이터에서의 상기 검출된 사람 얼굴과 관련시키는 수단은, 피부 검증 모듈을 포함하는, 이미징 시스템.
  33. 제 29항에 있어서,
    멀티스펙트럼 이미지 데이터를 캡쳐하는 수단을 더 포함하는, 이미징 시스템.
  34. 제 33항에 있어서,
    상기 멀티스펙트럼 이미지 데이터를 캡쳐하는 수단은, NIR 이미징 센서와 가시광 센서를 포함하는, 이미징 시스템.
  35. 코드가 저장된 비일시적 컴퓨터 판독가능 매체로서,
    상기 코드는 실행시,
    사람 얼굴을 포함하는 멀티스펙트럼 이미지 데이터를 수신하는 단계로서, 상기 멀티스펙트럼 이미지 데이터는 가시광 이미지 데이터와 근적외 (near-infrared; NIR) 이미지 데이터를 포함하는, 상기 멀티스펙트럼 이미지 데이터를 수신하는 단계;
    상기 사람 얼굴을 검출하기 위해 상기 멀티스펙트럼 이미지 데이터를 프로세싱하는 단계; 및
    검출된 상기 사람 얼굴이 라이브 사람 얼굴인지의 여부를 결정하기 위해, 상기 가시광 이미지 데이터에서의 상기 검출된 사람 얼굴을 상기 NIR 이미지 데이터에서의 상기 검출된 사람 얼굴과 관련시키는 단계
    를 포함하는 방법을 수행하는, 코드가 저장된 비일시적 컴퓨터 판독가능 매체.
KR20157001834A 2012-06-26 2013-06-18 얼굴 검증용 시스템들 및 방법 KR20150022016A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/533,706 US10452894B2 (en) 2012-06-26 2012-06-26 Systems and method for facial verification
US13/533,706 2012-06-26
PCT/US2013/046366 WO2014004179A1 (en) 2012-06-26 2013-06-18 Systems and method for facial verification

Publications (1)

Publication Number Publication Date
KR20150022016A true KR20150022016A (ko) 2015-03-03

Family

ID=48793523

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20157001834A KR20150022016A (ko) 2012-06-26 2013-06-18 얼굴 검증용 시스템들 및 방법

Country Status (6)

Country Link
US (1) US10452894B2 (ko)
EP (1) EP2864931A1 (ko)
JP (1) JP6242888B2 (ko)
KR (1) KR20150022016A (ko)
CN (1) CN104364798B (ko)
WO (1) WO2014004179A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210085599A (ko) * 2019-12-31 2021-07-08 주식회사 에이블에이아이 얼굴 인식을 사용하는 개인 식별 장치

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103514435A (zh) * 2012-06-29 2014-01-15 富士通株式会社 手检测方法和装置
US9996726B2 (en) 2013-08-02 2018-06-12 Qualcomm Incorporated Feature identification using an RGB-NIR camera pair
WO2015136675A1 (ja) * 2014-03-13 2015-09-17 日本電気株式会社 検知装置、検知方法、および、記録媒体
US9396537B2 (en) * 2014-09-09 2016-07-19 EyeVerify, Inc. Systems and methods for liveness analysis
EP3270354B1 (en) 2015-03-13 2022-10-26 Nec Corporation Living body detection device, living body detection method, and recording medium
CN104700087B (zh) * 2015-03-23 2018-05-04 上海交通大学 可见光与近红外人脸图像的相互转换方法
JP6308161B2 (ja) 2015-03-31 2018-04-11 株式会社エクォス・リサーチ 脈波検出装置、及び脈波検出プログラム
WO2016159150A1 (ja) * 2015-03-31 2016-10-06 株式会社エクォス・リサーチ 脈波検出装置、及び脈波検出プログラム
US10504228B2 (en) 2015-05-15 2019-12-10 Sony Corporation Image processing system and method
US20190050985A1 (en) * 2016-02-08 2019-02-14 Koninklijke Philips N.V. Device, system and method for pulsatility detection
US10424072B2 (en) 2016-03-01 2019-09-24 Samsung Electronics Co., Ltd. Leveraging multi cues for fine-grained object classification
JP2017191374A (ja) * 2016-04-11 2017-10-19 シャープ株式会社 生体判定装置、端末装置、生体判定装置の制御方法、制御プログラム
CN105930780A (zh) * 2016-04-14 2016-09-07 苏州优化智能科技有限公司 基于近红外和面部微表情的真人活体身份验证方法
CN105912908A (zh) * 2016-04-14 2016-08-31 苏州优化智能科技有限公司 基于红外的真人活体身份验证方法
JP2017208616A (ja) * 2016-05-16 2017-11-24 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
US10579860B2 (en) 2016-06-06 2020-03-03 Samsung Electronics Co., Ltd. Learning model for salient facial region detection
CN106446831B (zh) * 2016-09-24 2021-06-25 江西欧迈斯微电子有限公司 一种人脸识别方法及装置
CN107992728B (zh) * 2016-10-27 2022-05-20 腾讯科技（深圳）有限公司 人脸验证方法及装置
WO2018079031A1 (ja) 2016-10-31 2018-05-03 日本電気株式会社 画像処理装置、画像処理方法、顔認証システム、プログラム及び記録媒体
CN108229326A (zh) * 2017-03-16 2018-06-29 北京市商汤科技开发有限公司 人脸防伪检测方法和系统、电子设备、程序和介质
US10515199B2 (en) * 2017-04-19 2019-12-24 Qualcomm Incorporated Systems and methods for facial authentication
US10657401B2 (en) * 2017-06-06 2020-05-19 Microsoft Technology Licensing, Llc Biometric object spoof detection based on image intensity variations
TWI630559B (zh) * 2017-06-22 2018-07-21 佳世達科技股份有限公司 影像擷取裝置及影像擷取方法
CN109583285B (zh) * 2017-09-29 2023-03-07 阿里巴巴集团控股有限公司 对象识别方法
US10726245B2 (en) * 2017-12-12 2020-07-28 Black Sesame International Holding Limited Secure facial authentication system using active infrared light source and RGB-IR sensor
CN109977741A (zh) * 2017-12-28 2019-07-05 北京京东尚科信息技术有限公司 人脸识别方法、装置、系统及介质
CN108376239B (zh) * 2018-01-25 2021-10-15 努比亚技术有限公司 一种人脸识别方法、移动终端及存储介质
JP2018152079A (ja) * 2018-03-23 2018-09-27 日本電気株式会社 検知装置
JP6819653B2 (ja) * 2018-07-09 2021-01-27 日本電気株式会社 検知装置
CN109271954B (zh) * 2018-09-29 2022-04-22 北京百度网讯科技有限公司 用于检测模型可靠性的方法及装置
CN111222380B (zh) * 2018-11-27 2023-11-03 杭州海康威视数字技术股份有限公司 一种活体检测方法、装置、及其识别模型训练方法
CN109871773A (zh) * 2019-01-21 2019-06-11 深圳市云眸科技有限公司 活体检测方法、装置及门禁机
FR3095064A1 (fr) 2019-04-09 2020-10-16 Cynove Procédés et dispositifs de levée de doute biométrique
CN110503023A (zh) * 2019-08-19 2019-11-26 深圳市商汤科技有限公司 活体检测方法及装置、电子设备和存储介质
JP2020074241A (ja) * 2020-02-12 2020-05-14 日本電気株式会社 検知装置
CN111178341B (zh) * 2020-04-10 2021-01-26 支付宝(杭州)信息技术有限公司 一种活体检测方法、装置及设备
CN111611977B (zh) * 2020-06-05 2021-10-15 吉林求是光谱数据科技有限公司 基于光谱与多波段融合的人脸识别监控系统及识别方法
CN112016478B (zh) * 2020-08-31 2024-04-16 中国电子科技集团公司第三研究所 一种基于多光谱图像融合的复杂场景识别方法及系统
DE102020214713A1 (de) 2020-11-24 2022-05-25 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zum Unterscheiden einer realen Person von einem Surrogat
JP2021047929A (ja) * 2020-12-28 2021-03-25 日本電気株式会社 情報処理装置
US11657589B2 (en) * 2021-01-13 2023-05-23 Ford Global Technologies, Llc Material spectroscopy
US11741747B2 (en) 2021-01-13 2023-08-29 Ford Global Technologies, Llc Material spectroscopy
WO2022150874A1 (en) * 2021-01-13 2022-07-21 Seeing Machines Limited System and method for skin detection in images
US11967184B2 (en) 2021-05-21 2024-04-23 Ford Global Technologies, Llc Counterfeit image detection
US11769313B2 (en) 2021-05-21 2023-09-26 Ford Global Technologies, Llc Counterfeit image detection
US11636700B2 (en) 2021-05-21 2023-04-25 Ford Global Technologies, Llc Camera identification
CN113297978B (zh) * 2021-05-26 2024-05-03 奥比中光科技集团股份有限公司 活体检测方法、装置及电子设备
CN113297977B (zh) * 2021-05-26 2023-12-22 奥比中光科技集团股份有限公司 活体检测方法、装置及电子设备
CN113516089B (zh) * 2021-07-27 2024-04-12 中国平安人寿保险股份有限公司 人脸图像识别方法、装置、设备及可读存储介质

Family Cites Families (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2823564B2 (ja) 1988-05-27 1998-11-11 日本電信電話株式会社 生物体検知装置
US6496594B1 (en) 1998-10-22 2002-12-17 Francine J. Prokoski Method and apparatus for aligning and comparing images of the face and body from different imagers
US6424727B1 (en) 1998-11-25 2002-07-23 Iridian Technologies, Inc. System and method of animal identification and animal transaction authorization using iris patterns
US6820979B1 (en) 1999-04-23 2004-11-23 Neuroptics, Inc. Pupilometer with pupil irregularity detection, pupil tracking, and pupil response detection capability, glaucoma screening capability, intracranial pressure detection capability, and ocular aberration measurement capability
US6920236B2 (en) 2001-03-26 2005-07-19 Mikos, Ltd. Dual band biometric identification system
US7027619B2 (en) * 2001-09-13 2006-04-11 Honeywell International Inc. Near-infrared method and system for use in face detection
US7469160B2 (en) 2003-04-18 2008-12-23 Banks Perry S Methods and apparatus for evaluating image focus
JP4387643B2 (ja) 2002-07-31 2009-12-16 富士通株式会社 個人認識機能付き処理装置
US8190239B2 (en) 2002-09-03 2012-05-29 Fujitsu Limited Individual identification device
US7460696B2 (en) 2004-06-01 2008-12-02 Lumidigm, Inc. Multispectral imaging biometrics
GB0316631D0 (en) 2003-07-16 2003-08-20 Omniperception Ltd Facial liveness assessment system
CN100375121C (zh) 2003-07-17 2008-03-12 松下电器产业株式会社 虹彩码生成方法、个人认证方法、虹彩码注册装置、个人认证装置
JP4254418B2 (ja) 2003-08-18 2009-04-15 Ｋｄｄｉ株式会社 個人認証装置及び方法並びに携帯通信端末
JP4470434B2 (ja) 2003-10-06 2010-06-02 富士ゼロックス株式会社 動作識別装置、及び対象物の姿勢識別装置
FR2864290B1 (fr) 2003-12-18 2006-05-26 Sagem Procede et dispositif de reconnaissance d'iris
KR100682898B1 (ko) 2004-11-09 2007-02-15 삼성전자주식회사 적외선을 이용한 영상 장치 및 그의 영상 식별 방법
US7469060B2 (en) 2004-11-12 2008-12-23 Honeywell International Inc. Infrared face detection and recognition system
US7602942B2 (en) 2004-11-12 2009-10-13 Honeywell International Inc. Infrared and visible fusion face recognition system
US7417727B2 (en) * 2004-12-07 2008-08-26 Clean Earth Technologies, Llc Method and apparatus for standoff detection of liveness
JPWO2006088042A1 (ja) 2005-02-16 2008-07-03 松下電器産業株式会社 生体判別装置および認証装置ならびに生体判別方法
JP4696610B2 (ja) 2005-03-15 2011-06-08 オムロン株式会社 被写体認証装置、顔認証装置、携帯電話、及び被写体認証方法
US8260008B2 (en) 2005-11-11 2012-09-04 Eyelock, Inc. Methods for performing biometric recognition of a human eye and corroboration of same
US20070248330A1 (en) * 2006-04-06 2007-10-25 Pillman Bruce H Varying camera self-determination based on subject motion
EP2041696B1 (en) 2006-07-19 2020-11-18 HID Global Corporation Multibiometric multispectral imager
US7801339B2 (en) 2006-07-31 2010-09-21 Lumidigm, Inc. Biometrics with spatiospectral spoof detection
EP2076871A4 (en) 2006-09-22 2015-09-16 Eyelock Inc COMPACT BIOMETRIC DETECTION SYSTEM AND CORRESPONDING METHOD
US8953849B2 (en) 2007-04-19 2015-02-10 Eyelock, Inc. Method and system for biometric recognition
US20090060286A1 (en) 2007-09-04 2009-03-05 General Electric Company Identification system and method utilizing iris imaging
KR101615472B1 (ko) 2007-09-24 2016-04-25 애플 인크. 전자 장치 내의 내장형 인증 시스템들
US8411910B2 (en) 2008-04-17 2013-04-02 Biometricore, Inc. Computationally efficient feature extraction and matching iris recognition
US8345936B2 (en) 2008-05-09 2013-01-01 Noblis, Inc. Multispectral iris fusion for enhancement and interoperability
FR2931979B1 (fr) 2008-06-02 2014-02-28 Advanced Track & Trace Procede et dispositif d'identification d'une plaque d'impression d'un document
CN101404060B (zh) 2008-11-10 2010-06-30 北京航空航天大学 一种基于可见光与近红外Gabor信息融合的人脸识别方法
JP4702441B2 (ja) 2008-12-05 2011-06-15 ソニー株式会社 撮像装置及び撮像方法
US8374404B2 (en) 2009-02-13 2013-02-12 Raytheon Company Iris recognition using hyper-spectral signatures
US8503778B2 (en) 2009-05-14 2013-08-06 National University Of Singapore Enhancing photograph visual quality using texture and contrast data from near infra-red images
JP2011243862A (ja) 2010-05-20 2011-12-01 Sony Corp 撮像デバイス及び撮像装置
US8408821B2 (en) 2010-10-12 2013-04-02 Omnivision Technologies, Inc. Visible and infrared dual mode imaging system
CN101964056B (zh) 2010-10-26 2012-06-27 徐勇 一种具有活体检测功能的双模态人脸认证方法和系统
US8897522B2 (en) 2012-05-30 2014-11-25 Xerox Corporation Processing a video for vascular pattern detection and cardiac function analysis
US8411909B1 (en) 2012-06-26 2013-04-02 Google Inc. Facial recognition
WO2014028911A2 (en) 2012-08-16 2014-02-20 Potter Darrel V Structure formed from panels joined with universal clamping brackets
US9996726B2 (en) 2013-08-02 2018-06-12 Qualcomm Incorporated Feature identification using an RGB-NIR camera pair
US20160019421A1 (en) 2014-07-15 2016-01-21 Qualcomm Incorporated Multispectral eye analysis for identity authentication
US20170091550A1 (en) 2014-07-15 2017-03-30 Qualcomm Incorporated Multispectral eye analysis for identity authentication
US20160019420A1 (en) 2014-07-15 2016-01-21 Qualcomm Incorporated Multispectral eye analysis for identity authentication

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210085599A (ko) * 2019-12-31 2021-07-08 주식회사 에이블에이아이 얼굴 인식을 사용하는 개인 식별 장치

Also Published As

Publication number Publication date
JP6242888B2 (ja) 2017-12-06
US20130342702A1 (en) 2013-12-26
CN104364798A (zh) 2015-02-18
JP2015528942A (ja) 2015-10-01
US10452894B2 (en) 2019-10-22
WO2014004179A1 (en) 2014-01-03
EP2864931A1 (en) 2015-04-29
CN104364798B (zh) 2019-04-02

Similar Documents

Publication Publication Date Title
US10452894B2 (en) Systems and method for facial verification
CN108038456B (zh) 一种人脸识别系统中的防欺骗方法
EP2962278B1 (en) Multi-spectral imaging system for shadow detection and attenuation
KR102466997B1 (ko) 라이브니스 검사 방법 및 장치
US11294996B2 (en) Systems and methods for using machine learning for image-based spoof detection
WO2019134536A1 (zh) 基于神经网络模型的人脸活体检测
CN107111704B (zh) 基于生物识别系统在虹膜内欺骗检测的系统和方法
WO2019137178A1 (zh) 人脸活体检测
JP5076563B2 (ja) 顔照合装置
US11527103B2 (en) Auxtiliary filtering device of electronic device and cellphone
Gottemukkula et al. Fusing iris and conjunctival vasculature: Ocular biometrics in the visible spectrum
CN109948439B (zh) 一种活体检测方法、系统及终端设备
US11315360B2 (en) Live facial recognition system and method
CN116311549A (zh) 活体对象识别方法、设备和计算机可读存储介质
WO2021166289A1 (ja) データ登録装置、生体認証装置、および記録媒体
Hadwiger et al. Towards learned color representations for image splicing detection
JP6878826B2 (ja) 撮影装置
JP2017157043A (ja) 画像処理装置、撮像装置、及び、画像処理方法
Hadiprakoso Face anti-spoofing method with blinking eye and hsv texture analysis
JP2013210778A (ja) 撮像装置
US8581999B2 (en) Method of automatically performing pet eye correction
CN111178112B (zh) 真脸识别装置
US20220114359A1 (en) Passive image depth sensing for object verification based on chromatic differentiation
TWI597675B (zh) Method of measuring face width and electronic device readable storage medium
KR20210050649A (ko) 모바일 기기의 페이스 인증 방법

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid