KR101902136B1

KR101902136B1 - 라이브니스 분석을 위한 시스템들 및 방법들

Info

Publication number: KR101902136B1
Application number: KR1020177009343A
Authority: KR
Inventors: 데이빗 히르보넨
Original assignee: 아이베리파이 인크.
Priority date: 2014-09-09
Filing date: 2015-09-09
Publication date: 2018-09-27
Also published as: CA2960397C; WO2016040487A3; CN107077602B; EP3192008A2; MX2017002987A; CN107077602A; EP3192008B1; ES2688399T3; RU2671540C2; AU2018247216B2; AU2015315156A1; RU2017111779A; US10237459B2; MX359546B; US9396537B2; SG11201701855RA; BR112017004427B1; US20160071275A1; BR112017004427A2; JP2017534102A

Abstract

인증을 위해 제시되는 이미지의 라이브니스를 결정하는 시스템에서, 참조 신호는 디스플레이 상에 렌더링되고, 타겟으로부터의 렌더링된 신호의 반사가 그것의 라이브니스를 결정하기 위해 분석된다. 분석은 반사된 신호를 공간적으로 및/또는 시간적으로 대역 통과 필터링하는 단계, 및 반사된 신호의 하나 이상의 프레임들 내의 각각의 픽셀 및/또는 반사된 신호의 각각의 프레임에 대한 RGB 값들을 결정하는 단계를 포함한다. 결정된 RGB 값들과 렌더링된 신호 사이의 프레임 레벨 및/또는 픽셀-바이-픽셀 상관들이 계산되고, 제시되는 이미지가 라이브인지 또는 가짜인지의 판단은 어느 하나의 상관 또는 둘 다의 상관들을 사용하여 이루어진다.

Description

라이브니스 분석을 위한 시스템들 및 방법들{SYSTEMS AND METHODS FOR LIVENESS ANALYSIS}

관련 출원들에 대한 상호 참조

본 출원은 2014년 9월 9일에 출원되고, 발명의 명칭이 "Systems and Methods for Liveness Analysis"인 계류중의 미국 특허 출원 제14/480,802호의 연속 출원이고, 이 미국 특허 출원에 대한 우선권을 주장하며, 그것의 개시내용은 본원에 전체적으로 참조로 포함된다.

기술분야

본 개시내용은 일반적으로 이미지 분석에 관한 것으로, 특히, 이미지에 도시되는 피사체가 얼라이브인지를 검출하는 이미지 처리 기술들에 관한 것이다.

특정 개인들에게 재산 또는 자원들에의 액세스를 제한하는 것이 종종 바람직하다. 생체 인식 시스템들은 자원에의 액세스를 승인하거나 거부하기 위해 개인의 신원을 인증하는 데 사용될 수 있다. 예를 들어, 홍채 스캐너들은 개인의 홍채 내의 고유 구조들에 기초하여 개인을 식별하도록 생체 인식 보안 시스템에 의해 사용될 수 있다. 그러나, 그러한 시스템은 임포스터(imposter)가 허가된 사람의 얼굴의 미리 기록된 이미지 또는 비디오를 스캐닝을 위해 제시하면, 임포스터를 잘못 허가할 수 있다. 그러한 가짜 이미지 또는 비디오는 스캐닝을 위해 사용되는 카메라의 정면에 유지되는 음극선관(cathode ray tube)(CRT) 또는 액정 디스플레이(liquid crystal display)(LCD) 스크린과 같은 모니터 상에 광택 사진들 등으로 디스플레이될 수 있다. 일부 소위 위장 검출 시스템들은 안구 운동을 확인함으로써 가짜 이미지를 검출할 수 있다. 그러나, 그러한 시스템은 예상된 안구 운동을 포함하는 가짜 비디오를 식별할 시에 유효하지 않을 수 있다. 따라서, 허가된 사람들에 의해 라이브로 제공되는 것들로부터 가짜 이미지들 및 비디오들을 효율적으로 결정하는 개선된 시스템들 및 방법들이 요구된다.

본원에 설명되는 다양한 구현들에서, 실제/진짜 얼굴들 및 임포스터 얼굴들의 반사 특성들의 차이들은 임포스터 이미지들/비디오들로부터 라이브의, 진짜 얼굴들 및/또는 눈들을 구별하기 위해 사용된다. 이것은 실제 얼굴 또는 가짜 이미지일 수 있는 타겟의 정면에 유지되는 스크린 상에 참조 신호를 렌더링함으로써, 타겟에 의한 참조 신호의 반사를 기록함으로써, 그리고 반사된 신호와 렌더링된 신호 사이에서 하나 이상의 상관들을 계산함으로써 부분적으로 달성된다.

따라서, 일 양태에서, 라이브 이미지가 인증을 위해 제시되는지를 판단하는 컴퓨터 구현 방법은 위상에서 서로 분리되는 수개의 상이한 개별 신호들을 포함하는 시변 제1 신호를 디스플레이 디바이스 상에 렌더링하는 단계를 포함한다. 방법은 또한 렌더링 동안, 렌더링된 제1 신호에 의해 조명되는 타겟의 다수의 이미지들을 캡처하는 단계, 및 복수의 필터링된 이미지들을 발생시키기 위해 대역 통과 필터를 시간적으로 이미지들에 적용하는 단계를 포함한다. 방법은 필터링된 이미지들로부터 제2 신호를 추출하는 단계, 및 제1 신호 및 제2 신호의 시간 상관에 적어도 기초하여 제1 측정값을 발생시키는 단계를 더 포함한다. 게다가, 방법은 복수의 픽셀 위치들 내의 각각의 픽셀 위치에 대해, 다수의 필터링된 이미지들에서 시간에 걸쳐 픽셀 위치의 각각의 값의 변화들에 기초하여 픽셀 위치에 대한 각각의 신호를 추출하는 단계; 및 제1 신호와 픽셀 위치의 각각의 추출된 신호의 상관에 기초하여 픽셀 위치들 각각에 대한 각각의 픽셀 위치 상관 스코어를 산출하는 단계를 포함한다. 방법은 수개의 픽셀 위치 상관 스코어들에 적어도 기초하여 제2 측정값을 발생시키는 단계, 및 제1 및 제2 측정값들에 적어도 기초하여 타겟을 수용하거나 거부하는 단계를 더 포함한다.

제1 신호의 각각의 개별 신호는 상이한 컬러를 가질 수 있고, 컬러들 각각은 동일한 주파수를 사용하여 렌더링될 수 있다. 일부 구현들에서, 제1 신호의 각각의 개별 신호는 상이한 단색 신호이고, 제1 신호는 사인파일 수 있다. 제1 신호의 각각의 개별 신호는 별개의 사인파일 수 있고, 사인파들은 제1 신호에 중첩될 수 있다. 제1 신호의 개별 신호들은 랜덤하게 발생될 수 있다. 일부 구현들에서, 픽셀 위치의 특정한 각각의 값은 컬러일 수 있다.

각각의 이미지는 각각의 변환을 각각 겪었거나, 상이한 각각의 분해능에서의 것이거나, 선택된 조명 현상에 대응하는 상이한 개별 공간 주파수 대역을 포함하는 다수의 개별 이미지들을 포함할 수 있다. 제1 측정값은 제1 신호의 위상이 제2 신호의 위상과 매칭하는지에 더 기초할 수 있다. 필터링된 이미지들로부터 제2 신호를 추출하는 단계는 각각의 필터링된 이미지들의 각각의 도미넌트 컬러 값으로부터 제2 신호를 추출하는 단계를 포함할 수 있다. 일부 구현들에서, 방법은 대역 통과 필터를 적용하기 전에 캡처된 및/또는 처리된 이미지들의 수개에서 타겟을 안정화하는 단계를 더 포함한다. 대역 통과 필터는 주파수 도메인 또는 시간 도메인에서 적용될 수 있다.

일부 구현들에서, 다수의 픽셀 위치 상관 스코어들에 적어도 기초하여 제2 측정값을 발생시키는 단계는 제2 측정값을 발생시키기 위해 픽셀 위치 상관 스코어들을 조합하는 단계를 포함한다. 타겟은 인간 얼굴일 수 있고 조합된 픽셀 위치 상관 스코어들 얼굴의 특정 영역의 픽셀 위치들에 대한 것일 수 있다. 얼굴의 특정 영역은 (i) 복수의 이미지들에서 차단되거나 과노출되는 얼굴의 하나 이상의 부분들을 적어도 부분적으로 회피하는 동적 이미지 분석, 및 (ii) 렌더링된 제1 신호를 반사시킬 가능성이 있는 얼굴의 특징들에 관한 지식을 표현하는 마스크 또는 가중 맵 중 하나 이상을 사용하여 결정될 수 있다.

각각의 픽셀 위치는 수개의 이미지 데이터 요소들을 표현할 수 있으며 그것의 일부 또는 전부는 상이한 분해능들에서의 것들일 수 있다. 각각의 픽셀 위치는 픽셀 위치의 각각의 이미지 데이터 요소들의 가중화된 조합일 수 있다. 수개의 캡처된 이미지들은 가우시안 피라미드 또는 라플라시안 피라미드를 표현할 수 있다. 필터링된 이미지들의 특정 필터링된 이미지는 다수의 피라미드 레벨들의 가중화된 조합을 표현할 수 있다. 이러한 양태의 다른 실시예들은 대응하는 시스템들, 장치, 및 컴퓨터 프로그램들을 포함한다.

본 명세서에 설명되는 발명 대상의 특정 구현들은 이하의 장점들 중 하나 이상을 실현할 수 있다. 예를 들어, 검출 기술은 검출을 수행하는 동안 렌더링되는 멀티스펙트럼 패턴 신호에 의존한다. 인증을 위해 제공되는 임의의 기록된 비디오/이미지로부터의 사람의 얼굴 및/또는 눈의 이미지들은 라이브니스 검출 동안 제공되는 멀티스펙트럼 패턴 신호와 상관할 가능성이 없다. 더욱이, 그러한 비디오/이미지를 렌더링하는 스크린으로부터 멀티스펙트럼 패턴 신호의 임의의 반사는 라이브 사람의 얼굴 및/또는 눈으로부터의 반사와 사실상 상이할 가능성이 있다. 본원에 설명되는 다양한 구현들은 아래에 설명되는 바와 같이 이러한 이형들(anomalies)을 검출할 수 있고, 그와 같이, 가짜 비디오들 및/또는 이미지들로부터 라이브의, 허가된 사람을 구별할 시에 보다 강력할 수 있다.

본 명세서에 설명되는 발명 대상의 하나 이상의 실시예들의 상세들은 아래의 첨부 도면들 및 명세서에 제시된다. 발명 대상의 다른 특징들, 양태들, 및 장점들은 명세서, 도면들, 및 청구항들로부터 분명해질 것이다.

특허 또는 출원 파일은 컬러로 제작되는 적어도 하나의 도면을 포함한다. 컬러 도면(들)을 갖는 이 특허 또는 특허 출원 공보의 사본들은 요청 또는 필요한 수수료의 지불 시에 특허청에 의해 제공될 것이다.
도 1은 2개의 라이브니스 측정값들을 결정하는 예시적 절차를 예시한다.
도 2(a) 내지 도 2(c)는 예시적인 캡처된 비디오 프레임, 대응하는 정규화되고 안정화된 비디오 프레임, 및 대응하는 시간 대역 통과 필터링된 프레임을 각각 도시한다.
도 3(a) 내지 도 3(c)는 캡처된 비디오 프레임들의 시퀀스에 대응하는 예시적인 복원된 RGB 신호들, 복원된 RGB 신호들의 대역 통과 필터 응답, 및 대응하는 렌더링된 참조 RGB 신호들을 각각 도시한다.
도 4(a) 내지 도 4(c)는 상단으로부터 하단으로, 도 3(a) 내지 도 3(c)에 도시되는 신호들의 고속 푸리에 변환(fast Fourier transform)(FFT) 주기도들을 각각 도시한다.
도 4(d)는 도 3(b)에 도시되는 대역 통과 필터 응답을 발생시키기 위해 사용되는 시간 버터워스 필터를 도시한다.
도 5(a)는 예시적인 평균화된 정규화 및 안정화 이미지 프레임을 도시한다.
도 5(b) 내지 도 5(d)는 대응하는 2차원(two dimensional)(2D) 상관 이미지, 처리된 상관 이미지, 및 대응하는 포화 이미지를 각각 도시한다.
도 5(e)는 예시적 얼굴 마스크를 도시한다.
도 5(f) 내지 도 5(k)는 참조 RGB 신호의 전체 사이클에 대응하는 예시적인 캡처된 비디오 프레임들을 도시하며, 이를 사용하여 도 5(b)에 도시된 2D 상관 이미지가 계산된다.
도 6은 가짜 이미지를 렌더링하는 LCD 모니터 및 가짜 이미지를 캡처하고 분석하는 전화의 예시적 구성을 도시한다.
도 7은 가짜 이미지를 렌더링하는 LCD 모니터 및 가짜 이미지를 캡처하고 분석하는 전화의 다른 예시적 구성을 도시한다.
도 8(a) 내지 도 8(k)는 도 6에 도시된 바와 같이 구성되는 LCD 모니터로부터 캡처되는 가짜 평균 이미지 프레임, 대응하는 2D 상관 이미지, 및 RGB 신호의 전체 사이클에 대응하는 비디오 프레임들을 도시하며, 이를 사용하여 도 8(b)에 도시된 2D 상관 이미지가 계산된다.
도 9(a) 내지 도 9(k)는 도 7에 도시된 바와 같이 구성되는 LCD 모니터로부터 캡처되는 가짜 평균 이미지 프레임, 대응하는 2D 상관 이미지, 및 RGB 신호의 전체 사이클에 대응하는 비디오 프레임들을 도시하며, 이를 사용하여 도 9(b)에 도시된 2D 상관 이미지가 계산된다.
도 10(a) 내지 도 10(c)는 도 9(f) 내지 도 9(k)에 도시되는 캡처된 가짜 비디오 프레임들의 시퀀스에 대응하는 복원된 RGB 신호들, 복원된 RGB 신호들의 대역 통과 필터 응답, 및 대응하는 렌더링된 참조 RGB 신호들을 각각 도시한다.
도 11(a) 내지 도 11(c)는 상단으로부터 하단으로, 도 10(a) 내지 도 10(c)에 도시되는 신호들의 고속 푸리에 변환(FFT) 주기도들을 각각 도시한다.
도 11(d)는 도 10(b)에 도시되는 대역 통과 필터 응답을 발생시키기 위해 사용되는 시간 버터워스 필터를 도시한다.
도 12는 가짜 이미지와 연관되는 모아레 패턴들을 도시한다.
도 13은 눈의 라이브니스를 검출하는 다른 예시적 절차를 예시한다.
도 14(a) 및 도 14(b)는 전화가 눈의 이미지를 캡처하는 것을 반영하는 예시적 눈, 및 대응하는 2D 상관 이미지를 각각 도시한다.
도 15(a)는 더 높은 분해능으로 도 12에 도시되는 가짜 이미지를 도시한다.
도 15(b) 및 도 15(c)는 도 15(a)에 도시된 이미지의 고분해능 크롭된 부분 및 도 13에 도시된 절차에 따라 계산되는 로컬 2D 상관을 도시한다.
다양한 도면들 내의 동일한 참조 번호들 및 지정들은 동일한 요소들을 표시한다.

도 1은 실제 라이브 사람 및 가짜(예를 들어, 라이브 사람의 이전에 캡처된 픽처들 또는 비디오)로부터 획득되는 눈의 이미지들을 구별하기 위해 사용될 수 있는 2개의 측정값들을 계산하는 일반적 프레임워크를 예시한다. 단계(102)에서, 멀티 스펙트럼 패턴은 사람의 얼굴(또는 "타겟")이 패턴에 의해 조명되도록 디스플레이 디바이스 상에 렌더링된다. 일부 구현들에서, 패턴은 약 1 초 동안 디스플레이되지만 다른 지속기간들이 가능하다. 디스플레이 디바이스는 예를 들어, 스마트폰, 스마트 안경, 스마트 워치, 태블릿 컴퓨터, 랩톱 컴퓨터 등과 같은 데이터 처리 장치의 디스플레이 디바이스일 수 있다. 다른 디스플레이 디바이스들이 가능하다. 멀티 스펙트럼 패턴에 의해 조명되는 타겟의 이미지들은 단계(104)에서 디지털 카메라에 의해 캡처된다. 일부 구현들에서, 디지털 카메라는 데이터 처리 장치의 프런트 페이싱 디지털 카메라이다. 다른 디바이스들 상의 디지털 카메라들을 포함하는 다른 디지털 카메라들이 사용될 수 있다.

다양한 구현들에서, 멀티 스펙트럼 패턴은 3개의 중첩된 사인파 신호들을 포함한다. 예를 들어, 적색, 녹색, 및 청색(RGB) 사인파들은 공통 베이어(Bayer) 패턴 디지털 카메라들 상에서 각각의 컬러 채널에 대한 네이티브 필터들의 감도들을 매칭하기 위해 사용될 수 있다. 사인파 신호들은 단일 대역 통과 필터가 후속 분석(아래에 설명됨)을 위해 사용될 수 있도록 실질적으로 단일 주파수에서 렌더링될 수 있다. 게다가, 3개의 사인파 신호들은 복원된 신호의 분리성을 개선하고 일부 사용자들에게 불편할 수 있는 플래싱 효과들을 악화시킬 수 있는 조명 갭들을 감소시키기 위해 3개의 컬러 채널들에 걸쳐 위상에서 균일하게 분리될 수 있다(예를 들어, 적색=0, 녹색=(2*pi)/3, 및 청색=(2*pi)*2/3). 일 구현에서, 광과민성 간질에 대한 임계값 아래이고, 짧은 시간 기간 내에 전형적인 저주파수 조명 잡음으로부터 용이하게 분리가능하기에 아직 충분히 빠른 약 4 Hz의 주파수가 사용된다. RGB 사인파들 외에도, 예를 들어 더 적거나 더 많은 성분 신호들, 적색 및 청색 사인파를 갖는 패턴들을 포함하는 다른 멀티 스펙트럼 패턴들이 사용될 수 있다.

디지털 카메라에 의해 캡처되는 이미지들을 포함하는 비디오 신호는 단계(104)에서 기록된다. 일부 구현들에서, 비디오 신호는 대략 25 Hz, 즉 25 프레임들/초에서 0.75 초 비디오 클립이다. 다른 지속기간들 및 프레임 속도들이 가능하다. 단계(106)에서, 기록된 비디오 신호 내의 각각의 프레임은 대략 이미지 프레임이 캡처된 시간에 단계(102)에서 디스플레이 디바이스 상에 렌더링되는 패턴의 값(예를 들어, RGB 값)으로 태깅될 수 있다. 교환 이미지 파일(Exchangeable Image File)(EXIF) 메타데이터(또는 다른 메타데이터)는 또한 일반적으로 자동 임계 조정을 위한 주위 조명의 측정값을 제공하기 위해 단계(106)에 저장될 수 있다. 메타데이터는 주위 밝기, 노출 시간, ISO 설정, 및/또는 개구 값을 포함할 수 있다.

일부 구현들에서, 비디오 안정화(레지스트레이션(registration) 및 와아핑(warping))는 장면 내의 지점들을 공통 참조 좌표 시스템에 매핑하기 위해 단계(108)에서 기록된 비디오 신호 상에 수행될 수 있다. 안정화 및 와아핑 후에, 프레임들은 환경에서 섀도우들 및 다른 조명 아티팩트들에 대한 감도를 감소시키기 위해 정규화된 RGB 컬러 공간으로 변환될 수 있고, 따라서 안정화되고 정규화된 비디오 신호가 단계(108)에서 획득된다.

단계(110)에서, 안정화되고 정규화된 비디오는 렌더링된 사인파의 주파수, 예를 들어, 일 예에서 4 Hz로 동조되는 시간 대역 통과 필터를 사용하여 처리된다. 예시로서, 필터는 안정화되고 정규화된 비디오 프레임들에 대응하는 가우시안 피라미드들(Gaussian pyramids)에 적용될 수 있다. 시간 대역 통과 필터링은 단계(108)에서 획득되는 정규화된 신호로부터, 단계(102)에서 렌더링되는 멀티 스펙트럼 패턴에 대응하는 응답 신호를 분리하기 위해 수행될 수 있다. 최종적으로, 대역 통과 필터링된 비디오 신호는 아래에 설명되는 바와 같이, (1) 단계(112)에서의 포괄적 프레임 기반 시간 상관, 및/또는 (2) 단계(114)에서의 로컬 픽셀-와이즈 상관을 획득하기 위해, 예를 들어 상이한 스케일들로 이전에 렌더링된 멀티 스펙트럼 패턴과 비교된다.

포괄적 시간 상관 측정값을 계산하기 위해, 단계(110)에서 획득되는 필터링된 응답 신호의 각각의 프레임은 단계(122)에서, 도미넌트 RGB 값으로 표현될 수 있다. 단계(122)에 할당되는 도미넌트 RGB 값은 단계(106)에서 기록된 비디오 신호에 태깅되는 RGB 값들에 의해 표현되는 바와 같이, 렌더링된 RGB 멀티 스펙트럼 패턴 컬러에 대응하는 것으로 예상된다. 예시로서, 도미넌트 RGB 값들은 색도 히스토그램으로부터 강력한 모드를 통해 또는 각각의 프레임에 대한 픽셀 값들의 가중 평균으로서 계산될 수 있다. 도미넌트 RGB 값을 결정하는 다른 방식들이 가능하다.

평균 포화 이미지는 필터링된 응답 신호로부터 계산되고(단계(110)) 가중 평균 방법을 위한 가중값들을 제공하기 위해 사용될 수 있다(단계(122)). 일부 구현들에서, 평균 포화 이미지는 처리되는 프레임에 대응하는 그레이 이미지에서의 거리이다. 최종 2차원(2D) 포화 이미지는 반사된 RGB 멀티 스펙트럼 패턴 강도에 비례한다. 다음에, 단계(124)에서, 선형 디트렌드(linear detrend)는 데이터로부터 임의의 램프 성분을 제거하기 위해, 추정된 적색, 녹색, 및 청색 신호들 각각에서 독립적으로 수행되어, 참조 RGB 멀티 스펙트럼 패턴 신호와의 비교를 더 적절하게 한다. 선형 디트렌드는 예를 들어 선형 m-추정기를 사용하여 산출될 수 있다.

도 3(a)는 예시적인 포괄적 RGB 신호를 도시한다. 신호는 하나의 프레임에 대응하고 그러한 프레임 내의 임의의 하나의 특정 픽셀에 대응하지 않는 도미넌트 RGB 값들을 표현하기 때문에 "포괄적"으로 칭해진다. 단계(126)에서, 이러한 포괄적 신호는 기록된 신호에 대응하는 적절한 주파수를 추출하기 위해 주파수 도메인에서 시간 대역 통과 버터워스 필터로 처리된다. 도 2(b) 및 도 2(c)는 필터링된 RGB 신호 및 렌더링된 참조 신호(즉, RGB 멀티 스펙트럼 패턴) 각각을 도시한다. 이러한 2개의 신호들은 단계(128)에서 정규화된 상호 상관을 사용하여 비교되고, nxcorr로 나타내는 최종 값은 제1 라이브니스 측정값을 표시한다. 일 구현에서, 작은 1차원(one dimensional)(1D) 시간 검색은 측정되고 렌더링된 RGB 신호들 사이에서 작은 시프트를 야기할 수 있는, 카메라 드라이버에서 레이턴시를 보상하기 위해 단계(128)에서 수행된다. 검색은 도 2(a)에서 조합된 파형 내의 각각의 지점은 전체 프레임을 표현하기 때문에 1D 검색이다. 도 4(a) 내지 도 4(c)는 도 3(a) 내지 도 3(c) 각각에 도시되는 신호들의 고속 푸리에 변환(FFT) 주기도들을 도시한다.

로컬 픽셀- 와이즈 상관

단계(114)에서, 필터링된 비디오 응답에서 각각의 픽셀 위치에서 계산되는 로컬 시간 정규화된 상호 상관의 공간 평균값(즉, 시간 대역 통과 필터를 통해 안정화되고 정규화된 기록 신호를 필터링함으로써 단계(110)에서 획득되는 신호)이 계산된다. 공간 평균화는 필터링된 응답에서 각각의 픽셀이 렌더링된 RGB 신호와 얼마나 정확히 매칭하는지를 표시할 수 있는 2D 상관 이미지(예를 들어, 범위 [-1 ... +1] 내의)를 생성할 수 있다. 예를 들어, 도 5(b)는 도 5(a)에 도시되는 예시적인 안정화되고 정규화된 기록 이미지에 대응하는 상관 이미지를 도시한다. 도 5(c)는 아래에 설명되는 바와 같이, 예를 들어 좌측 및 우측 상관 이미지들의 최대값을 선택함으로써 획득되는 처리된 2D 상관 이미지를 도시한다. 2D 상관을 계산하기 위해, 얼굴 마스크는 예를 들어 얼굴의 피부 부분에 처리를 제한하고, 그것에 의해 나쁜 알베도(albedo)를 갖는 얼굴의 어두운 특징들을 제거하고 및/또는 눈들의 독립적인 움직임으로부터 잡음을 제거하기 위해 단계(132)에서 적용될 수 있다. 도 5(e)는 예시적 얼굴 마스크를 도시한다. 그 다음, 로컬 픽셀-바이-픽셀 상관은 예를 들어 도 5(f) 내지 도 5(k)에 도시된 이미지 프레임들 각각에 대해 단계(134)에서 계산된다. 이러한 이미지들은 RGB 멀티 스펙트럼 패턴의 전체 사이클에 대응하고, 각각의 픽셀-바이-픽셀 상관들은 도 5(c)에 도시된 최종 2D 상관 이미지를 획득하기 위해 평균화되고 처리될 수 있다.

일부 구현들에서, 로컬 픽셀-바이-픽셀 상관을 계산할 시에, 상기 포괄적 상관으로부터의 복원된 위상 지연은 단계(110)에서 획득되는 안정화되고 정규화된 프레임들에 대응하는 볼륨 데이터에서 고비용의 상관 검색에 대한 요구를 회피하기 위해 단계(134)에서 사용될 수 있다. 일부 구현들에서, 평균 정규화된 공간 상호 상관 값들은 얼굴 마스크의 좌측 및 우측 측면들에 대해 단계들(136, 138) 각각에서 개별적으로 계산된다. 2개의 공간 상관들의 최대값은 단계(140)에서 선택될 수 있다. 이것은 심각한 조명 조건들이 종종 얼굴의 일 측면에만 제한되므로, 단일 평균값보다 더 강력한 상관 측정값을 제공할 수 있다. 교대로, 얼굴 마스크의 모든 픽셀들에 대한 포괄적 평균값은 EXIF 메타데이터로부터의 주위 밝기 값이 포화를 이룰 가능성이 없기에 충분히 낮으면 사용될 수 있으며, 예컨대 대부분의 실내 환경들에서 발견될 수 있다. 도 5(d)는 도 5(c)에 도시된 2D 상관 이미지에 대응하는 포화 이미지를 도시한다. nxcorr2로 나타내는 최종 평균화된 로컬 상관 측정값은 제2 라이브니스 측정값일 수 있다.

전형적으로, 실제 얼굴의 피부는 높은 알베도를 갖는 상대적 확산 반사를 제공하고, 그와 같이, 각각의 픽셀에서의 상관 값은 높을 수 있다. 상관 이미지는 비교적 낮은 공간 분산으로, 또한 상당히 균일해지는 경향이 있다. 대조적으로, 비디오 모니터가 임포스터 플레이백을 위해 사용될 때, 모니터는 미러와 같이 행동하는 경향이 있고, RGB 멀티 스펙트럼 패턴이 렌더링되는 디스플레이 스크린으로부터 방출되는 광의 반사의 각도에 따라, 광은 (도 6에 도시된 바와 같이) 스크린 상에 캡처되는 얼굴의 이미지의 작은 부분에서 국부적으로 다시 주로 반사되거나 도 7에 도시된 바와 같이 디스플레이 스크린에서 멀어지게 반사된다.

예를 들어, 도 8(a)는 도 6에 도시된 바와 같이, 액세스가 인가되는 디바이스(예를 들어, 전화)의 정면에 유지되는 LCD 스크린 상에 디스플레이되는 캡처된 임포스터 이미지를 도시한다. 도 8(b) 및 도 8(c)는 대응하는 2D 상관 이미지들을 도시하고, 도 8(d)는 대응하는 포화 이미지를 도시하고, 도 8(e)는 적용된 얼굴 마스크를 도시하고, 도 8(f) 내지 도 8(k)는 도 1의 단계(102)에 도시된 바와 같이 제공되는 RGB 멀티 스펙트럼 패턴의 전체 사이클에 대응하는 다양한 캡처된 이미지 프레임들을 도시한다. 이러한 예에서, 제2 측정값(nxcorr2)은 LCD 스크린이 이미지들을 캡처하기 위해 사용되는 전화와 평행하게 유지되기 때문에, 그리고 LCD 스크린이 미러의 역할을 하기 때문에 높다(약 0.63). 제1 측정값(nxcorr), 즉 포괄적 상관은 낮지만, 캡처된 이미지들이 라이브 소스로부터 획득될 가능성이 없는 것을 표시한다. 임포스터 이미지들을 디스플레이하는 LCD 스크린이 도 7에 도시된 바와 같이, RGB 멀티 스펙트럼 패턴을 렌더링하기 위해 사용되는 스크린에 대한 각도에 유지되면, 예를 들어, nxcorr2 및 nxcorr 값들 둘 다는 낮은 것으로 예상되며, 즉 선택된 임계값 예컨대 0.5, 0.4, 0.3 등 미만인 것으로 예상된다. 광이 카메라에서 멀어지게 반사되는 이러한 경우에 대응하는 전형적인 예는 도 9(a) 내지 도 9(k)에 도시된다. 이러한 경우에, 포괄적 측정값도 평균 로컬 상관 측정값도 예상된 RGB 신호에 대응하지 않아서, 일반적으로 측정값들(nxcorr 및 nxcorr2) 둘 다가 낮아지게 한다. 그와 같이, 단계(124)에서 획득되는 필터링된 응답 신호는 도 10(a) 내지 도 10(c)에 도시된 1D RGB 신호가 예시하는 바와 같이 매우 잡음적일 수 있다.

많은 비디오 플레이백 스크린들의 미러 유사 특성들을 이용하는 것에 더하여, 상관 측정값들은 도 9의 마지막 6개의 프레임들에서 알 수 있는 바와 같이, 비디오 플레이백으로부터의 다른 이형들, 예를 들어 시간 대역 통과 필터링된 출력 이미지들 내의 수직 대역들과 같은 샘플링 아티팩트들을 반영할 수 있다. 일 구현에서, 필터링된 응답 신호에 표현되는 각각의 컬러 신호에 대한 정규화된 FFT는 도 11에서 알 수 있는 바와 같이, 피사체가 임포스터인 강한 표시자이다. 상단 3개의 행들은 필터링된 응답 신호(도 1의 단계(110)에서 획득됨)로부터 획득되는, 적색, 녹색, 및 청색 컬러 채널들에 대응하는 주기도들이다. 마지막 행은 기록된 비디오 내의 신호의 예상된 기간에 동조되는 시간 대역 통과 버터워스 필터이다. 신호의 전체 에너지에 대한 필터링된 대역 통과 신호의 낮은 비율은 임포스터 경우들을 검출하기 위해 사용될 수 있는 다른 측정값이다.

이미지 캡처링 디바이스(예를 들어, 휴대 전화 카메라)의 정면에 유지되는 LCD 스크린으로부터의 반사들의 분석은 도 8(a) 내지 도 8(k)를 참조하여 설명되는 바와 같이, 예를 들어 nxcor2가 높지만 nxcorr이 낮을 때 임포스터의 검출을 돕기 위해 사용될 수 있다. 예를 들어, 도 12(a) 내지 도 12(c)는 카메라의 정면에 유지되는 LCD 스크린 상에 디스플레이되는 가짜 이미지, 눈에 근접한 얼굴의 영역의 크롭된 이미지, 및 크롭된 이미지에 대응하는 에지 이미지를 나타내며, LCD 스크린 상에 디스플레이되는 가짜 이미지를 캡처하기 위해 사용된 전화의 반사를 도시한다. 다른 아티팩트는 도 12(d)에서 알 수 있는 바와 같이, 2D 상관 이미지에서 보여지는 모니터로부터의 모아레 패턴들이다. 2D 분류기, 예컨대 하르 분류기는 임포스터 경우들에 고유한 상관 이미지 내의 패턴들을 식별하기 위해 조작될 수 있다. 일반적으로, 다양한 구현들에서, 진짜의 분류는 포괄적 상관(nxcorr) 및 포괄적 상관(nxcorr2) 둘 다가 미리 결정된 임계값을 초과하면 그리고 초과할 경우에 한해 반환된다.

도 13은 전형적인 눈의 반사 특성들을 이용하는 다른 임포스터 검출 기술을 예시한다. 구체적으로, RGB 멀티 스펙트럼 패턴을 렌더링하는 단계(1302), 비디오 신호를 캡처하는 단계(1304), 각각의 프레임을 RGB 값으로 태깅하는 단계(1306), 및 기록되고 태깅된 비디오 신호를 안정화하는 단계(1306)는 도 1을 참조하여 상기 설명된 바와 같이 유사하게 수행된다. 그 후에, 단계(1308)에서, 공간-시간 대역 통과 분해는 눈의 볼록한 반사 특성들을 이용하기 위해 수행된다. 눈은 전형적으로 단계(1304)에서 캡처되는 각각의 이미지 프레임이 단계(1302)에서 디스플레이 스크린 상에 렌더링되는 RGB 패턴의 콤팩트 이미지를 포함할 수 있는, 눈의 환경의 감소된 미러 이미지를 포함하도록 볼록한 반사 표면을 갖는 것이 관찰된다.

단계(1310)에서, 시간 대역 통과 필터들은 안정화된 태깅 신호들에 대응하는 라플라시안 피라미드(Laplacian pyramid)에 적용된다. 라플라시안 피라미드는 눈으로부터 반사되는 RGB 멀티 스펙트럼 패턴의 주로 높은 공간 주파수들을 분리하는 것을 돕기 위해 입력 비디오의 공간 대역 통과 분해를 제공할 수 있다.

그 다음, 로컬 픽셀-바이-픽셀 2D 상관 이미지는 단계(1312)에서, 참조 신호와 비디오 대역 통과 필터링된 출력 사이의 시간 정규화된 상호 상관을 통해 생성된다. 도미넌트 피크의 작은 이웃 내의 로컬 평균값은 부가 라이브니스 측정값으로 사용될 수 있다. 일반적으로, 이러한 접근법은 상기 설명된 제1 및 제2 측정값들을 사용하여 얼굴 라이브니스를 검출하는 것과 대조적으로 눈-라이브니스를 검출할 수 있다. 진짜의 라이브 눈의 단지 눈 영역에 대한 로컬 픽셀-바이-픽셀 상관에서, 눈의 동공에 의한 렌더링된 RGB 신호의 반사에 대응하는 하나의 밝은 스폿만이 도 14(a) 및 도 14(b)에서 알 수 있는 바와 같이, 예상된다. 다수의 스폿들이 보여지거나 스폿들이 검출되지 않으면, 캡처된 이미지들이 임포스터에 의해 공급될 가능성이 있는 것이 결정된다.

본원에 설명되는 시스템들 및 기술들은 백 엔드 구성요소를 (예를 들어, 데이터 서버로서) 포함하거나, 미들웨어 구성요소(예를 들어, 애플리케이션 서버)를 포함하거나, 프런트 엔드 구성요소(예를 들어, 사용자가 본원에 설명되는 시스템들 및 기술들의 일 구현과 상호작용할 수 있는 그래픽 사용자 인터페이스 또는 웹 브라우저를 갖는 클라이언트 컴퓨터)를 포함하거나, 그러한 백 엔드, 미들웨어, 또는 프런트 엔드 구성요소들의 임의의 조합을 포함하는 컴퓨팅 시스템에서 구현될 수 있다. 시스템의 구성요소들은 디지털 데이터 통신(예를 들어, 통신 네트워크)의 임의의 형태 또는 매체에 의해 상호연결될 수 있다. 통신 네트워크들의 예들은 근거리 네트워크(local area network)("LAN"), 광역 네트워크(wide area network)("WAN"), 및 인터넷을 포함한다.

컴퓨팅 시스템은 클라이언트들 및 서버들을 포함할 수 있다. 클라이언트 및 서버는 일반적으로 서로 멀리 떨어져 있고 통신 네트워크를 통해 상호작용할 수 있다. 클라이언트 및 서버의 관계는 컴퓨터 프로그램들이 각각의 컴퓨터들 상에서 실행되고 서로 클라이언트-서버 관계를 갖는 것에 의해 생긴다. 다수의 실시예들이 설명되었다. 그럼에도 불구하고, 다양한 수정들은 본 발명의 사상 및 범위로부터 벗어나는 것 없이 이루어질 수 있다는 점이 이해될 것이다.

본 명세서에 설명되는 발명 대상의 실시예들 및 동작들은 디지털 전자 회로로 구현되거나, 본 명세서에 개시되는 구조들 및 그들의 구조적 균등물들을 포함하는, 컴퓨터 소프트웨어, 펌웨어, 또는 하드웨어로 구현되거나, 그들 중 하나 이상의 조합들로 구현될 수 있다. 본 명세서에 설명되는 발명 대상의 실시예들은 데이터 처리 장치에 의한 실행을 위해, 또는 데이터 처리 장치의 동작을 제어하기 위해 하나 이상의 컴퓨터 프로그램들, 즉 컴퓨터 저장 매체 상에 인코딩되는 컴퓨터 프로그램 명령어들의 하나 이상의 모듈들로 구현될 수 있다. 대안적으로 또는 부가적으로, 프로그램 명령어들은 인공적으로 발생된 전파 신호, 예를 들어 데이터 처리 장치에 의한 실행을 위해 적절한 수신기 장치에 송신하기 위한 정보를 인코딩하기 위해 발생되는 머신 발생 전기, 광, 또는 전자기 신호에 인코딩될 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 저장 디바이스, 컴퓨터 판독가능 저장 기판, 랜덤 또는 직렬 액세스 메모리 어레이 또는 디바이스, 또는 그들 중 하나 이상의 조합일 수 있거나, 이들에 포함될 수 있다. 더욱이, 컴퓨터 저장 매체가 전파 신호가 아니지만, 컴퓨터 저장 매체는 인공적으로 발생된 전파 신호에 인코딩되는 컴퓨터 프로그램 명령어들의 소스 또는 목적지일 수 있다. 컴퓨터 저장 매체는 또한 하나 이상의 개별 물리 구성요소들 또는 매체들(예를 들어, 다수의 CD들, 디스크들, 또는 다른 저장 디바이스들)일 수 있거나 이들에 포함될 수 있다.

본 명세서에 설명되는 동작들은 하나 이상의 컴퓨터 판독가능 저장 디바이스들 상에 저장되거나 다른 소스들로부터 수신되는 데이터에 대해 데이터 처리 장치에 의해 수행되는 동작들로 구현될 수 있다.

용어 "데이터 처리 장치"는 예로서 프로그램가능 프로세서, 컴퓨터, 시스템 온 칩, 또는 다수의 이들, 또는 상술한 것의 조합들을 포함하는, 데이터를 처리하는 모든 종류의 장치, 디바이스, 및 머신들을 포함한다. 장치는 특수 목적 로직 회로, 예를 들어 필드 프로그래가능 게이트 어레이(field programmable gate array)(FPGA) 또는 주문형 집적 회로(application-specific integrated circuit)(ASIC)를 포함할 수 있다. 장치는 또한 하드웨어에 더하여, 문제의 컴퓨터 프로그램에 대한 실행 환경을 생성하는 코드, 예를 들어 프로세서 펌웨어, 프로토콜 스택, 데이터베이스 관리 시스템, 운영 체제, 크로스 플랫폼 런타임 환경, 가상 머신, 또는 이들 중 하나 이상의 조합을 구성하는 코드를 포함할 수 있다. 장치 및 실행 환경은 다양한 상이한 컴퓨팅 모델 인프라스트럭처들, 예컨대 웹 서비스들, 분산 컴퓨팅 및 그리드 컴퓨팅 인프라스트럭처들을 실현할 수 있다.

컴퓨터 프로그램(또한 프로그램, 소프트웨어, 소프트웨어 애플리케이션, 스크립트, 또는 코드로 공지됨)은 컴파일된 또는 해석된 언어들, 선언적 또는 절차적 언어들을 포함하는 임의의 형태의 프로그래밍 언어로 기입될 수 있고, 독립형 프로그램 또는 컴퓨팅 환경에서 사용하기에 적절한 모듈, 구성요소, 서브루틴, 객체, 또는 다른 유닛을 포함하는 임의의 형태로 전개될 수 있다. 컴퓨터 프로그램은 파일 시스템 내의 파일에 대응할 수 있지만, 대응할 필요는 없다. 프로그램은 다른 프로그램들 또는 데이터를 유지하는 파일의 일부(예를 들어, 마크업 언어 자원에 저장되는 하나 이상의 스크립트들), 문제의 프로그램에 전용되는 단일 파일, 또는 다수의 통합된 파일들(예를 들어, 하나 이상의 모듈들, 서브프로그램들, 또는 코드의 일부들을 저장하는 파일들)에 저장될 수 있다. 컴퓨터 프로그램은 하나의 컴퓨터 상에서 또는 하나의 사이트에 위치되거나 다수의 사이트들에 걸쳐 분산되고 통신 네트워크에 의해 상호연결되는 다수의 컴퓨터들 상에서 실행되기 위해 전개될 수 있다.

본 명세서에 설명되는 발명 대상의 실시예들은 예를 들어 데이터 서버로 백 엔드 구성요소를 포함하거나, 미들웨어 구성요소, 예를 들어 애플리케이션 서버를 포함하거나, 프런트 엔드 구성요소, 예를 들어 사용자가 본 명세서에 설명되는 발명 대상의 구현과 상호작용할 수 있는 그래픽 사용자 인터페이스 또는 웹 브라우저를 갖는 클라이언트 컴퓨터를 포함하거나, 하나 이상의 그러한 백 엔드, 미들웨어, 또는 프런트 엔드 구성요소들의 임의의 조합을 포함하는 컴퓨팅 시스템에서 구현될 수 있다. 시스템의 구성요소들은 디지털 데이터 통신의 임의의 형태 또는 매체, 예를 들어 통신 네트워크에 의해 상호연결될 수 있다. 통신 네트워크들의 예들은 근거리 네트워크("LAN") 및 광역 네트워크("WAN"), 인터네트워크(예를 들어, 인터넷), 및 피어 투 피어 네트워크들(예를 들어, 애드 혹 피어 투 피어 네트워크들)을 포함한다.

컴퓨팅 시스템은 클라이언트들 및 서버들을 포함할 수 있다. 클라이언트 및 서버는 일반적으로 서로 멀리 떨어져 있고 통신 네트워크를 통해 상호작용할 수 있다. 클라이언트 및 서버의 관계는 컴퓨터 프로그램들이 각각의 컴퓨터들 상에서 실행되고 서로 클라이언트-서버 관계를 갖는 것에 의해 생긴다. 일부 실시예들에서, 서버는 (예를 들어, 클라이언트 디바이스와 상호작용하는 사용자에게 데이터를 디스플레이하고 사용자로부터 사용자 입력을 수신하기 위해) 데이터(예를 들어, HTML 페이지)를 클라이언트 디바이스에 송신한다. 클라이언트 디바이스에서 발생되는 데이터(예를 들어, 사용자 상호작용의 결과)는 서버에서 클라이언트 디바이스로부터 수신될 수 있다.

하나 이상의 컴퓨터들의 시스템은 동작 중에 시스템이 액션들을 수행하게 하는 소프트웨어, 펌웨어, 하드웨어, 또는 그들의 조합을 시스템 상에 설치하는 것에 의해 특정 동작들 또는 액션들을 수행하도록 구성될 수 있다. 하나 이상의 컴퓨터 프로그램들은 데이터 처리 장치에 의해 실행될 때, 장치가 액션들을 수행하게 하는 명령어들을 포함하는 것에 의해 특정 동작들 또는 액션들을 수행하도록 구성될 수 있다.

본 명세서가 많은 특정 구현 상세들을 포함하지만, 이들은 임의의 발명들의 범위 또는 청구될 수 있는 것의 범위에 관한 제한들로 해석되어야 하는 것이 아니라, 오히려 특정 발명들의 특정 실시예들에 특유한 특징들의 설명들로 해석되어야 한다. 개별 실시예들의 맥락에서 본 명세서에 설명되는 특정 특징들은 또한 단일 실시예에서 조합으로 구현될 수 있다. 정반대로, 단일 실시예의 맥락에서 설명되는 다양한 특징들은 또한 다수의 실시예들에서 개별적으로 또는 임의의 적절한 부조합으로 구현될 수 있다. 더욱이, 특징들이 특정 조합들로 작용하는 것으로 상기 설명되고 심지어 그와 같이 청구될 수 있지만, 청구된 조합으로부터의 하나 이상의 특징들은 일부 경우들에서 조합으로부터 삭제될 수 있고, 청구된 조합은 부조합 또는 부조합의 변형에 관한 것일 수 있다.

유사하게, 동작들이 특정 순서로 도면들에 도시되지만, 이것은 바람직한 결과들을 달성하기 위해, 그러한 동작들이 도시된 특정 순서 또는 순차적 순서로 수행되는 것 또는 모든 예시된 동작들이 수행되는 것을 필요로 하는 것으로서 이해되지 않아야 한다. 특정 상황들에서, 멀티태스킹 및 병렬 처리가 유리할 수 있다. 더욱이, 상기 설명된 실시예들에서 다양한 시스템 구성요소들의 분리는 모든 실시예들에서 그러한 분리를 필요로 하는 것으로 이해되지 않아야 하고, 설명된 프로그램 구성요소들 및 시스템들은 일반적으로 단일 소프트웨어 제품에 함께 통합될 수 있거나 다수의 소프트웨어 제품들에 패키지화될 수 있다는 점이 이해되어야 한다.

따라서, 발명 대상의 특정 실시예들이 설명되었다. 다른 실시예들은 이하의 청구항들의 범위 내에 있다. 일부 경우들에서, 청구항들에 열거되는 액션들은 상이한 순서로 수행되고 바람직한 결과들을 여전히 달성할 수 있다. 게다가, 첨부 도면들에 도시되는 프로세스들은 바람직한 결과들을 달성하기 위해, 제시되는 특정 순서, 또는 순차적 순서를 반드시 필요로 하는 것은 아니다. 특정 구현들에서, 멀티태스킹 및 병렬 처리가 유리할 수 있다.

Claims

위상에서 서로 분리되는 복수의 상이한 컬러 신호들을 포함하는 시변 다중-컬러 신호를 디스플레이 디바이스 상에 렌더링하는 단계;
상기 렌더링 동안, 상기 렌더링된 다중-컬러 신호에 의해 조명되는 타겟의 복수의 이미지들을 캡처하는 단계로서, 상기 복수의 이미지들은 복수의 프레임들을 나타내는 단계;
상기 프레임들에 대응하는 개별 이미지들이 캡처된 때의 다중-컬러 렌더링된 신호의 개별 컬러 값들로 상기 프레임들을 태깅하는 단계;
복수의 필터링된 이미지들을 발생시키기 위해 대역 통과 필터를 시간적으로 상기 이미지들에 적용하는 단계;
상기 필터링된 이미지들로부터 필터링된 응답 신호를 추출하는 단계;
필터링된 응답 신호의 개별 도미넌트 컬러 값들과 개별 태깅된 컬러 값들 사이의 프레임-레벨 시간 상관에 적어도 기초하여 프레임-레벨 시간 상관 측정값을 발생시키는 단계;
상기 복수의 프레임들에 걸쳐, 각각의 픽셀 위치에 대해, 프레임들에 대응하는 개별 이미지들이 캡처된 때의 다중-컬러 렌더링된 신호의 개별 컬러 값들과 개별 프레임들의 픽셀 위치에서 픽셀들의 개별 컬러 값들 사이의 시간 상관으로부터 픽셀-레벨 시간 상관 스코어를 산출하는 단계;
상기 복수의 픽셀-레벨 시간 상관 스코어들에 적어도 기초하여 픽셀-레벨 시간 상관 측정값을 발생시키는 단계; 및
상기 프레임-레벨 및 픽셀-레벨 시간 상관 측정값들에 적어도 기초하여 상기 타겟을 수용하거나 거부하는 단계
를 포함하고,
상기 대역 통과 필터는 주파수 도메인 또는 시간 도메인에서 적용되는, 컴퓨터 구현 방법.
제1항에 있어서, 상기 다중-컬러 신호의 각각의 개별 신호는 상이한 컬러인, 컴퓨터 구현 방법.
제2항에 있어서, 상기 컬러들 각각은 동일한 주파수를 사용하여 렌더링되는, 컴퓨터 구현 방법.
제1항에 있어서, 상기 다중-컬러 신호의 각각의 개별 신호는 상이한 단색 신호인, 컴퓨터 구현 방법.
제1항에 있어서, 상기 다중-컬러 신호는 사인파인, 컴퓨터 구현 방법.
제1항에 있어서, 상기 다중-컬러 신호의 각각의 개별 신호는 별개의 사인파이고, 상기 사인파들은 상기 다중-컬러 신호에 중첩되는, 컴퓨터 구현 방법.
제1항에 있어서, 상기 다중-컬러 신호의 개별 신호들은 랜덤하게 발생되는, 컴퓨터 구현 방법.
제1항에 있어서, 픽셀 위치의 특정한 개별 값은 컬러인, 컴퓨터 구현 방법.
제1항에 있어서, 각각의 이미지는 복수의 개별 이미지들을 포함하며, 개별 이미지들 각각은: 상이한 개별 분해능에서 개별적으로 변환되거나, 또는 선택된 조명 현상에 대응하는 상이한 개별 공간 주파수 대역을 포함하는, 컴퓨터 구현 방법.
제1항에 있어서, 상기 프레임-레벨 시간 상관 측정값은 상기 다중-컬러 신호의 위상이 상기 필터링된 응답 신호의 위상과 매칭하는지에 더 기초하는, 컴퓨터 구현 방법.
제1항에 있어서, 상기 필터링된 이미지들로부터 상기 필터링된 응답 신호를 추출하는 단계는 상기 필터링된 이미지들 각각의 개별 도미넌트 컬러 값으로부터 상기 필터링된 응답 신호를 추출하는 단계를 포함하는, 컴퓨터 구현 방법.
제1항에 있어서, 상기 대역 통과 필터를 적용하기 전에 상기 복수의 이미지들에서 상기 타겟을 안정화하는 단계를 더 포함하는, 컴퓨터 구현 방법.
삭제
제1항에 있어서, 복수의 상기 픽셀 위치 상관 스코어들에 적어도 기초하여 픽셀-레벨 시간 상관 측정값을 발생시키는 단계는 상기 픽셀-레벨 시간 상관 측정값을 발생시키기 위해 상기 픽셀 위치 상관 스코어들을 조합하는 단계를 포함하는, 컴퓨터 구현 방법.
제14항에 있어서, 상기 타겟은 인간 얼굴이고 상기 조합된 픽셀 위치 상관 스코어들은 상기 얼굴의 특정 영역의 픽셀 위치들에 대한 것인, 컴퓨터 구현 방법.
제15항에 있어서, 상기 얼굴의 특정 영역은 (i) 복수의 이미지들에서 차단되거나 과노출되는 얼굴의 하나 이상의 부분들을 적어도 부분적으로 회피하는 동적 이미지 분석, 및 (ii) 상기 렌더링된 다중-컬러 신호를 반사할 가능성이 있는 얼굴의 특징들에 관한 지식을 표현하는 마스크 또는 가중 맵 중 적어도 하나를 사용하여 결정되는, 컴퓨터 구현 방법.
제1항에 있어서, 각각의 픽셀 위치는 각각의 복수의 이미지 데이터 요소들을 표현하는, 컴퓨터 구현 방법.
제17항에 있어서, 상기 이미지 데이터 요소들 중 복수의 요소들은 상이한 분해능들에서의 것들인, 컴퓨터 구현 방법.
제18항에 있어서, 각각의 픽셀 위치는 픽셀 위치의 개별 이미지 데이터 요소들의 가중화된 조합인, 컴퓨터 구현 방법.
제1항에 있어서, 상기 캡처된 복수의 이미지들은 가우시안 피라미드(Gaussian pyramid) 또는 라플라시안 피라미드(Laplacian pyramid)를 나타내는, 컴퓨터 구현 방법.
제20항에 있어서, 상기 필터링된 이미지들 중 특정 필터링된 이미지는 복수의 피라미드 레벨들의 가중화된 조합을 표현하는, 컴퓨터 구현 방법.
위상에서 서로 분리되는 복수의 상이한 컬러 신호들을 포함하는 시변 다중-컬러 신호를 디스플레이 디바이스 상에 렌더링하는 단계;
상기 렌더링 동안, 상기 렌더링된 다중-컬러 신호에 의해 조명되는 타겟의 복수의 이미지들을 캡처하는 단계로서, 상기 복수의 이미지들은 복수의 프레임들을 나타내는 단계;
상기 프레임들에 대응하는 개별 이미지들이 캡처된 때의 다중-컬러 렌더링된 신호의 개별 컬러 값들로 상기 프레임들을 태깅하는 단계;
복수의 필터링된 이미지들을 발생시키기 위해 대역 통과 필터를 시간적으로 상기 이미지들에 적용하는 단계;
상기 필터링된 이미지들로부터 필터링된 응답 신호를 추출하는 단계;
필터링된 응답 신호의 개별 도미넌트 컬러 값들과 개별 태깅된 컬러 값들 사이의 프레임-레벨 시간 상관에 적어도 기초하여 프레임-레벨 시간 상관 측정값을 발생시키는 단계;
상기 복수의 프레임들에 걸쳐, 각각의 픽셀 위치에 대해, 프레임들에 대응하는 개별 이미지들이 캡처된 때의 다중-컬러 렌더링된 신호의 개별 컬러 값들과 개별 프레임들의 픽셀 위치에서 픽셀들의 개별 컬러 값들 사이의 시간 상관으로부터 픽셀-레벨 시간 상관 스코어를 산출하는 단계;
상기 복수의 픽셀-레벨 시간 상관 스코어들에 적어도 기초하여 픽셀-레벨 시간 상관 측정값을 발생시키는 단계; 및
상기 프레임-레벨 및 픽셀-레벨 시간 상관 측정값들에 적어도 기초하여 상기 타겟을 수용하거나 거부하는 단계
를 포함하는 동작들을 수행하도록 프로그래밍된 프로세서 및 상기 프로세서와 전자 통신하는 메모리를 포함하고,
상기 프로세서는 상기 필터링된 이미지들 각각의 개별 도미넌트 컬러 값으로부터 상기 필터링된 응답 신호를 추출함으로써 상기 필터링된 이미지들로부터 상기 필터링된 응답 신호를 추출하도록 더 프로그래밍된, 시스템.
제22항에 있어서, 상기 프로세서는 상이한 컬러인 다중-컬러의 각각의 개별 신호를 제공하도록 프로그래밍된, 시스템.
제23항에 있어서, 상기 컬러들 각각을 동일한 주파수를 사용하여 렌더링하도록 프로그래밍된, 시스템.
제22항에 있어서, 상기 다중-컬러 신호의 각각의 개별 신호는 별개의 사인파이고, 상기 사인파들은 다중-컬러 신호에 중첩되는, 시스템.
제22항에 있어서, 픽셀 위치의 특정한 개별 값은 컬러인, 시스템.
제22항에 있어서, 각각의 이미지는 복수의 개별 이미지들을 포함하며, 개별 이미지들 각각은: 상이한 개별 분해능에서 개별적으로 변환되거나, 또는 선택된 조명 현상에 대응하는 상이한 개별 공간 주파수 대역을 포함하는, 시스템.
삭제
제22항에 있어서, 상기 프로세서는 상기 대역 통과 필터를 적용하기 전에 상기 복수의 이미지들에서 상기 타겟을 안정화하도록 더 프로그래밍된, 시스템.
제22항에 있어서, 복수의 상기 픽셀 위치 상관 스코어들에 적어도 기초하여 픽셀-레벨 시간 상관 측정값을 발생시키기 위해, 상기 프로세서는 상기 픽셀-레벨 시간 상관 측정값을 발생시키기 위한 상기 픽셀 위치 상관 스코어들을 조합하도록 더 프로그래밍된, 시스템.