KR101919090B1 - 3차원 깊이정보 및 적외선정보에 기반하여 생체여부의 확인을 행하는 얼굴인식 장치 및 방법 - Google Patents

Abstract

3차원 깊이정보 및 적외선정보에 기반하여, 생체여부의 확인을 행하는 얼굴인식 장치로서, 이중조리개 (Dual Aperture) 단일렌즈(Single Lens) 4-컬러 센서 카메라로부터 단일렌즈를 통한 RGB 이미지(가시광선)와 IR 이미지(적외선)의 동시 데이터를 입력받아, 깊이 맵을 추출하여 출력하는 깊이정보 처리칩을 포함하는 추출장치와, 상기 깊이 맵으로부터의 깊이정보로부터 산출된 값이 입체 기준치 이상이면, 입체기준 통과신호를 생성하는 입체검증모듈과, 상기 입체기준 통과신호를 받은 후, 상기 RGB 이미지를 미리 저장된 얼굴 템플릿의 RGB 템플릿과 비교하여, 오차 한계 내에서 일치하면 얼굴인식 통과신호를 생성하는 얼굴매칭모듈을 포함하여 이루어짐을 특징으로 한다.

Description

3차원 깊이정보 및 적외선정보에 기반하여 생체여부의 확인을 행하는 얼굴인식 장치 및 방법 {APPARATUS AND METHOD OF FACE RECOGNITION VERIFYING LIVENESS BASED ON 3D DEPTH INFORMATION AND IR INFORMATION}

본 발명은, 3차원 깊이정보 및 적외선정보에 기반하여 생체여부의 확인을 행하는 얼굴인식 장치 및 방법에 관한 것이다.

일반적으로, 얼굴인식에 기초한 보안시스템이 알려져 있다. 이 보안시스템은, 얼굴인식을 통해 검증된 사람에게 특정 동작, 예컨대 문 출입, 정보처리기기에의 접근 등을 허용하는 역할을 할 수 있다.

얼굴인식 방식에 있어서는, 이미지 입력을 위한 카메라와, 입력된 이미지를 미리 저장되어 있는 얼굴 템플릿과 비교하는 제어장치를 포함하는 보안시스템이 알려져 있다. 이에 의하면, 보안시스템의 이용이 허용된 사람들의 이미지로부터 얼굴 템블릿을 미리 만들어놓은 후, 실제 보안의 적용시점에서는, 이용을 요구하는 사람에 대해 카메라로 실시간 입력 이미지를 촬상하고, 이를 이들 저장된 얼굴 템블릿과 비교하여 특징점 등의 일치여부를 판정함으로써, 이용의 허용여부를 결정하도록 되어 있다.

이처럼 종래의 얼굴인식 기술은, 얼굴 이미지의 패턴만 오차의 한계 내에서 일치하면, 보안 인증을 통과시키는 형태로서, 정교한 사진(2차원)이나 얼굴을 복사한 모형(3차원)을 이용할 경우, 위조한 얼굴 패턴에 대해 통과(pass) 판정을 내리는 착오 통과(False Pass)의 오류를 범할 보안 위험에 노출되어 있다.

즉, 입력 이미지의 생성시에, 보안 이용이 허락된 사람의 사진을 카메라에 촬상되도록 함으로써, 보안 판정을 무력화하고자 하는 시도가 있다. 즉 정교한 2D 사진을 촬상한 입력 이미지는, 저장된 얼굴 템플릿에 극히 유사할 수 있으므로 특징점의 일치도가 높게 판정될 수 있다. 따라서 보안시스템은 잘못된 판정이 가능하다는 문제가 있었다.

이를 보완하기 위해 사진이 아니라는 정보의 추가검증을 행하는 기술이 제시되어 있다. 즉 눈의 깜박임이나 얼굴, 머리카락의 움직임을 검지함으로써, 단순한 사진이 아니라는 것을 검증하는 것이다.

그런데, 눈의 깜박임이나 얼굴의 움직임은, 예컨대 입력 이미지의 생성시에, 보안 이용이 허락된 사람의 얼굴 동영상을 카메라에 촬상되도록 함으로써, 보안 판정을 무력화할 수 있다. 즉 동영상은 눈을 깜박일 수 있고, 얼굴, 머리카락도 움직일 수 있으므로, 동영상에 의한 입력 이미지는, 생체로서의 추가검증을 통과한다고 판정될 수 있다. 따라서 보안시스템은 역시 잘못된 판정이 가능하다는 문제가 있었다.

이에 대해, 하기 특허문헌에는, '보안 시스템에서 촬영된 영상에서 자동으로 인물의 얼굴을 찾고, 정규화 과정 후, 눈 영역을 찾는 수단과, 적외선 조명에 의해 눈의 동공에서 일어나는 적외선 반사를 검출하는 수단과, 위조 영상에 의한 해킹 여부를 판단하여 얼굴 인식과 관련된 보안 시스템의 성능을 향상시키고 활용성을 높이는 기술'이 개시되어 있다.

특허공개 10-2010-0097866 공보

상기 특허문헌의 기술에서는, 이미지 프로세싱을 통해 입력 이미지로부터 얼굴을 찾고, 다시 눈을 찾는 과정이 필요하다. 따라서 프로세싱에 필요한 고속처리용 하드웨어와 소프트웨어가 필요하다.

그리고 눈의 동공의 적외선 반사를 검출하기 위해, 적외선 조명의 발광, 수광, 및 적외선 반사의 판정처리 수단이 필요하다. 이들 수단은, 카메라 이외에 별도로 구비되는 하드웨어 및 소프트웨어로 구성된다.

그리고 안경이나 썬글라스, 콘텍트렌즈를 착용한 사람에 대해서는, 적외선 발광에 의해서도 적외선 반사가 일어나지 않는 경우가 있다. 이런 경우에는 상기 기술은 무용지물이 된다.

본 발명은, 종래기술의 문제를 해소하기 위해 이루어진 것으로서, 종래의 얼굴인식 기술에 이중조리개(Dual Aperture) 단일렌즈(Single Lens) 방식의 3차원 깊이정보 및 적외선정보 추출장치를 접목하여, 복잡한 하드웨어 장비 없이 2단계에 걸친 생체확인 기능을 탑재하여 보안을 강화시키도록, 생체 여부의 확인을 행하는 얼굴인식 장치 및 방법을 제공하고자 하는 것이다.

그리고 이미지 프로세싱을 통해 입력 이미지로부터 얼굴을 찾고, 다시 눈을 찾는 과정이 필요없이, 생체 여부의 확인을 행하는 얼굴인식 장치 및 방법을 제공하고자 하는 것이다.

그리고 적외선 조명의 발광, 및 적외선 반사의 판정처리 수단이 필요없이, 기기의 크기와 비용을 최소화할 수 있는, 생체 여부의 확인을 행하는 얼굴인식 장치 및 방법을 제공하고자 하는 것이다.

그리고 안경이나 썬글라스, 콘텍트렌즈를 착용한 사람에 대해서도 적용될 수 있는, 생체 여부의 확인을 행하는 얼굴인식 장치 및 방법을 제공하고자 하는 것이다.

상기 과제를 달성하기 위한 본 발명의 생체여부의 확인을 행하는 얼굴인식 장치는, 3차원 깊이정보 및 적외선정보에 기반하여, 생체여부의 확인을 행하는 얼굴인식 장치로서, 이중조리개 (Dual Aperture) 단일렌즈(Single Lens) 4-컬러 센서 카메라로부터 단일렌즈를 통한 RGB 이미지(가시광선)와 IR 이미지(적외선)의 동시 데이터를 입력받아, 깊이 맵을 추출하여 출력하는 깊이정보 처리칩을 포함하는 추출장치와, 상기 깊이 맵으로부터의 깊이정보로부터 산출된 값이 입체 기준치 이상이면, 입체기준 통과신호를 생성하는 입체검증모듈과, 상기 입체기준 통과신호를 받은 후, 상기 RGB 이미지를 미리 저장된 얼굴 템플릿의 RGB 템플릿과 비교하여, 오차 한계 내에서 일치하면 얼굴인식 통과신호를 생성하는 얼굴매칭모듈을 포함하여 이루어짐을 특징으로 한다.

여기서, 상기 입체검증모듈 대신에 또는 상기 입체검증모듈과 함께, 상기 IR 이미지의 파장 중 생체 체온에 해당되는 파장의 강도가 체온 기준치 이상이면, 체온기준 통과신호를 생성하는 체온검증모듈을 포함하여 이루어짐을 특징으로 한다.

여기서, 상기 얼굴매칭모듈은, 상기 IR 이미지를 미리 저장된 IR 템플릿과 더 비교하도록 구성됨이 바람직하다.

또는, 상기 얼굴매칭모듈은, 상기 깊이 맵으로부터의 깊이정보를 미리 저장된 깊이정보 템플릿과 더 비교하도록 구성됨이 바람직하다.

그리고 상기 이중조리개 단일렌즈 4-컬러 센서 카메라의 경통의 상기 이중조리개에 사용되는 필터는, 파장 650nm 미만의 가시광선(R, G, B)에 대해서는, 상대적으로 작은 제1 F값의 얕은 심도의 필터에 의하여 구현되고, 파장 8 ㎛ 이상 14 ㎛ 미만의 적외선(IR)에 대해서는, 상대적으로 큰 제2 F값의 깊은 심도의 필터에 의하여 구현됨으로써 이루어지는 분광특성을 가지고, 상기 이미지 신호의 파장별 신호들을 감지하기 위한 상기 4-컬러 센서는, 이 분광특성에 맞춰서, 가시광선용 컬러 센서는 상기 제1 F값의 심도의 필터로부터의 신호를 입력받도록 제작되고, 적외선용 컬러 센서는 상기 제2 F값의 심도의 필터로부터의 신호를 입력받도록 제작됨이 바람직하다.

한편, 상기 체온검증모듈은, 베이어(Bayer) 패턴을 비디오 스트림(video stream)으로 뿌려 줄 때의 RGB 값(0~255)을 기준으로, 사전에 정해 둔 상기 체온 기준치를 초과하면, 그 파장 대역의 IR 신호가 강하여 생체인 것으로 판정하도록 구성됨이 바람직하다.

한편, 본 발명의 방법은, 3차원 깊이정보 및 적외선정보에 기반하여, 생체여부의 확인을 행하는 얼굴인식 방법으로서, 이중조리개 (Dual Aperture) 단일렌즈(Single Lens) 4-컬러 센서 카메라로부터 단일렌즈를 통한 RGB 이미지(가시광선)와 IR 이미지(적외선)의 동시 데이터를 입력받아, 깊이 맵을 추출하여 출력하는 깊이정보 처리과정을 포함하는 추출단계와, 상기 깊이 맵으로부터의 깊이정보로부터 산출된 값이 입체 기준치 이상이면, 입체기준 통과신호를 생성하는 입체검증단계와, 상기 입체기준 통과신호를 받은 후, 상기 RGB 이미지를 미리 저장된 얼굴 템플릿의 RGB 템플릿과 비교하여, 오차 한계 내에서 일치하면 얼굴인식 통과신호를 생성하는 얼굴매칭단계를 포함하여 이루어짐을 특징으로 한다.

여기서, 상기 입체검증단계 대신에 또는 상기 입체검증단계와 함께, 상기 IR 이미지의 파장 중 생체 체온에 해당되는 파장의 강도가 체온 기준치 이상이면, 체온기준 통과신호를 생성하는 체온검증단계를 포함하여 이루어짐을 특징으로 한다.

본 발명에 의하면, 종래의 얼굴인식 기술에 이중조리개(Dual Aperture) 단일렌즈(Single Lens) 방식의 3차원 깊이정보 및 적외선정보 추출장치를 접목하여, 복잡한 하드웨어 장비 없이 2단계에 걸친 생체확인 기능을 탑해하여 보안을 강화시키도록, 생체 여부의 확인을 행하는 얼굴인식 장치 및 방법이 제공된다.

그리고 이미지 프로세싱을 통해 입력 이미지로부터 얼굴을 찾고, 다시 눈을 찾는 과정이 필요없이, 생체 여부의 확인을 행하는 얼굴인식 장치 및 방법이 제공된다.

그리고 적외선 조명의 발광, 및 적외선 반사의 판정처리 수단이 필요없이, 기기의 크기와 비용을 최소화할 수 있는, 생체 여부의 확인을 행하는 얼굴인식 장치 및 방법이 제공된다.

그리고 안경이나 썬글라스, 콘텍트렌즈를 착용한 사람에 대해서도 적용될 수 있는, 생체 여부의 확인을 행하는 얼굴인식 장치 및 방법이 제공된다.

도 1은, 본 발명의 일 실시예에 따른 3차원 깊이정보 및 적외선정보에 기반하여 생체여부의 확인을 행하는 얼굴인식 장치의 블럭도이다.
도 2는, 가시광선 및 적외선의 파장과 인체의 체온에 해당되는 적외선 파장을 나타내는 그래프이다.
도 3은, 본 발명의 다른 일 실시예에 따른 3차원 깊이정보 및 적외선정보에 기반하여 생체여부의 확인을 행하는 얼굴인식 장치의 블럭도이다.
도 4는, 체온판정을 기준치에 따라 양분적으로 수행하는 경우의 예시 사진이다.

이하, 본 발명의 바람직한 실시예에 대해 첨부도면을 참조하면서 상세히 설명한다. 다만, 동일구조에 의하여 동일기능을 가지는 요소에 대해서는, 도면이 달라지더라도 동일부호를 유지함으로써, 그 상세한 설명을 생략하는 경우가 있다. 또한, 연결된다고 하는 것은, 그 중간에 매체를 경유하는 개념을 포함한다. 그리고 어떤 기능블럭은, 다른 기능블럭에 흡수되어 구성되거나, 다른 복수의 블럭으로 분할되어 구현될 수 있다.

<제1 실시예 - 입체검증>

본 발명의 생체여부의 확인을 행하는 얼굴인식 장치는, 3차원 깊이정보 및 적외선정보에 기반하여, 생체여부의 확인을 행하는 얼굴인식 장치이다. 도 1 및 도 3과 같이, 상기 얼굴인식 장치는, 추출장치(11)와, 입체검증모듈(15)과, 얼굴매칭모듈(13, 13a)을 포함하여 이루어짐을 특징으로 한다.

상기 추출장치(11)는, 이중조리개 (Dual Aperture) 단일렌즈(Single Lens) 4-컬러 센서 카메라(10)로부터 단일렌즈를 통한 RGB 이미지(가시광선)(11a)와 IR 이미지(적외선)(11b)의 동시 데이터를 입력받아, 깊이 맵(11c)을 추출하여 출력하는 깊이정보 처리칩(SoC)을 포함하는 장치이다.

상기 이중조리개 단일렌즈 4-컬러 센서 카메라(10)는, 하나의 렌즈를 통해 수광되는 이미지를 이중조리개로 분리 통과시키면서 가시광선 컬러광(RGB)과 적외선 흑백광(IR)으로 분리하여, 이들이 촬상소자의 각 화소단위를 이루는 4개의 수광부(R, G, B, IR)로 이루어지는 4-컬러 센서에 수광되도록 하는 특수 카메라이다. 따라서, 이 카메라(10)에 의하면, 하나의 렌즈를 통과한 동일 시점(視點)을 가지는 동시 생성된 RGB 이미지(컬러 이미지)(11a)와 IR 이미지(흑백 이미지)(11b)가 출력된다. 상기 RGB 이미지(11a)와 IR 이미지(11b)는, 깊이정보 처리칩(SoC)에 전송된다.

상기 깊이정보 처리칩(SoC)은, 이중조리개 단일렌즈 방식의 깊이정보 추출용 반도체칩으로서, 예컨대 (주)eWBM의 모델명 DR1152를 들 수 있고, 이는 상기 카메라(10)와 연계하여 가시광선 촬상, 깊이정보 추출 및 적외선 이미지 추출 등의 기능을 탑재하고 있다. 이처럼, 이중조리개 단일렌즈 4-컬러 센서 카메라(10)로 깊이를 추출하는 기술은, 본 출원인이 시스템온칩(SoC)과 솔루션을 개발한 깊이정보 시스템에 의해 이미 사용할 수 있다.

이 깊이정보 처리칩(SoC)으로부터는, 도 1 및 도 3과 같이, 상기 RGB 이미지(11a)와 IR 이미지(11b)는 물론, 이들로부터 공지의 처리과정을 통해 깊이정보의 분포로부터 산출된 깊이 맵(Depth Map)(11c)이 출력된다. 본 발명은, 이들 RGB 이미지(11a), IR 이미지(11b), 및 깊이 맵(11c)을 이용하여 보안처리를 강화한다. 특히 IR 이미지(11b)는, 체온특성의 확인이나 저조도에서의 이미지 촬상 등을 위해 동시에 이용될 수 있다.

상기 입체검증모듈(15)은, 상기 깊이 맵(11c)으로부터의 깊이정보로부터 산출된 값이 입체 기준치 이상이면, 입체기준 통과신호를 생성하는 모듈이다. 이처럼 본 발명에서는, 기존의 이중조리개 단일렌즈 깊이정보 추출 솔루션 기술의 출력인 깊이정보를, 3차원(입체, 3D) 피사체 확인 데이터로 활용하고 있다.

상기 얼굴매칭모듈(13, 13a)은, 상기 입체기준 통과신호를 받은 후, 상기 RGB 이미지(11a)를 미리 저장된 얼굴 템플릿(12)의 RGB 템플릿(12a)과 비교하여, 오차 한계 내에서 일치하면 얼굴인식 통과신호를 생성하는 모듈이다. 여기서, 도 1의 상기 얼굴매칭모듈(13)은, 단순히 촬상된 RGB 이미지(11a)를 미리 저장된 RGB 템플릿(12a)과 비교하는, 종래의 기본적인 RGB 이미지 기반 2차원(2D, 평면) 얼굴인식 알고리즘이다.

<작동>

본 발명에서는, 단순한 2D 얼굴매칭모듈(13)의 작동을, 입체검증모듈(15)의 입체기준 통과신호를 트리거로 하여 동작하도록 제어함으로써, 보안 판단의 오류를 방지하고 있다. 즉, 입체인 경우에만 비로소 얼굴매칭을 행하고, 얼굴매칭이 성공하면 보안이 통과된다.

<효과>

본 발명은, 4-컬러 센서를 가지는 이중조리개 단일렌즈 카메라와, RGB, IR신호를 받아 깊이 맵을 추출하는 처리 칩과, 깊이 맵으로부터 입체 여부를 판별하는 기술과, 이미지 비교에 의해 동일성을 판별하는 기술 등이 하나로서 통합되어 이루어진다. 위와 같이, 별도의 기술들을 깊이정보 추출 단일 모듈로 구성하여, 얼굴인식 기기로 구현하면서, 동시에 2차원 이미지(사진이나 동영상)나 3차원 모형으로 위조를 시도할 경우, 이를 적발하여 얼굴인증을 거절할 수 있는 효율적인 시스템 구현이 가능하다.

이 기술을 통하여, 작은 폼팩터와 낮은 비용으로, 압도적으로 보안 레벨이 높은 얼굴인식 장치를 구현할 수 있다.

<제2 실시예 - 체온검증>

여기서, 상기 입체검증모듈(15) 대신에 또는 상기 입체검증모듈(15)과 함께, 상기 IR 이미지(11b)의 파장 중 생체 체온에 해당되는 파장의 강도가 체온 기준치 이상이면, 체온기준 통과신호를 생성하는 체온검증모듈(14)을 포함하여 이루어짐이 바람직하다.

인체에서 나오는 적외선 분광특성(waveform characterization)을 이용하면, 체온이 감지되는지 여부를 확인할 수 있다. 체온의 특성은, 적외선(IR)의 파장(wavelength)이 8~14 ㎛ 근처, 특히 9.5 ㎛ 부근에서 지역최대(local maximum) 파형을 보인다. 본 발명에서는 이를 이용하여, 이미 이중조리개 방식의 카메라(10) 모듈에서 나오는 적외선 이미지 분석만으로 체온을 분석 감지할 수 있다.

체온검증은, AP 또는 향상된 깊이정보 처리칩(SoC)에 적외선 분석을 통한 체온감지 알고리즘을 탑재하여 구현이 가능하다.

물론, 정밀한 체온 측정용 기존 기술을 사용하기 위해서는, IR-FPA(Infrared Focal Plane Array) 센서나 열화상 카메라를 사용해야 한다. 그러나 본 발명에서는 그와 같이 정밀한 체온을 재는 것이 아니라, 생체의 온도임을 확인하기만 하는 정도의 목적이다. 그러므로, 4-컬러 센서를 이용해 이중조리개 방식의 카메라에서 나오는 적외선 이미지의 강도가 어느 강도 기준치(calibrated intensity threshold)를 넘으면 생체인 것으로 판단하는 것으로 할 수 있다. 즉, 체온 감지는 일반적인 IR-FPA 센서를 이용하는 대신, 도 2의 4-컬러 센서에서 출력되는 IR 이미지의 강도가 일정수준(threshold)을 넘으면 체온인 것으로 판독하는 것을 원칙으로 할 수 있다.

<효과>

체온, 특히 사람의 체온은, 도 2와 같이, 피크값으로서 약 파장 9.5 ㎛인, 대략 파장 8 ㎛ 이상 14 ㎛ 미만의 적외선(IR) 영역에 나타난다. 그리고 아무리 정교하다 하더라도 사진이나 동영상, 또는 움직이는 마네킹 모델로부터는, 이러한 패턴을 가지는 체온이 검출되지 않는다.

물론, 사진이나 동영상을 재생하는 전자기기로부터 열에너지가 검출될 수는 있지만, 그 열에너지의 파장 패턴은 생체 체온의 것과 다른 양상을 나타내므로, 생체 체온에 해당되는 파장에 있어서 특히 강도가 체온 기준치를 초과하는지의 여부를 검증하면, 전자기기와 생체를 구분할 수 있다. 다만, 전자기기 등에 의한 판단오류를 피하기 위해, 다른 파장영역에서의 강도 패턴이 기준치보다 강할 때는, 체온 검증의 통과를 보류하도록 네가티브 판단루틴을 추가해도 좋다.

따라서, 체온검증에 의해 생체의 보다 확실한 검증이 가능하다.

<제3 실시예 - IR 매칭을 더 포함하는 얼굴매칭>

상기 얼굴매칭모듈(13a)은, 상기 IR 이미지(11b)를 미리 저장된 IR 템플릿(12b)과 더 비교하도록 구성되어도 좋다. 즉, 정확도를 높이기 위해, 도 3에서와 같이, 기존의 2차원 얼굴인식 알고리즘(13) 대신, RGB 데이터(11a)만이 아니라 이미 이중조리개 방식의 솔루션에서 제공되고 있는 IR 데이터(11b)를 모두 이용해, 인식률을 높인 알고리즘(13a)을 사용할 수도 있다.

이를 이용하면, 모든 깊이에 대해 포커스된(all-focused) 이미지인 IR 이미지(11b)의 비교에 의해, RGB 이미지(11a)의 비교만으로는 얻을 수 없는 특징점의 비교가 가능하므로, 인식률의 비약적 향상이 가능하다.

<제4 실시예 - 깊이정보 매칭을 더 포함하는 얼굴매칭에 의한 3D 매칭>

상기 얼굴매칭모듈(13a)은, 상기 깊이 맵(11c)으로부터의 깊이정보를 미리 저장된 깊이정보 템플릿(12c)과 더 비교하도록 구성되어도 좋다. 즉, 정확도를 높이기 위해, 도 3에서와 같이, 기존의 2차원 얼굴인식 알고리즘 대신, RGB만이 아니라 이미 이중조리개 방식의 솔루션에서 제공되고 있는 깊이정보를 이용해, 인식률을 높인 알고리즘을 사용할 수도 있다.

이를 이용하면, 깊이정보를 이용하여 예컨대 코가 높은 사람, 광대뼈가 튀어나온 사람 등, 얼굴의 입체적 특징점에 대한 비교가 가능하므로, 인식률의 비약적 향상이 가능하다.

<체온검증을 위한 적외선 영역의 최적화 구성예>

상기 이중조리개 단일렌즈 4-컬러 센서 카메라(10)의 경통의 상기 이중조리개에 사용되는 필터는, 예컨대 파장 650nm 미만의 가시광선(R, G, B)에 대해서는, 상대적으로 작은 제1 F값의 얕은 심도의 필터에 의하여 구현되고, 예컨대 파장 8 ㎛ 이상 14 ㎛ 미만의 적외선(IR)에 대해서는, 상대적으로 큰 제2 F값의 깊은 심도의 필터에 의하여 구현됨으로써 이루어지는 분광특성을 가지도록 이루어질 수 있다.

이때, 상기 이미지 신호의 파장별 신호들을 감지하기 위한 상기 4-컬러 센서는, 상기 분광특성에 맞춰서, 가시광선용 컬러 센서는 상기 제1 F값의 심도의 필터로부터의 신호를 입력받도록 제작되고, 적외선용 컬러 센서는 제2 F값의 심도의 필터로부터의 신호를 입력받도록 제작될 수 있다.

여기서, 이중조리개 깊이정보 추출용 일반적 광학계는, 깊이정보 추출 기능을 구현할 때 근적외선을 IR 입력으로 센싱하는 경우가 많지만, 가시광선에 가까운 근적외선에 의해 가시광선 이미지가 붉게 오염되는 부작용이 생긴다. 본 발명에서는, 근적외선 대신에, 인체에서 나오는 전형적인 적외선 파장인 8~14 ㎛ 영역의 원적외선을 큰 F값(깊은 심도)의 필터로 구현하여 이중조리개 (Dual Aperture)를 구성할 수 있다. 이로써, 원래의 깊이정보 추출 기능도 저하시키지 않으면서, 사람의 체온을 확인할 수 있고, 가시광선과 접경하지 않은 원적외선 사용으로, 가시광선 이미지가 붉게 오염되는 부작용까지 없애 주는 효과를 가질 수 있다. 그리고 하드웨어의 폼팩터(form factor)를 크게 늘이지 않고도, 용이하게 구현이 가능하다.

<체온검증의 구체적 실시예>

상기 체온검증모듈(14)은, 베이어(Bayer) 패턴을 비디오 스트림(video stream)으로 뿌려 줄 때의 RGB 값(0~255)을 기준으로, 사전에 정해 둔 상기 체온 기준치를 초과하면, 그 파장 대역의 IR 신호가 강하여 생체인 것으로 판정하도록 구성되어도 좋다.

이로써 체온검증을 단순히 IR 신호의 강도가 기준치를 초과하는지 여부에 의해 판단하도록 함으로써, 예컨대 도 4와 같이, 양분적으로 명확하고 신속히 체온을 판별할 수 있다.

<방법>

본 발명은 방법의 발명으로 구현될 수 있고, 이는 상기 장치의 발명과 대응된다. 상기 본 발명의 생체여부의 확인을 행하는 얼굴인식방법은, 3차원 깊이정보 및 적외선정보에 기반하여, 생체여부의 확인을 행하는 얼굴인식 방법으로서, 추출단계(11)와, 입체검증단계(15)와, 얼굴매칭단계(13, 13a)를 포함하여 이루어짐을 특징으로 한다.

상기 추출단계(11)는, 이중조리개 (Dual Aperture) 단일렌즈(Single Lens) 4-컬러 센서 카메라(10)로부터 단일렌즈를 통한 RGB 이미지(가시광선)(11a)와 IR 이미지(적외선)(11b)의 동시 데이터를 입력받아, 깊이 맵(11c)을 추출하여 출력하는 깊이정보 처리과정을 포함하는 단계이다.

상기 입체검증단계(15)는, 상기 깊이 맵(11c)으로부터의 깊이정보로부터 산출된 값이 입체 기준치 이상이면, 입체기준 통과신호를 생성하는 단계이다.

상기 얼굴매칭단계(13, 13a)는, 상기 입체기준 통과신호를 받은 후, 상기 RGB 이미지(11a)를 미리 저장된 얼굴 템플릿(12)의 RGB 템플릿(12a)과 비교하여, 오차 한계 내에서 일치하면 얼굴인식 통과신호를 생성하는 단계이다.

여기서, 상기 입체검증단계(15) 대신에 또는 상기 입체검증단계(15)와 함께, 상기 IR 이미지(11b)의 파장 중 생체 체온에 해당되는 파장의 강도가 체온 기준치 이상이면, 체온기준 통과신호를 생성하는 체온검증단계(14)를 포함하여 이루어짐이 바람직하다.

이상, 본 발명을 특정 실시예를 중심으로 설명하였으나, 본 발명은 이에 한정되는 것이 아니다. 청구범위에 기재된 범위 내에서 당업자에 의하여 이루어진 변형, 개량, 변경은 모두, 본 발명의 범위에 속하는 것으로 해석되어야 한다.

예컨대, 상기 IR 이미지(11b)는, 조도가 낮은 어두운 환경에서 얼굴 이미지 데이터를 얻거나 얼굴매칭(13, 13a)할 때에 활용되어도 좋고, 이는 도 1 및 도 3에 점선 화살표로 나타내어져 있다.

본 발명은, 3차원 깊이정보 및 적외선정보에 기반하여 생체여부의 확인을 행하는 얼굴인식 장치 및 방법의 산업에 이용될 수 있다.

10: 이중조리개(Dual Aperture) 단일렌즈(Single Lens) 4-컬러 센서 카메라
11: 깊이정보 처리칩(SoC)을 포함하는 추출장치
11a: RGB 이미지
11b: IR 이미지
11c: 깊이 맵(Depth Map)
12: 얼굴 템플릿
13: 얼굴매칭모듈
14: 체온검증모듈
15: 입체검증모듈
16: 기준 강도
17: 통과신호

Claims (8)

1. 3차원 깊이정보 및 적외선정보에 기반하여, 생체여부의 확인을 행하는 얼굴인식 장치로서,
   이중조리개(Dual Aperture) 단일렌즈(Single Lens) 4-컬러 센서 카메라로부터 단일렌즈를 통한 RGB 이미지(가시광선)와 IR 이미지(적외선)의 동시 데이터를 입력받아, 깊이 맵을 추출하여 출력하는 깊이정보 처리칩을 포함하는 추출장치와,
   상기 깊이 맵으로부터의 깊이정보로부터 산출된 값이 입체 기준치 이상이면, 입체기준 통과신호를 생성하는 입체검증모듈과,
   상기 입체기준 통과신호를 받은 후, 상기 RGB 이미지를 미리 저장된 얼굴 템플릿의 RGB 템플릿과 비교하여, 오차 한계 내에서 일치하면 얼굴인식 통과신호를 생성하는 얼굴매칭모듈
   을 포함하여 이루어지고,
   상기 이중조리개 단일렌즈 4-컬러 센서 카메라의 경통의 상기 이중조리개에 사용되는 필터는, 파장 650nm 미만의 가시광선(R, G, B)에 대해서는, 상대적으로 작은 제1 F값의 얕은 심도의 필터에 의하여 구현되고, 파장 8 ㎛ 이상 14 ㎛ 미만의 적외선(IR)에 대해서는, 상대적으로 큰 제2 F값의 깊은 심도의 필터에 의하여 구현됨으로써 이루어지는 분광특성을 가지고,
   상기 RGB 이미지 및 IR 이미지 신호의 파장별 신호들을 감지하기 위한 상기 4-컬러 센서는, 이 분광특성에 맞춰서, 가시광선용 컬러 센서는 상기 제1 F값의 심도의 필터로부터의 신호를 입력받도록 제작되고, 적외선용 컬러 센서는 상기 제2 F값의 심도의 필터로부터의 신호를 입력받도록 제작됨
   을 특징으로 하는 생체여부의 확인을 행하는 얼굴인식 장치.
2. 청구항 1에 있어서,
   상기 입체검증모듈 대신에 또는 상기 입체검증모듈과 함께,
   상기 IR 이미지의 파장 중 생체 체온에 해당되는 파장의 강도가 체온 기준치 이상이면, 체온기준 통과신호를 생성하는 체온검증모듈
   을 포함하여 이루어짐을 특징으로 하는 생체여부의 확인을 행하는 얼굴인식 장치.
3. 청구항 1 또는 청구항 2에 있어서,
   상기 얼굴매칭모듈은, 상기 IR 이미지를 미리 저장된 IR 템플릿과 더 비교하도록 구성됨
   을 특징으로 하는 생체여부의 확인을 행하는 얼굴인식 장치.
4. 청구항 1 또는 청구항 2에 있어서,
   상기 얼굴매칭모듈은, 상기 깊이 맵으로부터의 깊이정보를 미리 저장된 깊이정보 템플릿과 더 비교하도록 구성됨
   을 특징으로 하는 생체여부의 확인을 행하는 얼굴인식 장치.
5. 청구항 2에 있어서,
   상기 체온검증모듈은, 베이어(Bayer) 패턴을 비디오 스트림(video stream)으로 뿌려 줄 때의 RGB 값(0~255)을 기준으로, 사전에 정해 둔 상기 체온 기준치를 초과하면, 그 파장 대역의 IR 신호가 강하여 생체인 것으로 판정하도록 구성됨
   을 특징으로 하는 생체여부의 확인을 행하는 얼굴인식 장치.
6. 3차원 깊이정보 및 적외선정보에 기반하여, 생체여부의 확인을 행하는 얼굴인식 방법으로서,
   이중조리개(Dual Aperture) 단일렌즈(Single Lens) 4-컬러 센서 카메라로부터 단일렌즈를 통한 RGB 이미지(가시광선)와 IR 이미지(적외선)의 동시 데이터를 입력받아, 깊이 맵을 추출하여 출력하는 깊이정보 처리과정을 포함하는 추출단계와,
   상기 깊이 맵으로부터의 깊이정보로부터 산출된 값이 입체 기준치 이상이면, 입체기준 통과신호를 생성하는 입체검증단계와,
   상기 입체기준 통과신호를 받은 후, 상기 RGB 이미지를 미리 저장된 얼굴 템플릿의 RGB 템플릿과 비교하여, 오차 한계 내에서 일치하면 얼굴인식 통과신호를 생성하는 얼굴매칭단계
   를 포함하여 이루어지고,
   상기 이중조리개 단일렌즈 4-컬러 센서 카메라의 경통의 상기 이중조리개에 사용되는 필터는, 파장 650nm 미만의 가시광선(R, G, B)에 대해서는, 상대적으로 작은 제1 F값의 얕은 심도의 필터에 의하여 구현되고, 파장 8 ㎛ 이상 14 ㎛ 미만의 적외선(IR)에 대해서는, 상대적으로 큰 제2 F값의 깊은 심도의 필터에 의하여 구현됨으로써 이루어지는 분광특성을 가지고,
   상기 RGB 이미지 및 IR 이미지 신호의 파장별 신호들을 감지하기 위한 상기 4-컬러 센서는, 이 분광특성에 맞춰서, 가시광선용 컬러 센서는 상기 제1 F값의 심도의 필터로부터의 신호를 입력받도록 제작되고, 적외선용 컬러 센서는 상기 제2 F값의 심도의 필터로부터의 신호를 입력받도록 제작됨
   을 특징으로 하는 생체여부의 확인을 행하는 얼굴인식방법.
7. 청구항 6에 있어서,
   상기 입체검증단계 대신에 또는 상기 입체검증단계와 함께,
   상기 IR 이미지의 파장 중 생체 체온에 해당되는 파장의 강도가 체온 기준치 이상이면, 체온기준 통과신호를 생성하는 체온검증단계
   를 포함하여 이루어짐을 특징으로 하는 생체여부의 확인을 행하는 얼굴인식 방법.
8. 삭제

Images