KR20180108592A - 촬상 장치 및 화상 처리 장치 - Google Patents

Abstract

적외광 화상에 포함되는 투영 상의 영향을 저감시킨다. 촬상부(20)는, 적외광 화상 촬상 영역(21a) 및 가시광 화상 촬상 영역(21b)을 포함하는 촬상 소자(21)와, 주 축방향이 서로 다른 복수의 편광 소자(25a 내지 25d)를 포함하는 복수의 편광 유닛이, 적외광 화상 촬상 영역을 구성하는 복수의 화소에 대응지어져 이차원적으로 배열되어 있는 편광 필터(25)를 구비한다.

Description

촬상 장치 및 화상 처리 장치

이하의 개시는, 화상을 촬상하는 촬상 장치 등에 관한 것이다.

최근, 휴대 전화기 또는 태블릿형 PC(Personal Computer) 등의 정보 처리 장치에 있어서, 시큐리티에 대한 유저의 인식은 점점 높아지고 있다. 이에 수반하여, 다양한 인증 기술이 개발되고 있다. 최근에는, 홍채 인증 기술 등의, 매우 신뢰성이 높은 인증 기술도 개발되어, 당해 홍채 인증 기술을 구비한 휴대 전화기도 시판되고 있다.

이러한 홍채 인증 기술을 구비한 본인 인증 장치의 일례가, 특허문헌 1에 개시되어 있다. 특허문헌 1에는, 가시광 화상을 사용한 인증(예: 얼굴 인식)과, 적외광 화상을 사용한 인증(예: 홍채 인증)을 행하는 것이 가능한 소형의 본인 인증 장치가 개시되어 있다. 당해 본인 인증 장치는, 가시광 및 적외광을 검출하고, 각각 가시광 화상 및 적외광 화상으로서 출력하는 단일의 촬상부를 구비하고, 가시광 화상 및 적외선 화상의 각각을 이용하여 본인의 인증을 행한다. 촬상부는, 구체적으로는, 적색(R), 녹색(G) 및 청색(B) 외에도, 적외선(IR)을 수광하는 수광부를 포함한다.

일본 공개특허 공보 「일본 특허공개 제2005-339425호 공보(2005년 12월 8일 공개)」

여기서 일반적으로, 촬상된 적외선 화상에 있어서, 화상 처리의 대상으로 되는 상(예: 홍채의 상)을 형성하는 광은, 그 대부분이 확산 반사 성분으로 구성된다. 한편, 화상 처리에서 제거할 노이즈로 되는 상(처리 대상 외로 해야 할 투영 상. 예: 홍채에 투영한 상)을 형성하는 광은, 그 대부분이 경면 반사 성분으로 구성된다. 따라서, 적외선 화상을 사용하여 고정밀도로 인증을 행하는 경우에는, 적외선 화상을 형성하는 광으로부터 경면 반사 성분을 적절하게 제거할 필요가 있다.

그러나, 특허문헌 1에는, 경면 반사 성분의 제거에 관한 개시가 전혀 없다. 그로 인해, 특허문헌 1의 본인 인증 장치에서는, 적외선 화상에 투영 상이 포함되는 경우에는, 투영 상도 처리 대상의 상의 일부로서 특정되어, 오인증이 행해져 버릴 가능성이 있다.

본 개시의 일 형태는, 촬상한 적외광 화상에 대한 화상 처리를 행하는 경우에, 적외광 화상에 포함되는 처리 대상의 상 이외의 투영 상의 영향을 저감시키는 것이 가능한 촬상 장치를 실현하는 것을 목적으로 한다.

상기 과제를 해결하기 위해서, 본 개시의 일 형태에 따른 촬상 장치는, 이차원적으로 배열된 복수의 화소에 의해 화상을 촬상하는 촬상 소자를 구비하는 촬상 장치로서, 상기 촬상 소자는, 가시광을 수광함으로써 가시광 화상을 촬상하는 가시광 화상 촬상 영역과, 적외광을 수광함으로써 적외광 화상을 촬상하는 적외광 화상 촬상 영역을 포함하고, 또한, 주 축방향이 서로 다른 복수의 편광 소자를 포함하는 편광 유닛을 복수 포함하며, 당해 복수의 편광 유닛이, 상기 적외광 화상 촬상 영역을 구성하는 상기 복수의 화소에 대응지어져 이차원적으로 배열되어 있는 편광 필터를 구비한다.

본 개시의 일 형태에 의하면, 촬상한 적외광 화상에 대한 화상 처리를 행하는 경우에, 적외광 화상에 포함되는 처리 대상의 상 이외의 투영 상의 영향을 저감시키는 것이 가능해진다.

도 1은, 실시 형태 1에 따른 촬상부의, 적외광 화상 촬상 영역측의 구성의 일례를 나타내는 도면으로, (a)는 촬상 소자의 구성의 개략을 나타내는 도면이고, (b)는 적외광 화상 촬상 영역의 구성의 개략을 나타내는 단면도이며, (c)는 편광 필터의 구성의 개략을 나타내는 평면도이다.
도 2는, 실시 형태 1에 따른 휴대 정보 단말기의 구성의 일례를 나타내는 도면으로, (a)는 휴대 정보 단말기의 외관의 일례를 나타내고, (b)는 휴대 정보 단말기가 구비하는 촬상부의 외관의 일례를 나타내며, (c)는 촬상부에 의해 촬상된 화상의 일례를 나타낸다.
도 3은, 홍채 인증에 대하여 설명하기 위한 도면이다.
도 4는, 실시 형태 1에 따른 촬상부의, 가시광 화상 촬상 영역측의 구성의 일례를 나타내는 도면으로, (a)는 촬상 소자의 구성의 개략을 나타내는 도면이고, (b)는 가시광 화상 촬상 영역의 구성의 개략을 나타내는 단면도이며, (c)는 컬러 필터의 구성의 개략을 나타내는 평면도이다.
도 5는, 실시 형태 1에 따른 휴대 정보 단말기의 구성을 나타내는 기능 블록도이다.
도 6은, 실시 형태 1에 따른 제어부에 의한 홍채 인증 처리를 나타내는 흐름도이다.
도 7의 (a)는, 실시 형태 1의 변형예에 따른 편광 필터의 구성을 나타내는 도면이며, (b)는, 실시 형태 1의 다른 변형예에 따른 편광 필터의 구성을 나타내는 도면이다.
도 8은, 실시 형태 2에 따른 휴대 정보 단말기의 구성의 일례를 나타내는 도면으로, (a)는 휴대 정보 단말기의 외관의 일례를 나타내고, (b)는 휴대 정보 단말기가 구비하는 편광 필터의 구성의 개략을 나타내는 평면도이다.
도 9는, 실시 형태 2에 따른 휴대 정보 단말기의 구성을 나타내는 기능 블록도이다.
도 10은, 실시 형태 2에 따른 촬상부의 구성의 개략을 나타내는 단면도이다.
도 11은, 실시 형태 2에 따른 제어부에 의한 홍채 인증 처리를 나타내는 흐름도이다.
도 12는, 실시 형태 3에 따른 휴대 정보 단말기의 구성을 나타내는 기능 블록도이다.
도 13은, 화소의 출력값의 주기적인 변화에 대하여 설명하기 위한 도면으로, (a)는 인물의 화상이 인쇄된 지면을 연속하여 촬상한 경우에서의 화소의 출력값을 나타내는 도면이며, (b)는 실제의 인물을 연속하여 촬상한 경우에서의 화소의 출력값을 나타내는 도면이다.
도 14는, 실시 형태 3에 따른 제어부에 의한 홍채 인증 처리를 나타내는 흐름도이다.

〔실시 형태 1〕

이하, 본 개시의 실시 형태 1에 대하여, 도 1 내지 도 7에 기초하여 상세히 설명한다.

<휴대 정보 단말기(1)의 구성>

우선, 휴대 정보 단말기(1)의 구성에 대하여, 도 2를 이용하여 설명한다. 도 2는, 휴대 정보 단말기(1)의 구성의 일례를 나타내는 도면으로, (a)는 휴대 정보 단말기(1)의 외관의 일례를 나타내고, (b)는 휴대 정보 단말기(1)가 구비하는 촬상부(20)의 외관의 일례를 나타내며, (c)는 촬상부(20)에 의해 촬상된 화상의 일례를 나타낸다.

본 실시 형태의 휴대 정보 단말기(1)는, 피사체에서 반사된 가시광 및 적외광을 취득함으로써 피사체를 포함하는 화상을 촬상하는 촬상 기능과, 촬상한 화상에 대한 화상 처리를 행하는 화상 처리 기능을 구비한다.

또한, 본 실시 형태의 휴대 정보 단말기(1)는, 화상 처리의 결과를 받아, 촬상한 화상에 포함되는 피사체의 인증을 행하는 인증 기능을 구비한다. 특히, 휴대 정보 단말기(1)는, 피사체인 유저(인간)의 안구에서 반사된 적외광을 수광함으로써 생성되는 적외광 화상에 대해서 화상 처리를 행함으로써, 홍채 인증을 행하는 기능을 탑재하고 있다. 이 경우, 휴대 정보 단말기(1)는, 촬상된 유저의 안구를 포함하는 적외광 화상에 있어서, 안구에서 반사된 적외광에 포함되는 확산 반사 성분과 경면 반사 성분을 분리하고, 당해 분리한 적외광 화상을 사용하여 당해 유저의 홍채 인증을 행하는 것이 가능한 단말기이다.

휴대 정보 단말기(1)는, 도 2의 (a)에 도시한 바와 같이, 촬상부(20)(촬상 장치), 적외 광원(30) 및 표시부(40)를 구비한다. 촬상부(20)는, 유저 조작에 기초하여, 피사체를 포함하는 화상을 촬상한다. 적외 광원(30)은, 예를 들어 촬상부(20)가 적외광을 수광함으로써 적외광 화상을 촬상할 때, 적외광(특히 근적외광)을 출사한다. 표시부(40)는, 촬상부(20)가 촬상한 화상 등, 각종 화상을 표시한다.

<촬상부(20)의 구성>

다음으로, 촬상부(20)에 대하여, 도 1, 도 2 및 도 4를 이용하여 설명한다. 도 1은, 촬상부(20)의, 적외광 화상 촬상 영역(21a) 측의 구성의 일례를 나타내는 도면으로, (a)는 촬상 소자(21)의 구성의 개략을 나타내는 도면이고, (b)는 적외광 화상 촬상 영역(21a)의 구성의 개략을 나타내는 단면도이며, (c)는 편광 필터(25)의 구성의 개략을 나타내는 평면도이다. 또한, 도 4는, 촬상부(20)의, 가시광 화상 촬상 영역(21b) 측의 구성의 일례를 나타내는 도면으로, (a)는 촬상 소자(21)의 구성의 개략을 나타내는 도면이고, (b)는 가시광 화상 촬상 영역(21b)의 구성의 개략을 나타내는 단면도이며, (c)는 컬러 필터(31)의 구성의 개략을 나타내는 평면도이다.

(촬상 소자(21))

촬상부(20)는, 도 2의 (b)에 도시한 촬상 소자(21)를 구비한다. 촬상 소자(21)는, 이차원적으로 배열된 복수의 화소에 의해 화상을 촬상한다. 촬상 소자(21)로서는, 예를 들어 CCD(Charge Coupled Device) 또는 CMOS(Complementary Metal Oxide Semiconductor)를 들 수 있다. 본 실시 형태에서는, 촬상 소자(21)가 CCD로 구성되어 있는 경우를 예로 들어 설명한다.

촬상 소자(21)는, 구체적으로는, 적외광을 수광함으로써 적외광 화상을 촬상하는 적외광 화상 촬상 영역(21a)과, 가시광을 수광함으로써 가시광 화상을 촬상하는 가시광 화상 촬상 영역(21b)을 포함한다. 바꾸어 말하면, 1개의 촬상 소자(21)에, 적외광 화상 촬상 영역(21a) 및 가시광 화상 촬상 영역(21b)이 형성되어 있다. 그로 인해, 촬상 소자(21)가, 적외광 화상 및 가시광 화상을 촬상하는 촬상부(20)에 적용되어 있음으로써, 촬상부(20)의 소형화를 도모할 수 있다.

본 실시 형태에서는, 적외광 화상 촬상 영역(21a)은, 홍채 인증을 행할 때, 도 2의 (c)에 도시한 바와 같이 유저의 안구를 피사체로서 적외광 화상을 촬상하는 인증 모드에서 사용되는 영역이다. 인간의 눈동자는 다양한 색을 갖고 있으며, 가시광 화상의 경우, 당해 색에 의해 홍채의 상이 불선명해질 가능성이 있다. 한편, 적외광 화상의 경우, 당해 색의 성분을 제거한 눈동자의 상을 취득할 수 있기 때문에, 선명한 홍채의 상을 취득할 수 있다. 그로 인해, 본 실시 형태의 인증 모드에서는, 적외광 화상을 취득하고 있다.

또한, 가시광 화상 촬상 영역(21b)은, 피사체의 가시광 화상을 촬상하는 통상 모드에서 사용되는 영역이다. 본 실시 형태에서는, 가시광 화상 촬상 영역(21b)이 촬상한 가시광 화상은 인증 등에는 사용되지 않는다. 가시광 화상 촬상 영역(21b)은, 예를 들어 도 2의 (c)에 도시한 바와 같이, 피사체인 유저의 얼굴 전체를 포함하는 가시광 화상을 취득한다.

이와 같이, 촬상 소자(21)를 탑재한 휴대 정보 단말기(1)에서는, 홍채 인증을 행하기 위한 적외광 화상과, 인증에는 사용하지 않는 가시광 화상을, 공통의 촬상부(20)에 의해 촬상하는 것이 가능하다. 그로 인해, 휴대 정보 단말기(1)는, 도 2의 (a)에 도시한 바와 같이, 표시부(40)측에 촬상부(20)를 설치함으로써, 홍채 인증용 촬상부(적외광 카메라)를 형성하지 않고, 적외광 화상을 촬상할 수 있다. 즉, 전술한 바와 같이 촬상부(20)의 소형화를 도모함으로써, 적외광 화상 및 가시광 화상을 촬상하는 것이 가능한 휴대 정보 단말기(1)의 소형화를 도모할 수 있다.

또한, 촬상 소자(21)는, 적외광 화상 촬상 영역(21a) 및 가시광 화상 촬상 영역(21b)을 적어도 포함하고 있으면 된다. 본 실시 형태에서는, 촬상 소자(21)의 촬상 영역이, 휴대 정보 단말기(1)(구체적으로는 촬상 소자(21))의 길이 방향(Y축 방향)을 따라 적외광 화상 촬상 영역(21a) 및 가시광 화상 촬상 영역(21b)으로 분할되어 있다. 홍채 인증을 행하는 경우, 일반적으로는, 유저는, 휴대 정보 단말기(1)의 길이 방향이 유저의 2개의 눈을 연결하는 선과 교차하도록 휴대 정보 단말기(1)를 파지하여, 유저의 눈을 촬상한다. 홍채 인증 시의 일반적인 사용 양태를 고려하면, 촬상 소자(21)의 촬상 영역이, 상기 길이 방향을 따라 적외광 화상 촬상 영역(21a) 및 가시광 화상 촬상 영역(21b)으로 분할되어 있는 것이 바람직하다.

또한, 도 2의 (b)에 도시한 촬상 소자(21)에 있어서는, +Y축 방향을 위로 한 경우, 상측에 적외광 화상 촬상 영역(21a), 하측에 가시광 화상 촬상 영역(21b)이 배치되어 있지만, 반대여도 된다. 또한, 촬상 소자(21)의 촬상 영역은, 휴대 정보 단말기(1)의 짧은 방향(X축 방향)을 따라 적외광 화상 촬상 영역(21a) 및 가시광 화상 촬상 영역(21b)으로 분할되어 있어도 된다. 이러한 분할은, 홍채 인증 시에 휴대 정보 단말기(1)의 길이 방향이 유저의 2개의 눈을 연결하는 선과 대략 평행하게 되도록 휴대 정보 단말기(1)를 파지하여 유저의 눈을 촬상하는 경우에 유효하다. 단, 홍채 인증 시에 유저의 눈을 촬상할 수 있으면, 촬상 소자(21)에 있어서, 적외광 화상 촬상 영역(21a) 및 가시광 화상 촬상 영역(21b)이 어떻게 배치되어 있어도 된다.

또한, 적외광 화상 촬상 영역(21a) 및 가시광 화상 촬상 영역(21b)은 각각, 도 1의 (b) 및 도 4의 (b)에 도시한 바와 같이, 전송선(22, 23) 및 포토다이오드(24)를 구비한다.

전송선(22, 23)은, 적외광 화상 촬상 영역(21a) 및 가시광 화상 촬상 영역(21b)의 표면에 있어서, 각각 X축 방향 및 Y축 방향으로 연신하고 있으며, 포토다이오드(24)로부터의 출력을 제어부(10)(후술)로 송신한다. 이에 의해, 적외광 화상 촬상 영역(21a)에서 촬상된 적외광 화상, 및 가시광 화상 촬상 영역(21b)에서 촬상된 가시광 화상을, 화상 처리를 행하는 제어부(10)로 송신할 수 있다.

포토다이오드(24)는, 적외광 화상 촬상 영역(21a)에 있어서는 적외광을 수광하고, 가시광 화상 촬상 영역(21b)에 있어서는 가시광을 수광한다. 또한, 각 포토다이오드(24)가, 촬상 소자(21)의 화소를 구성한다. 바꾸어 말하면, 촬상 소자(21)는, 복수의 포토다이오드(24)가 복수의 화소로서 이차원적으로 배열되어 있는 구성을 갖는다.

(적외광 화상 촬상 영역(21a) 측의 구성)

촬상부(20)는, 도 1의 (a)에 도시한 촬상 소자(21)의 적외광 화상 촬상 영역(21a) 측에, 도 1의 (b)에 도시한 바와 같이, 편광 필터(집적 편광자)(25) 및 가시광 차단 필터(26)를 구비한다. 도 1의 (b)에 도시한 바와 같이, 촬상부(20)에 광이 입사하는 방향에서 볼 때, 가시광 차단 필터(26), 편광 필터(25) 및 촬상 소자(21)의 순서대로 적층되어 있다.

편광 필터(25)는, 주 축방향이 서로 다른 복수의 편광 소자를 포함하는 편광 유닛을 복수 포함하고, 적외광 화상 촬상 영역(21a)을 구성하는 복수의 화소에 대응지어져 이차원적으로 배열되어 있다. 본 실시 형태에서는, 편광 필터(25)는, 적외광 화상 촬상 영역(21a)의 1화소에 대해 1개의 편광 소자가 대응하도록 배치되어 있다. 또한, 본 실시 형태에서는, 도 1의 (c)에 도시한 바와 같이, 인접하는 4개의 화소에 각각 대응하는, 인접하는 4개의 편광 소자(25a 내지 25d)가 1개의 편광 유닛을 형성하고 있다. 구체적으로는, 1개의 편광 유닛을 형성하는 4개의 편광 소자(25a 내지 25d)는, 각각 0°, 45°, 90° 및 135°의 편광각을 갖는다.

편광 필터(25)는, 복수의 화소(환언하면, 적외광 화상 촬상 영역(21a))의 위에 직접 형성되어 있다. 편광 필터(25)는, 이러한 형성이 가능한 것이면 되며, 예를 들어 알루미늄(Al) 등의 금속으로 구성된 와이어 그리드, 또는 굴절률이 서로 다른 재료가 적층된 포토닉 결정을 포함하는 것을 들 수 있다.

또한, 1개의 편광 유닛에 대응지어진 화소군(본 실시 형태에서는, 4개의 화소)을 1개의 화소 유닛이라 칭하는 경우도 있다.

가시광 차단 필터(26)는, 적외광 화상 촬상 영역(21a)에 설치되고, 적외광 화상 촬상 영역(21a)을 향하는 가시광을 차단한다. 홍채의 색은 사람에 따라 상이하기 때문에, 적외광 화상에 가시광 성분이 포함되어 있는 경우, 홍채의 상이 선명하지 않게 될 가능성이 있다. 가시광 차단 필터(26)를 적외광 화상 촬상 영역(21a)에 설치함으로써, 홍채의 상이 불선명해지는 것을 억제할 수 있어, 적외광 화상의 화질의 열화를 억제할 수 있다.

또한, 적외광 화상 촬상 영역(21a)에 대한 가시광 차단 필터(26)의 상대 위치는 고정되어 있다. 일반적으로, 촬상 양태에 의해 가시광 차단 필터를 촬상 소자에 대해서 이동시키는 구성의 경우, 가시광 차단 필터를 이동시키는 이동 기구를 구비할 필요가 있지만, 촬상부(20)는, 이러한 이동 기구를 구비할 필요가 없다. 그로 인해, 촬상부(20)의 소형화를 도모할 수 있다. 또한, 당해 이동 기구가 작동하는 것에 기인하는 발진이 없기 때문에, 적외광 화상 촬상 영역(21a)에 의해 촬상되는 적외광 화상에 이물이 투영될 우려가 저감된다.

(홍채 인증에 대하여)

여기서, 도 3을 이용하여, 홍채 인증에 대하여 설명한다. 도 3은, 홍채 인증에 대하여 설명하기 위한 도면이다. 또한, 도 3의 설명에 있어서는, 상기 인증 모드에 있어서, 외광(태양광) 또는 실내광에 포함되는 적외광에 의해 유저의 안구 E가 촬상되는 것으로서 설명한다.

도 3에 도시한 바와 같이, 유저의 안구 E에 외광 또는 실내광이 조사되면, 당해 광은 안구 E에 있어서 반사되고, 그 적외광 성분이 촬상부(20)의 적외광 화상 촬상 영역(21a)에 입사하게 된다.

적외광 화상 촬상 영역(21a)은, 유저의 안구 E에 외광 또는 실내광이 조사되고, 홍채에 있어서 당해 외광 또는 실내광이 확산 반사된 확산 반사광 Lr의 적외광 성분을 취득함으로써, 유저의 홍채 상을 포함하는 적외광 화상을 취득한다. 그리고, 휴대 정보 단말기(1)는, 당해 홍채의 상을 해석함으로써 유저 인증을 행한다. 한편, 인증을 행하는 유저의 주위의 환경광이 밝고, 또한 투영하는 상의 근원이 되는 물체 O가 존재하는 경우, 안구 E(보다 상세하게는 각막 표면)에는 투영 상 Ir이 형성된다. 투영 상 Ir은, 환경광이 물체 O에 조사되고, 물체 O로부터의 반사광이 안구 E(보다 상세하게는 각막 표면)이며 또한 경면 반사됨으로써 발생한다. 그리고, 적외광 화상 촬상 영역(21a)은, 홍채로부터의 확산 반사광 Lr과, 투영 상 Ir을 구성하는 경면 반사광의 적외광 성분을 추출함으로써 적외광 화상을 취득하게 된다.

따라서, 적외광 화상 촬상 영역(21a)에 편광 필터(25)가 설치되어 있지 않은 경우에 있어서, 휴대 정보 단말기(1)가, 취득한 홍채의 상 및 투영 상 Ir을 포함하는 적외광 화상으로부터 투영 상 Ir을 제거하기 위한 기능을 갖지 않는 경우에는, 홍채의 화상 해석에 있어서 투영 상 Ir의 영향을 받아버리게 된다. 그 결과, 휴대 정보 단말기(1)에 있어서 정확한 홍채 인증이 될 수 없을 가능성이 있다.

특히, 태양광의 조사하에서는 유저의 안구 E에 강한 투영이 발생하기 때문에, 옥외에서의 정확한 홍채 인증은 곤란을 수반한다. 태양광의 강도보다도 높은 강도를 갖는 광을 유저의 안구 E에 조사함으로써, 홍채 인증에 있어서의 태양광의 영향을 저감할 수는 있지만, 이러한 강도가 높은 광을 안구 E 또는 피부에 조사한 경우에는, 안구 E 또는 피부의 상태가 악화되어 버릴 가능성이 있다. 또한, 소비 전력이 증대한다는 문제도 있다.

여기서 일반적으로, 화상 처리에 사용하는 상을 형성하는 광(여기서는, 인증 처리에 사용되는 홍채를 나타내는 확산 반사광 Lr)은, 그 대부분이 확산 반사 성분으로 구성된다. 본 실시 형태에서는, 당해 광은, 인증 처리에 있어서 필요한 안구 E(구체적으로는 홍채)의 표면을 나타내는 표면 정보를 나타내는 것으로서 처리된다. 홍채는 미세하고 복잡한 구조를 갖기 때문에, 홍채의 상을 형성하는 확산 반사광 Lr은 거의 편광하지 않는다. 한편, 상기 화상 처리에 있어서 제거할 노이즈로 되는 상을 형성하는 광(여기서는, 인증 처리에 악영향을 미치는 물체 O의 투영 상 Ir을 구성하는 광)은, 그 대부분이 경면 반사 성분으로 구성된다. 경면 반사광은 일반적으로, 입사 각도에 따라 달라지지만, 편광도가 높아지는 것이 알려져 있다.

본 실시 형태의 휴대 정보 단말기(1)에 있어서는, 촬상부(20)는, 전술한 바와 같이, 적외광 화상 촬상 영역(21a)에 대응하도록 설치된 편광 필터(25)를 구비하고 있다. 그로 인해, 휴대 정보 단말기(1)에서는, 적외광 화상 촬상 영역(21a)이, 편광 필터(25)를 통해 취득한 적외광 화상에 대해서, 후술하는 제어부(10)에 의한 화상 처리를 행할 수 있다. 그리고, 휴대 정보 단말기(1)에서는, 당해 화상 처리에 의해, 상기와 같은 강도가 높은 광을 안구 E에 조사하지 않고, 홍채의 화상 해석에 있어서의 투영 상 Ir의 영향을 저감시킨, 선명한 홍채의 상을 취득하여, 정확한 홍채 인증을 행하는 것이 가능해진다.

즉, 촬상부(20)는, 상기와 같이 편광 필터(25)를 설치함으로써, 촬상한 적외광 화상에 대한 화상 처리를 행하는 경우에, 처리 대상으로 되는 상(본 실시 형태에서는, 홍채의 상) 이외의 투영 상 Ir의 영향을 저감시키는 것을 가능하게 한다.

또한, 편광 필터(25)는, 전술한 바와 같이, 주 축방향이 서로 다른 복수의 편광 소자(25a 내지 25d)를 포함하는 편광 유닛을 복수 포함한다. 그로 인해, 안구 E 상의 반사되는 위치에 따라 서로 다른 편광 방향을 갖는, 투영 상 Ir을 구성하는 경면 반사광에 대응할 수 있다. 이 대응에 의해, 제어부(10)에 의한 상기 화상 처리에 있어서, 투영 상 Ir의 영향을 저감시킬 수 있다.

(가시광 화상 촬상 영역(21b) 측의 구성)

촬상부(20)는, 도 4의 (a)에 도시한 촬상 소자(21)의 가시광 화상 촬상 영역(21b) 측에, 도 4의 (b)에 도시한 바와 같이, 컬러 필터(31) 및 적외광 차단 필터(32)를 구비한다. 도 4의 (a)에 도시한 바와 같이, 촬상부(20)에 광이 입사하는 방향에서 볼 때, 적외광 차단 필터(32), 컬러 필터(31) 및 촬상 소자(21)의 순서대로 적층되어 있다.

컬러 필터(31)는, 가시광 화상 촬상 영역(21b)에 의해 촬상되는 가시광 화상의 다색 컬러 표시를 실현하기 위해서, 가시광 화상 촬상 영역(21b)의 서브 화소마다 서로 다른 3원색(RGB)을 갖는 필터에 의해 구성되어 있다. 컬러 필터(31)는, 3원색의 각각에 대응하는 필터가, 예를 들어 도 4의 (c)에 도시한 바와 같이 2차원적으로 배치되어 있다. 컬러 필터(31)는, 예를 들어 유기 재료로 구성되어 있다.

적외광 차단 필터(32)는, 가시광 화상 촬상 영역(21b)에 설치되고, 가시광 화상 촬상 영역(21b)을 향하는 적외광을 차단한다. 일반적으로, 컬러 필터는 적외광을 투과해버린다. 그로 인해, 가시광 화상에 적외광 성분이 포함되는 경우, 가시광 화상의 화질이 열화되어버릴 가능성이 있다. 적외광 차단 필터(32)를 가시광 화상 촬상 영역(21b)에 설치함으로써, 가시광 화상의 화질의 열화를 억제할 수 있다.

본 실시 형태에서는, 적외광 차단 필터(32)는, 컬러 필터(31)와 동일한 유기 재료로 구성되어 있다. 이로 인해, 컬러 필터(31) 및 적외광 차단 필터(32)를 동일한 제조 공정에서 제조하는 것이 가능해진다. 이 점을 고려하지 않으면, 적외광 차단 필터(32)는, 적외광을 차단 가능한 다른 재료로 구성되어도 된다.

또한, 가시광 화상 촬상 영역(21b)에 대한 적외광 차단 필터(32)의 상대 위치는 고정되어 있다. 일반적으로, 촬상 양태에 의해 적외광 차단 필터를 촬상 소자에 대해서 이동시키는 구성의 경우(예: 특허문헌 1에 따른 발명), 적외광 차단 필터를 이동시키는 이동 기구를 구비할 필요가 있지만, 촬상부(20)는, 이러한 이동 기구를 구비할 필요가 없다. 그로 인해, 촬상부(20)의 소형화를 도모할 수 있다. 또한, 당해 이동 기구가 작동함에 기인하는 발진이 없기 때문에, 가시광 화상 촬상 영역(21b)에 의해 촬상되는 가시광 화상에 이물이 투영될 우려가 저감된다.

<제어부(10)의 구성>

다음으로, 휴대 정보 단말기(1)가 구비하는 제어부(10)의 구성에 대하여, 도 5를 이용하여 설명한다. 도 5는, 휴대 정보 단말기(1)의 구성을 나타내는 기능 블록도이다. 도 5에 도시한 바와 같이, 휴대 정보 단말기(1)는, 제어부(10)(화상 처리 장치), 촬상부(20), 적외 광원(30), 표시부(40), 및 기억부(50)를 구비한다.

제어부(10)는, 검은자위 검출부(11), 화상 처리부(12), 및 인증부(13)를 구비한다. 제어부가 구비하는 각 부에 대한 설명은 후술한다. 촬상부(20), 적외 광원(30), 및 표시부(40)에 대해서는 전술한 바와 같다. 기억부(50)는, 제어부(10)의 제어에 필요한 정보를 기억하는 기억 매체이며, 예를 들어 플래시 메모리 등이다.

검은자위 검출부(11)는, 촬상부(20)가 적외광 화상 촬상 영역(21a)에서 촬상한 적외광 화상을 취득하고, 당해 적외광 화상에 포함되는, 유저의 검은자위에 대응하는 영역을 특정한다. 검은자위 검출부(11)에 있어서의 처리는, 예를 들어 홍채의 화상에 의한 인증의 분야에 있어서는 공지이기 때문에, 본 명세서에서는 설명을 생략한다.

화상 처리부(12)는, 촬상부(20)(구체적으로는, 적외광 화상 촬상 영역(21a))가 촬상한 적외광 화상에 대해서 화상 처리를 행한다. 구체적으로는, 화상 처리부(12)는, 적외광 화상 촬상 영역(21a)이 수광한 적외광에 포함되는 경면 반사 성분을 저감시키도록, 적외광 화상 촬상 영역(21a)이 촬상한 적외광 화상에 대해서 화상 처리를 행한다. 본 실시 형태에서는, 화상 처리부(12)는, 적외광 화상 촬상 영역(21a) 내의 각 화소 유닛에 포함되는 복수의 화소 중, 수광한 적외광의 수광 강도가 가장 작은 화소의 출력값(환언하면, 본 예에서의, 화상 처리를 행하여 얻어진 결과)을, 당해 화소 유닛의 출력값으로서 결정한다. 여기서, 출력값이란, 적외광의 수광 강도 등, 적외광 화상을 나타내는 다양한 값을 나타낸다.

전술한 바와 같이, 투영 상 Ir을 형성하는 적외광은 편광도가 높다. 이로 인해, 편광 필터(25)에 의해 제거되는 적외광의 강도는, 편광 소자(25a 내지 25d)의 편광각에 따라 상이하다. 화소 유닛에 포함되는 화소 중, 수광한 적외광의 수광 강도가 가장 작은 화소에 있어서는, 당해 화소에 대응하는 편광 소자에 의해, 투영 상 Ir을 형성하는 적외광이 가장 잘 제거되어 있다고 생각된다. 따라서, 화상 처리부(12)는, 상기와 같이 출력값을 결정함으로써, 투영 상 Ir의 영향을 저감시킨 적외광 화상을 취득할 수 있다.

또한, 화상 처리부(12)는, 촬상부(20)(구체적으로는, 가시광 화상 촬상 영역(21b))가 촬상한 가시광 화상에 대해서 화상 처리를 행한다. 본 실시 형태에서는, 가시광 화상은 인증 처리에 사용되지 않는다. 그로 인해, 화상 처리부(12)는, 가시광 화상에 소정의 화상 처리를 행하여 표시부(40)에 표시한다. 또한, 화상 처리부(12)는, 가시광 화상을 기억부(50)에 기억해도 된다. 또한, 화상 처리부(12)는, 적외광 화상 촬상 영역(21a)이 촬상한 적외광 화상에 소정의 화상 처리를 행하여 표시부(40)에 표시해도 된다.

인증부(13)는, 화상 처리부(12)에서 처리된 각 화소 유닛의 출력값을 이용하여, 유저의 인증을 행한다. 즉, 인증부(13)는, 투영 상 Ir이 가장 잘 제거된 적외광 화상을 사용하여 홍채 인증을 행하기 때문에, 고정밀도의 인증을 행할 수 있다. 인증부(13)에 있어서의, 홍채에 의한 인증은 공지된 기술이기 때문에, 본 명세서에서는 설명을 생략한다.

<제어부(10)의 처리>

도 6은, 제어부(10)에 의한 홍채 인증 처리를 나타내는 흐름도이다. 여기에서는, 휴대 정보 단말기(1)에 있어서 인증 모드가 설정되어 있는 경우의 홍채 인증 처리에 대하여 설명한다. 제어부(10)에 의한 홍채 인증 처리에 있어서는, 우선, 적외광 화상 촬상 영역(21a)에서 촬상된 적외광 화상을 검은자위 검출부(11)가 취득하고(S1), 당해 적외광 화상에 포함되는, 유저의 검은자위를 검출한다(S2). 이어서, 화상 처리부(12)가, 전술한 바와 같이 각 화소 유닛의 출력값을 결정한다(S3). 그 후, 인증부(13)가, 각 화소 유닛의 출력값에 기초하여 유저의 인증을 행한다(S4).

<변형예>

도 7의 (a)는, 본 실시 형태의 변형예에 따른 편광 필터(25A)의 구성을 나타내는 도면이다. 편광 필터(25A)는, 전술한 편광 필터(25)와 치환 가능한 필터이다. 도 7의 (a)에 도시한 바와 같이, 편광 필터(25A)에 있어서는, 인접하는 9개의 화소에 각각 대응하는, 인접하는 9개의 편광 소자(25e 내지 25m)가 1개의 편광 유닛을 형성하고 있다. 구체적으로는, 1개의 편광 유닛을 형성하는 9개의 편광 소자(25e 내지 25m)는, 각각 0°, 20°, 40°, 60°, 80°, 100°, 120°, 140°, 및 160°의 편광각을 갖는다.

이와 같이, 1개의 편광 유닛에 포함되는 편광 소자의 수는, 4이더라도 9이더라도 되며, 또한 또 다른 수여도 된다. 1개의 편광 유닛에 포함되는 편광 소자의, 각도의 수가 많으면, 수광하는 적외광에 포함되는, 투영 상 Ir의 성분을, 보다 고정밀도로 제거할 수 있다. 단, 1개의 화소 유닛은 1개의 편광 유닛에 대응지어져 있으며, 전술한 바와 같이, 1개의 화소 유닛으로부터는 1개의 출력값이 출력된다. 그로 인해, 1개의 편광 유닛에 대한 화소수가 많아지면, 화상 처리부(12)에 의한 처리를 행한 후의 적외광 화상의 해상도가 낮아진다. 따라서, 1개의 편광 유닛에 포함되는 편광 소자의 수는, 투영 상 Ir의 성분의 제거 정밀도와 인증에 사용하는 적외광 화상의 해상도를 고려하여 설정할 필요가 있다.

또한, 도 7의 (b)는, 본 실시 형태의 다른 변형예에 따른 편광 필터(25B)의 구성을 나타내는 도면이다. 편광 필터(25B)도, 전술한 편광 필터(25)와 치환 가능한 필터이다. 도 7의 (b)에 도시한 바와 같이, 편광 필터(25B)에 있어서는, 인접하는 4개의 화소에 각각 대응하는, 인접하는 2개씩의 편광 소자(25n·25o)가 1개의 편광 유닛을 형성하고 있다. 구체적으로는, 편광 소자(25n·25o)는 각각, 0° 및 90°의 편광각을 갖는다. 이와 같이, 1개의 편광 유닛에, 동일한 편광각을 갖는 편광 소자가 복수 포함되어 있어도 된다.

또한, 전술한 편광 소자(25a 내지 25o)는 모두, 1개의 화소에 대하여 1개 대응지어져 있었다. 그러나, 복수의 화소에 대해서 1개의 편광 소자가 대응지어져 있어도 된다. 단, 1개의 편광 소자에 대한 화소수(환언하면, 1개의 편광 유닛에 대한 화소수)가 많아지면, 상기와 마찬가지의 이유에서, 화상 처리부(12)에 의한 처리를 행한 후의 적외광 화상의 해상도가 낮아진다. 따라서, 1개의 편광 소자에 대응짓는 화소의 수는, 투영 상 Ir의 성분의 제거 정밀도, 인증에 사용하는 적외광 화상의 해상도 및 적외광 화상에 있어서의 개개의 화소 크기를 고려하여 설정할 필요가 있다.

<기타>

본 개시의 일 형태에 따른 피사체는 안구로 한정되지 않고, 투영이 발생할 가능성이 있는 피사체이면 어떠한 것이어도 된다. 또한, 적외광 화상에 포함되는 투영 상의 영향을 저감시키는 것이 필요한 구체적인 실시 형태로서, 상기에서는 홍채 인증을 들어 설명하였다. 이것으로 한정하지 않고, 본 개시의 일 형태에 따른 촬상부(20) 및 제어부(10)에 있어서의 화상 처리는, 투영 상의 영향을 저감시키는 것이 필요한 기술에 있어서 널리 적용 가능하다.

또한, 휴대 정보 단말기(1)는, 제어부(10), 촬상부(20), 적외 광원(30) 및 표시부(40)를 일체로 구비하는 휴대 정보 단말기(1)를 예로 들어 설명하지만, 이들의 부재는 일체로 설치되어 있을 필요는 없다.

〔실시 형태 2〕

본 개시의 다른 실시 형태에 대하여, 도 8 내지 도 11에 기초하여 설명하면, 이하와 같다. 또한, 설명의 편의상, 상기 실시 형태에서 설명한 부재와 동일한 기능을 갖는 부재에 대해서는, 동일한 부호를 부기하고, 그 설명을 생략한다.

<휴대 정보 단말기(1a)의 구성>

도 8은, 본 실시 형태에 따른 휴대 정보 단말기(1a)의 구성의 일례를 나타내는 도면으로, (a)는 휴대 정보 단말기(1a)의 외관의 일례를 나타내고, (b)는 휴대 정보 단말기(1a)가 구비하는 편광 필터(25C)의 구성의 개략을 나타내는 평면도이다.

도 8의 (a)에 도시한 바와 같이, 휴대 정보 단말기(1a)는, 휴대 정보 단말기(1a)의 주위의 조도를 검지하는 조도 센서(60)(조도 검지부)를 구비함과 함께, 촬상부(20) 대신에 촬상부(20a)를 구비하는 점에서, 휴대 정보 단말기(1)와 상이하다.

<촬상부(20a)의 구성>

촬상부(20a)(촬상 장치)는, 적외광 화상 촬상 영역(21a)에, 편광 필터(25) 대신에 편광 필터(25C)를 구비한다. 편광 필터(25C)는, 8개의 편광 소자(25p, 25q, 25r, 25s, 25t, 25u, 25v, 25w)의 각각이 존재하는 편광 영역(25pa)(도 10 참조)과, 편광 소자가 존재하지 않는 비편광 영역(25npa)을 갖는다. 편광 필터(25C)에 있어서는, 편광 영역(25pa) 및 비편광 영역(25npa)이 1개의 편광 유닛을 형성하고 있다. 편광 소자(25p 내지 25w)는, 각각 0°, 22.5°, 45°, 67.5°, 90°, 112.5°, 135° 및 157.5°의 편광각을 갖는다.

또한, 본 실시 형태에서는, 1개의 편광 유닛에 대응하는 화소 유닛은, 8개의 편광 소자(25p 내지 25w) 및 비편광 영역(25npa)의 각각에 대응하는, 합계 9개의 화소를 포함한다. 단, 비편광 영역(25npa)에 대응하는 화소가 복수 있어도 된다. 또한, 1개의 편광 유닛에 대응하는 화소 유닛에 포함되는 화소의 수는 9개와는 상이한 수여도 된다.

<제어부(10a)의 구성>

다음으로, 휴대 정보 단말기(1a)가 구비하는 제어부(10a)의 구성에 대하여, 도 9를 이용하여 설명한다. 도 9는, 휴대 정보 단말기(1a)의 구성을 나타내는 기능 블록도이다. 도 9에 도시한 바와 같이, 휴대 정보 단말기(1a)는, 제어부(10a) (화상 처리 장치), 촬상부(20a), 적외 광원(30), 표시부(40), 기억부(50), 및 조도 센서(60)를 구비한다. 제어부(10a)는, 검은자위 검출부(11), 화상 처리부(12a) 및 인증부(13)를 구비한다.

화상 처리부(12a)는, 조도 센서(60)가 검지한 조도가 소정값 이상인 경우에는, 적외광 화상 촬상 영역(21a)이 수광한 적외광에 포함되는 경면 반사 성분을 저감시키도록, 적외광 화상 촬상 영역(21a)이 촬상한 적외광 화상에 대해서 화상 처리를 행한다. 본 실시 형태에서는, 화상 처리부(12a)는, 편광 영역(25pa)에 대응지어진 복수의 화소 중, 수광한 적외광의 수광 강도가 가장 작은 화소의 출력값(환언하면, 본 예에서의, 화상 처리를 행하여 얻어진 결과)을, 화소 유닛의 출력값으로서 결정한다. 한편, 조도 센서(60)가 검지한 조도가 소정값 미만인 경우에는, 화상 처리부(12a)는, 비편광 영역(25npa)에 대응지어진 화소의 출력값을, 화소 유닛의 출력값으로서 결정한다.

도 10은, 촬상부(20a)의 구성의 개략을 나타내는 단면도이다. 도 10에 도시한 바와 같이, 반사광 Lr0은, 가시광 차단 필터(26)에 의해 가시광 성분이 제거되어 적외광 성분만의 반사광 Lr1로 된다. 반사광 Lr0은, 확산 반사광 Lr만, 또는, 확산 반사광 Lr 및 경면 반사광에 의해 구성되는 광이다. 편광 영역(25pa)에 있어서는, 반사광 Lr1은, 또한 편광 소자(25p 내지 25w)(도 8 참조)의 각각에 의해 특정 방향의 편광 이외가 제거되어 반사광 Lr2로 되어 포토다이오드(24)에 입사한다. 그로 인해, 반사광 Lr2의 강도는 반사광 Lr1의 강도보다 작다. 한편, 비편광 영역(25npa)에 있어서는, 반사광 Lr1이 그대로 포토다이오드(24)에 입사한다.

이와 같이, 편광 영역(25pa)에 대응하는 포토다이오드(24)가 수광하는 적외광의 수광 강도는, 비편광 영역(25npa)에 대응하는 포토다이오드(24)가 수광하는 적외광의 수광 강도와 비교하여 작아진다. 구체적으로는, 편광 소자(25p 내지 25w)의 각각에 의한 감쇠율은, 일반적으로는 50％ 이상이 된다. 또한, 적외광의 수광 강도는, 휴대 정보 단말기(1a)의 주위의 조도가 낮은 경우에는, 주위의 조도가 높은 경우와 비교하여 작아진다. 이로 인해, 적외광 화상 촬상 영역(21a)의 모든 화소에 편광 소자가 설치되어 있는 촬상부(20)(실시 형태1 참조)에서는, 야간 또는 어두운 옥내 등의, 주위의 조도가 낮은 환경하에서의 홍채 인증에 지장을 초래할 우려가 있다. 한편, 주위의 조도가 낮은 경우에는, 촬상한 적외광 화상에 투영 상은 거의 드러나지 않는다.

이로 인해, 휴대 정보 단말기(1a)의 주위의 조도가 소정값 미만인 경우에는, 화상 처리부(12a)는, 비편광 영역(25npa)에 대응하는 포토다이오드(24)의 출력값을, 당해 포토다이오드(24)를 포함하는 화소 유닛의 출력값으로서 결정한다. 이에 의해, 휴대 정보 단말기(1a)에 있어서는, 주위의 조도가 낮은 경우에서도 홍채 인증이 가능한 적외광 화상을 얻을 수 있다.

한편, 주위의 조도가 소정값 이상인 경우에는, 화상 처리부(12a)는, 실시 형태 1과 마찬가지의 처리를 행한다. 그로 인해, 휴대 정보 단말기(1a)는, 주위의 환경에 따르지 않고, 투영 상 Ir의 영향을 저감 또는 제거한 적외광 화상에 대한 화상 처리를 행할 수 있다.

따라서, 휴대 정보 단말기(1a)에서는, 주위의 환경에 따르지 않고, 홍채 인증 처리를 고정밀도로 행하는 것이 가능해진다.

또한, 여기에서 말하는 조도의 「소정값」이란, 투영 상 Ir에 의한 홍채 인증에 대한 영향을 무시할 수 없는 조도의 하한을 의미한다.

<제어부(10a)의 처리>

도 11은, 제어부(10a)에 의한 홍채 인증 처리를 나타내는 흐름도이다. 제어부(10a)에 의한 홍채 인증 처리에 있어서는, 우선, 적외광 화상 촬상 영역(21a)에서 촬상된 적외광 화상을 검은자위 검출부(11)가 취득하고(S11), 당해 적외광 화상에 포함되는, 유저의 검은자위를 검출한다(S12). 이어서, 화상 처리부(12a)가, 조도 센서(60)로부터 휴대 정보 단말기(1a)의 주위의 조도를 취득하고(S13), 주위의 조도가 소정값 이상인지 판정한다(S14).

주위의 조도가 소정값 이상인 경우(S14에서 '예'), 화상 처리부(12a)는, 편광 영역(25pa)에 대응하는 화소의 출력값에 기초하여, 각 화소 유닛의 출력값을 결정한다(S15). 그 후, 인증부(13)가, 각 화소 유닛의 출력값에 기초하여 유저의 인증을 행한다(S16).

한편, 주위의 조도가 소정값 미만인 경우(S14에서 '아니오'), 화상 처리부(12a)는, 비편광 영역(25npa)에 대응하는 화소의 출력값을 각 화소 유닛의 출력값으로서 결정한다(S17). 그 후, 인증부(13)가, 각 화소 유닛의 출력값에 기초하여 유저의 인증을 행한다(S18).

또한, 전술한 실시 형태에서는, 휴대 정보 단말기(1a)가 조도 센서(60)를 구비하고 있었다. 그러나, 반드시 휴대 정보 단말기(1a) 자체가 조도 센서(60)를 구비할 필요는 없다. 예를 들어, 휴대 정보 단말기(1a)는, 조도 센서(60)를 구비하는, 휴대 정보 단말기(1a)와 다른 장치로부터, 휴대 정보 단말기(1a)의 주위의 조도를 나타내는 신호를 수신하도록 구성되어 있어도 된다.

또한, 휴대 정보 단말기(1a)는, 조도 센서(60)를 구비하지 않고, 촬상부(20a)를 사용하여 조도를 추정해도 된다. 구체적으로는, 제어부(10a)는, 홍채 화상을 촬상하기 전에 비편광 영역(25npa)에 대응하는 화소의 출력값을 계측하고, 당해 출력값에 기초하여 주위의 조도를 추정해도 된다. 이 경우, 제어부(10a)는, 주위의 조도를 검지하는 조도 검지부로서도 기능한다.

〔실시 형태 3〕

본 개시의 다른 실시 형태에 대하여, 도 12 내지 도 14에 기초하여 설명하면, 이하와 같다. 또한, 설명의 편의상, 상기 실시 형태에서 설명한 부재와 동일한 기능을 갖는 부재에 대해서는, 동일 부호를 부기하고, 그 설명을 생략한다.

<휴대 정보 단말기(1b)의 구성>

본 실시 형태의 휴대 정보 단말기(1b)의 구성에 대하여, 도 12를 이용하여 설명한다. 도 12는, 휴대 정보 단말기(1b)의 구성을 나타내는 기능 블록도이다. 도 12에 도시한 바와 같이, 휴대 정보 단말기(1b)는, 제어부(10) 대신에 제어부(10b)를 구비하는 점에서 휴대 정보 단말기(1)와 상이하다. 구체적으로는, 휴대 정보 단말기(1b)에서는, 전술한 휴대 정보 단말기(1 및 1a)와 달리, 인증 모드에서, 적외광 화상 촬상 영역(21a)이 촬상한 적외광 화상 외에도, 가시광 화상 촬상 영역(21b)이 촬상한 가시광 화상도 사용된다.

<제어부(10b)의 구성>

제어부(10b)(화상 처리 장치)는, 제어부(10)의 구성 외에도, 화소 유무 판정부(14)를 구비한다. 화소 유무 판정부(14)는, 가시광 화상 촬상 영역(21b)이 촬상한 가시광 화상을 취득하고, 당해 가시광 화상에 대응지어진 복수의 화소 중에, 주기적으로 변화하는 출력값을 출력하는 화소가 존재하는지 여부를 판정한다.

화상 처리부(12)는, 주기적으로 변화하는 출력값을 출력하는 화소가 존재한다고 화소 유무 판정부(14)가 판정한 경우에, 적외광 화상에 대한 화상 처리를 행한다. 즉, 화상 처리부(12)는, 상기와 같이 판정된 경우에는, 실시 형태 1에서 설명한 바와 같이, 적외광 화상 촬상 영역(21a)이 수광한 적외광에 포함되는 경면 반사 성분을 저감시키도록, 적외광 화상 촬상 영역(21a)이 촬상한 적외광 화상에 대해서 화상 처리를 행한다. 본 실시 형태에서는, 화상 처리부(12)는, 화소 유닛마다, 수광한 적외광의 수광 강도가 가장 작은 화소의 출력값(환언하면, 본 예에서의, 화상 처리를 행해서 얻어진 결과)을, 당해 화소 유닛의 출력값으로서 결정한다. 그리고, 인증부(13)는, 당해 출력값에 기초하여 홍채 인증을 행한다.

한편, 화상 처리부(12)는, 주기적으로 변화하는 출력값을 출력하는 화소가 존재하지 않는다고 화소 유무 판정부(14)가 판정한 경우에는, 적외광 화상에 대한 화상 처리를 행하지 않는다. 이 경우, 제어부(10b)는, 예를 들어 표시부(40)에 있어서, 홍채 인증을 속행할지 여부를 유저에게 선택시키는 선택 화면을 표시시키거나, 또는 홍채 인증을 할 수 없음을 나타내는 에러 통지를 행해도 된다. 후자의 경우, 제어부(10b)는, 설정된 인증 모드를 해제해도 된다.

다음으로, 도 13을 참조하여, 화소의 출력값의 주기적인 변화에 대하여 설명한다. 도 13은, 화소의 출력값의 주기적인 변화에 대하여 설명하기 위한 도면이며, (a)는 인물의 화상이 인쇄된 지면(100), 및 지면(100)을 연속하여 촬상한 경우에서의 화소의 출력값을 나타내는 도면이며, (b)는 실제의 인물(유저)(200), 및 인물(200)을 연속하여 촬상한 경우에서의 화소의 출력값을 나타내는 도면이다.

도 13의 (a) 및 (b)에 도시한 바와 같이, 본 실시 형태에 있어서는, 촬상부(20)는, 인증 모드에서, 적외광 화상 촬상 영역(21a)에 의해 피사체(지면(100)에 그려진 인물 또는 실제의 인물(200))의 눈 주위를 촬상하고, 가시광 화상 촬상 영역(21b)에 의해 피사체의 눈보다 아래 영역을 촬상한다.

또한, 홍채 인증을 행하는 경우, 예를 들어 적외광 화상에 대한 검은자위 검출이 행해질 때까지, 적외광 화상을 계속해서 촬상할 필요가 있다. 그로 인해, 전술한 실시 형태도 포함해, 인증 모드에서의 촬상부(20)에 의한 촬상은, 검은자위 검출부(11)가 검은자위를 검출하기 위해 필요한 소정의 시간에 있어서 행해진다. 본 실시 형태에서는 특히, 후술하는 바와 같이 피사체에서의 생명 활동의 유무를 판단하지만, 당해 소정의 시간 내에 당해 판단을 행하는 것은 가능하다. 또한, 검은자위를 검출하는 처리의 개시보다 전의, 적외광 화상을 촬상하기 위한 위치 정렬을 개시하는 시점부터, 피사체에서의 생명 활동의 유무를 판단하기 위한 처리를 행해도 된다.

지면(100)은 생명 활동을 행하고 있지 않기 때문에, 지면(100)을 연속해서 촬상한 경우, 도 13의 (a)에 도시한 바와 같이, 화소의 출력값은 대략 일정하며, 거의 변화하지 않거나, 주기적인 변화는 발생하지 않는다. 이에 반하여, 실제의 인물(200)은 생명 활동을 행하고 있기 때문에, 심장의 박동에 연동하여 동맥의 확장 및 수축이 발생한다. 동맥이 확장하고 있을 때에는, 동맥 중을 흐르는 혈액에 포함되는 산화 헤모글로빈에 의한 광의 흡수가 커지기 때문에, 수광하는 적외광의 수광 강도가 작아진다. 그로 인해, 화소의 출력값은 작아진다. 한편, 동맥이 수축하고 있을 때에는, 산화 헤모글로빈에 의한 광의 흡수가 작아지기 때문에, 상기 수광 강도가 커진다. 그로 인해, 화소의 출력값은 커진다. 따라서, 유저(인물(200))를 연속하여 촬상한 경우, 도 13의 (b)에 도시한 바와 같이, 화소의 출력값이 심장의 박동에 연동하여 주기적으로 변화한다. 또한, 화소의 출력값의 주기적인 변화는, 유저의 얼굴에 대응하는 영역 내이면 임의의 개소에서 관측 가능하며, 예를 들어 이마 또는 뺨 등에 대응하는 영역에서 관측하면 된다.

홍채 인증은, 매우 높은 신뢰성을 갖는 개인 인증 방법이다. 그러나, 지면 위에 고정밀도로 인쇄된 홍채를 촬상한 경우에는, 당해 지면상의 홍채를 진짜 홍채라고 오인해 인증해버릴 가능성이 있다는 문제가 있다. 이 문제의 해결책으로서, 홍채 인증과 함께, 피사체가 생체인지 여부를 검지하는 것이 유용하다.

본 실시 형태에서는, 전술한 바와 같이, 촬상부(20)의 가시광 화상 촬상 영역(21b)이 피사체를 연속해서 촬상하고, 화소 유무 판정부(14)가, 화소의 출력값의 주기적 변화의 유무를 판정함으로써 피사체가 생체(예: 실제 인물(200))인지 여부를 검지한다. 그리고, 화소의 출력값에 주기적인 변화가 보이는 경우에는, 제어부(10b)는 피사체가 생체라고 검지하여 홍채 인증 처리를 행한다. 한편, 화소의 출력값에 주기적인 변화가 보이지 않는 경우에는, 제어부(10b)는 피사체가 생체가 아니라고 검지하여 홍채 인증 처리를 행하지 않는다. 이에 의해, 제어부(10b)는, 고정밀도로 인쇄된 지면상의 화상을 인증 처리의 대상 외로 할 수 있다. 그로 인해, 지면 등을 사용한, 인증 대상의 위조 등에 의한 부정 액세스를 방지할 수 있다.

또한, 화소 유무 판정부(14)는, 피사체가 생체인지 여부를 판정할 수 있으면 된다. 구체적으로는, 화소 유무 판정부(14)는, 소정의 시간에서의, 피사체가 생체라고 판정할 수 있을 정도의, 화소의 출력값의 경시적인 변화의 유무를 판정할 수 있으면 된다.

<제어부(10b)의 처리>

도 14는, 제어부(10b)에 의한 홍채 인증 처리를 나타내는 흐름도이다. 제어부(10b)에 의한 홍채 인증 처리에 있어서는, 우선, 연속하여 촬상된 가시광 화상 및 적외광 화상을 화소 유무 판정부(14)가 촬상부(20)로부터 취득하고(S21), 가시광 화상에 있어서 출력값이 주기적으로 변화하는 화소가 존재하는지 판정한다(S22). 출력값이 주기적으로 변화하는 화소가 존재하는 경우(S22에서 '예'), 검은자위 검출부(11)가 적외광 화상으로부터 검은자위를 검출하고(S23), 화상 처리부(12)가 각 화소 유닛의 출력값을 결정한다(S24). 그 후, 인증부(13)가, 각 화소 유닛의 출력값에 기초하여 화상 처리된 적외광 화상을 사용하여, 유저의 인증을 행한다(S25).

한편, 출력값이 주기적으로 변화하는 화소가 존재하지 않는 경우(S22에서 '아니오'), 전술한 스텝 S23 내지 S25의 처리는 실행되지 않는다.

<변형예>

전술한 실시 형태에서는, 화소 유무 판정부(14)는, 연속하여 촬상된 가시광 화상의, 화소의 출력값의 주기적 변화에 기초하여, 피사체가 생체인지 여부를 검지하였다. 또한 제어부(10b)는, 피사체가 생체라고 화소 유무 판정부(14)가 판정한 경우에, 가시광 화상을 사용한 얼굴인식을 함께 행해도 된다.

얼굴인식은, 눈, 코, 또는 입 등의 형상 및 위치로부터 추출한 특징량을 사용하여 인증을 행하는 것이다. 도 13의 (b)에 도시한 예에서는, 가시광 화상 촬상 영역(21b)이 촬상한 가시광 화상에는, 피사체인 인물(200)의 코 및 입의 상이 포함되어 있다. 그로 인해, 화상 처리부(12)가 당해 가시광 화상에 포함되는 코 또는 입의 특징량을 추출하고, 인증부(13)가 당해 특징량을 해석함으로써, 제어부(10b)는 얼굴인식을 행할 수 있다.

또한, 인물(200)의 눈의 상은, 가시광 화상 촬상 영역(21b)이 촬상한 적외광 화상에 포함되어 있다. 그로 인해, 화상 처리부(12)가, 적외광 화상에 포함되는 눈의 특징량을 추출하고, 인증부(13)가 당해 눈의 특징량을 해석함으로써, 얼굴인식을 행해도 된다. 이 경우, 제어부(10b)는, 눈, 코, 및 입의 특징량을 이용하여 얼굴인식을 행할 수 있다.

또한, 얼굴인식의 대상은, 가시광 화상에 포함되는 코, 또는 입 중 어느 한 쪽이도 되며, 적외광 화상에 포함되는 눈만이어도 된다. 후자의 경우, 적외광 화상만으로 홍채 인증 및 얼굴인식을 행할 수 있다. 단, 얼굴인식을 고정밀도로 행하는 것을 고려하면, 얼굴인식의 대상이 많을수록 바람직하다.

이와 같이, 제어부(10b)는, 홍채 인증 및 얼굴인식을 병용하여, 하이브리드 인증을 행해도 된다. 이에 의해, 홍채 인증만을 행하는 경우와 비교하여, 더 견고한 시큐리티를 실현할 수 있다.

〔실시 형태 4: 소프트웨어에 의한 실현예〕

휴대 정보 단말기(1, 1a, 1b)의 제어 블록(특히 제어부(10, 10a, 10b)의 각 부)은, 집적 회로(IC 칩) 등에 형성된 논리 회로(하드웨어)에 의해 실현해도 되고, CPU(Central Processing Unit)를 이용하여 소프트웨어에 의해 실현해도 된다.

후자의 경우, 휴대 정보 단말기(1, 1a, 1b)는, 각 기능을 실현하는 소프트웨어인 프로그램의 명령을 실행하는 CPU, 상기 프로그램 및 각종 데이터가 컴퓨터 (또는 CPU)에 의해 판독 가능하게 기록된 ROM(Read Only Memory) 또는 기억 장치(이들을 「기록 매체」라고 칭함), 상기 프로그램을 전개하는 RAM(Random Access Memory) 등을 구비하고 있다. 그리고, 컴퓨터(또는 CPU)가 상기 프로그램을 상기 기록 매체로부터 판독하여 실행함으로써, 본 개시의 일 형태에 따른 목적이 달성된다. 상기 기록 매체로서는, 「일시적이 아닌 유형의 매체」, 예를 들어 테이프, 디스크, 카드, 반도체 메모리, 프로그래머블 논리 회로 등을 사용할 수 있다. 또한, 상기 프로그램은, 해당 프로그램을 전송 가능한 임의의 전송 매체(통신 네트워크나 방송파 등)를 통해 상기 컴퓨터에 공급되어도 된다. 또한, 본 개시의 일 형태는, 상기 프로그램이 전자적인 전송에 의해 구현화된, 반송파에 매립된 데이터 신호의 형태에서도 실현될 수 있다.

〔부기 사항〕

본 개시의 일 형태는 전술한 각 실시 형태로 한정되는 것이 아니라, 청구항에 나타낸 범위에서 다양한 변경이 가능하며, 다른 실시 형태에 각각 개시된 기술적 수단을 적절히 조합하여 얻어지는 실시 형태에 대해서도 본 개시의 일 형태의 기술적 범위에 포함된다. 또한, 각 실시 형태에 각각 개시된 기술적 수단을 조합함으로써, 새로운 기술적 특징을 형성할 수 있다.

(관련 출원의 상호 참조)

본 출원은, 2017년 1월 31일에 출원된 일본 특허출원 제2017-015941에 대하여 우선권의 이익을 주장하는 것으로, 그것을 참조함으로써, 그 내용의 전부가 본서에 포함된다.

10, 10b: 제어부(화상 처리 장치)
10a: 제어부(화상 처리 장치, 조도 검지부)
12, 12a: 화상 처리부
14: 화소 유무 판정부
20, 20a: 촬상부(촬상 장치)
21: 촬상 소자
21a: 적외광 화상 촬상 영역
21b: 가시광 화상 촬상 영역
25, 25A, 25B, 25C: 편광 필터
25a 내지 25w: 편광 소자
25pa: 편광 영역
25npa: 비편광 영역
26: 가시광 차단 필터
32: 적외광 차단 필터
60: 조도 센서(조도 검지부)

Claims (8)

1. 이차원적으로 배열된 복수의 화소에 의해 화상을 촬상하는 촬상 소자를 구비하는 촬상 장치로서,
   상기 촬상 소자는, 가시광을 수광함으로써 가시광 화상을 촬상하는 가시광 화상 촬상 영역과, 적외광을 수광함으로써 적외광 화상을 촬상하는 적외광 화상 촬상 영역을 포함하고, 또한
   주 축방향이 서로 다른 복수의 편광 소자를 포함하는 복수의 편광 유닛을 포함하며, 당해 복수의 편광 유닛이, 상기 적외광 화상 촬상 영역을 구성하는 상기 복수의 화소에 대응지어져 이차원적으로 배열되어 있는 편광 필터를 구비하는 것을 특징으로 하는, 촬상 장치.
2. 제1항에 있어서,
   1개의 상기 촬상 소자에, 상기 가시광 화상 촬상 영역 및 상기 적외광 화상 촬상 영역이 형성되어 있는 것을 특징으로 하는, 촬상 장치.
3. 제1항 또는 제2항에 있어서,
   상기 가시광 화상 촬상 영역에는, 상기 적외광을 차단하는 적외광 차단 필터가 설치되고,
   상기 적외광 화상 촬상 영역에는, 상기 가시광을 차단하는 가시광 차단 필터가 설치되어 있으며,
   상기 가시광 화상 촬상 영역에 대한 상기 적외광 차단 필터의 상대 위치, 및 상기 적외광 화상 촬상 영역에 대한 상기 가시광 차단 필터에 대한 상대 위치는, 각각 고정되어 있는 것을 특징으로 하는, 촬상 장치.
4. 제1항 내지 제3항 중 어느 한 항에 있어서,
   상기 편광 유닛은, 상기 편광 소자가 존재하는 편광 영역과, 상기 편광 소자가 존재하지 않는 비편광 영역을 갖고 있는 것을 특징으로 하는,촬상 장치.
5. 제1항 내지 제4항 중 어느 한 항에 기재된 촬상 장치의 상기 적외광 화상 촬상 영역이 수광한 적외광에 포함되는 경면 반사 성분을 저감시키도록, 당해 적외광 화상 촬상 영역이 촬상한 상기 적외광 화상에 대해서 화상 처리를 행하는 화상 처리부를 구비하는 것을 특징으로 하는, 화상 처리 장치.
6. 제4항에 기재된 촬상 장치가 촬상한 상기 적외광 화상에 대해서 화상 처리를 행하는 화상 처리부를 구비하는 화상 처리 장치로서,
   상기 화상 처리부는,
   주위의 조도를 검지하는 조도 검지부가 검지한 조도가 소정값 이상인 경우에는, 상기 적외광 화상 촬상 영역이 수광한 상기 적외광에 포함되는 경면 반사 성분을 저감시키도록 상기 적외광 화상에 대해서 화상 처리를 행하여 얻어진 결과를, 상기 편광 유닛에 대응지어진 상기 복수의 화소의 출력값으로서 결정하고,
   상기 조도 검지부가 검지한 조도가 소정값 미만인 경우에는, 상기 비편광 영역에 대응지어진 상기 화소의 출력값을, 상기 편광 유닛에 대응지어진 상기 복수의 화소의 출력값으로서 결정하는 것을 특징으로 하는, 화상 처리 장치.
7. 제5항 또는 제6항에 있어서,
   상기 화상 처리부는, 상기 편광 유닛에 대응지어진 상기 복수의 화소 중, 수광한 상기 적외광의 수광 강도가 가장 작은 화소의 출력값을, 당해 복수의 화소의 출력값으로서 결정하는 것을 특징으로 하는, 화상 처리 장치.
8. 제5항 내지 제7항 중 어느 한 항에 있어서,
   상기 가시광 화상에 대응지어진 상기 복수의 화소 중, 경시적으로 변화하는 출력값을 출력하는 화소가 존재하는지 여부를 판정하는 화소 유무 판정부를 구비하고,
   상기 화상 처리부는, 상기 화소 유무 판정부가 경시적으로 변화하는 출력값을 출력하는 화소가 존재한다고 판정한 경우에, 상기 적외광 화상에 대한 화상 처리를 행하는 것을 특징으로 하는, 화상 처리 장치.

Images