KR102011195B1 - 화상 처리 방법 및 화상 처리 장치 - Google Patents

Abstract

화상 처리 방법은, 실효 방사 휘도값을 피사체로부터 취득하는 휘도값 정보 취득 스텝과, 상기 실효 방사 휘도값으로부터 상기 피사체의 표면에서의 정반사광 성분의 적어도 일부를 제거하고, 얻어진 휘도값을 갖는 단위 영역의 집합으로서의 상기 촬상 화상을 생성하는 화상 생성 스텝을 포함한다.

Description

화상 처리 방법 및 화상 처리 장치{IMAGE PROCESSING METHOD AND IMAGE PROCESSING DEVICE}

이하의 개시는, 홍채 인증에 사용하는 화상에 대한 처리를 행하는 화상 처리 방법, 화상 처리 장치 및 화상 처리 프로그램에 관한 것이다.

최근들어 피사체를 촬영한 화상에 있어서, 피사체로부터의 반사광에 포함되는 확산 반사 성분과 경면 반사 성분을 분리하는 기술이 개발되고 있다. 이것은, 화상 처리 알고리즘의 대부분은 확산 반사를 전제로 하고 있으며, 경면 반사는 화상 처리 알고리즘의 성능 저하의 요인이 될 수 있기 때문이다. 상기 2개의 반사 성분을 분리하는 기술의 일례가, 특허문헌 1에 개시되어 있다.

특허문헌 1에는, 하기 (1) 내지 (5)의 공정을 포함하는 화상 처리 방법이 개시되어 있다.

(1) 임의의 조명 하에서, 주축 방향이 서로 상이한 편광 소자를 통하여 카메라에 의해 피사체의 복수의 화상을 촬영한다.

(2) 촬영된 복수의 화상의, 경면 반사가 발생하고 있는 화소군에 대하여, 화소마다 피사체의 법선 벡터와 시선 벡터로부터 입사면을 특정한다.

(3) 상기 화소마다 피사체의 법선 벡터와 시선 벡터로부터 입사각을 특정한다.

(4) 입사면 및 입사각의 양쪽이 유사한 화소끼리를 클러스터링하여 화소 집합을 형성한다.

(5) 화소 집합에 있어서, 확산 반사 성분과 경면 반사 성분 사이의 확률적 독립성을 가정하여 반사 성분을 분리한다.

특허문헌 1의 화상 처리 방법에 의하면, 일반의 조명 환경에 있어서도 확산 반사 성분과 경면 반사 성분을 분리할 수 있다.

일본 공개 특허 공보 「일본 특허 제3955616호 공보(2007년 5월 11일 등록)」

그러나, 특허문헌 1에는 피사체로부터의 반사광에 포함되는 정반사광 성분을 저감시켜 홍채 인증을 행하는 것에 관한 개시는 없다.

본 개시의 일 형태는, 정반사광 성분을 저감시키는 것이 가능한 화상 처리 방법 등을 실현하는 것을 목적으로 한다.

상기한 과제를 해결하기 위하여, 본 개시의 일 형태에 관한 화상 처리 방법은, 주축 방향이 서로 상이한 복수의 편광 소자와 대응지어진 복수의 화소를 하나의 화소 유닛으로 하고, 상기 화소 유닛이 이차원적으로 배열된 촬상 소자에 의해, 당해 촬상 소자에 있어서의 피사체의 실효적인 방사 휘도값인 실효 방사 휘도값을 당해 피사체로부터 취득하는 휘도값 정보 취득 스텝과, 상기 피사체로부터 취득한 실효 방사 휘도값을 사용하여 상기 피사체의 상을 포함하는 촬상 화상을 생성하는 화상 생성 스텝을 포함하고, 상기 화상 생성 스텝에 있어서, 상기 피사체의 적어도 일부에 대응하는 상기 화소 유닛마다, 당해 화소 유닛에 포함되는 복수의 화소의 실효 방사 휘도값으로부터, 상기 피사체의 표면에서의 정반사광 성분의 적어도 일부를 제거하고, 얻어진 휘도값을 갖는 단위 영역의 집합으로서의 상기 촬상 화상을 생성한다.

또한, 본 개시의 일 형태에 관한 화상 처리 방법은, 주축 방향이 서로 상이한 복수의 편광 소자와 대응지어진 복수의 화소를 하나의 화소 유닛으로 하고, 해당 화소 유닛이 이차원적으로 배열된 촬상 소자에 의해 촬영된 피사체의 화상을 취득하는 스텝과, 상기 촬상 소자에 있어서의 상기 화소 유닛의 이차원적 위치와 대응하는 상기 피사체 상의 위치에 의해 결정되는 상기 피사체에 대한 입사각에 의존한 S 편광의 휘도 분포를, 상기 촬상 소자의 출력을 사용하여 산출하는 스텝을 포함한다.

또한, 본 개시의 일 형태에 관한 화상 처리 장치는, 주축 방향이 서로 상이한 복수의 편광 소자와 대응지어진 복수의 화소를 하나의 화소 유닛으로 하고, 상기 화소 유닛이 이차원적으로 배열된 촬상 소자를 구비하는 화상 처리 장치이며, 상기 촬상 소자에 의해 당해 촬상 소자에 있어서의 피사체의 실효적인 방사 휘도값인 실효 방사 휘도값을 당해 피사체로부터 취득하는 휘도값 정보 취득부와, 상기 피사체로부터 취득한 실효 방사 휘도값을 사용하여 상기 피사체의 상을 포함하는 촬상 화상을 생성하는 화상 생성부를 포함하고, 상기 화상 생성부는, 상기 피사체의 적어도 일부에 대응하는 상기 화소 유닛마다, 당해 화소 유닛에 포함되는 복수의 화소의 실효 방사 휘도값으로부터, 상기 피사체의 표면에서의 정반사광 성분의 적어도 일부를 제거하고, 얻어진 휘도값을 갖는 단위 영역의 집합으로서의 상기 촬상 화상을 생성한다.

본 개시의 일 형태에 관한 화상 처리 방법 및 화상 처리 장치에 의하면, 정반사광 성분을 저감시키는 것이 가능한 화상 처리 방법 등을 실현할 수 있다.

도 1은 본 실시 형태의 화상 처리 방법에 있어서의 처리의 흐름의 일례를 나타내는 흐름도이다.
도 2는 화상 처리 장치의 개요를 설명하기 위한 도면이다.
도 3은 화상 처리 장치에 있어서의 화상 처리의 개요를 설명하기 위한 도면이다.
도 4는 본 실시 형태의 화상 처리 장치를 구비하는 휴대 정보 단말기의 구성을 도시하는 블록도이다.
도 5의 (a) 및 (b)는, 카메라가 구비하는 집적 편광자의 다른 예를 도시하는 도면이다.
도 6은 화상 처리 장치에 있어서의 처리에 사용하는 값에 대하여 설명하기 위한 도면이다.
도 7은 편광각에 대한, 화소에 있어서 수광되는 광의 수광 강도를 나타내는 그래프이다.
도 8은 입사각에 대한 S 편광 및 P 편광의 반사 계수를 나타내는 그래프이다.
도 9는 본 실시 형태의 화상 처리 방법에 있어서의 처리의 흐름의, 다른 예를 나타내는 흐름도이다.
도 10의 (a) 및 (b)는 모두, 본 실시 형태의 화상 처리 방법에 있어서의 처리의 흐름의, 또 다른 예를 나타내는 흐름도이다.
도 11은 고무 볼에 대한 광의 입사각에 대한, S 편광의 반사 강도를 나타내는 그래프이다.
도 12는 본 실시 형태의 화상 처리 장치에 의한 화상 처리의 실험 결과를 나타내는 화상의 개략을 도시하는 도면이다.
도 13은 실시 형태 3의 화상 처리 장치의 구성을 도시하는 블록도이다.
도 14는 실시 형태 3의 화상 처리 장치에 있어서의 처리의 흐름을 나타내는 흐름도이다.
도 15는 실시 형태 4의 화상 처리 장치를 구비하는 전자 정보 기기의 구성을 도시하는 블록도이다.
도 16은 실시 형태 4의 화상 처리 장치에 있어서의 처리의 흐름을 나타내는 흐름도이다.
도 17은 단위 영역에서의 화소의 휘도값의 예를 나타내는 그래프이다.
도 18은 실시 형태 5의 화상 처리 장치를 구비하는 전자 정보 기기의 구성을 도시하는 블록도이다.
도 19는 실시 형태 5의 화상 처리 장치에 있어서의 처리의 흐름을 나타내는 흐름도이다.
도 20은 단위 영역에서의 화소의 휘도값의 예를 나타내는 그래프이다.
도 21은 식 (5-1)에 포함되는 파라미터를 나타내는 그래프이다.
도 22의 (a)는 룩업 테이블의 예를 나타내는 도면이며, (b)는 최소 휘도값 추정부가 작성하는 테이블의 예를 나타내는 도면이며, (c)는 휘도값의 신호 강도의 예를 나타내는 도면이며, (d)는 (c)에 도시된 신호 강도의 예 및 최소 휘도값 추정부가 추정한 휘도값을 나타내는 신호 강도의 예를 나타내는 그래프이다.
도 23은 실시 형태 6의 화상 처리 장치를 구비하는 전자 정보 기기의 구성을 도시하는 블록도이다.
도 24는 실시 형태 6의 화상 처리 장치에 있어서의 처리의 흐름을 나타내는 흐름도이다.
도 25는 화소 유닛에 포함되는 화소의 실효 방사 휘도값, 당해 화소 유닛에 포함되는 화소가 취할 수 있는 실효 방사 휘도값의 추정값 및 확산광 성분의 추정값의 예를 나타내는 그래프이며, (a)는 안구에 대한 입사각이 30°인 광이 안구에서 반사된 반사광이 입사하는 화소 유닛의 그래프이며, (b)는 안구에 대한 입사각이 20°인 광이 안구에서 반사된 반사광이 입사하는 화소 유닛의 그래프이며, (c)는 안구에 대한 입사각이 10°인 광이 안구에서 반사된 반사광이 입사하는 화소 유닛의 그래프이다.
도 26은 실시 형태 8의 화상 처리 장치를 구비하는 전자 정보 기기의 구성을 도시하는 블록도이다.
도 27은 실시 형태 8의 화상 처리 장치에 있어서의 처리의 흐름을 나타내는 흐름도이다.
도 28은 화소 유닛의 배치를 도시하는 도면이며, (a)는 9개의 화소로 이루어지는 화소 유닛이 서로 겹치지 않도록 배치된 상태를 도시하는 도면이며, (b)는 4개의 화소로 이루어지는 화소 유닛이 서로 겹치지 않도록 배치된 상태를 도시하는 도면이며, (c)는 9개의 화소로 이루어지는 화소 유닛이 부분적으로 겹쳐지도록 배치된 상태를 도시하는 도면이며, (d)는 4개의 화소로 이루어지는 화소 유닛이 부분적으로 겹쳐지도록 배치된 상태를 도시하는 도면이다.
도 29는 실시 형태 6의 화상 처리와 다른 화상 처리를 병행하여 실행하는 화상 처리 장치에 있어서의 처리의 흐름을 나타내는 흐름도이다.
도 30은 피사체가 양 눈의 안구를 포함하는 경우에 대하여 설명하기 위한 도면이다.

〔실시 형태 1〕

이하, 본 발명의 실시 형태 1에 대하여, 상세하게 설명한다. 본 실시 형태의 화상 처리 장치는, 인간의 안구의, 홍채의 화상에 기초하여 인증을 행하는 장치이다.

(화상 처리 장치(10)의 개요)

먼저, 화상 처리 장치(10)의 개요에 대하여 설명한다. 도 2는 화상 처리 장치(10)의 개요를 설명하기 위한 도면이다. 화상 처리 장치(10)는 피사체를 촬영한 화상에 대하여 화상 처리를 행하는 것이다. 구체적으로는, 화상 처리 장치(10)는 피사체로부터의 반사광에 포함되는 확산 반사 성분과 경면 반사 성분을 분리하는 처리를 행한다. 화상 처리 장치(10)는 본 실시 형태에서는 휴대 정보 단말기(1)에 탑재되어 있다.

휴대 정보 단말기(1)는, 예를 들어 유저의 안구 E(피사체)의 화상에 대하여 상기 2개의 반사 성분을 분리하고, 당해 분리된 화상을 사용하여 당해 유저의 홍채 인증을 행하는 것이 가능한 단말기이며, 도 2에 도시한 바와 같이 상술한 화상 처리 장치(10)와 카메라(20)를 구비하고 있다. 화상 처리 장치(10)의 상세에 대해서는 후술한다. 또한, 본 발명의 일 형태에 있어서의 피사체는 안구에 한정되지 않고, 투영이 발생할 가능성이 있는 피사체이면 어떤 것이든 좋다.

카메라(20)는, 유저 조작에 기초하여 피사체를 촬영한다. 본 실시 형태에서는, 도 2에 도시한 바와 같이 카메라(20)는 유저의 안구 E를 촬영하여, 안구 E의 화상을 취득한다. 또한, 카메라(20)는, 주로 집적 편광자(21)와 수광 소자(22)(촬상 소자)(도 3 참조)를 구비하고 있으며, 카메라(20)에 광이 입사하는 방향으로부터 보아, 집적 편광자(21) 및 수광 소자(22)의 순으로 적층되어 있다.

집적 편광자(21)는, 복수의 편광 소자로 구성되고, 복수의 편광 소자의 주축 방향은 상이하다. 본 실시 형태에서는, 집적 편광자(21)는 1화소당 하나의 편광 소자가 대응하고 있다. 그리고 본 실시 형태에서는, 도 2에 도시한 바와 같이 인접하는 9개의 화소에 각각 대응하는 9개의 편광 소자(21a 내지 21i)를 구비하고 있다. 구체적으로는, 9개의 편광 소자(21a 내지 21i)는, 각 화소에 있어서, 각각 0°, 20°, 40°, 60°, 80°, 100°, 120°, 140° 및 160°의 편광각을 갖는다.

수광 소자(22)는, 상기 9개의 편광 소자(21a 내지 21i)와 대응지어진 복수의 화소를 하나의 화소 유닛으로 하고, 당해 화소 유닛이 이차원적으로 배열된 구성을 갖는다.

휴대 정보 단말기(1)에 있어서 유저의 홍채 인증을 행하는 경우, 카메라(20)에 의해 유저의 안구 E가 촬영된다. 도 2에 도시한 바와 같이, 유저의 안구 E에 외광 또는 실내광이 조사되면, 당해 광은 안구 E의 표면에 있어서 반사되고, 반사광 Lr이 카메라(20)에 입사하게 된다.

카메라(20)는 유저의 안구 E에 외광(태양광) 또는 실내광이 조사되어, 홍채에 있어서 당해 외광 또는 실내광을 반사한 반사광 Lr을 취득함으로써, 유저의 홍채의 상을 포함하는 화상을 취득하고, 휴대 정보 단말기(1)는, 당해 홍채의 상을 해석함으로써 유저 인증을 행한다. 한편, 유저의 시계에 물체 O가 존재하는 경우, 도 2에 도시한 바와 같이 외광 또는 실내광의 영향에 의해 물체 O가 안구 E에 투영하여, 안구 E에는 투영상 Ir이 형성된다. 즉, 물체 O에 조사되어, 물체 O에서 반사한 외광 또는 실내광이 안구 E에 조사됨으로써, 안구 E에 투영상 Ir이 형성된다. 그리고, 카메라(20)는 이 투영상 Ir에 있어서 외광 또는 실내광을 반사한 반사광 Lr을 취득함으로써, 투영상 Ir을 포함하는 화상을 취득한다. 휴대 정보 단말기(1)는, 취득한 홍채의 상 및 투영상 Ir을 포함하는 화상으로부터 투영상 Ir을 제거하는 처리를 행하지 않으면, 홍채의 화상 해석에 있어서 투영상 Ir의 영향을 받아 버려, 정확한 홍채 인증을 하지 못할 가능성이 있다.

특히, 태양광의 조사 하에 있어서는 유저의 안구 E에 강한 투영이 발생하기 때문에, 옥외에서의 정확한 홍채 인증은 곤란을 수반한다. 태양광의 강도보다도 높은 강도를 갖는 광을 유저의 안구 E에 조사함으로써, 홍채 인증에 있어서의 태양광의 영향을 저감시킬 수는 있지만, 이러한 강도가 높은 광을 안구 E 또는 피부에 조사한 경우에는 안구 E 또는 피부의 상태가 악화되어 버릴 가능성이 있다.

본 실시 형태의 휴대 정보 단말기(1)는, 집적 편광자(21)와 화상 처리 장치(10)를 구비함으로써, 상기와 같은 강도가 높은 광을 안구 E에 조사하지 않아, 홍채의 화상 해석에 있어서의 상기 투영상 Ir의 영향을 저감시켜, 정확한 홍채 인증을 행하는 것을 가능하게 한다.

이어서, 상기 영향을 저감시키기 위한 화상 처리 장치(10)에 있어서의 처리의 개요에 대하여, 도 3을 사용하여 설명한다. 도 3은 화상 처리 장치(10)에 있어서의 화상 처리의 개요를 설명하기 위한 도면이다. 또한, 도 3에서는 집적 편광자(21)의 도시를 간략화하고 있다.

도 3에 도시하는 예에서는, 태양광의 조사 하에 있어서, 홍채 인증을 위하여 유저의 안구 E의 촬영을 행하고 있다. 또한, 유저의 안구 E에는 물체 O의 투영상 Ir이 형성되어 있다.

홍채 인증을 행하기 위하여, 카메라(20)에 의해 유저의 안구 E가 촬영되면, 유저의 안구 E로부터의 반사광 Lr은, 집적 편광자(21)를 개재시켜 수광 소자(22)에 의해 수광된다.

여기서 일반적으로, 화상 처리에 사용하는 상을 형성하는 광(여기서는, 인증 처리에 사용되는 홍채를 나타내는 반사광 Lr)의 강도는, 그 대부분이 확산 반사 성분으로 구성된다. 본 실시 형태에서는, 당해 광은 인증 처리에 있어서 필요한 안구 E(구체적으로는 홍채)의 표면을 나타내는 표면 정보를 나타내는 것으로서 처리된다. 한편, 상기 화상 처리에 있어서 제거해야 할 노이즈가 되는 상을 형성하는 광(여기서는, 인증 처리에 악영향을 주는 물체 O를 나타내는 반사광 Lr)의 강도는, 그 대부분이 경면 반사 성분으로 구성된다. 이 경면 반사 성분은 S 편광 광원 성분(S 편광 성분)과 P 편광 광원 성분(P 편광 성분)을 포함한다.

도 3에서는 투영상 Ir 및 홍채를 포함하는 안구 E가 촬영되어 있으므로, 상기 3종류의 반사 성분을 포함하는 반사광 Lr이 집적 편광자(21)를 개재하여 수광 소자(22)에 의해 수광된다. 따라서, 수광 소자(22)가 수광한 반사광 Lr로부터 S 편광 성분 및 P 편광 성분을 제거할 필요가 있다.

본 실시 형태에서는, 수광 소자(22)가 수광한 반사광 Lr에 대하여 디지털 변환 처리를 행하고, 디지털 신호화된 반사광 Lr에 대하여, S 편광 성분 및 P 편광 성분을 제거하는 처리(S파 P파 제거)가 행하여진다. 이에 의해, 도 3에 도시한 바와 같이 인증 처리에 있어서 필요한 안구 E의 화상으로부터, 투영상 Ir이 제거된다. 휴대 정보 단말기(1)는, 이 투영상 Ir이 제거된 화상(즉, 안구 E의 홍채의 상만을 포함하는 화상)에 대하여 코드화를 행함으로써, 인증용의 안구 E의 데이터를 생성한다. 이에 의해, 휴대 정보 단말기(1)는, 정확한 홍채 인증을 행할 수 있다.

또한, 더욱 고정밀도로 홍채 인증을 행하기 위하여, S 편광 성분 및 P 편광 성분을 제거하는 처리 후에, 기지의 독립 성분 분석(Independent Component Analysis; ICA) 처리가 행하여져도 된다.

(휴대 정보 단말기(1)의 구성)

도 4는 본 실시 형태의 화상 처리 방법을 실행하는 화상 처리 장치(10)를 구비하는 휴대 정보 단말기(1)의 구성을 도시하는 블록도이다. 도 4에 도시한 바와 같이 휴대 정보 단말기(1)는, 화상 처리 장치(10)와, 카메라(20)와, 카메라(20)부터 유저의 안구 E의 표면의 각 점까지의 거리를 측정하여 후술하는 S 편광 산출부(12)로 송신하는 측거 장치(30)를 구비한다.

또한, 본 실시 형태에서는, 화상 처리 장치(10), 카메라(20) 및 측거 장치(30)를 일체로 구비하는 휴대 정보 단말기(1)를 예로 들어 설명하지만, 이들 부재는 일체로 설치되어 있을 필요는 없다. 즉, 화상 처리 장치(10)가, 당해 화상 처리 장치(10)와는 별도의 장치인 카메라(20)로부터 촬상된 화상을 취득할 수 있으면서, 또한 당해 화상 처리 장치(10)와는 별도의 장치인 측거 장치(30)로부터 측정된 상기 거리를 취득할 수 있으면 된다.

본 실시 형태의 카메라(20)는 화소로서 CCD(Charge Coupled Device)를 사용하고 있다. 또한, 카메라(20)는 화소로서 CMOS(Complementary Metal Oxide Semiconductor)를 사용하는 것이어도 된다.

도 5의 (a) 및 (b)는 카메라(20)가 구비하는 집적 편광자의 다른 예를 도시하는 도면이다. 본 실시 형태의 카메라(20)는, 도 2에 있어서 설명한 대로, 9종의 편광 소자(21a 내지 21i)를 구비하는 집적 편광자(21)를 구비한다. 그러나, 본 발명의 일 형태에 있어서 사용되는 카메라는, 예를 들어 도 5의 (a)에 도시한 바와 같은, 4종의 편광 소자(21j, 21k, 21l 및 21m)를 구비하는 집적 편광자(21A)를 구비하고 있어도 된다. 또한, 본 발명의 일 형태에 있어서 사용되는 카메라는, 예를 들어 도 5의 (b)에 도시한 바와 같은, 2종의 편광 소자(21n 및 21o)를 구비하는 집적 편광자(21B)를 구비하고 있어도 된다.

(화상 처리 장치(10))

화상 처리 장치(10)는 검은자 검출부(11)와, S 편광 산출부(12)와, P 편광 산출부(13)와, 확산광 산출부(14)와, 인증부(15)를 구비한다.

검은자 검출부(11)는, 카메라(20)가 촬영한 화상을 취득하여, 당해 화상에 포함되는, 유저의 검은자에 대응하는 영역을 특정한다. 검은자 검출부(11)에 있어서의 처리는, 예를 들어 홍채의 화상에 의한 인증의 분야에 있어서는 공지이기 때문에, 본 명세서에서는 설명을 생략한다.

S 편광 산출부(12)는 화상에 포함되는 S 편광의 휘도 분포를 산출한다. S 편광 산출부(12)에 의한 처리에 대해서는 후술한다.

P 편광 산출부(13)는 화상에 포함되는 P 편광의 휘도 분포를 산출한다. P 편광 산출부(13)는 S 편광의 휘도 분포 및 프레넬의 법칙에 기초하여, P 편광의 휘도 분포를 산출한다.

확산광 산출부(14)는 화상에 포함되는 확산광의 휘도 분포를 산출한다. 구체적으로는, 확산광 산출부(14)는 각 화소의 휘도값으로부터, 당해 화소에 있어서의 S 편광 및 P 편광의 휘도값을 감산한다. 상기 감산 처리에 의해 S 편광 및 P 편광의 성분이 제거된, 확산광의 성분뿐인 화상을 얻을 수 있다.

인증부(15)는 확산광뿐인 화상에 포함되는 홍채의 화상을 사용하여, 유저의 인증을 행한다. 인증부(15)에 있어서의, 홍채에 의한 인증은 공지 기술이기 때문에, 본 명세서에서는 설명을 생략한다.

(S 편광 산출부(12)에 있어서의 처리)

도 6은 화상 처리 장치에 있어서의 처리에 사용하는 값에 대하여 설명하기 위한 도면이다. 이하의 설명에 있어서는, 각 수치를 이하와 같이 규정한다.

·R: 카메라(20)의 렌즈부터 안구 E의 중심까지의 거리

·r: 안구 E의 반경

·θ: 안구 E에 대한 광의 입사각((i) 광이 입사한 안구 상의 위치 P와 안구의 중심을 연결하는 직선 L1(제1 가상선)과, (ⅱ) 당해 위치 P와 카메라(20)의 렌즈의 중심을 연결하는 직선 L2(제2 가상선)가 이루는 각)

·φ: (i) 카메라(20)의 렌즈의 중심과 안구 E의 중심을 연결하는 직선과, (ⅱ) 상기 직선 L1이 이루는 각

S 편광 산출부(12)는, 화소 유닛의 이차원적 위치에 대응하는 안구 E 상의 위치 P에 의해 결정되는 입사각 θ에 의존한 S 편광의 휘도 분포를, 수광 소자(22)의 화소 휘도값(출력)을 사용하여 산출한다. S 편광 산출부(12)에 있어서의 처리에 대하여, 이하에 설명한다.

(S 편광 산출부(12)에 의한 제1 처리)

먼저, S 편광 산출부(12)는, 입사각 θ가 브루스터각이 되는 안구 상의 점(이하, 필요에 따라 「브루스터점」이라고 기재함)에 대응하는, 수광 소자(22)에 있어서의 화소를 특정한다. 구체적으로는, 이하의 식 (1-1)에 기초하여 각도 φ를 산출한다. 식 (1-2)는 식 (1-1)을 변형한 것이다.

식 (1-1) 및 (1-2)에 있어서, R은 측거 장치(30)에 의해 측정된다. 보다 정확하게는, 측거 장치(30)는 카메라(20)의 렌즈부터 안구 E의 표면까지의 거리, 즉 R로부터 r을 뺀 거리를 측정한다. 인체에 있어서의 안구의 경우, r의 값은 7.4㎜로 거의 일정하다. 따라서, 측거 장치(30)에 의한 측정 데이터로부터 R을 산출할 수 있다. 또한, 안구의 각막의 굴절률 n이 1.376인 점에서, 본 실시 형태에서는 브루스터각(=θ)은 53.1°인 것으로 한다. 이들 수치로부터, S 편광 산출부(12)는, 식 (1-1) 또는 (1-2)를 사용하여 각도 φ를 산출할 수 있다.

여기서, 카메라(20)와 안구 E의 중심을 연결하는 직선 상에 존재하는, 안구 E의 표면에 대응하는 화소는, 안구 E의 영역 내에서 가장 카메라에 가까운 화소이다. 당해 화소의 위치와 상기 거리로부터, 안구 E의 화상에 있어서의, 브루스터점에 대응하는 화소를 특정할 수 있다. 또한, 브루스터점에 대응하는 화소는 화상 중에서 복수 특정된다.

이어서, S 편광 산출부(12)는 카메라(20)의 수광 소자(22)에 포함되는, 특정한 각각의 화소를 포함하는 화소 유닛을 특정한다. 화소 유닛은 복수의 편광 소자와 대응지어져 있는 1군의 화소이다. 본 실시 형태에서는, 화소 유닛은 주축 방향이 서로 상이한 9개의 편광 소자와 대응지어져 있다. 그 화소 유닛이 카메라(20)의 수광 소자(22)에 이차원적으로 배열되어 있다. 도 6에 있어서, 안구 상의 위치 P와 카메라(20)의 렌즈의 중심을 연결하는 직선 L2 상의, 수광 소자(22)에 있어서의 화소 유닛의 이차원적 위치에 있어서 당해 위치 P에 입사된 광을 받는다.

이어서, S 편광 산출부(12)는, 특정한 화소 유닛에 포함되는 화소의 휘도값의 최댓값으로부터 최솟값을 감산함으로써, 브루스터점에 있어서의 S 편광의 휘도값을 산출한다. 이때, 예를 들어 특정한 모든 화소 유닛에 대하여 화소의 휘도값의 최댓값으로부터 최솟값을 감산한 차의 평균값을 브루스터점에 있어서의 S 편광의 휘도값으로 해도 된다. 또는 임의의 화소 유닛에 대해서만 화소의 휘도값의 최댓값으로부터 최솟값을 감산하여, 산출된 차를 브루스터점에 있어서의 S 편광의 휘도값으로 해도 된다.

도 7은 편광각(주축 방향의 각도)에 대한, 화소에 있어서 수광되는 광의 수광 강도를 나타내는 그래프이다. 도 7에 도시하는 그래프에 있어서, 횡축은 편광각이며, 종축은 수광 강도이다. 상기 수광 강도는 인증 처리에 필요한 홍채상을 나타내는 확산 반사 성분(k-term)과, 인증 처리에 있어서 노이즈가 되는 외광의 투영상 Ir을 나타내는 경면 반사 성분을 포함한다. 경면 반사 성분은, 상술한 바와 같이 S 편광 성분(f-term)과 P 편광 성분(g-term)을 포함한다. S 편광 성분은, 대략 여현 함수(cos(θ+ψ)(ψ은 임의의 상수)) 또는 대략 정현 함수를 형성한다.

확산 반사 성분은, 편광각에 구애되지 않고 일정하다. 따라서, 도 7에 도시하는 그래프에 있어서의, 편광각에 대한 수광 강도의 변동은 경면 반사 성분, 특히 S 편광 성분의 변동이다.

도 8은 입사각 θ에 대한 S 편광 및 P 편광의 반사 계수(프레넬의 법칙)를 나타내는 그래프이다. 도 8에 도시하는 그래프에 있어서, 횡축은 안구 E에 대한 광의 입사각 θ(도 6 참조)이며, 종축은 반사 계수이다. 반사 계수란, 반사 강도를 나타내는 상대적인 값이다. 또한, 안구 E에 있어서의 S 편광 및 P 편광의 반사 강도는, 화소에 있어서의 각각의 수광 강도와 일대일로 대응한다. 또한, 이하의 식 (2-1) 및 (2-2)는 안구 E에 대한 광의 입사각 θ와, 반사광에 포함되는 S 편광 및 P 편광의 반사 계수의 관계를 나타내는 식이다. 식 (2-1) 및 (2-2)에 있어서, 상술한 바와 같이 n=1.376이다.

도 8에 도시한 바와 같이, P 편광의 반사 계수는 입사각 θ가 브루스터각 근방인 경우에 있어서 거의 0이 된다. 즉, 브루스터점에 대응하는 화소를 포함하는 화소 유닛에 포함되는 화소에 있어서는, 편광각에 대한 수광 강도의 변동은 S 편광의 변동이라고 간주할 수 있다.

S 편광의 강도는 편광각의 변동에 대하여 정현 함수적인 변화를 나타내는 것이 알려져 있다. 따라서, 특정한 화소 유닛에 포함되는 화소의 휘도값의 최댓값으로부터 최솟값을 감산함으로써, 당해 화소 유닛에 있어서의 S 편광의 반사 강도(진폭)를 구할 수 있다.

그 후, S 편광 산출부(12)는, 브루스터각에 있어서의 S 편광의 반사 계수 및 반사 강도 그리고 브루스터점에 대응하는 화소 유닛 이외에 있어서의 S 편광의 반사 계수로부터, 특정한 화소 유닛 이외의 화소 유닛에 있어서의 S 편광의 반사 강도를 산출한다. 구체적으로는, 브루스터각에 있어서의 S 편광의 반사 계수와 반사 강도의 비율을 산출하고, 당해 비율을 사용하여 브루스터각 이외의 입사각 θ에 있어서의 반사 계수에 대응하는 반사 강도를 산출한다. 즉, S 편광 산출부(12)는 입사각 θ가 브루스터각인 화소에 있어서의 S 편광의 휘도값을 기점으로 하여, 브루스터각 이외의 입사각 θ에 있어서의 S 편광의 휘도값을 산출한다.

또한, 화상 내에 있어서의 안구 E의 영역에서 외광의 투영이 발생하지 않는 경우, 각 화소의 휘도값은 경면 반사 성분을 포함하지 않는다. 이 경우, 화소 유닛 내에 있어서의 화소마다의 휘도값은, S 편광 성분을 포함하지 않기 때문에, 편광각에 대하여 정현 함수적인 변화를 나타내지 않는다.

따라서, 본 발명의 일 형태에 관한 화상 처리 장치는 S 편광 산출부(12)에 의한 처리 전에, 화소 유닛 내에 있어서의 화소마다의 휘도값이 편광각에 대하여 정현 함수적인 변화를 나타내는지 여부를 판정하는 투영 판정부를 더 구비해도 된다. 투영 판정부에 의한 판정의 대상이 되는 화소 유닛은, 화상 처리 장치의 제조자가 임의로 설정하면 된다.

화소 유닛 내에 있어서의 화소마다의 휘도값이 편광각에 대하여 정현 함수적인 변화를 나타내지 않는 경우에는 안구 E에 대한 외광의 투영이 발생하지 않는다고 생각된다. 이 경우, 화상 처리 장치(10)는 S 편광 및 P 편광의 산출을 행하지 않고, 각 화소 유닛에 포함되는 화소 내에서 최소의 휘도값을 확산 반사 성분의 휘도값으로서, 인증부(15)에 있어서의 인증을 행해도 된다.

(S 편광 산출부(12)에 있어서의 제2 처리)

상술한 브루스터점에 대응하는 화소는, 화상에 있어서의 검은자의 영역의 외주에 위치하는 경우가 많다. 이로 인해, 유저의 눈의 개방 상태 또는 촬영의 각도 등에 따라서는, 브루스터점에 대응하는 화소가 상기 검은자의 영역에 포함되지 않는 경우가 있다.

이러한 경우에는, 상기 제1 처리를 정상적으로 행할 수 없기 때문에, 홍채에 의한 인증은 실패한다. 따라서, S 편광 산출부(12)는, 상술한 제1 처리에 의해 생성된 홍채 화상에 의한 인증이 실패한 경우에는 브루스터각에 대응하는 화소가 수광 소자(22) 위의 안구 E의 영역에 포함되어 있지 않은 것으로서, 이하에 설명하는 제2 처리를 행한다.

제2 처리에서는, 화소 유닛에 포함되는 화소의 휘도값의 최댓값으로부터 최솟값을 감산함으로써 S 편광의 휘도값을 산출하는 것을, 수광 소자(22)에 포함되는 복수의 화소 유닛에 대하여 반복한다. 그리고, 특정한 각각의 화소 유닛에 포함되는 화소의 휘도값의 최댓값으로부터 최솟값을 감산함으로써, 당해 화소 유닛에 있어서의 S 편광의 휘도값을 산출한다. 그 후, 식 (2-1)을 사용하여 각 화소 유닛에 대응하는 입사각 θ와 S 편광의 휘도값의 관계에 대하여 피팅을 행하여, n의 값을 산출한다.

또한, 본 실시 형태의 화상 처리 장치에 있어서는, S 편광 산출부(12)는, 상술한 제1 처리와 제2 처리 중 어느 쪽을 먼저 행해도 좋다. 또한, 어느 한쪽의 처리만을 행해도 된다.

(P 편광 산출부(13)에 있어서의 처리)

도 8, 식 (2-1) 및 (2-2)에 나타낸 바와 같이, 프레넬의 법칙에 의해 S 편광과 P 편광의 강도비는 입사각 θ에 따라 정해져 있다. 이로 인해, S 편광 산출부(12)가 상술한 제1 처리를 행한 경우에는 P 편광 산출부(13)는 상술한 바와 같이 S 편광의 휘도 분포 및 프레넬의 법칙에 기초하여, P 편광의 휘도 분포를 산출할 수 있다.

또한, S 편광 산출부(12)가 상술한 제2 처리를 행한 경우에는 n의 값이 산출되어 있다. 따라서 P 편광 산출부(13)는 상술한 식 (2-2)에 의해 P 편광의 강도를 산출할 수 있다.

(화상 처리 장치(10)에 의한 제1 처리)

도 1은 본 실시 형태의 화상 처리 방법에 있어서의 처리의 흐름의 일례를 나타내는 흐름도이다.

먼저, 카메라(20)가 유저의 안구 E를 포함하는 화상을 촬영함과 함께, 측거 장치(30)가 카메라(20)부터 안구 E까지의 거리를 측정한다(S1). 화상 처리 장치(10)는 당해 화상 및 거리를 나타내는 데이터를 취득한다. 그리고 먼저 촬영된 화상에 대하여, 검은자 검출부(11)가 검은자 영역을 검출하는 처리를 실행한다(S2).

이어서, S 편광 산출부(12)는 검출된 검은자 영역에서, 카메라(20)를 향하여 반사되는 광의 입사각 θ가 브루스터각인 점에 있어서의, S 편광의 휘도값을 산출한다(SA1). 또한 S 편광 산출부(12)는 스텝 SA1에서 산출한 S 편광의 휘도값 및 프레넬의 법칙에 기초하여, 카메라(20)를 향하여 반사되는 광의 입사각 θ가 브루스터각 이외의 각도인 점에 있어서의, S 편광의 휘도값(휘도 분포)을 산출한다(SA2).

그 후, P 편광 산출부(13)는 스텝 SA1 및 SA2에서 산출한 S 편광의 휘도 분포 및 프레넬의 법칙에 기초하여, P 편광의 휘도값(휘도 분포)을 산출한다(SA3). 또한, 확산광 산출부(14)는 S 편광의 휘도 분포 및 P 편광의 휘도 분포에 기초하여, 확산광의 휘도 분포를 산출한다(SA4).

스텝 SA4에 의해 얻어진 확산광의 휘도 분포를 나타내는 화상(확산광의 화상이라고 칭하기도 함)을 사용하여, 인증부(15)가 인증을 행한다(SA5). 그 후, 인증부(15)는 확산광의 화상에 의해 유저를 인증할 수 있는지 여부를 판정한다(S3). 인증할 수 있는 경우(S3, '예'), 화상 처리 장치(10)는 화상 처리를 종료한다.

한편, 인증할 수 없는 경우(S3, '아니오'), 화상 처리 장치(10)는, 인증의 정밀도를 향상시키기 위하여, 스텝 SA1 내지 SA5와는 상이한 처리에 의해, 다시 유저의 인증을 시도한다. 구체적으로는, 먼저 S 편광 산출부(12)는, 검출된 검은자 영역 내의 각 화소 유닛에 대하여 S 편광 휘도값을 산출한다(SB1). 이어서, P 편광 산출부(13)는 스텝 SB1에 있어서 산출한 S 편광 휘도값에 기초하여, P 편광 휘도값을 산출한다(SB2). 그리고, 확산광 산출부(14)는 S 편광 휘도값 및 P 편광 휘도값에 기초하여, 확산광 휘도값을 산출한다(SB3). 스텝 SB3에 의해 얻어진 확산광의 화상을 사용하여, 인증부(15)가 인증을 행한다(SB4). 또한, 스텝 SB4에 있어서 인증이 실패한 경우에는 인증부(15)는 인증이 실패한 것을, 예를 들어 휴대 정보 단말기(1)가 구비하는 표시부(도시하지 않음) 등을 통하여 유저에게 통지한다.

또한, 도 1에 도시한 흐름도에 있어서의 처리 중 스텝 SA1 내지 SA4의 처리가, 상술한 S 편광 산출부(12)에 있어서의 제1 처리에 해당한다. 또한, 스텝 SB1 내지 SB3의 처리가, 상술한 S 편광 산출부(12)에 있어서의 제2 처리에 해당한다.

(화상 처리 장치(10)에 의한 제2 처리)

도 9는 본 실시 형태의 화상 처리 방법에 있어서의 처리의 흐름의, 다른 예를 나타내는 흐름도이다. 도 9에 도시하는 처리에 의하면, 도 1에 도시하는 처리와 비교하여 고속으로 유저의 인증을 행하는 것을 기대할 수 있다.

도 9에 도시하는 처리에서는 먼저, 도 1에 도시한 예와 마찬가지로, 스텝 S1 및 S2가 실행된다. 이어서, 화상 처리 장치(10)는 스텝 SA1보다 먼저 스텝 SB1 내지 SB4에 의한 인증을 실행한다. 그 후, 인증부(15)가 유저를 인증할 수 있는지 여부를 판정한다(S3). 인증할 수 없는 경우(S3, '아니오')에는, 화상 처리 장치(10)는 스텝 SA1 내지 SA5에 의한 인증을 실행한다.

스텝 SB1 내지 SB4에 의한 인증은, 스텝 SA1 내지 SA5에 의한 인증과 비교하여 단시간에 처리를 행할 수 있다. 따라서, 도 9에 도시하는 처리에 의하면, 스텝 SB1 내지 SB4에 의해 유저의 인증을 할 수 있는 경우에는, 도 1에 도시하는 처리와 비교하여 고속으로 유저의 인증을 행할 수 있다.

(화상 처리 장치(10)에 의한 제3 처리)

도 10의 (a)는 본 실시 형태의 화상 처리 방법에 있어서의 처리의 흐름의, 또 다른 예를 나타내는 흐름도이다. 도 10의 (a)에 도시하는 처리에 의하면, 도 1및 도 9에 도시하는 처리와 비교하여 신뢰도가 저하되는 대신, 도 10에 도시하는 처리보다 더욱 고속으로 유저의 인증을 행할 수 있다.

도 10의 (a)에 도시하는 처리에서는, 도 9에 도시한 처리와 마찬가지로, 화상 처리 장치(10)는 스텝 S1 및 S2 후에, 스텝 SB1 내지 SB4에 의한 인증을 실행한다. 그 후, 인증부(15)는 스텝 S3의 판정을 행하지 않는다.

도 10의 (a)에 도시하는 처리에 의하면, 가령 스텝 SA1 내지 SA5에 의한 인증을 행하면 인증에 성공하는 경우에도, 스텝 SB1 내지 SB4에 의한 인증에 실패하면 인증 자체가 실패되기 때문에, 인증의 신뢰도가 저하된다. 한편, 유저는, 촬영된 화상에 의한 인증의 성부를 신속히 알 수 있다.

(화상 처리 장치(10)에 의한 제4 처리)

도 10의 (b)는 본 실시 형태의 화상 처리 방법에 있어서의 처리의 흐름의, 또 다른 예를 나타내는 흐름도이다. 도 10의 (b)에 도시하는 처리는, 도 10의 (a)에 도시하는 처리와 비교하여, 스텝 SB2가 생략되어 있는 점에서 상이하다. 즉, 도 10의 (b)에 도시하는 처리에 의하면, 화상 처리 장치(10)는 S 편광만을 제거하고, P 편광을 제거하지 않는다. 따라서, 도 10의 (b)에 도시하는 처리에 의하면, 스텝 SB4에 있어서, 인증부(15)는 투영상 Ir의 P 편광 성분이 제거되지 않은 화상을 사용하여 인증을 행한다. 이로 인해, 도 10의 (a)에 도시하는 처리와 비교하여, 인증의 신뢰도가 더 저하되는 대신, 처리 속도를 더욱 고속화할 수 있다.

(실험예 1)

상술한 S 편광 산출부(12)에 의한 제2 처리에 의해, 화상 처리 장치(10)에 의해 화상 내에 투영한 노이즈가 되는 상(투영상)의 제거를 행할 수 있는 이유에 대하여, 고무 볼을 사용한 실험예에 의해 이하에 설명한다. 실험에 사용한 카메라(20)는 CCD 센서를 사용한 카메라이며, 화소수는 1900×900(약 130만 화소)이다. 카메라(20)가 구비하는 집적 편광자는, 편광각이 서로 상이한 4종류의 편광 소자를 갖는다. 이하의 설명에서는, 4종류의 편광 소자의 편광각에 대하여, 각각 0°, 45°, 90° 및 135°로 한다.

편광 소자의 제조 방법은 이하와 같다. 먼저, CCD 센서를 구성하는 포토다이오드 위에 SiO₂ 층간막을 개재시켜 막 두께 40㎚의 AlCu를 성막하고, 300㎚ 피치로 150㎚의 슬릿(AlCu가 존재하지 않는 띠 형상의 영역)을 건식 에칭에 의해 형성한다. 그 후, 막 두께 50㎚의 SiO₂ 및 막 두께 40㎚의 AlCu를 순서대로 성막하여, 새로운 AlCu에, 먼저 성막한 AlCu와 엇갈려지도록 슬릿을 형성한다.

고무 볼의 직경은 10㎝이며, 패턴상으로서 표면에 「G」의 문자가 쓰여져 있다. 각각의 도면의 기초가 된 사진에 있어서는, 패턴상과 겹치는 위치에 투영이 발생하고 있었다. 고무 볼과 카메라(20)의 렌즈 사이의 거리는 30㎝ 내지 50㎝이다.

편광각 45°의 편광에 의해 형성된 화상에 있어서는, 패턴상은 비교적 명료했다. 한편, 편광각 0° 및 90°의 편광에 의해 형성된 화상에 있어서는, 패턴상이 불명료했다. 편광각 135°의 편광에 의해 형성된 화상에 있어서는, 패턴상이 더욱 불명료했다. 즉, 이 집적 편광자에서는, 4개의 편광 소자를 투과한 광에 있어서, 편광각 45°의 편광 소자를 투과한 광의 휘도가 가장 높고, 편광각 135°의 편광 소자를 투과한 광의 휘도가 가장 낮다. 그로 인해, 하기의 실측값에는, 이들 2개의 광의 휘도의 차를 산출한 결과를 사용하고 있다.

도 11은 고무 볼에 대한 광의 입사각에 대한, S 편광의 반사 계수를 나타내는 그래프이다. 도 11에 있어서, 횡축은 고무 볼로부터의 광이 입사하는 각 화소에 있어서의, 고무 볼의 반경에 대한, 고무 볼의 중심으로부터의 광이 입사하는 화소부터 당해 화소까지의 거리의 비이며, 고무 볼에 대한 광의 입사각에 대응하는 값이다. 또한, 종축은 S 편광의 반사 계수이다.

도 11에 있어서, 각 데이터점은 실측값이다. 한편, 실선은 식 (2-1)을 사용한, 고무 볼의 굴절률(n=2.2)에 있어서의, 반사 계수의 이론값을 나타내는 그래프이다. S 편광 산출부(12)에 의한 실측값은 이론값과 합치한다. 또한, 상술한 식 (2-2)와, 피팅에 의해 산출한 n의 값으로부터, 입사각 θ에 대한 P 편광의 휘도 분포를 구할 수 있다.

이상과 같이, 본 실험에서는, 주축 방향이 서로 상이한 4개의 편광 소자를 통하여 촬영한 화상에 기초하여, 화상에 포함되는 S 편광 성분 및 P 편광 성분을 산출할 수 있다. 원래의 화상으로부터 S 편광 성분을 감산함으로써, 원래의 화상보다 패턴상이 명확해진 화상을 얻을 수 있다. 또한, 원래의 화상으로부터 S 편광 성분 및 P 편광 성분의 양쪽을 감산함으로써, 패턴상이 더욱 명확해진 화상을 얻을 수 있다.

또한, 실제로 유저가 휴대 정보 단말기(1)에 의해 눈의 화상을 촬영하는 경우에는 안구 E가 화상의 중심으로부터 어긋나는 경우를 생각할 수 있다. 안구 E가 화상의 중심으로부터 어긋나 있는 경우에는, 식 (1-1) 및 (1-2)에 나타낸 바와 같은 간단한 관계는 성립되지 않는다.

이러한 경우에는, 입사각이 브루스터각인 화소의 위치를 특정함으로써, 상기한 어긋남을 판정할 수 있다.

구체적으로는, 각 화소 유닛에 있어서의 화소의 휘도의, 편광각에 대한 의존성을 산출한다. 상술한 바와 같이, 브루스터각에 대응하는 화소 유닛에 있어서는 P 편광 성분이 0이 되기 때문에, 당해 화소 유닛의 휘도에서 차지하는 S 편광 성분의 비율이 커진다. 그 결과, 당해 화소 유닛에 포함되는 화소의 휘도는 편광각에 의존한 변동이 커진다.

따라서, 편광각에 대한 의존성이 특히 큰 화소 유닛을, 브루스터각에 대응하는 화소라고 간주할 수 있다. 그리고, 브루스터각에 대응하는 화소의 위치로부터, 카메라(20)의 위치의 어긋남을 판정할 수 있다.

(실험예 2)

도 12는 본 실시 형태의 화상 처리 장치에 의한 화상 처리의 실험 결과를 나타내는 화상의 개략을 도시하는 도면이다. 본 실험에서는, 서로 상이한 7종류의 편광각을 갖는 편광 소자를 구비하는 집적 편광자를 사용했다. 또한, 본 실험에서는, 상술한 흐름도에 있어서의, 스텝 SB1 내지 SB3에 의해 화상 처리를 행했다.

본 실험에 사용한 화상은, 화상 처리 전에는, 도 12에 있어서 화살표 전에 도시한 바와 같이, 검은자 영역에 대한 외광의 투영상 Ir을 포함하고 있었다. 이에 반하여, 화상 처리 후에는, 도 12에 있어서 화살표 후에 도시한 바와 같이, 검은자 영역에 대한 외광의 투영상 Ir이 제거되어 있었다.

(화상 처리 장치(10)의 효과)

발명자는, 본원 발명에 앞서, 다양한 조건 하에서의 종래의 홍채 인증 시스템에 의한 인증의 실험을 행했다. 실험에 있어서는, 스마트폰의 카메라에 의해 촬영을 행했다. 스마트폰의 위치는 안구에 대하여 「정면」 및 「아래」의 2종류로 했다. 또한, 눈의 개방 상태를, 스마트폰의 위치가 「정면」인 경우에는 「대」, 「중」 및 「소」의 3종류로 하고, 스마트폰의 위치가 「아래」인 경우에는 「중」의 1종류로 했다.

촬영 환경은 「옥내」 및 「옥외」의 2종류로 했다. 「옥내」에 대해서는 「창 없음」, 「창 있음(응달)」, 「창 있음(직사 광선)」 및 「암실」의 4종류로 더 나누었다. 또한, 「옥외」에 대해서는 「청천(역광선)」, 「청천(순광선)」 및 「청천(측광선)」의 4종류로 더 분류했다. 또한, 「역광선」이란, 태양광이 카메라와 반대측으로부터 피사체에 입사하는 것을 의미한다. 또한, 「순광선」이란, 태양광이 카메라와 동일한 측에 입사하는 것을 의미한다. 또한, 「측광선」이란, 태양광이 카메라의 측방으로부터 피사체에 입사하는 것을 의미한다.

각각의 조건에서 10회씩 인증 실험을 행한 결과를 이하에 설명한다. 스마트폰의 위치가 「정면」인 경우, 눈의 개방 상태가 「중」 이상이면, 「옥내」에서는 「창 있음(직사 광선)」이외에서는 인증의 실패는 없었다. 한편, 「창 있음(직사 광선)」에서는, 인증은 거의 성공하지 못했다. 또한, 눈의 개방 상태가 「소」인 경우에는, 어느 환경에서든 인증은 거의 성공하지 못했다.

한편, 스마트폰의 위치가 「아래」인 경우에는, 「옥내」에서는 「창 있음(직사 광선)」이외에서는 인증의 실패는 없었다. 또한, 「창 있음(직사 광선)」에 있어서의 실패도 얼마 안되었다.

이와 같이, 옥내에서는, 창으로부터의 직사 광선이 닿는 장소가 아니면, 눈의 개방 상태가 작지 않으면 인증의 실패는 거의 없었다.

그러나, 「옥외」에 있어서는, 스마트폰의 위치가 「정면」인 경우, 인증은 전혀 성공하지 못했다. 스마트폰의 위치가 「아래」인 경우에는 「청천(측광선)」에서는 문제없이 인증을 행할 수는 있었지만, 「청천(역광선)」 및 「청천(순광선)」에 있어서는 인증의 성공 횟수는 절반 이하였다.

이상 설명한 바와 같이, 종래의 홍채 인증 시스템에 의한 인증은, 옥외에서는 성공하기 어렵다는 문제가 있었다. 이것은, 상술한 바와 같이, 안구에 대한 외광 등의 투영이 원인이다.

특허문헌 1에는, 경면 반사 성분의 휘도 분포를 구함으로써, 상기 반사 성분을 분리하는 것, 나아가서는 피사체인 안구에 투영한 다른 물체의 상을 제거하여 홍채 인증을 행하는 것에 관한 개시는 없다. 또한, 상기 물체의 상을 제거하는 처리 이외의 홍채 인증을 위한 처리를 행하는 것에 관한 개시는 없다.

본 실시 형태의 화상 처리 장치에 의하면, S 편광 산출부(12)에 의해 입사각 θ에 의존한 S 편광 성분의 휘도 분포를 구함으로써, 안구의 화상에 포함되는 투영상 Ir에 기인한 S 편광 성분을 산출하여, 제거할 수 있다. 또한, 본 실시 형태의 화상 처리 장치에 의하면, S 편광 성분에 기초하여 투영상 Ir에 기인한 P 편광 성분을 산출하여, 제거할 수 있다.

즉, 본 실시 형태의 화상 처리 장치에 의하면, 안구에 대한 외광의 투영을 제거할 수 있다. 외광의 투영을 제거한 화상에 의해 홍채 인증을 행함으로써, 환경을 막론하면서, 또한 정밀도가 높은 인증을 행할 수 있다.

또한, 특허문헌 1의 화상 처리 방법에서는, 상술한 (5)의 처리에 있어서 확산 반사 성분 및 경면 반사 성분을 분리하기 위하여, 상술한 (1) 내지 (4)의 처리를 행할 필요가 있다. 그로 인해, 특허문헌 1의 화상 처리 방법에서는, 상기 2개의 반사 성분을 분리하기 위한 알고리즘이 복잡화되어, 그 결과, 화상 처리의 연산 속도가 저하될 가능성이 있다. 본 실시 형태의 화상 처리 장치(10)에 있어서는, 상술한 바와 같이 상기 (1) 내지 (4)의 처리를 행하지 않고, 상기 2개의 반사 성분을 분리하는 것이 가능하다. 따라서, 특허문헌 1의 화상 처리 방법에 비하여, 화상 처리의 연산 속도를 향상시킬 수 있다.

〔실시 형태 2〕

본 발명의 실시 형태 2에 대하여, 도 4 및 도 5에 기초하여 설명하면, 이하와 같다. 또한, 설명의 편의상, 상기 실시 형태에서 설명한 부재와 동일한 기능을 갖는 부재에 대해서는, 동일 부호를 부기하고, 그 설명을 생략한다.

실시 형태 1의 카메라(20)는, 집적 편광자(21)로서 9개의 편광 소자(21a 내지 21i)를 갖고 있다. 한편, 도 5의 (a)에 도시한 바와 같이, 본 실시 형태의 카메라(20)는, 인접하는 4개의 화소에 각각 대응하는 4개의 편광 소자(21j 내지 21m)를 갖는 집적 편광자(21A)를 구비하고 있다. 4개의 편광 소자(21j, 21k, 21l 및 21m)는, 각 화소에 있어서, 135°, 90°, 45°, 0°의 편광각을 갖는다. 이와 같이, 본 실시 형태에서는, 집적 편광자(21) 대신 집적 편광자(21A)를 사용한다. 이 경우도, 실시 형태 1과 마찬가지로, 도 1, 도 9 및 도 10에 도시하는 스텝 SA1 및 SB1에 있어서 S 편광 휘도값의 산출을 행할 수 있다. 즉, 실시 형태 1과 마찬가지로, 반사광 Lr로부터 경면 반사 성분을 제거할 수 있다.

단, 본 실시 형태의 집적 편광자(21A)는, 4개의 편광 소자(21j 내지 21m)와 그 수가 실시 형태 1보다도 적다.

일반적으로, 집적 편광자의 편광각과 화소가 받는 반사광 Lr의 수광 강도의 특성에 있어서, 당해 수광 강도는 대략 정현 함수 또는 대략 여현 함수를 형성한다. 실시 형태 1에서는, 하나의 화소 유닛에 있어서, 9개의 편광 소자(21a 내지 21i)에 있어서의 반사광 Lr의 수광 강도를 취득하고 있다. 그로 인해, 도 7에 도시한 바와 같이 상기 특성에 있어서의 수광 강도가 나타내는 파형을, 상기 대략 정현 함수 또는 대략 여현 함수에 피팅시킬 수 있다. 따라서, 예를 들어 도 1에 도시하는 스텝 SA1에서 사용되는, 하나의 화소 유닛에 있어서의 수광 강도의 최댓값(최대 휘도값) 및 최솟값(최소 휘도값)은, 당해 화소 유닛에 있어서의 최대 휘도값 및 최소 휘도값과 대략 일치할 가능성이 높다.

한편, 본 실시 형태에서는, 보간하여 상기 대략 정현 함수 또는 대략 여현 함수에 피팅시키지만, 실시 형태 1보다도, 피팅의 정밀도가 저하되어, 상기 최대 휘도값 및 최소 휘도값으로부터 벗어나 버릴 가능성이 있다.

그러나, 본 실시 형태에서는, 집적 편광자(21A)에 대응하는 하나의 화소 유닛이 4개의 화소로 구성되어 있다. 즉, 실시 형태 1보다도 집적 편광자(21A)의 수가 많아진다. 그로 인해, 예를 들어 브루스터각에 대응하는 화소를, 실시 형태 1보다도 세분화하여 취득하는 것이 가능해진다. 즉, 당해 화소를 보다 고정밀도로 특정하는 것이 가능해진다.

이와 같이, 본 실시 형태에서는, 실시 형태 1과 비교하여, 피팅의 정밀도가 저하될 가능성이 있기는 하지만, 브루스터각에 대응하는 화소를 고정밀도로 특정할 수 있다. 따라서, 홍채 인증을 행했을 때의 정밀도를 검증함으로써, 실시 형태 1의 집적 편광자(21) 및 본 실시 형태의 집적 편광자(21A)의 어느 것을 사용할지를 결정하면 된다.

또한, 상기 검증을 행함으로써, 집적 편광자(21A) 대신에 도 5의 (b)에 도시하는 집적 편광자(21B)(편광각이 90°인 편광 소자(21n)와 편광각이 0°인 편광 소자(21o)를 2개씩 구비함)를 사용해도 된다. 또한, 편광각 및 하나의 화소 유닛에 대응하는 편광 소자의 수는, 상기 검증에 따라 적절히 변경 가능하다.

〔실시 형태 3〕

본 발명의 실시 형태 3에 대하여 도 13 및 도 14에 기초하여 설명하면, 이하와 같다. 홍채 화상을 사용한 인증에 있어서는, 안구 E의 위조물을 사용함으로써, 유저 본인으로 위장하고 인증을 행하는 케이스를 생각할 수 있다. 따라서, 이 위장을 방지하는 것을 검토할 필요가 있다.

도 13은 본 실시 형태의 화상 처리 장치(10A)를 구비하는 휴대 정보 단말기(1A)의 구성을 도시하는 블록도이다. 도 13에 도시한 바와 같이, 화상 처리 장치(10A)는, 화상 처리 장치(10)와 비교하여, 인증부(15)가 위장 판정부(15a)를 구비하는 점에서 상위하다.

일반적으로, 생체의 눈의 각막의 굴절률은 n=1.376이다. 한편, 눈의 위조물인 경우에는, 생체의 눈을 구성하는 성분과 그 소재가 상이하기 때문에, 굴절률이 생체의 눈과는 상이하다. 위장 판정부(15a)는, 이 차이를 이용하여, 눈이 생체인지 위조물인지를 판정한다.

구체적으로는, 위장 판정부(15a)는, 스텝 SB1에 있어서 S 편광 산출부(12)가 산출한 n의 값을 참조한다. n의 값이 1.376과 동일하거나 그것에 가까운 값(즉 소정의 범위 내, 예를 들어 ±5％ 이내의 값)이면, 위장 판정부(15a)는 촬영된 화상에 대하여, 생체의 안구 E라고 판정한다. 한편, 산출된 n의 값이 1.376으로부터 벗어난 값(즉 소정의 범위 밖, 예를 들어 ±5％를 초과하여 벗어난 값)이면, 위장 판정부(15a)는 촬영된 화상에 대하여, 안구 E의 위조물이라고 판정한다.

도 14는 화상 처리 장치(10A)에 있어서의 처리의 흐름을 나타내는 흐름도이다. 도 14에 도시한 바와 같이, 화상 처리 장치(10A)에 있어서의 처리는, 도 1에 도시하는 처리와 비교하여, 스텝 SB3과 스텝 SB4 사이에 스텝 SB5가 실행되는 점에 있어서만 상이하다.

스텝 SB5에 있어서, 위장 판정부(15a)는, 스텝 SB1에 있어서 S 편광 산출부(12)가 산출한 n의 값이 소정의 범위 내인지 판정한다. 소정의 범위 내인 경우(SB5, '예'), 위장 판정부(15a)는, 촬영된 화상이 생체의 안구 E라고 판정하고, SB4의 처리를 행한다. 한편, 소정의 범위 내가 아닌 경우(SB5, '아니오'), 위장 판정부(15a)는, 촬영된 화상이 안구 E의 위조물이라고 판정하고, SB4의 처리를 행하지 않고 인증을 종료한다.

이상과 같이, 본 실시 형태에 관한 화상 처리 방법에 의하면, S 편광 산출부(12)에 의해 입사각 θ에 의존한 S 편광 성분의 휘도 분포를 구함으로써, 당해 S 편광의 휘도 분포를, 피사체가 안구인지, 위조물인지의 판별에 이용할 수 있다.

또한, 위장 판정부(15a)는, 스텝 SB2에 있어서 P 편광 산출부(13)에 의해 산출된 P 편광 성분의 휘도 분포에 대하여, 휘도값이 최소가 되는 각도를 브루스터각으로 간주해도 된다. 그리고, 당해 각도가 53.1°에 가까운 값인지 여부에 따라, 생체의 안구 E인지, 안구 E의 위조물인지를 판정해도 된다. 즉, 위장 판정부(15a)는, 상기 각도가, 생체의 안구 E라고 추정되는 브루스터각을 포함하는 소정의 범위 내에 있는지 여부에 기초하여, 상기 판정을 행해도 된다.

또한, 도 9 및 도 10의 처리에 있어서도, 스텝 SB3과 스텝 SB4 사이에 스텝 SB5를 실행함으로써, 상기 판별을 행할 수 있다.

(변형예)

위조물에 의한 위장을 방지하는 다른 방법에 대하여, 이하에 설명한다.

굴절률이 생체의 안구 E와는 상이한 위조물에 대하여, 브루스터각을 53.1°로 하여 투영 제거를 행한 경우, 당해 위조물에 대한 외광 등의 투영이 적절하게는 제거되지 않는다. 따라서, 외광 등의 투영이 존재하는 경우에는 굴절률의 산출을 행하지 않아도, 당해 투영에 의해 홍채 패턴이 변화하여, 인증에 실패할 가능성이 높다.

그러나, 예를 들어 암실 등, 투영이 발생하지 않는 환경에서 인증을 행한 경우, 홍채 패턴이 변화하지 않아, 인증에 성공할 우려가 있다.

따라서, 위조물에 의한 위장을 방지하는 방법으로서, 안구 E에 투영을 의도적으로 발생시키기 위한 광원을 화상 처리 장치에 구비해도 된다. 발생한 투영(광원의 상)은, 생체의 안구 E라면, 화상 처리 장치에 의해 적절하게 제거되기 때문에, 인증에 영향을 미치지 않는다. 한편, 안구 E의 위조물이면, 화상 처리 장치는 당해 투영을 제거할 수 없기 때문에, 인증에 실패한다. 또한, 이러한 광원이 발하는 광의 강도는, 투영이 발생하기만 하면 된다. 따라서, 예를 들어 인체에 악영향을 미치는 높은 강도일 필요는 없다.

〔실시 형태 4〕

본 발명의 실시 형태 4에 대하여 도 15 내지 도 17에 기초하여 설명하면, 이하와 같다.

도 15는 본 실시 형태에 관한 화상 처리 장치(10B)를 구비하는 전자 정보 기기(2)의 구성을 도시하는 블록도이다. 도 15에 도시한 바와 같이, 전자 정보 기기(2)는 화상 처리 장치(10B), 카메라(20) 및 기억부(90)를 구비한다. 또한, 화상 처리 장치(10B)는 휘도값 정보 취득부(16), 최소 휘도값 선택부(17)(화상 생성부), 검은자 검출부(11) 및 인증부(15)를 구비한다.

휘도값 정보 취득부(16)는 카메라(20)가 구비하는 촬상 소자에 의해, 당해 촬상 소자에 있어서의, 피사체의 실효적인 방사 휘도값인 실효 방사 휘도값을 당해 피사체로부터 취득한다. 구체적으로는, 휘도값 정보 취득부(16)는 카메라(20)가 구비하는 촬상 소자의 화소 각각에 있어서 피사체에서 반사된 광을 수광했을 때의 당해 광의 강도를, 각 화소에 있어서의 실효 방사 휘도값으로서 취득한다. 또한, 본 실시 형태 및 이후의 실시 형태에 있어서, 「피사체」는, 한 쪽 눈의 안구 E 또는 양 눈의 안구 E 중 어느 것이든 좋고, 또한 안구 E의 주위의 물체를 포함하고 있어도 된다.

최소 휘도값 선택부(17)는 피사체의 검은자로부터 취득한 실효 방사 휘도값을 사용하여, 검은자의 상을 포함하는 촬상 화상을 생성한다. 구체적으로는, 최소 휘도값 선택부(17)는 피사체의 검은자에 대응하는 화소 유닛마다, 당해 화소 유닛에 포함되는 복수의 화소의 실효 방사 휘도값으로부터, 피사체의 검은자 표면에서의 정반사광 성분의 적어도 일부를 제거하고, 얻어진 휘도값을 갖는 단위 영역의 집합으로서의 촬상 화상을 생성한다. 또한, 상술한 확산광 산출부(14) 및 후술하는 최소 휘도값 추정부(17A) 및 확산 반사광 성분 산출부(18)도 마찬가지이다.

보다 구체적으로는, 본 실시 형태의 최소 휘도값 선택부(17)는 화소 유닛에 포함되는 복수의 화소의 실효 방사 휘도값 중 최솟값을, 당해 화소 유닛에 대응하는 단위 영역에서의 휘도값으로서 결정한다. 피사체의 검은자에 대응하는 화소 유닛은, 미리 검은자 검출부(11)에 의해 특정된다. 단위 영역이란, 카메라(20)가 구비하는 화소 유닛 각각에 대응하는, 피사체의 화상에 있어서의 영역이다.

본 실시 형태 및 후술하는 실시 형태에서는, 투영상을 형성하는 반사광의 성분을 정반사광 성분이라고 칭한다. 정반사광 성분은, 화소에 대응하여 설치된 편광 소자의 주축 방향에 의존하는 성분을 포함한다. 화소 유닛에 있어서의 실효 방사 휘도값의 최솟값은, 당해 화소 유닛에 있어서, 편광 소자의 주축 방향에 의존하는 성분이 가장 잘 제거된 실효 방사 휘도값이라고 할 수 있다. 따라서, 최소 휘도값 선택부(17)는 화소 유닛에 있어서의 실효 방사 휘도값의 최솟값을 단위 영역의 휘도값으로서 결정함으로써, 피사체의 각막의 표면에서의 정반사광 성분의 적어도 일부를 제거하고, 얻어진 휘도값을 갖는 단위 영역의 집합으로서의 촬상 화상을 생성한다.

기억부(90)는 화상 처리 장치(10B)가 실행하는 처리에 필요한 정보를 저장하는 기억 장치이다. 또한, 전자 정보 기기(2)는 기억부(90)를 구비하지 않고, 전자 정보 기기(2)의 외부에 설치된 기억 장치와 통신 가능하게 구성되어 있어도 된다.

도 16은 화상 처리 장치(10B)에 있어서의 처리를 나타내는 흐름도이다. 화상 처리 장치(10B)에 있어서는, 먼저, 휘도값 정보 취득부(16)는 카메라(20)에 의해, 검은자를 포함하는 피사체의 실효 방사 휘도값을 취득한다(SC1, 휘도값 정보 취득 스텝). 이어서, 검은자 검출부(11)는 실효 방사 휘도값으로부터 검은자 영역을 검출한다(SC11). 최소 휘도값 선택부(17)는 검은자 검출부(11)가 검출한 검은자 영역을, 화상 처리를 실행하는 범위로서 결정한다(S12). 최소 휘도값 선택부(17)는 검은자 영역 내의 화소 유닛에 포함되는 복수의 화소의 실효 방사 휘도값 중 최솟값을, 당해 화소 유닛에 대응하는 단위 영역의 휘도값으로서 결정함으로써, 각막의 표면에서의 정반사광 성분의 적어도 일부를 제거한다(SC2, 화상 생성 스텝). 또한 최소 휘도값 선택부(17)는 스텝 SC2에 있어서 결정한 휘도값을 갖는 단위 영역의 집합으로서의 촬상 화상을 생성한다(SC3, 화상 생성 스텝).

검은자 검출부(11)는 최소 휘도값 선택부(17)가 생성한 촬상 화상에 대하여 검은자 영역을 검출하는 처리를 실행한다(SC4). 검은자 검출부(11)는 스텝 SC11에 있어서의 검은자 영역의 검출 결과를, 그대로 스텝 SC4에 있어서의 검출 결과로서 사용해도 된다. 인증부(15)는 검출된 검은자 영역을 사용하여, 본인 인증을 행한다(SC5). 그 후, 인증부(15)는 유저를 인증할 수 있는지 여부를 판정한다(SC6). 인증할 수 있는 경우(SC6에서 '예'), 화상 처리 장치(10B)는 처리를 종료한다. 인증할 수 없는 경우(SC6에서 '아니오'), 검은자 검출부(11)는 다시 검은자 영역의 검출을 행한다.

스텝 SC6에서 '아니오'가 된 경우, 검은자 검출부(11)가 유저의 검은자 영역을 정확하게 검출하지 못할 가능성이 있다. 따라서, 스텝 SC6에서 '아니오'가 된 후의 스텝 SC4에서는, 검은자 검출부(11)는 검출하는 검은자 영역을 전회의 스텝 SC4에 있어서 검출한 검은자 영역과는 상이하게 하는 것이 바람직하다. 검은자 영역을 상이하게 하는 방법의 구체예로서는, 검은자 영역의 직경을 확대 또는 축소하는 것을 들 수 있다. 이와 같이, 등록되어 있는 유저의 안구의 코드와 촬상한 안구 E의 코드의 허밍 디스턴스가 최소가 되도록, 검은자 검출부(11)에 의한 검은자 영역의 검출 처리에 피드백을 가하는 것이 바람직하다.

도 17은 화소 유닛에 있어서의 화소의 실효 방사 휘도값의 예를 나타내는 그래프이다. 도 17에 나타내는 그래프에 있어서는, 횡축이 카메라(20)의 화소 유닛에 포함되는 각 화소에 대응하는 편광 소자의 주축의 각도, 종축이 화소 유닛에 있어서의 화소의 실효 방사 휘도값을 나타낸다. 도 17에 나타내는 예에서는, 화소 유닛은 9개의 화소를 포함하고, 각각의 화소는 주축 방향이 10°를 기점으로 하여 20°씩 상이한 9개의 편광 소자에 대응한다.

도 17에 나타내는 예에서는, 화소 유닛에 있어서의 화소의 실효 방사 휘도값은, 대응하는 편광 소자의 주축 방향이 90°인 화소에 있어서 최솟값을 취하고, 대응하는 편광 소자의 주축 방향이 170°인 화소에 있어서 최댓값을 취한다. 이 경우, 최소 휘도값 선택부(17)는 주축 방향이 90°인 편광 소자에 대응하는 화소의 실효 방사 휘도값을, 당해 화소 유닛에 대응하는 단위 영역의 휘도값으로서 선택한다.

화상 처리 장치(10B)에 있어서는, 화소 유닛 각각에 포함되는 화소의 실효 방사 휘도값 중 최솟값을, 당해 화소 유닛에 대응하는 단위 영역의 휘도값으로서 결정한다. 이에 의해, 복잡한 계산 처리를 필요로 하지 않아, 단위 영역의 휘도값을 간이하게 결정하고, 촬상 화상을 생성할 수 있다.

또한, 화상 처리 장치(10B)는, 상술한 흐름도의 스텝 중 스텝 SC11·SC12를 생략해도 된다. 이 경우, 최소 휘도값 선택부(17)는 모든 화소 유닛 각각에 대하여, 대응하는 단위 영역의 휘도값을 결정하면 된다. 또한, 후술하는 실시 형태 5의 화상 처리 장치(10C)도, 스텝 SC11·SC12를 생략해도 된다. 단, 후술하는 실시 형태 6 내지 8의 화상 처리 장치(10D·10E)는, 스텝 SC11·SC12를 생략할 수 없다. 또한, 처리 속도의 관점에서는, 검은자 영역에 대응하는 화소 유닛에 대해서만, 당해 화소 유닛에 대응하는 단위 영역의 휘도값을 결정하는 편이 바람직하기 때문에, 화상 처리 장치(10B·10C)에 있어서도 스텝 SC11·SC12를 실행하는 것이 바람직하다.

또한, 실시 형태 4 및 5의 화상 처리 장치(10B·10C)는, 스텝 SC2 전에 검은자가 아니고 별도의 영역, 예를 들어 검은자보다 소정의 범위만큼 넓은 영역 또는 안구 E 전체에 대응하는 영역 등을 특정하는 처리를 행해도 된다. 이 경우, 최소 휘도값 선택부(17) 또는 최소 휘도값 추정부(17A)(실시 형태 5 참조)는, 특정한 상기 영역에 대하여 화상 처리를 실행하면 된다. 즉, 화상 처리 장치(10B·10C)는, 피사체의 적어도 검은자(적어도 일부)에 대응하는 화소 유닛에 포함되는 복수의 화소의 실효 방사 휘도값에 기초하여, 당해 화소 유닛에 대응하는 단위 영역에서의 휘도값을 결정하면 된다.

〔실시 형태 5〕

본 발명의 실시 형태 5에 대하여 도 18 내지 도 20에 기초하여 설명하면, 이하와 같다.

도 18은 본 실시 형태에 관한 화상 처리 장치(10C)를 구비하는 전자 정보 기기(2)의 구성을 도시하는 블록도이다. 도 18에 도시한 바와 같이, 화상 처리 장치(10C)는 최소 휘도값 선택부(17) 대신 최소 휘도값 추정부(17A)(화상 생성부)를 구비하는 점에서 화상 처리 장치(10B)와 상이하고, 그 밖의 점에서 화상 처리 장치(10B)와 일치한다.

최소 휘도값 추정부(17A)는, 화소 유닛 각각에 포함되는 복수의 화소의 실효 방사 휘도값에 기초하여, 당해 화소 유닛에 있어서 취할 수 있는 실효 방사 휘도값의 최솟값을 추정한다. 최솟값의 구체적인 추정 방법의 예에 대해서는 후술한다.

또한 최소 휘도값 추정부(17A)는, 추정한 실효 방사 휘도값의 최솟값으로부터, 단위 영역의 휘도값을 결정한다. 여기서, 최소 휘도값 추정부(17A)는, 추정한 최솟값을 단위 영역의 휘도값으로 해도 되고, 추정한 휘도값에 대하여 소정의 계산을 행하여 산출되는 값을 단위 영역의 휘도값으로 해도 된다. 예를 들어 최소 휘도값 추정부(17A)는, 추정한 실효 방사 휘도값의 최솟값에 소정의 값을 가산, 감산, 승산 또는 제산한 값을 단위 영역의 휘도값으로 해도 된다.

도 19는 화상 처리 장치(10C)에 있어서의 처리를 나타내는 흐름도이다. 화상 처리 장치(10C)에 있어서의 처리는, 스텝 SC2 대신 스텝 SC7(화상 생성 스텝)이 실행되는 점을 제외하고, 화상 처리 장치(10B)에 있어서의 처리와 동일하다. 스텝 SC7에 있어서, 최소 휘도값 추정부(17A)는, 안구 E에 대응하는 화소 유닛 각각에 대하여, 취할 수 있는 실효 방사 휘도값의 최솟값을 추정한다.

도 20은 화소 유닛에 있어서의 화소의 실효 방사 휘도값의 예를 나타내는 그래프이다. 도 20에 나타내는 그래프에 있어서는, 횡축이 화소 유닛에 포함되는 화소에 대응하는 편광 소자의 주축의 각도, 종축이 실효 방사 휘도값을 나타낸다. 도 20에 나타내는 예에서는, 화소 유닛은, 주축 방향이 10°를 기점으로 하여 45°씩 상이한 4개의 편광 소자에 대응하는 4개의 화소를 포함한다.

도 20에 나타내는 예에서는, 화소 유닛에 포함되는 화소가 취득하는 실효 방사 휘도값은, 대응하는 편광 소자의 주축 방향이 100°인 화소에 있어서 가장 작아진다. 그러나, 주축 방향과 실효 방사 휘도값의 관계가, 예를 들어 도 20에 파선으로 나타나는 함수인 경우, 화소 유닛에 포함되는 화소는, 당해 화소에 대응하는 편광 소자의 주축 방향에 따라, 더 작은 실효 방사 휘도값을 취할 수 있다고 할 수 있다. 이 경우에 있어서, 화소 유닛에 있어서의 화소의 실제의 실효 방사 휘도값의 최솟값을 단위 영역의 휘도값으로서 결정한 경우, 당해 휘도값에는 편광 소자의 주축 방향에 의존하는 정반사광 성분이 남은 상태가 된다. 화상 처리 장치(10C)는, 화소 유닛이 취할 수 있는 실효 방사 휘도값의 최솟값을 최소 휘도값 추정부(17A)에 의해 추정함으로써, 화상 처리 장치(10B)가 생성하는 촬상 화상과 비교하여, 정반사광 성분이 적은 촬상 화상을 생성할 수 있다.

이하에 기재하는 예에서는, 최소 휘도값 추정부(17A)는, 화소 유닛 각각에 포함되는 복수의 화소의 실효 방사 휘도값에 대하여, 당해 화소에 대응하는 편광 소자의 주축 방향의 각도를 변수로 하는 삼각함수를 적용함으로써, 상기 최솟값을 추정한다. 따라서, 최소 휘도값 추정부(17A)는, 삼각함수의 최솟값에 의해 단위 영역이 취할 수 있는 휘도값의 최솟값을 추정할 수 있다.

(제1 추정 방법)

최소 휘도값 추정부(17A)에 의한, 단위 영역에서의 휘도값의 최솟값의 추정 방법의 일례를 이하에 설명한다. 어느 화소 유닛에 포함되는 각 화소의 실효 방사 휘도값을 Y로 한 경우, Y는 이하의 식 (5-1)에 의해 표현할 수 있는 것으로 가정한다.

Y=Asin(2x+B)+C (5-1)

여기서, A 및 B는 각각 화소 유닛에 고유한 상수이다. x는 화소에 대응하는 편광 소자의 주축의 각도이다. 또한, 화소 유닛에 포함되는 화소에 대응하는 편광 소자의 주축 방향이 등각도 간격인 경우, C는 화소 유닛에 포함되는 각 화소의 실효 방사 휘도값의 평균 E(Y)와 일치한다.

Y의 제곱 평균을 E(Y²)로 하면, E(Y²)는 이하의 식 (5-2)에 의해 표현된다.

E(Y²)=A²×E(sin²(2x+B))+2A×E(C)×E(sin(2x+B))+(E(C²)) (5-2)

여기서, 워리스의 공식으로부터, 이하의 식 (5-3) 및 (5-4)가 성립된다.

E(sin²(2x+B))=1/2 (5-3)

E(sin(2x+B))=1/π (5-4)

따라서, 식 (5-2)를 이하의 식 (5-5)와 같이 변형할 수 있다.

E(Y²)=A²/2+2A×E(C)/π+(E(C²)) (5-5)

E(Y²)는 화소 유닛에 포함되는 각 화소의 실효 방사 휘도값의 제곱 평균과 동등하기 때문에, E(C)를 각 화소의 실효 방사 휘도값의 최솟값, E(C²)를 각 화소의 실효 방사 휘도값의 최솟값의 제곱값에 근사하여, 식 (5-5)를 A에 대하여 풂으로써, A의 값을 산출할 수 있다.

식 (5-5)를 풀어 산출한 A의 값 및 식 (5-1)로부터, Y가 취할 수 있는 값의 최솟값 Ymin을, 이하의 식 (5-6)에 의해 구할 수 있다.

Ymin=E(Y)-A (5-6)

따라서, 최소 휘도값 추정부(17A)는, 상기한 식 (5-5) 및 (5-6)의 계산만으로, 화소 유닛에 포함되는 화소의 실효 방사 휘도값이 취할 수 있는 최솟값을 추정할 수 있다.

도 21은 식 (5-1)에 포함되는 파라미터를 나타내는 그래프이다. 도 21에 나타내는 그래프에 있어서, 횡축은 카메라(20)의 화소 유닛에 있어서의 편광 소자의 주축의 각도, 종축은 화소 유닛에 있어서의 화소의 실효 방사 휘도값을 나타낸다. 도 21에 나타내는 예에서는, 화소 유닛은, 주축 방향이 10°를 기점으로 하여 45°씩 상이한 4개의 편광 소자에 대응하는 4개의 화소를 포함한다.

도 21에 도시한 바와 같이, 식 (5-1)에 있어서의 C의 값은, 화소 유닛의 화소의 실효 방사 휘도값의 중앙값이며, 화소 유닛 내의 화소의 실효 방사 휘도값의 평균값과 대략 동등하다. 또한, 식 (5-1)에 있어서의 A의 값은, 상기 평균값과, 단위 영역 내의 화소가 취할 수 있는 휘도의 최솟값의 차이다. 또한, 식 (5-1)에 있어서의 B의 값은, 횡축 방향에 있어서의 그래프의 위치를 결정하는 값이다. 즉, B의 값이 변동하면, 그래프 전체가 횡축에 평행하게 시프트한다. B의 값은 Ymin에 영향을 미치지 않기 때문에, 제1 추정 방법에서는 B의 값을 산출하지 않는다.

(제2 추정 방법)

최소 휘도값 추정부(17A)에 의한, 단위 영역에서의 휘도값의 최솟값의 추정 방법의 제2 추정 방법을 이하에 설명한다. 제2 추정 방법에 있어서도, 어느 화소 유닛에 포함되는 각 화소의 실효 방사 휘도값 Y는 상기한 식 (5-1)에 의해 나타낼 수 있는 것으로 가정한다.

제2 추정 방법에서는, x의 값과 sin2x의 값의 대응 관계를 나타내는 룩업 테이블이, 미리 기억부(90)에 저장되어 있다. 최소 휘도값 추정부(17A)는, 상기한 식 (5-1)에 있어서의 A의 초기값을 이하의 (i) 및 (ⅱ)의 평균으로 설정하고, 상기 룩업 테이블을 참조하여, x의 값에 대응하는 Y의 테이블을 작성한다.

(i) 화소 유닛에 포함되는 각 화소의 실효 방사 휘도값의 최댓값과 평균값의 차

(ⅱ) 화소 유닛에 포함되는 각 화소의 실효 방사 휘도값의 평균값과 최솟값의 차

작성된 테이블에 있어서의 x와 Y의 대응 관계는, 식 (5-1)에 있어서의 B의 값을 변화시킴으로써 시프트시킬 수 있다.

다음에 최소 휘도값 추정부(17A)는, 작성된 테이블과 화소 유닛에 포함되는 각 화소의 실효 방사 휘도값을 비교한다. 최소 휘도값 추정부(17A)는, B의 값을 변화시켜, 화소 유닛에 포함되는 각 화소의 실효 방사 휘도값과, 당해 각 화소에 대응하는 편광 소자의 각도에 있어서의 테이블의 값의 차의 합계가 최소가 되도록 한다. 최소 휘도값 추정부(17A)는, 테이블의 값과 실효 방사 휘도값의 차가 최소인 경우에 있어서의, 각 화소의 실효 방사 휘도값에 대한 테이블의 값과 각 화소의 실효 방사 휘도값의 차의 비율의 평균이 소정의 비율 이하이면 A의 값이 적절하다고 추정한다. 이 경우, 최소 휘도값 추정부(17A)는, 상기 식 (5-6)에 의해 최솟값을 추정한다. 상기 소정의 비율은, 바람직하게는 10％이며, 보다 바람직하게는 5％이며, 더욱 바람직하게는 1％이다.

테이블의 값과 실효 방사 휘도값의 차가 소정의 비율 이하가 아닌 경우에는, 최소 휘도값 추정부(17A)는 식 (5-1)에 있어서의 A의 값을 상술한 초기값으로부터 변화시켜 마찬가지의 비교를 행한다.

도 22의 (a)는 룩업 테이블의 예를 나타내는 도면이다. 도 22의 (b)는, 최소 휘도값 추정부(17A)가 작성하는 테이블의 예를 나타내는 도면이다. 도 22의 (c)는, 실효 방사 휘도값을 나타내는 신호 강도의 예를 나타내는 도면이다. 도 22의 (d)는, 도 22의 (c)에 도시한 신호 강도의 예 및 최소 휘도값 추정부(17A)가 추정한 실효 방사 휘도값을 나타내는 신호 강도의 예를 나타내는 그래프이다.

도 22의 (d)에 도시하는 그래프에 있어서, 횡축은 카메라(20)의 화소 유닛에 있어서의 편광 소자의 주축의 각도, 종축은 화소 유닛에 있어서의 화소의 실효 방사 휘도값을 나타내는 신호 강도를 나타낸다. 도 22의 (d)에 나타내는 예에서는, 화소 유닛은, 주축 방향이 0°를 기점으로 하여 45°씩 상이한 4개의 편광 소자에 대응하는 4개의 화소를 구비한다. 또한, 도 22의 (d)에 나타내는 예는, 광이 공기(굴절률 n1=1.0)와 각막(굴절률 n2=1.376)의 계면에, 입사각 15°로 입사한 경우의 것이다.

기억부(90)에는, 도 22의 (a)에 도시한 바와 같은 룩업 테이블이 미리 저장되어 있다. 최소 휘도값 추정부(17A)는, 식 (5-1)에 있어서의 A의 값을 전술한 바와 같이 설정하고, 도 22의 (b)에 도시한 바와 같은 Y의 테이블을 작성한다. 또한 최소 휘도값 추정부(17A)는, 도 22의 (c)에 도시한 바와 같은, 화소 유닛에 포함되는 화소의 실효 방사 휘도값 각각에 가장 가까운 값을 Y의 테이블로부터 추출한다. 추출된 값 및 당해 값에 대응하는 편광자의 주축 방향은, 도 22의 (d)에 있어서 「*」로 나타내고 있다. 한편, 화소 유닛에 포함되는 각 화소의 실제의 실효 방사 휘도값 및 각 화소에 대응하는 편광자의 주축 방향은, 도 22의 (d)에 있어서 「○」로 나타내고 있다.

도 22의 (d)에 있어서, 0°근방 및 90°근방의 「*」의 위치는, 「○」의 위치와 잘 합치되는 한편, 65°근방 및 155°근방의 「*」의 위치는 45° 및 135°에 있어서의 「○」의 위치로부터 크게 벗어나 있다. 이로 인해, 상기한 비율은, 10％보다 커진다. 이 경우, 최소 휘도값 추정부(17A)는, 식 (5-1)에 있어서의 A의 값을 변화시켜 다시 Y의 테이블을 작성하고, 실제의 실효 방사 휘도값 각각에 가장 가까운 값을 Y의 테이블로부터 추출하고, 마찬가지의 비교를 행한다.

(다른 추정 방법)

최소 휘도값 추정부(17A)는, 상술한 제1 및 제2 추정 방법 이외의 추정 방법에 의해, 화소 유닛 내의 화소가 취할 수 있는 실효 방사 휘도값의 최솟값을 추정해도 된다. 예를 들어 최소 휘도값 추정부(17A)는, 화소 유닛 각각에 포함되는 복수의 화소의 실효 방사 휘도값에 대하여, 당해 화소에 대응하는 편광 소자의 주축 방향의 각도를 변수로 하는 다항식을 적용함으로써 상기 최솟값을 추정해도 된다. 이 경우, 다항식의 예로서는, 삼각함수를 테일러 전개한 다항식을 들 수 있다. 테일러 전개에 의하면, sinx 및 cosx는, 각각 이하의 식 (5-7) 및 (5-8)과 같이 표현할 수 있다.

식 (5-7) 및 (5-8)에 있어서, x는 편광 소자의 주축 방향이며, n은 임의의 정수이다. n은 3 이상인 것이 바람직하다.

또한, 예를 들어 최소 휘도값 추정부(17A)는, 임의의 보간법에 의해 화소 유닛에 포함되는 각 화소의 실효 방사 휘도값을 나타내는 함수를 추정하고, 당해 함수를 사용하여 상기 최솟값을 추정해도 된다. 보간법의 예로서는, 스플라인 보간, 다항식 보간, 삼각함수 보간 또는 큐빅 보간 등을 들 수 있다.

〔실시 형태 6〕

본 발명의 실시 형태 6에 대하여 도 23 내지 도 25에 기초하여 설명하면, 이하와 같다.

도 23은 본 실시 형태에 관한 화상 처리 장치(10D)를 구비하는 전자 정보 기기(2)의 구성을 도시하는 블록도이다. 도 23에 도시한 바와 같이, 화상 처리 장치(10D)는, 최소 휘도값 선택부(17) 대신 확산 반사광 성분 산출부(18)(화상 생성부)를 구비하는 점에서, 화상 처리 장치(10B)와 상위하다.

확산 반사광 성분 산출부(18)는 화소 유닛 각각에 있어서의 실효 방사 휘도값의 최댓값 Ioutmax 및 최솟값 Ioutmin을 특정한다. 또한 확산 반사광 성분 산출부(18)는 이하의 식 (6-1)에 의해, 화소 유닛 각각에 있어서의 확산 반사광 성분 Ik를 산출한다.

Ik=(Ioutmin-a×Ioutmax)/(1-a) (6-1)

여기서, Ioutmin 및 Ioutmax는 각각 화소 유닛에 포함되는 화소의 실효 방사 휘도값의 최솟값 및 최댓값이다. Ioutmin 및 Ioutmax는, 실시 형태 5와 마찬가지로 하여 추정한 값이어도 되고, 실제의 화소의 실효 방사 휘도값이어도 된다.

또한, 식 (6-1)에 있어서의 a는, S 편광 성분의 반사율에 대한 P 편광 성분의 반사율의 비율이다. 상술한 바와 같이, a는 안구 E에 대한 광의 입사각에 의존한다. 카메라(20)의 렌즈부터 안구 E의 중심까지의 거리 R과, 안구 E의 반경 r에 의해, 안구 E의 화상 상의 각 점에 있어서의 상기 입사각을 산출할 수 있다. 본 실시 형태에서는, 안구 E에 핀트가 맞았을 경우에 있어서의 거리 R이 미리 기억부(90)에 기억되고, 확산 반사광 성분 산출부(18)는 당해 거리 R을 사용하여 상기 입사각 및 a를 산출한다.

거리 R의 구하는 방법은, 구체적으로는 이하와 같다. 카메라(20)가 고정 초점 렌즈의 카메라인 경우, 유저가 전자 정보 기기(2)를 손에 들고 화면을 볼 경우에 유저의 얼굴에 초점이 맞도록 설계되어 있다. 이 경우에 있어서, 카메라(20)가 촬상하는 화상의 소정의 범위에 안구 E의 화상이 포함되도록, 유저가 자신의 눈을 포함하는 영역을 촬상한 경우에, 카메라(20)의 렌즈와 안구 E의 거리 R이 카메라(20)의 렌즈의 초점 거리와 대략 동등해진다. 또한, 카메라(20)가 오토 포커스 기능을 갖는 경우, 안구 E가 결상하는 2종류의 렌즈간 거리를 구하고, 베셀법을 사용하여 거리 R을 산출할 수 있다. 또한, 카메라(20)가 2개의 촬상 소자를 구비하고, 상이한 위치로부터 복수의 화상을 동시에 촬상 가능한 카메라인 경우, 각각의 촬상 소자가 촬상한 화상으로부터, 삼각 측량에 의해 거리 R을 산출할 수 있다.

여기서, 입사각이 작은 경우, S 편광 성분과 P 편광 성분의 반사율의 차는 수 10％ 정도로 작다. 이로 인해, 화소 사이 또는 샷 사이에서의 편차의 영향으로, a의 값을 정확하게 산출할 수 없어, 식 (6-1)에 있어서의 계산 결과가 Ik≤0이 되는(확산 반사광 성분이 소실되는) 경우가 있다.

이 경우, a의 값을, 실제의 입사각보다 큰 각도에 대응하는 a의 값으로 바꾸고, 식 (6-1)에 의한 계산을 실행하면 된다. 예를 들어, 실제의 입사각보다 소정의 각도(예를 들어 10°)씩 큰 각도에 대응하는 a의 값에 대하여 순서대로 식 (6-1)에 의한 계산을 다시 실행하면 된다. 단, 이 경우에는, 투영상의 제거의 정밀도는 저하된다. 이러한, a의 값을 변화시켜서의 재계산은, 예를 들어 인증부(15)에 의한 인증이 실패한 경우에 실행되어도 된다. 또한, 이러한 재계산에 있어서, a의 값을, 실제의 입사각보다 큰 각도에 대응하는 값으로 바꾸는 대신, 실제의 반경 r 또는 거리 R보다 작은 반경 또는 거리에 대응하는 값으로 바꾸어도 된다.

또한, 거리 R에 대하여, 미리 상정한 값을 사용하여 상기 입사각 및 a를 산출해도 된다. 예를 들어 전자 정보 기기(2)가 스마트폰이면, 유저는 전자 정보 기기(2)를 손에 든 상태에서 인증을 행하는 것이 상정된다. 그 경우, 거리 R은 20㎝ 내지 30㎝ 정도일 것으로 예상된다. 따라서, 측거 장치 등에 의해 실제로 거리 R을 측정하지 않아도, 예상되는 거리 R을 사용하여 상기 입사각을 산출할 수 있다.

이 경우, 거리 R은 복수 종류 준비되어 있어도 된다. 즉, 복수 종류의 R마다 입사각 및 a를 산출하고, 확산 반사광 성분 Ik를 더 산출하여 인증을 실행해도 된다. 상기한 예라면, 화상 처리 장치(10D)는, 거리 R을 20㎝로 한 경우 및 30㎝로 한 경우 각각에 대하여 인증을 실행해도 되고, 거리 R을 25㎝로 한 경우에 대하여 인증을 더 실행해도 된다.

식 (6-1)에 대하여, 이하에 설명한다. 화소 유닛에 포함되는 화소의 실효 방사 휘도값에는, 확산 반사광 성분 및 정반사광 성분이 포함된다. 본 실시 형태에서는, 정반사광 성분은, 제1 정반사광 성분과, 제2 정반사광 성분을 포함하는 것으로 한다. 또한, 본 실시 형태에서는, 제1 정반사광 성분 및 제2 정반사광 성분이 모두, 편광 소자의 주축 방향에 의존하는 성분을 갖는 것으로 한다. 이 경우, 제1 정반사광 성분 Is 및 제2 정반사광 성분 Ip는 각각 이하의 식 (6-2) 및 (6-3)에 의해 표현된다.

Is=Is0+Is0×cos2x (6-2)

Ip=Ip0+Ip0×cos2(x-π/2) (6-3)

여기서, Is0 및 Ip0은 각각 제1 정반사광 성분 및 제2 정반사광 성분의, 편광 소자의 주축 방향에 의존하지 않는 성분이다. 또한, 제2 정반사광 성분의 위상은 제1 정반사광 성분의 위상보다 90° 지연되어 있기 때문에, 식 (6-3)에 있어서는 x로부터 π/2가 감산된다. 또한, 식 (6-2) 및 (6-3)에 있어서, cos 함수를 sin 함수로 치환해도 된다.

화소 유닛에 포함되는 화소의 실효 방사 휘도값 Iout는, 이하의 식 (6-4)에 의해 표현된다.

Iout=Ik+Is+Ip=Ik+Is0+Ip0+(Is0-Ip0)cos2x (6-4)

Iout는, cos2x=1에서 최대가 되고, cos2x=-1에서 최소가 된다. 따라서, 식 (6-1)에 있어서의 Ioutmax 및 Ioutmin은, 각각 이하의 식 (6-5) 및 (6-6)으로 표현된다.

Ioutmax=Ik+2×Is0 (6-5)

Ioutmin=Ik+2×Ip0 (6-6)

또한, 프레넬의 법칙으로부터, Is0과 Ip0의 관계는 이하의 식 (6-7)로 표현된다.

Ip0=a×Is0(6-7)

따라서, 식 (6-6)에 식 (6-7)을 대입함으로써, 이하의 식 (6-8)이 얻어진다.

Ioutmin=Ik+2×a×Is0 (6-8)

식 (6-5) 및 (6-8)로 이루어지는 연립방정식을, Ik에 대하여 풂으로써, 식 (6-1)이 얻어진다.

도 24는 화상 처리 장치(10D)에 있어서의 처리를 나타내는 흐름도이다. 화상 처리 장치(10D)에 있어서의 처리는, 스텝 SC2 대신 스텝 SC8(화상 생성 스텝)이 실행되는 점을 제외하고, 화상 처리 장치(10B)에 있어서의 처리와 동일하다. 스텝 SC8에 있어서, 확산 반사광 성분 산출부(18)는 식 (6-1)에 의해 화소 유닛 각각에 대하여 확산 반사광 성분 Ik를 산출하고, 산출된 값을 화소 유닛에 대응하는 단위 영역의 휘도값으로서 결정한다.

또한, 상술한, a의 값을 변경해서의 재계산에 대하여, 예를 들어 이하와 같이 실행되어도 된다. 즉, 투영상이 제거된 안구의 화상 코드와, 등록되어 있는 코드의 허밍 디스턴스에, 인증에 사용되는 역치(이하, 인증 역치라고 기재함)보다 큰 역치(이하, 분기 역치라고 기재함)가 설정된다. 도 24의 스텝 SC6에 있어서, 상기 허밍 디스턴스가 분기 역치 이상이면, 확산 반사광 성분 산출부(18)가 스텝 SC8의 처리를 다시 실행한다. 이때에, 상술한, a의 값을 변경해서의 재계산이 실행된다. 한편, 스텝 SC6에 있어서, 상기 허밍 디스턴스가 인증 역치 이상이면서 또한 분기 역치 미만이면 검은자 검출부(11)가 스텝 SC4의 처리를 다시 실행한다. 또한, 상기 허밍 디스턴스가 인증 역치 미만이면 인증에 성공한다.

이상과 같이, 본 실시 형태의 확산 반사광 성분 산출부(18)는 화소 유닛 각각에 포함되는 복수의 화소의 실효 방사 휘도값에 기초하여, 당해 화소 유닛에 있어서의 실효 방사 휘도값의 최댓값 및 최솟값을 특정한다. 확산 반사광 성분 산출부(18)는 특정한 최댓값 및 최솟값과, 당해 화소 유닛에 대응하는 안구 E의 표면에 있어서의, S 편광 성분의 반사율에 대한 P 편광 성분의 반사율의 비율 a를 사용하여, 당해 화소 유닛에 있어서의 확산 반사광 성분 Ik를 산출한다. 또한 확산 반사광 성분 산출부(18)는 산출한 확산 반사광 성분을, 화소 유닛에 대응하는 단위 영역의 휘도값으로서 결정한다. 이에 의해, 화상 처리 장치(10D)는, 반사광 성분의 적어도 일부가 제거된 확산 반사광 성분을, 단위 영역의 각각의 휘도값으로서 결정할 수 있다.

도 25는 화소 유닛에 포함되는 화소의 실효 방사 휘도값, 당해 화소 유닛에 포함되는 화소가 취할 수 있는 실효 방사 휘도값의 추정값 및 확산광 성분의 추정값의 예를 나타내는 그래프이다. 도 25의 (a)는 안구 E에 대한 입사각이 30°인 광이 안구 E에서 반사된 반사광이 입사하는 화소 유닛의 그래프이다. 도 25의 (b)는 안구 E에 대한 입사각이 20°인 광이 안구 E에서 반사된 반사광이 입사하는 화소 유닛의 그래프이다. 도 25의 (c)는 안구 E에 대한 입사각이 10°인 광이 안구 E에서 반사된 반사광이 입사하는 화소 유닛의 그래프이다. 도 25의 (a) 내지 (c)에 도시하는 그래프에 있어서, 횡축은 화소 유닛에 포함되는 화소 각각에 대응하는 편광 소자의 주축 방향이며, 종축은 화소의 실효 방사 휘도값이다. 또한, 도 25에 나타내는 예에 있어서는, 공기의 굴절률을 1.0, 안구 E의 각막의 굴절률을 1.376으로 하고 있다.

먼저, 도 25의 (a)에 도시하는, 안구 E에 대한 입사각이 30°인 광의 반사광에 대응하는 화소 유닛에 대하여 생각한다. 이때, Ioutmax=1로서 실효 방사 휘도값을 규격화하면, Ioutmin=0.60이 되었다. 또한, 입사각이 30°인 광의 반사광에 있어서는, a=0.40이다.

이 경우, 확산 반사광 성분 Ik는 식 (6-1)을 사용하여 이하와 같이 산출된다.

Ik=(Ioutmin-a×Ioutmax)/(1-a)

=(0.60-0.40×1.0)/(1.0-0.40)

≒0.33

이어서, 도 25의 (b)에 도시하는, 안구 E에 대한 입사각이 20°인 광의 반사광에 대응하는 화소 유닛에 대하여 생각한다. 이때, Ioutmax=1로서 실효 방사 휘도값을 규격화하면, Ioutmin=0.79가 되었다. 또한, 입사각이 20°인 광의 반사광에 있어서는, a=0.688이다.

이 경우, 확산 반사광 성분 Ik는 식 (6-1)을 사용하여 이하와 같이 산출된다.

Ik=(Ioutmin-a×Ioutmax)/(1-a)

=(0.79-0.688×1.0)/(1.0-0.688)

≒0.33

이어서, 도 25의 (c)에 도시하는, 안구 E에 대한 입사각이 10°인 광의 반사광에 대응하는 화소 유닛에 대하여 생각한다. 이때, Ioutmax=1로서 실효 방사 휘도값을 규격화하면, Ioutmin=0.94가 되었다. 또한, 입사각이 20°인 광의 반사광에 있어서는, a=0.91이다.

이 경우, 확산 반사광 성분 Ik는 식 (6-1)을 사용하여 이하와 같이 산출된다.

Ik=(Ioutmin-a×Ioutmax)/(1-a)

=(0.94-0.91×1.0)/(1.0-0.91)

≒0.33

따라서, 도 25에 나타내는 예에서는, 안구 E에 대한 광의 입사각이 10°, 20° 및 30°인 모든 경우에 있어서도, 확산 반사광 성분 Ik는, Ioutmax=1로서 규격화한 경우에 있어서 0.33이 된다. 어느 각도에서든 Ik의 값이 대략 일치하고 있는 점에서, 상기한 Ik의 값은 바르다고 생각된다.

〔실시 형태 7〕

본 발명의 실시 형태 7에 대하여 이하에 설명한다. 본 실시 형태의 화상 처리 장치는, 확산 반사광 성분 산출부(18)에 의한 처리의 내용을 제외하고 화상 처리 장치(10D)의 구성과 마찬가지이기 때문에, 블록도 및 흐름도의 도시를 생략한다.

본 실시 형태의 확산 반사광 성분 산출부(18)는 이하의 식 (7-1)에 의해, 화소 유닛 각각에 있어서의 확산 반사광 성분 Ik를 산출한다.

Ik=Ioutmin-Ip (7-1)

식 (7-1)에 대하여, 이하에 설명한다.

본 실시 형태에서는, 제1 정반사광 성분 Is는 편광 소자의 주축 방향에 의존하는 성분을 갖는 한편, 제2 정반사광 성분 Ip는 편광 소자의 주축 방향에 의존하지 않는 것으로 한다. 구체적으로는, 본 실시 형태에서는, 확산 반사광 성분 산출부(18)는 Is를 이하의 식 (7-2)에 의해 산출한다.

Is=Ioutmax-Ioutmin (7-2)

또한, Ik는 이하의 식 (7-3)으로 표현된다.

Ik=Ioutmax-(Is+Ip) (7-3)

식 (7-2)를 사용하여 식 (7-3)을 변형함으로써, 이하의 식 (7-4)가 얻어진다.

Ik=Ioutmin-Ip (7-4)

Ip는, 식 (6-7)을 사용하여 산출할 수 있는 값이다. 따라서, 확산 반사광 성분 산출부(18)는 식 (7-4) 및 (6-7)에 의해 확산 반사광 성분 Ik를 산출할 수 있다.

이상과 같이, 본 실시 형태의 확산 반사광 성분 산출부(18)는 2종류의 정반사광 성분을 산출하고, 산출된 정반사광 성분을, 화소 유닛에 포함되는 화소의 실효 방사 휘도값의 최댓값으로부터 감한 값을, 당해 화소 유닛에 대응하는 단위 영역의 휘도값으로 결정한다. 확산 반사광 성분 산출부(18)가 이러한 처리를 실행하는 경우에도 화상 처리 장치(10D)는 정반사광 성분의 적어도 일부가 제거된 확산 반사광 성분을 단위 영역 각각의 휘도값으로서 결정할 수 있다.

〔실시 형태 8〕

본 발명의 실시 형태 8에 대하여 도 26 및 도 27에 기초하여 설명하면, 이하와 같다.

도 26은 본 실시 형태의 화상 처리 장치(10E)를 구비하는 전자 정보 기기(3)의 구성을 도시하는 블록도이다. 도 26에 도시한 바와 같이, 전자 정보 기기(3)는 화상 처리 장치(10D) 대신 화상 처리 장치(10E)를 구비하는 점 및 편광 조사부(40)를 구비하는 점에서, 실시 형태 7의 전자 정보 기기(2)와 상위하다.

편광 조사부(40)는 피사체에 대하여 편광을 조사한다. 예를 들어 편광 조사부(40)는 LED 등의 광원과, 특정한 방향의 편광만을 투과시키는 편광 필터를 구비하고 있어도 된다.

화상 처리 장치(10E)는, 투영 유무 판정부(19)를 구비하는 점에서 화상 처리 장치(10D)와 상위하다. 투영 유무 판정부(19)는 피사체의 표면에서의 정반사광 성분이 소정의 강도 이하인지 여부를 판정한다. 바꾸어 말하면, 투영 유무 판정부(19)는 피사체에 투영이 발생하고 있는지 여부를 판정한다.

투영 유무 판정부(19)는 피사체에 투영이 발생하지 않았다고 판정한 경우에는, 편광 조사부(40)에 의해 피사체에 대하여 편광을 조사한다. 또한 이때, 휘도값 정보 취득부(16)(휘도값 정보 재취득부)는, 편광 조사부(40)가 피사체에 편광을 조사한 상태에서, 피사체의 실효 방사 휘도값을 다시 취득한다.

본 실시 형태에서는, 투영 유무 판정부(19)는 안구 E에 대응하는 화소 유닛 각각에 대하여, 실효 방사 휘도값의 최댓값에 대한 최솟값의 비를 산출한다. 또한, 투영 유무 판정부(19)는 안구 E에 대응하는 화소 유닛 전체에서의 상기 비의 평균을 산출하여, 당해 평균이 소정의 값 이상이면 투영이 발생하지 않았다고 판정하고, 소정의 값 미만이면 투영이 발생하고 있다고 판정한다.

피사체에 대한 광의 입사각이 작으면, 당해 입사각에 대응하는 화소 유닛에 포함되는 화소의 실효 방사 휘도값의, 최댓값에 대한 최솟값의 비율이 커진다. 상기 소정의 값은, 피사체에 대한 입사각으로서 상정되는 최소의 각도에 있어서의, 실효 방사 휘도값의 최댓값에 대한 최솟값의 비율이어도 된다. 구체적으로는, 상기 소정의 값은, 예를 들어 0.94여도 된다. 이 값은, 안구 E에 대한 입사각이 10°인 광의 반사광에 대하여, 프레넬의 법칙을 사용하여 산출한 실효 방사 휘도값의 최댓값에 대한 최솟값의 비율이다.

도 27은 화상 처리 장치(10E)에 있어서의 처리를 나타내는 흐름도이다. 도 27에 도시한 바와 같이, 화상 처리 장치(10E)에 있어서는, 휘도값 정보 취득부(16)가 피사체의 실효 방사 휘도값을 취득한(SC1) 후, 투영 유무 판정부(19)가, 투영이 발생하고 있는지 여부를 판정한다(SD1, 투영 판정 스텝). 투영이 발생하는 경우(SD1에서 '예'), 화상 처리 장치(10E)는 화상 처리 장치(10B)와 마찬가지로, 스텝 SC2 이후의 처리를 행한다.

한편, 투영이 발생하지 않은 경우(SD1에서 '아니오'), 휘도값 정보 취득부(16)는, 편광 조사부(40)로부터 피사체에 대하여 편광을 조사한 상태에서, 피사체의 실효 방사 휘도값을 다시 취득한다(SD2, 휘도값 정보 재취득 스텝). 이 경우, 화상 처리 장치(10E)는, 스텝 SD2에 있어서 취득한 피사체의 실효 방사 휘도값을 사용하여 스텝 SC2 이후의 처리를 행한다.

화상 처리 장치(10E)에 있어서는, 안구 E에 투영이 발생하지 않은 경우에, 편광 조사부(40)에 의해 투영을 발생시킨 상태에서, 휘도값 정보 취득부(16)가 안구 E를 포함하는 피사체의 실효 방사 휘도값을 취득한다. 확산 반사광 성분 산출부(18)는 휘도값 정보 취득부(16)가 취득한 실효 방사 휘도값으로부터, 프레넬의 법칙에 의해 산출되는 비율 a를 사용하여 정반사광 성분을 제거하여 촬상 화상을 생성하고, 인증을 행한다. 따라서, 안구 E가 실물 안구와는 상이한 물질, 구체적으로는 각막의 굴절률(n=1.376)과는 상이한 굴절률을 갖는 물질에 의해 형성된 위조물인 경우에, 개인 인증이 실패하기 쉬워진다.

또한, 전자 정보 기기(3)는 반드시 편광 조사부(40)를 구비할 필요는 없다. 예를 들어, 전자 정보 기기(3)와 무선 또는 유선에 의해 통신 가능하게 접속된 별도의 장치가 편광 조사부(40)를 구비하고 있어도 된다. 또한, 상술한 처리에서는 스텝 SC1 및 SD2의 어떤 경우든, 휘도값 정보 취득부(16)가 피사체의 실효 방사 휘도값을 취득했다. 그러나, 스텝 SD2에 있어서 피사체의 실효 방사 휘도값을 취득하는 기능 블록(휘도값 정보 재취득부)은, 휘도값 정보 취득부(16)와는 상이해도 된다.

또한, 전술한 바와 같이, 화상 처리 장치(10E)는, 투영 유무 판정부(19)를 구비하는 점에서 화상 처리 장치(10D)와 상위하다. 바꾸어 말하면, 화상 처리 장치(10E)는 화상 처리 장치(10D)에 투영 유무 판정부(19)가 추가된 구성을 갖는다. 그러나, 본 실시 형태의 화상 처리 장치는, 프레넬의 법칙을 사용하는 다른 화상 처리 장치, 예를 들어 화상 처리 장치(10·10A)에 투영 유무 판정부(19)가 추가된 구성을 갖고 있어도 된다.

〔실시 형태 9〕

본 발명의 일 형태에 관한 화상 처리 장치는, 상술한 처리 중 2개 이상의 처리를 실행해도 된다.

예를 들어, 본 발명의 일 형태에 관한 화상 처리 장치는, 실시 형태 1, 2, 4 내지 7에서 설명한 화상 처리 중 하나를 실행하고, 인증에 실패한 경우에는 실행한 화상 처리 또는 실행한 화상 처리 이외의 다른 화상 처리를 실행하여 다시 인증을 행해도 된다. 다시 인증에 의해서도 인증에 실패한 경우, 화상 처리 장치는 피사체의 실효 방사 휘도 분포를 다시 취득 또는 피사체의 화상을 다시 촬영하고, 더 필요하면 피사체까지의 거리를 다시 측정해도 된다. 또한, 화상 처리 장치는, 또 다른 화상 처리를 병행 또는 순행으로 실행하여, 피사체의 실효 방사 휘도 분포를 복수회 취득 또는 피사체의 화상을 촬영해도 인증에 성공하지 않는 경우에는, 당해 다른 화상 처리에 의해 생성된 촬상 화상에 의해 인증을 행해도 된다.

또한, 상술한 각 실시 형태에 있어서는, 인증이 실패한 경우에, 검은자 검출부(11)에 의해 검출하는 검은자의 범위를 변경하여 다시 인증을 행했다. 그러나, 본 발명의 일 형태에 관한 화상 처리 장치는, 인증에 1회 이상 실패한 경우에, 휘도값 정보 취득부(16)가 다시 피사체의 실효 방사 휘도값을 취득(촬영)하도록 구성되어 있어도 된다. 또한, 화상 처리 장치는, 다른 화상 처리를 병행 또는 순행으로 실행하여, 피사체의 실효 방사 휘도 분포를 복수회 취득해도 인증에 성공하지 않는 경우에는, 당해 다른 화상 처리에 의해 생성된 촬상 화상에 의해 인증을 행해도 된다.

또한, 본 발명의 일 형태에 관한 화상 처리 장치는, 실시 형태 6의 화상 처리와 다른 실시 형태(즉 실시 형태 1, 2, 4, 5 또는 7 중 어느 하나 이상)의 화상 처리를 병행하여 실행해도 된다.

도 29는 실시 형태 6의 화상 처리와 다른 화상 처리를 병행하여 실행하는 화상 처리 장치에 있어서의 처리의 흐름을 나타내는 흐름도이다. 도 29에 도시하는 처리에 있어서, 스텝 SC1, SC5 및 SC6의 처리는, 상술한 실시 형태에서 설명한 것과 동일하기 때문에, 여기서는 상세하게는 설명하지 않는다.

도 29에 도시하는 처리에 있어서는, 화상 처리 장치는, 피사체의 휘도값 정보를 취득(SC1)한 후, 실시 형태 6의 화상 처리에 의해 각 단위 영역의 휘도값이 결정된 제1 제거 후 화상의 생성(SD1)과, 다른 실시 형태의 화상 처리에 의해 각 단위 영역의 휘도값이 결정된 제2 제거 후 화상의 생성(SD2)을 병행하여 행한다. 그 후, 화상 처리 장치는, 제1 제거 후 화상의 각 단위 영역에 대하여, 휘도값이 소정의 역치 이상인지 판정한다(SD3). 휘도값이 역치 이상인 경우(SD3에서 '예'), 당해 단위 영역의 휘도값은 변경되지 않는다. 한편, 휘도값이 역치 이상이 아닌 경우(SD3에서 '아니오'), 당해 단위 영역의 휘도값은, 제2 제거 화상에 있어서의 대응하는 위치의 단위 영역의 휘도값으로 변경된다. 화상 처리 장치는, 모든 단위 영역에 대하여 스텝 SD3의 판정을 실행하고, 판정 결과에 따라 스텝 SD4의 처리를 실행한 후, 얻어진 화상을 사용하여 인증을 행한다(SC5). 또한 화상 처리 장치는, 인증할 수 있는지 여부의 판정을 행하여(SC6), 인증된 경우(SC6에서 '예')에는 처리를 종료하고, 하지 못한 경우(SC6에서 '아니오')에는 다시 스텝 SD1로 되돌아가, 제1 제거 후 화상을 다시 생성한다. 구체적으로는, 스텝 SC6에서 '아니오'인 경우, 화상 처리 장치는, 도 24에 도시하는 스텝 SC11 이후의 처리를 다시 실행한다. 또한, 스텝 SC6에서 '아니오'인 경우, 스텝 SD1로만 되돌아가, 제1 제거 후 화상을 다시 생성하는 것이 아니라, 스텝 SD1 및 SD2의 양쪽으로 되돌아가, 제1 제거 후 화상 및 제2 제거 후 화상의 양쪽을 다시 생성해도 된다.

전술한 바와 같이, 실시 형태 6의 화상 처리에 있어서는, 안구에 대한 광의 입사각이 작은 단위 영역에서, 확산 반사광 성분이 소실될 우려가 있다. 따라서, 이 화상 처리 장치는, 실시 형태 6의 화상 처리에 의해 각 단위 영역의 휘도값을 결정한 후, 각 단위 영역의 휘도값이 소정의 역치 이상인지 여부를 판정한다. 휘도값이 상기 역치 이상인 단위 영역에 대해서는, 당해 휘도값을 그대로 채용한다. 한편, 휘도값이 상기 역치 이상이 아닌 단위 영역에 대해서는, 상기 다른 실시 형태의 화상 처리에 의한 휘도값을 당해 단위 영역의 휘도값으로서 채용한다. 이에 의해, 이 화상 처리 장치는, 확산 반사광 성분의 소실을 방지할 수 있다.

〔부기 사항〕

통상 「경면 반사광」이라는 단어는, 시점(예를 들어 유저의 눈 또는 촬상 소자 등)의 방향으로 출사되는 가시광에 대해서만 사용된다. 그러나 본 명세서에서는, 「경면 반사광」이란 단어에 대하여, 시점의 방향으로 출사되는 가시광 이외에도, 적외광도 포함하는 개념을 나타내는 용어로서 사용하고 있다.

또한, 상술한 실시 형태 1 내지 3에 있어서는, 화상 처리 장치(10) 등이 휴대 정보 단말기(1) 등에 탑재되어 있는 것으로서 설명을 행하고 있다. 그러나, 이들 실시 형태에 관한 화상 처리 장치(10) 등에 대해서도, 다른 실시 형태에 관한 화상 처리 장치(10B) 등과 마찬가지로, 휴대 정보 단말기(1) 등과는 상이한 전자 정보 기기(2) 등에 탑재되어도 된다. 전자 정보 기기(2·3)는 상술한 스마트폰 외에도, 개인 인증 기능을 갖는 인터폰 또는 자동차의 도어 등이어도 된다.

또한, 상술한 실시 형태 1 내지 3에 있어서는, S 편광 산출부(12)는 측거 장치(30)가 측정한, 카메라(20)의 렌즈부터 안구 E의 표면까지의 거리를 사용하여 화소에 대응하는 안구 E에 대한 광의 입사각을 특정했다. 그러나, S 편광 산출부(12)는 예를 들어 안구 E에 핀트가 맞는 상태에 있어서의 안구 E의 화상의 크기에 기초하여 상기 거리를 산출하여, 당해 거리를 사용하여 화소에 대응하는 안구 E에 대한 광의 입사각을 특정해도 된다. 또한, 예를 들어 S 편광 산출부(12)는 카메라(20)의 렌즈부터 안구 E의 표면까지의 거리(예를 들어 휴대 정보 단말기(1)가 스마트폰인 경우, 20㎝ 내지 30㎝)를 미리 상정하고, 상정된 거리를 사용하여 화소에 대응하는 안구 E에 대한 광의 입사각을 특정해도 된다. 이 경우에는, 상기 거리를 복수 상정하고, 각각의 거리를 사용하여 화소에 대응하는 안구 E에 대한 광의 입사각을 특정하여 투영 제거를 행해도 된다. 또한, 이 경우에는, 휴대 정보 단말기(1)는 반드시 측거 장치(30)를 구비할 필요는 없다.

또한, 도 3을 참조한 설명에 있어서는, 투영상에 대하여, 「제거한다」라는 기재가 있다. 또한 도 3 자체에도, 「S파 P파 제거」라는 기재가 있다. 그러나, 본 발명의 일 형태에 있어서는, 화상 처리 장치는 반드시 투영상을 완전히 제거할 필요는 없고, 투영상을 형성하는 정반사광 성분의 적어도 일부를 제거, 즉 투영을 저감시킬 수 있으면 된다.

또한, 도 28은 카메라(20)에 있어서의 화소 유닛의 배치를 도시하는 도면이다. 도 28의 (a)는 9개의 화소로 이루어지는 화소 유닛이 서로 겹치지 않도록 배치된 상태를 도시하는 도면이다. 도 28의 (b)는 4개의 화소로 이루어지는 화소 유닛이 서로 겹치지 않도록 배치된 상태를 도시하는 도면이다. 도 28의 (c)는 9개의 화소로 이루어지는 화소 유닛이 부분적으로 겹쳐지도록 배치된 상태를 도시하는 도면이다. 도 28의 (d)는 4개의 화소로 이루어지는 화소 유닛이 부분적으로 겹쳐지도록 배치된 상태를 도시하는 도면이다. 도 28의 (a) 내지 (d)에 있어서는, 점선으로 둘러싸인 영역, 파선으로 둘러싸인 영역 및 일점쇄선으로 둘러싸인 영역이, 각각 별개의 화소 유닛을 나타낸다.

상술한 각 실시 형태에서는, 카메라(20)에 있어서, 하나의 화소는 하나의 화소 유닛에만 포함되어 있었다. 바꾸어 말하면, 도 28의 (a) 및 (b)에 도시한 바와 같이, 화소 유닛끼리는 서로 겹치지 않도록 배치되어 있었다. 그러나, 본 발명의 일 형태에 있어서는, 하나의 화소가 2개 이상인 화소 유닛에 포함되어 있어도 된다. 즉, 도 28의 (c) 및 (d)에 도시한 바와 같이, 화소 유닛이 부분적으로 겹쳐지도록 배치되어 있어도 된다.

화소 유닛이 부분적으로 중첩되어 있는 경우, 화소 유닛이 중첩되어 있지 않은 경우와 비교하여, 화소 유닛의 수가 많아진다. 따라서, 화소 유닛이 부분적으로 중첩되어 있는 경우, 정반사광 성분을, 보다 많이 제거하는 것을 기대할 수 있다.

또한, 하나의 화소 유닛에 포함되는 화소에 대응하는 편광 소자의, 주축 방향의 종류는 많으면 많을수록, 정반사광 성분을 적절하게 제거할 수 있다. 그러나, 1종류의 주축 방향에 대응하여 적어도 하나의 화소가 필요해지기 때문에, 주축 방향의 종류가 많으면, 화소 유닛에 포함되는 화소의 수가 증대된다.

화소 유닛에 포함되는 화소의 수가 증대되면, 도 28의 (a) 및 (b)에 도시한 바와 같이, 화소 유닛이 서로 겹치지 않도록 배치되는 경우에, 촬상 화상의 해상도가 저하된다는 문제가 발생한다. 실용적으로는, 하나의 화소 유닛에 포함되는 화소에 대응하는 편광 소자의, 주축 방향의 종류는, 2종류 이상이면서 또한 9종류 이하인 것이 바람직하다.

또한, 상술한 각 실시 형태에 있어서, 화상 처리 장치(10, 10A 내지 10E)는, 검은자 영역을 특정하는 검은자 검출부(11)를 구비하고 있었다. 그러나, 화상 처리 장치(10, 10A 내지 10E)는, 검은자 검출부(11) 대신에 유저의 각막, 홍채 또는 동공 영역을 특정하는, 각막·홍채·동공 검출부를 구비하고 있어도 된다. 홍채·동공 검출부가 각막, 홍채 또는 동공 영역을 특정하는 처리는, 검은자 검출부(11)가 검은자 영역을 검출하는 처리와 마찬가지이며, 홍채 인증 등의 분야에 있어서 기지이다. 각막·홍채·동공 검출부는, 특정한 각막, 홍채 또는 동공 영역에 대응하는 화소의 위치 정보를, 실시 형태에 따라, 최소 휘도값 선택부(17) 및 최소 휘도값 추정부(17A) 또는 확산 반사광 성분 산출부(18) 및 인증부(15) 등에 송신한다. 화상 처리 장치(10, 10A 내지 10E)가 구비하는 다른 블록에 있어서의 처리는, 상술한 각 실시 형태에 있어서 설명한 처리와 마찬가지이다.

검은자 검출부(11)(또는 각막·홍채·동공 검출부)가 검은자 영역(또는 각막, 홍채 또는 동공 영역)을 검출하는 처리의 예에 대하여, 이하에 간결하게 설명한다. 먼저, 검은자 검출부(11)(또는 각막·홍채·동공 검출부)는, 촬상 소자의 각 화소가 취득한 실효 방사 휘도값에 대하여, 첨예화, 에지 검출 및 2치화를 행한다. 에지 검출에는, 예를 들어 sobel 필터를 사용할 수 있다. 또한, 2치화에는, 예를 들어 이동 평균법 또는 부분 화상 분할법을 사용할 수 있다. 검은자 검출부(11)(또는 각막·홍채·동공 검출부)는, 2치화된 실효 방사 휘도값에 대하여 Hough 변환을 행하여, 원형의 영역을 검은자(또는 각막·홍채·동공 영역)로서 검출한다.

또한, 상술한 각 실시 형태에 있어서는, 반경 r을 안구 E의 반경으로서 설명했다. 그러나, 반경 r은, 각막의 곡률 반경이어도 된다.

또한, 실시 형태 1에 있어서 피사체가 양 눈의 안구 E를 포함하는 경우에 대하여, 이하에 설명한다. 이 경우에 있어서, 각 수치를 이하와 같이 규정한다.

·Rd: 2개의 안구 E의 중심끼리를 연결하는 선분의 중간점과 카메라(20)의 렌즈 사이의 거리

·R1: 한쪽의 안구 E의 중심과 카메라(20)의 렌즈 사이의 거리

·L: 한쪽의 안구 E의 중심과 상기 중간점 사이의 거리

여기에서는, Rd에 대해서는 측거 장치(30)에 의해 측정되는 기지의 값이며, R1에 대해서는 측거 장치(30)에 의해 직접 측정할 수 없는 것으로 한다. 또한, L의 산출 방법에 대해서는 후술한다. 또한, Rd에 대해서는, 반드시 측거 장치(30)에 의해 측정할 필요는 없고, 실시 형태 6에서 설명한 R과 마찬가지로, 카메라(20)만을 사용한 산출 방법에 의해 산출해도 된다.

도 30은 피사체가 양 눈의 안구 E를 포함하는 경우에 대하여 설명하기 위한 도면이다. 이 경우, R1의 값은 다음 식 (10-1)에 의해 산출할 수 있다.

R1=sqrt(Rd²+(L/2)²) (10-1)

여기서, sqrt(Rd²+(L/2)²)는 Rd²+(L/2)²의 평방근을 나타낸다. 상술한 식 (1-1) 및 (1-2)에 있어서의 R에 R1을 대입하고, R1을 식 (10-1)에 의해 산출함으로써, 실시 형태 1의 화상 처리 장치(10)에 있어서, 피사체가 양 눈의 안구 E인 경우의 처리가 가능해진다.

L의 산출 방법에 대하여 이하에 설명한다. L의 산출에 있어서, 각 수치를 이하와 같이 규정한다.

·α: 안구 E의 중심에 대하여, 각막의 중심과 단부가 이루는 각

·H1: 화상에 있어서의, 한쪽 안구 E의 각막의 반경의 화소수

·H2: 화상에 있어서의, 양쪽 안구 E의 각막의 중심 사이의 거리의 화소수

이들 값 중 α는, 반경 r의 원에 있어서 일반적으로 각막이 차지하는 비율로부터, 예를 들어 35°로 할 수 있다. 또한, α의 값은 다른 값, 예를 들어 20° 이상 50° 이하의 범위 내의 임의의 값이어도 된다. 또한, H1 및 H2는 화상으로부터 구할 수 있다.

이 경우, L의 값은 다음 식 (10-2)에 의해 산출할 수 있다.

L=H2×(r×sinα)/H1 (10-2)

식 (10-2)에 의해 산출한 L의 값을 식 (10-1)에 대입함으로써 R1의 값을 산출할 수 있다.

또한, 상술한 각 실시 형태에 있어서는, 각막의 굴절률을 n=1.376으로서 설명했다. 그러나, 각막의 굴절률 값은 상기한 예에 한하지 않고, 예를 들어 1.335, 1.337, 1.3375, 1.37 또는 1.38로 해도 되고, 또한 별도의 값으로 해도 된다.

〔소프트웨어에 의한 실현예〕

화상 처리 장치(10, 10A 내지 10E)는, 집적 회로(IC 칩) 등에 형성된 논리 회로(하드웨어)에 의해 실현해도 되고, CPU(Central Processing Unit)를 사용하여 소프트웨어에 의해 실현해도 된다.

후자의 경우, 화상 처리 장치(10, 10A 내지 10E)는, 각 기능을 실현하는 소프트웨어인 프로그램의 명령을 실행하는 CPU, 상기 프로그램 및 각종 데이터가 컴퓨터(또는 CPU)로 판독 가능하게 기록된 ROM(Read Only Memory) 또는 기억 장치(이들을 「기록 매체」라고 칭함), 상기 프로그램을 전개하는 RAM(Random A㏄ess Memory) 등을 구비하고 있다. 그리고, 컴퓨터(또는 CPU)가 상기 프로그램을 상기 기록 매체로부터 판독하여 실행함으로써, 본 발명의 일 형태의 목적이 달성된다. 상기 기록 매체로서는, 「일시적이 아닌 유형의 매체」, 예를 들어 테이프, 디스크, 카드, 반도체 메모리, 프로그래머블한 논리 회로 등을 사용할 수 있다. 또한, 상기 프로그램은, 해당 프로그램을 전송 가능한 임의의 전송 매체(통신 네트워크나 방송파 등)를 통하여 상기 컴퓨터에 공급되어도 된다. 또한, 본 발명의 일 형태는, 상기 프로그램이 전자적인 전송에 의해 구현화된, 반송파에 매립된 데이터 신호의 형태로도 실현될 수 있다.

〔정리〕

본 발명의 형태 1에 관한 화상 처리 방법은, 주축 방향이 서로 상이한 복수의 편광 소자(21a 내지 21o)와 대응지어진 복수의 화소를 하나의 화소 유닛으로 하고, 해당 화소 유닛이 이차원적으로 배열된 촬상 소자(수광 소자(22))에 의해 촬영된 피사체(안구 E)의 화상을 취득하는 스텝(S1)과, 상기 촬상 소자에 있어서의 상기 화소 유닛의 이차원적 위치와 대응하는 상기 피사체 상의 위치에 의해 결정되는 상기 피사체에 대한 입사각(θ)에 의존한 S 편광의 휘도 분포를, 상기 촬상 소자의 출력을 사용하여 산출하는 스텝(SA1, SA2, SB1)을 갖는다.

상기한 방법에 의하면, 예를 들어 피사체를 안구로 한 경우, 그 안구를 촬영할 때의 안구에 대한 입사각은, 안구 상의 위치에 의해 결정된다. 즉, 안구 상의 위치와 안구의 중심을 연결하는 제1 가상선(도 6에 도시한 직선 L1)과, 안구 상의 상기 위치와 상기 촬상 소자를 구비하는 카메라의 렌즈의 중심을 연결하는 제2 가상선(도 6에 도시한 직선 L2)을 고려한 경우, 제1 가상선과 제2 가상선이 이루는 각도가, 안구에 대한 입사각이 된다.

한편, 촬상 소자에는 주축 방향이 서로 상이한 복수의 편광 소자와 대응지어진 복수의 화소를 단위로 하는 화소 유닛이 이차원적으로 배열되어 있다. 안구 상의 위치와, 그 위치에 있어서의 안구에 대한 입사각과, 촬상 소자에 있어서의 화소 유닛의 이차원적 위치는 대응하고 있다. 또한, 화소 유닛은 주축 방향이 서로 상이한 복수의 편광 소자와 대응지어져 있기 때문에, 화소 유닛을 구성하는 복수의 화소의 출력은, 안구로부터의 반사광에 포함되는 편광의 안구 상의 분포 상태에 따라 변화한다. 특히, 주축 방향이 서로 상이한 복수의 편광 소자와 대응지어진 복수의 화소의 출력에는 S 편광의 휘도가 반영되어 있다. 즉, 촬상 소자의 출력에는, 안구로부터의 반사광에 포함되는 S 편광의 안구 상의 분포 상태가 반영되어 있다. 따라서, 안구에 대한 입사각에 의존한 S 편광의 휘도 분포를, 상기 촬상 소자의 출력을 사용하여 산출할 수 있다.

이와 같이 하여 구한 S 편광의 휘도 분포는, 생체의 안구와 안구의 모조품에서 상이한 분포를 나타낸다. 이에 의해, 예를 들어 안구의 모조품을 피사체로서 촬영한 경우, 그 S 편광의 휘도 분포는 안구의 분포와 상이하기 때문에, 피사체는 안구가 아니라고 판정할 수 있다. 따라서, 형태 1의 화상 처리 방법은, 예를 들어 피사체가 안구인지, 안구가 아닌지의 판별에 이용할 수 있다.

또한, 상기와 같이 산출한 S 편광의 휘도 분포는, 예를 들어 외광의 영향에 의해 안구에 투영된 물체의 상을 제거하는 것에도 이용할 수 있다.

따라서, 형태 1의 화상 처리 방법에 의하면, 홍채 인증의 정밀도를 향상시킬 수 있다.

본 발명의 형태 2에 관한 화상 처리 방법은, 상기 형태 1에 있어서, 상기 화상의 휘도 분포로부터, 상기 S 편광의 휘도 분포를 감산하는 스텝을 더 포함하는 것이 바람직하다.

상기한 방법에 있어서, 안구에 경치 또는 인물과 같은 다른 물체가 투영된 경우, 안구로부터의 반사광 중 다른 물체에 대응한 반사광은, 주로 경면 반사광이며, 이 경면 반사광에 상기 S 편광이 포함되어 있다. 따라서, 상기한 방법에 의하면, 안구의 화상의 휘도 분포로부터 S 편광의 휘도 분포를 감산함으로써, 안구에 투영된 불필요한 노이즈 화상을 저감시킬 수 있다.

본 발명의 형태 3에 관한 화상 처리 방법은, 상기 형태 1 또는 2에 있어서, 상기 S 편광의 휘도 분포로부터, 프레넬의 법칙에 의해 상기 피사체에 대한 입사각에 의존한 P 편광의 휘도 분포를 산출하는 스텝을 더 포함하는 것이 바람직하다.

상기한 방법에 있어서, 안구에 다른 물체가 투영된 경우에 있어서의 안구로부터의 상기 경면 반사광에는 S 편광뿐만 아니라 P 편광도 포함되어 있는 경우가 많다. P 편광의 휘도 분포도 또한 생체의 안구와 안구의 모조품에서 상이한 분포를 나타낸다. 따라서, 상기한 방법에 의하면, 예를 들어 피사체가 안구인지, 안구가 아닌지의 판별의 정밀도를 높일 수 있다.

본 발명의 형태 4에 관한 화상 처리 방법은, 상기 형태 3에 있어서, 상기 화상의 휘도 분포로부터, 상기 S 편광의 휘도 분포 및 상기 P 편광의 휘도 분포를 감산하는 스텝을 더 포함하는 것이 바람직하다.

상기한 방법에 의하면, 안구의 화상의 휘도 분포로부터 S 편광의 휘도 분포 및 P 편광의 휘도 분포를 감산함으로써, 안구에 투영된 불필요한 노이즈 화상을 더욱 저감시킬 수 있다.

본 발명의 형태 5에 관한 화상 처리 방법은, 상기 형태 1 내지 4 중 어느 것에 있어서, 상기 S 편광의 휘도 분포를 산출하는 스텝에 있어서, 상기 입사각을 브루스터각으로 한 경우에, 브루스터각에 대응하는 상기 화소 유닛을 특정하고, 특정된 화소 유닛에 포함되는 화소의 휘도값의 최댓값으로부터 최솟값을 감산함으로써 브루스터각에 있어서의 S 편광의 휘도값을 산출하고, 프레넬의 법칙에 의해, 상기 브루스터각에 있어서의 S 편광의 휘도값을 기점으로 하여, 브루스터각 이외의 입사각에 있어서의 S 편광의 휘도값을 산출하는 것이 바람직하다.

상기한 방법에 있어서, 브루스터각에서는, 경면 반사광에 P 편광이 거의 포함되지 않고, 주로 S 편광이 포함되는 것을 알 수 있다. 따라서, 브루스터각에 대응하는 화소 유닛을 구성하는 복수의 화소의 출력, 즉 휘도값에는 주축 방향이 서로 상이한 복수의 편광 소자에 대한 S 편광의 투과율의 변화가 반영되어 있다. 이로 인해, 그 휘도값의 최댓값으로부터 최솟값을 감산함으로써 브루스터각에 있어서의 S 편광의 휘도값을 산출할 수 있다.

안구에 있어서, 입사각에 대한 S 편광의 휘도 분포를 나타내는 함수는, 프레넬의 법칙에 따르고 있고 기지이므로, 브루스터각에 있어서의 S 편광의 휘도값을 산출할 수 있으면, 브루스터각 이외의 입사각에 있어서의 S 편광의 휘도값을 이론에 기초하여 산출할 수 있다.

본 발명의 형태 6에 관한 화상 처리 방법은, 상기 형태 1 내지 5 중 어느 것에 있어서, 상기 화소 유닛에 포함되는 화소의 휘도값의 최댓값으로부터 최솟값을 감산함으로써 S 편광의 휘도값을 산출하는 스텝을, 상기 촬상 소자에 포함되는 복수의 화소 유닛에 대하여 반복하고, 산출된 S 편광의 휘도값 각각을, 복수의 화소 유닛에 대응하는 상기 입사각과 대응지음으로써, 상기 S 편광의 휘도 분포를 산출하는 것이 바람직하다.

상기한 방법에 의하면, 이미 설명한 대로, 화소 유닛에 포함되는 화소의 휘도값의 최댓값으로부터 최솟값을 감산함으로써 S 편광의 휘도값을 산출할 수 있다. 이 스텝을 촬상 소자에 포함되는 복수의 화소 유닛에 대하여 반복하고, 산출된 S 편광의 휘도값 각각을, 복수의 화소 유닛에 대응하는 입사각과 대응지음으로써, 상기 S 편광의 휘도 분포를 실측값에 기초하여 산출할 수 있다.

또한, S 편광의 휘도 분포를 실측값에 기초하여 산출하는 본 형태의 방법은, S 편광의 휘도 분포를 이론에 기초하여 산출하는 상기 형태의 방법이 제대로 되지 않는 경우에 실행해도 된다.

본 발명의 형태 7에 관한 화상 처리 장치(10)는, 주축 방향이 서로 상이한 복수의 편광 소자와 대응지어진 복수의 화소를 하나의 화소 유닛으로 하고, 해당 화소 유닛이 이차원적으로 배열된 촬상 소자(수광 소자(22))에 의해 촬영된 피사체(안구 E)의 화상에 대하여, 상기 화소 유닛의 이차원적 위치와 대응하는 상기 피사체 상의 위치에 의해 결정되는 상기 피사체에 대한 입사각에 의존한 S 편광의 휘도 분포를, 상기 촬상 소자의 출력을 사용하여 산출하는 S 편광 산출부(12)를 구비한다.

상기한 구성에 의하면, 형태 1과 마찬가지의 효과를 발휘한다.

본 발명의 형태 8에 관한 화상 처리 프로그램은, 상기 형태 7의 화상 처리 장치로서 컴퓨터를 기능시키기 위한 화상 처리 프로그램이며, 상기 S 편광 산출부로서 컴퓨터를 기능시키기 위한 화상 처리 프로그램이다.

본 발명의 각 형태에 관한 화상 처리 장치는, 컴퓨터에 의해 실현해도 되고, 이 경우에는 컴퓨터를 상기 화상 처리 장치가 구비하는 각 부(소프트웨어 요소)로서 동작시킴으로써 상기 화상 처리 장치를 컴퓨터에서 실현시키는 화상 처리 프로그램 및 그것을 기록한 컴퓨터 판독 가능한 기록 매체도, 본 발명의 일 형태의 범주에 들어간다.

본 발명의 일 형태는 상술한 각 실시 형태에 한정되는 것은 아니며, 청구항에 나타낸 범위에서 다양한 변경이 가능하고, 상이한 실시 형태에 각각 개시된 기술적 수단을 적절히 조합하여 얻어지는 실시 형태에 대해서도 본 발명의 일 형태의 기술적 범위에 포함된다. 또한, 각 실시 형태에 각각 개시된 기술적 수단을 조합함으로써, 새로운 기술적 특징을 형성할 수 있다.

(관련 출원의 상호 참조)

본 출원은, 2016년 4월 28일에 출원된 일본 특허 출원: 특원 제2016-091832 및 2017년 4월 4일에 출원된 일본 특허 출원: 특원 제2017-074535에 대하여 우선권의 이익을 주장하는 것이며, 그것을 참조함으로써, 그 내용 모두가 본서에 포함된다.

10, 10A, 10B, 10C, 10D, 10E: 화상 처리 장치
15: 인증부
16: 휘도값 정보 취득부
17: 최소 휘도값 선택부(화상 생성부)
17A: 최소 휘도값 추정부(화상 생성부)
18: 확산 반사광 성분 산출부(화상 생성부)
19: 투영 유무 판정부
40: 편광 조사부

Claims (21)

1. 주축 방향이 서로 상이한 복수의 편광 소자와 대응지어진 복수의 화소를 하나의 화소 유닛으로 하고, 상기 화소 유닛이 이차원적으로 배열된 촬상 소자에 의해, 당해 촬상 소자에 있어서의, 피사체의 실효적인 방사 휘도값인 실효 방사 휘도값을 당해 피사체로부터 취득하는 휘도값 정보 취득 스텝과,
   상기 피사체로부터 취득한 실효 방사 휘도값을 사용하여 상기 피사체의 상을 포함하는 촬상 화상을 생성하는 화상 생성 스텝을 포함하고,
   상기 화상 생성 스텝에 있어서, 상기 피사체의 적어도 일부에 대응하는 상기 화소 유닛마다, 당해 화소 유닛에 포함되는 복수의 화소의 실효 방사 휘도값으로부터, 상기 피사체의 표면에서의 정반사광 성분의 적어도 일부를 제거하고, 얻어진 휘도값을 갖는 단위 영역의 집합으로서의 상기 촬상 화상을 생성하고,
   상기 휘도값 정보 취득 스텝에 있어서 취득한 상기 실효 방사 휘도값에 포함되는, 상기 피사체의 표면에서의 정반사광 성분이 소정의 강도 이하인지 여부를 판정하는 투영 판정 스텝과,
   상기 투영 판정 스텝에 있어서, 상기 피사체의 표면에서의 정반사광 성분이 소정의 강도 이하라고 판정된 경우에, 상기 피사체에 대하여 편광을 조사한 상태에서 상기 실효 방사 휘도값을 취득하는 휘도값 정보 재취득 스텝을 더 포함하고,
   상기 휘도값 정보 재취득 스텝이 실행된 경우에는, 상기 화상 생성 스텝에 있어서, 상기 휘도값 정보 재취득 스텝에서 취득한 상기 실효 방사 휘도값에 포함되는, 상기 피사체의 표면에서의 정반사광 성분의 적어도 일부를 제거하는 것을 특징으로 하는 화상 처리 방법.
2. 제1항에 있어서, 상기 화상 생성 스텝에 있어서, 상기 화소 유닛 각각에 포함되는 상기 복수의 화소의 실효 방사 휘도값 중 최솟값을, 상기 단위 영역의 각각의 휘도값으로서 결정하는 것을 특징으로 하는 화상 처리 방법.
3. 제1항에 있어서, 상기 화상 생성 스텝에 있어서,
   상기 화소 유닛 각각에 포함되는 상기 복수의 화소의 실효 방사 휘도값에 기초하여, 당해 화소 유닛에 있어서 취할 수 있는 실효 방사 휘도값의 최솟값을 추정하고,
   추정된 상기 최솟값으로부터, 상기 단위 영역의 각각의 휘도값을 결정하는 것을 특징으로 하는 화상 처리 방법.
4. 제3항에 있어서, 상기 화상 생성 스텝에 있어서, 상기 화소 유닛 각각에 포함되는 상기 복수의 화소의 상기 실효 방사 휘도값에 대하여, 상기 편광 소자의 주축 방향의 각도를 변수로 하는 삼각함수 또는 다항식을 적용함으로써, 상기 최솟값을 추정하는 것을 특징으로 하는 화상 처리 방법.
5. 제1항에 있어서, 상기 화상 생성 스텝에 있어서,
   상기 화소 유닛 각각에 포함되는 상기 복수의 화소의 실효 방사 휘도값에 기초하여, 당해 화소 유닛에 있어서의 실효 방사 휘도값의 최댓값 및 최솟값을 특정하고,
   특정된 상기 최댓값 및 상기 최솟값과, 당해 화소 유닛에 대응하는 상기 피사체의 표면에 있어서의, 프레넬의 법칙에 기초하여 산출되는 S 편광 성분의 반사율에 대한 P 편광 성분의 반사율의 비율을 사용하여, 상기 화소 유닛 각각에 있어서의 확산 반사광 성분을 산출하여, 상기 확산 반사광 성분을 상기 단위 영역의 각각의 휘도값으로서 결정하는 것을 특징으로 하는 화상 처리 방법.
6. 제1항에 있어서, 상기 화상 생성 스텝에 있어서,
   상기 화소 유닛 각각에 포함되는 상기 복수의 화소의 실효 방사 휘도값에 기초하여, 당해 화소 유닛에 있어서의 실효 방사 휘도값의 최댓값 및 최솟값을 특정하고,
   특정된 상기 최댓값으로부터 상기 최솟값을 감함으로써 제1 정반사광 성분을 산출하고,
   산출된 상기 제1 정반사광 성분과, 당해 화소 유닛에 대응하는 상기 피사체의 표면에 있어서의, 프레넬의 법칙에 기초하여 산출되는 S 편광 성분의 반사율에 대한 P 편광 성분의 반사율의 비율을 사용하여 제2 정반사광 성분을 산출하고,
   특정된 상기 최댓값으로부터 상기 제1 및 제2 정반사광 성분을 감한 값을, 상기 단위 영역의 각각의 휘도값으로서 결정하는 것을 특징으로 하는 화상 처리 방법.
7. 주축 방향이 서로 상이한 복수의 편광 소자와 대응지어진 복수의 화소를 하나의 화소 유닛으로 하고, 상기 화소 유닛이 이차원적으로 배열된 촬상 소자에 의해, 당해 촬상 소자에 있어서의, 피사체의 실효적인 방사 휘도값인 실효 방사 휘도값을 당해 피사체로부터 취득하는 휘도값 정보 취득 스텝과,
   상기 피사체로부터 취득한 실효 방사 휘도값을 사용하여 상기 피사체의 상을 포함하는 촬상 화상을 생성하는 화상 생성 스텝을 포함하고,
   상기 화상 생성 스텝에 있어서, 상기 피사체의 적어도 일부에 대응하는 상기 화소 유닛마다, 당해 화소 유닛에 포함되는 복수의 화소의 실효 방사 휘도값으로부터, 상기 피사체의 표면에서의 정반사광 성분의 적어도 일부를 제거하고, 얻어진 휘도값을 갖는 단위 영역의 집합으로서의 상기 촬상 화상을 생성하고,
   상기 화상 생성 스텝에 있어서, 상기 화소 유닛 각각에 포함되는 상기 복수의 화소의 실효 방사 휘도값 중 최솟값을, 상기 단위 영역의 각각의 휘도값으로서 결정하는 것을 특징으로 하는 화상 처리 방법.
8. 주축 방향이 서로 상이한 복수의 편광 소자와 대응지어진 복수의 화소를 하나의 화소 유닛으로 하고, 상기 화소 유닛이 이차원적으로 배열된 촬상 소자에 의해, 당해 촬상 소자에 있어서의, 피사체의 실효적인 방사 휘도값인 실효 방사 휘도값을 당해 피사체로부터 취득하는 휘도값 정보 취득 스텝과,
   상기 피사체로부터 취득한 실효 방사 휘도값을 사용하여 상기 피사체의 상을 포함하는 촬상 화상을 생성하는 화상 생성 스텝을 포함하고,
   상기 화상 생성 스텝에 있어서, 상기 피사체의 적어도 일부에 대응하는 상기 화소 유닛마다, 당해 화소 유닛에 포함되는 복수의 화소의 실효 방사 휘도값으로부터, 상기 피사체의 표면에서의 정반사광 성분의 적어도 일부를 제거하고, 얻어진 휘도값을 갖는 단위 영역의 집합으로서의 상기 촬상 화상을 생성하고,
   상기 화상 생성 스텝에 있어서,
   상기 화소 유닛 각각에 포함되는 상기 복수의 화소의 실효 방사 휘도값에 기초하여, 당해 화소 유닛에 있어서 취할 수 있는 실효 방사 휘도값의 최솟값을 추정하고,
   추정된 상기 최솟값을, 상기 단위 영역의 각각의 휘도값으로서 결정하는 것을 특징으로 하는 화상 처리 방법.
9. 주축 방향이 서로 상이한 복수의 편광 소자와 대응지어진 복수의 화소를 하나의 화소 유닛으로 하고, 해당 화소 유닛이 이차원적으로 배열된 촬상 소자에 의해 촬영된 피사체의 화상을 취득하는 스텝과,
   상기 촬상 소자에 있어서의 상기 화소 유닛의 이차원적 위치와 대응하는 상기 피사체 상의 위치에 의해 결정되는 상기 피사체에 대한 입사각에 의존한 S 편광의 휘도 분포를, 상기 촬상 소자의 출력을 사용하여 산출하는 스텝
   을 갖고,
   상기 S 편광의 휘도 분포를 산출할 때, 상기 화소 유닛에 포함되는 화소의 휘도값의 최댓값으로부터 최솟값을 감산함으로써, 당해 화소 유닛에 있어서의 S 편광의 휘도값을 산출하는 것을 특징으로 하는 화상 처리 방법.
10. 제9항에 있어서, 상기 촬상 소자의 출력으로부터 구한 상기 화상의 휘도 분포로부터, 상기 S 편광의 휘도 분포를 감산하는 스텝을 더 포함하는 것을 특징으로 하는 화상 처리 방법.
11. 제9항 또는 제10항에 있어서, 상기 S 편광의 휘도 분포로부터, 프레넬의 법칙에 의해, 상기 피사체에 대한 입사각에 의존한 P 편광의 휘도 분포를 산출하는 스텝을 더 포함하는 것을 특징으로 하는 화상 처리 방법.
12. 제11항에 있어서, 상기 화상의 휘도 분포로부터, 상기 S 편광의 휘도 분포 및 상기 P 편광의 휘도 분포를 감산하는 스텝을 더 포함하는 것을 특징으로 하는 화상 처리 방법.
13. 주축 방향이 서로 상이한 복수의 편광 소자와 대응지어진 복수의 화소를 하나의 화소 유닛으로 하고, 상기 화소 유닛이 이차원적으로 배열된 촬상 소자를 구비하는 화상 처리 장치이며,
    상기 촬상 소자에 의해 당해 촬상 소자에 있어서의 피사체의 실효적인 방사 휘도값인 실효 방사 휘도값을 당해 피사체로부터 취득하는 휘도값 정보 취득부와,
    상기 피사체로부터 취득한 실효 방사 휘도값을 사용하여 상기 피사체의 상을 포함하는 촬상 화상을 생성하는 화상 생성부를 포함하고,
    상기 화상 생성부는, 상기 피사체의 적어도 일부에 대응하는 상기 화소 유닛마다, 당해 화소 유닛에 포함되는 복수의 화소의 실효 방사 휘도값으로부터, 상기 피사체의 표면에서의 정반사광 성분의 적어도 일부를 제거하고, 얻어진 휘도값을 갖는 단위 영역의 집합으로서의 상기 촬상 화상을 생성하고,
    상기 휘도값 정보 취득부가 취득한 상기 실효 방사 휘도값에 포함되는, 상기 피사체의 표면에서의 정반사광 성분이 소정의 강도 이하인지 여부를 판정하는 투영 판정부와,
    상기 피사체의 표면에서의 정반사광 성분이 소정의 강도 이하라고 상기 투영 판정부가 판정한 경우에, 상기 피사체에 대하여 편광이 조사된 상태에서 상기 실효 방사 휘도값을 취득하는 휘도값 정보 재취득부를 더 포함하고,
    상기 휘도값 정보 재취득부가 피사체의 실효 방사 휘도값을 취득한 경우에는, 상기 화상 생성부는, 상기 휘도값 정보 재취득부가 취득한 상기 실효 방사 휘도값에 포함되는, 상기 피사체의 표면에서의 정반사광 성분의 적어도 일부를 제거하는 것을 특징으로 하는 화상 처리 장치.
14. 제13항에 있어서, 상기 화상 생성부는, 상기 화소 유닛 각각에 포함되는 상기 복수의 화소의 실효 방사 휘도값 중 최솟값을, 상기 단위 영역의 각각의 휘도값으로서 결정하는 것을 특징으로 하는 화상 처리 장치.
15. 제13항에 있어서, 상기 화상 생성부는,
    상기 화소 유닛 각각에 포함되는 상기 복수의 화소의 실효 방사 휘도값에 기초하여, 당해 화소 유닛에 있어서 취할 수 있는 실효 방사 휘도값의 최솟값을 추정하고,
    추정된 상기 최솟값으로부터 상기 단위 영역의 각각의 휘도값을 결정하는 것을 특징으로 하는 화상 처리 장치.
16. 제15항에 있어서, 상기 화상 생성부는, 상기 화소 유닛 각각에 포함되는 상기 복수의 화소의 실효 방사 휘도값에 대하여, 상기 편광 소자의 주축 방향의 각도를 변수로 하는 삼각함수 또는 다항식을 적용함으로써, 상기 최솟값을 추정하는 것을 특징으로 하는 화상 처리 장치.
17. 제13항에 있어서, 상기 화상 생성부는,
    상기 화소 유닛 각각에 포함되는 상기 복수의 화소의 실효 방사 휘도값에 기초하여, 당해 화소 유닛에 있어서의 실효 방사 휘도값의 최댓값 및 최솟값을 특정하고,
    특정된 상기 최댓값 및 상기 최솟값과, 당해 화소 유닛에 대응하는 상기 피사체의 표면에 있어서의, 프레넬의 법칙에 기초하여 산출되는 S 편광 성분의 반사율에 대한 P 편광 성분의 반사율의 비율을 사용하여, 상기 화소 유닛 각각에 있어서의 확산 반사광 성분을 산출하여, 상기 확산 반사광 성분을 상기 단위 영역의 각각의 휘도값으로서 결정하는 것을 특징으로 하는 화상 처리 장치.
18. 제13항에 있어서, 상기 화상 생성부는,
    상기 화소 유닛 각각에 포함되는 상기 복수의 화소의 실효 방사 휘도값에 기초하여, 당해 화소 유닛에 있어서의 실효 방사 휘도값의 최댓값 및 최솟값을 특정하고,
    특정된 상기 최댓값으로부터 상기 최솟값을 감함으로써 제1 정반사광 성분을 산출하고,
    산출된 상기 제1 정반사광 성분과, 당해 화소 유닛에 대응하는 상기 피사체의 표면에 있어서의, 프레넬의 법칙의 식에 기초하여 산출되는 S 편광 성분의 반사율에 대한 P 편광 성분의 반사율의 비율을 사용하여 제2 정반사광 성분을 산출하고,
    특정된 상기 최댓값으로부터 상기 제1 및 제2 정반사광 성분을 감한 값을, 상기 단위 영역의 각각의 휘도값으로서 결정하는 것을 특징으로 하는 화상 처리 장치.
19. 주축 방향이 서로 상이한 복수의 편광 소자와 대응지어진 복수의 화소를 하나의 화소 유닛으로 하고, 상기 화소 유닛이 이차원적으로 배열된 촬상 소자를 구비하는 화상 처리 장치이며,
    상기 촬상 소자에 의해 당해 촬상 소자에 있어서의 피사체의 실효적인 방사 휘도값인 실효 방사 휘도값을 당해 피사체로부터 취득하는 휘도값 정보 취득부와,
    상기 피사체로부터 취득한 실효 방사 휘도값을 사용하여 상기 피사체의 상을 포함하는 촬상 화상을 생성하는 화상 생성부를 포함하고,
    상기 화상 생성부는, 상기 피사체의 적어도 일부에 대응하는 상기 화소 유닛마다, 당해 화소 유닛에 포함되는 복수의 화소의 실효 방사 휘도값으로부터, 상기 피사체의 표면에서의 정반사광 성분의 적어도 일부를 제거하고, 얻어진 휘도값을 갖는 단위 영역의 집합으로서의 상기 촬상 화상을 생성하고,
    상기 화상 생성부는, 상기 화소 유닛 각각에 포함되는 상기 복수의 화소의 실효 방사 휘도값 중 최솟값을, 상기 단위 영역의 각각의 휘도값으로서 결정하는 것을 특징으로 하는 화상 처리 장치.
20. 주축 방향이 서로 상이한 복수의 편광 소자와 대응지어진 복수의 화소를 하나의 화소 유닛으로 하고, 상기 화소 유닛이 이차원적으로 배열된 촬상 소자를 구비하는 화상 처리 장치이며,
    상기 촬상 소자에 의해 당해 촬상 소자에 있어서의 피사체의 실효적인 방사 휘도값인 실효 방사 휘도값을 당해 피사체로부터 취득하는 휘도값 정보 취득부와,
    상기 피사체로부터 취득한 실효 방사 휘도값을 사용하여 상기 피사체의 상을 포함하는 촬상 화상을 생성하는 화상 생성부를 포함하고,
    상기 화상 생성부는, 상기 피사체의 적어도 일부에 대응하는 상기 화소 유닛마다, 당해 화소 유닛에 포함되는 복수의 화소의 실효 방사 휘도값으로부터, 상기 피사체의 표면에서의 정반사광 성분의 적어도 일부를 제거하고, 얻어진 휘도값을 갖는 단위 영역의 집합으로서의 상기 촬상 화상을 생성하고,
    상기 화상 생성부는,
    상기 화소 유닛 각각에 포함되는 상기 복수의 화소의 실효 방사 휘도값에 기초하여, 당해 화소 유닛에 있어서 취할 수 있는 실효 방사 휘도값의 최솟값을 추정하고,
    추정된 상기 최솟값을, 상기 단위 영역의 각각의 휘도값으로서 결정하는 것을 특징으로 하는 화상 처리 장치.
21. 제13항 내지 제20항 중 어느 한 항에 있어서, 상기 피사체의 일부가 홍채이며, 상기 화상 생성부가 생성한 촬상 화상에 기초하여 본인 인증을 행하는 인증부를 더 구비하는 것을 특징으로 하는 화상 처리 장치.

Images