KR101268718B1

KR101268718B1 - 대조 장치

Info

Publication number: KR101268718B1
Application number: KR1020120044561A
Authority: KR
Inventors: 세이 나가시마; 히로시 나카지마
Original assignee: 아즈빌주식회사
Priority date: 2011-05-10
Filing date: 2012-04-27
Publication date: 2013-05-28
Also published as: CN102831441B; US20120288164A1; JP2012238057A; CN102831441A; US8750580B2; KR20120126011A; JP5773736B2

Abstract

본 발명은 고정밀도와 고속 처리를 양립시는 것을 목적으로 한다.
참조 화상과 등록 화상을 대조할 때, 참조 화상에 대해서, 그 원화상을 가장 해상도가 높은 고해상도 화상[계층 화상(I0)]으로 하고, 그 하층에 제1 저해상도 화상[계층 화상(I1)], 그 하층에 제2 저해상도 화상[계층 화상(I2)]을 더 작성한다. 등록 화상을 하나씩 판독하고, 등록 화상의 계층 화상(J0, J1, J2)에 특징 영역(S0, S1, S2)을 설정하며, 저해상도 화상으로부터 고해상도 화상을 항한 계층 탐색에 의해, 참조 화상에서의 대응 영역(S2', S1', S0')을 탐색한다. 이 때, 임의의 저해상도의 계층 화상, 예컨대 등록 화상의 계층 화상(J2)의 특징 영역(S2)과 참조 화상의 계층 화상(I2)의 대응 영역(S2')의 유사도에 기초하여, 판독한 등록 화상을 참조 화상과 대조하는 등록 화상 후보로서 선택할지의 여부를 판단하여, 참조 화상과 대조하는 등록 화상의 범위를 좁힌다.

Description

대조 장치{COMPARISON APPARATUS}

본 발명은, 참조 화상과 등록 화상을 대조하는 대조 장치에 관한 것이다.

최근, 컴퓨터실이나 중요 기계실에 대한 입퇴실 관리, 컴퓨터 단말이나 은행의 금융 단말에의 액세스 관리 등의 개인 인증을 필요로 하는 분야에서, 지금까지의 비밀번호나 ID 카드 대신에, 생체 정보에 기초하여 개인을 인증하는 시스템이 개발되고 있다.

생체 정보를 이용한 개인 인증 시스템은, 기억이나 소지를 필요로 하지 않고, 도난의 위험성이 낮기 때문에 주목받고 있다. 생체 정보에 의한 개인 인증으로는, 지문·홍채·얼굴·장문(掌紋)·필적 등이 이용되지만, 그중에서도 얼굴을 이용한 개인 인증은, 편리성과 수용성이 높기 때문에 주목받고 있다.

예컨대 빌딩 등의 입퇴실 관리에 이용되는 개인 인증 시스템에서는, 입실하고자 하는 사람의 얼굴을 촬상하여 참조 화상으로 하고, 이 참조 화상과 미리 등록되어 있는 사람의 얼굴 화상(등록 화상)을 대조하여, 참조 화상과 등록 화상이 일치한 경우에, 그 사람의 입실을 허가하도록 한다.

이 참조 화상과 등록 화상의 대조 처리에서, 본 출원인은, 참조 화상 및 등록 화상의 각각에 대해서, 그 원화상을 가장 해상도가 높은 고해상도 화상으로 하고, 이 고해상도 화상을 최상층으로 하는, 해상도가 상이한 복수의 계층 화상을 작성하며, 이 계층 화상의 저해상도 화상으로부터 고해상도 화상을 향해 위상 한정 상관법(POC: Phase-Only Correlation)을 이용한 대응점을 탐색하고(예컨대 특허문헌 1, 2 참조), 탐색 후의 대응 영역의 위상 한정 상관값에 기초하여, 참조 화상과 등록 화상을 대조하도록 하고 있다. 이하, 이 계층 화상을 이용한 대응점 탐색에 의한 대조 방식을 계층 POC라고 부른다.

이 계층 POC에서는, 예컨대 참조 화상에 대해서, 그 원화상(128×128 화소의 화상)을 고해상도 화상으로 하고, 이 고해상도 화상의 하층에 64×64 화소의 화상(제1 저해상도 화상)을 작성하며, 이 제1 저해상도 화상의 하층에 32×32 화소의 화상(제2 저해상도 화상)을 작성한다. 또한, 등록 화상에 대해서, 참조 화상과 마찬가지로, 그 원화상(128×128 화소의 화상)을 고해상도 화상으로 하고, 이 고해상도 화상의 하층에 64×64 화소의 화상(제1 저해상도 화상)을 작성하며, 이 제1 저해상도 화상의 하층에 32×32 화소의 화상(제2 저해상도 화상)을 작성한다. 이 원화상을 포함하는 계층 화상에서, 고해상도 화상의 계층을 제0층, 제1 저해상도 화상의 계층을 제1층, 제2 저해상도 화상의 계층을 제2층으로 한다.

그리고, 등록 화상의 원화상에 대하여 x축 방향으로 m개, y축 방향으로 n개의 기준점을 정하고, 이 등록 화상의 원화상에 정한 기준점마다, 최하층(제2층)의 계층 화상으로부터, 탐색 윈도우(국소 영역)를 정하여, 그 국소 영역에 대응하는 참조 화상에서의 대응 영역의 탐색을 시작한다. 이 대응 영역의 탐색은 POC 대조에 의해 행하고, 그 계층 화상에 대해서 그 대응 영역의 탐색이 종료하면, 그 계층 화상에 대한 탐색 결과를 다음 계층(제1층)에서의 탐색에 반영시키는 것으로 하여, 순차 해상도가 높은 계층 화상에 대해서 대응 영역의 탐색을 행하고, 최상층(제0층)의 계층 화상에 이를 때까지 순서대로 대응 영역의 탐색을 반복한다.

그리고, 최상층(제0층)의 계층 화상에서, 대응 영역이 발견되면, 그 대응 영역의 위상 한정 상관값을 구한다. 이하, 마찬가지로 하여, 등록 화상의 국소 영역마다, 참조 화상의 대응 영역을 저해상도 화상으로부터 고해상도 화상을 향해 탐색하고, 탐색 후의 대응 영역의 위상 한정 상관값을 구하며, 이 구한 위상 한정 상관값에 기초하여 참조 화상과 등록 화상을 대조한다.

또한 POC는, 기초가 되는 화상의 데이터와 이것과 대조해야 하는 화상의 데이터를 푸리에 변환으로 수학적으로 처리하여, 진폭(농담(濃淡) 데이터)과 위상(이미지의 윤곽 데이터)으로 분해하고, 이 중 위상 정보만을 이용하여, 양 화상의 상관을 구하는 알고리즘이며, 외란에 강하고, 고정밀도인 연산 결과를 얻을 수 있다고 하는 특색이 있다.

POC에 대해서는, 전술한 특허문헌 1, 2 외, 특허문헌 3 등에도 그 세부 사항이 설명되어 있다. POC에서는, 한쪽 화상에 2차원 이산적 푸리에 변환을 실시하여 푸리에 화상을 작성한다. 그리고, 이 푸리에 화상과 같은 처리를 실시하여 작성되어 있는 다른 쪽 화상의 푸리에 화상을 합성하고, 이 합성 푸리에 화상에 대하여 진폭을 1로 하는 처리를 행한 후, 2차원 이산적 푸리에 변환을 실시하여 상관 데이터로 한다. 이 상관 데이터(POC 함수)는, 주파수 공간에서의 진폭이 1이 되고, 위상만으로 되어 있지만, 기본적으로는 한쪽 화상과 다른 쪽 화상을 합성한 데이터로 생각할 수 있어, 한쪽 화상과 다른 쪽 화상의 상관을 나타내는 것이다.

특허문헌 1 일본 특허 공개 제2008-209275호 공보 특허문헌 2 일본 특허 공개 제2008-123141호 공보 특허문헌 3 일본 특허 공개 평10-63847호 공보

그러나, 전술한 계층 POC에 의한 대조에서는, 참조 화상과 등록 화상의 대조를 고정밀도로 행할 수 있지만, 참조 화상을 복수의 등록 화상과 순차 순환 대기 방식으로 대조하는 1:N 대조에 적용하면, 처리량이 많아져, 대조 속도가 저하한다고 하는 문제가 있다.

본 발명은, 이러한 과제를 해결하기 위해 이루어진 것으로, 그 목적으로 하는 것은, 고정밀도와 고속 처리를 양립시키는 것이 가능한 대조 장치를 제공하는 것에 있다.

이러한 목적을 달성하기 위해 본 발명은, 참조 화상과 등록 화상을 대조하는 대조 장치에서, 참조 화상에 대해서, 그 원화상을 가장 해상도가 높은 고해상도 화상으로 하고, 이 고해상도 화상을 최상층으로 하는, 해상도가 상이한 복수의 계층 화상을 작성하는 계층 화상 작성 수단과, 참조 화상과 동일 해상도의 복수의 등록 화상을 기억하는 등록 화상 기억 수단과, 등록 화상 기억 수단에 기억되어 있는 등록 화상을 하나씩 판독하는 등록 화상 판독 수단과, 계층 화상 작성 수단에 의해 작성된 참조 화상의 계층 화상 및 등록 화상 판독 수단에 의해 판독된 등록 화상의 참조 화상의 계층 화상에 대응하는 계층 화상 중 어느 한쪽에 대하여 미리 정해진 특징 영역을 설정하는 특징 영역 설정 수단과, 특징 영역 설정 수단에 의해 특징 영역이 설정된 한쪽의 계층 화상의 그 특징 영역에 대응하는 대응 영역을 다른 쪽의 계층 화상으로부터 탐색하는 대응 영역 탐색 수단과, 특징 영역 설정 수단에 의해 한쪽의 계층 화상에 설정된 특징 영역과 대응 영역 탐색 수단에 의해 다른 쪽의 계층 화상으로부터 탐색된 대응 영역의 유사도에 기초하여, 등록 화상 판독 수단에 의해 판독된 등록 화상을 참조 화상과 대조하는 등록 화상 후보로서 선택하는 제1 등록 화상 후보 선택 수단을 구비하는 것을 특징으로 한다.

본 발명에서는, 참조 화상과 등록 화상을 대조할 때, 참조 화상에 대해서, 그 원화상을 가장 해상도가 높은 고해상도 화상으로 하고, 이 고해상도 화상을 최상층으로 하는, 해상도가 상이한 복수의 계층 화상을 작성한다. 그리고, 등록 화상 기억 수단으로부터 등록 화상을 하나씩 판독하고, 그 판독한 등록 화상을 참조 화상과 대조하는 등록 화상 후보로 할지의 여부를 판단한다. 즉, 참조 화상과 등록 화상을 대조하기 전에, 실제로 대조하는 등록 화상의 범위를 좁힌다. 이것에 의해, 1:N 대조에서의 대조 횟수를 줄여, 고정밀도와 고속 처리를 양립시킨다.

본 발명에서, 등록 화상 기억 수단에는, 참조 화상과 동일 해상도의 복수의 등록 화상이 기억되어 있다. 이 경우, 등록 화상은, 그 등록 화상의 원화상만을 기억시키도록 하여도 좋고, 그 등록 화상의 원화상을 포함하는 계층 화상을 기억시키도록 하여도 좋다. 등록 화상의 계층 화상을 기억시키는 경우, 참조 화상의 계층 화상에 대응시켜, 그 원화상을 가장 해상도가 높은 고해상도 화상으로 하고, 이 고해상도 화상을 최상층으로 하는, 해상도가 상이한 복수의 계층 화상을 기억시키도록 한다.

본 발명에서, 등록 화상의 계층 화상을 기억시키도록 한 경우, 등록 화상으로서 그 원화상을 포함하는 계층 화상이 판독된다. 이 경우, 작성된 참조 화상의 계층 화상 또는 판독된 등록 화상의 계층 화상에 대하여 특징 영역이 설정된다. 예컨대 특징 영역으로서, 눈이나 코 등 특징적인 부분을 포함하는 존이 설정된다. 그리고, 특징 영역이 설정된 한쪽의 계층 화상의 그 특징 영역에 대응하는 대응 영역이 다른 쪽의 계층 화상으로부터 탐색되고, 한쪽의 계층 화상에 설정된 특징 영역과 다른 쪽의 계층 화상으로부터 탐색된 대응 영역의 유사도에 기초하여, 등록 화상 후보가 선택된다.

본 발명에서, 등록 화상의 원화상만을 기억시키는 것으로 한 경우, 등록 화상으로서 그 원화상이 판독되고, 이 원화상을 가장 해상도가 높은 고해상도 화상으로 하며, 이 고해상도 화상을 최상층으로 하는, 해상도가 상이한 복수의 계층 화상이 작성된다. 이 등록 화상의 계층 화상은 참조 화상의 계층 화상에 대응하여 작성된다. 그리고, 참조 화상의 계층 화상 또는 등록 화상의 계층 화상에 대하여 특징 영역이 설정되고, 특징 영역이 설정된 한쪽의 계층 화상의 그 특징 영역에 대응하는 대응 영역이 다른 쪽의 계층 화상으로부터 탐색되며, 한쪽의 계층 화상에 설정된 특징 영역과 다른 쪽의 계층 화상으로부터 탐색된 대응 영역의 유사도에 기초하여, 등록 화상 후보가 선택된다.

본 발명에 있어서, 대응 영역의 탐색은, 예컨대 저해상도 화상으로부터 고해상도 화상을 향한 계층 탐색에 의해 행하도록 한다. 이 경우, 특징 영역과 대응 영역의 유사도의 산출을 임의의 저해상도의 계층 화상으로부터 행하고, 산출된 유사도가 정해진 기준값을 만족시키는 경우에, 판독된 등록 화상을 등록 화상 후보로서 선택한다. 또한, 이 경우, 계층 화상의 계층마다, 기준값으로서, 그 계층의 해상도와 특징 영역의 위치에 따라 정해진 기준값을 이용하도록 한다.

본 발명에서, 참조 화상으로부터 정해진 계측 정보를 취득하는 계측 정보 취득 수단과, 계측 정보 취득 수단에 의해 취득된 계측 정보에 기초하여 등록 화상 기억 수단에 기억되어 있는 복수의 등록 화상 중으로부터 참조 화상과 대조하는 등록 화상 후보를 선택하는 제2 등록 화상 후보 선택 수단을 설치하고, 제1 등록 화상 후보 선택 수단은, 제2 등록 화상 후보 선택 수단에 의해 선택된 등록 화상 후보를 조합하여 등록 화상 후보를 선택하는 구성으로 하여도 좋다.

예컨대 참조 화상으로부터 정해진 계측 정보로서, 눈동자간 거리, 얼굴 사이즈, 눈동자 사이즈, 얼굴 곡률 등을 취득하고, 이 취득한 계측 정보에 기초하여 등록 화상의 범위를 좁힌다. 그리고, 이 계측 정보에 기초하여 범위를 좁힌 등록 화상과 특징 영역과 대응 영역의 유사도에 기초하여 범위를 좁힌 등록 화상을 조합하여, 최종적인 등록 화상 후보를 얻도록 한다.

이 경우, 계측 정보에 기초하여 범위를 좁힌 등록 화상을, 특징 영역과 대응 영역의 유사도에 기초하여 더욱 범위를 좁혀 최종적인 등록 화상 후보를 얻도록 하거나, 계측 정보에 기초하여 범위를 좁힌 등록 화상과, 특징 영역과 대응 영역의 유사도에 기초하여 범위를 좁힌 등록 화상의 AND를 취해 최종적인 등록 화상 후보를 얻도록 하거나, 계측 정보에 기초하여 범위를 좁힌 등록 화상과, 특징 영역과 대응 영역의 유사도에 기초하여 범위를 좁힌 등록 화상의 OR을 취해 최종적인 등록 화상 후보를 얻도록 하는 등, 여러 가지 방식이 생각된다.

또한, 본 발명에서, 선택된 등록 화상 후보의 수가 0인 경우, 참조 화상과 등록 화상의 대조 결과를 불일치로 판단하도록 하여도 좋다. 예컨대 기억되어 있는 등록 화상을 모두 판독했음에도 불구하고, 선택된 등록 화상 후보의 수가 0인 경우, 참조 화상과 등록 화상의 대조 결과를 불일치로 한다. 이와 같이 하면, 참조 화상과 등록 화상을 대조하기 전에, 즉 참조 화상과 대조하는 등록 화상의 범위를 좁히는 분류 처리의 단계에서, 대조 결과가 얻어지는 것으로 한다.

본 발명에 의하면, 등록 화상을 하나씩 판독하고, 참조 화상의 계층 화상 및 등록 화상의 계층 화상 중 어느 한쪽에 대하여 특징 영역을 설정하며, 이 특징 영역이 설정된 한쪽의 계층 화상의 그 특징 영역에 대응하는 대응 영역을 다른 쪽의 계층 화상으로부터 탐색하도록 하고, 한쪽의 계층 화상에 설정된 특징 영역과 다른 쪽의 계층 화상으로부터 탐색된 대응 영역의 유사도에 기초하여, 판독된 등록 화상을 참조 화상과 대조하는 등록 화상 후보로서 선택하도록 했기 때문에, 참조 화상과 등록 화상을 대조하기 전에, 참조 화상과 대조하는 등록 화상의 범위를 좁히도록 하여, 1:N 대조에서의 대조 횟수를 줄여, 고정밀도와 고속 처리를 양립시키는 것이 가능해진다.

도 1은 본 발명의 일 실시형태를 도시하는 대조 장치의 블록 구성도.
도 2는 이 대조 장치에서의 대상물의 등록 처리를 도시하는 흐름도.
도 3은 이 대조 장치에서의 대상물의 대조 처리를 도시하는 흐름도.
도 4는 이 대조 장치에서의 대상물의 대조 처리에서의 등록 화상 후보의 선택 처리의 제1 예(등록 화상 후보의 선택 처리 1)를 도시하는 흐름도.
도 5는 등록 화상 후보의 선택 처리로 작성된 참조 화상의 계층 화상 및 판독된 등록 화상의 계층 화상을 특징 영역 및 대응 영역과 합하여 예시하는 도면.
도 6은 특징 영역을 규정하는 점으로서 미리 정해진 기준점 및 이 기준점을 중심으로 하여 등록 화상의 최상층의 계층 화상[고해상도 화상(원화상)]에 대하여 설정된 특징 영역을 도시하는 도면.
도 7은 등록 화상 후보의 선택 처리의 제2 예(등록 화상 후보의 선택 처리 2)를 도시하는 흐름도.
도 8은 등록 화상 후보의 선택 처리의 제3 예(등록 화상 후보의 선택 처리 3)를 도시하는 흐름도.
도 9는 등록 화상 후보의 선택 처리 1, 2, 3과 조합하여 이용되는 등록 화상 처리 4의 흐름도.
도 10은 등록 화상 후보의 선택 처리 1, 2, 3과 조합하여 이용되는 등록 화상 처리 5의 흐름도.
도 11은 등록 화상 후보의 선택 처리 1의 변형예를 도시하는 흐름도.
도 12는 등록 화상 후보의 선택 처리 2의 변형예를 도시하는 흐름도.
도 13은 등록 화상 후보의 선택 처리 3의 변형예를 도시하는 흐름도.
도 14는 등록 화상 후보의 선택 처리 5의 변형예를 도시하는 흐름도.

이하, 본 발명의 실시형태를 도면에 기초하여 상세히 설명한다.

도 1은 본 발명의 일 실시형태를 도시하는 대조 장치의 블록 구성도이다. 도 1에서, 10은 제1 CCD 카메라, 11은 제2 CCD 카메라, 12는 액정 표시 장치(LCD), 20은 처리부이며, 처리부(20)는, CPU를 갖는 제어부(20-1)와, ROM(20-2)과, RAM(20-3)과, 하드디스크(HD)(20-4)와, 프레임 메모리(FM)(20-5)와, 외부 접속부(I/F)(20-6)와, 푸리에 변환부(FFT)(20-7)를 구비하고 있고, ROM(20-2)에는 등록 프로그램과 대조 프로그램이 저장되어 있다. 또한 CCD 카메라(10, 11)는, 정해진 거리(L)를 이격하여 설치되어 있다. 즉, CCD 카메라(10, 11)는, 그 렌즈(10-1, 11-1)간의 거리를 L로 하고, 횡방향으로 나란히 배치되어 있다. 도면에서는 이해하기 쉽도록, 대조 장치는 위쪽 방향에서 본 도면으로 하고, 대상물(인간의 얼굴)은 횡방향에서 본 도면으로 하고 있다.

〔대상물의 등록〕

이 대조 장치에서, 대상물을 인간의 얼굴(M1)로 한 경우, 이 대상물(등록 대상물)(M1)의 등록은 다음과 같이 하여 행해진다. 운용하기 전에, 이용자는 CCD 카메라(10, 11)에 얼굴(M1)을 향하고, 등록 스타트 스위치(도시 생략)를 누른다.

〔화상 캡쳐〕

제어부(20-1)는, 등록 스타트 스위치가 눌리면(도 2: 단계 S101의 YES), 프레임 메모리(20-5)를 통해, CCD 카메라(10)로부터의 등록 대상물(M1)을 포착한 화상을 좌측 카메라의 화상으로서 취입하고, CCD 카메라(11)로부터의 등록 대상물(M1)을 포착한 화상을 우측 카메라의 화상으로서 취입한다(단계 S102).

〔얼굴 영역의 검출〕

그리고, 제어부(20-1)는, 취입한 좌측 카메라의 화상 및 우측 카메라의 화상으로부터 화상 처리에 의해 얼굴 영역을 검출한다(단계 S103). 또한 이 때, 얼굴 영역의 휘도가 일정 범위가 아니면, 게인 컨트롤하여, 좌측 카메라의 화상 및 우측 카메라의 화상을 재차 취입한다. 또한, 이 예에서는, 좌우측의 얼굴 영역을 검출하도록 했지만, 좌 우 중 어느 한쪽 얼굴 영역을 검출하도록 하여도 좋다.

〔눈동자 영역의 검출 및 얼굴 화상의 정규화〕

그리고, 제어부(20-1)는, 검출한 좌우측 얼굴 영역의 화상(좌우측의 얼굴 화상)으로부터 화상 처리에 의해 눈동자 영역을 검출하고(단계 S104), 3D 계측에 의해 카메라로부터 등록 대상물(M1)까지의 거리(R)를 산출하며(단계 S105), 이 산출한 거리(R)에 기초하여 우측 얼굴 화상의 사이즈를 정규화한다(단계 S106).

〔계층 화상의 작성〕

그리고, 제어부(20-1)는, 단계 S106에서 정규화한 얼굴 화상을 등록 화상의 원화상으로 하고, 그 원화상(128×128 화소의 화상)을 최상층(제0층)의 고해상도 화상으로 하며, 이 고해상도 화상의 하층(제1층)에 64×64 화소의 화상(제1 저해상도 화상)을 작성하고, 이 제1 저해상도 화상의 하층(제2층)에 32×32 화소의 화상(제2 저해상도 화상)을 작성한다(단계 S107).

그리고, 제어부(20-1)는, 이 원화상을 포함하는 계층 화상(고해상도 화상, 제1 저해상도 화상, 제2 저해상도 화상)을 이용자의 등록 화상으로서 HD(20-4)에 보존한다(단계 S108). 이하, 마찬가지로 하여, 모든 이용자에 대해서, 그 이용자의 등록 화상(원화상을 포함하는 계층 화상)을 HD(20-4)에 보존해 간다. 이 실시형태에서는, 이용자의 수를 수천명 규모로 하고, 이들 이용자의 등록 화상을 HD(20-4)에 보존시킨다.

또한, 이 예에서는, 우측 얼굴 화상을 등록하도록 했지만, 좌측 얼굴 화상을 등록하도록 하여도 좋고, 좌우측의 얼굴 화상을 등록하도록 하여도 좋다. 이 실시형태에서는, 설명상, 우측 얼굴 화상을 등록하는 것으로 하였다.

〔대상물의 대조〕

이 대조 장치에서, 대조 대상물을 인간의 얼굴(M1)로 한 경우, 이 얼굴(M1)의 대조는 다음과 같이 하여 행해진다. 도 3에 제어부(20-1)가 ROM(20-2)에 저장되어 있는 대조 프로그램에 따라 실행하는 대조 처리의 흐름도를 도시한다.

〔화상 캡쳐〕

이용자는, CCD 카메라(10, 11)의 앞에 선다. 그러면, 제어부(20-1)는, CCD 카메라(10, 11)의 촬상 영역에 얼굴(M1)이 들어간 것을 인식하고, 프레임 메모리(20-5)를 통해, CCD 카메라(10)로부터의 얼굴(M1)을 포착한 화상을 좌측 카메라의 화상으로서 취입하고, CCD 카메라(11)로부터의 얼굴(M1)을 포착한 화상을 우측 카메라의 화상으로서 취입한다(단계 S201).

〔얼굴 영역의 검출〕

그리고, 제어부(20-1)는, 취입한 좌측 카메라의 화상 및 우측 카메라의 화상으로부터 화상 처리에 의해 얼굴 영역을 검출한다(단계 S202). 또한 이 때, 얼굴 영역의 휘도가 일정 범위가 아니면, 게인 컨트롤하여, 좌측 카메라의 화상 및 우측 카메라의 화상을 재차 취입한다. 또한, 이 예에서는, 좌우측의 얼굴 영역을 검출하도록 했지만, 좌 우 중 어느 한쪽 얼굴 영역을 검출하도록 하여도 좋다.

〔눈동자 영역의 검출 및 얼굴 화상의 정규화〕

그리고, 제어부(20-1)는, 검출한 좌우측 얼굴 영역의 화상(좌우측 얼굴 화상)으로부터 화상 처리에 의해 눈동자 영역을 검출하고(단계 S203), 3D 계측에 의해 카메라로부터 대조 대상물(M1)까지의 거리(R)를 산출하며(단계 S204), 이 산출한 거리(R)에 기초하여 우측 얼굴 화상의 사이즈를 정규화한다(단계 S205).

〔등록 화상 후보의 선택: 등록 화상 후보의 선택 처리 1(실시형태 1)〕

그리고, 제어부(20-1)는, 단계 S205에서 정규화한 얼굴 화상을 참조 화상의 원화상으로 하고, 이 참조 화상과 대조하는 등록 화상 후보의 선택 처리를 시작한다(단계 S206). 도 4에 이 등록 화상 후보의 선택 처리의 제1예(등록 화상 후보의 선택 처리 1)의 흐름도를 실시형태 1로서 나타낸다.

이 등록 화상 후보의 선택 처리 1에서, 제어부(20-1)는, 단계 S205에서 얻은 참조 화상의 원화상(128×128 화소의 화상)을 최상층(제0층)의 고해상도 화상으로 하고, 이 고해상도 화상의 하층(제1층)에 64×64 화소의 화상(제1 저해상도 화상)을 작성하며, 이 제1 저해상도 화상의 하층(제2층)에 32×32 화소의 화상(제2 저해상도 화상)을 작성한다(단계 S301).

그리고, 제어부(20-1)는, HD(20-4)에 보존되어 있는 제1번째의 등록 화상(원화상을 포함하는 계층 화상)을 판독한다(단계 S302). 즉, 제1번째의 등록 화상에 대해서, 최상층(제0층)에 위치하는 고해상도 화상(128×128 화소의 화상)과, 이 고해상도 화상의 하층(제1층)에 위치하는 제1 저해상도 화상(64×64 화소의 화상)과, 이 제1 저해상도 화상의 하층(제2층)에 위치하는 제2 저해상도 화상(32×32 화소의 화상)을 판독한다.

도 5의 (a), (b)에 단계 S301에서 작성된 참조 화상의 계층 화상과 단계 S302에서 판독된 등록 화상의 계층 화상을 예시한다. 도 5의 (a)에서, J0은 등록 화상의 제0층에 위치하는 계층 화상[고해상도 화상(128×128 화소의 화상)], J1은 등록 화상의 제1층에 위치하는 계층 화상[제1 저해상도 화상(64×64 화소의 화상)], J2는 등록 화상의 제2층에 위치하는 계층 화상[제2 저해상도 화상(32×32 화소의 화상)]이며, 도 5의 (b)에서, I0는 참조 화상의 제0층에 위치하는 계층 화상[고해상도 화상(128×128 화소의 화상)], I1은 참조 화상의 제1층에 위치하는 계층 화상[제1 저해상도 화상(64×64 화소의 화상)], I2는 참조 화상의 제2층에 위치하는 계층 화상[제2 저해상도 화상(32×32 화소의 화상)]이다.

제어부(20-1)는, 이러한 참조 화상의 계층 화상(I0, I1, I2) 및 등록 화상의 계층 화상(J0, J1, J2)을 얻은 후, 미리 정해진 기준점을 읽어들여, 대응 영역 탐색을 위한 특징 영역을 등록 화상의 계층 화상(J0, J1, J2)에 설정한다(단계 S303).

이 예에서는, 등록 화상의 원화상에 대하여 설정되어 있는 도 6의 (a)에 도시하는 바와 같은 기준점 플레이트(PL)로부터, 특징 영역을 규정하는 점으로서 미리 정해진 기준점 P1을 읽어 들이고, 이 기준점 P1을 중심으로 하는 32×32 화소 영역을 특징 영역(S0)으로서 등록 화상의 계층 화상(J0)에 설정한다. 이 예에서, 기준점 P1은, 계층 화상(J0)에서, 특징 영역(S0)의 존 내에 특징적인 부분으로서 우측 눈이 들어가는 점으로서 정해져 있다.

마찬가지로 하여, 등록 화상의 계층 화상(J1)에 대하여, 기준점 P1에 대응하는 점을 중심으로 하는 32×32 화소 영역을 특징 영역(S1)으로서 설정하고, 등록 화상의 계층 화상(J2)에 대하여, 기준점 P1에 대응하는 점을 중심으로 하는 32×32 화소 영역을 특징 영역(S2)으로서 설정한다. 또한 계층 화상(J2)은 32×32 화소의 화상이기 때문에, 계층 화상(J2)의 전체 영역이 특징 영역(S2)으로서 설정된다.

그리고, 제어부(20-1)는, 저해상도 화상으로부터 고해상도 화상을 향한 계층 탐색에 의해, 등록 화상의 계층 화상의 특징 영역에 대응하는 참조 화상의 계층 화상의 대응 영역을 탐색하고(단계 S304), 등록 화상의 최상층(제0층)의 계층 화상(고해상도 화상)(J0)에서의 특징 영역(S0)에 대응하는 참조 화상의 최상층(제0층)의 계층 화상(고해상도 화상)(I0)에서의 대응 영역(S0')을 찾아낸다.

이 경우, 우선 최하층(제2층)의 계층 화상(J2, I2)에 대해서, 특징 영역(S2)에 대응하는 대응 영역(S2')의 탐색을 POC 대조에 의해 행한다. 이 최하층에서의 대응 영역의 탐색이 종료하면, 이 최하층에서의 탐색 결과를 다음 계층(제1층)에서의 탐색, 즉 제1층의 계층 화상(J1, I1)에서의 특징 영역(S1)에 대응하는 대응 영역(S1')의 POC 대조에 의한 탐색에 반영시킨다.

그리고, 이 제1층에서의 대응 영역의 탐색이 종료하면, 이 제1층에서의 탐색 결과를 다음 계층(제0층)에서의 탐색, 즉 제0층의 계층 화상(J0, I0)에서의 특징 영역(S0)에 대응하는 대응 영역(S0')의 POC 대조에 의한 탐색에 반영시킨다. 이와 같이 하여, 등록 화상의 최상층(제0층)의 계층 화상(고해상도 화상)(J0)에서의 특징 영역(S0)에 대응하는 참조 화상의 최상층(제0층)의 계층 화상(고해상도 화상)(I0)에서의 대응 영역(S0')을 찾아낸다.

그리고, 제어부(20-1)는, 이 찾아낸 등록 화상의 계층 화상(J0)(고해상도 화상)에서의 특징 영역(S0)과, 참조 화상의 계층 화상(I0)(고해상도 화상)에서의 대응 영역(S0')의 유사도를 산출하고(단계 S305), 이 산출한 유사도와 미리 정해져 있는 기준값(TH)을 비교한다(단계 S306).

산출한 유사도가 기준값(TH) 이상이면(단계 S306의 YES), 단계 S302에서 판독한 등록 화상을 등록 화상 후보로서 선택하고(단계 S307), 선택된 등록 화상 후보의 수(M)(초기값 0)를 M=M+1로 한다(단계 S308).

그리고, 선택된 등록 화상 후보의 수(M)가 100에 달하지 않는 것을 확인한 후(단계 S309의 NO), 또한 HD(20-4)에 다른 등록 화상이 보존되어 있는 것을 확인한 후(단계 S310의 YES), HD(20-4)로부터 다음 등록 화상을 판독하고(단계 S302), 단계 S303 이하의 처리를 반복한다.

이것에 의해, 잇달아 등록 화상의 계층 화상이 HD(20-4)로부터 판독되고, 그 등록 화상의 최상층의 계층 화상(J0)에서의 특징 영역(S0)과, 참조 화상의 최상층의 계층 화상(I0)에서의 대응 영역(S0')의 유사도가 산출되며, 그 산출된 유사도와 기준값(TH)이 비교되어, 산출된 유사도가 기준값(TH) 이상인 등록 화상이 등록 화상 후보로서 선택되어 간다.

그리고, 제어부(20-1)는, 이 처리의 반복 중, 선택된 등록 화상 후보의 수(M)가 100이 되면(단계 S309의 YES), 등록 화상 후보의 선택 처리를 종료하고, 도 3에 도시한 단계 S207로의 처리를 진행한다.

또한, 이 처리의 반복 중, 선택된 등록 화상 후보의 수(M)가 100에 달하기 전에, 다른 등록 화상이 없어지면(단계 S310의 NO), 제어부(20-1)는, 선택된 등록 화상 후보가 존재하는지의 여부를 체크한다(단계 S311). 여기서, 선택된 등록 화상 후보가 존재하면(단계 S311의 YES), 등록 화상 후보의 선택 처리를 종료하고, 도 3에 도시한 단계 S207로의 처리를 진행한다.

이것에 대하여, 선택된 등록 화상 후보가 존재하지 않으면(단계 S311의 NO),즉 HD(20-4)로부터 등록 화상을 모두 판독했음에도 불구하고, 선택된 등록 화상 후보의 수가 0이면, 참조 화상과 등록 화상의 대조 결과를 불일치로 하고(단계 S312), 처리를 종료한다. 이 경우의 대조 결과는 액정 표시 장치(12)에 표시된다.

〔참조 화상과 등록 화상 후보의 대조〕

제어부(20-1)는, 전술한 등록 화상 후보의 선택 처리 후(단계 S206), 이 선택 처리에 의해 선택된 제1번째의 등록 화상 후보를 HD(20-4)로부터 판독한다(단계 S207). 그리고, 단계 S205에서 얻어진 참조 화상과 단계 S207에서 판독한 등록 화상 후보를 계층 POC로 대조한다(단계 S208). 계층 POC에 대해서는 전술했기 때문에 여기서의 상세한 설명은 생략한다.

그리고, 이 계층 POC로 얻은 상관값을 임계값과 비교하여(단계 S209), 상관값이 임계값 이상이면(단계 S209의 YES), 참조 화상과 등록 화상의 대조 결과를 일치로 하고(단계 S210), 처리를 종료한다. 이 경우의 대조 결과는 액정 표시 장치(12)에 표시된다. 또한, 외부 접속부(20-6)를 통해, 언로킹(解錠) 지령 등으로서 출력된다.

상관값이 임계값 이상이 아니면(단계 S209의 NO), 제어부(20-1)는 다른 등록 화상 후보가 HD(20-4)에 보존되어 있는 것을 확인한 후(단계 S211의 YES), HD(20-4)로부터 다음 등록 화상 후보를 판독하고(단계 S207), 단계 S208 이하의 처리를 반복한다.

이것에 의해, 일치한다고 하는 대조 결과가 얻어질 때까지, 잇달아 HD(20-4)로부터 등록 화상 후보가 판독되고, 이 판독된 등록 화상 후보와 참조 화상의 계층 POC로의 대조가 반복된다.

이 계층 POC로의 대조의 반복 중, 다른 등록 화상 후보가 없어지면(단계 S211의 NO), 제어부(20-1)는, 참조 화상과 등록 화상의 대조 결과를 불일치로 하고(단계 S212), 처리를 종료한다. 이 경우의 대조 결과는 액정 표시 장치(12)에 표시된다.

이와 같이 하여, 본 실시형태에서는, 참조 화상과 등록 화상을 대조하기 전에, 참조 화상과 대조하는 등록 화상의 범위가 좁혀지는 것이 되어, 1:N 대조에서의 대조 횟수를 줄여, 고정밀도와 고속 처리가 양립되는 것이 된다.

또한, 이 예에서는, 등록 화상 후보와 참조 화상의 대조를 계층 POC로 행하도록 했지만, 반드시 계층 POC로 행하지 않아도 좋고, 원화상만을 이용하는 일반적인 대조 방법을 채용하도록 하여도 좋다.

또한, 이 예에서는, 2차원의 화상을 대조하는 것으로 했지만, 3차원의 화상을 대조하도록 하여도 좋다. 3차원의 화상을 대조하는 경우, ICP(Iterative Closest Point) 알고리즘에 의한 대조 방법을 적용하는 것이 생각된다.

〔실시형태 2: 등록 화상 후보의 선택 처리 2〕

도 7에 도 3에 도시한 흐름도에서의 단계 206에서의 등록 화상 후보의 선택 처리의 다른 예(등록 화상 후보의 선택 처리 2)를 실시형태 2로서 나타낸다.

이 등록 화상 후보의 선택 처리 2에서, 제어부(20-1)는, 단계 S205에서 얻은 참조 화상의 원화상(128×128 화소의 화상)을 최상층(제0층)의 고해상도 화상으로 하고, 이 고해상도 화상의 하층(제1층)에 64×64 화소의 화상(제1 저해상도 화상)을 작성하며, 이 제1 저해상도 화상의 하층(제2층)에 32×32 화소의 화상(제2 저해상도 화상)을 작성한다(단계 S401, 도 5의 (b) 참조).

그리고, 제어부(20-1)는, HD(20-4)에 보존되어 있는 제1번째의 등록 화상(원화상을 포함하는 계층 화상)을 판독한다(단계 S402). 즉, 제1번째의 등록 화상에 대해서, 최상층(제0층)에 위치하는 고해상도 화상(128×128 화소의 화상)과, 이 고해상도 화상의 하층(제1층)에 위치하는 제1 저해상도 화상(64×64 화소의 화상)과, 이 제1 저해상도 화상의 하층(제2층)에 위치하는 제2 저해상도 화상(32×32 화소의 화상)을 판독한다[도 5의 (a) 참조].

다음에, 제어부(20-1)는, 미리 정해진 기준점 P1[도 6의 (a) 참조]을 읽어들여, 대응 영역 탐색을 위한 특징 영역(S0, S1, S2)을 등록 화상의 계층 화상(J0, J1, J2)에 설정한다[도 5의 (a) 참조: 단계 S403].

그리고, 제어부(20-1)는, N=2로 하고(단계 S404), 등록 화상의 제N층의 계층 화상의 특징 영역에 대응하는 참조 화상의 제N층의 계층 화상의 대응 영역을 탐색한다(단계 S405). 이 경우, N=2이기 때문에, 등록 화상의 제2층의 계층 화상(J2)의 특징 영역(S2)에 대응하는 참조 화상의 제2층의 계층 화상(I2)의 대응 영역(S2')의 탐색을 POC 대조에 의해 행한다.

그리고, 제어부(20-1)는, 이 탐색한 등록 화상의 제2층의 계층 화상(J2)에서의 특징 영역(S2)과, 참조 화상의 제2층의 계층 화상(I2)에서의 대응 영역(S2')의 유사도를 산출하고(단계 S406), 미리 정해져 있는 제2층의 기준값(TH)을 판독하며(단계 S407), 산출한 유사도와 판독한 제2층의 기준값(TH)을 비교한다(단계 S408). 여기서, 제2층의 기준값(TH)은, 그 계층의 해상도와 특징 영역(S2)의 위치에 따라 정해져 있다.

산출한 유사도가 제2층의 기준값(TH) 이상이면(단계 S408의 YES), 단계 S402에서 판독한 등록 화상을 등록 화상 후보로서 선택하고(단계 S409), 선택된 등록 화상 후보의 수(M)(초기값 0)를 M=M+1로 한다(단계 S410).

그리고, 선택된 등록 화상 후보의 수(M)가 100에 달하지 않는 것을 확인한 후(단계 S411의 NO), 또한 HD(20-4)에 다른 등록 화상이 보존되어 있는 것을 확인한 후(단계 S413의 YES), HD(20-4)로부터 다음 등록 화상을 판독하고(단계 S402), 단계 S403 이하의 처리를 반복한다.

산출한 유사도가 제2층의 기준값(TH) 이상이 아니면(단계 S408의 NO), 보다 해상도가 높은 계층 화상이 있는 것을 확인한 후(단계 S412의 YES), N=N-1로 하고(단계 S414), 단계 S405에 되돌아간다. 이 경우, N=1이 되기 때문에, 제어부(20-1)는, 제2층의 계층에서의 탐색 결과를 반영시켜, 등록 화상의 제1층의 계층 화상(J1)의 특징 영역(S1)에 대응하는 참조 화상의 제1층의 계층 화상(I1)의 대응 영역(S1')의 탐색을 POC 대조에 의해 행하다(단계 S405).

그리고, 제어부(20-1)는, 이 탐색한 등록 화상의 제1층의 계층 화상(J1)에서의 특징 영역(S1)과, 참조 화상의 제1층의 계층 화상(I1)에서의 대응 영역(S1')의 유사도를 산출하고(단계 S406), 미리 정해져 있는 제1층의 기준값(TH)을 판독하며(단계 S407), 산출한 유사도와 판독한 제1층의 기준값(TH)을 비교한다(단계 S408). 여기서, 제1층의 기준값(TH)은, 그 계층의 해상도와 특징 영역(S1)의 위치에 따라 정해져 있다.

산출한 유사도가 제1층의 기준값(TH) 이상이면(단계 S408의 YES), 단계 S402에서 판독한 등록 화상을 등록 화상 후보로서 선택하고(단계 S409), 선택된 등록 화상 후보의 수(M)를 M=M+1로 한다(단계 S410).

산출한 유사도가 제1층의 기준값(TH) 이상이 아니면(단계 S408의 NO), 보다 해상도가 높은 계층 화상이 있는 것을 확인한 후(단계 S412의 YES), N=N-1로 하고(단계 S414), 단계 S405에 되돌아간다. 이 경우, N=0이 되기 때문에, 제어부(20-1)는, 제1층의 계층에서의 탐색 결과를 반영시켜, 등록 화상의 제0층의 계층 화상(J0)의 특징 영역(S0)에 대응하는 참조 화상의 제0층의 계층 화상(I0)의 대응 영역(S0')의 탐색을 POC 대조에 의해 행한다(단계 S405).

그리고, 제어부(20-1)는, 이 탐색한 등록 화상의 제0층의 계층 화상(J0)에서의 특징 영역(S0)과, 참조 화상의 제0층의 계층 화상(I0)에서의 대응 영역(S0')의 유사도를 산출하고(단계 S406), 미리 정해져 있는 제0층의 기준값(TH)을 판독하며(단계 S407), 산출한 유사도와 판독한 제0층의 기준값(TH)을 비교한다(단계 S408). 여기서, 제0층의 기준값(TH)은, 그 계층의 해상도와 특징 영역(S0)의 위치에 따라 정해져 있다.

산출한 유사도가 제0층의 기준값(TH) 이상이면(단계 S408의 YES), 단계 S402에서 판독한 등록 화상을 등록 화상 후보로서 선택하고(단계 S409), 선택된 등록 화상 후보의 수(M)를 M=M+1로 한다(단계 S410).

산출한 유사도가 제0층의 기준값(TH) 이상이 아니면(단계 S408의 NO), 제어부(20-1)는, 보다 해상도가 높은 계층 화상이 있는지의 여부를 체크한다(단계 S412). 이 경우, 제0층보다 해상도가 높은 계층 화상은 없기 때문에(단계 S412의 NO), HD(20-4)에 다른 등록 화상이 보존되어 있는 것을 확인한 후(단계 S413의 YES), HD(20-4)로부터 다음 등록 화상을 판독하고(단계 S402), 단계 S403 이하의 처리를 반복한다.

이것에 의해, 잇달아 등록 화상의 계층 화상이 HD(20-4)로부터 판독되고, 해상도가 낮은 순으로 등록 화상의 계층 화상의 특징 영역과 참조 화상의 계층 화상의 대응 영역의 유사도가 산출되며, 산출된 유사도와 그 계층의 기준값(TH)이 비교되어, 어느 계층에서 유사도가 기준값(TH) 이상인 것이 확인된 등록 화상이 등록 화상 후보로서 선택되어 간다.

그리고, 제어부(20-1)는, 이 처리의 반복 중, 선택된 등록 화상 후보의 수(M)가 100이 되면(단계 S411의 YES), 등록 화상 후보의 선택 처리를 종료하고, 도 3에 도시한 단계 S207로의 처리를 진행한다.

또한, 이 처리의 반복 중, 선택된 등록 화상 후보의 수(M)가 100에 달하기 전에, 다른 등록 화상이 없어진 경우(단계 S413의 NO), 제어부(20-1)는, 선택된 등록 화상 후보가 있는지의 여부를 체크한다(단계 S415). 여기서, 선택된 등록 화상 후보가 존재하면(단계 S415의 YES), 등록 화상 후보의 선택 처리를 종료하고, 도 3에 도시한 단계 S207로의 처리를 진행한다.

이것에 대하여, 선택된 등록 화상 후보가 존재하지 않으면(단계 S415의 NO), 즉 HD(20-4)로부터 등록 화상을 모두 판독했음에도 불구하고, 선택된 등록 화상 후보의 수가 0이면, 참조 화상과 등록 화상의 대조 결과를 불일치로 하고(단계 S416), 처리를 종료한다. 이 경우의 대조 결과는 액정 표시 장치(12)에 표시된다.

또한, 이 실시형태 2에서는, 단계 S404에서 N=2로 하고, 제2층(최하층)의 계층 화상으로부터 특징 영역에 대응하는 대응 영역의 탐색 및 유사도의 산출을 시작하도록 했지만, 단계 S404에서 N=1로 하고, 제1층의 계층 화상으로부터 특징 영역에 대응하는 대응 영역의 탐색 및 유사도의 산출을 시작하도록 하여도 좋다.

〔실시형태 3: 등록 화상 후보의 선택 처리 3〕

도 8에 도 3에 도시한 흐름도에서의 단계 206에서의 등록 화상 후보의 선택 처리의 다른 예(등록 화상 후보의 선택 처리 3)를 실시형태 3으로서 나타내다.

이 등록 화상 후보의 선택 처리 3에서, 제어부(20-1)는, 단계 S205에서 얻은 참조 화상의 원화상(128×128 화소의 화상)을 최상층(제0층)의 고해상도 화상으로 하고, 이 고해상도 화상의 하층(제1층)에 64×64 화소의 화상(제1 저해상도 화상)을 작성하며, 이 제1 저해상도 화상의 하층(제2층)에 32×32 화소의 화상(제2 저해상도 화상)을 작성한다[단계 S501, 도 5의 (b) 참조].

그리고, 제어부(20-1)는, N=2로 하고(단계 S502), HD(20-4)에 보존되어 있는 제1번째의 등록 화상(원화상을 포함하는 계층 화상)을 판독한다(단계 S503). 즉, 제1번째 등록 화상에 대해서, 최상층(제0층)에 위치하는 고해상도 화상(128×128 화소의 화상)과, 이 고해상도 화상의 하층(제1층)에 위치하는 제1 저해상도 화상(64×64 화소의 화상)과, 이 제1 저해상도 화상의 하층(제2층)에 위치하는 제2 저해상도 화상(32×32 화소의 화상)을 판독한다[도 5의 (a) 참조].

다음에, 제어부(20-1)는, 미리 정해진 기준점 P1[도 6의 (a) 참조]을 읽어들여, 대응 영역 탐색을 위한 특징 영역(S0, S1, S2)을 등록 화상의 계층 화상(J0, J1, J2)에 설정한다[도 5의 (a) 참조: 단계 S504].

그리고, 제어부(20-1)는, 등록 화상의 제N층의 계층 화상의 특징 영역에 대응하는 참조 화상의 제N층의 계층 화상의 대응 영역을 탐색한다. 이 경우, N=2이기 때문에, 등록 화상의 제2층의 계층 화상(J2)의 특징 영역(S2)에 대응하는 참조 화상의 제2층의 계층 화상(I2)의 대응 영역(S2')의 탐색을 POC 대조에 의해 행한다.

그리고, 제어부(20-1)는, 이 탐색한 등록 화상의 제2층의 계층 화상(J2)에서의 특징 영역(S2)과, 참조 화상의 제2층의 계층 화상(I2)에서의 대응 영역(S2')의 유사도를 산출하고(단계 S506), 미리 정해져 있는 제2층의 기준값(TH)을 판독하며(단계 S507), 산출한 유사도와 판독한 제2층의 기준값(TH)을 비교한다(단계 S508). 여기서, 제2층의 기준값(TH)은, 그 계층의 해상도와 특징 영역(S2)의 위치에 따라 정해져 있다.

산출한 유사도가 제2층의 기준값(TH) 이상이면(단계 S508의 YES), 단계 S503에서 판독한 등록 화상을 등록 화상 후보로서 선택하고(단계 S509), 선택된 등록 화상 후보의 수(M)(초기값 0)를 M=M+1로 한다(단계 S510).

그리고, 선택된 등록 화상 후보의 수(M)가 100에 달하지 않는 것을 확인한 후(단계 S511의 NO), 또한 HD(20-4)에 다른 등록 화상이 보존되어 있는 것을 확인한 후(단계 S512의 YES), HD(20-4)로부터 다음 등록 화상을 판독하고(단계 S503), 단계 S504 이하의 처리를 반복한다.

산출한 유사도가 제2층의 기준값(TH) 이상이 아니면(단계 S508의 NO), HD(20-4)에 다른 등록 화상이 보존되어 있는 것을 확인한 후(단계 S512의 YES), HD(20-4)로부터 다음 등록 화상을 판독하고(단계 S503), 단계 S504 이하의 처리를 반복한다.

이것에 의해, 잇달아 등록 화상의 계층 화상이 HD(20-4)로부터 판독되고, 그 등록 화상의 제2층의 계층 화상에서의 특징 영역과, 참조 화상의 제2층의 계층 화상에서의 대응 영역의 유사도가 산출되며, 산출된 유사도와 제2층의 기준값(TH)이 비교되어, 산출된 유사도가 기준값(TH) 이상인 것이 확인된 등록 화상이 등록 화상 후보로서 선택되어 간다.

그리고, 이 처리중, HD(20-4)로부터 모든 등록 화상이 판독되고, 다른 등록 화상이 없어진 경우(단계 S512의 NO), 제어부(20-1)는, 보다 해상도가 높은 계층 화상이 있는 것을 확인하고(단계 S513의 YES), N=N-1로 하며(단계 S514), 단계 S503에 되돌아간다.

이것에 의해, 제어부(20-1)는, HD(20-4)에 보존되어 있는 제1번째의 등록 화상(원화상을 포함하는 계층 화상)을 재차 판독하고(단계 S503), 단계 S504 이하의 처리를 반복한다.

이 경우, N=1이기 때문에, 등록 화상의 제1층의 계층 화상(J1)의 특징 영역(S1)에 대응하는 참조 화상의 제1층의 계층 화상(I1)의 대응 영역(S2')의 탐색을 POC 대조에 의해 행하고(단계 S505), 이 탐색한 등록 화상의 제1층의 계층 화상(J1)에서의 특징 영역(S1)과, 참조 화상의 제1층의 계층 화상(I1)에서의 대응 영역(S1')의 유사도를 산출하며(단계 S506), 미리 정해져 있는 제1층의 기준값(TH)을 판독하고(단계 S507), 산출한 유사도와 판독한 제1층의 기준값(TH)을 비교한다(단계 S508). 여기서, 제1층의 기준값(TH)은, 그 계층의 해상도와 특징 영역(S1)의 위치에 따라 정해져 있다.

산출한 유사도가 제1층의 기준값(TH) 이상이면(단계 S508의 YES), 단계 S503에서 판독한 등록 화상을 등록 화상 후보로서 선택하고(단계 S509), 선택된 등록 화상 후보의 수(M)를 M=M+1로 한다(단계 S510).

그리고, 등록 화상 후보의 수(M)가 100에 달하지 않는 것을 확인한 후(단계 S511의 NO), 또한 HD(20-4)에 다른 등록 화상이 보존되어 있는 것을 확인한 후(단계 S512의 YES), HD(20-4)로부터 다음 등록 화상을 판독하고(단계 S503), 단계 S504 이하의 처리를 반복한다.

산출한 유사도가 제1층의 기준값(TH) 이상이 아니면(단계 S508의 NO), HD(20-4)에 다른 등록 화상이 보존되어 있는 것을 확인한 후(단계 S512), HD(20-4)로부터 다음 등록 화상을 판독하고(단계 S503), 단계 S504 이하의 처리를 반복한다.

이것에 의해, 잇달아 등록 화상의 계층 화상이 HD(20-4)로부터 판독되고, 그 등록 화상의 제1층의 계층 화상에서의 특징 영역과, 참조 화상의 제1층의 계층 화상에서의 대응 영역의 유사도가 산출되며, 산출된 유사도와 제1층의 기준값(TH)이 비교되어, 산출된 유사도가 제1층의 기준값(TH) 이상인 것이 확인된 등록 화상이 등록 화상 후보로서 선택되어 간다.

그리고, 이 처리중, HD(20-4)로부터 모든 등록 화상이 판독되고, 다른 등록 화상이 없어진 경우(단계 S512의 NO), 제어부(20-1)는, 보다 해상도가 높은 계층 화상이 있는 것을 확인하며(단계 S513의 YES), N=N-1로 하고(단계 S514), 단계 S503에 되돌아간다.

이 경우, N=0이기 때문에, 등록 화상의 제0층의 계층 화상(J0)의 특징 영역(S0)에 대응하는 참조 화상의 제0층의 계층 화상(I0)의 대응 영역(S0')의 탐색을 POC 대조에 의해 행하고(단계 S505), 이 탐색한 등록 화상의 제0층의 계층 화상(J0)에서의 특징 영역(S0)과, 참조 화상의 제0층의 계층 화상(I0)에서의 대응 영역(S0')의 유사도를 산출하며(단계 S506), 미리 정해져 있는 제0층의 기준값(TH)을 판독하고(단계 S507), 산출한 유사도와 판독한 제0층의 기준값(TH)을 비교한다(단계 S508). 여기서, 제0층의 기준값(TH)은, 그 계층의 해상도와 특징 영역(S0)의 위치에 따라 정해져 있다.

산출한 유사도가 제0층의 기준값(TH) 이상이면(단계 S508의 YES), 단계 S503에서 판독한 등록 화상을 등록 화상 후보로서 선택하고(단계 S509), 선택된 등록 화상 후보의 수(M)를 M=M+1로 한다(단계 S510).

산출한 유사도가 제0층의 기준값(TH) 이상이 아니면(단계 S508의 NO), HD(20-4)에 다른 등록 화상이 보존되어 있는 것을 확인한 후(단계 S512), HD(20-4)로부터 다음 등록 화상을 판독하고(단계 S503), 단계 S504 이하의 처리를 반복한다.

이것에 의해, 잇달아 등록 화상의 계층 화상이 HD(20-4)로부터 판독되고, 그 등록 화상의 제0층의 계층 화상에서의 특징 영역과, 참조 화상의 제0층의 계층 화상에서의 대응 영역의 유사도가 산출되며, 산출된 유사도와 제0층의 기준값(TH)이 비교되어, 산출된 유사도가 제0층의 기준값(TH) 이상인 것이 확인된 등록 화상이 등록 화상 후보로서 선택되어 간다.

또한, 제어부(20-1)는, 이 처리의 반복 중, 선택된 등록 화상 후보의 수(M)가 100이 되면(단계 S511의 YES), 등록 화상 후보의 선택 처리를 종료하고, 도 3에 도시한 단계 S207로의 처리를 진행한다.

또한, 이 처리의 반복 중, 선택된 등록 화상 후보의 수(M)가 100에 달하기 전에, 보다 해상도가 높은 계층 화상이 없어진 경우(단계 S513의 NO), 제어부(20-1)는, 선택된 등록 화상 후보가 존재하는지의 여부를 체크한다(단계 S515). 여기서, 선택된 등록 화상 후보가 존재하면(단계 S515의 YES), 등록 화상 후보의 선택 처리를 종료하고, 도 3에 도시한 단계 S207로의 처리를 진행한다.

이것에 대하여, 선택된 등록 화상 후보가 존재하지 않으면(단계 S515의 NO),즉 제1층, 제2층, 제0층의 전체 계층에 대해서, HD(20-4)로부터 등록 화상을 모두 판독했음에도 불구하고, 선택된 등록 화상 후보의 수가 0이면, 참조 화상과 등록 화상의 대조 결과를 불일치로 하고(단계 S516), 처리를 종료한다. 이 경우의 대조 결과는 액정 표시 장치(12)에 표시된다.

또한, 이 실시형태 3에서는, 단계 S502에서 N=2로 하고, 제2층(최하층)의 계층 화상으로부터 특징 영역에 대응하는 대응 영역의 탐색 및 유사도의 산출을 시작하도록 했지만, 단계 S502에서 N=1로 하고, 제1층의 계층 화상으로부터 특징 영역에 대응하는 대응 영역의 탐색 및 유사도의 산출을 시작하도록 하여도 좋다.

또한, 전술한 실시형태 1∼3에서는, 등록 화상의 계층 화상(J0, J1, J2)에 특징 영역(S0, S1, S2)을 정하도록 했지만, 참조 화상의 계층 화상(I0, I1, I2)에 특징 영역(S0, S1, S2)을 정하고, 등록 화상의 계층 화상(J0, J1, J2)으로부터 대응 영역(S0', S1', S2')을 탐색하도록 하여도 좋다.

〔실시형태 4: 등록 화상 후보의 선택 처리 4〕

도 9에 등록 화상 후보의 선택 처리 4의 흐름도를 도시한다. 실시형태 4에서는, 이 등록 화상 후보의 선택 처리 4를 등록 화상 후보의 선택 처리 1, 2, 3과 조합하여, 최종적인 등록 화상 후보를 얻도록 한다. 또한 이 실시형태 4에서는, 등록 화상 후보의 선택 처리 1, 2, 3에서 선택되는 등록 화상 후보를 제1 등록 화상 후보로 하고, 등록 화상 후보의 선택 처리 4에서 선택되는 등록 화상 후보를 제2 등록 화상 후보로 한다.

등록 화상 후보의 선택 처리 4에서, 제어부(20-1)는, 단계 S205에서 얻어진 참조 화상으로부터 계측 정보로서 눈동자간 거리를 산출하고(단계 S601), 이 산출된 눈동자간 거리가 속하는 등록 화상의 눈동자간 거리 그룹을 HD(20-4)로부터 선택한다(단계 S602). 그리고, 이 눈동자간 거리 그룹의 등록 화상을 제2 등록 화상 후보로서 선택한다(단계 S603).

그리고, 제어부(20-1)는, 등록 화상 후보의 선택 처리 4에서 선택한 제2 등록 화상 후보와, 등록 화상 후보의 선택 처리 1, 2, 3에서 선택한 제1 등록 화상 후보를 조합하여, 최종적인 등록 화상 후보를 얻는다.

예컨대, 실시형태 4의 제1예로서, 등록 화상 후보의 선택 처리 4에서 선택된 제2 등록 화상 후보에 대해서, 등록 화상 후보의 선택 처리 1 또는 2 또는 3을 행하여, 최종적인 등록 화상 후보를 얻도록 한다.

예컨대, 실시형태 4의 제2예로서, 등록 화상 후보의 선택 처리 1 또는 2 또는 3에서 선택된 제1 등록 화상 후보와, 등록 화상 후보의 선택 처리 4에서 선택된 제2 등록 화상 후보의 AND를 취해, 최종적인 등록 화상 후보를 얻도록 한다.

예컨대, 실시형태 4의 제3 예로서, 등록 화상 후보의 선택 처리 1 또는 2 또는 3에서 선택된 제1 등록 화상 후보와, 등록 화상 후보의 선택 처리 4에서 선택된 제2 등록 화상 후보의 OR를 취해, 최종적인 등록 화상 후보를 얻도록 한다.

또한, 이 실시형태 4에서는, 참조 화상으로부터 계측 정보로서 눈동자간 거리를 취득하도록 했지만, 얼굴 사이즈, 눈동자 사이즈, 얼굴 곡률 등을 취득하고, 이 취득한 계측 정보에 기초하여 제1 등록 화상 후보를 선택하도록 하여도 좋다.

〔실시형태 5: 등록 화상 후보의 선택 처리 5〕

도 10에 등록 화상 후보의 선택 처리 5의 흐름도를 도시한다. 실시형태 5에서는, 이 등록 화상 후보의 선택 처리 5를 등록 화상 후보의 선택 처리 1, 2, 3과 조합하여, 최종적인 등록 화상 후보를 얻도록 한다. 또한 이 실시형태 5에서는, 등록 화상 후보의 선택 처리 1, 2, 3에서 선택되는 등록 화상 후보를 제1 등록 화상 후보로 하고, 등록 화상 후보의 선택 처리 5에서 선택되는 등록 화상 후보를 제3 등록 화상 후보로 한다.

이 등록 화상 후보의 선택 처리 5에서, 제어부(20-1)는, 단계 S205에서 얻은 참조 화상의 원화상(128×128 화소의 화상)을 최상층(제0층)의 고해상도 화상으로 하고, 이 고해상도 화상의 하층(제1층)에 64×64 화소의 화상(제1 저해상도 화상)을 작성하며, 이 제1 저해상도 화상의 하층(제2층)에 32×32 화소의 화상(제2 저해상도 화상)을 작성한다[단계 S701, 도 5의 (b) 참조].

그리고, 제어부(20-1)는, HD(20-4)에 보존되어 있는 제1번째의 등록 화상(원화상을 포함하는 계층 화상)을 판독한다(단계 S702). 즉, 제1번째 등록 화상에 대해서, 최상층(제0층)에 위치하는 고해상도 화상(128×128 화소의 화상)과, 이 고해상도 화상의 하층(제1층)에 위치하는 제1 저해상도 화상(64×64 화소의 화상)과, 이 제1 저해상도 화상의 하층(제2층)에 위치하는 제2 저해상도 화상(32×32 화소의 화상)을 판독한다[도 5의 (a) 참조].

그리고, 제어부(20-1)는, N=2로 하고(단계 S703), 참조 화상의 제N층의 계층 화상과, 등록 화상의 제N층의 계층 화상의 유사도를 산출한다(단계 S704). 이 경우, N=2이기 때문에, 참조 화상의 제2층의 계층 화상(I2)과, 등록 화상의 제2층의 계층 화상(J2)의 유사도를 산출한다.

그리고, 미리 정해져 있는 제2층의 기준값(TH)을 판독하고(단계 S705), 산출한 유사도와 판독한 제2층의 기준값(TH)을 비교한다(단계 S706). 여기서, 제2층의 기준값(TH)은, 그 계층의 해상도에 따라 정해져 있다.

산출한 유사도가 제2층의 기준값(TH) 이상이면(단계 S706의 YES), 단계 S702에서 판독한 등록 화상을 등록 화상 후보(제3 등록 화상 후보)로서 선택하고(단계 S707), 선택된 등록 화상 후보의 수(M)(초기값 0)를 M=M+1로 한다(단계 S708).

그리고, 선택된 등록 화상 후보의 수(M)가 100에 달하지 않는 것을 확인한 후(단계 S709의 NO), 또한 HD(20-4)에 다른 등록 화상이 보존되어 있는 것을 확인한 후(단계 S712의 YES), HD(20-4)로부터 다음 등록 화상을 판독하고(단계 S702), 단계 S703이하의 처리를 반복한다.

산출한 유사도가 제2층의 기준값(TH) 이상이 아니면(단계 S706의 NO), 보다 해상도가 높은 계층 화상이 있는 것을 확인한 후(단계 S710의 YES), N=N-1로 하고(단계 S711), 단계 S704에 되돌아간다. 이 경우, N=1이 되기 때문에, 제어부(20-1)는, 참조 화상의 제1층의 계층 화상(I1)과, 등록 화상의 제1층의 계층 화상(J1)의 유사도를 산출한다.

그리고, 미리 정해져 있는 제1층의 기준값(TH)을 판독하고(단계 S705), 산출한 유사도와 판독한 제1층의 기준값(TH)을 비교한다(단계 S706). 여기서, 제1층의 기준값(TH)은, 그 계층의 해상도에 따라 정해져 있다.

산출한 유사도가 제1층의 기준값(TH) 이상이면(단계 S706의 YES), 단계 S702에서 판독한 등록 화상을 등록 화상 후보(제3 등록 화상 후보)로서 선택하고(단계 S707), 선택된 등록 화상 후보의 수(M)를 M=M+1로 한다(단계 S708).

그리고, 선택된 등록 화상 후보의 수(M)가 100에 달하지 않는 것을 확인한 후(단계 S709의 NO), 또한 HD(20-4)에 다른 등록 화상이 보존되어 있는 것을 확인한 후(단계 S712의 YES), HD(20-4)로부터 다음 등록 화상을 판독하고(단계 S702), 단계 S703 이하의 처리를 반복한다.

산출한 유사도가 제1층의 기준값(TH) 이상이 아니면(단계 S706의 NO), 보다 해상도가 높은 계층 화상이 있는 것을 확인한 후(단계 S710의 YES), N=N-1로 하고(단계 S711), 단계 S704에 되돌아간다. 이 경우, N=0이 되기 때문에, 제어부(20-1)는, 참조 화상의 제0층의 계층 화상(I0)과, 등록 화상의 제0층의 계층 화상(J0)의 유사도를 산출한다.

그리고, 미리 정해져 있는 제0층의 기준값(TH)을 판독하고(단계 S705), 산출한 유사도와 판독한 제0층의 기준값(TH)을 비교한다(단계 S706). 여기서, 제0층의 기준값(TH)은, 그 계층의 해상도에 따라 정해져 있다.

산출한 유사도가 제0층의 기준값(TH) 이상이면(단계 S706의 YES), 단계 S702에서 판독한 등록 화상을 등록 화상 후보(제3 등록 화상 후보)로서 선택하고(단계 S707), 선택된 등록 화상 후보의 수(M)를 M=M+1로 한다(단계 S708).

산출한 유사도가 제0층의 기준값(TH) 이상이 아니면(단계 S706의 NO), 제어부(20-1)는, 보다 해상도가 높은 계층 화상이 있는지의 여부를 체크한다(단계 S710의 YES). 이 경우, 제0층보다 해상도가 높은 계층 화상은 없기 때문에(단계 S710의 NO), HD(20-4)에 다른 등록 화상이 보존되어 있는 것을 확인한 후(단계 S712의 YES), HD(20-4)로부터 다음 등록 화상을 판독하고(단계 S702), 단계 S703 이하의 처리를 반복한다.

이것에 의해, 잇달아 등록 화상의 계층 화상이 HD(20-4)로부터 판독되고, 해상도가 낮은 순으로 등록 화상의 계층 화상과, 참조 화상의 계층 화상의 유사도가 산출되며, 산출된 유사도와 그 계층의 기준값(TH)이 비교되어, 어느 계층에서 유사도가 기준값(TH) 이상인 것이 확인된 등록 화상이 제3 등록 화상 후보로서 선택되어 간다.

그리고, 제어부(20-1)는, 이 처리의 반복 중, 선택된 등록 화상 후보의 수(M)가 100이 되면(단계 S709의 YES), 등록 화상 후보의 선택 처리를 종료한다. 또한, 이 처리의 반복 중, 선택된 등록 화상 후보의 수(M)가 100에 달하기 전에, 다른 등록 화상이 없어진 경우에도(단계 S413의 NO), 등록 화상 후보의 선택 처리를 종료한다.

그리고, 제어부(20-1)는, 등록 화상 후보의 선택 처리 5에서 선택한 제3 등록 화상 후보와, 등록 화상 후보의 선택 처리 1, 2, 3에서 선택한 제1 등록 화상 후보를 조합하여, 최종적인 등록 화상 후보를 얻는다.

예컨대, 실시형태 5의 제1예로서, 등록 화상 후보의 선택 처리 5에서 선택된 제3 등록 화상 후보에 대해서, 등록 화상 후보의 선택 처리 1 또는 2 또는 3을 행하여, 최종적인 등록 화상 후보를 얻도록 한다.

예컨대, 실시형태 5의 제2예로서, 등록 화상 후보의 선택 처리 1 또는 2 또는 3에서 선택된 제1 등록 화상 후보와, 등록 화상 후보의 선택 처리 5에서 선택된 제3 등록 화상 후보의 AND를 취해, 최종적인 등록 화상 후보를 얻도록 한다.

예컨대, 실시형태 5의 제3 예로서, 등록 화상 후보의 선택 처리 1 또는 2 또는 3에서 선택된 제1 등록 화상 후보와, 등록 화상 후보의 선택 처리 5에서 선택된 제3 등록 화상 후보의 OR를 취해, 최종적인 등록 화상 후보를 얻도록 한다.

또한, 이 실시형태 5에서는, 등록 화상 후보의 선택 처리 5를 등록 화상 후보의 선택 처리 1, 2, 3과 조합하여, 최종적인 등록 화상 후보를 얻도록 했지만, 등록 화상 후보의 선택 처리 4 및 5를 등록 화상 후보의 선택 처리 1, 2, 3과 조합하여, 최종적인 등록 화상 후보를 얻도록 하여도 좋다.

또한, 전술한 실시형태 1∼3에서는, M=100에 달할 때까지 등록 화상 후보를 선택하도록 했지만, 유사도가 매우 높은 경우에는 등록 화상 후보의 선택을 거기서 종료하도록 하여도 좋다. 예컨대 실시형태 1(도 4)에서 말하면, 단계 S306에서 유사도가 기준값(TH)보다 훨씬 큰 정해진 값 THmax 이상인 경우, 거기서 등록 화상 후보의 선택을 종료하도록 한다. 실시형태 5(도 10)에서도 마찬가지로, 단계 S706에서 유사도가 기준값(TH)보다 훨씬 큰 정해진 값 THmax 이상인 경우, 거기서 제3 등록 화상 후보의 선택을 종료하도록 하여도 좋다. 이것에 의해, 고속화를 달성할 수 있다.

또한, 전술한 실시형태 1∼3에서는, M=100에 달할 때까지 등록 화상 후보를 선택하도록 했지만, 모든 등록 화상과 분류를 위한 대조 처리를 하여, 유사도(스코어)가 높은 것 상위 M개를 등록 화상 후보로서 선택하도록 하여도 좋다. 예컨대 실시형태 1(도 4)로 말하면, HD(20-4)에 보존되어 있는 등록 화상 전체에 대해서 분류를 위한 대조 처리를 하여 유사도를 구하고, 그 유사도가 높은 상위 M개의 등록 화상을 등록 화상 후보로서 선택하도록 한다. 실시형태 5(도 10)에서도 마찬가지로, HD(20-4)에 보존되어 있는 등록 화상 전체에 대해서 분류를 위한 대조 처리를 하여 유사도를 구하고, 그 유사도가 높은 상위 M개의 등록 화상을 제3 등록 화상 후보로서 선택하도록 하여도 좋다.

또한, 전술한 실시형태 1∼5에서, 유사도의 계산 방법[예컨대 단계 S208(도 3), 단계 S305(도 4), 단계 S406(도 7), 단계 S506(도 8), 단계 S704(도 10) 등에서의 유사도의 계산 방법]에 대해서는 그 세부 사항을 진술하지 않았지만, 이 경우의 유사도의 계산 방법으로서 다음과 같은 방법이 생각된다.

〔특정 얼굴 데이터, 특정 계층, 특정 영역에서 유사도를 산출하는 방법〕

안 1. 대응점마다의 상관값의 평균값을 유사도로 한다.

안 2. 임계값 T보다 높은 대응점의 수를 유사도로 한다.

⇒ 특정 영역의 외란(착용물 등)에 영향을 받기 어려워진다.

안 3. 상하 좌우 전체 등 영역마다 임계값 "T_ high" 보다 높은 대응점의 수를 유사도로 한다. 임계값 "T_ high" 는 영역마다 바꿔도 좋다.

⇒ 선글라스, 안경, 수염의 발생, 상처, 안대 등의 영향을 받기 어려운 대조를 실현할 수 있다.

안 4. 상하 좌우 전체 등 영역마다 임계값 "T_ high" 보다 높은 대응점의 수를 유사도로 한다. 이 때, 어느 하나의 영역마다 임계값 "T_ low" 보다 낮은 대응점의 수가 많은 경우, 후단의 유사도 판정 처리에서 NG로 한다. 임계값 "T_ high", "T_ low" 는 영역마다 바꿔도 좋다.

⇒ 동일한 착용물에 의한 타인 오인을 막을 수 있다. 예컨대 프레임이 두꺼운 안경에 의한 오인이 없어진다.

또한, 예컨대 실시형태 1(도 4)에서는, 단계 S305에서 유사도를 산출하고, 단계 S306에서 유사도와 기준값을 비교하도록 하고 있지만, 유사도의 산출과 기준값의 비교를 1단계로 행하도록 하여도 좋다. 다른 실시형태에서도 마찬가지이다.

또한, 전술한 실시형태 1∼5에서는, 등록 화상의 계층 화상을 등록 화상으로서 HD(20-4)에 기억시키도록 했지만, 등록 화상의 원화상만을 기억시키도록 하여도 좋다. 등록 화상의 원화상만을 기억시키는 경우에는, 등록 화상(원화상)을 판독한 후, 이 판독한 등록 화상의 원화상을 최상층(제0층)의 고해상도 화상으로 하고, 이 고해상도 화상의 하층(제1층)에 제1 저해상도 화상을 작성하며, 이 제1 저해상도 화상의 하층(제2층)에 제2 저해상도 화상을 작성하도록 한다.

도 11에 등록 화상 후보의 선택 처리 1에서, 등록 화상(원화상)을 판독한 후, 등록 화상의 계층 화상을 작성하도록 한 경우의 흐름도를 도시한다. 이 경우, 단계 S302에서 등록 화상의 원화상을 판독하도록 하고, 이 단계 S302 후에, 등록 화상의 계층 화상을 작성하는 단계 S313을 마련하도록 한다.

도 12에 등록 화상 후보의 선택 처리 2에서, 등록 화상(원화상)을 판독한 후, 등록 화상의 계층 화상을 작성하도록 한 경우의 흐름도를 도시한다. 이 경우, 단계 S402에서 등록 화상의 원화상을 판독하도록 하고, 단계 S402 후에, 등록 화상의 계층 화상을 작성하는 단계 S417을 마련하도록 한다.

도 13에 등록 화상 후보의 선택 처리 3에서, 등록 화상(원화상)을 판독한 후, 등록 화상의 계층 화상을 작성하도록 한 경우의 흐름도를 도시한다. 이 경우, 단계 S503에서 등록 화상의 원화상을 판독하도록 하고, 단계 S503 후에, 등록 화상의 계층 화상을 작성하는 단계 S517을 마련하도록 한다.

도 14에 등록 화상 후보의 선택 처리 5에서, 등록 화상(원화상)을 판독한 후, 등록 화상의 계층 화상을 작성하도록 한 경우의 흐름도를 도시한다. 이 경우, 단계 S702에서 등록 화상의 원화상을 판독하도록 하고, 단계 S702 후에, 등록 화상의 계층 화상을 작성하는 단계 S713을 마련하도록 한다.

본 발명의 대조 장치는, 참조 화상과 등록 화상을 대조하는 대조 장치로서, 입퇴실을 관리하는 시스템에 한하지 않고, 각종 대상물을 인증하는 시스템(예컨대 인쇄 등의 화상 체크, 땜납 기판 체크 등)에서 이용하는 것이 가능하다.

10, 11: CCD 카메라, 10-1, 11-1: 렌즈, 12: 액정 표시 장치(LCD), 20: 처리부, 20-1: 제어부, 20-2: ROM, 20-3: RAM, 20-4: 하드디스크(HD), 20-5: 프레임 메모리(FM), 20-6: 외부 접속부(I/F), 20-7: 푸리에 변환부(FFT), I0, I1, I2: 참조 화상의 계층 화상, J0, J1, J2: 등록 화상의 계층 화상, S0, S1, S2: 특징 영역, S0', S1', S2': 대응 영역, PL: 기준 템플릿, P1: 기준점.

Claims

참조 화상과 등록 화상을 대조하는 대조 장치로서,
상기 참조 화상에 대해서, 그 원화상을 가장 해상도가 높은 고해상도 화상으로 하고, 이 고해상도 화상을 최상층으로 하는 해상도가 상이한 복수의 계층 화상을 작성하는 계층 화상 작성 수단과,
상기 참조 화상과 동일 해상도의 복수의 등록 화상을 기억하는 등록 화상 기억 수단과,
상기 등록 화상 기억 수단에 기억되어 있는 등록 화상을 하나씩 판독하는 등록 화상 판독 수단과,
상기 계층 화상 작성 수단에 의해 작성된 참조 화상의 계층 화상 및 상기 등록 화상 판독 수단에 의해 판독된 등록 화상의 상기 참조 화상의 계층 화상에 대응하는 계층 화상 중 어느 한쪽에 대하여 미리 정해진 특징 영역을 설정하는 특징 영역 설정 수단과,
상기 특징 영역 설정 수단에 의해 상기 특징 영역이 설정된 한쪽의 계층 화상의 그 특징 영역에 대응하는 대응 영역을 다른 쪽의 계층 화상으로부터 탐색하는 대응 영역 탐색 수단과,
상기 특징 영역 설정 수단에 의해 한쪽의 계층 화상에 설정된 특징 영역과, 상기 대응 영역 탐색 수단에 의해 다른 쪽의 계층 화상으로부터 탐색된 대응 영역의 유사도에 기초하여, 상기 등록 화상 판독 수단에 의해 판독된 등록 화상을 상기 참조 화상과 대조하는 등록 화상 후보로서 선택하는 제1 등록 화상 후보 선택 수단
을 구비하는 것을 특징으로 하는 대조 장치.
제1항에 있어서, 상기 대응 영역 탐색 수단은,
상기 한쪽의 계층 화상에 설정된 특징 영역에 대응하는 다른 쪽의 계층 화상의 대응 영역을 저해상도 화상으로부터 고해상도 화상을 향한 계층 탐색에 의해 탐색하고,
상기 제1 등록 화상 후보 선택 수단은,
상기 특징 영역과 상기 대응 영역의 유사도의 산출을 임의의 저해상도의 계층 화상으로부터 행하고, 산출된 유사도가 정해진 기준값을 만족시키는 경우에, 상기 등록 화상 판독 수단에 의해 판독된 등록 화상을 등록 화상 후보로서 선택하는 것을 특징으로 하는 대조 장치.
제2항에 있어서, 상기 제1 등록 화상 후보 선택 수단은,
상기 계층 화상의 계층마다, 상기 기준값으로서, 그 계층의 해상도와 특징 영역의 위치에 따라 정해진 기준값을 이용하는 것을 특징으로 하는 대조 장치.
제1항 내지 제3항 중 어느 한 항에 있어서, 상기 참조 화상으로부터 정해진 계측 정보를 취득하는 계측 정보 취득 수단과,
상기 계측 정보 취득 수단에 의해 취득된 계측 정보에 기초하여, 상기 등록 화상 기억 수단에 기억되어 있는 복수의 등록 화상 중으로부터 상기 참조 화상과 대조하는 등록 화상 후보를 선택하는 제2 등록 화상 후보 선택 수단
을 구비하고,
상기 제1 등록 화상 후보 선택 수단은, 상기 제2 등록 화상 후보 선택 수단에 의해 선택된 등록 화상 후보를 조합시켜 등록 화상 후보를 선택하는 것을 특징으로 하는 대조 장치.
제1항 내지 제3항 중 어느 한 항에 있어서, 상기 제1 등록 화상 후보 선택 수단은, 상기 선택된 등록 화상 후보의 수가 0인 경우, 상기 참조 화상과 상기 등록 화상의 대조 결과를 불일치로 하는 것을 특징으로 하는 대조 장치.