KR100617390B1 - 얼굴 식별 장치, 얼굴 식별 방법 및 기록매체 - Google Patents

얼굴 식별 장치, 얼굴 식별 방법 및 기록매체 Download PDF

Info

Publication number
KR100617390B1
KR100617390B1 KR1020040087294A KR20040087294A KR100617390B1 KR 100617390 B1 KR100617390 B1 KR 100617390B1 KR 1020040087294 A KR1020040087294 A KR 1020040087294A KR 20040087294 A KR20040087294 A KR 20040087294A KR 100617390 B1 KR100617390 B1 KR 100617390B1
Authority
KR
South Korea
Prior art keywords
face
candidate point
image
region
pupil candidate
Prior art date
Application number
KR1020040087294A
Other languages
English (en)
Other versions
KR20050081850A (ko
Inventor
오오하시다카히로
스미다나오아키
히가키노부오
Original Assignee
혼다 기켄 고교 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 혼다 기켄 고교 가부시키가이샤 filed Critical 혼다 기켄 고교 가부시키가이샤
Publication of KR20050081850A publication Critical patent/KR20050081850A/ko
Application granted granted Critical
Publication of KR100617390B1 publication Critical patent/KR100617390B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/167—Detection; Localisation; Normalisation using comparisons between temporally consecutive images

Abstract

본 발명에 의한 카메라에 의해 촬상된 대상 인물의 촬상화상을 기초로 대상 인물의 얼굴을 식별하는 얼굴 식별 장치는 촤상 화상에서의 대상 인물의 얼굴 영역을 추정하는 얼굴 영역 추정 추정수단; 상기 얼굴 영역을 기준 크기의 화상으로 변환하여 기준 화상을 생성함과 동시에, 해당 기준 화상 내에서의 검색 지역에서 상기 대상 인물의 우 동공 후보점과 좌 동공 후보점을 검출하는 동공 후보점 검출 수단; 상기 우 동공 후보점과 상기 좌 동공 후보점의 간격을 기준으로 하여 정규화 화상을 생성함과 동시에, 해당 정규화 화상에서 상기 얼굴 영역의 적부를 평가하기 위한 참조용 데이터를 작성하는 참조용 데이터 생성 수단; 및 상기 참조용 데이터와 미리 준비된 기준 데이터의 근사도를 구하여 구한 근사도를 기초로 상기 얼굴 영역의 적부를 평가하는 얼굴 영역 평가 수단;을 구비한다.

Description

얼굴 식별 장치, 얼굴 식별 방법 및 기록매체{Face identification apparatus, face identification method, and medium for recording face identification program}
도 1은 얼굴 식별 시스템(A)의 전체 구성을 나타내는 블록도이다.
도 2는 도 1에 도시된 얼굴 식별 시스템(A)에 포함되는 촬상 화상 해석 장치(2)와 윤곽 추출 장치(3)의 구성을 나타내는 블록도이다.
도 3은, (a)는 거리 화상(D1), (b)는 차분 화상(D2), (c)는 에지 화상(D3), (d)는 피부색 영역(R1, R2)을 나타내는 도면이다.
도 4는 대상 거리를 설정하는 방법을 설명하기 위한 도면이다.
도 5는 대상 영역(T)을 설정하는 방법과, 대상 영역(T) 내에서 대상 인물C의 윤곽(O)을 추출하는 방법을 설명하기 위한 도면이다.
도 6은 도 1에 도시된 얼굴 식별 시스템(A)에 포함되는 얼굴 식별 장치(4)의 구성을 나타내는 블록도이다.
도 7은, (a)는 촬상 화상으로부터 생성한 기준 화상에 있어서, 얼굴 추정 영역을 결정하는 방법을 설명하는 도면이고, (b)는 기준 화상에서의 얼굴 추정 영역으로 결정된 영역 주변의 확대도이다.
도 8은, (a)는 얼굴 추정 영역 내에서 왼쪽 눈 후보점과 오른쪽 눈 후보점을 검색하는 왼쪽 눈 영역과 오른쪽 눈 영역을 나타내는 도면이고, (b)는 원형 에지 필터의 한 양태를 설명하는 도면이다.
도 9는, (a)는 왼쪽 눈 영역과 오른쪽 눈 영역에 있어서 검색된 좌 동공 후보점과 우 동공 후보점을 설명하기 위한 도면이고, (b)는 좌 동공 후보점과 우 동공 후보점에 대해 설정된 조합을 설명하는 도면이다.
도 10은, (a)는 좌 동공 후보점과 우 동공 후보점과의 페어 내에서 부적절한 페어를 제외하는 방법을 설명하는 도면이고, (b)는 좌 동공 후보점과 우 동공 후보점과의 페어 내에서 부적절한 페어를 제외하는 방법을 설명하는 도면이다.
도 11은 기준 화상에서 정규화 얼굴 화상을 생성하기까지의 순서를 설명하는 도면이다.
도 12는, 얼굴 추정 영역에서 생성한 참조용 데이터와 기준 데이터의 근사도를 구하는 경우를 설명하는 설명도이다.
도 13은 얼굴 영역의 추정을 실패한 경우의 예를 나타내는 도면이다.
도 14는 얼굴 식별 장치(4)에서의 처리를 설명하기 위한 플로우 차트다.
도 15는 얼굴 인식 시스템(A)에서의 처리를 설명하기 위한 플로우 차트다.
도 16은 동공 후보점을 보정할 때에 행하는 근사 계산의 결과를 모식적으로 나타내는 도면이다.
<부호의 설명>
A 얼굴 인식 시스템
1 카메라
2 촬상 화상 해석 장치
3 윤곽 추출 장치
4 얼굴 식별 장치
50 얼굴 영역 추정 수단
60 동공 후보점 검출 수단
70 참조용 데이터 생성 수단
80 얼굴 영역 평가 수단
90 얼굴 식별 수단
100 기억 수단
본 발명은 촬상 대상인 대상 인물의 얼굴을 식별하는 얼굴 식별 장치, 얼굴 식별 방법 및 얼굴 식별 프로그램을 기억한 컴퓨터 독취 가능한 기록매체에 관한 것이다.
더 상세하게는, 대상 인물을 촬상하여 얻어진 촬상 화상에 있어서, 가정한 얼굴의 영역(얼굴 영역)이 대상 인물의 얼굴의 식별에 적절한지의 여부를 판단하고, 바람직하다고 판단된 얼굴의 영역(얼굴 영역)에 근거하여 대상 인물의 얼굴을 식별하는 얼굴 식별 장치, 얼굴 식별 방법 및 얼굴 식별 프로그램을 기억한 컴퓨터 독취 가능한 기록매체에 관한 것이다.
최근, CCD카메라 등의 비디오 카메라(이하, 단순히 “카메라”라고 함)에 의해 대상 인물을 촬상한 화상에서 대상 인물의 얼굴을 인식하는 방법 및 그 장치가 많이 제안되고 있다.
이 종류의 종래 기술로서는 다음과 같은 일본 특허 공개 평09-251534호 공보(단락0021), 일본 특허 공개 평10-232934호 공보(단락0023, 도 1), 일본 특허 공개 평11-015979호 공보(단락0015∼0031, 도 2)가 있다.
이들 특허 문헌에 기재된 발명에서는, 대상 인물을 촬상하여 얻어진 촬상 화상에서 얼굴의 영역(얼굴 영역)을 추출하고, 추출한 얼굴 영역에 포함되는 눈이나 입 등의 특징점을 기준으로 하여 얼굴 영역에 정규화 처리를 실시하여 정규화한 얼굴 영역의 화상(정규화 얼굴 화상)을 작성한다. 그리고, 정규화 얼굴 화상과 미리 준비된 사전 화상을 비교·조합하여 대상 인물의 얼굴의 인식·식별을 하고 있다.
상기 일본 특허 공개 평09-251534호 공보(단락0021), 일본 특허 공개 평10-232934호 공보(단락0023, 도 1)에 기재된 발명의 경우, 얼굴 영역의 추출은 촬상 화상의 모든 화면에 걸쳐 표준 얼굴 화상(템플레이트)을 이동시키면서 상관치를 계산하고, 상관치가 가장 높은 영역을 얼굴 영역으로 간주함으로써 행하고 있다.
또한, 상기 일본 특허 공개 평11-015979호 공보(단락0015∼0031, 도 2)에 기재된 발명 경우, 얼굴 영역의 추출은 촬상 화상에서의 피부색의 영역과 어두운 영역을 검색하고, 피부색 영역 내에 어두운 영역이 일정 비율로 포함되어 있는 피부색 영역을 얼굴 영역으로 간주함으로써 행하고 있다.
그러나, 대상 인물이 이동하고 있는 경우나, 대상 인물의 촬상을 이동하면서 행하는 경우에는, 광원과 대상 인물 사이의 위치 관계가 변화되기 때문에, 촬상 화상 내의 대상 인물의 얼굴에 음영이 들어가고 이 음영의 영향을 받아 얼굴 영역의 추출을 적절하게 할 수 없을 수가 있다.
이와 같은 경우, 상기 특허 문헌에 기재된 발명에서는 추출된 얼굴 영역이 대상 인물의 얼굴의 인식·식별에 적절한지의 여부를 판단하지 않고 대상 인물의 얼굴의 인식·식별이 행해진다. 따라서, 부적절한 얼굴 영역이 추출된 경우, 부적절한 얼굴 영역에 근거하여 대상 인물의 얼굴의 인식·식별을 하게 되어 대상 인물의 얼굴의 인식·식별을 정확하게 할 수 없다는 문제가 발생하고 있다. 그래서, 상기와 같은 문제가 발생하지 않는 방법 및 장치에 대한 요구가 있어 왔다.
본 발명이 이루고자 하는 기술적 과제는, 대상 인물 참조용 데이터로 대상 인물의 얼굴 영역이라고 추정된 영역이 대상 인물의 얼굴 영역으로 적절한지의 여부가 판단되면 해당 영역을 기초로 대상 인물의 얼굴을 신속하게 식별할 수 있는 얼굴식별장치, 얼굴 식별 방법 및 얼굴 식별 프로그램을 기억한 컴퓨터 독취 가능한 기록매체를 제공하는 데 있다.
본 발명은 카메라에 의해 촬상된 대상 인물의 촬상 화상을 기초로 하여 상기 대상 인물의 얼굴을 식별하는 식별 수단을 구비한 얼굴 식별 장치에 관한 것이다.
본 발명에 의한 얼굴 식별 장치는 상기 카메라로부터 상기 대상 인물까지의 거리를 나타내는 거리 정보, 상기 촬상 화상으로부터 생성한 상기 대상 인물의 윤곽 정보 및 피부색 영역 정보에 근거하여 상기 촬상 화상에서의 상기 대상 인물의 얼굴 영역을 추정하는 얼굴 영역 추정 수단과, 상기 거리 정보에 근거하여 상기 얼굴 영역을 기준 크기의 화상으로 변환하여 기준 화상을 생성함과 동시에 해당 기준 화상에서의 상기 얼굴 영역의 중심을 기준으로 하여 검색 지역을 설정하고, 해당 검색 지역에 포함되는 화소마다 원형 에지를 탐색하며, 소정의 원형 에지가 되는 화소 중에서 상기 대상 인물의 우 동공 후보점과 좌 동공 후보점을 검출하는 동공 후보점 검출 수단과, 상기 우 동공 후보점과 상기 좌 동공 후보점을 연결하는 선분이 상기 기준 화상 내에서 수평이 되도록 상기 기준 화상을 회전한 후에, 상기 우 동공 후보점과 상기 좌 동공 후보점의 간격을 기준으로서 정규화 화상을 생성함과 동시에, 해당 정규화 화상에서 상기 얼굴 영역의 적부(適否)를 평가하기 위한 참조용 데이터를 작성하는 참조용 데이터 생성 수단과, 상기 참조용 데이터와 미리 준비된 기준 데이터의 근사도를 구하고 구한 근사도를 기초로 상기 얼굴 영역의 적부를 평가하는 얼굴 영역 평가 수단을 포함하여 구성된다.
이 얼굴 식별 장치에서는, 상기 동공 후보점 검출 수단에 있어서 상기 우 동공 후보점과 상기 좌 동공 후보점을 적어도 2군데 이상 검출하고, 상기 참조용 데이터 생성 수단에 있어서 검출된 상기 우 동공 후보점과 좌 동공 후보점의 모든 조합에 대해서 상기 참조용 데이터를 작성하는 것이 바람직하다.
또한 이 얼굴 식별 장치에서는, 상기 얼굴 영역 평가 수단에 있어서 상기 얼굴 영역이 부적당하다고 판단된 경우, 상기 얼굴 영역 평가 수단은 상기 얼굴 영역 추정 수단에 상기 대상 인물의 얼굴 영역을 재추정하도록 요구하는 것이 바람직하고, 상기 얼굴 영역 평가 수단에 있어서 상기 얼굴 영역이 적절하다고 판단된 경우, 상기 얼굴 영역 평가 수단은 동공 후보점 검출 수단에 있어서 검출된 상기 우 동공 후보점과 상기 좌 동공 후보점을 기준으로 하여 상기 얼굴 영역의 보정을 하 는 것이 바람직하다.
또한, 본 발명은 카메라에 의해 촬상된 대상 인물의 촬상 화상을 기초로 상기 대상 인물의 얼굴을 식별하는 방법으로, 상기 카메라로부터 상기 대상 인물까지의 거리를 나타내는 거리 정보, 상기 촬상 화상으로부터 생성한 상기 대상 인물의 윤곽 정보 및 피부색 영역 정보에 근거하여 상기 기준 화상에서의 상기 대상 인물의 얼굴 영역을 추정하는 얼굴 영역 추정 단계와, 상기 거리 정보에 근거하여 상기 얼굴 영역을 기준 크기의 화상으로 변환하여 기준 화상을 생성함과 동시에, 해당 기준 화상에서의 상기 얼굴 영역의 무게 중심을 기준으로 검색 지역을 설정하고, 해당 검색 지역에 포함되는 화소마다 원형 에지를 탐색하며, 소정의 원형 에지가 되는 화소 중에서 상기 대상 인물의 우 동공 후보점과 좌 동공 후보점을 검출하는 동공 후보점 검출 단계와, 상기 우 동공 후보점과 상기 좌 동공 후보점을 연결하는 선분이 상기 기준 화상 내에서 수평이 되도록 상기 기준 화상을 회전한 후에, 상기 우 동공 후보점과 상기 좌 동공 후보점의 간격을 기준으로 정규화 화상을 생성함과 동시에, 해당 정규화 화상에서 상기 얼굴 영역의 적부를 평가하기 위한 참조용 데이터를 작성하는 참조용 데이터 생성 단계와, 상기 참조용 데이터와 미리 준비된 기준 데이터의 근사도를 구하고, 구한 근사도를 기초로 상기 얼굴 영역의 적부를 평가하는 얼굴 영역 평가 단계와, 상기 얼굴 영역 평가 단계에 있어서 상기 얼굴 영역이 적절하다고 판단된 경우, 상기 정규화 화상으로부터 상기 대상 인물의 얼굴 데이터를 작성하는 얼굴 데이터 작성 단계와, 상기 얼굴 데이터 작성 단계에서 작성된 얼굴 데이터를 기억 수단에 등록된 얼굴 데이터와 비교·조합하는 얼굴 식별 단계를 가지는 것을 특징으로 하는 얼굴 식별 방법에 관한 것이다.
또한, 본 발명은 카메라에 의해 촬상된 대상 인물의 촬상 화상을 기초로 상기 대상 인물의 얼굴을 식별하기 위해 컴퓨터를 상기 카메라로부터 상기 대상 인물까지의 거리를 나타내는 거리 정보, 상기 촬상 화상으로부터 생성한 상기 대상 인물의 윤곽 정보 및 피부색 영역 정보에 근거하여 상기 기준 화상에서 상기 대상 인물의 얼굴 영역을 추정하는 얼굴 영역 추정 수단, 상기 거리 정보에 근거하여 상기 얼굴 영역을 기준 크기의 화상으로 변환하여 기준 화상을 생성함과 동시에, 해당 기준 화상에서 상기 얼굴 영역의 무게 중심을 기준으로 검색 지역을 설정하고, 해당 검색 지역에 포함되는 화소마다 원형 에지를 탐색하며, 소정의 원형 에지가 되는 화소 중에서 상기 대상 인물의 우 동공 후보점과 좌 동공 후보점을 검출하는 동공 후보점 검출 수단, 상기 우 동공 후보점과 상기 좌 동공 후보점을 연결하는 선분이 상기 기준 화상 내에서 수평이 되도록 상기 기준 화상을 회전한 후에, 상기 우 동공 후보점과 상기 좌 동공 후보점의 간격을 기준으로 하여 정규화 화상을 생성함과 동시에, 해당 정규화 화상에서 상기 얼굴 영역의 적부를 평가하기 위한 참조용 데이터를 작성하는 참조용 데이터 생성 수단, 상기 참조용 데이터와 미리 준비된 기준 데이터의 근사도를 구하고 구한 근사도를 기초로 상기 얼굴 영역의 적부를 평가하는 얼굴 영역 평가 수단, 상기 얼굴 영역 평가 수단에 있어서 상기 얼굴 영역이 적절하다고 판단된 경우, 상기 정규화 화상에서 상기 대상 인물의 얼굴 데이터를 작성하는 얼굴 데이터 작성 수단, 상기 얼굴 데이터 작성 수단에서 작성된 얼굴 데이터를 기억 수단으로 등록된 얼굴 데이터와 비교·조합하는 얼굴 식별 수단으로서 기능하게 하는 것을 특징으로 하는 얼굴 식별 프로그램을 기억한 컴퓨터 독취 가능한 기록매체에 관한 것이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시 형태를 설명한다. 여기서는, 우선 본 발명에 관련된 얼굴 식별 장치(4)를 포함하는 얼굴 식별 시스템(A)의 구성에 대해 도 1 내지 도 5를 참조하여 설명하고, 그 후 얼굴 식별 시스템(A)의 동작에 대해 도 14 및 도 15를 참조하여 설명한다.
(얼굴 식별 시스템(A)의 구성)
우선, 본 발명에 관련된 얼굴 식별 장치(4)를 포함하는 얼굴 식별 시스템(A)의 전체 구성에 대해 도 1을 참조하여 설명한다. 도 1은 얼굴 식별 시스템(A)의 전체 구성을 나타내는 블록도이다.
도 1에 도시된 바와 같이, 얼굴 식별 시스템(A)은 대상 인물(미도시)을 촬상하는 2대의 카메라(1)(1a, 1b)와, 카메라(1)로 촬상된 화상(촬상 화상)을 해석하여 각종 정보를 생성하는 촬상 화상 해석 장치(2)와, 촬상 화상 해석 장치(2)에서 생성된 각종 정보에 근거하여 대상 인물의 윤곽을 추출하는 윤곽 추출 장치(3)와, 촬상 화상 해석 장치(2)에서 생성된 각종 정보 및 윤곽 추출 장치(3)에서 추출된 대상 인물의 윤곽(윤곽 정보)에 근거하여 대상 인물의 얼굴을 식별하는 얼굴 식별 장치(4)로 구성된다. 이하, 카메라(1), 촬상 화상 해석 장치(2), 윤곽 추출 장치(3), 얼굴 식별 장치(4)에 대해 순서대로 설명한다.
(카메라(1))
카메라(1)(1a, 1b)는 컬러 CCD카메라로서, 오른쪽 카메라(1a)와 왼쪽 카메라(1b)는 좌우에 거리(B)만큼 떨어져 병설되어 있다. 여기서는, 오른쪽 카메라(1a)를 기준 카메라로 하고 있다. 카메라(1a, 1b)에서 촬상된 화상(촬상 화상)은 프레임마다 프레임 그래버(미도시)에 기억된 후, 촬상 화상 해석 장치(2)에 동기하여 입력된다.
그리고, 카메라(1a, 1b)에서 화상(촬상 화상)은 보정 기기(미도시)에 의해 캘리브레이션 처리와 렉티피케이션 처리를 행하고, 화상 보정한 후에 촬상 화상 해석 장치(2)에 입력된다. 또한, 카메라(1)가 이동 카메라로서, 촬상 화상 내의 배경이 변화되는 경우는, 촬상 화상마다의 팬, 틸트 등의 카메라 이동량에 근거하여 촬상 화상을 그 카메라 이동량만큼 보정한다.
(촬상 화상 해석 장치(2))
촬상 화상 해석 장치(2)는 카메라(1a, 1b)로부터 입력된 화상(촬상 화상)을 해석하여 “거리 정보”, “움직임 정보”, “에지 정보”, “피부색 영역 정보”를 생성하는 장치이다.
도 2는 도 1에 도시된 얼굴 식별 시스템(A)에 포함되는 촬상 화상 해석 장치(2)와 윤곽 추출 장치(3)의 구성을 나타내는 블록도이다. 도 2에 도시된 바와 같이, 촬상 화상 해석 장치(2)는 “거리 정보”를 생성하는 거리 정보 생성부(21)와, “움직임 정보”를 생성하는 움직임 정보 생성부(22)와, “에지 정보”를 생성하는 에지 정보 생성부(23)와, “피부색 영역 정보”를 생성하는 피부색 영역 정보 생성부(24)로 구성되어 있다.
(거리 정보 생성부(21))
거리 정보 생성부(21)는 같은 시각에 카메라(1a, 1b)에서 촬상된 2매의 촬상 화상의 시차에 근거하여 각 화소에 대해 카메라(1)로부터의 거리를 검출한다. 구체적으로는, 기준 카메라인 카메라(1a)에서 촬상된 제1 촬상 화상과, 카메라(1b)에서 촬상된 제2 촬상 화상으로부터 블록 상관법을 이용하여 시차를 구하고, 그 시차로부터 삼각법을 이용하여 카메라(1)로부터 각 화소에 촬상된 물건까지의 거리를 찾는다. 그리고, 구한 거리를 제1 촬상 화상의 각 화소에 대응시켜 거리를 화소치로 나타낸 거리 화상(D1)(도 3(a) 참조)을 생성한다. 이 거리 화상(D1)이 거리 정보가 된다. 도 3(a)의 예에서는, 동일한 거리에 대상 인물(C)이 존재한다.
그리고, 블록 상관법이란 제1 촬상 화상과 제2 촬상 화상으로 특정 크기의 동일 블록(예컨대, 16×16 화소)을 비교하고, 제1 촬상 화상과 제2 촬상 화상으로 블록 내의 피사체가 몇 화소만큼 어긋나 있는지를 조사함으로써 시차를 검출하는 방법이다.
(움직임 정보 생성부(22))
움직임 정보 생성부(22)는 기준 카메라인 카메라(1a)에서 시 계열로 촬상한 시각(t)에서의 “촬상 화상(t)”과, 시각(t+1)에서의 “촬상 화상(t+1)”의 차분에 근거하여 대상 인물의 움직임을 검출한다. 구체적으로는, “촬상 화상(t)”과 “촬상 화상(t+1)”의 차분을 취하여 각 화소의 변위를 조사한다. 그리고, 조사한 변위에 근거하여 변위 벡터를 구하고, 구한 변위 벡터를 화소치로 나타낸 차분 화상(D2)(도 3(b) 참조)을 생성한다. 이 차분 화상(D2)이 움직임 정보가 된다. 도 3(b)의 예에서는, 대상 인물(C)의 왼쪽 팔에 움직임이 검출되어 있다.
(에지 정보 생성부(23))
에지 정보 생성부(23)는 기준 카메라인 카메라(1a)에서 촬상된 화상(촬상 화상)에서의 각 화소의 농담(濃淡) 정보 또는 색 정보에 근거하여 그 촬상 화상 내에 존재하는 에지를 추출한 에지 화상을 생성한다. 구체적으로는, 촬상 화상에서의 각 화소의 휘도에 근거하여 휘도가 크게 변화되는 부분을 에지로서 검출하고, 그 에지만으로 이루어지는 에지 화상(D3)(도 3(c) 참조)을 생성한다. 이 에지 화상(D3)이 에지 정보가 된다.
에지의 검출은, 예컨대 소벨(Sobel) 오퍼레이터를 화소마다 승산하고, 행 또는 열 단위로 인접 선분과 소정의 차이가 있는 선분을 에지(횡 에지 또는 종 에지)로서 검출한다. 그리고, 소벨 오퍼레이터란 어느 화소의 근방 영역의 화소에 대해 무게 계수를 갖는 계수 행렬을 의미한다.
(피부색 영역 정보 생성부(24))
피부색 영역 정보 생성부(24)는 기준 카메라인 카메라(1a)에서 촬상된 화상(촬상 화상)으로부터 그 촬상 화상 내에 존재하는 대상 인물의 피부색 영역을 추출한다. 구체적으로는, 촬상 화상에서의 모든 화소의 RGB치를 색상, 명도, 채도로 이루어지는 HLS공간에 변환하고, 색상, 명도, 채도가 미리 설정된 문턱 값의 범위 내에 있는 화소를 피부색 영역으로서 추출한다(도 3(d) 참조). 도 3(d)의 예에서는, 대상 인물(C)의 얼굴이 피부색 영역(R1)으로 추출되며, 손끝이 피부색 영역(R2)으로서 추출되어 있다. 이 피부색 영역(R1, R2)이 피부색 영역 정보가 된다.
촬상 화상 해석 장치(2)에서 생성된 “거리 정보(거리 화상(D1))”, “움직임 정보(차분 화상(D2))”, “에지 정보(에지 화상(D3))”은 윤곽 추출 장치(3)에 입력된다. 또한, 촬상 화상 해석 장치(2)에서 생성된 “거리 정보(거리 화상(D1))”와 “피부색 영역 정보(피부색 영역(R1, R2))”는 얼굴 식별 장치(4)에 입력된다.
(윤곽 추출 장치(3))
윤곽 추출 장치(3)는 촬상 화상 해석 장치(2)에서 생성된 “거리 정보(거리 화상(D1))”, “움직임 정보(차분 화상(D2))”, “에지 정보(에지 화상(D3))”에 근거하여 대상 인물의 윤곽을 추출하는 장치이다(도 1 참조).
도 2에 도시된 바와 같이, 윤곽 추출 장치(3)는 대상 인물이 존재하는 거리인 “대상 거리”를 설정하는 대상 거리 설정부(31)와, “대상 거리”에 근거한 “대상 거리 화상”을 생성하는 대상 거리 화상 생성부(32)와, “대상 거리 화상 내”에서의 “대상 영역”을 설정하는 대상 영역 설정부(33)와, “대상 영역 내”로부터 “대상 인물의 윤곽”을 추출하는 윤곽 추출부(34)로 구성되어 있다.
(대상 거리 설정부(31))
대상 거리 설정부(31)는 촬상 화상 해석 장치(2)에서 생성된 거리 화상(D1)(도 3(a) 참조)과, 움직임 정보 생성부(22)에서 생성된 차분 화상(D2)(도 3(b) 참조)에 근거하여 대상 인물이 존재하는 거리인 “대상 거리”를 설정한다. 구체적으로는, 거리 화상(D1)에서의 동일한 화소치를 가지는 화소를 일군(화소군)으로서, 차분 화상(D2)에서의 상기 화소군의 화소치를 누계한다. 그리고, 화소치의 누계치가 소정치보다 크고, 또한 카메라(1)에 가장 가까운 거리에 있는 영역에 가장 움직임 분량의 많은 이동 물체, 즉 대상 인물이 존재한다고 간주하고, 그 거리를 대상 거리로 한다(도 4(a) 참조). 도 4(a)의 예에서는, 대상 거리는 2.2m으로 설정되어 있다. 대상 거리 설정부(31)에서 설정된 대상 거리는 대상 거리 화상 생성부(32)에 입력된다.
(대상 거리 화상 생성부(32))
대상 거리 화상 생성부(32)는 촬상 화상 해석 장치(2)에서 생성된 거리 화상(D1)(도 3(a) 참조)을 참조하고, 대상 거리 설정부(31)에서 설정된 대상 거리 ±αm에 존재하는 화소에 대응하는 화소를 에지 화상(D3)(도 3(c) 참조)으로부터 추출한 “대상 거리 화상(D4)”을 생성한다. 구체적으로는, 거리 화상(D1)에서의 대상 거리 설정부(31)로부터 입력된 대상 거리 ±αm에 대응하는 화소를 구한다. 그리고, 요구된 화소만을 에지 정보 생성부(23)에서 생성된 에지 화상(D3)(도 3(c) 참조)으로부터 추출하고, 대상 거리 화상(D4)(도 4(b) 참조)을 생성한다. 따라서, 대상 거리 화상(D4)은 대상 거리에 존재하는 대상 인물을 에지로 표현한 화상이 된다. 그리고, 도 3(c)의 예에서는 α는 0.5m으로 설정되어 있다. 대상 거리 화상 생성부(32)에서 생성된 대상 거리 화상(D4)은 대상 영역 설정부(33)와 윤곽 추출부(34)에 입력된다.
(대상 영역 설정부(33))
대상 영역 설정부(33)는 대상 거리 화상 생성부(32)에서 생성된 대상 거리 화상(D4) 내에서의 “대상 영역(T)”을 설정한다. 구체적으로는, 대상 거리 화상(D4)의 종 방향의 화소치를 누계한 히스토그램(H)을 생성하고, 히스토그램(H)에서의 도수가 최대가 되는 위치를 대상 인물(C)의 수평 방향에서의 중심 위치로 특정 한다(도 5(a) 참조). 그리고, 특정된 중심 위치의 좌우에 특정 크기(예컨대, 0.5m)의 범위를 대상 영역(T)으로 설정한다(도 5(b) 참조). 그리고, 대상 영역(T)의 종 방향의 범위는 특정 크기(예컨대, 2m)로 설정된다. 또한, 대상 영역(T)을 설정할 때는, 카메라(1)의 틸트 각이나 카메라(1)의 높이 등 카메라 파라미터를 참조하여 대상 영역(T)의 설정 범위를 보정한다. 대상 영역 설정부(33)에서 설정된 대상 영역(T)은 윤곽 추출부(34)에 입력된다.
(윤곽 추출부(34))
윤곽 추출부(34)는 대상 거리 화상 생성부(32)에서 생성된 대상 영역 화상(D4)(도 4(b) 참조)에 있어서, 대상 영역 설정부(33)에서 설정된 대상 영역(T) 내에서 대상 인물(C)의 윤곽을 추출한다. 구체적으로는, 스네이크(Snakes)라고 불리는 윤곽 추출 수법을 사용하여 대상 인물(C)의 윤곽(O)을 추출한다(도 5(c) 참조). 그리고, 이 윤곽 추출 수법은 스네이크라고 불리는 폐곡선으로 이루어지는 동적 윤곽 모델을 사용하고, 미리 정의한 에너지를 최소화하도록 폐곡선을 수축 변형시킴으로써 물체의 윤곽을 추출하는 수법이다. 윤곽 추출부(34)에서 추출된 대상 인물(C)의 윤곽(O)은 “윤곽 정보”로서 얼굴 식별 장치(4)에 입력된다(도 1 참조).
(얼굴 식별 장치(4))
도 6은 도 1에 도시된 얼굴 식별 시스템(A)에 포함되는 얼굴 식별 장치(4)의 구성을 나타내는 블록도이다.
얼굴 식별 장치(4)는 윤곽 추출 장치(3)로부터 입력되는 윤곽 정보, 그리고 촬상 화상 해석 장치(2)로부터 입력되는 피부색 영역 정보 및 거리 정보에 근거하 여 대상 인물의 촬상에 의해 얻어진 촬상 화상에서 대상 인물의 얼굴이 존재한다고 예상되는 영역(얼굴 추정 영역)을 추정하며, 이 얼굴 추정 영역이 대상 인물의 얼굴 식별에 바람직하게 이용되는지의 여부를 판단하고, 바람직하게 이용된다고 판단한 경우에만 대상 인물의 식별을 하며, 바람직하게 이용될 수 없다고 판단한 경우에는, 바람직하게 이용할 수 있는 얼굴 추정 영역의 재추정 등을 하는 것이다.
도 1 및 도 6에 도시된 바와 같이, 얼굴 식별 장치(4)는 얼굴 영역 추정 수단(50)과, 동공 후보점 검출 수단(60)과, 참조용 데이터 생성 수단(70)과, 얼굴 영역 평가 수단(80)과, 얼굴 식별 수단(90)과, 기억 수단(100)으로 구성된다.
기억 수단(100)에는, 얼굴 데이터베이스와, 동공 데이터베이스와, 얼굴 데이터베이스 및 동공 데이터베이스의 각각에 맞추어 생성된 고유 공간을 규정하는 얼굴과 동공의 고유 벡터가 등록되어 있다.
얼굴 데이터베이스로는 개인의 얼굴을 고유 벡터의 선형 합으로 나타낸 때의 계수가 복수 인원수만큼 등록되어 있다.
동공 데이터베이스로는 개인의 동공을 고유 벡터의 선형 합으로 나타낸 때의 계수가 복수 인원수만큼 등록되어 있다.
얼굴의 고유 벡터는 충분한 분산을 가진 복수의 정규화된 얼굴 화상을 주성분 분석하여 얻어진 고유 벡터 중 기여율이 높은 것이다.
동공의 고유 벡터는 충분한 분산을 가진 복수의 정규화된 동공 화상을 주성분 분석하여 얻어진 고유 벡터 중 기여율이 높은 것이다.
(얼굴 영역 추정 수단(50))
얼굴 영역 추정 수단(50)은 윤곽 추출 장치(3)로부터 입력되는 윤곽 정보 그리고 촬상 화상 해석 장치(2)로부터 입력되는 피부색 영역 정보 및 거리 정보에 근거하여 카메라(1)에서 촬상된 화상(촬상 화상)으로부터 대상 인물의 얼굴이 존재할 만한 영역(얼굴 추정 영역)을 결정하는 것이다.
이 얼굴 영역 추정 수단(50)은 얼굴 영역 검색부(51)를 포함하여 구성된다.
이 얼굴 영역 추정 수단(50)의 얼굴 영역 검색부(51)는 대상 인물의 촬상에 의해 얻어진 촬상 화상 중에서 대상 인물의 얼굴이 존재한다고 추정되는 영역(얼굴 추정 영역)을 검색하는 것이다.
구체적으로는, 도 7(a)에 도시된 바와 같이, 얼굴 영역 검색부(51)는 윤곽 추출 장치(3)로부터 입력된 윤곽 정보를 참조하고, 촬상 화상 내에 있어서 대상 인물이 존재하는 영역(대상 인물 존재 영역)을 확인한다. 그리고, 얼굴 영역 검색부(51)는 촬상 화상 해석 장치(2)로부터 입력된 피부색 영역 정보를 참조하고, 대상 인물 존재 영역에 포함되는 피부색 영역을 확인하며, 확인된 피부색 영역과 그 근방의 영역을 검색 영역으로 설정한다. 그리고, 이 검색 영역을 미리 준비된 타원형의 얼굴 템플레이트로 주사하여 이 얼굴 템플레이트와 소정의 적합도를 나타내는 피부색 영역을 얼굴 추정 영역으로 한다.
본 실시 형태에서는, 얼굴 템플레이트의 타원 내에 포함되는 피부색 영역의 면적의 비율(면적 비율), 얼굴 템플레이트의 에지와 피부색 영역의 에지의 중첩 정도(에지 적합도)를 각각 구하고, 면적 비율이나 에지 적합도가 소정의 문턱 값을 넘을 때, 얼굴 템플레이트의 타원이 위치하는 피부색 영역을 얼굴 추정 영역으로 결정하고 있다.
그리고, 얼굴 영역 검색부(51)는 얼굴 추정 영역이 촬상 화상에 있어서 어디에 존재하는지를 나타내는 데이터(얼굴 추정 영역 데이터)를 생성함과 동시에, 얼굴 추정 영역에 포함되는 화소의 화소치를 참조하여 이 얼굴 영역과 카메라(1)의 거리를 나타내는 거리 데이터를 생성한다.
그리고, 얼굴 영역 검색부(51)는 얼굴 추정 영역 데이터와 거리 데이터를 동공 후보점 검출 수단(60)의 기준 화상 생성부(61)에 출력한다.
(동공 후보점 검출 수단(60))
동공 후보점 검출 수단(60)은 얼굴 추정 영역 중에서 대상 인물의 왼쪽 눈이 존재한다고 예상되는 영역(왼쪽 눈 후보점)과, 오른쪽 눈이 존재한다고 예상되는 영역(오른쪽 눈 후보점)을 검출하는 것이다.
이 동공 후보점 검출 수단(60)은 기준 화상 생성부(61)와, 동공 검색 영역 설정부(62)와, 동공 후보점 검출부(63)를 포함하여 구성된다.
기준 화상 생성부(61)는 얼굴 영역 검색부(51)로부터 출력된 얼굴 추정 영역 데이터와 거리 데이터에 근거하여 대상 인물의 촬상에 의해 얻어진 촬상 화상을 확대 축소하고, 소정 거리에서의 화상과 동등한 크기의 화상(기준 화상)으로 조정하는 것이다.
구체적으로는, 기준 화상 생성부(61)는 얼굴 영역 검색부(51)로부터 입력된 거리 데이터를 참조하여 카메라(1)로부터 대상 인물의 얼굴 추정 영역(대상 인물의 안)까지의 거리를 구한다. 그리고, 소정 거리가 1m으로 설정되어 있는 경우에는, 촬상 화상의 크기를 카메라(1)로부터 얼굴 추정 영역까지의 거리가 1m의 경우에 상당하는 크기의 화상으로 조정하여 이것을 기준 화상으로 한다.
즉, 기준 화상 생성부(61)는 카메라(1)로부터 대상 인물의 얼굴 추정 영역까지의 거리가 1.5m인 경우, 촬상 화상의 크기를 거리가 1m인 경우에 상당하는 크기의 화상으로 확대하고, 거리가 0.5m인 경우, 촬상 화상의 크기를 거리가 1m인 경우에 상당하는 크기의 화상으로 축소한다.
여기서, 이 기준 화상은 촬상 화상을 α배 하여 생성할 수 있으며, α는 다음 식과 같은 관계에 있다.
α=(얼굴 추정 영역 내의 화소 거리값의 평균)/소정 거리
여기서, 후술하는 참조용 데이터 생성 수단(70)의 정규화 처리부(73)에 있어서, 대상 인물의 좌우 동공의 사이 거리가 소정 픽셀(예컨대, N픽셀)이 되도록 정규화 처리가 행해지기 때문에, 본 실시 형태에서는 기준 화상에서의 대상 인물의 좌우 동공의 사이 거리가 거의 같은 픽셀수, 즉 N픽셀이 되는 크기의 기준 화상으로 하는 것이 바람직하다.
예컨대, 초점 거리가 fmm, 셀 크기가 Cmm/pix의 카메라인 경우, 인간 동공의 사이 거리(L)는 평균 65mm이기 때문에, N픽셀이 65mm이 되는 거의 소정 거리X는 상기 값을 다음 식으로 대입하여 구할 수 있다.
X=fL/NC=65f/NC
따라서, 이 소정 거리는 카메라(1)의 초점 거리나 셀 크기에 따라 변경되는 것이다.
그리고, 기준 화상 생성부(61)는 생성한 기준 화상을 가리키는 데이터(기준 화상 데이터)를 동공 검색 영역 설정부(62)와, 참조용 데이터 생성 수단(70)의 정규화 처리부(73)로 출력한다.
그리고, 본 실시 형태에서는 촬상 화상을 확대 축소하여 소정 거리에서의 화상과 같은 스케일의 화상으로 한 것 그 자체를 기준 화상으로 하고 있지만, 이 기준 화상 중에서 얼굴 추정 영역을 포함한 그 주변 영역을 소정의 크기로 잘라 낸 것(도 7(b))을 기준 화상으로 하는 구성으로 해도 된다.
이 경우, 기준 화상의 정보량을 줄일 수 있기 때문에, 이 기준 화상 생성부(61)의 후단에 위치하는 동공 검색 영역 설정부(62), 동공 후보점 검출부(63), 그리고 참조용 데이터 생성 수단(70)에서의 처리 때의 부담을 경감할 수 있다.
그리고, 본 실시 형태에서는 설명 편의상, 기준 화상 중에서 얼굴 추정 영역의 주변을 잘라 낸 것(도 7(b))을 기준 화상으로서, 이하의 설명을 실시한다.
동공 검색 영역 설정부(62)는 얼굴 추정 영역의 무게 중심(G)을 기준으로 대상 인물의 오른쪽 눈(右目)을 검색하는 영역(오른쪽 눈 영역(R))과, 왼쪽 눈(左目)을 검색하는 영역(왼쪽 눈 영역(L))을 기준 화상 중에서 설정하는 것이다.
구체적으로는, 도 8(a)에 도시된 바와 같이, 동공 검색 영역 설정부(62)는 얼굴 영역 검색부(51)에 있어서 생성된 얼굴 추정 영역 데이터를 참조하여 얼굴 추정 영역의 무게 중심(G)을 구하고, 무게 중심(G)이 기준 화상 내의 어느 위치에 있는지를 기준 화상 생성부(61)로부터 입력된 기준 화상 데이터를 참조하여 결정한다.
그리고, 기준 화상 내에 있어서 이 무게 중심(G)을 중심으로 위쪽에 몇 픽셀(화소), 아래쪽에 몇 픽셀, 왼쪽에 몇 픽셀 그리고 오른쪽에 몇 픽셀이라는 소정 크기의 범위를 기준 화상에서 설정한다.
본 실시 형태에서는, 오른쪽 눈 후보점과 왼쪽 눈 후보점을 검출하기 위해 오른쪽 눈 후보점 검색용으로 설정된 영역(오른쪽 눈 영역(R))과, 왼쪽 눈 후보점 검색용으로 설정된 영역(왼쪽 눈 영역(L))이 설정되게 되다(도 8(a) 참조).
그리고, 각 영역(오른쪽 눈 영역(R)과 왼쪽 눈 영역(L))은 무게 중심(G)을 기준으로 위쪽이 넓으며 아래쪽이 좁고, 기준 화상의 중심 쪽이 좁고 기준 화상의 양쪽이 넓어지도록 하는 범위에서 설정되어 있다.
이와 같이, 무게 중심(G)을 기준으로 하는 것은 검출된 얼굴 추정 영역의 좌우 방향에서의 중심을 기준으로 하여 오른쪽 눈 영역과 왼쪽 눈 영역을 설정하면, 촬상 화상에 있어서 대상 인물의 얼굴이 기울어져 있는 경우에는 설정된 오른쪽 눈 영역과 왼쪽 눈 영역 중에 대상 인물의 동공이 포함되지 않는 일이 있을 수 있기 때문이다.
또한, 본 실시 형태에서는 피부색 영역 정보를 이용하여 얼굴 추정 영역을 결정했으므로, 조명에 의한 음영 때문에 피부색 영역이 바르게 검출할 수 없어 무게 중심(G)과 본래의 얼굴 중심이 어긋나는 일이 있다.
예컨대, 대상 인물의 목에 상당하는 피부색 영역도 포함한 형태로 얼굴 추정 영역이 결정된 경우, 무게 중심(G)은 본래 선택되어야 하는 얼굴 추정 영역의 무게 중심보다 아래쪽에 위치하고, 대상 인물의 동공과 무게 중심(G)이 떨어져 버리는 일이 고려될 수 있다. 따라서, 이와 같은 경우라도 오른쪽 눈 후보점과 왼쪽 눈 후보점의 검색이 가능하게 되도록 하기 위해, 각 영역(오른쪽 눈 영역(R)과 왼쪽 눈 영역(L))을 넓게, 특히 무게 중심(G)을 기준으로 한 위쪽을 넓게 취하고 있다.
도 9(a)는, 기준 화상에 있어서 설정된 오른쪽 눈 영역(R)과 왼쪽 눈 영역(L)의 확대도이다. 도면에서 명백한 바와 같이, 설정된 오른쪽 눈 영역(R)과 왼쪽 눈 영역(L) 내에서는, 대상 인물의 눈 주변의 영역이 복수 화소의 농담으로 표현되어 있다.
동공 후보점 검출부(63)는 설정한 오른쪽 눈 영역(R)과 왼쪽 눈 영역(L) 중에 포함되는 화소마다 원형 에지를 탐색하고, 소정의 원형 에지가 되는 화소, 즉 원형 에지 강도가 높은 화소 중에서 상기 동공 후보점을 검출하는 것이다.
구체적으로는, 동공 후보점 검출부(63)는 오른쪽 눈 영역(R)과 왼쪽 눈 영역(L)을 각각 원형 에지 필터로 주사하고, 각 영역에 포함되는 화소(픽셀)마다 원형도 값을 계산한다. 그리고, 원형도 값의 값이 가장 높은 화소를 각 영역에서 검출하고, 이것을 동공 후보점으로 한다. 이에 따라, 각 영역에 있어서 적어도 하나의 동공 후보점이 검출되게 된다.
여기서, 본 실시 형태에서 사용하는 원형 에지 필터는 도 8(b)에 도시된 바와 같이, 반경이 다른 복수 링으로 구성되어 있고, 다음 식에서 구한 원형도 값이 이 원형 에지 필터의 중심부가 위치하는 화소의 원형도 값으로서 취급되고 있다.
원형도 값=(영역(1)의 평균 휘도 레벨)/(영역(2)의 평균 휘도 레벨)
이 원형도 값은 복수 링의 중앙부(e)가 위치하는 화소에 대해 해당 화소를 중심으로 하는 원형이 주위에 있는지 여부를 나타내는 것으로, 상기 식의 영역(1), 영역(2)은 도 8(b)에 있어서, 예컨대 (a, b), (b, c) 등 2개의 영역을 나타낸다. 이 원형도 값의 값이 높을수록 원형이 존재하는 것, 즉 원형 에지 강도가 높은 것을 의미하는 것이다.
본 실시 형태에서는, 동공 후보점 검출부(63)는 각 영역(오른쪽 눈 영역(R)과 왼쪽 눈 영역(L)) 각각에 있어서, 원형도의 값이 높은 화소 중 상위 3개 화소를 동공 후보점으로서 검출한다. 그리고, 검출된 각 동공 후보점에 식별 번호를 부여한다. 즉, 도 9(a)에 도시된 바와 같이, 오른쪽 눈 영역(R) 내에서 검출된 동공 후보점을 순서대로 우 동공 후보점(R1, R2, R3)과, 왼쪽 눈 영역(L) 내에서 검출된 동공 후보점을 순서대로 좌 동공 후보점(L1, L2, L3)으로서 정한다.
그리고, 동공 후보점 검출부(63)는 동공 후보점 각 영역 내(오른쪽 눈 영역(R)과 왼쪽 눈 영역(L))에서의 위치를 가리키는 위치 정보와 해당 동공 후보점에 해당하는 식별 번호를 나타내는 동공 후보점 데이터를 각 동공 후보점에 대해 생성하고, 생성한 동공 후보점 데이터를 참조용 데이터 생성 수단(70)에 출력한다.
그리고, 본 실시 형태에서는 동공 후보점의 검출을 기준 화상에 있어서 설정된 오른쪽 눈 영역(R)과 왼쪽 눈 영역(L)에 포함되는 화소마다 원형도 값을 구하여 행하고 있지만, 검은색 원형의 템플레이트를 사용한 패턴 매칭에 의해 동공 후보점을 검색하는 구성으로 해도 된다.
(참조용 데이터 생성 수단(70))
참조용 데이터 생성 수단(70)은 검출된 우 동공 후보점과 좌 동공 후보점 모든 조합에 대해 각 조합에 포함되는 우 동공 후보점과 좌 동공 후보점을 기준으로 기준 화상의 정규화 처리를 하여 참조용 데이터를 생성하는 것이다.
여기서, 참조용 데이터란 이 참조용 데이터 생성 수단(70)의 후단에 위치하는 얼굴 영역 평가 수단(80)으로 행해지는 얼굴 영역 평가에 사용되는 데이터로서, 선택된 오른쪽 눈 후보점과 왼쪽 눈 후보점의 조합이 대상 인물의 식별에 적절한지 여부의 판단에 사용되는 데이터이다.
이 참조용 데이터 생성 수단(70)은 동공 페어 설정부(71)와, 동공 페어 조정부(72)와, 정규화 처리부(73)와, 참조용 데이터 생성부(74)로 구성된다.
동공 페어 설정부(71)는 동공 후보점 검출부(63)에 있어서 검출된 우 동공 후보점과 좌 동공 후보점의 조합을 설정하는 것이다.
구체적으로는, 동공 페어 설정부(71)는 동공 후보점 검출 수단(60)으로부터 입력된 동공 후보점 데이터를 참조하고, 왼쪽 눈 후보점의 숫자와 오른쪽 눈 후보점의 숫자를 확인하여 왼쪽 눈 후보점과 오른쪽 눈 후보점의 모든 조합을 설정한다.
본 실시 형태에서는 도 9(a)에 도시된 바와 같이, 왼쪽 눈 영역과 오른쪽 눈 영역에는, 우 동공 후보점과 좌 동공 후보점이 각각 3개씩 포함되어 있으므로, 도 9(b)에 나타내는 도합 9개의 조합(페어(1)∼페어(9))이 설정된다.
따라서, 왼쪽 눈 후보점과 오른쪽 눈 후보점의 숫자가 각각 2개씩인 경우에는, 도합 4개의 조합이 동공 페어 설정부(71)에 의해 설정되게 된다.
그리고, 동공 페어 설정부(71)는 도 9(b)에 나타내는 바와 같은 내용의 정보를 조합 정보로서 동공 페어 조정부(72)에 출력한다.
동공 페어 조정부(72)는 동공 페어 설정부(71)에 있어서 설정된 조합(페어(1)∼페어(9)) 중에서 좌 동공 후보점과 우 동공 후보점의 기하 배치 타당성 등을 기준으로 동공 후보점의 선별을 하는, 즉 명백히 동공에 상당하지 않는 동공 후보점을 포함하는 페어를 제외하는 것이다.
구체적으로는, 동공 페어 조정부(72)는 각 페어의 좌 동공 후보점과 우 동공 후보점 사이 거리(d)를 구하고(도 10(a) 참조), 이 구한 거리(d)가 소정의 범위에 속하지 않는 경우 해당 페어를 제외한다.
본 실시 형태의 경우, 거리 정보에 근거하여 기준 화상이 생성되어 있으므로, 해당 기준 화상에 포함되는 2점(화소) 사이의 거리를 구할 수 있다. 즉, 동공 후보점 데이터에 포함되는 위치 정보로부터 우 동공 후보점과 좌 동공 후보점의 거리(d)를 구할 수 있다.
따라서, 계산에 의해 구한 거리(d)의 값이 소정의 범위에 속하지 않은 경우, 해당 동공 페어에 포함되는 우 동공 후보점과 좌 동공 후보점 중 적어도 한쪽이 동공에 상당하지 않는다고 판단할 수 있게 된다.
그리고, 여기서 사용하는 소정의 범위는 사람의 동공 사이의 평균 거리 65mm을 기준으로 임의로 설정되는 것이다.
이와 같이, 명백히 동공에 상당하지 않는다고 생각되는 동공 후보점을 포함하는 페어를 이 동공 페어 조정부(72)에서 제외하는 것은:
1) 도 8(a) 및 도 9(a)에 도시된 바와 같이, 검색된 동공 후보점(오른쪽 눈 후보점(R1∼R3)과 왼쪽 눈 후보점(L1∼L3)) 중에는 동공에 상당하지 않는 영역, 예컨대 눈썹에 상당하는 영역도 포함되어 있으므로, 동공에 상당하지 않는 동공 후보점(R1, R2, L1)이 포함되는 조합을 제외하고, 이 동공 페어 조정부(72)의 후단에 위치하는 정규화 처리부(73)에서의 처리를 경감할 수 있다;
2) 이 동공 페어 조정부(72)에서의 처리에 의해, 명백히 동공에 상당하지 않는 영역을 제외할 수 있기 때문에, 각 동공 검색 영역에서 검출되는 동공 후보점의 숫자를 늘려 동공 후보점 검출 정확도의 향상을 꾀할 수 있다는 이유에 의한 것이다.
따라서, 도 10(b)에 도시된 바와 같이, 왼쪽 눈 후보점과 오른쪽 눈 후보점의 거리(d)뿐 아니라, 왼쪽 눈 후보점과 오른쪽 눈 후보점을 연결하는 선분(A)과 수평선(B)의 교차각(α)을 구하여 이 α가 소정 각도 이상이 되는 페어를 제외하는 구성으로 하는 것도 가능하다.
이 경우, 대상 인물의 얼굴이 기울어진 상태에서 촬상된 경우를 고려하여 이 소정 각도(α)는 20도 정도로 설정되어 있는 것이 바람직하다.
따라서, 이 경우 교차각(α)이 20도 이상이 되는 페어은 제외되게 된다.
그리고, 동공 페어 조정부(72)는 제외되지 않은 페어를 정규화 처리 대상이 되는 페어(정규화 대상 페어)으로 결정하고, 어떤 페어이 정규화 처리 대상인지를 나타내는 정보와 해당 페어에 포함되는 동공 후보점(우 동공 후보점과 좌 동공 후 보점)에 대한 데이터(동공 후보점 데이터)를 포함하는 정보(정규화 대상 정보)를 생성하고 이것을 정규화 처리부(73)에 출력한다.
예컨대, 도 9(b)에 나타내는 페어 중, 페어(2), 페어(3) 그리고 페어(9)이 문턱 값으로 설정된 범위에 속하지 않는 경우에는, 동공 페어 조정부(72)는 페어(1), 페어(4), 페어(5), 페어(6), 페어(7) 그리고 페어(8)을 정규화 대상 페어으로 결정하고, 정규화 대상 페어으로 결정된 페어를 나타내는 정보와, 해당 페어에 포함되는 동공 후보점에 대한 동공 후보점 데이터를 포함하여 구성되는 정규화 대상 정보를 생성하여 이것을 정규화 처리부(73)에 출력한다.
그리고, 모든 페어이 제외된 경우, 동공 페어 조정부(72)는 페어 부재(不在) 정보를 얼굴 영역 평가 수단(80)에 출력한다.
정규화 처리부(73)는 정규화 대상 페어에 포함되는 동공 후보점(오른쪽 눈 후보점과 왼쪽 눈 후보점)을 기준으로 기준 화상에서의 얼굴 추정 영역에서 정규화 얼굴 화상을 생성하는 것이다.
구체적으로는, 정규화 처리부(73)는 동공 페어 조정부(72)로부터 출력된 정규화 대상 정보를 참조하여, 정규화 처리 대상이 되는 페어를 확인한다. 그리고, 정규화 처리 대상이 되는 페어 각각에 대해 각 페어에 포함되는 오른쪽 눈 후보점과 왼쪽 눈 후보점의 간격을 기준으로 기준 얼굴 화상 내의 얼굴 추정 영역의 정규화 처리를 하며, 소정 화소의 영역(M×M화소로 표현되는 영역)으로 구성되는 정규화 얼굴 화상을 작성한다.
본 실시 형태에서는, 도 11에 도시된 바와 같이, 정규화 처리부(73)는 오른 쪽 눈 후보점의 중심과 왼쪽 눈 후보점의 중심을 연결하는 선분이 기준 화상 내에서 수평이 되도록 얼굴 영역 추정 수단(50)에 있어서 추정된 얼굴 추정 영역을 회전한다. 그리고, 동공 후보점(오른쪽 눈 후보점과 왼쪽 눈 후보점)의 위치가 소정 화소 영역의 높이 방향에서의 밑에서 3/4의 위치에 배치됨과 동시에, 오른쪽 눈 후보점과 왼쪽 눈 후보점 사이가 소정 화소(N화소)로 표현되도록 회전 후의 얼굴 추정 영역을 확대·축소하여 정규화 얼굴 화상을 작성한다.
따라서, 페어(1), 페어(4), 페어(5), 페어(6), 페어(7) 그리고 페어(8)이 정규화 대상 페어인 경우, 도합 6개의 정규화 얼굴 화상이 정규화 처리부(73)에 있어서 작성되게 된다.
그리고, 정규화 처리부(73)는 정규화 처리에 의해 얻어진 정규화 얼굴 화상을 참조용 데이터 생성부(74)에 출력한다(도 6 참조).
참조용 데이터 생성부(74)는 정규화 처리부(73)로부터 입력된 정규화 얼굴 화상에서 참조용 데이터를 생성하는 것이다. 여기서, 참조용 데이터란 이 참조용 데이터 생성부(74) 후단에 위치하는 얼굴 영역 평가 수단(80)에서 행해지는 얼굴 영역 평가에 사용되는 데이터로서, 선택된 오른쪽 눈 후보점과 왼쪽 눈 후보점의 조합이 대상 인물의 식별에 적절한지 여부의 판단에 사용되는 데이터다.
구체적으로는, 도 12에 도시된 바와 같이, 참조용 데이터 생성부(74)는 정규화 처리부(73)로부터 입력된 정규화 얼굴 화상 중에서 왼쪽 눈 후보점을 포함한 그 주변 영역(왼쪽 눈 정규화 화상)과 오른쪽 눈 후보점을 포함한 그 주변 영역(오른쪽 눈 정규화 화상)을 설정하고, 설정된 각 영역에 포함되는 화소의 값을 벡터로 표현하는 것이다.
여기서, 왼쪽 눈 정규화 화상을 벡터로 표현한 것을 왼쪽 눈 참조용 벡터, 오른쪽 눈 정규화 화상을 벡터로 표현한 것을 오른쪽 눈 참조용 벡터라고 하면, 참조용 데이터 생성부(74)는 왼쪽 눈 참조용 벡터와, 오른쪽 눈 참조용 벡터와 그리고 이들 벡터가 어느 정규화 대상 페어으로부터 생성된 벡터인지를 나타내는 정보를 포함하여 구성되는 참조용 데이터를 정규화 대상 페어마다 생성하고, 생성한 참조용 데이터를 얼굴 영역 평가 수단(80)에 출력한다.
따라서, 페어(1), 페어(4), 페어(5), 페어(6), 페어(7) 그리고 페어(8)이 정규화 대상 페어인 경우, 도합 6개의 참조용 데이터가 얼굴 영역 평가 수단(80)에 출력된다.
또한, 참조용 데이터 생성부(74)는 후술하는 얼굴 영역 평가 수단(80)으로부터 입력되는 식별 대상 정보를 참조하고, 해당 식별 대상 정보에 있어서 제시된 페어(예컨대, 페어(8))에 대해 작성된 정규화 얼굴 화상을 얼굴 식별 수단(90)에 출력한다.
얼굴 영역 평가 수단(80)은 참조용 데이터 생성부(74)로부터 출력된 참조용 데이터에 근거하여 정규화 대상 페어으로 결정된 페어 중에서,
1) 어느 페어에 포함되는 왼쪽 눈 후보점과 오른쪽 눈 후보점이 대상 인물의 왼쪽 눈과 오른쪽 눈을 나타내는 것으로 적절한지,
2) 얼굴 영역 추정 수단(50)의 얼굴 영역 검색부(51)에 검색된 얼굴 추정 영역이 대상 인물의 얼굴 식별에 적절한지를 판단하는 것이다.
구체적으로는, 얼굴 영역 평가 수단(80)은 왼쪽 눈 참조용 벡터와 기억 수단(100) 내에 기억된 왼쪽 눈 고유 벡터와의 근사도인 거리값(Ll)을 구한다. 또한, 얼굴 영역 평가 수단(80)은 오른쪽 눈 참조용 벡터에 대해서도 기억 수단(100) 내에 기억된 오른쪽 눈 고유 벡터와의 근사도인 거리값(Lr)을 구한다.
그리고, 여기에서의 계산은, 이른바 고유 얼굴 수법을 이용하여 DFES(Difference From Eye Space: 눈 공간에서의 거리) 계산에 의해 유클리드 거리를 구함으로써 행해진다.
그리고, 얼굴 영역 평가 수단(80)은 이 거리값(Ll, Lr)을 모든 정규화 대상 페어에 대해 구하고, 그 중에서 거리값의 값이 가장 적은 정규화 대상 페어를 검색한다. 그리고, 거리값의 값이 가장 작은 해당 정규화 대상 페어의 거리값을 소정의 문턱 값과 비교한다.
예컨대, 페어(1), 페어(4), 페어(5), 페어(6), 페어(7) 그리고 페어(8)에 대응하는 참조용 벡터가 얼굴 영역 평가 수단(80)에 입력되어 있고, 페어(8)의 거리값이 가장 작은 값을 나타낸 경우, 얼굴 영역 평가 수단(80)은 이 페어(8)의 거리값을 소정의 문턱 값과 비교한다.
그리고, 이 거리값이 소정의 문턱 값보다 적은 경우, 즉 근사도가 충분히 높은 경우, 얼굴 영역 평가 수단(80)은 페어(8)에 포함되는 동공 후보점(좌 동공 후보점과 우 동공 후보점)이 대상 인물의 왼쪽 눈과 오른쪽 눈을 나타내는 것으로 적절하고, 얼굴 영역 추정 수단(50)에서 검색된 얼굴 추정 영역이 대상 인물의 얼굴 식별에 적절한 얼굴 영역으로 결정한다.
그리고, 적절하다고 결정된 정규화 대상 페어(여기서는, 페어(8))을 나타내는 식별 대상 정보를 참조용 데이터 생성부(74)에 출력한다.
이것을 이어받아 참조용 데이터 생성부(74)는 정규화 대상 페어(여기에서는, 페어(8))에 대해 생성된 정규화 얼굴 화상을 얼굴 식별 수단(90)에 출력하게 된다.
한편, 거리값이 소정의 문턱 값보다 큰 경우나, 동공 페어 조정부(72)로부터 페어 부재 정보가 입력된 경우, 얼굴 영역 추정 수단(50)에서 검색된 얼굴 추정 영역은 대상 인물의 얼굴 식별에 부적절하다고 간주하고, 얼굴 영역 평가 수단(80)은 얼굴 추정 영역의 재검색을 명령하는 신호(얼굴 영역 재검색 명령 신호)를 얼굴 영역 추정 수단(50)에 출력한다.
이에 따라, 얼굴 영역 추정 수단(50)은 촬상 화상 내에서 새롭게 얼굴 추정 영역을 결정하거나 촬상 화상에서의 다른 프레임으로부터 새롭게 얼굴 추정 영역을 결정하게 된다.
따라서, 도 13에 도시된 바와 같이, 얼굴 영역 추정 수단(50)에 있어서 얼굴 추정 영역을 결정할 때에, 얼굴이 존재하지 않는 영역을 얼굴 추정 영역으로 결정한 경우, 예컨대 대상 인물의 목 영역을 얼굴 추정 영역으로 결정한 경우나 이마 부근의 영역을 얼굴 추정 영역으로 결정한 경우, 결정된 얼굴 추정 영역에서 구한 참조용 벡터와 기억 수단(100)에 기억된 고유 벡터 공간 사이의 거리값이 커지기 때문에, 결정된 얼굴 추정 영역이 부적절한 영역임을 확인하는 것이 가능하게 된다.
(얼굴 식별 수단(90))
얼굴 식별 수단(90)은 정규화 얼굴 화상에서 구한 특징 파라미터를 기초로 기억 수단(100)을 참조하고, 해당 기억 수단(100) 중에 특징 파라미터가 등록된 인물군 내에서 구한 특징 파라미터에 가장 가까운 특징 파라미터를 가지는 인물을 검색하는 것이다.
구체적으로는, 얼굴 식별 수단(90)은 참조용 데이터 생성부(74)로부터 입력된 정규화 얼굴 화상의 특징 추출에 의해 대상 인물의 얼굴을 나타내는 특징 파라미터를 구하고, 구한 특징 파라미터를 기초로 기억 수단(100)을 참조한다. 그리고, 해당 기억 수단(100)에 특징 파라미터가 등록된 인물군 내에서 참조용 데이터 생성부(74)로부터 입력된 정규화 얼굴 화상의 특징 추출에 의해 얻어진 특징 파라미터에 가장 가까운 특징 파라미터를 가지는 인물을 검색한다.
본 실시 형태에 있어서, 참조용 데이터 생성부(74)로부터 입력된 정규화 얼굴 화상이 페어(8)에 대해 작성된 것인 경우, 페어(8)을 기준으로 생성된 정규화 얼굴 화상의 특징 파라미터를 구한다. 그리고, 구한 특징 파라미터에 가장 가까운 특징 파라미터를 가지는 인물을 기억 수단(100) 중에서 검색한다.
여기서, 특징 파라미터에 가장 가까운 특징 파라미터를 가지는 인물의 검색은 생성된 특징 파라미터와, 기억 수단(100)에 기억된 각 인물의 특징 파라미터 사이의 차이가 어느 문턱 값 이하가 되는 것을 기억 수단(100)에 있어서 검색하고, 이 조건을 충족시키는 특징 파라미터를 가지는 얼굴 데이터가 특징 파라미터가 합치하는 얼굴 데이터로서 취급된다(도 12 참조).
그리고, 얼굴 식별 수단(90)은 기억 수단(100) 내에 특징 파라미터가 합치하 는 얼굴 데이터가 존재하는 경우에는, 해당 얼굴 데이터의 성명 정보를 참조하고, 대상 인물이 누구인지를 인식하여 인식 결과를 출력한다.
한편, 특징 파라미터가 합치하는 얼굴 데이터가 존재하지 않는 경우에는, 대상 인물이 등록되어 있지 않는다라는 인식 결과를 출력한다.
(얼굴 식별 장치에서의 처리 동작)
다음에, 도 1에 나타내는 블록도, 그리고 도 14에 나타내는 플로우 차트를 참조하여 얼굴 식별 장치(4)에서 행해지는 처리에 대해 상세하게 설명한다.
도 1에 나타내는 촬상 화상 해석 장치(2)에 의해 대상 인물(C)의 촬상이 행해지고, 촬상 화상 해석 장치(2)로부터 거리 정보 및 피부색 영역 정보가, 윤곽 추출 장치(3)로부터 윤곽 정보가 얼굴 식별 장치(4)로 각각 입력되면, 얼굴 영역 추정 수단(50)의 얼굴 영역 검색부(51)는 윤곽 정보와 피부색 정보를 참조하여, 대상 인물의 촬상에 의해 얻어진 촬상 화상 내에서의 피부색 영역과 그 근방의 영역을 검색 영역으로 설정하고, 이 검색 영역을 미리 준비된 타원형의 얼굴 템플레이트로 주사하여 이 얼굴 템플레이트와 소정의 적합도를 나타내는 영역을 얼굴 추정 영역으로 한다(S301).
그리고, 얼굴 영역 검색부(51)는 얼굴 추정 영역이 촬상 화상에 있어서 어디에 존재하는지를 나타내는 데이터(얼굴 추정 영역 데이터)와 함께 해당 얼굴 추정 영역에 포함되는 화소의 화소 값을 참조하여 이 얼굴 추정 영역과 카메라(1)의 거리를 나타내는 거리 데이터를 생성한다(S302).
이어서, 동공 후보점 검출 수단(60)의 기준 화상 생성부(61)는 생성된 얼굴 추정 영역 데이터와 거리 데이터에 근거하여 촬상 화상을 확대 축소하며, 소정 거리에서의 화상과 동등한 크기의 화상(기준 화상)으로 조정한다(S303).
이어서, 동공 후보점 검출 수단(60)의 동공 검색 영역 설정부(62)는 얼굴 추정 영역의 무게 중심(G)을 기준으로 대상 인물의 오른쪽 눈을 검색하는 영역(오른쪽 눈 영역(R))과, 왼쪽 눈을 검색하는 영역(왼쪽 눈 영역(L))을 기준 화상 내에서 설정한다(S304).
이어서, 동공 후보점 검출 수단(60)의 동공 후보점 검출부(63)는 설정한 오른쪽 눈 영역과 왼쪽 눈 영역을 각각 원형 에지 필터로 주사하고(S305), 각 영역 내에서 동공 후보점(좌 동공 후보점, 우 동공 후보점)을 검출한다(S306).
참조용 데이터 생성 수단(70)의 동공 페어 설정부(71)는 동공 후보점 검출부(63)에 있어서 검출된 왼쪽 눈 후보점의 숫자와 오른쪽 눈 후보점의 숫자를 확인하고, 왼쪽 눈 후보점과 오른쪽 눈 후보점의 모든 조합을 설정한다(S307).
이어서, 참조용 데이터 생성 수단(70)의 동공 페어 조정부(72)는 단계307에서 설정된 모든 조합에 대해 각 조합(페어)의 좌 동공 후보점과 우 동공 후보점 간의 거리(d)를 구하고(도 10(b) 참조), 이 구한 거리(d)가 소정의 범위에 수습되는지 아닌지 여부를 확인하며(S308), 동공 페어 조정부(72)는 소정의 범위에 수습되지 않는 페어를 제외하면서 제외되지 않은 페어를 정규화 대상 페어으로 결정한다(S309).
참조용 데이터 생성 수단(70)의 정규화 처리부(73)는 정규화 대상 페어에 포함되는 동공 후보점(오른쪽 눈 후보점과 왼쪽 눈 후보점)을 기준으로 기준 얼굴 화 상에서의 얼굴 추정 영역에서 정규화 얼굴 화상을 생성한다(S310).
참조용 데이터 생성 수단(70)의 참조용 데이터 생성부(74)는 정규화 처리부(73)로부터 입력된 정규화 얼굴 화상에서 왼쪽 눈 후보점을 포함한 그 주변 영역(왼쪽 눈 정규화 화상)과 오른쪽 눈 후보점을 포함한 그 주변 영역(오른쪽 눈 정규화 화상)을 설정하고, 설정된 각 영역을 벡터로 표현하며 각각 왼쪽 눈 참조용 벡터, 오른쪽 눈 참조용 벡터로 하여 이들을 포함하는 참조용 데이터를 생성한다(S311).
얼굴 영역 후보 평가 수단(80)은 참조용 데이터에 포함되는 왼쪽 눈 참조용 벡터와 기억 수단(100) 내에 기억된 왼쪽 눈 고유 벡터의 근사도인 거리값(Ll), 오른쪽 눈 참조용 벡터와 기억 수단(100) 내에 기억된 오른쪽 눈 고유 벡터와 근사도인 거리값(Lr)을 각각 구한다.
그리고, 얼굴 추정 영역이 얼굴 식별에 적절한지를 근사도를 기초로 하여 판단한다(S312).
얼굴 식별 수단(90)은 얼굴 추정 영역이 얼굴 식별에 적절하다고 판단된 경우(Yes), 참조용 데이터 생성부(74)로부터 입력된 정규화 얼굴 화상에서 특징 파라미터를 구하고, 구한 특징 파라미터를 기초로 기억 수단(100)을 참조하며, 해당 기억 수단(100)에 특징 파라미터가 등록된 인물군 내에서 참조용 데이터 생성부(74)로부터 입력된 정규화 얼굴 화상의 특징 추출에 의해 얻어진 특징 파라미터에 가장 가까운 특징 파라미터를 가지는 인물을 검색하고, 특징 파라미터가 소정의 조건을 충족시키는 얼굴 데이터가 존재하는 경우에는, 해당 얼굴 데이터의 성명 정보를 참 조하고 대상 인물이 누구인지를 인식하여 인식 결과를 출력한다(S313).
동공(얼굴 식별 시스템(A)의 동작)
다음에, 얼굴 식별 시스템(A)의 동작에 대해 도 1에 나타내는 얼굴 식별 시스템(A)의 전체 구성을 나타내는 블록도와, 도 15에 나타내는 플로우 차트를 참조하여 설명한다.
<촬상 화상 해석 단계>
도 15에 나타내는 플로우 차트를 참조하고, 촬상 화상 해석 장치(2)에서는 카메라(1a, 1b)로부터 촬상 화상이 입력되면(S101), 거리 정보 생성부(21)에서 촬상 화상에서 거리 정보인 거리 화상(D1)(도 3(a) 참조)을 생성하고(S102), 움직임 정보 생성부(22)에 있어서 촬상 화상에서 움직임 정보인 차분 화상(D2)(도 3(b) 참조)을 생성한다(S103). 또한, 에지 정보 생성부(23)에 있어서 촬상 화상에서 에지 정보인 에지 화상(D3)(도 3(C) 참조)을 생성하고(S104), 피부색 영역 정보 생성부(24)에서 촬상 화상에서 피부색 영역 정보인 피부색 영역(R1, R2)(도 3(d) 참조)을 추출한다(S105).
<윤곽 추출 단계>
이어서, 도 15에 나타내는 플로우 차트를 참조하고, 윤곽 추출 장치(3)에서는 우선 대상 거리 설정부(31)에 있어서 단계 S102와 단계 S103에서 생성된 거리 화상(D1)과 차분 화상(D2)으로부터 대상 인물이 존재하는 거리인 대상 거리를 설정한다(S106). 이어서, 대상 거리 화상 생성부(32)에 있어서 단계 S104에서 생성된 에지 화상(D3)으로부터 단계 S106에서 설정된 대상 거리로 존재하는 화소를 추출한 대상 거리 화상(D4)(도 4(b) 참조)을 생성한다(S107).
이어서, 대상 영역 설정부(33)에 있어서 단계 S107에서 생성된 대상 거리 화상(D4) 내에서의 대상 영역(T)(도 5(b) 참조)을 설정한다(S108). 그리고, 윤곽 추출부(34)에 있어서 단계 S108에서 설정된 대상 영역(T) 내에서 대상 인물의 윤곽(O)(도 5(c) 참조)을 추출한다(S109).
<얼굴 영역 결정 단계>
도 15에 나타내는 플로우 차트를 참조하여, 얼굴 영역 추정 수단(50)에 있어서 단계 S102에서 생성된 거리 정보, 단계 S105에 있어서 생성된 피부색 영역 정보, 그리고 S109에서 생성된 윤곽 정보에 근거하여 촬상 화상 내에서 대상 인물의 얼굴이 존재할 만한 영역(얼굴 추정 영역)을 결정하여 해당 얼굴 추정 영역과 카메라(1)의 거리를 가리키는 거리 데이터를 생성한다(S110).
<동공 후보점 검출 단계>
이어서, 동공 후보점 검출 수단(60)에 있어서 단계 S110에서 생성된 거리 데이터에 근거하여 기준 화상을 생성하고, 이 기준 화상 내의 얼굴 추정 영역의 무게 중심(G)을 기준으로 기준 화상 내에 있어서 대상 인물의 동공을 검색하는 영역을 설정한다. 그리고, 이 영역을 원형 에지 필터로 주사하여 동공 후보점(좌 동공 후보점, 우 동공 후보점)을 검출한다(S111).
<참조용 데이터 생성 단계>
참조용 데이터 생성 수단(70)에 있어서, 동공 후보점 내에 포함되는 좌 동공 후보점과 우 동공 후보점의 모든 조합을 설정하고, 그 중에서 좌 동공 후보점과 우 동공 후보점 간의 거리(d)가 소정의 범위에 속하는 좌 동공 후보점과 우 동공 후보점의 조합(페어)을 정규화 대상 페어으로 결정한다.
그리고, 정규화 대상 페어에 포함되는 동공 후보점(오른쪽 눈 후보점과 왼쪽 눈 후보점)을 기준으로 기준 얼굴 화상에서의 얼굴 추정 영역에서 정규화 얼굴 화상을 생성하며, 이 중에서 후단의 S113에서의 평가에 사용되는 참조용 데이터를 생성한다(S112).
<얼굴 영역 평가 단계>
이어서, 얼굴 영역 평가 수단(80)에 있어서 참조용 데이터에 근거하여 얼굴 영역 추정 수단(50)에서 결정된 얼굴 영역이 대상 인물의 얼굴의 식별에 적절한지를 판단한다(S113).
<얼굴 식별 단계>
마지막으로, 얼굴 식별 수단(90)에 있어서 S113에서 얼굴 영역 추정 수단(50)에서 결정된 얼굴 영역이 대상 인물의 얼굴의 식별에 바람직한 경우, S112에서 생성된 정규화 얼굴 화상에서 특징 파라미터를 구하고, 기억 수단(100)에 기억된 특징 파라미터 중에서 가장 가까운 특징 파라미터를 검색하여 카메라(1)를 통해 촬상된 대상 인물의 얼굴 식별을 행한다(S114).
(동공 후보점의 보정)
상기한 실시 형태에서는, 동공 후보점 검출부(63)는 오른쪽 눈 영역과 왼쪽 눈 영역을 각각 원형 에지 필터로 주사하고, 각 영역에 포함되는 화소(픽셀)마다 원형도를 계산하여 원형도의 값이 가장 높은 화소를 동공 후보점으로 하고 있다.
여기서, 동공 후보점의 위치 정밀도를 향상시키기 위해, 대상 인물의 얼굴 식별에 바람직하다고 판단된 정규화 대상 페어를 확인하고, 해당 정규화 대상 페어에 포함되는 동공 후보점(좌 동공 후보점과 우 동공 후보점)의 위치 보정을 행하는 동공 후보점 보정부(75)를 더 구비한 구성으로 하는 것도 가능하다.
이 동공 후보점 보정부(75)는 왼쪽 눈 후보점과 오른쪽 눈 후보점 주위의 화소 각각을 기준으로 새롭게 왼쪽 눈 참조용 벡터와 오른쪽 눈 참조용 벡터를 구한다. 그리고, 이들과 왼쪽 눈 고유 벡터와 오른쪽 눈 고유 벡터 간의 근사도를 구하고, 더 근사도의 높은 화소가 좌 동공 후보점과 우 동공 후보점 근방에 있는 경우, 해당 화소에 동공 후보점을 변경하는 것이다.
도 16을 참조하여 보다 구체적으로 설명하면, 이 도면에 있어서 그래프의 바닥 면에 찍혀 있는 것은 왼쪽 눈과 눈썹을 포함하는 화상이고, 그 위의 곡면은 각 화소에서의 근사도(DFES값)이다. 이 도면에 있어서 곡면과 바닥 면의 거리가 가까울수록 근사도가 높은 것을 나타내고 있다.
예컨대, 처음에 도면 중의 화소(X)가 동공 후보점으로서 검색되었다고 해도 이 화소(X) 주변의 화소에 대해 상기한 방법에 의해 근사도(DFES값)를 구하고, 화소(Y)가 더 높은 근사도를 나타낸 경우에, 해당 화소(Y)가 동공 후보점으로서 더 적절하다고 판단하여 동공 후보점을 화소(Y)에 변경한다.
이에 의해, 정규화 처리부(73)에 있어서 변경 후의 동공 후보점에 근거하여 정규화 얼굴 화상을 재차 생성하고, 이 정규화 얼굴 화상에 근거하여 얼굴 식별 수단(90)에서 대상 인물의 식별을 하면, 보다 정확한 대상 인물의 식별을 할 수 있게 된다.
(참조용 데이터 생성부(74)에서의 처리 이외의 태양)
상기한 바와 같이, 본 실시 형태에서는 참조용 데이터 생성부(74)는 정규화 처리부(73)로부터 입력된 정규화 얼굴 화상 중에서 왼쪽 눈 정규화 화상과 오른쪽 눈 정규화 화상을 설정하고, 설정된 각 영역을 벡터(왼쪽 눈 참조용 벡터, 오른쪽 눈 참조용 벡터)로 표현하도록 구성되어 있다.
그렇지만, 참조용 데이터 생성부(74)에 있어서 왼쪽 눈 참조용 벡터와, 오른쪽 눈 참조용 벡터를 생성하지 않고, 정규화 얼굴 화상의 전체를 벡터로 표시한 얼굴 참조용 벡터를 생성하는 구성으로 하는 것도 가능하다.
이 경우, 얼굴 영역 평가 수단(80)에서는, 얼굴 참조용 벡터와 기억 수단(100)의 얼굴 고유 벡터와의 거리값을 요구하고, 즉 DFFS(Difference From Face Space: 얼굴 공간으로부터의 거리) 계산에 의해 유클리드 거리를 구하고, 이 거리값을 기초로 하여 상술한 순서에 따라 얼굴 영역 추정 수단(50)에서 결정된 얼굴 추정 영역이 대상 인물의 얼굴 식별에 적절한지를 판단할 수 있다(도 12 참조).
동공(얼굴 추정 영역의 보정)
여기서, 얼굴 영역 추정 수단에 있어서 대상 인물의 얼굴이 존재한다고 추정된 영역(얼굴 추정 영역)이 대상 인물의 얼굴의 영역으로서 적절하다고 얼굴 영역 평가 수단에서 판단된 경우에, 얼굴 영역 평가 수단은 동공 후보점 검출 수단에서 검출된 우 동공 후보점과 좌 동공 후보점을 기준으로 얼굴 추정 영역을 재차 추정, 즉 얼굴 추정 영역의 보정을 행하는 구성으로 하는 것도 가능하다.
구체적으로는, 대상 인물의 얼굴을 검색하기 위해 촬상 화상에 있어서 설정된 검색 영역을 타원형의 얼굴 템플레이트로 주사할 때에, 이 얼굴 템플레이트 내의 눈에 상당하는 위치와, 동공 후보점의 위치를 일치시키고, 즉 우 동공 후보점과 상기 좌 동공 후보점을 기준으로 얼굴 추정 영역을 재설정(보정)한다.
이에 따라, 이 보정된 얼굴 추정 영역(보정 후 얼굴 추정 영역)은 당초 추정된 얼굴 추정 영역보다 더 정확하게 대상 인물의 얼굴이 존재하는 영역을 나타내고 있으므로, 더 정확하게 대상 인물의 얼굴이 존재한다고 영역을 결정하는 것이 가능하게 된다.
이상, 본 발명의 바람직한 실시 형태에 대해 설명했지만, 본 발명은 상기 실시 형태에 한정되는 것은 아니다. 예컨대, 본 실시 형태에서는 얼굴 식별 시스템으로서 설명했지만, 얼굴 식별 시스템의 각 구성 처리를 범용적인 컴퓨터 언어로 기술한 프로그램으로서 파악하는 것도 가능하다.
또한, 본 발명에 관련된 얼굴 식별 장치는 대상 인물이 이동하고 있는 경우나 대상 인물의 촬상을 이동하면서 행하는 경우와 같이, 광원과 대상 인물 간의 위치 관계가 변화하고, 얼굴 영역의 추출이 항상 성공하는 것으로 한정되지 않는 상황에서도 얼굴 식별에 적절한 얼굴 영역인지의 평가를 행하도록 한 다음에 얼굴 영역의 추출이 행해지기 때문에, 대상 인물의 얼굴 식별을 적절하게 행할 수 있다. 따라서, 다리로 걷는 보행 로봇이나 자동차 등의 다양한 이동체로의 응용도 가능하다.
본 발명에 의하면, 촬상 화상으로부터 생성한 대상 인물의 윤곽 정보, 피부색 영역 정보 및 거리 정보에 근거하여 얼굴 영역이 추정됨과 동시에, 추정된 얼굴 영역을 거리 정보에 근거하여 기준 크기의 화상으로 변환하여 기준 화상을 생성한다. 그리고, 기준 화상에 있어서 얼굴 영역의 무게 중심을 기준으로 대상 인물의 우 동공 후보점과 좌 동공 후보점을 검출하며, 검출된 우 동공 후보점과 좌 동공 후보점의 간격을 기준으로 기준 화상의 정규화 처리를 행하고, 대상 인물의 참조용 데이터를 작성한다. 그리고, 작성된 참조용 데이터를 미리 준비된 기준 데이터와 비교하고, 추정된 얼굴 영역이 대상 인물의 얼굴 식별에 바람직하게 이용되는지 아닌지 여부를 평가된다.
이에 따라, 대상 인물의 얼굴 영역이라고 추정된 영역이 대상 인물의 얼굴 영역으로서 적절한지의 여부를 판단할 수 있기 때문에, 얼굴 영역으로서 추정된 영역이 대상 인물의 얼굴 영역으로서 부적절한 경우에는 재차 얼굴 영역의 추정을 행하고, 얼굴 영역으로서 추정된 영역이 대상 인물의 얼굴 영역으로서 적절한 경우에는, 이 얼굴 영역을 기초로 대상 인물의 얼굴의 식별·인식을 할 수 있다.
따라서, 더 정확하게 대상 인물의 얼굴의 식별·인식을 할 수 있다.
또한, 검색된 좌 동공 후보점과 우 동공 후보점의 모든 조합에 대해 참조용 데이터가 작성되고, 해당 참조용 데이터와 기준 데이터의 비교에 의해 어느 좌 동공 후보점과 우 동공 후보점의 조합이 대상 인물의 얼굴 식별에 바람직하게 이용되는지를 평가할 수 있다.
이에 따라, 종래와 같이 엄밀하게 동공 후보점을 검색할 필요가 없기 때문 에, 대상 인물의 얼굴의 식별·인식에 소요되는 처리 시간을 단축할 수 있게 된다.

Claims (7)

  1. 카메라에 의해 촬상된 대상 인물의 촬상 화상을 기초로 상기 대상 인물의 얼굴을 식별하는 얼굴 식별 수단을 구비한 얼굴 식별 장치로서,
    상기 카메라로부터 상기 대상 인물까지의 거리를 나타내는 거리 정보, 상기 촬상 화상으로부터 생성한 상기 대상 인물의 윤곽 정보 및 피부색 영역 정보에 근거하여 상기 촬상 화상에서의 상기 대상 인물의 얼굴 영역을 추정하는 얼굴 영역 추정 수단;
    상기 거리 정보에 근거하여 상기 얼굴 영역을 기준 크기의 화상으로 변환하여 기준 화상을 생성함과 동시에, 해당 기준 화상에서의 상기 얼굴 영역의 무게 중심을 기준으로 검색 지역을 설정하고, 해당 검색 지역에 포함되는 화소마다 원형 에지를 탐색하며, 소정의 원형 에지가 되는 화소 내에서 상기 대상 인물의 우 동공 후보점과 좌 동공 후보점을 검출하는 동공 후보점 검출 수단;
    상기 우 동공 후보점과 상기 좌 동공 후보점을 연결하는 선분이 상기 기준 화상 내에서 수평이 되도록 상기 기준 화상을 회전한 후에, 상기 우 동공 후보점과 상기 좌 동공 후보점의 간격을 기준으로 하여 정규화 화상을 생성함과 동시에, 해당 정규화 화상에서 상기 얼굴 영역의 적부를 평가하기 위한 참조용 데이터를 작성하는 참조용 데이터 생성 수단;
    상기 참조용 데이터와 미리 준비된 기준 데이터의 근사도를 구하여 구한 근사도를 기초로 상기 얼굴 영역의 적부를 평가하는 얼굴 영역 평가 수단;을 가지는 것을 특징으로 하는 얼굴 식별 장치.
  2. 제1 항에 있어서,
    상기 동공 후보점 검출 수단으로서는, 상기 우 동공 후보점과 상기 좌 동공 후보점을 적어도 2군데 이상씩 검출하고,
    상기 참조용 데이터 생성 수단으로서는, 검출된 상기 우 동공 후보점과 좌 동공 후보점의 모든 조합에 대해 상기 참조용 데이터를 작성하는 것을 특징으로 하는 얼굴 식별 장치
  3. 제1 또는 2 항에 있어서,
    상기 얼굴 영역 평가 수단에 있어서 상기 얼굴 영역이 부적절하다고 판단된 경우,
    상기 얼굴 영역 평가 수단은 상기 얼굴 영역 추정 수단에 상기 대상 인물의 얼굴 영역을 재추정하도록 요구하는 것을 특징으로 하는 얼굴 식별 장치.
  4. 제1 또는 2 항에 있어서,
    상기 얼굴 영역 평가 수단에 있어서 상기 얼굴 영역이 적절하다고 판단된 경우,
    상기 얼굴 영역 평가 수단은 상기 우 동공 후보점과 상기 좌 동공 후보점을 기준으로 상기 얼굴 영역의 보정을 하는 것을 특징으로 하는 얼굴 식별 장치.
  5. 카메라에 의해 촬상된 대상 인물의 촬상 화상을 기초로 상기 대상 인물의 얼굴을 식별하는 방법에 있어서,
    상기 카메라로부터 상기 대상 인물까지의 거리를 나타내는 거리 정보, 상기 촬상 화상으로부터 생성한 상기 대상 인물의 윤곽 정보 및 피부색 영역 정보에 근거하여 상기 기준 화상에서의 상기 대상 인물의 얼굴 영역을 추정하는 얼굴 영역 추정 단계;
    상기 거리 정보에 근거하여 상기 얼굴 영역을 기준 크기의 화상으로 변환하여 기준 화상을 생성함과 더불어 해당 기준 화상에서의 상기 얼굴 영역의 무게 중심을 기준으로 검색 지역을 설정하고, 해당 검색 지역에 포함되는 화소마다 원형 에지를 탐색하며, 소정의 원형 에지가 되는 화소 중에서 상기 대상 인물의 우 동공 후보점과 좌 동공 후보점을 검출하는 동공 후보점 검출 단계;
    상기 우 동공 후보점과 상기 좌 동공 후보점을 연결하는 선분이 상기 기준 화상 내에서 수평이 되도록 상기 기준 화상을 회전한 후에, 상기 우 동공 후보점과 상기 좌 동공 후보점의 간격을 기준으로 정규화 화상을 생성함과 동시에, 해당 정규화 화상에서 상기 얼굴 영역의 적부를 평가하기 위한 참조용 데이터를 작성하는 참조용 데이터 생성 단계;
    상기 참조용 데이터와 미리 준비된 기준 데이터의 근사도를 구하고, 구한 근사도를 기초로 상기 얼굴 영역의 적부를 평가하는 얼굴 영역 평가 단계;
    상기 얼굴 영역 평가 단계에서 상기 얼굴 영역이 바람직하다고 판단된 경우, 상기 정규화 화상에서 상기 대상 인물의 얼굴 데이터를 작성하는 얼굴 데이터 작성 단계;
    상기 얼굴 데이터 작성 단계에 작성된 얼굴 데이터를 기억 수단에 등록된 얼굴 데이터와 비교·조합하는 얼굴 식별 단계;를 가지는 것을 특징으로 하는 얼굴 식별 방법.
  6. 카메라에 의해 촬상된 대상 인물의 촬상 화상을 기초로 상기 대상 인물의 얼굴을 식별하기 위해 컴퓨터를,
    상기 카메라로부터 상기 대상 인물까지의 거리를 나타내는 거리 정보, 상기 촬상 화상으로부터 생성한 상기 대상 인물의 윤곽 정보 및 피부색 영역 정보에 근거하여 상기 기준 화상에서의 상기 대상 인물의 얼굴 영역을 추정하는 얼굴 영역 추정 수단;
    상기 거리 정보에 근거하여 상기 얼굴 영역을 기준 크기의 화상으로 변환하여 기준 화상을 생성함과 동시에, 해당 기준 화상에서의 상기 얼굴 영역의 무게 중심을 기준으로 검색 지역을 설정하고, 해당 검색 지역에 포함되는 화소마다 원형 에지를 탐색하며, 소정의 원형 에지가 되는 화소 중에서 상기 대상 인물의 우 동공 후보점과 좌 동공 후보점을 검출하는 동공 후보점 검출 수단;
    상기 우 동공 후보점과 상기 좌 동공 후보점을 연결하는 선분이 상기 기준 화상 내에서 수평이 되도록 상기 기준 화상을 회전한 후에 상기 우 동공 후보점과 상기 좌 동공 후보점의 간격을 기준으로 정규화 화상을 생성함과 동시에, 해당 정규화 화상에서 상기 얼굴 영역의 적부를 평가하기 위한 참조용 데이터를 작성하는 참조용 데이터 생성 수단;
    상기 참조용 데이터와 미리 준비된 기준 데이터의 근사도를 구하여 구한 근사도를 기초로 상기 얼굴 영역의 적부를 평가하는 얼굴 영역 평가 수단;
    상기 얼굴 영역 평가 수단에서 상기 얼굴 영역이 바람직하다고 판단된 경우, 상기 정규화 화상에서 상기 대상 인물의 얼굴 데이터를 작성하는 얼굴 데이터 작성 수단;
    상기 얼굴 데이터 작성 수단으로 작성된 얼굴 데이터를 기억 수단에 등록된 얼굴 데이터와 비교·조합하는 얼굴 식별 수단;으로서 기능하게 하는 것을 특징으로 하는 얼굴 식별 프로그램을 기억한 컴퓨터 독취 가능한 기록매체.
  7. 제3 항에 있어서,
    상기 얼굴 영역 평가 수단에 있어서 상기 얼굴 영역이 적절하다고 판단된 경우,
    상기 얼굴 영역 평가 수단은 상기 우 동공 후보점과 상기 좌 동공 후보점을 기준으로 상기 얼굴 영역의 보정을 하는 것을 특징으로 하는 얼굴 식별 장치.
KR1020040087294A 2004-02-13 2004-10-29 얼굴 식별 장치, 얼굴 식별 방법 및 기록매체 KR100617390B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2004036126A JP4317465B2 (ja) 2004-02-13 2004-02-13 顔識別装置、顔識別方法及び顔識別プログラム
JPJP-P-2004-00036126 2004-02-13

Publications (2)

Publication Number Publication Date
KR20050081850A KR20050081850A (ko) 2005-08-19
KR100617390B1 true KR100617390B1 (ko) 2006-08-31

Family

ID=34836237

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020040087294A KR100617390B1 (ko) 2004-02-13 2004-10-29 얼굴 식별 장치, 얼굴 식별 방법 및 기록매체

Country Status (4)

Country Link
US (1) US7362887B2 (ko)
JP (1) JP4317465B2 (ko)
KR (1) KR100617390B1 (ko)
DE (1) DE102004051159B4 (ko)

Families Citing this family (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100664956B1 (ko) * 2004-11-24 2007-01-04 삼성전자주식회사 눈 검출 방법 및 장치
JP4328286B2 (ja) * 2004-12-14 2009-09-09 本田技研工業株式会社 顔領域推定装置、顔領域推定方法及び顔領域推定プログラム
JP2007094906A (ja) * 2005-09-29 2007-04-12 Toshiba Corp 特徴点検出装置および方法
KR100734849B1 (ko) * 2005-11-26 2007-07-03 한국전자통신연구원 얼굴 인식 방법 및 그 장치
JP4516516B2 (ja) 2005-12-07 2010-08-04 本田技研工業株式会社 人物検出装置、人物検出方法及び人物検出プログラム
JP4747894B2 (ja) * 2006-03-15 2011-08-17 オムロン株式会社 認証装置、認証方法、認証プログラムおよびコンピュータ読み取り可能な記録媒体
JP4692371B2 (ja) * 2006-04-26 2011-06-01 オムロン株式会社 画像処理装置、画像処理方法、画像処理プログラム、および画像処理プログラムを記録した記録媒体、ならびに移動物体検出システム
JP4699298B2 (ja) * 2006-06-28 2011-06-08 富士フイルム株式会社 人体領域抽出方法および装置並びにプログラム
WO2008013050A1 (fr) * 2006-07-25 2008-01-31 Nikon Corporation Procédé de traitement d'image, programme de traitement d'image, et dispositif de traitement d'image
US8103061B2 (en) * 2006-10-02 2012-01-24 Johnson & Johnson Consumer Companies, Inc. Method and apparatus for identifying facial regions
US8254648B2 (en) * 2007-01-04 2012-08-28 General Electric Company Method for providing adaptive hanging protocols for image reading
JP2008191816A (ja) * 2007-02-02 2008-08-21 Sony Corp 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム
JP4389954B2 (ja) * 2007-03-29 2009-12-24 セイコーエプソン株式会社 画像処理装置、画像処理方法、コンピュータープログラム、記録媒体、および、プリンタ
EP2026246A1 (en) * 2007-08-03 2009-02-18 Harman/Becker Automotive Systems GmbH Method and apparatus for evaluating an image
KR100882139B1 (ko) * 2007-09-12 2009-02-06 전자부품연구원 얼굴 검출 방법
CN101409784A (zh) * 2007-10-10 2009-04-15 联想(北京)有限公司 摄像装置及信息提示装置
JP2009223527A (ja) * 2008-03-14 2009-10-01 Seiko Epson Corp 画像処理装置、画像処理方法、画像処理のためのコンピュータプログラム
JP2009223523A (ja) * 2008-03-14 2009-10-01 Seiko Epson Corp 画像処理装置、画像処理方法、画像処理のためのコンピュータプログラム
US8098938B1 (en) * 2008-03-17 2012-01-17 Google Inc. Systems and methods for descriptor vector computation
JP5098973B2 (ja) 2008-11-27 2012-12-12 富士通株式会社 生体認証装置、生体認証方法及び生体認証プログラム
JP5096302B2 (ja) * 2008-12-12 2012-12-12 株式会社キーエンス 撮像装置
JP5154392B2 (ja) * 2008-12-12 2013-02-27 株式会社キーエンス 撮像装置
JP2010204304A (ja) * 2009-03-02 2010-09-16 Panasonic Corp 撮像装置、運転者監視装置および顔部測距方法
EP2372659B1 (en) * 2009-08-01 2018-07-18 Tsinghua University Method and system for rapidly vectorizing image by gradient meshes based on parameterization
JP5538909B2 (ja) * 2010-01-05 2014-07-02 キヤノン株式会社 検出装置およびその方法
JP2011210238A (ja) * 2010-03-10 2011-10-20 Dainippon Printing Co Ltd 広告効果測定装置及びコンピュータプログラム
JP5593990B2 (ja) * 2010-09-08 2014-09-24 リコーイメージング株式会社 撮像システムおよび画素信号読出し方法
JP5538160B2 (ja) * 2010-09-24 2014-07-02 パナソニック株式会社 瞳孔検出装置及び瞳孔検出方法
EP2453386B1 (en) * 2010-11-11 2019-03-06 LG Electronics Inc. Multimedia device, multiple image sensors having different types and method for controlling the same
CN103208005A (zh) * 2012-01-13 2013-07-17 富士通株式会社 对象识别方法和对象识别设备
GB201205340D0 (en) * 2012-03-27 2012-05-09 I Align Ltd A method of processing an image
US9514538B2 (en) * 2012-05-25 2016-12-06 National University Corporation Shizuoka University Pupil detection method, corneal reflex detection method, facial posture detection method, and pupil tracking method
US8396265B1 (en) * 2012-06-26 2013-03-12 Google Inc. Facial recognition
CN103279764A (zh) * 2013-06-27 2013-09-04 苏州福丰科技有限公司 基于人脸识别的网络实名认证系统
CN103400136B (zh) * 2013-08-13 2016-09-28 苏州大学 基于弹性匹配的目标识别方法
US9047504B1 (en) * 2013-08-19 2015-06-02 Amazon Technologies, Inc. Combined cues for face detection in computing devices
CN103400393B (zh) * 2013-08-21 2016-07-20 中科创达软件股份有限公司 一种图像匹配方法和系统
CN104182726A (zh) * 2014-02-25 2014-12-03 苏凯 基于人脸识别的实名认证系统
US9405965B2 (en) * 2014-11-07 2016-08-02 Noblis, Inc. Vector-based face recognition algorithm and image search system
JP6624877B2 (ja) * 2015-10-15 2019-12-25 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
DE102015222388A1 (de) 2015-11-13 2017-05-18 Bayerische Motoren Werke Aktiengesellschaft Vorrichtung und Verfahren zum Steuern einer Anzeigeeinrichtung in einem Kraftfahrzeug
BR112019000191A2 (pt) * 2016-07-05 2019-04-24 Wu Yecheng detecção de ataque de falsificação durante captura de imagens ao vivo
JP2018045309A (ja) * 2016-09-12 2018-03-22 株式会社東芝 特徴量抽出装置および認証システム
US10482336B2 (en) 2016-10-07 2019-11-19 Noblis, Inc. Face recognition and image search system using sparse feature vectors, compact binary vectors, and sub-linear search
KR101962203B1 (ko) * 2017-03-10 2019-03-27 크루셜텍 (주) 다중 생체 데이터를 이용한 비접촉식 다중 생체 인식 방법 및 다중 생체 인식 장치
JP7118622B2 (ja) * 2017-11-16 2022-08-16 株式会社Preferred Networks 物体検出装置、物体検出方法及びプログラム
US20200320334A1 (en) * 2019-04-05 2020-10-08 Ent. Services Development Corporation Lp Systems and methods for digital image-based object authentication
CN112603256B (zh) * 2020-12-03 2022-10-25 昆明依利科特科技有限公司 基于瞳孔大小的高精度非接触式涉毒检测方法及检测系统
CN112656366B (zh) * 2020-12-03 2022-10-25 昆明依利科特科技有限公司 一种非接触式测量瞳孔大小的方法和系统
CN113221699B (zh) * 2021-04-30 2023-09-08 杭州海康威视数字技术股份有限公司 一种提高识别安全性的方法、装置、识别设备

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01158579A (ja) * 1987-09-09 1989-06-21 Aisin Seiki Co Ltd 像認識装置
JP2973676B2 (ja) 1992-01-23 1999-11-08 松下電器産業株式会社 顔画像特徴点抽出装置
US5659625A (en) * 1992-06-04 1997-08-19 Marquardt; Stephen R. Method and apparatus for analyzing facial configurations and components
JP3293308B2 (ja) 1994-03-10 2002-06-17 三菱電機株式会社 人物状態検出装置
US5912721A (en) * 1996-03-13 1999-06-15 Kabushiki Kaisha Toshiba Gaze detection apparatus and its method as well as information display apparatus
JP3279913B2 (ja) 1996-03-18 2002-04-30 株式会社東芝 人物認証装置、特徴点抽出装置及び特徴点抽出方法
JP3469031B2 (ja) 1997-02-18 2003-11-25 株式会社東芝 顔画像登録装置及びその方法
US6215891B1 (en) * 1997-03-26 2001-04-10 Oki Electric Industry Co., Ltd. Eye image recognition method eye image selection method and system therefor
JP3459950B2 (ja) 1997-04-30 2003-10-27 学校法人立命館 顔検出及び顔追跡方法並びにその装置
JP3477047B2 (ja) * 1997-10-02 2003-12-10 三菱電機株式会社 網膜反射像を利用したまばたき検出顔画像処理装置
US6137896A (en) * 1997-10-07 2000-10-24 National Research Council Of Canada Method of recognizing faces using range images
AU1613599A (en) * 1997-12-01 1999-06-16 Arsev H. Eraslan Three-dimensional face identification system
GB2341231A (en) 1998-09-05 2000-03-08 Sharp Kk Face detection in an image
US6095650A (en) * 1998-09-22 2000-08-01 Virtual Visual Devices, Llc Interactive eyewear selection system
GB2343945B (en) 1998-11-18 2001-02-28 Sintec Company Ltd Method and apparatus for photographing/recognizing a face
US6879709B2 (en) * 2002-01-17 2005-04-12 International Business Machines Corporation System and method for automatically detecting neutral expressionless faces in digital images
US7280678B2 (en) * 2003-02-28 2007-10-09 Avago Technologies General Ip Pte Ltd Apparatus and method for detecting pupils

Also Published As

Publication number Publication date
US20050180611A1 (en) 2005-08-18
JP4317465B2 (ja) 2009-08-19
US7362887B2 (en) 2008-04-22
DE102004051159B4 (de) 2008-10-02
DE102004051159A1 (de) 2005-09-08
KR20050081850A (ko) 2005-08-19
JP2005228042A (ja) 2005-08-25

Similar Documents

Publication Publication Date Title
KR100617390B1 (ko) 얼굴 식별 장치, 얼굴 식별 방법 및 기록매체
JP4307496B2 (ja) 顔部位検出装置及びプログラム
JP5629803B2 (ja) 画像処理装置、撮像装置、画像処理方法
JP3761059B2 (ja) ヒトの顔を検出する方法および装置、ならびに観察者トラッキングディスプレイ
US8515136B2 (en) Image processing device, image device, image processing method
KR0158038B1 (ko) 개인식별장치
JP4743823B2 (ja) 画像処理装置、撮像装置、画像処理方法
US8331619B2 (en) Image processing apparatus and image processing method
JP4604439B2 (ja) 画像処理装置及び画像処理方法、並びに記録媒体
MX2012010602A (es) Aparato para el reconocimiento de la cara y metodo para el reconocimiento de la cara.
US20070189584A1 (en) Specific expression face detection method, and imaging control method, apparatus and program
JP4445454B2 (ja) 顔中心位置検出装置、顔中心位置検出方法、及び、プログラム
JP2000259814A (ja) 画像処理装置及びその方法
KR20040059313A (ko) 치아영상으로부터 치아영역 추출방법 및 치아영상을이용한 신원확인방법 및 장치
JP2003150942A (ja) 目位置追跡方法
JP4148903B2 (ja) 画像処理装置、画像処理方法およびデジタルカメラ
JP4146751B2 (ja) 顔識別装置、顔識別方法及び顔識別プログラム
JPH11306348A (ja) 対象物検出装置及び対象物検出方法
JP2005316743A (ja) 画像処理方法および画像処理装置
JP4789526B2 (ja) 画像処理装置、画像処理方法
JP2005209137A (ja) 対象物認識方法及び対象物認識装置、並びに顔方向識別装置
JP4803148B2 (ja) 人物顔面画像についての両眼位置検出方法および検出装置
JPH11283036A (ja) 対象物検出装置及び対象物検出方法
JP2005275916A (ja) 画像認識装置及び画像認識方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20100811

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee