KR20070026080A - 화상 처리 장치 및 방법, 및 프로그램 - Google Patents

화상 처리 장치 및 방법, 및 프로그램 Download PDF

Info

Publication number
KR20070026080A
KR20070026080A KR1020060082095A KR20060082095A KR20070026080A KR 20070026080 A KR20070026080 A KR 20070026080A KR 1020060082095 A KR1020060082095 A KR 1020060082095A KR 20060082095 A KR20060082095 A KR 20060082095A KR 20070026080 A KR20070026080 A KR 20070026080A
Authority
KR
South Korea
Prior art keywords
face
feature
detecting
mapping
image
Prior art date
Application number
KR1020060082095A
Other languages
English (en)
Other versions
KR101217349B1 (ko
Inventor
아쯔시 오꾸보
Original Assignee
소니 가부시끼 가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 가부시끼 가이샤 filed Critical 소니 가부시끼 가이샤
Publication of KR20070026080A publication Critical patent/KR20070026080A/ko
Application granted granted Critical
Publication of KR101217349B1 publication Critical patent/KR101217349B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Collating Specific Patterns (AREA)

Abstract

얼굴 등의 식별 정밀도를 향상시킨다. 임의 방향 얼굴 검출부(12)는, 화상 입력부(11)에 입력된 얼굴 화상의 얼굴이 향하고 있는 방향을 검출한다. 얼굴 특징 위치 검출부(13)는, 얼굴 화상으로부터 특징으로 되는 얼굴의 위치를 검출한다. 국소 특징량 산출부(14)는, 얼굴 특징 위치 검출부(13)에 의해 검출된 얼굴의 특징 위치의 근방의 화상으로부터 특징량을 산출한다. 데이터베이스(16)에는, 식별 대상으로 되어 있는 얼굴의 특징량이 등록되어 있다. 사상부(15)는 입력된 얼굴의 방향과, 등록되어 있는 얼굴의 방향이 일치하도록, 국소 특징량 산출부(14)로부터 공급된 특징량을, 데이터베이스(16)에 미리 등록되어 있는 사상 함수를 이용하여 사상한다. 얼굴 식별부(17)는, 사상된 특징량과 데이터베이스(16)에 등록되어 있는 특징량으로부터, 등록되어 있는 사람인지의 여부를 판단한다. 본 발명은, 예를 들면, 로봇 등에 적용할 수 있다.
사상, 퓨리에 변환, 가보 필터, 서포트 벡터 머신(SVM)

Description

화상 처리 장치 및 방법, 및 프로그램{IMAGE PROCESSING APPARATUS AND METHOD, AND PROGRAM}
도 1은 본 발명을 적용한 화상 처리 장치의 일 실시 형태의 구성을 도시하는 도면.
도 2는 화상 처리 장치의 다른 구성예를 도시하는 도면.
도 3은 화상 처리 장치의 동작에 대해 설명하기 위한 플로우차트.
도 4는 특징 위치에 대해 설명하기 위한 도면.
도 5는 화상 처리 장치의 또 다른 구성예를 도시하는 도면.
도 6은 화상 처리 장치의 학습 처리에 대해 설명하기 위한 플로우차트.
도 7은 기록 매체에 대해 설명하기 위한 도면.
<도면의 주요부분에 대한 부호의 설명>
10 : 화상 처리 장치
11 : 화상 입력부
12 : 임의 방향 얼굴 검출부
13 : 얼굴 특징 위치 검출부
14 : 국소 특징량 산출부
15 : 사상부
16 : 데이터베이스
17 : 얼굴 식별부
30 : 화상 처리 장치
31 : 얼굴 방향 검출부
100 : 화상 처리 장치
101 : 화상 입력부
102 : 임의 방향 얼굴 검출부
103 : 얼굴 특징 위치 검출부
104 : 국소 특징량 산출부
105 : 사상부
106 : 데이터베이스
106 : 얼굴 식별부
108 : 정오 판별부
109 : 함수 갱신부
201 : CPU
202 : ROM
203 : RAM
208 : 기억부
211 : 리무버블 미디어
[특허 문헌1] 일본 특개2000-322577호 공보
[비특허 문헌1] Volker Blanz et al., "Face Recognition Based on Fitting a 3D Morphable Model", IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 25, No. 9 September 2003
[비특허문헌2] T.F. Cootes, G.J.Edwards, and C.J.Taylor, "Active Appearance Models", Proc.Fifth European Conf. Computer Vision, H. Burkhardt and B. Neumann, eds, vol.2, pp.484-498, 1998
본 발명은 화상 처리 장치 및 방법, 및 프로그램에 관한 것으로, 특히, 물체의 식별을 보다 정밀도 좋게 할 수 있도록 한 화상 처리 장치 및 방법, 및 프로그램에 관한 것이다.
최근，사람을 식별하는 장치(기술)의 개발이 행해지고, 이용되고 있다. 사람을 식별하는 기술은, 예를 들면, 시큐러티를 향상시키기 위해, 소정의 장소에 입장할 때에, 그 장소에 입장해도 되는(허가가 주어져 있는) 사람인지 여부의 판단에 이용할 수 있다고 제안되어 있다. 또한，사람을 식별함으로써, 식별된 사람의 기호에 맞는 정보를 제공하는 것 등도 제안되어 있다.
사람을 식별하는 기술로서는, 사람의 얼굴을 촬영하고, 그 얼굴의 화상과, 사전에 등록되어 있는 얼굴의 화상의 매칭을 취함(얼마만큼 닮았는지를 판단하기 위한 연산)으로써, 등록되어 있는 사람인지의 여부, 즉 사람의 식별이 행해진다. 이와 같이 하여 사람이 식별되는 경우, 미리 등록되어 있는 얼굴 화상과, 취득되는 얼굴 화상의 매칭이 행해지는데, 반드시, 미리 등록되어 있는 얼굴 화상의 얼굴의 방향과, 취득되는 얼굴 화상의 얼굴의 방향이, 동일 방향이라고는 할 수 없다.
즉, 예를 들면, 미리 등록되어 있는 얼굴 화상은, 정면으로부터 촬영된 얼굴의 화상이고, 취득되는 얼굴 화상은, 경사 45도로부터 촬영된 얼굴의 화상이라는 식으로, 서로 다른 각도로부터 촬영된 얼굴 화상끼리의 매칭을 취해야 하는 경우가 있다. 서로 다른 각도로부터 촬영된 얼굴 화상끼리의 매칭을 취하는 경우(등록된 얼굴과 서로 다른 방향의 얼굴을 식별하는 경우), 사람의 얼굴의 표준적인 입체 형상 모델을 이용하는 방법이 제안되어 있다.(예를 들면, 특허 문헌1 참조)
특허 문헌1에서는，서로 다른 방향으로부터 촬상된 2매의 얼굴 화상을 비교하기 위해, 한쪽의 얼굴 화상을 얼굴의 입체 형상 모델에 접착하고(맵핑하고), 다른 쪽의 얼굴 화상과 동일한 방향에 상당하는 얼굴 화상을 합성함으로써, 서로 다른 방향의 얼굴의 화상을, 동일 방향의 얼굴의 화상으로 하고, 얼굴(사람)의 식별을 행하는 것이 제안되어 있다.
또한, 비특허 문헌1에서는, 표준적인 3차원의 얼굴의 변형 모델을, 다양한 파라미터를 기초로 변형시켜 합성한 얼굴 화상으로부터 입력 얼굴 화상에 가장 근사하는 파라미터를 이용하여 얼굴 식별을 행하는 방법이 제안되어 있다.
특허 문헌1이나 비특허 문헌1 등에서 제안되어 있는 종래의 얼굴의 인식에 관계되는 방법은, 표준적인 얼굴의 입체 형상 모델로부터, 컴퓨터 그래픽(CG)의 방법을 이용하여 서로 다른 방향의 얼굴을 합성하는 방법을 베이스로 하고 있다.
입체 형상 모델을 작성하기 위해서는, 고정밀도의 입체 계측 장치가 필요하기 때문에, 입체 형상 모델을 작성하는 코스트가 비싸진다. 또한, 입체 형상 모델을 작성하기 위해서는, 많은 샘플이 필요하였다. 이러한 이유 때문에, 예를 들면, 가정 내에서 이용되는 제품 등에 입체 형상 모델을 이용한 얼굴의 식별 기능을 탑재한 경우, 이용하는 가정 내의 유저로부터 입체 형상 모델이 작성되는 것은 아니고, 미리, 복수의 사람으로부터 취득된 데이터로부터 생성된 입체 형상 모델이 이용된다.
또한, 사용되고 있는 입체 형상 모델에 안 맞는 얼굴 형상의 인물에 맞추어 모델을 갱신하는 것이나, 가족 등의 한정된 소인원수의 식별에 특화한 모델로 변경하는 것은 곤란하였다. 이와 같은 것 때문에, 입체 형상 모델에 맞는 사람의 식별은 비교적 양호하게 행할 수 있어도, 입체 형상 모델에 안 맞은 사람의 식별은 양호하지 않고, 또한, 입체 형상 모델을 갱신하는 것이 곤란하기 때문에，식별율을 높이는 것이 곤란하였다.
또한, 일반적으로 얼굴의 식별이 행해지는 경우, 눈, 눈썹, 코, 입, 윤곽 등의 얼굴 중에서도 특징이 있는 부분의 위치, 및, 패턴으로부터 얻어지는 특징량이 식별 특징량으로서 기여하고 있고, 그 이외의 부분, 예를 들면, 뺨 등은 식별 특징량으로서 그다지 기여하고 있지 않다. 그러나, 종래의 얼굴의 식별 방법에서는, 얼굴 화상 전체를 합성하는 방법이기 때문에, 식별에 기여하지 않는 부분의 합성도 행할 필요가 있다. 그러한, 식별에 기여하지 않는 부분을 포함한 처리를 행하는 것은, 얼굴 식별을 행할 때는 용장적이고, 효율적이지는 않았다.
또한, 전술한 바와 같이 얼굴 화상을 표준적인 얼굴 입체 형상 모델에 적용하여 회전함으로써 합성한 얼굴 화상은, 입체 형상 모델과 실제의 얼굴의 형상의 상위가 크면, 올바르게 합성할 수 없기 때문에 식별 성능은 저하되게 된다. 또한 입체 형상 모델을 파라미터에 기초하여 변형시켜 근사 화상을 구하는 것은, 그 계산에 시간이 걸려, 처리 부담이 증대하게 된다.
여기에서는, 얼굴의 식별을 예로 들어 설명하였지만, 예를 들면, 차 등의 물체를 식별하는데에도, 얼굴을 식별하는 기술을 유용할 수 있는 경우가 있고, 유용한 때에는, 상기한 바와 같은, 식별율이 저하되거나, 처리에 걸리는 시간이나 부담이 증대하는 등은 발생할 가능성이 있었다.
본 발명은, 이러한 상황을 감안하여 이루어진 것으로, 얼굴이나 소정의 물체의 식별 정밀도를 향상시킴과 함께, 식별에 걸리는 처리 시간이나 부담을 경감할 수 있도록 하는 것이다.
본 발명의 제1 측면의 화상 처리 장치는, 공급되는 화상으로부터, 얼굴 화상의 부분을 검출하는 얼굴 화상 검출 수단과, 상기 얼굴 화상 검출 수단에 의해 검출된 상기 얼굴 화상의 얼굴이 향하고 있는 방향을 검출하는 얼굴 방향 검출 수단과, 상기 얼굴 화상 검출 수단에 의해 검출된 얼굴 화상과 상기 얼굴 방향 검출 수 단에 의해 검출된 상기 얼굴의 방향으로부터, 상기 얼굴의 특징으로 되는 특징 위치를 검출하는 특징 위치 검출 수단과, 상기 특징 위치 검출 수단에 의해 검출된 상기 특징 위치에서의 특징량을 산출하는 특징량 산출 수단과, 상기 특징량 산출 수단에 의해 산출된 상기 특징량을, 소정의 사상 함수에 의해 사상하는 사상 수단과, 상기 사상 수단에 의해 사상된 상기 특징량과, 미리 등록되어 있는 특징량을 이용하여, 상기 얼굴 화상 검출 수단에 의해 검출된 상기 얼굴은, 등록되어 있는 얼굴인지의 여부를 식별하는 식별 수단을 구비한다.
상기 특징량 산출 수단은, GaborFilter 또는 Gaussian Derivative Filter에 의해 상기 특징량을 산출하도록 할 수 있다.
상기 사상 수단은, 사상 함수로서, Support Vector Regression을 이용하도록 할 수 있다.
상기 사상 수단은, 상기 특징량 산출 수단에 의해 산출된 상기 특징량을 구성하는 요소 중, 적어도 1개의 요소를 상기 사상 함수에 의해 사상하도록 할 수 있다.
상기 식별 수단에 의한 식별 결과가, 부정해였을 경우, 상기 사상 함수를 갱신하는 갱신 수단을 더 구비하도록 할 수 있다.
본 발명의 제1 측면의 화상 처리 방법 또는 프로그램은, 공급되는 화상으로부터, 얼굴 화상의 부분을 검출하는 얼굴 화상 검출 스텝과, 상기 얼굴 화상 검출 스텝의 처리에서 검출된 상기 얼굴 화상의 얼굴이 향하고 있는 방향을 검출하는 얼굴 방향 검출 스텝과, 상기 얼굴 화상 검출 스텝의 처리에서 검출된 얼굴 화상과 상기 얼굴 방향 검출 스텝의 처리에서 검출된 상기 얼굴의 방향으로부터, 상기 얼굴의 특징으로 되는 특징 위치를 검출하는 특징 위치 검출 스텝과, 상기 특징 위치 검출 스텝의 처리에서 검출된 상기 특징 위치에서의 특징량을 산출하는 특징량 산출 스텝과, 상기 특징량 산출 스텝의 처리에서 산출된 상기 특징량을, 소정의 사상 함수에 의해 사상하는 사상 스텝과, 상기 사상 스텝의 처리에서 사상된 상기 특징량과, 미리 등록되어 있는 특징량을 이용하여, 상기 얼굴 화상 검출 스텝의 처리에서 검출된 상기 얼굴은, 등록되어 있는 얼굴인지의 여부를 식별하는 식별 스텝을 포함한다.
본 발명의 제2 측면의 화상 처리 장치는, 공급되는 화상으로부터, 소정의 물체를 검출하는 검출 수단과, 상기 검출 수단에 의해 검출된 상기 물체가 향하고 있는 방향을 검출하는 방향 검출 수단과, 상기 검출 수단에 의해 검출된 물체와 상기 방향 검출 수단에 의해 검출된 상기 물체가 향하고 있는 방향으로부터, 상기 물체의 특징으로 되는 특징 위치를 검출하는 특징 위치 검출 수단과, 상기 특징 위치 검출 수단에 의해 검출된 상기 특징 위치에서의 특징량을 산출하는 특징량 산출 수단과, 상기 특징량 산출 수단에 의해 산출된 상기 특징량을, 소정의 사상 함수에 의해 사상하는 사상 수단과, 상기 사상 수단에 의해 사상된 상기 특징량과, 미리 등록되어 있는 특징량을 이용하여, 상기 검출 수단에 의해 검출된 상기 물체는, 등록되어 있는 물체인지의 여부를 식별하는 식별 수단을 구비한다.
상기 특징량 산출 수단은, Gabor Filter 또는 Gaussian Derivative Filter에 의해 상기 특징량을 산출하도록 할 수 있다.
상기 사상 수단은, 사상 함수로서, Support Vector Regression을 이용하도록 할 수 있다.
상기 사상 수단은, 상기 특징량 산출 수단에 의해 산출된 상기 특징량을 구성하는 요소 중, 적어도 1개의 요소를 상기 사상 함수에 의해 사상하도록 할 수 있다.
상기 식별 수단에 의한 식별 결과가, 부정해였을 경우, 상기 사상 함수를 갱신하는 갱신 수단을 더 구비하도록 할 수 있다.
본 발명의 제2 측면의 화상 처리 방법 또는 프로그램은, 공급되는 화상으로부터, 소정의 물체를 검출하는 검출 스텝과, 상기 검출 스텝의 처리에서 검출된 상기 물체가 향하고 있는 방향을 검출하는 방향 검출 스텝과, 상기 검출 스텝의 처리에서 검출된 물체와 상기 방향 검출 스텝의 처리에서 검출된 상기 물체가 향하고 있는 방향으로부터, 상기 물체의 특징으로 되는 특징 위치를 검출하는 특징 위치 검출 스텝과, 상기 특징 위치 검출 스텝의 처리에서 검출된 상기 특징 위치에서의 특징량을 산출하는 특징량 산출 스텝과, 상기 특징량 산출 스텝의 처리에서 산출된 상기 특징량을, 소정의 사상 함수의 처리에서 사상하는 사상 스텝과, 상기 사상 스텝의 처리에서 사상된 상기 특징량과, 미리 등록되어 있는 특징량을 이용하여, 상기 검출 스텝의 처리에서 검출된 상기 물체는, 등록되어 있는 물체인지의 여부를 식별하는 식별 스텝을 포함한다.
본 발명의 제1 측면에서는, 취득된 얼굴 화상의 얼굴과 식별 대상의 얼굴 화상의 얼굴이, 서로 다른 방향인 경우, 취득된 얼굴 화상으로부터 추출된 특징량이, 사상 함수에 의해 사상되고, 그 사상된 특징량과, 식별 대상의 얼굴 화상으로부터 추출된 특징량이 이용되고, 식별 대상의 얼굴인지의 여부의 식별이 행해진다.
본 발명의 제2 측면에서는, 취득된 화상의 물체와 식별 대상의 화상의 물체가, 서로 다른 방향인 경우, 취득된 물체 화상으로부터 추출된 특징량이, 사상 함수에 의해 사상되고, 그 사상된 특징량과, 식별 대상의 화상으로부터 추출된 특징량이 이용되고, 식별 대상의 물체인지의 여부의 식별이 행해진다.
<실시 형태>
이하에 본 발명의 실시 형태를 설명하지만, 본 발명의 구성 요건과, 발명의 상세한 설명에 기재된 실시 형태와의 대응 관계를 예시하면, 다음과 같이 된다. 이 기재는, 본 발명을 서포트하는 실시 형태가, 발명의 상세한 설명에 기재되어 있는 것을 확인하기 위한 것이다. 따라서, 발명의 상세한 설명 중에는 기재되어 있지만, 본 발명의 구성 요건에 대응하는 실시 형태로서, 여기에는 기재되어 있지 않은 실시 형태가 있었다고 해도, 그것은, 그 실시 형태가, 그 구성 요건에 대응하는 것이 아니라는 것을 의미하는 것은 아니다. 반대로, 실시 형태가 구성 요건에 대응하는 것으로서 여기에 기재되어 있었다고는 해도, 그것은, 그 실시 형태가, 그 구성 요건 이외의 구성 요건에는 대응하지 않는다는 것을 의미하는 것도 아니다.
본 발명의 제1 측면의 화상 처리 장치는, 공급되는 화상으로부터, 얼굴 화상의 부분을 검출하는 얼굴 화상 검출 수단(예를 들면, 도 1의 화상 입력부(11)와 임의 방향 얼굴 검출부(12))과, 상기 얼굴 화상 검출 수단에 의해 검출된 상기 얼굴 화상의 얼굴이 향하고 있는 방향을 검출하는 얼굴 방향 검출 수단(예를 들면, 도 1 의 임의 방향 얼굴 검출부(12))과, 상기 얼굴 화상 검출 수단에 의해 검출된 얼굴 화상과 상기 얼굴 방향 검출 수단에 의해 검출된 상기 얼굴의 방향으로부터, 상기 얼굴의 특징으로 되는 특징 위치를 검출하는 특징 위치 검출 수단(예를 들면, 도 1의 얼굴 특징 위치 검출부(13))과, 상기 특징 위치 검출 수단에 의해 검출된 상기 특징 위치에서의 특징량을 산출하는 특징량 산출 수단(예를 들면, 도 1의 국소 특징량 산출부(14))과, 상기 특징량 산출 수단에 의해 산출된 상기 특징량을, 소정의 사상 함수에 의해 사상하는 사상 수단(예를 들면, 도 1의 사상부(15))과, 상기 사상 수단에 의해 사상된 상기 특징량과, 미리 등록되어 있는 특징량을 이용하여, 상기 얼굴 화상 검출 수단에 의해 검출된 상기 얼굴은, 등록되어 있는 얼굴인지의 여부를 식별하는 식별 수단(예를 들면, 도 1의 얼굴 식별부(17))을 구비한다.
상기 식별 수단에 의한 식별 결과가, 부정해였을 경우, 상기 사상 함수를 갱신하는 갱신 수단(예를 들면, 도 5의 함수 갱신부(109))을 더 구비하도록 할 수 있다.
본 발명의 제2 측면의 화상 처리 장치는, 공급되는 화상으로부터, 소정의 물체를 검출하는 검출 수단(예를 들면, 도 1의 화상 입력부(11)와 임의 방향 얼굴 검출부(12))과, 상기 검출 수단에 의해 검출된 상기 물체가 향하고 있는 방향을 검출하는 방향 검출 수단(예를 들면, 도 1의 임의 방향 얼굴 검출부(12))과, 상기 검출 수단에 의해 검출된 물체와 상기 방향 검출 수단에 의해 검출된 상기 물체가 향하고 있는 방향으로부터, 상기 물체의 특징으로 되는 특징 위치를 검출하는 특징 위치 검출 수단(예를 들면, 도 1의 얼굴 특징 위치 검출부(13))과, 상기 특징 위치 검출 수단에 의해 검출된 상기 특징 위치에서의 특징량을 산출하는 특징량 산출 수단(예를 들면, 도 1의 국소 특징량 산출부(14))과, 상기 특징량 산출 수단에 의해 산출된 상기 특징량을, 소정의 사상 함수에 의해 사상하는 사상 수단(예를 들면, 도 1의 사상부(15))과, 상기 사상 수단에 의해 사상된 상기 특징량과, 미리 등록되어 있는 특징량을 이용하여, 상기 얼굴 화상 검출 수단에 의해 검출된 상기 물체는, 등록되어 있는 물체인지의 여부를 식별하는 식별 수단(예를 들면, 도 1의 얼굴 식별부(17))을 구비한다.
이하에, 본 발명의 실시 형태에 대해 도면을 참조하여 설명한다.
[화상 처리 장치의 구성]
도 1은, 본 발명을 적용한 화상 처리 장치의 일 실시 형태의 구성을 도시하는 도면이다. 도 1에 도시한 화상 처리 장치(10)는, 사람의 얼굴을 식별하는 장치인 것으로 하여 설명을 한다. 여기에서는，사람의 얼굴을 식별하는 경우를 예로 들어 설명하지만, 예를 들면, 차 등의 물체를 식별하는데에도, 본 발명을 적용할 수는 있어, 본 발명이, 얼굴의 식별만에 적용 범위가 한정되는 것을 나타내는 것은 아니다. 또한, 도 1에 도시한 화상 처리 장치(10)는, 사람의 얼굴을 식별하기 때문에, 사람의 얼굴의 화상을 처리하는 장치인 것으로 하여 설명을 계속한다.
화상 처리 장치(10)는, 화상 입력부(11), 임의 방향 얼굴 검출부(12), 얼굴 특징 위치 검출부(13), 국소 특징량 산출부(14), 사상부(15), 데이터베이스(16) 및, 얼굴 식별부(17)로 구성되어 있다.
또한, 여기에서는, 화상 처리 장치(10)에 데이터베이스(16)가 포함되는 것으 로 하여 설명을 계속하지만, 데이터베이스(16)는 네트워크 등을 통하여, 화상 처리 장치(10)에 접속되어 있는 구성으로 하는 것도 가능하다. 네트워크 등을 통하여 데이터베이스(16)가 접속됨으로써, 복수의 화상 처리 장치(10)에서 1개의 데이터베이스(16)를 공유하는 것이 가능하게 된다.
화상 입력부(11)는, 예를 들면, 카메라 등을 포함하는 구성으로 되고, 사람을 촬상하는 기능(촬상된 사람의 화상을 입력하는 기능)을 갖는다. 화상 입력부(11)에 입력되는 화상은, 사람의 얼굴의 부분이 적어도 포함되는 화상이다. 화상 입력부(11)에 입력(취득)된 화상은, 임의 방향 얼굴 검출부(12)에 공급된다.
임의 방향 얼굴 검출부(12)는, 화상 입력부(11)로부터 공급된 화상을 해석함으로써, 사람의 얼굴의 부분(얼굴의 위치와 크기)을 추출하고, 얼굴의 방향을 검출한다. 화상 입력부(11)로부터 공급되는 화상은, 유저의 얼굴을 포함하는 화상이지만, 얼굴의 화상만이 아닌 경우도 있고, 예를 들면, 전신상이 촬영되어 있는 화상인 경우도 있으며, 그러한 화상으로부터, 임의 방향 얼굴 검출부(12)는, 얼굴의 위치나 크기를 검출한다. 즉, 임의 방향 얼굴 검출부(12)는, 화상 입력부(11)로부터 공급되는 화상으로부터, 사람의 얼굴의 영역을 판단하고, 사람의 얼굴의 화상을 추출한다.
또한, 임의 방향 화상 검출부(12)는, 추출된 얼굴이, 어느 방향을 향하고 있는지도 검출한다. 얼굴의 방향이 검출되는 것은, 후단의 처리에서, 사람의 얼굴의 방향의 정보가 이용되고, 사람의 식별 처리가 행해지기 때문이다.
임의 방향 얼굴 검출부(12)에 의해 검출된 얼굴의 화상(얼굴 화상)과 얼굴의 방향(얼굴 방향 정보)은, 얼굴 특징 위치 검출부(13)에 공급된다. 얼굴 특징 위치 검출부(13)는, 공급된 얼굴 화상으로부터, 사람의 얼굴 중에서도 특징으로 되는 부분(얼굴 특징 위치)을 검출한다. 얼굴 특징 위치는, 예를 들면, 눈, 코, 입 등의 부분이다.
얼굴 특징 위치 검출부(13)에 의해 검출된 얼굴 특징 위치는, 국소 특징량 산출부(14)에 공급된다. 국소 특징량 산출부(14)는, 공급된 얼굴 특징 위치 근방의 화상으로부터 특징량을 산출한다. 국소 특징량 산출부(14)에 의해 산출된 특징량은, 사상부(15)에 공급된다.
사상부(15)에는, 데이터베이스(16)에 축적되어 있는 데이터도 공급된다. 데이터베이스(16)에는, 사상 함수(상세한 것은 후술함)나, 식별 대상으로 되어 있는 사람의 얼굴 화상의 데이터(여기에서는, 등록 얼굴 화상 데이터라고 기술함)가 축적되어 있다. 사상부(15)는, 데이터베이스(16)에서 관리되어 있는 사상 함수를 이용하여, 데이터베이스(16)의 등록 얼굴 화상 데이터가 취득된 얼굴 화상의 얼굴의 방향과, 화상 입력부(11)에 입력된 얼굴 화상의 얼굴의 방향을, 동일한 방향으로부터 촬상된 화상으로 하기(동등하게 취급할 수 있도록 하기) 위한 처리를 실행한다.
사상부(15)는, 화상 입력부(11)에 입력된 얼굴 화상의 얼굴의 방향(촬영된 방향)을, 데이터베이스(16)에 등록되어 있는 얼굴의 방향과 일치하도록 처리를 하거나, 또는, 데이터베이스(16)에 등록되어 있는 얼굴 화상의 얼굴의 방향을, 화상 입력부(11)에 입력된 얼굴 화상의 얼굴의 방향과 일치하도록 처리를 한다.
여기에서는, 사상부(15)는, 화상 입력부(11)에 입력된 얼굴 화상의 얼굴의 방향(촬영된 방향)을, 데이터베이스(16)에 등록되어 있는 얼굴 화상의 얼굴의 방향과 일치하도록 처리를 하는 것으로 하여 설명을 계속한다.
도 1의 화상 처리 장치(10)의 구성을 참조하는데 있어, 사상부(15)에는, 국소 특징량 산출부(14)에 의해 산출된 특징량이 입력된다. 국소 특징량 산출부(14)에 의해 산출되는 특징량은, 화상 입력부(11)에 의해 입력된 화상에 포함되는 얼굴 화상으로부터 산출(추출)된 특징량이다.
사상부(15)는, 공급된 특징량을, 데이터베이스(16)에 등록되어 있는 등록 얼굴 화상 데이터가 취득된 얼굴 화상의 얼굴이 향하고 있는 방향으로부터 촬영된 경우와 동등하게 취급할 수 있는 특징량으로 변환(사상)한다. 사상된 특징량은, 얼굴 인식부(17)에 공급된다.
얼굴 인식부(17)에는, 데이터베이스(16)로부터 등록 얼굴 화상 데이터도 공급된다. 얼굴 인식부(17)는, 사상부(15)로부터의 특징량과, 데이터베이스(16)로부터의 등록 얼굴 화상 데이터를 비교하고, 등록되어 있는 사람과 일치하는지의 여부를 판단한다. 이와 같이, 사상부(15)로부터의 특징량과 등록 얼굴 화상 데이터가 비교되기 때문에, 등록 얼굴 화상 데이터란, 구체적으로는, 등록하는(식별하는) 대상으로 되는 사람의 얼굴로부터 취득되는 특징량으로 된다.
이와 같이, 본 실시 형태에서의 화상 처리 장치(10)는, 사람의 얼굴의 식별을, 특징량을 비교함으로써 행한다. 또한, 특징량은, 동일한 방향으로부터 촬영된 얼굴 화상으로부터 추출된 데이터로 하기 위해, 특징량에 대하여 사상 처리가 실행된다. 이러한 처리는, 종래의, 예를 들면, 입체 형상 모델에 대하여 얼굴의 화상 을 맵핑(접착)하고, 그 입체 형상 모델을, 소정의 방향으로 회전시키는 처리를 행하는 방법에 비교하여, 연산량을 감소시키는 것이 가능하게 된다. 또한, 연산량이 감소함으로써, 연산에 걸리는 시간을 짧게 하는 것이 가능하게 된다.
그런데，상기한 바와 같이, 본 실시 형태에서는, 비교하는 특징량이, 동일한 방향으로부터 촬영된 얼굴 화상으로부터 추출된 특징량으로서 취급할 수 있도록 하기 위해, 특징량을 사상하는데, 그 사상 시, 촬상(입력)된 사람의 얼굴이, 어느 방향으로, 어느 정도 향하고 있는지를 나타내는 정보를 필요로 한다. 도 1에서는, 임의 방향 얼굴 검출부(12)가, 사람의 얼굴의 방향을 검출하고, 얼굴의 방향에 관한 정보를 출력하는 것으로 하였지만, 예를 들면, 임의 방향 얼굴 검출부(12)가 행하는 얼굴의 방향의 검출의 정밀도가, 후단의 처리(예를 들면, 얼굴 특징 위치 검출부(13)에서의 처리)에서 필요한 정밀도가 아닌 경우, 또는, 얼굴의 방향을 임의 방향 얼굴 검출부(12) 이외의 부분에서 검출하도록 구성하는 경우, 화상 처리 장치(10)는, 도 2에 도시한 바와 같은 구성으로 된다.
도 2는, 화상 처리 장치의 다른 구성예를 도시하는 도면이다. 도 2에 도시한 화상 처리 장치(30)는, 도 1에 도시한 화상 처리 장치(10)와 비교하여, 얼굴 방향 검출부(31)가 추가된 구성으로 되어 있다. 단, 임의 방향 얼굴 검출부(12')는, 도 1에 도시한 임의 방향 얼굴 검출부(12)와 마찬가지의 것을 이용하는 것도 가능하고, 도 1에 도시한 임의 방향 얼굴 검출부(12)보다 얼굴의 방향을 검출하는 정밀도가 뒤떨어지는 것을 이용하는 것도 가능하다. 이러한 이유 때문에, 도 2에 도시한 임의 방향 얼굴 검출부(12')에는, 도 1에 도시한 임의 방향 얼굴 검출부(12)와 구별을 하기 위해, 부호에 대쉬(')을 붙여서 기술한다.
얼굴 방향 검출부(31)를 추가한 구성으로 함으로써, 임의 방향 얼굴 검출부(12')로부터의 얼굴 화상과 얼굴 방향 정보는, 얼굴 방향 검출부(31)에 공급된다. 또한, 얼굴 화상은, 얼굴 특징 위치 검출부(13)에도 공급된다.
얼굴 방향 검출부(31)는, 공급된 얼굴 화상과 얼굴 방향 정보로부터, 얼굴의 방향을 검출한다. 검출된 얼굴의 방향(얼굴 방향 정보)은, 얼굴 특징 위치 검출부(13)에 공급된다.
또한, 이와 같이, 얼굴 방향 검출부(31)에서 얼굴의 방향이 검출되도록 구성한 경우, 임의 방향 얼굴 검출부(12')에서는 얼굴의 방향을 검출하지 않도록 해도 된다. 또는, 임의 방향 얼굴 검출부(12')에서 대략적 검출을 행하고, 얼굴 방향 검출부(31)에서 상세한 검출이 행해지도록 해도 된다. 얼굴 방향 검출부(31)에서의 얼굴의 방향의 검출 정밀도는, 후단의 처리에서 필요한 정밀도이면 된다.
여기에서는, 도 1에 도시한 화상 처리 장치(10)를 예로 들어 설명을 계속한다.
[화상 처리 장치의 동작에 대해]
도 3의 플로우차트를 참조하여, 화상 처리 장치(10)(도 1)의 동작(얼굴의 식별)에 대해 설명한다.
스텝 S11에서, 화상 입력부(11)는, 얼굴 화상을 입력(취득)한다. 여기에서는, 얼굴 화상이라고 기술하지만, 화상 입력부(11)에 입력되는 화상은, 얼굴을 포함하는 화상이면 된다. 화상 입력부(11)에 입력된 얼굴 화상은, 임의 방향 얼굴 검출부(12)에 공급된다. 임의 방향 얼굴 검출부(12)는, 스텝 S12에서, 공급된 화상에서의 얼굴의 위치, 얼굴의 크기, 얼굴의 방향을, 각각 검출한다. 얼굴의 위치와 크기가 검출됨으로써, 얼굴 화상의 부분이 추출되고, 그 추출된 얼굴 화상의 부분이, 얼굴 특징 위치 검출부(13)과 국소 특징량 산출부(14)에 공급된다. 또한, 임의 방향 얼굴 검출부(12)에 의해 검출된 얼굴의 방향에 관한 정보(얼굴 방향 정보)는, 얼굴 특징 위치 검출부(13)에 공급된다.
얼굴 특징 위치 검출부(13)는, 공급된 얼굴 화상과 얼굴 방향 정보를 이용하여, 얼굴의 특징적인 부분(얼굴 특징 위치), 예를 들면, 눈, 코, 입 등 특징적인 부분을 검출한다. 얼굴 특징 위치 검출부(13)는, 예를 들면, AAM(Active Appearance Models)이라고 불리는 방법을 적용하여, 특징 위치를 검출하도록 하는 것이 가능하다. AAM에 대해서는, 상기의 비특허문헌2에 기재가 있다.
AAM의 방법은, 소정의 한정된 범위 내에서의 방향의 얼굴 화상에 대하여, 정밀도 좋게 얼굴 특징 위치를 검출하는 것이 가능하다는 특징이 있다. 그 때문에, AAM에 의한 방법을 이용하여 얼굴 특징 위치를 검출하는 경우, 정밀도 좋게 얼굴 특징 위치를 검출할 수 있는 범위 내마다, 방향별 얼굴 특징 위치를 검출하는 구조가 필요하다. 예를 들면, 각 방향별로, 얼굴 특징 위치를 검출하는 복수의 검출부(도시되지 않음)가 설치되고, 얼굴 방향 정보가 나타내는 방향에 의해, 그들의 검출부가 절환되어 이용된다.
즉, 얼굴 특징 위치 검출부(13)에서의 얼굴 특징 위치의 검출을 AAM의 방법을 이용하여 행하는 경우, 얼굴 특징 위치 검출부(13)는, 공급된 얼굴 방향 정보로 부터, 그 얼굴 방향 정보가 나타내는 방향에 적합한 검출부를 선택하고, 그 선택한 검출부에 얼굴 화상을 공급하여, 얼굴 특징 위치의 검출을 행한다.
이러한 얼굴 특징 위치의 검출이 행해지도록, 얼굴 특징 위치 검출부(13)를 구성한 경우, 얼굴 방향 정보가 필요하게 된다. 얼굴 특징 위치 검출부(13)가 요구하는 얼굴 방향 정보의 정밀도와, 임의 방향 얼굴 검출부(12)가 출력하는 얼굴 방향 정보의 정밀도가 맞지 않은 경우, 도 2에 도시한 바와 같이, 임의 방향 얼굴 검출부(12')와 얼굴 특징 검출부(13) 사이에, 정밀도 요구를 충족시키는 얼굴 방향 검출부(31)가 설치될 필요가 있다.
도 3의 플로우차트의 설명으로 되돌아가, 스텝 S12에서, 얼굴 특징 위치 검출부(13)가 처리를 행하는데 필요한 정밀도로, 얼굴 방향이 검출되고, 그 얼굴 방향의 정보(얼굴 방향 정보)가, 얼굴 특징 위치 검출부(13)에 출력되면, 스텝 S13에서, 얼굴 특징 위치 검출부(13)에 의해, 얼굴 특징 위치가 검출된다.
스텝 S13에서, 얼굴 특징 위치 검출부(13)는, 상기한 바와 같이, 예를 들면 AAM의 방법에 의해, 얼굴의 특징적인 위치(얼굴 특징 위치)를 검출한다. 얼굴 특징 위치 검출부(13)에 의해 검출되는 얼굴 특징 위치는, 예를 들면, 도 4의 A나 도 4의 B에 도시한 위치이다.
도 4의 A는, 정면으로부터 촬영된 얼굴 화상으로부터 검출되는 얼굴 특징 위치를 나타내고 있다. 도 4의 B는, 경사 45도로부터 촬영된 얼굴 화상으로부터 검출되는 얼굴 특징 위치를 나타내고 있다. 도 4의 A, 도 4의 B에서，× 표시를 붙인 부분이, 얼굴 특징 위치로서 검출되는 위치이다.
도 4의 A를 참조하는데 있어, 얼굴 특징 위치로서 검출되는 것은, 눈썹의 양단(우측의 눈썹과 좌측의 눈썹에서, 각각 2점, 계 4점), 눈의 양단과 중앙(검은자위)(우측 눈과 좌측 눈에서, 각각 3점, 계 6점), 코의 양단과 중앙(계 3점), 입의 양단과 중앙(양단에서 2점, 윗입술의 중앙에서 1점, 아랫 입술의 중앙에서 1점, 계 4점)이, 각각 검출된다. 이와 같이, 얼굴 화상으로부터, 얼굴 특징 위치로서, 계 17점이 검출된다.
도 4의 B을 참조하는데 있어, 얼굴 특징 위치로서 검출되는 것은, 도 4의 A에 도시한 경우와 마찬가지로, 즉, 정면으로부터 촬영된 얼굴 화상으로부터 검출되는 것과 마찬가지의 위치(대응하는 위치)의 계 17점이 검출된다. 이와 같이, 본 실시 형태에서는, 얼굴 화상으로부터 17점의 특징 위치가 검출되는 것으로 하여 설명을 계속한다.
도 4의 A와 도 4의 B에, 각각 도시한 특징 위치(× 표시) 중, 대응하는 점끼리를, 점선으로 연결하고, 그 대응을 알 수 있도록 도시하였다(단, 눈과 눈썹 부분의 특징 위치만 대응 관계(점선)를 도시함).
특징 위치 검출부(13)는, 입력된 얼굴 화상으로부터, 도 4의 A나 도 4의 B에 도시한 바와 같은 특징 위치를 검출한다. 특징 위치 검출부(13)에 의해 검출된 특징 위치에 관한 정보(특징 위치 정보)는, 국소 특징량 산출부(14)에 공급된다. 국소 특징량 산출부(14)는, 임의 방향 얼굴 검출부(12)로부터, 얼굴 화상도 공급된다(이 얼굴 화상은, 얼굴 특징 위치 검출부(13)에 공급되는 얼굴 화상으로 동일한 경우, 얼굴 특징 위치 검출부(13)로부터, 특징 위치 정보와 함께 공급되도록 해도 된다).
국소 특징량 산출부(14)는, 국소 특징량을 산출한다. 국소 특징량 산출부(14)에서의 국소 특징량의 산출에는, 특징 위치 근방의 화상을, 그대로 이용하여 산출하는 방법이나, 가보 필터(Gabor　Filter)나 가우시안 데리버티브 필터(Gaussian Derivative Filter) 등의 컨볼루션 연산을 이용하여 추출하는 방법을 적용할 수 있다. 여기에서는, 가보 필터에 의해 국소 특징량이 추출되는 것으로 하여 설명을 계속한다.
여기서, 가보 필터의 처리(가보 필터링)에 대해 설명한다. 먼저 인간의 시각 세포에는, 임의의 특정한 방위에 대하여 선택성을 갖는 세포가 존재하는 것을 이미 알고 있다. 이것은, 수직의 선에 대하여 반응하는 세포와, 수평의 선에 반응하는 세포로 구성된다. 가보 필터링은, 이것과 마찬가지로, 방위 선택성을 갖는 복수의 필터로 구성되는 공간 필터이다.
가보 필터는, 가보 함수에 의해 공간 표현된다. 가보 함수 g(x, y)는, 다음 수학식에 나타내는 바와 같이, 코사인 성분으로 이루어지는 캐리어 s(x, y)와, 2차원 가우스 분석 형상의 엔벨로브 Wr(x, y)로 구성된다.
Figure 112006062174921-PAT00001
캐리어 s(x, y)는, 복수 함수를 이용하여, 다음 수학식 2와 같이 표현된다. 여기에서, 좌표치(u0, v0)은 공간 주파수를 나타내고, 또 P는 코사인 성분의 위상을 나타낸다.
Figure 112006062174921-PAT00002
다음 수학식 2에 나타내는 캐리어는, 다음 수학식 3에 나타내는 바와 같이, 실수 성분 Re(s(x, y))와 허수 성분 Im(s(x, y))으로 분리할 수 있다.
Figure 112006062174921-PAT00003
한편，2차원 가우스 분포로 이루어지는 엔벨로브는, 다음 수학식과 같이 표현된다.
Figure 112006062174921-PAT00004
여기서, 좌표축(x0,　y0)은 이 함수의 피크이고, 상수 a 및 b는 가우스 분포의 스케일 파라미터이다. 또한, 첨자 r은, 다음 수학식에 나타내는 바와 같은 회전 조작을 의미한다.
Figure 112006062174921-PAT00005
따라서, 전술한 수학식 2 및 수학식 4로부터, 가보 필터는, 다음 수학식에 나타내는 바와 같은 공간 함수로서 표현된다.
Figure 112006062174921-PAT00006
본 실시 형태에 따른 국소 특징량 산출부(14)는, 합계 17개의 가보 필터를 이용하여 얼굴의 눈, 입, 코 등의 특징 위치마다 산출 처리를 행한다.
가보 필터의 레스폰스는, Gi를 i번째의 가보 필터로 하고, i번째의 가보 필터의 결과(Gabor Jet)를 Ji로 하고, 입력 이미지를 I로 하면, 다음 수학식으로 나타난다.
Figure 112006062174921-PAT00007
이 수학식 7의 연산은, 실제로는 고속 퓨에리 변환을 이용하여 고속화할 수 있다.
이하의 설명에서는, 소정의 특징 위치에 의한, 수학식 7에 의해 산출되는 국소 특징량을 국소 특징량 벡터라고 하고, 이하와 같이 수학식 8과 같이 정의한다.
Figure 112006062174921-PAT00008
수학식 8에서, 좌변의 J의 문자의 첨자 중, 상측의 첨자는, 촬상되었을 때의 화상의 각도(임의 방향 얼굴 검출부(12)에서 검출된 얼굴의 방향)를 나타내는 숫자이고, 하측의 첨자는 17점의 특징 위치를 식별하기 위한 숫자이다. 예를 들면, 정면으로부터 촬영되었을 때의 J의 상측의 첨자는 "0"이고, 45도로부터 촬영되었을 때의 J의 상측의 첨자는 "45"이다. 또한，수학식 8은, 정면으로부터 촬영되었을 때의 얼굴 화상에 관한 국소 특징량 벡터인 경우를 나타내고 있다.
또한, 예를 들면, 도 4의 A에서, 도면에서 좌측의 눈썹의 좌측의 특징 위치를 "0", 도면에서 좌측의 눈썹의 우측의 특징 위치를 "1"이라는 순으로, 순차적으로 번호를 할당한 경우, J의 하측의 첨자는, 0 내지 16의 수치로 된다. 이 경우, 예를 들면, 도면에서 좌측의 눈썹의 좌측의 특징 위치에 관한 국소 특징량 벡터인 경우, J의 하측의 첨자는 "0"이다.
수학식 8의 우변은, 국소 특징량 벡터를 구성하는 요소를 나타내고 있다. 각 요소를 나타내는 j의 첨자는, 좌변의 J의 첨자와 동일하게, 상측의 첨자는, 촬영되었을 때의 화상의 각도를 나타내는 숫자이며, 하측의 첨자는 각 요소를 식별하기 위한 숫자이다.
이와 같이, 국소 특징량 벡터가, 특징 위치마다, 이 경우, 17점에서 각각 산출된다. 국소 특징량 산출부(14)에 의해 산출된 국소 특징량 벡터는, 사상부(15)에 공급된다. 사상부(15)는, 스텝 S15에서, 입력된 국소 특징량 벡터를, 사상할 필요가 있는 경우, 사상 처리를 실행한다.
여기서, 도 4의 A와 도 4의 B를 다시 참조하여, "사상할 필요가 있는 경우"에 대해 설명을 가하지만, 그 전에, 데이터베이스(16)에 등록되어 있는 데이터에 대해 설명을 가한다. 데이터베이스(16)에는, 사상 함수나, 식별 대상으로 되는 사람의 얼굴 화상에 관한 데이터(등록 얼굴 화상 데이터)가 기억되어 있다. 등록 얼굴 화상 데이터는, 식별 대상으로 되는 사람의 얼굴 화상으로부터 추출된 국소 특 징량 벡터를 적어도 포함하는 데이터이다.
예를 들면, 수학식 8에 기초하여 산출된 국소 특징량 벡터가, 이 경우, 다음 수학식 9에 나타내는 바와 같은 조로, 1명(1 얼굴 화상)에 대하여 17개, 등록되어 있다.
Figure 112006062174921-PAT00009
이와 같이, 데이터베이스(16)에 등록되어 있는 등록 얼굴 화상 데이터(국소 특징량 벡터)는, 소정의 방향으로부터 촬영된 얼굴 화상으로부터 추출된 국소 특징량 벡터의 조이다. 예를 들면, 도 4의 A에 도시한 바와 같은, 정면으로부터 촬영된 얼굴(여기에서는, 등록 얼굴이라고 기술함)의 얼굴 화상으로부터 추출된 국소 특징량 벡터의 조(수학식 9에 나타낸 조)가, 데이터베이스(16)에는 등록되어 있다.
그러나, 화상 입력부(11)에 입력되는 얼굴(여기에서는, 입력 얼굴이라고 기술함)의 얼굴 화상은, 예를 들면, 도 4의 B에 도시한 바와 같이, 정면으로부터 촬영된 얼굴이 아닌(등록 얼굴과는 달리), 경사 방향으로부터 촬영된 얼굴의 얼굴 화상인 경우도 있다. 입력 얼굴이 도 4의 B에 도시한 바와 같은 경사 방향으로부터 촬영된 얼굴 화상으로부터도, 기본적으로 17점의 특징 위치로부터, 각각 국소 특징량 벡터가 산출된다.
데이터베이스(16)에 등록되어 있는 사람인지의 여부의 판단(식별 처리)은, 데이터베이스(16)에 등록되어 있는 얼굴(등록 얼굴)의 국소 특징량 벡터와, 화상 입력부(11)에 입력된 얼굴(입력 얼굴)의 얼굴 화상으로부터 추출된 국소 특징량 벡터가 이용됨으로써 행해지는데, 등록 얼굴과 입력 얼굴의 방향이, 예를 들면, 도 4의 A와 도 4의 B에 도시한 바와 같이 서로 다른 경우, 단순히, 등록 얼굴로부터 추출된 국소 특징량 벡터와 입력 얼굴로부터 추출된 국소 특징량 벡터를 이용하여 식별을 행할 수는 없다(그와 같은 것을 실행하면, 정확한 식별 결과를 얻을 수 없어, 식별 정밀도를 저하시키게 된다).
바꾸어 말하면, 등록 얼굴로부터 추출된 국소 특징량 벡터와, 등록 얼굴과 동일한 방향으로부터 촬영된 입력 얼굴로부터 추출된 국소 특징량 벡터가 이용됨으로써 식별 처리가 행해지지 않으면, 식별 정밀도를 향상시킬 수는 없다.
입력 얼굴과 등록 얼굴의 방향이 서로 다른 경우, 입력 얼굴과 등록 얼굴에서는, 화상 상에서의 얼굴의 보이는 방법도 서로 크게 다르기 때문에, 가령, 동일인물로부터의 얼굴 화상으로부터 추출된 국소 특징량 벡터이어도, 그 값 등은 크게 변화하게 된다. 이 때문에 식별 처리를 행할 때, 등록 얼굴과 입력 얼굴의 유사도를 산출할 때, 입력 얼굴과 등록 얼굴의 방향이 서로 다르면 직접적으로 국소 특징량 벡터를 이용하여 비교하는 것만으로는, 정밀도 좋게 식별을 행하는 것은 곤란하다.
이러한 것을 해결하고, 입력 얼굴과 등록 얼굴의 방향이 서로 다를 때에도, 정밀도 좋게 식별할 수 있도록 하기 위해, 종래의 방법에서는, 얼굴의 입체 형상 모델을 이용하여 등록 얼굴과 동일한 방향의 입력 얼굴을 합성하는 것이 행해졌다. 그러나, 이 방법에서는，연산량이 증대하게 될 뿐만 아니라, 입체 형상 모델이, 식별 대상으로 되는 사람(데이터베이스(16)에 등록되어 있는 사람)에 적합하지 않으면, 식별 정밀도가 저하되게 된다.
본 실시 형태에서는, 입체 형상 모델을 이용하지 않기 때문에, 연산량을, 입체 형상 모델을 이용했을 때보다 삭감하는 것이 가능하게 된다. 또한, 입체 형상 모델을 이용하지 않기 때문에, 식별 대상으로 되는 사람에게 입체 형상 모델이 적합하지 않으면 식별 정밀도가 저하하게 되는 등을 방지하는 것도 가능하게 된다.
본 실시 형태에서는, 사상 함수를 이용하여, 국소 특징량 벡터를 사상 처리함으로써, 입력 얼굴과 등록 얼굴의 방향의 차이를 흡수한 식별을 행할 수 있도록 한다.
도 3에 도시한 플로우차트의 처리의 설명으로 되돌아가, 사상부(15)는, 스텝 S15에서, 사상 처리를 행한다. 사상부(15)가, "사상할 필요가 있는 경우"라고 판단하는 것은, 데이터베이스(16)에 등록되어 있는 등록 얼굴과 서로 다른 방향의 입력 얼굴이 입력되었을 때이다. 또한, 사상할 필요가 있는 경우에는, 데이터베이스(16)에 등록되어 있는 사상 함수에 의해 사상 처리가 실행되는데, 사상할 필요가 없는 경우에는, 사상부(15)에 의한 사상 처리는 전혀 실행되지 않고, 국소 특징량 산출부(14)로부터의 국소 특징량 벡터가, 그대로 얼굴 식별부(17)에 공급되도록 해도 되고, 실질적으로 사상되지 않는(데이터 값에 변경이 없는) 사상 함수가 이용되어 사상 처리가 행해진 후, 얼굴 식별부(17)에 공급되도록 해도 된다.
사상부(15)에서의 사상에 관하여, 데이터베이스(16)에 등록되어 있는 등록 얼굴이, 도 4의 A에 도시한 바와 같은 정면으로부터 촬영된 얼굴이고, 그 등록 얼굴로부터 추출된 국소 특징량 벡터의 조가 데이터베이스(16)에 등록되어 있는 것으로 하고, 입력 얼굴이, 도 4의 B에 도시한 바와 같은 경사 45도로부터 촬영된 얼굴이며, 그 입력 얼굴로부터 추출된 국소 특징량 벡터가, 사상부(15)에 공급되는 경우를 예로 들어 설명한다.
이와 같은 경우, 국소 특징량 산출부(14)에 의해 산출되고, 사상부(15)에 공급되는 국소 특징량 벡터란, 다음 수학식 10과 같이 된다. 또한，i는, 얼굴 특징 위치를 식별하기 위한 숫자이므로, 이 경우, 0 내지 16 사이의 숫자이다.
Figure 112006062174921-PAT00010
수학식 10은, 경사 45도의 방향의 얼굴 화상으로부터 추출된 국소 특징량 벡터이고, 이 국소 특징량 벡터가, 사상 함수에 의해, 0도(정면)의 방향의 얼굴 화상으로부터 추출된 국소 특징량 벡터로서 취급할 수 있도록 사상된다. 사상 후의 수학식 10은, 다음 수학식 11과 같이 된다.
Figure 112006062174921-PAT00011
수학식 11에서，J 또는 j 상의 "~"은, 근사치인 것을 나타낸다. 등록 얼굴로부터 추출된 국소 특징량 벡터인 수학식 8과, 입력 얼굴로부터 추출된 국소 특징 량 벡터인 수학식 10을 사상한 수학식 11은, 근사의 관계에 있다는 것을 알 수 있다.
즉, 수학식 11의 각 요소(수학식 11의 우변의 {} 내의 각 요소)는, 다음 수학식 12에 의해 산출된다.
Figure 112006062174921-PAT00012
즉, 수학식 11을 구성하는 1개의 요소 j는, 수학식 10에서의 모든 요소(i-1 내지 i-n까지의 n개의 요소 j)가 이용되어, 소정의 사상 함수 f에 의해 구해진다. 사상 함수 f는, 데이터베이스(16)에 등록되어 있고, 입력 얼굴의 방향에 대응한 사상 함수 f가 판독되고, 이용된다. 즉 이 경우, 45도일 때의 사상 함수 f가, 판독되고, 이용된다. 또한, 사상 함수 f는, 얼굴 특징 위치마다 준비되어 있다. 즉, 이 경우, 얼굴 특징 위치가 17개 있으므로, 17개의 사상 함수 f가 1개의 방향에 대하여 준비(등록)되어 있다.
사상부(15)에서 행해지는 사상 처리에 관한 식을, 일반적으로 기재하면 아래와 같이 된다.
Figure 112006062174921-PAT00013
Figure 112006062174921-PAT00014
Figure 112006062174921-PAT00015
수학식 13은, 입력 얼굴의 특징 위치 i에서의 국소 특징량 벡터를 나타내고 있다. 수학식 14는, 등록 얼굴의 특징 위치 i에서의 국소 특징량 벡터를 나타내고 있다. 그리고, 이러한 때의 특징량의 사상은, 수학식 15와 같이 기술할 수 있다.
수학식 15에서 좌변은, 특징 위치 i에서의 국소 특징량 벡터의 k번째의 요소의 추정치인 것을 나타내고 있다. 수학식 15에서의 우변 중，
Figure 112006062174921-PAT00016
은, 등록 얼굴의 각도 θR의 방향의 얼굴 화상의 특징 위치 i에서의 국소 특징량 벡터의 k번째의 요소를, 입력 얼굴 각도 θI의 방향의 얼굴 화상의 특징 위치 i에서의 국소 특징량 벡터의 모든 요소를 이용하여 사상을 행하는 특징량의 사상 함수이다.
또한 여기에서는 모든 요소를 이용하여 사상을 행하고 있지만, 모든 요소를 이용하지 않아도 된다. 예를 들면, 추정에 필요한 최저한의 요소를 결정하고, 그 요소만이 이용되도록(사상 함수에 대입되도록) 해도 된다. 즉, 입력되는 국소 특징량 벡터와 사상 후의 국소 특징량 벡터 사이에 명백한 인과 관계가 있는 경우, 사상 함수의 입력 변수로서, 입력된 모든 국소 특징량 벡터의 요소를 이용하여 사상 처리가 행해지는 것은 아니며, 인과 관계가 있다고 판단되는 요소만이 이용되도록 해도 된다.
도 3의 플로우차트의 설명으로 되돌아가, 스텝 S15에서, 사상부(15)에 의해 사상 처리가 행해지면, 그 사상 결과가, 얼굴 식별부(17)에 공급된다. 얼굴 식별부(17)는, 스텝 S16에서, 데이터베이스(16)로부터, 등록되어 있는 등록 얼굴 화상 데이터(식별 대상으로 되는 등록 얼굴로부터 추출된 국소 특징량 벡터의 조)가 판독된다. 복수의 등록 얼굴 화상 데이터가 등록되어 있었을 경우(복수의 사람을 식별하도록, 복수의 사람의 얼굴 화상 데이터가 등록되어 있었을 경우), 등록되어 있는 복수의 얼굴 화상 데이터가 판독된다.
스텝 S17에서, 얼굴 인식부(17)는, 유사도 벡터를 산출한다. 유사도는, 입력 얼굴과 등록 얼굴의 각각의 특징 위치를 대응지어, 대응지어진 특징 위치의 국소 특징량 벡터끼리가 이용되어 산출된다. 유사도는, 예를 들면, 정규화 상관 연산 등의 연산 방법이 이용되어 행해진다.
여기에서는, 얼굴 식별부(17)는, 정규화 상관 연산을 이용하여, 유사도를 산출하는 것으로 하여 설명을 계속한다. 얼굴 식별부(17)가, 정규화 상관 연산을 이용하여 유사도를 산출하는 경우, 다음 수학식 17과 다음 수학식 18에 기초하여 유사도가 산출된다.
Figure 112006062174921-PAT00017
Figure 112006062174921-PAT00018
수학식 17에, 수학식 8과 수학식 11에서의 각 요소가 순차적으로 대입되고, 정규화 상관 연산이 행해짐으로써, 수학식 18에서의 유사도 벡터를 구성하는 각 요소가 산출된다. 바꾸어 말하면, 입력 얼굴과 등록 얼굴의 동일한 특징 위치에서의 유사도가, 입력 얼굴의 국소 특징량 벡터(사상 변환된 국소 특징량 벡터)(수학식 11)와, 등록 얼굴의 국소 특징량 벡터(데이터베이스(16)에 등록되어 있는 국소 특징량 벡터)(수학식 8)를 이용하여 연산된다(수학식 17).
수학식 17에 의해 산출된 유사도 ci 0으로부터, 그 집합인 유사도 벡터 cd 0이 구해진다. 하측의 첨자 "d"는, 1부터 시작하고, 데이터베이스(16)에 등록되어 있는, 식별 대상으로 되는 얼굴의 개수(등록 얼굴 화상 데이터의 수)로 종료하는 숫자이다. 이와 같이 하여, 등록 얼굴 화상 데이터마다, 입력 얼굴과의 유사도 벡터가 산출된다.
스텝 S17에서, 유사도 벡터가 산출되면, 스텝 S18에서, 얼굴 식별부(17)는, 입력 얼굴은, 데이터베이스(16)에 등록되어 있는(식별 대상으로 되어 있는) 얼굴인지의 여부(동일 인물인지의 여부)를 판정하고, 그 판정 결과를, 도시되지 않은 외 부의 장치 등에 출력한다. 그 판정은, 예를 들면, 서포트 벡터 머신(Support Vector Machine : SVM), 뉴럴 네트워크(Neural Network), Adaboost 등의 Classifier가 이용하여 행하는 것이 가능하다.
여기에서는, 서포트 벡터 머신(SVM)을 적용한 경우를 예로 들어 설명한다. 여기에서, SVM의 일반적인 설명을 간편하게 가한다. 서포트 벡터 머신 자체에 관해서는, 예를 들면 B. sholkopf 외 저의 보고(B.Sholkopf, C.Burges, A. Smola, 鄭dvance in Kernel Support Vector Learning煤CThe MIT Press, 1999.)를 예로 들 수 있다.
서포트 벡터 머신은, 식별 함수에 선형 식별기(퍼셉트론)를 이용한 학습 기계로서, 커넬 함수를 사용함으로써 비선형 공간으로 확장할 수 있다. 또한 식별 함수의 학습에서는，클래스간 분리의 마진을 최대로 취하도록 행하고, 그 해는 2차 수리 계획법을 푸는 것에 의해 얻을 수 있기 때문에, 글로벌 해에 도달할 수 있는 것을 논리적으로 보증할 수 있다.
통상적으로, 패턴 인식의 문제는, 테스트 샘플 x=(x1, x2, …,　xn)에 대하여, 다음 수학식으로 주어지는 식별 함수 f(x)를 구하는 것이다.
Figure 112006062174921-PAT00019
여기서, 서포트 백터 머신의 학습용의 교사 레벨을 다음 수학식과 같이 둔다.
Figure 112006062174921-PAT00020
그렇게 하면, 서포트 벡터 머신에서의 얼굴 패턴의 인식을 다음 수학식에 나타내는 제약 조건 하에서의 무게 인자 w의 2승을 최소화하는 문제로서 파악할 수 있다.
Figure 112006062174921-PAT00021
이러한 제약이 붙은 문제는, 라그랑쥬의 미정 상수법을 이용하여 풀 수 있다. 수학식 22에 나타내는 라그랑쥬를 먼저 도입하고, 이어서, 수학식 23에 나타내는 바와 같이, b, w 각각에 대해 편미분한다.
Figure 112006062174921-PAT00022
Figure 112006062174921-PAT00023
이 결과, 서포트 벡터 머신에서의 얼굴 패턴의 식별을 다음 수학식에 나타내는 2차 계획 문제로서 파악할 수 있다.
Figure 112006062174921-PAT00024
특징 공간의 차원 수가, 훈련 샘플의 수보다 적은 경우에는, 슬랙 변수ξ≥0을 도입하여, 제약 조건을 다음 수학식과 같이 변경한다.
Figure 112006062174921-PAT00025
최적화에 대해서는, 다음 수학식의 목적 함수를 최소화한다.
Figure 112006062174921-PAT00026
이 수학식 26에서，C는, 제약 조건을 어디까지 완화할지를 지정하는 계수로서, 실험적으로 값을 결정할 필요가 있다. 라그랑쥬 상수 a에 관한 문제는 다음 수학식과 같이 변경된다.
Figure 112006062174921-PAT00027
그러나, 이 수학식 27의 상태에서는, 비선형의 문제를 풀 수는 없다. 따라서, 예를 들면, 커넬 함수 K(x, x3)을 도입하여, 일단, 고차원의 공간에 사상하여 (커넬 트릭), 그 공간에서 선형 분리하는 것으로 하고 있다. 따라서, 원래의 공간 에서는 비선형 분리하고 있는 것과 동등하게 된다.
커넬 함수는, 임의의 사상 Φ을 이용하여 다음 수학식과 같이 나타난다.
Figure 112006062174921-PAT00028
또한，수학식 19에 나타낸 식별 함수도, 다음 수학식 29와 같이 나타낼 수 있다.
Figure 112006062174921-PAT00029
얼굴 식별부(16)는, 상기한 바와 같은 서포트 벡터 머신(수학식 29)에 기초하는 판정)에 의해, 얼굴의 식별을 행한다. 서포트 벡터 머신은, 유사도 벡터의 경계면(수학식 29의 f(x)의 값을, 예를 들면, +1 또는 -1로 판정하는 경계면(값이 0인 위치의 면))으로부터의 거리를 산출하고, 등록 얼굴과 일치하는지의 여부의 판정을 행한다. 즉, 등록 얼굴과 일치한다고 판정되는 유사도 벡터가 존재하지 않는 경우에는, 미등록의 인물의 얼굴이 입력되었다고 판정되고, 등록 얼굴과 일치한다고 판정되는 유사도 벡터가 존재하는 경우에는, 등록되어 있는 인물의 얼굴이 입력되었다고 판정한다.
이러한 판정을 행하기 위해, 얼굴 식별부(17)는, 다음 수학식 30에 기초하여 판정을 행한다. 수학식 30은, 수학식 29를, 수학식 17이나 수학식 18 등의 다른 식의 기재와 합하고, 또한, sgn 함수로 나타낸 식이다. sgn 함수는, sgn(<수치>) 라는 형태를 취하고, 수치의 부호를 조사할 때에 이용되는 함수이다. () 내의 수치가 플러스일 때의 결과는 「1」, 마이너스일 때의 결과는 「-1」, 0일 때의 결과는 「0」으로 되는 함수이다.
Figure 112006062174921-PAT00030
도 3의 플로우차트의 설명으로 되돌아가, 스텝 S18에서, 얼굴 식별부(17)에 의해, 입력 얼굴과 일치하는 등록 얼굴이, 데이터베이스(16)에 등록되어 있는지의 여부가 판정되고, 그 판정 결과가 출력된다. 출력되는 쪽의 장치로서는, 예를 들면, 디스플레이 등이며, 판정 결과가, 메시지 등의 형식으로 표시된다.
입력 얼굴과 일치하는 등록 얼굴이 데이터베이스(16)에 등록되어 있었을 경우, 일치하고 있다고 판정된 등록 얼굴에 관련지어져 있는 사람의 이름 등의 정보가 데이터베이스(16)로부터 판독되고, 그 이름 등의 정보가 판정 결과로서 출력된다. 그리고, 출력처의 장치에서, 그 정보에 기초하는 표시 등이 행해진다.
또한, 입력 얼굴과 일치하는 등록 얼굴이 데이터베이스(16)에 등록되어 있지 않았을 경우, 등록되어 있지 않았던 것을 나타내는 정보가 판정 결과로서 출력되고, 출력처의 장치에서, 예를 들면, "미등록의 인물" 등의 메시지 등의 표시나 경고가 이루어진다.
이와 같이, 본 실시 형태에서는, 입력 얼굴과 등록 얼굴의 방향이 서로 다른 경우, 입력 얼굴의 방향을 등록 얼굴의 방향과 일치시키기 위한 처리가 실행된다. 그 처리는, 입력 얼굴(입력 얼굴의 화상)로부터 추출된 국소 특징량 벡터를, 사상 함수에 의해 사상함으로써, 등록 얼굴의 방향과 일치하는 방향의 입력 얼굴로부터 추출된 국소 특징량 벡터로서 취급할 수 있도록 하기 위한 처리이다.
이와 같이 국소 특징량 벡터를 사상함으로써, 입력 얼굴과 등록 얼굴의 방향의 차이를 흡수하고, 식별 처리를 실행함으로써, 즉, 종래의 방법과 달리, 본 실시 형태는, 서로 다른 방향의 얼굴 화상 전체를 합성하는 것이 아니며, 얼굴 화상의 몇 개의 특징점에서의 특징량을 추정하는 방법이기 때문에, 이하와 같은 효과를 기대할 수 있다.
먼저, 식별에 불필요한 부분의 계산을 행하는 일이 없으므로, 용장적인 처리를 행하지 않아도 되고, 효율적으로 식별 처리를 행하는 것이 가능하다. 식별에 불필요한 부분이란, 예를 들면, 얼굴의 이마, 뺨 등의 부분이며, 이들 부분을, 식별 처리에는 이용하지 않음으로써, 연산에 이용되는 데이터량을 감소시킬 수 있고, 연산량을 감소시킬 수 있으며，이로써, 효율적으로 식별 처리를 할 수 있게 된다.
그런데, 전술한 바와 같이, 데이터베이스(16)에는, 식별 대상으로 되는 얼굴(사람)이 등록되어 있다. 등록되어 있는 내용으로서는, 등록 얼굴로부터 추출된 국소 특징량 벡터(예를 들면, 수학식 8에 나타낸 바와 같은 데이터의 조)이다. 또한, 등록되어 있는 국소 특징량 벡터가, 어떠한 사람의 데이터인지를 식별하기 위한 데이터로서, 예를 들면, 이름(닉네임) 등이, 국소 특징량 벡터의 데이터와 관련지어져 등록되어 있다.
이러한 데이터(등록 얼굴 화상 데이터)는, 화상 입력부(11) 내지 국소 특징 량 산출부(14)(도 1)의 처리가 실시됨으로써, 취득되고, 등록되는 데이터이다. 예를 들면, 화상 처리 장치(10)의 사용 초기 기간에는, 등록하기 위한 처리가 실행되고, 데이터베이스(16)에, 등록 얼굴 화상 데이터가 등록된다. 등록될 때에는, 국소 특징량 산출부(14)로부터의 국소 특징량 벡터가, 데이터베이스(16)에 공급되도록 해도 된다. 또한, 등록 얼굴이, 반드시 정면으로부터의 촬영된 얼굴이라고는 할 수 없으므로, 사상부(15)에 의해 사상의 처리가 행해진 후의 국소 특징량 벡터가, 데이터베이스(16)에 등록되도록 해도 된다.
이와 같이, 본 실시 형태에서는, 사상부(15)에 의해 국소 특징량 벡터의 사상이 행해지는데, 그 사상에 이용되는 사상 함수도, 데이터베이스(16)에, 식별 처리가 실행되기 전의 시점에서 등록되어 있다. 등록되어 있는 사상 함수는, 예를 들면 샘플로 되는 복수의 얼굴 화상으로부터 얻어진 함수이다. 바꾸어 말하면, 화상 처리 장치(10)에 의한 식별 대상으로 되는 얼굴이, 예를 들면, 화상 처리 장치(10)가 가정 내에서 이용되는 장치에 탑재되고, 그 장치를 이용하는 가족을 구성하는 일원의 얼굴인 경우에도, 그 가족의 일원(실제의 유저)의 얼굴 화상으로부터 취득되는 사상 함수와는 서로 다른 사상 함수가, 데이터베이스(16)에 등록되어 있다.
그 때문에, 데이터베이스(16)에 등록되어 있는 사상 함수가, 식별 대상으로 되는 사람(등록 얼굴)에 적합한 사상을 행할 수 없는 함수이었을 경우, 식별 정밀도가 저하되게 된다. 따라서, 학습할 수 있도록 하여, 식별 대상으로 되는 사람에게 적합한 사상 함수로 갱신되도록 한다.
[학습 기능이 부가된 화상 처리 장치에 대해]
도 5는, 사상 함수를 학습에 의해 갱신할 수 있도록 한 화상 처리 장치의 구성예를 도시하는 도면이다. 도 5에 도시한 화상 처리 장치(100)는, 화상 입력부(101), 임의 방향 얼굴 검출부(102), 얼굴 특징 위치 검출부(103), 국소 특징량 산출부(104), 사상부(105), 데이터베이스(106), 얼굴 식별부(107), 정오 판정부(108) 및 함수 갱신부(109)로 구성되어 있다.
도 1에 도시한 화상 처리 장치(10)와 도 5에 도시한 화상 처리 장치(100)를 비교하는데 있어, 화상 처리 장치(100)는, 화상 처리 장치(10)에, 정오 판정부(108)와 함수 갱신부(109)를 추가한 구성으로 되어 있다. 즉, 화상 처리 장치(100)의 화상 입력부(101), 임의 방향 얼굴 검출부(102), 얼굴 특징 위치 검출부(103), 국소 특징량 산출부(104), 사상부(105), 데이터베이스(106), 및, 얼굴 식별부(107)는, 화상 처리 장치(10)의 화상 입력부(11), 임의 방향 얼굴 검출부(12), 얼굴 특징 위치 검출부(13), 국소 특징량 산출부(14), 사상부(15), 데이터베이스(16), 및, 얼굴 식별부(17)와 동일한 구성으로 되어 있다. 이하의 설명에서는, 화상 처리 장치(10)와 동일한 부분에 관한 설명은, 적절히 생략한다.
또한, 도 5에 도시한 화상 처리 장치(100)를, 도 2에 도시한 얼굴 방향 검출부(31)가 구비된 구성으로 해도 된다.
정오 판정부(108)는, 유저로부터의 지시를 접수하는 구성으로 되어 있다. 구체적으로는, 유저가, 얼굴 식별부(107)로부터 출력된 식별 결과가, 옳은지 여부를 판단했을 때, 그 유저로부터의 판단 결과를 접수하는 기능을, 정오 판정부(108) 는 갖는다. 또한 정오 판정부(108)는, 식별 결과가 옳다고 판단되었는가, 또는, 잘못되었다고 판단되었는가의 정보를, 함수 갱신부(109)에 공급하도록 구성되어 있다.
함수 갱신부(109)는, 정오 판정부(108)로부터의 정보가, 식별 결과는 잘못되었다는 것을 나타내는 정보이었던 경우, 데이터베이스(109)에 등록되어 있는 사상 함수를 갱신하도록 구성되어 있다.
도 6의 플로우차트를 참조하여, 도 5에 도시한 화상 처리 장치(100)의 동작에 대해 설명한다. 스텝 S111 내지 S118은, 도 3의 스텝 S11 내지 S18과 마찬가지의 처리이므로, 그 상세한 설명은 생략한다. 즉, 화상 입력부(101) 내지 얼굴 식별부(107)에 의해, 스텝 S111 내지 S118의 처리가 실행됨으로써, 화상 처리 장치(100)의 유저에 대하여, 식별 결과가 제공된다.
식별 결과는, 이미 설명한 바와 같이, 디스플레이에 메시지 등이 표시되는 등의 방법에 의해, 유저에게 제공된다. 그 식별 결과가 옳은지 여부를 유저는 판단하고, 정오 판정부(108)에 그 판단 결과를 입력한다. 정오 판정부(108)는, 유저로부터의 판단 결과를 입력하기 위한 조작부, 예를 들면, 옳을 때에 조작되는 버튼과, 잘못되었을 때에 조작되는 버튼이 설치되어 있는 조작부를 포함하는 구성으로 된다.
또한, 후술하는 바와 같이, 식별 결과가 잘못되었다고 판단되었을 때에, 사상 함수가 갱신되므로, 식별 결과가 잘못되었을 때에, 그것을 지시할 수 있는 구조(예를 들면, 잘못되었을 때에 조작되는 버튼만)가, 적어도 정오 판정부(108)에 설치되어 있으면 된다.
스텝 S119에서, 정오 판정부(108)는, 유저로부터의 식별 결과가 옳았는지의 여부를 나타내는 정오 정보를 취득한다. 정오 판정부(108)는, 취득된 정오 정보로부터, 유저가, 식별 결과가 정해이었다고 판단하였는지의 여부를 판단하고, 그 판정 결과를, 함수 갱신부(109)에 공급한다.
함수 갱신부(109)는, 스텝 S120에서, 정오 판정부(108)로부터 공급된 판정 결과는, 정해를 나타내는지의 여부를 판단한다. 스텝 S120에서, 판정 결과는 정해를 나타낸다고 판단된 경우, 도 6에 도시한 학습 처리는 종료된다. 이 경우, 식별 결과는 정해이었기 때문에, 사상 함수는 적절한 사상 함수이며, 그대로 계속해서 사용하는 것이 가능하다고 생각되기 때문에, 사상 함수의 갱신 등의 처리는 행해지지 않고, 처리가 종료된다.
한편, 스텝 S120에서, 정오 판정부(108)로부터 공급된 판정 결과는, 정해를 나타내지 않는다(부정해인 것을 나타낸다)고 판단된 경우, 스텝 S121로 처리가 진행된다. 스텝 S121에서, 함수 갱신부(109)는, 데이터베이스(106)에 기억되어 있는 사상 함수를 갱신한다.
이와 같이, 데이터베이스(106)에 등록되어 있는 사상 함수는, 식별 결과가 옳지 않을 때에, 올바른 식별을 할 수 있는 사상 함수로 갱신된다. 즉, 사상 함수는, 학습 처리에 의해, 화상 처리 장치(100)를 이용하고 있는 유저(식별 대상으로 되어 있는 사람들)에게 적합한 사상 함수로 갱신된다.
이와 같이, 사상 함수는 갱신되므로, 사상 함수 자체는, 학습 처리에 의해, 적절하게, 갱신할 수 있는 함수일 필요가 있고, 또한, 전술한 바와 같은 사상 처리를 적절하게 실행할 수 있는 함수일 필요가 있다. 이러한 함수로서는, 예를 들면, Support Vector Regression(SVR)라 불리는 방법에 의한 함수를 적용하는 것이 가능하다.
상기한 수학식 12에서의 사상 함수 f는, SVR라 불리는 방법에 의한 함수를 이용하는 것이 가능하다. SVR은, 비선형 함수도 근사 가능한 다차원 입력 1차원 출력의 함수 추정 방법을 이용하여, 미리 대량의 인물의 다양한 방향의 얼굴 화상의 특징점 간의 국소 특징량 벡터를 학습함으로써, 수학식 12에서의 사상 함수 f를 작성할 수 있다. 또한, 얼굴의 각도에 대한 국소 특징량에 선형성이 있는 경우에는, 선형 회귀 분석에 기초하는 함수 f의 추정도 이용하는 것이 가능하다.
이러한 사상 함수 f는, 동일 인물의 서로 다른 방향의 얼굴 화상 데이터가 있으면 학습 가능하다. 즉, 상기한 바와 같이, 예를 들면, 가족이라고 하는 한정된 인원수의 사람들을 식별하는 경우, 동일 인물의 서로 다른 방향의 얼굴 화상 데이터를 취득하는 것은 용이하기 때문에, 학습 처리를 양호하게 행하는 것이 가능하다. 특히 Support Vector Regression(SVR)에 의한 함수의 학습 방법은, Accurate Online SVR(AOSVR)이라고 하는 방법을 이용하면 순차적으로 학습을 행하는 것이 가능하게 되기 때문에, 화상 처리 장치(100)를 구비하는 제품의 출하 후에, 특정한 인물(예를 들면, 가족)이나 환경에 적응할 수 있도록 추가 학습 및 재학습하는 것이 가능하게 된다.
이와 같이, 본 실시 형태에서는, 자유 시점 얼굴 식별(입력 얼굴의 방향에 의하지 않는 얼굴의 식별)을 행할 때에, 3차원 데이터(입체 형상 모델)를 필요로 하지 않고, 또한, 순차적으로 학습을 행하는 것이 가능하게 되기 때문에, 데이터베이스(106)에 사상 함수를 등록한 후(예를 들면, 화상 처리 장치(100)를 탑재한 장치를 출하한 후)에, 특정한 인물이나 환경(그 장치가 사용되는 상황)에 적응할 수 있도록, 추가 학습 및 재학습하는 것이 가능하게 된다. 추가 학습이나 재학습(사상 함수의 갱신)을 행할 수 있기 때문에, 고정밀도의 식별 장치(화상 처리 장치)를 구축할 수 있다.
또한, 자유 시점 얼굴 화상 식별을 행할 때에, 서로 다른 방향의 얼굴 화상 전체를 합성하는 것이 아니라, 얼굴 화상의 몇 개의 특징점에서의 특징량을 추정하는 방법이기 때문에, 식별에 불필요한 부분의 계산을 행할 필요가 없어, 계산 효율이 높은 식별기를 구축할 수 있다.
또한, 전술한 실시 형태에서는, 얼굴을 식별하는 예를 들어 설명하였지만, 얼굴 이외의 예를 들면 차체 등의 물체를 식별하는 장치 등에도, 본 발명을 적용하는 것이 가능하다. 차체 등의 물체를 식별하도록 한 경우, 식별 대상으로 되는 물체의 특징으로 되는 특징 위치를 설정하는 등 함으로써, 전술한 실시 형태와 마찬가지로, 물체를 식별하는 것이 가능하게 된다.
[기록 매체에 대해]
도 7은, 전술한 일련의 처리를 프로그램에 의해 실행하는 퍼스널 컴퓨터의 구성의 예를 도시하는 블록도이다. CPU(Central Processing Unit)(201)는, ROM　(Read Only Memory)(202), 또는 기억부(208)에 기억되어 있는 프로그램에 따라서 각종의 처리를 실행한다. RAM(Random Access Memory)(203)에는, CPU(201)가 실행하는 프로그램이나 데이터 등이 적절히 기억된다. 이들의 CPU(201), ROM(202), 및 RAM(203)은, 패스(204)에 의해 서로 접속되어 있다.
CPU(201)에는 또한, 패스(204)를 통하여 입출력 인터페이스(205)가 접속되어 있다. 입출력 인터페이스(205)에는, 키보드, 마우스, 마이크로폰 등으로 이루어지는 입력부(206), 디스플레이, 스피커 등으로 이루어지는 출력부(207)가 접속되어 있다. CPU(201)는, 입력부(206)로부터 입력되는 명령에 대응하여 각종의 처리를 실행한다. 그리고, CPU(201)는, 처리의 결과를 출력부(207)에 출력한다.
입출력 인터페이스(205)에 접속되어 있는 기억부(208)는, 예를 들면 하드디스크로 이루어지고, CPU(201)가 실행하는 프로그램이나 각종의 데이터를 기억한다. 통신부(209)는, 인터넷이나 로컬 에리어 네트워크 등의 네트워크를 통하여 외부의 장치와 통신한다.
또한, 통신부(209)를 통하여 프로그램을 취득하고, 기억부(208)에 기억해도 된다.
입출력 인터페이스(205)에 접속되어 있는 드라이브(210)는, 자기 디스크, 광 디스크, 광 자기 디스크, 혹은 반도체 메모리 등의 리무버블 미디어(211)가 장착되었을 때, 이를 구동하고, 거기에 기록되어 있는 프로그램이나 데이터 등을 취득한다. 취득된 프로그램이나 데이터는, 필요에 따라 기억부(208)에 전송되고, 기억된다.
전술한 일련의 처리는, 하드웨어에 의해 실행시킬 수도 있고, 소프트웨어에 의해 실행시킬 수도 있다. 일련의 처리를 소프트웨어에 의해 실행시키는 경우에는, 그 소프트웨어를 구성하는 프로그램이, 전용의 하드웨어에 내장되어 있는 컴퓨터, 또는, 각종의 프로그램을 인스톨함으로써, 각종의 기능을 실행하는 것이 가능한, 예를 들면 범용의 퍼스널 컴퓨터 등에, 프로그램 저장 매체로부터 인스톨된다.
컴퓨터에 인스톨되고, 컴퓨터에 의해 실행 가능한 상태로 되는 프로그램을 저장하는 프로그램 저장 매체는, 도 7에 도시하는 바와 같이, 자기 디스크(플렉시블 디스크를 포함함), 광 디스크(CD-ROM(Compact Disc-Read Only Memory), DVD(Digital Versatile Disc)를 포함함), 광 자기 디스크(MD (Mini-Disc)를 포함함), 혹은 반도체 메모리 등으로 이루어지는 패키지 미디어인 리무버블 미디어(211), 또는, 프로그램이 일시적 혹은 영속적으로 저장되는 ROM(202)이나, 기억부(208)를 구성하는 하드디스크 등에 의해 구성된다. 프로그램 저장 매체에의 프로그램의 저장은, 필요에 따라, 모뎀 등의 인터페이스인 통신부(209)를 통하여, 로컬 에리어 네트워크, 인터넷, 디지털 위성 방송 등의, 유선 또는 무선의 통신 매체를 이용하여 행해진다.
또한, 본 명세서에서, 프로그램 저장 매체에 저장되는 프로그램을 기술하는 스텝은, 기재된 순서에 따라 시계열적으로 행해지는 처리는 물론, 반드시 시계열적으로 처리되지 않아도, 병렬적 혹은 개별적으로 실행되는 처리도 포함하는 것이다.
또한, 본 발명의 실시 형태는, 전술한 실시 형태에 한정되는 것은 아니며, 본 발명의 요지를 일탈하지 않는 범위에서 다양한 변경이 가능하다.
이상과 같이, 제1 측면에 따르면, 사람의 얼굴을 식별할 수 있다.
또한, 본 발명의 제1 측면에 따르면, 취득된 얼굴 화상의 얼굴과 식별 대상의 얼굴 화상의 얼굴이, 서로 다른 방향인 경우, 취득된 얼굴 화상으로부터 추출된 특징량을, 사상 함수에 의해 사상하고, 그 사상된 특징량과, 식별 대상의 얼굴 화상으로부터 추출된 특징량을 이용하여 식별 대상의 얼굴인지의 여부의 식별을 행하기 때문에, 연산량을 감소시키는 것이 가능하게 된다.
이상과 같이, 제2 측면에 따르면, 소정의 물체를 식별할 수 있다.
또한, 본 발명의 제2 측면에 따르면, 취득된 화상의 물체와 식별 대상의 화상의 물체가, 서로 다른 방향인 경우, 취득된 물체 화상으로부터 추출된 특징량을, 사상 함수에 의해 사상하고, 그 사상된 특징량과, 식별 대상의 화상으로부터 추출된 특징량을 이용하여, 식별 대상의 물체인지의 여부의 식별을 행하기 때문에, 연산량을 감소시키는 것이 가능하게 된다.

Claims (14)

  1. 공급되는 화상으로부터, 얼굴 화상의 부분을 검출하는 얼굴 화상 검출 수단과,
    상기 얼굴 화상 검출 수단에 의해 검출된 상기 얼굴 화상의 얼굴이 향하고 있는 방향을 검출하는 얼굴 방향 검출 수단과,
    상기 얼굴 화상 검출 수단에 의해 검출된 얼굴 화상과 상기 얼굴 방향 검출 수단에 의해 검출된 상기 얼굴의 방향으로부터, 상기 얼굴의 특징으로 되는 특징 위치를 검출하는 특징 위치 검출 수단과,
    상기 특징 위치 검출 수단에 의해 검출된 상기 특징 위치에서의 특징량을 산출하는 특징량 산출 수단과,
    상기 특징량 산출 수단에 의해 산출된 상기 특징량을, 소정의 사상 함수에 의해 사상하는 사상 수단과,
    상기 사상 수단에 의해 사상된 상기 특징량과, 미리 등록되어 있는 특징량을 이용하여, 상기 얼굴 화상 검출 수단에 의해 검출된 상기 얼굴은, 등록되어 있는 얼굴인지의 여부를 식별하는 식별 수단
    을 구비하는 화상 처리 장치.
  2. 제1항에 있어서,
    상기 특징량 산출 수단은, Gabor　Filter 또는 Gaussian　Derivative　 Filter에 의해 상기 특징량을 산출하는 화상 처리 장치.
  3. 제1항에 있어서,
    상기 사상 수단은, 사상 함수로서, Support　Vector　Regression을 이용하는 화상 처리 장치.
  4. 제1항에 있어서,
    상기 사상 수단은, 상기 특징량 산출 수단에 의해 산출된 상기 특징량을 구성하는 요소 중, 적어도 1개의 요소를 상기 사상 함수에 의해 사상하는 화상 처리 장치.
  5. 제1항에 있어서,
    상기 식별 수단에 의한 식별 결과가, 부정해였을 경우, 상기 사상 함수를 갱신하는 갱신 수단을 더 구비하는 화상 처리 장치.
  6. 공급되는 화상으로부터, 얼굴 화상의 부분을 검출하는 얼굴 화상 검출 스텝과,
    상기 얼굴 화상 검출 스텝의 처리에서 검출된 상기 얼굴 화상의 얼굴이 향하고 있는 방향을 검출하는 얼굴 방향 검출 스텝과,
    상기 얼굴 화상 검출 스텝의 처리에서 검출된 얼굴 화상과 상기 얼굴 방향 검출 스텝의 처리에서 검출된 상기 얼굴의 방향으로부터, 상기 얼굴의 특징으로 되는 특징 위치를 검출하는 특징 위치 검출 스텝과,
    상기 특징 위치 검출 스텝의 처리에서 검출된 상기 특징 위치에서의 특징량을 산출하는 특징량 산출 스텝과,
    상기 특징량 산출 스텝의 처리에서 산출된 상기 특징량을, 소정의 사상 함수에 의해 사상하는 사상 스텝과,
    상기 사상 스텝의 처리에서 사상된 상기 특징량과, 미리 등록되어 있는 특징량을 이용하여, 상기 얼굴 화상 검출 스텝의 처리에서 검출된 상기 얼굴은, 등록되어 있는 얼굴인지의 여부를 식별하는 식별 스텝
    을 포함하는 화상 처리 방법.
  7. 공급되는 화상으로부터, 얼굴 화상의 부분을 검출하는 얼굴 화상 검출 스텝과,
    상기 얼굴 화상 검출 스텝의 처리에서 검출된 상기 얼굴 화상의 얼굴이 향하고 있는 방향을 검출하는 얼굴 방향 검출 스텝과,
    상기 얼굴 화상 검출 스텝의 처리에서 검출된 얼굴 화상과 상기 얼굴 방향 검출 스텝의 처리에서 검출된 상기 얼굴의 방향으로부터, 상기 얼굴의 특징으로 되는 특징 위치를 검출하는 특징 위치 검출 스텝과,
    상기 특징 위치 검출 스텝의 처리에서 검출된 상기 특징 위치에서의 특징량을 산출하는 특징량 산출 스텝과,
    상기 특징량 산출 스텝의 처리에서 산출된 상기 특징량을, 소정의 사상 함수에 의해 사상하는 사상 스텝과,
    상기 사상 스텝의 처리에서 사상된 상기 특징량과, 미리 등록되어 있는 특징량을 이용하여, 상기 얼굴 화상 검출 스텝의 처리에서 검출된 상기 얼굴은, 등록되어 있는 얼굴인지의 여부를 식별하는 식별 스텝
    을 포함하는 처리를 컴퓨터에 실행시키는 프로그램.
  8. 공급되는 화상으로부터, 소정의 물체를 검출하는 검출 수단과,
    상기 검출 수단에 의해 검출된 상기 물체가 향하고 있는 방향을 검출하는 방향 검출 수단과,
    상기 검출 수단에 의해 검출된 물체와 상기 방향 검출 수단에 의해 검출된 상기 물체가 향하고 있는 방향으로부터, 상기 물체의 특징으로 되는 특징 위치를 검출하는 특징 위치 검출 수단과,
    상기 특징 위치 검출 수단에 의해 검출된 상기 특징 위치에서의 특징량을 산출하는 특징량 산출 수단과,
    상기 특징량 산출 수단에 의해 산출된 상기 특징량을, 소정의 사상 함수에 의해 사상하는 사상 수단과,
    상기 사상 수단에 의해 사상된 상기 특징량과, 미리 등록되어 있는 특징량을 이용하여, 상기 검출 수단에 의해 검출된 상기 물체는, 등록되어 있는 물체인지의 여부를 식별하는 식별 수단
    을 구비하는 화상 처리 장치.
  9. 제8항에 있어서,
    상기 특징량 산출 수단은, Gabor　Filter 또는 Gaussian　Derivative　Filter에 의해 상기 특징량을 산출하는 화상 처리 장치.
  10. 제8항에 있어서,
    상기 사상 수단은, 사상 함수로서, Support　Vector　Regression을 이용하는 화상 처리 장치.
  11. 제8항에 있어서,
    상기 사상 수단은, 상기 특징량 산출 수단에 의해 산출된 상기 특징량을 구성하는 요소 중, 적어도 1개의 요소를 상기 사상 함수에 의해 사상하는 화상 처리 장치.
  12. 제8항에 있어서,
    상기 식별 수단에 의한 식별 결과가, 부정해였을 경우, 상기 사상 함수를 갱신하는 갱신 수단을 더 구비하는 화상 처리 장치.
  13. 공급되는 화상으로부터, 소정의 물체를 검출하는 검출 스텝과,
    상기 검출 스텝의 처리에서 검출된 상기 물체가 향하고 있는 방향을 검출하는 방향 검출 스텝과,
    상기 검출 스텝의 처리에서 검출된 물체와 상기 방향 검출 스텝의 처리에서 검출된 상기 물체가 향하고 있는 방향으로부터, 상기 물체의 특징으로 되는 특징 위치를 검출하는 특징 위치 검출 스텝과,
    상기 특징 위치 검출 스텝의 처리에서 검출된 상기 특징 위치에서의 특징량을 산출하는 특징량 산출 스텝과,
    상기 특징량 산출 스텝의 처리에서 산출된 상기 특징량을, 소정의 사상 함수의 처리에서 사상하는 사상 스텝과,
    상기 사상 스텝의 처리에서 사상된 상기 특징량과, 미리 등록되어 있는 특징량을 이용하여, 상기 검출 스텝의 처리에서 검출된 상기 물체는, 등록되어 있는 물체인지의 여부를 식별하는 식별 스텝
    을 포함하는 화상 처리 방법.
  14. 공급되는 화상으로부터, 소정의 물체를 검출하는 검출 스텝과,
    상기 검출 스텝의 처리에서 검출된 상기 물체가 향하고 있는 방향을 검출하는 방향 검출 스텝과,
    상기 검출 스텝의 처리에서 검출된 물체와 상기 방향 검출 스텝의 처리에서 검출된 상기 물체가 향하고 있는 방향으로부터, 상기 물체의 특징으로 되는 특징 위치를 검출하는 특징 위치 검출 스텝과,
    상기 특징 위치 검출 스텝의 처리에서 검출된 상기 특징 위치에서의 특징량을 산출하는 특징량 산출 스텝과,
    상기 특징량 산출 스텝의 처리에서 산출된 상기 특징량을, 소정의 사상 함수의 처리에서 사상하는 사상 스텝과,
    상기 사상 스텝의 처리에서 사상된 상기 특징량과, 미리 등록되어 있는 특징량을 이용하여, 상기 검출 스텝의 처리에서 검출된 상기 물체는, 등록되어 있는 물체인지의 여부를 식별하는 식별 스텝
    을 포함하는 처리를 컴퓨터에 실행시키는 프로그램.
KR1020060082095A 2005-08-29 2006-08-29 화상 처리 장치 및 방법, 및 컴퓨터 판독가능한 기록 매체 KR101217349B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2005-00247936 2005-08-29
JP2005247936A JP4595750B2 (ja) 2005-08-29 2005-08-29 画像処理装置および方法、並びにプログラム

Publications (2)

Publication Number Publication Date
KR20070026080A true KR20070026080A (ko) 2007-03-08
KR101217349B1 KR101217349B1 (ko) 2012-12-31

Family

ID=37189041

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060082095A KR101217349B1 (ko) 2005-08-29 2006-08-29 화상 처리 장치 및 방법, 및 컴퓨터 판독가능한 기록 매체

Country Status (6)

Country Link
US (1) US8249310B2 (ko)
EP (1) EP1760635B1 (ko)
JP (1) JP4595750B2 (ko)
KR (1) KR101217349B1 (ko)
CN (1) CN1924897B (ko)
DE (1) DE602006011990D1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101280920B1 (ko) * 2010-02-10 2013-07-02 캐논 가부시끼가이샤 화상인식장치 및 방법
KR20160033553A (ko) * 2014-09-18 2016-03-28 한국과학기술연구원 3차원 얼굴모델 투영을 통한 얼굴 인식 방법 및 시스템
KR20190113523A (ko) * 2018-03-27 2019-10-08 에바 · 재팬 가부시키가이샤 정보 탐색 시스템 및 프로그램

Families Citing this family (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2373366T3 (es) * 2004-10-22 2012-02-02 Shiseido Co., Ltd. Procedimiento de maquillaje de labios.
JP2008227309A (ja) 2007-03-14 2008-09-25 Shinko Electric Ind Co Ltd 配線基板およびその製造方法
JP4337064B2 (ja) 2007-04-04 2009-09-30 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP4891144B2 (ja) * 2007-05-08 2012-03-07 キヤノン株式会社 画像検索装置及び画像検索方法
JP5170094B2 (ja) * 2007-06-29 2013-03-27 日本電気株式会社 なりすまし検知システム、なりすまし検知方法およびなりすまし検知用プログラム
JP4479756B2 (ja) 2007-07-05 2010-06-09 ソニー株式会社 画像処理装置及び画像処理方法、並びにコンピュータ・プログラム
US20120169732A1 (en) * 2008-01-09 2012-07-05 Allergan, Inc. Method for analysis of facial appearance to assist medical procedure
JP5176572B2 (ja) * 2008-02-05 2013-04-03 ソニー株式会社 画像処理装置および方法、並びにプログラム
WO2010021373A1 (ja) 2008-08-22 2010-02-25 ソニー株式会社 画像表示装置、制御方法およびコンピュータプログラム
JP4697279B2 (ja) 2008-09-12 2011-06-08 ソニー株式会社 画像表示装置および検出方法
JP2010186216A (ja) 2009-02-10 2010-08-26 Seiko Epson Corp 顔画像における特徴部位の位置の特定
JP2010244381A (ja) * 2009-04-08 2010-10-28 Sony Corp ガボアフィルタ、画像認識装置および方法、プログラム、並びに記録媒体
JP5263092B2 (ja) 2009-09-07 2013-08-14 ソニー株式会社 表示装置および制御方法
JP5418093B2 (ja) 2009-09-11 2014-02-19 ソニー株式会社 表示装置および制御方法
JP5556098B2 (ja) 2009-09-11 2014-07-23 ソニー株式会社 表示方法及び表示装置
JP5568929B2 (ja) 2009-09-15 2014-08-13 ソニー株式会社 表示装置および制御方法
WO2011037579A1 (en) * 2009-09-25 2011-03-31 Hewlett-Packard Development Company, L.P. Face recognition apparatus and methods
JP5554984B2 (ja) * 2009-12-24 2014-07-23 キヤノン株式会社 パターン認識方法およびパターン認識装置
WO2011086803A1 (ja) * 2010-01-12 2011-07-21 日本電気株式会社 画像照合システム、画像照合方法、コンピュータプログラム
JP5740972B2 (ja) 2010-09-30 2015-07-01 ソニー株式会社 情報処理装置および情報処理方法
US8988512B2 (en) 2011-04-14 2015-03-24 Mediatek Inc. Method for adjusting playback of multimedia content according to detection result of user status and related apparatus thereof
US9251402B2 (en) 2011-05-13 2016-02-02 Microsoft Technology Licensing, Llc Association and prediction in facial recognition
US9323980B2 (en) * 2011-05-13 2016-04-26 Microsoft Technology Licensing, Llc Pose-robust recognition
JP2012244525A (ja) * 2011-05-23 2012-12-10 Sony Corp 情報処理装置、情報処理方法及びコンピュータプログラム
JP5857450B2 (ja) 2011-05-30 2016-02-10 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US9020207B2 (en) 2011-06-07 2015-04-28 Accenture Global Services Limited Biometric authentication technology
JP5143262B1 (ja) * 2011-08-30 2013-02-13 株式会社東芝 立体映像処理装置、立体映像処理方法
KR101818005B1 (ko) * 2011-09-06 2018-01-16 한국전자통신연구원 얼굴 데이터 관리 시스템 및 그 방법
JP5868164B2 (ja) * 2011-12-21 2016-02-24 キヤノン株式会社 撮像装置、情報処理システム、制御方法、及びプログラム
WO2013098827A1 (en) * 2011-12-27 2013-07-04 Hewlett-Packard Development Company, L.P. User interface device
CA2804468C (en) * 2012-01-30 2016-03-29 Accenture Global Services Limited System and method for face capture and matching
JP5900052B2 (ja) * 2012-03-15 2016-04-06 オムロン株式会社 登録判定装置、その制御方法および制御プログラム、並びに電子機器
US9361412B1 (en) * 2012-03-26 2016-06-07 The United Sates Of America As Represented By The Secretary Of The Navy Method for the simulation of LADAR sensor range data
US9435888B1 (en) * 2012-03-26 2016-09-06 The United States Of America As Represented By The Secretary Of The Navy Shape matching automatic recognition methods, systems and articles of manufacturing
US8948465B2 (en) 2012-04-09 2015-02-03 Accenture Global Services Limited Biometric matching technology
US9128188B1 (en) * 2012-07-13 2015-09-08 The United States Of America As Represented By The Secretary Of The Navy Object instance identification using template textured 3-D model matching
JP2014071610A (ja) * 2012-09-28 2014-04-21 Keyware Solutions Inc データ処理装置、名寄せ処理方法及びコンピュータプログラム
CN104769540A (zh) * 2012-11-06 2015-07-08 诺基亚技术有限公司 用于滑动变换照片浏览的方法和装置
JP6036335B2 (ja) 2013-01-24 2016-11-30 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
EP3188129A4 (en) * 2014-07-24 2018-03-07 Japan Science and Technology Agency Image registration device, image registration method, and image registration program
WO2016026135A1 (en) * 2014-08-22 2016-02-25 Microsoft Technology Licensing, Llc Face alignment with shape regression
US10146797B2 (en) 2015-05-29 2018-12-04 Accenture Global Services Limited Face recognition image data cache
US20180129868A1 (en) * 2016-11-08 2018-05-10 Qualcomm Incorporated System and method associated with object verification
US11468592B2 (en) 2017-03-30 2022-10-11 Sony Corporation Information processing apparatus and information processing method
JP2019109709A (ja) * 2017-12-18 2019-07-04 株式会社東芝 画像処理装置、画像処理方法およびプログラム
EP3770821A4 (en) * 2018-03-20 2021-05-12 Sony Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHODS, AND ROBOTIC DEVICE
CN113536268A (zh) * 2021-07-13 2021-10-22 云南财经大学 基于深度学习的计算机人脸识别方法

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5016282A (en) * 1988-07-14 1991-05-14 Atr Communication Systems Research Laboratories Eye tracking image pickup apparatus for separating noise from feature portions
JP2690132B2 (ja) * 1989-01-17 1997-12-10 セコム株式会社 個人照合方法および装置
JP3926059B2 (ja) 1999-05-12 2007-06-06 日本電気株式会社 画像照合装置及びその画像照合方法並びにその制御プログラムを記録した記録媒体
JP4332649B2 (ja) * 1999-06-08 2009-09-16 独立行政法人情報通信研究機構 手の形状と姿勢の認識装置および手の形状と姿勢の認識方法並びに当該方法を実施するプログラムを記録した記録媒体
US6944319B1 (en) * 1999-09-13 2005-09-13 Microsoft Corporation Pose-invariant face recognition system and process
SG91841A1 (en) * 1999-11-03 2002-10-15 Kent Ridge Digital Labs Face direction estimation using a single gray-level image
JP4526639B2 (ja) * 2000-03-02 2010-08-18 本田技研工業株式会社 顔認識装置およびその方法
JP4092059B2 (ja) * 2000-03-03 2008-05-28 日本放送協会 画像認識装置
US7127087B2 (en) * 2000-03-27 2006-10-24 Microsoft Corporation Pose-invariant face recognition system and process
US7127081B1 (en) * 2000-10-12 2006-10-24 Momentum Bilgisayar, Yazilim, Danismanlik, Ticaret, A.S. Method for tracking motion of a face
US7155036B2 (en) * 2000-12-04 2006-12-26 Sony Corporation Face detection under varying rotation
JP3979007B2 (ja) * 2000-12-22 2007-09-19 富士ゼロックス株式会社 パターン識別方法および装置
US7027620B2 (en) * 2001-06-07 2006-04-11 Sony Corporation Method of recognizing partially occluded and/or imprecisely localized faces
DE60216411T2 (de) * 2001-08-23 2007-10-04 Sony Corp. Robotervorrichtung, gesichtserkennungsverfahren und gesichtserkennungsvorrichtung
US7221809B2 (en) * 2001-12-17 2007-05-22 Genex Technologies, Inc. Face recognition system and method
JP2003281539A (ja) * 2002-03-25 2003-10-03 Oki Electric Ind Co Ltd 顔部品探索装置および顔部品探索方法
KR100438841B1 (ko) * 2002-04-23 2004-07-05 삼성전자주식회사 이용자 검증 및 데이터 베이스 자동 갱신 방법, 및 이를이용한 얼굴 인식 시스템
JP4314016B2 (ja) * 2002-11-01 2009-08-12 株式会社東芝 人物認識装置および通行制御装置
US7526123B2 (en) * 2004-02-12 2009-04-28 Nec Laboratories America, Inc. Estimating facial pose from a sparse representation
JP4946730B2 (ja) * 2007-08-27 2012-06-06 ソニー株式会社 顔画像処理装置及び顔画像処理方法、並びにコンピュータ・プログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101280920B1 (ko) * 2010-02-10 2013-07-02 캐논 가부시끼가이샤 화상인식장치 및 방법
KR20160033553A (ko) * 2014-09-18 2016-03-28 한국과학기술연구원 3차원 얼굴모델 투영을 통한 얼굴 인식 방법 및 시스템
KR20190113523A (ko) * 2018-03-27 2019-10-08 에바 · 재팬 가부시키가이샤 정보 탐색 시스템 및 프로그램

Also Published As

Publication number Publication date
JP4595750B2 (ja) 2010-12-08
KR101217349B1 (ko) 2012-12-31
CN1924897A (zh) 2007-03-07
US20070047775A1 (en) 2007-03-01
CN1924897B (zh) 2011-07-13
EP1760635A1 (en) 2007-03-07
EP1760635B1 (en) 2010-01-27
US8249310B2 (en) 2012-08-21
DE602006011990D1 (de) 2010-03-18
JP2007065766A (ja) 2007-03-15

Similar Documents

Publication Publication Date Title
KR101217349B1 (ko) 화상 처리 장치 및 방법, 및 컴퓨터 판독가능한 기록 매체
Wang et al. Bayesian tactile face
JP4946730B2 (ja) 顔画像処理装置及び顔画像処理方法、並びにコンピュータ・プログラム
US9087232B2 (en) 3D object recognition
KR101304374B1 (ko) 객체 특징을 위치결정하는 방법
EP1811456B1 (en) Face feature point detector and feature point detector
JP4691158B2 (ja) 三次元クラスモデルを用いた二次元画像における認識システムおよび方法
US7711156B2 (en) Apparatus and method for generating shape model of object and apparatus and method for automatically searching for feature points of object employing the same
JP4321350B2 (ja) パラメタ推定方法、パラメタ推定装置および照合方法
WO2007062478A1 (en) Visual tracking of eye glasses in visual head and eye tracking systems
KR100828411B1 (ko) 3차원 얼굴 인식을 위한 전역적 특징 추출 방법
KR20190061538A (ko) 멀티 인식모델의 결합에 의한 행동패턴 인식방법 및 장치
JP2006004003A (ja) 画像処理装置および方法、記録媒体、並びにプログラム
Martins et al. Bayesian constrained local models revisited
Butakoff et al. A framework for weighted fusion of multiple statistical models of shape and appearance
Sangve et al. Lip recognition for authentication and security
Wang Face feature dynamic recognition method based on intelligent image
Doukas et al. A fast mobile face recognition system for android OS based on Eigenfaces decomposition
Saaidia et al. Face localization by neural networks trained with Zernike moments and Eigenfaces feature vectors. A comparison
Zhang et al. Conditional density learning via regression with application to deformable shape segmentation
JP2006209582A (ja) 開眼度推定装置および開眼度推定方法
Ding et al. Facial landmark localization
JP4068888B2 (ja) アイリス推定装置およびアイリス照合装置
KR102674496B1 (ko) 원격 광용적맥파신호를 이용한 위조 얼굴 판별 방법 및 장치
Khajeh et al. Bilabial Consonants Recognition in CV Persian Syllable Based on Computer Vision

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee