KR101525133B1 - 화상처리장치, 정보생성장치, 화상처리방법, 정보생성방법, 제어 프로그램 및 기록매체 - Google Patents

화상처리장치, 정보생성장치, 화상처리방법, 정보생성방법, 제어 프로그램 및 기록매체 Download PDF

Info

Publication number
KR101525133B1
KR101525133B1 KR1020137030996A KR20137030996A KR101525133B1 KR 101525133 B1 KR101525133 B1 KR 101525133B1 KR 1020137030996 A KR1020137030996 A KR 1020137030996A KR 20137030996 A KR20137030996 A KR 20137030996A KR 101525133 B1 KR101525133 B1 KR 101525133B1
Authority
KR
South Korea
Prior art keywords
point
image
specifying
position information
reference point
Prior art date
Application number
KR1020137030996A
Other languages
English (en)
Other versions
KR20140004230A (ko
Inventor
아쯔시 이리에
Original Assignee
오므론 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 오므론 가부시키가이샤 filed Critical 오므론 가부시키가이샤
Publication of KR20140004230A publication Critical patent/KR20140004230A/ko
Application granted granted Critical
Publication of KR101525133B1 publication Critical patent/KR101525133B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/175—Static expression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명의 특징량 추출부(26)는, 화상 상의 부위점에 대한 기준점에 대한 복수의 샘플링점마다, 샘플링점의 화소 또는 화소군으로부터 특징량을 추출하고, 기준점에 대한 특징량군을 추출하고, 위치정보 특정부(29)는, 기준점에 대한 특징량군과, 기준점에 대한 부위점의 상대위치를 나타내는 위치정보와의 대응관계를 나타내는 LRF 함수를 참조하여, 특징량 추출부(26)가 추출한 특징량군에 대응하는 위치정보를 특정하고, 부위점 특정부(30)는, 위치정보 특정부(29)가 특정한 위치정보가 나타내는 위치를 물체의 부위점으로 한다.

Description

화상처리장치, 정보생성장치, 화상처리방법, 정보생성방법, 제어 프로그램 및 기록매체{Image Processing Device, Information Generation Device, Image Processing Method, Information Generation Method, Control Program, and Recording Medium}
본 발명은 눈이나 입 등의 물체의 윤곽점이나 특징점 등의 부위점(部位点)을 검출하기 위한 화상처리장치, 정보생성장치, 화상처리방법, 정보생성방법, 제어 프로그램 및 기록매체에 관한 것이다.
얼굴화상으로부터 눈이나 입의 윤곽점을 검출하는 기술은, 얼굴 인증이나 표정 추정을 위한 전단계 처리나, 유사얼굴그림 생성 등의 어플리케이션에 응용할 수 있는 등의 이유로 종래부터 빈번하게 연구되고 있다.
예를 들어, 특허문헌 1에는, 사용자로부터 지정된 눈이나 입 등의 중심점을 중심으로 하여 눈이나 입 등의 탐색범위를 설정하고, 설정한 탐색범위 내를 스캔하고, 색 성분 등에 근거하여 눈 영역이나 입 영역 등을 추출하는 기술이 기재되어 있다. 또, 특허문헌 1에는, 추출한 눈 영역이나 입 영역 등의 좌우 단점(端点)을 특정하고, 좌우 단점에 근거하여 눈 영역이나 입 영역 등의 상하 단점(端点)을 탐색하는 탐색범위를 설정하여 상하 단점을 추출하는 것이 기재되어 있다.
또, 특허문헌 2에는, 눈의 윤곽점을 추출하는 경우, 눈의 좌우 단점을 기준점으로 하고, 기준점에 근거하여 동적 윤곽 모델을 피팅하여, 에너지 최소화에 의해 눈의 윤곽점을 추출하는 것이 기재되어 있다.
또, 얼굴화상으로부터 눈이나 입의 윤곽점을 추출하는 방법으로서 형상 모델이나 텍스처 모델에 근거한 피팅 방법이 있다. 구체적으로는, 비특허문헌 1, 2 및 특허문헌 3, 4에 기재된 ASM(Active Shape Model), AAM(Active Appearance Model), ASAM(Active Structure Appearance Model) 등의 피팅 방법이 있다.
ASM, AAM 및 ASAM의 형상 모델이란, 얼굴의 형상이나 텍스처를 적은 파라미터로 표현하는 모델이다. 이들은 얼굴 특징점 좌표정보나 텍스처 정보에 대하여 주성분 분석을 적용하고, 이에 의해 얻어진 기저 벡터 중 고유값이 큰 것만으로 얼굴의 특징점 좌표를 표현시킨 것이다. 이것은 적은 데이터로 얼굴의 형상을 표현할 뿐 아니라, 얼굴 형상을 지키는 구속조건도 지속할 수 있다. 이 모델을 ASM 및 AAM에서는 에너지 최소화로부터, ASAM에서는 모델 파라미터 오차 산출로부터 얼굴화상에 피팅시킴으로써 얼굴의 특징점 좌표를 검출한다.
특허문헌 1: 일본 공개특허공보 「특개평9-6964호 공보(1997년 1월 10일 공개)」 특허문헌 2: 일본 공개특허공보 「특개2005-339288호 공보(2005년 12월 8일 공개)」 특허문헌 3: 일본 특허공보 「특허 제4093273호 공보(2008년 6월 4일 발행)」 특허문헌 4: 일본 특허공보 「특허 제4501937호 공보(2010년 7월 14일 발행)」
비특허문헌 1: T.F. Cootes, et al, 「Active Shape Models - Their Training and Application」, CVIU, Vol.6, No.1, p.38-59, 1995년 비특허문헌 2: T.F. Cootes, et al, 「Active appearance models」, ECCV'98 Vol.Ⅱ, Freiburg, Germany, 1998년
입의 형상이나 눈의 형상, 또 그들의 조합 등에 의해, 얼굴의 표정은 다양하게 변화하여, 여러 가지 변화가 있다. 그 때문에, 다양한 형상으로 변화하는 눈이나 입 등 물체의 형상 상태를 모두 예측하는 것은 어렵다. 그래서, 상술한 바와 같은 종래기술은 눈이나 입의 윤곽점 등의 형상이 크게 변화하는 물체의 윤곽점을 고정밀도로 검출하는 것이 곤란하다.
구체적으로는, 특허문헌 1에 기재된 기술에서는, 눈이나 입 등의 형상이 상정해 있는 이상으로 변화하여 눈이나 입 등의 윤곽점이 탐색범위 내에 들어있지 않는 경우, 윤곽점을 바르게 검출할 수 없다. 한편, 다양한 입 형상이나 눈 형상을 커버하기 위해 탐색범위를 넓게 설정한 경우, 특허문헌 1에 기재된 기술에서는 탐색범위를 스캔하여 검출하고 있기 때문에, 처리 부하가 매우 커진다. 그 때문에, 특허문헌 1에 기재된 기술에서, 탐색범위를 넓게 설정하는 것은 실용적이지 않다. 따라서, 특허문헌 1에 기재된 기술은, 형상이 크게 변화하는 물체의 윤곽점을 고정밀도로 검출하는 것이 곤란하다.
또, 특허문헌 2에 기재된 기술에서는, 사용하는 동적 윤곽 모델에서, 물체의 형상이 멀리 떨어져 있는 경우, 물체의 윤곽점의 추출에 매우 시간이 걸리거나, 또는 바른 윤곽점을 추출할 수 없다. 한편, 다양한 입의 형상이나 눈의 형상을 커버하기 위해 다양한 모델을 준비한 경우, 윤곽점의 추출 정밀도는 향상하지만, 장치가 미리 기억할 데이터 사이즈가 커지거나, 처리 부하가 커진다. 그 때문에, 특허문헌 2에 기재된 기술에서, 다양한 모델을 준비하는 것은 실용적이지 않다. 따라서, 특허문헌 2에 기재된 기술은, 형상이 크게 변화하는 물체의 윤곽점을 고정밀도로 검출하는 것이 곤란하다.
또, ASM 및 AAM은 탐색처리에 많은 계산시간이 걸린다는 결점이 있다. 또 AAM은 개인마다의 형상 모델을 준비할 필요가 있어, 타인의 얼굴에 대한 피팅 정밀도가 낮다는 문제도 있다.
또, ASM 및 AAM에 대하여 고속 고정도화를 실현할 수 있었던 것이 ASAM이다. ASAM은, 표정 변화가 적은 얼굴에 관해서는 얼굴의 형상을 구속조건으로 함으로써 고정도(高精度)의 검출 결과를 얻을 수 있다. 그러나, ASAM은 입이나 눈 등의 개폐상태나 형상상태가 크게 변화하는 표정에 대해서는, 고정밀도로 검출할 수 없다. 이것은, ASAM이 이용하는 얼굴의 형상 모델이 얼굴 전체의 형상을 표현한 글로벌한 모델이고, 눈이나 입 등 각 부위마다의 변화, 예를 들어 개폐나 형상 변화에 대한 표현을 정확하게 할 수 없기 때문이다.
본 발명은, 상기의 문제점을 감안하여 이루어진 것으로, 그 목적은, 다양한 형상으로 변화하는 물체라도, 화상 상에서의 물체의 형상을 고정밀도로 검출하기 위한 화상처리장치, 정보생성장치, 화상처리방법, 정보생성방법, 제어 프로그램 및 기록매체를 실현하는데 있다.
본 발명에 따른 화상처리장치는, 상기 과제를 해결하기 위해, 화상으로부터 물체의 부위점을 검출하는 화상처리장치로서, 상기 화상 상에 상기 부위점에 대한 기준점을 특정하는 기준점 특정수단과, 상기 기준점에 대한 복수의 샘플링점마다, 그 샘플링점의 화소 또는 그 화소를 포함하는 화소군으로부터 특징량을 추출하고, 추출한 각 샘플링점에 각각 대응하는 복수의 특징량으로 구성되는, 상기 기준점에 대한 특징량군을 추출하는 특징량 추출수단과, 상기 복수의 샘플링점의 각 화소 또는 각 화소군으로부터 추출된 상기 기준점에 대한 특징량군과, 상기 기준점에 대한 상기 부위점의 상대위치를 나타내는 위치정보와의 대응관계를 나타내는 대응관계정보를 참조하여, 상기 특징량 추출수단이 추출한 특징량군에 대응하는 위치정보를 특정하는 위치정보 특정수단과, 상기 위치정보 특정수단이 특정한 위치정보가 나타내는 위치를 상기 물체의 부위점으로 하는 검출쪽 부위점 특정수단을 갖춘 것을 특징으로 하고 있다.
본 발명에 따른 화상처리방법은, 상기 과제를 해결하기 위해, 화상으로부터 물체의 부위점을 검출하는 화상처리방법으로서, 상기 화상 상에 상기 부위점에 대한 기준점을 특정하는 기준점 특정단계와, 상기 기준점에 대한 복수의 샘플링점마다, 그 샘플링점의 화소 또는 그 화소를 포함하는 화소군으로부터 특징량을 추출하고, 추출한 각 샘플링점에 각각 대응하는 복수의 특징량으로 구성되는, 상기 기준점에 대한 특징량군을 추출하는 특징량 추출단계와, 상기 복수의 샘플링점의 각 화소 또는 각 화소군으로부터 추출된 상기 기준점에 대한 특징량군과, 상기 기준점에 대한 상기 부위점의 상대위치를 나타내는 위치정보와의 대응관계를 나타내는 대응관계정보를 참조하여, 상기 특징량 추출단계에서 추출된 특징량군에 대응하는 위치정보를 특정하는 위치정보 특정단계와, 상기 위치정보 특정단계에서 특정된 위치정보가 나타내는 위치를 상기 물체의 부위점으로 하는 부위점 특정단계를 포함하는 것을 특징으로 하고 있다.
상기 구성에 의하면, 상기 위치정보 특정수단은, 상기 복수의 샘플링점의 각 화소 또는 각 화소군으로부터 추출된 상기 기준점에 대한 특징량군과, 상기 기준점에 대한 상기 부위점의 상대위치를 나타내는 위치정보와의 대응관계를 나타내는 대응관계정보를 참조하여, 상기 특징량 추출수단이 추출한 특징량군에 대응하는 위치정보를 특정하고, 상기 검출쪽 부위점 특정수단은, 상기 위치정보 특정수단이 특정한 위치정보가 나타내는 위치를 상기 물체의 부위점으로 한다.
본 발명자들은, 화상 상에 있어서, 예를 들어 눈이나 입 등의 기관을 포함하는 영역으로부터 추출한 특징량군과, 화상 상의 기준점에 대한 기관의 윤곽점이나 특징점의 상대위치와의 사이에 상관관계가 있음을 발견하였다. 이 발견에 근거하여, 상기 특징량군과 상기 위치정보와의 대응관계를 나타내는 대응관계정보를 참조함으로써, 형상이 변화하는 물체라도, 화상 상에서의 물체의 부위점을 고정밀도로 검출할 수 있게 되었다. 즉, 상기 화상처리장치 및 상기 화상처리방법은, 물체의 형상이 변화한 경우에도, 물체의 부위점을 고정밀도로 검출할 수 있는 효과를 갖는다.
이상과 같이, 본 발명에 따른 화상처리장치는, 상기 화상 상에 상기 부위점에 대한 기준점을 특정하는 기준점 특정수단과, 상기 기준점에 대한 복수의 샘플링점마다, 그 샘플링점의 화소 또는 그 화소를 포함하는 화소군으로부터 특징량을 추출하고, 추출한 각 샘플링점에 각각 대응하는 복수의 특징량으로 구성되는, 상기 기준점에 대한 특징량군을 추출하는 특징량 추출수단과, 상기 복수의 샘플링점의 각 화소 또는 각 화소군으로부터 추출된 상기 기준점에 대한 특징량군과, 상기 기준점에 대한 상기 부위점의 상대위치를 나타내는 위치정보와의 대응관계를 나타내는 대응관계정보를 참조하여, 상기 특징량 추출수단이 추출한 특징량군에 대응하는 위치정보를 특정하는 위치정보 특정수단과, 상기 위치정보 특정수단이 특정한 위치정보가 나타내는 위치를 상기 물체의 부위점으로 하는 검출쪽 부위점 특정수단을 갖추고 있는 구성이다.
또, 본 발명에 따른 화상처리방법은, 상기 화상 상에 상기 부위점에 대한 기준점을 특정하는 기준점 특정단계와, 상기 기준점에 대한 복수의 샘플링점마다, 그 샘플링점의 화소 또는 그 화소를 포함하는 화소군으로부터 특징량을 추출하고, 추출한 각 샘플링점에 각각 대응하는 복수의 특징량으로 구성되는, 상기 기준점에 대한 특징량군을 추출하는 특징량 추출단계와, 상기 복수의 샘플링점의 각 화소 또는 각 화소군으로부터 추출된 상기 기준점에 대한 특징량군과, 상기 기준점에 대한 상기 부위점의 상대위치를 나타내는 위치정보와의 대응관계를 나타내는 대응관계정보를 참조하여, 상기 특징량 추출단계에서 추출된 특징량군에 대응하는 위치정보를 특정하는 위치정보 특정단계와, 상기 위치정보 특정단계에서 특정된 위치정보가 나타내는 위치를 상기 물체의 부위점으로 하는 부위점 특정단계를 포함한다.
따라서, 상기 화상처리장치 및 상기 화상처리방법은, 물체의 형상이 변화한 경우에도, 물체의 부위점을 고정밀도로 검출할 수 있는 효과를 갖는다.
도 1은 본 발명의 실시형태를 나타낸 것으로, 부위점 검출장치의 요부(要部) 구성을 나타낸 블록도이다.
도 2는 계층적 피팅의 개요를 나타내는 모식도이다.
도 3은 본 발명의 실시형태를 나타낸 것으로, LRF 학습장치의 요부 구성을 나타낸 블록도이다.
도 4는 기준점 특정방법 및 위치정보 생성방법의 개요를 나타내는 모식도이다.
도 5는 샘플링위치 특정방법 및 특징량 추출방법의 개요를 나타내는 모식도이다.
도 6은 위치정보와 특징량군과의 상관관계를 나타내는 LRF 함수의 개요를 나타내는 모식도이다.
도 7은 LRF 학습장치의 기억부에 격납되는 LRF 함수를 포함하는 LRF 정보의 일례를 나타낸 도면이다.
도 8은 LRF 함수에 대한 입력 데이터인 특징량군과 출력 데이터인 위치정보와의 대응관계를 나타낸 도면이다.
도 9는 LRF 학습장치가 실행하는 LRF 학습방법의 일례를 나타낸 도면이다.
도 10은 LRF 학습방법에 포함되는 각 처리의 상태를, 화상을 이용하여 모식적으로 나타낸 천이도이다.
도 11은 부위점 검출장치가 실행하는 부위점 검출방법의 일례를 나타낸 도면이다.
도 12는 부위점 검출방법에 포함되는 각 처리의 상태를, 화상을 이용하여 모식적으로 나타낸 천이도이다.
[본 발명의 개요]
본 발명자들은, 화상 상에 있어서, 눈이나 입 등의 기관을 포함하는 영역으로부터 추출한 특징량군과, 화상 상의 기준점을 원점으로 하는 기관의 윤곽점이나 특징점의 위치와의 사이에 상관관계가 있음을 발견하였다. 이 발견에 근거하여, 회귀분석에 의해 상기 특징량군과 상기 위치와의 대응관계를 나타내는 모델을 작성하고, 그 모델을 사용한 검출방법을 발명하였다.
이 검출방법을 이용함으로써, 사전에 상정(想定)되는 표정뿐 아니라, 눈이나 입 등이 극도로 개폐하는 표정 등, 다양한 조건에서도 얼굴이나 각 기관을 정확하게 검출할 수 있다. 이하에서는, 본 발명자들이 발명한 검출방법을, Local Regression Fitting(LRF) 검출방법이라 칭하고, 상기 모델을 작성하기 위한 학습방법을 LRF 학습방법이라 칭한다.
또, 본 발명자들은, LRF 검출방법을 종래의 얼굴의 대국적인 형상을 잡는 글로벌 피팅과 조합시켜 이용하는 것이 얼굴이나 각 기관을 정확하게 검출할 수 있는 최적의 방법임을 제안하였다. 구체적으로는, ASAM 등의 학습방법에 근거한 글로벌한 모델을 이용하여 얼굴의 대국적인 형상을 잡는 글로벌 피팅과, LRF 학습방법에 근거한 얼굴의 기관마다의 로컬한 모델을 이용하여 각 기관의 상세한 형상을 각각 잡는 로컬 피팅(LRF 검출방법)을 조합시킨 계층적 피팅을 제안하였다.
계층적 피팅은, 보다 상세하게는, 도 2에 나타낸 바와 같이, 우선, 글로벌 피팅에 의해, 관자놀이(2개소), 좌우 눈썹의 눈썹머리 및 눈썹꼬리, 양 눈의 눈머리 및 눈꼬리, 콧구멍(2개소), 입꼬리(2개소), 및 턱끝 등을 검출한다. 그리고, LRF 검출방법에 의해, 그 외의 얼굴, 눈썹, 눈, 코, 및 입의 윤곽점을 검출한다. 글로벌 피팅 및 LRF 검출방법에 의해 검출된 윤곽점에 근거하여, 얼굴 및 각 기관의 윤곽을 검출한다.
이에 의해, 글로벌 모델이 표현할 수 없는 표정에 대해서도, 고정밀도로 얼굴의 윤곽을 검출할 수 있다. 게다가, 이와 같은 계층구조로 함으로써, 글로벌 피팅에 의해 큰 오검출을 줄임과 동시에, 로컬 피팅에 의해 표정 변화한 얼굴화상에서도 정확하게 얼굴윤곽 특징점을 검출할 수 있다.
이하에서는, 본 발명의 한 실시형태에서의, LRF 검출방법에 의해 화상 상에서의 물체의 윤곽점이나 특징점 등의 부위점을 검출하는 부위점 검출장치(화상처리장치)와, LRF 학습방법에 의해 모델을 생성하는 LRF 학습장치(정보생성장치)에 대해서 도 1 내지 도 12에 근거하여 설명한다. 또한, 이하에서는, 부위점 검출장치와 LRF 학습장치가 각각 별개의 장치로서 설명하지만, 부위점 검출장치 및 LRF 학습장치는 일체의 장치여도 좋다.
[LRF 학습장치의 구성]
우선, LRF 학습장치에 대해서 도 3에 근거하여 설명한다. LRF 학습장치는, 다른 장치로부터 취득한 화상, 또는 그 장치에 탑재된 카메라로 촬상한 화상에 있어서, 화상 상의 기준점에 대한 물체의 부위점의 상대위치와, 그 부위점에 근거한 화상 상의 소정의 위치로부터 추출한 특징량군과의 대응관계를 나타내는 LRF 함수(대응관계정보)를 생성하는 장치이다.
LRF 학습장치는, 예를 들어, PC, 디지털카메라, 휴대전화기, PDA(Personal Digital Assistant), 게임기, 사진을 촬영하여 인쇄하는 장치, 화상을 편집하는 장치 등으로 된다.
본 실시형태에서는, 상기 대응관계를 학습하는 대상의 부위점을 갖는 물체를 인간의 눈이나 입 등으로 하고 있으나 이에 한정되는 것은 아니다. 예를 들어, 개나 고양이 등의 동물의 얼굴이나 기관 등이어도 좋고, 휴대전화기나 텔레비전 등이어도 좋고, 건물이나 구름 등이어도 좋다.
물체의 부위점이란, 화상 상에서의 물체의 영역 내의 점이다. 구체적으로는, 예를 들어 물체가 눈인 경우, 눈의 윤곽점이나 눈동자점 등이다. 여기에서, LRF 학습장치가 상기 대응관계를 학습하는 대상인 물체의 부위점을 학습대상점이라 칭하고, 학습대상점을 갖는 물체를 학습대상물이라 칭한다.
도 3은, LRF 학습장치(2)의 요부 구성의 일례를 나타낸 블록도이다. 도 3에 나타낸 바와 같이, LRF 학습장치(2)는, 제어부(16), 기억부(17), 화상 입력부(13), 조작부(입력수단)(14) 및 표시부(15)를 갖추고 있다. 또한, LRF 학습장치(2)는, 다른 장치와 통신하기 위한 통신부, 음성 입력부, 음성 출력부 등의 부재를 갖추고 있어도 좋지만, 발명의 특징점과는 관계가 없기 때문에 해당 부재를 도시하지 않는다.
화상 입력부(13)는, 외부의 화상 제공장치(도시하지 않음)로부터 화상을 수신하는 것이다. 화상 제공장치는, 보유하고 있는 화상 또는 취득한 화상을 다른 장치에 제공하는 장치면 무엇이라도 좋다. 예를 들어, 화상 제공장치는 디지털 카메라, PC, 휴대전화기, PDA, 게임기, 디지털 텔레비전, USB(Universal Serial Bus) 메모리 등의 기억장치 등이다. 또한, LRF 학습장치(2)는 화상 입력부(13) 대신에 카메라를 탑재해도 좋다.
조작부(14)는 사용자가 LRF 학습장치(2)에 지시신호를 입력하여, LRF 학습장치(2)를 조작하기 위한 것이다. 조작부(14)는, 키보드, 마우스, 키패드, 조작버튼 등의 입력기기 등으로 구성되어 있는 것이어도 좋다. 또, 조작부(14)와 표시부(15)가 일체로 되어 있는 터치패널이어도 좋다. 또, 조작부(14)는 LRF 학습장치(2)와 별개인 리모트컨트롤러 등의 원격제어장치여도 좋다.
표시부(15)는, 제어부(16)의 지시에 따라 화상을 표시하는 것이다. 표시부(15)는 제어부(16)의 지시에 따라 화상을 표시하는 것이면 되고, 예를 들어 LCD(액정 디스플레이), 유기 EL 디스플레이, 플라즈마 디스플레이 등을 적용할 수 있다.
제어부(16)는, 기억부(17)로부터 일시 기억부(도시하지 않음)에 읽어 내어진 프로그램을 실행함으로써, 각종 연산을 함과 동시에, LRF 학습장치(2)가 갖춘 각 부(部)를 통괄적으로 제어하는 것이다.
본 실시형태에서는, 제어부(16)는 기능 블록으로서, 화상 취득부(화상 취득수단)(21), 영역 자름부(22), 기준점 특정부(기준점 특정수단)(23), 부위점 특정부(학습쪽 부위점 특정수단)(24), 샘플링위치 특정부(샘플링위치 특정수단)(25), 특징량 추출부(특징량 추출수단)(26), 위치정보 생성부(위치정보 생성수단)(27) 및 LRF 함수 산출부(대응관계정보 생성수단)(28)를 갖춘 구성이다. 이들 제어부(16)의 각 기능블록(21∼28)은 CPU(central processing unit)가 ROM(read only memory) 등으로 실현된 기억장치에 기억되어 있는 프로그램을 RAM(random access memory) 등으로 실현된 일시 기억부에 읽어내어 실행함으로써 실현할 수 있다.
화상 취득부(21)는, 화상 입력부(13)를 통하여 입력된 화상을 취득하는 것이다. 화상 취득부(21)는 취득한 화상을 영역 자름부(22)에 출력한다. 또한, 기억부(17)에 화상이 기억되어 있는 경우, 화상 취득부(21)는 기억부(17)로부터 화상을 읽어내어도 좋다.
영역 자름부(22)는, 취득한 화상으로부터, 학습대상점이 포함되는 영역의 화상인 학습대상영역 화상을 소정의 학습대상영역화상 추출방법에 근거하여 추출하는 것이다. 또, 영역 자름부(22)는 추출한 학습대상영역 화상을 소정의 정규화 방법에 근거하여 정규화하여, 정규화 화상을 생성하는 것이다. 영역 자름부(22)는, 생성한 정규화 화상을 기준점 특정부(23), 부위점 특정부(24) 및 샘플링위치 특정부(25)에 출력한다.
구체적으로는, 예를 들어 학습대상물이 「눈」 또는 「입」인 경우, 영역 자름부(22)는, 취득한 화상으로부터 얼굴화상을 추출하고, 추출한 얼굴화상을, 예를 들어 100 화소×100 화소의 화상으로 보정하여 정규화 화상을 생성한다.
여기에서, 학습대상영역화상 추출방법 및 정규화 방법은, 물체의 부위점(학습대상점)마다 미리 정해져 있으면 되고, 구체적인 방법은 임의로 된다. 또, 이하에서는, 정규화 화상의 기본이 되는, 화상 취득부(21)가 취득한 화상을 원화상이라 칭한다.
기준점 특정부(23)는, 영역 자름부(22)로부터 정규화 화상을 취득하고, 소정의 기준점 특정방법에 근거하여 취득한 정규화 화상 상의 소정의 점을 기준점으로 하여 특정하는 것이다. 기준점 특정부(23)는 특정한 기준점의 정규화 화상 상에서의 좌표인 기준좌표를 위치정보 생성부(27)에 출력한다.
구체적으로는, 도 4에 나타낸 바와 같이, 예를 들어 학습대상물이 「눈」인 경우, 기준점 특정부(23)는 정규화 화상 상에서의 눈의 중심점을 기준점으로서 특정한다. 이때, 기준점 특정부(23)는, 정규화 화상을 표시부(15)에 표시하고, 사용자에게 눈의 중심점을 지정하도록 지시하고, 사용자가 지정한 점을 기준점으로서 특정해도 좋다. 또, 기준점 특정부(23)는, 영역 자름부(22)가 얼굴화상을 추출할 때에 특정한 눈의 눈머리점 및 눈꼬리점에 근거하여, 눈머리점 및 눈꼬리점의 중점(中點)을 기준점으로서 특정해도 좋다. 또, 기준점 특정부(23)는, 원화상에 대응되어있는 메타데이터(기준점 위치정보)를 참조하고, 메타데이터로 나타내어지는 눈의 중심점의 위치에 근거하여, 아핀 변환 등에 의해 기준점을 특정해도 좋다. 이 경우, LRF 학습장치(2)가 학습을 실행하기 전에, 미리 각 원화상에 대하여, 원화상 상에서의 눈의 중심점의 위치를 특정하고, 특정한 눈의 중심점의 위치를 나타내는 정보를 포함하는 메타데이터를 원화상에 대응시켜 두는 것으로 한다. 또한, 메타데이터에, 눈의 중심점의 위치를 나타내는 정보 대신에, 눈의 중심점의 위치를 특정하기 위한 정보(예를 들어, 눈머리점, 눈꼬리점 등)가 포함되어 있어도 좋다.
또한, 기준점은 정규화 화상 상의 점이면 어느 점이어도 좋다. 즉, 예를 들어 학습대상물이 「눈」인 경우, 눈머리점 또는 눈꼬리점을 기준점으로 해도 좋고, 얼굴의 중심점(정규화 화상의 중심점)을 기준점으로 해도 좋고, 정규화 화상의 좌우 단점 등을 기준점으로 해도 좋다.
기준점 특정방법은, 물체의 부위점(학습대상점)마다 미리 정해져 있으면 되고, 구체적인 방법은 임의로 된다.
부위점 특정부(24)는, 영역 자름부(22)로부터 정규화 화상을 취득하고, 취득한 정규화 화상 상에서의 학습대상점을, 조작부(14)로부터 입력된 사용자의 지시에 근거하여 특정하는 것이다. 부위점 특정부(24)는, 특정한 학습대상점의 정규화 화상 상에서의 좌표인 부위좌표를 위치정보 생성부(27)에 출력한다.
구체적으로는, 예를 들어 학습대상점이 눈의 윤곽점인 「상검점」인 경우, 부위점 특정부(24)는 정규화 화상을 표시부(15)에 표시하고, 사용자에게 눈의 상검점을 지정하도록 지시하고, 사용자가 지정한 점을 학습대상점으로서 특정한다. 또, 부위점 특정부(24)는 원화상에 대응시켜져 있는 메타데이터(부위점 위치정보)를 참조하고, 메타데이터로 나타내어지는 눈의 상검점의 위치에 근거하여, 아핀 변환 등에 의해 학습대상점을 특정해도 좋다. 이 경우, LRF 학습장치(2)가 학습을 실행하기 전에, 미리 각 원화상에 대하여, 원화상 상에서의 눈의 상검점의 위치를 특정하고, 특정한 눈의 상검점의 위치를 나타내는 정보를 포함하는 메타데이터를 원화상에 대응시켜 두는 것으로 한다.
도 4에 나타낸 예에서는, 학습대상점으로서, 상검점 이외에, 하검점, 눈머리점 및 눈꼬리점이 특정되어 있다. 또한, 상검점(上瞼点)이란, 눈의 윤곽점이 형성하는 위쪽 원호(圓弧)의 정점(頂点)이다. 또, 하검점(下瞼点)이란, 눈의 윤곽점이 형성하는 아래쪽 원호의 정점이다.
샘플링위치 특정부(25)는, 영역 자름부(22)로부터 정규화 화상을 취득하고, 소정의 샘플링위치 특정방법에 근거하여, 정규화 화상 상의 소정의 범위 내에 기준점(부위점)에 대한 복수의 샘플링점을 특정한다. 여기에서, 상기 소정의 범위를 샘플링 범위라 칭한다.
샘플링위치 특정방법은, 물체의 부위점(학습대상점)마다 미리 정해져 있으면 되고, 어떤 방법이어도 좋다.
구체적으로는, 샘플링위치 특정부(25)가 특정하는 샘플링점은 샘플링 범위 내이면 어느 점이어도 좋다. 예를 들어, 샘플링위치 특정부(25)는, 샘플링 범위 내의 전(全) 화소를 샘플링점으로 해도 좋다. 샘플링위치 특정부(25)는, 샘플링 범위 내의 화소를 규칙적 또는 불규칙적으로 선택하고, 선택한 화소를 샘플링점으로 해도 좋다. 또, 샘플링위치 특정부(25)는, 샘플링 범위를 복수의 블록으로 분할하고, 블록의 중심점을 샘플링점으로 해도 좋다.
여기에서, 상기의 샘플링 범위는, 정규화 화상 상에서, 학습대상점이 위치한다고 생각되는 영역을 포함하는 범위이면 어떠한 범위여도 좋다. 예를 들어, 학습대상점이 위치한다고 생각되는 영역을 포함하는 n 화소×m 화소의 범위를 샘플링 범위로 해도 좋다. 또, 학습대상점이 위치한다고 생각되는 영역은 정규화 화상 상에서의 소정의 위치, 크기의 영역으로 된다. 예를 들어, 상검점이 학습대상점인 경우, 눈머리점 및 눈꼬리점으로부터 눈의 중심점을 특정하고, 눈의 중심점에서 위쪽의 소정의 범위를 학습대상점이 위치한다고 생각되는 영역으로 해도 좋다.
또, 학습대상물이 위치한다고 생각되는 영역을 포함하는 범위를 샘플링 범위로 해도 좋다. 구체적으로는, 도 5에 나타낸 바와 같이, 학습대상물이 눈인 경우, 정규화 화상에 있어서, 눈이 있다고 생각되는 영역을 덮는 범위를 샘플링 범위로 해도 좋고, 예를 들어, 상술한 바와 같이 눈머리점 및 눈꼬리점에서 눈의 중심점을 특정하고, 눈의 중심점을 중심으로 하는 i 화소×j 화소의 범위를 샘플링 범위로 해도 좋다.
또한, 샘플링 범위의 형상은, i 화소×j 화소와 같은 사각형에 한정되는 것은 아니다. 샘플링 범위의 형상은 임의로 되고, 예를 들어, 다른 다각형이나 원형이어도 좋다. 도 5에 나타낸 예에서는, 눈이 있다고 생각되는 영역을 덮는 범위를 샘플링 범위로 하고 있기 때문에, 샘플링 범위의 형상은 사각형에서 네 모서리가 깎인 형상으로 되어 있다.
특징량 추출부(26)는, 소정의 특징량 추출방법에 근거하여, 샘플링위치 특정부(25)가 특정한 샘플링점마다, 샘플링점의 화소 또는 샘플링점의 화소를 포함하는 화소군으로부터 특징량을 추출한다. 그리고, 특징량 추출부(26)는, 각 샘플링점에 각각 대응하는 복수의 특징량으로 구성되는 특징량군을 부위점마다 생성한다.
환언하면, 특징량 추출부(26)는, 부위점에 대응하는 기준점에 대한 복수의 샘플링점마다, 그 샘플링점의 화소 또는 그 화소를 포함하는 화소군으로부터 특징량을 추출하고, 추출한 각 샘플링점에 각각 대응하는 복수의 특징량으로 구성되는, 상기 기준점에 대한 특징량군을 추출하는 것이다.
여기에서, 특징량 추출방법은, 물체의 부위점(학습대상점)마다 미리 정해져 있으면 되고, 어떠한 방법이어도 좋다.
구체적으로는, 특징량 추출부(26)가 추출하는 특징량은 임의로 된다. 예를 들어, 휘도값, 에지정보, 주파수 특성(Gabor, Haar 등), 휘도 구배 특징량(SIFT, HOG 등) 또는 그들의 조합을 특징량으로 해도 좋다.
또, 특징량 추출부(26)는, 샘플링점의 화소를 포함하는 화소군으로부터 특징량을 추출하는 경우, 화소군에 포함되는 전 화소의 값의 평균값 또는 중앙값에 근거하여 특징량을 추출해도 좋다. 또, 이 경우, 특징량 추출부(26)는 화소군에 포함되는 1 또는 복수의 화소에 근거하여 특징량을 추출해도 좋다. 예를 들어, 특징량 추출부(26)는, 샘플링점을 중심으로 하는 3×3 화소의 9개의 화소를 포함하는 화소군으로부터 특징량을 추출하는 경우, 9개의 화소의 값의 평균값 또는 중앙값에 근거하여 특징량을 추출해도 좋다. 또, 특징량 추출부(26)는, 9개의 화소 중의 1 또는 복수의 화소에 근거하여 특징량을 추출해도 좋다.
또, 특징량 추출부(26)는, 하나의 샘플링점으로부터 복수의 종류의 특징량을 추출해도 좋다. 예를 들어, 특징량 추출부(26)는 하나의 샘플링점의 화소 또는 화소군으로부터, 휘도값 및 Haar값을 특징량으로서 각각 추출해도 좋다. 또, 특징량 추출부(26)는 샘플링점을 중심으로 하는 3×3 화소의 화소군으로부터 휘도값을 특징량으로서 추출함과 동시에, 같은 샘플링점을 중심으로 하는 4×4 화소의 화소군으로부터 휘도값을 특징량으로서 추출하여, 2종류의 특징량을 추출해도 좋다.
도 5에 나타낸 예에서는, 특징량 추출부(26)는 샘플링점의 각 화소로부터 Haar값을 특징량으로서 추출하여, 특징량군을 생성하고 있다. 또한, 샘플링위치 특정부(25)는, 예를 들어 샘플링 범위 내에 수백개의 샘플링점을 설정한다. 즉, 특징량 추출부(26)는, 예를 들어 수백개의 특징량으로 이루어지는 특징량군을 생성한다.
위치정보 생성부(27)는, 기준점 특정부(23)로부터 기준좌표를 취득하고, 부위점 특정부(24)로부터 부위좌표를 취득한다. 그리고, 위치정보 생성부(27)는, 소정의 위치정보 생성방법에 근거하여, 기준점을 원점으로 하는 학습대상점의 위치를 나타내는 위치정보를 생성하는 것이다. 환언하면, 위치정보 생성부(27)는, 소정의 위치정보 생성방법에 근거하여, 기준점에 대한 학습대상점의 상대위치를 나타내는 위치정보를 생성한다. 위치정보 생성부(27)는 생성한 위치정보를 LRF 함수 산출부(28)에 출력한다.
위치정보는 xy 좌표계 또는 극좌표계에서의 좌표이다. 또, 기준좌표 및 부위좌표는 xy 좌표계 또는 극좌표계의 어느 쪽이어도 좋다.
여기에서, 위치정보 생성방법은 물체의 부위점(학습대상점)마다 미리 정해져 있으면 되고, 어떠한 방법이어도 좋다.
도 4에 나타낸 예에서는, 위치정보 생성부(27)는, 기준좌표 및 부위좌표, 및 위치정보를 xy 좌표계로 나타내고, 부위좌표마다, 부위좌표와 기준좌표와의 차이를 산출하여, 각 학습대상점의 위치정보를 생성한다. 즉, 부위좌표를 (a, b), 기준좌표를 (c, d)라 하면, 위치정보 (X, Y)는 (a-c, b-d)로 산출된다.
또, 도 4에서는, 「LeftX」, 「LeftY」가 각각 눈꼬리점의 위치정보의 x 좌표, y 좌표를 나타내고, 「RightX」, 「RightY」가 각각 눈머리점의 위치정보의 x 좌표, y 좌표를 나타내고, 「UpX」, 「UpY」가 각각 상검점의 위치정보의 x 좌표, y 좌표를 나타내고, 「DownX」, 「DownY」가 각각 하검점의 위치정보의 x 좌표, y 좌표를 나타낸다.
LRF 함수 산출부(28)는, 하나의 화상에 대하여, 학습대상점마다, 특징량 추출부(26)로부터 학습대상점에 대한 특징량군을 취득하고, 위치정보 생성부(27)로부터 그 학습대상점에 대한 위치정보를 취득한다. 그리고, LRF 함수 산출부(28)는 학습대상점마다, 복수의 화상으로부터 각각 생성된 특징량군 및 위치정보에 근거하여, 그 학습대상점에 대한, 위치정보와 특징량군과의 대응관계를 나타내는 대응관계정보를 생성한다. 또한, LRF 함수 산출부(28)는, 대응관계정보를 생성할 때, 같은 학습대상점에 관해서는, 동일한 방법(학습대상영역화상 추출방법, 정규화 방법, 기준점 특정방법, 샘플링위치 특정방법, 특징량 추출방법 및 위치정보 생성방법이 동일)에 의해 생성된 위치정보 및 특징량군을 사용하는 것으로 한다.
구체적으로는, 도 6에 나타낸 바와 같이, LRF 함수 산출부(28)는 복수의 화상으로부터 각각 생성된 특징량군 및 위치정보를 플롯하고, 회귀분석을 이용하여 위치정보와 특징량군과의 상관관계를 나타내는 LRF 함수(대응관계정보)를 산출한다. 또한, 도 6에서는, 설명의 편의를 위해 평면으로 나타내고 있지만, 실제로는 고차원이기 때문에 특징량군과 위치정보와의 대응관계, 즉 LRF 함수는 초회귀평면으로 나타내어지는 것이다.
또, 도 6에 나타낸 예에서는, 각 학습대상점(눈꼬리점, 눈머리점, 상검점 및 하검점)이 위치한다고 생각되는 영역을 모두 포함하도록 샘플링 범위를 설정하고, 각 학습대상점에 대하여 같은 특징량군을 생성하고, 같은 기준점을 이용하여 각 학습대상점의 위치정보를 생성하고 있기 때문에, 각 학습대상점의 위치정보에 대하여 하나의 특징량군을 대응시키고 있다. 다만, 이에 한정되는 것은 아니고, 각 학습대상점에 대하여, 개별로 위치정보 및 특징량군을 생성하고, 학습대상점마다 LRF 함수를 구해도 좋다.
도 6에 나타낸 예에서는, 특징량군을 X라 하면, 위치정보 Y는, Y=AX+B로 나타내어진다. 여기에서, 예를 들어 특징량군 X가 k개의 샘플링점으로부터 추출한 m개(m=k×(하나의 샘플링점으로부터 추출되는 특징량의 종류수))의 특징량으로 구성되어 있고, 위치정보 Y가 n개의 학습대상점의 x 좌표, y 좌표로 구성되는 경우, 특징량군 X=(x1, x2, …, xm)T, 위치정보 Y=(y1, y2, …, y2n)T로 나타내어진다. 이 경우, 계수 A는 2n×m의 행렬이고, 계수 B는 2n×1의 행렬로 나타내어진다.
여기에서, LRF 함수 산출부(28)가 이용하는 회귀분석은, 중회귀나 CCA 등 회귀분석이면 무엇이라도 좋다. 또, LRF 함수 산출부(28)가 구하는 LRF 함수는 도 6에 나타낸 선형이어도 좋고, 비선형이어도 좋다.
또, LRF 함수 산출부(28)는, 위치정보와 특징량군과의 대응관계에 근거하여, 양자의 대응관계를 특정하는 대응관계 테이블을 생성해도 좋다.
LRF 함수 산출부(28)는 생성한 LRF 함수에, LRF 함수에 의해 대응관계가 나타내어지는 위치의 부위점 및 상기의 각 방법을 대응시킨 LRF 정보를 기억부(17)에 격납한다.
기억부(17)는, 제어부(16)가 참조하는 프로그램이나 데이터 등을 격납하는 것으로, 예를 들어 상기의 LRF 정보(41) 등을 격납하고 있다.
기억부(17)에 격납되어 있는 LRF 정보(41)에 대해서 도 7에 근거하여 설명한다. 도 7은 기억부(17)에 격납되어 있는 LRF 정보(41)의 일례를 나타낸 도면이다.
도 7에 나타낸 바와 같이, LRF 정보(41)는, 부위점과, 그 부위점에 관한 LRF 함수가 대응되어 있는 정보이다. 또, LRF 정보(41)는 부위점과, 특징량군 및 위치정보를 각각 생성하기 위한 각 방법(학습대상영역화상 추출방법, 정규화 방법, 기준점 특정방법, 샘플링위치 특정방법, 특징량 추출방법 및 위치정보 생성방법)이 대응되어 있는 정보이다.
도 7에 나타낸 예에서는, 학습대상영역화상 추출방법 및 정규화 방법에 관해서는, 각 학습대상점에 같은 방법이 대응되어 있고, 그 외의 방법에 관해서는 물체마다, 각 학습대상점에 같은 방법이 대응되어 있지만, 이에 한정되는 것은 아니다. 학습대상점마다, 각각 다른 방법이 대응되어 있어도 좋다.
또, 도 7에 나타낸 예에서는, LRF 함수가 부위점마다 대응되어 있지만 이에 한정되는 것은 아니고, 물체마다 LRF 함수가 대응되어 있어도 좋다. 예를 들어, 도 7에 나타낸 예에서는, 물체마다, 학습대상영역화상 추출방법, 정규화 방법, 기준점 특정방법, 샘플링위치 특정방법 및 특징량 추출방법이 동일하다. 즉, 같은 물체이면, 한 화상으로부터 추출된 특징량군 X가 부위점에 상관없이 동일하다. 이 경우, 예를 들어 오른쪽 눈에 관하여, 위치정보 Y=(y1, y2, …, y10)T에 있어서, y1∼y10을 각각 상검점의 위치정보의 x 좌표, y 좌표, 하검점의 위치정보의 x 좌표, y 좌표, 눈머리점의 위치정보의 x 좌표, y 좌표, 눈꼬리점의 위치정보의 x 좌표, y 좌표, 눈동자점의 위치정보의 x 좌표, y 좌표라 하면, 오른쪽 눈의 LRF 함수를 Y=AX+B로서 나타낼 수 있다. 또한, A=(A1, A2, …, A5)T, B=(B1, B2, …, B5)T이다.
또, 도 7에 나타낸 예에서는, LRF 정보(41)에 있어서, LRF 함수에 각 방법이 대응되어 있지만 이에 한정되는 것은 아니다. 도 7에 나타낸 예에서는, 학습 시에, LRF 학습장치가 각 방법을 적절히 선택하여 LRF 함수를 생성하는 경우를 나타내고 있지만, 학습 시와 검출 시에, 각 부위점마다, 미리 정한 방법을 각 방법에 관하여 사용하는 경우, 부위점 검출장치(1) 및 LRF 학습장치(2)가 각 부위점마다 미리 정한 방법을 기억하고 있으면 된다(예를 들어, 학습 프로그램 및 검출 프로그램에 들어 있으면 된다). 이 경우, LRF 정보(41)에 있어서, LRF 함수에 각 방법이 대응되어 있을 필요는 없고, LRF 정보(41)는 부위점에 대응된 LRF 함수를 나타내는 정보가 포함되어 있으면 된다.
[부위점 검출장치의 구성]
이어서, 부위점 검출장치에 대해서 도 1에 근거하여 설명한다. 부위점 검출장치는, LRF 학습장치가 생성한 LRF 정보에 근거하여, 다른 장치로부터 취득한 화상, 또는 그 장치에 탑재된 카메라로 촬상한 화상으로부터, 물체의 윤곽점이나 특징점 등의 부위점을 검출하는 장치이다.
부위점 검출장치는, 예를 들어 디지털카메라, PC, 휴대전화기, PDA(Personal Digital Assistant), 게임기, 사진을 촬영하여 인쇄하는 장치, 화상을 편집하는 장치 등으로 된다.
본 실시형태에서는, 검출대상의 부위점을 갖는 물체를 인간의 눈이나 입 등으로 하고 있지만 이에 한정되는 것은 아니다. 예를 들어, 개나 고양이 등의 동물의 얼굴이나 기관 등이어도 좋고, 휴대전화기나 텔레비전 등이어도 좋고, 건물이나 구름 등이어도 좋다. 여기에서, 부위점 검출장치가 상기 검출대상의 부위점을 검출대상점이라 칭하고, 검출대상점을 갖는 물체를 검출대상물이라 칭한다.
도 1은 부위점 검출장치(1)의 요부 구성의 일례를 나타낸 블록도이다. 도 1에 나타낸 바와 같이, 부위점 검출장치(1)는, 제어부(11), 기억부(12), 화상 입력부(13), 조작부(입력수단)(14) 및 표시부(15)를 갖추고 있다. 또한, 부위점 검출장치(1)는 다른 장치와 통신하기 위한 통신부, 음성 입력부, 음성 출력부 등의 부재를 갖추고 있어도 좋지만, 발명의 특징점과는 관계가 없기 때문에 그 부재를 도시하지 않는다.
또한, 설명의 편의상, LRF 학습장치(2)에 포함되는 부재와 동일한 기능을 갖는 부재에는 동일한 부호를 붙이고 그 설명을 일부 생략한다.
기억부(12)는, 제어부(11)가 참조하는 프로그램이나 데이터 등을 격납하는 것으로, 예를 들어 LRF 학습장치가 생성한 LRF 정보(41) 등을 격납하고 있다. 기억부(12)에 격납되어 있는 LRF 정보(41)는 예를 들어 도 7에 나타낸 것과 같은 데이터로 된다.
제어부(11)는, 기억부(12)로부터 일시 기억부(도시하지 않음)에 읽어 내어진 프로그램을 실행함으로써, 각종 연산을 함과 동시에, 부위점 검출장치(1)가 갖춘 각 부(部)를 통괄적으로 제어하는 것이다.
본 실시형태에서는, 제어부(11)는 기능 블록으로서, 화상 취득부(21), 영역 자름부(22), 기준점 특정부(23), 샘플링위치 특정부(샘플링위치 특정수단)(25), 특징량 추출부(26), 위치정보 특정부(위치정보 특정수단)(29) 및 부위점 특정부(검출쪽 부위점 특정수단)(30)를 갖춘 구성이다. 이들 제어부(11)의 각 기능 블록(21∼23, 25, 26, 29, 30)은 CPU가 ROM 등으로 실현된 기억장치에 기억되어 있는 프로그램을 RAM 등으로 실현된 일시 기억부에 읽어내어 실행함으로써 실현할 수 있다.
화상 취득부(21)는, 화상 입력부(13)를 통하여 입력된 화상을 취득하는 것이다. 화상 취득부(21)는 취득한 화상을 영역 자름부(22)에 출력한다.
영역 자름부(22)는, 기억부(12)로부터 LRF 정보(41)를 읽어내고, LRF 정보(41)에서 검출대상점에 대응되어 있는 학습대상영역화상 추출방법에 근거하여, 취득한 화상으로부터, 검출대상점이 포함되는 영역의 화상인 검출대상영역 화상을 추출하는 것이다.
또, 영역 자름부(22)는 LRF 정보(41)에서 검출대상점에 대응되어 있는 정규화 방법에 근거하여, 추출한 검출대상영역 화상을 정규화하여, 정규화 화상을 생성하는 것이다. 영역 자름부(22)는, 생성한 정규화 화상을 기준점 특정부(23) 및 샘플링위치 특정부(25)에 출력한다.
기준점 특정부(23)는, 기억부(12)로부터 LRF 정보(41)를 읽어내고, 영역 자름부(22)로부터 정규화 화상을 취득한다. 그리고, 기준점 특정부(23)는, LRF 정보(41)에서 검출대상점에 대응되어 있는 기준점 특정방법에 근거하여, 취득한 정규화 화상 상의 소정의 점(点)을 기준점으로서 특정하는 것이다. 기준점 특정부(23)는, 특정한 기준점의 정규화 화상 상에서의 좌표인 기준좌표를 부위점 특정부(30)에 출력한다.
샘플링위치 특정부(25)는, 기억부(12)로부터 LRF 정보(41)를 읽어내고, 영역 자름부(22)로부터 정규화 화상을 취득하고, LRF 정보(41)에서 검출대상점에 대응되어 있는 샘플링위치 특정방법에 근거하여, 정규화 화상 상의 소정의 범위 내에 기준점(부위점)에 대한 복수의 샘플링점을 특정한다.
특징량 추출부(26)는, 기억부(12)로부터 LRF 정보(41)를 읽어내고, LRF 정보(41)에서 검출대상점에 대응되어 있는 특징량 추출방법에 근거하여, 기준점에 대한 샘플링점마다, 샘플링점의 화소 또는 샘플링점의 화소를 포함하는 화소군으로부터 특징량을 추출한다. 그리고, 특징량 추출부(26)는, 각 샘플링점에 각각 대응하는 복수의 특징량으로 구성되는 특징량군을 생성한다.
위치정보 특정부(29)는, 기억부(12)로부터 LRF 정보(41)를 읽어내고, LRF 정보(41)에서 검출대상점에 대응되어 있는 LRF 함수에 근거하여, 특징량 추출부(26)가 생성한 특징량군에 대응하는 위치정보를 특정하는 것이다. 위치정보 특정부(29)는 특정한 위치정보를 부위점 특정부(30)에 출력한다.
구체적으로는, 도 8에 나타낸 바와 같이, 위치정보 특정부(29)는, 특징량 추출부(26)가 생성한 특징량군을 입력값으로 하여 LRF 함수에 주고, 그 출력 결과를 위치정보로 한다.
부위점 특정부(30)는, 기준점 특정부(23)로부터 기준좌표를 취득하고, 위치정보 특정부(29)로부터 위치정보를 취득한다. 그리고, 부위점 특정부(30)는 정규화 화상에 있어서, 기준좌표가 나타내는 점을 원점으로 하는 위치정보가 나타내는 위치를 검출대상점으로서 특정하는 것이다.
[LRF 학습방법]
이어서, LRF 학습장치(2)가 실행하는 LRF 학습방법에 대해서, 도 9 및 도 10에 근거하여 설명한다. 도 9는 LRF 학습장치(2)가 실행하는 LRF 학습방법의 일례를 나타낸 도면이다. 도 10은 LRF 학습방법에 포함되는 각 처리 상태를 화상을 이용하여 모식적으로 나타낸 천이도이다.
도 9 및 도 10에 나타낸 예에서는, 인간의 얼굴의 양 눈 및 입의 윤곽점에 대한 LRF 함수를 생성하는 것으로 한다. 구체적으로는, 오른쪽 눈 및 왼쪽 눈의 눈꼬리점, 눈머리점, 상검점, 하검점 및 눈동자점, 및 입의 오른쪽 입꼬리점 및 왼쪽 입꼬리점, 및 윗입술 및 아랫입술의 상중점(上中点) 및 하중점(下中点)을 학습대상점으로 한다. 또한, 윗입술(아랫입술)의 상중점이란, 윗입술(아랫입술)의 중앙의 위쪽의 윤곽점이고, 윗입술(아랫입술)의 하중점이란, 윗입술(아랫입술)의 중앙의 아래쪽의 윤곽점이다.
또, 도 9 및 도 10에 나타낸 예에서는, 오른쪽 눈, 왼쪽 눈 및 입의 중앙점을 각각의 기준점으로 한다. 또, 샘플링 범위는 오른쪽 눈, 왼쪽 눈 및 입을 각각 덮는 범위로 설정한다. 구체적으로는, 오른쪽 눈, 왼쪽 눈 및 입의 중앙점(기준점)을 중심으로 한 소정범위를 샘플링 범위로 한다.
도 9에 나타낸 바와 같이, 우선, 화상 취득부(21)는 화상 입력부(13)를 통하여 입력된 화상을 취득한다(S1). 이때의 상태를 도 10의 상태 1에 나타낸다.
계속해서, 영역 자름부(22)는 화상 취득부(21)가 취득한 화상으로부터, 학습대상영역화상 추출방법 「G001」(예를 들어, 종래의 얼굴 검출방법 또는 얼굴기관점 검출방법)에 근거하여, 얼굴화상을 검출한다(S2). 이때의 상태를 도 10의 상태 2에 나타낸다. 상태 2에서는, 검출된 얼굴화상이 사각의 선으로 둘러싸여 있고, 검출된 얼굴기관점이 흰점으로 나타내어져 있다.
그리고, 영역 자름부(22)는 정규화 방법 「H001」에 근거하여, 검출한 얼굴화상을 잘라내고, 잘라낸 얼굴화상을 정규화하여 정규화 화상을 생성한다(S3). 이때의 상태를 도 10의 상태 3에 나타낸다.
이어서, 기준점 특정부(23)는, 기준점 특정방법 「I001」, 「I002」, 「I003」에 각각 근거하여, 정규화 화상 상에서의 오른쪽 눈, 왼쪽 눈 및 입의 기준점을 특정한다(S4). 이때의 상태를 도 10의 상태 4에 나타낸다. 상술한 바와 같이, 상태 4에서는 좌우의 눈의 중심 및 입의 중심에 각각의 기준점이 설정되어 있다.
이어서, 부위점 특정부(24)는, 정규화 화상 상에서, 오른쪽 눈 및 왼쪽 눈의 눈꼬리점, 눈머리점, 상검점, 하검점 및 눈동자점, 및 입의 오른쪽 입꼬리점 및 왼쪽 입꼬리점, 및 윗입술 및 아랫입술의 상중점 및 하중점을 학습대상점으로서 특정한다(S5). 이때의 상태를 도 10의 상태 5에 나타낸다.
계속해서, 샘플링위치 특정부(25)는, 샘플링위치 특정방법 「J001」, 「J002」, 「J003」에 각각 근거하여, 정규화 화상 상의 각 샘플링 범위 내에 각각 복수의 샘플링점을 특정한다(S6). 그리고, 특징량 추출부(26)는, 특징량 추출방법 「K001」, 「K002」, 「K003」에 각각 근거하여, 좌우의 눈 및 입의 각 샘플링점의 화소 또는 화소군으로부터 각각 특징량군을 추출한다(S7). 이때의 상태를 도 10의 상태 6에 나타낸다. 상술한 바와 같이, 상태 6에서는, 좌우의 눈 및 입을 각각 덮도록, 각 기관의 중심점을 중심으로 하는 소정의 위치에 샘플링점이 설정되어 있다. 즉, 여기에서는, 오른쪽 눈의 눈꼬리점, 눈머리점, 상검점, 하검점 및 눈동자점에 대한 특징량군과, 왼쪽 눈의 눈꼬리점, 눈머리점, 상검점, 하검점 및 눈동자점에 대한 특징량군과, 입의 오른쪽 입꼬리점 및 왼쪽 입꼬리점, 및 윗입술 및 아랫입술의 상중점 및 하중점에 대한 특징량군의 3개의 특징량군이 생성된다. 환언하면, 오른쪽 눈, 왼쪽 눈 및 입의 각 기준점(중심점)에 대하여, 각각 3개의 특징량군이 생성된다.
이어서, 위치정보 생성부(27)는, 위치정보 생성방법 「L001」, 「L002」, 「L003」에 각각 근거하여, 기준점을 원점으로 하는 학습대상점의 위치를 나타내는 위치정보를 학습대상점마다 생성한다(S8). 이때의 상태를 도 10의 상태 7에 나타낸다.
이상의 처리를 복수의 화상에 대하여 행하고, 화상마다, 각 학습대상점에 대한 특징량군 및 위치정보를 생성한다.
LRF 함수 산출부(28)는, 회귀분석을 이용하여, 복수 조(組)의 위치정보 및 특징량군으로부터, 각 학습대상점에 대한 LRF 함수를 각각 생성한다(S9). 그리고, LRF 함수 산출부(28)는, 생성한 각 학습대상점에 대한 LRF 함수에, 각각 사용한 각 방법(학습대상영역화상 추출방법, 정규화 방법, 기준점 특정방법, 샘플링위치 특정방법, 특징량 추출방법 및 위치정보 생성방법)을 대응시켜 LRF 정보(41)를 생성하고, 기억부(12)에 격납한다.
[부위점 검출방법]
계속해서, 부위점 검출장치(1)가 실행하는 부위점 검출방법에 대해서, 도 11 및 도 12에 근거하여 설명한다. 도 11은 부위점 검출장치(1)가 실행하는 부위점 검출방법의 일례를 나타낸 도면이다. 도 12는 부위점 검출방법에 포함되는 각 처리의 상태를, 화상을 이용하여 모식적으로 나타낸 천이도이다.
도 11 및 도 12에 나타낸 예에서는, 부위점 검출장치(1)의 기억부(12)에 도 7에 나타낸 LRF 정보(41)가 격납되어 있는 것으로 한다. 또, 여기에서는 인간의 얼굴의 오른쪽 눈 및 왼쪽 눈의 눈꼬리점, 눈머리점, 상검점, 하검점 및 눈동자점, 및 입의 오른쪽 입꼬리점 및 왼쪽 입꼬리점, 및 윗입술 및 아랫입술의 상중점 및 하중점을 검출하는 것으로 한다.
도 11에 나타낸 바와 같이, 우선, 화상 취득부(21)는 화상 입력부(13)를 통하여 입력된 화상을 취득한다(S11). 이때의 상태를 도 12의 상태 11에 나타낸다.
이어서, 영역 자름부(22)는 기억부(12)로부터 LRF 정보(41)를 읽어낸다. 여기에서, LRF 정보(41)에 있어서, 각 검출대상점에는 모두 같은 학습대상영역화상 추출방법 「G001」 및 정규화 방법 「H001」이 대응되어 있다. 그 때문에, 영역 자름부(22)는 학습대상영역화상 추출방법 「G001」에 근거하여, 화상 취득부(21)가 취득한 화상으로부터 화상을 잘라낸다(S12). 이때의 상태를 도 12의 상태 12에 나타낸다. 상태 12에서는, 얼굴화상 및 얼굴기관점이 검출되고, 검출된 얼굴화상이 사각의 선으로 둘러싸여 있고, 검출된 얼굴기관점이 흰점으로 나타내어져 있다.
그리고, 영역 자름부(22)는 검출한 얼굴화상을 잘라내고, 정규화 방법 「H001」에 근거하여 잘라낸 얼굴화상을 정규화하여 정규화 화상을 생성한다(S13). 이때의 상태를 도 12의 상태 13에 나타낸다.
이어서, 기준점 특정부(23)는, 기억부(12)로부터 LRF 정보(41)를 읽어낸다. 여기에서, LRF 정보(41)에 있어서, 오른쪽 눈, 왼쪽 눈, 입 단위로, 같은 기준점 특정방법 「I001」, 「I002」, 「I003」이 각각 대응되어 있다. 그 때문에, 기준점 특정부(23)는, 정규화 화상 상에, 오른쪽 눈의 검출대상점의 기준점을 기준점 특정방법 「I001」에 근거하여 특정하고, 왼쪽 눈의 검출대상점의 기준점을 기준점 특정방법 「I002」에 근거하여 특정하고, 입의 검출대상점의 기준점을 기준점 특정방법 「I003」에 근거하여 특정한다(S14). 이때의 상태를 도 12의 상태 14에 나타낸다. 도시한 바와 같이, 상태 14에서는 오른쪽 눈, 왼쪽 눈, 입의 각각 중심점이 기준점으로서 특정되어 있다.
계속해서, 샘플링위치 특정부(25)는, 기억부(12)로부터 LRF 정보(41)를 읽어낸다. 여기에서, LRF 정보(41)에 있어서, 오른쪽 눈, 왼쪽 눈, 입 단위로, 같은 샘플링위치 특정방법 「J001」, 「J002」, 「J003」이 각각 대응되어 있다. 그 때문에, 샘플링위치 특정부(25)는, 정규화 화상 상에서, 오른쪽 눈의 검출대상점의 샘플링점을 샘플링위치 특정방법 「J001」에 근거하여 특정하고, 왼쪽 눈의 검출대상점의 샘플링점을 샘플링위치 특정방법 「J002」에 근거하여 특정하고, 입의 검출대상점의 샘플링점을 샘플링위치 특정방법 「J003」에 근거하여 특정한다(S15).
이때의 상태를 도 12의 상태 15에 나타낸다. 도시한 바와 같이, 상태 15에서는, 좌우 눈 및 입을 각각 덮도록, 각 기관의 기준점을 중심으로 하는 소정의 범위에 샘플링점이 설정되어 있다.
그리고, 특징량 추출부(26)는, 기억부(12)로부터 LRF 정보(41)를 읽어낸다. 여기에서, LRF 정보(41)에 있어서, 오른쪽 눈, 왼쪽 눈, 입 단위로, 같은 특징량 추출방법 「K001」, 「K002」, 「K003」이 각각 대응되어 있다. 그 때문에, 특징량 추출부(26)는, 오른쪽 눈의 검출대상점의 샘플링점의 화소 또는 화소군으로부터, 오른쪽 눈의 검출대상점의 특징량군을 특징량 추출방법 「K001」에 근거하여 추출하고, 왼쪽 눈의 검출대상점의 샘플링점의 화소 또는 화소군으로부터, 왼쪽 눈의 검출대상점의 특징량군을 특징량 추출방법 「K002」에 근거하여 추출하고, 입의 검출대상점의 샘플링점의 화소 또는 화소군으로부터, 입의 검출대상점의 특징량군을 특징량 추출방법 「K003」에 근거하여 추출한다(S16).
즉, 여기에서는 오른쪽 눈의 눈꼬리점, 눈머리점, 상검점, 하검점 및 눈동자점에 대한 특징량군과, 왼쪽 눈의 눈꼬리점, 눈머리점, 상검점, 하검점 및 눈동자점에 대한 특징량군과, 입의 오른쪽 입꼬리점 및 왼쪽 입꼬리점, 및 윗입술 및 아랫입술의 상중점 및 하중점에 대한 특징량군의 3개의 특징량군이 생성된다. 환언하면, 오른쪽 눈, 왼쪽 눈 및 입의 각 기준점(중심점)에 대하여, 각각 3개의 특징량군이 생성된다.
이어서, 위치정보 특정부(29)는, 기억부(12)로부터 LRF 정보(41)를 읽어낸다. 그리고, 위치정보 특정부(29)는, 오른쪽 눈의 눈꼬리점, 눈머리점, 상검점, 하검점 및 눈동자점에 대응되어 있는 LRF 함수에, 이들의 검출대상점에 대한 특징량군을 각각 입력하여, 오른쪽 눈의 눈꼬리점, 눈머리점, 상검점, 하검점 및 눈동자점의 위치정보를 각각 특정한다. 또, 위치정보 특정부(29)는, 왼쪽 눈의 눈꼬리점, 눈머리점, 상검점, 하검점 및 눈동자점에 대응되어 있는 LRF 함수에, 이들의 검출대상점에 대한 특징량군을 각각 입력하여, 왼쪽 눈의 눈꼬리점, 눈머리점, 상검점, 하검점 및 눈동자점의 위치정보를 각각 특정한다. 또, 위치정보 특정부(29)는, 입의 오른쪽 입꼬리점 및 왼쪽 입꼬리점, 및 윗입술 및 아랫입술의 상중점 및 하중점에 대응되어 있는 LRF 함수에, 이들의 검출대상점에 대한 특징량군을 각각 입력하여, 입의 오른쪽 입꼬리점 및 왼쪽 입꼬리점, 및 윗입술 및 아랫입술의 상중점 및 하중점의 위치정보를 각각 특정한다(S17).
마지막으로, 부위점 특정부(30)는, 기억부(12)로부터 LRF 정보(41)를 읽어낸다. 여기에서, LRF 정보(41)에 있어서, 오른쪽 눈, 왼쪽 눈, 입 단위로, 같은 위치정보 생성방법 「L001」, 「L002」, 「L003」이 각각 대응되어 있다. 그 때문에, 부위점 특정부(30)는, 오른쪽 눈의 눈꼬리점, 눈머리점, 상검점, 하검점 및 눈동자점의 위치정보로부터, 위치정보 생성방법 「L001」에 근거하여, 이들의 검출대상점의 정규화 화상 상에서의 좌표를 각각 특정하고, 왼쪽 눈의 눈꼬리점, 눈머리점, 상검점, 하검점 및 눈동자점의 위치정보로부터, 위치정보 생성방법 「L002」에 근거하여, 이들의 검출대상점의 정규화 화상 상에서의 좌표를 각각 특정하고, 입의 오른쪽 입꼬리점 및 왼쪽 입꼬리점, 및 윗입술 및 아랫입술의 상중점 및 하중점의 위치정보로부터, 위치정보 생성방법 「L003」에 근거하여, 이들의 검출대상점의 정규화 화상 상에서의 좌표를 각각 특정한다(S18).
예를 들어, 오른쪽 눈의 눈꼬리점에 대해서, 오른쪽 눈의 기준점(중심점)의 X 좌표값, Y 좌표값에, 눈꼬리점의 위치정보가 나타내는 X 좌표값, Y 좌표값의 차이값을 각각 가산한다. 이 가산하여 구한 값인 X 좌표값, Y 좌표값이 눈꼬리점의 정규화 화상 상에서의 좌표값이다. 오른쪽 눈의 다른 부위점, 및 왼쪽 눈의 각 부위점 및 입의 각 부위점에 대해서도 동일한 처리를 하여, 정규화 화상 상에서의 오른쪽 눈, 왼쪽 눈 및 입의 각 부위점의 좌표를 특정한다.
이때의 상태를 도 12의 상태 16에 나타낸다. 도시한 바와 같이, 상태 16에서는, 오른쪽 눈 및 왼쪽 눈의 눈꼬리점, 눈머리점, 상검점, 하검점 및 눈동자점, 및 입의 오른쪽 입꼬리점 및 왼쪽 입꼬리점, 및 윗입술 및 아랫입술의 상중점 및 하중점의 정규화 화상 상에서의 위치(좌표)가 특정되어 있다.
그리고, 정규화 화상 상에서의 각 부위점의 좌표값으로부터, 예를 들어 아핀 변환 등에 의해, 원화상 상에서의 각 부위점의 좌표값을 산출하고, 원화상 상에서의 각 부위점의 좌표를 특정한다.
[과제를 해결하기 위한 수단]
본 발명에 따른 화상처리장치는, 화상으로부터 물체의 부위점을 검출하는 화상처리장치로서, 상기 화상 상에 상기 부위점에 대한 기준점을 특정하는 기준점 특정수단과, 상기 기준점에 대한 복수의 샘플링점마다, 그 샘플링점의 화소 또는 그 화소를 포함하는 화소군으로부터 특징량을 추출하고, 추출한 각 샘플링점에 각각 대응하는 복수의 특징량으로 구성되는, 상기 기준점에 대한 특징량군을 추출하는 특징량 추출수단과, 상기 복수의 샘플링점의 각 화소 또는 각 화소군으로부터 추출된 상기 기준점에 대한 특징량군과, 상기 기준점에 대한 상기 부위점의 상대위치를 나타내는 위치정보와의 대응관계를 나타내는 대응관계정보를 참조하여, 상기 특징량 추출수단이 추출한 특징량군에 대응하는 위치정보를 특정하는 위치정보 특정수단과, 상기 위치정보 특정수단이 특정한 위치정보가 나타내는 위치를 상기 물체의 부위점으로 하는 검출쪽 부위점 특정수단을 갖춘 것을 특징으로 하고 있다.
본 발명에 따른 화상처리방법은, 화상으로부터 물체의 부위점을 검출하는 화상처리방법으로서, 상기 화상 상에 상기 부위점에 대한 기준점을 특정하는 기준점 특정단계와, 상기 기준점에 대한 복수의 샘플링점마다, 그 샘플링점의 화소 또는 그 화소를 포함하는 화소군으로부터 특징량을 추출하고, 추출한 각 샘플링점에 각각 대응하는 복수의 특징량으로 구성되는, 상기 기준점에 대한 특징량군을 추출하는 특징량 추출단계와, 상기 복수의 샘플링점의 각 화소 또는 각 화소군으로부터 추출된 상기 기준점에 대한 특징량군과, 상기 기준점에 대한 상기 부위점의 상대위치를 나타내는 위치정보와의 대응관계를 나타내는 대응관계정보를 참조하여, 상기 특징량 추출단계에서 추출된 특징량군에 대응하는 위치정보를 특정하는 위치정보 특정단계와, 상기 위치정보 특정단계에서 특정된 위치정보가 나타내는 위치를 상기 물체의 부위점으로 하는 부위점 특정단계를 포함하는 것을 특징으로 하고 있다.
상기 구성에 의하면, 상기 위치정보 특정수단은, 상기 복수의 샘플링점의 각 화소 또는 각 화소군으로부터 추출된 상기 기준점에 대한 특징량군과, 상기 기준점에 대한 상기 부위점의 상대위치를 나타내는 위치정보와의 대응관계를 나타내는 대응관계정보를 참조하여, 상기 특징량 추출수단이 추출한 특징량군에 대응하는 위치정보를 특정하고, 상기 검출쪽 부위점 특정수단은, 상기 위치정보 특정수단이 특정한 위치정보가 나타내는 위치를 상기 물체의 부위점으로 한다.
본 발명자들은, 화상 상에 있어서, 예를 들어, 눈이나 입 등의 기관을 포함하는 영역으로부터 추출한 특징량군과, 화상 상의 기준점에 대한 기관의 윤곽점이나 특징점의 상대위치와의 사이에 상관관계가 있음을 발견하였다. 이 발견에 근거하여, 상기 특징량군과 상기 위치정보와의 대응관계를 나타내는 대응관계정보를 참조함으로써, 형상이 변화하는 물체라도, 화상 상에서의 물체의 부위점을 고정밀도로 검출할 수 있게 되었다. 즉, 상기 화상처리장치 및 상기 화상처리방법은, 물체의 형상이 변화한 경우라도, 물체의 부위점을 고정밀도로 검출할 수 있는 효과를 갖는다.
또, 본 발명에 따른 화상처리장치는, 상기 화상 상에 있어서, 상기 부위점이 위치한다고 생각되는 영역을 포함하는 범위 내에, 상기 샘플링점의 위치를 특정하는 샘플링위치 특정수단을 더 갖추는 것이 바람직하다.
또, 본 발명에 따른 정보생성장치는, 상기 화상처리장치가 참조하는 상기 대응관계정보를 생성하는 정보생성장치로서, 물체의 부위점이 촬상되어 있는 화상을 취득하는 화상취득수단과, 상기 화상 상에 상기 부위점에 대한 상기 기준점을 특정하는 기준점 특정수단과, 상기 기준점에 대한 복수의 샘플링점마다, 그 샘플링점의 화소 또는 그 화소를 포함하는 화소군으로부터 특징량을 추출하고, 추출한 각 샘플링점에 각각 대응하는 복수의 특징량으로 구성되는, 상기 기준점에 대한 특징량군을 추출하는 특징량 추출수단과, 상기 기준점 특정수단이 특정한 기준점에 대한 상기 부위점의 상대위치를 나타내는 상기 위치정보를 생성하는 위치정보 생성수단과, 상기 특징량 추출수단이 추출한 특징량군과, 상기 위치정보 생성수단이 생성한 위치정보와의 대응관계를 나타내는 상기 대응관계정보를 생성하는 대응관계정보 생성수단을 갖춘 것을 특징으로 하고 있다.
또, 본 발명에 따른 정보생성방법은, 상기 화상처리방법에서 참조되는 상기 대응관계정보를 생성하는 정보생성방법으로서, 물체의 부위점이 촬상되어 있는 화상을 취득하는 화상 취득단계와, 상기 화상 상에 상기 부위점에 대한 상기 기준점을 특정하는 기준점 특정단계와, 상기 기준점에 대한 복수의 샘플링점마다, 그 샘플링점의 화소 또는 그 화소를 포함하는 화소군으로부터 특징량을 추출하고, 추출한 각 샘플링점에 각각 대응하는 복수의 특징량으로 구성되는, 상기 기준점에 대한 특징량군을 추출하는 특징량 추출단계와, 상기 기준점 특정단계에서 특정된 기준점에 대한 상기 부위점의 상대위치를 나타내는 상기 위치정보를 생성하는 위치정보 생성단계와, 상기 특징량 추출단계에서 추출된 특징량군과, 상기 위치정보 생성단계에서 생성된 위치정보와의 대응관계를 나타내는 상기 대응관계정보를 생성하는 대응관계정보 생성단계를 포함하는 것을 특징으로 하고 있다.
상기 구성에 의하면, 상기 화상 취득수단은, 상기 물체의 부위점이 촬상되어 있는 화상을 취득하고, 상기 기준점 특정수단은, 상기 화상 상에 상기 부위점에 대한 기준점을 특정하고, 상기 특징량 추출수단은, 상기 기준점에 대한 복수의 샘플링점마다, 그 샘플링점의 화소 또는 그 화소를 포함하는 화소군으로부터 특징량을 추출하고, 추출한 각 샘플링점에 각각 대응하는 복수의 특징량으로 구성되는, 상기 기준점에 대한 특징량군을 추출하고, 상기 위치정보 생성수단은, 상기 기준점 특정수단이 특정한 기준점에 대한 상기 부위점의 상대위치를 나타내는 위치정보를 생성하고, 상기 대응관계정보 생성수단은, 상기 특징량 추출수단이 추출한 특징량군과, 상기 위치정보 생성수단이 생성한 위치정보와의 대응관계를 나타내는 대응관계정보를 생성한다.
그 때문에, 상기 화상처리장치가 참조하는 대응관계정보를 생성할 수 있는 효과를 갖는다. 상술한 바와 같이, 상기 특징량군과 상기 위치정보와의 사이에는 대응관계가 있기 때문에, 생성한 대응관계정보를 사용함으로써, 물체의 부위점을 고정밀도로 검출할 수 있다.
또, 본 발명에 따른 정보생성장치는, 상기 대응관계정보 생성수단은 회귀분석을 이용하여 상기 대응관계정보를 생성하는 것이 바람직하다.
또, 본 발명에 따른 정보생성장치는, 사용자로부터의 조작 지시를 받는 입력수단과, 상기 입력수단에 입력된 조작 지시에 근거하여, 상기 화상 상에서의 상기 물체의 부위점을 특정하는 학습쪽 부위점 특정수단을 더 갖추는 것이 바람직하다.
또, 본 발명에 따른 정보생성장치는, 상기 화상취득수단은 상기 화상과 함께, 그 화상에 대응되어 있는, 상기 부위점의 위치를 나타내는 부위점 위치정보를 취득하고, 상기 부위점 위치정보가 나타내는 위치에 근거하여, 상기 화상 상에서의 상기 물체의 부위점을 특정하는 학습쪽 부위점 특정수단을 더 갖추는 것이 바람직하다.
또한, 상기 화상처리장치 및 상기 정보생성장치는, 컴퓨터에 의해 실현해도 좋고, 이 경우에는 컴퓨터를 상기 화상처리장치 및 상기 정보생성장치의 각 수단으로서 동작시킴으로써, 상기 화상처리장치 및 상기 정보생성장치를 컴퓨터로 실현시키는 제어 프로그램, 및 그것을 기록한 컴퓨터-리더블 기록매체도 본 발명의 범주에 들어간다.
[보충]
본 발명은 상술한 실시형태에 한정되는 것은 아니고, 청구항에 나타낸 범위에서 각종 변경이 가능하다. 즉, 청구항에 나타낸 범위에서 적절히 변경한 기술적 수단을 조합시켜 얻어지는 실시형태에 대해서도 본 발명의 기술적 범위에 포함된다.
마지막으로, 부위점 검출장치(1) 및 LRF 학습장치(2)의 각 블록, 특히 제어부(11) 및 제어부(16)는, 하드웨어 로직에 의해 구성해도 좋고, 다음과 같이 CPU를 이용하여 소프트웨어에 의해 실현해도 좋다.
즉, 부위점 검출장치(1) 및 LRF 학습장치(2)는, 각 기능을 실현하는 제어 프로그램의 명령을 실행하는 CPU(central processing unit), 상기 프로그램을 격납한 ROM(read only memory), 상기 프로그램을 전개하는 RAM(random access memory), 상기 프로그램 및 각종 데이터를 격납하는 메모리 등의 기억장치(기록매체) 등을 갖추고 있다. 그리고, 본 발명의 목적은, 상술한 기능을 실현하는 소프트웨어인 부위점 검출장치(1) 및 LRF 학습장치(2)의 제어 프로그램의 프로그램 코드(실행형식 프로그램, 중간 코드 프로그램, 소스 프로그램)를 컴퓨터로 읽어들일 수 있게 기록한 기록매체를, 부위점 검출장치(1) 및 LRF 학습장치(2)에 공급하고, 그 컴퓨터(또는 CPU나 MPU)가 기록매체에 기록되어 있는 프로그램 코드를 읽어내어 실행함으로써도 달성 가능하다.
상기 기록매체로는, 예를 들어 자기 테이프나 카세트 테이프 등의 테이프계, 플로피(등록상표) 디스크/하드 디스크 등의 자기 디스크나 CD-ROM/MO/MD/DVD/CD-R 등의 광디스크를 포함하는 디스크계, IC카드(메모리카드를 포함)/광카드 등의 카드계, 또는 마스크 ROM/EPROM/EEPROM/플래쉬 ROM 등의 반도체 메모리계 등을 이용할 수 있다.
또, 부위점 검출장치(1) 및 LRF 학습장치(2)를 통신 네트워크와 접속 가능하게 구성하고, 상기 프로그램 코드를 통신 네트위크를 통하여 공급해도 좋다. 이 통신 네트워크로는, 특별히 한정되지 않고, 예를 들어 인터넷, 인트라넷, 엑스트라넷, LAN, ISDN, VAN, CATV 통신망, 가상전용망(virtual private network), 전화회선망, 이동체통신망, 위성통신망 등이 이용 가능하다. 또, 통신 네트워크를 구성하는 전송매체로는, 특별히 한정되지 않고, 예를 들어 IEEE1394, USB, 전력선반송, 케이블 TV회선, 전화선, ADSL 회선 등의 유선으로도, IrDA나 리모콘과 같은 적외선, Bluetooth(등록상표), 802.11무선, HDR, 휴대전화망, 위성회선, 지상파 디지털망 등의 무선으로도 이용 가능하다. 또한, 본 발명은, 상기 프로그램 코드가 전자적인 전송으로 구현화된, 반송파에 포함된 컴퓨터 데이터 신호의 형태로도 실현될 수 있다.
산업상의 이용 가능성
본 발명은, 화상 상의 물체의 소정의 부위점을 검출하는 화상처리장치에 이용할 수 있다. 보다 바람직하게는, 형상이 다양하게 변화하는 물체의 소정의 부위점을 화상으로부터 검출하는 화상처리장치에 이용할 수 있다.
1: 부위점 검출장치(화상처리장치)
2: LRF 학습장치(정보생성장치)
14: 조작부(입력수단)
21: 화상 취득부(화상취득수단)
23: 기준점 특정부(기준점 특정수단)
24: 부위점 특정부(학습쪽 부위점 특정수단)
25: 샘플링위치 특정부(샘플링위치 특정수단)
26: 특징량 추출부(특징량 추출수단)
27: 위치정보 생성부(위치정보 생성수단)
28: LRF 함수 산출부(대응관계정보 생성수단)
29: 위치정보 특정부(위치정보 특정수단)
30: 부위점 특정부(검출쪽 부위점 특정수단)

Claims (11)

  1. 화상으로부터 물체의 부위점을 검출하는 화상처리장치로서,
    상기 화상 상에 상기 부위점에 대한 기준점을 특정하는 기준점 특정수단;
    상기 기준점에 대한 복수의 샘플링점마다, 그 샘플링점의 화소 또는 그 화소를 포함하는 화소군으로부터 특징량을 추출하고, 추출한 각 샘플링점에 각각 대응하는 복수의 특징량으로 구성되는, 상기 기준점에 대한 특징량군을 추출하는 특징량 추출수단;
    상기 복수의 샘플링점의 각 화소 또는 각 화소군으로부터 추출된 상기 기준점에 대한 특징량군과, 상기 기준점에 대한 상기 부위점의 상대위치를 나타내는 위치정보와의 대응관계를 나타내는 대응관계정보를 참조하여, 상기 특징량 추출수단이 추출한 특징량군에 대응하는 위치정보를 특정하는 위치정보 특정수단; 및
    상기 위치정보 특정수단이 특정한 위치정보가 나타내는 위치를 상기 물체의 부위점으로 하는 검출쪽 부위점 특정수단;
    을 포함하는 것을 특징으로 하는 화상처리장치.
  2. 제1항에 있어서, 상기 화상 상에 있어서, 상기 부위점이 위치하는 것으로 판단되는 영역을 포함하는 범위 내에, 상기 샘플링점의 위치를 특정하는 샘플링위치 특정수단을 더 포함하는 것을 특징으로 하는 화상처리장치.
  3. 청구항 1에 기재된 화상처리장치가 참조하는 상기 대응관계정보를 생성하는 정보생성장치로서,
    물체의 부위점이 촬상되어 있는 화상을 취득하는 화상취득수단;
    상기 화상 상에 상기 부위점에 대한 상기 기준점을 특정하는 기준점 특정수단;
    상기 기준점에 대한 복수의 샘플링점마다, 그 샘플링점의 화소 또는 그 화소를 포함하는 화소군으로부터 특징량을 추출하고, 추출한 각 샘플링점에 각각 대응하는 복수의 특징량으로 구성되는, 상기 기준점에 대한 특징량군을 추출하는 특징량 추출수단;
    상기 기준점 특정수단이 특정한 기준점에 대한 상기 부위점의 상대위치를 나타내는 상기 위치정보를 생성하는 위치정보 생성수단; 및
    상기 특징량 추출수단이 추출한 특징량군과, 상기 위치정보 생성수단이 생성한 위치정보와의 대응관계를 나타내는 상기 대응관계정보를 생성하는 대응관계정보 생성수단;
    을 포함하는 것을 특징으로 하는 정보생성장치.
  4. 청구항 2에 기재된 화상처리장치가 참조하는 상기 대응관계정보를 생성하는 정보생성장치로서,
    물체의 부위점이 촬상되어 있는 화상을 취득하는 화상취득수단;
    상기 화상 상에 상기 부위점에 대한 상기 기준점을 특정하는 기준점 특정수단;
    상기 기준점에 대한 복수의 샘플링점마다, 그 샘플링점의 화소 또는 그 화소를 포함하는 화소군으로부터 특징량을 추출하고, 추출한 각 샘플링점에 각각 대응하는 복수의 특징량으로 구성되는, 상기 기준점에 대한 특징량군을 추출하는 특징량 추출수단;
    상기 기준점 특정수단이 특정한 기준점에 대한 상기 부위점의 상대위치를 나타내는 상기 위치정보를 생성하는 위치정보 생성수단; 및
    상기 특징량 추출수단이 추출한 특징량군과, 상기 위치정보 생성수단이 생성한 위치정보와의 대응관계를 나타내는 상기 대응관계정보를 생성하는 대응관계정보 생성수단;
    을 포함하는 것을 특징으로 하는 정보생성장치.
  5. 제3항 또는 제4항에 있어서, 상기 대응관계정보 생성수단은, 상기 특징량군과 상기 위치정보를 회귀분석을 이용하여 상기 대응관계정보를 생성하는 것을 특징으로 하는 정보생성장치.
  6. 제3항 또는 제4항에 있어서, 사용자로부터의 조작 지시를 받는 입력수단; 및
    상기 입력수단에 입력된 조작 지시에 근거하여, 상기 화상 상에서의 상기 물체의 부위점을 특정하는 학습쪽 부위점 특정수단;
    을 더 포함하는 것을 특징으로 하는 정보생성장치.
  7. 제3항 또는 제4항에 있어서, 상기 화상취득수단은, 상기 화상과 함께, 그 화상에 대응되어 있는, 상기 부위점의 위치를 나타내는 부위점 위치정보를 취득하고,
    상기 부위점 위치정보가 나타내는 위치에 근거하여, 상기 화상 상에서의 상기 물체의 부위점을 특정하는 학습쪽 부위점 특정수단을 더 포함하는 것을 특징으로 하는 정보생성장치.
  8. 화상으로부터 물체의 부위점을 검출하는 화상처리방법으로서,
    상기 화상 상에 상기 부위점에 대한 기준점을 특정하는 기준점 특정단계;
    상기 기준점에 대한 복수의 샘플링점마다, 그 샘플링점의 화소 또는 그 화소를 포함하는 화소군으로부터 특징량을 추출하고, 추출한 각 샘플링점에 각각 대응하는 복수의 특징량으로 구성되는, 상기 기준점에 대한 특징량군을 추출하는 특징량 추출단계;
    상기 복수의 샘플링점의 각 화소 또는 각 화소군으로부터 추출된 상기 기준점에 대한 특징량군과, 상기 기준점에 대한 상기 부위점의 상대위치를 나타내는 위치정보와의 대응관계를 나타내는 대응관계정보를 참조하여, 상기 특징량 추출단계에서 추출된 특징량군에 대응하는 위치정보를 특정하는 위치정보 특정단계; 및
    상기 위치정보 특정단계에서 특정된 위치정보가 나타내는 위치를 상기 물체의 부위점으로 하는 부위점 특정단계;
    를 포함하는 것을 특징으로 하는 화상처리방법.
  9. 청구항 8에 기재된 화상처리방법에 있어서 참조되는 상기 대응관계정보를 생성하는 정보생성방법으로서,
    물체의 부위점이 촬상되어 있는 화상을 취득하는 화상취득단계;
    상기 화상 상에 상기 부위점에 대한 상기 기준점을 특정하는 기준점 특정단계;
    상기 기준점에 대한 복수의 샘플링점마다, 그 샘플링점의 화소 또는 그 화소를 포함하는 화소군으로부터 특징량을 추출하고, 추출한 각 샘플링점에 각각 대응하는 복수의 특징량으로 구성되는, 상기 기준점에 대한 특징량군을 추출하는 특징량 추출단계;
    상기 기준점 특정단계에서 특정된 기준점에 대한 상기 부위점의 상대위치를 나타내는 상기 위치정보를 생성하는 위치정보 생성단계; 및
    상기 특징량 추출단계에서 추출된 특징량군과, 상기 위치정보 생성단계에서 생성된 위치정보와의 대응관계를 나타내는 상기 대응관계정보를 생성하는 대응관계정보 생성단계;
    를 포함하는 것을 특징으로 하는 정보생성방법.
  10. 컴퓨터를 청구항 1 또는 2에 기재된 화상처리장치의 각 수단으로서 기능시키고, 상기 화상처리장치를
    상기 화상 상에 상기 부위점에 대한 기준점을 특정하는 기준점 특정단계;
    상기 기준점에 대한 복수의 샘플링점마다, 그 샘플링점의 화소 또는 그 화소를 포함하는 화소군으로부터 특징량을 추출하고, 추출한 각 샘플링점에 각각 대응하는 복수의 특징량으로 구성되는, 상기 기준점에 대한 특징량군을 추출하는 특징량 추출단계;
    상기 복수의 샘플링점의 각 화소 또는 각 화소군으로부터 추출된 상기 기준점에 대한 특징량군과, 상기 기준점에 대한 상기 부위점의 상대위치를 나타내는 위치정보와의 대응관계를 나타내는 대응관계정보를 참조하여, 상기 특징량 추출단계에서 추출된 특징량군에 대응하는 위치정보를 특정하는 위치정보 특정단계; 및
    상기 위치정보 특정단계에서 특정된 위치정보가 나타내는 위치를 상기 물체의 부위점으로 하는 부위점 특정단계;
    로 동작시키기 위한 제어 프로그램을 기록한 컴퓨터-리더블 기록매체.
  11. 컴퓨터를 청구항 3 또는 4에 기재된 정보생성장치의 각 수단으로서 기능시키고, 상기 정보생성장치를
    물체의 부위점이 촬상되어 있는 화상을 취득하는 화상취득단계;
    상기 화상 상에 상기 부위점에 대한 상기 기준점을 특정하는 기준점 특정단계;
    상기 기준점에 대한 복수의 샘플링점마다, 그 샘플링점의 화소 또는 그 화소를 포함하는 화소군으로부터 특징량을 추출하고, 추출한 각 샘플링점에 각각 대응하는 복수의 특징량으로 구성되는, 상기 기준점에 대한 특징량군을 추출하는 특징량 추출단계;
    상기 기준점 특정단계에서 특정된 기준점에 대한 상기 부위점의 상대위치를 나타내는 상기 위치정보를 생성하는 위치정보 생성단계; 및
    상기 특징량 추출단계에서 추출된 특징량군과, 상기 위치정보 생성단계에서 생성된 위치정보와의 대응관계를 나타내는 상기 대응관계정보를 생성하는 대응관계정보 생성단계;
    로 동작시키기 위한 제어 프로그램을 기록한 컴퓨터-리더블 기록매체.
KR1020137030996A 2011-06-07 2012-03-14 화상처리장치, 정보생성장치, 화상처리방법, 정보생성방법, 제어 프로그램 및 기록매체 KR101525133B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2011-127755 2011-06-07
JP2011127755A JP4998637B1 (ja) 2011-06-07 2011-06-07 画像処理装置、情報生成装置、画像処理方法、情報生成方法、制御プログラムおよび記録媒体
PCT/JP2012/056516 WO2012169251A1 (ja) 2011-06-07 2012-03-14 画像処理装置、情報生成装置、画像処理方法、情報生成方法、制御プログラムおよび記録媒体

Publications (2)

Publication Number Publication Date
KR20140004230A KR20140004230A (ko) 2014-01-10
KR101525133B1 true KR101525133B1 (ko) 2015-06-10

Family

ID=46793925

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020137030996A KR101525133B1 (ko) 2011-06-07 2012-03-14 화상처리장치, 정보생성장치, 화상처리방법, 정보생성방법, 제어 프로그램 및 기록매체

Country Status (6)

Country Link
US (1) US9607209B2 (ko)
EP (1) EP2720194A4 (ko)
JP (1) JP4998637B1 (ko)
KR (1) KR101525133B1 (ko)
CN (1) CN103562964B (ko)
WO (1) WO2012169251A1 (ko)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6225460B2 (ja) * 2013-04-08 2017-11-08 オムロン株式会社 画像処理装置、画像処理方法、制御プログラムおよび記録媒体
JP2015133085A (ja) * 2014-01-15 2015-07-23 キヤノン株式会社 情報処理装置およびその方法
CN104036296B (zh) * 2014-06-20 2017-10-13 深圳先进技术研究院 一种图像的表示和处理方法及装置
US9444999B2 (en) * 2014-08-05 2016-09-13 Omnivision Technologies, Inc. Feature detection in image capture
US10380414B2 (en) 2014-10-23 2019-08-13 Intel Corporation Method and system of facial expression recognition using linear relationships within landmark subsets
WO2016159255A1 (ja) * 2015-03-31 2016-10-06 国立大学法人静岡大学 口領域検出装置及び口領域検出方法
US9830528B2 (en) 2015-12-09 2017-11-28 Axis Ab Rotation invariant object feature recognition
JP6872742B2 (ja) * 2016-06-30 2021-05-19 学校法人明治大学 顔画像処理システム、顔画像処理方法及び顔画像処理プログラム
JP7009864B2 (ja) * 2017-09-20 2022-01-26 カシオ計算機株式会社 輪郭検出装置及び輪郭検出方法
CN108062742B (zh) * 2017-12-31 2021-05-04 广州二元科技有限公司 一种利用数字图像处理和变形的眉毛更换方法
CN110059522B (zh) * 2018-01-19 2021-06-25 北京市商汤科技开发有限公司 人体轮廓关键点检测方法、图像处理方法、装置及设备
CN109871845B (zh) * 2019-01-10 2023-10-31 平安科技（深圳）有限公司 证件图像提取方法及终端设备
US11375968B2 (en) 2020-04-06 2022-07-05 GE Precision Healthcare LLC Methods and systems for user and/or patient experience improvement in mammography
CN111553286B (zh) * 2020-04-29 2024-01-26 北京攸乐科技有限公司 用于捕捉耳朵动画特征的方法、电子设备
CN111738166B (zh) * 2020-06-24 2024-03-01 平安科技（深圳）有限公司 目标轮廓圈定方法、装置、计算机系统及可读存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004054442A (ja) * 2002-07-17 2004-02-19 Glory Ltd 顔検出装置、顔検出方法および顔検出プログラム
JP2006163871A (ja) * 2004-12-08 2006-06-22 Sony Corp 画像処理装置、画像処理方法、およびプログラム

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NL8902372A (nl) 1989-09-21 1991-04-16 Imec Inter Uni Micro Electr Werkwijze voor het vervaardigen van een veldeffecttransistor en halfgeleiderelement.
JPH0493273A (ja) 1990-08-10 1992-03-26 Mitsubishi Electric Corp 用紙クランプ装置
JP2806037B2 (ja) * 1990-11-29 1998-09-30 富士通株式会社 指紋照合装置
JP3735893B2 (ja) 1995-06-22 2006-01-18 セイコーエプソン株式会社 顔画像処理方法および顔画像処理装置
JP3454726B2 (ja) * 1998-09-24 2003-10-06 三洋電機株式会社 顔向き検出方法及びその装置
JP3695990B2 (ja) * 1999-05-25 2005-09-14 三菱電機株式会社 顔画像処理装置
JP3851050B2 (ja) * 2000-02-15 2006-11-29 ナイルス株式会社 眼の状態検出装置
GB2384639B (en) * 2002-01-24 2005-04-13 Pixology Ltd Image processing to remove red-eye features
JP2005339288A (ja) 2004-05-27 2005-12-08 Toshiba Corp 画像処理装置及びその方法
JP4217664B2 (ja) * 2004-06-28 2009-02-04 キヤノン株式会社 画像処理方法、画像処理装置
JP4501937B2 (ja) 2004-11-12 2010-07-14 オムロン株式会社 顔特徴点検出装置、特徴点検出装置
KR100791372B1 (ko) * 2005-10-14 2008-01-07 삼성전자주식회사 인물 이미지 보정 장치 및 방법
JP4991317B2 (ja) * 2006-02-06 2012-08-01 株式会社東芝 顔特徴点検出装置及びその方法
JP4093273B2 (ja) 2006-03-13 2008-06-04 オムロン株式会社 特徴点検出装置、特徴点検出方法および特徴点検出プログラム
US8103061B2 (en) * 2006-10-02 2012-01-24 Johnson & Johnson Consumer Companies, Inc. Method and apparatus for identifying facial regions
JP2008117333A (ja) * 2006-11-08 2008-05-22 Sony Corp 情報処理装置、情報処理方法、個人識別装置、個人識別装置における辞書データ生成・更新方法および辞書データ生成・更新プログラム
JP5375823B2 (ja) * 2008-04-24 2013-12-25 日本電気株式会社 画像照合装置、画像照合方法および画像照合用プログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004054442A (ja) * 2002-07-17 2004-02-19 Glory Ltd 顔検出装置、顔検出方法および顔検出プログラム
JP2006163871A (ja) * 2004-12-08 2006-06-22 Sony Corp 画像処理装置、画像処理方法、およびプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KUNKA, Bartosz et al. Non-intrusive infrared-free eye tracking method. In: Signal Processing Algorithms, Architectures, Arrangements, and Applications Conference Proceedings(SPA).IEEE,2009. p.105-109. *

Also Published As

Publication number Publication date
EP2720194A4 (en) 2015-03-18
US9607209B2 (en) 2017-03-28
JP2012256131A (ja) 2012-12-27
KR20140004230A (ko) 2014-01-10
CN103562964A (zh) 2014-02-05
EP2720194A1 (en) 2014-04-16
CN103562964B (zh) 2017-02-15
WO2012169251A1 (ja) 2012-12-13
JP4998637B1 (ja) 2012-08-15
US20140105487A1 (en) 2014-04-17

Similar Documents

Publication Publication Date Title
KR101525133B1 (ko) 화상처리장치, 정보생성장치, 화상처리방법, 정보생성방법, 제어 프로그램 및 기록매체
Yu et al. Deep multitask gaze estimation with a constrained landmark-gaze model
US20210174072A1 (en) Microexpression-based image recognition method and apparatus, and related device
CN105184249B (zh) 用于人脸图像处理的方法和装置
CN106056064B (zh) 一种人脸识别方法及人脸识别装置
CN108012081B (zh) 智能美颜方法、装置、终端和计算机可读存储介质
CN107169455B (zh) 基于深度局部特征的人脸属性识别方法
CN109978754A (zh) 图像处理方法、装置、存储介质及电子设备
JP5361524B2 (ja) パターン認識システム及びパターン認識方法
CN109271930B (zh) 微表情识别方法、装置与存储介质
CN111429554A (zh) 运动视频数据处理方法、装置、计算机设备和存储介质
CN111209867A (zh) 一种表情识别方法及装置
Gudipati et al. Efficient facial expression recognition using adaboost and haar cascade classifiers
KR20130015958A (ko) 얼굴표정을 이용한 감정인식 장치, 감정인식 방법 및 그 기록매체
CN111553838A (zh) 模型参数的更新方法、装置、设备及存储介质
Yu et al. A video-based facial motion tracking and expression recognition system
US20130216136A1 (en) Image processing apparatus, image processing method, storage medium and image processing system
CN113344837B (zh) 人脸图像处理方法及装置、计算机可读存储介质、终端
CN110008922A (zh) 用于终端设备的图像处理方法、设备、装置、介质
CN116097319A (zh) 利用空间感知的条件gan的高分辨率可控面部老化
JP7247579B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP7314509B2 (ja) 情報処理装置、情報処理方法及びプログラム
CN115035566B (zh) 表情识别方法、装置、计算机设备和计算机可读存储介质
Shukla et al. Deep Learning Model to Identify Hide Images using CNN Algorithm
RU2703327C1 (ru) Способ обработки двухмерного изображения и реализующее его вычислительное устройство пользователя

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180503

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190503

Year of fee payment: 5