KR20060003666A - 얼굴 인식을 위한 영상간 대응 결정 방법 및 장치, 이를이루기위한 영상 보정 방법 및 장치 - Google Patents

얼굴 인식을 위한 영상간 대응 결정 방법 및 장치, 이를이루기위한 영상 보정 방법 및 장치 Download PDF

Info

Publication number
KR20060003666A
KR20060003666A KR1020040052643A KR20040052643A KR20060003666A KR 20060003666 A KR20060003666 A KR 20060003666A KR 1020040052643 A KR1020040052643 A KR 1020040052643A KR 20040052643 A KR20040052643 A KR 20040052643A KR 20060003666 A KR20060003666 A KR 20060003666A
Authority
KR
South Korea
Prior art keywords
image
sub
test image
region
test
Prior art date
Application number
KR1020040052643A
Other languages
English (en)
Other versions
KR100601957B1 (ko
Inventor
기석철
자오지아리
렌하이빙
왕대준
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020040052643A priority Critical patent/KR100601957B1/ko
Priority to US10/893,346 priority patent/US7715659B2/en
Priority to EP05254130A priority patent/EP1615160A3/en
Priority to JP2005199418A priority patent/JP4606955B2/ja
Publication of KR20060003666A publication Critical patent/KR20060003666A/ko
Application granted granted Critical
Publication of KR100601957B1 publication Critical patent/KR100601957B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/772—Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Geometry (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

얼굴 인식을 위한 영상간 대응 결정 방법 및 장치, 이를 이루기위한 영상 보정 방법 및 장치가 개시된다. 본 발명의 영상간 대응 결정 방법은 테스트 영상을 복수의 서브영역들로 분할하고, 복수의 레퍼런스 영상들을 각각 테스트 영상과 동일한 크기의 서브영역들로 분할하는 단계; 테스트 영상의 서브영역중 하나와 레퍼런스 영상들의 해당 서브영역들간의 상관관계가 가장 큰 제1레퍼런스 영상을 결정하는 단계; 테스트 영상의 서브영역중 다른 하나와 레퍼런스 영상들의 해당 서브영역들간의 상관관계가 가장 큰 제2레퍼런스 영상을 결정하는 단계; 및 상관관계를 기반으로하여 제1 및 제2레퍼런스 영상중 하나를 선택하는 단계를 포함함을 특징으로한다.

Description

얼굴 인식을 위한 영상간 대응 결정 방법 및 장치, 이를 이루기위한 영상 보정 방법 및 장치{Apparatus for and method for determining image correspondence, apparatus and method for image correction therefor}
도 1은 본 발명에 따른 얼굴 인식 방법에 대한 흐름도를 도시한 것이다.
도 2a 내지 2c는 본 발명의 양상들에 따른 정규화 및 서브영역 분할의 예를 도시한 것이다.
도 3a는 얼굴 데이터베이스에 포함되는 얼굴 영상을 도시한 것이다.
도 3b는 도 3a의 얼굴 영상들에 대한 감마보정 결과를 도시한 것이다.
도 4a는 다른 얼굴 영상 데이터베이스에 포함된 얼굴 영상을 도시한 것이다.
도 4b는 도 4a의 얼굴 영상들에 대한 감마보정 결과를 도시한 것이다.
도 4c는 도 4a의 얼굴 영상들에 대한 SHE 보정 결과를 도시한 것이다.
도 5는 도 1의 MIFE에 대한 상세 흐름도이다.
도 6은 각 서브영역별로 분류하는 과정과 분류 결과를 도시한 것이다.
도 7는 본 발명과 종래 기술에 의한 인식결과를 각각 비교하여 도시한 것이다.
도 8a, b, c 및 d는 얼굴 영상 데이터베이스의 제1, 제2, 제3 및 제4서브세트를 각각 도시한 것이다.
도 9는 본 발명에 따른 얼굴 인식 시스템에 대한 블록도이다.
도 10은 본 발명에 따른 밝기조절 및 MIFE(Most Informative Feature Extraction)를 수행하는 시스템의 블록도이다.
본 발명은 저장된 영상들과 매칭(matching)될 영상들의 비교를 통한 영상 인식에 관한 것으로, 더욱 상세하게는 영상의 서브영역들이 밝기, 표정 및/또는 다른 조건을 보완하도록 비교 및/또는 정규화됨으로써 비교의 정확성을 개선하는 얼굴 인식에 관한 것이다.
얼굴 인식은 생체인식 응용(biometric application)에서 잘 알려진 주제(topic)이다. 특히 얼굴 인식에서도 자동 얼굴 인식은 홍채 또는 지문 인식 기술과 비교되는 것으로 관심이 높다. 그러한 얼굴 인식 기술은 보안 목적을 위해서 특별한 관심 대상이다. 예를 들어, 최근 1~2년 사이에 많은 국가에서 생체 여권을 위한 자동 얼굴인식 기술이 필수분야로 선택되었다. 게다가 얼굴 인식 기술은 범죄 예방, 국가 보안 및 개인 보안 목적과 같은 다른 분야에서도 유용한 것으로 받아들여진다.
종래의 자동 얼굴 인식 기술에서의 문제점은 기존 기술이 종종 실패하기때문에 보통의 감시자(즉, 사용자)가 얼굴 인식을 도와야할 필요가 크다는 것이다. 특히 얼굴 인식을 수행하기위하여, 얼굴 텍스쳐, 얼굴의 3차원 기하, 유리나 머리카 락에 의한 가려짐(occlusion) 또는 특징의 차단(blocking) 및 복잡한 조명 환경을 처리해야할 필요가 있다. 이러한 요소들은 얼굴 인식을 어렵게한다.
최근에 종래의 얼굴인식 알고리듬 및 기술을 비교하고 평가하는 연구가 수행되었다. 그러한 연구로는 D. Blackburn 등에 의한 "Facial Recognition Vendor Test 2000: Evaluation Report, 2000" 와 P.J.Phillips 등에 의한 "The FERET Evaluation Methodology for Face Recognition Algorithms:IEEE Trans. On PAMI, 22(10): 1090-1103,2000" 등이 있다.
이러한 연구들은 현재의 알고리듬이 얼굴 표정, 조명, 자세 및 가려짐의 변화에 강건하지 못함을 보여준다.
또한, 얼굴 인식을 수행함에 있어서, 특징 선택이 적절하게 수행되는 것이 중요하다. 좋은 특징이 선택되면, 분류(classification)가 상대적으로 쉬운 작업이 되기때문이다. 예를 들어, 좋은 특징이 선택되면, 유클리드 거리(Euclidian distance)를 기반으로하는 K-means 클러스터링(clustering)또는 KNN 프로세스와 같은 간단한 분류 기술도 잘 동작한다. 그러나, 이러한 방법들은 적절한 특징 서브공간(subspace)에서 동일한 클래스(class)에 속하는 샘플들이 가우시안 분포(Gaussian distribution)를 갖고 다른 클래스들간의 중첩이 적어야함을 가정한다. 그러나 이 방법들을 얼굴 인식에 시험하고 적용하기위해서는 많은 양의 작업이 필요한 반면, 이 방법들이 수행되는데 필요한 적절한 특징 서브공간은 잘 찾아지지않는다. 예를 들어, 얼굴 표현(face representation) 및 특징 선택을 위한 적절한 특징 서브공간이 주성분분석(Principal Components Analysis, PCA), 선형판별분석 (Linear Discriminant Analysis, LDA) 또는 LPP(Locality Preserving Projection) 방법에서는 찾아지지않는다.
PCA, LDA 및 LPP 방법은 M. Turk 등의 "Face Recognition Using Eigenfaces, IEEE, 1991", P.N.Belhumeur 등의 "Eigenfaces vs. Fisherfaces:Recognition Using Class Specific Projection, IEEE Trans. PAMI, vol 19, No. 7, pp. 711-720, 1997" 및 Xiaofei He 등의 "Learning a Locality Preserving Subspace for Visual Recognition, Proceedings of the Ninth IEEE International Conference on Computer Vision, pp. 385-392, ICCV, 2003"에 설명되어있다.
얼굴 인식에서 특징 선택이 어려운 이유중 하나는 얼굴 영상이 비선형 다양체(nonlinear manifold)(즉, 비선형 면 또는 비선형 공간)에 위치하는 것이다. 복잡한 얼굴 다양체 때문에, 영상간의 대응(correspondence)을 결정하는데 사용되는 전통적인 유클리드 거리(즉, 두 점간의 직선 거리)는 얼굴 인식 작업에서는 잘 작동되지않는다. 이 문제를 해결하기위하여, ISOMAP을 사용한 측지선 거리(Geodesic distance)(즉, 두 점간 가장 짧은 거리, 선형 또는 비선형)가 도입되었다. 자세한 내용은 J.B.Tenebaum 등의 "A Global Geometric Framework for Nonlinear Dimensional Reduction, Science, vol 290, 22 December 2000"에 설명되어있다. 그러나, ISOAMP이 실제 사용되도록 하기위해서는 파라미터 공간이 일련의 중첩되는 볼록한 조각들(convex pieces)로 분해되어야한다는 사실이 몇몇 연구자들에 의해 발견되었다. 그와 같이, 다양체 접근의 어려움은 실제 사용시 사람의 특정 다양체를 기술할 수 있을만큼 충분한 샘플을 제공할 수 없다는 것이다. 따라서 다양체 접 근이 실제 사용되기는 어렵다.
본 발명이 이루고자하는 기술적 과제는 얼굴 영상을 복수의 서브영역으로 분할하고 각 서브영역별로 MIFE(Most Informative Feature Extraction) 방식으로 얼굴 영상을 분류하는 영상간 대응 결정 방법 및 장치를 제공하는데 있다.
본 발명이 이루고자하는 다른 기술적 과제는 얼굴 영상을 복수의 서브영역으로 분할하고 각 서브영역별로 기준영상과의 차이를 보정하는 영상 보정 방법 및 장치를 제공하는데 있다.
상기 기술적 과제를 이루기위한, 본 발명의 영상간 대응 결정 방법은 테스트 영상을 복수의 서브영역들로 분할하고, 복수의 레퍼런스 영상들을 각각 상기 테스트 영상과 동일한 크기의 서브영역들로 분할하는 단계; 상기 테스트 영상의 서브영역중 하나와 상기 레퍼런스 영상들의 해당 서브영역들간의 상관관계가 가장 큰 제1레퍼런스 영상을 결정하는 단계; 상기 테스트 영상의 서브영역중 다른 하나와 상기 레퍼런스 영상들의 해당 서브영역들간의 상관관계가 가장 큰 제2레퍼런스 영상을 결정하는 단계; 및 상기 상관관계를 기반으로하여 상기 제1 및 제2레퍼런스 영상중 하나를 선택하는 단계를 포함함을 특징으로한다.
상기 기술적 과제를 이루기위한 본 발명의 영상간 대응 결정 장치는 테스트 영상을 입력하는 영상 입력 장치; 복수의 레퍼런스 영상들을 저장하는 데이터베이스; 및 상기 테스트 영상 및 상기 레퍼런스 영상들을 복수의 서브영역으로 분할하 고, 상기 테스트 영상의 각 서브영역을 상기 레퍼런스 영상들의 해당 서브영역들과 각각 비교하며, 비교결과를 기반으로하여 상기 테스트 영상과 가장 큰 상관관계를 갖는 레퍼런스 영상을 결정하는 비교수단을 포함함을 특징으로한다.
상기 다른 기술적 과제를 이루기위한, 본 발명의 영상 보정 방법은 테스트 영상과 소정 기준 영상을 동일한 크기의 복수의 서브 영역으로 각각 분할하는 단계; 및 상기 기준 영상에 대한 상기 테스트 영상의 각 서브영역별 차이를 상기 테스트 영상의 각 서브영역에 반영하여 보정하는 단계를 포함함을 특징으로한다.
상기 다른 기술적 과제를 이루기위한, 본 발명의 영상 보정 장치는 테스트 영상을 입력하는 영상 입력 장치; 기준 영상을 저장하는 저장부; 및 상기 테스트 영상과 상기 기준 영상을 복수의 서브영역으로 분할하고, 상기 기준 영상에 대한 상기 테스트 영상의 각 서브영역별 차이를 상기 테스트 영상의 각 서브영역에 반영하여 보정하는 보정 수단을 포함함을 특징으로한다.
이하에서 첨부된 도면을 참조하여 본 발명을 보다 상세하게 설명하기로한다.
도 9는 본 발명의 일양상에 따른 얼굴 인식을 수행하는 장치에 대한 개략적인 블록도이다. 도시된 바에 따르면, 카메라(90)는 컴퓨터(91)에 연결되어있다.컴퓨터(91)는 알려진 얼굴에 대한 레퍼런스 영상들이 저장되어있는 데이터베이스(92)에 접근한다. 카메라(90)는 식별될 얼굴의 영상을 얻는데 사용된다. 본 실시예에서 카메라(90)는 5메가 픽셀로 320*240의 해상도를 갖는 디지털 카메라가 사용되었다. 그러나 카메라(90)는 다른 해상도를 가질 수 있고, PDA(Personal Digital Assistant), 전화기, 보안 시스템에 사용되는 카메라 또는 사진을 찍을 수 있는 다 른 유사한 장치일 수 있다. 더우기, 카메라(90) 대신에 또는 카메라(90)외에 디지털 사진이 아닌 영상을 스캔하여 입력하기위해서 스캐너(미도시)가 디지털 영상 입력 장치로 사용될 수도 있으며, 디지털 이미지가 바로 컴퓨터(91)로 제공될 수도 있다. 비록 도면에서는 카메라(90)가 직접 컴퓨터(92)에 연결되어있지만, 반드시 연결될 필요는 없다. 대신 스캐너(미도시)를 통해 또는 스토리지 매체로부터 영상을 업로드하여 영상을 전달받을 수 있으며, 유선 및/또는 무선 전송 기술을 사용하여 네트웍을 통해 전달받을 수도 있다.
테스트 영상이 컴퓨터(90)에 로딩되면, 컴퓨터(91)는 테스트 영상에서 특징점들을 식별하여 테스트 영상을 서브영역들로 분할한다. 컴퓨터(91)는 분할된 서브영역들에 대해 후술될, 서브영역을 기반으로하는 적응적 감마(Sub-region based adaptive Gamma, SadaGamma) 보정 또는 히스토그램 등화(Sub-region based Histogram Equalization, SHE) 및/또는 MIFE를 수행한다.
컴퓨터(91)는 보정된 서브영역들을 데이터베이스(92)에 저장된 레퍼런스 영상들의 해당 서브영역들과 비교한다. 각 보정된 서브영역의 비교 결과를 기반으로하여 컴퓨터(91)는 후술된 다수결 투표(majority voting)를 이용하여 어느 레퍼런스 영상이 테스트 영상과 가장 가까운지를 판별한다.
도시된 실시예에서, 컴퓨터(91)는 1GHz, 256Mbytes의 개인용 컴퓨터이다. 그러나 컴퓨터(91)는 다른 형태의 컴퓨터일 수 있고, 범용 및 특수 목적용일 수도 있으며, 휴대가능할 수도 있고 그렇지않을 수도 있다. 더우기, 컴퓨터(91)는 그리드 컴퓨팅(grid computing) 또는 병렬 컴퓨팅(parallel computing)을 통해 테스트 영 상과 데이터베이스(92)에 저장된 레퍼런스 영상들의 대응 서브영역들을 집합적으로(collectively) 분석하는 일련의 컴퓨터일 수도 있다. 컴퓨터(91)가 휴대가능하다면, 컴퓨터(91)는 비교를 수행하는 포터블 컴퓨팅 장치일 수 있고, 연결된 장치로부터 비교결과를 수신하는 PDA일 수도 있다.
또한, 데이터베이스(92)는 설명을 위해 컴퓨터(91)와 별개로 분리되어 도시되어있다. 본 발명의 일양상에 따르면, 데이터베이스(92)는 네트웍을 통한 전송시간을 줄이도록 컴퓨터(91)에 포함되는 것이 바람직하다. 데이터베이스(92)가 컴퓨터(91)와 분리되어있다면, 데이터베이스(92)는 LAN, 인터넷, 또는 다른 유/무선 네트웍을 통해 컴퓨터(91)에 연결된다. 이 경우, 레퍼런스 영상들은 보안을 목적으로 사람을 식별하는데 사용된다면, 데이터베이스(92)의 레퍼런스 영상들은 각기 다른 위치에서 카메라(90)에 의해 촬상된 사람을 구별하도록 서로 다른 위치에 있는 복수의 컴퓨터(91)에 의해 사용될 수 있다. 따라서, 데이터베이스(92)는 한 장소에 있을 수 있다. 아니면, 해당 컴퓨터(91) 내에서 사용될 수 있도록 각 장소로 메일링 또는 전송될 수 있다. 또는 데이터베이스(92)는 각 장소에서 네트웍을 통해 한 장소로부터 갱신될 수 있다. 이렇게 별도로 저장되는 데이터베이스(92)는 예를 들어 다양한 사법당국(law enforcement agency)에 의한 여권 확인 또는 사람 식별을 목적으로 별개의 장소. 예를 들어, 정부 기관(government agency)에 저장될 수도 있다.
그러한 데이터베이스(92)는 저장 매체, 예를 들어 하디 디스크 드라이브와 같은 마그네틱 매체 또는 광자기 매체(magneto-optical media), CD 또는 DVD와 같 은 광 매체, 블루레이 디스크(Blueray disc) 및 첨단 광 디스크(Advanced Optical Disc)와 같은 차세대 광 디스크 등에 저장될 수 있다. 또한 데이터베이스(92)는 읽기 전용(read only), write once 또는 재기록(rewritable) 매체일 수도 있다. 데이터베이스(92)가 기록(writable) 또는 재기록(rewritable) 가능하다면, 레퍼런스 영상들은 모든 영상들을 데이터베이스(92)에 재전송하지않고 새로운 영상을 반영한다. 그러한 갱신가능한 특성은 새로운 사람이 임의의 장소에서 처음으로 인식되고 나머지 장소에서는 새로운 사람의 영상을 데이터베이스(92)에 반영하도록 갱신될 때 유용하게된다.
도 1은 본 발명에 따른 얼굴 인식 방법에 대한 흐름도이다. 도시된 바에 따른 얼굴 인식 방법은 먼저, 입력된 얼굴 영상에 대해 전처리한다(10단계). 전처리로는 얼굴 영상에 혼입된 잡음의 제거, 얼굴의 크기나 위치를 원하는 크기와 위치로 맞추는 얼굴 영상의 정규화 등이 포함된다.
다음으로, 전처리된 얼굴 영상으로부터 특징을 검출한다(11단계). 특징검출은 얼굴 구성 성분의 위치, 모양, 폭, 길이 등을 취해서 기하학적 특징점을 찾는 구조적 방법, 극좌표계(Log-polar)변환, 웨이블릿(Wavelet)변환과 같은 수학적인 변환 필터함수를 이용하는 방법, 그리고 주성분 분석(Principal Component Analysis, PCA), 지역적 특징분석(Local Feature Analysis), 선형판별분석(Linear Discriminant Analysis)과 같은 통계적 모델을 이용하는 방법 등이 있다. 다른 예로는 K-L변환, 신경망 모델, 그리고 3차원 정보를 얻기 위한 베이지안 확률모델을 사용할 수 도 있다.
특징점을 찾는 방법을 예로 들면, 얼굴 영상의 특징부분에 특징점들을 형성한다. 특징점은 예를 들어, 동공, 코 및 입과 같은 부분에 형성할 수 있다. 특징점이 형성되면, 컴퓨터(91)는 영상에서 특징점들에 대한 좌표를 얻고, 좌표를 이용하여 영상을 정규화할 수 있다.
특징추출이 완료되면, 특징점들간의 공선성(colinarity)과 거리의 비를 유지하도록 어파인 변환(affine transformation) 등을 통해 영상을 변환한다. 예를 들어 도 2a에 도시된 영상을 도 2b에 도시된 영상과 같이 변환한다.
다음으로, 얼굴 영상을 복수의 서브영역들로 분할한다(12단계). 서브영역의 개수는 실험적으로 정해질 수 있다. 예를 들어, 다음 표와 같이 서브영역의 크기별로 레퍼런스 영상들에 대한 인식률을 구하는 실험결과에 따라 그 크기를 정할 수 있다.
서브영역의 크기 제1레퍼런스영상세트 제2레퍼런스영상세트 제3레퍼런스영상세트
15*21 0 0.0083 0.2875
9*15 0 0 0.1714
9*9 0 0 0.0429
표에 따르면, 9*9의 크기가 가장 적절함을 알 수 있다. 따라서 도 2b의 얼굴 영상을 도 2c에 도시된 바와 같이 복수의 서브영역으로 분할할 수 있다. 도 2b에 도시된 얼굴 영상의 높이가 H, 폭이 W이라면 얼굴 영상의 크기는 H*W로 표현될 수 있고, 각각 높이방향으로 90개, 폭방향으로 63개씩의 특징벡터를 갖는다면, 전체 특징벡터 Ii(단, i=1,2,…N)는 90*63=5670개가 된다. 이를 hxw=9*9=81개 크기의 서브 영역으로 나눈다면 전체 서브영역의 개수는 D=int(H/h)xint(W/w)=10*7=70이 된 다. 이 서브영역이 얼굴 영상의 특징공간이 된다.
분할된 서브영역에 대해서 밝기를 조절할 수 있다(13단계). 밝기 조절은 상술한 바 있는 SadaGamma(이하 감마보정이라 함) 또는 SHE 등이 사용될 수 있다.
감마보정은 조명 변화에 따른 얼굴 영상의 변화를 반영하기위한 것으로, 밝기를 전체 레퍼런스 영상에 대해 평균한 평균 영상를 기준으로한다. 감마 파라미터는 원래의 영상 I와 평균 영상 I0간의 각 서브영역별 거리를 최소화하도록 선택된다.
감마 파라미터 γ에 따라 테스트 이미지의 k번째 서브영역의 픽셀값 Ixy k ' 는 다음 식과 같이 보정된다.
Figure 112004030012307-PAT00001
Figure 112004030012307-PAT00002
Figure 112004030012307-PAT00003
여기서, Ixy k '는 감마 보정된 이미지의 k번째 서브영역의 픽셀값이고, dis()는 거리함수이며, c는 계수이다. Ik 0 xy는 평균 영상의 k번째 서브영역의 픽셀값이다.
도 3a는 예일(Yale)-A라는 얼굴 데이터베이스에 포함되는 얼굴 영상을 도시한 것이다. 예일-A 데이터베이스는 각각 다른 조건, 예를 들어, 다른 표정, 조명 및 유리 뒤에 가려짐과 같은 조건에서 획득한 얼굴영상을 포함한다. 도 3b는 도 3a의 예일-A의 얼굴영상에 대해 수학식 1에 따라 감마 보정한 결과를 도시한 것이다.
도 4a는 또 다른 얼굴 영상 데이터베이스인 예일-B의 제4서브세트에 포함된 얼굴 영상을 도시한 것이다. 도 4b는 도 4a의 얼굴 영상들에 대한 감마보정 결과를 도시한 것이다. 도 4c는 도 4a의 얼굴 영상들에 대해 SHE를 수행한 결과를 도시한 것이다.
도 3b, 도 4b 및 도 4c의 감마보정된 영상들에 따르면, 조명의 영향이 크게 감소되었음을 알 수 있다.
감마보정은 종래의 PCA 방법 또는 상관(correlation) 방법에 적용될 수도 있다. 여기서, 상관방법은 레퍼런스 영상과 테스트 영상간 직접 유클리드 거리 또는 정규화된 유클리드 거리(normalized Euclidian diatance)를 계산하여 최소 거리를 찾고, 그에 따라 테스트 영상에 대한 레이블(label)을 구하는 방법, 즉, 테스트 영상이 속하는 최종 클래스를 얻는 방법이다.
다음으로, 테스트 영상에 대해 MIFE(Most Informative Feature Extraction)를 수행한다(14단계).
MIFE를 보다 간단하게 설명하기위해 하나의 이미지 벡터에 대한 클래스 분류 방법을 먼저 설명하기로한다.
먼저, C개의 클래스에 속하는 N개의 학습 샘플을 가정하기로한다. D차원의 특징 공간에서 각 샘플 xi는 벡터로서,
Figure 112004030012307-PAT00004
, i=1,2,…,N(여기서, T는 전치(transpose))와 같이 표현될 수 있다.
각 샘플 벡터 xi는 클래스 레이블 k=l(xi)을 가지며, 이는 xi가 k번째 클래스에 속한다는 것을 뜻한다. 이를 수학식으로 표현하면 다음과 같다.
Figure 112004030012307-PAT00005
테스트 샘플 z에 대해 유클리드 또는 마할라노비스(Mahalanobis) 거리를 기반으로하여 z가 l번째 클래스에 속하는 것을 결정하는 클러스터링 기준(clustering criteria)을 z와 샘플 벡터간 거리를 이용하여 다음 식과 같이 구할 수 있다.
Figure 112004030012307-PAT00006
여기서, dis()는 테스트 샘플과 평균 벡터간의 유클리드 거리 또는 마할라노비스 거리이다.
수학식 2 및 3에 따라 z가 속하는 클래스 y'i(z)는 다음 식과 같이 표현된다.
Figure 112004030012307-PAT00007
얼굴 인식에서 분류되는 클래스는 인식대상이 되는 사람이다. 즉, 한 사람이 하나의 클래스에 해당하고, 하나의 클래스에 표정 및 주변환경에 따라 각각 다른 얼굴 영상을 레퍼런스 영상으로서 복수 개 구비하고, 동일한 클래스에 속하는 레퍼런스 영상들에 대해 동일인임을 인식하도록 학습한다. 학습이 완료되면, 테스트 영상에 대해 인식이 이루어진다. 학습과 테스트 과정은 동일하고, 인식 대상을 미리 알고있는지 없는지의 차이가 있다. 즉, 학습은 인식 대상을 미리 알고있는 경우이며 인식 결과와 인식 대상간의 차이점을 줄이도록 인식 알고리즘을 반복하는 수행하는 것이고, 테스트는 상기 인식 알고리즘에 따라 테스트 영상과 각 클래스를 구성하는 영상들인 레퍼런스 영상들을 비교하여 최종 인식 결과를 출력하는 것이다.
본 발명에서 상술한 서브 영역은 특징 공간을 나타내는 것으로, 분할된 서브 영역의 개수가 특징공간의 차원이 된다. 도 2b에 도시된 서브 영역에 따르면, 이미지 벡터는 총 5670개가 되고, 서브영역은 70개이다. 각 서브영역의 이미지 벡터의 차원은 81이 된다.
도 5는 도 1의 MIFE에 대한 상세 흐름도이다. 먼저, 테스트 영상의 j번째 서브영역과 레퍼런스 영상들의 j번째 서브영역을 각각 비교하여, 각 서브영역 대응관계를 조사한다(50단계). 비교결과 대응관계가 가장 가까운 레퍼런스 영상이 속한 클래스로 테스트 영상의 j번째 영역을 레이블링한다(51단계). 이를 수학식으로 표 현하면 다음과 같다.
테스트 영상 Ix의 j번째 서브영역의 이미지 벡터를 zjx라 하면, j번째 서브영역의 레이블은 다음 식과 같이 결정된다.
Figure 112004030012307-PAT00008
여기서, N은 레퍼런스 영상의 개수이다.
수학식 5에 따라 j번째 서브영역 l번째 클래스에 속한다면, 다음 식과 같이 나타낼 수 있다.
Figure 112004030012307-PAT00009
그 결과, Ix에 대해 D차원의 결정 행렬(decision matrix)인
Figure 112004030012307-PAT00010
을 얻을 수 있고, 각 서브영역별로 어느 클래스에 속하는지 분류할 수 있다.
도 6은 각 서브영역별로 분류하는 과정과 분류 결과를 도시한 것이다.
참조번호 60의 테스트 영상에 대해 감마보정을 수행하면 참조번호 61의 영상을 얻을 수 있다. 마찬가지로 N개의 레퍼런스 영상(62)에 대해서도 감마보정이 수행된다. 다음으로, 참조번호 61의 영상의 j번째 서브영역과 감마보정된 레퍼런스 영상(63)의 j번째 서브영역을 각각 비교한다. 예를 들어, 도시된 바와 같이 참조번호 61의 좌측 상단의 첫번째 서브영역과 레퍼런스 영상들(63)의 첫번째 서브영역이 각각 비교된다(64). 비교결과, 참조번호 65와 같이 각 서브영역별로 가장 근접한 클래스를 찾을 수 있다.
다음으로, 각 서브영역들에 의한 다수결 투표에 의해 테스트 영상에 대한 최종 클래스를 결정한다(52단계). 최종 클래스의 결정은 결정 행렬 Y에 대해 다음 식과 같이 서브영역별로 가장 많이 대응되는 클래스를 최종 클래스로 구분한다.
Figure 112004030012307-PAT00011
수학식 7에 따르면, 도 6에 도시된 레스런스 영상들중에서 제1레퍼런스 영상(66)이 최종 클래스로 구분된다.
최종 구분된 클래스에 해당하는 사람을 테스트 이미지에 대한 인식 결과로서 출력한다(15단계).
도 10은 본 발명의 얼굴 인식 장치에 대한 개념 블록도를 도시한 것이다. 도 10에 도시된 얼굴 인식 장치는 도 1에 도시된 실시예를 사용하여 구현될 수 있고/있거나 다중 프로세서를 사용하여 구현될 수도 있다.
도시된 바에 따르면, 레퍼런스 영상들은 전처리부(101)로 입력되어 와핑(warping)되거나 정규화된다. 특히 전처리부(101)는 사용자에 의해 수작업으로 추출될 수도 있는 특징점들을 기반으로하여 레퍼런스 영상들을 정규화한다. 특징점들 은 레퍼런스 영상에서 동공, 입의 중앙, 코 등을 포함할 수 있다. 특징점으로 추출된 동공의 x-y좌표 및 입의 y좌표 등은 레퍼런스 영상에서 적절하게 위치하도록 와핑될 수 있다.
밝기 조절부(102)는 정규화된 레퍼런스 영상을 서브 영역으로 분할하고, 서비영역별로 감마보정 또는 SHE를 수행하여 레퍼런스 영상의 밝기를 조절한다.
하나 또는 그 이상의 테스트 영상도 마찬가지로 전처리부(103)과 밝기 조절부(104)에 의해 각각 정규화 및 밝기가 조절된다.
MIFE 프로세서(105)는 밝기가 조절된 영상들에 대해 도 5 및 도 6에 도시된 바와 같이 MIFE를 실행하여, 테스트 영상을 레퍼런스 영상들중 하나로 인식한다.
여기서, 두 전처리부(101, 103)는 하나의 유닛으로 구현될 수 있다. 또한 두 밝기 조절부(102, 104)도 하나의 유닛으로 구현될 수 있으며, 보정된 영상들을 공통의 MIFE 프로세서(105)로 결합하는 복수의 컴퓨터로 구현될 수도 있다.
도 7는 본 발명과 종래 기술에 의한 인식결과를 각각 비교하여 도시한 것이다. 레퍼런스 영상은 도 3a에 도시된 예일-A 영상이고, 가로축은 사람별 레퍼런스 영상의 수를 나타낸다.
도시된 바에 따르면, 종래 기술인 PCA 및 상관 방법에 의한 결과보다 본 발명의 MIFE에 의한 인식률이 더 높음을 알 수 있다. 특히, 본 발명의 MIFE와 감마보정을 결합한 경우 레퍼런스 영상이 4개일 때 100% 인식이 가능하고, 레퍼런스 영상이 1개일 때에도 90%정도의 인식률을 보인다.
또한, PCA 및 상관 방법의 종래기술에 본 발명의 감마보정을 적용한 경우의 인식률이 PCA 또는 상관 방법을 단독으로 적용한 경우보다 개선됨을 알 수 있다. 가장 바람직한 경우로는 본 발명의 감마보정을 적용한 후 MIFE를 수행하였을 때, 인식률이 가장 높은 것을 알 수 있다.
도 8a, b, c 및 d는 예일-B 얼굴 영상 데이터베이스중 제1, 제2, 제3 및 제4서브세트를 각각 도시한 것이다. 도시된 얼굴 영상들은 10명의 얼굴에 대해 45개의 서로 다른 조명 조건에서 촬상된 것이다. 각 서브세트는 촬상수단의 정면 축(frontal axis)에 대한 조명각(lighting angle)에 따라 구분된 것이다. 제1서브세트는 조명각이 0°~12°인 경우, 제2서브세트는 12°~25°인 경우, 제3서브세트는 25°~50°인 경우, 그리고 제4서브세트는 50°~77°인 경우이다.
다음 표는 도 8a 내지 도 8d에 도시된 얼굴영상을 이용하여 종래기술과 본 발명에 의한 인식결과를 나타낸 것이다. 여기서, 도 8a의 제1서브세트는 학습에 사용되고, 도 8b 내지 도 8d는 테스트에 사용되었다.
에러율(%)
제1서브세트 제2서브세트 제3서브세트 제4서브세트
상관 0.0 0.0 11.7 65.0
PCA 0.0 0.0 16.7 69.3
PCA w/o 1st 3 0.0 0.0 3.3 57.9
ICTCAS 0.0 0.0 0.0 9.4
PCA+감마보정 0.0 0.0 0.0 9.3
MIFE+SHE 0.0 0.0 0.0 6.4
MIFE+감마보정 0.0 0.0 0.0 4.3
표에서 ICTCAS는 Shiguang Shan 등의 "Illumination Normalization for Robust Face Recognition against varying Lighting Condition, IEEE International Workshop on Analysis and Modeling of Faces and Gestures (AMFG), pp157-164, Nice, France, Oct. 2003." 에 따른 결과이다.
표에 나타난 바에 따르면, 본 발명에 따른 감마보정이 적용된 경우 인식 에러율이 개선됨을 알 수 있고, 특히 감마보정이 이루어진 영상에 대해 MIFE를 적용하여 얼굴 인식을 수행할 때, 가장 에러율이 낮음을 알 수 있다.
본 발명의 방법은 칩을 기반으로하는 애플리케이션(chip-based application) 또는 제한된 메모리를 갖는 MRTD(Machine Readable Travel Document)로 구현될 수 있다. 그러한 경우 도 9에 도시된 장치는 대형 컴퓨터의 일부일 수 있다. 또한 본 발명의 각 과정, 예를 들어, 전처리 과정, 밝기조절 과정 및 MIFE 등은 각각 단일 집적회로, 칩, MRTD 또는 제한된 메모리를 갖는 어떤 다른 프로세서로 구현될 수 있다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플라피디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
본 발명에 따르면, 얼굴 영상에 대해 서브 영역별로 밝기를 조절함으로써 서로 다른 조명 조건하에서도 인식률이 개선될 수 있다.
또한 MIFE를 통해 각 서브영역이 분류기(classifier)로 동작하고, 각 서브영역이 가장 많이 속한 클래스를 최종 클래스로 분류하는 다수결 투표(majority voting) 방식으로 인식함으로써 인식률이 개선될 수 있다. MIFE는 단순한 유클리드 거리와 복잡한 측지선 거리를 트레이드오프(trade-off)함으로써 다른 분류방법, 예를 들어 고차원의 특징 벡터를 1차원 거리로 매핑하는 K-Means 또는 KNN 방법에서는 사용할 수 없는 분류 정보를 이용할 수 있고, 따라서 많은 수의 학습 샘플들을 필요로하는 복잡한 다양체 및 측지선 거리를 계산하지 않아도 되는 장점이 있다.

Claims (16)

  1. 테스트 영상을 복수의 서브영역들로 분할하고, 복수의 레퍼런스 영상들을 각각 상기 테스트 영상과 동일한 크기의 서브영역들로 분할하는 단계;
    상기 테스트 영상의 서브영역중 하나와 상기 레퍼런스 영상들의 해당 서브영역들간의 상관관계가 가장 큰 제1레퍼런스 영상을 결정하는 단계;
    상기 테스트 영상의 서브영역중 다른 하나와 상기 레퍼런스 영상들의 해당 서브영역들간의 상관관계가 가장 큰 제2레퍼런스 영상을 결정하는 단계; 및
    상기 상관관계를 기반으로하여 상기 제1 및 제2레퍼런스 영상중 하나를 선택하는 단계를 포함함을 특징으로하는 영상간의 대응 결정 방법.
  2. 제1항에 있어서,
    상기 테스트 영상의 나머지 서브영역들과 상기 레퍼런스 영상들의 각 대응 서브영역들간의 상관관계가 가장 큰 레퍼런스 영상들을 각각 결정하고,
    상기 선택하는 단계는 상기 테스트 영상의 서브영역들에 대해 상관관계가 가장 큰 레퍼런스 영상으로 가장 많이 결정된 레퍼런스 영상을 최종 레퍼런스 영상으로 선택하는 것을 더 구비함을 특징으로하는 영상간의 대응 결정 방법.
  3. 제1항 또는 제2항에 있어서, 상기 분할하는 단계와 결정하는 단계사이에
    소정 평균 영상에 대한 상기 테스트 영상의 각 서브영역별 차이를 상기 테스트 영상의 각 서브영역에 반영하여 보정하는 단계를 더 포함하는 것을 특징으로하는 영상간의 대응 결정 방법.
  4. 제3항에 있어서, 상기 평균 영상은
    상기 레퍼런스 영상들을 소정 팩터(factor)에 대해 모두 평균한 영상임을 특징으로하는 영상간의 대응 결정 방법.
  5. 제4항에 있어서, 상기 보정단계는
    상기 팩터에 대해 각 서브영역별로 상기 테스트 영상들과 상기 평균 영상간의 차이가 최소가 되도록 감마값을 결정하는 단계; 및
    결정된 감마값을 이용하여 상기 테스트 영상의 해당 서브영역을 보정하는 단계를 포함함을 특징으로하는 영상간의 대응 결정 방법.
  6. 테스트 영상과 소정 기준 영상을 동일한 크기의 복수의 서브 영역으로 각각 분할하는 단계; 및
    상기 기준 영상에 대한 상기 테스트 영상의 각 서브영역별 차이를 상기 테스트 영상의 각 서브영역에 반영하여 보정하는 단계를 포함하는 것을 특징으로하는 영상 보정 방법.
  7. 제6항에 있어서, 상기 보정 단계는
    각 서브영역별로 소정 팩터에 대해 상기 테스트 영상과 상기 평균 영상간의 차이가 최소가 되도록 감마값을 결정하는 단계; 및
    결정된 감마값을 이용하여 상기 테스트 영상의 해당 서브영역을 보정하는 단계를 포함함을 특징으로하는 영상 보정 방법.
  8. 테스트 영상을 입력하는 영상 입력 장치;
    복수의 레퍼런스 영상들을 저장하는 데이터베이스; 및
    상기 테스트 영상 및 상기 레퍼런스 영상들을 복수의 서브영역으로 분할하고, 상기 테스트 영상의 각 서브영역을 상기 레퍼런스 영상들의 해당 서브영역들과 각각 비교하며, 비교결과를 기반으로하여 상기 테스트 영상과 가장 큰 상관관계를 갖는 레퍼런스 영상을 결정하는 비교수단을 포함함을 특징으로하는 영상 인식 장치.
  9. 제8항에 있어서, 상기 비교 수단은
    상기 테스트 영상의 서브영역들과 상기 레퍼런스 영상들의 해당 서브영역들을 비교한 후, 상기 테스트 영상의 서브영역들에 대해 성관관계가 가장 큰 레퍼런스 영상으로 가장 많이 결정된 레퍼런스 영상을 최종 레퍼런스 영상으로 선택하는 기능을 수행함을 특징으로하는 영상 인식 장치.
  10. 제8항에 있어서, 상기 비교 수단은
    소정 평균 영상에 대한 상기 테스트 영상의 각 서브영역별 차이를 상기 테스트 영상의 각 서브영역에 반영하여 보정하는 기능을 더 수행함을 특징으로하는 영상 인식 장치.
  11. 제10항에 있어서, 상기 비교 수단은
    상기 레퍼런스 영상들을 소정 팩터에 대해 모두 평균한 영상을 상기 평균 영상으로 선택하는 기능을 수행함을 특징으로하는 영상 인식 장치.
  12. 제11항에 있어서, 상기 비교 수단은
    상기 팩터에 대해 각 서브영역별로 상기 테스트 영상들과 상기 평균 영상간 의 차이가 최소가 되도록 감마값을 결정하고, 상기 감마값을 이용하여 상기 테스트 영상의 해당 서브영역을 보정하는 기능을 더 수행함을 특징으로하는 영상 인식 장치.
  13. 테스트 영상을 입력하는 영상 입력 장치;
    기준 영상을 저장하는 저장부; 및
    상기 테스트 영상과 상기 기준 영상을 복수의 서브영역으로 분할하고, 상기 기준 영상에 대한 상기 테스트 영상의 각 서브영역별 차이를 상기 테스트 영상의 각 서브영역에 반영하여 보정하는 보정 수단을 포함하는 것을 특징으로하는 영상 보정 장치.
  14. 제13항에 있어서, 상기 보정 수단은
    각 서브영역별로 소정 팩터에 대해 상기 테스트 영상과 상기 기준 영상간의 차이가 최소가 되도록 감마값을 결정하고, 상기 감마값을 이용하여 상기 테스트 영상의 해당 서브영역을 보정하는 기능을 포함함을 특징으로하는 영상 보정 장치.
  15. 테스트 영상을 복수의 서브영역들로 분할하고, 복수의 레퍼런스 영상들을 각각 상기 테스트 영상과 동일한 크기의 서브영역들로 분할하는 단계;
    상기 테스트 영상의 서브영역중 하나와 상기 레퍼런스 영상들의 해당 서브영역들간의 상관관계가 가장 큰 제1레퍼런스 영상을 결정하는 단계;
    상기 테스트 영상의 서브영역중 다른 하나와 상기 레퍼런스 영상들의 해당 서브영역들간의 상관관계라 가장 큰 제2레퍼런스 영상을 결정하는 단계; 및
    상기 상관관계를 기반으로하여 상기 제1 및 제2레퍼런스 영상중 하나를 선택하는 단계를 포함함을 특징으로하는 영상간의 대응 결정 방법을 실행할 수 있는 프로그램을 기혹한 컴퓨터로 읽을 수 있는 기록 매체.
  16. 테스트 영상과 소정 기준 영상을 동일한 크기의 복수의 서브 영역으로 각각 분할하는 단계; 및
    상기 기준 영상에 대한 상기 테스트 영상의 각 서브영역별 차이를 상기 테스트 영상의 각 서브영역에 반영하여 보정하는 단계를 포함하는 것을 특징으로하는 영상 보정 방법을 실행할 수 있는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
KR1020040052643A 2004-07-07 2004-07-07 얼굴 인식을 위한 영상간 대응 결정 방법 및 장치, 이를이루기위한 영상 보정 방법 및 장치 KR100601957B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020040052643A KR100601957B1 (ko) 2004-07-07 2004-07-07 얼굴 인식을 위한 영상간 대응 결정 방법 및 장치, 이를이루기위한 영상 보정 방법 및 장치
US10/893,346 US7715659B2 (en) 2004-07-07 2004-07-19 Apparatus for and method of feature extraction for image recognition
EP05254130A EP1615160A3 (en) 2004-07-07 2005-06-30 Apparatus for and method of feature extraction for image recognition
JP2005199418A JP4606955B2 (ja) 2004-07-07 2005-07-07 映像認識システム、映像認識方法、映像補正システムおよび映像補正方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020040052643A KR100601957B1 (ko) 2004-07-07 2004-07-07 얼굴 인식을 위한 영상간 대응 결정 방법 및 장치, 이를이루기위한 영상 보정 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20060003666A true KR20060003666A (ko) 2006-01-11
KR100601957B1 KR100601957B1 (ko) 2006-07-14

Family

ID=35541428

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020040052643A KR100601957B1 (ko) 2004-07-07 2004-07-07 얼굴 인식을 위한 영상간 대응 결정 방법 및 장치, 이를이루기위한 영상 보정 방법 및 장치

Country Status (2)

Country Link
US (1) US7715659B2 (ko)
KR (1) KR100601957B1 (ko)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100764130B1 (ko) * 2005-03-29 2007-10-05 (주)제니텀 엔터테인먼트 컴퓨팅 자동 얼굴 추출 기반 가상 얼굴 성형 방법 및 시스템
KR101129405B1 (ko) * 2007-03-05 2012-03-26 디지털옵틱스 코포레이션 유럽 리미티드 분류기 체인을 이용한 조명 검출
US8411912B2 (en) 2008-12-05 2013-04-02 DigitalOptics Corporation Europe Limited Face recognition using face tracker classifier data
KR101352002B1 (ko) * 2012-05-09 2014-01-22 주식회사 에스원 영상의 해상도 변환 장치 및 방법과 이를 포함한 얼굴 인식 장치
US8897504B2 (en) 2004-01-22 2014-11-25 DigitalOptics Corporation Europe Limited Classification and organization of consumer digital images using workflow, and face detection and recognition
US8971628B2 (en) 2010-07-26 2015-03-03 Fotonation Limited Face detection using division-generated haar-like features for illumination invariance
KR20160052269A (ko) * 2014-11-04 2016-05-12 연세대학교 산학협력단 영상 인식 방법 및 장치
KR102012318B1 (ko) * 2018-04-30 2019-08-20 재단법인 경북아이티융합 산업기술원 영상센서를 이용한 용접 품질 전수 검사 장치 및 그 방법

Families Citing this family (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4161659B2 (ja) * 2002-02-27 2008-10-08 日本電気株式会社 画像認識システム及びその認識方法並びにプログラム
US7460737B2 (en) 2004-02-12 2008-12-02 Hoshiko Llc Method and apparatus for photograph finding
US7796785B2 (en) * 2005-03-03 2010-09-14 Fujifilm Corporation Image extracting apparatus, image extracting method, and image extracting program
US7945099B2 (en) 2005-05-09 2011-05-17 Like.Com System and method for use of images with recognition analysis
US7519200B2 (en) 2005-05-09 2009-04-14 Like.Com System and method for enabling the use of captured images through recognition
US7660468B2 (en) 2005-05-09 2010-02-09 Like.Com System and method for enabling image searching using manual enrichment, classification, and/or segmentation
US7657126B2 (en) 2005-05-09 2010-02-02 Like.Com System and method for search portions of objects in images and features thereof
US7760917B2 (en) 2005-05-09 2010-07-20 Like.Com Computer-implemented method for performing similarity searches
US8732025B2 (en) 2005-05-09 2014-05-20 Google Inc. System and method for enabling image recognition and searching of remote content on display
DE102005025806B4 (de) * 2005-06-02 2008-04-17 Bundesdruckerei Gmbh Verfahren zum Zugriff von einer Datenstation auf ein elektronisches Gerät
US8311294B2 (en) * 2009-09-08 2012-11-13 Facedouble, Inc. Image classification and information retrieval over wireless digital networks and the internet
KR100827229B1 (ko) * 2006-05-17 2008-05-07 삼성전자주식회사 비디오 검색 장치 및 방법
US7840899B2 (en) * 2006-06-02 2010-11-23 Microsoft Corporation Strategies for navigating through a list
US8577171B1 (en) * 2006-07-31 2013-11-05 Gatan, Inc. Method for normalizing multi-gain images
US8233702B2 (en) * 2006-08-18 2012-07-31 Google Inc. Computer implemented technique for analyzing images
US7724960B1 (en) 2006-09-08 2010-05-25 University Of Central Florida Research Foundation Inc. Recognition and classification based on principal component analysis in the transform domain
JP4743065B2 (ja) * 2006-09-27 2011-08-10 ブラザー工業株式会社 画像認識装置、複写装置及び画像認識方法
US9654751B2 (en) * 2006-12-21 2017-05-16 Thomson Licensing Method, apparatus and system for providing color grading for displays
JP5022045B2 (ja) * 2007-01-24 2012-09-12 富士通株式会社 作業位置を特定するためのシステム、作業セル、方法、製品の製造方法、およびマーカ
US8873794B2 (en) * 2007-02-12 2014-10-28 Shopper Scientist, Llc Still image shopping event monitoring and analysis system and method
JP5144123B2 (ja) * 2007-05-16 2013-02-13 キヤノン株式会社 情報処理方法、情報処理装置
US8416981B2 (en) 2007-07-29 2013-04-09 Google Inc. System and method for displaying contextual supplemental content based on image content
US8165352B1 (en) * 2007-08-06 2012-04-24 University Of South Florida Reconstruction of biometric image templates using match scores
KR101319544B1 (ko) * 2007-10-25 2013-10-21 삼성전자주식회사 인물의 등장 장면을 검출하는 촬영장치 및 이를 이용한검출 방법
US7809195B1 (en) * 2008-09-18 2010-10-05 Ernest Greene Encoding system providing discrimination, classification, and recognition of shapes and patterns
US9020215B2 (en) * 2009-05-29 2015-04-28 Siemens Medical Solutions Usa, Inc. Systems and methods for detecting and visualizing correspondence corridors on two-dimensional and volumetric medical images
JP2011049650A (ja) * 2009-08-25 2011-03-10 Canon Inc 画像処理装置及び画像処理方法
JP5424819B2 (ja) * 2009-11-04 2014-02-26 キヤノン株式会社 画像処理装置、画像処理方法
US9319625B2 (en) * 2010-06-25 2016-04-19 Sony Corporation Content transfer system and communication terminal
US9569439B2 (en) 2011-10-31 2017-02-14 Elwha Llc Context-sensitive query enrichment
TWI467498B (zh) * 2011-12-19 2015-01-01 Ind Tech Res Inst 影像識別方法及系統
US10679309B2 (en) 2011-12-30 2020-06-09 Elwha Llc Evidence-based healthcare information management protocols
US10475142B2 (en) 2011-12-30 2019-11-12 Elwha Llc Evidence-based healthcare information management protocols
US20130173295A1 (en) 2011-12-30 2013-07-04 Elwha LLC, a limited liability company of the State of Delaware Evidence-based healthcare information management protocols
US10340034B2 (en) 2011-12-30 2019-07-02 Elwha Llc Evidence-based healthcare information management protocols
US10552581B2 (en) 2011-12-30 2020-02-04 Elwha Llc Evidence-based healthcare information management protocols
US10528913B2 (en) 2011-12-30 2020-01-07 Elwha Llc Evidence-based healthcare information management protocols
US10559380B2 (en) 2011-12-30 2020-02-11 Elwha Llc Evidence-based healthcare information management protocols
CN104217203B (zh) * 2013-06-03 2019-08-23 支付宝（中国）网络技术有限公司 复杂背景卡面信息识别方法及系统
EP2919142B1 (en) * 2014-03-14 2023-02-22 Samsung Electronics Co., Ltd. Electronic apparatus and method for providing health status information
UA124378C2 (uk) * 2015-07-01 2021-09-08 Вікінг Генетікс Фмба Система і спосіб ідентифікації окремих тварин на основі зображень спини
US9501838B1 (en) 2015-08-24 2016-11-22 The Boeing Company Systems and methods for determining boundaries of features in digital images
JP6357140B2 (ja) * 2015-09-18 2018-07-11 Ｐｓソリューションズ株式会社 画像判定方法
US10268889B2 (en) * 2017-03-31 2019-04-23 The Boeing Company System for target material detection
KR102299847B1 (ko) * 2017-06-26 2021-09-08 삼성전자주식회사 얼굴 인증 방법 및 장치
CN108256437A (zh) * 2017-12-26 2018-07-06 杭州魔点科技有限公司 基于人脸活体识别的准确率测试方法及系统
DE112019000967T5 (de) 2018-03-29 2020-11-12 Robert Bosch Gmbh Verfahren und system für auf fahrzeug-vorinformationen basierende, sichtbasierte fahrzeuginnenraumumgebungsabfühlung
CN110321872B (zh) * 2019-07-11 2021-03-16 京东方科技集团股份有限公司 人脸表情识别方法及装置、计算机设备、可读存储介质

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6433824B1 (en) * 1906-12-09 2002-08-13 Canon Kabushiki Kaisha Apparatus for picking up images of photographed and unphotographed subjects
BE1006067A3 (nl) * 1992-07-01 1994-05-03 Imec Inter Uni Micro Electr Optisch systeem voor het afbeelden van een maskerpatroon in een fotogevoelige laag.
WO1996019893A1 (en) * 1994-12-22 1996-06-27 Philips Electronics N.V. Composing an image from sub-images
US5896092A (en) * 1997-03-27 1999-04-20 Gentex Corporation Alarm system
JPH11312243A (ja) 1998-04-28 1999-11-09 Victor Co Of Japan Ltd 顔領域検出装置
JP3827450B2 (ja) * 1998-08-18 2006-09-27 富士通株式会社 光走査型タッチパネル
JP2000238233A (ja) * 1999-02-23 2000-09-05 Fuji Mach Mfg Co Ltd スクリーン検査方法，装置およびスクリーン印刷機
JP3417377B2 (ja) * 1999-04-30 2003-06-16 日本電気株式会社 三次元形状計測方法及び装置並びに記録媒体
KR100338473B1 (ko) * 1999-07-02 2002-05-30 조양호 다-차원 신경 회로망을 이용한 얼굴 검출 방법 및 그 장치
JP3587506B2 (ja) * 1999-08-30 2004-11-10 富士重工業株式会社 ステレオカメラの調整装置
KR100360486B1 (ko) * 2000-03-07 2002-11-13 삼성전자 주식회사 가버 필터링 반응값의 차원 공간 변환을 이용한 얼굴 인식방법 및 그 장치
US6628406B1 (en) * 2000-04-20 2003-09-30 Justin L. Kreuzer Self referencing mark independent alignment sensor
US6618138B2 (en) * 2000-10-12 2003-09-09 Jed Khoury Scanning fluorescent systems for various diagnostic
JP2003004427A (ja) * 2001-06-22 2003-01-08 Hitachi Ltd 画像比較による欠陥検査方法及びその装置
KR20030071192A (ko) * 2002-02-28 2003-09-03 주식회사 하이닉스반도체 반도체 웨이퍼의 평탄화 장치
US7027054B1 (en) * 2002-08-14 2006-04-11 Avaworks, Incorporated Do-it-yourself photo realistic talking head creation system and method

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8897504B2 (en) 2004-01-22 2014-11-25 DigitalOptics Corporation Europe Limited Classification and organization of consumer digital images using workflow, and face detection and recognition
KR100764130B1 (ko) * 2005-03-29 2007-10-05 (주)제니텀 엔터테인먼트 컴퓨팅 자동 얼굴 추출 기반 가상 얼굴 성형 방법 및 시스템
KR101129405B1 (ko) * 2007-03-05 2012-03-26 디지털옵틱스 코포레이션 유럽 리미티드 분류기 체인을 이용한 조명 검출
US8411912B2 (en) 2008-12-05 2013-04-02 DigitalOptics Corporation Europe Limited Face recognition using face tracker classifier data
US8971628B2 (en) 2010-07-26 2015-03-03 Fotonation Limited Face detection using division-generated haar-like features for illumination invariance
US8977056B2 (en) 2010-07-26 2015-03-10 Fotonation Limited Face detection using division-generated Haar-like features for illumination invariance
KR101352002B1 (ko) * 2012-05-09 2014-01-22 주식회사 에스원 영상의 해상도 변환 장치 및 방법과 이를 포함한 얼굴 인식 장치
KR20160052269A (ko) * 2014-11-04 2016-05-12 연세대학교 산학협력단 영상 인식 방법 및 장치
US9990539B2 (en) 2014-11-04 2018-06-05 Industry-Academic Foundation, Yonsei University Method and device for recognizing image
KR102012318B1 (ko) * 2018-04-30 2019-08-20 재단법인 경북아이티융합 산업기술원 영상센서를 이용한 용접 품질 전수 검사 장치 및 그 방법

Also Published As

Publication number Publication date
US7715659B2 (en) 2010-05-11
US20060008150A1 (en) 2006-01-12
KR100601957B1 (ko) 2006-07-14

Similar Documents

Publication Publication Date Title
KR100601957B1 (ko) 얼굴 인식을 위한 영상간 대응 결정 방법 및 장치, 이를이루기위한 영상 보정 방법 및 장치
Sung et al. Example-based learning for view-based human face detection
Garcia et al. Convolutional face finder: A neural architecture for fast and robust face detection
Klare et al. Face recognition performance: Role of demographic information
Marcel et al. On the recent use of local binary patterns for face authentication
Baluja et al. Boosting sex identification performance
Kotropoulos et al. Frontal face authentication using discriminating grids with morphological feature vectors
US7680330B2 (en) Methods and apparatus for object recognition using textons
US6038337A (en) Method and apparatus for object recognition
US20080166026A1 (en) Method and apparatus for generating face descriptor using extended local binary patterns, and method and apparatus for face recognition using extended local binary patterns
Kotropoulos et al. Morphological elastic graph matching applied to frontal face authentication under well-controlled and real conditions
CN109376717A (zh) 人脸对比的身份识别方法、装置、电子设备及存储介质
Li et al. Experimental evaluation of FLIR ATR approaches—a comparative study
Kroon et al. Eye localization in low and standard definition content with application to face matching
Xiao et al. An improved siamese network model for handwritten signature verification
Dubovečak et al. Face detection and recognition using raspberry PI computer
Tefas et al. Face verification using elastic graph matching based on morphological signal decomposition
Mannepalli et al. Face Recognition Based on Cascade Classifier Using Deep Learning
Forczmański Human face detection in thermal images using an ensemble of cascading classifiers
Misra et al. An approach to face detection and alignment using hough transformation with convolution neural network
EP1615160A2 (en) Apparatus for and method of feature extraction for image recognition
JP4606955B2 (ja) 映像認識システム、映像認識方法、映像補正システムおよび映像補正方法
GAHARWAR et al. FACE DETECTION AND REAL TIME SYSTEM USING DRLBP
Raducanu et al. A probabilistic hit-and-miss transform for face localization
Beroual et al. A review and Comparing different of the most commonly Criteria for human age estimation techniques

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130624

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20140619

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20150624

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20160620

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20170619

Year of fee payment: 12

FPAY Annual fee payment

Payment date: 20180620

Year of fee payment: 13

FPAY Annual fee payment

Payment date: 20190619

Year of fee payment: 14