KR100855631B1 - 특징벡터 검출장치 및 방법, 그리고, 이를 이용한얼굴인식장치 및 방법 - Google Patents

특징벡터 검출장치 및 방법, 그리고, 이를 이용한얼굴인식장치 및 방법 Download PDF

Info

Publication number
KR100855631B1
KR100855631B1 KR1020060134040A KR20060134040A KR100855631B1 KR 100855631 B1 KR100855631 B1 KR 100855631B1 KR 1020060134040 A KR1020060134040 A KR 1020060134040A KR 20060134040 A KR20060134040 A KR 20060134040A KR 100855631 B1 KR100855631 B1 KR 100855631B1
Authority
KR
South Korea
Prior art keywords
shape
template
face
average
feature point
Prior art date
Application number
KR1020060134040A
Other languages
English (en)
Other versions
KR20080060007A (ko
Inventor
김대홍
김재민
신민영
Original Assignee
(주)엔토시스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)엔토시스 filed Critical (주)엔토시스
Priority to KR1020060134040A priority Critical patent/KR100855631B1/ko
Publication of KR20080060007A publication Critical patent/KR20080060007A/ko
Application granted granted Critical
Publication of KR100855631B1 publication Critical patent/KR100855631B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

특징벡터 검출장치 및 방법, 그리고, 이를 이용한 얼굴인식장치 및 방법이 개시된다. 초기 형상 검출부는 입력받은 영상으로부터 얼굴이 존재하는 영역을 검출하고 검출된 영역에서 형상 특징점 집합을 검출한다. 템플릿 생성부는 가버 필터링에 사용되는 가버 마스크와 형상 특징점 집합의 각 특징점 사이의 상관계수인 가버값을 산출하여 형상 특징점 집합의 각각의 특징적으로 구성되는 형상의 템플릿을 생성한다. 얼굴 형상 검출부는 생성된 템플릿과 저장된 평균 템플릿의 차이값의 변화가 템플릿 변호 기준값 이하가 될 때까지 생성된 템플릿과 저장된 평균 템플릿의 차이값과 투영계수 구배율과 자세벡터 구배율을 기초로 각각 저장된 투영계수집합과 자세벡터집합을 갱신하고, 얼굴 형상의 탬플릿을 갱신된 투영계수집합으로부터 산출된 평균 얼굴 형상의 템플릿으로 교체하며, 산출된 평균 얼굴 형상에 자세벡터집합을 평균하여 산출된 평균자세벡터를 승산하여 얼굴 형상을 산출한다.
얼굴, 형상, 특징점, 가버 필터링, 템플릿, 구배율

Description

특징벡터 검출장치 및 방법, 그리고, 이를 이용한 얼굴인식장치 및 방법{Apparatus and method for detecting feature vector and Apparatus and method for recognizing face from an image using the same}
도 1은 본 발명에 따른 특징벡터 검출장치에 대한 바람직한 일 실시예의 구성을 도시한 블록도,
도 2는 얼굴 형상 위에 형상 특징점 집합을 표시한 도면,
도 3은 하나의 얼굴 형상 위에 94개의 특징점을 갖는 형상 특징점 집합을 표시한 도면,
도 4는 형상 특징점 집합의 특징점들로 표현되는 형상을 좌표축 상의 원점으로 이동하고 자세를 일치시키는 방법을 도시한 도면,
도 5a, 도 5b 및 도 5c는 각각 평균 얼굴 형상, 평균 얼굴 형상을 오른쪽으로 회전시킨 얼굴 형상 및 평균 얼굴 형상의 표정을 변화시킨 얼굴 형상을 도시한 도면,
도 6a 및 도 6b는 각각 왼쪽 눈썹 컴포넌트와 왼쪽 눈썹 컴포넌트의 주요 성분을 도시한 도면,
도 7a 및 도 7b는 각각 왼눈 컴포넌트와 왼눈 컴포넌트의 주요 성분을 도시한 도면,
도 8a 및 도 8b는 각각 입 컴포넌트와 입 컴포넌트의 주요 성분을 도시한 도면,
도 9a 및 도 9b는 각각 코 컴포넌트와 코 컴포넌트의 주요 성분을 도시한 도면,
도 10은 가버 마스크의 예를 도시한 도면,
도 11은 본 발명에 따른 특징벡터 검출방법에 대한 바람직한 일 실시예의 수행과정을 도시한 흐름도,
도 12는 본 발명에 따른 얼굴인식장치에 대한 바람직한 일 실시예의 구성을 도시한 블록도,
도 13은 본 발명에 따른 얼굴인식방법에 대한 바람직한 일 실시예의 수행과정을 도시한 흐름도,
도 14a 및 도 14b는 각각 본 발명에 따른 얼굴인식장치로 입력되는 배경이 없는 영상의 예 및 본 발명에 따른 얼굴인식장치가 도 14a에 도시된 영상으로부터 얼굴인식을 수행한 결과를 도시한 도면,
도 15a 및 도 15b는 각각 본 발명에 따른 얼굴인식장치로 입력되는 실내에서 촬영한 영상의 예 및 본 발명에 따른 얼굴인식장치가 도 15a에 도시된 영상으로부터 얼굴인식을 수행한 결과를 도시한 도면,
도 16a 및 도 16b는 각각 본 발명에 따른 얼굴인식장치로 입력되는 실외에서 촬영한 영상의 예 및 본 발명에 따른 얼굴인식장치가 도 16a에 도시된 영상으로부터 얼굴인식을 수행한 결과를 도시한 도면, 그리고,
도 17a 및 도 17b는 본 발명에 따른 얼굴인식장치로 입력되는 어두운 배경에서 촬영한 영상의 예를 도시한 도면이다.
본 발명은 특징벡터 검출장치 및 방법, 그리고, 이를 이용한 얼굴인식장치 및 방법에 관한 것으로, 보다 상세하게는, 영상처리 기법과 패턴인식 방법을 결합한 패턴 추출기술을 이용하여 특징벡터를 검출하고, 검출된 특징벡터에 의해 영상으로부터 얼굴을 인식하는 장치 및 방법에 관한 것이다.
얼굴인식기술은 정지영상이나 동영상으로부터 얼굴의 형태 및 주요 특징점의 위치를 검출하는 기술이다. 이러한 얼굴인식기술에 의해 영상으로부터 촬영된 사람의 신원을 확인할 수 있어 얼굴인식기술은 범죄수사, 건물출입관리 등 다양한 분야에서 활용이 가능하다.
기존의 얼굴인식기술에 있어서, 얼굴 형상의 특징점을 추출하고 패턴을 인식하기 위해 템플릿을 이용한 정합법(Template Matching), EBGM 방법, ASM(active shape model) 방법, AAM(Active Appearance Model)방법 등이 사용된다. 템플릿을 이용한 정합법은 다양한 방법으로 생성된 템플릿을 기반으로 패턴 매칭을 수행하는 방법이다. 템플릿은 조명의 영향을 최소로 한 템플릿, PCA 기법을 사용한 템플릿, 에지를 기반으로 하는 템플릿 등이 있다. EBGM 방법은 가버필터 및 모폴로지필터를 이용하여 주요 부분의 특징을 추출하고 이를 바탕으로 얼굴의 특징부위를 추정하는 방법이다. ASM(active shape model) 방법은 얼굴 형상의 기하학적인 구조를 반영한 방법으로 주요 노드 점에서 윤곽에 수직방향으로 추출된 특징점과 가장 유사도가 큰 화소점을 검색하고, 검색된 화소점을 PCA로 생성한 공간(eigen space)에 투영하여 얼굴의 특징점을 찾는 방법이다. AAM(Active Appearance Model)은 얼굴의 기하학적인 구조뿐만 아니라 화소값(texture)도 PCA로 생성한 공간에 투영하여 화소값들의 오차가 최소화되도록 얼굴의 기하학적인 구조와 화소값을 추정하는 방법이다.
이상과 같은 종래의 템플릿을 이용한 정합법은 간단하지만, 개별적으로 작동하는 경우에 노이즈와 표정변화 등에 민감하다. 또한 EBGM은 노이즈에 둔감하지만 연산량이 과도하게 많은 단점이 있으며, ASM 방법은 개별적인 특징점들이 정확하게 일치점을 찾는 데 한계가 있기 때문에 PCA로 생성한 공간에 투영하여도 정확도에 문제가 있다. 또한 AAM(Active Appearance Model)방법은 조명의 변화와 초기값에 민감한 문제점이 있다.
본 발명이 이루고자 하는 기술적 과제는 불균일한 조명하에서 촬영된 영상 및 표정변화가 다양한 얼굴 형상이 촬영된 영상으로부터 얼굴 형상을 빠르고 정확하게 인식하기 위한 얼굴 형상의 특징벡터를 추출하기 위한 특징벡터 검출장치 및 그 방법을 제공하는 데 있다.
본 발명이 이루고자 하는 다른 기술적 과제는 불균일한 조명하에서 촬영된 영상 및 표정변화가 다양한 얼굴 형상이 촬영된 영상으로부터 얼굴 형상을 빠르고 정확하게 인식하는 얼굴인식장치 및 그 방법을 제공하는 데 있다.
본 발명이 이루고자 하는 또 다른 기술적 과제는 불균일한 조명하에서 촬영된 영상 및 표정변화가 다양한 얼굴 형상이 촬영된 영상으로부터 얼굴 형상을 빠르고 정확하게 인식하기 위한 얼굴 형상의 특징벡터를 추출하기 위한 특징벡터 검출방법과 불균일한 조명, 표정변화가 다양한 영상으로부터 얼굴 형상을 빠르고 정확하게 인식하는 얼굴인식방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는 데 있다.
상기의 기술적 과제를 달성하기 위한, 본 발명에 따른 특징벡터 검출장치는, 입력받은 형상 특징점 집합의 특징점들로 구성되는 각각의 객체형상을 정규화하여 자세벡터집합을 산출하고, 상기 정규화된 형상들에 대해 산출한 고유벡터를 기초로 투영계수집합 및 학습 형상 특징점 집합을 산출하는 모델 산출부; 수학식
Figure 112006096511428-pat00001
(여기서, x 및 y는 각각 x축과 y축의 좌표값, θ는 가버 마스크의 방향, λ는 파형의 길이, φ는 삼각함수의 위상, σ는 가우시언의 반경, τ는 가우시언의 가로세로 비율, x´=xcosθ+ysinθ, 그리고, y´=-xsinθ+ycosθ)에 의해 정의되는 가버 마스크와 상기 학습 형상 특징점 집합의 각 특징점 사이의 상관계수인 가버값을 산출하여 학습 형상 특징점 집합의 각 특징점으로 구성되는 각각의 학습 형상의 템플릿을 생성하고, 상기 생성된 템플릿들을 평균하여 평균 템플릿을 생성하는 평균 템플릿 생성부; 및 상기 투영계수 집합 및 상기 자세벡터 집합 각각의 변화에 대한 템플릿의 변화 정도를 나타내는 투영계수 구 배율 및 자세벡터 구배율을 산출하는 구배율 산출부;를 구비한다.
또한 상기의 다른 기술적 과제를 달성하기 위한, 본 발명에 따른 특징벡터 검출방법은, 입력받은 형상 특징점 집합의 특징점들로 구성되는 각각의 객체형상을 정규화하여 자세벡터집합을 산출하고, 상기 정규화된 형상들에 대해 산출한 고유벡터를 기초로 투영계수집합 및 학습 형상 특징점 집합을 산출하는 모델 산출단계; 수학식
Figure 112006096511428-pat00002
(여기서, x 및 y는 각각 x축과 y축의 좌표값, θ는 가버 마스크의 방향, λ는 파형의 길이, φ는 삼각함수의 위상, σ는 가우시언의 반경, τ는 가우시언의 가로세로 비율, x´=xcosθ+ysinθ, 그리고, y´=-xsinθ+ycosθ)에 의해 정의되는 가버 마스크와 상기 학습 형상 특징점 집합의 각 특징점 사이의 상관계수인 가버값을 산출하여 학습 형상 특징점 집합의 각 특징점으로 구성되는 각각의 학습 형상의 템플릿을 생성하고, 상기 생성된 템플릿들을 평균하여 평균 템플릿을 생성하는 평균 템플릿 생성단계; 및 상기 투영계수 집합 및 상기 자세벡터 집합 각각의 변화에 대한 템플릿의 변화 정도를 나타내는 투영계수 구배율 및 자세벡터 구배율을 산출하는 구배율 산출단계;를 갖는다.
또한 상기의 또 다른 기술적 과제를 달성하기 위한, 본 발명에 따른 얼굴인식장치는, 입력받은 영상으로부터 얼굴이 존재하는 영역을 검출하고 검출된 영역에서 형상 특징점 집합을 검출하는 초기 형상 검출부; 수학식
Figure 112006096511428-pat00003
(여기서, x 및 y는 각각 x축과 y축의 좌표값, θ는 가버 마스크의 방향, λ는 파형의 길이, φ는 삼각함수의 위상, σ는 가우시언의 반경, τ는 가우시언의 가로세로 비율, x´=xcosθ+ysinθ, 그리고, y´=-xsinθ+ycosθ)에 의해 정의되는 가버 마스크와 상기 형상 특징점 집합의 각 특징점 사이의 상관계수인 가버값을 산출하여 상기 형상 특징점 집합의 각 특징적으로 구성되는 얼굴 형상의 템플릿을 생성하는 템플릿 생성부; 및 상기 생성된 템플릿과 저장된 평균 템플릿의 차이값의 변화가 제1설정값 이하가 될 때까지 수학식
Figure 112006096511428-pat00004
(여기서, C는 투영계수집합, Gc는 투영계수 구배율, Tcurr와 Tmean은 각각 상기 생성된 템플릿과 상기 저장된 평균 템플릿, 그리고, α는 Tcurr - Tmean의 값을 최소하는 값으로 선택되는 값) 및 수학식
Figure 112006096511428-pat00005
(여기서, P는 자세벡터집합, 그리고, Gp는 자세벡터 구배율)에 의해 각각 저장된 투영계수집합과 자세벡터집합을 갱신하고, 상기 생성된 얼굴 형상의 템플릿을 상기 갱신된 투영계수집합으로부터 산출된 평균 얼굴 형상의 템플릿으로 교체하고, 상기 산출된 평균 얼굴 형상에 상기 자세벡터집합을 평균하여 산출된 평균자세벡터를 승산하여 얼굴 형상을 산출하는 얼굴 형상 검출부;를 구비한다.
또한 상기의 또 다른 기술적 과제를 달성하기 위한, 본 발명에 따른 얼국인식방법은, 입력받은 영상으로부터 검출된 얼굴이 존재하는 얼굴 영역에서 형상 특징점 집합을 검출하는 초기 형상 검출단계; 수학식
Figure 112006096511428-pat00006
(여기서, x 및 y는 각각 x축과 y축의 좌표값, θ는 가버 마스크의 방향, λ는 파형의 길이, φ는 삼각함수의 위상, σ는 가우시언의 반경, τ는 가우시언의 가로세로 비율, x´=xcosθ+ysinθ, 그리고, y´=-xsinθ+ycosθ)에 의해 정의되는 가버 마스크와 상기 형상 특징점 집합의 각 특징점 사이의 상관계수인 가버값을 산출하여 상기 형상 특징점 집합의 각 특징적으로 구성되는 형상의 템플릿을 생성하는 템플릿 생성단계; 및 상기 생성된 템플릿과 저장된 평균 템플릿의 차이값의 변화가 제1설정값 이하가 될 때까지 수학식
Figure 112006096511428-pat00007
(여기서, C는 투영계수집합, Gc는 투영계수 구배율, Tcurr와 Tmean은 각각 상기 생성된 템플릿과 상기 저장된 평균 템플릿, 그리고, α는 Tcurr - Tmean의 값을 최소하는 값으로 선택되는 값) 및 수학식
Figure 112006096511428-pat00008
(여기서, P는 자세벡터집합, 그리고, Gp는 자세벡터 구배율)에 의해 저장된 투영계수집합과 자세벡터집합을 갱신하고, 상기 생성된 얼굴 형상의 템플릿을 상기 갱신된 투영계수집합으로부터 산출된 평균 얼굴 형상의 템플릿으로 교체하고, 상기 산출된 평균 얼굴 형상에 상기 자세벡터집합을 평균하여 산출된 평균자세벡터를 승산하여 얼굴 형상을 산출하는 얼굴 형상 검출단계;를 갖는다.
이에 의해, 불균일한 조명하에서 촬영된 영상 및 표정변화가 다양한 얼굴 형상이 촬영된 영상으로부터 얼굴 형상을 빠르고 정확하게 인식하기 위한 얼굴 형상 의 특징벡터를 추출할 수 있다. 또한 추출된 특징벡터를 기반으로 불균일한 조명하에서 촬영된 영상 및 표정변화가 다양한 얼굴 형상이 촬영된 영상으로부터 얼굴 형상을 빠르고 정확하게 인식할 수 있다.
이하에서 첨부된 도면들을 참조하여 본 발명에 따른 특징벡터 검출장치 및 방법의 바람직한 실시예에 대해 상세하게 설명한다.
도 1은 본 발명에 따른 특징벡터 검출장치에 대한 바람직한 일 실시예의 구성을 도시한 블록도이다.
도 1을 참조하면, 본 발명에 따른 특징벡터 검출장치는 특징점 검출부(110), 모델 산출부(120), 평균 템플릿 생성부(130) 및 구배율 산출부(140)를 구비한다.
특징점 검출부(110)는 입력받은 각각의 영상으로부터 얼굴 형상의 윤곽을 이루는 점들 중에서 곡률의 변화가 특징점 검출 기준값 이상인 점들과, 특징점 검출 기준값 이상인 점들을 기준으로 얼굴 형상의 윤곽을 등간격으로 나눈 점들을 형상 특징점 집합으로 검출한다. 입력받은 영상은 단일한 영상 프레임이거나 연속되는 영상 프레임으로 다양한 조명과 배경에서 다양한 자세와 표정을 갖는 얼굴이 촬영된 영상이다. 얼굴의 눈썹, 눈, 코, 입 등의 윤곽에서 곡률의 변화가 큰 점은 윤곽을 구성하는 직선이 꺾이는 지점으로서 각 윤곽의 형태를 잘 반영하는 점이 된다. 따라서 얼굴의 윤곽에서 곡률의 변화가 큰 지점을 찾기 위해 특징점 검출 기준값은 영상에 존재하는 얼굴 형상의 윤곽을 구성하는 점들의 각 곡률 변화를 평균한 값 이상으로 설정되며, 형상 특징점 집합의 크기에 따라 특징점 검출 기준값이 조정된다. 이때, 특징점 검출부(110)는 곡률의 변화가 곡률 변화의 평균값 이상인 점을 기준으로 얼굴 형상의 윤곽을 등간격으로 나눈 점들을 입력받은 각각의 영상에 존재하는 얼굴의 형상 특징점들로 검출한다.
도 2는 얼굴 영상 위에 형상 특징점 집합을 표시한 도면이며, 도 3은 하나의 얼굴 형상 위에 94개의 특징점을 갖는 형상 특징점 집합을 표시한 도면이다.
도 2와 도 3을 참조하면, 눈의 윤곽(210)을 이루는 점들 중에 곡률 변화의 평균값 이상인 점(212, 214)이 특징점으로 선택되고, 선택된 특징점(212, 214)을 기준으로 눈의 윤곽을 등간격으로 나눈 점(216, 217, 218)들 또한 특징점으로 선택된다. 턱선의 윤곽(310)은 완만한 곡선을 이루므로 곡선을 등간격으로 나눈 지점에 있는 점들이 특징점으로 선택된다.
모델 산출부(120)는 외부 또는 특징점 검출부(110)로부터 입력받은 객체형상 특징점 집합의 특징점들로 구성되는 각각의 형상을 정규화하여 자세벡터집합을 산출하고, 정규화된 형상들에 대해 산출된 고유벡터를 기초로 투영계수집합을 산출한다. 이를 위해 모델 산출부(120)는 형상 정규화부(122), 고유벡터 산출부(124) 및 투영계수 산출부(126)를 구비한다.
형상 정규화부(122)는 외부로부터 입력받거나 특징점 검출부(110)가 검출한 형상 특징점 집합의 특징점들로 구성되는 각각의 객체형상의 무게중심과 방향 및 크기를 일치시키며, 정규화시 파악된 객체형상의 방향의 이동 정보로 이루어진 자세벡터집합을 산출한다. 도 4는 형상 특징점 집합의 특징점들로 표현되는 객체형상을 좌표축 상의 원점으로 이동하고 자세를 일치시키는 방법을 도시한 도면이다. 도 4를 참조하면, 형상 정규화부(122)는 형상 특징점 집합의 특징점로 구성되는 객체 형상들 중에서 무작위로 첫번째 형상(410)을 선택하고, 선택한 형상의 무게중심(420)을 산출한다. 다음으로, 형상 정규화부(122)는 산출된 무게중심(420)을 좌표축의 원점(0,0)으로 이동시키고 무게 중심으로부터 이동된 형상(430)을 구성하는 각 특징점 간의 총 거리를 산출한 후 각 특징점의 무게 중심과의 거리를 총거리로 나누어 크기가 1인 형상(440)을 산출한다.
또한, 형상 정규화부(122)는 형상 특징점 집합의 특징점들로 구성되는 객체형상들 중에서 무작위로 두 번째 형상을 선택하고 두번째 형상에 대해서도 동일하게 무게중심을 원점으로 이동시키고 크기를 1로 정규화한다. 다음으로, 형상 정규화부(122)는 첫번째 선택한 형상을 기준으로 두 번째 선택한 형상을 두 형상 사이에 매칭되는 특징점들의 유클리드 거리(euclidian distance)가 최소가 되도록 회전시키며, 두 번째 형상의 방향의 이동 정보인 회전량으로부터 두 번째 형상의 자세벡터를 산출한다. 형상 정규화부(122)는 나머지 형상에 대해서도 두 번째 형상에 수행한 것과 같이 반복적으로 수행하여 각각의 형상을 정규화하고 각각의 형상의 자세벡터를 산출한다. 또한 형상 정규화부(122)는 정규화된 각각의 형상을 구성하는 특정점들로 형상 특징점 집합의 대응하는 특징점을 교체하여 형상 특징점 집합을 갱신한다.
고유벡터 산출부(124)는 정규화된 형상들에 대해 주요 요소 분석(Principal Component Analysis : PCA) 수행하여 고유벡터를 산출한다. PCA 알고리즘은 각각의 형상 특징점으로 구성되는 형상들을 기존보다 더 적은 수의 변수를 가지는 객체의 형태로 변환한다. 본 발명에서 형상 특징점 집합이 N개의 형상을 가지고 있다고 가 정하면, 고유벡터 산출부(124)는 다음과 같은 단계를 수행하여 고유 벡터를 산출한다. 먼저, 고유벡터 산출부(124)는 형상 특징점 집합에서 N개의 형상의 평균 얼굴 형상을 산출한다. 형상 특징점 집합의 평균 얼굴 형상(Smean)은 다음의 수학식 1에 의해 구해진다.
Figure 112006096511428-pat00009
여기서, Sk는 k 번째의 형상이다.
이어서, 고유벡터 산출부(124)는 다음의 수학식 2에 의해 형상 특징점 집합으로부터 공분산 행렬(Covariance matrix)을 구한다.
Figure 112006096511428-pat00010
여기서, V는 형상 특징점 집합으로부터 산출된 공분산 행렬이다.
다음으로, 고유벡터 산출부(124)는 공분산 행렬로부터 고유벡터를 산출한다. 고유벡터는 다음의 수학식 3으로 표현된다.
Figure 112006096511428-pat00011
여기서, Φi (단, i=1,…,q)는 V에서 q개의 가장 큰 고유값(eigen value)에 해당하는 고유벡터(eigen vector)를 의미한다.
고유벡터 산출부(124)가 고유벡터를 산출하는 개수인 q값은 형상 특징점 집합의 전체적인 분산값의 98%에 해당되는 특징점으로 구성되는 형상의 개수로 설정된다. q값에 따라 투영계수의 데이타 크기와 정보의 복원 정도가 달라진다.
투영계수 산출부(126)는 형상 정규화부(122)가 정규화한 형상을 구성하는 특징점들에 고유벡터 산출부(124)가 산출한 고유벡터를 승산하여 투영계수를 산출하고, 산출된 각각의 투영계수로부터 각각의 학습 형상을 산출한다. 투영계수(Pi)는 다음의 수학식 4에 의해 구해진다.
Figure 112006096511428-pat00012
또한, 학습된 형상인 학습 형상(Si')은 다음의 수학식 5에 의해 구해진다.
Figure 112006096511428-pat00013
도 5a, 도 5b 및 도 5c는 각각 학습된 평균 얼굴 형상, 학습된 평균 얼굴 형상을 오른쪽으로 회전시킨 얼굴 형상 및 학습된 평균 얼굴 형상의 표정을 변화시킨 얼굴 형상을 도시한 도면이다.
도 5a, 도 5b 및 도 5c를 참조하면, 학습된 평균 얼굴 형상은 수학식 1의 Sk를 학습 형상(Si')으로 대체하여 구해진다. 도 5a에 도시된 학습된 평균 얼굴 형상으로부터 투영계수를 변화시킴으로써 주요 성분의 얼굴 형상인 도 5b에 도시된 오 른쪽으로 회전시킨 얼굴 형상과 도 5c에 도시된 표정이 변화된 얼굴 형상을 복원할 수 있다.
한편, 얼굴형상 전체에 대해 PCA알고리즘을 수행하여 학습된 평균 얼굴 형상으로부터 주요성분 대신에 얼굴형상 전체가 아닌 얼굴형상의 눈, 코, 입 등의 부분 형상인 컨포넌트에 대해 PCA알고리즘을 수행하여 각 컨포넌트에 대한 주요성분인 국부주요성분을 구할 수 있다. 그리고 얻어진 국부주요성분을 결합하면 인식대상 얼굴형상을 산출할 수 있다.
도 6a 및 도 6b에는 각각 왼쪽 눈썹 컴포넌트와 왼쪽 눈썹 컴포넌트의 주요 성분이 도시되어 있고, 도 7a 및 도 7b는 각각 왼눈 컴포넌트와 왼눈 컴포넌트의 주요 성분을 도시되어 있으며, 도 8a 및 도 8b는 각각 입 컴포넌트와 입 컴포넌트의 주요 성분을 도시되어 있고, 도 9a 및 도 9b는 각각 코 컴포넌트와 코 컴포넌트의 주요 성분을 도시되어 있다.
평균 템플릿 생성부(130)는 다음의 수학식 6의 값을 갖는 가버 마스크를 각각 학습 형상 특징점 집합의 각 특징점에 승산하여 각각의 템플릿을 생성하고, 생성된 템플릿들을 평균하여 평균 템플릿을 생성한다.
Figure 112006096511428-pat00014
여기서, x 및 y는 각각 x축과 y축의 좌표값이고, θ는 가버 마스크의 방향, λ는 파형의 길이, φ는 삼각함수의 위상, σ는 가우시언의 반경, τ는 가우시언의 가로세로 비율, x´=xcosθ+ysinθ이고, y´=-xsinθ+ycosθ이다.
평균 템플릿 생성부(130)는 템플릿 생성부(132)와 평균 템플릿 산출부(134)를 구비한다. 템플릿 생성부(132)는 각 학습 형상 구성하는 각 특정점의 위치에서 Nd개의 방향과 Nf개의 주파수 성분으로 구성된 가버(Gabor) 필터를 이용하여 구한 Nd*Nf개의 성분으로 각 점의 템플릿을 산출한다. 학습 형상을 구성하는 특징점의 개수가 M개이면 얼굴 형상을 나타내는 전체 템플릿의 크기는 Nd*Nf*M이다. Nd과 Nf의 개수가 클 수록 성능이 향상이 되지만, Nd=8, Nf=4, M=94 이상이 되면 성능의 향상이 포화되기 때문에 본 발명에 따른 특징벡터 검출장치에서는 Nd, Nf 및 M가 각각 8, 4, 94로 설정된다.
템플릿 생성부(132)는 각 특징점에 도 10에 도시된 가버 마스크를 각 학습 형상 특징점 집합의 각 특징점에 대한 가버값을 산출한다. 도 10에 도시된 가버 마스크는 4종류의 크기와 8종류의 위상을 갖는다. 템플릿 생성부(132)는 각 특징점에 대해서 도 10에 도시된 가버 마스크를 모두 사용하여 각 특징점과 사용된 모든 가버 마스크들 사이의 상관계수를 산출한다. 산출된 상관계수가 각 특징점에 대한 고유한 가버값이 된다. 도 10에 도시된 각 가버 마스크의 웨이블렛 방향은 8방향이며, 19*19, 29*29 ,39*39 ,53*53 크기를 갖도록 설정된다.
평균 템플릿 산출부(134)는 템플릿 생성부(132)가 생성한 템플릿들을 평균하여 평균 템플릿을 생성한다. 평균 템플릿(Tmean)은 다음의 수학식 7에 의해 산출된 다.
Figure 112006096511428-pat00015
여기서, Tk는 학습 형상의 템플릿이다.
구배율 산출부(140)는 투영계수 집합 및 자세벡터 집합 각각의 변화에 대한 템플릿의 변화 정도를 나타내는 각각의 투영계수 구배율 및 자세벡터 구배율을 산출한다. 투영계수 구배율(Gc)과 자세벡터 구배율(GP)은 각각 다음의 수학식 8과 수학식 9에 의해 산출된다.
Figure 112006096511428-pat00016
여기서, C는 투영계수 집합이다.
Figure 112006096511428-pat00017
여기서, P는 자세벡터 집합이다.
도 11은 본 발명에 따른 특징벡터 검출방법에 대한 바람직한 일 실시예의 수행과정을 도시한 흐름도이다.
도 11을 참조하면, 특징점 검출부(110)는 입력받은 각각의 영상으로부터 객 체형상의 윤곽을 이루는 점들 중에서 곡률의 변화가 특징점 검출 기준값 이상인 점들과, 곡률의 변화가 특징점 검출 기준값 이상인 점들을 기준으로 객체형상의 윤곽을 등간격으로 나눈 점들을 형상 특징점 집합으로 검출한다(S1100). 형상 정규화부(122)는 검출된 특징점 집합의 특징점들로 구성되는 각각의 객체형상의 무게중심과 방향 및 크기를 일치시키며, 객체형상의 방향의 이동 정보로 이루어진 자세벡터집합을 산출한다(S1110). 고유벡터 산출부(124)는 일치된 형상들에 대해 주성분 분석을 수행하여 고유벡터를 산출한다(S1120). 투영계수 산출부(126)는 일치된 형상을 구성하는 특징점에 산출된 고유벡터를 승산하여 투영계수를 산출하여 투영계수집합을 생성한다(S1130). 다음으로 투영계수 산출부(126)는 산출된 투영계수로부터 학습 형상을 산출하여 학습 형상 특징점 집합을 생성한다(S1140).
템플릿 생성부(132)는 크기가 각각 다른 크기 가버 마스크와 위상이 각각 다른 위상 가버 마스크와 형상 특징점 집합의 각 특징점 사이의 상관계수인 가버값을 산출하여 각 학습 형상의 템플릿을 생성한다(S1150). 평균 템플릿 산출부(134)는 생성된 템플릿들을 평균하여 평균 템플릿을 생성한다(S1160). 구배율 산출부는 투영계수 집합 및 자세벡터 집합 각각의 변화에 대한 템플릿의 변화를 산출하여 각각의 투영계수 구배율 및 자세벡터 구배율을 산출한다(S1170).
도 12는 본 발명에 따른 얼굴인식장치에 대한 바람직한 일 실시예의 구성을 도시한 블록도이다.
도 12를 참조하면, 본 발명에 따른 얼굴인식장치는 초기 형상 검출부(1210), 템플릿 생성부(1220), 얼굴 형상 검출부(1230) 및 저장부(1240)을 구비한다.
초기 형상 검출부(1210)는 입력받은 영상으로부터 얼굴이 존재하는 얼굴 영역을 검출하고 검출된 영역에서 형상 특징점 집합을 검출한다. 초기 형상 검출부(1210)는 얼굴 영역 검출부(1212)와 특징점 검출부(1214)를 구비한다.
얼굴 영역 검출부(1212)는 입력받은 영상으로부터 얼굴이 존재하는 얼굴 영역을 검출한다. 입력받은 영상은 단일한 영상 프레임이거나 연속되는 영상 프레임으로 다양한 조명과 배경에서 다양한 자세와 표정을 갖는 얼굴을 촬영한 영상이다.
특징점 검출부(1214)는 얼굴 영역 검출부(1212)가 검출한 얼굴 영역으로부터 얼굴 형상의 윤곽을 이루는 점들 중에서 곡률의 변화가 특징점 검출 기준값 이상인 점들과 특징점 검출 기준값 이상인 점들을 기준으로 윤곽을 등간격으로 나눈 점들을 형상 특징점 집합으로 검출한다. 특징점 검출부(1214)는 도 2를 참조하여 설명한 본 발명에 따른 특징벡터 검출장치에 구비된 특징점 검출부(110)에 대응하는 구성요소이며, 특징벡터 검출장치에 구비된 특징점 검출부(110)와 달리 하나의 형상에 대한 특징점 집합을 검출한다.
템플릿 생성부(1220)는 위의 수학식 6의 값을 갖는 가버 마스크와 특징점 검출부(1214)가 검출한 형상 특징점 집합의 각 특징점 사이의 상관계수인 가버값을 산출하여 템플릿을 생성한다. 템플릿 생성부(1220)는 도 2를 참조하여 설명한 본 발명에 따른 특징벡터 검출장치에 구비된 템플릿 생성부(132)에 대응하는 구성요소이며, 특징벡터 검출장치에 구비된 템플릿 생성부(132)와 달리 학습 형상이 아닌 특징점 검출부(1214)가 검출한 얼굴 형상에 대한 템플릿을 생성한다.
얼굴 형상 검출부(1230)는 템플릿 생성부(1220)가 생성한 템플릿과 저장된 평균 템플릿의 차이값의 변화가 템플릿 변화 기준값 이하가 될 때까지 다음의 수학식 10과 수학식 11에 의해 각각 저장된 투영계수집합과 자세벡터집합을 갱신한다. 또한 얼굴 형상 검출부(1230)는 갱신된 투영계수집합으로부터 평균 얼굴 형상을 산출하고 생성된 얼굴 형상의 템플릿을 산출된 평균 얼굴 형상의 템플릿으로 교체를 반복적으로 수행한다.
Figure 112006096511428-pat00018
여기서, C는 투영계수집합, Gc는 투영계수 구배율, Tcurr와 Tmean은 각각 상기 생성된 템플릿과 상기 저장된 평균 템플릿, α는 Tcurr - Tmean의 값을 최소하는 값으로 선택되는 값이다.
Figure 112006096511428-pat00019
여기서, P는 자세벡터집합, Gp는 자세벡터 구배율이다.
최종적으로 얼굴 형상 검출부(1230)는 산출된 자세벡터집합을 평균하여 평균자세벡터를 산출하고, 산출된 평균 얼굴 형상에 산출된 평균자세벡터를 승산하여 얼굴 형상을 산출한다. 이를 위해 얼굴 형상 검출부(1230)는 얼굴 형상 갱신부(1232)와 얼굴 형상 산출부(1234)를 구비한다.
얼굴 형상 갱신부(1232)는 템플릿 생성부(1220)가 생성한 얼굴 형상의 템플릿과 저장된 평균 템플릿의 차이값의 변화가 템플릿 변화 기준값 이하가 될 때까지 수학식 10과 수학식 11에 의해 각각 저장된 투영계수집합과 자세벡터집합을 갱신하고, 저장된 고유벡터를 기초로 갱신된 투영계수집합으로부터 모델집합을 산출하고 산출된 모델집합을 평균하여 평균 얼굴 형상을 산출하고, 생성된 얼굴 형상의 템플릿을 평균 얼굴 형상의 형상 특징점 집합의 템플릿으로 교체를 수행한다. 템플릿 변화 기준값이 작을수록 보다 정확한 얼굴형상의 인식이 가능하지만, 연산 시간이 증가되므로 적정하게 설정되어야 한다. 실험적으로 템플릿 변화 기준값은 1로 설정된다. 평균 템플릿의 차이값(E(i))는 다음의 수학식 12로 나타낸다.
Figure 112006096511428-pat00020
얼굴 형상 갱신부(1232)는 E(i)가 템플릿 변화 기준값 이하가 될 때까지 투영계수집합과 자세벡터집합을 갱신한다. 이러한 갱신 과정은 얼굴인식대상인 입력받은 영상에 촬영된 얼굴 형상을 투영계수집합과 자세벡터집합에 반영하여 얼굴 형상의 정확한 형태와 입력받은 영상에 촬영된 얼굴의 정확한 자세를 찾는 과정이다. 또한 얼굴 형상 갱신부(1232)는 투영계수집합을 갱신할 때마다 갱신된 투영계수 집합에 저장된 고유벡터를 승산하여 모델집합을 생성한다. 생성된 모델집합(Si')은 얼굴 형상의 주요성분으로서 수학식 5에 의해 산출된다. 수학식 5에서 Pi 갱신된 투영계수집합이며, Smean는 전 단계에 생성된 평균 얼굴 형상이거나 첫 수행시에는 저장된 평균 얼굴 형상이다. 또한 얼굴 형상 갱신부(1232)는 수학식 1에 의해 각각의 반복시마다 생성된 모델집합을 평균하여 평균 얼굴 형상을 산출한다. 마직막으로 얼굴 형상 갱신부(1232)는 산출된 평균 얼굴 형상에 대한 템플릿을 산출하고 산출된 템플릿을 전 단계에 산출된 템플릿과 교체한 후 상술한 동작을 반복해서 수행한다.
얼굴 형상 산출부(1234)는 얼굴 형상 갱신부(1236)가 최종적으로 갱신한 자세벡터집합을 평균하여 평균자세벡터를 산출하고, 얼굴 형상 갱신부(1236)가 최종적으로 산출한 평균 얼굴 형상에 산출된 평균자세벡터를 승산하여 얼굴 형상을 산출한다. 얼굴 형상 갱신부(1236)가 최종적으로 산출한 평균 얼굴 형상은 인식 대상 얼굴 형상의 형태가 되고, 평균자세벡터는 인식 대상 얼굴 형상의 자세가 된다.
저장부(1240)는 본 발명에 따른 특징벡터 검출장치가 산출한 투영계수집합과 자세벡터집합, 투영계수 구배율, 자세벡터 구배율, 평균 얼굴 형상, 평균 템플릿 및 고유벡터를 저장한다. 저장부(1240)는 얼굴 형상 검출부(1230)에 구비될 수 있다.
도 13은 본 발명에 따른 얼굴인식방법에 대한 바람직한 일 실시예의 수행과정을 도시한 흐름도이다.
도 13을 참조하면, 얼굴 영역 검출부(1212)는 입력받은 영상으로부터 얼굴이 존재하는 얼굴 영역을 검출한다(S1300). 특징점 검출부(1214)는 검출된 얼굴 영역으로부터 형상의 윤곽을 이루는 점들 중에서 곡률의 변화가 특징점 검출 기준값 이상인 점들과 곡률의 변화가 특징점 검출 기준값 이상인 점들을 기준으로 얼굴 형상의 윤곽을 등간격으로 나눈 점들을 형상 특징점 집합으로 검출한다(S1310). 템플릿 생성부(1220)는 각각 다른 크기 가버 마스크와 위상이 각각 다른 위상 가버 마스크 와 상기 형상 특징점 집합의 각 특징점 사이에 상관계수인 가버값을 산출하여 템플릿을 생성한다(S1320).
얼굴 형상 갱신부(1232)는 생성된 얼굴 형상의 템플릿과 저장된 평균 템플릿의 차이값과 투영계수 구배율과 자세벡터 구배율을 기초로 각각 저장된 투영계수집합과 자세벡터집합을 갱신한다(S1330). 다음으로 얼굴 형상 갱신부(1232)는 저장된 고유벡터를 기초로 갱신된 투영계수집합으로부터 모델집합을 산출한다(S1340). 얼굴 형상 갱신부(1232)는 산출된 모델집합을 평균하여 평균 얼굴 형상을 산출한다(S1350). 다음으로 얼굴 형상 갱신부(1232)는 생성된 얼굴형상의 템플릿을 평균 얼굴 형상의 형상 특징점 집합의 템플릿으로 교체한다(S1360). 또한 얼굴 형상 갱신부(1232)는 교체된 템플릿과 저장된 평균 템플릿의 차이값의 변화가 템플릿 변화 기준값 이하인지를 확인한다(S1370). 만약 교체된 템플릿과 저장된 평균 템플릿의 차이값의 변화가 템플릿 변화 기준값 이하이면, 얼굴 형상 산출부(1234)는 갱신된 자세벡터집합을 평균하여 평균자세벡터를 산출한다(S1380). 최종적으로 얼굴 형상 산출부(1234)는 산출된 평균 얼굴 형상에 산출된 평균자세벡터를 승산하여 얼굴 형상을 산출한다(S1390).
도 14a 및 도 14b는 각각 본 발명에 따른 얼굴인식장치로 입력되는 배경이 없는 영상의 예 및 본 발명에 따른 얼굴인식장치가 도 14a에 도시된 영상으로부터 얼굴인식을 수행한 결과를 도시한 도면이다. 도 14a 및 도 14b를 참조하면, 촬영된 영상에 배경에 의한 노이즈가 발생되지 않는 이상적인 경우에 본 발명에 따른 얼굴인식장치가 눈썹, 눈, 코, 입술 및 턱선을 정확하게 인식하는 것을 알 수 있다.
도 15a 및 도 15b는 각각 본 발명에 따른 얼굴인식장치로 입력되는 실내에서 촬영한 영상의 예 및 본 발명에 따른 얼굴인식장치가 도 15a에 도시된 영상으로부터 얼굴인식을 수행한 결과를 도시한 도면이다. 도 15a 및 도 15b를 참조하면, 영상이 실내에서 촬영되어 주위의 다른 사물에 의한 얼굴 형상의 왜곡 현상이 발생되는 경우에 본 발명에 따른 얼굴인식장치가 눈썹, 눈, 코, 입술, 턱선을 정확하게 인식하는 것을 알 수 있다. 또한 촬영된 영상에서 얼굴을 포함한 가슴 윗부분이 모두 촬영된 경우에도 얼굴 영역 부분이 정확하게 검출되어, 얼굴 형상이 정확하게 인식되는 것을 알 수 있다.
도 16a 및 도 16b는 각각 본 발명에 따른 얼굴인식장치로 입력되는 실외에서 촬영한 영상의 예 및 본 발명에 따른 얼굴인식장치가 도 16a에 도시된 영상으로부터 얼굴인식을 수행한 결과를 도시한 도면이다. 도 16a 및 도 16b를 참조하면, 영상이 실외에서 촬영되어 조명이 밝고 주위의 다른 사물에 의한 얼굴 형상의 왜곡 현상이 발생되는 경우에 본 발명에 따른 얼굴인식장치가 눈썹, 눈, 코, 입술, 턱선을 정확하게 인식하는 것을 알 수 있다. 또한 촬영된 영상에서 얼굴의 자세가 기울어져 있는 경우에도 얼굴 형상이 정확하게 인식되는 것을 알 수 있다.
도 17a 및 도 17b는 본 발명에 따른 얼굴인식장치로 입력되는 어두운 배경에서 촬영한 영상의 예 및 본 발명에 따른 얼굴인식장치가 도 17a에 도시된 영상으로부터 얼굴인식을 수행한 결과를 도시한 도면이다. 도 17a 및 도 17b를 참조하면, 영상이 실외에서 촬영되어 조명이 어두운 경우에 본 발명에 따른 얼굴인식장치가 눈썹, 눈, 코, 입술, 턱선을 정확하게 인식하는 것을 알 수 있다. 또한 촬영된 영 상에서 얼굴이 정면이 아닌 옆면이 촬영된 경우에도 얼굴 형상의 형태와 자세가 정확하게 인식되는 것을 알 수 있다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
이상에서 본 발명의 바람직한 실시예에 대해 도시하고 설명하였으나, 본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.
본 발명에 따른 얼굴인식장치 및 방법에 의하면 기존의 얼굴인식장치보다 불균일한 조명에서 촬영된 영상 및 얼굴의 자세 및 표정변화가 다양한 얼굴을 촬영한 영상으로부터 얼굴 형상을 빠르고 정확하게 인식할 수 있다. 따라서 본 발명에 따른 얼굴인식장치는 주장차이나 어두운 골목길 등에서 감시용 카메라로 촬영된 범죄 자의 얼굴 영상을 통해 범죄자의 신원 정보를 찾는 범죄수사 분야 및 건물출입통제관리 시스템 분야에 이용할 수 있다. 특히 본 발명에 따른 얼굴인식장치는 다양한 얼굴의 표정을 표현하는 것이 필요한 아바타 디자인 분야에까지 활용이 가능하다.

Claims (17)

  1. 입력받은 형상 특징점 집합의 특징점들로 구성되는 각각의 객체형상을 정규화하여 자세벡터집합을 산출하고, 상기 정규화된 형상들에 대해 산출한 고유벡터를 기초로 투영계수집합 및 학습 형상 특징점 집합을 산출하는 모델 산출부;
    다음의 수학식의 값을 갖는 가버 마스크와 상기 학습 형상 특징점 집합의 각 특징점 사이의 상관계수인 가버값을 산출하여 학습 형상 특징점 집합의 각 특징점으로 구성되는 각각의 학습 형상의 템플릿을 생성하고, 상기 생성된 템플릿들을 평균하여 평균 템플릿을 생성하는 평균 템플릿 생성부; 및
    상기 투영계수 집합 및 상기 자세벡터 집합 각각의 변화에 대한 템플릿의 변화 정도를 나타내는 투영계수 구배율 및 자세벡터 구배율을 산출하는 구배율 산출부;를 포함하는 것을 특징으로 하는 특징벡터 검출장치:
    Figure 112006096511428-pat00021
    ,
    여기서, x 및 y는 각각 x축과 y축의 좌표값, θ는 가버 마스크의 방향, λ는 파형의 길이, φ는 삼각함수의 위상, σ는 가우시언의 반경, τ는 가우시언의 가로세로 비율, x´=xcosθ+ysinθ, 그리고, y´=-xsinθ+ycosθ이다.
  2. 제 1항에 있어서,
    입력받은 각각의 영상으로부터 상기 객체형상의 윤곽을 이루는 점들 중에서 곡률의 변화가 제1설정값 이상인 점들과 상기 곡률의 변화가 제1설정값 이상인 점들을 기준으로 상기 객체형상의 윤곽을 등간격으로 나눈 점들을 형상 특징점 집합으로 검출하는 특징점 검출부;를 더 포함하는 것을 특징으로 하는 특징벡터 검출장치.
  3. 제 1항에 있어서,
    상기 모델 산출부는,
    입력받은 형상 특징점 집합의 특징점들로 구성되는 각각의 객체형상의 무게중심, 방향 및 크기를 일치시키며, 상기 객체형상의 방향의 이동 정보로 이루어진 자세벡터집합을 산출하는 형상 정규화부;
    상기 무게중심, 방향 및 크기가 일치된 객체형상들에 대해 주요 요소 분석(Principal Component Analysis : PCA)을 수행하여 고유벡터를 산출하는 고유벡터 산출부; 및
    상기 무게중심, 방향 및 크기가 일치된 객체형상을 구성하는 특징점에 상기 산출된 고유벡터를 승산하여 산출된 투영계수로 이루어진 투영계수집합을 생성하고, 상기 산출된 투영계수로부터 학습 형상을 산출하여 학습 형상 특징점 집합을 생성하는 투영계수 산출부;를 포함하는 것을 특징으로 하는 특징벡터 검출장치.
  4. 제 1항에 있어서,
    상기 평균 템플릿 생성부는,
    크기가 각각 다른 크기 가버 마스크 및 위상이 각각 다른 위상 가버 마스크와 상기 형상 특징점 집합의 각 특징점 사이의 상관계수인 가버값을 산출하여 각각의 학습 형상의 템플릿을 생성하는 템플릿 생성부; 및
    상기 생성된 학습 형상의 템플릿들을 평균하여 평균 템플릿을 생성하는 평균 템플릿 산출부;를 포함하는 것을 특징으로 하는 특징벡터 검출장치.
  5. 입력받은 형상 특징점 집합의 특징점들로 구성되는 각각의 객체형상을 정규화하여 자세벡터집합을 산출하고, 상기 정규화된 형상들에 대해 산출한 고유벡터를 기초로 투영계수집합 및 학습 형상 특징점 집합을 산출하는 모델 산출단계;
    다음의 수학식의 값을 갖는 가버 마스크와 상기 학습 형상 특징점 집합의 각 특징점 사이의 상관계수인 가버값을 산출하여 학습 형상 특징점 집합의 각 특징점으로 구성되는 각각의 학습 형상의 템플릿을 생성하고, 상기 생성된 템플릿들을 평균하여 평균 템플릿을 생성하는 평균 템플릿 생성단계; 및
    상기 투영계수 집합 및 상기 자세벡터 집합 각각의 변화에 대한 템플릿의 변화 정도를 나타내는 투영계수 구배율 및 자세벡터 구배율을 산출하는 구배율 산출단계;를 포함하는 것을 특징으로 하는 특징벡터 검출방법:
    Figure 112006096511428-pat00022
    ,
    여기서, x 및 y는 각각 x축과 y축의 좌표값이고, θ는 가버 마스크의 방향, λ는 파형의 길이, φ는 삼각함수의 위상, σ는 가우시언의 반경, τ는 가우시언의 가로세로 비율, x´=xcosθ+ysinθ이고, y´=-xsinθ+ycosθ이다.
  6. 제 5항에 있어서,
    입력받은 각각의 영상으로부터 상기 객체형상의 윤곽을 이루는 점들 중에서 곡률의 변화가 사전에 설정된 제1설정값 이상인 점들과 상기 곡률의 변화가 상기 제1설정값 이상인 점들을 기준으로 상기 객체형상의 윤곽을 등간격으로 나눈 점들을 형상 특징점 집합으로 검출하는 특징점 검출단계;를 더 포함하는 것을 특징으로 하는 특징벡터 검출방법.
  7. 제 5항에 있어서,
    상기 모델 산출단계는,
    입력받은 형상 특징점 집합의 특징점들로 구성되는 각각의 형상의 무게중심과 방향 및 크기를 일치시키며, 상기 객체형상의 방향의 이동 정보로 이루어진 자세벡터집합을 산출하는 형상 정규화단계;
    상기 무게중심, 방향 및 크기가 일치된 형상들에 대해 주요 요소 분석(Principal Component Analysis : PCA)을 수행하여 고유벡터를 산출하는 고유벡터 산출단계; 및
    상기 무게중심, 방향 및 크기가 일치된 형상을 구성하는 특징점에 상기 산출된 고유벡터를 승산하여 산출된 투영계수로 이루어진 투영계수집합을 생성하고, 상기 산출된 투영계수로부터 학습 형상을 산출하여 학습 형상 특징점 집합을 생성하 는 투영계수 산출단계;를 포함하는 것을 특징으로 하는 특징벡터 검출방법.
  8. 제 5항에 있어서,
    상기 평균 템플릿 생성단계는,
    크기가 각각 다른 크기 가버 마스크 및 위상이 각각 다른 위상 가버 마스크와 상기 형상 특징점 집합의 각 특징점 사이의 상관계수인 가버값을 산출하여 각각의 학습 형상의 템플릿을 생성하는 템플릿 생성단계; 및
    상기 생성된 학습 형상의 템플릿들을 평균하여 평균 템플릿을 생성하는 평균 템플릿 산출단계;를 포함하는 것을 특징으로 하는 특징벡터 검출방법.
  9. 입력받은 영상으로부터 얼굴이 존재하는 영역을 검출하고 검출된 영역에서 형상 특징점 집합을 검출하는 초기 형상 검출부;
    다음의 수학식 1의 값을 갖는 가버 마스크와 상기 형상 특징점 집합의 각 특징점 사이의 상관계수인 가버값을 산출하여 상기 형상 특징점 집합의 각 특징적으로 구성되는 얼굴 형상의 템플릿을 생성하는 템플릿 생성부; 및
    상기 생성된 템플릿과 저장된 평균 템플릿의 차이값의 변화가 제1설정값 이하가 될 때까지 다음의 수학식 2과 수학식 3에 의해 각각 저장된 투영계수집합과 자세벡터집합을 갱신하고, 상기 생성된 얼굴 형상의 템플릿을 상기 갱신된 투영계수집합으로부터 산출된 평균 얼굴 형상의 템플릿으로 교체하고, 상기 산출된 평균 얼굴 형상에 상기 자세벡터집합을 평균하여 산출된 평균자세벡터를 승산하여 얼굴 형상을 산출하는 얼굴 형상 검출부;를 포함하는 것을 특징으로 하는 얼굴인식장치:
    [수학식 1]
    Figure 112006096511428-pat00023
    ,
    여기서, x 및 y는 각각 x축과 y축의 좌표값, θ는 가버 마스크의 방향, λ는 파형의 길이, φ는 삼각함수의 위상, σ는 가우시언의 반경, τ는 가우시언의 가로세로 비율, x´=xcosθ+ysinθ이고, y´=-xsinθ+ycosθ이고,
    [수학식 2]
    Figure 112006096511428-pat00024
    ,
    여기서, C는 투영계수집합, Gc는 투영계수 구배율, Tcurr와 Tmean은 각각 상기 생성된 템플릿과 상기 저장된 평균 템플릿, α는 Tcurr - Tmean 의 값을 최소하는 값으로 선택되는 값이며,
    [수학식 3]
    Figure 112006096511428-pat00025
    ,
    여기서, P는 자세벡터집합, Gp는 자세벡터 구배율이다.
  10. 제 9항에 있어서,
    상기 초기 형상 검출부는,
    입력받은 영상으로부터 얼굴이 존재하는 영역을 검출하는 얼굴 영역 검출부; 및
    상기 검출된 얼굴 영역으로부터 상기 얼굴 형상의 윤곽을 이루는 점들 중에서 곡률의 변화가 제2설정값 이상인 점들과 상기 곡률 변화가 제2설정값 이상인 점들을 기준으로 상기 얼굴 형상의 윤곽을 등간격으로 나눈 점들을 형상 특징점 집합으로 검출하는 특징점 검출부;를 포함하는 것을 특징으로 하는 얼굴인식장치.
  11. 제 9항에 있어서,
    상기 템플릿 생성부는 크기가 각각 다른 크기 가버 마스크 및 위상이 각각 다른 위상 가버 마스크와 상기 형상 특징점 집합의 각 특징점 사이의 상관계수인 가버값을 산출하여 상기 얼굴 형상의 템플릿을 생성하는 것을 특징으로 하는 얼굴인식장치.
  12. 제 9항에 있어서,
    상기 얼굴 형상 검출부는,
    상기 생성된 얼굴 형상의 템플릿과 저장된 평균 템플릿의 차이값의 변화가 상기 제1설정값 이하가 될 때까지 상기 수학식 2과 상기 수학식 3에 의해 각각 저장된 투영계수집합과 자세벡터집합을 갱신하고, 저장된 고유벡터를 기초로 상기 갱신된 투영계수집합으로부터 산출된 모델집합을 평균하여 평균 얼굴 형상을 산출하고, 상기 생성된 얼굴 형상의 템플릿을 평균 얼굴 형상의 형상 특징점 집합의 템플릿으로 교체하는 얼굴 형상 갱신부; 및
    상기 산출된 평균 얼굴 형상에 상기 갱신된 자세벡터집합을 평균하여 산출된 평균자세벡터를 승산하여 얼굴 형상을 산출하는 얼굴 형상 산출부;를 포함하는 것을 특징으로 하는 얼굴인식장치.
  13. 입력받은 영상으로부터 검출된 얼굴이 존재하는 얼굴 영역에서 형상 특징점 집합을 검출하는 초기 형상 검출단계;
    다음의 수학식 1의 값을 갖는 가버 마스크와 상기 형상 특징점 집합의 각 특징점 사이의 상관계수인 가버값을 산출하여 상기 형상 특징점 집합의 각 특징적으로 구성되는 얼굴 형상의 템플릿을 생성하는 템플릿 생성단계; 및
    상기 생성된 템플릿과 저장된 평균 템플릿의 차이값의 변화가 제1설정값 이하가 될 때까지 다음의 수학식 2과 수학식 3에 의해 저장된 투영계수집합과 자세벡터집합을 갱신하고, 상기 생성된 얼굴 형상의 템플릿을 상기 갱신된 투영계수집합으로부터 산출된 평균 얼굴 형상의 템플릿으로 교체하고, 상기 산출된 평균 얼굴 형상에 상기 자세벡터집합을 평균하여 산출된 평균자세벡터를 승산하여 얼굴 형상을 산출하는 얼굴 형상 검출단계;를 포함하는 것을 특징으로 하는 얼굴인식방법:
    [수학식 1]
    Figure 112006096511428-pat00026
    ,
    여기서, x 및 y는 각각 x축과 y축의 좌표값, θ는 가버 마스크의 방향, λ는 파형의 길이, φ는 삼각함수의 위상, σ는 가우시언의 반경, τ는 가우시언의 가로 세로 비율, x´=xcosθ+ysinθ이고, y´=-xsinθ+ycosθ이고,
    [수학식 2]
    Figure 112006096511428-pat00027
    ,
    여기서, C는 투영계수집합, Gc는 투영계수 구배율, Tcurr와 Tmean은 각각 상기 생성된 템플릿과 상기 저장된 평균 템플릿, α는 Tcurr - Tmean 의 값을 최소하는 값으로 선택되는 값이며,
    [수학식 3]
    Figure 112006096511428-pat00028
    ,
    여기서, P는 자세벡터집합, Gp는 자세벡터 구배율이다.
  14. 제 13항에 있어서,
    상기 초기 형상 검출단계는,
    입력받은 영상으로부터 얼굴이 존재하는 얼굴 영역을 검출하는 얼굴 영역 검출단계; 및
    상기 검출된 얼굴 영역으로부터 얼굴 형상의 윤곽을 이루는 점들 중에서 곡률의 변화가 사전에 설정된 제2설정값 이상인 점들과 상기 곡률의 변화가 상기 제2설정값 이상인 점들을 기준으로 상기 얼굴형상의 윤곽을 등간격으로 나눈 점들을 형상 특징점 집합으로 검출하는 특징점 검출단계;를 포함하는 것을 특징으로 하는 얼굴인식방법.
  15. 제 13항에 있어서,
    상기 템플릿 생성단계는 크기가 각각 다른 크기 가버 마스크 및 위상이 각각 다른 위상 가버 마스크와 상기 형상 특징점 집합의 각 특징점 사이의 상관계수인 가버값을 산출하여 상기 얼굴 형상의 템플릿을 생성하는 것을 특징으로 하는 얼굴인식방법.
  16. 제 13항에 있어서,
    상기 얼굴 형상 검출단계는,
    상기 생성된 얼굴 형상의 템플릿과 저장된 평균 템플릿의 차이값의 변화가 상기 제1설정값 이하가 될 때까지 상기 수학식 2과 상기 수학식 3에 의해 저장된 투영계수집합과 자세벡터집합을 갱신하고, 저장된 고유벡터를 기초로 상기 갱신된 투영계수집합으로부터 산출된 모델집합을 평균하여 평균 얼굴 형상을 산출하고, 상기 생성된 얼굴 형상의 템플릿을 평균 얼굴 형상의 형상 특징점 집합의 템플릿으로 교체하는 얼굴 형상 갱신단계; 및
    상기 산출된 평균 얼굴 형상에 상기 갱신된 자세벡터집합을 평균하여 산출된 평균자세벡터를 승산하여 얼굴 형상을 산출하는 얼굴 형상 산출단계;를 포함하는 것을 특징으로 하는 얼굴인식방법.
  17. 제 5항 내지 제 8항 또는 제 13항 내지 제 16항 중 어느 한 항에 기재된 방 법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020060134040A 2006-12-26 2006-12-26 특징벡터 검출장치 및 방법, 그리고, 이를 이용한얼굴인식장치 및 방법 KR100855631B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020060134040A KR100855631B1 (ko) 2006-12-26 2006-12-26 특징벡터 검출장치 및 방법, 그리고, 이를 이용한얼굴인식장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060134040A KR100855631B1 (ko) 2006-12-26 2006-12-26 특징벡터 검출장치 및 방법, 그리고, 이를 이용한얼굴인식장치 및 방법

Publications (2)

Publication Number Publication Date
KR20080060007A KR20080060007A (ko) 2008-07-01
KR100855631B1 true KR100855631B1 (ko) 2008-09-01

Family

ID=39812705

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060134040A KR100855631B1 (ko) 2006-12-26 2006-12-26 특징벡터 검출장치 및 방법, 그리고, 이를 이용한얼굴인식장치 및 방법

Country Status (1)

Country Link
KR (1) KR100855631B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012044335A1 (en) * 2010-09-30 2012-04-05 Intuit Inc. Recognizing a feature of an image independently of the orientation or scale of the image

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101618814B1 (ko) 2012-10-09 2016-05-09 에스케이텔레콤 주식회사 단일객체에 대한 기울기를 추정하는 영상을 감시하는 장치 및 방법
CN104125396B (zh) * 2014-06-24 2018-06-08 小米科技有限责任公司 图像拍摄方法和装置
KR102205498B1 (ko) 2014-09-18 2021-01-20 삼성전자주식회사 입력 영상으로부터 특징을 추출하는 방법 및 장치
CN104486542A (zh) * 2014-11-28 2015-04-01 广东欧珀移动通信有限公司 一种触发拍照的方法及装置
RU2691195C1 (ru) * 2015-09-11 2019-06-11 Айверифай Инк. Качество изображения и признака, улучшение изображения и выделение признаков для распознавания по сосудам глаза и лицам, и объединение информации о сосудах глаза с информацией о лицах и/или частях лиц для биометрических систем
JP7207396B2 (ja) * 2018-03-06 2023-01-18 ソニーグループ株式会社 情報処理装置、情報処理方法、およびプログラム
CN109919052B (zh) * 2019-02-22 2021-05-14 武汉捷丰天泽信息科技有限公司 刑侦模拟画像模型生成方法、刑侦模拟画像方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5802208A (en) 1996-05-06 1998-09-01 Lucent Technologies Inc. Face recognition using DCT-based feature vectors
JP2004139596A (ja) 2002-10-15 2004-05-13 Samsung Electronics Co Ltd 顔認識及び検索用特徴ベクトル抽出方法及びその装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5802208A (en) 1996-05-06 1998-09-01 Lucent Technologies Inc. Face recognition using DCT-based feature vectors
JP2004139596A (ja) 2002-10-15 2004-05-13 Samsung Electronics Co Ltd 顔認識及び検索用特徴ベクトル抽出方法及びその装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012044335A1 (en) * 2010-09-30 2012-04-05 Intuit Inc. Recognizing a feature of an image independently of the orientation or scale of the image
GB2498126A (en) * 2010-09-30 2013-07-03 Intuit Inc Recognizing a feature of an image independently of the orientation or scale of the image
US8532391B2 (en) 2010-09-30 2013-09-10 Intuit Inc. Recognizing a feature of an image independently of the orientation or scale of the image
GB2498126B (en) * 2010-09-30 2018-03-07 Intuit Inc Recognizing a feature of an image independently of the orientation or scale of the image

Also Published As

Publication number Publication date
KR20080060007A (ko) 2008-07-01

Similar Documents

Publication Publication Date Title
KR100855631B1 (ko) 특징벡터 검출장치 및 방법, 그리고, 이를 이용한얼굴인식장치 및 방법
Meena et al. An approach to face detection and recognition
JP4469275B2 (ja) ポーズ角度を推定するためのシステムおよび方法
Lin et al. Face recognition/detection by probabilistic decision-based neural network
KR100647322B1 (ko) 객체의 모양모델 생성장치 및 방법과 이를 이용한 객체의특징점 자동탐색장치 및 방법
AU734055B2 (en) Principle component analysis of image/control-point location coupling for the automatic location of control points
Han et al. Fast face detection via morphology-based pre-processing
Lucey et al. A GMM parts based face representation for improved verification through relevance adaptation
Ranjan et al. Unconstrained age estimation with deep convolutional neural networks
JP4951498B2 (ja) 顔画像認識装置、顔画像認識方法、顔画像認識プログラムおよびそのプログラムを記録した記録媒体
Sukno et al. Active shape models with invariant optimal features: Application to facial analysis
Tarrés et al. A novel method for face recognition under partial occlusion or facial expression variations
CN104123749A (zh) 一种图像处理方法及系统
Li et al. Modelling faces dynamically across views and over time
De Smet et al. A generalized EM approach for 3D model based face recognition under occlusions
Tathe et al. Human face detection and recognition in videos
Zhu et al. Robust pose invariant facial feature detection and tracking in real-time
Teijeiro-Mosquera et al. Performance of active appearance model-based pose-robust face recognition
Hosoi et al. Restoring occluded regions using FW-PCA for face recognition
Pflug et al. Segmentation and normalization of human ears using cascaded pose regression
Bourbakis et al. Skin-based face detection-extraction and recognition of facial expressions
Lefevre et al. Structure and appearance features for robust 3d facial actions tracking
Sukno et al. Active shape models with invariant optimal features (IOF-ASMs)
Upraity et al. Efficient face recognition using morphological operations
Rashad et al. 3D face recognition using 2DPCA 3D face recognition using 2DPCA

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20110826

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee