KR100855631B1 - 특징벡터 검출장치 및 방법, 그리고, 이를 이용한얼굴인식장치 및 방법 - Google Patents
특징벡터 검출장치 및 방법, 그리고, 이를 이용한얼굴인식장치 및 방법 Download PDFInfo
- Publication number
- KR100855631B1 KR100855631B1 KR1020060134040A KR20060134040A KR100855631B1 KR 100855631 B1 KR100855631 B1 KR 100855631B1 KR 1020060134040 A KR1020060134040 A KR 1020060134040A KR 20060134040 A KR20060134040 A KR 20060134040A KR 100855631 B1 KR100855631 B1 KR 100855631B1
- Authority
- KR
- South Korea
- Prior art keywords
- shape
- template
- face
- average
- feature point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 239000013598 vector Substances 0.000 title claims abstract description 96
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000001514 detection method Methods 0.000 title claims abstract description 31
- 230000008859 change Effects 0.000 claims abstract description 45
- 238000012935 Averaging Methods 0.000 claims abstract description 21
- 230000005484 gravity Effects 0.000 claims description 13
- 238000000513 principal component analysis Methods 0.000 claims description 13
- 238000010606 normalization Methods 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 9
- 238000012821 model calculation Methods 0.000 claims description 5
- 238000001914 filtration Methods 0.000 abstract 2
- 230000007123 defense Effects 0.000 abstract 1
- 230000036544 posture Effects 0.000 description 18
- 238000010586 diagram Methods 0.000 description 15
- 210000001508 eye Anatomy 0.000 description 12
- 210000001331 nose Anatomy 0.000 description 10
- 210000004709 eyebrow Anatomy 0.000 description 9
- 230000008921 facial expression Effects 0.000 description 8
- 238000005286 illumination Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 230000001815 facial effect Effects 0.000 description 5
- 230000014509 gene expression Effects 0.000 description 5
- 210000000088 lip Anatomy 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 210000001847 jaw Anatomy 0.000 description 2
- 239000002075 main ingredient Substances 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000011840 criminal investigation Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000000214 mouth Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012567 pattern recognition method Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
특징벡터 검출장치 및 방법, 그리고, 이를 이용한 얼굴인식장치 및 방법이 개시된다. 초기 형상 검출부는 입력받은 영상으로부터 얼굴이 존재하는 영역을 검출하고 검출된 영역에서 형상 특징점 집합을 검출한다. 템플릿 생성부는 가버 필터링에 사용되는 가버 마스크와 형상 특징점 집합의 각 특징점 사이의 상관계수인 가버값을 산출하여 형상 특징점 집합의 각각의 특징적으로 구성되는 형상의 템플릿을 생성한다. 얼굴 형상 검출부는 생성된 템플릿과 저장된 평균 템플릿의 차이값의 변화가 템플릿 변호 기준값 이하가 될 때까지 생성된 템플릿과 저장된 평균 템플릿의 차이값과 투영계수 구배율과 자세벡터 구배율을 기초로 각각 저장된 투영계수집합과 자세벡터집합을 갱신하고, 얼굴 형상의 탬플릿을 갱신된 투영계수집합으로부터 산출된 평균 얼굴 형상의 템플릿으로 교체하며, 산출된 평균 얼굴 형상에 자세벡터집합을 평균하여 산출된 평균자세벡터를 승산하여 얼굴 형상을 산출한다.
얼굴, 형상, 특징점, 가버 필터링, 템플릿, 구배율
Description
도 1은 본 발명에 따른 특징벡터 검출장치에 대한 바람직한 일 실시예의 구성을 도시한 블록도,
도 2는 얼굴 형상 위에 형상 특징점 집합을 표시한 도면,
도 3은 하나의 얼굴 형상 위에 94개의 특징점을 갖는 형상 특징점 집합을 표시한 도면,
도 4는 형상 특징점 집합의 특징점들로 표현되는 형상을 좌표축 상의 원점으로 이동하고 자세를 일치시키는 방법을 도시한 도면,
도 5a, 도 5b 및 도 5c는 각각 평균 얼굴 형상, 평균 얼굴 형상을 오른쪽으로 회전시킨 얼굴 형상 및 평균 얼굴 형상의 표정을 변화시킨 얼굴 형상을 도시한 도면,
도 6a 및 도 6b는 각각 왼쪽 눈썹 컴포넌트와 왼쪽 눈썹 컴포넌트의 주요 성분을 도시한 도면,
도 7a 및 도 7b는 각각 왼눈 컴포넌트와 왼눈 컴포넌트의 주요 성분을 도시한 도면,
도 8a 및 도 8b는 각각 입 컴포넌트와 입 컴포넌트의 주요 성분을 도시한 도면,
도 9a 및 도 9b는 각각 코 컴포넌트와 코 컴포넌트의 주요 성분을 도시한 도면,
도 10은 가버 마스크의 예를 도시한 도면,
도 11은 본 발명에 따른 특징벡터 검출방법에 대한 바람직한 일 실시예의 수행과정을 도시한 흐름도,
도 12는 본 발명에 따른 얼굴인식장치에 대한 바람직한 일 실시예의 구성을 도시한 블록도,
도 13은 본 발명에 따른 얼굴인식방법에 대한 바람직한 일 실시예의 수행과정을 도시한 흐름도,
도 14a 및 도 14b는 각각 본 발명에 따른 얼굴인식장치로 입력되는 배경이 없는 영상의 예 및 본 발명에 따른 얼굴인식장치가 도 14a에 도시된 영상으로부터 얼굴인식을 수행한 결과를 도시한 도면,
도 15a 및 도 15b는 각각 본 발명에 따른 얼굴인식장치로 입력되는 실내에서 촬영한 영상의 예 및 본 발명에 따른 얼굴인식장치가 도 15a에 도시된 영상으로부터 얼굴인식을 수행한 결과를 도시한 도면,
도 16a 및 도 16b는 각각 본 발명에 따른 얼굴인식장치로 입력되는 실외에서 촬영한 영상의 예 및 본 발명에 따른 얼굴인식장치가 도 16a에 도시된 영상으로부터 얼굴인식을 수행한 결과를 도시한 도면, 그리고,
도 17a 및 도 17b는 본 발명에 따른 얼굴인식장치로 입력되는 어두운 배경에서 촬영한 영상의 예를 도시한 도면이다.
본 발명은 특징벡터 검출장치 및 방법, 그리고, 이를 이용한 얼굴인식장치 및 방법에 관한 것으로, 보다 상세하게는, 영상처리 기법과 패턴인식 방법을 결합한 패턴 추출기술을 이용하여 특징벡터를 검출하고, 검출된 특징벡터에 의해 영상으로부터 얼굴을 인식하는 장치 및 방법에 관한 것이다.
얼굴인식기술은 정지영상이나 동영상으로부터 얼굴의 형태 및 주요 특징점의 위치를 검출하는 기술이다. 이러한 얼굴인식기술에 의해 영상으로부터 촬영된 사람의 신원을 확인할 수 있어 얼굴인식기술은 범죄수사, 건물출입관리 등 다양한 분야에서 활용이 가능하다.
기존의 얼굴인식기술에 있어서, 얼굴 형상의 특징점을 추출하고 패턴을 인식하기 위해 템플릿을 이용한 정합법(Template Matching), EBGM 방법, ASM(active shape model) 방법, AAM(Active Appearance Model)방법 등이 사용된다. 템플릿을 이용한 정합법은 다양한 방법으로 생성된 템플릿을 기반으로 패턴 매칭을 수행하는 방법이다. 템플릿은 조명의 영향을 최소로 한 템플릿, PCA 기법을 사용한 템플릿, 에지를 기반으로 하는 템플릿 등이 있다. EBGM 방법은 가버필터 및 모폴로지필터를 이용하여 주요 부분의 특징을 추출하고 이를 바탕으로 얼굴의 특징부위를 추정하는 방법이다. ASM(active shape model) 방법은 얼굴 형상의 기하학적인 구조를 반영한 방법으로 주요 노드 점에서 윤곽에 수직방향으로 추출된 특징점과 가장 유사도가 큰 화소점을 검색하고, 검색된 화소점을 PCA로 생성한 공간(eigen space)에 투영하여 얼굴의 특징점을 찾는 방법이다. AAM(Active Appearance Model)은 얼굴의 기하학적인 구조뿐만 아니라 화소값(texture)도 PCA로 생성한 공간에 투영하여 화소값들의 오차가 최소화되도록 얼굴의 기하학적인 구조와 화소값을 추정하는 방법이다.
이상과 같은 종래의 템플릿을 이용한 정합법은 간단하지만, 개별적으로 작동하는 경우에 노이즈와 표정변화 등에 민감하다. 또한 EBGM은 노이즈에 둔감하지만 연산량이 과도하게 많은 단점이 있으며, ASM 방법은 개별적인 특징점들이 정확하게 일치점을 찾는 데 한계가 있기 때문에 PCA로 생성한 공간에 투영하여도 정확도에 문제가 있다. 또한 AAM(Active Appearance Model)방법은 조명의 변화와 초기값에 민감한 문제점이 있다.
본 발명이 이루고자 하는 기술적 과제는 불균일한 조명하에서 촬영된 영상 및 표정변화가 다양한 얼굴 형상이 촬영된 영상으로부터 얼굴 형상을 빠르고 정확하게 인식하기 위한 얼굴 형상의 특징벡터를 추출하기 위한 특징벡터 검출장치 및 그 방법을 제공하는 데 있다.
본 발명이 이루고자 하는 다른 기술적 과제는 불균일한 조명하에서 촬영된 영상 및 표정변화가 다양한 얼굴 형상이 촬영된 영상으로부터 얼굴 형상을 빠르고 정확하게 인식하는 얼굴인식장치 및 그 방법을 제공하는 데 있다.
본 발명이 이루고자 하는 또 다른 기술적 과제는 불균일한 조명하에서 촬영된 영상 및 표정변화가 다양한 얼굴 형상이 촬영된 영상으로부터 얼굴 형상을 빠르고 정확하게 인식하기 위한 얼굴 형상의 특징벡터를 추출하기 위한 특징벡터 검출방법과 불균일한 조명, 표정변화가 다양한 영상으로부터 얼굴 형상을 빠르고 정확하게 인식하는 얼굴인식방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는 데 있다.
상기의 기술적 과제를 달성하기 위한, 본 발명에 따른 특징벡터 검출장치는, 입력받은 형상 특징점 집합의 특징점들로 구성되는 각각의 객체형상을 정규화하여 자세벡터집합을 산출하고, 상기 정규화된 형상들에 대해 산출한 고유벡터를 기초로 투영계수집합 및 학습 형상 특징점 집합을 산출하는 모델 산출부; 수학식 
(여기서, x 및 y는 각각 x축과 y축의 좌표값, θ는 가버 마스크의 방향, λ는 파형의 길이, φ는 삼각함수의 위상, σ는 가우시언의 반경, τ는 가우시언의 가로세로 비율, x´=xcosθ+ysinθ, 그리고, y´=-xsinθ+ycosθ)에 의해 정의되는 가버 마스크와 상기 학습 형상 특징점 집합의 각 특징점 사이의 상관계수인 가버값을 산출하여 학습 형상 특징점 집합의 각 특징점으로 구성되는 각각의 학습 형상의 템플릿을 생성하고, 상기 생성된 템플릿들을 평균하여 평균 템플릿을 생성하는 평균 템플릿 생성부; 및 상기 투영계수 집합 및 상기 자세벡터 집합 각각의 변화에 대한 템플릿의 변화 정도를 나타내는 투영계수 구 배율 및 자세벡터 구배율을 산출하는 구배율 산출부;를 구비한다.
또한 상기의 다른 기술적 과제를 달성하기 위한, 본 발명에 따른 특징벡터 검출방법은, 입력받은 형상 특징점 집합의 특징점들로 구성되는 각각의 객체형상을 정규화하여 자세벡터집합을 산출하고, 상기 정규화된 형상들에 대해 산출한 고유벡터를 기초로 투영계수집합 및 학습 형상 특징점 집합을 산출하는 모델 산출단계; 수학식 
(여기서, x 및 y는 각각 x축과 y축의 좌표값, θ는 가버 마스크의 방향, λ는 파형의 길이, φ는 삼각함수의 위상, σ는 가우시언의 반경, τ는 가우시언의 가로세로 비율, x´=xcosθ+ysinθ, 그리고, y´=-xsinθ+ycosθ)에 의해 정의되는 가버 마스크와 상기 학습 형상 특징점 집합의 각 특징점 사이의 상관계수인 가버값을 산출하여 학습 형상 특징점 집합의 각 특징점으로 구성되는 각각의 학습 형상의 템플릿을 생성하고, 상기 생성된 템플릿들을 평균하여 평균 템플릿을 생성하는 평균 템플릿 생성단계; 및 상기 투영계수 집합 및 상기 자세벡터 집합 각각의 변화에 대한 템플릿의 변화 정도를 나타내는 투영계수 구배율 및 자세벡터 구배율을 산출하는 구배율 산출단계;를 갖는다.
또한 상기의 또 다른 기술적 과제를 달성하기 위한, 본 발명에 따른 얼굴인식장치는, 입력받은 영상으로부터 얼굴이 존재하는 영역을 검출하고 검출된 영역에서 형상 특징점 집합을 검출하는 초기 형상 검출부; 수학식 
(여기서, x 및 y는 각각 x축과 y축의 좌표값, θ는 가버 마스크의 방향, λ는 파형의 길이, φ는 삼각함수의 위상, σ는 가우시언의 반경, τ는 가우시언의 가로세로 비율, x´=xcosθ+ysinθ, 그리고, y´=-xsinθ+ycosθ)에 의해 정의되는 가버 마스크와 상기 형상 특징점 집합의 각 특징점 사이의 상관계수인 가버값을 산출하여 상기 형상 특징점 집합의 각 특징적으로 구성되는 얼굴 형상의 템플릿을 생성하는 템플릿 생성부; 및 상기 생성된 템플릿과 저장된 평균 템플릿의 차이값의 변화가 제1설정값 이하가 될 때까지 수학식 
(여기서, C는 투영계수집합, Gc는 투영계수 구배율, Tcurr와 Tmean은 각각 상기 생성된 템플릿과 상기 저장된 평균 템플릿, 그리고, α는 Tcurr - Tmean의 값을 최소하는 값으로 선택되는 값) 및 수학식 
(여기서, P는 자세벡터집합, 그리고, Gp는 자세벡터 구배율)에 의해 각각 저장된 투영계수집합과 자세벡터집합을 갱신하고, 상기 생성된 얼굴 형상의 템플릿을 상기 갱신된 투영계수집합으로부터 산출된 평균 얼굴 형상의 템플릿으로 교체하고, 상기 산출된 평균 얼굴 형상에 상기 자세벡터집합을 평균하여 산출된 평균자세벡터를 승산하여 얼굴 형상을 산출하는 얼굴 형상 검출부;를 구비한다.
또한 상기의 또 다른 기술적 과제를 달성하기 위한, 본 발명에 따른 얼국인식방법은, 입력받은 영상으로부터 검출된 얼굴이 존재하는 얼굴 영역에서 형상 특징점 집합을 검출하는 초기 형상 검출단계; 수학식 
(여기서, x 및 y는 각각 x축과 y축의 좌표값, θ는 가버 마스크의 방향, λ는 파형의 길이, φ는 삼각함수의 위상, σ는 가우시언의 반경, τ는 가우시언의 가로세로 비율, x´=xcosθ+ysinθ, 그리고, y´=-xsinθ+ycosθ)에 의해 정의되는 가버 마스크와 상기 형상 특징점 집합의 각 특징점 사이의 상관계수인 가버값을 산출하여 상기 형상 특징점 집합의 각 특징적으로 구성되는 형상의 템플릿을 생성하는 템플릿 생성단계; 및 상기 생성된 템플릿과 저장된 평균 템플릿의 차이값의 변화가 제1설정값 이하가 될 때까지 수학식 
(여기서, C는 투영계수집합, Gc는 투영계수 구배율, Tcurr와 Tmean은 각각 상기 생성된 템플릿과 상기 저장된 평균 템플릿, 그리고, α는 Tcurr - Tmean의 값을 최소하는 값으로 선택되는 값) 및 수학식 
(여기서, P는 자세벡터집합, 그리고, Gp는 자세벡터 구배율)에 의해 저장된 투영계수집합과 자세벡터집합을 갱신하고, 상기 생성된 얼굴 형상의 템플릿을 상기 갱신된 투영계수집합으로부터 산출된 평균 얼굴 형상의 템플릿으로 교체하고, 상기 산출된 평균 얼굴 형상에 상기 자세벡터집합을 평균하여 산출된 평균자세벡터를 승산하여 얼굴 형상을 산출하는 얼굴 형상 검출단계;를 갖는다.
이에 의해, 불균일한 조명하에서 촬영된 영상 및 표정변화가 다양한 얼굴 형상이 촬영된 영상으로부터 얼굴 형상을 빠르고 정확하게 인식하기 위한 얼굴 형상 의 특징벡터를 추출할 수 있다. 또한 추출된 특징벡터를 기반으로 불균일한 조명하에서 촬영된 영상 및 표정변화가 다양한 얼굴 형상이 촬영된 영상으로부터 얼굴 형상을 빠르고 정확하게 인식할 수 있다.
이하에서 첨부된 도면들을 참조하여 본 발명에 따른 특징벡터 검출장치 및 방법의 바람직한 실시예에 대해 상세하게 설명한다.
도 1은 본 발명에 따른 특징벡터 검출장치에 대한 바람직한 일 실시예의 구성을 도시한 블록도이다.
도 1을 참조하면, 본 발명에 따른 특징벡터 검출장치는 특징점 검출부(110), 모델 산출부(120), 평균 템플릿 생성부(130) 및 구배율 산출부(140)를 구비한다.
특징점 검출부(110)는 입력받은 각각의 영상으로부터 얼굴 형상의 윤곽을 이루는 점들 중에서 곡률의 변화가 특징점 검출 기준값 이상인 점들과, 특징점 검출 기준값 이상인 점들을 기준으로 얼굴 형상의 윤곽을 등간격으로 나눈 점들을 형상 특징점 집합으로 검출한다. 입력받은 영상은 단일한 영상 프레임이거나 연속되는 영상 프레임으로 다양한 조명과 배경에서 다양한 자세와 표정을 갖는 얼굴이 촬영된 영상이다. 얼굴의 눈썹, 눈, 코, 입 등의 윤곽에서 곡률의 변화가 큰 점은 윤곽을 구성하는 직선이 꺾이는 지점으로서 각 윤곽의 형태를 잘 반영하는 점이 된다. 따라서 얼굴의 윤곽에서 곡률의 변화가 큰 지점을 찾기 위해 특징점 검출 기준값은 영상에 존재하는 얼굴 형상의 윤곽을 구성하는 점들의 각 곡률 변화를 평균한 값 이상으로 설정되며, 형상 특징점 집합의 크기에 따라 특징점 검출 기준값이 조정된다. 이때, 특징점 검출부(110)는 곡률의 변화가 곡률 변화의 평균값 이상인 점을 기준으로 얼굴 형상의 윤곽을 등간격으로 나눈 점들을 입력받은 각각의 영상에 존재하는 얼굴의 형상 특징점들로 검출한다.
도 2는 얼굴 영상 위에 형상 특징점 집합을 표시한 도면이며, 도 3은 하나의 얼굴 형상 위에 94개의 특징점을 갖는 형상 특징점 집합을 표시한 도면이다.
도 2와 도 3을 참조하면, 눈의 윤곽(210)을 이루는 점들 중에 곡률 변화의 평균값 이상인 점(212, 214)이 특징점으로 선택되고, 선택된 특징점(212, 214)을 기준으로 눈의 윤곽을 등간격으로 나눈 점(216, 217, 218)들 또한 특징점으로 선택된다. 턱선의 윤곽(310)은 완만한 곡선을 이루므로 곡선을 등간격으로 나눈 지점에 있는 점들이 특징점으로 선택된다.
모델 산출부(120)는 외부 또는 특징점 검출부(110)로부터 입력받은 객체형상 특징점 집합의 특징점들로 구성되는 각각의 형상을 정규화하여 자세벡터집합을 산출하고, 정규화된 형상들에 대해 산출된 고유벡터를 기초로 투영계수집합을 산출한다. 이를 위해 모델 산출부(120)는 형상 정규화부(122), 고유벡터 산출부(124) 및 투영계수 산출부(126)를 구비한다.
형상 정규화부(122)는 외부로부터 입력받거나 특징점 검출부(110)가 검출한 형상 특징점 집합의 특징점들로 구성되는 각각의 객체형상의 무게중심과 방향 및 크기를 일치시키며, 정규화시 파악된 객체형상의 방향의 이동 정보로 이루어진 자세벡터집합을 산출한다. 도 4는 형상 특징점 집합의 특징점들로 표현되는 객체형상을 좌표축 상의 원점으로 이동하고 자세를 일치시키는 방법을 도시한 도면이다. 도 4를 참조하면, 형상 정규화부(122)는 형상 특징점 집합의 특징점로 구성되는 객체 형상들 중에서 무작위로 첫번째 형상(410)을 선택하고, 선택한 형상의 무게중심(420)을 산출한다. 다음으로, 형상 정규화부(122)는 산출된 무게중심(420)을 좌표축의 원점(0,0)으로 이동시키고 무게 중심으로부터 이동된 형상(430)을 구성하는 각 특징점 간의 총 거리를 산출한 후 각 특징점의 무게 중심과의 거리를 총거리로 나누어 크기가 1인 형상(440)을 산출한다.
또한, 형상 정규화부(122)는 형상 특징점 집합의 특징점들로 구성되는 객체형상들 중에서 무작위로 두 번째 형상을 선택하고 두번째 형상에 대해서도 동일하게 무게중심을 원점으로 이동시키고 크기를 1로 정규화한다. 다음으로, 형상 정규화부(122)는 첫번째 선택한 형상을 기준으로 두 번째 선택한 형상을 두 형상 사이에 매칭되는 특징점들의 유클리드 거리(euclidian distance)가 최소가 되도록 회전시키며, 두 번째 형상의 방향의 이동 정보인 회전량으로부터 두 번째 형상의 자세벡터를 산출한다. 형상 정규화부(122)는 나머지 형상에 대해서도 두 번째 형상에 수행한 것과 같이 반복적으로 수행하여 각각의 형상을 정규화하고 각각의 형상의 자세벡터를 산출한다. 또한 형상 정규화부(122)는 정규화된 각각의 형상을 구성하는 특정점들로 형상 특징점 집합의 대응하는 특징점을 교체하여 형상 특징점 집합을 갱신한다.
고유벡터 산출부(124)는 정규화된 형상들에 대해 주요 요소 분석(Principal Component Analysis : PCA) 수행하여 고유벡터를 산출한다. PCA 알고리즘은 각각의 형상 특징점으로 구성되는 형상들을 기존보다 더 적은 수의 변수를 가지는 객체의 형태로 변환한다. 본 발명에서 형상 특징점 집합이 N개의 형상을 가지고 있다고 가 정하면, 고유벡터 산출부(124)는 다음과 같은 단계를 수행하여 고유 벡터를 산출한다. 먼저, 고유벡터 산출부(124)는 형상 특징점 집합에서 N개의 형상의 평균 얼굴 형상을 산출한다. 형상 특징점 집합의 평균 얼굴 형상(Smean)은 다음의 수학식 1에 의해 구해진다.
여기서, Sk는 k 번째의 형상이다.
이어서, 고유벡터 산출부(124)는 다음의 수학식 2에 의해 형상 특징점 집합으로부터 공분산 행렬(Covariance matrix)을 구한다.
여기서, V는 형상 특징점 집합으로부터 산출된 공분산 행렬이다.
다음으로, 고유벡터 산출부(124)는 공분산 행렬로부터 고유벡터를 산출한다. 고유벡터는 다음의 수학식 3으로 표현된다.
여기서, Φi (단, i=1,…,q)는 V에서 q개의 가장 큰 고유값(eigen value)에 해당하는 고유벡터(eigen vector)를 의미한다.
고유벡터 산출부(124)가 고유벡터를 산출하는 개수인 q값은 형상 특징점 집합의 전체적인 분산값의 98%에 해당되는 특징점으로 구성되는 형상의 개수로 설정된다. q값에 따라 투영계수의 데이타 크기와 정보의 복원 정도가 달라진다.
투영계수 산출부(126)는 형상 정규화부(122)가 정규화한 형상을 구성하는 특징점들에 고유벡터 산출부(124)가 산출한 고유벡터를 승산하여 투영계수를 산출하고, 산출된 각각의 투영계수로부터 각각의 학습 형상을 산출한다. 투영계수(Pi)는 다음의 수학식 4에 의해 구해진다.
또한, 학습된 형상인 학습 형상(Si')은 다음의 수학식 5에 의해 구해진다.
도 5a, 도 5b 및 도 5c는 각각 학습된 평균 얼굴 형상, 학습된 평균 얼굴 형상을 오른쪽으로 회전시킨 얼굴 형상 및 학습된 평균 얼굴 형상의 표정을 변화시킨 얼굴 형상을 도시한 도면이다.
도 5a, 도 5b 및 도 5c를 참조하면, 학습된 평균 얼굴 형상은 수학식 1의 Sk를 학습 형상(Si')으로 대체하여 구해진다. 도 5a에 도시된 학습된 평균 얼굴 형상으로부터 투영계수를 변화시킴으로써 주요 성분의 얼굴 형상인 도 5b에 도시된 오 른쪽으로 회전시킨 얼굴 형상과 도 5c에 도시된 표정이 변화된 얼굴 형상을 복원할 수 있다.
한편, 얼굴형상 전체에 대해 PCA알고리즘을 수행하여 학습된 평균 얼굴 형상으로부터 주요성분 대신에 얼굴형상 전체가 아닌 얼굴형상의 눈, 코, 입 등의 부분 형상인 컨포넌트에 대해 PCA알고리즘을 수행하여 각 컨포넌트에 대한 주요성분인 국부주요성분을 구할 수 있다. 그리고 얻어진 국부주요성분을 결합하면 인식대상 얼굴형상을 산출할 수 있다.
도 6a 및 도 6b에는 각각 왼쪽 눈썹 컴포넌트와 왼쪽 눈썹 컴포넌트의 주요 성분이 도시되어 있고, 도 7a 및 도 7b는 각각 왼눈 컴포넌트와 왼눈 컴포넌트의 주요 성분을 도시되어 있으며, 도 8a 및 도 8b는 각각 입 컴포넌트와 입 컴포넌트의 주요 성분을 도시되어 있고, 도 9a 및 도 9b는 각각 코 컴포넌트와 코 컴포넌트의 주요 성분을 도시되어 있다.
평균 템플릿 생성부(130)는 다음의 수학식 6의 값을 갖는 가버 마스크를 각각 학습 형상 특징점 집합의 각 특징점에 승산하여 각각의 템플릿을 생성하고, 생성된 템플릿들을 평균하여 평균 템플릿을 생성한다.
여기서, x 및 y는 각각 x축과 y축의 좌표값이고, θ는 가버 마스크의 방향, λ는 파형의 길이, φ는 삼각함수의 위상, σ는 가우시언의 반경, τ는 가우시언의 가로세로 비율, x´=xcosθ+ysinθ이고, y´=-xsinθ+ycosθ이다.
평균 템플릿 생성부(130)는 템플릿 생성부(132)와 평균 템플릿 산출부(134)를 구비한다. 템플릿 생성부(132)는 각 학습 형상 구성하는 각 특정점의 위치에서 Nd개의 방향과 Nf개의 주파수 성분으로 구성된 가버(Gabor) 필터를 이용하여 구한 Nd*Nf개의 성분으로 각 점의 템플릿을 산출한다. 학습 형상을 구성하는 특징점의 개수가 M개이면 얼굴 형상을 나타내는 전체 템플릿의 크기는 Nd*Nf*M이다. Nd과 Nf의 개수가 클 수록 성능이 향상이 되지만, Nd=8, Nf=4, M=94 이상이 되면 성능의 향상이 포화되기 때문에 본 발명에 따른 특징벡터 검출장치에서는 Nd, Nf 및 M가 각각 8, 4, 94로 설정된다.
템플릿 생성부(132)는 각 특징점에 도 10에 도시된 가버 마스크를 각 학습 형상 특징점 집합의 각 특징점에 대한 가버값을 산출한다. 도 10에 도시된 가버 마스크는 4종류의 크기와 8종류의 위상을 갖는다. 템플릿 생성부(132)는 각 특징점에 대해서 도 10에 도시된 가버 마스크를 모두 사용하여 각 특징점과 사용된 모든 가버 마스크들 사이의 상관계수를 산출한다. 산출된 상관계수가 각 특징점에 대한 고유한 가버값이 된다. 도 10에 도시된 각 가버 마스크의 웨이블렛 방향은 8방향이며, 19*19, 29*29 ,39*39 ,53*53 크기를 갖도록 설정된다.
평균 템플릿 산출부(134)는 템플릿 생성부(132)가 생성한 템플릿들을 평균하여 평균 템플릿을 생성한다. 평균 템플릿(Tmean)은 다음의 수학식 7에 의해 산출된 다.
여기서, Tk는 학습 형상의 템플릿이다.
구배율 산출부(140)는 투영계수 집합 및 자세벡터 집합 각각의 변화에 대한 템플릿의 변화 정도를 나타내는 각각의 투영계수 구배율 및 자세벡터 구배율을 산출한다. 투영계수 구배율(Gc)과 자세벡터 구배율(GP)은 각각 다음의 수학식 8과 수학식 9에 의해 산출된다.
여기서, C는 투영계수 집합이다.
여기서, P는 자세벡터 집합이다.
도 11은 본 발명에 따른 특징벡터 검출방법에 대한 바람직한 일 실시예의 수행과정을 도시한 흐름도이다.
도 11을 참조하면, 특징점 검출부(110)는 입력받은 각각의 영상으로부터 객 체형상의 윤곽을 이루는 점들 중에서 곡률의 변화가 특징점 검출 기준값 이상인 점들과, 곡률의 변화가 특징점 검출 기준값 이상인 점들을 기준으로 객체형상의 윤곽을 등간격으로 나눈 점들을 형상 특징점 집합으로 검출한다(S1100). 형상 정규화부(122)는 검출된 특징점 집합의 특징점들로 구성되는 각각의 객체형상의 무게중심과 방향 및 크기를 일치시키며, 객체형상의 방향의 이동 정보로 이루어진 자세벡터집합을 산출한다(S1110). 고유벡터 산출부(124)는 일치된 형상들에 대해 주성분 분석을 수행하여 고유벡터를 산출한다(S1120). 투영계수 산출부(126)는 일치된 형상을 구성하는 특징점에 산출된 고유벡터를 승산하여 투영계수를 산출하여 투영계수집합을 생성한다(S1130). 다음으로 투영계수 산출부(126)는 산출된 투영계수로부터 학습 형상을 산출하여 학습 형상 특징점 집합을 생성한다(S1140).
템플릿 생성부(132)는 크기가 각각 다른 크기 가버 마스크와 위상이 각각 다른 위상 가버 마스크와 형상 특징점 집합의 각 특징점 사이의 상관계수인 가버값을 산출하여 각 학습 형상의 템플릿을 생성한다(S1150). 평균 템플릿 산출부(134)는 생성된 템플릿들을 평균하여 평균 템플릿을 생성한다(S1160). 구배율 산출부는 투영계수 집합 및 자세벡터 집합 각각의 변화에 대한 템플릿의 변화를 산출하여 각각의 투영계수 구배율 및 자세벡터 구배율을 산출한다(S1170).
도 12는 본 발명에 따른 얼굴인식장치에 대한 바람직한 일 실시예의 구성을 도시한 블록도이다.
도 12를 참조하면, 본 발명에 따른 얼굴인식장치는 초기 형상 검출부(1210), 템플릿 생성부(1220), 얼굴 형상 검출부(1230) 및 저장부(1240)을 구비한다.
초기 형상 검출부(1210)는 입력받은 영상으로부터 얼굴이 존재하는 얼굴 영역을 검출하고 검출된 영역에서 형상 특징점 집합을 검출한다. 초기 형상 검출부(1210)는 얼굴 영역 검출부(1212)와 특징점 검출부(1214)를 구비한다.
얼굴 영역 검출부(1212)는 입력받은 영상으로부터 얼굴이 존재하는 얼굴 영역을 검출한다. 입력받은 영상은 단일한 영상 프레임이거나 연속되는 영상 프레임으로 다양한 조명과 배경에서 다양한 자세와 표정을 갖는 얼굴을 촬영한 영상이다.
특징점 검출부(1214)는 얼굴 영역 검출부(1212)가 검출한 얼굴 영역으로부터 얼굴 형상의 윤곽을 이루는 점들 중에서 곡률의 변화가 특징점 검출 기준값 이상인 점들과 특징점 검출 기준값 이상인 점들을 기준으로 윤곽을 등간격으로 나눈 점들을 형상 특징점 집합으로 검출한다. 특징점 검출부(1214)는 도 2를 참조하여 설명한 본 발명에 따른 특징벡터 검출장치에 구비된 특징점 검출부(110)에 대응하는 구성요소이며, 특징벡터 검출장치에 구비된 특징점 검출부(110)와 달리 하나의 형상에 대한 특징점 집합을 검출한다.
템플릿 생성부(1220)는 위의 수학식 6의 값을 갖는 가버 마스크와 특징점 검출부(1214)가 검출한 형상 특징점 집합의 각 특징점 사이의 상관계수인 가버값을 산출하여 템플릿을 생성한다. 템플릿 생성부(1220)는 도 2를 참조하여 설명한 본 발명에 따른 특징벡터 검출장치에 구비된 템플릿 생성부(132)에 대응하는 구성요소이며, 특징벡터 검출장치에 구비된 템플릿 생성부(132)와 달리 학습 형상이 아닌 특징점 검출부(1214)가 검출한 얼굴 형상에 대한 템플릿을 생성한다.
얼굴 형상 검출부(1230)는 템플릿 생성부(1220)가 생성한 템플릿과 저장된 평균 템플릿의 차이값의 변화가 템플릿 변화 기준값 이하가 될 때까지 다음의 수학식 10과 수학식 11에 의해 각각 저장된 투영계수집합과 자세벡터집합을 갱신한다. 또한 얼굴 형상 검출부(1230)는 갱신된 투영계수집합으로부터 평균 얼굴 형상을 산출하고 생성된 얼굴 형상의 템플릿을 산출된 평균 얼굴 형상의 템플릿으로 교체를 반복적으로 수행한다.
여기서, C는 투영계수집합, Gc는 투영계수 구배율, Tcurr와 Tmean은 각각 상기 생성된 템플릿과 상기 저장된 평균 템플릿, α는 Tcurr - Tmean의 값을 최소하는 값으로 선택되는 값이다.
여기서, P는 자세벡터집합, Gp는 자세벡터 구배율이다.
최종적으로 얼굴 형상 검출부(1230)는 산출된 자세벡터집합을 평균하여 평균자세벡터를 산출하고, 산출된 평균 얼굴 형상에 산출된 평균자세벡터를 승산하여 얼굴 형상을 산출한다. 이를 위해 얼굴 형상 검출부(1230)는 얼굴 형상 갱신부(1232)와 얼굴 형상 산출부(1234)를 구비한다.
얼굴 형상 갱신부(1232)는 템플릿 생성부(1220)가 생성한 얼굴 형상의 템플릿과 저장된 평균 템플릿의 차이값의 변화가 템플릿 변화 기준값 이하가 될 때까지 수학식 10과 수학식 11에 의해 각각 저장된 투영계수집합과 자세벡터집합을 갱신하고, 저장된 고유벡터를 기초로 갱신된 투영계수집합으로부터 모델집합을 산출하고 산출된 모델집합을 평균하여 평균 얼굴 형상을 산출하고, 생성된 얼굴 형상의 템플릿을 평균 얼굴 형상의 형상 특징점 집합의 템플릿으로 교체를 수행한다. 템플릿 변화 기준값이 작을수록 보다 정확한 얼굴형상의 인식이 가능하지만, 연산 시간이 증가되므로 적정하게 설정되어야 한다. 실험적으로 템플릿 변화 기준값은 1로 설정된다. 평균 템플릿의 차이값(E(i))는 다음의 수학식 12로 나타낸다.
얼굴 형상 갱신부(1232)는 E(i)가 템플릿 변화 기준값 이하가 될 때까지 투영계수집합과 자세벡터집합을 갱신한다. 이러한 갱신 과정은 얼굴인식대상인 입력받은 영상에 촬영된 얼굴 형상을 투영계수집합과 자세벡터집합에 반영하여 얼굴 형상의 정확한 형태와 입력받은 영상에 촬영된 얼굴의 정확한 자세를 찾는 과정이다. 또한 얼굴 형상 갱신부(1232)는 투영계수집합을 갱신할 때마다 갱신된 투영계수 집합에 저장된 고유벡터를 승산하여 모델집합을 생성한다. 생성된 모델집합(Si')은 얼굴 형상의 주요성분으로서 수학식 5에 의해 산출된다. 수학식 5에서 Pi 갱신된 투영계수집합이며, Smean는 전 단계에 생성된 평균 얼굴 형상이거나 첫 수행시에는 저장된 평균 얼굴 형상이다. 또한 얼굴 형상 갱신부(1232)는 수학식 1에 의해 각각의 반복시마다 생성된 모델집합을 평균하여 평균 얼굴 형상을 산출한다. 마직막으로 얼굴 형상 갱신부(1232)는 산출된 평균 얼굴 형상에 대한 템플릿을 산출하고 산출된 템플릿을 전 단계에 산출된 템플릿과 교체한 후 상술한 동작을 반복해서 수행한다.
얼굴 형상 산출부(1234)는 얼굴 형상 갱신부(1236)가 최종적으로 갱신한 자세벡터집합을 평균하여 평균자세벡터를 산출하고, 얼굴 형상 갱신부(1236)가 최종적으로 산출한 평균 얼굴 형상에 산출된 평균자세벡터를 승산하여 얼굴 형상을 산출한다. 얼굴 형상 갱신부(1236)가 최종적으로 산출한 평균 얼굴 형상은 인식 대상 얼굴 형상의 형태가 되고, 평균자세벡터는 인식 대상 얼굴 형상의 자세가 된다.
저장부(1240)는 본 발명에 따른 특징벡터 검출장치가 산출한 투영계수집합과 자세벡터집합, 투영계수 구배율, 자세벡터 구배율, 평균 얼굴 형상, 평균 템플릿 및 고유벡터를 저장한다. 저장부(1240)는 얼굴 형상 검출부(1230)에 구비될 수 있다.
도 13은 본 발명에 따른 얼굴인식방법에 대한 바람직한 일 실시예의 수행과정을 도시한 흐름도이다.
도 13을 참조하면, 얼굴 영역 검출부(1212)는 입력받은 영상으로부터 얼굴이 존재하는 얼굴 영역을 검출한다(S1300). 특징점 검출부(1214)는 검출된 얼굴 영역으로부터 형상의 윤곽을 이루는 점들 중에서 곡률의 변화가 특징점 검출 기준값 이상인 점들과 곡률의 변화가 특징점 검출 기준값 이상인 점들을 기준으로 얼굴 형상의 윤곽을 등간격으로 나눈 점들을 형상 특징점 집합으로 검출한다(S1310). 템플릿 생성부(1220)는 각각 다른 크기 가버 마스크와 위상이 각각 다른 위상 가버 마스크 와 상기 형상 특징점 집합의 각 특징점 사이에 상관계수인 가버값을 산출하여 템플릿을 생성한다(S1320).
얼굴 형상 갱신부(1232)는 생성된 얼굴 형상의 템플릿과 저장된 평균 템플릿의 차이값과 투영계수 구배율과 자세벡터 구배율을 기초로 각각 저장된 투영계수집합과 자세벡터집합을 갱신한다(S1330). 다음으로 얼굴 형상 갱신부(1232)는 저장된 고유벡터를 기초로 갱신된 투영계수집합으로부터 모델집합을 산출한다(S1340). 얼굴 형상 갱신부(1232)는 산출된 모델집합을 평균하여 평균 얼굴 형상을 산출한다(S1350). 다음으로 얼굴 형상 갱신부(1232)는 생성된 얼굴형상의 템플릿을 평균 얼굴 형상의 형상 특징점 집합의 템플릿으로 교체한다(S1360). 또한 얼굴 형상 갱신부(1232)는 교체된 템플릿과 저장된 평균 템플릿의 차이값의 변화가 템플릿 변화 기준값 이하인지를 확인한다(S1370). 만약 교체된 템플릿과 저장된 평균 템플릿의 차이값의 변화가 템플릿 변화 기준값 이하이면, 얼굴 형상 산출부(1234)는 갱신된 자세벡터집합을 평균하여 평균자세벡터를 산출한다(S1380). 최종적으로 얼굴 형상 산출부(1234)는 산출된 평균 얼굴 형상에 산출된 평균자세벡터를 승산하여 얼굴 형상을 산출한다(S1390).
도 14a 및 도 14b는 각각 본 발명에 따른 얼굴인식장치로 입력되는 배경이 없는 영상의 예 및 본 발명에 따른 얼굴인식장치가 도 14a에 도시된 영상으로부터 얼굴인식을 수행한 결과를 도시한 도면이다. 도 14a 및 도 14b를 참조하면, 촬영된 영상에 배경에 의한 노이즈가 발생되지 않는 이상적인 경우에 본 발명에 따른 얼굴인식장치가 눈썹, 눈, 코, 입술 및 턱선을 정확하게 인식하는 것을 알 수 있다.
도 15a 및 도 15b는 각각 본 발명에 따른 얼굴인식장치로 입력되는 실내에서 촬영한 영상의 예 및 본 발명에 따른 얼굴인식장치가 도 15a에 도시된 영상으로부터 얼굴인식을 수행한 결과를 도시한 도면이다. 도 15a 및 도 15b를 참조하면, 영상이 실내에서 촬영되어 주위의 다른 사물에 의한 얼굴 형상의 왜곡 현상이 발생되는 경우에 본 발명에 따른 얼굴인식장치가 눈썹, 눈, 코, 입술, 턱선을 정확하게 인식하는 것을 알 수 있다. 또한 촬영된 영상에서 얼굴을 포함한 가슴 윗부분이 모두 촬영된 경우에도 얼굴 영역 부분이 정확하게 검출되어, 얼굴 형상이 정확하게 인식되는 것을 알 수 있다.
도 16a 및 도 16b는 각각 본 발명에 따른 얼굴인식장치로 입력되는 실외에서 촬영한 영상의 예 및 본 발명에 따른 얼굴인식장치가 도 16a에 도시된 영상으로부터 얼굴인식을 수행한 결과를 도시한 도면이다. 도 16a 및 도 16b를 참조하면, 영상이 실외에서 촬영되어 조명이 밝고 주위의 다른 사물에 의한 얼굴 형상의 왜곡 현상이 발생되는 경우에 본 발명에 따른 얼굴인식장치가 눈썹, 눈, 코, 입술, 턱선을 정확하게 인식하는 것을 알 수 있다. 또한 촬영된 영상에서 얼굴의 자세가 기울어져 있는 경우에도 얼굴 형상이 정확하게 인식되는 것을 알 수 있다.
도 17a 및 도 17b는 본 발명에 따른 얼굴인식장치로 입력되는 어두운 배경에서 촬영한 영상의 예 및 본 발명에 따른 얼굴인식장치가 도 17a에 도시된 영상으로부터 얼굴인식을 수행한 결과를 도시한 도면이다. 도 17a 및 도 17b를 참조하면, 영상이 실외에서 촬영되어 조명이 어두운 경우에 본 발명에 따른 얼굴인식장치가 눈썹, 눈, 코, 입술, 턱선을 정확하게 인식하는 것을 알 수 있다. 또한 촬영된 영 상에서 얼굴이 정면이 아닌 옆면이 촬영된 경우에도 얼굴 형상의 형태와 자세가 정확하게 인식되는 것을 알 수 있다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
이상에서 본 발명의 바람직한 실시예에 대해 도시하고 설명하였으나, 본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.
본 발명에 따른 얼굴인식장치 및 방법에 의하면 기존의 얼굴인식장치보다 불균일한 조명에서 촬영된 영상 및 얼굴의 자세 및 표정변화가 다양한 얼굴을 촬영한 영상으로부터 얼굴 형상을 빠르고 정확하게 인식할 수 있다. 따라서 본 발명에 따른 얼굴인식장치는 주장차이나 어두운 골목길 등에서 감시용 카메라로 촬영된 범죄 자의 얼굴 영상을 통해 범죄자의 신원 정보를 찾는 범죄수사 분야 및 건물출입통제관리 시스템 분야에 이용할 수 있다. 특히 본 발명에 따른 얼굴인식장치는 다양한 얼굴의 표정을 표현하는 것이 필요한 아바타 디자인 분야에까지 활용이 가능하다.
Claims (17)
- 입력받은 형상 특징점 집합의 특징점들로 구성되는 각각의 객체형상을 정규화하여 자세벡터집합을 산출하고, 상기 정규화된 형상들에 대해 산출한 고유벡터를 기초로 투영계수집합 및 학습 형상 특징점 집합을 산출하는 모델 산출부;다음의 수학식의 값을 갖는 가버 마스크와 상기 학습 형상 특징점 집합의 각 특징점 사이의 상관계수인 가버값을 산출하여 학습 형상 특징점 집합의 각 특징점으로 구성되는 각각의 학습 형상의 템플릿을 생성하고, 상기 생성된 템플릿들을 평균하여 평균 템플릿을 생성하는 평균 템플릿 생성부; 및상기 투영계수 집합 및 상기 자세벡터 집합 각각의 변화에 대한 템플릿의 변화 정도를 나타내는 투영계수 구배율 및 자세벡터 구배율을 산출하는 구배율 산출부;를 포함하는 것을 특징으로 하는 특징벡터 검출장치:,
여기서, x 및 y는 각각 x축과 y축의 좌표값, θ는 가버 마스크의 방향, λ는 파형의 길이, φ는 삼각함수의 위상, σ는 가우시언의 반경, τ는 가우시언의 가로세로 비율, x´=xcosθ+ysinθ, 그리고, y´=-xsinθ+ycosθ이다. - 제 1항에 있어서,입력받은 각각의 영상으로부터 상기 객체형상의 윤곽을 이루는 점들 중에서 곡률의 변화가 제1설정값 이상인 점들과 상기 곡률의 변화가 제1설정값 이상인 점들을 기준으로 상기 객체형상의 윤곽을 등간격으로 나눈 점들을 형상 특징점 집합으로 검출하는 특징점 검출부;를 더 포함하는 것을 특징으로 하는 특징벡터 검출장치.
- 제 1항에 있어서,상기 모델 산출부는,입력받은 형상 특징점 집합의 특징점들로 구성되는 각각의 객체형상의 무게중심, 방향 및 크기를 일치시키며, 상기 객체형상의 방향의 이동 정보로 이루어진 자세벡터집합을 산출하는 형상 정규화부;상기 무게중심, 방향 및 크기가 일치된 객체형상들에 대해 주요 요소 분석(Principal Component Analysis : PCA)을 수행하여 고유벡터를 산출하는 고유벡터 산출부; 및상기 무게중심, 방향 및 크기가 일치된 객체형상을 구성하는 특징점에 상기 산출된 고유벡터를 승산하여 산출된 투영계수로 이루어진 투영계수집합을 생성하고, 상기 산출된 투영계수로부터 학습 형상을 산출하여 학습 형상 특징점 집합을 생성하는 투영계수 산출부;를 포함하는 것을 특징으로 하는 특징벡터 검출장치.
- 제 1항에 있어서,상기 평균 템플릿 생성부는,크기가 각각 다른 크기 가버 마스크 및 위상이 각각 다른 위상 가버 마스크와 상기 형상 특징점 집합의 각 특징점 사이의 상관계수인 가버값을 산출하여 각각의 학습 형상의 템플릿을 생성하는 템플릿 생성부; 및상기 생성된 학습 형상의 템플릿들을 평균하여 평균 템플릿을 생성하는 평균 템플릿 산출부;를 포함하는 것을 특징으로 하는 특징벡터 검출장치.
- 입력받은 형상 특징점 집합의 특징점들로 구성되는 각각의 객체형상을 정규화하여 자세벡터집합을 산출하고, 상기 정규화된 형상들에 대해 산출한 고유벡터를 기초로 투영계수집합 및 학습 형상 특징점 집합을 산출하는 모델 산출단계;다음의 수학식의 값을 갖는 가버 마스크와 상기 학습 형상 특징점 집합의 각 특징점 사이의 상관계수인 가버값을 산출하여 학습 형상 특징점 집합의 각 특징점으로 구성되는 각각의 학습 형상의 템플릿을 생성하고, 상기 생성된 템플릿들을 평균하여 평균 템플릿을 생성하는 평균 템플릿 생성단계; 및상기 투영계수 집합 및 상기 자세벡터 집합 각각의 변화에 대한 템플릿의 변화 정도를 나타내는 투영계수 구배율 및 자세벡터 구배율을 산출하는 구배율 산출단계;를 포함하는 것을 특징으로 하는 특징벡터 검출방법:,
여기서, x 및 y는 각각 x축과 y축의 좌표값이고, θ는 가버 마스크의 방향, λ는 파형의 길이, φ는 삼각함수의 위상, σ는 가우시언의 반경, τ는 가우시언의 가로세로 비율, x´=xcosθ+ysinθ이고, y´=-xsinθ+ycosθ이다. - 제 5항에 있어서,입력받은 각각의 영상으로부터 상기 객체형상의 윤곽을 이루는 점들 중에서 곡률의 변화가 사전에 설정된 제1설정값 이상인 점들과 상기 곡률의 변화가 상기 제1설정값 이상인 점들을 기준으로 상기 객체형상의 윤곽을 등간격으로 나눈 점들을 형상 특징점 집합으로 검출하는 특징점 검출단계;를 더 포함하는 것을 특징으로 하는 특징벡터 검출방법.
- 제 5항에 있어서,상기 모델 산출단계는,입력받은 형상 특징점 집합의 특징점들로 구성되는 각각의 형상의 무게중심과 방향 및 크기를 일치시키며, 상기 객체형상의 방향의 이동 정보로 이루어진 자세벡터집합을 산출하는 형상 정규화단계;상기 무게중심, 방향 및 크기가 일치된 형상들에 대해 주요 요소 분석(Principal Component Analysis : PCA)을 수행하여 고유벡터를 산출하는 고유벡터 산출단계; 및상기 무게중심, 방향 및 크기가 일치된 형상을 구성하는 특징점에 상기 산출된 고유벡터를 승산하여 산출된 투영계수로 이루어진 투영계수집합을 생성하고, 상기 산출된 투영계수로부터 학습 형상을 산출하여 학습 형상 특징점 집합을 생성하 는 투영계수 산출단계;를 포함하는 것을 특징으로 하는 특징벡터 검출방법.
- 제 5항에 있어서,상기 평균 템플릿 생성단계는,크기가 각각 다른 크기 가버 마스크 및 위상이 각각 다른 위상 가버 마스크와 상기 형상 특징점 집합의 각 특징점 사이의 상관계수인 가버값을 산출하여 각각의 학습 형상의 템플릿을 생성하는 템플릿 생성단계; 및상기 생성된 학습 형상의 템플릿들을 평균하여 평균 템플릿을 생성하는 평균 템플릿 산출단계;를 포함하는 것을 특징으로 하는 특징벡터 검출방법.
- 입력받은 영상으로부터 얼굴이 존재하는 영역을 검출하고 검출된 영역에서 형상 특징점 집합을 검출하는 초기 형상 검출부;다음의 수학식 1의 값을 갖는 가버 마스크와 상기 형상 특징점 집합의 각 특징점 사이의 상관계수인 가버값을 산출하여 상기 형상 특징점 집합의 각 특징적으로 구성되는 얼굴 형상의 템플릿을 생성하는 템플릿 생성부; 및상기 생성된 템플릿과 저장된 평균 템플릿의 차이값의 변화가 제1설정값 이하가 될 때까지 다음의 수학식 2과 수학식 3에 의해 각각 저장된 투영계수집합과 자세벡터집합을 갱신하고, 상기 생성된 얼굴 형상의 템플릿을 상기 갱신된 투영계수집합으로부터 산출된 평균 얼굴 형상의 템플릿으로 교체하고, 상기 산출된 평균 얼굴 형상에 상기 자세벡터집합을 평균하여 산출된 평균자세벡터를 승산하여 얼굴 형상을 산출하는 얼굴 형상 검출부;를 포함하는 것을 특징으로 하는 얼굴인식장치:[수학식 1],
여기서, x 및 y는 각각 x축과 y축의 좌표값, θ는 가버 마스크의 방향, λ는 파형의 길이, φ는 삼각함수의 위상, σ는 가우시언의 반경, τ는 가우시언의 가로세로 비율, x´=xcosθ+ysinθ이고, y´=-xsinθ+ycosθ이고,[수학식 2],
여기서, C는 투영계수집합, Gc는 투영계수 구배율, Tcurr와 Tmean은 각각 상기 생성된 템플릿과 상기 저장된 평균 템플릿, α는 Tcurr - Tmean 의 값을 최소하는 값으로 선택되는 값이며,[수학식 3],
여기서, P는 자세벡터집합, Gp는 자세벡터 구배율이다. - 제 9항에 있어서,상기 초기 형상 검출부는,입력받은 영상으로부터 얼굴이 존재하는 영역을 검출하는 얼굴 영역 검출부; 및상기 검출된 얼굴 영역으로부터 상기 얼굴 형상의 윤곽을 이루는 점들 중에서 곡률의 변화가 제2설정값 이상인 점들과 상기 곡률 변화가 제2설정값 이상인 점들을 기준으로 상기 얼굴 형상의 윤곽을 등간격으로 나눈 점들을 형상 특징점 집합으로 검출하는 특징점 검출부;를 포함하는 것을 특징으로 하는 얼굴인식장치.
- 제 9항에 있어서,상기 템플릿 생성부는 크기가 각각 다른 크기 가버 마스크 및 위상이 각각 다른 위상 가버 마스크와 상기 형상 특징점 집합의 각 특징점 사이의 상관계수인 가버값을 산출하여 상기 얼굴 형상의 템플릿을 생성하는 것을 특징으로 하는 얼굴인식장치.
- 제 9항에 있어서,상기 얼굴 형상 검출부는,상기 생성된 얼굴 형상의 템플릿과 저장된 평균 템플릿의 차이값의 변화가 상기 제1설정값 이하가 될 때까지 상기 수학식 2과 상기 수학식 3에 의해 각각 저장된 투영계수집합과 자세벡터집합을 갱신하고, 저장된 고유벡터를 기초로 상기 갱신된 투영계수집합으로부터 산출된 모델집합을 평균하여 평균 얼굴 형상을 산출하고, 상기 생성된 얼굴 형상의 템플릿을 평균 얼굴 형상의 형상 특징점 집합의 템플릿으로 교체하는 얼굴 형상 갱신부; 및상기 산출된 평균 얼굴 형상에 상기 갱신된 자세벡터집합을 평균하여 산출된 평균자세벡터를 승산하여 얼굴 형상을 산출하는 얼굴 형상 산출부;를 포함하는 것을 특징으로 하는 얼굴인식장치.
- 입력받은 영상으로부터 검출된 얼굴이 존재하는 얼굴 영역에서 형상 특징점 집합을 검출하는 초기 형상 검출단계;다음의 수학식 1의 값을 갖는 가버 마스크와 상기 형상 특징점 집합의 각 특징점 사이의 상관계수인 가버값을 산출하여 상기 형상 특징점 집합의 각 특징적으로 구성되는 얼굴 형상의 템플릿을 생성하는 템플릿 생성단계; 및상기 생성된 템플릿과 저장된 평균 템플릿의 차이값의 변화가 제1설정값 이하가 될 때까지 다음의 수학식 2과 수학식 3에 의해 저장된 투영계수집합과 자세벡터집합을 갱신하고, 상기 생성된 얼굴 형상의 템플릿을 상기 갱신된 투영계수집합으로부터 산출된 평균 얼굴 형상의 템플릿으로 교체하고, 상기 산출된 평균 얼굴 형상에 상기 자세벡터집합을 평균하여 산출된 평균자세벡터를 승산하여 얼굴 형상을 산출하는 얼굴 형상 검출단계;를 포함하는 것을 특징으로 하는 얼굴인식방법:[수학식 1],
여기서, x 및 y는 각각 x축과 y축의 좌표값, θ는 가버 마스크의 방향, λ는 파형의 길이, φ는 삼각함수의 위상, σ는 가우시언의 반경, τ는 가우시언의 가로 세로 비율, x´=xcosθ+ysinθ이고, y´=-xsinθ+ycosθ이고,[수학식 2],
여기서, C는 투영계수집합, Gc는 투영계수 구배율, Tcurr와 Tmean은 각각 상기 생성된 템플릿과 상기 저장된 평균 템플릿, α는 Tcurr - Tmean 의 값을 최소하는 값으로 선택되는 값이며,[수학식 3],
여기서, P는 자세벡터집합, Gp는 자세벡터 구배율이다. - 제 13항에 있어서,상기 초기 형상 검출단계는,입력받은 영상으로부터 얼굴이 존재하는 얼굴 영역을 검출하는 얼굴 영역 검출단계; 및상기 검출된 얼굴 영역으로부터 얼굴 형상의 윤곽을 이루는 점들 중에서 곡률의 변화가 사전에 설정된 제2설정값 이상인 점들과 상기 곡률의 변화가 상기 제2설정값 이상인 점들을 기준으로 상기 얼굴형상의 윤곽을 등간격으로 나눈 점들을 형상 특징점 집합으로 검출하는 특징점 검출단계;를 포함하는 것을 특징으로 하는 얼굴인식방법.
- 제 13항에 있어서,상기 템플릿 생성단계는 크기가 각각 다른 크기 가버 마스크 및 위상이 각각 다른 위상 가버 마스크와 상기 형상 특징점 집합의 각 특징점 사이의 상관계수인 가버값을 산출하여 상기 얼굴 형상의 템플릿을 생성하는 것을 특징으로 하는 얼굴인식방법.
- 제 13항에 있어서,상기 얼굴 형상 검출단계는,상기 생성된 얼굴 형상의 템플릿과 저장된 평균 템플릿의 차이값의 변화가 상기 제1설정값 이하가 될 때까지 상기 수학식 2과 상기 수학식 3에 의해 저장된 투영계수집합과 자세벡터집합을 갱신하고, 저장된 고유벡터를 기초로 상기 갱신된 투영계수집합으로부터 산출된 모델집합을 평균하여 평균 얼굴 형상을 산출하고, 상기 생성된 얼굴 형상의 템플릿을 평균 얼굴 형상의 형상 특징점 집합의 템플릿으로 교체하는 얼굴 형상 갱신단계; 및상기 산출된 평균 얼굴 형상에 상기 갱신된 자세벡터집합을 평균하여 산출된 평균자세벡터를 승산하여 얼굴 형상을 산출하는 얼굴 형상 산출단계;를 포함하는 것을 특징으로 하는 얼굴인식방법.
- 제 5항 내지 제 8항 또는 제 13항 내지 제 16항 중 어느 한 항에 기재된 방 법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020060134040A KR100855631B1 (ko) | 2006-12-26 | 2006-12-26 | 특징벡터 검출장치 및 방법, 그리고, 이를 이용한얼굴인식장치 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020060134040A KR100855631B1 (ko) | 2006-12-26 | 2006-12-26 | 특징벡터 검출장치 및 방법, 그리고, 이를 이용한얼굴인식장치 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20080060007A KR20080060007A (ko) | 2008-07-01 |
| KR100855631B1 true KR100855631B1 (ko) | 2008-09-01 |
Family
ID=39812705
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020060134040A Expired - Fee Related KR100855631B1 (ko) | 2006-12-26 | 2006-12-26 | 특징벡터 검출장치 및 방법, 그리고, 이를 이용한얼굴인식장치 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR100855631B1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012044335A1 (en) * | 2010-09-30 | 2012-04-05 | Intuit Inc. | Recognizing a feature of an image independently of the orientation or scale of the image |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101618814B1 (ko) | 2012-10-09 | 2016-05-09 | 에스케이텔레콤 주식회사 | 단일객체에 대한 기울기를 추정하는 영상을 감시하는 장치 및 방법 |
| CN104125396B (zh) * | 2014-06-24 | 2018-06-08 | 小米科技有限责任公司 | 图像拍摄方法和装置 |
| KR102205498B1 (ko) * | 2014-09-18 | 2021-01-20 | 삼성전자주식회사 | 입력 영상으로부터 특징을 추출하는 방법 및 장치 |
| CN104486542A (zh) * | 2014-11-28 | 2015-04-01 | 广东欧珀移动通信有限公司 | 一种触发拍照的方法及装置 |
| PH12018500541B1 (en) * | 2015-09-11 | 2024-04-12 | Jumio Corp | Method and system for determining a quality metric in biometric authentication |
| US11393124B2 (en) * | 2018-03-06 | 2022-07-19 | Sony Corporation | Information processing apparatus, information processing method, and program |
| CN109919052B (zh) * | 2019-02-22 | 2021-05-14 | 武汉捷丰天泽信息科技有限公司 | 刑侦模拟画像模型生成方法、刑侦模拟画像方法及装置 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5802208A (en) | 1996-05-06 | 1998-09-01 | Lucent Technologies Inc. | Face recognition using DCT-based feature vectors |
| JP2004139596A (ja) | 2002-10-15 | 2004-05-13 | Samsung Electronics Co Ltd | 顔認識及び検索用特徴ベクトル抽出方法及びその装置 |
-
2006
- 2006-12-26 KR KR1020060134040A patent/KR100855631B1/ko not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5802208A (en) | 1996-05-06 | 1998-09-01 | Lucent Technologies Inc. | Face recognition using DCT-based feature vectors |
| JP2004139596A (ja) | 2002-10-15 | 2004-05-13 | Samsung Electronics Co Ltd | 顔認識及び検索用特徴ベクトル抽出方法及びその装置 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012044335A1 (en) * | 2010-09-30 | 2012-04-05 | Intuit Inc. | Recognizing a feature of an image independently of the orientation or scale of the image |
| GB2498126A (en) * | 2010-09-30 | 2013-07-03 | Intuit Inc | Recognizing a feature of an image independently of the orientation or scale of the image |
| US8532391B2 (en) | 2010-09-30 | 2013-09-10 | Intuit Inc. | Recognizing a feature of an image independently of the orientation or scale of the image |
| GB2498126B (en) * | 2010-09-30 | 2018-03-07 | Intuit Inc | Recognizing a feature of an image independently of the orientation or scale of the image |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20080060007A (ko) | 2008-07-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100855631B1 (ko) | 특징벡터 검출장치 및 방법, 그리고, 이를 이용한얼굴인식장치 및 방법 | |
| Sung et al. | Example-based learning for view-based human face detection | |
| Meena et al. | An approach to face detection and recognition | |
| JP4469275B2 (ja) | ポーズ角度を推定するためのシステムおよび方法 | |
| CN104573614B (zh) | 用于跟踪人脸的设备和方法 | |
| Lin et al. | Face recognition/detection by probabilistic decision-based neural network | |
| AU734055B2 (en) | Principle component analysis of image/control-point location coupling for the automatic location of control points | |
| Han et al. | Fast face detection via morphology-based pre-processing | |
| KR100647322B1 (ko) | 객체의 모양모델 생성장치 및 방법과 이를 이용한 객체의특징점 자동탐색장치 및 방법 | |
| Ranjan et al. | Unconstrained age estimation with deep convolutional neural networks | |
| CN110363047A (zh) | 人脸识别的方法、装置、电子设备和存储介质 | |
| JP4951498B2 (ja) | 顔画像認識装置、顔画像認識方法、顔画像認識プログラムおよびそのプログラムを記録した記録媒体 | |
| CN104123749A (zh) | 一种图像处理方法及系统 | |
| JPH10320562A (ja) | 人間の顔の検出システムおよび検出方法 | |
| Tarrés et al. | A novel method for face recognition under partial occlusion or facial expression variations | |
| Li et al. | Modelling faces dynamically across views and over time | |
| De Smet et al. | A generalized EM approach for 3D model based face recognition under occlusions | |
| Zhu et al. | Robust pose invariant facial feature detection and tracking in real-time | |
| Teijeiro-Mosquera et al. | Performance of active appearance model-based pose-robust face recognition | |
| Hosoi et al. | Restoring occluded regions using FW-PCA for face recognition | |
| Bourbakis et al. | Skin-based face detection-extraction and recognition of facial expressions | |
| Pflug et al. | Segmentation and normalization of human ears using cascaded pose regression | |
| Lefevre et al. | Structure and appearance features for robust 3d facial actions tracking | |
| Sukno et al. | Active shape models with invariant optimal features (IOF-ASMs) | |
| Li et al. | Modeling Bayesian estimation for deformable contours |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20061226 |
|
| PA0201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20080131 Patent event code: PE09021S01D |
|
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20080527 |
|
| PG1501 | Laying open of application | ||
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20080826 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20080826 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration | ||
| FPAY | Annual fee payment |
Payment date: 20110826 Year of fee payment: 4 |
|
| PR1001 | Payment of annual fee |
Payment date: 20110826 Start annual number: 4 End annual number: 4 |
|
| LAPS | Lapse due to unpaid annual fee | ||
| PC1903 | Unpaid annual fee |