KR100888476B1 - 얼굴이 포함된 영상에서 얼굴의 특징을 추출하는 방법 및장치. - Google Patents

얼굴이 포함된 영상에서 얼굴의 특징을 추출하는 방법 및장치. Download PDF

Info

Publication number
KR100888476B1
KR100888476B1 KR1020070016034A KR20070016034A KR100888476B1 KR 100888476 B1 KR100888476 B1 KR 100888476B1 KR 1020070016034 A KR1020070016034 A KR 1020070016034A KR 20070016034 A KR20070016034 A KR 20070016034A KR 100888476 B1 KR100888476 B1 KR 100888476B1
Authority
KR
South Korea
Prior art keywords
face
values
image
positions
merging
Prior art date
Application number
KR1020070016034A
Other languages
English (en)
Other versions
KR20080076293A (ko
Inventor
이종하
김정배
문영수
박규태
황원준
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020070016034A priority Critical patent/KR100888476B1/ko
Priority to US11/896,300 priority patent/US8111880B2/en
Publication of KR20080076293A publication Critical patent/KR20080076293A/ko
Application granted granted Critical
Publication of KR100888476B1 publication Critical patent/KR100888476B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 얼굴이 포함된 영상에서 얼굴의 특징을 추출하는 방법 및 장치에 관한 것으로, 입력되는 영상을 영상 내의 소정의 위치들 각각에서 인식용 필터 세트로 필터링하고, 소정의 위치들 중에서 얼굴의 중앙을 기준으로 좌우가 대칭되는 위치들에서 필터링된 값들을 머징(Merging)한 후, 필터링된 값들과 머징된 값들을 합성함으로써, 얼굴의 특징을 추출하거나 비교함에 있어 수행되는 시간, 특징 값 및 저장 공간을 크게 줄일 수 있다. 또한, 낮은 하드웨어 사양에서도 잘 동작하는 얼굴 인식 시스템을 구현할 수 있다.

Description

얼굴이 포함된 영상에서 얼굴의 특징을 추출하는 방법 및 장치.{Method and apparatus to extract feature of face in image which contains face.}
도 1은 얼굴의 특징을 추출하여 얼굴 인식을 수행하는 일반적인 얼굴 인식 장치의 구성을 나타낸 도면이다.
도 2는 도 1의 1차 특징 벡터 추출부를 보다 상세히 나타낸 도면이다.
도 3은 도 1의 2차 특징 벡터 추출부를 보다 상세히 나타낸 도면이다.
도 4는 본 발명의 바람직한 일 실시예에 따라 1차 특징 벡터를 추출하는 장치를 나타낸 도면이다.
도 5a는 본 발명의 바람직한 일 실시예에서 사용하는 인식용 필터 세트의 실수 부분을 나타낸 도면이다.
도 5b는 본 발명의 바람직한 일 실시예에서 사용하는 인식용 필터 세트의 허수 부분을 나타낸 도면이다.
도 6은 본 발명의 바람직한 일 실시예에 따라 머징을 수행하는 대칭되는 기준점의 위치를 나타낸 도면이다.
도 7은 본 발명의 바람직한 일 실시예에 따라 1차 특징 벡터를 추출하는 방법을 나타낸 도면이다.
본 발명은 얼굴이 포함된 영상에서 얼굴의 특징을 추출하는 방법 및 장치에 관한 것으로, 얼굴의 대칭 정보를 이용하여 얼굴의 특징을 추출하는데 걸리는 시간 및 연산량을 줄이면서 효율적으로 얼굴이 포함된 영상에서 얼굴의 특징을 추출하는 방법 및 장치에 관한 것이다.
얼굴이 포함된 영상에서 얼굴의 특징을 추출하여, 사람을 구별하는 얼굴 인식 기술은 여러 분야에서 다양하게 사용되고 있다. 그러나, 이러한 얼굴의 특징을 추출하는데 있어서, 많은 연산량 및 데이터를 저장하는 저장 공간이 요구되므로, 상대적으로 저사양의 CPU 및 소량의 메모리 공간을 사용하는 모바일(mobile) 디바이스에서는 얼굴 인식을 수행하는 것이 용이하지 않았었다.
도 1은 얼굴의 특징을 추출하여 얼굴 인식을 수행하는 일반적인 얼굴 인식 장치의 구성을 나타낸 도면이다.
얼굴 인식을 수행하는 일반적인 얼굴 인식 장치는 정규화부(100), 1 차 특징 벡터 추출부(110), 2 차 특징 벡터 추출부(120) 및 비교부(130)를 포함한다.
카메라 센서와 같은 입력 단자 IN 1을 통해 얼굴이 포함된 영상이 정규화부(100)로 입력된다. 영상이 입력되면, 정규화부(100)는 얼굴 인식에 적합하도록 입력된 영상을 정규화한다. 정규화부(100)는 먼저 입력된 영상에서 사람의 얼굴 위치를 검출한 후, 검출된 영역에서 다시 두 눈의 위치를 검출한다. 검출된 두 눈의 위치를 중심으로 입력된 영상을 회전 및 리사이징(resizing)하여 입력되는 영상의 특징을 추출할 수 있도록 정규화한다. 또한, 필요한 경우에는 조명 보상과 같은 전처리 과정을 수행한다.
1차 특징 벡터 추출부(110)는 정규화된 입력 영상을 입력받고, 정규화된 입력 영상 내에서 두 눈을 기준으로 미리 정해 놓은 P개의 기준점(Fiducial Point)의 위치에서 얼굴 인식용 필터 세트로 필터링하여 1차 특징 벡터를 추출한다. 이때, 기준점(Fiducial)이란, 얼굴의 특징을 잘 나타내는 얼굴 내의 특정 위치를 의미한다.
2차 특징 벡터 추출부(120)는 1차 특징 벡터를 입력 받고, 입력 받은 1차 특징 벡터의 차원을 감소시켜 2차 특징 벡터를 추출한다. 즉, 2차 특징 벡터 추출부(120)는 PCA(Principle Component Analysis)/LDA(Linear Discriminant Analysis)와 같은 차원감소 해석 기법을 적용하여 2차 특징 벡터를 추출한다. 2차 특징 벡터는 얼굴 인식에 직접적으로 사용하므로, 얼굴 인식용 특징 벡터라고도 한다.
비교부(130)는 입력 단자 IN 2를 통해 미리 저장된 얼굴 인식 벡터를 입력 받고, 2차 특징 벡터 추출부(120)로부터 2차 특징 벡터를 입력받는다. 비교부(130)는 2차 특징 벡터와 미리 저장된 얼굴 인식용 특징 벡터의 상관성(correlation)이나 거리(distance) 등을 비교하여 2차 특징 벡터와 미리 저장된 얼굴 인식용 특징 벡터의 유사도를 구한다. 이때, 필요한 경우에는 적절한 후처리를 수행하여, 유사도를 구한다. 비교부(130)를 통해 구해진 유사도는 출력 단자 OUT 2를 통해 출력된다.
도 2는 도 1의 1차 특징 벡터 추출부를 보다 상세히 나타낸 도면이다.
도 2에 도시된 1차 특징 벡터 추출부(110)는 필터링 처리부(200) 및 후처리부(210)를 포함한다.
필터링 처리부(200)는 입력 단자 IN 3을 통해 정규화된 영상을 입력 받는다. 또한, 입력 단자 IN 4를 통해 영상의 두 눈을 기준으로 미리 정해진 P개의 기준점(Fiducial Point)을 입력 받고, 입력 단자 IN 5를 통해 인식용 필터링 세트를 입력받는다. 필터링 처리부(200)는 입력되는 영상 중 두 눈을 기준으로 미리 정해진 P개의 기준점(Fiducial point)의 위치들에서 인식용 필터 세트로 필터링을 수행한다. 이때, 인식용 필터 세트가 J개의 필터로 구성되면, 필터링 처리부(200)는 P개의 기준점의 위치에서 J개의 필터로 필터링을 수행하므로, 필터링 처리부(200)를 통해 추출된 1차 특징 벡터의 크기는 기준점의 개수와 필터의 개수의 곱이 된다. 즉, 1차 특징 벡터(w)의 크기(N)는 기준 점의 개수(P)와 필터의 개수(J)의 곱이 된다.
도 3은 도 1의 2차 특징 벡터 추출부를 보다 상세히 나타낸 도면이다.
도 3에 도시된 2차 특징 벡터 추출부(120)는 프로젝션부(300)를 포함한다.
프로젝션부(300)는 입력 단자 IN 6을 통해 1차 특징 벡터를 입력 받는다. 또한 입력 단자 IN 7을 통해 PCA(Principle Component Analysis)와 LDA(Linear Discriminant Analysis) 학습을 통해 얻어진 인식용 기저 매트릭스(Basis Matrix)를 입력 받는다. 프로젝션부(300)는 입력 단자 IN 6을 통해 입력 받은 1차 특징 벡터를 PCA와 LDA 학습을 통해 얻어진 인식용 기저 매트릭스(Basis Matrix)에 투영시켜 2차 특징 벡터를 추출한다. 이 때, 인식용 기저 매트릭스로는 1차 특징 벡터의 크기(N)*인식률이나 인식속도를 고려하여 적절하게 설정된 값(M)의 크기를 갖는 매트릭스를 사용한다. 따라서, 2차 특징 벡터는 M의 크기를 갖는다. 이때, N은 M보다 그 크기가 매우 큰 값을 가진다.
상기 살펴본 바와 같이, 입력되는 영상의 특징을 추출하여 얼굴 인식을 수행하기 위해서는 1차 특징 벡터를 추출하고, 추출된 1차 특징 벡터를 PCA(Principle Component Analysis)와 LDA(Linear Discriminant Analysis) 학습을 통해 얻어진 인식용 기저 매트릭스에 투영시켜 2 차 특징 벡터를 추출하는 과정이 필요하다. 이와 같은 1차 특징 벡터 및 2 차 특징 벡터의 추출을 수행하는 과정에서는 많은 연산 과정과 많은 저장 공간이 필요하므로, 낮은 하드웨어 사양의 얼굴 인식 장치에서는 얼굴 인식을 원활하게 수행할 수 없는 문제점이 있었다.
본 발명이 이루고자 하는 기술적 과제는 저사양의 CPU 및 소량의 메모리 공간을 사용하는 장치에서도 입력되는 영상에서 얼굴의 특징을 원활하게 추출할 수 있는 방법 및 장치를 제공하는데 있다.
또한, 상기된 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공하는데 있다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기 문제점을 해결하기 위한 본 발명에 따른 얼굴이 포함된 영상에서 얼굴의 특징을 추출하는 방법은 입력되는 영상을 상기 영상 내의 소정의 위치들 각각에서 인식용 필터 세트로 필터링하는 단계; 상기 소정의 위치들 중에서 상기 얼굴의 중앙을 기준으로 좌우가 대칭되는 위치들에서 필터링된 값들을 머징(Merging)하는 단계; 및 상기 필터링된 값들과 상기 머징된 값들을 합성하는 단계를 포함한다.
상기 다른 기술적 과제를 해결하기 위하여, 본 발명에 따른 얼굴이 포함된 영상에서 얼굴의 특징을 추출하는 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
상기 또 다른 기술적 과제를 해결하기 위하여, 본 발명에 따른 얼굴이 포함된 영상에서 얼굴의 특징을 추출하는 장치는 입력되는 영상을 상기 영상 내의 소정의 위치들 각각에서 인식용 필터 세트로 필터링하는 필터링 처리부; 상기 소정의 위치들 중에서 상기 얼굴의 중앙을 기준으로 좌우가 대칭되는 위치들에서 필터링된 값들을 머징(Merging)하는 머징부; 및 상기 필터링 처리부를 통해 필터링된 값들과 상기 머징부를 통해 머징된 값들을 합성하는 합성부를 포함한다.
이하에서는 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다.
도 4는 본 발명의 바람직한 일 실시예에 따라 1차 특징 벡터를 추출하는 장치를 나타낸 도면이다.
본 발명의 바람직한 일 실시예에 따라 1차 특징 벡터를 추출하는 장치는 제 1 필터링 처리부(400), 제 2 필터링 처리부(410) 및 머징부(420)를 포함한다.
제 1 필터링 처리부(400)는 입력 단자 IN 7을 통해 정규화된 영상을 입력 받 는다. 또한, 제 1 필터링 처리부(400)는 입력 단자 IN 8을 통해 기준점(Fiducila Point) 중 얼굴의 중앙을 기준으로 좌우 대칭인 S쌍의 기준점들을 입력 받고, 입력 단자 IN 9을 통해 J개의 크기를 갖는 인식용 필터 세트를 입력 받는다. 1 쌍의 기준점들은 2 개의 기준점들을 나타내므로, S 쌍의 기준점들은 2S 개의 기준점들의 개수와 동일하다.
도 5a 및 도 5b는 본 발명의 바람직한 일 실시예에서 사용하는 인식용 필터 세트를 나타낸 도면이다.
본 발명의 바람직한 일 실시예에서는 인식용 필터 세트로 가보 필터 세트(Gabor Filter Set)를 사용하는데, 가보 필터 세트는 도 5a 및 도 5b에 도시된 바와 같이 3개의 크기(Scale), 8개의 방향, 실수(real)와 허수(imaginary)로 분류된다. 따라서, 가보 필터 세트의 개수(J)는 3*8*2=48이 된다. 도 5a는 가보 필터 세트의 실수 부분을 나타낸 도면이고, 도 5b는 가보 필터 세트의 허수 부분을 나타낸 도면이다. 도 5a에 도시된 실수 부분에서 같은 행은 동일한 크기를 갖는 필터를 나타내고, 같은 열은 동일한 방향을 갖는 필터를 나타낸다. 이와 동일하게, 도 5b에 도시된 허수 부분에서도 같은 행은 동일한 크기를 갖는 필터를 나타내고, 같은 열은 동일한 방향을 갖는 필터를 나타낸다. 여기서 1차 특징 벡터(w)의 크기(N)는 기준점들의 개수(P)와 필터의 개수(J)의 곱(P*J)이 되며, 아래와 같이 표현할 수 있다.
w={fj ,p: j∈{0,1,2......J-1}, p∈{0,1,2,3....P-1}}
다시 도 4를 참조하면, 제 1 필터링 처리부(400)는 입력 단자 IN 8을 통해 입력 받은 좌우 대칭인 기준점의 위치에서 인식용 필터 세트로 필터링한다. 이 때, 가보 필터의 수식은 [수학식 1]과 같이 표현할 수 있다.
Figure 112007014241575-pat00001
이때, μ는 가보 필터의 방향을 결정하는 파라미터이고, υ는 가보필터의 크기를 결정하는 파라미터이다. j는 가보 필터들의 인덱스(index)를 나타낸다. σ는 가우시안 포락선이 갖는 표준편차를 나타내고, z는 영상을 이루는 각각의 화소의 위치 벡터를 나타낸다.
2S개의 기준점들 중에서 p번째 기준점(fiducial point)의 위치에서 j 번째 가보 필터를 적용한 1차 특징 벡터의 구성 원소는 [수학식 2]와 같이 표현할 수 있다.
Figure 112007014241575-pat00002
여기서 αj,p 는 fj , p 의 크기를 나타내고, φj,p 는 fj , p 의 각도를 나타내며, fj,p 는 각각의 1 차 특징 벡터의 구성 원소가 된다. 따라서, 1 차 특징 벡터(w)는 기준점(fiducial point)들에 대한 fj ,p의 집합 {fj ,p}로 정의된다.
제 1 필터링 처리부(400)에는 좌우 대칭인 기준점의 위치에서 J개의 가보 필터로 필터링하므로, 제 1 필터링 처리부(400)를 통해 추출된 1 차 특징 벡터는 좌우 대칭인 기준점의 개수(2S)*필터의 개수(J)개의 구성 원소로 나타낼 수 있다. 즉, 제 1 필터링 처리부(400)를 통해 추출된 1차 특징 벡터의 크기는 2S*J가 된다.
제 2 필터링 처리부(410)는 입력 단자 IN 7을 통해 정규화된 영상을 입력 받는다. 또한, 입력 단자 IN 10을 통해 기준점(Fiducila Point) 중 얼굴의 중앙을 기준으로 좌우 대칭이 아는 A개의 기준점들을 입력 받고, 입력 단자 IN 9을 통해 J개의 크기를 갖는 인식용 필터 세트를 입력 받는다. 이때, 좌우 대칭이 아닌 기준점들의 개수(A)와 좌우 대칭인 기준점들의 개수(2S)의 합은 전체 기준점들의 개수(P)가 된다. 좌우 대칭이 아닌 기준점들은 전체 기준점들에서 좌우 대칭인 기준점들을 제외한 기준점들이기 때문이다.
제 2 필터링 처리부(410)는 정규화된 입력 영상 내에서 두 눈을 기준으로 미리 정해 놓은 A개의 기준점들의 위치에서 J개의 크기를 갖는 인식용 필터 세트로 필터링하므로, 제 2 필터링 처리부(410)를 통해 추출된 1 차 특징 벡터는 좌우 대칭이지 않는 기준점들의 개수(A)*필터의 개수(J) 개의 구성 원소들로 나타낼 수 있다.
머징부(420)는 제 1 필터링 처리부(400)를 통해 추출된 1 차 특징 벡터들을 입력 받고, 입력 받은 1 차 특징 벡터들 중 대칭되는 구성 원소들을 머징(merging)한다. 이때, 머징(merging)이란, 2개의 값들을 병합하여 하나의 값으로 나타내는 것을 의미한다.
도 6은 본 발명의 바람직한 일 실시예에 따라 머징을 수행하는 대칭되는 기준점의 위치를 나타낸 도면이다.
도 6에 도시된 바와 같이, 제 1 기준점(610)의 위치와 제 2 기준점(620)의 위치가 얼굴(600)의 중앙을 기준으로 좌우 대칭이고, 대칭되는 기준점들의 위치(610, 620)에서 대칭되는 방향의 필터로 필터링을 수행하면, 그 값은 거의 유사하다. 얼굴의 좌우가 완벽한 대칭이면, 그 값은 동일할 것이나, 일반적으로 얼굴은 좌우가 완벽한 대칭은 아니므로, 그 값이 동일하지는 않고, 거의 동일한 값을 가진다. 따라서, 대칭되는 기준점들의 위치(610, 620)에서 대칭되는 방향의 필터로 필터링한 2 개의 값을 머징(merging)하여도 1차 특징 벡터의 특성을 나타낼 수 있다. 도 6에 도시된 바와 같이, 가보 필터 세트의 각 필터를 나타내는 필터 인덱스에서 필터 인덱스 "0"은 필터 인덱스 "0"과 대칭되는 방향을 가지고, 필터 인덱스 "1"은 필터 인덱스 "7"과 대칭되는 방향을 가진다. 즉, 8개의 방향을 나타내는 필터에서 대칭되는 방향의 필터는 표 1과 같이 나타낼 수 있다. 그리고, 필터 인덱스 8 이상인 경우도 8개의 필터 인덱스가 반복될 때마다 표 1과 같이 대칭되는 형태가 반복된다.
[표 1]
제 1 기준점 제 2 기준점
필터 인덱스 0 7
1 6
2 5
3 4
4 3
5 2
6 1
7 0
따라서, 표 1에 도시된 바와 같이, 제 1 기준점(610)의 위치 및 제 2 기준점(620)이 위치에서 대칭되는 필터로 필터링한 값을 머징하여 하나의 값으로 나타낼 수 있다. 이때 머징하는 가장 일반적인 방법은 두 값을 평균하는 것이다. 또한, 얼굴의 수직 대칭선을 기준으로 더욱 신뢰할 수 있는 얼굴 영역을 판단하여, 해당 영역의 기준점에서 필터링한 값을 머징 값으로 취할 수도 있다. 즉, 신뢰할 수 있는 기준점에서 필터링한 값에 가중치를 부여하여 머징한다. 이때 가중치의 정도는 "0"에서 "1"의 범위 내에서 부여한다. 이와 같이, 머징부(420)를 통해 대칭되는 기준점의 위치에서 대칭되는 방향의 필터로 필터링한 값을 머징하면, 제 1 필터링 처리부(400)을 통해 얻어진 1차 특징 벡터의 구성 원소의 개수는 반으로 줄어든다. 이때, 2S개의 대칭되는 기준점에서 대칭되는 방향의 필터로 필터링한 값들의 머징은 [수학식 3]으로 표현할 수 있다.
Figure 112007014241575-pat00003
다시 도 4를 참조하면, 머징부(420)는 제 1 필터링 처리부(400)로부터 입력 받은 1차 특징 벡터의 대칭되는 구성 원소를 머징함으로서, 제 1 펄터링 처리 부(400)를 통해 추출한 1차 특징 벡터의 구성 원소의 개수(2S*J)의 크기는 반(S*J)으로 줄어든다.
합성부(430)는 머징부(420)를 통해 머징한 값들과 제 2 필터링 처리부(410)를 통해 필터링한 값들을 합성한다. 머징부(420)를 통해 머징한 1차 특징 벡터의 구성 원소의 개수는 S*J이고, 제 2 필터링 처리부(410)를 통해 추출한 1차 특징 벡터의 구성 원소의 개수는 A*J이므로, 합성부(430)를 통해 합성한 전체 1 차 특징 벡터의 구성 원소의 개수(N')는 S*J+A*J가 된다. 이때, A=P-S이므로, 합성부(430)를 통해 합성한 전체 1차 특징 벡터의 원소의 개수는 (P-S)*J 개가 된다. 즉, 1차 특징 벡터의 크기(N')는 (전체 기준점의 개수(P)- 대칭되는 기준점의 쌍의 개수(S))*필터의 개수(J)가 된다.
상기 살펴본 바와 같이, 본 발명의 바람직한 일 실시예에 따른 1 차 특징 벡터를 추출하는 장치에 의하면, 종래에 비해 작은 크기의 1 차 특징 벡터를 추출할 수 있다. 즉, 종래의 방법에 의하면, 1차 특징 벡터의 크기(N)는 기준점들의 개수(P)*필터의 개수(J)가 되는 반면에, 본 발명의 바람직한 일 실시예에 따른 1차 특징 벡터를 추출하는 장치에 의하면, 1차 특징 벡터의 크기(N')는 [기준점들의 개수(P)-대칭되는 기준점 쌍의 개수(S)]*필터의 개수(J)가 된다. 즉, N'은 N보다 그 크기가 작다.
이와 같이, 1 차 특징 벡터의 크기가 감소됨으로서 얼굴 특징을 인식하기 위해 시스템에 미리 저장되어 있어야 하는 인식용 기저 메트릭스(Basis Matrix)의 크기는 감소되므로, 메모리(Read Only Memory, ROM)의 크기를 줄일 수 있다. 또한, PCA-LDA의 학습의 경우, 학습을 위한 입력 벡터인 1차 특징 벡터의 길이가 N일 경우, 학습 결과인 기저 매트릭스의 크기는 N*M이 된다. 이때, N은 M보다 매우 큰 값을 가진다. 따라서, 학습을 위한 입력 벡터인 1차 특징 벡터의 크기를 N에서 N'으로 줄이게 되면, 시스템에 미리 저장해 두었다가 동작할 때, RAM(Random Access Memory) 상에 올려야 하는 기저 매트릭스의 크기를 그 만큼 줄일 수 있어 연산량을 줄일 수 있다.
본 발명의 바람직한 일 실시예에 따라 감소된 연산량은 표 2를 통해 확인할 수 있다.
[표 2]
알고리즘 1차 특징 벡터 추출 연산량 2차 특징 벡터 추출 연산량 총 연산량
종래 기술 곱셈: (17*17)*48*128=1,775,616 덧셈 : (17*17-1)*48*128=1,769,472 곱셈 : 48*128*200=1,228,800 덧셈 : (48*128-1)*200+200=1,228,800 곱셈 : 3,004,416 덧셈 : 2,998,272
본 발명의 일 실시예 곱셈: (17*17)*48*128=1,775,616 덧셈 : (17*17-1)*48*128+56=1,769,528 나눗셈: 56 곱셈 :48*(128-56)*200=691,200 덧셈 : (48*(128-56)-1)*200+200=691,200 곱셈 : 2,466,816 덧셈 : 2,460,728 나눗셈 : 56
(1 차 특징 벡터 추출 과정에서 필터는 17*17의 크기로 가정하고, 48개를 사용한다. 본 발명의 일 실시예에서 머징 과정은 56개의 대칭 기준점 쌍에 대하여 한번의 덧셈과 한번의 나눗셈으로 가능한 평균 기법을 사용하는 것으로 가정하였다. 여기서 나눗셈은 통상의 시스템에서 연산 시간이 덧셈과 동일한 쉬프트(shift) 연산을 사용한다. 또한, 2 차 특징 벡터의 추출과정에서 기저 매트릭스의 크기는 N*200으로 가정하였다.)
상기 살펴본 바와 같이, 128개의 기준점에서 대칭되는 기준점의 쌍이 56개이므로, 머징부에서 머징을 위해 추가되는 연산량은 56번의 덧셈 연산과 나눗셈 연산이다. 하지만 1차 특징 벡터의 크기가 N=128*48=6,144에서 N'=(128-56)*48=3,456으로 감소됨으로서 표 2에 도시된 바와 같이 전체적으로 연산량이 감소되어 인식을 위한 수행 속도의 향상을 가져올 수 있다.
또한, 2 차 특징 벡터 추출을 위한 학습 데이터의 크기(2byte short type 정수로 가정)가 [48*128*200]*200=2,457,600 byte에서 [48*(128-56)*200]*2=1,382,400으로 감소되어 약 44%의 ROM 및 RAM을 절약할 수 있다.
도 7은 본 발명의 바람직한 일 실시예에 따라 1차 특징 벡터를 추출하는 방법을 나타낸 도면이다.
이하, 도 4 내지 6을 참조하여, 1차 특징 벡터를 추출하는 방법을 살펴본다.
제 700 단계에서는 얼굴이 포함된 영상을 입력 받는다. 이때, 얼굴이 포함된 영상은 얼굴 인식에 적합하도록 정규화된 영상을 의미한다. 즉, 영상에서 검출한 두 눈의 위치를 중심으로 영상을 회전 및 리사이징(resizing)하여 특징을 추출할 수 있도록 정규화된 영상을 의미한다.
제 710 단계에서는 입력 받은 영상을 얼굴의 중앙을 기준으로 좌우가 대칭되는 위치들에서 인식용 필터 세트로 필터링한다. 미리 정해 놓은 P개의 기준점들에서 얼굴의 중앙을 기준으로 좌우가 대칭되는 S쌍의 기준점들에서 인식용 필터 세트 로 필터링한다. 인식용 필터 세트로는 도 5a 및 도 5b에 도시된 가보 필터 세트가 사용된다. 도 5a 및 도 5b에 도시된 가보 필터 세트는 3개의 크기(scale), 8개의 방향 및 실수(real)/허수(imaginary)로 분류되므로, 가보 필터의 개수(J)는 3*8*2=48개가 된다. 즉, S쌍의 기준점들의 위치에서 J개의 가보 필터 세트로 필터링한다.
제 720 단계에서는 얼굴의 중앙을 기준으로 좌우가 대칭되는 2개의 위치들에서 대칭되는 방향의 필터로 각각 필터링된 2개의 값들을 머징한다. 도 6 및 표 1을 참조하면, 도 6의 제 1 기준점(610) 및 제 2 기준점(620)에서 표 1에 도시된 바와 같이 대칭되는 방향의 필터로 각각 필터링된 2 개의 값들을 머징한다. 이때, 머징하는 일반적인 방법은 2 개의 값을 평균하는 것이나, 신뢰할 수 있는 기준점에서 필터링한 값에 가중치를 부여하여 머징하는 방법을 사용할 수도 있다. 이와 같이, 필터링된 2개의 값을 머징하면, 추출되는 1차 특징 벡터의 크기가 감소된다.
제 730 단계에서는 입력 받은 영상을 얼굴의 중앙을 기준으로 좌우가 대칭되는 위치들을 제외한 위치들에서 인식용 필터 세트로 필터링한다. 미리 정해 놓은 P개의 기준점들에서 얼굴의 중앙을 기준으로 좌우가 대칭되는 S쌍의 기준점들을 제외한 기준점들은 얼굴의 중앙에 위치하여, 좌우가 대칭되지 않는다. 이와 같이 얼굴의 중앙을 기준으로 좌우가 대칭되지 않는 A개의 기준점들의 위치에서 인식용 필터 세트로 필터링한다.
제 740 단계에서는 제 720 단계를 통해 머징된 값들 및 제 730 단계를 통해 필터링된 값들을 합성하여 출력한다. 제 720 단계에서 필터링된 2개의 값들을 머징 하였으므로, 제 720 단계를 통해 머징된 값들과 제 730 단계를 통해 필터링된 값들을 합성하면, 전체적으로 1차 특징 벡터의 크기가 감소된다.
한편, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다.
또한 상술한 본 발명의 실시예에서 사용된 데이터의 구조는 컴퓨터로 읽을 수 있는 기록매체에 여러 수단을 통하여 기록될 수 있다.
상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 씨디롬, 디브이디 등) 및 캐리어 웨이브(예를 들면, 인터넷을 통한 전송)와 같은 저장매체를 포함한다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
본 발명에 의한 얼굴이 포함된 영상에서 얼굴의 특징을 추출하는 방법 및 장 치에 따르면, 입력되는 영상을 영상 내의 소정의 위치들 각각에서 인식용 필터 세트로 필터링하고, 소정의 위치들 중에서 얼굴의 중앙을 기준으로 좌우가 대칭되는 위치들에서 필터링된 값들을 머징(Merging)한 후, 필터링된 값들과 머징된 값들을 합성함으로써, 얼굴의 특징을 추출하거나 비교함에 있어 수행되는 시간, 특징 값 및 저장 공간을 크게 줄일 수 있는 효과가 있다. 또한, 낮은 하드웨어 사양에서도 잘 동작하는 얼굴 인식 시스템을 구현할 수 있는 효과가 있다.

Claims (15)

  1. 얼굴이 포함된 영상에서 얼굴의 특징을 추출하는 방법에 있어서,
    (a) 상기 영상을 상기 영상 내의 소정의 위치들 각각에서 크기, 방향 및 실/허수에 따라 분류된 소정의 개수의 필터로 구성된 인식용 필터 세트로 필터링하는 단계;
    (b) 상기 소정의 위치들 중에서 상기 얼굴의 중앙을 기준으로 좌우가 대칭되는 위치들에서 필터링된 값들을 머징(Merging)하는 단계; 및
    (c) 상기 필터링된 값들과 상기 머징된 값들을 합성하는 단계를 포함하는 것을 특징으로 하는 얼굴이 포함된 영상의 특징을 추출하는 방법.
  2. 제 1 항에 있어서, 상기 (a) 단계는
    (a 1) 상기 영상을 상기 소정의 위치들 중에서 상기 얼굴의 중앙을 기준으로 좌우가 대칭되는 위치들에서 상기 인식용 필터 세트로 필터링하는 단계; 및
    (a 2) 상기 영상을 상기 소정의 위치들 중에서 상기 얼굴의 중앙을 기준으로 좌우가 대칭되는 위치들을 제외한 위치들에서 상기 인식용 필터 세트로 필터링하는 단계를 포함하는 것을 특징으로 하는 얼굴이 포함된 영상의 특징을 추출하는 방법.
  3. 제 2 항에 있어서,
    상기 (b) 단계는 상기 (a 1) 단계를 통해 필터링된 값들을 머징(Merging)하고,
    상기 (c) 단계는 상기 (a 2) 단계를 통해 필터링된 값들과 상기 (b) 단계를 통해 머징된 값들을 합성하는 것을 특징으로 하는 얼굴이 포함된 영상의 특징을 추출하는 방법.
  4. 삭제
  5. 제 1 항에 있어서, 상기 (b) 단계는
    상기 얼굴의 중앙을 기준으로 좌우가 대칭되는 2 개의 위치들에서 대칭되는 방향의 필터로 각각 필터링된 2 개의 값들을 머징하는 것을 특징으로 하는 얼굴이 포함된 영상의 특징을 추출하는 방법.
  6. 제 5 항에 있어서, 상기 (b) 단계는
    상기 2 개의 값들을 평균하여 머징하는 것을 특징으로 하는 얼굴이 포함된 영상의 특징을 추출하는 방법.
  7. 제 5 항에 있어서, 상기 (b) 단계는
    상기 2 개의 값들 중 상기 얼굴의 특징을 잘 나타내는 위치에서 필터링된 값에 가중치를 부여하고 합산하여 머징하는 것을 특징으로 하는 얼굴이 포함된 영상의 특징을 추출하는 방법.
  8. 제 1 항 내지 제 3항 및 제 5항 내지 제 7 항 중에 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  9. 얼굴이 포함된 영상의 특징을 추출하는 장치에 있어서,
    상기 영상을 상기 영상 내의 소정의 위치들 각각에서 크기, 방향 및 실/허수에 따라 분류된 소정의 개수의 필터로 구성된 인식용 필터 세트로 필터링하는 필터링 처리부;
    상기 소정의 위치들 중에서 상기 얼굴의 중앙을 기준으로 좌우가 대칭되는 위치들에서 필터링된 값들을 머징(Merging)하는 머징부; 및
    상기 필터링 처리부를 통해 필터링된 값들과 상기 머징부를 통해 머징된 값들을 합성하는 합성부를 포함하는 것을 특징으로 하는 얼굴이 포함된 영상의 특징을 추출하는 장치.
  10. 제 9 항에 있어서, 상기 필터링 처리부는
    상기 영상을 상기 소정의 위치들 중에서 상기 얼굴의 중앙을 기준으로 좌우가 대칭되는 위치들에서 상기 인식용 필터 세트로 필터링하는 제 1 필터링 처리부 ; 및
    상기 영상을 상기 소정의 위치들 중에서 상기 얼굴의 중앙을 기준으로 좌우가 대칭되는 위치들을 제외한 위치들에서 상기 인식용 필터 세트로 필터링하는 제 2 필터링 처리부를 포함하는 것을 특징으로 하는 얼굴이 포함된 영상의 특징을 추출하는 장치.
  11. 제 10 항에 있어서,
    상기 머징부는 상기 제 1 필터링 처리부를 통해 필터링된 값들을 머징하고,
    상기 합성부는 상기 제 2 필터링 처리부를 통해 필터링된 값들과 상기 머징부를 통해 머징된 값들을 합성하는 것을 특징으로 하는 얼굴이 포함된 영상의 특징을 추출하는 장치.
  12. 삭제
  13. 제 9 항에 있어서,
    상기 머징부는 상기 얼굴의 중앙을 기준으로 좌우가 대칭되는 2 개의 위치들에서 대칭되는 방향의 필터로 각각 필터링된 2개의 값들을 머징하는 것을 특징으로 하는 얼굴이 포함된 영상의 특징을 추출하는 장치.
  14. 제 13 항에 있어서, 상기 머징부는
    상기 2 개의 값들을 평균하여 머징하는 것을 특징으로 하는 얼굴이 포함된 영상의 특징을 추출하는 장치.
  15. 제 13 항에 있어서, 상기 머징부는
    상기 2 개의 값들 중 상기 얼굴의 특징을 잘 나타내는 위치에서 필터링된 값에 가중치를 부여하고 합산하여 머징하는 것을 특징으로 하는 얼굴이 포함된 영상의 특징을 추출하는 장치.
KR1020070016034A 2007-02-15 2007-02-15 얼굴이 포함된 영상에서 얼굴의 특징을 추출하는 방법 및장치. KR100888476B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020070016034A KR100888476B1 (ko) 2007-02-15 2007-02-15 얼굴이 포함된 영상에서 얼굴의 특징을 추출하는 방법 및장치.
US11/896,300 US8111880B2 (en) 2007-02-15 2007-08-30 Method and apparatus for extracting facial features from image containing face

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070016034A KR100888476B1 (ko) 2007-02-15 2007-02-15 얼굴이 포함된 영상에서 얼굴의 특징을 추출하는 방법 및장치.

Publications (2)

Publication Number Publication Date
KR20080076293A KR20080076293A (ko) 2008-08-20
KR100888476B1 true KR100888476B1 (ko) 2009-03-12

Family

ID=39706700

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070016034A KR100888476B1 (ko) 2007-02-15 2007-02-15 얼굴이 포함된 영상에서 얼굴의 특징을 추출하는 방법 및장치.

Country Status (2)

Country Link
US (1) US8111880B2 (ko)
KR (1) KR100888476B1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010044214A1 (ja) * 2008-10-14 2010-04-22 パナソニック株式会社 顔認識装置および顔認識方法
US9165220B2 (en) * 2012-12-18 2015-10-20 Hewlett-Packard Development Company, L.P. Image object recognition based on a feature vector with context information
CN105469017B (zh) * 2014-06-26 2019-09-10 小米科技有限责任公司 人脸图像处理方法及装置
US10552471B1 (en) 2017-04-21 2020-02-04 Stripe, Inc. Determining identities of multiple people in a digital image
CN110084193B (zh) * 2019-04-26 2023-04-18 深圳市腾讯计算机系统有限公司 用于面部图像生成的数据处理方法、设备和介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050041687A1 (en) 1998-10-07 2005-02-24 Dowling Eric Morgan Virtual connection of a remote unit to a server
KR20050042369A (ko) * 2003-11-01 2005-05-09 학교법인연세대학교 3차원 얼굴 인식을 위한 오류 보상 특이치 분해 기반 얼굴포즈 추정 방법
KR20050060799A (ko) * 2003-12-17 2005-06-22 한국전자통신연구원 대칭축을 이용한 얼굴 검출 시스템 및 방법
EP1693782A1 (en) 2005-02-21 2006-08-23 Mitsubishi Electric Information Technology Centre Europe B.V. Method for facial features detection

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5832115A (en) * 1997-01-02 1998-11-03 Lucent Technologies Inc. Ternary image templates for improved semantic compression
AUPS140502A0 (en) * 2002-03-27 2002-05-09 Seeing Machines Pty Ltd Method for automatic detection of facial features
KR100608595B1 (ko) * 2004-11-16 2006-08-03 삼성전자주식회사 얼굴 인식 방법 및 장치
KR100745981B1 (ko) * 2006-01-13 2007-08-06 삼성전자주식회사 보상적 특징에 기반한 확장형 얼굴 인식 방법 및 장치
KR100809431B1 (ko) * 2006-11-21 2008-03-05 한국전자통신연구원 가림 현상에 강인한 눈 검출 방법 및 장치
JP4321645B2 (ja) * 2006-12-08 2009-08-26 ソニー株式会社 情報処理装置および情報処理方法、認識装置および情報認識方法、並びに、プログラム
JP2008152530A (ja) * 2006-12-18 2008-07-03 Sony Corp 顔認識装置及び顔認識方法、ガボア・フィルタ適用装置、並びにコンピュータ・プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050041687A1 (en) 1998-10-07 2005-02-24 Dowling Eric Morgan Virtual connection of a remote unit to a server
KR20050042369A (ko) * 2003-11-01 2005-05-09 학교법인연세대학교 3차원 얼굴 인식을 위한 오류 보상 특이치 분해 기반 얼굴포즈 추정 방법
KR20050060799A (ko) * 2003-12-17 2005-06-22 한국전자통신연구원 대칭축을 이용한 얼굴 검출 시스템 및 방법
EP1693782A1 (en) 2005-02-21 2006-08-23 Mitsubishi Electric Information Technology Centre Europe B.V. Method for facial features detection

Also Published As

Publication number Publication date
US20080199055A1 (en) 2008-08-21
KR20080076293A (ko) 2008-08-20
US8111880B2 (en) 2012-02-07

Similar Documents

Publication Publication Date Title
US8184914B2 (en) Method and system of person identification by facial image
US8155398B2 (en) Image processing apparatus, image processing method and computer program
US20130004028A1 (en) Method for Filtering Using Block-Gabor Filters for Determining Descriptors for Images
US9053388B2 (en) Image processing apparatus and method, and computer-readable storage medium
US7254257B2 (en) Method and apparatus of recognizing face using component-based 2nd-order principal component analysis (PCA)/independent component analysis (ICA)
Savvides et al. Efficient design of advanced correlation filters for robust distortion-tolerant face recognition
US8452131B2 (en) Iris recognition system and method
JP2016081212A (ja) 画像認識装置、画像認識方法、および、画像認識プログラム
EP2833294A2 (en) Device to extract biometric feature vector, method to extract biometric feature vector and program to extract biometric feature vector
Deepa et al. Face recognition using spectrum-based feature extraction
KR100888476B1 (ko) 얼굴이 포함된 영상에서 얼굴의 특징을 추출하는 방법 및장치.
Elmadany et al. Multiview emotion recognition via multi-set locality preserving canonical correlation analysis
JP2006221479A (ja) パターン認識装置及びその方法
Oh et al. Intrinsic two-dimensional local structures for micro-expression recognition
Wahyuningrum et al. Efficient kernel-based two-dimensional principal component analysis for smile stages recognition
Kusuma et al. FACE RECOGNITION AGAINST VARYING LIGHTING CONDITIONS USING ORIENTED PHASE CONGRUENCY IMAGE FEATURES.
Shu et al. Face anti-spoofing based on weighted neighborhood pixel difference pattern
JP4891278B2 (ja) 顔画像の特徴抽出方法及び識別信号作成方法
Ng et al. Dct based region log-tiedrank covariance matrices for face recognition
Kalantari et al. Visual front-end wars: Viola-Jones face detector vs Fourier Lucas-Kanade
Kim The design of industrial security tasks and capabilities required in industrial site
Shelke et al. Face recognition and gender classification using feature of lips
Pyataeva et al. Video based face recognition method
Makhmudkhujaev et al. Local prominent directional pattern for gender recognition of facial photographs and sketches
CN112001206B (zh) 一种通过遍历比较合并人脸识别库的方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130221

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20140221

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20150212

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20160218

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20170220

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20180220

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20190220

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20200225

Year of fee payment: 12