KR100950776B1 - 얼굴 인식 방법 - Google Patents

얼굴 인식 방법 Download PDF

Info

Publication number
KR100950776B1
KR100950776B1 KR1020090098549A KR20090098549A KR100950776B1 KR 100950776 B1 KR100950776 B1 KR 100950776B1 KR 1020090098549 A KR1020090098549 A KR 1020090098549A KR 20090098549 A KR20090098549 A KR 20090098549A KR 100950776 B1 KR100950776 B1 KR 100950776B1
Authority
KR
South Korea
Prior art keywords
feature
image
lda
pca
gaussian
Prior art date
Application number
KR1020090098549A
Other languages
English (en)
Inventor
오인권
Original Assignee
주식회사 쓰리디누리
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 쓰리디누리 filed Critical 주식회사 쓰리디누리
Priority to KR1020090098549A priority Critical patent/KR100950776B1/ko
Application granted granted Critical
Publication of KR100950776B1 publication Critical patent/KR100950776B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2132—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on discrimination criteria, e.g. discriminant analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/169—Holistic features and representations, i.e. based on the facial image taken as a whole

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

얼굴인식 방법은 (a) 카메라를 통해 촬영된 영상을 입력받는 단계, (b) SIFT(Scale Invariant Feature Transform) 알고리즘의 제1 과정을 실행하여 상기 영상에서 특징점을 추출하는 단계, (c) PCA(Principal Component Analysis) 및 LDA(Linear Discriminant Analysis) 결합 알고리즘을 실행하여 상기 특징점의 수를 줄이는 단계, (d) 상기 SIFT 알고리즘의 제2 과정을 실행하여 상기 (c)단계에서 남은 특징점에 상응하는 특징점 기술자를 생성하는 단계, (e) 상기 (d)단계에서 생성된 특징점 기술자와 데이터베이스에 저장된 얼굴 영상의 특징점 기술자를 비교하는 단계, (f) 상기 (d)단계에서 생성된 특징점 기술자와 상기 데이터베이스에 저장된 얼굴 영상의 특징점 기술자가 정합되면, SIFT 알고리즘의 제1 과정과 제2 과정만 실행하여 상기 (a)단계에서 입력받은 영상에서 특징점 기술자를 생성하는 단계, 및 (g) 상기 데이터베이스에 저장된 얼굴 영상의 특징점 기술자 중 상기 (f)단계에서 정합된 특징점 기술자와 상기 SIFT 알고리즘의 제1 과정과 제2 과정만 실행하여 생성된 특징점 기술자를 비교하는 단계를 포함한다.

Description

얼굴 인식 방법{METHOD OF FACE RECOGNITION}
본 발명은 얼굴 인식 방법에 관한 것으로서, 특히 얼굴 인식률을 향상시키기 위해 SIFT 알고리즘과 PCA 및 LDA 결합 알고리즘을 결합한 얼굴 인식 방법에 관한 것이다.
생체 인식 기술이란 얼굴, 음성, 지문, 손 등 정맥, 홍채, DNA, 서명 등과 같은 인간의 신체적 또는 행동학적 특징을 이용하여 개개인의 신분을 확인하는 기술이다. 최근에는 영상을 이용한 개인 인증의 자동화 기술이 연구되고 있는데, 그 중 하나가 얼굴 인식 기술이다.
얼굴 인식 기술은 다른 생체 인식 기술과는 달리 사용자에게 특별한 동작이나 행위를 요구하지 않고 자연스럽게 생체정보를 확인할 수 있다는 장점이 있다. 얼굴 인식 기술은 영상 신호 처리 기술, 영상 분할, 신경 회로망 또는 통계적 패턴인식 기술 등을 이용하여 생체정보를 확인할 수 있다.
실시예들 중에서, 얼굴인식 방법은 (a) 카메라를 통해 촬영된 영상을 입력받는 단계, (b) SIFT(Scale Invariant Feature Transform) 알고리즘의 제1 과정을 실행하여 상기 영상에서 특징점을 추출하는 단계, (c) PCA(Principal Component Analysis) 및 LDA(Linear Discriminant Analysis) 결합 알고리즘을 실행하여 상기 특징점의 수를 줄이는 단계, (d) 상기 SIFT 알고리즘의 제2 과정을 실행하여 상기 (c)단계에서 남은 특징점에 상응하는 특징점 기술자를 생성하는 단계, (e) 상기 (d)단계에서 생성된 특징점 기술자와 데이터베이스에 저장된 얼굴 영상의 특징점 기술자를 비교하는 단계, (f) 상기 (d)단계에서 생성된 특징점 기술자와 상기 데이터베이스에 저장된 얼굴 영상의 특징점 기술자가 정합되면, SIFT 알고리즘의 제1 과정과 제2 과정만 실행하여 상기 (a)단계에서 입력받은 영상에서 특징점 기술자를 생성하는 단계, 및 (g) 상기 데이터베이스에 저장된 얼굴 영상의 특징점 기술자 중 상기 (f)단계에서 정합된 특징점 기술자와 상기 SIFT 알고리즘의 제1 과정과 제2 과정만 실행하여 생성된 특징점 기술자를 비교하는 단계를 포함한다.
개시된 기술에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 개시된 기술의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 개시된 기술의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다.
한편, 본 출원에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.
"제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
"및/또는"의 용어는 하나 이상의 관련 항목으로부터 제시 가능한 모든 조합을 포함하는 것으로 이해되어야 한다. 예를 들어, "제1 항목, 제2 항목 및/또는 제3 항목"의 의미는 제1, 제2 또는 제3 항목뿐만 아니라 제1, 제2 또는 제3 항목들 중 2개 이상으로부터 제시될 수 있는 모든 항목의 조합을 의미한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정 하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
각 단계들에 있어 식별부호(예를 들어, a, b, c, ...)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않은 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.
여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 개시된 기술이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.
이하, 첨부된 도면을 참조하여 개시된 기술의 구체적인 구성 및 실시예를 설명하면 다음과 같다.
도 1은 개시된 기술의 일 실시예에 따른 SIFT 알고리즘과 PCA 및 LDA 결합 알고리즘을 이용한 얼굴인식 방법을 설명하기 위한 순서도이다.
도 1을 참조하면, 얼굴인식 시스템은 카메라를 통해 촬영된 영상을 입력받는다(S102). 얼굴인식 시스템은 SIFT(Scale Invariant Feature Transform) 알고리즘의 제1 과정을 실행하여 S102 단계에서 입력받은 영상에서 특징점을 추출하 고(S104), PCA(Principal Component Analysis) 및 LDA(Linear Discriminant Analysis) 결합 알고리즘을 실행하여 특징점의 수를 줄인다(S106). 얼굴인식 시스템은 SIFT 알고리즘의 제2 과정을 실행하여 S106 단계를 거치고 남은 특징점에 대해 특징점 기술자를 생성한 후(S108), S108 단계에서 생성된 특징점 기술자와 데이터베이스에 저장되어 있는 특징점 기술자를 비교한다(S110).
데이터베이스에 S108 단계에서 생성된 특징점 기술자와 정합되는 특징점 기술자가 있는 경우에는, 얼굴인식 시스템은 SIFT 알고리즘의 제1 과정과 제2 과정만 실행하여 S102 단계에서 입력받은 영상에서 특징점 기술자를 생성한다(S112). 얼굴인식 시스템은 데이터베이스에 저장된 특징점 기술자 중 S110 단계에서 정합된 특징점 기술자와 SIFT 알고리즘의 제1 과정과 제2 과정만 실행하여 생성된 특징점 기술자를 비교하여 얼굴을 인식한다(S114).
얼굴인식 시스템은 정합 대상이 되는 얼굴 영상과 해당 얼굴 영상에 SIFT 알고리즘을 적용하여 생성한 특징점 기술자를 데이터베이스에 미리 저장한다.
도 2는 도 1의 SIFT 알고리즘의 제1 과정을 설명하기 위한 순서도이다.
도 2를 참조하면, SIFT 알고리즘의 제1 과정은 S102 단계에서 입력받은 영상에서 특징점을 추출한다(S104).
SIFT 알고리즘은 영상의 변환, 크기, 회전, 노이즈 등의 영향에도 일정한 특징점 정합 성능을 가진다. 또한 SIFT 알고리즘은 스케일 공간(Scale - Space)상에서 극점을 찾을 수 있다. 스케일 공간상에서의 극점은 이미지의 스케일 변화나 이미지 변환에 대하여도 다시 탐색될 가능성이 큰 지점으로 알려져 있다. 이러한 특 성은 이미지 정합에 아주 유용하게 사용될 수 있다.
이하에서는 도 2를 참조하여 SIFT 알고리즘의 제1 과정에 대해 자세히 설명한다.
SIFT 알고리즘의 제1 과정은 입력받은 영상에 가우시안 필터(Gaussian Filter)를 적용하여 가우시안 영상을 생성한다. SIFT 알고리즘의 제1 과정은 가우시안 영상 사이의 차를 기초로 가우시안 차(DoG, Difference of Gaussian) 영상을 생성하고, 가우시안 영상을 기초로 가우시안 스케일 공간(Gaussian Scale - Space)을 생성한다(S202).
일 실시예에서, SIFT 알고리즘은 크기변화에 불변한 특징점을 추출하기 위해 σ2∇2G(scale-normalized Laplacisn of Gaussian)을 이용할 수 있다. 다른 일 실시예에서, σ2∇2G을 이용하는 경우에는 계산과정이 복잡하고 속도가 느리므로 σ2∇2G을 근사화한 가우시안 차(DoG)를 사용한다.
스케일 공간을 나타내는 식은 다음의 수학식 1로 정의된다.
Figure 112009063379023-pat00001
L(x,y,σ)은 원본이미지 I(x, y)에 대한 가우시안 영상이며, '*' 연산은 컨볼루션(Convolution) 연산을 의미한다. G(x,y,σ)는 가우시안 필터를 나타낸다. G(x,y,σ)는 다음의 수학식 2로 정의된다.
Figure 112009063379023-pat00002
σ는 가우시안 필터의 스케일 펙터(Scale Factor)를 나타낸다.
스케일 공간상에서 안정된 특징점을 찾기 위한 가우시안 차 함수는 다음의 수학식 3으로 정의된다. 과 같이 일정한 배수의 가우시안 필터가 적용된 이미지 간의 차로 정의한다.
Figure 112009063379023-pat00003
스케일 공간이론과 관련하여 크기변화에 불변한 특징점을 추출하기 위해서는 σ2∇2G(scale-normalized Laplacisn of Gaussian)을 이용한다. 스케일 공간에서 σ2를 인자(factor)로 가지는 라플라시안(Laplacian)의 일반화(Normalization)는 스케일 불변 속성(Scale invariance)를 위해 필요한 요소이다. σ∇2G의 극대점과 극소점은 그래디언트(Gradient), 헤시안(Hessain), 또는 헤리스 코너(Harris corner)함수와 같은 다른 이미지 함수와 비교하여 안정한 이미지 특징(Feature)을 만들어낸 다. 그리고 σ∇2G는 다음의 수학식 4 내지 수학식 6과 같이 가우시안 이미지의 차 연산 이미지로 근사할 수 있다.
Figure 112009063379023-pat00004
라 할 때,
Figure 112009063379023-pat00005
로 근사되며, 이를 다시 정리하면,
Figure 112009063379023-pat00006
이 된다. 따라서 SIFT에서는 σ2∇2G를 근사화한 가우시안 차(DoG)를 사용한다.
도 3은 도 2의 SIFT 알고리즘의 제1 과정에서 스케일 공간을 생성하는 것을 설명하기 위한 도면이다.
도 3을 참조하면, 도 3의 왼쪽의 이미지들은 가우시안 영상이며, 오른쪽의 이미지들은 인접한 두 가우시안 영상간의 차를 통해 얻어진 가우시안 차 영상이다. SIFT 알고리즘은 입력받은 영상을 2배로 업 샘플링한 후, 수학식 1을 통해 가우시안 함수의 표준편차를 상수 단위로 컨볼루션한다. SIFT 알고리즘은 생성된 가우시안 영상을 왼쪽 열에 쌓는다.
SIFT 알고리즘은 이웃한 가우시안 영상 간의 차 연산을 통하여 가우시안 차 영상을 생성한다. 첫 옥타브(first octave)에 대한 가우시안 차 영상이 생성되면, SIFT 알고리즘은 초기값이 2배가 되는 지점의 가우시안 이미지에 대하여 2배 다운 샘플링한 후, 위 과정을 반복한다. SIFT 알고리즘은 상기와 같은 방법으로 가우시안 스케일 공간을 구축한다.
가우시안 스케일 공간을 생성되면, SIFT 알고리즘의 제1 과정은 가우시안 차 영상을 이용하여 특징점을 추출하고 추출된 특징점을 보정(Extrema detection & Keypoint localization)한다(S204).
도 4는 도 2의 SIFT 알고리즘의 제1 과정에서 특징점을 추출하는 것을 설명하기 위한 도면이다.
도 4를 참조하면, SIFT 알고리즘의 제1 과정은 가우시안 차 영상을 이용하여 현재 영상 내에서의 주변 8개의 픽셀과 인접한 영상에서의 9개의 픽셀(pixel)을 비교한다. 'X'위치가 현재 기준픽셀이라고 가정하면, SIFT 알고리즘의 제1 과정은 'X'를 중심으로 이웃한 픽셀과 인접한 가우시안 차 영상에서의 같은 위치의 일정 영역(예를 들어, 3×3)에 포함되는 픽셀을 포함하는 총 26개 픽셀의 픽셀 값을 비교하여 기준픽셀이 최대 혹은 최소의 값이면 기준픽셀을 후보 특징점으로 등록한 다. SIFT 알고리즘의 제1 과정은 스케일 공간상의 옥타브 별로 가우시안 차 영상을 이용하여 상기 과정을 반복하여 후보 특징점을 찾아낸다.
후보 특징점의 위치, 'X'는 다음의 수학식 7과 같이 정의된다.
Figure 112009063379023-pat00007
후보 특징점 위치의 값은 다음의 수학식 8과 같이 테일러급수로 나타낼 수 있다.
Figure 112009063379023-pat00008
특징점의 보다 정확한 위치(
Figure 112009063379023-pat00009
)를 얻기 위해 수학식 8을 미분하여 다음의 수학식 9와 같이 0이 되는 곳을 찾는다.
Figure 112009063379023-pat00010
수학식 9를
Figure 112009063379023-pat00011
에 대해서 다시 정리하면 다음의 수학식 10 및 수학식 11과 같다.
Figure 112009063379023-pat00012
Figure 112009063379023-pat00013
상기와 같은 방법으로
Figure 112009063379023-pat00014
를 구하면 특징점을 서브-픽셀 단위로 구할 ㅅ수 있다. 특징점의
Figure 112009063379023-pat00015
값은 다음의 수학식 12로 정의된다.
Figure 112009063379023-pat00016
SIFT 알고리즘의 제1 과정은 특징점에 대한
Figure 112009063379023-pat00017
의 절대값이 대조 경계값(contrast threshold)보다 작은 경우에는 해당 특징점을 제거한다. 대조 경계값을 작게 할수록 많은 특징점들이 추출된다. 일 실시예에서, 대조 경계값은 0.03으 로 설정될 수 있다.
Figure 112009063379023-pat00018
SIFT 알고리즘의 제1 과정은 대조 경계값을 만족하는 특징점의 굴곡 경계값을 계산한다. 일 실시예에서, SIFT 알고리즘은 다음의 수학식 14 내지 수학식 17의 헤시안 매트릭스(Hessian matrix)를 이용하여 특징점의 굴곡 경계값을 계산할 수 있다.
Figure 112009063379023-pat00019
Figure 112009063379023-pat00020
Figure 112009063379023-pat00021
Figure 112009063379023-pat00022
SIFT 알고리즘의 제1 과정은 다음의 수학식 18을 통해 특징점의
Figure 112009063379023-pat00023
값을 구해 굴곡 경계값과 비교한다.
Figure 112009063379023-pat00024
SIFT 알고리즘의 제1 과정은 특징점의
Figure 112009063379023-pat00025
값과 굴곡 경계값을 비교하여 다음의 수학식 19의 조건을 만족하는 특징점을 추출한다. 일 실시예에서, SIFT 알고리즘은 굴곡 경계값보다 작은 값을 가지는 특징점을 추출한다.
Figure 112009063379023-pat00026
추출된 특징점을 보정한 후, SIFT 알고리즘의 제1 과정은 특징점에 크기와 방향을 결정한다(S206). SIFT 알고리즘의 제1 과정은 특징점에 크기와 방향벡터를 할당(Orientation assignment)하여 회전 변환에도 강한 성질을 가질 수 있는 특징점의 방향과 크기를 결정한다. SIFT 알고리즘의 제1 과정은 특징점의 주변 상하좌우 화소를 이용하여 방향과 크기를 결정한다. 특징점L(x, y)의 크기 값에 대한 함 수 m(x, y)와 방향 값에 대한 함수 θ(x, y)는 다음의 수학식 20과 수학식 21로 정의된다.
Figure 112009063379023-pat00027
Figure 112009063379023-pat00028
영상의 회전이 있더라도 특징점 주변 화소값은 변하지 않으므로, 주변 화소값을 기초로 크기(m(x,y))와 방향(θ(x, y))이 결정되는 특징점은 영상의 회전에 대해서 일정한 방향성질을 유지할 수 있다. 영상이 회전한 만큼 특징점의 방향도 함께 회전하므로 특징점의 기준 방향은 영상의 회전에도 변하지 않는 특징점 기술자를 생성하는 경우에 중요한 기준이 된다.
SIFT 알고리즘의 제1 과정을 통해 영상에서 특징점을 추출한 후, 얼굴인식 시스템은 PCA 및 LDA 결합 알고리즘을 실행하여 특징점의 수를 줄인다(S106). 얼굴인식 시스템은 PCA 및 LDA 결합 알고리즘을 적용하여 정합 성능을 향상시키고 얼굴 인식률을 높일 수 있다.
PCA 알고리즘은 특징 벡터의 차원을 축소하는 기법 중 하나로 얼굴 영상을 재구성하고 인식하는데 사용할 수 있는 고유벡터의 집합을 이용하여 영상 집합에 대해 통계적으로 중요한 정보들을 추출할 수 있다. 그러나, PCA 알고리즘은 조명이 나 자세, 표정 변화가 클 경우에는 인식률이 현저히 낮고, 분산이 가장 큰 축으로 데이터를 사영시켜 클래스간의 중첩을 고려하지 않기 때문에 객체(identity)의 변화가 클 경우 이를 구분하는데 어려움이 있다.
LDA 알고리즘은 PCA 알고리즘과 같은 특징 벡터 차원 축소 기법 중의 하나로, FLD(Fisher Linear Discriminant)를 분류 알고리즘으로 사용하는 알고리즘이다. LDA 알고리즘은 학습을 통해 환경변화에 둔감한 특징이 있으며 온라인에서 실시간으로 적용 가능하다. LDA 알고리즘은 안경착용, 표정변화, 조명변화와 같은 한 클래스 내에서의 변화는 최소화하고 다른 클래스 간의 변화는 최대화하여 특징 벡터의 차원을 축소한다. 즉, LDA 알고리즘은 클래스 간 분산(between-class scatter)은 최대로 하고 클래스 내 분산(within-class scatter)은 최소로 하여 특징 벡터의 차원을 축소한다. 그러나, LDA 알고리즘은 데이터가 비선형이거나 각 클래스가 같은 평균을 가지는 경우 이를 분류하기 어렵다.
PCA 및 LDA 결합 알고리즘은 PCA 알고리즘과 LDA 알고리즘을 선형 결합한 알고리즘이다. PCA 및 LDA 결합 알고리즘은 유클리디안 거리(Euclidean distance)를 이용한 문턱치 계산에서 단일 문턱치 대신 서로 다른 특성을 갖는 다중 문턱치를 사용한다. PCA 및 LDA 결합 알고리즘은 유클리디안 거리를 이용한 문턱치 계산 결과에서 각각 독립적인 특성을 갖는 다양한 거리벡터를 추출할 수 있다. PCA 및 LDA 결합 알고리즘은 클래스 사이의 결과를 조정하고 관찰하는데 거리벡터를 사용할 수 있다.
이하에서는 도 5를 참조하여 PCA 및 LDA 결합 알고리즘을 통해 특징점의 수 를 줄이는 과정에 대해 자세히 설명한다.
도 5는 도 1의 PCA 및 LDA 결합 알고리즘을 설명하기 위한 순서도이다.
도 5를 참조하면, SIFT 알고리즘의 제1 과정에서 추출된 특징점을 각각 PCA 데이터 및 LDA 데이터로 계산한다(S502).
PCA 및 LDA 결합 알고리즘은 PCA 데이터와 LDA 데이터로부터 PCA 거리벡터(dPCA)와 LDA 거리벡터(dLDA)를 계산한다. PCA 및 LDA 결합 알고리즘은 다음의 수학식 22를 통해 각 거리벡터를 계산할 수 있다.
Figure 112009063379023-pat00029
일 실시예에서, PCA 및 LDA 결합 알고리즘은 수학식 22에서 p=3인 변형된 유클리디안 거리를 사용하여 거리벡터를 계산할 수 있다. p=3인 변형된 유클리디안 거리는 다음의 수학식 23으로 정의될 수 있다.
Figure 112009063379023-pat00030
d는 변형된 유클리디안 거리를 나타내며, xi는 좌표에서 특징점 사이의 직선거리를 나타낸다.
거리벡터를 계산한 후, PCA 및 LDA 결합 알고리즘은 PCA 거리벡터와 LDA 거리벡터를 각각 정규화한다(S506). 정규화 식은 다음의 수학식 24로 정의될 수 있다.
Figure 112009063379023-pat00031
각 거리벡터를 정규화한 후, PCA 및 LDA 결합 알고리즘은 정규화된 PCA 거리벡터와 정규화된 LDA 거리벡터를 결합하고, 최종 거리값을 결정한다(S508). 일 실시예에서, PCA 및 LDA 결합 알고리즘은 Mean 결합방식을 기초로 거리벡터를 결합할 수 있다. Mean 결합방식은 다음의 수학식 25로 정의될 수 있다.
Figure 112009063379023-pat00032
다른 일 실시예에서, PCA 및 LDA 결합 알고리즘은 Appending 결합방식을 기초로 거리벡터를 결합할 수 있다. Appending 결합방식은 다음의 수학식 26으로 정의될 수 있다.
Figure 112009063379023-pat00033
거리벡터를 결합한 후, PCA 및 LDA 결합 알고리즘은 최종 거리값을 결정한다. 일 실시예에서, PCA 및 LDA 결합 알고리즘은 거리값(d)을 크기순으로 정렬한 후, KNN(k-Nearest Neighbor) 접근법을 기초로 개수가 가장 많은 거리값을 최종 거리값으로 결정한다.
최종 거리값을 결정한 후, PCA 및 LDA 결합 알고리즘은 최종 거리값에 상응하는 특징점을 선택한다(S510).
다시 도 1을 참조하면, 얼굴인식 시스템은 PCA 및 LDA 결합 알고리즘을 통해 특징점의 수를 줄인 후, 얼굴인식 시스템은 SIFT 알고리즘의 제2 과정을 실행하여 특징점에 상응하는 특징점 기술자를 생성한다(S108).
도 6은 도 1의 SIFT 알고리즘의 제2 과정에서 특징점 기술자를 생성하는 과정을 설명하기 위한 도면이다.
도 6을 참조하면, 상기 SIFT 알고리즘의 제2 과정은 특징점 기준방향을 기준으로 특징점 기술자(Keypoint descriptor)를 생성한다. 특징점 기술자는 입력영상과 데이터베이스에 저장된 얼굴 영상의 특징점 정합에 기준이 된다. 영상의 크기, 회전, 노이즈와 같은 외부환경에 변하지 않는 성분을 가진 특징점 기술자일수록 외부 환경에 의한 영상 변화에 강인한 특징점 정합 성능을 가진다.
SIFT 알고리즘의 제2 과정은 특징점 주변에 위치한 국부 영역의 그래디언트(gradient) 방향과 크기를 계산한다. 일 실시예에서, SIFT 알고리즘의 제2 과정은 수학식 20 및 수학식 21을 이용하여 국부 영역의 그래디언트 방향과 크기를 계산할 수 있다.
영상회전에 불변하는 기술자를 얻기 위해 SIFT 알고리즘의 제2 과정은 그래디언트 방향과 기술자의 좌표를 특징점 방향을 기준으로 회전이동하고, 회전된 그래디언트에 특징점을 중심으로 가우시안 가중치를 부여한다. SIFT 알고리즘의 제2 과정은 특징점 주변 영역의 작은 변화에도 그래디언트의 방향과 크기가 민감하게 변하는 것을 방지하기 위해 가우시안 가중치를 부여한다. SIFT 알고리즘의 제2 과정은 특징점을 중심으로 가우시안 가중치를 부여하여 특징점 주변 영역의 그래디언트를 강조하고 에러를 최소화할 수 있다.
도 6의 (a)는 특징점 주변에 위치한 국부 영역의 그래드언트 방향과 크기를 도시한 도면이고, 도 6의 (b)는 가우시안 가중치를 부여한 후의 그래디언트 방향과 크기를 도시한 도면이다.
가우시안 가중치가 부여된 그래디언트는 각각의 배열이 8방향을 가지고 있는 4×4 배열로 재구성된다. 이러한 방향성 히스토그램은 128(8×4×4)차원의 벡터로 구성된다. 일 실시예에서, SIFT 알고리즘의 제2 과정은 128차원 벡터를 조명에 강인한 기술자로 만들기 위해 정규화 과정을 수행할 수 있다. 상기 과정을 통해 생성된 128차원 벡터는 특징점을 대표하는 특징점 기술자가 된다. SIFT 알고리즘은 영상크기 500×500에서 약 2000개 정도의 특징점 기술자를 생성할 수 있다.
다시 도 1을 참조하면, 얼굴인식 시스템은 S108 단계에서 생성된 특징점 기술자와 데이터베이스에 저장된 특징점 기술자를 비교하여 정합(match)한다(S110).
S108 단계에서 생성된 특징점 기술자와 정합되는 특징점 기술자가 데이터베이스에 있는 경우, 얼굴인식 시스템은 다시 SIFT 알고리즘의 제1 과정과 제2 과정 만을 실행하여 S102 단계에서 입력된 입력 영상에서 특징점 기술자를 생성한다(S112).
얼굴인식 시스템은 데이터베이스에 저장된 특징점 기술자 중 S108 단계에서 생성된 특징점 기술자와 정합된 특징점 기술자와 S112 단계에서 SIFT 알고리즘의 제1 과정과 제2 과정만을 실행하여 생성된 특징점 기술자를 비교하여 정합한다(S114). S114 단계에서 특징점 기술자가 서로 정합되는 경우에는 얼굴인식 시스템은 데이터베이스에 저장된 얼굴 영상 중 해당 특징점 기술자에 상응하는 얼굴 영상을 통해 얼굴을 인식한다.
도 7은 도 1의 입력 영상을 나타내는 도면이고, 도 8은 도 7의 입력 영상에서 특징점을 추출한 것을 나타낸 도면이다. 도 9는 데이터베이스에 저장된 얼굴 영상에서 특징점을 추출한 것을 나타낸 도면이다.
이상에서 설명한 SIFT 알고리즘과 PCA 및 LDA 결합 알고리즘을 이용한 얼굴인식 방법은 통상의 컴퓨터 시스템에서 구현가능하다. 통상의 컴퓨터 시스템이란 프로세서, 메모리, 저장장치 등으로 이루어진 컴퓨터 시스템 또는 이와 동등한 연산을 수행할 수 있는 컴퓨터 시스템을 지칭하는 것으로서 이에 대한 구체적인 구성에 대해서는 본 실시예에서는 생략하였다.
개시된 기술은 다음의 효과를 가질 수 있다. 다만, 특정 실시예가 다음의 효과를 전부 포함하여야 한다거나 다음의 효과만을 포함하여야 한다는 의미는 아니므로, 개시된 기술의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
일 실시예에 따른 얼굴인식 방법은 SIFT 알고리즘에 PCA 및 LDA 결합 알고리즘을 결합하여 SIFT 알고리즘의 특징점 정합 성능을 향상시키고 얼굴 인식률을 향상시킬 수 있다.
개시된 기술의 얼굴인식 방법은 PCA 및 LDA 결합 알고리즘을 통해 특징점의 수를 줄인 후 특징점을 정합하므로, 특징점 정합의 계산량을 줄이고, 정합 오류를 줄일 수 있다. 또한, 개시된 기술의 얼굴인식 방법은 영상 내 크기의 변화, 조명의 변화 및 회전과 같은 영상 변화에 강인하므로, 얼굴 인식률을 향상시킬 수 있다.
상기에서는 본 발명의 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
도 1은 개시된 기술의 일 실시예에 따른 SIFT 알고리즘과 PCA 및 LDA 결합 알고리즘을 이용한 얼굴인식 방법을 설명하기 위한 순서도이다.
도 2는 도 1의 SIFT 알고리즘의 제1 과정을 설명하기 위한 순서도이다.
도 3은 도 2의 SIFT 알고리즘의 제1 과정에서 스케일 공간을 생성하는 것을 설명하기 위한 도면이다.
도 4는 도 2의 SIFT 알고리즘의 제1 과정에서 특징점을 추출하는 것을 설명하기 위한 도면이다.
도 5는 도 1의 PCA 및 LDA 결합 알고리즘을 설명하기 위한 순서도이다.
도 6은 도 1의 SIFT 알고리즘의 제2 과정에서 특징점 기술자를 생성하는 과정을 설명하기 위한 도면이다.
도 7은 도 1의 입력 영상을 나타내는 도면이다.
도 8은 도 7의 입력 영상에서 특징점을 추출한 것을 나타낸 도면이다.
도 9는 데이터베이스에 저장된 얼굴 영상에서 특징점을 추출한 것을 나타낸 도면이다.

Claims (4)

  1. (a) 카메라를 통해 촬영된 영상을 입력받는 단계;
    (b) SIFT(Scale Invariant Feature Transform) 알고리즘의 제1 과정을 실행하여 상기 영상에서 특징점을 추출하는 단계;
    (c) PCA(Principal Component Analysis) 및 LDA(Linear Discriminant Analysis) 결합 알고리즘을 실행하여 상기 특징점의 수를 줄이는 단계;
    (d) 상기 SIFT 알고리즘의 제2 과정을 실행하여 상기 (c)단계에서 남은 특징점에 상응하는 특징점 기술자를 생성하는 단계;
    (e) 상기 (d)단계에서 생성된 특징점 기술자와 데이터베이스에 저장된 얼굴 영상의 특징점 기술자를 비교하는 단계;
    (f) 상기 (d)단계에서 생성된 특징점 기술자와 상기 데이터베이스에 저장된 얼굴 영상의 특징점 기술자가 정합되면, SIFT 알고리즘의 제1 과정과 제2 과정만 실행하여 상기 (a)단계에서 입력받은 영상에서 특징점 기술자를 생성하는 단계; 및
    (g) 상기 데이터베이스에 저장된 얼굴 영상의 특징점 기술자 중 상기 (f)단계에서 정합된 특징점 기술자와 상기 SIFT 알고리즘의 제1 과정과 제2 과정만 실행하여 생성된 특징점 기술자를 비교하는 단계를
    포함하는 얼굴인식 방법.
  2. 제 1 항에 있어서, 상기 (b)단계는
    (b-1) 상기 영상에 가우시안 필터를 적용하여 가우시안 영상을 생성하고, 상기 가우시안 영상 사이의 차이를 통해 가우시안 차(DoG, Difference of Gaussian) 영상을 생성하며, 가우시안 스케일 공간을 생성하는 단계;
    (b-2) 특정 가우시안 차 영상 안에서의 픽셀 및 상기 가우시안 차 영상과 인접한 가우시안 차 영상의 픽셀을 이용하여 특징점을 추출하고, 상기 추출된 특징점 중 대조 경계값 보다 작은 값은 가지는 특징점을 제거하며, 굴곡 경계값 보다 작은 값을 가지는 특징점을 추출하는 단계; 및
    (b-3) 상기 (b-2)단계에서 남은 특징점의 크기 및 방향을 결정하는 단계를
    포함하는 것을 특징으로 하는 얼굴인식 방법.
  3. 제 1 항에 있어서, 상기 (c)단계는
    (c-1) 상기 (b)단계에서 추출된 특징점을 각각 PCA 데이터 및 LDA 데이터로 계산하는 단계;
    (c-2) 상기 PCA 데이터 및 LDA 데이터를 기초로 상기 특징점 사이의 PCA 거리벡터(dPCA) 및 LDA 거리벡터(dLDA)를 각각 계산하는 단계;
    (c-3) 상기 PCA 거리벡터(dPCA) 및 LDA 거리벡터(dLDA)를 각각 정규화하는 단계;
    (c-4) 상기 정규화된 PCA 거리벡터(dPCA) 및 LDA 거리벡터(dLDA)를 결합하고, 결합된 거리벡터의 거리값 중 개수가 많은 거리값을 최종 거리값으로 결정하는 단 계; 및
    (c-5) 상기 최종 거리값에 상응하는 특징점을 선택하는 단계를
    포함하는 것을 특징으로 하는 얼굴인식 방법.
  4. 제 3 항에 있어서, 상기 (c-2)단계는
    다음의 수학식 1을 통해 상기 특징점 사이의 변형된 유클리디안 거리를 구하는 것을 특징으로 하는 얼굴인식 방법.
    [수학식 1]
    Figure 112009063379023-pat00034
    여기에서,
    d : 변형된 유클리디안 거리
    xi : 좌표에서 특징점 사이의 직선거리
KR1020090098549A 2009-10-16 2009-10-16 얼굴 인식 방법 KR100950776B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090098549A KR100950776B1 (ko) 2009-10-16 2009-10-16 얼굴 인식 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090098549A KR100950776B1 (ko) 2009-10-16 2009-10-16 얼굴 인식 방법

Publications (1)

Publication Number Publication Date
KR100950776B1 true KR100950776B1 (ko) 2010-04-02

Family

ID=42219462

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090098549A KR100950776B1 (ko) 2009-10-16 2009-10-16 얼굴 인식 방법

Country Status (1)

Country Link
KR (1) KR100950776B1 (ko)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101198322B1 (ko) 2011-09-23 2012-11-06 (주) 어펙트로닉스 얼굴 표정 인식 방법 및 시스템
CN103390154A (zh) * 2013-07-31 2013-11-13 中国人民解放军国防科学技术大学 基于进化多特征提取的人脸识别方法
CN103955667A (zh) * 2013-05-31 2014-07-30 华北电力大学 一种基于几何约束的sift人脸匹配方法
KR101440441B1 (ko) * 2012-11-30 2014-09-17 경북대학교 산학협력단 제스처 인식 장치 및 그 방법
CN105787443A (zh) * 2016-02-20 2016-07-20 北京工业大学 一种基于嵌入式平台的人脸识别方法
KR101756959B1 (ko) * 2015-10-13 2017-07-11 재단법인대구경북과학기술원 영상 분석 방법 및 장치
CN108537732A (zh) * 2018-04-10 2018-09-14 福州大学 基于pca-sift的快速图像拼接方法
CN110097673A (zh) * 2019-05-17 2019-08-06 北京深醒科技有限公司 一种基于红外摄像头下的门禁识别方法
CN110133741A (zh) * 2019-05-08 2019-08-16 常州大学 一种多视角匹配和跟踪的自动安检方法
CN114542874A (zh) * 2022-02-23 2022-05-27 常州工业职业技术学院 一种自动调节拍照高度和角度的装置及其控制系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Recognize High Resolution Faces: From Macrocosm to Microcosm, Dahua Lin, Xiaoou Tang, Proceedings of 2006 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, Pages 1355-1362

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101198322B1 (ko) 2011-09-23 2012-11-06 (주) 어펙트로닉스 얼굴 표정 인식 방법 및 시스템
WO2013042992A1 (ko) * 2011-09-23 2013-03-28 (주)어펙트로닉스 얼굴 표정 인식 방법 및 시스템
KR101440441B1 (ko) * 2012-11-30 2014-09-17 경북대학교 산학협력단 제스처 인식 장치 및 그 방법
CN103955667A (zh) * 2013-05-31 2014-07-30 华北电力大学 一种基于几何约束的sift人脸匹配方法
CN103390154A (zh) * 2013-07-31 2013-11-13 中国人民解放军国防科学技术大学 基于进化多特征提取的人脸识别方法
KR101756959B1 (ko) * 2015-10-13 2017-07-11 재단법인대구경북과학기술원 영상 분석 방법 및 장치
CN105787443A (zh) * 2016-02-20 2016-07-20 北京工业大学 一种基于嵌入式平台的人脸识别方法
CN108537732A (zh) * 2018-04-10 2018-09-14 福州大学 基于pca-sift的快速图像拼接方法
CN108537732B (zh) * 2018-04-10 2021-11-02 福州大学 基于pca-sift的快速图像拼接方法
CN110133741A (zh) * 2019-05-08 2019-08-16 常州大学 一种多视角匹配和跟踪的自动安检方法
CN110097673A (zh) * 2019-05-17 2019-08-06 北京深醒科技有限公司 一种基于红外摄像头下的门禁识别方法
CN114542874A (zh) * 2022-02-23 2022-05-27 常州工业职业技术学院 一种自动调节拍照高度和角度的装置及其控制系统

Similar Documents

Publication Publication Date Title
KR100950776B1 (ko) 얼굴 인식 방법
Soltanpour et al. A survey of local feature methods for 3D face recognition
Arashloo et al. Class-specific kernel fusion of multiple descriptors for face verification using multiscale binarised statistical image features
Alvarez-Betancourt et al. A keypoints-based feature extraction method for iris recognition under variable image quality conditions
Chen et al. Fisher vector encoded deep convolutional features for unconstrained face verification
KR101314293B1 (ko) 조명변화에 강인한 얼굴인식 시스템
KR100972849B1 (ko) 객체 인식 방법
Sarangi et al. Fusion of PHOG and LDP local descriptors for kernel-based ear biometric recognition
Alshazly et al. Ear biometric recognition using gradient-based feature descriptors
Kumar et al. Automatic ear detection for online biometric applications
Bąk et al. Re-identification by covariance descriptors
Patil et al. Analysis of multi-modal biometrics system for gender classification using face, iris and fingerprint images
Mani Kumar et al. Wavelet SIFT feature descriptors for robust face recognition
Ramya et al. Certain investigation on iris image recognition using hybrid approach of Fourier transform and Bernstein polynomials
Ammar et al. Evaluation of histograms local features and dimensionality reduction for 3D face verification
Bhat Makeup invariant face recognition using features from accelerated segment test and eigen vectors
Dewi et al. Ear photo recognition using scale invariant keypoints.
Ramalingam et al. Robust face recognition using enhanced local binary pattern
Shermina Face recognition system using multilinear principal component analysis and locality preserving projection
Kumar et al. Rank level integration of face based biometrics
Umer et al. Biometric recognition system for challenging faces
Prasad et al. Iris recognition systems: a review
Nigam et al. Robust ear recognition using gradient ordinal relationship pattern
Khalıfa et al. Gender prediction from facial images using local binary patterns and histograms of oriented gradients transformations
Naseem et al. Sparse representation for video-based face recognition

Legal Events

Date Code Title Description
A201 Request for examination
N231 Notification of change of applicant
A302 Request for accelerated examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130326

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20140429

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20150217

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee