KR101783629B1 - 얼굴의 특징점 검출 시스템 및 방법 - Google Patents

얼굴의 특징점 검출 시스템 및 방법 Download PDF

Info

Publication number
KR101783629B1
KR101783629B1 KR1020170078656A KR20170078656A KR101783629B1 KR 101783629 B1 KR101783629 B1 KR 101783629B1 KR 1020170078656 A KR1020170078656 A KR 1020170078656A KR 20170078656 A KR20170078656 A KR 20170078656A KR 101783629 B1 KR101783629 B1 KR 101783629B1
Authority
KR
South Korea
Prior art keywords
feature point
face
region
eigen
face region
Prior art date
Application number
KR1020170078656A
Other languages
English (en)
Other versions
KR20170075704A (ko
Inventor
최현철
Original Assignee
영남대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 영남대학교 산학협력단 filed Critical 영남대학교 산학협력단
Priority to KR1020170078656A priority Critical patent/KR101783629B1/ko
Publication of KR20170075704A publication Critical patent/KR20170075704A/ko
Application granted granted Critical
Publication of KR101783629B1 publication Critical patent/KR101783629B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
    • G06K9/00234—
    • G06K9/00268—
    • G06K9/00288—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

얼굴의 특징점 검출 시스템 및 방법이 개시된다. 본 발명의 일 실시예에 따른 얼굴의 특징점 검출 시스템은, 복수의 얼굴 이미지 각각을 설정된 크기로 분할하고, 상기 얼굴 이미지의 분할된 각 영역의 특징 벡터와 상기 얼굴 이미지 내의 설정된 특징점의 위치 사이의 상관 관계를 나타내는 아이겐-코드북(eigen-codebook)을 생성하는 학습부; 및 대상 이미지로부터 얼굴 영역을 검출하고, 상기 얼굴 영역을 설정된 크기로 분할하며, 상기 얼굴 영역의 분할된 각 영역의 특징 벡터를 검출하고, 검출된 상기 특징 벡터와 상기 아이겐-코드북을 이용하여 상기 얼굴 영역의 특징점의 위치를 검출하는 검출부를 포함한다.

Description

얼굴의 특징점 검출 시스템 및 방법{SYSTEM AND METHOD FOR DETECTING FEATURE POINTS OF FACE}
본 발명의 실시예들은 얼굴의 특징점을 검출하는 기술과 관련된다.
영상 처리 기술이 발달함에 따라 대상 이미지로부터 얼굴을 인식하는 기술이 점차 상용화되고 있다. 일반적으로, 얼굴을 인식하기 위해서는 얼굴의 특징점을 검출하여야 하며, 얼굴의 특징점을 검출하기 위해 대상 이미지와 학습용 얼굴 이미지의 패턴을 비교하는 방식이 주로 사용되었다. 그러나, 종래 기술에 따르면 얼굴의 특징점들에 대응되는 국소 패턴(local patterns)을 일일이 추출하여야 하는 번거로움이 있었으며, 이 경우 국소 패턴의 추출에 따른 시간 소요가 상당하고 국소 패턴의 저장에 따른 스토리지의 저장 공간이 낭비되는 문제점이 있었다. 또한, 종래에는 얼굴의 특징점 검출을 위해 별도의 패턴 검색 알고리즘을 사용하여야 하였으며, 이 경우 특징점을 검출하는 데 사용되는 계산의 복잡도(complexity)가 큰 문제점이 있었다. 나아가, 종래에는 패턴 검색시 이미지의 픽셀값을 비교하는 방식을 사용하였으며, 이 경우 이미지의 밝기, 주변 조명 변화 등에 따라 특징점 검출의 정확도가 떨어지는 문제점이 있었다.
한국공개특허공보 제10-2012-0066462호(2012.06.22)
본 발명의 실시예들은 대상 이미지의 얼굴 영역 내 특징점의 위치를 보다 빠르고 정확하게 검출하기 위한 수단을 제공하기 위한 것이다.
본 발명의 실시예들에 따르면, 복수의 얼굴 이미지 각각을 설정된 크기로 분할하고, 상기 얼굴 이미지의 분할된 각 영역의 특징 벡터와 상기 얼굴 이미지 내의 설정된 특징점의 위치 사이의 상관 관계를 나타내는 아이겐-코드북(eigen-codebook)을 생성하는 학습부; 및 대상 이미지로부터 얼굴 영역을 검출하고, 상기 얼굴 영역을 설정된 크기로 분할하며, 상기 얼굴 영역의 분할된 각 영역의 특징 벡터를 검출하고, 검출된 상기 특징 벡터와 상기 아이겐-코드북을 이용하여 상기 얼굴 영역의 특징점의 위치를 검출하는 검출부를 포함하는, 얼굴의 특징점 검출 시스템이 제공된다.
상기 학습부는, 상기 얼굴 이미지의 분할된 각 영역에 설정된 특징점 검출 알고리즘을 적용하여
Figure 112017059658915-pat00001
를 획득하고, 상기
Figure 112017059658915-pat00002
에 PCA(Principal Component Analysis) 알고리즘을 적용하여
Figure 112017059658915-pat00003
를 획득하며, 상기
Figure 112017059658915-pat00004
와 상기
Figure 112017059658915-pat00005
를 이용하여 상기 아이겐-코드북을 생성할 수 있다.
(여기서,
Figure 112017059658915-pat00006
는 n번째 얼굴 이미지의 분할된 영역 s에서의 특징 벡터에 관한 데이터이며, M은 매트릭스(matrix)임. 또한,
Figure 112017059658915-pat00007
는
Figure 112017059658915-pat00008
내지
Figure 112017059658915-pat00009
의 평균을 나타내며,
Figure 112017059658915-pat00010
는
Figure 112017059658915-pat00011
내지
Figure 112017059658915-pat00012
에 대해 상기 PCA 알고리즘을 적용함으로써 획득되는 아이겐 데이터임. 이때, 아이겐 데이터
Figure 112017059658915-pat00013
의 아이겐 값을
Figure 112017059658915-pat00014
라 하였을 때
Figure 112017059658915-pat00015
임. 또한,
Figure 112017059658915-pat00016
는
Figure 112017059658915-pat00017
내지
Figure 112017059658915-pat00018
의 총 개수임)
상기 학습부는, 상기
Figure 112017059658915-pat00019
와 상기
Figure 112017059658915-pat00020
사이의 상관 관계를 나타내며 다음의 수학식을 만족하는
Figure 112017059658915-pat00021
를 계산하며, 상기
Figure 112017059658915-pat00022
를 이용하여 상기 아이겐-코드북을 생성할 수 있다.
Figure 112017059658915-pat00023
(여기서, ㆍ는 매트릭스 곱(multiplication)을 의미함)
상기 학습부는, 다음의 수학식을 만족하는 n번째 얼굴 이미지의 분할된 영역 s 의 중심으로부터 상기 얼굴 이미지의 설정된 특징점 k까지의 방향 벡터
Figure 112017059658915-pat00024
를 계산하고,
Figure 112017059658915-pat00025
다음의 수학식을 이용하여
Figure 112017059658915-pat00026
를 계산하며,
Figure 112017059658915-pat00027
상기 아이겐-코드북은, 상기
Figure 112017059658915-pat00028
를 포함할 수 있다.
상기 검출부는, 상기 얼굴 영역의 분할된 각 영역에 설정된 특징점 검출 알고리즘을 적용하여
Figure 112017059658915-pat00029
를 획득하고, 다음의 수학식을 이용하여 상기
Figure 112017059658915-pat00030
를 상기
Figure 112017059658915-pat00031
의 값들의 조합으로 나타냄으로써
Figure 112017059658915-pat00032
를 획득하고, 상기
Figure 112017059658915-pat00033
를 이용하여 상기 얼굴 영역의 특징점의 위치를 검출할 수 있다.
Figure 112017059658915-pat00034
Figure 112017059658915-pat00035
(여기서,
Figure 112017059658915-pat00036
는 a와 b의 내적임)
상기 검출부는, 다음의 수학식을 이용하여 상기 얼굴 영역의 분할된 영역 s의 중심으로부터 상기 특징점 k까지의 방향 벡터
Figure 112017059658915-pat00037
를 상기
Figure 112017059658915-pat00038
의 값들의 조합으로 나타내고, 상기
Figure 112017059658915-pat00039
를 이용하여 상기 얼굴 영역의 특징점의 위치를 검출할 수 있다.
Figure 112017059658915-pat00040
상기 검출부는, 상기 얼굴 영역의 분할된 각 영역의 중심으로부터 상기 특징점 k까지의 방향 벡터의 크기들의 합이 최소가 되는 지점을 상기 특징점 k의 위치 좌표로 결정함으로써 상기 얼굴 영역의 특징점의 위치를 검출할 수 있다.
본 발명의 다른 예시적인 실시예에 따르면, 학습부에서, 복수의 얼굴 이미지 각각을 설정된 크기로 분할하는 단계; 상기 학습부에서, 상기 얼굴 이미지의 분할된 각 영역의 특징 벡터와 상기 얼굴 이미지 내의 설정된 특징점의 위치 사이의 상관 관계를 나타내는 아이겐-코드북(eigen-codebook)을 생성하는 단계; 검출부에서, 대상 이미지로부터 얼굴 영역을 검출하는 단계; 상기 검출부에서, 상기 얼굴 영역을 설정된 크기로 분할하는 단계; 상기 검출부에서, 상기 얼굴 영역의 분할된 각 영역의 특징 벡터를 검출하는 단계; 및 상기 검출부에서, 검출된 상기 특징 벡터와 상기 아이겐-코드북을 이용하여 상기 얼굴 영역의 특징점의 위치를 검출하는 단계를 포함하는, 얼굴의 특징점 검출 방법이 제공된다.
상기 아이겐-코드북을 생성하는 단계는, 상기 얼굴 이미지의 분할된 각 영역에 설정된 특징점 검출 알고리즘을 적용하여
Figure 112017059658915-pat00041
를 획득하는 단계; 상기
Figure 112017059658915-pat00042
에 PCA(Principal Component Analysis) 알고리즘을 적용하여
Figure 112017059658915-pat00043
를 획득하는 단계; 및 상기
Figure 112017059658915-pat00044
와 상기
Figure 112017059658915-pat00045
를 이용하여 상기 아이겐-코드북을 생성하는 단계를 포함할 수 있다.
(여기서,
Figure 112017059658915-pat00046
는 n번째 얼굴 이미지의 분할된 영역 s에서의 특징 벡터에 관한 데이터이며, M은 매트릭스(matrix)임. 또한,
Figure 112017059658915-pat00047
는
Figure 112017059658915-pat00048
내지
Figure 112017059658915-pat00049
의 평균을 나타내며,
Figure 112017059658915-pat00050
는
Figure 112017059658915-pat00051
내지
Figure 112017059658915-pat00052
에 대해 상기 PCA 알고리즘을 적용함으로써 획득되는 아이겐 데이터임. 이때, 아이겐 데이터
Figure 112017059658915-pat00053
의 아이겐 값을
Figure 112017059658915-pat00054
라 하였을 때
Figure 112017059658915-pat00055
임. 또한,
Figure 112017059658915-pat00056
는
Figure 112017059658915-pat00057
내지
Figure 112017059658915-pat00058
의 총 개수임)
상기
Figure 112017059658915-pat00059
와 상기
Figure 112017059658915-pat00060
를 이용하여 상기 아이겐-코드북을 생성하는 단계는, 상기
Figure 112017059658915-pat00061
와 상기
Figure 112017059658915-pat00062
사이의 상관 관계를 나타내며 다음의 수학식을 만족하는
Figure 112017059658915-pat00063
를 계산하는 단계; 및 상기
Figure 112017059658915-pat00064
를 이용하여 상기 아이겐-코드북을 생성하는 단계를 포함할 수 있다.
Figure 112017059658915-pat00065
(여기서, ㆍ는 매트릭스 곱(multiplication)을 의미함)
상기
Figure 112017059658915-pat00066
를 이용하여 상기 아이겐-코드북을 생성하는 단계는, 다음의 수학식을 만족하는 n번째 얼굴 이미지의 분할된 영역 s 의 중심으로부터 상기 얼굴 이미지의 설정된 특징점 k까지의 방향 벡터
Figure 112017059658915-pat00067
를 계산하는 단계; 및
Figure 112017059658915-pat00068
다음의 수학식을 이용하여
Figure 112017059658915-pat00069
를 계산하는 단계를 포함하며,
Figure 112017059658915-pat00070
상기 아이겐-코드북은, 상기
Figure 112017059658915-pat00071
를 포함할 수 있다.
상기 얼굴 영역의 특징점의 위치를 검출하는 단계는, 상기 얼굴 영역의 분할된 각 영역에 설정된 특징점 검출 알고리즘을 적용하여
Figure 112017059658915-pat00072
를 획득하는 단계; 다음의 수학식을 이용하여 상기
Figure 112017059658915-pat00073
를 상기
Figure 112017059658915-pat00074
의 값들의 조합으로 나타냄으로써
Figure 112017059658915-pat00075
를 획득하는 단계; 및 상기
Figure 112017059658915-pat00076
를 이용하여 상기 얼굴 영역의 특징점의 위치를 검출하는 단계를 포함할 수 있다.
Figure 112017059658915-pat00077
Figure 112017059658915-pat00078
(여기서,
Figure 112017059658915-pat00079
는 a와 b의 내적임)
상기
Figure 112017059658915-pat00080
를 이용하여 상기 얼굴 영역의 특징점의 위치를 검출하는 단계는, 다음의 수학식을 이용하여 상기 얼굴 영역의 분할된 영역 s의 중심으로부터 상기 특징점 k까지의 방향 벡터
Figure 112017059658915-pat00081
를 상기
Figure 112017059658915-pat00082
의 값들의 조합으로 나타내는 단계; 및 상기
Figure 112017059658915-pat00083
를 이용하여 상기 얼굴 영역의 특징점의 위치를 검출하는 단계를 포함할 수 있다.
Figure 112017059658915-pat00084
상기
Figure 112017059658915-pat00085
를 이용하여 상기 얼굴 영역의 특징점의 위치를 검출하는 단계는, 상기 얼굴 영역의 분할된 각 영역의 중심으로부터 상기 특징점 k까지의 방향 벡터의 크기들의 합이 최소가 되는 지점을 상기 특징점 k의 위치 좌표로 결정함으로써 상기 얼굴 영역의 특징점의 위치를 검출할 수 있다.
본 발명의 실시예들에 따르면, 얼굴의 일 지점에서 국소 패턴(local patterns)을 추출하는 대신 학습용 복수의 얼굴 이미지에 기초한 통계적인 추론 기법을 이용하여 대상 이미지의 얼굴 영역 내 특징점의 위치를 보다 빠르고 정확하게 검출할 수 있다. 또한, 본 발명의 실시예들에 따르면, 미리 학습된 아이겐-코드북을 이용한다는 점에서 패턴 검색 알고리즘을 이용하는 종래 기술에 비해 특징점을 검출하는 데 사용되는 계산의 복잡도(complexity) 및 스토리지의 사이즈를 최소화할 수 있다. 나아가, 본 발명의 실시예들에 따른 얼굴의 특징점 검출 기법은 모바일 애플리케이션 등과 같은 낮은 성능의 하드웨어에서도 쉽게 구현이 가능하다.
도 1은 본 발명의 일 실시예에 따른 얼굴의 특징점 검출 시스템의 상세 구성을 나타낸 블록도
도 2는 본 발명의 일 실시예에 따른 학습부에서 아이겐-코드북을 생성하는 과정을 설명하기 위한 도면
도 3은 본 발명의 일 실시예에 따른 검출부에서 얼굴 영역을 검출하고 검출된 얼굴 영역을 설정된 크기로 분할하는 과정을 설명하기 위한 도면
도 4는 본 발명의 일 실시예에 따른 검출부에서 얼굴 영역의 분할된 각 영역의 중심에서 특징점까지의 방향 벡터를 구하는 과정을 설명하기 위한 도면
도 5는 본 발명의 일 실시예에 따른 검출부에서 특징점의 위치 좌표를 결정하는 과정을 설명하기 위한 도면
도 6은 본 발명의 일 실시예에 따른 얼굴의 특징점 검출 방법을 설명하기 위한 흐름도
이하, 도면을 참조하여 본 발명의 구체적인 실시형태를 설명하기로 한다. 이하의 상세한 설명은 본 명세서에서 기술된 방법, 장치 및/또는 시스템에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다.
본 발명의 실시예들을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 본 발명의 실시예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다.
도 1은 본 발명의 일 실시예에 따른 얼굴의 특징점 검출 시스템(100)의 상세 구성을 나타낸 블록도이다. 도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 얼굴의 특징점 검출 시스템(100)은 학습부(102) 및 검출부(104)를 포함한다.
학습부(102)는 복수의 얼굴 이미지를 기초로 아이겐-코드북(eigen-codebook)을 생성하는 모듈이다. 본 실시예들에서 아이겐-코드북이란 얼굴 이미지의 분할된 각 영역의 특징 벡터와 상기 얼굴 이미지 내의 설정된 특징점의 위치 사이의 상관 관계를 나타내는 정보들의 집합으로서, 후술할 검출부(104)는 상기 아이겐-코드북을 이용하여 대상 이미지의 얼굴 영역 내 특징점의 위치를 빠르고 정확하게 검출할 수 있다. 또한, 상기 얼굴 이미지는 아이겐-코드북을 생성하는 데 사용되는 학습용 이미지로서, 사람의 얼굴 영역이 포함될 수 있다. 상기 얼굴 이미지는 예를 들어, 입력 이미지에 에이다부스트(Adaboost) 알고리즘이 적용되어 얼굴 영역을 제외한 나머지 영역이 제거된 이미지일 수 있다. 학습부(102)는 불특정 다수의 얼굴 영역이 포함된 복수의 얼굴 이미지를 이용하여 아이겐-코드북을 생성할 수 있다. 아이겐-코드북을 생성하는 데 사용되는 얼굴 이미지의 개수는 예를 들어, 100개 내지 150개일 수 있으나 이에 한정되는 것은 아니다.
도 2를 참조하면, 학습부(102)가 아이겐-코드북을 생성하는 과정이 구체적으로 개시된다. 먼저, 학습부(102)는 복수의 얼굴 이미지 각각을 설정된 크기로 분할할 수 있다. 예를 들어, 학습부(102)는 각 얼굴 이미지의 크기를 72 X 72 픽셀로 조정하고, 각 얼굴 이미지를 9 X 9 그리드(grid)로 분할함으로써 81개의 영역(세그먼트)을 획득할 수 있다. 여기서, 각 영역은 예를 들어, 사각형 형태으로 이루어질 수 있다. 다만, 이는 하나의 실시예에 불과하며 얼굴 이미지 내의 분할된 영역의 형태 및 개수가 이에 한정되는 것은 아니다.
다음으로, 학습부(102)는 얼굴 이미지의 분할된 각 영역에 설정된 특징점 검출 알고리즘을 적용하여 특징 벡터를 계산할 수 있다. 여기서, 특징점 검출 알고리즘은 예를 들어, HOG(Histogram of Oriented Gradients), SIFT(Scale Invariant Feature Transform), SURF(Speeded Up Robust Features) 등이 될 수 있으나, 상기 특징점 검출 알고리즘에 제한되는 것은 아니다. 이하에서는, 설명의 편의상 학습부(102)가 HOG 알고리즘을 적용하여 특징 벡터를 계산하는 것으로 가정한다. 상기 HOG 알고리즘은 기울기(Gradient)와 에지(Edge) 방향의 분포를 특징으로 하는 히스토그램으로서, 학습부(102)는 HOG 알고리즘을 이용하여 얼굴 이미지의 분할된 각 영역의 특징 벡터를 계산할 수 있다. 상기 HOG 알고리즘은 에지의 방향 정보를 이용한다는 점에서 이미지의 밝기, 주변 조명 변화 등에 덜 민감한 장점이 있다. n개의 얼굴 이미지가 존재한다고 가정하였을 때,
Figure 112017059658915-pat00086
는 n번째 얼굴 이미지의 분할된 영역 s에서의 특징 벡터에 관한 데이터(예를 들어, 히스토그램 데이터)일 수 있다. 얼굴 이미지의 분할된 각 영역에 특징점 검출 알고리즘을 적용하여 획득한
Figure 112017059658915-pat00087
내지
Figure 112017059658915-pat00088
의 집합을
Figure 112017059658915-pat00089
이라 하면
Figure 112017059658915-pat00090
은 다음과 같이 표현될 수 있다.
Figure 112017059658915-pat00091
여기서, M은 매트릭스로서,
Figure 112017059658915-pat00092
의 각 열(column)에는 n번째 얼굴 이미지의 특징 벡터에 관한 히스토그램 데이터가 포함될 수 있다.
다음으로, 학습부(102)는
Figure 112017059658915-pat00093
에 PCA(Principal Component Analysis) 알고리즘을 적용하여
Figure 112017059658915-pat00094
를 획득할 수 있다. PCA 알고리즘은 2차 모멘트의 통계적 정보를 이용한 선형 인식 알고리즘으로서, 학습부(102)는 PCA 알고리즘을 이용하여 아이겐-특징(Eigen-features)을 획득할 수 있다.
Figure 112017059658915-pat00095
에 PCA 알고리즘을 적용하여
Figure 112017059658915-pat00096
를 획득하는 과정을 순차적으로 설명하면 다음과 같다.
(1)
Figure 112017059658915-pat00097
내지
Figure 112017059658915-pat00098
의 평균(
Figure 112017059658915-pat00099
)을 구한다.
(2)
Figure 112017059658915-pat00100
내지
Figure 112017059658915-pat00101
각각에서 상기 평균(
Figure 112017059658915-pat00102
)을 뺀다.
(3) 공분산 행렬을 만든다.
(4) 공분산 행렬을 이용하여 아이겐 값(eigen value)과 아이겐 벡터(eigen vector)를 구한다.
(5) 아이겐 데이터(또는 아이겐 히스토그램; eigen histogram)(
Figure 112017059658915-pat00103
내지
Figure 112017059658915-pat00104
)을 구한다.
상기
Figure 112017059658915-pat00105
은 다음과 같이 표현될 수 있다.
Figure 112017059658915-pat00106
여기서,
Figure 112017059658915-pat00107
는
Figure 112017059658915-pat00108
내지
Figure 112017059658915-pat00109
의 평균을 나타내며,
Figure 112017059658915-pat00110
는
Figure 112017059658915-pat00111
내지
Figure 112017059658915-pat00112
에 대해 상기 PCA 알고리즘을 적용함으로써 획득되는 아이겐 데이터(또는 아이겐 히스토그램)이다. 이때, 아이겐 데이터
Figure 112017059658915-pat00113
의 아이겐 값을
Figure 112017059658915-pat00114
라 하였을 때
Figure 112017059658915-pat00115
이며
Figure 112017059658915-pat00116
는
Figure 112017059658915-pat00117
내지
Figure 112017059658915-pat00118
의 총 개수이다. 즉, 상기 특징 벡터들을 분석하면
Figure 112017059658915-pat00119
방향으로의 분포가 가장 크다.
Figure 112017059658915-pat00120
는
Figure 112017059658915-pat00121
내지
Figure 112017059658915-pat00122
중 아이겐-코드북을 생성하는 데 사용되는 아이겐 데이터의 개수로서, 도 1에 도시된 에너지 보존 레벨(energy preserving level)에 따라 달라질 수 있다. 에너지 보존 레벨은 다음의 수학식으로 표현될 수 있다. 여기서, 에너지 보존 레벨의 분모는 아이겐 값들의 제곱의 총합이 되며, 에너지 보존 레벨의 분자는 사용하고자 하는 주성분들에 대응되는 아이겐 값들의 제곱의 총합이 된다. 이때, D = n-1 이다.
Figure 112017059658915-pat00123
Figure 112017059658915-pat00124
의 아이겐 값이 작을수록 노이즈에 가깝다고 가정하였을 때, 각 아이겐 값에 대응되는
Figure 112017059658915-pat00125
내지
Figure 112017059658915-pat00126
모두를 사용하는 경우 에너지 보존 레벨이 100%가 되며 아이겐 값이 작은 순서대로
Figure 112017059658915-pat00127
를 하나씩 제거하는 경우 에너지 보존 레벨이 점점 작아지게 된다. 즉, 아이겐-코드북을 생성하는 데 있어서 어느 정도의 노이즈까지 제거할 것인지의 여부에 따라
Figure 112017059658915-pat00128
가 달라질 수 있다. 상기
Figure 112017059658915-pat00129
는 얼굴 이미지의 개수, 얼굴 이미지의 분할된 각 영역의 개수, 얼굴 이미지의 설정된 특징점의 개수 등을 고려하여 적절히 설정될 수 있다.
이와 같은
Figure 112017059658915-pat00130
의 각 열 벡터는 다음의 수학식에서 보는 바와 같이
Figure 112017059658915-pat00131
의 열 벡터들의 선형 조합으로 표현될 수 있다. 즉, 각 주성분들은 특징 벡터에 관한 히스토그램 데이터들의 선형 조합으로 표현될 수 있다.
Figure 112017059658915-pat00132
여기서, ㆍ는 매트릭스 곱(multiplication)을 의미한다. 상기
Figure 112017059658915-pat00133
는 계수 매트릭스로서, 상기
Figure 112017059658915-pat00134
와 상기
Figure 112017059658915-pat00135
사이의 상관 관계를 나타내며 예를 들어, 다음의 수학식을 이용하여 계산될 수 있다.
Figure 112017059658915-pat00136
여기서,
Figure 112017059658915-pat00137
이며(R은 실수), T는 전치행렬을 의미한다. 다만,
Figure 112017059658915-pat00138
를 계산하는 위 수학식은 하나의 실시예에 불과하며
Figure 112017059658915-pat00139
를 계산하는 방법이 이에 한정되는 것은 아니다.
다음으로, 학습부(102)는 상기
Figure 112017059658915-pat00140
를 이용하여 얼굴 이미지 내의 설정된 특징점 각각에 대해 아이겐 방향 벡터(eigen directional vectors)를 계산할 수 있다. 여기서, 특징점은 예를 들어, 얼굴의 입꼬리, 눈, 코, 입 등의 특징을 잘 나타낼 수 있는 부분을 의미한다. 학습부(102)는 다음의 수학식에서 보는 바와 같이 n번째 얼굴 이미지의 분할된 영역 s 의 중심으로부터 상기 얼굴 이미지의 설정된 특징점 k까지의 방향 벡터
Figure 112017059658915-pat00141
를 계산할 수 있으며, 상기
Figure 112017059658915-pat00142
를 이용하여 아이겐 방향 벡터
Figure 112017059658915-pat00143
를 계산할 수 있다. 여기서, R은 실수를 의미한다.
Figure 112017059658915-pat00144
학습부(102)는 다음의 수학식을 이용하여 아이겐 방향 벡터
Figure 112017059658915-pat00145
를 계산할 수 있다.
Figure 112017059658915-pat00146
이와 같이, 학습부(102)는
Figure 112017059658915-pat00147
의 각 열 벡터(주성분)에 해당하는 방향 벡터를 획득할 수 있다. 즉, 학습부(102)는 상기
Figure 112017059658915-pat00148
를 이용하여 얼굴 이미지의 분할된 각 영역의 특징 벡터와 상기 얼굴 이미지 내의 설정된 특징점의 위치 사이의 상관 관계를 나타낼 수 있다.
상기 아이겐-코드북은 상기
Figure 112017059658915-pat00149
, 상기
Figure 112017059658915-pat00150
, 상기
Figure 112017059658915-pat00151
, 상기
Figure 112017059658915-pat00152
및 상기
Figure 112017059658915-pat00153
를 포함할 수 있다.
이러한 학습부(102)의 아이겐-코드북 생성 과정은 검출부(104)의 특징점 검출 과정에 앞서 전처리 과정으로서 수행될 수 있다. 본 발명의 실시예들에 따르면, 설정된 세그먼트의 특징 벡터를 이용할 뿐 높은 복잡도(complexity)를 갖는 프리-얼라이먼트(pre-alignment) 과정을 거치지 않는다. 이에 따라, 얼굴의 특징점을 검출하는 데 걸리는 시간을 최소화할 수 있다. 또한, 본 발명의 실시예들에 따르면, 픽셀값을 이용하여 특징 벡터를 추출하는 종래 기술과 달리 HOG 알고리즘을 이용하여 얼굴 이미지의 특징 벡터를 추출할 수 있다는 점에서 조명 변화, 사람의 자세 변화 등에 덜 민감한 장점이 있으며, 이에 따라 특징점의 위치를 보다 정확하게 검출할 수 있다.
검출부(104)는 학습부(102)에서 생성된 아이겐-코드북을 이용하여 대상 이미지의 얼굴 영역 내 특징점의 위치를 검출한다. 여기서, 대상 이미지는 특징점의 검출 대상이 되는 이미지로서, 사람의 얼굴 영역이 포함될 수 있다. 상기 대상 이미지는 예를 들어, 사람의 얼굴 영역을 촬영한 촬영 이미지 또는 사진, 사람의 얼굴 영역이 포함된 컴퓨터 그래픽 등이 될 수 있으나 대상 이미지의 종류가 이에 한정되는 것은 아니다.
도 3 내지 도 5를 참조하면, 검출부(104)가 대상 이미지의 얼굴 영역의 특징점의 위치를 검출하는 과정이 구체적으로 개시된다. 먼저, 도 3을 참조하면, 검출부(104)는 대상 이미지로부터 얼굴 영역을 검출할 수 있다. 검출부(104)는 예를 들어, 에이다부스트(Adaboost) 알고리즘을 이용하여 대상 이미지로부터 얼굴 영역을 검출할 수 있다. 다만, 이는 하나의 실시예에 불과하며, 검출부(104)가 대상 이미지로부터 얼굴 영역을 검출하는 방법이 이에 한정되는 것은 아니다. 도 3에서는 검출부(104)에서 검출된 얼굴 영역이 사각형 형태로 도시되고 있다. 다음으로, 검출부(104)는 얼굴 영역을 설정된 크기로 분할할 수 있다. 검출부(104)는 예를 들어, 얼굴 영역의 크기를 72 X 72 픽셀로 조정하고, 얼굴 영역을 9 X 9 그리드(grid)로 분할함으로써 81개의 영역(세그먼트)을 획득할 수 있다. 다만, 이는 하나의 실시예에 불과하며 얼굴 영역 내의 분할된 영역의 형태 및 개수가 이에 한정되는 것은 아니다.
다음으로, 도 4를 참조하면, 검출부(104)는 얼굴 영역의 분할된 각 영역의 특징 벡터를 검출할 수 있다. 검출부(104)는 얼굴 영역의 분할된 각 영역에 설정된 특징점 검출 알고리즘을 적용하여 특징 벡터를 계산할 수 있다. 예를 들어, 검출부(104)는 얼굴 영역의 분할된 각 영역에 HOG 알고리즘을 적용하여 특징 벡터를 계산할 수 있다. 다만, 검출부(104)가 특징 벡터를 계산하는 방법이 이에 한정되는 것은 아니며, 검출부(104)는 SIFT, SURF 등과 같은 다양한 알고리즘을 이용하여 특징 벡터를 계산할 수 있다. 도 4에서는 영역 s 에 대한 특징 벡터가
Figure 112017059658915-pat00154
로 표현되고 있다. 이때,
Figure 112017059658915-pat00155
는 다음의 수학식에서 보는 바와 같이 아이겐-코드북의 상기
Figure 112017059658915-pat00156
의 값들의 선형 조합으로 나타낼 수 있다. 예를 들어, 검출부(104)는
Figure 112017059658915-pat00157
를 아이겐 HOG 공간으로 사영(projection)시킴으로써
Figure 112017059658915-pat00158
를 획득할 수 있다. 앞선 학습부(102)의 학습 과정에서 특징 벡터에 관한 히스토그램 데이터로부터 통계적인 히스토그램의 주성분, 방향 벡터의 주성분을 획득할 수 있으며, 임의의 특징 벡터에 관한 히스토그램 데이터는 히스토그램의 주성분으로 표현이 가능하며 이때 최소 오차를 갖는 표현 방법은 아래의 수학식과 같다. 여기서,
Figure 112017059658915-pat00159
를 = 로 표기할 수도 있다.
Figure 112017059658915-pat00160
이때,
Figure 112017059658915-pat00161
를 제외한 주성분들, 즉
Figure 112017059658915-pat00162
내지
Figure 112017059658915-pat00163
는 서로 직교하므로,
Figure 112017059658915-pat00164
는
Figure 112017059658915-pat00165
에서
Figure 112017059658915-pat00166
를 뺀 값에 각 주성분들과의 내적을 취함으로써 쉽게 획득될 수 있다. 이를 수학식으로 표현하면 다음과 같다.
Figure 112017059658915-pat00167
여기서,
Figure 112017059658915-pat00168
는 a와 b의 내적을 의미한다.
또한, 검출부(104)는 다음의 수학식을 이용하여 얼굴 영역의 분할된 영역 s의 중심으로부터 특징점 k까지의 방향 벡터
Figure 112017059658915-pat00169
를 상기
Figure 112017059658915-pat00170
의 값들의 선형 조합으로 나타낼 수 있다.
Figure 112017059658915-pat00171
이와 같은 과정을 통해, 검출부(104)는 얼굴 영역의 분할된 영역 s의 중심으로부터 특징점 k까지의 방향 벡터
Figure 112017059658915-pat00172
를 획득할 수 있다. 검출부(104)는 분할된 영역 s의 중심에 대한 위치 정보를 가지고 있으므로 상기 위치 정보와 방향 벡터
Figure 112017059658915-pat00173
를 이용하여 특징점 k의 위치 좌표 (x, y)를 획득할 수 있다. 즉, 검출부(104)는 분할된 영역 s의 중심 좌표에 방향 벡터
Figure 112017059658915-pat00174
를 더하고, 더해진 방향 벡터
Figure 112017059658915-pat00175
의 끝점의 위치 좌표 (x, y)를 특징점 k의 위치 좌표로 결정할 수 있다.
또한, 도 5를 참조하면, 검출부(104)는 얼굴 영역의 분할된 각 영역의 중심으로부터 특징점 k까지의 방향 벡터의 크기들의 합이 최소가 되는 지점을 특징점 k의 최종 위치 좌표로 결정할 수 있다. 상술한 과정을 통해, 검출부(104)는 얼굴 영역의 분할된 각 영역의 중심으로부터 특징점 k까지의 방향 벡터들을 계산하고, 상기 계산된 방향 벡터들의 크기를 이용하여 특징점 k의 최종 위치 좌표를 결정할 수 있다. 도 5에 도시된 각 방향 벡터는 한 점에서 만나는 것이 보장되지 않기 때문에, 본 발명의 실시예들에서 따르면 특징점 k의 위치 좌표 (x, y)에 대한 최적해로서 도 5의 각 방향 벡터들의 크기가 가장 작게 되는 좌표를 계산하고, 상기 좌표를 특징점 k의 최종 위치 좌표로 결정할 수 있다. 특징점 k의 위치 좌표 (x, y)를 계산하기 위한 수학식은 다음과 같다.
Figure 112017059658915-pat00176
여기서,
Figure 112017059658915-pat00177
는
Figure 112017059658915-pat00178
일 때
Figure 112017059658915-pat00179
를 만족하는 계수이며, S는 얼굴 영역의 분할된 각 영역(세그먼트)의 총 개수이다. 이때, 각 방향 벡터의 크기에
Figure 112017059658915-pat00180
가 가중치로 부여되며, 상기
Figure 112017059658915-pat00181
는 다음의 수학식을 통해 계산될 수 있다.
Figure 112017059658915-pat00182
Figure 112017059658915-pat00183
즉,
Figure 112017059658915-pat00184
는 특징 벡터
Figure 112017059658915-pat00185
와 특징 벡터들의 주성분 표현 간의 유사도를 내적으로 계산한 값에, 얼굴 영역의 특징점과 세그먼트 간의 거리를 고려하여 지수 함수로 감소하는 값을 곱함으로써 계산될 수 있다. 여기서, d는 세그먼트 중심과 특징점 사이의 거리를 나타내며, L은 세그먼트 영역을 나타내는 사각형의 반길이(half length)를 나타낸다.
이때,
Figure 112017059658915-pat00186
는
Figure 112017059658915-pat00187
의 아이겐 값(eigen value)에 따라 다음과 같이 정의될 수 있다.
Figure 112017059658915-pat00188
위 수학식은 대상 이미지의 적어도 일부가 임의의 물체에 의해 가려져 안보이는 경우(in case of occlusion)를 고려하기 위한 것으로,
Figure 112017059658915-pat00189
의 아이겐 값
Figure 112017059658915-pat00190
을 이용할 수 있다. 여기서,
Figure 112017059658915-pat00191
(또는
Figure 112017059658915-pat00192
)는 상술한
Figure 112017059658915-pat00193
를 아이겐 HOG 공간으로 사영(projection)시킴으로써 획득되는 사영 계수일 수 있다. 검출부(104)는 예를 들어, 각 사영 계수(주성분 계수)가 아이겐 값의 제곱의 2.5배까지의 범위 내에 존재하는 경우 상기 가중치
Figure 112017059658915-pat00194
를 그대로 사용하고, 그렇지 않으면 상기 가중치
Figure 112017059658915-pat00195
를 0으로 하여 상기 특징점 k의 위치 좌표 (x, y)의 계산에
Figure 112017059658915-pat00196
를 반영시키지 않을 수 있다. 즉, 위 수학식은 특징 벡터가 기존의 특징 벡터 주성분의 공간 안에 들어오는지의 여부를 판별하기 위한 것이다. 상기 2.5는 일 예시로서 사용된 계수로서, 반드시 2.5일 필요는 없으며 2. 3 또는 그 이외의 수도 가능하다.
본 발명의 실시예들에 따르면, 얼굴의 일 지점에서 국소 패턴(local patterns)을 추출하는 대신 학습용 복수의 얼굴 이미지에 기초한 통계적인 추론 기법을 이용하여 대상 이미지의 얼굴 영역 내 특징점의 위치를 보다 빠르고 정확하게 검출할 수 있다. 또한, 본 발명의 실시예들에 따르면, 미리 학습된 아이겐-코드북을 이용한다는 점에서 패턴 검색 알고리즘을 이용하는 종래 기술에 비해 특징점을 검출하는 데 사용되는 계산의 복잡도(complexity) 및 스토리지의 사이즈를 최소화할 수 있다. 나아가, 본 발명의 실시예들에 따른 얼굴의 특징점 검출 기법은 모바일 애플리케이션 등과 같은 낮은 성능의 하드웨어에서도 쉽게 구현이 가능하다.
즉, 본 발명의 실시예들에 따른 얼굴의 특징점 검출 기법에 따르면, ANNS 및 NNS 등과 같은 종래의 검색 알고리즘을 사용하였을 때보다 얼굴의 특징점을 검출하는 데 소요되는 총 시간이 대폭 감소되며, 요구되는 스토리지 사이즈 또한 대폭 감소될 수 있고, 얼굴의 특징점 검출의 정확도 또한 종래 기술과 큰 차이를 보이지 않는다.
도 6은 본 발명의 일 실시예에 따른 얼굴의 특징점 검출 방법을 설명하기 위한 흐름도이다. 도시된 흐름도에서는 상기 방법을 복수 개의 단계로 나누어 기재하였으나, 적어도 일부의 단계들은 순서를 바꾸어 수행되거나, 다른 단계와 결합되어 함께 수행되거나, 생략되거나, 세부 단계들로 나뉘어 수행되거나, 또는 도시되지 않은 하나 이상의 단계가 부가되어 수행될 수 있다.
먼저, 학습부(102)는 복수의 얼굴 이미지 각각을 설정된 크기로 분할한다(S602). 예를 들어, 학습부(102)는 각 얼굴 이미지의 크기를 72 X 72 픽셀로 조정하고, 각 얼굴 이미지를 9 X 9 그리드(grid)로 분할함으로써 81개의 영역(세그먼트)을 획득할 수 있다.
다음으로, 학습부(102)는 얼굴 이미지의 분할된 각 영역의 특징 벡터와 얼굴 이미지 내의 설정된 특징점의 위치 사이의 상관 관계를 나타내는 아이겐-코드북을 생성한다(S604). 학습부(102)가 아이겐-코드북을 생성하는 방법에 대해서는 앞에서 자세히 설명하였는바, 여기서는 그 자세한 설명을 생략하도록 한다.
다음으로, 검출부(104)는 대상 이미지로부터 얼굴 영역을 검출한다(S606). 검출부(104)는 예를 들어, 에이다부스트(Adaboost) 알고리즘을 이용하여 대상 이미지로부터 얼굴 영역을 검출할 수 있다.
다음으로, 검출부(104)는 얼굴 영역을 설정된 크기로 분할한다(S608).
다음으로, 검출부(104)는 얼굴 영역의 분할된 각 영역의 특징 벡터를 검출한다(S610). 검출부(104)는 예를 들어, 얼굴 영역의 분할된 각 영역에 HOG 알고리즘을 적용하여 특징 벡터를 계산할 수 있다.
마지막으로, 검출부(104)는 검출된 특징 벡터와 아이겐-코드북을 이용하여 얼굴 영역의 특징점의 위치를 검출한다(S612). 검출부(104)가 아이겐-코드북을 이용하여 얼굴 영역의 특징점의 위치를 검출하는 방법에 대해서는 앞에서 자세히 설명하였는바, 여기서는 그 자세한 설명을 생략하도록 한다.
이상에서 대표적인 실시예를 통하여 본 발명에 대하여 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 전술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
100 : 얼굴의 특징점 검출 시스템
102 : 학습부
104 : 검출부

Claims (8)

  1. 복수의 얼굴 이미지 각각을 설정된 크기로 분할하고, 상기 얼굴 이미지의 분할된 각 영역의 특징 벡터와 상기 얼굴 이미지 내의 설정된 특징점의 위치 사이의 상관 관계를 나타내는 아이겐-코드북(eigen-codebook)을 생성하는 학습부; 및
    대상 이미지로부터 얼굴 영역을 검출하고, 상기 얼굴 영역을 설정된 크기로 분할하며, 상기 얼굴 영역의 분할된 각 영역의 특징 벡터를 검출하고, 검출된 상기 특징 벡터와 상기 아이겐-코드북을 이용하여 상기 얼굴 영역의 특징점의 위치를 검출하는 검출부를 포함하며,
    상기 학습부는, 상기 얼굴 이미지의 분할된 각 영역에 설정된 특징점 검출 알고리즘을 적용하여
    Figure 112017059658915-pat00197
    를 획득하고, 상기
    Figure 112017059658915-pat00198
    에 PCA(Principal Component Analysis) 알고리즘을 적용하여
    Figure 112017059658915-pat00199
    를 획득하며, 상기
    Figure 112017059658915-pat00200
    와 상기
    Figure 112017059658915-pat00201
    를 이용하여 상기 아이겐-코드북을 생성하며,
    (여기서,
    Figure 112017059658915-pat00202
    는 n번째 얼굴 이미지의 분할된 영역 s에서의 특징 벡터에 관한 데이터이며, M은 매트릭스(matrix)임. 또한,
    Figure 112017059658915-pat00203
    는
    Figure 112017059658915-pat00204
    내지
    Figure 112017059658915-pat00205
    의 평균을 나타내며,
    Figure 112017059658915-pat00206
    는
    Figure 112017059658915-pat00207
    내지
    Figure 112017059658915-pat00208
    에 대해 상기 PCA 알고리즘을 적용함으로써 획득되는 아이겐 데이터임. 이때, 아이겐 데이터
    Figure 112017059658915-pat00209
    의 아이겐 값을
    Figure 112017059658915-pat00210
    라 하였을 때
    Figure 112017059658915-pat00211
    임. 또한,
    Figure 112017059658915-pat00212
    는
    Figure 112017059658915-pat00213
    내지
    Figure 112017059658915-pat00214
    의 총 개수임)
    상기 학습부는, 상기
    Figure 112017059658915-pat00215
    와 상기
    Figure 112017059658915-pat00216
    사이의 상관 관계를 나타내며 다음의 수학식을 만족하는
    Figure 112017059658915-pat00217
    를 계산하며, 상기
    Figure 112017059658915-pat00218
    를 이용하여 상기 아이겐-코드북을 생성하며,
    Figure 112017059658915-pat00219

    (여기서, ㆍ는 매트릭스 곱(multiplication)을 의미함)
    상기 학습부는, 다음의 수학식을 만족하는 n번째 얼굴 이미지의 분할된 영역 s 의 중심으로부터 상기 얼굴 이미지의 설정된 특징점 k까지의 방향 벡터
    Figure 112017059658915-pat00220
    를 계산하고,
    Figure 112017059658915-pat00221

    다음의 수학식을 이용하여
    Figure 112017059658915-pat00222
    를 계산하며,
    Figure 112017059658915-pat00223

    상기 아이겐-코드북은, 상기
    Figure 112017059658915-pat00224
    를 포함하는, 얼굴의 특징점 검출 시스템.
  2. 청구항 1에 있어서,
    상기 검출부는, 상기 얼굴 영역의 분할된 각 영역에 설정된 특징점 검출 알고리즘을 적용하여
    Figure 112017059658915-pat00225
    를 획득하고, 다음의 수학식을 이용하여 상기
    Figure 112017059658915-pat00226
    를 상기
    Figure 112017059658915-pat00227
    의 값들의 조합으로 나타냄으로써
    Figure 112017059658915-pat00228
    를 획득하고, 상기
    Figure 112017059658915-pat00229
    를 이용하여 상기 얼굴 영역의 특징점의 위치를 검출하는, 얼굴의 특징점 검출 시스템.
    Figure 112017059658915-pat00230

    Figure 112017059658915-pat00231

    (여기서,
    Figure 112017059658915-pat00232
    는 a와 b의 내적임)
  3. 청구항 2에 있어서,
    상기 검출부는, 다음의 수학식을 이용하여 상기 얼굴 영역의 분할된 영역 s의 중심으로부터 상기 특징점 k까지의 방향 벡터
    Figure 112017059658915-pat00233
    를 상기
    Figure 112017059658915-pat00234
    의 값들의 조합으로 나타내고, 상기
    Figure 112017059658915-pat00235
    를 이용하여 상기 얼굴 영역의 특징점의 위치를 검출하는, 얼굴의 특징점 검출 시스템.
    Figure 112017059658915-pat00236

  4. 청구항 3에 있어서,
    상기 검출부는, 상기 얼굴 영역의 분할된 각 영역의 중심으로부터 상기 특징점 k까지의 방향 벡터의 크기들의 합이 최소가 되는 지점을 상기 특징점 k의 위치 좌표로 결정함으로써 상기 얼굴 영역의 특징점의 위치를 검출하는, 얼굴의 특징점 검출 시스템.
  5. 학습부에서, 복수의 얼굴 이미지 각각을 설정된 크기로 분할하는 단계;
    상기 학습부에서, 상기 얼굴 이미지의 분할된 각 영역의 특징 벡터와 상기 얼굴 이미지 내의 설정된 특징점의 위치 사이의 상관 관계를 나타내는 아이겐-코드북(eigen-codebook)을 생성하는 단계;
    검출부에서, 대상 이미지로부터 얼굴 영역을 검출하는 단계;
    상기 검출부에서, 상기 얼굴 영역을 설정된 크기로 분할하는 단계;
    상기 검출부에서, 상기 얼굴 영역의 분할된 각 영역의 특징 벡터를 검출하는 단계; 및
    상기 검출부에서, 검출된 상기 특징 벡터와 상기 아이겐-코드북을 이용하여 상기 얼굴 영역의 특징점의 위치를 검출하는 단계를 포함하며,
    상기 아이겐-코드북을 생성하는 단계는,
    상기 얼굴 이미지의 분할된 각 영역에 설정된 특징점 검출 알고리즘을 적용하여
    Figure 112017059658915-pat00237
    를 획득하는 단계;
    상기
    Figure 112017059658915-pat00238
    에 PCA(Principal Component Analysis) 알고리즘을 적용하여
    Figure 112017059658915-pat00239
    를 획득하는 단계; 및
    상기
    Figure 112017059658915-pat00240
    와 상기
    Figure 112017059658915-pat00241
    를 이용하여 상기 아이겐-코드북을 생성하는 단계를 포함하며,
    (여기서,
    Figure 112017059658915-pat00242
    는 n번째 얼굴 이미지의 분할된 영역 s에서의 특징 벡터에 관한 데이터이며, M은 매트릭스(matrix)임. 또한,
    Figure 112017059658915-pat00243
    는
    Figure 112017059658915-pat00244
    내지
    Figure 112017059658915-pat00245
    의 평균을 나타내며,
    Figure 112017059658915-pat00246
    는
    Figure 112017059658915-pat00247
    내지
    Figure 112017059658915-pat00248
    에 대해 상기 PCA 알고리즘을 적용함으로써 획득되는 아이겐 데이터임. 이때, 아이겐 데이터
    Figure 112017059658915-pat00249
    의 아이겐 값을
    Figure 112017059658915-pat00250
    라 하였을 때
    Figure 112017059658915-pat00251
    임. 또한,
    Figure 112017059658915-pat00252
    는
    Figure 112017059658915-pat00253
    내지
    Figure 112017059658915-pat00254
    의 총 개수임)
    상기
    Figure 112017059658915-pat00255
    와 상기
    Figure 112017059658915-pat00256
    를 이용하여 상기 아이겐-코드북을 생성하는 단계는,
    상기
    Figure 112017059658915-pat00257
    와 상기
    Figure 112017059658915-pat00258
    사이의 상관 관계를 나타내며 다음의 수학식을 만족하는
    Figure 112017059658915-pat00259
    를 계산하는 단계; 및
    상기
    Figure 112017059658915-pat00260
    를 이용하여 상기 아이겐-코드북을 생성하는 단계를 포함하며,
    Figure 112017059658915-pat00261

    (여기서, ㆍ는 매트릭스 곱(multiplication)을 의미함)
    상기
    Figure 112017059658915-pat00262
    를 이용하여 상기 아이겐-코드북을 생성하는 단계는,
    다음의 수학식을 만족하는 n번째 얼굴 이미지의 분할된 영역 s 의 중심으로부터 상기 얼굴 이미지의 설정된 특징점 k까지의 방향 벡터
    Figure 112017059658915-pat00263
    를 계산하는 단계; 및
    Figure 112017059658915-pat00264

    다음의 수학식을 이용하여
    Figure 112017059658915-pat00265
    를 계산하는 단계를 포함하며,
    Figure 112017059658915-pat00266

    상기 아이겐-코드북은, 상기
    Figure 112017059658915-pat00267
    를 포함하는, 얼굴의 특징점 검출 방법.
  6. 청구항 5에 있어서,
    상기 얼굴 영역의 특징점의 위치를 검출하는 단계는,
    상기 얼굴 영역의 분할된 각 영역에 설정된 특징점 검출 알고리즘을 적용하여
    Figure 112017059658915-pat00268
    를 획득하는 단계;
    다음의 수학식을 이용하여 상기
    Figure 112017059658915-pat00269
    를 상기
    Figure 112017059658915-pat00270
    의 값들의 조합으로 나타냄으로써
    Figure 112017059658915-pat00271
    를 획득하는 단계; 및
    상기
    Figure 112017059658915-pat00272
    를 이용하여 상기 얼굴 영역의 특징점의 위치를 검출하는 단계를 포함하는, 얼굴의 특징점 검출 방법.
    Figure 112017059658915-pat00273

    Figure 112017059658915-pat00274

    (여기서,
    Figure 112017059658915-pat00275
    는 a와 b의 내적임)
  7. 청구항 6에 있어서,
    상기
    Figure 112017059658915-pat00276
    를 이용하여 상기 얼굴 영역의 특징점의 위치를 검출하는 단계는,
    다음의 수학식을 이용하여 상기 얼굴 영역의 분할된 영역 s의 중심으로부터 상기 특징점 k까지의 방향 벡터
    Figure 112017059658915-pat00277
    를 상기
    Figure 112017059658915-pat00278
    의 값들의 조합으로 나타내는 단계; 및
    상기
    Figure 112017059658915-pat00279
    를 이용하여 상기 얼굴 영역의 특징점의 위치를 검출하는 단계를 포함하는, 얼굴의 특징점 검출 방법.
    Figure 112017059658915-pat00280

  8. 청구항 7에 있어서,
    상기
    Figure 112017059658915-pat00281
    를 이용하여 상기 얼굴 영역의 특징점의 위치를 검출하는 단계는, 상기 얼굴 영역의 분할된 각 영역의 중심으로부터 상기 특징점 k까지의 방향 벡터의 크기들의 합이 최소가 되는 지점을 상기 특징점 k의 위치 좌표로 결정함으로써 상기 얼굴 영역의 특징점의 위치를 검출하는, 얼굴의 특징점 검출 방법.
KR1020170078656A 2017-06-21 2017-06-21 얼굴의 특징점 검출 시스템 및 방법 KR101783629B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170078656A KR101783629B1 (ko) 2017-06-21 2017-06-21 얼굴의 특징점 검출 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170078656A KR101783629B1 (ko) 2017-06-21 2017-06-21 얼굴의 특징점 검출 시스템 및 방법

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020150119387A Division KR20170024303A (ko) 2015-08-25 2015-08-25 얼굴의 특징점 검출 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20170075704A KR20170075704A (ko) 2017-07-03
KR101783629B1 true KR101783629B1 (ko) 2017-10-10

Family

ID=59357781

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170078656A KR101783629B1 (ko) 2017-06-21 2017-06-21 얼굴의 특징점 검출 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR101783629B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240053687A (ko) 2022-10-17 2024-04-25 연세대학교 산학협력단 동적 스마일 분석을 위한 얼굴 정면 여부 판단 방법 및 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Tatsuo Kozakaya 외 3명, Facial feature localization using weighted vector concentration approach, Image and Vision Computing 28, pp.772-780, (2010)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240053687A (ko) 2022-10-17 2024-04-25 연세대학교 산학협력단 동적 스마일 분석을 위한 얼굴 정면 여부 판단 방법 및 장치

Also Published As

Publication number Publication date
KR20170075704A (ko) 2017-07-03

Similar Documents

Publication Publication Date Title
CN108549873B (zh) 三维人脸识别方法和三维人脸识别系统
KR20170024303A (ko) 얼굴의 특징점 검출 시스템 및 방법
Hannuna et al. DS-KCF: a real-time tracker for RGB-D data
Yang et al. Fast multiple object tracking via a hierarchical particle filter
Nedevschi et al. Stereo-based pedestrian detection for collision-avoidance applications
JP2016099941A (ja) オブジェクト位置推定システム、及びそのプログラム
Nalepa et al. Wrist localization in color images for hand gesture recognition
US9443137B2 (en) Apparatus and method for detecting body parts
KR102369413B1 (ko) 영상 처리 장치 및 방법
CN108537822B (zh) 基于加权置信度估计的运动目标跟踪方法
CN107194950B (zh) 一种基于慢特征分析的多人跟踪方法
JP5936561B2 (ja) 画像における外観及びコンテキストに基づく物体分類
CN105608710B (zh) 一种非刚性人脸检测和追踪定位方法
US10878582B2 (en) Image processing device, image processing method and storage medium storing program for tracking an object
KR101558547B1 (ko) 얼굴 포즈 변화에 강한 연령 인식방법 및 시스템
WO2017168462A1 (en) An image processing device, an image processing method, and computer-readable recording medium
CN112613565B (zh) 基于多特征融合与自适应学习率更新的抗遮挡跟踪方法
EP3376468A1 (en) Object detection device and object detection method
KR101326691B1 (ko) 지역적 특징의 통계적 학습을 통한 강건한 얼굴인식방법
Vafadar et al. A vision based system for communicating in virtual reality environments by recognizing human hand gestures
Qiu et al. Feature based image registration using non-degenerate pixels
KR101783629B1 (ko) 얼굴의 특징점 검출 시스템 및 방법
KR20150041428A (ko) 객체 검출방법 및 이를 이용한 검출장치
KR102014093B1 (ko) 얼굴의 특징점 검출 시스템 및 방법
KR101528757B1 (ko) 이분된 로컬 영역을 가지는 윤곽선 분할 기반 특징을 이용한 물체 인식 방법

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant