KR20160042646A - 얼굴 인식 방법 - Google Patents
얼굴 인식 방법 Download PDFInfo
- Publication number
- KR20160042646A KR20160042646A KR1020140136830A KR20140136830A KR20160042646A KR 20160042646 A KR20160042646 A KR 20160042646A KR 1020140136830 A KR1020140136830 A KR 1020140136830A KR 20140136830 A KR20140136830 A KR 20140136830A KR 20160042646 A KR20160042646 A KR 20160042646A
- Authority
- KR
- South Korea
- Prior art keywords
- face
- face image
- angle
- image
- face angle
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Image Processing (AREA)
- Collating Specific Patterns (AREA)
- Image Analysis (AREA)
Abstract
본 발명은 입력된 얼굴 영상과 함께 얼굴 영상이 정면으로부터 벗어난 각도를 동시에 추출하고, 기 저장된 얼굴 영상 중에서 추출된 얼굴 각도와 동일한 얼굴 각도의 얼굴 영상만으로 얼굴 영상을 비교, 분석하여 얼굴을 인식하는 방법을 제안한다. 본 발명에 따르면 정면 얼굴이 아닌 경우에도 얼굴을 인식할 수 있을 뿐만 아니라, 동일 각도로 촬영된 얼굴 영상만을 비교하기 때문에 신속하게 얼굴을 인식할 수 있다.
Description
본 발명은 인식된 사용자의 얼굴을 인식하는 방법에 관한 것으로, 더욱 상세하게는 사용자의 인식된 얼굴이 정면 얼굴이 아닌 경우에도 기 저장된 사용자와 일치하는지의 여부를 신속하게 판단, 검증할 수 있는 얼굴 인식 방법에 관한 것이다.
정보 기술(Information Technology) 및 통신 기술(Communication Technology)이 상호 융합되면서 이른바 정보통신기술의 발전이 지속되고 있으며, 이를 활용하여 다양한 상품이나 서비스가 제공되고 있다. 그 중에서도 컴퓨터를 이용한 개인 정보의 보호 및 신분 확인을 위하여 인체의 특징을 이용하는 생체 인식 기술이 많이 연구되고 있는데, 그 중에서도 지문 인식이나 홍채 인식과 달리 얼굴 인식 기술은 사용자의 특별한 동작이나 행위를 요구하지 않으며 비-접촉식으로 사용자의 신분을 확인할 수 있기 때문에 가장 널리 사용되고 있다. 얼굴 인식 기술은 멀티미디어 데이터베이스 검색의 핵심 기술 중의 하나로서, 얼굴 정보를 이용한 동영상의 요약은 물론이고, 신분 확인 및 증명, 보안 및 감시 시스템, 인간-컴퓨터 인터페이스(Human Computer Interface, HCI) 이미지 검색 등 다양한 분야에 활용되고 있다.
얼굴을 인식하기 위해서는 비교 대상이 되는 영상 데이터를 비교, 분석하여 특정인의 얼굴을 포함하는 이미지의 탐색 및 분석이 요구되는데, 이와 관련해서 차원 감소 알고리즘이 통상적으로 사용된다. 대표적인 차원 감소 알고리즘으로는 주성분분석(Principle Component Analysis, PCA), 독립성분분석(Independent Component Analysis, ICA), 선형판별분석(Linear Discriminant Analysis, LDA), ISOMAP, LLE(Locally Linear Embedding) 등의 기법이 알려져 있는데, 이들 알고리즘을 통해서 서로 다른 2개의 이미지가 얼마나 유사한지를 분석할 수 있다.
이러한 분석 기법 내지는 알고리즘을 활용하여 얼굴을 인식하는 장치나 시스템을 개략적으로 살펴보면, 사전에 인증된 사람의 얼굴을 등록해 놓고, 보안이 요구되는 장소에 출입하거나 금융 서비스 등을 이용하고자 하는 사용자의 얼굴 영상과 등록된 얼굴 영상을 비교, 분석하는 게 일반적이다.
그렇지만 현재의 얼굴 인식 시스템이나 장치에서는 여러 가지 문제점이 있다. 그 중에서도 가장 큰 문제점으로는 인식 대상이 되는 사용자의 얼굴 영상과 기 등록된 얼굴 영상을 비교, 분석하는데 있어서 한계점이 거론되고 있다. 얼굴 인식에 있어서 나이, 인종, 표정, 포즈, 조명 및 얼굴 각도 등의 환경 변화에 따라 인식 결과가 크게 차이가 있을 수 있다. 아울러, 통상적으로 등록된 얼굴 영상은 정면의 얼굴 영상이기 때문에, 사용자를 인증하기 위해서 확보된 얼굴 영상이 정면인 경우에는 용이하게 비교, 분석이 가능할 수 있다. 하지만, 인증 과정에서 확보된 얼굴 영상이 정면이 아닌 경우에는 등록된 정면 얼굴 영상과 비교할 때 동일 대상인지의 여부를 판단함에 있어서 인식 오류가 발생할 가능성이 높다. 이 경우, 얼굴 인식을 위해서 사용자는 반복해서 자신의 얼굴 영상을 입력하여야 하는 번거로움이 발생한다.
이러한 문제점을 해소하기 위한 방법으로 인증된 사용자로부터 정면 영상을 비롯하여 다양한 각도에서의 얼굴 영상을 저장하는 방법을 고려해 볼 수 있다. 하지만 이 경우에는 저장 공간이 확대될 뿐만 아니라, 인증하는 과정에서 인식된 얼굴 영상과 기-저장된 다양한 얼굴 영상 전부를 비교, 분석해야 하기 때문에 인증 과정이 복잡해질 수 있다. 뿐만 아니라 서로 상이한 얼굴을 다양한 각도에서 모두 저장한다면, 인증 대상이 되는 얼굴과 저장된 얼굴 영상을 비교하는 과정에서 인증 대상이 되는 얼굴은 등록이 되지 않았음에도 불구하고 저장된 얼굴 영상 중에는 인증 대상이 되는 얼굴 영상과 유사한 영상이 존재할 수 있기 때문에, 오히려 정확한 얼굴 인식이 곤란하게 되는 문제점이 발생할 수 있다.
본 발명은 전술한 문제점을 해결하기 위하여 제안된 것으로, 다양한 얼굴 각도 및 다양한 포즈에도 불구하고 정확하게 얼굴 영상을 인식할 수 있는 방법을 제공하고자 하는 것이다.
본 발명의 다른 목적은 저장 용량을 줄이면서도 신속하게 대상자의 얼굴을 인식할 수 있는 방법을 제공하고자 하는 것이다.
본 발명의 다른 목적 및 이점은 후술하는 발명의 상세한 설명 및 첨부하는 도면을 통해서 더욱 분명해질 것이다.
전술한 목적을 갖는 본 발명에 따르면, 본 발명은 (a) 등록 대상이 되는 학습 데이터인 제 1 얼굴 영상 및 상기 제 1 얼굴 영상에 대하여 계산된 얼굴 각도를 연계하여 저장하는 단계와; (b) 얼굴 인식을 위해 입력된 제 2 얼굴 영상의 얼굴 각도를 산정하는 단계와; (c) 상기 제 2 얼굴 영상의 산정된 얼굴 각도와 동일한 얼굴 각도를 갖는 제 1 얼굴 영상을 추출하고, 상기 제 2 얼굴 영상과 상기 추출된 제 1 얼굴 영상을 비교하여 매칭 여부를 판단하는 단계를 포함하는 얼굴 인식 방법을 제공한다.
일례로, 상기 (a) 단계는, 상기 제 1 얼굴 영상 데이터를 열벡터로 변환하는 단계와, 상기 열벡터로 변환된 제 1 얼굴 영상 데이터로부터 눈, 코 및 입가의 특징점 좌표를 추출하는 단계와, 왼쪽 눈 좌표와 오른쪽 입의 좌표 연결선과 오른쪽 눈 좌표와 왼쪽 눈 입의 좌표 연결선의 교차점과, 코의 특징점 좌표를 연결하여 제 1 얼굴 영상의 얼굴 각도를 결정하는 단계와, 동일한 얼굴 각도를 가지는 제 1 얼굴 영상을 분류하여 얼굴 각도와 연계하여 저장하는 단계를 포함할 수 있다.
이때, 동일한 얼굴 각도를 가지는 제 1 얼굴 영상을 분류하여 얼굴 각도와 연계하여 저장하는 단계는, 동일한 얼굴 각도로 분류된 제 1 얼굴 영상 데이터로부터 연산된 평균 벡터를 계산하는 단계와, 각각의 제 1 얼굴 영상 데이터 벡터와 상기 평균 벡터의 차이를 계산하는 단계와, 상기 제 1 얼굴 영상 데이터로부터 공분산을 계산하여 상기 제 1 얼굴 영상에 대한 고유 벡터를 얻는 단계를 포함하는 것을 특징으로 한다.
이때, 상기 (a) 단계는 동일한 얼굴 각도로 분류된 제 1 얼굴 영상 데이터로부터 연산된 평균과 분산을 이용하여 제 1 얼굴 영상을 정규화하는 단계를 더욱 포함하는 것이 바람직하다.
한편, 상기 (b) 단계는 상기 제 2 얼굴 영상 데이터를 열벡터로 변환하는 단계와, 상기 열벡터로 변환된 제 2 얼굴 영상 데이터로부터 눈, 코 및 입가의 특징점 좌표를 추출하는 단계와, 왼쪽 눈 좌표와 오른쪽 입의 좌표 연결선과 오른쪽 눈 좌표와 왼쪽 눈 입의 좌표 연결선의 교차점과, 코의 특징점 좌표를 연결하여 제 2 얼굴 영상의 얼굴 각도를 계산하는 단계를 포함한다.
본 발명에서는 예를 들어 다양한 얼굴 각도를 갖는 샘플 얼굴 영상(제 1 얼굴 영상, 등록 대상 얼굴 영상, 학습 데이터) 중에서 입력된 얼굴 영상(제 2 얼굴 영상)과 동일한 얼굴 각도를 갖는 제 1 얼굴 영상만을 추출하여 제 2 얼굴 영상과 비교하여 얼굴을 인식하는 방법을 제안한다.
이에 따라 입력된 얼굴 영상이 정면 영상이 아닌 경우에도 얼굴을 정확하게 인식할 수 있으며, 다양한 얼굴 각도를 갖는 모든 얼굴 영상을 저장하지 않고 얼굴의 유사도가 급격하게 떨어지는 각도 별로 구분되는 몇 개의 얼굴 영상만으로도 입력 대상 얼굴의 매칭 여부를 인식할 수 있기 때문에 신속하고 용이하게 얼굴을 인식할 수 있다.
특히, 동일한 얼굴 각도의 얼굴 영상을 전부 저장하지 않고, 고유 얼굴만을 저장하여 얼굴을 비교, 분석할 수 있으므로, 모든 영상을 저장할 필요가 없으므로 저장 공간이 크게 절감된다.
아울러, 본 발명은 단순히 보안이 요구되는 서비스를 위한 얼굴 인식에만 한정되는 것이 아니다. 개개의 사용자가 모바일 기기 등에 저장하고 있는 얼굴 영상 데이터에 대해서 얼굴 각도에 따라 분류되는 데이터(큐브)를 구축하여 동일한 얼굴이지만 다른 각도의 차이를 판별할 수 있기 때문에, 사용자는 큐브를 형성한 영상 데이터에 대해서도 네트워크를 통해 이용자 검색, 이미지 공유 등의 서비스 등에도 응용될 수 있을 것으로 기대된다. 예를 들어 단체 사진에서 개인의 이미지를 추출한 뒤, 고유 얼굴 큐브(DB)와 매칭시켜 인물을 탐색하거나 소유한 이미지를 공유하는 등의 서비스로 응용될 수 있다.
도 1은 본 발명에 따라 사전에 등록되어 있는 제 1 얼굴 영상과 인식 대상인 제 2 얼굴 영상을 비교하여 동일 인물에 해당하는지의 여부를 인식하는 과정을 개략적으로 도시한 플로 차트.
도 2는 본 발명에 따라 제 1 얼굴 영상 및 제 2 얼굴 영상에 대하여 얼굴 각도를 계산하기 위하여 눈과 입의 벡터를 이용하여 측정하는 과정을 개략적으로 도시한 도면.
도 3a 및 도 3b는 일례로 다수의 제 1 얼굴 영상을 얼굴 각도와 연계하여 저장되는 상태를 개략적으로 도시한 도면.
도 4는 본 발명에 따라 제 1 얼굴 영상과 제 2 얼굴 영상을 비교할 때, 제 2 얼굴 영상과 동일한 얼굴 각도를 갖는 제 1 얼굴 영상만을 추출하여 제 2 얼굴 영상과 비교하여 얼굴을 인식하는 상태를 개략적으로 도시한 도면.
도 5는 일례로 얼굴의 유사도가 급격하게 변경되는 얼굴 각도에 대한 시뮬레이션 결과를 보여주는 그래프.
도 2는 본 발명에 따라 제 1 얼굴 영상 및 제 2 얼굴 영상에 대하여 얼굴 각도를 계산하기 위하여 눈과 입의 벡터를 이용하여 측정하는 과정을 개략적으로 도시한 도면.
도 3a 및 도 3b는 일례로 다수의 제 1 얼굴 영상을 얼굴 각도와 연계하여 저장되는 상태를 개략적으로 도시한 도면.
도 4는 본 발명에 따라 제 1 얼굴 영상과 제 2 얼굴 영상을 비교할 때, 제 2 얼굴 영상과 동일한 얼굴 각도를 갖는 제 1 얼굴 영상만을 추출하여 제 2 얼굴 영상과 비교하여 얼굴을 인식하는 상태를 개략적으로 도시한 도면.
도 5는 일례로 얼굴의 유사도가 급격하게 변경되는 얼굴 각도에 대한 시뮬레이션 결과를 보여주는 그래프.
본 발명자들은 전술한 종래 기술의 문제점을 해소하기 위한 방안으로서, 입력되는 영상의 얼굴 각도를 추출하고, 기 저장된 영상 중에서 입력 영상과 동일한 얼굴 각도를 갖는 얼굴 영상만을 비교함으로써 얼굴 각도에 따라 다르게 인식되는 종래 기술의 문제점을 해소할 수 있으며 신속하게 얼굴을 인식할 수 있다는 점에 착안하여 본 발명을 완성하였다.
본 명세서에서 사용한 용어 "얼굴 각도" 또는 "얼굴 방향"이란, 인지되거나 생성된 얼굴 영상이 정면에서 벗어난 각도 또는 방향 정도를 의미한다. 예를 들어 얼굴 영상이 정면 얼굴 영상으로 인지된 경우라면 얼굴 각도는 0°이고, 얼굴 영상이 좌측 얼굴 영상으로 인지된 경우라면 얼굴 각도는 -90°, 얼굴 영상이 우측 얼굴 영상으로 인지된 경우라면 얼굴 각도는 +90°로 정의된다.
한편, "동일한 얼굴 각도" 또는 "동일한 얼굴 방향"이라는 용어는 얼굴 영상 간의 유사도가 급격히 변하는 분기점 이내의 얼굴 각도 또는 얼굴 방향을 의미하는 것으로 해석된다. 즉, 얼굴 영상의 유사도를 분석함에 있어서 일정한 얼굴 각도 범위 이내, 즉 얼굴 영상의 유사도에서 차이가 없는 범위 내의 얼굴 각도는 동일한 얼굴 영상으로 인식되므로 동일한 얼굴 각도 또는 동일한 얼굴 방향이라고 할 수 있다. 예를 들어, 본 발명자들이 확인한 바에 따르면 정면 얼굴인 0°를 기준으로 -15 ~ +15° 얼굴 각도, -20 ~ -60°의 얼굴 각도, -70 ~ -90°의 얼굴 각도, +20 ~ +60°의 얼굴 각도, +70 ~ +90°의 얼굴 각도는 동일한 얼굴 각도 또는 동일한 얼굴 방향이라고 할 수 있지만, 본 명세서에서 의미하는 동일한 얼굴 각도/동일한 얼굴 방향이 이와 같은 특정의 얼굴 각도나 얼굴 방향만으로 반드시 한정되는 것은 아니다. 이하에서는 첨부하는 도면을 참조하면서 본 발명에 대해서 상세하게 설명한다.
먼저 도 1은 본 발명에 따라 학습 데이터로서 등록 대상이 되는 제 1 얼굴 영상과 인식 대상이 되는 제 2 얼굴 영상을 비교, 분석하여 매칭 여부를 결정하여 얼굴을 인식하는 과정을 개략적으로 도시한 플로 차트이다. 도시한 것과 같이, 본 발명의 과정은 등록 대상이 되는 학습 데이터인 제 1 얼굴 영상과 함께 각각의 얼굴 영상에서부터 산출되는 얼굴 각도(얼굴 방향)를 제 1 얼굴 영상과 연계하여 저장하는 단계(S110), 얼굴 인식을 위하여 입력되는 제 2 얼굴 영상의 얼굴 각도를 산정하는 단계(S120), 산정된 제 2 얼굴 영상의 얼굴 각도와 동일한 얼굴 각도를 갖는 제 1 영상만을 추출하는 단계(S130), 제 2 얼굴 영상과 추출된 제 1 얼굴 영상을 비교, 분석하여 매칭 여부를 판단하는 단계(S140)로 구분될 수 있다.
먼저, 제 1 얼굴 영상 및 제 1 얼굴 영상에 대한 얼굴 각도를 연계하여 저장하는 단계(S110)부터 설명한다. 얼굴 영상을 포함한 이미지 탐색 및 분석과 관련해서 다양한 알고리즘이 사용되었지만, 특히 다른 얼굴 각도, 다른 표정/포즈의 얼굴을 잘 탐지해내지 못하는 문제점이 있었다. 따라서 본 발명에서는 이러한 문제점을 고려하여, 얼굴 각도를 추출하는 동시에 차원 감소 알고리즘을 사용하여 동일한 얼굴 각도의 얼굴 영상을 얼굴 각도와 연계하여 저장한다.
제 1 영상 데이터로부터 얼굴 각도 또는 얼굴 방향을 부여하는 방법에 대한 일예가 도 2에 도시되어 있다. 도 2에서 도시한 것과 같이, 각각의 제 1 영상 데이터에서 두 눈의 연결점과 입의 연결점을 이은 뒤 이 둘의 법선벡터를 얼굴 방향 또는 얼굴 각도로 표현함으로써 평면 사진에 얼굴 방향을 부여할 수 있다. 예를 들어 저장되었거나 새로운 영상이 탐색되면, 스마트 기기 등에 탑재될 수 있는 OpenCV, iOS 등의 API를 이용하여, 제 1 얼굴 영상으로부터 두 눈, 코, 왼쪽 및 오른쪽 입가의 특징점 좌표를 추출한다. 이어서, 왼쪽 눈과 오른쪽 입의 좌표를 연결하고 오른쪽 눈과 왼쪽 입의 좌표를 연결한 것의 교차점에서의 법선벡터의 방향이 얼굴 방향 또는 얼굴 각도로 산출된다. 또는 왼쪽 눈과 오른쪽 입의 좌표를 연결하고 오른쪽 눈과 왼쪽 입의 좌표를 연결한 것의 교차점과 코의 특징점 좌표를 연결하여 제 1 얼굴 영상의 얼굴 각도 또는 얼굴 방향을 산출할 수 있다. 이와 같은 방법으로 각각의 제 1 얼굴 영상에 대하여 얼굴 각도를 산출한 뒤에는 각각의 제 1 얼굴 영상과 연계하여 산출된 얼굴 각도를 함께 데이터베이스에 저장할 수 있다. 예를 들어 도 3a에서는 제 1 얼굴 영상에 대하여 다양한 얼굴 각도와 연계되어 펼쳐 놓은 상태로 저장된 상태를 도시하고 있다. 도 3a에서는 일례로 10a는 정면 제 1 얼 굴 영상이고, 10b는 좌측으로 45ㅀ의 얼굴 각도를 갖는 제 1 얼굴 영상이며, 10c는 좌측으로 90ㅀ의 얼굴 각도를 갖는 제 1 얼굴 영상이며, 10d는 우측으로 45ㅀ의 얼굴 각도를 갖는 제 1 얼굴 영상이고, 10e는 우측으로 90ㅀ의 얼굴 각도를 갖는 제 1 얼굴 영상이 얼굴 각도와 연계되어 저장된 상태를 표시하고 있다.
한편, 학습 데이터로서의 제 1 얼굴 영상은 각각의 얼굴 각도에 대해서 하나의 이미지만이 저장된 경우도 있지만, 경우에 따라서는 동일한 얼굴 각도에 대해서 다양한 이미지가 저장될 수도 있다. 예를 들어, 사용자가 사용하고 있는 스마트 기기 또는 보안 시스템의 경우에는 광대한 사용자 얼굴 영상 데이터를 가지고 있다. 이와 같이 등록 대상이 되는 얼굴 영상, 즉 제 1 얼굴 영상은 정면 얼굴 영상을 비롯해서 다양한 얼굴 각도의 얼굴 영상을 포함할 수 있으며, 동일한 얼굴 각도로 산출되는 다수의 얼굴 영상이 포함될 수 있다. 이 경우에는 동일한 얼굴 각도로 산출된 다수의 얼굴 영상에 대해서 고유 얼굴을 생성한 뒤에 이들을 고유 얼굴 큐브 형태로 데이터베이스화하고 얼굴 각도와 연계하여 저장하는 것이 좋다.
본 명세서에서 사용한 용어 '고유 얼굴'이란 다차원으로 표현되는 사용자의 얼굴, 예를 들어 기 입력된 제 1 얼굴 영상을 다각면에서 추출하여 차원 감소 알고리즘, 예를 들어 주성분 분석(PCA)을 이용하여 제 1 얼굴 영상의 공통적인 특징을 가장 잘 나타내는 기저 벡터 값으로 표현되는 얼굴을 의미한다. 예를 들어 각각의 얼굴 각도에 대해서 다수의 제 1 얼굴 영상이 있는 경우에는 후술하는 것처럼 고유 벡터를 산정하는 방법으로 고유 얼굴을 생성할 수 있다. 관련해서 '고유 얼굴 큐브'란 고유 얼굴을 각각의 얼굴 각도와 연계하여 통합적으로 데이터베이스 저장된 것을 의미한다.
고유 얼굴을 생성하기 위해서는 후술하는 것과 같이 알고리즘을 사용하여 계산으로 얻어낸 공분산의 상위 고유값(eignevalue)과 관련된 고유 벡터(eigenvector)를 이용하여 변환 행렬을 생성하고 적절한 수식을 이용하여 특징 벡터를 변환할 필요가 있다.
이때 각각의 제 1 얼굴 영상 데이터에 대해서 먼저 차원 감소 알고리즘을 사용하여 열벡터 형태로 변환한다. 다차원의 영상 데이터는 차원 감소 알고리즘을 사용하여 영상의 유사도를 분석할 수 있는데, 차원 감소 알고리즘은 다차원의 영상 데이터가 포함된 정보의 손실을 가능한 한 작게 해서 저차원의 데이터로 축약하는 방식으로서, 주성분분석(Principle Component Analysis, PCA), 독립성분분석(Independent Component Analysis, ICA), 선형판별분석(Linear Discriminant Analysis, LDA), ISOMAP, LLE(Locally Linear Embedding) 등의 기법이 알려져 있다. 그 중에서 주성분분석은 관측 대상이 어떠한 위치에 있는지를 시각적으로 파악할 수 있다는 것이 장점이다.
통상 주성분분석(PCA)은 데이터를 1개의 축으로 사상시켰을 때 분산이 큰 데이터 축(상대적으로 의미가 있는 데이터)이 첫 번째 축이 되고, 두 번째로 분산이 큰 데이터 축(상대적으로 의미가 없는 데이터)을 두 번째 좌표축이 되는 식으로 분산의 크기에 따라 차례대로 새로운 좌표계로 데이터를 선형 변환하며, 각각의 변환된 축에 데이터의 '가장 중요한' 성분을 위치시키는 방식이다. 이 경우에 데이터의 차원 감소(데이터 압축)를 위해서는 분산이 큰 축으로 사상된 데이터를 취하는 것이 좋은데, 분산이 큰 데이터일수록 상대적으로 많은 정보를 가지고 있으므로 정보의 손실이 적기 때문이다.
예를 들어 본래의 제 1 얼굴 영상이 n개 존재하는 경우에, 이들 제 1 얼굴 영상의 특징점 벡터를 2차원으로 표현하면, 본래의 제 1 얼굴 영상 데이터는 다음 수학식 1과 같은 2차원 데이터 세트로 표시할 수 있다.
수학식 1
s = {(x1, y1), (x2, y2),...(xi, yi)..., (xn, yn)}
이들 원래의 제 1 얼굴 영상 데이터를 PCA를 이용하여 1개의 축으로 사상하여, 분산이 큰 축의 데이터 값을 취하는 방법으로, 각각의 제 1 얼굴 영상을 N2ㅧ1의 열벡터로 변환할 수 있다. 이와 같이 변환된 제 1 얼굴 영상 데이터의 집합에 대해서는 수학식 2와 같이 표시할 수 있다.
수학식 2
S = {Γ1, Γ2,....Γi,... Γn}
열벡터와 같이 변환된 제 1 얼굴 영상 데이터(학습 데이터)로부터 평균 영상 등을 바로 연산할 수 있지만, 이 경우에는 빛과 배경에 의하여 에러가 발생할 수 있으므로, 바람직하게는 학습 데이터를 정규화(normalize)하는 것이 바람직하다. 영상 데이터를 정규화하기 위해서는 미리 선정된 평균과 분산을 기준으로 작성할 수 있으며, 각도 필터링이나 콘트라스트(contrast) 등을 이용할 수 있다. 일례로, 학습 데이터는 다음 수학식 3을 이용하여 정규화될 수 있다.
수학식 3
예를 들어 수학식 3에선 "userStd" = 80, 'userMean' = 100으로 산정할 수 있지만, 이 값은 필요에 따라 달라질 수 있다.
계속해서, 수학식 2로 표시되는 제 1 얼굴 영상 벡터 집합으로부터 학습 데이터의 평균으로서 평균 얼굴 벡터를 다음의 수학식 4를 이용하여 구할 수 있다.
수학식 4
이어서, 다음의 수학식 5를 이용하여 각각의 제 1 얼굴 영상 벡터와 평균 얼굴 벡터를 뺀 차 벡터(Φ i )를 계산한다.
수학식 5
이어서 각각의 제 1 얼굴 영상 벡터에서 평균 얼굴 벡터를 뺀 차벡터(Ψ i )로부터 다음 수학식 6을 이용하면, N2ㅧ1로 표시된 차벡터(Φ i )로부터 각각의 제 1 얼굴 영상에 대한 공분산 행렬(C, N2 ㅧN2)을 연산한다.
수학식 6
이렇게 얻어진 공분한 행렬의 값은 각각의 제 1 얼굴 영상의 변화를 나타내는 값이 되고, 평균 얼굴 영상에 대한 분산의 정도로부터 고유값(eigenvalue)을 얻을 수 있으며, 다음 수학식 7을 통하여 고유벡터(eignevector, V)를 구할 수 있다.
수학식 7
이와 같은 방법으로 평균 벡터(Ψ)와 공분산 행렬(C)로부터 고유벡터(V)를 얻을 수 있으며, 이러한 고유벡터는 N2×1의 열벡터로 표현되어 있으므로, 이것을 다시 NㅧN으로 reshape하면 고유 얼굴을 획득할 수 있다.
아울러, 각각의 제 1 얼굴 영상 데이터 세트 s에 대한 차원 감축, 즉 주성분 선택은 다음의 수학식 8을 통해서 이루어질 수 있다.
수학식 8
WT · X
여기서 W는 위 수학식 6에서 얻어진 공분산 행렬(C)로부터 얻어진 가장 큰 고유값과 관련된 고유 벡터를 이용하여 만든 변환 행렬인데, 고유값이 크면 얼굴 특징을 고유벡터가 더 많이 표현할 수 있으므로 이 수학식을 이용하여 특징 벡터를 변환할 수 있다.
이와 같은 방법을 통해서 특정 얼굴 각도를 갖는 제 1 얼굴 영상이 다수인 경우에도 고유 벡터를 연산하여 고유 얼굴을 생성할 수 있다. 따라서 동일한 얼굴 각도를 갖는 모든 얼굴 영상을 모두 저장하지 않고, 고유 얼굴만을 얼굴 각도와 연계하여 저장한 뒤에 입력 대상인 제 2 얼굴 영상과 비교하면 충분하므로, 저장 공간을 크게 줄일 수 있다. 예를 들어 도 3b에서는 제 1 얼굴 영상(10a, 10b, 10c)가 얼굴 각도에 대응되도록 저장되어 있는 형태를 예시하고 있다. 이때, 각각의 제 1 얼굴 영상은 얼굴 각도에 따라 별도로 할당된 공간에 저장될 수 있는데, 도 3b에서 제시된 제 1 얼굴 영상은 원래의 제 1 얼굴 영상이 아니라, 전술한 과정을 통해 변환된 각각의 얼굴 각도로부터 얻어진 고유 얼굴 영상으로서, 이들 고유 얼굴 영상이 큐브 형태로 데이터베이스화되어 저장된 상태를 도시하고 있다. 한편 위에서는 예를 들어 주성분분석을 활용한 것으로 설명하였지만, 그 외에 차원 감소 알고리즘으로 사용되는 다른 분석 기법을 사용할 수 있음은 물론이다.
이와 같이 등록 대상이 되는 제 1 얼굴 영상을 산정된 얼굴 각도와 연계하여 데이터베이스화된 형태로 저장한 상태에서, 인식 대상이 되는 제 2 얼굴 영상이 입력되면 제 2 얼굴 영상의 얼굴 각도를 산정한다(S120, 도 1 참조)
이때, 제 2 얼굴 영상에 대해서는 도 2에서 설명한 것과 마찬가지로 쪽 눈과 오른쪽 입의 좌표를 연결하고 오른쪽 눈과 왼쪽 입의 좌표를 연결한 것의 교차점과 코의 특징점 좌표를 연결하여 제 2 얼굴 영상의 얼굴 각도 또는 얼굴 방향을 산출할 수 있다.
계속해서, 산정된 제 2 얼굴 영상의 얼굴 각도와 동일한 얼굴 각도를 갖는 제 1 얼굴 영상만을 추출한다(S130). 앞서 살펴본 것과 같이 동일한 얼굴 각도를 갖는 제 1 얼굴 영상이 다수 개 존재한다고 하더라도 이른바 고유 얼굴 영상을 획득하는 방법을 통해서 하나의 얼굴 각도에 대해서는 한 개의 고유 얼굴로 표현되는 제 1 얼굴 영상만이 존재하기 때문에 저장 용량을 줄일 수 있을 뿐만 아니라, 제 2 얼굴 영상과 동일한 얼굴 각도를 갖는 제 1 얼굴 영상을 추출하기 용이하다. 이어서, 인식 대상이 되는 제 2 얼굴 영상과 동일한 얼굴 각도를 갖는 제 1 얼굴 영상을 비교, 분석하여 매칭 여부를 판단한다(S140). 예를 들어 도 4를 참조하면, 입력 대상인 제 2 얼굴 영상(300)의 얼굴 각도가 오른쪽 45°로 산정된 경우, 다수의 제 1 얼굴 영상 중에서 얼굴 각도가 45°로 저장된 제 1 얼굴 영상만을 비교하여 매칭 여부를 판단하는 상태를 도시하고 있다. 이와 같이 입력된 제 2 얼굴 영상과 동일한 얼굴 각도를 갖는 제 1 얼굴 영상만을 비교하기 때문에 검색이 용이하게 신속하게 진행될 수 있을 뿐만 아니라, 동일한 얼굴 각도만을 비교하기 때문에 너무 많은 등록 데이터로 인하여 입력 대상 얼굴 영상이 등록된 것으로 인식하는 오류를 제거할 수 있다.
이와 같이, 본 발명에서는 단순히 얼굴 영상만을 저장하는 것이 아니고, 각각의 얼굴 영상에 대하여 얼굴 각도를 부여하고, 동일 인물의 변화하는 구도를 데이터베이스로 저장하여 얼굴 인식의 정확도, 신속함을 개선할 수 있다.
한편, 도 5는 본 발명자들이 본 발명자들이 다량의 다른 인물 및 인종의 얼굴 그래프에서 파악한 결과를 도시하고 있다. 얼굴 각도가 0°, ±15 ~ 25°, ± 75 ~ 95°에서 얼굴 영상의 유사도가 급격히 변하는 것으로 파악되었다. 따라서 얼굴의 유사도가 급격하게 변하는 얼굴 각도 지점을 기준으로 각각 별개의 얼굴 각도로서 산정할 수 있다. 이 경우에 동일 인물의 얼굴 영상에 대해서 각각 대략 5~7개의 제 1 얼굴 영상만으로 전체 얼굴 영상을 인식할 수 있을 것으로 예측된다. 예를 들어 제 1 얼굴 영상 중에서 정면 얼굴인 0°를 기준으로 -15 ~ +15°의 얼굴 각도, -20 ~ -60°의 얼굴 각도, -70 ~ -90°의 얼굴 각도, +20 ~ +60°의 얼굴 각도, +70 ~ +90°의 얼굴 각도에서는 각각 얼굴 영상의 유사성이 거의 그대로 유지되기 때문에, 이들 얼굴 각도를 기준으로 5-7개의 제 1 얼굴 영상(예를 들어 각각의 얼굴 각도에 대한 고유 얼굴 영상)만을 데이터베이스로 저장하더라도 충분히 제 2 얼굴 영상과의 유사도 분석 및 판단이 가능하다.
상기에서는 본 발명의 예시적인 실시 형태를 중심으로 본 발명을 설명하였으나, 본 발명이 전술한 특정 실시예로 결코 한정되는 것은 아니며, 전술한 실시 형태에 기초하여 다양하게 변형되는 형태로도 구현될 수 있다. 즉, 전술한 실시 형태는 어디까지나 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 본 발명의 예시적인 형태를 제시한 것에 불과한 것이다. 즉, 통상의 지식을 가진 자라면 전술한 실시 형태에 기초하여 다양한 변형과 변경을 용이하게 생각해 낼 수 있을 것이지만, 본 발명의 권리 범위는 이와 같은 다양한 변형과 변경을 모두 포함하는 것으로 해석되어야 한다는 점은 첨부하는 청구의 범위를 통해서 분명해질 것이다.
10a, 10b, 10c, 10d, 10e : 제 1 얼굴 영상(얼굴 각도로 구분됨)
110, 210: 제 1 얼굴 영상 300 : 입력 얼굴 영상(제 2 얼굴 영상)
110, 210: 제 1 얼굴 영상 300 : 입력 얼굴 영상(제 2 얼굴 영상)
Claims (5)
- (a) 등록 대상이 되는 학습 데이터인 제 1 얼굴 영상 및 상기 제 1 얼굴 영상에 대하여 계산된 얼굴 각도를 연계하여 저장하는 단계와;
(b) 얼굴 인식을 위해 입력된 제 2 얼굴 영상의 얼굴 각도를 산정하는 단계와;
(c) 상기 제 2 얼굴 영상의 산정된 얼굴 각도와 동일한 얼굴 각도를 갖는 제 1 얼굴 영상을 추출하고, 상기 제 2 얼굴 영상과 상기 추출된 제 1 얼굴 영상을 비교하여 매칭 여부를 판단하는 단계를 포함하는 얼굴 인식 방법.
- 제 1항에 있어서, 상기 (a) 단계는, 제 1 얼굴 영상 데이터로부터 눈, 코 및 입가의 특징점 좌표를 추출하는 단계와, 왼쪽 눈 좌표와 오른쪽 입의 좌표 연결선과 오른쪽 눈 좌표와 왼쪽 눈 입의 좌표 연결선의 교차점과, 코의 특징점 좌표를 연결하여 제 1 얼굴 영상의 얼굴 각도를 결정하는 단계와, 동일한 얼굴 각도를 가지는 제 1 얼굴 영상을 분류하여 얼굴 각도와 연계하여 저장하는 단계를 포함하는 얼굴 인식 방법.
- 제 2항에 있어서, 동일한 얼굴 각도를 가지는 제 1 얼굴 영상을 분류하여 얼굴 각도와 연계하여 저장하는 단계는, 상기 제 1 얼굴 영상 데이터로부터 열벡터로 변환하는 단계와, 상기 열벡터로 변환된 제 1 얼굴 영상 데이터로부터 평균 벡터를 계산하는 단계와, 각각의 제 1 얼굴 영상 데이터 벡터와 상기 평균 벡터의 차이를 계산하는 단계와, 상기 제 1 얼굴 영상 데이터로부터 공분산을 계산하여 상기 제 1 얼굴 영상에 대한 고유 벡터를 얻는 단계를 포함하는 얼굴 인식 방법.
- 제 3항에 있어서, 상기 (a) 단계는 동일한 얼굴 각도로 분류된 제 1 얼굴 영상 데이터로부터 연산된 평균과 분산을 이용하여 제 1 얼굴 영상을 정규화하는 단계를 더욱 포함하는 얼굴 인식 방법.
- 제 1항에 있어서, 상기 (b) 단계는 상기 제 2 얼굴 영상 데이터로부터 눈, 코 및 입가의 특징점 좌표를 추출하는 단계와, 왼쪽 눈 좌표와 오른쪽 입의 좌표 연결선과 오른쪽 눈 좌표와 왼쪽 눈 입의 좌표 연결선의 교차점과, 코의 특징점 좌표를 연결하여 제 2 얼굴 영상의 얼굴 각도를 계산하는 단계를 포함하는 얼굴 인식 방법.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020140136830A KR20160042646A (ko) | 2014-10-10 | 2014-10-10 | 얼굴 인식 방법 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020140136830A KR20160042646A (ko) | 2014-10-10 | 2014-10-10 | 얼굴 인식 방법 |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20160042646A true KR20160042646A (ko) | 2016-04-20 |
Family
ID=55917403
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020140136830A KR20160042646A (ko) | 2014-10-10 | 2014-10-10 | 얼굴 인식 방법 |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR20160042646A (ko) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018139847A1 (ko) * | 2017-01-25 | 2018-08-02 | 국립과학수사연구원 | 얼굴 비교를 통한 개인 식별 방법 |
CN110163205A (zh) * | 2019-05-06 | 2019-08-23 | 网易有道信息技术(北京)有限公司 | 图像处理方法、装置、介质和计算设备 |
CN112001932A (zh) * | 2020-09-01 | 2020-11-27 | 腾讯科技(深圳)有限公司 | 人脸识别方法、装置、计算机设备和存储介质 |
CN118427843A (zh) * | 2024-07-05 | 2024-08-02 | 杭州深普科技有限公司 | 一种数据安全能力侦测方法及系统 |
-
2014
- 2014-10-10 KR KR1020140136830A patent/KR20160042646A/ko not_active Application Discontinuation
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018139847A1 (ko) * | 2017-01-25 | 2018-08-02 | 국립과학수사연구원 | 얼굴 비교를 통한 개인 식별 방법 |
CN110163205A (zh) * | 2019-05-06 | 2019-08-23 | 网易有道信息技术(北京)有限公司 | 图像处理方法、装置、介质和计算设备 |
CN110163205B (zh) * | 2019-05-06 | 2021-05-28 | 网易有道信息技术(北京)有限公司 | 图像处理方法、装置、介质和计算设备 |
CN112001932A (zh) * | 2020-09-01 | 2020-11-27 | 腾讯科技(深圳)有限公司 | 人脸识别方法、装置、计算机设备和存储介质 |
CN112001932B (zh) * | 2020-09-01 | 2023-10-31 | 腾讯科技(深圳)有限公司 | 人脸识别方法、装置、计算机设备和存储介质 |
CN118427843A (zh) * | 2024-07-05 | 2024-08-02 | 杭州深普科技有限公司 | 一种数据安全能力侦测方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102004899B (zh) | 一种人脸认证系统及方法 | |
US7873189B2 (en) | Face recognition by dividing an image and evaluating a similarity vector with a support vector machine | |
CN106778450B (zh) | 一种面部识别方法和装置 | |
Li et al. | Efficient 3D face recognition handling facial expression and hair occlusion | |
US20170193284A1 (en) | Face recognition apparatus and method using physiognomic feature information | |
JP4375570B2 (ja) | 顔認識方法およびシステム | |
KR101558547B1 (ko) | 얼굴 포즈 변화에 강한 연령 인식방법 및 시스템 | |
KR20160042646A (ko) | 얼굴 인식 방법 | |
KR101195539B1 (ko) | 얼굴 인식 및 검출을 이용한 출입문 개폐 시스템 및 그 방법 | |
US20060056667A1 (en) | Identifying faces from multiple images acquired from widely separated viewpoints | |
JP2013218605A (ja) | 画像認識装置、画像認識方法及びプログラム | |
Shermina | Face recognition system using multilinear principal component analysis and locality preserving projection | |
JP4375571B2 (ja) | 顔類似度算出方法および装置 | |
KR100862526B1 (ko) | 얼굴동영상 데이터베이스 구축 방법 및 시스템과 이를이용한 얼굴 인식 방법 및 시스템. | |
Hashim et al. | Local and semi-global feature-correlative techniques for face recognition | |
Karakoc et al. | Regressor based estimation of the eye pupil center | |
Hussein et al. | Face Recognition Using The Basic Components Analysis Algorithm | |
Orts | Face Recognition Techniques | |
Tsai et al. | Enhanced long-range personal identification based on multimodal information of human features | |
Srivastava et al. | Face Verification System with Liveness Detection | |
CN111428670A (zh) | 人脸检测方法、装置、存储介质及设备 | |
JP2013218604A (ja) | 画像認識装置、画像認識方法及びプログラム | |
Srivastava et al. | Feasibility of Principal Component Analysis in hand gesture recognition system | |
Lee et al. | Ocular and iris recognition baseline algorithm | |
Marwah et al. | Face Recognition Using The Basic Components Analysis Algorithm |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E601 | Decision to refuse application |