KR100587570B1 - 그래프 정합기반의 얼굴 인식방법 및 장치 - Google Patents
그래프 정합기반의 얼굴 인식방법 및 장치 Download PDFInfo
- Publication number
- KR100587570B1 KR100587570B1 KR1020030074893A KR20030074893A KR100587570B1 KR 100587570 B1 KR100587570 B1 KR 100587570B1 KR 1020030074893 A KR1020030074893 A KR 1020030074893A KR 20030074893 A KR20030074893 A KR 20030074893A KR 100587570 B1 KR100587570 B1 KR 100587570B1
- Authority
- KR
- South Korea
- Prior art keywords
- face
- arg
- features
- model
- subgraphs
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
본 발명은 얼굴 인식방법에 관한 것이다.
본 발명에 따른 얼굴 인식방법은 얼굴 이미지를 입력받아 특징들을 추출하고 특징들간의 관계를 추출하여 얼굴 ARG를 생성하고 상기 생성된 얼굴 ARG와 데이터베이스에 저장되어 있는 얼굴 모델 ARG들을 이용하여 대응그래프들을 생성하는 (a) 단계, 및 상기 생성된 대응그래프들을 이용하여 소정의 방식으로 유사성 측정을 하여 얼굴을 인식하는 (b) 단계를 포함한다.
본 발명에 따른 얼굴 인식장치는 복수의 얼굴 모델 ARG들을 저장하고 있는 얼굴 데이터베이스와, 얼굴 이미지를 입력받아 특징들을 추출하고 관계를 추출하여 얼굴 ARG를 구성하는 얼굴 ARG 표현부와, 상기 얼굴 ARG와 상기 얼굴 데이터베이스에 저장된 각 얼굴 모델 ARG들과의 대응그래프들을 생성하는 대응 관계 추출부, 및 상기 생성된 대응그래프들을 이용하여 소정의 방식으로 유사성 측정을 하여 입력된 얼굴 이미지를 인식하는 얼굴 인식부를 포함한다.
본 발명은 조명이나 표정변화 또는 안경착용 등의 다양한 환경에서 우수한 얼굴을 인식성능을 가지며, 동일면 변환이 있는 경우에도 얼굴인식이 가능하다.
얼굴 인식, ARG, 관계벡터, 관계벡터 공간, 서브그래프
Description
도 1은 본 발명의 실시예에 따른 얼굴 인식장치의 기능성 블록도이다.
도 2는 본 발명의 실시예에 따라 얼굴 ARG 모델을 표현하는 방법을 보여주는 도면이다.
도 3은 본 발명의 실시예에 따라 두 라인 특징들간의 관계들을 보여주는 도면이다.
도 4는 본 발명의 실시예에 따라 G1과 G2 사이에 대응 그래프를 보여주는 도면이다.
도 5는 본 발명의 일 실시예에 따른 얼굴 인식과정을 보여주는 흐름도이다.
도 6은 본 발명의 실시예에 따른 이미지 얼굴 GT와 기준모델 GM 사이에 일대일 대응을 찾은 모습을 보여주는 도면이다.
도 7은 본 발명의 실시예에 따른 얼굴 ARG 사이의 대응관계를 보여주는 도면이다.
도 8은 홍익 얼굴 데이터베이스의 얼굴 모델의 일 예를 보여주는 도면이다.
도 9는 AR 얼굴 데이터베이스의 얼굴 모델의 일 예를 보여주는 도면이다.
도 10은 홍익 모델 얼굴 데이터베이스의 얼굴 모델을 사용할 때의 얼굴 인식 결과를 보여주는 그래프이다.
도 11은 AR 얼굴 데이터베이스의 얼굴 모델을 사용할 때의 얼굴 인식 결과를 보여 주는 그래프이다.
본 발명은 얼굴 인식방법 및 장치에 관한 것으로서, 보다 상세하게는 조명이나 표정변화 또는 안경착용 등의 다양한 환경에서 얼굴을 인식하는 방법 및 장치에 관한 것이다.
얼굴 인식문제는 표정, 자세, 조명변화 및 차단 등을 표현한 다양한 변화들에 강인하게 일반적인 상황에서 개개인을 식별하는 것이다. 얼굴 인식은 수십년 동안 컴퓨터 시각(Computer Vision) 분야에서 가장 흥미있고 활발히 연구되는 한 분야였다. 많은 기술들이 최근까지 연구되었고, 부공간 기법(Subspace Method) 또한 그러한 기술들 중 하나이다. 부공간 기법은 얼굴 이미지를 간결한 저차원 부공간에서 기본적 모드의 요소들로 표현한다. 부공간 기법에서 보편적인 관심사는 1) 변환 공간에서 얼굴의 변화를 잘 검출하고 해석하는 것, 2) 클래스들 간의 분별능력을 증가시키고 동일 클래스안에서 흩어짐을 줄이는 것, 3) 신규 클래스를 다른 클래스들과 잘 분별되도록 하고 얻어진 부공간안에서 표현되도록 하는 것 등이다.
그 동안 연구되어 온 얼굴 인식 기법은 어떠한 특징을 사용하느냐에 따라 크게 두 가지로 나누어 볼 수 있다. 하나는 특징기반의 접근 방법(Feature-based Approach)이고 다른 하나는 외관기반의 접근방법(Appearance-based Approach)이다.
특징기반의 접근 방법은 입력된 얼굴 이미지로부터 특징점(fiducial point), 에지(edge), 라인(line)등을 추출하여 인식을 하는 것으로 보다 적은 메모리를 필요로 하며 일반적으로 조명에 강인한 장점을 가지고 있으나, 저수준(low-level) 특징 추출로 인한 내포적인 왜곡을 가지게 된다. 반면에 외관기반의 접근 방법은 입력 이미지의 화소값을 그대로 이용하는 것으로 보다 많은 정보를 갖고 있으며, 구성요소 분석(Component Analysis)와 같은 다른 공간으로의 변환이 쉽다는 장점을 가지고 있으나, 조명 변화에 대해서는 심하게 왜곡되는 경우가 있고 많은 메모리가 필요하다는 문제점이 있다. 최근의 얼굴 인식에 있어서의 가장 큰 흐름은 제한적 환경에서의 인식을 극복하고 좀더 다양한 변화에 대해 강인한 인식 기법을 개발하는 것이다.
A.S.Georghiades et al.은 조명 변화로 생길 수 있는 모든 변화가 조명콘(illumination cone)상에 놓이며, 몇 장의 이미지만으로 이러한 조명콘을 재생성 시킬 수 있다는 것을 증명하였으며, 조명콘에 기반하여 조명 변화에 강인하게 동작하는 새로운 얼굴 인식기법을 제안하였다. 그러나 소수의 얼굴 데이터 베이스에 적용을 하여 콘의 분별성(discrimination)에 대한 논의가 부족하고, 실제 인식을 수행하기에 너무 복잡하다는 문제점을 갖고 있다.
조명 변화와 더불어 자세(pose)변화 역시 오랜 기간동안 가장 큰 문제가 되어 왔다. 이를 해결하기 위한 다양한 시도가 행해졌는데 최근에 두 가지의 새로운 해결책이 제시되었다. S.Romdhani et al.은 기존에 제안된 모퍼블 모델(morphable model)을 확장시켜 3차원 얼굴 데이터 베이스를 가지고 있을 때, 임의의 2차원 이미지에 대해 일반적인 3차원 얼굴 모델을 적용시킴(fitting)으로써 얼굴을 인식하 는 알고리즘을 제안하였다. 상기 방식은 텍스쳐(texture)와 형태(shape)를 동시에 고려하기 때문에 조명 변화와 자세 변화에 대해 강인한 동작을 보인다. 그러나 상기 방식은 3차원 얼굴 데이터 베이스를 구축하여야 하고 얼굴 인식구조가 복잡하며, 입력된 얼굴의 대략적인 자세와 조명을 알아야 한다는 점에서 제한적이다.
R.Gross et al.은 3차원 렌더링(rendering)에서 연구되어 오던 라이트 필드(light fields)의 개념을 이용하여 얼굴 인식을 하는 새로운 기법을 제안하였다. 입력 이미지로부터 해당되는 물체의 라이트 필드를 구하고 이들에 대해 구성요소 분석을 적용한다. 구성요소 분석 기법으로는 기존의 PCA, Kernel PCA, LDA기법 등을 적용하였는데 얼굴 인식에 있어서 자세와 조명 변화에 강인한 특성을 갖는다. 완전한 라이트 필드를 구성하는 데에 일부 문제가 있으나, 실제로 인식이 간단하다는 장점을 가지고 있다.
상기에서 설명한 대부분의 얼굴 인식 기법들은 한 사람에 대해 동일한 자세라도 다른 변화를 다루기 위해 여러 장의 이미지로 훈련(training)을 시킬 수 있다는 가정을 한다. 실제로 한 사람 당 오직 한 장만의 이미지를 사용할 경우 성능이 떨어지는 문제점을 갖는다. 이러한 문제점에 대하여 Y.Gao et al.은 정면의 한 장 이미지로부터 LEM(line edge map)을 추출한 후 대응하는 선분 사이에 정의된 하우스도르프(Hausdorff) 거리를 이용하는 인식 기법을 제안하였다. 한 장의 이미지를 사용했음에도 불구하고, 조명 변화와 표정 변화 등에 강인한 인식 성능을 보인다.
그러나 괴성을 지르거나 목도리를 두르는 것과 같이 지역적인 변화가 심할 경우에는 인식 성능이 크게 저하되는 문제점이 있다. 이에 대하여 A.M.Martinez는 얼굴 을 여러 영역으로 분할시킨 후 각 영역에 대한 변화를 확률적 모델링을 하여 이러한 문제점을 극복하였다. LEM에 비해 표정 변화나 목도리를 두르고 있는 것과 같이 부분적으로 정보가 손실되어 있는 경우에도 강인하게 동작한다. 그러나 조명 변화를 적절하게 다루지 못하며, 전체적인 인식 성능이 영역 분할에 의존한다는 문제점을 갖고 있다.
이에 따라 적은 모델 이미지를 이용해서 다양한 표정과 조명의 변화에 강인하고, 소리치는 표정과 같이 극단적 표정 변화가 존재하거나 목도리나 안경 등으로 특징이 일부 소실되는 경우에 있어서도 강인하게 사람의 얼굴을 인식할 수 있는 방법과 이를 위한 장치가 필요하다.
본 발명은 상술한 필요성에 의해 안출된 것으로서, 본 발명은 표정, 자세 또는 조명변화나 얼굴에 안경을 쓰거나 목도리를 두르는 등의 다양한 변화가 있는 일반적인 환경에서 사람의 얼굴을 인식할 수 있는 방법 및 이를 위한 장치를 제공하는 것을 그 기술적 과제로 한다.
상기 기술적 과제를 달성하기 위하여, 본 발명에 따른 그래프 정합기반의 얼굴 인식방법은 입력된 얼굴 이미지에서 추출된 특징들간의 소정의 관계를 추출하여 제1 얼굴 ARG를 생성하는 (a) 단계와, 상기 제1 얼굴 ARG와 제2 얼굴 ARG의 대응 그래프들을 생성하는 (b) 단계, 및 상기 생성된 대응그래프들을 이용하여 상기 제1 얼굴 ARG와 상기 제2 얼굴 ARG의 유사성을 측정하여 얼굴을 인식하는 (c) 단계를 포 함하는데, 상기 대응 그래프들은 소정값 이상의 에러가 발생하는 특징들을 배제한 특징쌍으로 구성된 대응 그래프들이다. 이 때, 상기 제2 얼굴 ARG는 얼굴 데이터베이스에 저장된 얼굴 모델 ARG이며, 상기 관계는 두 특징들이 이루는 각과 길이의 비율을 이용하여 추출한다.
상기 (b) 단계는 상기 제1 얼굴 ARG()와 상기 제2 얼굴 ARG()의 특징들을 이용하여 초기 후보 서브그래프들을 생성하는 (b1) 단계와, 상기 생성된 각 초기 후보 서브그래프들에 대응 정도를 계산하여 대응 정도가 높은 후보 서브그래프들을 선택하는 (b2) 단계, 및 상기 각 서브그래프들과 상기 제2 얼굴 ARG()의 대응되는 특징들의 차이를 소정의 방식으로 계산하여 에러가 기준값을 넘는 특징들을 배제하여 상기 각 서브그래프들과 상기 모델 ARG()의 대응되는 특징쌍으로 구성된 대응그래프들을 생성하는 (b3) 단계를 포함한다.
상기 (c) 단계는 각 대응그래프의 특징쌍들의 관계벡터 차이를 확률적으로 평가한 값을 곱한 값을 기준으로 유사성을 측정하여 얼굴을 인식하는데, 상기 관계벡터의 차이를 확률적으로 평가할 때 각 성분들은 가우스 확률분포함수인 것으로 계산하는 것이 바람직하다.
한편, 상기 얼굴 데이터베이스에 저장된 얼굴 모델 ARG는 복수의 각각의 얼굴 모델 ARG들과 제1 얼굴 ARG들과의 유사성을 측정하여 얼굴을 인식한다.
상기 기술적 과제를 달성하기 위하여, 본 발명에 따른 얼굴 인식장치는 복수의 얼굴 모델 ARG들을 저장하고 있는 얼굴 데이터베이스와, 얼굴 이미지를 입력받아 특 징들을 추출하고 추출된 특징들간의 관계를 추출하여 얼굴 ARG를 구성하는 얼굴 ARG 표현부와, 소정의 방식으로 상기 얼굴 ARG와 상기 얼굴 데이터베이스에 저장된 각 얼굴 모델 ARG들과의 대응그래프들을 생성하는 대응 관계 추출부, 및 상기 생성된 대응그래프들을 이용하여 소정의 방식으로 유사성 측정을 하여 입력된 얼굴 이미지를 인식하는 얼굴 인식부를 포함한다.
상기 얼굴 ARG 표현부는 상기 관계를 추출할 때 두 특징들이 이루는 각과 길이의 비율을 이용하여 추출하는 것이 바람직하다.
상기 대응관계 추출부는 상기 얼굴 ARG와 상기 얼굴 데이터베이스에 저장된 얼굴 ARG의 특징들을 이용하여 초기 후보 서브그래프들을 생성하고, 상기 생성된 초기 후보 서브그래프들 중에서 대응정도를 계산하여 대응정도가 높은 후보 서브그래프들을 선택하며, 상기 각 얼굴 모델 ARG들에 대하여 상기 선택된 서브그래프들과 대응되는 특징쌍으로 구성된 대응그래프들을 생성한다.
상기 얼굴 인식부는 각 대응그래프에 대하여 특징쌍들의 관계벡터 차이를 확률적으로 평가한 값을 곱한 값을 기준으로 유사성들을 측정하여 얼굴을 인식하는데, 상기 얼굴 인식부는 상기 관계벡터의 차이를 확률적으로 평가할 때 각 성분들은 가우스 확률분포함수인 것으로 계산하는 것이 바람직하다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다.
도 1은 본 발명의 실시예에 따른 얼굴 인식장치의 기능성 블록도이다.
얼굴 인식장치는 얼굴 이미지를 입력받아 직선 선분을 추출한 후 이들의 관계로부터 얼굴 ARG(Attributed Relational Graph)를 구성하는 얼굴 ARG 표현부(10)와, 상 기 얼굴 ARG 표현부(10)에서 받은 얼굴 ARG들을 저장하는 얼굴 데이터베이스(40)와, 얼굴 ARG 표현부(10)에서 입력받은 이미지 얼굴 ARG와 얼굴 데이터베이스(40)에 저장된 모델 얼굴 ARG와 대응관계를 추출하는 대응관계 추출부(20), 및 추출된 대응관계를 통해 이미지 얼굴 ARG와 모델 ARG 간의 유사도를 측정하고 가장 높은 유사도를 갖는 모델 얼굴을 결정함으로써 이미지 얼굴에 대응하는 모델얼굴을 인식하는 얼굴 인식부(30)를 포함한다.
얼굴 ARG 표현부(10)는 입력받은 얼굴 이미지를 이용하여 얼굴 ARG를 구성한다. 구성된 얼굴 ARG는 얼굴 데이터베이스(40)에 저장되어 이 후에 입력되는 얼굴 이미지가 누구의 얼굴 이미지인지를 인식할 수 있도록 한다. 본 발명의 실시예에서 얼굴의 특징을 나타내는 각 노드들은 직선 선분으로 나타냈으며, 직선 선분들은 입력받은 얼굴 이미지로부터 이미지 필터링을 통해 얻는다. 얼굴 이미지로부터 얼굴 ARG를 구성하는 방법에 관해서는 도 2 및 도 3을 참조하여 후술한다.
대응관계 추출부(20)는 이미지 얼굴 ARG와 모델얼굴 ARG와의 대응되는 노드들을 찾아낸다. 한편, 얼굴인식부(30)는 두 얼굴 ARG의 대응되는 노드들을 이용하여 두 얼굴 ARG의 유사성을 판단한다. 이미지 얼굴 ARG와 얼굴 데이터베이스(40)에 저장된 각 얼굴 ARG와의 유사성을 판단하여 가장 높은 유사성을 갖는 얼굴 ARG를 이미지 얼굴 ARG로 판단한다. 한편, 얼굴 데이터베이스(40)에 저장된 얼굴 ARG들과의 유사성들 모두가 일정한 기준값보다 작은 경우에 이미지 얼굴에 해당하는 모델얼굴들이 얼굴 데이터베이스(40)에 저장되지 않은 것으로 판단한다. 두 얼굴 ARG로부터 대응되는 노드들을 찾아내어 대응 그래프를 구성하는 과정에 대해서는 도 4 내 지 도 6을 참조하여 설명한다.
도 2는 본 발명의 실시예에 따라 얼굴 ARG 모델을 표현하는 방법을 보여주는 도면이다. 먼저 입력받은 얼굴 이미지를 이미지 필터링하여 라인 에지 맵을 구한다. 라인 에지 맵을 구성하는 각 선분은 하나의 노드가 되고 두 노드들간의 관계는 관계 벡터가 된다. 얼굴 ARG는 노드들의 집합과 두 노드들 간의 관계들로 구성된다. 한편, 본 발명에서는 표현의 강인성을 증가시키기 위하여 얼굴 ARG에 부가적인 정보를 포함시켰는데, 관계 벡터 공간들의 집합이 그것이다. 따라서 본 발명의 얼굴 ARG는 3가지 파라미터로 수학식 1과 같이 정의된다.
만일 관계들의 수가 Nf라면, 노드 vi와 노드 vj 간의 관계벡터 rij
는 Nf 차원 벡터가 된다. 관계벡터를 구하는 일 예는 도 3을 통해 설명한다.
도 3은 본 발명의 실시예에 따라 두 라인 특징들간의 관계들을 보여주는 도면이다. 본 발명의 실시예에서 Nf는 6으로 하였으며, 두 노드 (vi,vj)의 관계는 수학식 2로 정의하였다.
rij(1)은 두 노드(vi,vj)의 직선 선분들간의 각으로 정의하고, rij
(2)는 삼각형을 이루는 나머지 각들 중에서 작은 각으로 정의하였고, rij(3)는 vi의 중점으로부터 vj
의 중점까지의 각으로 정의하였다. 한편, rij(4)는 수학식 3과 같은 거리비(Distance Ratio)로 정의하였고, rij(5)와 rij(6)는 각각 vi의 중점과 vj의 중점을 연결한 선분의 중점의 x성분과 y성분으로 하였다. rij(4)를 거리비로 정의함으로써 얼굴 이미지의 크기가 다르더라도 인식할 수 있게 하였다. 상기 설명한 노드들간의 관계는 예시적인 것으로서 본 발명의 기술적 사상은 이에 한정되지 않으며 두 노드간의 새로운 관계를 새로 정의하여 얼굴인식에 사용하는 것도 본 발명의 기술적 사상에 포함된다.
한편, 관계벡터 공간 Ri는 R의 부분집합으로서 수학식 4와 같이 정의된다.
관계벡터 공간을 표현함으로써, 특정 노드를 중심으로한 얼굴의 구조적 정보를 효과적으로 표현할 수 있다. 두 얼굴이 비슷하다면, 얼굴 ARG 모델에서 대응되는 노드들의 관계벡터 공간들 또한 비슷하다고 말할 수 있다. 따라서, 두 얼굴의 관계벡터 공간들을 비교함으로써 대응되는 특징들사이의 유사한 정도를 평가할 수 있다.
도 4는 본 발명의 실시예에 따라 G1과 G2 사이에 대응 그래프를 보여주는 도면이다. 수학식 5와 같이 G1과 G2의 두 개의 얼굴 ARG들이 있다고 가정한다.
이 때, 단방향 대응과 일대일 대응은 각각 정의 1과 정의 2로 표현할 수 있다.
[정의 1]
얼굴 ARG G1의 i번째 특징은 얼굴 ARG G2의 l번째 특징과 (단, 은 작은 양수)일 조건에 있는 경우에 단방향 대응을 갖고, 얼굴 ARG G1의 i번째 특징이 얼굴 ARG G2의 l번째 특징과 단방향 대응에 있는 경우는 로 정의한다.
[정의 2]
얼굴 ARG G1의 i번째 특징은 얼굴 ARG G2의 l번째 특징과 이고 (단, 과 는 작 은 양수)일 조건에 있는 경우에 일대일 대응을 갖고, 얼굴 ARG G1의 i번째 특징이 얼굴 ARG G2의 l번째 특징과 일대일 대응에 있는 경우는 로 정의한다.
이 때, 대응 그래프는 수학식 6으로 표현할 수 있다.
이러한 과정을 통해 대응 그래프를 만드는 예는 도 4에 도시된다.
도 5는 본 발명의 일 실시예에 따른 얼굴 인식과정을 보여주는 흐름도이다.
먼저 모델 ARG 및 이미지 ARG를 입력받아 초기 후보 서브그래프들을 생성한다(S10). 초기 후보 서브그래프들을 생성(S10)한 후에 초기 후보 서브그래프들 중에서 높은 순위의 후보 서브그래프들을 선택한다(S20). S20의 과정을 통해 계산량을 줄일 수 있게 된다. 그리고 나서 차단 검출을 한다(S30). 차단 검출과정을 거치므로써 스카프나 안경 등에 의해 차단된 특징이나 조명 등에 의해서 차단된 특징들을 제외한 나머지 부분을 이용해서 얼굴 인식과정을 수행할 수 있게 된다. 차단 검출과정(S30)을 거치고 나면 모델 ARG와 이미지 ARG간의 대응 그래프를 생성한다(S40). 대응 그래프가 생성되고 나면(S40) 모델 ARG와 이미지 ARG를 비교하고, 이러한 과정은 얼굴 데이터베이스에 저장되어 있는 다른 모델 ARG들과 상기 이미지 ARG와 반복하는데 이 중 가장 유사한 모델 ARG를 찾아내어 얼굴을 인식하게 된다(S50).
초기 후보 서브그래프들을 생성하는 과정은 수학식 8 내지 수학식 11의 과정을 통해서 수행된다.
기준 모델 GM과 이미지 얼굴 GT이 수학식 8과 같이 주어져 있다.
기준 모델 GM과 이미지 얼굴 GT은 부분 정합을 하게 된다. 부분 정합을 위하여 i번째 기준 노드 가 l 번째 이미지 노드 와 일치한다고 가정할 때, 각 이웃안의 한 이미지 노드를 모음으로써 를 포함하는 초기 후보 서브그래프들의 집합을 수학식 9와 같이 만들 수 있다.
초기 후보 서브그래프들을 생성한 후에 높은 순위의 후보 서브그래프들은 수학식 12 및 수학식 13의 과정을 통해서 선택된다. 수학식 12로 정의되는 대응 측정에 일치하는 정도에따라 초기 서브그래프들의 순서화시킴으로써 로부터 의미없는 서브그래프들을 제거하고, 대응되는 정도가 높은 후보 서브그래프(Gc)을 원소로 갖는 의 부분집합인 를 구한다.
본 발명에서는 이렇듯 대응 측정에 일치하는 정도가 적은 서브그래프들을 배제함으로써, 가능한 매치들의 숫자를 쉽게 상당히 줄일 수 있다.
다음으로 차단은 수학식 14 및 수학식 15를 통해 검출한다. 관계벡터 공간에서 수학식 14와 같은 확률적인 분석에 의해 새로운 에러검출 부등식을 찾을 수 있다.
수학식 14를 사용하여 수학식 15와 같은 특징 소실 벡터를 만들 수 있다.
여기서, l(i)는 엘리먼트들()에서 수학식 14의 부등식을 만족시키는 엘리먼트들의 숫자를 말한다. 즉, 수학식 15의 특징 소실 벡터를 이용함으로써 소실 특징들을 쉽게 알 수 있다. 만일 두 개의 매치될 패턴들이 거의 일치한다면, 수학식 15의 벡터 l의 모든 원소들은 0이 될 것이다. 다시 말해, 모든 엘리먼트들은 수학식 14의 부등식을 만족한다. 반면에 이미지를 차단하는 것들이 존재하거나 소실된 특징들이 있는 경우에는 벡터 l안의 대응 원소들은 0이 아닌 큰 양수가 되고, 그렇지 않은 원소들만이 0이 될 것이다. 따라서 소정의 임계값을 넘는 가장 큰 값을 갖는 원소들을 선택함으로써 가장 유력한 소실 특징을 결정할 수 있다. 그리고 기준 및 후보집합에서 검출된 소실 특징을 제거한 후에, 다시 이러한 과정을 반복한다. 이러한 과정은 더 이상 소실된 특징들이 발견되지 않거나 소정의 임계값 이하가 될 때까지 반복한다. 정리하면 반복적인 소실 특징 제거방법을 이용함으로써 소실 특징들을 제거할 수 있다.
대응 그래프 생성과정(S40)은 수학식 16 및 수학식 17을 통해 설명한다.
차단 검출과정을 통해 소실 특징을 제외한 모델 ARG 및 이미지 ARG의 단방향 대응을 수학식 16에 따라 찾는다.
여기서 는 부분 정합의 모델을 기준으로하여 입력되는 이미지에 대응한다는 것을 의미하고, 은 모델 ARG의 i번째 특징이 이미지 ARG의 l번째 특징과 단방향 대응 관계에 있다는 것을 의미한다. 마찬가지로 이미지 ARG를 기준으로 모델 ARG를 대응시킨다. 이러한 과정을 통해서 두 ARG간의 일대일 대응을 찾아내는데 일대일 대응을 찾는 예는 도 6에 도시된다.
도 6에서 볼 수 있다시피, 모델 ARG의 5번 노드와 이미지 ARG의 1번 노드는 일대일 대응을 하고 있으나, 모델 ARG의 N1번 째 노드와 이미지 ARG의 ARG의 10번째 노드는 단방향 대응이지만 일대일대응은 아닌 것을 알 수 있다. 모델 ARG와 이미지 ARG의 일대일 대응되는 모든 노드들의 관계를 포함하는 대응 그래프는 수학식 17과 같이 표현할 수 있다.
도 7은 두 ARG와 대응 그래프의 모습을 보여준다.
대응 그래프를 생성(S40)한 후, 얼굴 인식을 한다(S50). 얼굴인식은 수학식 18 내지 수학식 21에 따라 정의된다.
수학식 18은 얼굴 ARG G1과 G2들 사이의 대응 그래프가 주어진 경우에 두 모델의 유사성을 계산하는 수식이다.
여기서 는 노드 vi와 노드 vj와의 관계를 위한 가중치를 의미하고, 는 관계벡터 공간에서의 에러의 확률로서 정의되는데 본 발명의 실시예에서 관계벡터의 에러벡터는 가우스 랜덤 변수를 이용한다.
관계벡터의 각 성분은 독립이고, rij(5)와 rij(6)는 각각 vi의 중점과 v
j의 중점을 연결한 선분의 중점의 x성분과 y성분으로서 수학식 20에 따른 가우스 분포로 모델링한다.
즉, 대비되는 두 관계벡터의 성분들의 차이가 일정한 값 이하일 때는 서로 의미있는 값으로 계산하는데, 그 값은 가우스 분포함수로 계산한다. 반면에, 두 관계벡터의 성분들의 차이가 일정한 값 이상일 때는 의미없는 값으로서 작은 수(Pc) 값을 지정한다. 작은 수를 지정하는 이유는 의미없는 값이 유사성을 판단하는데 영향을 주지 않도록 하기 위함이다. 즉, 이렇게 함으로써 의미 없는 값일 때 너무 멀리 떨어진 것에 의해서 확률값이 너무 작아지는 현상을 방지할 수 있다.
두 모델간의 유사성 측정은 얼굴 데이터베이스에 저장되어 있는 다른 얼굴모델과 입력된 이미지 모델에 대해서도 수행한다. 입력된 이미지는 얼굴 데이터베이스(FDB)에 저장된 얼굴 모델중에서 미리 정한 일정한 수치를 넘는 것들 중에서 가장 유사성이 높은 얼굴모델로 결정하며, 수학식 21과 같이 정의할 수 있다.
본 발명의 성능은 홍익 얼굴 데이터베이스와 AR 얼굴 데이터베이스의 일부 얼굴을 가지고 테스트하였다. 홍익 얼굴 데이터베이스는 369명의 남자와 131명의 여자로 구성된 컬러 이미지를 포함하고 있는데, 각 사람은 6가지 표정과 9가지의 다른 포즈를 갖고 있다. 도 8은 홍익 얼굴 데이터베이스의 얼굴 모델의 일 예를 보여준다. 한편, AR 얼굴 데이터베이스는 74명의 남자와 58명의 여자로 구성된 컬러 이미지들을 포함하고 있는데, 각 사람은 다른 얼굴 표정과, 조명조건들, 및 선글래스나 스카프로 차단된 모습을 하고 있다. 도 9는 AR 얼굴 데이터베이스의 얼굴 모델의 일 예를 보여주는 도면이다.
도 10과 도 11은 각각 홍익 모델 얼굴 데이터베이스와 AR 얼굴 데이터베이스의 얼굴 모델을 사용할 때의 얼굴 인식 결과를 보여주는 그래프들이다.
도면을 통해 알 수 있다시피 본 발명(Face-ARG)에 의한 경우에 다른 방법에 의한 경우보다 좋은 성능을 가짐을 알 수 있다. 종전의 기술들과 얼굴인식의 정확성을 비교한 값은 표1 내지 표3을 통해서도 알 수 있다.
[표 1] 홍익 얼굴 모델을 이용한 얼굴인식 결과
[표 2] AR 얼굴 모델에서 표정과 차단 조건에서의 얼굴 인식 결과
[표 3] AR 얼굴 모델에서 조명변화 조건에서의 얼굴 인식 결과
본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것 을 이해할 수 있을 것이다. 따라서 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구의 범위에 의하여 나타내어지며, 특허청구의 범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
본 발명에 따르면, 표정변화나 조명변화와 같은 조건에서도 높은 정확도의 얼굴 인식이 가능하다. 또한, 본 발명은 크기 변화나 얼굴 이미지의 평면상 회전 등과 같이 동일면상의 변환(In-Plane Transform)이 있는 경우에도 얼굴 인식이 가능한 장점을 갖는다.
Claims (15)
- 입력된 얼굴 이미지에서 추출된 특징들간의 소정의 관계를 추출하여 제1 얼굴 ARG를 생성하는 (a) 단계;상기 제1 얼굴 ARG와 제2 얼굴 ARG의 대응 그래프들을 생성하는 (b) 단계; 및상기 생성된 대응그래프들을 이용하여 상기 제1 얼굴 ARG와 상기 제2 얼굴 ARG의 유사성을 측정하여 입력된 얼굴 이미지를 인식하는 (c) 단계를 포함하는데,상기 대응 그래프들은 소정값 이상의 에러가 발생하는 특징들을 배제한 특징쌍으로 구성되며, 상기 유사성은 상기 특징쌍들의 관계벡터 차이를 확률적으로 평가한 값들을 곱한 값을 기준으로 측정되는, 그래프 정합기반의 얼굴 인식방법
- 제1항에 있어서, 상기 제2 얼굴 ARG는 얼굴 데이터베이스에 저장된 얼굴 모델 ARG인 것을 특징으로 하는 그래프 정합기반의 얼굴 인식방법
- 제1항 또는 제2항에 있어서, 상기 관계는 두 특징들이 이루는 각과 길이의 비율을 이용하여 추출하는 것을 특징으로 하는 그래프 정합기반의 얼굴 인식방법
- 제2항에 있어서, 상기 (b) 단계는상기 생성된 각 초기 후보 서브그래프들에 대응 정도를 계산하여 대응 정도가 높은 후보 서브그래프들을 선택하는 (b2) 단계; 및
- 제4항에 있어서, 상기 (b2) 단계는 상기 초기 후보 서브그래프들 중에서 소정의 계산방법에 의한 대응 측정을 하여 대응정도가 적은 서브그래프들을 제거하는 단계를포함하는데, 상기 대응 측정은
- 삭제
- 제1항에 있어서, 상기 관계벡터의 차이를 확률적으로 평가할 때 각 성분들은 가우스 확률분포함수인 것으로 계산되는 것을 특징으로 하는 그래프 정합기반의 얼굴 인식방법
- 제2항 또는 제4항에 있어서, 상기 얼굴 데이터베이스에 저장된 얼굴 모델 ARG는 복수이며, 상기 제1 얼굴 ARG와 상기 각각의 얼굴 모델 ARG들과 유사성을 측정하여 얼굴을 인식하는 것을 특징으로 하는 그래프 정합기반의 얼굴 인식방법
- 복수의 얼굴 모델 ARG들을 저장하고 있는 얼굴 데이터베이스;얼굴 이미지를 입력 받아 특징들을 추출하고 추출된 특징들간의 관계를 추출하여 얼굴 ARG를 구성하는 얼굴 ARG 표현부;상기 얼굴 ARG와 상기 얼굴 데이터베이스에 저장된 각 얼굴 모델 ARG들과의 대응그래프들을 생성하는 대응 관계 추출부; 및상기 생성된 대응그래프들을 이용하여 상기 얼굴 ARP와 상기 얼굴 모델 ARG들과의 유사성을 측정하여 입력된 얼굴 이미지를 인식하는 얼굴 인식부를 포함하는데,상기 대응 그래프들은 소정값 이상의 에러가 발생하는 특징들을 배제한 특징쌍으로 구성되며, 상기 얼굴 인식부는 상기 특징쌍들의 관계벡터 차이를 확률적으로 평가한 값들을 곱한 값을 기준으로 상기 유사성을 측정하는, 그래프 정합기반의 얼굴 인식장치
- 제11항에 있어서, 상기 얼굴 ARG 표현부는 상기 관계를 추출할 때 두 특징들이 이루는 각과 길이의 비율을 이용하여 추출하는 것을 것을 특징으로 하는 얼굴 인식장 치
- 제11항에 있어서 상기 대응관계 추출부는 상기 얼굴 ARG와 상기 얼굴 데이터베이스에 저장된 얼굴 ARG의 특징들을 이용하여 초기 후보 서브그래프들을 생성하고, 상기 생성된 초기 후보 서브그래프들 중에서 대응정도를 계산하여 대응정도가 높은 후보 서브그래프들을 선택하며, 상기 각 얼굴 모델 ARG들에 대하여 상기 선택된 서브그래프들과 대응되는 특징쌍으로 구성된 대응그래프들을 생성하는 것을 특징으로 하는 얼굴 인식장치
- 삭제
- 제11항에 있어서, 상기 얼굴 인식부는 상기 관계벡터의 차이를 확률적으로 평가할 때 각 성분들은 가우스 확률분포함수인 것으로 계산하는 것을 특징으로 하는 그래프 정합기반의 얼굴 인식장치
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020030074893A KR100587570B1 (ko) | 2003-10-25 | 2003-10-25 | 그래프 정합기반의 얼굴 인식방법 및 장치 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020030074893A KR100587570B1 (ko) | 2003-10-25 | 2003-10-25 | 그래프 정합기반의 얼굴 인식방법 및 장치 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20050039426A KR20050039426A (ko) | 2005-04-29 |
KR100587570B1 true KR100587570B1 (ko) | 2006-06-08 |
Family
ID=37241663
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020030074893A KR100587570B1 (ko) | 2003-10-25 | 2003-10-25 | 그래프 정합기반의 얼굴 인식방법 및 장치 |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR100587570B1 (ko) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10991120B2 (en) | 2017-11-14 | 2021-04-27 | Samsung Electronics Co., Ltd. | Method and apparatus for processing a plurality of undirected graphs |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8542928B2 (en) * | 2005-09-26 | 2013-09-24 | Canon Kabushiki Kaisha | Information processing apparatus and control method therefor |
US8866845B2 (en) | 2010-03-10 | 2014-10-21 | Empire Technology Development Llc | Robust object recognition by dynamic modeling in augmented reality |
KR101066097B1 (ko) * | 2010-04-05 | 2011-09-20 | 주식회사 미래인식 | 안경 착용자에 대한 오인식을 최소화한 얼굴 인식 장치 및 이를 이용한 안경 착용자에 대한 얼굴 오인식 최소화 방법 |
KR102024867B1 (ko) | 2014-09-16 | 2019-09-24 | 삼성전자주식회사 | 예제 피라미드에 기초하여 입력 영상의 특징을 추출하는 방법 및 얼굴 인식 장치 |
-
2003
- 2003-10-25 KR KR1020030074893A patent/KR100587570B1/ko not_active IP Right Cessation
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10991120B2 (en) | 2017-11-14 | 2021-04-27 | Samsung Electronics Co., Ltd. | Method and apparatus for processing a plurality of undirected graphs |
Also Published As
Publication number | Publication date |
---|---|
KR20050039426A (ko) | 2005-04-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11176406B2 (en) | Edge-based recognition, systems and methods | |
CN108052896B (zh) | 基于卷积神经网络与支持向量机的人体行为识别方法 | |
Aldoma et al. | Multimodal cue integration through hypotheses verification for rgb-d object recognition and 6dof pose estimation | |
Nair et al. | 3-D face detection, landmark localization, and registration using a point distribution model | |
Pazhoumand-Dar et al. | Joint movement similarities for robust 3D action recognition using skeletal data | |
CN108470354A (zh) | 视频目标跟踪方法、装置和实现装置 | |
CN106778474A (zh) | 3d人体识别方法及设备 | |
Ahuja et al. | Extracting texels in 2.1 D natural textures | |
Chowdhary | 3D object recognition system based on local shape descriptors and depth data analysis | |
CN105868716A (zh) | 一种基于面部几何特征的人脸识别方法 | |
Tang et al. | 3D Object Recognition in Cluttered Scenes With Robust Shape Description and Correspondence Selection. | |
Agathos et al. | Protrusion-oriented 3D mesh segmentation | |
TW202203211A (zh) | 關鍵點檢測方法、電子設備及電腦可讀儲存介質 | |
CN106611158A (zh) | 人体3d特征信息的获取方法及设备 | |
JP6381368B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
Perbet et al. | Human body shape estimation using a multi-resolution manifold forest | |
Huang et al. | Tracking-by-detection of 3d human shapes: from surfaces to volumes | |
Imani et al. | Histogram of the node strength and histogram of the edge weight: two new features for RGB-D person re-identification | |
CN108985119A (zh) | 结构光解码的方法和设备 | |
KR100587570B1 (ko) | 그래프 정합기반의 얼굴 인식방법 및 장치 | |
Ming et al. | A unified 3D face authentication framework based on robust local mesh SIFT feature | |
Alwaely et al. | Ghosm: Graph-based hybrid outline and skeleton modelling for shape recognition | |
Al-Azzawy | Eigenface and SIFT for gender classification | |
Baydoun et al. | Hand pose recognition in first person vision through graph spectral analysis | |
Mirehi et al. | A new GNG graph-based hand gesture recognition approach |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
LAPS | Lapse due to unpaid annual fee |