KR20130059212A - 지역적 특징의 통계적 학습을 통한 강건한 얼굴인식방법 - Google Patents

Abstract

지역적 특징의 통계적 학습을 통한 강건한 얼굴인식방법이 개시된다. 상기 개시된 본 발명은 학습할 얼굴 이미지를 M개 이미지로 분할하고, SIFT 특징 추출을 통해 각 분할 이미지의 지역적 특징 기술자를 획득하는 (a)단계; 상기 (a)단계에서 획득한 다수의 지역적 특징 기술자에 대하여 평균 및 분산을 계산하는 (b)단계; 비교할 얼굴 이미지를 M개 이미지로 분할하고, SIFT 특징 추출을 통해 각 분할 이미지의 지역적 특징 기술자를 획득하는 (c)단계; 상기 (a)단계에서 획득한 다수의 지역적 특징 기술자와 상기 (c)단계에서 획득한 다수의 지역적 특징 기술자 간의 거리를 계산하는 (d)단계; 상기 (b)단계에서 계산된 평균 및 분산을 이용하여 상기 학습할 얼굴 이미지의 M개 이미지에 대한 각 가중치를 계산하는 (e)단계; 및 상기 (d)단계에서 계산된 다수의 지역적 특징 기술자 간의 거리와 상기 (e)단계에서 계산된 각 가중치를 결합하여, 상기 학습할 얼굴 이미지와 상기 비교할 얼굴 이미지 간의 M개로 분할된 각 이미지에 대한 거리를 계산하는 (f)단계;를 포함하는 것을 특징으로 한다.

Description

지역적 특징의 통계적 학습을 통한 강건한 얼굴인식방법{ROBUST FACE RECOGNITION METHOD THROUGH STATISTICAL LEARNING OF LOCAL FEATURES}

본 발명은 얼굴인식방법에 관한 것으로, 특히 얼굴 이미지에 대해 지역적 특징 기술자를 추출하고 이에 대한 통계적 학습을 통햐 강건한 얼굴인식이 가능한 얼굴인식방법에 관한 것이다.

일반적으로 사람에게서는 여러 가지 종류의 신호를 포착할 수 있는데, 그 중에서도 얼굴 이미지는 경우에 따라 매우 다양한 변화가 있기 때문에 얼굴인식기술은 패턴 인식과 기계 학습에서 가장 주목받고 있는 분야 중 하나이다.

종래의 얼굴 인식 기술은 하나의 얼굴 이미지에 대하여 이미지 전체를 단일 이미지에 대한 특징을 추출하거나 또는 얼굴 이미지 중 눈, 코, 입 등 특정 부분의 특징만을 추출하고 이렇게 추출된 데이터를 인식률 결과에 반영하고 있다.

상기와 같이 특징을 추출하는 방법은 여러 가지 기준에 의해 구분될 수 있으며, 대표적인 기준으로는 특징을 추출하는 영역의 범위에 따른 전역적 특징 추출방법과 지역적 특징 추출방법이 있다.

전역적 특징 추출방법은 학습 데이터 전체에서 공분산과 같은 통계적 수치를 이용한 것으로 특정 목적 함수를 만족시키기 위해 고유치, 고유 벡터 등을 적용하는 것이 일반적이다. 따라서 임의의 학습 데이터(얼굴 이미지)로부터 획득되는 특징들은 해당 학습 데이터의 전체적인 설명이 가능하도록 표현되어 진다. 대표적인 방법으로 PCA(Principal Component Analysis) 및 LDA(Linear Discriminant Analysis)와 같은 방법이 있다.

지역적 특징 추출방법은 임의의 학습 데이터(얼굴 이미지)에서 이를 잘 설명해 줄 수 있는 지역적인 특징을 추출하는 것으로, 각각의 학습 데이터에 대해 각각 추출되며 이때 나머지 학습 데이터들에 대한 고려를 전혀 하지 않고 해당 데이터 내에서도 다른 지역에 대한 고려하지 않는다. 지역적 특징 추출방법은 대표적으로 SIFT(Scale Invariant Feature Transform) 및 Dens-SIFT와 같은 방법을 들 수 있다.

그런데 상기 전역적 특징 추출방법이나 지역적 특징 추출방법으로는 조명, 표정, 포즈, 폐색(occlusion) 등의 매우 다양한 얼굴 이미지의 변화에 대한 통계적인 특징의 추출이 어렵기 때문에 원본 이미지의 중요한 정보를 정확하게 표현하지 못하고, 그 결과 얼굴 이미지의 다양한 변화에 따른 강건한 특징(statistical feature)을 제대로 보존하지 못해 얼굴 이미지에 대한 높은 인식률을 기대하기 어려운 문제가 있었다.

상기 문제점을 해결하기 위하여 본 발명이 갖는 목적은, 인물의 다양한 표정을 촬영한 다수의 얼굴 이미지에 대하여 각 얼굴 이미지를 다수 개로 분할하고 이 분할된 이미지 들로부터 지역적인 특징을 추출한 후 이를 통계적으로 학습함으로써, 얼굴 인식률을 극대화할 수 있는 얼굴인식방법을 제공하는 데 있다.

상기 목적을 달성하기 위해, 본 발명은 학습할 다수의 얼굴 이미지를 각각 동일하게 M개 이미지로 분할하고, 지역적 특징 기술자 추출을 통해 각 분할 이미지의 지역적 특징 기술자를 획득하는 (a)단계; 상기 (a)단계에서 획득한 다수의 지역적 특징 기술자에 대하여 평균 및 분산을 계산하는 (b)단계; 비교할 하나의 얼굴 이미지를 M개 이미지로 분할하고, 지역적 특징 기술자 추출을 통해 각 분할 이미지의 지역적 특징 기술자를 획득하는 (c)단계; 상기 (a)단계에서 획득한 다수의 지역적 특징 기술자와 상기 (c)단계에서 획득한 다수의 지역적 특징 기술자 간의 거리를 계산하는 (d)단계; 상기 (b)단계에서 계산된 평균 및 분산을 이용하여, 상기 각 학습할 얼굴 이미지의 M개로 분할된 이미지에 대한 각 가중치를 계산하는 (e)단계; 및 상기 (d)단계에서 계산된 다수의 지역적 특징 기술자 간의 거리와 상기 (e)단계에서 계산된 각 가중치를 결합하여, 상기 학습할 얼굴 이미지와 상기 비교할 얼굴 이미지 간의 거리를 계산하는 (f)단계를 포함하는 것을 특징으로 하는 얼굴인식방법을 제공한다.

상기 (f)단계에서 상기 학습할 얼굴 이미지와 상기 비교할 얼굴 이미지 간의 거리 거리 계산은 하기 수학식에 의해 산출될 수 있다.

상기 (a)단계 및 (c)단계의 지역적 특징 기술자 추출은 SIFT(Scale Invariant Feature Transform) 특징 추출방법 또는 Dens-SIFT 특징 추출방법을 통해 이루어지는 것이 바람직하다.

상기한 바와 같이 본 발명에 있어서는, 인물의 조명, 포즈, 표정 변화에 강건한 지역적 특징의 장점과 더불어 통계적 학습을 통해서 폐색에도 강건한 특징을 사용할 수 있어 얼굴 인식률을 향상시킬 수 있는 이점이 있다.

도 1은 본 발명의 지역적 특징의 통계적 학습을 통한 강건한 얼굴인식 과정을 순차적으로 나타내는 흐름도이고,
도 2는 본 발명에서 학습할 단일 얼굴 이미지(트레이닝 이미지)를 나타내는 도면이고,
도 3은 도 2에 도시된 얼굴 이미지의 지역적 특징을 추출하기 위해 격자식으로 전체 분할한 상태를 나타내는 도면이고,
도 4는 얼굴 이미지의 일부가 가려진 폐색된 얼굴 이미지(테스트 이미지)를 나타내는 도면이고,
도 5는 도 4에 도시된 얼굴 이미지의 지역적 특징을 추출하기 위해 격자식으로 전체 분할한 상태를 나타내는 도면이고,
도 6은 본 발명과 종래의 PCA 및 LDA 특징 추출방법 간의 얼굴 인식률을 비교한 그래프이고,
도 7은 얼굴 이미지의 일부를 인위적으로 폐색시킨 얼굴 이미지(테스트 이미지)를 나타내는 도면이고,
도 8은 본 발명과 종래의 PCA 및 LDA 특징 추출방법 간의 얼굴 인식률을 비교한 그래프이다.

이하 첨부한 도면을 참고하여, 본 발명의 지역적 특징의 통계적 학습을 통한 강건한 얼굴인식방법을 설명한다.

먼저, 도 2와 같이 얼굴 전면에 대한 하나의 얼굴 이미지(1)에 대하여, 도 3과 같이 복수 개(M개)의 부분영역으로 구획한다.

이때 본 발명의 경우 하나의 얼굴 이미지(1)의 눈, 코, 입 등의 특정 부분에 대한 특징을 사용하지 않고 하나의 얼굴 이미지(1) 전체를 사용해야 하므로, 얼굴 이미지(1)의 모든 부분을 동일한 크기의 이미지로 분할하기 위해 격자 패턴으로 분할하는 것이 바람직하다. 이렇게 분할된 각 부분을 이하에서는 분할 이미지(P1~PM)라 한다.

이렇게 다수 개로 분할된 각 분할 이미지(P1~PM)에 대하여, 지역적 특징 추출 방법인 SIFT를 통해 각각 지역적 특징 기술자를 획득한다(S1). 지역적 특징 기술자를 획득하는 과정은 하기와 같다.

SIFT는 이미지 특징들의 세트(set of image features)를 생성하기 위해 2가지 계산 단계를 거친다. 1 단계는 전체 얼굴 이미지(1)로부터 중요 포인트를 어떻게 선택할 것인지를 결정한다. 여기서, 선택된 중요 픽셀을 '키포인드(keypoint)'라 한다. 2 단계는 해당 이미지(1)의 의미 있는 지역적 속성 들(local properties)을 나타낼 수 있도록 상기 선택된 키포인트 들에 대한 적절한 기술자(descriptor)를 정의한다. 여기서, 기술자는 '지역적 특징 기술자'라 한다.

이와 같이 하나의 얼굴 이미지(1)에서 M개로 분할된 각각의 분할 이미지(P1~PM)는 상기 지역적 특징 기술자를 갖는 복수의 키포인트 세트에 의해 나타낼 수 있다.

하기에서는 지역적 특징 기술자에 대해 간략하게 설명하고, 복수 개로 분할된 각 분할 이미지(P1~PM)를 나타내기 위해 지역적 특징 기술자를 적용하는 방법을 설명한다.

SIFT는 각 이미지 내에서 복수의 키포인트를 검출하기 위해 스케일-공간 DOG(scale-space Difference-Of-Gaussian) 함수를 이용한다. 입력된 하나의 얼굴 이미지 I(x,y)에 대하여, 상기 스케일-공간은 얼굴 이미지를 갖는 가변스케일 가우시안 G(x,y,σ)의 합성곱(convolution)으로부터 제공되는 함수 L(x,y,σ)로 정의된다. 이에 따라, 상기 DOG 함수는 하기 수학식 1과 같이 정의된다.

여기서, x는 x축 좌표, y는 y축 좌표, σ는 스케일(scale), k는 증배율(multiplicative factor)을 나타낸다.

이 경우, D(x,y,σ) 함수의 지역적 최대값 및 최소값은 현재 단일 이미지(1) 내에서 하나의 분할 이미지를 둘러싸는 8개의 주변 이미지를 기반으로 한다. 종래의 SIFT를 통해 특징자를 추출하는 경우, 안정성과 지역적 특징 기술자 들의 값에 근거하여 다수의 키포인트를 선택하는데, 이 경우 다수의 키포인트와 위치는 각 분할 이미지에 따라 달라진다.

한편, 얼굴인식의 경우, 얼굴이미지의 텍스쳐(texture)가 부족하기 때문에 매우 적은 수의 키포인트 들이 추출될 수 있는데, 이 경우 SIFT 대신에 또 다른 지역적 특징자 추출방법인 Dense-SIFT 추출 방법을 적용하여 상기 문제를 해결할 수 있다.

상기 SIFT 추출방법을 통해 추출된 각 지역적 특징 기술자는 4개 부분으로 이루어진 128 차원 벡터인 기술자(128 dimensional vecter descriptor)로 대표된다. 여기서 4개 부분은 특징이 선택된 위치를 나타내는 로커스(locus), 스케일(scale)(σ), 방향 및 기울기이다. 이 경우, 각 분할 이미지에 대한 2차원 좌표 (x,y)에 위치한 각 키포인트에 대한 기울기 정도(m(x,y)) 및 방향(θ(x,y))은 하기의 수학식 2 및 수학식 3을 통해 얻어진다.

이어서, 얼굴 이미지(1)를 나타내는데 SIFT 추출방법을 적용하기 위해서, 먼저 M개의 지역적 특징 기술자 및 일반적인 격자(regular grid) 상에 상기 지역적 특징 기술자 들의 위치를 확정한다. 여기서, 각 지역적 특징 기술자는 기술자 벡터(κ)에 의해 나타나므로, 하나의 얼굴 이미지(I)는 M개의 기술자 벡터의 세트에 의해 나타날 수 있다. 이 경우 얼굴 이미지(I)는 하기 수학식 4와 같이 나타낼 수 있다.

이러한 식을 바탕으로, M개의 기술자 벡터(κ)에 대한 평균 및 분산을 계산하여 확률분포 학습이 이루어진다(S2).

얼굴 이미지에 대한 임의의 학습 데이터가 {I ⁱ } _{i =1,…,N} 와 같이 주어질 때, 키포인트 기술자에 대한 M개 트레이닝 세트를 하기 수학식 5와 같이 나타낼 수 있다.

상기 M개 트레이닝 세트(T_m)는 m개 영역으로 분할된 모든 얼굴 이미지로부터 획득한 얼굴 영상들의 분할 이미지 중 특정 위치의 분할 이미지에 대한 다수의 지역적 특징 기술자를 갖는다.

상기 트레이닝 세트(T_m)를 사용함에 따라, 특정 위치의 분할 이미지에 대한 지역적 특징 기술자(κ_m)의 확률 밀도를 추산할 수 있다. 또한 단순한 예비 어프로치(preliminary approach)에 따라, 128 차원 랜덤 벡터에 대한 다변량 가우시안 모델(multivariate Gaussian model)을 사용한다. 따라서 지역적 특징 기술자(κ_m)는 하기 수학식 6과 같이 나타낼 수 있다.

상기 수학식 6에서 2개 모델 파라미터인 평균(μ_m) 및 공분산 행렬(Σ_m)은 각각 상기 트레이닝 세트(T_m)의 단순 평균 및 단순 공분산 행렬에 의해 추산될 수 있다.

상기한 바와 같이 하나의 얼굴 이미지(1)는 확정된 다수의 지역적 특징 기술자 κ _m (m=1,…,M)에 의해 나타낼 수 있으며, 동일 인물에 대한 다양한 표정을 촬영한 복수의 얼굴 이미지에 대하여 각각 상술한 과정 S1 및 S2 단계를 거쳐 평균 및 분산을 계산한다. 아울러, 복수의 상이한 인물에 대해서도 상술한 S1 및 S2 단계를 거쳐 학습이 이루어진다.

상기와 같이 추산된 확률 밀도를 사용하면, 사람의 전면 얼굴(human frontal faces)에 대한 원형 이미지(prototype image)의 특정한 위치에서 각 기술자가 발견되는 확률을 계산할 수 있다.

한편, 얼굴인식 테스트를 위해 도 4와 같은 소정 인물의 얼굴 이미지(3)(이하 '테스트 이미지'라 함)를 선정하고, 상기 테스트 이미지에 대하여 도 5와 같이 영역을 M개로 분할한 후 SIFT 특징 추출방법을 통해 테스트 이미지의 각 지역적 특징 기술자를 획득한다(S3). 상기 테스트 이미지는 트레이닝 이미지(1)와 동일 인물을 촬영한 영상으로 코 밑부분을 목도리로 가린 상태의 이미지이다.

계속해서, 트레이닝 이미지(1)와 테스트 이미지(3) 간 지역적 특징 기술자에 대한 거리를 산출한다(S4). 이를 위해, 각 기술자의 가중치를 찾도록 상기 획득된 지역적 특징 기술자 들을 사용할 수 있다.

이 경우, 트레이닝 이미지(1)와 비교하기 위한 입력된 테스트 이미지(3)를 I^tst 라고 하면, 하기 수학식 7과 같이 SIFT 특징 추출방법을 적용하여 테스트 이미지(3)에 대한 지역적 특징 기술자 세트(set of keypoint descriptors)를 획득할 수 있다.

그 후, 각 부분영역의 지역적 특징 기술자

에 대하여, 확률 밀도

를 계산할 수 있고, 각 지역적 특징 기술자

에 대한 가중치 w_m를 획득할 수 있다(S5). 여기서 가중치 w_m는 하기 수학식 8과 같이 나타낼 수 있다.

이어서, 상기와 같이 계산된 테스트 이미지 I^tst 와 트레이닝 이미지 Iⁱ 간 해당 영역간 지역적 특징 기술자의 거리 및 상기 산출된 가중치 w_m를 결합하여 두 데이터 간의 거리를 계산한다(S6). 이 경우 거리는 하기 수학식 9를 사용하여 계산될 수 있다.

여기서, m은 각 부분 영역 인덱스, w_m는 임의의 부분영역 가중치, d(·,·)는 L₁ norm 및 L₂ norm과 같은 거리계산함수,

및

는 테스트 이미지와 i번째 트레이닝 이미지의 m 부분영역에 대한 지역적 특징 기술자를 각각 의미한다.

이 경우, 가중치 w_m는 m번째 지역적 특징 기술자에 의해 나타나는 테스트 이미지의 m번째 지역적 패치(local patch)에 의해 결정되기 때문에, 트레이닝 이미지와 테스트 이미지들 간에 측정에 있어서 상기 지역적 패치는 가중치를 나타내기 위한 중요한 요소에 해당한다.

따라서, 만약 테스트 이미지에 폐색이 존재하는 경우, 상기 폐색을 포함하는 지역적 패치는 미리 획득된 트레이닝 이미지 세트에서 흔히 보이는 패치가 아닐 수 있으며 이에 따라 가중치는 작아지게 된다. 이러한 점을 고려해 볼 때, 본 발명은 측정치에 있어 가려진 일부를 노출함에 따라 지역적 변화에 대하여 더욱 강건한 결과를 제공할 수 있다.

본 발명에 대한 얼굴 이미지의 강건성(robustness)을 확인하기 위해, 지역적 편차가 있는 샘플 데이터베이스 상에서 비교실험을 행하였다. 상기 본 발명을 종래의 지역적 접근 및 종래의 통계적 방법과 비교하였다. 상기 샘플 데이터베이스는 피실험자 126명(남자 70명, 여자 56명)의 얼굴을 촬영한 다수의 정면 이미지(3600 컬러 이상)로 이루어진다. 구체적으로는 각 피실험에 대하여 26개의 영상(이미지)을 촬영하였으며, 이 이미지 들은 모두 서로 다른 표정으로 촬영되었다. 각 주제에 대하여, 이 이미지들은 2주일 간격으로 2개의 서로 다른 기간에 촬영되었다. 각 기간은 얼굴 표정, 조명, 폐색에서 차이를 갖는 13개의 이미지로 이루어진다.

이 실험에서, 상기 126명을 촬영한 이미지 중 100명에 대한 이미지를 선별하여 각 피실험자에 대해 제1 기간에 촬영된 13개의 이미지를 사용하였다. 참고로, 전처리 단계로, 눈 위치를 갖는 정렬된 이미지를 수작업으로 획득하였고. 위치 작업 후, 얼굴 이미지는 모핑(morphing) 및 88X64 픽셀로 리사이징(resizing) 되었다.

상기 이미지 데이터를 이용하여 본 발명과 종래의 PCA 및 LDA 방법을 통해 각각의 얼굴 인식률을 확인해 본 결과, 도 6과 같이 본 발명은 90%에 가까운 얼굴 인식률을 나타내는 데 반해, 종래의 PCA 및 LDA 방법은 모두 60%에도 미치지 못하는 얼굴 인식률을 나타내었다.

또한, 도 7과 같이 테스트 이미지에 인위적인 폐색을 가한 경우 본 발명과 종래기술에 대한 얼굴 인식률을 비교해 본 결과, 도 8과 같이 본 발명은 95%의 얼굴 인식률을 나타내는 데 반해, 종래의 PCA 및 LDA 방법은 모두 70% 미만의 얼굴 인식률을 나타내었다.

이상과 같이, 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 이것에 의해 한정되지 않으며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술 사상과 아래에 기재될 특허청구범위의 균등범위 내에서 다양한 수정 및 변형 가능함은 물론이다.

1: 트레이닝 이미지 3: 테스트 이미지

Claims (3)

1. 학습할 다수의 얼굴 이미지를 각각 동일하게 M개 이미지로 분할하고, 지역적 특징 기술자 추출을 통해 각 분할 이미지의 지역적 특징 기술자를 획득하는 (a)단계;
   상기 (a)단계에서 획득한 다수의 지역적 특징 기술자에 대하여 평균 및 분산을 계산하는 (b)단계;
   비교할 하나의 얼굴 이미지를 M개 이미지로 분할하고, 지역적 특징 기술자 추출을 통해 각 분할 이미지의 지역적 특징 기술자를 획득하는 (c)단계;
   상기 (a)단계에서 획득한 다수의 지역적 특징 기술자와 상기 (c)단계에서 획득한 다수의 지역적 특징 기술자 간의 거리를 계산하는 (d)단계;
   상기 (b)단계에서 계산된 평균 및 분산을 이용하여, 상기 각 학습할 얼굴 이미지의 M개로 분할된 이미지에 대한 각 가중치를 계산하는 (e)단계; 및
   상기 (d)단계에서 계산된 다수의 지역적 특징 기술자 간의 거리와 상기 (e)단계에서 계산된 각 가중치를 결합하여, 상기 학습할 얼굴 이미지와 상기 비교할 얼굴 이미지 간의 거리를 계산하는 (f)단계를 포함하는 것을 특징으로 하는 얼굴인식방법.
2. 제1항에 있어서,
   상기 (f)단계에서 상기 학습할 얼굴 이미지와 상기 비교할 얼굴 이미지 간의 거리 거리 계산은 하기 수학식에 의해 산출되는 것을 특징으로 하는 얼굴인식방법.
   

   

   
   여기서, I^tst는 비교할 얼굴 이미지, Iⁱ는 i번째 학습할 얼굴 이미지, m은 각 부분 영역 인덱스, w_m는 임의의 부분영역 가중치, d(·,·)는 L₁ norm 및 L₂ norm과 같은 거리계산함수,

   

   및

   

   는 비교할 이미지와 i번째 학습할 이미지의 m 부분영역에 대한 지역적 특징 기술자를 각각 의미한다.
3. 제1항에 있어서,
   상기 (a)단계 및 (c)단계의 지역적 특징 기술자 추출은 SIFT(Scale Invariant Feature Transform) 특징 추출방법 또는 Dens-SIFT 특징 추출방법을 통해 이루어지는 것을 특징으로 하는 얼굴인식방법.

Images