KR100917178B1 - 컬러 얼굴 데이터 텐서 분해와 슬라이스 선택을 이용한특징점 추출 방법 - Google Patents

Abstract

본 발명에 의한 컬러 얼굴 이미지 데이터 텐서 분해와 슬라이스 선택 방법을 이용한 특징점 추출 방법은, 칼라 얼굴 이미지 데이터로부터 4차원 큐브 텐서를 구성하는 단계; 상기 4차원 큐브 텐서를 분해하여, 큰 규모의 3차원 큐브의 행렬을 작은 규모의 3차원 큐브의 행렬로 투영시키는 단계; 및 투영되어 산출된 3차원 큐브의 최적화된 특징점 텐서의 슬라이스 중에서 조명 변화에 강인한 세 번째 슬라이스를 특징점으로 선택하는 단계;를 포함함을 특징으로 한다.

본 발명에 의하면, 해당 컬러 얼굴 이미지 데이터에 대한 4차원 큐브 텐서를 분해하여, 큰 규모의 3차원 큐브의 행렬을 작은 규모의 3차원 큐브의 행렬로 투영시키고 최적화된 특징점 텐서의 슬라이스 중에서 조명에 강인한 세 번째 슬라이스를 선택하여 특징점을 추출함으로써, 학습 얼굴 이미지의 개수가 적은 경우에도 안정적으로 조명 변화에 강인한 특징점을 추출할 수 있다.

Description

컬러 얼굴 데이터 텐서 분해와 슬라이스 선택을 이용한 특징점 추출 방법{Method for extracting distinctive feature using color face image data tensor factorization and slicing}

본 발명은 조명 변화에 강인한 얼굴인식 방법에 관한 것으로서, 보다 상세하게는 컬러 얼굴 데이터 텐서 분해와 슬라이스 선택을 통해 조명 변화에 덜 민감한 특징점을 추출하는 방법에 관한 것이다.

정보화 사회가 발달함에 따라 사람을 식별하기 위한 신분 확인 기술이 중요해지고 있으며, 컴퓨터를 이용한 개인의 정보 보호 및 신분 확인을 위해 인체 특징을 이용하는 생체 인식 기술이 많이 연구되고 있다. 생체 인식 기술 중에서도 얼굴 인식 기술은, 지문 인식, 홍채 인식 등 사용자의 특별한 동작이나 행위를 요구하는 인식 기술과 달리, 비접촉식으로 사용자의 신분을 확인할 수 있기 때문에 인식 대상자의 거부감을 사전에 방지할 수 있다는 장점을 가지고 있다.

그러나 얼굴 인식은 동일성, 나이, 인종, 표정, 장신구 등의 내적 환경 변화나, 포즈, 외부 조명, 이미지 프로세스 등의 외적 환경 변화에 따라서 그 인식 결과가 민감하게 달라지는 특성이 있다. 특히, 외부 조명 변화는 얼굴 인식에 있어 서, 매우 빈번하게 발생하는 장애 요소이므로, 이러한 외부 조명 변화에 강인한 알고리즘을 개발하는 것은 매우 중요하다.

얼굴 인식 과정은 크게 먼저 얼굴에서 특징점을 추출하는 과정과 그 특징점을 이용하여 분류를 하는 과정으로 나뉠 수 있다. 특징점을 추출하는 방법으로는 행렬 분해를 이용하여 고차원의 얼굴 이미지 데이터들을 저차원 공간의 데이터로 투영시키는 방법들이 주를 이우고 있다. 주성분 분석 방법 (Principal Component Analysis, PCA), 독립 성분 분석 방법 (Independent Component Analysis, ICA), 선형 분류 분석 방법 (Linear Discrimination Analysis, LDA) 및 비음수 행렬 분해 방법 (Nonnegative Matrix Factorization, NMF) 등이 대표적으로 사용된다. 특징점을 이용하여 얼굴을 분류하는 방법으로는, 기존의 저장되어 있던 얼굴 데이터의 특징점과 새로 인식하고자 하는 얼굴의 특징점 사이의 유클리디안 거리를 직접 비교하는 최근접 이웃분석법 (K-nearst neighborhood) 분류기, 신경망 (Neural netwok), SVM (Support Vector Machine) 등이 많이 사용되고 있다.

도 1은 종래의 행렬 분해 방법을 적용하기 위한 전처리 과정을 설명하기 위한 도면이다.

도 1에 도시된 바와 같이 행렬 분해에 기반한 종래의 특징점 추출 방법은 3차원 큐브 구조를 가지는 얼굴 이미지를 1차원 벡터로 변환한 뒤, 이들을 모아 2차원 행렬을 구성한 뒤, 이를 분해함으로써 특징점을 추출하였다. 즉 얼굴 이미지 데이터가 큰 규모의 벡터로 표현된 뒤, 행렬 분해를 거쳐 작은 규모의 벡터로 투영된다.

이러한 종래의 행렬 분해를 이용한 특짐정 추출 방법들은 두 가지 문제점을 가지고 있다.

첫째, 특징점 추출에 있어서 조명 변화에 민감하며, 특히 얼굴 이미지의 픽셀 값의 변화는 사람 자체가 바뀌는 것보다 조명이 바뀌는 것에 더 큰 영향을 받는다. 하지만 종래의 특징점 추출 방법은 이러한 조명의 변화에 대한 어떠한 보상도 고려되어 있지 않고 있다.

둘째, 학습 데이터가 적을 경우, 학습 데이터에 크게 편향된다. 행렬 분해에 기반한 특징점 추출 방법을 적용하기 위해서는 얼굴 이미지 데이터가 1차원 벡터로 표현되어야 한다. 원래 얼굴 이미지 데이터는 가로, 세로, RGB로 구성된 3차원 큐브 형태이지만, 도 1에 도시된 바와 같이 컬러 영상을 흑백 영상으로 전환한 뒤, 차원이 아주 큰 벡터로 변환시키게 된다. 그러나, 이 과정에서 컬러 정보가 손실되고, 2차원 구조가 깨지며, 결과적으로 학습에 필요한 파라미터 수는 급격하게 늘어나는 문제점이 있었다.

또한, 통상적으로 학습에 필요한 파라미터가 늘어날수록, 학습에 필요한 데이터의 양도 급격하게 늘어나게 된다. 만약 충분한 양의 학습 데이터가 주어지지 않을 경우, 학습 데이터에 지나치게 편향된 파라미터가 산출된다. 즉 새로 테스트하고자 하는 데이터에 적합하지 않는 파라미터가 구해지는 문제점이 있었다.

본 발명의 과제는 컬러 얼굴 데이터에 대한 텐서를 분해를 하여 투영된 3차 원 특징점 텐서에서 가장 조명 변화에 강인한 슬라이스를 선택하여, 학습 얼굴 이미지의 개수가 적은 경우에도 안정적으로 조명 변화에 강인한 특징점을 추출할 수 있는 컬러 얼굴 데이터 텐서 분해와 슬라이스 선택 방법을 이용한 특징점 추출 방법을 제공하는 데 있다.

본 발명의 과제를 달성하기 위한 컬러 얼굴 이미지 데이터 텐서 분해와 슬라이스 선택 방법을 이용한 특징점 추출 방법은,

칼라 얼굴 이미지 데이터로부터 4차원 큐브 텐서를 구성하는 단계;

상기 4차원 큐브 텐서를 분해하여, 큰 규모의 3차원 큐브의 행렬을 작은 규모의 3차원 큐브의 행렬로 투영시키는 단계; 및

투영되어 산출된 3차원 큐브의 최적화된 특징점 텐서의 슬라이스 중에서 조명 변화에 강인한 세 번째 슬라이스를 특징점으로 선택하는 단계;를 포함함을 특징으로 한다.

또한, 상기 4차원 큐브 텐서의 원소는 X_ijkl로 나타내며 i, j는 각각 얼굴 이미지의 가로 사이즈와 세로 사이즈, k는 색상 채널, l은 얼굴 이미지의 해당 번째의 샘플을 나타내는 인덱스임을 특징으로 한다.

또한, 상기 3차원 큐브로 투영하는 단계는 상기 칼라 얼굴 이미지 데이터를 가로, 세로, 색상 방향의 행렬과 승산함으로써 작은 사이즈의 3차원 특징점 데이터로 투영시키는 단계임을 특징으로 한다.

또한, 상기 가로, 세로, 색상 방향의 행렬과 특징점 텐서는 다음 수학식으로부터 최적화되어 산출됨을 특징으로 한다.

여기서, X_ijkl은 얼굴 이미지 데이터의 텐서, A, B, C는 각각 얼굴 이미지에서 가로 방향과, 세로 방향, 색상 방향의 투영을 나타내는 행렬이며, G는 투영된 특징점, p, q, r은 각각 특징점 텐서의 가로, 세로, 색상채널을 나타내는 인덱스이다.

또한, 상기 투영 행렬, A, B, C와 특징점 텐서 G의 각각의 최적화는 Alternating Least Squares 방법을 사용하여 산출함을 특징으로 한다.

본 발명에 의하면 컬러 얼굴 이미지 데이터를 벡터화하지 않고 해당 컬러 얼굴 이미지 데이터에 대한 4차원 큐브 텐서를 분해하여, 큰 규모의 3차원 큐브의 행렬을 작은 규모의 3차원 큐브의 행렬로 투영시키고 최적화된 특징점 텐서의 슬라이스 중에서 조명에 강인한 세 번째 슬라이스를 선택하여 특징점을 추출함으로써, 학습 얼굴 이미지의 개수가 적은 경우에도 안정적으로 조명 변화에 강인한 특징점을 추출할 수 있다.

이하, 첨부 도면을 참조하여 본 발명의 바람직한 실시예를 설명하기로 한다.

(1) 컬러 얼굴 이미지 데이터 텐서 구성

일반적으로 행렬의 원소를 표현할 때에는 가로, 세로 두 개의 인덱스가 필요하며, 텐서란 원소의 개수를 표현하는데 필요한 인덱스의 개수라는 관점에서 행렬을 일반화한 것이다. 즉 텐서의 원소를 표현하기 위해서는 두 개 이상의 인덱스가 필요하게 된다. 예컨대, 3차원 텐서는 3개의 인덱스, 4차원 텐서는 4개의 인덱스가 필요하며, 일반적인 N차원 텐서의 원소는 다음 수학식 1과 같이 표현된다.

컬러 얼굴 이미지 한 장을 나타내기 위해서는 가로, 세로, RGB 채널 3개의 인덱스가 필요하고, 전체 컬러 얼굴 데이터를 표현하기 위해서는 샘플에 해당하는 4번째 인덱스가 추가된다.

4개의 인덱스가 추가시킴에 따라, 컬러 얼굴 데이터는 4차원 텐서로 표현되며, 표 1은 본 발명에서 사용하는 컬러 얼굴 데이터 4차원 텐서의 원소가 의미하는 것을 나타낸 것이다.

4차원 텐서의 원소	의미
Xij1l	l번째 이미지의 가로 i번째, 세로 j번째 픽셀에서 빨간색 채널의 값
Xij2l	l번째 이미지의 가로 i번째, 세로 j번째 픽셀에서 초록색 채널의 값
Xij3l	l번째 이미지의 가로 i번째, 세로 j번째 픽셀에서 파란색 채널의 값

(2) 텐서 분해

텐서 분해는 가로, 세로, 색상 채널 각각의 방향에 대해 주성분 분석을 동시에 가능하게 한다. 따라서 각각의 방향에 대한 주성분 분석 결과를 이용해 가로, 세로 방향의 기하학적인 정보는 남아있되, 색상 변화는 최소화된 특징점 추출이 가능하며, 이 특징점이 바로 조명 변화에 강인한 특징점이 된다.

도 2에 도시된 바와 같이 3차원 컬러 이미지 데이터(20)가 가로, 세로, 색상 방향의 행렬과의 곱을 통해 작은 규모의 3차원 특징점 데이터로 투영됨을 알 수 있다. 여기서 최적화된 가로, 세로, 색상 방향의 행렬과 특징점 텐서는 수학식 2로부터 산출된다.

수학식 2에서 A는 가로 방향의 투영, B는 세로 방향의 투영, C는 색상 방향의 투영을 나타내는 행렬이고, G는 투영된 특징점 텐서를 나타낸다. 표 2는 수학식 2의 요소들에 대한 자세한 설명이다.

요소	설명
I	얼굴 이미지의 가로 사이즈
J	얼굴 이미지의 세로 사이즈
3	색상 채널의 수 (빨간색, 초록색, 파란색)
L	얼굴 이미지 샘플의 개수
i	얼굴 이미지의 가로를 나타내는 인덱스
j	얼굴 이미지의 세로를 나타내는 인덱스
k	얼굴 이미지의 색상 채널을 나타내는 인덱스
l	얼굴 이미지의 샘플을 나타내는 인덱스
P	특징점 텐서의 가로 사이즈. P << I (예: P=5, I=100)
Q	특징점 텐서의 세로 사이즈. Q << J (예: Q=5, J=100)
p	특징점 텐서의 가로를 나타내는 인덱스
q	특징점 텐서의 세로를 나타내는 인덱스
r	특징점 텐서의 색상 채널을 나타내는 인덱스
Xijkl	l번째 얼굴 이미지 샘플의 I번째 가로, j번째 세로 픽셀에서 k번째 채널의 값
Gpqrl	l번째 얼굴 이미지 샘플과 연관된 특징점 텐서의 p번째 가로, q번째 세로 픽셀에서 r번째 채널의 값

투영 행렬(Projection Matrix) A, B, C는 orthogonal(직교) 행렬로 제한된다. 이렇게 행렬 A, B, C를 직교 행렬로 제한을 하더라도, 최소 자승법 (least squares methods)의 특성상, A, B, C를 직교 행렬로 제한하지 않았을 때의 최소값과 동일한 값을 얻을 수 있다.

투영 행렬 A, B, C가 직교 행렬일 경우,4차원 텐서의 원소 X_ijkl 과 G_pqrl 사이에는 수학식 3과 같은 관계가 성립한다.

일반적인 최적화 문제와 마찬가지로 수학식 2의 해, A, B, C, G를 직접 구하는 해법은 존재하지 않는다.

따라서, 반복적으로 근사하는 방법을 통해 투영 행렬 A, B, C, G를 구할 수 있으며, 수학식 2와 같은 타입의 문제의 해를 구하기 위해서는 이 분야에서 통상적 으로 적용되는 Alternating Least Squares (ALS)라는 방법을 사용한다.

도 3은 본 발명에 의한 텐서 분해에 사용되는 최적화 기법을 설명하기 위한 흐름도로서, ALS 방법을 이용하여 수학식 2의 해를 얻는 과정을 나타낸다.

도 3에서, 투영 행렬 A, B, C와 특징점 텐서 G를 차례대로 번갈아 가면서 최적화시키는 과정을 각각의 최적화하여 산출된 값이 수렴될 때까지 반복 수행한다(300 내지 316 단계). 310 단계에서 투영 행렬 B, C, G가 고정된 상태에서 투영 행렬 A를 최적화시키기 위해서는 다음 3단계의 과정으로 처리된다.

1 단계는 Y의 원소는 수학식 4와 같이 정의되는 4차원 텐서 Y를 구성한다.

2 단계는 4차원 텐서 Y를 2차원 행렬 W로 변환한다. 이때, 행렬 W는 텐서 Y의 원소들을 재배열한 것으로서, W의 원소는 수학식 5와 같이 정의된다.

3 단계에서는 투영 행렬 A를 WW^T의 가장 큰 P개의 고유벡터 (eigen vector)로 구성한다.

투영 행렬 A, C, G가 고정된 상태에서 투영 행렬 B를 최적화 시키는 방법, 투영 행렬 A, B, G가 고정된 상태에서 C를 최적화시키는 문제 역시 상술된 방법과 비슷한 방법으로 해결할 수 있다. A, B, C가 고정된 상태에서 G를 최적화시키는 문제는 투영 행렬 A, B, C가 직교 행렬이기 때문에, 수학식 3과 같이 바로 해를 구할 수 있다.

(3) 투영된 3차원 특징점 텐서에서 세 번째 (마지막) 슬라이스를 특징점으로 선택

상기 WW^T는 얼굴 이미지들의 가로 방향에 대한 공분산 행렬로 해석할 수 있다. 즉 투영 행렬 A는 얼굴 이미지의 가로 방향에 대한 공분산 행렬에 주성분 분석 방법 (PCA)이 적용된 결과로 볼 수 있다. 마찬가지로 투영 행렬 B는 세로 방향에 대해서, 투영 행렬 C는 색상 채널 방향에 대해 주성분 분석 방법이 적용된 결과로 볼 수 있다. 투영 행렬 A와 B는 가로, 세로 방향에 대한 변화, 즉 얼굴 이미지의 기하학적인 변화에 대한 정보를 가지고 있는 것이다.

반면 투영 행렬 C는 색상 변화에 대한 정보를 가지고 있다. 조명 변화가 심해지면, 같은 사람의 얼굴로부터 촬상된 이미지라도 색상의 변화가 심하게 나타낸다. 주성분 분석 방법 (PCA)의 특징에 따라, 투영 행렬 C의 첫 번째 열은 색상 변화가 가장 크게 나타내는 축을 나타내고, C의 세 번째 (마지막) 열은 색상 변화가 가장 작게 나타나는 축을 나타낸다. C의 첫 번째, 두 번째 열은 사용하지 않고, 세 번째 열만을 사용함으로써 조명 변화로 인해 생기는 색상의 변화에 영향을 가장 적게 받는 특징점을 얻을 수 있다.

도 3의 흐름도에서 최적화된 특징점 텐서가 산출되면, 특징점 텐서에서 3번 째 슬라이스 즉, 투영 행렬 A와 B, 그리고 C의 세 번째 열에 의해 투영되어 얻어진 조명 변화에 강인한 특징점 (G_pq3l)은 도 2에서 세 번째 슬라이스(22)를 선택함으로써 이루어진다.

이러한 텐서 분해와 슬라이스를 이용하는 방법은 조명 변화에 강인한 특징점 추출이 가능할 뿐만 아니라 투영 행렬에 필요한 파라미터의 개수를 줄여 학습 얼굴 이미지가 적을 경우에 발생할 수 있는 over-fitting 문제를 해결할 수 있다.

예컨대, 얼굴 이미지 데이터를 흑백 벡터 형태로 변환하여 주성분 분석 방법(eigenface)과 같은 행렬 분해를 적용하여 특징점 텐서에서 PQ개의 특징점을 추출할 경우에는 투영 행렬을 위해 필요한 파라미터의 개수는 표 2에서 인덱스를 참조하면 IJPQ개이다.

그러나 텐서분해와 슬라이스 방법을 사용할 경우의 파라미터 개수는 IP+JQ+3개가 된다. 예컨대, 가로 크기(i) 100, 세로 크기(j) 100인 얼굴 이미지에서 25개의 특징점을 추출한다면, 특징점 텐서를 적용할 경우 (P=5,Q=5) 텐서 분해에 필요한 파라미터의 개수는 행렬 분해에 필요한 파라미터 개수의 0.4%에 불과하여, 종래의 방법에 비교하여 파라미터가 매우 적게 요구됨을 알 수 있다.

이상 본 발명의 바람직한 실시예에 대하여 상세히 기술하였지만, 본 발명이 속하는 기술분야에 있어서 통상의 지식을 가진 사람이라면, 첨부된 청구 범위에 정의된 본 발명의 정신 및 범위를 벗어나지 않으면서 본 발명을 여러 가지로 변형 또는 변경하여 실시할 수 있음을 알 수 있을 것이다. 따라서 본 발명의 앞으로의 실 시예들의 변경은 본 발명의 기술을 벗어날 수 없을 것이다.

도 1은 종래의 행렬 분해 방법을 적용하기 위한 전처리 과정을 설명하기 위한 도면이다.

도 2는 본 발명에 의한 텐서 분해와 슬라이스 선택을 이용해 얼굴에서 조명 변화에 강인한 특징점을 추출하는 방법을 설명하기 위한 도면이다.

도 3은 본 발명에 의한 텐서 분해에 사용되는 최적화 기법을 설명하기 위한 흐름도이다.

Claims (5)

1. 칼라 얼굴 이미지 데이터로부터 4차원 큐브 텐서를 구성하는 단계;

   상기 4차원 큐브 텐서를 분해하여, 큰 규모의 3차원 큐브의 행렬을 작은 규모의 3차원 큐브의 행렬로 투영시키는 단계; 및

   투영되어 산출된 3차원 큐브의 최적화된 특징점 텐서의 슬라이스 중에서 조명 변화에 강인한 세 번째 슬라이스를 특징점으로 선택하는 단계;를 포함함을 특징으로 하는 컬러 얼굴 이미지 데이터 텐서 분해와 슬라이스 선택 방법을 이용한 특징점 추출 방법.
2. 제 1항에 있어서, 상기 4차원 큐브 텐서의 원소는 X_ijkl로 나타내며 i, j는 각각 얼굴 이미지의 가로 사이즈와 세로 사이즈, k는 색상 채널, l은 얼굴 이미지의 해당 번째의 샘플을 나타내는 인덱스임을 특징으로 하는 컬러 얼굴 이미지 데이터 텐서 분해와 슬라이스 선택 방법을 이용한 특징점 추출 방법.
3. 제 1항에 있어서, 상기 3차원 큐브로 투영하는 단계는 상기 칼라 얼굴 이미지 데이터를 가로, 세로, 색상 방향의 행렬과 승산함으로써 작은 사이즈의 3차원 특징점 데이터로 투영시킴을 특징으로 하는 컬러 얼굴 이미지 데이터 텐서 분해와 슬라이스 선택 방법을 이용한 특징점 추출 방법.
4. 제 3항에 있어서, 상기 가로, 세로, 색상 방향의 행렬과 특징점 텐서는 다음 수학식

   

   으로부터 최적화되어 산출되며,

   여기서, X_ijkl은 얼굴 이미지 데이터의 텐서, A, B, C는 각각 얼굴 이미지에서 가로 방향과, 세로 방향, 색상 방향의 투영 행렬이며, G는 투영된 특징점, p, q, r은 각각 특징점 텐서의 가로, 세로, 색상채널을 나타내는 인덱스임을 특징으로 하는 컬러 얼굴 이미지 데이터 텐서 분해와 슬라이스 선택 방법을 이용한 특징점 추출 방법.
5. 제 4항에 있어서, 상기 투영 행렬, A, B, C와 특징점 텐서 G의 각각의 최적화는 Alternating Least Squares 방법을 사용하여 산출함을 특징으로 하는 컬러 얼굴 이미지 데이터 텐서 분해와 슬라이스 선택 방법을 이용한 특징점 추출 방법.

Images