KR20100083570A - 얼굴 인식 방법 - Google Patents

Abstract

얼굴 인식 방법은 인식 대상의 얼굴을 다양한 각도에서 다수의 프레임들을 포함하는 동영상으로 촬영하고 상기 동영상을 구성하는 프레임들 중 적어도 둘 이상의 프레임들에 촬영된 얼굴을 등록하는 과정과, 등록된 얼굴들을 포즈를 추정하는 과정과, 포즈 추정된 얼굴을 인식하는 과정을 포함한다.

얼굴인식, 포즈추정, 얼굴등록

Description

얼굴 인식 방법{FACE RECOGNIZING METHOD}

본 발명은 카메라 또는 카메라가 내장된 휴대 단말기에 관한 발명으로서, 특히 촬영된 피사체의 영상 데이터에 포함된 얼굴을 인식하기 위한 방법에 관한 발명이다.

얼굴인식 프로그램은 오프라인 상에서의 프로그램과, 온라인 상에서의 프로그램으로 구분할 수 있다. 오프라인 상에서의 얼굴인식 프로그램은 오프라인 상에서 수집된 얼굴 데이터 베이스를 기본으로 얼굴의 특징을 추출할 수 있는 벡터 공간을 학습하고, 이를 바탕으로 인식 대상이 되는 사람들의 얼굴을 등록한다. 등록된 얼굴들은 미리 학습된 벡터 공간에 투영되어 특징 벡터 상태로 저장된다.

온라인 상에서의 얼굴인식 프로그램은 카메라로 촬영된 얼굴을 검출해서 전처리한 후 오프라인과 동일하게 학습된 벡터공간에 투영하여 특징 벡터를 추출한다. 추출된 특징벡터들은 기존에 등록된 얼굴들에 대한 특징벡터와 비교해서 최선의 얼굴이 선택될 수 있다.

얼굴인식 프로그램은 일반적으로 조명, 포즈 또는 표정 등의 외부요인 변화에 대한 인식률의 한계로 인해서 많은 제약이 따른다. 최근 들어 조명이 변화되는 환경에서는 다양한 전처리 기술의 발전으로 인해 극단적인 환경이 아닌 이상 인식률에 있어서 많이 향상되고 있다. 그러나, 아직까지도 서로 다른 포즈 또는 표정의 얼굴 인식은 열악한 성능을 보여주고 있다. 따라서 이러한 문제들을 해결하기 위해 대부분의 얼굴인식 프로그램들은 정면 포즈만으로 제한을 두는 실정이다.

최근 얼굴검출 기술의 발전으로 인해 다양한 표정의 얼굴들이 검출되며, 특히 표정 변화에 따른 얼굴인식 프로그램이 요구되고 있다. 포즈 또는 표정의 추정 방법은 표정에 따른 얼굴의 데이터베이스를 축적해서, 이를 통해 학습된 분류기를 사용하는 방법과 얼굴의 특징점을 얻어 이들의 기하학적 관계를 통해 추정하는 방법, 3차원 실린더 모델을 통해 추정하는 방법들이 주로 이용된다.

표정 변화 인식을 위한 종래의 얼굴인식 프로그램은 얼굴 등록의 방법을 고려하지 않는다. 즉, 표정에 따른 얼굴의 데이터가 이미 등록되어 있다고 가정하고 또한 표정에 따른 얼굴 인식기도 이미 학습되어 있다고 가정을 한다.

표정을 고려한 얼굴인식 프로그램들은 크게 정면 인식기를 사용하는 경우와, 표정별 인식기를 사용하는 경우로 구분할 수 있다. 전자의 경우 포즈를 추정한 후 영상의 얼굴을 3차원으로 모핑하여 정면 얼굴을 생성한 후 인식을 수행한다. 후자는 추정된 포즈와 미리 등록된 해당 포즈 데이터 베이스의 얼굴들을 비교하여 인식을 수행한다.

기존 표정을 추정하는 경우 특징점을 검출한 후 좌측면과 우측면의 얼굴 면적비를 이용하는 방법이 있지만 표정 각이 프로파일 뷰에 가까울수록 오차가 심해지는 단점이 있다.

실린더 모덱리반 포즈 추정방법은 3D 모델을 2D로 프로젝션시킨 후 워핑 파라미터를 추정하여 포즈를 계산해 내지만, 비용함수의 최소화를 위한 반복계산이 요구됨으로 실시간 어플리케이션에는 그 활용도가 떨어진다.

또한, 4개의 특징점을 검출하여 각 표정별 기준 영상의 동일 특징점의 회전 변환 유사도를 통해 표정을 추정하는 벙법도 있으나, 별도의 데이터베이스를 저장해야 하고 그 정확성도 떨어진다.

본 발명은 안면의 표정 변화에도 얼굴 인식이 가능한 얼굴 인식 방법을 제공하고자 한다.

본 발명에 따른 얼굴 인식 방법은,

인식 대상의 얼굴을 다양한 각도에서 다수의 프레임들을 포함하는 동영상으로 촬영하고 상기 동영상을 구성하는 프레임들 중 적어도 둘 이상의 프레임들에 촬영된 얼굴을 등록하는 과정과;

등록된 얼굴들을 포즈를 추정하는 과정과;

포즈 추정된 얼굴을 인식하는 과정을 포함한다.

본 발명은 얼굴 이식의 대상이 되는 사용자를 다양한 각도에서 촬영한 동영상을 구성하는 복수의 프레임들에 촬영된 사용자의 얼굴들로부터 다양한 특징을 추출함으로써 정확한 사용자의 얼굴 인식 및 등록이 가능하다.

이하에서는 첨부도면들을 참조하여 본 발명의 실시 예를 상세히 설명하기로 한다. 본 발명을 설명함에 있어서, 관련된 공지기능, 혹은 구성에 대한 구체적인 설명은 본 발명의 요지를 모호하지 않게 하기 위하여 생략한다.

본 발명에 따른 얼굴 인식 방법은 인식 대상의 얼굴을 다양한 각도에서 다수의 프레임들을 포함하는 동영상으로 촬영하고 상기 동영상을 구성하는 프레임들 중 적어도 둘 이상의 프레임들에 촬영된 얼굴을 등록하는 과정과, 등록된 얼굴들을 포즈를 추정하는 과정과, 포즈 추정된 얼굴을 인식하는 과정을 포함한다.

도 3은 본 발명에 다른 포즈 추정 방법을 설명하기 위한 순서도이다. 도 3을 참조하면, 상기 포즈 추정 방법은 각 프레임에 포함된 얼굴을 검출하는 과정(S31)과, 검출된 얼굴에 포함된 다수의 특징점들을 검출하는 과정(S32)과, 회전 보정 과정(S33)과, 정면 포즈의 여부를 확인하는 과정(S34)과, 인식된 얼굴의 표정이 얼굴 정면의 포즈가 아니라면 인식대상이 되는 얼굴 표정이 한계 표정인지의 여부를 확인하는 과정(S35)과, 포즈 방향 및 포즈를 추정하는 과정(S36,S37)을 포함한다.

상기 특징점들을 검출하기 위한 과정은 다음과 같이 설명될 수 있다. 얼굴의 포즈를 추정하는 과정은 도 4와 같이 4개의 노드와 8개의 에지로 구성된 그래프를 구성한다. 도 4에서 L은 좌측의 눈을 의미하고, R은 우축의 눈을 의미하며, N는 코를 의미하고, M은 입술을 의미하며, C는 L과 R 사이의 중간을 의미한다.

도 4와 같이 설계된 그래프를 바탕으로 한계 포즈(Margnal pose)를 초기화 한다. 한계 포즈는 도 4와 같이 눈과 입을 연결한 직선 위에 코가 위치된 경우로 정의하며, 통계적으로 100장의 3D 데이터를 분석해 본 바로는 도 5에 도시된 바와 같이 약 45도 정도로 포즈가 변화되었을 때 한계 포즈를 갖게 된다. 도 5는 코를 정면(도 4의 (a))으로 그 좌와 우의 한계 포즈를 설명하기 위해 도시한 도면이다.

통계 및 기하학적 얼굴 포즈의 추정 방법은 5개의 특징점의 좌표를 L(x_L,y_L), R(x_R,y_R), C(x_C,y_C), N(x_N,y_N),M(x_M,y_M)라고 정의한다. 우선, 카메라 축에 대한 얼굴의 회전을 보상하기 위해 두 눈을 연결한 에지 L_R의 수평선에 대한 기울기를 보정하며, 이 때의 기울어진 각도는 아래의 <수학식 1>과 같이 계산될 수 있다.

위의 <수학식 1>을 통해 하나의 회전 변환 행렬이 결정되고 이를 바탕으로 얼굴이 정규화될 수 있다. 이 때 5개의 특징점의 좌표 또한 변환 행렬에 의해 변화되는 데, 그들을 각각 L(x'L, y'L), R(x'R,y'R), C(x'C,y'C), N(x'N,y'N),M(x'M,y'M)로 정의한다. 정규화된 후 <수학식 2>를 통해 두 눈의 x좌표의 중점이 실제 검출된 중점 포인트와의 관계가 일정 문턱값(T_f) 이하면 정면 포즈이고 그렇지 않은 경우 정면 포즈가 아니라고 판단하다.

문턱값은 정면 포즈를 약 좌우방향 10도 정도를 포함하는 얼굴로 한정하고 통계적으로 구한 값을 사용한다.

얼굴이 정면이 아니라면 도면 6과 같이 한계 포즈에 대한 3가지 관계로 나타 낼 수 있다. 이를 판단하기 위해서 LN,NM 또는 선 RN,NM의 관계를 모델링한 아래의 <수학식 3>을 이용하고 그 값이 0보다 크거나 같은 경우에 대해서만 포즈 추정을 한다. 즉, 도 6에서처럼 좌측 뷰(view)인 경우 선 LM에 대한 직선의 식을 구하고 점 N이 선 상에 있을 경우(도 6의 (b)인 경우) 한계 포즈라 판단하고, 선의 외부 아래에 있는 경우(도 6의 (a)인 경우) 한계 포즈를 벗어난 것으로 판단할 수 있으며, 도 6의 (c)인 경우에는 한계 포즈 범위 내라고 판단할 수 있다.

도 6은 한계 포즈의 관계를 비교 설명하기 위한 도면으로서, <수학식 3>을 도 6과 비교해보면, 도 6의 (a)는 <수학식 3>의 함수(f(X'_N,Y'_N))가 0보다 작은 경우이고, 도 6의 (b)는 <수학식 3>의 함수(f(X'_N,Y'_N))가 0과 같은 경우로 정의될 수 있으며, 도 6의 (c)는 <수학식 3>의 함수(f(X'_N,Y'_N))가 0보다 작은 경우로 정의될 수 있다.

얼굴의 오른쪽 뷰(view)인지 또는 왼쪽 뷰인지는 아래의 <수학식 4>를 이용해서 LCN이 이루는 각이 둔각인지 또는 예각인지에 대한 판단으로부터 결정될 수 있다.

도 7은 도 2에 도시된 LNM을 도식적으로 설명하기 위한 도면이다. 도 7의 (a)는 0도인 경우이고, 도 7의 (b)는 한계 포즈인 경우이다. 최종적으로 추정된 포즈는 도 7에 의해 정의된 그래프의 관계를 통해 계산될 수 있다. 도 7의 (a)는 0도 인 경우로서, 포즈의 각도를 A0으로 정의하고, 한계 포즈의 각도를 A로 정의하고, 구하고자 하는 포즈의 각도를 A로 각각 정의한다. 이 경우에 두 눈과 코가 이루는 면 LRN의 면적에 대한 LCN의 면적 비를 구한다. 면적비를 각각 r0, rm, r이라 하면 아래의 <수학식 5>와 같은 조건식이 성립될 수 있다.

만약 포즈 변화가 위의 <수학식 5>에 면적비에 대해 선형적으로 변화한다고 가정하면, 아래의 <수학식 6>과 같이 포즈의 각도 A를 계산할 수 있다.

도 2는 본 발명에 따른 얼굴 인식 방법을 설명하기 위한 순서도이다. 도 2를 조하면, 상기 얼굴 인식 방법은 얼굴 인식의 대상이 되는 프레임에 촬영된 얼굴(S21)의 포즈를 분류하는 과정(S22)과, 포즈가 분류된 얼굴과 동일한 방향의 얼굴이 촬영된 프레임들을 비교하는 과정(S23)과, 포즈 분류된 얼굴과 동일한 방향의 얼굴이 촬영된 다른 프레임이 존재하지 않을 경우에 포즈 분류된 얼굴이 포함된 프레임을 미러링(mirring) 하는 과정(S26)과, 미러링 과정(S26)을 거친 영상을 데이터 베이스와 비교(S24)해서 얼굴을 인식하는 과정(S25)을 포함한다. 상술한 미러링은 다른 위치의 컴퓨터 또는 저장 수단에 복사하는 것으로서, 미러링은 백업(backup)이나 사용자에게 근접하기 위해 수행될 수 있다.

본 발명은 등록 대상인 사용자의 얼굴을 동영상 촬영을 하고, 동영상을 구성하는 다수의 프레임들에 촬영된 상을 얼굴 등록에 이용한다. 본 발명을 위한 동영상의 촬영은 최초의 촬영 포즈로서 정면으로부터 시작할 수 있다. 한계 포즈의 범위가 A도라고 가정했을 때 일정한 속도로 얼굴 인식 대상이 되는 사용자를 촬영하면서 상기된 근사적 포즈 추정 방법에 의해 A도가 추정되는 순간에 자동으로 촬영을 멈추는 것이 바람직하다.

도 1은 본 발명에 따른 얼굴 등록 방법을 설명하기 위한 순서도이다. 도 1을 참조하면, 얼굴 등록 방법은 얼굴 인식의 대상이 되는 피사체의 얼굴의 동영상의 촬영을 시작하는 과정(S11)과, 포즈를 초기화하는 과정(S12)과, 녹화 시작 과정(S13)과, 포즈를 인식하는 과정(S14)과, 한계 포즈의 여부를 판단하는 과정(S15)과, 녹화 종료 과정(S16)과, 촬영된 동영상에 포함된 프레임들로부터 다수(N)의 얼 굴을 추출하고 등록하기 위한 과정(S17)을 포함한다.

도 8은 본 발명에 따른 동영상과 프레임을 설명하기 위해 개략적으로 도시한 블록도이다. 도 8을 참조하면 얼굴 인식 대상의 피사체를 촬영한 동영상은 총 프레임들의 수가 F이고, 각 포즈 당 N장 씩의 프레임들을 등록한다면 몇몇 가정을 통해서 아래의 <수학식 6>과 <수학식 7> 같이 원하는 프레임들을 추출하여 얼굴의 특징 벡터들을 저장하게 된다.

통계적으로 100장의 3D 데이터를 분석해 본 바로는 약 45도 정도로 포즈가 변화되었을 때 더 이상의 촬영으로 얻어진 데이터가 불필요해지는 한계 포즈에 도달될 수 있다. 45도의 약수(3도, 5도, 9도, 15도) 간격의 프레임들을 얼굴 인식 및 등록을 위한 데이터로 이용할 수 있다. 포즈당 추출하는 프레임 수는 홀수개(예, 3, 5, 7장 등)로 설정될 수 있으나, 짝수개의 프레임들로 하나의 포즈 추출에 이용될 수 있다. 동영상 촬영의 최초시작과 한계 포즈를 등록 시에는 처음과 마지막의 연속된 다수의 프레임들을 이용한다.

본 발명에 따른 얼굴 인식 및 등록 방법에 대한 구체적인 수치적 예를 들자면, 총 100장의 프레임을 갖는 동영상을 갖는 동영상을 이용해서 각 포즈당 3 장씩을 저장하기 위한 본 발명에 따른 얼굴 인식 및 등록 방법은 대상자의 정면 얼굴 등록을 위해서 동영상의 최초 첫번째 프레임으로부터 연달은 3번째 프레임들이 이용될 수 있고, 한계 포즈를 위해서는 98 내지 100번째 프레임들이 등록에 이용될 수 있다. 이 때, 2번째와 99번째 프레임과 같이 하나의 포즈에 대해 등록된 프레임들 중 중간에 있는 프레임이 중심 프레임으로 정의될 수 있다. 다만, 등록시 해당 프레임에 대해 얼굴 검출이 불가능한 프레임은 얼굴 인식 및 등록에서 배제할 수 있다.

위의 도 8에 도시된 프레임들의 집합을 R1, R2,... Rt+1이라 하고, 스킵(Skip)될 프레임들의 집합을 S1,S2,... St로 정의할 수 있다. 스킵(skip) 프레임 집합의 갯수 t는 아래의 <수학식 7>과 같이 정의될 수 있다.

(ㅇ=3,5,9,15)

위의 <수학식 7>에서 d는 포즈의 간격을 의미하고, 총 촬영 프레임의 수 F는 아래의 <수학식 8>과 같이 정의될 수 있다.

도 9는 본 발명의 또 다른 실시 예에 따른 얼굴 인식 방법을 설명하기 위한 순서도이다. 추출될 프레임이 결정되면 그 영상으로부터 얼굴 영역을 검출하고 눈을 검출한 후 정규화(S41)하여 인식공간에 투영한 후 그 특징들을 벡터화(S44, S47)한다. 하나의 얼굴이 입력되면 근사적인 포즈를 추정(S42)하여 등록된 데이터 베이스에 저장된 데이터들(포즈들)과 대비해서 가장 가까운 데이터와 그의 전후 포즈의 데이터를 비교(S43)해서 얼굴 인식(S46)을 수행할 수 있다.

도 1은 본 발명에 따른 얼굴 등록 방법을 설명하기 위한 순서도,

도 2는 본 발명에 따른 얼굴 인식 방법을 설명하기 위한 순서도,

도 3은 본 발명에 따른 포즈 추정 방법을 설명하기 위한 순서도,

도 4 내지 도 7은 얼굴의 특징점 추출을 설명하기 위한 도면들,

도 8은 본 발명에 따른 동영상과 프레임을 설명하기 위해 개략적으로 도시한 블록도,

도 9는 본 발명의 또 다른 실시 예에 따른 얼굴 인식 방법을 설명하기 위한 순서도.

Claims (5)

1. 얼굴 인식 방법에 있어서,

   인식 대상의 얼굴을 다양한 각도에서 다수의 프레임들을 포함하는 동영상으로 촬영하고 상기 동영상을 구성하는 프레임들 중 적어도 둘 이상의 프레임들에 촬영된 얼굴을 등록하는 과정과;

   등록된 얼굴들을 포즈를 추정하는 과정과;

   포즈 추정된 얼굴을 인식하는 과정을 포함함을 특징으로 하는 얼굴 인식 방법.
2. 제1 항에 있어서, 얼굴의 포즈를 추정하는 과정은,

   각 프레임에 포함된 얼굴을 검출하는 과정과;

   검출된 얼굴에 포함된 다수의 특징점들을 검출하는 과정과;

   회전 보정 과정과;

   정면 포즈의 여부를 확인하는 과정과;

   인식된 얼굴의 표정이 얼굴 정면의 포즈가 아니라면 인식대상이 되는 얼굴 표정이 한계 표정인지의 여부를 확인하는 과정을 포함함을 특징으로 하는 얼굴 인식 방법.
3. 제1 항에 있어서, 상기 얼굴 등록 과정은,

   촬영된 동영상의 프레임에 포함된 얼굴이 한계 포즈인지를 판단하는 과정과;

   한계 포즈를 판단하는 과정에서 한계 포즈라면 동영상의 촬영을 종료하는 과정과;

   상기 동영상에 포함된 다수의 프레임들을 등록하고 촬영된 얼굴을 추출하는 과정을 포함함을 특징으로 하는 얼굴 인식 방법.
4. 제3 항에 있어서, 상기 얼굴 인식 과정은,

   얼굴 인식의 대상이 되는 프레임에 촬영된 얼굴의 포즈를 분류하는 과정과;

   포즈 분류된 얼굴과 동일한 방향의 얼굴이 촬영된 프레임들을 비교하는 과정을 포함함을 특징으로 하는 얼굴 인식 방법.
5. 제4 항에 있어서, 상기 얼굴 인식 과정은,

   포즈 분류된 얼굴과 동일한 방향의 얼굴이 촬영된 다른 프레임이 존재하지 않을 경우에 포즈 분류된 얼굴이 포함된 프레임을 미러링 하는 과정을 더 포함함을 특징으로 하는 얼굴 인식 방법.

Images