KR101877683B1

KR101877683B1 - 학습을 이용한 얼굴 인식 장치 및 방법

Info

Publication number: KR101877683B1
Application number: KR1020170104596A
Authority: KR
Inventors: 이상윤; 배한별; 전태재; 도진경
Original assignee: 연세대학교 산학협력단
Priority date: 2017-08-18
Filing date: 2017-08-18
Publication date: 2018-07-12
Also published as: WO2019035544A1

Abstract

학습을 이용한 얼굴 인식 장치 및 방법이 개시된다. 개시된 장치는 입력 영상이 입력되는 입력부; 상기 입력된 영상에서 얼굴 영역을 검출하는 얼굴 검출부; 상기 검출된 얼굴 영역에 히스토그램 평활화를 수행하는 히스토그램부; 상기 검출된 얼굴 영역에 이미지 조정을 수행하는 이미지 조정부; 상기 검출된 얼굴 영역에서 얼굴을 인식하는 다수의 제1 얼굴 인식부; 상기 히스토그램 평활화가 수행된 얼굴 영역에서 얼굴을 인식하는 제2 얼굴 인식부; 상기 이미지 조정이 수행된 얼굴 영역에서 얼굴을 인식하는 제3 얼굴 인식부; 및 상기 다수의 제1 얼굴 인식부와 제2 얼굴 인식부 및 제3 얼굴 인식부의 얼굴 인식 결과를 취합하여 과반수 이상이 인식한 얼굴을 인식된 얼굴로 결정하는 얼굴 결정부를 포함하되, 상기 다수의 제1 얼굴 인식부와 제2 얼굴 인식부 및 제3 얼굴 인식부는 합성곱 신경망을 이용하여 학습되어 있는 것을 특징으로 한다. 개시된 장치에 따르면, 조명 변화에 강인한 장점이 있다.

Description

학습을 이용한 얼굴 인식 장치 및 방법{Face Recognition Apparatus and Method Using Learning}

본 발명은 학습을 이용한 얼굴 인식 장치 및 방법에 관한 것이다.

얼굴 인식 기술은 다양한 분야에서 활용되어 오고 있으며, 그 중 많이 쓰이는 방식은 새로 입력된 얼굴 영상이 미리 등록된 특정 얼굴과 동일한지 아닌지를 판단하는 인증 방식이다.

근래에는 동일한 얼굴을 인식해 내는 방법으로 각 얼굴의 다양한 샘플 영상으로 미리 신경망을 훈련시킨 뒤 훈련된 신경망을 이용하여 입력 영상의 얼굴을 인식하는 학습을 이용한 방법을 사용하고 있다.

그러나 다수의 샘플 영상으로 학습된 신경망을 사용하더라도 얼굴 인식의 성능은 조명의 변화에 대해 민감하여 환경의 영향을 많이 받게 되는 문제점이 있다.

상기한 바와 같은 종래기술의 문제점을 해결하기 위해, 본 발명은 조명 변화에 강인한 얼굴 인식 장치 및 방법을 제공한다.

상기한 목적을 달성하기 위해 본 발명의 바람직한 실시예에 따르면, 입력 영상이 입력되는 입력부; 상기 입력된 영상에서 얼굴 영역을 검출하는 얼굴 검출부; 상기 검출된 얼굴 영역에 히스토그램 평활화를 수행하는 히스토그램부; 상기 검출된 얼굴 영역에 이미지 조정을 수행하는 이미지 조정부; 상기 검출된 얼굴 영역에서 얼굴을 인식하는 다수의 제1 얼굴 인식부; 상기 히스토그램 평활화가 수행된 얼굴 영역에서 얼굴을 인식하는 제2 얼굴 인식부; 상기 이미지 조정이 수행된 얼굴 영역에서 얼굴을 인식하는 제3 얼굴 인식부; 및 상기 다수의 제1 얼굴 인식부와 제2 얼굴 인식부 및 제3 얼굴 인식부의 얼굴 인식 결과를 취합하여 과반수 이상이 인식한 얼굴을 인식된 얼굴로 결정하는 얼굴 결정부를 포함하되, 상기 다수의 제1 얼굴 인식부와 제2 얼굴 인식부 및 제3 얼굴 인식부는 합성곱 신경망을 이용하여 학습되어 있는 것을 특징으로 하는 학습을 이용한 얼굴 인식 장치가 제공된다.

상기 얼굴 검출부는 3단계의 합성곱 신경망을 이용하여 학습되어 있는 것을 특징으로 한다.

상기 다수의 제1 얼굴 인식부와 제2 얼굴 인식부 및 제3 얼굴 인식부의 합성곱 신경망은 레퍼런스 영상의 얼굴의 특징 벡터를 추출하여 동일한 얼굴의 특징 벡터간 거리값을 입력값으로 하여 학습되어 있는 것을 특징으로 한다.

상기 다수의 제1 얼굴 인식부의 개수는 3개인 것을 특징으로 한다.

상기 히스토그램 평활화는 영상의 각 픽셀의 밝기 값의 누적 분포 값을 정규화한 후 최대 밝기 값을 곱하여 수행되는 것을 특징으로 한다.

상기 이미지 조정은 영상의 픽셀 중 밝기 값이 상위 1%인 픽셀은 최대 밝기로 맵핑하고, 밝기 값이 하위 1%인 픽셀은 최소 밝기로 맵핑하며, 그 외 픽셀은 히스토그램 평활화를 이용하여 상기 최대 밝기와 상기 최소 밝기 사이에 맵핑하여 수행되는 것을 특징으로 한다.

또한, 본 발명의 다른 실시예에 따르면, (a)입력 영상이 입력되는 단계; (b)상기 입력된 영상에서 얼굴 영역을 검출하는 단계; (c)상기 검출된 얼굴 영역에 히스토그램 평활화를 수행하는 단계; (d)상기 검출된 얼굴 영역에 이미지 조정을 수행하는 단계; (e)사전에 학습된 다수의 제1 합성곱 신경망을 이용하여 상기 검출된 얼굴 영역에서 얼굴을 인식하는 단계; (f)사전에 학습된 제2 합성곱 신경망을 이용하여 상기 히스토그램 평활화가 수행된 얼굴 영역에서 얼굴을 인식하는 단계; (g)사전에 학습된 제3 합성곱 신경망을 이용하여 상기 이미지 조정이 수행된 얼굴 영역에서 얼굴을 인식하는 단계; 및 (h)상기 다수의 제1 합성곱 신경망과 제2 합성곱 신경망 및 제3 합성곱 신경망의 얼굴 인식 결과를 취합하여 과반수 이상이 인식한 얼굴을 인식된 얼굴로 결정하는 단계를 포함하는 것을 특징으로 하는 학습을 이용한 얼굴 인식 방법이 제공된다.

본 발명은 조명 변화에 강인한 장점이 있다.

도 1은 합성곱 신경망 알고리즘을 설명하기 위한 도면이다.
도 2는 합성곱 신경망의 컨벌루션 방법을 설명하기 위한 도면이다.
도 3은 합성곱 신경망의 다운 샘플링 방법을 설명하기 위한 도면이다.
도 4는 본 발명의 바람직한 일 실시예에 따른 얼굴 인식 학습 과정을 설명하기 위한 도면이다.
도 5는 본 발명의 바람직한 일 실시예에 따른 학습을 이용한 얼굴 인식 과정을 설명하기 위한 도면이다.
도 6은 본 발명의 바람직한 일 실시예에 따른 얼굴 인식 학습 장치의 구조도이다.
도 7은 본 발명의 얼굴 검출부의 합성곱 신경망을 설명하기 위한 도면이다.
도 8은 본 발명의 바람직한 일 실시예에 따른 학습을 이용한 얼굴 인식 장치의 구조도이다.
도 9는 본 발명의 바람직한 일 실시예에 따른 얼굴 인식 학습 방법을 시간의 흐름에 따라 도시한 순서도이다.
도 10은 본 발명의 바람직한 일 실시예에 따른 학습을 이용한 얼굴 인식 방법을 시간의 흐름에 따라 도시한 순서도이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 자세히 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 이하에서, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다.

본 발명은 레퍼런스 얼굴 영상에 대한 정보를 학습하여, 학습 결과를 이용하여 입력되는 얼굴 영상을 인식한다. 일례로, 레퍼런스 얼굴 영상 내의 얼굴 부분을 검출하여 얼굴의 특징 벡터를 추출한 후, 동일한 얼굴의 레퍼런스 얼굴 영상 간 특징 벡터의 거리값을 학습하여 학습된 특징 벡터와 입력되는 얼굴 영상의 특징 벡터의 거리값이 일정 값 이내이면 입력 얼굴 영상의 얼굴을 레퍼런스 얼굴 영상의 얼굴과 동일한 얼굴로 인식할 수 있다.

학습을 위해 본 발명은 딥 러닝(deep learning) 알고리즘을 이용할 수 있으며, 일실시예로서 합성곱 신경망(CNN, Convolutional Neural Network) 알고리즘을 이용한다. 합성곱 신경망은, 사람이 물체를 인식할 때 물체의 기본적인 특징들을 추출한 다음 뇌 속에서 복잡한 계산을 거쳐 그 결과를 기반으로 물체를 인식한다는 가정을 기반으로 만들어진 사람의 뇌 기능을 모사한 모델로서, 최근 영상 인식이나 음성 인식 분야에 많이 활용되고 있는 알고리즘이다. 합성곱 신경망에서는 기본적으로 컨볼루션(Conv, convolution) 연산을 통해 영상의 특징을 추출하기 위한 다양한 필터와 비선형적인 특성을 더하기 위한 풀링(pooling) 또는 비선형 활성화(non-linear activation) 함수 등이 함께 사용된다.

이하에서, 합성곱 신경망 알고리즘에 대해 간단히 설명한 후, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명하기로 한다.

도 1은 합성곱 신경망 알고리즘을 설명하기 위한 도면이다. 도 2는 합성곱 신경망의 컨벌루션 방법을 설명하기 위한 도면이며, 도 3은 합성곱 신경망의 다운 샘플링 방법을 설명하기 위한 도면이다.

도 1을 참조하면, 합성곱 신경망 알고리즘은 입력 영상에 대해 컨벌루션과 다운 샘플링을 통해, 입력 영상에 대한 피쳐 맵(feature map)을 추출(feature learning)하고, 피쳐 맵을 통해 입력 영상을 식별 또는 분류(classification)한다. 피쳐 맵은 입력 영상에 대한 특징 정보를 포함한다. 피쳐 맵 추출을 위해, 컨벌루션(C1, C2, C3)과 다운 샘플링(MP1, MP2)가 반복되며, 반복 횟수는 실시예에 따라서 다양하게 결정될 수 있다.

도 1 및 2를 참조하면, 컨벌루션에 이용되는 필터(또는 커널, 210)의 사이즈가 결정되면, 필터의 각 화소별로 할당된 가중치와 입력 영상(200)의 화소값의 가중치 합(weighted sum)을 통해 컨벌루션이 수행된다. 즉, 필터가 오버랩되는 입력 영상의 특정 영역에 대해 대응되는 화소별로 필터의 가중치를 화소값과 곱한 후 더함으로써 컨벌루션 레이어의 화소값(230)이 결정될 수 있다.

도 2에 도시된 바와 같이, 대응되는 화소별로 필터(210)의 가중치(4, 0, 0, 0, 0, 0, 0, 0, -4)와 오버랩되는 입력 영상(200)의 특정 영역의 화소값(0, 0, 0, 0, 1, 1, 0, 1, 2)에 대해 가중치 합이 수행되어 최종 -8이라는 화소값(230)이 결정된다. 필터가 좌우 상하로 이동하며, 입력 영상의 오버랩된 영역에 대해 총 9개 화소에 대해 가중치 합이 수행되고, 일예로서, 입력 영상(200)의 사이즈가 7X7이며, 필터(210)의 사이즈가 3X3라면 5X5 사이즈의 컨벌루션 레이어가 생성될 수 있다.

컨벌루션에 따른 화소값은 오버랩된 영역의 중앙 화소의 화소값(230)이 되기 때문에, 입력 영상 대비 컨벌루션 레이어, 즉 컨벌루션된 영상의 사이즈는 감소한다. 다만, 입력 영상의 외곽 영역을 특정 화소값으로 패딩(padding)할 경우, 입력 영상의 사이즈와 동일한 7X7 사이즈의 컨벌루션 레이어를 생성할 수 있다. 컨벌루션 레이어의 개수는 이용되는 필터의 개수에 따라 결정된다.

도 1 및 3을 참조하면, 컨벌루션 레이어의 사이즈를 줄이기 위해, 즉 해상도를 낮추기 위해 다운 샘플링이 수행되는데, 다운 샘플링으로 많이 이용되는 방법이 맥스 풀링(MP, max-pooling)이다. 다운 샘플링에 이용되는 커널(kenel)에 포함된 컨벌루션 레이어의 화소값 중 최대 값을 취함으로써 컨벌루션 레이어의 사이즈보다 작은 맥스 풀링 레이어가 생성될 수 있다.

예를 들어, 2X2 사이즈의 커널이 4X4 사이즈의 컨벌루션 레이어(310)에 적용될 경우, 서로 다른 색깔로 표시된 2X2 영역별로 6, 8, 3 및 4가 최대값으로 결정되어 맥스 풀링 레이어(320)가 생성될 수 있다.

다시 도 1로 돌아가, 피쳐 맵은 완전 연결된(fully-connected) 신경망으로 입력되고, 미리 주어진 입력 영상에 대한 라벨(label)과 신경망의 출력값의 차이값에 따라서 합성곱 신경망의 파라미터에 대한 학습이 수행된다.

도 4는 본 발명의 바람직한 일 실시예에 따른 얼굴 인식 학습 과정을 설명하기 위한 도면이다.

이하에서, 본 발명의 바람직한 일 실시예에 따른 얼굴 인식 학습 과정에 대하여 도 4를 참조하여 설명한다.

본 발명의 바람직한 일 실시예에 따른 학습을 이용한 얼굴 인식 장치는 도 4에 도시된 과정을 통하여 학습될 수 있다.

먼저, 본 발명의 바람직한 일 실시예에 따른 얼굴 인식 학습 장치는 학습을 위해 인식할 얼굴들의 다양한 레퍼런스 영상을 입력받아 영상 내의 얼굴 영역을 검출할 수 있다. 얼굴 영역 검출 과정은 합성곱 신경망으로 학습될 수 있다. 특히, 본 발명의 일 실시예에서는 얼굴 영역 검출에 3단계의 합성곱 신경망을 이용하였다. 또는, 얼굴 영역 검출을 위한 3단계의 합성곱 신경망은 미리 학습이 수행되어 있을 수도 있으며, 레퍼런스 영상들은 얼굴 영역만으로 구성되어 얼굴 검출 과정을 생략하고 바로 합성곱 신경망을 훈련시킬 수도 있다.

이제 얼굴 영역이 검출된 레퍼런스 영상에 대해 히스토그램 평활화 과정 및 이미지 조정 과정을 수행할 수 있다. 히스토그램 평활화 과정 및 이미지 조정 과정은 영상의 조명 변화에 따른 얼굴의 변화를 상쇄시켜 줄 수 있다.

이제 레퍼런스 영상의 얼굴 영역에 의해 다수의 제1 합성곱 신경망이 훈련된다. 본 발명의 일 실시예에서는 3개의 제1 합성곱 신경망을 사용하였다. 제1 합성곱 신경망의 개수는 영상의 조명 변화를 어느 정도 고려할 것인가에 따라 조절될 수 있다. 제1 합성곱 신경망을 많이 사용할수록 조명 변화를 덜 고려하게 된다. 또한, 다수의 제1 합성곱 신경망은 동일한 얼굴에 대하여 각기 다른 레퍼런스 영상에 의해 훈련될 수도 있다.

한편, 히스토그램 평활화 과정이 수행된 레퍼런스 영상의 얼굴 영역에 의해 제2 합성곱 신경망이 훈련되며, 이미지 조정 과정이 수행된 레퍼런스 영상의 얼굴 영역에 의해 제3 합성곱 신경망이 훈련된다.

영상 내의 얼굴 인식을 학습하는 방법은 다양한 공지된 방법을 이용할 수 있다. 일례로, 제1 합성곱 신경망과 제2 합성곱 신경망 및 제3 합성곱 신경망은 영상 내 얼굴 영역에서 특징 벡터를 추출하여 특징 벡터 값에 의해 훈련될 수 있다. 제1 합성곱 신경망과 제2 합성곱 신경망 및 제3 합성곱 신경망은 동일한 얼굴의 다양한 레퍼런스 영상의 특징 벡터 간 거리값을 학습하여, 입력 영상이 입력되었을 때 입력 영상의 특징 벡터가 학습된 영상의 특징 벡터와 거리값이 일정값 이하이면 입력 영상의 얼굴을 상기 학습된 영상의 얼굴로 인식할 수 있도록 학습될 수 있다.

도 5는 본 발명의 바람직한 일 실시예에 따른 학습을 이용한 얼굴 인식 과정을 설명하기 위한 도면이다.

이하에서, 본 발명의 바람직한 일 실시예에 따른 학습을 이용한 얼굴 인식 과정에 대하여 도 5를 참조하여 설명한다.

본 발명의 바람직한 일 실시예에 따른 학습을 이용한 얼굴 인식 장치는 학습을 위해 입력 영상을 입력받아 영상 내의 얼굴 영역을 검출할 수 있다. 얼굴 영역 검출 과정은 합성곱 신경망으로 사전에 학습될 수 있다. 특히, 본 발명의 일 실시예에서는 얼굴 영역 검출에 3단계의 합성곱 신경망을 이용하였다.

이제 얼굴 영역이 검출된 레퍼런스 영상에 대해 히스토그램 평활화 과정 및 이미지 조정 과정을 수행할 수 있다. 히스토그램 평활화 과정 및 이미지 조정 과정은 조명 변화에 따른 영상의 변화를 상쇄시켜 줄 수 있다.

이제 다수의 제1 합성곱 신경망은 입력 영상에서 얼굴을 인식한다. 본 발명의 일 실시예에서는 3개의 제1 합성곱 신경망을 사용하였다. 제1 합성곱 신경망의 개수는 영상의 조명 변화를 어느 정도 고려할 것인가에 따라 조절될 수 있다. 제1 합성곱 신경망을 많이 사용할수록 조명 변화를 덜 고려하게 된다. 제1 합성곱 신경망은 다수의 레퍼런스 영상을 통하여 사전에 학습되어 있을 수 있다.

한편, 제2 합성곱 신경망은 히스토그램 평활화 과정이 수행된 입력 영상의 얼굴 영역에서 얼굴을 인식하며, 제3 합성곱 신경망은 이미지 조정 과정이 수행된 레퍼런스 영상의 얼굴 영역에서 얼굴을 인식한다. 제2 합성곱 신경망 및 제3 합성곱 신경망 또한 히스토그램 평활화 과정 및 이미지 조정 과정이 수행된 다수의 레퍼런스 영상으로 사전에 학습되어 있을 수 있다.

제1 합성곱 신경망과 제2 합성곱 신경망 및 제3 합성곱 신경망이 얼굴을 인식하는 방법은 사전에 학습된 방법과 동일하며, 다양한 공지된 방법을 이용할 수 있다. 일례로, 제1 합성곱 신경망과 제2 합성곱 신경망 및 제3 합성곱 신경망은 영상 내 얼굴 영역에서 특징 벡터를 추출하여 추출된 특징 벡터 값을 사전에 학습된 레퍼런스 영상들의 특징 벡터 값과 비교할 수 있다. 사전에 학습된 동일 얼굴의 레퍼런스 영상들의 특징 벡터 값이 훈련되어 있으므로, 입력 영상에서 추출된 특징 벡터 값이 사전에 학습된 특정한 얼굴의 특징 벡터 값과의 거리값이 일정값 이하이면, 입력 영상의 얼굴을 상기 사전에 학습된 특정한 얼굴로 인식할 수 있다.

이제, 본 발명의 학습을 이용한 얼굴 인식 장치는 다수의 합성곱 신경망들의 얼굴 인식 결과를 취합한다. 도 5의 일 실시예에서는 3개의 제1 합성곱 신경망과 제2 합성곱 신경망 및 제3 합성곱 신경망을 포함하여 총 5개의 합성곱 신경망의 얼굴 인식 결과를 취합하여, 과반수가 넘는 결과를 최종적으로 선택하게 된다.

본 발명의 학습을 이용한 얼굴 인식 장치는 히스토그램 평활화 과정 및 이미지 조정 과정 그리고 각 합성곱 신경망에 의한 얼굴 인식 결과를 취합하여 투표에 의해 최종적으로 인식할 얼굴을 선택하므로 조명 변화에 강인하며, 투표에 관여하는 합성곱 신경망의 수를 조절하여 조명 변화에 어느 정도의 가중치를 둘 것인지 사전에 결정할 수 있다.

도 6은 본 발명의 바람직한 일 실시예에 따른 얼굴 인식 학습 장치의 구조도이다.

도 6을 참조하면, 본 발명의 바람직한 일 실시예에 따른 얼굴 인식 학습 장치는 입력부(610), 얼굴 검출부(620), 히스토그램부(630), 이미지 조정부(640), 제1 얼굴 인식부(650), 제2 얼굴 인식부(660) 및 제3 얼굴 인식부(670)를 포함할 수 있다.

입력부(610)에서는 얼굴 인식 학습을 위한 레퍼런스 영상이 입력된다. 레퍼런스 영상은 사전에 얼굴 영역 검출이 이루어져 얼굴 영역만으로 이루어진 영상일 수도 있다.

얼굴 검출부(620)는 입력된 레퍼런스 영상에서 얼굴 영역을 검출한다. 얼굴 영역 검출은 합성곱 신경망을 이용하여 학습될 수 있다. 일례로, 얼굴 검출부(120)는 3단계의 합성곱 신경망으로 구성될 수 있다.

도 7은 본 발명의 얼굴 검출부의 합성곱 신경망을 설명하기 위한 도면이다.

도 7을 참조하면, 얼굴 검출부(620)는 P-Net, R-Net 및 O-Net의 3단계의 합성곱 신경망으로 구성될 수 있다.

먼저, 1단계에서 얼굴 검출부(620)는 레퍼런스 영상에 대해 크기를 변형해 가며 이미지 피라미드를 생성한 뒤, P-Net을 사용하여 슬라이딩 윈도우 방식으로 얼굴의 후보 영역을 찾을 수 있다. P-Net 신경망의 결과로 나온 Bounding box regression 벡터를 이용하여 후보 영역의 위치를 조절하고, 공지된 기술인 NMS(Non-Maximum Suppression) 알고리즘을 적용하여 서로 영역이 겹치는 후보 영역들을 합쳐서 후보 영역의 수를 줄일 수 있다.

2단계에서는 1단계에서 검출된 후보 영역들에 대해 더 복잡한 구조의 R-Net을 사용하여 얼굴이 아닌 후보 영역들을 더 제거하고, 후보 영역의 위치를 조절하며 후보 영역의 수를 줄일 수 있다.

3단계에서는 더 복잡한 구조의 O-Net 신경망을 사용하여 2단계에서 검출된 후보 영역 중 최종적으로 얼굴 영역과 랜드마크의 위치를 찾을 수 있다.

또한, 레퍼런스 영상이 사전에 얼굴 영역 검출이 이루어져 얼굴 영역만으로 이루어진 영상일 경우에는, 얼굴 검출부(620)가 생략될 수도 있다.

히스토그램부(630)는 얼굴 영역이 검출된 레퍼런스 영상에 히스토그램 평활화(Histogram Equalization)을 수행할 수 있다. 먼저 PDF(Probability Density Function)을 생성하고, CDF(Cumulative Distribution Function)를 구한 후, 누적 히스토그램의 정규화를 실시한다. 마지막으로 정규화된 누적 히스토그램에 최대 밝기 값을 곱하여 수치화하여 히스토그램부(630)는 영상에 히스토그램 평활화를 수행할 수 있다. 히스토그램 평활화는 영상의 밝기 분포에 따라 각 픽셀의 밝기를 일정하게 조정하므로 영상의 조명 변화를 상쇄시킬 수 있다.

이미지 조정부(640)는 얼굴 영역이 검출된 레퍼런스 영상에 이미지 조정(Image Adjustment)를 수행할 수 있다. 먼저 영상을 히스토그램 형태로 표현한 후, 픽셀 값이 0일 때부터 픽셀 값을 1씩 증가시키며 픽셀 개수를 더해 나가면서 픽셀 개수의 합이 총 영상 픽셀 수의 1%를 초과할 때의 픽셀 값을 찾는다. 이 때의 픽셀 값을 low_val이라 한다. 또한, 픽셀 값이 255일 때부터 픽셀 값을 1씩 감소시키며 픽셀 개수를 더해 나가면서 픽셀 개수의 합이 총 영상 픽셀 수의 1%를 초과할 때의 픽셀 값을 찾는다. 이 때의 픽셀 값을 high_val이라 한다. 이제 픽셀 값이 0일 때부터 low_val일 때까지의 픽셀들을 픽셀 값 0으로 mapping하고 픽셀 값이 high_val일 때부터 255일 때까지의 픽셀들을 픽셀 값 255로 mapping한다. 그리고 픽셀 값이 low_val+1일 때부터 high_val-1일 때까지의 픽셀들은 히스토그램 평활화(Histogram equalization)를 사용하여 픽셀 값 1과 254 사이에 mapping하여 이미지 조정을 수행할 수 있다. 이미지 조정은 영상 내 상위 1% 및 하위 1%의 픽셀들의 밝기 값을 최대값 및 최소값으로 맵핑하고 나머지 픽셀들을 그 사이에 맵핑하므로 영상의 조명 변화를 상쇄시킬 수 있다.

상기의 히스토그램 평활화 및 이미지 조정을 통해 본 발명의 바람직한 일 실시예에 따른 얼굴 인식 학습 장치는 조명 변화에 강인한 특징을 가질 수 있다.

제1 얼굴 인식부(650)는 합성곱 신경망으로 이루어지며, 레퍼런스 영상의 얼굴 영역에 의해 훈련된다. 본 발명의 일 실시예에서는 3개의 제1 얼굴 인식부(650)를 사용하였다. 제1 얼굴 인식부(650)의 개수는 영상의 조명 변화를 어느 정도 고려할 것인가에 따라 조절될 수 있다. 제1 얼굴 인식부(650)를 많이 사용할수록 조명 변화를 덜 고려하게 된다. 또한, 다수의 제1 얼굴 인식부(650)는 동일한 얼굴에 대하여 각기 다른 레퍼런스 영상에 의해 훈련될 수도 있다.

제2 얼굴 인식부(660) 또한 합성곱 신경망으로 이루어지며, 히스토그램 평활화 과정이 수행된 레퍼런스 영상의 얼굴 영역에 의해 훈련될 수 있다.

제3 얼굴 인식부(670) 역시 합성곱 신경망으로 이루어지며, 이미지 조정 과정이 수행된 레퍼런스 영상의 얼굴 영역에 의해 훈련될 수 있다.

도 8은 본 발명의 바람직한 일 실시예에 따른 학습을 이용한 얼굴 인식 장치의 구조도이다.

도 8을 참조하면, 본 발명의 바람직한 일 실시예에 따른 얼굴 인식 학습 장치는 입력부(710), 얼굴 검출부(720), 히스토그램부(730), 이미지 조정부(740), 제1 얼굴 인식부(750), 제2 얼굴 인식부(760), 제3 얼굴 인식부(770) 및 얼굴 결정부(780)를 포함할 수 있다.

입력부(710)에서는 얼굴 인식을 위한 입력 영상이 입력된다.

얼굴 검출부(720)는 입력 영상에서 얼굴 영역을 검출한다. 얼굴 영역 검출은 전술한 얼굴 인식 학습 장치의 얼굴 검출부(620)에 의해 사전에 학습될 수 있다. 얼굴 영역 검출 방법은 전술한 얼굴 인식 학습 장치의 얼굴 검출부(620)의 훈련 방법과 같다.

히스토그램부(730)는 얼굴 영역이 검출된 입력 영상에 히스토그램 평활화(Histogram Equalization)을 수행할 수 있다. 먼저 PDF(Probability Density Function)을 생성하고, CDF(Cumulative Distribution Function)를 구한 후, 누적 히스토그램의 정규화를 실시한다. 마지막으로 정규화된 누적 히스토그램에 최대 밝기 값을 곱하여 수치화하여 히스토그램부(730)는 영상에 히스토그램 평활화를 수행할 수 있다.

이미지 조정부(740)는 얼굴 영역이 검출된 입력 영상에 이미지 조정(Image Adjustment)를 수행할 수 있다. 먼저 영상을 히스토그램 형태로 표현한 후, 픽셀 값이 0일 때부터 픽셀 값을 1씩 증가시키며 픽셀 개수를 더해 나가면서 픽셀 개수의 합이 총 영상 픽셀 수의 1%를 초과할 때의 픽셀 값을 찾는다. 이 때의 픽셀 값을 low_val이라 한다. 또한, 픽셀 값이 255일 때부터 픽셀 값을 1씩 감소시키며 픽셀 개수를 더해 나가면서 픽셀 개수의 합이 총 영상 픽셀 수의 1%를 초과할 때의 픽셀 값을 찾는다. 이 때의 픽셀 값을 high_val이라 한다. 이제 픽셀 값이 0일 때부터 low_val일 때까지의 픽셀들을 픽셀 값 0으로 mapping하고 픽셀 값이 high_val일 때부터 255일 때까지의 픽셀들을 픽셀 값 255로 mapping한다. 그리고 픽셀 값이 low_val+1일 때부터 high_val-1일 때까지의 픽셀들은 히스토그램 평활화(Histogram equalization)를 사용하여 픽셀 값 1과 254 사이에 mapping하여 이미지 조정을 수행할 수 있다.

히스토그램 평활화 및 이미지 조정을 통해 본 발명의 바람직한 일 실시예에 따른 얼굴 인식 학습 장치는 조명 변화에 강인한 특징을 가질 수 있다.

제1 얼굴 인식부(750)는 합성곱 신경망으로 이루어지며, 전술한 얼굴 인식 학습 장치의 제1 얼굴 인식부(650)에 의해 사전에 학습될 수 있다. 얼굴 인식 방법은 전술한 얼굴 인식 학습 장치의 제1 얼굴 인식부(650)의 훈련 방법과 같다. 본 발명의 일 실시예에서는 3개의 제1 얼굴 인식부(750)를 사용하였다. 제1 얼굴 인식부(750)의 개수는 영상의 조명 변화를 어느 정도 고려할 것인가에 따라 조절될 수 있다. 제1 얼굴 인식부(750)를 많이 사용할수록 조명 변화를 덜 고려하게 된다. 또한, 다수의 제1 얼굴 인식부(750)는 동일한 얼굴에 대하여 각기 다른 레퍼런스 영상에 의해 훈련되어 있을 수도 있다.

제2 얼굴 인식부(760) 또한 합성곱 신경망으로 이루어지며, 전술한 얼굴 인식 학습 장치의 제2 얼굴 인식부(660)에 의해 사전에 학습될 수 있다. 얼굴 인식 방법은 전술한 얼굴 인식 학습 장치의 제2 얼굴 인식부(660)의 훈련 방법과 같다.

제3 얼굴 인식부(770) 역시 합성곱 신경망으로 이루어지며, 전술한 얼굴 인식 학습 장치의 제3 얼굴 인식부(670)에 의해 사전에 학습될 수 있다. 얼굴 인식 방법은 전술한 얼굴 인식 학습 장치의 제3 얼굴 인식부(670)의 훈련 방법과 같다.

얼굴 결정부(780)는 다수의 제1 얼굴 인식부(750)와 제2 얼굴 인식부(760) 및 제3 얼굴 인식부(770)의 얼굴 인식 결과를 취합하여 과반수 이상이 인식한 얼굴을 최종적으로 인식된 얼굴로 결정한다.

이상과 같이, 본 발명의 바람직한 일 실시예에 따른 얼굴 인식 학습 장치 및 학습을 이용한 얼굴 인식 장치는 조명 변화에 강인한 제2 얼굴 인식부(760) 및 제3 얼굴 인식부(770)를 포함하며, 다수의 얼굴 인식부의 얼굴 인식 결과를 취합하여 다수결로 얼굴 인식 결과를 결정하므로, 조명 변화에 강인하며 보다 정확한 얼굴 인식을 수행할 수 있다.

도 9는 본 발명의 바람직한 일 실시예에 따른 얼굴 인식 학습 방법을 시간의 흐름에 따라 도시한 순서도이다.

도 9를 참조하면, 본 발명의 바람직한 일 실시예에 따른 얼굴 인식 학습 방법은 입력 단계(S610), 얼굴 영역 검출 단계(S620), 히스토그램 평활화 단계(S630), 이미지 조정 단계(S640) 및 얼굴 인식 학습 단계(S650)를 포함한다.

입력 단계(S610)는 입력부(610)에서 레퍼런스 영상을 입력받는 단계이다.

얼굴 영역 검출 단계(S620)는 얼굴 검출부(620)에서 얼굴 영역을 검출하는 단계이다.

히스토그램 평활화 단계(S630)는 히스토그램부(630)에서 히스토그램 평활화를 수행하는 단계이다.

이미지 조정 단계(S640)는 이미지 조정부(640)에서 이미지 조정을 수행하는 단계이다.

얼굴 인식 학습 단계(S650)는 제1 얼굴 인식부(650), 제2 얼굴 인식부(660) 및 제3 얼굴 인식부(670)에서 얼굴 인식을 학습하는 단계이다.

도 10은 본 발명의 바람직한 일 실시예에 따른 학습을 이용한 얼굴 인식 방법을 시간의 흐름에 따라 도시한 순서도이다.

도 10을 참조하면, 본 발명의 바람직한 일 실시예에 따른 학습을 이용한 얼굴 인식 방법은 입력 단계(S710), 얼굴 영역 검출 단계(S720), 히스토그램 평활화 단계(S730), 이미지 조정 단계(S740), 얼굴 인식 단계(S750) 및 얼굴 결정 단계(S760)를 포함한다.

입력 단계(S710)는 입력부(710)에서 입력 영상을 입력받는 단계이다.

얼굴 영역 검출 단계(S720)는 얼굴 검출부(720)에서 얼굴 영역을 검출하는 단계이다.

히스토그램 평활화 단계(S730)는 히스토그램부(730)에서 히스토그램 평활화를 수행하는 단계이다.

이미지 조정 단계(S740)는 이미지 조정부(740)에서 이미지 조정을 수행하는 단계이다.

얼굴 인식 단계(S750)는 제1 얼굴 인식부(750), 제2 얼굴 인식부(760) 및 제3 얼굴 인식부(770)에서 얼굴을 인식하는 단계이다.

얼굴 결정 단계(S760)는 얼굴 결정부(780)에서 인식된 얼굴을 결정하는 단계이다.

앞서 설명한 기술적 내용들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예들을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 하드웨어 장치는 실시예들의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다는 것을 이해할 것이다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.

610: 입력부
620: 얼굴 검출부
630: 히스토그램부
640: 이미지 조정부
650: 제1 얼굴 인식부
660: 제2 얼굴 인식부
670: 제3 얼굴 인식부
710: 입력부
720: 얼굴 검출부
730: 히스토그램부
740: 이미지 조정부
750: 제1 얼굴 인식부
760: 제2 얼굴 인식부
770: 제3 얼굴 인식부
780: 얼굴 결정부

Claims

입력 영상이 입력되는 입력부;
상기 입력된 영상에서 얼굴 영역을 검출하는 얼굴 검출부;
상기 검출된 얼굴 영역에 히스토그램 평활화를 수행하는 히스토그램부;
상기 검출된 얼굴 영역에 이미지 조정을 수행하는 이미지 조정부;
상기 검출된 얼굴 영역에서 얼굴을 인식하는 다수의 제1 얼굴 인식부;
상기 히스토그램 평활화가 수행된 얼굴 영역에서 얼굴을 인식하는 제2 얼굴 인식부;
상기 이미지 조정이 수행된 얼굴 영역에서 얼굴을 인식하는 제3 얼굴 인식부; 및
상기 다수의 제1 얼굴 인식부와 제2 얼굴 인식부 및 제3 얼굴 인식부의 얼굴 인식 결과를 취합하여 과반수 이상이 인식한 얼굴을 인식된 얼굴로 결정하는 얼굴 결정부를 포함하되,
상기 다수의 제1 얼굴 인식부와 제2 얼굴 인식부 및 제3 얼굴 인식부는 합성곱 신경망을 이용하여 학습되어 있고,
상기 다수의 제1 얼굴 인식부와 제2 얼굴 인식부 및 제3 얼굴 인식부의 합성곱 신경망은 레퍼런스 영상의 얼굴의 특징 벡터를 추출하여 동일한 얼굴의 특징 벡터간 거리값을 입력값으로 하여 학습되어 있는 것을 특징으로 하는 학습을 이용한 얼굴 인식 장치.
제1항에 있어서,
상기 얼굴 검출부는 3단계의 합성곱 신경망을 이용하여 학습되어 있는 것을 특징으로 하는 학습을 이용한 얼굴 인식 장치.
삭제
제1항에 있어서,
상기 다수의 제1 얼굴 인식부의 개수는 3개인 것을 특징으로 하는 학습을 이용한 얼굴 인식 장치.
제1항에 있어서,
상기 히스토그램 평활화는 영상의 각 픽셀의 밝기 값의 누적 분포 값을 정규화한 후 최대 밝기 값을 곱하여 수행되는 것을 특징으로 하는 학습을 이용한 얼굴 인식 장치.
제1항에 있어서,
상기 이미지 조정은 영상의 픽셀 중 밝기 값이 상위 1%인 픽셀은 최대 밝기로 맵핑하고, 밝기 값이 하위 1%인 픽셀은 최소 밝기로 맵핑하며, 그 외 픽셀은 히스토그램 평활화를 이용하여 상기 최대 밝기와 상기 최소 밝기 사이에 맵핑하여 수행되는 것을 특징으로 하는 학습을 이용한 얼굴 인식 장치.
(a)입력 영상이 입력되는 단계;
(b)상기 입력된 영상에서 얼굴 영역을 검출하는 단계;
(c)상기 검출된 얼굴 영역에 히스토그램 평활화를 수행하는 단계;
(d)상기 검출된 얼굴 영역에 이미지 조정을 수행하는 단계;
(e)사전에 학습된 다수의 제1 합성곱 신경망을 이용하여 상기 검출된 얼굴 영역에서 얼굴을 인식하는 단계;
(f)사전에 학습된 제2 합성곱 신경망을 이용하여 상기 히스토그램 평활화가 수행된 얼굴 영역에서 얼굴을 인식하는 단계;
(g)사전에 학습된 제3 합성곱 신경망을 이용하여 상기 이미지 조정이 수행된 얼굴 영역에서 얼굴을 인식하는 단계; 및
(h)상기 다수의 제1 합성곱 신경망과 제2 합성곱 신경망 및 제3 합성곱 신경망의 얼굴 인식 결과를 취합하여 과반수 이상이 인식한 얼굴을 인식된 얼굴로 결정하는 단계를 포함하되,
상기 다수의 제1 합성곱 신경망과 제2 합성곱 신경망 및 제3 합성곱 신경망은 레퍼런스 영상의 얼굴의 특징 벡터를 추출하여 동일한 얼굴의 특징 벡터간 거리값을 입력값으로 하여 학습되어 있는 것을 특징으로 하는 학습을 이용한 얼굴 인식 방법.
제7항에 있어서,
상기 (b)단계는 3단계의 합성곱 신경망을 이용하여 학습되어 있는 것을 특징으로 하는 학습을 이용한 얼굴 인식 방법.
삭제
제7항에 있어서,
상기 다수의 제1 합성곱 신경망의 개수는 3개인 것을 특징으로 하는 학습을 이용한 얼굴 인식 방법.
제7항에 있어서,
상기 히스토그램 평활화는 영상의 각 픽셀의 밝기 값의 누적 분포 값을 정규화한 후 최대 밝기 값을 곱하여 수행되는 것을 특징으로 하는 학습을 이용한 얼굴 인식 방법.
제7항에 있어서,
상기 이미지 조정은 영상의 픽셀 중 밝기 값이 상위 1%인 픽셀은 최대 밝기로 맵핑하고, 밝기 값이 하위 1%인 픽셀은 최소 밝기로 맵핑하며, 그 외 픽셀은 히스토그램 평활화를 이용하여 상기 최대 밝기와 상기 최소 밝기 사이에 맵핑하여 수행되는 것을 특징으로 하는 학습을 이용한 얼굴 인식 방법.