KR20170082024A

KR20170082024A - 얼굴 인식 장치 및 방법

Info

Publication number: KR20170082024A
Application number: KR1020160001155A
Authority: KR
Inventors: 임동혁; 서용석; 김정현; 박지현; 서영호; 유원영
Original assignee: 한국전자통신연구원
Priority date: 2016-01-05
Filing date: 2016-01-05
Publication date: 2017-07-13

Abstract

본 발명은 얼굴 인식 장치로, 입력된 영상으로부터 얼굴 이미지를 검출하는 얼굴 검출부와, 상기 검출된 얼굴 이미지에 해당하는 사람을 식별하는 얼굴 식별부와, 상기 식별된 사람의 대표 얼굴 이미지와 상기 검출된 얼굴 이미지를 비교하여 인증을 수행하는 얼굴 인증부를 포함한다.

Description

얼굴 인식 장치 및 방법{Apparatus and Method for Recognizing Face}

본 발명은 영상 인식 시스템에 관한 것으로, 보다 상세하게는 영상에 포함되어 있는 얼굴을 식별하는 장치 및 방법에 관한 것이다.

얼굴 인식 시스템은 스마트폰이나 도어락 잠금 해제 등 실생활에서 널리 사용되고 있다.

이러한 얼굴 인식 시스템이 잘 동작하기 위해서는 배경과 조명이 일정하고, 얼굴의 전면이 이미지의 중앙에 위치해야 하는 등, 환경적 제약 조건이 요구된다. 즉, 조명, 얼굴 각도, 표정 및 배경 등에 있어서 제약이 없는 환경에서 촬영된 이미지로부터 얼굴 인식 결과는 그 정확도가 낮다.

따라서, 이러한 얼굴 인식을 위한 제약이 없는 환경에서 촬영된 웹에 존재하는 이미지 또는 드라마/영화/CCTV와 같은 동영상에 등장한 사람이 누구인지 얼굴을 인식함에 있어 정확도가 낮아 오류가 많이 발생된다.

본 발명은 얼굴 인식을 위한 특정한 조건을 만족하지 않는 환경에서 촬영된 동영상 또는 이미지에 포함된 얼굴에 대한 식별 오류를 줄이는 얼굴 인식 장치 및 방법을 제공한다.

본 발명은 얼굴 인식 방법으로, 입력된 영상으로부터 얼굴 이미지를 검출하는 단계와, 상기 검출된 얼굴 이미지에 해당하는 사람을 식별하는 단계와, 상기 식별된 사람의 대표 얼굴 이미지와 상기 검출된 얼굴 이미지를 비교하여 인증을 수행하는 단계를 포함한다.

본 발명에 따른 비제약적 환경의 얼굴 식별 과정에서 발생하는 오인식 비율을 줄일 수 있다.

도 1은 본 발명의 일 실시 예에 따른 얼굴 인식 장치의 개략적인 블록 구성도이다.
도 2는 본 발명의 일 실시 예에 따른 얼굴 식별부의 동작을 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시 예에 따른 얼굴 인증부의 블록 구성도이다.
도 4는 본 발명의 일 실시 예에 따른 얼굴 인식 방법을 설명하기 위한 순서도이다.
도 5는 본 발명의 일 실시 예에 따른 얼굴 인증 방법을 설명하기 위한 순서도이다.

이하, 첨부된 도면을 참조하여 기술되는 바람직한 실시 예를 통하여 본 발명을 당업자가 용이하게 이해하고 재현할 수 있도록 상세히 기술하기로 한다.

본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명 실시 예들의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.

명세서 전반에 걸쳐 사용되는 용어들은 본 발명 실시 예에서의 기능을 고려하여 정의된 용어들로서, 사용자 또는 운용자의 의도, 관례 등에 따라 충분히 변형될 수 있는 사항이므로, 이 용어들의 정의는 본 발명의 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

도 1은 본 발명의 일 실시 예에 따른 얼굴 인식 장치의 개략적인 블록 구성도이다.

도 1을 참조하면, 얼굴 인식 장치(100)는 얼굴 검출부(110), 얼굴 식별부(120) 및 얼굴 인증부(130)를 포함한다. 부가적으로, 얼굴 정렬부(140), 제1 특징점 저장부(150), 대표 얼굴 이미지 저장부(160) 및 제2 특징점 저장부(170)를 더 포함한다.

얼굴 검출부(110)는 입력된 영상으로부터 얼굴 이미지를 검출한다. 여기서, 입력된 영상은 정지 영상 및 동영상을 포함할 수 있고, 얼굴 이미지는 둘 이상일 수 있다. 이때, 얼굴 검출부(110)는 Haar-like feature 알고리즘을 사용하여 얼굴 이미지를 검출할 수 있다.

부가적으로, 얼굴 정렬부(140)는 얼굴 검출부(110)에 의해 검출된 얼굴 이미지의 특징점을 기반으로 2차원 변환 또는 3차원 변환 과정을 거쳐 정렬된 얼굴 이미지를 생성한다. 예컨대, 검출된 얼굴 이미지가 정면이 아닌 옆모습이라면, 이를 정렬하여 정면 얼굴 이미지를 생성한다. 그러면, 얼굴 식별부(120)는 얼굴 정렬부(140)에 의해 정렬된 얼굴 이미지를 이용하여 식별하게 되므로, 그 식별 성능이 향상될 수 있다.

얼굴 식별부(120)는 검출된 얼굴 이미지에 해당하는 사람을 식별하는데, 이때 미리 학습된 N개의 얼굴 모델을 이용해 검출된 얼굴 이미지에 해당하는 사람을 식별한다. 일 실시 예에 따라, 얼굴 식별을 위해 컨볼루션 신경망(Convolutional Neural Network : CNN) 구조의 딥러닝 알고리즘을 기반으로 하는데, 이에 대한 상세한 설명은 도 2를 참조하여 후술하기로 한다.

또한, 얼굴 식별부(120)는 검출된 얼굴 이미지에 대한 하나 이상의 특징 맵들을 조합한 제1 특징점을 제1 특징점 저장부(150)에 저장한다. 이와 같이 제1 특징점 저장부(150)에 저장된 제1 특징점은 추후에 얼굴 인증부(130)에 의해 사용되어진다.

얼굴 인증부(130)는 식별된 사람의 대표 얼굴 이미지와 검출된 얼굴 이미지를 비교하여 인증을 수행하는데, 얼굴 식별부(120)가 N개의 얼굴 모델을 이용하여 N:1 얼굴 식별을 하는 것과 달리, 1개의 대표 얼굴 이미지를 이용하여 1:1 얼굴 인증(verification)을 수행한다. 이때, 얼굴 인증부(130)가 대표 얼굴 이미지를 이용하여 인증을 수행하는 방식을 두 가지 실시 예가 가능하다.

일 실시 예로, 얼굴 인증부(130)는 식별된 사람의 대표 얼굴 이미지를 대표 얼굴 이미지 저장부(160)로부터 검출하고, 검출된 대표 얼굴 이미지로부터 제2 특징점을 생성하고, 제1 특징점과 제2 특징점 간의 차이를 비교한 결과에 따라, 동일 여부를 판단할 수 있다.

다른 실시 예로, 얼굴 인증부(130)는 대표 얼굴 이미지 각각에 대한 제2 특징점을 미리 생성하여 제2 특징점 저장부(170)에 저장한 후, 제2 특징점 저장부(170)로부터 얼굴 식별부에 의해 식별된 사람에 대한 제2 특징점을 검출하고, 제1 특징점 및 제 2 특징점의 비교 결과에 따라 동일 여부를 판단하게 되면, 프로세스 속도를 빨라질 수 있다.

즉, 본 발명에서는 먼저 입력된 영상 내의 사람을 식별한 후, 입력된 영상과 식별된 사람의 대표 얼굴 이미지와 비교하여 사용자를 인증한다. 인증이 성공하면 식별 결과를 그대로 사용하며, 인증이 실패하면 식별 결과를 사용하지 않는다. 이를 통해, 영상 내 얼굴 인식 과정에서 발생되는 오인식 비율을 줄일 수 있다.

도 2는 본 발명의 일 실시 예에 따른 얼굴 식별부의 동작을 설명하기 위한 도면이다.

도 2를 참조하면, 얼굴 식별부(120)는 입력되는 얼굴 이미지에 대한 컨볼루션(Convolution)(121-1, 121-2,...,121-M) 및 풀링(Pooling)(122-1, 122-2,..., 122-M)을 교대로 반복 수행한다. 여기서, 컨볼루션(Convolution)을 통해 지역적인 특징점이 획득되고, 풀링(Pooing)은 차원을 줄이는 서브 샘플링(Sub-Sampling) 과정이다. 또한, 다층 퍼셉트론 신경망인 완전 접속(Fully-connected)(1231-1, 123-2, ...123-N) 계층이 추가되는데, 각 통해 N개의 특징맵(Feature map)들이 생성된다. 이러한 제1 특징 맵들은 특징 맵 저장부(120)에 저장되어, 얼굴 인증부에 의해 사용된다. 얼굴 식별부(120)는 최종적으로 Soft-max regression(124)를 수행하여 식별 확률이 가장 높은 클래스 순서가 결과를 출력한다.

도 3은 본 발명의 일 실시 예에 따른 얼굴 인증부의 블록 구성도이다.

도 3을 참조하면, 얼굴 인증부(130)는 제2 특징점 추출부(131), 비교부(132) 및 동일성 판단부(133)를 포함한다.

제2 특징점 추출부(131)는 식별 결과에 해당하는 사람의 대표 얼굴 이미지로부터 제2 특징점을 생성한다. 이때, 대표 얼굴 이미지로부터 제2 특징점을 추출하는 방식은 도 2에 도시된 바와 같은 CNN 알고리즘이 이용될 수 있다.

비교부(132)는 제2 특징점과 얼굴 식별부(120)로부터 출력된 제1 특징점을 비교하여 차이값을 구한다. 동일성 판단부(133)는 비교부(132)에 의해 산출된 차이값을 이용하여 최종적으로 두 이미지가 동일한 사람인지를 확인한다. 이때, 일 실시 예에 따라 SVM 분류기가 사용될 수 있다.

전술한 바와 같은 얼굴 인증부(130)에 의해 동일한 사람으로 예측되면 식별 결과를 최종 인식 결과로 사용하고, 다른 사람으로 예측되면 최종 인식 결과는 없는 것으로 한다.

도 4는 본 발명의 일 실시 예에 따른 얼굴 인식 방법의 순서도이다.

도 4를 참조하면, 얼굴 인식 장치(100)는 영상이 입력됨(S210)에 따라, 얼굴 이미지를 검출한다(S220). 여기서, 입력된 영상은 정지 영상 및 동영상을 포함할 수 있고, 얼굴 이미지는 둘 이상일 수 있고, Haar-like feature 알고리즘을 사용하여 얼굴 이미지를 검출할 수 있다.

얼굴 인식 장치(100)는 검출된 얼굴 이미지의 특징점을 기반으로 2차원 변환 또는 3차원 변환 과정을 거쳐 정렬된 얼굴 이미지를 생성한다(S230). 예컨대, 검출된 얼굴 이미지가 정면이 아닌 옆모습이라면, 이를 정렬하여 정면 얼굴 이미지를 생성한다. 그러면, 정렬된 얼굴 이미지를 이용하여 식별하게 되므로, 그 식별 성능이 향상될 수 있다.

얼굴 인식 장치(100)는 검출된 얼굴 이미지에 해당하는 사람을 식별(S240)하는데, 이때 미리 학습된 N개의 얼굴 모델을 이용해 검출된 얼굴 이미지에 해당하는 사람을 식별한다. 일 실시 예에 따라, 얼굴 식별을 위해 컨볼루션 신경망(Convolutional Neural Network : CNN) 구조의 딥러닝 알고리즘에 기반한다. 또한, 도면에는 도시되어 있지 않지만, 얼굴 인식 장치(100)는 검출된 얼굴 이미지에 대한 하나 이상의 특징 맵들을 조합한 제1 특징점을 저장하여, 추후에 얼굴 인증시에 사용되어진다.

얼굴 인식 장치(100)는 식별된 사람의 대표 얼굴 이미지와 검출된 얼굴 이미지를 비교하여 인증을 수행(S250)한다. 일 실시 예로, 얼굴 인식 장치(100)는 식별된 사람의 대표 얼굴 이미지로부터 제2 특징점을 생성하고, 제1 특징점과 제2 특징점 간의 차이를 비교한 결과에 따라, 동일 여부를 판단할 수 있다.

다른 실시 예로, 얼굴 인식 장치(100)는 대표 얼굴 이미지 각각에 대한 제2 특징점을 미리 생성한 후, 식별된 사람에 대한 제2 특징점을 검출하고, 제1 특징점 및 제2 특징점의 비교 결과에 따라 동일 여부를 판단하게 되면, 프로세스 속도를 빨라질 수 있다.

도 5는 본 발명의 일 실시 예에 따른 얼굴 인증 동작을 설명하기 위한 순서도다.

도 5를 참조하면, 얼굴 인식 장치(100)는 식별 결과를 수신(S251)함에 따라, 해당하는 사람의 대표 얼굴 이미지를 추출한다(S252). 그런 후, 얼굴 인식 장치(100)는 대표 얼굴 이미지로부터 제2 특징점을 추출한다(S253). 이때, 대표 얼굴 이미지로부터 제2 특징점을 추출하는 방식은 도 2에 도시된 바와 같은 CNN 알고리즘이 이용될 수 있다.

얼굴 인식 장치(100)는 제2 특징점과 제1 특징점을 비교하여 차이값을 구한다(S254). 그런 후, 얼굴 인식 장치(100)는 산출된 차이값을 이용하여 최종적으로 두 이미지가 동일한 사람인지를 판단한다(S256). 이때, 일 실시 예에 따라 SVM 분류기가 사용될 수 있다.

S256의 판단 결과 동일한 사람으로 예측되면 얼굴 인식 장치(100)는 식별 결과를 최종 인식 결과로 사용하고(S257), 다른 사람으로 예측되면 최종 인식 결과는 없는 것으로 한다(S258).

Claims

입력된 영상으로부터 얼굴 이미지를 검출하는 얼굴 검출부와,
상기 검출된 얼굴 이미지에 해당하는 사람을 식별하는 얼굴 식별부와,
상기 식별된 사람의 대표 얼굴 이미지와 상기 검출된 얼굴 이미지를 비교하여 인증을 수행하는 얼굴 인증부를 포함함을 특징으로 하는 얼굴 인식 장치.
제 1항에 있어서,
상기 검출된 얼굴 이미지의 특징점을 기반으로 2차원 변환 또는 3차원 변환을 수행하여 정렬된 얼굴 이미지를 생성하여 상기 얼굴 식별부로 출력하는 얼굴 정렬부를 더 포함하되,
상기 얼굴 식별부는
상기 정렬된 얼굴 이미지에 해당하는 사람을 식별함을 특징으로 하는 얼굴 인식 장치.
제 1항에 있어서,
상기 얼굴 식별부에 의해 생성된 상기 얼굴 이미지에 대한 하나 이상의 제1 특징점을 저장하는 제1 특징점 저장부를 더 포함함을 특징으로 하는 얼굴 인식 장치.
제 1항에 있어서, 상기 얼굴 식별부는
상기 얼굴 이미지로부터 지역적인 특징을 추출하는 컨볼루션(Convolution)과 상기 추출된 특징을 서브 샘플링하는 풀링(Pooling)을 교대로 반복 수행하고, 완전 접속(fully connection)을 반복 수행하여 생성된 특징맵(Feature Map)들을 조합하여 제1 특징점을생성하고, 소프트맥스 리그레션(Soft-max regression)를 수행하여 식별 확률이 가장 높은 클래스 순서를 식별 결과로 출력함을 특징으로 하는 얼굴 인식 장치.
제 3항에 있어서,
각 사람의 대표 얼굴 이미지를 저장하는 대표 얼굴 이미지 저장부를 더 포함하되,
상기 얼굴 인증부는
상기 얼굴 식별부에 의해 식별된 사람의 대표 얼굴 이미지로부터 제2 특징점을 생성하고, 상기 제1 특징점과 상기 제2 특징점 간의 차이를 비교한 결과에 따라, 동일 여부를 판단함을 특징으로 하는 얼굴 인식 장치.
제 5항에 있어서, 상기 얼굴 인증부는
상기 대표 얼굴 이미지로부터 지역적인 특징을 추출하는 컨볼루션(Convolution)과 상기 추출된 특징을 서브 샘플링하는 풀링(Pooling)을 교대로 반복 수행하고, 완전 접속(fully connection)을 반복 수행하여 생성된 특징 맵(Feature Map)들을 조합하여 제2 특징점을 생성함을 특징으로 하는 얼굴 인식 장치.
제 3항에 있어서,
각 사람의 대표 얼굴 이미지를 저장하는 대표 얼굴 이미지 저장부와,
상기 대표 얼굴 이미지 각각에 대한 제2 특징점을 저장하는 제2 특징점 저장부를 더 포함하고,
상기 얼굴 인증부는
상기 제2 특징점 저장부로부터 상기 얼굴 식별부에 의해 식별된 사람에 대한 제2 특징점을 검출하고, 상기 제1 특징점 및 제2 특징점의 비교 결과에 따라 동일 여부를 판단함을 특징으로 하는 얼굴 인식 장치.
입력된 영상으로부터 얼굴 이미지를 검출하는 단계와,
상기 검출된 얼굴 이미지에 해당하는 사람을 식별하는 단계와,
상기 식별된 사람의 대표 얼굴 이미지와 상기 검출된 얼굴 이미지를 비교하여 인증을 수행하는 단계를 포함함을 특징으로 하는 얼굴 인식 방법.
제 8항에 있어서,
상기 검출된 얼굴 이미지의 특징점을 기반으로 2차원 변환 또는 3차원 변환을 수행하여 정렬된 얼굴 이미지를 생성하는 단계를 더 포함하되,
상기 식별하는 단계는
상기 정렬된 얼굴 이미지에 해당하는 사람을 식별함을 특징으로 하는 얼굴 인식 방법.
제 8항에 있어서, 상기 식별하는 단계는
상기 얼굴 이미지에 대한 하나 이상의 제1 특징점을 저장하는 단계를 더 포함함을 특징으로 하는 얼굴 인식 방법.
제 8항에 있어서, 상기 식별하는 단계는
입력 얼굴 이미지로부터 지역적인 특징을 추출하는 컨볼루션(Convolution)과 상기 추출된 특징을 서브 샘플링하는 풀링(Pooling)을 교대로 반복 수행하는 단계와,
완전 접속(fully connection)을 반복 수행하여 생성된 특징맵(Feature Map)들을 조합하여 제1 특징점을 생성하는 단계와,
소프트맥스 리그레션(Soft-max regression)를 수행하여 식별 확률이 가장 높은 클래스 순서를 식별 결과로 출력하는 단계를 포함함을 특징으로 하는 얼굴 인식 방법.
제 11항에 있어서, 상기 인증을 수행하는 단계는
상기 식별된 사람의 대표 얼굴 이미지로부터 제2 특징점을 생성하는 단계와,
상기 제1 특징점과 상기 제2 특징점 간의 차이를 비교한 결과에 따라, 동일 여부를 판단하는 단계를 포함함을 특징으로 하는 얼굴 인식 방법.
제 12항에 있어서, 상기 제2 특징점을 생성하는 단계는
상기 대표 얼굴 이미지로부터 지역적인 특징을 추출하는 컨볼루션(Convolution)과 상기 추출된 특징을 서브 샘플링하는 풀링(Pooling)을 교대로 반복 수행하는 단계와,
완전 접속(fully connection)을 반복 수행하여 생성된 특징맵(Feature Map)들을 조합하여 제2 특징점을 생성하는 단계를 포함함을 특징으로 하는 얼굴 인식 방법.
제 10항에 있어서, 상기 인증을 수행하는 단계는
상기 식별된 사람에 대한 미리 저장된 대표 얼굴 이미지 제2 특징점을 검출하는 단계와,
상기 제1 특징점 및 제 2 특징점의 비교 결과에 따라 동일 여부를 판단하는 단계를 포함함을 특징으로 하는 얼굴 인식 방법.