KR101414158B1

KR101414158B1 - 얼굴 인식 장치 및 방법

Info

Publication number: KR101414158B1
Application number: KR1020130138550A
Authority: KR
Inventors: 박강령; 조경은; 홍형길
Original assignee: 동국대학교 산학협력단
Priority date: 2013-11-14
Filing date: 2013-11-14
Publication date: 2014-07-02

Abstract

얼굴 인식 장치는 얼굴 영상을 수신하는 통신 인터페이스, 명령어에 따라 얼굴 영상에 나타난 사용자의 얼굴을 식별하는 프로세서 및 명령어를 저장하는 메모리를 포함하되, 명령어는, 얼굴 영상의 얼굴 박스 영역을 중앙 수직선으로 분할하여 일측 영역 및 타측 영역을 설정하는 단계, 일측 영역과 타측 영역을 비교하여 얼굴 박스 영역 상의 얼굴이 회전된 여부를 판단하는 단계, 얼굴이 회전된 경우, 얼굴 박스 영역을 얼굴 박스 영역의 중심점을 기준으로 미리 지정된 각도만큼 회전시키는 단계 및 얼굴이 회전되지 않은 경우, 얼굴 박스 영역을 이용하여 사용자의 얼굴을 식별하는 단계를 포함할 수 있다.

Description

얼굴 인식 장치 및 방법{APPARATUS AND METHDO FOR IDENTIFYING FACE}

본 발명은 얼굴을 인식하는 기술에 관한 것으로 보다 상세하게는 영상의 얼굴 영역을 검출하고 검출된 얼굴 영역의 얼굴을 인식하는 기술에 관한 것이다.

기존의 사용자 인증을 위한 시스템에 적용되는 생체인식 기술에는 사용자의 신체에서 식별이 가능한 고유 생체 특징 정보를 이용한 방법이 많이 사용된다. 생체인식 기술 중 얼굴인식은 사용자의 신원을 확인하기 위해 가장 보편적으로 사용되는 기술이다. 기존 얼굴 인식 기술의 경우, 사용자의 머리 모양 및 얼굴의 포즈에 의해 생기는 검출된 얼굴 영역의 회전 변화 등으로 인해 얼굴 인식 성능이 저하되는 문제가 발생한다.

본 발명이 해결하고자 하는 과제는 얼굴의 대칭성을 이용하여 회전된 얼굴 영역을 보정하는 얼굴 인식 장치 및 방법을 제공하는 것이다.

본 발명의 일 측면에 따르면, 얼굴 영상을 수신하는 통신 인터페이스; 명령어에 따라 상기 얼굴 영상에 나타난 사용자의 얼굴을 식별하는 프로세서; 및 상기 명령어를 저장하는 메모리;를 포함하되, 상기 명령어는, 상기 얼굴 영상의 얼굴 박스 영역을 중앙 수직선으로 분할하여 일측 영역 및 타측 영역을 설정하는 단계; 상기 일측 영역과 상기 타측 영역을 비교하여 상기 얼굴 박스 영역 상의 얼굴이 회전된 여부를 판단하는 단계; 상기 얼굴이 회전된 경우, 상기 얼굴 박스 영역을 상기 얼굴 박스 영역의 중심점을 기준으로 미리 지정된 각도만큼 회전시키는 단계; 및 상기 얼굴이 회전되지 않은 경우, 상기 얼굴 박스 영역을 이용하여 상기 사용자의 얼굴을 식별하는 단계;를 포함하는 얼굴 인식 장치가 제공된다.

상기 일측 영역과 상기 타측 영역을 비교하여 상기 얼굴 박스 영역 상의 얼굴이 회전된 여부를 판단하는 단계는, 상기 일측 영역의 히스토그램 특징 벡터를 산출하는 단계; 상기 타측 영역을 상기 중앙 수직선을 기준으로 대칭시키는 단계; 대칭된 상기 타측 영역의 히스토그램 특징 벡터를 산출하는 단계; 상기 일측 영역의 히스토그램 특징 벡터와 상기 타측 영역의 히스토그램 특징 벡터 간의 거리를 산출하는 단계; 상기 히스토그램 특징 벡터 간 거리가 미리 지정된 임계값 이하인 경우, 상기 얼굴 박스 영역 상의 얼굴이 회전되지 않은 것으로 판단하는 단계; 및 상기 히스토그램 특징 벡터 간 거리가 미리 지정된 임계값 초과인 경우, 상기 얼굴 박스 영역 상의 얼굴이 회전된 것으로 판단하는 단계를 포함할 수 있다.

상기 얼굴 영상의 얼굴 박스 영역을 중앙 수직선으로 분할하여 일측 영역 및 타측 영역을 설정하는 단계는 상기 얼굴 박스 영역 중 머리카락을 포함하는 영역 및 얼굴의 가장자리 영역을 제외한 관심 영역을 추출하는 단계; 및 상기 관심 영역을 상기 중앙 수직선으로 분할하여 상기 일측 영역 및 상기 타측 영역을 설정하는 단계를 포함할 수 있다.

본 발명의 다른 측면에 따르면, 얼굴 인식 장치가 얼굴 영상의 얼굴을 인식하는 방법에 있어서, 상기 얼굴 영상의 얼굴 박스 영역을 중앙 수직선으로 분할하여 일측 영역 및 타측 영역을 설정하는 단계; 상기 일측 영역과 상기 타측 영역을 비교하여 상기 얼굴 박스 영역 상의 얼굴이 회전된 여부를 판단하는 단계; 상기 얼굴이 회전된 경우, 상기 얼굴 박스 영역을 상기 얼굴 박스 영역의 중심점을 기준으로 미리 지정된 각도만큼 회전시키는 단계; 및 상기 얼굴이 회전되지 않은 경우, 상기 얼굴 박스 영역을 이용하여 사용자의 얼굴을 식별하는 단계;를 포함하는 얼굴 인식 방법.

상술한 바와 같이 본 발명의 일 실시예에 따르면, 얼굴의 회전에 따른 얼굴 인식률 저하를 방지할 수 있다.

도 1은 본 발명의 일 실시예에 따른 얼굴 인식 장치를 예시한 도면.
도 2는 본 발명의 일 실시예에 따른 얼굴 인식 장치가 얼굴을 인식하는 과정을 예시한 순서도.
도 3은 본 발명의 일 실시예에 따른 얼굴 인식 장치에 입력된 얼굴 영상을 예시한 도면.
도 4는 본 발명의 일 실시예에 따른 얼굴 인식 장치가 검출한 얼굴 박스 영역을 나타낸 도면.
도 5는 본 발명의 일 실시예에 따른 얼굴 인식 장치가 관심 영역을 추출하는 것을 예시한 도면.
도 6은 본 발명의 일 실시예에 따른 얼굴 인식 장치가 추출한 관심 영역을 예시한 도면.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 이를 상세한 설명을 통해 상세히 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

또한, 본 명세서에서, 일 구성요소가 다른 구성요소로 신호를 “전송한다”로 언급된 때에는, 상기 일 구성요소가 상기 다른 구성요소와 직접 연결되어 신호를 전송할 수 있지만, 특별히 반대되는 기재가 존재하지 않는 이상, 중간에 또 다른 구성요소를 매개하여 신호를 전송할 수도 있다고 이해되어야 할 것이다.

도 1은 본 발명의 일 실시예에 따른 얼굴 인식 장치를 예시한 도면이다.

도 1을 참조하면, 얼굴 인식 장치는 통신 인터페이스(110), 프로세서(120), 메모리(130)를 포함한다.

통신 인터페이스(110)는 외부 장치(카메라, 저장 매체, 통신망을 통해 연결된 단말 등)로부터 얼굴 영상을 수신한다.

프로세서(120)는 메모리(130)에 저장된 명령어에 따라 얼굴 영상에 포함된 얼굴 영역을 검출하고, 검출된 얼굴 영역을 이용하여 해당 얼굴 영상에 상응하는 사용자를 식별한다.

메모리(130)는 프로세서(120)에 의해 수행될 얼굴 영상에 나타난 사용자를 식별하기 위한 명령어를 저장한다.

이하 도 2를 참조하여 얼굴 인식 장치가 상술한 메모리(130)에 저장된 명령어에 따른 얼굴을 인식하여 얼굴 영상에 나타난 사용자를 식별하는 과정을 상세히 설명하도록 한다.

도 2는 본 발명의 일 실시예에 따른 얼굴 인식 장치가 얼굴을 인식하는 과정을 예시한 순서도이다. 이하, 설명하는 각 과정은 얼굴 인식 장치의 프로세서(120)가 메모리(130)에 저장된 명령어에 따라 수행하는 과정이나, 발명의 간결하고 명확한 설명을 위해 각 단계의 주체를 얼굴 인식 장치로 통칭하도록 한다.

단계 210에서 얼굴 인식 장치는 외부 장치로부터 얼굴 영상을 수신한다.

단계 220에서 얼굴 인식 장치는 얼굴 영상 중 얼굴 박스 영역을 검출한다. 얼굴 박스 영역은 얼굴 영상 중 얼굴이라 추정되는 직사각형의 영역을 의미한다. 이 때, 얼굴 인식 장치는 Adaboost face detector, 얼굴 박스 영역을 검출하기 위해 학습된 신경망 등의 공지된 방법을 통해 얼굴 박스 영역을 검출할 수 있다.

단계 230에서 얼굴 인식 장치는 얼굴 박스 영역 내에서 머리카락 영역 및 얼굴의 가장자리 영역 등을 대칭성을 판단하는데 방해되는 정보를 제거한 관심 영역(ROI: Region of Interest)을 설정한다. 예를 들어, 얼굴 인식 장치는 얼굴 박스 영역의 크기에 비례하여 얼굴 박스 영역 내 가장자리 영역과 머리카락 영역의 크기(예를 들어, 얼굴 박스 영역의 외곽선으로부터 관심 영역의 외곽선까지의 최단 거리)를 설정하고, 설정된 크기의 가장자리 영역과 머리카락 영역을 얼굴 박스 영역으로부터 제외된 영역인 관심 영역을 설정할 수 있다.

단계 240에서 얼굴 인식 장치는 관심 영역을 중앙 수직선을 기준으로 왼쪽 영역 및 오른쪽 영역으로 분할한다.

단계 250에서 얼굴 인식 장치는 왼쪽 영역 및 오른쪽 영역 중 어느 하나(이하 일측 영역이라 지칭)를 하나 이상의 미리 지정된 크기의 블록으로 분할하고, 각 블록에 대해 LBP(Local Binary Pattern) 방식을 적용하여 히스토그램 특징 벡터를 추출하고, 각 히스토그램 특징 벡터를 결합한다.

단계 260에서 얼굴 인식 장치는 왼쪽 영역 및 오른쪽 영역 중 다른 하나(이하 타측 영역이라 지칭)를 중앙 수직선을 기준으로 대칭시킨다.

단계 270에서 얼굴 인식 장치는 대칭된 타측 영역을 하나 이상의 미리 지정된 크기의 블록으로 분할하고, 각 블록에 대해 LBP를 적용하여 히스토그램 특징 벡터를 추출하고, 각 히스토그램 특징 벡터를 결합한다.

단계 280에서 얼굴 인식 장치는 일측 영역 및 타측 영역에서 각각 추출된 히스토그램 특징 벡터 간 거리를 산출한다.

단계 290에서 얼굴 인식 장치는 일측 영역 및 타측 영역에서 추출된 히스토그램 특징 벡터 간의 거리가 미리 지정된 임계값 이하인지 판단한다.

단계 290에서 일측 영역 및 타측 영역에서 추출된 히스토그램 특징 벡터 간의 거리가 미리 지정된 임계값 이하인 경우, 단계 295에서 얼굴 인식 장치는 현재 얼굴 박스 영역을 최종적으로 얼굴 영역으로 선정한다.

단계 290에서 일측 영역 및 타측 영역에서 추출된 히스토그램 특징 벡터 간의 거리가 미리 지정된 임계값 초과인 경우, 단계 297에서 얼굴 인식 장치는 얼굴 박스 영역을 얼굴 박스 영역의 중심점을 기준으로 시계(또는 반시계) 방향으로 미리 지정된 각도만큼 회전시킨다. 단계 297 이후, 얼굴 인식 장치는 단계 230부터의 과정을 다시 수행한다.

단계 299에서 얼굴 인식 장치는 선정된 얼굴 박스 영역을 분석하여 얼굴 영상에 상응하는 사용자를 식별한다. 이 때, 얼굴 박스 영역 상 사용자를 식별하는 기술은 공지된 사항이므로 그 설명을 생략하기로 한다.

따라서, 본 발명의 일 실시예에 따른 얼굴 인식 장치는 얼굴 영상에 나타난 사용자의 얼굴이 회전되지 않았을 경우, 좌우 대칭인 점을 이용하여 얼굴의 회전 여부를 판단할 수 있다.

도 3은 본 발명의 일 실시예에 따른 얼굴 인식 장치에 입력된 얼굴 영상을 예시한 도면이고, 도 4는 본 발명의 일 실시예에 따른 얼굴 인식 장치가 검출한 얼굴 박스 영역을 나타낸 도면이다.

도 3을 참조하면, 310과 같이 얼굴이 회전되지 않은 경우, 공지된 얼굴 영상을 이용한 사용자 식별의 정확성이 높아진다. 하지만, 얼굴 영상이 320, 330과 같이 회전(Inplane Rotation)된 경우, 사용자 식별의 정확성이 떨어진다. 도 4를 참조하면, 410과 같이 얼굴 인식 장치가 검출한 얼굴 박스 영역들과 420, 430과 같이 회전된 얼굴에 따른 얼굴 박스 영역은 눈 위치 등에서 상당히 상이한 모습을 보인다. 이에 따라, 얼굴 박스 영역을 이용하여 사용자를 식별함에 있어서, 회전된 얼굴은 사용자 식별의 정확성을 떨어뜨린다.

따라서, 본 발명의 일 실시예에 따른 얼굴 인식 장치는 도 2를 참조하여 상술한 과정을 통해 320, 330과 같이 회전된 얼굴을 310과 같이 보정하고, 보정된 얼굴 박스 영역을 이용하여 사용자를 식별하여 사용자 식별의 정확성을 높일 수 있다.

도 5는 본 발명의 일 실시예에 따른 얼굴 인식 장치가 관심 영역을 추출하는 것을 예시한 도면이고, 도 6은 본 발명의 일 실시예에 따른 얼굴 인식 장치가 추출한 관심 영역을 예시한 도면이다.

도 5를 참조하면, 얼굴 영상의 얼굴 박스 영역은 머리카락을 포함하는 영역(510), 얼굴의 가장자리 영역(520) 및 관심 영역(530)을 포함한다. 이 때, 머리카락을 포함하는 영역은 좌우 대칭성을 보이지 않는 경우가 많고, 얼굴의 가장자리 영역은 얼굴 이외의 촬영된 외부 환경이 포함되거나 귀의 위치 등이 좌우대칭이 아닌 경우가 많다. 따라서, 얼굴 인식 장치는 도 6과 같이 얼굴 박스 영역에서 얼굴의 대칭성을 확인하기 위해 머리카락을 포함하는 영역 및 가장자리 영역을 제외한 관심 영역만을 이용할 수 있다.

도 6은 본 발명의 일 실시예에 따른 얼굴 인식 장치가 히스토그램 특징 벡터를 추출하는 과정을 예시한 도면이다.

도 6을 참조하면, 얼굴 인식 장치는 일측 영역 또는 중앙 수직선을 기준으로 대칭된 타측 영역을 하나의 블록(610), 4개의 블록(620), 8개의 블록(630)으로 분할하였을 경우, 각 블록에 대한 히스토그램 특징 벡터를 산출한다. 얼굴 인식 장치는 각 히스토그램 특징 벡터를 결합하여 일측 영역 또는 중앙 수직선을 기준으로 대칭된 타측 영역에 대한 히스토그램 특징 벡터를 도출할 수 있다.

따라서, 본 발명의 일 실시예에 따른 얼굴 인식 장치가 추출한 히스토그램 특징 벡터는 일측 영역 또는 중앙 수직선을 기준으로 대칭된 타측 영역의 전체를 보았을 때 특징으로 해당하는 부분과 일부 영역에 대한 특징을 모두 반영한 히스토그램 특징 벡터를 도출할 수 있다.

이제까지 본 발명에 대하여 그 실시 예를 중심으로 살펴보았다. 전술한 실시 예 외의 많은 실시 예들이 본 발명의 특허청구범위 내에 존재한다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예는 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims

얼굴 영상을 수신하는 통신 인터페이스;
명령어에 따라 상기 얼굴 영상에 나타난 사용자의 얼굴을 식별하는 프로세서; 및
상기 명령어를 저장하는 메모리;
를 포함하되,
상기 명령어는,
상기 얼굴 영상의 얼굴 박스 영역을 중앙 수직선으로 분할하여 일측 영역 및 타측 영역을 설정하는 단계;
상기 일측 영역과 상기 타측 영역을 비교하여 상기 얼굴 박스 영역 상의 얼굴이 회전된 여부를 판단하는 단계;
상기 얼굴이 회전된 경우, 상기 얼굴 박스 영역을 상기 얼굴 박스 영역의 중심점을 기준으로 미리 지정된 각도만큼 회전시키는 단계; 및
상기 얼굴이 회전되지 않은 경우, 상기 얼굴 박스 영역을 이용하여 상기 사용자의 얼굴을 식별하는 단계;
를 포함하되,
상기 일측 영역과 상기 타측 영역을 비교하여 상기 얼굴 박스 영역 상의 얼굴이 회전된 여부를 판단하는 단계는,
상기 일측 영역의 히스토그램 특징 벡터를 산출하는 단계;
상기 타측 영역을 상기 중앙 수직선을 기준으로 대칭시키는 단계;
대칭된 상기 타측 영역의 히스토그램 특징 벡터를 산출하는 단계;
상기 일측 영역의 히스토그램 특징 벡터와 상기 타측 영역의 히스토그램 특징 벡터 간의 거리를 산출하는 단계;
상기 히스토그램 특징 벡터 간 거리가 미리 지정된 임계값 이하인 경우, 상기 얼굴 박스 영역 상의 얼굴이 회전되지 않은 것으로 판단하는 단계; 및
상기 히스토그램 특징 벡터 간 거리가 미리 지정된 임계값 초과인 경우, 상기 얼굴 박스 영역 상의 얼굴이 회전된 것으로 판단하는 단계
를 포함하고,
상기 히스토그램 특징 벡터는 상기 일측 영역 또는 상기 타측 영역을 복수의 크기로 설정된 블록으로 분할하고, 각 크기의 상기 블록에 상응하는 히스토그램 특징 벡터를 결합한 히스토그램 특징 벡터인 것을 특징으로 하는 얼굴 인식 장치.
삭제
제1 항에 있어서,
상기 얼굴 영상의 얼굴 박스 영역을 중앙 수직선으로 분할하여 일측 영역 및 타측 영역을 설정하는 단계는
상기 얼굴 박스 영역 중 머리카락을 포함하는 영역 및 얼굴의 가장자리 영역을 제외한 관심 영역을 추출하는 단계; 및
상기 관심 영역을 상기 중앙 수직선으로 분할하여 상기 일측 영역 및 상기 타측 영역을 설정하는 단계
를 포함하는 것을 특징으로 하는 얼굴 인식 장치.
얼굴 인식 장치가 얼굴 영상의 얼굴을 인식하는 방법에 있어서,
상기 얼굴 영상의 얼굴 박스 영역을 중앙 수직선으로 분할하여 일측 영역 및 타측 영역을 설정하는 단계;
상기 일측 영역과 상기 타측 영역을 비교하여 상기 얼굴 박스 영역 상의 얼굴이 회전된 여부를 판단하는 단계;
상기 얼굴이 회전된 경우, 상기 얼굴 박스 영역을 상기 얼굴 박스 영역의 중심점을 기준으로 미리 지정된 각도만큼 회전시키는 단계; 및
상기 얼굴이 회전되지 않은 경우, 상기 얼굴 박스 영역을 이용하여 사용자의 얼굴을 식별하는 단계;
를 포함하되,
상기 일측 영역과 상기 타측 영역을 비교하여 상기 얼굴 박스 영역 상의 얼굴이 회전된 여부를 판단하는 단계는,
상기 일측 영역의 히스토그램 특징 벡터를 산출하는 단계;
상기 타측 영역을 상기 중앙 수직선을 기준으로 대칭시키는 단계;
대칭된 상기 타측 영역의 히스토그램 특징 벡터를 산출하는 단계;
상기 일측 영역의 히스토그램 특징 벡터와 상기 타측 영역의 히스토그램 특징 벡터 간의 거리를 산출하는 단계;
상기 히스토그램 특징 벡터 간 거리가 미리 지정된 임계값 이하인 경우, 상기 얼굴 박스 영역 상의 얼굴이 회전되지 않은 것으로 판단하는 단계; 및
상기 히스토그램 특징 벡터 간 거리가 미리 지정된 임계값 초과인 경우, 상기 얼굴 박스 영역 상의 얼굴이 회전된 것으로 판단하는 단계
를 포함하고,
상기 히스토그램 특징 벡터는 상기 일측 영역 또는 상기 타측 영역을 복수의 크기로 설정된 블록으로 분할하고, 각 크기의 상기 블록에 상응하는 히스토그램 특징 벡터를 결합한 히스토그램 특징 벡터인 것을 특징으로 하는 얼굴 인식 방법.
삭제
제4 항에 있어서,
상기 얼굴 영상의 얼굴 박스 영역을 중앙 수직선으로 분할하여 일측 영역 및 타측 영역을 설정하는 단계는
상기 얼굴 박스 영역 중 머리카락을 포함하는 영역 및 얼굴의 가장자리 영역을 제외한 관심 영역을 추출하는 단계; 및
상기 관심 영역을 상기 중앙 수직선으로 분할하여 상기 일측 영역 및 상기 타측 영역을 설정하는 단계
를 포함하는 것을 특징으로 하는 얼굴 인식 방법.