KR101322168B1 - 실시간 얼굴 인식 장치 - Google Patents

Abstract

본 발명의 일 예에 따른 실시간 얼굴 인식 장치(100)는 입력된 영상에서 얼굴의 영상 좌표를 획득하여 얼굴 영상을 검출하는 얼굴 검출부(110), 얼굴 검출부에서 검출된 얼굴 영상에서 양안의 영상좌표를 획득하기 위한 눈검출부(120), 얼굴 검출부에서 검출된 얼굴 영상에서 병렬처리를 통한 특징 히스토그램 데이터를 생성하는 얼굴특징추출부(130), 사전에 생성된 비교 특징 히스토그램이 저장되는 데이터베이스부(140), 얼굴특징추출부에서 생성한 히스토그램 데이터와 데이터베이스부(150)에 저장된 비교 특징 히스토그램을 비교하여 얼굴 영상의 유사도를 출력하는 히스토그램 매칭부(160)를 포함한다.
이렇게 구성된 얼굴 인식 장치는 VGA 카메라와 전용칩이 인터페이스 된 내장형 하드웨어로 구현하여 시스템의 부피와 설치비용을 획기적으로 줄일 수 있고, 별도의 장비 추가 없이 실시간으로 얼굴인식을 수행할 수 있다.

Description

실시간 얼굴 인식 장치{APPARATUS FOR REAL-TIME FACE RECOGNITION}

본 발명은 영상에서 얼굴을 검출하여 인식하는 장치에 관한 것이다. 특히 본 발명은 비통계적인 방법을 사용하여 얼굴을 인식하는 장치로서, 병렬처리를 수행하는 임베디드 장치만으로 사람의 얼굴을 실시간으로 인식하는 장치에 관한 것이다.

영상 처리와 해석에 있어서, 인간의 얼굴은 시각적인 판별과 신원 확인에 대한 중요한 요소이다. 1990년대 초부터, 얼굴 인식과 얼굴 표정 해석에 대한 분석이 광범위하게 개발되어왔다. 최근에, 영상의 흐름 속에서 얼굴 검색과 신원확인을 위하여, 엠펙 세븐(MPEG-7) 얼굴 서술자(face descriptor)들이 제안되어왔다. 종래의 얼굴 인식 알고리즘에 반하여 상기 얼굴 서술자의 주요한 기능은 가능한 한 신속하고 효과적으로 조회 이미지와 똑같은 얼굴 이미지들을 검색하는 것이다.

얼굴인식기술이란 정지영상이나 동영상에 존재하는 한사람 이상의 얼굴에 대하여 주어진 얼굴 데이터베이스를 이용하여 그 신원을 확인하는 기술을 일컫는다.

일반적으로 얼굴 인식은 그 수행의 복잡성 때문에 일반적인 순차 시스템상에 소프트웨어적으로 구현이 이루어진다. 이 같은 방법은 매우 많은 데이터 처리량이 필요한 얼굴인식 분야에서 실시간으로 작동이 되는데 어려움이 있다. 또한 PC를 사용하기 때문에 시스템의 단가가 높고 부피가 커지는 문제점이 있다.

본 발명에 따른 실시간 얼굴 인식 장치는 다음과 같은 해결과제를 목적으로 한다.

첫째, 사람의 얼굴을 영상에서 검출하여 얼굴을 인식하고자 한다.

둘째, 비통계적인 방법을 사용하여 얼굴을 인식하고자 한다.

셋째, 병렬처리가 가능한 소형의 임베디드 시스템을 통해 실시간으로 얼굴을 인식하고자 한다.

본 발명의 해결과제는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 해결과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

본 발명에 따른 실시간 얼굴 인식 장치는 입력된 영상에서 얼굴의 영상 좌표를 획득하여 얼굴 영상을 검출하는 얼굴 검출부, 얼굴 검출부에서 검출된 얼굴 영상에서 양안의 영상좌표를 획득하기 위한 눈검출부, 얼굴 검출부에서 검출된 얼굴 영상에서 병렬처리를 통한 특징 히스토그램 데이터를 생성하는 얼굴특징추출부, 사전에 생성된 비교 특징 히스토그램이 저장되는 데이터베이스부, 얼굴특징추출부에서 생성한 히스토그램 데이터와 데이터베이스부에 저장된 비교 특징 히스토그램을 비교하여 얼굴 영상의 유사도를 출력하는 히스토그램 매칭부를 포함한다.

본 발명에 따른 얼굴특징추출부는 눈검출부에서 획득한 양안 좌표를 기반으로 얼굴을 다운 스케일링하는 얼굴정규화부, 얼굴정규화부에서 다운 스케일링된 얼굴 영상을 가보필터와의 컨볼루션(convolution) 필터링을 통해 GMP(Gabor Magnitude Picture)로 변환시키는 컨볼루션 필터링 연산부, GMP를 2개의 MLBP(Multi-resolution Local Binary Pattern)를 동시에 적용하여 LGBP Map(Local Gabor Binary Pattern Map)으로 변환시키는 MLBP 연산부 및 LGBP Map을 복수개의 크기가 같은 구역으로 나누고 그 중 일부 구역에 대하여 히스토그램을 생성하는 히스토그램 생성부를 포함한다.

본 발명에 따른 가보필터는 롬(ROM)에 저장된 실수부와 허수부로 구성된 가보필터쌍인 것을 특징으로 한다.

본 발명에 따른 컨볼루션 필터링 연산부는 윈도우를 사용하여 복수의 영상 데이터에 접근 가능한 구조를 갖는 것으로, 윈도우는 1 픽셀의 가로 크기 및 가보필터쌍과 같은 세로 크기를 갖는 것을 특징으로 한다.

본 발명에 따른 히스토그램 생성부는 MLBP 연산부에서 변환된 LGBP Map에서 균일 LGBP를 1부터 순서대로 매핑하고, 균일 LGBP가 아닌 것은 0으로 맵핑하여 히스토그램을 생성하는 것을 특징으로 한다.

본 발명에 따른 히스토그램 매칭부가 출력한 유사도가 가장 작은 값을 갖는 비교 특징 히스토그램의 식별정보를 출력하는 인식결과 출력부를 더 포함할 수 있다.

본 발명 다른 실시예에 따른 실시간 얼굴 인식 장치는 기준 위치에 눈이 위치하도록 얼굴이 위치하는 얼굴 템플릿부, 얼굴 템플릿부에 위치한 얼굴에 대한 영상을 생성하고, 생성된 얼굴 영상에서 병렬처리를 통한 특징 히스토그램 데이터를 생성하는 얼굴특징추출부, 사전에 생성된 비교 특징 히스토그램이 저장되는 데이터베이스부, 얼굴특징추출부에서 생성한 히스토그램 데이터와 데이터베이스부에 저장된 비교 특징 히스토그램을 비교하여 얼굴 영상의 유사도를 출력하는 히스토그램 매칭부를 포함한다.

얼굴특징추출부는 얼굴 템플릿부에서 획득한 양안 좌표를 기반으로 얼굴을 다운 스케일링하는 얼굴정규화부, 얼굴정규화부에서 다운 스케일링된 얼굴 영상을 가보필터와의 컨볼루션(convolution) 필터링을 통해 GMP(Gabor Magnitude Picture)로 변환시키는 컨볼루션 필터링 연산부, GMP를 2개의 MLBP(Multi-resolution Local Binary Pattern)를 동시에 적용하여 LGBP Map(Local Gabor Binary Pattern Map)으로 변환시키는 MLBP 연산부 및 LGBP Map을 복수개의 크기가 같은 구역으로 나누고 그 중 일부 구역에 대하여 히스토그램을 생성하는 히스토그램 생성부를 포함한다.

컨볼루션 필터링 연산부는 윈도우를 사용하여 복수의 영상 데이터에 접근 가능한 구조를 갖는 것으로, 윈도우는 1 픽셀의 가로 크기 및 가보필터쌍과 같은 세로 크기를 갖는 것을 특징으로 한다.

히스토그램 생성부는 MLBP 연산부에서 변환된 LGBP Map에서 균일 LGBP를 1부터 순서대로 매핑하고, 균일 LGBP가 아닌 것은 0으로 맵핑하여 히스토그램을 생성하는 것을 특징으로 한다.

히스토그램 매칭부가 출력한 유사도가 가장 작은 값을 갖는 비교 특징 히스토그램의 식별정보를 출력하는 인식결과 출력부를 더 포함할 수 있다.

본 발명에 따른 실시간 얼굴 인식 장치는 카메라로 입력되는 영상에 대해 얼굴의 영상좌표와 양안의 영상좌표를 자동적으로 구해 해당 얼굴에 대한 인식 결과를 실시간으로 출력해주는 장치를 구성할 수 있다. 또한, 얼굴검출부와 눈검출부가 제거되고 화면상의 미리 지정한 템플릿에 사용자가 임의로 얼굴을 맞추는 방식으로 간략화된 장치를 구성할 수 있다. 이렇게 구성된 얼굴 인식 장치는 VGA 카메라와 전용칩이 인터페이스 된 내장형 하드웨어로 구현하여 시스템의 부피와 설치비용을 획기적으로 줄일 수 있고, 별도의 장비 추가 없이 실시간으로 얼굴인식을 수행할 수 있다.

본 발명의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 발명의 일 예에 따른 실시간 얼굴 인식 장치의 개략적인 구성을 도시한 블록도이다.
도 2는 본 발명의 다른 예에 따른 실시간 얼굴 인식 장치의 개략적인 구성을 도시한 블록도이다.
도 3은 본 발명의 실시간 얼굴 인식 장치에서 얼굴 인식이 수행되는 순서를 설명한 흐름도이다.
도 4는 컨볼루션 필터링 연산부의 개략적인 구조를 도시한 구조도이다.
도 5는 MLBP 연산의 일 예를 도시한 예이다.
도 6은 MLBP 연산부에서 히스토그램 생성부까지 구조 및 데이터 흐름의 일 예를 도시한 구조도이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 해당 구성요소들은 상기 용어들에 의해 한정되지는 않으며, 단지 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

본 명세서에서 사용되는 용어에서 단수의 표현은 문맥상 명백하게 다르게 해석되지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함한다" 등의 용어는 설시된 특징, 개수, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 의미하는 것이지, 하나 또는 그 이상의 다른 특징들이나 개수, 단계 동작 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 배제하지 않는 것으로 이해되어야 한다.

이하에서는 도면을 참조하면서 실시간 얼굴 인식 장치에 관하여 구체적으로 설명하겠다.

도면에 대한 상세한 설명을 하기에 앞서, 본 명세서에서의 구성부들에 대한 구분은 각 구성부가 담당하는 주기능 별로 구분한 것에 불과함을 명확히 하고자 한다. 즉, 이하에서 설명할 2개 이상의 구성부가 하나의 구성부로 합쳐지거나 또는 하나의 구성부가 보다 세분화된 기능별로 2개 이상으로 분화되어 구비될 수도 있다. 그리고 이하에서 설명할 구성부 각각은 자신이 담당하는 주기능 이외에도 다른 구성부가 담당하는 기능 중 일부 또는 전부의 기능을 추가적으로 수행할 수도 있으며, 구성부 각각이 담당하는 주기능 중 일부 기능이 다른 구성부에 의해 전담되어 수행될 수도 있음은 물론이다. 따라서, 본 명세서를 통해 설명되는 각 구성부들의 존재 여부는 기능적으로 해석되어야 할 것이며, 이러한 이유로 본 발명의 실시간 얼굴 인식 장치(100)에 따른 구성부들의 구성은 본 발명의 목적을 달성할 수 있는 한도 내에서 도 1 또는 도 2와는 상이해질 수 있음을 명확히 밝혀둔다.

도 1은 본 발명의 일 예에 따른 실시간 얼굴 인식 장치(100)의 개략적인 구성을 도시한 블록도이다.

본 발명의 일 예에 따른 실시간 얼굴 인식 장치(100)는 입력된 영상에서 얼굴의 영상 좌표를 획득하여 얼굴 영상을 검출하는 얼굴 검출부(110), 얼굴 검출부에서 검출된 얼굴 영상에서 양안의 영상좌표를 획득하기 위한 눈검출부(120), 얼굴 검출부에서 검출된 얼굴 영상에서 병렬처리를 통한 특징 히스토그램 데이터를 생성하는 얼굴특징추출부(130), 사전에 생성된 비교 특징 히스토그램이 저장되는 데이터베이스부(140), 얼굴특징추출부에서 생성한 히스토그램 데이터와 데이터베이스부(140)에 저장된 비교 특징 히스토그램을 비교하여 얼굴 영상의 유사도를 출력하는 히스토그램 매칭부(150)를 포함한다.

상기 구성 이외에 얼굴 인식 장치는 기본적으로 외부로부터 이미지를 얻기 위한 디지털 카메라 및 카메라를 통해 획득한 이미지에 대한 영상 처리를 위한 메모리(프레임 버퍼 메모리)를 포함한다.

얼굴 검출부(110)는 입력된 영상 또는 메모리에 프레임 버퍼 메모리에 저장된 영상에서 얼굴 영상 좌표를 검출한다. 얼굴검출은 입력된 영상내 모든 지점에 대한 윈도우를 생성하고, 생성된 윈도우와 얼굴기준영상(Classifier)를 비교하여 해당 윈도우의 얼굴 영역 신뢰도에 따라 얼굴 여부를 판단한다. 보다 자세한 동작 설명은 동일 발명자의 실시간 얼굴 검출 장치 (등록번호 10-1033098)에 설명된다.

눈검출부(120)는 얼굴 검출부(110)에서 검출한 얼굴 영상 좌표로 특정되는 얼굴 영역에서 사람의 눈 좌표를 검출하는 구성이다. 양안의 좌표를 검출하여 눈 위치를 기준으로 얼굴을 인식하게 된다. 눈 검출에 대한 자세한 내용은 동일 발명자의 실시간 눈 검출 장치 및 그 방법(출원번호 10-2011-0030955)에 설명된다.

한편 본 발명의 얼굴 인식 장치의 다른 실시예는 전술한 얼굴 검출부(110) 및 눈검출부(120)가 생략된 구조이다. 영상에서 얼굴 및 눈 위치를 검출하는 과정을 생략하는 대신 사전에 마련된 기준 위치에 사람의 얼굴이 위치하게 만들고 이를 영상으로 촬영하여 이용한다.

도 2는 본 발명의 다른 예에 따른 실시간 얼굴 인식 장치(200)의 개략적인 구성을 도시한 블록도이다.

본 발명의 다른 예에 따른 실시간 얼굴 인식 장치(200)는 기준 위치에 눈이 위치하도록 얼굴이 위치하는 얼굴 템플릿부(210), 얼굴 템플릿부에 위치한 얼굴에 대한 영상을 생성하고, 생성된 얼굴 영상에서 병렬처리를 통한 특징 히스토그램 데이터를 생성하는 얼굴특징추출부(230), 사전에 생성된 비교 특징 히스토그램이 저장되는 데이터베이스부(240), 얼굴특징추출부에서 생성한 히스토그램 데이터와 데이터베이스부에 저장된 비교 특징 히스토그램을 비교하여 얼굴 영상의 유사도를 출력하는 히스토그램 매칭부(250)를 포함한다.

결국 얼굴 템플릿부(210)는 전술한 얼굴 검출부(110) 및 눈검출부(120)의 역할을 수행하는 것이다. 얼굴 검출부(110)는 입력 영상에서 얼굴 영역을 검출하나, 얼굴 템플릿부(210)는 기준 위치에 사람의 얼굴이 위치하므로 통상적인 얼굴 형태에 따라 얼굴 영역 및 눈 위치를 획득할 수 있다. 얼굴 템플릿부(210)는 하드웨어적인 장치에 얼굴을 안착하여 얼굴 영역 및 눈 위치를 획득할 수도 있고, 특정 디스플레이 화면에 얼굴의 윤곽선을 표시하고 사용자가 해당 윤곽선에 얼굴을 맞추는 방식으로 얼굴 영역 및 눈 위치를 획득 할 수도 있다.

도 3은 본 발명의 실시간 얼굴 인식 장치(100, 200)에서 얼굴 인식이 수행되는 순서를 설명한 흐름도이다. 얼굴인식 과정에 수행되면 첫 번째로 얼굴 이미지 정규화 과정을 수행한다. 얼굴정규화에서는 다양한 크기의 얼굴 이미지를 지정된 크기로 변경한다. 정규화된 얼굴이미지에 대해서 얼굴특징추출부를 통해 영상특징을 히스토그램 형태로 추출한다. 이후 인식모드여부 판단 부분에서는 상기 얼굴특징 데이터가 초기의 얼굴 등록을 위한 것인지 아니면 기 등록된 얼굴에 대한 인식을 하는 것인지 여부에 따라 다른 동작을 행한다. 얼굴정보 등록을 위한 것이라면 데이터베이스 등록을 수행하고, 얼굴인식을 위한 것이라면 기존 데이터베이스의 정보와 히스토그램 매칭을 수행한 이후 해당 매칭결과에 따른 인식결과를 출력한다. 데이터베이스 등록 혹은 인식결과 출력 후에 얼굴인식 과정은 종료한다.

얼굴특징추출부(130,230)는 눈검출부에서 획득한 양안 좌표를 기반으로 얼굴을 다운 스케일링하는 얼굴정규화부(131,231), 얼굴정규화부에서 다운 스케일링된 얼굴 영상을 가보필터와의 컨볼루션(convolution) 필터링을 통해 GMP(Gabor Magnitude Picture)로 변환시키는 컨볼루션 필터링 연산부(132,232), GMP를 2개의 MLBP(Multi-resolution Local Binary Pattern)를 동시에 적용하여 LGBP Map(Local Gabor Binary Pattern Map)으로 변환시키는 MLBP 연산부(133,233), 및 LGBP Map을 복수개의 크기가 같은 구역으로 나누고 그 중 일부 구역에 대하여 히스토그램을 생성하는 히스토그램 생성부(134,234)를 포함한다.

눈 검출부(120)가 없는 실시예에서 얼굴정규화부(231)는 얼굴 템플릿부(210)에서 획득한 양안 좌표를 기반으로 얼굴을 다운 스케일링한다. 얼굴 템플릿부(210)에서 얼굴 영역의 위치 및 눈 위치를 파악할 수 있으므로, 이를 기준으로 이후 단계를 진행하는 것이다.

얼굴정규화부(131,231)는 입력 영상에서 얼굴의 크기가 서로 다를 수 있기 때문에 얼굴의 크기를 본 발명의 실시간 얼굴 인식 장치에서 통일적으로 처리할 수 있도록 규격화하는 구성이다.

가보필터는 롬(ROM)에 저장된 실수부와 허수부로 구성된 가보필터쌍으로 구성된다.

컨볼루션 필터링 연산부(132,232)는 윈도우를 사용하여 복수의 영상 데이터에 접근 가능한 구조를 갖는 것으로, 윈도우는 1 픽셀의 가로 크기 및 가보필터쌍과 같은 세로 크기를 갖는 것이 바람직하다.

히스토그램 생성부(134,234)는 MLBP 연산부(133,233)에서 변환된 LGBP Map에서 균일 LGBP를 1부터 순서대로 매핑하고, 균일 LGBP가 아닌 것은 0으로 맵핑하여 히스토그램을 생성한다.

본 발명은 실험실에서 임베디드 칩셋 형태로 제작되어 실험하였는데, 이하 실험에 사용된 예를 기준으로 설명하고자 한다.

실험에서 얼굴 정규화부(131,231)는 외부로부터 입력 받은 양안의 영상좌표를 입력으로 받아 미리 정의 되어있는 템플릿과 비율을 계산하여 가로 40 픽셀, 세로 48 픽셀 크기의 정규화 된 얼굴 이미지를 생성한다. 정규화된 얼굴 이미지는 컨볼루션 필터링 연산부(132,232)에서 가보필터쌍과 2 차원 컨볼루션 연산이 이루어진다.

도 4는 컨볼루션 필터링 연산부(132,232)의 개략적인 구조를 도시한 구조도이다.

컨볼루션 필터링 연산부(132,232)는 크기가 가로 20 픽셀, 세로 24 픽셀크기의 가보필터쌍과 정규화된 얼굴 이미지와 2차원 컨볼루션 연산을 수행한다. 연산을 가속하기위해 가로 1 픽셀, 세로 24 픽셀 크기의 윈도우를 설정하여 복수의 데이터를 동시 접근 가능한 구조로 되어있고 그 결과 2차원 컨볼루션 연산을 1차원 컨볼루션 연산의 수준으로 복잡도가 낮아지게 하는 효과를 볼 수 있다. 컨볼루션 필터링 연산부(132,232)의 결과물인 GMP는 가로 40 픽셀, 세로 48 픽셀 크기이다.

도 5는 MLBP 연산의 일 예를 도시한 예이다.

MLBP 연산부(133,233)는 GMP를 이용하여 중심 픽셀을 기준으로 3x3, 5x5두 가지 LBP 연산을 동시에 실시한다. 이 결과로 LGBP Map 을 얻을 수 있다. 일반적으로 LGBP 데이터 중 하나의 데이터 내에서 0에서 1 또는 1에서 0으로 트랜지션이 2 이하인 데이터들을 Uniform LGBP(이하 ULGBP)로 칭한다.

도 6은 MLBP 연산부(133,233)에서 히스토그램 생성부(134,234)까지 구조 및 데이터 흐름의 일 예를 도시한 구조도이다.

히스토그램 생성부(134,234)는 8비트 LGBP중 ULGBP는 58개가 있고 이를 각각 1~58로 매핑시키고 나머지를 0으로 매핑하여 0~58 까지 데이터가 존재하는 히스토그램을 생성한다. 히스토그램 생성부(134,234)는 LGBP Map을 30개의 동일한 구간으로 나누어 그 중 20개 구간에 대하여 히스토그램을 생성한다.

삭제

데이터베이스부(140,240)는 비교 특징 히스토그램 데이터가 식별번호와 함께 저장되는 특징 저장소와 특징저장소에 있는 데이터와 비교를 위한 데이터(히스토그램 생성부에서 생성한 데이터)저장을 위한 임시특징저장소로 구성되어있다. 히스토그램 생성부에서 20번 반복적으로 나오는 히스토그램 데이터는 데이터 저장모드와 비교모드에 따라 특징저장소와 임시특징저장소에 기록된다.

히스토그램 매칭부(150,250)는 특징저장소와 임시특징저장소에 저장되어있는 두 특징데이터간의 유사도를 판단한다. 이 유사도 값은 두 특징데이터 간 차이가 없을수록 낮은 값을 갖게 되고 결과적으로 가장 작은 값을 갖는 특징데이터에 대하여 식별아이디를 반환한다. 본 발명에 따른 실시간 얼굴 검출 장치는 히스토그램 매칭부가 출력한 유사도가 가장 작은 값을 갖는 비교 특징 히스토그램의 식별정보를 출력하는 인식결과 출력부(160,260)를 더 포함할 수 있다.

본 실시예 및 본 명세서에 첨부된 도면은 본 발명에 포함되는 기술적 사상의 일부를 명확하게 나타내고 있는 것에 불과하며, 본 발명의 명세서 및 도면에 포함된 기술적 사상의 범위 내에서 당업자가 용이하게 유추할 수 있는 변형 예와 구체적인 실시예는 모두 본 발명의 권리범위에 포함되는 것이 자명하다고 할 것이다.

100, 200 : 실시간 얼굴 인식 장치 110 : 얼굴 검출부
210 : 얼굴 템플릿부 120 : 눈 검출부
130, 230 : 얼굴특징추출부 131, 231 : 얼굴정규화부
132, 232 : 컨볼루션 필터링 연산부 133, 233 : MLBP 연산부
134, 234 : 히스토그램 생성부 140, 240 : 데이터베이스부
150, 250 : 히스토그램 매칭부 160, 260 : 인식결과 출력부

Claims (11)

1. 얼굴 인식 장치에 있어서,
   입력된 영상에서 얼굴의 영상 좌표를 획득하여 얼굴 영상을 검출하는 얼굴 검출부;
   상기 얼굴 검출부에서 검출된 얼굴 영상에서 양안의 영상좌표를 획득하기 위한 눈검출부;
   상기 얼굴 검출부에서 검출된 얼굴 영상에서 병렬처리를 통한 특징 히스토그램 데이터를 생성하는 얼굴특징추출부;
   사전에 생성된 비교 특징 히스토그램이 저장되는 데이터베이스부;
   상기 얼굴특징추출부에서 생성한 히스토그램 데이터와 상기 데이터베이스부에 저장된 비교 특징 히스토그램을 비교하여 상기 얼굴 영상의 유사도를 출력하는 히스토그램 매칭부를 포함하는 것을 특징으로 하는 실시간 얼굴 인식 장치.
2. 제1항에 있어서,
   상기 얼굴특징추출부는
   상기 눈검출부에서 획득한 양안 좌표를 기반으로 얼굴 영상을 다운 스케일링하는 얼굴정규화부;
   상기 얼굴정규화부에서 다운 스케일링된 얼굴 영상을 가보필터와의 컨볼루션(convolution) 필터링을 통해 GMP(Gabor Magnitude Picture)로 변환시키는 컨볼루션 필터링 연산부;
   상기 GMP를 2개의 MLBP(Multi-resolution Local Binary Pattern)를 동시에 적용하여 LGBP Map(Local Gabor Binary Pattern Map)으로 변환시키는 MLBP 연산부; 및
   상기 LGBP Map을 복수개의 크기가 같은 구역으로 나누고 그 중 일부 구역에 대하여 히스토그램을 생성하는 히스토그램 생성부를 포함하는 것을 특징으로 하는 실시간 얼굴 인식 장치.
3. 제2항에 있어서,
   상기 가보필터는 롬(ROM)에 저장된 실수부와 허수부로 구성된 가보필터쌍인 것을 특징으로 하는 실시간 얼굴 인식 장치.
4. 제3항에 있어서,
   상기 컨볼루션 필터링 연산부는 윈도우를 사용하여 복수의 영상 데이터에 접근 가능한 구조를 갖는 것으로, 상기 윈도우는 1 픽셀의 가로 크기 및 상기 가보필터쌍과 같은 세로 크기를 갖는 것을 특징으로 하는 실시간 얼굴 인식 장치.
5. 제2항에 있어서,
   상기 히스토그램 생성부는 상기 MLBP 연산부에서 변환된 LGBP Map에서 균일 LGBP를 1부터 순서대로 매핑하고, 균일 LGBP가 아닌 것은 0으로 맵핑하여 히스토그램을 생성하는 것을 특징으로 하는 실시간 얼굴 인식 장치.
6. 제1항에 있어서,
   상기 히스토그램 매칭부가 출력한 유사도가 가장 작은 값을 갖는 비교 특징 히스토그램의 식별정보를 출력하는 인식결과 출력부를 더 포함하는 것을 특징으로 하는 실시간 얼굴 인식 장치.
7. 얼굴 인식 장치에 있어서,
   기준 위치에 눈이 위치하도록 얼굴이 위치하는 얼굴 템플릿부;
   상기 얼굴 템플릿부에 위치한 얼굴에 대한 영상을 생성하고, 생성된 얼굴 영상에서 병렬처리를 통한 특징 히스토그램 데이터를 생성하는 얼굴특징추출부;
   사전에 생성된 비교 특징 히스토그램이 저장되는 데이터베이스부;
   상기 얼굴특징추출부에서 생성한 히스토그램 데이터와 상기 데이터베이스부에 저장된 비교 특징 히스토그램을 비교하여 상기 얼굴 영상의 유사도를 출력하는 히스토그램 매칭부를 포함하는 것을 특징으로 하는 실시간 얼굴 인식 장치.
8. 제7항에 있어서,
   상기 얼굴특징추출부는
   상기 얼굴 템플릿부에서 획득한 양안 좌표를 기반으로 얼굴을 다운 스케일링하는 얼굴정규화부;
   상기 얼굴정규화부에서 다운 스케일링된 얼굴 영상을 가보필터와의 컨볼루션(convolution) 필터링을 통해 GMP(Gabor Magnitude Picture)로 변환시키는 컨볼루션 필터링 연산부;
   상기 GMP를 2개의 MLBP(Multi-resolution Local Binary Pattern)를 동시에 적용하여 LGBP Map(Local Gabor Binary Pattern Map)으로 변환시키는 MLBP 연산부; 및
   상기 LGBP Map을 복수개의 크기가 같은 구역으로 나누고 그 중 일부 구역에 대하여 히스토그램을 생성하는 히스토그램 생성부를 포함하는 것을 특징으로 하는 실시간 얼굴 인식 장치.
9. 제8항에 있어서,
   상기 가보필터는 롬(ROM)에 저장된 실수부와 허수부로 구성된 가보필터쌍이며,
   상기 컨볼루션 필터링 연산부는 윈도우를 사용하여 복수의 영상 데이터에 접근 가능한 구조를 갖는 것으로, 상기 윈도우는 1 픽셀의 가로 크기 및 상기 가보필터쌍과 같은 세로 크기를 갖는 것을 특징으로 하는 실시간 얼굴 인식 장치.
10. 제8항에 있어서,
    상기 히스토그램 생성부는 상기 MLBP 연산부에서 변환된 LGBP Map에서 균일 LGBP를 1부터 순서대로 매핑하고, 균일 LGBP가 아닌 것은 0으로 맵핑하여 히스토그램을 생성하는 것을 특징으로 하는 실시간 얼굴 인식 장치.
11. 제7항에 있어서,
    상기 히스토그램 매칭부가 출력한 유사도가 가장 작은 값을 갖는 비교 특징 히스토그램의 식별정보를 출력하는 인식결과 출력부를 더 포함하는 것을 특징으로 하는 실시간 얼굴 인식 장치.

Images