KR20080073598A

KR20080073598A - 실시간 얼굴 인식을 위한 방법 및 장치

Info

Publication number: KR20080073598A
Application number: KR1020070012395A
Authority: KR
Inventors: 심동규; 조광신; 박수경
Original assignee: (주)코아정보시스템
Priority date: 2007-02-06
Filing date: 2007-02-06
Publication date: 2008-08-11

Abstract

본 발명은 실시간으로 사람의 신원을 판단하는 개인 식별 장치 및 방법에 관한 것으로, 실시간으로 영상을 획득하는 영상 획득 장치, 상기 획득된 영상에서 얼굴을 검출하는 안면검출장치, 다양한 조명변화에 덜 민감한 안면인식을 수행하기 위해 상기 검출된 안면 영상에서 조명에 강인하고 안면을 구분하는 특징을 잘 표현하는 안면특징추출 단계; 추출된 특징을 이용하여 주성분 분석 (PCA : Principal Component Analysis)혹은 선형 판별 분석 (FLD : Fisher Linear Discriminant) 알고리즘을 사용하여 얼굴을 인식하는 단계를 구비하는 안면인식 장치, 상기 인식된 결과의 신뢰도를 높이기 위해 이전 영상의 얼굴 인식 결과를 기반으로 안면을 재인식하는 2차 안면인식 장치를 구비한다. 본 발명에서는 신뢰도 높은 안면인식을 하기 위해 한 프레임의 영상을 이용한 안면인식 결과와 그 이전 프레임에 대한 인식 결과를 함께 고려하여 안면인식을 수행한다. 이때 사용하는 주변 프레임은 현재 프레임과의 좌ㆍ우 눈에 대한 위치정보를 고려하여 인식하려는 객체의 이동 여부를 판단하여 선택한다. 또한 본 발명에서는 영상의 지역적 구조특징을 추출하여 얼굴인식을 수행함으로써 신뢰성이 높고, 조명변화에도 강인한 얼굴인식을 수행할 수 있다.

얼굴 인식, 얼굴 검출, MCT (Modified Census Transform)

Description

실시간 얼굴 인식을 위한 방법 및 장치{Method of real time face recognition, and the apparatus thereof}

도 1은 본 발명에 따른 실시간 얼굴 인식 장치에 대한 실시 예를 설명하기 위한 블록도

도 2는 본 발명에 따른 안면 검출 방법에 대한 실시 예

도 3은 본 발명에 따른 얼굴의 지역적 구조 특징을 추출하는 MCT를 설명하기 위한 도면

도 4는 본 발명에 따른 도 3의 MCT 변환에서 사용하는 비트 변환 순서를 설명하기 위한 도면

도 5는 본 발명에 따른 MCT 패널티 테이블을 위한 도면

도 6은 본 발명에 따른 1차 얼굴인식장치에 대한 실시 예

도 7은 본 발명에 따른 특징 추출 및 얼굴인식 알고리즘(312)의 실시 예

도 8은 본 발명에 따른 2차 얼굴인식을 수행하는 방법을 설명하기 위한 실시 예의 블록도

도 9는 본 발명에 따른 상기 영상의 움직임을 판단하는 방법에 대한 실시 예

도 10은 본 발명에 따른 상기 2차 얼굴인식을 수행하는 방법에 대한 실시 예

도 11은 본 발명에 따른 실시간 얼굴 인식을 수행하는 과정을 설명한 흐름도

<도면의 주요 부분에 대한 부호의 설명>

100: 연속된 프레임의 정보를 이용한 2차 안면 인식부

130: 한 프레임의 정보를 이용한 1차 안면 인식부

120: 안면 검출부

110: 영상 획득부

본 발명은 실시간 얼굴인식 환경에서 조명변화에 강인하고 신뢰도 높은 얼굴인식을 하는 기술에 관한 것으로서 보다 상세하게는, 카메라를 통해 실시간으로 획득한 영상에서 얼굴 영역을 분리하고 상기 분리한 얼굴 영상에서 조명의 영향을 받지 않는 특징을 추출하는 과정을 거친 후 PCA 혹은 FLD 알고리즘을 이용한 얼굴인식을 수행하고, 인식하려는 객체에 대한 상기 카메라를 통해 획득한 영상과 이전에 획득한 영상들과의 움직임 정도를 고려하여 이전 프레임의 인식결과를 이용하는 얼굴인식 방법 및 장치에 관한 것이다.

현재 개인 식별이나 사용자 인증, 개인 정보보호를 위한 대표적인 수단으로 주민등록증, 운전면허증, 학생증 등 사진이나 카드를 이용하여 만들어진 식별도구들을 이용하고 있다. 그러나 이러한 식별수단들은 식별하고자 하는 개인이 휴대하 지 않은 경우 신원을 확인할 수 없기 때문에 본인으로 인정되지 않는 경우가 있으며, 때로는 식별 도구의 소유자와 실제 소유자가 같지 않은 경우에도 인증이 되는 경우가 발생한다. 이런 문제점을 보완하기 위하여 지문인식, 홍채인식, 얼굴인식 등의 생체 인식 기술의 개발이 진행되고 있다. 특히 생체인식 기술 중에서도 얼굴인식 기술은 다른 생체정보에 비해 사용자에 대한 강제성이 적으며, 비 접촉식으로 거부감이 덜하기 때문에 다양한 응용분야에서 각광을 받고 있다.

이에 따라 실제 인식환경에서 인식결과에 영향을 줄 수 있는, 환경 조건 변화에 강인한 얼굴인식 알고리즘의 개발에 관심이 집중되고 있다. 그 중에서도 조명변화는 여전히 얼굴인식 분야에서 해결해야할 문제로 남아있다. 또한 실시간 인식을 필요로 하는 응용분야에 대한 요구 증가로 인해 신뢰성 있는 실시간 얼굴시스템에 대한 중요성이 커지고 있다.

현재까지 얼굴인식분야에서 연구되고 있는 조명변화 문제를 해결하기 위한 방법으로는, 크게 전처리와 정규화를 이용한 방법, 조명변화에 강인한 특징을 추출하는 방법, 그리고 얼굴 영상을 3차원 모델링하는 방법으로 분류할 수 있다.

첫 번째로, 전처리와 정규화를 통한 얼굴인식 방법은 조명변화가 나타나는 영상에 평활화나 감마보정 혹은 로그변환 등을 적용함으로써 조명변화를 약화시키는 방법이다. 이 방법은 간단하게 사용할 수 있지만 조명변화가 영상 전체에 선형 적으로 변화하지 않는 경우 얼굴인식이 취약하다는 한계가 있다.

두 번째로, 객체를 인식하는데 필요한 정보는 유지하면서 조명에 대한 영향은 받지 않는 영상의 특징을 추출하는 방법이 있다. 이 방법은 이론적으로는 가장 이상적인 얼굴인식 방법이지만 실제 얼굴인식을 수행하는 과정에서 상기 특징들을 추출하는 방법이 쉽지 않다는 단점이 있다.

마지막으로 얼굴을 3차원 모델링함으로써 다양한 조명변화에 강인한 얼굴인식을 수행하는 방법이 있다. 이 방법은 일단 3차원 모델링을 완성한 경우 높은 인식결과를 얻을 수 있지만, 실제 얼굴인식을 수행하기 위해 많은 영상을 취득해야하고, 사람의 얼굴 또한 완벽한 램버시안 모형이 아니기 때문에 정확하게 얼굴 모델링이 되지 않는다는 단점이 있다.

본 발명에서는 조명에 강인한 영상의 특징을 추출하여 조명변화에 대응할 수 있고, 연속적으로 취득된 프레임간의 인식 결과를 고려하여 보다 신뢰도 높은 얼굴인식 결과를 도출할 수 있도록 하는 얼굴인식 방법 과 그 장치를 제공하는데 목적이 있다.

즉, 얼굴의 지역적 구조 특징 (Local structure feature)을 추출하는 MCT (Modified Census Transform)를 사용함으로써 조명에 강인한 얼굴인식을 하는 방법 및 그 장치를 제공하는데 목적이 있다.

또한 추출한 특징에 PCA 혹은 LDA를 적용함으로써 영상의 지역적인 특징뿐만 아니라 전체적인 특징도 함께 고려하여 정확한 얼굴인식을 할 수 있도록 한 얼굴인식 방법과 그 장치를 제공함을 목적으로 한다.

또한 본 발명은 상기 알고리즘들을 이용한 얼굴 인식결과와 이전 영상들의 인식 결과를 함께 고려하여 얼굴인식을 수행함으로써 신뢰도 높은 얼굴인식을 하는데 또 다른 목적이 있다.

상기목적을 달성하기 위해 본 발명에 따른 얼굴 인식 장치는 인식하고자 하는 객체의 영상을 실시간으로 취득하는 영상 취득 장치, 상기 취득된 영상에서 안면을 검출하는 안면검출 장치, 상기 검출된 안면을 통하여 MCT 기반으로 특징을 추출하고 이를 이용하여 얼굴인식을 수행하는 1차 안면인식 장치, 상기 인식된 결과와 이전 프레임들의 인식 결과를 함께 고려하여 얼굴인식을 수행하는 2차 안면인식 장치를 포함하는 것을 특징으로 한다.

또한 본 발명에 따른 얼굴인식 방법은 인식하고자 하는 영상을 획득하고, 상기 획득한 영상에서 MCT기반으로 얼굴을 검출하는 1단계; 상기 검출된 얼굴 영상의 좌ㆍ우 눈 좌표를 추출하는 2단계; 상기 검출된 얼굴 영상에서 MCT를 이용하여 조명에 강인한 지역적 구조 특징을 추출하는 3단계; 상기 추출한 영상의 특징과 PCA 혹은 FLD의 얼굴인식 알고리즘을 이용하여 얼굴인식을 수행하는 4단계; 상기 획득한 영상과 이전의 연속된 영상들 사이의 눈 좌표에 대한 거리를 산출하여 인식하려는 객체의 이동 유무를 판단하는 5단계; 상기 판단한 이동 유무를 기준으로 이전 영상들의 인식결과와 현재영상의 인식결과를 함께 고려한 얼굴인식을 수행하는 6단계를 포함하는 것을 특징으로 한다.

본 발명과 그것의 이점들을 보다 완전하게 이해하기 위해 이하에서는 첨부된 도면에 관련하여 본 발명의 실시 예를 상세하게 설명하도록 한다.

이하 도면과 다양한 실시 예들은, 본 발명의 장치 및 방법의 원리를 기술하기 위하여 본 특허에서 제시한 것으로, 설명을 위한 방법일 뿐이며 본 발명의 범위를 제한하는 어떤 방법으로 구성되어서는 안 된다.

도 1은 본 발명에 따른 실시간 얼굴 인식 장치에 대한 실시 예를 설명하기 위한 블록도이다.

도 1을 참조하면, 본 발명에 따른 실시간 얼굴인식 장치는 영상 획득 장치 (110)를 통해 인식하고자 하는 영상을 획득하고, 획득된 영상은 MCT 테이블 기반의 안면 검출 장치 (120)에서 인식하고자 하는 객체의 안면만을 검출한다. 그 후, 상기 검출된 안면에 대하여 조명에 강인한 얼굴인식을 수행하기 위해 MCT변환을 통해 영상의 구조적 특징을 추출한 후, 추출된 특징을 이용하여 PCA 혹은 FLD 등의 안면 인식 알고리즘을 사용하는 1차 안면 인식 장치 (130)를 통해 얼굴 인식을 수행한다. 상기 1차 안면 인식 장치 (130)를 통해 나온 안면인식 결과는 신뢰도 높은 안면인식을 위하여 2차 안면 인식 장치 (100)를 사용하여 시간축의 연관성을 이용한 2차 안면 인식을 다시 수행한다.

도 2는 본 발명에 따른 안면 검출 방법에 대한 실시 예이다.

도 2를 참조하면, 본 발명에서는 실시간 얼굴검출을 위하여 MCT 테이블을 이용한 얼굴 검출 알고리즘을 사용한다. MCT는 영상의 구조적 특징을 추출하는 변환으로, 일정 크기의 윈도우를 이용하여 윈도우 내에 위치한 픽셀들의 밝기값 순서를 결정하고 이에 따라 픽셀들의 밝기값을 변환하는 방법이다. 이때 윈도우의 크기를 작게 선택함으로써 윈도우 내의 픽셀들 밝기값 순서는 조명의 영향을 받지 않는다는 가정을 할 수 있다. 윈도우의 크기에 대한 제약은 없지만 본 발명에서는 조명에 대한 효과를 최대한 줄이기 위해 3×3 크기의 윈도우를 사용하여 MCT를 수행한다. MCT 변환에 의해 영상의 각 픽셀은 9비트의 이진 값을 갖게 된다. 본 발명에 따라 얼굴검출을 수행하기 위해 입력된 영상(210)에 MCT변환을 수행(220)하여 영상의 구조적 특징을 나타내는 이진 값을 추출하고, 영상에서 추출된 비트 스트링을 MCT 테이블의 값과 비교하여 패널티 값을 증가(230)시킨다. 이 후 패널티 값을 기준으로 얼굴 검출을 수행(200)한다.

도 3은 본 발명에 따른 얼굴의 지역적 구조 특징을 추출하는 MCT를 설명하기 위한 도면이다.

도 3을 참조하면, 본 발명에서는 안면 검출을 수행하기 위해 MCT변환을 사용한다. MCT변환은 다음과 같이 나타낼 수 있다.

여기서 N'은 픽셀 x를 중심으로 한 3×3 크기 블록 내의 픽셀들을 나타낸다. 은 블록 내 9개 픽셀 값들의 평균값이고, 는 픽셀 y 즉, 3×3 블록 내의 픽셀들의 밝기값을 나타낸다. 또 은 연결 연산자를 나타내고, 함수는 이면 1, 그 외에는 0을 결과로 하는 함수이다. 즉, 상기 영상의 각 픽셀을 중심으로 33 크기의 블록 단위로 MCT를 적용하여 블록의 중심 픽셀 값을 변환하는 것이다. MCT의 과정은 33 크기의 블록 내 픽셀 값들의 평균을 구하고, 그 평균과 블록 내 9개의 픽셀들의 밝기값을 비교하여 각 픽셀의 값이 평균값보다 크면 그 위치의 값을 1, 작으면 0으로 변환한다. 상기 MCT로 변환된 블록 내의 값들은 다시 도 4에서 나타낸 순서에 의해 비트열로 변환된다. 이러한 MCT는 3×3 블록단위로 한 픽셀씩 움직이며 수행된다.

도 4는 본 발명에 따른 MCT 변환에서 사용하는 비트 변환 순서를 설명하기 위한 도면의 실시 예이다.

도 4를 참조하면, 상기 변환된 9개의 값들은 도 4와 같은 순서에 의해 비트열로 변환된다. 상기 변환된 9 비트열은 윈도우 내의 중심 픽셀의 구조적 특징을 나타내는 값으로 저장되고, 이렇게 저장된 비트열과 미리 학습된 MCT 패널티 테이블을 이용하여 얼굴검출을 수행한다.

도 5는 본 발명에 따른 MCT 패널티 테이블을 도시하였다.

도 5를 참조하면, 본 발명에서는 영상의 각 픽셀이 갖고 있는 MCT변환 비트열 값에 일치하는 패널티 값을 미리 학습된 패널티 테이블에서 선택하고, 픽셀들의 패널티 값들을 누적시킨다.

도 6은 본 발명에 따른 1차 얼굴인식장치에 대한 실시 예를 도시하였다.

도 6을 참조하면, 본 발명에 따라 얼굴인식은 크게 오프라인에서 데이터베이스 영상을 이용하여 얼굴을 학습하는 1단계(310); 상기 학습된 데이터를 이용하여 실제 인식을 수행하는 2단계(320)로 분류할 수 있다.

영상을 학습하는 단계(310)는 기존에 미리 저장된 데이터베이스 영상(311)을 이용하여 영상 학습 알고리즘(312)을 수행하고, 그 결과로 나오는 데이터를 저장(313)하는 과정을 거친다. 이때 영상 학습 알고리즘으로 기존의 알고리즘의 하나를 사용할 수 있다. 본 발명에 따라 영상 학습 알고리즘으로 MCT를 이용하여 영상의 특징을 추출한 후 PCA 혹은 FLD 알고리즘을 사용하는 방법(312)을 적용한다. MCT 변환을 통해 얻은 특징을 조명에 강인하면서 영상의 구조적 특징을 잘 표현한다. FLD 알고리즘은 객체를 잘 구분할 수 있는 새로운 축을 구하는 알고리즘으로서 얼굴인식에 적합하다. 학습을 통해 나온 데이터로는 FLD를 통해 얻은 새로운 축과 이 축에 데이터베이스 영상을 프로젝션 시킴으로서 얻을 수 있는 특징 벡터들이 있다. 이러한 데이터는 따로 저장되어 이후 실제 얼굴인식 과정에서 사용되게 된다.

상기 얼굴학습 과정을 통해 나온 데이터(313)를 이용하여, 온라인 단계(320)에서 실제 얼굴인식을 수행한다. 본 발명에 따른 얼굴 인식 과정은 인식하고자 하는 객체의 영상이 입력되면 상기 추출한 새로운 축(312)에 프로젝션시켜 특징 벡터를 추출하고(322), 추출한 특징벡터와 상기 데이터베이스 영상의 특징 벡터(313)들과의 거리를 측정(323)하여 최단 거리를 갖는 데이터베이스 영상을 얼굴인식결과(321)로 출력한다.

도 7은 본 발명에 따른 특징 추출 및 얼굴인식 알고리즘(312)의 실시 예이다.

도 7을 참조하면, 본 발명에 따라 미리 저장된 학습 영상(311)들은 MCT변환을 통해 영상의 지역적 구조 특징을 나타내는 비트 스트링으로 표현(610)된다. 각 픽셀별로 변환된 비트스트링은 원 영상과 차원을 동일하게 유지하기 위해 10진수 변환과정(620)을 거친다. 상기 변환된 각 픽셀의 10진 특징값들은 영상의 전체적인 얼굴정보를 유지한다. 따라서 상기 추출된 특징을 이용하여 PCA 혹은 FLD등의 외형기반 얼굴인식 알고리즘을 수행함으로써(630) 얼굴의 지역적 구조 특징과 전체적인 특징을 모두 이용하여 얼굴인식을 수행한다.

도 8은 본 발명에 따른 2차 얼굴인식을 수행하는 방법을 설명하기 위한 실시 예의 블록도 이다.

도 8을 참조하면, 본 발명에 따라 현재 프레임에서 사람의 눈 좌표를 획득(410)하고, 이전 프레임들의 눈 좌표와 현재 프레임의 눈 좌표의 거리를 산출(420)하고 현재 프레임의 눈 좌표와 이전 프레임들의 눈 좌표 사이의 거리가 일정 임계치 이하면 인식하려는 객체가 영상 내에서 움직이지 않았다고 판단(430)하여 이전 프레임들의 인식결과를 고려한 2차 얼굴인식을 수행(440)한다.

도 9는 본 발명에 따른 상기 영상의 움직임을 판단하는 방법에 대한 실시 예를 도시하였다.

도 9를 참조하면, 본 발명에 따라 객체의 움직임을 고려하여 얼굴인식을 수행하기 위해 연속된 프레임에서 객체의 눈 위치 정보를 이용하였다. 현재 프레임을 n번째 프레임이라고 할 경우 n-1번째 프레임과 n-2번째 프레임에서 눈 좌표를 구한다. 상기 구해진 3개의 프레임들에 대한 눈 좌표의 거리를 계산하여, 이 거리가 어느 임계값 이하일 경우 인식하려는 대상이 상기 3개의 프레임 내에서는 움직이지 않았다고 가정한다. 이렇게 움직이지 않은 객체에 대해 인식을 수행할 경우, 현재 프레임의 인식결과 이외에 n-1번째 프레임과 n-2번째 프레임의 인식결과도 함께 고려하여 인식할 경우, 더욱 신뢰도 높은 얼굴인식을 수행할 수 있다.

도 10은 본 발명에 따른 상기 2차 얼굴인식을 수행하는 방법에 대한 실시 예를 도시하였다.

도 10을 참조하면, 본 발명에 따라 2차 얼굴인식을 수행할 때, 연속된 프레임간의 상관성을 이용하였다. 실시간 얼굴인식 장치를 이용하면 영상 획득 장치(110)에 의해 영상들이 연속적으로 획득되어진다. 이러한 영상들을 이용하여 얼굴인식을 수행할 경우 매우 짧은 시간 동안 영상이 획득되기 때문에 각 프레임에 대하여 인식결과를 출력하는 것보다 일정 시간의 프레임들의 연속된 인식 결과를 고려하여 얼굴인식을 수행하는 것이 인식결과의 신뢰도를 높일 수 있다. 따라서 본 발명에 따라 2차 얼굴인식장치는 연속된 프레임들의 인식결과를 고려하기 위해 각 프레임에 대하여 얼굴인식을 수행하고, 주변 프레임과의 눈 위치 정보를 확인하여 인식 대상의 움직임 유무를 확인한 후, 일정 시간 인식 대상이 움직이지 않은 경우 주변 프레임의 인식결과를 고려하여 인식결과를 출력한다. 본 발명에 따라 주변 프레임은 현재 프레임과 그 이전 2개의 영상을 이용하여 시간축을 고려한 얼굴인식을 수행한다. 도 10에 의해, 1, 2, 3번 프레임의 경우 얼굴검출과정에 의해 안면이 검출되지 않았기 때문에 인식결과가 나오지 않는다. 4번째 프레임의 경우 안면이 검출되고, 검출된 안면을 이용하여 1차 얼굴인식을 수행한다. 1차 얼굴인식을 수행한 후 이전 2번과 3번 프레임과의 눈 위치정보를 비교하여 객체의 움직임 유무를 판단한다. 객체가 시간에 따라 움직인 것으로 판단이 되면, 2차 얼굴인식 과정에 의해 인식결과가 출력되지 않는다. 5번, 6번 프레임의 경우도 얼굴이 검출되고, 검출된 안면을 이용하여 1차 얼굴인식을 수행하지만, 눈 위치정보를 이용하여 객체의 움직임 유무를 판단하여 객체가 움직인 경우 실제 얼굴인식 결과를 출력하지 않는다. 7번째 프레임의 경우 1차 얼굴인식 결과가 나오고, 이전 5번과 6번 프레임과 눈 위치정보를 비교해 본 결과 객체가 움직이지 않았음을 판단하여 실제 2차 얼굴인식 결과를 최종 얼굴인식 결과로 출력한다.

이하에서는 본 발명에 따른 얼굴 인식의 전체과정을 설명하도록 한다.

도 11은 본 발명에 따른 실시간 얼굴 인식을 수행하는 과정을 설명한 흐름도이다.

도 11을 참조하면, 본 발명에 따른 얼굴인식을 위해 영상을 입력받고, 입력받은 영상에서 인식하고자 하는 얼굴을 MCT변환을 통해 검출(510)한다.

상기 검출된 얼굴 영상에서 이후에 수행할 2차 얼굴인식 과정을 위해 좌·우 눈 좌표에 대한 정보를 추출(520)한다.

상기 검출된 얼굴영상은 MCT기반의 얼굴인식 알고리즘을 통해 얼굴인식을 수행(530)한다. MCT를 통해 조명에 강인한 얼굴인식을 수행하기 위해 상기 검출된 얼굴영상에 MCT변환을 적용하여 영상의 구조적 특징을 나타내는 비트열을 추출하고, 추출한 비트열을 기반으로 PCA 혹은 FLD등의 얼굴 인식 알고리즘을 수행한다.

상기 얼굴인식 과정을 통해 나온 인식 결과는 바로 출력되지 않고, 신뢰도 높은 얼굴인식을 수행하기 위해 2차 얼굴인식 과정을 거친다. 이를 위하여 본 발명에 따라 연속된 영상에서 객체의 움직임을 판단한다. 객체의 움직임은 프레임의 객체 사이의 눈 좌표 사이의 거리를 통해 판단(540)한다. 프레임 사이에 객체의 움직임이 없다고 판단된 경우(550), 이전 2개의 프레임의 인식결과를 고려하여 최종 인식결과를 출력(560)한다. 만일 객체가 움직였다고 판단된 경우(550) 최종 인식결과를 출력하지 않고, 다시 영상을 입력받고 상기 얼굴인식과정을 수행하게 된다.

전술한 바와 같이 본 발명에 따르면, MCT를 사용하여 조명 변화에 강한 얼굴의 구조적 특징을 추출하여 얼굴인식을 수행함으로서 다양한 조명변화에도 강인한 얼굴인식을 수행할 수 있고, 실시간으로 획득한 연속된 영상들의 관계를 고려하여 얼굴인식을 수행함으로써 신뢰성 있는 얼굴 인식결과를 얻는 효과가 있다.

Claims

실시간으로 획득되는 영상에서 얼굴인식을 수행하는 방법으로서,

영상을 획득하여 안면을 검출하고, 상기 검출된 안면에서 조명에 강한 영상의 특징을 추출하고, 상기 추출한 특징을 이용하여 얼굴인식을 수행하는 얼굴 인식 방법,

상기 인식된 영상의 결과와 주변 프레임의 인식결과를 함께 고려해서 다시 얼굴인식을 수행하는 2차 얼굴인식 방법을 포함하는 것을 특징으로 하는 얼굴 인식 방법.
제 1항에 있어서,

상기 조명에 강인한 얼굴인식 방법은, MCT를 이용하여 영상의 구조적인 특징을 나타내는 정보들을 추출하고, 추출한 정보를 이용하여 외형기반 얼굴인식 알고리즘을 수행함으로써 조명에 강인한 얼굴인식을 수행하는 것을 특징으로 하는 얼굴 인식 방법.
제 2항에 있어서,

상기 MCT를 이용한 영상의 구조 특징을 추출하는 과정은, 영상의 크기를 고려하여 윈도우 내에서 조명의 변화가 없다고 가정할 수 있는 일정 크기의 윈도우를 사용하여 MCT를 수행하는 것을 특징으로 하는 얼굴 인식 방법.
제 2항에 있어서,

상기 얼굴 인식 과정은, MCT를 통하여 나온 영상의 지역적 특징을 나타내는 비트 패턴을 십진수로 변환하는 방법
제 2항에 있어서,

상기 얼굴 인식 과정은, MCT를 통하여 나온 영상의 지역적 특징과 이러한 지역적 특징들의 전채적인 특징을 함께 고려하기 위해 외형기반 얼굴인식 방법인 PCA를 수행하는 것을 특징으로 하는 얼굴 인식 방법.
제 2항에 있어서,

상기 얼굴 인식 과정은, MCT를 통하여 나온 영상의 지역적 특징과 이러한 지역적 특징들의 전채적인 특징을 함께 고려하기 위해 외형기반 얼굴인식 방법인 LDA를 수행하는 것을 특징으로 하는 얼굴 인식 방법.
제 1항에 있어서,

상기 주변 프레임의 인식결과를 고려한 얼굴인식 방법은, 프레임 사이에서 객체의 움직임 여부를 판단하여 객체가 일정시간 고정되어 있다고 판단되면 주변 프레임들의 얼굴인식 결과와 현재 프레임의 얼굴인식 결과를 함께 고려하여 얼굴인식을 수행하는 것을 특징으로 하는 얼굴 인식 방법.
제 7항에 있어서,

상기 프레임사이의 얼굴인식 결과를 고려하여 얼굴인식을 수행하는 과정은, 객체의 움직임 여부를 판단하기 위해 각 프레임에서 객체의 눈 좌표를 추출하여 프레임들의 눈 좌표에 대한 거리를 측정하여 객체의 움직임 여부를 판단하는 것을 특징으로 하는 얼굴 인식 방법.
제 7항에 있어서,

상기 프레임 사이의 얼굴인식 결과를 고려한 얼굴인식 수행 과정은, 객체의 움직임 여부를 판단하여 객체가 움직이지 않은 경우 현재 프레임과 이전 n개의 프레임에 대한 얼굴인식 결과가 모두 동일한 경우만 최종 얼굴인식 결과로 출력하는 것을 특징으로 하는 얼굴 인식 방법.
실시간으로 획득되는 영상에서 얼굴인식을 수행하는 장치로서,

영상을 획득하여 안면을 검출하고, 상기 검출된 안면에서 조명에 강한 영상의 특징을 추출하고, 상기 추출한 특징을 이용하여 얼굴인식을 수행하는 얼굴 인식 장치,

상기 인식된 영상의 결과와 주변 프레임의 인식결과를 함께 고려해서 다시 얼굴인식을 수행하는 2차 얼굴인식 장치를 포함하는 것을 특징으로 하는 얼굴 인식 장치.
제 10항에 있어서,

상기 조명에 강인한 얼굴인식 방법은, MCT를 이용하여 영상의 구조적인 특징을 나타내는 정보들을 추출하고, 추출한 정보를 이용하여 외형기반 얼굴인식 알고리즘을 수행함으로써 조명에 강인한 얼굴인식을 수행하는 것을 특징으로 하는 얼굴 인식 장치.
제 11항에 있어서,

상기 MCT를 이용한 영상의 구조 특징을 추출하는 과정은, 영상의 크기를 고려하여 윈도우 내에서 조명의 변화가 없다고 가정할 수 있는 일정 크기의 윈도우를 사용하여 MCT를 수행하는 것을 특징으로 하는 얼굴 인식 장치.
제 11항에 있어서,

상기 얼굴 인식 과정은, MCT를 통하여 나온 영상의 지역적 특징을 나타내는 비트 패턴을 십진수로 변환하는 장치.
제 11항에 있어서,

상기 얼굴 인식 과정은, MCT를 통하여 나온 영상의 지역적 특징과 이러한 지역적 특징들의 전채적인 특징을 함께 고려하기 위해 외형기반 얼굴인식 방법인 PCA를 수행하는 것을 특징으로 하는 얼굴 인식 장치.
제 11항에 있어서,

상기 얼굴 인식 과정은, MCT를 통하여 나온 영상의 지역적 특징과 이러한 지역적 특징들의 전채적인 특징을 함께 고려하기 위해 외형기반 얼굴인식 방법인 LDA를 수행하는 것을 특징으로 하는 얼굴 인식 장치.
제 10항에 있어서,

상기 주변 프레임의 인식결과를 고려한 얼굴인식 방법은, 프레임 사이에서 객체의 움직임 여부를 판단하여 객체가 일정시간 고정되어 있다고 판단되면 주변 프레임들의 얼굴인식 결과와 현재 프레임의 얼굴인식 결과를 함께 고려하여 얼굴인식을 수행하는 것을 특징으로 하는 얼굴 인식 장치.
제 16항에 있어서,

상기 프레임사이의 얼굴인식 결과를 고려하여 얼굴인식을 수행하는 과정은, 객체의 움직임 여부를 판단하기 위해 각 프레임에서 객체의 눈 좌표를 추출하여 프레임들의 눈 좌표에 대한 거리를 측정하여 객체의 움직임 여부를 판단하는 것을 특징으로 하는 얼굴 인식 장치.
제 16항에 있어서,

상기 프레임 사이의 얼굴인식 결과를 고려한 얼굴인식 수행 과정은, 객체의 움직임 여부를 판단하여 객체가 움직이지 않은 경우 현재 프레임과 이전 n개의 프레임에 대한 얼굴인식 결과가 모두 동일한 경우만 최종 얼굴인식 결과로 출력하는 것을 특징으로 하는 얼굴 인식 장치.