KR100974293B1 - 얼굴 인식 방법 및 시스템 - Google Patents

Abstract

본 발명은 얼굴 인식 시스템 및 방법으로서, 사람의 얼굴 이미지를 자동으로 탐지하고 추적하고 인식하는 시스템 및 방법에 관한 것이다. 본 발명에 따르면, 광학 센서를 적용하여 관찰구역에 있는 2D 이미지데이터를 원격 수집하고, 관찰 구역에 있는 모든 사람들의 얼굴을 탐지하고 그 위치를 선정할 수 있다. 다음, 얼굴을 탐지하고 탐지된 얼굴의 특징 좌표를 평가할 수 있으며, 비디오 시퀀스 처리시 다음 프레임에서 이미 탐지된 얼굴과 그 특징을 추적할 수 있다.그리고, 각각의 탐지된 얼굴에 대해서 포커스, 명도, 대비, 안경 유무의 파라미터에 따라 이미지 품질을 평가한다. 그리고 각각의 탐지된 얼굴에 대하여 위의 얼굴 이미지 품질 계산 수치를 고려하여 저장소에 있는 인식 방법들을 조정할 수 있으며, 각각의 탐지된 얼굴에 대하여 선택된 인식 방법을 사용하여 생물측정학적 특징 셋트를 형성할 수 있다. 다음, 각각의 탐지된 얼굴에 대하여 데이터베이스에 저장되어 있는 템플릿 셋트와 비교하여 제작된 생물측정학적 특징을 이용하여 감시 목록에 따라 인물을 인식할 수 있다. 그리고, 새로운 사용자 등록 과정을 수행한 후 감시 목록을 고려하여 인식 방법을 자동으로 적응화시킬 수 있다.

Description

얼굴 인식 방법 및 시스템{METHOD AND SYSTEM FOR AUTOMATED FACE DETECTION and Recognition}

본 발명은 감시목록(watch list)에 따른 생물측정학적(biometric) 인물 식별 시스템 및 방법에 관한 것으로, 감시 목록에 있는 인물 특징을 고려한 적응적 인물 인식을 수행하고, 대규모의 군중이 모인 장소(지하철, 공항 등)에서 구조적으로 복잡한 장면상의 인물 얼굴과 같은 피사체의 탐지 및 추적을 수행하는 기술이다.

잘 알려진 생물 측정학적 시스템을 비롯한 보안 시스템에서, 보안 확보를 위한 방법과 시스템들은 시스템 정밀도, 신뢰성, 적응성 향상을 위해 다음과 같은 기술들을 포함한다.

● 잠복 비디오 관찰

● 관찰 지역에 있는 사람 탐지

● 피사체 움직임 추적

● 템플릿 이미지 특성에 기초하여 특정한 감시 목록에 대한 인물 인식 방법들의 적응적 선택

예를 들어 러시아 연방 특허 2006118145에서는 복잡한 장면에 대한 적응적으로 차별되는 인물 탐지 시스템 설계 방법을 제안하고 있다. 이는 얼굴 탐지 시스템의 생산성 수준과 장면 난이도에 대한 적응수준을 향상시키는 기술로서, 난이도가 높은 장면에서 생물측정학적 인물 식별 시스템의 적용 분야를 확대시켜줄 수 있다. 또한 상기 기술은 특정한 장면의 특성에 따라 안정성과 탐지 속도를 최적화시킬 수 있다. 이미지 품질 평가 방법에 기초하여 사람과의 유사성 계수를 평가하는데, 이것은 품질이 불량한 이미지를 향상시키고, 조명 상태가 좋지 않은 인물은 제거할 수 있으므로, 인물 인식 수준을 향상시킬 수 있다. 그러나 상기 기술은 이미지 품질에 대한 상세 평가를 수행하지 않고 특정 감시 목록의 특성에 대하여 충분한 적응성 수준을 지니고 있지 않다는 문제점이 있었다.

러시아 연방 특허 2006118146은 피사체 탐지, 피사체 추적, 탐지된 피사체에 대한 이미지 품질 평가, 3D 장면 모델 재구성을 이용한 피사체 이미지 복구, 포착 및 처리되는 피사체 이미지 향상을 위해 카메라와 조명 자동 제어를 통합하는 방법을 제안하고 있다. 상기 기술은 파라미터 스펙트럼에 따른 이미지 품질 평가, 이미지 품질 향상, 이미지 품질 평가에 따른 인물 인식기술이다. 그럼에도 불구하고, 본 방법은 특정한 감시 목록 특성에 대한 인식 방법을 적용하고 있지 않다.

미국 특허 6,826,300은 템플릿 이미지와 해당 이미지의 근접성을 측정하는 방법을 제안하고 있다. 이 방법에서는 Gabor 웨이브렛(wavelet) 기준에 기초하여 얼굴 이미지의 특징들을 과다하게 제시한다. 주요 구성 요소와 선형 판별 해석법에 기초하여 얼굴 이미지의 주요 유효 형태를 선택하는 방법이 사용되며, 마할라노비스 측정과 코사인 측정 중 하나에 따라 근접성을 측정 계산한다. 그럼에도 불구하고 이 근접성 측정 계산 방법은 데이터 특징을 고려하지 않고 감시 목록의 템플릿 이미지에 적응되어 있지 않다.

미국 특허 7,031,499는 물체 인식 시스템으로, 필터 셋트와 단순한 분류기를 증폭하는 방법에 기초하여 이미지 갤러리에서 피사체 타입을 인식할 수 있으며, 그 결과 분류기들의 단계식 가중치(cascade weight)가 적응적으로 제작되고, 다양한 피사체 타입에 대한 탐지 과제가 해결될 수 있다. 그럼에도 불구하고 상기 기술은 특정한 감시 목록의 특성에 따라 인식 방법을 적응적으로 선택할 수는 없다.

본 발명에서 해결하고자 하는 과제는, 다양한 3D 장면과 다양한 이미지 데이터베이스(예를 들어, 다양한 감시 목록과 학습 샘플(training sample))에 기초한 지능형 비디오 관찰 시스템과 생물측정학적 시스템의 작동 정밀도와 안정성을 향상시키는데 있다.

상기 과제를 해결하기 위해, 감시 목록 특성에 따라 감시 목록 이미지를 분석하고 적응적으로 방법을 조정할 수 있는 새로운 방법 및 시스템을 제안할 수 있다. 이러한 얼굴 인식 생물측정학적 시스템에서 사람 얼굴의 자동 탐지, 추적, 인식 방법은 다음과 같은 과정으로 수행된다.

-광학 센서를 적용하여 관찰 지역에 대한 2D 이미지 데이터를 원격으로 수집한다.

-관찰 지역에 존재하는 모든 사람의 얼굴을 탐지하고 위치 선정을 한다.

-눈, 입을 비롯하여 얼굴을 탐지하고 발견된 얼굴 특징의 좌표를 평가한다.

-추적을 실시하고, 이미 특징들이 탐지된 얼굴들을 다음 프레임의 처리 과정으로 넘긴다.

-탐지된 얼굴 각각에 대해 포커스, 명도, 대비, 안경 유무 등의 파라미터에 따른 이미지 품질 평가를 수행한다.

-확인된 얼굴 각각에 대하여 얼굴 이미지 품질 수치를 고려하여 저장소에 저장되어 있는 인식 모드를 설정한다.

-탐지된 얼굴 각각에 대하여 선택한 인식 방법을 이용하여 생물측정학적 특징 셋트(feature set)을 형성한다.

-탐지된 얼굴 각각에 대하여 데이터베이스에 저장되어 있는 템플릿 셋트와 비교하면서 형성된 생물측정학적 특징들을 이용하여 감시목록에 따라 인물 식별을 한다.

-새로운 사용자 등록 과정을 수행한 후 감시 목록을 고려하여 인식 방법 자동 적응을 수행한다.

또한 상기 기술적 과제를 달성하기 위한 본 발명의 특징에 따른 새로운 시스템은 다음과 같은 요소들을 포함한다.

● 광학 센서를 이용하여 관찰 지역 특성을 나타내는 데이터를 수집하는 원격 수집 장치(예를 들면 2D 이미지)

● 인물의 탐지 및 추적 장치는 초기 탐지와 아울러 추적 목록 형성 및 추적 수행을 실행하며, 이 때 장치는 인물 탐지 블록 및 눈과 입과 같은 인물의 특징 탐지기로 구성될 수 있다. 장치는 탐지된 특징의 좌표를 표시하며, 인물의 본래적 이미지 영역 목록을 만들 수 있다.

● 인물 이미지 품질 평가 장치는 인식 방법 선택 장치에 지정된 수치를 전달하면서 탐지된 인물의 이미지 각각에 대하여 일련의 파라미터를 평가한다. 장치의 구성은 포커싱, 명도, 대비 등의 이미지 특징을 평가하는 블록,탐지된 얼굴 품질 평가 블록(안경, 눈 이미지의 품질과 같은 외부 물체 존재 여부)을 포함할 수 있다.

● 인식 방법 선택 장치는 탐지된 얼굴 이미지 품질 평가에 기초하여 단편들(fragment)에 대한 최선의 데이터를 선택하여 인식 절차를 수행할 수 있다. 이 장치는 다양한 조건에서 효과적인 인식을 수행하기 위해 설정된 방법들의 저장소(repository)와 해당 장치의 기능을 실행하는 방법 선택 블록을 포함할 수 있다.

● 감시 목록 적응 장치는 등록된 사용자의 템플릿 분석에 기초하여 저장소로부터 인식 방법 조정을 수행한다.

● 생물 측정학적 특성 형성 장치는 탐지된 얼굴을 처리하고 인식 장치로 전송하기 위해 생물측정학적 특징의 벡터를 형성할 수 있다. 이 장치는 노이즈 제거와 이미지 특징 구분 과제를 해결하는 입력 이미지 예비 처리 블록과 입수된 데이터를 간결하게 제시하는 코딩(coding) 블록을 포함할 수 있다.

● 얼굴 인식 장치는 템플릿 감시 목록으로부터 인물 이미지 코딩에 가장 근접한 벡터를 선택할 수 있다. 장치 구성 요소는 표준 및 현재 벡터 간의 유사한 수치를 계산하는 블록과, 유사성 일반화 측정을 위해 얻어진 값들을 조합하는 블록을 포함할 수 있다.

● DBMS(데이터베이스관리시스템)는 등록 과정의 결과로 얻어지는 템플릿을 저장하고, 접근 제공 가능 거리, 방향, 대표성에 따라 데이터를 클러스터화하고, 얼굴인식장치에 접속하여, 클러스터화를 고려하여 템플릿과 그 특징에 맞게 감시 목록에 적응시킨다.

본 방법과 시스템은 감시 목록에 따라 생물측정학적으로 인물을 식별하면서 탐지 구역에 있는 사람의 얼굴을 탐지하고 위치를 선정하는 과정을 자동화할 수 있다

<지능형 비디오 관찰>:

-관찰 구역의 특징을 나타내는 2D 이미지에 대한 자동 정보 수집

-인물 얼굴의 신속한 탐지와 추적 수행

-탐지된 얼굴 이미지의 품질 평가 계산

-인물 얼굴 요소를 발견하고 특유의 생물측정학적 특징들을 측정

<생물측정학적 인물 식별>:

-사용자의 생물측정학적 특징을 추출하여 축적하고 사용자 개인의 특유성을 나타내는 서명(sign) 템플릿을 생성.

-감시목록에 따른 인물 탐색과 개인 식별(예를 들어 지명 수배자 데이터베이스의 얼굴과의 일치)

따라서 본 발명에 따르면, 다음과 같은 차별적 특징을 갖는다.

-이미지 노이즈, 불균일한 조명, 그늘과 너울(flare)이 있는 복잡한 환경에서 사람의 얼굴을 탐지, 추적

-사람의 머리의 기울기 및 회전 각도 범위가 큰 조건에서 얼굴 탐지 및 얼굴 요소들의 위치 선정

-노이즈, 그늘,외부 물체(안경)가 있는 조건에서 고정밀의 인물 얼굴 인식

-감시 목록(주요 관심 인물 목록)에 따라 얼굴 식별

본 발명은 다음과 같은 과제를 효과적으로 해결하기 위해 일련의 새로운 기술들을 적용하고 있다.

-구체적인 감시 목록에 대한 인식 시스템의 사전 자동 조절, 이것은 이미지 처리 방법 선택과 인식 결정 채택 규칙 수정을 포함할 수 있다.

-인식 가능성 결정을 내리고 특정 조건에 가장 효과적인 인식 방법을 자동적으로 선택하기 위해 인물의 국소 이미지의 품질 평가 알고리즘을 사용할 수 있다.

-카메라 앵글, 조명 조건, 노이즈, 외부 물체 존재에 영향을 받지 않는 인물의 차별적 특징의 조합에 기초하여 효과적인 결정 규칙 설계

본 발명은 감시 목록에 따라 식별 모드로 인물의 자동 탐지, 추적, 적응화 인식을 하는 방법 및 시스템이다. 아래에 필요한 도면 자료를 이용하여 발명에 사용된 원리를 상세하게 설명한다.

도 1에는 탐지, 정상화, 인식, 결정 채택 시스템 및 개별 장치들의 다양한 구성요소들의 상호 작용이 나타나 있다.

도 2에는 SVM을 이용한 데이터 분류 원칙이 나타나 있다.

도 3에는 얼굴과 그 특징 탐지 장치의 작동 결과가 나타나 있다.

도 4에는 생물측정학적 특징 형성 및 얼굴 인식 장치의 작동 결과가 나타나 있다.

도 1에 도시된 바와 같이 이미지(101)는 카메라(102)의 2D를 이용하여 포착된 것으로, 얼굴 탐지 및 추적 장치(103)로 전송된다. 이 장치의 실시간 상태에 따라 얼굴 탐지 블록(104)과 얼굴 특징 탐지 블록(105)은 탐지 모드 혹은 추적 모드로 기능할 수 있다. 얼굴 탐지 블록(104)의 알고리즘 부분의 기초에는 2단계식 탐지 방법이 있다. 제1 단계는 얼굴이 있을만한 위치를 결정하기 위한 단계로 Gabor 필터링 및 준비된 얼굴 모델과 얻어진 카드의 비교가 실행된다. 2단계는 얻어진 가설이 아키텍쳐 SNoW를 지닌 신경망을 이용하여 검증된다. 2단계 작업의 결과로 입력 이미지에서 인물을 포함하는 직사각형의 업데이트된 위치와 크기를 얻을 수 있다.

발견된 직사각형 구역의 파라미터는 얼굴 특징 탐지 블록(105)으로 전송되고, 이 블록은 사람의 눈과 입을 탐지할 수 있다. 눈 탐지 알고리즘은 사람 눈의 명도 단계 모델을 이용한다. 입 탐지 알고리즘은 아키텍쳐 SNoW를 지닌 신경망을 이용하여 입이 존재할 가능성이 있는 위치를 필터링할 수 있다. 가장 반응성이 큰 위치가 입의 중심으로 결정된다.

얼굴 이미지 품질 평가 장치(106)로 입수되는 데이터는 얼굴 및 얼굴 특징 이미지에서 발견된 위에서 열거한 파라미터들이다. 장치(106)는 이미지 품질을 결정하는 2가지 특징 타입을 평가할 수 있다.

● 독립적인 이미지 특징: 포커스, 대조, 명도

● 얼굴 특징: 안경 유무, 눈 이미지의 품질

이미지의 독립적 특징을 평가하기 위해 이미지 특징 평가 블록(107)이 적용된다. 이미지의 포커스 측정을 위해서는 지역 오퍼레이터가 전제해 놓은 사항에 의존하여 고주파 스펙트럼 에너지를 측정하는 알고리즘이 사용된다. 명도 지표의 평가는 빛이 있는 곳과 그늘진 곳을 구분하기 위하여 계산되고 국소적 극치 알고리즘을 사용할 수 있다. 대조 지표는 대조 히스토그램 최고치에 기초하여 평가하고 측정한다. 데이터값은 다음번 인식에 현재의 프레임이 얼마나 필요한지를 결정하기 위하여 중요하다.

얼굴 특성 품질 평가는 얼굴 특징 평가 블록(108)에 의해 수행된다. 그 주요과제는 처리되는 얼굴 이미지에 안경 존재 유무를 판단하는 것이다. 여기서 잠정적으로 사용되는 주요 기준은 코 부분의 결합적 에너지 기울기들인데, 이는 안경테 포인트들을 찾는데 이용된다. 안경이 있다는 사실은 다음번 인식 알고리즘 선택에 영향을 미친다.

시스템에 적용되는 인식 알고리즘은 다음과 같은 일반화 도표에 따라 개발되었다.

1. 이미지 사전처리와 특징 구분: 윤곽 프레임 제작

2. 입수된 이미지를 간결하게 제시: 소형 벡터로 변환

3. 입수된 벡터의 분류(결정적인 규칙)

얼굴 및 눈 부분 이미지를 사전 처리하고 정보를 지닌 특성을 추출하기 위해서 빗살형 필터(comb filters) 뱅크를 이용할 수 있다. Gabor 웨이브렛 필터와 Bananov 웨이브렛 필터, 이것들은 오리엔티드 밴드(oriented bands)와 목표곡선(targeted curves)에 대한 기본 필터들로서, 이미지의 곡선적 특징과 특성, 방향, 주기 등과 관련하여 이미지 내부에 있는 정보가 될만한 표식(signs)들을 지속적으로 제공해준다. 상이한 주기, 방향, 곡률의 계수에 대한 선택은 얼굴의 생김새 특징이 과다하게 부각되는 방식으로 이루어진다. 최적화를 위해서 필터링 마스크와 얻어진 특징 프레임을 정수 표현(integer representation)으로 디지털화한다. 이를 위하여 8단계형 이미지 특징 카드 히스토그램의 비선형 양자화(nonlinear quantization)가 수행된다.

주요 요소 방법과 등급간의 변동량(variation)이 최대일 경우, 등급내 변동량이 최소인 특징을 지닌 비선형 판별 해석(discriminant analysis)을 순차적으로 적용함으로써 사전 처리된 이미지를 최적의 간결한 형태로 제시할 수 있다. 이 경우 다양한 조건에도 서로 다른 시간에 촬영한 동일한 사람의 모든 얼굴 이미지들이 하나의 클래스가 될 수 있다.인식 알고리즘에는 학습 단계(learning stage)가 할당되는데, 그 시간동안 티칭 셀력션(teaching selection)에 기초하여 위에 열거한 방법에 의해 초기 이미지 특징 공간에 이미지 클래스들의 조합을 최적으로(사용된 알고리즘 한 개 또는 여러개를) 표현하는 기초를 세울 수 있다. 인식 과정에서 간결한 이미지를 얻기 위해 주어지는 이미지는 공간적 사인들로 분해된다.

얻어진 간결한 이미지를 분류하기 위하여, 분류되는 이미지와 템플릿 이미지 사이의 측정 거리를 이용한다.

적외선 자체 측정이 제안되었는데 이것은 2차 방정식(L2), 1차 방정식(L1), 벡터간의 앵글 코사인, 마할라노비스의 거리(Mahalanobis distance)를 비롯한 다른 일반적인 측정 방법보다 해당 시스템의 분류 품질을 더 향상시킨다.

적외선 측정은 다음 수학식으로 이루어진다.

여기에서,

는 자체 벡터

(A-클래스 상호간 공분산 매트릭스, B-클래스 내부 공분산 매트릭스) 탐색의 일반 과제에서 공분산 매트릭스의 자체 수 x,y는 비교벡터

이미지 등급 분류를 위해 한 개 또는 그 이상의 간결한 이미지 제시가 사용된다. 이 경우 완전히 간결한 이미지 제시는 몇가지 개별적인 간결 이미지 제시들로 구성된다. 각각의 개별적인 간결 이미지 제시에서의 특징은, 사전 처리 방법, 축소되는 영역(얼굴, 눈 부위, 입부위 등), 분류에 사용되는 측정 등이다. 이 때 동일한 특징 공간(attribute space)은 다양한 영역의 간결한 이미지를 얻기 위해 사용된다(예를 들어, 좌측 및 우측 눈의 간결한 이미지는 동일한 특징 공간에서 얻 어진다).

2개의 얼굴의 유사성에 대한 최종적인 특징은 각각의 간결 이미지의 유사값에 따라 계산된다. 기준 벡터법(SVM)과 AdaBoost를 적용하여 이러한 값들을 통합한다.

다양한 유사부분 측정을 통합하기 위해 SVM을 적용하는 기본 아이디어는 2D로 도 2에 나타나있다. 이 때 각각 분류되는 형태는 2개의 K측정 벡터에 의해 구해지는데, K측정 벡터는 각각의 간결 이미지에 따라 샘플로부터 각각의 K클래스까지 거리를 지정한다.

이러한 형태가 j클래스에 속하고 이 때 각 분류기에 따라 지정된 클래스까지의 거리를 결정하는 순서쌍

이 +지점 등급에 속한다고 가정하자.

도 2에서 이것들은 x로 표시되어 있다. 이 2개의 벡터에서 나머지 모든 거리 순서쌍들은 -지점을 가리키고 있으며 이것들은 그림에서 원으로 표시되어 있다. 이렇게 입력 형상을 분류하기 위해서 분류 벡터에 따라 형성된 각각의 거리 순서쌍이 2개의 클래스 중 어디에 속하는지를 알아야 한다. 수많은 +와 -를 구분하기 위해서 RBF core를 지닌 기준 벡터법이 적용되었다.

서로 다른 유사한 측정치를 통합하기 위해 AdaBoost를 적용함으로써 자동으로 계수가 선택(학습의 결과)되는 측정치들의 선형결합(linear combination)이 생성된다.

인식 시스템 차원에서 설명된 접근 방법은 통합되었다. 첫번째 단계에서 입력 형상은 미리 조정된 SVM에 의하여 분류되었다. 그 후 인식 결과가 부정일 경우 이 형상은 AdaBoost 절차를 통해 자동으로 얻은 계수와 함께 이미 지니고 있는 측정값을 선형결합(linear combination)으로 계산하는 방법으로 추가적으로 확인을 받게 된다.

선형결합이 등록된 클래스들 중 하나에 속하는 SVM의 형상에 대해서만 계산을 한다면 2번째 결합방식도 가능하다. 지정된 변화들(variations) 간의 선택은 시스템에 필요한 조정(adjustment)에 의존한다.

시스템의 중요한 특징은 2단계의 적응화 인식 방법이 사용된다는 점이다.

1. 특정한 감시 목록에 대한 적응화, 이것은 감시 목록의 인식 알고리즘 적응화 장치에 의해 수행된다.

2. 현재 처리되고 있는 이미지에 대한 적응화, 이것은 안경 존재 유무에 대한 데이터에 기초하고 있으며 인식 방법 조정 장치에 의해 수행된다.

1단계에서의 인식 방법 적응화는 형상 카드 제작의 효과적 필터 시스템의 선택에 기초하고 있다. 효과적인 필터의 선택은 감시 목록과 시스템 구성에 포함되는 특수 얼굴 셋트에 등록된 얼굴을 선택하는 학습 과정에서 수행된다. 학습과정은 다음과 같은 단계들로 구성된다.

-얼굴 공간 제작, 여기에서는 전처리(preprocess)로 필터들 중 하나가 사용된다. 공간의 개수는 빗살형 필터(comb filters) 뱅크 개수와 동일하게 되도록 선택한다.

-제작된 공간 각각에 대하여 학습 선택으로 얼굴의 유사성 벡터를 형성, 형성된 배열들은 Adaboost 절차로 처리된다. 절차의 작업 절차는 공간의 중요성을 가늠하고 그에 따라 이를 필터링하는 것이다.

-가장 가치가 있는 필터 선택, 선택 조건은:

-가치 비중이 1%를 넘어야 한다.

-선택된 카드에 의해 수행된 형상 카드 수정의 값이 95%이하이어야 한다.

얼굴 공간 제작, 여기에서 전처리를 통해 한 그룹으로 합쳐진 필터들 중에서 사용할 필터를 선택한다. 이렇게 하는 가운데 티칭 셀렉션(teaching selection)에서 얻은 분류기(classfier) 샘플에서 이루어지는 테스트에 기초하여 평가 필터 그룹의 효율성을 추가할 수 있다.

학습과정의 결과를 티칭 셀렉션에 적용할 때 가장 효과적인 필터 그룹이 정해진다.

결정적인 규칙을 적응화하는 과정은 감시 목록에 등록된 사용자들을 고려하여 분류를 수행하는 SVM을 재교육하는 것과 AdaBoost 절차 시작을 통해 새로운 선형 결합 계수를 계산하는 것으로 귀결된다.

현재 이미지에 대한 적응화는 안경이 없는 형상이나 안경이 있는 형상으로 제작된 인식 공간 이미지 품질 평가값에 따른 선택에 기초한다.

인식 결정의 채택, 현재 이미지에 대한 적응화는 인식 방법 선택 장치(109) 에 의해 수행된다. 이를 위한 입력 데이터는 품질 평가 장치(106)에 의해 계산된 평가이다. 이 장치 구성요소에 포함되는 방법 선택 블록(110)은 먼저 포커스, 명도, 대비 지표값에 따라 얼굴 이미지의 인식 유용성을 평가한 후 안경의 존재 여부 데이터에 기초하여 사용되는 인식 방법에 대하여 결정을 내리고 인식 방법 저장소(118)에서 선택된 방법에 대해 조정을 요청한다.

생물측정학적 특징 형성 장치(111)는 선택된 인식 알고리즘을 사용한다. 이 장치의 구성 요소에 포함되는 입력 이미지의 전처리 블록(112)은 위에 설명된 인식 알고리즘의 일반 도식의 첫번째 단계를 실행한다. 코딩 블록(113)은 입력된 형상을 간결하게제시한다(인식 알고리즘의 일반 도식의 두번째 단계).

코딩블록(113)의 출력에서 얻은 벡터는 얼굴 인식 장치(114)로 전송되는데, 이 장치의 과제는 벡터 데이터와 템플릿 데이터베이스(119)에 있는 기록을 비교하여 입력된 형상에 일치하는 템플릿을 찾거나 그러한 템플릿이 없다는 결정을 내리는 것이다. 상술한 바와 같은 방식으로 장치는 인식 알고리즘의 일반 도식의 분류에서 최종 단계를 수행할 수 있다. 유사성 측정 블록(115)은 위에서 설명된 기준에 따라 비교되는 벡터들 간의 근접성을 측정한다. 얻어진 수치는 결정 채택 블록(116)으로 전달되는데, 이 블록은 위에서 설명된 단계 SVM-AdaBoost를 사용하여 이들을 통합한다.

인식 알고리즘의 감시 목록 적응화 장치(117)는 등록된 특정 사용자 목록에 대한 인식 절차 적응화 알고리즘을 실행한다. 이것은 사용자 등록 과정 종료 후 기능하는 것으로, 등록된 얼굴 목록을 분석하고 전처리 과정과 결정적인 규칙 과정을 조정할 수 있다. 조정된 알고리즘 파라미터는 인식 방법 저장소(118)로 전달된다.

최선의 장치 실행 방식은 기존의 비디오 관찰 시스템을 자동화하고 새로운 등급의 대량 서비스 지능형 시스템을 제작하는데 이것을 사용하는 것이며, 다음과 같은 타입들의 지능형 시스템이 있는데 예를 들어, 사용자에 대한 지능형 비디오 관찰,감시 목록에 따른 생물 측정학적 개인 식별, 범죄상황인식이 그것이다. 본 장치는 2D 이미지 센서와 장치의 보드 형태로 구현될 수 있으며, 장치 보드의 구성 요소로는 최소한 한 개 또는 여러 개의 신호처리기를 포함할 수 있다.

이상 설명한 바는 본 발명의 실시예에 불과한 것으로, 본 발명의 권리범위가 이에 한정되는 것은 아니며 당업자간에 자명한 사항에 대하여 다양한 변형 실시가 가능하다. 본 발명의 권리범위는 후술할 특허청구범위 기재사항 및 이와 균등 사항으로 인정되는 모든 기술 요소를 포함할 것이다.

도 1은 본 발명의 실시예에 따른 얼굴 인식 시스템의 구성도이다.

도 2는 본 발명의 실시예에 따라 SVM을 이용한 데이터 분류 원칙을 설명한 그림이다

도 3은 얼굴과 그 특징 탐지 장치의 작동 결과가 나타나있다.

도 4는 생물측정학적 특징 형성 및 얼굴 인식 장치의 작동 결과를 나타낸 그림이다.

Claims (12)

1. 감시 목록이 있는 생물측정학적 인물 인식 시스템에서의 인물의 얼굴을 인식하는 방법에서,

   a)광학 센서를 사용하여 관찰 구역에 있는 2D 데이터를 원격으로 수집하는 단계;

   b)관찰 구역 내에 있는 모든 사람들의 얼굴을 탐지하고 위치를 선정하는 단계;

   c)사람을 발견하고 발견된 사람의 특징 좌표를 평가하는 단계;

   d)비디오시퀀스 처리시 다음 프레임에서 이미 탐지된 얼굴과 얼굴의 특징을 추적하는 단계;

   e)각각의 탐지된 사람에 대하여 포커스, 명도, 대비, 안경 유무 파라미터에 따라 이미지 품질을 평가하는 단계;

   f)각각의 탐지된 사람에 대하여 열거한 얼굴 이미지 품질 수치들을 고려하여 저장소에 있는 인식 방법들을 조정하는 단계;

   g)각각의 탐지된 사람에 대하여 선택된 인식 방법을 이용하여 생물측정학적 특징을 형성하는 단계;

   h)각각의 탐지된 사람에 대하여 이미 제작된 생물측정학적 특징을 이용하여 데이터베이스에 저장된 템플릿 셋트와 비교하여 감시 목록에 따라 인물을 인식하는 단계; 및

   i)새로운 사용자를 등록하는 절차를 수행한 후 감시 목록을 고려하여 자동 인식 방법 적응화를 수행하는 단계를 포함하는

   얼굴 인식 방법.
2. 제1항에 있어서,

   상기 i)단계는,

   감시 목록을 고려하여 자동 인식 방법 적응화를 수행할 때, 이미 보유하고 있는 등록된 사용자들의 템플릿 베이스를 이용하여 하나의 전처리 방법을 선택하고, 얼굴 이미지 유사성 측정치 통합 방법을 조정하는 방법을 사용하는 단계인

   얼굴 인식 방법.
3. 제2항에 있어서,

   상기 i) 단계는 상기 하나의 전처리 방법을 선택할 때, AdaBoost 자동 절차를 적용하여 Gabor 광학 필터를 선택하는 방법을 사용하는

   얼굴 인식 방법.
4. 제2항에 있어서,

   유사성 측정 통합 방법 조정은

   기준 벡터법에 기초한 새로운 분류규칙을 자동으로 제작하고 AdaBoost 절차를 이용하는 측정치 통합 계수를 계산하여 실행하는

   얼굴 인식 방법.
5. 제1항에 있어서,

   인식 방법 조정 단계는,

   처리되는 얼굴 이미지에서 안경의 유무를 고려하여 수행하는 단계인

   얼굴 인식 방법.
6. 제5항에 있어서,

   인식 방법 조정 단계는,

   안경이 있을 경우 인식 알고리즘에 사용하기 위하여 안경을 쓴 사람을 인식하는데 가장 효과적인 개별 특징 공간을 적용하는 단계인

   얼굴 인식 방법.
7. 제1항에 있어서,

   감시 목록에 따른 인물을 인식하는 단계는,

   적외선 측정 방법을 이용하여 입력된 형상과 템플릿 형상간의 거리를 측정하여 인물을 식별하는 단계인

   얼굴 인식 방법.
8. 제1항에 있어서,

   감시 목록에 따른 인물을 인식하는 단계는,

   복수의 특징 공간을 적용하여 얼굴 이미지에 따라 제작된 입력 형상을 복수로 제시하는 방법으로 인물 식별을 수행하는 단계를 포함하는

   얼굴 인식 방법.
9. 제8항에 있어서,

   감시 목록에 따른 인물을 인식하는 단계는,

   이미 보유하고 있는 입력 형상 이미지들 각각에 대하여 데이터베이스로부터 해당 템플릿을 사용하여 적외선 유사성 측정값을 계산한 후, 얻어진 값들을 합하여 인물 인식을 위한 측정값을 형성하는 단계를 더 포함하는

   얼굴 인식 방법.
10. 제9항에 있어서,

    상기 측정값을 형성하는 단계는

    기준 벡터법 및 AdaBoost 알고리즘을 이용하여 얻은 계수의 선형적 합산을 순차적으로 적용하는 방법을 사용하여 상기 유사성 측정값들을 합하는,

    얼굴 인식 방법.
11. 제10항에 있어서,

    유사성 측정 통합을 위해 기준 벡터법을 사용할 때,

    유사성 측정값의 초기 벡터를 순서 시퀀스(ordered sequence)의 다수로 변환시켜 얻은 2가지 부류의 지점들 간에 분리 곡선을 만드는 것에 기초하고, 각각의 순서 시퀀스는 한가지 클래스에 대해 상이한 추천에 의해 얻어지는 유사성 수치들을 포함하는

    얼굴 인식 방법.
12. 감시 목록을 이용하여 사람의 얼굴 이미지를 자동으로 탐지,추적, 인식하는 얼굴 인식 시스템으로서,

    카메라가 포착한 2D 이미지를 얼굴 탐지 및 추적 장치로 전송하는 관찰 장면에 대한 원격 정보 수집 장치;

    얼굴 및 얼굴 특징 탐지 블록을 포함하여, 이미지로 된 얼굴의 탐색, 탐지된 얼굴 특징 위치 좌표 측정, 비디오 시퀀스 처리시 다음 프레임에서 발견된 얼굴에 대한 추적을 수행하는 얼굴 탐지 및 추적 장치;

    이미지 특징 평가 블록과 얼굴 특징 평가 블록을 포함하여, 탐지 장치에서 받은 이미지상의 얼굴에 표시된 파라미터 값을 계산하고 인식 방법 조정장치로 결과를 전달하는 얼굴 이미지 품질 평가 장치;

    얼굴 인식 방법 저장소와 방법 선택 블록을 포함하여, 상기 이미지 품질 평가 장치로부터 받은 품질 평가에 따라 현재의 얼굴 이미지에 해당하는 인식 방법을 선택하는 인식 방법 선택 장치;

    전처리 블록, 코딩 블록을 포함하여, 선택된 인식 방법을 이용하여 처리되는 얼굴 이미지를 소정 형태로 생성하는 생물측정학적 특징 형성 장치;

    유사성 측정 계산 블록과 결정 채택 블록을 포함하여, 처리되는 복수의 얼굴 이미지에 대하여 유사성을 측정하고 얻은 수치를 합하여 데이터베이스에서 얻은 템플릿과 입수한 형상과의 유사성에 대해 결정하는 인물 인식 장치;

    감시목록에 있는 사람들의 템플릿 데이터베이스를 관리하는 데이터베이스관리 시스템; 및

    감시 목록의 구성 성분을 토대로 상기 선택되는 인식 방법을 조정하는 감시 목록 적응화 장치를 포함하는

    얼굴 인식 시스템.

Images