KR100888554B1 - 인식 시스템 - Google Patents

Abstract

본 발명은 피검출체의 원본영상을 저장하는 데이터베이스와, 피검출체에 적외선 조명을 제공하는 적외선 조명부와, 피검출체의 적외선 입력영상을 획득하는 적외선 입력영상 획득부와, 상기 적외선 입력영상과 상기 원본영상을 대조하여 피검출체를 인식하는 인식부를 포함하여 이루어지는 인식 시스템을 제공한다. 또한, 인식 시스템은 사전 설정된 기준에 따라, 측정된 조명 조건이 적합한지를 판단하여, 조명 조건이 부적합하면 조명 조건 및 상기 입력영상 획득부의 노출 조건 중 적어도 하나를 변경하여 입력영상을 다시 획득하도록 전처리 보정하는 제1 전처리 보정부를 포함할 수 있다. 또한 사전 설정된 기준에 따라, 상기 입력영상의 분할된 로컬영상의 정보가 충분한지를 판단하여, 정보가 충분하면 평활화를 실시하고, 정보가 부족하면 평균화를 실시하는 제2 전처리 보정부를 구비할 수 있다.

Description

인식 시스템{RECOGNITION SYSTEM}

도 1은 본 발명의 바람직한 실시예에 따른 인식 시스템에서 수행되는 흐름을 도시한 도면이다.

도 2는 도 1의 인식 시스템의 하드웨어적 구성예를 개략적으로 도시한 도면이다.

도 3은 조명 조건 변화에 따른 가시광선 원본영상과 가시광선 입력영상의 차이를 보여주는 도면이다.

도 4는 조명 조건 변화에 따른 적외선 원본영상과 적외선 입력영상의 차이를 보여주는 도면이다.

도 5는 정면 조명에 따른 원본영상을 보여주는 도면이다.

도 6은 측면 조명에 따른 입력영상을 보여주는 도면이다.

도 7은 도 1의 인식 시스템의 전처리 보정부에서 수행되는 세부 흐름을 도시한 도면이다.

본 발명은, 인식 시스템에 관한 것으로서, 더욱 상세하게는 조명 조건 변화에 강건하게 대처할 수 있는 능동형 인식 시스템에 관한 것이다.

최근 보안 감시 분야의 활성화와 더불어 피검출체, 특히 사람의 얼굴을 인식하는 인식 시스템이 주목받고 있다. 종래의 얼굴 인식 시스템은 대부분 실내에서 자연광선이 차단된 공간에서 가시광선 카메라를 이용하여 얼굴의 입력영상을 획득한다.

또한 균일한 입력영상의 획득을 위하여 얼굴 촬영시 보조 조명을 제공함으로써, 얼굴 인식 알고리즘에 적용할 입력영상과 이와 대조할 원본영상과의 차이를 줄이려는 시도를 하고 있다.

현재 가장 보편적으로 적용되고 있는 인식 시스템은 출입통제 현장에서 다양한 조명 조건의 변화에 따라 원본영상을 등록 저장하여 두고, 또 학습의 단계를 거치면서 원본영상을 최신의 입력영상으로 갱신하고 있다.

얼굴 인식의 근원적인 기술은, 생체 정보인 획득된 얼굴 입력영상의 정보와 등록 저장된 원본영상의 정보와의 대조를 위해, 얼굴 검출 과정, 얼굴 정규화 과정 및 얼굴 인식 과정을 거친다.

얼굴 인식 과정에서는 고차원 공간에 존재하는 데이터들을 저차원 공간의 데이터로 효과적으로 줄이는 투영 방법으로, 주성분 분석법(PCA, Principle Component Analysis: Eigenfaces), 독립성분 분석법(ICA, Independent Component Analysis), 선형 판별 분석법(Linear Discriminant Analysis), 신경 회로망 법(Neural Network), 등을 사용하고 있다.

PCA는 모든 데이터의 퍼짐(Scatter)을 최대화하는 벡터를 기저벡터로 사용하기 때문에 데이터를 표현하는데 적합하고, 투영된 저차원 공간의 데이터로부터 다시 고차원 공간의 데이터로 복원하는데 오류를 최소화할 수 있다. PCA는 데이터 공분산 행렬의 고유값(Eigenvalue) 순으로 얻어진 서로 직교하는 고유벡터(Eigenvector)들을 기저벡터로 사용하여 데이터를 나타낸다.

반면, ICA는 데이터의 독립성분을 계산하여 데이터를 표현하며, 투영된 데이터들 사이의 통계적인 독립성을 최대화하는 부공간을 찾는 방법이다.

LDA는 PCA를 적용하여 구해진 축소된 벡터 공간에서 인식 목적에 적합한 정보를 얻기 위해, 얼굴 벡터들에 대해 클래스 내 분산은 최소로, 클래스 간 분산은 최대가 되도록 하는 선형 변환을 이용하는 방법이다.

최근 인식율을 높이기 위하여, 신경 회로망법과 기존의 방법과 신경 회로망법을 합성한 방법들이 연구되고 있다.

그러나 아무리 우수한 얼굴 인식 알고리즘을 적용할지라도, 얼굴 인식 시스템에 제공할 입력영상이 원본영상과 정보 차이가 많은 경우, 피할 수 없는 유사도 저하를 초래하여 인식률 저하를 가져온다.

가시광선 카메라를 이용하여 획득한 입력영상은 출입통제 장소의 환경적인 변화에 따라 조도의 변화가 대단히 크기 때문에, 조도 차이로 인한 손실된 얼굴 정보를 가진 입력영상과 이와 대조할 원본영상의 정보 차이로 인하여 얼굴 인식의 원천적인 문제점을 안고 있다.

이를 보완하기 위하여 출입통제를 위한 얼굴 인식 시스템의 설치 장소에 간이 차양 장치와 보조 조명 장치를 설치하여 균일한 조명 하에서의 입력영상의 획득을 기하고 있으나, 외부의 자연광선이 강하게 영향을 미치는 출입장소에서는 여전히 얼굴 인식에 있어 많은 어려움을 가지고 있다.

본 발명은 상기한 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은 조명 조건 변화에 강건하게 대처할 수 있는 능동형 인식 시스템을 제공하는데 있다. 이를 통하여, 피검출체의 인식률을 높이고 인식 시스템의 적용을 확대하는데 목적이 있다.

또한, 피검출체의 인식 시간을 단축할 수 있는 인식 시스템을 제공하는데 또 다른 목적이 있다. 이를 통하여 대용량 출입통제 시스템, 등에의 적용을 가능하게 하는데 목적이 있다.

상기한 목적을 달성하기 위하여, 본 발명은 인식 시스템을 제공하는데, 본 발명의 제1 태양의 인식 시스템은, 피검출체의 원본영상을 저장하는 데이터베이스와, 피검출체에 적외선 조명을 제공하는 적외선 조명부와, 피검출체의 적외선 입력영상을 획득하는 적외선 입력영상 획득부와, 상기 적외선 입력영상과 상기 원본영상을 대조하여 피검출체를 인식하는 인식부를 포함하여 이루어진다.

본 발명의 제2 태양의 인식 시스템에 따르면, 피검출체의 가시광선 입력영상을 획득하는 가시광선 입력영상 획득부와, 가시광선 입력영상을 디스플레이하는 디스플레이부를 추가적으로 구비한다.

본 발명의 제3 태양의 인식 시스템은, 피검출체의 원본영상을 저장하는 데이터베이스와, 피검출체에 조명을 제공하는 조명부와, 피검출체의 입력영상을 획득하는 입력영상 획득부와 상기 입력영상을 전처리 보정하는 전처리 보정부와, 전처리 보정된 상기 입력영상과 상기 원본영상을 대조하여 피검출체를 인식하는 인식부를 포함하여 이루어지고, 상기 전처리 보정부는, 상기 입력영상을 분할하는 분할부와, 상기 입력영상의 분할된 로컬영상들로부터 조명 조건을 측정하는 측정부와, 사전 설정된 기준에 따라, 측정된 조명 조건이 적합한지를 판단하여, 조명 조건이 부적합하면 조명 조건 및 상기 입력영상 획득부의 노출 조건 중 적어도 하나를 변경하여 입력영상을 다시 획득하도록 전처리 보정하는 제1 전처리 보정부를 구비한다.

본 발명의 제4 태양의 인식 시스템에 따르면, 상기 조명 조건은 조명의 방향과 세기를 포함한다.

본 발명의 제5 태양의 인식 시스템에 따르면, 상기 조명의 방향은, 상기 입력영상의 분할된 로컬영상의 회색조의 평균값 및 분산값을 이용하여 측정한다.

본 발명의 제6 태양의 인식 시스템에 따르면, 상기 조명의 세기는, 상기 입력영상의 분할된 로컬영상의 회색조의 평균값을 이용하여 측정한다.

본 발명의 제7 태양의 인식 시스템에 따르면, 상기 기준은, 조명의 방향 및 세기에 따라 사전에 설정된다.

본 발명의 제8 태양의 인식 시스템은, 피검출체의 원본영상을 저장하는 데이터베이스와, 피검출체에 조명을 제공하는 조명부와, 피검출체의 입력영상을 획득하는 입력영상 획득부와 상기 입력영상을 전처리 보정하는 전처리 보정부와, 전처리 보정된 상기 입력영상과 상기 원본영상을 대조하여 피검출체를 인식하는 인식부를 포함하여 이루어지고, 상기 전처리 보정부는 상기 입력영상을 분할하는 분할부와, 사전 설정된 기준에 따라, 상기 입력영상의 분할된 로컬영상의 정보가 충분한지를 판단하여, 정보가 충분하면 평활화를 실시하고, 정보가 부족하면 평균화를 실시하는 제2 전처리 보정부를 구비한다.

본 발명의 제9 태양의 인식 시스템에 따르면, 상기 기준은, 조명의 방향과 세기에 따라 사전에 설정된다.

본 발명의 제10 태양의 인식 시스템에 따르면, 상기 데이터베이스는 사전에 상기 전처리 보정을 거친 영상들을 조명 조건에 따른 원본영상으로 분류하여 저장한다.

본 발명의 제11 태양의 인식 시스템에 따르면, 상기 조명부는 피검출체에 적외선 조명을 제공하는 적외선 조명부이고, 상기 입력영상 획득부는 피검출체의 적외선 입력영상을 획득하는 적외선 입력영상 획득부이다.

본 발명의 제12 태양의 인식 시스템에 따르면, 상기 피검출체는 생체 얼굴이다.

본 발명의 제13 태양의 인식 시스템에 따르면, 상기 입력영상 획득부는 카메라이다.

이하, 첨부 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다.

도 1은 본 발명의 바람직한 실시예에 따른 인식 시스템에서 수행되는 흐름을 도시한 도면이다.

도 1의 얼굴 인식 시스템은 적외선 입력영상 획득부(110)와, 적외선 조명부(120)와, 얼굴 검출부(130)와, 검출 판단부(140)와, 생체 판단부(150)와, 얼굴 정규화부(160)와, 전처리 보정부(170)와 얼굴 인식부(180)와 데이터베이스(190)를 포함하여 이루어진다.

적외선 조명부(120)는 피검출체인 얼굴에 적외선 조명을 제공한다.

가시광선 조명을 사용하여 가변을 시키면 사용자가 조명 조건 변화를 감지하여 불편함을 느낄 수 있다. 그러나 적외선 조명은 사람의 눈에 보이지 않기 때문에 조명 조건의 변화를 부가하는데 제약이 없어 많은 이점을 제공한다.

적외선 입력영상 획득부(110)는 피검출체의 적외선 입력영상을 획득한다. 적외선 입력영상 획득부(110)로는 전형적으로 적외선 카메라가 사용된다.

실험 결과에 따르면, 대부분의 실외 환경에서 가시광선 입력영상으로는 얼굴 인식의 안정적인 기능을 보장할 수 없었으며, 비록 전처리 보정을 통하여 얼굴 인식률의 향상을 가져올 수는 있지만 여전히 적외선 입력영상에 비하여 성능면에서 열악한 것으로 나타났다.

얼굴 검출부(130)는 환경 변화에 최적인 적외선 조명 하에서 적외선 카메라를 통하여 실시간 입력되는 연속 영상에서 얼굴 영역을 검출한다.

영상에서 얼굴 영역을 검출하기 위해서는 다양한 방법이 있으나, 본 발명의 일 실시예에 따른 얼굴 검출부(130)는 에이다부스트(ADAptive Boost Learnig Filter) 알고리즘을 이용한 다단 얼굴 분류기(Cascaded Face Classifier)를 이용한다.

종래의 얼굴 검출 방법으로, 움직임을 이용하는 방법은 사람이 반드시 움직여야 한다는 제약이 있고, 색상 정보에서 살색 영역을 추출하는 방법은 컬러 카메라를 이용하여야 하며 조명 조건 변화와 인종 및 피부색에 민감하다는 단점을 갖는다. 이러한 문제점을 해결하기 위하여 개발된 방법이 에이다부스트를 이용한 다단 얼굴 분류기이다.

클래스 내의 변화가 매우 심한 경우에 클래스의 분류를 위해 복잡한 형태의 결정 경계(Decision Boundary)를 필요로 한다. 에이다부스트 알고리즘은 이러한 상황에 적합한 분류기 학습 알고리즘으로, 여러 약한 분류기(Weak Classifier)들의 조합을 통해 성능이 우수한 강한 분류기(Strong Classifier)를 생성해내는 방식이며, 얼굴 검출을 위한 분류기 학습에 적합하다. 또한 움직임 정보와 색상 정보를 사용하지 않기 때문에 일반 흑백 카메라에서 사용자에게 어떠한 제약을 주지 않고도 고속으로 얼굴 검출 기능을 수행할 수 있다.

검출 판단부(140)는 얼굴 검출 여부를 판단한다. 검출 판단부(140)는 얼굴 검출부(130)가 얼굴 검출을 실패했다고 판단되면, 또 하나의 영상을 촬영하여 얼굴 검출을 시도할 수 있도록 입력영상 획득부(110)에 신호를 보낸다.

생체 판단부(150)는 검출 판단부(140)에서 확인된 얼굴 영역에서 먼저 눈의 위치를 찾는다. 본 발명의 바람직한 실시예에서는 얼굴 영상을 정규화하는 기준으 로 눈을 찾는다. 눈을 검출하기 위하여, 안경 착용과 얼굴 회전, 눈 감음 등의 조건에서 정확히 눈의 위치를 파악하고 추적하기 위하여 다중 블록 매칭(Multi-Block Matching) 기법을 이용한다.

이 방법은 정규화된 템플릿 매칭(Normalized Template Matching) 기법의 응용된 모델로서 검출하고자 하는 대상 패턴의 다양한 데이터베이스를 수집하고, 수집한 데이터베이스 중 대표 영상을 만든 다음 이미지 기반 템플릿 매칭(Image based Template Matching)을 수행하는 방법이다. 눈 검출을 위해 눈 이미지에 대한 다양한 사이즈와 조명, 회전, 등을 미리 계산하여 템플릿으로 보유하고 이 템플릿을 이용하여 얼굴 영역과 템플릿 매칭을 수행함으로써 눈의 위치를 검출한다.

구체적으로 다중 블록 매칭 기법을 이용하여 선정된 복수 개의 눈 후보를 이용하여 가상의 얼굴 영상을 생성하고 그 중에 실제 얼굴이 들어 있는 후보를 선택해 나간다. 후보를 선택하는 과정에서 사용되는 분류기는 대규모 얼굴 데이터베이스를 대상으로 K-평균 클러스터링(K-Mean Clustering) 알고리즘을 사용하므로 저해상도 고속 눈 검출이 가능하다.

K-평균 클러스터링 알고리즘은 구하고자 하는 클러스터의 개수를 K라 하며, 처음부터 K개의 중심벡터를 설정해두고, 이 벡터들을 기준으로 하여 클러스터링하고, 이 결과로부터 중심벡터들을 재설정하는 반복적인 방식의 알고리즘이다.

생체 판단부(150)는 얼굴 검출부(130)에 의해 검출된 얼굴 영역에서의 조명의 방향 변화에 따른 빛의 반사 패턴의 변화를 측정하여 입력영상에 보이는 얼굴이 실제 사람의 얼굴인지 사진인지를 구별한다. 일정한 빛을 물체에 가했을 때 각각의 물체의 표면 특성에 따라 빛이 반사되고 흡수되는 패턴이 각각 다르다. 사람의 얼굴도 눈, 코, 입, 이마, 볼, 등에서 빛을 반사 및 흡수하는 정도가 다르며, 눈의 경우 다른 얼굴 부위에 비해 빛을 가장 잘 반사한다. 즉, 실제 사람의 얼굴에서 반사되는 빛의 패턴과 종이에 프린트된 얼굴 사진에서 반사되는 빛의 패턴은 서로 다르다. 빛의 반사 패턴을 이용하여 입력영상에 보이는 얼굴이 실제 사람 얼굴로 판명되면, 얼굴 인식을 위해 입력영상의 정규화 작업을 한다.

얼굴 정규화부(160)는 검출된 얼굴 입력영상을, 정규화된 원본영상과의 대조를 위하여, 눈의 기준점을 사용하여 얼굴을 회전하고 크기를 조정한다.

전처리 보정부(170)는 입력영상을 전처리 보정한다. 전처리 보정부(170)는 최적 조건에서 입력영상이 획득되도록 보정하는 제1 전처리 보정과 제1 전처리 보정된 입력영상으로부터 분할된 로컬영상들의 평활화/평균화를 수행하는 제2 전처리 보정을 수행한다.

얼굴 인식을 위한 출입통제 시스템은 현재의 대규모 공동주택인 아파트의 공동 현관기 및 세대기의 출입통제시스템에 적용할 수 있다. 얼굴 인식 출입통제 시스템의 핵심인 얼굴 인식 알고리즘은 카메라의 입력영상 정보의 정확도에 크게 의존되어 있다.

따라서 환경적인 변화로 인한 조명의 방향 및 세기에 보다 강건(Robust)하게 대처할 수 있는 적외선 카메라와 가변 적외선 조명의 능동적 기능을 활용하여 보다 정확한 얼굴 정보가 담겨 있는 입력영상을 획득함과 아울러, 기존의 얼굴 인식 알고리즘을 수정 없이 사용할 수 있는 적외선 입력영상에 대한 전처리 보정 알고리즘 을 제공함으로써, 현재의 얼굴 인식 출입관리 시스템의 문제점을 해결하는 것이다.

얼굴 인식부(180)는 전처리 보정을 거친 적외선 입력영상을 최종적으로 원본영상과 대조하여 얼굴을 인식한다.

얼굴 인식부(180)는 전처리 보정을 거친 입력영상에서 고유한 얼굴 특징을 추출하여 소정의 데이터베이스(190)에 미리 저장된 원본영상과 대조한다.

얼굴에는 200개에서 300개 정도의 인식을 위한 유효 특징 수가 존재한다. 이러한 유효 특징들 중에서 조명 조건 및 표정 변화에 강건하게 활용할 수 있는 특징을 추출하기 위하여 대규모 데이터베이스를 대상으로 한 얼굴 인식 모듈 학습 과정을 거치게 된다. 일반적으로 이미지 공간에서 특징 공간으로의 전환을 의미하는 특징 추출(feature extraction) 과정은 PCA가 대표적으로 사용되며, 이의 응용된 버전으로 LDA, ICA, NN, 등이 있다. 본 발명의 바람직한 실시예에서는 템플릿 매칭 기법을 사용하였다.

데이터베이스(190)는 피검출체의 원본영상을 미리 저장하여 둔다.

도 2는 도 1의 인식 시스템의 하드웨어적 구성예를 개략적으로 도시한 도면이다.

도시한 바와 같이, 가시광선 입력영상 획득부인 세대기 카메라(200), 얼굴 인식을 위한 적외선 입력영상 획득부(110)인 적외선 카메라(210), 최적의 적외선 조명을 제공하는 적외선 조명부(120)인 가변 적외선 조명(220), 세대기 카메라(200)로 획득된 칼라 영상을 시현하는 디스플레이부인 LCD(230), 세대기 기타 기능(240), 그리고 DSP 보드(Digital Signal Processor)로 구성된다.

가시광선 입력영상 획득부인 세대기 카메라(200)는 피검출체의 가시광선 입력영상을 획득하고, 디스플레이부인 LCD(230)는 획득된 컬러 가시광선 입력영상을 사용자에게 디스플레이 한다.

도 3은 조명 조건 변화에 따른 가시광선 원본영상과 가시광선 입력영상의 차이를 보여주는 도면이고, 도 4는 조명 조건 변화에 따른 적외선 원본영상과 적외선 입력영상의 차이를 보여주는 도면이다.

도 3 내지 도 6에 도시되어 있는 히스토그램(Histogram)의 y축의 스케일은 동일한 스케일이 아니며, 각 영상에 대한 히스토그램의 패턴만을 보기 위한 것이다.

도 3의 히스토그램을 참조하면, 얼굴 입력영상은 조명 방향 및 세기에 따라 동일한 사람의 얼굴이 각각 다르게 표현된다. 도 3의 각 얼굴 입력영상들에 대해 코사인 디스턴스(Cosine Distance)로 유사도를 측정하면, 동일인의 영상인 도 3의 (가)와 (다)보다 타인의 영상인 도 3의 (가)와 (나) 그리고 (다)와 (라)가 유사한 결과를 얻게 된다. 조명의 방향과 세기의 변화가 입력영상의 정보의 근본적인 변화를 초래하여 원본영상과의 대조시 인식률 저하를 야기하는 것이다.

반면 도 4에서, 얼굴 촬영 시 얼굴에 적용된 적외선 조명이 최적의 조명이라는 전제 하에서 히스토그램의 분포가 가시광선 입력영상과 상당한 차가 있음을 볼 수 있다.

도 3의 (다)와 도 4의 (다) 그리고 도 3의 (라)와 도 4의 (라)를 비교하면 동일한 측면 조명하에서 적외선 카메라로 촬영한 입력영상이 가시광선 카메라로 촬 영한 입력영상보다 조명의 방향 변화에 강건함을 알 수 있다.

도 5는 정면 조명에 따른 원본영상을 보여주는 도면이고, 도 6은 측면 조명에 따른 입력영상을 보여주는 도면이다.

얼굴 인식 시스템의 얼굴 인식부(180)는 획득된 입력영상의 조명 조건 변화에 대단히 민감하므로, 본 발명에서는 이러한 조명 조건 변화에 능동적으로 대처할 수 있는 가변 적외선 조명을 이용하여 환경 변화에 따른 최적의 적외선 조명을 제공하고(제1 전처리 보정), 적외선 카메라의 조명에 대한 해상도의 감소를 보완하기 위하여 얼굴 입력영상의 전처리 알고리즘을 도입함으로써(제2 전처리 보정), 보다 조명 조건 변화에 강건한 얼굴 인식 시스템을 제공할 수 있다.

제1 전처리 보정에 대하여 구체적으로 살펴본다.

본 발명의 바람직한 실시예에서는 과도한 가시광선의 영향을 상쇄시키기 위하여, 최적의 적외선 조명 하에서의 적외선 카메라로 촬영시 인공적인 적외선 조명을 정면에서 부가하여 측면의 적외선 조명을 약화시키고 정면 조명으로 인하여 측면 조명의 그림자 부분을 줄여서 과도한 반사와 그림자 부분을 상대적으로 감소하여 입력영상의 얼굴 정보를 제공할 수 있다. 얼굴 인식에서는 정면 조명을 선호하므로, 조명을 부가하여 측면 조명의 영향을 줄일 수 있도록 우선적으로 고려하여 측면 조명으로 판단되면, 설정된 기준에 따라 조명을 부가하는 것이다.

간단한 제1 전처리 보정의 일예로서 입력영상의 2분할을 사용한다고 가정하면, 얼굴의 대칭성을 기준으로 히스토그램을 이용하여 로컬영상의 회색조의 평균값과 분산값을 이용하여 조명의 세기와 방향을 측정할 수 있다. 예를 들면, 조명의 세기는 적용되는 얼굴의 로컬영상의 회색조의 평균값으로 생각할 수 있다. 조명의 방향은 로컬영상의 회색조의 평균값과 분산값을 이용하여 좌우측으로 결정할 수 있다. 예컨대 좌측 조명의 경우, 좌측 로컬영상의 회색조의 평균값이 클 뿐만 아니라 디테일이 풍부하여 큰 분산값을 갖는다. 그러나 2분할은 본 발명의 간단한 일 예일 뿐이다.

그러나 아무리 최적의 조명이라 할지라도 여전히 원본영상과 동일한 정보를 가진 입력영상을 만들 수는 없다. 이러한 문제점을 해결하기 위하여 본 발명의 바람직한 실시예에서는 제2 전처리 보정 알고리즘을 적용한다.

도 5에서 보는 바와 같이, 원본영상 촬영시 정면 조명으로 얼굴의 촬영을 시도하려 했으나, 촬영 장소의 조명을 좌우대칭의 환경으로 맞추기는 대단히 어렵다. 특히 실용 측면에서의 조명의 방향과 세기를 동일하게 한다는 것은 현실적으로 불가능하다. 따라서 조명의 방향과 세기에 따라서 분할된 로컬영상을 특성에 맞게 보정하는 것이다.

이러한 방법은 대칭인 얼굴의 정보를 2원화하여 상대적으로 정확한 정보가 포함되어 있는 영역은 그 특성에 맞는 보정 방법인 평활화(Stretching)을 적용하고, 상대적으로 정보가 부족한 영역에서는 그 특징이 과장되게 영상을 보정하는 평균화(Equalization)을 적용하여 입력영상을 보정한 후, 얼굴 인식 알고리즘을 적용한다.

도 7은 도 1의 인식 시스템의 전처리 보정부(170)에서 수행되는 흐름을 도시한 도면이다.

첫째는 최적 조건에서 입력영상을 획득하기 위한 하드웨어적 접근 방법인 조명부 및 입력영상 획득부를 제1 전처리 보정하는 것이고, 둘째는 최적 조건에서 획득된 입력영상을 조명 조건에 따라 소프트웨어적으로 제2 전처리 보정하는 것이다.

이를 위하여 전처리 보정부(170)는 분할부(171)와 측정부(172)와 조명 조건 등의 제1 전처리 보정을 수행하는 제1 전처리 보정부와 평활화/평균화의 제2 전처리 보정을 수행하는 제2 전처리 보정부를 구비한다.

제1 전처리 보정 흐름을 살펴보면, 먼저 분할부(171)에서 입력영상을 분할하고, 분할된 로컬영상을 이용하여 측정부(172)에서 조명 조건, 예컨대 조명의 세기와 방향을 측정한다. 그리고 나서 제1 전처리 보정부가 입력영상의 조명 조건이 적합한지를 판단하여 사전 설정된 기준에 미치지 못하면 가변 조명을 작동시키거나 입력영상 획득부의 노출 조건을 변경하는 등 적어도 하나를 변경하여 재촬영을 시도한다.

즉 전처리 보정 신호를 조명부 및/또는 입력영상 획득부에 보내 입력영상을 다시 획득하도록 한다. 이러한 과정은 입력영상이 최적의 조건에서 획득된 것으로 판단될 때까지 반복적으로 수행된다.

조명 조건이 적합한지의 기준은 사전에 설정된다. 획득영상에 나타나는 조명의 영향은 세기(밝기)와 방향(위치)으로 구분된다. 우선 조명의 방향에 따라 정면 조명/측면 조명/역광으로 분류하고, 그 방향에 따라 기준이 되는 적합한 조명의 세기를 사전에 설정한다. 따라서 분류된 조명의 방향에 따라 조명이 세기의 기준값이 사전에 설정되며, 이 기준에 따라 입력영상이 적합한지의 여부를 결정한다.

입력영상이 최적의 조건에서 획득된 것으로 판단되면, 제2 전처리 보정이 수행된다.

제2 전처리 보정 흐름을 살펴보면, 분할된 로컬영상을 조명의 방향과 세기를 기준으로 정보가 충분한지를 판단한다. 예컨대 도 6의 (마)가 (바)보다 상대적으로 정확한 정보가 반영되어 있다고 판단되므로, 좌측 로컬영상은 평활화를 실시하고, 상대적으로 정보가 부족한 우측 로컬영상은 평균화를 실시하여 저장한다. 이러한 전처리 보정 과정을 거친 후 얼굴 인식 알고리즘을 적용하면 보다 향상된 인식률을 얻을 수 있다.

또한 원본영상의 조명 방향에 대한 분류화를 사전에 실시하여 동일한 전처리 보정 과정을 거쳐서 데이터베이스(190)에 저장하면 얼굴 인식 시스템에서 입력영상을 원본영상과 비교할 때 조명의 방향에 따라 사전에 분류된 데이터베이스(190)를 활용할 수 있기 때문에 인식 시간을 줄일 수 있다.

상기한 구성에 따르면, 본 발명은 조명 조건 변화에 강건하게 대처할 수 있는 능동형 인식 시스템을 제공할 수 있다.

조명 조건 변화에 강건한 적외선 입력영상 획득부와 적외선 조명부를 이용하여 입력영상을 획득하고, 획득된 입력영상으로부터 조명의 방향과 세기를 측정하여 부적합하다고 판단되면 조명 조건 및 노출 조건 중 적어도 하나를 변경하여 입력영상을 다시 획득하도록 제1 전처리 보정하고, 이렇게 획득된 입력영상을 다시 제2 전처리 보정하여 조명 조건 변화에 강건하게 대처할 수 있는 능동형 인식 시스템을 제공할 수 있게 된다.

이를 통하여, 피검출체의 인식률을 높이고 인식 시스템의 적용을 확대할 수 있을 것이다.

또한, 본 발명은 피검출체의 인식 시간을 단축할 수 있는 인식 시스템을 제공할 수 있다. 조명의 방향과 세기에 따라 원본영상을 분류하여 데이터베이스에 등록하여 두고 이를 활용함으로써 인식 시간을 줄이는 것이다. 이를 통하여 대용량 출입통제 시스템, 등에의 적용이 가능해진다.

Claims (13)

1. 삭제
2. 삭제
3. 피검출체의 원본영상을 저장하는 데이터베이스와,

   피검출체에 조명을 제공하는 조명부와,

   피검출체의 입력영상을 획득하는 입력영상 획득부와

   상기 입력영상을 전처리 보정하는 전처리 보정부와,

   전처리 보정된 상기 입력영상과 상기 원본영상을 대조하여 피검출체를 인식 하는 인식부를 포함하여 이루어지고,

   상기 전처리 보정부는,

   상기 입력영상을 분할하는 분할부와,

   상기 입력영상의 분할된 로컬영상들로부터 조명 조건을 측정하는 측정부와,

   사전 설정된 기준에 따라, 측정된 조명 조건이 적합한지를 판단하여, 조명 조건이 부적합하면 조명 조건 및 상기 입력영상 획득부의 노출 조건 중 적어도 하나를 변경하여 입력영상을 다시 획득하도록 전처리 보정하는 제1 전처리 보정부를 구비하는 것을 특징으로 하는 인식 시스템.
4. 제3 항에 있어서,

   상기 조명 조건은 조명의 방향과 세기를 포함하는 것을 특징으로 하는 인식 시스템.
5. 제4 항에 있어서,

   상기 조명의 방향은, 상기 입력영상의 분할된 로컬영상의 회색조의 평균값 및 분산값을 이용하여 측정하는 것을 특징으로 하는 인식 시스템.
6. 제4 항에 있어서,

   상기 조명의 세기는, 상기 입력영상의 분할된 로컬영상의 회색조의 평균값을 이용하여 측정하는 것을 특징으로 하는 인식 시스템.
7. 제4 항에 있어서,

   상기 기준은, 조명의 방향 및 세기에 따라 사전에 설정되는 것을 특징으로 하는 인식 시스템.
8. 피검출체의 원본영상을 저장하는 데이터베이스와,

   피검출체에 조명을 제공하는 조명부와,

   피검출체의 입력영상을 획득하는 입력영상 획득부와

   상기 입력영상을 전처리 보정하는 전처리 보정부와,

   전처리 보정된 상기 입력영상과 상기 원본영상을 대조하여 피검출체를 인식하는 인식부를 포함하여 이루어지고,

   상기 전처리 보정부는

   상기 입력영상을 분할하는 분할부와,

   사전 설정된 기준에 따라, 상기 입력영상의 분할된 로컬영상의 정보가 충분한지를 판단하여, 정보가 충분하면 평활화를 실시하고, 정보가 부족하면 평균화를 실시하는 제2 전처리 보정부를 구비하는 것을 특징으로 하는 인식 시스템.
9. 제8 항에 있어서,

   상기 기준은, 조명의 방향과 세기에 따라 사전에 설정되는 것을 특징으로 하는 인식 시스템.
10. 제3 항 내지 제9 항 중 어느 한 항에 있어서,

    상기 데이터베이스는 사전에 상기 전처리 보정을 거친 영상들을 조명 조건에 따른 원본영상으로 분류하여 저장하는 것을 특징으로 하는 인식 시스템.
11. 제3 항 내지 제9 항 중 어느 한 항에 있어서,

    상기 조명부는 피검출체에 적외선 조명을 제공하는 적외선 조명부이고,

    상기 입력영상 획득부는 피검출체의 적외선 입력영상을 획득하는 적외선 입력영상 획득부인 것을 특징으로 하는 인식 시스템.
12. 제3 항 내지 제9 항 중 어느 한 항에 있어서,

    상기 피검출체는 생체 얼굴인 것을 특징으로 하는 인식 시스템.
13. 제3 항 내지 제9 항 중 어느 한 항에 있어서,

    상기 입력영상 획득부는 카메라인 것을 특징으로 하는 인식 시스템.

Images