KR20060068796A - 얼굴인식 시스템의 성능시험 방법 및 시스템 - Google Patents

Abstract

본 발명은 하드디스크 또는 USB 메모리 형태로 제공되는 피시험 데이터에 의거해서 컴퓨터의 기억장치에 내장된 얼굴인식 프로그램을 이용하여 얼굴인식을 수행하고, 출력되는 정보에 의해 얼굴인식 시스템의 성능을 분석하는 얼굴인식 시스템의 성능 시험시스템 및 그 방법에 관한 것이다.

본 발명은 얼굴인식 시스템의 성능 시험시스템에 있어서, 얼굴인식 시스템에서 트레이닝 대상이 되고, 성능 시험에서 갤러리가 되는 영상들의 집합인 대상(Target) 집합과 성능 시험에서 프로브가 되는 영상들의 집합인 질의(Query) 집합으로 이루어진 xml 파일과, 영상 데이터베이스(DB)를 포함하는 기록매체와, 소정의 관리자 인증 프로그램, 벤치마크 인식 프로그램, 성능 분석 프로그램 등이 저장된 기억장치가 저장되는 본체, 키보드, 디스플레이, 프린터 및 카메라 등과 같은 각종 입출력장치가 구비되는 컴퓨터를 포함하는 얼굴인식 시스템의 성능 시험시스템을 제공한다.

얼굴인식, 프로그램, 갤러리, 프로브, 영상, 파일, 데이터베이스, 대상

Description

얼굴인식 시스템의 성능시험 방법 및 시스템{Method and System of developing the performance evaluation for the face recognition system}

도 1은 본 발명의 일실시예에 의한 얼굴인식 시스템의 성능 시험시스템의 개략적인 구성도이다.

도 2는 본 발명의 얼굴인식 시스템의 성능 시험방법을 설명하기 위한 개념도이다.

도 3은 본 발명에 사용되는 영상 데이터베이스(DB)와 각종 프로그램과의 관계를 개념적으로 설명하는 도면이다.

도 4는 도 3에 도시된 관리자 인증 프로그램에 의해 구현되는 초기 화면을 나타내는 도면이다.

도 5는 본 발명에 사용되는 영상 데이터베이스의 일예를 나타내는 도면이다.

도 6은 본 발명의 영상 데이터베이스의 영상 파일 구조를 설명하기 위한 도면이다.

도 7은 본 발명을 파일 관점에서 설명하기 위한 블럭도이다.

도 8은 도 7에 도시된 파일의 구조를 나타내는 도면이다.

도 9는 본 발명에서 식별(IDENTIFICATION) 시나리오를 채용한 경우를 설명하기 위한 도면이다.

도 10은 본 발명에서 검증(VERIFICATION) 시나리오를 채용한 경우를 설명하기 위한 도면이다.

본 발명은 얼굴인식 시스템의 성능 시험시스템 및 그 방법에 관한 것으로서, 특히 하드디스크 또는 USB 메모리 형태로 제공되는 피시험 데이터에 의거해서 컴퓨터의 기억장치에 내장된 얼굴인식 프로그램을 이용하여 얼굴인식을 수행하고, 출력되는 정보에 의해 얼굴인식 시스템의 성능을 분석하는 얼굴인식 시스템의 성능 시험시스템 및 그 방법에 관한 것이다.

일반적으로, 얼굴인식(face recognition) 기술이란 입력된 영상에 존재하는 사람의 얼굴에 대하여 주어진 얼굴 데이터베이스(DB)와 비교하여 그 신원을 확인하는 기술을 말한다. 얼굴인식기술은 다른 생체인식기술인 지문인식, 홍채인식, 정맥인식 등과 달리 자신의 신체 일부를 인식장치에 직접 접촉시키지 않아도 되고, 생체정보의 획득방법에서 강제성이 적어 다른 생체인식 기술이 사용자에게 줄 수 있는 거부감과 불편함이 존재하지 않는 특징을 갖는다.

이러한 특징을 얼굴인식에 대한 연구는, 정지된 얼굴영상(still image)에서부터 비디오영상을 통한 얼굴인식에 이르기까지 광범위한 분야에서 적극적으로 진행되어 왔다. 인간 스스로에 있어서 얼굴인식 메커니즘은 그다지 어려운 문제가 아니지만, 컴퓨터 시스템을 이용한 얼굴인식은 얼굴 자체의 상호 유사성과 외부의 환경이나 내재적인 요소로 인해 다양한 변화를 갖는 얼굴의 특성으로 인해 결코 쉬운 일이 아니다.

따라서, 현 시점에서 얼굴인식은 컴퓨터 비전이나 패턴인식을 연구하는 분야에서 가장 도전적인 과제 중 하나이다. 이러한 얼굴인식은 감시체제(surveillance system), 보안, 원거리 통신, 디지털 도서관, 그리고 HCI(Human-Computer Interaction) 등과 같은 다양한 분야에서 응용 예를 찾을 수 있다. 대부분의 응용분야에서 얼굴인식은 제한된 시설이나 장비에 대한 접근 제어, 보안체제에 대한 개인의 신원 확인, 공항이나 출입국 관련 시설의 감시체제 등을 수행하고 있다. 또한 은행의 ATM(Automatic Teller Machine)이나 범인색출, 신용카드, 여권, 운전면허 등의 신원 기록 인증 분야에도 널리 적용되고 있는 추세이다.

또한, 얼굴인식의 가장 중요한 수단인 컴퓨터 알고리즘은, 얼굴인식의 기능을 수행하는 모델로서 중대한 역할을 하고 있는데, 이러한 알고리즘을 통한 인식모델들은 인간의 직접적인 얼굴인식 기능과 비교함으로써 모델의 생물학적 개연성(plausibility)을 시험할 수 있다. 즉, 인간의 기능과 모델의 기능에 대한 유사성이 증가할수록 모델의 개연성은 더 높아진다고 볼 수 있다.

얼굴인식의 과정은, 입력영상으로부터 얼굴 검출(detection), 전처리과정(preprocessing), 특징추출(feature extraction), 패턴분류의 단계들을 거쳐 수행된다. 그러나, 응용환경에 적합한 단계별 적용기술에 있어서는 실제적으로 많은 한계를 드러내고 있다. 대부분 얼굴인식 모델의 정확성은, 영상의 질적인 측면, 조명조건, 포즈나 크기(scale), 표정(expression), 외모의 다양한 요소(수염, 안경 등 ), 폐색(occlusion) 등의 내외적 요건들에 많은 제한을 받고 있다. 따라서, 이러한 문제의 해결을 위해 신호처리, 패턴인식, 기계학습, 신경망, 진화이론, 신경과학, 인지심리학 등 많은 관련 연구 분야에서의 시너지 효과를 기대하고 있는 실정이다.

얼굴인식의 기술은, 두 가지 주요 카테고리를 통해 점점 발전해 나가고 있다. 하나는 전처리, 얼굴검출, 형태추출, 분류기법 등 얼굴인식 관련 문제에 대한 신뢰적인 해답을 제시하는 알고리즘의 발전이고, 또 하나는 다양한 시나리오와 영상 데이터의 설정을 통한 성능시험 방법의 발전으로서 시스템을 수행할 때 발생하는 다양한 요구조건들을 알고리즘이 얼마나 잘 대처하는지를 측정하는 것이다. 특히, 후자의 경우는 얼굴인식에서 최근 새롭게 대두되고 있는 관심분야로서 성능평가(performance evaluation)와 학습기반예측(predictive learning)과의 상호작용을 보다 명확히 제시하려는 것이다. 즉, 주어진 영상정보에 대한 성능을 평가하고 이를 바탕으로 미래에 주어질 영상정보들에 대한 성능을 예측할 수 있어야 한다는 것이다. 통계적 학습이론들은, 미래 영상정보들을 예측할 때 발생될 수 있는 위험요소들을 추정해 낼 수 있는 기법들을 제공한다. 특히, 모델의 성능은 분류기(classifier)의 복잡성이나 테스트 집합에 대한 트레이닝 집합의 상대적인 영상의 수나 질에 많은 영향을 받게 된다.

통상, 얼굴인식 시스템 시험은 목표에 따라 3가지 큰 형태(type) 중의 하나로 분류된다. 즉, 기술 시험, 시나리오 시험, 그리고 운영 시험이다.

먼저, 기술 시험(technology evaluation)은, 단일한 얼굴인식 기술에서 경쟁 관계에 있는 알고리즘들을 비교하는 것이다. 알고리즘 시험은 일반적인 카메라에 의해 수집된 표준화된 데이터베이스에서 수행된다.

그러나 이 같은 데이터베이스에 대한 성능도 데이터가 수집된 환경과 데이터에 등록된 사람들의 인적 구성(population)에 따라 변화하므로, 시험할 알고리즘에 대해서 너무 쉽지도 너무 어렵지도 않은 데이터베이스를 구축하는 것이 중요하다. 알고리즘 개발과 튜닝(tuning)을 위한 샘플 데이터는 시험 전에 분배되지만, 실제 시험은 사전에 공개되지 않았던 데이터에 대해 이루어져야 한다. 시험은 일반적으로 “오프라인(off-line)”으로 수행하며 그 결과는 재현할 수 있어야 한다. 한편, 이러한 알고리즘 시험을 위해 기준이 되는 벤치마크 알고리즘의 선정 또한 중요한다.

또한, 시나리오 시험(scenario evaluation)은, 프로토타입 또는 모의실험에서 전반적인 시스템 성능을 결정하는 것이다. 즉, 실세계(real-world) 응용을 모델링한 환경에서 완전한 시스템을 시험한다. 각 시스템이 독자적인 획득용 카메라를 사용함에 따라, 같은 환경에서 같은 구성원에 대한 데이터를 수집하도록 하는 것이 중요하다. 각 시스템의 데이터 저장 용량에 따라 시험은 오프라인 또는 온라인 형태로 수행할 수 있다. 시험 결과의 재현은 모델링된 시나리오가 조절될 수 있는 한도 안에서 가능하다.

그리고, 운영 시험(operational evaluation)은, 특정한 대상 구성원을 가진 특정한 환경에서 완전한 시스템의 성능을 결정하는 것이다. 시험 시스템의 데이터 저장 용량에 따라 오프라인 시험은 불가능한 경우도 있다. 운영 환경간의 명시되지 않는 차이 때문에 (얼굴인식 시스템의 경우에 조명, 포즈, 표정 등의 변화) 운영 시험의 결과는 일반적으로 재현이 불가능한 경우가 많다.

한편, 실질적으로 대부분의 얼굴인식 논문에서는 다양한 알고리즘을 제안하고 있고, 이들은 상대적으로 적은 영상데이터를 통해 보통 95%이상의 인식률을 보고하고 있는 실정이다. 그러나, 이러한 알고리즘들은 서로 다른 가정과 영상데이터, 평가방법을 채택하고 있기 때문에, 직접적인 비교가 불가능하다.

따라서, 표준화된 얼굴영상 데이터베이스(DB)와 얼굴인식 시스템의 경쟁력을 비교, 시험할 수 있는 성능평가 방법의 제시는 그 필요성이 절실하다고 할 수 있다. 따라서, 특정한 응용 환경에서 얼굴인식 시스템을 활용하기 위해서는 어떠한 인식 모델을 이용하는 시스템을 도입하는 것이 효과적인지, 또는 같은 모델을 이용하더라도 어떠한 분류기를 이용하는 것이 바람직할지 결정하는 것이 중요한 문제가 된다. 얼굴인식 시스템의 성능을 객관적으로 신뢰성 있게 시험하는 기술은, 이러한 문제에 대한 해결책을 제시하려는 의도에서 연구되기 시작하였고, 개발자 입장에서도 개발된 기술에 대한 객관적 평가로 인한 신뢰성과 시장성 확보 면에서 매우 중요하다고 할 수 있다.

따라서, 본 발명의 목적은 표준화된 얼굴영상 데이터베이스(DB)와 개발된 얼굴인식 시스템의 성능을 객관적으로 비교, 평가할 수 있는 얼굴인식 시스템의 성능 시험시스템 및 그 방법을 제공하는데 있다.

또한, 본 발명의 다른 목적은, 새롭게 개발된 얼굴인식 시스템의 성능을 객관적으로 비교, 평가하여 신뢰성과 시장성을 확보할 수 있는 얼굴인식 시스템의 성 능 시험시스템 및 그 방법을 제공하는데 있다.

상술한 목적을 달성하기 위해, 본 발명은 얼굴인식 시스템의 성능 시험시스템에 있어서, 얼굴인식 시스템에서 트레이닝 대상이 되고, 성능 시험에서 갤러리가 되는 영상들의 집합인 대상(Target) 집합과 성능 시험에서 프로브가 되는 영상들의 집합인 질의(Query) 집합으로 이루어진 xml 파일과, 영상 데이터베이스(DB)를 포함하는 기록매체와, 소정의 관리자 인증 프로그램, 벤치마크 인식 프로그램, 성능 분석 프로그램 등이 저장된 기억장치가 저장되는 본체, 키보드, 디스플레이, 프린터 및 카메라 등과 같은 각종 입출력장치가 구비되는 컴퓨터를 포함한다.

또한, 본 발명의 기록매체는, 상기 컴퓨터와 컨트롤러에 의해 연결되는 하드디스크 또는 상기 컴퓨터와 USB 포트를 통해서 연결되는 USB 메모리인 것을 특징으로 한다.

게다가, 상기 컴퓨터의 입력장치로는 각종 영상을 촬영하는 CCD 카메라를 포함하고, 상기 영상 데이터베이스(DB)는, ID, 포즈, 스페셜 플래그, 스페셜 환경 및 날짜로 이루어진 5개의 카테고리로 구성되는 영상 파일을 포함하며, 상기 벤치마크 분석 프로그램은, 벤치마킹 알고리즘 및 피시험자 알고리즘을 포함하는 얼굴인식 시스템에 의해 구동되어 출력파일을 생성하는 것을 특징으로 한다.

한편, 본 발명은 얼굴인식 시스템에서 트레이닝 대상이 되고, 성능 시험에서 갤러리가 되는 영상들의 집합인 대상(Target) 집합과 성능 시험에서 프로브가 되는 영상들의 집합인 질의(Query) 집합으로 이루어진 xml 파일, 영상 데이터베이스를 포함하는 기록매체와; 소정의 관리자 인증 프로그램, 벤치마크 인식 프로그램, 성능 분석 프로그램 등이 저장된 기억장치가 저장되는 본체, 키보드, 디스플레이, 프린터 및 카메라 등과 같은 각종 입출력장치가 구비되는 컴퓨터를 포함하는 얼굴인식 시스템의 성능 시험방법에 있어서, 상기 컴퓨터의 기억장치에 저장된 관리자 인증 프로그램에 의해, 상기 컴퓨터의 입력장치를 통해 입력되는 사용자 정보에 의거해서 인증을 수행하는 사용자 인증단계와; 상기 컴퓨터의 기억장치에 저장된 벤치마크 인식 프로그램에 의해, 상기 대상집합과 질의집합의 영상 ID를 임의의 함수를 이용하여 변환된 영상 데이터베이스(DB)의 시험 데이터를 이용하여 얼굴인식을 수행함으로써, 소정의 출력파일을 생성하는 얼굴인식 수행단계와; 상기 컴퓨터의 기억장치에 저장된 성능 분석 프로그램에 의해, 상기 출력파일로부터 각각 적절한 갤러리 및 프로브를 추출한 후, 선택된 갤러리 및 프로브에 대한 스코어를 추출하고, 판단에러율과 매칭에러율을 이용하여 성능 분석을 수행하는 성능 분석단계를 포함한다.

또한, 상기 얼굴인식 수행단계는, 신원불명의 사람인 접근하는 경우 CCD 카메라와 같은 입력장치를 통해 입력되는 화상과 영상 데이터베이스(DB)에 저장된 화상을 비교하여 유사도가 가장 높은 대상을 접근 대상자라고 판정하는 식별 시나리오 또는 신원이 공지된 사람이 접근하는 경우 CCD 카메라와 같은 입력장치를 통해 입력되는 화상과 영상 데이터베이스(DB)에 저장된 화상이 서로 동일하다고 판단 할 수 있을 정도로 유사한지를 판정하는 검증 시나리오를 적용하여 수행되는 것을 특징으로 한다.

이하, 첨부된 도면을 참조하여 본 발명을 상세히 설명한다.

도 1은 본 발명의 일실시예에 의한 얼굴인식 시스템의 성능 시험시스템의 개략적인 구성도, 도 2는 본 발명의 얼굴인식 시스템의 성능 시험방법을 설명하기 위한 개념도이다. 또한, 도 3은 본 발명에 사용되는 영상 데이터베이스(DB)와 각종 프로그램과의 관계를 개념적으로 설명하는 도면이고, 도 4는 도 3에 도시된 관리자 인증 프로그램에 의해 구현되는 초기 화면을 나타내는 도면이다.

도 1 내지 도 4에 도시된 바와 같이, 본 발명의 얼굴인식 시스템의 성능 시험시스템은, 크게 기록매체(10)와 컴퓨터(30)를 포함한다.

상기 기록매체(10)는, 상기 컴퓨터(30)와 케이블 또는 USB포트를 통해서 연결되어 있다. 또한, 얼굴인식 시스템에서 트레이닝 대상이 되고, 성능 시험에서 갤러리가 되는 영상들의 집합인 대상(Target) 집합, 성능 시험에서 프로브가 되는 영상들의 집합인 질의(Query) 집합 및 이들로 이루어진 xml 파일과, ID, 포즈, 스페셜 플래그, 스페셜 환경 및 날짜로 이루어진 5개의 카테고리로 구성되는 영상 파일을 포함하는 영상 데이터베이스(DB)를 포함한다.

여기서, 대상집합(Target Set)이란, 등록을 위해 시스템에 미리 제공되는 샘플들의 집합으로서, 갤러리는 대상(Target)의 부분집합이다. 또, 질의집합(Query Set)이란 시스템에 미리 제공되지 않고 새로 입력되는 샘플들의 집합으로서, 대상(Target)의 임의의 샘플과 매칭스코어를 계산하게 된다. 프로브는 질의(Query)의 부분집합이다.

또한, 상기 컴퓨터(30)는, 소정의 관리자 인증 프로그램, 벤치마킹 알고리즘 및 피시험자 알고리즘을 포함하는 얼굴인식 시스템에 의해 구동되어 출력파일을 생성하는 벤치마크 인식 프로그램, 성능 분석 프로그램 등이 저장된 기억장치(M)를 내장하는 본체(31), 키보드(33), 마우스(35), 디스플레이(37), 프린터(38) 및 카메라(39) 등과 같은 각종 입출력장치를 포함한다. 이때, 상기 컴퓨터(30)는, 상기 카메라(39)로서 CCD 카메라를 포함할 수 있다.

한편, 본 발명의 얼굴인식 시스템의 성능 시험방법은, 크게 사용자 인증단계와; 얼굴인식 수행단계 및 성능 분석단계를 포함한다.

먼저, 상기 사용자 인증단계는, 얼굴인식 시스템에서 트레이닝 대상이 되고, 성능 시험에서 갤러리가 되는 영상들의 집합인 대상(Target) 집합과 성능 시험에서 프로브가 되는 영상들의 집합인 질의(Query) 집합으로 이루어진 xml 파일과, 영상 데이터베이스를 포함하는 기록매체와; 소정의 관리자 인증 프로그램, 벤치마크 인식 프로그램, 성능 분석 프로그램 등이 저장된 기억장치(M)가 저장되는 본체(31), 키보드(33), 마우스(35), 디스플레이(37), 프린터(38) 및 카메라(39) 등과 같은 각종 입출력장치를 구비하는 컴퓨터(30)를 포함하는 얼굴인식 시스템의 성능 시험방법에 있어서, 상기 컴퓨터의 기억장치에 저장된 관리자 인증 프로그램이 구동된 후, 도 4에 도시된 바와 같이, 상기 컴퓨터(30)의 입력장치인 키보드(33)를 통해 입력되는 사용자 정보, 예컨대 ID 및 PASSWORD와 사용자 데이터베이스(DB)에 저장된 사용자 ID 및 PASSWORD를 비교하여 일치 및 불일치를 판정한다.

다음에, 상기 얼굴인식 수행단계는, 도 4에서 벤치마크 시스템이 선택되어 상기 컴퓨터(30)의 기억장치(M)에 저장된 벤치마크 인식 프로그램이 구동된 후, 상 기 대상집합과 질의집합의 영상 ID를 임의의 함수를 이용하여 변환된 영상 데이터베이스(DB)의 시험 데이터를 이용하여 얼굴인식을 수행한 결과, 소정의 출력파일을 생성한다. 이때, 출력파일의 수는 대상집합과 질의집합의 곱의 갯수만큼 생성한다.

또한, 상기 얼굴인식 수행단계는, 신원불명의 사람인 접근하는 경우 CCD 카메라(39)와 같은 입력장치 또는 영상 파일을 통해 입력되는 화상과 영상 데이터베이스(DB)에 저장된 화상을 비교하여 유사도가 가장 높은 대상을 접근 대상자라고 판정하는 식별(IDENTIFICATION) 시나리오 또는 신원이 공지된 사람이 접근하는 경우 CCD 카메라(39)와 같은 입력장치 또는 영상 파일을 통해 입력되는 화상과 영상 데이터베이스(DB)에 저장된 화상이 서로 동일하다고 판단 할 수 있을 정도로 유사한지를 판정하는 검증(VERIFICATION) 시나리오를 적용하여 수행한다.

그리고, 상기 성능 분석단계는, 상기 컴퓨터(30)의 기억장치(M)에 저장된 성능 분석 프로그램이 구동된 후, 상기 출력파일로부터 각각 적절한 갤러리 및 프로브를 추출한 후, 선택된 갤러리 및 프로브에 대한 스코어를 추출하고, 판단에러율과 매칭에러율을 이용하여 성능 분석을 수행한다.

도 5는 본 발명에 사용되는 영상 데이터베이스의 일예를 나타내는 도면이고, 도 6은 본 발명의 영상 데이터베이스의 영상 파일 구조를 설명하기 위한 도면이다.

본 발명의 얼굴인식 시스템의 성능 시험을 위한 영상 데이터는, 기존의 공개된 데이터베이스를 이용하거나 자체적으로 성능 시험을 위한 확보한 데이터베이스를 이용한다.

도 5에 도시된 바와 같이, 미국의 얼굴인식시험(Face Recognition Test)에서 사용된 데이터베이스(DB)인 FERET, 미국 카네기멜론 대학에서 만든 데이터베이스(DB)로서 포즈(Pose), 조명(Illumination), 표정(Expression)의 변화에 대한 얼굴 영상들을 담고 있는 CMU_PIE, 영국 캠브리지(cambridge) 대학 ORL(Olivetti Research Lab)에서 만든 데이터베이스(DB)인 ORL, 영국 서레이(Surrey) 대학에서 만든 데이터베이스(DB)로서 음성 데이터도 포함되어 있는 XM2VTS, 미국 U.A.B의 컴퓨터 비젼 센터에서 만든 데이터베이스(DB)인 AR 등과 같은 공개된 데이터베이스(DB)들은 성능 시험을 위한 다양한 카테고리를 담고 있기 때문에 매우 유용하다. 특히, FERET의 경우 동일한 이름의 성능 시험을 통해 다양한 결과들이 보고되어 있기 때문에 참고할 수 있는 매우 중요한 자료이다.

또한, 본 발명의 영상 데이터베이스(DB)에 포함되는 영상 파일의 구조는, 도 6에 도시되어 있다.

도 6에 도시된 바와 같이, 영상 파일은 ID, 포즈, 스페셜 플래그, 스페셜 환경 및 날짜로 이루어진 5개의 카테고리로 구성되며, 이들 카테고리에는 도 6에 도시된 코드가 부여되어 있다.

이렇게 영상 파일에 코드를 부여하는 것에 의해, 영상 파일명에 영상에 대한 정보를 표시함으로써 성능 시험을 수행할 때 카테고리별 영상 정보의 추출이 용이하게 된다.

본 발명에 의한 얼굴인식 시스템의 실질적인 성능 시험은, 시험자가 피시험자에게 대상(Target) 및 질의(Query)의 xml 파일, 영상 데이터베이스(DB)를 저장한 기록매체(10), 예컨대 USB 메모리 또는 하드 디스크 등을 컴퓨터(30)에 제공하면서 시작된다. 이때, 각 영상파일들은 성능시험의 공정성을 위해 변환된 ID를 사용하여 영상파일명이 재작성 된다. 물론, 이러한 영상파일명은 출력파일의 생성 후, 다시 원 ID를 포함하는 영상파일명으로 복구하는 과정을 거치게 된다.

상기 기록매체(10)를 통해 제공되는 입력 파일은 xml 형태를 갖는다. xml은 기존의 mark-up 언어에 비해 상당한 유연성과 확장성을 갖고 있고 가독력(readability)이 뛰어난 장점을 가지고 있다. 따라서, 성능시험 피시험자들은 반드시 시스템적으로 xml을 읽는 모듈을 추가하여야 한다.

먼저, 입력되는 영상들을 얼굴인식 수행시 트레이닝 대상이 되고 성능 분석시 갤러리가 되는 영상들의 집합인 대상(Target)집합과, 성능 분석시 프로브가 되는 영상들의 집합인 질의(Query)집합으로 구분한다.

또한, xml 입력 파일에는 대상(Target) 또는 질의(Query)집합의 이름, still 영상, 비디오 시퀀스, still 영상 + 비디오 시퀀스 등의 영상들의 미디어 형태와, 영상의 파일 형식(예컨대 BMP, JPG, RAW 등) 및 영상들의 저장 경로 등이 기록된다. 게다가, 이외의 정보들도 별도로 XML 태그를 설계하여 첨가할 수 있다. 따라서 언굴인식 시스템은 XML을 분석하여 영상의 전체적인 정보를 인지하고, 이들의 경로를 추출하면 된다.

다음에, 영상의 ID 변환시, 입력 파일인 XML로부터 추출된 영상 리스트에는 사람을 인식하기 위한 고유의 ID가 포함되어 있다. 실질적으로 성능 시험 및 분석을 수행할 때 동일한 ID를 갖는 갤러리와 프로브 영상들은 서로 동일한 사람의 영상이다. 따라서, 시험자의 경우 ID 비교를 통해 동일한 영상의 실체를 인지하게 된 다. 이것은 시스템적으로 성능 조작의 문제를 발생시킬 수 있기 때문에, 이를 방지하기 위해 갤러리와 프로브의 모집합이 되는 대상(Target)과 질의(Query) 집합의 영상들의 ID를 임의로 변환시켜 성능 시험을 수행한다. 성능 시험의 대상이 되는 모든 영상들에 부여된 ID를 임의의 암호화 함수를 발생시켜 변환하고, 이에 대한 매핑 리스트를 시험자가 보관한다. 이것은, 성능 시험의 객관성을 확보하기 위함으로써 피시험자가 고의로 대상이 되는 갤러리와 프로브의 ID 식별변호가 같음을 악용할 소지를 제거한다. 난수의 발생은 갤러리와 프로브에 별도로 수행하고 시험자는 갤러리와 프로브 각각에 대해 고유 ID와 발생된 난수의 매핑된 결과를 리스트로 보관하여야 한다.

도 7은 본 발명을 파일 관점에서 설명하기 위한 블럭도이고, 도 8은 도 7에 도시된 파일의 구조를 나타내는 도면이다.

도 8에 도시된 바와 같이, 입력파일이 대상(Target)과 질의(Query)에 대한 정보들을 내포한 xml 형태로 이루어질 때, 얼굴인식 시스템은 최종 출력정보로 출력파일들이 포함된 하나의 스코어(Score) 폴더를 제공한다. 이 폴더에는 갤러리와 프로브의 대상이 될 수 있는 모든 영상들(일명, 대상 영상 집합, 대상(Target)집합)의 유사도 값이 저장되어 있다.

만약, 기록매체(10)로서 시험자의 하드디스크상에 Target_Image 폴더에 M개의 영상이 포함되고, Query_Image 폴더에 N개의 영상이 포함되어 있다면, 피시험자의 컴퓨터(30)에 탑재된 얼굴인식 시스템은 Query_Image 폴더에 포함된 N개의 파일을 출력하여야 한다. 또한, N개의 각 파일에는 Target_Image 폴더에 포함된 동일한 M개의 매칭스코어 리스트가 존재하여야 한다. 따라서, 최종적으로 MN개의 스코어 값이 계산되고 실제적으로 이러한 값들이 하나의 파일에 기록되지는 않지만 하나의 유사도 매트릭스(similarity matrix)로 간주될 수 있다.

다시 말하면, 피시험자의 얼굴인식 시스템으로부터 출력 정보(물리적으로는 폴더의 구조, 논리적으로는 유사도 매트릭스)가 생성되면, 시험자는 해당시스템을 위한 적당한 성능시험 카테고리를 선택한다. 이어서, 대상(Target) 집합으로부터 적당한 갤러리 집합을 추출하고, 질의(Query) 집합으로부터 적당한 프로브 집합을 추출한 후, 선택된 갤러리와 프로브에 대한 스코어를 추출한다. 이 후, 출력된 스코어(Score) 폴더에서 선택된 프로브에 해당되는 파일들을 찾은 다음, 각 파일들을 열어 선택된 갤러리에 대한 스코어를 추출한다. 한편, 추출된 스코어의 수는 갤러리 수와 프로브 수의 곱과 같다.

다음에, 본 발명에 의한 얼굴인식시스템 성능 시험에 대해서 설명한다.

먼저, 성능 시험은, 얼굴인식 시스템의 운영 목적에 따라 적용되는 시나리오가 다를 수 있다. 예를 들어 고도의 보안을 요구하는 접근 제한 시스템에서는 실수로 칩입자를 받아들여서는 안되기 때문에 시스템의 잘못된 승인인 FAR(False Alarm Rate)를 작게 하여 시스템을 운영하여야 하고, 범인 검색 시스템에서는 혐의자를 찾아내기 위해서 많은 후보자가 포함된 결과가 필요하므로 FAR가 큰 경우도 무방할 것이다.

일반적으로, 성능 시험 시나리오는 식별(Identification) 시나리오와 검증(Verification) 시나리오를 이용한다. 본 발명에서는 이 두 시나리오를 사용하여 성능 분석 도구를 구현하였다.

도 9는 본 발명에서 식별(IDENTIFICATION) 시나리오를 채용한 경우를 설명하기 위한 도면이고, 도 10은 본 발명에서 검증(VERIFICATION) 시나리오를 채용한 경우를 설명하기 위한 도면이다.

먼저, 식별 시나리오에 대해서 설명한다. 식별(Identification) 시나리오에서는 사람이 시스템에게 자신의 신원에 대해 부정적인 확인요구(Negative claim of Identity)를 하게 된다. 즉, 시스템에 새롭게 얼굴 영상 샘플을 제공하면, 시스템은 등록된 데이터베이스의 샘플들에 대해 선택된 매칭스코어 기준에 따라 해당 ID에 대한 기존의 샘플을 찾아 제공된 샘플과 비교하여 신원확인 결정을 내린다. 따라서, 이 시나리오는 수학적으로 일대일 매칭이 되고, 두 샘플에 대한 매칭스코어가 임계값보다 크고 작음에 따라 인증결과를 판단한다. 그 결과, 임계값보다 큰 경우 인증실패, 작은 경우 인증 성공으로 결정한다. 이 시나리오는 일반적으로 ROC 곡선을 가지고 분석한다.

도 9를 이용하여 보다 구체적으로 식별 시나리오를 설명한다. 도 9에 도시된 바와 같이, 식별(Identification) 시나리오는 신원 불명의 어떤 사람(프로브 집합의 한 영상이 된다)이 시스템에 접근했을 때, 접근 대상이 미리 등록된 영상 데이터베이스(갤러리 집합이 된다)에 있는 누구인지를 인식하는 것이다. 즉, 일대다 매칭을 통해 프로브에 있는 한 사람을 갤러리에 있는 모든 사람들과 비교하여 유사도가 가장 좋은(매칭스코어가 가장 낮은) 사람을 접근 대상이라고 판단하는 것이다.

상기 식별 시나리오의 실행은, 먼저 컴퓨터(30)의 기억장치(M)에 저장된 얼 굴인식 프로그램을 구동하고, 얼굴인식 시스템에 신원을 모르는 사람의 샘플(프로브)을 입력한다. 여기서, 샘플(sample)이란 한 사람의 얼굴을 촬영한 한 장의 영상을 의미한다. 샘플은 미리 촬영되어 얼굴인식 시스템의 영상 데이터베이스에 저장된 것과 새롭게 촬영되어 얼굴인식 시스템에 입력되는 두 가지의 경우가 있다.

이후, 얼굴인식 시스템을 수행하여 유사도 매트릭스(Similarity Matrix)를 계산한다. 이렇게 구해진 유사도를 순위에 따라 정렬한 후, 최선의 스코어를 갖는 갤러리 영상의 ID를 입력영상에 부여한다.

다음에, 시험자가 입력 샘플들의 ID 정보를 갖고 있는 상태에서 분석을 수행한다. 즉, 시험자는 갤러리와 프로브에 무관하게 모든 대상이 되는 영상들의 ID 정보를 습득하고 있는 상태이다. 식별 시나리오 분석은 다음의 톱 랭크매치(Top Rank Match)와 CMC(Cummulative Match Characteristic) 곡선의 두 가지 방법을 통해 수행된다.

톰 랭크 매치시험이란,「1위로서 인식이 되는가?」를 판정하는 시험으로서, 프로브 집합의 각 영상에 대해 모든 갤러리 영상과의 유사도를 계산한 후, 그들을 크기순으로 정렬하여 순위가 1위인 갤러리 영상의 ID를 프로브 영상에 부여한다. 이때, 실질적으로 ID가 서로 같으면「인식 성공」, 다르면「인식 실패」로 결정한다. 얼굴인식 시스템간의 성능 비교를 위해, 다음과 같은 질문에 대한 결과를 분석한다.

1. 각 인식시스템들의 1위 매치율은 얼마인가?(매치율이 높을수록 성능 우수)

2. 각 인식시스템들의 데이터베이스 크기(갤러리와 프로브의 표본 크기 변화)의 변화에 따른 1위 매치율의 변화는?

CMC(Cumulative Match Characteristic) 곡선 시험이란,「Top N 순위 안에서 인식이 되는가?」를 판정하는 식별 시나리오에서 성능을 분석하는 가장 대표적인 시험방법이다. 이 CMC 곡선은 순위에 대한 함수로서, x축에 순위를 나타내고, y축에는 누적된 인식률을 나타내는 것에 의해, n번째 순위까지의 프로브에 대한 인식률을 확인할 수 있다. 보다 구체적으로, 얼굴인식 시스템간의 성능 비교를 위해, 다음과 같은 질문에 대한 결과를 분석한다.

1. 각 얼굴인식 시스템의 N% 누적 인식율은 몇 위에서 발생하는가? (N은 시험기준에서 설정하고 보통 90% 정도 설정, 계산된 순위가 낮을수록 성능 우수)

2. 각 인식시스템들의 M 순위까지의 누적 인식율을 얼마인가? (M은 시험기준에서 설정, 누적 인식율이 높을수록 성능 우수)

다음에, 검증 시나리오에 대해서 설명한다. 검증(Verification) 시나리오에서는 사람이 시스템에게 자신의 신원에 대해 긍정적인 확인요구(Positive claim of Identity)를 하게 된다. 즉, 자신의 ID를 알려주고 시스템에 새롭게 얼굴 영상 샘플을 제공하면 시스템은 해당 ID에 대한 기존의 샘플을 찾아 제공된 샘플과 비교하여 신원확인 결정을 내린다. 따라서, 이 시나리오는 수학적으로 일대일 매칭이 되고 두 샘플에 대한 매칭스코어가 임계값보다 크고 작음에 따라 인증결과를 판단한다. 임계값보다 큰 경우 인증실패, 작은 경우 인증 성공으로 결정한다. 이 시라리오는 일반적으로 ROC 곡선을 가지고 분석한다.

도 10을를 이용하여 보다 구체적으로 검증 시나리오에 대해서 설명한다. 도 10에 도시된 바와 같이, 검증(Verification) 시나리오는 신원이 알려진 어떤 사람(프로브 집합의 한 영상이 된다.)이 시스템에 접근했을 때 과연 그 사람의 새로 습득된 영상과 그 사람에 대해 데이터베이스에 저장된 영상(갤러리 집합에 포함된 한 영상이 된다.)이 서로 동일하다고 판단할 수 있을 정도로 유사한지 를 판단하는 것이다. 즉, 일대일매칭을 통해 프로브에 있는 한 사람과 갤러리에 있는 한 사람의 유사도를 계산하여 일정한 임계값보다 크면 인증 실패, 작으면 인증 성공임을 판단하게 된다.

상기 검증 시나리오의 실행은, 먼저 컴퓨터(30)의 기억장치(M)에 저장된 얼굴인식 프로그램을 구동하고, 얼굴인식 시스템에 인증을 원하는 사람의 영상(프로브)과 그의 ID를 입력한다. 얼굴인식 시스템의 영상 데이터베이스(DB)에서 그 ID에 대한 영상(갤러리)을 선택한다. 이어서, 얼굴인식 시스템의 유사도를 계산한 후, 임계값과 유사도를 비교한다.

다음에, 시험자가 입력 샘플의 ID 정보를 갖고 있는 상태에서 분석을 수행한다. ROC(Receive Operation Characteristic) 곡선은 패턴 매칭 시스템의 성능을 나타내는 데 있어서 가장 널리 사용되는 방법으로서 결정 임계값(decision threshold)에 대한 함수이다. 하나의 임계값이 결정되면 그에 대한 FAR과 인식 성공율인 VR(Verification Rate)이 계산되고, 이들을 각각 x축과 y축에 나타낸 것이다. 여기서, VR은, 입력된 샘플의 ID가 시스템에 공개되어 시스템이 등록된 데이터베이스에서 해당 ID에 대한 템플릿(templete)을 입력된 샘플과 비교함으로써 그 인 증이 확인된 경우를 나타낸다. ROC 곡선을 통해 하나의 시스템의 경우 여러 FAR 값에 대한 VR의 변화를 분석할 수 있고, 또한 동일한 FAR에 대해 여러개의 시스템에 대한 VR의 변화를 분석할 수 있다.

즉, 검증 시나리오 분석은 ROC(Receiver Operating Characteristic) 곡선을 통해 이루어진다. ROC 곡선은 x축에 FAR을 y축에는 FRR을 나타낸다. 인식시스템간의 성능 비교를 위해 다음과 같은 질문에 대한 결과를 분석한다.

1. FAR을 N 정도(N 정도의 FAR은 시스템의 운용에 있어서 용인 가능)로 시스템을 운용하려 할 때 FRR은 얼마인가?(N은 시험기준에서 설정, FRR이 낮을수록 성능 우수)

2. FRR을 N 정도(N 정도의 FRR은 시스템의 운용에 있어서 용인 가능)로 시스템을 운용하려 할 때 FRR은 얼마인가? (N은 시험기준에서 설정, FAR이 낮을수록 성능 우수)

3. ERR은 얼마인가? (ERR이 낮을수록 성능 우수)

(EER(Equal Error Rate)은 ROC 곡선 상에서 FMR(FAR) 과 FNMR(FRR) 이 동일한 지점(y=x와의 교점)으로 검증 시나리오상의 시험 척도이다)

이상의 성능 분석 결과, 응용분야에 따른 성능 분석을 반영한다. 고도의 보안을 요구하는 접근 제한 시스템에서는 실수로 칩입자를 받아들여서는 안 되기 때문에 FAR을 작게 하여 운용하여야 하고, 범죄관련 응용 시스템에서는 혐의자를 찾아내기 위해서 잘못 찾아진 후보자가 포함된 많은 검색 결과를 검사해야 하는 불편도 감수할 수 있으므로 큰 FMR을 사용한다. 일반적으로, FRM과 FAR이 모두 작은 것 이 바람직하다.

또한, 얼굴인식 시스템의 성능 측정을 위해 판단에러율과 매칭에러율을 이용한다. 판단에러율은 최종적인 시스템 사용자의 트랜잭션(transaction)에 부여되는 에러율이고, 매칭에러율은 입력 샘플의 특징(feature)과 등록된 어떤 템플릿(template)을 비교하는 하나의 시도에 부여되는 에러율이다. 여기서, 트랜잭션(Transaction)이란, 사람이 자신의 신원 요청을 하였을 때 시스템이 샘플들을 확인함으로써 그의 신원의 타당성을 결정(판단)하는 시도이다.

또한, 특징(Feature)이란 수학적으로 표현된 특징적 정보로서 데이터베이스에 등록된 샘플과 새로 입력된 샘플의 비교를 위해 각 알고리즘의 일정한 계산 시스템을 거쳐 추출된다. PCA의 경우 Principle Component 축에 대해 각 샘플들을 투영시켜 계산된 가중치가 샘플의 특징이 된다. 또, 데이터베이스에 등록된 샘플들로부터(학습 샘플들) 추출된 특징(feature)을 바탕으로 샘플들을 대표할 수 있는 하나의 기준이 되는 영상을 생성시킬 수 있는데 이를 템플릿(Template) 또는 모델(Model)이라 한다. PCA의 경우 각 등록 샘플의 생성된 특지을 가지고 재생산한(reconstruction) 얼굴을 지칭한다.

예를 들어, 접근통제 시스템이 있어서 그 시스템의 운영 정책이 사용자의 인증을 위해 3번의 시도를 허락한다고 가정하면 판단에러율은 3번의 시도 전체, 즉 하나의 트랜잭션(transaction)을 분석하여 결정되는 비율인 반면, 매칭에러율은 각각의 시도에 대해 매칭의 결과에 대해 부여되는 비율인 것이다. 따라서, 통상의 경우 별도의 복수 인증 절차가 없다면 매칭에러율과 판단에러율은 동일하다. 한편, 특별한 경우 성능 측정을 위해 영상 획득 에러율, 관통률, 분할에러율 등을 이용하기도 한다.

판단 에러(Decision Errors)는, 시스템의 잘못된 승인, 즉 Imposter claim of Identity인 경우 승인하는 트랜잭션(Transaction)의 비율인 FAR(False Accept Rate)과, 시스템의 잘못된 거부, 즉 Genuine claim of Identity 인 경우 거부하는 트랜잭션의 비율인 FRR(False Reject Rate)로 결정된다.

또한, 매칭 에러(Matching Errors)는, 시스템의 잘못된 매치(match), 즉 어떤 샘플이 자신이 아닌 다른 템플릿과 매치된다고 잘못 판단할 비율인 FMR(False Match Rate)과, 시스템이 잘못된 비매치(non-match), 즉 어떤 샘플이 자신과 동일한 템플릿이 등록되어 있는 데도 매치되지 않는다고 잘못 판단할 비율인 FNMR(False Non-Match Rate)로 결정된다.

또, 영상 획득 에러(Image Acquisition Errors)는, 시스템의 매칭 알고리즘의 정확성과는 무관하게 획득한 영상의 질적인 문제(해상도가 낮거나 안경으로 인해 반사가 심한 경우 등)와 연관되어 사용자가 등록될 수 있는지의 여부와, 만약 등록이 되지 않았다면 추후에 다시 양질의 영상을 획득할 수 있는지에 대한 여부를 포함해서 에러를 결정한다. 영상 획득장치인 카메라에 영구적으로 문제가 있다면 등록 실패가 발생할 것이므로, 획득 실패는 영상 획득장치의 일시적인(transient) 문제를 나타낸다. 이 두 가지 문제가 전체 구성원에 대하여 발생하는 비율은 특정한 생체인식 시스템을 사용할 수 없는 사용자의 비율을 나타낸다.

등록 실패율(Failure to Enroll Rate)이란, 시스템이 재현 가능한 사용자의 템플릿을 생성할 수 없는 경우를 뜻한다. 사용자가 요구되는 생체 특징을 제출하지 못하는 경우, 등록할 때 생성되는 영상의 질이 충분히 좋지 못한 경우, 등록 직후에 자신의 템플릿과 매치되지 못하는 경우가 모두 이에 포함된다. 이렇게 계산된 등록 실패율은 시스템의 등록정책에 상당한 영향을 받고 대부분 실패의 경우 적당한 시간 간격을 두고 재등록하는 과정을 거친다.

획득 실패율(Failure to Acquire Rate)이란, 인증을 시도할 때 시스템이 충분히 좋은 질의 영상을 획득하지 못하는 경우를 의미한다. 이것은 영상의 질을 판단하는 기준에 큰 영향을 받게 되고 획득 실패는 곧 등록 실패로 이어진다.

일대다 비교, 즉 인식 기능을 수행하는 부정적 확인 시스템에서는 등록된 템플릿들을 분할 알고리즘에 의하여 여러 개의 파티션들로 분할하여 저장하고, 입력된 샘플이 속할 파티션(들)을 같은 분할 알고리즘으로 정한 후 그 파티션에 있는 템플릿들에 대해서만 비교를 수행하여 검색 시간을 단축하는 방법을 주로 사용한다. 그러나, 템플릿 데이터를 분할하는 과정에서 에러가 발생할 수 있다. 등록된 템플릿과 등록 후에 같은 생체 특징 샘플이 다른 파티션에 속하게 되면 매치될 수 없으므로 에러가 발생한다. 이러한 에러를 분할 에러라 하며 성능 평가의 한 척도로 사용된다. 일반적으로, 데이터베이스가 더 잘게 분할될수록 분할 에러가 커지는 경향이 있다.

또한, 분할 에러와 밀접한 관련이 있는 것이 관통률(Penetration Rate)로서, 이것은 평균적으로 검색되는 전체 데이터베이스의 비율을 나타낸다. 즉, 도중에 매치가 발생하는지 여부에 상관없이 검색이 파티션 전체에 대해서 행해진다고 전제할 때 전체 템플릿 개수의 몇 퍼센트가 검색될 것인가를 나타내는 수치이다. 데이터베이스를 잘게 분할하면 관통률이 낮아져서 검색 속도가 빨라지므로 효율적이지만 분할 에러의 확률이 높아진다.

그리고, 유사도 점수(Similarity Score)란, 입력 샘플과 등록된 샘플로부터 추출된 특징들 사이의 유사성(similarity)을 나타내는 수치로서 "매치(match)"와 "비매치(non-match)"에 대한 판단은 적절한 임계값을 선택했을 때, 이 임계값에 대한 초과 여부로서 결정된다. 즉, 임계값을 초과했을 경우 "비매치(non-match)"로 판단하고, 반대의 경우는 "매치(match)"로서 판단한다. 유사성을 거리(distance)로 나타낼 수 있는데, 거리에 대한 판단의 유사성의 경우와 반대이다.

한편, 얼굴인식 시스템을 시험하는 것은 입력 영상의 수집과 관련된 내용을 당연히 포함하게 된다. 입력 영상의 수집을 통해 등록된 데이터베이스의 템플릿들을 발생시킬 수 있고, 또한 이를 바탕으로 매칭스코어를 계산할 수 있다. 이때, 시스템의 운영 정책에 따라 획득된 영상을 가지고 온라인으로 데이터베이스 등록 및 스코어 계산을 수행하거나 오프라인으로 그 과정을 수행하는 경우가 발생한다.

온라인(Online) 시스템은, 영상이 시스템에 입력될 때 데이터베이스로의 등록과 매칭스코어의 계산이 즉시 수행되며, 이러한 시스템은 입력된 영상이 템플릿(Template) 발생에 바로 반영이 되기 때문에, 그 영상을 제거함으로써 메모리의 부담을 줄일 수 있는 장점을 가지고 있다.

또한, 오프라인(Offline) 시스템은, 영상이 미리 수집된 후 데이터베이스로의 등록과 매칭스코어의 계산이 수행된다. 즉, 대상(Target)과 질의(Query)로부터 갤러리와 프로브가 결정되면 각각의 모든 경우에 대해 매칭스코어를 계산하게 된다. 어떤 하나의 프로브 샘플에 대해 모든 갤러리 샘플들의 스코어를 순위에 따라 정렬한다. 정렬된 순위를 바탕으로 톱 매치(Top Match) 분석과 CMC 곡선 분석이 가능하다.

상술한 바와 같이, 본 발명에 의하면, 성능시험 프로토콜 설계 기준을 객관성과 공정성을 기반으로 한 체계적인 얼굴인식 시스템 성능 시험 표준화 방안 및 개발된 얼굴인식시스템을 벤치마크 시스템으로 활용하고 최신 알고리즘을 포팅할 수 있는 방안을 제공할 수 있다는 효과가 있다.

또한, 개발된 성능 분석 시스템은 얼굴인식 뿐만 아니라 전반적인 생체인식을 위한 성능 분석 시스템의 기초로 활용하는 것에 의해, ISO JTC1/SC37 WG5 동향을 반영하여 생체인식 시스템 성능시험 도구를 개발함으로써 얼굴인식 시스템에 대한 알고리즘 및 시험방법을 표준화할 수 있다는 효과도 있다.

Claims (12)

1. 얼굴인식 시스템의 성능 시험시스템에 있어서,

   얼굴인식 시스템에서 트레이닝 대상이 되고, 성능 시험에서 갤러리가 되는 영상들의 집합인 대상(Target) 집합과 성능 시험에서 프로브가 되는 영상들의 집합인 질의(Query) 집합으로 이루어진 xml 파일과, 영상 데이터베이스(DB)를 포함하는 기록매체와,

   소정의 관리자 인증 프로그램, 벤치마크 인식 프로그램, 성능 분석 프로그램 등이 기억장치에 저장되고, 키보드, 디스플레이, 프린터 등과 같은 각종 입출력장치가 구비되는 컴퓨터를 포함하는 얼굴인식 시스템의 성능 시험시스템.
2. 제 1 항에 있어서,

   상기 기록매체는, 상기 컴퓨터와 컨트롤러에 의해 연결되는 하드디스크인 것을 특징으로 하는 얼굴인식 시스템의 성능 시험시스템.
3. 제 1 항에 있어서,

   상기 기록매체는, 상기 컴퓨터와 USB 포트를 통해서 연결되는 USB 메모리인 것을 특징으로 하는 얼굴인식 시스템의 성능 시험시스템.
4. 제 1 항에 있어서,

   상기 컴퓨터는, 입력장치로서 각종 영상을 촬영하는 CCD 카메라를 더 포함하는 것을 특징으로 하는 얼굴인식 시스템의 성능 시험시스템.
5. 제 1 항에 있어서,

   상기 영상 데이터베이스(DB)는, ID, 포즈, 스페셜 플래그, 스페셜 환경 및 날짜로 이루어진 5개의 카테고리로 구성되는 영상 파일을 포함하는 것을 특징으로 하는 얼굴인식 시스템의 성능 시험시스템.
6. 제 1 항에 있어서,

   상기 벤치마크 분석 프로그램은, 벤치마킹 알고리즘 및 피시험자 알고리즘을 포함하는 얼굴인식 시스템에 의해 구동되어 출력파일을 생성하는 것을 특징으로 하는 얼굴인식 시스템의 성능 시험시스템.
7. 얼굴인식 시스템에서 트레이닝 대상이 되고, 성능 시험에서 갤러리가 되는 영상들의 집합인 대상(Target) 집합과 성능 시험에서 프로브가 되는 영상들의 집합인 질의(Query) 집합으로 이루어진 xml 파일과, 영상 데이터베이스를 포함하는 기록매체와; 소정의 관리자 인증 프로그램, 벤치마크 인식 프로그램, 성능 분석 프로그램 등이 기억장치에 저장되고, 키보드, 디스플레이, 프린터 등과 같은 각종 입출력장치가 구비되는 컴퓨터를 포함하는 얼굴인식 시스템의 성능 시험방법에 있어서,

   상기 컴퓨터의 기억장치에 저장된 관리자 인증 프로그램에 의해, 상기 컴퓨 터의 입력장치를 통해 입력되는 사용자 정보에 의거해서 인증을 수행하는 사용자 인증단계와;

   상기 컴퓨터의 기억장치에 저장된 벤치마크 인식 프로그램에 의해, 상기 대상집합과 질의집합의 영상 ID를 임의의 함수를 이용하여 변환된 영상 데이터베이스(DB)의 시험 데이터를 이용하여 얼굴인식을 수행함으로써, 소정의 출력파일을 생성하는 얼굴인식 수행단계와;

   상기 컴퓨터의 기억장치에 저장된 성능 분석 프로그램에 의해, 상기 출력파일로부터 각각 적절한 갤러리 및 프로브를 추출한 후, 선택된 갤러리 및 프로브에 대한 스코어를 추출함으로써, 성능 분석을 수행하는 성능 분석단계를 포함하는 것을 얼굴인식 시스템의 성능 시험방법.
8. 제 7 항에 있어서,

   상기 얼굴인식 수행단계는, 신원불명의 사람인 접근하는 경우 CCD 카메라와 같은 입력장치를 통해 입력되는 화상과 영상 데이터베이스(DB)에 저장된 화상을 비교하여 유사도가 가장 높은 대상을 접근 대상자라고 판정하는 식별(IDENTIFICATION) 시나리오를 적용하여 수행되는 것을 특징으로 하는 얼굴인식 시스템의 성능 시험방법.
9. 제 8 항에 있어서,

   상기 성능 분석단계는, 상기 식별 시나리오를 이용하여 1위로서 인식이 되는 가를 판정하는 톱 랭크 매치시험과, 톱에서 N번째 순위내에서 인식이되는가를 판정하는 CMC 곡선시험에 의해 수행되는 것을 특징으로 하는 얼굴인식 시스템의 성능 시험방법.
10. 제 7 항에 있어서,

    상기 얼굴인식 수행단계는, 신원이 공지된 사람이 접근하는 경우 CCD 카메라와 같은 입력장치를 통해 입력되는 화상과 영상 데이터베이스(DB)에 저장된 화상이 서로 동일하다고 판단 할 수 있을 정도로 유사한지를 판정하는 검증(VERIFICATION) 시나리오를 적용하여 수행되는 것을 특징으로 하는 얼굴인식 시스템의 성능 시험방법.
11. 제 10 항에 있어서,

    상기 성능 분석단계는, x축에 시스템의 잘못된 승인인 FAR(False Accept Rate), y축에 시스템의 잘못된 거부인 FRR(False Reject Rate)을 나타내는 ROC 곡선에 의해 수행되는 것을 특징으로 하는 얼굴인식 시스템의 성능 시험방법.
12. 제 7 항에 있어서,

    상기 성능 분석단계는, 최종 시스템 사용자의 트랜잭션에 부여되는 에러율을 나타내는 판단에러율과, 입력 샘플의 특징과 등록된 템플릿을 비교하는 하나의 시도에 부여되는 에러율을 나타내는 매칭에러율을 이용하여 수행되는 것을 특징으로 하는 얼굴인식 시스템의 성능 시험방법.

Images