KR20110136190A

KR20110136190A - 인간모형을 이용한 로봇의 얼굴인식 성능평가 시스템

Info

Publication number: KR20110136190A
Application number: KR1020100056036A
Authority: KR
Inventors: 정영숙; 조미영
Original assignee: 한국전자통신연구원
Priority date: 2010-06-14
Filing date: 2010-06-14
Publication date: 2011-12-21

Abstract

본 발명은 로봇시스템에서 얼굴인식의 정량적인 성능평가를 제공할 수 있으며, 단순한 평가 결과의 제공에 그치지 않고 로봇의 성능을 개선할 수 있는 시험환경별 데이터까지도 제공할 수 있도록 하는 인간모형을 이용한 로봇의 얼굴인식 성능평가 시스템에 관한 것으로, 상기 시스템은 다양한 생활공간 중 하나를 대표하도록 구현되는 시험공간셋트; 상기 시험공간셋트 내에 위치되며, 다양한 인간형상을 각각 대표하도록 구현되는 하나 이상의 인간모형; 및 상기 시험공간셋트 내에 위치되며, 시험환경에 따라 상기 인간모형의 자세, 상기 시험공간셋트의 조명, 그리고 상기 인간모형과의 거리 중 하나 이상이 변화되는 조건하에서 인간모형에 대한 얼굴인식의 정량적인 성능평가를 수행하고, 성능평가 결과와 시험환경별 데이터를 출력하는 로봇을 포함할 수 있다.

Description

인간모형을 이용한 로봇의 얼굴인식 성능평가 시스템{System for testing performance evaluation of human face recognition of robot using human model}

본 발명은 로봇시스템에서 얼굴인식의 정량적인 성능평가를 제공할 수 있으며, 단순한 평가 결과 제공에 그치지 않고 로봇의 성능을 개선할 수 있는 시험환경별 데이터까지도 제공할 수 있도록 하는 인간모형을 이용한 로봇의 얼굴인식 성능평가 시스템에 관한 것이다.

가시광 카메라의 영상 정보를 사용한 얼굴인식 기능은 지능형 서비스로봇의 주요한 기능이다. 이에 지능형 서비스 로봇의 주요 기능인 얼굴인식 성능평가를 위한 표준화된 DB구축과 시험절차가 제정되어있거나 제정 중에 있다.

그러나 이러한 시험은 정지영상에 대한 알고리즘 차원의 성능을 평가할 뿐, 카메라 입력 성능 및 기능의 제어, 연속적으로 입력된 영상 데이터를 통한 성능의 최적화 등의 결과로 나타나는 로봇의 최종성능을 직접적으로 반영하지 못한다.

이에 본 발명에서는 실제 환경에서 인간을 대상으로 하는 시험은 반복성 및 대표성을 확보하기가 힘들다는 문제점을 최소화하고 반복성이 가능하도록 인간모형을 사용하는 방식을 제안하여 로봇시스템에서 얼굴인식의 정량적인 성능평가를 제공할 수 있도록 하는 인간모형을 이용한 로봇의 얼굴인식 성능평가 시스템을 제공하고자 한다.

또한, 본 발명은 단순한 평가 결과의 제공에 그치지 않고, 로봇의 성능을 개선할 수 있는 시험환경별 데이터를 추가적으로 제공할 수 있도록 하는 인간모형을 이용한 로봇의 얼굴인식 성능평가 시스템을 제공하고자 한다.

상기 과제를 해결하기 위한 수단으로서, 본 발명의 일 실시 형태에 따르면, 다양한 생활공간 중 하나를 대표하도록 구현되는 시험공간셋트; 상기 시험공간셋트 내에 위치되며, 다양한 인간형상을 각각 대표하도록 구현되는 하나 이상의 인간모형; 및 상기 시험공간셋트 내에 위치되며, 시험환경에 따라 상기 인간모형의 자세, 상기 시험공간셋트의 조명, 그리고 상기 인간모형과의 거리 중 하나 이상이 변화되는 조건하에서 인간모형에 대한 얼굴인식의 정량적인 성능평가를 수행하고, 성능평가 결과와 시험환경별 데이터를 출력하는 로봇을 포함하는 인간모형을 이용한 로봇의 얼굴인식 성능평가 시스템을 제공한다.

본 발명의 인간모형을 이용한 로봇의 얼굴인식 성능평가 시스템은 얼굴인식 성능평가에 있어 시험의 반복성 및 대표성 확보를 위해 인간모형을 사용함으로써, 로봇시스템에서의 얼굴인식의 정량적인 성능평가를 제공할 수 있도록 한다. 뿐만 아니라, 본 발명은 단순히 성능평가 결과의 제공에 그치지 않고 시험환경별 데이터까지도 제공할 수 있도록 함으로써, 그를 기반으로 로봇의 성능이 개선할 수 있도록 해준다.

도1은 본 발명의 일 실시예에 따른 인간모형을 이용한 로봇의 얼굴인식 성능평가 시스템을 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 인간모형을 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 시험공간셋트의 평가 공간 구성 예를 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 얼굴인식 성능평가를 위한 균일조명 시험환경을 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 얼굴인식 성능평가를 위한 국부조명 시험환경을 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따른 얼굴인식 성능평가를 위한 역광조명 시험환경을 나타낸 도면이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다.

그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.

도1은 본 발명의 일 실시예에 따른 인간모형을 이용한 로봇의 얼굴인식 성능평가 시스템을 도시한 도면이다.

도1을 참조하면, 상기 시스템은 다양한 인간형상을 각각 대표하도록 구현되는 하나 이상의 인간모형(11~1n), 인간모형(11~1n)과 로봇(30)이 위치되며, 다양한 생활공간 중 하나를 대표하도록 구현되는 시험공간셋트(20), 시험환경에 따라 인간모형(11~1n)의 자세, 상기 시험공간셋트(20)의 조명, 그리고 인간모형(11~1n)과의 거리 중 하나 이상이 변화되는 조건하에서 인간모형(11~1n)에 대한 얼굴인식의 정량적인 성능평가를 수행하고, 성능평가 결과와 시험환경별 데이터를 출력하는 로봇(30)을 포함할 수 있다.

그리고 상기 로봇(30)은 다시 상기 시험공간셋트(20)에 배치된 상기 인간모형(11~1n)을 촬영하는 카메라(31), 시험에 사용될 인간모형(11~1n)에 아이디(ID)를 부여하여 타겟모형으로 등록하는 인간모형 등록부(32), 카메라(31)를 통해 촬영된 영상을 기반으로 한 얼굴 인식 과정을 수행하여 얼굴 인식 성공율(SIR, Successful Identification Rate)을 산출하는 얼굴 인식부(33), 카메라(31)를 통해 촬영된 영상을 기반으로 한 얼굴 검증 과정을 수행하여 타인 수락율(FAR, False Accept Rate)과 본인 거부율(FRR, False Reject Rate)을 산출하는 얼굴 검증부(34), 얼굴 인식부(33) 및 얼굴 검증부(34)의 평가 결과와 시험환경별 데이터를 출력하는 시험 진행자에게 제공하는 출력부(35), 얼굴 인식 성능 평가를 진행하기 위해 내부 구성요소(31~35)의 동작을 전반적으로 제어하는 로봇 동작 제어부(36)를 포함할 수 있다.

그리고 상기 인간모형(11~1n)은 도2에 도시된 바와 같이 머리부와 상체부로 구성되며, 원활한 시험이 가능하도록 머리부는 좌우 회전(pan) 및 상하 이동(tilt)이 가능하고 상체부는 키 조절이 가능하도록 구현된다. 그리고 머리부는 사람의 얼굴과 흡사한 형상을 가지며, 특히 빛에 대한 반사 및 흡수 정도가 사람의 피부와 유사하도록 한다. 또한, 각 인간모형(11~1n)에는 실제 옷을 착복시켜, 실제 사람과 최대한 유사해지도록 한다.

이러한 인간모형(11~1n)의 수는 인식시험의 경우 총 N_IDENT개(최소 20 개 이상이 필요하며, 인증작업을 위해서는 100개 이상이 요구된다.), 검증시험의 경우에는 등록 모형은 N_REG개(최소 10 개 이상이 필요), 시험에 사용하는 N_VERI는 최소 5배를 사용한다.

상기 인간모형(11~1n)의 구성은 성별과 나이의 구성 비율을 고려하여 결정된다. 이외 머리색깔(대머리, 검정, 금발, 갈색, 회색, 흰색, 적색)을 비롯한 안경, 콧수염, 턱수염 등의 특징마스크를 고려하여 결정될 수 도 있다. 다만, 표정은 무표정만을 대상으로 한다.

그리고 상기 시험공간셋트(20)는 얼굴 인식 성능 평가를 만족시키기 위한 조건에 따라 그 크기, 구성 재질, 조명조건 등이 다양하게 변화될 수 있다.

상기 시험공간셋트(20)의 크기는 구청, 은행 등의 공공장소와 일반아파트 가정환경을 가정한다. 상기 시험공간셋트(20)의 구성 재질은 바닥재, 측면재, 천장재로 나누고, 다시 바닥재는 장판 또는 대리석을 사용하는 공공용, 장판 또는 나무바닥을 사용하는 가정용으로, 측면재는 베이지색 페인트인 공공용과 일반 가정용 벽지로, 천장재는 방음용 판넬을 사용하는 공공용과 가정용 일반 천장벽지로 각각 나눈다. 그리고 기본적으로 벽에는 별도 기구물을 배치하지 않는 것으로 하나, 필요한 경우 추가 배치할 수도 있다. 상기 시험공간셋트(20)의 조명 조건은 자연광이 없는 암실을 기본으로 하고, 선택적으로 한 면이 유리창으로 자연광이 오는 경우를 가정한다. 조명의 위치는 도3과 같이 천정에 9개의 조명(L1~L9)과 측면에 자연광을 모사할 수 있는 벽조명 (L10~L13)을 사용한다. 조명(L1~L13)의 조도는 점멸과 밝기조절(Dimming)이 가능하여 원하는 조도와 조명의 각도를 생성할 수 있도록 구성한다.

더하여, 도3에 도시된 바와 같이 시험공간셋트(20)내 격자간의 간격이 동일하다고 가정할 때, 인간모형(11~1n)는 조명시험에 따라 격자 위치 P1에서 P9까지의 9개의 위치 중에 한곳에 위치되며, 역광시험인 경우는 벽조명과 등지고 배치된다. 그리고 로봇(30)는 인간모형(11~1n)이 위치되지 않는 격자 위치 중 한곳에 위치되며, 시험환경에 따라 그 위치가 변경될 수 있다. 다만, 로봇(30)의 위치는 단일시험도중에는 변경되지 못하며, 카메라(31)의 각도 등은 자동조절이 가능하나, 사람이 직/간접적으로 간섭하는 경우에는 실격으로 판정되도록 한다.

본 발명의 일 실시예에서는 "얼굴 인식"과 "얼굴 검증"을 주요 성능 평가 대상으로 하며, 로봇과 인간모형간 거리, 인간모형의 자세, 조명 조건에 따른 변화를 중심으로 시험한다.

이에 계속하여 로봇과 인간모형간 거리, 인간모형의 자세, 조명 조건 변화에 따른 로봇의 얼굴 인식 성능 평가 방법을 설명하면 다음과 같다.

우선, 로봇(30)은 시험 공간 전반 조명 3가지의 그룹 중 중간조도(250 lux)와 균일 조명위치(9개의 조명을 모두 켠 상태)에 위치시킨 조건하에서 총 인간모형들(11~1n) 중 하나 이상을 성능 평가에 이용될 타겟모형(예를 들어, 11~14)으로 선택한다. 그리고 나서 임의함수 발생기 등을 통해 생성된 ID를 부여하여 상기 타겟모형들(11~14)을 등록한다.

얼굴인식 성능은 조명과 얼굴의 측정각도 및 표정에 따라 성능이 달라지는 것으로 알려져 있으나, 본 발명의 일 실시예에서는 무표정의 경우만을 가정으로 하고 인간모형(예를 들어, 11)의 얼굴과 로봇(30)의 카메라(31)간의 각도는 0 ~ 45도의 범위 내에서 임의로 랜덤하게 변화시키거나, 0도, +/-15도, +/- 30도, +/- 45도로 각각 변화시킨다.

거리별 시험은 인간모형(11)과 로봇(30)과의 거리 1m, 2m, 3m, 5m로 구분하여 진행한다. 거리는 로봇(30)의 카메라(31)로부터 인간모형(11) 의 눈까지의 거리로 바닥에 평행한 직선거리로 정의한다.

거리별 촬영 대상의 자세는 로봇(30)의 키와 인간모형(11)의 키에 따라 시각차가 발생하므로 두 가지 경우를 시험한다. 즉, 인간모형(11)은 앉은 키와 선 키인 경우에 대하여 측정한다. 앉은 키와 선 키에 대한 수치는 인간모형(11)의 종류에 따라 정의된다(단, 대한민국 통계청의 연령별 평균 키와 앉은 키를 기준으로 한다).

조명별 시험은 조명환경에 따라 "균일 조명", "국부 조명", "역광 조명"의 3가지로 나누어 평가한다. 조명 시험의 경우는 1m 이하의 로봇(30)의 시험에서는 모형을 앉은 키로, 1m 이상의 로봇(30)은 인간모형(11)을 선 키로 위치시킨다(일반적으로 1m이하인 경우에는 가정용 로봇, 1m 이상인 경우는 공공 서비스 로봇인 경우가 보편적이다).

균일 조명 시험을 위해 도4와 같이 시험 공간에서 조명이 균일한 위치, 즉, 정 중앙에 프로브를 위치시킨다. 조명은 모든 조명이 같은 조도를 갖도록 하며, 저, 중, 고조도 3가지 조도그룹(예, 100, 250, 400lux)을 번갈아 가면서 선택한다. 각 조도에서 로봇(30)과 인간모형(11)과의 거리를 변화시켜가면서 시험을 한다. 그리고 나서, 로봇(30)은 성능평가 결과와 시험환경별 데이터(즉, 시험의 성공 여부와 시험을 통해 획득된 성능 지표)를 파일로 저장하여 제출한다. 하나의 시험에 대하여 시험은 판정 시간은 최대 T_TEST초를 제공한다. T_TEST이 초과한 경우는 실패로 평가한다.

국부 조명 시험은 도5와 같이 조명이 균일하지 않은 위치, 즉, 정중앙을 제외한 곳에 프로브를 위치시킨다. 조명은 정중앙의 조명을 제외하고 모두 끈다. 정중앙의 조도는 저조도, 중조도, 고조도 3가지 조도그룹(예, 100, 250, 400 lux) 을 번갈아가며 선택한다. 각 조도에서 로봇과 모형과의 거리를 변화시켜가며 시험한다. 그리고 나서, 로봇(30)은 인식결과와 개시시점과 종료 시점을 시험 결과서에 정의된 포맷으로 기록하여 파일 제출한다. 하나의 시험에 대하여 시험은 판정 시간은 최대 T_TEST을 제공한다. T_TEST초과한 경우는 실패로 평가한다.

역광 조명 시험은 도6과 같이 벽조명을 제외하고 다른 조명은 100 Lux로 조절한다. 인간모형(11)은 벽을 등지게 위치시키고, 로봇(30)은 인간모형(11)과 3m 떨어진 거리에 벽조명을 바라보도록 위치한다. 정중앙의 벽조명을 제외하고 모두 끈다. 정중앙의 조도는 저조도, 중조도, 고조도 3가지 조도그룹(예, 100, 250, 400 Lux) 을 번갈아가며 선택한다. 각 조도에서 로봇(30)과 인간모형(11)과의 거리를 변화시켜가며 시험한다. 그리고 나서, 로봇(30)은 인식결과와 개시시점, 종료 시점을 시험 결과서에 정의된 포맷으로 기록하여 파일 제출한다. 하나의 시험에 대하여 시험은 판정 시간은 최대 T_TEST을 제공한다. T_TEST 초과한 경우는 실패로 평가한다.

참고로, 시험 수행의 시작과 종료에 대해 로봇 제작업체는 시험 진행자에게 로봇의 동작시작과 종료를 명령하고, 시각적으로 판단할 수 있는 방법에 대하여 충분한 설명을 문서로 제공하여야 한다. 또한 검증 시험을 위하여 시험 대상이 주장하는 ID 값을 입력할 수 있는 방법을 제공하여야 한다. (예를 들어 시험 순서대로 ID 파일을 제공하거나, 시험시 LCD 등을 통하여 ID를 입력함) 시험물과 로봇의 배치가 완료되고 시험자가 시작을 명령하면, 로봇은 정해진 시간동안 동작을 수행하고 그 결과를 정해진 형태로 파일로 출력하여야 한다. 시험종료 시 결과 산출이 안 된 경우는 Fail로 표시하도록 한다. 한번 결정된 단위 시험 결과에 대하여는 추후 시험시의 정보를 이용하여 변경하는 것은 불허한다.

그리고 시험 결과 제출을 위한 시험환경별 데이터(즉, 성능지표)는 앞서 설명한 바와 같이 얼굴인식 지표와 얼굴검증 지표로 나뉘어 제공된다.

얼굴인식 성능지표는 이하의 수학식 1과 같이 인식성공율(SIR, Successful Identification Rate)로 평가된다.

얼굴검증 성능지표는 이하의 수학식 2 및 3과 같이 타인 수락율(FAR, False Accept Rate)과 본인 거부율(FRR, False Reject Rate)로 평가한다.

이상 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

11~1n: 인간모형 20: 시험공간셋트
30: 로봇 31: 카메라
32: 인간모형 등록부 33: 얼굴 인식부
34: 얼굴 검증부 35: 출력부
36: 로봇 동작 제어부

Claims

다양한 생활공간 중 하나를 대표하도록 구현되는 시험공간셋트;
상기 시험공간셋트 내에 위치되며, 다양한 인간형상을 각각 대표하도록 구현되는 하나 이상의 인간모형; 및
상기 시험공간셋트 내에 위치되며, 시험환경에 따라 상기 인간모형의 자세, 상기 시험공간셋트의 조명, 그리고 상기 인간모형과의 거리 중 하나 이상이 변화되는 조건하에서 인간모형에 대한 얼굴인식의 정량적인 성능평가를 수행하고, 성능평가 결과와 시험환경별 데이터를 출력하는 로봇을 포함하는 인간모형을 이용한 로봇의 얼굴인식 성능평가 시스템.