KR101313103B1 - 지능로봇의 얼굴인식 성능평가 시스템 및 평가 방법 - Google Patents
지능로봇의 얼굴인식 성능평가 시스템 및 평가 방법 Download PDFInfo
- Publication number
- KR101313103B1 KR101313103B1 KR1020090024173A KR20090024173A KR101313103B1 KR 101313103 B1 KR101313103 B1 KR 101313103B1 KR 1020090024173 A KR1020090024173 A KR 1020090024173A KR 20090024173 A KR20090024173 A KR 20090024173A KR 101313103 B1 KR101313103 B1 KR 101313103B1
- Authority
- KR
- South Korea
- Prior art keywords
- face
- performance
- face recognition
- intelligent robot
- image
- Prior art date
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/02—Sensing devices
- B25J19/021—Optical sensing devices
- B25J19/023—Optical sensing devices including video camera means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Image Analysis (AREA)
Abstract
본 발명은 지능로봇에 탑재된 영상인식장치의 성능을 평가하는 기술에 관한 것이다. 지능로봇의 얼굴인식시험에 적합한 환경을 조성하는 기술과, 로봇의 얼굴인식장치의 성능을 포함한다. 시험환경의 구성은 객관적 평가 기준을 제공하기 위한 공간의 조명 배경을 선정하는 기술과 환경을 측정하는 기술을 포함한다. 얼굴인식장치의 성능측정은 얼굴을 포함하는 영상의 입력에서부터 시작하여 최종적으로 얼굴인식 결과의 출력까지의 단계인 영상입력, 캡처, 전처리, 얼굴 영역 추출, 얼굴 요소 추출, 개인 식별까지의 각 컴포넌트의 처리에 소요된 시간을 분석하는 기술과 얼굴 영역 추출, 얼굴 요소 추출 그리고 개인 식별이 해당하는 얼굴인식 알고리즘의 정확성을 분석하고 종합하여 표시하는 기술을 포함하는 장치에 관한 것이다.
얼굴인식 평가, 사용자 추적 성공률 평가, 사용자 추적 속도 평가
Description
본 발명은 로봇의 얼굴인식 기능을 이용한 다양한 기술과 서비스의 발전에 따라 서비스를 받는 사람에게는 제품의 성능을 명확히 설명하고 컴포넌트를 개발하는 개발자에게 추가로 개발해야 하는 기술을 명확히 제시할 수 있는 기술이다. 더욱 상세하게는 로봇에서 동작하는 얼굴인식의 단계인 영상 입력 기술; 영상 캡처 기술; 전처리 기술; 얼굴 영역 추출 기술; 얼굴 요소 추출 기술; 개인 식별 기술을 각 컴포넌트의 시간의 효율성과 처리의 정확성에 대해 개별 또는 종합적으로 평가 분석하는 기술과 객관적 성능측정을 위한 시험의 환경을 제공하는 기술로서 수요자에게는 제품의 성능을 객관적으로 제시할 수 있으며, 개발자에게는 제품의 성능 분석 자료로 제공하는 시험 시스템 및 시험 방법에 관한 것이다.
본 발명은 지식경제부 및 정보통신연구진흥원 IT성장동력핵심기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다[과제명: 지능형 로봇 테스트베드 운영]
지능형 로봇에 적용되는 얼굴인식 응용기술은 지능형 로봇의 서비스 측면에 서 사용자와의 상호작용을 편리하게 제공할 수 있는 기술이다. 이러한 지능형 로봇의 얼굴 인식 기술은 서비스의 안정적인 제공과 상업화를 위하여 로봇의 얼굴인식 컴포넌트 기술로 발전하고 있다.
얼굴 인식 기술은 얼굴 인식 시스템(Facial recognition system)을 통해 하드웨어로 구현되고 있다. 얼굴 인식 시스템은 디지털 이미지를 통해 사람을 자동으로 식별하는 컴퓨터 시스템을 의미한다. 이러한 얼굴 인식 시스템은 기본적으로 사람을 인지하기 위하여 비전 센서, 열 센서, 적외선 센서 등을 장착한 카메라 기술, 카메라를 통해 획득된 디지털 이미지를 메모리에 저장하는 기술, 디지털 이미지를 인식엔진에서 요구하는 적합한 사이즈와 컬러 공간으로 변환해주는 전처리 기술, 인식 엔진을 통해 얼굴을 인식한 결과를 출력하는 기술이 필요하다. 얼굴 인식 시스템에서는 상기와 같은 기술들을 통해 얼굴 영역을 추출하는 과정, 얼굴 요소를 추출하는 과정, 특징을 추출하는 과정 및 개인 식별 과정 등과 같은 다수의 처리 과정이 수행된다.
현재 얼굴 인식 기술에 대한 연구 개발이 활발히 진행되고 있으며, 특히 지능형 로봇의 서비스 영역에서의 활용성을 고려한다면, 얼굴 인식 기술은 HRI(Human Robot Interaction) 기술의 필수적인 요소 기술이다.
지능형 로봇의 얼굴 인식 기술이 HRI 기술의 중요한 요소 기술로 발전해감에 따라 얼굴 인식 성능에 대한 객관적 성능 평가가 필요하다.
최근에는 얼굴 인식 기술이 컴포넌트 형태로 개발되고 있으며, 컴포넌트별로 성능에 미치는 영향을 객관적으로 평가할 수 있는 시스템이 필요하다. 예컨대, 얼 굴 인식 성능이 실시간으로 보장되지 않거나 얼굴을 오인식하는 상황이 발생하였을 때 서비스를 제공받는 사람 또는 컴포넌트를 개발하는 기술자에게 성능에 대한 보고를 할 수 있는 시스템이 요구된다.
따라서, 본 발명의 목적은 지능형 로봇의 얼굴 인식 성능을 측정하는데 있어서, 영상 입력에서부터 최종 인식의 결과까지의 성능을 사용자 추적 속도 관점의 평가와 인식률을 종합적으로 평가 분석하는 시스템 및 방법을 제공하는 것이다.
전술한 목적을 달성하기 위하여, 본 발명의 일면에 따른 지능로봇에 탑재된 얼굴인식시스템의 성능을 평가하는 지능로봇의 얼굴인식 성능평가 시스템은 상기 얼굴인식 시스템으로부터 얼굴인식 과정에서 수행된 얼굴영역 추출에 대한 성공률, 얼굴 요소 추출에 대한 성공률 및 개인 식별에 대한 성공률의 결과를 전달받고, 전달된 결과 각각에 각각의 가중치인 얼굴영역 추출 성능에 대한 가중치, 얼굴 요소 추출 성능에 대한 가중치 및 개인 식별 성능에 대한 가중치를 곱한 결과의 합을 최종 사용자 추적 성공률의 결과로 산출하는 사용자 추적 성공률 측정부; 상기 얼굴인식 시스템에 의해 수행된, 상기 지능로봇으로 입력된 영상을 캡처하여 저장하는데 걸린 영상 캡처 시간, 저장된 영상을 영상입력 포맷으로 변환하는데 걸린 전처리 시간, 얼굴 영역을 추출하는데 걸린 시간, 얼굴 요소를 추출하는데 걸린 시간 및 개인을 식별하는데 걸린 시간을 각각 더해 최종 사용자추적 속도를 산출하는 사용자 추적 속도 산출부; 및 상기 최종 사용자 추적 성공률, 최종 사용자 추적 속도를 포함하여 상기 얼굴인식 시스템의 최종 성능을 표시하는 출력부를 포함한다.
또한, 본 발명의 다른 면에 따른 지능로봇에 탑재된 얼굴인식시스템의 성능을 평가하는 지능로봇의 얼굴인식성능을 평가하는 방법은 상기 지능로봇에 입력된 영상을 캡처하고, 캡처 된 영상을 저장하여 데이터베이스화하는 단계; 데이터베이스화된 영상에 대해 크기변환 및 컬러공간변환을 수행하는 단계; 변환된 영상에서 얼굴영역을 추출하고, 얼굴영역 추출 성능을 측정하는 단계; 추출된 얼굴영역에서 얼굴 요소를 추출하고, 얼굴 요소 추출 성능을 측정하는 단계; 추출된 얼굴 요소에서 특징을 추출하는 단계; 추출된 특징에서 개인을 식별하고, 개인 식별 성능을 측정하는 단계; 및 측정된 얼굴영역 추출 성능, 얼굴 요소 추출 성능 및 개인 식별 성능을 토대로 상기 얼굴인식 시스템의 최종 성능을 표시하는 단계를 포함한다.
본 발명에 의하면, 지능로봇에 탑재된 영상 인식 장치를 사용하거나, 개발하는데 있어서 얼굴 인식 장치의 객관적인 성능 평가를 할 수 있어 컴포넌트를 개발하는 기업 또는 컴포넌트를 구매거나 최종 서비스를 제공받는 기업 또는 소비자의 성능 평가의 신뢰성을 높일 수 있다.
로봇의 얼굴 인식 장치의 기능이 복잡해지고 다양한 컴포넌트의 조합으로 이루어짐에 따라서 개발의 과정에서 전체 성능에 미치는 정도를 각 장치별로 성능을 비교 분석할 수 있어, 개발 중 또는 개발된 컴포넌트의 성능을 객관적으로 분석하여 개발기간을 단축하고 시스템의 성능 개선을 위한 원인 파악에 있어 성능 측정을 위한 반복 투자를 없애고, 얼굴인식 컴포넌트 기술의 개발의 효율을 극대화할 수 있다.
이하 첨부된 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있는 바람직한 실시 예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시 예에 대한 동작 원리를 상세하게 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다.
또한, 도면 전체에 걸쳐 유사한 기능 및 작용을 하는 부분에 대해서는 동일한 도면 부호를 사용한다.
이하, 도 1 내지 도 5를 참조하여 본 발명의 일실시예에 따른 지능로봇의 얼굴인식 성능평가 시스템을 설명한다. 도 1은 본 발명의 일실시예에 따른 지능형 로봇의 얼굴 인식 성능평가 시스템을 설명하기 위한 블록구성도이고, 도 2a는 지능형 로봇의 얼굴 인식 성능을 측정하기 위한 시험 환경을 보여주는 도면이며, 도 2b는 도 2a에 도시된 시험환경에서 로봇 및 사용자 배치를 보여주는 도면이고, 도 2c 및 도 2d는 도 2b에 도시된 제1 또는 제2 지점에서 로봇이 바라보는 배경을 나타내는 도면이며, 도 3은 도 1에 도시된 얼굴인식 시스템의 구성 블록도이고, 도 4는 본 발명에 의한 얼굴인식 시스템의 사용자추적 성공률 측정 시스템의 블록도이며, 도 5는 본 발명에 의한 사용자추적 속도 측정 시스템의 블록도이다.
도 1에 도시된 바와 같이, 본 발명의 일실시예에 따른 얼굴인식 성능 평가 시스템은 얼굴 인식 시스템(200)의 성능을 측정하는 것으로서, 시험 환경 준비부(100), 사용자 추적 성공률 측정부(300), 사용자 추적 속도 산출부(400) 및 출력부(500)를 포함한다.
얼굴인식 성능 평가 시스템은 도 2a에 도시된 바와 같이, 가로(w), 세로(h)가 각각 5m 내외로 설정된 밀폐된 공간(110)에서 지능형 로봇(이하, 로봇)의 얼굴 인식 성능을 측정한다.
본 발명에서는 밀폐된 공간(110)의 천장에 4개의 조명들(111, 112, 113, 114)이 설치되고, 설치된 4개의 조명들(111, 112, 113, 114)에 대한 조명 조건이 총 15가지의 조합에 의해 설정되며, 조명들(111, 112, 113, 114)은 밀폐된 공간(110) 전체에 균등한 조명 효과를 제공할 수 있도록 배치된다.
또한, 로봇은 고정형 플랫폼(예컨대, 워크스테이션 형태로 고정되어 팬-틸트-줌(Pan-Tilt-Zoom)이 가능) 혹은 이동형 플랫폼으로 구성되는 것이 바람직하나, 본 발명에서는 얼굴 인식 성능 평가 측면만을 고려하여, 팬-틸트-줌 기능 및 이동형 플랫폼의 움직임 기능에 의한 영향을 무시한다.
본 발명의 시험환경에서 로봇 및 사용자는 도 2b에 도시된 바와 같이, 배경 변화에 대한 시험 수행을 위해 로봇이 제1 지점(121) 또는 제2 지점(122) 상에 배치되도록 한다.
밀폐된 공간(110)은 4개의 조명들(111, 112, 113, 114)에 의해 나누어져 두 명의 사용자(123, 124)에게 자유롭게 활동할 수 있는 공간으로 제공된다.
즉, 4개의 조명들(111, 112, 113, 114)에 의해 나누어진 구획 중 적어도 어느 하나는 각 사용자(123, 124)에 의해 위치된다.
4개의 조명들(111, 112, 113, 114)은 사용자의 머리 위에 위치할 경우 켜져야 한다.
조도계(125)는 밀폐된 공간(110)의 중앙에 위치하여 조명조건을 기록한다.
두 명의 사용자(123, 124)는 4개의 조명들(111, 112, 113, 114)에 의해 나누어진 구획 중 어느 하나의 구획 내에서 다른 사용자의 얼굴을 모두 가리지 않는다는 조건 하에 함께 위치할 수 있으며, 얼굴인식이 가능한 범위 내에서 자유롭게 움직일 수 있다.
제1 지점(121) 또는 제2 지점(122)에서 로봇이 바라보는 배경은 도 2c 및 도 2d에 도시된 바와 같다.
예컨대, 로봇은 도 2c에 도시된 바와 같이, 단일 색 배경 시험시 제1 지점(121) 또는 제2 지점(122)에서 단일 색 배경(130)을 바라보도록 위치하고, 도 2d에 도시된 바와 같이 복합 색 배경 시험시 복합 색 배경(140)을 바라보도록 위치한다.
한편, 복합 색 배경의 배율을 모두 같게 하는 것이 원칙이나, 청색이 세 가지 원색(적색, 녹색, 청색) 중 가장 피부색과 잘 구분되므로, 본 발명에서는 청색이 중앙에 위치되도록 하고, 가장 넓은 범위로 구성되도록 한다.
도 3에 도시된 바와 같이, 본 발명의 일실시예에 따른 얼굴 인식 성능의 측정 대상인 얼굴 인식 시스템(200)은 영상입력부(210), 영상캡처부(220), 전처리부(230), 얼굴영역 추출부(240), 얼굴요소 추출부(250), 개인식별부(260) 및 인식결과 출력부(270)를 포함한다.
영상 입력부(210)는 디지털 영상을 입력받아 영상 캡처부(220)에 전송하고, 영상 캡처부(220)는 전송된 디지털 영상에 대응하는 영상 데이터를 메모리에 저장하며, 전처리부(230)는 메모리에 저장된 영상 데이터를 영상 인식 엔진에서 처리가능한 형태의 데이터로 변환시킨다.
얼굴영역 추출부(240)는 디지털 영상의 전체 영상에서 사람의 얼굴영역만을 추출하고, 얼굴 요소 추출부(250)는 추출된 사람의 얼굴영역에서 인식 및 추적을 위해 얼굴 요소를 추출하며, 개인 식별부(260)는 추출된 사람의 얼굴 요소를 기반으로 사람을 식별하고, 인식결과 출력부(270)는 개인 식별부(260)를 통해 획득된 최종 인식의 결과치를 출력한다.
전술된 바를 보다 구체적으로 설명하면, 영상입력부(210)는 가장 보편적으로 사용되는 비전센서, 열 센서 그리고 적외선 센서로부터 디지털 영상을 입력받아 영상캡처부(220)에 전송한다.
영상캡처부(220)는 영상입력부(210)로부터 전송된 영상을 저장하는 것으로서, 측정 및 분석을 위한 얼굴 데이터를 성비가 50%의 비율로 수집하여 구성하며, 피부색을 Fitzpatrick Scale 기준 2~6단계로 구성하고, 연령을 20대/30대/40대로 구분하여 데이터를 구성하며, 데이터 수집기간, 포즈변화, 조명변화, 센서와의 거리, 얼굴의 수, 데이터의 크기를 평가용 데이터로 확보한다.
전처리부(230)는 영상캡처부(220)에 의해 저장된 데이터를 인식의 과정 전에 인식기의 영상입력 포맷에 맞게 변환한다.
예컨대, 전처리부(230)는 영상의 크기변환과 컬러공간의 변환을 포함하는 것으로서, 흑백 영상의 경우 8비트 1채널, 컬러 영상의 경우 8비트 3채널의 경우를 포함하고, 특히 RGB 또는 YCbCr의 표준 컬러공간의 데이터를 영상인식에서 사용하는 HSV/HIS 컬러 공간으로 변환하는 기능을 포함한다.
얼굴 영역 추출부(240)는 입력된 영상에서 얼굴영역 추출 성능을 측정하는 것으로서, 성능 측정의 기준, 즉 미리 선정된 특징과 피부색 또는 얼굴영역의 분류 그리고 표준 치 영상과의 비교 기준으로 성능을 평가한다.
얼굴 영역 추출부(240)는 얼굴 영역 추출 성능 측정을 위해 컬러 영상의 경우 피부색 픽셀을 가우시안(gaussian) 확률분포를 이용한 컬러프로파일(color-profile) 특징을 사용하고, 흑백 영상의 경우 얼굴영역의 외곽선(contour) 정보를 이용한 기하학적 모델 혹은 외곽선 내에 포함된 픽셀에 대한 모멘템(momentum)을 이용한 통계적 특징을 사용한다.
얼굴 영역 추출부(240)는 컬러 영상의 경우 컬러 프로 파일로 근사화된 피부색 픽셀에 대한 절대기준치(threshold)를 이용하여 피부색과 배경영역을 구분하고, 흑백 영상의 경우에는 기하학적/통계적으로 미리 학습된 모델과 현재 시험 영상에서 추출된 모델과의 비교를 통해 얼굴영역과 배경영역을 구분하며, 모델의 비교를 위해 유클리드 거리(euclidean distance) 및 절대 기준치를 이용한다.
얼굴 영역 추출부(240)는 성능 평가를 위해 표준 치 영상과의 비교가 필요하며, 피부색을 분류하는 경우에는 픽셀기반 성능 평가, 얼굴영역을 분류하는 경우에는 영역기반 성능 평가 기준을 채택한다.
얼굴 영역 추출부(240)는 얼굴영역 표현을 원형, 타원형, 사각형 및 폴리곤 타입으로 표시하고, 픽셀 수(컬러 영상) 및 면적 비(흑백 영상)를 이용하여 얼굴영역과 배경영역의 구분 성능을 측정한다.
얼굴 영역 추출부(240)는 구분 성공율(Tf)을 현 영상의 피부색으로 분류된 픽셀 수(nf)와 표준 치 영상의 피부색으로 할당된 픽셀 수(np)의 비율, 혹은 현 영상의 얼굴로 분류된 픽셀영역(Af)과 표준 치 영상의 얼굴로 할당된 픽셀영역(Ap)의 비율을 의미하는 수학식 1과 같이 나타낼 수 있다.
얼굴 영역 추출부(240)는 배경영역 구분 성공율(Tf)을 현 영상의 배경색으로 분류된 픽셀수(nb)와 표준 치 영상의 배경색으로 할당된 픽셀 수(nn)의 비율, 혹은 현 영상의 배경으로 분류된 픽셀영역(Ab)과 표준 치 영상의 배경으로 할당된 픽셀영역(An)의 비율을 의미하는 수학식 2와 같이 나타낼 수 있다.
얼굴 요소 추출부(250)는 얼굴 영역 추출부(240)에 의해 추출된 결과에서 미리 설정된 얼굴 요소 추출 성능을 측정하는 것으로서, 얼굴 요소 추출 성능을 측정하기 위해 얼굴영역이 원형/타원형/사각형/폴리곤의 집합으로 주어진 것으로 간주하고, 각 얼굴 요소의 세부적 평가를 위해 전문가 시점에서 육안으로 각 얼굴 요소의 파악이 용이한 정지영상 및 동영상으로 주어진 것으로 간주한다.
얼굴 요소 추출부(250)는 얼굴 요소에 따라 컬러/흑백 영상특징을 복합적으로 얼굴 요소를 추출하기 위한 특징을 선정하여 사용한다.
예컨대, 얼굴 요소 추출부(250)는 입술과 눈(홍채)의 경우 고유의 컬러정보를 이용하고, 얼굴 영역 추출부(240)에 의해 명기된 얼굴 요소의 특징을 사용하며, 주로 타원형으로 묘사되는 얼굴영역과는 달리, 얼굴 요소를 반달형(눈외곽선/입술), 직선형(눈썹/주름), 원형(콧구멍/홍채) 등 다양한 기하학적 모델로 구성하고, 얼굴 요소를 정적 얼굴 요소와 동적 얼굴 요소로 구성하며, 각 요소에 따라 위치 정보만을 추출하거나 또는 상태정보를 함께 파악하는 과정을 수행하고, 얼굴 요소를 필요에 따라 직선, 곡선, 원형, 타원형, 사각형, 폴리곤 형태로 표현한다.
또한, 얼굴 요소 추출부(250)는 얼굴 요소 추출 성능 평가를 위해 표준 치 영상과의 비교를 수행하고, 얼굴 요소의 수, 위치, 기울어짐, 기하학적 배치, 포즈변화 등의 추출된 특징에 대한 오차의 일부 혹은 그 조합을 포함하는 성능 평가 항목을 사용하여 얼굴 요소 추출 성능을 표기한다.
여기서 얼굴 요소는 눈, 코, 입과 눈썹 등을 포함하고, 얼굴 요소의 수는 얼굴 요소의 표현에 의해 표시된 얼굴 요소의 수이며, 전문가에 의해 주어진 표준 치 영상에서 추출된 수를 평가의 기준으로 한다.
얼굴 요소 추출부(250)는 얼굴영역과 분류기를 통해 얻어진 얼굴영역의 중심위치 거리(d) 및 공통영역의 크기 또는 픽셀 수로 얼굴 요소의 위치를 평가한다.
얼굴 요소 추출부(250)는 얼굴 요소의 표현이 타원일 경우에만 기울어짐을 적용하고, 영상평면의 y축을 중심으로 시계방향으로 기울어진 정도로 기울어짐을 평가한다.
얼굴 요소 추출부(250)는 두 눈과 코 또는 두 눈과 입으로 구성되는 삼각형의 기울기로 표현되는 요소기반 포즈와 고유 얼굴(eigenface) 특징 일부에 의해 기울기를 표시하는 영역기반 포즈로 포즈변화를 구분하며, 영상평면을 기준으로 Yaw/Pitch/Roll을 각각 측정하여 수학식 3과 같이 표기된 포즈변화 오차(epose)로 포즈변화를 평가한다.
개인 식별부(260)는 얼굴 요소 추출부(250)에 의해 수행되는 얼굴 요소 추출과정을 거쳐 추출된 요소들을 이용하여 개인의 식별 성능을 측정한다.
한편, 개인 식별을 위한 특징은 각 얼굴 요소 혹은 얼굴영역 내의 일부분에 대한 기하학적/통계학적 특징으로 표현되며, 인간의 시각시스템을 모사한 가보필터(gabor filter)와 SIFT 특징이 사용된 국부적 특징(local feature)과, PCA(principal component analysis), ICA(independent component analysis), DFT(discrete fourier transform), DWT(discrete wavelet transform) 등이 사용되는 전역적 특징(global feature)은 대부분 통계학적 특징을 의미한다.
개인 식별을 위한 분류기는 국부적 특징과 전역적 특징들을 이용하여 데이터베이스에 속한 개인에 대한 식별, 혹은 데이터베이스에 속하지 않은 개인에 대한 거부 결과를 평가한다.
사용자 추적 성공률 측정부(300)는 도 4에 도시된 바와 같이, 얼굴인식 시스템(200)의 인식 과정에서 얼굴영역 추출부(240)에 의해 수행되는 얼굴영역 추출 성공 횟수 즉 성공률, 얼굴 요소 추출부(250)에 의해 수행되는 얼굴 요소 추출 성공률 그리고 개인 식별부(260)에 의해 수행되는 개인 식별 성공률의 결과에 각각의 가중치인 얼굴영역 추출 성능 가중치 W0(310), 얼굴 요소 추출 성능 가중치 W1(320) 그리고 개인 식별 성능 가중치 W2(330)를 곱한 결과의 합을 최종 사용자 추적 성공률(340)의 결과로 갖는다.
사용자추적 성공률 = W0*얼굴 영역 추출성능
+ W1*얼굴 요소 추출성능
+ W2*개인 식별 성능
사용자추적 속도 산출부(400)는 도 5에 도시된 바와 같이, 얼굴인식 시스템(200)에 의해 수행되는 각 처리과정인 영상 캡처 시간(410), 전처리 시간(420), 얼굴 영역 추출 시간(430), 얼굴 요소 추출 시간(440) 및 개인 식별시간(450)을 각각 더해 최종 사용자추적 속도(460)를 출력한다.
한편, 영상 캡처 시간은 영상의 입력 종료 시점부터 영상 캡처의 종료 시점까지의 시간을 측정한 것이고, 전처리 시간은 영상 캡처의 종료 시점부터 전처리 시간의 종료 시점까지의 시간을 측정한 것이며, 얼굴 영역 추출 시간은 전처리 종료 시점부터 얼굴 영역 추출 종료 시점까지의 시간을 측정한 것이고, 얼굴 요소 추출 시간은 얼굴 영역 추출 종료 시점부터 얼굴 요소 추출 종료 시점까지의 시간을 측정한 것이며, 특징을 추출하는데 소요되는 시간은 얼굴 요소 추출 종료 시점부터 특징 추출 종료 시점까지의 시간을 측정한 것이고, 개인 식별시간은 특징추출 종료 시점부터 개인 식별 종료 시점까지의 시간을 측정한 것이다.
전술한 바와 같이, 본 발명에 의하면, 지능로봇에 탑재된 영상 인식 장치를 사용하거나, 개발하는데 있어서 얼굴 인식 장치의 객관적인 성능 평가를 할 수 있어 컴포넌트를 개발하는 기업 또는 컴포넌트를 구매거나 최종 서비스를 제공받는 기업 또는 소비자의 성능 평가의 신뢰성을 높일 수 있으며, 로봇의 얼굴 인식 장치의 기능이 복잡해지고 다양한 컴포넌트의 조합으로 이루어짐에 따라서 개발의 과정에서 전체 성능에 미치는 정도를 각 장치별로 성능을 비교 분석할 수 있어, 개발 중 또는 개발된 컴포넌트의 성능을 객관적으로 분석하여 개발기간을 단축하고 시스템의 성능 개선을 위한 원인 파악에 있어 성능 측정을 위한 반복 투자를 없애고, 얼굴인식 컴포넌트 기술의 개발의 효율을 극대화할 수 있다.
이상, 도 1 내지 도 5를 참조하여 본 발명의 일실시예에 따른 지능로봇의 얼굴인식 성능평가 시스템을 설명하였고, 이하에서는 도 6을 참조하며 본 발명의 일실시예에 따른 지능형 로봇의 얼굴 인식 성능평가 시스템의 동작 과정을 설명한다. 도 6은 도 1에 도시된 지능형 로봇의 얼굴인식 성능 평가 시스템의 동작 과정을 설명하기 위한 순서도이다.
도 6에 도시된 바와 같이, 시험 환경이 준비되며, 즉 로봇 및 사용자가 배치되면, 시험 환경 변수를 저장하고(S110), 입력된 영상에 대한 인식을 시작한다.
영상이 입력되면(S210), 영상 입력에 대한 성공 여부를 판단한다(S211). 판단결과, 영상 입력이 실패이면, 영상을 재입력 받고, 영상 입력이 성공이면, 영상을 캡처하며(S220), 캡처된 영상을 저장하고, 소요된(캡처) 시간을 저장한다(S410).
얼굴인식에 적합한 전처리 과정을 수행하고(230), 전처리 시간을 평가하기 위해 전처리 시간을 저장한다(S420).
이후, 얼굴영역을 추출하고(S240), 얼굴영역 추출에 대한 성공 여부를 판단한다(S241).
판단결과, 얼굴영역 추출이 실패이면, 얼굴 영역 추출 성능 평가를 위해 얼굴 영역 추출 실패 카운트를 증가시키고(S311), 다시 영상을 재 입력받는다(S210).
그러나, 판단결과, 얼굴영역의 추출이 성공이면, 얼굴 영역 추출 시간을 저장하고(S430), 얼굴 요소를 추출한다(S250).
얼굴 요소 추출에 대한 성공 여부를 판단하고(S251), 판단결과, 얼굴 요소 추출이 실패이면(S251), 얼굴 요소 추출 실패 카운트를 증가시키고(S321), 다시 영상을 재입력 받으며(S210), 그러나, 판단결과, 얼굴 요소 추출이 성공이면, 얼굴 요소 추출 시간을 저장한다(S440).
얼굴 요소를 추출한 데이터로 개인 식별을 하고(S260), 개인 식별에 대한 성공 여부를 판단하고(S261), 판단결과, 개인 식별이 실패이면, 개인 식별 카운트를 증가시키고(S331), 다시 영상을 재 입력받으며, 그러나, 판단결과, 개인 식별이 성공이면 개인 식별 시간을 저장한다(S450).
입력된 영상이 마지막 테스트 영상인지 여부를 판단하고(S270), 판단결과, 입력된 영상이 마지막 테스트 영상이 아닐 경우, 다시 영상을 재입력 받으며(S210), 그러나, 판단결과, 입력된 영상이 마지막 테스트 영상일 경우, 최종 성능을 출력한다(S500).
이하, 도 1 내지 도 5를 참조하여 본 발명의 일실시예에 따른 지능로봇의 얼굴인식 성능평가 시스템을 설명한다. 도 1은 본 발명의 일실시예에 따른 지능형 로봇의 얼굴 인식 성능평가 시스템을 설명하기 위한 블록구성도이고, 도 2a는 지능형 로봇의 얼굴 인식 성능을 측정하기 위한 시험 환경을 보여주는 도면이며, 도 2b는 도 2a에 도시된 시험환경에서 로봇 및 사용자 배치를 보여주는 도면이고, 도 2c 및 도 2d는 도 2b에 도시된 제1 또는 제2 지점에서 로봇이 바라보는 배경을 나타내는 도면이며, 도 3은 도 1에 도시된 얼굴인식 시스템의 구성 블록도이고, 도 4는 본 발명에 의한 얼굴인식 시스템의 사용자추적 성공률 측정 시스템의 블록도이며, 도 5는 본 발명에 의한 사용자추적 속도 측정 시스템의 블록도이다.
도 1에 도시된 바와 같이, 본 발명의 일실시예에 따른 얼굴인식 성능 평가 시스템은 얼굴 인식 시스템(200)의 성능을 측정하는 것으로서, 시험 환경 준비부(100), 사용자 추적 성공률 측정부(300), 사용자 추적 속도 산출부(400) 및 출력부(500)를 포함한다.
얼굴인식 성능 평가 시스템은 도 2a에 도시된 바와 같이, 가로(w), 세로(h)가 각각 5m 내외로 설정된 밀폐된 공간(110)에서 지능형 로봇(이하, 로봇)의 얼굴 인식 성능을 측정한다.
본 발명에서는 밀폐된 공간(110)의 천장에 4개의 조명들(111, 112, 113, 114)이 설치되고, 설치된 4개의 조명들(111, 112, 113, 114)에 대한 조명 조건이 총 15가지의 조합에 의해 설정되며, 조명들(111, 112, 113, 114)은 밀폐된 공간(110) 전체에 균등한 조명 효과를 제공할 수 있도록 배치된다.
또한, 로봇은 고정형 플랫폼(예컨대, 워크스테이션 형태로 고정되어 팬-틸트-줌(Pan-Tilt-Zoom)이 가능) 혹은 이동형 플랫폼으로 구성되는 것이 바람직하나, 본 발명에서는 얼굴 인식 성능 평가 측면만을 고려하여, 팬-틸트-줌 기능 및 이동형 플랫폼의 움직임 기능에 의한 영향을 무시한다.
본 발명의 시험환경에서 로봇 및 사용자는 도 2b에 도시된 바와 같이, 배경 변화에 대한 시험 수행을 위해 로봇이 제1 지점(121) 또는 제2 지점(122) 상에 배치되도록 한다.
밀폐된 공간(110)은 4개의 조명들(111, 112, 113, 114)에 의해 나누어져 두 명의 사용자(123, 124)에게 자유롭게 활동할 수 있는 공간으로 제공된다.
즉, 4개의 조명들(111, 112, 113, 114)에 의해 나누어진 구획 중 적어도 어느 하나는 각 사용자(123, 124)에 의해 위치된다.
4개의 조명들(111, 112, 113, 114)은 사용자의 머리 위에 위치할 경우 켜져야 한다.
조도계(125)는 밀폐된 공간(110)의 중앙에 위치하여 조명조건을 기록한다.
두 명의 사용자(123, 124)는 4개의 조명들(111, 112, 113, 114)에 의해 나누어진 구획 중 어느 하나의 구획 내에서 다른 사용자의 얼굴을 모두 가리지 않는다는 조건 하에 함께 위치할 수 있으며, 얼굴인식이 가능한 범위 내에서 자유롭게 움직일 수 있다.
제1 지점(121) 또는 제2 지점(122)에서 로봇이 바라보는 배경은 도 2c 및 도 2d에 도시된 바와 같다.
예컨대, 로봇은 도 2c에 도시된 바와 같이, 단일 색 배경 시험시 제1 지점(121) 또는 제2 지점(122)에서 단일 색 배경(130)을 바라보도록 위치하고, 도 2d에 도시된 바와 같이 복합 색 배경 시험시 복합 색 배경(140)을 바라보도록 위치한다.
한편, 복합 색 배경의 배율을 모두 같게 하는 것이 원칙이나, 청색이 세 가지 원색(적색, 녹색, 청색) 중 가장 피부색과 잘 구분되므로, 본 발명에서는 청색이 중앙에 위치되도록 하고, 가장 넓은 범위로 구성되도록 한다.
도 3에 도시된 바와 같이, 본 발명의 일실시예에 따른 얼굴 인식 성능의 측정 대상인 얼굴 인식 시스템(200)은 영상입력부(210), 영상캡처부(220), 전처리부(230), 얼굴영역 추출부(240), 얼굴요소 추출부(250), 개인식별부(260) 및 인식결과 출력부(270)를 포함한다.
영상 입력부(210)는 디지털 영상을 입력받아 영상 캡처부(220)에 전송하고, 영상 캡처부(220)는 전송된 디지털 영상에 대응하는 영상 데이터를 메모리에 저장하며, 전처리부(230)는 메모리에 저장된 영상 데이터를 영상 인식 엔진에서 처리가능한 형태의 데이터로 변환시킨다.
얼굴영역 추출부(240)는 디지털 영상의 전체 영상에서 사람의 얼굴영역만을 추출하고, 얼굴 요소 추출부(250)는 추출된 사람의 얼굴영역에서 인식 및 추적을 위해 얼굴 요소를 추출하며, 개인 식별부(260)는 추출된 사람의 얼굴 요소를 기반으로 사람을 식별하고, 인식결과 출력부(270)는 개인 식별부(260)를 통해 획득된 최종 인식의 결과치를 출력한다.
전술된 바를 보다 구체적으로 설명하면, 영상입력부(210)는 가장 보편적으로 사용되는 비전센서, 열 센서 그리고 적외선 센서로부터 디지털 영상을 입력받아 영상캡처부(220)에 전송한다.
영상캡처부(220)는 영상입력부(210)로부터 전송된 영상을 저장하는 것으로서, 측정 및 분석을 위한 얼굴 데이터를 성비가 50%의 비율로 수집하여 구성하며, 피부색을 Fitzpatrick Scale 기준 2~6단계로 구성하고, 연령을 20대/30대/40대로 구분하여 데이터를 구성하며, 데이터 수집기간, 포즈변화, 조명변화, 센서와의 거리, 얼굴의 수, 데이터의 크기를 평가용 데이터로 확보한다.
전처리부(230)는 영상캡처부(220)에 의해 저장된 데이터를 인식의 과정 전에 인식기의 영상입력 포맷에 맞게 변환한다.
예컨대, 전처리부(230)는 영상의 크기변환과 컬러공간의 변환을 포함하는 것으로서, 흑백 영상의 경우 8비트 1채널, 컬러 영상의 경우 8비트 3채널의 경우를 포함하고, 특히 RGB 또는 YCbCr의 표준 컬러공간의 데이터를 영상인식에서 사용하는 HSV/HIS 컬러 공간으로 변환하는 기능을 포함한다.
얼굴 영역 추출부(240)는 입력된 영상에서 얼굴영역 추출 성능을 측정하는 것으로서, 성능 측정의 기준, 즉 미리 선정된 특징과 피부색 또는 얼굴영역의 분류 그리고 표준 치 영상과의 비교 기준으로 성능을 평가한다.
얼굴 영역 추출부(240)는 얼굴 영역 추출 성능 측정을 위해 컬러 영상의 경우 피부색 픽셀을 가우시안(gaussian) 확률분포를 이용한 컬러프로파일(color-profile) 특징을 사용하고, 흑백 영상의 경우 얼굴영역의 외곽선(contour) 정보를 이용한 기하학적 모델 혹은 외곽선 내에 포함된 픽셀에 대한 모멘템(momentum)을 이용한 통계적 특징을 사용한다.
얼굴 영역 추출부(240)는 컬러 영상의 경우 컬러 프로 파일로 근사화된 피부색 픽셀에 대한 절대기준치(threshold)를 이용하여 피부색과 배경영역을 구분하고, 흑백 영상의 경우에는 기하학적/통계적으로 미리 학습된 모델과 현재 시험 영상에서 추출된 모델과의 비교를 통해 얼굴영역과 배경영역을 구분하며, 모델의 비교를 위해 유클리드 거리(euclidean distance) 및 절대 기준치를 이용한다.
얼굴 영역 추출부(240)는 성능 평가를 위해 표준 치 영상과의 비교가 필요하며, 피부색을 분류하는 경우에는 픽셀기반 성능 평가, 얼굴영역을 분류하는 경우에는 영역기반 성능 평가 기준을 채택한다.
얼굴 영역 추출부(240)는 얼굴영역 표현을 원형, 타원형, 사각형 및 폴리곤 타입으로 표시하고, 픽셀 수(컬러 영상) 및 면적 비(흑백 영상)를 이용하여 얼굴영역과 배경영역의 구분 성능을 측정한다.
얼굴 영역 추출부(240)는 구분 성공율(Tf)을 현 영상의 피부색으로 분류된 픽셀 수(nf)와 표준 치 영상의 피부색으로 할당된 픽셀 수(np)의 비율, 혹은 현 영상의 얼굴로 분류된 픽셀영역(Af)과 표준 치 영상의 얼굴로 할당된 픽셀영역(Ap)의 비율을 의미하는 수학식 1과 같이 나타낼 수 있다.
얼굴 영역 추출부(240)는 배경영역 구분 성공율(Tf)을 현 영상의 배경색으로 분류된 픽셀수(nb)와 표준 치 영상의 배경색으로 할당된 픽셀 수(nn)의 비율, 혹은 현 영상의 배경으로 분류된 픽셀영역(Ab)과 표준 치 영상의 배경으로 할당된 픽셀영역(An)의 비율을 의미하는 수학식 2와 같이 나타낼 수 있다.
얼굴 요소 추출부(250)는 얼굴 영역 추출부(240)에 의해 추출된 결과에서 미리 설정된 얼굴 요소 추출 성능을 측정하는 것으로서, 얼굴 요소 추출 성능을 측정하기 위해 얼굴영역이 원형/타원형/사각형/폴리곤의 집합으로 주어진 것으로 간주하고, 각 얼굴 요소의 세부적 평가를 위해 전문가 시점에서 육안으로 각 얼굴 요소의 파악이 용이한 정지영상 및 동영상으로 주어진 것으로 간주한다.
얼굴 요소 추출부(250)는 얼굴 요소에 따라 컬러/흑백 영상특징을 복합적으로 얼굴 요소를 추출하기 위한 특징을 선정하여 사용한다.
예컨대, 얼굴 요소 추출부(250)는 입술과 눈(홍채)의 경우 고유의 컬러정보를 이용하고, 얼굴 영역 추출부(240)에 의해 명기된 얼굴 요소의 특징을 사용하며, 주로 타원형으로 묘사되는 얼굴영역과는 달리, 얼굴 요소를 반달형(눈외곽선/입술), 직선형(눈썹/주름), 원형(콧구멍/홍채) 등 다양한 기하학적 모델로 구성하고, 얼굴 요소를 정적 얼굴 요소와 동적 얼굴 요소로 구성하며, 각 요소에 따라 위치 정보만을 추출하거나 또는 상태정보를 함께 파악하는 과정을 수행하고, 얼굴 요소를 필요에 따라 직선, 곡선, 원형, 타원형, 사각형, 폴리곤 형태로 표현한다.
또한, 얼굴 요소 추출부(250)는 얼굴 요소 추출 성능 평가를 위해 표준 치 영상과의 비교를 수행하고, 얼굴 요소의 수, 위치, 기울어짐, 기하학적 배치, 포즈변화 등의 추출된 특징에 대한 오차의 일부 혹은 그 조합을 포함하는 성능 평가 항목을 사용하여 얼굴 요소 추출 성능을 표기한다.
여기서 얼굴 요소는 눈, 코, 입과 눈썹 등을 포함하고, 얼굴 요소의 수는 얼굴 요소의 표현에 의해 표시된 얼굴 요소의 수이며, 전문가에 의해 주어진 표준 치 영상에서 추출된 수를 평가의 기준으로 한다.
얼굴 요소 추출부(250)는 얼굴영역과 분류기를 통해 얻어진 얼굴영역의 중심위치 거리(d) 및 공통영역의 크기 또는 픽셀 수로 얼굴 요소의 위치를 평가한다.
얼굴 요소 추출부(250)는 얼굴 요소의 표현이 타원일 경우에만 기울어짐을 적용하고, 영상평면의 y축을 중심으로 시계방향으로 기울어진 정도로 기울어짐을 평가한다.
얼굴 요소 추출부(250)는 두 눈과 코 또는 두 눈과 입으로 구성되는 삼각형의 기울기로 표현되는 요소기반 포즈와 고유 얼굴(eigenface) 특징 일부에 의해 기울기를 표시하는 영역기반 포즈로 포즈변화를 구분하며, 영상평면을 기준으로 Yaw/Pitch/Roll을 각각 측정하여 수학식 3과 같이 표기된 포즈변화 오차(epose)로 포즈변화를 평가한다.
개인 식별부(260)는 얼굴 요소 추출부(250)에 의해 수행되는 얼굴 요소 추출과정을 거쳐 추출된 요소들을 이용하여 개인의 식별 성능을 측정한다.
한편, 개인 식별을 위한 특징은 각 얼굴 요소 혹은 얼굴영역 내의 일부분에 대한 기하학적/통계학적 특징으로 표현되며, 인간의 시각시스템을 모사한 가보필터(gabor filter)와 SIFT 특징이 사용된 국부적 특징(local feature)과, PCA(principal component analysis), ICA(independent component analysis), DFT(discrete fourier transform), DWT(discrete wavelet transform) 등이 사용되는 전역적 특징(global feature)은 대부분 통계학적 특징을 의미한다.
개인 식별을 위한 분류기는 국부적 특징과 전역적 특징들을 이용하여 데이터베이스에 속한 개인에 대한 식별, 혹은 데이터베이스에 속하지 않은 개인에 대한 거부 결과를 평가한다.
사용자 추적 성공률 측정부(300)는 도 4에 도시된 바와 같이, 얼굴인식 시스템(200)의 인식 과정에서 얼굴영역 추출부(240)에 의해 수행되는 얼굴영역 추출 성공 횟수 즉 성공률, 얼굴 요소 추출부(250)에 의해 수행되는 얼굴 요소 추출 성공률 그리고 개인 식별부(260)에 의해 수행되는 개인 식별 성공률의 결과에 각각의 가중치인 얼굴영역 추출 성능 가중치 W0(310), 얼굴 요소 추출 성능 가중치 W1(320) 그리고 개인 식별 성능 가중치 W2(330)를 곱한 결과의 합을 최종 사용자 추적 성공률(340)의 결과로 갖는다.
사용자추적 성공률 = W0*얼굴 영역 추출성능
+ W1*얼굴 요소 추출성능
+ W2*개인 식별 성능
사용자추적 속도 산출부(400)는 도 5에 도시된 바와 같이, 얼굴인식 시스템(200)에 의해 수행되는 각 처리과정인 영상 캡처 시간(410), 전처리 시간(420), 얼굴 영역 추출 시간(430), 얼굴 요소 추출 시간(440) 및 개인 식별시간(450)을 각각 더해 최종 사용자추적 속도(460)를 출력한다.
한편, 영상 캡처 시간은 영상의 입력 종료 시점부터 영상 캡처의 종료 시점까지의 시간을 측정한 것이고, 전처리 시간은 영상 캡처의 종료 시점부터 전처리 시간의 종료 시점까지의 시간을 측정한 것이며, 얼굴 영역 추출 시간은 전처리 종료 시점부터 얼굴 영역 추출 종료 시점까지의 시간을 측정한 것이고, 얼굴 요소 추출 시간은 얼굴 영역 추출 종료 시점부터 얼굴 요소 추출 종료 시점까지의 시간을 측정한 것이며, 특징을 추출하는데 소요되는 시간은 얼굴 요소 추출 종료 시점부터 특징 추출 종료 시점까지의 시간을 측정한 것이고, 개인 식별시간은 특징추출 종료 시점부터 개인 식별 종료 시점까지의 시간을 측정한 것이다.
전술한 바와 같이, 본 발명에 의하면, 지능로봇에 탑재된 영상 인식 장치를 사용하거나, 개발하는데 있어서 얼굴 인식 장치의 객관적인 성능 평가를 할 수 있어 컴포넌트를 개발하는 기업 또는 컴포넌트를 구매거나 최종 서비스를 제공받는 기업 또는 소비자의 성능 평가의 신뢰성을 높일 수 있으며, 로봇의 얼굴 인식 장치의 기능이 복잡해지고 다양한 컴포넌트의 조합으로 이루어짐에 따라서 개발의 과정에서 전체 성능에 미치는 정도를 각 장치별로 성능을 비교 분석할 수 있어, 개발 중 또는 개발된 컴포넌트의 성능을 객관적으로 분석하여 개발기간을 단축하고 시스템의 성능 개선을 위한 원인 파악에 있어 성능 측정을 위한 반복 투자를 없애고, 얼굴인식 컴포넌트 기술의 개발의 효율을 극대화할 수 있다.
이상, 도 1 내지 도 5를 참조하여 본 발명의 일실시예에 따른 지능로봇의 얼굴인식 성능평가 시스템을 설명하였고, 이하에서는 도 6을 참조하며 본 발명의 일실시예에 따른 지능형 로봇의 얼굴 인식 성능평가 시스템의 동작 과정을 설명한다. 도 6은 도 1에 도시된 지능형 로봇의 얼굴인식 성능 평가 시스템의 동작 과정을 설명하기 위한 순서도이다.
도 6에 도시된 바와 같이, 시험 환경이 준비되며, 즉 로봇 및 사용자가 배치되면, 시험 환경 변수를 저장하고(S110), 입력된 영상에 대한 인식을 시작한다.
영상이 입력되면(S210), 영상 입력에 대한 성공 여부를 판단한다(S211). 판단결과, 영상 입력이 실패이면, 영상을 재입력 받고, 영상 입력이 성공이면, 영상을 캡처하며(S220), 캡처된 영상을 저장하고, 소요된(캡처) 시간을 저장한다(S410).
얼굴인식에 적합한 전처리 과정을 수행하고(230), 전처리 시간을 평가하기 위해 전처리 시간을 저장한다(S420).
이후, 얼굴영역을 추출하고(S240), 얼굴영역 추출에 대한 성공 여부를 판단한다(S241).
판단결과, 얼굴영역 추출이 실패이면, 얼굴 영역 추출 성능 평가를 위해 얼굴 영역 추출 실패 카운트를 증가시키고(S311), 다시 영상을 재 입력받는다(S210).
그러나, 판단결과, 얼굴영역의 추출이 성공이면, 얼굴 영역 추출 시간을 저장하고(S430), 얼굴 요소를 추출한다(S250).
얼굴 요소 추출에 대한 성공 여부를 판단하고(S251), 판단결과, 얼굴 요소 추출이 실패이면(S251), 얼굴 요소 추출 실패 카운트를 증가시키고(S321), 다시 영상을 재입력 받으며(S210), 그러나, 판단결과, 얼굴 요소 추출이 성공이면, 얼굴 요소 추출 시간을 저장한다(S440).
얼굴 요소를 추출한 데이터로 개인 식별을 하고(S260), 개인 식별에 대한 성공 여부를 판단하고(S261), 판단결과, 개인 식별이 실패이면, 개인 식별 카운트를 증가시키고(S331), 다시 영상을 재 입력받으며, 그러나, 판단결과, 개인 식별이 성공이면 개인 식별 시간을 저장한다(S450).
입력된 영상이 마지막 테스트 영상인지 여부를 판단하고(S270), 판단결과, 입력된 영상이 마지막 테스트 영상이 아닐 경우, 다시 영상을 재입력 받으며(S210), 그러나, 판단결과, 입력된 영상이 마지막 테스트 영상일 경우, 최종 성능을 출력한다(S500).
예컨대, 최종 성능의 출력을 모든 시험이 끝나고 시험일자, 조명 및 배경 상태를 포함하는 시험 환경, 얼굴인식 성공률, 그리고 얼굴인식 속도로 표시하고(S500), 데이터로 저장 또는 출력한다.
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
이상에서 설명한 본 발명은, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상이 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시 예 및 첨부된 도면에 의해 한정되는 것이 아니다.
도 1은 본 발명에 따른 지능로봇 얼굴인식 성능평가 시스템에 대한 구성 블록도이다.
도 2a 내지 도 2b는 본 발명이 적용되는 시험환경의 일예를 보여주는 도면이다.
도 3은 본 발명이 적용되는 일반적인 얼굴인식 시스템의 구성 블록도이다.
도 4은 본 발명에 의한 얼굴인식 시스템의 사용자추적 성공률 측정 시스템의 블록도이다.
도 5는 본 발명에 의한 사용자추적 속도 측정 시스템의 블록도이다.
도 6는 본 발명에 의한 지능로봇 얼굴인식 성능평가 시스템의 순서도이다.
Claims (6)
- 지능로봇에 탑재된 얼굴인식시스템의 성능을 평가하는 지능로봇의 얼굴인식 성능평가 시스템에 있어서,상기 얼굴인식 시스템으로부터 얼굴인식 과정에서 수행된 얼굴영역 추출에 대한 성공률, 얼굴 요소 추출에 대한 성공률 및 개인 식별에 대한 성공률의 결과를 전달받고, 전달된 결과 각각에 각각의 가중치인 얼굴영역 추출 성능에 대한 가중치, 얼굴 요소 추출 성능에 대한 가중치 및 개인 식별 성능에 대한 가중치를 곱한 결과의 합을 최종 사용자 추적 성공률의 결과로 산출하는 사용자 추적 성공률 측정부;상기 얼굴인식 시스템에 의해 수행된, 상기 지능로봇으로 입력된 영상을 캡처하여 저장하는데 걸린 영상 캡처 시간, 저장된 영상을 영상입력 포맷으로 변환하는데 걸린 전처리 시간, 얼굴 영역을 추출하는데 걸린 시간, 얼굴 요소를 추출하는데 걸린 시간 및 개인을 식별하는데 걸린 시간을 각각 더해 최종 사용자추적 속도를 산출하는 사용자 추적 속도 산출부; 및상기 최종 사용자 추적 성공률, 최종 사용자 추적 속도를 포함하여 상기 얼굴인식 시스템의 최종 성능을 표시하는 출력부를 포함하는 지능로봇의 얼굴인식 성능평가 시스템.
- 제1항에 있어서, 상기 얼굴인식 시스템은,상기 지능로봇으로 입력된 영상에서 사람의 얼굴영역을 추출하고, 얼굴영역 추출 성능을 측정하는 얼굴영역 추출부;추출된 얼굴영역에서 인식 및 추적을 위해 얼굴 요소를 추출하고, 얼굴 요소 추출 성능을 측정하는 얼굴요소 추출부; 및추출된 얼굴 요소를 기반으로 사람을 식별하고, 개인 식별 성능을 측정하는 개인 식별부를 포함하는 것인 지능로봇의 얼굴인식 성능평가 시스템.
- 제1항에 있어서,상기 얼굴인식 시스템은 가로(w), 세로(h)가 각각 특정 길이 내외로 설정된 밀폐된 공간에서 지능형 로봇의 얼굴 인식 성능을 측정하고,상기 밀폐된 공간의 천장에 소정 개수의 조명이 설치되며, 설치된 상기 소정 개수의 조명에 대한 조명 조건이 총 특정 개수의 조합에 의해 설정되고, 설치된 상기 소정 개수의 조명은 상기 밀폐된 공간 전체에 균등한 조명 효과를 제공할 수 있도록 배치되는 것인 지능로봇의 얼굴인식 성능평가 시스템.
- 제3항에 있어서,배경 변화에 대한 시험 수행을 위해 상기 지능로봇은 제1 지점 또는 제2 지점 상에 배치되고,상기 밀폐된 공간은 상기 소정 개수의 조명에 의해 나누어져 특정 사용자에게 자유롭게 활동할 수 있는 공간으로 제공되며,상기 소정 개수의 조명은 사용자의 머리 위에 위치할 경우 켜지고,상기 지능로봇은 단일 색 배경 시험시 상기 제1 지점 또는 제2 지점에서 단일 색 배경을 바라보도록 위치되며, 복합 색 배경 시험시 복합 색 배경을 바라보도록 위치되는 것인 지능로봇의 얼굴인식 성능평가 시스템.
- 지능로봇에 탑재된 얼굴인식시스템의 성능을 평가하는 지능로봇의 얼굴인식성능을 평가하는 방법에 있어서,상기 지능로봇에 입력된 영상을 캡처하고, 캡처 된 영상을 저장하여 데이터베이스화하는 단계;데이터베이스화된 영상에 대해 크기변환 및 컬러공간변환을 수행하는 단계;변환된 영상에서 얼굴영역을 추출하고, 얼굴영역 추출 성능을 측정하는 단계;추출된 얼굴영역에서 얼굴 요소를 추출하고, 얼굴 요소 추출 성능을 측정하는 단계;추출된 얼굴 요소에서 특징을 추출하는 단계;추출된 특징에서 개인을 식별하고, 개인 식별 성능을 측정하는 단계; 및측정된 얼굴영역 추출 성능, 얼굴 요소 추출 성능 및 개인 식별 성능을 토대로 상기 얼굴인식 시스템의 최종 성능을 표시하는 단계를 포함하고,상기 표시하는 단계는,상기 얼굴인식 시스템으로부터 얼굴인식 과정에서 수행된 얼굴영역 추출에 대한 성공률, 얼굴 요소 추출에 대한 성공률 및 개인 식별에 대한 성공률의 결과를 전달받는 단계;전달된 결과 각각에 각각의 가중치인 얼굴영역 추출 성능에 대한 가중치, 얼굴 요소 추출 성능에 대한 가중치 및 개인 식별 성능에 대한 가중치를 곱한 결과의 합을 최종 사용자 추적 성공률의 결과로 산출하는 단계;상기 얼굴인식 시스템에 의해 수행된, 상기 지능로봇으로 입력된 영상을 캡처하여 저장하는데 걸린 영상 캡처 시간, 저장된 영상을 영상입력 포맷으로 변환하는데 걸린 전처리 시간, 얼굴 영역을 추출하는데 걸린 시간, 얼굴 요소를 추출하는데 걸린 시간 및 개인을 식별하는데 걸린 시간을 각각 더해 최종 사용자추적 속도를 산출하는 단계; 및상기 최종 사용자 추적 성공률, 최종 사용자 추적 속도를 포함하여 상기 얼굴인식 시스템의 최종 성능을 표시하는 단계를 포함하는 것인 지능형 로봇의 얼굴인식 성능을 평가하는 방법.
- 삭제
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020090024173A KR101313103B1 (ko) | 2009-03-20 | 2009-03-20 | 지능로봇의 얼굴인식 성능평가 시스템 및 평가 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020090024173A KR101313103B1 (ko) | 2009-03-20 | 2009-03-20 | 지능로봇의 얼굴인식 성능평가 시스템 및 평가 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20100105247A KR20100105247A (ko) | 2010-09-29 |
| KR101313103B1 true KR101313103B1 (ko) | 2013-09-30 |
Family
ID=43009406
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020090024173A KR101313103B1 (ko) | 2009-03-20 | 2009-03-20 | 지능로봇의 얼굴인식 성능평가 시스템 및 평가 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101313103B1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9483688B2 (en) | 2014-01-16 | 2016-11-01 | Electronics And Telecommunications Research Instit | System and method for evaluating face recognition performance of service robot using ultra high definition facial video database |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101663790B1 (ko) * | 2014-04-11 | 2016-10-10 | (주) 엠티콤 | 얼굴인식장치 및 그 동작 방법 |
| CN109871751A (zh) * | 2019-01-04 | 2019-06-11 | 平安科技（深圳）有限公司 | 基于人脸表情识别的服务态度评估方法、装置及存储介质 |
| KR20200094451A (ko) | 2019-01-30 | 2020-08-07 | 삼성전자주식회사 | 영상 처리 장치 및 방법과 서비스 로봇 |
| CN112631896B (zh) * | 2020-12-02 | 2024-04-05 | 武汉旷视金智科技有限公司 | 设备性能测试方法、装置、存储介质及电子设备 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20050060628A (ko) * | 2003-12-17 | 2005-06-22 | 학교법인 한양학원 | 얼굴 인식 방법 및 이를 이용한 인물 검색／표시 방법 |
-
2009
- 2009-03-20 KR KR1020090024173A patent/KR101313103B1/ko active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20050060628A (ko) * | 2003-12-17 | 2005-06-22 | 학교법인 한양학원 | 얼굴 인식 방법 및 이를 이용한 인물 검색／표시 방법 |
Non-Patent Citations (5)
| Title |
|---|
| 부산대학교 학위논문, 2009.02 * |
| 부산대학교 학위논문, 2009.02* |
| 산업지원연구 06-02, 2006.09 * |
| 성균관대학교 학위논문, 2007 * |
| 성균관대학교 학위논문, 2007* |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9483688B2 (en) | 2014-01-16 | 2016-11-01 | Electronics And Telecommunications Research Instit | System and method for evaluating face recognition performance of service robot using ultra high definition facial video database |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20100105247A (ko) | 2010-09-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102339915B1 (ko) | 셀피를 촬영하도록 사용자를 안내하기 위한 시스템 및 방법 | |
| CN101083940B (zh) | 皮肤状况诊断系统和美容咨询系统 | |
| JP6664163B2 (ja) | 画像識別方法、画像識別装置及びプログラム | |
| CN109146856A (zh) | 图像质量评定方法、装置、计算机设备及存储介质 | |
| JP4743823B2 (ja) | 画像処理装置、撮像装置、画像処理方法 | |
| KR100944247B1 (ko) | 얼굴 인식 방법 및 시스템 | |
| Khan et al. | Saliency-based framework for facial expression recognition | |
| WO2018116248A1 (en) | System and method for iterative classification using neurophysiological signals | |
| CN109389045B (zh) | 基于混合时空卷积模型的微表情识别方法与装置 | |
| CN109948476B (zh) | 一种基于计算机视觉的人脸皮肤检测系统及其实现方法 | |
| KR101313103B1 (ko) | 지능로봇의 얼굴인식 성능평가 시스템 및 평가 방법 | |
| KR20130048076A (ko) | 얼굴 인식 장치 및 그 제어방법 | |
| CN111985348B (zh) | 人脸识别方法和系统 | |
| CN110175501A (zh) | 基于人脸识别的多人场景专注度识别方法 | |
| CN112287827A (zh) | 基于智慧灯杆的复杂环境行人口罩佩戴检测方法及系统 | |
| Monwar et al. | Pain recognition using artificial neural network | |
| CN109145716B (zh) | 基于脸部识别的登机口检验平台 | |
| Vadlapati et al. | Facial recognition using the OpenCV Libraries of Python for the pictures of human faces wearing face masks during the COVID-19 pandemic | |
| CN114067185A (zh) | 一种基于人脸表情识别的电影评价系统 | |
| Monwar et al. | Eigenimage based pain expression recognition | |
| Khellat-Kihel et al. | Gender and ethnicity recognition based on visual attention-driven deep architectures | |
| CN108197593B (zh) | 基于三点定位方法的多尺寸人脸表情识别方法及装置 | |
| CN116343302A (zh) | 一种基于机器视觉的微表情分类识别系统 | |
| CN114882588A (zh) | 基于神经网络的肢体语言识别系统 | |
| Pantic et al. | Facial gesture recognition in face image sequences: A study on facial gestures typical for speech articulation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| A302 | Request for accelerated examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20160826 Year of fee payment: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20170828 Year of fee payment: 5 |
|
| FPAY | Annual fee payment |
Payment date: 20180823 Year of fee payment: 6 |
|
| FPAY | Annual fee payment |
Payment date: 20190826 Year of fee payment: 7 |