KR102161783B1 - 초고해상도 얼굴 동영상 데이터베이스를 이용한 서비스 로봇 얼굴인식 성능 평가 시스템 및 방법 - Google Patents

초고해상도 얼굴 동영상 데이터베이스를 이용한 서비스 로봇 얼굴인식 성능 평가 시스템 및 방법 Download PDF

Info

Publication number
KR102161783B1
KR102161783B1 KR1020140005546A KR20140005546A KR102161783B1 KR 102161783 B1 KR102161783 B1 KR 102161783B1 KR 1020140005546 A KR1020140005546 A KR 1020140005546A KR 20140005546 A KR20140005546 A KR 20140005546A KR 102161783 B1 KR102161783 B1 KR 102161783B1
Authority
KR
South Korea
Prior art keywords
video
test
robot
registration
face
Prior art date
Application number
KR1020140005546A
Other languages
English (en)
Other versions
KR20150085644A (ko
Inventor
정영숙
조미영
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020140005546A priority Critical patent/KR102161783B1/ko
Priority to US14/540,417 priority patent/US9483688B2/en
Publication of KR20150085644A publication Critical patent/KR20150085644A/ko
Application granted granted Critical
Publication of KR102161783B1 publication Critical patent/KR102161783B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Abstract

초고해상도 얼굴 동영상 데이터베이스를 이용하여 서비스 로봇의 얼굴인식 성능을 평가하는 시스템 및 그 방법이 개시된다. 본 발명에 따른 초고해상도 얼굴 동영상 데이터베이스를 이용하여 서비스 로봇의 얼굴인식 성능을 평가하는 시스템은 등록용 또는 시험용 초고해상도 얼굴 동영상을 출력하는 동영상 출력부; 현재 출력 중인 동영상이 등록용 동영상인 경우, 해당 동영상의 식별정보를 얼굴인식 기능이 탑재된 시험용 로봇으로 전송하도록 제어하고, 현재 출력 중인 동영상이 시험용 동영상인 경우, 상기 시험용 로봇으로부터 전송되는 인식 결과를 이용하여 상기 시험용 로봇의 얼굴인식 기능에 대한 성능 평가를 수행하도록 제어하는 로봇 시험 제어부; 및 상기 식별정보(ID 정보), 현재 출력 중인 동영상이 등록용 동영상인지 혹은 시험용 동영상인지 여부에 관한 상태 정보를 상기 시험용 로봇으로 전송하는 유무선 통신부를 포함한다.

Description

초고해상도 얼굴 동영상 데이터베이스를 이용한 서비스 로봇 얼굴인식 성능 평가 시스템 및 방법{Performance Evaluation System and Method for Face Recognition of Service Robot using UHD Moving Image Database}
본 발명은 얼굴인식 성능 평가 기술에 관한 것으로서, 보다 상세하게는 초고해상도 얼굴 동영상 데이터베이스를 이용하여 서비스 로봇의 얼굴인식 성능을 평가하는 시스템 및 그 방법에 관한 것이다.
지능형 로봇이 각 사용자에게 맞춤형 서비스를 능동적으로 제공하려면 우선 사용자가 누구인지를 인식할 수 있어야 한다. 여기에 널리 사용되는 것이 지능형 로봇의 인간-로봇 상호작용(Human-Robot Interaction, HRI)을 위한 대표적인 기능 중 하나로써 사용자와의 직접적인 접촉 없이 사용자를 인식하는 얼굴인식 기능이다. 얼굴인식 기술은 뛰어난 성능 및 편리성 등의 이유로 로봇이 사용자의 신원을 파악하는데 가장 널리 사용되고 있는데, 얼굴인식은 로봇에 장착된 카메라를 통해 취득된 영상정보를 이용하여 화면에 존재하는 사용자가 기 등록되어 있는 사용자 중 누구와 유사한가를 판정하는 방식으로 수행된다.
한국공개특허 제2006-0068796호 등은 하드디스크 또는 USB 메모리 형태로 제공되는 피 시험 데이터에 의거해서 컴퓨터의 기억장치에 내장된 얼굴인식 프로그램을 이용하여 얼굴인식을 수행하고, 출력되는 정보에 의해 얼굴인식 시스템의 성능을 분석하는 기술을 개시하고 있다. 그러나 상기 한국공개특허 제2006-0068796호 등과 같은 종래의 얼굴인식 시스템의 성능을 분석하기 위한 기술은, 실제 지능형 로봇이 동작하는 환경에서의 조명 정도, 지능형 로봇과 얼굴인식의 대상이 되는 사용자와의 거리 및 사용자의 얼굴 각도 등과 같은 운용 환경적인 요소들을 충분하게 고려하지 못하므로, 결국 시스템의 얼굴인식 평가 결과에 대한 신뢰성이 부족할 수 밖에 없다는 문제가 있다.
또 다른 종래 로봇의 얼굴 인식 성능 평가 방법은 사람 모형의 마네킹을 이용하는 방법, 알고리즘을 이용한 방법, 사진을 이용한 방법 등이 있다. 마네킹을 이용한 성능 평가 방법은 마네킹의 피부 재질이 사람과 동일하지 않기 때문에 많은 문제점을 가지고 있다고 볼 수 있다. 알고리즘을 이용한 성능 평가 방법은 로봇 내부에 탑재된 알고리즘의 성능을 평가하는 방법으로서, 이 방법은 로봇 제품 전체에 대한 성능 평가 방법이 아니라 컴퓨터에서 수행되는 알고리즘의 성능평가라고 볼 수 있다. 사진을 이용한 얼굴인식 성능평가 방법은 기존의 문제점들을 다소 극복한 방법이나 설치 기구 제작의 문제점, 컴퓨터와의 자동 제어 연동의 어려움, 실제 상황 재현성에 있어서는 다소 미흡한 방법이라고 볼 수 있다.
따라서, 실제 환경과 유사하게 사용자와 지능형 로봇이 대면하게 되는 다양한 상황을 재현하여, 그러한 환경에서 지능형 로봇이 얼굴인식 기능을 수행하도록 하고 그 결과를 분석함으로써, 지능형 로봇의 얼굴인식 성능에 대한 평가 신뢰성을 보장할 수 있는 시험 환경의 조성이 필요하다.
본 발명은 상술한 종래 기술의 문제점을 해결하기 위하여, 초고해상도 얼굴 동영상을 이용하여 로봇의 얼굴인식 성능을 평가할 수 있는 시스템 및 방법을 제공하는 것을 목적으로 한다.
본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상술한 본 발명의 목적을 달성하기 위한 본 발명의 일 면에 따른 초고해상도 얼굴 동영상 데이터베이스를 이용하여 서비스 로봇의 얼굴인식 성능을 평가하는 시스템은 등록용 또는 시험용 초고해상도 얼굴 동영상의 출력하는 동영상 출력부, 현재 출력 중인 동영상이 등록용 동영상인 경우, 해당 동영상의 식별정보를 얼굴인식 기능이 탑재된 시험용 로봇으로 전송하도록 제어하고, 현재 출력 중인 동영상이 시험용 동영상인 경우, 상기 시험용 로봇으로부터 전송되는 인식 결과를 이용하여 상기 시험용 로봇의 얼굴인식 기능에 대한 성능 평가를 수행하도록 제어하는 로봇 시험 제어부 및 상기 식별정보(ID 정보), 현재 출력 중인 동영상이 등록용 동영상인지 혹은 시험용 동영상인지 여부에 관한 상태 정보를 상기 시험용 로봇으로 전송하는 유무선 통신부를 포함하고, 상기 등록용 동영상 및 상기 시험용 동영상은 데이터베이스로 구축되고, 상기 등록용 동영상은 복수의 조명 환경에서 어느 하나의 조명으로 촬영된 얼굴 동영상이고, 상기 시험용 동영상은 복수의 조명 환경에서 조명 별로 구분되어 촬영된 복수의 얼굴 동영상이다.
바람직한 실시예에 있어서, 상기 로봇 시험 제어부는 N개의 등록용 동영상이 상기 동영상 출력부에 출력되도록 제어하고, 해당 동영상에 대한 N개의 식별정보 및 해당 동영상에 대한 상기 상태 정보를 상기 시험용 로봇으로 전송하도록 제어하되, 상기 시험용 로봇은 상기 상태 정보가 등록용 동영상이라는 정보인 경우, 상기 N개의 등록용 동영상을 상기 N개의 식별 정보 별로 구분하여 등록하는 것을 특징으로 한다.
삭제
바람직한 실시예에 있어서, 상기 로봇 시험 제어부는 N개의 등록용 동영상 각각에 대해 복수의 조명 환경에서 조명 별(M 개)로 구분되어 촬영된 N x M개의 시험용 동영상이 상기 동영상 출력부에 출력되도록 제어하고, 해당 동영상에 대한 상기 상태 정보를 상기 시험용 로봇으로 전송하도록 제어하되, 상기 시험용 로봇은 상기 상태 정보가 시험용 동영상이라는 정보인 경우, 상기 N x M개의 시험용 동영상을 상기 N개의 등록용 동영상과 비교하여 인식 결과를 출력하는 것을 특징으로 한다.
상술한 본 발명의 목적을 달성하기 위한 본 발명의 다른 면에 따른 초고해상도 얼굴 동영상 데이터베이스를 이용하여 서비스 로봇의 얼굴인식 성능을 평가하는 방법은 등록용 초고해상도 얼굴 동영상 및 시험용 초고해상도 얼굴 동영상 중 적어도 하나를 준비하는 단계, 상기 등록용 초고해상도 얼굴 동영상을 출력 장치에 표시하는 단계, 상기 등록용 초고해상도 얼굴 동영상에 대한 식별정보(ID 정보) 및 현재 출력 중인 동영상이 등록용 동영상인지 혹은 시험용 동영상인지 여부에 관한 제1 상태 정보를 시험용 로봇으로 전송하는 단계, 상기 시험용 초고해상도 얼굴 동영상을 상기 출력 장치에 표시하는 단계, 현재 출력 중인 동영상이 등록용 동영상인지 혹은 시험용 동영상인지 여부에 관한 제2 상태 정보를 상기 시험용 로봇으로 전송하는 단계 및 상기 출력 장치에 표시되는 상기 시험용 초고해상도 얼굴 동영상에 대해 상기 시험용 로봇이 판정한 얼굴인식 결과를 전송 받고, 이를 이용하여 상기 시험용 로봇의 얼굴인식 기능에 대한 성능 평가를 수행하는 단계를 포함하고, 상기 등록용 초고해상도 동영상은 복수의 조명 환경에서 어느 하나의 조명으로 촬영된 얼굴 동영상이고, 상기 시험용 초고해상도 동영상은 복수의 조명 환경에서 조명 별로 구분되어 촬영된 복수의 얼굴 동영상이다.
바람직한 실시예에 있어서, 상기 준비하는 단계는 상기 등록용 초고해상도 얼굴 동영상 및 상기 시험용 초고해상도 얼굴 동영상을 데이터베이스로 구축하는 단계를 포함한다.
바람직한 실시예에 있어서, 상기 시험용 초고해상도 얼굴 동영상을 출력 장치에 표시하는 단계는 N개의 등록용 동영상 각각에 대해 복수의 조명 환경에서 조명 별(M 개)로 구분되어 촬영된 N x M개의 시험용 동영상이 상기 출력 장치에 표시하는 단계를 포함한다.
바람직한 실시예에 있어서, 상기 성능 평가를 수행하는 단계는 상기 시험용 로봇에 등록된 상기 등록용 초고해상도 얼굴 동영상에 대한 상기 식별정보의 개수와, 상기 시험용 로봇에서 얼굴 인식 결과 반환된 식별 정보의 개수의 비에 대한 성능지표를 출력하는 단계를 포함한다.
이상 상술한 바와 같은 본 발명에 따르면, 서비스 로봇의 얼굴인식 성능을 평가하는데 있어서, 초고해상도의 얼굴 동영상을 사용함으로써, 실제 상황과 유사한 성능 평가 환경을 제공할 수 있다.
도 1은 본 발명의 실시예에 따른 초고해상도 얼굴 동영상 데이터베이스를 이용한 서비스 로봇 얼굴인식 성능 평가 시스템의 사용 환경을 설명하기 위한 도면.
도 2는 본 발명의 실시예에 따른 초고해상도 얼굴 동영상 데이터베이스를 이용한 서비스 로봇 얼굴인식 성능 평가 시스템의 내부 구성을 설명하기 위한 도면.
도 3은 도 2의 얼굴 등록 인식부의 내부 구성을 설명하기 위한 도면.
도 4는 도 2의 로봇 시험 제어부의 내부 구성을 설명하기 위한 도면.
도 5는 본 발명의 실시예에 따른 초고해상도 얼굴 동영상 데이터베이스를 이용한 서비스 로봇 얼굴인식 성능 평가 방법을 설명하기 위한 도면.
도 6은 본 발명의 실시예에 따라 초고해상도 얼굴 동영상 DB를 구축하는 방법을 설명하기 위한 도면.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 기재에 의해 정의된다. 한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자 이외의 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가급적 동일한 부호를 부여하고 또한 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있는 경우에는 그 상세한 설명은 생략한다.
본 발명의 실시예에 따른 초고해상도 얼굴 동영상 데이터베이스를 이용한 서비스 로봇 얼굴인식 성능 평가 시스템의 사용 환경을 설명하기 위한 도면이다.
도 1을 참조하면, 서비스 로봇(이하에서는, 시험용 로봇과 혼용하여 기재하도록 한다)의 얼굴인식 기능에 대한 평가 시험을 수행하기 위해, 서비스 로봇(100), 로봇 성능 평가 시스템(200), 및 초고해상도 얼굴 동영상 데이터베이스(300)를 구비한다.
서비스 로봇(100)은 사용자의 얼굴인식 기능이 탑재되어 있는 로봇으로, 본 발명에 따른 얼굴인식 기능에 대한 시험 평가의 대상이 된다.
본 발명에 따른 로봇 성능 평가 시스템(200)은 영상 출력장치(200-1)와 시험 평가 장치 본체(200-2)를 포함하는데, 상기 영상 출력장치(210)는 서비스 로봇(100)의 얼굴인식 기능을 시험하기 위해 얼굴 동영상 데이터베이스(300)에 기 저장된 초고해상도 얼굴 동영상을 표시한다.
시험 평가 장치 본체(200-2)는 등록용 얼굴 동영상과 시험용 얼굴 동영상이 상기 영상 출력장치(200-1)에 구분되어 표시되도록 제어하고, 상기 서비스 로봇(100)에서 전송되는 얼굴 인식 결과를 이용하여 얼굴인식 기능에 대한 성능 평가 결과를 출력한다.
시험 평가 장치 본체(200-2)는 도 1에 도시된 바와 같이, 영상 출력장치(200-1)와 함께 시험실(10) 내부에 배치될 수 있으나, 시험실(10) 외부에 배치되어도 무방하다. 여기서, 시험 평가 장치 본체(200-2)의 영상 출력장치(200-1)에 대한 제어는 페어 케이블, 동축 케이블, 광섬유 케이블 등을 이용한 유선 통신방식과, 지그비(ZigBee), 바이너리 씨디엠에이(B-CDMA) 또는 와이파이(WiFi) 등과 같은 무선 통신방식으로 이루질 수 있다.
한편, 초고해상도 얼굴 동영상 데이터베이스(300)에는 등록용 얼굴 동영상과 시험용 얼굴 동영상이 구분되어 저장된다. 도 6에는 본 발명의 실시예에 따라 초고해상도 얼굴 동영상 데이터베이스가 구축되는 방법 및 그 결과 생성된 얼굴 동영상 DB의 일 예가 도시된다.
도 6을 참조하면, 총 12개의 조명을 각도 별(15도 2개, 30도 2개, 60도 2개, 90도 2개, 중앙 상하 2개, 정중앙 1개, 후광 1개)로 배치하고, 중앙에 촬영 대상자를 촬영하기 위한 초고해상도 촬영 장치를 설치한다. 동영상 촬영 시 사람 얼굴 움직임과 입 모양의 움직임을 반영하여 촬영한다. 12개의 조명으로 촬영된 동영상을 인식용 동영상으로 사용한다. 정중앙 조명으로 촬영된 영상을 등록용 동영상으로 사용한다.
예컨대, 특정 사람에 대해 정중앙 조명으로 촬영된 동영상은 등록용 동영상으로 분류되어 등록용 동영상 DB(310)에 저장되고, 특정 사람에 대해 복수의 조명 환경에서 조명 별로 구분되어 촬영된 동영상은 시험용 동영상으로 분류되어 시험용 동영상 DB(320)에 저장된다.
만약, N명에 대해 인식 성능을 평가한다고 한다면, 등록용 동영상은 N개가 생성되고, 시험용 동영상은 복수의 조명 환경에서 조명 별(M 개)로 구분되어 N x M개가 생성될 것이다.
이하, 도 2 내지 도 4를 참조하여 본 발명의 실시예에 따른 시험용 로봇(100) 및 로봇 성능 평가 시스템(200)의 구성에 대해 구체적으로 살펴본다. 도 2는 본 발명의 실시예에 따른 초고해상도 얼굴 동영상 데이터베이스를 이용한 서비스 로봇 얼굴인식 성능 평가 시스템의 내부 구성을 설명하기 위한 도면이다.
도 2를 참조하면, 로봇 성능 평가 시스템(200), 특히 시험 평가 장치 본체(200-2)는 초고해상도 동영상 출력부(210), 로봇 시험 제어부(220), 유무선 통신부(230)를 포함한다.
초고해상도 동영상 출력부(210)는 상기 영상 출력장치(200-1)에 임의의 얼굴 동영상이 표시되도록 제어한다. 예컨대, 상기 영상 출력장치(200-1)에는 등록용 얼굴 동영상이 출력될 수 있고, 혹은 시험용 얼굴 동영상이 출력될 수 있다. 또한, N개의 등록용 얼굴 동영상이 데이터베이스로 구축되어 있는 경우, 이 중 어느 하나의 얼굴 동영상이 출력되도록 할 수 있고, 혹은 N개의 동영상 중에 일부의 동영상만 출력되도록 할 수 있다.
다른 한편으로, 초고해상도 동영상 출력부(210)는 N x M 개의 시험용 얼굴 동영상이 데이터베이스로 구축되어 있는 경우, 이 중 일부의 동영상만 출력되도록 할 수 있고, 혹은 각 얼굴 동영상의 출력 순서를 변경할 수도 있다.
도 4에는 도 2의 로봇 시험 제어부의 내부 구성이 구체적으로 도시된다.
도 4를 참조하면, 로봇 시험 제어부(220)는 시험 평가 제어 기능(221)과, 평가결과 처리 기능(222)을 각각 수행한다.
구체적으로 설명하면, 로봇 시험 제어부(220)는 영상 출력장치(200-1)에 출력되는 얼굴 동영상의 종류를 선택하고, 출력되는 얼굴 동영상의 식별 정보 및 상태 정보 전송을 제어하고, 시험용 로봇(100)에서 전송되는 인식 결과를 이용하여 시험용 로봇(100)의 얼굴인식 기능에 대한 성능 평가를 수행한다.
일 예로, 로봇 시험 제어부(220)는 현재 출력 중인 동영상이 등록용 얼굴 동영상인 경우, 해당 얼굴 동영상의 식별정보(예컨대, ID 정보)를 얼굴인식 기능이 탑재된 시험용 로봇(100)으로 전송하도록 제어한다.
다른 예로, 로봇 시험 제어부(220)는 현재 출력 중인 얼굴 동영상이 시험용 얼굴 동영상인 경우, 상기 시험용 로봇(100)으로부터 전송되는 인식 결과를 이용하여 상기 시험용 로봇의 얼굴인식 기능에 대한 성능 평가를 수행한다.
한편, 로봇 시험 제어부(220)는 현재 출력 중인 얼굴 동영상에 대한 상태 정보를 시험용 로봇(100)으로 전송하는데, 여기서 상태 정보는 현재 출력 중인 동영상이 등록용 동영상인지 혹은 시험용 동영상인지 여부에 관한 정보를 포함한다.
예컨대, 현재 출력 중인 얼굴 동영상이 등록용 얼굴 동영상인 것을 가정하자. 이 때, 로봇 시험 제어부(220)는 해당 얼굴 동영상의 식별정보와 함께, 또는 별도로 해당 얼굴 동영상이 등록용 동영상이라는 상태정보를 시험용 로봇(100)으로 전송한다.
이와 반대로, 현재 출력 중이 얼굴 동영상이 시험용 얼굴 동영상인 경우에는, 로봇 시험 제어부(220)는 해당 얼굴 동영상이 시험용 동영상이라는 상태정보만을 시험용 로봇(100)으로 전송한다.
또한, 로봇 시험 제어부(220)는 시험용 로봇(100)에서 전송되는 얼굴인식 결과를 이용하여 시험용 로봇의 얼굴인식 기능에 대한 성능 평가를 수행한다.
구체적으로 설명하면, 상기 시험용 로봇(100)에서 전송되는 얼굴인식 결과는 인식된 시험용 얼굴 동영상의 식별정보일 수 있다. 예컨대, 로봇 시험 제어부(220)는 상기 시험용 로봇(100)에 등록된 등록용 초고해상도 얼굴 동영상에 대한 식별정보의 개수와, 상기 시험용 로봇(100)에서 얼굴 인식 결과 반환된 식별 정보의 개수의 비에 대한 성능지표를 성능 평가의 경과로 출력할 수 있다.
얼굴인식 성능지표는 아래 수학식 1과 같이 인식 성공률 (SIR, Successful Identification Rate)을 가지고 판단한다.
[수학식 1]
Figure 112014004599949-pat00001
유무선 통신부(230)는 시험 대상 인물의 관련 정보(ID, 상태 정보) 및 인식 결과 정보를 시험 로봇(100)과 로봇 성능 평가 시스템(200)이 송수신할 수 있는 인터페이스를 제공한다.
한편, 시험용 로봇(100)은 동영상 촬영부(11), 얼굴 등록 및 인식부(120), 및 유무선 통신부(130)를 포함한다.
동영상 촬영부(110)는 영상 출력장치(200-1)에 표시되는 얼굴 동영상을 촬영하여 얼굴 등록 및 인식부(120)로 전달한다.
얼굴 등록 및 인식부(120)는 유무선 통신부(130)를 통해 전달되는 동영상의 상태 정보에 따라 얼굴 등록 기능 및 인식 기능을 선별적으로 제공한다. 예컨대, 상기 동영상 촬영부(110)에서 전달되는 얼굴 동영상이 등록용 동영상이고, 이와 관련된 상태 정보가 유무선 통신부(130)를 통해 전달된 경우를 가정하자. 이 경우, 얼굴 등록 및 인식부(120)는 동영상의 한 프레임 또는 여러 프레임을 전달된 식별정보와 함께 등록한다. 예컨대, N개의 등록용 얼굴 동영상이 전달되고, 이와 관련된 상태정보 및 식별정보가 전달된 경우라면, 얼굴 등록 및 인식부(120)는 N개의 등록용 얼굴 동영상을 N개의 식별 정보 별로 구분하여 등록한다.
다른 예로, 상기 동영상 촬영부(110)에서 전달되는 얼굴 동영상이 시험용 동영상이고, 이와 관련된 상태 정보가 유무선 통신부(130)를 통해 전달된 경우를 가정하자. 이 경우, 얼굴 등록 및 인식부(120)는 시험용 동영상을 등록용 동영상과 비교하여 인식 결과를 출력한다. 여기서, 인식 결과는 인식된 시험용 동영상에 대한 등록된 식별정보를 포함할 수 있다.
예컨대, N개의 등록용 얼굴 동영상이 식별정보 별로 구분되어 등록되어 있고, N x M개의 시험용 얼굴 동영상이 이에 대한 상태정보와 함께 전달된 경우라면, 얼굴 등록 및 인식부(120)는 N x M개의 시험용 동영상을 상기 N개의 등록용 동영상과 비교하여 인식 결과를 출력할 수 있다. 여기서, 인식 결과는 유무선 통신부(130)를 통해 로봇 성능 평가 시스템(200)으로 전송된다. 상기 얼굴 등록 및 인식부(120)의 구체 구성은 도 3에 도시된 바와 같다.
이상에서는 본 발명의 실시예에 따른 초고해상도 얼굴 동영상 데이터베이스를 이용한 서비스 로봇 얼굴인식 성능 평가 시스템의 구성을 살펴보았다. 이하에서는 본 발명의 실시예에 따른 초고해상도 얼굴 동영상 데이터베이스를 이용한 서비스 로봇 얼굴인식 성능 평가 시스템의 동작을 도 5를 참조하여 설명한다.
도 5는 본 발명의 실시예에 따른 초고해상도 얼굴 동영상 데이터베이스를 이용한 서비스 로봇 얼굴인식 성능 평가 방법을 설명하기 위한 도면이다.
도 5를 참조하면, S10 단계에서 등록용 또는 시험용 초고해상도 얼굴 동영상이 준비된다. 등록용 얼굴 동영상과 시험용 얼굴 동영상은 초고해상도 얼굴 동영상 데이터베이스(300)에 구분되어 저장될 수 있다. 예컨대, 복수의 조명이 존재하는 환경에서 정중앙 조명으로 촬영된 영상을 등록용 동영상으로 사용하고, 복수의 조명 환경에서 조명 별로 구분되어 촬영된 동영상을 시험용 동영상으로 분류하여 사용할 수 있다. 만약, N명에 대해 인식 성능을 평가한다고 한다면, 등록용 동영상은 N개가 생성되고, 시험용 동영상은 복수의 조명 환경에서 조명 별(M 개)로 구분되어 N x M개가 생성될 것이다.
S20 단계에서, 로봇 성능 평가 시스템(200)은 등록용 초고해상도 얼굴 동영상을 출력 장치에 표시한다. 예컨대, N개의 등록용 얼굴 동영상이 데이터베이스로 구축되어 있는 경우, 로봇 성능 평가 시스템(200)은 이 중 어느 하나의 얼굴 동영상이 출력되도록 할 수 있고, 혹은 N개의 동영상 중에 일부의 동영상만 출력되도록 할 수 있다.
S30 단계에서, 로봇 성능 평가 시스템(200)은 현재 출력 장치 상에서 표시되고 있는 등록용 얼굴 동영상에 대한 식별정보 및 상태정보를 시험용 로봇(100)으로 전송한다. 여기서, 식별정보는 등록용 얼굴 동영상을 식별하기 위한 정보를 의미하는 것이고, 상태 정보는 현재 출력 중인 동영상이 등록용 동영상인지 혹은 시험용 동영상인지 여부에 관한 정보를 포함한다.
이 때, 시험용 로봇(100)은 현재 출력 장치에서 표시되고 있는 등록용 얼굴 동영상을 촬영하고, 촬영된 얼굴 동영상과 전달 받은 식별 정보 및 상태 정보를 이용하여 등록 과정을 수행한다.
S40 단계에서, 로봇 성능 평가 시스템(200)은 시험용 초고해상도 얼굴 동영상을 출력 장치에 표시한다. 예컨대, N명에 대해 인식 성능을 평가한다고 한다면, 등록용 동영상은 N개일 것이고, 이에 대한 시험용 동영상은 복수의 조명 환경에서 조명 별(M 개)로 구분된 N x M개가 될 것이다.
S50 단계에서, 로봇 성능 평가 시스템(200)은 현재 출력 장치 상에서 표시되고 있는 시험용 얼굴 동영상에 대한 상태정보를 시험용 로봇(100)으로 전송한다. 여기서, 상태정보는 현재 표시되는 얼굴 동영상이 시험용 얼굴 동영상이라는 정보에 관한 것이다.
이 때, 시험용 로봇(100)은 출력 장치에 표시되는 시험용 얼굴 동영상을 촬영하고, 촬영된 시험용 동영상을 등록용 동영상과 비교하여 인식 결과를 출력한다. 여기서, 인식 결과는 인식된 시험용 동영상에 대한 등록된 식별정보를 포함할 수 있다.
예컨대, N개의 등록용 얼굴 동영상이 식별정보 별로 구분되어 등록되어 있고, N x M개의 시험용 얼굴 동영상이 이에 대한 상태정보와 함께 전달된 경우라면, 시험용 로봇(100)은 N x M개의 시험용 동영상을 상기 N개의 등록용 동영상과 비교하여 인식 결과를 출력할 수 있다. 여기서, 인식 결과는 로봇 성능 평가 시스템(200)으로 전송된다.
S60 단계에서, 로봇 성능 평가 시스템(200)은 전송된 인식 결과를 이용하여 시험용 로봇(100)의 얼굴인식 기능에 대한 성능 평가를 수행한다. 예컨대, 로봇 성능 평가 시스템(200)은 시험용 로봇(100)에 등록된 등록용 초고해상도 얼굴 동영상에 대한 식별정보의 개수와, 시험용 로봇(100)에서 얼굴 인식 결과 반환된 식별 정보의 개수의 비에 대한 성능지표를 성능 평가의 경과로 출력할 수 있다.
본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구의 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (8)

  1. 등록용 또는 시험용 초고해상도 얼굴 동영상의 출력하는 동영상 출력부;
    현재 출력 중인 동영상이 등록용 동영상인 경우, 해당 동영상의 식별정보를 얼굴인식 기능이 탑재된 시험용 로봇으로 전송하도록 제어하고, 현재 출력 중인 동영상이 시험용 동영상인 경우, 상기 시험용 로봇으로부터 전송되는 인식 결과를 이용하여 상기 시험용 로봇의 얼굴인식 기능에 대한 성능 평가를 수행하도록 제어하는 로봇 시험 제어부; 및
    상기 식별정보(ID 정보), 현재 출력 중인 동영상이 등록용 동영상인지 혹은 시험용 동영상인지 여부에 관한 상태 정보를 상기 시험용 로봇으로 전송하는 유무선 통신부
    를 포함하고,
    상기 등록용 동영상 및 상기 시험용 동영상은 데이터베이스로 구축되고,
    상기 등록용 동영상은 복수의 조명 환경에서 어느 하나의 조명으로 촬영된 얼굴 동영상이고,
    상기 시험용 동영상은 복수의 조명 환경에서 조명 별로 구분되어 촬영된 복수의 얼굴 동영상인 것
    인 초고해상도 얼굴 동영상 데이터베이스를 이용한 서비스 로봇 얼굴인식 성능 평가 시스템.
  2. 제1항에 있어서,
    상기 로봇 시험 제어부는 N개의 등록용 동영상이 상기 동영상 출력부에 출력되도록 제어하고, 해당 동영상에 대한 N개의 식별정보 및 해당 동영상에 대한 상기 상태 정보를 상기 시험용 로봇으로 전송하도록 제어하되,
    상기 시험용 로봇은 상기 상태 정보가 등록용 동영상이라는 정보인 경우, 상기 N개의 등록용 동영상을 상기 N개의 식별 정보 별로 구분하여 등록하는 것
    인 초고해상도 얼굴 동영상 데이터베이스를 이용한 서비스 로봇 얼굴인식 성능 평가 시스템.
  3. 삭제
  4. 제1항에 있어서,
    상기 로봇 시험 제어부는 N개의 등록용 동영상 각각에 대해 복수의 조명 환경에서 조명 별(M 개)로 구분되어 촬영된 N x M개의 시험용 동영상이 상기 동영상 출력부에 출력되도록 제어하고, 해당 동영상에 대한 상기 상태 정보를 상기 시험용 로봇으로 전송하도록 제어하되,
    상기 시험용 로봇은 상기 상태 정보가 시험용 동영상이라는 정보인 경우, 상기 N x M개의 시험용 동영상을 상기 N개의 등록용 동영상과 비교하여 인식 결과를 출력하는 것
    인 초고해상도 얼굴 동영상 데이터베이스를 이용한 서비스 로봇 얼굴인식 성능 평가 시스템.
  5. 등록용 초고해상도 얼굴 동영상 및 시험용 초고해상도 얼굴 동영상 중 적어도 하나를 준비하는 단계;
    상기 등록용 초고해상도 얼굴 동영상을 출력 장치에 표시하는 단계;
    상기 등록용 초고해상도 얼굴 동영상에 대한 식별정보(ID 정보) 및 현재 출력 중인 동영상이 등록용 동영상인지 혹은 시험용 동영상인지 여부에 관한 제1 상태 정보를 시험용 로봇으로 전송하는 단계;
    상기 시험용 초고해상도 얼굴 동영상을 상기 출력 장치에 표시하는 단계;
    현재 출력 중인 동영상이 등록용 동영상인지 혹은 시험용 동영상인지 여부에 관한 제2 상태 정보를 상기 시험용 로봇으로 전송하는 단계; 및
    상기 출력 장치에 표시되는 상기 시험용 초고해상도 얼굴 동영상에 대해 상기 시험용 로봇이 판정한 얼굴인식 결과를 전송 받고, 이를 이용하여 상기 시험용 로봇의 얼굴인식 기능에 대한 성능 평가를 수행하는 단계
    를 포함하고,
    상기 등록용 초고해상도 동영상은 복수의 조명 환경에서 어느 하나의 조명으로 촬영된 얼굴 동영상이고,
    상기 시험용 초고해상도 동영상은 복수의 조명 환경에서 조명 별로 구분되어 촬영된 복수의 얼굴 동영상인 것
    인 초고해상도 얼굴 동영상 데이터베이스를 이용한 서비스 로봇 얼굴인식 성능 평가 방법.
  6. 제5항에 있어서, 상기 준비하는 단계는,
    상기 등록용 초고해상도 얼굴 동영상 및 상기 시험용 초고해상도 얼굴 동영상을 데이터베이스로 구축하는 단계를 포함하는 초고해상도 얼굴 동영상 데이터베이스를 이용한 서비스 로봇 얼굴인식 성능 평가 방법.
  7. 제5항에 있어서, 상기 시험용 초고해상도 얼굴 동영상을 출력 장치에 표시하는 단계는,
    N개의 등록용 동영상 각각에 대해 복수의 조명 환경에서 조명 별(M 개)로 구분되어 촬영된 N x M개의 시험용 동영상이 상기 출력 장치에 표시하는 단계를 포함하는 것
    인 초고해상도 얼굴 동영상 데이터베이스를 이용한 서비스 로봇 얼굴인식 성능 평가 방법.

  8. 제5항에 있어서, 상기 성능 평가를 수행하는 단계는,
    상기 시험용 로봇에 등록된 상기 등록용 초고해상도 얼굴 동영상에 대한 상기 식별정보의 개수와, 상기 시험용 로봇에서 얼굴 인식 결과 반환된 식별 정보의 개수의 비에 대한 성능지표를 출력하는 단계를 포함하는 것
    인 초고해상도 얼굴 동영상 데이터베이스를 이용한 서비스 로봇 얼굴인식 성능 평가 방법.
KR1020140005546A 2014-01-16 2014-01-16 초고해상도 얼굴 동영상 데이터베이스를 이용한 서비스 로봇 얼굴인식 성능 평가 시스템 및 방법 KR102161783B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020140005546A KR102161783B1 (ko) 2014-01-16 2014-01-16 초고해상도 얼굴 동영상 데이터베이스를 이용한 서비스 로봇 얼굴인식 성능 평가 시스템 및 방법
US14/540,417 US9483688B2 (en) 2014-01-16 2014-11-13 System and method for evaluating face recognition performance of service robot using ultra high definition facial video database

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140005546A KR102161783B1 (ko) 2014-01-16 2014-01-16 초고해상도 얼굴 동영상 데이터베이스를 이용한 서비스 로봇 얼굴인식 성능 평가 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20150085644A KR20150085644A (ko) 2015-07-24
KR102161783B1 true KR102161783B1 (ko) 2020-10-05

Family

ID=53521661

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140005546A KR102161783B1 (ko) 2014-01-16 2014-01-16 초고해상도 얼굴 동영상 데이터베이스를 이용한 서비스 로봇 얼굴인식 성능 평가 시스템 및 방법

Country Status (2)

Country Link
US (1) US9483688B2 (ko)
KR (1) KR102161783B1 (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10518409B2 (en) 2014-09-02 2019-12-31 Mark Oleynik Robotic manipulation methods and systems for executing a domain-specific application in an instrumented environment with electronic minimanipulation libraries
KR102433393B1 (ko) 2017-12-12 2022-08-17 한국전자통신연구원 동영상 콘텐츠 내의 인물을 인식하는 장치 및 방법
CN108881896A (zh) * 2017-12-21 2018-11-23 北京旷视科技有限公司 抓拍机的测试方法、系统以及存储介质
CN109376221A (zh) * 2018-09-27 2019-02-22 浪潮软件集团有限公司 一种基于人脸检测的税务服务机器人智能值班方法
CN109740457B (zh) * 2018-12-20 2021-07-13 杭州当虹科技股份有限公司 一种人脸识别算法评测方法
CN112559332B (zh) * 2020-07-13 2023-04-07 支付宝(杭州)信息技术有限公司 一种生物特征识别的攻击测试方法、装置及设备
US10978205B1 (en) * 2020-09-21 2021-04-13 James E. Beecham Robots, social robot systems, focusing software development for social robot systems, testing and uses thereof
KR102585521B1 (ko) * 2020-12-29 2023-10-10 주식회사 와이즈오토모티브 차량용 영상 제어기 성능 테스트 장치 및 그 동작 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002304629A (ja) * 2001-01-30 2002-10-18 Nec Corp ロボット装置、照合環境判定方法、及び照合環境判定プログラム
US20110013845A1 (en) 2009-07-14 2011-01-20 General Electric Company Optimal subspaces for face recognition

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040208363A1 (en) * 2003-04-21 2004-10-21 Berge Thomas G. White balancing an image
WO2006043702A1 (ja) * 2004-10-22 2006-04-27 Shiseido Company, Ltd. 肌状態診断システムおよび美容のためのカウンセリングシステム
KR20060068796A (ko) 2004-12-17 2006-06-21 한국정보보호진흥원 얼굴인식 시스템의 성능시험 방법 및 시스템
KR100886557B1 (ko) 2007-05-03 2009-03-02 삼성전자주식회사 적응형 학습에 기반한 얼굴 인식 시스템 및 방법
KR101313103B1 (ko) 2009-03-20 2013-09-30 한국전자통신연구원 지능로봇의 얼굴인식 성능평가 시스템 및 평가 방법
EP2249286A1 (en) * 2009-05-08 2010-11-10 Honda Research Institute Europe GmbH Robot with vision-based 3D shape recognition
KR20130065604A (ko) * 2011-12-09 2013-06-19 한국전자통신연구원 지능형 로봇의 얼굴인식 기능에 대한 시험 장치 및 방법
US8855369B2 (en) * 2012-06-22 2014-10-07 Microsoft Corporation Self learning face recognition using depth based tracking for database generation and update

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002304629A (ja) * 2001-01-30 2002-10-18 Nec Corp ロボット装置、照合環境判定方法、及び照合環境判定プログラム
US20110013845A1 (en) 2009-07-14 2011-01-20 General Electric Company Optimal subspaces for face recognition

Also Published As

Publication number Publication date
KR20150085644A (ko) 2015-07-24
US9483688B2 (en) 2016-11-01
US20150199561A1 (en) 2015-07-16

Similar Documents

Publication Publication Date Title
KR102161783B1 (ko) 초고해상도 얼굴 동영상 데이터베이스를 이용한 서비스 로봇 얼굴인식 성능 평가 시스템 및 방법
CN109635621A (zh) 用于第一人称视角中基于深度学习识别手势的系统和方法
CN103858364B (zh) 编码光检测器
US9928605B2 (en) Real-time cascaded object recognition
US9965835B2 (en) Defogging images and video
CN109740444B (zh) 人流量信息展示方法及相关产品
CN106104650A (zh) 经由凝视检测进行远程设备控制
CN105659200A (zh) 用于显示图形用户界面的方法、设备和系统
CN109816745A (zh) 人体热力图展示方法及相关产品
KR20150039252A (ko) 행동 인식 기반의 응용 서비스 제공 장치 및 그 방법
US10127424B2 (en) Image processing apparatus, image processing method, and image processing system
JP6728863B2 (ja) 情報処理システム
US20170124430A1 (en) Apparatus, method and program for classifying crowd
US11095803B2 (en) Camera linked with POS apparatus and surveillance method using the same
US11694482B2 (en) Information processing device and attendance state management method
CN112105983A (zh) 增强的视觉能力
KR20190046100A (ko) 전자 장치 및 그 제어 방법
JP2020087462A (ja) イメージ処理システム、方法及びコンピュータ判読可能な記録媒体
CN112906610A (zh) 用于活体检测的方法、电子电路、电子设备和介质
WO2020241034A1 (ja) 監視システム及び監視方法
EP2573651A1 (en) Pointer information processing device, pointer information processing program and conference system
KR101036107B1 (ko) 고유식별 정보를 이용한 증강 현실 구현시스템
US10032079B2 (en) Evaluation of models generated from objects in video
KR20140105279A (ko) Ｌｅｄ 모니터를 이용한 지능형 로봇의 얼굴 인식 기능에 대한 성능 평가 시스템 및 방법
CN112822411A (zh) 信息处理装置与其系统及方法、点亮装置、及记录介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant