KR100883519B1 - 영상인식 로봇의 얼굴인식 결과 분석 시스템 및 방법 - Google Patents

Abstract

본 발명은 로봇이 사용자의 신원 파악을 위해 수행한 얼굴인식이 실패했을 경우, 영상분석을 통해 실패 이유를 판단하는 기술에 관한 것이다. 얼굴인식이 정상적으로 수행될 수 없는 경우, 영상분석을 통해 그 이유를 판단함으로써 상황에 적합한 지능적인 어드바이스를 제공할 수 있도록 하여 인식이 실패한 경우에도 사용자와의 의미 있는 상호작용을 유지할 수 있도록 한다. 본 발명에서는 영상 시퀀스(sequence)로부터 얼굴인식 실패 요인을 분석하기 위해 연속되는 프레임 간의 차분영상으로부터 추출된 사용자 영역 및 동 영역 내 영상의 통계적인 특성을 바탕으로 실패요인을 판단하며, 다차원의 특징 량을 정확도 높게 분류하기 위해 인공 신경망을 적용하였다. 본 발명에서 제안한 방식은 움직임 정보를 이용하여 사용자가 존재하는 영역을 검출하는 방식을 채택하므로, 영상의 상태가 매우 안 좋거나 사용자의 영상 크기가 작아 기존의 얼굴검출기술 등의 적용이 용이하지 않을 때, 사용자의 존재영역에 대한 특징을 안정적으로 추출할 수 있으며, 최종적인 판단에는 인공 신경망을 이용함으로써, 추출된 특징의 잡음에 강인한 특성을 갖는다.

영상분석, 얼굴인식, 인공 신경망

Description

영상인식 로봇의 얼굴인식 결과 분석 시스템 및 방법{METHOD AND SYSTEM FOR ANALYZING FACE RECOGNITION FAILURE BY USING IMAGE ANALYSIS}

본 발명은 영상인식 로봇의 얼굴인식 기법에 관한 것으로, 특히 사용자의 신원을 파악하는데 적합한 영상인식 로봇의 얼굴인식 결과 분석 시스템 및 방법에 관한 것이다.

본 발명은 정보통신부 및 정보통신연구진흥원의 IT신성장동력핵심기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호: 2005-S-033-03, 과제명: URC를 위한 내장형 컴포넌트 기술개발 및 표준화].

로봇이 각 사용자에게 맞춤형 서비스를 능동적으로 제공하려면 우선 사용자가 누구인지를 인식할 수 있어야 한다. 여기에 널리 사용되는 것이 사용자와의 직접적인 접촉 없이 사용자를 인식하는 얼굴인식 기술이다.

얼굴인식 기술은 뛰어난 성능 및 편리성 등의 이유로 로봇이 사용자의 신원을 파악하는데 가장 널리 사용되고 있는데, 얼굴인식은 로봇에 장착된 카메라를 통해 취득된 영상정보를 이용하여 화면에 존재하는 사용자가 등록되어 있는 사용자 중 누구와 유사한가를 판정하는 방식으로 수행된다. 이러한 얼굴인식이 가능하기 위해서는, 그 전제조건으로 우선 영상 내에서 얼굴의 위치를 정확히 검출할 수 있어야 하며, 또한 검출된 얼굴영상은 일정 크기 이상이고 일정 선명도를 유지해야만 한다.

그러나 로봇이 사용자와 상호작용할 때 항상 위에 언급한 얼굴인식의 전제조건을 만족할 수는 없다는 점에 문제가 있다. 예를 들어, 안정적인 얼굴검출을 위해서는 정면얼굴이 일정 크기 이상으로 입력되어야 하지만, 사용자가 옆을 보고 있거나, 뒤로 돌아선 경우와 같이 얼굴 자체가 보이지 않거나, 아니면 너무 멀리 떨어져 있어 영상에 잡힌 얼굴이 너무 작아 얼굴을 검출할 수 없는 경우, 역광 등 조명의 영향에 의해 선명한 얼굴영상을 얻을 수 없는 경우 등 다양한 얼굴인식 실패 요인이 존재하게 된다.

이러한 문제를 해결하기 위한 종래의 일환으로, 조명, 얼굴 방향 등에 강인한 얼굴인식 알고리즘을 연구 개발하게 되었으며, 그 결과물로서 기존의 알고리즘에 비해 조명이나 얼굴 방향 등에 비교적 강인한 얼굴인식이 가능해 진 것이 사실이다.

그럼에도 불구하고, 여전히 얼굴인식이 불가능한 상황은 발생되고 있으며, 이렇게 얼굴인식이 실패한 경우에 기존의 로봇은 사용자에게 단지 얼굴인식이 실패했다는 결과 메시지만을 제공하게 되며, 이 경우 사용자는 로봇이 자신을 인식할 수 없는 이유를 추정할 수 없으므로 현재 상황을 대처할 방법이 없어 당황할 수밖 에 없다.

이에 본 발명은, 얼굴인식이 실패한 경우에 그 요인을 영상 시퀀스 분석을 통해 자동으로 판단하도록 하여, 보다 신뢰성 있게 얼굴인식 결과를 도출해 낼 수 있는 영상인식 로봇의 얼굴인식 결과 분석 시스템 및 방법을 제공하고자 한다.

또한 본 발명은, 얼굴인식이 실패한 경우에 그 요인을 분석한 후 로봇이 사용자에게 지능적인 어드바이스를 제공하여 사용자와의 보다 긴밀한 상호작용 관계를 유지할 수 있는 영상인식 로봇의 얼굴인식 결과 분석 시스템 및 방법을 제공하고자 한다.

본 발명의 과제를 해결하기 위한 일 관점에 따르면, 영상인식 로봇의 얼굴인식 결과 분석 시스템으로서, 상기 영상인식 로봇을 통해 인식되는 사용자의 움직임 정보를 이용하여 사용자 영역을 검출하고, 실패원인과 관련된 통계적인 특징량을 추출하는 특징 벡터 추출 수단과, 상기 특징 벡터 추출 수단의 특징량을 기반으로 실패원인을 결정하는 판정 수단을 포함하는 영상인식 로봇의 얼굴인식 결과 분석 시스템을 제공한다.

본 발명의 과제를 해결하기 위한 다른 관점에 따르면, 영상인식 로봇의 얼굴인식 결과 분석 방법으로서, 상기 영상인식 로봇을 통해 인식되는 연속되는 두 영상의 차분 영상을 구하는 단계와, 상기 차분 영상의 차이값의 절대치에 따라 1과 0으로 구분되는 이치 영상으로 변환하는 단계와, 상기 변환되는 이치 영상에 대하여 연결 컴포넌트 해석을 수행하여 공간적으로 변화되는 영역을 검출하는 단계와, 상 기 검출되는 영역 중 서로 인접한 영역을 병합하여 사용자 영역을 정의하는 단계와, 상기 사용자 영역에 대해 적어도 둘 이상의 특징량 대상들을 기준으로 특징량 벡터를 연산하는 단계와, 상기 각각의 특징량 대상들에 대한 특징량 벡터의 평균을 구하여 최종 특징 벡터로 결정하는 단계와, 상기 결정된 특징 벡터에 따라 실패원인 리스트에서 임의의 실패원인을 결정하는 단계를 포함하는 영상인식 로봇의 얼굴인식 결과 분석 방법을 제공한다.

본 발명에 의하면, 영상인식 로봇의 얼굴인식이 실패한 경우, 실패 요인을 로봇이 자동으로 분석하도록 하며, 실패 요인에 대한 적절한 어드바이스를 사용자에게 제공함으로써 서비스 품질 개선과 함께 사용자와의 보다 긴밀한 상호작용 관계를 유지할 수 있다. 이로 인해, 로봇의 사용 빈도가 높아지게 되어 소비자 및 생산자 모두에게 높은 만족도를 제공할 수 있다.

이하 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대해 설명하고자 한다.

도 1은 본 발명의 바람직한 실시예에 따른 영상인식 로봇의 얼굴인식 결과 분석 시스템에 대한 구성 블록도로서, 차분 이치 영상 변환부(102), 연결 컴포넌트 해석부(104), 사용자 영역 검출부(106), 특징 벡터 연산부(108), 특징량 테이블(110), 특징 벡터 결정부(112)로 이루어진 특징 벡터 추출부(100)와, 글로벌(global) 특징 판정부(202), 실패원인 리스트 테이블(204), 로컬(local) 특징 판 정부(206)로 이루어진 판정부(200)를 포함한다.

도 1에 도시한 바와 같이, 특징 벡터 추출부(100)는 영상인식 로봇을 통해 취득된 영상의 움직임 정보를 이용하여 얼굴인식 판정에 필요한 특징 벡터를 추출하는 역할을 수행한다.

상기 특징 벡터 추출부(100)는, 차분 이치 영상 변환부(102), 연결 컴포넌트 해석부(104), 사용자 영역 검출부(106), 특징 벡터 연산부(108), 특징량 테이블(110), 특징 벡터 결정부(112)로 이루어진다.

여기서, 차분 이치 영상 변환부(102)는, 연속되는 두 영상의 차분영상, 즉 두 영상의 픽셀간의 차이값을 구하고, 그 차이값의 절대치가 역치 Td 이상일 경우에는 1, 그렇지 않은 경우에는 0이 되는 이치영상으로 변환한다. 이러한 차분 이치 영상 변환부(102)는 시간개념으로서, 도 2a의 차분영상 추출결과를 화면으로 예시한 바와 같이, 흰색으로 표시된 부분은 1, 검은색으로 표시된 부분은 각각 0이 되는 이치영상이다.

연결 컴포넌트 해석부(104)는, 상기 차분 이치 영상 변환부(102)에서 변환된 이치영상에 대하여 연결 컴포넌트 해석(Connected Component Analysis)을 수행하여 공간적으로 변화되는 영역을 검출한다. 이는 도 2b의 연결 컴포넌트 분석결과를 화면으로 예시한 바와 같이, 임의의 X라는 화소의 이치영상이 1이라는 값이고, 공간적으로 변화된 임의의 X+1이라는 화소의 이치영상도 1이라는 값을 가질 때, X와 X+1에 대해 연결 컴포넌트 해석을 적용하여 공간적인 변화 영역을 검출한다.

사용자 영역 검출부(106)는, 상기 연결 컴포넌트 해석부(104)에서 검출된 영 역 중 서로 인접한 영역을 병합(merge)한다. 이는 도 2c의 사용자 영역 검출결과를 화면으로 예시한 바와 같다. 이때, 최종적으로 남은 영역 중 사람이라고 볼 수 없는 너무 작은 영역은 제거한다.

특징 벡터 연산부(108)는, 상기 사용자 영역 검출부(106)에서 병합된 사용자 영역을 바탕으로 특징량 벡터를 연산한다. 상기 특징량 벡터를 연산함에 있어서, 본 실시예에서는 특징량 테이블(110)에 기설정되어 있는 특징량 대상들을 기준으로 삼는다. 이들 특징량 대상들은 아래에 예시한 바와 같다.

특징량 1 : 움직임 크기(motion magnitude)

특징량 2 : 화소의 x방향 분산값(variance)

특징량 3 : 화소의 y방향 분산값

특징량 4 : 영역 폭(width)

특징량 5 : 영역 길이(height)

특징량 6 : 영역 면적(area)(폭ㅧ길이)

특징량 7 : 영역 종횡비(aspect ratio)(길이/폭)

특징량 8 : 에지 강도(edge strength)

특징량 9 : 사용자 영역 내의 화소 분산값

먼저, 특징량 1은 영상 전체에 나타나는 움직임의 크기를 표현하는 값으로, 차분 이치 영상 변환부(102)에서 1로 표현된 화소의 개수를 영상 전체의 화소의 개수로 나눈다.

특징량 2 및 특징량 3은 상기 사용자 영역 검출부(106)에서 병합된 사용자 영역 내에 1로 표현된 화소의 x 및 y 방향의 분산값이며, 특징량 4, 5, 6, 7은 상기 사용자 영역 검출부(106)에서 병합된 사용자 영역의 폭, 길이, 면적, 종횡비를 각각 나타낸다.

특징량 8은 사용자 영역 내에서의 에지 강도로서, 상기 사용자 영역 검출부(106)에서 병합된 영역 내에서만 에지 연산을 수행하여 구해진 에지 강도를 면적으로 나누어 준다.

한편, 특징 벡터 결정부(112)는 상기 특징 벡터 연산부(108)를 통해 연산되는 N장의 영상 시퀀스에서 얻어지는 N-1장의 차분영상에 대한 특징량 벡터의 평균, 즉 상기 9개의 특징량에 대한 각각의 평균을 구하여 이를 최종적인 특징 벡터로 결정한다.

판정부(200)는 상기 특징벡터 추출부(100)에서 최종 결정된 특징 벡터를 입력받아 실패원인을 결정하는 역할을 하는데, 상기 결정된 특징 벡터는 다차원 데이터이므로 단순한 쓰레솔딩(thresholding)에 의해서는 바람직한 분류 결과를 얻기 어렵기 때문에, 보다 효율적인 분류를 위한 방법으로 본 발명에서는 인공 신경망(Artificial Neural Network)을 적용한 것을 특징으로 한다.

이러한 판정부(200)는, 글로벌 특징 판정부(202), 실패원인 리스트 테이블(204), 로컬 특징 판정부(206)로 이루어진다.

여기서, 글로벌 특징 판정부(202)는, 사용자 영역을 추출하지 못한 경우에도 결과를 얻을 수 있는 글로벌 특징량인 움직임 크기, 즉 특징량 1만을 이용하여 실패원인에 대한 판정을 내린다.

로컬 특징 판정부(206)는, 나머지 특징량 대상들, 즉 특징량 2 내지 특징량 9를 이용하여 실패원인에 대한 판정을 내린다.

실패원인 리스트 테이블(204)에는 본 실시예에 따라 영상인식 로봇의 얼굴인식이 실패한 경우, 그 원인에 대한 정보들이 기설정되어 있으며, 이러한 실패원인 리스트는 아래에 예시한 바와 같다.

실패원인 1 : 화면 내에 사용자가 존재하지 않는다.

실패원인 2 : 사용자가 카메라에 너무 인접해 있다.

실패원인 3 : 조명 상태가 좋지 않다.

실패원인 4 : 사용자가 카메라와 너무 떨어져 있다.

실패원인 5 : 사용자가 정면을 바라보고 있지 않다.

상기에서 정의한 9개의 특징량들은, 이와 같은 실패원인 리스트를 염두에 두고 유용할 것으로 판단되는 특징량들을 선택한 것이다. 예컨대, 도 3은 사용자와의 거리에 따라 특징량 2, 특징량 3인 사용자 영역 내에서의 x방향 및 y방향 분산값의 분포를 보인 것이다.

도 3에서 알 수 있듯이, 거리가 가까울수록 분산값이 크고, 거리가 멀수록 분산값이 작아지는 것을 확인할 수 있다.

이러한 특징량의 특성을 이용함으로써 사용자가 너무 멀리에 있는지를 파악할 수 있으며, 특징량 8의 사용자 영역 내 에지 강도 또는 특징량 9의 화소 분산값은 사용자가 존재하는 영역의 영상이 충분한 선명도를 유지하고 있는가(조명상태가 불량하지 않은가)를 파악하는데 유용한 정보가 될 수 있다.

이렇게 구해진 특징량 벡터는 다차원 데이터인 바, 상술한 바와 같은 인공 신경망을 사용하여 보다 효율적인 분류 작업을 수행한다.

다만, 얼굴인식 실패요인 1에 해당하는 "화면 내에 사용자가 존재하지 않는다."의 경우는, 화면상에서 의미 있는 움직임이 포착되지 않는 경우이므로, 사실상 사용자 영역을 구할 수 없는 경우에 해당한다.

이러한 문제점을 해결하기 위하여 본 실시예에서는 판정부(200)를 글로벌 특징 판정부(202)와 로컬 특징 판정부(206)로 구분한 것이다.

글로벌 특징 판정부(202)에서는 사용자 영역을 추출하지 못하는 경우에도 구할 수 있는 글로벌 특징량인 움직임 크기만을 이용하여, 이 값이 너무 작을 경우 실패원인 1인 "화면 내에 사용자가 존재하지 않는다."로 판정을 내린다. 그 이외의 경우는 위에서 기술한 특징 벡터를 구하여 인공 신경망에 투입하여 로컬 특징 판정부(206)에서 판정을 내리게 된다.

본 발명의 인공 신경망은, 실제 얼굴인식 수행에 실패한 영상 시퀀스를 사람이 눈으로 판단하여 본 발명에서 정의한 4가지 분류(실패원인 2, 실패원인 3, 실패원인 4, 실패원인 5, 실패원인 6)의 리스트를 이용하여 훈련되었으며, 최종적으로 108개의 영상 시퀀스를 대상으로 실험한 결과, 94%의 우수한 분별성능을 얻어 사용자에게 의미 있는 어드바이스를 제공할 수 있음이 확인되었다.

이상, 본 발명의 실시예에 대해 상세히 기술하였으나 본 발명은 이러한 실시예에 국한되는 것은 아니며, 후술하는 청구범위에 기재된 본 발명의 기술적 사상과 범주 내에서 당업자로부터 여러 가지 변형이 가능함은 물론이다.

도 1은 본 발명의 바람직한 실시예에 따른 영상인식 로봇의 얼굴인식 결과 분석 시스템에 대한 구성 블록도,

도 2a는 본 실시예에 따라 차분영상 추출 결과를 예시한 화면,

도 2b는 본 실시예에 따라 연결 컴포넌트 분석 결과를 예시한 화면,

도 2c는 본 실시예에 따라 사용자 영역 검출 결과를 예시한 화면,

도 3은 사용자와의 거리에 따라 특징량 2, 특징량 3인 사용자 영역 내에서의 x방향 및 y방향 분산값 분포도.

<도면의 주요 부분에 대한 부호의 설명>

102 : 차분 이치 영상 변환부 104 : 연결 컴포넌트 해석부

106 : 사용자 영역 검출부 108 : 특징 벡터 연산부

110 : 특징량 테이블 112 : 특징 벡터 결정부

202 : 글로벌 특징 판정부 204 : 실패원인 리스트 테이블

206 : 로컬 특징 판정부

Claims (10)

1. 영상인식 로봇의 얼굴인식 결과 분석 방법으로서,

   상기 영상인식 로봇을 통해 인식되는 연속되는 두 영상의 차분 영상을 구하는 단계와,

   상기 차분 영상의 차이값의 절대치에 따라 1과 0으로 구분되는 이치 영상으로 변환하는 단계와,

   상기 변환되는 이치 영상에 대하여 연결 컴포넌트 해석을 수행하여 공간적으로 변화되는 영역을 검출하는 단계와,

   상기 검출되는 영역 중 서로 인접한 영역을 병합하여 사용자 영역을 정의하는 단계와,

   상기 사용자 영역에 대해 적어도 둘 이상의 특징량 대상들을 기준으로 특징량 벡터를 연산하는 단계와,

   상기 각각의 특징량 대상들에 대한 특징량 벡터의 평균을 구하여 최종 특징 벡터로 결정하는 단계와,

   상기 결정된 특징 벡터에 따라 실패원인 리스트에서 임의의 실패원인을 결정하는 단계

   를 포함하는 영상인식 로봇의 얼굴인식 결과 분석 방법.
2. 제 1 항에 있어서,

   상기 실패원인 리스트는, 화면상에서 의미있는 움직임이 포착되지 않는 경우에 이를 알리기 위한 판정 정보를 포함하는 것을 특징으로 하는 영상인식 로봇의 얼굴인식 결과 분석 방법.
3. 제 1 항에 있어서,

   상기 실패원인 리스트는, 글로벌 특징량인 움직임 크기가 기설정값 이하인 경우의 판정 정보인 것을 특징으로 하는 영상인식 로봇의 얼굴인식 결과 분석 방법.
4. 제 1 항에 있어서,

   상기 특징량 대상들은,

   상기 이치 영상 전체에 나타나는 움직임 크기, 상기 사용자 영역내에 상기 1로 표현된 화소의 x 및 y 방향 분산값, 상기 사용자 영역의 폭, 길이, 면적, 종횡비, 에지 강도, 상기 사용자 영역내의 화소들에 대한 분산값인 것을 특징으로 하는 영상인식 로봇의 얼굴인식 결과 분석 방법.
5. 영상인식 로봇의 얼굴인식 결과 분석 시스템으로서,

   상기 영상인식 로봇을 통해 인식되는 사용자의 움직임 정보를 이용하여 사용자 영역을 검출하고, 실패원인과 관련된 통계적인 특징량을 추출하는 특징 벡터 추출 수단과,

   상기 특징 벡터 추출 수단의 특징량을 기반으로 실패원인을 결정하는 판정 수단

   을 포함하는 영상인식 로봇의 얼굴인식 결과 분석 시스템.
6. 제 5 항에 있어서,

   상기 특징 벡터 추출 수단은,

   연속되는 두 영상의 차분영상을 구하고, 그 차이값의 절대치가 역치 이상일 경우에는 1, 그렇지 않은 경우에는 0이 되는 이치 영상으로 변환하는 차분 이치 영상 변환 수단과,

   상기 차분 이치 영상 변환 수단에서 변환된 이치영상에 대하여 연결 컴포넌트 해석을 수행하여 공간적으로 변화되는 영역을 검출하는 연결 컴포넌트 해석 수단과,

   상기 연결 컴포넌트 해석 수단에서 검출된 영역 중 서로 인접한 영역을 병합하는 사용자 영역 검출 수단과,

   상기 사용자 영역 검출 수단에서 병합된 사용자 영역을 바탕으로 특징량 벡터를 연산하는 특징 벡터 연산 수단과,

   상기 특징 벡터 연산 수단을 통해 연산되는 N장의 영상 시퀀스에서 얻어지는 N-1장의 차분영상에 대한 특징량 벡터의 평균을 구하여 이를 최종적인 특징 벡터로 결정하는 특징 벡터 결정 수단

   을 포함하는 영상인식 로봇의 얼굴인식 결과 분석 시스템.
7. 제 6 항에 있어서,

   상기 특징 벡터 연산 수단은, 특징량 테이블에 기설정되어 있는 특징량 대상들을 기준으로 특징량 벡터를 연산하는 것을 특징으로 하는 영상인식 로봇의 얼굴인식 결과 분석 시스템.
8. 제 7 항에 있어서,

   상기 특징량 대상들은, 영상 전체에 나타나는 움직임 크기, 사용자 영역내의 화소의 x 및 y 방향 분산값, 사용자 영역의 폭, 길이, 면적, 종횡비, 에지 강도, 사용자 영역내의 화소들에 대한 분산값인 것을 특징으로 하는 영상인식 로봇의 얼굴인식 결과 분석 시스템.
9. 제 5 항에 있어서,

   상기 판정 수단은,

   사용자 영역을 추출하지 못한 경우에도 결과를 얻을 수 있는 글로벌 특징량인 움직임 크기만을 이용하여 실패원인에 대한 판정을 내리는 글로벌 특징 판정 수단과,

   상기 특징량에서 로컬 특징량을 이용하여 실패원인에 대한 판정을 내리는 로컬 특징 판정 수단과,

   상기 영상인식 로봇의 얼굴인식이 실패한 경우, 그 원인에 대한 정보들이 기 설정되는 실패원인 리스트 테이블

   을 포함하는 영상인식 로봇의 얼굴인식 결과 분석 시스템.
10. 제 5 항에 있어서,

    상기 판정 수단은,

    인공 신경망이 적용되는 것을 특징으로 하는 영상인식 로봇의 얼굴인식 결과 분석 시스템.

Images