KR20180118447A - 얼굴정보를 이용한 위치 추정 및 신원 관리 방법, 프로그램 및 장치 - Google Patents

Abstract

본 명세서의 실시예에 따른, 얼굴정보를 이용한 위치 추정 및 신원 관리 방법은, PTZ 카메라를 이용하여 대상의 이미지를 촬영하는 단계; 상기 이미지로부터 관심영역 크기 및 관심영역 좌표를 포함하는 얼굴정보를 획득하는 단계; 상기 관심영역 크기와 상기 PTZ 카메라의 줌(zoom) 값을 이용하여 상기 이미지의 깊이 값을 측정하는 단계; 및 상기 관심영역 좌표 및 상기 깊이 값을 이용하여 대상의 위치를 추정하는 단계; 상기 얼굴정보와 미리 저장된 개인정보를 비교하여 상기 대상의 현재 이름, 현재 인식점수, 상기 추정된 위치와 연관된 현재 위치정보를 포함하는 현재 휴먼정보를 획득하는 단계; 상기 대상의 이전 이름, 이전 인식점수, 이전 위치정보를 포함하는 누적 휴먼정보를 불러오는 단계; 상기 대상의 현재 위치와 이전 위치 간의 거리가 임계 값 이하이고, 상기 대상의 현재 인식점수가 이전 인식점수보다 높은 경우, 상기 현재 휴먼정보를 누적 휴먼정보에 갱신하는 단계; 및 상기 갱신된 누적 휴먼정보를 저장하는 단계를 더 포함하되, 상기 대상의 현재 위치와 이전 위치 간의 거리가 임계 값을 초과하거나, 상기 대상의 현재 인식점수가 이전 인식점수보다 낮은 경우에는, 상기 누적 휴먼정보를 그대로 유지함으로써, 깊이 측정 센서가 없는 PTZ 카메라를 이용하여 대상의 깊이를 측정할 수 있으며, 신원 관리 시스템의 신뢰도를 향상시킬 수 있다.

Description

얼굴정보를 이용한 위치 추정 및 신원 관리 방법, 프로그램 및 장치{METHOD, PROGRAM, AND APPARATUS FOR ESTIMATING LOCATION AND MANAGING IDENTIFICATION OF TARGET USING FACIAL INFORMATION}

본 발명은 얼굴정보를 이용한 위치 추정 및 신원 관리 방법, 프로그램 및 장치에 관한 것으로서, 더욱 상세하게는 촬영한 이미지의 관심영역 크기 및 좌표를 이용하여 대상의 현재 위치를 추정하고, 지속적으로 대상의 현재 정보와 누적 정보를 비교 및 갱신함으로써 신원을 관리하기 위한 방법, 프로그램 및 장치에 관한 것이다.

촬영 장치를 이용하여 움직이는 대상을 지속적으로 촬영 및 추적하는 기술이 보안 및 감시 시스템에서 널리 활용되고 있다. 나아가, 촬영한 대상의 이미지를 데이터베이스 내 저장된 정보와 대조함으로써 촬영된 대상의 신원을 파악하는 시스템이 보안, 감시, 범죄 수사 등에 폭넓게 활용되고 있으며, 최근에는 카메라의 성능 향상 및 얼굴 검출/인식 시스템의 개선에 힘입어 단일 대상뿐만 아니라 다수의 대상의 신원을 동시에 관리하는 기술이 다양한 분야에서 이용되고 있다. 이에, 얼굴 검출/인식 시스템의 신뢰도 향상과, 동시에 촬영된 서로 다른 대상의 신원을 정확하게 구별하여 파악하는 기술의 중요성이 대두되고 있다.

종래에는 다수의 대상의 신원을 동시에 확인 및 관리하기 위해 복수 개의 고정된 카메라 장치를 이용하여 정해진 영역의 영상을 획득 및 분석하는 방법이 이용되었으나, 최근에는 하나의 PTZ(Pan-Tilt-Zoom) 카메라를 이용하여 원격지에서 카메라의 촬영 각도를 조절함으로써 원하는 영역의 영상을 획득 및 분석하여 목표물을 탐지하는 방법이 이용되고 있다.

PTZ 카메라는 수평회전(pan), 상하각도 조절(tilt), 확대 및 축소(zoom)가 가능하여 하나의 카메라로도 다양한 위치의 영상을 촬영할 수 있으므로, 복수의 고정식 카메라를 설치하는 것에 비해 비용이 저렴하고, 유지 및 보수가 용이하다는 장점이 있다.

상기 PTZ 카메라를 이용하면 넓은 감시각을 확보하여 하나의 카메라로도 다수의 대상의 이미지를 촬영하여 신원을 관리할 수 있으나, 깊이 값을 측정하는 센서가 없는 저가의 PTZ 카메라를 이용할 경우, 각각의 대상의 3차원 위치 정보를 얻지 못하므로 대상의 정확한 위치를 추정하기 어렵다는 문제점이 있다.

또한, 촬영한 이미지를 데이터베이스 내 정보와 비교하여 대상의 얼굴을 인식하는 기술에 있어서, 얼굴 인식 중에 대상이 움직이거나 다른 대상과의 얼굴의 유사도로 인해 실제로 서로 다른 사람이 동일한 얼굴로 인식되는 경우가 종종 발생하여, 얼굴 인식 결과의 신뢰도가 떨어진다는 문제점이 있다.

미국 특허 제20160180147 A1호

이에 본 명세서는, PTZ 카메라를 이용하여 촬영한 이미지의 관심영역 크기 정보와 PTZ 카메라의 줌(zoom) 값을 고려하여 카메라와 대상의 깊이 값을 측정 하고, 상기 깊이 값과 관심영역 좌표 정보를 결합하여 대상의 위치, 구체적으로는 3차원 좌표에서의 위치를 추정하는 기술을 제공하는 것을 목적으로 한다

나아가, 특정 조건 하에서 최신 위치정보와 인식점수를 지속적으로 누적 정보에 갱신함으로써 신원 관리 시스템의 신뢰도를 향상시키는 것을 목적으로 한다.

또한, 다수의 대상의 신원을 확인함에 있어서 저가 카메라의 낮은 화질 등 기술적인 문제, 대상의 움직임이나 얼굴의 유사도로 의해 상이한 대상이 동일한 인물로 인식되는 문제를 방지하기 위한 기술을 제공함으로써 신원 관리 시스템의 신뢰도를 향상시키는 것을 목적으로 한다.

본 명세서의 일 측면에 따른 얼굴정보를 이용한 위치 추정 및 신원 관리 방법은, PTZ 카메라를 이용하여 대상의 이미지를 촬영하는 단계; 상기 이미지로부터 관심영역 크기 및 관심영역 좌표를 포함하는 얼굴정보를 획득하는 단계; 상기 관심영역 크기와 상기 PTZ 카메라의 줌(zoom) 값을 이용하여 상기 이미지의 깊이 값을 측정하는 단계; 및 상기 관심영역 좌표 및 상기 깊이 값을 이용하여 대상의 위치를 추정하는 단계를 포함한다.

일 실시예에서, 상기 관심영역 좌표 및 상기 깊이 값을 이용하여 대상의 위치를 추정하는 단계는, 상기 PTZ 카메라의 줌(zoom) 값과 상기 이미지의 깊이 값을 이용하여, 상기 이미지 내 픽셀당 실제 거리를 계산하는 단계; 상기 픽셀당 실제 거리 및 상기 관심영역 좌표를 이용하여 3차원 로컬 좌표를 계산하는 단계; 및 상기 로컬 좌표 및 상기 PTZ 카메라의 팬(pan) 값, 틸트(tilt) 값을 이용하여 3차원 글로벌 좌표를 계산하는 단계를 포함할 수 있다.

일 실시예에서, 상기 얼굴정보와 미리 저장된 개인정보를 비교하여 상기 대상의 현재 이름, 현재 인식점수, 상기 추정된 위치와 연관된 현재 위치정보를 포함하는 현재 휴먼정보를 획득하는 단계; 상기 대상의 이전 이름, 이전 인식점수, 이전 위치정보를 포함하는 누적 휴먼정보를 불러오는 단계; 상기 대상의 현재 위치와 이전 위치 간의 거리가 임계 값 이하이고, 상기 대상의 현재 인식점수가 이전 인식점수보다 높은 경우, 상기 현재 휴먼정보를 누적 휴먼정보에 갱신하는 단계; 및 상기 갱신된 누적 휴먼정보를 저장하는 단계를 더 포함하되, 상기 대상의 현재 위치와 이전 위치 간의 거리가 임계 값을 초과하거나, 상기 대상의 현재 인식점수가 이전 인식점수보다 낮은 경우에는, 상기 누적 휴먼정보를 그대로 유지할 수 있다.

일 실시예에서, 상기 PTZ 카메라를 이용하여 대상의 이미지를 촬영하는 단계는, 미리 설정된 시간 동안 복수의 이미지를 촬영하는 단계를 포함하고, 상기 현재 휴먼정보를 획득하는 단계는, 상기 복수의 이미지 각각에 대하여 현재 인식점수를 획득하는 단계; 상기 각각의 현재 인식점수에 기초하여 복수의 이미지 각각에 대하여 순차적으로 이름을 매칭하는 단계; 및 매칭된 복수의 이름들 중 가장 빈도가 높은 이름을 상기 대상의 현재 이름으로 결정하는 단계를 포함할 수 있다.

일 실시예에서, 상기 순차적으로 이름을 매칭하는 단계는, 소정의 횟수만큼 연속적으로 동일한 이름이 매칭되는 경우, 상기 동일한 이름을 상기 대상의 현재 이름으로 결정하는 단계를 포함할 수 있다.

본 명세서의 또 다른 측면에 따른 얼굴정보를 이용한 위치 추정 및 신원 관리 방법은, PTZ 카메라를 이용하여 제1 대상 및 제2 대상의 이미지를 촬영하는 단계; 상기 제1 대상의 이미지로부터 제1 대상에 대한 관심영역 크기 및 관심영역 좌표를 포함하는 제1 얼굴정보를 획득하는 단계; 상기 제2 대상의 이미지로부터 제2 대상에 대한 관심영역 크기 및 관심영역 좌표를 포함하는 제2 얼굴정보를 획득하는 단계; 상기 제1 얼굴정보와 미리 저장된 개인정보를 비교하여 상기 제1 대상의 이름 및 인식점수를 포함하는 제1 인식정보를 획득하는 단계; 상기 제2 얼굴정보와 미리 저장된 개인정보를 비교하여 상기 제2 대상의 이름 및 인식점수를 포함하는 제2 인식정보를 획득하는 단계; 및 상기 제1 대상의 이름 및 제2 대상의 이름이 동일한 경우, 상기 제1 대상의 인식점수 및 제2 대상의 인식점수를 비교하여, 더 낮은 인식점수를 갖는 대상의 인식정보를 삭제하는 단계를 포함한다.

본 명세서의 일 측면에 따른, 얼굴정보를 이용한 위치 추정 및 신원 관리 방법을 실현하기 위한 컴퓨터 프로그램에 제공될 수 있다.

본 명세서의 일 측면에 따른 얼굴정보를 이용한 위치 추정 및 신원 관리 장치는, 대상의 이미지를 촬영하기 위한 PTZ 카메라; 상기 이미지로부터 관심영역 크기 및 관심영역 좌표를 포함하는 얼굴정보를 획득하기 위한 얼굴정보 획득 모듈; 상기 관심영역 크기와 상기 PTZ 카메라의 줌(zoom) 값을 이용하여 상기 이미지의 깊이 값을 측정하기 위한 깊이 측정 모듈; 및 상기 관심영역 좌표 및 상기 깊이 값을 이용하여 대상의 위치를 추정하기 위한 위치 추정 모듈을 포함한다.

일 실시예에서, 상기 위치 추정 모듈은, 상기 PTZ 카메라의 줌(zoom) 값과 상기 이미지의 깊이 값을 이용하여, 상기 이미지 내 픽셀당 실제 거리를 계산하기 위한 제1 서브 모듈; 상기 픽셀당 실제 거리 및 상기 관심영역 좌표를 이용하여 3차원 로컬 좌표를 계산하기 위한 제2 서브 모듈; 및 상기 로컬 좌표 및 상기 PTZ 카메라의 팬(pan) 값, 틸트(tilt) 값을 이용하여 3차원 글로벌 좌표를 계산하기 위한 제3 서브 모듈을 포함한다.

일 실시예에서, 상기 얼굴정보와 미리 저장된 개인정보를 비교하여 상기 대상의 현재 이름, 현재 인식점수, 상기 추정된 위치와 연관된 현재 위치정보를 포함하는 현재 휴먼정보를 획득하기 위한 휴먼정보 획득 모듈; 상기 현재 휴먼정보를 누적 휴먼정보와 비교하고 갱신하기 위한 휴먼정보 갱신 모듈을 더 포함하되, 상기 누적 휴먼정보는, 상기 대상의 이전 이름, 이전 인식점수, 이전 위치정보를 포함하고, 상기 휴먼정보 갱신 모듈은, 상기 대상의 현재 위치와 이전 위치 간의 거리가 임계 값 이하이고, 상기 대상의 현재 인식점수가 이전 인식점수보다 높은 경우, 상기 현재 휴먼정보를 누적 휴먼정보에 갱신하되, 상기 대상의 현재 위치와 이전 위치 간의 거리가 임계 값 이상이거나, 상기 대상의 현재 인식점수가 이전 인식점수보다 낮은 경우, 상기 누적 휴먼정보를 유지할 수 있다.

일 실시예에서, 상기 PTZ 카메라는, 미리 설정된 시간 동안 복수의 이미지를 촬영하고, 상기 현재 휴먼정보 획득 모듈은, 상기 복수의 이미지 각각에 대하여 현재 인식점수를 획득하고, 상기 각각의 현재 인식점수에 기초하여 복수의 이미지 각각에 대하여 순차적으로 이름을 매칭하되, 매칭된 복수의 이름들 중 가장 빈도가 높은 이름을 상기 대상의 현재 이름으로 결정할 수 있다.

일 실시예에서, 상기 휴먼정보 획득 모듈은, 순차적으로 이름을 매칭할 때 소정의 횟수만큼 연속적으로 동일한 이름이 매칭되는 경우, 상기 동일한 이름을 상기 대상의 현재 이름으로 결정할 수 있다. 본 명세서의 또 다른 측면에 따른 얼굴정보를 이용한 위치 추정 및 신원 관리 장치는, 제1 대상 및 제2 대상의 이미지를 촬영하기 위한 PTZ 카메라; 상기 제1 대상의 이미지로부터 제1 대상에 대한 관심영역 크기 및 관심영역 좌표를 포함하는 제1 얼굴정보를 획득하기 위한 제1 얼굴정보 획득 모듈; 상기 제2 대상의 이미지로부터 제2 대상에 대한 관심영역 크기 및 관심영역 좌표를 포함하는 제2 얼굴정보를 획득하기 위한 제2 얼굴정보 획득 모듈; 상기 제1 얼굴정보와 미리 저장된 개인정보를 비교하여 상기 제1 대상의 이름 및 인식점수를 포함하는 제1 인식정보를 획득하기 위한 제1 인식정보 획득 모듈; 상기 제2 얼굴정보와 미리 저장된 개인정보를 비교하여 상기 제2 대상의 이름 및 인식점수를 포함하는 제2 인식정보를 획득하기 위한 제2 인식정보 획득 모듈; 및 상기 제1 대상의 이름 및 제2 대상의 이름이 동일한 경우, 상기 제1 대상의 인식점수 및 제2 대상의 인식점수를 비교하여, 더 낮은 인식점수를 갖는 대상의 인식정보를 삭제하기 위한 인식정보 삭제모듈을 포함한다.

본 명세서에서 제공하는 일 실시예에 의하면, 카메라로 촬영한 2차원 이미지 정보를 바탕으로 대상의 3차원 위치 정보를 획득할 수 있다. 이와 같은 기술에 의하면, 깊이 센서가 없는 저가의 카메라를 RGB-D 카메라와 같이 활용할 수 있으므로 단일한 대상의 위치 정보를 파악하는데 유용할 뿐만 아니라, 특정 장소에서 다수 대상의 위치 정보를 파악하는 경우에도 각 대상의 위치를 알 수 있으므로 유용하다.

본 명세서에서 제공하는 일 실시예에 의하면, 대상의 인식점수를 기초로 하여 대상의 위치 정보를 지속적으로 갱신함으로써 신원 관리 시스템의 신뢰도를 향상시킬 수 있고, 또 다른 실시예에 의하면, 기술적인 문제 또는 복수의 대상 간의 얼굴의 유사도로 인해 상이한 대상이 동일한 인물로 인식되는 것을 방지하여 신원 관리 시스템의 신뢰도를 향상시킬 수 있다.

도 1은 일 실시예에 따른 얼굴정보를 이용한 위치 추정 방법을 도시한 순서도이다.
도 2는 일 실시예에 따른 도 1의 위치를 추정하는 단계를 구체적으로 도시한 순서도이다.
도 3은 일 실시예에 따른 얼굴정보를 이용한 위치 추정 및 신원 관리 방법을 도시한 순서도이다.
도 4는 다른 실시예에 따른 얼굴정보를 이용한 신원 관리 방법을 도시한 순서도이다.
도 5a는 일 실시예에서 PTZ 카메라를 이용하여 복수의 대상의 이미지를 촬영하는 것을 나타낸 도면이다.
도 5b는 일 실시예에서 제1 대상 및 제2 대상의 이름이 동일하게 특정된 경우 대상의 이름을 결정하는 방법을 나타낸 도면이다.
도 5c는 일 실시예에 따라 누적 휴먼 정보를 갱신하는 것을 나타낸 도면이다.
도 6는 일 실시예에 따른 얼굴정보를 이용한 위치 추정 및 신원 관리 장치의 각 구성요소를 도시한 블록도이다.
도 7은 일 실시예에 따른 도 6의 위치 추정 모듈을 구체적으로 도시한 블록도이다.
도 8은 다른 실시예에 따른 얼굴정보를 이용한 신원 관리 장치의 각 구성요소를 도시한 블록도이다.

이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 실시예를 상세하게 설명하지만, 청구하고자 하는 범위는 실시예들 또는 도면들에 의해 제한되거나 한정되는 것은 아니다.

본 명세서에서 사용되는 용어는 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 명세서의 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 가지는 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 함을 밝혀두고자 한다.

또한, 본 명세서에 기술된 실시예는 전적으로 하드웨어이거나, 부분적으로 하드웨어이고 부분적으로 소프트웨어이거나, 또는 전적으로 소프트웨어인 측면을 가질 수 있다. 본 명세서에서 "부(unit)", "모듈(module)", "장치(device)", "서버(server)" 또는 "시스템(system)" 등은 하드웨어, 하드웨어와 소프트웨어의 조합, 또는 소프트웨어 등 컴퓨터 관련 엔티티(entity)를 지칭한다. 예를 들어, 부, 모듈, 장치, 서버 또는 시스템은 플랫폼(platform)의 일부 또는 전부를 구성하는 하드웨어 및/또는 상기 하드웨어를 구동하기 위한 애플리케이션(application) 등의 소프트웨어를 지칭하는 것일 수 있다.

얼굴정보를 이용한 위치 추정 방법

이하에서는 PTZ 카메라로 대상까지의 거리 값을 측정하고 이를 이용하여 대상의 3차원 위치 정보를 획득하기 위한 방법이 상세하게 설명된다.

도 1은 일 실시예에 따른 얼굴정보를 이용한 위치 추정 방법을 각 단계별로 도시한 순서도이다. 도 1을 참조하면, 먼저 PTZ 카메라를 이용하여 대상의 이미지를 촬영하는 단계가 수행된다(S10).

본 명세서에서, PTZ(Pan-Tilt-Zoom) 카메라는 수평회전(pan), 상하각도 조절(tilt), 확대 및 축소(zoom)가 가능한 모든 종류의 카메라를 지칭하는 것으로서, 고정식 모터를 이용하여 촬영 각도를 제어할 수 있는 일반적인 PTZ 카메라를 포함하지만 이에 한정되지는 않는다.

여기서 대상이란 PTZ 카메라로 촬영 가능한 모든 단일 또는 복수의 피사체를 지칭하고, 후술하는 신원 관리 방법에 있어서는 신원 확인이 필요한 인물 대상의 얼굴을 지칭한다. 대상의 이미지 촬영 방식은 사진 촬영 또는 동영상 촬영을 모두 포함할 수 있다.

일 실시예에서, 상기 PTZ 카메라로 복수의 대상이 포함된 적어도 하나의 이미지를 촬영할 수 있고, 이미지에 포함된 복수의 대상의 얼굴을 동시에 인식하는 프로세스를 수행함으로써, 종래의 단일 대상에 대한 얼굴 인식 방법에 비해 보다 빠르게 대상들의 신원을 파악할 수 있다.

이어, 상기 대상의 이미지로부터 관심영역 크기 및 관심영역 좌표를 포함하는 얼굴정보를 획득하는 단계가 수행된다(S20). 관심영역(region of interest)이란 촬영된 전체 이미지에서 배경과 분리되는 독립된 객체 영역을 지칭한다. 예를 들면, 풍경 사진에서 나무 한 그루, 자동차, 또는 인물을 포함하는 영역이 관심영역이 될 수 있다. 후술하는 위치 추정 및 신원 관리 방법에서는, 도 5b에서와 같이 인물 대상의 얼굴 전체를 포함하는 사각형 영역이 관심영역으로 설정될 수 있다. 관심영역은 공지된 검출/인식 기능을 이용하여 자동적으로 설정될 수 있고, 또는 사용자에 의해 임의로 설정될 수도 있다.

일 실시예에서, 관심영역 좌표는 상기 설정된 관심영역의 중심점을 가리키는 2차원 좌표 정보이다. 예를 들어, 도 5c를 참조하면 철수의 관심영역(ROI) 좌표는 (-200, -100)이고, 영희의 관심영역 좌표는 (200, 100)을 나타내고 있다. 또한, 철수의 관심영역(ROI) 크기는 100이고 영희의 관심영역 크기는 50이며, 각 대상의 얼굴 영역 크기를 나타내고 있다.

얼굴정보는 적어도 상기 관심영역 크기 정보 및 관심영역 좌표 정보를 포함하며, 실시예에 따라 이미지의 RGB 컬러 정보 또는 명암 대비 정보와 같이 미리 저장된 사진과 비교하여 대상의 신원을 파악하는데 필요한 부가적인 정보를 더 포함할 수 있다.

이어, 상기 관심영역 크기 정보와 PTZ 카메라의 줌(zoom) 값을 이용하여 이미지의 깊이 값을 측정하는 단계가 수행된다(S30). 일반적으로, 기준 거리에서 촬영한 사람의 얼굴 영역 크기를 기준으로 할 때, 상기 관심영역 크기가 기준보다 작다면 대상은 기준 거리보다 멀리 있는 것으로 판단할 수 있고, 기준보다 크다면 대상이 기준 거리보다 가까이 있는 것으로 판단할 수 있다. PTZ 카메라의 줌 값을 더 고려하면, 관심영역 크기가 동일하더라도 촬영시의 줌 값이 클수록 대상은 멀리 있는 것으로 판단할 수 있다.

따라서 대상의 깊이 값, 즉 PTZ 카메라와 대상 간의 거리 값(d)은 이하의 공식에 의해 계산될 수 있다.

d = W0 × zoom/W (단위: 미터)

여기서 W는 대상의 관심영역 크기이고, zoom은 PTZ 카메라의 줌 값이며, W0는 d=1미터, zoom=1 일 때의 기준 관심영역 크기를 나타낸다.

이어, 상기 깊이 값과 관심영역 좌표 정보를 이용하여 대상의 위치를 추정하는 단계가 수행된다(S40). 구체적으로, 단계(S20)에서 획득한 관심영역의 2차원 좌표 정보와 단계(S30)에서 측정한 관심영역의 깊이 값 정보에 기초하여 대상의 3차원 위치 정보를 획득할 수 있다.

일 실시예에서, 상기 위치 추정 방법은 이하와 같은 세부적인 단계를 포함할 수 있다. 도 2를 참조하면, 상기 PTZ 카메라의 줌(zoom) 값과 상기 이미지의 깊이 값을 이용하여, 상기 이미지 내 픽셀당 실제 거리를 계산하는 단계가 수행된다(S41).

일 실시예에서, 이미지 내 픽셀당 실제 거리(p)는 이하의 공식에 의해 계산될 수 있다.

p = p0 × d/zoom (단위: 미터)

여기서 zoom은 PTZ 카메라의 줌 값이고, p0는 d=1미터, zoom=1 일 때의 픽셀당 기준 거리를 나타낸다. 실시예에서 p0 값은 PTZ 카메라의 센서 크기와 초점 거리에 따라 결정될 수 있다.

이어, 상기 픽셀당 실제 거리(p), 관심영역 거리(d), 관심영역 좌표에 기초하여 3차원 로컬 좌표를 계산하는 단계가 수행되고(S42), 계산된 로컬 좌표 및 PTZ 카메라의 팬(pan) 값, 틸트(tilt) 값에 기초하여 3차원 글로벌 좌표를 계산하는 단계가 수행된다(S43).

실시예에서, 관심영역 좌표가 (i, j)인 경우 3차원 로컬 좌표(Xl)와 3차원 글로벌 좌표(Xg)는 각각 다음의 공식에 의해 계산될 수 있다.

Xl = (p×i, p×j, d)

Xg = T· Xl + b

여기서, T는 PTZ 카메라의 팬, 틸트 값이 반영된 Euler 3x3 매트릭스를 나타내고, b는 글로벌 좌표계와 로컬 좌표계의 옵셋(offset)을 나타낸다.

상기 실시예들에 따르면, 별도의 깊이 측정 센서가 없는 저가의 PTZ 카메라로도 이미지의 깊이 값을 측정할 수 있고, 이를 기초로 하여 2차원 이미지로부터 대상의 3차원 위치 정보를 획득할 수 있다는 점에서 상업적인 활용도가 높다고 할 것이다.

누적 휴먼정보의 갱신을 통한 신원 관리 방법

이하에서는 특정 조건을 검사하여 대상의 최신 위치정보와 인식점수를 지속적으로 누적 정보에 갱신함으로써 신원 관리 시스템의 신뢰도를 향상시키기 위한 방법을 설명한다.

도 3은 일 실시예에 따른 얼굴정보를 이용한 위치 추정 및 신원 관리 방법을 도시한 순서도이다. 먼저, 도 1, 도 2를 참조하여 전술한 위치 추정 방법의 각 단계들(S10 내지 S40)이 수행된다. 전술한 바와 같이, 단계(S40)는 실시예에 따라 세부적인 단계들(S41 내지 S43)을 더 포함할 수 있음은 전술한 바와 같으며 중복되는 설명은 생략하도록 한다.

도 3을 참조하면, 상기 얼굴정보와 미리 저장된 개인정보를 비교하여 현재 휴먼 정보를 획득하는 단계가 더 수행된다(S50). 전술한 바와 같이, 얼굴정보는 적어도 관심영역 크기 및 관심영역 좌표 정보를 포함하고, 이미지의 RGB 컬러 정보, 명암 대비 정보 등 미리 저장된 사진과 비교하여 대상의 신원을 파악하는데 필요한 부가적인 정보를 더 포함할 수 있다. 미리 저장된 개인정보는, 대상 후보의 사진 데이터, 후보 각각의 사진과 매칭되는 이름 정보 등을 포함할 수 있으며, , 신원 관리 장치 내 메모리 또는 서버에 저장될 수 있다.

구체적으로, 얼굴 인식 프로세스는 촬영된 얼굴 정보와 미리 저장된 복수의 대상 후보의 사진 데이터(예를 들어, 3학년 1반 학생들의 사진 데이터)를 차례로 대조하여 각 사진 데이터와의 유사도를 측정하고(예를 들어, 촬영된 이미지와 철수의 사진 데이터는 70% 유사하고, 영희의 사진 데이터는 60% 유사), 유사도에 기초하여 현재 인식점수를 결정하며(예를 들어, 유사도가 가장 높은 철수의 사진 데이터와 70% 유사하므로 700점의 인식점수를 부여), 인식점수가 임계 값 이상인 경우, 사진과 매칭되는 저장된 이름(예를 들어, 철수)을 대상의 현재 이름으로 결정할 수 있다. 여기서 인식점수의 임계 값은 초기 등록 상황 및 인식환경에 따라 변경될 수 있다.

상기 얼굴 인식 프로세스에서는 하나의 촬영된 이미지를 미리 저장된 개인정보와 비교하여 대상의 현재 이름과 현재 인식점수를 결정하지만, 일 실시예에서, 얼굴 인식 프로세스의 신뢰도를 향상시키기 위해 복수의 이미지를 이용할 수도 있다.

복수의 이미지를 활용하는 실시예에서, 상기 PTZ 카메라를 이용하여 대상의 이미지를 촬영하는 단계(S10)는, 미리 설정된 시간 동안 복수의 이미지를 촬영하는 단계를 포함한다. 예를 들어, 촬영 간격이 0.1초인 PTZ 카메라를 이용하여 3초 동안 대상의 이미지를 촬영하면 30장의 이미지가 촬영될 수 있다. 카메라의 촬영 간격 및 촬영 시간은 사용자가 임의로 설정할 수 있다.

본 실시예에서, 현재 휴먼정보를 획득하는 단계(S50)는, 상기 복수의 이미지 각각에 대하여 현재 인식점수를 획득하는 단계, 상기 각각의 현재 인식점수에 기초하여 복수의 이미지 각각에 대하여 순차적으로 이름을 매칭하는 단계, 및 매칭된 복수의 이름들 중 가장 빈도가 높은 이름을 상기 대상의 현재 이름으로 결정하는 단계를 포함한다.

예를 들면, 상기 촬영한 30장의 이미지 각각을 미리 저장된 대상 후보의 사진 데이터(예를 들어, 3학년 1반 학생들의 사진 데이터)와 차례로 대조하여 유사도를 측정하고, 이에 기초하여 각각의 이미지에 대하여 현재 인식점수를 결정하며, 인식점수가 임계 값 이상인 경우, 사진과 매칭되는 이름을 각 이미지의 현재 이름으로 결정한다(예를 들어, 30장의 이미지 중 20장은 철수, 8장은 영희, 2장은 민수로 결정된다). 마지막으로, 매칭된 복수의 이름들 중 다수결에 의해 가장 빈도가 높은 이름을 대상의 현재 이름으로 결정한다(상기 예시에서는 철수로 결정된다).

또 다른 실시예에 따르면, 상기 순차적으로 이름을 매칭하는 단계 수행 중, 소정의 횟수만큼 연속적으로 동일한 이름이 매칭되는 경우, 상기 동일한 이름을 상기 대상의 현재 이름으로 결정하는 단계를 더 포함할 수 있다. 예를 들어, 30장의 이미지 중 1번부터 10번 이미지에 대하여 연속적으로 '철수'가 매칭되었다면, 대상의 이름은 '철수'로 결정되고 나머지 이미지에 대해 인식점수 및 이름을 결정하지 않고 다음 단계로 넘어감으로써 연산에 소요되는 시간 및 자원을 절약할 수 있다.

일 실시예에서, 복수의 대상 후보의 사진 데이터를 대조하는 경우, 3차원 글로벌 좌표와 가장 가까운 지정 좌석의 후보 사진 데이터를 우선적으로 대조함으로써 연산에 소요되는 시간을 줄일 수 있다.

이하에서는 상기 획득한 정보를 이전에 획득한 정보와 비교함으로써 휴먼 정보를 갱신하는 방법에 관하여 상세하게 설명한다.

상기 프로세스를 통해 결정된 대상의 현재 이름, 현재 인식점수, 단계(S40)에서 획득한 대상의 현재 위치정보를 모두 포함하는 현재 휴먼정보를 획득하게 된다. 이어, 상기 대상의 이전 이름, 이전 인식점수, 이전 위치정보를 포함하는 누적 휴먼정보를 로드하는 단계가 수행된다(S60). 누적 휴먼 정보는 상기 단계(S10) 이전에 동일한 프로세스를 거쳐 획득한 휴먼 정보(즉, 새로운 촬영 이전에 저장된 이름, 인식점수, 위치 정보를 포함한다)로서, 신원 관리 장치 내 메모리 또는 서버에 저장될 수 있다.

다음으로, 상기 현재 휴먼정보와 누적 휴먼정보를 비교하여 휴먼 정보를 갱신하는 단계가 수행된다(S70). 먼저, 다음과 같이 대상의 현재 위치 정보와 이전 위치 정보를 비교하여 현재 위치(Xg)와 이전 위치(Y) 간의 유클리디안 거리가 임계 값 이내에 있는지를 판단한다.

|Xg(i)-Y(j)| < T

판단 결과 상기 거리가 임계 값 이하인 경우, 현재 인식점수와 이전 인식점수를 비교하는 단계를 수행한다. 비교한 결과, 현재 인식점수가 이전 인식점수보다 높은 경우에는 현재 휴먼정보를 누적 휴먼정보에 갱신하는 단계를 수행한다. 즉, 갱신 후 누적 휴먼정보는 이전 이름 대신 현재 이름, 이전 인식점수 대신 현재 인식점수, 이전 위치정보 대신 현재 위치정보를 포함하게 된다. 누적된 휴먼정보는 메모리 또는 서버에 저장되고, 위치 추정 및 신원 관리 프로세스가 다시 반복되는 경우, 누적 휴먼정보로서 로드되고 새로운 현재 휴먼정보와의 비교 시 활용된다.

도 5c를 참조해서 구체적으로 설명하면, 제1 대상(100)의 얼굴 정보를 미리 저장된 개인 정보와 비교한 결과, 현재 휴먼정보 1(현재 이름: 철수, 현재 인식점수: 750, 현재 위치: (1, 1, 1))를 획득하였다면, 이를 누적 휴먼정보 1(이전 이름: 영희, 이전 인식점수: 700, 이전 위치: (1, 1, 1))와 비교한다. 비교 결과 이전 위치와 현재 위치가 (1, 1, 1)로 동일하여 두 위치 간 거리가 임계 값 이하이므로 인식점수를 비교하고, 현재 인식점수 750점이 이전 인식점수 700점보다 높기 때문에 누적 휴먼 정보의 이름, 인식점수, 위치 정보를 모두 현재 정보로 갱신한다.

판단 결과 현재 위치와 이전 위치 간의 거리가 임계 값을 초과하는 경우, 또는 임계 값 이하이지만 인식점수 비교 결과 현재 인식점수가 이전 인식점수보다 낮은 경우에는, 누적 휴먼정보를 갱신하지 않고 그대로 유지한다.

일 실시예에서, 상기 위치 간의 임계 값은 상기 프로세스가 반복되는데 걸리는 시간(즉, 누적 휴먼정보의 갱신 또는 유지(S70) 이후에 다시 대상의 이미지를 촬영하는 단계(S10)가 수행되기 까지 걸리는 시간)에 따라 변할 수 있는데, 프로세스의 반복에 걸리는 시간이 짧을수록 대상의 위치 변화를 추적하는 신뢰도가 향상되기 때문에 임계 값이 낮게 설정될 수 있다.

반대로, 프로세스의 반복에 걸리는 시간이 길수록 대상의 위치 변화를 추적하는 신뢰도가 낮아지기 때문에 임계 값이 높게 설정되고, 대상이 이전 위치로부터 멀리 이동하는 경우에도 위치를 지속적으로 추적할 수 있다. 상기 설명한 신원 관리 방법을 이용하면, 대상의 위치와 누적 정보를 지속적으로 갱신함으로써 신원 관리 프로세스의 신뢰도를 향상시킬 수 있다.

일 실시예에서, 추적하고자 하는 대상의 얼굴이 다른 대상에 의해 완전히 가려진 경우, 임계 값을 더 높게 설정함으로써 가려진 얼굴이 다시 나타날 때 추적을 지속할 수 있으므로 신원 관리 프로세스의 신뢰도를 향상시킬 수 있다.

대상의 이름이 동일한 경우 신원 관리 방법

이하에서는, 다수의 대상의 신원을 확인함에 있어서 저가 카메라의 낮은 화질 등 기술적인 문제, 대상의 움직임이나 얼굴의 유사도로 의해 상이한 대상이 동일한 인물로 인식되는 문제를 방지하기 위한 기술을 제공한다.

도 4는 일 실시예에 따른 얼굴정보를 이용한 신원 관리 방법을 도시한 순서도이다. 먼저, PTZ 카메라를 이용하여 제1 대상 및 제2 대상의 이미지를 촬영하는 단계가 수행된다(S100). 일반적인 PTZ 카메라에 대한 설명 및 촬영 대상에 대한 설명은 전술하였으므로 중복되는 설명은 생략한다.

도 5a를 참조하면, PTZ 카메라를 이용하여 일정 범위에 포함되는 대상들을 촬영한다. PTZ 카메라는 촬영 범위 내 포함된 모든 대상들에 대하여 얼굴 인식 프로세스를 수행할 수 있으나, 이하에서는 설명의 명료함을 위해 제1 대상 및 제2 대상에 대해서만 설명하도록 한다.

이어, 상기 제1 대상의 이미지로부터 제1 대상에 대한 관심영역 크기 및 관심영역 좌표를 포함하는 제1 얼굴정보를 획득하는 단계가 수행되고(S200), 유사한 방식으로 상기 제2 대상의 이미지로부터 제2 대상에 대한 관심영역 크기 및 관심영역 좌표를 포함하는 제2 얼굴정보를 획득하는 단계가 수행된다(S300). 관심영역의 크기 및 좌표에 대한 설명은 전술한 바와 같고 중복되는 설명은 생략한다.

이어, 상기 제1 얼굴정보와 미리 저장된 개인정보를 비교하여 상기 제1 대상의 이름 및 인식점수를 포함하는 제1 인식정보를 획득하는 단계가 수행되고(S400), 유사한 방식으로 상기 제2 얼굴정보와 미리 저장된 개인정보를 비교하여 상기 제2 대상의 이름 및 인식점수를 포함하는 제2 인식정보를 획득하는 단계가 수행된다(S500).

제1 및 제2 얼굴정보는 제1 대상 및 제2 대상의 관심영역 크기 및 관심영역 좌표 정보를 각각 포함하고, 각 이미지의 RGB 컬러 정보, 명암 대비 정보 등 미리 저장된 사진과 비교하여 대상의 신원을 파악하는데 필요한 부가적인 정보를 더 포함할 수 있다. 미리 저장된 개인정보는, 제1 대상 및 제2 대상 후보의 사진 데이터(예를 들어, 3학년 1반 학생들의 사진 데이터), 후보 각각의 사진과 매칭되는 이름 정보 등을 포함할 수 있으며, 신원 관리 장치 내 메모리 또는 서버에 저장될 수 있음은 전술한 바와 같다.

제1 얼굴정보와 제2 얼굴정보를 미리 저장된 개인정보와 비교하여 각각의 인식정보를 획득하는 단계는, 전술한 얼굴 인식 프로세스에 따라 수행될 수 있다. 예를 들어, 촬영된 이미지에서 제1 대상 및 제2 대상에 대하여 각각 관심영역을 설정하고, 상기 관심영역을 3학년 1반 학생들의 사진 데이터와 차례로 대조하여 인식 점수 및 매칭되는 이름을 결정한다.

전술한 바와 같이, 일 실시예에 따라 얼굴 인식 프로세스의 신뢰도를 향상시키기 위해 일정 시간 동안 촬영된 복수의 이미지를 이용할 수도 있으며, 각 이미지마다 인식 점수 및 이름 정보를 매칭하고 최종적으로 다수결에 의해 대상의 이름을 결정함으로써, 얼굴 인식 프로세스의 신뢰도를 향상시킬 수 있다.

이어, 상기 결정된 제1 대상의 이름과 제2 대상의 이름이 동일한 경우 신원 정보를 관리하는 방법이 수행된다(S600). 구체적으로, 제1 대상의 이름과 제2 대상의 이름이 동일한지 여부를 먼저 판단하고, 서로 이름이 상이한 경우에는 논리적으로 문제가 되지 않으므로 획득한 각각의 인식 정보가 저장되고 프로세스가 종료된다.

제1 대상의 이름과 제2 대상의 이름이 동일한 경우, 각 대상의 인식점수를 비교하고, 제1 대상의 인식점수가 더 높은 경우 제2 대상의 인식정보를 삭제하고, 제2 대상의 인식점수가 더 높은 경우에는 제1 대상의 인식정보를 삭제한다. 서로 인식점수가 동일한 경우에는 인식 정보의 저장을 보류하고 대상의 촬영 단계(S100)부터 다시 수행한다.

도 5b를 참조하여 예시적으로 설명하면, 촬영된 이미지에서 제1 대상(100)에 대하여 얼굴 인식 프로세스를 수행한 결과 인식 정보 1(이름: 철수, 인식점수: 750점)을 획득하고, 제2 대상(200)에 대하여 얼굴 인식 프로세스를 수행한 결과 인식 정보 2(이름: 철수, 인식점수: 750점)를 획득하였는데, 제1 대상의 관심영역 좌표(-200, -100)와 제2 대상의 관심영역 좌표(200, 100)가 상이하므로, 다른 위치에 존재하는 상이한 대상임에도 불구하고 동일한 이름 "철수"로 결정되었다.

이 경우, 비록 각 대상에 대한 인식점수가 임계 값 이상이라고 하더라도 어느 한 명에 대한 인식 결과가 잘못된 것이므로, 제1 대상 및 제2 대상의 인식점수를 비교하여 더 높은 인식점수(750점)를 갖는 제1 대상에 대하여 "철수"라는 이름 정보를 유지하고, 더 낮은 인식점수(700점)를 갖는 제2 대상에 대한 인식정보(이름 및 인식점수)를 삭제한다.

구체적인 실시예에서, 누적 휴먼 정보를 업데이트하는 단계가 더 수행될 수 있는데, 제1 대상의 누적 휴먼 정보 및 제2 대상의 누적 휴먼 정보를 비교하여 동일한 이름이 존재한다면, 인식점수가 더 큰 휴먼정보는 유지하고 인식점수가 낮은 휴먼정보는 삭제할 수 있다. 예를 들어, 제1 대상 인식 결과 "철수(750점)"이고 제2 대상 인식 결과 "철수(700점)"라면, 제2 대상의 누적 휴먼 정보 중 "철수"와 관련된 인식정보를 삭제한다.

실시예에 따라, 인식정보가 삭제된 제2 대상에 대하여는 다시 단계(S100)로 돌아가서 동일한 프로세스의 수행을 반복할 수 있다. 설명된 신원 관리 방법에 따르면, 복수의 대상의 신원을 동시에 확인하는 과정에 있어서 저가 카메라의 낮은 화질 등 기술적인 문제, 대상의 움직임이나 얼굴의 유사도로 의해 상이한 대상이 동일한 인물로 인식되는 문제를 방지함으로써 신뢰도를 향상시킬 수 있다.

이와 같은 얼굴정보를 이용한 위치 추정 및 신원 관리 방법은, 애플리케이션으로 구현되거나 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현될 수 있고, 상기 프로그램은 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거니와 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다.

컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

위치 추정 및 신원 관리 장치

이하에서는, PTZ 카메라를 이용하여 카메라와 대상의 깊이 값을 측정하고 대상의 3차원 위치 정보를 획득함으로써 대상의 위치를 추정하기 위한 장치, 얼굴 정보를 저장된 데이터와 비교하여 대상의 신원을 인식하기 위한 장치, 상이한 대상이 동일한 인물로 인식된 경우 신원을 관리하기 위한 장치에 관하여 도면을 참조하여 설명한다.

도 6는 일 실시예에 따른 얼굴정보를 이용한 위치 추정 및 신원 관리 장치의 각 구성요소를 도시한 블록도이다.

도 6을 참조하면, 얼굴정보를 이용한 위치 추정 및 신원 관리 장치(1)는, 대상의 이미지를 촬영하기 위한 PTZ 카메라(10), 얼굴정보 획득 모듈(20), 깊이 측정 모듈(30), 위치 추정 모듈(40), 휴먼정보 획득 모듈(50), 휴먼정보 갱신모듈(60)을 포함한다.

PTZ(Pan-Tilt-Zoom) 카메라(10)는 수평회전(pan), 상하각도 조절(tilt), 확대 및 축소(zoom)가 가능한 모든 종류의 카메라를 지칭하는 것으로서, 고정식 모터를 이용하여 촬영 각도를 제어할 수 있는 일반적인 PTZ 카메라를 포함하지만 이에 한정되지는 않는다.

얼굴정보 획득 모듈(20)은, 상기 촬영된 이미지로부터 관심영역 크기 및 관심영역 좌표를 포함하는 얼굴정보를 획득하기 위해 이용될 수 있다. 전술한 바와 같이, 관심영역(region of interest)이란 촬영된 전체 이미지에서 배경과 분리되는 독립된 객체 영역을 지칭하고, 실시예에서는 인물 대상의 얼굴 전체를 포함하는 사각형 영역이 관심영역으로 설정될 수 있다. 얼굴정보는 적어도 상기 관심영역 크기 정보 및 관심영역 좌표 정보를 포함하며, 실시예에 따라 이미지의 RGB 컬러 정보, 명암 대비 정보 등 미리 저장된 사진과 비교하여 대상의 신원을 파악하는데 필요한 부가적인 정보를 더 포함할 수 있다.

일 실시예에서, 상기 PTZ 카메라(10)로 복수의 대상이 포함된 적어도 하나의 이미지를 촬영할 수 있고, 이미지에 포함된 복수의 대상의 얼굴을 동시에 인식하는 프로세스를 수행함으로써, 종래의 단일 대상에 대한 얼굴 인식 방법에 비해 보다 빠르게 대상들의 신원을 파악할 수 있다.

깊이 측정 모듈(30)은, 상기 관심영역 크기와 상기 PTZ 카메라의 줌(zoom) 값을 이용하여 상기 이미지의 깊이 값을 측정하기 위해 이용될 수 있다. 줌 값을 고려하여 촬영된 이미지의 관심영역 크기와 기준 크기를 비교함으로써 대상의 깊이 값을 측정하는 구체적인 방법에 관한 설명은 전술한 바와 같으므로 중복되는 설명은 생략한다.

위치 추정 모듈(40)은, 상기 관심영역 좌표 및 상기 깊이 값을 이용하여 대상의 위치를 추정하기 위해 이용될 수 있다. 도 7을 참조하면, 상기 위치 추정 모듈(40)은, 상기 PTZ 카메라의 줌(zoom) 값과 상기 이미지의 깊이 값을 이용하여, 상기 이미지 내 픽셀당 실제 거리를 계산하기 위한 제1 서브 모듈(41), 상기 픽셀당 실제 거리 및 상기 관심영역 좌표를 이용하여 3차원 로컬 좌표를 계산하기 위한 제2 서브 모듈(42), 및 상기 로컬 좌표 및 상기 PTZ 카메라의 팬(pan) 값, 틸트(tilt) 값을 이용하여 3차원 글로벌 좌표를 계산하기 위한 제3 서브 모듈(43)을 포함할 수 있다.

상기 서브 모듈들(41 내지 43)을 이용하여 깊이 값으로부터 3차원 로컬 좌표 및 글로벌 좌표를 계산하여 위치를 추정하는 구체적인 방법에 관한 설명은 전술한 바와 같으므로 중복되는 설명은 생략한다.

휴먼정보 획득 모듈(50)은, 상기 얼굴정보와 미리 저장된 개인정보를 비교하여 상기 대상의 현재 이름, 현재 인식점수, 상기 추정된 위치와 연관된 현재 위치정보를 포함하는 현재 휴먼정보를 획득하기 위해 이용될 수 있다.

전술한 바와 같이, 얼굴정보는 적어도 관심영역 크기 및 관심영역 좌표 정보를 포함하고, 이미지의 RGB 컬러 정보, 명암 대비 정보 등 미리 저장된 사진과 비교하여 대상의 신원을 파악하는데 필요한 부가적인 정보를 더 포함할 수 있다. 미리 저장된 개인정보는, 대상 후보의 사진 데이터, 후보 각각의 사진과 매칭되는 이름 정보 등을 포함할 수 있으며, 위치 추정 및 신원 관리 장치(1) 내 메모리(도시되지 않음) 또는 서버에 저장될 수 있다.

구체적으로, 휴먼정보 획득 모듈(50)은 촬영된 얼굴 정보와 미리 저장된 복수의 대상 후보의 사진 데이터를 차례로 대조하여 각 사진 데이터와의 유사도를 측정하고, 유사도에 기초하여 현재 인식점수를 결정하며, 인식점수가 임계 값 이상인 경우 사진과 매칭되는 저장된 이름(예를 들어, 철수)을 대상의 현재 이름으로 결정할 수 있음은 전술한 바와 같다.

일 실시예에서, 상기 위치 추정 및 신원 관리 장치(1)는, 얼굴 인식 프로세스의 신뢰도를 향상시키기 위해 복수의 이미지를 이용할 수도 있다. 이 경우 PTZ 카메라(10)는 일정 시간 동안 복수의 이미지를 촬영하고, 휴먼정보 획득 모듈(50)은 복수의 이미지 각각에 대하여 현재 인식점수를 획득하며, 상기 각각의 현재 인식점수에 기초하여 복수의 이미지 각각에 대하여 순차적으로 이름을 매칭하고, 매칭된 복수의 이름들 중 가장 빈도가 높은 이름을 상기 대상의 현재 이름으로 결정함으로써 얼굴 인식 프로세스의 신뢰도를 향상시킬 수 있다.

선택적으로, 상기 휴먼정보 획득 모듈(50)은 순차적으로 이름을 매칭할 때 소정의 횟수만큼 연속적으로 동일한 이름이 매칭되는 경우, 상기 동일한 이름을 상기 대상의 현재 이름으로 결정함으로써 연산에 소요되는 시간 및 자원을 절약할 수 있다.

휴먼정보 갱신 모듈(60)은 상기 현재 휴먼정보를 상기 대상의 이전 이름, 이전 인식점수, 이전 위치정보를 포함하는 누적 휴먼정보와 비교하고 갱신하기 위해 이용될 수 있다. 구체적으로, 상기 대상의 현재 위치와 이전 위치 간의 거리가 임계 값 이하이고, 상기 대상의 현재 인식점수가 이전 인식점수보다 높은 경우, 상기 현재 휴먼정보를 누적 휴먼정보에 갱신하되, 상기 대상의 현재 위치와 이전 위치 간의 거리가 임계 값 이상이거나, 상기 대상의 현재 인식점수가 이전 인식점수보다 낮은 경우, 상기 누적 휴먼정보를 유지한다.

전술한 바와 같이, 상기 위치 간의 임계 값은 프로세스의 반복에 걸리는 시간이 짧을수록 낮게 설정될 수 있고, 프로세스의 반복에 걸리는 시간이 길수록 대상의 위치 변화를 추적하는 신뢰도가 낮아지기 때문에 높게 설정될 수 있다. 상기 설명한 신원 관리 방법을 이용하면, 대상의 위치와 누적 정보를 지속적으로 갱신함으로써 신원 관리 프로세스의 신뢰도를 향상시킬 수 있다.

일 실시예에서, 추적하고자 하는 대상의 얼굴이 다른 대상에 의해 완전히 가려진 경우, 임계 값을 더 높게 설정함으로써 가려진 얼굴이 다시 나타날 때 추적을 지속할 수 있으므로 신원 관리 프로세스의 신뢰도를 향상시킬 수 있다.

도 8을 참조하면, 또 다른 실시예에 따른 얼굴정보를 이용한 신원 관리 장치(2)의 간단한 블록도가 도시되어 있고, 상기 장치(2)는 제1 대상 및 제2 대상의 이미지를 촬영하기 위한 PTZ 카메라(12), 제1 얼굴정보 획득 모듈(22), 제2 얼굴정보 획득 모듈(24), 제1 인식정보 획득 모듈(32), 제2 인식정보 획득 모듈(34), 인식정보 삭제 모듈(45)을 포함할 수 있다.

제1 및 제2 얼굴정보 획득 모듈(22, 24)는 상기 촬영된 제1 및 제2 대상의 이미지로부터 제1 및 제2 대상에 대한 관심영역 크기 및 관심영역 좌표를 포함하는 제1 및 제2 얼굴정보를 각각 획득하기 위해 이용된다.

제1 및 제2 인식정보 획득 모듈(32, 34)는, 미리 저장된 개인정보를 비교하여 상기 제1 및 제2 대상의 이름 및 인식점수를 포함하는 제1 및 제2 인식정보를 각각 획득하기 위해 이용된다. 얼굴정보를 미리 저장된 데이터와 비교하여 대상의 이름 및 인식점수를 획득하는 구체적인 방법에 관한 설명은 전술한 바와 같으므로, 중복되는 설명은 생략한다.

인식정보 삭제 모듈(45)은, 상기 제1 대상의 이름 및 제2 대상의 결정된 이름을 비교하여, 서로 이름이 동일한 경우에는 상기 제1 대상의 인식점수 및 제2 대상의 인식점수를 비교하여, 더 낮은 인식점수를 갖는 대상의 인식정보를 삭제한다. 삭제된 대상에 대해서는 다시 얼굴 인식 프로세스가 반복되고 새로운 이름을 결정하도록 한다.

구체적인 실시예에서, 인식정보 삭제 모듈(45)은 누적 휴먼 정보를 업데이트하는 단계를 수행하는데, 제1 대상의 누적 휴먼 정보 및 제2 대상의 누적 휴먼 정보를 비교하여 동일한 이름이 존재한다면, 인식점수가 더 큰 휴먼정보는 유지하고 인식점수가 낮은 휴먼정보는 삭제할 수 있다. 예를 들어, 제1 대상 인식 결과 "철수(750점)"이고 제2 대상 인식 결과 "철수(700점)"라면, 제2 대상의 누적 휴먼 정보 중 "철수"와 관련된 휴먼정보를 삭제한다.

설명된 신원 관리 방법에 따르면, 복수의 대상의 신원을 동시에 확인하는 과정에 있어서 저가 카메라의 낮은 화질 등 기술적인 문제, 대상의 움직임이나 얼굴의 유사도로 의해 상이한 대상이 동일한 인물로 인식되는 문제를 방지함으로써 신뢰도를 향상시킬 수 있다.

이상에서는 실시예들을 참조하여 설명하였지만 본 발명은 이러한 실시예들 또는 도면에 의해 한정되는 것으로 해석되어서는 안 되며, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

1: 위치 추정 및 신원 관리 장치
2: 신원 관리 장치
10, 12: PTZ 카메라
20: 얼굴정보 획득 모듈
30: 깊이 측정 모듈
40: 위치 추정 모듈
41: 제1 서브 모듈
42: 제2 서브 모듈
43: 제3 서브 모듈
50: 휴먼정보 획득 모듈
60: 휴먼정보 갱신모듈
22: 제1 얼굴정보 획득 모듈
24: 제2 얼굴정보 획득 모듈
32: 제1 인식정보 획득 모듈
34: 제2 인식정보 획득 모듈
45: 인식정보 삭제 모듈
100: 제1 대상
200: 제2 대상

Claims (13)

1. 얼굴정보를 이용한 위치 추정 및 신원 관리 방법으로서,
   PTZ 카메라를 이용하여 대상의 이미지를 촬영하는 단계;
   상기 이미지로부터 관심영역 크기 및 관심영역 좌표를 포함하는 얼굴정보를 획득하는 단계;
   상기 관심영역 크기와 상기 PTZ 카메라의 줌(zoom) 값을 이용하여 상기 이미지의 깊이 값을 측정하는 단계; 및
   상기 관심영역 좌표 및 상기 깊이 값을 이용하여 대상의 위치를 추정하는 단계를 포함하는, 얼굴정보를 이용한 위치 추정 및 신원 관리 방법.
   
2. 제1항에 있어서,
   상기 관심영역 좌표 및 상기 깊이 값을 이용하여 대상의 위치를 추정하는 단계는,
   상기 PTZ 카메라의 줌(zoom) 값과 상기 이미지의 깊이 값을 이용하여, 상기 이미지 내 픽셀당 실제 거리를 계산하는 단계;
   상기 픽셀당 실제 거리 및 상기 관심영역 좌표를 이용하여 3차원 로컬 좌표를 계산하는 단계; 및
   상기 로컬 좌표 및 상기 PTZ 카메라의 팬(pan) 값, 틸트(tilt) 값을 이용하여 3차원 글로벌 좌표를 계산하는 단계를 포함하는 것을 특징으로 하는, 얼굴정보를 이용한 위치 추정 및 신원 관리 방법.
   
3. 제1항에 있어서,
   상기 얼굴정보와 미리 저장된 개인정보를 비교하여 상기 대상의 현재 이름, 현재 인식점수, 상기 추정된 위치와 연관된 현재 위치정보를 포함하는 현재 휴먼정보를 획득하는 단계;
   상기 대상의 이전 이름, 이전 인식점수, 이전 위치정보를 포함하는 누적 휴먼정보를 불러오는 단계;
   상기 대상의 현재 위치와 이전 위치 간의 거리가 임계 값 이하이고, 상기 대상의 현재 인식점수가 이전 인식점수보다 높은 경우, 상기 현재 휴먼정보를 누적 휴먼정보에 갱신하는 단계; 및
   상기 갱신된 누적 휴먼정보를 저장하는 단계를 더 포함하되,
   상기 대상의 현재 위치와 이전 위치 간의 거리가 임계 값을 초과하거나, 상기 대상의 현재 인식점수가 이전 인식점수보다 낮은 경우에는, 상기 누적 휴먼정보를 그대로 유지하는 것을 특징으로 하는, 얼굴정보를 이용한 위치 추정 및 신원 관리 방법.
   
   
4. 제3항에 있어서,
   상기 PTZ 카메라를 이용하여 대상의 이미지를 촬영하는 단계는,
   미리 설정된 시간 동안 복수의 이미지를 촬영하는 단계를 포함하고,
   상기 현재 휴먼정보를 획득하는 단계는,
   상기 복수의 이미지 각각에 대하여 현재 인식점수를 획득하는 단계;
   상기 각각의 현재 인식점수에 기초하여 복수의 이미지 각각에 대하여 순차적으로 이름을 매칭하는 단계; 및
   매칭된 복수의 이름들 중 가장 빈도가 높은 이름을 상기 대상의 현재 이름으로 결정하는 단계를 포함하는 것을 특징으로 하는, 얼굴정보를 이용한 위치 추정 및 신원 관리 방법.
   
5. 제4항에 있어서,
   상기 순차적으로 이름을 매칭하는 단계는,
   소정의 횟수만큼 연속적으로 동일한 이름이 매칭되는 경우, 상기 동일한 이름을 상기 대상의 현재 이름으로 결정하는 단계를 포함하는 것을 특징으로 하는, 얼굴정보를 이용한 위치 추정 및 신원 관리 방법.
   
   
6. 얼굴정보를 이용한 위치 추정 및 신원 관리 방법으로서,
   PTZ 카메라를 이용하여 제1 대상 및 제2 대상의 이미지를 촬영하는 단계;
   상기 제1 대상의 이미지로부터 제1 대상에 대한 관심영역 크기 및 관심영역 좌표를 포함하는 제1 얼굴정보를 획득하는 단계;
   상기 제2 대상의 이미지로부터 제2 대상에 대한 관심영역 크기 및 관심영역 좌표를 포함하는 제2 얼굴정보를 획득하는 단계;
   상기 제1 얼굴정보와 미리 저장된 개인정보를 비교하여 상기 제1 대상의 이름 및 인식점수를 포함하는 제1 인식정보를 획득하는 단계;
   상기 제2 얼굴정보와 미리 저장된 개인정보를 비교하여 상기 제2 대상의 이름 및 인식점수를 포함하는 제2 인식정보를 획득하는 단계; 및
   상기 제1 대상의 이름 및 제2 대상의 이름이 동일한 경우, 상기 제1 대상의 인식점수 및 제2 대상의 인식점수를 비교하여, 더 낮은 인식점수를 갖는 대상의 인식정보를 삭제하는 단계를 포함하는, 얼굴정보를 이용한 위치 추정 및 신원 관리 방법.
   
7. 제1항 내지 제6항 중 어느 한 항에 따른 얼굴정보를 이용한 위치 추정 및 신원 관리 방법을 실현하기 위한, 컴퓨터 프로그램.
   
8. 얼굴정보를 이용한 위치 추정 및 신원 관리 장치로서,
   대상의 이미지를 촬영하기 위한 PTZ 카메라;
   상기 이미지로부터 관심영역 크기 및 관심영역 좌표를 포함하는 얼굴정보를 획득하기 위한 얼굴정보 획득 모듈;
   상기 관심영역 크기와 상기 PTZ 카메라의 줌(zoom) 값을 이용하여 상기 이미지의 깊이 값을 측정하기 위한 깊이 측정 모듈; 및
   상기 관심영역 좌표 및 상기 깊이 값을 이용하여 대상의 위치를 추정하기 위한 위치 추정 모듈을 포함하는, 얼굴정보를 이용한 위치 추정 및 신원 관리 장치.
   
9. 제8항에 있어서,
   상기 위치 추정 모듈은,
   상기 PTZ 카메라의 줌(zoom) 값과 상기 이미지의 깊이 값을 이용하여, 상기 이미지 내 픽셀당 실제 거리를 계산하기 위한 제1 서브 모듈;
   상기 픽셀당 실제 거리 및 상기 관심영역 좌표를 이용하여 3차원 로컬 좌표를 계산하기 위한 제2 서브 모듈; 및
   상기 로컬 좌표 및 상기 PTZ 카메라의 팬(pan) 값, 틸트(tilt) 값을 이용하여 3차원 글로벌 좌표를 계산하기 위한 제3 서브 모듈을 포함하는 것을 특징으로 하는, 얼굴정보를 이용한 위치 추정 및 신원 관리 장치.
   
10. 제8항에 있어서,
    상기 얼굴정보와 미리 저장된 개인정보를 비교하여 상기 대상의 현재 이름, 현재 인식점수, 상기 추정된 위치와 연관된 현재 위치정보를 포함하는 현재 휴먼정보를 획득하기 위한 휴먼정보 획득 모듈;
    상기 현재 휴먼정보를 누적 휴먼정보와 비교하고 갱신하기 위한 휴먼정보 갱신 모듈을 더 포함하되,
    상기 누적 휴먼정보는, 상기 대상의 이전 이름, 이전 인식점수, 이전 위치정보를 포함하고,
    상기 휴먼정보 갱신 모듈은, 상기 대상의 현재 위치와 이전 위치 간의 거리가 임계 값 이하이고, 상기 대상의 현재 인식점수가 이전 인식점수보다 높은 경우, 상기 현재 휴먼정보를 누적 휴먼정보에 갱신하되,
    상기 대상의 현재 위치와 이전 위치 간의 거리가 임계 값 이상이거나, 상기 대상의 현재 인식점수가 이전 인식점수보다 낮은 경우, 상기 누적 휴먼정보를 유지하는 것을 특징으로 하는, 얼굴정보를 이용한 위치 추정 및 신원 관리 장치.
    
11. 제10항에 있어서,
    상기 PTZ 카메라는, 미리 설정된 시간 동안 복수의 이미지를 촬영하고,
    상기 현재 휴먼정보 획득 모듈은, 상기 복수의 이미지 각각에 대하여 현재 인식점수를 획득하고,
    상기 각각의 현재 인식점수에 기초하여 복수의 이미지 각각에 대하여 순차적으로 이름을 매칭하되,
    매칭된 복수의 이름들 중 가장 빈도가 높은 이름을 상기 대상의 현재 이름으로 결정하는 것을 특징으로 하는, 얼굴정보를 이용한 위치 추정 및 신원 관리 장치.
    
12. 제11항에 있어서,
    상기 휴먼정보 획득 모듈은, 순차적으로 이름을 매칭할 때 소정의 횟수만큼 연속적으로 동일한 이름이 매칭되는 경우, 상기 동일한 이름을 상기 대상의 현재 이름으로 결정하는 것을 특징으로 하는, 얼굴정보를 이용한 위치 추정 및 신원 관리 장치.
    
13. 얼굴정보를 이용한 위치 추정 및 신원 관리 장치로서,
    제1 대상 및 제2 대상의 이미지를 촬영하기 위한 PTZ 카메라;
    상기 제1 대상의 이미지로부터 제1 대상에 대한 관심영역 크기 및 관심영역 좌표를 포함하는 제1 얼굴정보를 획득하기 위한 제1 얼굴정보 획득 모듈;
    상기 제2 대상의 이미지로부터 제2 대상에 대한 관심영역 크기 및 관심영역 좌표를 포함하는 제2 얼굴정보를 획득하기 위한 제2 얼굴정보 획득 모듈;
    상기 제1 얼굴정보와 미리 저장된 개인정보를 비교하여 상기 제1 대상의 이름 및 인식점수를 포함하는 제1 인식정보를 획득하기 위한 제1 인식정보 획득 모듈;
    상기 제2 얼굴정보와 미리 저장된 개인정보를 비교하여 상기 제2 대상의 이름 및 인식점수를 포함하는 제2 인식정보를 획득하기 위한 제2 인식정보 획득 모듈; 및
    상기 제1 대상의 이름 및 제2 대상의 이름이 동일한 경우, 상기 제1 대상의 인식점수 및 제2 대상의 인식점수를 비교하여, 더 낮은 인식점수를 갖는 대상의 인식정보를 삭제하기 위한 인식정보 삭제모듈을 포함하는, 얼굴정보를 이용한 위치 추정 및 신원 관리 장치.

Images