KR20060090554A

KR20060090554A - 감시 장치 및 감시 시스템

Info

Publication number: KR20060090554A
Application number: KR1020050071503A
Authority: KR
Inventors: 야스히데 모리
Original assignee: 가부시키가이샤 히타치세이사쿠쇼
Priority date: 2005-02-09
Filing date: 2005-08-04
Publication date: 2006-08-14
Also published as: CN1819652A; JP2006221355A

Abstract

인물의 정면 얼굴 이외의 화상이더라도 인증할 수 있고, 또한 고정밀도로 인증할 수 있다. 촬영된 화상이 카메라로부터 입력되어, 각종 정보를 기억하는 기억부로부터 정보를 취득하는 감시 장치에서, 상기 기억부는, 상기 감시 장치에 과거에 입력된 화상에 관한 정보를 포함하는 과거 정보와, 상기 카메라의 위치 정보를 포함하는 지리 정보를 기억하여, 상기 입력된 화상으로부터 얼굴 화상을 추출하고, 상기 과거 정보에 기초하여, 상기 추출한 얼굴 화상에 대응하는 인물을 추정하여, 상기 지리 정보에 기초하여, 상기 추정한 인물 중에서, 상기 추출한 얼굴 화상에 대응하는 인물을 결정하는 것을 특징으로 한다.

얼굴 화상, 카메라, 위치 정보, 과거 정보

Description

감시 장치 및 감시 시스템{A SURVEILLANCE APPARATUS AND SURVEILLANCE SYSTEM}

도 1은 본 발명의 제1 실시예의 감시 시스템의 블록도.

도 2는 본 발명의 실시예의 인물 출현 데이터의 구성도.

도 3은 본 발명의 실시예의 지리적 데이터의 구성도.

도 4는 본 발명의 제1 실시예의 서버의 화상 처리의 플로우차트.

도 5는 본 발명의 제2 실시예의 감시 시스템의 구성의 블록도.

도 6은 본 발명의 제2 실시예의 서버의 인류 추적 처리의 설명도.

도 7은 본 발명의 제2 실시예의 서버의 화상 처리의 플로우차트.

도 8은 본 발명의 제3 실시예의 감시 시스템의 구성의 블록도.

도 9는 본 발명의 제3 실시예의 조명 조건 데이터의 구성도.

도 10a는 본 발명의 제3 실시예의 조명의 영향의 설명도.

도 10b는 본 발명의 제3 실시예의 조명의 영향의 설명도.

도 11은 본 발명의 제3 실시예의 서버의 화상 처리의 플로우차트.

<도면의 주요 부분에 대한 부호의 설명>

101 : 카메라

102 : 서버

103 : 입퇴실 제어 장치

104 : 인물 검출·추적부

105 : 지리·시간 제한 산출부

106 : 얼굴 식별부

107 : 입퇴실 관리부

108 : 인물 출현 데이터

109 : 지리적 데이터

110 : 조명 조건 데이터

111 : 조명·기상 정보 추정부

112 : 네트워크

<특허 문헌1> 일본 특개2002-92601호 공보

<비특허 문헌1> 高木幹雄 편집, 「신편 화상 해석 핸드북」, 전면 개정판, 동경 대학 출판회, 2004년 9월 10일

본 발명은, 카메라에 의해 촬영된 화상을 감시하는 감시 시스템에 관한 것으로, 특히 지리적인 정보를 사용하여 화상에 비치고 있는 인물을 특정하는 기술에 관한 것이다.

최근, 얼굴 화상 식별에 의한 개인 인증이 확대되고 있다. 얼굴 화상 식별은, 얼굴 화상으로부터 인물을 식별하는 기술이다. 구체적으로 설명하면, 화상으로부터 인물의 얼굴 영역을 추출한다. 이어서, 그 추출한 얼굴 영역과 미리 등록된 얼굴 화상을 대조하여, 유사성을 판정한다. 그리고, 판정한 유사성으로부터, 인물을 특정한다.

얼굴 화상에 의한 개인 인증은, 심리적인 저항이 적다. 왜냐하면, 얼굴 화상에 의한 개인 인증은, 원격으로부터 촬영된 화상을 이용하여 비접촉으로 행하므로, 지문 인증 등과 같이 판독 기기에 대한 입력 동작이 필요없기 때문이다.

그러나, 얼굴 화상에 의한 개인 인증은, 조명의 변동, 화상에서의 얼굴 영역의 크기의 변동 및 얼굴의 방향의 변동 등에 약하다고 하는 문제가 있다.

따라서, 종래의 얼굴 화상에 의한 개인 인증 장치는, 인증에 적합한 화상을 취득함으로써, 인증한다. 예를 들면, 개인 인증 장치는, 카메라 앞의 적절한 위치에 서게 한 유저의 정면 얼굴을 촬영함으로써, 인증에 적합한 화상을 취득한다. 그러나, 이 개인 인증 장치는, 인증 시마다, 적절한 위치에 서게 한 유저를 촬영해야 한다.

따라서, 이 문제를 해결하는 감시 장치가 알려져 있다(예를 들면, 특허 문헌 1 참조). 이 감시 장치는, 복수 방향으로부터의 얼굴 화상을 미리 기억함으로써, 정면 얼굴 이외의 화상을 취득해도, 인증할 수 있다. 즉, 이 감시 장치는, 유저가 소정의 위치에 멈추어 서지 않아도, 인증할 수 있다.

또한, 인물 화상을 이용하는 기술로서, 인물 추적 처리가 알려져 있다(예를 들면, 비특허 문헌1 참조). 이 인물 추적 처리는, 감시 카메라 화상 중에서 얼굴 영역을 추출하고, 추출한 얼굴 영역으로부터 얼굴의 사이즈 및 얼굴의 방향을 구한다. 이어서, 구한 얼굴의 사이즈 및 얼굴의 방향으로부터, 인물의 이동 방향 및 인물의 이동 속도 등을 구한다. 그리고, 구한 인물의 이동 방법 및 인물의 이동 속도에 기초하여, 인물을 추적한다. 이 인물 추적 처리는, 감시 장치 및 마케팅 등에 응용되고 있다.

이 인물 추적 처리는, 여러 조건을 충족하면, 차분 등을 이용하는 통상의 화상 처리만으로 행할 수 있다. 여러 조건이란, 추적 대상의 인물이 화면 내에 항상 들어가 있는 것, 또한 광량이 임계값 이상인 것 등이다.

따라서, 종래의 인물 추적 처리는, 인물이 화면 내로부터 벗어나 그 후에 재입장하면, 추적을 계속할 수 없다. 즉, 이 인물 추적 처리는, 화면 내로부터 벗어난 인물과 재입장한 인물을 다른 인물로서 취급하는 문제가 있었다.

이 문제를 해결하기 위해, 복수의 카메라에 의해 추적하는 기술이 알려져 있다. 그러나, 이 기술도, 카메라와 카메라 사이에 사각(死角)이 있으면, 동일한 문제가 발생한다.

전술한 특허 문헌1에 기재된 감시 장치는, 인물의 정면 얼굴 이외의 화상으로부터라도 인증할 수 있다. 그러나, 이 감시 장치는, 화상의 유사성만으로 인물을 특정하므로, 인증의 정밀도가 문제된다.

따라서, 본 발명은, 인물의 정면 얼굴 이외의 화상이더라도 인증할 수 있고, 또한 고정밀도로 인증할 수 있는 감시 장치를 제공하는 것을 목적으로 한다.

본 발명은, 촬영된 화상이 카메라로부터 입력되어, 각종 정보를 기억하는 기억부로부터 정보를 취득하는 감시 장치에서, 상기 기억부는, 상기 감시 장치에 과거에 입력된 화상에 관한 정보를 포함하는 과거 정보와, 상기 카메라의 위치 정보를 포함하는 지리 정보를 기억하여, 상기 입력된 화상으로부터 얼굴 화상을 추출하고, 상기 과거 정보에 기초하여, 상기 추출한 얼굴 화상에 대응하는 인물을 추정하여, 상기 지리 정보에 기초하여, 상기 추정한 인물 중에서, 상기 추출한 얼굴 화상에 대응하는 인물을 결정하는 것을 특징으로 한다.

본 발명의 실시예를 도면을 참조하여 설명한다.

(제1 실시예)

도 1은, 본 발명의 제1 실시예의 감시 시스템의 블록도이다.

감시 시스템은, 빌딩 등의 시설을 감시한다. 또한 감시 시스템은, 카메라(101), 서버(102), 입퇴실 제어 장치(103), 인물 출현 데이터(108) 및 지리적 데이터(109)를 구비한다.

또한, 서버(102)는, 네트워크(112)를 통하여, 카메라(101) 및 입퇴실 제어 장치(103)와 접속되어 있다.

카메라(101)는, 복수 구비되고, 다른 장소에 각각 설치되어 있다. 카메라(101)는, 예를 들면 사람들의 이동으로 분기가 발생하는 지점에 설치된다. 또한, 카메라(101)는, 설치되어 있는 장소의 화상을 촬영하고, 촬영한 화상을 서버(102) 에 송신한다. 또한, 카메라(101)가 설치되어 있는 장소에는, 각각의 장소를 일의로 식별하는 에리어 번호가 부가되어 있다.

서버(102)는, CPU, 메모리 및 기억부를 구비하는 계산기이다. 기억부에는 각종 프로그램이 기억되어 있고, CPU가 이들 프로그램을 실행한다. 이것에 의해, 서버(102)는, 카메라(101)로부터 수신한 화상을 처리한다. 그리고, 그 처리의 결과에 따라 입퇴실 제어 장치(103)에 게이트(도시 생략)의 개폐를 지시한다. 또한, 게이트는, 본 실시예의 감시 시스템이 감시하는 시설에 설치되어 있다. 메모리는, 카메라(101)로부터 수신한 화상 등을 포함하는 각종 정보를 일시적으로 기억한다.

또한, 서버(102)는, 지리·시간 제한 산출부(105) 및 얼굴 식별부(106)를 포함한다. 얼굴 식별부(106)는, 카메라(101)로부터 수신한 화상으로부터 얼굴 영역을 추출하고, 추출한 얼굴 영역에 비치고 있는 인물(대응 인물)을 추정한다. 지리·시간 제한 산출부(105)는, 해당 화상이 촬영된 장소 및 시각에 기초하여, 얼굴 식별부(106)에 의해 추정된 인물 중에서 대응 인물을 특정한다.

또한, 서버(102)는, 인물 출현 데이터(108) 및 지리적 데이터(109)를 취득한다. 인물 출현 데이터(108) 및 지리적 데이터(109)는, 서버(102)의 내부에 기억되어 있어도 되고, 서버(102)의 외부의 기억 장치에 기억되어 있어도 된다.

인물 출현 데이터(108)는, 도 2에서 후술하겠지만, 카메라(101)에 의해 촬영된 화상에 관한 정보를 갖는다. 지리적 데이터(109)는, 도 3에서 후술하겠지만, 카메라(101)가 설치되어 있는 장소에 관한 정보를 갖는다.

입퇴실 제어 장치(103)는, 감시 시스템이 감시하는 시설의 게이트의 개폐를 제어한다.

도 2는, 본 발명의 실시예의 인물 출현 데이터(108)의 구성도이다.

인물 출현 데이터(108)는, 얼굴 화상 데이터 번호(1081), 화상 특징량(1082), 추정 인물명(1083), 신뢰도(1084), 에리어 번호(1085), 출현 일시(1086) 및 기타 속성(1087)을 포함한다.

얼굴 화상 데이터 번호(1081)는, 얼굴 화상 데이터를 일의로 식별하는 식별자이다. 얼굴 화상 데이터란, 카메라(101)에 의해 촬영된 화상으로부터, 얼굴의 영역을 추출한 화상이다.

화상 특징량(1082)은, 소정의 개수의 수치의 집합으로, 해당 얼굴 화상 데이터를 특징지은 값이다. 특징량(1082)은, 기지의 여러 방법에 의해 산출된다. 서버(102)는, 본 실시예에 적합한 방법을 이용하여, 얼굴 화상으로부터 특징량(1082)을 산출한다.

또한, 서버(102)는, 특징량(1082)에 기초하여, 비교하는 두개의 얼굴 화상 데이터의 유사도를 산출한다. 유사도는, 비교되는 두개의 얼굴 화상 데이터의 유사 정도이다. 즉, 유사도가 클수록, 비교되는 두개의 화상이 유사하다.

예를 들면, 서버(102)는, 화상 특징량(1082)을 벡터라고 생각하여, 유사도를 구하여도 된다. 이 경우, 서버(102)는, 비교하는 두개의 화상 데이터의 화상 특징량(1082) 사이의 거리를 산출한다. 그리고, 서버(102)는, 산출한 거리로부터 유사도를 구한다. 구체적으로 설명하면, 유사도는, 산출된 거리가 가까울수록, 큰 값으로 된다.

또한, 서버(102)는, 비교하는 두개의 화상 데이터의 화상 특징량(1082)으로부터 상관을 산출하고, 산출한 상관으로부터 유사도를 구하여도 된다.

추정 인물명(1083)은, 해당 얼굴 화상 데이터에 비치고 있는 인물(대응 인물)로 추정되는 인물의 이름이다. 추정 인물명(1083)은, 하나의 얼굴 화상 데이터 번호(1081)에 대하여, 복수의 레코드를 갖고 있어도 된다. 이 경우, 해당 화상의 대응 인물은, 추정 인물명(1083) 중 한사람이다.

신뢰도(1084)는, 해당 추정 인물이 대응 인물로 될 가능성이다.

에리어 번호(1085)는, 해당 얼굴 화상 데이터가 촬영된 장소를 일의로 식별하는 식별자이다. 출현 일시(1086)에는, 해당 얼굴 화상 데이터가 촬영된 날짜 및 시각이 저장된다.

그 밖의 속성(1087)에는, 해당 얼굴 화상 데이터에 관한 정보가 저장된다. 본 설명도에서는, 그 밖의 속성(1087)에는, 인물의 방향, 날씨 정보 및 조명 정보 등이 저장된다. 인물의 방향은, 해당 얼굴 화상 데이터에 비치고 있는 인물이 향하고 있는 방향으로, 예를 들면 카메라(101)의 정면 방향을 0도로 하는 각도로 나타낸다. 날씨 정보는, 해당 얼굴 화상 데이터가 촬영되었을 때의 날씨로, 예를 들면 「맑음」, 「구름」, 「비」 등의 정보가 저장된다. 조명 정보는, 해당 얼굴 화상 데이터가 촬영되었을 때의 조명의 상황으로, 예를 들면, 「순광」, 「역광」, 「오른쪽으로 비스듬한 광」, 「왼쪽으로 비스듬한 광」, 「옥내」 등의 정보가 저장된다.

또한, 인물 출현 데이터(108)에는, 이들 정보와 함께, 인물마다 개인 정보를 기억하고 있어도 된다. 개인 정보는, 해당 인물의 얼굴 화상 데이터 번호, 해당 인물에 관한 모든 화상 특징량의 평균값 및 해당 인물의 인증 정보 등이다.

도 3은, 본 발명의 실시예의 지리적 데이터(109)의 구성도이다.

지리적 데이터(109)는, 지리·시간 제한 산출부(105)가 대응 인물을 특정하는 처리에서 이용된다. 지리적 데이터(109)에는, 기점 에리어 번호(1091)의 장소로부터 행선지 에리어 번호(1092)의 장소에의 이동에 필요한 평균 시간이 저장되어 있다.

기점 에리어 번호(1091)는, 인물의 이동 전의 장소를 일의로 식별하는 식별자이다. 행선지 에리어 번호(1092)는, 인물의 이동 후의 장소를 일의로 식별하는 식별자이다.

예를 들면, 기점 에리어 번호(1091)가 「0001」의 장소로부터, 행선지 에리어 번호(1092)가 「0002」인 장소에의 평균 이동 시간은 「2초」이다.

또한, 각각의 박스에는, 평균 이동 시간이 복수 저장되어도 된다. 이 경우, 이동 방법이 복수 존재하는 것을 나타낸다. 이동 방법은, 예를 들면, 엘리베이터, 에스컬레이터 및 계단 등이다.

예를 들면, 기점 에리어 번호(1091)가 「0002」인 장소에서, 행선지 에리어 번호(1092)가 「0034」인 장소에의 평균 이동 시간은, 이동 방법에 따라 상이하다. 이 평균 이동 시간은, 엘리베이터를 이용하면 「10초」이고, 에스컬레이터를 이용하면 「125초」이고, 계단을 이용하면 「250초」이다.

또한, 기점 에리어 번호(1091)의 장소로부터 행선지 에리어 번호(1092)의 장 소에의 이동이, 카메라(101)가 설치된 그 밖의 장소를 경유하지 않으면 이동할 수 없는 경우, 해당하는 박스에는 「비인접」이 저장된다. 이 경우, 서버(102)는, 기점 에리어 번호(1091)의 장소로부터 행선지 에리어 번호(1092)의 장소에의 이동 경로를 검색한다. 그리고, 서버(102)는, 그 이동 경로 상의 평균 이동 시간을 전부 합산함으로써, 기점 에리어 번호(1091)의 장소로부터 행선지 에리어 번호(1092)의 장소에의 평균 이동 시간을 구한다.

도 4는, 본 발명의 제1 실시예의 서버(102)의 화상 처리의 플로우차트이다.

서버(102)는, 카메라(101)에 의해 촬영된 화상을 카메라(101)로부터 입력되면, 처리를 개시한다(201). 이 때, 서버(102)는, 해당 화상이 촬영된 장소의 에리어 번호 및 해당 화상이 촬영된 시각 등을 함께 입력하여도 된다.

우선, 입력된 화상으로부터 얼굴 영역의 화상(얼굴 화상)을 추출한다(202). 또한, 입력된 화상에 복수의 인물의 얼굴 영역이 존재하는 경우에는, 각각의 얼굴 화상을 추출한다. 그리고, 추출한 각각의 얼굴 화상에 대하여, 이하의 처리를 행한다.

이어서, 추출한 얼굴 화상으로부터 화상 특징량을 산출한다(203). 이어서, 인물 출현 데이터(108)의 화상 특징량(1082)을 상측 레코드로부터 순서대로 추출한다. 이어서, 스텝 203에서 산출한 화상 특징량 및 추출한 화상 특징량(1082)으로부터, 유사도를 산출한다(204). 즉, 유사도는, 인물 출현 데이터(108)의 모든 레코드에 대하여 산출된다.

이어서, 산출한 모든 유사도로부터 하나를, 값이 큰 것부터 순서대로 추출한 다. 이어서, 추출한 유사도에 대응하는 레코드를 인물 출현 데이터(108)로부터 선택한다(205).

이어서, 추출한 유사도가, 임계값 이상인지의 여부를 판정한다(206).

유사도가 임계값보다 작으면, 비교하는 두개의 얼굴 화상은 유사하지 않다고 판정한다. 따라서, 스텝 202에서 추출한 얼굴 화상에 비친 인물을 신규 인물로 결정하여(210), 처리를 종료한다. 또한, 신규 인물이란, 인물 출현 데이터(108)에 얼굴 화상 데이터가 저장되어 있지 않은 인물이다.

한편, 유사도가 임계값 이상이면, 비교하는 두개의 얼굴 화상은 유사하다고 판정하여, 스텝 205에서 선택한 레코드의 에리어 번호(1085)를 추출한다. 이어서, 추출한 에리어 번호(1085)와 지리적 데이터(109)의 기점 에리어 번호(1091)가 일치하고, 또한 스텝 201에서 입력된 에리어 번호와 지리적 데이터(109)의 행선지 에리어 번호(1092)가 일치한 박스에 저장된 평균 이동 시간을 지리적 데이터(109)로부터 추출한다(207).

이어서, 스텝 201에서 입력된 시각으로부터, 스텝 205에서 선택한 레코드의 출현 일시(1086)를 감산한다.

이어서, 감산한 값이, 추출한 평균 이동 시간을 중심으로 하는 범위(예를 들면, ±20% 이내)에 포함되는지의 여부를 판정한다. 이에 따라, 스텝 205에서 선택한 레코드에 대응하는 화상이 촬영된 장소로부터, 스텝 201에서 입력된 화상이 촬영된 장소로 인물이 자연스럽게 이동할 수 있는지를 판정한다(208).

자연스럽게 이동할 수 없다고 판정하면, 비교하는 두개의 화상에 비치고 있 는 인물은 다른 인물이라고 판정한다. 그리고, 스텝 205로 되돌아가, 유사도가 다음으로 높은 화상에 대하여 동일한 처리를 반복한다.

한편, 자연스럽게 이동할 수 있다고 판정하면, 스텝 205에서 선택한 레코드의 추정 인물명(1083)을 대응 인물로 결정하여(209), 처리를 종료한다. 또한, 추정 인물명(1083)에 복수의 인물명이 저장되어 있는 경우에는, 스텝 205에서 선택한 레코드의 신뢰도(1084)로부터, 가장 높은 것을 추출한다. 그리고, 추출한 신뢰도(1084)에 대응하는 추정 인물명(1083)을 대응 인물로 결정한다.

또한, 처리를 종료하기 전에, 스텝 203에서 추출한 얼굴 화상에 관한 정보를 인물 출현 데이터(109)에 등록하여도 된다.

구체적으로 설명하면, 우선, 인물 출현 데이터(108)에 새로운 레코드를 작성한다. 이어서, 중복되지 않은 얼굴 화상 데이터 번호를, 스텝 202에서 추출한 얼굴 화상에 부여한다. 부여한 얼굴 화상 데이터 번호를, 새로운 레코드의 얼굴 화상 데이터 번호(1081)에 저장한다. 이어서, 스텝 203에서 산출한 화상 특징량을, 새로운 레코드의 화상 특징량(1082)에 저장한다.

이어서, 결정한 대응 인물의 이름을, 새로운 레코드의 추정 인물명(1083)으로서 저장한다. 이어서, 스텝 204에서 산출한 유사도, 스텝 201에서 입력된 에리어 번호 및 촬영된 시각 등에 기초하여, 신뢰도를 산출한다. 그리고, 산출한 신뢰도를, 새로운 레코드의 신뢰도(1084)에 저장한다.

이어서, 스텝 201에서 입력된 에리어 번호를, 새로운 레코드의 에리어 번호(1085)에 저장한다. 이어서, 스텝 201에서 입력된 시각을, 새로운 레코드의 출현 시각(1086)에 저장한다. 또한, 카메라(101)로부터 그 밖의 정보(예를 들면, 촬영되었을 때의 날씨를 포함하는 조명 정보)가 입력되면, 입력된 그 밖의 정보를 새로운 레코드의 그 밖의 속성(1087)에 저장한다.

이상과 같이, 본 실시예에 따르면, 인물 출현 데이터(108)를 참조함으로써, 화상이 유사한 인물을 판정할 수 있다. 또한, 지리적 데이터(109)를 참조함으로써, 화상이 유사한 인물 중에서 대응 인물을 특정할 수 있다.

(제2 실시예)

제2 실시예에서는, 서버(102)가 인물을 추적함으로써, 제1 실시예의 화상 처리(도 4)를 경감시킨다.

도 5는, 본 발명의 제2 실시예의 감시 시스템의 구성의 블록도이다.

본 발명의 제2 실시예의 감시 시스템은, 서버(102)에 포함되는 구성을 제외하고, 제1 실시예의 감시 시스템(도 1)과 동일하다. 동일한 구성에는, 동일한 번호를 붙이고, 설명을 생략한다.

서버(102)에는, 제1 실시예의 서버(102)(도 1)에 포함되는 구성 외에 추가로, 인물 검출·추적부(104) 및 입퇴실 관리부(107)가 포함된다.

인물 검출·추적부(104)는, 얼굴 식별부(106)에 의해 추출된 얼굴 화상에 대하여 인류 추적 처리(도 6)를 행한다. 입퇴실 관리부(107)는, 입퇴실 제어 장치(103)에 게이트의 개폐를 지시한다.

도 6은, 본 발명의 제2 실시예의 서버(102)의 인류 추적 처리의 설명도이다.

본 설명도에서는, 보행하고 있는 인물(601)을 추적하는 처리에서 설명한다.

카메라(101A)는, 인물(601)을 연속하여 촬영하고, 촬영한 화상을 서버에 입력한다. 서버(102)는, 카메라(101A)로부터 입력된 화상으로부터 얼굴 화상을 추출한다. 서버(102)는, 추출한 얼굴 화상에 기초하여, 인물(601)의 이동 방향 및 인물(601)의 이동 속도를 산출한다.

서버(102)는, 카메라(101A)에 의해 촬영된 화상에서의 얼굴 화상의 위치가, 산출한 이동 방향 및 이동 속도에 모순되지 않는지를 판정한다. 예를 들면, 얼굴 화상의 위치의 이동 방향이, 산출한 이동 방향과 반대이면, 모순이라고 판정한다. 또한, 얼굴 화상의 위치의 이동 속도가, 산출한 이동 속도와 비교하여 빨리 지나가면, 모순이라고 판정한다.

얼굴 화상의 위치가 모순되지 않으면, 서버(102)는, 연속하여 촬영된 두개의 화상으로부터 추출한 얼굴 화상이 동일한 인물(601)이라고 판정한다. 그리고, 서버(102)는, 그 얼굴 화상을 인물(601)의 정보로서, 인물 출현 데이터(108)에 등록한다.

또한, 서버(102)는, 추출한 얼굴 화상이 불선명이면, 해당 얼굴 화상을 인물 출현 데이터(108)에 등록하지 않는다. 이와 같이, 서버(102)는, 선명한 얼굴 화상만을 인물 출현 데이터(108)에 등록하므로, 인물 출현 데이터(108)에는 인물의 특징이 명확하게 기억된다. 이상과 같이 하여, 서버(102)는, 인물(601)을 추적한다.

한편, 얼굴 화상의 위치가 모순되면, 서버(102)는, 연속하여 촬영된 두개의 화상으로부터 추출한 얼굴 화상이 다른 인물(602)의 것이라고 판정한다.

또한, 서버(102)는, 다른 카메라(101B)에 의해 촬영된 화상으로부터 추출한 얼굴 화상도 다른 인물(603)의 것이라고 판정한다.

서버(102)는, 얼굴 화상이 다른 인물(602, 603)의 것이라고 판정하면, 제1 실시예의 화상 처리(도 4)를 사용하여, 해당 얼굴 화상의 대응 인물을 결정한다.

도 7은, 본 발명의 제2 실시예의 서버(102)의 화상 처리의 플로우차트이다.

서버(102)는, 카메라(101)에 의해 촬영된 화상을 카메라(101)로부터 입력되면, 처리를 개시한다(301). 이 때, 서버(102)는, 해당 화상이 촬영된 장소의 에리어 번호 및 해당 화상이 촬영된 시각 등을 함께 입력하여도 된다.

우선, 입력된 화상으로부터 얼굴 영역의 화상(얼굴 화상)을 추출한다(302). 이어서, 추출한 얼굴 화상의 사이즈를 구한다.

또한, 추출한 얼굴 화상에 비친 얼굴의 방향을 추정한다. 예를 들면, 복수의 각도로부터 촬영한 얼굴 화상의 화상 특징량을 저장하는 인물 출현 데이터(108)에 기초하여, 얼굴의 방향을 추정한다. 이 경우, 인물 출현 데이터(108)에 저장된 화상 특징량 및 스텝 302에서 추출한 얼굴 화상의 화상 특징량으로부터, 유사도를 산출한다. 이어서, 산출한 유사도가 가장 커진 화상 특징량(인물 출현 데이터에 저장된 것)을 특정한다. 그리고, 특정한 화상 특징량의 화상이 촬영된 각도를, 해당 얼굴 화상에 비친 얼굴의 방향으로 추정한다.

이어서, 구한 얼굴 화상의 사이즈 및 추정한 얼굴의 방향에 기초하여, 인류(人流) 추적 상황을 산출한다. 인류 추적 상황은, 해당 얼굴 화상에 비친 인물의 이동 방향 및 인물의 이동 속도 등을 포함한다. 인류 추적 상황은, 예를 들면, 기존의 화상 처리(예를 들면, 비특허 문헌 1 참조)를 이용하여, 산출할 수 있다.

이어서, 카메라(101)로부터 입력된 화상에서의 얼굴 영역의 위치로부터, 해당 카메라(101)로부터 직전에 입력된 화상에서의 얼굴 영역의 위치에의 변화 방향 및 변화량을 구한다. 그리고, 구한 변화 방향, 변화량 및 인류 추적 상황을 참조하여(303), 해당 얼굴 화상이 추적 중인 화상인지의 여부를 판정한다(304). 구체적으로 설명하면, 구한 변화 방향이 인류 추적 상황에 포함되는 이동 방향과 일치하고, 또한 구한 변화량이 인류 추적 상황에 포함되는 이동 속도와 모순되지 않는 경우에, 추적 중인 화상이라고 판정한다.

해당 얼굴 화상이 추적 중인 화상이 아니면, 인물 결정 처리를 행하여(307), 스텝 308로 진행한다. 인물 결정 처리(307)는, 제1 실시예의 화상 처리(도 4)의 스텝 203∼210과 동일하며, 설명은 생략한다.

한편, 얼굴 화상이 추적 중인 화상이면, 해당 얼굴 화상을 촬영한 카메라(101)로부터 직전에 입력된 화상의 대응 인물을, 해당 얼굴 화상의 대응 인물로 결정한다(305).

구체적으로 설명하면, 스텝 201에서 입력된 화상이 촬영된 카메라(101)로부터 직전에 입력된 화상의 얼굴 화상 데이터 번호를 검색한다. 이어서, 검색한 얼굴 화상 데이터 번호와 인물 출현 데이터(108)의 얼굴 화상 데이터 번호(1081)가 일치하는 레코드를 특정한다. 이어서, 특정한 레코드로부터, 가장 높은 신뢰도(1084)를 선택한다. 이어서, 선택한 신뢰도(1084)에 대응하는 추정 인물명(1083)을, 해당 얼굴 화상의 대응 인물로 결정한다.

이어서, 스텝 303에서 구한 인물의 변화 방향, 인물의 변화량 및 인류 추적 상황 등에 기초하여, 결정한 인물의 신뢰도를 산출한다.

이어서, 스텝 302에서 추출한 얼굴 화상으로부터 화상 특징량을 산출한다(306). 이어서, 인물 출현 데이터(108)에 인물의 개인 정보가 포함되는 경우에는, 산출한 화상 특징량에 기초하여, 해당 개인 정보의 화상 특징량의 평균값을 수정한다.

이어서, 해당 얼굴 화상에 관한 정보를, 인물 출현 데이터(108)에 저장한다(308).

구체적으로 설명하면, 우선, 인물 출현 데이터(108)에 새로운 레코드를 작성한다. 이어서, 추출한 얼굴 화상에, 중복되지 않은 얼굴 화상 데이터 번호를 부여한다. 부여한 얼굴 화상 데이터 번호를, 새로운 레코드의 얼굴 화상 데이터 번호(1081)에 저장한다.

이어서, 스텝 306에서 산출한 화상 특징량을 새로운 레코드의 화상 특징량(1082)에 저장한다. 이어서, 결정한 인물명을 새로운 레코드의 추정 인물명(1083)에 저장한다.

이어서, 스텝 305에서 산출한 신뢰도를 새로운 레코드의 신뢰도(1084)에 저장한다. 이어서, 스텝 301에서 입력된 에리어 번호를 새로운 레코드의 에리어 번호(1085)에 저장한다.

이어서, 스텝 201에서 입력된 시각을, 새로운 레코드의 출현 일시(1086)에 저장한다. 또한, 카메라(101)로부터 그 밖의 정보(예를 들면, 촬영되었을 때의 날씨를 포함하는 조명 정보)가 입력되면, 입력된 그 밖의 정보를, 새로운 레코드의 그 밖의 속성(1087)에 저장한다.

이어서, 해당 화상을 입력한 카메라(101)가 게이트 앞에 설치되어 있는 카메라(101)인지를 판정한다(309). 구체적으로 설명하면, 스텝 301에서 입력된 에리어 번호가, 게이트 앞의 에리어 번호인지를 판정한다.

게이트 앞에 설치되어 있지 않은 카메라(101)이면, 인증할 필요가 없으므로 처리를 종료한다.

한편, 게이트 앞에 설치되어 있는 카메라(101)이면, 스텝 305 또는 스텝 307에서 결정한 대응 인물이 출입을 허가받았는지를 판정한다(310). 구체적으로 설명하면, 인물 출현 데이터(108)에 저장되어 있는 인증 정보를 참조함으로써, 대응 인물이 출입을 허가받았는지를 판정한다.

출입을 허가받았으면, 스텝 305에서 산출한 신뢰도가 임계값 이상인지의 여부를 판정한다(311).

신뢰도가 임계값 이상이면, 해당 화상에 비치고 있는 인물이 출입을 허가받은 인물이라고 판정하여, 게이트의 개정을 입퇴실 제어 장치(103)에 지시한다(312). 그리고, 처리를 종료한다. 입퇴실 제어 장치(103)는, 게이트를 개정한다.

한편, 스텝 310에서 인물이 출입을 허가받지 않았다고 판정하거나, 또는 스텝 311에서 신뢰도가 임계값보다 작다고 판정하면, 해당 화상을 관리자에게 송신한다(313). 그리고, 처리를 종료한다. 관리자는, 수신한 화상을 참조함으로써, 해당 시설의 시큐러티를 유지할 수 있다.

이어서, 본 실시예의 감시 시스템을, 빌딩 등의 시설 내에서의 시큐러티 확 보에 이용하는 경우에 대해 설명한다.

이 시설은, 시설의 게이트 및 시설 내의 각각의 오피스의 게이트에서 인증함으로써, 시큐러티를 유지하고 있다.

카메라(101)는, 통상의 감시 카메라를 이용한다. 또한, 카메라(101)는, 사람들의 이동이 분기하는 장소에 주로 설치된다. 사람들의 이동이 분기하는 장소는, 예를 들면, 엘리베이터의 출입구, 계단 등이다. 또한, 카메라(101)는, 시계가 미치는 범위마다 설치한다.

이어서, 시설에의 출입이 허가된 인물(등록자)에 대한 감시 시스템의 처리에 대하여 설명한다. 또한, 등록자는, 정규적이면서 빈번하게 해당 시설에 출입하는 인물로, 예를 들면 해당 시설에 근무하는 인물 등이다. 등록자가 해당 시설의 게이트로부터 목적 오피스를 향하는 경우로 설명한다.

감시 시스템은, 등록자의 얼굴 화상 및 시설에의 출입 허가 정보를 인물 출현 데이터(108)에 미리 등록한다. 또한, 등록자의 정면의 얼굴 화상뿐만 아니라, 복수 방향으로부터 촬영된 얼굴 화상을 등록한다. 예를 들면, 정면, 오른쪽으로 45도, 오른쪽으로 90도, 왼쪽으로 45도 및 왼쪽으로 90도의 5가지의 수평 방향과, 정면, 아래로 10도 및 아래로 45도의 3가지 수직 방향과의 조합으로 이루어지는 15매의 얼굴 화상을 등록한다.

우선, 등록자가 시설의 게이트에 접근하면, 시설의 게이트에 설치된 카메라(101)가 등록자를 촬영한다. 그러면, 서버(102)는, 시설의 게이트에 설치된 카메라(101)로부터 입력된 화상에 비친 인물을 특정한다. 이 경우, 화상에 비친 인물 이 등록자라고 특정한다. 그러면, 서버(102)는, 시설의 게이트의 개정을 지시한다.

또한, 해당 감시 시스템은, 고도의 안전성이 필요한 경우에는, 그 밖의 인증 수단을 함께 이용해도 된다. 그 밖의 인증 수단은, 예를 들면, 비밀 번호의 입력, ID 카드 또는 바이오 메트릭스 등이다.

이 때, 서버(102)는, 해당 화상으로부터 얼굴 화상을 추출하고, 추출한 얼굴 화상을 등록자의 정보로서, 인물 출현 데이터(108)에 등록한다.

시설의 게이트가 개방하면, 등록자는 목적 오피스를 향하여 이동한다. 등록자의 이동 경로 상에 있는 카메라(101)는, 등록자를 촬영하고, 촬영한 화상을 서버(102)에 입력한다. 서버(102)는, 입력된 화상으로부터 얼굴 화상을 추출한다. 이어서, 서버(102)는, 추출한 얼굴 화상을 추적한다. 이것에 의해, 서버(102)는, 등록자와 다른 인물의 혼입을 방지하고, 또한 처리를 경감할 수 있다.

서버(102)는, 추적할 수 없던 경우에는, 추출한 얼굴 화상의 대응 인물을 결정한다. 예를 들면, 등록자가, 게이트에 설치된 카메라(101)의 시계로부터 벗어나, 1층의 엘리베이터 홀에 설치된 카메라(101)의 시계에 들어간 경우이다. 이 경우, 서버(102)는, 인물 출현 데이터(108)의 화상 특징량(1082)에 기초하여, 화상이 유사한 인물을 특정한다. 이어서, 서버(102)는, 추출한 얼굴 화상으로부터, 해당 얼굴 화상에 비친 인물의 이동 방향 및 이동 속도를 산출한다. 이어서, 서버(102)는, 산출한 이동 방향, 이동 속도를 참조하여, 추출한 얼굴 화상에 비친 대응 인물을, 화상이 유사한 인물 중에서 결정한다. 구체적으로 설명하면, 서버(102)는, 게 이트에 설치된 카메라(101)와 엘리베이터 홀에 설치된 카메라(101)와의 거리 및 등록자의 이동 시간이, 산출한 이동 방향 및 이동 속도에 모순되지 않는지를 판정함으로써, 대응 인물을 결정한다. 또한, 서버(102)는, 인물 출현 데이터(108)의 출현 일시(1086) 및 그 밖의 속성(1087)을 함께 참조하여, 대응 인물을 결정하여도 된다. 이것에 의해, 결정한 대응 인물의 신뢰성을 향상시킬 수 있다.

또한, 서버(102)는, 추출한 얼굴 화상이 선명하면, 해당 얼굴 화상을 등록자의 정보로서, 인물 출현 데이터(108)에 등록한다.

이어서, 등록자는, 1층의 엘리베이터 홀로부터 6층의 엘리베이터 홀로 이동하고, 그 후, 6층의 목적 오피스로 이동한다.

서버(102)는, 목적 오피스 앞에 설치된 카메라(101)로부터 입력된 화상에 비친 인물의 이름을 판정한다. 여기서는, 서버(102)는, 화상에 비친 인물이 등록자라고 결정한다. 그러면, 서버(102)는, 목적 오피스의 게이트 앞에 등록자가 도달한다고 판단한 시점에, 목적 오피스의 게이트를 개정한다.

이상과 같이, 본 실시예의 감시 시스템은, 등록자에게 의식적인 인증 동작을 행하게 하지 않고, 게이트를 개정할 수 있다. 또한, 본 실시예의 감시 시스템은, 등록자가 빈번하게 나타날수록, 얼굴 화상이 다수 축적된다. 그러면, 이 감시 시스템은, 인증의 정밀도를 높일 수 있으므로, 안전성 및 편리성이 증가한다.

이어서, 처음 내방하는 인물(내방자)에 대한 감시 시스템의 처리를 설명한다. 내방자가 해당 시설의 게이트로부터 목적 오피스를 향하는 경우로 설명한다.

우선, 내방자는, 시설의 게이트에서, 관리자에게 연락한다. 관리자는, 내방 자의 입장을 허가하면, 시설의 게이트를 개정한다. 또한, 관리자는, 서버(102)에 목적 오피스의 에리어 번호를 입력한다. 이 때, 시설의 게이트에 설치된 카메라(101)는, 내방자를 촬영하여, 그 화상을 서버(102)에 입력한다. 서버(102)는, 그 입력된 화상으로부터 얼굴 화상을 추출한다. 그리고, 추출한 얼굴 화상을, 관리자로부터 입력된 에리어 번호와 함께 인물 출현 데이터(108)에 저장한다.

이어서, 내방자는 목적 오피스를 향하여 이동한다. 그 때, 서버(102)는, 전술한 등록자에 대한 처리와 마찬가지의 처리를 행한다. 따라서, 내방자가 경로를 실수없이 목적 오피스까지 도착하면, 서버(102)는, 목적 오피스의 게이트를 개정한다. 이 경우, 내방자에 대해서도, 의식적인 인증 동작을 행하게 하지 않고도 개정할 수 있다.

만약, 내방자가 경로를 잘못 들어가면, 서버(102)는, 경로의 이탈을 검지하여, 관리자에게 통지한다. 또한, 서버(102)는, 통신 수단을 이용하여, 내방자에게 경로의 오류를 통지하여도 된다. 이것에 의해서, 서버(102)는, 내방자가 경로로부터 벗어나는 것을 방지할 수 있다.

이어서, 자기 오피스로부터 시설 내의 다른 장소에 이동하는 등록자에 대한 감시 시스템의 처리를 설명한다. 예를 들면, 등록자가, 자기의 오피스로부터 리프레시를 위한 공용 코너에 이동하는 경우 등이다. 종래의 감시 시스템에서는, 오피스를 출입할 때마다, 인증 동작을 행할 필요가 있었다. 그 때문에, 종래의 감시 시스템은, 편리성을 손상시키고 있었다.

등록자가 오피스로부터 퇴실하면, 오피스의 게이트에 설치된 카메라(101)가 등록자를 촬영하고, 촬영한 화상을 서버(102)에 입력한다. 서버(102)는, 입력된 화상으로부터 얼굴 화상을 추출하고, 추출한 얼굴 화상을 인물 출현 데이터(108)에 저장한다. 서버(102)는, 오피스의 게이트 앞에 설치된 카메라(101)로부터, 인물 출현 데이터(108)에 저장한 얼굴 화상과 유사한 얼굴 화상이 소정의 시간 내에 입력되면, 게이트의 개정을 지시한다. 이것에 의해, 등록자는, 오피스를 출입할 때마다, 인증 동작을 할 필요가 없어진다.

이어서, 진입 금지 영역이 설정된 등록자가 그 진입 금지 영역에 진입한 경우의 처리를 설명한다.

서버(102)는, 진입 금지 영역에 설치된 카메라(101)로부터 입력된 화상의 대응 인물이 해당 등록자라고 결정하면, 진입 금지 영역에의 침입이라고 판정한다. 서버(102)는, 진입 금지 영역에의 침입을 판정하면, 관리자에게 통지한다. 또한, 서버(102)는, 통신 수단을 이용하여, 등록자에게 진입 금지를 통지하여도 된다. 또한, 서버(102)는, 인물 출현 데이터(108)를 참조함으로써, 해당 등록자의 진입 금지 영역에의 침입의 빈도를 판정하여도 된다. 진입의 빈도가 높은 경우에는, 서버(102)는, 해당 등록자를 요주의 인물로서 관리자에게 통지한다. 또한, 해당 등록자는 인물 출현 데이터(108)에 저장되는 얼굴 화상의 매수가 증가하므로, 서버(102)는 해당 등록자에 대한 판정의 정밀도가 향상된다.

이상의 모든 처리에 의해, 본 실시예의 감시 시스템은, 모든 인물에 대하여 인증 동작을 의식적으로 시키지 않아도, 시설을 감시할 수 있다.

이어서, 본 실시의 감시 시스템을 주택지에서의 내방자 통지 서비스에 적용 하는 경우에 대하여 설명한다.

최근, 안전성의 관점면에서, 블록의 입구에 게이트를 설치하여, 손님을 제한하는 구조의 블록이 증가하고 있다. 이러한 블록은, 거리의 입구에 게이트가 있어, 각 주택에도 게이트가 있다. 따라서, 옥내와 옥외의 차이를 제외하면, 감시 시스템은, 전술한 시설 내의 시큐러티 확보에 적용한 경우와 마찬가지의 처리를 행한다.

또한, 감시 시스템은, 블록의 입구 부근에서 촬영한 화상의 대응 인물명을, 내방처에 통지하여도 된다. 또한, 이 감시 시스템은, 블록의 입구 부근에서 촬영한 화상을, 내방처에 송신하여도 된다. 또한, 내방자가 경로를 잘못 들어가면, 감시 시스템은, 경로 이탈을 내방처에 통지하여도 된다.

이상과 같이, 내방자 통지 서비스에 적용한 감시 시스템은, 블록의 시큐러티를 확보할 수 있다.

(제3 실시예)

제3 실시예에서는, 조명의 상황에 따라, 화상을 보정한다.

도 8은, 본 발명의 제3 실시예의 감시 시스템의 구성의 블록도이다.

제3 실시예의 감시 시스템은, 조명 조건 데이터(110)를 구비하는 점 및 서버(102)에 포함되는 구성을 제외하고, 제1 실시예의 감시 시스템(도 1)과 동일하다. 동일한 구성에는, 동일한 번호를 붙이고, 설명을 생략한다.

조명 조건 데이터(110)는, 도 9에서 후술하겠지만, 카메라(101)가 설치된 장소에서의 조명의 상황을 나타낸다. 조명에는, 태양으로부터의 외광과, 실내의 조 명등 등으로부터의 내광을 포함한다.

서버(102)에는, 제1 실시예의 서버(102)(도 1)에 포함되는 구성 외에 추가로, 조명·기상 상황 추정부(111)가 포함된다.

조명·기상 상황 추정부(111)는, 조명 조건 데이터(110)에 기초하여, 얼굴 식별부(106)에 의해 추출된 얼굴 화상을 보정한다.

도 9는, 본 발명의 제3 실시예의 조명 조건 데이터(110)의 구성도이다.

조명 조건 데이터(110)는, 에리어 번호(1101), 촬영 상황(1102), 해당 얼굴 화상 데이터 번호(1103), 조명 모드(1104), 특징량 보정 계수(1105) 및 앞처리 내용(1106)을 포함한다.

에리어 번호(1101)는, 카메라(101)가 설치된 장소를 일의로 식별하는 식별자이다. 촬영 상황(1102)은, 해당 에리어에 설치된 카메라(101)에 의해 화상이 촬영되었을 때의 상황이다. 본 설명도에서는, 촬영 상황(1102)에는, 해당 화상에 비치고 있는 인물의 방향, 해당 화상이 촬영된 시간대 및 해당 화상이 촬영되었을 때의 날씨 등이 저장된다.

해당 얼굴 화상 데이터 번호(1103)는, 해당 촬영 상황에서 촬영된 화상을 일의로 식별하는 식별자이다. 해당 얼굴 화상 데이터 번호(1103)에는, 해당하는 화상이 복수개 있는 경우에는, 복수의 식별자가 저장된다.

조명 모드(1104)는, 해당 촬영 상황 하에서 촬영된 화상이 영향을 받는 외광의 상황이다. 본 설명도에서는, 조명 모드(1104)에는, 외광의 종류 및 외광의 강도가 저장된다. 외광의 종류는, 예를 들면, 「순광」, 「역광」, 「오른쪽으로 비 스듬한 광」, 「왼쪽으로 비스듬한 광」 또는 「실내」 등이다. 또한, 외광의 종류가 「실내」인 경우, 해당 화상은, 외광의 영향을 받지 않는 것을 나타낸다. 또한, 외광의 강도는, 예를 들면, 「강」, 「중」 또는 「약」 등이다.

특징량 보정 계수(1105)는, 해당 촬영 상황에서 촬영된 화상의 화상 특징량을 보정하는 계수이다. 서버(102)는, 특징량 보정 계수(1105)를 사용하여 화상 특징량을 보정함으로써, 외광의 영향을 제거한다. 특징량 보정 계수(1105)는, 복수의 카메라(101)에 의해 촬영된 얼굴 화상의 휘도 분포 및 색 분포가 동일하게 되도록, 미리 결정되어 있다.

예를 들면, 날씨가 맑음이고 시간대가 대낮이면, 특징량 보정 계수(1105)는 커진다. 반대로, 날씨가 구름이거나, 시간대가 야간이면, 특징량 보정 계수(1105)는 작아진다. 또한 창이 서향이고 시간대가 저녁이면, 특징량 보정 계수(1105)는, 역광을 보정하는 성분을 크게 한다.

앞처리 내용(1106)은, 해당 촬영 상황에서 촬영된 화상에 대한 앞처리의 내용이다. 예를 들면, 앞처리 내용(1106)에는, 「광 불균일」, 「휘도」, 「역광」 등이 저장된다. 서버(102)는, 얼굴 화상을 추출하면, 앞처리 내용(1106)에 대응하는 처리를 행한다. 앞처리 내용(1106)이 「광 불균일」이면, 서버(102)는 화상의 밝기를 균일하게 한다. 또한, 앞처리 내용(1106)이 「휘도」이면, 서버(102)는 화상의 전체적으로 어둡게 한다. 또한, 앞처리 내용(1106)이 「역광」이면, 서버(102)는 화상의 전체를 밝게 한다.

또한, 조명 조건 데이터(110)에는, 실내의 조명등 등에 관한 정보가 저장되 어 있어도 된다. 예를 들면, 촬영 상황(1102)에 실내의 조명등의 유무를 저장하여, 특징량 보정 계수(1105)를 실내의 조명등을 고려한 값으로 한다. 이것에 의해서, 서버(102)는, 실내의 조명등을도 고려한 보정이 가능하게 된다.

도 10a는, 본 발명의 제3 실시예의 조명의 영향의 설명도이다.

여기서는, 3대의 카메라(101C, 101D 및 101E)를 구비하고 있는 경우로 설명한다.

우선, 조명·기상 상황 추정부(111)는, 화상이 촬영되었을 때의 날씨 및 시각을 취득한다. 조명· 기상 상황 추정부(111)는, 해당 화상을 촬영한 카메라(101)의 에리어 번호와 조명 조건 데이터(110)의 에리어 번호(1101)가 일치하고, 또한 취득한 날씨 및 시각 등과 촬영 상황(1102)이 일치하는 레코드를 선택한다. 이어서, 선택한 레코드로부터 조명 모드(1104)를 추출한다. 이 추출한 조명 모드(1104)가, 해당 화상이 영향을 받는 조명의 상황이다.

예를 들면, 본 설명도에서는, 날씨가 맑음이고, 시간은 9시이다.

이 경우, 카메라(101C)는, 오른쪽으로 비스듬한 강한 광의 영향을 받고 있다. 또한, 카메라(101D)는, 강한 역광의 영향을 받고 있다. 또한, 카메라(101E)는, 외광의 영향을 받지 않는 실내에 설치되어 있다.

도 10b는, 본 발명의 제3 실시예의 외광의 영향의 설명도이다.

본 설명도에서는, 날씨가 어두운 곳이고, 시간은 17시이다.

이 경우, 카메라(101C)는, 약한 순광의 영향을 받고 있다. 또한, 카메라(101D)는, 왼쪽으로 비스듬한 약한 광의 영향을 받고 있다. 또한, 카메라(101E) 는, 외광의 영향을 받지 않는 실내에 설치되어 있다.

도 11은, 본 발명의 제3 실시예의 서버(102)의 화상 처리의 플로우차트이다.

서버(102)는, 카메라(101)에 의해 촬영된 화상을 카메라(101)로부터 입력되면, 처리를 개시한다(401). 이 때, 서버(102)에는, 해당 화상이 촬영된 장소의 에리어 번호 및 해당 화상이 촬영된 시각 등을 함께 입력하여도 된다.

우선, 입력된 화상으로부터 얼굴 영역의 화상(얼굴 화상)을 추출한다(402).

이어서, 입력된 화상의 촬영 상황을 특정한다(403). 촬영 상황은, 해당 화상이 촬영된 시간대, 해당 화상이 촬영되었을 때의 날씨 등을 포함한다. 구체적으로 설명하면, 외부의 네트워크로부터의 기상 정보, 외광 센서로부터의 휘도 정보 또는 관리자로부터의 입력 정보에 기초하여, 화상이 촬영되었을 때의 날씨를 특정한다. 또한, 카메라(101)로부터 입력된 시각에 기초하여, 화상이 촬영된 시간대를 특정한다.

이어서, 카메라(101)로부터 입력된 에리어 번호와 조명 조건 데이터(110)의 에리어 번호가 일치하고, 또한 특정한 촬영 상황과 조명 조건 데이터(110)의 촬영 상황(1102)이 일치하는 레코드를 조명 조건 데이터(110)로부터 선택한다. 이어서, 선택한 레코드로부터, 특징량 보정 계수(1105) 및 앞처리 내용(1106)을 추출한다.

이어서, 해당 얼굴 화상에 대하여, 추출한 앞처리 내용(1106)에 대응하는 앞처리를 행한다. 이어서, 앞처리한 얼굴 화상으로부터 화상 특징량을 산출한다(404).

이어서, 추출한 특징량 보정 계수(1105)를 사용하여, 산출한 화상 특징량을 보정한다(405). 그리고, 인물 결정 처리를 행한다(406). 인물 결정 처리(406)는, 제1 실시예의 화상 처리(도 4)의 스텝 204∼210과 동일하여 설명은 생략한다.

이상과 같이, 화상을 촬영한 조명의 상황에 따른 보정을 얼굴 화상에 실시함으로써, 대응 인물의 정밀도를 높일 수 있다.

이어서, 본 실시예의 감시 시스템을, 시가지 등에서의 시큐러티 확보에 사용하는 경우에 대해 설명한다.

시가지에서의 감시 시스템은, 시설 내에서의 감시 시스템과 마찬가지로, 카메라(101)를 복수대 설치한다. 감시 시스템은, 설치된 카메라(101)의 상대 위치 및 카메라(101)의 방향 등을 미리 기억한다. 카메라(101)는, 예를 들면, 가로를 따라 일정 간격으로 존재하는 방범주에 설치된다. 또한, 카메라(101)는, 번화가에 이미 설치되어 있는 감시 카메라를 이용하여도 된다.

우선, 특정한 인물을 수색하는 처리에 대하여 설명한다. 특정한 인물은, 예를 들면, 지명수배범, 미아 등이다.

우선, 감시 시스템은, 카메라(101)에 의해 촬영된 화상으로부터 얼굴 화상을 추출한다. 이어서, 조명 조건 데이터(110)에 기초하여, 추출한 얼굴 화상을 보정한다. 이어서, 보정한 얼굴 화상을 추적한다. 그리고, 추적할 수 있던 모든 얼굴 화상을 동일 인물의 얼굴 화상으로 결정한다.

또한, 감시 시스템은, 추적할 수 없는 경우에는, 촬영된 얼굴 화상의 대응 인물을 결정한다. 그리고, 감시 시스템은, 추출한 얼굴 화상 및 해당 얼굴 화상에 관한 정보를 인물마다 축적한다.

이어서, 감시 시스템은, 축적한 얼굴 화상과 특정 인물의 얼굴 화상과의 대조도를 축적한 모든 얼굴 화상에 대하여 산출한다. 그리고, 감시 시스템은, 산출한 대조도가 임계값 이상의 것이 다수 존재하면, 관리자에게 통보한다.

본 실시의 감시 시스템은, 여러 환경에서의 얼굴 화상을 다수 축적하므로, 인물의 특정한 정밀도를 높일 수 있다. 또한, 축적된 일부의 얼굴 화상과의 대조도가 높아도, 축적된 다른 얼굴 화상과의 대조도가 낮으면 통보하지 않으므로, 오보를 감소시킬 수 있다.

감시 시스템은, 특정 인물의 수색 처리와 함께, 인물의 이상 행동을 검출하여도 된다. 예를 들면, 감시 시스템은, 기존의 화상 처리 기술을 이용하여, 인물의 이상 행동을 검출한다. 이상 행동은, 인물이 장시간 동일한 위치에 체류하고 있는 경우 등이다. 감시 시스템은, 이상 행동을 검출하면, 관리자에게 통보한다. 또한, 감시 시스템은, 이상한 행동을 한 인물의 얼굴 화상을 축적하고, 축적한 얼굴 화상의 인물을 특정하여도 된다.

이어서, 본 실시예의 감시 시스템은, 혼잡 검지에도 이용할 수 있다.

본 실시예의 감시 시스템에 의한 얼굴 식별을 채용함으로써, 복수의 지점에서의 혼잡 상황의 관계를 알 수 있다. 감시 시스템은, 예를 들면, A 지점에 나타나는 인물의 80%가 B 지점에 나타난다고 판단한다. 이 경우, 관리자는, A 지점을 방문하는 인물과 B 지점을 방문하는 인물 사이에는 높은 상관 관계가 있다고 이해할 수 있다.

본 실시예의 감시 시스템은, 인물의 수의 증가에 수반하여, 인물의 식별이 곤란하게 된다. 그러나, 이 감시 시스템은, 복수의 지점에서의 인물의 관련성을 알면 되므로, 인물의 식별의 정밀도가 낮아도 운용할 수 있다.

특허 청구의 범위에 기재한 이외의 본 발명의 관점의 대표적인 것으로 하여, 다음의 것을 예로 들 수 있다.

촬영된 화상이 카메라로부터 입력되어, 각종 정보를 기억하는 기억부로부터 정보를 취득하는 감시 장치에 있어서,

상기 기억부는, 상기 감시 장치에 과거에 입력된 화상에 관한 정보를 포함하는 과거 정보와, 상기 카메라의 위치 정보를 포함하는 지리 정보를 기억하고,

상기 입력된 화상으로부터 얼굴 화상을 추출하고, 상기 추출한 얼굴 화상으로부터, 해당 얼굴 화상에 대응하는 인물의 이동 방향 및 이동 속도를 구하며,

상기 구한 이동 방향 및 이동 속도에 기초하여, 상기 추출한 얼굴 화상의 추적이 가능인지의 여부를 판정하며,

추적이 가능하면, 해당 추적한 얼굴 화상의 인물을 상기 추출한 얼굴 화상에 대응하는 인물로 결정하고,

추적이 불가능하면, 상기 과거 정보에 기초하여, 상기 추출한 얼굴 화상에 대응하는 인물을 추정하며,

상기 지리 정보에 기초하여, 상기 추정한 인물 중에서, 상기 추출한 얼굴 화상에 대응하는 인물을 결정하는 감시 장치.

이것에 의하면, 감시 장치는, 얼굴 화상의 추적 처리에 의해서, 얼굴 화상의 대응 인물을 결정할 수 있다. 또한, 감시 장치는, 얼굴 화상의 추적을 할 수 없는 경우에만, 얼굴 화상의 대응 인물을 결정하는 화상 처리를 행하므로, 처리를 경감시킬 수 있다.

<산업상의 이용가능성>

본 발명은, 카메라에 의해 촬영된 화상 중인 인물을 추적하므로, 옥내 및 옥외의 감시 장치에 폭넓게 적용할 수 있다. 또한, 본 발명은, 인증 장치의 기능도 구비하므로, 종래의 인증 장치의 대체로서도 적용할 수 있다.

본 발명에 따르면, 인물의 정면 얼굴 이외의 화상이더라도 인증할 수 있고, 또한, 고정밀도로 인증할 수 있다.

Claims

촬영된 화상이 카메라로부터 입력되어, 각종 정보를 기억하는 기억부로부터 정보를 취득하는 감시 장치에 있어서,

상기 기억부는, 상기 카메라가 과거에 촬영한 화상에 관한 정보를 포함하는 과거 정보와, 상기 카메라가 촬영하는 영역 정보를 포함하는 지리 정보를 기억하고,

상기 입력된 화상으로부터 얼굴 화상을 추출하여, 상기 과거 정보에 기초하여 상기 추출한 얼굴 화상에 대응하는 인물을 추정하는 얼굴 식별부와,

상기 지리 정보에 기초하여, 상기 얼굴 식별부가 추정한 인물 중에서, 상기 추출한 얼굴 화상에 대응하는 인물을 결정하는 판정부를 구비하는 것을 특징으로 하는 감시 장치.
제1항에 있어서,

상기 과거 정보는, 상기 감시 장치가 과거에 추출한 얼굴 화상의 특징을 나타내는 특징량을 포함하며,

상기 얼굴 식별부는,

상기 추출한 얼굴 화상으로부터, 해당 얼굴 화상의 특징을 나타내는 특징량을 구하고,

상기 과거 정보에 포함되는 특징량과 상기 구한 특징량을 비교함으로써, 상 기 추출한 얼굴 화상에 대응하는 인물을 추정하는 것을 특징으로 하는 감시 장치.
제1항에 있어서,

상기 지리 정보는, 상기 카메라가 촬영하는 영역을 인물이 이동하는 시간을 포함하고,

상기 과거 정보는, 상기 감시 장치가 과거에 추출한 상기 얼굴 화상이 촬영된 시각을 포함하며,

상기 판정부는,

상기 추정한 인물이 직전에 촬영된 얼굴 화상을 상기 과거 정보로부터 검색하고,

상기 검색한 얼굴 화상이 촬영된 시각을 상기 과거 정보로부터 취득하며,

상기 추출한 얼굴 화상이 촬영된 시각에서, 상기 취득한 시각을 감산하고,

상기 감산한 시각차와 상기 지리 정보에 포함되는 이동 시간을 비교함으로써, 상기 얼굴 식별부가 추정한 인물 중에서, 상기 추출한 얼굴 화상에 대응하는 인물을 결정하는 것을 특징으로 하는 감시 장치.
제1항에 있어서,

상기 추출한 얼굴 화상으로부터, 해당 얼굴 화상에 대응하는 인물의 이동 방향 및 이동 속도를 구하고, 상기 구한 이동 방향 및 이동 속도에 기초하여 상기 추출한 얼굴 화상을 추적하는 추적부를 구비하는 것을 특징으로 하는 감시 장치.
제1항에 있어서,

상기 기억부는, 상기 얼굴 화상이 촬영되었을 때의 조명의 상황을 포함하는 조명 정보를 기억하고,

상기 조명 정보에 기초하여, 상기 추출한 얼굴 화상을 보정하는 보정부를 구비하고,

상기 얼굴 식별부는, 상기 보정부가 보정한 얼굴 화상에 기초하여, 상기 추출한 얼굴 화상에 대응하는 인물을 추정하는 것을 특징으로 하는 감시 장치.
제1항에 있어서,

상기 판정부는,

상기 추출한 얼굴 화상에 대응하는 인물을 결정할 때에, 해당 결정하는 인물과 해당 얼굴 화상에 대응하는 인물이 동일할 가능성을 나타내는 신뢰도를 구하고,

구한 신뢰도를 상기 과거 정보에 기억하는 것을 특징으로 하는 감시 장치.
한대 이상의 카메라와, 각종 정보를 기억하는 기억 장치와, 촬영된 화상이 카메라로부터 입력되어, 상기 기억 장치로부터 정보를 취득하는 감시 서버를 구비하고, 시설을 감시하는 감시 시스템에 있어서,

상기 기억 장치는, 상기 카메라가 과거에 촬영한 화상에 관한 정보를 포함하는 과거 정보와, 상기 카메라가 촬영하는 영역 정보를 포함하는 지리 정보를 기억 하고,

상기 감시 서버는,

상기 입력된 화상으로부터 얼굴 화상을 추출하고, 상기 과거 정보에 기초하여 상기 추출한 얼굴 화상에 대응하는 인물을 추정하는 얼굴 식별부와,

상기 지리 정보에 기초하여, 상기 추정한 인물 중에서, 상기 추출한 얼굴 화상에 대응하는 인물을 결정하는 판정부를 구비하는 것을 특징으로 하는 감시 시스템.
제7항에 있어서,

감시 시스템은, 시설의 출입구의 개폐를 제어하는 입퇴실 제어 장치를 구비하고,

상기 기억 장치는, 인물이 시설에의 입장을 허가받았는지의 여부의 정보를 포함하는 인증 정보를 기억하며,

상기 판정부는, 상기 인증 정보에 기초하여, 상기 결정한 인물이 입장을 허가받았는지의 여부를 판정하고,

상기 입퇴 제어 장치는, 상기 판정부가 입장을 허가받은 인물이라고 판정하면, 시설의 출입구를 개방하도록 제어하는 것을 특징으로 하는 감시 시스템.
제7항에 있어서,

상기 감시 서버는,

상기 추출한 얼굴 화상으로부터, 해당 화상에 대응하는 인물의 이동 방향 및 이동 속도를 구하고, 상기 구한 이동 방향 및 이동 속도에 기초하여, 상기 추출한 얼굴 화상을 추적하는 추적부를 구비하고,

상기 판정부는, 상기 추적한 얼굴 화상의 인물을 상기 추출한 얼굴 화상에 대응하는 인물로 결정하는 것을 특징으로 하는 감시 시스템.