KR102415632B1 - 정보처리장치, 정보처리방법 및 기억매체 - Google Patents

정보처리장치, 정보처리방법 및 기억매체 Download PDF

Info

Publication number
KR102415632B1
KR102415632B1 KR1020210090329A KR20210090329A KR102415632B1 KR 102415632 B1 KR102415632 B1 KR 102415632B1 KR 1020210090329 A KR1020210090329 A KR 1020210090329A KR 20210090329 A KR20210090329 A KR 20210090329A KR 102415632 B1 KR102415632 B1 KR 102415632B1
Authority
KR
South Korea
Prior art keywords
search
unit
characteristic
image
person
Prior art date
Application number
KR1020210090329A
Other languages
English (en)
Other versions
KR20210090139A (ko
Inventor
마사히로 마츠시타
히로타카 시이야마
Original Assignee
캐논 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 캐논 가부시끼가이샤 filed Critical 캐논 가부시끼가이샤
Publication of KR20210090139A publication Critical patent/KR20210090139A/ko
Application granted granted Critical
Publication of KR102415632B1 publication Critical patent/KR102415632B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2457—Query processing with adaptation to user needs
    • G06F16/24578—Query processing with adaptation to user needs using ranking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G06F16/784—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content the detected or recognised objects being people
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/70—Multimodal biometrics, e.g. combining information from different biometric modalities

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Library & Information Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

정보처리장치는, 제1 및 제2의 취득부와 제1 및 제2의 검색부를 구비한다. 제1의 취득부는 검색 대상을 포함하는 퀘리 화상으로부터 제1의 특징을 취득한다. 제1의 검색부는 상기 제1의 취득부에 의해 취득된 상기 제1의 특징에 근거하여, 복수의 영상으로부터 상기 검색 대상을 포함하는 영상을 검출하여 상기 검색 대상을 검색한다. 제2의 취득부는 상기 제1의 검색부에 의해 검출된 상기 검색 대상을 포함하는 영상으로부터 제2의 특징을 취득하되, 상기 제2의 특징은 상기 제1의 특징과 다르다. 제2의 검색부는 상기 제2의 취득부에 의해 취득된 상기 제2의 특징에 근거하여, 상기 제1의 검색부에 의해 상기 검색 대상이 검출되지 않은 적어도 하나의 영상을 포함하는 상기 복수의 영상으로부터 상기 검색 대상을 검색한다.

Description

정보처리장치, 정보처리방법 및 기억매체{INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING METHOD, AND STORAGE MEDIUM}
본 발명은, 오브젝트를 정밀하게 검색할 때 사용하는데 적합한 정보처리장치, 정보처리방법 및 기억매체에 관한 것이다.
일본 특허공개 2013-153304호 공보에 기재된 것처럼, 감시 대상인 영상의 각 프레임으로부터 인물의 얼굴을 검출하고, 그 검출된 얼굴로부터 화상특징량을 산출하고, 그 산출된 화상특징량을 그 영상의 프레임과 관련지어 축적하도록 구성된 장치가 알려져 있다. 그 장치는, 찾고 싶은 인물의 얼굴을 퀘리(query)로서 상기 축적한 화상특징량과 비교하고, 그 인물을 포함하는 영상을 표시할 수 있다. 일본 특허공개 2009-199322호 공보에는, 인물의 얼굴의 화상특징량뿐만 아니라, 그 인물이 입은 복장의 색이나 형태 등의 복장 정보등도 기억해두고, 이것들의 정보를 검색에 사용하는 것에 의해, 정밀한 인물 검색을 실현하는 구성을 갖는 장치가 기재되어 있다.
M.Farenzena, L.Bazzani, A.Perina, V.Murino and M. Cristani:"Person Re-Identification by Symmetry-Driven Accumulation of Local Features", Proc. of CVPR, pp.2360-2367(2010)에는, 복수의 카메라로 촬영된 영상의 인물의 영역으로부터 복장의 색과 형태 등의 특징량을 취득하고, 그 취득된 특징량을 서로 비교하여, 각 카메라로 촬영된 영상에 있어서의 인물이 동일인물인가 아닌가를 동정하는 기술이 개시되어 있다. M.Farenzena 등에 기재된 기술을 사용하는 것에 의해, 복수의 카메라로 촬영된 화상에서의 의심스러운 인물등을 추적할 수 있다.
일본 특허공개 2013-153304호 공보와 2009-199322호 공보에 기재된 기술에서는, 얼굴화상에 근거해서 인물 검색을 행한다. 그렇지만, 많은 감시 카메라는 천장 등의 높은 장소에 설치되어 있어서, 그 카메라로 촬영된 하향식 관점의 화상이나, 각 인물의 크기가 작은 화상 등의 일부의 화상들은, 그 화상들에서의 각 인물의 얼굴을 분명히 인식하기에 충분하지 않다. 이 때문에, 이것들의 기술에서는, 그러한 카메라로 촬영된 영상에 포함된 인물을 검색하는 것은 어렵다. 한편, M.Farenzena 등에 기재된 방법은, 인물이 입은 복장의 색과 형태등을 포함하는 전신으로부터 얻어진 정보를 사용하여 인물을 추적할 수 있다. 그렇지만, 이 방법만으로는, 제복, 작업복 또는 슈트등, 그 사람 주변의 다른 사람들이 착용한 것과 같은 복장을 착용하는 사람을 식별하는 것은 어렵다.
본 발명은, 전술한 문제점을 감안하여, 오브젝트의 특징을 효과적으로 조합하여서 주목 오브젝트를 정밀하게 검색할 수 있는 기술을 대상으로 삼는다.
본 발명의 일 측면에 따른 정보처리장치는, 검색 대상을 포함하는 퀘리 화상으로부터 제1의 특징을 취득하는 제1의 취득부; 상기 제1의 취득부에 의해 취득된 상기 제1의 특징에 근거하여, 복수의 영상으로부터 상기 검색 대상을 포함하는 영상을 검출하여 상기 검색 대상을 검색하는 제1의 검색부; 상기 제1의 검색부에 의해 검출된 상기 검색 대상을 포함하는 영상으로부터 제2의 특징을 취득하는 제2의 취득부; 및 상기 제2의 취득부에 의해 취득된 상기 제2의 특징에 근거하여, 상기 제1의 검색부에 의해 상기 검색 대상이 검출되지 않은 적어도 하나의 영상을 포함하는 상기 복수의 영상으로부터 상기 검색 대상을 검색하는 제2의 검색부를 구비하고, 상기 검색 대상은 인물에 해당하고, 상기 제1의 특징은, 얼굴화상으로부터 얻어진 특징, 인체화상으로부터 얻어진 특징, 인물의 소지품으로부터 얻어진 특징, 및 인물로부터 얻어진 속성 중 어느 하나이고, 상기 제2의 특징은, 상기 제1의 특징에 대응하는 특징을 제외한, 상기 얼굴화상으로부터 얻어진 특징, 상기 인체화상으로부터 얻어진 특징, 상기 인물의 소지품으로부터 얻어진 특징, 및 상기 인물로부터 얻어진 속성 중 어느 하나이다.
본 발명의 또 다른 특징들은, 첨부도면을 참조하여 이하의 실시예들의 설명으로부터 명백해질 것이다.
도 1은 본 발명의 실시예에 따른 정보처리장치의 하드웨어 구성 예를 나타내는 블록도다.
도 2는 제1의 실시예에 따른 정보처리장치의 기능 구성 예를 나타내는 블록도다.
도 3은 상기 제1의 실시예에 따른 얼굴화상특징 및 인체화상특징을 축적하는 처리 순서의 일례를 나타내는 흐름도다.
도 4는 상기 제1의 실시예에 따른 인물의 얼굴화상 및 인체화상을 검색하는 처리 순서의 일례를 나타내는 흐름도다.
도 5는 인물의 얼굴화상 및 인체화상을 검색하는 개요를 나타내는 설명도다.
도 6은 제2의 실시예에 따른 정보처리장치의 기능 구성 예를 나타내는 블록도다.
도 7은 상기 제2의 실시예에 따른 인물의 얼굴화상 및 인체화상을 검색하는 처리 순서의 일례를 나타내는 흐름도다.
도 8은 제3의 실시예에 따른 정보처리장치의 기능 구성 예를 나타내는 블록도다.
도 9는 상기 제3의 실시예에 따른 인물의 얼굴화상 및 인체화상을 검색하는 처리 순서의 일례를 나타내는 흐름도다.
도 10은 제4의 실시예에 따른 정보처리장치의 기능 구성 예를 나타내는 블록도다.
도 11은 상기 제4의 실시예에 따른 얼굴화상특징, 인체화상특징, 및 속성을 축적하는 처리 순서의 일례를 나타내는 흐름도다.
도 12는 상기 제4의 실시예에 따른 인물의 속성, 얼굴화상, 및 인체화상을 검색하는 처리 순서의 일례를 나타내는 도 12a 및 12b의 흐름도를 포함하는 도면이다.
도 13은 제5의 실시예에 따른 정보처리장치의 기능 구성 예를 나타내는 블록도다.
도 14는 상기 제5의 실시예에 따른 얼굴화상특징 및 인체화상특징을 축적하는 처리 순서의 일례를 나타내는 흐름도다.
도 15a 내지 15e는 검색 결과의 표시 예를 각각 나타내는 도면이다.
본 발명의 제1의 실시예에서는, 감시 카메라로 촬영된 영상에 포함된 인물을 추적해서 얻어진 일련의 인물의 화상으로부터 얼굴화상특징과 인체화상특징을 추출하고, 그 얼굴화상특징과 인체화상특징을 관련지어 기억한다. 퀘리(검색원)로서 주어진 얼굴화상(검색원 화상)을 바탕으로 얼굴화상 검색을 행한다. 그 후, 얼굴화상 검색 결과의 유사도가 미리 설정한 역치이상의 얼굴화상과 관련지어 등록된 인체화상특징을 사용해서 인체화상 검색을 행한다. 더욱, 변별성이 높은 얼굴화상특징을 사용하여, 인체화상 검색의 결과를 검증한다.
도 1은, 본 실시예에 따른, 서버 장치나 클라이언트 장치를 구비하는 정보처리장치(100)의 하드웨어 구성 예를 나타내는 블록도다. 서버 장치나 클라이언트 장치는, 단일의 정보처리장치로 실현될 수 있거나, 필요에 따라 복수의 장치에 그 서버 장치나 클라이언트 장치의 기능을 분산하여서 실현될 수 있다. 그 서버 장치나 클라이언트 장치가 복수의 장치로 구성될 경우는, 상기 장치들은, 서로 통신가능하도록 근거리 통신망(ＬＡＮ)등을 거쳐 접속되어 있다. 정보처리장치는, 퍼스널 컴퓨터(ＰＣ)나 워크스테이션(ＷＳ)등의 장치에 의해 실현될 수 있다.
도 1에 있어서, 중앙처리장치(ＣＰＵ)(101)는, 정보처리장치(100)전체를 제어한다. 판독전용 메모리(ＲＯＭ)(102)는, 변경을 필요로 하지 않는 프로그램과 파라미터를 격납하는 메모리다. 랜덤 액세스 메모리(ＲＡＭ)(103)는, 외부장치등으로부터 공급되는 프로그램과 데이터를 일시적으로 기억하는 메모리다. 외부 기억장치(104)는, 정보처리장치(100)에 고정하여 설치된 하드 디스크나 메모리 카드등의 기억장치다. 외부 기억장치(104)는, 플렉시블 디스크(ＦＤ)나 콤팩트 디스크(ＣＤ) 등의 광디스크, 자기나 광 카드, 집적회로(ＩＣ) 카드, 메모리 카드등일 수 있다. 후술하는 각 동작은, ＲＯＭ(102)이나 외부 기억장치(104)에 격납된 프로그램을 ＣＰＵ(101)가 실행하도록 실행된다.
입력 디바이스 인터페이스(105)는, 유저의 조작을 받아 데이터를 입력하는 포인팅 디바이스나 키보드등의 입력 디바이스(109)를 접속시키는 인터페이스다. 출력 디바이스 인터페이스(106)는, 정보처리장치(100)가 보유한 데이터나 공급된 데이터를 표시하기 위한 모니터(110)를 접속시키는 인터페이스다. 통신 인터페이스(107)는, 인터넷등의 네트워크 회선(111)에 접속하기 위한 통신 인터페이스다. 각 네트워크 카메라(112)는, 감시 카메라등의 영상의 촬상 장치이며, 네트워크 회선(111)을 통해 정보처리장치(100)에 접속되어 있다. 시스템 버스(108)는 전술한 각 유닛을 서로 통신가능하게 접속하는 전송로다.
도 2는, 본 실시예에 따른 정보처리장치(100)의 기능 구성 예를 나타내는 블록도다.
영상입력부(201)는, 네트워크 카메라(112)로부터 통신 인터페이스(107)를 통해 영상 데이터(연속 화상)를 수신한다.
영상축적부(202)는, 영상입력부(201)에 입력된 영상 데이터를 외부 기억장치(104)에 기억한다. 이 경우, 영상의 메타데이터로서, 영상의 취득 시간인 촬영 시간이나 영상의 취득 장소인 촬영 카메라와 같은 영상의 취득 조건을 포함하는 정보를 영상 데이터에 관련지어 기억해둔다.
추적 처리부(203)는, 영상입력부(201)로부터 입력된 영상중의 인물을 추적한다. 인물추적 처리는, 예를 들면, 일본 특허공개 2002-373332호 공보에 기재된 공개적으로 공지된 기술을 사용하여 행해질 수 있다. 일본 특허공개 2002-373332호 공보에 기재된 방법에서는, 움직임 벡터에 근거하여 물체를 검출하고, 다음 프레임에서의 탐색 위치를 추정하여 템플릿 매칭에 의해 인물을 추적한다. 추적 처리부(203)에서는, 같은 인물을 추적하고 있는 추적 트랙에 대하여 같은 추적 트랙ＩＤ를 발행하고, 다른 인물의 추적 트랙에 대하여는 다른 추적 트랙ＩＤ를 발행함에 의해, 유일성을 확보하고, 그 추적 트랙ＩＤ에 근거하여 같은 인물의 특정을 가능하게 한다. 그 인물의 추적이 중단되는 경우에는, 다른 추적 트랙ＩＤ를 발행한다.
얼굴검출부(204)는, 추적 처리부(203)로 추적된 인물의 각 프레임 화상으로부터 얼굴 검출을 행한다. 얼굴검출부(204)는, 영상입력부(201)와 후술하는 퀘리 입력부(212)에 의해 입력된 얼굴화상을 포함하는 영상에 근거하여 얼굴검출을 행한다. 화상으로부터 인물의 얼굴을 검출하는 방법으로서는, 예를 들면, 일본 특허공개 2010-165156호 공보에 기재된 공개적으로 공지된 기술을 사용할 수 있다. 구체적으로는, 처리 대상의 화상으로부터, 한쪽 눈 후보영역을 검출하고, 복수의 한쪽 눈 후보영역 중에서 그 후보영역을 페어링하고, 페어링된 양쪽 눈의 위치에 근거해서 얼굴영역을 결정한다.
대표 얼굴화상 결정부(205)는, 추적된 인물의 프레임 화상군으로부터, 대표 얼굴화상을 선택한다. 그 대표 얼굴화상의 선택 처리에서는, 예를 들면, 얼굴검출부(204)로 검출된 보다 큰 얼굴을 포함하는 화상을 선택한다. 보다 큰 얼굴을 포함하는 화상을 사용하는 이유는, 보다 큰 얼굴화상으로부터 보다 정밀한 화상특징이 얻어질 수 있기 때문이다. 다시 말해, 얼굴화상에 근거하여 화상특징을 산출하는 경우에, 얼굴화상의 크기를 일정한 크기로 변배하는 얼굴 사이즈 정규화 처리를 행할 필요가 있다. 이 처리에서, 얼굴화상이 상기 일정한 크기보다도 클 경우에는, 축소 처리를 행한다. 이러한 경우에, 정보의 손실은 비교적 작다. 얼굴화상이 상기 일정한 크기보다도 작을 경우에는, 초해상도 처리와 같은 화소보간처리를 필요로 하여, 상당히 정보가 열화된다.
대표 얼굴화상으로서, 프레임 화상군으로부터 복수의 화상을 선택할 수 있다. 예를 들면, 다른 얼굴 방향들을 가리키는 화상을 선택하는 방법이 있다. 같은 사람의 얼굴의 방향이 달라지면, 그 화상으로부터 얻어진 화상특징이 달라진다. 화상으로부터 인물의 얼굴 방향을 검출하는 방법으로서는, 예를 들면, Erik Muphy-Chutorian,"Head pose estimation for driver assistance systems: A robust algorithm and experimental evaluation," in Proc. IEEE Conf. Intelligent Transportation Systems,2007, pp.709-714.(이후, Erik Muphy-Chutorian이라고 함)의 공개적으로 공지된 기술을 사용할 수 있다. Erik Muphy-Chutorian에 기재된 기술에서는, 특징량으로서 경사방향 히스토그램(Histogram of Oriented Gradient, ＨＯＧ)을 추출하여, ＳＶＲ로 얼굴 방향을 추정하고 있다. 경사방향 히스토그램은, 화상의 휘도경사 정보를 화상의 국소마다 히스토그램으로 변환한 특징량이고, 국소적인 노이즈나 화상의 명암에 로버스트한(robust) 특징량으로서도 알려져 있다. 노이즈나 조명 변동과 같은, 얼굴의 방향에 관계되지 않는 변동에 로버스트한 특징량을 선택함으로써, 실제의 환경에 있어서 안정한 얼굴 방향의 추정을 실현하고 있다.
또한, 흐림이 적은 화상을 대표 얼굴화상으로서 선택할 수 있다. 동화상을 촬영하는 카메라의 셔터 속도는, 정지 화상을 촬영하는 카메라와 같이, 그 장소의 밝기에 따라 달라지는 경우가 있다. 따라서, 어두운 장소나 피사체의 움직임 속도로 인해, 얼굴화상의 흐림이 때때로 일어난다. 이것은 화상특징량이나 속성정보의 열화의 직접적인 원인이다. 흐림의 추정에 관해서는, 얼굴화상영역의 주파수성분을 구하고, 저주파성분과 고주파성분간의 비율을 구한다. 저주파성분의 비율이 소정의 값을 초과할 때, 흐림이 일어난다고 판단할 수 있다. 추가로, 눈을 감은 얼굴, 입을 벌린 얼굴 등의 관점에서 대표 얼굴화상을 선택할 수 있다. 눈을 감은 얼굴, 입을 벌린 얼굴 등이 있으면, 얼굴 특징점의 화상특징이 변질될 가능성이 있다. 이것들의 화상은 대표 얼굴화상으로서 선택하지 않도록 한다. 이 때문에, 대표 얼굴화상으로서 그 화상들을 선택하지 않는다. 상술한 것과 같은 대표 얼굴화상을 선택하는 방법들은 예로 설명된 것이고, 본 발명은 이 방법들에 한정되지 않는다.
얼굴화상 특징 산출부(206)는, 얼굴화상 특징의 산출을 행한다. 본 실시예에서는, 인물의 얼굴화상내의 눈과 입등의 얼굴 특징점을 구하고, 각 얼굴 특징점의 크기 불변 특징 변환(ＳＩＦＴ) 특징을 사용한다. 이 특징은 어디까지나 일례이며, 본 발명은 이것에 한정되는 것이 아니다. 얼굴전체를 블록으로 분할하고, 블록마다 국소 이진 패턴(ＬＢＰ) 특징을 산출해서 사용할 수 있거나, 딥 러닝(Deep Learning)을 행해서 그 특징을 산출할 수 있다.
얼굴화상 특징 축적부(207)는, 영상입력부(201)에 입력된 영상으로부터 추적 처리부(203), 얼굴검출부(204), 대표 얼굴화상 결정부(205), 얼굴화상 특징 산출부(206)를 경과해서 산출된 얼굴화상특징을 외부 기억장치(104)에 기억한다. 덧붙여, 얼굴화상특징의 메타데이터로서, 인물의 ＩＤ나, 인물을 추적할 때 사용된 추적 트랙ＩＤ, 촬영 시간, 촬영 카메라등의 정보를 얼굴화상특징과 관련지어 기억해둔다.
인체영역 검출부(208)는, 추적 처리부(203)로 추적된 인물의 각 프레임 화상으로부터 인체영역을 검출한다. 화상으로부터 인체를 검출하는 방법으로서는, 예를 들면, 미국 특허출원 공개 제2007/0237387호 명세서에 기재된 공개적으로 공지된 기술을 사용할 수 있다. 이 방법에서는, 소정의 크기의 검출 윈도우를 입력 영상상에 주사시켜, 검출 윈도우내의 화상을 잘라내서 얻어진 패턴 화상이 인체를 나타내는가 아닌가의 판별을 행한다. AdaBoost을 사용해서 다수의 약한 판별기를 유효하게 조합해서 판별기를 구성하고, 판별의 정밀도를 향상시킨다. 이 판별기를 직렬로 연결시켜, 캐스케이드형 검출기를 형성한다. 각 약한 판별기는, 경사방향 히스토그램(ＨＯＧ) 특징량을 입력으로서 판별을 행한다. 캐스케이드형 검출기는, 우선 전단에 배치된 단순한 판별기를 사용해서 분명히 피사체와 다른 패턴의 후보를 그 자리에서 제거한다. 그 이외의 후보에 대하여만, 후단에 배치되고 높은 식별 성능을 갖는 복잡한 판별기를 사용해서 그 화상이 인체를 나타내는가 아닌가를 판별한다. 인체화상 특징 산출부(209)는, 인체화상특징의 산출을 행한다. 본 실시예에서는, 인체영역을 블록으로 분할하고, 국소 이진 패턴(ＬＢＰ) 특징을 블록마다 산출한다. 또한, 이 특징은 어디까지나 일례이며, 본 발명은 본 예에 한정되는 것이 아니다. 인체를, 머리, 상지, 하지등의 영역으로 분할하고, 각 영역에 대해서 ＬＢＰ특징을 산출할 수 있다. 또는, 딥 러닝을 행해서 그 특징을 산출할 수 있다.
인체화상 특징 축적부(210)는, 영상입력부(201)로 입력된 영상으로부터 추적 처리부(203), 인체영역 검출부(208) 및 인체화상 특징 산출부(209)를 경과해서 산출된 인체화상특징을 외부 기억장치(104)에 기억한다. 덧붙여, 인체화상특징의 메타데이터로서, 인물의 ＩＤ나, 인물을 추적할 때 사용된 추적 트랙ＩＤ, 촬영 시간, 및 촬영 카메라등의 정보를 인체화상특징과 관련지어 기억해둔다.
관련 정보 축적부(211)는, 같은 인물로부터 얼굴화상특징과 인체화상특징을 산출할 수 있을 경우에, 이것들의 관련 정보를 외부 기억장치(104)에 기억한다. 본 실시예에서는, 추적 처리부(203)로 인물을 추적할 때 얻어진 복수의 프레임 화상에서 검출된 인물은 동일 인물이라고 가정하면, 복수의 프레임 화상으로부터 얻어진 복수의 얼굴화상 및 인체화상의 관련 정보를 기억한다. 따라서, 얼굴화상과 인체화상이 1대1일 대응, 다대1 대응, 1대다 대응, 또는 다대다 대응으로 관련된다.
퀘리 입력부(212)는, 검색에 사용하는 사람의 얼굴화상을 지정(입력)한다. 구체적으로는, 외부 기억장치(104)에 기억된 사람의 얼굴화상을 모니터(110)에 표시하고, 유저의 조작에 의해 입력 디바이스(109)를 통해 지정한다. 본 발명에 따른 검색에 사용된 사람의 얼굴화상의 지정 방법은 이 예들에 한정되는 것이 아니다. 이 경우에, 검색에 사용하는 사람의 얼굴화상은 1매 또는 복수매일 수 있다.
얼굴화상 검색부(213)는, 퀘리 화상으로부터 얼굴검출부(204) 및 얼굴화상 특징 산출부(206)를 경과해서 산출된 얼굴화상특징을 퀘리로서 지정하고, 얼굴화상 특징 축적부(207)에 의해 외부 기억장치(104)에 기억된 얼굴화상특징을 사용해서 얼굴화상의 검색을 행한다. 그리고, 얼굴화상특징의 유사도가 소정의 역치ＴＨ1이상의 얼굴화상을 검색 결과로서 특정한다. 그 유사도를 산출하는 경우에, 각 얼굴 특징점의 ＳＩＦＴ특징의 거리의 총합을 구하고, 거리의 총합의 역수를 정규화하여, 유사도를 구한다.
검색 결과 선별부(214)는, 얼굴화상 검색부(213)의 검색 결과로부터, 얼굴화상특징의 유사도가 소정의 역치ＴＨ2이상의 얼굴화상을 특정한다. 다른 인물을 나타내는 얼굴화상이 섞여버리면, 후단의 처리에서 검색하고 싶은 사람과는 다른 사람이 검색될 수도 있다. 이에 따라, 퀘리 화상의 얼굴화상으로 나타낸 것과 동일 인물을 나타내는 얼굴화상만이 선별되도록 역치ＴＨ1이상의 값을 역치ＴＨ2로서 미리 설정해둔다. 더욱, 필요에 따라서, 선별되는 얼굴화상의 수에 상한을 설정한다.
퀘리 선별부(215)는, 검색 결과 선별부(214)로 선별된 얼굴화상의 얼굴화상특징과 관련된 인체화상특징의 유무를, 관련 정보 축적부(211)에 의해 외부 기억장치(104)에 축적된 관련 정보에 근거하여, 판정한다. 관련된 인체화상특징이 외부 기억장치(104)에 기억되어 있을 경우는, 외부 기억장치(104)로부터 그 인체화상특징을 취득한다. 검색 결과 선별부(214)로 선별된 얼굴화상은 복수의 경우도 있고, 또한, 얼굴화상특징 1개에 대하여 복수의 인체화상특징이 관련되는 경우도 있다. 그 결과, 취득되는 인체화상특징이 다수가 되는 경우가 있다. 따라서, 이러한 경우에는, 그 인체화상특징들로부터 1개 이상의 대표 인체화상특징을 선별한다. 인체화상특징을 선별하는 경우에, 인물화상특징을 클러스터링(clustering) 하고, 각 클러스터로부터 각 클러스터의 중심에 가까운 인물화상특징만을 선별한다.
인체화상 검색부(216)는, 퀘리 선별부(215)로 선별된 인체화상특징을 퀘리로서 지정하고, 인체화상 특징 축적부(210)에 의해 외부 기억장치(104)에 기억된 인체화상특징을 사용해서 인체화상의 검색을 행한다. 인체화상특징의 유사도가 소정의 역치보다도 높은 인체화상을 검색 결과로서 특정한다. 유사도를 산출하는 경우에는, ＬＢＰ특징의 거리의 역수를 정규화하여, 유사도를 구한다.
검증부(217)는, 인체화상 검색부(216)의 검색 결과로서 얻어진 화상과 관련된 얼굴화상특징의 유무를, 관련 정보 축적부(211)에 의해 외부 기억장치(104)에 축적된 관련 정보에 근거하여 판정한다. 그 관련된 얼굴화상특징이 외부 기억장치(104)에 기억되어 있을 경우는, 외부 기억장치(104)로부터 그 얼굴화상특징을 취득한다. 또한, 그 취득된 얼굴화상특징들과, 퀘리 화상의 얼굴화상으로부터 산출된 얼굴화상특징과를 비교하여, 유사도를 구한다. 해당 유사도가 소정의 역치ＴＨ3보다도 낮을 때, 그 얼굴화상특징과 관련된 인체화상특징을 포함하는 인체화상을, 그 검색 결과로부터 삭제한다. 인체화상특징에 의한 비교는, 얼굴화상특징에 의한 비교보다도 식별 성능이 낮다. 이에 따라, 인체화상의 검색 결과는, 얼굴화상특징을 비교하여서 검증된다. 여기에서 사용된 역치ＴＨ3로서는, 검색 결과 선별부(214)에서 사용한 역치ＴＨ2이하의 값과, 동일인물의 검출 생략이 적어지는 값보다 큰 값을 설정한다. 본 실시예에서는, 검증 결과를 검색 결과에 반영하기 위해서 그 검색 결과로부터 인체 화상을 삭제하고 있지만, 인체화상의 검색 결과의 유사도를 낮추도록 보정처리를 행할 수 있다. 예를 들면, 얼굴화상특징을 사용한 검증의 유사도와 인체화상 검색의 유사도를 곱하여서, 인체화상 검색의 유사도를 보정할 수 있다.
통합부(218)는, 얼굴화상 검색부(213)로 검색된 얼굴화상의 검색 결과에, 검증부(217)로 보정된 인체화상의 검색 결과를 통합함에 의해, 얼굴화상의 검색 결과를 갱신한다.
얼굴화상 검색과 인체화상 검색 각각의 결과로서 얻어진 유사도를 사용하여, 얼굴화상특징의 유사도와 인체화상특징의 유사도의 사이의 산포도를 작성하고, 이 값들간의 근사 직선을 생성한다. 얼굴화상의 검색 결과가 존재하지 않는 결과에 대하여, 그 생성된 근사 직선을 변환식으로서 사용하고, 인체화상특징의 유사도로부터 얼굴화상특징의 유사도를 의사적으로 산출한다. 이 유사도들을 선별해 그 검색 결과를 통합한다. 본 실시예는 예로 나타낸 것이고, 양쪽의 검색의 검색 결과 중 일부만을 사용해서 근사 직선을 구할 수 있다. 양쪽의 검색의 검색 결과로서는 구해지지 않지만, 양쪽의 특징량을 포함하는 화상에 대해서는, 검색되지 않은 특징과 대응하는 퀘리 특징을 비교해서 유사도를 산출할 수 있다. 이렇게 얻어진 유사도를 사용해서 근사 직선을 구할 수 있다. 근사식으로서는, 상기 근사 직선 대신에, 고차의 근사 곡선, 지수함수의 근사 곡선등을 사용할 수 있다. 본 실시예에서는, 얼굴화상특징의 유사도가 존재하지 않는 결과에 대하여, 얼굴화상특징의 유사도를 의사적으로 산출한다. 이것은, 얼굴화상특징에 의한 비교쪽이, 인체화상특징에 의한 비교보다도 변별성이 높기 때문이다. 이 때문에, 얼굴화상특징의 유사도를 우선적으로 사용한다. 그렇지만, 본 발명은 이 방법에 한정되지 않는다. 양쪽의 유사도를 구하고, 그 유사도의 가중 평균 등으로 통합 유사도를 산출할 수 있다.
검색 결과 표시부(219)는, 통합부(218)로 통합된 검색 결과를 모니터(110)에 표시한다. 예를 들면, 도 15a에 도시한 바와 같이, 카메라마다 분류해서 촬영 시간순으로 검색 결과를 모니터(110)에 표시한다. 혹은, 도 15b에 도시한 바와 같이, 카메라의 설치 위치를 지도에 표시하고, 촬영 시간을 바탕으로 이동 이력을 모니터(110)에 표시할 수 있다. 또한, 스코어로서 상기 검색 결과를 표시하여도 된다. 예를 들면, 도 15c에 도시한 바와 같이, 얼굴화상 검색과 인체화상 검색의 결과를 통합하여 동일 화면내에서 구별해서 표시한다. 이것들의 결과를 별도의 화면에 표시할 수 있다. 도 15d에서는, 얼굴화상 검색의 결과만을 표시한다. 도 15e에서는 인체화상 검색의 결과만을 표시한다. 이것들의 결과 표시를, 전환가능할 수 있다. 본 발명에 따른 비교 결과를 표시하는 방법은, 이것들에 한정되는 것이 아니다. 또한, 제1의 특징량(얼굴화상특징)을 사용한 검색 결과와, 제2의 특징량(인체화상특징)을 사용한 검색 결과가 구별될 수 있도록, 예를 들면, 직사각형 프레임의 색을 변경하여서 표시 형식을 다르게 할 수 있다.
다음에, 영상입력부(201)로부터 입력된 영상 데이터를 검색가능하도록 축적하는 처리를, 도 3을 참조하여 상세히 설명한다.
도 3은, 본 실시예에 따른, 얼굴화상특징 및 인체화상특징을 축적하는 처리 순서의 일례를 나타내는 흐름도다. 본 처리는, 상술한 영상입력부(201)로부터 관련 정보 축적부(211)까지의 각 부에서 행한 처리에 해당하므로, 그 처리의 상세한 설명은 생략한다.
단계S301에 있어서, 영상입력부(201)는, 네트워크 카메라(112)로부터 통신 인터페이스(107)를 통해 영상 데이터를 수신한다.
단계S302에 있어서, 영상축적부(202)는, 단계S301에서 수신된 영상 데이터를 외부 기억장치(104)에 기억한다. 덧붙여, 영상의 메타데이터로서, 촬영 시간이나 그 영상을 촬영한 카메라등의 정보를 기억해둔다.
단계S303 및 S304는 추적 처리부(203)로 행해진 처리다. 우선, 단계S303에 있어서, 추적 처리부(203)는, 각 프레임 화상으로부터 인물을 검출하여, 추적을 행한다. 이 경우에, 검출된 인물의 각각의 프레임 화상에 인 인물ＩＤ가 배정되고, 그 인물ＩＤ는 각 프레임 화상중의 인물의 좌표와 함께 일시 기억된다. 추적을 행하고 있는 인물에 대하여는, 같은 추적 트랙ＩＤ가 배정되어, 그 추적 트랙ＩＤ가 추적을 행하고 있는 프레임 화상의 ＩＤ와 함께 일시 기억된다.
단계S304에 있어서, 추적 처리부(203)는, 추적이 중단된 인물이 있는 것인가 아닌가를 판정한다. 이 판정의 결과, 추적이 중단된 인물이 있을 경우는(단계S304에서 YES), 해당 인물의 추적 화상군이 결정되므로, 다음 단계S305의 처리로 진행된다. 추적이 중단된 인물이 없을 경우는(단계S304에서 NO), 추적을 계속하기 위해서, 단계S301의 처리로 되돌아간다.
단계S305에 있어서, 얼굴검출부(204)는, 추적 처리부(203)로 추적된 인물을 포함하는 프레임 화상의 각각으로부터 얼굴검출을 행한다.
단계S306에 있어서, 얼굴검출부(204)는, 단계S305의 처리에서 얼굴이 검출된 것인가 아닌가를 판정한다. 이 판정의 결과, 얼굴이 검출되었을 경우는(단계S306에서 YES), 단계S307의 처리로 진행되고, 얼굴이 검출되지 않았을 경우는(단계S306에서 NO), 단계S310의 처리로 진행된다.
단계S307에 있어서, 대표 얼굴화상 결정부(205)는, 추적된 인물의 프레임 화상군으로부터, 검출된 얼굴의 대표 화상으로서 1매 혹은 복수매의 화상을 선택한다.
단계S308에 있어서, 얼굴화상 특징 산출부(206)는, 단계S307에서 선택된 1매 혹은 복수매의 대표 얼굴화상으로부터 얼굴화상특징의 산출을 행한다.
단계S309에 있어서, 얼굴화상 특징 축적부(207)는, 단계S308에서 산출된 얼굴화상특징을 외부 기억장치(104)에 기억한다. 덧붙여, 얼굴화상특징의 메타데이터로서, 인물ＩＤ나, 인물을 추적할 때 사용된 추적 트랙ＩＤ, 촬영 시간, 촬영 카메라등의 정보를 얼굴화상특징과 관련지어 기억해 둔다.
단계S310에 있어서, 인체영역 검출부(208)는, 추적 처리부(203)로 추적된 인물의 프레임 화상의 각각으로부터 인체영역 검출을 행한다.
단계S311에 있어서, 인체영역 검출부(208)는, 단계S310의 처리에서 인체가 검출된 것인가 아닌가를 판정한다. 이 판정의 결과, 인체가 검출되었을 경우는(단계S311에서 YES), 단계S312의 처리로 진행되고, 인체가 검출되지 않았을 경우는(단계S311에서 NO), 단계S314의 처리로 진행된다.
단계S312에 있어서, 인체화상 특징 산출부(209)는, 인체가 검출된 프레임 화상으로부터 인체화상특징의 산출을 행한다.
단계S313에 있어서, 인체화상 특징 축적부(210)는, 단계S312에서 산출된 인체화상특징을 외부 기억장치(104)에 기억한다. 덧붙여, 인체화상특징의 메타데이터로서, 인물ＩＤ나, 인물을 추적할 때 사용된 추적 트랙ＩＤ, 촬영 시간, 촬영 카메라등의 정보를 인체화상특징과 관련지어 기억해 둔다.
단계S314에 있어서, 관련 정보 축적부(211)는, 단계S305에서 검출된 얼굴과, 단계S310에서 검출된 인체로 인물이 일치하는 것이 존재하는 것인가 아닌가를 판정한다. 예를 들면, 얼굴화상특징 및 인체화상특징의 메타데이터를 참조하여, 추적 트랙ＩＤ가 일치하는 인물이 존재하는 것인가 아닌가를 판정한다. 이 판정의 결과, 동일 인물의 얼굴과 인체의 조합이 존재하는 경우(단계S314에서 YES), 단계S315의 처리로 진행된다. 동일 인물의 얼굴과 인체의 조합이 존재하지 않을 경우는, 그 처리를 종료한다. 단계S315에 있어서, 관련 정보 축적부(211)는, 동일 인물로부터 산출된 얼굴화상특징과 인체화상특징을 관련시키는 상기 관련 정보를 외부 기억장치(104)에 기억하고 나서, 그 처리를 종료한다.
이상의 처리에 의해, 네트워크 카메라(112)로부터 입력된 영상에 포함된 인물의 얼굴화상의 얼굴화상특징이 얼굴화상 특징 축적부(207)에 의해 외부 기억장치(104)에 축적되어, 검색가능한 상태가 된다. 또한, 인물의 인체화상의 인체화상특징도 인체화상 특징 축적부(210)에 의해 외부 기억장치(104)에 축적되어, 검색가능한 상태가 된다.
다음에, 퀘리 입력부(212)로부터 입력된 퀘리 화상으로부터 인물의 얼굴화상 및 인체화상을 검색하는 처리를, 도 4를 참조하여 상세히 설명한다.
도 4는, 본 실시예에 따른 인물의 얼굴화상 및 인체화상을 검색하는 처리 순서의 일례를 나타내는 흐름도다. 본 처리는, 상술한 도 2에 있어서의 얼굴검출부(204), 얼굴화상 특징 산출부(206) 및 퀘리 입력부(212)로부터 검색 결과 표시부(219)까지의 처리에 대응하고, 그 처리의 상세한 설명은 생략한다.
우선, 그 처리 흐름의 개념에 대해서, 도 5를 참조하여 설명한다. 도 5에 나타낸 예에서는, 5대의 카메라 중, 카메라1∼카메라4에, 퀘리로서 지정된 인물이 표시되어 있다. 우선, 퀘리로서 주어진 얼굴화상(500)에 근거하여, 얼굴화상 검색을 행한다. 그 결과, 얼굴이 분명히 표시된 카메라1, 카메라4로부터 각각 검색 결과 501, 504를 얻는다. 다음에, 검색 결과 501, 504를 퀘리로서 사용하여, 인체화상 검색을 행한다. 그 결과, 카메라2, 카메라3, 카메라5로부터 각각 검색 결과 502, 503, 505를 얻는다. 이 경우에, 카메라5의 검색 결과 505는 얼굴의 분명한 화상을 보인다. 이에 따라, 퀘리 얼굴화상과 검색 결과 505의 얼굴화상과를 비교한다. 이 경우에, 퀘리 얼굴화상과 검색 결과 505간의 유사도가 낮은 것이 분명하므로, 그 검색 결과로부터 검색 결과 505를 제거한다. 최종적으로, 카메라1∼카메라4의 검색 결과 501∼504의 화상이 정확한 검색 결과로서 얻어진다.
단계S401에 있어서, 퀘리 입력부(212)는, 검색에 사용하는 사람의 얼굴화상을 수신한다.
단계S402에 있어서, 얼굴검출부(204)는, 퀘리 입력부(212)에 의해 수신된 얼굴화상을 포함하는 영상으로부터 얼굴검출을 행한다.
단계S403에 있어서, 얼굴화상 특징 산출부(206)는, 단계S402에서 검출된 얼굴화상으로부터 얼굴화상특징의 산출을 행한다.
단계S404에 있어서, 얼굴화상 검색부(213)는, 단계S403에서 산출된 얼굴화상특징을 퀘리로서 지정하고, 얼굴화상 특징 축적부(207)에 의해 외부 기억장치(104)에 기억된 얼굴화상특징을 사용하여 얼굴화상을 검색한다. 그리고, 얼굴화상특징의 유사도가 소정의 역치ＴＨ1이상의 얼굴화상을 검색 결과로서 특정한다.
단계S405에 있어서, 검색 결과 선별부(214)는, 단계S404에서 특정된 검색 결과로부터 얼굴화상특징의 유사도가 소정의 역치ＴＨ2이상의 얼굴화상을 특정한다.
단계S406 내지 단계S411은 퀘리 선별부(215)로 행해지는 처리이며, 그 처리는 단계S405에서 선별된 얼굴화상의 수와 같은 횟수만큼 루프에서 실행된다.
단계S407에 있어서, 퀘리 선별부(215)는, 외부 기억장치(104)에 축적된 관련 정보에 근거하여, 처리 대상의 얼굴화상의 얼굴화상특징과 관련된 인체화상특징이 외부 기억장치(104)에 기억된 것인가 아닌가를 판정한다. 이 판정의 결과, 상기 관련된 인체화상특징이 외부 기억장치(104)에 기억되지 않은 경우는(단계S407에서 "0"), 단계S406의 처리로 되돌아가, 다음 얼굴화상에 대해 처리를 행한다. 관련된 인체화상특징이 외부 기억장치(104)에 1개 기억된 경우는(단계S407에서 "1"), 단계S408의 처리로 진행된다. 복수의 관련된 인체화상특징이 외부 기억장치(104)에 기억된 경우는(단계S407에서 "다수"), 단계S409의 처리로 진행된다.
단계S408에 있어서, 퀘리 선별부(215)는, 외부 기억장치(104)로부터 그 인체화상특징을 취득한다.
한편, 단계S409에 있어서는, 퀘리 선별부(215)는, 외부 기억장치(104)로부터 복수의 인체화상특징을 취득한다.
단계S410에 있어서, 퀘리 선별부(215)는, 복수의 인물화상특징을 클러스터링하고, 각 클러스터의 중심에 가까운 인물화상특징만을 선별한다. 이 처리는, 모든 카메라에 대해 행해질 수 있거나, 카메라를 그룹화한 후 카메라의 각 그룹에 대해 행해질 수 있다. 모든 시간대에 대하여 인물화상특징을 선별할 수 있거나, 분할된 각 시간대에 대해 인물화상특징을 선별할 수 있다. 카메라를 그룹화하거나 그 시간대를 분할한 후 인물화상특징을 선별함으로써, 후술하는 단계S412에 있어서의 인체화상 검색시에 검색 대상에 초점을 맞추어 효율적으로 검색할 수 있다.
단계S411에 있어서, 퀘리 선별부(215)는, 단계S408에서 취득된 인물화상특징, 혹은, 단계S410에서 선별된 인물화상특징을, 인체화상 검색용 퀘리로서 설정한다.
단계S412에 있어서, 인체화상 검색부(216)는, 단계S411에서 설정된 인체화상특징을 퀘리로서 지정하고, 인체화상 특징 축적부(210)에 의해 외부 기억장치(104)에 기억된 인체화상특징을 사용해서 인체화상을 검색한다. 인체화상특징의 유사도가 소정의 역치이상의 인체화상을 검색 결과로서 특정한다.
이 경우에, 각 카메라의 설치 장소나 촬영 시간을 제한해서 인체화상의 검색을 행할 수 있다. 구체적으로는, 검색하고 싶은 인물이 특정한 카메라에 표시된 것을 확인할 수 있었을 경우, 그 카메라로부터 벗어나고 있는 장소에 설치된 카메라에 근방의 시간대에서는 인물이 표시되지 않을 것이라고 하는 제한을 더해서 검색할 수 있다. 이 경우, 단계S405에서 선별된 얼굴화상의 검색 결과로부터 각 카메라의 장소와 시간의 정보를 얻을 수 있기 때문에, 검색 범위에 제한을 가할 수 있다. 또한, 단계S410에 있어서, 인물화상특징을 카메라를 그룹화해서 선별, 카메라마다 선별, 또는 분할된 시간대마다 선별을 행하는 경우는, 검색에 사용된 카메라에 가까운 장소에서, 가까운 시간대에서 얻어진 화상을 퀘리로서 사용하여 검색할 수 있음으로써, 보다 효율적인 검색이 행해질 수 있다.
단계S413 내지 단계S417은 검증부(217)로 행해진 처리이며, 그 처리는 단계S412에서 검색된 인체화상의 수와 같은 횟수만큼 루프에서 실행된다.
단계S414에 있어서, 검증부(217)는, 외부 기억장치(104)에 축적된 관련 정보에 근거하여, 처리 대상의 인체화상에 대한 인체화상특징과 관련된 얼굴화상특징이 외부 기억장치(104)에 기억된 것인가 아닌가를 판정한다. 이 판정의 결과, 관련된 얼굴화상특징이 외부 기억장치(104)에 기억되지 않은 경우(단계S414에서 NO), 단계S413의 처리로 되돌아가, 다음 인체화상에 관해 처리를 행한다. 관련된 얼굴화상특징이 외부 기억장치(104)에 기억된 경우(단계S414에서 YES), 단계S415의 처리로 진행된다.
단계S415에 있어서, 검증부(217)는, 외부 기억장치(104)로부터 얼굴화상특징을 취득하여, 단계S403에서 산출된 퀘리의 얼굴화상특징과 비교하고, 유사도를 구한다. 단계S416에 있어서, 검증부(217)는, 단계S415에서 산출한 유사도가 소정의 역치ＴＨ3보다 낮은 것인가 아닌가를 판정한다. 이 판정의 결과, 유사도가 소정의 역치ＴＨ3이상일 경우는(단계S416에서 NO), 단계S413의 처리로 되돌아가, 다음 인체화상에 관해 처리를 행한다. 그 유사도가 소정의 역치ＴＨ3미만일 경우는(단계S416에서 YES), 단계S417의 처리로 진행된다.
단계S417에 있어서, 검증부(217)는, 처리 대상인 인체화상을 인체화상의 검색 결과로부터 삭제한다.
단계S418에 있어서, 통합부(218)는, 단계S404에서 얻어진 얼굴화상의 검색 결과와, 단계S413 내지 단계S417에서 보정된 인체화상의 검색 결과를 통합한다.
단계S419에 있어서, 검색 결과 표시부(219)는, 단계S418에서 통합된 검색 결과를 모니터(110)에 표시한다. 동일 카메라로부터 복수의 결과를 얻을 때, 그 얻어진 결과 모두를 표시하는 것이 아니고, 최고의 얼굴화상의 유사도를 표시하는 결과만을 표시할 수 있다.
이상과 같이 본 실시예에 의하면, 감시 카메라에 의해 촬영된 영상중의 인물을 추적해서 얻어진 일련의 동일인물의 화상으로부터 얼굴화상특징과 인체화상특징을 추출하고, 이 특징들을 관련시켜 기억하였다. 그리고, 퀘리로서 주어진 얼굴화상에 근거하여 얼굴화상 검색을 행하였다. 그 후, 퀘리 얼굴화상과의 유사도가 소정의 역치이상의 얼굴화상특징과 관련지어 등록된 인체화상특징을 사용하여 인체화상의 검색을 행하였다. 이러한 구성에 의해, 사람의 얼굴을 포함하는 감시 영상으로부터뿐만 아니라, 그 사람의 얼굴이 분명히 표시되지 않은 감시 영상으로부터도 검색하고 싶은 사람을 검색할 수 있다. 또한, 변별성이 높은 얼굴화상특징을 사용하여, 인체화상의 검색 결과를 검증하므로, 검색의 오류 검출을 감소할 수 있다.
상기 제1의 실시예에서는, 퀘리 얼굴화상과의 유사도가 소정의 역치이상의 얼굴화상특징과 관련지어 등록된 인체화상특징을 사용하여 인체화상 검색을 행하였다. 또한, 얼굴화상특징을 사용하여서, 소정의 역치에 근거하여 인체화상의 검색 결과를 검증했다. 제2의 실시예에서는, 얼굴화상의 검색 결과로부터 1매이상의 얼굴화상을 유저가 선택하고, 그 얼굴화상특징과 관련지어 등록된 인체화상특징을 사용하여 상기 인체화상의 검색을 행한다. 유저가 선택한 얼굴화상의 검색 결과의 유사도에 근거하여 인체화상의 검색 결과를 검증한다.
제2의 실시예에 따른 정보처리장치의 하드웨어 구성은, 도 1과 같기 때문에, 그 설명은 생략한다. 본 실시예에 따른 정보처리장치의 기능 구성에 대해서, 도 6을 참조하여 설명한다. 이하, 본 실시예와 상기 제1의 실시예간의 다른 점에 대해서만 설명한다.
도 6은, 제2의 실시예에 따른 정보처리장치(600)의 기능 구성 예를 나타내는 블록도다. 영상입력부(201) 내지 얼굴화상 검색부(213), 퀘리 선별부(215), 인체화상 검색부(216), 및 통합부(218)는, 도 2와 같기 때문에, 그 설명은 생략한다.
검색 결과 표시부(219)는, 통합부(218)에 의해 통합된 검색 결과를 표시하고, 얼굴화상 검색부(213)로 행해진 검색 결과도 표시한다.
검색 결과 선택부(614)는, 검색 결과 표시부(219)에 표시된 얼굴화상특징의 검색 결과와 관련된 얼굴화상군으로부터 1매이상의 얼굴화상을 유저가 선택하는데 사용된다.
검증부(217)는, 상기 제1의 실시예와 같이, 인체화상특징의 검색 결과로서 얻어진 인체화상특징과 관련지어 등록된 얼굴화상특징과 상기 퀘리 화상의 얼굴화상특징과를 비교해서 얻은 유사도와, 소정의 역치ＴＨ3과의 비교를 행한다. 여기에서 사용된 역치ＴＨ3로서, 상기 제1의 실시예와 같이 미리 설정된 값이 사용될 수 있지만, 대신에, 검색 결과 선택부(614)로 선택된 얼굴화상의 얼굴화상특징과 퀘리 얼굴화상의 얼굴화상특징과의 유사도에 근거하여 그 역치ＴＨ3을 동적으로 결정할 수 있다. 예를 들면, 본 실시예에서는, 검색 결과 선택부(614)로 선택된 복수의 얼굴화상의 얼굴화상특징과 퀘리 얼굴화상의 얼굴화상특징과의 유사도 중, 최소의 유사도를 상기 역치ＴＨ3로서 설정한다. 또는, 최소의 유사도보다도 특정량 혹은 특정 비율만큼 작은 값을, 역치ＴＨ3로서 사용할 수 있다.
다음에, 본 실시예에 따른 정보처리장치(600)에 의한 상세한 처리 순서에 대해서 설명한다. 또한, 얼굴화상특징 및 인체화상특징을 외부 기억장치(104)에 축적하는 처리 순서는 도 3과 같다. 이하, 인물의 얼굴화상 및 인체화상을 검색하는 처리 순서에 대해서, 도 6을 참조하여 설명한다. 본 처리는, 상술한 도 6에 나타낸 얼굴검출부(204), 얼굴화상 특징 산출부(206), 퀘리 입력부(212) 내지 검색 결과 표시부(219), 및 검색 결과 선택부(614)에 의해 행진 처리에 대응하고, 그 처리의 상세한 설명은 생략한다.
도 7은, 본 실시예에 따른 인물의 얼굴화상 및 인체화상을 검색하는 처리 순서의 일례를 나타내는 흐름도다.
도 7에 나타낸 단계S401 내지 단계S404는, 각각 도 4에 나타낸 단계S401 내지 단계S404와 같다.
단계S701에 있어서, 검색 결과 표시부(219)는, 단계S404에서 얻어진 얼굴화상의 검색 결과를 모니터(110)에 표시한다.
단계S702에 있어서, 검색 결과 선택부(514)는, 모니터(110)에 표시된 얼굴화상의 검색 결과로부터 1매이상의 얼굴화상을 선택한다. 이 처리에서는, 유저가 입력 디바이스(109)로부터 얼굴화상을 선택하고, 검색 결과 선택부(514)는, 입력 디바이스 인터페이스(105)를 통해 유저의 지시에 근거하여 얼굴화상을 선택한다.
단계S703에 있어서, 검증부(217)는, 검색 결과 선택부(514)로 선택된 복수의 얼굴화상의 얼굴화상특징과 퀘리 얼굴화상의 얼굴화상특징간의 유사도 중, 최소의 유사도를 상기 역치ＴＨ3으로서 설정한다.
단계S406 내지 단계S419는, 각각 도 4에 나타낸 단계S406 내지 단계S419와 같다.
이상과 같이 본 실시예에 의하면, 얼굴화상의 검색 결과로부터 1매이상의 얼굴화상을 유저가 선택하여, 그 얼굴화상특징과 관련지어 등록된 인체화상특징을 사용하여 그 인체화상의 검색을 행하였다. 또한, 유저가 선택한 얼굴화상의 검색 결과의 유사도에 근거하여 인체화상의 검색 결과를 검증하였다. 유저와의 상호작용에 의해 검색 개선을 위한 보정이 행해져, 오류 검출이 적은 검색 결과를 얻을 수 있다.
상기 제1 및 제2의 실시예에서는, 퀘리로서 얼굴화상이 주어졌을 때에, 얼굴화상 검색과 인체화상 검색을 행했다. 제3의 실시예에서는, 퀘리로서 인체화상이 주어졌을 때에, 얼굴화상 검색과 인체화상 검색을 행한다.
제3의 실시예에 따른 정보처리장치의 하드웨어 구성은, 도 1과 같기 때문에, 그 설명은 생략한다. 이하, 본 실시예에 따른 정보처리장치의 기능 구성에 대해서, 도 8을 참조하여 설명한다. 이하, 본 실시예와 제2의 실시예간의 다른 점에 대해서만 설명한다.
퀘리 입력부(812)는, 검색에 사용된 사람의 인체화상을 지정(입력)한다. 구체적으로는, 외부 기억장치(104)에 기억된 사람의 인체화상을 모니터(110)에 표시하고, 유저의 조작에 의해 입력 디바이스(109)를 통해 지정한다. 본 발명에 따른 검색에 사용된 사람의 인체화상의 지정 방법은 이 예들에 한정되는 것이 아니다. 이 경우, 사람의 1매이상의 인체화상은, 검색에 사용될 수 있다.
인체화상 검색부(816)는, 퀘리 화상으로부터 인체영역 검출부(208) 및 인체화상 특징 산출부(209)를 경과해서 산출된 인체화상특징을 퀘리로서 지정하고, 인체화상 특징 축적부(210)에 의해 외부 기억장치(104)에 기억된 인체화상특징을 사용해서 인체화상의 검색을 행한다. 또한, 인체화상특징의 유사도가 소정의 역치ＴＨ1이상의 인체화상을 검색 결과로서 특정한다. 유사도를 산출하는 경우에, ＬＢＰ특징의 거리의 역수를 정규화하여, 유사도를 구한다.
검색 결과 선택부(814)는, 검색 결과 표시부(219)에 표시된 인체화상특징의 검색 결과와 관련된 인체화상군으로부터 1매이상의 인체화상을 유저가 선택하는데 사용된다.
퀘리 선별부(815)는, 검색 결과 선택부(814)로부터 선택된 인체화상에 대한 인체화상특징과 관련되는 얼굴화상특징의 유무를, 관련 정보 축적부(211)에 의해 외부 기억장치(104)에 축적된 관련 정보에 근거하여, 판정한다. 그 관련된 얼굴화상특징이 외부 기억장치(104)에 기억되어 있을 경우는, 외부 기억장치(104)로부터 그 얼굴화상특징을 취득한다. 검색 결과 선택부(814)로 복수의 인체화상이 선별되어도 되고, 또한, 1개의 인체화상특징과 복수의 얼굴화상특징이 관련되어도 된다. 이 때문에, 다수의 얼굴화상특징이 취득되는 경우가 있다. 따라서, 이러한 경우에는, 그 얼굴화상특징들로부터 1개의 대표 얼굴화상특징을 선별한다. 그 얼굴화상특징을 선별하는 경우에, 얼굴화상특징에 관해 클러스터링을 행하고, 각 클러스터로부터 각 클러스터의 중심에 가까운 얼굴화상특징만을 선별한다. 얼굴화상 검색부(813)는, 퀘리 선별부(815)로 선별된 얼굴화상특징을 퀘리로서 지정하고, 얼굴화상 특징 축적부(207)에 의해 외부 기억장치(104)에 기억된 얼굴화상특징을 사용하여 얼굴화상의 검색을 행한다. 또한, 얼굴화상특징의 유사도가 소정의 역치보다도 높은 얼굴화상을 검색 결과로서 특정한다. 유사도를산출하는 경우에는, 각 얼굴 특징점에서의 ＳＩＦＴ특징의 거리의 총합을 구하고, 거리의 총합의 역수를 정규화하여 유사도를 구한다.
검증부(817)는, 인체화상 검색부(216)에서 얻어진 검색 결과의 화상과 관련된 얼굴화상특징의 유무를, 관련 정보 축적부(211)에 의해 외부 기억장치(104)에 축적된 관련 정보에 근거하여 판정한다. 관련된 얼굴화상특징이 외부 기억장치(104)에 기억되어 있을 경우는, 외부 기억장치(104)로부터 그 얼굴화상특징을 취득한다. 또한, 그 얼굴화상특징들과 퀘리 화상의 얼굴화상으로부터 산출된 얼굴화상특징과를 비교하여서, 유사도를 구한다. 해당 유사도가 소정의 역치ＴＨ3보다도 낮을 때, 그 얼굴화상특징과 관련된 인체화상특징을 포함하는 인체화상을, 검색 결과로부터 삭제한다. 인체화상특징에 의한 비교는, 얼굴화상특징에 의한 비교보다도 식별 성능이 낮다. 이에 따라, 인체화상의 검색 결과는, 얼굴화상특징을 비교하여서 검증된다. 여기에서 설명된 역치ＴＨ3으로서는, 검색 결과 선별부(214)에서 사용한 역치ＴＨ2이하이고, 동일인물의 검출 생략이 감소되는 값보다 큰 값을, 설정한다. 본 실시예에서는, 검증 결과를 반영하기 위해서 검색 결과로부터 인체화상을 삭제하지만, 인체화상의 검색 결과의 유사도를 낮게 하도록 보정을 행할 수 있다. 얼굴화상특징을 사용한 검증의 유사도와 인체화상 검색을 위한 유사도를 곱하는 등에 의해, 인체화상 검색을 위한 유사도를 보정할 수 있다.
통합부(818)는, 제1 내지 제3의 실시예에 따른 얼굴화상 검색 결과와 인체화상 검색 결과의 통합, 제3의 실시예에 따른 속성검색 결과와 얼굴화상 검색 결과의 통합, 및 인체화상 검색의 결과로부터 얼굴이 유사한 결과의 통합을 행하여, 그 검색 결과를 갱신한다. 인체화상특징에 의한 비교는 식별 성능이 낮으므로, 많은 유사한 검색 결과가 취득된다. 이에 따라, 같은 사람을 보이는 것과 같은 결과, 즉, 얼굴화상특징이 유사한 결과 중에서, 대표의 결과만을 검색 결과로서 유지한다. 이에 따라, 검색 결과의 중복이 삭감하게 된다. 통합부(818)는, 인체화상 검색부(216)에 의해 얻어진 검색 결과의 화상과 관련된 얼굴화상특징의 유무를, 관련 정보 축적부(211)에 의해 외부 기억장치(104)에 축적된 관련 정보에 근거하여 판정한다. 관련된 얼굴화상특징이 외부 기억장치(104)에 기억된 경우에, 외부 기억장치(104)로부터 그 얼굴화상특징을 취득한다. 또한, 그 얼굴화상특징끼리를 비교하여서, 유사도를 구한다. 해당 유사도가 소정의 역치ＴＨ4보다도 높을 때, 그 얼굴화상특징과 관련된 인체화상 검색의 결과 중 인체화상 검색의 스코어가 보다 낮은 결과를, 검색 결과로부터 삭제한다. 이 경우에, 역치ＴＨ4로서, 동일한 사람의 높은 가능성을 나타내는 높은 스코어를 설정한다.
다음에, 본 실시예에 따른 정보처리장치(800)의 처리 순서에 대해서 상세히 설명한다. 또한, 얼굴화상특징 및 인체화상특징을 외부 기억장치(104)에 축적하는 처리 순서는 도 3과 같다.
이하, 인물의 얼굴화상 및 인체화상을 검색하는 처리 순서에 대해서, 도 9를 참조하여 설명한다. 도 9는, 본 실시예에 따른, 인물의 얼굴화상 및 인체화상을 검색하는 처리 순서의 일례를 나타내는 흐름도다. 본 처리는, 상술한 도 6에 나타낸 인체영역 검출부(208), 인체화상 특징 산출부(209), 퀘리 입력부(812) 내지 통합부(818), 및 검색 결과 표시부(219)에서 행한 처리에 대응하여, 그 처리의 상세한 설명은 생략한다.
단계S901에 있어서, 퀘리 입력부(212)는, 검색에 사용하는 인체화상을 수신한다.
단계S902에 있어서, 인체영역 검출부(208)는, 퀘리 입력부(212)에 의해 수신된 인체화상을 포함하는 영상으로부터 인체영역을 검출한다.
단계S903에 있어서, 인체화상 특징 산출부(209)는, 단계S902에서 검출된 인체화상으로부터 인체화상특징의 산출을 행한다.
단계S904에 있어서, 인체화상 검색부(816)는, 단계S903에서 산출된 인체화상특징을 퀘리로서 지정하고 인체화상 특징 축적부(210)에 의해 외부 기억장치(104)에 기억된 인체화상특징을 사용해서 인체화상의 검색을 행한다. 그리고, 인체화상특징의 유사도가 소정의 역치ＴＨ5이상의 인체화상을 검색 결과로서 특정한다.
단계S905 내지 단계S909는, 통합부(818)로 행해진 처리이며, 그 처리는 단계S904에서 검색된 인체화상의 수와 같은 횟수만큼 루프로 실행된다.
단계S906에 있어서, 통합부(818)는, 외부 기억장치(104)에 축적된 관련 정보에 근거하여, 처리 대상의 인체화상에 대한 인체화상특징과 관련된 얼굴화상특징이 외부 기억장치(104)에 기억된 것인가 아닌가를 판정한다. 이 판정의 결과, 관련된 얼굴화상특징이 외부 기억장치(104)에 기억되지 않은 경우는(단계S906에서 NO), 단계S905의 처리로 되돌아가 다음 인체화상에 관해 처리를 행한다. 관련된 얼굴화상특징이 외부 기억장치(104)에 기억된 경우는(단계S906에서 YES), 단계S907의 처리로 진행된다.
단계S907에 있어서, 통합부(1108)는, 외부 기억장치(104)로부터 얼굴화상특징을 취득하고, 단계S908에 있어서, 통합부(1108)는, 단계S907에서 취득한 얼굴화상특징을 비교한다. 또한, 단계S909에 있어서, 얼굴화상특징을 서로 비교하는 경우에 유사도가 역치ＴＨ4보다도 높은 2개의 얼굴화상특징과 관련된 인체화상특징의 검색 결과의 스코어를 비교하고, 스코어가 보다 낮은 결과를, 검색 결과로부터 삭제한다.
단계S910에 있어서, 검색 결과 표시부(219)는, 단계S904에서 검색되어, 단계S905 내지 단계S909에서 통합된 인체화상의 검색 결과를, 얼굴화상과 함께 모니터(110)에 표시한다.
단계S911에 있어서, 검색 결과 선택부(814)는, 모니터(110)에 표시된 인체화상의 검색 결과로부터 1매이상의 인체화상과 얼굴화상을 선택한다. 이 처리에서는, 유저가 입력 디바이스(109)로부터 인체화상과 얼굴화상을 선택하고, 검색 결과 선택부(814)는, 입력 디바이스 인터페이스(105)를 통해 유저의 지시에 근거하여, 인체화상과 얼굴화상을 선택한다.
단계S912에 있어서, 얼굴화상 검색부(813)는, 단계S911에서 설정된 얼굴화상과 관련된 얼굴화상특징을 퀘리로서 지정하고, 얼굴화상 특징 축적부(207)에 의해 외부 기억장치(104)에 기억된 얼굴화상특징을 사용해서 얼굴화상의 검색을 행한다. 또한, 얼굴화상특징의 유사도가 소정의 역치이상의 얼굴화상을 검색 결과로서 특정한다.
단계S913에 있어서, 통합부(818)는, 단계S904에서 얻어진 인체화상의 검색 결과와, 단계S912에서 얻어진 얼굴화상의 검색 결과를 통합한다.
이 경우에, 각 카메라의 설치 장소나 촬영 시간을 제한해서 인체화상의 검색 결과를 갱신할 수 있다. 구체적으로는, 검색하고 싶은 인물이 특정한 카메라에 표시되는 것을 확인할 수 있었을 경우, 그 카메라로부터 벗어나 있는 장소에 설치된 카메라에 근방의 시간에서는 그 인물이 표시되지 않는다는 제한을 가하여서 그 검색 결과를 갱신할 수 있다. 이 경우, 단계S911에서 선택된 얼굴화상으로부터 각 카메라의 장소, 시간의 정보를 얻을 수 있기 때문에, 인체화상 검색의 검색 결과의 범위에 제한을 가할 수 있다.
단계S914에 있어서, 검색 결과 표시부(219)는, 단계S913에서 통합된 검색 결과를 모니터(110)에 표시한다. 동일 카메라로부터 복수의 결과를 얻은 경우, 그 얻어진 결과 모두를 표시하는 것이 아니고, 최고의 얼굴화상의 유사도를 나타내는 결과만을 표시할 수 있다.
이상과 같이, 본 실시예에 의하면, 퀘리로서 인체화상이 주어졌을 때에, 인체화상의 검색 결과로부터 1매이상의 인체화상을 유저가 선택하고, 그 인체화상특징과 관련지어 등록된 얼굴화상특징을 사용하여 얼굴화상의 검색을 행하였다. 인체화상의 검색 결과를 표시하여 유저에 다음 퀘리를 선택하게 할 때, 검색 결과의 인체화상특징과 관련된 얼굴화상특징끼리를 비교하고, 유사한 얼굴이 있는 경우, 그 인체화상 검색의 스코어가 보다 높은 검색 결과만을 검색 결과로서 표시했다. 이렇게, 인체화상 검색 결과와 같은 식별 성능이 낮은 검색 결과를, 식별 성능이 높은 얼굴화상특징을 비교하여서 보정함으로써, 중복된 결과 표시를 감소시키면서, 유저에 의한 검색 결과의 선택을 쉽게 하는 것이 가능해진다.
제1 내지 제3의 실시예에서는, 감시 카메라에 의해 촬영된 영상중의 인물의 화상으로부터 얼굴화상특징과 인체화상특징을 추출하고, 그 특징들을 관련시켜 기억했다. 제4의 실시예에서는, 인물의 화상을 인식해서 얻어진 속성정보나 소지품등의 정보를 화상과 관련시켜 기억한다. 검색의 경우에, 퀘리로서 주어진 속성정보에 근거하여 얼굴화상을 검색한다. 속성을 사용한 얼굴화상의 검색 결과로부터 1매이상의 얼굴화상을 유저가 선택하고, 그 얼굴화상특징을 사용해서 얼굴화상의 검색을 행한다. 또한, 얼굴화상의 검색 결과로부터 1매이상의 얼굴화상을 유저가 선택하고, 그 얼굴화상특징과 관련지어 등록된 인체화상특징을 사용하여 인체화상의 검색을 행한다. 이렇게, 검색 결과와 관련된 다른 특징을 다단으로 사용하여 검색을 행한다.
제4의 실시예에 따른 정보처리장치의 하드웨어 구성은, 도 1과 같기 때문에, 그 설명은 생략한다. 이하, 본 실시예에 따른 정보처리장치의 기능 구성에 대해서, 도 10을 참조하여 설명한다. 이하, 본 실시예와 상기 제2의 실시예간의 다른 점에 대해서만 설명한다.
도 10은, 제4의 실시예에 따른 정보처리장치(1000)의 기능 구성 예를 나타내는 블록도다. 영상입력부(201) 내지 관련 정보 축적부(211), 얼굴화상 검색부(213), 검색 결과 선택부(514), 퀘리 선별부(215) 내지 검색 결과 표시부(219)는, 제2의 실시예의 도 6과 같기 때문에, 그 설명은 생략한다.
퀘리 입력부(1012)는, 검색에 사용하는 사람의 얼굴속성, 인체속성을 지정(입력)한다. 구체적으로는, 속성마다 표시된 항목을 선택한다. 일부의 속성의 지정이 생략될 수 있거나, 1개의 속성에 대하여 복수의 속성이 선택될 수 있다. 지정 방법은 이 방법에 한정되는 것이 아니다. 유저는 자연 언어로 데이터를 입력할 수 있고, 자연 언어해석을 행하여 그 데이터를 속성으로 변환할 수 있다.
통합부(1018)는, 제1의 실시예와 제2의 실시예에 따른 얼굴화상 검색 결과와 인체화상 검색 결과를 통합하고, 또한 속성검색부(1022)의 검색 결과에 얼굴화상 검색부(213)의 검색 결과를 통합하여서, 검색 결과를 갱신한다. 그 속성과 얼굴의 결과를 통합하기 위해, 얼굴화상 검색 결과와 관련된 속성이 퀘리와 다를 때, 얼굴화상 검색 결과로부터 그 속성을 삭제한다.
속성인식부(1020)는, 인물의 얼굴화상과 인체화상의 속성을 인식한다. 얼굴화상으로부터 얻어진 속성은, 연령, 성별, 인종, 머리 모양, 안경 유무, 및 마스크 유무를 포함한다. 얼굴속성을 인식하기 위해서는, 일본특허 제6202937호에 기재된 공개적으로 알려진 기술을 사용할 수 있다. 구체적으로, 얼굴화상 특징 산출부(206)로 산출된 얼굴화상특징을 서포트 벡터 머신(Support Vector Machine; ＳＶＭ)을 사용해서 학습함으로써 속성식별기를 작성해두고, 해당 식별기를 사용해서 속성을 인식한다. 인체화상으로부터 얻어진 속성은, 옷의 형상(블레이저, 스웨터, 팬츠, 스커트, 드레스 등), 옷의 색이나 무늬, 및 소지품(형상, 색)을 포함한다. 옷의 형상, 색이나 무늬를 인식하기 위해서는, 컴퓨터 비전 및 패턴 인식 컨퍼런스(CVPR)의 의사록, Z.Liu, P.Luo, S.Qiu, X.Wang, X.Tang. "Deepfashion: Powering robust clothes recognition and retrieval with richannotations"에 기재된 공개적으로 알려진 기술을 사용할 수 있다. 소지품을 인식하기 위해서는, 컴퓨터 비전 및 패턴 인식 2015. Shaoqing Ren, Kaiming He, Ross Girshick, Jian Sun: "Faster R-CNN: Towards real-time object detection with region proposal networks."에 기재된 공개적으로 알려진 기술을 사용할 수 있다. 이 기술들에 의하면, 인체화상으로부터 산출한 특징을 Ｄｅｅｐ Ｌｅａｒｎｉｎｇ을 사용해서 학습 함으로써 속성식별기를 작성해두고, 해당 식별기를 사용하여 그 속성을 인식한다.
속성축적부(1021)는, 속성인식부(1020)로 인식한, 얼굴속성과, 인체속성을 외부 기억장치(104)에 기억한다. 덧붙여, 속성의 메타데이터로서, 인물의 ＩＤ나, 인물을 추적할 때 사용된 추적 트랙ＩＤ, 촬영 시간, 및 촬영 카메라등의 정보를 얼굴화상특징과 관련지어 기억해둔다.
속성검색부(1022)는, 퀘리로서 주어진 속성정보에 근거하여, 속성축적부(1021)에 의해 외부 기억장치(104)에 기억되어 있는 속성과 일치하는 얼굴화상의 검색을 행한다. 또한, 검색 결과의 얼굴화상특징끼리를 비교하고, 얼굴화상특징의 유사도가 소정의 역치ＴＨ1이상의 얼굴화상을 그 검색 결과로서 특정한다. 유사도를 산출하는 경우에, 각 얼굴 특징점의 ＳＩＦＴ특징의 거리의 총합을 구하고, 거리의 총합의 역수를 정규화하여서 유사도를 구한다.
다음에, 본 실시예에 따른 정보처리장치(1000)의 처리 순서에 대해서 설명한다.
다음에, 영상입력부(201)로부터 입력된 영상 데이터를 검색가능하도록 축적하는 처리를, 도 11을 참조하여 상세히 설명한다.
도 11은, 본 실시예에 따른, 얼굴화상특징, 인체화상특징, 및 속성을 축적하는 처리 순서의 일례를 나타내는 흐름도다. 본 처리는, 상술한 영상입력부(201) 내지 관련 정보 축적부(211), 속성인식부(1020), 및 속성축적부(1021)에서 행한 처리에 대응하고, 그 처리의 상세한 설명은 생략한다.
도 11에 나타낸 단계S301 내지 단계S308은, 각각 도 3에 나타낸 단계S301 내지 단계S308과 같다.
단계S1101에서는, 속성인식부(1020)에 의해, 얼굴화상으로부터 속성을 추출한다.
단계S1102에서는, 얼굴화상 특징 축적부(207)에 의해 단계S308에서 산출된 얼굴화상특징을 외부 기억장치(104)에 기억하고, 속성축적부(1021)에 의해 단계S1101에서 추출된 얼굴속성을 외부 기억장치(104)에 기억한다. 덧붙여, 얼굴화상특징, 얼굴속성의 메타데이터로서, 인물ＩＤ나, 인물을 추적할 때의 추적 트랙ＩＤ, 촬영 시간, 및 촬영 카메라등의 정보를 얼굴화상특징 및 얼굴속성과 관련지어 기억해둔다.
도 11에 나타낸 단계S310 내지 단계S312는, 각각 도 3에 나타낸 단계S310 내지 단계S312와 같다.
단계S1103에서는, 속성인식부(1020)에 의해, 인체화상으로부터 속성을 추출한다.
단계S1104에서는, 인체화상 특징 축적부(210)에 의해 단계S312에서 산출된 얼굴화상특징을 외부 기억장치(104)에 기억하고, 속성축적부(1021)에 의해 단계S1103에서 추출된 인체속성을 외부 기억장치(104)에 기억한다. 덧붙여, 인체화상특징과 인체속성의 메타데이터로서, 인물ＩＤ나, 인물을 추적할 때 사용된 추적 트랙ＩＤ, 촬영 시간, 및 촬영 카메라등의 정보를 인체화상특징 및 인체속성과 관련지어 기억해둔다.
도 11에 나타낸 단계S314는, 도 3에 나타낸 단계S314와 같다.
단계S1105에 있어서, 관련 정보 축적부(211)는, 같은 인물로부터 산출된 얼굴화상특징, 인체화상특징, 얼굴속성, 및 인체속성을 관련시키는 관련 정보를 외부 기억장치(104)에 기억하고, 처리를 종료한다.
이하, 인물의 얼굴화상특징과 인체화상특징을 검색하는 처리 순서에 대해서, 도 12를을 참조하여 설명한다. 본 처리는, 상술한 도 10에 나타낸 퀘리 입력부(1012), 얼굴화상 검색부(213), 검색 결과 선택부(514), 퀘리 선별부(215) 내지 검색 결과 표시부(219), 검색 결과 선택부(514), 및 속성검색부(1022)에서 행한 처리에 대응하고, 그 처리의 상세한 설명은 생략한다.
도 12는, 본 실시예에 있어서, 인물의 얼굴화상 및 인체화상을 검색하는 처리 순서의 일례를 나타내는 흐름도다.
단계S1201에 있어서, 퀘리 입력부(1012)는, 검색에 사용하는 사람의 얼굴속성과 인체속성을 지정(입력)한다.
단계S1202에 있어서, 속성검색부(1022)는, 퀘리로서 주어진 속성정보에 근거하여, 속성축적부(1021)에 의해 외부 기억장치(104)에 기억된 속성과 일치하는 얼굴화상을 검색한다.
동일 인물의 복수의 화상이 등록되어 있을 경우, 속성 검색에 있어서 동일 인물에 대한 복수의 결과가 출력된다. 이를 피하기 위해서, 제3의 실시예에 따른 단계S905 내지 S909의 처리를 실시할 수 있다. 구체적으로, 검색 결과의 얼굴화상특징끼리를 비교할 수 있고, 얼굴화상특징의 유사도가 소정의 역치ＴＨ4이상인 얼굴화상이 있으면, 비교된 얼굴화상특징의 하나를, 상기 속성 검색 결과로부터 삭제할 수 있다. 그 유사도를 산출하는 경우에, 각 얼굴 특징점의 ＳＩＦＴ특징의 거리의 총합을 구하고, 거리의 총합의 역수를 정규화하여, 유사도를 구한다.
단계S1203에 있어서, 검색 결과 표시부(219)는, 단계S1202에서 얻어진 얼굴화상의 검색 결과를 모니터(110)에 표시한다.
단계S1204에 있어서, 검색 결과 선택부(514)는, 모니터(110)에 표시된 얼굴화상의 검색 결과로부터 1매이상의 얼굴화상을 선택한다. 이 처리에서는, 유저가 입력 디바이스(109)로부터 얼굴화상을 선택하고, 검색 결과 선택부(514)는, 입력 디바이스 인터페이스(105)를 통해 유저의 지시에 근거하여, 얼굴화상을 선택한다.
도 12에 나타낸 단계S404는, 도 7에 나타낸 단계S404와 같다.
단계S1205에 있어서, 통합부(218)는, 단계S1202의 속성검색의 검색 결과와, 단계S404의 얼굴화상 검색의 검색 결과를 통합한다.
도 12에 나타낸 단계S701 내지 단계S413은, 도 7에 나타낸 단계S701 내지 단계S413과 같다.
단계S1206에 있어서, 검증부(217)는, 외부 기억장치(104)에 축적된 관련 정보에 근거하여, 처리 대상의 인체화상에 대한 인체화상특징과 관련된 얼굴화상특징이 외부 기억장치(104)에 기억되어 있는 것인가 아닌가를 판정한다. 또한, 검증부(217)는, 처리 대상의 인체화상에 대한 인체화상특징과 관련된 속성정보가 외부 기억장치(104)에 기억되어 있는 것인가 아닌가를 판정한다. 이 판정의 결과, 상기 관련된 얼굴화상특징과 상기 관련된 속성정보의 모두가 외부 기억장치(104)에 기억되지 않고 있는 경우는(단계S1206에서 NO), 단계S413의 처리로 되돌아가, 다음 인체화상에 관해 처리를 행한다. 상기 관련된 얼굴화상특징과 상기 관련된 속성정보 중 하나가 외부 기억장치(104)에 기억되어 있을 경우는(단계S1206에서 YES), 단계S1207의 처리로 진행된다.
단계S1207에 있어서, 검증부(217)는, 얼굴화상특징이 기억되어 있을 경우는, 외부 기억장치(104)로부터 얼굴화상특징을 취득하고, 이 취득된 얼굴화상특징을 단계S1204에서 선택된 얼굴화상 검색의 퀘리의 얼굴화상특징과 비교하여, 유사도를 구한다. 또한, 속성정보가 기억되어 있을 경우는, 외부 기억장치(104)로부터 속성정보를 취득하고, 그 취득된 속성정보를 단계S1201에서 입력된 속성정보와 비교한다.
단계S1208에 있어서, 검증부(217)는, 단계S1207에서 산출한 유사도가 소정의 역치ＴＨ3보다 낮은 것인가 아닌가, 또는 속성정보가 동일한지를 판정한다. 이 판정의 결과, 유사도가 소정의 역치ＴＨ3이상이고 속성정보가 동일할 경우는(단계S1208에서 NO), 단계S413의 처리로 되돌아가, 다음 인체화상에 관해 처리를 행한다. 유사도가 소정의 역치ＴＨ3미만일 경우, 혹은, 속성이 다른 경우는, 단계S417의 처리로 진행된다.
도 12에 나타낸 단계S417 내지 단계S419는, 도 7에 나타낸 단계S404 내지 단계S413과 같다.
이상과 같이, 본 실시예에 의하면, 감시 카메라에 의해 촬영된 영상중의 인물의 화상으로부터 얼굴화상특징과 인체화상특징을 추출하고, 또한, 인물의 화상을 인식해서 얻은 속성정보나 소지품등의 정보를 추출하고 나서, 이 특징들을 화상과 관련시켜 기억했다. 검색의 경우에, 퀘리로서 주어진 속성정보에 근거하여 얼굴화상을 검색했다. 속성에 의한 얼굴화상의 검색 결과로부터 1매이상의 얼굴화상을 유저가 선택하고, 그 얼굴화상특징을 사용해서 얼굴화상의 검색을 행했다. 더욱, 얼굴화상의 검색 결과로부터 1매이상의 얼굴화상을 유저가 선택하고, 그 얼굴화상특징과 관련지어 등록된 인체화상특징을 사용하여 인체화상의 검색을 행했다. 이렇게, 검색 결과와 관련된 다른 특징을 다단에 사용해서 검색을 행한다. 이러한 구성에 의해, 퀘리로서 속성정보가 주어졌을 때에, 얼굴화상의 검색과 인체화상의 검색이 행해질 수 있다.
본 실시예에서는, 얼굴화상특징, 인체화상특징, 및 속성정보를 사용하여, 3단의 검색처리를 실시하지만, 본 발명은 이 처리에 한정되는 것이 아니다. 보행 특징, 차량, 동작등을 제4, 제5, 제6의 특징으로서 사용하는 것도 가능하다. 본 실시예에서는, 모든 속성정보를 일괄하여 취급한다. 또는, 얼굴화상으로부터 얻어진 속성, 인체화상으로부터 얻어진 속성, 소지품등을 별개의 특징으로서 취급할 수 있다. 이 특징들을, 다단으로 조합하여, 검색을 행하는 것이 가능하다. 또한, 동행자의 특징을 다단으로 조합하여, 검색을 행하는 것도 가능하다.
상기 제1 내지 제4의 실시예에서는, 감시 카메라에 의해 촬영된 영상중의 인물을 추적해서 얻어진 일련의 동일 인물의 화상으로부터 얼굴화상특징과 인체화상특징을 추출하고, 이 특징들을 관련지어 기억했다. 제5의 실시예에서는, 인물의 추적을 행하지 않고, 감시 카메라에 의해 촬영된 영상의 프레임 화상으로부터 인물의 얼굴화상과 인체화상을 얻을 때, 얼굴화상특징과 인체화상특징을 관련시켜 기억했다.
제5의 실시예에 따른 정보처리장치의 하드웨어 구성은, 도 1과 같기 때문에, 그 설명은 생략한다. 본 실시예에 따른 정보처리장치의 기능 구성에 대해서, 도 13을 참조하여 설명한다. 이하, 본 실시예와 상기 제2의 실시예와 다른 점에 대해서만 설명한다.
도 13은, 제5의 실시예에 따른 정보처리장치(1300)의 기능 구성 예를 나타내는 블록도다. 본 구성은, 도 6에 나타낸 구성으로부터 추적 처리부(203)와 대표 얼굴화상 결정부(205)를 생략한 구성에 해당한다.
얼굴검출부(204)는, 영상입력부(201)에 의해 수신된 영상의 프레임 화상으로부터 얼굴검출을 직접 행한다. 본 실시예에서는 대표 얼굴화상을 선택하지 않고, 얼굴화상 특징 산출부(206)는, 얼굴검출부(204)로 검출된 모든 얼굴화상에 대하여, 얼굴화상특징의 산출을 행한다. 인체영역 검출부(208)는, 영상입력부(201)에 의해 수신된 영상의 프레임 화상으로부터 인체영역의 검출을 직접 행한다.
다음에, 본 실시예에 따른 정보처리장치(1300)의 처리 순서에 대해서 상세히 설명한다. 인물의 얼굴화상 및 인체화상을 검색하는 처리 순서는 도 7과 같기 때문에, 그 설명은 생략한다. 얼굴화상특징 및 인체화상특징을 외부 기억장치(104)에 축적하는 처리 순서에 대해서, 도 14를 참조하여 설명한다.
도 14는, 본 실시예에 따른, 얼굴화상특징 및 인체화상특징을 외부 기억장치(104)에 축적하는 처리 순서의 일례를 나타내는 흐름도다.
우선, 단계S301 내지 단계S302는, 각각 도 3에 나타낸 단계S301 내지 단계S302와 같다.
단계S1401에 있어서, 얼굴검출부(204)는, 영상입력부(201)에 의해 수신된 영상의 프레임 화상으로부터 얼굴검출을 직접 행한다. 다음 단계S306은, 도 3에 나타낸 단계S306과 같다. 얼굴이 검출되었을 경우는(단계S306에서 YES), 단계S1402의 처리로 진행된다.
단계S1402에 있어서, 얼굴화상 특징 산출부(206)는, 단계S1401에서 검출된 얼굴화상으로부터 얼굴화상특징의 산출을 행한다.
단계S1403에 있어서, 얼굴화상 특징 축적부(207)는, 단계S1401에서 산출된 얼굴화상특징을 외부 기억장치(104)에 기억한다. 덧붙여, 얼굴화상특징의 메타데이터로서, 인물ＩＤ나, 촬영 시간, 촬영 카메라등의 정보를 얼굴화상특징과 관련지어 기억해둔다. 본 실시예에서는, 추적 처리가 행해지지 않기 때문에, 추적 트랙ＩＤ가 상기 메타데이터에 포함되지 않는다.
단계S1404에 있어서, 인체영역 검출부(208)는, 영상입력부(201)에 의해 수신된 영상의 프레임 화상으로부터 인체영역의 검출을 직접 행한다. 단계S311 내지 단계S312는, 각각 도 3에 나타낸 단계S311 내지 단계S312와 같다.
단계S1405에 있어서, 인체화상 특징 축적부(210)는, 단계S312에서 산출된 인체화상특징을 외부 기억장치(104)에 기억한다. 덧붙여, 인체화상특징의 메타데이터로서, 인물ＩＤ나, 촬영 시간, 촬영 카메라등의 정보를 인체화상특징과 관련지어 기억해둔다. 본 실시예에서는 추적 처리가 행해지지 않기 때문에, 추적 트랙ＩＤ가 메타데이터에 포함되지 않는다.
단계S1406에 있어서, 관련 정보 축적부(211)는, 단계S1401에서 검출된 얼굴과, 단계S1404에서 검출된 인체에서 인물이 일치하는 조합이 존재하는 것인가 아닌가를 판정한다. 예를 들면, 얼굴화상특징 및 인체화상특징의 메타데이터를 참조하여서, 인물ＩＤ나, 촬영 시간, 촬영 카메라등의 정보에 근거하여, 상기 검출된 얼굴과 인체가 종합적으로 그 인물과 일치하는 것인가 아닌가를 판정한다. 이 판정의 결과, 인물이 일치하는 조합이 존재할 경우는(단계S1406에서 YES), 단계S315의 처리로 진행된다. 인물이 일치하는 조합이 존재하지 않을 경우는(단계S1406에서 NO), 그 처리를 종료한다. 단계S315는, 도 3에 나타낸 단계S315와 같다.
이상과 같이, 본 실시예에 의하면, 인물의 추적을 행하지 않고, 감시 카메라에 의해 촬영된 영상의 프레임 화상으로부터 인물의 얼굴화상과 인체화상을 얻었을 때에, 얼굴화상특징과 인체화상특징을 관련시켜 기억했다. 인물을 추적하는 경우에는, 높은 프레임 레이트의 영상이 요구된다. 그렇지만, 본 실시예에서는, 높은 프레임 레이트의 영상이 불필요해져, 영상해석 처리와 네트워크 부하를 감소하게 된다. 1매의 정지 화상으로부터 복수의 특징량을 추출함으로써, 같은 검색을 행할 수 있다.
상술한 제1∼제3의 실시예에서는, 1개의 카메라로 촬영된 인물의 화상으로부터 얼굴화상특징과 인체화상특징을 추출하고, 이 특징들을 관련시켜 기억했다. 한편, 복수의 감시 카메라가 설치되어 있으면, 시야를 중복시켜서 같은 장소의 화상을 그 카메라들로 촬영하여도 된다. 이 경우에, 같은 장소에 대하여, 복수의 영상이 얻어진다. 구체적으로, 그 장소에 인물이 있을 때에는, 전방으로부터 촬영된 영상, 후방으로부터 촬영된 영상, 분명한 얼굴을 포함하는 영상, 및 얼굴 화상이 흐릿하고 전신 화상이 분명한 영상 등의 화상들이, 얻어질 수도 있다. 삼각측량의 원리를 이용하여서, 그 영상들에 포함된 인물을 동일 인물로서 동정할 수 있다. 이에 따라, 복수의 카메라로부터 얻어진 동일 인물의 얼굴화상특징과 인체화상특징을 관련시켜 기억할 수 있다. 이러한 구성에 의해, 얼굴화상특징과 인체화상특징을 다른 화각의 화상과 보다 정밀하게 관련시킬 수 있다.
M.Farenzena 등에 기재된 것과 같은 카메라간의 인물 추적 기술을 이용함으로써, 복수의 카메라에 의해 촬영된 화상 중에서 동일 인물을 동정할 수 있다. 또한, 이 경우에, 관련 정보 축적부(211)는, 복수의 카메라로부터 얻어진 동일 인물의 얼굴화상특징과 인체화상특징을, 이 화상들이 서로 관련되도록 기억할 수 있다. 다른 카메라로부터 얻어진 얼굴화상과 인체화상의 인물 화상이 동일 인물의 화상으로서 동정될 수 있다. 이에 따라, 그 화상들의 일부를 검색할 수 있으면, 일련의 화상은 동일 인물의 화상으로서 간주될 수 있다. 따라서, 여러 가지의 카메라로부터의 검출률을 상승시킬 수 있다.
전술한 실시예들은 오브젝트로서 인물을 검출하는 일례를 나타내고, 얼굴화상은 식별 성능이 높은 특징으로서 사용되고 인체화상은 식별 성능이 낮은 특징으로서 사용된다. 그렇지만, 본 발명에 있어서, 상기 오브젝트는 인물에 한정되지 않는다. 예를 들면, 본 발명은, 개나 고양이등의 동물이나, 차등의 차량에 적용되어도 좋다. 동물에 본 발명을 적용할 경우는, 얼굴화상, 몸의 모양이나 의복을 식별 성능이 높은 특징으로서 사용하고, 전체적인 형상이나 색을 식별 성능이 낮은 특징으로서 사용할 수 있다. 차에 본 발명을 적용할 경우는, 식별 번호 주변의 영역의 화상을 식별 성능이 높은 특징으로서 사용하고, 전체적인 형상이나 색을 식별 성능이 낮은 특징으로서 사용할 수 있다. 본 발명은, 퀘리 화상에 포함된 오브젝트와 동일한 오브젝트를 검색하는 경우에 한정되지 않지만, 대신에 유사한 오브젝트를 검색하는 구조에 적용될 수 있다. 예를 들면, 오브젝트가 동물이면, 동물과 동일하지 않지만 같은 종류의 동물을 검색할 수 있다. 오브젝트가 차이면, 그 차가 아니지만, 예를 들면 동일 차종에서 동일색의 차를 검색할 수 있게 된다.
또한, 본 발명은, 상술한 실시예에 따른 1이상의 기능을 실현하는 프로그램을, 네트워크 또는 기억 매체를 통해 시스템 또는 장치에 공급하고, 그 시스템 또는 장치의 컴퓨터에 있어서의 1개이상의 프로세서가 그 프로그램을 판독해 실행하도록 실현될 수 있다. 또한, 본 발명은, 상술한 실시예들에 따른 1이상의 기능을 실현하는 회로(예를 들면, 특정 용도 지향 집적회로(ＡＳＩＣ))에 의해서 실현될 수 있다.
본 발명에 의하면, 오브젝트의 특징을 효과적으로 조합하여서 주목 오브젝트를 정밀하게 검색할 수 있다.
그 밖의 실시예
또한, 본 발명의 실시예(들)는, 기억매체(보다 완전하게는 '비일시적 컴퓨터 판독 가능한 기억매체'라고도 함)에 레코딩된 컴퓨터 실행가능한 명령어들(예를 들면, 하나 이상의 프로그램)을 판독하고 실행하여 상술한 실시예(들)의 하나 이상의 기능을 수행하는 것 및/또는 상술한 실시예(들)의 하나 이상의 기능을 수행하기 위한 하나 이상의 회로(예를 들면, 특정 용도 지향 집적회로(ASIC))를 구비하는 것인, 시스템 또는 장치를 갖는 컴퓨터에 의해 실현되고, 또 예를 들면 상기 기억매체로부터 상기 컴퓨터 실행가능한 명령어를 판독하고 실행하여 상기 실시예(들)의 하나 이상의 기능을 수행하는 것 및/또는 상술한 실시예(들)의 하나 이상의 기능을 수행하는 상기 하나 이상의 회로를 제어하는 것에 의해 상기 시스템 또는 상기 장치를 갖는 상기 컴퓨터에 의해 행해지는 방법에 의해 실현될 수 있다. 상기 컴퓨터는, 하나 이상의 프로세서(예를 들면, 중앙처리장치(CPU), 마이크로처리장치(MPU))를 구비하여도 되고, 컴퓨터 실행 가능한 명령어를 판독하여 실행하기 위해 별개의 컴퓨터나 별개의 프로세서의 네트워크를 구비하여도 된다. 상기 컴퓨터 실행가능한 명령어를, 예를 들면 네트워크나 상기 기억매체로부터 상기 컴퓨터에 제공하여도 된다. 상기 기억매체는, 예를 들면, 하드 디스크, 랜덤액세스 메모리(RAM), 판독전용 메모리(ROM), 분산형 컴퓨팅 시스템의 스토리지, 광디스크(콤팩트 디스크(CD), 디지털 다기능 디스크(DVD) 또는 블루레이 디스크(BD)TM등), 플래시 메모리 소자, 메모리 카드 등 중 하나 이상을 구비하여도 된다.
본 발명을 실시예들을 참조하여 기재하였지만, 본 발명은 상기 개시된 실시예들에 한정되지 않는다는 것을 알 것이다. 아래의 청구항의 범위는, 모든 변형예, 동등한 구조 및 기능을 포함하도록 폭 넓게 해석해야 한다.

Claims (32)

  1. 검색 대상을 포함하는 퀘리 화상으로부터 제1의 특징을 취득하는 제1의 취득부;
    상기 제1의 취득부에 의해 취득된 상기 제1의 특징에 근거하여, 복수의 영상으로부터 상기 검색 대상을 포함하는 영상을 검출하여 상기 검색 대상을 검색하는 제1의 검색부;
    상기 제1의 검색부에 의해 검출된 상기 검색 대상을 포함하는 영상으로부터 제2의 특징을 취득하는 제2의 취득부; 및
    상기 제2의 취득부에 의해 취득된 상기 제2의 특징에 근거하여, 상기 제1의 검색부에 의해 상기 검색 대상이 검출되지 않은 적어도 하나의 영상을 포함하는 상기 복수의 영상으로부터 상기 검색 대상을 검색하는 제2의 검색부를 구비하고,
    상기 검색 대상은 인물에 해당하고,
    상기 제1의 특징은, 얼굴화상으로부터 얻어진 특징, 인체화상으로부터 얻어진 특징, 인물의 소지품으로부터 얻어진 특징, 및 인물로부터 얻어진 속성 중 어느 하나이고,
    상기 제2의 특징은, 상기 제1의 특징에 대응하는 특징을 제외한, 상기 얼굴화상으로부터 얻어진 특징, 상기 인체화상으로부터 얻어진 특징, 상기 인물의 소지품으로부터 얻어진 특징, 및 상기 인물로부터 얻어진 속성 중 어느 하나인, 정보처리장치.
  2. 제 1 항에 있어서,
    상기 제2의 검색부는, 상기 제2의 검색부의 검색 결과를 상기 제1의 검색부의 검색 결과에 통합함으로써, 상기 제1의 검색부의 검색 결과를 갱신하는, 정보처리장치.
  3. 제 1 항에 있어서,
    상기 제2의 취득부는 대상을 포함하는 영상으로부터 취득된 특징과 상기 제1의 특징 간의 유사도가 제1의 역치보다 큰 대상으로부터 제2의 특징을 취득하는, 정보처리장치.
  4. 제 2 항에 있어서,
    상기 제1의 특징에 근거하여 산출된 제1의 유사도와 상기 제2의 특징에 근거하여 산출된 제2의 유사도를 사용하여, 상기 제1의 유사도와 상기 제2의 유사도와의 사이의 변환식을 생성하는 생성부; 및
    상기 변환식을 사용하여, 상기 제1의 검색부 및 상기 제2의 검색부 중 한쪽만의 상기 검색 결과에 포함된 상기 영상에서 상기 검색 대상에 대한 상기 제1의 유사도 또는 상기 제2의 유사도를 산출하는 제1의 산출부를 더 구비하고,
    상기 제2의 검색부는, 상기 제1의 유사도 또는 상기 제2의 유사도의 적어도 한쪽을 사용해서 상기 제1의 검색부의 상기 검색 결과를 갱신하는, 정보처리장치.
  5. 제 4 항에 있어서,
    상기 제1의 검색부에서 검출되지 않은 검색 대상과 관련된 상기 제1의 특징이 상기 제2의 검색부의 검색 결과에 포함되는 경우, 상기 제1의 유사도를 산출하는 제1의 비교부; 및
    상기 제2의 검색부에서 검색되지 않은 검색 대상과 관련된 상기 제2의 특징이 상기 제1의 검색부의 검색 결과에 포함되는 경우, 상기 제2의 유사도를 산출하는 제2의 비교부를 더 구비하는, 정보처리장치.
  6. 제 5 항에 있어서,
    상기 생성부는, 상기 제1의 비교부에 의해 산출된 상기 제1의 유사도와 상기 제2의 비교부에 의해 산출된 상기 제2의 유사도를 사용해서, 상기 변환식을 생성하는, 정보처리장치.
  7. 제 4 항에 있어서,
    상기 생성부는, 상기 제1의 유사도와 상기 제2의 유사도 간의 산포도 및 근사식을 생성함으로써, 상기 변환식을 생성하는, 정보처리장치.
  8. 제 4 항에 있어서,
    상기 제1의 유사도와 상기 제2의 유사도를 사용해서, 통합 유사도를 산출하는 제2의 산출부를 더 구비하고,
    상기 제2의 검색부는, 상기 통합 유사도를 사용해서 상기 제1의 검색부의 검색 결과를 갱신하는, 정보처리장치.
  9. 제 4 항에 있어서,
    상기 제2의 검색부는, 변별성이 보다 높은 상기 제1의 유사도 또는 상기 제2의 유사도를 사용해서, 상기 제1의 검색부의 검색 결과를 갱신하는, 정보처리장치.
  10. 제 1 항에 있어서,
    상기 제1의 검색부는, 상기 제1의 취득부에 의해 취득된 제1의 특징과의 유사도가 역치이상인 특징을 사용해서, 상기 검색 대상을 검색하는, 정보처리장치.
  11. 제 1 항에 있어서,
    상기 제2의 검색부는, 상기 제1의 검색부의 검색 결과로부터 유저에 의해 지정된 특징을 사용하는, 정보처리장치.
  12. 제 3 항에 있어서,
    상기 제1의 특징, 상기 제2의 특징, 및 상기 영상을, 상기 제1의 특징, 상기 제2의 특징, 및 상기 영상이 상기 영상의 취득 장소와 상기 영상의 취득 시간 중 적어도 한쪽과 관련되는 방식으로 기억하는 기억부를 더 구비하는, 정보처리장치.
  13. 제 12 항에 있어서,
    상기 제2의 검색부는, 상기 제2의 취득부에 의해 취득된 제2의 특징과 관련된 취득 장소와 취득 정보 중 적어도 한쪽에 근거하여, 검색 대상을 검색하는, 정보처리장치.
  14. 제 12 항에 있어서,
    상기 제2의 검색부는, 상기 제2의 특징과 관련된 취득 장소와 취득 정보 중 적어도 한쪽에 근거하여, 상기 제1의 검색부의 검색 결과를 갱신하는, 정보처리장치.
  15. 제 14 항에 있어서,
    상기 제2의 검색부는, 상기 제1의 특징 및 상기 제2의 특징 각각과는 다른 제3의 특징을 사용해서 상기 검색 대상을 대한 제3의 검색을 행하고, 상기 제3의 검색의 검색 결과를 사용해서 상기 제1의 검색부의 검색 결과를 갱신하는, 정보처리장치.
  16. 제 12 항에 있어서,
    상기 기억부는, 추적된 검색 대상과 관련된 제1의 특징 및 제2의 특징을 기억하는, 정보처리장치.
  17. 제 16 항에 있어서,
    상기 기억부는, 카메라의 시야가 서로 중복하도록 설치된 복수의 카메라로부터 얻어진 영상에 상기 검색 대상의 제1의 특징 및 제2의 특징을 기억하는, 정보처리장치.
  18. 제 12 항에 있어서,
    상기 제2의 특징과 관련된 제1의 특징을 기억부로부터 취득하는 제3의 취득부; 및
    상기 제3의 취득부에 의해 취득된 제1의 특징과, 상기 제1의 취득부에 의해 취득된 제1의 특징을 비교함으로써, 상기 제2의 검색부의 검색 결과를 검증하는 검증부를 더 구비하는, 정보처리장치.
  19. 제 18 항에 있어서,
    상기 검증부는, 상기 제3의 취득부에 의해 취득된 제1의 특징과 상기 퀘리 화상에 의해 취득된 제1의 특징 간의 유사도가 역치보다도 낮을 경우에, 상기 제2의 검색부의 검색 결과로부터 상기 제2의 특징을 삭제하는, 정보처리장치.
  20. 제 19 항에 있어서,
    상기 제2의 특징의 변별성이 역치보다 높을 경우에, 상기 제2의 취득부에 의해 취득된 복수의 제2의 특징끼리를 비교하는 비교부를 더 구비하고,
    상기 검증부는, 상기 비교부에 의해 산출된 유사도가 역치보다도 높을 경우에, 상기 제2의 특징 중 하나와 관련된 제1의 특징을, 상기 제1의 검색부의 검색 결과로부터 삭제하는, 정보처리장치.
  21. 제 1 항에 있어서,
    갱신부에 의해 갱신된 상기 제1의 검색부의 검색 결과를 나타내는 영상을 표시장치에 표시하는 표시부를 더 구비하는, 정보처리장치.
  22. 제 21 항에 있어서,
    상기 표시부는, 상기 제1의 검색부의 검색 결과와 상기 제2의 검색부의 검색 결과를 다른 표시 형태로 표시하는, 정보처리장치.
  23. 제 21 항에 있어서,
    상기 표시부는, 상기 제1의 검색부의 검색 결과와 상기 제2의 검색부의 검색 결과를 다른 표시장치에 표시하는, 정보처리장치.
  24. 제 21 항에 있어서,
    상기 표시부는, 동일한 표시장치에 상기 제1의 검색부의 검색 결과와 상기 제2의 검색부의 검색 결과를 표시하는 형태와, 다른 표시장치에 상기 제1의 검색부의 검색 결과와 상기 제2의 검색부의 검색 결과를 표시하는 형태를 전환하는, 정보처리장치.
  25. 삭제
  26. 삭제
  27. 제 1 항에 있어서,
    상기 제1의 특징은 상기 검색 대상의 얼굴을 나타내고,
    상기 제2의 특징은 상기 검색 대상의 인체를 나타내는, 정보처리장치.
  28. 제 1 항에 있어서,
    상기 제1의 특징은 상기 검색 대상의 얼굴을 나타내고,
    상기 제2의 특징은 상기 검색 대상의 속성정보를 나타내는, 정보처리장치.
  29. 제 1 항에 있어서,
    상기 제1의 특징은 상기 검색 대상의 속성정보를 나타내고,
    상기 제2의 특징은 상기 검색 대상의 얼굴을 나타내는, 정보처리장치.
  30. 제 1 항에 있어서,
    상기 제2의 특징은 상기 제1의 특징이 상기 퀘리 화상에서 취득되는 영역과는 다른 영역으로부터 취득되는, 정보처리장치.
  31. 제1의 취득부를 사용하여, 검색 대상을 포함하는 퀘리 화상으로부터 제1의 특징을 취득하는 제1의 취득단계;
    제1의 검색부를 사용하여, 상기 제1의 취득부에 의해 취득된 상기 제1의 특징에 근거하여, 복수의 영상으로부터 상기 검색 대상을 포함하는 영상을 검출하여 상기 검색 대상을 검색하는 제1의 검색단계;
    제2의 취득부를 사용하여, 상기 제1의 검색부에 의해 검출된 상기 검색 대상을 포함하는 영상으로부터 제2의 특징을 취득하는 제2의 취득단계; 및
    제2의 검색부를 사용하여, 상기 제2의 취득부에 의해 취득된 상기 제2의 특징에 근거하여, 상기 제1의 검색부에 의해 상기 검색 대상이 검출되지 않은 적어도 하나의 영상을 포함하는 상기 복수의 영상으로부터 상기 검색 대상을 검색하는 제2의 검색단계를 포함하고,
    상기 검색 대상은 인물에 해당하고,
    상기 제1의 특징은, 얼굴화상으로부터 얻어진 특징, 인체화상으로부터 얻어진 특징, 인물의 소지품으로부터 얻어진 특징, 및 인물로부터 얻어진 속성 중 어느 하나이고,
    상기 제2의 특징은, 상기 제1의 특징에 대응하는 특징을 제외한, 상기 얼굴화상으로부터 얻어진 특징, 상기 인체화상으로부터 얻어진 특징, 상기 인물의 소지품으로부터 얻어진 특징, 및 상기 인물로부터 얻어진 속성 중 어느 하나인, 정보처리방법.
  32. 정보처리방법을 컴퓨터에 실행시키기 위한 프로그램을 기억하는 비일시적 컴퓨터 판독 가능한 기억 매체로서, 상기 정보처리방법은,
    제1의 취득부를 사용하여, 검색 대상을 포함하는 퀘리 화상으로부터 제1의 특징을 취득하는 제1의 취득단계;
    제1의 검색부를 사용하여, 상기 제1의 취득부에 의해 취득된 상기 제1의 특징에 근거하여, 복수의 영상으로부터 상기 검색 대상을 포함하는 영상을 검출하여 상기 검색 대상을 검색하는 제1의 검색단계;
    제2의 취득부를 사용하여, 상기 제1의 검색부에 의해 검출된 상기 검색 대상을 포함하는 영상으로부터 제2의 특징을 취득하는 제2의 취득단계; 및
    제2의 검색부를 사용하여, 상기 제2의 취득부에 의해 취득된 상기 제2의 특징에 근거하여, 상기 제1의 검색부에 의해 상기 검색 대상이 검출되지 않은 적어도 하나의 영상을 포함하는 상기 복수의 영상으로부터 상기 검색 대상을 검색하는 제2의 검색단계를 포함하고,
    상기 검색 대상은 인물에 해당하고,
    상기 제1의 특징은, 얼굴화상으로부터 얻어진 특징, 인체화상으로부터 얻어진 특징, 인물의 소지품으로부터 얻어진 특징, 및 인물로부터 얻어진 속성 중 어느 하나이고,
    상기 제2의 특징은, 상기 제1의 특징에 대응하는 특징을 제외한, 상기 얼굴화상으로부터 얻어진 특징, 상기 인체화상으로부터 얻어진 특징, 상기 인물의 소지품으로부터 얻어진 특징, 및 상기 인물로부터 얻어진 속성 중 어느 하나인, 비일시적 컴퓨터 판독 가능한 기억 매체.
KR1020210090329A 2017-05-23 2021-07-09 정보처리장치, 정보처리방법 및 기억매체 KR102415632B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017101743 2017-05-23
JPJP-P-2017-101743 2017-05-23
KR1020180056846A KR20180128350A (ko) 2017-05-23 2018-05-18 정보처리장치, 정보처리방법 및 기억매체

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020180056846A Division KR20180128350A (ko) 2017-05-23 2018-05-18 정보처리장치, 정보처리방법 및 기억매체

Publications (2)

Publication Number Publication Date
KR20210090139A KR20210090139A (ko) 2021-07-19
KR102415632B1 true KR102415632B1 (ko) 2022-07-01

Family

ID=62067543

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020180056846A KR20180128350A (ko) 2017-05-23 2018-05-18 정보처리장치, 정보처리방법 및 기억매체
KR1020210090329A KR102415632B1 (ko) 2017-05-23 2021-07-09 정보처리장치, 정보처리방법 및 기억매체

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020180056846A KR20180128350A (ko) 2017-05-23 2018-05-18 정보처리장치, 정보처리방법 및 기억매체

Country Status (5)

Country Link
US (1) US10755080B2 (ko)
EP (1) EP3418944B1 (ko)
JP (2) JP7130425B2 (ko)
KR (2) KR20180128350A (ko)
CN (1) CN108933925B (ko)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109426785B (zh) * 2017-08-31 2021-09-10 杭州海康威视数字技术股份有限公司 一种人体目标身份识别方法及装置
JP6760318B2 (ja) * 2018-03-14 2020-09-23 オムロン株式会社 顔画像識別システム、識別器生成装置、識別装置、画像識別システム、及び識別システム
US11138418B2 (en) * 2018-08-06 2021-10-05 Gal Zuckerman Systems and methods for tracking persons by utilizing imagery data captured by on-road vehicles
CN113454634A (zh) * 2018-12-27 2021-09-28 日本电气株式会社 信息处理系统、信息处理装置、信息处理方法和程序
JP7238902B2 (ja) 2018-12-27 2023-03-14 日本電気株式会社 情報処理装置、情報処理方法、およびプログラム
JP6778736B2 (ja) * 2018-12-28 2020-11-04 富士通クライアントコンピューティング株式会社 判定装置およびプログラム
CN109839614B (zh) * 2018-12-29 2020-11-06 深圳市天彦通信股份有限公司 固定式采集设备的定位系统及方法
CN111524160A (zh) * 2019-02-01 2020-08-11 深圳市商汤科技有限公司 轨迹信息获取方法及装置、电子设备和存储介质
CN111814510B (zh) * 2019-04-10 2024-04-05 杭州海康威视数字技术股份有限公司 一种遗留物主体检测方法及装置
CN110245679B (zh) * 2019-05-08 2021-12-28 北京旷视科技有限公司 图像聚类方法、装置、电子设备及计算机可读存储介质
JP7057324B2 (ja) * 2019-07-10 2022-04-19 Kddi株式会社 認識装置、プログラム及び構築装置
CN110458130B (zh) * 2019-08-16 2022-12-06 百度在线网络技术（北京）有限公司 人物识别方法、装置、电子设备及存储介质
CN110705477A (zh) * 2019-09-30 2020-01-17 深圳市商汤科技有限公司 行为分析方法、装置、电子设备和计算机存储介质
CN110852269B (zh) * 2019-11-11 2022-05-20 青岛海信网络科技股份有限公司 一种基于特征聚类的跨镜头人像关联分析方法及装置
CN110909651B (zh) * 2019-11-15 2023-12-26 腾讯科技（深圳）有限公司 视频主体人物的识别方法、装置、设备及可读存储介质
CN111523383B (zh) * 2020-03-19 2023-04-07 创新奇智(北京)科技有限公司 基于行人ReID的无感知人脸识别系统及识别方法
WO2021225001A1 (ja) * 2020-05-08 2021-11-11 富士通株式会社 識別方法、生成方法、識別プログラム及び識別装置
JP7239623B2 (ja) * 2021-02-26 2023-03-14 Ｎｅｃパーソナルコンピュータ株式会社 情報処理装置及び画像検出方法
WO2023281620A1 (ja) * 2021-07-06 2023-01-12 日本電気株式会社 映像処理システム、映像処理方法及び非一時的なコンピュータ可読媒体
KR20230029258A (ko) 2021-08-24 2023-03-03 한국과학기술연구원 다중 카메라에서 대상 객체를 추적하기 위한 질의 정보를 업데이트하는 방법 및 이를 수행하는 다중 카메라 시스템
CN117611600B (zh) * 2024-01-22 2024-03-29 南京信息工程大学 一种图像分割方法、系统、存储介质及设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001099625A (ja) * 1999-09-30 2001-04-13 Dainippon Screen Mfg Co Ltd パターン検査装置およびパターン検査方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS57168847A (en) 1981-04-10 1982-10-18 Hitachi Ltd Process control method
EP1217574A3 (en) 2000-12-19 2004-05-19 Matsushita Electric Industrial Co., Ltd. A method for lighting- and view-angle-invariant face description with first- and second-order eigenfeatures
JP4467838B2 (ja) 2001-06-15 2010-05-26 パナソニック株式会社 画像認識装置および画像認識方法
CN1916931A (zh) 2005-08-19 2007-02-21 上海正电科技发展有限公司 街面监控视频中搜索指定特征人像方法
US20070237387A1 (en) 2006-04-11 2007-10-11 Shmuel Avidan Method for detecting humans in images
JP5358083B2 (ja) * 2007-11-01 2013-12-04 株式会社日立製作所 人物画像検索装置及び画像検索装置
JP4945477B2 (ja) 2008-02-21 2012-06-06 株式会社日立国際電気 監視システム、人物検索方法
JP2010165156A (ja) 2009-01-15 2010-07-29 Canon Inc 画像処理装置、方法及びプログラム
JP5444137B2 (ja) 2010-06-18 2014-03-19 株式会社東芝 顔画像検索装置および顔画像検索方法
JP5793353B2 (ja) * 2011-06-20 2015-10-14 株式会社東芝 顔画像検索システム、及び顔画像検索方法
JP5894807B2 (ja) 2012-01-25 2016-03-30 株式会社日立国際電気 監視装置及び監視カメラシステム並びに映像送信方法
JP6202937B2 (ja) 2013-08-21 2017-09-27 キヤノン株式会社 画像認識装置、画像認識方法、及びコンピュータプログラム
JP6575080B2 (ja) 2015-03-10 2019-09-18 富士ゼロックス株式会社 画像検索装置及びプログラム
JP6593742B2 (ja) * 2015-04-14 2019-10-23 パナソニックＩｐマネジメント株式会社 施設内人物捜索支援装置、施設内人物捜索支援システムおよび施設内人物捜索支援方法
CN106295489B (zh) * 2015-06-29 2021-09-28 株式会社日立制作所 信息处理方法、信息处理装置和视频监控系统
JP6548998B2 (ja) * 2015-09-07 2019-07-24 株式会社東芝 人物検索システムおよび人物検索方法
JP6770709B2 (ja) 2016-09-08 2020-10-21 富士ゼロックス株式会社 機械学習用モデル生成装置及びプログラム。

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001099625A (ja) * 1999-09-30 2001-04-13 Dainippon Screen Mfg Co Ltd パターン検査装置およびパターン検査方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Wu 외 3인. "Scalable face image retrieval with identity-based quantization and multireference reranking." IEEE transactions on pattern analysis and machine intelligence 33.10 1991-2001. (2011.06.09. 공개)*

Also Published As

Publication number Publication date
KR20210090139A (ko) 2021-07-19
JP2018198056A (ja) 2018-12-13
JP7130425B2 (ja) 2022-09-05
JP2022093550A (ja) 2022-06-23
EP3418944A2 (en) 2018-12-26
US20180341803A1 (en) 2018-11-29
JP7375101B2 (ja) 2023-11-07
CN108933925B (zh) 2021-03-23
EP3418944A3 (en) 2019-05-08
US10755080B2 (en) 2020-08-25
CN108933925A (zh) 2018-12-04
EP3418944B1 (en) 2024-03-13
KR20180128350A (ko) 2018-12-03

Similar Documents

Publication Publication Date Title
KR102415632B1 (ko) 정보처리장치, 정보처리방법 및 기억매체
KR102560308B1 (ko) 외관 탐색을 위한 시스템 및 방법
KR101941994B1 (ko) 결합심층네트워크에 기반한 보행자 인식 및 속성 추출 시스템
KR100886557B1 (ko) 적응형 학습에 기반한 얼굴 인식 시스템 및 방법
JP4863423B2 (ja) 虹彩を用いた身元確認システム及び方法並びにその方法を実行するための身元確認プログラムを格納したコンピュータ読取り可能な記録媒体
US8116534B2 (en) Face recognition apparatus and face recognition method
WO2020017190A1 (ja) 映像解析装置、人物検索システムおよび人物検索方法
US8472668B2 (en) Image analyzing apparatus, image analyzing method, and computer readable medium
JP2017041022A (ja) 情報処理装置、情報処理方法及びプログラム
KR20120135469A (ko) 얼굴 화상 검색 시스템 및 얼굴 화상 검색 방법
JP2010072723A (ja) 追跡装置及び追跡方法
JP6280020B2 (ja) 移動物体追跡装置
CN113935358A (zh) 一种行人追踪方法、设备和存储介质
JP2012221162A (ja) 対象物検出装置及びプログラム
JP2019082959A (ja) 情報処理装置、情報処理方法及びプログラム
JP6103765B2 (ja) 行動認識装置、方法及びプログラム並びに認識器構築装置
KR20160099289A (ko) 영상의 전역 특징과 이동객체의 지역 특징을 융합한 동영상 검색 방법 및 그 시스템
JP2016024534A (ja) 移動体追跡装置及び移動体追跡方法、並びにコンピュータ・プログラム
JP2020095757A (ja) 情報処理装置、情報処理方法及びプログラム
Chan et al. Autonomous person-specific following robot
JP2011232845A (ja) 特徴点抽出装置および方法
JP2011043863A (ja) 対象領域判定・追跡装置、方法、プログラム及び対象領域判定装置
JP6789676B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP2019146087A (ja) 情報処理装置、撮像装置の制御方法、コンピュータプログラム、及び記憶媒体
JP2017194798A (ja) 情報処理装置、情報処理方法及びプログラム

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant