JPWO2019187288A1 - 情報処理装置、データ生成方法、及びプログラム - Google Patents

情報処理装置、データ生成方法、及びプログラム Download PDF

Info

Publication number
JPWO2019187288A1
JPWO2019187288A1 JP2020509592A JP2020509592A JPWO2019187288A1 JP WO2019187288 A1 JPWO2019187288 A1 JP WO2019187288A1 JP 2020509592 A JP2020509592 A JP 2020509592A JP 2020509592 A JP2020509592 A JP 2020509592A JP WO2019187288 A1 JPWO2019187288 A1 JP WO2019187288A1
Authority
JP
Japan
Prior art keywords
information
basic information
person
data
integrated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020509592A
Other languages
English (en)
Other versions
JP7081659B2 (ja
Inventor
直生 吉永
直生 吉永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2019187288A1 publication Critical patent/JPWO2019187288A1/ja
Priority to JP2022084518A priority Critical patent/JP2022117996A/ja
Application granted granted Critical
Publication of JP7081659B2 publication Critical patent/JP7081659B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/01—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
    • G08B25/04—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using a single signalling line, e.g. in a closed loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Emergency Management (AREA)
  • Business, Economics & Management (AREA)
  • Psychiatry (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Alarm Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

映像データから人物についての有用な情報を得ることができる情報処理装置、データ生成方法、及びプログラムを提供する。実施の形態にかかる情報処理装置（１）は、１人以上の人物が撮影された映像データに基づいて、人物の監視に用いられる情報である基本情報を複数種類取得する基本情報取得部（２）と、前記基本情報のうち、所定の関係を満たす基本情報を、同一の人物の情報として統合した統合情報を生成する基本情報統合部（３）とを有する。

Description

本発明は情報処理装置、データ生成方法、及びプログラムに関する。
近年、イベント会場など大勢の人が集まる場所において、テロなどの危険行為のリスクが高まっている。このような背景から、カメラ映像を用いた監視技術の開発が求められている。例えば、特許文献１では、カメラの映像を利用して、監視対象の不審行動を検知する不審行動検知システムについて開示している。このシステムでは、監視対象の移動軌跡情報を取得し、移動軌跡情報に基づいて監視対象の行動状態を識別して、監視対象の不審行動を自動で判定する。また、関連する技術として、カメラの映像に含まれる人物の顔情報を検出する技術も知られている。
国際公開第２００８／１１１４５９号
このように、人物の移動の軌跡情報や顔情報といった様々な種類の情報をカメラの映像から取得することが技術的に可能である。しかしながら、これらのうち１種類の情報からでは有用な情報が得られがたい場合がある。したがって、独立して得られるこれらの情報をより有用に活用することが求められている。
そこで、本明細書に開示される実施形態が達成しようとする目的の１つは、映像データから人物についての有用な情報を得ることができる情報処理装置、データ生成方法、及びプログラムを提供することにある。
第１の態様にかかる情報処理装置は、１人以上の人物が撮影された映像データに基づいて、人物の監視に用いられる情報である基本情報を複数種類取得する基本情報取得手段と、前記基本情報のうち、所定の関係を満たす基本情報を、同一の人物の情報として統合した統合情報を生成する基本情報統合手段とを有する。
第２の態様にかかるデータ生成方法では、１人以上の人物が撮影された映像に基づいて、人物の監視に用いられる情報である基本情報を複数種類取得し、前記基本情報のうち、所定の関係を満たす基本情報を、同一の人物の情報として統合した統合情報を生成する。
第３の態様にかかるプログラムは、１人以上の人物が撮影された映像データに基づいて、人物の監視に用いられる情報である基本情報を複数種類取得する基本情報取得ステップと、前記基本情報のうち、所定の関係を満たす基本情報を、同一の人物の情報として統合した統合情報を生成する基本情報統合ステップとをコンピュータに実行させる。
上述の態様によれば、映像データから人物についての有用な情報を得ることができる情報処理装置、データ生成方法、及びプログラムを提供することができる。
実施の形態の概要にかかる情報処理装置の構成の一例を示すブロック図である。 実施の形態にかかる監視装置の構成の一例を示すブロック図である。 基本情報保存部に記憶された移動経路データのテーブルの一例を示す模式図である。 基本情報保存部に記憶された人流データのテーブルの一例を示す模式図である。 基本情報保存部に記憶された顔データのテーブルの一例を示す模式図である。 統合情報サンプル保存部に記憶された統合情報のテーブルの一例を示す模式図である。 カメラの映像を模式的に示す図である。 統合情報のサンプルを作成する段階の監視装置の動作の一例を示すフローチャートである。 監視処理が行われる段階の監視装置の動作の一例を示すフローチャートである。 実施の形態にかかる監視装置のハードウェア構成の一例を示すブロック図である。
＜実施の形態の概要＞
実施の形態の詳細な説明に先立って、実施の形態の概要を説明する。図１は、実施の形態の概要にかかる情報処理装置１の構成の一例を示すブロック図である。図１に示すように、情報処理装置１は、基本情報取得部２と、基本情報統合部３とを有する。
基本情報取得部２は、１人以上の人物が撮影された映像データに基づいて基本情報を複数種類取得する。ここで、基本情報とは、人物の監視に用いられる情報であり、例えば人物の外見的特徴についての情報であってもよいし、移動中の人物の位置についての情報であってもよい。人物の外見的特徴は例えば人物の顔の特徴である。この場合、人物の外見的特徴についての情報は、人物の撮影された顔（顔の画像特徴量）についての情報である。なお、外見的特徴は、映像から取得可能な外見的な特徴であればよく、顔に限られない。例えば、外見的特徴は、体型についての特徴であってもよい。移動中の人物の位置についての情報は、例えば、同一の人物の移動経路を示すデータである移動経路データであってもよいし、複数の人物の移動による人流を示すデータである人流データであってもよいし、その両方であってもよい。
基本情報統合部３は、基本情報のうち、所定の関係を満たす基本情報を、同一の人物の情報として統合した統合情報を生成する。特に、基本情報統合部３は、複数種類の基本情報を統合した統合情報を生成する。例えば、基本情報統合部３は、ある人物の顔についての情報と、当該人物の移動経路データとを統合する。また、例えば、基本情報統合部３は、ある人物の顔についての情報と、当該人物を含む人流を示す人流データとを統合する。また、例えば、基本情報統合部３は、ある人物の移動経路データと、当該人物を含む人流を示す人流データとを統合する。基本情報統合部３は、２以上の基本情報を関連する１つのデータ群として統合すればよく、統合対象の基本情報の数は任意である。なお、基本情報統合部３は、さらに、同じ種類の基本情報を統合してもよい。例えば、基本情報統合部３は、ある人物の顔についての２つの異なる情報と、当該人物の移動経路データとを統合してもよい。
情報処理装置１では、上述の通り、基本情報統合部３により、同一の人物に対する異なる種類の基本情報が統合される。このため、情報処理装置１によれば、異なる種類の別々の基本情報を、同一の人物に対する基本情報として関連づけることができる。したがって、同一の人物について多角的に分析することができる。つまり、情報処理装置１によれば、映像データから人物についての有用な情報を得ることができる。
＜実施の形態の詳細＞
次に、実施の形態の詳細について説明する。図２は、実施の形態にかかる監視装置１０の構成の一例を示すブロック図である。監視装置１０は、図１の情報処理装置１に対応する装置である。監視装置１０は、１以上のカメラ（図示せず）と有線又は無線ネットワークにより通信可能に接続されており、カメラから送信された映像データを受信することができる。なお、各カメラは、例えば所定のエリア内に点在して設置されており、カメラの設置箇所周辺の様子を撮影する。これにより、カメラの設置箇所周辺に存在する人物が撮影可能である。なお、カメラの設置場所は任意である。例えば、カメラの設置場所は、空港、テーマパーク、ショッピングセンター、スタジアムなどであってもよい。
図２に示すように、監視装置１０は、映像取得部１００と、映像分析部１０１と、統合情報サンプル作成部１０２と、基本情報統合部１０３と、特定行動サンプル作成部１０４と、特定行動判定部１０５と、判定結果出力部１０６と、基本情報保存部１０７と、統合情報サンプル保存部１０８と、統合情報保存部１０９と、特定行動サンプル保存部１１０を有する。
映像取得部１００は、カメラによる撮影により生成された映像データを取得する。本実施の形態では、Ｎ個（Ｎは１以上の整数）のカメラのそれぞれの映像データを取得する。なお、本実施の形態では、映像取得部１００は、カメラが送信した映像データを取得するが、監視装置１０は、監視装置１０の記憶装置に記憶された映像データを読み出して取得してもよい。このように、映像取得部１００は、映像データを取得できればよく、その取得方法は任意である。
映像分析部１０１は、図１における基本情報取得部２に相当する。映像分析部１０１は、映像取得部１００が取得した映像データを分析し、基本情報を取得する。例えば、映像分析部１０１は、異なる場所を撮影する複数のカメラの各映像データから、基本情報を取得する。本実施の形態では、映像分析部１０１は、画像解析処理により、移動経路データと、人流データと、人物の顔についての情報（以下、顔データと呼ぶ）とを基本情報として取得する。なお、これらの基本情報の取得には、公知の画像解析処理技術を用いることができる。
映像分析部１０１は、取得した基本情報を基本情報保存部１０７に格納する。基本情報保存部１０７は、基本情報を格納するための記憶領域である。図３は、基本情報保存部１０７に記憶された移動経路データのテーブルの一例を示す模式図である。より具体的には、図３は、Ｎ個のカメラのうちｉ番目（ｉは１以上Ｎ以下の整数）のカメラの映像データから取得された移動経路データを示している。図３に示すように、映像分析部１０１により取得された移動経路データは、移動経路データのそれぞれを識別するためのＩＤと、時刻毎の人物の位置情報とを含むデータである。図３において、Ａｉ＿１、Ａｉ＿２などがＩＤを示し、ｔ１、ｔ２などが時刻を示し、（ｘ１１，ｙ１１）、（ｘ１２，ｙ１２）などが位置情報（座標）を示す。なお、図３に示したデータ形式は一例であって他のデータ形式のデータが移動経路データとして取得されてもよい。
移動経路データの生成には、同一人物の時刻毎の位置情報を映像データから取得することが求められる。人が密集している場合には、各人物の時刻毎の位置情報を映像データから取得することが難しいことがある。このような場合、人流データとして、移動中の人物の位置についての情報が取得可能である。なお、人流データとは、複数の人物の移動による人流を示すデータであるが、より具体的には、例えば、所定数以上の人物の略同一方向への継続的な移動の流れを示すデータともいうことができる。
図４は、基本情報保存部１０７に記憶された人流データのテーブルの一例を示す模式図である。より具体的には、図４は、Ｎ個のカメラのうちｉ番目（ｉは１以上Ｎ以下の整数）のカメラの映像データから取得された人流データを示している。図４に示すように、映像分析部１０１により取得された人流データは、人流データのそれぞれを識別するためのＩＤと、人流の領域と、発生時間帯と、人流の速度とを含むデータである。人流の領域は、人流が発生している領域であり、人流が通過する経路を示す位置情報と言うこともできる。人流の領域は、例えば帯状の地理的な範囲を示す位置情報である。また、発生時間帯は、人流がいつからいつまで発生していたかを示す情報である。速度は、人流の移動の速さ及び移動の方向を示す情報である。図４において、Ｂｉ＿１、Ｂｉ＿２などがＩＤを示し、ａ１、ａ２などが人流の領域を示し、Ｔ１、Ｔ２などが発生時間帯を示し、ｖ１、ｖ２などが速度を示す。なお、図４に示したデータ形式は一例であって他のデータ形式のデータが人流データとして取得されてもよい。
図５は、基本情報保存部１０７に記憶された顔データのテーブルの一例を示す模式図である。より具体的には、図５は、Ｎ個のカメラのうちｉ番目（ｉは１以上Ｎ以下の整数）のカメラの映像データから取得された顔データを示している。図５に示すように、映像分析部１０１により取得された顔データは、顔データのそれぞれを識別するためのＩＤと、顔の検出位置情報と、検出された顔を表す画像特徴量と、検出時刻とを含むデータである。図５において、Ｃｉ＿１、Ｃｉ＿２などがＩＤを示し、（ｘ１１，ｙ１１）、（ｘ２１，ｙ２１）などが検出位置情報（座標）を示し、ｆ１、ｆ２などが画像特徴量を示し、ｔ１、ｔ２などが検出時刻を示す。ここで、検出位置情報は、例えば、顔が含まれる領域（例えば、矩形で指定される領域）の画像中の位置を示す情報である。なお、図５に示したデータ形式は一例であって他のデータ形式のデータが顔データとして取得されてもよい。例えば、顔データは、特徴量に代えて、又は特徴量とともに、顔画像を含んでもよい。
統合情報サンプル作成部１０２は、同一の人物についての複数の基本情報を統合したデータである統合情報をサンプルとして作成する。なお、このサンプルは、複数の同種の基本情報を統合したデータであってもよいし、異なる基本情報を統合したデータであってもよい。統合情報サンプル作成部１０２が生成するサンプルは、参照情報とも称される。参照情報は、基本情報統合部１０３において統合情報を生成するために参照される情報である。
統合情報サンプル作成部１０２は、例えば、同一の人物についての基本情報であるとしてユーザにより指定された複数の基本情報を関連づけることにより、統合情報のサンプルを作成する。この場合、例えば、ユーザは、各カメラの映像の目視による確認を行い、基本情報保存部１０７に記憶されている基本情報を関連づけるよう指示する入力を統合情報サンプル作成部１０２に与える。これにより、統合情報サンプル作成部１０２は、同一の人物についての複数の基本情報から構成される統合情報を作成する。
また、統合情報サンプル作成部１０２は、人物の予め定められた行動パターンに基づいて、統合情報のサンプルを自動的に生成してもよい。なお、この場合の統合情報サンプル作成部１０２は、参照情報生成部とも称される。例えば、各カメラが所定のエリア（例えば、テーマパークなど）に配置されており、当該エリアにおける人物の移動態様の知見がある場合が考えられる。すなわち、例えば、当該エリアの通路についての情報、順路についての情報などから、当該エリア内の人物の行動パターンの一例を予め特定できる場合がある。そのような場合には、統合情報サンプル作成部１０２は、所定の行動パターンを表す情報からこの所定の行動パターンで仮に人物が移動した場合に得られる複数のダミーの基本情報を生成し、生成したダミーの基本情報を関連づけて統合情報のダミーデータを生成する。ここで、所定の行動パターンに基づいて生成されるダミーの基本情報は、具体的には、移動経路データ又は人流データである。なお、サンプルとしての統合情報は、さらに、所定の顔データと統合されてもよい。このように、参照情報は、人物の予め定められた行動パターンに基づいて同一人物として統合される複数の基本情報を含む情報として構成されてもよい。
統合情報サンプル作成部１０２は、作成した統合情報を統合情報サンプル保存部１０８に格納する。統合情報サンプル保存部１０８は、統合情報サンプル作成部１０２により作成された統合情報サンプルを格納するための記憶領域である。図６は、統合情報サンプル保存部１０８に記憶された統合情報のテーブルの一例を示す模式図である。なお、後述する統合情報保存部１０９及び特定行動サンプル保存部１１０も、同様のデータ構成の統合情報を格納する。図６に示すように、統合情報は、統合情報のそれぞれを識別するためのＩＤと、基本情報の組み合わせ（すなわち複数の基本情報の対応関係）を示す情報とを含むデータである。図６において、Ｘ１、Ｘ２、Ｘ３などがＩＤを示し、（Ａ１＿１，Ｂ３＿２，Ｃ３＿１）、（Ａ２＿１，Ｂ１＿３）などが関連づけられた基本情報の組み合わせを示している。なお、図６に示した例では、基本情報の組み合わせは、基本情報のＩＤの組み合わせにより表されている。
図６に示されるように、統合情報は基本情報の任意の組み合わせにより構成される。すなわち、図６においてＩＤがＸ１である統合情報に示されるように、統合情報は映像分析部１０１により取得可能な全ての種類の基本情報を含んでもよい。また、ＩＤがＸ２、Ｘ３、又はＸ４である統合情報に示されるように、統合情報は映像分析部１０１により取得可能な種類のうち一部の種類の基本情報を含んでもよい。また、ＩＤがＸ５である統合情報に示されるように、統合情報は同じ種類の基本情報を含んでもよい。
基本情報統合部１０３は、図１における基本情報統合部３に相当し、同一の人物についての複数の基本情報を統合して、統合情報を生成する。基本情報統合部１０３は、同一の人物についての異なる種類の基本情報を統合してもよいし、同一種類の基本情報を統合してもよい。基本情報統合部１０３は、同一のカメラの映像データから取得される基本情報を統合してもよいし、異なるカメラの映像データから取得される基本情報を統合してもよい。基本情報統合部１０３は、基本情報保存部１０７に格納されている基本情報について、自動的に統合し、生成した統合情報を統合情報保存部１０９に格納する。なお、統合情報保存部１０９は、基本情報統合部１０３により生成された統合情報を格納するための記憶領域である。
本実施の形態では、基本情報統合部１０３は、例えば次のようにして、基本情報保存部１０７に格納されている同一の人物についての基本情報を統合する。
基本情報統合部１０３は、例えば、人流データにより示される人流の位置と、移動経路データにより示される移動位置とに基づいて、人流データと移動経路データとを統合する。本実施の形態では、上記人流の位置は、図４に示す人流データにおける人流の領域の情報（ａ１、ａ２など）により特定される。また、上記移動位置は、図３に示す移動経路データにおける位置の情報（（ｘ１１，ｙ１１）、（ｘ１２，ｙ１２）など）により特定される。
基本情報統合部１０３によるこのような統合方法について、図７を参照して、より詳細に説明する。図７は、カメラの映像を模式的に示す図である。図７に示した例では、ハッチングされた領域により人流９０が示されており、破線により人物９１の移動経路９２と人物９３の移動経路９４が示されている。なお、ここでは、人流９０は左から右に流れているものとする。また、図７に示されるように、人流が発生している場所では、複数の人物が密集している可能性があり、そのような場合には、各人物の移動経路の基本情報が取得されない場合がある。
図７に示すように、人物９１の移動経路９２の終端は、人流９０の位置に近接している。このような場合、その後、人物９１は、人流９０として移動したことが推測される。すなわち、移動経路９２に関する基本情報と人流９０に関する基本情報は同一の人物についての基本情報として統合可能である。同様に、例えば、人物の移動経路の始端が人流に近接している場合には、当該人物は人流から離脱して移動したと推測できる。このように、基本情報統合部１０３は、例えば、人流データにより示される人流の位置と、移動経路データにより示される移動位置とが近接している場合、すなわち、例えば両者の位置の差が所定の距離以下である場合、これらの基本情報を統合する。
また、基本情報統合部１０３は、移動経路データにより示される位置と、顔が取得された位置とに基づいて、移動経路データと顔データとを統合してもよい。例えば、移動経路データが、ある人物がある時刻に地点Ｐを通過したことを示しているとする。この場合、当該時刻に地点Ｐの近傍で撮影された顔についての顔データは、この移動経路データが対象としている人物と同一の人物についての顔データであると推測できる。すなわち、基本情報統合部１０３は、移動経路データにより示される位置と、顔が取得された位置との差が所定の距離以下である場合、移動経路データと顔データとを統合してもよい。なお、人流データにより示される位置と、顔が取得された位置とに基づいて、人流データと顔データとを統合してもよい。このように、基本情報統合部１０３は、移動中の人物の位置についての基本情報により示される位置と、人物の外見的特徴が取得された位置とに基づいて、移動中の人物の位置についての基本情報と人物の外見的特徴についての基本情報とを統合してもよい。
なお、基本情報統合部１０３は、移動経路データと統合される人流データが示す人流の発生領域内で顔が取得された場合、この顔についての顔データを当該移動経路データと統合してもよい。人流は様々な人物の移動に対応しているため、人流データと統合される対象の移動経路データは、複数存在する場合がある。例えば、ある顔データ（顔データＣとする）における顔の取得時刻及び取得位置が、ある人流データ（人流データＢとする）と対応しているとする。また、人流データＢには、３つの移動経路データ（移動経路データＡ１、Ａ２、Ａ３とする）と統合可能であるとする。この場合、基本情報統合部１０３は、移動経路データＡ１、Ａ２、Ａ３のうち、顔データＣと統合する移動経路データを次のように選択する。基本情報統合部１０３は、移動経路データＡ１、Ａ２、Ａ３に対応する各人物の人流への合流時刻及び合流位置と、人流の速度と、人流内の顔の取得時刻及び取得位置とに基づいて、当該取得時刻及び取得位置で顔の取得が可能な人物を推定する。そして、基本情報統合部１０３は、顔データと、推定された人物に対応する移動経路データとを統合する。
また、基本情報統合部１０３は、統合情報サンプル保存部１０８に記憶されている統合情報（すなわち参照情報）を用いて、基本情報の統合を行ってもよい。上述した通り、統合情報サンプル保存部１０８には、統合情報サンプル作成部１０２により作成された統合情報のサンプルが記憶されている。すなわち、統合情報サンプル保存部１０８に記憶されている統合情報は、予め統合関係が設定されている統合情報である。すなわち、統合情報サンプル保存部１０８に記憶されている統合情報は、同一の人物についての情報であるとして予め統合されている複数の基本情報により構成されている。基本情報統合部１０３は、予め統合関係が設定されている統合情報を用いて、例えば、次のように基本情報の統合を行う。なお、説明のため、統合情報サンプル保存部１０８に記憶されている、ある統合情報が、基本情報ｐ１と基本情報ｐ２の統合を示すものであるとする。すなわち、基本情報ｐ１と基本情報ｐ２は、予め統合関係が設定されている統合情報において統合されている基本情報である。換言すると、基本情報ｐ１と基本情報ｐ２は、同一の人物についての情報であるとして予め統合されている基本情報である。この場合、基本情報統合部１０３は、例えば、基本情報ｐ１と類似する基本情報ｑ１と、基本情報ｐ２と類似する基本情報ｑ２とを統合する。なお、このような統合において、例えば、基本情報ｐ１、ｑ１、ｐ２、ｑ２は、いずれも移動経路データである。また、例えば、基本情報ｐ１、ｑ１、ｐ２、ｑ２は、いずれも人流データである。また、例えば、基本情報ｐ１、ｑ１は移動経路データであり、基本情報ｐ２、ｑ２は人流データである。
なお、基本情報統合部１０３は、具体的には、基本情報により表される特徴（例えば、位置又は形状など）の差が所定基準以下である場合、２つの基本情報が類似していると判定する。つまり、基本情報ｐ１により表される特徴と、基本情報ｑ１により表される特徴との差が第１の所定基準以下である場合、両基本情報は類似していると判定される。同様に、基本情報ｐ２により表される特徴と、基本情報ｑ２により表される特徴との差が第２の所定基準以下である場合、両基本情報は類似していると判定される。なお、第１の所定基準と第２の所定基準は、同じであってもよいし、異なっていてもよい。つまり、基本情報ｑ１により表される特徴との差が所定基準以下である特徴を表す基本情報ｐ１と、基本情報ｑ２により表される特徴との差が所定基準以下である特徴を表す基本情報ｐ２とを含む参照情報に基づいて基本情報ｑ１、ｑ２が統合される。具体的には、基本情報統合部１０３は、基本情報ｐ１と基本情報ｑ１の類似及び基本情報ｐ２と基本情報ｑ２の類似を、例えば、基本情報から特定される位置の類似によって判定する。基本情報統合部１０３は、基本情報から特定される位置の類似に加え、基本情報から特定される動線の類似によって判定してもよい。具体的には、移動経路データ同士の類似について、基本情報統合部１０３は、例えば、移動経路の存在する位置が類似しているか否か、及び移動経路（すなわち動線）により表される形が類似しているか否かにより判定する。また、人流データ同士の類似について、基本情報統合部１０３は、例えば、人流の存在する位置が類似しているか否か、及び人流（すなわち動線）により表される形が類似しているか否かにより判定する。
また、基本情報統合部１０３は、予め統合関係が設定されている統合情報を用いて、例えば、次のように基本情報の統合を行ってもよい。なお、説明のため、第１のカメラの映像データから取得された移動経路データｐ３と第２のカメラの映像データから取得された移動経路データｐ４が、予め統合関係が設定されている統合情報において統合されているものとする。ここで、第１のカメラと第２のカメラは離れた場所に設置されている。また、移動経路データｐ３と移動経路データｐ４に基づいて算出される、第１のカメラの設置場所から第２のカメラの設置場所への移動時間がｔｐであるとする。また、第１のカメラの映像データから取得された移動経路データｑ３と第２のカメラの映像データから取得された移動経路データｑ４から算出される、第１のカメラの設置場所から第２のカメラの設置場所への移動時間ｔｑとする。この場合、基本情報統合部１０３は、移動時間ｔｑと移動時間ｔｐとの差が所定範囲内であるとき、移動経路データｑ３と移動経路データｑ４を統合する。なお、統合の信頼性を上げるため、基本情報統合部１０３は、ｔｐとの差が所定範囲内である移動時間で第１のカメラの設置場所から第２のカメラの設置場所へ人物が移動しているというサンプルが十分に存在する場合に限って、上述の統合を行ってもよい。つまり、第１のカメラの設置場所から第２のカメラの設置場所への移動時間のｔｐと差が所定範囲内である移動経路データの組を含む統合情報が統合情報サンプル保存部１０８に所定数以上ある場合のみ移動経路データｑ３、ｑ４の統合が行われてもよい。
なお、統合情報サンプル保存部１０８に記憶されている統合情報（すなわち、予め統合関係が設定されている統合情報）を用いた基本情報の統合が行われる場合、基本情報統合部１０３は、いずれの統合情報を用いてもよい。すなわち、ユーザからの指定による基本情報の関連づけによって作成された統合情報が用いられてもよいし、人物の予め定められた行動パターンに基づいて自動的に生成されたサンプルである統合情報が用いられてもよい。
上述の通り、基本情報統合部１０３は、同一の人物についての同一種類の基本情報を統合してもよい。例えば、顔データにおける特徴量が類似する場合、基本情報統合部１０３は、複数の顔データを統合してもよい。なお、基本情報統合部１０３は、顔データ同士の統合に限らず、移動経路データ同士を統合してもよいし、人流データ同士を統合してもよい。例えば、基本情報統合部１０３は、移動経路データにより示される移動位置の終端と始端が互いに近接している場合、複数の移動経路データを統合してもよい。また、例えば、基本情報統合部１０３は、人流データにより示される人流の終端と始端が近接している場合、複数の人流データを統合してもよい。
以上、基本情報統合部１０３の統合方法について説明したが、統合方法は上記に限定されず、他の方法により統合が行われてもよい。また、基本情報統合部１０３は、統合を行う際、統合候補の複数の基本情報が同一の人物についての基本情報である確率を示す所定の指標値を用いて、統合の可否を決定してもよい。この指標値としては、同一の人物についての基本情報である確率を示す値であればよく、例えば、基本情報同士の類似度が用いられてもよいし、基本情報に示される位置の近接度が用いられてもよい。
次に、再び図２を参照し、監視装置１０の構成について説明を続ける。
特定行動サンプル作成部１０４は、統合情報サンプル作成部１０２と同様に、統合情報のサンプルを作成する。ただし、特定行動サンプル作成部１０４は、特定行動判定部１０５における判定基準として用いられる統合情報のサンプルを作成する。換言すると、特定行動サンプル作成部１０４は、特定の行動をとる人物についての複数の基本情報を統合したデータである統合情報をサンプルとして作成する。ここで、特定の行動とは、例えば、不審者がとると想定される行動パターンであるが、これに限らず、任意の特定の行動パターンであってもよい。なお、特定行動サンプル作成部１０４が作成するサンプルも、統合情報サンプル作成部１０２と同様、複数の同種の基本情報を統合したデータであってもよいし、異なる基本情報を統合したデータであってもよい。
特定行動サンプル作成部１０４は、例えば、予め定められた特定の行動パターンに基づいて、統合情報のサンプルを自動的に生成する。例えば、特定行動サンプル作成部１０４は、入力として、不審者がとると想定される行動パターンを表す情報が与えられる。そして、特定行動サンプル作成部１０４は、与えられたこの情報から特定の行動パターンで仮に人物が移動した場合に得られる複数のダミーの基本情報を生成し、生成したダミーの基本情報を関連づけて統合情報のダミーデータを生成する。ここで、所定の行動パターンに基づいて生成されるダミーの基本情報は、具体的には、移動経路データ又は人流データである。なお、サンプルとしての統合情報は、さらに、所定の顔データと統合されてもよい。
なお、特定行動サンプル作成部１０４は、統合情報サンプル作成部１０２と同様、例えば、特定の行動をとる同一の人物についての基本情報であるとしてユーザにより指定された複数の基本情報を関連づけることにより、統合情報のサンプルを作成してもよい。
特定行動サンプル作成部１０４は、作成した統合情報を特定行動サンプル保存部１１０に格納する。特定行動サンプル保存部１１０は、特定行動サンプル作成部１０４により作成された統合情報サンプルを格納するための記憶領域である。
特定行動判定部１０５は、特定の行動パターンに対応する予め統合関係が設定されている統合情報と、基本情報統合部１０３により生成された統合情報とを比較する。つまり、特定行動判定部１０５は、特定行動サンプル作成部１０４によって作成された統合情報と、基本情報統合部１０３により生成された統合情報とを比較する。そして、特定行動判定部１０５は、比較結果にしたがって、基本情報統合部１０３により生成された統合情報が、特定の行動パターンに対応する統合情報であるか否かを判定する。例えば、特定行動判定部１０５は、基本情報統合部１０３により生成された統合情報が、特定行動サンプル作成部１０４によって作成された統合情報と類似する場合、特定の行動パターンに対応する統合情報であると判定する。なお、このような判定は、機械学習などで学習されたモデルを用いて行うことができる。これにより、特定行動判定部１０５は、カメラからの映像データから取得された基本情報が、不審な行動などの特定の行動に関連するものであるか否かが判定できる。すなわち、特定行動判定部１０５による判定によれば、例えば、不審な行動の発生の検出が可能となる。
判定結果出力部１０６は、特定行動判定部１０５による判定結果を出力する。判定結果出力部１０６は、出力として、ディスプレイに表示してもよいし、他の装置に送信してもよい。なお、判定結果出力部１０６は、判定結果として例えば、特定の行動パターンに対応する統合情報であると判定された統合情報を出力してもよいし、その統合情報に含まれる基本情報（例えば顔データ）を出力してもよい。
次に、監視装置１０の動作例について説明する。監視装置１０の動作として、統合情報のサンプルを作成する段階の動作と、監視処理が行われる段階の動作について説明する。
図８は、統合情報のサンプルを作成する段階の監視装置１０の動作の一例を示すフローチャートである。以下、図８に沿って、統合情報のサンプルを作成する段階の監視装置１０の動作の一例を説明する。
ステップ１００（Ｓ１００）において、映像取得部１００が、カメラによる撮影により生成された映像データを取得する。
次に、ステップ１０１（Ｓ１０１）において、映像分析部１０１が、ステップ１００で取得された映像データを分析し、基本情報を取得する。
次に、ステップ１０２（Ｓ１０２）において、統合情報サンプル作成部１０２が、同一の人物についての複数の基本情報を統合したデータである統合情報をサンプルとして作成する。例えば、統合情報サンプル作成部１０２は、ユーザからの指示にしたがって、ステップ１０１で取得された基本情報を関連づけることにより、同一の人物についての複数の基本情報から構成される統合情報を作成する。なお、ステップ１０２において、統合情報サンプル作成部１０２が、人物の予め定められた行動パターンに基づいて、統合情報のサンプルを自動的に生成する場合、ステップ１０１で取得された基本情報を必ずしも必要としない。よって、この場合には、ステップ１００及びステップ１０１が省略されてもよい。
次に、ステップ１０３（Ｓ１０３）において、特定行動サンプル作成部１０４が、特定の行動をとる人物についての複数の基本情報を統合したデータである統合情報をサンプルとして作成する。例えば、上述したように、特定行動サンプル作成部１０４は、予め定められた特定の行動パターンに基づいて、統合情報のサンプルを自動的に生成する。
以上の動作により、統合情報サンプル保存部１０８には、基本情報統合部１０３による基本情報の統合処理に利用される統合情報のサンプルが格納され、特定行動サンプル保存部１１０には、特定行動判定部１０５による判定処理に利用される統合情報のサンプルが格納される。なお、図８に示したフローチャートでは、ステップ１０２の後にステップ１０３が行われているが、これらの実施順序は逆であってもよいし、並行して行われてもよいことは言うまでもない。
図９は、監視処理が行われる段階の監視装置１０の動作の一例を示すフローチャートである。以下、図９に沿って、監視処理が行われる段階の監視装置１０の動作の一例を説明する。
ステップ２００（Ｓ２００）において、映像取得部１００が、カメラによる撮影により生成された映像データを取得する。なお、ステップ２００で取得される映像データは、監視対象の映像データである。
次に、ステップ２０１（Ｓ２０１）において、映像分析部１０１が、ステップ２００で取得された映像データを分析し、基本情報を取得する。
次に、ステップ２０２（Ｓ２０２）において、基本情報統合部１０３が、例えば上述した統合方法を用いて、ステップ２０１で取得された基本情報を統合する。これにより、ステップ２００で取得された映像データに写っている同一の人物についての複数の基本情報が関連づけられる。
次に、ステップ２０３（Ｓ２０３）において、特定行動判定部１０５は、ステップ２０２で得られた統合情報が、特定の行動パターンに対応する統合情報であるか否かを判定する。すなわち、ステップ２０３において、ステップ２００で取得された映像データに、特定の行動パターンに該当する人物の画像情報が含まれるか否かの判定がなされる。
次に、ステップ２０４（Ｓ２０４）において、判定結果出力部１０６は、ステップ２０３における判定結果を出力する。
次に、監視装置１０のハードウェア構成の一例について説明する。図１０は、監視装置１０のハードウェア構成の一例を示すブロック図である。図１０に示すように、監視装置１０は、例えば、ネットワークインタフェース１５０、メモリ１５１、及びプロセッサ１５２を含む。
ネットワークインタフェース１５０は、カメラなどの他の装置と通信するために使用される。ネットワークインタフェース１５０は、例えば、ネットワークインタフェースカード（ＮＩＣ）を含んでもよい。
メモリ１５１は、例えば、揮発性メモリ及び不揮発性メモリの組み合わせによって構成される。なお、監視装置１０は、メモリ１５１の他にハードディスクなどの記憶装置を有してもよい。
メモリ１５１は、プロセッサ１５２により実行される、１以上の命令を含むソフトウェア（コンピュータプログラム）などを格納するために使用される。
このプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、Compact Disc Read Only Memory（CD-ROM）、CD-R、CD-R/W、半導体メモリ（例えば、マスクROM、Programmable ROM（PROM）、Erasable PROM（EPROM）、フラッシュROM、Random Access Memory（RAM））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
プロセッサ１５２は、メモリ１５１からソフトウェア（コンピュータプログラム）を読み出して実行することで、上述した監視装置１０の処理を行う。すなわち、映像取得部１００、映像分析部１０１、統合情報サンプル作成部１０２、基本情報統合部１０３、特定行動サンプル作成部１０４、特定行動判定部１０５、及び判定結果出力部１０６の各処理は、プログラムの実行により実現されてもよい。このように、監視装置１０は、コンピュータとしての機能を備えている。プロセッサ１５２は、例えば、マイクロプロセッサ、ＭＰＵ(Micro Processor Unit)、又はＣＰＵ(Central Processing Unit)などであってもよい。プロセッサ１５２は、複数のプロセッサを含んでもよい。
メモリ１５１又は記憶装置は、上述した基本情報保存部１０７、統合情報サンプル保存部１０８、統合情報保存部１０９、及び特定行動サンプル保存部１１０として利用されてもよい。
また、監視装置１０は、さらに、マウス、キーボードなどといった入力装置を備えてもよいし、ディスプレイなどの出力装置を備えてもよい。なお、監視装置１０は、監視装置１０に対する入力情報を、ネットワークを介して他の装置から取得してもよいし、監視装置１０の出力情報を、ネットワークを介して他の装置に出力してもよい。
以上、実施の形態について説明した。監視装置１０では、映像分析部１０１により取得された、同一の人物に対する基本情報が、同種か異種かに関わらず基本情報統合部１０３により統合される。したがって、これらの基本情報が関連づけられることなく管理される場合に比べ、より有用な情報を構築することができる。特に、監視装置１０では、同一の人物に関する移動経路データ、人流データ、及び顔データを関連づけることができる。これらのデータは、必ずしも同時に得られるとは限らない。すなわち、例えば、あるカメラの映像データから、ある人物の移動経路データが得られたとしても、当該人物がカメラとは逆の方向を向いている場合には顔データが得られない。また、例えば、ある人物が人流にのって移動している場合、人流における他の人物などが障害となって当該人物の移動経路や顔をカメラが撮影できないときには、人流データが得られたとしても人物の移動経路データ及び顔データは得られない。本実施の形態では、基本情報統合部１０３によりこれらのデータが統合されるため、このような場合であっても、同一の人物の情報として、データを補完することができる。
また、カメラが複数存在する場合には、同一の人物の基本情報が様々な映像データから取得されうるが、基本情報統合部１０３によりこれらのデータを同一の人物の基本情報として関連づけることができる。
また、本実施の形態は、統合情報サンプル保存部１０８に格納されている統合情報を用いて基本情報の統合が行われる。このため、予め設定されている統合関係に着目した統合を実現することができる。さらに、統合情報サンプル保存部１０８に格納されている統合情報は、人物の予め定められた行動パターンに基づいて作成されたサンプルとすることができる。このため、統合関係を予め設定した統合情報を容易に準備することができる。
また、本実施の形態では、監視装置１０は、特定行動判定部１０５を備える。このため、特定の行動パターンをとる人物を発見することができる。
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
また、上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
１人以上の人物が撮影された映像データに基づいて、人物の監視に用いられる情報である基本情報を複数種類取得する基本情報取得手段と、
前記基本情報のうち、所定の関係を満たす基本情報を、同一の人物の情報として統合した統合情報を生成する基本情報統合手段と
を有する情報処理装置。
（付記２）
前記基本情報取得手段は、前記基本情報として、少なくとも、移動中の人物の位置についての情報を取得する
付記１に記載の情報処理装置。
（付記３）
移動中の人物の位置についての前記情報は、複数の人物の移動による人流を示すデータである人流データと、同一の人物の移動経路を示すデータである移動経路データとを含み、
前記基本情報統合手段は、前記人流データにより示される人流の位置と、前記移動経路データにより示される移動位置とに基づいて、前記人流データと前記移動経路データとを統合する
付記２に記載の情報処理装置。
（付記４）
前記基本情報取得手段は、前記基本情報として、さらに、人物の外見的特徴についての情報を取得し、
前記基本情報統合手段は、移動中の人物の位置についての前記情報により示される位置と、前記外見的特徴が取得された位置とに基づいて、移動中の人物の位置についての前記情報と人物の外見的特徴についての前記情報とを統合する
付記２又は３のいずれか１項に記載の情報処理装置。
（付記５）
前記基本情報統合手段は、前記統合情報を生成するために参照される参照情報に基づいて、前記基本情報のうちの第１の基本情報と第２の基本情報とを統合し、
前記参照情報は、前記第１の基本情報により表される特徴との差が所定基準以下である特徴を表す第３の基本情報と、前記第２の基本情報により表される特徴との差が所定基準以下である特徴を表す第４の基本情報とを含む
付記１乃至４のいずれか１項に記載の情報処理装置。
（付記６）
前記参照情報は、人物の予め定められた行動パターンに基づいて同一人物として統合される、前記第３の基本情報及び前記第４の基本情報を含む
付記５に記載の情報処理装置。
（付記７）
人物の予め定められた行動パターンに基づいて、前記参照情報を生成する参照情報生成手段をさらに有する
付記６に記載の情報処理装置。
（付記８）
前記基本情報統合手段は、さらに、同一の人物についての同一種類の前記基本情報を統合する
付記１乃至７のいずれか１項に記載の情報処理装置。
（付記９）
前記基本情報取得手段は、前記基本情報として、少なくとも、同一の人物の移動経路を示すデータである移動経路データを取得し、
前記基本情報統合手段は、第１の移動経路データ及び第２の移動経路データに基づいて算出される第１のカメラの設置場所から第２のカメラの設置場所への移動時間と、第３の移動経路データ及び第４の移動経路データに基づいて算出される前記第１のカメラの設置場所から前記第２のカメラの設置場所への移動時間との差が所定範囲内であるとき、前記第３の移動経路データと前記第４の移動経路データを統合し、
前記第１の移動経路データ及び前記第３の移動経路データは、前記第１のカメラの映像データから取得された、時刻毎の人物の位置情報を含むデータであり、
前記第２の移動経路データ及び前記第４の移動経路データは、前記第１のカメラから離れた場所に設置された前記第２のカメラの映像データから取得された、時刻毎の人物の位置情報を含むデータであり、
前記第１の移動経路データと前記第２の移動経路データは、同一の人物についての情報であるとして予め統合されている前記基本情報である
付記８に記載の情報処理装置。
（付記１０）
前記外見的特徴は人物の顔の特徴である
付記４に記載の情報処理装置。
（付記１１）
特定の行動パターンに対応する予め統合関係が設定されている統合情報と、前記基本情報統合手段により生成された前記統合情報とを比較して、前記基本情報統合手段により生成された前記統合情報が、前記特定の行動パターンに対応する前記統合情報であるか否かを判定する判定手段をさらに有する
付記１乃至１０のいずれか１項に記載の情報処理装置。
（付記１２）
前記基本情報取得手段は、異なる場所を撮影する複数のカメラの各映像データから、前記基本情報を取得する
付記１乃至１１のいずれか１項に記載の情報処理装置。
（付記１３）
１人以上の人物が撮影された映像データに基づいて、人物の監視に用いられる情報である基本情報を複数種類取得し、
前記基本情報のうち、所定の関係を満たす基本情報を、同一の人物の情報として統合した統合情報を生成する
データ生成方法。
（付記１４）
１人以上の人物が撮影された映像データに基づいて、人物の監視に用いられる情報である基本情報を複数種類取得する基本情報取得ステップと、
前記基本情報のうち、所定の関係を満たす基本情報を、同一の人物の情報として統合した統合情報を生成する基本情報統合ステップと
をコンピュータに実行させるプログラムが格納された非一時的なコンピュータ可読媒体。
以上、実施の形態を参照して本願発明を説明したが、本願発明は上記によって限定されるものではない。本願発明の構成や詳細には、発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
この出願は、２０１８年３月２７日に出願された日本出願特願２０１８−０６０８７３を基礎とする優先権を主張し、その開示の全てをここに取り込む。
１ 情報処理装置
２ 基本情報取得部
３ 基本情報統合部
１０ 監視装置
１００ 映像取得部
１０１ 映像分析部
１０２ 統合情報サンプル作成部
１０３ 基本情報統合部
１０４ 特定行動サンプル作成部
１０５ 特定行動判定部
１０６ 判定結果出力部
１０７ 基本情報保存部
１０８ 統合情報サンプル保存部
１０９ 統合情報保存部
１１０ 特定行動サンプル保存部
１５０ ネットワークインタフェース
１５１ メモリ
１５２ プロセッサ

Claims (14)

  1. １人以上の人物が撮影された映像データに基づいて、人物の監視に用いられる情報である基本情報を複数種類取得する基本情報取得手段と、
    前記基本情報のうち、所定の関係を満たす基本情報を、同一の人物の情報として統合した統合情報を生成する基本情報統合手段と
    を有する情報処理装置。
  2. 前記基本情報取得手段は、前記基本情報として、少なくとも、移動中の人物の位置についての情報を取得する
    請求項１に記載の情報処理装置。
  3. 移動中の人物の位置についての前記情報は、複数の人物の移動による人流を示すデータである人流データと、同一の人物の移動経路を示すデータである移動経路データとを含み、
    前記基本情報統合手段は、前記人流データにより示される人流の位置と、前記移動経路データにより示される移動位置とに基づいて、前記人流データと前記移動経路データとを統合する
    請求項２に記載の情報処理装置。
  4. 前記基本情報取得手段は、前記基本情報として、さらに、人物の外見的特徴についての情報を取得し、
    前記基本情報統合手段は、移動中の人物の位置についての前記情報により示される位置と、前記外見的特徴が取得された位置とに基づいて、移動中の人物の位置についての前記情報と人物の外見的特徴についての前記情報とを統合する
    請求項２又は３のいずれか１項に記載の情報処理装置。
  5. 前記基本情報統合手段は、前記統合情報を生成するために参照される参照情報に基づいて、前記基本情報のうちの第１の基本情報と第２の基本情報とを統合し、
    前記参照情報は、前記第１の基本情報により表される特徴との差が所定基準以下である特徴を表す第３の基本情報と、前記第２の基本情報により表される特徴との差が所定基準以下である特徴を表す第４の基本情報とを含む
    請求項１乃至４のいずれか１項に記載の情報処理装置。
  6. 前記参照情報は、人物の予め定められた行動パターンに基づいて同一人物として統合される、前記第３の基本情報及び前記第４の基本情報を含む
    請求項５に記載の情報処理装置。
  7. 人物の予め定められた行動パターンに基づいて、前記参照情報を生成する参照情報生成手段をさらに有する
    請求項６に記載の情報処理装置。
  8. 前記基本情報統合手段は、さらに、同一の人物についての同一種類の前記基本情報を統合する
    請求項１乃至７のいずれか１項に記載の情報処理装置。
  9. 前記基本情報取得手段は、前記基本情報として、少なくとも、同一の人物の移動経路を示すデータである移動経路データを取得し、
    前記基本情報統合手段は、第１の移動経路データ及び第２の移動経路データに基づいて算出される第１のカメラの設置場所から第２のカメラの設置場所への移動時間と、第３の移動経路データ及び第４の移動経路データに基づいて算出される前記第１のカメラの設置場所から前記第２のカメラの設置場所への移動時間との差が所定範囲内であるとき、前記第３の移動経路データと前記第４の移動経路データを統合し、
    前記第１の移動経路データ及び前記第３の移動経路データは、前記第１のカメラの映像データから取得された、時刻毎の人物の位置情報を含むデータであり、
    前記第２の移動経路データ及び前記第４の移動経路データは、前記第１のカメラから離れた場所に設置された前記第２のカメラの映像データから取得された、時刻毎の人物の位置情報を含むデータであり、
    前記第１の移動経路データと前記第２の移動経路データは、同一の人物についての情報であるとして予め統合されている前記基本情報である
    請求項８に記載の情報処理装置。
  10. 前記外見的特徴は人物の顔の特徴である
    請求項４に記載の情報処理装置。
  11. 特定の行動パターンに対応する予め統合関係が設定されている統合情報と、前記基本情報統合手段により生成された前記統合情報とを比較して、前記基本情報統合手段により生成された前記統合情報が、前記特定の行動パターンに対応する前記統合情報であるか否かを判定する判定手段をさらに有する
    請求項１乃至１０のいずれか１項に記載の情報処理装置。
  12. 前記基本情報取得手段は、異なる場所を撮影する複数のカメラの各映像データから、前記基本情報を取得する
    請求項１乃至１１のいずれか１項に記載の情報処理装置。
  13. １人以上の人物が撮影された映像データに基づいて、人物の監視に用いられる情報である基本情報を複数種類取得し、
    前記基本情報のうち、所定の関係を満たす基本情報を、同一の人物の情報として統合した統合情報を生成する
    データ生成方法。
  14. １人以上の人物が撮影された映像データに基づいて、人物の監視に用いられる情報である基本情報を複数種類取得する基本情報取得ステップと、
    前記基本情報のうち、所定の関係を満たす基本情報を、同一の人物の情報として統合した統合情報を生成する基本情報統合ステップと
    をコンピュータに実行させるプログラムが格納された非一時的なコンピュータ可読媒体。
JP2020509592A 2018-03-27 2018-10-29 情報処理装置、データ生成方法、及びプログラム Active JP7081659B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022084518A JP2022117996A (ja) 2018-03-27 2022-05-24 情報処理装置、データ生成方法、及びプログラム

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018060873 2018-03-27
JP2018060873 2018-03-27
PCT/JP2018/040097 WO2019187288A1 (ja) 2018-03-27 2018-10-29 情報処理装置、データ生成方法、及びプログラムが格納された非一時的なコンピュータ可読媒体

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022084518A Division JP2022117996A (ja) 2018-03-27 2022-05-24 情報処理装置、データ生成方法、及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2019187288A1 true JPWO2019187288A1 (ja) 2021-03-11
JP7081659B2 JP7081659B2 (ja) 2022-06-07

Family

ID=68060988

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2020509592A Active JP7081659B2 (ja) 2018-03-27 2018-10-29 情報処理装置、データ生成方法、及びプログラム
JP2022084518A Pending JP2022117996A (ja) 2018-03-27 2022-05-24 情報処理装置、データ生成方法、及びプログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2022084518A Pending JP2022117996A (ja) 2018-03-27 2022-05-24 情報処理装置、データ生成方法、及びプログラム

Country Status (3)

Country Link
US (1) US11341774B2 (ja)
JP (2) JP7081659B2 (ja)
WO (1) WO2019187288A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109102530B (zh) * 2018-08-21 2020-09-04 北京字节跳动网络技术有限公司 运动轨迹绘制方法、装置、设备和存储介质
JP6983145B2 (ja) * 2018-12-12 2021-12-17 株式会社日立ソリューションズ データ処理システム、方法、およびプログラム
JP7377971B2 (ja) * 2020-05-22 2023-11-10 富士フイルム株式会社 画像データ処理装置及び画像データ処理システム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006092396A (ja) * 2004-09-27 2006-04-06 Oki Electric Ind Co Ltd 単独行動者及びグループ行動者検知装置
WO2016013298A1 (ja) * 2014-07-25 2016-01-28 日本電気株式会社 画像処理装置、監視システム、画像処理方法、及びプログラム
WO2017126187A1 (ja) * 2016-01-20 2017-07-27 三菱電機株式会社 映像監視装置及び映像監視方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006236255A (ja) * 2005-02-28 2006-09-07 Mitsubishi Electric Corp 人物追跡装置および人物追跡システム
JP5121258B2 (ja) 2007-03-06 2013-01-16 株式会社東芝 不審行動検知システム及び方法
JP2014016968A (ja) * 2012-07-11 2014-01-30 Toshiba Corp 人物検索装置及びデータ収集装置
JP2014149716A (ja) * 2013-02-01 2014-08-21 Panasonic Corp 物体追跡装置及びその方法
WO2015087730A1 (ja) * 2013-12-10 2015-06-18 株式会社日立国際電気 監視システム
JP6331761B2 (ja) * 2014-06-26 2018-05-30 富士通株式会社 判定装置、判定方法及び判定プログラム
JP2016103690A (ja) * 2014-11-27 2016-06-02 キヤノン株式会社 監視システム、監視装置、および監視方法
JP2016166802A (ja) * 2015-03-10 2016-09-15 株式会社東芝 位置検出システム、位置検出装置、および位置検出方法
JP6756473B2 (ja) * 2015-10-26 2020-09-16 株式会社日立社会情報サービス 行動分析装置及びシステム及び方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006092396A (ja) * 2004-09-27 2006-04-06 Oki Electric Ind Co Ltd 単独行動者及びグループ行動者検知装置
WO2016013298A1 (ja) * 2014-07-25 2016-01-28 日本電気株式会社 画像処理装置、監視システム、画像処理方法、及びプログラム
WO2017126187A1 (ja) * 2016-01-20 2017-07-27 三菱電機株式会社 映像監視装置及び映像監視方法

Also Published As

Publication number Publication date
JP2022117996A (ja) 2022-08-12
WO2019187288A1 (ja) 2019-10-03
US11341774B2 (en) 2022-05-24
JP7081659B2 (ja) 2022-06-07
US20210133435A1 (en) 2021-05-06

Similar Documents

Publication Publication Date Title
JP2022117996A (ja) 情報処理装置、データ生成方法、及びプログラム
KR102164863B1 (ko) 정보 처리장치 및 그 방법과, 컴퓨터 판독가능한 기억매체
KR101484844B1 (ko) 실시간 영상에 프라이버시 마스킹 툴을 제공하는 장치 및 방법
JP2010049296A (ja) 移動物体追跡装置
JP6769475B2 (ja) 情報処理システム、認証対象の管理方法、及びプログラム
CN109934074B (zh) 行动轨迹确定方法及装置
CN111325954B (zh) 人员走失预警方法、装置、系统及服务器
US10200607B2 (en) Image capturing apparatus, method of controlling the same, monitoring camera system, and storage medium
JPWO2020161823A1 (ja) 光ファイバセンシングシステム、監視装置、監視方法、及びプログラム
JP2019109724A (ja) 異常判定装置
JPWO2017115586A1 (ja) 監視装置、制御方法、及びプログラム
JP2013167986A (ja) 画像認識システム、画像認識方法
KR102129771B1 (ko) Cctv 카메라를 통해 촬영된 영상으로부터 영상 내 촬영 대상자의 행위 인식을 수행하는 cctv 관리 시스템 장치 및 그 동작 방법
JP2014149716A (ja) 物体追跡装置及びその方法
KR102183904B1 (ko) 실내위치인식기반 보안관리장치 및 방법
JP7272449B2 (ja) 通行可否判断方法、通行可否判断装置、及び移動経路生成システム
JP6558178B2 (ja) 迷惑行為者推定システム、迷惑行為者推定システムの制御方法及び制御プログラム
US11501568B2 (en) Information processing apparatus, person search system, place estimation method, and non-transitory computer readable medium storing program
JP5188840B2 (ja) 警備装置および更新方法
JP7067593B2 (ja) 情報処理システム、認証対象の管理方法、及びプログラム
JP2016129295A (ja) 情報処理装置、情報処理方法及びプログラム
JP7415327B2 (ja) 携帯端末制御方法、携帯端末制御装置、プログラム
JP7327571B2 (ja) 情報処理システム、端末装置、認証対象の管理方法、及びプログラム
CN111508124A (zh) 权限校验方法和装置
JP7517422B2 (ja) 会話監視装置、制御方法、及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200818

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200818

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211102

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211227

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220426

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220509

R151 Written notification of patent or utility model registration

Ref document number: 7081659

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151