JPWO2020148892A1 - 情報処理装置 - Google Patents

Abstract

本発明の情報処理装置３００は、撮影画像内の人物を抽出する人物抽出手段３１０と、撮影画像に基づいて複数の人物間の相関関係を検出する相関検出手段３２０と、撮影画像内の人物に相当する人物画像と共に、複数の人物間の相関関係を表す相関関係情報を表示制御する表示制御手段３３０と、を備える。

Description

本発明は、複数の人物が存在する場所において所定の人物を特定する情報処理装置、情報処理方法、プログラムに関する。

空港や駅、店舗、イベント会場、観光地など、不特定多数の人物が密集して集まる場所では、スリやひったくりなどの犯罪行為や迷惑行為を行う可能性のある人物が存在している場合がある。このような犯罪行為や迷惑行為を未然に防止すべく、かかる行為を行う可能性のある人物を検出することが望まれる。

ここで、特許文献１には、監視エリア内の不審者を監視する技術が記載されている。具体的に特許文献１では、認証装置による認証結果に基づく人物の信頼度と、かかる人物との関連度といった情報を用いて、監視エリア内の不審者を検出している。

特開２０１１−８１７３５号公報

しかしながら、上述した特許文献１に開示の技術では、監視エリア内の人物の信頼度を数値で記録しているものの、かかる信頼度に基づいて不審者が侵入した可能性がある旨を出力しているだけである。このため、監視エリア内においてどの人物が不審者であるかを、当該エリア内の人物や監視者が認識することが困難である。そして、かかる問題は、複数の人物が存在する場所において所望の人物を認識したい場合にも生じうる。

このため、本発明の目的は、上述した課題である、複数の人物が存在する場所において所望の人物を認識することが困難である、ことを解決することができる情報処理装置を提供することにある。

本発明の一形態である情報処理装置は、
撮影画像内の人物を抽出する人物抽出手段と、
前記撮影画像に基づいて複数の人物間の相関関係を検出する相関検出手段と、
前記撮影画像内の人物に相当する人物画像と共に、複数の人物間の前記相関関係を表す相関関係情報を表示制御する表示制御手段と、
を備えた、
という構成をとる。

また、本発明の一形態であるプログラムは、
情報処理装置に、
撮影画像内の人物を抽出する人物抽出手段と、
前記撮影画像に基づいて複数の人物間の相関関係を検出する相関検出手段と、
前記撮影画像内の人物に相当する人物画像と共に、複数の人物間の前記相関関係を表す相関関係情報を表示制御する表示制御手段と、
を実現させる、
という構成をとる。

また、本発明の一形態である情報処理方法は、
撮影画像内の人物を抽出し、
前記撮影画像に基づいて複数の人物間の相関関係を検出し、
前記撮影画像内の人物に相当する人物画像と共に、複数の人物間の前記相関関係を表す相関関係情報を表示制御する、
という構成をとる。

本発明は、以上のように構成されることにより、複数の人物が存在する場所において所望の人物を容易に認識することができる。

本発明の実施形態１における情報処理システムの全体構成を示す図である。 図１に開示した監視装置の構成を示すブロック図である。 図１に開示した監視装置による処理の様子を示す図である。 図１に開示した監視装置による撮影画像に対する処理の様子を示す図である。 図１に開示した監視装置による撮影画像に対する処理の様子を示す図である。 図１に開示した監視装置による撮影画像に対する処理の様子を示す図である。 図１に開示した監視装置による撮影画像に対する処理の様子を示す図である。 図１に開示した監視装置による撮影画像に対する処理の様子を示す図である。 図１に開示した出力装置に表示される情報の一例を示す図である。 図１に開示した出力装置に表示される情報の一例を示す図である。 図１に開示した出力装置に表示される情報の一例を示す図である。 図１に開示した出力装置に表示される情報の一例を示す図である。 図１に開示した出力装置に表示される情報の一例を示す図である。 図１に開示した出力装置に表示される情報の一例を示す図である。 図１に開示した出力装置に表示される情報の一例を示す図である。 図１に開示した監視装置による処理動作を示すフローチャートである。 本発明の実施形態２における情報処理装置の構成を示すブロック図である。 本発明の実施形態３における情報処理装置の構成を示すブロック図である。 本発明の実施形態４における情報処理装置の構成を示すブロック図である。

＜実施形態１＞
本発明の第１の実施形態を、図１乃至図１４を参照して説明する。図１乃至１３は、情報処理システムの構成を説明するための図であり、図１４は、情報処理システムの処理動作を説明するためのフローチャートである。

［構成］
本発明における情報処理システムは、店舗や施設などの設定された対象となる場所Ｒに存在する人物Ｐのうち、予め設定された基準によって所望の人物を検出するために利用される。なお、以下では、対象場所Ｒを「観光地」とし、かかる場所Ｒにおいてスリなどの犯罪行為の被害者となりうる「潜在被害者（所定の人物、対象人物）」と、犯罪行為を行うおそれがある複数の人物からなる「不審者グループ（人物グループ）」と、を検出する場合を例に挙げて説明する。但し、本発明では、対象場所Ｒは、宝石店、ゲームセンター、遊園地などの店舗や施設といったいかなる場所でもよい。また、後述するように本発明で検出する人物は、潜在被害者や不審者グループであることに限定されず、潜在被害者に対する１人の不審者であってもよく、また、不審者に限らず、ある人物に対して相関関係のあるいかなる人物であってもよい。

また、本発明における情報処理システムは、上述したように対象場所Ｒにおいて検出した人物を容易に認識するためにも利用される。例えば、検出した潜在被害者や不審者グループを、監視者が認識しやすいように人物間の相関関係を表示出力する。以下、情報処理システムの構成について詳しく説明する。

図１に示すように、本実施形態における情報処理システムは、対象場所Ｒとなる空間を撮影するためのカメラＣと、撮影画像内の人物Ｐを監視する監視装置１０と、監視結果を出力する出力装置２０と、を備えている。なお、監視装置１０は、演算装置と記憶装置とを備えた１台又は複数台の情報処理装置にて構成される。また、出力装置２０は、演算装置と記憶装置とを備えた１台又は複数台の情報処理装置にて構成され、さらに表示装置を備えている。かかる表示装置は、後述するように、監視装置１０にて撮影された撮影画像Ｇと共に、検出した人物を表示出力するためのものである。また、図示しないが、人物Ｐは携帯端末を所持していてもよい。かかる携帯端末は、スマートフォンなどの情報処理端末であり、予め監視装置１０にアドレス情報が登録されると共に、所持する人物Ｐの顔画像が登録されていることとする。以下、主に監視装置１０の構成について詳述する。

上記監視装置１０は、図２に示すように、演算装置がプログラムを実行することで構築された、人物抽出部１１、潜在被害者特定部１２、不審者特定部１３、出力部１４、を備える。また、監視装置１０は、記憶装置に形成された潜在被害者基準情報記憶部１５、不審者基準情報記憶部１６、を備える。

上記人物抽出部１１（人物抽出手段）は、まず、カメラＣにて撮影された対象場所Ｒの撮影画像を一定の時間間隔で受け付ける。例えば、図４に示すように、複数の人物Ｐが存在する対象場所Ｒの撮影画像Ｇを受け付けて、一時的に記憶しておく。そして、人物抽出部１１は、撮影画像内に映る物体の形状や色、動きなどから、撮影画像内の人物Ｐを抽出する。

また、人物抽出部１１は、撮影画像から抽出した人物Ｐの画像部分に基づいて、当該人物Ｐの属性を表す人物属性情報を抽出する。人物属性情報は、例えば、人物Ｐの性別、年齢（年代）、服装やかばんといった持ち物などの身の回り品、を表す情報であり、人物Ｐの顔画像や身体画像などから画像解析によって抽出する。また、人物抽出部１１は、撮影画像内の人物Ｐの行動も抽出し、かかる行動も人物の属性を表す人物属性情報に含める。例えば、人物抽出部１１は、人物の行動として、人物の顔画像や身体画像、他の人物との距離などから、顔の向き、表情、移動経路、１人又はグループ、歩行、立ち止まり、しゃがみ込みなどを行動として抽出する。

さらに、人物抽出部１１は、上述したように人物Ｐ毎に人物属性情報を抽出したときにおける、対象場所Ｒの周囲環境を表す環境情報を取得する。例えば、人物抽出部１１は、環境情報として、日時や季節、天気、気温などを、ネットワークを介して接続された他の情報処理装置から取得する。あるいは、人物抽出部１１は、撮影画像内の複数の人物Ｐの服装や持ち物、撮影画像から得られる対象場所Ｒの明るさ、撮影画像から検知される車道、歩道、車両、自転車などのあらゆる情報から、季節、天気、気温などの環境情報を認識して取得してもよい。なお、人物抽出部１１は、上述したように抽出した人物Ｐの行動と環境情報との組み合わせから、「車道の近くを歩行している」、「車両の前でしゃがみこんでいる」といった人物の行動をさらに認識してもよい。そして、このような人物の行動を表す情報を、後述する潜在被害者モデルとしてもよい。

そして、人物抽出部１１は、撮影画像に、抽出した人物属性情報と環境情報を関連付けて、潜在被害者基準情報記憶部１５に記憶しておく。なお、人物抽出部１１は、連続して入力される撮影画像に対して、上述したように人物自体の抽出、人物属性情報の抽出、環境情報の取得を常に行い、撮影画像自体とこれら抽出した情報を、潜在被害者特定部１２、不審者特定部１３、出力部１４に対して出力する。

上記潜在被害者特定部１２（基準情報生成手段、対象人物生成手段）は、まず、過去の撮影画像に基づいて、被害者となりやすい潜在被害者として検出する人物のモデルを表す潜在被害者モデル（基準情報）を生成する。具体的に、潜在被害者特定部１２は、予め記憶された過去にスリなどの犯罪行為の被害者となった人物の特徴（属性や環境を含む）を用いて、潜在被害者基準情報記憶部１５に記憶された人物属性情報及び環境情報を学習し、環境や人物の属性を含む潜在被害者モデルを生成する。例えば、薄暗い日又は夕刻の時刻に、１人で行動し、肩に掛けるショルダーバッグを所持し、女性である、という人物を潜在被害者とする潜在被害者モデルを生成する。なお、潜在被害者モデルは、必ずしも過去の撮影画像に基づいて学習して生成することに限定されず、予め用意された情報を用いてもよい。また、潜在被害者モデルは、環境情報は含まず、人物属性情報だけを条件としていてもよく、いかなる情報であってもよい。

また、潜在被害者特定部１２は、現在の撮影画像内の人物Ｐのうち、潜在被害者Ｐ０を検出する。このため、まず新たに撮影された撮影画像に対しては、上述したように人物抽出部１１が、撮影画像内から人物Ｐを抽出し、かかる人物Ｐの人物属性情報、環境情報を抽出して、潜在被害者特定部１２に渡す。すると、潜在被害者特定部１２は、新たな撮影画像から抽出された人物属性情報等と、潜在被害者基準情報記憶部１５に記憶されている潜在被害者モデルと、を比較する。そして、潜在被害者特定部１２は、抽出された人物属性情報等が潜在被害者モデルに合致した場合に、その人物Ｐを潜在被害者として検出する。例えば、潜在被害者特定部１２は、図５の符号Ｐ０に示すように、対象場所Ｒ内の人物Ｐのなかから被害者となりうる潜在被害者Ｐ０を検出する。なお、後述するが、潜在被害者モデルは無く、潜在被害者特定部１２が撮影画像Ｇ内の任意の人物を潜在被害者Ｐ０として検出してもよい。

そして、潜在被害者特定部１２は、検出した潜在被害者Ｐ０の撮影画像内における位置情報を、不審者特定部１３及び出力部１４に通知する。なお、潜在被害者特定部１２は、その後に連続して入力される新たな撮影画像に対して潜在被害者Ｐ０の追従を行い、その位置情報を常に不審者特定部１３と出力部１４に通知する。また、潜在被害者特定部１２は、新たな撮影画像に対してはさらに新たな潜在被害者Ｐ０の検出を行う。なお、潜在被害者特定部１２は、後述するように監視者にて設定された人数の潜在被害者Ｐ０を検出するが、同時に複数人検出してもよい。

上記不審者特定部１３（行動抽出手段、特定手段、相関検出手段）は、上述した潜在被害者特定部１２から通知された潜在被害者Ｐ０の位置情報に基づいて、新たな撮影画像内から潜在被害者Ｐ０に対して相関関係のある相関人物を検出し、この中から不審者を特定する。なお、後述するように、不審者特定部１３は、過去の撮影画像からも相関人物を検出して不審者を特定してもよい。具体的に、不審者特定部１３は、まず、撮影画像に対して、潜在被害者Ｐ０を基準とした所定範囲に位置する他の人物Ｐの行動を抽出する。例えば、不審者特定部１３は、図６の符号Ａに示すように、撮影画像内の潜在被害者Ｐ０の位置を中心とした所定半径の領域内を処理領域とし、かかる処理領域Ａ内に位置する他の人物（この例では４人）の行動を抽出する。なお、不審者特定部１３は、後述するように監視者にて探索範囲として設定された潜在被害者Ｐ０の位置を中心とした半径の値の範囲内を、処理領域Ａとして設定し、人物の行動を抽出する。

そして、不審者特定部１３は、人物の行動を表す情報として、潜在被害者Ｐ０の位置に対する他の人物の位置を抽出する。これにより、不審者特定部１３は、潜在被害者Ｐ０と他の人物との距離や、潜在被害者Ｐ０に対する複数人物間の距離、を抽出する。ここで、不審者特定部１３による具体的な人物の行動抽出の一例を、図３及び図７を参照して説明する。

まず、不審者特定部１３は、潜在被害者Ｐ０に対して関連する行動を取る相関人物を検出する。例えば、図７に示すように、潜在被害者Ｐ０に対して所定範囲の距離に位置するというように、潜在被害者Ｐ０に対して所定の相関関係がある人物を相関人物Ｐ１，Ｐ２として抽出する。この例では、２名の人物グループが相関人物として抽出される。なお、不審者特定部１３は、後述するように監視者にて相関人物検出数として設定された人数の相関人物Ｐ１，Ｐ２の行動を抽出する。そして、不審者特定部１３は、人物グループを構成する各相関人物Ｐ１，Ｐ２同士が、相互に関連する行動をとるか否かを調べる。例えば、図７に示すように、相関人物Ｐ１，Ｐ２同士の距離や、同時に立ち止まる、などの動作を抽出する。その他の抽出する動作の例としては、相関人物Ｐ１，Ｐ２同士が、急速に近づく、手を伸ばしている、所定時間以上見つめている、ほぼ等距離で一定時間以上歩いている、といった時系列で検出される行動もある。なお、不審者特定部１３は、各相関人物Ｐ１，Ｐ２の位置情報や、上述した潜在被害者Ｐ０と相関人物Ｐ１，Ｐ２との距離、当該相関人物Ｐ１，Ｐ２間の距離や行動を、各人物の移動に伴い常に抽出し、記憶しておくと共に出力部１４に通知する。

なお、上記では、不審者特定部１３は、潜在被害者Ｐ０の位置を特定した後の撮影画像内から相関人物Ｐ１，Ｐ２の行動等を抽出する場合を例示したが、潜在被害者Ｐ０の位置を特定する前の撮影画像を用いて、上述同様に相関人物Ｐ１，Ｐ２の行動等を抽出してもよい。例えば、潜在被害者Ｐ０の位置を特定した時点から過去の一定時間の撮影画像を対象としたり、一定時間逆再生した撮影画像を対象として、上述同様に相関人物Ｐ１，Ｐ２の行動等を抽出してもよい。これにより、例えば、潜在被害者Ｐ０に過去に近づいたが、潜在被害者Ｐ０の位置を特定した後に当該潜在被害者Ｐ０から離れて位置している相関人物Ｐ１，Ｐ２も抽出することができる。

そして、不審者特定部１３は、上述したように潜在被害者Ｐ０と人物グループを構成する相関人物Ｐ１，Ｐ２との行動の抽出結果から、不審者あるいは不審者グループを特定する。例えば、行動の抽出結果に対して、不審者グループを特定する基準を表す不審者基準情報が不審者基準情報記憶部１６に記憶されており、不審者基準情報と行動の抽出結果とを比較することで、不審者あるいは不審者グループを特定する。一例として、図３に示すような、各人物Ｐ０，Ｐ１，Ｐ２間の距離の変化が、行動の抽出結果として得られた場合を説明する。なお、図３の上図は、各人物Ｐ０，Ｐ１，Ｐ２間の距離を示し、左側から右側に向かって時間が経過していることを表している。また、図３の下図は、各人物Ｐ０，Ｐ１，Ｐ２間の距離の時間的変化を示している。一例として、この図に示すように、潜在被害者Ｐ０と人物グループを構成する各相関人物Ｐ１，Ｐ２との距離Ｄ１，Ｄ２が所定範囲内であって、かつ、徐々に近づくよう変化し、また、人物グループを構成する各相関人物Ｐ１，Ｐ２間の距離Ｄ３が所定範囲内であるとする。この場合、行動の抽出結果が不審者基準情報に合致することで、人物Ｐ１，Ｐ２からなる人物グループを不審者グループとして特定する。

なお、不審者特定部１３は、上記では、行動の抽出結果が不審者基準情報に合致する場合に不審者グループを特定しているが、必ずしもこれらが合致する場合に不審者グループを特定することに限定されない。例えば、不審者基準情報が示す距離の変化の態様と、抽出された距離の変化の態様と、が類似する人物グループを不審者グループとして特定してもよい。また、上記では、各人物間のそれぞれの距離の変化に着目しているが、複数人物間を距離の変化を一体としてまとめてモデル化して不審者基準情報とし、かかるモデルと抽出された距離の変化を一体としてまとめた情報との類似性に基づいて、不審者グループを特定してもよい。

また、不審者特定部１３は、潜在被害者Ｐ０に対して所定の距離範囲に位置するといった相関関係にある相関人物Ｐ１，Ｐ２間の相関度を算出して、かかる相関度に応じて不審者グループを特定してもよい。例えば、潜在被害者Ｐ０に対して所定の距離範囲に位置する相関人物Ｐ１，Ｐ２間の相関度Ｙを、当該相関人物Ｐ１，Ｐ２間の各行動Ａ，Ｂ，Ｃ，Ｄ毎に設定された係数（重み）と行動時間ｔとに基づいて、以下のように算出して、出力部１４に通知する。
Ｙ＝Ａ＊ｔ１＋Ｂ＊ｔ２＋Ｃ＊ｔ３＋Ｄ＊ｔ４＋・・・
Ｙ：相関度
Ａ：「近くを歩いている」行動の係数（重み）
Ｂ：「顔を見合わせている（会話している）」行動の係数（重み）
Ｃ：「一定の距離間隔をキープして歩いている」行動の係数（重み）
Ｄ：「同時に立ち止まっている」行動の係数（重み）
ｔ：各行動の総時間

そして、不審者特定部１３は、上述したように不審者として特定する前の潜在被害者Ｐ０に対して関連する行動を取る相関人物Ｐ１，Ｐ２の位置情報や、各人物Ｐ０，Ｐ１，Ｐ２間の距離、相関人物Ｐ１，Ｐ２間の相関度、といった情報を、新たな撮影画像Ｇが入力される毎に算出し、出力部１４に通知する。

なお、不審者特定部１３による不審者あるいは不審者グループを特定する方法は、いかなる方法であってもよい。例えば、上述した人物間の距離に加え、相関人物Ｐ１，Ｐ２の視線、移動軌跡、などの他の行動に基づいて不審者を特定してもよい。例えば、一方の相関人物Ｐ１が潜在被害者Ｐ０に視線を向け、他方の相関人物Ｐ２が周囲を見回すような行動を取る場合に、これら相関人物Ｐ１，Ｐ２を不審者グループとして特定してもよい。また、人物間の距離が所定値以下のときに所定の行動をとる、といったモデルを不審者基準情報として用意しておき、かかるモデルと抽出した情報との類似度によって不審者グループを特定してもよい。また、上述したように、相関人物Ｐ１，Ｐ２が潜在被害者Ｐ０に過去に近づいていたもののその後は離れている場合や、近づいたり離れたりすることを繰り返すような行動も、不審者基準情報に含めてもよい。

ここで、上述した例では、不審者特定部１３が、複数の人物からなる不審者グループを特定する場合を例示したが、潜在被害者Ｐ０に対して１人の人物を不審者として特定してもよい。例えば、潜在被害者Ｐ０に対して所定範囲内の距離が一定時間継続し、視線が潜在被害者Ｐ０に一定時間向いている、というような情報を不審者基準情報として記憶しておく。そして、撮影画像から抽出した潜在被害者Ｐ０に対する人物Ｐの行動が、上述したような不審者基準情報に合致している場合に、かかる１人の人物を不審者として特定する。

なお、不審者特定部１３は、不審者や不審者グループを特定する際に、上述したように潜在被害者に対する相関人物の行動に基づいて特定することに限定されず、相関人物の年齢や性別、服装、持ち物などの属性に基づいて、不審者や不審者グループを特定してもよい。このとき、潜在被害者の属性も考慮してもよい。例えば、潜在被害者が女性であり、ハンドバッグを所持している属性である場合に、相関人物が男性であり、帽子をかぶり、サングラスを掛け、大きなバッグを持っている、といった属性である場合に、相関人物を不審者として特定してもよい。

また、不審者特定部１３は、予め抽出した人物グループの全員を不審者グループとして特定することに限定されず、１人又は複数人を不審者として特定すると共に、かかる特定した不審者に他の人物を含めた複数の人物を、最終的に不審者グループとして特定してもよい。一例としては、まず、上述したように人物グループとして抽出した相関人物のうち、少なくとも１人の人物の行動の抽出結果から、かかる人物を不審者として特定する。そして、不審者として特定した人物を含む人物グループの全員を、不審者グループとして特定する。また、別の例としては、相関人物のうち少なくとも１人の人物の行動の抽出結果から不審者を特定し、その時点で特定した不審者や潜在被害者の近隣に位置する人物を含めて不審者グループを特定する。このとき、特定した不審者や潜在被害者の近隣に位置する人物が、特定した不審者と物の受け渡しを行ったり会話するなど特定の行動を取った場合に、当該人物を不審者グループに含めてもよい。また、別の例としては、相関人物のうち少なくとも１人の人物の行動の抽出結果から不審者を特定したときに、その時点から過去の撮影画像や他のカメラで撮影した撮影画像を対象として、特定した不審者や潜在被害者に対して関連する行動を取る人物を含めて不審者グループを特定する。さらに別の例としては、まず、潜在被害者とは関係なく、つまり、不審の可能性の有無に関係なく、撮影画像から事前に任意の人物グループを抽出して記憶しておく。そして、このうち少なくとも１人が潜在被害者に対する不審者と特定された場合に、当該特定された不審者を含む予め記憶された人物グループを不審者グループと特定する。

また、不審者特定部１３は、必ずしも潜在被害者特定部１２にて特定された潜在被害者Ｐ０に対する不審者あるいは不審者グループを特定することに限定されない。例えば、不審者特定部１３は、撮影画像Ｇ内の任意の人物を潜在被害者Ｐ０として検出し、かかる潜在被害者Ｐ０に対する他の人物の行動を抽出して、不審者あるいは不審者グループを特定してもよい。

上記出力部１４（表示制御手段、通知手段）は、対象場所Ｒを監視する監視者に対して、出力装置２０から監視画面を表示するよう制御する。ここで、出力部１４によって表示制御される監視画面の表示例を、図９乃至図１３を参照して説明する。

まず、出力部１４は、図９に示すように、監視画面に、対象場所Ｒに設置されたカメラＣから撮影された撮影画像Ｇを表示する。なお、出力部１４は、新たな撮影画像Ｇが取得される毎に、更新して撮影画像Ｇを表示する。このとき、出力部１４は、監視画面上に対象場所ＲつまりカメラＣを選択させる選択欄を表示し、選択されたカメラＣにて撮影された撮影画像Ｇを表示する。

また、出力部１４は、図９に示すように、監視画面に、「潜在被害者検出数」、「探索範囲」、「相関人物検出数」の入力欄を表示し、入力された数値を各部に通知する。例えば、出力部１４は、「潜在被害者検出数」を潜在被害者特定部１２に通知することで、潜在被害者特定部１２は通知された人数の潜在被害者Ｐ０を検出する。また、出力部１４は、「探索範囲」と「相関人物検出数」を不審者特定部１３に通知する。これにより、不審者特定部１３は、潜在被害者Ｐ０を中心として通知された探索範囲で、通知された人数の相関人物の行動を抽出して、その中から不審者あるいは不審者グループを特定する。

また、出力部１４は、上述したように潜在被害者特定部１２にて検出された潜在被害者Ｐ０の位置情報の通知を受けて、図１０に示すように、撮影画像Ｇ上の潜在被害者Ｐ０の人物部分を、予め設定された潜在被害者用の表示形態で表示する。例えば、図１０では、潜在被害者Ｐ０の人物部分を点線で図示しているが、潜在被害者特定部１２から通知された位置情報に位置する人物箇所の周囲を縁取って表示したり、人物箇所の上部に潜在被害者である旨を表すマークを表示するなど、潜在被害者用の表示形態で表示する。

また、出力部１４は、上述した潜在被害者Ｐ０の表示と併せて、当該潜在被害者Ｐ０を中心とした他の人物の行動を抽出する処理領域Ａを示す円弧を表示する。例えば、出力部１４は、処理領域Ａとして、潜在被害者Ｐ０を中心として、監視者にて探索範囲として設定された半径の円弧を表示する。これにより、処理領域Ａを表す円弧内には、後述するように、潜在被害者Ｐ０と不審者あるいは不審者グループとが含まれることとなる。なお、処理領域Ａである円弧の表示は、潜在被害者Ｐ０が移動する毎に、当該潜在被害者Ｐ０の位置に応じて移動して表示される。但し、処理領域Ａは、いかなる形状であってもよく、また、必ずしも潜在被害者Ｐ０を中心とした領域であることに限定されない。

また、出力部１４は、上述したように不審者特定部１３にて検出された潜在被害者Ｐ０に対して関連する行動を取る相関人物Ｐ１，Ｐ２，Ｐ３の通知を受けて、図１１に示すように、撮影画像Ｇ上の人物部分を、予め設定された相関人物表示用の表示形態で表示する。例えば、図１１では、相関人物Ｐ１，Ｐ２，Ｐ３の人物部分を灰色で図示しているが、不審者特定部１３から通知された位置情報に位置する人物箇所の周囲を縁取って表示したり、人物箇所の上部に相関人物を表すマークを表示するなどの相関人物用の表示形態で表示してもよい。

また、出力部１４は、上述したように相関人物Ｐ１，Ｐ２，Ｐ３の表示と共に、各人物Ｐ０，Ｐ１，Ｐ２，Ｐ３間の相関関係を表す相関関係情報を表示する。例えば、出力部１４は、図１１に示すように、人物間を連結する帯状図形や数値で相関関係情報を表示する。このとき、相関関係情報は、例えば、潜在被害者Ｐ０と各相関人物Ｐ１，Ｐ２，Ｐ３との間の距離であったり、相関人物Ｐ１，Ｐ２，Ｐ３間同士の距離や相関度Ｙである。そして、相関関係情報を帯状図形で表示する場合には、距離や相関度の値に応じた太さで表示するというように、相関関係の度合い（強度）に応じた表示形態で表示する。例えば、距離が近かったり相関度が高い人物間においては、相関関係の度合いが強いため、帯状図形を太く表示し、また、数値自体も高い値を表示する。一方、距離が遠かったり相関度が低い人物間においては、相関関係の度合いが低いため、帯状図形を細く表示し、また、数値自体も低い値を表示する。

また、出力部１４は、上述した各人物間の相関関係情報を、当該相関関係が生じた時系列で表示する。例えば、出力部１４は、人物間に表示された相関関係情報がマウスオーバーされるなど監視者によって選択された場合に、図１２の符号Ｂに示すように、選択された人物Ｐ１，Ｐ２間の相関関係が生じた時刻と行動内容を時系列で表示する。

また、出力部１４は、上述したように不審者特定部１３にて特定された不審者グループの通知を受けて、図１３Ａに示すように、撮影画像Ｇ上の人物部分を、予め設定された不審者表示用の表示形態で表示する。例えば、図１３Ａでは、特定された不審者グループを構成する不審者Ｐ１，Ｐ２の人物部分を黒色で図示しているが、不審者特定部１３から通知された位置情報に位置する人物箇所の周囲を縁取って表示したり、人物箇所の上部に不審者を表すマークを表示するなどの不審者用の表示形態で表示してもよい。

また、出力部１４は、図１３Ｂに示すように、特定された不審者グループを符号Ｐ１０に示すように一つの物体として表示してもよい。加えて、潜在被害者Ｐ０と不審者グループを表す物体Ｐ１０との間に、上述したような例えば帯状図形からなる相関関係情報を表示してもよい。このとき、図１３Ｂに示すように、不審者グループを表す物体Ｐ１０と共に不審者グループの人物Ｐ１，Ｐ２を表示してもよく、人物Ｐ１，Ｐ２を隠して物体Ｐ１０のみを表示してもよい。さらに、出力部１４は、図１３Ｃの撮影画像Ｇの右側に示すように、当該撮影画像Ｇとは別に、潜在被害者Ｐ０と相関人物Ｐ１，Ｐ２，Ｐ３とによる各人物間の相関関係を表す相関関係情報を表示した相関図を表示してもよい。図１３Ｃの例では、相関図では、潜在被害者Ｐ０と相関人物Ｐ１，Ｐ２，Ｐ３とを示す簡易人物図形と、かかる簡易人物図形を帯状図形で結んだ相関関係情報と、を表示している。なお、相関図は、必ずしも撮影画像Ｇの表示画面と同一画面上に表示することに限定されず、撮影画像とは別の画面に表示してもよい。

また、出力部１４は、上述したように不審者特定部１３にて特定された不審者グループの通知を受けて、不審者グループの存在を潜在被害者Ｐ０に通知してもよい。例えば、潜在被害者Ｐ０の顔画像から人物を特定し、予め監視装置１０に登録された人物である場合には、予め登録された当該人物の携帯端末のアドレスに対して警報のメッセージを送ることで、不審者グループの存在を通知する。なお、不審者グループの通知方法はいかなる方法であってもよく、例えば、対象場所Ｒに設置されたスピーカから警報情報を出力することで通知してもよい。

ここで、情報処理システムは、カメラＣを複数台装備していてもよく、各カメラＣは、それぞれが複数の対象場所Ｒを撮影していてもよい。そして、監視装置１０は、複数のカメラＣから撮影されたそれぞれ異なる対象場所Ｒの撮影画像に対して、それぞれ上述したように犯罪者や犯罪者グループの特定を行ってもよい。また、監視装置１０は、複数のカメラＣで撮影された複数の撮影画像から、同一人物を抽出して追跡を行ってもよい。例えば、監視装置１０は、各カメラＣにて撮影された各撮影画像に映る人物を顔認証や全身認証することで同一人物を抽出し、かかる同一人物を追跡する。そして、人物の追跡結果を、上述したように人物の行動の抽出や人物グループの抽出に利用してもよく、その他の処理に利用してもよい。

［動作］
次に、上述した情報処理システムの動作を、主に図１４のフローチャートを参照して説明する。以下では、主に監視装置１０の動作を説明する。

まず、監視装置１０は、カメラＣにて撮影された対象場所Ｒの撮影画像を取得すると、図９に示すように、撮影画像Ｇを出力装置２０に表示出力すると共に、撮影画像内の人物Ｐを抽出する（図１４のステップＳ１）。このとき、監視装置１０は、監視者から潜在被害者検出数などの設定情報の入力を受け付け、設定する。

そして、監視装置１０は、撮影画像から抽出した人物Ｐの画像部分から人物の属性や行動、周囲環境などを抽出し、これらの情報に基づいて、潜在被害者Ｐ０を検出する（図１４のステップＳ２でＹｅｓ）。なお、監視装置１０は、事前に撮影画像から被害者となりやすい潜在被害者の属性などの特徴を表す潜在被害者モデルを生成し、当該潜在被害者モデルと、撮影画像から抽出した人物の属性等を用いて、潜在被害者Ｐ０を検出してもよい。但し、監視装置１０は、撮影画像上の任意の人物を、潜在被害者Ｐ０として検出してもよい。そして、監視装置１０は、図１０に示すように、検出した潜在被害者Ｐ０を撮影画像Ｇ上に表示する（図１４のステップＳ３）。

続いて、監視装置１０は、撮影画像Ｇ上において、潜在被害者Ｐ０の位置を中心とした所定半径の処理領域Ａを設定し、かかる処理領域Ａ内の人物の行動を抽出する（図１４のステップＳ４）。このとき、監視装置１０は、図１０の符号Ａに示すように、撮影画像Ｇ上に、潜在被害者Ｐ０を中心として人物の行動を抽出する処理領域Ａを表示する。

続いて、監視装置１０は、処理領域Ａ内の人物の行動を抽出し、潜在被害者Ｐ０と相関関係がある相関人物Ｐ１，Ｐ２，Ｐ３を検出する（図１４のステップＳ５でＹｅｓ）。例えば、潜在被害者Ｐ０に対して所定の距離範囲に位置するなど所定の行動を取る人物を相関人物Ｐ１，Ｐ２，Ｐ３として検出する。併せて、監視装置１０は、潜在被害者Ｐ０と各相関人物Ｐ１，Ｐ２，Ｐ３との相関関係や、各相関人物Ｐ１，Ｐ２，Ｐ３間の相関関係を抽出する。例えば、人物間の距離を相関関係情報として算出したり、人物間の特定の行動を数値化して予め設定された演算式にて集計した相関度を相関関係情報として算出する。

続いて、監視装置１０は、図１１，図１２に示すように、撮影画像Ｇ上に、検出した相関人物Ｐ１，Ｐ２，Ｐ３を表示すると共に、各人物間の相関関係情報も表示する（図１４のステップＳ６）。相関関係情報としては、例えば、相関度合いに応じて太さが異なる帯状図形や数値、行動内容、を表示する。

そして、監視装置１０は、各人物間の相関関係に基づいて、相関人物Ｐ１，Ｐ２，Ｐ３の中から、単独の不審者、あるいは、複数の不審者からなる不審者グループを特定する（図１４のステップＳ７でＹｅｓ）。例えば、図１３Ａの例では、２人の相関人物Ｐ１，Ｐ２からなる不審者グループを特定している。監視装置１０は、図１３Ａに示すように、撮影画像Ｇ上に、特定した不審者グループを構成する不審者Ｐ１，Ｐ２を表示すると共に、各所に警報を発したりするなど報知処理を行う（図１４のステップＳ８）。

以上のように、本発明では、対象場所Ｒの撮影画像Ｇから、潜在被害者Ｐ０に対して相関関係を有する相関人物Ｐ１，Ｐ２，Ｐ３の行動を抽出することで、潜在被害者Ｐ０に対する不審者Ｐ１，Ｐ２（不審者グループ）を特定している。このため、複数の人物が存在する群衆の中においても、犯罪行為や迷惑行為を行う可能性のある不審者を特定することができ、犯罪行為や迷惑行為を未然に防ぐような行動を取ることができる。

また、本発明では、潜在被害者Ｐ０や相関人物Ｐ１，Ｐ２，Ｐ３といった人物間における相関関係を検出して、かかる相関関係情報を人物画像と共に表示出力している。このため、上述したように特定した不審者が群衆の中に存在する場合であっても、かかる不審者を容易に認識することができる。その結果、犯罪行為や迷惑行為を未然に防ぐような行動を取ることができる。

なお、上記では、潜在被害者Ｐ０に対する不審者Ｐ１，Ｐ２を特定する場合を例示したが、潜在被害者Ｐ０はいかなる人物であってもよく、また、不審者Ｐ１，Ｐ２もいかなる人物であってもよい。つまり、本発明は、ある人物に対する不審者を特定する場合に限らず、ある人物に対して相関関係のあるいかなる人物を特定する場合にも利用することができる。

＜実施形態２＞
次に、本発明の第２の実施形態を、図１５を参照して説明する。図１５は、実施形態２における情報処理装置の構成を示すブロック図である。なお、本実施形態では、実施形態１で説明した監視装置の構成の概略を示している。

図１５に示すように、本実施形態おける情報処理装置１００は、
撮影画像内の人物を抽出する人物抽出手段１１０と、
撮影画像内における所定の人物に対する他の複数の人物からなる人物グループの行動を抽出する行動抽出手段１２０と、
人物グループの行動の抽出結果に基づいて、所定の人物グループを特定する特定手段１３０と、
を備える。

なお、上述した人物抽出手段１１０と行動抽出手段１２０と特定手段１３０とは、情報処理装置１００が装備する演算装置がプログラムを実行することで構築されるものであってもよく、電子回路で構築されるものであってもよい。

そして、上記構成の情報処理装置１００は、
撮影画像内の人物を抽出し、
撮影画像内における所定の人物に対する他の複数の人物からなる人物グループの行動を抽出し、
人物グループの行動の抽出結果に基づいて、所定の人物グループを特定する、
という処理を実行するよう作動する。

上記発明によると、所定の人物に対する他の人物からなる人物グループの行動から、所定の人物グループを特定することができる。このため、複数の人物が存在する群衆の中においても、犯罪行為や迷惑行為を行う可能性のある不審者グループといった所望の人物グループを特定することができる。

＜実施形態３＞
次に、本発明の第３の実施形態を、図１６を参照して説明する。図１６は、実施形態３における情報処理装置の構成を示すブロック図である。なお、本実施形態では、実施形態１で説明した監視装置の構成の概略を示している。

図１６に示すように、本実施形態おける情報処理装置２００は、
撮影画像内の人物を抽出する人物抽出手段２１０と、
撮影画像内における人物の属性を抽出して、当該人物の属性を含む人物情報に基づいて対象人物を検出する対象人物検出手段２２０と、
撮影画像内における対象人物に対する他の人物の行動を抽出する行動抽出手段２３０と、
他の人物の行動の抽出結果に基づいて、所定の他の人物を特定する特定手段２４０と、
を備える。

なお、上述した人物抽出手段２１０と対象人物検出手段２２０と行動抽出手段２３０と特定手段２４０とは、情報処理装置２００が装備する演算装置がプログラムを実行することで構築されるものであってもよく、電子回路で構築されるものであってもよい。

そして、上記構成の情報処理装置２００は、
撮影画像内の人物を抽出し、
撮影画像内における人物の属性を抽出して、当該人物の属性を含む人物情報に基づいて対象人物を検出し、
撮影画像内における前記対象人物に対する他の人物の行動を抽出し、
他の人物の行動の抽出結果に基づいて、所定の他の人物を特定する、
という処理を実行するよう作動する。

上記発明によると、まず撮影画像内の人物の属性から対象人物を検出し、この対象人物に対する他の人物の行動から、所定の他の人物を特定することができる。このため、複数の人物が存在する群衆の中においても、対象人物に対して犯罪行為や迷惑行為を行う可能性のある不審者といった所望の人物を特定することができる。

＜実施形態４＞
次に、本発明の第４の実施形態を、図１７を参照して説明する。図１７は、実施形態４における情報処理装置の構成を示すブロック図である。なお、本実施形態では、実施形態１で説明した監視装置の構成の概略を示している。

図１７に示すように、本実施形態おける情報処理装置３００は、
撮影画像内の人物を抽出する人物抽出手段３１０と、
撮影画像に基づいて複数の人物間の相関関係を検出する相関検出手段３２０と、
撮影画像内の人物に相当する人物画像と共に、複数の人物間の相関関係を表す相関関係情報を表示制御する表示制御手段３３０と、
を備える。

なお、上述した人物抽出手段３１０と相関検出手段３２０と表示制御手段３３０とは、情報処理装置３００が装備する演算装置がプログラムを実行することで構築されるものであってもよく、電子回路で構築されるものであってもよい。

そして、上記構成の情報処理装置３００は、
撮影画像内の人物を抽出し、
前記撮影画像に基づいて複数の人物間の相関関係を検出し、
前記撮影画像内の人物に相当する人物画像と共に、複数の人物間の前記相関関係を表す相関関係情報を表示制御する、
という処理を実行するよう作動する。

上記発明によると、まず撮影画像内の人物間の相関関係を検出し、人物画像と共に相関関係情報を表示している。このため、複数の人物が存在する群衆の中において、所定の人物に対して犯罪行為や迷惑行為を行う可能性のある不審者などの所望の人物の相関関係を容易に認識することができる。

＜付記＞
上記実施形態の一部又は全部は、以下の付記のようにも記載されうる。以下、本発明における情報処理装置、情報処理方法、プログラムの構成の概略を説明する。但し、本発明は、以下の構成に限定されない。

（付記１）
撮影画像内の人物を抽出する人物抽出手段と、
前記撮影画像内における所定の人物に対する他の複数の人物からなる人物グループの行動を抽出する行動抽出手段と、
前記人物グループの行動の抽出結果に基づいて、所定の人物グループを特定する特定手段と、
を備えた情報処理装置。

（付記２）
付記１に記載の情報処理装置であって、
前記特定手段は、前記人物グループを構成する各人物が前記所定の人物に対して関連する行動を取る場合に、当該人物グループを前記所定の人物グループとして特定する、
情報処理装置。

（付記３）
付記２に記載の情報処理装置であって、
前記特定手段は、前記人物グループを構成する各人物が、前記所定の人物に対して関連する行動を取り、かつ、前記人物グループを構成する各人物同士が相互に関連する行動を取る場合に、当該人物グループを前記所定の人物グループとして特定する、
情報処理装置。

（付記４）
付記１乃至３のいずれかに記載の情報処理装置であって、
前記特定手段は、前記所定の人物に対する前記人物グループを構成する各人物の距離に基づいて、前記所定の人物グループを特定する、
情報処理装置。

（付記５）
付記４に記載の情報処理装置であって、
前記特定手段は、前記所定の人物に対する前記人物グループを構成する各人物の距離、及び、前記人物グループを構成する各人物間の距離に基づいて、前記所定の人物グループを特定する、
情報処理装置。

（付記６）
付記１乃至５のいずれかに記載の情報処理装置であって、
前記行動抽出手段は、前記所定の人物に対して所定の距離範囲に位置する他の複数の人物からなる前記人物グループの行動を抽出する、
情報処理装置。

（付記７）
付記１乃至６のいずれかに記載の情報処理装置であって、
前記撮影画像内における人物の属性を抽出して、当該人物の属性を含む人物情報に基づいて前記所定の人物を検出する対象人物検出手段を備えた、
情報処理装置。

（付記８）
付記７に記載の情報処理装置であって、
過去の撮影画像に基づいて、前記所定の人物として検出する人物の属性を表す基準情報を生成する基準情報生成手段を備え、
前記対象人物検出手段は、前記基準情報と抽出した人物の属性とに基づいて前記所定の人物を検出する、
情報処理装置。

（付記９）
付記７に記載の情報処理装置であって、
前記対象人物検出手段は、前記撮影画像内における環境を抽出し、当該抽出した環境と、抽出した人物の属性と、に基づいて前記所定の人物を検出する、
情報処理装置。

（付記１０）
付記９に記載の情報処理装置であって、
過去の撮影画像に基づいて、前記所定の人物として検出する人物の属性と、当該人物を含む前記撮影画像内における環境と、を表す基準情報を生成する基準情報生成手段を備え、
前記対象人物検出手段は、前記基準情報と抽出した人物の属性と抽出した環境とに基づいて前記所定の人物を検出する、
情報処理装置。

（付記１１）
情報処理装置に、
撮影画像内の人物を抽出する人物抽出手段と、
前記撮影画像内における所定の人物に対する他の複数の人物からなる人物グループの行動を抽出する行動抽出手段と、
前記人物グループの行動の抽出結果に基づいて、所定の人物グループを特定する特定手段と、
を実現させるためのプログラム。

（付記１２）
撮影画像内の人物を抽出し、
前記撮影画像内における所定の人物に対する他の複数の人物からなる人物グループの行動を抽出し、
前記人物グループの行動の抽出結果に基づいて、所定の人物グループを特定する、
情報処理方法。

（付記１３）
付記１２に記載の情報処理方法であって、
前記撮影画像内における人物の属性を抽出して、当該人物の属性を含む人物情報に基づいて前記所定の人物を検出する、
情報処理方法。

（付記１４）
付記１３に記載の情報処理方法であって、
過去の撮影画像に基づいて、前記所定の人物として検出する人物の属性を表す基準情報を生成し、
前記基準情報と抽出した人物の属性とに基づいて前記所定の人物を検出する、
情報処理方法。

（付記１５）
付記１３に記載の情報処理方法であって、
前記撮影画像内における環境を抽出し、当該抽出した環境と、抽出した人物の属性と、に基づいて前記所定の人物を検出する、
情報処理方法。

（付記２−１）
撮影画像内の人物を抽出する人物抽出手段と、
前記撮影画像内における人物の属性を抽出して、当該人物の属性を含む人物情報に基づいて対象人物を検出する対象人物検出手段と、
前記撮影画像内における前記対象人物に対する他の人物の行動を抽出する行動抽出手段と、
前記他の人物の行動の抽出結果に基づいて、所定の他の人物を特定する特定手段と、
を備えた情報処理装置。

（付記２−２）
付記２−１に記載の情報処理装置であって、
過去の撮影画像に基づいて、前記対象人物として検出する人物の属性を表す基準情報を生成する基準情報生成手段を備え、
前記対象人物検出手段は、前記基準情報と抽出した人物の属性とに基づいて前記対象人物を検出する、
情報処理装置。

（付記２−３）
付記２−１に記載の情報処理装置であって、
前記対象人物検出手段は、前記撮影画像内における環境を抽出し、当該抽出した環境と、抽出した人物の属性と、に基づいて前記対象人物を検出する、
情報処理装置。

（付記２−４）
付記２−３に記載の情報処理装置であって、
過去の撮影画像に基づいて、前記対象人物として検出する人物の属性と、当該人物を含む前記撮影画像内における環境と、を表す基準情報を生成する基準情報生成手段を備え、
前記対象人物検出手段は、前記基準情報と抽出した人物の属性と抽出した環境とに基づいて前記対象人物を検出する、
情報処理装置。

（付記２−５）
付記２−１乃至２−４のいずれかに記載の情報処理装置であって、
前記特定手段は、前記対象人物に対して前記他の人物が所定の行動を取る場合に、当該他の人物を前記所定の他の人物として特定する、
情報処理装置。

（付記２−６）
付記２−１乃至２−５のいずれかに記載の情報処理装置であって、
前記特定手段は、前記対象人物に対する前記他の人物の距離に基づいて、前記所定の他の人物を特定する、
情報処理装置。

（付記２−７）
付記２−１乃至２−６のいずれかに記載の情報処理装置であって、
前記行動抽出手段は、前記撮影画像内における前記対象人物に対する他の複数の人物からなる人物グループの行動を抽出し、
前記特定手段は、前記人物グループを構成する各人物が前記対象人物に対して相互に関連する行動を取る場合に、当該人物グループを所定の人物グループとして特定する、
情報処理装置。

（付記２−８）
付記２−７に記載の情報処理装置であって、
前記特定手段は、前記対象人物に対する前記人物グループを構成する各人物の距離に基づいて、前記所定の人物グループを特定する、
情報処理装置。

（付記２−９）
付記２−８に記載の情報処理装置であって、
前記特定手段は、前記対象人物に対する前記人物グループを構成する各人物の距離、及び、前記人物グループを構成する各人物間の距離に基づいて、前記所定の人物グループを特定する、
情報処理装置。

（付記２−１０）
付記２−１乃至２−９のいずれかに記載の情報処理装置であって、
前記行動抽出手段は、前記対象人物に対して所定の距離範囲に位置する前記他の人物の行動を抽出する、
情報処理装置。

（付記２−１１）
情報処理装置に、
撮影画像内の人物を抽出する人物抽出手段と、
前記撮影画像内における人物の属性を抽出して、当該人物の属性を含む人物情報に基づいて対象人物を検出する対象人物検出手段と、
前記撮影画像内における前記対象人物に対する他の人物の行動を抽出する行動抽出手段と、
前記他の人物の行動の抽出結果に基づいて、所定の他の人物を特定する特定手段と、
を実現させるためのプログラム。

（付記２−１２）
撮影画像内の人物を抽出し、
前記撮影画像内における人物の属性を抽出して、当該人物の属性を含む人物情報に基づいて対象人物を検出し、
前記撮影画像内における前記対象人物に対する他の人物の行動を抽出し、
前記他の人物の行動の抽出結果に基づいて、所定の他の人物を特定する、
情報処理方法。

（付記２−１３）
付記２−１２に記載の情報処理方法であって、
過去の撮影画像に基づいて、前記対象人物として検出する人物の属性を表す基準情報を生成し、
前記基準情報と抽出した人物の属性とに基づいて前記対象人物を検出する、
情報処理方法。

（付記２−１４）
付記２−１２に記載の情報処理方法であって、
前記撮影画像内における環境を抽出し、当該抽出した環境と、抽出した人物の属性と、に基づいて前記対象人物を検出する、
情報処理方法。

（付記２−１５）
付記２−１２乃至２−１４のいずれかに記載の情報処理方法であって、
前記撮影画像内における前記対象人物に対する他の複数の人物からなる人物グループの行動を抽出し、
前記人物グループを構成する各人物が前記対象人物に対して相互に関連する行動を取る場合に、当該人物グループを所定の人物グループとして特定する、
情報処理方法。

（付記３−１）
撮影画像内の人物を抽出する人物抽出手段と、
前記撮影画像に基づいて複数の人物間の相関関係を検出する相関検出手段と、
前記撮影画像内の人物に相当する人物画像と共に、複数の人物間の前記相関関係を表す相関関係情報を表示制御する表示制御手段と、
を備えた情報処理装置。

（付記３−２）
付記３−１に記載の情報処理装置であって、
前記表示制御手段は、複数の人物間の前記相関関係の内容に応じた表示形態で前記相関関係情報を表示制御する、
情報処理装置。

（付記３−３）
付記３−２に記載の情報処理装置であって、
前記表示制御手段は、複数の人物間の前記相関関係の強度に応じた表示形態で前記相関関係情報を表示制御する、
情報処理装置。

（付記３−４）
付記３−２又は３−３に記載の情報処理装置であって、
前記表示制御手段は、前記相関関係情報を当該相関関係が生じた時系列で表示制御する、
情報処理装置。

（付記３−５）
付記３−２乃至３−４のいずれかに記載の情報処理装置であって、
前記表示制御手段は、前記相関関係情報に基づいて所定の条件を満たす人物を、予め設定された表示形態で表示制御する、
情報処理装置。

（付記３−６）
付記３−２乃至３−５のいずれかに記載の情報処理装置であって、
前記相関検出手段は、前記撮影画像内における複数の人物の行動に基づいて、当該人物間の相関関係を検出し、
前記表示制御手段は、複数の人物間の行動に基づく前記相関関係に応じた表示形態で前記相関関係情報を表示制御する、
情報処理装置。

（付記３−７）
付記３−６に記載の情報処理装置であって、
前記相関検出手段は、前記撮影画像内における所定の人物に対する他の複数の人物からなる人物グループの行動に基づいて、当該人物グループを構成する人物間の相関関係を検出し、
前記表示制御手段は、前記人物グループを構成する人物間の前記相関関係情報を表示制御する、
情報処理装置。

（付記３−８）
付記３−６又は３−７に記載の情報処理装置であって、
前記相関検出手段は、前記撮影画像内における所定の人物に対する他の複数の人物からなる人物グループの行動に基づいて、前記所定の人物と前記人物グループを構成する人物との間の相関関係を検出し、
前記表示制御手段は、前記所定の人物と前記人物グループを構成する人物との間の前記相関関係情報を表示制御する、
情報処理装置。

（付記３−９）
付記３−７又は３−８に記載の情報処理装置であって、
前記表示制御手段は、前記所定の人物と、特定された前記人物グループと、を含む所定の領域を所定の表示形態で表示するよう制御する、
情報処理装置。

（付記３−１０）
付記３−９に記載の情報処理装置であって、
前記表示制御手段は、前記所定の人物の位置を基準として、当該所定の人物と、特定された前記人物グループと、を含む所定の領域を所定の表示形態で表示するよう制御する、
情報処理装置。

（付記３−１１）
付記３−７乃至３−１０のいずれかに記載の情報処理装置であって、
前記撮影画像に基づいて前記所定の人物を特定する人物特定手段と、
前記所定の人物に対して前記人物グループの存在を通知する通知手段と、
を備えた、
情報処理装置。

（付記３−１２）
情報処理装置に、
撮影画像内の人物を抽出する人物抽出手段と、
前記撮影画像に基づいて複数の人物間の相関関係を検出する相関検出手段と、
前記撮影画像内の人物に相当する人物画像と共に、複数の人物間の前記相関関係を表す相関関係情報を表示制御する表示制御手段と、
を実現させるためのプログラム。

（付記３−１３）
撮影画像内の人物を抽出し、
前記撮影画像に基づいて複数の人物間の相関関係を検出し、
前記撮影画像内の人物に相当する人物画像と共に、複数の人物間の前記相関関係を表す相関関係情報を表示制御する、
情報処理方法。

なお、上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Read Only Memory）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

以上、上記実施形態等を参照して本願発明を説明したが、本願発明は、上述した実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明の範囲内で当業者が理解しうる様々な変更をすることができる。

１０ 監視装置
１１ 人物抽出部
１２ 潜在被害者特定部
１３ 不審者特定部
１４ 出力部
１５ 潜在被害者基準情報記憶部
１６ 不審者基準情報記憶部
２０ 出力装置
１００ 情報処理装置
１１０ 人物抽出手段
１２０ 行動抽出手段
１３０ 特定手段
２００ 情報処理装置
２１０ 人物抽出手段
２２０ 対象人物検出手段
２３０ 行動抽出手段
２４０ 特定手段
３００ 情報処理装置
３１０ 人物抽出手段
３２０ 相関検出手段
３３０ 表示制御手段
Ａ 処理領域
Ｃ カメラ
Ｇ 撮影画像
Ｐ 人物
Ｐ０ 潜在被害者
Ｐ１，Ｐ２，Ｐ３ 相関人物
Ｒ 対象場所

Claims (13)

1. 撮影画像内の人物を抽出する人物抽出手段と、
   前記撮影画像に基づいて複数の人物間の相関関係を検出する相関検出手段と、
   前記撮影画像内の人物に相当する人物画像と共に、複数の人物間の前記相関関係を表す相関関係情報を表示制御する表示制御手段と、
   を備えた情報処理装置。
2. 請求項１に記載の情報処理装置であって、
   前記表示制御手段は、複数の人物間の前記相関関係の内容に応じた表示形態で前記相関関係情報を表示制御する、
   情報処理装置。
3. 請求項２に記載の情報処理装置であって、
   前記表示制御手段は、複数の人物間の前記相関関係の強度に応じた表示形態で前記相関関係情報を表示制御する、
   情報処理装置。
4. 請求項２又は３に記載の情報処理装置であって、
   前記表示制御手段は、前記相関関係情報を当該相関関係が生じた時系列で表示制御する、
   情報処理装置。
5. 請求項２乃至４のいずれかに記載の情報処理装置であって、
   前記表示制御手段は、前記相関関係情報に基づいて所定の条件を満たす人物を、予め設定された表示形態で表示制御する、
   情報処理装置。
6. 請求項２乃至５のいずれかに記載の情報処理装置であって、
   前記相関検出手段は、前記撮影画像内における複数の人物の行動に基づいて、当該人物間の相関関係を検出し、
   前記表示制御手段は、複数の人物間の行動に基づく前記相関関係に応じた表示形態で前記相関関係情報を表示制御する、
   情報処理装置。
7. 請求項６に記載の情報処理装置であって、
   前記相関検出手段は、前記撮影画像内における所定の人物に対する他の複数の人物からなる人物グループの行動に基づいて、当該人物グループを構成する人物間の相関関係を検出し、
   前記表示制御手段は、前記人物グループを構成する人物間の前記相関関係情報を表示制御する、
   情報処理装置。
8. 請求項６又は７に記載の情報処理装置であって、
   前記相関検出手段は、前記撮影画像内における所定の人物に対する他の複数の人物からなる人物グループの行動に基づいて、前記所定の人物と前記人物グループを構成する人物との間の相関関係を検出し、
   前記表示制御手段は、前記所定の人物と前記人物グループを構成する人物との間の前記相関関係情報を表示制御する、
   情報処理装置。
9. 請求項７又は８に記載の情報処理装置であって、
   前記表示制御手段は、前記所定の人物と、特定された前記人物グループと、を含む所定の領域を所定の表示形態で表示するよう制御する、
   情報処理装置。
10. 請求項９に記載の情報処理装置であって、
    前記表示制御手段は、前記所定の人物の位置を基準として、当該所定の人物と、特定された前記人物グループと、を含む所定の領域を所定の表示形態で表示するよう制御する、
    情報処理装置。
11. 請求項７乃至１０のいずれかに記載の情報処理装置であって、
    前記撮影画像に基づいて前記所定の人物を特定する人物特定手段と、
    前記所定の人物に対して前記人物グループの存在を通知する通知手段と、
    を備えた、
    情報処理装置。
12. 情報処理装置に、
    撮影画像内の人物を抽出する人物抽出手段と、
    前記撮影画像に基づいて複数の人物間の相関関係を検出する相関検出手段と、
    前記撮影画像内の人物に相当する人物画像と共に、複数の人物間の前記相関関係を表す相関関係情報を表示制御する表示制御手段と、
    を実現させるためのプログラム。
13. 撮影画像内の人物を抽出し、
    前記撮影画像に基づいて複数の人物間の相関関係を検出し、
    前記撮影画像内の人物に相当する人物画像と共に、複数の人物間の前記相関関係を表す相関関係情報を表示制御する、
    情報処理方法。
    
    
    

Images