JP7039409B2 - 映像解析装置、人物検索システムおよび人物検索方法 - Google Patents

Description

本発明は、映像の中から特定の人物を検索または追跡する技術に関する。

監視カメラの設置場所の拡大に伴い、監視カメラ映像から特定の人物を探したいというニーズが高まっている。人物を検索する目的として、気になる人物を発見した場合に、その人物の過去の行動を確認したり、その後の行動を追跡して監視したりすることが挙げられる。常に人物の正面顔が検出できない場合でも、正確に人物を追跡して登場人物を検出できる技術としては、特許文献１があげられる。

特許文献１では、映像から連続検出した顔画像の顔サイズの変化量を検出し、変化量が連続的である場合に、同一人物と判定し、保存に適している顔画像をベストショットとして記憶媒体に保存し、保存した情報を検索キーとして人物検索を行う方法が開示されている。

特開２００７－００６３２４号公報

特許文献１の技術では、ベストショットとして顔のみに注目しているため、顔のみで十分識別可能なベストショットがない場合、人物検索が困難となることが考えられる。また、複数のカメラを利用して、人物を追跡しようとした場合、他のカメラでは顔が映っていない場合などがあり、他のカメラによる追跡ができない場合が考えられる。また、空港の手荷物検査などのように人物だけでなく、手荷物の危険性がきっかけとなって人物を検索したいという場合に、手荷物にも注目して追跡をすることができない。

そこで、本発明は、人物の特徴をよく表す情報を数多く取得することで、同一人物を検索できる技術を提供することを目的とする。

また、本発明は、複数台のカメラの映像から特定の人物の対応付けや、要注意人物として指定した人物の検索を正確に行うことができる技術を提供することを目的とする。

上記課題を解決するために、本発明の映像解析装置は、その一例を挙げるならば、複数のカメラを有する撮影装置に接続され、カメラに撮影された撮影された複数の人物に対し、複数の人物の内の少なくとも一の人物を追跡し、追跡された人物の複数のパーツを検出し、検出された複数のパーツについて、パーツ毎のベストショットを決めるためのスコアを定義した情報に基づいて、パーツ毎のスコアを、監視カメラによる映像のフレーム毎に計算し、フレーム毎のパーツ毎のスコアを、パーツ毎に比較して、パーツ毎のベストショットを決定し、パーツ毎に、当該パーツの特徴量を対応させて記憶し、複数の人物の前記パーツ毎の特徴量を比較して、同一性を判定する。

また、上記課題を解決するために、本発明の人物検索システムは、その一例を挙げるならば、複数のカメラを有する撮影装置と接続される映像解析装置と、表示部と入力部とを有する作業端末を有する人物検索システムであって、映像解析装置は、カメラに撮影された撮影された複数の人物に対し、複数の人物の内の少なくとも一の人物を追跡し、追跡された人物の複数のパーツを検出し、検出された複数のパーツについて、パーツ毎のベストショットを決めるためのスコアを定義した情報に基づいて、パーツ毎のスコアを、監視カメラによる映像のフレーム毎に計算し、フレーム毎のパーツ毎のスコアを、パーツ毎に比較して、パーツ毎のベストショットを決定し、パーツ毎に、当該パーツの特徴量を対応させて記憶し、複数の人物のパーツ毎の特徴量を比較して、同一性を判定する。

本発明によれば、複数のフレーム画像から人物の複数パーツの特徴を表すベストショットを選択し、ベストショットの特徴量を把握することができるので、高精度に同一人物を検索あるいは追跡することができる。

人物検索システムの一例を示す構成図である。 映像解析装置の構成の一例を示す図である。 ベストショット定義テーブルの一例を示す図である。 ベストショットカメラテーブルの一例を示す図である。 ベストショットマージテーブルの一例を示す図である。 パーツＤＢの一例を示す図である。 ベストショット取得の一例を示す図である。 フレーム画像ＤＢ216の一例を示した図である。 カメラの映像から2次元平面上の人物位置を特定する方法を示した図である。 パーツのテンプレートの一例を示す図である。 作業端末ＰＣ４の構成図の一例を示した図である。 ベストショットパーツの取得の例を示すフロー図である。 指定した人物の映像の検索処理の一例を示したものである。 アラート対象の人物の最新情報を表示する処理の一例を示したフロー図である。

＜全体構成＞
まず本発明の第一の実施の形態について、図面を参照して説明する。
図１は、人物検索システムの一例を示す構成図である。図１において、人物検索システムは、撮影デバイスや手荷物検索装置で構成される入力デバイス1と、各入力デバイス1と各ＰＣ（パーソナルコンピュータ）を接続するインターネットやイントラネットなどのネットワーク2と、入力または蓄積された映像の内容を解析する映像解析装置（以下、映像解析ＰＣ）3と、人物検索の指示および人物検索結果の表示やアラートなどに用いる作業端末ＰＣ4を主体として構成される。入力デバイス１は、各拠点の全体を監視するために設置される監視カメラ等の複数台の撮影装置(カメラ)11と、鞄や携行品の中に危険物がないかを検査するＸ線手荷物検査装置12と、Ｘ線手荷物検査装置12の内部、または装置付近など、荷物が搬送される位置の荷物外観を撮影する荷物外観撮影カメラ13とで構成される。また、これらのデバイスを複数拠点に設置し、複数拠点間で映像などを共有して活用することも可能である。また、これらの入力デバイス１は、すべての種類のデバイスを設置する必要はなく、必要な種類のデバイスを設置すればよい。

荷物外観カメラ13は、Ｘ線検査装置12の内部または周辺に設置されており、Ｘ線手荷物検査装置12で撮影したＸ線画像に危険物や要確認荷物が含まれていた場合に、自動または人手で荷物が指定されると、その荷物の外観が撮影される。また、空港の預け荷物を受け取るターンテーブルのように、Ｘ線手荷物検査装置がない場所に設置することもできる。尚、荷物外観が撮影できれば、他の手段で撮影しても構わない。

次に、映像解析ＰＣ3について、図２を参照しながら説明する。図２は、映像解析ＰＣの構成の一例を示す図である。
カメラ11で撮影された映像を解析し、各人物のベストショットをカメラ11毎に取得して記憶する映像解析ＰＣ3は、ＣＰＵ201、主メモリ202、入力部203、表示部204、通信部205および記憶部210を含む計算機で構成される。記憶部210には、ＯＳ211と、ベストショット定義テーブル212と、ベストショットカメラテーブル213と、ベストショットマージテーブル214と、パーツＤＢ215と、フレーム画像ＤＢ216と、映像取得プログラム217と、人物追跡プログラム218と、人物位置特定プログラム219と、パーツ領域検出プログラム220と、ベストショット判定プログラム221と、カメラテーブル更新プログラム222と、マージテーブル更新プログラム223と、人物検索プログラム224とが格納される。

これら記憶部210に格納された各種プログラム（217～224）は、主メモリ202に読み込まれ、ＣＰＵ201が実行することにより、各種機能を実現する。

図３は、ベストショット定義テーブル212の一例を示す。ベストショット定義テーブル212には、人物の、頭部、顔、横顔、服装、鞄等の各パーツのベストショットを決めるためのスコアを定義した情報が登録される。ベストショット定義テーブルの項目スコアは、パーツの種類別に使用する面積S31、正面度合D32、幾何学的特徴点数N等の項目(31～35)毎にスコアを定義する。

例えば、顔のパーツであれば、顔の面積31、顔の正面度合であるパーツの正面度合32、顔を検出したときの顔らしさを示す検出信頼度35を用いて、これら使用する項目のスコア(項目スコア)の値を加算することで、顔のスコアを計算する。このような、顔のスコアは、時間の異なる他の画像の同一人物の顔のスコアと比較され、スコアが大きいほうをベストショットとして選択するための情報である。尚、服装や鞄など、身に付ける人工物のアイテムに関しては、模様など個々の特徴を表す幾何学的特徴33や鮮明さを示す輝度値34なども、各パーツにおいてベストショットを決定する上での大きな影響要因となるため、これらの項目を含めても構わない。

例えば、頭部のベストショットを判定する場合、頭部領域として特定された領域の面積31、頭部の角度であるパーツ正面度合32、検出信頼度35の3つの項目でそれぞれスコアを算出し、これらのスコアを加算することで、頭部のスコアを計算する。面積は、検出された頭部領域の面積すなわちピクセル数とし、頭部の角度は、人物の進行方向や顔検出結果から得られたカメラから見た頭部の角度とする。

横顔のベストショットを判定する場合、横顔として特定された領域の面積31、顔の向きであるパーツ正面度合32、および検出信頼度35でスコアを定義し、横顔のスコアを計算する。横顔かどうかの判定は、人物の進行方向から取得しても、全身の見た目の特徴を用いて、ディープラーニングなどの一般的な手法により方向を推定しても構わない。

服装のベストショットは、例えば、上半身の前方向、上半身の後ろ方向、下半身の前方向、下半身の後ろ方向について、服装の面積31、正面度合であるパーツ正面度合32、服のデザインの特徴の複雑さを示す幾何学的特徴点33、輝度値34及び、検出信頼度35でスコアを定義し、服装のスコアを計算する。正面角度は、人物の進行方向などから取得する。ここで、幾何学的特徴点の数は、公知のＳＩＦＴ特徴量などを用いて特徴点を抽出し、その数で特定することができる。また、ハフ変換などでエッジ成分を抽出して、エッジの長さの総和などでスコアを定義しても構わない。

帽子のベストショットは、服装と同様にスコアを算出する。尚、帽子がない人物については、パーツがないため、計算対象から除外する。

時計のベストショットは、パーツが小さく、標準的な方向がないため、面積や検出信頼度を用いて、スコアを計算する。尚、時計を着用していない人物については、パーツがないため計算対象から除外する。

以上の通り、面積31、パーツ正面度合32、幾何学的特徴点数33、輝度値34、検出信頼度35等を用いて、人物の各パーツの特徴を表す項目を選択し、これらのスコアを加算することで、各パーツのスコアを計算することができる。尚、各項目のスコアを単純に加算するだけではなく、項目のスコアの加算値を項目数で除算した平均値としてもよい。また、パーツに応じて各項目のスコアに重み付けを持たせて、各パーツのスコアを計算してもよい。ベストショット定義テーブルの項目は図３に示したものに限るものではなく、各パーツの特徴に応じて、追加することができる。

これらベストショット定義テーブルの例は、一例であり、対象のパーツの情報量が多いパーツが選択できれば、別のスコア定義方法を用いても構わない。尚、ベストショット定義テーブルは、ベストショットとしたい条件で撮影したパーツの画像を、各パーツの種別毎に画像として登録し、公知の類似画像検索技術を用いて類似する画像をベストショットとする画像を取得し、ベストショットを登録することもできる。

図４は、ベストショットカメラテーブル213の一例を示す。
同じカメラ内で同一人物と特定された人物を識別する人物軌跡ＩＤ41と、図５で示すベストショットマージテーブル214に登録された人物軌跡の参照用に使用するマージテーブルＩＤ42と、頭部43、顔44、横顔45、服装(上前)46、鞄47、靴48、帽子49、時計410のベストショットのパーツと、最後にベストショットが更新された日時の情報410が登録される。各パーツには、図６に示したパーツＩＤの値が記憶される。パーツＩＤは、パーツの特徴量やスコアに対応して管理される情報であるが、これについては、図６を用いて後述する。尚、図４に示したパーツは一例であって、例えば、服装の上着の前を示す服装(上前)46の他に、服装の上着の後ろを示す服装（上後）、下半身の服装の前側の服装（下前）、下半身の服装の後側の服装（下後）等を追加してもよい。

人物軌跡ＩＤの最初の２桁は、カメラを識別するための値としているが、カメラＩＤとカメラ識別ＩＤを別の値としてテーブルで管理しても構わない。尚、複数のカメラがある場合、ベストショットカメラテーブル213は、各々のカメラの人物軌跡毎に作成する。但し、カメラ毎にベストショットカメラテーブル213を用意しても、ベストショットカメラテーブル213を１つのテーブルとしてまとめても構わない。

図５は、ベストショットマージテーブル214の一例を示す図である。図５に例を示すように、複数のカメラ内で同一人物と特定された人物を識別する人物ＩＤ(図４のマージテーブルＩＤ42と対応させることも可能である)51と、図４と同様に頭部52、顔53、横顔54、服装55、鞄56、靴57、帽子58、時計59、および最後にベストショットが更新された日時510の情報が登録される。ベストショットマージテーブル214では、図４と同様に頭部52、顔53、横顔54、服装55、鞄56、靴57、帽子58、時計59に対応してベストショットのパーツＩＤの値を登録する。ベストショットカメラテーブル213とベストショットマージテーブル214との違いは、ベストショットカメラテーブル213は、カメラ内の人物軌跡に対するベストショットであることに対して、ベストショットマージテーブル214は、複数のカメラの人物軌跡で同じ人物のベストショットをマージしている点である。即ち、ベストショットカメラテーブルが更新されると、ベストショットマージテーブルも更新される。

図４のマージテーブルＩＤを参照すると、図４の人物軌跡ＩＤ41の「10001」と「10003」に同じ、マージテーブルＩＤ42「200001」が付されているため、人物軌跡ＩＤ41の「100001」と「100003」は同一人物であることが把握できる。同一人物が一台のカメラの撮影範囲に異なる時間に侵入した結果、二つの人物軌跡として管理されている。人物軌跡ＩＤ41の「10001」と「10003」を同一人物であり、図５のパーツＩＤが図４の人物軌跡ＩＤ「10001」の各パーツのパーツＩＤの値と同一であることから、人物軌跡ＩＤ41の「10001」の方が、全てのパーツでベストショットであることになる。

一方、図５の人物ＩＤ51の「200002」の頭部52、顔53、横顔54については、図４の人物軌跡「10002」と同じパーツＩＤであるため、頭部52、顔53、横顔54については、人物軌跡「10002」の際にベストショットが存在し、鞄56等の他のパーツについては、他のカメラによって撮影された人物軌跡上にベストショットが存在することになる。

図６には、パーツＤＢ215の一例を示している。パーツ種別62、パーツのベクトルデータなどの特徴量63、パーツが撮影されているフレーム画像中の位置を特定するパーツ座標64、映像の中のパーツが含まれるフレームを特定するフレームＩＤ65、ベストショットを判定するためのパーツのスコア66が、パーツＩＤ61に対応して登録される。従って、図４のベストショットカメラテーブルや図５のベストショットマージテーブルのパーツＩＤから、当該パーツの特徴量63やスコア66等を把握することができる。

図６に示したパーツＤＢ215は、動画像のフレーム毎に取り込まれ、各パーツのスコアを計算し、最も高いスコアに対応する情報のみを格納することもできる。例えば、パーツＩＤ「10318」は、パーツ種別62「顔」についての特徴量、スコア「5」等である。この状態で、新たにパーツＩＤ61「10003」として、パーツ種別62「顔」の画像が入力され、ベストショット定義テーブルに基づいて、スコアを計算すると「3」となり、パーツＩＤ「10318」の方がベストショットであると判断される。ベストショットが当該パーツを最もよく捉えている画像であり、これに対応する特徴量に基づいて、他の人物軌跡の当該パーツの特徴量と比較することで、人物の同一性を精度よく把握することができる。

つまり、1台のカメラの撮影範囲に侵入してから撮影範囲の外に出るまでの同一人物の人物軌跡について、各パーツのベストショットを判定し、そのベストショットにおける各パーツの特徴量を記憶する。他のカメラについても同様に、撮影範囲に侵入してから撮影範囲の外に出るまでの同一人物の人物軌跡について、各パーツのベストショットを判定し、そのベストショットにおける各パーツの特徴量を、パーツ毎に比較して類似度を計算する。各パーツの類似度の総和がある一定の閾値以上である場合に、異なるカメラで撮影された二つの人物軌跡は同一人物（同一性）であると判定する。

図６のパーツＤＢは同一の人物軌跡に対して一つのテーブルを記載した例としているが、例えば、図５の人物ＩＤのような人物を特定する情報を付加することにより、複数人物を一つのテーブルに纏めて管理することもできる。尚、特徴量には、公知のエッジパターン特徴量や、一般的に知られているディープラーニングの中間特徴量を用いた特徴量などを用いることができる。パーツ座標は、ここでは矩形としているが、多角形を示す座標などを用いても構わない。後からベストショットの画像を確認できるよう、パーツＩＤに対応させてパーツ画像を対応させて記憶することもできる。尚、パーツＤＢは、カメラ毎に作成しても、複数のカメラのパーツをマージして作成しても構わない。また、パーツＤＢの容量が増えることを防止するため、ベストショットパーツのデータ以外のデータは削除したり、一定時間を過ぎたデータを削除したりしても構わない。

図７は、ベストショット取得の一例を示す図である。図７には、一台のカメラの撮影範囲71に、人物が時刻t＝t0で侵入し、時刻t＝t3でフレームアウトする人物軌跡が示されている。当該人物は、右側に鞄を持っており、時刻t=t1のタイミングで鞄のベストショット、つまり、ベストショット定義テーブルに基づき計算された鞄のスコアが最も高いフレーム（画像と呼ぶこともある）となる例を示している。このフレームの鞄の特徴量が、図６のパーツＤＢ215の特徴量63やスコア66と共に記憶され、パーツＩＤ61が図４のベストショットカメラテーブル213の鞄47に記憶される。そして、この記憶されたパーツ毎のスコアは、他のカメラで撮影された人物軌跡の鞄のベストショットのスコアと比較される。比較の結果、最も高いスコアのフレームに映る鞄の特徴量が、当該人物の鞄の特徴量として、パーツＩＤを介して図６のベストショットマージテーブル214で管理されることとなる。

また、時刻t=t1で人物はカメラ向きに移動しているため、このタイミングのフレームにおける顔(パーツ)のベストショットとなるフレームであることを示している。顔のベストショットは、各フレームの顔のスコアを計算し、フレーム毎に比較して決定されることは、鞄や他のパーツと同様である。また、顔のベストショットの特徴量は、パーツＩＤに対応してパーツＤＢに格納され、パーツＩＤは、人物軌跡毎に管理される図４のベストショットカメラテーブルや図５のベストショットマージテーブルの、各パーツの値となる。

図８は、フレーム画像ＤＢ216の一例を示した図である。図８に例を示すように、映像から指定時間間隔で画像を切り出したフレーム画像を識別するフレームＩＤ81、フレーム画像のファイル82、撮影日時83とが登録される。フレーム画像ＤＢ216は、カメラ毎に作成しても、複数のカメラをマージして作成しても構わない。また、画像ファイルの容量を削減する必要がある場合は、フレーム画像ではなく、Ｈ．264などの動画圧縮方式で圧縮して動画として保存し、参照時には、動画から時刻情報をもとにフレーム画像を切り出しても構わない。

図２に戻り、各プログラムによって実現される機能の説明を行う。
映像取得プログラム217は、カメラ11または荷物外観撮影カメラ13から、映像または画像を取得し、フレーム画像ＤＢ216に登録する。尚、映像はリアルタイムに受信しても、一旦蓄積された映像を受信する方法でも構わない。

人物追跡プログラム218は、映像取得プログラム217により取得された映像から、前後のフレーム間の差分情報を、オプティカルフロー等を用いて算出し、同一方向に変化する隣接した画素集合をフレーム毎に算出し、同一方向に変化し続ける領域を同じ人物の領域として特定する公知の技術を利用する。人物追跡プログラム218は同一人物として同一の人物ＩＤを付与する。その他、背景差分法などを用いて、人物領域を検出し、映像の前後フレームで位置が近い人物領域を同一人物として追跡する方法など、人物追跡ができれば、どのような方式を用いても構わない。また、人物が追跡できれば、ステレオカメラなど、３Ｄセンサの情報を用いて人物追跡を行なっても構わない。

さらに、人物追跡プログラム218は、Ｘ線手荷物検査装置等から出てきた荷物を受け取るエリアや、空港の預け荷物を受け取るターンテーブル等のエリアにおいて、荷物を受け取るときに荷物と人物を対応付ける機能を有し、荷物外観撮影カメラ13で撮影した荷物外観画像と、人物とを対応づけることができる。人物と荷物の対応付けは、荷物が受け取られたタイミングを検知し、そのときに一番近くにいる人物を特定することで対応付けをする。この他、荷物と人物の対応付けができれば、どのような方法を用いても構わない。荷物と人物の対応付けを実施することで、荷物のベストショットをより鮮明に得られるという効果がある。

図９は、人物位置特定プログラム219によって実行され、カメラの映像から検出された人物位置をもとに、2次元平面上の人物位置を特定する方法を示した図である。
人物位置特定プログラム219は、カメラ毎に用意された、フレーム画像の座標と、2次元平面上の位置関係の情報を用いて、人物の足元の位置で人物位置を特定する。例えば、図９の上の図のように、カメラ映像をグリッド上に分割し、各々のグリッドが、図９の下の図のどの位置に対応するかの対応関係を事前に登録しておくことで、図９の上の図の市松模様の足元の位置から2次元平面上の位置を特定する。尚、カメラ映像から人物の位置が特定できれば、他の技術を用いて特定しても構わない。

図２のパーツ領域検出プログラム220は、フレーム画像から取得した人物の位置の情報からパーツ領域を検出し、パーツＤＢ215に登録する。例えば、人物位置をもとに推測した人物の進行方向から、人物が正面方向か、背面方向か、横方向かを推定し、図１０に例を示すパーツのテンプレートを用いて切り出すことができる。尚、各パーツの有無については、切り出した画像に対して、公知の類似画像検索技術を用いて、一般的なパーツの画像との類似度を計算し、類似度が大きい場合にパーツ有と判定することができる。テンプレートを用いないパーツ領域検出については、一般に公開されているライブラリFully Convolutional Instance-aware Semantic Segmentationを用いて、パーツ毎の特徴を学習し、ディープラーニングのセグメンテーション（Segmentation）でパーツの領域を検出することも可能である。画像から、機械学習を用いてパーツ領域を検出する場合、検出の信頼度を示す値が一緒に得られることから、これをベストショットパーツの判定に使用する検出信頼度に用いることができる。

ベストショット判定プログラム221は、図７で説明したように、一台のカメラで同一人物として追跡したフレーム画像（人物軌跡）の中から、パーツ毎のベストショットを取得する。フレーム画像からパーツ領域検出プログラム220を用いて取得したパーツと、同一人物軌跡の他のフレーム画像から取得した同じパーツのスコアを比較し、スコアが大きいフレームをベストショットとして判定する。尚、スコアが同じ場合は、面積の大きいほうをベストショットとするなど、事前に定めた項目の値の大きさでベストショットを判定する。

カメラテーブル更新プログラム222は、人物がカメラの画角の外に出て表示されるなど、人物軌跡が途切れたタイミング（一つの人物軌跡が終了するタイミング）で更新する。この際、当該人物軌跡を形成した人物の特徴量などの情報をパーツＤＢ215から取得する。ベストショット判定プログラム221で、パーツＤＢ215には、人物軌跡内から取得したベストショットのパーツ種別62、特徴量63、フレームＩＤ65、スコア66がパーツＩＤ61に対応して記憶され、このパーツＩＤをベストショットカメラテーブルの対応するパーツに登録する。登録が完了すると、直近の人物軌跡で同じ人物が映った人物軌跡の有無を、人物検索プログラムを用いて判定し、直近に同じ人物軌跡がある場合は、人物軌跡をマージして、ベストショットパーツもパーツ毎にスコアが高いものを採用する。

尚、異なる人物軌跡が同一の人物(人物の同一性)によるものかの判断は、パーツ毎の特徴量の類似度を比較することで行う。つまり、各パーツのベストショットを判定し、そのベストショットにおける各パーツの特徴量を、パーツ毎に比較して類似度を計算する。各パーツの類似度の総和がある一定の閾値以上である場合に、異なるカメラで撮影された二つの人物軌跡は同一人物(人物の同一性)であると判定する。

マージテーブル更新プログラム223は、ベストショットカメラテーブル213に登録されている一つの人物軌跡における各パーツのスコア(ベストショット定義テーブルに基づく)を比較し、スコアの高い方を各パーツのベストショットとする。つまり、マージテーブル更新プログラム223は、高いスコアに対応するパーツＩＤを、図４に示したベストショットカメラテーブル213の頭部43、顔43等の各パーツに読み出したパーツＩＤの値として登録する。このベストショットカメラテーブル213に登録されたパーツＩＤをベストショットパーツという。

人物検索プログラム224は登録された人物軌跡に対応するベストショットマージテーブル214の人物ＩＤを取得し、さらにベストショット判定プログラム221は、新規登録されたベストショットパーツと、ベストショットマージテーブル214に登録されているベストショットパーツを比較し、新規登録されたベストショットパーツのスコアが大きい場合には、ベストショットマージテーブル214に登録されているベストショットパーツのＩＤを更新する。

具体的には、パーツＤＢ215には、ベストショットパーツ(パーツＩＤ)に対応してベストショット定義テーブル212に基づいて計算されたスコア66が登録されており、新規に登録されたベストショットパーツに対応して記憶されているスコアと、ベストショットマージテーブル214に登録されているベストショットパーツに対応して記憶されているスコアとを比較することにより、ベストショットを決定する。尚、比較されるベストショットパーツは同一人物による人物軌跡であることを前提とする。人物の同一性の判断は、パーツ毎の特徴量の類似度に基づいて判断する。

人物検索プログラム224は、人物軌跡間のベストショットパーツ（パーツ毎のベストショット）の見た目の類似度を、パーツＤＢ215に登録されている特徴量を用いて比較し、各パーツの類似度の総和が閾値以上の人物軌跡を同じ人物の人物軌跡として取得する。類似度の計算は、ベストショットパーツ毎に計算し、頭部間の類似度、顔間の類似度、横顔間の類似度、服装間の類似度、鞄間の類似度、靴間の類似度、帽子間の類似度、時計間の類似度の総和が閾値以上である場合に、同じ人物として判定する。ここで、時計がないなど、比較対象のパーツがない場合は、その項目は計算から除外する。また、人物の特定の貢献度合いは、パーツ毎に異なるため、類似度の総和を求める際に、各項目に事前に定めた重みをかけて求めても構わない。尚、各パーツの類似度の計算は、類似画像検索技術などを用いることができるが、類似度が計算できれば、他の方法によっても構わない。尚、類似度の総和は、類似度の平均値であってもよく、その場合には、類似度の総和をパーツの数で除算すればよい。

図１１は、作業端末ＰＣ４の構成図の一例を示した図である。検索対象の人物を指定したり、確認が必要な荷物の所有者を追跡してアラート表示したりする作業端末ＰＣ4は、図１１に例を示すように、ＣＰＵ111、主メモリ112、入力部113、表示部114、通信部115および記憶部116を含む計算機で構成される。記憶部116には、ＯＳ1161と、人物検索画面表示プログラム1162と、アラート画面表示プログラム1163とが格納される。これら各種プログラムは主メモリ112に読み出され、ＣＰＵ111が実行することで各種機能が実現される。

人物検索画面表示プログラム1162は、カメラ11の映像をリアルタイムに表示または、映像解析ＰＣ3のフレーム画像ＤＢ216に蓄積された映像を、ユーザが要求した日時、カメラ設置位置などの条件が入力部113から入力されると、その入力に応じてユーザの要求した映像を表示する。また、人物検索画面表示プログラム1162は、確認したい人物をユーザが発見した場合は、マウス等の入力部113から、領域の指定を受け、該領域の指定を受けた人物のベストショットパーツを用いて、映像解析ＰＣ3の人物検索プログラム224で検索し、他のカメラの同一人物の映像を検索して表示または、人物の移動軌跡をマップ上に表示する。

アラート画面表示プログラム1163は、Ｘ線手荷物検査装置で不審荷物が検知されるなど、要確認人物が検知された場合に、特定した位置の人物領域を示す人物ＩＤの人物を、他のカメラ11の追跡結果と共に表示し、最新の該人物がどこにいるかを確認するための情報を作業端末ＰＣ4のディスプレイなどの表示部114に画面を表示させる。

＜ベストショットパーツ取得＞
図１２は、カメラ11から取得した映像データから同じ人物の人物軌跡毎にベストショットパーツの取得の例を示すフロー図である。
まず、映像取得プログラム217は、カメラ11から映像を取得し、映像から取得したフレーム画像を、フレーム画像ＤＢ216に格納する（S1201）。ここで、映像がＭｏｔｉｏｎＪｐｅｇやＭＰＥＧエンコードなどで圧縮されている場合には、画像処理ができるように、フレーム画像に分割する。

次に、人物追跡プログラム218は、カメラ11またはフレーム画像ＤＢ216から映像データを読み出し、各フレーム画像から人物が存在する領域を検出し、オプティカルフローなどの方式を用いて、人物の領域および移動軌跡を取得する（Ｓ1202）。尚、同じフレーム画像に、複数の人物が映っている場合は、人物毎に人物軌跡ＩＤをベストショットカメラテーブル213に保存する。

次に、人物位置特定プログラム219は、ステップS1202で取得した人物の領域情報から、図９で説明した方法などにより、２次元平面上の人物位置を取得する（S1203）。２次元平面上の人物位置を特定することで、人物の移動方向が分かるので、人物が向いている方向が関係するベストショットパーツが取得しやすくなるという効果がある。

次に、パーツ領域検出プログラム220は、頭部、顔、横顔、服装、鞄、靴、帽子、時計に対応するパーツ領域とパーツ種別を検出する（S1204）。パーツ領域が検出されない場合は、パーツが映っていないと判断し、検出対象はないと判断する。なお、このステップで、図１０の各パーツのテンプレートを用いて、各パーツの領域を検出する。各パーツ領域の検出は、ディープラーニングのセグメンテーション（Segmentation）処理を用いて行うこともできる。

映像解析ＰＣ2は、上記ステップS1201からS1204を、人物軌跡が途切れるまで継続し、バッファやパーツＤＢ215に取得したデータを格納する（S1205）。つまり、一台のカメラの撮影範囲に人物が侵入し、撮影範囲から出ていくまで、パーツＤＢ215にデータを格納する。尚、同じカメラのフレームに複数の人物が映っている場合は、人物毎に上記処理を実行する。ここでは、理解を容易にするため、人物軌跡が一つである場合として説明する。

ベストショット判定プログラム221は、パーツＤＢ215にエントリーを作成し、情報を登録する(S1205)。このステップでは、ベストショット判定プログラム221は、パーツ領域検出プログラム220からパーツ領域とパーツ種別を受け取ると、パーツＩＤを付与してパーツＤＢ215のパーツ種別62に格納する。また、パーツＩＤが付与されると、人物位置特定プログラム219からパーツ座標を受け取り、対応するパーツＩＤにパーツ座標64を記憶する。さらに、ベストショット判定プログラム221は、各パーツに対し、特徴量63を計算してパーツＤＢ215に格納する。

また、ベストショット判定プログラム221は、各パーツに対してベストショット定義テーブル212に基づいて、パーツのスコアを計算して、パーツＤＢ215にそのスコアを格納する。このように、ベストショット判定プログラム221は、一つの人物軌跡に対して、パーツＩＤ61、パーツ種別62、特徴量63等のパーツＤＢ215を構成する情報を、映像のフレーム毎に取得し、パーツＤＢ215に格納する。

尚、パーツＤＢ215は、ベストショット判定プログラム221によって、映像のフレーム毎に各パーツの特徴量63やスコア66が格納されるが、同じパーツ種別の場合、スコアが高いエントリーのみを残して、低い方のエントリーを削除することで、パーツＤＢ215に格納されている情報が常に各パーツのベストショットの情報とすることができ、パーツＤＢ215の容量を削減することができる。

次に、人物軌跡が途切れたら、カメラテーブル更新プログラム222で、パーツＤＢ215に登録されたパーツＩＤ61の値をベストショットカメラテーブル213に登録する(S1206)。尚、同じカメラ内で、同じ人物が映像から消えたあとに、再度同じカメラに映ることがあるため、人物軌跡間の照合を定期的に実施し、同じ人物の人物軌跡が含まれていた場合は、それらの人物軌跡をマージする。同一人物の判定は、すでに述べた通り、パーツ毎の特徴量の類似度に基づいて判断する。

尚、同一人物の人物軌跡は、パーツ毎にスコアの比較を行い、スコアが高い方を当該パーツのベストショットパーツとして判定する。

次に、マージテーブル更新プログラム223で、ベストショットカメラテーブル213の更新イベントを受信し、更新された場合には、ベストショットカメラテーブルに登録された新しいベストショットパーツのスコアと、ベストショットマージテーブル214に登録されている過去のベストショットパーツのスコアを比較し、新しいパーツのスコアが大きい場合には、ベストショットマージテーブル214に登録されているベストショットパーツ（パーツＩＤの値）に更新する（S1207）。

次に、映像の入力が完了した場合には、処理を終了する。上記ステップS1201からステップS1207 の処理をすべてのカメラ11の映像に対して行うことで、異なる時間から取得したベストショットのパーツを人物軌跡ごと、即ち、人物軌跡ＩＤ毎に取得できるので、人物の見た目の特徴を示す特徴量を最大限取得できるという効果がある。

尚、上記ステップＳ1203からS1207の処理は、人物軌跡毎に実行し、人物軌跡毎に非同期で実行することで、第１の人物のベストショットパーツ取得中に、他の人物のベストショットパーツ取得がされないようにする。

＜人物検索＞
図１３は、作業端末ＰＣ4に表示した映像に対して、指定した人物の映像検索処理の一例を示したものである。
まず、人物検索画面表示プログラム1162で、ディスプレイなどの表示部114にカメラ11のリアルタイム映像または映像解析ＰＣ3のフレーム画像ＤＢ216に保存されている映像を表示する（S1301）。ここでリアルタイム映像の表示は、指定されたカメラ11の映像を画面に並べて表示したり、事前に決めた順序でカメラ11を切り替えて表示したり、カメラ11の映像が確認できればよい。また、蓄積されている映像の表示に関しては、ユーザから時間やカメラＩＤの指定を受け、映像解析ＰＣ3に映像データの取得を要求することで、取得した映像を表示する。

次に、人物検索画面表示プログラム1162は、キーボードやマウス等の入力部114により、検索したい人物の指定を受け、探したい人物を特定可能なカメラＩＤ、フレーム画像ＩＤ、日時、指定された座標等の情報を取得する（S1302）。例えば、矢印の部分がマウスのカーソルの位置を示し、マウスがクリックされた位置の人物が検索したい人物として特定される。尚、表示映像には、映像解析ＰＣで検出された人物領域の部分に、人物領域を示す矩形等を重畳表示しても構わない。

次に、上記ステップS1302で取得した探したい人物を特定可能な情報を用いて、人物検索プログラム224で、ベストショットマージテーブル214から指定された人物のベストショットパーツの情報を取得し、ベストショットパーツ間の特徴量の比較を行い、人物軌跡間の類似度を算出することで、類似度の高い人物軌跡を同一人物として特定する人物検索を行う（S1303）。既にベストショットマージテーブル214で、選択されたフレーム画像に対応する人物軌跡が登録されている場合は、対応する人物軌跡ＩＤを取得するのみで、同一人物の検索結果を取得できる。新規にアップロードされた映像をクエリとして検索する場合には、ベストショットパーツの処理の内容と同様に、映像からベストショットパーツを検出し、そのパーツの情報を用いて人物検索プログラムで同じ人物の人物軌跡をベストショットマージテーブルから特定する。尚、複数のフレーム画像がない画像で人物が指定された場合は、人物が指定された画像から検出したパーツを、そのままベストショットパーツとして使用する。

次に、人物検索画面表示プログラム1162は、人物検索をするステップS1303で取得した検索結果をディスプレイ等の表示装置に表示する（S1304）。検索結果の表示は、検索結果の人物軌跡が含まれるカメラの映像を並べて表示したり、該当人物の移動軌跡を２次元マップ上に表示したり、ベストショットパーツを軌跡毎に並べて表示したりするなど、人物の行動履歴が確認できれば、表示方法は問わない。

次に、表示対象の映像が終了した場合には、処理を終了する（S1305）。

＜人物アラート＞
図１４は、作業端末ＰＣ4が受信したアラート対象の人物の最新情報を表示する処理の一例を示したフローチャートである。
まず、アラート画面表示プログラム1163は、Ｘ線手荷物検査装置12などの手荷物検査でアラート信号を受信し、手荷物外観撮影カメラ13で撮影した荷物外観映像と共に、アラート内容を含む情報を受信する（S1401）。

次に、人物追跡プログラム218で、検査装置の手荷物受け取りエリアなど、事前に定義する荷物と人物が合流する位置の情報と、Ｘ線手荷物検査装置12のベルトコンベアの速度などの情報に基づき、上記荷物を受取った時点の鞄と手荷物の所有者である人物が含まれる人物領域を特定し、取得する（S1402）。

次に、アラート画面表示プログラム1163は、ベストショットパーツ取得の手順と同様に、上記人物の追跡を行い、人物軌跡におけるベストショットパーツを取得する（S1403）。

次に、同一カメラ内でのアラート対象人物の追跡が完了した場合、人物検索プログラム224で、他のカメラのアラート対象人物の有無を、上記人物検索の手順と同様に、ベストショットパーツ間の特徴量の比較により算出し、類似したベストショットパーツが多く含まれる、または類似度が高い軌跡の人物をアラート対象として特定することで、他のカメラによる人物追跡を行う（S1404）。アラート画面表示プログラム1163は、特定した人物が含まれる最新の映像が含まれるカメラ11のライブ映像を表示装置に表示させる（S1405）。

次に、すべてのカメラ11にアラート対象の人物の軌跡が一定時間ない場合は、追跡が完了したと判断し、追跡を終了する（S1406）。

以上の通り、カメラ11で撮影された人物の複数のパーツの情報に基づいて、人物検索を高精度に行うことができる。しかも、映像中において、各パーツの特徴を最も捉えているフレームにおける、各パーツの特徴量に基づいて、人物の検索、探索や追跡を行うことができる。

また、異なるカメラ間での人物追跡を精度よく行うことができる。
また、ベストショットパーツの情報を格納することで、鞄や衣類を指定して検索する際に、パーツ間で検索ができる。

1：入力デバイス、2：ネットワーク、3：映像解析PC、4：作業端末PC、11：カメラ、12：Ｘ線手荷物検査装置、13：荷物外観カメラ、201：ＣＰＵ、202：主メモリ、203：入力部、204：表示部、205：通信部、210：記憶部、212：ベストショット定義テーブル、213：ベストショットカメラテーブル、214：ベストショットマージテーブル、215：パーツＤＢ、220：パーツ領域検出プロラム、221：ベストショット判定プログラム、222：カメラテーブル更新プログラム、223：マージテーブル更新プログラム、1162：人物検索画面表示プログラム、1163：アラート画面表示プログラム。

Claims (10)

1. 複数のカメラを有する撮影装置に接続される映像解析装置であって、
   前記映像解析装置は、
   処理部と、記憶部とを有し、
   前記処理部は、
   前記カメラに撮影された撮影された複数の人物に対し、
   前記複数の人物の内の少なくとも一の人物を追跡し、
   前記追跡された人物の複数のパーツを検出し、
   前記検出された複数のパーツについて、パーツ毎のベストショットを決めるためのスコアを定義した情報に基づいて、前記パーツ毎のスコアを、前記カメラによる映像のフレーム毎に計算し、
   前記記憶部は、
   前記フレーム毎のパーツ毎に、パーツの種別を表すパーツ種別と、当該パーツの特徴量と、当該パーツのスコアとを、当該パーツのパーツＩＤに対応させて記憶するパーツＤＢと、
   前記複数のカメラの内の一台のカメラで撮影された人物の一つの人物軌跡について、前記人物軌跡に対応する人物軌跡ＩＤと、前記人物軌跡の各パーツでスコアの高いパーツＩＤと、を対応させてカメラ毎に記憶するベストショットカメラテーブルと、
   前記複数のカメラで撮影された複数の人物の人物軌跡が同一の人物によるものである場合、カメラ毎に記憶した前記ベストショットカメラテーブルの各パーツで、スコアの高いパーツＩＤを管理するベストショットマージテーブルと、を記憶し、
   前記処理部は、
   前記ベストショットマージテーブルに記憶されたパーツＩＤに対応して記憶された当該パーツの特徴量を、前記複数の人物のパーツ毎の特徴量と比較して同一性を判定する、ことを特徴とする映像解析装置。
2. 前記映像解析装置は、前記人物の、頭部、顔、服装、鞄、靴、帽子、時計のうちの少なくとも二つの種別を前記複数のパーツとして検出する、ことを特徴とする請求項１記載の映像解析装置。
3. 前記映像解析装置は、複数パーツのそれぞれについて、面積、正面度合、幾何学的特徴、輝度値、および、検出信頼度の項目を選択し、前記選択された項目毎に定義された項目スコアを用いて、前記パーツ毎のスコアを計算することを特徴とする、請求項１に記載の映像解析装置。
4. 複数のカメラを有する撮影装置と映像解析装置とを有する人物検索システムであって、
   前記映像解析装置は、
   処理部と、記憶部とを有し、
   前記処理部は、
   前記カメラに撮影された撮影された複数の人物に対し、
   前記複数の人物の内の少なくとも一の人物を追跡し、
   前記追跡された人物の複数のパーツを検出し、
   前記検出された複数のパーツについて、パーツ毎のベストショットを決めるためのスコアを定義した情報に基づいて、前記パーツ毎のスコアを、前記カメラによる映像のフレーム毎に計算し、
   前記記憶部は、
   前記フレーム毎のパーツ毎に、パーツの種別を表すパーツ種別と、当該パーツの特徴量と、当該パーツのスコアとを、当該パーツのパーツＩＤに対応させて記憶するパーツＤＢと、
   前記複数のカメラの内の一台のカメラで撮影された人物の一つの人物軌跡について、前記人物軌跡に対応する人物軌跡ＩＤと、前記人物軌跡の各パーツでスコアの高いパーツＩＤと、を対応させてカメラ毎に記憶するベストショットカメラテーブルと、
   前記複数のカメラで撮影された複数の人物の人物軌跡が同一の人物によるものである場合、カメラ毎に記憶した前記ベストショットカメラテーブルの各パーツで、スコアの高いパーツＩＤを管理するベストショットマージテーブルと、を記憶し、
   前記処理部は、
   ベストショットマージテーブルに記憶されたパーツＩＤに対応して記憶された当該パーツの特徴量を、前記複数の人物のパーツ毎の特徴量と比較して同一性を判定する、ことを特徴とする人物検索システム。
5. 前記映像解析装置に接続される作業端末を有し、
   前記作業端末は、
   前記撮影装置により撮影された映像を表示する表示部と、前記表示部に表示された映像から人物を特定するための情報が入力される入力部とを有し、
   前記映像解析装置は、
   前記作業端末の入力部により特定された人物の複数パーツの特徴量を計算し、
   前記ベストショットマージテーブルに基づいて、前記入力部により特定された人物の検索を行う、ことを特徴とする請求項４に記載の人物検索システム。
6. 前記映像解析装置は、手荷物検査装置からの映像から、手荷物の所有者が含まれる領域を特定し、前記特定された人物の人物軌跡を追跡し、前記追跡された人物軌跡のパーツ毎のベストショットを取得し、前記取得されたパーツ毎のベストショットの特徴量と、前記ベストショットマージテーブルの対応するパーツＤＢに格納されたパーツ毎の特徴量とを比較し、前記手荷物の所有者と同一人物を検索することを特徴とする請求項４に記載の人物検索システム。
7. 複数のカメラを有する撮影装置に接続される映像解析装置を用いて解析する人物検索方法であって、
   前記映像解析装置は、
   処理部と、記憶部とを有し、
   前記処理部は、
   前記カメラに撮影された撮影された複数の人物に対し、
   前記複数の人物の内の少なくとも一の人物を追跡し、
   前記追跡された人物の複数のパーツを検出し、
   前記検出された複数のパーツについて、パーツ毎のベストショットを決めるためのスコアを定義した情報に基づいて、前記パーツ毎のスコアを、前記カメラによる映像のフレーム毎に計算し、
   前記記憶部は、
   前記フレーム毎のパーツ毎に、パーツの種別を表すパーツ種別と、当該パーツの特徴量と、当該パーツのスコアとを、当該パーツのパーツＩＤに対応させて記憶するパーツＤＢと、
   前記複数のカメラの内の一台のカメラで撮影された人物の一つの人物軌跡について、前記人物軌跡に対応する人物軌跡ＩＤと、前記人物軌跡の各パーツでスコアの高いパーツＩＤと、を対応させてカメラ毎に記憶するベストショットカメラテーブルと、
   前記複数のカメラで撮影された複数の人物の人物軌跡が同一の人物によるものである場合、カメラ毎に記憶した前記ベストショットカメラテーブルの各パーツで、スコアの高いパーツＩＤを管理するベストショットマージテーブルと、を記憶し、
   前記処理部は、
   ベストショットマージテーブルに記憶されたパーツＩＤに対応して記憶された当該パーツの特徴量を、前記複数の人物のパーツ毎の特徴量と比較して同一性を判定する、ことを特徴とする人物検索方法。
8. 前記映像解析装置は、前記複数のパーツのそれぞれについて、面積、正面度合、幾何学的特徴、輝度値、および、検出信頼度の項目を選択し、前記選択された項目毎に定義された項目スコアを用いて、前記パーツ毎のスコアを計算することを特徴とする請求項７に記載の人物検索方法。
9. 前記映像解析装置は、
   前記撮影装置により撮影された映像を表示し、前記表示された映像から人物を特定するための情報が入力されると、前記特定された人物の複数パーツの特徴量を計算し、
   前記記憶部に格納されている、前記ベストショットマージテーブルに基づいて、前記特定された人物の検索を行うことを特徴とする請求項７に記載の人物検索方法。
10. 前記映像解析装置は、手荷物検査装置からのアラート信号と手荷物映像に基づいて、手荷物の所有者が含まれる領域を特定し、前記所有者の人物軌跡を追跡し、前記追跡された人物軌跡のパーツ毎のベストショットを取得し、前記取得されたパーツ毎のベストショットの特徴量と、前記ベストショットマージテーブルと対応するパーツＤＢに格納されたベストショットのパーツ毎の特徴量とを比較し、手荷物の所有者と同一人物を検索することを特徴とする請求項７に記載の人物検索方法。

Images