JP7374401B1 - 人物相関判定装置、人物相関判定方法および人物相関判定プログラム - Google Patents

Abstract

骨格情報抽出部（１２０）は、監視映像に映った二人以上の人物のそれぞれの骨格情報を抽出する。特徴量算出部（１５０）は、抽出された骨格情報の組に基づいて、前記骨格情報の前記組に対応する人物の組について複数種類の特徴量を算出する。状況検出部（１３０）は、前記監視映像に基づいて、監視領域の特定の状況を示す状況値を算出する。閾値決定部（１４０）は、前記特徴量の種類ごとに、前記状況値に基づいて判定閾値を決定する。人物相関判定部（１６０）は、前記特徴量の種類ごとに前記特徴量を前記判定閾値と比較し、比較結果に基づいて前記人物の前記組について人物相関が有るか判定する。

Description

本開示は、映像に映っている人物同士の相関の有無を判定する技術に関するものである。

特許文献１は、映像に映っている各人物の骨格情報を分析し、相関が有る二人組の相互行動を特定する技術を開示している。
この技術では、関節位置の変位量が連動している二人に相関が有ると判定される。また、距離が近い二人に相関が有ると判定される。
しかし、関節位置の変位量が連動しない二人に相関が有る場合がある。また、距離が近い二人に相関が無い場合がある。このような場合、特許文献１の技術では、相関が有る二人組が正しく検出されない可能性がある。

特許第６８８７５８６号公報

本開示は、映像に映っている人物同士の相関の有無をより正しく判定できるようにすることを目的とする。

本開示の人物相関判定装置は、
監視領域を撮影して得られた監視映像から、前記監視映像に映った二人以上の人物のそれぞれの骨格情報を抽出する骨格情報抽出部と、
抽出された骨格情報の組に基づいて、前記骨格情報の前記組に対応する人物の組について複数種類の特徴量を算出する特徴量算出部と、
前記監視映像に基づいて、前記監視領域の特定の状況を示す状況値を算出する状況検出部と、
前記特徴量の種類ごとに、前記状況値に基づいて判定閾値を決定する閾値決定部と、
前記特徴量の種類ごとに前記特徴量を前記判定閾値と比較し、前記複数種類の特徴量の比較結果に基づいて前記人物の前記組について人物相関が有るか判定する人物相関判定部と、を備える。

本開示によれば、映像に映っている人物同士の相関の有無をより正しく判定することができる。

実施の形態１における人物相関判定装置１００の構成図。 実施の形態１における状況検出部１３０の構成図。 実施の形態１における特徴量算出部１５０の構成図。 実施の形態１における人物相関判定方法のフローチャート。 実施の形態１におけるステップＳ１５０のフローチャート。 実施の形態１におけるヒストグラム１９２を示す図。 実施の形態１における監視映像１９３Ａを示す図。 実施の形態１における監視映像１９３Ｂを示す図。 実施の形態１における監視映像１９３Ｃを示す図。 実施の形態１における監視映像１９３Ｄを示す図。 実施の形態１における人物相関判定装置１００のハードウェア構成図。

実施の形態および図面において、同じ要素または対応する要素には同じ符号を付している。説明した要素と同じ符号が付された要素の説明は適宜に省略または簡略化する。図中の矢印はデータの流れ又は処理の流れを主に示している。

実施の形態１．
人物相関判定装置１００について、図１から図１１に基づいて説明する。

＊＊＊構成の説明＊＊＊
図１に基づいて、人物相関判定装置１００の構成を説明する。
人物相関判定装置１００は、プロセッサ１０１とメモリ１０２と補助記憶装置１０３と通信装置１０４と入出力インタフェース１０５といったハードウェアを備えるコンピュータである。これらのハードウェアは、信号線を介して互いに接続されている。

プロセッサ１０１は、演算処理を行うＩＣであり、他のハードウェアを制御する。例えば、プロセッサ１０１は、ＣＰＵ、ＤＳＰまたはＧＰＵである。
ＩＣは、Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔの略称である。
ＣＰＵは、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略称である。
ＤＳＰは、Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒの略称である。
ＧＰＵは、Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略称である。

メモリ１０２は揮発性または不揮発性の記憶装置である。メモリ１０２は、主記憶装置またはメインメモリとも呼ばれる。例えば、メモリ１０２はＲＡＭである。メモリ１０２に記憶されたデータは必要に応じて補助記憶装置１０３に保存される。
ＲＡＭは、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙの略称である。

補助記憶装置１０３は不揮発性の記憶装置である。例えば、補助記憶装置１０３は、ＲＯＭ、ＨＤＤ、フラッシュメモリまたはこれらの組み合わせである。補助記憶装置１０３に記憶されたデータは必要に応じてメモリ１０２にロードされる。
ＲＯＭは、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙの略称である。
ＨＤＤは、Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅの略称である。

通信装置１０４はレシーバ及びトランスミッタである。例えば、通信装置１０４は通信チップまたはＮＩＣである。
人物相関判定装置１００の通信は通信装置１０４を用いて行われる。例えば、人物相関判定装置１００は通信装置１０４を用いてカメラ１０６と通信する。但し、カメラ１０６は入出力インタフェース１０５に接続されてもよい。
ＮＩＣは、Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄの略称である。

入出力インタフェース１０５は、入力装置および出力装置が接続されるポートである。例えば、入出力インタフェース１０５はＵＳＢ端子であり、入力装置はキーボードおよびマウスであり、出力装置はディスプレイである。人物相関判定装置１００の入出力は入出力インタフェース１０５を用いて行われる。
ＵＳＢは、Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓの略称である。

人物相関判定装置１００は、映像取得部１１０と骨格情報抽出部１２０と状況検出部１３０と閾値決定部１４０と特徴量算出部１５０と人物相関判定部１６０といった要素を備える。これらの要素はソフトウェアで実現される。

補助記憶装置１０３には、映像取得部１１０と骨格情報抽出部１２０と状況検出部１３０と閾値決定部１４０と特徴量算出部１５０と人物相関判定部１６０としてコンピュータを機能させるための人物相関判定プログラムが記憶されている。人物相関判定プログラムは、メモリ１０２にロードされて、プロセッサ１０１によって実行される。
補助記憶装置１０３には、さらに、ＯＳが記憶されている。ＯＳの少なくとも一部は、メモリ１０２にロードされて、プロセッサ１０１によって実行される。
プロセッサ１０１は、ＯＳを実行しながら、人物相関判定プログラムを実行する。
ＯＳは、Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍの略称である。

人物相関判定プログラムの入出力データは記憶部１９０に記憶される。
メモリ１０２は記憶部１９０として機能する。但し、補助記憶装置１０３、プロセッサ１０１内のレジスタおよびプロセッサ１０１内のキャッシュメモリなどの記憶装置が、メモリ１０２の代わりに、又は、メモリ１０２と共に、記憶部１９０として機能してもよい。

人物相関判定装置１００は、プロセッサ１０１を代替する複数のプロセッサを備えてもよい。

人物相関判定プログラムは、光ディスクまたはフラッシュメモリ等の不揮発性の記録媒体にコンピュータ読み取り可能に記録（格納）することができる。

図２に基づいて、状況検出部１３０の構成を説明する。
状況検出部１３０は、人数状況検出部１３１と人流状況検出部１３２と移動状況検出部１３３といった要素を備える。

図３に基づいて、特徴量算出部１５０の構成を説明する。
特徴量算出部１５０は、変位特徴量算出部１５１と距離特徴量算出部１５２と位置特徴量算出部１５３と移動特徴量算出部１５４と向き特徴量算出部１５５といった要素を備える。

＊＊＊動作の説明＊＊＊
人物相関判定装置１００の動作の手順は人物相関判定方法に相当する。また、人物相関判定装置１００の動作の手順は人物相関判定プログラムによる処理の手順に相当する。

図４に基づいて、人物相関判定方法を説明する。
カメラ１０６は、監視領域を撮影し、各時刻の映像データを出力する。
監視領域は、監視される領域である。
映像データは、監視映像を示す。監視映像は、監視領域が映った映像である。

ステップＳ１１０において、映像取得部１１０は、映像データをカメラ１０６から取得する。
そして、映像取得部１１０は、取得された映像データを記憶部１９０に記憶する。これにより、各時刻の映像データが記憶部１９０に保存される。

ステップＳ１２０において、骨格情報抽出部１２０は、監視映像に映った一人以上の人物のそれぞれの骨格情報を監視映像から抽出する。骨格情報は人物ごとに抽出される。
そして、骨格情報抽出部１２０は、抽出された各骨格情報を記憶部１９０に記憶する。これにより、人物ごとに各時刻の骨格情報が記憶部１９０に保存される。
骨格情報は、人物の骨格における１つ以上の関節のそれぞれの位置を示す。さらに、骨格情報は、顔の各パーツの位置を示す。顔のパーツの具体例は目および鼻である。各関節の位置および顔の各パーツの位置は、監視映像における座標値で示される。

骨格情報は以下のように抽出される。
まず、骨格情報抽出部１２０は、監視映像に映った人物を検出する。
次に、骨格情報抽出部１２０は、検出された人物について監視映像に映った１つ以上の関節のそれぞれの位置を特定する。関節の位置は、従来技術を使って特定することができる。
そして、骨格情報抽出部１２０は、監視映像の二次元座標において特定された各位置の座標値を求める。

ステップＳ１３０において、骨格情報抽出部１２０は、抽出された骨格情報の数を判定する。
二人分以上の骨格情報が抽出された場合、処理はステップＳ１４０に進む。つまり、二人以上の人物が監視映像に映っている場合、処理はステップＳ１４０に進む。
骨格情報が抽出されなかった場合または一人分の骨格情報が抽出された場合、処理はステップＳ１１０に進む。つまり、人物が監視映像に映っていない場合または一人の人物が監視映像に映っている場合、処理はステップＳ１１０に進む。

ステップＳ１４０において、骨格情報抽出部１２０は、抽出された骨格情報の組のうち未選択の組を１つ選択する。
具体的には、骨格情報の組は二人分の骨格情報から成る。つまり、骨格情報抽出部１２０は、二人分の骨格情報を選択する。

ステップＳ１５０において、人物相関判定部１６０は、選択された骨格情報の組に基づいて、人物相関の有無を判定する。
人物相関は、骨格情報の組に対応する人物の組について人物同士の相関を意味する。
ステップＳ１５０の詳細を後述する。

ステップＳ１６０において、骨格情報抽出部１２０は、骨格情報の未選択の組が有るか判定する。
骨格情報の未選択の組が有る場合、処理はステップＳ１４０に進む。
骨格情報の未選択の組が無い場合、処理はステップＳ１１０に進む。

ステップＳ１１０からステップＳ１６０が実行されることにより、監視映像に映った人物の組ごとに人物同士の相関の有無が判定される。

図５に基づいて、ステップＳ１５０の手順を説明する。
ステップＳ１５１において、状況検出部１３０は、監視映像に基づいて、監視領域の特定の状況を示す状況値を算出する。

算出される状況値は、人数状況値、人流状況値および移動状況値である。
人数状況値は、監視領域における人物の数（人数）に関する状況を示す。具体的には、人数状況値は、監視映像に映った二人以上の人物について人数を示す。
人流状況値は、監視領域における人物の流れ（人流）に関する状況を示す。具体的には、人流状況値は、時刻が異なる複数の監視映像における人流の等方性を示す。
移動状況値は、監視領域において人物が移動できる範囲（移動可能範囲）に関する状況を示す。具体的には、移動状況値は、監視領域において各人物が移動できる範囲の面積を示す。

人数状況値は以下のように算出される。
人数状況検出部１３１は、映像データから抽出された骨格情報の数を人数として数える。
人数状況検出部１３１は、監視映像に映った人物を検出し、検出された人物の数を数えてもよい。

人数状況検出部１３１は、選択された組の一方の骨格情報に対応する人物を中心とする周辺領域を決定し、周辺領域に存在する他人の人数を数えてもよい。周辺領域は、特定の広さを有する領域である。

人流状況値は以下のように算出される。
まず、人流状況検出部１３２は、今回までの複数の監視映像を解析することによって、監視映像に映った複数の人物のそれぞれの移動方向を算出する。移動方向は例えばオプティカルフローで示される。
そして、人流状況検出部１３２は、算出された移動方向の等方性を算出する。等方性は数値で示される。

例えば、人流状況値は以下のように算出される。
図６に、ヒストグラム１９２を示す。ヒストグラム１９２は、移動方向のヒストグラムの例である。縦軸は人数を度数として示し、横軸は８つの方向を示す。破線は基準度数を示す。
まず、人流状況検出部１３２は、基準度数以上の人数を有する方向の数を数える。この数を等方性数と称する。ヒストグラム１９２において、等方性数は６である。
そして、人流状況検出部１３２は、等方性数を方向数で除算する。算出された商が人流状況値である。ヒストグラム１９２において、方向数は８である。この場合、人流状況値は０．７５（＝６／８）である。

図５に戻り、ステップＳ１５１の説明を続ける。
移動状況値は以下のように算出される。
移動状況検出部１３３は、マスク画像１９１を解析することによって、移動可能範囲の面積を算出する。
マスク画像１９１は、記憶部１９０に予め記憶される。
マスク画像１９１は、監視領域の移動可能範囲を示す画像である。例えば、マスク画像１９１は、監視領域内の通路を示す。
マスク画像１９１は、人手で作成されてもよいし、監視映像を使って自動で作成されてもよい。例えば、マスク画像１９１は、領域検出技術によって自動で作成される。領域検出技術はセマンティックセグメンテーションとも呼ばれる。

移動状況検出部１３３は、選択された組の一方の骨格情報に対応する人物を中心とする周辺領域を決定し、周辺領域内の移動可能範囲の面積を算出してもよい。

ステップＳ１５２において、閾値決定部１４０は、特徴量の種類ごとに、監視領域の状況に応じて判定閾値を決定する。
つまり、閾値決定部１４０は、特徴量の種類ごとに、ステップＳ１５１で算出された状況値に基づいて判定閾値を決定する。
判定閾値は、人物相関の有無を判定するために特徴量と比較される閾値である。

特徴量の具体的な種類は、変位特徴量、距離特徴量、位置特徴量、移動特徴量および向き特徴量である。
変位特徴量は、人物同士の関節の変位量に関する特徴量である。具体的には、変位特徴量は、時刻が異なる複数の骨格情報に基づく関節の変位量について人物同士の相関度を示す。
距離特徴量は、人物間の距離に関する特徴量である。具体的には、距離特徴量は、人物間の関節の距離に基づく人物間の距離を示す。
位置特徴量は、人物同士の関節の位置に関する特徴量である。具体的には、位置特徴量は、各関節の位置に基づく姿勢または時刻が異なる複数の骨格情報に基づく関節の移動軌跡について人物同士の相関度を示す。
移動特徴量は、人物同士の移動方向に関する特徴量である。具体的には、移動特徴量は、時刻が異なる複数の骨格情報に基づく関節の移動方向について人物同士の類似度を示す。
向き特徴量は、人物同士の顔の向きに関する特徴量である。具体的には、向き特徴量は、骨格情報に基づく顔の向きについて人物同士の相関度を示す。

判定閾値は以下のように決定される。
例えば、閾値決定部１４０は、特徴量の種類ごとに、数式を計算することによって判定閾値を算出する。数式は、特徴量の種類ごとに予め定義される。
数式は、以下のような形式で示される。
Ｔｈｒ ＝ ａ ＊ ｃ１ ＋ ｂ ＊ ｃ２ ＋ ｃ ＊ ｃ３ ＋ Ｃ
「Ｔｈｒ」は、判定閾値である。
「ａ」は、人数状況値である。
「ｃ１」は、人数状況値に対する係数である。
「ｂ」は、人流状況値である。
「ｃ２」は、人流状況値に対する係数である。
「ｃ」は、移動状況値である。
「ｃ３」は、移動状況値に対する係数である。
「Ｃ」は、定数である。

例えば、閾値決定部１４０は、特徴量の種類ごとに、学習済みモデルを演算することによって判定閾値を算出する。学習済みモデルは、特徴量の種類ごとに構築される。
学習済みモデルは、監視映像と適切な判定閾値の組を複数与えて機械学習を行うことによって生成されたモデルである。
機械学習の手法は、古典的な手法であってもよいし、深層学習手法であってもよい。
古典的な手法の具体例はＳＶＭである。ＳＶＭはＳｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅの略称である。
深層学習手法の具体例はＣＮＮおよびＲＮＮである。ＣＮＮはＣｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓの略称である。ＲＮＮはＲｅｃｕｒｒｅｎｔ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓの略称である。

変位特徴量用の判定閾値と監視領域（エリア）の状況の関係について例を示す。
人流の等方性が高くて移動可能範囲が狭い場合、狭いエリアまたは周辺に他人が多く存在するエリアで群衆が同じ方向に移動していると考えられる。例えば、駅の改札口付近で多くの人物が同じ方向に同じ速度で移動する状況が想定される。
この場合、相関が無い人物同士が同じ速度で移動するため、人物同士に関節の変位量の相関（連動性または類似性）が見られることが多い。
そのため、変位特徴量用の判定閾値は、基準値よりも大きな値に補正される。これにより、関節の変位量に連動性があっても、人物相関が有ると判定され難くなる。

距離特徴量用の判定閾値と監視領域の状況の関係について例を示す。
移動可能範囲が狭くて人数が多い場合、狭いエリア内に人物が多く存在していると考えられる。例えば、駅の改札口付近または小規模店舗（例えばコンビニエンスストア）で人物同士の距離が近くなる状況が想定される。
この場合、相関が無い人物同士の距離が近くなる。
そのため、距離特徴量用の判定閾値は、基準値よりも大きな値に補正される。これにより、人物同士の距離が近くても、人物相関が有ると判定され難くなる。

位置特徴量用の判定閾値と監視領域の状況の関係について例を示す。
人数が多くて移動可能範囲が狭い場合、狭いエリア内に人物が多く存在していると考えられる。例えば、駅、空港または小規模店舗で人物が密集する状況が想定される。
この場合、監視映像において人物同士が重なり、各人物の姿勢を正しく判別できない可能性がある。
そのため、位置特徴量用の判定閾値は、基準値よりも大きな値に補正される。これにより、姿勢の組み合わせに相関があっても、人物相関が有ると判定され難くなる。

移動特徴量用の判定閾値と監視領域の状況の関係について例を示す。
人数が多くて人流の等方性が高い場合、エリア内に人物が多く存在し、群衆が同じ方向に移動していると考えられる。例えば、駅の改札口付近または会社への通勤路において多くの人物が同じ方向に移動する状況が想定される。
この場合、相関が無い人物同士が同じ方向に移動する。
そのため、移動特徴量用の判定閾値は、基準値よりも大きな値に補正される。これにより、人物同士の移動方向が同じであっても、人物相関が有ると判定され難くなる。

向き特徴量用の判定閾値と監視領域の状況の関係について例を示す。
人数が多くて人流の等方性が低い場合、エリア内に人物が多く存在し、各人物が自由に移動していると考えられる。例えば、駅または空港で人物同士がすれ違う状況が想定される。
この場合、相関が無い人物同士の顔が互いに向き合う。
そのため、向き特徴量用の判定閾値は、基準値よりも大きな値に補正される。これにより、人物同士の顔が互いに向き合っても、人物相関が有ると判定され難くなる。

ステップＳ１５３において、特徴量算出部１５０は、特徴量の種類ごとに、骨格情報の組に基づいて特徴量を算出する。

変位特徴量は以下のように算出される。
まず、変位特徴量算出部１５１は、選択された組の骨格情報ごとに、今回の骨格情報と過去の骨格情報を記憶部１９０から取得する。具体的には、過去の骨格情報は前回の骨格情報である。但し、過去の骨格情報は前回より前の骨格情報であってもよい。
次に、変位特徴量算出部１５１は、選択された組の骨格情報ごとに、今回の骨格情報と過去の骨格情報に基づいて、各関節の変位量（速度）を算出する。
そして、変位特徴量算出部１５１は、選択された組における人物同士の変位量の相関度を算出する。算出された相関度が、変位特徴量である。相関度は例えば相関係数で示される。

但し、変位特徴量算出部１５１は、各関節の変位量（運動量）を算出し、変位量の相関度を変位特徴量として算出してもよい。
各関節の変位量（運動量）は、各関節の変位量（速度）の連続する複数の値を合算して算出される。

距離特徴量は以下のように算出される。
距離特徴量算出部１５２は、選択された組の骨格情報に基づいて、一方の骨格情報に示される特定の関節の位置から他方の骨格情報に示される特定の関節の位置までの距離を算出する。算出される距離が、距離特徴量である。例えば、特定の関節は首の関節である。

但し、距離特徴量算出部１５２は、関節ごとに距離を算出し、距離の統計値を距離特徴量として算出してもよい。例えば、統計値は、最大値、平均値または加重平均である。

位置特徴量は以下のように算出される。
まず、位置特徴量算出部１５３は、選択された組の骨格情報ごとに、骨格情報に示される各関節の位置に基づいて、人物の姿勢を特定する。
例えば、肩と肘と手首が同じ高さに並んでいる場合、人物は腕を前に伸ばした姿勢をとっていると考えられる。また、下から肩、肘、手首の順に並んでいる場合、人物は手を挙げた姿勢をとっていると考えられる。
例えば、人物の姿勢は次のように特定される。姿勢パターンデータが記憶部１９０に記憶される。姿勢パターンデータは、姿勢の種類ごとに骨格の形を示す。骨格の形は、複数の関節の位置のパターンで示される。位置特徴量算出部１５３は、骨格情報に示される各関節の位置に合致する骨格の形に対応する姿勢を姿勢パターンデータから見つける。
そして、位置特徴量算出部１５３は、特定された姿勢の相関度を算出する。相関度は例えば相関係数で示される。
例えば、一方の人物が他方の人物を凶器で脅す場合、一方の人物は腕を前に伸ばし、他の人物は手を挙げる。そのため、腕を前に伸ばすという姿勢と手を挙げるという姿勢の相関度は大きい。
例えば、姿勢の相関度は次のように算出される。姿勢相関データが記憶部１９０に記憶される。姿勢相関データは、姿勢の組み合わせごとに相関度を示す。位置特徴量算出部１５３は、特定された姿勢の組み合わせと同じ組み合わせに対応する相関度を姿勢相関データから取得する。

但し、位置特徴量算出部１５３は、今回までの骨格情報の時系列に基づいて少なくともいずれかの関節の移動軌跡を算出し、関節の移動軌跡の相関度を算出してもよい。

移動特徴量は以下のように算出される。
まず、移動特徴量算出部１５４は、選択された組の骨格情報ごとに、今回の骨格情報と過去の骨格情報を記憶部１９０から取得する。具体的には、過去の骨格情報は前回の骨格情報である。但し、過去の骨格情報は前回より前の骨格情報であってもよい。
次に、移動特徴量算出部１５４は、選択された組の骨格情報ごとに、今回の骨格情報と過去の骨格情報に基づいて、特定の関節の移動方向を求める。特定の関節の具体例は、首である。
そして、移動特徴量算出部１５４は、選択された組における特定の関節の移動方向の類似度を算出する。算出された類似度が、移動特徴量である。

但し、移動特徴量算出部１５４は、今回までの３つ以上の骨格情報を用いて移動方向の軌跡を求め、移動方向の軌跡の相関度を移動特徴量として算出してもよい。相関度は例えば相関係数で示される。

向き特徴量は以下のように算出される。
まず、向き特徴量算出部１５５は、選択された組の骨格情報ごとに、骨格情報に示される顔の各パーツの位置に基づいて、人物の顔の向きを算出する。
そして、向き特徴量算出部１５５は、算出された顔の向きの相関度を算出する。算出された相関度が、向き特徴量である。
例えば、各人物の顔の向きはベクトルで示される。そして、向き特徴量算出部１５５は、ベクトルが成す角度に基づいて相関度を算出する。

但し、向き特徴量算出部１５５は、各人物の顔の向きに加えて映像における各人物の位置に基づいて相関度を算出してもよい。
映像における各人物の位置は、骨格情報に示される特定の関節位置（例えば首）を参照して得られる。

ステップＳ１５４において、人物相関判定部１６０は、特徴量の種類ごとに、特徴量を判定閾値と比較する。

ステップＳ１５５において、人物相関判定部１６０は、ステップＳ１５４の比較結果に基づいて、人物相関の有無を判定する。

人物相関の有無は以下のように判定される。
まず、人物相関判定部１６０は、判定閾値を超えた特徴量の個数を数える。求まる数を相関個数と称する。
次に、人物相関判定部１６０は、相関個数を基準個数と比較する。基準個数は予め決められる。
そして、人物相関判定部１６０は、相関個数と基準個数の比較結果に基づいて、人物相関の有無を判定する。
相関個数が基準個数以上である場合、人物相関判定部１６０は、人物相関が有ると判定する。
相関個数が基準個数未満である場合、人物相関判定部１６０は、人物相関が無いと判定する。

＊＊＊実施の形態１の特徴＊＊＊
実施の形態１において、人物相関判定装置１００は以下のような特徴を有する。
人物相関判定装置１００は、２人分の骨格情報の時系列に基づいて、関節位置と移動方向と顔向きのそれぞれの特徴量を算出する。そして、人物相関判定装置１００は、これらの特徴量を考慮することにより、関節位置の変位量と人物間の距離だけに依存せずに人物相関の有無を判定する。
人物相関判定装置１００は、人数と人流方向と移動可能範囲といった状況を考慮して人物相関の判定用の閾値を自動で調整し、状況に応じた人物相関の有無を判定する。

＊＊＊実施の形態１の効果＊＊＊
従来技術は、関節位置の変位量と人物間の距離を考慮して人物相関の有無を判定していた。しかし、次のようなケースにおいて人物相関の有無は正しく判定されない。
図７に、監視映像１９３Ａを示す。監視映像１９３Ａは、第１のケースにおける監視映像の例である。
第１のケースは“関節位置の変位量の変化は連動しないが相関はある”というケースである。監視映像１９３Ａにおいて、一方の人物は凶器を突き付け、他方の人物は後ずさりしている。この場合、二人の人物に相関が有るが、従来技術では人物相関が無いと判定される。
図８に、監視映像１９３Ｂを示す。監視映像１９３Ｂは、第２のケースにおける監視映像の例である。
第２のケースは“距離が近くて相関がない”というケースである。監視映像１９３Ｂにおいて、二人の人物が近い距離で横並びに直立している。この場合、二人の人物に相関が無いが、従来技術では人物相関が有ると判定される。
第３のケースは“距離が遠くて相関がある”というケースである。
実施の形態１は、関節位置の変位量と人物間の距離に加えて、関節位置と移動方向と顔向きといった特徴量を考慮する。
これにより、関節位置の変位量と人物間の距離だけに依存せずに人物相関の有無を正しく判定できる。

従来技術では、人物相関の判定用の閾値が固定されている。そのため、状況が変化するシーンにおいて人物相関の有無が正しく判定されない。
図９および図１０に、監視映像の例（１９３Ｃ、１９３Ｄ）を示す。監視映像１９３Ｃでは、監視領域が混在しているため、相関が無い人物同士の距離が近い。監視映像１９３Ｄでは、通路が狭いため、相関が無い人物同士の距離が近い。この場合、従来技術では人物相関が有ると判定される。
実施の形態１は、人数と人流方向と移動可能範囲といった状況を考慮して人物相関の判定用の閾値を自動で補正する。
これにより、状況が変化するシーンにおいて人物相関の有無を正しく判定できる。

＊＊＊実施の形態１の補足＊＊＊
カメラ１０６は３Ｄカメラであってもよい。３Ｄカメラを用いることによって、監視領域内の奥行に関する情報も得られる。そのため、人の関節の位置を適切に特定することが可能となる。その結果、より高精度な人物相関判定が可能となる。３Ｄは三次元を意味する。

人数状況値、人流状況値および移動状況値は、状況値の種類の具体例である。
状況検出部１３０は、これら状況値の少なくともいずれかを算出しなくてもよいし、別の種類の状況値を算出してもよい。

変位特徴量、距離特徴量、位置特徴量、移動特徴量および向き特徴量は、特徴量の種類の具体例である。
特徴量算出部１５０は、これら特徴量の少なくともいずれかを算出しなくてもよいし、別の種類の特徴量を算出してもよい。

骨格情報の組は、三人分以上の骨格情報から成ってもよい。つまり、三人以上の人物の相関の有無が判定されてもよい。

人数状況値と人流状況値と移動状況値の少なくともいずれかが、ステップＳ１４０の前に算出されてもよい。

図１１に基づいて、人物相関判定装置１００のハードウェア構成を説明する。
人物相関判定装置１００は処理回路１０９を備える。
処理回路１０９は、映像取得部１１０と骨格情報抽出部１２０と状況検出部１３０と閾値決定部１４０と特徴量算出部１５０と人物相関判定部１６０とを実現するハードウェアである。
処理回路１０９は、専用のハードウェアであってもよいし、メモリ１０２に格納されるプログラムを実行するプロセッサ１０１であってもよい。

処理回路１０９が専用のハードウェアである場合、処理回路１０９は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ、ＦＰＧＡまたはこれらの組み合わせである。
ＡＳＩＣは、Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔの略称である。
ＦＰＧＡは、Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙの略称である。

人物相関判定装置１００は、処理回路１０９を代替する複数の処理回路を備えてもよい。

処理回路１０９において、一部の機能が専用のハードウェアで実現されて、残りの機能がソフトウェアまたはファームウェアで実現されてもよい。

このように、人物相関判定装置１００の機能はハードウェア、ソフトウェア、ファームウェアまたはこれらの組み合わせで実現することができる。

実施の形態１は、好ましい形態の例示であり、本開示の技術的範囲を制限することを意図するものではない。実施の形態１は、部分的に実施してもよいし、他の形態と組み合わせて実施してもよい。フローチャート等を用いて説明した手順は、適宜に変更してもよい。

人物相関判定装置１００の各要素の「部」は、「処理」、「工程」、「回路」または「サーキットリ」と読み替えてもよい。

１００ 人物相関判定装置、１０１ プロセッサ、１０２ メモリ、１０３ 補助記憶装置、１０４ 通信装置、１０５ 入出力インタフェース、１０６ カメラ、１０９ 処理回路、１１０ 映像取得部、１２０ 骨格情報抽出部、１３０ 状況検出部、１３１ 人数状況検出部、１３２ 人流状況検出部、１３３ 移動状況検出部、１４０ 閾値決定部、１５０ 特徴量算出部、１５１ 変位特徴量算出部、１５２ 距離特徴量算出部、１５３ 位置特徴量算出部、１５４ 移動特徴量算出部、１５５ 向き特徴量算出部、１６０ 人物相関判定部、１９０ 記憶部、１９１ マスク画像、１９２ ヒストグラム、１９３ 監視映像。

Claims (6)

1. 監視領域を撮影して得られた監視映像から、前記監視映像に映った二人以上の人物のそれぞれの骨格情報を抽出する骨格情報抽出部と、
   抽出された骨格情報の組に基づいて、前記骨格情報の前記組に対応する人物の組について複数種類の特徴量を算出する特徴量算出部と、
   前記監視映像に基づいて、前記監視領域の特定の状況を示す状況値を算出する状況検出部と、
   前記特徴量の種類ごとに、前記状況値に基づいて判定閾値を決定する閾値決定部と、
   前記特徴量の種類ごとに前記特徴量を前記判定閾値と比較し、前記複数種類の特徴量の比較結果に基づいて前記人物の前記組について人物相関が有るか判定する人物相関判定部と、
   を備える人物相関判定装置。
2. 前記骨格情報は、１つ以上の関節のそれぞれの位置を示し、
   前記特徴量算出部は、変位特徴量と距離特徴量と位置特徴量と移動特徴量と向き特徴量の５種類の前記特徴量のうちの２種類以上の前記特徴量を算出し、
   前記変位特徴量は、時刻が異なる複数の骨格情報に基づく前記関節の変位量について人物同士の相関度を示し、
   前記距離特徴量は、人物間の前記関節の距離に基づく人物間の距離を示し、
   前記位置特徴量は、各関節の位置に基づく姿勢または前記複数の骨格情報に基づく前記関節の移動軌跡について人物同士の相関度を示し、
   前記移動特徴量は、前記複数の骨格情報に基づく前記関節の移動方向について人物同士の類似度を示し、
   前記向き特徴量は、顔の各パーツの位置を示す前記骨格情報に基づく前記顔の向きについて人物同士の相関度を示す
   請求項１に記載の人物相関判定装置。
3. 前記状況検出部は、人数状況値と人流状況値と移動状況値のうちの１種類以上の前記状況値を算出し、
   前記人数状況値は、前記監視映像に映った前記二人以上の人物について人数を示し、
   前記人流状況値は、時刻が異なる複数の監視映像における人流の等方性を示し、
   前記移動状況値は、前記監視領域において各人物が移動できる範囲の面積を示す
   請求項１または請求項２に記載の人物相関判定装置。
4. 前記人物相関判定部は、前記判定閾値を超えた前記特徴量の個数が基準個数以上である場合に前記人物相関が有ると判定する
   請求項１から請求項３のいずれか１項に記載の人物相関判定装置。
5. 監視領域を撮影して得られた監視映像から、前記監視映像に映った二人以上の人物のそれぞれの骨格情報を抽出し、
   抽出された骨格情報の組に基づいて、前記骨格情報の前記組に対応する人物の組について複数種類の特徴量を算出し、
   前記監視映像に基づいて、前記監視領域の特定の状況を示す状況値を算出し、
   前記特徴量の種類ごとに、前記状況値に基づいて判定閾値を決定し、
   前記特徴量の種類ごとに前記特徴量を前記判定閾値と比較し、前記複数種類の特徴量の比較結果に基づいて前記人物の前記組について人物相関が有るか判定する
   人物相関判定方法。
6. 監視領域を撮影して得られた監視映像から、前記監視映像に映った二人以上の人物のそれぞれの骨格情報を抽出する骨格情報抽出処理と、
   抽出された骨格情報の組に基づいて、前記骨格情報の前記組に対応する人物の組について複数種類の特徴量を算出する特徴量算出処理と、
   前記監視映像に基づいて、前記監視領域の特定の状況を示す状況値を算出する状況検出処理と、
   前記特徴量の種類ごとに、前記状況値に基づいて判定閾値を決定する閾値決定処理と、
   前記特徴量の種類ごとに前記特徴量を前記判定閾値と比較し、前記複数種類の特徴量の比較結果に基づいて前記人物の前記組について人物相関が有るか判定する人物相関判定処理と、
   をコンピュータに実行させるための人物相関判定プログラム。

Images