JP7005213B2 - 画像解析装置 - Google Patents

Description

本発明は、人等の移動物体により混雑が生じ得る空間を撮影した画像から移動物体の動きを解析する画像解析装置に関する。

画像に撮影された移動物体の動きを解析する際の基礎情報のひとつとして動きベクトルが知られている。

下記特許文献１には、特徴点の座標を中心とする局所領域を設定し、局所領域を分析単位とするオプティカルフロー分析を行うことで、人や配置物の動きベクトルを算出して人や配置物の動きを解析する画像監視装置が例示されている。通常、この局所領域の大きさは予め定められる。

また、下記特許文献２には、時系列画像に時空間セグメンテーションを施して生成した複数の時空間セグメントのそれぞれから動きベクトルを算出して人の動きを解析する群衆解析装置が例示されている。その際の時空間セグメンテーションは００３５段落の式（１）に示された基準で時空間セグメント同士を結合させることにより行われる。当該式においては緩和項α／Ｎのαの値が時空間セグメント同士の結合し易さを定め、当該αは予め設定された値とされる。

このように、従来技術においては、動きベクトルの分析のために撮影画像を分割する基準（以下、分割基準）が固定的に設定されていた。

特開２０１３－１４３０６８号公報 特開２０１７－０６８５９８号公報

従来手法においては、画像に撮影されている空間における移動物体の混雑の度合い（以下、密度）に関わらず、常に同じ分割基準で撮影画像を局所領域に分割して動きベクトルを算出していたため、密度が変動すると移動物体の動きを解析する精度が低下することがあった。

すなわち、人の密度が高いほど人の像同士が密接し易く、人の密度が低いほど人の像同士は分離した状態となり易い。そのため、例えば、人の密度が低い場合は人の部位（手、頭など）程度の大きさまたは部位よりも小さな局所領域を設定することによって詳細な動きを解析することが好適である。しかし、混雑が生じて人の密度が高くなってもそのままの設定で動きを解析していると、近傍人物の部位との混同が多発して誤った動きベクトルの算出が多発してしまう。

このように、常に同じ分割基準で動きベクトルの算出を行うと、混雑の変動によって動きベクトルの誤算出が多くなり、移動物体の動きを解析する精度が低下してしまう問題があった。

本発明は上記問題を鑑みてなされたものであり、人等の移動物体による混雑が生じ得る空間を撮影した画像から移動物体の動きを高い精度で解析可能な画像解析装置を提供することを目的とする。

（１）本発明に係る画像解析装置は、所定の移動物体で混雑し得る空間を撮影した複数時刻の撮影画像を取得する画像取得手段と、所定の密度ごとに当該密度にて前記移動物体が存在する空間を撮影した密度画像それぞれの画像特徴を学習した密度推定器を用いて、前記撮影画像内の任意の領域に撮影された前記移動物体の前記密度を推定する密度推定手段と、推定された前記密度に基づいて前記撮影画像を前記密度に関し設定された複数の階級ごとに区分した区分領域のそれぞれを、複数の局所領域に分割するとともに、前記階級ごとに定めた分割基準に従い、前記密度が高い前記階級ほど前記局所領域のサイズを大きく設定するか、又は大きくなりやすく定める領域分割手段と、前記局所領域それぞれにおける動きベクトルを算出する動きベクトル算出手段と、前記複数の局所領域の前記動きベクトルから前記空間における前記移動物体の動きを解析する動き解析手段と、を備える。

（２）上記（１）に記載の画像解析装置において、前記分割基準は、前記移動物体の大きさを基準として予め定められたサイズを有する領域を前記局所領域とし、前記密度が高い前記階級ほど前記サイズを大きく設定するものとすることができる。

（３）上記（１）に記載の画像解析装置において、前記分割基準は、画素値と画素位置とで定義する画素の類似度に基づいて互いに類似する画素からなる領域を前記局所領域とし、前記密度が高い前記階級ほど前記局所領域のサイズが大きくなりやすく定められたものとすることができる。

（４）上記（３）に記載の画像解析装置において、前記分割基準は、前記密度が高い前記階級ほど、単位面積当たりの前記局所領域の数を少なく設定することができる。

（５）上記（３）に記載の画像解析装置において、前記分割基準は、前記密度が高い前記階級ほど、前記画素について互いに類似すると判定する前記類似度の閾値を低く設定することができる。

本発明によれば、移動物体による混雑が生じ得る空間を撮影した画像から移動物体の動きを高い精度で解析可能な画像解析装置を提供することが可能となる。

本発明の実施形態に係る画像監視装置の概略の構成を示すブロック図である。 本発明の実施形態に係る画像監視装置の機能を示す機能ブロック図である。 撮影画像の例、およびそれに対応する区分領域の例を示す模式図である。 低混雑領域、中混雑領域、高混雑領域それぞれにおける局所領域および動きベクトルの模式図である。 本発明の実施形態に係る画像監視装置における監視動作の概略の処理フロー図である。 本発明の第１の実施形態における要注視行動検出処理の一例の概略のフロー図である。 低混雑領域、中混雑領域、高混雑領域それぞれからなる撮影画像の例とそれに対する局所領域の例を示す模式図である。 本発明の第２の実施形態における要注視行動検出処理の一例の概略のフロー図である。

以下、本発明の実施の形態（以下実施形態という）に係る画像監視装置１について、図面に基づいて説明する。

［第１の実施形態］
図１は画像監視装置１の概略の構成を示すブロック図である。画像監視装置１は、本発明に係る画像解析装置を用いて構成され、撮影部２、通信部３、記憶部４、画像処理部５および表示部６からなる。

撮影部２は、監視カメラであり、通信部３を介して画像処理部５と接続され、所定の物体が混雑し得る監視空間を所定の時間間隔で撮影して撮影画像を出力する撮影手段である。

例えば、撮影部２は、イベント会場に設置されたポールに監視空間を俯瞰する視野を有して設置される。その視野は固定されていてもよいし、予めのスケジュール或いは通信部３を介した外部からの指示に従って変更されてもよい。また、例えば、撮影部２は監視空間をフレーム周期１秒で撮影してカラー画像を生成する。カラー画像の代わりにモノクロ画像を生成してもよい。

通信部３は、通信回路であり、その一端が画像処理部５に接続され、他端が同軸ケーブルまたはＬＡＮ（Local Area Network）、インターネットなどの通信網を介して撮影部２および表示部６と接続される。通信部３は、撮影部２から撮影画像を取得して画像処理部５に入力し、画像処理部５から入力された解析結果を表示部６に出力する。

記憶部４は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等のメモリ装置であり、各種プログラムや各種データを記憶する。記憶部４は、画像処理部５と接続されて画像処理部５との間でこれらの情報を入出力する。

画像処理部５は、ＣＰＵ（Central Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＭＣＵ（Micro Control Unit）等の演算装置で構成される。画像処理部５は、記憶部４と接続され、記憶部４からプログラムを読み出して実行することにより各種処理手段・制御手段として動作し、各種データを記憶部４に記憶させ、また記憶部４から読み出す。また、画像処理部５は、通信部３を介して撮影部２および表示部６とも接続され、通信部３経由で撮影部２から取得した撮影画像を解析することにより、人の動きを解析し、解析結果と撮影画像を通信部３経由で表示部６に出力する。

表示部６は、液晶ディスプレイ又はＣＲＴ（Cathode Ray Tube）ディスプレイ等のディスプレイ装置であり、通信部３を介して画像処理部５と接続され、画像処理部５による解析結果を表示する表示手段である。監視員は表示された解析結果を参照しながら撮影画像を視認して異常行動等の発生を判断し、必要に応じて人員配置の変更等の対処を行う。

なお、本実施形態においては、撮影部２と画像処理部５の個数が１対１である画像監視装置１を例示するが、別の実施形態においては、撮影部２と画像処理部５の個数を多対１或いは多対多とすることもできる。

図２は画像監視装置１の機能を示す機能ブロック図である。通信部３は画像取得手段３０および要注視情報出力手段３１等として機能し、記憶部４は時系列画像記憶手段４０、密度推定器記憶手段４１および検出基準記憶手段４２等として機能する。画像処理部５は、密度推定手段５０、領域分割手段５１、動きベクトル算出手段５２、および要注視行動検出手段５３（動き解析手段）等として機能する。

画像取得手段３０は撮影手段である撮影部２から撮影画像を順次取得して、取得した撮影画像を密度推定手段５０に順次出力するとともに、時系列画像記憶手段４０に順次追加記憶させる。

時系列画像記憶手段４０は、画像取得手段３０から入力された撮影画像を時系列に記憶し、撮影画像を撮影時刻順に並べた時系列画像を動きベクトル算出手段５２に出力する。時系列画像記憶手段４０は少なくとも動きベクトル算出手段５２が必要とする時間区間の撮影画像を記憶し、好ましくは不要となった時点で削除する。例えば、時系列画像記憶手段４０は現時刻および現時刻の１時刻前から４時刻前までの撮影画像（つまり最新５フレームの撮影画像）を循環記憶する。

密度推定器記憶手段４１は、所定の密度ごとに当該密度にて移動物体（人）が存在する空間を撮影した画像（密度画像）それぞれの画像特徴を学習した推定密度算出関数であって、画像の特徴量を入力されると当該画像に撮影されている移動物体の密度の推定値（推定密度）を算出して出力する推定器（密度推定器）を表す情報を予め記憶している。つまり密度推定器記憶手段４１は上記推定密度算出関数の係数等のパラメータを密度推定器の情報として予め記憶している。

密度推定手段５０は、画像取得手段３０から入力された撮影画像内の任意の領域について当該領域に撮影された移動物体の密度を推定する。具体的には、密度推定手段５０は、撮影画像の各所から密度推定用の特徴量（推定用特徴量）を抽出するとともに密度推定器記憶手段４１から密度推定器を読み出して、抽出した推定用特徴量のそれぞれを密度推定器に入力することによって密度を推定する。これにより、撮影画像内での推定密度の分布（移動物体の密度分布）が求められ、密度推定手段５０は推定した密度分布を動きベクトル算出手段５２に出力する。

密度推定の処理と密度推定器について具体的に説明する。

密度推定手段５０は、撮影画像の各画素の位置に窓（推定用抽出窓）を設定し、各推定用抽出窓における撮影画像から推定用特徴量を抽出する。推定用特徴量はＧＬＣＭ（Gray Level Co-occurrence Matrix）特徴である。

各推定用抽出窓に撮影されている監視空間内の領域は同一サイズであることが望ましい。すなわち、好適には密度推定手段５０は不図示のカメラパラメータ記憶手段から予め記憶されている撮影部２のカメラパラメータを読み出し、カメラパラメータを用いたホモグラフィ変換により撮影画像の任意の画素に撮影されている監視空間内の領域が同一サイズとなるように撮影画像を変形してから推定用特徴量を抽出する。

密度推定器は多クラスの画像を識別する識別器で実現することができ、多クラスＳＶＭ（Support Vector Machine）法で学習した識別関数とすることができる。

密度は、例えば、人が存在しない「背景」クラス、０人／ｍ^２より高く２人／ｍ^２以下である「低密度」クラス、２人／ｍ^２より高く４人／ｍ^２以下である「中密度」クラス、４人／ｍ^２より高い「高密度」クラスの４クラスと定義することができる。

推定密度は各クラスに予め付与された値であり、分布推定の結果として出力される値である。本実施形態では各クラスに対応する値を「背景」、「低密度」、「中密度」、「高密度」と表記する。

すなわち、密度推定器は「背景」クラス、「低密度」クラス、「中密度」クラス、「高密度」クラスのそれぞれに帰属する多数の画像（密度画像）の特徴量に多クラスＳＶＭ法を適用して学習して得られる、各クラスの画像を他のクラスと識別するための識別関数である。この学習により導出された識別関数のパラメータが密度推定器として記憶されている。なお、密度画像の特徴量は、推定用特徴量と同種であり、ＧＬＣＭ特徴である。

密度推定手段５０は、各画素に対応して抽出した推定用特徴量のそれぞれを密度推定器に入力することによってその出力値である推定密度を取得する。なお、撮影画像を変形させて推定用特徴量を抽出した場合、密度推定手段５０はカメラパラメータを用いたホモグラフィ変換により密度分布を元の撮影画像の形状に変形させる。

こうして得られた、撮影画像の画素ごとの推定密度の集まりが密度分布である。

領域分割手段５１は、密度推定手段５０から入力される密度分布を参照して、撮影画像を密度に応じて区分して、当該区分した領域のそれぞれを密度に応じて定めた分割基準に従って複数の局所領域に分割し、分割結果を動きベクトル算出手段５２に出力する。以下、密度に応じて区分した領域を区分領域と称する。

具体的には、領域分割手段５１はまず、密度推定手段５０により推定された密度分布に基づいて撮影画像を、密度に関し設定された複数の階級ごとの区分領域に分ける。本実施形態では、密度に関する階級として、密度推定手段５０が出力する密度のクラスのうち「背景」と「低密度」とを統合し「低混雑度」という１つの階級を定義し、また「中密度」および「高密度」をそれぞれ「中混雑度」、「高混雑度」という階級に定義する。これら３つの階級に対応して、撮影画像は、推定密度が「背景」クラスである画素と推定密度が「低密度」クラスである画素との集まりからなる低混雑領域、推定密度が「中密度」クラスである画素の集まりからなる中混雑領域、および推定密度が「高密度」クラスである画素の集まりからなる高混雑領域の３種類の区分領域に分けられる。

図３は撮影画像の例、およびそれに対応する区分領域の例を示す模式図である。図３（ａ）は撮影画像の例であり、人の像６０が示されている。また、図３（ｂ）が区分領域を表しており、白抜き部が低混雑領域であり、また、斜線部が中混雑領域、網掛け部が高混雑領域である。

次に領域分割手段５１は区分領域を、密度の階級、つまり混雑度ごとに定めた分割基準に従い複数の局所領域に分割する。つまり、撮影画像内の各区分領域は、当該区分領域に対応する混雑度について定められた分割基準により複数の局所領域に分割される。

本実施形態では撮影画像を単位ブロックに分割し、当該単位ブロックを単位として局所領域を定義する。例えば、撮影画像を当該撮影画像に撮影される立位の人の大きさの８分の１程度に見積もった間隔で格子状に分割し、これにより生成される矩形領域を単位ブロックとすることができる。領域分割手段５１は、混雑度に応じて区分した各区分領域に、混雑度に応じて予め定めた数の単位ブロックからなる局所領域を設定することによって、区分領域それぞれの撮影画像を当該密度に応じた大きさの局所領域に分割する。

具体的には、撮影画像の横方向をＸ軸、縦方向をＹ軸として、撮影画像をＸ軸方向、Ｙ軸方向それぞれに沿って分割して単位ブロックを定義する。そして、低混雑領域においては各単位ブロックを局所領域に設定する。これにより、低混雑領域においては、例えば、小さくとも人の手ほどの大きさであり、大きくとも人の頭ほどの大きさの局所領域が設定される。

また、中混雑領域においては単位ブロックを２つずつ統合した統合ブロックそれぞれを局所領域に設定する。例えば、当該局所領域とする統合ブロックはＹ軸方向に隣り合う２つの単位ブロックからなり、中混雑領域内にて、Ｘ軸方向に１ブロック間隔、Ｙ軸方向に２ブロック間隔で配置される。これにより、中混雑領域においては、小さくとも人の頭ほどの大きさであり、大きくとも人の上半身ほどの大きさの局所領域が設定される。

高混雑領域においては単位ブロックを４つずつ統合した統合ブロックそれぞれを局所領域に設定する。例えば、当該局所領域とする統合ブロックはＸ軸方向およびＹ軸方向に２つずつ並んだ２×２の配列をなす４つの単位ブロックからなり、高混雑領域内にて、Ｘ軸方向およびＹ軸方向それぞれに２ブロック間隔で配置される。これにより、高混雑領域においては、小さくとも人の上半身ほどの大きさであり、大きくとも人の全身ほどの大きさの局所領域が設定される。

図４は各混雑度での局所領域および動きベクトルの模式図であり、図４（ａ）～（ｃ）はそれぞれ低混雑領域、中混雑領域、高混雑領域での局所領域および動きベクトルを示している。図４の局所領域は上述した単位ブロックに基づいて設定される例を示しており、図４（ａ）に示す低混雑領域では、撮影画像７０内のマス目の１つ１つが単位ブロックであり、当該単位ブロックが局所領域７２ａとされる。図４（ｂ）に示す中混雑領域では、撮影画像７０内の各マス目はＹ軸方向に並ぶ２つの単位ブロックからなる統合ブロックであり、当該統合ブロックが局所領域７２ｂとされる。図４（ｃ）に示す高混雑領域では、撮影画像７０内の各マス目はＸ軸方向およびＹ軸方向に２つずつ並ぶ４つの単位ブロックからなる統合ブロックであり、当該統合ブロックが局所領域７２ｃとされる。

以上のように、領域分割手段５１は、撮影画像を密度に応じて区分した区分領域のそれぞれを、密度に応じて定めた分割基準に従って複数の局所領域に分割する。そして、その際に領域分割手段５１は、区分領域のそれぞれを、移動物体の大きさを基準とする大きさの局所領域であって、密度が高いほど大きく予め定められた大きさの局所領域に分割する。

動きベクトル算出手段５２は領域分割手段５１が設定した局所領域それぞれにおける動きベクトルを算出し、算出した動きベクトルを要注視行動検出手段５３に出力する。

密度の推定によって人どうしが接近していないことが判っている低混雑領域においては人の８分の１程度の小さな局所領域についての動きベクトルが算出されるので、手や足の動きなどの詳細な動きを表す動きベクトルが他人どうしの局所領域を混同することなく高精度に算出されることが期待できる。

その一方、密度の推定によって人どうしの接近が生じていることが判っている中混雑領域および高混雑領域においては、人の４分の１～２分の１程度の大きめな局所領域についての動きベクトルが算出される。大きめの局所領域を算出単位とすることで局所領域内に含まれ得る複数人の部位のかたまりについての動きを表す動きベクトルを算出でき、混雑するほどこれら複数人の位置関係は短時間で変化しにくくなるため、局所領域を大きくしても動きベクトルの精度は低下しにくくなる。よって、混雑の程度によらず精度良く動きベクトルを算出できる。

なお、その際、好適には、動きベクトルは、推定された密度が高いほど長く設定した期間（分析時間間隔）における画像の動きから算出する。すなわち、動きベクトル算出手段５２は各局所領域が低混雑領域、中混雑領域および高混雑領域のいずれに帰属するかによって、当該局所領域における動きベクトルの分析時間間隔を切り替える。例えば、動きベクトル算出手段５２は低混雑領域においては分析時間間隔を１時刻間隔（１フレーム間隔）とし、また、中混雑領域においては２時刻間隔（２フレーム間隔）、高混雑領域においては４時刻間隔（４フレーム間隔）として動きベクトルを算出する。

すなわち、動きベクトル算出手段５２は、時系列画像記憶手段４０から現時刻の撮影画像と１時刻前の撮影画像とを読み出し、現時刻の撮影画像において低混雑領域に帰属する局所領域（注目局所領域）それぞれに所定の探索範囲を設定して、１時刻前の撮影画像に設定した局所領域の中から各注目局所領域の探索範囲内に位置し且つ特徴量同士が最も類似する対応局所領域を検出し、対応局所領域の重心を始点とし注目局所領域の重心を終点とするベクトルを低混雑領域における現時刻の動きベクトルとして算出する。

同様に、動きベクトル算出手段５２は、時系列画像記憶手段４０から現時刻の撮影画像と２時刻前の撮影画像とを読み出し、現時刻の撮影画像において中混雑領域に帰属する注目局所領域それぞれに所定の探索範囲を設定して、２時刻前の撮影画像に設定した局所領域の中から各注目局所領域の探索範囲内に位置し且つ特徴量同士が最も類似する対応局所領域を検出し、対応局所領域と注目局所領域の重心同士を結ぶベクトルを中混雑領域における現時刻の動きベクトルとして算出する。

また、動きベクトル算出手段５２は、時系列画像記憶手段４０から現時刻の撮影画像と４時刻前の撮影画像とを読み出し、現時刻の撮影画像において高混雑領域に帰属する注目局所領域それぞれに所定の探索範囲を設定して、４時刻前の撮影画像に設定した局所領域の中から各注目局所領域の探索範囲内に位置し且つ特徴量同士が最も類似する対応局所領域を検出し、対応局所領域と注目局所領域の重心同士を結ぶベクトルを高混雑領域における現時刻の動きベクトルとして算出する。

ここで、特徴量は例えば平均画素値（平均色または平均濃度）とすることができる。また、探索範囲は動き解析の対象とする移動物体が移動可能な広さとすることができる。例えば、各注目局所領域に対し、当該注目局所領域の重心を中心とする所定半径の円を探索範囲として設定することができ、その半径は例えば１時刻の間に人が走って移動可能な距離に予め定めることができる。ここで、混雑度の増加は人の移動可能な速さを低くする効果がある。当該効果を考慮して、分析時間間隔は混雑度が高いほど長く設定される。一方、当該効果により、低混雑度より分析時間間隔を長く設定される中混雑度や高混雑度の領域での移動物体の移動可能な広さは、分析時間間隔に対応しては変化しない。この観点から、上述のように混雑度の各クラスにおける探索範囲の大きさを共通とすることが可能である。

図４を用いて動きベクトルを説明する。図４（ａ）～（ｃ）にはそれぞれ低混雑領域、中混雑領域、高混雑領域に関して複数時刻Ｔの撮影画像７０を示している。図４（ａ）に示す低混雑領域での動きベクトル算出では、現時刻（Ｔ＝ｔ）の撮影画像７０の低混雑度の注目局所領域の動きベクトル７４ａの始点として１時刻前（Ｔ＝ｔ－１）の撮影画像７０にて対応局所領域が探索される。また、図４（ｂ）に示す中混雑領域での動きベクトル算出では現時刻（Ｔ＝ｔ）の撮影画像７０の中混雑度の注目局所領域の動きベクトル７４ｂの始点として２時刻前（Ｔ＝ｔ－２）の撮影画像７０にて対応局所領域が探索され、図４（ｃ）に示す高混雑領域での動きベクトル算出では現時刻（Ｔ＝ｔ）の撮影画像７０の中混雑度の注目局所領域の動きベクトル７４ｃの始点として４時刻前（Ｔ＝ｔ－４）の撮影画像７０にて対応局所領域が探索される。

検出基準記憶手段４２は、要注視行動を検出するために予め定められた検出基準を記憶している。この検出基準は混雑度合いごとに記憶され、各検出基準はそれぞれに対応する混雑度合いの領域において算出された動き分布に基づく要注視行動の検出に用いられる。

要注視行動検出手段５３は、動きベクトル算出手段５２から複数の局所領域の動きベクトルを入力され、それら動きベクトルから撮影空間における移動物体の動きを解析することによって移動物体による要注視行動を検出し、検出した要注視行動の情報（要注視情報）を要注視情報出力手段３１に出力する。

要注視行動検出手段５３は、混雑度ごとに、当該混雑度の領域にて算出された動きベクトルを集計して動き分布を算出するとともに、検出基準記憶手段４２から当該混雑度に対応する検出基準を読み出し、動き分布を検出基準と比較することによって当該混雑度の領域において要注視行動が発生しているか否かを判定する。例えば、要注視行動検出手段５３は、混雑度ごとに動きベクトルを集計して移動方向の頻度分布および／または速さの頻度分布を算出し、当該混雑度と対応付けて記憶されている検出基準と比較することによって要注視行動を検出する。

ここで、要注視行動検出手段５３は、例えば、対応付けられている検出基準が要注視行動の特徴量である要注視パターンおよび閾値である場合は、要注視パターンと動き分布との類似度を算出して、類似度が閾値以上である場合に要注視行動が発生していると判定する。また、要注視行動検出手段５３は、対応付けられている検出基準が正常行動の特徴量である正常パターンおよび閾値である場合は、正常パターンと動き分布との相違度を算出して、相違度が閾値以上である場合に要注視行動が発生していると判定する。

要注視行動検出手段５３は、要注視行動が発生していると判定した場合に、検出基準を満たした動き分布が算出された領域、満たされた検出基準と対応する事象名を重畳させた監視画像を要注視情報として生成し、生成した要注視情報を要注視情報出力手段３１に出力する。

要注視情報出力手段３１は要注視行動検出手段５３から入力された要注視情報を表示部６に順次出力し、表示部６は要注視情報出力手段３１から入力された要注視情報に含まれる情報を表示する。例えば、要注視情報はインターネット経由で送受信され、表示部６に表示される。監視員は、表示された情報を視認することによって要注視行動の対処要否を判断し、対処が必要と判断すると対処員を派遣するなどの対処を行う。

次に、画像監視装置１の動作について説明する。図５は画像監視装置１における監視動作の概略の処理フロー図である。

撮影部２は監視空間を撮影して、撮影した画像を順次、画像処理部５に入力する。画像処理部５は画像取得手段３０として動作し、撮影部２から撮影画像を取得して（ステップＳ１）、記憶部４に入力する。記憶部４は時系列画像記憶手段４０として機能し、入力された撮影画像を記憶、蓄積する（ステップＳ２）。

要注視行動の検出に用いる動きベクトルの算出には予め定めた複数フレームの画像撮影を要するため、当該所定フレーム数の撮影画像が時系列画像記憶手段４０に蓄積されるまで（ステップＳ３にて「ＮＯ」の場合）、画像処理部５はステップＳ１，Ｓ２を繰り返す。本実施形態では当該フレーム数を５フレームとしている。

時系列画像記憶手段４０に所定フレーム数の撮影画像が蓄積されると（ステップＳ３にて「ＹＥＳ」の場合）、画像処理部５は密度推定手段５０として動作し、密度推定手段５０は撮影画像の各画素の位置に推定用抽出窓を設定し、各推定用抽出窓における撮影画像から抽出した推定用特徴量に基づいて当該画素における移動物体の推定密度を算出する（ステップＳ４）。

密度推定手段５０により撮影画像における推定密度の分布が求められると、画像処理部５は領域分割手段５１として動作し、撮影画像を混雑度ごとの領域に区分する（ステップＳ５）。これにより、撮影画像は、推定密度が「背景」または「低密度」の画素群である低混雑領域、推定密度が「中密度」の画素群である中混雑領域、および推定密度が「高密度」の画素群である高混雑領域に区分される。

画像処理部５は混雑度ごとの領域を順次、処理領域に設定して（ステップＳ６）、要注視行動検出処理を行う（ステップＳ７）。低混雑領域、中混雑領域、高混雑領域の全ての領域について要注視行動検出処理が完了するまで（ステップＳ８にて「ＮＯ」の場合）、ステップＳ６，Ｓ７を繰り返す。全領域について完了すると（ステップＳ８にて「ＹＥＳ」の場合）、要注視行動が検出された場合には（ステップＳ９にて「ＹＥＳ」の場合）、要注視情報出力手段３１に要注視情報が出力され（ステップＳ１０）、処理はステップＳ１に戻る。一方、要注視行動が検出されなかった場合には（ステップＳ９にて「ＮＯ」の場合）、ステップＳ１０は省略される。なお、ステップＳ１に戻るときに画像処理部５は現時刻の撮影画像および局所領域の情報を記憶部４に記憶させる。

図６は要注視行動検出処理Ｓ７の概略のフロー図である。図６に示す処理では、撮影画像を格子状に分割して、混雑度が低、中、高の各領域についての局所領域の設定に用いる単位ブロックを設定する（ステップＳ１００）。

設定された処理領域が低混雑領域である場合（ステップＳ１０２にて「ＹＥＳ」の場合）、領域分割手段５１は各単位ブロックを局所領域に設定する（ステップＳ１０３）。そして、動きベクトル算出手段５２が、記憶部４から１時刻前の撮影画像と１時刻前の処理で設定した局所領域の情報とを読み出し、現時刻の撮影画像における低混雑領域に設定された局所領域ごとに、分析時間間隔を１時刻間隔（１フレーム間隔）として動きベクトルを算出し（ステップＳ１０４）、低混雑領域について算出した動きベクトルを集計して移動方向の頻度分布と速さの頻度分布を算出する（ステップＳ１０５）。

動きベクトル算出手段５２が低混雑領域について動き分布を算出すると、要注視行動検出手段５３は動き分布について低混雑時の検出基準を満たすか否かを調べる（ステップＳ１０６）。具体的には、要注視行動検出手段５３は検出基準記憶手段４２から低混雑時の検出基準を読み出す。すなわち、要注視行動検出手段５３は、動き分布の正常パターンと閾値Ｔ_Ｌ１１を読み出す。次に、ステップＳ１０５で求めた各分布が要注視行動の検出基準を満たすか否かを判定する。

例えば、要注視行動検出手段５３は、ステップＳ１０５で動き分布として求めた各頻度分布をそれぞれと対応する正常パターンと比較して相違度を算出する。相違度として、動き分布とその正常パターンの面積差Ｄ_Ｌ１１を算出することができる。そして、面積差Ｄ_Ｌ１１を閾値Ｔ_Ｌ１１と比較し、Ｄ_Ｌ１１≧Ｔ_Ｌ１１である場合は検出基準を満たすと判定し（ステップＳ１０６にて「ＹＥＳ」の場合）、Ｄ_Ｌ１１＜Ｔ_Ｌ１１である場合は検出基準を満たさないと判定する（ステップＳ１０６にて「ＮＯ」の場合）。

Ｄ_Ｌ１１≧Ｔ_Ｌ１１である場合は、低混雑領域内に急加速もしくは急減速している局所領域があり、ひったくり時の手の動きやひったくり後の逃走行動もしくはひったくり前の手の動きやひったくり前の接近行動等が発生している可能性がある。このように、要注視行動の検出基準を満たす分布が検出された場合（ステップＳ１０６にて「ＹＥＳ」の場合）、要注視行動検出手段５３は、当該分布についての要注視情報を生成し記録し（ステップＳ１０７）、図５のステップＳ８に処理を進める。例えば、要注視行動検出手段５３は、当該分布が満たした検出基準と対応する事象名「ひったくりなどの可能性あり」、および抽出対象領域である局所領域の座標を要注視情報として生成する。一方、分布が検出基準を満たさない場合（ステップＳ１０６にて「ＮＯ」の場合）、ステップＳ１０７は省略される。

要注視行動検出処理Ｓ７に対して設定された処理領域が中混雑領域である場合（ステップＳ１０２にて「ＮＯ」かつステップＳ１０８にて「ＹＥＳ」の場合）、領域分割手段５１は上述したようにＹ軸方向に並ぶ２つの単位ブロックからなる統合ブロックを局所領域に設定する（ステップＳ１０９）。そして、動きベクトル算出手段５２は、記憶部４から２時刻前の撮影画像と２時刻前の処理で設定した局所領域の情報とを読み出し、現時刻の撮影画像における中混雑領域に設定された局所領域ごとに、分析時間間隔を２時刻間隔（２フレーム間隔）として動きベクトルを算出し（ステップＳ１１０）、中混雑領域について算出した動きベクトルを集計して動き分布を算出する（ステップＳ１１１）。例えば、動きベクトル算出手段５２は中混雑領域の動き分布として、移動方向の頻度分布を算出する。

動きベクトル算出手段５２が中混雑領域について動き分布を算出すると、要注視行動検出手段５３は動き分布について中混雑時の検出基準を満たすか否かを調べる（ステップＳ１１２）。具体的には、要注視行動検出手段５３は検出基準記憶手段４２から中混雑時の検出基準を読み出す。すなわち、要注視行動検出手段５３は、移動方向が特定方向に偏った頻度を有する複数の移動方向の頻度分布とその閾値Ｔ_Ｍ１１を読み出す。また移動方向の偏りが無い移動方向の頻度分布とその閾値Ｔ_Ｍ１２を読み出す。これら頻度分布は要注視パターンに相当する。

要注視行動検出手段５３は、ステップＳ１１１で算出した移動方向の頻度分布を要注視パターンと比較して類似度を算出する。例えば、類似度として、ステップＳ１１１で算出した移動方向の頻度分布とその要注視パターンである偏った頻度を有する複数のパターンとの重複面積Ｓ_Ｍ１１、偏りの無い頻度を有するパターンとの重複面積Ｓ_Ｍ１２を算出する。

要注視行動検出手段５３は、重複面積Ｓ_Ｍ１１と閾値Ｔ_Ｍ１１と比較する。Ｓ_Ｍ１１≧Ｔ_Ｍ１１であれば、人物グループをなす各人物が特定の位置に向かって移動し、さらに移動方向が一致していることから、当該人物グループは行列を生成している可能性がある。

また、要注視行動検出手段５３は、重複面積Ｓ_Ｍ１２と閾値Ｔ_Ｍ１２と比較する。Ｓ_Ｍ１２≧Ｔ_Ｍ１２であれば、人物グループをなす各人物が特定の位置に向かって移動し、さらに移動方向が均等であることから、当該人物グループは、特定位置に向かって囲い込む行動をとっており、急病人や喧嘩などのトラブルが生じている可能性を示す。

このような要注視行動の検出基準を満たす分布が検出された場合（ステップＳ１１２にて「ＹＥＳ」の場合）、要注視行動検出手段５３は、当該分布についての要注視情報を生成し記録し（ステップＳ１０７）、図５のステップＳ８に処理を進める。例えば、要注視行動検出手段５３は、当該分布が満たした検出基準と対応する「囲い込み発生」などの事象名、および抽出対象領域である局所領域の座標を要注視情報として生成する。一方、分布が検出基準を満たさない場合（ステップＳ１１２にて「ＮＯ」の場合）、ステップＳ１０７は省略される。

要注視行動検出処理Ｓ７に対して設定された処理領域が高混雑領域である場合（ステップＳ１０２およびＳ１０８にて「ＮＯ」の場合）、領域分割手段５１は上述したようにＸ軸方向、Ｙ軸方向に２×２の配列をなす４つの単位ブロックからなる統合ブロックを局所領域に設定する（ステップＳ１１３）。そして、動きベクトル算出手段５２は、記憶部４から４時刻前の撮影画像と４時刻前の処理で設定した局所領域の情報とを読み出し、現時刻の撮影画像における高混雑領域に設定された局所領域ごとに、分析時間間隔を４時刻間隔（４フレーム間隔）として動きベクトルを算出し（ステップＳ１１４）、高混雑領域について算出した動きベクトルを集計して動き分布を算出する（ステップＳ１１５）。例えば、動きベクトル算出手段５２は、複数の局所領域それぞれの動きベクトルと当該局所領域の周囲の局所領域の動きベクトルとの差ベクトルの平均ベクトル（相対動きベクトル）を算出して、複数の局所領域それぞれの重心と相対動きベクトルを対応付けた動き分布を算出する。なお、注目局所領域に隣接する局所領域を注目局所領域の周囲の局所領域としてもよいし、注目局所領域の重心から予め定めた半径の円内に重心が含まれる局所領域を注目局所領域の周囲の局所領域としてもよい。

動きベクトル算出手段５２が高混雑領域について動き分布を算出すると、要注視行動検出手段５３は動き分布について高混雑時の検出基準を満たすか否かを調べる（ステップＳ１１６）。具体的には、要注視行動検出手段５３は検出基準記憶手段４２から高混雑時の検出基準を読み出す。すなわち、要注視行動検出手段５３は、高混雑領域の動き分布の正常パターンと閾値Ｔ_Ｈ１１、閾値Ｔ_Ｈ１２を読み出す。

要注視行動検出手段５３は、ステップＳ１１５で算出した分布を正常パターンと比較して相違度を算出する。例えば、要注視行動検出手段５３は、ステップＳ１１５で算出した動き分布とその正常パターンの間で対応する局所領域の相対動きベクトルどうしの差ベクトルの大きさを閾値Ｔ_Ｈ１１と比較して、差ベクトルの大きさが閾値Ｔ_Ｈ１１以上である局所領域の総面積Ｄ_Ｈ１２を算出する。なお、注目局所領域の重心に最も近い重心を有する局所領域を注目局所領域に対応する局所領域としてもよい。

要注視行動検出手段５３は、総面積Ｄ_Ｈ１２を閾値Ｔ_Ｈ１２と比較し、Ｄ_Ｈ１２≧Ｔ_Ｈ１２である場合は検出基準を満たすと判定し（ステップＳ１１６にて「ＹＥＳ」の場合）、Ｄ_Ｈ１２＜Ｔ_Ｈ１２である場合は検出基準を満たさないと判定する（ステップＳ１１６にて「ＮＯ」の場合）。

Ｄ_Ｈ１２≧Ｔ_Ｈ１２である場合は、高混雑領域中に他の大勢の動きとは異なる動きが生じており、人の集団移動の中での逆行や滞留など、ひったくり後の逃走行動もしくはひったくり前の接近行動等が発生している可能性がある。

このような要注視行動の検出基準を満たす分布が検出された場合（ステップＳ１１６にて「ＹＥＳ」の場合）、要注視行動検出手段５３は、当該分布についての要注視情報を生成し記録し（ステップＳ１０７）、図５のステップＳ８に処理を進める。例えば、要注視行動検出手段５３は、当該分布が満たした検出基準と対応する「ひったくりなどの可能性あり」などの事象名、および抽出対象領域である高混雑領域において差ベクトルの大きさが閾値Ｔ_Ｈ１１以上であった局所領域の重心座標を要注視情報として生成する。一方、分布が検出基準を満たさない場合（ステップＳ１１６にて「ＮＯ」の場合）、ステップＳ１０７は省略される。

以上により、混雑が生じ得る空間を撮影した撮影画像から、当該空間内の移動物体の動きベクトルを、混雑度が低い区分領域では移動物体の部位の動きまで考慮して詳細に算出しつつ、混雑度が高い区分領域では移動物体の部位の混同を原因とする誤算出を低減して、精度良く算出できる。そのため、混雑が生じ得る空間を撮影した撮影画像から移動物体の動きを精度良く解析できる。

［第２の実施形態］
本発明の第２の実施形態に係る画像監視装置１は領域分割手段５１の処理が上述した第１の実施形態とは異なり、他の点は基本的に第１の実施形態と同様である。以下、第２の実施形態について、第１の実施形態と同様の構成については同一の符号を付して上述の説明を援用し、以下、第１の実施形態との相違点を中心に説明する。

第１の実施形態において領域分割手段５１は区分領域をその密度に応じて予め定めた大きさの局所領域に分割したが、第２の実施形態において領域分割手段５１は撮影画像ごとにその撮影内容に応じた局所領域を動的に設定する。具体的には、領域分割手段５１は、画素値（色または濃度）と画素位置とが互いに類似する画素からなる局所領域に分割する分割基準であって密度に関し定めた階級が高いほど大きな局所領域となりやすく定める分割基準に従って、区分領域のそれぞれを局所領域に分割する。

第２の実施形態の領域分割手段５１は、密度に関する階級として、第１の実施形態と同様に定義した混雑度を用いる。よって、第２の実施形態における区分領域は、第１の実施形態と同様に生成され、撮影画像内には低混雑領域、中混雑領域および高混雑領域の３通りの区分領域が設定され得る。

図７は各混雑度の領域からなる撮影画像の例とそれに対する局所領域の例を示す模式図である。具体的には、図７の上段には、低混雑領域のみからなる撮影画像とそれに対する局所領域とが示されている。同様に、図７の中段、下段にはそれぞれ中混雑領域、高混雑領域のみからなる撮影画像とそれに対する局所領域とが示されている。

例えば、領域分割手段５１は、各区分領域にＳＬＩＣ（Simple Linear Iterative Clustering）法を適用することによって各区分領域の撮影画像を複数のクラスタに分割する。その複数のクラスタのそれぞれが局所領域である。

ＳＬＩＣ法においては、分割に先立って分割数が定められて、定められた分割数と同数のクラスタ中心を初期値として対象の画像上に設定し、対象の画像が分割数と同数のクラスタに分割される。

このようなＳＬＩＣ法の特性に対応して、領域分割手段５１は、密度が高いほど大きな局所領域となりやすいよう、区分領域ごとに、当該区分領域の混雑度が高いほど少ない割合の分割数を定める。つまり単位面積当たりの局所領域の数を少なく設定する分割基準に従って、区分領域のそれぞれを局所領域に分割する。

例えば、領域分割手段５１は、区分領域ごとに以下のステップＡ１～Ａ６の処理を行って区分領域をクラスタに分割する。

（ステップＡ１）区分領域を、区分領域の混雑度に応じた分割面積で格子状に略等分割して、当該分割により生成された矩形領域である各ブロックの中心をクラスタ中心の初期値とする。この処理により、クラスタ中心の数（ブロック数）だけの分割数（＞１）を分割基準として定めたことになる。

具体的には、低混雑領域については、当該領域の面積Ｓ_Ｌと人の１／８ほどの大きさに予め定めた分割面積Ｕ_Ｌの商Ｓ_Ｌ／Ｕ_Ｌを四捨五入した整数値を当該領域の分割数ｋ_Ｌと定め、当該領域をそれぞれの面積が略Ｕ_Ｌのブロックに分割して、各ブロックの中心を当該領域におけるクラスタ中心の初期値とする。

同様に、中混雑領域については、当該領域の面積Ｓ_Ｍと人の１／４ほどの大きさに予め定めた分割面積Ｕ_Ｍの商Ｓ_Ｍ／Ｕ_Ｍを四捨五入した整数値を当該領域の分割数ｋ_Ｍと定め、当該領域をそれぞれの面積が略Ｕ_Ｍのブロックに分割して、各ブロックの中心を当該領域におけるクラスタ中心の初期値とする。

また、高混雑領域については、当該領域の面積Ｓ_Ｈと人の１／２ほどの大きさに予め定めた分割面積Ｕ_Ｈの商Ｓ_Ｈ／Ｕ_Ｈを四捨五入した整数値を当該領域の分割数ｋ_Ｈと定め、当該領域をそれぞれの面積が略Ｕ_Ｈのブロックに分割して、各ブロックの中心を当該領域におけるクラスタ中心の初期値とする。

なお、分割数の算出に際し、四捨五入による整数値化に代えて、切り捨てまたは切り上げにより整数値化を行ってもよく、いずれとするかは予め定めておけばよい。

また、分割数が２未満となる場合は、局所領域への分割および動きベクトルの算出は行わないよう制御する。

（ステップＡ２）区分領域内の各画素と各クラスタ中心との組み合わせに対して評価値を算出する。評価値として、例えば、当該画素から当該クラスタ中心までの距離の逆数と、当該画素とクラスタ中心との間の輝度の類似度との重みづけ和を用いることができる。すなわち、評価値は、画素位置の類似度と画素値の類似度とを統合した統合類似度で定義することができる。

（ステップＡ３）区分領域内の各画素を、当該画素との評価値が最も高いクラスタ中心に帰属させる。

（ステップＡ４）全画素の評価値の総和を求める。

（ステップＡ５）各クラスタ中心を、当該クラスタ中心に帰属する画素の座標を当該画素の評価値で重み付けて平均した重み付け平均座標に更新する。

（ステップＡ６）クラスタ中心の更新値を用いてステップＡ２～Ａ５を繰り返し、ステップＡ４で求めた総和と前回のステップＡ４で総和した値との差の絶対値が所定値未満となり、クラスタの更新処理が収束したと判断される場合、または繰り返し回数が規定回数に達した場合は、処理を終了し、直近に得られたクラスタを局所領域に決定する。

図７の上段、中段、下段の図はそれぞれ低混雑領域の撮影画像、中混雑領域の撮影画像、高混雑領域の撮影画像のそれぞれが人の８分の１程度の大きさの局所領域、人の４分の１程度の大きさの局所領域、人の２分の１程度の大きさの局所領域に分割される様子を例示している。

第２の実施形態における領域分割手段５１の上述の区分領域から局所領域を生成する処理は、第１の実施形態と同様、図５に示した動作における要注視行動検出処理Ｓ７にて行われる。つまり、第２の実施形態の画像監視装置１における監視動作は、第１の実施形態について説明した図５と同様の処理フローで行われるが、領域分割手段５１の処理の相違に関連して、要注視行動検出処理Ｓ７の詳細にて第１の実施形態と違いを有する。

図８は第２の実施形態における要注視行動検出処理Ｓ７の概略のフロー図である。

図５のステップＳ６にて設定された処理領域が低混雑領域である場合（ステップＳ２００にて「ＹＥＳ」の場合）、領域分割手段５１は、人の１／８ほどの大きさに定めた分割面積Ｕ_Ｌを用いた上述の局所領域の生成処理を行い、低混雑領域を平均面積が１／８人分となる数の局所領域に分割する（ステップＳ２０１）。

当該局所領域に対して、動きベクトル算出手段５２は第１の実施形態の図６のステップＳ１０４，Ｓ１０５と同様にして動きベクトルの算出、および動き分布の算出を行う（ステップＳ２０２，Ｓ２０３）。そして、要注視行動検出手段５３が第１の実施形態について図６のステップＳ１０６，Ｓ１０７と同様にして、低混雑時の検出基準を満たすか否かの判定、および要注視情報の記録を行う（ステップＳ２０４，Ｓ２０５）。

図５のステップＳ６にて設定された処理領域が中混雑領域である場合（ステップＳ２００にて「ＮＯ」かつステップＳ２０６にて「ＹＥＳ」の場合）、領域分割手段５１は、人の１／４ほどの大きさに定めた分割面積Ｕ_Ｍを用いた上述の局所領域の生成処理を行い、中混雑領域を平均面積が１／４人分となる数の局所領域に分割する（ステップＳ２０７）。

当該局所領域に対して、動きベクトル算出手段５２は図６のステップＳ１１０，Ｓ１１１と同様にして動きベクトルの算出、および動き分布の算出を行い（ステップＳ２０８，Ｓ２０９）、要注視行動検出手段５３は図６のステップＳ１１２，Ｓ１０７と同様にして、中混雑時の検出基準を満たすか否かの判定、および要注視情報の記録を行う（ステップＳ２１０，Ｓ２０５）。

また、図５のステップＳ６にて設定された処理領域が高混雑領域である場合（ステップＳ２００にて「ＮＯ」かつステップＳ２０６にて「ＮＯ」の場合）、領域分割手段５１は、人の１／２ほどの大きさに定めた分割面積Ｕ_Ｈを用いた上述の局所領域の生成処理を行い、高混雑領域を平均面積が１／２人分となる数の局所領域に分割する（ステップＳ２１１）。

当該局所領域に対して、動きベクトル算出手段５２は図６のステップＳ１１４，Ｓ１１５と同様にして動きベクトルの算出、および動き分布の算出を行い（ステップＳ２１２，Ｓ２１３）、要注視行動検出手段５３は図６のステップＳ１１６，Ｓ１０７と同様にして、高混雑時の検出基準を満たすか否かの判定、および要注視情報の記録を行う（ステップＳ２１４，Ｓ２０５）。

上述した本実施形態の局所領域の生成処理では、分割数を少なくすればひとつひとつの局所領域が大きくなり易く、分割数を多くすればひとつひとつの局所領域が小さくなり易い。

このように区分領域を当該領域における移動物体の密度が高いほど少ない割合の分割数で分割することによっても、少なくとも移動物体に関する局所領域は、密度に応じて区分した領域においてその密度が高いほど大きく、密度が低いほど小さく分割されることが期待できる。

そのため、混雑が生じ得る空間を撮影した撮影画像から、当該空間内の移動物体の動きベクトルを、移動物体の部位の混同を原因とする誤算出を低減して、精度良く算出できる。そのため、混雑が生じ得る空間を撮影した撮影画像から移動物体の動きを精度良く解析できる。

以上、第２の実施形態として、区分領域から局所領域を生成する際の分割数の多寡により混雑度に応じた局所領域の大きさを制御する手法を、ＳＬＩＣ法を用いて実現する構成を説明した。

ここで、ＳＬＩＣ法に代えて群平均法などを用いたボトムアップな領域分割方法を採用する場合も、分割数の多寡によって局所領域の大きさを制御できる。この場合、領域分割手段５１は以下のステップＢ１～Ｂ５の処理を行って区分領域をクラスタに分割する。

（ステップＢ１）区分領域の面積を区分領域の密度に応じた分割面積で除して分割数（＞１）を定める。具体的には、低混雑領域については、当該領域の面積Ｓ_Ｌと人の１／８ほどの大きさに予め定めた分割面積Ｕ_Ｌの商Ｓ_Ｌ／Ｕ_Ｌを四捨五入した整数値を当該領域の分割数ｋ_Ｌと定める。中混雑領域については、当該領域の面積Ｓ_Ｍと人の１／４ほどの大きさに予め定めた分割面積Ｕ_Ｍの商Ｓ_Ｍ／Ｕ_Ｍを四捨五入した整数値を当該領域の分割数ｋ_Ｍと定める。また、高混雑領域については、当該領域の面積Ｓ_Ｈと人の１／２ほどの大きさに予め定めた分割面積Ｕ_Ｈの商Ｓ_Ｈ／Ｕ_Ｈを四捨五入した整数値を当該領域の分割数ｋ_Ｈと定める。

（ステップＢ２）撮影画像中の各画素を初期のクラスタに設定する。

（ステップＢ３）隣り合うクラスタの組み合わせごとに評価値を算出する。評価値として、例えば、クラスタ中心間の距離の逆数と、クラスタ間の平均輝度の類似度との重みづけ和を用いることができる。すなわち評価値は、画素位置の類似度と画素値の類似度とを統合した統合類似度で定義することができる。なお、統合類似度の代わりに画素値の類似度を評価値としてもよい。ちなみにその場合も「隣り合うクラスタ」という条件によって画素位置の類似性の要件が含まれている。

（ステップＢ４）評価値が最大であるクラスタの組み合わせを１つのクラスタに統合する。

（ステップＢ５）ステップＢ３，Ｂ４を繰り返し、クラスタ数がステップＢ１で定めた分割数以下になれば処理を終了し、直近に得られたクラスタを局所領域に決定する。一方、クラスタ数がステップＢ１で定めた分割数以下でなければステップＢ３，Ｂ４をさらに繰り返す。

以上、分割数の多寡によって局所領域の大きさを制御する方法を２通り説明したが、分割数の多寡によって制御するのではなく、上述した評価値（統合類似度）に対する閾値の高さによって局所領域の大きさを制御する別方法を採用することもできる。

すなわち領域分割手段５１は、画素値の類似度と画素位置の類似度とを統合した統合類似度に対する閾値を密度が高いほど低く定める分割基準に従って、区分領域のそれぞれを統合類似度が閾値を超える画素からなる局所領域に分割する。つまり、分割基準は、混雑度が高いほど、画素について互いに類似すると判断する統合類似度の閾値を低く設定する。

この場合、領域分割手段５１は、区分領域ごとに以下のステップＣ１～Ｃ４の処理を行って区分領域をクラスタに分割する。

（ステップＣ１）撮影画像中の各画素を初期のクラスタに設定する。

（ステップＣ２）隣り合うクラスタの組み合わせごとに評価値を算出する。評価値として、例えば、上述した統合類似度を用いることができる。

（ステップＣ３）ステップＣ２で算出した評価値を閾値と比較し、評価値が閾値以下のクラスタの組み合わせを１つのクラスタに統合する。閾値は区分領域の混雑度ごとに予め定めた値であり、混雑度が高いほど低く定められた値である。

（ステップＣ４）ステップＣ３にて評価値が閾値以下のクラスタの組み合わせが１つ以上あればステップＣ２，Ｃ３を繰り返し、ステップＣ３にて評価値が閾値以下のクラスタの組み合わせが１つも無ければ処理を終了し、直近に得られたクラスタを局所領域に決定する。

なお、第２の実施形態においては、分割基準として分割数、類似度の閾値を例示したが、それ以外にも局所領域の大きさの範囲を制限する閾値（密度が高い階級ほど範囲を広く、密度が低い階級ほど範囲を狭く定める）、またはクラスタの統合回数を制限する閾値（密度が高い階級ほど統合回数の上限を高く、密度が低い階級ほど統合回数の上限を低く定める）などの分割基準によっても、密度が高い階級ほど局所領域のサイズが大きくなりやすく定めることができる。

（１）上記各実施形態においては、検出対象の物体を人とする例を示したが、これに限らず、検出対象の物体を車両、牛や羊等の動物等とすることもできる。

（２）上記各実施形態およびその変形例においては、多クラスＳＶＭ法にて学習した密度推定器を例示したが、多クラスＳＶＭ法に代えて、決定木型のランダムフォレスト法、多クラスのアダブースト（AdaBoost）法または多クラスロジスティック回帰法などにて学習した密度推定器など種々の密度推定器とすることができる。

或いは識別型のＣＮＮ（Convolutional Neural Network）を用いた密度推定器とすることもできる。

（３）上記各実施形態およびその各変形例においては、密度推定器が推定する背景以外の密度のクラスを３クラスとしたが、より細かくクラスを分けてもよい。

（４）上記各実施形態およびその各変形例においては、多クラスに分類する密度推定器を例示したがこれに代えて、特徴量から密度の値（推定密度）を回帰する回帰型の密度推定器とすることもできる。すなわち、リッジ回帰法、サポートベクターリグレッション法、回帰木型のランダムフォレスト法またはガウス過程回帰（Gaussian Process Regression）などによって、特徴量から推定密度を求めるための回帰関数のパラメータを学習した密度推定器とすることができる。

或いは回帰型のＣＮＮを用いた密度推定器とすることもできる。

（５）上記各実施形態およびその各変形例においては、密度推定器が学習する特徴量および推定用特徴量としてＧＬＣＭ特徴を例示したが、これらはＧＬＣＭ特徴に代えて、局所二値パターン（Local Binary Pattern：ＬＢＰ）特徴量、ハールライク（Haar-like）特徴量、ＨＯＧ特徴量、輝度パターンなどの種々の特徴量とすることができ、またはＧＬＣＭ特徴とこれらのうちの複数を組み合わせた特徴量とすることもできる。

１ 画像監視装置、２ 撮影部、３ 通信部、４ 記憶部、５ 画像処理部、６ 表示部、３０ 画像取得手段、３１ 要注視情報出力手段、４０ 時系列画像記憶手段、４１ 密度推定器記憶手段、４２ 検出基準記憶手段、５０ 密度推定手段、５１ 領域分割手段、５２ 動きベクトル算出手段、５３ 要注視行動検出手段。

Claims (5)

1. 所定の移動物体で混雑し得る空間を撮影した複数時刻の撮影画像を取得する画像取得手段と、
   所定の密度ごとに当該密度にて前記移動物体が存在する空間を撮影した密度画像それぞれの画像特徴を学習した密度推定器を用いて、前記撮影画像内の任意の領域に撮影された前記移動物体の前記密度を推定する密度推定手段と、
   推定された前記密度に基づいて前記撮影画像を前記密度に関し設定された複数の階級ごとに区分した区分領域のそれぞれを、複数の局所領域に分割するとともに、前記階級ごとに定めた分割基準に従い、前記密度が高い前記階級ほど前記局所領域のサイズを大きく設定するか、又は大きくなりやすく定める領域分割手段と、
   前記局所領域それぞれにおける動きベクトルを算出する動きベクトル算出手段と、
   前記複数の局所領域の前記動きベクトルから前記空間における前記移動物体の動きを解析する動き解析手段と、
   を備えたことを特徴とする画像解析装置。
2. 前記分割基準は、前記移動物体の大きさを基準として予め定められたサイズを有する領域を前記局所領域とし、前記密度が高い前記階級ほど前記サイズを大きく設定すること、を特徴とする請求項１に記載の画像解析装置。
3. 前記分割基準は、画素値と画素位置とで定義する画素の類似度に基づいて互いに類似する画素からなる領域を前記局所領域とし、前記密度が高い前記階級ほど前記局所領域のサイズが大きくなりやすく定められていること、を特徴とする請求項１に記載の画像解析装置。
4. 前記分割基準は、前記密度が高い前記階級ほど、単位面積当たりの前記局所領域の数を少なく設定すること、を特徴とする請求項３に記載の画像解析装置。
5. 前記分割基準は、前記密度が高い前記階級ほど、前記画素について互いに類似すると判定する前記類似度の閾値を低く設定すること、を特徴とする請求項３に記載の画像解析装置。

Images