[第一の実施形態]
以下、本発明の画像監視装置の好適な実施形態の一例として、イベント会場を撮影した監視画像を基に要注視行動を検出し、要注視行動を検出した場合に報知する画像監視装置1について説明する。特に、第一の実施形態に係る画像監視装置1は、人物領域における部位の動きの分布のように抽出対象領域を構成する構成要素の動きの分布を行動特徴量として抽出し、当該行動特徴量に基づいて要注視行動を検出する。
図1は第一の実施形態に係る画像監視装置1の概略の構成を示すブロック図である。画像監視装置1は、撮影部2、通信部3、記憶部4、画像処理部5、および報知部6からなる。
撮影部2は、監視カメラであり、通信部3を介して画像処理部5と接続され、監視空間を所定の時間間隔で撮影して監視画像を生成し、監視画像を順次画像処理部5に入力する撮影手段である。例えば、撮影部2は、監視空間であるイベント会場の一角に設置されたポールに当該監視空間を俯瞰する所定の固定視野を有して設置され、監視空間をフレーム周期1秒で撮影してカラー画像を生成する。カラー画像の代わりにモノクロ画像を生成してもよい。
通信部3は、通信回路であり、その一端が画像処理部5に接続され、他端が撮影部2および報知部6と接続される。通信部3は、撮影部2から監視画像を取得して画像処理部5に入力し、画像処理部5から入力された要注視情報を報知部6に出力する。要注視情報は、画像処理部5が検出した要注視行動の種類や検出時の監視画像等が含まれた情報である。
例えば、撮影部2および報知部6がイベント会場内の監視センターに設置され、通信部3、記憶部4および画像処理部5が遠隔地の画像解析センターに設置される場合、通信部3と撮影部2、および通信部3と報知部6をそれぞれインターネット回線にて接続し、通信部3と画像処理部5はバスで接続する構成とすることができる。その他、例えば各部を同一建屋内に設置する場合は、通信部3と撮影部2を同軸ケーブルまたはLAN(Local Area Network)、通信部3と報知部6はディスプレイケーブル、通信部3と画像処理部5はバスで接続するなど、各部の設置場所に応じた形態で適宜接続される。
記憶部4は、ROM(Read Only Memory)、RAM(Random Access Memory)等のメモリ装置であり、各種プログラムや各種データを記憶する。記憶部4は、画像処理部5と接続されて画像処理部5との間でこれらの情報を入出力する。
画像処理部5は、CPU(Central Processing Unit)、DSP(Digital Signal Processor)、MCU(Micro Control Unit)等の演算装置で構成される。画像処理部5は、記憶部4からプログラムを読み出して実行することにより各種処理手段・制御手段として動作し、必要に応じて、各種データを記憶部4から読み出し、生成したデータを記憶部4に記憶させる。また、画像処理部5は、通信部3経由で撮影部2から取得した監視画像から要注視行動を検出し、検出した要注視行動に関する要注視情報を生成して通信部3に出力させる。
報知部6は、液晶ディスプレイ又はCRT(Cathode Ray Tube)ディスプレイ等のディスプレイ装置であり、通信部3から入力された要注視情報に含まれる要注視行動の種類や検出時の監視画像等の情報を表示することによって監視員に報知する。報知部6には、さらに、注意喚起を強調するためにブザーやランプ等を含めることもできる。監視員は表示された要注視行動の情報を視認して対処の要否等を判断し、必要に応じて対処員を急行させる等の対処を行う。
なお、本実施形態においては、通信部3と画像処理部5の組に対して撮影部2が1台である画像監視装置1を例示するが、別の実施形態においては、通信部3と画像処理部5の組に対して撮影部2が2台以上接続された構成とすることもできる。その場合、通信部3は各撮影部から監視画像を時分割で受信し、画像処理部5は各撮影部からの監視画像を時分割処理または並列処理する。
以下、図2および図3を参照し、第一の実施形態に係る画像監視装置1の機能について説明する。
図2は、画像監視装置1における、通信部3、記憶部4および画像処理部5の機能を説明する機能ブロック図である。通信部3は画像取得手段30および要注視情報出力手段31等として機能し、記憶部4は検出基準記憶手段40等として機能する。画像処理部5は領域区分手段50、行動特徴量抽出手段51および要注視行動検出手段52等として機能する。また、行動特徴量抽出手段51は低混雑時抽出手段510、中混雑時抽出手段511および高混雑時抽出手段512を含み、要注視行動検出手段52は低混雑時検出手段520、中混雑時検出手段521および高混雑時検出手段522を含む。
画像取得手段30は、撮影手段である撮影部2から監視画像を順次取得して、取得した監視画像を領域区分手段50および行動特徴量抽出手段51に順次出力する。
領域区分手段50は、画像取得手段30が取得した監視画像を、予め様々な密度にて人が存在する空間を撮影した密度画像を用いて密度ごとの特徴量を学習した密度推定器で走査することによって、監視画像から監視空間における人の分布を推定し、監視画像を人の混雑度ごとの領域に区分し、区分した領域(区分領域)の情報を行動特徴量抽出手段51に出力する。
以下、密度推定器の学習および密度推定器による推定に用いる特徴量を、後述する行動特徴量等と区別するために密度特徴量と称する。密度特徴量はGLCM(Gray Level Co-occurrence Matrix)特徴である。なお、密度特徴量はGLCM特徴に限らずHOG(Histograms of Oriented Gradients)特徴量、局所二値パターン(Local Binary Pattern:LBP)特徴量、ハールライク(Haar-like)特徴量、輝度パターンなどの種々の特徴量またはこれらのうちの複数を組み合わせた特徴量とすることができる。
混雑度は人の密度に応じた3段階で予め定義され、具体的には混雑度は、0.0人/m2以上2.0人/m2以下と推定される低混雑度、2.0人/m2より高く4.0人/m2以下と推定される中混雑度、4.0人/m2よりも高いと推定される高混雑度と定義される。領域区分手段50は、低混雑度と推定された領域(低混雑領域)の画素値に低混雑度を識別する符号「低」を、中混雑度と推定された領域(中混雑領域)の画素値に中混雑度を識別する符号「中」を、高混雑度と推定された領域(高混雑領域)の画素値に高混雑度を識別する符号、「高」をそれぞれ設定した三値画像を出力する。
密度推定器は、多クラスSVM(Support Vector Machine:サポートベクターマシーン)法を用いて学習することができる。密度推定器の学習においては、例えば、人が写っていない0.0人/m2の無人画像、0.0人/m2よりも高く2.0人/m2以下の密度で人が写っている低密度画像、2.0人/m2より高く4.0人/m2以下の密度で人が写っている中密度画像および4.0人/m2よりも高い密度で人が写っている高密度画像をそれぞれ多数用意して学習画像とし、学習画像から抽出した密度特徴量に多クラスSVM法を適用して、無人画像、低密度画像、中密度画像、高密度画像の4クラスの密度特徴量を一定以上の確率で分類可能な分類関数のパラメータが導出される。このパラメータを領域区分手段50のプログラムに含めて記憶させておく。
具体的には、領域区分手段50は、まず、監視画像の全体に渡って複数の窓領域を設定し、各窓領域における監視画像から密度特徴量を抽出する。なお、GLCM特徴のように注目画素の密度特徴量を注目画素とその近傍領域から抽出する密度特徴量の場合、監視画像の各画素における密度特徴量を抽出してから窓領域内の画素に対応する密度特徴量を選択するのが効率的である。
次に、領域区分手段50は、各窓領域の密度特徴量を密度推定器に入力し、その出力値すなわち推定値として各窓領域の監視画像が無人画像、低密度画像、中密度画像、高密度画像のいずれのクラスに帰属するかを示す符号を取得する。
続いて、領域区分手段50は、無人画像および低密度画像に帰属すると推定された窓領域の画素値に符号「低」を、中密度画像に帰属すると推定された窓領域の画素値に符号「中」を、高密度画像に帰属すると推定された窓領域の画素値に符号「高」をそれぞれ設定した三値画像を出力する。
図3は領域区分手段50が監視画像を区分する処理を模式的に例示した図である。
図3の例では、多数の人が撮影された監視画像100をブロック分割することによって14×11個の窓領域が設定されている。そして、各窓領域から密度特徴量が抽出されて密度推定器に入力され、窓領域ごとに帰属するクラスが推定される。推定結果110においては、窓領域111,112等の白抜きの窓領域が低密度画像または無人画像に帰属すると推定されたことを示し、窓領域113等の斜線を記した窓領域が中密度画像に帰属すると推定されたことを示し、窓領域114等の網掛けした窓領域が高密度画像に帰属すると推定されたことを示している。これらの窓領域が混雑度ごとの領域にまとめられることによって混雑度ごとの領域に区分される。区分結果120においては、白抜き区分領域121,122が低混雑領域を、斜線を記した区分領域123が中混雑領域を、網掛けした区分領域124が高混雑領域をそれぞれ示している。
行動特徴量抽出手段51は、領域区分手段50が区分した区分領域それぞれにおいて、混雑度が高い区分領域ほど空間方向に大きな単位で抽出対象領域を設定して当該抽出対象領域の監視画像から人の行動特徴量を抽出し、区分領域ごとの行動特徴量を当該区分領域の混雑度と対応付けて要注視行動検出手段52に出力する。
行動特徴量抽出手段51は、低混雑時抽出手段510として、区分領域のうちの混雑度が低混雑度である低混雑領域における人の行動特徴量を抽出する。低混雑時抽出手段510は、低混雑領域の監視画像から個々の人の領域を検出して、検出した領域それぞれを抽出対象領域に設定する。そして、低混雑時抽出手段510は、各抽出対象領域を構成する複数の構成要素すなわち各人の領域を構成する複数の部位の動き分布を、低混雑領域における人の行動特徴量(低混雑時特徴量)として抽出し、低混雑時特徴量を要注視行動検出手段52に出力する。複数の部位の動き分布とは、例えば、頭、胴、右上腕、右下腕、左上腕、左下腕、右上肢、右下肢、左上肢、左下肢といった部位それぞれの位置を追跡して得られる複数の部位の移動方向の頻度分布、および/または速さの頻度分布である。
また、行動特徴量抽出手段51は、中混雑時抽出手段511として、区分領域のうちの混雑度が中混雑度である中混雑領域における人の行動特徴量を抽出する。中混雑時抽出手段511は、中混雑領域の監視画像から個々の人の人物位置を求めて複数の人物位置により囲まれた抽出対象領域を設定する。そして、中混雑時抽出手段511は、各抽出対象領域を構成する複数の構成要素すなわち複数の人物位置により囲まれた領域を構成する複数の人物位置の動き分布を、中混雑領域における人の行動特徴量(中混雑時特徴量)として抽出し、中混雑時特徴量を要注視行動検出手段52に出力する。複数の人物位置の動き分布とは、例えば、各人物の位置を追跡して得られる複数の人物位置の移動方向の頻度分布、および/または速さの頻度分布である。
また、行動特徴量抽出手段51は、高混雑時抽出手段512として、区分領域のうちの混雑度が高混雑度である高混雑領域における人の行動特徴量を抽出する。高混雑時抽出手段512は、高混雑領域の監視画像から当該混雑度が推定された領域のまとまり、すなわち高混雑領域全体を抽出対象領域に設定する。そして、高混雑時抽出手段512は、各抽出対象領域を構成する複数の構成要素すなわち高混雑領域を構成する複数の時空間セグメントまたはブロック等の局所領域の動き分布を、高混雑領域における人の行動特徴量(高混雑時特徴量)として抽出し、高混雑時特徴量を要注視行動検出手段52に出力する。複数の時空間セグメント複数の動き分布とは、例えば、高混雑領域の監視画像を時間軸に沿って並べた時空間画像に時空間セグメンテーションを施して得られる複数の時空間セグメントにおける重心位置の移動方向の頻度分布、および/または速さの頻度分布である。また、ブロックの動き分布とは、例えば、高混雑領域を分割したブロックそれぞれのオプティカルフローの移動方向の頻度分布、および/または速さの頻度分布である。
検出基準記憶手段40は要注視行動を検出するために予め定められた検出基準を記憶している。この検出基準は混雑度ごとに記憶され、各検出基準はそれぞれに対応する混雑度が推定された区分領域において抽出された行動特徴量との比較・判定に用いられる。
要注視行動検出手段52は、行動特徴量抽出手段51から区分領域ごとの行動特徴量を入力されて検出基準記憶手段40から区分領域の混雑度に応じた検出基準を読み出し、区分領域ごとの行動特徴量を当該区分領域の混雑度に応じた検出基準と比較して、検出基準を満たす場合に当該行動特徴量が抽出された抽出対象領域において要注視行動が発生していると判定する。
すなわち、要注視行動検出手段52は、低混雑時特徴量である複数の部位の動き分布が入力されると、低混雑時検出手段520として、当該動き分布を低混雑度と対応付けられた検出基準と比較して要注視行動が発生しているか否かを判定する。
また、要注視行動検出手段52は、中混雑時特徴量である複数の人物位置の動き分布が入力されると、中混雑時検出手段521として、当該動き分布を中混雑度と対応付けられた検出基準と比較して要注視行動が発生しているか否かを判定する。
また、要注視行動検出手段52は、高混雑時特徴量である複数の局所領域の動き分布が入力されると、高混雑時検出手段522として、当該動き分布を高混雑度と対応付けられた検出基準と比較して要注視行動が発生しているか否かを判定する。
ここで、要注視行動検出手段52は、例えば、対応付けられている検出基準が要注視行動の特徴量である要注視パターンおよび閾値である場合は、要注視パターンと区分領域から抽出された行動特徴量との類似度を算出して、類似度が閾値以上である場合に要注視行動が発生していると判定する。また、要注視行動検出手段52は、対応付けられている検出基準が正常行動の特徴量である正常パターンおよび閾値である場合は、正常パターンと区分領域から抽出された行動特徴量との相違度を算出して、相違度が閾値以上である場合に要注視行動が発生していると判定する。
要注視行動検出手段52は、要注視行動が発生していると判定した場合に、検出基準を満たした行動特徴量が抽出された位置、満たされた検出基準と対応する事象名を重畳させた監視画像を要注視情報として生成し、生成した要注視情報を要注視情報出力手段31に出力する。
要注視情報出力手段31は要注視行動検出手段52から入力された要注視情報を報知部6に順次出力し、報知部6は要注視情報出力手段31から入力された要注視情報に含まれる情報を表示する。例えば、要注視情報は、インターネット経由で送受信され、報知部6に表示される。監視員は、表示された情報を視認することによって要注視行動の対処要否を判断し、対処が必要と判断すると対処員を派遣するなどの対処を行う。
以下、図4〜図7を参照し、第一の実施形態に係る画像監視装置1の動作を説明する。
画像監視装置1が動作を開始すると、イベント会場に設置されている撮影部2は所定時間おきに監視空間を撮影して監視画像を順次画像処理部5が設置されている画像解析センター宛に送信する。画像処理部5は監視画像を受信するたびに図4のフローチャートに従った動作を繰り返す。
まず、通信部3は画像取得手段30として動作し、監視画像の受信を待機する。撮影部2が監視画像を送信すると、画像取得手段30は当該監視画像を受信して画像処理部5に出力する(ステップS1)。
監視画像を入力された画像処理部5は領域区分手段50として動作し、監視画像を密度推定器にて走査することによって監視画像に撮影されている人の分布を推定し(ステップS2)、推定結果から監視画像を混雑度ごとの領域に区分する(ステップS3)。これによって、監視画像は低混雑領域、中混雑領域および高混雑領域に区分される。
領域の区分を行った画像処理部5は、行動特徴量抽出手段51としても動作し、領域区分手段50による区分結果を行動特徴量抽出手段51に入力する。
区分結果を入力された行動特徴量抽出手段51は、区分結果に低混雑領域の情報が含まれているか否かを確認する(ステップS4)。行動特徴量抽出手段51は、低混雑領域の情報が含まれている場合は(ステップS4にてYES)、処理を低混雑領域の要注視行動検出処理(ステップS5)に進める。他方、低混雑領域の情報が含まれていない場合(ステップS4にてNO)、行動特徴量抽出手段51はステップS5を省略して処理をステップS6に進める。
図5のフローチャートを参照し、第一の実施形態に係る低混雑領域の要注視行動検出処理を説明する。行動特徴量抽出手段51はこの処理を低混雑時抽出手段510として実行し、要注視行動検出手段52はこの処理を低混雑時検出手段520として実行する。
まず、低混雑時抽出手段510は、低混雑領域の監視画像を、予め単独の人の画像の特徴量を学習した人識別器で走査することによって、低混雑領域の監視画像から個々の人の領域(人物領域)を検出する(ステップS500)。
以下、人識別器の学習および人識別器による識別に用いる特徴量を、後述する行動特徴量と区別するために人特徴量と称する。人特徴量はHOG(Histograms of Oriented Gradients:ヒストグラム・オブ・オリエンティッド・グラディエント)とすることができる。
人識別器は、アダブースト(AdaBoost)法を用いて学習することができる。人識別器の学習においては、例えば、単独の人が写っている人画像および人が写っていない無人画像をそれぞれ多数用意して学習画像とし、学習画像から抽出した人特徴量にアダブースト法を適用して、人画像と無人画像の2クラスの人特徴量を一定以上の確率で識別可能な識別関数のパラメータが導出される。このパラメータを低混雑時抽出手段510のプログラムに含めて記憶させおく。
低混雑時抽出手段510は、低混雑領域の監視画像の全体に渡って複数の窓領域を設定し、各窓領域における監視画像から人特徴量を抽出する。なお、HOGのように注目画素の人特徴量を注目画素とその近傍領域から抽出する人特徴量の場合、低混雑領域の各画素における人特徴量を抽出してから窓領域内の画素に対応する人特徴量を選択するのが効率的である。
そして、低混雑時抽出手段510は、各窓領域の人特徴量を人識別器に入力し、その出力値すなわち識別値として各窓領域の監視画像が人画像と無人画像のいずれのクラスに帰属するかを示す符号を取得し、人画像に帰属すると識別された窓領域を抽出対象領域に設定する。
続いて、低混雑時抽出手段510は、公知の追跡法を用いて、各人物領域の追跡すなわち各人物領域と過去に低混雑領域の監視画像から検出された人物領域との対応付けを行う(ステップS501)。すなわち、低混雑時抽出手段510は、例えば、過去に検出された各人物領域とステップS500で検出された各人物領域の組合せに対し、人物領域の重心位置と過去の人物領域の重心位置に基づく予測位置との類似度、人物領域における監視画像の平均色についての類似度、人物領域の形状についての類似度を総和して、総和した値が最大となるペアを対応付ける。
続いて、低混雑時抽出手段510は、各人物領域を順次抽出対象領域に設定して(ステップS502)、ステップS502〜S510のループ処理を行う。
続いて、低混雑時抽出手段510は、ステップS501の追跡結果を参照して、人物領域の動き分布を算出する(ステップS503)。低混雑時抽出手段510は、抽出対象領域である人物領域に対応する過去の複数時刻の人物領域の位置と抽出対象領域の位置とから時刻ごとの移動ベクトルを算出し、これらの移動ベクトルから人物領域の移動方向の頻度分布と人物領域の速さの頻度分布を算出する。
続いて、低混雑時抽出手段510は、人物領域から複数の部位を検出する(ステップS504)。低混雑時抽出手段510は、予め無人時の監視画像などから生成して記憶部4に記憶させてある背景画像と、ステップS1で取得した監視画像の、抽出対象領域である人物領域内における輝度差が閾値以上である画素を抽出し、抽出した画素のまとまりを変化領域とする。低混雑時抽出手段510は、頭、胴、右上腕、右下腕、左上腕、左下腕、右上肢、右下肢、左上肢、左下肢の部位形状モデルそれぞれを各部位の可動範囲内で移動・回転・拡大縮小させて複数通りに配置した姿勢形状モデルと変化領域との形状マッチングを行って、当てはめ誤差が最小の配置を特定する。そして、低混雑時抽出手段510は、特定した配置における各部位の部位形状モデルの位置と向きを検出する。
続いて、低混雑時抽出手段510は、ステップS504で検出した各部位の動き分布を算出する(ステップS505)。行動特徴量抽出手段51は、抽出対象領域である人物領域の各部位に対応する過去の複数時刻の部位の位置と抽出対象領域の各部位の位置とから、各部位の時刻ごとの移動ベクトルを算出し、これらの移動ベクトルから各部位の移動方向の頻度分布と各部位の速さの頻度分布を算出する。
動き分布を算出した画像処理部5は低混雑時検出手段520として動作し、記憶部4は検出基準記憶手段40として動作する。
低混雑時検出手段520は、まず、検出基準記憶手段40から低混雑時の検出基準を読み出す(ステップS506)。すなわち、低混雑時検出手段520は、人物領域の動き分布の正常パターンと閾値TL11、および部位の動き分布の正常パターンと閾値TL12を読み出す。
低混雑時検出手段520は、次に、ステップS503およびステップS505で算出した各分布をそれぞれと対応する検出基準と比較して相違度を算出する(ステップS507)。低混雑時検出手段520は、ステップS503で算出した人物領域の動き分布とその正常パターンの面積差DL11を算出し、およびステップS505で算出した部位の動き分布とその正常パターンとの面積差DL12を算出する。
低混雑時検出手段520は、続いて、ステップS503およびステップS505で算出した各分布が要注視行動の検出基準を満たすか否かを判定する(ステップS508)。低混雑時検出手段520は、面積差DL11を閾値TL11と比較し、DL11≧TL11である場合は検出基準を満たすと判定し、DL11<TL11である場合は検出基準を満たさないと判定する。また、低混雑時検出手段520は、面積差DL12を閾値TL12と比較し、DL12≧TL12である場合は検出基準を満たすと判定し、DL12<TL12である場合は検出基準を満たさないと判定する。
DL11≧TL11である場合は、人物領域が急加速もしくは急減速しており、ひったくり後の逃走行動もしくはひったくり前の接近行動等が発生している可能性がある。
また、DL12≧TL12の場合は、腕を高速に動作させており、ひったくりや置き引きなどの動作そのものを捉えている可能性がある。
要注視行動の検出基準を満たす分布が検出された場合(ステップS508にてYES)、低混雑時検出手段520は、当該分布についての要注視情報を生成する(ステップS509)。低混雑時検出手段520は、当該分布が満たした検出基準と対応する事象名「ひったくりなどの可能性あり」、抽出対象領域である人物領域の座標を要注視情報として生成する。
他方、分布が検出基準を満たさない場合(ステップS508にてNO)、ステップS509は省略される。
低混雑時検出手段520は、全ての人物領域を処理し終えたか否かを判定し(ステップS510)、未処理の人物領域がある場合は(ステップS510にてNO)、処理をステップS502に戻して次の人物領域に対する処理に移行させ、全ての人物領域を処理し終えた場合は(ステップS510にてYES)、処理を図4のステップS6へ進める。
次に、画像処理部5は、再び行動特徴量抽出手段51として動作し、区分結果に中混雑領域の情報が含まれているか否かを確認する(ステップS6)。行動特徴量抽出手段51は、中混雑領域の情報が含まれている場合は(ステップS6にてYES)、処理を中混雑領域の要注視行動検出処理(ステップS7)に進める。他方、中混雑領域の情報が含まれていない場合(ステップS6にてNO)、行動特徴量抽出手段51はステップS7を省略して処理をステップS8に進める。
図6のフローチャートを参照し、第一の実施形態に係る中混雑領域の要注視行動検出処理を説明する。行動特徴量抽出手段51はこの処理を中混雑時抽出手段511として実行し、要注視行動検出手段52はこの処理を中混雑時検出手段521として実行する。
まず、中混雑時抽出手段511は、中混雑領域の監視画像から変化領域を検出して、当該変化領域と人の上半身の形状を模した形状モデルとのモデルマッチング処理によって、中混雑領域の監視画像から個々の人の位置(人物位置)を検出する(ステップS700)。中混雑時抽出手段511は、予め無人時の監視画像などから生成して記憶部4に記憶させてある背景画像とステップS1で取得した監視画像の、中混雑領域内における輝度差が閾値以上である画素を抽出し、抽出した画素のまとまりを変化領域とする。中混雑時抽出手段511は、当該変化領域における監視画像からエッジ画像を生成する。中混雑時抽出手段511は、人の上半身の形状を模した複数の形状モデルを、中混雑度に適合する範囲内の個数で変化領域内に複数通りに配置して、配置ごとにエッジ画像との一致度を算出し、一致度が最大の配置を特定する。そして、中混雑時抽出手段511は、特定した配置における各形状モデルの位置それぞれを人物位置とする。
次に、中混雑時抽出手段511は、所定距離以内に近接している人物位置ペアが連鎖してなる人物位置のグループを人物グループとして検出する(ステップS701)。また、中混雑時抽出手段511は、各人物グループの外接矩形を当該人物グループの領域として算出する。なお、外接矩形に代えて、ステップS700にてマッチした形状モデルの領域の和領域、または人物位置同士を結んだ線分を輪郭線とする幾何学図形を人物グループの領域として算出してもよい。
続いて、中混雑時抽出手段511は、各人物グループの領域を順次抽出対象領域に設定して(ステップS702)、ステップS702〜S709のループ処理を行う。
人物グループのループ処理において、まず、中混雑時抽出手段511は、抽出対象領域である人物グループの領域の追跡すなわち当該人物グループの領域と過去に中混雑領域の監視画像から検出された人物グループの領域との対応付けを行う(ステップS703)。中混雑時抽出手段511は、ステップS701で検出した人物グループの領域と所定以上の割合で重複している過去の人物グループの領域を検出して、抽出対象領域に対応付ける。
次に、中混雑時抽出手段511は人物グループの動きの分布を算出する(ステップS704)。中混雑時抽出手段511は、抽出対象領域である人物グループの領域に含まれる人物位置と、ステップS703で検出した過去の複数時刻の人物グループの領域それぞれに含まれる人物位置から、対応する各人物位置の時刻ごとの移動ベクトルを算出し、これらの移動ベクトルから抽出対象領域に含まれる人物位置ごとに移動方向の頻度分布および速さの頻度分布をそれぞれ算出する。
さらに、中混雑時抽出手段511は、抽出対象領域に含まれる人物位置ごとに、上記移動ベクトルを基に移動予測をおこない、中混雑領域内での予測軌跡に沿って、各人物が移動する確率を加算していく移動予測確率マップを生成する。なお1人あたりの確率は、中混雑領域内に存在する人数分の1とする。全ての人の移動軌跡が一致する位置では確率が1となる。
移動方向の頻度分布、速さの頻度分布および移動予測確率マップを算出した画像処理部5は中混雑時検出手段521として動作し、記憶部4は検出基準記憶手段40として動作する。
まず、中混雑時検出手段521は、検出基準記憶手段40から中混雑時の検出基準を読み出す(ステップS705)。すなわち、中混雑時検出手段521は、移動方向が特定方向に偏った頻度を有する複数の移動方向の頻度分布とその閾値TM11を読み出す。また移動方向の偏りが無い移動方向の頻度分布とその閾値TM12を読み出す。併せて人が同一方向に向かうことを示す移動予測確率マップの閾値TM13を読み出す。これら頻度分布および確率マップは要注視パターンに相当する。
次に、中混雑時検出手段521は、ステップS704で算出した移動方向の頻度分布および移動予測確率マップを、それぞれと対応する検出基準と比較して類似度を算出する(ステップS706)。中混雑時検出手段521は、ステップS704で算出した移動方向の頻度分布とその要注視パターンである偏った頻度を有する複数のパターンとの重複面積SM11、偏りの無い頻度を有するパターンとの重複面積SM12を算出する。次に、中混雑時検出手段521は、ステップS704で算出した移動方向の頻度分布および移動予測確率マップをそれぞれと対応する検出基準と比較して、要注視行動の検出基準を満たすか否かを判定する(ステップS707)。中混雑時検出手段521は、ステップS704で算出した移動予測確率マップ上の確率PM13と閾値TM13を比較し、PM13≧TM13となる領域がある場合は、検出基準を満たす候補と判断し、全ての領域がPM13<TM13である場合は検出基準を満たさないと判断する。
検出基準を満たす候補の人物グループに対し、ステップS706で算出した重複面積SM11と閾値TM11と比較し、SM11≧TM11であれば、人物グループをなす各人物が特定の位置に向かって移動し、さらに移動方向が一致していることから、当該人物グループは、行列を生成している。
また検出基準を満たす候補の人物グループに対し、ステップS706で算出した重複面積SM12と閾値TM12と比較し、SM12≧TM12であれば、人物グループをなす各人物が特定の位置に向かって移動し、さらに移動方向が均等であることから、当該人物グループは、特定位置に向かって囲い込む行動をとっており、急病人や喧嘩などのトラブルが生じている可能性を示す。
要注視行動の検出基準を満たす分布が検出された場合(ステップS707にてYES)、中混雑時検出手段521は、当該分布についての要注視情報を生成する(ステップS708)。中混雑時検出手段521は、当該分布が満たした検出基準と対応する事象名「囲い込み発生」、抽出対象領域である人物グループの領域の座標を要注視情報として生成する。
他方、検出基準を満たす分布が検出されなかった場合(ステップS707にてNO)、ステップS708は省略される。
中混雑時検出手段521は、全ての人物グループを処理し終えたか否かを判定し(ステップS709)、未処理の人物グループがある場合は(ステップS709にてNO)、処理をステップS702に戻して次の人物グループに対する処理に移行させ、全ての人物グループを処理し終えた場合は(ステップS709にてYES)、処理を図4のステップS8へ進める。
続いて、画像処理部5は、再び行動特徴量抽出手段51として動作し、区分結果に高混雑領域の情報が含まれているか否かを確認する(ステップS8)。行動特徴量抽出手段51は、高混雑領域の情報が含まれている場合は(ステップS8にてYES)、処理を高混雑領域の要注視行動検出処理(ステップS9)に進める。他方、高混雑領域の情報が含まれていない場合(ステップS8にてNO)、行動特徴量抽出手段51はステップS9を省略して処理をステップS10に進める。
図7のフローチャートを参照し、第一の実施形態に係る高混雑領域の要注視行動検出処理を説明する。行動特徴量抽出手段51はこの処理を高混雑時抽出手段512として実行し、要注視行動検出手段52はこの処理を高混雑時検出手段522として実行する。
高混雑領域では、不特定多数の人の集団を表す高混雑領域そのものが抽出対象領域に設定される。
まず、高混雑時抽出手段512は、高混雑領域での時空間セグメンテーションを行う(ステップS900)。高混雑時抽出手段512は、記憶部4から過去4時刻の監視画像を読み出し、それらと現時刻の監視画像を時刻順に並べた時空間画像の高混雑領域において、画素位置および撮影時刻が隣接する画素間にて画素値の相違度を算出し、相違度が小さければ同一セグメントとして結合させる、という処理を繰り返すことで、複数の時空間セグメントに分割する。
次に、高混雑時抽出手段512は、ステップS900にて生成した各時空間セグメントを構成するセグメントの動きベクトルを算出する(ステップS901)。高混雑時抽出手段512は、複数の時空間セグメントのそれぞれを構成する5時刻分のセグメントそれぞれの重心を求め、時空間セグメントごとに重心位置の時間変化を一次近似して動きベクトルを算出する。
続いて、高混雑時抽出手段512は、ステップS901にて算出した複数の動きベクトルからセグメントの動き分布を算出する(ステップS902)。高混雑時抽出手段512は、複数のセグメントそれぞれの動きベクトルと当該セグメントの周囲のセグメントの動きベクトルとの差ベクトルの平均ベクトル(相対動きベクトル)を算出して、複数のセグメントそれぞれの重心と相対動きベクトルを対応付けた動き分布を算出する。なお、注目セグメントに隣接するセグメントを注目セグメントの周囲のセグメントとしてもよいし、注目セグメントの重心から予め定めた半径の円内に重心が含まれるセグメントを注目セグメントの周囲のセグメントとしてもよい。
動き分布を算出した画像処理部5は高混雑時検出手段522として動作し、記憶部4は検出基準記憶手段40として動作する。
まず、高混雑時検出手段522は、検出基準記憶手段40から高混雑時の検出基準を読み出す(ステップS903)。すなわち、高混雑時検出手段522は、高混雑領域の動き分布の正常パターンと閾値TH11、閾値TH12を読み出す。
次に、高混雑時検出手段522は、ステップS902で算出した分布を検出基準と比較して相違度を算出する(ステップS904)。高混雑時検出手段522は、ステップS902で算出した動き分布とその正常パターンの間で対応するセグメントの相対動きベクトルどうしの差ベクトルの大きさを閾値TH11と比較して、差ベクトルの大きさが閾値TH11以上であるセグメントの総面積DH12を算出する。なお、注目セグメントの重心に最も近い重心を有するセグメントを注目セグメントに対応するセグメントとしてもよいし、注目セグメントの重心から予め定めた半径の円内に重心が含まれるセグメントを注目セグメントに対応するセグメントとしてもよい。
続いて、高混雑時検出手段522は、ステップS902で算出した分布が要注視行動の検出基準を満たすか否かを判定する(ステップS905)。高混雑時検出手段522は、総面積DH12を閾値TH12と比較し、DH12≧TH12である場合は検出基準を満たすと判定し、DH12<TH12である場合は検出基準を満たさないと判定する。
DH12≧TH12である場合は、高混雑領域中に他の大勢の動きとは異なる動きが生じており、人の集団移動の中での逆行や滞留など、ひったくり後の逃走行動もしくはひったくり前の接近行動等が発生している可能性がある。
要注視行動の検出基準を満たす分布が検出された場合(ステップS905にてYES)、高混雑時検出手段522は、当該分布についての要注視情報を生成する(ステップS906)。高混雑時検出手段522は、当該分布が満たした検出基準と対応する事象名「ひったくりなどの可能性あり」、抽出対象領域である高混雑領域において差ベクトルの大きさが閾値TH11以上であったセグメントの重心座標を要注視情報として生成する。
他方、分布が検出基準を満たさない場合(ステップS905にてNO)、ステップS906は省略される。
こうして高混雑領域についての処理を終えた高混雑時検出手段522は、処理を図4のステップS10へ進める。
要注視行動検出手段52は、図5のステップS509、図6のステップS708、図7のステップS906で要注視情報が生成されたか否かを確認し(ステップS10)、1以上の要注視情報が生成された場合は(ステップS10にてYES)、それらの要注視情報を参照して、監視画像の要注視行動が検出された座標と対応する位置に枠などを重畳するとともに要注視行動の事象名を重畳して要注視情報を再生成し、再生成した要注視情報を通信部3に出力する(ステップS11)。要注視情報を入力された通信部3は、要注視情報出力手段31として動作し、当該要注視情報を報知部6に送信する。報知部6は要注視情報を受信して表示する。表示内容を見た監視員は対処の必要性を判断し、必要と判断すると対処員を急行させる。
以上の処理を終えると、画像処理部5は処理を再びステップS1に戻し、次の監視画像の処理を行う。
以上で述べたように、第一の実施形態に係る画像監視装置は、領域区分手段50が監視画像を人の混雑度ごとの領域に区分し、行動特徴量抽出手段51が混雑度が高い区分領域ほど空間方向に大きな単位で抽出対象領域を設定して当該抽出対象領域の監視画像から人の行動特徴量を抽出するので、混雑度の変化、特に監視画像内で異なる混雑度が混在する変化があっても混雑度に適した単位で行動特徴量を抽出し、抽出した行動特徴量から要注視行動を適確に検知することが可能となる。よって、混雑が生じ得る空間において要注視行動を高精度に検知することが可能となり、監視員による監視効率が向上する。
特に、第一の実施形態に係る画像監視装置においては、行動特徴量抽出手段51は、上述した抽出対象領域から、当該抽出対象領域を構成する複数の構成要素の動き分布を行動特徴量として抽出するので、混雑が生じ得る空間においても動き分布という一貫した尺度に基づいて要注視行動を高精度に検知し続けることが可能となり、監視員による監視効率が向上する。
[第二の実施形態]
以下、本発明の画像監視装置の第一の実施形態とは異なる好適な実施形態の一例として、人物領域の形状の変化のように抽出対象領域の形状の変化を行動特徴量として抽出し、当該行動特徴量に基づいて要注視行動を検出する画像監視装置について説明する。
第二の実施形態に係る画像監視装置は、行動特徴量抽出手段と要注視行動検出手段が行う処理の内容および検出基準記憶手段が記憶している検出基準の内容が第一の実施形態に係る画像監視装置と異なり、概略構成、多くの機能および多くの動作は共通する。そのため、構成は第一の実施形態で参照した図1のブロック図および図2の機能ブロック図を再び参照して説明し、動作の一部については第一の実施形態で参照した図4のフローチャートを参照して説明する。
図1のブロック図を参照して第二の実施形態に係る画像監視装置1の概略の構成を説明する。
第二の実施形態に係る画像監視装置1は、第一の実施形態と同様、監視空間を所定時間おきに撮影して監視画像を出力する監視カメラである撮影部2と、要注視情報を入力されて当該要注視情報を監視員に報知するディスプレイ装置等である報知部6とが、監視画像および要注視情報等の入出力を介在する通信回路である通信部3を介して、監視画像を取得して当該監視画像から要注視行動を検出し、検出した要注視行動に関する要注視情報を生成して出力する演算装置を含む画像処理部5に接続されるとともに、プログラムおよび各種データ等を記憶してこれらを入出力するメモリ装置である記憶部4が画像処理部5に接続されてなる。
図2の機能ブロック図を参照し、第二の実施形態に係る画像監視装置1の機能について説明する。
第二の実施形態に係る画像監視装置1においても、第一の実施形態と同様、通信部3は撮影手段である撮影部2から監視画像を順次取得して領域区分手段50および行動特徴量抽出手段51に順次出力する画像取得手段30および要注視行動検出手段52から入力された要注視情報を報知部6に順次出力する要注視情報出力手段31等として機能し、画像処理部5は監視画像を密度推定器で走査することによって人の分布を推定し、監視画像を人の混雑度ごとの領域に区分して区分領域の情報を行動特徴量抽出手段51に出力する領域区分手段50としての機能を含む。
また、第二の実施形態に係る画像監視装置1においても、第一の実施形態と同様、画像処理部5は、領域区分手段50が区分した区分領域それぞれにおいて、混雑度が高い区分領域ほど空間方向に大きな単位で抽出対象領域を設定して当該抽出対象領域の監視画像から人の行動特徴量を抽出し、区分領域ごとの行動特徴量を当該区分領域の混雑度と対応付けて要注視行動検出手段52に出力する行動特徴量抽出手段51としての機能を含む。
ただし、第二の実施形態に係る行動特徴量抽出手段51は、低混雑領域の監視画像から個々の人の領域を抽出対象領域として検出して抽出対象領域における人の行動特徴量を抽出する低混雑時抽出手段510、中混雑領域の監視画像から個々の人の人物位置を求めて複数の人物位置により囲まれた抽出対象領域における人の行動特徴量を抽出する中混雑時抽出手段511、および高混雑領域を抽出対象領域として当該領域の監視画像から人の行動特徴量を抽出する高混雑時抽出手段512を含む点で第一の実施形態と共通し、これらの各手段が行動特徴量として抽出対象領域の形状変化量を算出する点で第一の実施形態と相違する。
すなわち、第二の実施形態に係る低混雑時抽出手段510は、低混雑領域の監視画像から個々の人の領域を抽出対象領域として検出し、当該各抽出対象領域の形状変化量を低混雑領域における人の行動特徴量(低混雑時特徴量)として抽出する。個々の人の領域の形状変化量とは、例えば、胴から両脚までの距離の時間変化量である。
また、第二の実施形態に係る中混雑時抽出手段511は、中混雑領域の監視画像から個々の人の人物位置を求めて複数の人物位置により囲まれた抽出対象領域それぞれの形状変化量を中混雑領域における人の行動特徴量(中混雑時特徴量)として抽出する。複数の人物位置により囲まれた領域の形状変化量とは、例えば、所定距離以内に近接している人物位置ペアが連鎖してなる人物位置のグループの外接矩形の時間変化量である。
また、第二の実施形態に係る高混雑時抽出手段512は、高混雑領域それぞれを抽出対象領域として各抽出対象領域の形状変化量を高混雑領域における人の行動特徴量(高混雑時特徴量)として抽出する。高混雑領域の形状変化量とは、例えば、高混雑領域の外接矩形の時間変化量である。
第二の実施形態に係る記憶部4は、要注視行動を検出するために予め定められた検出基準を混雑度ごとに記憶している検出基準記憶手段40等として機能する点で第一の実施形態と共通し、記憶している検出基準が形状変化量についての検出基準である点で第一の実施形態とは異なる。
また、第二の実施形態に係る画像監視装置1においても、第一の実施形態と同様、画像処理部5は、行動特徴量抽出手段51から区分領域ごとの行動特徴量を入力されて検出基準記憶手段40から区分領域の混雑度に応じた検出基準を読み出し、区分領域ごとの行動特徴量を当該区分領域の混雑度に応じた検出基準と比較し、検出基準を満たす場合に当該行動特徴量が抽出された抽出対象領域において要注視行動が発生していると判定して要注視情報を要注視情報出力手段31に出力する要注視行動検出手段52としての機能を含む点で第一の実施形態と共通し、これらの処理や情報が形状変化量についてのものである点で第一の実施形態とは異なる。
すなわち、要注視行動検出手段52は、低混雑時特徴量である人物領域の形状変化量が入力されると、低混雑時検出手段520として、当該形状変化量を低混雑度と対応付けられた検出基準と比較して要注視行動が発生しているか否かを判定する。
また、要注視行動検出手段52は、中混雑時特徴量である複数の人物位置により囲まれた領域の形状変化量が入力されると、中混雑時検出手段521として、当該形状変化量を中混雑度と対応付けられた検出基準と比較して要注視行動が発生しているか否かを判定する。
また、要注視行動検出手段52は、高混雑時特徴量である高混雑領域の形状変化量が入力されると、高混雑時検出手段522として、当該形状変化量を高混雑度と対応付けられた検出基準と比較して要注視行動が発生しているか否かを判定する。
以下、図4および図8〜図10を参照し、第二の実施形態に係る画像監視装置1の動作を説明する。
第一の実施形態と同様に、第二の実施形態に係る画像監視装置1が動作を開始すると、撮影部2は順次監視画像を送信し、画像処理部5は監視画像を受信するたびに図4のフローチャートに従った動作を繰り返す。
通信部3は画像取得手段30として動作し、監視画像を受信して画像処理部5に出力する(ステップS1)。監視画像を入力された画像処理部5は領域区分手段50として動作し、監視画像を密度推定器にて走査することによって監視画像に撮影されている人の分布を推定し(ステップS2)、推定結果から監視画像を混雑度ごとの領域に区分する(ステップS3)。
続いて、画像処理部5は行動特徴量抽出手段51として動作し、区分結果に低混雑領域の情報が含まれているか否かを確認する(ステップS4)。行動特徴量抽出手段51は、低混雑領域の情報が含まれている場合は(ステップS4にてYES)、処理を低混雑領域の要注視行動検出処理(ステップS5)に進め、含まれていない場合は(ステップS4にてNO)、ステップS5を省略して処理をステップS6に進める。
図8のフローチャートを参照し、第二の実施形態に係る低混雑領域の要注視行動検出処理を説明する。行動特徴量抽出手段51はこの処理を低混雑時抽出手段510として実行し、要注視行動検出手段52はこの処理を低混雑時検出手段520として実行する。
まず、低混雑時抽出手段510は、図5のステップS500の処理と同様に、低混雑領域の監視画像を、予め単独の人の画像の特徴量を学習した人識別器で走査することによって、低混雑領域の監視画像から個々の人の領域(人物領域)を検出する(ステップS520)。
次に、低混雑時抽出手段510は、図5のステップS501の処理と同様に、各人物領域の追跡すなわち各人物領域と過去に低混雑領域の監視画像から検出された人物領域との対応付けを行う(ステップS521)。
続いて、低混雑時抽出手段510は、各人物領域を順次抽出対象領域に設定して(ステップS522)、ステップS522〜S529のループ処理を行う。
人物領域のループ処理において、まず、低混雑時抽出手段510は、人物領域の形状を記述する形状パラメータを算出する(ステップS523)。形状パラメータは例えばグラフ構造で記述することができる。低混雑時抽出手段510は、図5のステップS504の処理と同様に、背景差分処理および形状マッチングによって、人物領域に対応する変化領域に最も当てはまる姿勢形状モデルを特定する。そして、低混雑時抽出手段510は、特定した姿勢形状モデルにおいて、胴の部位形状モデルの重心、右上肢と右下肢の部位形状モデルの重心の中間点および左上肢と左下肢の部位形状モデルの重心の中間点のそれぞれをノードとし、胴と右脚および胴の部位形状モデルの重心と上記各中間点を結んだ各線分をエッジとするグラフを生成し、各エッジの長さ(エッジ長)を算出する。
次に、低混雑時抽出手段510は、人物領域の形状変化量を算出する(ステップS524)。低混雑時抽出手段510は、ステップS521の追跡結果を参照して抽出対象領域である人物領域と対応する過去の人物領域における各脚についてのエッジ長を特定し、脚ごとに、ステップS523で算出したエッジ長と追跡結果から特定したエッジ長との差(エッジ長差)を算出する。
形状変化量を算出した画像処理部5は低混雑時検出手段520として動作し、記憶部4は検出基準記憶手段40として動作する。
まず、低混雑時検出手段520は、検出基準記憶手段40から低混雑時の検出基準を読み出す(ステップS525)。すなわち、低混雑時検出手段520は、立位歩行時の各脚のエッジ長差とその閾値TL21,TL22を読み出す。これらのエッジ長差は正常パターンに相当する。
次に、低混雑時検出手段520は、ステップS524で算出した形状変化量をそれぞれと対応する検出基準と比較して相違度を算出する(ステップS526)。低混雑時検出手段520は、ステップS524で算出した右脚及び左脚のエッジ長差とステップS525で読み出した右脚及び左脚のエッジ長差とのそれぞれの差DL21および差DL22を算出する。
続いて、低混雑時検出手段520は、ステップS524で算出した形状変化量が要注視行動の検出基準を満たすか否かを判定する(ステップS527)。低混雑時検出手段520は、ステップS526で算出した差DL21および差DL22のそれぞれを閾値TL21と比較し、DL21≧TL21且つDL22≧TL22である場合は検出基準を満たすと判定し、DL21<TL21またはDL22<TL22である場合は検出基準を満たさないと判定する。
DL21≧TL21且つDL22≧TL22である場合は、両脚が屈曲しており急病等によりしゃがみ込んでいる可能性がある。
要注視行動の検出基準を満たす形状変化量が検出された場合(ステップS527にてYES)、低混雑時検出手段520は、当該形状変化量についての要注視情報を生成する(ステップS528)。低混雑時検出手段520は、当該分布が満たした検出基準と対応する事象名「しゃがみ込み発生」、抽出対象領域である人物領域の座標を要注視情報として生成する。
他方、検出基準を満たす分布がひとつもない場合(ステップS527にてNO)、ステップS528は省略される。
低混雑時検出手段520は、全ての人物領域を処理し終えたか否かを判定し(ステップS529)、未処理の人物領域がある場合は(ステップS529にてNO)、処理をステップS522に戻して次の人物領域に対する処理に移行させ、全ての人物領域を処理し終えた場合は(ステップS529にてYES)、処理を図4のステップS6へ進める。
次に、画像処理部5は、再び行動特徴量抽出手段51として動作し、区分結果に中混雑領域の情報が含まれているか否かを確認する(ステップS6)。行動特徴量抽出手段51は、中混雑領域の情報が含まれている場合は(ステップS6にてYES)、処理を中混雑領域の要注視行動検出処理(ステップS7)に進め、含まれていない場合は(ステップS6にてNO)、ステップS7を省略して処理をステップS8に進める。
図9のフローチャートを参照し、第二の実施形態に係る中混雑領域の要注視行動検出処理を説明する。行動特徴量抽出手段51はこの処理を中混雑時抽出手段511として実行し、要注視行動検出手段52はこの処理を中混雑時検出手段521として実行する。
まず、中混雑時抽出手段511は、図6のステップS700の処理と同様に、中混雑領域の監視画像の変化領域におけるエッジ画像と人の上半身の形状を模した形状モデルとのモデルマッチング処理によって、中混雑領域の監視画像から個々の人の位置(人物位置)を検出する(ステップS720)。
次に、中混雑時抽出手段511は、図6のステップS701の処理と同様にして、ステップS720で検出した人物位置の中から、所定距離以内に近接している人物位置ペアが連鎖してなる人物位置のグループを人物グループとして検出する(ステップS721)。また、中混雑時抽出手段511は、各人物グループの外接矩形を当該人物グループの領域として算出する。
続いて、中混雑時抽出手段511は、各人物グループの領域を順次抽出対象領域に設定して(ステップS722)、ステップS722〜S730のループ処理を行う。
人物グループのループ処理において、まず、中混雑時抽出手段511は、図6のステップS703の処理と同様にして、抽出対象領域である人物グループの領域の追跡すなわち当該人物グループの領域と過去に中混雑領域の監視画像から検出された人物グループの領域との対応付けを行う(ステップS723)。
次に、中混雑時抽出手段511は人物グループの形状パラメータを算出する(ステップS724)。形状パラメータは例えばグラフ構造で記述することができる。中混雑時抽出手段511は、抽出対象領域である人物グループに含まれる各人物位置をノードとし当該人物グループに含まれる人物位置の各ペアを結んだ線分をエッジとするグラフを生成し、各エッジの長さおよび方向を求め、エッジ長の頻度分布(エッジ長分布)およびエッジ方向の頻度分布(エッジ方向分布)を算出する。ここで、例えばエッジ方向は、監視画像のX軸の正方向を0°とする反時計回りに0°〜180°の範囲で、エッジの傾きを20°刻みで9方向に量子化して算出する。
続いて、中混雑時抽出手段511は、人物グループの形状変化量を算出する(ステップS725)。中混雑時抽出手段511は、ステップS724で算出したエッジ長分布およびエッジ方向分布と、ステップS723で検出した過去の人物グループのエッジ長分布およびエッジ方向分布との間で、それぞれ分布の差(エッジ長差分布およびエッジ方向差分布)を算出する。
形状変化量を算出した画像処理部5は中混雑時検出手段521として動作し、記憶部4は検出基準記憶手段40として動作する。
まず、中混雑時検出手段521は、検出基準記憶手段40から中混雑時の検出基準を読み出す(ステップS726)。すなわち、中混雑時検出手段521は、短いエッジ長に偏った頻度を有するエッジ長差分布とその閾値TM21、およびそれぞれが特定のエッジ方向に偏った頻度を有する複数のエッジ方向差分布とその閾値TM22を読み出す。これらの差分布は要注視パターンに相当する。
次に、中混雑時検出手段521は、ステップS725で算出した形状変化量をそれぞれと対応する検出基準と比較して類似度を算出する(ステップS727)。中混雑時検出手段521は、ステップS725で算出したエッジ長差分布とステップS726で読み出したエッジ長差分布の重複面積SM21を算出する。また、中混雑時検出手段521は、ステップS725で算出したエッジ方向差分布とステップS726で読み出した各エッジ方向差分布の重複面積SM22を算出する。
続いて、中混雑時検出手段521は、ステップS725で算出した形状変化量が要注視行動の検出基準を満たすか否かを判定する(ステップS728)。中混雑時検出手段521は、ステップS727で算出した重複面積SM21を閾値TM21と比較し、SM21≧TM21である場合はさらにステップS727で算出した重複面積SM22それぞれを閾値TM22と比較する。要注視行動検出手段52は、SM22≧TM22であるエッジ方向差分布が1つ以上検出された場合は検出基準を満たすと判定し、SM22≧TM22であるエッジ方向差分布が検出さなかった場合は検出基準を満たさないと判定する。
SM21≧TM21であり且つSM22≧TM22である人物グループの領域は、人物位置の間隔が短い範囲に偏っており且つ人物位置が特定の方向に連なっている。そのため検出基準を満たす人物グループは行列をなしている。
要注視行動の検出基準を満たす形状変化量が検出された場合(ステップS728にてYES)、中混雑時検出手段521は、当該形状変化量についての要注視情報を生成する(ステップS729)。要注視行動検出手段52は、当該形状変化量が満たした検出基準と対応する事象名「行列発生」、抽出対象領域である人物グループの領域の座標を要注視情報として生成する。
他方、検出基準を満たす形状変化量が検出されなかった場合(ステップS728にてNO)、ステップS729は省略される。
中混雑時検出手段521は、全ての人物グループを処理し終えたか否かを判定し(ステップS730)、未処理の人物グループがある場合は(ステップS730にてNO)、処理をステップS722に戻して次の人物グループに対する処理に移行させ、全ての人物グループを処理し終えた場合は(ステップS730にてYES)、処理を図4のステップS8へ進める。
続いて、画像処理部5は、再び行動特徴量抽出手段51として動作し、区分結果に高混雑領域の情報が含まれているか否かを確認する(ステップS8)。行動特徴量抽出手段51は、高混雑領域の情報が含まれている場合は(ステップS8にてYES)、処理を高混雑領域の要注視行動検出処理(ステップS9)に進め、高混雑領域の情報が含まれていない場合は(ステップS8にてNO)、ステップS9を省略して処理をステップS10に進める。
図10のフローチャートを参照し、第二の実施形態に係る高混雑領域の要注視行動検出処理を説明する。行動特徴量抽出手段51はこの処理を高混雑時抽出手段512として実行し、要注視行動検出手段52はこの処理を高混雑時検出手段522として実行する。
高混雑時抽出手段512は、各高混雑領域の領域を順次抽出対象領域に設定して(ステップS920)、ステップS920〜S928のループ処理を行う。
高混雑領域のループ処理において、まず、高混雑時抽出手段512は、抽出対象領域である高混雑領域の追跡すなわち当該高混雑領域と過去に監視画像から検出された高混雑領域との対応付けを行う(ステップS921)。行動特徴量抽出手段51は、記憶部4から過去の高混雑領域を読み出して、抽出対象領域である高混雑領域の対応付け先として、当該領域との重複領域が所定割合以上である過去の高混雑領域を検出する。
次に、高混雑時抽出手段512は抽出対象領域である高混雑領域の形状パラメータを算出する(ステップS922)。高混雑時抽出手段512は、予め定めた各方位における当該高混雑領域の重心から当該高混雑領域の輪郭線までの距離を求めて、方位を横軸とし距離を縦軸とするヒストグラム(距離ヒストグラム)を算出する。また、高混雑時抽出手段512は、当該高混雑領域の重心からの各方位における輪郭線の法線方向を求め、方位を横軸とし法線方向を縦軸とするヒストグラム(法線方向ヒストグラム)を算出する。なお、方位は例えば反時計回りに10度刻みとすることができる。
続いて、高混雑時抽出手段512は抽出対象領域である高混雑領域の形状変化量を算出する(ステップS923)。高混雑時抽出手段512は、ステップS922で算出した距離ヒストグラムおよび法線方向ヒストグラムとステップS921で検出した過去の高混雑領域の距離ヒストグラムおよび法線方向ヒストグラムのそれぞれとの間で、方位ごとに距離の差(距離差ヒストグラム)および法線方向の差(法線方向差ヒストグラム)を算出する。
形状変化量を算出した画像処理部5は高混雑時検出手段522として動作し、記憶部4は検出基準記憶手段40として動作する。
まず、高混雑時検出手段522は、検出基準記憶手段40から高混雑時の検出基準を読み出す(ステップS924)。すなわち、高混雑時検出手段522は、距離差ヒストグラムの正常パターンとその閾値TH21、法線方向差ヒストグラムの正常パターンとその閾値TH21を読み出す。
次に、高混雑時検出手段522は、ステップS923で算出した各形状変化量を検出基準と比較して相違度を算出する(ステップS925)。高混雑時検出手段522は、ステップS923で算出した距離差ヒストグラムとその正常パターンの間で方位ごとの差の絶対値を求めて総和し、相違度DH21を算出する。また、高混雑時検出手段522は、ステップS923で算出した法線方向差ヒストグラムとその正常パターンの間で方位ごとの差の絶対値を求めて総和し、相違度DH22を算出する。
続いて、高混雑時検出手段522は、ステップS923で算出した各形状変化量が要注視行動の検出基準を満たすか否かを判定する(ステップS926)。高混雑時検出手段522は、相違度DH21を閾値TH21と比較し、DH21≧TH21である場合は検出基準を満たすと判定し、DH21<TH21である場合は検出基準を満たさないと判定する。また、高混雑時検出手段522は、相違度DH22を閾値TH22と比較し、DH22≧TH22である場合は検出基準を満たすと判定し、DH22<TH22である場合は検出基準を満たさないと判定する。
DH21≧TH21である場合は、高混雑領域が急激に大きく或いは急激に小さく変化しており、人の集団にパニックなどの要注視行動が発生している可能性がある。また、DH22≧TH22である場合は、高混雑領域の形状が急激に変化しており、人の集団にパニックなどの要注視行動が発生している可能性がある。
要注視行動の検出基準を満たす形状変化量が検出された場合(ステップS926にてYES)、高混雑時検出手段522は、当該形状変化量についての要注視情報を生成する(ステップS927)。高混雑時検出手段522は、当該形状変化量が満たした検出基準と対応する事象名「パニックの可能性あり」、抽出対象領域である高混雑領域の座標を要注視情報として生成する。他方、検出基準を満たす形状変化量がひとつもない場合(ステップS926にてNO)、ステップS927は省略される。
高混雑時検出手段522は、全ての高混雑領域を処理し終えたか否かを判定し(ステップS928)、未処理の高混雑領域がある場合は(ステップS928にてNO)、処理をステップS920に戻して次の高混雑領域に対する処理に移行させ、全ての高混雑領域を処理し終えた場合は(ステップS928にてYES)、処理を図4のステップS10へ進める。
要注視行動検出手段52は、図8のステップS528、図9のステップS729、図10のステップS927で要注視情報が生成されたか否かを確認し(ステップS10)、1以上の要注視情報が生成された場合は(ステップS10にてYES)、それらの要注視情報を監視画像に重畳して要注視情報を再生成し、再生成した要注視情報を通信部3に出力する(ステップS11)。要注視情報を入力された通信部3は、要注視情報出力手段31として動作し、当該要注視情報を報知部6に送信する。報知部6は要注視情報を受信して表示する。表示内容を見た監視員は対処の必要性を判断し、必要と判断すると対処員を急行させる。
以上の処理を終えると、画像処理部5は処理を再びステップS1に戻し、次の監視画像の処理を行う。
以上で述べたように、第二の実施形態に係る画像監視装置も第一の実施形態に係る画像監視装置と同様に、領域区分手段50が監視画像を人の混雑度ごとの領域に区分し、行動特徴量抽出手段51が混雑度が高い区分領域ほど空間方向に大きな単位で抽出対象領域を設定して当該抽出対象領域の監視画像から人の行動特徴量を抽出するので、混雑が生じ得る空間において要注視行動を高精度に検知することが可能となり、監視員による監視効率が向上する。
特に、第二の実施形態に係る画像監視装置においては、行動特徴量抽出手段51は、上述した抽出対象領域から、当該抽出対象領域の形状変化量を行動特徴量として抽出するので、混雑が生じ得る空間において形状変化量という一貫した尺度に基づいて要注視行動を高精度に検知し続けることが可能となり、監視員による監視効率が向上する。
[第三の実施形態]
以下、本発明の画像監視装置の第一および第二の実施形態とは異なる好適な実施形態の一例として、人物領域の形状のように抽出対象領域の形状を行動特徴量として抽出し、当該行動特徴量に基づいて要注視行動を検出する画像監視装置について説明する。
第三の実施形態に係る画像監視装置は、行動特徴量抽出手段と要注視行動検出手段が行う処理の内容および検出基準記憶手段が記憶している検出基準の内容が第一および第二の実施形態に係る画像監視装置と異なり、概略構成、多くの機能および多くの動作は共通するため、構成は第一および第二の実施形態で参照した図1のブロック図および図2の機能ブロック図を再び参照して説明し、動作の一部については第一および第二の実施形態で参照した図4のフローチャートを参照して説明する。
図1のブロック図を参照して第三の実施形態に係る画像監視装置1の概略の構成を説明する。
第三の実施形態に係る画像監視装置1は、第一および第二の実施形態と同様、監視空間を所定時間おきに撮影して監視画像を出力する監視カメラである撮影部2と、要注視情報を入力されて当該要注視情報を監視員に報知するディスプレイ装置等である報知部6とが、監視画像および要注視情報等の入出力を介在する通信回路である通信部3を介して、監視画像を取得して当該監視画像から要注視行動を検出し、検出した要注視行動に関する要注視情報を生成して出力する演算装置を含む画像処理部5に接続されるとともに、プログラムおよび各種データ等を記憶してこれらを入出力するメモリ装置である記憶部4が画像処理部5に接続されてなる。
図2の機能ブロック図を参照し、第三の実施形態に係る画像監視装置1の機能について説明する。
第三の実施形態に係る画像監視装置1においても、第一および第二の実施形態と同様、通信部3は撮影手段である撮影部2から監視画像を順次取得して領域区分手段50および行動特徴量抽出手段51に順次出力する画像取得手段30および要注視行動検出手段52から入力された要注視情報を報知部6に順次出力する要注視情報出力手段31等として機能し、記憶部4は要注視行動を検出するために予め定められた検出基準を混雑度ごとに記憶している検出基準記憶手段40等として機能し、画像処理部5は監視画像を密度推定器で走査することによって人の分布を推定し、監視画像を人の混雑度ごとの領域に区分して区分領域の情報を行動特徴量抽出手段51に出力する領域区分手段50としての機能を含む。
また、第三の実施形態に係る画像監視装置1においても、第一および第二の実施形態と同様、画像処理部5は、領域区分手段50が区分した区分領域それぞれにおいて、混雑度が高い区分領域ほど空間方向に大きな単位で抽出対象領域を設定して当該抽出対象領域の監視画像から人の行動特徴量を抽出し、区分領域ごとの行動特徴量を当該区分領域の混雑度と対応付けて要注視行動検出手段52に出力する行動特徴量抽出手段51としての機能を含む。
ただし、第三の実施形態に係る行動特徴量抽出手段51は、低混雑領域の監視画像から個々の人の領域を抽出対象領域として検出して抽出対象領域における人の行動特徴量を抽出する低混雑時抽出手段510、中混雑領域の監視画像から個々の人の人物位置を求めて複数の人物位置により囲まれた抽出対象領域における人の行動特徴量を抽出する中混雑時抽出手段511、および高混雑領域を抽出対象領域として当該領域の監視画像から人の行動特徴量を抽出する高混雑時抽出手段512を含む点で第一および第二の実施形態と共通し、これらの各手段が行動特徴量として抽出対象領域の形状特徴量を算出する点で第一および第二の実施形態と相違する。
すなわち、第三の実施形態に係る低混雑時抽出手段510は、低混雑領域の監視画像から個々の人の領域を抽出対象領域として検出し、当該各抽出対象領域の形状特徴量を低混雑領域における人の行動特徴量(低混雑時特徴量)として抽出する。個々の人の領域の形状特徴量とは、例えば、当該領域の形状を表す二値画像である。
また、第三の実施形態に係る中混雑時抽出手段511は、中混雑領域の監視画像から個々の人の人物位置を求めて複数の人物位置により囲まれた抽出対象領域それぞれの形状特徴量を中混雑領域における人の行動特徴量(中混雑時特徴量)として抽出する。複数の人物位置により囲まれた領域の形状特徴量とは、例えば、所定距離以内に近接している人物位置ペアが連鎖してなる人物位置のグループの外接矩形のアスペクト比である。
また、第三の実施形態に係る高混雑時抽出手段512は、高混雑領域それぞれを抽出対象領域として各抽出対象領域の形状特徴量を高混雑領域における人の行動特徴量(高混雑時特徴量)として抽出する。高混雑領域の形状特徴量とは、例えば、高混雑領域の外接矩形のアスペクト比である。
第三の実施形態に係る記憶部4は、要注視行動を検出するために予め定められた検出基準を混雑度ごとに記憶している検出基準記憶手段40等として機能する点で第一および第二の実施形態と共通し、記憶している検出基準が形状特徴量についての検出基準である点で第一および第二の実施形態とは異なる。
また、第三の実施形態に係る画像監視装置1においても、第一および第二の実施形態と同様、画像処理部5は、行動特徴量抽出手段51から区分領域ごとの行動特徴量を入力されて検出基準記憶手段40から区分領域の混雑度に応じた検出基準を読み出し、区分領域ごとの行動特徴量を当該区分領域の混雑度に応じた検出基準と比較し、検出基準を満たす場合に当該行動特徴量が抽出された抽出対象領域において要注視行動が発生していると判定して要注視情報を要注視情報出力手段31に出力する要注視行動検出手段52としての機能を含む点で第一および第二の実施形態と共通し、これらの処理や情報が形状特徴量についてのものである点で第一および第二の実施形態とは異なる。
すなわち、要注視行動検出手段52は、低混雑時特徴量である人物領域の形状特徴量が入力されると、低混雑時検出手段520として、当該形状特徴量を低混雑度と対応付けられた検出基準と比較して要注視行動が発生しているか否かを判定する。
また、要注視行動検出手段52は、中混雑時特徴量である複数の人物位置により囲まれた領域の形状特徴量が入力されると、中混雑時検出手段521として、当該形状特徴量を中混雑度と対応付けられた検出基準と比較して要注視行動が発生しているか否かを判定する。
また、要注視行動検出手段52は、高混雑時特徴量である高混雑領域の形状特徴量が入力されると、高混雑時検出手段522として、当該形状特徴量を高混雑度と対応付けられた検出基準と比較して要注視行動が発生しているか否かを判定する。
以下、図4および図11〜図13を参照し、第三の実施形態に係る画像監視装置1の動作を説明する。
第一および第二の実施形態と同様に、第三の実施形態に係る画像監視装置1が動作を開始すると、撮影部2は順次監視画像を送信し、画像処理部5は監視画像を受信するたびに図4のフローチャートに従った動作を繰り返す。
通信部3は画像取得手段30として動作し、監視画像を受信して画像処理部5に出力する(ステップS1)。監視画像を入力された画像処理部5は領域区分手段50として動作し、監視画像を密度推定器にて走査することによって監視画像に撮影されている人の分布を推定し(ステップS2)、推定結果から監視画像を混雑度ごとの領域に区分する(ステップS3)。
続いて、画像処理部5は行動特徴量抽出手段51として動作し、区分結果に低混雑領域の情報が含まれているか否かを確認する(ステップS4)。行動特徴量抽出手段51は、低混雑領域の情報が含まれている場合は(ステップS4にてYES)、処理を低混雑領域の要注視行動検出処理(ステップS5)に進め、含まれていない場合は(ステップS4にてNO)、ステップS5を省略して処理をステップS6に進める。
図11のフローチャートを参照し、第三の実施形態に係る低混雑領域の要注視行動検出処理を説明する。行動特徴量抽出手段51はこの処理を低混雑時抽出手段510として実行し、要注視行動検出手段52はこの処理を低混雑時検出手段520として実行する。
まず、低混雑時抽出手段510は、図5のステップS500の処理と同様に、低混雑領域の監視画像を、予め単独の人の画像の特徴量を学習した人識別器で走査することによって、低混雑領域の監視画像から個々の人の領域(人物領域)を検出する(ステップS540)。
続いて、低混雑時抽出手段510は、各人物領域を順次抽出対象領域に設定して(ステップS541)、ステップS541〜S547のループ処理を行う。
人物領域のループ処理において、まず、低混雑時抽出手段510は、人物領域の形状特徴量を算出する(ステップS542)。形状特徴量は例えばグラフ構造で記述することができる。低混雑時抽出手段510は、図5のステップS504の処理と同様に、背景差分処理および形状マッチングによって、人物領域に対応する変化領域に最も当てはまる姿勢形状モデルを特定する。そして、低混雑時抽出手段510は、図8のステップS523の処理と同様に、特定した姿勢形状モデルを基に、胴と右脚および胴の部位形状モデルの重心と上記各中間点を結んだ各線分をエッジとするグラフを生成し、各エッジの長さ(エッジ長)と各エッジの方向(エッジ方向)を算出する。
形状特徴量を算出した画像処理部5は低混雑時検出手段520として動作し、記憶部4は検出基準記憶手段40として動作する。
まず、低混雑時検出手段520は、検出基準記憶手段40から低混雑時の検出基準を読み出す(ステップS543)。すなわち、低混雑時検出手段520は、立位歩行時の、胴と右脚のエッジ方向の上限閾値TL31と下限閾値TL32胴と左脚のエッジ方向の上限閾値TL33と下限閾値TL34を読み出す。これらのエッジ方向は正常パターンに相当する。
次に、低混雑時検出手段520は、ステップS542で算出した形状特徴量をそれぞれと対応する検出基準と比較して相違度を算出する(ステップS544)。低混雑時検出手段520は、ステップS542で算出した胴と右脚のエッジ方向DL31および胴と左脚のエッジ方向DL32を算出し、それぞれステップS543で読み出した閾値の上限下限の範囲内外をチェックする。
続いて、低混雑時検出手段520は、ステップS542で算出した形状特徴量が要注視行動の検出基準を満たすか否かを判定する(ステップS545)。低混雑時検出手段520は、ステップS542で算出した角度DL31および角度DL32のそれぞれを、閾値上限TL31閾値下限TL32と閾値上限TL33閾値下限TL34と比較し、DL31≧TL31またはDL31≦TL32であり、なおかつDL32≧TL33またはDL32≦TL34である場合は検出基準を満たすと判定し、それ以外は検出基準を満たさないと判定する。
胴と両脚の位置関係が立位時には上下関係に位置することを正常パターンとし、角度の閾値上限下限をエッジ方向が垂直に近い角度の範囲に限定すれば、DL31≧TL31またはDL31≦TL32であり、なおかつDL32≧TL33またはDL32≦TL34である場合は、すなわち、胴と脚の位置関係が水平に配置されたことを示すため、倒れている可能性がある。
要注視行動の検出基準を満たす形状特徴量が検出された場合(ステップS545にてYES)、低混雑時検出手段520は、当該形状特徴量についての要注視情報を生成する(ステップS546)。低混雑時検出手段520は、当該分布が満たした検出基準と対応する事象名「倒れ発生」、抽出対象領域である人物領域の座標を要注視情報として生成する。
他方、検出基準を満たす分布がひとつもない場合(ステップS545にてNO)、ステップS546は省略される。
低混雑時検出手段520は、全ての人物領域を処理し終えたか否かを判定し(ステップS547)、未処理の人物領域がある場合は(ステップS547にてNO)、処理をステップS541に戻して次の人物領域に対する処理に移行させ、全ての人物領域を処理し終えた場合は(ステップS547にてYES)、処理を図4のステップS6へ進める。
次に、画像処理部5は、再び行動特徴量抽出手段51として動作し、区分結果に中混雑領域の情報が含まれているか否かを確認する(ステップS6)。行動特徴量抽出手段51は、中混雑領域の情報が含まれている場合は(ステップS6にてYES)、処理を中混雑領域の要注視行動検出処理(ステップS7)に進め、含まれていない場合は(ステップS6にてNO)、ステップS7を省略して処理をステップS8に進める。
図12のフローチャートを参照し、第三の実施形態に係る中混雑領域の要注視行動検出処理を説明する。行動特徴量抽出手段51はこの処理を中混雑時抽出手段511として実行し、要注視行動検出手段52はこの処理を中混雑時検出手段521として実行する。
まず、中混雑時抽出手段511は、図6のステップS700の処理と同様に、中混雑領域の監視画像の変化領域におけるエッジ画像と人の上半身の形状を模した形状モデルとのモデルマッチング処理によって、中混雑領域の監視画像から個々の人の位置(人物位置)を検出する(ステップS740)。
次に、中混雑時抽出手段511は、図6のステップS701の処理と同様にして、ステップS740で検出した人物位置の中から、所定距離以内に近接している人物位置ペアが連鎖してなる人物位置のグループを人物グループとして検出する(ステップS741)。また、中混雑時抽出手段511は、各人物グループの外接矩形を当該人物グループの領域として算出する。
続いて、中混雑時抽出手段511は、各人物グループの領域を順次抽出対象領域に設定して(ステップS742)、ステップS742〜S748のループ処理を行う。
人物グループのループ処理において、まず、中混雑時抽出手段511は人物グループの形状特徴量を算出する(ステップS743)。形状特徴量は例えば人物グループの抽出領域の長短軸比で記述することができる。
形状特徴量を算出した画像処理部5は中混雑時検出手段521として動作し、記憶部4は検出基準記憶手段40として動作する。
まず、中混雑時検出手段521は、検出基準記憶手段40から中混雑時の検出基準を読み出す(ステップS744)。すなわち、中混雑時検出手段521は、人物グループの抽出領域の長軸の長さとそれに直交する短軸の長さの比率の閾値TM31を読み出す。これらの閾値は要注視パターンに相当する。
次に、中混雑時検出手段521は、ステップS742で算出した形状特徴量を対応する検出基準と比較する。
続いて、中混雑時検出手段521は、ステップS743で算出した形状特徴量が要注視行動の検出基準を満たすか否かを判定する(ステップS746)。中混雑時検出手段521は、ステップS743で算出した抽出領域の長短軸比RM31を閾値TM31と比較し、RM31≧TM31である場合は検出基準を満たすと判定し、RM31<TM31である場合は検出基準を満たさないと判定する。
RM31≧TM31である人物グループの領域は、1方向に人が連なっている。そのため検出基準を満たす人物グループは行列をなしている。
要注視行動の検出基準を満たす形状特徴量が検出された場合(ステップS746にてYES)、中混雑時検出手段521は、当該形状特徴量についての要注視情報を生成する(ステップS747)。要注視行動検出手段52は、当該形状特徴量が満たした検出基準と対応する事象名「行列発生」、抽出対象領域である人物グループの領域の座標を要注視情報として生成する。
他方、検出基準を満たす形状特徴量が検出されなかった場合(ステップS746にてNO)、ステップS747は省略される。
中混雑時検出手段521は、全ての人物グループを処理し終えたか否かを判定し(ステップS748)、未処理の人物グループがある場合は(ステップS748にてNO)、処理をステップS742に戻して次の人物グループに対する処理に移行させ、全ての人物グループを処理し終えた場合は(ステップS748にてYES)、処理を図4のステップS8へ進める。
続いて、画像処理部5は、再び行動特徴量抽出手段51として動作し、区分結果に高混雑領域の情報が含まれているか否かを確認する(ステップS8)。行動特徴量抽出手段51は、高混雑領域の情報が含まれている場合は(ステップS8にてYES)、処理を高混雑領域の要注視行動検出処理(ステップS9)に進め、高混雑領域の情報が含まれていない場合は(ステップS8にてNO)、ステップS9を省略して処理をステップS10に進める。
図13のフローチャートを参照し、第三の実施形態に係る高混雑領域の要注視行動検出処理を説明する。行動特徴量抽出手段51はこの処理を高混雑時抽出手段512として実行し、要注視行動検出手段52はこの処理を高混雑時検出手段522として実行する。
高混雑時抽出手段512は、各高混雑領域の領域を順次抽出対象領域に設定して(ステップS940)、ステップS940〜S946のループ処理を行う。
高混雑領域のループ処理において、まず、高混雑時抽出手段512は抽出対象領域である高混雑領域の形状特徴量を算出する(ステップS941)。高混雑時抽出手段512は、抽出対象領域を1、抽出対象領域以外を0とした2値画像とする。
形状特徴量を算出した画像処理部5は高混雑時検出手段522として動作し、記憶部4は検出基準記憶手段40として動作する。
まず、高混雑時検出手段522は、検出基準記憶手段40から高混雑時の検出基準を読み出す(ステップS942)。すなわち、高混雑時検出手段522は、監視範囲内の立ち入り規制エリアを1、立ち入り許可エリアを0とした2値画像と、規制エリアはみ出し率閾値をTH31読みだす。これらの閾値は要注視パターンに相当する。
次に、高混雑時検出手段522は、ステップS941で算出した形状特徴量を検出基準と比較して相違度を算出する(ステップS943)。高混雑時検出手段522は、ステップS941で算出した2値画像と要注視パターンの論理積演算により求まる画素数をカウントする。その画素数は規制エリアにはみ出した人の面積に相当する。その画素数と高混雑領域の2値画像の総画素数との比率からはみ出し率RH31を算出する。
続いて、高混雑時検出手段522は、ステップS941で算出した形状特徴量が要注視行動の検出基準を満たすか否かを判定する(ステップS944)。高混雑時検出手段522は、はみ出し率RH31を閾値TH31と比較し、RH31≧TH31である場合は検出基準を満たすと判定し、RH31<TH31である場合は検出基準を満たさないと判定する。
RH31≧TH31である場合は、高混雑領域が規制エリアに一定の割合ではみ出るほどの混雑状況であり、なだれ込みなどの要注視行動が発生する可能性がある。
要注視行動の検出基準を満たす形状特徴量が検出された場合(ステップS944にてYES)、高混雑時検出手段522は、当該特徴量についての要注視情報を生成する(ステップS945)。高混雑時検出手段522は、当該分布が満たした検出基準と対応する事象名「なだれ込みの可能性あり」、抽出対象領域である高混雑領域の座標を要注視情報として生成する。他方、検出基準を満たす分布がひとつもない場合(ステップS944にてNO)、ステップS945は省略される。
高混雑時検出手段522は、全ての高混雑領域を処理し終えたか否かを判定し(ステップS946)、未処理の高混雑領域がある場合は(ステップS946にてNO)、処理をステップS940に戻して次の高混雑領域に対する処理に移行させ、全ての高混雑領域を処理し終えた場合は(ステップS946にてYES)、処理を図4のステップS10へ進める。
要注視行動検出手段52は、図11のステップS546、図12のステップS747、図13のステップS945で要注視情報が生成されたか否かを確認し(ステップS10)、1以上の要注視情報が生成された場合は(ステップS10にてYES)、それらの要注視情報を監視画像に重畳して要注視情報を再生成し、再生成した要注視情報を通信部3に出力する(ステップS11)。要注視情報を入力された通信部3は、要注視情報出力手段31として動作し、当該要注視情報を報知部6に送信する。報知部6は要注視情報を受信して表示する。表示内容を見た監視員は対処の必要性を判断し、必要と判断すると対処員を急行させる。
以上の処理を終えると、画像処理部5は処理を再びステップS1に戻し、次の監視画像の処理を行う。
以上で述べたように、第三の実施形態に係る画像監視装置も第一および第二の実施形態に係る画像監視装置と同様に、領域区分手段50が監視画像を人の混雑度ごとの領域に区分し、行動特徴量抽出手段51が混雑度が高い区分領域ほど空間方向に大きな単位で抽出対象領域を設定して当該抽出対象領域の監視画像から人の行動特徴量を抽出するので、混雑が生じ得る空間において要注視行動を高精度に検知することが可能となり、監視員による監視効率が向上する。
特に、第三の実施形態に係る画像監視装置においては、行動特徴量抽出手段51は、上述した抽出対象領域から、当該抽出対象領域の形状特徴量を行動特徴量として抽出するので、混雑が生じ得る空間において形状特徴量という一貫した尺度に基づいて要注視行動を高精度に検知し続けることが可能となり、監視員による監視効率が向上する。
<変形例>
(1)上記各実施形態においては、混雑度を3段階で定義し、2.0人/m2および4.0人/m2をその境界とする例を示したが、段階数は採用する行動特徴量の種類や特性に合わせて2段階、4段階、…などと適宜に定義でき、またその境界も採用する行動特徴量の特性に合わせて適宜に定義できる。
(2)上記各実施形態およびその変形例においては、行動特徴量抽出手段51および要注視行動検出手段52が低、中、高混雑領域の順に処理を実行する例を示したが、高、中、低混雑領域の順に処理を実行するなど、これらの順序を入れ替えて実行してもよいし、これらの処理を並列して実行してもよい。
(3)上記各実施形態およびその変形例においては、互いに異なる種類の行動特徴量を用いて要注視行動を検出する画像監視装置の例を示したが、その変形例に係る画像監視装置においては、これらの行動特徴量のうちの複数種類の行動特徴量を抽出して各行動特徴量に対応する要注視行動を検出することもできる。
また、上記各実施形態およびその変形例においては、混雑度の段階と行動特徴量の抽出対象領域の単位とが1対1に対応する例を示したが、その一部にN対1(N>1)の対応関係が混在してもよい。例えば、行動特徴量抽出手段51は、低混雑領域および中混雑領域において個々の人物領域の監視画像から行動特徴量Aを抽出し(2対1の関係)、高混雑領域の監視画像から行動特徴量Bを抽出する(1対1の関係)ようにしてもよい。
(4)上記各実施形態およびその変形例においては、領域区分手段50が多クラスSVM法にて学習した密度推定器を用いる例を示したが、領域区分手段50はこれに代えて、決定木型のランダムフォレスト法、多クラスのアダブースト(AdaBoost)法または多クラスロジスティック回帰法などにて学習した密度推定器など種々の密度推定器を用いることができる。或いは多クラスに分類する密度推定器に代えて、特徴量から密度の値を回帰する回帰型の密度推定器とすることもできる。すなわち領域区分手段50は、リッジ回帰法、サポートベクターリグレッション法または回帰木型のランダムフォレスト法などによって、特徴量から密度を求める回帰関数のパラメータを学習した回帰型の密度推定器を用いて各窓領域の密度を推定し、混雑度ごとに、当該混雑度と対応する密度が推定された窓領域をまとめることによって監視画像を当該混雑度の領域に区分する。