JP6594919B2 - 分布画像生成装置 - Google Patents

Description

本発明は、人等の物体が複数撮影された撮影画像から物体の分布を表現した分布画像を生成する分布画像生成装置に関する。

イベント会場等の混雑が発生し得る空間においては事故防止等のために、混雑が発生している区域に警備員を多く配置するなどの対応が求められる。そこで、会場の各所に監視カメラを配置して撮影画像から人の分布を推定し、混雑状況を表示することによって監視効率向上が期待できる。

解析した混雑状況の画像表現として、画素ごと或いはブロックごとに混雑度の高さに応じて色分け表示するヒートマップが挙げられる。例えば、非特許文献１には、画素ごとに当該画素における群衆密度の推定値に応じた色を設定したヒートマップ（Figure.2(e)）とその元になった撮影画像（Figure.2(a)）が例示されている。この例では、群衆密度が特に高い領域は赤、人の居ない領域は青で表示され、その中間の群衆密度である領域は橙、黄、緑、水色で表示される。

V. Eiselein, H. Fradi, I. Keller, T. Sikora and J. L. Dugelay, "Enhancing human detection using crowd density measures and an adaptive correction filter," 2013 10th IEEE International Conference on Advanced Video and Signal Based Surveillance, Krakow, 2013, pp. 19-24.

しかしながら、ヒートマップは基本的に推定結果をそのまま表示しているため、それを視認する監視員等にとって必ずしも混雑状況を直感的に把握し易いものではなかった。そのため、ヒートマップによる表示は監視効率を低下させ得る。

例えば、ヒートマップで表示される等高線のような図形は、撮影画像に写る群衆に対して感じる奥行き感がなく、形状も人の像からかけ離れている。また一人の像に複数の色が混在することも多い。
そのため、撮影画像とヒートマップを見比べ、或いは撮影画像にヒートマップを重畳させても、人の像とヒートマップの色の対応関係を把握しづらい。このことが混雑状況の直感的な把握を妨げ、監視員による監視効率を低下させ得るのである。

本発明は上記問題を鑑みてなされたものであり、監視員等のユーザーが物体の分布状況を直感的に把握し易い分布画像を生成できる分布画像生成装置を提供することを目的とする。

かかる課題を解決するため本発明は、所定の物体が複数撮影された撮影画像から物体の分布を表現した分布画像を生成する分布画像生成装置であって、撮影画像を取得する画像取得手段と、撮影画像における各物体の像の位置および位置における物体の混雑度を推定する分布推定手段と、分布推定手段が推定した各物体の像の推定位置と対応する位置に、物体の形状を近似した図形であって推定位置における混雑度が高いほど簡略化した物体モデルを描画して分布画像を生成する分布画像生成手段と、分布画像を表示手段に出力する画像出力手段とを備えたことを特徴とする分布画像生成装置を提供する。

かかる分布画像生成装置において、分布画像生成手段は、推定位置における混雑度が高いほど低い近似度合いにて形状を近似した物体モデルを推定位置と対応する位置に描画することが好適である。

かかる分布画像生成装置において、分布画像生成手段は、形状の輪郭に沿った縁取り線であって推定位置における混雑度が高いほど短い縁取り線を含んだ物体モデルを推定位置と対応する位置に描画することが好適である。

かかる分布画像生成装置において、画像取得手段は、物体が俯瞰撮影された撮影画像を取得し、分布画像生成手段は、推定位置における混雑度が高いほど上部から下部に向けての狭い範囲に縁取り線を含んだ物体モデルを推定位置と対応する位置に描画することが好適である。

かかる分布画像生成装置において、分布画像生成手段は、推定位置における混雑度が予め定められた第一の混雑度である場合は形状の輪郭に沿った縁取り線を含んだ物体モデルを推定位置と対応する位置に描画し、推定位置における混雑度が第一の混雑度よりも高く予め定められた第二の混雑度である場合は縁取り線を含まない物体モデルを推定位置と対応する位置に描画することが好適である。

かかる分布画像生成装置において、分布画像生成手段は、混雑度ごとに予め定められた色にて塗り潰された物体モデルを撮影画像に透過合成して分布画像を生成することが好適である。

本発明によれば、監視員等のユーザーが物体の分布状況を直感的に把握し易い分布画像を生成できるという効果を奏する。

画像監視装置１の概略の構成を示すブロック図である。 画像監視装置１の機能ブロック図である。 物体モデル記憶手段４０の構成を示す図である。 立体モデル記憶手段４００が記憶している物体モデルの一例を示す図である。 分布画像を模式的に示す図である。 画像監視装置１の動作を示すメインフロー図である。 図６に示したフロー図のステップ２の分布推定処理を説明するサブフロー図である。 モデル描画処理を説明するフロー図である。 混雑度に応じた描画に関する別の例を示す図である。

以下、本発明の分布画像生成装置を含む好適な実施形態の一例として、分布画像生成装置によって、イベント会場を撮影した撮影画像から人の分布を表した分布画像を生成し、当該分布画像を表示する画像監視装置１について説明する。

図１は画像監視装置１の概略の構成を示すブロック図である。画像監視装置１は、撮影部２、通信部３、記憶部４、画像処理部５、および表示部６からなる。

撮影部２は、監視カメラであり、通信部３を介して画像処理部５と接続され、監視空間を所定の時間間隔で撮影して画像（以下、撮影画像と称する）を生成し、撮影画像を順次画像処理部５に入力する撮影手段である。例えば、撮影部２は、イベント会場に設置されたポールに当該監視空間を俯瞰する所定の固定視野を有して設置される。また、例えば、撮影部２は監視空間をフレーム周期１秒で撮影してカラー画像を生成する。カラー画像の代わりにモノクロ画像を生成してもよい。

通信部３は、通信回路であり、その一端が画像処理部５に接続され、他端が撮影部２および表示部６と接続される。通信部３は、撮影部２から撮影画像を取得して画像処理部５に入力し、画像処理部５から入力された分布画像を表示部６に出力する。
例えば、撮影部２および表示部６がイベント会場に設置され、通信部３、記憶部４および画像処理部５が遠隔地の画像解析センターに設置される場合、通信部３と撮影部２、および通信部３と表示部６をそれぞれインターネット回線にて接続し、通信部３と画像処理部５はバスで接続する構成とすることができる。その他、例えば各部を同一建屋内に設置する場合は、通信部３と撮影部２を同軸ケーブルまたはＬＡＮ（Local Area Network）、通信部３と表示部６はディスプレイケーブル、通信部３と画像処理部５はバスで接続するなど、各部の設置場所に応じた形態で適宜接続される。

記憶部４は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等のメモリ装置であり、各種プログラムや各種データを記憶する。記憶部４は、画像処理部５と接続されて画像処理部５との間でこれらの情報を入出力する。

画像処理部５は、ＣＰＵ（Central Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＭＣＵ（Micro Control Unit）等の演算装置で構成される。画像処理部５は、記憶部４からプログラムを読み出して実行することにより各種処理手段・制御手段として動作し、必要に応じて、各種データを記憶部４から読み出し、生成したデータを記憶部４に記憶させる。また、画像処理部５は、通信部３経由で撮影部２から取得した撮影画像から分布画像を生成し、分布画像を通信部３経由で表示部６に表示させる。

表示部６は、液晶ディスプレイ又はＣＲＴ（Cathode Ray Tube）ディスプレイ等のディスプレイ装置であり、画像処理部５が生成した分布画像等を表示する表示手段である。監視員は表示された分布画像を視認して混雑の発生等を判断し、必要に応じて人員配置の変更等の対処を行う。

なお、本実施形態においては、撮影部２と表示部６の個数が１対１である画像監視装置１を例示するが、別の実施形態においては、撮影部２と表示部６の個数を１対多、多対１或いは多対多とすることもできる。

図２は画像監視装置１の機能ブロック図である。通信部３は画像取得手段３０および画像出力手段３１等として機能し、記憶部４は物体モデル記憶手段４０等として機能する。画像処理部５は分布推定手段５０および分布画像生成手段５１等として機能する。表示部６は表示手段６０として機能する。
以下、図２および図３を参照して各手段について説明する。

画像取得手段３０は、撮影手段である撮影部２から撮影画像を順次取得して、取得した撮影画像を分布推定手段５０および分布画像生成手段５１に順次出力する。

分布推定手段５０は、画像取得手段３０が取得した撮影画像における各人の像の位置（以下、推定位置と称する）および当該推定位置における人の混雑度を推定し、推定位置と混雑度とを対応付けた情報を分布画像生成手段５１に出力する。

例えば、混雑度は人の密度に応じた３段階で予め定義され、混雑度は０．０人／ｍ^２以上２．０人／ｍ^２以下と推定される低混雑度、２．０人／ｍ^２より高く４．０人／ｍ^２以下と推定される中混雑度、４．０人／ｍ^２よりも高いと推定される高混雑度と定義される。また、分布推定手段５０は、低混雑度、中混雑度および高混雑度のそれぞれを識別する符号「低」、「中」、「高」を推定位置と対応付けて出力する。
分布推定手段５０が行う推定処理については後述する。

物体モデル記憶手段４０は、予め、物体の形状を近似した図形である物体モデルを記憶している。この物体モデルは、混雑度ごとに異なる形状の図形で定義されており、混雑度が高いほど簡略化した形状となっている。

また、物体モデル記憶手段４０が記憶している物体モデルは、形状の情報に加えて当該形状の輪郭に沿った縁取り線の情報を含んでいる。この縁取り線も、混雑度が高いほど簡略化されており、混雑度が高いほど短い縁取り線と定義されている。特に縁取り線は、俯瞰撮影された人に対応し、混雑度が高いほど、物体モデルにおける上部から下部に向けての狭い範囲の縁取り線と定義されている。

さらに、物体モデル記憶手段４０が記憶している物体モデルは、形状および縁取り線の情報に加え、色の情報を含んでいる。この色は図形の内側領域を塗り潰す色であり、混雑度ごとに異なる。

具体的には、物体モデルの形状情報は立体図形として記憶され、適宜、画像平面に投影されることによって平面図形として描画される。形状情報が立体図形として記憶される場合、物体モデル記憶手段４０は図３（Ａ）に示すように、立体モデル記憶手段４００とカメラパラメータ記憶手段４０１とで構成される。

立体モデル記憶手段４００は、混雑度ごとに立体図形、縁取り線の描画範囲、色の組を予め記憶している。

カメラパラメータ記憶手段４０１は、撮影部２のカメラパラメータを予め記憶している。

図４に立体モデル記憶手段４００が記憶している物体モデルの一例を示す。物体モデルは立位の人の形状を近似した図形である。

図４の各列は左から順に、混雑度、物体モデルの形状情報、物体モデルにおける縁取り線の描画範囲の設定情報、色設定情報、物体モデルを画像平面に描画した例を示している。図４の各行は上から順に、混雑度「低」に対応付けられた物体モデルの情報と描画例、混雑度「中」に対応付けられた物体モデルの情報と描画例、混雑度「高」に対応付けられた物体モデルの情報と描画例を示している。

混雑度「低」に対応する物体モデルは人の頭・肩・右腕・左腕・胴・右足・左足のそれぞれを模した７つの回転楕円体を合成した立体図形である。その形状情報１００は７つの回転楕円体についての、重心の相対位置、長軸の相対角度、長軸長、短軸長からなる。

混雑度「中」に対応する物体モデルは人の頭・胴・足のそれぞれを模した３つの回転楕円体を合成した立体図形である。その形状情報１１０は３つの回転楕円体についての、重心の相対位置、長軸の相対角度、長軸長、短軸長からなる。

混雑度「高」に対応する物体モデルは人全体を模した１つの回転楕円体である。その形状情報１２０は当該回転楕円体についての、重心の相対位置、長軸の相対角度、長軸長、短軸長からなる。

このように物体モデルの形状は、混雑度が高いほど近似する部位の数を少なくすることによって、混雑度が高いほど簡略化されている。

混雑度「低」に対応する縁取り線の描画範囲１０１は物体モデルの１００％の範囲に設定されている。
混雑度「中」に対応する縁取り線の描画範囲１１１は物体モデルの上部２７％の範囲に設定されている。
混雑度「高」に対応する縁取り線の描画範囲１２１は物体モデルの上部２１％の範囲に設定されている。

このように物体モデルの縁取り線の描画範囲は、混雑度が高いほど上部から下部に向けての狭い範囲とし下部を省略することによって、簡略化されている。換言すると、物体モデルの縁取り線は、混雑度が高いほど短くすることによって、簡略化されている。

混雑度「低」「中」「高」に対応する色は目視した監視員がそれぞれを識別可能とするために異ならせて設定されている。混雑度が高まるほど危険が高まることを鑑み、混雑度「低」「中」「高」に対応してそれぞれ緑、黄、赤が設定されている。

混雑度「低」に対応する物体モデルは、描画例１０２に示すように、７部位を近似した楕円を合成した平面図形であり、その面（すなわち輪郭の内側）を緑色で塗り潰した平面図形として描画される。さらに当該平面図形の１００％の範囲の輪郭上に縁取り線１０３が描画される。

混雑度「中」に対応する物体モデルは、描画例１１２に示すように、３部位を近似した楕円を合成した平面図形であり、その輪郭の内側を黄色で塗り潰した平面図形として描画される。さらに当該平面図形の上部２７％の範囲の輪郭上に縁取り線１１３が描画される。

混雑度「高」に対応する物体モデルは、描画例１２２に示すように、１つの楕円であり、その輪郭の内側を赤色で塗り潰した平面図形として描画される。さらに当該平面図形の上部２１％の範囲の輪郭上に縁取り線１２３が描画される。

このように、描画される物体モデルの形状も、混雑度が高いほど近似する部位の数を少なくすることによって、簡略化されている。また、描画される物体モデルの縁取り線の範囲も、混雑度が高いほど上部から下部に向けての狭い範囲とし下部を省略することによって、簡略化されている。換言すると、描画される物体モデルの縁取り線も、混雑度が高いほど短くすることによって、簡略化されている。

分布画像生成手段５１は、分布推定手段５０から複数の人の像それぞれの推定位置および当該各推定位置における混雑度を入力され、撮影画像の座標系の当該各推定位置と対応する位置に、当該混雑度に対応する物体モデルを描画する。このようにして描画された画像は人の分布の様子を表した分布画像である。つまり、分布画像生成手段５１は分布推定手段５０が推定した各物体の像の推定位置と対応する位置に、物体の形状を近似した図形であって当該推定位置における混雑度が高いほど簡略化した物体モデルを描画して分布画像を生成する。そして、その物体モデルは、上述したように推定位置における混雑度が高いほど低い近似度合いにて形状を近似した物体モデルである。

そのために、分布画像生成手段５１は、入力された混雑度に対応付けられている立体図形を立体モデル記憶手段４００から読み出すとともに、カメラパラメータ記憶手段４０１から撮影部２のカメラパラメータを読み出し、監視空間を模した三次元空間内の、推定位置と対応する位置に立体図形を配置し、カメラパラメータを用いて立体図形を撮影画像の座標系に投影する。

また、分布画像生成手段５１は、入力された混雑度に対応付けられている色を立体モデル記憶手段４００から読み出し、当該色で投影像の輪郭の内側を塗り潰す。

また、分布画像生成手段５１は、入力された混雑度に対応付けられている、縁取り線の描画範囲を立体モデル記憶手段４００から読み出し、投影像における当該描画範囲の輪郭線上に縁取り線を描画する。つまり、分布画像生成手段５１は、形状の輪郭に沿った縁取り線であって推定位置における混雑度が高いほど短い縁取り線を含んだ物体モデルを当該推定位置と対応する位置に描画する。

別の実施形態においては、物体モデルは図４の各描画例として例示したような二次元の像（モデル像）として記憶される。この場合、物体モデル記憶手段４０は図３（Ｂ）に示すように、モデル像記憶手段４０２として構成される。

モデル像記憶手段４０２は、分布推定手段５０により推定され得る推定位置のそれぞれについて、混雑度ごとに、予め当該混雑度に応じて簡略化された立体図形を当該推定位置に投影して当該混雑度に応じた色で塗り潰し、当該混雑度に応じて簡略化された縁取り線を描画したモデル像を記憶する。

図５に分布画像の模式図を示す。
図５の分布画像２００においては、表現の都合上、緑色の塗り潰しを横線で、黄色の塗り潰しを斜線で、赤色の塗り潰しを網掛けで、白の縁取り線を太線で、それぞれ表している。

分布画像２００においては、混雑度「低」の領域内の人の像それぞれの推定位置に、物体モデル２０１のように、７つの楕円の合成図形として表現され、緑色で塗り潰され、輪郭線の１００％が縁取られた複数の物体モデルが描画されている。

また、分布画像２００においては、混雑度「中」の領域内の人の像それぞれの推定位置に、物体モデル２０２のように、３つの楕円の合成図形として表現され、黄色で塗り潰され、上部２７％の輪郭線が縁取られた複数の物体モデルが描画されている。

また、分布画像２００においては、混雑度「高」の領域内の人の像それぞれの推定位置に、物体モデル２０３のように、１つの楕円として表現され、赤色で塗り潰され、上部２１％の輪郭線が縁取られた複数の物体モデルが描画されている。

分布画像２００においては、人の像の各推定位置に対応して人の形状を模し、混雑度に応じた色で塗り潰された物体モデルが描画されることによって、人の像と混雑度の対応関係が直感的に把握し易くなっている。

また、分布画像２００においては、混雑度が低く物体モデルが低い密度で描画される領域ほど詳細な形状および縁取り線が描画され、混雑度が高く物体モデルが高い密度で描画される領域ほど簡略化された形状および縁取り線が描画されるため、描画領域において形状や線が視覚に与える情報の密度の偏りが緩和され、混雑状況を把握し易くなっている。

また、分布画像２００においては、撮像部２からの距離が遠い分布画像２００の上部から撮像部２からの距離が近い分布画像２００の下部に向かって頭部の縁取り線が層状に描画されるため、群衆の像に対して奥行き感を感じさせることができ、混雑状況を把握し易くなっている。また、撮像部２からの距離が遠い推定位置の物体モデルに対して撮像部２からの距離が近い推定位置の物体モデルを上書き描画することも奥行き感の形成に寄与し、混雑状況を直感的に把握し易くしている。

このように、本発明により生成し、表示される分布画像は、監視員にとって混雑状況を直感的に把握し易く、監視員のストレスを軽減して、監視効率を低下させ得る。

以上のようにして生成した分布画像を、分布画像生成手段５１は、画像出力手段３１に出力する。

画像出力手段３１は分布画像生成手段５１から入力された分布画像等を表示手段６０に順次出力し、表示手段６０は画像出力手段３１から入力された分布画像等を表示する。例えば、分布画像等は、インターネット経由で送受信され、表示手段６０に表示される。監視員は、表示された分布画像を視認することによって監視空間に混雑が発生している地点を把握し、当該地点に警備員を派遣し或いは増員するなどの対処を行う。

図６〜図８を参照して画像監視装置１の動作を説明する。
画像監視装置１が動作を開始すると、イベント会場に設置されている撮影部２は所定時間おきに監視空間を撮影して撮影画像を順次画像処理部５が設置されている画像解析センター宛に送信する。画像処理部５は撮影画像を受信するたびに図６のフローチャートに従った動作を繰り返す。

まず、通信部３は画像取得手段３０として動作し、撮影部２からの撮影画像の受信待ち状態となる。撮影画像を取得した画像取得手段３０は当該撮影画像を画像処理部５に出力し（ステップＳ１）、撮影画像を入力された画像処理部５は分布推定手段５０として動作し、分布推定処理を行う（ステップＳ２）。

図７のフローチャートを参照し、ステップＳ２の分布推定処理を説明する。
ステップＳ２０，Ｓ２１にて、分布推定手段５０は、撮影画像を、予め様々な密度にて人が存在する空間を撮影した密度画像を用いて密度ごとの特徴量を学習した密度推定器で走査することによって、撮影画像の各所における人の密度を推定する。

以下、密度推定器の学習および密度推定器による推定に用いる特徴量を密度特徴量と称する。密度特徴量はＧＬＣＭ（Gray Level Co-occurrence Matrix）特徴である。なお、密度特徴量はＧＬＣＭ特徴に限らずＨＯＧ（Histograms of Oriented Gradients）特徴量、局所二値パターン（Local Binary Pattern：ＬＢＰ）特徴量、ハールライク（Haar-like）特徴量、輝度パターンなどの種々の特徴量またはこれらのうちの複数を組み合わせた特徴量とすることができる。

密度推定器は、多クラスＳＶＭ（Support Vector Machine：サポートベクターマシーン）法を用いて学習することができる。密度推定器の学習においては、例えば、人が写っていない０．０人／ｍ^２の無人画像、０．０人／ｍ^２以上２．０人／ｍ^２以下の密度で人が写っている低密度画像、２．０人／ｍ^２より高く４．０人／ｍ^２以下の密度で人が写っている中密度画像および４．０人／ｍ^２よりも高い密度で人が写っている高密度画像をそれぞれ多数用意して学習画像とし、学習画像から抽出した密度特徴量に多クラスＳＶＭ法を適用して、無人画像、低密度画像、中密度画像、高密度画像の４クラスの密度特徴量を一定以上の確率で分類可能な分類関数のパラメータが導出される。このパラメータを分布推定手段５０のプログラムに含めて記憶させておく。

まず、分布推定手段５０は密度特徴量抽出処理を行う（ステップＳ２０）。分布推定手段５０は、撮影画像の各画素の位置に特徴抽出用の窓領域を設定し、各窓領域における撮影画像の密度特徴量を算出することによって、画素ごとに密度特徴量を抽出する。

次に、分布推定手段５０は密度推定処理を行う（ステップＳ２１）。分布推定手段５０は、撮影画像の各画素の位置に密度推定用の窓領域を設定し、窓領域ごとに、当該窓領域内で抽出された密度特徴量を密度推定器に入力し、その出力として各窓領域の撮影画像が無人画像、低密度画像、中密度画像、高密度画像のいずれのクラスに帰属するかを示す符号を取得する。

続いて、分布推定手段５０は混雑度画像生成処理を行う（ステップＳ２２）。分布推定手段５０は、無人画像および低密度画像に帰属すると推定された窓領域の画素値に符号「低」を、中密度画像に帰属すると推定された窓領域の画素値に符号「中」を、高密度画像に帰属すると推定された窓領域の画素値に符号「高」をそれぞれ設定した三値画像を混雑度画像として生成する。

続いて、分布推定手段５０は変化領域抽出処理を行う（ステップＳ２３）。分布推定手段５０は、予め無人時の撮影画像などから生成して記憶部４に記憶させてある背景画像とステップＳ１で取得した撮影画像の画素値の差の絶対値が閾値以上である画素を検出し、検出した画素のまとまりを変化領域として抽出する。

続いて、分布推定手段５０はエッジ画像生成処理を行う（ステップＳ２４）。分布推定手段５０は、変化領域内における各画素の位置にて撮影画像にエッジオペレータを適用し、画素ごとにエッジ強度を算出して所定の閾値で二値化することによりエッジ画像を生成する。

続いて、分布推定手段５０はモデルマッチングによる人物位置推定処理を行う（ステップＳ２５）。分布推定手段５０は、変化領域内に、人の形状を模した形状モデルを、複数通りの個数で複数通りに配置して、配置ごとにエッジ画像との一致度を算出し、一致度が最大の配置を特定する。そして、分布推定手段５０は、特定した配置における形状モデルの各位置を人物位置と推定する。なお、一致度は形状モデルの輪郭画素とエッジ強度が所定の閾値以上であるエッジ画素の位置の一致割合とすることができる。

その際、分布推定手段５０は混雑度画像を参照し、混雑度ごとに、当該混雑度が推定された領域において、変化領域内に当該混雑度が示す範囲内の個数の形状モデルを配置することで、形状モデルどうしの過度な重複を防止して人物位置の推定精度を向上させる。また、分布推定手段５０は混雑度画像を参照し、低混雑度が推定された領域には人の全身の形状を模した形状モデルを配置し、中混雑度が推定された領域には人の上半身の形状を模した形状モデルを配置し、高混雑度が推定された領域には人の頭部から肩までの範囲の形状を模した形状モデルを配置することで、オクルージョンによる一致度低下を防止して人物位置の推定精度を向上させる。

続いて、分布推定手段５０は推定位置と混雑度の対応付け処理を行う（ステップＳ２６）。分布推定手段５０は、ステップＳ２５にて人物位置と推定した各推定位置と、当該推定位置における混雑度画像の画素値（符号「低」「中」または「高」）を対応付けて、推定結果を生成する。

分布推定処理を終えた画像処理部５は、分布画像生成手段５１としても動作し、分布推定手段５０の推定結果を分布画像生成手段５１に入力し、処理を図６のステップＳ３に進める。

再び図６を参照し、分布画像生成手段５１は、物体モデルを描画する領域として撮影画像と同サイズのモデル画像を用意してこれを初期化するとともに（ステップＳ３）、推定結果中の推定位置の数が１つ以上であるか否かを確認する（ステップＳ４）。推定位置が一つもない場合（ステップＳ４にてＮＯ）、分布画像生成手段５１は、ステップＳ５の処理を省略して処理をステップＳ６に進める。

他方、推定結果に１つ以上の推定位置が含まれていれば（ステップＳ４にてＹＥＳ）、分布画像生成手段５１は推定位置に物体モデルを描画するモデル描画処理を行う（ステップＳ５）。

図８のフローチャートを参照してモデル描画処理を説明する。
分布画像生成手段５１は、記憶部４の物体モデル記憶手段４０から混雑度「高」に対応する物体モデル（１楕円モデル）、混雑度「中」に対応する物体モデル（３楕円モデル）および混雑度「低」に対応する物体モデル（７楕円モデル）の情報を読み出すとともに、記憶部４から撮影手段のカメラパラメータを読み出す。

分布画像生成手段５１は、推定結果に含まれる推定位置を撮影手段から遠い順に並べ、遠い推定位置から各推定位置を順次注目位置に設定して（ステップＳ５０）、ステップＳ５０〜Ｓ５９のループ処理を実行する。

推定位置のループ処理において、分布画像生成手段５１は、まず注目位置に対応付けられている混雑度を確認する（ステップＳ５１，Ｓ５２）。

注目位置の混雑度が「高」である場合（ステップＳ５１にてＹＥＳ）、分布画像生成手段５１は、記憶部４の物体モデル記憶手段４０から混雑度「高」に対応する物体モデル（１楕円モデル）の情報、記憶部４から撮影手段のカメラパラメータをそれぞれ読み出し、カメラパラメータを用いてモデル画像中の注目位置と対応する位置に１楕円モデルを投影することによって、１楕円モデルを描画する（ステップＳ５３）。その際、分布画像生成手段５１は、投影像を構成する各画素の画素値に赤を設定することで投影像を赤く塗り潰す。さらに、分布画像生成手段５１は、投影した範囲のうち上部２１％の範囲の輪郭画素の画素値に白色を設定することで白色の２１％縁取り線を描画する（ステップＳ５４）。

注目位置の混雑度が「中」である場合（ステップＳ５１にてＮＯ、且つステップＳ５２にてＹＥＳ）、分布画像生成手段５１は、記憶部４の物体モデル記憶手段４０から混雑度「中」に対応する物体モデル（３楕円モデル）の情報、記憶部４から撮影手段のカメラパラメータをそれぞれ読み出し、カメラパラメータを用いてモデル画像中の注目位置と対応する位置に３楕円モデルを投影することによって、３楕円モデルを描画する（ステップＳ５５）。その際、分布画像生成手段５１は、投影像を構成する各画素の画素値に黄色を設定することで投影像を黄色に塗り潰す。さらに、分布画像生成手段５１は、投影した範囲のうち上部２７％の範囲の輪郭画素の画素値に白色を設定することで白色の２７％縁取り線を描画する（ステップＳ５６）。

注目位置の混雑度が「低」である場合（ステップＳ５１にてＮＯ、且つステップＳ５２にてＮＯ）、分布画像生成手段５１は、記憶部４の物体モデル記憶手段４０から混雑度「低」に対応する物体モデル（７楕円モデル）の情報、記憶部４から撮影手段のカメラパラメータをそれぞれ読み出し、カメラパラメータを用いてモデル画像中の注目位置と対応する位置に７楕円モデルを投影することによって、７楕円モデルを描画する（ステップＳ５７）。その際、分布画像生成手段５１は、投影像を構成する各画素の画素値に緑色を設定することで投影像を緑色に塗り潰す。さらに、分布画像生成手段５１は、投影像の輪郭画素の画素値に白色を設定することで白色の１００％縁取り線を描画する（ステップＳ５８）。

なお、ステップＳ５３〜Ｓ５８における描画は画素値の置換によって行い、既に描画されている物体モデルと重複する領域に対しては上書きの描画となる。

注目位置についての描画後、分布画像生成手段５１は、全ての推定位置を処理し終えたか否かを確認し（ステップＳ５９）、未了の場合は（ステップＳ５９にてＮＯ）、処理をステップＳ５０に戻して次の推定位置に関する描画を行う。

他方、全ての推定位置を処理し終えた場合（ステップＳ５９にてＹＥＳ）、分布画像生成手段５１は、処理を図６のステップＳ６に進める。

再び図６を参照し、分布画像生成手段５１は、モデル画像を撮影画像に透過合成して分布画像を生成し（ステップＳ６）、生成した分布画像を通信部３に出力する（ステップＳ７）。分布画像を入力された通信部３は画像出力手段３１として動作し、当該分布画像をイベント会場に設置されている表示部６宛に送信する。表示部６は表示手段６０として動作し、分布画像を受信して表示する。

以上の処理を終えると、画像処理部５は処理を再びステップＳ１に戻し、次の撮影画像の受信待ちとなる。

＜変形例＞
（１）上記各実施形態においては、混雑度を３段階とする例を示したが、これに限らず、混雑度を２段階、４段階などとしてもよい。

（２）また、上記各実施形態およびその変形例においては、混雑度と物体モデルの簡略化の度合いが１対１（３対３）に対応する例を示したが、別の対応関係とすることもできる。例えば、混雑度「低」に対応して３楕円モデルを描画し、混雑度「中」および「高」に対応して１楕円モデルを描画してもよい（３対２）。

（３）また、上記各実施形態およびその変形例においては、混雑度と物体モデルの形状情報、色および縁取り線の描画範囲が１対１対１対１（３対３対３対３）に対応する例を示したが、別の対応関係とすることもできる。例えば、図９に示すように、混雑度「低」「中」「高」に対応して３楕円モデルを描画する一方で、混雑度「低」に対応して緑色、「中」に対応して黄色、「高」に対応して赤色で塗り潰し、混雑度「低」に対応して１００％縁取り線、混雑度「中」「高」に対応して０％縁取り線を描画してもよい（３対１対３対２）。

すなわち、図９を参照して説明した例においては、分布画像生成手段５１は、縁取り線に関し、推定位置における混雑度が予め定められた第一の混雑度（混雑度「低」）である場合は形状の輪郭に沿った縁取り線を含んだ物体モデルを当該推定位置と対応する位置に描画し、推定位置における混雑度が第一の混雑度よりも高く予め定められた第二の混雑度（混雑度「中」「高」）である場合は縁取り線を含まない物体モデルを当該推定位置と対応する位置に描画する。

（４）また、上記各実施形態およびその変形例においては、物体モデルの形状情報を楕円体ないし楕円で表現したが、これに限らず別の図形で物体の形状を近似してもよい。例えば、楕円に代えて円柱で近似してもよい。また例えば、人の頭部を楕円体ないし楕円、人の胴部、腕部および脚部を直方体ないし長方形で近似してもよい。

（５）また、上記各実施形態およびその変形例においては、対象物体を人とする例を示したが、これに限らず、対象物体を車両、鳥や牛等の動物等とすることもできる。

（６）また、上記各実施形態およびその変形例においては、分布画像生成手段５１が分布画像の生成元となった撮影画像、すなわち所定物体が撮影された撮影画像にモデル画像を透過合成することにより分布画像を生成する例を示したが、分布画像生成手段５１は、所定物体が撮影されていない背景画像にモデル画像を透過合成することによりプライバシーに配慮した分布画像を生成することもできる。或いは、分布画像生成手段５１は、合成を省略し、モデル画像を分布画像とすることによってもプライバシーに配慮した分布画像を生成することができる。

背景画像を用いる場合、分布画像生成手段５１は、分布推定手段５０から推定位置が一つも入力されなかったときの撮影画像を背景画像として記憶部４に記憶させ、記憶部４から背景画像を読み出して、読み出した背景画像にモデル画像を透過合成して分布画像を生成する。また、この場合、分布画像生成手段５１は背景画像を適宜更新することで、表示時点の監視空間の照明環境等に即した臨場感のある分布画像とすることもできる。例えば、分布画像生成手段５１は、記憶部４から背景画像を読み出して、読み出した背景画像とモデル画像において物体モデルを描画しなかった領域の撮影画像とを重み付け加算した重み付け平均画像を新たな背景画像として記憶部４の背景画像に上書きすることで更新する。

（７）また、上記各実施形態およびその変形例においては、分布画像生成手段５１は、撮影画像にモデル画像を合成した合成画像、背景画像にモデル画像を合成した合成画像またはモデル画像を分布画像として生成する例を示したが、分布画像生成手段５１は、これらのうちの複数種類の分布画像を生成してもよい。また、分布画像に加えて分布画像の作成元となった撮影画像を含めて画像出力手段３１に出力してもよい。これら複数の画像を受信した表示手段６０は受信した複数の画像のうちの２以上の画像を同時表示し、或いは切り替えて表示する。このようにすれば、これら複数の画像を見比べた監視員が、監視空間の状況をより的確に把握できる可能性が高まる。

４０・・・物体モデル記憶手段
５０・・・分布推定手段
５１・・・分布画像生成手段
４００・・・立体モデル記憶手段
４０１・・・カメラパラメータ記憶手段
４０２・・・モデル像記憶手段

Claims (5)

1. 所定の物体が複数撮影された撮影画像から前記物体の分布を表現した分布画像を生成する分布画像生成装置であって、
   前記撮影画像を取得する画像取得手段と、
   前記撮影画像における前記各物体の像の位置および当該位置における前記物体の混雑度を推定する分布推定手段と、
   前記物体の形状を近似した図形である物体モデル、および前記物体モデルにおけるその形状の輪郭に沿った縁取り線の描画範囲であって前記混雑度が高いほど狭く設定された前記描画範囲を予め記憶している物体モデル記憶手段と、
   前記分布推定手段が推定した前記各物体の像の推定位置と対応する位置に前記物体モデルを描画し、その際、当該物体モデルの前記縁取り線を当該推定位置における前記混雑度に応じた前記描画範囲に描画して前記分布画像を生成する分布画像生成手段と、
   前記分布画像を表示手段に出力する画像出力手段と、
   を備えたことを特徴とする分布画像生成装置。
2. 前記物体モデル記憶手段は、前記混雑度に応じた前記物体モデルであって前記混雑度が高いほど低い近似度合いにて前記物体の形状を近似した前記物体モデルを記憶し、
   前記分布画像生成手段は、前記推定位置における前記混雑度に応じた前記物体モデルを当該推定位置と対応する位置に描画する、請求項１に記載の分布画像生成装置。
3. 前記画像取得手段は、前記物体が俯瞰撮影された前記撮影画像を取得し、
   前記分布画像生成手段は、前記推定位置における前記混雑度が高いほど上部から下部に向けての狭い範囲に前記縁取り線を含んだ前記物体モデルを当該推定位置と対応する位置に描画する、請求項１または請求項２に記載の分布画像生成装置。
4. 所定の物体が複数撮影された撮影画像から前記物体の分布を表現した分布画像を生成する分布画像生成装置であって、
   前記撮影画像を取得する画像取得手段と、
   前記撮影画像における前記各物体の像の位置および当該位置における前記物体の混雑度を推定する分布推定手段と、
   前記物体の形状を近似した図形である物体モデルを予め記憶している物体モデル記憶手段と、
   前記分布推定手段が推定した前記各物体の像の推定位置と対応する位置に前記物体モデルを描画し、その際、前記推定位置における前記混雑度が予め定められた第一の混雑度である場合は前記物体モデルとともにその形状の輪郭に沿った縁取り線を描画し、前記推定位置における前記混雑度が前記第一の混雑度よりも高く予め定められた第二の混雑度である場合は前記縁取り線を描画しないようにして、前記分布画像を生成する分布画像生成手段と、
   前記分布画像を表示手段に出力する画像出力手段と、
   を備えたことを特徴とする分布画像生成装置。
5. 前記分布画像生成手段は、前記混雑度ごとに予め定められた色にて塗り潰された前記物体モデルを前記撮影画像に透過合成して前記分布画像を生成する、請求項１〜４のいずれかひとつに記載の分布画像生成装置。
   

Images