JP6356266B2 - 群集監視システム - Google Patents

Description

本発明は、映像から、群集の密度を推定するシステムに関する。

治安の悪化等の社会状況の変化に伴い、監視カメラの映像から、安全確保や混雑緩和の目的で、群集の混雑度を把握するニーズが高まっている。特に、駅ホームなどの群集の安全確保のため、動きに制約が出る程の危険な混雑を検知するニーズがある。また、混雑状況を単位面積当たりの人数である「群衆密度」で定量的に表すことが求められている。

特許文献１は、群集密度を定量的に推定する方法として、画像中のコーナーの数やエッジ量など、画像中の特徴量と人数の関係により混雑度を算出する技術について説明している。

非特許文献１には、群集密度が高くなるほど歩行時の横揺れの大きさが大きくなる現象について示されている。また、この現象を用いて、混雑状況の指標であるヒストグラムを求めることについて説明されている。

特開２００９−１８１３０７号公報

"Analyzing Pedestrian Behavior in Crowds for Automatic Detection of Congestions", Computer Vision Workshops (ICCV Workshops), 2011 IEEE International Conference on 6-13 Nov. 2011, pp144 - 149

ここで、例えば画像中からは体の一部しか認識できなくなるほど密度が高くなった場合等のより混雑した状況においては、コーナーの数やエッジ量等の画像中の特徴量の変化は小さくなるため、人数推定の精度の確保が困難となる。特許文献１では、「乱雑度」としてコーナー数等と人数の相関から人数を推定する方法を示しているが、このような動きに制約が出るほど高密度の場合における人数の推定方法については考慮されていない。

また、非特許文献1では、映像中の群衆の密度が高い点で求めたオプティカルフローを用い、左右対称なオプティカルフローの発生の検出により、混雑度を求めている。しかしながら、このような方法では、横揺れの現象が特徴的に発生した事象を検出することは可能であるが、群衆の密度のように、徐々に横揺れの大きさが大きくなる過程を定量化することは困難である。また、カメラの光軸方向と垂直方向に群集が進行している場合、横揺れの分解能が小さくなるため、単眼カメラのような構造では混雑状況を検出できない場合があるが、高精度なカメラの使用によってコストが増加してしまい、望ましく無い。

本発明では、動きに制約が出るほど群衆の密度の高い混雑状況においても、簡易な構成で群衆密度を定量的に計測できる群集監視システムを提供する。

上記課題を解決するための一態様として、本実施の形態に係る群集監視システムでは、複数の画像を取得する画像取得部と、当該取得された画像内における前記対象物の画像特徴量を求める画像特徴量取得部と、当該取得された画像内における前記対象物の動線を求める動線取得部と、当該求めた動線に基づいて、前記対象物の動きの特徴量を求める動き特徴量取得部と、予め取得した画像特徴量と前記対象物の密度の関係、および動き特徴量と前記対象物の密度の関係の情報を記憶する記憶部と、演算部と、を備え、前記演算部は、当該求められた画像特徴量と、当該記憶された画像特徴量と対象物の密度の関係に基づいて、前記対象物の第１の密度推定値を求め、当該求められた動き特徴量と、当該記憶された動き特徴量と対象物の密度の関係に基づいて、前記対象物の第２の密度推定値を求め、前記動き特徴量は、当該取得された複数の画像から得られる前記対象物の進行方向に対する横揺れの大きさであることを特徴とする群集監視システム。
また他の本実施形態に係る群集監視システムでは、画像情報に基づいて対象物の密度を求める群集監視システムであって、複数の画像を取得する画像取得部と、当該取得された画像内における前記対象物の画像特徴量を求める画像特徴量取得部と、当該取得された画像内における前記対象物の動線を求める動線取得部と、当該求めた動線に基づいて、前記対象物の動きの特徴量を求める動き特徴量取得部と、予め取得した画像特徴量と前記対象物の密度の関係、および動き特徴量と前記対象物の密度の関係の情報を記憶する記憶部と、
前記対象物の密度を決定する密度取得部と、を備え、前記密度取得部は、当該求められた画像特徴量と、当該記憶された画像特徴量と対象物の密度の関係に基づいて、前記対象物の第１の密度推定値を求め、当該求められた動き特徴量と、当該記憶された動き特徴量と対象物の密度の関係に基づいて、前記対象物の第２の密度推定値を求め、当該求めた第１の密度推定値と、当該求めた第２の密度推定値と、予め定めた閾値と、に基づいて、前記第１の密度推定値または前記第２の密度推定値のいずれかを採用することを特徴とする群集監視システム。

本発明によれば、単眼のカメラを用いた簡易な構成で、密度の高い異常混雑を「群衆密度」として定量化することができるため、駅ホームなどの群集の安全確保や混雑緩和に寄与することができる。

本実施の形態に係る群集監視システムの基本構成を示すブロック図である。 本実施の形態に係る群集を撮影した画像からエッジを抽出する技術を説明する図である。 本実施の形態に係る群集密度取得部１０７における群集密度を取得する動作処理と、記憶部１０６における画像特徴量‐群集密度関係記憶部３０１、動き特徴量‐群集密度関係記憶部３０２の基本構成を示す図である。 密度推定部で算出した結果を示す図である。 本実施の形態に係る群集を撮影した画像、及び当該画像からエッジを抽出した画像の例を示す図である。 本実施の形態に係る画像５０１、画像５０２の画像特徴量と群集密度の値を示したものである。 本実施の形態に係る画像特徴量と群集密度との関係を説明するためのグラフである。 本実施の形態に係る動線を取得する技術を説明する図である。 本実施の形態に係る実際の画像で群集の中の複数の人物についての動線を求めた例を示す図である。 本実施の形態に係る動線に基づいて動き特徴量を求める技術を説明するための図である。 本実施の形態に係る混雑した群集の画像において動線に基づいて動き特徴量を求める技術を説明するための図である。 本実施の形態に係る動線の座標情報等を含むテーブル示す図である。 本実施の形態に係る動き特徴量取得部による処理を説明するためのフローチャートである。 本実施の形態に係る動き特徴量の取得後の動線の情報について説明する図である。 本実施の形態に係る閑散時の群集の画像において動線に基づいて動き特徴量を求める技術を説明するための図である。 本実施の形態に係る動線の情報について説明する図である。 本実施の形態に係る動き特徴量と群衆密度の関係を表すグラフである。 本実施の形態に係る群集密度判定処理の結果を示す図である。 本実施の形態に係る動き特徴量の取得に際し、動線の始点と終点間の距離を用いる効果を説明するための図である。

以下、本実施の形態について図面を用いて説明する。
（第１の実施の形態）
<基本構成>
図１は、本実施の形態に係る群集監視システムの基本構成を示すブロック図である。

本図に示すように、本実施の形態に係る群集監視システム１００は、主として、画像取得部１０１と、画像入力部１０２と、特徴量取得部１０３と、動線取得部１０４と、動き特徴量取得部１０５と、記憶部１０６と、群衆密度取得部１０７と、出力部１０９とからなる。本実施の形態では、取得した複数の群衆の画像のうちの各々における対象物の特徴量を求め、複数の画像において一致する特徴量の軌跡から動線を得ることによって動き特徴量を取得し、予め記憶している特徴量と密度との関係から、取得した画像内の対象物の密度（以下、群衆密度ということがある）を求める手法について説明する。

以下、本実施の形態に係る群集監視システム１００の各構成について説明する。なお、ここでは、取得する画像は、例えば駅など、群集が集まる場所に設置されたカメラなどの画像取得装置（画像取得部１０１に相当する）によって撮影されたものを想定する。

画像取得部１０１は、上述の通り、監視カメラ等のように対象物を撮影することで画像を取得する装置をいう。

画像入力部１０２は、画像取得部１０１によって取得された画像をシステム内に入力する手段である。ここで、画像入力部１０２は、画像取得部１０１から直接入力してもよいし、画像取得部１０１によって取得したのちに、図示しない記憶部等に一時的に記憶したデータを入力することもできる。

画像特徴量取得部１０３は、画像入力部１０２から入力された画像内における、対象物の特徴量を取得する手段である。ここで、画像の特徴量を取得する手法の詳細については、図２等を用いて後述する。

動線取得部１０４は、画像取得部１０１から入力された、撮像タイミングの異なる画像間で特徴点を対応付けることにより追跡し、動線を求める処理を実行する。ここで、動線を取得する手法の詳細については、図８等を用いて後述する。

動き特徴量取得部１０５は、動線取得部１０４にて求めた動線の情報を解析して、動きから得られる特徴量（以下、動き特徴量ということがある）を取得する処理を実行する。ここで、動き特徴量を取得する手法については、図１０等を用いて後述する。

群衆密度取得部１０７は、画像特徴量取得部１０３により得られた画像特徴量、及び動き特徴量取得部１０５により得られた動き特徴量等の情報に基づいて、対象物である群衆の密度を取得する処理を実行する。ここで、群衆密度を取得する手法の詳細については、図２、図１８等を用いて後述する。

なお、上述の画像特徴量取得部１０３、動線取得部１０４、動き特徴量取得部１０５、群衆密度取得部１０７をまとめて演算部１０８とするが、演算部１０８には上述した各構成以外の演算手段も含まれるものとする。

上述の各構成により求められた情報のデータは、記憶部１０６に記憶される。また、例えば出力部１０９により外部に出力することもできる。ここで、出力部１０９には表示装置も含まれるものとする。

次に、演算部１０８における各処理について説明する。
〈画像特徴量の取得について〉
ここで、画像の特徴量を取得する手法について、図２を用いて、特徴量としてエッジを使用した場合について説明する。本処理は、画像特徴量取得部１０３により実行される。ここで、図２は、本実施の形態に係る群集を対象物として撮影した画像から、特徴量としてエッジを抽出する技術を説明する図である。

画像入力部１０２によって入力された画像２０１から、図示しないエッジフィルタなどの手段を用いて輝度勾配の大きい画素を抽出した結果がエッジ画像２０２である。エッジの抽出方法の詳細については、特開２０１４−１１００２８号公報などに記載がある。
〈画像特徴量に基づく群衆密度の推定について〉
上述の通り求めた画像の特徴量から、群衆の密度を推定する手法について説明する。

図２におけるエッジ画像２０２に示すように、抽出したエッジは人の領域の輪郭を現すため、人数の増減に伴いエッジ量も増減する傾向にある。そこで、このように画像上の特徴量であるエッジ量が群衆密度と相関がある性質を用いて、新規に入力した画像中のエッジ量から群衆の密度を推定することができる。

なお、本実施の形態では、特徴量としてエッジの量を用いた場合について説明しているが、他の例として、画像中に占める人の領域の面積や、画像中から抽出したコーナーの数等を特徴量として用いることもできる。
〈動線の取得について〉
次に、動線を取得する手法について、図８を用いて説明する。本処理は、動線取得部１０４により実行される。具体的には、撮影タイミングの異なる画像間でオプティカルフローを求める処理を、時間経過に伴い連続して実施することにより、連続したオプティカルフローを求め、これを動線として取得することができる。ここで、オプティカルフローの求め方としては、特開２０１４−１８２７５９号公報などに記載がある。

本実施の形態では、オプティカルフローを求めることについて説明するが、群衆の動きの特徴を得ることができれば、その他の方法を用いても良い。

図８は、オプティカルフローを用いて動線を取得する技術を説明する図である。本図において、最新の時刻（現在時刻）である時刻tの時点で、人物８０１に対して特徴点を追跡して求めた動線８０２を示す。本図における動線８０２は、時刻tからさかのぼって、過去４点の時刻にてそれぞれ撮像された異なる画像を用いて、特徴点を追跡した結果である。

追跡点８０３は、現在時刻ｔにおける人物８０１の存在位置、追跡点８０４は、時刻ｔよりも１時刻前の時刻ｔ−１における人物８０１の存在位置、追跡点８０５は、時刻ｔよりも２時刻前の時刻ｔ−２における人物８０１の存在位置、追跡点８０６は、時刻ｔよりも３時刻前の時刻ｔ−３における人物８０１の存在位置、追跡点８０７は、時刻ｔよりも４時刻前の時刻ｔ−４における人物８０１の位置をそれぞれを示す。

時刻ｔにおいて、過去の動線８０２を図８に示すように連続した過去の時刻の位置と接続して表示することにより、対象となる群集における人物がどのような動きをしたのかについて把握することができる。このようにして求めた動線情報は、記憶部１０６において、図１２に示すように動線のＩＤを、種々の識別情報とともに、時刻毎に対応付けたテーブルとして記憶することができる。

なお、上述の説明では人物８０１についての１点の特徴点の追跡による動線を示したが、これ以外にも、画面全体で群集の中の複数の人物についての多数の特徴点を検出し、それらの複数の特徴点を追跡することで動線を求めることもできる。実際の画像において群集の中の複数の人物についての動線を求めた例を図９に示す。画像９０１、９０２上の動線９０４、９０５は、上述の手法により求められる。ここで、図９の画像９０１は、閑散時の群集の映像に対して動線を取得した例であり、動線９０４を人物９０３上の特徴点の追跡により取得した例である。また、画像９０２は画像９０１の閑散時よりも混雑した状況における群集の映像に対して動線を取得した例であり、動線９０５を人物９０６上の特徴点の追跡により取得した例である。
〈動き特徴量の取得について〉
次に、上述の手法により求めた動線の情報を用いて、動き特徴量を取得する手法について説明する。本処理は、動き特徴量取得部１０５により実行される。ここで、上述の図９において、画像９０１のような閑散時には、動線９０４により、群衆中の人物９０３は進行方向に直線的に動いていることが把握できる。これに対し、画像９０２のような混雑時には、動線９０５により、群集中の人物９０６は進行方向以外に蛇行しており、進行方向に直線的に動いていないことがわかる。この例のように、群集密度が高くなり、歩行速度が低下するにつれ、進行方向に対する左右の方向への横揺れは大きくなる傾向が見られる。

動き特徴量取得部１０５では、この左右方向の横揺れの動き特徴量を、動線を利用した処理によって求める。ここで、動き特徴量の求め方について、図１０，１１及び１２を用いて説明する。図１０において、動線１００１は、人の動きによって得られる動線であり、この動線１００１の始点Ｐ１と終点Ｐ２とを結ぶことにより直線１００２が得られる。動線１００１の長さから、直線１００２の長さを割った値を、動線１００１の動き特徴量である蛇行度とし、横揺れの大きさを示す指標とする。なお、ここでは動き特徴量の一例として蛇行度を用いる場合について説明したが、動き特徴量はこれに限られるものではなく、その他の指標にも適用可能である。

図１１は、混雑した群集の画像において動線に基づいて動き特徴量を求める技術を説明するための図である。この画像中の動線１１０１、１１０３は、群集の映像から上述の方法により求めたものである。実際には多数の動線を求めて処理するが、ここでは簡易的に動線を２件求めた状態を示す。そして、直線１１０２、１１０４は、それぞれ動線１１０１、１１０３の始点Ｐ１，Ｐ’１と終点Ｐ２，Ｐ’２とを結んで得られる。図１１の画像１１０７の右上には、動き特徴量取得部１０５により、動線１１０１、１１０３の長さから、それぞれ対応する直線１１０２、１１０４の長さで割って得られる蛇行度１１０５と、上述の特徴量取得部１０３により求められた特徴量であるエッジの値１１０６をそれぞれ表示している。

図１２は、記憶部１０６に記憶される、動線の座標情報等を含む動線情報のテーブルを示す図である。記憶部１０６では、本図に示すように、現在時刻までに動線が過去の時刻毎に経由して座標の来歴を格納することができる。

図１２に示すテーブルの列１２０１は、動線を一意に特定するための動線IDである。列１２０２は各行の情報を算出した時刻“t”の情報を示す。列１２０３は時刻ｔの時の動線のｘ座標、列１２０４は時刻tの時の動線のy座標を示す。列１２０５は前時刻座標との距離を示す。例えば列１２０５の行１２ａに格納された「前時刻座標との距離」の値は、行１２０９の列１２０３、列１２０４に格納されたx座標、y座標の値と、行１２１０の列１２０３、列１２０４に格納されたx座標、y座標の値から、下記の式で算出する。

列１２０６のトータルの動線距離は、動線の追跡開始からのトータルの距離を累積したもので、列１２０５の値を、動線IDが同じものの列１２０５の距離を当該行まで累積することで得られる。例えば行１２１１のトータルの動線距離は、動線IDが“１”である動線の、時刻t＝“3”までの列１２０５の「前時刻座標との距離」を累積したものであるので、列１２０５の行１２１０、行１２１１の値を累積した“３６．２”の値が入る。

列１２０７の「動線の始点から終点までの距離」は、当該動線IDの始点座標から、現在時刻tの座標を結んだ直線距離であって、上述した図１０における直線１００２、図１１における直線１１０２、１１０４等の長さに相当するものである。
Xt1：動線の始点のx座標
Yt1：動線の始点のy座標

例えば、行１２１２の「動線の始点から終点までの距離」は、動線ID“１”の時刻tが“１”である行１２０９のx座標、y座標の値と、行１２１２のx座標、y座標の値から数２により算出し、“１４．９”の値が入る。

列１２０８の蛇行度は、例えば図１０で説明したように動線１００１のトータルの長さを、動線１００１の始点と終点の距離、すなわち直線１００２の長さで割ることにより求める。これは本図においては、同じレコードの列１２０６「トータルの動線距離」を列１２０７「動線の始点と終点の距離」で割ることにより求められる。

このように求めた動線毎の蛇行度を、画像中の該当する全ての動線について求めて、その平均をとることで、画像全体に表示された動線の群集の混雑度指標である、群集密度を求めることができる。

ここで、上述した動き特徴量取得部１０５による処理を、図１３のフローチャートを用いて説明する。この処理は、動線取得部１０４により、時刻tにおいて、動線を求める処理によって時刻tの最新の動線の座標が得られた時点で開始される。以降の説明は時刻t＝６とし、図１２に示すように時刻t=６の座標が求められ、記憶されている状態であることを前提とする。動き特徴量取得部１０５は、列１２０５、列１２０６、列１２０７、列１２０８の値を求めた上で全ての動線の蛇行度の平均値を求める処理を行う。

ステップ１３０１では、「蛇行度の和」の変数を０．０に初期化する（Ｓ１３０１）。ステップ１３０２では、動線の参照カウンタｉを１に初期化する（Ｓ１３０２）。次に、ステップ１３０３では、動線ｉの時刻tの「前時刻座標との距離」を、上述の数１により求める（Ｓ１３０３）。ステップ１３０４では、動線iの時刻tの「トータルの動線距離」を上述の手法により求める（Ｓ１３０４）。ステップ１３０５では、動線iの時刻tの「動線の始点と終点の距離」を、上述の数２を用いて求める（Ｓ１３０５）。ステップ１３０６では、動線iの時刻tの「蛇行度」を、上述の通りステップ１３０３にて求めた「トータルの動線距離」を、ステップ１３０４にて求めた「動線の始点と終点の距離」で割ることで求める（Ｓ１３０６）。ステップ１３０７では、全ての動線の蛇行度を集計するための時刻tの「蛇行度の和」の変数に、ステップ１３０６で動線iの時刻tの蛇行度を足し合わせる（Ｓ１３０７）。このタイミングで、ステップ１３０８では、動線のカウンタiを１つ進める（Ｓ１３０８）。ステップ１３０９では、該当する全ての動線iが処理済か否かを判定する（Ｓ１３０９）。その結果、処理済であればステップ１３１０に進み（Ｓ１３１０）、処理が未済であればステップ１３０３に戻り、次の動線につき処理を実施する。ステップ１３１０では、ステップ１３０９までの処理によって求められた「蛇行度の和」を、動線の数で割ることにより、全ての動線から得られた蛇行度の平均値を求める。

上述した動き特徴量取得部１０５の処理により、図１２にて示したテーブルのうち、取得前のため空欄であった行１２１４、及び行１２２０の値が、図1４における行１４０１、行１４０２に示されるように求められ、図１１に示された全ての動線の情報に基づいて得られた蛇行度１１０５の値“２．０８”として求められる。

また、上述の例は、図１１に示されるように混雑した状況において群集の動線の蛇行度の程度が高い場合について説明したが、反対に、動線の蛇行度の程度が低い場合、すなわち閑散時の例を図１５、図１６に示す。図１５は閑散時の群集を示す画像の例であり、動線１５０１、１５０３、及び動線の始点Ｐ１，Ｐ’１から終点Ｐ２，Ｐ’２までを結ぶ直線１５０２、１５０４を示す。

図１６は、本実施の形態に係る閑散時の群集の画像において動線に基づいて動き特徴量を求める技術を説明するための図である。図１６では、図１５において求めた動線１５０１の時刻毎の状態を行１６０１〜行１６０６に、動線１５０３の時刻毎の状態を行１６０７〜行１６１２に示す。

図１１、図１２にて説明した例では、動線１１０１、１１０３左右に大きく揺れているため、動線１１０１、１１０３の長さと、これらの始点Ｐ１，Ｐ’１から終点Ｐ２，Ｐ’２までを結ぶ直線１１０２、１１０４の長さが大きく異なり、結果として求められる蛇行度の値も大きくなる。これに対し、図１５では、動線１５０１、１５０３の軌跡がその始点Ｐ１，Ｐ’１から終点Ｐ２，Ｐ’２までを結ぶ直線１５０２、１５０４と一致するほど直線的であり、求められる蛇行度の値も、動線１５０１、１５０３の長さと直線１５０２、１５０４の長さがほとんど一致するため、“１．０”の値により近づくことがわかる。図１５の画像１５０７の右上には、動き特徴量取得部１０５により、動線１５０１、１５０３の長さから、それぞれ対応する直線１５０２、１５０４の長さで割って得られる蛇行度１５０５と、上述の画像特徴量取得部１０３により求められた特徴量であるエッジの値１５０６をそれぞれ表示している。
<群集密度の取得について>
次に、上述の手法により求めた画像の特徴量、及び動き特徴量を用いて、群集密度を取得する手法について図３等により説明する。本処理は、主に群集密度取得部１０７により実行される。ここで、図３は、本実施の形態に係る群集密度取得部１０７における群集密度を取得する動作処理と、記憶部１０６における画像特徴量‐群集密度関係記憶部３０１、動き特徴量‐群集密度関係記憶部３０２の基本構成を示す図である。

群集密度取得部１０７は、記憶部１０６の画像特徴量−群集密度関係記憶部３０１に予め記憶された、上述の手法により取得された画像の特徴量と、群集密度との関係、及び、記憶部１０６の動き特徴量−群集密度関係記憶部３０２に予め記憶された、上述の手法により取得された動き特徴量と、群集密度との関係の情報に基づいて、ステップ３０１にて群集密度を推定し（Ｓ３０１）、ステップ３０２にて推定した群集密度を判定し（Ｓ３０２）、ステップ３０３にて最終的な群集密度の値を決定する（Ｓ３０３）。以下、それぞれの情報、処理について詳述する。
<画像特徴量-群集密度関係について>
図７は、本実施の形態に係る画像特徴量-群集密度関係を示すグラフである。これは、監視対象である群集を、監視カメラ等の装置により撮影した多数の画像から、上述した方法により画像特徴量であるエッジ量を抽出し、それぞれの画像について群集密度を求めて、画像特徴量と群集密度との関係を描画した散布図として得たグラフ７０１である。ここで、群集密度については、実験において各々の画像においてマニュアルで人物数をカウントし、単に面積で割ることにより得られたものである。

本図からわかるように、画像の特徴量は、群集密度が低い領域７０２においては、群集密度と高い相関が得られるが、群集密度が高い領域７０３においては特徴量が飽和してしまうため、群集密度が良好に推定できないことがわかる。

この現象につき、図５、６を用いて説明する。図５は、本実施の形態に係る群集を撮影した画像の例を示す図である。画像５０１、５０２は同じ画角を撮影した異なる時刻の画像であり、両者を比較すると、画像５０１よりも画像５０２の方が混雑している状況であることがわかる。エッジ画像５０３、５０４はそれぞれ画像５０１、画像５０２からエッジを抽出した画像である。

図６は、本実施の形態に係る画像５０１、画像５０２の画像特徴量と群集密度の値を示したものである。ここで、特徴量は抽出したエッジの画素数とする。図６の列６０１、６０２はそれぞれ画像５０１、５０２の各情報を示す。行６０４は、画像の特徴量、行６０５は、単位面積当たりの人数である群集密度を示す。ここで、画像５０１と画像５０２の特徴量を比較すると、画像５０１は特徴量“３９３９”、画像５２は特徴量“４３６４”で、下記の式で計算した特徴量の増加率は列６０３に示す１０．８％である。
特徴量増加率（％）＝（（画像５０２特徴量−画像５０１特徴量）／画像５０２徴量）＊１００・・・〔数３〕
これに対し、画像５０１と画像５０２における群集密度を比較すると、画像５０１は人数“５”人、画像５０２は人数“９”人で、下記の式で計算した人数の増加率は列６０３に示す８０．０％である。
人数増加率（％）＝（（画像５０２人数−画像５０１人数）／/画像５０２人数）＊１００ ・・・〔数４〕
このように、画像中における人の重なり度合いが多くなり、身体の一部しか見えないような密度の高い混雑の場合には特徴量の変化も小さくなるため、人数を推定する精度の確保が困難となる。
<第１の群集密度の推定について>
上記のような事情を反映し、図７における回帰式７０４を、画像特徴量と群集密度の分布から求める。この回帰式７０４を、画像特徴量と群集密度の関係の参照データとして予め記憶しておき、この関係を使って、実際の画像から得られた画像特徴量により、第１の群集密度の推定値を得ることができる。

この第１の群集密度判定の手法について、図１１、１５を用いて説明する。図１１の画像において、画像特徴量取得部１０３にて求めた画像特徴量であるエッジ数１１０６は、“１４８５０６”であるため、上述の通り予め記憶した参照データである図７のグラフに示した画像特徴量-群集密度の関係から回帰式７０４を読み出し、画像特徴量ｘに“１４８５０６”を代入することで群集密度“２．３８”を得られる。同様に、図１５の画像において、画像特徴量取得部１０３にて求めた画像特徴量であるエッジ数１５０６は、“５０２２３”であるため、上述の通り予め記憶した参照データである図７のグラフに示した画像特徴量−群集密度の関係から回帰式７０４を読み出し、画像特徴量ｘに“５０２２３”を代入することで群集密度“０．３４”を得られる。

このようにして求めた画像特徴量の結果を図４の列４０１に示す。
<動き特徴量-群集密度関係について>
図１７は、本実施の形態に係る動き特徴量-群集密度関係を示すグラフである。これは、監視対象である群集を、監視カメラ等の装置により撮影した多数の画像から、上述した方法により動き特徴量である蛇行度を求め、それぞれの画像について群集密度を求めて、画像特徴量と群集密度との関係を描画した散布図として得たグラフである。ここで、群集密度については、実験において各々の画像においてマニュアルで人物数をカウントし、単に面積で割ることにより得られたものである。

本図からわかるように、動き特徴量は、群集密度が低い領域１７０３においては、飽和し、群集密度が良好に推定できないことがわかる。群集の密度が低くなり、自由に動ける度合いが高くなると、混雑時に特徴つけられる左右の動きが小さくなることによる。一方で、群集密度が高い領域１７０２では、動き特徴量は群集密度と高い相関関係が得られることがわかる。このことは、非特許文献１に記載された、横揺れの程度と対象物の相関関係、及び対象物の速度と群集密度との相関関係にも整合する。ここで、「横揺れの大きさ」と「速度」には、「速度」が大きくなるほど、「横揺れの大きさ」は小さくなるという直線の関係がある。また、「速度」と「群衆密度」には、「速度」が小さくなるほど、「群衆密度」は大きくなるという緩やかな曲線を形成する関係がある。
<第２の群集密度の推定について>
上記のような事情を反映し、図１７における回帰式１７０４を、動き特徴量と群集密度の分布から求める。この回帰式１７０４を、動き特徴量と群集密度の関係の参照データとして予め記憶し、この関係を使って、実際の画像から得られた動き特徴量により第２の群集密度の推定値を得ることができる。

この第２の群集密度判定の手法について、図１１、１５を用いて説明する。図１１の画像において、動き特徴量取得部１０５にて求めた動き特徴量である蛇行度１１０５は、“２．０８”であるため、上述の通り予め記憶した参照データである図１７のグラフに示した動き特徴量-群集密度の関係から回帰式１７０４を読み出し、動き特徴量ｘに“２．０８”を代入することで群集密度“３．３８”を得られる。同様に図１５の画像において、動き特徴量取得部１０５にて求めた動き特徴量である蛇行度１５０５は“１．０５”であるため、上述の通り予め記憶した参照データである図１７のグラフに示した動き特徴量-群集密度の関係から回帰式１７０４を読み出し、動き特徴量ｘに“１．０５”を代入することで群集密度“２．６３”を得られる。

このようにして求めた動き特徴量の結果を図１８の列４０２に示す。
<群集密度の判定について>
上述の通り、画像特徴量-群集密度の関係から第１の群集密度の推定値を、そして、動き特徴量-群集密度の関係から第２の群集密度の推定値を、それぞれ求めた。ここで、図７、１７を用いて説明した通り、群集密度は、その範囲によって、画像特徴量、動き特徴量と高い相関を示す領域と、反対に推定が困難になる領域が存在することから、個々の関係に基づいて一義的に求めることは難しい。

そこで、本実施の形態では、画像特徴量と、動き特徴量の、これら２種類の特徴量に対して、群集密度があるしきい値よりも低い場合には画像特徴量を用いて群集密度を決定するよう判定し、群集密度があるしきい値以上の場合には、動き特徴量を使って群集密度を決定するよう判定する。このように、２種類の群集密度に基づいて総合的な群集密度を決定することで、対象物である群集の大きさによらず信頼性の高い結果を得ることができる。

この群集密度判定の手法について、図１１、１５を用いて説明する。図１１の画像では、それぞれ画像特徴量取得部１０３の処理で求められたエッジ特徴量１１０６は“１４８５０６”、動き特徴量取得部１０５で取得した動き特徴量である蛇行度１１０５は“２．０８”である。図１５の画像では、それぞれ画像特徴量取得部１０３の処理で求められたエッジ特徴量１５０６は“５０２２３”、動き特徴量取得部１０５で取得した動き特徴量である蛇行度１５０５は“１．０５”である。

そこで、群集密度の低い領域では画像特徴量により求めた群集密度を採用し、群集密度の高い領域では動き特徴量により求めた群集密度を採用する。

具体的には、予めしきい値を設け、算出した密度の値がしきい値以下の場合には画像特徴量により求めた群集密度を採用し、しきい値より大きい場合は動き特徴量により求めた群集密度を採用する。

例として、しきい値を密度“２．０”とすると、図１８より、行４０３に示す画像１１０７の画像特徴量による群集密度は“２．３８”であり、しきい値２．０より大きいため、列４０２に示す動き特徴量による密度“３．３８”を採用する。また、行４０４に示す画像１５０７の画像特徴量による群集密度は“０．３４”であり、しきい値２．０以下であるため、列４０１に示す画像特徴量による群集密度“０．３４”を採用する。群集密度判定処理の結果得られた群集密度を、図１８の列１８０１に示す。ここで、群集密度の低い領域、高い領域を決定するしきい値は、適宜調整できるものとする。

なお、上述の説明では画像特徴量と動き特徴量を求めた上で、群集密度取得部１０７で第１の群集密度の推定値、第２の群集密度の推定値のうちのいずれの群集密度を採用するかを判断しているが、画像特徴量取得部１０３で画像特徴量を取得した後動き特徴量を取得する前に、画像特徴量による群集密度を求める構成とすることもできる。このように構成した場合は、画像特徴量による群集密度がしきい値以下の場合は画像特徴量により求めた群集密度を採用するため、動線取得部１０４と動き特徴量取得部１０５の処理をスキップすることもできる。このようにすることで、処理のスループットをより向上させることができる。

また、上述の群集密度の判定処理において、しきい値で図１８の列４０１、列４０２のいずれの群集密度かを切り替えるのではなく、しきい値の前後の所定範囲で二種類の群集密度の重み付け平均により、採用する群集密度を得ることもできる。しきい値を境界に画像特徴量による重みを徐々に小さくし、動き特徴量による重みを徐々に大きくすることで、しきい値での切り替えによる急激な値の変化を防ぐことができる。

画像特徴量と、連続する複数画像を追跡した結果得られる動線を使った動き特徴量とを併用することで、換算結果から混雑状況においても精度良く群集密度を推定することができる。

取得した群集密度は、数値として映像上に重層して出力する。また、予め群集密度をレベル毎に色分けしたチャートを作成しておき、求めた群集密度の値に応じて映像上に色分けして表示することもできる。

また、以上の例は画面全体を処理領域とする例を想定しているが、画面中の一部の領域を予め設定した上で領域ごとに群集密度を求めてもよい。

さらに、警告が必要な群集密度のしきい値を予め設定しておき、取得した群集密度がしきい値を超えた場合に、警告を出力することもできる。
（第２の実施の形態）
第２の実施の形態では、図１の動き特徴量取得部１０５で求めた動き特徴量として、図１０の直線１００２に示す動線１００１の始点Ｐ１と終点Ｐ２の間の距離を用いるものである。この距離を用いることで、対象の群集の動きがカメラの光軸と垂直の方向である場合にも群集密度を推定することができる。

動き特徴量の取得に際し、動線の始点と終点間の距離を用いる効果について、図１９を用いて説明する。

図１９の画像１９０１は、カメラの光軸と同方向に動いている人物１９０５、１９０６を撮影した画像である。画像１９０１中の人物１９０５、１９０６の動き方向を矢印１９０３に示す。本実施の形態に係る動線取得部１０４により、それぞれ動線１９０９、１９００ｂ、動線１９０９、１９００ｂの始点Ｐ１，Ｐ’１と終点Ｐ２，Ｐ’２の距離１９０９ａ,１９０９ｃを求めて画像１９０１上に示す。

図１９の画像１９０２は、画像１９０１と同じ対象である人物１９０７，１９０８を、カメラの光軸と垂直の方向から映した画像である。画像１９０２中の人物１９０７、１９０８の動き方向を矢印１９０４に示す。画像１９０２中の人物１９０７は画像１９０１中の人物１９０５と同一の人物を、別の方向から撮影される。画像１９０２中の人物１９０８は画像１９０１中の人物１９０６と同一の人物を別方向から見た画像である。同様に画像１９０２中の軌跡１９００ｄは画像１９０１中の軌跡１９０９であり、始点Ｐ’’１と終点Ｐ’’２の距離１９００ｅは画像１９０１の始点Ｐ１と終点Ｐ２の距離１９００ａである。同様に、画像１９０２中の軌跡１９００ｆは画像１９０１中の軌跡１９００ｂであり、始点Ｐ’’１と終点Ｐ’’２の距離１９００ｇは画像１９０１の始点Ｐ’１と終点Ｐ’２の距離１９００ｃである。

なお、説明の便宜のため同一の混雑状況における同一の対象物に対し、方向の異なる２つの画像を比較して説明したが、人物１９０５（１９０７）と、人物１９０６（１９０８）は、混雑度の異なる群衆中に存在する場合についても適用可能である。

画像１９０１では、カメラの光軸と同方向に人物が動いているため、動線１９０９、１９００ｂに示すように横方向の動きが求められる。この結果、動線１９０９から求められる蛇行度の値は大きく（動線１９０９の長さ÷直線１９００ａの距離）、動線１９００ｂから求められる蛇行度の値は小さい（動線１９００ｂの長さ÷直線１９００ｃの距離）ため、人物１９０５の群集密度は高く、人物１９０６の群集密度は低く算出される。

これに対し、画像１９０２のようにカメラの光軸と垂直に動く場合、特にカメラの俯角が小さい場合に画面縦方向の分解能が低くなるために、左右への横揺れの動きが１９００ｄに示すように明確に得られない場合がある。この結果、動線１９００ｄから求められる蛇行度の値（動線１９００ｄの長さ÷直線１９００ｅの距離）も、動線１９００ｆから求められる蛇行度の値も（動線１９００ｆの長さ÷直線１９００ｇの距離）、同様に小さい値が得られるため、人物１９０７と人物１９０８に含まれる群集密度は同様に低く、差異が出ない結果となる。

これに対し、図１９における始点Ｐ１と終点Ｐ２の距離１９００ａは短く、１９００ｃは長いことが分かるが、これは左右への横揺れに関わらず、実際に進行方向に動いた距離として扱うことができる。かつ、始点と終点の距離を求める画像数を一定にすることにより、この値は単位時間当たりに動く距離である「速度」と等価に扱うことができる。

速度と密度の関係は非特許文献１にグラフで示されるように、相関があることが公知であるので、この特徴量も群集密度を求めるための特徴量として用いることができる。このように動線の始点と終点の間の距離の特徴は、画像１９０２のように光軸と垂直の場合にも同様に適用することができる。すなわち１９００ｅは短く、１９００ｇは長いという差異を抽出することができる。このため動き特徴量として蛇行度と同様に用いることができる。

動線の始点と終点の距離を求める際には、画面手前と奥で解像度による見かけ上の距離が異なるため、カメラのパラメータを使ったキャリブレーションによる奥行き補正係数を求めておき、奥行き補正係数により手前と奥の見かけ上の距離を正規化することにより、距離を一律に扱うことができる。

上述した第２の実施の形態により、カメラの光軸と垂直の方向の動きで精度が落ちる場合も、群集密度の推定精度を確保することができる。単に二時刻間のオプティカルフローでなく、連続した数時刻間追跡した上で始点と終点間の距離を取ることで、横揺れに影響されず、進行方向への移動距離を求めることができる。

また、上記の例は、動き特徴量として蛇行度と始点と終点との間の距離のいずれかを用いているが、両方の指標を用いて取得してもよい。

１１０・・・群衆監視システム，１０１・・・画像取得部，１０２・・・画像入力部，１０３・・・画像特徴量取得部，１０４・・・動線取得部，１０５・・・動き特徴量取得部，１０６・・・記憶部，１０７・・・群衆密度取得部，１０８・・・演算部，１０９・・・出力部，２０１、５０１、５０２、９０１、９０２、１１０７、１５０７、１９０１、１９０２・・・画像，２０２、５０３、５０４・・・エッジ画像，３０１・・・画像特徴量-群衆密度関係記憶部，３０２・・・動き特徴量‐群衆密度関係記憶部，４０１、４０２、６０１、６０２、６０３、１２０１、１２０２、１２０３、１２０４、１２０５、１２０６、１２０７、１２０８、１８０１・・・列，４０３、４０４、６０４、６０５、１２０９、１２１０、１２１１、１２１２、１２１３、１２１４、１２１５、１２１６、１２１７、１２１８、１２１９、１２２０、１４０１、１４０２、１６０１、１６０２、１６０３、１６０４、１６０５、１６０６、１６０７、１６０８、１６０９、１６１０、１６１１、１６１２・・・行，７０１、１７０１・・・グラフ，７０２、１７０３・・・群集密度の低い領域，７０３、１７０２・・・群集密度の高い領域，７０４、１７０４・・・回帰式，８０１、９０３、９０６、１９０５、１９０６、１９０７、１９０８・・・人物，８０２、９０４、９０５、１００１、１１０１、１１０３、１５０１、１５０３、１９０
９、１９００ｂ、１９００ｄ、１９００ｆ・・・動線，８０３、８０４、８０５、８０６、８０７・・・時刻，１００２、１１０２、１１０４、１５０２、１５０４、１９００ａ、１９００ｃ、１９００ｅ、１９００ｇ・・・直線，１１０５、１５０５・・・蛇行度，１１０６、１５０６・・・エッジ，１９０３、１９０４・・・動き方向

Claims (6)

1. 画像情報に基づいて対象物の密度を求める群集監視システムであって、
   複数の画像を取得する画像取得部と、
   当該取得された画像内における前記対象物の画像特徴量を求める画像特徴量取得部と、
   当該取得された画像内における前記対象物の動線を求める動線取得部と、
   当該求めた動線に基づいて、前記対象物の動きの特徴量を求める動き特徴量取得部と、
   予め取得した画像特徴量と前記対象物の密度の関係、および動き特徴量と前記対象物の密度の関係の情報を記憶する記憶部と、
   前記対象物の密度を決定する密度取得部と、を備え、
   前記密度取得部は、
   当該求められた画像特徴量と、当該記憶された画像特徴量と対象物の密度の関係に基づいて、前記対象物の第１の密度推定値を求め、
   当該求められた動き特徴量と、当該記憶された動き特徴量と対象物の密度の関係に基づいて、前記対象物の第２の密度推定値を求め、
   前記動き特徴量は、当該取得された複数の画像から得られる前記対象物の進行方向に対する横揺れの大きさであることを特徴とする群集監視システム。
2. 請求項１に記載の群集監視システムであって、
   前記動き特徴量取得部は、当該求めた動線の長さを、前記動線の始点と終点の距離で割った値に基づいて、前記動き特徴量を求めることを特徴とする群集監視システム。
3. 画像情報に基づいて対象物の密度を求める群集監視システムであって、
   複数の画像を取得する画像取得部と、
   当該取得された画像内における前記対象物の画像特徴量を求める画像特徴量取得部と、
   当該取得された画像内における前記対象物の動線を求める動線取得部と、
   当該求めた動線に基づいて、前記対象物の動きの特徴量を求める動き特徴量取得部と、
   予め取得した画像特徴量と前記対象物の密度の関係、および動き特徴量と前記対象物の密度の関係の情報を記憶する記憶部と、
   前記対象物の密度を決定する密度取得部と、を備え、
   前記密度取得部は、
   当該求められた画像特徴量と、当該記憶された画像特徴量と対象物の密度の関係に基づいて、前記対象物の第１の密度推定値を求め、
   当該求められた動き特徴量と、当該記憶された動き特徴量と対象物の密度の関係に基づいて、前記対象物の第２の密度推定値を求め、
   当該求めた第１の密度推定値と、当該求めた第２の密度推定値と、予め定めた閾値と、に基づいて、前記第１の密度推定値または前記第２の密度推定値のいずれかを採用することを特徴とする群集監視システム。
4. 請求項３に記載の群集監視システムであって、
   前記密度取得部は、当該求めた第１の密度推定値が、予め定めた閾値よりも小さい場合には、前記第１の密度推定値を採用することを特徴とする群集監視システム。
5. 請求項３に記載の群集監視システムであって、
   前記密度取得部は、当該求めた第１の密度推定値が、予め定めた閾値よりも大きい場合には、前記第２の密度推定値を採用することを特徴とする群集監視システム。
6. 請求項３に記載の群集監視システムであって、
   前記密度取得部は、当該求めた第１の密度推定値が、予め定めた閾値よりも小さい場合には、前記第１の密度推定値を採用し、前記第２の密度推定値を求めないことを特徴とする群集監視システム。

Images