JP4818285B2

JP4818285B2 - 混雑滞留検知システム

Info

Publication number: JP4818285B2
Application number: JP2008019332A
Authority: JP
Inventors: 清高渡邊; 哲司羽下; 浩一竹内
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2008-01-30
Filing date: 2008-01-30
Publication date: 2011-11-16
Anticipated expiration: 2028-01-30
Also published as: JP2009181307A

Description

この発明は、観測地点に取り付けたカメラ映像を画像処理することによって群衆の混雑及び滞留に関する情報を検知する混雑滞留検知システムに関するものである。

従来から、定点カメラを観測地点に設置し、定点カメラの画像に基づいて群衆の混雑度を推定するシステムが提案されている。例えば、特許文献１に開示されるシステムでは、カメラ画像内で時間的な変化が発生した領域の大きさから混雑度を算出する。また、人物の頭部や顔、全身といった身体的特徴を画像中から検出することによって群衆の人数を計数するシステムもある。

特開２００４−１０２３８０号公報

従来のシステムは、カメラ画像の時間的な変化を画素毎に算出して混雑度に関する情報を得ている。すなわち、画像内の変化領域の面積を元にしている。このため、人物の体格の違いによって混雑度の推定結果が変動し、推定精度が悪化する可能性があるという課題があった。

また、混雑度の観測地点を俯瞰するようなカメラ、すなわち観測地点の上方から斜め下方向を見下ろすようにカメラが設置されていると、群衆が密集するにつれて身体的特徴の一部が遮蔽された画像が得られる。このため、画像内から身体的特徴を検出して人数を計数するシステムでは、混雑度が高くなると推定精度が低下するという課題があった。

この発明は、上記のような課題を解決するためになされたものであり、群衆の混雑及び滞留に関する情報を精度良く検知することができる混雑滞留検知システムを得ることを目的としている。

この発明に係る混雑滞留検知システムは、観測箇所の映像データの画像特徴の空間的な変動度合を画像の乱雑度として求める画像乱雑度算出手段と、物体の密集度合と画像の乱雑度との相関関係に基づいて、画像乱雑度算出手段で求められた画像の乱雑度から、画像内に写る物体の混雑度を求める混雑度算出手段と、画像乱雑度算出手段により所定の乱雑度を超えて乱雑とされた画像内の領域の動的挙動を判定する移動判定手段と、移動判定手段により動的挙動が判定された領域の画像内に占める大きさに基づいて、画像内に写る物体の動きの滞留度を求める滞留度算出手段とを備えるものである。

この発明によれば、観測箇所の映像データの画像特徴の空間的な変動度合を画像の乱雑度として求め、物体の密集度合と画像の乱雑度との相関関係に基づいて、画像の乱雑度から画像内に写る物体の混雑度を求めると共に、動的挙動が判定された領域の画像内に占める大きさに基づいて、画像内に写る物体の動きの滞留度を求める。このように観測箇所の映像データの画像における空間的な変動の度合を規定する画像の乱雑度に基づくことから、観測箇所の映像中の人工物や人物の体格の違いに影響されずに画像内の混雑度及び滞留度を推定することができるという効果がある。

実施の形態１．
図１は、この発明の実施の形態１による混雑滞留検知システムの構成を示すブロック図である。図１において、実施の形態１による混雑滞留検知システムは、映像取得装置１、幾何補正計算手段２、画像乱雑度算出手段３、混雑度算出手段４、移動判定手段５、滞留度算出手段６及び危険度算出手段７を備える。

映像取得装置１は、観測地点に設置されて観測範囲を視野に含む映像を取得する装置であって、上記観測範囲内の群衆を撮影するカメラ装置を備える。映像取得装置１のカメラ装置は、観測地点において上方から斜め下方向を俯瞰するように設置する。

幾何補正計算手段２は、映像取得装置１で撮影された映像の奥行き方向の歪みを補正する。具体的には、同じ大きさの物体であれば画像内のどの位置に写ってもほぼ同じ大きさになるように画像を射影変換する。例えば、映像取得装置１のカメラ装置から近い位置にある物体（画像の前方にある物体）と、カメラ装置から遠い位置にある物体（画像の後方（奥）にある物体）との大きさがほぼ同じになるようにする。

画像乱雑度算出手段３は、幾何補正計算手段２で幾何補正された画像の空間的な乱雑度を求める。ここで、画像の空間的な乱雑度とは、画像内に写る人物の大きさの違いによる変化が少ない画像の明るさや色の空間的な変動の度合（画像内に写る物体の大きさの違いによる変化が少ない画像特徴の空間的な変動度合）を示す数値情報である。また、乱雑度の評価尺度としては、例えば画像内で検出したコーナーの数やエッジの量、画像のスペクトルの高周波数帯域の強度等を利用することができる。

例えば、画像内で検出したコーナーの数を乱雑度の評価尺度として用いる場合、画像乱雑度算出手段３は、画像内で検出されたコーナー数が多いほど画像の乱雑度が高いと判定し、その結果を数値として出力するよう構成されている。また、画像乱雑度算出手段３は、乱雑度の評価尺度としてエッジの量を用いる場合にはエッジ画素数が多いほど、乱雑度が高いと判定し、画像のスペクトルの高周波数帯域の強度を用いる場合には、強度が大きいほど乱雑度が高いと判定する。ここで、乱雑とは、所定の乱雑度を超えることを意味する。

混雑度算出手段４は、群衆が密集する度合が増すにつれて画像の空間的な乱雑度が高くなることを利用して、画像乱雑度算出手段３で得られた画像の乱雑度の評価値から混雑度を求める。ここで、混雑度に関する情報としては、例えば観測範囲内に写っている人の概数や、群衆の密集の度合を示す数値スコア、又は「閑散」、「中位」、「混雑」の３段階の情報等が考えられる。

移動判定手段５は、画像乱雑度算出手段３で乱雑である（乱雑度が高い）と判定された画像領域内の群衆の動き（動的挙動）の有無を判定して動きに関する情報を求める。例えば、画像フレーム間の差分から画像の動きの有無を知ることができる。また、乱雑であると判定された画像領域に対してブロックマッチングやオプティカルフローアルゴリズム等を利用することにより、動きの大きさや方向も求めることができる。

滞留度算出手段６は、移動判定手段５で得られた動きに関する情報から群衆の滞留の度合（滞留度）に関する情報を求める。なお、動きのある領域が画像中で小さいほど滞留度が高いと判断する。ここで、滞留度に関する情報としては、例えば観測範囲内に写っていて静止している人の概数や、動きの認められる領域の画像内に占める大きさに対応した滞留の度合を表す数値スコア、又は「円滑」、「中位」、「滞留」の３段階の情報等が考えられる。

危険度算出手段７は、混雑度算出手段４で得られた混雑度に関する情報及び滞留度算出手段６で得られた滞留度に関する情報から危険度に関する情報を求める。混雑度と滞留度が共に高いほど危険度が高いと判断する。危険度に関する情報としては、例えば危険の度合を表す数値スコア、又は「安全」、「中位」、「危険」の３段階の情報等が考えられる。

上述した、幾何補正計算手段２、画像乱雑度算出手段３、混雑度算出手段４、移動判定手段５、滞留度算出手段６及び危険度算出手段７は、本発明の趣旨に従う画像処理プログラムをコンピュータに読み込ませてその動作を制御することにより、当該コンピュータ上にソフトウエアとハードウェアが協働した具体的な手段として実現することができる。

次に動作について説明する。
以降、映像取得装置１が観測地点で上方から斜め下方向を俯瞰する視野を有するものとして説明する。
（１）幾何補正
幾何補正計算手段２は、映像取得装置１で撮影された画像を逐次入力し、入力画像の奥行き方向の歪みを補正する。
図２は、観測地点で上方から斜め下方向を俯瞰する視野での観測を説明するための図である。図２において、人１１，１２は同じ高さｈであり、人１１が人１２よりも映像取得装置１の近くに位置している。この状態の人１１，１２を映像取得装置１で撮影すると、画像上での大きさの比ｒは、ｒ＝Ｉ₁／Ｉ₂（０＜ｒ＜１）となる。

図３は、図１中の幾何補正計算手段による幾何補正を説明するための図であり、図３（ａ）は補正前の画像を示しており、図３（ｂ）は補正後の画像を示している。図３（ａ）に示す画像は、映像取得装置１が図２に示す俯瞰視野で人１１，１２を撮影した画像である。図３（ａ）に示すように、人１１，１２が同じ体格であっても、映像取得装置１に近い位置で撮影されたか否かによって画像上では異なる大きさで写る。つまり、映像取得装置１の近くに位置する人１１は画像の前方（手前）に大きく写り、映像取得装置１から離れた場所に位置する人１２は画像の後方（奥）に小さく写る。

幾何補正計算手段２は、図３（ａ）に示す画像に対し射影変換による幾何補正を施して図３（ｂ）に示すように手前の人１１と奥の人物１２が同じ大きさになるようにする。図２を用いて射影変換の方法を具体的に説明する。図２において、映像取得装置１の俯角を９０°−α、映像取得装置１の垂直画角をβとすると、人１１，１２の画像上の大きさの比ｒは、下記式（１）で求められる。なお、αおよびβの具体的な値が得られない場合、不図示の入力装置を用いて画面に写る人の大きさからｒの値を幾何補正計算手段２に設定してもよい。

次に、幾何補正計算手段２は、図３（ａ）の画像を図３（ｂ）の画像のように補正し、人物が同じ大きさに写るように射影変換を行う。点（ｘ，ｙ）を点（ｘ’，ｙ’）に移す射影変換は下記式（２）で表される。

上記式（２）を変形すると下記式（３）及び（４）のようになる。なお、パラメータｈは、定数倍の任意性があるのでｈ₃₃＝１とおく。

次に、図３（ａ）に示す変換前の画像の四隅の座標をＰ_i’＝（ｘ_i’，ｙ_i’）（但し、ｉ＝１，２，３，４）とおき、図３（ｂ）に示す変換後の画像における、上記変換前の画像の四隅に対応する長方形の四隅の座標をＰ_i＝（ｘ_i，ｙ_i）（但し、ｉ＝１，２，３，４）とおく。これを上記式（３）及び（４）にそれぞれ代入すると、下記式（５）のような８元連立一次方程式が得られる。

映像取得装置１との距離に関わらず、同じ大きさの人物が画像の前方と後方で同じ大きさになるように射影変換するには、Ｐ_i＝（ｘ_i，ｙ_i）及びＰ_i’＝（ｘ_i’，ｙ_i’）の具体的な値を下記のようにおく。なお、画像の左上をｘ−ｙ座標系の原点とおき、横軸をｘ軸、縦軸をｙ軸とする。また、画像の横幅をｌ_x、縦幅をｌ_yとする。
（ｘ₁，ｙ₁）＝（０，０）
（ｘ₂，ｙ₂）＝（０．５ｌ_x（１−ｒ），ｌ_y−１）
（ｘ₃，ｙ₃）＝（０．５ｌ_x（１＋ｒ），ｌ_y−１）
（ｘ₄，ｙ₄）＝（ｌ_x−１，０）
（ｘ₁’，ｙ₁’）＝（０，０）
（ｘ₂’，ｙ₂’）＝（０，ｌ_y−１）
（ｘ₃’，ｙ₃’）＝（０，ｌ_y−１）
（ｘ₄’，ｙ₄’）＝（ｌ_x−１，０）
これらを上記式（５）に代入して表される連立方程式をパラメータｈについて解くことにより、射影変換のパラメータ値ｈ₁₁，ｈ₁₂，・・・，ｈ₃₂が求められる。

（２）画像乱雑度の取得
画像乱雑度算出手段３は、幾何補正計算手段２から幾何補正された画像を入力して、幾何補正後の画像の空間的な乱雑度を求める。例えば、入力画像からコーナーを検出するコーナー検出器やエッジを検出するエッジフィルタの機能を画像乱雑度算出手段３に設けておき、画像内に写る物体の大きさの違いによる変化が少ない画像特徴の空間的な変動度合としてコーナー数やエッジ量を算出する。

図４は、人物が写っている画像からコーナーを検出した例を示す図である。図４中に星印で示すように、コーナーは、エッジの角の箇所やそれに近いエッジの曲がりの急な箇所に現れる。人物の体格が異なっていても人間を写していることから、理想的には画像から検出されるコーナーの数は人物間で一致する。従って、人物の体格の違いの影響を抑えつつ群衆の密度を推定するために、画像から検出したコーナーの数を混雑度の評価指標として用いることは有効である。コーナー検出器としては、Ｈａｒｒｉｓのコーナー検出器やＳＵＳＡＮコーナー検出器、ＫＬＴ（Kanade-Lucas-Tomasi）法等を利用することができる。

このようにしてコーナー検出器で画像から検出したコーナーの数や、エッジフィルタで検出したエッジの量、画像のスペクトルの高周波数帯域の強度等を評価尺度として、画像の明るさや色の空間的な変動の度合（画像内に写る物体の大きさの違いによる変化が少ない画像の特徴の空間的な変動度合）を求め、画像の空間的な乱雑度とする。

なお、混雑や滞留を観測する必要のない領域が画像中に含まれている場合は、不図示の入力装置を用いて事前にその領域を画像乱雑度算出手段３に指定して処理対象から除外するようにしてもよい。

本発明では、上述のように群衆が密集している部分で画像の乱雑度が上がるという性質を利用している。従って、群衆の動きを調べるという目的においては、画像乱雑度算出手段３により乱雑度が高いと判断された画像領域のみについて移動の有無を調べればよいため、システムの処理負荷の軽減を図ることができる。

（３）混雑度の取得
混雑度算出手段４は、画像乱雑度算出手段３で算出された画像の乱雑度に関する情報を入力し、この情報に基づいて画像に写る群衆の混雑度に関する情報を出力する。混雑度算出手段４は、群衆の密集の度合が増すほど画像の空間的な乱雑度が上がることを利用して混雑度を求める。つまり、画像の乱雑度が高いほど人が密集している、すなわち混雑度が高いと判断する。

コーナー数を用いて混雑度に関する情報として人の概数を出力する場合を説明する。
図５は、画像に写る人の数と画像から検出されたコーナー数との関係を示すグラフである。図５において、人数とコーナー数との間には有意な相関関係がある。一般に、人数とコーナー数とは相関関係が強いため、コーナー数から人物の概数を混雑度に関する情報として推定することができる。

混雑度を求めるために、混雑度算出手段４は、コーナー数と推定人数を対応付けるテーブルを内部に保持する。乱雑度として他の特徴量（エッジ量等）を用いる場合や、出力情報の形態が異なる場合でも同様に、これら情報と推定人数とを対応付けるテーブルを保持しておく。これにより、混雑度算出手段４は、画像乱雑度算出手段３で算出された画像の乱雑度に関する情報を入力すると、この情報でテーブルデータを検索して対応する推定人数を求める。

なお、人物が画像に全く写っていなくても、画像中に含まれる人工物によって画像の乱雑度が高くなる場合がある。この場合、無人状態における画像の乱雑度を混雑度算出手段４に予め登録しておき、混雑度算出手段４が、無人状態における画像の乱雑度からの乱雑度の上昇の度合によって群衆による混雑度を算出する。

（４）滞留度の取得
先ず、移動判定手段５は、幾何補正計算手段２から幾何補正された画像を入力し、画像乱雑度算出手段３から上記画像中で乱雑であると判定した領域に関する情報を入力して、この画像領域に写る群衆の動きの有無を判定して動きに関する情報を求める。群衆の動きに関する情報を得るためには、例えば画像フレーム間の差分値が所定の閾値を超える等した場合、画像領域に写る群衆に動的挙動がある、つまり動きがあると判定する。

また、ブロックマッチングやオプティカルフローアルゴリズム等を利用することにより、動きの大きさや方向を求めることができる。ブロックマッチングについて簡単に説明すると、先ず、移動判定手段５は、処理対象となる連続する２つのフレーム画像の１つにおいて、画像乱雑度算出手段３により乱雑であると判定された領域をブロックとして記憶する。

次に、移動判定手段５は、他方のフレームにおいて、上述したブロックと同じ大きさの領域で画像の類似度を求める。さらに、フレーム内で領域をずらして同様に類似度を逐次求める。この処理をフレームの全体の領域に対して行い、この中から最も類似度が大きい領域を群衆の画像が移動した領域として決定する。この領域の座標と先に記憶したブロックの座標から移動距離と移動方向を求めることができる。

幾何補正された画像データ及びその画像領域における動きに関する情報は、移動判定手段５から滞留度算出手段６へ出力される。滞留度算出手段６では、移動判定手段５から入力した動きに関する情報に基づいて、映像取得装置１で撮影された画像に写る群衆の滞留の度合を計算する。ここで、滞留度算出手段６は、動きのある領域が画像中で小さいほど滞留度が高いと判断する。

例えば、動きがあると判定された画像領域の大きさとこの画像領域を含む幾何補正された画像の大きさとの比に対応付けて滞留度を示す数値を予め保持したテーブルを滞留度算出手段６に設けておく。これにより、滞留度算出手段６が、移動判定手段５から幾何補正された画像データ及びその画像領域における動きに関する情報を入力すると、上記大きさの比を求めて上記テーブルのデータを検索し、対応する滞留度を示す数値を求める。

（５）危険度の取得
危険度算出手段７は、混雑度算出手段４で得られた混雑度に関する情報及び滞留度算出手段６で得られた滞留度に関する情報から、映像取得装置１で撮影された画像に写る群衆の密集状態に関する危険度を求める。ここでは、混雑度と滞留度の双方が高いほど危険度が高いと判断する。

図２に示すように、観測地点上方から斜め下を俯瞰するように映像取得装置１が設置されている場合、映像取得装置１により撮影された画像に写る人の数と画像の乱雑度を表すコーナー数とは、図５に示すような関係にある。図５において、画像に写る人の数が少ないとき、人数の変化に応じて画像の乱雑度も大きく変化する。つまり、人数が少ないときには人数の変化に応じて画像の乱雑度も大きく変化するが、密集状態に近いときは人数が変化しても乱雑度の変化が小さい。これは、人の密度が増すと身体の一部が遮蔽されることが多くなり、人数が増えても画像の乱雑度の変化が小さくなるからである。

そこで、危険度算出手段７は、混雑度に関する情報と滞留度に関する情報とを組み合わせて危険度を算出する。つまり、危険度算出手段７が、混雑度が高くても滞留度が低い場合には群衆の流れが円滑で危険度が低いと判断し、混雑度も滞留度も高い場合は高密度の群衆が滞留していて危険度が高いと判断する。これにより、混雑していても人の流れが円滑で安全な状態と、滞留していて真に危険な状態の識別が可能となる。

このように混雑度算出手段４で求められる混雑度に関する情報は、群衆の正確な人数ではなく、大まかな混雑の度合であるが、危険な密集状態を検出するためには十分な情報となり得る。

以上のように、この実施の形態１によれば、観測箇所の映像データの画像特徴の空間的な変動度合を画像の乱雑度として求める画像乱雑度算出手段３と、物体の密集度合と画像の乱雑度との相関関係に基づいて、画像乱雑度算出手段３で求められた画像の乱雑度から、画像内に写る物体の混雑度を求める混雑度算出手段４と、画像乱雑度算出手段３により乱雑とされた画像内の領域の動的挙動を判定する移動判定手段５と、移動判定手段５により動的挙動が判定された領域の画像内に占める大きさに基づいて、画像内に写る物体の動きの滞留度を求める滞留度算出手段６とを備える。この構成において、画像乱雑度算出手段３が、画像内のコーナー数、エッジ量及び画像スペクトルの高周波数帯域の強度のうちの少なくとも一つを、画像内に写る物体の大きさの違いによる変化が少ない画像特徴の空間的な変動度合（画像の空間的な乱雑度）として算出する。このように処理対象の画像の乱雑度を利用することから、群衆を構成する人を一人ずつ計数するのではなく、群衆を塊として捉えることができる。これにより、映像取得装置１で撮影された画像中の人の密集で、体の一部しか写らない高密度状態においても画像に写る群衆の混雑度を精度良く推定することができる。

例えば、画像中の人物の頭部や顔、全身を検出する従来の方法では、これらの特徴全体が画像に写っている必要があるため、身体の一部しか写らない密集状態においては混雑度の推定精度が低下していた。これに対して、上記実施の形態１は、人の密集度との相関が高い画像の乱雑度を特徴量として利用しているため、混雑度を高精度で推定することができる。

また、この実施の形態１によれば、人の密集により画像が空間的に乱雑になっている部分のみについて動きを推定するので、滞留度を求める処理負荷を軽減することができる。

さらに、この実施の形態１によれば、混雑度算出手段４と滞留度算出手段６の両方を具備するので、群衆の混雑度と滞留度の情報が同時に得られ、観測地点の群衆の密度や動きに関する詳細な情報を得ることができる。

さらに、上方から斜め下方向に観測箇所を俯瞰する視野で撮影した映像データの画像に対して、画像内の奥行き方向の歪みを補正する射影変換を実行する幾何補正計算手段２を備えたので、人物の体格の違いによる影響を低減することができ、画像内の混雑度及び滞留度を高精度に推定することができる。

この発明の実施の形態１による混雑滞留検知システムの構成を示すブロック図である。観測地点で上方から斜め下方向を俯瞰する視野での観測を説明するための図である。図１中の幾何補正計算手段による幾何補正を説明するための図である。人物が写っている画像からコーナーを検出した例を示す図である。画像に写る人の数と画像から検出されたコーナー数との関係を示すグラフである。

符号の説明

１映像取得装置、２幾何補正計算手段、３画像乱雑度算出手段、４混雑度算出手段、５移動判定手段、６滞留度算出手段、７危険度算出手段。

Claims

観測箇所の映像データの画像特徴の空間的な変動度合を前記画像の乱雑度として求める画像乱雑度算出手段と、
物体の密集度合と画像の乱雑度との相関関係に基づいて、前記画像乱雑度算出手段で求められた前記画像の乱雑度から、前記画像内に写る物体の混雑度を求める混雑度算出手段と、
前記画像乱雑度算出手段により所定の乱雑度を超えて乱雑とされた前記画像内の領域の動的挙動を判定する移動判定手段と、
前記移動判定手段により動的挙動が判定された領域の前記画像内に占める大きさに基づいて、前記画像内に写る物体の動きの滞留度を求める滞留度算出手段とを備えた混雑滞留検知システム。
上方から斜め下方向に観測箇所を俯瞰する視野で撮影した映像データの画像に対して、前記画像内の奥行き方向の歪みを補正する射影変換を実行する幾何補正計算手段を備えたことを特徴とする請求項１記載の混雑滞留検知システム。
画像乱雑度算出手段は、画像内のコーナー数、エッジ量及び画像スペクトルの高周波数帯域の強度のうちの少なくとも一つを、画像内に写る物体の大きさの違いによる変化が少ない画像特徴の空間的な変動度合として算出することを特徴とする請求項１または請求項２記載の混雑滞留検知システム。
混雑度算出手段は、画像内に写る物体の概数及び前記物体の密集の度合を示す数値の少なくとも一つを、画像内に写る物体の混雑度として求めることを特徴とする請求項１から請求項３のうちのいずれか１項記載の混雑滞留検知システム。
移動判定手段は、動きの有無に加え、動きの大きさ及び動きの方向のうちの少なくとも一つを、画像乱雑度算出手段で乱雑とされた画像内の領域の動的挙動として求めることを特徴とする請求項１から請求項４のうちのいずれか１項記載の混雑滞留検知システム。
滞留度算出手段は、動きのある領域の画像内に占める大きさに対応した静止物体の概数及び動きのある領域の前記画像内に占める大きさに対応した滞留の度合を表す数値のうちの少なくとも一つを、前記画像内に写る物体の動きの滞留度として求めることを特徴とする請求項１から請求項５のうちのいずれか１項記載の混雑滞留検知システム。
混雑度及び滞留度に対応付けた物体の密集状態に関する危険度を有し、混雑度算出手段により得られた混雑度と滞留度算出手段により得られた滞留度に基づいて、観測箇所の映像データの画像内の物体の前記危険度を求める危険度算出手段を備えたことを特徴とする請求項１から請求項６のうちのいずれか１項記載の混雑滞留検知システム。