JP5992681B2 - 混雑の非通常状態検知システム - Google Patents

Description

本発明は、混雑の非通常状態検知システムに関し、特に、例えば駅の改札口やプラットホーム、駅内外の通路等のように多くの人が集まり移動する場所での人の流動状態を監視することにより混雑時の通常または非通常の状況判断を正確に行うことができる混雑の非通常状態検知システムに関するものである。

近年では、防犯や保安等の安全性の向上の観点から、街（繁華街等）の各所、店舗の付近、駅構内、道路や交差点等において監視カメラが設置され、不審者や不審物、異常な事態の発生を監視している。これらの監視システムは、通常は、監視カメラで取得された特定の監視場所の画像情報に基づいて、具体的には当該画像に写った人物や物の存在状態に基づいて正常または異常を判断するようにしている。この場合に判断主体は画像情報を視認する人間である。このような監視カメラによる不審者等の監視は、混雑した状況を想定しているものではなく、モニタ画面に表示される画像の上で人物や物が個別に認識できることを想定している。

ターミナル駅など多くの人が集まって移動する結果、混雑した状態が発生する場所での監視でも、基本的に上記の監視手法が主流である。他方、当該混雑した状態に係る画像（混雑シーン）において、各人物の移動の状態を追跡することでその移動軌跡を取得し、当該移動軌跡から各人物の行動の正常または異常を個別に認識する手法も提案されている。かかる移動軌跡を取得することは、異常な行動や、不審物の存在を見つけるための良い手懸かりになる。また異常検知装置等の従来の技術としては、下記の特許文献１，２に開示された技術が存在する。特許文献１，２のいずれも、混雑していない状態を想定した技術であり、混雑が発生する状態には適用することができない技術である。

特開２０１１−７０３３２号公報 特開２０１１−６１６５１号公報

監視カメラで得られる時系列の画像に基づいて、当該画像に写る人物の移動軌跡を取得することは不審者の情報を得る観点で望ましいことではあるが、人物の移動軌跡を正確に得ることは、オクルージョン（見え隠れ状態）、カメラ視野外への退出またはカメラ視野内への進入等が頻繁に起きるため、容易ではない。特に混雑な状態が発生する場所の監視では、オクルージョンが多く起こるため、各人物の移動軌跡の正確な取得は極めて困難である。そこで、特に、ターミナル駅など多くの人が集まって移動する結果、混雑した状態が発生する場所での監視において、より有効にその通常状態または非通常状態を検知できる手法が強く望まれている。

本発明の目的は、上記の課題に鑑み、多くの人が集まり移動する混雑が生じる特定の場所での人の流動状態に着目し、混雑時の通常または非通常の状況判断を正確に行うことができる混雑の非通常状態検知システムを提供することにある。

本発明に係る混雑の非通常状態検知システムは、上記の目的を達成するため、次のように構成される。

第１の混雑の非通常状態検知システム（請求項１に対応）は、
人が集まり移動する特定場所を撮影する撮像装置で得られた画像データの複数のブロックから成る画像領域を少なくとも２つの区画に分割する分割手段と、
各区画毎の画像データに基づき統計的な処理を行う演算手段と、
画像データから得られた統計的な処理の量と通常状態の統計的な処理の量の基準値とを比較して比較結果を求める比較手段と、
各区画毎の比較結果と比較基準値とに基づき各区画が非通常状態であるか否かを判断し、該判断結果に基づき特定場所が非通常状態であるか否かを判断する判断手段と、
を備えることによって構成される。
さらに第２の混雑の非通常状態検知システム（請求項２に対応）は、上記の構成において、好ましくは、
演算手段は、統計的な処理の量として、各区画毎で、ブロック毎のオプティカルフローを計算し、オプティカルフローについて方向ヒストグラムを計算し、
比較手段は、各区画毎で、方向ヒストグラムと通常状態に係る方向ヒストグラムとを比較し、
判断手段は、比較手段による各区画毎の比較結果と比較基準値とに基づき非通常状態であるか否かを判断する、
ことを特徴とする。

上記の混雑の非通常状態検知システムでは、混雑が生じる場所についての監視画像データにおいて、オプティカルフローを求めて人の流動状態に係る情報を取得し、この流動状態に係る情報からさらに流動状態の特性情報（例えば方向ヒストグラム）を取得し、この流動状態の特性情報を、予め用意された通常状態の流動状態の特性情報と比較することにより、監視画像データで得た混雑シーンの状態が通常であるかまたは非通常であるかを判断し、非通常であると判断された場合には、通報を発するように構成される。混雑シーンの通常または非通常の判断に対して人の流動状態を監視し解析するという手法を採用したため、混雑状態の通常または非通常（異常を含む）を的確に判断することができる。

第３の混雑の非通常状態検知システム（請求項３に対応）は、上記の構成において、好ましくは、通常状態に係る方向ヒストグラムおよび比較基準値のいずれか一方または両方に、曜日・時間帯に係る情報、イベントに係る情報、事故または故障に係る情報、自然災害に係る情報の少なくとも一つを条件として反映させたことを特徴としている。

第４の混雑の非通常状態検知システム（請求項４に対応）は、上記の構成において、好ましくは、通常状態に係る方向ヒストグラムおよび比較基準値のいずれか一方または両方に、鉄道を含む交通機関の運行情報を条件として反映させたことを特徴としている。

第５の混雑の非通常状態検知システム（請求項５に対応）は、上記の構成において、好ましくは、特定場所は駅改札口または駅構内であることを特徴としている。
第６の混雑の非通常状態検知システム（請求項６に対応）は、上記の構成において、好ましくは、演算手段は、各区画毎でブロック毎のオプティカルフローを計算する第１演算手段と、各区画毎でブロック毎の複数のオプティカルフローについて方向ヒストグラムを計算する第２演算手段とから構成されることを特徴とする。

本発明によれば、次の効果を奏する。
第１に、混雑場所の監視画像データについてフレーム全体でのオプティカルフローを求めて人の流動状態に係る情報を取得し、この流動状態に係る情報からさらに流動状態の特性情報を取得し、この流動状態の特性情報を、予め用意された通常状態の流動状態の特性情報と比較することにより、監視画像データで得た混雑シーンの状態が通常であるかまたは非通常であるかを判断するようにしたため、混雑状態の非通常状態を正確に検知することができる。さらに、非通常状態のときには通報を迅速に行うことにより、運営管理上、安全性を高めることができる。
第２に、判断に使用される通常状態に係る方向ヒストグラム、比較基準値に、曜日・時間帯に係る情報、イベントに係る情報、事故または故障に係る情報、自然災害に係る情報の少なくとも一つ、または鉄道を含む交通機関の運行情報を、条件として反映させるようにしたため、混雑原因を含めて混雑シーンの非通常状態を正確に検知することができる。
第３に、本発明に係る混雑の非通常状態検知システムを、駅改札口等に適用することにより、鉄道の運営管理においてより安全性を高めることができる。

本発明の代表的な実施形態に係る混雑の非通常状態検知システムのシステム構成を示すブロック図である。 本実施形態に係る混雑の非通常状態検知システムにおける検知処理の動作の手順を示すフローチャートである。 本実施形態に係る混雑の非通常状態検知システムでの検知方式の第１段階を説明するための監視画像のフレーム画面全体を示すオプティカルフロー図であって、通常流動状態（１）と非通常流動状態（２）を示すオプティカルフロー図である。 本実施形態に係る混雑の非通常状態検知システムでの検知方式の第２段階を説明するための複数のブロックに分割されたオプティカルフロー図であって、通常流動状態（１）と非通常流動状態（２）を示すオプティカルフロー図である。 本実施形態に係る混雑の非通常状態検知システムでの検知方式の第３段階を説明するためのフレーム画面全体を２つの区画（領域）に分けたオプティカルフロー図と各領域のフロー方向別の分布を示す方向ヒストグラムを示す図である。 本実施形態に係る混雑の非通常状態検知システムでの検知方式の第４段階を説明するための方向ヒストグラムの比較を示す図である。

以下に、本発明の好適な実施形態（実施例）を添付図面に基づいて説明する。

図１を参照して、本実施形態に係る混雑の非通常状態検知システム１００の構成を説明する。１１は監視用のカメラ（撮像装置）である。カメラ１１は、混雑が生じる可能性の高い特定の場所を撮影するように設置されている。混雑が生じる可能性の高い場所とは、多くの人が集まり移動する場所であり、例えば、ターミナル駅の改札口やプラットホーム、駅内外の通路、あるいは繁華街の各所、コンビニ店舗の付近、道路や交差点等である。この実施形態では駅に適用された例で説明する。カメラ１１は、定点監視用カメラとして、所定の時間間隔で、当該特定場所における監視対象の画像を撮影し、取得する。カメラ１１で取得された監視画像に係るデータは、流動認識部１２に転送される。混雑の非通常状態検知システム１００において、流動認識部１２は、カメラ１１で定期的に取得された監視画像データに基づいて、当該監視画像データで得られる流動（混雑の状態を生じさせる多数の人の移動の流れ）を認識し、この流動認識に基づいて、生じた混雑状態が通常の混雑であるか、または非通常（異常）の混雑であるかを判断し、非通常の混雑であると判断したときには通報を行うように動作する。

流動認識部１２は、ハードウェア的にはＣＰＵとメモリで構成され、メモリに格納された流動認識プログラムを読み出して実行することにより、流動認識の機能を実現する。流動認識部１２は、監視画像に係るデータにおいて、監視画像中に含まれる各人物画像の移動軌跡を得るものではなく、混雑を形成する多数の人物の存在を流動として処理して認識する機能を有している。

流動認識部１２は、流動認識を行うため、監視画像全体の中の多数のオプティカルフローを計算するオプティカルフロー演算部２１と、監視画像のフレームを、複数のブロックに分割し、および少なくとも２つの区画に分割するブロック／区画分割部２２と、２つの区画の各々ですべてのオプティカルフローについてフロー方向に係る方向ヒストグラムを計算して求める方向ヒストグラム演算部２３と、各区画において生成した方向ヒストグラムと「通常状態に係る方向ヒストグラム」とを比較する比較部２４と、比較部２４による比較結果と比較基準値とに基づいて生成した方向ヒストグラムに関して通常または非通常を判断する判断部２５とを備えている。流動認識部１２は入力インターフェース１３を介して、カメラ１１から与えられた監視画像データを取り込む。最終的な判断部２５による判断結果において非通常の状態であると判断された場合には、判断部２５の判断結果出力が、通報を行う出力装置２６に与えられる。

流動認識部１２の比較部２４での比較処理で使用される「通常状態に係る方向ヒストグラム」の情報、および判断部２５の判断で使用される「比較基準値」の情報は、データベース２７に予め用意されている。データベース２７には、さらに、「鉄道等の交通機関の運行情報」、「曜日／時間帯に係る情報」、「イベントに係る情報」、「事故または故障に係る情報」、「自然災害に係る情報」等が、予め用意して保存されている。予め用意された「通常状態に係る方向ヒストグラム」および「比較基準値」のいずれか一方または両方には、好ましくは、「鉄道等の交通機関の運行情報」、または「曜日／時間帯に係る情報」、「イベントに係る情報」、「事故または故障に係る情報」、「自然災害に係る情報」の少なくとも一つを条件として反映させるように設定されている。

次に、図２に示したフローチャートを参照して、混雑の非通常状態検知システム１００において流動認識部１２の流動認識に基づいて行われる混雑の非通常状態の検知の方式について説明する。この流動認識の処理の流れでは、カメラ１１から監視画像データが提供されることが前提になっている。さらにこの説明では、併せて図３〜図６を参照して流動認識の内容をイメージ的に説明する。

図２において、最初の処理ステップＳ１１では監視用カメラ１１から与えられる監視画像全体のデータにおいて、そのオプティカルフローを計算する。オプティカルフローの計算はオプティカルフロー演算部２１によって実行される。図３では、オプティカルフローのイメージを示している。図３の（１）は通常流動の状態を示し、（２）は非通常流動の状態を示している。図３の（１）と（２）で、矩形の範囲３１は１つの監視画像におけるフレームを示し、その内部の多数の矢印３２は監視画像内のオプティカルフローを示している。これらのオプティカルフロー３２は、カメラ１１の監視領域に存在する多数の人物の各々の移動状態を示す動きベクトルであり、流動状態を示す情報である。処理ステップＳ１１では、各監視画像全体のフレーム３１毎に関してこれらのオプティカルフロー３２を算出する。フレーム３１毎に得られる画面全体のオプティカルフロー３２は統計的に扱われる。処理ステップＳ１１で算出された多数のオプティカルフロー３２に基づいて、監視画像全体のフレーム３１における多数の人物の流動状態が認識され、各人物をトラッキングするのではなく、多数の人物によって作られる混雑のシーンの流動状態が認識される。図３に示した（１）と（２）を対比すると、通常の流動状態と非通常の流動状態との相違が出ている、図３の（２）では破線領域３３に流動を阻害する物体が存在すると想定されるために、その流動状態が通常の流動状態に比較して異なるものとなっている。このような流動状態（２）と通常の流動状態（１）との差が大きいと、何らかの異常（非通常な状態）が起こっていると判断することができる。そこで次には通常の流動状態（１）との差の求め方が重要となる。

上記の処理ステップＳ１１で算出された、監視画像についてのオプティカルフローに係るデータはメモリに保存される（ステップＳ１２）。

次の処理ステップＳ１３では、監視画像のフレーム３１（視野）を複数のブロック３４に分割する。この複数のブロック３４への分割は、ブロック／区画分割部２２によって実行される。複数のブロック３４の各々では、ブロック毎の大まかな傾向として、先に算出したオプティカルフロー３２に基づき、それぞれのオプティカルフローの方向がブロック毎個別に定められる。図４に、監視画像のフレーム３１内で、分割された複数のブロック３４毎のオプティカルフロー３２のイメージを示している。図４の（１）は図３（１）に対応して通常流動の状態を示し、（２）は図３（２）に対応して非通常流動の状態を示している。各ブロック３４は、格子状の破線３５で仕切られることにより形成されている。図４に示すように、複数のブロック３４の各々では、ブロック毎に個別に大まかなオプティカルフローの方向が決まる。各ブロック３４毎に決まるオプティカルフローの方向に基づいて、各ブロック３４のオプティカルフロー方向の差異を算出することが可能となる。

上記のブロック／区画分割部２２は、さらに、図５の（Ａ）に示すごとく、監視画像のフレーム２１を例えば少なくとも２つの区画３６，３７に分割する（ステップＳ１４）。これは、上記の複数のブロック３４の各々の差異を算出するに当たって、図５（Ａ）中で左側区画３６と右側区画３７の２つの区画の各々で特徴の傾向を見ることにより、複数のブロック３４の各々の差異を算出する。

次に、処理ステップＳ１５では、２つの区画３６，３７の各々において、各区画に含まれる複数のブロック３４の各オプティカルフロー３２に基づいて当該オプティカルフローの方向ヒストグラム３８，３９を計算する。この方向ヒストグラム３８，３９は、図５の（Ｂ）に示すように、等角度（４５°）間隔の８つの方向（０，１，２，３，４，５，６，７）の予め定め、各方向に関して、各区画３６，３７に含まれる複数のブロック３４の各オプティカルフローを統計的に処理することにより、計算される。このようにして、左側区画３６について方向ヒストグラム３８が求められ、右側区画３７について方向ヒストグラム３９が求められる。この方向ヒストグラム３８，３９の計算は方向ヒストグラム演算部２３によって実行される。方向ヒストグラム３８，３９は、流動状態を表す特性情報である。

方向ヒストグラム３８，３９は、それぞれ、対応する区画３６，３７に含まれるブロック３４の各オプティカルフローを８つの方向（０〜７）のそれぞれに累積したものである。これにより、各区画３８，３９毎の方向ヒストグラムのパターンを得ることができる。

上記のような方向ヒストグラムを、上記の処理ステップＳ１１〜Ｓ１５を繰り返して、例えば過去数日分あるいは数時間分取得することにより、通常状態に係る方向ヒストグラムのパターンを得ることができる。この通常状態の方向ヒストグラムのパターンは、通常の流動状態になる。「通常状態に係る方向ヒストグラム」のパターンのデータは、前述の通り、データベース２７に用意されている。

なお上記の方向ヒストグラムでは方向のみに着目したが、さらにオプティカルフローとしての動ベクトルの長さに基づき速度についても考慮することもできる。オプティカルフローの長さが長ければ、方向ヒストグラム算出時の重みを大きくすることにより、速度が反映された方向ヒストグラムにすることもできる。

また、図２に示した処理の流れでは、オプティカルフローの概念を説明するため、便宜上、オプティカルフロー３２の計算を最初の処理ステップＳ１１で行うようにしたが、オプティカルフローの計算は、複数のブロック３４の分割、および２つの区画３６，３７の分割の後に行うこともできる。処理ステップＳ１１〜Ｓ１４の実行順序は適宜に任意に変更することができる。

次に、処理ステップＳ１６では、監視対象になっている場所の現時点での監視画像から得られた各区画３６，３７の方向ヒストグラム３８，３９と、データベース２７に用意されている「通常状態に係る方向ヒストグラム」とが比較される。この比較処理は、上記の比較部２４によって実行される。この比較処理では、比較結果として、類似度を表す指標が求められる。類似度を表す指標としては、例えば、ユークリッド距離、またはコサイン類似度が利用される。ユークリッド距離を利用する場合には、方向ヒストグラムに含まれるデータ数を正規化したもの同士を用いて比較を行う。この比較によって得られる「類似度を表す指標」に基づいて、「通常状態に係る方向ヒストグラム」との間の類似度度合いを得ることができる。

図６は、比較処理をイメージ的に示している。図６において、５１は通常状態の監視画像でのオプティカルフロー（図２の（１）で示した内容）を示し、これの左右の区画３６，３７に対応して上記の方向ヒストグラム３８，３９が示されている。他方、５２は他の監視画像でのオプティカルフロー（図２の（２）で示した内容に対応し、非通常状態を示す監視画像）を示し、これの左右の区画（上記の区画３６，３７に対応）に対応して方向ヒストグラム３８’，３９’が示されている。この状況で、上記の処理ステップＳ１６での比較処理では、一方の方向ヒストグラム３８と３８’、他方の方向ヒストグラム３９と３９’が、それぞれ比較され（図６中、比較５３，５４）、「類似度を表す指標」が計算される。

その後の処理ステップＳ１７，Ｓ１８では、ステップＳ１６の比較処理で求められた「類似度を表す指標」に基づいて、カメラ１１から与えられた監視画像の内容（混雑シーン）が、通常状態であるかまたは非通常状態（異常状態）であるかを判断する。この判断処理は、上記の判断部２５で実行される。判断処理は、「類似度を表す指標」を、データベース２７に用意されている「比較基準値」（一定の閾値）と比較し（ステップＳ１７）、「類似度を表す指標」が「比較基準値」以上であると、通常状態であると判断し、「比較基準値」未満であると、非通常状態であると判断する（判断ステップＳ１８）。判断ステップＳ１８で非通常状態と判断された場合には、出力装置２６を介して通報が行われる（ステップＳ１９）。

上記の「通常状態」の内容（方向ヒストグラム、比較基準値）は、実情を反映させて実情と連動して定義することが効果的である。すなわち、前述した通り、「通常状態に係る方向ヒストグラム」および「比較基準値」のいずれか一方または両方には、「鉄道等の交通機関の運行情報」、または「曜日／時間帯に係る情報」、「イベントに係る情報」、「事故または故障に係る情報」、「自然災害に係る情報」の少なくとも一つを条件として反映させるように設定することが効果的である。

以上の実施形態で説明された構成、形状、大きさおよび配置関係については本発明が理解・実施できる程度に概略的に示したものにすぎない。従って本発明は、説明された実施形態に限定されるものではなく、特許請求の範囲に示される技術的思想の範囲を逸脱しない限り様々な形態に変更することができる。

本発明に係る混雑の非通常状態検知システムは、流動認識の手法を利用して混雑における人の流動をオプティカルフローの方向ヒストグラムで表現し、混雑シーンの非通常状態を的確に判断することに利用される。

１１ カメラ
１２ 流動認識部
２１ オプティカルフロー演算部
２２ ブロック／区画分割部
２３ 方向ヒストグラム演算部
２４ 比較部
２５ 判断部
２６ 出力装置
２７ データベース
３１ フレーム
３２ オプティカルフロー
３３ 破線領域
３４ ブロック
３５ 格子状破線
３６，３７ 区画
３８，３９ 方向ヒストグラム

Claims (6)

1. 人が集まり移動する特定場所を撮影する撮像装置で得られた画像データの複数のブロックから成る画像領域を少なくとも２つの区画に分割する分割手段と、
   前記各区画毎の前記画像データに基づき統計的な処理を行う演算手段と、
   前記画像データから得られた前記統計的な処理の量と通常状態の統計的な処理の量の基準値とを比較して比較結果を求める比較手段と、
   前記各区画毎の前記比較結果と比較基準値とに基づき各区画が非通常状態であるか否かを判断し、該判断結果に基づき前記特定場所が非通常状態であるか否かを判断する判断手段と、
   を備えることを特徴とする混雑の非通常状態検知システム。
2. 前記演算手段は、前記統計的な処理の量として、前記各区画毎で、前記ブロック毎のオプティカルフローを計算し、前記オプティカルフローについて方向ヒストグラムを計算し、
   前記比較手段は、前記各区画毎で、前記方向ヒストグラムと通常状態に係る方向ヒストグラムとを比較し、
   前記判断手段は、前記比較手段による前記各区画毎の比較結果と比較基準値とに基づき非通常状態であるか否かを判断する、
   ことを特徴とする請求項１記載の混雑の非通常状態検知システム。
3. 前記通常状態に係る方向ヒストグラムおよび前記比較基準値のいずれか一方または両方に、曜日・時間帯に係る情報、イベントに係る情報、事故または故障に係る情報、自然災害に係る情報の少なくとも一つを条件として反映させたことを特徴とする請求項２記載の混雑の非通常状態検知システム。
4. 前記通常状態に係る方向ヒストグラムおよび前記比較基準値のいずれか一方または両方に、鉄道を含む交通機関の運行情報を条件として反映させたことを特徴とする請求項２記載の混雑の非通常状態検知システム。
5. 前記特定場所は駅改札口または駅構内であることを特徴とする請求項１〜４のいずれか１項に記載の混雑の非通常状態検知システム。
6. 前記演算手段は、前記各区画毎で前記ブロック毎のオプティカルフローを計算する第１演算手段と、前記各区画毎で前記ブロック毎の複数の前記オプティカルフローについて方向ヒストグラムを計算する第２演算手段とから構成されることを特徴とする請求項２〜５のいずれか１項に記載の混雑の非通常状態検知システム。

Images