JP4561266B2 - 落下物検知装置 - Google Patents

Description

本発明は、駅のプラットホームなどから線路面などへ意図的に降下したり非意図的に落下したりする人物などを、ＴＶカメラによって得られた画面から自動的に検出する装置に関する。

鉄道の一般乗客が駅のプラットホームから線路に降りることは法律で禁止されている。それにもかかわらず誤って転落する、あるいは意図的に線路に降りる乗客が後を絶たない。人身の安全確保のため、駅員は可能な限りそのような事態の発生を知り、状況によっては電車の即時停止指令をも含む措置をとらねばならない。

しかし少数の駅員によって長いプラットホームの全長を常時監視し続けることは困難であるという問題がある。

そこで転落者の自動検出装置が開発されてきた。例えば転落者の重量によって検知するスイッチマットがある。これはスイッチの堅さの設定次第で小動物など軽いものから人間を区別できる点において他の方式に比較して優れているが、設置およびメンテナンスの要するリソースの問題でプラットホームの全長すべてに渡って敷設することができず、現状では電車の乗降口に対応する付近のみに点状に設置されるに留まる。結果、あまり普及していない。

このため、駅ホーム全長を少数のセンサでカバーできるものとして、カメラによって撮影された画面情報の利用も研究されている。プラットホーム屋根の下側にぶら下がるように取り付けた双眼ステレオカメラによって線路上の異物を「線路より高い物体」として検出するシステムが発表されている。（例えば特許文献１）
特開２００３−２４６２６８号公報（第３頁、図３）

しかしこれも、落下後に平たく伸びてしまった人体の検出において充分な検知性能が得られない可能性が考えられる。また、双眼ステレオカメラを使うためにカメラ本体のコストが増大するという問題もある。さらに重要なことには、立体視を確実に機能させるためにはひとつの双眼カメラによって警戒できるプラットホームの長さ範囲をあまり広くとれないという問題が存在する。

本発明はこのような観点からなされたものであり、なるべく少ない台数のカメラによってプラットホーム全体を監視し、かつ人物以外の落下物（たとえばゴミなど）による誤反応を極力抑制する落下物検知装置を提供することを目的とする。

本発明は、所定場所を撮影する撮影手段により撮影された画面を基に、落下物を検知する落下物検知装置であって、画面上の所定領域内に、複数のオプティカルフロー測定点を設定するオプティカルフロー測定点設定手段と、設定された測定点を基に、撮影された落下物のオプティカルフローを検出するオプティカルフロー検出手段と、検出されたオプティカルフローを基に、落下物を検出する落下物検出手段と、検出された落下物の落下の軌跡を追跡する落下軌跡追跡手段と、
検出された落下物及び落下物の落下の軌跡を基に所定の落下物か否かを判別する落下物判別手段とを有する構成である。

この構成により、測定点におけるオプティカルフローを基に、落下物の軌跡を追跡することで、落下物が所定の落下物であるか否かを判別することができる。

また、オプティカルフロー測定点設定手段は、画面上の各測定点におけるオプティカルフローの大きさに対する感度を、撮影手段から遠方の風景に対しては密かつ高感度に、撮影手段に近い風景に対しては疎かつ低感度に、設定する構成である。

この構成により、１台の撮影手段により、より精度高く広い範囲をカバーして、オプティカルフローを測定できる。

また、落下物検出手段は、測定点にて検知されたオプティカルフローを水平方向に近いものと垂直方向に近いものとに分類し、各方向の落下物の塊について、所定の大きさか否かを判断し、所定の大きさのときには、落下物が人物の落下なのかそれ以外の物体の通過なのかを判定する構成である。

この構成により、垂直方向については人物の落下を、水平方向については、例えば電車の通過を識別できる。

また、落下物検出手段は、測定点にて検知されたオプティカルフローの画面全域における分布が所定の大きさのときには、撮影手段の振動によって起こった偽りのオプティカルフローと判定する構成である。

この構成により、撮影手段の振動による偽りのオプティカルフローの発生を除外できる。

本発明は、ステレオ視やスイッチマットなどの従来手法に比較して、より少ないカメラの個数にて、より広い範囲の駅ホーム等における人物転落等の落下物を、より確実に検出することが可能となる。

本発明では、単眼視画面からの落下物の「運動」情報の抽出に着目することにより、より少ない数のカメラで転落者検知を実現し、さらに落下物体が人物であるか非人物であるかの判定をも可能とした。概要は次の通りである。
(1)プラットホームの縁を越えて何かが下方向に移動するのを待ち続け、
(2)そのような移動が検知されたらその移動物の軌跡を追跡し、
(3)得られた落下物と落下軌跡の特徴からその落下物が人間かそうでないかを判定する。

(1)は監視画面に多数配置した測定点にてオプティカルフローをモニタし続け、発生したフローの分布や個々のフローの性質について一定の条件が満たされた場合に「落下物体を検知」と判断することによって実現している。

(2)は検出した落下物体が引き起こすオプティカルフロー全体の和として落下軌跡を得ることによって実現している。

(3)の判定は、落下軌跡の時空間的な特性およびその基となるオプティカルフロー群の諸性質をデータマイニング処理によってあらかじめ作成しておいた判別器にて処理することによって実現した。

図１に実施例の落下物検知装置の構成図を示す。

落下物検知装置１は、撮影部２と画面処理部３と落下物検出処理部４と落下物追跡処理部５と落下物判別処理部６と警報処理部７と表示部８と入力部９と警報部１０とを有する。

撮影部２は、駅ホームを監視するＴＶカメラ等である。

画面処理部３は、撮影された画面を表示部８に表示する表示処理部、フレーム毎に画面を記憶する記憶部などを有する。

落下物検出処理部４は、表示部８の画面上に多数配置した測定点にてオプティカルフローをモニタし続け、発生したフローの分布や個々のフローの性質について一定の条件が満たされた場合に落下物検知と判断する。

落下物追跡処理部５は、検出した落下物体が引き起こすオプティカルフローの落下軌跡を得る。

落下物判別処理部６は、得られた落下物と落下軌跡の特徴からその落下物が人物か否かを判別器にて判別する。

警報処理部７は、落下物の存在をユーザに表示部８および警報部１０により通知する。

表示部８は、撮影された画面、測定点、落下の軌跡、警報などを表示する。

入力部９は、ホーム境界線などの測定点の設定情報などを入力する。

警報部１０は、音声や音で駅員に危険を通知する。

図２に、実施例の落下物検知装置の処理の流れ図を示す。

まず、カメラが設置される(S1ステップ)。

人物であれゴミであれ「プラットホームから線路への転落」をその運動を用いて確実に検知するために、本システムのカメラは図５に示すようにホームから線路を挟んで反対側に設置する。

図５にカメラの配置図を示す。

図５の （１）〜（３）、（１’）〜（３’）はカメラとそれぞれの視野角を示す。

カメラ配置は模式的に示されている。

プラットホームが直線上の場合、ひとつのカメラで７０ｍ遠〜１４０ｍ遠をカバーすることにより、計算上は２００メートル長のプラットホームひとつを３台のカメラでカバーできる。

カメラに取り付けるレンズの焦点距離の選択性が高いことにより、ここで重要なのは実距離ではなくカメラ視野内でのホームの構図となる。すなわち、画面に映ずるプラットホームの像が近景では画面の上下いっぱいに、遠景ではそのちょうど１／２の上下長に、広がりさえすればその実距離は問題ではなく、設置にあたってはホームの曲がり具合によってカメラ視野に映ずるホーム画面がそのようになるように適切な焦点距離のレンズを選択するだけの問題となるので前述の７０ｍという値は大きな任意性を持つ。

次に、プラットホーム縁ラインおよび線路位置が指定される(S2ステップ)。

次に、全測定点位置を決定し、測定点毎の「速さ感度」を決定する(S3ステップ)。
「測定点」の設定は、画面上のプラットホームの映像の遠近法に合わせて、オプティカルフローの測定点（以下「測定点」と称する）を配置する。

図６に画面上の測定点の配置の説明図を示す。

この図は、模式図であり、測定点数は実際の値に一致しない。実際の画面では、測定点や境界線を非表示にすることも可能である。

ユーザは横倒しの台形状をなすこの測定点分布範囲の内、プラットホーム縁の線（以下、この線を便宜上「境界線」と称する。）及び下端のほぼ線路に沿った線の２つとこの両者の水平方向の端位置を指定する。

これらの情報を基に測定点分布範囲の上端の辺と各測定点の位置、および測定点毎の「速さ感度」等を自動的に決める。

このように各測定点は画面上の座標の他に、その点でオプティカルフローを計測したり、その点から落下物追跡を開始する時に適用する「速さ感度」が決められている。

遠方では、より小さな動きに敏感に、近景では充分に大きな動きだけがオプティカルフローを発生させる。

また、ユーザが指定した境界線（プラットホーム縁の線）よりも上にあるか下にあるかという情報も各測定点には含まれる。

次に、落下警戒処理を行なう(図２のS4ステップ)。

図３に落下警戒処理の流れ図を示す。

まず、状態を「落下物検出モード」として、落下物検出処理を行なう(S11ステップ)。

図４に、落下物検出処理の流れ図を示す。

落下物検出処理は、オプティカルフローの測定を２〜３フレーム毎に行う。以後、これを１サイクルと称する。

計測されたオプティカルフローの分布状況から、落下物を抽出する。

すなわち、オプティカルフローのベクトル方向、集まり具合等の特徴を使い、人の落下の可能性のある落下事象を識別する。

まず、全測定点にてオプティカルフローを計算する(S21ステップ)。

次に、オプティカルフローの発生の有無を確認する(S22ステップ)。

オプティカルフローが発生していなければ、S21ステップに戻る。

一方、ある程度以上の大きさの下向きに近い方向のオプティカルフローを示した場合にはその測定点を「落下物候補的動き」と識別する。

それ以外の０でない動きを示した測定点は、「電車候補的動き」と識別する。

以降「電車候補的動き」を示した点と「落下物候補的動き」を示した測定点に対して、並行に同様の処理を行っていく。

ある閾値を超える大きさの動きを示した測定点から、ベクトルの大きさの情報を除いて、動きのあった点を１、なかった点を０とする２値マトリックス（その１）を作る(S23ステップ)。

オプティカルフローの計測結果は元来不安定なものなので、このマトリックスを用いて空間的な「穴埋め」を行う。

具体的には、ある測定点が「動きあり」だった場合にその周囲の隣接測定点も「動きあり」だったとしてしまうことによってこれを実現する。

空間的「穴埋め」を行った２値マトリックス（その１）を、適当な時定数を乗じて減衰させるようにして、さらに時間的にも拡張する(S24ステップ)。

「電車候補的動き」および「落下物候補的動き」のそれぞれについて、以上のように空間的、時間的に拡張したものを適当な閾値で切ることによって、ある測定点の位置に横向きの動きあるいは下向きの動きが存在するかどうかを決め、二値マトリックス（その２）を作製する(S25ステップ)。

「電車候補的動き」および「落下物候補的動き」それぞれの二値化マトリックスに対して、近傍ラベリングを行う。

ラベリングによって得られるのは「電車候補的動きの塊」と「落下物候補的動きの塊」の分布状況である(S26ステップ)。

これらの各塊の分布状況を基に、「落下物検出」、「電車進入検出」、「カメラ振動性検出」を識別する。

具体的には、「落下物候補的動きの塊」の内、以下の条件を満たすものをプラットホームからの「落下物検出」として識別する(S27ステップ)。

これらの条件の目的は、その「落下物候補的動きの塊」が電車やカメラ振動によるノイズでも小鳥のような小さな物体の動きでもないことを確実にすることにある。
(a)水平方向、上下方向にある程度以上の広がりがある。
(b)水平方向の広がりが、ある限界値を超えない。
(c)「境界線（プラットホームの縁）」よりも下に食い込んでいる。
(d)「境界線」よりも上にもはみ出している。
(e)条件(a)とは別に、ある程度以上の個数の「測定点」が構成要素となっている。
(f)この「落下物候補的動きの塊」の重心の近傍に、「電車候補的動きの塊」が存在しない。

条件(a)および(e)は「あまりにも小さな落下物は人間ではありえない」、という事実を反映する。

条件(b)はあまりにも空間的広がりの大きな「落下物候補的動きの塊」が観測された場合、それはカメラ自体の上下振動によって視野全体が動いている可能性が高いことによる。

また、人物の場合は、ある広がりより大きくならないためである。

条件(c)と(d)は合わせて、その「落下物候補的動きの塊」がプラットホームのエッジを越えてまさに落ちつつあることを要求する。

条件(f)は、その「落下物候補的動きの塊」が、視野内の電車の横方向の動きによって偶然現れた偽の下向きの動きではないことをより確実にするためのものである。

また、ラベリングによって得られた「電車候補的動きの塊」の内、ある程度以上の広がりのあるものの分布のＯＲをとった物の画面内の幅と高さを求める。これがある決まった値を超えた時、画面内で電車が動いている「電車進入検出」として識別する。

また「電車的候補の動きの塊」と「落下物候補的動きの塊」の両者を併せて同じ処理を行った結果の幅と高さがある値を超えた場合、カメラ全体が振動した「カメラ振動性検出」として識別する。

いずれの場合も、電車進入事象およびカメラ振動事象としてその発生の記録を一定期間保持し、後に人物落下警報発令の可否の判断の材料のひとつとして使う。

こうして「落下物」が検出されると、状態を「落下物追跡モード」に変更し、次の処理からはその落下軌跡の追跡を行う。

まず、落下物の追跡開始処理を行なう(図３のS12ステップ)。

検出された「落下物」について、軌跡の追跡が開始される。

落下物が検出された直後にその「塊」を中心とするある程度広い範囲の測定点すべての中から下向きのフローが明瞭に読みとれるものをリストアップし、リストアップされた測定点を落下物の軌跡追跡に用いる「追跡点」の初期位置とし、追跡処理に移る。

また、落下物の位置の初期値として「落下物」を構成する測定点の重心を用いるが、これは本質的ではない。なぜなら、落下物の判別においては軌跡の位置よりもむしろそれ以外のさまざまな属性に注目するからである。

次に、落下物の追跡処理を行なう(S13ステップ)。

追跡は、動きがはっきりと検出される「追跡点」すべての平均的なフローによって行う。

以降、「追跡点」の平均的な動きを求め、その結果に合わせて全「追跡点」の位置をずらすことによって落下物の位置を推定し続ける。「追跡点」は、落下物追跡が続く限り、落下物の現在の重心の近傍で下向きの動きのある測定点をピックアップすることによってサイクル毎に新たに追加していく。

「追跡点」の数が０になるか、あるいは１５サイクルの追跡を全うした時点で追跡を終了する。

追跡の結果、最大１５サイクル分の落下物軌跡情報が得られる。

落下物軌跡情報は、各サイクル毎に以下の情報を含む。

落下物の位置、落下物の１サイクルあたりの移動量、落下物の追跡に使用することのできた追跡点の数、落下物の追跡に使用した各追跡点毎の動きベクトルである。

追跡処理が正常に終了したか否かをチェックする(S14ステップ)。

具体的には、少なくとも５サイクルの追跡完遂を待たずして追跡点の数が０になってしまった場合は、この落下物の追跡に失敗したかあるいはこの落下物は追跡できるほどしっかりと落下し続けるものではないノイズのようなものである、として落下物検出処理に戻る。

落下物の軌跡追跡に成功した場合、状態を「落下物判別モード」として、落下物判別処理に移り、落下物判別処理を行なう(S15ステップ)。

落下軌跡からの落下物の種類の判別である。

落下物判別処理において、得られた落下物軌跡情報を以下に述べる手順で分析し、その落下物が「人物」であるか「非人物」であるかを判別する。

図７に、落下軌跡の説明図を示す。

まず、軌跡をその開始時点から走査し、図７に示すような比較的直線的に動いている部分を切り出す。そこを便宜的に「直線期間」と呼ぶ。多くの落下物においてこの期間の落下軌跡はほぼ下を向いたきれいな直線状を呈する。

落下物の軌跡の走査が完了すると、落下軌跡、落下の直線期間、および落下の全追跡点の移動履歴を画面に表示する。

また、落下軌跡情報および軌跡追跡開始直前の落下物を構成した測定点のオプティカルフローの情報から、落下物の判別に使用する属性を取り出す。

属性の一例を次に示す。
(a)垂直方向を０とした時の、直線期間の軌跡の傾きの絶対値[deg]。
(b)直線期間の落下軌跡の、その部分に当てはめた回帰直線からの水平方向ばらつき具合。
(c)直線期間の軌跡の上下長。
(d)直線期間中に含まれる、上向き運動の割合。
(e)直線期間中の下向きの動きの平均値。
(f)その他
落下物およびその落下軌跡についての様々な属性を判別器に入力し、その出力としてこの落下物が「人物」「非人物」のいずれに該当する可能性が最も高いか、というクラス判別結果を得る。

判別器として、データマイニング手法のひとつとして広く知られる「決定表」を用いる。

あらかじめ多数の教師データを用いて製作した決定表を、プログラム内部に組み込むことによって判別器の実装を行う。

また、人物と判定する能力の低い他の判別手法、たとえばマハラノビス汎距離による判定などを並行して行い、判定結果をユーザの参考とするために出力する。

この場合は、安全のため、判別できなかったものは、人物として出力する。

判別の結果、落下物が「人物」と判断された場合、直前および直後に電車侵入あるいはカメラ振動と思われる事象の発生がなかったことを確認した後、警報を表示部８に表示するとともに、警報部１０により音声または音で、駅員に通知する。

以上により、ステレオ視やスイッチマットなどの従来手法に比較して、より少ないカメラの個数にて、より広い範囲の駅ホーム等における人物転落等の落下物を、より確実に検出することが可能となる。

以上の実施例１を含む実施形態に関し、更に以下の付記を開示する。
（付記１）所定場所を撮影する撮影手段により撮影された画面を基に、落下物を検知する落下物検知装置であって、画面上の所定領域内に、複数のオプティカルフロー測定点を設定するオプティカルフロー測定点設定手段と、設定された測定点を基に、撮影された落下物のオプティカルフローを検出するオプティカルフロー検出手段と、検出されたオプティカルフローを基に、落下物を検出する落下物検出手段と、検出された落下物の落下の軌跡を追跡する落下軌跡追跡手段と、検出された落下物及び落下物の落下の軌跡を基に所定の落下物か否かを判別する落下物判別手段とを有することを特徴とする落下物検知装置。
（付記２）オプティカルフロー測定点設定手段は、画面上の各測定点におけるオプティカルフローの大きさに対する感度を、撮影手段から遠方の風景に対しては密かつ高感度に、撮影手段に近い風景に対しては疎かつ低感度に、設定することを特徴とする付記１記載の落下物検知装置。
（付記３）落下物検出手段は、測定点にて検知されたオプティカルフローを水平方向に近いものと垂直方向に近いものとに分類し、各方向の落下物の塊について、所定の大きさか否かを判断し、所定の大きさのときには、落下物が人物の落下なのかそれ以外の物体の通過なのかを判定する付記１記載の落下物検知装置。
（付記４）落下物検出手段は、測定点にて検知されたオプティカルフローの画面全域における分布が所定の大きさのときには、撮影手段の振動によって起こった偽りのオプティカルフローと判定する付記１記載の落下物検知装置。
（付記５）所定場所を撮影する撮影手段により撮影された画面を基に、落下物を検知する落下物検知方法であって、画面上の所定領域内に、複数のオプティカルフロー測定点を設定するオプティカルフロー測定点設定ステップと、設定された測定点を基に、撮影された落下物のオプティカルフローを検出するオプティカルフロー検出ステップと、検出されたオプティカルフローを基に、落下物を検出する落下物検出ステップと、検出された落下物の落下の軌跡を追跡する落下軌跡追跡ステップと、検出された落下物及び落下物の落下の軌跡を基に所定の落下物か否かを判別する落下物判別ステップとを有することを特徴とする落下物検知方法。
（付記６）所定場所を撮影する撮影手段により撮影された画面を基に、落下物を検知する落下物検知プログラムであって、画面上の所定領域内に、複数のオプティカルフロー測定点を設定するオプティカルフロー測定点設定ステップと、設定された測定点を基に、撮影された落下物のオプティカルフローを検出するオプティカルフロー検出ステップと、検出されたオプティカルフローを基に、落下物を検出する落下物検出ステップと、検出された落下物の落下の軌跡を追跡する落下軌跡追跡ステップと、検出された落下物及び落下物の落下の軌跡を基に所定の落下物か否かを判別する落下物判別ステップとをコンピュータに実行させるための落下物検知プログラム。
（付記７）落下物判別手段は、直線期間の軌跡の傾きの絶対値、直線期間の落下軌跡のその部分に当てはめた回帰直線からの水平方向ばらつき具合、直線期間の軌跡の上下長、直線期間中に含まれる上向き運動の割合、直線期間中の下向きの動きの平均値を基に判別することを特徴とする付記１記載の落下物検知装置。

本発明は、駅ホームにおける転落者を検出する落下物検知装置を提供する用途に適用できる。

実施例の落下物検知装置の構成図 実施例の落下物検知装置の処理の流れ図 落下警戒処理の流れ図 落下物検出処理の流れ図 カメラの配置図 画面上の測定点の配置の説明図 落下軌跡の説明図

符号の説明

１ 落下物検知装置
２ 撮影部
３ 画面処理部
４ 落下物検出処理部
５ 落下物追跡処理部
６ 落下物判別処理部
７ 警報処理部
８ 表示部
９ 入力部
１０ 警報部

Claims (4)

1. 所定場所を撮影する撮影手段により撮影された画面を基に、落下物を検知する落下物検知装置であって、
   画面上の所定領域内に、複数のオプティカルフロー測定点を設定するオプティカルフロー測定点設定手段と、
   設定された測定点を基に、撮影された画面の中からオプティカルフローを検出するオプティカルフロー検出手段と、
   前記測定点にて検知されたオプティカルフローを水平方向に近いものと垂直方向に近いものとに分類して各方向の前記オプティカルフローの塊を求め、前記塊が所定の大きさか否かを判断し、所定の大きさのときには、前記塊が落下物の落下なのかそれ以外の物体の通過なのかを識別する落下物検出手段と、
   前記落下物検出手段により落下物と識別された場合には、前記落下物の落下の軌跡を追跡する落下軌跡追跡手段と、
   前記検出された落下物及び落下の軌跡を基に人物の落下か否かを判別する落下物判別手段とを有することを特徴とする落下物検知装置。
   
2. オプティカルフロー測定点設定手段は、画面上の各測定点におけるオプティカルフローの大きさに対する感度を、撮影手段から遠方の風景に対しては密かつ高感度に、撮影手段に近い風景に対しては疎かつ低感度に、設定することを特徴とする請求項１記載の落下物検知装置。
   
3. 落下物検出手段は、測定点にて検知されたオプティカルフローの画面全域における分布が所定の大きさのときには、撮影手段の振動によって起こった偽りのオプティカルフローと判定する請求項１記載の落下物検知装置。
   
4. 所定場所を撮影する撮影手段により撮影された画面を基に、落下物を検知する落下物検知方法であって、
   画面上の所定領域内に、複数のオプティカルフロー測定点を設定するオプティカルフロー測定点設定ステップと、
   設定された測定点を基に、撮影された落下物のオプティカルフローを検出するオプティ
   カルフロー検出ステップと、
   前記測定点にて検知されたオプティカルフローを水平方向に近いものと垂直方向に近いものとに分類して各方向の前記オプティカルフローの塊を求め、前記塊が所定の大きさか否かを判断し、所定の大きさのときには、前記塊が落下物の落下なのかそれ以外の物体の通過なのかを識別する落下物検出ステップと、
   前記落下物検出ステップにより落下物と識別された場合には、前記落下物の落下の軌跡を追跡する落下軌跡追跡ステップと、
   検出された落下物及び落下物の落下の軌跡を基に人物の落下か否かを判別する落下物
   判別ステップとを有することを特徴とする落下物検知方法。

Images