JP4025007B2 - 踏切障害物検知装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、カメラ映像を用いて踏切内の障害物検知を行う踏切障害物検知装置に関するものである。
【０００２】
【従来の技術】
道路と平面交差する鉄道の踏切内は、通行車両が立ち往生したような場合に、これを検知して通過列車の運転士に知らせるようにしたシステムが設置されている。例えば、光源と受光器とを踏切の車両通行路を横断して対向配置し、踏切遮断機が降りて、一般車両が踏切内を通行できなくなった状態になると動作させて、踏切内の障害物が前記光源‐受光器間の光路（検出光路）を遮断すれば光電検出により障害物が踏切内にあることを検知するというシステムである。
【０００３】
このシステムは、このようにして障害物を検知すると進行してくる列車の運転士に危険を知らせるべく、踏切手前の線路際に設けた障害物警報灯を点灯させる。
【０００４】
このようにして踏切内の障害物と列車との衝突を未然に防ぐようにするが、踏切内に検出光路を多数、張り巡らさないと万全ではなく、また、踏切内を通過した車両が積載していた荷物などの落下物が踏切の線路内に残されてしまったような場合や、通行人、動物、自転車等は検知できないことが多い。
【０００５】
【発明が解決しようとする課題】
このように、従来の光電式の障害物検知システムは、踏切内に張り巡らせた検出光路を障害物が遮断することにより、検知する仕組みであり、検出光路は踏切内に密に張り巡らせないと、検出能力は万全ではない。しかし、軌道内には設置でないことから、検出可能なエリアは踏切内のごく一部領域にとどまることになり、能力的に不完全である。しかも、踏切を通過した車両に積載されていた荷物が線路上に落下して障害物となっている場合や、人、自転車などは検知できないことが多い。
【０００６】
従って、踏切内を広くカバーしてしかも高精度に障害物の検知ができる踏切障害物検知装置の開発が嘱望されている。
【０００７】
そこで、本発明の目的とするところは、画像による踏切障害物検知を行う方式を採用することにより、踏切内を広くカバーして高精度に障害物の検知ができるようにした踏切障害物検知装置を提供することにある。
【０００８】
【課題を解決するための手段】
上記の目的を達成するために、本発明は次のように構成する。すなわち、本発明は、踏切内の監視領域に向けて少なくとも左右一対のカメラを配置し、これらのカメラにて得た前記監視領域の左右画像を取得すると共に、第１段階の処理として左右画像のうちの片画像を用いて非定常領域判別法（単眼での映像変化検出）により画像中の変化部分を抽出し、変化部分が抽出されたときは、第２段階の処理として左右画像を用いた平面投影ステレオ法による変化部分の画像を検証して監視領域内の障害物検知を行う踏切障害物検知装置において、
前記カメラの画像は左右画像が同一タイミングの撮影画像となるよう、同期をとる同期手段を設けたことを特徴とするものであり、前記同期手段は、同期信号を発生する同期信号発生手段とこの同期信号にてフレーム読み出しの制御がなされる左像用および右像用の画像メモリとから構成され、前記左右一対のカメラは、撮像して得られる画像をフレーム単位でそれぞれ対応する画像メモリに記憶させ、この画像メモリから読み出される画像を用いて前記障害物検知を実施させるようにしたことを特徴とするものである。
【０００９】
また、前記同期手段は、同期信号を発生する同期信号発生手段とこの同期信号にてフレーム読み出しの制御がなされる左像用および右像用のタイムベースコレクタ装置とから構成され、前記左右一対のカメラは、撮像して得られる画像をフレーム単位で同期させて得た画像を用いて前記障害物検知を実施させるようにしたことを特徴とするものである。
【００１０】
本発明は、踏切内の監視領域に向けて少なくとも左右一対のカメラを配置し、これらのカメラにて得た前記監視領域の左右画像を取得すると共に、第１段階の処理として左右画像のうちの片画像を用いて非定常領域判別法（単眼での映像変化検出）により画像中の変化部分を抽出し、変化部分が抽出されたときは、第２段階の処理として左右画像を用いた平面投影ステレオ法による変化部分の画像を検証して監視領域内の障害物検知を行うが、これに用いる前記カメラの画像は左右画像が上記構成によって同一タイミングの撮影画像となるよう調整可能になるものである。
【００１１】
そのため、踏切内の監視対象領域内を撮像視野とするカメラの画像は左右画像が同一タイミングの撮影画像となるようにして、障害物検知に利用することができるから精度良くまた、信頼性を以て監視領域内の障害物を検知することができるようになり、また、踏切内の監視対象領域内を撮像視野とするカメラの画像で障害物検知をすることから、踏切内の広い領域を監視対象としてしかも、高信頼性を以て障害物検知ができるようになる。
【００１２】
また、本発明では踏切遮断機による踏切遮断時に前記障害物検知による障害物が検知されたとき、警報を発生する警報手段を更に備えた。
【００１３】
これにより踏切遮断時に、障害物があれば列車にしらせることができるようになり、踏切内の広い領域を監視対象としてしかも、高信頼性を以て障害物検知できて、危険をいち早く列車に通報できる踏切障害物検知装置が提供できる。
【００１４】
【発明の実施の形態】
本発明は、踏切内をとらえた映像をもとに、踏切遮断時の踏切内の障害物の有無を高精度に検知できて信頼性の高い踏切障害物検知装置を提供するものであり、以下、図面を参照して本発明の一実施形態を詳細に説明する。
【００１５】
（画像による踏切障害物検知）
本発明は、踏切内の監視対象領域に向けて左右一対の撮像装置（テレビカメラ等）を配置し、第１段階の処理として左右画像のうちの片画像を用いて、非定常領域判別法（単目での映像変化検出）により画像中の変化領域が検出されたときにステレオ法による判別を実施し、障害物の有無を検知することにより、精度良く、しかも、広い領域をカバーして踏切内の障害物を検知できるようにしたものである。
【００１６】
ステレオ撮影するのは、天候変化などによる路面上の平面的な変化（影等）を除去し、高さのある物体を見つけるためである。監視対象領域を２台のカメラで左右から撮影し、平面投影ステレオ法により、当該監視対象領域について画像変換及び比較を行うことで障害物（高さのある物体）を検知する。カメラの撮影視野は監視対象領域の外側をも含むので、画像内から監視対象領域だけ、注目するかたちで、切り出す。切り出した画像は左画像と右画像で見る方向が違うのでかたちが両者で異なってしまう。従って、切り出した画像のうち、一方の画像は他方の画像と合わせ込むことができるよう、座標変換処理する。そして、左画像および右画像それぞれから背景画像を除去し、更に正規化する。そして、左右画像の異なる部分を抽出する。この抽出した画像が、踏切内の障害物画像である。
【００１７】
踏切障害物検知装置は原理的にはこのようなかたちで障害物を検知するが、実際に障害物検知するタイミングは、踏切遮断機が降りて、踏切の通行が遮断された段階である。
【００１８】
踏切障害物検知装置は、踏切配置構成を含めて図１のように構成する。図１において、Ａは鉄道軌道（線路）、Ｂは踏切、Ｃは踏切Ｂに接続される道路、Ｄは遮断機遮断位置、Ｅは自動車（通行車両）、Ｆは鉄道軌道Ａ上を通過する列車、Ｇは踏切内を照明する照明灯である。
【００１９】
１１ａ，１１ｂは、カメラ（撮像装置）であり、第１カメラ１１ａは左画像用、そして第２カメラ１１ｂは右画像用である。これら第１及び第２カメラ１１ａ，１１ｂは、線路脇の支柱にあるいは、スパン線柱等を利用して高い位置に取り付けられ、踏切内を撮像視野に収めるべく、設置される。左右一対のカメラ１１ａ，１１ｂは、踏切Ｂの片側から対岸方向を見るかたちで踏切内を監視する。ここで、上述のスパン線柱とは、高さ制限を越えた車両踏切内に進入し、架線に引っかかる前に進入車両の運転手に知らせる目的で、踏切遮断機より外側に踏切道を幅方向に横断して設置されるスパン線（ゴム製の架空線）を張り渡すための一対の柱のことである。
【００２０】
１００は踏切障害物検知装置であり、カメラ１１ａ，１１ｂから得た踏切の左右画像を元に、画像処理して監視領域内の障害物の有無を検出する。
【００２１】
具体的には次のようにする。まずは、踏切道検知領域内の障害物有無を判定する画像処理アルゴリズムを説明する。
【００２２】
＜画像処理アルゴリズム＞
本発明においては、スパン線柱や支柱等を利用して、監視対象の踏切内を撮影野とするカメラを２台設置する。
【００２３】
設置された２台のカメラ（図１参照）の映像は踏切障害物検知装置１００内の画像処理装置ＰＣに逐次送られ、以下に述べる画像処理手法により障害物領域検出ならびに障害物有無の判定が行われる。処理は大きく分けて次の２つの段階から構成される。
【００２４】
［段階１］ 非定常領域判別法（単眼での映像変化検出；図２参照）
［段階２］ ステレオ法（平面投影ステレオ法による検証；図１参照）
すなわち、まずはじめに、踏切道に進入する車両等の障害物により生じる映像変化を、カメラ１台の映像から検知する（［段階１］）。そして、障害物が検知されたならば、次に、障害物以外の天候変化等による誤検出を除去するため、２台のカメラを用いたステレオ法により、変化検出の検証を行う（［段階２］）という処理構成となっている。処理の流れを図３に示す。
【００２５】
非定常領域判別法による映像変化検出は、画像入力（ステップ３０１）があった後、
［ａ］マスク処理（ステップ３０２）
［ｂ］輝度補正（ステップ３０３）
［ｃ］背景画像修正更新（ステップ３０４）
［ｄ］変化量算出（ステップ３０５）
［ｅ］変化領域選択（ステップ３０６）
の各ステップから成っており、背景画像作成は変化量算出ならびに変化領域選択と並列実行されるようになっている。
【００２６】
また、ステレオ法は、
［ｆ］画像変換（ステップ３０７）
［ｇ］画像正規化（ステップ３０８）
［ｈ］差分処理（ステップ３０９）
［ｉ］高さ検証（ステップ３１０）
［ｊ］物体有無判定（ステップ３１１）
の各ステップから成っている。各ステップにてどのように画像処理が進むかを模擬的に表したものを図４に示し、以降で順に説明する。
【００２７】
本発明においては、はじめに非定常領域判別法（単眼での映像変化検出）を行い、映像の変化部分が見つかったならば、次にステレオ法（平面投影ステレオ法による検証）を行って誤検知を防止できるようにし、検知精度と信頼性を確保できるようにしている。ここで、非定常領域判別法とは、次のような判別法である。
【００２８】
＜非定常領域判別法＞
非定常領域判別法は、映像の変化検出に用いられる方法であって、１台のカメラで捉えた映像のみで変化検出することにより、得られた変化分の画像から障害物の有無を検出するものである。この非定常領域判別法の基本原理は、背景画像と今撮影した画像との間での差異を検出するというものであるが、画像間の差分を用いることから、天候の変化や、太陽の位置変化などにより、画像の状態や影の変化などの影響を受ける。
【００２９】
変化検出を以て障害物の有無を検知する方式を採用する以上、変化検出において誤検出をできる限り減らすことが、後段のステレオ法処理の性能向上に貢献するので、本発明においては、変化検出段階で天候変化等の環境条件変動に起因する映像変化を補正し、どのような環境条件のもとでも正しく背景画像を作成できるようにすることが重要である。
【００３０】
非定常領域判別法を用いる第１段階の処理においては、画像の変化検出には、設置された２台のカメラ１１ａ，１１ｂのうち、一方のみを用いる。我が国では自動車は道路を左側通行する決まりとなっているため、カメラに対面して通行する車両を確実に検出できるよう、踏切内の監視領域に対向して右側に設置したカメラ（図２のカメラ１１ｂ）の映像を用いる。
【００３１】
右側カメラ１１ｂの映像は、画像処理計算量とコンピュータの処理性能の都合上、５［フレーム／秒］程度の速度でコンピュータ（画像処理装置）ＰＣに取り込まれる。ここで云うコンピュータＰＣは踏切障害物検知装置１００を構成する処理中枢要素としてのコンピュータである。踏切障害物検知装置１００ではこの右側カメラ１１ｂの映像を用いて、非定常領域判別法による障害物の有無を検知するわけである。
【００３２】
取り込まれた映像はまずマスク処理が施される。
【００３３】
［ａ］ マスク処理（ステップ３０２）
すなわち、コンピュータＰＣに取り込まれた画像（図４の状態（４０１））は、まず最初にマスクを用いてマスク処理が施され、マスク内の画像（必要な領域のみの画像）を抽出する（図４の状態（４０２））。マスク処理により、検知領域外の映像変化、すなわち、監視対象領域外の不要な像を容易に除去でき、かつ、不必要な画像処理を削減して計算量を減少できる。マスクとしては、踏切道領域のみが含まれるよう、収録映像を確認しながら予め手作業にて作成したものを用いる。
【００３４】
マスク処理により監視対象領域内部分のみが抽出されたかたちの画像に対して輝度補正を施す。
【００３５】
［ｂ］ 輝度補正（ステップ３０３）
輝度補正は、画像を構成する画素の輝度値を補正する処理である。
【００３６】
急な天候変化や画面内への物体侵入に伴うカメラのＡＧＣ（自動利得制御）補正およびレンズの自動絞り調整機能による絞り調整動作に伴って、映像の全画面的な輝度変動が発生する。そして、この全画面輝度変動が発生した場合に補正を施さないと、天候変化等を誤って検出したり、後述の背景画像作成が適正に行われないといった問題が発生ずる。
【００３７】
従来法としては、画像中に予め参照点を設定し、その個所での輝度変化から補正を行う方法があるが、
［ｉ］ 車両等が参照点を通過すれば容易に補正を誤る、
［ii］ 参照点が適正に設定されているかどうかは長期間にわたる映像確認が必要となる
等、実用には多くの問題がある。
【００３８】
本発明システムでは、これらの不具合を解消する仕組みを持っている。これは背景画像との差画像のヒストグラムから変動レベルを推定するというものであり、参照点の設定を必要とせず、どの領域を物体が通過しても支障がないといった特徴がある。
【００３９】
仕組みの詳細は次の通りである。
予め背景画像が作成されているとする（作成方法は“ステップ３０４）”に記載）。そして、この背景画像と今撮影した画像とで画像間差分処理を行い、背景画像との差分の画像を得る。この差分画像は現画像から背景画像を除去した画像である。次に、得られたこの差分画像に対しての輝度ヒストグラムを求める。輝度ヒストグラムの典型例を図５に示す。差分画像の輝度ヒストグラムは、図５に示すように、輝度変動が無い場合にはヒストグラムは符号Ｉを付して示す特性曲線のように、“０”をピークとする単峰正規分布となるが、輝度変動と共に物体やヘッドライトの侵入がある場合では、符号IIを付して示す特性曲線のように、複数の峰を持つ複雑なヒストグラムとなる。
【００４０】
このような場合においても、背景領域に属する峰のピーク位置を正しく求められるよう、ＥＭ法（ＥＭ：Expectation−Maximization、期待値最大化法）を用いてヒストグラムを複数の正規分布の和で近似する。
【００４１】
近似した後、背景に属する輝度変動のピークを求め、その変動値だけ全画面の輝度を補正する（図４の状態（４０３））。
【００４２】
（参考文献；N．Friedman and Russell， Image Segmentation in Video Sequences： A Probabilistic Approach， in Proc. of 13th Conf. on Uncertainty in Artificial Intelligence(UAI'97)，1997．参照）
このようにして全画面の輝度値を補正するが、時刻経過による長時間のゆっくりした輝度変動にも適応できるよう、輝度補正に不感帯を設ける。そして、これにより、変動値が小さな場合には補正を行わないようにしている。
【００４３】
輝度補正が終わると、この輝度補正済みの画像から次のようにして変化分抽出と背景画像修正更新を実施する。
【００４４】
［ｃ］ 背景画像修正更新（ステップ３０４）
後述するように、［ｄ］の変化量算出の処理においては、輝度補正済みの画像から変化分を抽出するにあたり、背景画像を用いる。
【００４５】
背景画像は、予め侵入物の存在しない映像が撮影できる場合に限り、その時の画像を流用すれば容易に取得できる。しかし、監視対象が踏切であるから、環境変化をもろに受ける。従って、刻々と変化する環境状況に合わせて背景画像は刻々と修正されなければならない。この修正は一般的には、最新の画像を用いれば容易に作成できる。しかし、無用な像が一時的に写り込んだ映像を背景画像の更新に使用してしまう可能性もあるから、そのような映像からでも適正な背景画像を作成でき、かつ、刻々と変化する環境状況に合う背景画像を逐次更新できる方法が必要となる。本発明システムでは次のようにして背景画像を逐次更新する。
【００４６】
検知領域内に車両等の物体侵入がある場合の、ある画素での輝度変化を図６に模式的に示す。当該図６で示される期間の画像を単純に加算して背景画像を作成すれば侵入物が加算された不適正な背景画像が得られることになる。
【００４７】
そこで、以下のようにメディアン・フィルタ（一般的にはランク・フィルタ）を適用することにより、侵入物の存在する期間を除外して最適背景画像を作成することができる。
【００４８】
（参考文献；H．Nakai， Non-parametarized Bayes Decision Method for Moving Object Detection， in Proc. of 2nd Conf. on Computer Vision(ACCV'95)，pp．447-451，1995．参照）
まず、画像加算する期間を複数に分割し、各期間にて作成した背景輝度値群に対しメディアン・フィルタを適用する。つまり、画素（ｘ，ｙ）において、各期間ｎ＝１，…，Ｎ毎に画像加算を行い、背景画像Ｂ^ｎ _ｍ（ｘ，ｙ）を求める。これに対し、メディアンフィルタを適用することにより、次のようにして背景画像Ｂm（ｘ，ｙ）を求める。
【００４９】
Ｂm（ｘ，ｙ）＝median{Ｂ^１ _ｍ（ｘ，ｙ），Ｂ^２ _ｍ（ｘ，ｙ），…Ｂ^Ｎ _ｍ（ｘ，ｙ）}
この手順により、無用な物体侵入のある映像からでも、適正な背景画像を作成することができる（図４の状態（４０４））。このとき、同様にして各期間での各画素での標準偏差Ｂ^ｎ _Ｓ（ｘ，ｙ）も求めておき、同様にメディアンフィルタを適用することにより背景標準偏差画像を作成する。
【００５０】
Ｂ_Ｓ（ｘ，ｙ）＝median{Ｂ^１ _Ｓ（ｘ，ｙ），Ｂ^２ _Ｓ（ｘ，ｙ），…Ｂ^Ｎ _Ｓ（ｘ，ｙ）}
このようにして、輝度補正済みの画像から侵入物のない、しかも、現在の環境状況に適合した背景画像を更新取得する。
【００５１】
［ｄ］ 変化量算出処理（ステップ３０５）
変化量算出処理は、画像の変化領域を検出するための前処理である。ここでは、背景画像に対する画素毎の偏差値を求めるようにする。すなわち、背景画像に対する偏差画像として得るわけである（図４の状態（４０５））。
【００５２】
本発明では、［ｃ］背景画像修正更新で述べたように、背景の輝度平均画像に加えて標準偏差画像も求めていることから、画素毎に背景からの偏差を求めることにより、映像の変動量を算出する方式を採用するのである。
【００５３】
この方式によれば、環境変動の多寡が画素毎の標準偏差という指標で表されるため、偏差値対応の調整を施すことにより、画素毎に検出感度が自動調整され、かつ、統計的に知られた値に閾値を設定できる、といった特徴を享受できる。
【００５４】
時刻ｔ，画素（ｘ，ｙ）での偏差Ｄは
Ｄ（ｘ，ｙ）＝｛Ｉ（ｘ，ｙ）−Ｂm（ｘ，ｙ）｝／Ｂ_Ｓ（ｘ，ｙ）
のように容易に求めることができる。
【００５５】
このようにして、偏差画像を得るが、この段階では背景画像に対する各対応画素毎の偏差で表現されたものであるから、画像中の変化領域を検出するためには、ある閾値で差分画像を二値化することが必要となる。そして、通常、上記の閾値は、経験的に最適な値となるよう決定される。
【００５６】
しかし、背景変動のない静的な環境下においては、閾値を経験的に決定したとしても問題なく侵入物検出ができる場合もあるが、本発明システムが監視対象とする施設は踏切であって、長期間にわたる屋外での画像監視を強いられるものであり、このような場合には、最適な閾値は刻々と変化する。環境条件が刻々と変化していくからであり、簡単には対応できない。
【００５７】
本発明システムでは、このように環境変動の多寡が画素毎の標準偏差という指標で表されるため、画素毎に検出感度が自動調整され、かつ、統計的に知られた値に閾値を設定できるので、閾値に対する問題を回避できる。
【００５８】
偏差画像に対して、閾値を用いて二値化処理すると、画像中の変化領域の白黒画像が得られる。この画像から次に変化領域の選択を行うことになる。
【００５９】
［ｅ］ 変化領域選択（ステップ３０６）
ここでは、［ｄ］の変化量算出処理ステップで得た白黒画像（画像中の変化領域の白黒画像）には、ノイズ分が含まれているので、この画像中から連続する画素の塊を抽出して障害物の画像部分のみを抽出する必要がある。これが変化領域選択である。
【００６０】
変化領域を選択するには、二値化・ラベリング・領域選択の各ステップを経ることになるが二値化までの処理は“［ステップｄ］”において終了している（変化量画像（偏差画像）を二値化して白黒画像を作成するまでの処理を終えている）。
【００６１】
そのため、ここでは上記の白黒画像に対し、画素が連結している領域毎に個々の面積等の特徴量を算出できるようにするために、ラベリング処理を行う。例えば、８画素程度を単位とした画素の塊にラベルをつけていくが、画素の塊同士が互いに連結関係があれば、画素の塊それぞれに同一ラベルを付して、同一ラベル名のものを集めると塊同士が集合した領域がわかる。
【００６２】
こうしてラベリングが終わると、関連ある領域がわかるので最後に、最大面積および第２位の面積を持つ領域を選択し、抽出して映像変化領域のみを切り出した画像を作成する（図４の状態（４０５））。
【００６３】
以上が非定常領域判別法による映像の変化検出である。
【００６４】
上述の［ｅ］変化領域選択処理ステップで得た画像を、変化検出段階での処理結果として、次のステレオ法処理へ回し、検証を行って侵入物の有無を判定する。なお、このステップでの画像処理の詳細は、例えば以下に記載されている。（参考文献；高木幹雄 他編，画像解析ハンドブック，ＩＳＢＮ ４−１３−０６１１０７−０， 東京大学出版会参照）
＜ステレオ法（平面投影ステレオ法＞
変化検出段階において、物体侵入により起こる映像変化が検出されるが、同時に環境変動に伴って発生する局所的な映像変化も検出される。局所的な映像変化には、ヘッドライトや照明灯のレールや路面での反射、監視領域外に設置されている架線や電柱の影、さらに、遮断機の上下動、樹木や旗の揺らぎ等がある。これら局所的な環境変動を除外して侵入物のみを正しく検出できるよう、検知された画像領域の高さ情報を獲得し、変化領域が侵入物に起因するか否かを判定することが、ステレオ法処理の目的である。
【００６５】
［ｆ］ 画像変換処理（ステップ３０７）
検知領域中の全画素点が踏切道路面上に存在すると仮定し、第１カメラ１１ａの画像Ｉ１から、第２カメラ１１ｂの見え方に変換した画像Ｉｍを作成する。路面の模様や影のように道路面上に存在するものは、第１カメラ１１ａの変換画像Ｉｍと第２カメラ１１ｂの画像Ｉ２で同位置を占めるが、車両や歩行者など道路面と高さが異なるものは、ＩｍとＩ２で位置が異なる。このため、ＩｍとＩ２の各画素において違いを調べ、差異の大きい領域を侵入物として検出すれば良いことになる。これが平面投影ステレオ法の原理である。
【００６６】
まず、踏切道路面は平面で近似できるものと仮定する。第１カメラ１１ａの画像を道路平面上に投影し、さらに投影された平面領域を第２カメラ１１ｂからの見え方に変換する。図７に示すように、第１カメラ１１ａの座表系をＯ−ＸＹＺ、第２カメラ２ １１ｂの座標系をＯ′−Ｘ′Ｙ′Ｚ′、両カメラ１１ａ，１１ｂの焦点距離をｆ、カメラ１ １１ａの画素（ｘ，ｙ）の点を道路平面上へ投影した点をＰ、Ｐをカメラ２ １１ｂの画像面へ投影した位置を（ｘ′，ｙ′）とすると、（ｘ，ｙ）と（ｘ′，ｙ′）の間には以下の関係式が成り立つ。
【００６７】
（参考文献；金谷健一，画像理解−３次元認識の数理，ＩＳＢＮ ４−６２７−８２１４０−９，森北出版、参照）
ｘ′＝ｆ（（Ｍ11ｘ＋Ｍ21ｙ＋Ｍ31ｆ）／ （Ｍ13ｘ＋Ｍ23ｙ＋Ｍ33ｆ））
ｙ′＝ｆ（（Ｍ12ｘ＋Ｍ22ｙ＋Ｍ32ｆ）／ （Ｍ13ｘ＋Ｍ23ｙ＋Ｍ33ｆ））
ここで、Ｍij（ｉ＝１．．．３，ｊ＝１．．．３）は変換パラメータであり、第１，第２カメラ１１ａ，１１ｂの各画像面において、道路面上に存在する対応点の位置（ｘ，ｙ），（ｘ′，ｙ′）の組を５個以上与えれば、最小自乗法により求めることができる。実際には、第１，第２カメラ１１ａ，１１ｂを設置した後、両方のカメラから共通に見える路面上の特徴点（レールやコンクリート面のテクスチャの交点や角点等）を５点以上対話的に選んで変換パラメータＭijを求める。
【００６８】
カメラは固定されているので、変換パラメータＭijはカメラ設置時に一度だけ求めれば済む。このようにして求めた変換パラメータＭijとレンズの焦点距離ｆとを用い、第１カメラ１１ａの各画素（ｘ，ｙ）の変換後の位置（ｘ’，ｙ’）を前述の式より求め、第１カメラ １１ａの変換画像Ｉｍ（ｘ，ｙ）を作成する。ここでは、変化検出領域に対応する部分のみを切り出す（図４の状態（４０６））。
【００６９】
［ｇ］ 画像正規化（ステップ３０８）
次いで、第１カメラ１１ａの変換画像Ｉｍ（ｘ，ｙ）と同時刻の第２カメラ１１ｂの画像Ｉ２（ｘ，ｙ）との間で対応画素の差を算出するが（図４の状態（４０７））、実際には各カメラの向きと光源（太陽や照明灯）方向との関係、ならびに両カメラの特性差（ＡＧＣ補正量やレンズ校り調整量の時間的な差、カメラ感度の個体差等）から、ＩｍとＩ２とでは画素毎の輝度値にかなりの違いが生じることがある。
【００７０】
そこで、ＩｍとＩ２との差から侵入物体だけを安定かつ選択的に検出できるようにするため、以下のように両カメラの画像を正規化する。
【００７１】
正規化処理は、マスク領域の各々において輝度値の平均と標準偏差を求め、各画素を
１）平均−標準偏差＊２より小さい、
２）平均−標準偏差より小さい、
３）平均−標準偏差と平均＋標準偏差の間、
４）平均＋標準偏差より大きい、
５）平均＋標準偏差＊２より大きい、
の５段階にランク付けし、各段階に応じた輝度値を再度与える（図４の状態（４０８，４０８′））。このような正規化によって、濃淡値の解像度が減るために物体領域の切り出し精度は犠牲にはなるものの、確実に高さを持った物体領域のみを検知でき、障害物有無判定が安定する。
【００７２】
［ｈ］ 差分処理（ステップ３０９）
ここでは、正規化処理後の第１カメラ１１ａ変換画像Ｉｍと第２カメラ１１ｂ画像Ｉ２との間で差異のある部分のみを検出し、路面より高さのある変化領域を切り出す。ＩｍとＩ２と間の差の検出は、単純に画像間差分処理を行うことで可能である（図４の状態（４０９））。
差分処理が終わったならば、次に高さ検証に移る。
【００７３】
［ｉ］ 高さ検証（ステップ３１０）
ある程度以上の高さを持つ物体のみを検知するよう、検出領域の高さ検証を行う。本システムでは、各カメラが光軸回りに回転せずに取付けられているため、画像鉛直方向での検出領域の連続性を見ることにより、高さを検証することができる。
【００７４】
具体的には、［ｈ］の差分処理ステップで取得した差分画像を鉛直方向での連続画素数に応じた値を持つ画像へと変換し、ある閾値以上の画素領域を最終的な検出領域とする（図４の状態（４１０））。本システムでは、鉛直方向に２４画素以上連続することを基準とする（検知領域中央付近において約２．７［ｃｍ／画素］、２４画素は約６５［ｃｍ］に相当する。
【００７５】
高さ検証が済んだならば、物体有無判定に移る。
【００７６】
［ｊ］ 物体有無判定（ステップ３１１）
物体有無判定は次のようにして行う。高さ検証ステップでの検証の後、最終的に検出された障害物監視領域において、さらに各画素での背景からの輝度変動の状態をチェックし、最終的な障害物有無の判定を行う。具体的には、検出領域の９９．９［％］以上が背景画像よりも明るい、あるいは暗い領域のみで占められていれば照明状態の変動と判定し（明るい場合としてはヘッドライトの侵入等、暗い場合としては車両の影のみの侵入等がある）、それ以外であれば障害物有りとして判定し、判定出力を出すと共に、判定結果を画面に表示する。
【００７７】
以上により、踏切をとらえた画像から障害物監視領域に障害物があるか否かを検知することができる。
【００７８】
ただし、平面投影ステレオ法適用時には独立した左右カメラ１１ａ，１１ｂを使用して取得した画像を用いるようにしているので、用いる画像はフレーム同期がとれている方がよい。すなわち、両カメラ１１ａ，１１ｂからの画像はフレーム同期がとれていた方が、検知精度向上の点で好ましい。
【００７９】
そこで、本発明では用いる左右画像が互いにフレーム同期がとれたものとなるようにする。
【００８０】
（本発明による左右画像フレーム同期タイミング調整）
ここで採用する方法としては、２台のカメラ１１ａ，１１ｂの同期をとるようにして、同一タイミングの左右画像が踏切障害物検知装置１００に入力されるようにする方法と、２台のカメラ１１ａ，１１ｂのうち、タイミングに遅れのある方に基準を合わせて、進みのある方を進みの分、遅延させることにより、事実上、同一タイミングの左右画像が踏切障害物検知装置１００に入力されるようにする方法である。
【００８１】
前者の方法は図９に示すように、同期信号を発生する同期発生器２０を設けてこの同期信号発生器２０の出力する同期信号を２台のカメラ１１ａ，１１ｂを駆動させるようにする。これにより、２台のカメラ１１ａ，１１ｂは互いに同期がとれるかたちで動作することから、図１０のように、踏切障害物検知装置１００に同時に取り込まれる画像は左右同時刻に撮影された画像となる。しかし、現実のシステムを考えた場合、この図９の構成には少し問題がある。
【００８２】
それは、２台のカメラ１１ａ，１１ｂは踏切の監視領域を見渡す位置に離れて設置されるということと、画像処理装置ＰＣを道路や踏切中央に設置できないから、２台のカメラ１１ａと１１ｂのうちの、いずれかに一方に近く、他方には離れると云う設置環境にならざるを得ないということである。このことは、画像処理装置ＰＣに対して、２台のカメラ１１ａ，１１ｂからの伝送路長は、異なるものとなることを意味する。伝送路長が異なると、伝送路が長くなる方に伝送遅延の影響が生じ、フレーム同期にズレが生じる。
【００８３】
後者の方法は、このように２台のカメラ１１ａ，１１ｂの伝送路長が異なることによる伝送遅延などの対策にもなるものであって、複数フレーム分の画像を保持できる容量の画像データメモリを２組用意し、一方はカメラ１１ａ用、他方はカメラ１１ｂ用とする。すなわち、図１１の如きであり、上記２組の画像データメモリ２１ａ、２１ｂのうち、画像データメモリ２１ａがカメラ１１ａ用、画像データメモリ２１ｂがカメラ１１ｂ用である。そして、両画像データメモリ２１ａ，２１ｂは読み出しタイミング制御のための同期信号を発生する同期信号発生回路２２の出力する同期信号に同期させて画像データの読み出しを行う構成とする。
【００８４】
これにより、画像は事実上、遅延をかけてタイミングを補正したかたちとなり、同一時刻の左右画像を踏切障害物検知装置１００に取り込ませる形態となる。たとえば、図１２の例の場合、左右像でｔｎのずれがあるわけであるから、この分を画像データメモリ読み出しのタイミング遅延により補償してやればよい。具体的には左像をｔｎだけ、遅延させて踏切障害物検知装置１００に与えるようにする。そのためには、タイミングにして少なくともｔｎ分、経過してからこの時点での画像のデータを画像データメモリ２１ａ，２１ｂより読み出し開始すべく、同期信号発生回路２１の同期信号を調整して、左右像が同一タイミングの画像となるように読み出しタイミング制御を行う。
【００８５】
その結果、踏切障害物検知装置１００ではタイミングとしてカメラ出力時点では図１２の如きであったものが、図１３の如きとなり、踏切障害物検知装置１００に同時に取り込まれる画像は左右同時刻に撮影された画像となる。
【００８６】
本発明システムは、踏切内の障害物検知を行うシステムであるが、そのためには、列車が近づいてきて踏切が遮断となった段階で、障害物検知を実施させ、列車に危険を知らせる仕組みとする必要がある。
【００８７】
そのような機能を有するシステムを次に具体例２として説明する。図１４は、１１ａ，１１ｂは前記カメラであり、２１ａ、２１ｂは前記画像データメモリ、２２は同期信号発生回路、ＰＣは前記画像処理装置である。また、３０は踏切遮断機制御回路であり、３１は踏切障害物検知装置の制御部である。当該制御部３１は前記遮断機制御回路３０が踏切遮断動作制御時に出力する踏切遮断制御信号により、動作を開始し、踏切遮断機の動作を開始させてから踏切遮断棒が下りきる所定時間経過時よりカメラ１１ａ，１１ｂの画像を用いた上述のような画像処理を画像処理装置ＰＣに実行させ、踏切内の障害物検知を行うと共に、障害物が検知されたときは警報装置３２に警報出力を与える機能を有するものである。
【００８８】
警報装置３２は、踏切の手前の適宜なる位置に設けられる非常警報灯であったり、警報音を発生するものであるが、同時に列車運行司令所や、駅、列車に非常通報する仕組みを持ったものとしても良い。
このような構成の本装置は、列車が踏切に接近して来た段階で、まず踏切遮断機制御回路３０が踏切遮断動作制御を開始する。すると踏切障害物検知装置１００内の制御部３１は前記踏切遮断機制御回路３０が踏切遮断動作制御時に出力する踏切遮断制御信号により、動作を開始し、踏切遮断機の動作を開始させてから踏切遮断棒が下りきる所定時間経過時よりカメラ１１ａ，１１ｂの画像を用いた上述のような画像処理を画像処理装置ＰＣに実行させ、踏切内の障害物検知を行う。
ここで、カメラ１１ａ，１１ｂの画像（左像と右像）は同期信号発生回路２２により読み出し制御がなされる画像データメモリ２１ａ、２１ｂを通すことで、タイミング的にフレーム同期がとれたかたちの画像となり、この画像を用いて画像処理装置ＰＣは、障害物検知処理を実行することになる。
【００８９】
この処理は、前述したように
［段階１］ 非定常領域判別法（単眼での映像変化検出）
［段階２］ ステレオ法（平面投影ステレオ法による検証）
からなるもので、上述した手順を踏んで処理を行うことで、踏切内の監視対象領域内における障害物の有無の検知処理をする。
【００９０】
そして、障害物が検知されたときは制御部３１にその検知信号を与え、制御部３１はこれを受けて警報装置３２に警報出力を与える。これにより警報装置３２を警報動作させて列車に踏切内の異常を知らせる。
【００９１】
このように、本発明は、踏切内の監視領域に向けて少なくとも左右一対のカメラを配置し、これらのカメラにて得た前記監視領域の左右画像を取得すると共に、第１段階の処理として左右画像のうちの片画像を用いて非定常領域判別法（単眼での映像変化検出）により画像中の変化部分を抽出し、変化部分が抽出されたときは、第２段階の処理として左右画像を用いた平面投影ステレオ法による変化部分の画像を検証して監視領域内の障害物検知を行う踏切障害物検知装置において、
前記カメラの画像は左右画像が同一タイミングの撮影画像となるよう、同期をとる同期手段を設けたことを特徴とするものであり、前記同期手段は、同期信号を発生する同期信号発生手段により構成し、前記左右一対のカメラの画像は、この同期信号発生手段にて発生される同期信号に同期させてそれぞれ所要の遅延量遅延させたものを用いて前記障害物検知を実施させるようにする構成とするか、または、同期信号を発生する同期信号発生手段とこの同期信号にてフレーム読み出しの制御がなされる左像用および右像用の画像メモリにて構成して、前記左右一対のカメラは、撮像して得られる画像をフレーム単位でそれぞれ対応する画像メモリに記憶させ、この画像メモリから読み出される画像を用いて前記障害物検知を実施させるようにしたことを特徴とするものである。
【００９２】
そのため、踏切内の監視対象領域内を撮像視野とするカメラの画像は左右画像が同一タイミングの撮影画像となるようにして、障害物検知に利用することができるから精度良くまた、信頼性を以て監視領域内の障害物を検知することができるようになり、また、踏切内の監視対象領域内を撮像視野とするカメラの画像で障害物検知をすることから、踏切内の広い領域を監視対象としてしかも、高信頼性を以て障害物検知ができるようになる。
【００９３】
また、カメラを用いることから、このカメラはスパン柱などのような高所に設置して利用可能であり、光源とこれに対向する受光器とからなる従来の光電検出方式のように、検知対象の障害物の高さに設置する必要がないので、通行人にいたずらされる危険が少なく、鉄道の保安設備として有用である。
【００９４】
なお、本発明は上述した実施形態に限定されるものではなく、種々変形して実施可能である。例えば、上述したように、平面投影ステレオ法による画像処理を行う場合、各カメラ間及び画像取込みの同期を取る必要があるが、上記の方法の他、カメラ１１ａ、１１ｂそれぞれに画像のフレーム同期機能があるタイムベースコレクタを接続し、このタイムベースコレクタを介して画像処理装置ＰＣに左右画像を渡す構成とすると共に、同期発生器からの同期信号をカメラ１１ａ、１１ｂ及びタイムベースコレクタヘ供給することで、左右カメラ１１ａ，１１ｂ間の同期及び伝送路遅延を補償する構成とすることも可能である。
【００９５】
また、本発明において、上記実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件から幾つかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題の少なくとも１つが解決でき、発明の効果の欄で述べられている効果の少なくとも１つが得られる場合には、この構成要件が削除された構成が発明として抽出され得る。
【００９６】
また、本発明における実施形態に記載した手法は、コンピュータに実行させることのできるプログラムとして、磁気ディスク（フレキシブルディスク、ハードディスクなど）、光ディスク（ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ、ＭＯなど）、半導体メモリなどの記録媒体に格納して頒布することもでき、また、ネットワークを介しての伝送により、頒布することもできる。
【００９７】
【発明の効果】
以上、詳述したように本発明によれば、踏切内の監視対象領域内を撮影視野とするカメラの画像は左右画像が同一タイミングの撮影画像となるようにして、障害物検知に利用することができるから精度良くまた、信頼性を以て監視領域内の障害物を検知することができるようになり、また、踏切内の監視対象領域内を撮像視野とするカメラの画像で障害物検知をすることから、踏切内の広い領域を監視対象としてしかも、高信頼性を以て障害物検知ができるようになる等の特徴を有する踏切障害物検知装置を提供できる。
【００９８】
また、本発明では踏切遮断機による踏切遮断時に前記障害物検知による障害物が検知されたとき、警報を発生する警報手段を更に備えた。
【００９９】
これにより踏切遮断時に、障害物があれば列車にしらせることができるようになり、踏切内の広い領域を監視対象としてしかも、高信頼性を以て障害物検知できて、危険をいち早く列車に通報できる踏切障害物検知装置が提供できる。
【図面の簡単な説明】
【図１】本発明を説明するための図であって、本発明による踏切障害物検知装置の概要を説明するための図である。
【図２】本発明を説明するための図であって、本発明で用いる非定常領域判別法による評価領域を説明するための図である。
【図３】本発明を説明するための図であって、本発明システムにおける画像処理手順を説明するための図である。
【図４】本発明を説明するための図であって、本発明システムにおける画像処理手順を説明するための図である。
【図５】本発明を説明するための図であって、本発明システムにおける画像処理手順でのヒストグラムによる輝度補正を説明するための図である。
【図６】本発明を説明するための図であって、本発明システムにおける画像処理手順での背景画像作成処理を説明するための図である。
【図７】本発明を説明するための図であって、本発明の一実施形態に係る画像の座標変換処理の概要を説明するための図である。
【図８】本発明を説明するための図であって、本発明システムにおける画像処理において、カメラ間同期の重要性を説明するための図である。
【図９】本発明を説明するための図であって、本発明システムにおける画像処理において、カメラ間同期を取るための構成例を説明するためのブロック図である。
【図１０】本発明を説明するための図であって、本発明システムにおける画像処理において、カメラ間同期の取り方の例を説明するための図である。
【図１１】本発明を説明するための図であって、本発明システムにおける伝送線遅延対策のための構成例を示すブロック図である。
【図１２】本発明を説明するための図であって、本発明システムにおける伝送線遅延による影響を説明するための図である。
【図１３】本発明を説明するための図であって、本発明システムにおける伝送線遅延補償後の状態を説明するための図である。
【図１４】本発明を説明するための図であって、本発明の一実施形態に係る踏切障害物検知装置の構成例を示すブロック図である。
【符号の説明】
１１ａ，１１ｂ…カメラ（撮像装置；テレビカメラ等）
２０…同期発生器
２１ａ、２１ｂ…画像データメモリ
２２…同期信号発生回路
ＰＣ…画像処理装置
３０…踏切遮断機制御回路
３１…制御部
３２…警報装置
１００…踏切障害物検知装置。

Claims (3)

1. 踏切内の監視領域に向けて少なくとも左右一対のカメラを配置し、これらのカメラにて得た前記監視領域の左右画像を取得すると共に、第１段階の処理として左右画像のうちの片画像を用いて非定常領域判別法により画像中の変化部分を抽出し、変化部分が抽出されたときは、第２段階の処理として左右画像を用いた平面投影ステレオ法による変化部分の画像を検証して監視領域内の障害物検知を行う踏切障害物検知装置において、
   前記カメラの画像は左右画像が同一タイミングの撮影画像となるよう、同期をとる同期手段を設けると共に、この同期手段は、同期信号を発生する同期信号発生手段とこの同期信号にてフレーム読み出しの制御がなされる左像用および右像用の画像メモリとから構成され、前記左右一対のカメラは、撮像して得られる画像をフレーム単位でそれぞれ対応する画像メモリに記憶させ、この画像メモリから読み出される画像を用いて前記障害物検知を実施させるようにしたことを特徴とする踏切障害物検知装置。
2. 前記同期手段は、同期信号を発生する同期信号発生手段とこの同期信号にてフレーム読み出しの制御がなされる左像用および右像用のタイムベースコレクタ装置とから構成され、前記左右一対のカメラは、撮像して得られる画像をフレーム単位で同期させて得た画像を用いて前記障害物検知を実施させるようにしたことを特徴とする請求項１記載の踏切障害物検知装置。
3. 踏切遮断機による踏切遮断時に前記障害物検知による障害物が検知されたとき、警報を発生する警報手段を更に備えたことを特徴とする請求項１記載の踏切障害物検知装置。

Images