JP6209141B2 - 障害物検出装置及び方法 - Google Patents

Description

本発明は、電気鉄道における架空電車線路（以下、「架線」ともいう）や軌道（以下、「レール」ともいう）等の鉄道設備に対する障害物を検出する障害物検出装置及び障害物検出方法等に関する。

例えば、鉄道車両の屋根上に搭載されたパンタグラフと接触して鉄道車両に電力を供給するトロリー線に風船やビニール袋等の障害物が付着すると、鉄道車両の進行の妨げとなるばかりでなく、アルミ製の風船等が架線に付着した場合には、地絡事故の原因となることもある。さらに、沿線の樹木が倒れ込んできたり、工事現場の重機や資材が障害になることもある。

そこで、鉄道設備の異常を監視するために、係員の徒歩や列車運転台への添乗による巡視が定期的に行われている。しかしながら、係員による巡視では、鉄道設備の異常を効率的かつ正確に監視することは不可能である。一方、自動車の分野においては、現在の車載カメラ映像と過去の車載カメラ映像との時空間差分により不特定障害物を検出することが研究されている。

例えば、非特許文献１には、車載カメラ映像において、現在の走行映像の各フレームに対応する過去の走行映像中のフレームを求めて時間方向のずれを補正し、道路面の平面性を仮定した射影変換により位置合わせを行って空間的なずれを補正し、現在のフレームと過去のフレームとの差分により障害物を検出することが開示されている。

久徳、外５名、「過去の車載カメラ映像との時空間差分による不特定障害物検出に関する検討」、電子情報通信学会技術研究報告、２０１２年３月２２日、ＨＩＰ１１１（５００）、ｐ．１４７−１５２

しかしながら、自動車の場合には、道路面に描かれた白線（車線）を基準として道路形状を推定し、道路上の障害物（歩行者やボール等）を検出する手法が一般的である。これに対し、電気鉄道においては、架線やレールを含む広い範囲の鉄道設備に対する障害物を検出する必要がある。そこで、本発明の目的の１つは、画像処理を用いて、鉄道車両の走行中に架線やレール等の鉄道設備に対する障害物を自動的に検出できる障害物検出装置及び障害物検出方法等を提供することである。

上記課題を解決するため、本発明の１つの観点に係る障害物検出装置は、鉄道車両の前方を監視するための前方監視画像を撮影して画像データを生成する撮像部と、鉄道車両の現在位置に関する位置情報を取得する位置情報取得部と、撮像部によって生成された画像データを位置情報取得部によって取得された位置情報に関連付けて背景画像データとして格納する格納部と、位置情報取得部によって取得された位置情報に基づいて、格納部に格納されている背景画像データの内から複数フレームの背景画像データを抽出する背景画像データ抽出部と、撮像部によって生成された１フレームの画像データに基づいて、背景画像データ抽出部によって抽出された複数フレームの背景画像データの内から１フレームの背景画像データを選択する背景画像データ選択部と、撮像部によって生成された１フレームの画像データによって表される画像を基準として、背景画像データ選択部によって選択された１フレームの背景画像データによって表される画像の空間的なずれを補正する背景画像データ補正部と、撮像部によって生成された１フレームの画像データと背景画像データ補正部によって補正された１フレームの背景画像データとの差分を算出し、両者の画素値の相違度が大きい前景領域を検出する差分演算部と、差分演算部によって前景領域が検出された画像データに対して軌道検出処理を施すことにより、鉄道車両が走行するレールの画像を抽出して軌道軸の位置を求める軌道検出処理部と、複数の時点で生成された複数フレームの画像データについて検出された前景領域内の点の位置に基づいて、軌道軸に対する前景領域内の点の位置又は軌跡を求めることにより、前景領域内の点が建築限界内に存在するか否かを判定する判定部とを備える。

また、本発明の１つの観点に係る障害物検出方法は、鉄道車両の前方を監視するための前方監視画像を撮影して画像データを生成するステップ（ａ）と、鉄道車両の現在位置に関する位置情報を取得するステップ（ｂ）と、ステップ（ｂ）において取得された位置情報に基づいて、過去の画像データを位置情報に関連付けて背景画像データとして格納する格納部に格納されている背景画像データの内から複数フレームの背景画像データを抽出するステップ（ｃ）と、ステップ（ａ）において生成された１フレームの画像データに基づいて、ステップ（ｃ）において抽出された複数フレームの背景画像データの内から１フレームの背景画像データを選択するステップ（ｄ）と、ステップ（ａ）において生成された１フレームの画像データによって表される画像を基準として、ステップ（ｄ）において選択された１フレームの背景画像データによって表される画像の空間的なずれを補正するステップ（ｅ）と、ステップ（ａ）において生成された１フレームの画像データとステップ（ｅ）において補正された１フレームの背景画像データとの差分を算出し、両者の画素値の相違度が大きい前景領域を検出するステップ（ｆ）と、ステップ（ｆ）において前景領域が検出された画像データに対して軌道検出処理を施すことにより、鉄道車両が走行するレールの画像を抽出して軌道軸の位置を求めるステップ（ｇ）と、複数の時点で生成された複数フレームの画像データについて検出された前景領域内の点の位置に基づいて、軌道軸に対する前景領域内の点の位置又は軌跡を求めることにより、前景領域内の点が建築限界内に存在するか否かを判定するステップ（ｈ）とを備える。

本発明の１つの観点によれば、前方監視画像を撮影して生成された画像データと背景画像データとの画素値の相違度が大きい前景領域を検出し、前景領域が検出された画像データから軌道軸の位置を求め、複数の時点で生成された複数フレームの画像データについて検出された前景領域内の点の位置に基づいて、軌道軸に対する前景領域内の点の位置又は軌跡を求めることにより、前景領域内の点が建築限界内に存在するか否かが判定される。

その結果、鉄道車両の走行中に架線やレール等の鉄道設備に対する障害物を自動的に検出して、係員による巡視の労力を大幅に低減することができる。また、本発明に係る障害物検出装置又は障害物検出方法を、列車運行の自動化のための前方監視システムにおいて活用することも可能である。

本発明の一実施形態に係る障害物検出装置の構成例を示すブロック図である。 図１に示す差分演算部によって行われる前景領域検出処理を説明するための図である。 複数フレームの差分画像における前景領域内の点の移動を示す図である。 差分画像において前景領域内の点が建築限界内に存在するか否かを判定する原理を説明するための図である。 ３次元空間において前景領域内の点が建築限界内に存在するか否かを判定する原理を説明するための図である。 軌道軸が水平面内において曲がっている場合に軌道軸に対する前景領域内の点の位置を求める原理を説明するための図である。 ２つの軌道軸に対する建築限界及び前景領域内の点の軌跡を示す図である。 本発明の一実施形態に係る障害物検出方法を示すフローチャートである。

以下、本発明の実施形態について、図面を参照しながら詳細に説明する。
図１は、本発明の一実施形態に係る障害物検出装置の構成例を示すブロック図である。この障害物検出装置は、撮像部１０と、位置情報取得部２０と、データベース構築部３０と、格納部４０と、背景画像データ抽出部５０と、画像処理部６０と、判定部７０と、警告部８０とを含んでいる。

ここで、データベース構築部３０〜警告部８０の少なくとも一部を、ＣＰＵ（中央演算装置）を含むＰＣ（パーソナルコンピューター）と、ＣＰＵに各種の処理を行わせるためのソフトウェア（プログラム）とによって構成しても良い。ソフトウェアは、格納部４０の記録媒体に記録される。記録媒体としては、ハードディスク、フレキシブルディスク、ＵＳＢメモリー、ＭＯ、ＭＴ、ＣＤ−ＲＯＭ、又は、ＤＶＤ−ＲＯＭ等を用いることができる。

鉄道車両は、レール上を走行し、鉄道車両の上方には、鉄道車両の進行方向と略平行に、トロリー線、吊架線、及び、補助吊架線等の架線や、き電線、保護線、配電線、及び、区分装置等の電車線設備が設置されている。また、レールの両側に設けられた電柱からは、鉄道車両の進行方向と略直交する方向に、架線を吊り下げるビームやブラケット等が張り出している。

本実施形態に係る障害物検出装置は、架線やレール等の鉄道設備に対する障害物を検出する。障害物としては、例えば、架線や架線柱等に付着した風船、ビニール袋、布等の飛来物や、鉄道車両の通過領域に接近した樹木や倒木等が該当する。そのような障害物は、走行する鉄道車両に直ちに危険を及ぼすものでなくても、早急に除去する必要があるが、動いている歩行者や自動車よりも検出が困難である。

撮像部１０は、例えば鉄道車両の運転席周辺において、進行方向に向けて配置されたビデオカメラ１１を含んでおり、鉄道車両の前方を監視するための前方監視画像を撮影して画像データを生成する。ビデオカメラ１１としては、カラービデオカメラを用いても良いし、夜間やトンネル内で前方監視画像を撮影するために、赤外線ビデオカメラを併用しても良い。

ビデオカメラ１１から出力される画像信号はアナログ信号でもディジタル信号でも良いが、アナログ信号の場合には、ビデオカメラ１１の後段に、アナログの画像信号をディジタルの画像データに変換するＡ／Ｄコンバーター（ＡＤＣ）１２が設けられる。画像データは、例えば、１秒間に３０フレームの前方監視画像を表している。

位置情報取得部２０は、鉄道車両の現在位置に関する位置情報を取得する。例えば、位置情報取得部２０は、ＧＰＳ（グローバルポジショニングシステム）受信機を含んでいる。ＧＰＳ受信機は、少なくとも３つのＧＰＳ衛星から送信される電波を受信することにより、受信された電波に基づいて鉄道車両の現在位置に関する位置情報を比較的正確に求めることができる。ただし、鉄道車両がトンネル内を通過しているときには、ＧＰＳ受信機が電波を受信することができないので、位置情報取得部２０は、ＩＮＳ（慣性航法システム）をさらに含んでも良い。

慣性航法システムは、慣性空間における加速度を検出することにより、加速度を積分して速度を算出し、さらに速度を積分して位置を算出する。慣性航法システムのセンサーとしては、加速度計及びジャイロが用いられる。加速度計は、鉄道車両の加速度を検出し、ジャイロは、３軸方向（東西、南北、及び、鉛直方向）の基準軸保持に用いられる。これにより、外界の条件とは無関係に、鉄道車両の現在位置及び姿勢方位角に関する情報を求めることができる。

あるいは、鉄道車両の現在位置に関する位置情報を補正するために、ＡＴＳ（自動列車停止装置）やＡＴＣ（自動列車制御装置）における地上子の検出情報を、位置情報取得部２０が予め保持している地上子の位置情報と照合するようにしても良い。ただし、地上子の設置間隔は長いので、位置情報取得部２０は、鉄道車両の速度計を動かすための速度発電機を利用して速度と移動距離を算出し、鉄道車両の現在位置に関する位置情報を求めても良い。

データベース構築部３０は、撮像部１０によって生成された画像データを、位置情報取得部２０によって取得された位置情報に関連付けて、背景画像データとして格納部４０に格納する。これにより、格納部４０において、過去に鉄道車両が走行した区間において撮影された前方監視画像を表す背景画像データのファイルが蓄積された背景画像データベースが構築される。

その後、鉄道車両が同じ区間を走行する際に、障害物検出装置は、撮像部１０によって生成される画像データ（以下においては、「観測画像データ」ともいう）と、位置情報取得部２０によって取得される位置情報と、格納部４０に格納されている背景画像データとに基づいて、架線やレール等の鉄道設備に対する障害物を自動的に検出する。その際に、観測画像データによって表される観測画像は、背景画像データによって表される背景画像と比較される。

背景画像データベースには、例えば、昨日の画像、先週の画像、先月の画像、去年の画像等のファイルが蓄積されるので、オペレーターは、目的に応じて適切な背景画像を使用するために、背景画像データベースに蓄積されている複数のファイルの内から１つのファイルを指定することができる。例えば、架線や架線柱に付着した飛来物を検出する場合には、昨日の画像を背景画像として用いても良い。また、成長して鉄道車両の通過領域に接近した樹木を検出する場合には、先月又は去年の画像を背景画像として用いても良い。

背景画像データ抽出部５０は、位置情報取得部２０によって取得された位置情報に基づいて、格納部４０に格納されている背景画像データの内から複数フレームの背景画像データを候補として抽出する。例えば、鉄道車両が秒速３０ｍで走行しているときに、走行距離１ｍ毎に１フレームの観測画像が得られるのに対し、ＧＰＳによって取得される位置情報の精度は５ｍ程度である。その場合に、背景画像データ抽出部５０は、位置情報によって表される現在位置の付近において過去に生成された５フレーム程度の背景画像データを抽出する。抽出された複数フレームの背景画像データは、画像処理部６０に供給される。

画像処理部６０は、背景画像データ選択部６１と、背景画像データ補正部６２と、差分演算部６３と、軌道検出処理部６４とを含んでいる。背景画像データ選択部６１は、現在位置において撮像部１０によって生成された１フレームの観測画像データに基づいて、背景画像データ抽出部５０によって抽出された複数フレームの背景画像データの内から１フレームの背景画像データを選択する。

例えば、背景画像データ選択部６１は、背景画像データ抽出部５０によって抽出された複数フレームの背景画像データを差分演算部６３に供給する。差分演算部６３は、現在位置において撮像部１０によって生成された１フレームの観測画像データと背景画像データ抽出部５０によって抽出された各フレームの背景画像データとの差分を算出し、両者の画像の相違度を求めて、演算結果を背景画像データ選択部６１に供給する。

背景画像データ選択部６１は、差分演算部６３の演算結果に基づいて、現在位置において撮像部１０によって生成された１フレームの観測画像データと背景画像データ抽出部５０によって抽出された複数フレームの背景画像データとの画像の相違度を比較することにより、画像の相違度が最小となる１フレームの背景画像データを選択する。

ここで、背景画像データ選択部６１は、現在位置において撮像部１０によって生成された１フレームの観測画像データと背景画像データ抽出部５０によって抽出された複数フレームの背景画像データとの各々に対してエッジ検出処理を施し、検出された複数のエッジの内から所定の条件を満たすエッジを抽出しても良い。エッジ検出処理は、例えば、Ｓｏｂｅｌ（ゾーベル）フィルターを用いたコンボリューション（畳み込み）操作により、エッジの強度と方向を求めることによって行われる。

エッジ検出処理により、背景画像データ選択部６１は、レールや架線等の特徴的なエッジを抽出することができる。その後、背景画像データ選択部６１は、エッジ検出処理が施された１フレームの観測画像データ及び複数フレームの背景画像データを差分演算部６３に供給し、差分演算部６３の演算結果に基づいて、１フレームの観測画像データと複数フレームの背景画像データとの画像の相違度を比較することにより、画像の相違度が最小となる１フレームの背景画像データを選択する。

背景画像データ選択部６１によって選択された１フレームの背景画像データは、背景画像データ補正部６２に供給される。背景画像データ補正部６２は、現在位置において撮像部１０によって生成された１フレームの観測画像データによって表される画像を基準として、背景画像データ選択部６１によって選択された１フレームの背景画像データによって表される画像の空間的なずれを補正する。

例えば、背景画像データ補正部６２は、背景画像データ選択部６１によって選択された１フレームの背景画像データに対して、回転補正、スケーリング補正、及び／又は、平行移動補正を施し、補正された１フレームの背景画像データを差分演算部６３に供給する。差分演算部６３は、現在位置において撮像部１０によって生成された１フレームの観測画像データと背景画像データ補正部６２によって補正された１フレームの背景画像データとの差分を算出し、両者の画像の相違度を求めて、演算結果を背景画像データ選択部６１に供給する。

背景画像データ補正部６２は、背景画像データ選択部６１によって選択された１フレームの背景画像データを段階的に補正しながら、上記のような動作を繰り返すことにより、差分演算部６３の演算結果における画像の相違度を評価関数として、評価関数の値が減少するように背景画像の空間的なずれを補正することができる。

具体的な例として、背景画像データ補正部６２は、観測画像に対して背景画像を僅かずつ（例えば、０．３°刻みで±３°）回転させることによって評価関数を求め、評価関数の値が最小となる回転補正量を求める。その際に、背景画像データ補正部６２は、観測画像データと背景画像データとの各々に対して平均化フィルター処理（ぼかし処理）を施すことにより、撮像位置のずれの影響を低減しても良い。次に、背景画像データ補正部６２は、背景画像の拡大縮小及び平行移動についても同様に評価関数を求め、評価関数の値が最小となるスケーリング補正量及び平行移動補正量を求める。

あるいは、背景画像データ補正部６２は、ＳＩＦＴ（Scale-Invariant Feature Transform）やＳＵＲＦ（Speeded-Up Robust Features）等のアルゴリズムを用いて画像の特徴を抽出することにより、観測画像データと背景画像データとの間でパターンマッチングを行っても良い。

ＳＩＦＴとは、特徴抽出にＤｏＧ（Difference of Gaussians）を用いることにより、拡大縮小に対して不変な特徴点を画像中から抽出し、輝度勾配のヒストグラムを用いて特徴点近傍の回転を求め、特徴点の周辺を複数のブロックに分割して、ブロック毎の勾配ヒストグラムから特徴ベクトルを求めるアルゴリズムである。

また、ＳＵＲＦとは、画像中から抽出された特徴点の周囲の輝度変化から、最も輝度変化の大きい方向を算出することにより、画像の回転に対して頑強な特徴を抽出するアルゴリズムである。ＳＵＲＦは、算出された輝度勾配の正規化を行うので、輝度勾配に対しても頑強な特徴を抽出することができる。

背景画像データ補正部６２は、パターンマッチングの結果に基づいて、観測画像のパターンと背景画像のパターンとが最も整合するように、背景画像データ選択部６１によって選択された１フレームの背景画像データに対して、回転補正、スケーリング補正、及び／又は、平行移動補正を施す。

差分演算部６３は、観測画像データと背景画像データとの差分を算出して、演算結果を出力する。ここで、撮像部１０がカラーの画像データを生成する場合に、差分演算部６３は、輝度の差分、色相ベクトル成分の差分、及び／又は、色相ベクトルの角度の差分を算出する。色相ベクトル成分とは、画像データがＲＧＢ（赤緑青）の画素値Ｖ_R，Ｖ_G，Ｖ_Bを有する場合に、画面内のある位置における画素値Ｖ_R，Ｖ_G，Ｖ_Bを輝度で割ったものである。輝度は、ベクトルＶ＝（Ｖ_R，Ｖ_G，Ｖ_B）の絶対値（長さ）に相当する。一方、撮像部１０がグレイスケールの画像データを生成する場合には、差分演算部６３は、輝度の差分を算出する。

１つの画素について複数の差分が算出される場合に、差分演算部６３は、複数の差分の絶対値を合計又は平均して画素値の相違度を求めても良いし、複数の差分の自乗和の平方根を算出して画素値の相違度を求めても良い。その際に、差分演算部６３は、複数の差分に係数を掛けて重み付けを行っても良い。一方、１つの画素について１つの差分が算出される場合には、差分演算部６３は、その差分の絶対値を画素値の相違度としても良い。さらに、差分演算部６３は、画像全体又は画像中に予め設定された一部の領域の画素について画素値の相違度を積分することにより、観測画像データと背景画像データとの画像の相違度を求める。

背景画像データ補正部６２によって最終的に補正された１フレームの背景画像データは、差分演算部６３に供給される。差分演算部６３は、現在位置において撮像部１０によって生成された１フレームの観測画像データと背景画像データ補正部６２によって最終的に補正された１フレームの背景画像データとの差分を算出し、観測画像データと背景画像データとの画素値の相違度を表す差分画像データを生成して、両者の画素値の相違度が大きい前景領域を検出する。

例えば、差分演算部６３は、差分画像データによって表される差分画像内のある画素において画素値の相違度が閾値を越える場合に、その画素が前景領域を構成すると認定しても良い。あるいは、差分演算部６３は、画素値の相違度が閾値を越える画素の密度が所定の値よりも高い領域を前景領域として認定しても良い。

鉄道車両の進行に伴い、差分演算部６３は、複数の位置において撮像部１０によって生成された観測画像データに対して前景領域検出処理を施す。軌道検出処理部６４は、差分演算部６３によって前景領域が検出された観測画像データに対して軌道検出処理を施すことにより、鉄道車両が走行するレールの画像を抽出して、観測画像における軌道軸の位置を求める。鉄道車両が２本のレールの上を走行する場合に、軌道軸は、鉄道車両が走行する２本のレールの中心位置の軌跡に相当する。

軌道検出処理は、道路面に描かれた白線（車線）を検出する処理に類似しているが、鉄道車両の運動がレールに拘束されて自由度が１であるという特徴と、レールの曲率や勾配の変化が緩やかであるという特徴を利用することができる。観測画像データに対する軌道検出処理は、例えば、以下のようにして行われる。

まず、軌道検出処理部６４は、鉄道車両内に配置されたビデオカメラ１１の位置及び姿勢と、鉄道車両が走行するレールの位置及び方向との関係に基づいて、観測画像におけるレールの位置及び方向を推定し、レールのエッジと輝度勾配とに基づいて、鉄道車両の近傍領域におけるレールの画像を抽出する。その際に、軌道検出処理部６４は、予め用意されたレールテンプレートと観測画像との間でパターンマッチングを行うようにしても良い。鉄道車両の近傍領域におけるレールの画像は、天候の変化や環境光にあまり左右されず、比較的強いエッジが観測され、その曲率は緩く殆ど直線的である。

次に、軌道検出処理部６４は、鉄道車両の近傍領域において得られた情報を利用しながら、観測画像におけるレールのエッジと輝度勾配とに基づいて、鉄道車両の遠方領域におけるレールの画像を抽出する。その際に、軌道検出処理部６４は、鉄道車両の近傍領域において得られた情報に基づいてレールパターンを動的に生成し、短い直線又は曲線セグメントを連結しながらレールパターンと観測画像との間でパターンマッチングを行うことによって、遠方までレールを追跡するようにしても良い。

また、鉄道車両が２本のレールの上を走行する場合には、鉄道車両からの距離が大きくなるに従って２本のレールの間隔が狭くなる。軌道検出処理部６４は、そのような特徴を利用して、鉄道車両の近傍領域において確実に抽出されたレールの画像に基づいて徐々に遠方のレールを探索して行くことにより、鉄道車両の遠方領域におけるレールの画像を抽出することができる。

鉄道線路においては、地上設備と走行車両とが接触を起こさないように、レールを基準とした建築限界と呼ばれる断面を有するトンネル型の空間が設定されている。建築限界との間で若干のクリアランスを持たせた車両限界によって制約された断面形状を有する鉄道車両は、そのトンネル型の空間内を安全に走行することができる。

判定部７０は、複数の時点で生成された複数フレームの観測画像データについて検出された前景領域内の点の位置に基づいて、軌道軸に対する前景領域内の点の位置又は軌跡を求めることにより、前景領域内の点が建築限界内に存在するか否かを判定する。これにより、判定部７０は、前景領域内の点が建築限界内に存在すれば、建築限界内に障害物が存在すると判定し、前景領域内の点が建築限界内に存在しなければ、建築限界内に障害物が存在しないと判定することができる。曲線区間においては、曲線半径に応じて建築限界の幅が拡大する。曲線半径は、走行位置に対応付けられたデータベースを参照して求めても良いし、軌道検出処理部６４によって検出されたレールの形状から算出しても良い。

警告部８０は、建築限界内に障害物が存在すると判定部７０が判定した場合に、オペレーター又は指令所に対して警告を行う。例えば、警告部８０は、建築限界内に障害物が存在する旨をディスプレイに表示したり、警告音を発したり、指令所に通報を行うようにしても良い。なお、鉄道車両が走行した区間において建築限界内に障害物が存在しないと判定部７０が判定した場合には、その区間において得られた観測画像データを背景画像データとして利用することができる。この方法を応用すれば、電車線路や支持物等の加圧部分に近接して地絡事故を発生するおそれのある障害物の検出も可能である。

図２は、図１に示す差分演算部によって行われる前景領域検出処理を説明するための図である。図２には、例えば０．１秒間隔の３つの時刻において撮影された観測画像ＶＯ１〜ＶＯ３と、観測画像ＶＯ１〜ＶＯ３に対応する補正後の背景画像ＶＢ１〜ＶＢ３と、観測画像ＶＯ１〜ＶＯ３と背景画像ＶＢ１〜ＶＢ３との差分に基づいてそれぞれ生成された差分画像ＶＤ１〜ＶＤ３とが示されている。

今回の走行において撮影された観測画像ＶＯ１〜ＶＯ３には、架線柱に付着した風船が鉄道車両の進行に伴って近付いて来る様子が映し出されている。一方、過去の走行において撮影された背景画像ＶＢ１〜ＶＢ３には風船が存在しない。図１に示す差分演算部６３は、観測画像ＶＯ１〜ＶＯ３と背景画像ＶＢ１〜ＶＢ３との画素値の相違度をそれぞれ表す差分画像ＶＤ１〜ＶＤ３を生成し、観測画像と背景画像との画素値の相違度が大きい前景領域を検出して前景領域内の点の位置を求める。差分画像ＶＤ１〜ＶＤ３には、観測画像ＶＯ１〜ＶＯ３における風船に対応する前景領域と、前景領域内の点（一例として、前景領域の重心を表す点）とが示されている。

図３は、複数フレームの差分画像における前景領域内の点の移動を示す図である。図３において、差分画像ＶＤは、複数フレームの差分画像ＶＤ１〜ＶＤ３を重ね合わせて示すことにより、前景領域内の点Ｐの移動を分かり易く示している。図１に示す判定部７０は、複数フレームの差分画像における前景領域内の点Ｐの位置に基づいて、軌道軸に対する前景領域内の点Ｐの位置又は軌跡を求めることにより、前景領域内の点Ｐが建築限界内に存在するか否かを判定する。その際に、判定部７０は、前景領域内の点Ｐのオプティカルフローを求めても良い。オプティカルフローとは、画像中における物体の動きをベクトルで表したものである。

差分画像ＶＤにおいて、消失点を原点Ｏとし、原点Ｏを通って水平方向の軸をＸ軸とし、原点Ｏを通って垂直方向の軸をＹ軸とする。各フレームの差分画像は、図１に示すビデオカメラ１１のレンズから所定の距離に位置するＸＹ平面に鉄道車両の前方の風景を投影して得られた観測画像に基づいて生成されたものである。なお、ビデオカメラ１１の高さや枕木方向における位置、及び、ビデオカメラ１１の姿勢（画角）は既知である。

ここでは、説明を簡単にするために、鉄道車両が通過する軌道軸が、Ｙ軸と交差してＸＹ平面と直交する直線であるものとする。従って、差分画像ＶＤにおいて、軌道軸はＹ軸上に存在することになる。鉄道車両の走行に伴って差分画像ＶＤに映し出される前景領域内の点Ｐの軌跡は、時刻ｔにおける点Ｐの位置（Ｘ（ｔ），Ｙ（ｔ））の変化として表される。

図４は、差分画像において前景領域内の点が建築限界内に存在するか否かを判定する原理を説明するための図である。図４（Ａ）の差分画像ＶＤにおいては、建築限界の輪郭と、建築限界内に存在する点の軌跡とが示されている。また、図４（Ｂ）の差分画像ＶＤにおいては、前景領域内の点の軌跡の例が示されている。

例えば、図１に示す判定部７０は、図３に示す差分画像ＶＤにおける前景領域内の点Ｐの時刻ｔ１における位置（Ｘ（ｔ１），Ｙ（ｔ１））及び時刻ｔ２における位置（Ｘ（ｔ２），Ｙ（ｔ２））を測定する。原点Ｏを通ってＸＹ平面と直交する軸をＺ軸とすると、後で説明するように、３次元空間におけるＸＹ平面から点Ｐまでの距離Ｚ（ｔ１）及びＺ（ｔ２）は、点Ｐの軌跡に基づいて算出することが可能である。

これを利用して、判定部７０は、図４（Ａ）の差分画像ＶＤにおいて、ＸＹ平面から距離Ｚ（ｔ１）又はＺ（ｔ２）における建築限界の輪郭を求め、時刻ｔ１又は時刻ｔ２における前景領域内の点Ｐの位置がそれぞれの建築限界内に存在するか否かを判定する。例えば、図４（Ｂ）の差分画像ＶＤにおいて、軌跡Ｌ１は建築限界内に存在しており、軌跡Ｌ２は建築限界内に存在していないと判定される。

また、軌道軸が水平面内において曲がっている場合には、判定部７０は、軌道検出処理部６４によって求められた軌道軸の位置に基づいて、ＸＹ平面から距離Ｚ（ｔ１）又はＺ（ｔ２）における軌道軸上の点Ｑが観測画像において表される位置を求める。ここで、時刻ｔ１から時刻ｔ２までの間に鉄道車両が通過する軌道軸は、Ｙ軸と交差してＺ軸に平行な直線であるものとみなす。これにより、判定部７０は、差分画像ＶＤにおける点ＱのＸ軸方向の位置を求め、点Ｑに対する点ＰのＸ軸方向の位置を求める。このようにして、軌道軸をＹ軸上に移動させたときの点Ｐの位置が求められる。

ただし、ＸＹ平面から距離Ｚ（ｔ）の位置において、軌道軸はＺ軸に対して傾きθを有しているので、判定部７０は、観測画像及び点Ｑの位置に基づいて傾きθを算出し、点ＰのＸ軸方向の位置を補正する。判定部７０は、図４（Ａ）の差分画像ＶＤにおいて、ＸＹ平面から距離Ｚ（ｔ１）又はＺ（ｔ２）における建築限界の輪郭を求め、時刻ｔ１又は時刻ｔ２における軌道軸に対する前景領域内の点Ｐの位置が建築限界内に存在するか否かを判定する。建築限界の輪郭としては、距離Ｚ（ｔ１）又はＺ（ｔ２）の地点における曲線半径に応じたものが用いられる。

図５は、３次元空間において前景領域内の点が建築限界内に存在するか否かを判定する原理を説明するための図である。図５（Ａ）の差分画像ＶＤにおいては、ビデオカメラ１１のレンズから距離Ｄ（既知）に位置するＸＹ平面に鉄道車両の前方の風景を投影して得られた観測画像に基づいて生成された複数フレームの差分画像が重ね合わせて示されている。ここで、水平方向の軸をＸ軸とし、垂直方向の軸をＹ軸とし、ＸＹ平面と直交する軸をＺ軸とする。

図５においては、説明を簡単にするために、鉄道車両が通過する軌道軸が、Ｙ軸と交差してＺ軸に平行な直線であるものとする。また、差分画像ＶＤにおいて、消失点を原点Ｏとする。従って、差分画像ＶＤにおいて、軌道軸はＹ軸上に存在することになる。

図５（Ａ）は、差分画像ＶＤにおける建築限界及び前景領域内の点の軌跡と、ＹＺ平面に投影された前景領域内の点の軌跡とを示している。即ち、３次元空間において静止している点Ｐが、鉄道車両の走行に伴うビデオカメラ１１の移動によってビデオカメラ１１に対して相対的に移動し、時刻ｔ１において点Ｐ１として示されており、時刻ｔ２において点Ｐ２として示されている。

差分画像ＶＤにおいて、点Ｐ１のＹ座標Ｙ１及び点Ｐ２のＹ座標Ｙ２が測定される。３次元空間における点Ｐ１及びＰ２のＺ座標をそれぞれＺ１及びＺ２とすると、３次元空間における点ＰのＹ座標ＹＰは、次式（１）及び（２）によって表される。
ＹＰ＝Ｙ１×（Ｄ＋Ｚ１）／Ｄ ・・・（１）
ＹＰ＝Ｙ２×（Ｄ＋Ｚ２）／Ｄ ・・・（２）

式（１）及び（２）から、次式（３）が導かれる。
ＹＰ＝（（Ｚ１−Ｚ２）／Ｄ）×Ｙ１・Ｙ２／（Ｙ２−Ｙ１）
＝（ΔＺ／Ｄ）×Ｙ１・Ｙ２／（Ｙ２−Ｙ１） ・・・（３）
ここで、ΔＺは、時刻ｔ１から時刻ｔ２までの間に鉄道車両が進行した距離であり、位置情報取得部２０によって取得された位置情報に基づいて算出されるので、式（３）に基づいて、３次元空間における点ＰのＹ座標ＹＰを求めることができる。

図５（Ｂ）は、ＸＺ平面に投影された前景領域内の点の軌跡を示している。差分画像ＶＤにおいて、点Ｐ１のＸ座標Ｘ１及び点Ｐ２のＸ座標Ｘ２が測定される。３次元空間における点Ｐ１及びＰ２のＺ座標をそれぞれＺ１及びＺ２とすると、３次元空間における点ＰのＸ座標ＸＰは、次式（４）及び（５）によって表される。
ＸＰ＝Ｘ１×（Ｄ＋Ｚ１）／Ｄ ・・・（４）
ＸＰ＝Ｘ２×（Ｄ＋Ｚ２）／Ｄ ・・・（５）

式（４）及び（５）から、次式（６）が導かれる。
ＸＰ＝（（Ｚ１−Ｚ２））／Ｄ×Ｘ１・Ｘ２／（Ｘ２−Ｘ１）
＝（ΔＺ／Ｄ）×Ｘ１・Ｘ２／（Ｘ２−Ｘ１） ・・・（６）
ここで、時刻ｔ１から時刻ｔ２までの間に鉄道車両が進行した距離ΔＺは、位置情報取得部２０によって取得された位置情報に基づいて算出されるので、式（６）に基づいて、３次元空間における点ＰのＸ座標ＸＰを求めることができる。

あるいは、式（１）及び（２）を変形することにより、３次元空間における点Ｐ１のＺ座標Ｚ１及び点Ｐ２のＺ座標Ｚ２は、次式（７）及び（８）によって表される。
Ｚ１＝Ｄ・（ＹＰ−Ｙ１）／Ｙ１ ・・・（７）
Ｚ２＝Ｄ・（ＹＰ−Ｙ２）／Ｙ２ ・・・（８）
式（７）又は（８）によって求められる点Ｐ１のＺ座標Ｚ１又は点Ｐ２のＺ座標Ｚ２を式（４）又は（５）に代入することにより、３次元空間における点ＰのＸ座標ＸＰを求めることができる。

３次元空間において、建築限界は、レールを基準として軌道軸と直交するように設定されている。従って、軌道軸に対する建築限界の位置及び形状は既知であるので、図１に示す判定部７０は、３次元空間において軌道軸と直交する面における点Ｐの位置（ＸＰ，ＹＰ）が建築限界内にあるか否かを判定することができる。

次に、軌道軸が水平面内において曲がっている場合について説明する。図６は、軌道軸が水平面内において曲がっている場合に軌道軸に対する前景領域内の点の位置を求める原理を説明するための図である。ただし、時刻ｔ１から時刻ｔ２までの間に鉄道車両が通過する軌道軸は、Ｙ軸と交差してＺ軸に平行な直線であるものとみなす。

図６（Ａ）は、差分画像ＶＤにおける前景領域内の点の軌跡と、ＹＺ平面に投影された前景領域内の点の軌跡とを示している。図５（Ａ）に示す場合と同様に、３次元空間における点ＰのＹ座標ＹＰは、式（３）によって表される。また、３次元空間における点Ｐ１のＺ座標Ｚ１は、式（７）によって表される。従って、３次元空間における点Ｐ１のＸ座標ＸＰ１は、次式（９）によって表される。
ＸＰ１＝Ｘ１×（Ｄ＋Ｚ１）／Ｄ ・・・（９）

図１に示す軌道検出処理部６４は、差分演算部６３によって前景領域が検出された観測画像において軌道軸の位置を求めている。そこで、判定部７０は、例えば、時刻ｔ１において生成された観測画像において、Ｚ座標Ｚ１を有する軌道軸上の点Ｑ１が観測画像に投影されたときのＹ座標Ｙ３を算出する。これにより、観測画像において、点Ｑ１のＹ座標Ｙ３に対応するＸ座標Ｘ３が求められる。

図６（Ｂ）は、時刻ｔ１においてＸＺ平面に投影された点Ｐ１及び点Ｑ１を示している。判定部７０は、観測画像における点Ｑ１のＸ座標Ｘ３を用いて、次式（１０）に従って、３次元空間における点Ｑ１のＸ座標ＸＱ１を算出する。
ＸＱ１＝Ｘ３×（Ｄ＋Ｚ１）／Ｄ ・・・（１０）

さらに、判定部７０は、３次元空間における点Ｐ１と点Ｑ１とのＸ軸方向の距離ＸＰを、次式（１１）に従って求める。
ＸＰ＝ＸＰ１−ＸＱ１ ・・・（１１）
ただし、Ｚ座標Ｚ１の位置において、軌道軸はＺ軸に対して傾きθを有しているので、判定部７０は、観測画像及び点Ｑ１の位置に基づいて傾きθを算出し、次式（１２）に従って距離ＸＰを補正する。
ＸＰ’＝ＸＰｃｏｓθ ・・・（１２）

これにより、判定部７０は、３次元空間において軌道軸と直交する面における軌道軸に対する点Ｐの位置（ＸＰ’，ＹＰ）が建築限界内にあるか否かを判定することができる。あるいは、判定部７０は、時刻ｔ２においてＸＺ平面に投影された点Ｐ２及び点Ｑ２の位置に基づいて、３次元空間において軌道軸と直交する面における軌道軸に対する点Ｐの位置を求めても良い。

以上説明した原理は、複線区間において隣接線にも適用可能である。複線区間においては、例えば、２つの軌道軸が所定の間隔で平行に位置している。図７は、２つの軌道軸に対する建築限界及び前景領域内の点の軌跡を示す図である。図７には、鉄道車両が通過している建築限界の輪郭と共に、隣接線の建築限界の輪郭が示されている。

図１に示す判定部７０は、複数の時点で撮影された複数フレームの観測画像に基づいて生成された差分画像ＶＤにおける前景領域内の点Ｐ１及びＰ２の位置に基づいて、鉄道車両が通過している軌道軸に対する前景領域内の点の位置又は軌跡を求める。鉄道車両が通過している軌道軸に対する隣接線の軌道軸の位置や隣接線の建築限界の位置及び形状は既知であるので、判定部７０は、前景領域内の点が隣接線の建築限界内に存在するか否かを判定する。

これにより、判定部７０は、前景領域内の点が隣接線の建築限界内に存在すれば、隣接線の建築限界内に障害物が存在すると判定し、前景領域内の点が隣接線の建築限界内に存在しなければ、隣接線の建築限界内に障害物が存在しないと判定することができる。

次に、本実施形態に係る障害物検出装置において用いられる障害物検出方法について、図１及び図８を参照しながら説明する。図８は、本発明の一実施形態に係る障害物検出方法を示すフローチャートである。

図８に示すステップＳ１において、撮像部１０が、鉄道車両の前方を監視するための前方監視画像を撮影して観測画像データを生成する。また、ステップＳ２において、位置情報取得部２０が、鉄道車両の現在位置に関する位置情報を取得する。

ステップＳ３において、背景画像データ抽出部５０が、ステップＳ２において取得された位置情報に基づいて、格納部４０に格納されている背景画像データの内から複数フレームの背景画像データを抽出する。ここで、格納部４０は、過去の観測画像データを位置情報に関連付けて背景画像データとして格納している。

ステップＳ４において、背景画像データ選択部６１が、ステップＳ１において生成された１フレームの観測画像データに基づいて、ステップＳ３において抽出された複数フレームの背景画像データの内から１フレームの背景画像データを選択する。

ステップＳ５において、背景画像データ補正部６２が、ステップＳ１において生成された１フレームの観測画像データによって表される画像を基準として、ステップＳ４において選択された１フレームの背景画像データによって表される画像の空間的なずれを補正する。

ステップＳ６において、差分演算部６３が、ステップＳ１において生成された１フレームの観測画像データとステップＳ５において補正された１フレームの背景画像データとの差分を算出し、両者の画素値の相違度が大きい前景領域を検出する。

ステップＳ７において、軌道検出処理部６４が、ステップＳ６において前景領域が検出された観測画像データに対して軌道検出処理を施すことにより、鉄道車両が走行するレールの画像を抽出して軌道軸の位置を求める。

ステップＳ８において、判定部７０が、複数の時点で生成された複数フレームの観測画像データについて検出された前景領域内の点の位置に基づいて、軌道軸に対する前景領域内の点の位置又は軌跡を求めることにより、前景領域内の点が建築限界内に存在するか否かを判定する。

これにより、判定部７０は、前景領域内の点が建築限界内に存在すれば、建築限界内に障害物が存在すると判定し、前景領域内の点が建築限界内に存在しなければ、建築限界内に障害物が存在しないと判定することができる。

本実施形態に係る障害物検出装置又は障害物検出方法によれば、観測画像データと背景画像データとの画素値の相違度が大きい前景領域を検出し、前景領域が検出された観測画像データから軌道軸の位置を求め、複数の時点で生成された複数フレームの観測画像データについて検出された前景領域内の点の位置に基づいて、軌道軸に対する前景領域内の点の位置又は軌跡を求めることにより、前景領域内の点が建築限界内に存在するか否かが判定される。

その結果、鉄道車両の走行中に架線やレール等の鉄道設備に対する障害物を自動的に検出して、係員による巡視の労力を大幅に低減することができる。また、本実施形態に係る障害物検出装置又は障害物検出方法を、列車運行の自動化のための前方監視システムにおいて活用することも可能である。

以上の実施形態においては、２フレームの画像に基づいて前景領域内の点が建築限界内に存在するか否かを判定する場合について説明したが、本発明は、この実施形態に限定されるものではなく、当該技術分野において通常の知識を有する者によって、本発明の技術的思想内で多くの変形が可能である。

本発明は、電気鉄道における架空電車線路や軌道等の鉄道設備に対する障害物を検出する障害物検出装置又は障害物検出方法において利用することが可能である。

１０…撮像部、１１…ビデオカメラ、１２…Ａ／Ｄコンバーター、２０…位置情報取得部、３０…データベース構築部、４０…格納部、５０…背景画像データ抽出部、６０…画像処理部、６１…背景画像データ選択部、６２…背景画像データ補正部、６３…差分演算部、６４…軌道検出処理部、７０…判定部、８０…警告部

Claims (6)

1. 鉄道車両の前方を監視するための前方監視画像を撮影して画像データを生成する撮像部と、
   前記鉄道車両の現在位置に関する位置情報を取得する位置情報取得部と、
   前記撮像部によって生成された画像データを前記位置情報取得部によって取得された位置情報に関連付けて背景画像データとして格納する格納部と、
   前記位置情報取得部によって取得された位置情報に基づいて、前記格納部に格納されている背景画像データの内から複数フレームの背景画像データを抽出する背景画像データ抽出部と、
   前記撮像部によって生成された１フレームの画像データに基づいて、前記背景画像データ抽出部によって抽出された複数フレームの背景画像データの内から１フレームの背景画像データを選択する背景画像データ選択部と、
   前記撮像部によって生成された１フレームの画像データによって表される画像を基準として、前記背景画像データ選択部によって選択された１フレームの背景画像データによって表される画像の空間的なずれを補正する背景画像データ補正部と、
   前記撮像部によって生成された１フレームの画像データと前記背景画像データ補正部によって補正された１フレームの背景画像データとの差分を算出し、両者の画素値の相違度が大きい前景領域を検出する差分演算部と、
   前記差分演算部によって前景領域が検出された画像データに対して軌道検出処理を施すことにより、前記鉄道車両が走行するレールの画像を抽出して軌道軸の位置を求める軌道検出処理部と、
   複数の時点で生成された複数フレームの画像データについて検出された前景領域内の点の位置に基づいて、軌道軸に対する前景領域内の点の位置又は軌跡を求めることにより、前景領域内の点が建築限界内に存在するか否かを判定する判定部と、
   を備える障害物検出装置。
2. 前記背景画像データ選択部が、前記撮像部によって生成された１フレームの画像データと前記背景画像データ抽出部によって抽出された複数フレームの背景画像データとの画像の相違度を比較することにより、画像の相違度が最小となる１フレームの背景画像データを選択する、請求項１記載の障害物検出装置。
3. 前記背景画像データ選択部が、前記撮像部によって生成された１フレームの画像データと前記背景画像データ抽出部によって抽出された複数フレームの背景画像データとの各々に対してエッジ検出処理を施した後に、両者の画像の相違度を比較する、請求項２記載の障害物検出装置。
4. 前記背景画像データ補正部が、前記撮像部によって生成された１フレームの画像データと前記背景画像データ選択部によって選択された１フレームの背景画像データとの画像の相違度が減少するように、前記背景画像データ選択部によって選択された１フレームの背景画像データに対して、回転補正、スケーリング補正、及び／又は、平行移動補正を施す、請求項１〜３のいずれか１項記載の障害物検出装置。
5. 前記撮像部がカラーの画像データを生成する場合に、前記差分演算部が、輝度の差分、色相ベクトル成分の差分、及び／又は、色相ベクトルの角度の差分を算出し、前記撮像部がグレイスケールの画像データを生成する場合に、前記差分演算部が、輝度の差分を算出する、請求項１〜４のいずれか１項記載の障害物検出装置。
6. 鉄道車両の前方を監視するための前方監視画像を撮影して画像データを生成するステップ（ａ）と、
   前記鉄道車両の現在位置に関する位置情報を取得するステップ（ｂ）と、
   ステップ（ｂ）において取得された位置情報に基づいて、過去の画像データを位置情報に関連付けて背景画像データとして格納する格納部に格納されている背景画像データの内から複数フレームの背景画像データを抽出するステップ（ｃ）と、
   ステップ（ａ）において生成された１フレームの画像データに基づいて、ステップ（ｃ）において抽出された複数フレームの背景画像データの内から１フレームの背景画像データを選択するステップ（ｄ）と、
   ステップ（ａ）において生成された１フレームの画像データによって表される画像を基準として、ステップ（ｄ）において選択された１フレームの背景画像データによって表される画像の空間的なずれを補正するステップ（ｅ）と、
   ステップ（ａ）において生成された１フレームの画像データとステップ（ｅ）において補正された１フレームの背景画像データとの差分を算出し、両者の画素値の相違度が大きい前景領域を検出するステップ（ｆ）と、
   ステップ（ｆ）において前景領域が検出された画像データに対して軌道検出処理を施すことにより、前記鉄道車両が走行するレールの画像を抽出して軌道軸の位置を求めるステップ（ｇ）と、
   複数の時点で生成された複数フレームの画像データについて検出された前景領域内の点の位置に基づいて、軌道軸に対する前景領域内の点の位置又は軌跡を求めることにより、前景領域内の点が建築限界内に存在するか否かを判定するステップ（ｈ）と、
   を備える障害物検出方法。

Images