JP6466933B2 - 障害物識別及び回避システム並びに方法 - Google Patents

Description

多くの列車事故は、世界中で、機関車の運転手に見えないか、又は、障害物にぶつかることの回避を可能にしない距離内で見えるようになる形の、鉄道上又は鉄道に隣接する障害物の存在に起因して生じる。そのような障害物との衝突を回避できることは、例えば、環境及び天候に依存する可視性、線路の形状（湾曲、トンネル等）並びに地形（視線を妨げる丘及び岩等）に依存する可視性、障害物の存在に気が付く瞬間の列車の速度及び質量（全運動エネルギー）、並びに、障害物のサイズ、位置及び色（物体に特有の可視性）を含む種々の要因に依存する。そのような要因のそれぞれは、障害物事故を回避するために、走行している列車を停止させるのに必要な距離及び時間に対して直接的な影響を有する。幾つかは、完全停止距離に直接的に影響を与え、幾つかは、物体に気が付いて物体を障害物として特徴付ける能力に影響を与える。

多くの場合に、機関車の運転手の典型的な決定時間、典型的な列車の進行速度とともに、走行している列車の全質量が、障害物を検出し、列車の緊急制動及び制動を決定するために１キロメートル〜２キロメートルを超える距離を指示する。そのような距離は、障害物事故を回避するために、全て制動距離を使い果たす前に、機関車の運転手が２キロメートル又は同様の距離から物体を見ることが可能であり、観察される物体が実際に回避しなければならない障害物であるか否かを決定可能であり、次に、制動手段を操作可能である必要があることを指示する。

全て、列車が障害物にぶつかる前に列車の安全な制動を可能にするほど十分に早く、鉄道沿いの物体を取得し、その存在の危険性を評価し、列車を制動する必要があるか否かに関する操作上の決定を行うときに機関車の運転手を補助するとともにサポートするシステム及び方法が必要とされている。

本発明の実施形態による、鉄道障害物識別方法が開示され、この方法は、列車の機関車に設置されるとともに進行方向を向いている赤外線（ＩＲ）センサからＩＲ画像を受信する工程と、振動プロファイルを取得する工程と、振動プロファイルに基づいてＩＲ画像から振動の影響をフィルタリングする工程と、予め準備した規則及びパラメータに基づいて、ＩＲ画像が障害物の画像を含んでいるか否か、及び、その障害物が列車の進行に対する脅威を形成するか否かを決定する工程と、ＩＲ画像が障害物の画像を含んでいる場合に警報信号を提供する工程とを備える。

本発明の実施形態によると、方法は、ＩＲ画像においてレールと同レールの背景との間の温度差に基づいてレールを検出する工程を更に備える。
また更なる実施形態によると、振動プロファイルは、列車の進行前に記憶される。

また更なる実施形態によると、方法は、列車の機関車の振動プロファイルの動的な調査を更に含む。
また付加的な実施形態によると、方法は、検出されたレールの周りの対象とする領域を画定する工程と、対象とする領域内の物体を検出する工程とを更に備える。

また付加的な実施形態によると、方法は、受信したＩＲフレームにおいて移動する物体の移動方向を推定する工程と、連続的なＩＲ画像の取得間で列車が通過した距離を考慮して、連続的な受信したＩＲ画像において移動する物体の位置を比較するとともに、連続的なＩＲ画像間で移動する物体が移動した距離を、ＩＲ画像の取得間の時間期間で割る工程と、移動する物体の移動の速度及び方向に基づいて、その移動する物体が列車に危険を及ぼすか否かを判断する工程とを備える。

本発明の実施形態による鉄道障害物識別方法は、全地球測位システム（ＧＰＳ）ユニットから位置データを取得する工程と、位置データに基づいて列車の前進を追跡する工程と、列車が限られた可視性でレールセクションに近づくときに情報を提供する工程とを更に備える。

方法は、レール及びレールの近傍における変化を確認するために、列車の正面におけるレールのセクションの予め記憶されている画像と、列車の進行中に得られるフレームとを比較する工程と、比較に基づいて障害物を検出する工程とを更に備える。

本発明の実施形態による鉄道障害物識別方法では、鉄道状況を評価する工程は、鉄道の得られた画像においてレールの２つの線路間の距離を観察することによって線路の湾曲を検出する工程を更に含む。

鉄道障害物識別システムが開示され、システムは、赤外線（ＩＲ）画像を取得するように進行方向を向いて設置されるＩＲセンサ、先行する請求項のいずれかに記載の方法の工程を行うように構成されている処理及び通信ユニット、並びに、警報信号をユーザに提示するように構成されている機関車の運転手操作ユニットを備える。システムは、本発明の実施形態によると、ＩＲセンサを安定させて照準させる安定化及び照準ベースを更に備える。安定化及び照準ベースは、予め記憶されている振動プロファイルに基づく安定化制御ループを更に備えることができる。

鉄道障害物識別システムでは、ＩＲセンサは、８マイクロメートル〜１２マイクロメートルの範囲の波長で動作可能である。
本発明とみなされる主題は、本明細書の結論部分において詳細に指摘されかつ明確に特許請求される。しかし、本発明は、構造及び動作方法の双方に関して、その目的、特徴及び利点とともに、添付の図面と一緒に読めば以下の詳細な説明を参照することによって最も良く理解することができる。

本発明の実施形態による、鉄道障害物識別及び回避システムを備えた列車を概略的に示す図である。 本発明の実施形態による、鉄道障害物識別及び回避システムを備えた列車を概略的に示す図である。 本発明の実施形態による、鉄道障害物識別及び回避システムの概略ブロック図である。 本発明の実施形態による、処理及び通信ユニットの概略ブロック図である。 本発明の実施形態による、ＳＮＲ、ＰＯＤ及びＦＡＲの大きさの間の関係を示す例示的なグラフである。 本発明の実施形態による、乱流の関数としての、ＭＷ及びＬＷ波長範囲におけるＩＲ波長の伝達性を概略的に示す図である。 本発明の実施形態による、影になったエリアにおけるレールの部分の可視性を表す、ＩＲ撮像装置が撮影した画像である。 本発明の実施形態による、レールの図５Ａに示されている同じシーンの、フィルタに供された後の画像である。 本発明の実施形態による、レールに沿う２つの異なる地点におけるレールの温度変化、及び、レールと同レールの背景との間の温度差を示す画像である。 本発明の実施形態による、レール間に位置する障害物と、レール間の背景と、撮像装置から約０．５ｋｍの距離にあるレールとの間の温度差を示す画像である。 本発明の実施形態による、２つの異なる障害物及びレール対背景の高い可視性を表す画像である。 本発明の実施形態による、鉄道障害物識別及び回避システムの動作を表す概略フロー図である。 本発明の実施形態による、運転安全評価方法を示す概略フロー図である。

説明の簡潔さ及び分かりやすさのために、図面に示されている要素は必ずしも一定の縮尺で描かれていないことが理解される。例えば、要素の幾つかの寸法は、分かりやすくするために他の要素に対して誇張されている場合がある。さらに、適切であると考えられる場合、対応する又は同様の要素を示すために図面間で参照符号が繰り返される場合がある。

以下の詳細な説明において、本発明の完全な理解を提供するために多くの特定の詳細が記載される。しかし、当業者には、本発明を、これらの特定の詳細を伴うことなく実施することができることが理解されるであろう。他の場合では、本発明を曖昧にしないように、既知の方法、手順及び構成要素は詳細には記載されていない。

本発明の実施形態はこれに関して限定されないが、例えば、「処理」、「演算」、「計算」、「判断」、「確立」、「分析」、「確認」等のような用語を使用する説明は、コンピュータのレジスタ及び／又はメモリ内の物理的な（例えば電子的）量として表されるデータを、演算及び／若しくは処理を行うように命令を記憶することができるコンピュータのレジスタ及び／若しくはメモリ又は他の情報記憶媒体内の物理的な量として同様に表される他のデータに操作並びに／又は変換する、コンピュータ、コンピューティングプラットフォーム、コンピューティングシステム又は他の電子コンピューティングデバイスの動作及び／又はプロセスを指す。

本発明の実施形態はこれに関して限定されないが、「複数の」という用語は、本明細書において用いられる場合、例えば「多数の」又は「２つ以上」を含むことができる。「複数の」という用語は、本明細書を通して、２つ以上の構成要素、デバイス、要素、ユニット、パラメータ等を記載するために用いられる場合がある。明記されない限り、本明細書において記載される方法の実施形態は、特定の順序又は順番に限定されない。さらに、記載される方法の実施形態又はその要素の幾つかは、同じ時点で生じるか又は行うことができる。

本発明の実施形態によると、鉄道の線路が、熱画像化手段を用いて比較的容易にその近傍から区別することができる熱フットプリントを有することから利点が得られる。本発明の発明者らは、列車のレールが金属から作られ、通常は低い熱伝導率を有するコンクリート又は他の材料から作られる鉄道滑り金をベースとすることを認識している。その結果、金属のレールは、レールの高い熱伝導率に起因して、鉄道の非常に長いセクションに沿って比較的等しい温度を維持する傾向にあり、一方で、レールの近傍における地面は、レールの温度の均一性よりも低いレベルの均一性を有する周辺温度を維持する。さらに、列車のレールと通常は地面に含まれる材料との熱伝導率及び熱的な比熱の差に起因して、鉄道に沿う温度境界及び温度のレベルが、少なくとも双方のパラメータにおいてその周囲の地面のものとは区別されることが明らかである。

レールと同レールの背景における地面との間の典型的な温度差は、本発明者らが測定したところ、１５度〜２０度であり、一方で、レールに沿うレールの温度変化は、１ｋｍに沿って２度未満の変化を示す。これは、ＩＲセンサが撮影する画像フレーム内でのレールの良好な可検出性を確実にし、鉄道障害物識別及び回避の熱画像化システム並びに方法の具体的な基礎を確立することができる。（本明細書において以下で詳細に記載される）図５Ｃにおいて分かるように、例えば、物体間の差は２０グレーレベルである。典型的な検出器では、１つのグレーレベルは通常、全範囲に関して１３ビットで５０ｍＫ度を表す。図５Ｃの画像は、８ビットの撮像装置によって撮影し、したがって、図５Ｃにおける各グレーレベルは、２＾５×５０ｍＫ＝１６００ｍＫ＝１．６℃（説明を簡単にするためにγ補正は無視した）。

ここで、本発明の実施形態による、鉄道障害物識別及び回避システム１００を備えた列車１０を概略的に記載する図１Ａ及び図１Ｂを参照する。列車１０は、その先端に１つの列車の機関車１０Ａを、及び、任意選択的には１つ又は複数の鉄道車両１０Ｂを含むことができる。システム１００は、列車の機関車１０Ａに設置することができ、処理及び通信ユニット１０２、機関車の運転手操作ユニット１０４、カメラ照準ベース１０６Ａによって任意選択的に位置付けられる少なくとも１つの赤外線（ＩＲ）前方視認センサ１０６、及び、任意選択的には通信アンテナ１０８を含むことができる。

ＩＲセンサ１０６は、図１Ａにおいて列車１０の側面図に概略的に示されているように、好ましくは良好な前方視認性能のために高い位置において進行方向を向いている、列車の機関車の端にある、機関車１０Ａの前端に設置することができる。ＩＲセンサ１０６は、開口画角α_Ｖ１を有する垂直視野１１６、及び、水平線に対して角度α_Ｖ２だけ傾斜したその中心光軸１１６Ａを有することができる。

図１Ｂにおける列車１０の上面図において分かるように、ＩＲセンサ１０６は、開口画角β_ｈ１を有する水平視野１１７を有することができ、その中心軸１１７Ａは通常、機関車１０Ａの長手方向軸に沿って方向付けられる。開口角及び下方傾斜角は、ＩＲセンサ１０６の特定の標的取得性能と併せて選択することができ、それによって、その中心が列車の機関車１０Ａから最大で約２ｋｍである、機関車１０Ａのすぐ前にある対象とするエリア、並びに、その長手方向開口及び緯度開口は、鉄道のレール及びそのすぐ近くが、レールの全ての予期される線路の変化においてＩＲセンサ１０６の視野内に留まることを確実にする。

本発明の幾つかの実施形態によると、ＩＲセンサ１０６は、以下で詳細に説明するように、特定の性能を有するレンズ又はレンズの光学セットを備えた、冷却されていないか又は低温冷却されていない、好ましくはＬＷＩＲ（ｌｏｎｇ ｗａｖｅｌｅｎｇｔｈ ｉｎｆｒａｒｅｄ）（詳細には、８マイクロメートル〜１２マイクロメートル範囲の波長）波長範囲のＩＲ撮像装置を用いて具体化することができる。ＩＲセンサ１０６は、センサ安定化及び照準ベース１０６Ａに設置することができる。安定化及び照準は、任意の既知の手段及び方法を用いて達成することができる。動的安定化ループを、撮影された画像から測定／抽出される振動／不安定性に基づいて、又は、加速度計等の移動測定センサに基づいて行うことができる。ＩＲセンサ１０６には、センサ１０６の光学系の外面を物理的／化学的／機械的に清浄にするようになっている手段１０６Ｂを更に備え付けることができる。ＩＲセンサ１０６には、任意の既知の手段（図示せず）によって実現されるパン／チルト／ズーム（ＰＴＺ）制御手段の１つ又は複数を備え付けることができる。

ここで、本発明の幾つかの実施形態による、鉄道障害物識別及び回避システム１００の概略ブロック図である図２Ａを参照する。システム１００は、処理及び通信ユニット１０２、機関車の運転手操作ユニット１０４、少なくとも１つの赤外線（ＩＲ）前方視認センサ１０６、及び、任意選択的には通信アンテナ１０８を備えることができる。処理及び通信ユニットは、プロセッサ１０２Ａ及び非一時的記憶手段１０２Ｂを備えることができる。プロセッサ１０２Ａは、記憶手段１０２Ｂに記憶されるプログラム及びコマンドを実行するようになっているものとすることができ、さらに、記憶手段１０２Ｂに値及びパラメータを記憶して読み取るようになっているものとすることができる。プロセッサ１０２Ａはさらに、運転手操作ユニット１０４を制御し、データをユニット１０４に提供し、ユニット１０４において、又は、ユニット１０４の近くでユニット１０４と動作通信して警報信号を作動し、ユニット１０４のユーザからコマンド及びデータを受信するようになっているものとすることができる。ＩＲセンサ１０６は、ＩＲ画像を提供するように処理及び通信ユニット１０２と動作接続することができる。本発明の幾つかの実施形態によると、システム１００は、列車１０の進行に関連するデータ及び警報を外部ユニット及びシステムと交換するために外部ユニットとのデータリンクを可能にするアンテナ１０８を更に備えることができる。

本発明の幾つかの実施形態によると、運転手操作ユニット１０４は、熱的に区別される物体が強調して提示される、機関車の正面のビューを表すＩＲ画像の動的なストリームを機関車の運転手が受信して見ることを可能にするようになっているものとすることができる。選択可能な操作モード間で選択すること、ＩＲセンサ１０６から受信したビューの画像のストリームの記録の制御といったオプションを作動／作動停止すること、遠隔の記憶デバイス等から参照線路画像を取得すること、かつ、障害物が検出されたときに警報信号及び／又は指示を受信すること。

システム１００の必要な性能は、障害物との事故が検出されたときに、列車１０が障害物に達する前に列車１０の安全な制動を可能にするように、鉄道上及び／又は鉄道に隣接する画定された周辺における潜在的な障害物の取得及び識別を十分前もって確実にするべきである。１５０Ｋｍ／時の速度すなわちおよそ４２ｍ／秒で進行する列車１０の場合、制動距離は約１．６Ｋｍ（およそ１マイル）である。１０秒の決定にかかる時間及び操作にかかる時間を含む典型的な反応時間は、更に４００ｍの障害物識別距離を必要とし、したがって、検出及び識別距離は２Ｋｍに設定される。列車１０の一定の減速を仮定すると、列車１０の減速線路に沿う任意の地点における距離／時間／瞬間速度を計算するために、基本的な移動方程式を用いることができる。このように、上記で提示した数字の場合、一定の減速αは−１．６５ｍ／秒に等しく、全制動時間ｔ_Ｂは２６秒に等しい。当業者には、その線路に沿う任意の地点における移動パラメータを解くために、他の方程式のセット、例えば、エネルギーベースの方程式のセットを用いることができ、この場合、任意の瞬間における減速する列車の運動エネルギを計算することができ、また、制動車輪が消費する最大エネルギを、生成される熱によってレール及び周囲に提供することができることが理解される。

ここで、本発明の幾つかの実施形態による、処理及び通信ユニット２００の概略ブロック図である図２Ｂを参照する。ユニット２００は図２Ａのユニット１０２に相当する。処理及び通信ユニット２００は、ＩＲセンサ１０６（図２Ａ）等のＩＲセンサからＩＲ画像２１０を受信するようになっている。ＩＲ画像２１０の画像信号とともに出現するノイズの少なくとも幾らかは反復的であり、したがって予測可能であることが想定される。そのようなノイズは、プリセットノイズユニット２６０に記録及び保存することができるか、又は、オンラインでサンプリングすることができる。ユニット２００は、過去のノイズ表現２６０を更に受信することができる。ＩＲ画像信号２１０及び過去のノイズ信号２６０を、デコンボリューションユニット２０４に入力し、より良い信号対雑音比でノイズ除去された画像信号２０４Ａを受信することができる。ノイズ除去された画像信号２０４Ａは、ユニットＳＵＢ２０６において差分によって以前の画像と比較することができる。ノイズ除去された画像信号２０４Ａは、ノイズ除去された画像を供給することができるか、又は、本発明の実施形態によると、平均画像が非一時的ファーストランダムアクセスメモリ（ＲＡＭ）であるユニット２２０に記憶される。

画像２０４Ａからの以前の画像の差分は、以前の画像から現在の画像への変化を示す派生画像２０６Ａを生成する。差分された生成物２０６Ａは、決定ユニットＤＳＣＮ２０８に供給される。ＤＣＳＮユニット２０８は、予め準備された規則及びパラメータに基づいて差分生成物画像２０６Ａを分析し、決定するようになっている。そのような予め規定された規則及びパラメータは、種々の引数を考慮することができる。例えば、画像化されて分析される位置の予め記憶されている画像が、分析されるフレームにおける物体の検証を可能にすることができる。別の例では、分析される画像が撮影された時点における実際の天候、例えば温度、曇天等の影響を考慮し、感度及び知覚力を改善することができる。関連する天候情報は、ＩＲセンサが撮影した画像から抽出するか、又は、無線リンクを介して外部天候情報源から受信することができる。これらの規則は、プランクの分布に基づいて、ＩＲセンサによる温度測定又は評価の精度を改善するようになっている。幾つかの実施形態によると、これらの規則及びパラメータを用いて、例えば決定ユニットＤＳＣＮ２０８によって、列車の前のレールが湾曲しているためそれらの画像が一致して単一の線のように見える地点を自動的に識別することができる。潜在的な脅威のように見える画像が、実際に、脅威をもたらす距離にあるか否かを識別するために、レールの画像のそのような部分において、レールからのその物体の距離を評価する必要がある。この状況では、レール間の横方向距離を直接的に抽出することができないため、識別された疑わしい物体とレールとの間の距離は、ＩＲセンサからのレールのその部分の距離の評価、及び、シーン、場所及び天候に従って適合されるものとする、列車が物体の距離の計算を可能にするほど十分に長い距離を進行したことを確実にする時間間隔の後で撮影した関連するシーンの連続的な画像に基づく、三角測量等の既知の方法を用いて計算される、ＩＲセンサからの疑わしい物体の距離の評価に基づいて計算することができ、これらの規則及びパラメータは、プランクの分布に従って物体の温度を測定する可能性であり、レールの予期される曲率、アルゴリズムは、分析される画像又は一連の画像が障害物の画像を含むか否か、及び、その障害物が列車の進行に対する脅威をなすか否かについて、レール上の正面図から側面図に検出アルゴリズムを切り替えるべきである。脅威をなす障害物が検出された場合、組み合わせ信号２３０Ａを生成し、ユニット１０４（図２Ａ）等の運転手操作ユニットに提供することができる。組み合わせ信号２３０Ａは、デコンボリューションユニット２０４から受信したビデオフレームにおいて識別された障害物を示すために、警報信号及び障害物指示オーバレイビデオを含むことができる。

セルラインタフェースユニット２４６が、ユニット２００のセルラ通信を管理するようになっており、ＣＰＵユニット２４０から制御されることができ、信号、コマンド及び／又はデータを受信することができ、信号、コマンド及び／又はデータを提供することができる。

全地球測位システム（ＧＰＳ）ユニット２４２が、ＧＰＳ衛星から受信した信号から抽出されるような位置データを管理することができる。位置データ２４２Ａは、列車管理システム（図示せず）による列車の前進の追跡に、関連する周辺にある他の列車の位置の指示を受信することによって列車対列車の相対位置データに、及び、列車が例えば丘の上の曲率に起因して限られた可視性でレールセクションに近づくときに機関車の運転手に事前に知らせるために使用することができる。位置データは、レール及び同レールの近傍における変化を確認するために、無線通信チャネル（セルラチャネル等）を介して受信することができるその時点のレール上の過去の進行のフレームと、その時点の進行のフレームとを同期させるために用いることもできる。

ＣＰＵユニット２４０は、必要なデータ及び制御コマンドの少なくとも一方を提供すること、並びに、他のユニットの動作を同期させることによって、ユニット２００のうちの他のユニットの少なくとも幾つかの動作を制御するようになっている。ユニット２００の動作に必要なソフトウェアプログラム、データ及びパラメータは、任意の既知の読み／書き記憶手段である非一時的記憶ユニット２４４に記憶することができる。記憶装置２４４に記憶されているプログラムは、実行されると、ユニット２００に対し、本明細書において記載される動作及び活動を行わせることができる。

ユニット２００は、図２Ａのユニット１０２の実施形態の一例である。しかし、ユニット１０２は、他の方法で具体化してもよい。ユニット２００は、全体的に又はその一部として、別個のユニットにおいて、又は、システム若しくはユーザ固有のチップの一部として、又は、既存のプラットフォームのみにおいて実行されるとともに既存のユニットを制御するソフトウェアとして具体化することができる。ユニット２００の全ての電力を消費するものには、給電ユニット２５０によって給電することができる。

本発明の幾つかの実施形態によると、ＥＦで示される、必要な有効視野は、レール及びレールの外縁をカバーする必要がある。レール間の１．５ｍの距離を考慮すると、２Ｋｍの距離における１．５ｍの開口画角は、約１ｍＲａｄに等しい。２５６×２５６ピクセル〜１０００×１０００ピクセル以上の範囲の解像度を有するＩＲ撮像装置が、市場で入手可能である。２Ｋｍの距離における、対象とする障害物の０．５ｍの緯度寸法を仮定すると、そのような障害物は約０．２５ｍＲａｄを占め、これは２サイクル／ｍＲａｄサンプリングを指示する。ナイキストサンプリング周波数の要件との適合性は、サンプリング周波数ｆ_Ｎ＝４サイクル／ｍＲａｄを指示する。撮像装置によって取得される物体の認識のためのジョンソンの基準に従って、認識ｆ_ＲＥＣを確実にするサンプリング周波数は、
ｆ_ＲＥＣ＝ｆ_Ｎ×６＝４×６＝２４サイクル／ｍＲａｄ
に等しい。

したがって、各緯度ピクセルの視野（ＦＯＶ）ＦＯＶ_ＰＩＸは、
ＦＯＶ_ＰＩＸ＝１／ｆ_ＲＥＣ＝１／（２４×１０^−３）≒４０μＲａｄ
に等しい。

市販のＩＲセンサにおける２０μｍの緯度寸法を有する典型的なピクセルの場合、焦点距離ｆは、
２０×１０^−６＝ｆ×４０×１０^−６
ｆ＝０．５ｍ
である。

２Ｋｍの距離からの０．５ｍの緯度サイズの障害物の認識を確実にするために、０．５ｍの焦点距離ｆが必要とされる。当然ながら、より短い距離における認識を確実にすることは、より弱い制約を課す。例えば、５００ｍの距離における障害物は、４倍のピクセル数を占め、これは、４８ピクセル／標的がジョンソンの基準を満足させることを意味し、これはさらに、２５６×２５６ピクセル（２５６×２５６が５００ｍよりも長い距離には好適である）のＩＲ撮像装置の使用を可能にする。不正確な設置又はセンサの視線の動態から生じるエラー等の画像化エラーが
ｅ_{ｌｏｃ／ｖｉｂ}＝±４０μＲａｄ×（２５６−４８）／２＝１０４×４０μＲａｄ＝４．１６ｍＲａｄ
を超えない限り、エラーは無視できると考えられるが；より大きいエラーは、ＩＲ撮像装置のより高い解像度を必要とし、これはシステムのコストを増大させる。専ら検出の目的で、焦点距離は、
０．５ｍ／６＝０．０８３３ｍ
である。

比較的短い焦点距離が必要である場合、感度は、Ｆ値を小さくすることによって高めることができる。
焦点距離は、システムの主な目的が障害物検出である場合に、製造を容易にし、寸法を低減するために、約１５０ｍｍほどまで低減することができる。

物体検出に用いられる熱システムは通常、２Ｋｍよりも長い距離から障害物の検出をサポートする、約１００ｍケルビン／ピクセルの雑音等価温度差（ＮＥＴＤ：Ｎｏｉｓｅ−Ｅｑｕｉｖａｌｅｎｔ ｔｅｍｐｅｒａｔｕｒｅ ｄｉｆｆｅｒｅｎｃｅ）区別をサポートするＦ／２数（Ｆ／２ ｆｉｇｕｒｅ）を有する。対象とする障害物が例えばヒトの生体である場合、ヒトの身体の温度とヒトの画像の周りの地面の温度との温度差は、５°Ｋ〜２５°Ｋの間で変化する。その結果、信号対雑音（ＳＮＲ：ｓｉｇｎａｌ−ｔｏ−ｎｏｉｓｅ ｒａｔｉｏ）比は５０又はそれよりも高くなる。

本発明の幾つかの実施形態によると、対象とする障害物の特定の範囲の検出確率（ＰＯＤ：ｐｒｏｂａｂｉｌｉｔｙ ｏｆ ｄｅｔｅｃｔｉｏｎ）及び特定の範囲の空振り率（ＦＡＲ：ｆａｌｓｅ ａｌａｒｍ ｒａｔｉｏ）が必要とされる。

ここで、本発明の幾つかの実施形態による、ＳＮＲ、ＰＯＤ及びＦＡＲの大きさの間の関係を示す例示的なグラフである図３を参照する。ＳＮＲは、無次元図で表現され、横軸に示され、ＰＯＤはパーセンテージで表現され、縦軸に沿って示され、所与のＦＡＲに関しては、無次元図で表現される。図３のグラフにおいて分かるように、所与のＦＡＲ値の場合、ＰＯＤ値はＳＮＲ値に直接比例し、例えば１２．５よりも高い、十分に高いＳＮＲの値の場合、ＰＯＤの値は、９９よりも高く、更にはＦＡＲが１０^−２２に等しく、すなわちＳＮＲが十分に高い場合、ＦＡＲの値は無視することができる。上記で明記した値よりも高いＦＡＲ値の場合であっても、システム１００は、ユニット２００がこの範囲で警報信号を提供するように調整されている場合に、機関車の運転手の注意を警報に向けさせるため、依然として機関車の運転手の助けとなる。ＳＮＲが１０に等しい場合、ＦＡＲの値は非常に低く、ＳＮＲが１０よりも高い場合、ＦＡＲの値が実際にはゼロであることが明らかである。ＳＮＲが１０に等しい場合のＰＯＤの値は、センサ１０６によって取得される単一のフレームに関して９９．９９％に近く、当然ながら、２つ以上のフレームが取得される場合には、ＰＯＤの値は１００％にはるかに近くなる。

システム１００等の、本発明の幾つかの実施形態による鉄道障害物識別及び回避システムは、少なくとも２つの異なる波長の範囲で動作することができる。中波長赤外線（ＭＷＩＲ：ｍｉｄ−ｗａｖｅｌｅｎｇｔｈ ｉｎｆｒａｒｅｄ）としても知られている第１の波長範囲は３μｍ〜８μｍであり、長波長赤外線（ＬＷＩＲ：ｌｏｎｇ ｗａｖｅｌｅｎｇｔｈ ｉｎｆｒａｒｅｄ）としても知られている第２の波長は、８μｍ〜１５μｍである。これらの範囲のそれぞれにおけるシステムの動作は、それ自体利点及び欠点を伴う。ＭＷＩＲ範囲における動作は、赤外線（ＩＲ）ミサイルプルームを検出する必要がある場合に利点を有する。本明細書において用いられる場合、ＩＲミサイルプルームは、ミサイルの排気からのＩＲ放射線放出を指す。さらに、ＭＷＩＲ範囲は、良好な大気条件、例えば低レベルの乱気流を有する環境においてより良好な伝達性を有する。ＬＷＩＲ範囲における動作は、高レベルの乱気流を有する環境において動作する場合に実質的な利点を有する。ＩＲ範囲における波の伝達性は、ＩＲエネルギの波長がＬＷＩＲ範囲にある場合よりもはるかに高い。撮像装置の性能に対する乱流の影響は、対象とする物体と撮像装置との間の媒体の屈折係数の分散レベルを示すパラメータＣｎ２を用いて評価することができる。この単位は、物理的寸法［ｍ^−２／３］を有し、数字が高くなるほど、反射数の分散が高くなり、その結果、撮像装置の性能が低くなる。

ここで、本発明の実施形態による、乱流の関数として、ＭＷ及びＬＷ波長範囲におけるＩＲ波長の伝達性を概略的に示す図４を参照する。観察される物体と撮像装置との間の媒体における、横軸に沿って示される乱流Ｃｎ２の関数としてのＭＷ及びＬＷ波長範囲におけるＩＲ波長の伝達性は、縦軸に沿って示される。図４において分かるように、低レベルの乱流Ｃｎ２におけるＭＷＩＲの伝達性は、ＬＷＩＲの伝達性よりも高い。しかし、ＭＷＩＲに対する乱流の影響は、ＬＷＩＲに対する影響よりもはるかに高く、２ｋｍ範囲及び高レベルの乱流の対象とする領域では、ＬＷＩＲの伝達性の方が良い。

ＩＲスペクトルのＬＷ範囲における、システム１００のような本発明の実施形態によるシステムを動作させる利点は、低可視性条件において動作する場合にも当てはまる。画像化システムの伝達性は、回折のレイリー式：

によって評価することができ、式中、要素（１／λ）^４は、悪天候条件において伝達性に最も重要であり、長波長の使用は高い伝達性を証明する。

本発明の幾つかの実施形態によると、システム１００等の鉄道障害物識別及び回避システムは、画像フレームにおいて鉄道のレールの画像に自動的に焦点を合わせることができる。レールの画像は、その温度と、画像フレーム内のその背景の温度との差異に主に起因して、フレーム内で高レベルの区別を有するものと予期される。鉄道レールは、金属、通常は鋼から作られ、これは、レールが配置される地面の伝熱係数とは異なる伝熱係数を有する。鉄の伝熱係数は５０Ｗ／ｍ^２・ｋ（ワット／平方メートルケルビン）であり、一方で、岩、土及び空隙を含む地面の同等の伝熱は１Ｗ／ｍ^２・ｋよりも低い。この差は、一日中を通してかつ天候変化の全ての範囲にわたって、レールの表面の温度において、同レールの背景の温度と比較した顕著な差を確実にする。

本発明の幾つかの実施形態によるシステムは、２ｋｍ以上の距離から、屈折の分散等によって損なわれるか又は低い可視性を有する可能性がある媒体を通して約０．５ｍ幅の障害物を識別可能である必要がある。さらに、ＩＲセンサは、高速で移動する列車の機関車へのその設置に起因して一連の複雑な振動に晒される。そのような一連の複雑な振動は、特定の機関車の特定の振動、レール上の移動から生じる振動等を含む。列車の機関車からＩＲセンサに対して誘発される振動は、取得される画像に２つの異なるタイプのマイナスの影響を招く可能性がある。第１のマイナスの影響は、取得される画像の振動であり、第２のマイナスの影響は、画像のスメアである。

第１のマイナスの影響の結果として、各物体が、長手方向及び／又は緯度方向に未知の量だけ互いに対してシフトした、フレーム内の幾つかの異なる位置に複数回現れる画像が生じる。第２のマイナスの影響の結果として、画像の鮮明さを低下させる、フレーム内の物体のスメアが生じる。第１のマイナスの影響の対処は、どのピクセルが物体を表すかを自動的に判断することが難しいため、より難しく、したがって、フレーム内で写される物体の正確な位置を整合する可能性、及びその後で差分によってマイナスの影響をなくす可能性を排除する。第２のマイナスの影響は、本当の物体を受信するように時間的にスメア物体を平均化することによって物体を抽出することができるため、より対処しやすい。

本発明の幾つかの実施形態によると、特定の列車の機関車の振動の特定の性質を、例えば、特定の機関車の、及び／又は、種々の特定の移動プロファイルの機関車の、及び／又は、鉄道の特定のセクションに沿って移動する機関車の振動プロファイルを記憶することによって記録、分析及び研究することができる。そのような振動データは、システム１００等のシステムによって記憶することができ、使える状態になることができる。本発明の代替的な又は付加的な実施形態によると、障害物のＩＲ画像の鮮明化に使用するために、特定の機関車の振動の特定の性質を動的に研究して分析することができる。

本発明のまた更なる実施形態によると、取得されたＩＲ画像は、鉄道レールのうちの少なくとも１つが撮像装置の見通し線にある限り、上記で説明したように、その区別される熱的特徴に起因して画像フレームにおいてレールの位置を突き止める容易さに依拠して、振動の影響の抽出がより容易であるという仮定に依拠することによって、振動のマイナスの影響を克服するために更に改善することができる。撮影したＩＲ画像を改善するために、ウィーナフィルタを用いることができる。ウィーナフィルタの周波数応答は：

によって表すことができ、式中：Ｓ_ηη（ｗ_１，ｗ_２）は、均一な分散を有するフレーム内の位置から撮影したノイズスペクトルであり、Ｓ_ｕｕ（ｗ_１，ｗ_２）は、元の物体の画像のスペクトルである。

本発明の幾つかの実施形態によると、鉄道の線路に沿って撮影した画像は、後に使用するために記憶することができる。１つのそのような使用は、参照画像として役立たせるためである。システム１００は、例えば図２Ｂに関して記載したようなセンサ１０６等のＩＲセンサがその時点で見る鉄道のセクションに対応する、予め記憶されている画像を引き出すことができる。予め記憶されている画像は、例えばＧＰＳ入力ユニット２４２から受信する連続的な位置情報に基づいて引き出すことができる。予め記憶されている画像は、より高い品質であると仮定すると、例えば差分によって比較に使用することができる。付加的に又は代替的に、予め記憶されている参照線路画像を、セルラネットワーク等の通信リンクを介して引き出される遠隔の記憶手段から受信してもよい。

その幾つかの実施形態が本願の主題である本発明の発明者らは、実験を行い、ＩＲセンサによって日中の明るい時間及び暗い時間の間に撮影した画像からの、鉄道のレール及びレールに隣接して位置する物体の検出と、同じ時間の間に標準的なカメラによって撮影した同じレール及び物体の画像を比較した。レールは、暗い時間の間に標準的なカメラによって撮影された画像では完全に見えなかったが、同時にＩＲカメラによって撮影された画像でははっきりと見えた。さらに、実験によって、明るい時間の間であっても、標準的なカメラによって写真撮影したレールは、影になったエリアを横切るときは完全に見えなかったが、ＩＲセンサによって見ると十分に見えることが分かった。影になったエリアを通るレールの温度が、太陽の光に暴露されるレールの温度よりも低い場合であっても、レールの高い伝熱数に起因して、幾らかの熱が太陽の光に暴露される部分から伝わり、その結果、影になったエリアにおけるその温度は、その周りの地面の温度よりも降下せず、結果としてＩＲフレームにおいて区別されたままであると認識された。

ここで、本発明の実施形態に従って撮影されて処理される、列車の機関車の前のシーンの画像である図５Ａ〜図５Ｅを参照する。
図５Ａは、本発明の幾つかの実施形態による、白色のフレーム５０２内に見えるような影になったエリアにおけるレール５００の部分の可視性を表す、列車の機関車の正面に位置付けられるＩＲ撮像装置によって撮影された画像である。フレーム５０２（影になったエリア）内に位置する鉄道５００の部分は、ヒトの目には区別可能ではない場合であっても、ＩＲ画像では区別可能であることが分かる。

図５Ｂは、本発明の幾つかの実施形態による、フィルタに供された後のレール５００の図５Ａに示されている同じシーンの画像である。図５Ｂの例では、微分フィルタがエッジ検出のために適用されている。ここで、白色のフレーム５０４内の画像の影になったエリアにおけるレール５００も、影になったエリアのパターンで区別可能である。

図５Ｃは、本発明の幾つかの実施形態による、レールに沿う２つの異なる地点におけるレール５００の温度変化、及び、レールと同レールの背景との間の温度差を示す画像である。位置５１２及び５１６は、互いから約１ｋｍの距離を置いたレール５００上の地点である。グレーレベルの差（２０レベルである）により地点５１２と５１６との間の温度差を抽出することによって、計算される差は１ｋｍにわたって約１．６℃である。地点５１４において測定されたグレーレベルは０であり、これは約２３０レベルだけレールの表示から区別され、これは大きな差である。したがって、この場合、レールに沿う温度の変化が、レールと同レールの背景との間の温度差と比較してごく少量であることが明らかである。

図５Ｄは、本発明の幾つかの実施形態による、レール５００間に位置する障害物５２２と、レール５００間の背景５２４と、撮像装置から約０．５ｋｍの距離にあるレール５２６との間の温度差を示す、列車の機関車の正面に位置付けられるＩＲ撮像装置が撮影した画像である。図５Ｃの温度の分析と同様に、この場合も、背景５２４の温度は、障害物５２２の温度から約２４６グレーレベル（およそ８０ｍＫ＊２４６〜２０℃である）、及び、およそ０．５ｋｍの距離にあるレール５２６の温度から約２２０グレーレベル（およそ１７．５℃である）だけ異なる。これは、同様に、レール５００及び障害物５２２のＩＲ撮像装置による可視性を実証する。

図５Ｅは、本発明の幾つかの実施形態による、障害物５３０及び５３２、並びに、レール５００対背景の高い可視性を示す、列車の機関車の正面に位置付けられるＩＲ撮像装置が撮影した画像である。

ここで、本発明の幾つかの実施形態による、鉄道障害物識別及び回避システムの動作を示す概略的なフロー図である図６を参照する。ＩＲ画像、例えばＬＷＩＲ画像は、（図１及び図２Ａの）ＩＲ撮像装置１０６等のＩＲ撮像装置から連続的に（又は間欠的に）受信することができる（ブロック６０２）。

ＩＲ画像のストリームは、振動によるノイズを除去するか又は部分的に排除するようにフィルタリングすることができる（ブロック６０４）。
振動によるノイズが低減されたＩＲ画像を、予め記憶されている画像、又は、同じ移動の以前の画像、又は、平均化された以前の画像と比較することができる（ブロック６０６）。

レールを、画像フレームにおいて、レールと同レールの背景との間の温度差に基づいて検出する（ブロック６０８）。
対象とする領域を検出したレールの周りで画定し、対象とする領域内の物体を検出する（ブロック６１０）。

検出した物体の潜在的な危険を評価し、及び／又は、潜在的な危険を伴う動きを検出する。検出した物体及び潜在的な危険を伴う動きを、無線通信を通じて又は搭載された記憶手段から受信することができるそれぞれの前もって記憶されている知識と比較する（ブロック６１２）。静止物体だけではなく移動する物体も検出されることに留意されたい。移動する物体が検出される場合、移動の速度及び方向は、連続的な画像において移動する物体の位置及びサイズを比較することによって推定することができる。例えば、移動する物体の速度は、物体が連続的なフレーム間で移動した距離を評価し、列車がこれらの連続的なフレーム間で通過した距離を考慮し、この距離を、フレームの取得間の時間期間で割ることによって推定することができる。移動の速度及び方向を評価することによって、移動する物体が列車に危険を及ぼすか否かを結論付けることができる。

例えば、車が検出され、移動の方向の分析に基づいて、車が列車に対して平行に運転していると判断される場合、車が危険を及ぼさないと結論付けることができる。しかし、車の移動の方向の分析によって、車が線路に近づいていることが明らかになり、移動の速度の分析によって、車が線路を横切る可能性があることが明らかになる場合、車が列車に危険を及ぼすと結論付けることができる。

潜在的な衝突の危険性を検出すると、警報信号を発して列車の機関車の運転手に提示することができ、場合によっては警報信号及びそれぞれのデータを中央管理施設に無線送信する（ブロック６１４）。

ここで、本発明の実施形態による、運転安全評価方法を示す概略的なフロー図である図７を参照する。運転安全評価方法は、図６に示されているとともに上記で記載した鉄道障害物識別及び回避システムを動作させるブロック６０６〜６１４に加えて又は代替的に行うことができる。

ブロック７１０において、機関車の速度を取得する。速度は、ＩＲ撮像装置から受信したＩＲ画像に基づいて計算することができる。例えば、速度は、機関車が連続的な画像間で通過した距離を評価するとともに、その距離をフレームの取得間の時間期間で割ることによって計算することができる。機関車が連続的な画像間で通過した距離は、連続的な画像間で位置合わせを行うことによって評価することができる。例えば、対象とする領域に位置する物体又は特別な標識がＩＲ画像に位置する場合があり、機関車が連続的な画像間で通過した距離は、連続的なフレームにおいて見つかった物体の位置及びサイズを比較することによって評価することができる。付加的に又は代替的に、機関車の速度は、機関車の速度計から、例えばＧＰＳユニット２４２によってＧＰＳ衛星から受信した信号から抽出される位置データから直接得ることができ、又は、速度は、任意の他の適用可能な方法で得ることができる。

ブロック７２０において、鉄道状況を、ＩＲ撮像装置から受信したＩＲ画像の分析に基づいて評価する。線路の湾曲を、レールの２つの線路間の距離を観察することによって検出することができる。線路が真っ直ぐであり、湾曲していない場合、図５ＥにおいてＤ１で示される平行な線路間の距離は、線路が無限に収束するまで、既知のパターンで徐々に減少するはずである。線路間の距離が、例えば図５Ｅの位置Ｄ２において分かるように予期されるレートよりも大きく減少する場合、湾曲があるものと推測することができる。湾曲又は湾曲のアールの急激さは、線路間の距離の減少のペースによって推定することができる。湾曲からの距離は、ＩＲ画像上で、線路間の距離が予期したレートよりも大きく減少し始める位置を観察することによって推定することもできる。湾曲までの時間は、湾曲からの距離、及び、ブロック７１０において導出した機関車の速度に基づいて推定することができる。

ブロック７３０において、機関車の速度が鉄道状況に適切であるか否かを判断する。例えば、機関車は、湾曲に近づくと特定の速度まで減速するべきである。湾曲に近い機関車の速度がその特定の速度よりも速い場合、ブロック７４０において示されているように機関車の運転手に通知を与えることができる。通知は、例えば、運転手操作ユニット１０４を通じて運転手に与えることができる。例えば、運転手に、前方に湾曲があり、列車を減速させるべきであると警告することができる。付加的に又は代替的に、所望であれば、例えばセルラインタフェースユニット２４６を通じて中央管理施設（図示せず）に通知を送信することができる。

鉄道障害物識別及び回避システム１００が集めたデータは、後の使用及び分析のためにシステム１００が保存することができる。データは、湾曲、障害物の存在等のような鉄道状況に関する情報に一致する列車の速度、及び、ＩＲ画像の幾つか又は全てを含むことができる。運転手の質及び安全性を、通常の旅程においてオンライン又はオフラインで、また、事故調査のために分析することができる。データは記憶手段１０２Ｂに保存することができ、及び／又は、データは、例えばセルラインタフェースユニット２４６を通じて中央管理施設（図示せず）に送信してアップロードすることができる。中央管理施設において保存されるデータの送信は、記憶手段１０２Ｂにおける記憶容量の必要な量を低減することができる。

本発明の特定の特徴を本明細書において示し記載したが、この時点で、当業者には多くの変更形態、置換、変形及び均等物が想起されるであろう。したがって、添付の特許請求の範囲は、本発明の真の主旨内に入るような全ての変更形態及び変形を包含することが意図されることが理解される。

Claims (18)

1. 鉄道障害物識別方法であって、
   列車に設置されるとともに進行方向を向いている赤外線（ＩＲ）センサからＩＲ画像を受信する工程と、
   振動プロファイルを取得する工程と、
   前記振動プロファイルに基づいて前記ＩＲ画像から振動の影響をフィルタリングする工程と、
   前記ＩＲ画像においてレールと背景との間の温度差、および前記背景と比較した前記レールに沿う温度変化に基づいて前記レールを検出する工程と、
   予め準備した規則及びパラメータに基づいて、前記ＩＲ画像が障害物の画像を含んでいるか否か、及び、前記障害物が前記列車の進行に対する脅威を形成するか否かを決定する工程と、
   前記ＩＲ画像が障害物の画像を含んでいる場合に、警報信号を提供する工程と
   を備える鉄道障害物識別方法。
2. 前記ＩＲ画像における前記レールの位置に基づいて前記振動の影響を抽出する工程を備える請求項１に記載の鉄道障害物識別方法。
3. 前記振動プロファイルは予め記憶される、請求項１〜２のいずれか一項に記載の鉄道障害物識別方法。
4. 前記列車の前記振動プロファイルを動的に調査する工程を備える請求項１〜３のいずれか一項に記載の鉄道障害物識別方法。
5. 検出されたレールの周りの対象とする領域を画定する工程と、
   前記対象とする領域内の物体を検出する工程とを備える請求項１〜４のいずれか一項に記載の鉄道障害物識別方法。
6. 受信したＩＲフレームにおいて移動する物体の移動方向を推定する工程と、
   連続的なＩＲ画像の取得間で前記列車が通過した距離を考慮して、前記連続的なＩＲ画像において前記移動する物体の位置を比較する工程と、
   連続的なＩＲ画像間で前記移動する物体が移動した距離を評価することによって前記移動する物体の速度を推定するとともに、前記移動する物体が連続的なＩＲ画像間で移動した距離を、前記ＩＲ画像の取得間の時間期間で割る工程と、
   前記移動する物体の移動の速度及び方向に基づいて、前記移動する物体が前記列車に危険を及ぼすか否かを判断する工程と
   を備える請求項１〜５のいずれか一項に記載の鉄道障害物識別方法。
7. 全地球測位システムユニットから位置データを取得する工程と、
   前記位置データに基づいて前記列車の前進を追跡する工程と、
   前記列車が限られた可視性でレールセクションに近づくときに情報を提供する工程と
   を備える請求項１〜６のいずれか一項に記載の鉄道障害物識別方法。
8. レール及び該レールの近傍における変化を確認するために、前記列車の正面における前記レールのセクションの予め記憶されている画像と、前記列車の進行中に得られるフレームとを比較する工程と、
   前記比較に基づいて障害物を検出する工程と
   を備える請求項１〜７のいずれか一項に記載の鉄道障害物識別方法。
9. 前記列車の速度を取得する工程と、
   前記ＩＲ画像の分析に基づいて鉄道状況を評価する工程と、
   前記列車の速度が前記鉄道状況に適切であるか否かを判断する工程と
   を備える請求項１〜８のいずれか一項に記載の鉄道障害物識別方法。
10. 鉄道状況を評価する工程は、
    前記鉄道の得られた画像において前記レールの２つの線路間の距離を観察することによって前記線路の湾曲を検出する工程を含む、請求項９に記載の鉄道障害物識別方法。
11. 鉄道障害物識別システムであって、
    赤外線（ＩＲ）画像を取得するように進行方向を向いて設置されるＩＲセンサと、
    請求項１〜１０のいずれか一項に記載の鉄道障害物識別方法の工程を行うように構成されている処理及び通信ユニットと、
    警報信号をユーザに提示するように構成されている列車の運転手操作ユニットと
    を備える鉄道障害物識別システム。
12. 前記ＩＲセンサを安定させて照準させる安定化及び照準ベースを更に備える請求項１１に記載の鉄道障害物識別システム。
13. 前記安定化及び照準ベースは、予め記憶されている振動プロファイルに基づく安定化制御ループを備える請求項１２に記載の鉄道障害物識別システム。
14. 前記ＩＲセンサの光学系の外面を洗浄するようになっている手段を備える請求項１１〜１３のいずれか一項に記載の鉄道障害物識別システム。
15. 前記ＩＲセンサは、８マイクロメートル〜１２マイクロメートル範囲の波長を有する、請求項１１〜１４のいずれか一項に記載の鉄道障害物識別システム。
16. 前記ＩＲセンサのサンプリング周波数は少なくとも２４サイクル／ｍＲａｄであり、前記ＩＲセンサの焦点距離は少なくとも０．５ｍである、請求項１１〜１５のいずれか一項に記載の鉄道障害物識別システム。
17. 前記ＩＲセンサは、パン／チルト／ズーム制御手段を備える請求項１１〜１６のいずれか一項に記載の鉄道障害物識別システム。
18. データ及び前記警報信号を交換するために外部ユニットとのデータリンクを可能にするように通信アンテナを備える請求項１１〜１７のいずれか一項に記載の鉄道障害物識別システム。