JP7150508B2 - 鉄道車両用撮像システム - Google Patents

Description

本発明の実施形態は、鉄道車両用撮像システムに関する。

従来から、鉄道車両の走行中に、線路の検査や、当該線路内に存在する障害物（注視が必要な注視物）の検出などを目的として、鉄道車両の進行方向の領域を撮像する撮像装置として、ステレオカメラを用いたシステムが種々提案されている。このようなステレオカメラは、主として、運転士が搭乗して実際に運転を行う鉄道車両において、補助的に障害物の検出やその障害物が鉄道車両の運行に影響するか否か等の判定を行うことで、運行の安全性向上を図るシステムとして利用されている。

特開２００１－２４２５２１号公報

近年、鉄道車両においても自動走行を実現するための検討が種々行われている。そのため、障害物検出を確実に、かつより遠方の領域までが行える鉄道車両用撮像システムが提供できれば、有意義である。

実施形態にかかる鉄道車両用撮像システムは、第一の撮像部と、第二の撮像部と、画像処理部と、を備える。第一の撮像部は、先頭の鉄道車両の前端部に設けられて、鉄道車両の進行方向の第一の領域におけるステレオ画像を取得可能である。第二の撮像部は、前端部に設けられ、少なくとも第一の領域より遠方領域を含む第二の領域を撮像可能で、第一の撮像部より高解像度の高解像度画像を取得可能である。画像処理部は、第一の撮像部が取得するステレオ画像に基づき、第一の領域に存在する第一の位置までの第一の距離を算出し、第一の距離に基づき第二の領域内に存在する第二の位置までの第二の距離を推定する。

図１は、実施形態にかかる鉄道車両用撮像システムを含む鉄道車両の先頭部の構成を示した例示的かつ模式的な図である。 図２は、実施形態にかかる鉄道車両用撮像システムにおける撮像ユニットに含まれる第一の撮像部としての第１カメラと第２カメラ、および第二の撮像部としての第３カメラの位置関係を説明するための例示的かつ模式的な図である。 図３は、実施形態にかかる鉄道車両用撮像システムの構成を説明するための例示的かつ模式的なブロック図である。 図４は、実施形態にかかる鉄道車両用撮像システムにおける、第一の撮像部によって撮像される第一の領域と、第二の撮像部によって撮像される第二の領域の位置関係を説明するための例示的かつ模式的な図である。 図５は、実施形態にかかる鉄道車両用撮像システムにおける、障害物等の検知処理の流れを示した例示的かつ模式的なフローチャートである。 図６は、図５のフローチャートにおけるステレオ画像処理の流れを示した例示的かつ模式的なフローチャートである。

以下、実施形態を図面に基づいて説明する。以下に記載する実施形態の構成、ならびに当該構成によってもたらされる作用および結果（効果）は、あくまで一例であって、以下の記載内容に限られるものではない。

図１は、実施形態にかかる鉄道車両用撮像システム１００の構成を示した例示的かつ模式的な図である。図１に示されるように、鉄道車両用撮像システム１００は、一対のレールにより構成される線路Ｒ上を進行方向Ｄに沿って走行する鉄道車両ＲＶに搭載されている。

また、図１に示されるように、鉄道車両用撮像システム１００は、撮像ユニット１０と、カメラ制御部１２と、画像処理部１４と、出力部１６と、を有している。

撮像ユニット１０は、鉄道車両ＲＶの前端部（例えば先頭の鉄道車両ＲＶの運転席等）に設けられ、鉄道車両ＲＶの進行方向Ｄの領域（前方領域）を撮像する。撮像ユニット１０によって得られる撮像画像には、線路Ｒが含まれる。本実施形態の撮像ユニット１０は、鉄道車両ＲＶの進行方向Ｄの第一の領域におけるステレオ画像を取得可能な第一の撮像部１８（ステレオカメラ）と、この第一の領域より遠方領域を少なくとも含む第二の領域を撮像可能な第二の撮像部２０（単カメラ）と、で構成されている。

図２は、撮像ユニット１０に含まれる第一の撮像部１８および第二の撮像部２０の配置関係の一例を模式的に示した図である。第一の撮像部１８および第二の撮像部２０は、例えば、支持部材２２（支持プレートや収納ボックス等）によって相互の位置関係が鉄道車両ＲＶの走行時の振動等によって変化しないように固定されている。

本実施形態において、第一の撮像部１８は、一例として鉄道車両ＲＶの車幅方向に所定の間隔を隔てて配置された第１カメラ１０ａと第２カメラ１０ｂとで構成されている。第１カメラ１０ａおよび第２カメラ１０ｂは、例えば、ＣＣＤ（Charge Coupled Device）やＣＩＳ（CMOS image sensor）等の撮像素子を内蔵するデジタルカメラで、いわゆる、「ＨＤ画質」の動画データ（撮像画像データ）を所定のフレームレートで出力することができる。

第二の撮像部２０は、車幅方向に並ぶ第１カメラ１０ａおよび第２カメラ１０ｂに対して、例えば、第１カメラ１０ａと第２カメラ１０ｂの中間位置の上方に配置された、第一の撮像部１８（第１カメラ１０ａおよび第２カメラ１０ｂ）より高解像度の高解像度画像が撮像可能な第３カメラ１０ｃで構成されている。第３カメラ１０ｃは、例えば、ＣＣＤやＣＩＳ等の撮像素子を内蔵するデジタルカメラで、いわゆる、「４Ｋ画質」の動画データ（撮像画像データ）を所定のフレームレートで出力することができる。

図３は、鉄道車両用撮像システム１００の構成を説明するための例示的かつ模式的なブロック図である。カメラ制御部１２、画像処理部１４等の機能モジュールは、例えば、プロセッサやメモリなどといったハードウェアを有したコンピュータとして構成されうる。より具体的には、鉄道車両用撮像システム１００のプロセッサが記憶部等のメモリに記憶されたプログラムを読み出して実行することによって各機能モジュールは実現される。なお、カメラ制御部１２や画像処理部１４等の機能モジュールは、専用のハードウェア（回路）によって実現されてもよい。

第１カメラ１０ａ、第２カメラ１０ｂ、第３カメラ１０ｃは、カメラ制御部１２によって制御されている。カメラ制御部１２は、撮像を行う場合、第１カメラ１０ａ、第２カメラ１０ｂ、第３カメラ１０ｃに対して、例えば、同期信号の他、露出やシャッタースピード、ホワイトバランス等を制御する信号を提供する。

図４は、第一の撮像部１８（第１カメラ１０ａ、第２カメラ１０ｂ）によって撮像される第一の領域２４と、第二の撮像部２０（第３カメラ１０ｃ）によって撮像される第二の領域２６の位置関係を説明するための例示的かつ模式的な図である。図４は、線路Ｒ上を走行する鉄道車両ＲＶ（不図示）が前方に存在する駅のプラットホーム２８に向かっている状態を示している。なお、図４に示されるように、本実施形態の鉄道車両用撮像システム１００の場合、第二の撮像部２０が撮像する第二の領域２６の一部は、第一の撮像部１８が撮像する第一の領域２４の一部と重複するように、第一の撮像部１８および第二の撮像部２０の光軸の方向が設定されている。すなわち、第二の領域２６は、第一の領域２４には含まれない第一の領域２４より遠方の遠方領域２６ａ（遠エリア）を撮像範囲に含むと共に、遠方領域より手前で第一の領域２４と重複する手前領域２６ｂ（近エリア）も撮像範囲に含んでいる。

画像処理部１４は、第１カメラ１０ａ、第２カメラ１０ｂ、第３カメラ１０ｃから取得した各撮像画像データ（画像信号）に対して各種画像処理を施す。そして、画像処理部１４は、第一の領域２４に含まれる線路Ｒの検出および線路Ｒ上または線路Ｒ周辺の所定範囲以内の注意対象物体（障害物等）の有無検知やその注意対象物体までの距離検知を行う。同様に、画像処理部１４は、第二の領域２６の遠方領域２６ａに含まれる線路Ｒの検出および線路Ｒ上または線路Ｒ周辺の所定範囲以内の注意対象物体（障害物等）の有無検知およびその注意対象物体までの距離の推定処理等の物体検出処理を実行する。

上述したように、第１カメラ１０ａおよび第２カメラ１０ｂは、鉄道車両ＲＶの車幅方向に隔てられて配置され、第一の領域２４を撮像範囲とするように設定されるとともに、同期信号により同じタイミングで同じ第一の領域２４（第一の領域２４に含まれる同じ対象物）の撮像を実行するように構成されている。その結果、画像処理部１４は、第１カメラ１０ａおよび第２カメラ１０ｂにより同じシーンのステレオ画像（第１ステレオ画像）が取得可能である。したがって、画像処理部１４は、周知のステレオマッチング技術や三角測量技術を用いて、取得した第１ステレオ画像の視差に基づき、第一の領域２４に含まれる対象物までの距離を算出することができる。例えば、第１カメラ１０ａ、第２カメラ１０ｂが、「ＨＤ画質」で撮像可能な「ＨＤカメラ」の場合、第一の領域２４は、例えば、鉄道車両ＲＶの前方２００ｍ程度までを処理対象範囲とする実用に耐え得る距離測定を実行することができる。

画像処理部１４は、周知の線路Ｒの検出技術を用いて、第１カメラ１０ａまたは第２カメラ１０ｂで撮像された撮像画像から線路Ｒを検出することができる。画像処理部１４は、例えば、撮像画像を複数の画素群（検知エリア、探索エリア）に分割し、この画素群ごとに、所定の基準に基づく線路Ｒらしさを表す尺度となり得る特徴量（例えば、輝度に関する特徴）に基づき、線路Ｒを検出する。なお、鉄道車両ＲＶにおける第１カメラ１０ａや第２カメラ１０ｂの固定位置は既知である。また、鉄道車両ＲＶは線路Ｒ上を走行している。したがって、第１カメラ１０ａや第２カメラ１０ｂが撮像する第一の領域２４における線路Ｒの位置は、推定可能である。つまり、第一の領域２４上で線路Ｒが存在すると推定される領域に検知エリアを設定することで、第一の領域２４内で効率的かつ軽負荷で線路Ｒの検出が可能になる。なお、画像処理部１４は、第１カメラ１０ａと第２カメラ１０ｂとから取得したステレオ画像に基づき、距離情報が反映された距離画像を生成してもよい。そして、画像処理部１４は、生成した距離画像に対して、検知エリアを設定し、線路Ｒの検出を行うようにしてもよい。

一方、第３カメラ１０ｃは、第一の領域２４を撮像領域に含むものの、単カメラとして機能するため、遠方領域２６ａに含まれる注意対象物体までの距離の算出はできないものの、遠方領域２６ａに存在する注意対象物体の存在は認識することができる。例えば、第３カメラ１０ｃが、「４Ｋ画質」で撮像可能な「４Ｋカメラ」の場合、第二の領域２６の遠方領域２６ａは、例えば、鉄道車両ＲＶの前方４００ｍ程度までの範囲で実用に耐え得る注意対象物体（以下、「障害物等」という）検知を実現することができる。

上述したように、第１カメラ１０ａと第２カメラ１０ｂで撮像される第一の領域２４内では、正確な距離情報の取得ができる。そして、例えば、第一の領域２４における最遠部３０に存在する物体Ｍまでの距離および物体Ｍの大きさは正確に取得可能である。この場合、最遠部３０に接する遠方領域２６ａにおける最近部３２に存在する物体Ｎの大きさは物体Ｍの大きさと概ね同じである。そして、遠方領域２６ａに存在する注意対象物体、例えば、線路Ｒの周辺に存在する障害物等の大きさは既知である。例えば、線路Ｒに沿って設置される送電用の電柱や線路Ｒの周辺の構造物の大きさは既知である。したがって、遠方領域２６ａにおける１画素に対応する長さ（大きさ）が算出可能となる。つまり、前記第一の領域に存在する第一の位置（例えば、物体Ｍ）までの第一の距離を算出し、この第一の距離に基づき、第二の領域２６（遠方領域２６ａ）内に存在する第二の位置（物体Ｐ）までの第二の距離を推定することが可能となる。この場合、第３カメラ１０ｃは、４Ｋ画質の撮像画像データなので、画素の数に基づく距離推定の信頼性の確保は十分に可能となる。

また、画像処理部１４は、第一の領域２４、第二の領域２６（遠方領域２６ａ）における注意対象物体（物体Ｍや物体Ｐ等の障害物）の検出は、周知のパターンマッチング等を検出した線路Ｒおよびその周囲の領域に適用することにより可能である。

このように、第一の撮像部１８で撮像した撮像画像データと、第二の撮像部２０で撮像した撮像画像データとを組み合わせることにより、障害物等の実質的な検知範囲の拡大が可能になる。例えば、鉄道車両ＲＶの制動初速が１００ｋｍ／ｈの場合、制動距離は例えば約４００ｍ以下である。この場合、鉄道車両ＲＶの最高速度が高いほど高速域での制動力が増加されるので、制動初速が１００ｋｍ／ｈの場合の制動距離はさらに短くなる。したがって、鉄道車両ＲＶの前方４００ｍまでの障害物等の位置が推定できる場合、障害物等が存在する場合、障害物等の例えば約４００ｍ手前から制動制御が可能となる。さらに、障害物等が鉄道車両ＲＶの前方例えば２００ｍ以内の近エリアまでに接近した場合には、正確な距離測定が可能になる。その結果、鉄道車両ＲＶの前方例えば４００ｍで検出した障害物等と接触する前に鉄道車両ＲＶの停止が可能となるとともに、例えば２００ｍ以内の領域では、詳細な制動制御によるスムーズな減速が実現できる。その結果、鉄道車両用撮像システム１００は、自動走行する鉄道車両ＲＶにおける障害物検知および自動制動制御に適用することができる。

上述した例では、画像処理部１４は、第１カメラ１０ａと第２カメラ１０ｂとによって、第１ステレオ画像を取得し、第一の領域２４内の障害物等までの距離算出を行った。上述したように、第３カメラ１０ｃが撮像範囲とする第二の領域２６は第１カメラ１０ａおよび第２カメラ１０ｂが撮像範囲とする第一の領域２４と一部重複している。したがって、画像処理部１４は、第一の領域２４と第二の領域２６の重複領域について、例えば、第２カメラ１０ｂと第３カメラ１０ｃとを用いて、同じシーンを撮像したステレオ画像（第２ステレオ画像）が取得可能である。同様に、画像処理部１４は、第一の領域２４と第二の領域２６の重複領域について、例えば、第３カメラ１０ｃと第１カメラ１０ａとを用いて、同じシーンを撮像したステレオ画像（第３ステレオ画像）が取得可能である。したがって、第１ステレオ画像を用いて距離測定を行った重複領域内の障害物等に対して、第２ステレオ画像および第３ステレオ画像を用いても距離測定を行うことができる。その結果、第１ステレオ画像に基づく距離測定結果、第２ステレオ画像に基づく距離測定結果、第３ステレオ画像に基づく距離測定結果を用いて、例えば各距離測定結果の平均値等を採用することにより、重複領域内の障害物等までの距離精度を向上するとことができる。つまり、鉄道車両ＲＶが障害物等に接近した場合の距離測定精度を向上することができる。また、遠方領域２６ａにおける障害物等までの距離推定の精度向上も可能になる。

なお、この場合、ＨＤカメラである第１カメラ１０ａおよび第２カメラ１０ｂの解像度と４Ｋカメラである第３カメラ１０ｃの解像度が異なるため、第３カメラ１０ｃの撮像画像データに処理を加え、第１カメラ１０ａまたは第２カメラ１０ｂの解像度と整合させる等の処理を施せば、ステレオ画像の処理が可能になる。

ところで、従来、ステレオカメラを用いた障害物検知および距離測定に基づいて、鉄道車両ＲＶの自動走行を実施しようとする場合、ステレオカメラを構成するカメラのうち一方に不具合（例えばカメラの故障や配線不良等）が生じた場合、障害物等までの距離測定が不能となる。その結果、自動走行が中止されてしまう場合がある。一方、本実施形態の鉄道車両用撮像システム１００によれば、上述のように、第１カメラ１０ａと第２カメラ１０ｂのいずれかに不都合が生じた場合でも、不都合を起こした第１カメラ１０ａまたは第２カメラ１０ｂに代えて、第３カメラ１０ｃを用いてステレオカメラを構成し、障害物等までの距離測定（検出）処理を継続して行うことができる。つまり、第１カメラ１０ａ、第２カメラ１０ｂ、第３カメラ１０ｃのいずれかに不具合が生じた場合でも、自動走行を継続することができる。

このように構成される鉄道車両用撮像システム１００による注意対象物体（例えば、障害物等）の検出処理、つまり、ステレオ画像処理の流れを図５、図６に示す例示的かつ模式的なフローチャートを用いて説明する。なお、図５に示すフローチャートの処理は、所定の処理周期で繰り返し実行されるものとする。

鉄道車両用撮像システム１００のカメラ制御部１２は、鉄道車両ＲＶが動作可能状態の場合（例えば、電源ＯＮの場合等）に、第１カメラ１０ａおよび第２カメラ１０ｂによる第一の領域２４の撮像、第３カメラ１０ｃによる第二の領域２６の撮像を実行させる（Ｓ１００）。カメラ制御部１２は、第１カメラ１０ａ、第２カメラ１０ｂ、第３カメラ１０ｃに対して同じシーンを同じ条件で撮像させるために、同期信号の他、露出やシャッタースピード、ホワイトバランス等を制御する信号を提供する。なお、第１カメラ１０ａ、第２カメラ１０ｂ、第３カメラ１０ｃは、制御信号や電源等をそれぞれ個別に受け付けるように構成されている。したがって、いずれかのカメラに不具合が生じた場合でも、正常なカメラの撮像および撮像画像データの出力に影響しないように構成されている。

そして、画像処理部１４は、全カメラ（第１カメラ１０ａ、第２カメラ１０ｂ、第３カメラ１０ｃ）の各撮像画像データの逐次取得に成功した場合（Ｓ１０２のＹｅｓ）、ステレオ画像処理を実行する（Ｓ１０４）。ステレオ画像処理の詳細は、図６のフローチャートを用いて説明する。

まず、画像処理部１４が、第１カメラ１０ａ、第２カメラ１０ｂの撮像した撮像画像（第１ステレオ画像）に関して処理済みでないと判定した場合（Ｓ２００のＮｏ）、第１カメラ１０ａ、第２カメラ１０ｂの撮像画像に対して平行等位化変換処理を施す（Ｓ２０２）。つまり、画像処理部１４は、第１ステレオ画像をステレオマッチング処理による視差検出が可能な状態にする。そして、画像処理部１４は、検出した視差に基づき、第１カメラ１０ａ、第２カメラ１０ｂの撮像した撮像画像（第１ステレオ画像）に基づき、距離情報を含む第１距離画像を生成する（Ｓ２０４）。

画像処理部１４は、第１距離画像に対し、輝度に関する特徴等を用いて周知の線路Ｒの検知技術を適用し、線路Ｒの検知を実行する（Ｓ２０６）。なお、前述したように、撮像画像内で線路Ｒの存在位置は、概ね決まっている。したがって、線路Ｒの検知エリアを予想される存在位置に設定することにより、画像処理部１４の処理負荷の軽減が可能になる。続いて、画像処理部１４は、検知した線路Ｒに対して障害物等を検知する認識エリアの設定を行う（Ｓ２０８）。そして、画像処理部１４は、設定した認識エリア内で、周知の検知技術（例えば、パターンマッチング等）を用いて障害物等の検知を実行する。なお、障害物等の検知は、主として鉄道車両ＲＶの安全な走行を確保することを目的とする。そのため、基本的には、障害物等は、線路Ｒ上および線路Ｒの周囲の所定範囲の限定された範囲に設定されれば十分である。認識エリアを限定的に設定することにより、画像処理部１４の障害物等検知の処理負荷の軽減ができる。

画像処理部１４は、第１カメラ１０ａ、第２カメラ１０ｂ、第３カメラ１０ｃの各組合せによる障害物等検知が完了していない場合（Ｓ２１２のＮｏ）、Ｓ２００の処理に戻る。

Ｓ２００において、画像処理部１４が、第１カメラ１０ａ、第２カメラ１０ｂの撮像した撮像画像（第１ステレオ画像）に関して処理済みで（Ｓ２００のＹｅｓ）、第２カメラ１０ｂ、第３カメラ１０ｃの撮像した撮像画像（第２ステレオ画像）に関して処理済みでないと判定した場合（Ｓ２１４のＮｏ）、第２カメラ１０ｂ、第３カメラ１０ｃの撮像画像に対して平行等位化変換処理を施す（Ｓ２１６）。つまり、画像処理部１４は、第２ステレオ画像をステレオマッチング処理による視差検出が可能な状態にする。そして、画像処理部１４は、検出した視差に基づき、第２カメラ１０ｂ、第３カメラ１０ｃの撮像した撮像画像（第２ステレオ画像）に基づき、距離情報を含む第２距離画像を生成する（Ｓ２１８）。

その後、画像処理部１４は、第１距離画像に対する処理と同様に第２距離画像に対して線路Ｒの検知を実行し（Ｓ２０６）、認識エリアの設定を行う（Ｓ２０８）。そして、画像処理部１４は、第２距離画像で設定した認識エリア内で障害物等の検知を実行し（Ｓ２１０）、再度、Ｓ２１２において、各カメラの組合せによる障害物等検知が完了しているか否かの判定を実行する（Ｓ２１２）。

また、Ｓ２１４において、画像処理部１４が、第２カメラ１０ｂ、第３カメラ１０ｃの撮像した撮像画像（第２ステレオ画像）に関して処理済みであると判定した場合（Ｓ２１４のＹｅｓ）、第３カメラ１０ｃ、第１カメラ１０ａの撮像画像に対して平行等位化変換処理を施す（Ｓ２２０）。つまり、画像処理部１４は、第３ステレオ画像をステレオマッチング処理による視差検出が可能な状態にする。そして、画像処理部１４は、検出した視差に基づき、第３カメラ１０ｃ、第１カメラ１０ａの撮像した撮像画像（第３ステレオ画像）に基づき、距離情報を含む第３距離画像を生成する（Ｓ２２２）。

その後、画像処理部１４は、第１距離画像、第２距離画像に対する処理と同様に第３距離画像に対して線路Ｒの検知を実行し（Ｓ２０６）、認識エリアの設定を行う（Ｓ２０８）。そして、画像処理部１４は、第３距離画像で設定した認識エリア内で障害物等の検知を実行し（Ｓ２１２）、再度、Ｓ２１２において、各カメラの組合せによる障害物等検知が完了しているか否かの判定を実行する（Ｓ２１２）。

画像処理部１４は、Ｓ２１２において、第１カメラ１０ａ、第２カメラ１０ｂ、第３カメラ１０ｃの各組合せによる障害物等の検知処理（第１距離画像、第２距離画像、第３距離画像に対する検知処理）が完了したと判定した場合（Ｓ２１２のＹｅｓ）、各検知結果に基づき、注意対象物体である障害物等までの距離を修正して、障害物検知位置の修正（距離精度の高精度化）を行う（Ｓ２２４）。そして、画像処理部１４は、検知した障害物等およびその障害物等までの距離を近エリア（第一の領域２４または第一の領域２４と第二の領域２６との重複領域）の検知結果として一旦記憶部に保存する（Ｓ２２６）。

このように、第１カメラ１０ａ、第２カメラ１０ｂ、第３カメラ１０ｃを組み合わせた、３系統のステレオカメラによって、障害物等までの距離測定を個々に実行し、障害物検知位置に反映させることで、第一の領域２４と第二の領域２６とが重なる領域における障害物等までの距離測定精度の向上ができる。なお、別の実施形態では、第１カメラ１０ａ、第２カメラ１０ｂ、第３カメラ１０ｃが正常に動作している場合（正常に撮像画像データを出力している場合）、第２距離画像、第３距離画像の生成を省略してもよい。この場合、画像処理部１４の負荷の軽減を図りつつ、ステレオ画像に基づく距離測定により近エリアにおける障害物等までの距離測定が実現できる。

近エリアにおける障害物等の検知処理が完了すると、図５のフローチャートに戻り、画像処理部１４は、近エリアに第３カメラ１０ｃで撮像した遠方領域２６ａを追加することで、線路Ｒの検知エリアの拡張（拡張認識エリアの設定）を実行する（Ｓ１０６）。そして、画像処理部１４は、拡張認識エリア内で障害物等の検知を実行する（Ｓ１０８）。なお、画像処理部１４は、拡張認識エリア内で障害物等の検知に先立ち、第一の領域２４と同様に、輝度に関する特徴等を用いて周知の線路Ｒの検知技術を適用して線路Ｒを検知して障害物等の検知領域を設定してもよい。また、別の実施形態では、線路Ｒが第一の領域２４および遠方領域２６ａにおいて連続していることに着目し、第一の領域２４で検知した線路Ｒの延長上に遠方領域２６ａにおける線路Ｒも存在すると見なし、その延長領域内で障害物等を検知するようにしてもよい。

続いて、画像処理部１４は、拡張エリア（遠方領域２６ａ）における距離推定を実行する（Ｓ１１０）。前述したように、近エリア（第一の領域２４）の最遠部３０の物体Ｍと遠方領域２６ａの最近部３２の物体Ｎとの大きさは、概ね一致し、物体Ｍまでの距離は、第一の領域２４におけるステレオ画像の処理により高精度に取得できる。したがって、遠方領域２６ａの物体Ｎとそれより遠方に存在する障害物等との大きさの比較および、物体Ｍ（物体Ｎ）までの距離とに基づき、遠方領域２６ａ内で検知された障害物等の位置（障害物等までの距離）を推定することができる。なお、鉄道車両ＲＶの走行安全性を確保する場合、第一の領域２４における障害物等の存在や位置および遠方領域２６ａにおける障害物等の存在が検知できれば、鉄道車両ＲＶの安全な走行を実現できる。したがって、別の実施形態では、Ｓ１１０の処理を省略してもよい。この場合、遠方領域２６ａにおける画像処理部１４の処理負荷を軽減することができる。

そして、画像処理部１４は、障害物等の検知結果を出力部１６に出力して、この処理周囲の処理を一旦終了する（Ｓ１１２）。すなわち、画像処理部１４は、Ｓ１０４のステレオ画像処理で第一の領域２４（または第一の領域２４と第二の領域２６との重複領域）において障害物等が検知された場合は、障害物等の有無および位置（距離）を出力部１６を介して、鉄道車両ＲＶの走行システムや、鉄道車両ＲＶの走行を管理および監視している外部のシステムに提供して鉄道車両ＲＶの制御に反映させる。同様に画像処理部１４は、遠方領域２６ａで障害物等が検知された場合には、障害物が検知されたことを示す情報を出力部１６を介して鉄道車両ＲＶの走行システムや外部のシステムに提供して鉄道車両ＲＶの制御に反映させる。なお、画像処理部１４は、遠方領域２６ａにおいて障害物等が検知された場合に位置（距離）を推定している場合は、その情報も併せて出力部１６を介して出力してもよい。画像処理部１４は、検知した障害物等を出力部１６を介して、外部のシステム（監視センター）等に提供する場合、障害物等を強調する強調信号や警報信号等を付加してもよい。

Ｓ１０２において、画像処理部１４は、全カメラ（第１カメラ１０ａ、第２カメラ１０ｂ、第３カメラ１０ｃ）の各撮像画像データの逐次取得に成功していないと判定した場合（Ｓ１０２のＮｏ）、正常なカメラの数を確認する（Ｓ１１４）。第１カメラ１０ａ、第２カメラ１０ｂ、第３カメラ１０ｃのうち正常に撮像画像データを出力し、画像処理部１４が撮像画像データを取得しているカメラが２台の場合（Ｓ１１４のＹｅｓ）、その２台のカメラを用いたステレオ画像を取得する（Ｓ１１６）。つまり、画像処理部１４は、第１ステレオ画像または、第２ステレオ画像または、第３ステレオ画像のいずれかを取得する。そして、取得したステレオ画像に対して、平行等位化変換処理を施す（Ｓ１１８）。つまり、画像処理部１４は、取得できたステレオ画像を、ステレオマッチング処理による視差検出が可能な状態にする。そして、画像処理部１４は、検出した視差に基づき、ステレオ画像に基づく距離画像を生成する（Ｓ１２０）。

画像処理部１４は、生成した距離画像に対し、輝度に関する特徴等を用いて周知の線路Ｒの検知技術を適用して線路Ｒの検知を実行する（Ｓ１２２）。続いて、画像処理部１４は、検知した線路Ｒに対して障害物等を検知する認識エリアの設定を行う（Ｓ１２４）。そして、画像処理部１４は、設定した認識エリア内で、周知の検知技術（例えば、パターンマッチング等）を用いて障害物等の検知を実行する（Ｓ１２６）。画像処理部１４は、近エリアにおける障害物等の検知結果を出力部１６を介して出力し、この処理周囲の処理を一旦終了する（Ｓ１２８）。すなわち、画像処理部１４は、現在、正常な撮像画像データを出力可能な２台のカメラを用いて、障害物等の検知を行う。なお、第３カメラ１０ｃに不都合が生じている場合、障害物等の検出領域は、第１カメラ１０ａと第２カメラ１０ｂで撮像が正常に行える第一の領域２４に限定した障害物等の検知となる。一方。第２カメラ１０ｂまたは第２カメラ１０ｂのいずれか一方に不具合が生じた場合、第一の領域２４と第二の領域２６の重複領域における障害物等の有無および位置の検知が可能であるとともに、遠方領域２６ａにおける障害物等の検知が可能となる。

なお、図１１４において、正常に撮像画像データを出力可能なカメラが２台存在しない場合（Ｓ１１４のＮｏ）、画像処理部１４は、障害物等が存在する場合でもその位置（距離）検出が不能であると判定し、エラー処理を実行する。すなわち、画像処理部１４は、出力部１６を介してエラー情報を鉄道車両ＲＶの走行システムや外部のシステムに提供して、鉄道車両ＲＶの走行制御に反映させる。例えば、一時的な走行停止処理等を実行させる。

このように、鉄道車両用撮像システム１００によれば、第１カメラ１０ａ、第２カメラ１０ｂ、第３カメラ１０ｃにより同じシーンを撮像したステレオ画像を撮像することにより、障害物等の注意対象物体の検知範囲を拡大することができる。また、複数のカメラの不具合が同時に発生する可能性は一般的に低く、鉄道車両用撮像システム１００は、少なくとも２台のカメラによりステレオ画像が取得できる構成としているので、カメラの不具合により、直ちに鉄道車両ＲＶの自動運転ができなくなる事態を回避することができる。

なお、本実施形態では、撮像ユニット１０の一例として、第一の撮像部１８を二つのＨＤカメラ（第１カメラ１０ａ、第２カメラ１０ｂ）で構成し、第二の撮像部２０を一つの４Ｋカメラ（第３カメラ１０ｃ）で構成した例を示した。この場合、最小限の構成で障害物等の検知領域の拡張および、カメラに不都合が生じた場合の対策を実現することができる。別の実施形態では、４台以上のカメラで撮像ユニット１０を構成してもよく、同様な効果を得ることができる。

また、本実施形態では、鉄道車両用撮像システム１００を自動走行可能な鉄道車両ＲＶに適用する例を説明した。他の実施形態では、運転士が搭乗可能な鉄道車両（運転士による運転の有無は問わない）に、鉄道車両用撮像システム１００を適用してもよく、同様な効果を得ることができる。この場合、出力部１６は、運転席等に設置された表示装置に図４に示すような、画像を表示し、障害物等の検知結果を表示したり、その結果に対応する音声メッセージや警告音を出力したりするようにしてもよい。

以上、本発明のいくつかの実施形態を説明したが、上記実施形態および変形例はあくまで一例であって、発明の範囲を限定することは意図していない。上記実施形態は、様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。上記実施形態およびその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１０ 撮像ユニット
１０ａ 第１カメラ
１０ｂ 第２カメラ
１０ｃ 第３カメラ
１２ カメラ制御部
１４ 画像処理部
１６ 出力部
１８ 第一の撮像部
２０ 第二の撮像部
２２ 支持部材
２４ 第一の領域
２６ 第二の領域
２６ａ 遠方領域
２６ｂ 手前領域
１００ 鉄道車両用撮像システム
ＲＶ 鉄道車両

Claims (4)

1. 先頭の鉄道車両の前端部に設けられて、前記鉄道車両の進行方向の第一の領域におけるステレオ画像を取得可能な第一の撮像部と、
   前記前端部に設けられて、少なくとも前記第一の領域より遠方領域を含む第二の領域を撮像可能で、前記第一の撮像部より高解像度の高解像度画像を取得可能な第二の撮像部と、
   前記第一の撮像部が取得する前記ステレオ画像に基づき、前記第一の領域に存在する第一の位置までの第一の距離を算出し、前記第一の距離に基づき前記第二の領域内に存在する第二の位置までの第二の距離を推定する画像処理部と、
   を備える、鉄道車両用撮像システム。
2. 前記第二の撮像部が撮像する前記第二の領域の一部は、前記遠方領域より手前の前記第一の領域と重複している、請求項１に記載の鉄道車両用撮像システム。
3. 前記第一の撮像部は、第１カメラおよび第２カメラを含み、
   前記第二の撮像部は、第３カメラを含み、
   前記第１カメラと前記第２カメラとにより前記第一の領域における第１ステレオ画像を取得させ、前記第２カメラと前記第３カメラとにより前記第一の領域の少なくとも一部を含む第２ステレオ画像を取得させ、前記第３カメラと前記第１カメラとにより前記第一の領域の少なくとも一部を含む第３ステレオ画像を取得させるカメラ制御部と、
   前記第１ステレオ画像と前記第２ステレオ画像と前記第３ステレオ画像とに基づき、前記第一の領域における物体検出処理を実行する画像処理部と、
   を備える、請求項１または請求項２に記載の鉄道車両用撮像システム。
4. 前記画像処理部は、前記第１カメラと前記第２カメラと前記第３カメラとのうち、いずれか二つカメラを用いて、ステレオ画像の取得を継続させる、請求項３に記載の鉄道車両用撮像システム。

Images