JP6335136B2 - ステレオ画像処理方法およびその装置 - Google Patents

Description

本発明は、ステレオ画像処理方法およびその装置に関する。

前方に存在する物体の位置を三次元的に検出し、その物体までの距離を計測する方法として、ステレオ画像処理技術が知られている。ステレオ画像処理技術は、間隔を開けて水平等位に設置した左右のカメラで取得した画像（ステレオ画像）をコンピュータでマッチング処理を行うことにより視差を算出し、その視差を用いて三角測量の原理から対象物までの距離を算出する方法である（たとえば、特許文献１，２参照）。

図１５に、ステレオ画像処理技術による距離計測の原理を示す。図１５は、平行化により画像におけるｙ軸（ｖ軸）が揃えられた左右２台のカメラで対象物ｍを撮像したときの画像Ｉ，Ｊを示す。ｕ軸とｕ’軸は画像Ｉ，Ｊの横方向の位置、ｖ軸は画像の縦方向の位置を示す。各カメラの画像上には当該カメラの視点と対象物ｍを結ぶ直線ｌとｒと画面との交点ｐ 、ｑに対象物ｍが写されるため、対象物ｍの３次元座標（Ｘ，Ｙ，Ｚ）は、ｐとｑの座標（ｕ_ｓ１，ｖ_１）、（ｕ_ｓ２，ｖ_２）から求まる。そして、点ｐ，ｑの座標位置の差ｄ、つまり画素数が視差であり、次の式１から視差ｄを求めることができる。
ｄ＝ｕ_ｓ１−ｕ_ｓ２ ・・・・・・（式１）

また、カメラの焦点距離をｆ、二つの画像Ｉ，Ｊの中心位置間距離、すなわち、基線長をＢとすると、ｍの世界座標と画像上の位置の関係は、次のとおりである。
Ｘ＝Ｂｕ_ｓ１／ｄ， Ｙ＝Ｂｖ_１／ｄ， Ｚ＝Ｂｆ／ｄ
Ｚは、カメラ設置位置から対象物ｍまでの距離である。

したがって、ステレオ画像処理において対象物ｍまでの距離Ｚを計測するには、視差ｄを算出する必要がある。そのためには、左カメラの画像Ｉ（以下、基準画像という。）上の基準点ｐと相関を有する点、すなわち対応点ｑが右カメラの画像Ｊ（以下、対応画像という。）上のどこに存在するかを探索する画像マッチング（対応付け）が必要である。基準点とは基準画像における所定の点であり、対応点とは基準点と相関を求める対応画像上の点である。

画像マッチングには、従来、ブロックマッチング法と位相限定相関法とが用いられている。

ブロックマッチング法による画像マッチングの方法を、図１６に基づいて説明する。基準画像Ｉと対応画像Ｊをそれぞれ同数の小面積の領域（以下、ブロックという。）に分割する。図１６の（ａ）（ｂ）は、基準画像ＩがブロックＩ_１１〜Ｉ_１６，Ｉ_２１〜Ｉ_２６，・・・Ｉ_４１〜Ｉ_４６に、対応画像ＪがブロックＪ_１１〜Ｊ_１６，Ｊ_２１〜Ｊ_２６，・・・Ｊ_４１〜Ｊ_４６に分割された、簡略化した例を示している。

各ブロックには、図１６の（ｃ）（ｄ）に、基準画像Ｉと対応画像ＪのブロックＩ_１１、Ｊ_１１について例示するように、横方向ｎ個、縦方向ｍ個の画素が含まれ、各画素は画素値（ピクセルデータ）を有する。そして、ブロックマッチングにおいては、基本画像Ｉの各ブロックの画素値の配列と同じ画素値の配列を有するブロックを対応画像Ｊの中から探索する。その探索を行うため、基準画像Ｉの第１行１列目のブロックＩ_１１の最初の画素ＩＰ_１１の画素値と対応画像Ｊの第１行１列目のブロックＪ_１１の最初の画素ＪＰ_１１の画素値とを比較（減算）し、その差を図１６の（ｅ）に示すように、画素値差マトリックスＤＴの最初のエリアＤＰ_１１に記録する。

そして、このような画素値の比較をブロックＩ_１１とブロックＪ_１１内の全画素について行う。つまり、基準画像ＩのブロックＩ_１１の同行の他の画素ＩＰ_１２〜ＩＰ_１ｎ、他の行の画素ＩＰ_２１〜ＩＰ_２ｎ、・・・ＩＰ_ｍ１〜ＩＰ_ｍｎについても同様にそれぞれ画素値の差を取り、その差を画素値差マトリックスＤＴの他のエリアＤＰ_１２〜ＤＰ_ｍｎに記録する。そして、全画素の画素値の差を合計し、その合計値ｔ_１１を図１６の（ｆ）に示すように、画素値差合計マトリックスＴＴに記録する。

次に、対応画像Ｊの第１行２列目のブロックＪ_１２についても同様に、基準画像Ｉの第１行１列目のブロックＩ_１１の全画素の画素値との差を取り、その差を画素値差マトリックスＤＴに記録し、その差を合計して、その合計値ｔ_１２を画素値差合計マトリックスＴＴに記録する。

同様の処理を対応画像Ｊの第１行の最後のブロックＪ_１６まで行う。そして、画素値差合計マトリックスＴＴの対応画像Ｊの第１行の全ブロックＩ_１１〜Ｉ_１６に対応する画素値差の合計値ｔ_１１〜ｔ_１６の中で、合計値が最小のブロックを基準画像Ｉの第１行１列目のブロックＩ_１１と対応する、すなわち、マッチングが取れたと判断する。

続いて、基準画像Ｉの第１行２列目のブロックＩ_１２について、対応画像Ｊの第１行の全ブロックをスキャンして前述と同様のマッチング処理を行う。さらに、基準画像Ｉの最後の行の全ブロックについてスキャンして前述と同様にマッチング処理を行う。

上記ブロックマッチング法においては、画素値差合計マトリックスＴＴの画素値の差の合計値が最小の対応画像Ｊ上のブロックが基準画像Ｉのブロックと対応するので、その時の基準画像Ｉのブロックから対応画像Ｊのブロックまで画素値は、視差を表す。視差が分かれば、カメラ設置位置から撮像対象までの距離に変換可能である。したがって、画素値差合計マトリックスＴＴは、距離画像でもある。

上述のように、ブロックマッチング法は、基準画像上で探索対象となるブロックを順次シフトさせながら、基準画像の全ブロックの各々について対応画像の全領域を探索する（特許文献３参照）。

位相限定相関法は、基準画像と対応画像の各ラインの各ブロックの画像をフーリエ変換し、フーリエ変換された信号の位相成分のみに着目するマッチング方法である。位相限定相関法においては、複雑な二次元離散フーリエ変換式（ＤＦＴ）や正規化相互パワースペクトルの二次元逆離散フーリエ変換（ＩＤＦＴ）として定義される位相限定相関関数（ＰＯＣ関数等）が使用され、高精度な画像マッチングが可能である（特許文献４参照）。
近年、位相限定相関法では、各種の高精度化手法が開発され、ブロックマッチング法よりも格段に高精度なマッチングが可能となっている。

特開２００２−２５０６０５号公報 特開２００８−０３９４９１号公報 特開２０１４−２３５６１５号公報 特開２０１４−１７９７０３号公報

ＩＥＥＪ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｄｕｓｔｒｙ Ａｐｐｌｉｃａｔｉｏｎｓ Ｖｏｌ．１３４ Ｎｏ．１０ ｐｐ９２１−９２９，２０１４

しかしながら、従来のステレオ画像処理方法においては、ブロックマッチング法と位相限定相関法のいずれにおいても、基準画像の基準点の存在位置と対応画像の対応点の存在位置が、案内する手段がないため全くわからないので、基準画像と対応画像の全領域に対してマッチング処理を行わなければならないから、相関値を求める計算量が膨大で、処理に多くの時間がかかる。したがって、たとえば、軌道を走行中の車上から線路上の障害物を検知すること等に適用する場合は、リアルタイムで視差算出および距離計測ができないという問題がある。

また、位相限定相関法は、高精度なマッチングが可能であるという利点を有するが、基準画像と対応画像の各ラインの各ブロックに対して複雑なフーリエ変換を行うため、計算量が膨大になり、コンピュータの演算負荷が大きいとともに、計算コストが高いという問題がある。

本発明は、上記の問題点に鑑みてなされたものであり、ステレオ画像をマッチング処理して視差を算出するステレオ画像処理方法における視差算出の高速化および距離画像の生成速度の向上および高精度化を図ることを目的とする。

本発明の一側面は、列車運転台に設置された２台のカメラで取得されるステレオ画像をマッチング処理して視差を算出するステレオ画像処理方法であって、基準画像の基準点と同じ座標となる対応画像上の点を検出して一次対応点とし、その一次対応点から同じ走査線上を「レール抽出による視差」だけずらした点を二次対応点とし、その二次対応点から対応画像の左端まで、または右端までマッチング処理を行って相関値を算出し、その相関値が予め設定した閾値に対して所定の条件を満たす場合は「レール抽出による視差」を視差とし、相関値が所定の条件を満たさない場合は粗密探索法を実施して視差を算出することを特徴とする。

本発明の他の側面においては、列車運転台に設置された２台のカメラで取得されるステレオ画像に含まれるレールをそれぞれ抽出し、その抽出されたレールの各画像上の座標を基に特定の領域に絞り込んだ探索範囲を設定し、その設定された探索範囲内で基準画像の基準点と同じ座標となる対応画像上の点を検出して一次対応点とし、その一次対応点から同じ走査線上を「レール抽出による視差」だけずらした点を二次対応点とし、その二次対応点から対応画像の左端まで、または右端までマッチング処理を行って相関値を算出し、その相関値が予め設定した閾値に対して所定の条件を満たす場合は「レール抽出による視差」を視差とし、相関値が所定の条件を満たさない場合は粗密探索法を実施して視差を算出することを特徴とする。

上記ステレオ画像処理方法において、前記探索範囲は、レール抽出部が抽出したレールの指定された位置を基準として設定された特定の領域であることを特徴とする。

また、前記探索範囲は、基準画像と対応画像のそれぞれにおいて左右のレールの座標が算出された時、横方向の位置として最も左と判断された座標と、最も右と判断された座標をそれぞれ左端と右端とし、これを通る縦直線と画像の上辺と下辺を辺とした特定の形状としたことを特徴とする。

前記探索範囲は、画面の最下部のレールまたは見たい距離のレール端部の座標を基準として設定された鉄道の建築限界または車両限界であることが好ましい。

本発明の他の側面は、ステレオ画像をマッチング処理して視差を算出するステレオ画像処理装置であって、間隔を開けて水平等位に設置した左右のカメラ装置と、各カメラ装置で取得される画像信号からそれぞれレールの映像を抽出するレール抽出部と、抽出されたレールの映像を有するステレオ画像をマッチング処理して視差を算出する視差算出部とを有し、視差算出部は、基準画像のレール映像の基準点と同じ座標となる対応画像上の一次対応点を検出して、その座標を出力する一次対応点検出手段と、一次対応点から同じ走査線上を「レール抽出による視差」と等しい距離だけ左又は右方向にずらした点を二次対応点とする二次対応点検出手段と、二次対応点から対応画像の左端または右端までマッチング処理を行って相関値を求めるマッチング処理手段と、マッチング処理手段により算出された相関値を所定の閾値と比較し、相関値が所定の閾値に対して所定の条件を満たすときは第１判定信号を出力し、相関値が所定の閾値に対して所定の条件を満たさないときは第２判定信号を出力する相関値比較手段と、相関値比較手段が第１判定信号を出力したときは、メモリ部に記憶されている「レール抽出による視差値」を読み出し、その「レール抽出による視差値」を基準点の視差と確定する視差読出手段と、相関値比較手段が第２判定信号を出力したときは、粗密探索法によるマッチング処理を実行して視差値を算出する視差算出手段とを有することを特徴とする。

本発明のさらに他の側面は、ステレオ画像をマッチング処理して視差を算出するステレオ画像処理装置であって、列車運転台に設置された２台のカメラ装置と、各カメラ装置でそれぞれ取得される取得されるステレオ画像に含まれるレールを抽出する２台のレール抽出部と、各レール抽出部により抽出されたレールの各画像上の座標を基に特定の領域に絞り込んだ探索範囲を設定する探索範囲設定部と、抽出されたレールの映像を有するステレオ画像を設定された探索範囲内でマッチング処理して視差を算出する視差算出部とを有し、視差算出部は、設定された探索範囲内で基準画像のレール映像の基準点と同じ座標となる対応画像上の一次対応点を検出して、その座標を出力する一次対応点検出手段と、一次対応点から同じ走査線上を「レール抽出による視差」と等しい距離だけ左又は右方向にずらした点を二次対応点とする二次対応点検出手段と、二次対応点から探索範囲の左端または右端までマッチング処理を行って相関値を求めるマッチング処理手段と、マッチング処理手段により算出された相関値を所定の閾値と比較し、相関値が所定の閾値に対して所定の条件を満たすときは第１判定信号を出力し、相関値が所定の閾値に対して所定の条件を満たさないときは第２判定信号を出力する相関値比較手段と、相関値比較手段が第１判定信号を出力したときは、メモリ部に記憶されている「レール抽出による視差値」を読み出し、その「レール抽出による視差値」を基準点の視差と確定する視差読出手段と、相関値比較手段が第２判定信号を出力したときは、粗密探索法によるマッチング処理を実行して視差値を算出する視差算出手段とを有することを特徴とする。

メモリ部に記憶されている「レール抽出による視差」は、次のいずれかの式により演算されたものである。
ｄ_ｈ ＝Ｌ_ｈ（Ｉ）−Ｌ_ｈ（Ｊ）
ｄ_ｈ ＝Ｒ_ｈ（Ｉ）−Ｒ_ｈ（Ｊ）
ｄ_ｈ＝｛（Ｌ_ｈ（Ｉ）―Ｌ_ｈ（Ｊ））＋（Ｒ_ｈ（Ｉ）―Ｒ_ｈ（Ｊ））｝／２
ここで、ｄ_ｈは画像中の高さｈでのレールの視差、
Ｌ_ｈ（Ｉ）は左画像中の高さｈにおける左レールのｕ座標を表す関数、
Ｌ_ｈ（Ｊ）は右画像中の高さｈにおける左レールのｕ’座標を表す関数、
Ｒ_ｈ（Ｉ）は左画像中の高さｈにおける右レールのｕ座標を表す関数、
Ｒ_ｈ（Ｊ）は右画像中の高さｈにおける右レールのｕ’座標を表す関数である。

上記ステレオ画像処理装置は、視差読出手段が読み出した視差値または視差算出手段が算出した視差値を与えられる距離計測部をさらに有することが望ましい。

本発明によれば、ステレオ画像をマッチング処理して視差を算出するとき、視差算出の高速化を図ることができる。また、距離画像生成の高速化および高精度化を図ることができる。

本発明の実施の形態に係る第１のステレオ画像処理方法を実施するステレオ画像処理装置の構成を示すブロック図である。 図１のカメラ装置の構成を示すブロック図である。 図１のレール抽出部の構成を示すブロック図である。 図３のレール映像推定部の作用を説明するフローチャートである。 図３の記憶部に登録された典型的なレール形状パターンを示す図である。 図３のレール映像比較部の作用を説明するフローチャートである。 抽出されたレールを表示しているステレオ画像の一例を示す図である。 図１の視差算出部の機能を実現する手段を示す図である。 「レール抽出による視差」を説明する図である。 「レール抽出による視差」の求め方を説明する図である。 マッチング処理の具体的な方法を説明する模式図である。 本発明の実施の形態に係る第２のステレオ画像処理方法を実施するステレオ画像処理装置の構成を示すブロック図である。 ステレオ画像中に設定された探索範囲の一例を示す図である。 ステレオ画像中に設定された探索範囲の他例を示す図である。 ステレオ画像処理技術による距離計測の原理を説明する図である。 従来のブロックマッチング法におけるデータ処理を説明する図である。

次に、本発明の実施の形態について、図面を参照しながら説明する。

本発明の実施の形態に係るステレオ画像処理方法は、左右２台のカメラである撮像手段による撮像対象が鉄道線路である場合に適用される。列車運転台に設置された左右２台のカメラで列車前方を撮像した場合、左右各画像に写される映像のうち、線路または線路を含む近傍の映像が写される範囲は限定される。

また、撮像対象が鉄道線路である場合は、列車前方画像からレール抽出アルゴリズムによりレールを抽出することができ、その抽出したレールの画像上の座標を検出することができる。レール抽出アルゴリズムには、レールのエッジと輝度勾配に着目した方法がある（非特許文献１参照）。この方法では、レールを列車運転台から２〜３０ｍ程度までの近傍領域のレールと、それ以上の距離の遠方領域のレールに分けて処理を行う。近傍領域は予め用意した代表的レールテンプレートとのマッチングにより、また、遠方領域は近傍領域で得られた情報を基にレール形状パターンを動的に生成して、短い直線と曲線セグメントを連結しながら、遠方までレールを追跡する。

レール抽出アルゴリズムは、上記の代表的レールテンプレートとのマッチングおよびレール形状パターンとのマッチングによる方法のほか、画像中の特徴量抽出による方法、色や強度による特徴に基づく方法、輝度勾配を用いる方法、その他がある。本発明では、これら既知のレール抽出アルゴリズムのいずれを用いてもよい。

左右２台のカメラで列車前方を撮影したとき、レール抽出アルゴリズムにより左のカメラの画像（基準画像）と右のカメラの画像（対応画像）からレールを抽出すると、抽出したレールの画像上の座標が分かる。この基準画像と対応画像でレールの同じ地点を示す座標間の画素数が「レール抽出による視差」である。

レールは２本が平行に敷かれているため、「レール抽出による視差」は、左右いずれか１本のレールの座標から算出することができる。また、左右のレールの座標の差（各レールのレール抽出による視差）の平均値を「レール抽出による視差」としてもよい。したがって、「レール抽出による視差」は、次のいずれかの式を演算することにより求めることができる。
ｄ_ｈ＝Ｌ_ｈ（Ｉ）−Ｌ_ｈ（Ｊ）
ｄ_ｈ＝Ｒ_ｈ（Ｉ）−Ｒ_ｈ（Ｊ）
ｄ_ｈ＝｛（Ｌ_ｈ（Ｉ）―Ｌ_ｈ（Ｊ））＋（Ｒ_ｈ（Ｉ）―Ｒ_ｈ（Ｊ））｝／２
ここで、ｄ_ｈは画像中の高さｈでのレールの視差、
Ｌ_ｈ（Ｉ）は左画像中の高さｈにおける左レールのｕ座標を表す関数、
Ｌ_ｈ（Ｊ）は右画像中の高さｈにおける左レールのｕ’座標を表す関数、
Ｒ_ｈ（Ｉ）は左画像中の高さｈにおける右レールのｕ座標を表す関数、
Ｒ_ｈ（Ｊ）は右画像中の高さｈにおける右レールのｕ’座標を表す関数である。

本発明は、左右各画像に写される映像のうち、線路または線路を含む近傍の映像が写される範囲は限定される、レール抽出アルゴリズムにより抽出したレールの座標が分かる、レールの直線部と曲線部のいずれにおいても画面上の高さ位置に対応する「レール抽出による視差」の変化率はほぼ一定であるという事実を、ステレオ画像の視差算出の高速化に利用することを基本的な技術思想とする。

「レール抽出による視差」が分かれば、対応画像の対応点が大体どのあたりに存在するかを推定することができる。つまり、基準点（座標）に対応する対応画像上の同一座標（一次対応点）から「レール抽出による視差」分だけ左または右にずらした点（二次対応点）の近傍に真の対応点が存在すると考えることができる。そこで、本発明では、その二次対応点からマッチングを開始し、同一画素が見つかった点を真の対応点と決定し、基準点から真の対応点までの移動画素数を視差とするものである。左右の画像のうち、どちらを基本画像とし、どちらを対応画像とするかにより「レール抽出による視差」分だけずらす方向が異なる。左の画像を基本画像とする場合は左にずらし、右の画像を基本画像とする場合は右にずらすことになる。

[第１の実施の形態]
図１は、本発明に係る第１のステレオ画像処理方法を実施するためのステレオ画像処理装置の一例を示す。このステレオ画像処理装置１は、２台のカメラ装置１０Ｌ，１０Ｒと、各カメラ装置１０Ｌ，１０Ｒから映像信号を与えられるレール抽出部２０Ｌ，２０Ｒと、レール抽出部２０Ｌ，２０Ｒに接続された一つの視差算出部３０と、視差算出部３０に接続された距離計測部４０とを有する。

カメラ装置１０Ｌ，１０Ｒとレール抽出部２０Ｌ，２０Ｒには、特許文献３に開示されたものを用いることができる。以下に、特許文献３の記載を引用して説明する。

カメラ装置１０Ｌ，１０Ｒは、同一の構成を有する。カメラ装置１０Ｌを例に説明すると、図２に例示するように、カメラ装置１０Ｌは、光学レンズ１１と、光学レンズ１１から入射する被写体の光学映像を電気信号に変換する撮像素子１２と、撮像素子１２の出力に基づいて映像信号を生成する映像信号生成部１３と、撮像制御部１４とを有する。

光学レンズ１１は、被写体の映像を光学的に撮像素子１２の上に結像させる。光学レンズ１１は、レンズの焦点を調整するための焦点調整機構および撮像素子１２への入射光量を調整するための絞り調整機構を有する。さらに、光学レンズ１１は、焦点距離を変えるズーム機構を有してもよい。

撮像素子１２には、たとえば数百万個程度のＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（相補性金属酸化膜半導体）などの電荷結合素子の集合体が用いられる。

撮像制御部１４は、光学レンズ１１、撮像素子１２および映像信号生成部１３による被写体の撮像を制御する。つまり、撮像制御部１４は光学レンズ１１の焦点調整機構、絞り調整機構、またはズーム機構などを制御する。

映像信号生成部１３は、撮像素子１２の出力（すなわち画素値）に基づいて映像信号を生成する。映像信号生成部１３は、撮像制御部１４の制御により、たとえば、周期的に撮像素子１２の各電荷結合素子の出力を取り込んで映像信号を生成する。映像信号生成部１３が映像信号を生成する周期は、たとえば数十分の１秒程度である。このようにして周期的に生成された複数の映像信号を静止画像として時系列順に表示したときに、人の目には動画として認識される。

図１のレール抽出部２０Ｌ，２０Ｒは、同一の構成を有する。以下には、レール抽出部２０Ｌを例に説明する。レール抽出部２０Ｌの機能は、要約すると、カメラ装置１０Ｌの映像信号生成部１３が生成した映像信号を取り込み、その映像信号に含まれるレールを抽出することである。さらに具体的に説明すると、レール抽出部２０Ｌは、所定のレールの映像として予め登録されている複数のレール形状パターン（の映像信号）と、実際に撮像されたレール（の映像信号）とを比較して「一致」または「不一致」を抽出結果として出力する。すなわち、レール抽出部２０Ｌが「一致」を出力したときには、映像信号生成部１３が生成した映像信号に所定のレール（の映像信号）が含まれており、レール抽出部２０Ｌがその所定のレール(の映像)を抽出したことになる。また、レール抽出部２０Ｌが「不一致」を出力したときには、映像信号生成部１３が生成した映像信号に所定のレール（の映像信号）が含まれておらず、レール抽出部２０Ｌが所定のレール(の映像)を抽出できなかったことになる。

レール抽出部２０Ｌは、図３に例示するように、映像信号生成部１３から出力される映像信号を入力し、映像信号の中からレールを含むと推定される映像信号を取り出すレール映像推定部２１と、複数のレール形状パターンを記憶しているメモリである記憶部２２と、レール映像推定部２１で推定されたレール(の映像)と複数のレール形状パターンとを比較するレール映像比較部２３と、データ蓄積部２４とを有する。

レール映像推定部２１は、映像信号生成部１３から出力された映像信号の中からレール(の映像)であると推定される映像信号を取り出す。たとえば、カメラ装置１０は、鉄道車両（以下、単に車両という。）の先頭に搭載されているので、通常、カメラ装置１０の視野の下部にレールの映像が映り込む。したがって、視野の下部から縦方向に伸びる２本の線(の映像)がレール(の映像)であると推定する。そこで、レール映像推定部２１は、レールであると推定される映像信号の部分のみを残し、他の映像信号を消去した映像信号を生成し、レール映像比較部２２に送出する。この映像信号は、撮像素子１２の縦横の電荷結合素子の配設位置に対応する縦横の画素値が記録された座標情報として表される。

図４のフローチャートを参照しながらレール映像推定部２１の動作をさらに詳細に説明する。映像信号生成部１３から出力される映像信号がレール映像推定部２１に入力されると、図４の「ＳＴＡＲＴ」の条件が満たされ、フローはステップＳ１に進む。なお、図４の「ＳＴＡＲＴ」から「ＥＮＤ」までの処理は１周期分の処理であり、フローが「ＥＮＤ」になった後は、「ＳＴＡＲＴ」の条件が満たされたとき、フローは再び実行される。

ステップＳ１において、レール映像推定部２１は、映像信号生成部１３から入力した映像信号の中で、視野下部におけるレール(の映像)の位置を検索し、フローはステップＳ２に進む。

ステップＳ２において、レール映像推定部２１は、２本の縦方向に伸びる線を見付けたか否かを判定する。ステップＳ２において、見付けたと判定されると、フローはステップＳ３に進む。一方、ステップＳ２において、見付からないと判定されると、フローはステップＳ１に戻る。

ステップＳ３において、レール映像推定部２１は、レールと推定される映像信号以外の映像信号を消去して、フローはステップＳ４に進む。

ステップＳ４において、レール映像推定部２１は、レール映像比較部２３に対し、レール(の映像)と推定される映像信号を出力して処理を終了する（ＥＮＤ）。

レール映像比較部２３は、レール映像推定部２１から出力されたレール(の映像)と推定される映像信号と、記憶部２２に記憶されているレール形状パターン(の映像信号)とを比較する。

記憶部２２には、カメラ装置１０の位置から見えるレールが複数種類のレール形状パターンで記憶されている。図５に、記憶部２２に記憶されている７種類(＃１〜＃７)のレール形状パターンを例示する。このレール形状パターンは、カメラ装置１０が搭載された車両の線区において、車両が直進状態であるとき、またはカーブを走行中であるときなど、想定されるレールの見え方の種類を表している。このようなレール形状パターンは、カメラ装置１０を搭載した車両を試験走行させて撮像したレールの映像信号に基づいて設定される。

記憶部２２に記憶されているレール形状パターン＃１〜＃７も、レール映像推定部２１から出力される映像信号と同様に、撮像素子１２の縦横の電荷結合素子の配設位置に対応する縦横の画素値が記録された座標情報として表される。

レール映像比較部２３は、レール映像推定部２１から出力されたレールの映像と推定される映像信号と記憶部２２に記憶されているレール形状パターンの映像信号との互いに対応する座標を比較する。レール映像比較部２３は、比較の結果、座標が一致する割合が所定の割合（たとえば８０％程度）以上であれば「一致」と判定し、所定の割合未満であれば「不一致」と判定する。

次に、図６のフローチャートを参照しながらレール映像比較部２３の動作をさらに詳細に説明する。レール映像推定部２１から出力される映像信号がレール映像比較部２３に入力されると図６の「ＳＴＡＲＴ」の条件が満たされ、フローはステップＳ１０に進む。なお、図６の「ＳＴＡＲＴ」から「ＥＮＤ」までの処理は、１周期分の処理であり、フローが「ＥＮＤ」になった後は、「ＳＴＡＲＴ」の条件が満たされたとき、フローは再び実行される。

ステップＳ１０において、レール映像比較部２３は比較するパターン＃ｎをレール形状パターン＃１に設定して、フローはステップＳ１１に進む。

ステップＳ１１において、レール映像比較部２３は、レール映像推定部２１から受け取った映像信号と記憶部２２に記憶しているレール形状パターンのうちのパターン＃ｎ（ここではｎ＝１）とを比較して、フローはステップＳ１２に進む。

ステップＳ１２において、レール映像比較部２３は、ステップＳ１１の比較結果が「一致」であるか否かを判定する。ステップＳ１２において、比較結果が「一致」であると判定されると、フローはステップＳ１３に進む。一方、ステップＳ１２において、比較結果が「一致」でない（すなわち「不一致」）と判定されると、フローはステップＳ１４に進む。

ステップＳ１３において、レール映像比較部２３は、「一致」とする比較結果を不図示の正常性判定部に出力するとともに、「一致」とされたときの記憶部２２に記憶されているレール形状パターンの映像信号をデータ蓄積部２４に格納して、処理を終了する（ＥＮＤ）。

ステップＳ１４において、レール映像比較部２３は、全レール形状パターンとの比較が終了したか否かを判定する。すなわち、パターン＃ｎはパターン＃７であるか否かを判定する。ステップＳ１４において、全パターンとの比較が終了したと判定されると、フローはステップＳ１５に進む。一方、ステップＳ１４において、未だ全パターンとの比較が終了していないと判定されると、フローはステップＳ１６に進む。

ステップＳ１５において、レール映像比較部２３は、「不一致」とする比較結果を不図示の正常性判定部に出力して処理を終了する（ＥＮＤ）。

ステップＳ１６において、レール映像比較部２３は、パターン＃ｎをパターン＃（ｎ＋１）に変更（ここでは、パターン＃１をパターン＃２に変更）して、フローはステップＳ１１に戻る。

このようにして、ステップＳ１２で比較結果が「一致」とならないときには、ステップＳ１１→ステップＳ１２→ステップＳ１４→ステップＳ１６→ステップＳ１１のフローが全パターン＃１〜＃７について繰り返し実行される。

上記のようにして、レール抽出部２０Ｌにより抽出されたレール映像は、データ蓄積部２４に蓄積される。

カメラ装置１０Ｌ，１０Ｒおよびレール抽出部２０Ｌ，２０Ｒは、基準画像と対応画像を取得するために、図１に示すように左右２組が備えられる。図７は、レール抽出部２０L，２０Ｒによって抽出されたレールが表示された基準画像I（ｎ）と対応画像J（ｎ）を例示する。

そして、各レール抽出部２０Ｌ，２０Ｒのデータ蓄積部２４のレール映像データは、基準画像と対応画像からレールの視差を算出するために、視差算出部３０に与えられる。

視差算出部３０は、図８に一例を示すように、一次対応点検出手段３１と、二次対応点生成手段３２と、マッチング処理手段３３と、相関値比較手段３４と、視差値読出手段３５と、視差算出手段３６と、図示されていないメモリを有する。

一次対応点検出手段３１は、基準画像Ｉ（ｎ）のレール映像の基準点と同じ座標となる対応画像上の同じ走査線上の点（一次対応点)を検出して、その座標を出力する。二次対応点生成手段３２は、一次対応点から同じ走査線上を「レール抽出による視差」と等しい距離だけ左方向にずらした点を二次対応点とする。マッチング処理手段３３は、二次対応点から対応画像の左端までマッチング処理を行って相関値を求める。

「レール抽出による視差」は、事前の列車走行時に既知のマッチング手法を用いて取得される。図９（ａ）に示すように、基準画像Ｉ（ｎ）のレールＲの任意の基準点ｒの座標をｒ（ｕ_ｒ１，ｖ_１）、対応画像Ｊ（ｎ）のエピポーラ線上のレールＲの対応点ｓの座標をｓ（ｕ_ｒ２，ｖ_１）とすると、基準点ｕと対応点ｓの視差、すなわち、画像中の高さｈにおける「レール抽出による視差」ｄ_ｈ’は、次の式、
ｄ_ｈ’＝ｕ_ｒ１−ｕ_ｒ２
から求めることができる。

そして、視差はカメラからの距離が遠くなるほど小さく、近いほど大きくなる。したがって、図９（ｂ）に比喩的に示すように、画像Ｉ（ｎ）、Ｊ（ｎ）のレールの長手方向の各地点における「レール抽出による視差」ｄ_ｈ’（画素数）は、カメラ設置位置から各地点までの距離（画面中の高さｈ）に応じて、３０，２５，２０，…，５，２のように漸減する。このような「レール抽出による視差」ｄ_ｈ’が視差算出部３０のメモリに記憶されている。

視差は、カメラの仰角によって異なる。したがって、メモリにはカメラの仰角に対応する「レール抽出による視差値」ｄ_ｈ’が記憶される。

図１０および図１１を用いて、上記視差算出部３０の一次対応点検出手段３１、二次対応点生成手段３２およびマッチング処理手段３３による作用を具体的に説明する。

一次対応点算出手段３１は、図１０に示すように、基準画像Ｉ（ｎ）上の基準点ｒの座標ｒ（ｕ_ｒ１，ｖ_１）と同じ座標となる対応画像Ｊ（ｎ）上の点ｒを求め、この点ｒを一次対応点とする。二次対応点生成手段３２は、一次対応点ｒと同じエピポーラ線上の対応画像Ｊ（ｎ）上の「レール抽出による視差」ｄ_ｈ’＝ｕ_ｒ１−ｕ_ｒ２と等しい距離だけ左に離れた点を基準点ｒに対応する二次対応点ｓとする。続いて、マッチング処理手段３３は、マッチング処理により基準点ｒの座標（ｕ_ｒ１，ｖ_１）と二次対応点ｓの座標（ｕ_ｒ２，ｖ_１）との相関値αを求める。

図１１は、基準画像Ｉ（ｎ）および対応画像Ｊ（ｎ）の同じ走査線上の一つのブロックＩ_ｉ１，Ｊ_ｉ１を示す。基準画像Ｉ（ｎ）のブロックＩ_ｉ１の基準点ｒ（ｕ_ｒ１，ｖ_１）に対応する対応点ｓ（ｕ_ｒ２，ｖ_１）を探索するときは、対応画像Ｊ（ｎ）のブロックＪ_ｉ１の同じ走査線上の基準点ｒ（ｕ_ｒ１，ｖ_１）と同じ座標点ｒ’（ｕ_ｒ１，ｖ_１）、すなわち一次対応点から同じ走査線上を「レール抽出による視差」ｄ_ｈ’だけ左にずらした点ｓ’（ｕ_ｒ２，ｖ_１）を二次対応点とする。そして、その二次対応点ｓ’（ｕ_ｒ２，ｖ_１）からブロックＪ_ｉ１の同じ走査線上の左端までの画素値についてブロックＩ_ｉ１の同じ走査線上の画素値との相関値αを取り、図１６（ｅ）の画素値差マトリックスＤＴと同様な画素値差マトリックス、および図１６（ｆ）の画素値差合計マトリックスＴＴと同様な画素値差合計マトリックスを生成する。

二次対応点を探索するときに「レール抽出による視差」をずらす方向は、左右の画像のいずれを基準画像とし、いずれを対応画像とするかにより異なる。図１０，１１は左の画像を基準画像とし、右の画像を対応画像とした例であるので、「レール抽出による視差」だけ左にずらしたが、右の画像を基準画像とし、左の画像を対応画像とした場合は、右にずらされる。

マッチング処理手段３３によるマッチング処理により得られた相関値αは、相関値比較手段３４に与えられる。相関値比較手段３４は、その相関値αを所定の閾値ｔと比較する。相関値αが所定の閾値ｔに対して所定の条件を満たすときは第１判定信号ａを出力して、視差値読出手段３５に入力する。また、相関値αが所定の閾値ｔに対して所定の条件を満たさないときは第２判定信号ｂを出力して、視差算出手段３６に出力する。

相関値の算出方法は、マッチング処理の手法により異なる。マッチング処理の手法がブロックマッチングである場合は、相関値の算出方法にはＳＳＤ（Sum of Squared Difference)とＳＡＤ（Sum of Absolute Difference）がある。これらの場合は、マッチングが取れていれば取れているほど（類似度が高いほど）相関値が小さくなる。したがって、この場合は、算出された相関値αが閾値ｔ以下（α≦ｔ）のときは所定の条件が満たされたことになり、閾値ｔを上回った（α＞ｔ）ときは所定の条件が満たされないこととなる。これに対し、マッチング処理の手法が位相限定相関法である場合は、マッチングが取れていれば取れているほど相関値が大きくなる。したがって、算出された相関値αが閾値ｔを上回った（α＞ｔ）ときは所定の条件が満たされたことになり、閾値ｔ以下（α≦ｔ）のときは所定の条件が満たされないこととなる。

そして、視差値読出手段３５は、第１判定信号ａを入力されたときは、不図示のメモリ部にそのマッチング処理を行った走査線に対応して記憶されている「レール抽出による視差値」を読み出す。そして、その「レール抽出による視差値」をその走査線における基準点と対応点との視差と確定し、距離計測部４０に与える。つまり、基準点と対応点との相関値が所定の条件を満たす場合は、計算処理に時間がかかる粗密探索手法は実行されない。したがって、粗密探索手法が実行されない分、視差算出の時間が短縮される。

相関値比較手段３４が第２判定信号ｂを視差算出手段３６に出力したときは、視差算出手段３６は、そのマッチング処理を行った走査線に対して周知の粗密探索法を適用して視差値を算出し、得られた視差値を距離計測部４０に与える。

距離計測部４０は、視差読出手段３５が出力した視差値または視差算出手段３６が出力した視差値を用いてカメラ設置位置から列車前方のレールの注目点(撮像対象物)までの距離を周知の演算式により計測する。

［第２の実施の形態］
図１２は、本発明に係る第２のステレオ画像処理方法を実施するためのステレオ画像処理装置の一例を示す。このステレオ画像処理装置１は、図１のレール抽出部２０Ｌ，２０Ｒの後段に探索範囲設定部５０Ｌ，５０Ｒを設け、その探索範囲設定部５０Ｌ，５０Ｒの後段に図１の視差算出部３０を接続したものである。

探索範囲設定部５０Ｌ，５０Ｒは、レール抽出部２０Ｌ，２０Ｒによる抽出されたレールの座標を基に基準画像および対応画像に探索範囲を絞り込むための特定の領域を設定するものである。すなわち、探索範囲設定部５０Ｌ，５０Ｒは、それぞれレール抽出部２０Ｌ，２０Ｒが抽出したレールの指定された位置を基準として特定の領域を探索範囲として設定する。

特定の領域は、画面の最下部のレールまたは見たい距離のレール端部の座標を基準として設定することができる。つまり、監視対象となるレールの全体が探索範囲に入るように設定される。このような領域としては、たとえば、図１３に例示するように、基準画像Ｉ（ｎ）および対応画像Ｊ（ｎ）のそれぞれにおいて左右のレールＲの座標が算出された時、横方向の位置として最も左と判断された座標と、最も右と判断された座標をそれぞれ左端と右端とし、これを通る垂直線と画像の上辺と下辺を辺とした矩形Ｗａ１，Ｗａ２とすることができる。また、鉄道の建築限界あるいは車両限界と同様の形状とすることもよい。図１４のＷｂ１，Ｗｂ２は、建築限界に基づいて設定された探索範囲の一例である。

図１４の探索範囲Ｗｂ１，Ｗｂ２は、画面のレールＲの最下部を基準として建築限界が設定された例である。画面上の建築限界の寸法（画素数）は、軌間に対応する画素数の比を建築限界の実寸法に乗じて設定することが可能である。建築限界の寸法は、在来線と新幹線とで異なり、また、在来線も鉄道事業者により異なる。適用対象線区における建築限界に応じて、画面上の建築限界の寸法（画素数）が決められる。探索範囲Ｗａ１，Ｗａ２やＷｂ１，Ｗｂ２の表示位置は、その領域の底辺中間点を画像中の求める距離における軌間の中間点に合致させて設定される。

探索範囲設定部５０Ｌ，５０Ｒによりそれぞれ探索範囲が設定されると、図１２の視差算出部３０により、その設定された探索範囲（Ｗａ１，Ｗａ２またはＷｂ１，Ｗｂ２）内のみで図１の視差算出部３０について説明したと同じ方法でマッチング処理が行われ、視差が算出される。その探索範囲の外側、たとえば、図１４の探索範囲Ｗｂ１，Ｗｂ２の外側の斜線部分では、マッチング処理を行わない。

この実施の形態によれば、絞り込まれた探索範囲内でのみマッチング処理を行い、探索範囲外ではマッチング処理を行わないので、相関値を求める計算回数が探索範囲外の画素数分だけ少なくなる。

上記レール抽出、探索範囲設定およびマッチング処理は各カメラにより取得される画像の１フレーム毎に実行される。

上述したように、従来の対応点探索方法においては、１フレームの中のラインのどの位置から探索を開始するかについて案内する手段を有していないため、全ラインの先端ブロックから終端ブロックまでマッチング処理を行っていた。これに対し、本発明の第２の実施の形態は、上記レール抽出の特殊性により、基準点ｕと対応点ｓの「レール抽出による視差」ｄ_ｈ’はｄ_ｈ’＝ｕ_ｒ１−ｕ_ｒ２で表される点に着目して、図１３，図１４の探索窓Ｗａ１，Ｗａ２；Ｗｂ１，Ｗｂ２内でさらに探索範囲を狭くする点に特徴がある。

[探索範囲の縮小]
左カメラで撮影した画像（基準画像）と右カメラで撮影した画像（対応画像）で同じ対象物を見た場合、対応画像では基準画像よりも左の位置に対象物がある。さらに、レールの注目箇所での「レール抽出による視差」が分かっている場合、注目箇所よりもカメラ側に対象物があると、基準画像と対応画像の同じ縦方向の位置における「レール抽出による視差」よりも対象物の視差の方が大きな視差となる。よって、対応画像での探索範囲は基準点と同じ座標の点よりも「レール抽出による視差」だけ左にずらした点の左側のみに限定して探索し、対象物の視差を算出することができる。

したがって、本発明を、たとえば、鉄道線路の障害物検知に適用する場合は、対応画像Ｊ（ｎ）の座標ｓ（ｕ_ｒ２，ｖ_１）から左側にレール抽出による視差ｄ_ｈ’＝ｕ_ｒ１−ｕ_ｒ２と等しい距離だけずらした点から探索窓Ｗａ１，Ｗａ２；Ｗｂ１，Ｗｂ２内の左側を探索することが好ましい。これにより、限られた探索範囲のみを探索するので、探索時間を著しく短縮することができる。

対応点探索は、上述した既知のブロックマッチングや位相限定相関法などの画像マッチング法により行う。これらの画像マッチング法には、計算速度がより速く、より高精度なマッチングが可能なものが出てきた。

上記の限られた探索範囲における対応点探索は、基準画像の各ラインに対応する対応画像のラインに対して行なわれる。1つのラインと次のラインの中間領域を探索する方法も知られているが、その場合も、上述と同様の限られた探索範囲において行われることとなる。

以上のように、対応画像での探索範囲を基準点と同じ座標の点よりもレール抽出による視差だけ左にずらした点の左側のみに限定してマッチング処理を行い、対象物の視差を算出するので、画像全体についてマッチング処理を行う従来方法に比し、計算量が大幅に削減される。したがって、視差算出の高速化が可能であり、リアルタイムで視差算出を行うことができる。また、画像マッチング処理に位相限定相関法を適用する場合は、さらに視差算出の高精度化を図ることができる。

続いて、上記ステレオ画像処理方法に従来の粗密探索法を適用する場合の処理手順について説明する。

●ステップ１
画像Ｉ（ｎ）およびＪ（ｎ）を、それぞれ２^−ｋ倍（ｋ＝０，１，２，…，ｋｍａｘ−１）だけ縮小する（ｋ＝０の時は原画像Ｉ（ｎ）およびＪ（ｎ）を示し、ｋ＝ｋｍａｘの時に抽出すべき探索窓より小さくならない最小の縮小画像とするようにｋｍａｘを定める）ことにより、一連の階層画像Ｉ_ｋ（ｎ）およびＪ_ｋ（ｎ）を生成する。
●ステップ２
第ｋｍａｘ階層上の画像Ｉ_ｋｍａｘ（ｎ）の基準点をｐ_ｋｍａｘ、画像Ｊ_ｋｍａｘ（ｎ）の対応点をｑ_ｋｍａｘとする。また、ｐ_ｋｍａｘの座標を（２^{−ｋｍａｘ}ｕ，２^{−ｋｍａｘ}ｖ）、ｑ_ｋｍａｘの座標を（２^{−ｋｍａｘ}ｕ，２^{−ｋｍａｘ}ｖ）とする。
●ステップ３
画像Ｉ_ｋｍａｘ （ｎ）において、中心がｐ_ｋｍａｘとなるように探索窓を抽出する。
同様に、画像Ｊ_ｋｍａｘ（ｎ）において、中心がｑ’_ｋｍａｘとなるように探索窓を抽出する。
マッチング処理を用いて、ピクセル精度の平行移動量δを求める。第ｋｍａｘ階層における対応点ｑ_ｋｍａｘの座標を次式で与える。
ｑ_ｋｍａｘ＝ｑ’_ｋｍａｘ＋（δ，０）
このとき、δ＞０とならないように探索範囲を限定しておく。または、上記[探索範囲の縮小]に記載の探索範囲とする。
●ステップ４
ｋ＝ｍ（ｍ≦ｋｍａｘ）の時、第ｍ階層上の画像Ｉ_ｍ（ｎ）の対応点ｑ_ｍの座標（ｕ_ｍ，２^−ｍｖ）を求めていたとすると、Ｉ＝ｍ−１として、第ｍ−１階層上の基準点ｐ_ｍ−１の座標を次式で与える。
ｐ_ｍ−１＝（２^{−（ｍ−１）}ｕ，２^{−（ｍ−１）}ｖ）
次に、第ｍ−１階層上の対応点ｑ_ｍ−１の初期値ｑ’_ｍ−１を次式で与える。
ｑ’_ｍ−１＝（２ｕ_ｍ，２^{−（ｍ−１）}ｖ）
●ステップ５
画像Ｉ_ｍ−１（ｎ）において、中心がｐ_ｍ−１となるように探索窓を抽出する。同様に、画像Ｊ_ｍ−１（ｎ）において、中心がｑ’_ｍ−１となるように探索窓を抽出する。マッチング処理を用いて、平行移動量δを求める。第ｍ−１階層における対応点ｑ_ｍ−１の座標を次式で与える。
ｑ_ｍ−１＝ｑ’_ｍ−１＋（δ，０）
●ステップ６
ｋ＝ｍ−２，ｍ−３，…，０を代入して、ステップ４からステップ６を繰り返し、ｐ_０を最終的な基準点ｐ、ｑ_０を最終的な対応点ｑとする。
以上に示した処理ステップ１〜６によって、基準点ｐの対応点ｑを求めることができる。

線路上に物体が存在する場合は、その物体は列車の進行とともにカメラとの距離が短くなるので、カメラの画像上、その物体は列車の進行とともにレール注目点の上側から下側に移動する。そして、カメラと対象物との距離が短いほど視差が大きくなる。したがって、レール注目点における視差は線路上に物体が存在しないときよりも、線路上に物体が存在するときの方が大きい。

したがって、列車前方の線路上に障害物が存在しないときは、基準画像Ｉ（ｎ）および対応画像Ｊ（ｎ）での通常のステレオ画像処理（マッチング処理）により算出されるレール注目点における視差はdであるが、列車前方の線路上に障害物が存在するときは、そのレール注目点における視差はdよりも大きい値となる。よって、視差がdよりも大きい値なったことを検出することにより障害物を検知することができるとともに、その時の視差を用いて障害物までの距離を計測することが可能である。

Ｉ,Ｉ（ｎ） 基準画像
Ｊ,Ｊ（ｎ） 対応画像
ｐ，ｒ 基準点
ｑ，ｓ 対応点
Ｗａ１,Ｗａ２；Ｗｂ１,Ｗｂ２ 探索範囲
１ ステレオ画像処理装置
１０Ｌ，１０Ｒ カメラ装置
２０Ｌ，２０Ｒ レール映像抽出装置
３０ 視差算出部
４０ 距離計測部
５０Ｌ，５０Ｒ 探索範囲設定部

Claims (7)

1. 列車運転台に設置された２台のカメラで取得されるステレオ画像をマッチング処理して視差を算出するステレオ画像処理方法であって、
   基準画像の基準点と同じ座標となる対応画像上の点を検出して一次対応点とし、
   その一次対応点から同じ走査線上を「レール抽出による視差」だけずらした点を二次対応点とし、
   その二次対応点から対応画像の左端まで、または右端までマッチング処理を行って相関値を算出し、
   その相関値が予め設定した閾値に対して所定の条件を満たす場合は「レール抽出による視差」を視差とし、
   相関値が所定の条件を満たさない場合は粗密探索法を実施して視差を算出する、
   ことを特徴とするステレオ画像処理方法。
2. 列車運転台に設置された２台のカメラで取得されるステレオ画像をマッチング処理して視差を算出するステレオ画像処理方法であって、
   ２台のカメラで取得されるステレオ画像に含まれるレールをそれぞれ抽出し、
   その抽出されたレールの各画像上の座標を基に特定の領域に絞り込んだ探索範囲を設定し、
   その設定された探索範囲内で基準画像の基準点と同じ座標となる対応画像上の点を検出して一次対応点とし、
   その一次対応点から同じ走査線上を「レール抽出による視差」だけずらした点を二次対応点とし、
   その二次対応点から対応画像の左端まで、または右端までマッチング処理を行って相関値を算出し、
   その相関値が予め設定した閾値に対して所定の条件を満たす場合は「レール抽出による視差」を視差とし、
   相関値が所定の条件を満たさない場合は粗密探索法を実施して視差を算出する、
   ことを特徴とするステレオ画像処理方法。
3. 請求項２に記載のステレオ画像処理方法において、前記探索範囲は、レール抽出部が抽出したレールの指定された位置を基準として設定された特定の領域であることを特徴とするステレオ画像処理方法。
4. 請求項２に記載のステレオ画像処理方法において、前記探索範囲は、基準画像と対応画像のそれぞれにおいて左右のレールの座標が算出された時、横方向の位置として最も左と判断された座標と、最も右と判断された座標をそれぞれ左端と右端とし、これを通る縦直線と画像の上辺と下辺を辺とした形状としたことを特徴とする。
5. 請求項２に記載のステレオ画像処理方法において、前記探索範囲は、画面の最下部のレールまたは見たい距離のレール端部の座標を基準として設定された鉄道の建築限界または車両限界であることを特徴とするステレオ画像処理方法。
6. ステレオ画像をマッチング処理して視差を算出するステレオ画像処理装置であって、
   間隔を開けて水平等位に設置した左右のカメラ装置と、各カメラ装置で取得される画像信号からそれぞれレールの映像を抽出するレール抽出部と、抽出されたレールの映像を有するステレオ画像をマッチング処理して視差を算出する視差算出部とを有し、
   視差算出部は、基準画像のレール映像の基準点と同じ座標となる対応画像上の一次対応点を検出して、その座標を出力する一次対応点検出手段と、一次対応点から同じ走査線上を「レール抽出による視差」と等しい距離だけ左又は右方向にずらした点を二次対応点とする二次対応点検出手段と、二次対応点から対応画像の左端または右端までマッチング処理を行って相関値を求めるマッチング処理手段と、マッチング処理手段により算出された相関値を所定の閾値と比較し、相関値が所定の閾値に対して所定の条件を満たすときは第１判定信号を出力し、相関値が所定の閾値に対して所定の条件を満たさないときは第２判定信号を出力する相関値比較手段と、相関値比較手段が第１判定信号を出力したときは、メモリ部に記憶されている「レール抽出による視差値」を読み出し、その「レール抽出による視差値」を基準点の視差と確定する視差読出手段と、相関値比較手段が第２判定信号を出力したときは、粗密探索法によるマッチング処理を実行して視差値を算出する視差算出手段とを有することを特徴とするステレオ画像処理装置。
7. 請求項６記載のステレオ画像処理装置において、視差読出手段が読み出した視差値または視差算出手段が算出した視差値を与えられる距離計測部をさらに有することを特徴とするステレオ画像処理装置。

Images