JP6294258B2 - ステレオ画像処理方法およびその装置 - Google Patents

Description

本発明は、ステレオ画像処理方法およびその装置に関する。

前方に存在する物体の位置を三次元的に検出し、その物体までの距離を計測する方法として、ステレオ画像処理技術が知られている。ステレオ画像処理技術は、間隔を開けて水平等位に設置した左右のカメラで取得した画像（ステレオ画像）をコンピュータでマッチング処理を行うことにより視差を算出し、その視差を用いて三角測量の原理から対象物までの距離を算出する方法である（たとえば、特許文献１，２参照）。

図１３に、ステレオ画像処理技術による距離計測の原理を示す。図１３は、平行化により画像におけるｙ軸（ｖ軸）が揃えられた左右２台のカメラで対象物ｍを撮像したときの画像Ｉ，Ｊを示す。ｕ軸とｕ’軸は画像Ｉ，Ｊの横方向の位置、ｖ軸は画像の縦方向の位置を示す。各カメラの画像上には当該カメラの視点と対象物ｍを結ぶ直線ｌとｒと画面との交点ｐ 、ｑに対象物ｍが写されるため、対象物ｍの３次元座標（Ｘ，Ｙ，Ｚ）は、ｐとｑの座標（ｕ_ｓ１，ｖ_１）、（ｕ_ｓ２，ｖ_２）から求まる。そして、点ｐ，ｑの座標位置の差ｄ、つまり画素数が視差であり、次の式１から視差ｄを求めることができる。
ｄ＝ｕ_ｓ１−ｕ_ｓ２ ・・・・・・（式１）

また、カメラの焦点距離をｆ、二つの画像Ｉ，Ｊの中心位置間距離、すなわち、基線長をＢとすると、ｍの世界座標と画像上の位置の関係は、次のとおりである。
Ｘ＝Ｂｕ_ｓ１／ｄ， Ｙ＝Ｂｖ_１／ｄ， Ｚ＝Ｂｆ／ｄ
Ｚは、カメラ設置位置から対象物ｍまでの距離である。

したがって、ステレオ画像処理において対象物ｍまでの距離Ｚを計測するには、視差ｄを算出する必要がある。そのためには、左カメラの画像Ｉ（以下、基準画像という。）上の基準点ｐと相関を有する点、すなわち対応点ｑが右カメラの画像Ｊ（以下、対応画像という。）上のどこに存在するかを探索する画像マッチング（対応付け）が必要である。基準点とは基準画像における所定の点であり、対応点とは基準点と相関を求める対応画像上の点である。

画像マッチングには、従来、ブロックマッチング法と位相限定相関法とが用いられている。

ブロックマッチング法は、基準画像を複数の小面積の領域、すなわち複数のブロックに分割し、各ブロックの画像と対応画像の全領域とを比較し、対応画像上で各ブロックと対応する位置を探す技術である。基準画像の複数のブロックのうち、距離算出の対象とするブロックを、以下において対象ブロックということがある。ブロックマッチング法においては、対応画像上の対応する位置として、対象ブロックと最も類似する画像の位置（すなわち、最も誤差が小さな画像の位置）を探す。そして、対象ブロックと対応画像上で探し出された画像の位置との間の距離、すなわち画素数の値を、視差とする。

ブロックマッチング法は、基準画像上で対象ブロックを順次シフトさせながら、基準画像の全ブロックの各々について対応画像の全領域に亘って行なわれる（たとえば、特許文献３参照）。１ブロックを構成する画素数は、ステレオ画像処理の使用目的等により異なる。

しかし、ブロックマッチング法では、基準画像の全ブロックの各々について対応画像の全領域に亘ってマッチング処理を行うので、対応点の探索に多くの時間がかかってしまう。これを避けるための方法として、粗密探索法がある。

従来の粗密探索法では、原画像を階層数分だけ縮小する。多くは、１階層につき縦横の画素数を１／２に減少させ、総画素数を１／４とする。このように縮小した画像間でマッチング処理を行って、大まかに対応する画素が見つかったならば、順次下位の階層の画像の大まかに対応する画素が見つかった範囲までマッチング処理を行う。

従来の粗密探索法について図１４を参照してさらに具体的に説明すると、第１ステップとして、画像ＩとＪの複数の階層画像Ｉ_ｋ，Ｊ_ｋ(ｋ＝１，２，…，ｋｍａｘ)を作成する。
第２ステップとして、画像Ｉの基準点ｐ（座標はｕ,ｖとする。）と画像Ｊの対応点の初期値ｑ（座標はｕ,ｖとする。）に対応する第ｋｍａｘ階層の基準点ｐ_ｋｍａｘ（２^{−ｋｍａｘ}ｕ，２^{−ｋｍａｘ}ｖ），対応点ｑ_ｋｍａｘ（２^{−ｋｍａｘ}ｕ，２^{−ｋｍａｘ}ｖ）を作成する。
第３ステップとして、基準点ｐ_ｋｍａｘ（２^{−ｋｍａｘ}ｕ，２^{−ｋｍａｘ}ｖ），対応点ｑ_ｋｍａｘ（２^{−ｋｍａｘ}ｕ，２^{−ｋｍａｘ}ｖ）のマッチングを行い、視差δを考慮した結果ｑ’_ｋｍａｘ（２^{−ｋｍａｘ}ｕ，２^{−ｋｍａｘ}ｖ）を算出する。
続いて、階層ｋｍａｘをｋｍａｘ−１，ｋｍａｘ−２，…の順に変化させ、上記第１ステップから第３ステップを繰り返す。

特開２００２−２５０６０５号公報 特開２００８−０３９４９１号公報 特開２０１４−２３５６１５号公報 特開２０１４−１７９７０３号公報

ＩＥＥＪ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｄｕｓｔｒｙ Ａｐｐｌｉｃａｔｉｏｎｓ Ｖｏｌ.１３４ Ｎｏ.１０ ｐｐ９２１−９２９,２０１４

従来の粗密探索法は、上記のように、全ての階層について基準画像の基準点と同じ走査線上の対応画像の点に対してマッチング処理を行い、対応点を探索するので、原画像が単純か複雑かに関わりなく、マッチングを行う階層数が多く、マッチング処理に多くの時間がかかるという問題がある。

したがって、たとえば、鉄道線路上の障害物の検知および障害物までの距離の計測には、迅速性が求められるが、従来の粗密探索法ではこのような要求に十分に応えられない虞がある。

そこで、本発明は、粗密探索法の階層数の削減が可能なステレオ画像処理方法を提供することを目的とする。

上記目的を達成する本発明の一側面は、基準画像と対応画像に対して縮小した階層画像を生成してマッチング処理を行う粗密探索法を用いるステレオ画像処理方法において、階層を生成した際に最上位階層（最小の画素数となった層）の画像の探索を行わず、大まかな対応点として「レール抽出による視差」だけずらした点を対応点とすることを特徴とする。すなわち、粗密探索法を行う場合に、最上位階層の視差に「レール抽出による視差」を設定することより、最上位階層でのマッチング処理を省略することを特徴とする。

「レール抽出による視差」は、次のいずれかの式により演算されたものである。
ｄ_ｈ＝Ｌ_ｈ（Ｉ）−Ｌ_ｈ（Ｊ）
ｄ_ｈ＝Ｒ_ｈ（Ｉ）−Ｒ_ｈ（Ｊ）
ｄ_ｈ＝｛（Ｌ_ｈ（Ｉ）―Ｌ_ｈ（Ｊ））＋（Ｒ_ｈ（Ｉ）―Ｒ_ｈ（Ｊ））｝／２
ここで、ｄ_ｈは画像中の高さｈでのレールの視差、
Ｌ_ｈ（Ｉ）は左画像中の高さｈにおける左レールのｕ座標を表す関数、
Ｌ_ｈ（Ｊ）は右画像中の高さｈにおける左レールのｕ’座標を表す関数、
Ｒ_ｈ（Ｉ）は左画像中の高さｈにおける右レールのｕ座標を表す関数、
Ｒ_ｈ（Ｊ）は右画像中の高さｈにおける右レールのｕ’座標を表す関数である。

本発明によれば、従来の粗密探索法によりマッチング処理を行う場合よりも、「レール抽出による視差」が最上位階層の画像に適用される分だけ探索回数が削減できる。したがって、視差算出または視差算出と対象物までの距離計測を高速化することができる。

本発明の実施の形態に係る第１のステレオ画像処理方法を実施するステレオ画像処理装置の構成を示すブロック図である。 図１のカメラ装置の構成を示すブロック図である。 図１のレール抽出部の構成を示すブロック図である。 図３のレール映像推定部の作用を説明するフローチャートである。 図３の記憶部に登録された典型的なレール形状パターンを示す図である。 図３のレール映像比較部の作用を説明するフローチャートである。 抽出されたレールを表示しているステレオ画像の一例を示す図である。 図１の視差算出部の機能を実現する手段を示す図である。 「レール抽出による視差」を説明する図である。 「レール抽出による視差」の求め方を説明する図である。 マッチング処理の具体的な方法を説明する模式図である。 本発明の実施の形態に係るステレオ画像処理方法における粗密探索法を説明する図である。 ステレオ画像処理技術による距離計測の原理を説明する図である。 従来の粗密探索法を説明する図である。

続いて、本発明の実施の形態について、図面を用いながら説明する。

本発明の実施の形態に係るステレオ画像処理方法は、左右２台のカメラである撮像手段による撮像対象が鉄道線路である場合に適用される。列車運転台に設置された左右２台のカメラで列車前方を撮像した場合、左右各画像に写される映像のうち、線路または線路を含む近傍の映像が写される範囲は限定される。

また、撮像対象が鉄道線路である場合は、列車前方画像からレール抽出アルゴリズムによりレールを抽出することができ、その抽出したレールの画像上の座標を検出することができる。レール抽出アルゴリズムには、レールのエッジと輝度勾配に着目した方法がある（非特許文献１参照）。この方法では、レールを列車運転台から２〜３０ｍ程度までの近傍領域のレールと、それ以上の距離の遠方領域のレールに分けて処理を行う。近傍領域は予め用意した代表的レールテンプレートとのマッチングにより、また、遠方領域は近傍領域で得られた情報を基にレール形状パターンを動的に生成して、短い直線と曲線セグメントを連結しながら、遠方までレールを追跡する。

レール抽出アルゴリズムは、上記の代表的レールテンプレートとのマッチングおよびレール形状パターンとのマッチングによる方法のほか、画像中の特徴量抽出による方法、色や強度による特徴に基づく方法、輝度勾配を用いる方法、その他がある。本発明では、これら既知のレール抽出アルゴリズムのいずれを用いてもよい。

左右２台のカメラで列車前方を撮影したとき、レール抽出アルゴリズムにより左のカメラの画像（基準画像）と右のカメラの画像（対応画像）からレールを抽出すると、抽出したレールの画像上の座標が分かる。この基準画像と対応画像でレールの同じ地点を示す座標間の画素数が「レール抽出による視差」である。

レールは２本が平行に敷かれているため、「レール抽出による視差」は、左右いずれか１本のレールの座標から算出することができる。また、左右のレールの座標の差（各レールのレール抽出による視差）の平均値を「レール抽出による視差」としてもよい。したがって、「レール抽出による視差」は、次のいずれかの式を演算することにより求めることができる。
ｄ_ｈ＝Ｌ_ｈ（Ｉ）−Ｌ_ｈ（Ｊ）
ｄ_ｈ＝Ｒ_ｈ（Ｉ）−Ｒ_ｈ（Ｊ）
ｄ_ｈ＝｛（Ｌ_ｈ（Ｉ）―Ｌ_ｈ（Ｊ））＋（Ｒ_ｈ（Ｉ）―Ｒ_ｈ（Ｊ））｝／２
ここで、ｄ_ｈは画像中の高さｈでのレールの視差、
Ｌ_ｈ（Ｉ）は左画像中の高さｈにおける左レールのｕ座標を表す関数、
Ｌ_ｈ（Ｊ）は右画像中の高さｈにおける左レールのｕ’座標を表す関数、
Ｒ_ｈ（Ｉ）は左画像中の高さｈにおける右レールのｕ座標を表す関数、
Ｒ_ｈ（Ｊ）は右画像中の高さｈにおける右レールのｕ’座標を表す関数である。

本発明は、左右各画像に写される映像のうち、線路または線路を含む近傍の映像が写される範囲は限定される、レール抽出アルゴリズムにより抽出したレールの座標が分かる、レールの直線部と曲線部のいずれにおいても画面上の高さ位置に対応する「レール抽出による視差」の変化率はほぼ一定であるという事実を、ステレオ画像の視差算出の高速化に利用することを基本的な技術思想とする。

「レール抽出による視差」が分かれば、対応画像の対応点が大体どのあたりに存在するかを推定することができる。つまり、基準点（座標)に対応する対応画像上の同一座標（一次対応点）から「レール抽出による視差」分だけ左または右にずらした点（二次対応点）の近傍に真の対応点が存在すると考えることができる。そこで、本発明では、その二次対応点からマッチングを開始し、同一画素が見つかった点を真の対応点と決定し、基準点から真の対応点までの移動画素数を視差とするものである。左右の画像のうち、どちらを基本画像とし、どちらを対応画像とするかにより「レール抽出による視差」分だけずらす方向が異なる。左の画像を基本画像とする場合は左にずらし、右の画像を基本画像とする場合は右にずらすことになる。

[第１の実施の形態]
図１は、本発明に係る第１のステレオ画像処理方法を実施するためのステレオ画像処理装置の一例を示す。このステレオ画像処理装置１は、２台のカメラ装置１０Ｌ，１０Ｒと、各カメラ装置１０Ｌ，１０Ｒから映像信号を与えられるレール抽出部２０Ｌ，２０Ｒと、レール抽出部２０Ｌ，２０Ｒに接続された一つの視差算出部３０と、視差算出部３０に接続された距離計測部４０とを有する。

カメラ装置１０Ｌ，１０Ｒとレール抽出部２０Ｌ，２０Ｒには、特許文献３に開示されたものを用いることができる。以下に、特許文献３の記載を引用して説明する。

カメラ装置１０Ｌ，１０Ｒは、同一の構成を有する。カメラ装置１０Ｌを例に説明すると、図２に例示するように、カメラ装置１０Ｌは、光学レンズ１１と、光学レンズ１１から入射する被写体の光学映像を電気信号に変換する撮像素子１２と、撮像素子１２の出力に基づいて映像信号を生成する映像信号生成部１３と、撮像制御部１４とを有する。

光学レンズ１１は、被写体の映像を光学的に撮像素子１２の上に結像させる。光学レンズ１１は、レンズの焦点を調整するための焦点調整機構および撮像素子１２への入射光量を調整するための絞り調整機構を有する。さらに、光学レンズ１１は、焦点距離を変えるズーム機構を有してもよい。

撮像素子１２には、たとえば数百万個程度のＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（相補性金属酸化膜半導体）などの電荷結合素子の集合体が用いられる。

撮像制御部１４は、光学レンズ１１、撮像素子１２および映像信号生成部１３による被写体の撮像を制御する。つまり、撮像制御部１４は光学レンズ１１の焦点調整機構、絞り調整機構、またはズーム機構などを制御する。

映像信号生成部１３は、撮像素子１２の出力（すなわち画素値）に基づいて映像信号を生成する。映像信号生成部１３は、撮像制御部１４の制御により、たとえば、周期的に撮像素子１２の各電荷結合素子の出力を取り込んで映像信号を生成する。映像信号生成部１３が映像信号を生成する周期は、たとえば数十分の１秒程度である。このようにして周期的に生成された複数の映像信号を静止画像として時系列順に表示したときに、人の目には動画として認識される。

図１のレール抽出部２０Ｌ，２０Ｒは、同一の構成を有する。以下には、レール抽出部２０Ｌを例に説明する。レール抽出部２０Ｌの機能は、要約すると、カメラ装置１０Ｌの映像信号生成部１３が生成した映像信号を取り込み、その映像信号に含まれるレールを抽出することである。さらに具体的に説明すると、レール抽出部２０Ｌは、所定のレールの映像として予め登録されている複数のレール形状パターン（の映像信号）と、実際に撮像されたレール（の映像信号）とを比較して「一致」または「不一致」を抽出結果として出力する。すなわち、レール抽出部２０Ｌが「一致」を出力したときには、映像信号生成部１３が生成した映像信号に所定のレール（の映像信号）が含まれており、レール抽出部２０Ｌがその所定のレール(の映像)を抽出したことになる。また、レール抽出部２０Ｌが「不一致」を出力したときには、映像信号生成部１３が生成した映像信号に所定のレール（の映像信号）が含まれておらず、レール抽出部２０Ｌが所定のレール(の映像)を抽出できなかったことになる。

レール抽出部２０Ｌは、図３に例示するように、映像信号生成部１３から出力される映像信号を入力し、映像信号の中からレールを含むと推定される映像信号を取り出すレール映像推定部２１と、複数のレール形状パターンを記憶しているメモリである記憶部２２と、レール映像推定部２１で推定されたレール(の映像)と複数のレール形状パターンとを比較するレール映像比較部２３と、データ蓄積部２４とを有する。

レール映像推定部２１は、映像信号生成部１３から出力された映像信号の中からレール(の映像)であると推定される映像信号を取り出す。たとえば、カメラ装置１０は、鉄道車両（以下、単に車両という。）の先頭に搭載されているので、通常、カメラ装置１０の視野の下部にレールの映像が映り込む。したがって、視野の下部から縦方向に伸びる２本の線(の映像)がレール(の映像)であると推定する。そこで、レール映像推定部２１は、レールであると推定される映像信号の部分のみを残し、他の映像信号を消去した映像信号を生成し、レール映像比較部２２に送出する。この映像信号は、撮像素子１２の縦横の電荷結合素子の配設位置に対応する縦横の画素値が記録された座標情報として表される。

図４のフローチャートを参照しながらレール映像推定部２１の動作をさらに詳細に説明する。映像信号生成部１３から出力される映像信号がレール映像推定部２１に入力されると、図４の「ＳＴＡＲＴ」の条件が満たされ、フローはステップＳ１に進む。なお、図４の「ＳＴＡＲＴ」から「ＥＮＤ」までの処理は１周期分の処理であり、フローが「ＥＮＤ」になった後は、「ＳＴＡＲＴ」の条件が満たされたとき、フローは再び実行される。

ステップＳ１において、レール映像推定部２１は、映像信号生成部１３から入力した映像信号の中で、視野下部におけるレール(の映像)の位置を検索し、フローはステップＳ２に進む。

ステップＳ２において、レール映像推定部２１は、２本の縦方向に伸びる線を見付けたか否かを判定する。ステップＳ２において、見付けたと判定されると、フローはステップＳ３に進む。一方、ステップＳ２において、見付からないと判定されると、フローはステップＳ１に戻る。

ステップＳ３において、レール映像推定部２１は、レールと推定される映像信号以外の映像信号を消去して、フローはステップＳ４に進む。

ステップＳ４において、レール映像推定部２１は、レール映像比較部２３に対し、レール(の映像)と推定される映像信号を出力して処理を終了する（ＥＮＤ）。

レール映像比較部２３は、レール映像推定部２１から出力されたレール(の映像)と推定される映像信号と、記憶部２２に記憶されているレール形状パターン(の映像信号)とを比較する。

記憶部２２には、カメラ装置１０の位置から見えるレールが複数種類のレール形状パターンで記憶されている。図５に、記憶部２２に記憶されている７種類(＃１〜＃７)のレール形状パターンを例示する。このレール形状パターンは、カメラ装置１０が搭載された車両の線区において、車両が直進状態であるとき、またはカーブを走行中であるときなど、想定されるレールの見え方の種類を表している。このようなレール形状パターンは、カメラ装置１０を搭載した車両を試験走行させて撮像したレールの映像信号に基づいて設定される。

記憶部２２に記憶されているレール形状パターン＃１〜＃７も、レール映像推定部２１から出力される映像信号と同様に、撮像素子１２の縦横の電荷結合素子の配設位置に対応する縦横の画素値が記録された座標情報として表される。

レール映像比較部２３は、レール映像推定部２１から出力されたレールの映像と推定される映像信号と記憶部２２に記憶されているレール形状パターンの映像信号との互いに対応する座標を比較する。レール映像比較部２３は、比較の結果、座標が一致する割合が所定の割合（たとえば８０％程度）以上であれば「一致」と判定し、所定の割合未満であれば「不一致」と判定する。

次に、図６のフローチャートを参照しながら、レール映像比較部２３の動作をさらに詳細に説明する。レール映像推定部２１から出力される映像信号がレール映像比較部２３に入力されると図６の「ＳＴＡＲＴ」の条件が満たされ、フローはステップＳ１０に進む。なお、図６の「ＳＴＡＲＴ」から「ＥＮＤ」までの処理は、１周期分の処理であり、フローが「ＥＮＤ」になった後は、「ＳＴＡＲＴ」の条件が満たされたとき、フローは再び実行される。

ステップＳ１０において、レール映像比較部２３は比較するパターン＃ｎをレール形状パターン＃１に設定して、フローはステップＳ１１に進む。

ステップＳ１１において、レール映像比較部２３は、レール映像推定部２１から受け取った映像信号と記憶部２２に記憶しているレール形状パターンのうちのパターン＃ｎ（ここではｎ＝１）とを比較して、フローはステップＳ１２に進む。

ステップＳ１２において、レール映像比較部２３は、ステップＳ１１の比較結果が「一致」であるか否かを判定する。ステップＳ１２において、比較結果が「一致」であると判定されると、フローはステップＳ１３に進む。一方、ステップＳ１２において、比較結果が「一致」でない（すなわち「不一致」）と判定されると、フローはステップＳ１４に進む。

ステップＳ１３において、レール映像比較部２３は、「一致」とする比較結果を不図示の正常性判定部に出力するとともに、「一致」とされたときの記憶部２２に記憶されているレール形状パターンの映像信号をデータ蓄積部２４に格納して、処理を終了する（ＥＮＤ）。

ステップＳ１４において、レール映像比較部２３は、全レール形状パターンとの比較が終了したか否かを判定する。すなわち、パターン＃ｎはパターン＃７であるか否かを判定する。ステップＳ１４において、全パターンとの比較が終了したと判定されると、フローはステップＳ１５に進む。一方、ステップＳ１４において、未だ全パターンとの比較が終了していないと判定されると、フローはステップＳ１６に進む。

ステップＳ１５において、レール映像比較部２３は、「不一致」とする比較結果を不図示の正常性判定部に出力して処理を終了する（ＥＮＤ）。

ステップＳ１６において、レール映像比較部２３は、パターン＃ｎをパターン＃（ｎ＋１）に変更（ここでは、パターン＃１をパターン＃２に変更）して、フローはステップＳ１１に戻る。

このようにして、ステップＳ１２で比較結果が「一致」とならないときには、ステップＳ１１→ステップＳ１２→ステップＳ１４→ステップＳ１６→ステップＳ１１のフローが全パターン＃１〜＃７について繰り返し実行される。

上記のようにして、レール抽出部２０Ｌにより抽出されたレール映像は、データ蓄積部２４に蓄積される。

カメラ装置１０Ｌ，１０Ｒおよびレール抽出部２０Ｌ，２０Ｒは、基準画像と対応画像を取得するために、図１に示すように左右２組が備えられる。図７は、レール抽出部２０L，２０Ｒによって抽出されたレールが表示された基準画像Ｉ（ｎ）と対応画像Ｊ（ｎ）を例示する。

そして、各レール抽出部２０Ｌ，２０Ｒのデータ蓄積部２４のレール映像データは、基準画像と対応画像からレールの視差を算出するため、視差算出部３０に与えられる。

視差算出部３０は、図８に一例を示すように、一次対応点検出手段３１と、二次対応点検出手段３２と、マッチング処理手段３３と、相関値比較手段３４と、視差値読出手段３５と、視差算出手段３６とを含む。

一次対応点検出手段３１は、基準画像Ｉ（ｎ）のレール映像の基準点と同じ座標となる対応画像上の同じ走査線上の点（一次対応点)を検出して、その座標を出力する。二次対応点検出手段３２は、一次対応点から同じ走査線上を「レール抽出による視差」と等しい距離だけ左方向にずらした点を二次対応点とする。マッチング処理手段３３は、二次対応点から対応画像の左端までマッチング処理を行って相関値を求める。

「レール抽出による視差」は、事前の列車走行時に既知のマッチング手法を用いて取得される。上記のように、レール抽出においては、基準画像Ｉ（ｎ）において抽出されたレールの幅（軌間）、曲率、線形と対応画像Ｊ（ｎ） において抽出された軌間、曲率、線形はほぼ同一であるから、図９（ａ）に示すように、基準画像Ｉ（ｎ）のレールＲの任意の基準点ｒの座標をｒ（ｕ_ｒ１，ｖ_１）、対応画像Ｊ（ｎ）のエビポーラ線上のレールＲの対応点ｓの座標をｓ（ｕ_ｒ２，ｖ_１）とすると、基準点ｕと対応点ｓの視差、すなわち、画像中の高さｈにおける「レール抽出による視差」ｄ_ｈ’は、次の式、
ｄ_ｈ’＝ｕ_ｒ１−ｕ_ｒ２
から求めることができる。

そして、視差はカメラからの距離が遠くなるほど小さく、近いほど大きくなる。したがって、図９（ｂ）に比喩的に示すように、画像Ｉ（ｎ）、Ｊ（ｎ）のレールの長手方向の各地点における「レール抽出による視差」ｄ_ｈ’（画素数）は、カメラ設置位置から各地点までの距離（画面中の高さｈ）に応じて、３０，２５，２０，…，５，２のように漸減する。このような「レール抽出による視差」ｄ_ｈ’が視差算出部３０のメモリに記憶されている。

そして、上記マッチング処理において基準画像Ｉ（ｎ）上の基準点ｒと同じ画像パターンが検出された位置が対応点ｓの正確な位置と判定されると、基準点ｒと対応点ｓの正確な位置（座標）に基づいて、式ｄ_ｈ’＝ｕ_ｒ１−ｕ_ｒ２の演算により、実際の視差ｄ_hが算出される。したがって、図９（ｂ）に比喩的に示すように、画像I（ｎ）、Ｊ（ｎ）のレールの長手方向の各地点における「レール抽出による視差」ｄ_ｈ’（画素数）は、カメラ設置位置から各地点までの距離に応じて、３０，２５，２０，…，５，２のように漸減する。後記視差値読出手段３５が、第１判定信号ａを入力されたときに「レール抽出による視差値」ｄ_ｈ’を読み出す不図示のメモリ部に、各画像I（ｎ）、J（ｎ）の各高さ位置hに対応した画素数の異なる視差ｄ_ｈ’が記憶されている。

視差は、カメラの仰角によって異なる。したがって、メモリにはカメラの仰角に対応する「レール抽出による視差値」ｄ_ｈ’が記憶される。

図１０および図１１を用いて、上記視差算出部３０の一次対応点検出手段３１、二次対応点検出手段３２およびマッチング処理手段３３による作用を具体的に説明する。

一次対応点算出手段３１は、図１０に示すように、基準画像Ｉ（ｎ）上の基準点ｒの座標ｒ（ｕ_ｒ１，ｖ_１）と同じ座標となる対応画像Ｊ（ｎ）上の点ｒを求め、この点ｒを一次対応点とする。二次対応点生成手段４２は、一次対応点ｒと同じエビポーラ線上の対応画像Ｊ（ｎ）上の「レール抽出による視差」ｄ_ｈ’＝ｕ_ｒ１−ｕ_ｒ２と等しい距離だけ左に離れた点を基準点ｒに対応する二次対応点ｓとする。続いて、マッチング処理手段４３は、マッチング処理により基準点ｒの座標（ｕ_ｒ１，ｖ_１）と二次対応点ｓの座標（ｕ_ｒ２，ｖ_１）との相関値αを求める。

図１１は、基準画像Ｉ（ｎ）および対応画像Ｊ（ｎ）の同じ走査線上の一つのブロックＩ_ｉ１，Ｊ_ｉ１を示す。基準画像Ｉ（ｎ）のブロックＩ_ｉ１の基準点ｒ（ｕ_ｒ１，ｖ_１）に対応する対応点ｓ（ｕ_ｒ２，ｖ_１）を探索するときは、対応画像Ｊ（ｎ）のブロックＪ_ｉ１の同じ走査線上の基準点ｒ（ｕ_ｒ１，ｖ_１）と同じ座標点ｒ’（ｕ_ｒ１，ｖ_１）、すなわち一次対応点から同じ走査線上を「レール抽出による視差」ｄ_ｈ’だけ左にずらした点ｓ’（ｕ_ｒ２，ｖ_１）を二次対応点とする。そして、その二次対応点ｓ’（ｕ_ｒ２，ｖ_１）からブロックＪ_ｉ１の同じ走査線上の左端までの画素値についてブロックＩ_ｉ１の同じ走査線上の画素値との相関値αを取り、図１６（ｅ）の画素値差マトリックスＤＴと同様な画素値差マトリックス、および図１６（ｆ）の画素値差合計マトリックスＴＴと同様な画素値差合計マトリックスを生成する。

二次対応点を探索するときに「レール抽出による視差」をずらす方向は、左右の画像のいずれを基準画像とし、いずれを対応画像とするかにより異なる。図１０,１１は左の画像を基準画像とし、右の画像を対応画像とした例であるので、「レール抽出による視差」だけ左にずらしたが、右の画像を基準画像とし、左の画像を対応画像とした場合は、右にずらされる。

マッチング処理手段３３によるマッチング処理により得られた相関値αは、相関値比較手段３４に与えられる。相関値比較手段３４は、その相関値αを所定の閾値ｔと比較する。相関値αが所定の閾値ｔに対して所定の条件を満たすときは第１判定信号ａを出力して、視差値読出手段３５に入力する。また、相関値αが所定の閾値ｔに対して所定の条件を満たさないときは第２判定信号bを出力して、視差算出手段３６に出力する。

相関値の算出方法は、マッチング処理の手法により異なる。マッチング処理の手法がブロックマッチングである場合は、相関値の算出方法にはＳＳＤ（Sum of Squared Difference）とＳＡＤ（Sum of Absolute Difference）がある。これらの場合は、マッチングが取れていれば取れているほど（類似度が高いほど）相関値が小さくなる。したがって、この場合は、算出された相関値αが閾値ｔ以下（α≦ｔ）のときは所定の条件が満たされたことになり、閾値ｔを上回った（α＞ｔ）ときは所定の条件が満たされないこととなる。これに対し、マッチング処理の手法が位相限定相関法である場合は、マッチングが取れていれば取れているほど相関値が大きくなる。したがって、算出された相関値αが閾値ｔを上回った（α＞ｔ）ときは所定の条件が満たされたことになり、閾値ｔ以下（α≦ｔ）のときは所定の条件が満たされないこととなる。

そして、視差値読出手段３５は、第１判定信号ａを入力されたときは、不図示のメモリ部にそのマッチング処理を行った走査線に対応して記憶されている「レール抽出による視差値」を読み出す。そして、その「レール抽出による視差値」をその走査線における基準点と対応点との視差と確定し、距離計測部４０に与える。つまり、基準点と対応点との相関値が所定の条件を満たす場合は、計算処理に時間がかかる粗密探索手法は実行されない。したがって、粗密探索手法が実行されない分、視差算出の時間が短縮される。

相関値比較手段３４が第２判定信号ｂを視差算出手段３６に出力したときは、視差算出手段３６は、そのマッチング処理を行った走査線に対して本発明の粗密探索法を適用して視差値を算出し、得られた視差値を距離計測部４０に与える。

距離計測部４０は、視差読出手段３５が出力した視差値または視差算出手段３６が出力した視差値を用いてカメラ設置位置から列車前方のレールの注目点(撮像対象物)までの距離を周知の演算式により計測する。

続いて、本発明の実施の形態に係る粗密探索法の処理手順について説明する。

●ステップＳ１
画像Ｉ（ｎ）およびＪ（ｎ）を、それぞれ２^−ｋ倍（ｋ＝０，１，２，…，ｋｍａｘ−１）だけ縮小する（ｋ＝０の時は原画像Ｉ（ｎ）およびＪ（ｎ）を示し、ｋ＝ｋｍａｘの時に抽出すべき探索窓より小さくならない最小の縮小画像とするようにｋｍａｘを定める）ことにより、一連の階層画像Ｉ_ｋ（ｎ）およびＪ_ｋ（ｎ）を生成する。

●ステップＳ２
ｋ＝ｋｍａｘ−１とすると、第ｋｍａｘ−１階層上の画像Ｉ_{ｋｍａｘ−１}（ｎ）の基準点ｐ_{ｋｍａｘ−１}の座標を次式で与える。
ｐ_{ｋｍａｘ−１}＝（２^{−（ｋｍａｘ−１）}ｕ，２^{−（ｋｍａｘ−１）}ｖ）

●ステップＳ３
次に、第ｋｍａｘ−１階層上の対応点ｑ_{ｋｍａｘ−１}の画像Ｊ_{ｋｍａｘ−１}（ｎ）の初期値ｑ’_{ｋｍａｘ−１}を次式で与える。
ｑ’_{ｋｍａｘ−１}＝（２^{−（ｋｍａｘ−１）}（ｕ−ｄ’），２^{−（ｋｍａｘ−１）}ｖ）

●ステップＳ４
画像Ｉ_{ｋｍａｘ−１}（ｎ）において、中心がｐ_{ｋｍａｘ−１}となるように探索窓を抽出する。同様に、画像Ｊ_{ｋｍａｘ−１}（ｎ）において、中心がｑ’_{ｋｍａｘ−１}となるように探索窓を抽出する。

●ステップＳ５
マッチング処理を用いて、ピクセル精度の平行移動量δを求める。第ｋｍａｘ−１階層における対応点ｑ_{ｋｍａｘ−１}の座標を次式で与える。
ｑ_{ｋｍａｘ−１}＝ｑ’_{ｋｍａｘ−１}＋（δ,０）
このとき、δ＞０とならないように探索範囲を限定しておく。または、上記[探索範囲の限定]に記載の探索範囲とする。

●ステップＳ６
ｋ＝ｍ（ｍ≦ｋｍａｘ−１）の時、第ｍ階層上の画像Ｉ_ｍ（ｎ）の対応点ｑ_ｍの座標（ｕ_ｍ，２^−ｍｖ）を求めていたとすると、Ｉ＝ｍ−１として、第ｍ−１階層上の基準点ｐ_ｍ−１の座標を次式で与える。
ｐ_ｍ−１＝（２^{−（ｍ−１）}ｕ，２^{−（ｍ−１）}ｖ）

●ステップＳ７
次に、第ｍ−１階層上の対応点ｑ_ｍ−１の初期値ｑ’_ｍ−１を次式で与える。
ｑ’ _ｍ−１＝（２ｕ_ｍ，２^{−（ｍ−１）}ｖ）

●ステップＳ８
画像Ｉ_ｍ−１（ｎ）において、中心がｐ_ｍ−１となるように探索窓を抽出する。同様に、画像Ｊ_ｍ−１（ｎ）において、中心がｑ’_ｍ−１となるように探索窓を抽出する。マッチング処理を用いて、平行移動量δを求める。第ｍ−１階層における対応点ｑ_ｍ−１の座標を次式で与える。
ｑ_ｍ−１＝ｑ’_ｍ−１＋（δ，０）

●ステップＳ９
ｋ＝ｍ−２，ｍ−３，…，０を代入して、ステップＳ６からステップＳ８を繰り返し、ｐ_０を最終的な基準点ｐ、ｑ_０を最終的な対応点ｑとする。

以上に示した処理ステップＳ１〜Ｓ９によって、基準点ｐの対応点ｑを求めることができる。

上記のように、本発明によれば、まず、探索範囲を固定し、画像を圧縮してマッチングを行って「レール抽出による視差」を用いて、対応点の大まかな目星を付ける。そして、その目星を付けた階層の次の階層の画像に対して通常のマッチングを行う。したがって、「レール抽出による視差」が最上位階層の画像に適用される分だけ探索回数が削減できる。よって、視差算出または視差算出と対象物までの距離計測を高速化することができる。

Ｉ（ｎ） 基準画像
Ｊ（ｎ） 対応画像
ｐ，ｒ 基準点
ｑ，ｓ 対応点
Ｗａ１,Ｗａ２；Ｗｂ１,Ｗｂ２ 探索範囲
１ ステレオ画像処理装置
１０Ｌ，１０Ｒ カメラ装置
２０Ｌ，２０Ｒ レール抽出部
３０ 視差算出部
４０ 距離計測部

Claims (2)

1. 基準画像と対応画像に対して縮小した階層画像を生成してマッチング処理を行う粗密探索法を用いるステレオ画像処理方法において、
   階層を生成した際に最上位階層の画像の探索を行わず、大まかな対応点として「レール抽出による視差」だけずらした点を対応点とすることを特徴とするステレオ画像処理方法。
2. 請求項１記載のステレオ画像処理方法において、
   メモリ部に記憶されている「レール抽出による視差値」は、次のいずれかの式、
   ｄ_ｈ＝Ｌ_ｈ（Ｉ）−Ｌ_ｈ（Ｊ）
   ｄ_ｈ＝Ｒ_ｈ（Ｉ）−Ｒ_ｈ（Ｊ）
   ｄ_ｈ＝｛（Ｌ_ｈ（Ｉ）―Ｌ_ｈ（Ｊ））＋（Ｒ_ｈ（Ｉ）―Ｒ_ｈ（Ｊ））｝／２
   ここで、ｄ_ｈは画像中の高さｈでのレールの視差、
   Ｌ_ｈ（Ｉ）は左画像中の高さｈにおける左レールのｘ座標を表す関数、
   Ｌ_ｈ（Ｊ）は右画像中の高さｈにおける左レールのｘ座標を表す関数、
   Ｒ_ｈ（Ｉ）は左画像中の高さｈにおける右レールのｘ座標を表す関数、
   Ｒ_ｈ（Ｊ）は右画像中の高さｈにおける右レールのｘ座標を表す関数、
   により演算されたものであることを特徴とするステレオ画像処理方法。

Images