JP7134780B2 - ステレオカメラ装置 - Google Patents

Description

本発明は、車両に搭載された複数のカメラを用いて車外の障害物の認識を行う車載用ステレオカメラ装置に関する。

車両の走行安全性を向上させるために、車両に搭載したセンサで前方等の障害物を検知して、その障害物に衝突する可能性がある場合は、ドライバへの警報や自動ブレーキを行うシステムが研究されている。

車両の前方等を監視するセンサとして、ミリ波レーダ、レーザレーダ、カメラなどがある。カメラの種類としては、単眼カメラと、複数のカメラを使用したステレオカメラがある。ステレオカメラは、所定の間隔をあけて配備された２つのカメラで撮影された重複領域の視差を利用して、撮影された物体までの距離を計測することができる。このため、前方等の物体との衝突危険度を的確に把握することができる。

ステレオカメラは、２つのカメラで撮影された画像の視差を求めて、その視差を距離に変換する。ステレオカメラは、計測距離が遠方になるにつれ、視差が小さくなるという特徴がある。従って、遠方の路上障害物を検知する場合、路面の視差と障害物の視差の差分が小さくなり、路面の視差のノイズと障害物の視差の区別が困難になる。高速道路などの車両が高速走行する道路では、事故防止のために路上障害物を早期に検知する必要がある。そのためには、遠方の路面の視差と障害物の視差を高精度に区別することが要求される。下記特許文献１には、視差の誤計算を防止するための方法が提案されている。

特開２０１４－８５１２０号公報

上記特許文献１は、視差を計算するときに、過去フレームの画像で計算した物体の視差を用いて現在フレームのその物体の視差の範囲を想定し、現在フレームの物体の視差がその想定範囲の値を取りやすくするものである。しかしながら、上記特許文献１では、遠方の障害物視差と路面視差のノイズを区別して検知することは開示されていない。

本発明は、上記事情に鑑みてなされたもので、その目的とするところは、ステレオカメラ装置において、路面の視差と障害物の視差を区別して、遠方の路上の立体物や陥没などの障害物（路上障害物）を早期に検知することのできるステレオカメラ装置を提供することにある。

上記課題を解決するための本発明の特徴は、例えば以下の通りである。すなわち、車両に搭載された複数のカメラで撮影された画像から路上障害物を認識するステレオカメラ装置であって、前記複数のカメラの画像から視差を計算し、前記画像中の路面の推定視差と差分を有する路面上の特徴点を抽出し、前記特徴点の複数フレーム間の視差の変化が前記車両の移動距離に相当すると判断した場合、前記特徴点を路上障害物と認識する。

本発明によれば、遠方の路上障害物の視差と路面の視差のノイズを区別することが可能となり、遠方の路上障害物を早期に検知することが可能となる。

上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

本発明のステレオカメラ装置の一実施形態のシステム構成図。 遠方の路上障害物と路面視差の関係を示す図であり、（ａ）は右カメラで撮影したときの画像例、（ｂ）は距離と路面視差の関係を示すグラフの模式図。 視差演算処理の説明図。 遠方の路上障害物の検知処理のフローチャート。 特徴点検出処理の模式図であり、（ａ）は第１フレーム画像（先に撮影した画像）における特徴点検出処理の模式図、（ｂ）は第２フレーム画像（後で撮影した画像）における特徴点検出処理の模式図。 路面が水平方向に傾斜している場合の画像例。 路面が水平方向に傾いている場合の特徴点抽出処理のフローチャート。 車両のピッチングに対応した、本発明のステレオカメラ装置の他例のシステム構成図。 車両のピッチングに対応した遠方の路上障害物の検知処理のフローチャート。 ハードウェア処理に適した特徴点ハード検出部の構成図。 路面上に標示がある場合の画像例。

以下、図面等を用いて、本発明の実施形態について説明する。

以下の説明は本発明の内容の具体例を示すものであり、本発明がこれらの説明に限定されるものではなく、本明細書に開示される技術的思想の範囲内において当業者による様々な変更および修正が可能である。また、本発明を説明するための全図において、同一の機能を有するものは、同一の符号を付け、その繰り返しの説明は省略する場合がある。

図１は、本発明のステレオカメラ装置10の一実施形態のブロック図を示したものである。ステレオカメラ装置10は、車両に搭載され、車外の障害物の認識を行うためのもので、CPU、ROM、RAM等を含むマイクロコンピュータを主体とした電子回路を内蔵しており、主に、撮影部20、視差演算部30、路面視差推定部40、特徴点検出部50、特徴点記録部60、移動距離視差補正部70、検知部80を備えている。

撮影部20は、所定の間隔をあけて配備された右カメラ22と左カメラ21の２つのカメラに接続される。撮影部20は、左右カメラ21、22が撮影したそれぞれの画像の輝度補正やノイズ除去、歪み補正を行う。視差演算部30は、左右カメラ画像（左右カメラ21、22で撮影した画像）を用いて、視差を計算する。路面視差推定部40は、当該ステレオカメラ10を搭載した車両が走行する走行レーンの路面視差を推定する。特徴点検出部50は、前記路面視差の中から、路面視差とは異なる部分の特徴点（画像中の路面推定視差と差分を有する路面上の特徴点）を検出する。特徴点記録部60は、前記特徴点の位置と視差を記録する。前記位置とは、画像上の座標ではなく、車両の進行方向に対する角度と距離、または緯度経度などの地形上の位置である。移動距離視差補正部70は、時間の経過によって車両が移動した場合に特徴点記録部60が記録した視差がどのように変化するかを推定して補正する。つまり、時間の経過によって車両が移動し、その移動距離によって前記特徴点は車両との距離が近づくため、その距離に応じた視差の変化量を計算して補正する。検知部80は、時間が異なる２つのフレーム画像の前記特徴点について、先に撮影された画像の前記特徴点の視差を移動距離視差補正部70で補正した視差と、後で撮影された画像の前記特徴点の視差（特に、前記特徴点の画像を後で撮影した画像とマッチング処理して一致した部分の視差）を比較し、その差分（比較値）が所定の範囲内であれば、前記特徴点の複数フレーム間の視差の変化が車両の移動距離に相当すると判断できるので、前記特徴点を路上障害物として検知する。車両が回避行動をとるために、この検知部80の検知結果（障害物検知情報）は車両のアクセル、ブレーキ、ステアリングなどの制御に使用される。

図２は、遠方の路上障害物と路面視差の関係を図示したものである。図２（ａ）は左車線200と右車線201の間の路面120の遠方に路上障害物300がある状態を右カメラ22で撮影したときの画像として示している。図２（ｂ）は距離と路面視差の関係を示すグラフの模式図である。図示するように、距離が遠方になるほど視差が小さくなる。従って、路上障害物300が100m程度の遠方にあると仮定すると、その地点（特徴点）は路面視差の変化が僅かである。従って、遠方の路上障害物300をノイズと区別して検知することが必要となる。

図３は、視差演算部30の視差演算処理を示したものである。右カメラ22が撮影した画像2210を基準画像とし、例えば8x8画素のような基準ブロック画像221を定義する。ブロック画像のサイズはこの例に限るものではない。一方、左カメラ21が撮影した画像2110の中で、前記基準ブロック画像221と同じ縦位置（Y座標）と横位置（X座標）を基準として、探索幅（例えば256画素）の参照画像212を選択する。その後、前記基準ブロック画像221と前記参照画像212との差分を計算する。この差分計算はSADと呼ばれ、次の式（１）の計算を行う。
（数１）

但し、Iは前記参照画像212の中の画像ブロック（例：8x8画素）、Tは前記基準ブロック画像221の画像データであり、i,jは画像ブロック内の座標である。１つの視差を算出するために、前記参照画像212の参照位置を１画素ずつずらしながら前記探索幅の分だけ演算を行い、最もSAD値が小さくなる位置211を探索する。

このようにして、画像全体で視差を求める。この視差dを用いて、三角測量の原理でステレオカメラ装置10までの距離を測定することが出来る。視差dから距離Zは次の式（２）で求められる。
（数２）
Z = (f × B) / (d × a) ・・・・・・・・・・・・・・（２）
但し、fは右及び左カメラ22、21の焦点距離、Bは右カメラ22と左カメラ21の距離（基線長）、aは左カメラ21の１画素の横方向のサイズである。

図４は、ステレオカメラ装置10による、遠方の路上障害物300を検知するための動作フローを示したものである。

まずはじめに、左カメラ21と右カメラ22で画像を撮影する。この画像を撮影部20にて第１フレーム画像とする（S100）。次に、第１フレーム画像の全体の視差を視差演算部30で生成する（S110）。その視差から路面部分の視差を抽出し、画像のY方向の１画素単位で路面の視差を路面視差推定部40で推定する。路面の視差の推定方法としては、例えば路面が水平なら左車線200または右車線201の視差を選択する（S120）。次に、特徴点検出部50で路面上の特徴点を検出する。この部分の処理は図５を用いて説明する。図５（ａ）の第１フレーム画像において、路面の範囲の視差データをラスタ方向（つまり、横方向）にスキャンしながら路面推定視差と差分が有る部分を特徴点として抽出する。図５（ａ）ではラスタ301、ラスタ302、ラスタ303の３行をスキャンする例を示している。ラスタ301の路面視差が2.0と推定されていると仮定したとき、ラスタ301の路面上の視差を見ると、特徴点400、特徴点401、特徴点402の位置の視差が2.1となっており、路面推定視差2.0と異なっているため、これらの位置と視差値を記録する（S130）。

次に、左カメラ21と右カメラ22で画像を撮影して撮影部20にて第２フレーム画像とする（S140）。２つのフレーム画像の間隔は、特徴点が画像上の１ラスタ以上移動する間隔であることが望ましい。第２フレーム画像の全体の視差を視差演算部30で生成する（S150）。次に、S130で記録した特徴点を第２フレーム画像で（マッチング処理により）追跡し、一致した部分の視差をAとして抽出して分析する。この抽出方法は図５（ｂ）で説明する。図５（ｂ）の第２フレーム画像では、図５（ａ）の画像を撮影した時から時間が経過しているため、路上障害物300が車両に近づいている。そうすると路上障害物300が画像の下方向に移動する。この現象は、車両前方の画像が透視投影された画像になっていることに基づくものである。透視投影では車両に近づく物体は消失点から遠くなる。図５（ａ）、（ｂ）の例では消失点は路面の最遠方であり、消失点よりも画像の下方になるほど消失点から遠い（車両に近い）路面である。路面上の物体が車両に近づくと路面の消失点から遠ざかるために画像の下の方に移動する。この図５（ｂ）の例ではラスタ302の位置に移動したものとする。ラスタ302の路面上の視差を路面推定視差の2.1と比較していくと、特徴点400の部分は路面視差と同じであり、視差のノイズであった可能性が高い。一方、特徴点401と特徴点402は視差が2.2となっており、路面推定視差2.1と差分が有る部分として抽出する（S160）。次に、移動距離視差補正部70において、２つのフレーム間で車両が移動した距離を車両信号を用いて算出する。前記の式（２）により、視差dと距離Zは一意的な関係であるので、この式（２）の応用によりその車両の移動距離に相当する視差の変化量を求めることができる。

その移動距離に相当する視差の変化量を、第１フレームで抽出した特徴点401と402の視差の2.1に加算（加味）する。車両の移動距離に対する視差の変化量は、式（２）の変形により計算できる。その結果をBとする（S170）。次に、検知部80で、前記Aと前記Bを比較して、その差分が所定値以内であるか否かを判定する（S180）。仮にその差分が所定値以内であれば、前記特徴点401と402の複数フレーム間の視差の変化が車両の移動距離に相当すると判断できるので、前記特徴点401と402を路上障害物と判定する（S190）。

つまり、以上の方法では、特徴点の視差が車両の移動に合わせて画像上の座標と視差が変化する（換言すれば、特徴点の複数フレーム間の視差の変化が車両の移動距離に相当する）ことで路上障害物であると判定する。ノイズの場合はこのような条件で変化することは極めて稀であり、この方法では、ノイズを間違って路上障害物として検知することを防止できる。

［路面が水平方向に傾斜している場合の処理例］
図６は、路面120が左右（水平方向）で傾いている場合の画像例を示したものである。路面120が左右に傾きがある場合は、路面内のラスタ上の両端の路面推定視差が異なり、路面推定視差が１つのラスタに１つの視差では定義できない。そのための特徴点の抽出方法を図７で示す。

図７は、路面120が水平方向に傾いている場合の特徴点抽出処理の動作フローである。この抽出処理は、特徴点検出部50（図１参照）で処理される。

まず、画像の同一ラスタ上の左右の車線部分の２点の視差を抽出する（S200）。次に、その２点間の画素数を求め、その左側の点の視差（一端側の視差）と右側の点の視差（他端側の視差）の差分を求め、その結果を前記画素数で割る。これにより、ラスタの最小画素単位の視差の変化分を算出する（S210）。次に、路面推定視差は、左点の視差（一端側の視差）＋（S210の結果（前記変化分）×左点からの画素数）として、画素単位で視差を計算する（S220）。上記の路面推定視差をラスタの右方向のスキャンに合わせて更新し、路面推定視差と異なる路面部分を特徴点として抽出する（S230）。

以上の方法では、路面が左右に傾いていても路面推定視差を画素単位で算出できるため、高精度に特徴点を検知できる。

［車両のピッチングに対応したステレオカメラ装置の例］
図８は、車両のピッチングに対応した、本発明のステレオカメラ装置の他例のブロック図を示したものであり、複数フレーム画像の撮影中に車両が振動して画像にブレが発生した場合の特徴点の追跡方法を示すブロック図である。図１との違いは、特徴点画像マッチング部90を持つ部分である。特徴点画像マッチング部90は、第１フレーム画像で検知した特徴点の周囲画像を第２フレーム画像内でマッチング処理を行い、第２フレーム画像内での特徴点の座標を特定する。

図９は、特徴点画像マッチング部90を用いたステレオカメラ装置10による、路上障害物300の検知処理フローを示したものである。

まずはじめに、左カメラ21と右カメラ22で画像を撮影する。この画像を撮影部20にて第１フレーム画像とする（S300）。次に、第１フレーム画像の全体の視差を視差演算部30で生成する（S310）。その視差から路面部分の視差を抽出し、画像のY方向の１画素単位で路面の視差を路面視差推定部40で推定する（S320）。次に、特徴点検出部50で路面上の特徴点を検出し、その視差値と周囲画像を切り出して記録する（S330）。

次に、左カメラ21と右カメラ22で画像を撮影して撮影部20にて第２フレーム画像とする（S340）。第２フレーム画像の全体の視差を視差演算部30で生成する（S350）。次に、特徴点画像マッチング部90において、第１フレーム画像で抽出した特徴点の周囲画像と第２フレーム画像をマッチング処理して、第２フレーム画像上の特徴点の座標を検知する（S360）。次に、S360で検知した第２フレーム画像の特徴点の視差をAとして抽出する（S370）。次に、移動距離視差補正部70において、２つのフレーム間で車両が移動した距離を算出し、その車両の移動距離に相当する視差を第１フレーム画像で抽出した特徴点に加算（加味）する。その結果をBとする（S380）。次に、検知部80で、前記Aと前記Bを比較して、その差分が所定値以内であるか否かを判定する（S390）。仮にその差分が所定値以内であれば、前記特徴点を路上障害物と判定する（S400）。

つまり、以上の方法では、特徴点部分の画像を複数フレーム間でマッチング処理するため、画像のブレが発生しても特徴点の精緻な追跡が可能となる。

［ハードウェア処理に適した構成例］
図１０は、特徴点を検出する機能（図１の特徴点検出部50の機能）と路面内の視差を生成する機能（図１の路面視差推定部40の機能）をハードウェアで並列に処理して高速処理が可能となるようにした特徴点ハード検出部51の構成図を示したものである。

視差演算部30は撮影部20が撮影した画像の各画素について視差を算出する。そのために視差演算部30は、１画素ずつ視差を求める処理を行う１画素視差演算部350と、その処理を画像全体で繰り返すための座標を生成する座標更新部351を持つ。

一方、特徴点ハード検出部51は、１画素視差演算部350が視差を生成するごとに、その視差が特徴点であるか否かを判定する。そのために特徴点ハード検出部51は、路面の左右両端の推定視差とその座標を記憶する手段である左車線座標レジスタ360、右車線座標レジスタ362、及び路面推定視差レジスタ364と、算出された路面上の視差を路面の推定視差と比較し、所定の差分を持つ視差とその座標を出力する手段である比較器361、363、365、及び特徴点選択部366を持つ。左車線座標レジスタ360は、画像のラスタ単位に左車線200のX座標がソフトウェアによって、処理開始前に設定・記憶される。右車線座標レジスタ362は、画像のラスタ単位に右車線201のX座標がソフトウェアによって、処理開始前に設定・記憶される。路面推定視差レジスタ364は、画像のラスタ単位に路面推定視差がソフトウェアによって設定・記憶される。このような状態で１画素視差演算部350は画像中の視差を演算する。その時の画像のX座標が比較器361で左車線座標レジスタ360の当該ラスタのX座標値と比較され、その比較結果（つまり、所定の差分を持つ座標）が特徴点選択部366に送られる。また同時にX座標が比較器363で右車線座標レジスタ362の当該ラスタのX座標値と比較され、その比較結果（つまり、所定の差分を持つ座標）が特徴点選択部366に送られる。視差データは路面推定視差レジスタ364のデータと比較器365で比較され、その比較結果（つまり、所定の差分を持つ視差）が特徴点選択部366に送られる。特徴点選択部366は、比較器361の出力がレジスタ値≦X座標であること、比較器363の出力がレジスタ値≧X座標であること、比較器365の結果が路面推定視差≠視差であることの条件が揃った時に、その時の座標値と視差データを特徴点記録部60に送る。

以上の構成により、視差推定と特徴点検出処理を並列に処理するため、高速処理が可能となる。

［路面上に標示がある場合の処理例］
図１１は、路面上に標示がある場合の画像例を示したものである。ステレオカメラ装置10の視差演算では、図３に示すように左右カメラ画像のマッチング処理を行っている。そのためには画像のテクスチャが必要であり、路面のようにテクスチャが少ない部分は視差が演算できず、無効視差となる場合もある。しかし、路面標示がある部分は有効視差を得やすくなる。そこで、路上に視差が存在する場合は、路上障害物だけでなく、路面標示である可能性もある。その視差が存在する部分の画像310を路面標示のテクスチャと画像マッチングして路上標示の認識を行えば、画像マッチングの処理領域が限定されるので、処理の高速化を図ることができる。

更に、前記画像310の部分の視差を複数フレーム間で追跡して、車両の移動距離に応じた視差の変化分が確認できれば、前記画像310部分の視差がノイズと区別できる。

以上で説明したように、本実施形態によれば、画像中の路面の推定視差と差分を有する路面上の特徴点の複数フレーム間の視差の変化が車両の移動距離に相当すると判断した場合、その特徴点を路上障害物と認識するので、遠方の路上障害物の視差と路面の視差のノイズを区別することが可能となり、遠方の路上障害物を早期に検知することが可能となる。

なお、本発明は上記した実施形態に限定されるものではなく、様々な変形形態が含まれる。例えば、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の記憶装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。

また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

10 ステレオカメラ装置
20 撮影部
21 左カメラ
22 右カメラ
30 視差演算部
40 路面視差推定部
50 特徴点検出部
51 特徴点ハード検出部
60 特徴点記録部
70 移動距離視差補正部
80 検知部
90 特徴点画像マッチング部
120 路面
200 左車線
201 右車線
300 路上障害物
350 １画素視差演算部
351 座標更新部
360 左車線座標レジスタ
361 比較器
362 右車線座標レジスタ
363 比較器
364 路面推定視差レジスタ
365 比較器
366 特徴点選択部

Claims (7)

1. 車両に搭載された複数のカメラで撮影された画像から路上障害物を認識するステレオカメラ装置であって、
   前記複数のカメラの画像から視差を計算し、
   前記複数のカメラの画像から計算した視差１つの領域の大きさと同一の領域の大きさを有するとともに前記画像中の路面の推定視差と差分を有する路面上の特徴点を抽出し、
   前記特徴点の複数フレーム間の視差の変化が前記車両の移動距離に相当すると判断した場合、前記特徴点を路上障害物と認識することを特徴とするステレオカメラ装置。
2. 先に撮影した画像の前記特徴点の視差を前記車両の移動距離で補正し、
   その補正された視差と、前記特徴点の画像を後で撮影した画像とマッチング処理して一致した部分の視差とを比較し、その差分が所定の範囲内であるときに、前記特徴点を路上障害物と判断することを特徴とする請求項１に記載のステレオカメラ装置。
3. 先に撮影した画像の前記特徴点の周囲画像を後で撮影した画像内でマッチング処理して、後で撮影した画像内での前記特徴点の座標を特定することを特徴とする請求項２に記載のステレオカメラ装置。
4. 前記画像中の前記路面内のラスタ上の両端の視差が異なる場合、
   前記ラスタの最小画素単位の視差の変化分を算出し、
   前記変化分と前記路面内のラスタの一端からの画素数で前記路面の推定視差を算出することを特徴とする請求項１に記載のステレオカメラ装置。
5. 前記ステレオカメラ装置は、
   前記路面の左右両端の推定視差とその座標を記憶する手段と、
   算出された路面上の視差を前記路面の推定視差と比較し、所定の差分を持つ視差とその座標を出力する手段とを持つことを特徴とする請求項１に記載のステレオカメラ装置。
6. 車両に搭載された複数のカメラで撮影された画像から路上障害物を認識するステレオカメラ装置であって、
   前記複数のカメラの画像から視差を計算する視差演算部と、
   前記画像中の路面の視差を推定する路面視差推定部と、
   前記複数のカメラの画像から計算した視差１つの領域の大きさと同一の領域の大きさを有するとともに前記路面の推定視差と差分を有する路面上の特徴点を検出する特徴点検出部と、
   前記特徴点の複数フレーム間の視差の変化が前記車両の移動距離に相当すると判断した場合、前記特徴点を路上障害物と認識する検知部と、備えることを特徴とするステレオカメラ装置。
7. 前記特徴点の視差を前記車両の移動距離で補正する移動距離視差補正部を更に備え、
   前記検知部は、先に撮影した画像の前記特徴点の視差を前記移動距離視差補正部で補正した視差と、前記特徴点の画像を後で撮影した画像とマッチング処理して一致した部分の視差とを比較し、その差分が所定の範囲内であるときに、前記特徴点を路上障害物と判断することを特徴とする請求項６に記載のステレオカメラ装置。

Images