JP3562751B2

JP3562751B2 - 前方車両検出方法及び装置

Info

Publication number: JP3562751B2
Application number: JP16095398A
Authority: JP
Inventors: 直人石川; 一幸佐々木; 真人中島; 宣浩綱島
Original assignee: Yazaki Corp
Current assignee: Yazaki Corp
Priority date: 1998-06-09
Filing date: 1998-06-09
Publication date: 2004-09-08
Anticipated expiration: 2018-06-09
Also published as: JPH11351862A

Description

【０００１】
【発明の属する技術分野】
本発明は前方車両検出方法及び装置に係り、特に、左カメラを用いて収集した左画像と右カメラを用いて収集した右画像とを用いてステレオ式の画像処理を行い、前方を走行している車両を検出して自車両との距離を測定し、例えば危険な場合に警報を発生するなどのために適用される前方車両検出方法及び装置に関するものである。
【０００２】
【従来の技術】
従来、自車両前方の視界の画像をＣＣＤ撮像素子により取得し、その前方視界の画像から自車線内前方を走行する車両を検出して前方車両との車両距離を算出する方法として、水平方向に並べた２つのカメラ（ステレオカメラ）によって得た左右２枚の画像から物体の視差を求めて３次元位置を算出し、自車両の走行車線と検出物体との位置関係から自車線内の車両を検出して自車両との車間距離を求める方法がある。
【０００３】
具体的には、図４の処理フローに示すように、先ず右カメラの画像及び左カメラの画像を同期して取り込み、右カメラの画像については所定のオペレータを用いて微分画像を求め（Ｓ１０１）、所定のしきい値で２値化してエッジ抽出を行い、エッジ画像を作成する（Ｓ１０２）。次に、作成したエッジ画像のエッジ点をＨｏｕｇｈ変換することにより左右車線候補を抽出し、これらの左右車線候補の組み合わせから所定の条件に最も近いものを左右車線として決定する（Ｓ１０３）。左右車線の判定条件としては、右車線と左車線の間隔（道路幅）や、右車線と左車線の交差する角度などが挙げられる。次に、上述のようにして求めたエッジ画像に対し上述のようにして求めた左右車線の各々を中心とした特定領域を定め（図５の車線部分）、特定領域内のエッジ点と特定領域外のエッジ点とに分ける（Ｓ１０４）。
【０００４】
特定領域内の各エッジ点について右カメラの画像の対応点探索を行い視差を求め、カメラの設置パラメータなどから決まる所定の計算式及び求めた視差から左右車線の３次元位置を算出する（Ｓ１０５）。一方、特定領域外の各エッジ点について右カメラの画像の対応点探索を行い視差を求め、カメラ設置パラメータなどから決まる所定の計算式及び求めた視差から車線以外の物体の３次元位置を算出する（ステップＳ１０６）。以上により求めた左右車線の３次元位置と物体の３次元位置から、自車線内の物体（前方車両）の存在や、物体（前方車両）までの車間距離を検出する（Ｓ１０７）。
【０００５】
【発明が解決しようとする課題】
以上説明した従来技術においては、初めに車線及び物体の３次元位置を求め、自車線内にある物体を検出して車間距離を求めるものである。すなわち、ステップＳ１０５びＳ１０６において、全エッジ点について３次元位置の計算を行っているので、非常に計算量が多く、処理時間の低下やコストアップにつながるという問題があった。
【０００６】
よって、本発明は、上述した従来技術の問題点を解消し、自車両前方の車両の検出或いは検出した前方車両との車間距離の算出に当たって、画像認識の計算量を少なくした前方車両検出方法及び装置を提供することを課題としている。
【０００７】
【課題を解決するための手段】
上記課題を解決するためなされた請求項１記載の発明は、左カメラを用いて収集した左原画像と右カメラを用いて収集した右原画像とを用いてステレオ式の画像処理を行い前方を走行している車両を検出し、該検出した車両までの距離を測定する前方車両検出方法において、前記左右カメラの一方により収集した原画像を処理してエッジ画像を作成し、該エッジ画像中のエッジ点の対応点を前記他方のカメラにより収集した原画像から探索して視差値を輝度値として表した視差画像を作成し、該視差画像から路面と同じ高さにある物体を除去した後、前記視差画像の縦軸方向に視差値の頻度を求め、縦軸を視差値として前記求めた頻度を輝度値で表した第１の投影視差画像を作成し、該第１の投影視差画像中から横軸に平行な線分を抽出して車両を検出し、前記視差画像から路面より上にある物体を除去した後、前記視差画像の縦軸方向に視差値の頻度を求め、縦軸を視差値として前記求めた頻度を輝度値で表した第２の投影視差画像を作成し、該第２の投影視差画像中から検出した白線に基づいて自車線領域を決定し、該自車線領域内に前記検出した車両が存在するとき、該検出した車両までの距離を測定することを特徴とする前方車両検出方法に存する。
【０００８】
請求項１記載の手順によれば、前方を走行している車両を検出して車両までの距離を測定するに当たって、一方のカメラにより収集した原画像を処理して作成したエッジ画像中のエッジ点の対応点を他方のカメラにより収集した原画像から探索して視差値を輝度値として表した視差画像を作成し、この作成した視差画像から路面と同じ高さにある物体を除去した後、視差画像の縦軸方向に視差値の頻度を求め、縦軸を視差値として求めた頻度を輝度値で表した第１の投影視差画像を作成し、この第１の投影視差画像中から横軸に平行な線分を抽出して車両を検出し、視差画像から路面より上にある物体を除去した後、視差画像の縦軸方向に視差値の頻度を求め、縦軸を視差値として前記求めた頻度を輝度値で表した第２の投影視差画像を作成し、第２の投影視差画像中から検出した白線に基づいて自車線領域を決定し、この自車線領域内に検出した車両が存在するとき、この検出した車両までの距離を測定しているので、車両までの距離を測定するとき以外、一切、物体の３次元位置を求める画像処理が不要となっている。
【０００９】
請求項２記載の発明は、請求項１記載の前方車両検出方法において、路面と同じ高さにある物体を除去した後の前記視差画像中に左右に同じ輝度値を有する画素があるとき、当該左右画素間の画素に前記輝度値を代入して補間視差画像を作成し、該補間視差画像に基づいて前記第１の投影視差画像を作成することを特徴とする前方車両検出方法に存する。
【００１０】
請求項２記載の手順によれば、視差画像中に左右に同じ輝度値を有する画素があるとき、当該左右画素間の画素に輝度値を代入して補間視差画像を作成し、この補間視差画像に基づいて第１の投影視差画像を作成しているので、前方車両が背面構造のほとんどない車両であって車両の両側にしかエッジが検出されないものであっても、補間視差画像を使用して投影視差画像を作成することによって、投影視差画像中から横軸に平行な線分を抽出して車両を検出することができる。
【００１１】
請求項３記載の発明は、請求項１又は２記載の前方車両検出方法において、前記路面を距離に応じた複数のゾーンに分割し、該分割したゾーン毎に前記第２の投影視差画像中から前記白線の検出を行うことを特徴とする前方車両検出方法に存する。
【００１２】
請求項３記載の手順によれば、路面を距離に応じた複数のゾーンに分割し、この分割したゾーン毎に第２の投影視差画像中から白線の検出を行うので、検出した車両位置に応じた白線を認識すればよく、またカーブしている白線でもゾーン毎に直線近似することができる。
【００１３】
請求項４記載の発明は、左カメラを用いて収集した左原画像と右カメラを用いて収集した右原画像とを用いてステレオ式の画像処理を行い前方を走行している車両を検出する前方車両検出装置において、前記左右カメラの一方により収集した原画像を処理してエッジ画像を作成し、該エッジ画像中のエッジ点の対応点を前記他方のカメラにより収集した原画像から探索して視差値を輝度値として表した視差画像を作成し、該視差画像から路面と同じ高さにある物体を除去した後、前記視差画像の縦軸方向に視差値の頻度を求め、縦軸を視差値として前記求めた頻度を輝度値で表した第１の投影視差画像を作成し、前記視差画像から路面より上にある物体を除去した後、前記視差画像の縦軸方向に視差値の頻度を求め、縦軸を視差値として前記求めた頻度を輝度値で表した第２の投影視差画像を作成し、前記第１の投影視差画像中から横軸に平行な線分を抽出して車両を検出し、前記第２の投影視差画像中から検出した白線に基づいて自車線領域を決定する画像処理手段を備え、該自車線領域内に前記検出した車両が存在するとき、該検出した車両までの距離を測定することを特徴とする前方車両検出装置に存する。
【００１４】
請求項４記載の構成によれば、前方を走行している車両を検出するに当たって、画像処理手段は、一方のカメラにより収集した原画像を処理して作成したエッジ画像中のエッジ点の対応点を他方のカメラにより収集した原画像から探索して視差値を輝度値として表した視差画像を作成し、この作成した視差画像から路面と同じ高さにある物体を除去した後、視差画像の縦軸方向に視差値の頻度を求め、縦軸を視差値として求めた頻度を輝度値で表した第１の投影視差画像を作成し、この第１の投影視差画像中から横軸に平行な線分を抽出して車両を検出し、視差画像から路面より上にある物体を除去した後、視差画像の縦軸方向に視差値の頻度を求め、縦軸を視差値として前記求めた頻度を輝度値で表した第２の投影視差画像を作成し、第２の投影視差画像中から検出した白線に基づいて自車線領域を決定し、この自車線領域内に検出した車両が存在するとき、この検出した車両までの距離を測定しているので、画像処理手段は車両までの距離を測定するとき以外、一切、物体の３次元位置を求める画像処理が不要となっている。
【００１７】
【発明の実施の形態】
以下、本発明の一実施の形態を図面に基づいて説明する。図１は本発明に係る前方車両検出方法及び装置を適用した前方車両監視装置の実施の形態を示し、同図において、１０は各々が電荷結合素子を用いて構成されたＣＣＤカメラ、左カメラ１０ａ及び右カメラ１０ｂを有し車両前方の設定範囲内を対象として撮像するステレオ光学系であり、これらは例えば車室内の天井前方に一定の間隔をもって取り付けられる。２０ａ及び２０ｂはステレオ光学系１０の左カメラ１０ａ及び右カメラ１０ｂでそれぞれ撮像して得た左原画像及び右原画像をそれぞれ一時的に記憶する画像メモリ、３０は前方車両を検出して前方車両との車間距離を算出するため画像メモリ２０ａ及び２０ｂに記憶した原画像を処理する画像処理部、４０は画像処理部３０での処理の結果により危険ありと判断したとき警報を発する警報部である。
【００１８】
上記画像処理部３０が前方車両を検出して前方車両との車間距離、すなわち検出した車両からの距離を算出するため行う処理を、図２の処理フローを参照して以下詳細に説明する。画像処理部３０はまず、同期して取り込まれ画像メモリ２０ａ及び２０ｂに記憶された左カメラの左原画像及び右カメラの右原画像のうちの一方、例えば右カメラの原画像に基づいて、所定のオペレータを用いて微分画像を求め（ステップ２０１）、エッジ点を抽出する。例えば、下式（１）に示すような１次元オペレータを用いて１ライン上の画素を順次処理してエッジを検出する。
Ｆ＝［−１，−１，−１，０，１，１，１］ …（１）
【００１９】
また、上記オペレータを用い画像（Ｉｍａｇｅ）中の各画素について、下式（２）によりエッジ度（Ｅ）を計算する。

【００２０】
なお、式（１）及び式（２）の関係を若干説明すると、式（２）の右辺中Ｆ（ｉ＋３）は、式（１）の右辺中の配列の左から（ｉ＋３）番目の数値を示したもので、例えば、ｉ＝−３のときにはＦ（ｉ＋３）はＦ（０）となり、式（１）の配列の左から０番目、すなわち−１を示している。このときＦ（ｉ＋３）＝−１となる。また、ｉ＝２のときはＦ（ｉ＋３）はＦ（５）で、式（１）の配列の左から５番目、すなわち１を意味する。このときＦ（ｉ＋３）＝１となる。従って、式（２）は展開すると、以下のようになる。
Ｅ＝｜−Ｉｍａｇｅ（ｘ−３，ｙ）−Ｉｍａｇｅ（ｘ−２，ｙ）−Ｉｍａｇｅ（ｘ−１，ｙ）＋Ｉｍａｇｅ（ｘ＋１，ｙ）＋Ｉｍａｇｅ（ｘ＋２，ｙ）＋Ｉｍａｇｅ（ｘ＋３，ｙ）｜
【００２１】
上式（２）では、参照画素の両側の輝度差が大きいほどＥの値が大きくなる。そして、このようにして求めたエッジ度に関して、ｘ軸方向に関する最大値処理及びしきい値処理によりエッジを決定する。右カメラ原画像中の全画素について同様の処理を行うことにより例えば図３（ａ）に示すようなエッジ画像を作成する（Ｓ２０２）。
【００２２】
次に、作成したエッジ画像の対応点を探索する（Ｓ２０３）。対応点探索には、例えばＳＳＤ（ＳｕｍｏｆＳｑｕａｒｅｄＤｉｆｆｅｒｅｎｃｅ）法が適用できる。エッジ間の類似度Ｒをエッジと同一位置の原画像周辺の輝度の２乗誤差により求める。

【００２３】
なお、上式（３）中のＷは参照領域の大きさ、Ｉｍａｇｅ_ｒは右原画像、Ｉｍａｇｅ_ｌは左原画像、ｄ_ｒは右原画像中の各画素の左原画像に対する移動量を表す。Ｒ（ｄ_ｒ）が最も小さくなるｄ_ｒを視差とする。すなわち、視差ｄ＝ｍｉｎ［Ｒ（ｄ_ｒ）］となる。この操作を右原画像中の全てのエッジ点に対して行い、例えば図３（ｂ）に示すような視差画像を作成する（Ｓ２０４）。視差画像とは、ｘ−ｙ座標系で表現されているエッジ画像において視差値を輝度値として表したもので、図には現れていないが、一般に、手前の物体に相当する下部が明るく、後方の物体に相当する上部が暗くなる。
【００２４】
作成した視差画像には白線などの前方車両ではない情報が多く含まれており、そのような余分な情報を視差画像から除去する（Ｓ２０５）。原画像中に撮像されている路面までの距離（視差）は下式（４）で表される。
ｄ＝Ａ・ｙ＋Ｂ・ｘ＋Ｃ …（４）
上式（４）の路面パラメータＡ，Ｂ，Ｃは、路面に対するカメラの設置パラメータから定まるものである。この路面パラメータを基に視差画像から路面と同じ高さにある物体を除去する。このことによって、例えば図３（ｃ）に示すような視差画像が得られる。
【００２５】
次に、作成した視差画像を用い、補間視差画像を作成する（Ｓ２０６）。車両によっては、検出されるエッジが非常に少ない場合がある。特に、背面構造のほとんどない車両からは車両の両側にしかエッジが検出されない。そこで、作成した視差画像中の車両領域を補間する。まず、視差画像中の値を持っていない画素、すなわち、図３（ｃ）の視差画像の輪郭線内側の画素について、左右に同じ値を持っている画素を探索する。探索した結果、左右に同じ値を持っている画素が検出された場合、参照画素に検出した画素の視差値を代入する。左右に異なった値を持つ画素が検出された場合は値を代入しない。これは、車両が視差画像中では同じ値を持つ物体点の集合であると考えられるからである。この処理を視差画像中の値を持っていない画素全てに行う。このようにして作成した画像を補間視差画像（図示せず）と呼ぶことにする。
【００２６】
次に、補間視差画像から投影視差画像を作成する（Ｓ２０７）。これは、ｘ−ｙ座標系で表現されている補間視差画像をｙ軸に関して投影し、ｘ−ｄ座標系に変換することで行う。具体的には、まず、各ｘについてｙ軸方向に視差値ｄの頻度を求める。例えば、座標（ｘ_１，ｙ_１）、（ｘ_１，ｙ_１＋１）、（ｘ_１，ｙ_１＋２）…（ｘ_１，ｙ_１＋ｎ）の各々の視差値の頻度を求める。次に、横軸をｘ座標、縦軸を視差値ｄとして、求めた視差値の頻度を輝度値で表した投影視差画像を作成する。なお、この時のｄ軸は視差の大きさを表す軸である。このように画像を変換することにより、ステレオ画像処理によって得られた３次元空間を上部から投影することができる。このようにして変換した画像を以降、投影視差画像と呼ぶ。
【００２７】
この処理を画像中に車両が撮像されている画像に適用した場合、図３（ｄ）のように変換される。車両の距離（視差）は画像中では同じ値を持つので、この変換により車両から発生した視差はｘ軸に平行な線分上に変換される。また、白線や路側の壁などからのエッジの視差は、ある傾きを持った直線（曲線）に変換される。したがって、ｘ軸に平行な線分を抽出することにより車両を検出することができる。また、抽出した線分のｄ座標により、車両までの距離を測定することができる。
【００２８】
次に、自車線領域を決定する（Ｓ２０８）。距離測定を行わなければならないのは自車線前方の車両のみであり、自車両に対して近距離に前方車両がある場合、遠方まで車線認識を行う必要はない。逆に、遠方に前方車両がある場合、遠方までの車線認識を行う必要がある。本手法では、車線を求める際に、路面を距離に応じたゾーンに分けて処理を行う。そこで、路面を距離に応じた分割ゾーンを形成し、各ゾーンで直線近似することにより白線を検出する。
【００２９】
まず、カメラの設置パラメータなどから求まる路面パラメータを用いた上式（３）を用い、図３（ｂ）の視差画像から路面より上にあるエッジを消去することにより、図３（ｅ）に示すような路面表示によるエッジのみを取得する。次に、Ｈｏｕｇｈ変換により直線近似を行う。しかし、路面には白線以外にも影や汚れ、また行き先表示等がある。そこで、Ｈｏｕｇｈ変換による直線検出法を用いる場合、そのような構造物から発生するエッジからも直線を抽出してしまう。そこで、Ｈｏｕｇｈ変換により１本の直線を抽出するのではなく、図５について上述した従来例と同様に、左右の白線についてそれぞれ複数の直線を白線の候補として抽出しておく。
【００３０】
次に、抽出した左右白線の候補から最適な組み合わせを探す。組み合わせの決定には、例えば白線間隔を用いる。画面上に投影されている白線間の幅は路面までの距離と路面パラメータから求めることができる。白線の組み合わせのうち、最適値に最も近い幅をもつ直線の組み合わせを白線として決定する。
【００３１】
なお、車線前方がカーブしている場合、白線を１本の直線として近似することはできないが、曲線を短い直線集合と考えれば、短い区間ではカーブしている白線も直線として近似できる。
【００３２】
ゾーン内で白線認識を行った後、ｘ−ｙ座標系で表現されている白線をｘ−ｄ座標系に変換する。次に、上記変換の結果得られる図３（ｆ）のような投影視差画像上での自車線領域を白線を基に決定し、その領域内で車両の検出処理を行う。すなわち、図３（ｇ）に示すように投影視差画像上に投影した左右白線内側に、車両と思われるｘ軸、すなわち横軸に平行な線分が存在するか否かを判定する。そして、そのゾーン内で車両が発見されない場合は次のゾーンの白線認識を行い、そのゾーン内で車両検出処理を行う（Ｓ２０９）。この処理を車両が発見されるか、もしくは最長探索距離になるまで繰り返す（Ｓ２１０）。
【００３３】
本発明では、投影視差画像を作成することにより、３次元計算を行わずに自車線内の物体を検出し、その物体についてのみ３次元計算を行って自車線内前方車両との車間距離を求めるので、計算量が非常に少なくてすむので、処理の高速化やコストダウンにつながる。
【００３４】
なお、上述の実施の形態では、補間視差画像を作成してから投影視差画像を作成するようにしているが、十分に太いエッジによって形成されたエッジ画像が作成されるようになっていれば、この補間視差画像を作成せず、視差画像から直接投影視差画像を作成するようにすることもできる。
【００３５】
【発明の効果】
以上説明したように請求項１記載の発明によれば、前方を走行している車両を検出して車両までの距離を測定するに当たって、車両までの距離を測定するとき以外、一切、物体の３次元位置を求める画像処理が不要となっているので、画像認識の計算量を少なくて済み、処理の高速化やコストダウンできる前方車両検出方法を得ることができる。
【００３６】
また、請求項２記載の発明によれば、前方車両が背面構造のほとんどない車両であって車両の両側にしかエッジが検出されないものであっても、補間視差画像を使用して第１の投影視差画像を作成することによって、第１の投影視差画像中から横軸に平行な線分を抽出して車両を検出することができるようになるので、処理の高速化やコストダウンできる前方車両検出方法を得ることができる。
【００３７】
また、請求項３記載の発明によれば、路面を距離に応じた複数のゾーンに分割し、この分割したゾーン毎に白線の検出を行うので、検出した車両位置に応じた白線を認識すればよく、またカーブしている白線でもゾーン毎に直線近似することができる前方車両検出方法を得ることができる。
【００３８】
また、請求項４記載の発明によれば、前方を走行している車両を検出して車両までの距離を測定するに当たって、車両までの距離を測定するとき以外、一切、物体の３次元位置を求める画像処理が不要となっているので、画像認識の計算量を少なくて済み、処理の高速化やコストダウンできる前方車両検出装置を得ることができる。
【図面の簡単な説明】
【図１】本発明に係る前方車両検出方法及び装置を適用した前方車両監視装置の一実施の形態を示す図である。
【図２】図１中の画像処理部が行う処理を示す処理フローを示す図である。
【図３】図１中の画像処理部による処理によって作成される各種の画像を示す図である。
【図４】従来の画像処理フローを示す図である。
【図５】従来の車線の求め方を説明するための説明図である。
【符号の説明】
１０ａ左カメラ
１０ｂ右カメラ
３０画像処理手段（画像処理部）

Claims

左カメラを用いて収集した左原画像と右カメラを用いて収集した右原画像とを用いてステレオ式の画像処理を行い前方を走行している車両を検出し、該検出した車両までの距離を測定する前方車両検出方法において、
前記左右カメラの一方により収集した原画像を処理してエッジ画像を作成し、該エッジ画像中のエッジ点の対応点を前記他方のカメラにより収集した原画像から探索して視差値を輝度値として表した視差画像を作成し、
該視差画像から路面と同じ高さにある物体を除去した後、前記視差画像の縦軸方向に視差値の頻度を求め、縦軸を視差値として前記求めた頻度を輝度値で表した第１の投影視差画像を作成し、
該第１の投影視差画像中から横軸に平行な線分を抽出して車両を検出し、
前記視差画像から路面より上にある物体を除去した後、前記視差画像の縦軸方向に視差値の頻度を求め、縦軸を視差値として前記求めた頻度を輝度値で表した第２の投影視差画像を作成し、
該第２の投影視差画像中から検出した白線に基づいて自車線領域を決定し、
該自車線領域内に前記検出した車両が存在するとき、該検出した車両までの距離を測定する
ことを特徴とする前方車両検出方法。
路面と同じ高さにある物体を除去した後の前記視差画像中に左右に同じ輝度値を有する画素があるとき、当該左右画素間の画素に前記輝度値を代入して補間視差画像を作成し、
該補間視差画像に基づいて前記第１の投影視差画像を作成する
ことを特徴とする請求項１記載の前方車両検出方法。
前記路面を距離に応じた複数のゾーンに分割し、該分割したゾーン毎に前記第２の投影視差画像中から前記白線の検出を行う
ことを特徴とする請求項１又は２項記載の前方車両検出方法。
左カメラを用いて収集した左原画像と右カメラを用いて収集した右原画像とを用いてステレオ式の画像処理を行い前方を走行している車両を検出する前方車両検出装置において、
前記左右カメラの一方により収集した原画像を処理してエッジ画像を作成し、該エッジ画像中のエッジ点の対応点を前記他方のカメラにより収集した原画像から探索して視差値を輝度値として表した視差画像を作成し、該視差画像から路面と同じ高さにある物体を除去した後、前記視差画像の縦軸方向に視差値の頻度を求め、縦軸を視差値として前記求めた頻度を輝度値で表した第１の投影視差画像を作成し、前記視差画像から路面より上にある物体を除去した後、前記視差画像の縦軸方向に視差値の頻度を求め、縦軸を視差値として前記求めた頻度を輝度値で表した第２の投影視差画像を作成し、前記第１の投影視差画像中から横軸に平行な線分を抽出して車両を検出し、前記第２の投影視差画像中から検出した白線に基づいて自車線領域を決定する画像処理手段を備え、該自車線領域内に前記検出した車両が存在するとき、該検出した車両までの距離を測定する
ことを特徴とする前方車両検出装置。