JP3820874B2

JP3820874B2 - 車両用画像処理装置

Info

Publication number: JP3820874B2
Application number: JP2000356380A
Authority: JP
Inventors: 智規田中
Original assignee: Nissan Motor Co Ltd
Current assignee: Nissan Motor Co Ltd
Priority date: 2000-11-22
Filing date: 2000-11-22
Publication date: 2006-09-13
Anticipated expiration: 2020-11-22
Also published as: JP2002163641A

Description

【０００１】
【発明の属する技術分野】
本発明は、車両用画像処理装置に関する。
【０００２】
【従来の技術】
従来、車両前方をカメラのような撮像手段によって撮像し、撮像された画像から車線境界線（白線や黄色線）を２値化等の画像処理によって認識して、認識された車線境界線を基準として車両を走行させることにより、運転者の操舵をアシストしたり、自動操舵を行うシステムが知られている。しかしながら、この従来の画像処理装置は、撮像された画像から車線境界線を認識しているため、路面の凹凸や車両の乗員数の増減などで車両のピッチ角が変化して撮像手段の光軸の方向が基準位置から動いてしまうと、正確に車線境界線を認識することができない問題点があった。
【０００３】
これを解決する技術として、特開平１１‐２０３４４５号公報に記載された車両用画像処理装置が知られている。この車両用画像処理装置によると、車両前方を撮像手段によって撮像し、撮像された画像上の車線境界線を座標変換し、画像から車線境界線を認識して、認識された車線境界線に当てはまる直線を作成した結果から撮像手段の光軸の変化を算出するようにしている。
【０００４】
【発明が解決しようとする課題】
ところが、この提案されている車両用画像処理装置の場合、撮像手段によって撮像された画像上の車線境界線を座標変換し、画像から車線境界線を認識して、認識された車線境界線に当てはまる直線を作成した結果から撮像手段の光軸の変化を算出するようにしているため、撮像された画像上の車線境界線を座標変換するための演算処理に時間がかかり、さらに、算出速度を向上させようとすると、処理速度が速い演算処理装置を使わなければならず、コスト増大を招くという問題点があった。また、直線設定および座標変換の精度が算出結果に影響するために、精度が悪いと誤った算出結果を出してしまう恐れもあった。
【０００５】
本発明はこのような従来の技術的課題を解決するためになされたものであって、低コストにして、撮像手段の光軸ずれの検出処理が精度良く、しかも高速にできる車両用画像処理装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】
請求項１の発明の車両用画像処理装置は、車両に設けられると共に、所定の光軸で車両前方を撮像する撮像手段と、前記撮像手段によって撮像された画像から、自車の走行している車線における一方の境界線と他方の境界線とを認識する認識手段と、前記撮像手段によって撮像された画像上の第１の高さにおける、前記一方の境界線と他方の境界線との距離である第１の幅と、前記撮像手段によって撮像された画像上の前記第１の高さよりも低い第２の高さにおける、前記一方の境界線と他方の境界線との距離である第２の幅と、これら第１の幅と第２の幅との比に基づいて前記撮像手段の光軸の変化量とを演算する演算手段と、信号波を路面に向けて出射し、路面の反射により戻ってくるまでの時間遅れに基づいて、前記撮像手段の路面からの高さを検出する高さ検出手段と、を備え、前記演算手段は、前記第１の幅と第２の幅との比と、前記高さ検出手段によって検出された前記撮像手段の路面からの高さとに基づいて、前記撮像手段の光軸の変化量を演算するものである。
【０００８】
請求項２の発明は、請求項１の車両用画像処理装置において、前記撮像手段の光軸の変化量の演算結果に基づき、前記撮像手段の光軸の補正を行う光軸補正手段を備えたものである。
【０００９】
【発明の効果】
請求項１の発明の車両用画像処理装置では、撮像手段によって撮像した車両前方の画像に対して、認識手段によって走行車線両端の車線境界線を抽出し、演算手段によって、この画像上の車線境界線の画像上の上下方向２点それぞれにおける車線間の幅Ｘａ，Ｘｂを算出し、この画像上の車線間の幅の比Ｘｂ／Ｘａから撮像手段の光軸の変化量を算出する。
【００１０】
これにより、演算手段が撮像手段の撮像した画像から、座標変換せずに撮像手段の光軸ずれを算出することができ、演算負荷を小さくして処理速度を向上させることができる。また直線設定を用いないために、撮像手段の光軸のずれを精度良く検出することができる。
【００１１】
また、車両のピッチ角の変化だけでなく、車両の高さが変化した場合であっても、低コストで精度良く、撮像手段の光軸ずれを検出することができる。
【００１２】
請求項２の発明の車両用画像処理装置では、撮像手段の光軸の変化量の演算結果に基づき、光軸補正手段が撮像手段の光軸を補正する。このため、低コストで精度良く撮像手段の光軸ずれを補正できる。
【００１３】
【発明の実施の形態】
以下、本発明の実施の形態を図に基づいて詳説する。図１は本発明の１つの実施の形態の機能的な構成を示している。この実施の形態の車両用画像処理装置は、撮像部１、画像認識部２、演算部３、高さ検出装置４、光軸調整機構５、道路情報検出装置６、外部装置７から構成されている。
【００１４】
撮像部１は、撮像する同一面上に平行して走る２本のラインに対して十分な画角と解像度を有している。画像認識部２は、撮像部１から得られた画像から、図３に示すような同一面上に平行に走る２本のラインを認識するものである。また、同一面上に平行して走る２本のラインに限らず、画像の特徴パターンを認識するものである。この画像認識部２には、例えば、画像の濃淡エッジから、画像の中の特徴パターンの位置を認識するもの、あるいは画像と任意の記憶している特徴パターンとを照合して認識するものが採用される。この画像認識部２によれば、撮像される平行した２本のラインが道路上の車線境界線であるレーンマークの場合、図３に示すようにその平行した２本のラインＬ１，Ｌ２の画像内の座標値を取得する。
【００１５】
演算部３は、前記画像認識部２によって認識された情報に基づく制御情報を、例えば自動操舵装置や操舵アシスト装置等の外部装置７に出力すると共に、図４に示すように、前記画像認識部２が認識した車線境界線に対応する２本のラインＬ１，Ｌ２と、画像上の上下方向２点Ｙ＝ａ，ｂにおいてそれぞれ画像上左右方向に伸びる直線Ｌａ，Ｌｂとの、それぞれの交点ａ１とａ２及びｂ１とｂ２の間の距離である、車線間の幅Ｘａ，Ｘｂを算出し、この画像上の車線間の幅の比ｒ＝Ｘｂ／Ｘａから撮像部１の光軸の変化量を算出し、その算出結果を光軸調整機構５に出力する。この演算部３に対して、高さ検出装置４から撮像部１の地面からの高さの検出信号が入力され、道路情報検出装置６からは自車の走行位置に関連する情報が入力される。なお、前記光軸調整機構５は、例えばモータ等によって撮像部１全体を動かして光軸を調整するものや、撮像部１に設けられたレンズ等を動かして結像位置を調整するものが使用される。
【００１６】
高さ検出装置４には、例えば、音波、赤外線のような信号波を路面に向けて出射し、路面の反射により戻ってくるまでの時間遅れに基づいて検出するものが使用される。
【００１７】
次に、上記の構成の車両用画像処理装置の動作について説明する。図２は本実施の形態の車両用画像処理装置における撮像手段の光軸補正処理のフローチャートを示している。なお、該処理は、随時変化する走行車両の車両姿勢及び道路状況に追従するために、例えば１０msec毎に起動する。
【００１８】
まず撮像部１によって車両前方の画像を撮像する。また、高さ検出装置４によって撮像部１の光軸の高さを検出し、高さデータを演算部３に入力する（ステップＳ０５）。
【００１９】
画像認識部２は、撮像部１の撮像した画像から図３に示すような同一面上で平行に走る２本のラインＬ１，Ｌ２を認識し、さらにそれらのラインＬ１，Ｌ２の画像内の座標値を取得して演算部３に入力する（ステップＳ１０）。
【００２０】
そして演算部３は、次の演算処理によって撮像部１の光軸変化量を算出する。図４に示すように、画面上の上下方向の２点Ｙ＝ａ，ｂそれぞれにおけるラインＬ１，Ｌ２の座標値差Ｘａ，Ｘｂを計算し、その比ｒを求める。
【００２１】
【数１】
ｒ＝Ｘｂ／Ｘａ
この上下方向の２点Ｙ＝ａ，Ｙ＝ｂは画像認識状態に応じて任意に設定されるものである（ステップＳ１５）。
【００２２】
次に、図５及び図６に示すように、ラインＬ１，Ｌ２間の座標値差Ｘａ，Ｘｂに対応する奥行き値をＤａ，Ｄｂ、光軸変化角をαとし、平行した２本のレーンマーク間の距離をｄ、画像全体のＸ方向の幅をＰｘと置くと、これらＸａ，Ｘｂを次のように表すことができる。
【００２３】
【数２】

ここで、Ｈは、平行した２本のレーンマークＬ１，Ｌ２のある同一面から撮像部１までの高さである。θｈは、撮像部１の水平画角である。
【００２４】
数１式に数２式を代入して整理すると、次の数３式となる。
【００２５】
【数３】

この数３式の解を、演算部３によって計算することにより、平行した２本のレーンマークＬ１，Ｌ２の間隔ｄに依存せずに光軸変化量tanαを得ることができる（ステップＳ２０）。
【００２６】
なお、数３式で、Ｄａ，Ｄｂは演算する画像上のＹ座標値で一義的に決まる値である。このＤａ，Ｄｂの距離差は、カーブ、勾配変化の影響を少なくするため、またＤａ，Ｄｂの位置のレーンマーク状態を同等とするため、さらには算出精度を得るため、例えば、１０〜２０ｍ程度がよい。また正確な算出ができない場面、例えば、交差点、分岐路、大きな勾配変化区間、曲率半径Ｒが小さい区間などでは、画像認識部３での認識結果や、ナビゲーションシステムのような道路情報検出装置６の道路情報により算出を中断するか、または算出結果を使用しないようにする（ステップＳ２５，Ｓ３０）。
【００２７】
また光軸の高さＨは、変動しない場合は予め登録した固定値を用い、変動する場合には高さ検出装置４により得られる検出値を使用する。
【００２８】
光軸調整機構５は、演算部３が算出した光軸変化量tanαを用いて光軸の補正を行う（ステップＳ３５）。
【００２９】
なお、上記の実施の形態では撮像部１の光軸の高さＨを検出して光軸補正に用いるようにしたが、コストをさらに低減するために単純化が必要であれば、ピッチ角の調整機能だけを持たせた構成にすることができる。
【００３０】
また、上記の実施の形態では、演算部３が算出した光軸変化量は、光軸調整機構５のみに送られるが、これが画像認識部２に送られて認識データを補正するものであっても、光軸調整機構５と画像認識部２との両方に送られるものであってもよい。
【図面の簡単な説明】
【図１】本発明の１つの実施の形態の機能的な構成を示すブロック図。
【図２】上記の実施の形態による光軸調整処理のフローチャート。
【図３】上記の実施の形態において撮像部が撮像した画像の説明図。
【図４】上記の実施の形態において光軸変化量の算出方法を示す説明図（正面図）。
【図５】上記の実施の形態において光軸変化量の算出方法を示す説明図（側面図）。
【図６】上記の実施の形態において撮像対象物と撮像部との位置関係を示した説明図。
【符号の説明】
１撮像部
２画像認識部
３演算部
４高さ検出装置
５光軸調整機構
６道路情報検出装置

Claims

車両に設けられると共に、所定の光軸で車両前方を撮像する撮像手段と、
前記撮像手段によって撮像された画像から、自車の走行している車線における一方の境界線と他方の境界線とを認識する認識手段と、
前記撮像手段によって撮像された画像上の第１の高さにおける、前記一方の境界線と他方の境界線との距離である第１の幅と、前記撮像手段によって撮像された画像上の前記第１の高さよりも低い第２の高さにおける、前記一方の境界線と他方の境界線との距離である第２の幅と、これら第１の幅と第２の幅との比に基づいて前記撮像手段の光軸の変化量とを演算する演算手段と、
信号波を路面に向けて出射し、路面の反射により戻ってくるまでの時間遅れに基づいて、前記撮像手段の路面からの高さを検出する高さ検出手段と、
を備え、
前記演算手段は、前記第１の幅と第２の幅との比と、前記高さ検出手段によって検出された前記撮像手段の路面からの高さとに基づいて、前記撮像手段の光軸の変化量を演算することを特徴とする車両用画像処理装置。
前記撮像手段の光軸の変化量の演算結果に基づき、前記撮像手段の光軸の補正を行う光軸補正手段を備えたことを特徴とする請求項１に記載の車両用画像処理装置。