JP3862015B2

JP3862015B2 - 車載用レーダ装置

Info

Publication number: JP3862015B2
Application number: JP2002311680A
Authority: JP
Inventors: 剛治堀部
Original assignee: Omron Corp
Current assignee: Omron Corp
Priority date: 2002-10-25
Filing date: 2002-10-25
Publication date: 2006-12-27
Anticipated expiration: 2022-10-25
Also published as: US20040080449A1; JP2004144671A; US6831591B2

Description

【０００１】
【発明の属する技術分野】
本発明は、車両に搭載されるレーダ装置に関する。
【０００２】
【従来の技術】
近年、自動車においては、運転の容易性や安全性を向上させるために、先行車等の監視機能や先行車への追従走行機能などが設けられる場合がある。そして、このような機能を実現するために、レーザレーダやミリ波レーダのようなセンサもち、自車両の前方又は後方に存在する検出対象（先行車やガードレールなどの障害物）の少なくとも位置情報を取得するためのレーダ装置が、車両に搭載される。
このような車載用レーダ装置では、カーブ走行時などにも先行車を見逃さないよう、走査範囲の中心軸或いは検出範囲の中心軸（以下、場合により光軸という）を適宜補正するのが好ましく、そのための技術として、従来では特許文献１に開示されたものがある。
これは、カーブ走行している先行車やレーンの中央を走行していない先行車の見逃しに対応し、カーブの曲率や自車及び先行車の横方向位置から先行車を見逃さないように光軸を補正するものである。
【０００３】
【特許文献１】
特開平９−２１８２６５号公報
【０００４】
【発明が解決しようとする課題】
ところが、上記従来技術は、勾配のない平坦な道路や高速道路のようにカーブ曲率が略一定であることを想定しているものである。このため、道路が平坦でありカーブ曲率が略一定である場合には、先行車を見逃すことが少なくなるが、市街地のように勾配がある場合やカーブ曲率が細かく変化する場合には、従来技術のように光軸を補正しても、先行車を見逃してしまう。というのは、従来技術は、カーブの曲率や自車及び先行車の横方向位置に基づいて補正すべき光軸の方向を特定するものであり、垂直方向（上下方向）に光軸を補正できない（垂直方向の光軸の理想的な向きを特定できない）ため、光軸の垂直方向位置はあくまで一定であって、勾配があると先行車が検出エリアから上下方向に外れてしまい検出不可能となる恐れがある。また従来技術は、例えばＳ字カーブであっても一定の曲率であるとして最適な光軸を求めて補正するため、曲率が細かく変化する場合には、横方向（水平方向）に大きな誤差（求められた光軸方向と実際に最適な光軸方向との差）を生じて、先行車が補正後の検出エリアから横方向に外れてしまい易いからである。
そこで本発明は、勾配又はＳ字カーブなどがあってもセンサの中心軸を最適な方向に補正して先行車を見逃し難い車載用レーダ装置を提供することを目的としている。
【０００５】
【課題を解決するための手段】
この発明による車載用レーダ装置は、自車両の前方又は後方に存在する検出対象の少なくとも位置情報を取得するためのセンサをもつ車載用レーダ装置であって、
自車両の前方又は後方の路面を含む画像を取得するための撮像手段と、この撮像手段により得られた画像に基づいて前記センサの中心軸の向きを補正するための制御手段とを備え、
前記制御手段は、
前記画像から自車両が走行しているレーンに沿った線分を検出する線分検出部と、この線分検出部により得られた線分の実座標上の方向ベクトルを求める方向ベクトル検出部と、この方向ベクトル検出部により得られた方向ベクトルに一致するように前記中心軸の向きを上下左右に補正する制御を実行する補正制御部とを有することを特徴とするものである。
【０００６】
ここで、「検出対象」とは、基本的には先行車両又は後続車両（四輪車以外のバイク等も含む）を意味するが、車両以外の障害物（ガードレール等）が含まれてもよい。
また、「センサ」とは、例えば電磁波や音波などを検出エリアに照射し、その反射波に基づいて検出対象を検出するもの（具体的には、レーザレーダやミリ波レーダなど）である。なおこのセンサは、必ずしも走査型である必要はなく、非走査型（但し、指向性があり、特定の検出エリアが存在するもの）でもよい。
また、「センサの中心軸」とは、検出エリアの中心軸であり、走査型の場合には走査範囲の中心軸を意味する。
また、「自車両が走行しているレーンに沿った線分」とは、自車両が走行しているレーンの片側又は両側にある路面上のマーク（白線や黄線、二重線や破線など）、ガードレール、中央分離帯、防護壁、歩道との境界部分などの画像を構成する線（いわゆるエッジ）、或いはこれら画像の経時変化から得られるオプティカルフローであり、自車両が走行しているレーンの接線方向のものである。
【０００７】
なお、上記線分の検出（画像からの抽出）は、白線などの濃淡（明暗）のはっきりしたものであれば、いわゆるエッジ抽出により相当の信頼性で実現できる。但し、路面の汚れや道路周辺の建造物などの画像成分を排除して確実に上記線分を検出できる信頼性を向上させるためには、或いは検出のしきい値を下げて濃淡のはっきりしないもの（例えば中央分離帯などのエッジ）も相当の信頼性で検出できるようにするには、上記線分を検出する画像中の位置や領域、或いは線分の角度範囲等を予めあり得る条件に限定しておくのが好ましい。例えば、図５（ｃ）に示すように、画像フレームの左下を原点としてフレーム下辺から反時計回りに３０°〜６０°の角度範囲と、画像フレームの右下を原点としてフレーム下辺の延長線から反時計回りに１２０°〜１５０°の角度範囲に、上記線分を検出する領域や角度を限定してもよい。自車が走行しているレーンの両側の縁部（レーンを区画する白線や中央分離帯等）の位置や方向が、このような条件に納まるように、撮像手段（カメラ）の撮像方向や画角を設定することは容易かつ自然であり、その場合、このような条件から外れるものを検出範囲から除けば、前述した所定の線分のみをより確実かつ容易に検出できるからである。
【０００８】
本発明の車載用レーダ装置によれば、自車両の前方又は後方の画像における自車両が走行しているレーンに沿った線分の実座標上での方向にセンサの中心軸が補正されるため、曲率が一定でない道路や勾配のある道路状況でも、検出すべき検出対象（特に先行車又は後続車）を見逃し難い。例えば、自車両から所定距離離れた位置（画像における上下方向の所定位置）の白線などよりなる線分を検出し、この線分の実座標上の方向にセンサの中心軸を補正すれば、自車両がその時点で走行している直近の道路の曲率や勾配にとらわれず、自車両の前方又は後方の道路方向（３次元的方向）に対応させて、センサの中心軸を上下左右に補正することができるからである。特に本発明では、前方又は後方の道路の勾配に応じてセンサの中心軸方向が上下するため、従来行われていなかった上下方向の補正も可能となり、勾配のある道路でも先行車等を見逃し難くなる。
なお、Ｓ字カーブやアップダウンのある道路状況に良好に対応するには、後述する態様のように、前記線分を複数検出して、各線分の方向から、自車両の前方又は後方の道路全体を見渡すことができる最適な方向ベクトルを特定することが好ましい。
【０００９】
次に、この発明の好ましい態様は、前記線分検出部が、前記線分として、自車両が走行しているレーンの両側にあるものを一対以上求める機能を有し、
前記方向ベクトル検出部が、対をなす前記線分の延長線の交点として前記画像上の消失点を求め、この消失点から前記方向ベクトルを求めるものである。
このような態様であると、撮像手段として一つのカメラを設けた簡単な構成でも、後述する形態例に示すように、簡単な処理で前記方向ベクトルを求めることができる。
【００１０】
なお、上述したように消失点から前記方向ベクトルを求める場合、さらに次のような態様とすることが好ましい。
即ち、第１の態様は、前記撮像手段により得られた画像を、複数の小領域に分割する領域分割部を備え、
前記線分検出部が、前記線分の検出を前記小領域毎に実行して、前記線分の対を複数検出し、
前記方向ベクトル検出部が、これら複数の線分の対に基づいて前記画像上の消失点を複数求め、これら消失点の中から、最も手前側に位置する一対の線分上の点及び各消失点を頂点とする画像上の三角形領域と、自車両が走行しているレーンの画像上の領域（以下、場合により道路領域という）との共通領域の面積が最大となる消失点を選択し、この選択した消失点から前記方向ベクトルを求めるものである。なお、上記道路領域は、例えば上記複数の線分によって囲まれた領域として求めることができる。
【００１１】
次に第２の態様は、前記線分検出部が、前記画像の下辺に沿った最下帯状領域にある前記線分の対を検出し、
前記方向ベクトル検出部は、前記最下帯状領域にある前記線分の対に基づいて前記画像上の消失点を求め、この消失点を所定の矩形領域において離散化することによって画像上の複数の座標を決定し、これら座標の中から、前記最下帯状領域にある一対の線分上の点及び各座標を頂点とする画像上の三角形領域と、自車両が走行しているレーンの画像上の領域との共通領域の面積が最大となる座標を選択し、この選択した座標から前記方向ベクトルを求める構成であり、前記矩形領域は前記離散化前の消失点を中心とする規定の大きさの矩形領域であることを特徴とするものである。
【００１２】
これら第１の態様又は第２の態様であると、複数の消失点（或いは、一つの消失点を離散化してなる複数の座標）の中から、道路全体を最もよく見渡せる点の方向にセンサの中心軸が補正されるので、Ｓ字カーブなどの複雑に曲率が変化する道路状況、或いはアップダウンの激しい道路状況でも、検出すべき検出対象（特に先行車又は後続車）をより見逃し難い。
加えて、第２の態様の場合には、消失点を１点しか計算しないので、計算負荷が軽減される利点がある。
【００１３】
なお、上記第１の態様では、前記方向ベクトル検出部が、前記センサにより得られた検出対象（少なくとも、先行車又は後続車）の位置情報に基づき、当該検出対象が画像上で前記線分と重なる又は重なる可能性のある小領域を特定し、この小領域を前記消失点を求める対象から排除する構成が好ましい。このようにすれば、例えば先行車などがレーンの縁（レーンとレーンの境界含む）にいることによって、その位置の線分が適正に検出できず、補正ができなくなること、或いは良好な補正ができなくなることを防止できる。
【００１４】
また本発明の補正は、自車の走行中或いはイグニションスイッチのオン時などに、常時（例えば周期的に）行ってもよいが、次のようにして必要なときだけ行い、処理の効率化を図るようにしてもよい。即ち、検出対象の水平方向位置が変化したと検知したこと、自車両の速度が変化したと検知したこと、自車両が水平に対して傾いたと検知したこと、及び自車両が車線変更したと検知したことのうち、何れか一つ又は複数の条件が成立したことを起因として、前記制御処理手段が前記中心軸の向きを補正する新たな制御を開始する態様としてもよい。
【００１５】
【発明の実施の形態】
以下、本発明の実施の形態を図面に基づいて説明する。
（第１形態例）
図１は、本例の車載用レーダ装置の構成を説明する図であって、図１（ａ）は全体構成を示すブロック図、図１（ｂ）は画像処理ユニットを説明する機能ブロック図である。
【００１６】
まず、全体構成について説明する。
本装置は、図１（ａ）に示すように、カメラ１（撮像手段）と、センサ２と、画像処理ユニット３と、コントローラ４とよりなる。
カメラ１は、例えばＣＣＤ又はＣＭＯＳなどの周知のデバイスよりなる撮像手段であり、この場合、１個だけ設置されている。またカメラ１は、例えば自車前方の路面を含む画像が得られるように、自車の前方斜め下（或いは後方斜め下）に向けて搭載される（図６参照）。
センサ２は、例えばレーザレーダである。
画像処理ユニット３は、マイクロコンピュータ（以下、マイコンという）を含む回路よりなり、カメラ１により得られた画像からセンサ２の光軸の最適方向を求めて出力する。
コントローラ４は、図示省略したアクチュエータを制御して、画像処理ユニット３が出力した最適方向にセンサ２の光軸を変化させるもので、やはりマイコンを含む回路よりなる。なお、画像処理ユニット３とコントローラ４は、一体のユニットとして構成することもできる。
【００１７】
次に、画像処理ユニット３の詳細を説明する。画像処理ユニット３は、機能的に図１（ｂ）に示す要素（歪補正部１１、帯領域分割部１２、白線検出部１３、消失点検出部１４、及び走査領域算出部１５）を有する。
ここで、歪補正部１１は、後述する図２のステップＳ１に対応するもので、カメラ１のレンズの歪の影響を排除すべく、カメラ１により得られた画像データを補正するものである。
帯領域分割部１２は、後述する図２のステップＳ２に対応するもので、曲率が一定でないＳ字カーブなどの道路状況にも的確に対応するため、線分を含む複数の小領域（この場合、横長の帯状領域）に画像を分割する。
白線検出部１３は、後述する図２のステップＳ３〜Ｓ５に対応するもので、自車が走行している道路上のレーン両側の白線（黄線や破線を含めてもよい）を、領域毎の直線状の線分として検出する。
消失点検出部１４は、後述する図２のステップＳ６に対応するもので、領域毎に検出された線分から画像上の消失点を求める。
走査領域算出部１５は、後述する図２のステップＳ８〜Ｓ１３に対応するもので、領域毎に算出された消失点から最適な光軸方向を求める。
【００１８】
次に、本装置の動作（主に画像処理ユニット３の処理内容）について、図２により説明する。
画像処理ユニット３は、次の一連の処理（ステップＳ１〜Ｓ１４）を例えば周期的に繰り返す。
即ち、まずステップＳ１において、カメラ１の画像データを読み取り、歪補正を行う。具体的には、例えば数１に示す関係式により画素座標を（ｘ，ｙ）から（ｘ´，ｙ´）に変換する。なお。数１におけるκは負の定数である。
【００１９】
【数１】

【００２０】
次いでステップＳ２では、例えば図３（ａ）に示す如く、道路を含むように画像を横長の帯状領域（Ｎ個）に分割するための画像データの設定を行う。道路を含むようにとは、例えば図３（ａ）に示す如く、道路の画像が存在する画像フレームの下側の領域を少なくとも含むようにという意味である。またこの場合、帯状領域の横幅は画像全体の横幅と同等とし、帯状領域の縦幅は画像の下側の領域をＮ等分した幅とする。なお本例では、Ｎ＝７、即ち７個の帯状領域１〜７に分割する。また、ここでの帯状領域は、本発明の小領域に相当する。
【００２１】
次に、帯状領域毎にステップＳ３〜Ｓ６の処理を行う。
まず、ステップＳ３で、エッジ抽出用フィルタを使ってエッジ抽出を行う。エッジ抽出用フィルタとしては、例えば数２に示すような右向きＳｏｂｅｌフィルタを用いる。なお数２において、ｆ（ｘ，ｙ）は、画像上の座標（ｘ，ｙ）の画素濃度値を意味し、ｇ（ｘ，ｙ）はフィルタ処理後の値（隣接画素同士の濃度値の差分）を意味する。
【００２２】
【数２】

【００２３】
次いでステップＳ４では、白線候補抽出を行う。白線候補抽出とは、数２で計算されたｇ（ｘ，ｙ）よりなるエッジ画像に対して、所定のしきい値（２５６階調の場合には、例えば１２８）により２値化処理を行い、道路両側の白線の内側の座標（白線候補点）を求める。具体的には、前記エッジ画像を左から右に向かって移動したとき、しきい値を超え、さらにその後左右方向の幅が規定幅Ｂ以内においてしきい値を下回る座標が存在すれば、その時の最初の座標（しきい値を超えた座標）が左側の白線の左端と推定され、その時の後の座標（しきい値を下回った座標）が左側の白線の右端（左側の白線の内側）と推定される。また、同様の処理で右側の白線の左端（右側の白線の内側）を求め、これら白線の内側の座標を白線候補点として求める。なお通常、これら白線候補点は、帯状領域の縦方向の画素数分だけ複数求まる。またここで、規定幅Ｂによる制限は、実際の白線幅に相当する幅を大きく超えるものを排除し、白線のエッジだけを信頼性高く検出するためのものである。
なお、この白線候補抽出では、路面の汚れや道路周辺の建造物などの画像成分（輪郭線など）を誤って白線として検出しないように、白線を検出する画像中の位置や領域、或いは角度範囲等を予めあり得る条件に限定しておくのが好ましい。例えば、既述した図５（ｃ）に示すような限定条件を設定して、上記白線候補抽出を行うのがよい。
【００２４】
次にステップＳ５では、上記白線候補点に対してＨｏｕｇｈ変換を行い、最も適合する２直線を、小領域毎の各白線の内側の接線（本発明の線分或いはその延長線）としてを求める。
Ｈｏｕｇｈ変換とは、画像上（ｘ−ｙ平面上）の候補点の座標（ｘ，ｙ）に対して、数３で示すρ−θ平面上のＨｏｕｇｈ曲線を求め、このＨｏｕｇｈ曲線の交点の座標から画像上の直線を抽出する処理である。この場合、最も適合する２直線は、前述した複数の白線候補点から得られた複数のＨｏｕｇｈ曲線が多く交差する二つの交点（ρａ，θａ）及び（ρｂ，θｂ）を求めれば特定できる。数３の式においてρとθの値が決まれば、画像上の直線が特定できるからである。なお図５（ｂ）は、（ｘ，ｙ）と（ρ，θ）の位置関係を示す。
【００２５】
【数３】

【００２６】
次に、ステップＳ６では、ステップＳ５で得られた前記二つの直線のデータから画像上の消失点の座標を算出する。消失点は前記二つの直線の交点であるから、前述したデータ（ρａ，θａ）及び（ρｂ，θｂ）から、数４の式によって求まる。
【００２７】
【数４】

【００２８】
次に、ステップＳ７では、ステップＳ３〜Ｓ６の実行回数がＮ未満であるか否か（即ち、全ての帯状領域についてステップＳ３〜Ｓ６の処理が完了していないか否か）を判定し、Ｎ未満であればステップＳ３に戻って次の帯状領域について処理を繰り返す。そして、Ｎ以上であれば（全ての帯状領域について処理完了であれば）、ステップＳ８に進む。
なお図３（ｂ）は、以上の処理により求められた消失点の例を示す図である。図中、太線が道路の白線を示し、破線が各小領域毎に求められた白線の内側（線分）を延長した直線であり、▲１▼〜▲６▼の符号が消失点を示す（この場合７番目の消失点▲７▼は求められなかった）。
【００２９】
次にステップＳ８では、道路領域検出を行う。道路領域検出は、例えばステップＳ３〜Ｓ４の処理により得られた白線の内側の座標に基づいて、二つの白線で囲まれた道路領域（例えば、図４（ａ）に斜線で示す領域）を検出する。
次に、帯状領域毎にステップＳ９〜Ｓ１０の処理を行う。
まず、ステップＳ９では、最大Ｎ個存在する各消失点を上側の頂点とし、手前両側の白線上の点を下側の頂点とする底辺が一定の三角形領域を検出する。即ち、帯状領域１については、例えば図４（ｂ）に斜線で示すように、ステップＳ６で帯状領域１について求められた消失点を上側の頂点とし、ステップＳ５で帯状領域１について求められた両側の直線（両白線の内縁側の線）の下端を下側の頂点（底辺の両端点）とする三角形の領域を検出する。また、帯状領域２以降についても、同様に各消失点を上側の頂点とし、帯状領域１について求められた両側の直線の下端を下側の頂点とする三角形の領域を検出する。なお、図４（ｂ）の場合には、両白線の下端内側が画像フレームの下側両隅部に位置しているため、上記三角形の底辺が画像フレームの下辺に一致しているが、必ずしもこのようになるとは限らない。例えば、両白線の下端が画像フレームの横幅よりも内側にある場合には、上記三角形の底辺は画像フレームの横幅（下辺の長さ）よりも短い線分となる。また、上記三角形の下側の頂点は、必ずしも帯状領域１における白線の内縁側の下端である必要はなく、例えば帯状領域１における白線の上端の点（帯状領域１と帯状領域２の境界上の点）でもよいし、帯状領域１における白線の外縁側の点でもよい。また、帯状領域１内に白線が存在しない場合等には、例えば一つ上の帯状領域２における白線上の点を、上記三角形の下側の頂点としてもよい。
【００３０】
次にステップＳ１０では、ステップＳ８で求めた道路領域と、ステップＳ９で求めた三角形領域とのＡＮＤ面積（重複部分の面積）を求める。
次にステップＳ１１では、ステップＳ７と同様に、全ての帯状領域についてステップＳ９〜Ｓ１０の処理が完了したか否かを判定し、全ての帯状領域について処理完了であればステップＳ１２に進み、そうでなければステップＳ９に戻る。そしてステップＳ１２では、ステップＳ１０で求めたＡＮＤ面積が最大となる帯状領域Ｎｍａｘを求める。なお以降では、この帯状領域Ｎｍａｘとして帯状領域６が求められたと仮定して説明を進める。
【００３１】
次にステップＳ１３では、上記帯状領域Ｎｍａｘ（帯状領域６）の消失点の座標（Ｘ６，Ｙ６）を道路座標系（ｘｒ，ｙｒ，ｚｒ）に変換し、前記消失点の道路座標上での方向ベクトルＶ６を求める。なお、センサ２（レーザレーダなど）は、通常車両のラジエター（バンパの上）に取り付けられるため、センサ２の座標系は厳密には道路座標系とは若干異なるが、センサ２の方向を補正する場合、センサ２の座標系と道路座標系を同一視し、道路座標系のデータでその方向を補正しても特に問題ない。
【００３２】
図６に示すように、各座標系の符号と方向の関係を定めた場合、道路座標系（ｘｒ，ｙｒ，ｚｒ）とカメラ座標系（ｘｃ，ｙｃ，ｚｃ）と画像座標系（Ｘ，Ｙ）の間には、次の数５及び数６に示す関係式が成り立つ。ここで、Ｒは３×３の行列、Ｔは３×１の行列を表す。また、ＲとＴは、カメラキャリブレーションで予め設定しておく。また、数６におけるＦは、カメラ１の焦点距離である。
【００３３】
【数５】

【００３４】
【数６】

【００３５】
このため、次のようすれば、消失点の座標（Ｘ６，Ｙ６）を道路座標系（ｘｒ，ｙｒ，ｚｒ）に変換できる。
即ち、数６の（Ｘ，Ｙ）に（Ｘ６，Ｙ６）を代入し、数７に示すようにカメラ座標系（ｘｃ，ｙｃ，ｚｃ）にまず変換する。なお、数７においてはｚｃ＝ｋとしている。
【００３６】
【数７】

【００３７】
次に、数７の式を数５の式に代入すれば、数８に示す式のように道路座標系（ｘｒ，ｙｒ，ｚｒ）に変換できる。なお、数８の式におけるｋの値は、適当な拘束条件を適用して、算出すればよい。例えば、レーザレーダの測定可能距離（例えば、１５０ｍ）を数８の式のｚｒに代入してｋを求め、この値に設定すればよい。
【００３８】
【数８】

【００３９】
そして、上述したように求めた前記消失点の道路座標系での座標から、単位ベクトルを求めれば、それが方向ベクトルＶ６である。
最後に、ステップＳ１４では、上記方向ベクトルＶ６から、光軸の最適位置を求めてコントローラ４に出力する。これを受けて、コントローラ４は、指令された最適位置に光軸を動かし、光軸の向きが方向ベクトルＶ６に一致するように補正される。
なお、図５（a）はレーザレーダ２の走査範囲（走査領域）を示す図である。ここで、座標原点Ｏは、通常状態（補正なしの状態）での走査の中心座標である。また、（−Ｓｘ，Ｓｘ）と（−Ｓｙ，Ｓｙ）が通常状態での走査範囲であり、（−Ｓｘmax，Ｓｘmax）と（−Ｓｙmax，Ｓｙmax）が最大の走査範囲を示す。即ち、レーザレーダ２の走査範囲の中心（光軸）をｘｌ方向（横方向）に動かすことができる最大補正量はＳｘmax−Ｓｘであり、ｙｌ方向（上下方向）に動かすことができる最大補正量はＳｙmax−Ｓｙである。
【００４０】
したがって、前述の単位ベクトルＶ６の成分（ｘｒ，ｙｒ，ｚｒ）から、数９に示す関係式により求まるｘｌ方向とｙｌ方向の光軸位置（ｘＬ，ｙＬ）が、光軸の最適位置となる。
【００４１】
【数９】

【００４２】
以上説明したレーダ装置によれば、自車両の前方又は後方の画像における自車両が走行しているレーンに沿った線分（この場合、白線の内側エッジ）の実座標上での方向にセンサの中心軸が補正されるため、曲率が一定でない道路や勾配のある道路状況でも、検出すべき検出対象（特に先行車又は後続車）を見逃し難い。特に本形態例の場合には、画像を領域分割して得られた複数の消失点の中から、道路全体を最もよく見渡せる消失点の方向にセンサの中心軸が補正されるので、Ｓ字カーブなどの複雑に曲率が変化する道路状況、或いはアップダウンの激しい道路状況でも、検出すべき検出対象をより見逃し難い。
また本発明は、消失点を求めて方向ベクトルを定めているため、撮像手段として一つのカメラを設けた簡単な構成でも、上述したような簡単な処理で前記方向ベクトルを求めることができる。
【００４３】
（第２形態例）
次に、第２形態例を説明する。この形態例は、画像処理ユニット３の処理内容の一部に特徴を有し、他は第１形態例と同様である。図８は、本例の処理内容を示すフローチャートである。なお、第１形態例（図２）と同様のステップには同符号を付して重複する説明を省略する（後述の第３形態例も同様）。
この場合、消失点は、最下の帯状領域１（Ｎ＝１）のみについて求められる（ステップＳ３〜Ｓ６）。
そして、ステップＳ８（道路領域検出）の次のステップＳ２１では、図７（ａ）に示すように、Ｎ＝１のときの消失点を、この消失点を中心とする上下左右の矩形領域に離散化してなる画像上の複数（Ｄ個）の座標（点）を決定する。例えば図７（ａ）では、Ｎ＝１のときの消失点を中心に、規定の間隔で左右に５列と上下に３列の点（この場合、Ｄ＝１５）を生成している。
【００４４】
次いでステップＳ２２〜Ｓ２６では、図２のステップＳ９〜Ｓ１３と同様に、Ｄ個存在する各座標を上側の頂点とし、手前両側の白線上の点を下側の頂点とする画像上の三角形領域と、ステップＳ８で求めた道路領域との共通領域の面積が最大となる座標を選択し、この選択された座標から前記方向ベクトルを求める。
この第２形態例によれば、第１形態例と同様の加えて、次のような効果がある。即ち、この第２の態様の場合には、消失点を１点しか計算しないので、計算負荷が軽減される利点がある。
【００４５】
（第３形態例）
次に、第３形態例を説明する。この形態例も、画像処理ユニット３の処理内容の一部に特徴を有する。但し本例の場合には、図１（ａ）に破線で示すように、レーザレーダ２による検出結果の情報（少なくとも、他車両の位置情報）が、例えばコントローラ４から画像処理ユニット３に入力される構成となっている必要がある。
図９は、本例の処理内容を示すフローチャートである。
この場合、ステップＳ２の次に、ステップＳ３１が設けられている。このステップＳ３１では、消失点を求めようとする帯状領域に他車両が存在していて、他車両が線分と重なっている可能性があるか否かを、レーザレーダ２による検出結果の情報に基づいて判断する。そして、他車両が存在していれば、ステップＳ３〜Ｓ６をスキップしてステップＳ７に進み、その帯状領域についての消失点の算出は実行しない。
【００４６】
なお、帯状領域に他車両が存在しているか否かの判定は、例えば次のようにして行う。即ち、レーザレーダ２による検出結果の情報（他車両の位置情報）に基づいて、他車両が存在する画像上の位置を求め、その位置の近傍でヒストグラムを形成し、他車両の画像上での概略の幅寸法や高さ寸法を定めて他車両が存在する画像上の領域を特定する。そして、例えばこの領域と各帯状領域との重複割合を算出し、所定の割合以上重複している帯状領域には他車両が存在していると判定すればよい。
【００４７】
本形態例によれば、先行車等が存在する帯状領域が前記方向ベクトル（消失点）を求めるための処理対象から除外される。例えば、図７（ｂ）に示すような画像が得られたときには、領域４及び５が除外される。このため、図７（ｂ）に示すように、先行車などがレーンの縁（レーンとレーンの境界含む）にいることによって、その位置の線分（この場合、白線のエッジ）がその先行車等に隠れて適正に検出できず、補正ができなくなること、或いは良好な補正ができなくなることを防止できる。
【００４８】
なお、本発明は上記形態例に限られず、各種の態様や変形が有り得る。
例えば、上記形態例における画像処理ユニット３は、図１（ｃ）に示すような構成でよい。図１（ｃ）は、画像処理ユニット３の上位概念的機能ブロック図であり、この場合画像処理ユニット３は、前処理部２１と、領域分割部２２と、線分検出部２３と、方向ベクトル検出部２４と、演算部２５とよりなる。
前処理部２１は、図１（ｂ）の歪補正部１１に対応するもので、ここでは、前述のレンズの歪補正（幾何学的補正）に加え、ガンマ補正やコントラスト強調などの輝度補正、メディアンフィルタなどのノイズ除去を、必要に応じて行ってもよい。
【００４９】
また、領域分割部２２は、横長の帯状領域に画像を分割する態様に限られず、例えば縦長の帯状領域に画像を分割する態様、或いは格子状に画像を分割するものであってもよい。なお、このように画像を分割する場合、対をなす線分の組（レーンの両側に存在し、同一の消失点に向かうもの）をどのように対応付けるかが問題となるが、例えば、画像の左右対称位置にある領域でそれぞれ検出された線分を、一対の線分として選択すればよい。即ち、例えば縦長の帯状領域に分割する場合、画像における最も左側の帯状領域で検出された線分と、最も右側の帯状領域で検出された線分の延長線の交点として一つ目の消失点を特定し、画像における左から２番目の帯状領域で検出された線分と、右から２番目の帯状領域で検出された線分の延長線の交点として二番目の消失点を特定する、といったように順次消失点を求めればよい。
また、画像を分割する際の分割幅は必ずしも均等又は一定でなくてよい。また、分割数Ｎは、前記形態例のようにＮ＝７以外でもよいし、可変でもよい。
【００５０】
また、線分検出部２３は、図１（ｂ）の白線検出部１３に対応するが、この白線検出部１３の態様に限られず、既述したように、白線以外にも、ガードレールなどの画像を構成する線、或いはこれら画像の経時変化から得られるオプティカルフローを、本発明の線分として検出するものであってもよい。
また、方向ベクトル検出部２４は、図１（ｂ）の消失点検出部１４及び走査領域算出部１５の一部に対応するが、消失点を求めないで線分の方向ベクトルを特定する態様もあり得る。例えば、複数のカメラを設置して、三角測量の原理で線分上の点の３次元位置を求め、実座標における線分の方向を計算してもよい。このような態様であると、単独の線分で（いいかえると、線分毎に）方向ベクトルが定まる（即ち、前記形態例のように線分の対を検出する必要がない）。
また演算部２５は、算出された方向ベクトルから最適な光軸方向を求めるもので、図１（ｂ）の走査領域算出部１５に対応する。
【００５１】
また前記形態例では、画像を分割して得られた複数の線分から複数の方向ベクトル（消失点）を求め、この中から、前述した三角形領域と道路領域の重複部分が最大となる方向ベクトルを選択しているが、複数の線分から最終的な方向ベクトルを選択して光軸を補正する態様は、このようなものに限定されない。例えば、自車両から比較的遠く離れた位置（画像における上方領域）の白線よりなる線分と、自車両に近い位置（画像における下方領域）の白線よりなる線分といったように、前記線分を道路の長手方向に複数検出し、これらの平均的方向にセンサの中心軸を補正する態様（消失点を求めない態様含む）でもよい。平均的方向が、必ずしも最良の方向とはならないが、従来のように一定の曲率であるとして光軸を補正する場合に比較すれば、道路全体を見渡すことができ、先行車等を見逃し難い。
【００５２】
また、前記形態例では、画像処理ユニット３とコントローラ４が本発明の制御手段を構成しており、前述したように例えば図２の処理を周期的に行って光軸の補正を常時定期的に行っているが、既述したように、必要なとき（例えば先行車の水平位置が変化したことが検知されたとき）だけ、光軸補正を行う態様でもよい。
また、前記第３形態例では、他車両が存在している小領域は他車両が線分と重なっている可能性があるとして、そのような小領域を全て、方向ベクトル（消失点）を求める処理対象から除外している。しかし、他車両が存在している小領域でも、そこで他車両が線分と重なっていないと判定できる場合（例えば、その他車両が画像の下側の左右方向中央位置にあって、レーンの端に存在しないと判定できる場合など）には、処理対象からその小領域を除外しない構成（即ち、他車両が線分と重なっている小領域のみを除外する態様）でもよい。
【００５３】
【発明の効果】
本発明の車載用レーダ装置によれば、自車両の前方又は後方の画像における自車両が走行しているレーンに沿った線分の実座標上での方向にセンサの中心軸が補正されるため、曲率が一定でない道路や勾配のある道路状況でも、検出すべき検出対象（特に先行車又は後続車）を見逃し難い。
【図面の簡単な説明】
【図１】車載用レーダ装置の構成を説明する図である。
【図２】光軸補正処理（第１形態例）のフローチャートである。
【図３】画像の領域分割及び消失点を説明する図である。
【図４】画像における道路領域及び三角形領域を説明する図である。
【図５】レーザレーダの走査範囲などを説明する図である。
【図６】各座標系の符号と方向の関係を示す図である。
【図７】他の形態例を説明する図である。
【図８】光軸補正処理（第２形態例）のフローチャートである。
【図９】光軸補正処理（第３形態例）のフローチャートである。
【符号の説明】
１カメラ（撮像手段）
２レーザレーダ（センサ）
３画像処理ユニット（制御手段）
４コントローラ（制御手段、補正制御部）
２３線分検出部
２４方向ベクトル検出部

Claims

自車両の前方又は後方に存在する検出対象の少なくとも位置情報を取得するためのセンサをもつ車載用レーダ装置であって、
自車両の前方又は後方の路面を含む画像を取得するための撮像手段と、
この撮像手段により得られた画像に基づいて前記センサの中心軸の向きを補正するための制御手段とを備え、
前記制御手段は、
前記画像から自車両が走行しているレーンに沿った線分を検出する線分検出部と、
この線分検出部により得られた線分の実座標上の方向ベクトルを求める方向ベクトル検出部と、
この方向ベクトル検出部により得られた方向ベクトルに一致するように前記中心軸の向きを上下左右に補正する制御を実行する補正制御部と
を有することを特徴とする車載用レーダ装置。
前記線分検出部は、前記線分として、自車両が走行しているレーンの両側にあるものを一対以上求める機能を有し、
前記方向ベクトル検出部は、対をなす前記線分の延長線の交点として前記画像上の消失点を求め、この消失点から前記方向ベクトルを求めることを特徴とする請求項１記載の車載用レーダ装置。
前記撮像手段により得られた画像を、複数の小領域に分割する領域分割部を備え、
前記線分検出部は、前記線分の検出を前記小領域毎に実行して、前記線分の対を複数検出し、
前記方向ベクトル検出部は、これら複数の線分の対に基づいて前記画像上の消失点を複数求め、これら消失点の中から、最も手前側に位置する一対の線分上の点及び各消失点を頂点とする画像上の三角形領域と、自車両が走行しているレーンの画像上の領域との共通領域の面積が最大となる消失点を選択し、この選択した消失点から前記方向ベクトルを求めることを特徴とする請求項２記載の車載用レーダ装置。
前記線分検出部は、前記画像の下辺に沿った最下帯状領域にある前記線分の対を検出し、
前記方向ベクトル検出部は、前記最下帯状領域にある前記線分の対に基づいて前記画像上の消失点を求め、この消失点を所定の矩形領域において離散化することによって画像上の複数の座標を決定し、これら座標の中から、前記最下帯状領域にある一対の線分上の点及び各座標を頂点とする画像上の三角形領域と、自車両が走行しているレーンの画像上の領域との共通領域の面積が最大となる座標を選択し、この選択した座標から前記方向ベクトルを求める構成であり、前記矩形領域は前記離散化前の消失点を中心とする規定の大きさの矩形領域であることを特徴とする請求項２記載の車載用レーダ装置。
前記方向ベクトル検出部は、
前記センサにより得られた検出対象の位置情報に基づき、当該検出対象が画像上で前記線分と重なる又は重なる可能性のある小領域を特定し、この小領域を前記消失点を求める対象から排除することを特徴とする請求項３記載の車載用レーダ装置。
前記制御手段は、
検出対象の水平方向位置が変化したと検知したこと、自車両の速度が変化したと検知したこと、自車両が水平に対して傾いたと検知したこと、及び自車両が車線変更したと検知したことのうち、何れか一つ又は複数の条件が成立したことを起因として、前記中心軸の向きを補正する新たな制御を開始することを特徴とする請求項１乃至５の何れかに記載の車載用レーダ装置。