JP6085212B2 - 運転支援装置 - Google Patents

Description

この発明は、運転支援装置に関するものである。

従来、自動車等の車両用の運転支援装置として、例えば車両に搭載された複数のカメラにより撮像される複数の画像を処理して合成し、車両が走行する道路上の車道中央線や車道外側線等の走行区分線をディスプレイに表示することにより、車両の進路誘導等を行うものが知られている。

ところで、車両には、乗車人数や走行状態等に対応して、車両の左右方向を中心軸として車両が前後方向に傾斜するいわゆるピッチングや、車両の前後方向を中心軸として左右方向に傾斜するローリングが発生する。また、例えば車両の経年劣化等により、複数のカメラの位置ずれが発生するおそれがある。そして、車両のピッチングやローリング、カメラの位置ずれ等に起因して、複数のカメラの撮像方向にずれが発生するため、得られる走行区分線データの画像に誤差が発生し、車両の進路誘導等を精度よく行うことができないおそれがある。

上述の問題を解決するために、例えば特許文献１には、撮像手段と、その撮像手段の撮像画像を変換して変換画像を出力する画像変換手段と、撮像画像を分析する画像分析手段とを有し、画像分析手段の分析結果を基に画像変換手段の有する撮像手段の撮像方向パラメータを補正して、補正された変換画像を出力させるよう構成した画像変換装置が記載されている。

より具体的には、撮像された画像が画像変換手段に入力され、鳥瞰画像（俯瞰画像）に変換されて画像分析手段に出力される。画像分析手段は、レーンマーク検出部により、平行な白色線として標示されるべきレーンマーク（走行区分線）を検出する。次に、レーンマークに傾きが生じている場合に、撮像手段のピッチ角の補正量を算出して出力し、撮像手段のピッチ角の補正量を基に再度画像変換を行う。そして、鳥瞰画像中の平行な白色線として標示されるべきレーンマークの傾きが無くなるまでルーチンを繰り返し、正しい鳥瞰画像となった後に出力している。
特許文献１に記載の発明によれば、撮像手段が設定通りの撮像方向を向いていない場合においても、撮像手段自体を調整することなく、画像変換手段における撮像方向パラメータを補正することにより、補正された変換画像を得ることができるとされている。

特開２００２−１４０６９６号公報

しかしながら、特許文献１においては、画像内の走行区分線データの傾きが無くなるまでルーチンを繰り返し、平行な走行区分線データとなるように補正を行うため、走行区分線が平行ではない道路に関しても、画像内の走行区分線データが平行となるように補正を行う。このため、走行区分線データに対して、誤った補正が行われるおそれがある。また、平行な一対の走行区分線のうち、いずれか一方の走行区分線のみしか検出できない場合には、補正自体が行えないおそれがある。したがって、走行区分線データのずれを精度よく補正できず、運転支援装置による運転支援が適切に行われないおそれがある。

そこで本発明は、上述した事情に鑑みてなされたものであって、撮像部により撮像された画像内のデータのずれを精度よく補正できる運転支援装置の提供を課題とする。

上記の課題を解決するため、本発明の請求項１に記載の運転支援装置（例えば、実施形態における運転支援装置１０）は、自車両（例えば、実施形態における自車両１）の前後方向に対向するように搭載され、前記自車両の周辺を撮像する少なくとも一対の撮像部（例えば、実施形態における前方カメラ２１および後方カメラ２２）と、少なくとも一対の前記撮像部により撮像された少なくとも一対の画像を分析する画像分析部（例えば、実施形態における画像分析部３１）と、を備えた運転支援装置において、前記自車両の走行時における複数の時点の前記画像を蓄積可能な記憶部（例えば、実施形態における記憶部３５）を備え、前記画像分析部は、前記一対の撮像部により撮像された前記画像のうち、第一時点において前方撮像部（例えば、実施形態における前方カメラ２１）で撮像した第一画像と、前記第一時点よりも後の第二時点において前記前方撮像部で撮像した領域と同じ前記領域を後方撮像部（例えば、実施形態における後方カメラ２２）で撮像した第二画像と、を比較することにより分析を行い、前記画像の分析結果に基づいて、前記撮像部の撮像方向のずれを検出することを特徴としている。

本発明によれば、自車両の前後方向および左右方向の少なくともいずれかの方向に対向するように搭載された少なくとも一対の撮像部と、撮像部により撮像された画像を分析する画像分析部とを備え、画像分析部は、画像の分析結果に基づいて、撮像部の撮像方向のずれを検出するので、複数の撮像部により撮像された画像の分析結果に基づいて精度よく撮像方向のずれを検出できる。

また、本発明の請求項２に記載の発明は、前記画像を補正する補正部（例えば、実施形態における補正部３３）を備え、前記画像分析部は、前記画像から道路（例えば、実施形態における道路Ｗ）上の走行区分線（例えば、実施形態における車道外側線Ｌ１）を走行区分線データ（例えば、実施形態における走行区分線データＤ１，Ｄ２）として検出する走行区分線検出処理を行い、前記補正部は、前記画像分析部による前記画像の分析結果に基づいて、前記撮像部の前記撮像方向のずれに起因する前記走行区分線データのずれを補正することを特徴としている。

本発明によれば、自車両に対向するように搭載された少なくとも一対の撮像部により得られた画像の分析結果に基づいて、撮像部の撮像方向のずれに起因する走行区分線データのずれを補正するので、高精度に走行区分線データを補正することができる。特に、走行区分線が平行であるか否かに関わらず走行区分線データを補正することができるとともに、平行な一対の走行区分線のうちいずれか一方の走行区分線のみを一対の撮像部により撮像するだけで走行区分線データを補正することができるので、従来技術よりも精度よく走行区分線データを補正することができる。

また、本発明の請求項３に記載の発明は、前記一対の撮像部は、前記自車両の前記前後方向を撮像し、前記画像分析部は、道路上の走行区分線を検出するとともに、前記一対の撮像部により撮像された一対の前記画像を一対の俯瞰画像（例えば、実施形態における俯瞰画像２１ａ，２１ｂ）に変換し、前記一対の俯瞰画像に基づいて、前記撮像部の撮像方向のずれを検出することを特徴としている。

本発明によれば、走行区分線を検出した一対の画像を一対の俯瞰画像に変換し、一対の俯瞰画像中で撮像方向のずれを検出するので、撮像部の撮像方向のずれを迅速に検出できる。

また、本発明の請求項４に記載の発明は、前記画像を補正する補正部を備え、前記画像分析部は、前記画像から前記走行区分線を走行区分線データとして検出する走行区分線検出処理を行い、前記補正部は、前記一対の俯瞰画像における前記走行区分線データがそれぞれ同一の仮想直線（例えば、実施形態における仮想直線Ｋ）と平行になるように補正することにより、前記撮像部の前記撮像方向のずれに起因する前記走行区分線データのずれを補正することを特徴としている。

本発明によれば、撮像部の撮像方向のずれを迅速に検出するとともに、一対の俯瞰画像における走行区分線データが理想データに沿う同一の仮想直線と平行になるように補正する際に、迅速に処理できる。

また、本発明の請求項５に記載の発明は、前記記憶部は、前記自車両の走行時における複数の時点の前記俯瞰画像を、複数の俯瞰画像データ情報として蓄積可能とされ、前記画像分析部は、複数の時点の前記俯瞰画像データ情報に基づいて、前記撮像部の前記撮像方向のずれを検出することを特徴としている。

本発明によれば、複数の俯瞰画像データ情報として蓄積可能な記憶部を備えているので、複数の時点の俯瞰画像データ情報に基づいて撮像部の撮像方向のずれを確実に検出できる。

また、本発明の請求項６に記載の発明は、前記画像を補正する補正部を備え、前記画像分析部は、前記画像から前記走行区分線を走行区分線データとして検出する走行区分線検出処理を行い、前記補正部は、複数の時点の前記俯瞰画像データ情報に基づいて、前記撮像部の前記撮像方向のずれに起因する前記走行区分線データのずれを補正することを特徴としている。

本発明によれば、複数の時点の俯瞰画像データ情報に基づいて撮像部の撮像方向のずれに起因する走行区分線データのずれを確実に検出するとともに、走行区分線データのずれを精度よく補正できる。

また、本発明の請求項７に記載の発明は、前記画像分析部は、前記画像から前記走行区分線を走行区分線データとして検出する走行区分線検出処理を行い、前記画像分析部は、複数の時点の前記俯瞰画像における前記走行区分線データに基づいて、前記走行区分線の基準データを生成するとともに、前記基準データに対する前記撮像部の撮像方向のずれを検出することを特徴としている。

本発明によれば、複数の時点の俯瞰画像における走行区分線データに基づいて、走行区分線の基準データを生成するので、基準データを精度よく作成できる。また、画像分析部は、基準データに対する撮像部の撮像方向のずれを検出するので、基準データの生成後に例えば自車両のピッチング等に起因して撮像部の撮像方向のずれが発生している場合でも、撮像部の撮像方向のずれを精度よく検出できる。

また、本発明の請求項７に記載の発明は、前記画像を補正する補正部を備え、前記補正部は、仮想直線に対する前記基準データの傾斜角度が所定範囲内である場合に、前記基準データに対応して、前記基準データの生成後における前記撮像部の前記撮像方向のずれに起因する前記走行区分線データのずれを補正することを特徴としている。

本発明によれば、基準データの生成後における撮像部の撮像方向のずれを精度よく検出できるとともに、撮像部の撮像方向のずれに起因する走行区分線データのずれを精度よく補正できる。

本発明によれば、自車両の前後方向および左右方向の少なくともいずれかの方向に対向するように搭載された少なくとも一対の撮像部と、撮像部により撮像された画像を分析する画像分析部とを備え、画像分析部は、画像の分析結果に基づいて、撮像部の撮像方向のずれを検出するので、複数の撮像部により撮像された画像の分析結果に基づいて精度よく撮像方向のずれを検出できる。したがって、検出された撮像方向のずれ量に基づいて、撮像部により撮像された画像内のデータのずれを精度よく補正できる。

運転支援装置のシステム構成図である。 運転支援装置を搭載した自車両の平面図である。 画像分析部による分析および走行区分線検出処理の説明図である。 画像分析部による分析および走行区分線検出処理の説明図である。 第一実施形態に係る運転支援装置が行う画像の補正のフローチャートである。 第二実施形態に係る運転支援装置が行う画像の補正の説明図である。 第三実施形態に係る運転支援装置が行う画像の補正の説明図である。

（第一実施形態）
以下、第一実施形態に係る運転支援装置について、図面を参照して説明をする。
図１は、運転支援装置１０のシステム構成図であり、図２は、運転支援装置１０を搭載した自車両１の平面図である。
図１に示すように、本実施形態に係る運転支援装置１０は、主に外界カメラユニット２５と、ナビゲーションシステム４０と、画像分析部３１、補正部３３および記憶部３５を含む制御装置３０と、を備えている。図２に示すように、運転支援装置１０は、自車両１に搭載されており、自車両１の周辺の画像を運転者に対して表示するものである。以下に、運転支援装置１０を構成する各部品の詳細について説明する。なお、以下の説明における前後左右等の向きは、特に記載が無ければ、図２に示す自車両１における向きと同一とする。

運転支援装置１０は、自車両１が進行する道路Ｗに設けられた車道外側線Ｌ１や車道中央線Ｌ２等の走行区分線に沿って自車両１を走行させるためのものであって、不図示の電動パワーステアリングユニットに対して必要な操舵アシストトルクを出力するとともに、車道外側線Ｌ１や車道中央線Ｌ２から自車両１がはみ出した場合には、運転者に対して警報を出力するものである。すなわち、運転支援装置１０は、いわゆるＬＫＡＳ（Ｌａｎｅ Ｋｅｅｐｉｎｇ Ａｓｓｉｓｔａｎｃｅ Ｓｙｓｔｅｍ）制御およびＬＤＷ（Ｌａｎｅ Ｄｅｐａｒｔｕｒｅ Ｗａｒｎｉｎｇ）制御を行う装置である。

外界カメラユニット２５は、自車両１の周辺における異なる方向を撮像するためのものであって、例えば、自車両１の前方の周辺領域を撮像領域とする前方カメラ２１（請求項の「撮像部」に相当。）と、自車両１の後方の周辺領域を撮像領域とする後方カメラ２２（請求項の「撮像部」に相当。）と、自車両１の左側方の周辺領域を撮像領域とする左側方カメラ２３（請求項の「撮像部」に相当。）と、自車両１の右側方の周辺領域を撮像領域とする右側方カメラ２４（請求項の「撮像部」に相当。）とを備えている。前方カメラ２１と後方カメラ２２とは、自車両１の前後方向において、対向するように搭載されている。また、左側方カメラ２３と右側方カメラ２４とは、自車両１の左右方向において、対向するように搭載されている。各カメラ２１〜２４は、それぞれ例えばＣＣＤ（Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ、電荷結合素子）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ、相補性金属酸化膜半導体）等の撮像素子を備えたカメラである。

図１に示すように、外界カメラユニット２５は、各カメラ２１〜２４の撮像により得られた画像を制御装置３０へ出力する。各カメラ２１〜２４の撮像により得られた各々の画像は、制御装置３０に設けられた後述の画像分析部３１により合成される。これにより、自車両１（図２参照）を俯瞰するように視点変換を行った画像（以下「俯瞰画像」という。）が得られる。ここで、一般に俯瞰画像とは、車両を真上から見た画像であって、正しい取付位置および取付角度にカメラを設置した場合、公知の方法で車両を真上から見たように変換した画像である。俯瞰画像は、制御装置３０を介してナビゲーションシステム４０に出力されて、ディスプレイ４３に表示される。

ナビゲーションシステム４０は、自車両１（図２参照）の現在位置を表示したり、現在位置から目的地までの経路を探索して自車両１（図２参照）を誘導したりするためのものであって、ナビゲーション制御部４１と、ディスプレイ４３と、を主に備えている。図２に示すように、ナビゲーションシステム４０は、例えば自車両１の不図示のインストルメントパネルに収容されている。
ナビゲーション制御部４１は、図示しない現在位置検出部と、地図データ記憶部と、ナビゲーション処理部と、を主に備えている。
現在位置検出部は、人工衛星を利用したＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）信号等の測位信号を受信して、自車両１の現在位置を検出する。
地図データ記憶部は、ハードディスク装置等の磁気ディスク装置や、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等の光ディスク装置等のコンピュータ読み取り可能な記憶媒体に、地図データを記録して構成されている。その地図データとして、例えば道路や交差点の位置および形状等の道路データや、建物の位置および形状等の建物データ、駐車場の位置および形状等の駐車場データ等が格納されている。
ナビゲーション処理部は、現在位置検出部で検出された現在位置やナビゲーションシステム４０に入力された目的地、地図データ記憶部から読み出された地図データ等に基づいて、自車両１の走行経路を探索する。

ディスプレイ４３は、例えば液晶ディスプレイであって、自車両１の不図示のインストルメントパネル内に運転者が視認可能なように設置される。ディスプレイ４３には、ナビゲーション制御部４１の地図データに基づく画像や、制御装置３０から出力される自車両１の俯瞰画像等が表示される。

図１に示すように、制御装置３０は、画像分析部３１と、補正部３３と、記憶部３５とを備えて構成されており、上述した外界カメラユニット２５およびナビゲーションシステム４０が接続されている。
外界カメラユニット２５が接続されることにより、制御装置３０には、各カメラ２１〜２４により得られた自車両１（図２参照）の周囲の画像が入力される。また、制御装置３０は、自車両１の周囲の画像をナビゲーションシステム４０に出力し、ディスプレイ４３に表示させている。

図３および図４は、画像分析部３１（図１参照）による分析および走行区分線検出処理の説明図である。なお、図３および図４では、各カメラ２１〜２４により撮像された各々の画像のうち、自車両１の前後方向に搭載された一対のカメラ２１，２２（前方カメラ２１および後方カメラ２２）により撮像された一対の画像を一対の俯瞰画像２１ａ，２２ａに変換している状態を模式的に図示している。また、自車両１の左右方向に搭載された一対のカメラ２３，２４（左側方カメラ２３および右側方カメラ２４）により撮像された一対の画像に基づく俯瞰画像については、図示を省略している。また、図３および図４における紙面上側が自車両１の進行方向となっている。

図３に示すように、画像分析部３１（図１参照）は、前方カメラ２１および後方カメラ２２により撮像された一対の画像を分析等行っている。
より具体的には、画像分析部３１（図１参照）は、前方カメラ２１および後方カメラ２２により撮像された一対の画像から、例えば自車両１が進行する道路Ｗに設けられた車道外側線Ｌ１や車道中央線Ｌ２を分析し、走行区分線データＤ１，Ｄ２として検出する走行区分検出処理を行う。なお、図３においては、車道外側線Ｌ１、車道外側線Ｌ１に沿う仮想直線Ｋおよび車道中央線Ｌ２を二点鎖線で図示するとともに、一対の俯瞰画像２１ａ，２２ａ中の走行区分線データＤ１，Ｄ２をそれぞれ実線で図示している。ここで、仮想直線Ｋは、自車両１から自車両１の前後方向へ自車両１の車長方向と平行になるように延長した直線であって、図３においては、車道外側線Ｌ１に沿う仮想直線Ｋである。

また、画像分析部３１は、例えば左側方の車道外側線Ｌ１を走行区分線データＤ１，Ｄ２として検出するとともに、前方カメラ２１および後方カメラ２２により撮像された一対の画像を一対の俯瞰画像２１ａ，２２ａに変換している。
さらに、画像分析部３１は、一対の俯瞰画像２１ａ，２２ａ中の走行区分線データＤ１，Ｄ２の比較を行う分析を行い、例えば自車両１のピッチングや各カメラ２１〜２４の取付誤差等に起因する前方カメラ２１および後方カメラ２２の撮像方向のずれを検出している。ここで、ピッチングとは、自車両１の乗車人数や走行状態等に起因して、自車両１の左右方向を中心軸として、自車両１が前後方向に傾斜することをいう。

例えば、図３に示す例においては、前方カメラ２１の俯瞰画像２１ａ中の走行区分線データＤ１は、自車両１の進行方向の上流側から下流側（図３の紙面下側から上側）に向かって、車道外側線Ｌ１の内側において道路Ｗの外側から内側に角度θ１だけ傾斜している。また、後方カメラ２２の俯瞰画像２２ａ中の走行区分線データＤ２は、自車両１の進行方向の上流側から下流側（図３の紙面下側から上側）に向かって、車道外側線Ｌ１の外側において道路Ｗの外側から内側に角度θ２だけ傾斜している。このように、前方カメラ２１の俯瞰画像２１ａ中の走行区分線データＤ１および後方カメラ２２の俯瞰画像２２ａ中の走行区分線データＤ２が前後方向で異なる方向に傾斜している場合、画像分析部３１（図１参照）は、自車両１のピッチング（図３の例においては、後方へのピッチング）に起因して、前方カメラ２１および後方カメラ２２の撮像方向がずれていると検出するとともに、検出した走行区分線データＤ１，Ｄ２を仮想直線Ｋと平行にすることで、撮像方向のずれ量を算出する。すなわち、角度θ１および角度θ２に基づいて、前方カメラ２１および後方カメラ２２の撮像方向のずれ量を算出することとなる。

これに対して、例えば、図４に示す例においては、自車両１の進行方向の上流側から下流側に向かって、前方カメラ２１の俯瞰画像２１ａ中の走行区分線データＤ１が、車道外側線Ｌ１の内側において道路Ｗの外側から内側に角度θ１だけ傾斜している。これに対して、後方カメラ２２の俯瞰画像２２ａ中の走行区分線データＤ２は、車道外側線Ｌ１に対して傾斜していない。このように、前方カメラ２１の俯瞰画像２１ａ中の走行区分線データＤ１のみが傾斜している場合、画像分析部３１（図１参照）は、自車両１の前方カメラ２１の取付誤差に起因して前方カメラ２１の撮像方向がずれているか、車道外側線Ｌ１が実際に傾斜していることとなる。

図１に示すように、補正部３３は、各カメラ２１〜２４により撮像された画像を補正する。例えば、図３に示す例においては、補正部３３（図１参照）は、画像分析部３１で算出した前方カメラ２１および後方カメラ２２の撮像方向のずれ量を撮像方向の補正量として、再度俯瞰画像２１ａ，２２ａを生成する際の演算に用いることで、前方カメラ２１および後方カメラ２２の撮像方向のずれに起因する走行区分線データＤ１，Ｄ２のずれを補正する。

図１に示すように、記憶部３５は、例えば、フラッシュメモリやＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等のメモリにより構成される。記憶部３５は、例えば各カメラ２１〜２４により撮像された各々の画像やナビゲーションシステム４０等から制御装置３０に対して出力される種々のデータを記憶している。

図５は、第一実施形態に係る運転支援装置が行う画像の補正のフローチャートである。
続いて、図５に示すフローチャートを用いて、本実施形態の運転支援装置が行う画像の補正について説明する。なお、以下では、前方カメラ２１および後方カメラ２２の撮像方向のずれに起因する走行区分線データＤ１，Ｄ２のずれを補正する場合のフローを説明する。また、以下の説明における各部品等の符号については、図１から図４を参照されたい。

ステップＳ１１では、前方カメラ２１および後方カメラ２２により撮像された画像を、例えば制御装置３０の記憶部３５に記憶する。
ステップＳ１３では、画像分析部３１により、走行区分線検出処理および俯瞰画像変換を行う。具体的には、前方カメラ２１および後方カメラ２２により撮像された一対の画像から、車道外側線Ｌ１に対応する走行区分線データＤ１，Ｄ２として検出するとともに、前方カメラ２１および後方カメラ２２により撮像された一対の画像を一対の俯瞰画像２１ａ，２２ａに変換する。

ステップＳ１５では、画像分析部３１により、走行区分線データＤ１，Ｄ２の比較を行う。具体的には、前方カメラ２１の俯瞰画像２１ａ中の走行区分線データＤ１および後方カメラ２２の俯瞰画像２２ａ中の走行区分線データＤ２が、それぞれ車道外側線Ｌ１に対して傾斜しているか否かの分析を行う。その後、前方カメラ２１の俯瞰画像２１ａ中の走行区分線データＤ１および後方カメラ２２の俯瞰画像２２ａ中の走行区分線データＤ２における傾斜の方向についての比較を行う。

ステップＳ１７では、画像分析部３１により、前方カメラ２１および後方カメラ２２の撮像方向の補正量を算出する。前方カメラ２１および後方カメラ２２の撮像方向の補正量は、例えば図３に示す例においては、車道外側線Ｌ１に沿う仮想直線Ｋに対する前方カメラ２１の俯瞰画像２１ａ中の走行区分線データＤ１の傾斜角度θ１、および車道外側線Ｌ１に沿う仮想直線Ｋに対する後方カメラ２２の俯瞰画像２２ａ中の走行区分線データＤ２の傾斜角度θ２に基づく角度とされる。
ステップＳ１９では、補正部３３により、画像分析部３１で算出した前方カメラ２１および後方カメラ２２の撮像方向の補正量を、再度俯瞰画像２１ａ，２２ａを生成する際の演算に用いることで、前方カメラ２１および後方カメラ２２の撮像方向のずれに起因する走行区分線データＤ１，Ｄ２のずれを補正する。
走行区分線データＤ１，Ｄ２の補正が終了した時点で、本実施形態の運転支援装置１０が行う補正のフローチャートが終了する。

本実施形態によれば、自車両１の前後方向に対向するように搭載された一対のカメラ２１，２２（前方カメラ２１および後方カメラ２２）と、一対のカメラ２１，２２により撮像された画像を分析する画像分析部３１とを備え、画像分析部３１は、画像の分析結果に基づいて、一対のカメラ２１，２２の撮像方向のずれを検出するので、一対のカメラ２１，２２により撮像された画像の分析結果に基づいて精度よく撮像方向のずれを検出できる。したがって、検出された撮像方向のずれ量に基づいて、一対のカメラ２１，２２により撮像された画像内の走行区分線データＤ１，Ｄ２のずれを精度よく補正できる。

また、自車両１に対向するように搭載された一対のカメラ２１，２２により得られた画像の分析結果に基づいて、一対のカメラ２１，２２の撮像方向のずれに起因する走行区分線データＤ１，Ｄ２のずれを補正するので、高精度に走行区分線データＤ１，Ｄ２を補正することができる。特に、車道外側線Ｌ１が平行であるか否かに関わらず走行区分線データＤ１，Ｄ２を補正することができるとともに、平行な一対の車道外側線のうち一方（実施形態では左側方）の車道外側線Ｌ１のみを一対のカメラ２１，２２により撮像するだけで走行区分線データＤ１，Ｄ２を補正することができるので、従来技術よりも精度よく走行区分線データＤ１，Ｄ２を補正することができる。

また、一対の画像を一対の俯瞰画像２１ａ，２２ａに変換するので、一対の俯瞰画像２１ａ，２２ａにおける走行区分線データＤ１，Ｄ２の理想データに沿う仮想直線Ｋに対する傾斜角度θ１，θ２を容易に算出できる。したがって、一対の俯瞰画像２１ａ，２２ａにおける走行区分線データＤ１，Ｄ２が理想データに沿う仮想直線Ｋと平行になるように補正する際に、迅速に処理できる。

（第二実施形態）
続いて、第二実施形態に係る運転支援装置が行う画像の補正について説明をする。
図６は、第二実施形態に係る運転支援装置が行う画像の補正の説明図である。なお、図６（ａ）は、第一時点における自車両１の前方カメラ２１および後方カメラ２２による俯瞰画像２１ａ，２２ａを模式的に図示しており、図６（ｂ）は、第一時点よりも後の第二時点における自車両１の前方カメラ２１および後方カメラ２２による俯瞰画像２１ａ，２２ａを模式的に図示している。また、図６（ａ）の第一時点における前方カメラ２１による俯瞰画像２１ａ中の走行区分線データＤ１Ａ、および図６（ｂ）の第二時点における後方カメラ２２による俯瞰画像２２ａ中の走行区分線データＤ２Ｂは、それぞれ車道外側線Ｌ１における同一の領域を撮像した結果得られたデータである。

第一実施形態では、補正部３３は、画像分析部３１による画像の分析結果に基づいて、前方カメラ２１および後方カメラ２２の撮像方向のずれに起因する走行区分線データＤ１，Ｄ２のずれを補正していた（図１から図４参照）。
これに対して、第二実施形態では、図６に示すように、補正部３３（図１参照）は、複数の時点の俯瞰画像データ情報に基づいて、前方カメラ２１および後方カメラ２２の撮像方向のずれに起因する走行区分線データＤ１，Ｄ２のずれを補正する点で、第一実施形態とは異なっている。なお、以下では、第一実施形態と同様の構成部分については説明を省略し、異なる部分についてのみ説明する。

記憶部３５（図１参照）は、自車両１の走行時における複数の時点の俯瞰画像を、複数の俯瞰画像データ情報として蓄積する。
補正部３３（図１参照）は、複数の時点の俯瞰画像データ情報に基づいて、前方カメラ２１および後方カメラ２２の撮像方向のずれに起因する走行区分線データＤ１，Ｄ２のずれを補正する。具体的には、以下のように補正を行う。
図６（ａ）に示すように、第一時点において、自車両１の進行方向の上流側から下流側（図６（ａ）の紙面下側から上側）に向かって、前方カメラ２１の俯瞰画像２１ａ中の走行区分線データＤ１Ａは、車道外側線Ｌ１の内側において道路Ｗの外側から内側に角度θ１だけ傾斜している。また、図６（ｂ）に示すように、第一時点よりも後の第二時点において、後方カメラ２２の俯瞰画像２２ａ中の走行区分線データＤ２Ｂは、車道外側線Ｌ１に対して傾斜していない。このとき、画像分析部３１（図１参照）は、自車両１の前方カメラ２１の取付誤差に起因して前方カメラ２１の撮像方向がずれていると検出するとともに、検出した走行区分線データＤ１を仮想直線Ｋと平行にすることで、撮像方向のずれ量を算出する。すなわち、角度θ１に基づいて、前方カメラ２１の撮像方向のずれ量を算出する。そして、補正部３３（図１参照）は、画像分析部３１で算出した前方カメラ２１の撮像方向のずれ量を撮像方向の補正量として、再度俯瞰画像２１ａを生成する際の演算に用いることで、前方カメラ２１の撮像方向のずれに起因する走行区分線データＤ１のずれを補正する。

第二実施形態によれば、複数の俯瞰画像データ情報として蓄積可能な記憶部３５を備え、補正部３３は、複数の時点の俯瞰画像データ情報に基づいて補正を行うので、複数の時点における俯瞰画像データ情報を比較して走行区分線データＤ１，Ｄ２のずれを確実に検出できる。したがって、走行区分線データＤ１，Ｄ２のずれを精度よく補正できる。

（第三実施形態）
続いて、第三実施形態に係る運転支援装置が行う画像の補正について説明をする。
図７は、第三実施形態に係る運転支援装置が行う画像の補正の説明図である。なお、図７（ａ）は、第一時点における自車両１の前方カメラ２１および後方カメラ２２による俯瞰画像２１ａ，２２ａを模式的に図示しており、図７（ｂ）は、第一時点よりも後の第二時点における自車両１の前方カメラ２１および後方カメラ２２による俯瞰画像２１ａ，２２ａを模式的に図示している。また、図７（ａ）の第一時点における前方カメラ２１による俯瞰画像２１ａ中の走行区分線データＤ１Ａ、および図７（ｂ）の第二時点における後方カメラ２２による俯瞰画像２２ａ中の走行区分線データＤ２Ｂは、それぞれ車道外側線Ｌ１における同一の領域を撮像した結果得られたデータである。

第一実施形態では、補正部３３は、画像分析部３１による画像の分析結果に基づいて、前方カメラ２１および後方カメラ２２の撮像方向のずれに起因する走行区分線データＤ１，Ｄ２のずれを補正していた（図１から図４参照）。
これに対して、第三実施形態では、図７に示すように、補正部３３（図１参照）は、複数の時点の俯瞰画像データ情報に基づいて、車道外側線Ｌ１の基準データを作成し、基準データに対応して、前方カメラ２１および後方カメラ２２の撮像方向のずれに起因する走行区分線データＤ１，Ｄ２のずれを補正する点で、第一実施形態とは異なっている。なお、以下では、第一実施形態と同様の構成部分については説明を省略し、異なる部分についてのみ説明する。

第三実施形態では、例えば自車両１にピッチングが発生しており、このピッチングに起因する前方カメラ２１および後方カメラ２２の撮像方向のずれを検出して、走行区分線データＤ１，Ｄ２のずれを補正する。具体的には、以下のように補正を行う。

図７（ａ）に示す第一時点においては、前方カメラ２１の俯瞰画像２１ａ中の走行区分線データＤ１Ａは、自車両１の進行方向の上流側から下流側（図７（ａ）の紙面下側から上側）に向かって、車道外側線Ｌ１の内側において道路Ｗの外側から内側に角度θ１だけ傾斜している。また、後方カメラ２２の俯瞰画像２２ａ中の走行区分線データＤ２Ａは、自車両１の進行方向の上流側から下流側（図７（ａ）の紙面下側から上側）に向かって、車道外側線Ｌ１の外側において道路Ｗの外側から内側に角度θ２だけ傾斜している。

また、図７（ｂ）に示す第二時点においては、前方カメラ２１の俯瞰画像２１ａ中の走行区分線データＤ１Ｂは、自車両１の進行方向の上流側から下流側（図７（ｂ）の紙面下側から上側）に向かって、車道外側線Ｌ１の外側において道路Ｗの内側から外側に角度θ３だけ傾斜している。また、後方カメラ２２の俯瞰画像２２ａ中の走行区分線データＤ２Ｂは、自車両１の進行方向の上流側から下流側（図７（ｂ）の紙面下側から上側）に向かって、車道外側線Ｌ１の内側において道路Ｗの内側から外側に角度θ４だけ傾斜している。

ここで、画像分析部３１（図１参照）は、第一時点および第二時点の俯瞰画像における走行区分線データＤ１，Ｄ２に基づいて、車道外側線Ｌ１の基準データを生成する。前方カメラ２１に対応する基準データは、例えば、第一時点における前方カメラ２１の俯瞰画像２１ａ中の走行区分線データＤ１Ａ（図７（ａ）参照）と、第二時点における前方カメラ２１の俯瞰画像２１ａ中の走行区分線データＤ１Ｂ（図７（ｂ）参照）との傾斜角度の平均化処理を行うことで生成される。すなわち、前方カメラ２１に対応する基準データの仮想直線Ｋに対する傾斜角度をθとしたとき、
θ＝（θ１＋θ３）／２・・・（１）
により算出でき、これにより、前方カメラ２１に対応する基準データを生成することができる。

続いて、画像分析部３１は、仮想直線Ｋに対する前方カメラ２１に対応する基準データの傾斜角度θが所定範囲内である場合に、基準データが信頼できるものであると判断し、信頼できると判断した場合に、前方カメラ２１に対応する基準データと、基準データの生成後における時点で検出した走行区分線データＤ１の傾斜が異なる場合にピッチングが発生していると判断するとともに、前方カメラ２１に対応する基準データを基準データの生成後における時点で検出した走行区分線データＤ１と平行にすることで、撮像方向のずれ量を算出する。すなわち、前方カメラ２１に対応する基準データと、基準データの生成後における時点で検出した走行区分線データＤ１との角度差に基づいて、前方カメラ２１の撮像方向のずれ量を算出する。
続いて、補正部３３は、画像分析部３１で算出した前方カメラ２１の撮像方向のずれ量を前方カメラ２１の撮像方向の補正量として、再度俯瞰画像２１ａを生成する際の演算に用いることで、前方カメラ２１の撮像方向のずれに起因する走行区分線データＤ１のずれの補正を行う。
なお、後方カメラ２２についても、前方カメラ２１と同様に、撮像方向のずれ量を算出し、その後方カメラ２２の撮像方向のずれ量を後方カメラ２２の撮像方向の補正量として、再度俯瞰画像２２ａを生成する際の演算に用いることで、後方カメラ２２の撮像方向のずれに起因する走行区分線データＤ２のずれの補正を行ってもよい。

第三実施形態によれば、複数の時点の俯瞰画像２１ａ，２１ｂにおける走行区分線データＤ１，Ｄ２に基づいて、走行区分線である車道外側線Ｌ１の基準データを生成するので、基準データを精度よく作成できる。また、補正部３３は、前方カメラ２１および後方カメラ２２の撮像方向のずれ量を前方カメラ２１および後方カメラ２２の撮像方向の補正量として、前方カメラ２１および後方カメラ２２の撮像方向のずれに起因する走行区分線データＤ１，Ｄ２のずれを補正するので、基準データの生成後における走行区分線データＤ１，Ｄ２のずれを精度よく補正できる。

なお、この発明の技術範囲は上記の実施形態に限られるものではなく、本発明の趣旨を逸脱しない範囲において種々の変更を加えることが可能である。

各実施形態では、前方カメラ２１および後方カメラ２２の撮像方向のずれに起因する走行区分線データＤ１，Ｄ２のずれを補正する場合について説明した。これに対して、例えば自車両１のローリングによる左側方カメラ２３および右側方カメラ２４の撮像方向のずれに起因する走行区分線データのずれを補正する場合についても、同様の処理を行うことで実現できる。

各実施形態では、走行区分線のうち左側方の車道外側線Ｌ１に対応するデータを走行区分線データＤ１，Ｄ２として検出していた。これに対して、例えば、走行区分線のうち、右側の車道外側線や車道中央線等に対応するデータを走行区分線データとして検出してもよい。また、走行区分線以外にも、例えば駐車場の白線等を走行区分線データとして検出してもよい。

運転支援装置１０のシステム構成は、各実施形態に限定されない。例えば、外界カメラユニット２５の個数は４個に限定されない。また、各カメラ２１〜２４により撮像された画像を表示する手段として、ナビゲーションシステム４０のディスプレイ４３に限定されることはなく、例えば、いわゆるヘッドアップディスプレイ等であってもよい。

また、第二実施形態では、図６（ａ）の第一時点における前方カメラ２１の俯瞰画像２１ａ中の走行区分線データＤ１Ａおよび図６（ｂ）の第二時点における前方カメラ２１の俯瞰画像２１ａ中の走行区分線データＤ１Ｂが、それぞれ仮想直線Ｋに対して同じ角度θ１だけ傾斜している場合について説明をした。これに対して、図６（ａ）の第一時点における前方カメラ２１の俯瞰画像２１ａ中の走行区分線データＤ１Ａおよび図６（ｂ）の第二時点における前方カメラ２１の俯瞰画像２１ａ中の走行区分線データＤ１Ｂが、それぞれ仮想直線Ｋに対して異なる角度だけ傾斜している場合には、平均化を行って仮想直線Ｋに対する平均の傾斜角度θを算出し、その平均の傾斜角度θに基づいて前方カメラ２１の撮像方向のずれ量を算出してもよい。

また、第三実施形態では、第一時点および第二時点の二時点の俯瞰画像における走行区分線データＤ１，Ｄ２に基づいて、車道外側線Ｌ１の基準データを生成していたが、時点の数は二時点に限定されることはなく、二以上の多数の時点の俯瞰画像における走行区分線データに基づいて、車道外側線Ｌ１の基準データを生成してもよい。

その他、本発明の趣旨を逸脱しない範囲で、上記した実施の形態における構成要素を周知の構成要素に置き換えることは適宜可能である。

１ 自車両
１０ 運転支援装置
２１ 前方カメラ（撮像部）
２１ａ 俯瞰画像
２２ 後方カメラ（撮像部）
２２ａ 俯瞰画像
２３ 左側方カメラ（撮像部）
２４ 右側方カメラ（撮像部）
３１ 画像分析部
３３ 補正部
３５ 記憶部
Ｄ１ 走行区分線データ
Ｄ２ 走行区分線データ
Ｋ 仮想直線
Ｌ１ 車道外側線（走行区分線）
Ｌ２ 車道中央線（走行区分線）
Ｗ 道路

Claims (8)

1. 自車両の前後方向に対向するように搭載され、前記自車両の周辺を撮像する少なくとも一対の撮像部と、少なくとも一対の前記撮像部により撮像された少なくとも一対の画像を分析する画像分析部と、を備えた運転支援装置において、
   前記自車両の走行時における複数の時点の前記画像を蓄積可能な記憶部を備え、
   前記画像分析部は、前記一対の撮像部により撮像された前記画像のうち、
   第一時点において前方撮像部で撮像した第一画像と、前記第一時点よりも後の第二時点において前記前方撮像部で撮像した領域と同じ前記領域を後方撮像部で撮像した第二画像と、を比較することにより分析を行い、
   前記画像の分析結果に基づいて、前記撮像部の撮像方向のずれを検出することを特徴とする運転支援装置。
2. 請求項１に記載の運転支援装置であって、
   前記画像を補正する補正部を備え、
   前記画像分析部は、前記画像から道路上の走行区分線を走行区分線データとして検出する走行区分線検出処理を行い、
   前記補正部は、前記画像分析部による前記画像の分析結果に基づいて、前記撮像部の前記撮像方向のずれに起因する前記走行区分線データのずれを補正することを特徴とする運転支援装置。
3. 請求項１に記載の運転支援装置であって、
   前記一対の撮像部は、前記自車両の前記前後方向を撮像し、
   前記画像分析部は、道路上の走行区分線を検出するとともに、前記一対の撮像部により撮像された一対の前記画像を一対の俯瞰画像に変換し、前記一対の俯瞰画像に基づいて、前記撮像部の撮像方向のずれを検出することを特徴とする運転支援装置。
4. 請求項３に記載の運転支援装置であって、
   前記画像を補正する補正部を備え、
   前記画像分析部は、前記画像から前記走行区分線を走行区分線データとして検出する走行区分線検出処理を行い、
   前記補正部は、前記一対の俯瞰画像における前記走行区分線データがそれぞれ同一の仮想直線と平行になるように補正することにより、前記撮像部の前記撮像方向のずれに起因する前記走行区分線データのずれを補正することを特徴とする運転支援装置。
5. 請求項３に記載の運転支援装置であって、
   前記記憶部は、前記自車両の走行時における複数の時点の前記俯瞰画像を、複数の俯瞰画像データ情報として蓄積可能とされ、
   前記画像分析部は、複数の時点の前記俯瞰画像データ情報に基づいて、前記撮像部の前記撮像方向のずれを検出することを特徴とする運転支援装置。
6. 請求項５に記載の運転支援装置であって、
   前記画像を補正する補正部を備え、
   前記画像分析部は、前記画像から前記走行区分線を走行区分線データとして検出する走行区分線検出処理を行い、
   前記補正部は、複数の時点の前記俯瞰画像データ情報に基づいて、前記撮像部の前記撮像方向のずれに起因する前記走行区分線データのずれを補正することを特徴とする運転支援装置。
7. 請求項５に記載の運転支援装置であって、
   前記画像分析部は、前記画像から前記走行区分線を走行区分線データとして検出する走行区分線検出処理を行い、
   前記画像分析部は、複数の時点の前記俯瞰画像における前記走行区分線データに基づいて、前記走行区分線の基準データを生成するとともに、前記基準データに対する前記撮像部の撮像方向のずれを検出することを特徴とする運転支援装置。
8. 請求項７に記載の運転支援装置であって、
   前記画像を補正する補正部を備え、
   前記補正部は、仮想直線に対する前記基準データの傾斜角度が所定範囲内である場合に、前記基準データに対応して、前記基準データの生成後における前記撮像部の前記撮像方向のずれに起因する前記走行区分線データのずれを補正することを特徴とする運転支援装置。

Images