JP5561566B2 - 運転支援装置 - Google Patents

Description

本発明は、車載カメラによる撮影画像に案内画像を重畳させて運転を支援する運転支援装置に関する。

駐車時など、細やかな運転操作が求められる場合にドライバーの操作負担を軽減するための運転支援装置が実用化されている。特開平１１−３３４４７０号公報（特許文献１）には、そのような運転支援装置として、駐車に対して有用な情報を適切に提供することを目的とした駐車補助装置が開示されている。この駐車補助装置は、操舵角に基づいて車両の走行予想軌跡を求め、その走行予想軌跡を後方画像に重畳表示する。この走行予想軌跡は、操舵角と車両のホイールベースと旋回半径との関係式に基づいて導かれる。そして、路面座標系（Ｘ，Ｙ）とモニタ装置のディスプレイ上での座標系（ｘ，ｙ）との写像関係に基づいて座標変換され、後方画像に重畳される（特許文献１：第２７〜２９段落、図８〜図１２等）。

特開平１１−３３４４７０号公報

このような演算は、特許文献１の図１にも示されているように、ＣＰＵを中核として実行される。即ち、イメージセンサを含む光学系と信号処理回路とを有するカメラ装置と、モニタ装置との間に上記のような比較的高度な演算が可能な画像処理装置を必要とする。また、ＣＰＵの演算性能が低ければ、走行予想軌跡の描画が遅くなり、舵角に連動した滑らかな表示とはならない可能性がある。一方、車載の電装機器は増加傾向にあり、車両全体としての電力消費の抑制や、電装装置に掛かるコストの低減に対する市場の要求は高まっている。

上記背景に鑑み、簡易なシステム構成で車載カメラによる撮影画像に案内画像を重畳させてドライバーの操作負担を軽減することが望まれる。

上記課題に鑑みた、本発明に係る運転支援装置の特徴構成は、
車載カメラにより撮影された車両の周辺の撮影画像を受け取る画像受取部と、
ドライバーによる前記車両の運転操作を補助するガイド線を含み、グラフィック画像を用いたガイド表示により構成されたガイド画像を、前記撮影画像に重畳させた表示画像を前記車両内の表示装置に表示させる画像出力部と、
前記撮影画像上において前記車両の実際の舵角に応じた予想進路を示して運転操作を補助する前記ガイド線を予想進路線として、少なくとも、予め所定の舵角ごとのグラフィック画像として生成された複数の前記予想進路線を、前記ガイド表示として記憶する記憶部と、
前記車載カメラの取付位置に応じた前記車載カメラの回転パラメータに基づき、前記撮影画像上の実際の座標値と理想的な座標値との差分を求め、その差分に基づいて２次元直交座標系の２軸それぞれのオフセット値が演算され、
少なくとも、前記２次元直交座標系の２軸それぞれのオフセット値を用いて、前記車両の実際の舵角に応じて前記記憶部から前記ガイド表示としての前記予想進路線を取得し、取得した前記ガイド表示を用いて前記ガイド画像を構成して前記画像出力部に提供するガイド画像提供部と、を備える点にある。

これによれば、車両の舵角に応じて予想進路線の撮影画像における座標が演算されて描画されるのではなく、予め舵角に応じて生成されて記憶部に記憶された予想進路線が実際の舵角に応じて取得される。従って、複雑な演算を必要とすることなく、単純に舵角を引数として予想進路線を用いたガイド画像を得ることができる。また、撮影画像に対する予想進路線の付加も、予想進路線を用いたガイド画像を撮影画像に重畳させることによって実現されるので、複雑な演算を必要とすることなく実行可能である。その結果、簡易なシステム構成で車載カメラによる撮影画像に案内画像を重畳させてドライバーの操作負担を軽減することが可能となる。

ここで、前記ガイド画像提供部は、前記撮影画像の撮影周期又は前記表示装置における前記表示画像の書き換え周期に同期して前記記憶部から前記ガイド表示を取得して、前記ガイド画像を前記画像出力部に提供すると好適である。例えば、同期の一例として、表示画像の書き換え周期と同一周期でガイド画像を画像出力部に提供すると、画像出力部は表示画像の書き換え周期ごとに新しいガイド画像を得ることができる。撮影画像がほぼそのまま表示画像のベースとなる場合には、車載カメラにより撮影された撮影画像と同じ速度で、ガイド画像も変化することになる。従って、演算負荷を大きく軽減させた簡易な構成でありながら、演算によって生成したガイド表示を直接に撮影画像に描画して表示画像とする場合と全く同様の視覚効果を得ることができる。尚、ガイド表示の変化が撮影画像や表示画像のフレーム速度よりも低速でも問題ない場合には、表示画像の書き換え周期の整数倍の周期でガイド画像を提供してもよい。この場合でも、表示画像の書き換え周期に同期していることに変わりはない。表示画像の書き換え周期に同期してガイド画像を提供することにより、少ない違和感で良好な表示画像を表示装置に表示させることができる。尚、当然ながら、表示画像の書き換え周期の２倍の周期でガイド画像を提供し、次に３倍の周期でガイド画像を提供し、次に２倍の周期でガイド画像を提供し、というように、全体として書き換え周期の５倍の周期で２枚のガイド画像を提供するような変則的な場合も、同期に含まれる。尚、モニタ装置が表示可能な映像フォーマットと車載カメラの撮影画像の映像フォーマットとが一致していなければ、撮影画像をモニタ装置に表示することができない。従って、表示画像の書き換え周期に同期することと、撮影画像の撮影周期に同期することとは、実質的に同じである。

また、前記撮影画像の２次元座標系における基準点の理想的な座標と実際の座標との誤差を、前記車両に対する前記車載カメラの取り付け時の位置に関する光学系の誤差として、本発明に係る運転支援装置の前記ガイド画像提供部は、前記位置に関する光学系の誤差を前記表示画像上において補正する補正パラメータに基づいて、前記表示画像における前記ガイド表示の位置を補正すると好適である。実際の車両では、部品の公差や取り付け公差などの影響により、撮影画像の２次元座標系における基準点の理想的な座標と実際の座標とが一致しない場合がある。基準点の座標の誤差は、２次元座標系の射影平面上のオフセットであるから、そのようなオフセット量を定義する補正パラメータによって簡単に補正することができる。つまり、座標変換などの複雑な演算を実施することなく、単に２次元座標系における座標値にオフセットを与えれば足りる。このような補正により、極めて簡単に位置に関する光学系の誤差を補正することができる。

また、前記撮影画像の理想的な状態に対する前記撮影画像の回転角度を、前記車両に対する前記車載カメラの取り付け時の回転に関する光学系の誤差とし、本発明に係る運転支援装置の前記記憶部は、さらに、前記回転に関する光学系の誤差に応じて、前記車両の舵角に応じた前記ガイド表示を示すグラフィック画像を記憶し、前記ガイド画像提供部は、前記車両の実際の舵角と前記車両に対する前記車載カメラの取り付け時の回転に関する光学系の誤差を示す回転パラメータとに応じて前記記憶部から前記予想進路線のグラフィック画像を取得すると好適である。実際の車両では、部品の公差や取り付け公差などの影響により、撮影画像の２次元座標系における座標軸の理想的な角度と実際の角度とが一致しない場合がある。座標軸の角度誤差は撮影画像にとっては回転を伴う誤差であるから、これを逆回転させることによって補正すると座標変換を必要とする。このような座標変換の演算負荷は比較的高いが、本構成によれば、記憶部がさらに回転に関する光学系の誤差に応じてラフィック画像を記憶し、ガイド画像提供部は、実際の舵角と回転パラメータとに応じて記憶部から予想進路線のグラフィック画像を取得する。このように、ガイド画像提供部は、回転に関する光学系の誤差を補正するために座標変換などの負荷の高い演算を実施することなく、回転に関する光学系の誤差が抑制されたガイド画像を画像出力部に提供することが可能となる。

また、前記撮影画像の理想的な状態に対する前記撮影画像の回転角度を、前記車両に対する前記車載カメラの取り付け時の回転に関する光学系の誤差とし、本発明に係る運転支援装置の前記記憶部は、実際の舵角の変域よりも広い変域に亘って前記予想進路線のグラフィック画像を記憶し、前記ガイド画像提供部は、前記車両の実際の舵角と実際の前記回転に関する光学系の誤差を示す回転パラメータに基づいて実際の前記舵角の値を補正して、当該補正後の値に応じて前記記憶部から前記予想進路線を取得すると好適である。上述したように、座標変換の演算負荷は比較的高いが、本構成によれば、回転パラメータに基づいて実際の舵角の値を補正して、補正後の舵角の値に応じて記憶部から予想進路線を取得するので、座標変換のような高い演算負荷は必要としない。記憶部には、実際の舵角の変域よりも広い変域に亘って予想進路線のグラフィック画像が記憶されているから、回転パラメータに基づいて舵角の値を補正しても問題はない。このように、ガイド画像提供部は、回転に関する光学系の誤差を補正するために座標変換などの負荷の高い演算を実施することなく、回転に関する光学系の誤差が抑制されたガイド画像を画像出力部に提供することが可能となる。

また、本発明に係る運転支援装置の前記記憶部に記憶される前記予想進路線のグラフィック画像は、前記車両のステアリングホイールがニュートラル位置の近傍における前記所定の舵角が、舵を切った状態における前記所定の舵角よりも小さくなるように生成されると好適である。これによれば、ステアリングホイールがニュートラル位置の近傍にあるときの分解能が高くなり、操舵を開始するニュートラル位置からの操舵に対して敏感に予想進路線が追従することとなる。従って、表示画像において予想進路線が変化することを迅速にドライバーに伝えることができる。その結果、ドライバーは予想進路線の動きを早期に認知し、運転支援効果が高くなる。

また、前記撮影画像上において前記車両の実際の舵角に拘わらず、表示画面の所定の位置に表示される前記ガイド表示を固定ガイドとして、本発明に係る運転支援装置の前記記憶部は、さらに少なくとも１つの前記固定ガイドを記憶し、前記ガイド画像提供部は、前記記憶部から前記予想進路線及び前記固定ガイドを取得して１つの前記ガイド画像に合成して前記画像出力部に提供すると好適である。複数種類のガイド表示を有している場合でも、ガイド画像提供部によって１つのガイド画像に合成されるので、画像出力部は、撮影画像とガイド画像とを重畳させれば足りる。その結果、演算負荷が軽減されて簡易なシステム構成によって運転支援装置を構成することが可能となる。

ここで、前記固定ガイドは、前記撮影画像上において前記車両の実際の舵角に拘わらず、所定の舵角における前記車両の進行方向への延長線を示す前記ガイド線としての車両延長線を含むと好適である。車両延長線と予想進路線とが共にガイド画像として撮影画像に重畳されることにより、操舵量と進行方向との関係がドライバーに伝わりやすくなる。

また、本発明に係る運転支援装置の好適な一態様は、
光電変換により前記車両の周辺の情景をアナログ画像信号に変換するイメージセンサと、前記アナログ画像信号を信号処理してデジタル画像信号による前記撮影画像を生成する信号処理部とを有するイメージセンサコアと、
少なくとも前記予想進路線を含む前記ガイド表示を前記記憶部から取得して前記ガイド画像を生成し、前記撮影画像と前記ガイド画像とを重畳して前記表示画像を生成して出力するイメージセンサプロセッサと、を有するイメージセンサデバイスと、
前記イメージセンサの受光面に前記車両の周辺の情景を結像させる光学ユニットと、
前記ガイド表示のグラフィック画像が格納されたメモリと、を備えて一体化された車載カメラモジュールにより構成される点にある。

この構成によれば、撮影画像の撮影から、撮影画像にガイド画像を重畳させた表示画像の出力までが、一体化された車載カメラモジュールによって完結する。つまり、車両にモニタ装置が搭載されていれば、そのモニタ装置に表示画像を表示させるだけで、極めて簡単に車両に運転支援装置を付加することができる。一般的にこのような運転支援装置は、メーカの生産工場において車両の生産時にその機能を付加する必要があった。しかし、車載カメラモジュールを車両に搭載して、モニタ装置と接続すれば本発明の運転支援装置を付加することが可能である。従って、簡単な光軸調整が可能なディーラーなどの整備工場においても運転支援装置を付加することができる可能性が高くなる。その結果、運転支援装置の普及に貢献し、多くのドライバーの運転負荷を軽減することも可能となる。また、車両に高性能な演算装置を搭載することなく、簡易な演算装置により構成された車載カメラモジュールによって運転支援装置が実現できるので、低コストで運転支援装置を付加することができる。

また、前記車両に当該車両の周囲の物体を検出する物体検出部が備えられ、前記記憶部は、前記車両の周囲の状況を示す周囲情報として、前記車両から前記物体までの距離及び前記物体が存在する方向ごとのグラフィック画像として予め生成された複数の前記周囲情報を記憶し、前記ガイド画像提供部は、前記物体検出部の検出結果に基づいて前記記憶部から前記周囲情報を取得して前記ガイド画像に合成して前記画像出力部に提供すると好適である。このような構成とすれば、物体検出部からの動的な情報を、予想進路線のガイド画像とは異なるガイド画像に表示し、周囲状況情報の変化に対して必要な分だけ表示を変更すれば良いので効率的である。

また、前記周囲情報は、前記ガイド画像内の上側部分に合成される構成とすることが可能である。ここで、撮影画像の上側部分には建物の上層階や空等の不要な情景が含まれる場合が多い。このため、このような構成とすれば、撮影画像における不要な情景が含まれる領域に周囲情報を配置することができるので、撮影画像に含まれる車両の周囲の状況を示す領域（例えば注視すべき領域）が損なわれることがない。

或いは、前記周囲情報は、前記ガイド画像内の下側部分に合成される構成としても良い。ここで、撮影画像の下側部分には車両のボディが含まれる場合が多い。このため、このような構成とすれば、撮影画像における車両のボディが含まれる領域に周囲情報を配置することができるので、撮影画像に含まれる車両の周囲の状況を示す領域（例えば注視すべき領域）が損なわれることがない。

車両のシステム構成の一例を模式的に示すブロック図 車両を一部切り欠いて示す車両の斜視図 運転支援装置の機能構成の一例を模式的に示すブロック図 撮影画像・ガイド画像・表示画像の関係を模式的に示す図 ステアリングホイールと予想進路線との関係を模試的に示す図 回転誤差に対応したグラフィック画像が格納されるメモリのデータフォーマットの一例を模式的に示す図 回転誤差に対応したグラフィック画像が格納されるメモリのデータフォーマットの他の例を模式的に示す図 その他の実施形態に係る撮影画像・ガイド画像・表示画像の関係を模式的に示す図 周囲情報に対応したグラフィック画像が格納されるメモリのデータフォーマットの一例を模式的に示す図

以下、本発明の実施形態を図面に基づいて説明する。図１及び図２に示すように、本実施形態では、車両に備えられたカメラ１００（車載カメラ）により動画として撮影された車両９０の周辺の撮影画像ＰＩを表示画像ＶＩとしてモニタ装置４（表示装置）に表示する運転支援装置（駐車支援装置・周辺監視装置）１０を例として説明する。カメラ１００はＣＣＤ（charge coupled device）やＣＩＳ（CMOS image sensor）などの撮像素子を用いて、毎秒１５〜３０フレームの２次元画像を時系列に撮影し、デジタル変換して動画データ（撮影画像）をリアルタイムに出力するカメラである。本実施形態では、カメラ１００は、レンズや光路などの光学ユニット３と、イメージセンサデバイス５と、メモリ７とが一体化されたカメラモジュール（車載カメラモジュール）１の一部として構成される。また、カメラモジュール１は、本発明の運転支援装置１０に相当する。イメージセンサデバイス５は、イメージセンサとイメージセンサによって光電変換された後の電気信号の信号処理回路とが一体化され集積された半導体チップである。このような半導体チップでは、集積性や消費電力などの観点からＣＭＯＳプロセスの利用が望ましい。従って、本実施形態では撮像素子にはＣＩＳが用いられる。

さらに詳述すると、イメージセンサデバイス５は、イメージセンサコア８と、イメージセンサプロセッサ（ＩＳＰ）９と、出力インターフェース９９と、メモリインターフェース６とを有して構成される。イメージセンサコア８は、光電変換により車両９０の周辺の情景をアナログ画像信号に変換するイメージセンサとしてのＣＩＳ８１と、そのアナログ画像信号を信号処理してデジタル画像信号による撮影画像ＰＩを生成する信号処理部とを有して構成される。信号処理部は、増幅回路、相関二重サンプリング回路などにより構成されるアナログ信号処理回路８２と、アナログ信号をデジタル信号に変換するＡ／Ｄコンバータ８３とを有して構成される。アナログ信号処理回路８２を経たアナログ信号がＡ／Ｄコンバータ８３によりデジタル信号に変換されて、デジタル画像信号による撮影画像ＰＩが生成される。

このイメージセンサコア８と光学ユニット３とによってカメラ１００が構成される。光学ユニット３は、レンズや、レンズからＣＩＳ８１の受光面までに侵入する外乱光を防ぐための鏡筒（光路）を有して構成され、ＣＩＳ８１の受光面に車両９０の周辺の情景を結像させる。光学ユニット３が備えるレンズは広角レンズである。特に、本実施形態においては、水平方向に１４０〜１９０°の視野角が確保されている。カメラ１００は、光軸に約３０度程度の俯角を有して車両９０に設置され、車両９０からおおよそ８ｍ程度までの領域を撮影可能である。換言すれば、カメラモジュール１は、光学ユニット３の光軸に約３０度程度の俯角を有して車両９０に設置され、カメラ１００として車両９０からおおよそ８ｍ程度までの領域を撮影可能となる。本実施形態においては、カメラ１００として車両９０の後方を撮影するバックカメラを例示しているが、車両９０の前方や側方を撮影するカメラであってもよい。また、車両９０に備えられるカメラ１００は１つに限るものではなく、後方と助手席側の側方、後方と助手席側の側方と前方、後方と両側方と前方など、複数のカメラが車両９０に備えられていてもよい。

カメラ１００により撮影された撮影画像ＰＩは、図１に示すように、ＩＳＰ９を介して表示画像ＶＩとして車両内のモニタ装置４（表示装置）に表示可能である。本実施形態において、ＩＳＰ９はＤＳＰ（digital signal processor）を中核として構成されるが、ＣＰＵなどの他の論理演算プロセッサや論理回路を中核として構成されてもよい。ＩＳＰ９は、広角レンズによる撮影で生じた歪みを補正したり、視点変換をしたり、色調整をしたりするなどの画像処理を実行してもよい。尚、ＩＳＰ９により何ら画像処理が実行されないこともあり、撮影画像ＰＩと表示画像ＶＩとは同じ画像であってもよい。

本実施形態においては、ＩＳＰ９において、撮影画像ＰＩにガイド画像ＧＩが重畳されて、表示画像ＶＩとなる。ガイド画像ＧＩは、図４に示すように、ドライバーによる車両９０の運転操作を補助するためのガイド表示Ｖを用いた画像である。ガイド表示Ｖは、ドライバーによる車両９０の運転操作を補助するガイド線ＧやメッセージＭを含むグラフィック画像である。また、ガイド線Ｇには、車両９０の舵角に応じて変化する予想進路線Ｃや、舵角に拘わらず一定位置に描画される固定ガイドＦとしての車両延長線Ｅなどがある。当然ながら、表示すべきガイド表示Ｖが存在せず、ガイド画像ＧＩが透明な場合には、撮影画像ＰＩと表示画像ＶＩとが同じ画像であってもよい。

ガイド画像ＧＩの生成方法についての詳細は後述するが、種々のガイド表示Ｖは、メモリ７に格納されている。イメージセンサデバイス５は、メモリインターフェース６を介してメモリ７からガイド表示Ｖを取得してガイド画像ＧＩを生成する。メモリインターフェース６は、例えばＳＰＩ（serial peripheral interface）である。イメージセンサデバイス５は、撮影画像ＰＩにガイド画像ＧＩを重畳させて表示画像ＶＩを生成すると、出力インターフェース９９を介してモニタ装置４に表示画像ＶＩを出力する。尚、ここでは、メモリ７が、イメージセンサデバイス５とは別のチップである例を示しているが、イメージセンサデバイス５と同一のパッケージ内に集積されることを妨げるものではない。

モニタ装置４は、例えば、ナビゲーションシステムのモニタ装置が兼用される。図１に示すように、モニタ装置４は、表示部４ａと、表示部４ａに形成されたタッチパネル４ｂを有している。表示部４ａは、カメラモジュール１から提供される表示画像ＶＩを表示する。一例として表示部４ａは液晶ディスプレイによって構成される。タッチパネル４ｂは、表示部４ａと共に形成され、指などによる接触位置をロケーションデータとして出力することができる感圧式や静電式の指示入力装置である。

イメージセンサデバイス５にはコントローラ９１が備えられており、イメージセンサデバイス５の種々の演算部などを制御する。図１においては、メモリインターフェース６を除いて制御対象は明示していないが、イメージセンサコア８や、データ演算部９２を含むＩＳＰ９内の機能部、出力インターフェース９９なども当然、制御対象に含まれる。また、イメージセンサデバイス５は、図１において符号５０で示す車内ネットワークを介して種々のシステムやセンサと通信することも可能である。本実施形態においては、車内ネットワークとしてＣＡＮ（controller area network）５０を例示している。パワーステアリングシステム３１やブレーキシステム３７は、ＣＰＵなどの電子回路を中核として周辺回路と共に構成されたＥＣＵ（electronic control unit）を中核として構築される。

パワーステアリングシステム３１は、アクチュエータ４１やトルクセンサ２２を備えた電動パワーステアリング（EPS : electric power steering）システムやＳＢＷ（steer-by-wire）システムである。ブレーキシステム３７は、アクチュエータ４７やブレーキセンサ２７を備え、ブレーキのロックを抑制するＡＢＳ（anti lock braking system）や、コーナリング時の車両の横滑りを抑制する横滑り防止装置（ESC : electronic stability control）、ブレーキ力を増強させるブレーキアシストなどを有した電動ブレーキシステムやＢＢＷ（brake-by-wire）システムである。

図１において、各種センサの一例として、ステアリングセンサ２１や車輪速センサ２３、シフトレバースイッチ２５、アクセルセンサ２９がＣＡＮ５０に接続されている。ステアリングセンサ２１は、ステアリングホイールの操舵量（回転角度）を検出するセンサであり、例えばホール素子などを用いて構成される。運転支援装置１０を構成するカメラモジュール１は、ドライバーによるステアリングホイール２の操舵量をステアリングセンサ２１から取得することができる。車輪速センサ２３は、車両９０の車輪の回転量や単位時間当たりの回転数を検出するセンサであり、例えばホール素子などを用いて構成される。車輪速センサ２３は、左右の車輪の回転差などからブレーキのロックや、車輪の空回り、横滑りの兆候などを迅速に検出するために、ブレーキシステム３７に備えられている場合もある。この場合には、運転支援装置１０は、ブレーキシステム３７を介して情報を取得する。ブレーキセンサ２７は、ブレーキペダルの操作量を検出するセンサである。シフトレバースイッチ２５は、シフトレバーの位置を検出するセンサ又はスイッチであり、変位センサなどを用いて構成される。例えば、シフトがリバースにセットされた場合に、運転支援装置１０は支援制御を開始したり、リバースから前進に変更された場合に支援制御を終了させたりすることができる。また、ステアリングホイールへの操作トルクを検出するトルクセンサ２２は、運転者がステアリングホイールを握っているか否かについても検出することが可能である。

本発明の運転支援装置１０はカメラモジュール１においてイメージセンサデバイス５のＩＳＰ９を中核として構成される。運転支援装置１０は、図３に示すように、画像受取部１１と、記憶部１３と、ガイド画像提供部１７と、画像出力部１９との各機能部を有して構成される。これら各機能部は、それぞれ独立した物理構成を有する必要はなく、それぞれの機能が実現されれば充分である。即ち、各機能部は、同一のハードウェアを共用してもよく、また、プログラムやパラメータなどのソフトウェアとハードウェアとの協働によって各機能が実現されるものであってもよい。

画像受取部１１は、車載カメラ１００、具体的には光学ユニット３及びイメージセンサコア８により撮影された車両９０の周辺の撮影画像ＰＩを受け取る機能部である。例えば、データ演算部９２は、画像受取部１１として機能する。記憶部１３は、ガイド表示Ｖを構成するグラフィック画像を記憶する機能部である。メモリ７は、記憶部１３として機能する。ガイド画像提供部１７は、記憶部１３（メモリ７）からガイド表示Ｖを構成するグラフィック画像を取得して画像出力部１９に提供する機能部である。コントローラ９１、バッファ９３、解凍部９４、オーバーレイ部９５、データ演算部９２は、ガイド画像提供部１７として機能する。ガイド画像提供部１７は、車両９０の実際の舵角θに応じて記憶部１３から予想進路線Ｃのグラフィック画像を取得する。具体的には、ガイド画像提供部１７は、ステアリングセンサ２１から車両９０の舵角θを取得して、この舵角θに基づくアドレスを指定してメモリ７をアクセスし、舵角θに応じた予想進路線Ｃのグラフィック画像を取得する。画像出力部１９は、ガイド表示Ｖを用いたガイド画像ＧＩを撮影画像ＰＩに重畳させた画像を表示画像ＶＩとして、表示画像ＶＩを車両９０内のモニタ装置４に表示させる機能部である。データ演算部９２、出力インターフェース９９は、画像出力部１９として機能する。

以下、図４及び図５に示す具体的な画像の例を参照して説明する。ここで、ガイド表示Ｖとは、ドライバーによる車両９０の運転操作を補助するガイド線Ｇを含むグラフィック画像をいう。ガイド表示Ｖには、図４に示すガイド線Ｇ、固定ガイドＦ、車両延長線Ｅ、メッセージＭ、予想進路線Ｃが含まれる。ガイド線Ｇは、ドライバーによる車両９０の運転操作を補助するためにドライバーを案内する目安線である。ガイド線Ｇには、車両延長線Ｅ、予想進路線Ｃが含まれる。車両延長線Ｅは、ここでは車両９０の車幅を後方に延長した後方車幅延長線である。当然ながら、車両９０の前方を撮影した撮影画像に車両延長線が重畳されるような場合には、前方車幅延長線であってもよい。また、車幅に限定されることなく、車両延長線Ｅは、前後方向の車軸の延長線であってもよい。また、車両延長線Ｅは、車両９０の側方へ向けて、車両９０の前端や後端、車長方向の中心などが延長されたものであってもよい。車両延長線Ｅは、車両９０とカメラ１００による撮影画像ＰＩとの関係によりその位置が決まるので、撮影画像ＰＩにおいて一定の位置に重畳される。従って、車両延長線Ｅは、固定ガイドＦに含まれる。固定ガイドＦには、メッセージＭも含まれる。

予想進路線Ｃは、撮影画像ＰＩ上において車両９０の実際の舵角に応じた予想進路を示すガイド線Ｇである。従って、撮影画像ＰＩ上において予想進路線Ｃは、一定位置に重畳されるものではなく、車両９０の実際の舵角θに応じて変化する動的ガイドである。図５（ｃ）に示すように、ステアリングホイール２がニュートラル位置（中立位置）の場合には、舵角θはゼロであり、予想進路線Ｃは、車両延長線Ｅとほぼ重なる位置に描画される。

図５（ｂ）に示すように、ステアリングホイール２がニュートラル位置から少し左方向に操作されると、予想進路線Ｃは、左方向に湾曲した形状となる。尚、図２に示すように、運転席からドライバーがモニタ装置４を見る場合に、不図示のルームミラーと同じような風景が見える方が車両９０の周囲の状況が理解し易いので、表示画像ＶＩにおいては、撮影画像ＰＩは左右反転した鏡像画像となる。従って、撮影画像ＰＩに重畳される予想進路線Ｃも鏡像として描画される。図５（ａ）に示すように、ステアリングホイール２がニュートラル位置からさらに左方向に操作されると、予想進路線Ｃは、（ｂ）よりも大きく左方向に湾曲した形状となる。

同様に、図５（ｄ）に示すように、ステアリングホイール２がニュートラル位置から少し右方向に操作されると、予想進路線Ｃは、右方向に湾曲した形状となる。また、図５（ｅ）に示すように、ステアリングホイール２がニュートラル位置からさらに右方向に操作されると、予想進路線Ｃは、（ｄ）よりも大きく右方向に湾曲した形状となる。

ＩＳＰ９を中核として構成されるガイド画像提供部１７は、モニタ装置４が画面を書き換える時間内に、４種類のガイド表示をメモリ７から読み出して撮影画像ＰＩに重畳して表示画像ＶＩを生成する。尚、モニタ装置４が表示可能な映像フォーマットとカメラ１００の撮影画像ＰＩの映像フォーマット（又は表示画像ＶＩの映像フォーマット）とが一致していなければ、撮影画像ＰＩ（表示画像ＶＩ）をモニタ装置４に表示することができない。この映像フォーマットとは、ＮＴＳＣ／ＰＡＬなど縦横の画素数、単位時間当たりの画面数（又は画面周波数／ライン周波数）、インターレース／プログレッシブなどの表示方法などにより定義されるものである。従って、ガイド画像提供部１７は、撮影画像ＰＩの一画面の撮影周期（又は表示画像ＶＩの作成周期）に同期し、カメラ１００が一画面の撮影画像ＰＩを撮影する時間内に、４種類のガイド表示をメモリ７から読み出して撮影画像ＰＩに重畳して表示画像ＶＩを生成するともいえる。

例えば、モニタ装置４が、３０ｆｐｓのフレームレートで画像を表示する場合、ガイド画像提供部１７は、１／３０秒（≒３３ｍｓ）の間に１フレームの表示画像ＶＩを生成する。換言すれば、ガイド画像提供部１７が１／３０秒で処理可能な種類のガイド表示Ｖが記憶部１３としてのメモリ７に記憶可能である。本実施形態では、メモリ７には、ＯＶ１〜ＯＶ４で示される４種類のガイド表示Ｖが記憶可能である。本実施形態においては、ＯＶ１〜ＯＶ３の３種類のガイド表示Ｖが記憶されている場合を例に説明する。

ＯＶ１は、車両延長線Ｅに相当するガイド表示Ｖである。ＯＶ２は、予想進路線Ｃに相当するガイド表示Ｖである。ＯＶ３は、メッセージＭに相当する。尚、車両延長線Ｅ及びメッセージＭは、固定ガイドＦに相当するが、１つのデザインだけが記憶されているとは限らない。例えば、クリアランスソナー３３による検出結果に基づいて、車両９０の近傍に障害物が存在すると判定された場合には、メッセージＭを異なる色で表示させてもよい。この場合には、ＯＶ３としてメモリ７の異なるアドレスに記憶されたガイド表示Ｖが読み出される。車両延長線Ｅについても同様である。

予想進路線Ｃは、例えばステアリングホイール２の回転角の１５度ごとに異なる形状が予め描画されて、それぞれメモリ７の異なるアドレスに格納される。図４に示すように、ガイド画像提供部１７は、ステアリングホイール２の回転角又は車輪の変位角度などで示される舵角θに応じたアドレスＡ（θ）に基づいて、メモリ７をアクセスして舵角θに応じた予想進路線Ｃを取得する。また、ガイド画像提供部１７は、コントローラ９１の制御により、必要に応じて車両延長線ＥやメッセージＭなどの他のガイド表示Ｖをメモリ７から取得する。

上記においては、所定の舵角ごと、つまり、ステアリングホイール２の回転角の１５度ごとに異なる形状のガイド表示Ｖが予め描画されて格納されると説明した。しかし、ステアリングホイール２の位置によって、所定の舵角の角度の刻み、いわゆる分解能が異なっていてもよい。例えば、ステアリングホイール２がニュートラル位置の近傍においては、舵を切った状態であるその他の領域に比べて分解能が高くなるように、ガイド表示Ｖが準備され、メモリ７に格納されてもよい。例えば、ステアリングホイール２の回転角でニュートラル位置を中心に左右それぞれ９０度以内の範囲をニュートラル位置の近傍として、５度ごとや１０度ごとに予想進路線Ｃが生成され、ステアリングホイール２の回転角で左右それぞれ９０度より大きい範囲では１５度ごとに予想進路線Ｃが生成されてもよい。このようにすると、操舵を開始するニュートラル位置からの操作に対して敏感に予想進路線Ｃが追従することとなるので、表示画像ＶＩにおいて予想進路線Ｃが変化することを迅速にドライバーに伝えることができる。また、ドライバーは予想進路線Ｃの動きを早期に認知することができる。

メモリ７に格納されたガイド表示Ｖはデータ容量を削減するために圧縮されている。小容量メモリやレジスタなどによって構成されたバッファ９３を介してメモリ７から取得されたガイド表示Ｖは、解凍部９４において解凍（伸張）される。また、複数のガイド表示Ｖが撮影画像ＰＩに重畳される場合には、オーバーレイ部９５において解凍後のガイド表示Ｖが重ね合わされて１つのガイド画像ＧＩに合成される。このガイド画像ＧＩは、データ演算部９２において撮影画像ＰＩと重ね合わされて表示画像ＶＩとなり、出力インターフェース９９を介してモニタ装置４に出力される。

上述したように、ガイド画像提供部１７は、モニタ装置４における表示画像ＶＩの書き換え周期に同期して記憶部１３からガイド表示Ｖを構成するグラフィック画像を取得して、ガイド画像ＧＩを画像出力部１９に提供する。従って、ＩＳＰ９は、ステアリングセンサ２１からも、表示画像ＶＩの書き換え周期に同期して舵角θを取得する。舵角θに変化がない場合や、変化があっても舵角θの最小分解能の範囲内での変化であった場合でも、その都度メモリ７から予想進路線Ｃを読み出して問題はない。結果としてメモリ７からは、予想進路線Ｃとして同じグラフィック画像が読み出され、同じガイド画像ＧＩが画像出力部１９に提供されるが、処理をルーチン化することによって演算負荷が軽減される。

表示画像ＶＩの書き換え周期とガイド画像ＧＩの提供周期とが同期する場合、例えば、両周期が同一周期であると、画像出力部１９は表示画像ＶＩの書き換え周期ごとに新しいガイド画像ＧＩを得ることができる。これにより、撮影画像ＰＩと同じ速度で、ガイド画像ＧＩも変化するから、簡易な構成でありながら、演算によって生成したガイド表示Ｖを直接に撮影画像ＰＩに描画する場合と全く同様の視覚効果をドライバーに与えることができる。尚、ガイド表示Ｖの変化が低速でも問題ない場合には、表示画像ＶＩの書き換え周期の整数倍の周期でガイド画像を提供してもよい。この場合でも、表示画像ＶＩの書き換え周期に同期していることに変わりはない。尚、ドライバーの注意を喚起するために、メッセージＭを点滅させたいような場合には、書き換え周期の内、メッセージＭを付加する周期を意図的に間引くことによって点滅を表現することができる。

尚、カメラ１００は、車両９０への取り付け時に理想的な取り付け位置や取り付け姿勢との間で誤差を有する。つまり、撮影画像ＰＩにおける２次元の射影座標系は、必ずしも設計上の理想的な座標系とは一致しない。実際の座標系と理想的な座標系との誤差は、２つに大別される。１つは、撮影画像ＰＩとなる２次元の射影面の座標中心（射影面に直交する光軸との交点）が、３次元のワールド座標系における理想的な座標からずれる並進誤差である。これは、車両９０に対するカメラ１００の取り付け時の位置に関する光学系（光学ユニット３）の誤差である。もう１つは、撮影画像ＰＩとなる２次元の射影面が、３次元のワールド座標系において、例えば３次元直交座標の各軸を回転軸として回転する回転誤差である。これは、車両９０に対する車載カメラ１００の取り付け時の姿勢に関する光学系（光学ユニット３）の誤差である。

これらの誤差を抑制するために、カメラ１００は車両９０に設置された際に校正される。一般的に、校正により、並進誤差及び回転誤差を補正する校正パラメータが求められ、この校正パラメータに基づいて撮影画像ＰＩが補正される。本実施形態では、校正により、主に並進誤差（位置の誤差）を補正する補正パラメータと、回転誤差（姿勢の誤差）を示す回転パラメータとが得られるものとする。位置の誤差を補正する補正パラメータは、位置に関する光学系の誤差を表示画像ＶＩ上において補正する。具体的には、補正パラメータは、光学中心の射影面上における光学中心や所定の基準点の座標のずれを２次元直交座標系の２軸それぞれのオフセット値によって定義する。尚、通常は回転誤差に含まれるパン（画面水平方向への振れ）及びチルト（画面垂直方向への振れ）に関する誤差は、ここでは位置の誤差に含むものとし、位置の誤差の調整時に調整される。３次元上の平面である射影面の３次元的な回転誤差を射影幾何学を用いて補正するためには、比較的高い演算負荷が要求される。つまり、撮影画像ＰＩに対して都度、付加の高い演算が要求されることになる。従って、本実施形態では、モニタ装置４の画面上の画像である射影面における「見え方」に着目して簡潔に位置の誤差を補正する。

例えば、理想的な座標値が規定された校正指標をカメラ１００により撮影する。校正指標上の特定の点である基準点も理想的な座標値が規定されるので、実際の撮影画像ＰＩにおける基準点の座標との誤差を求めて、オフセット値を決定する。具体的には、３次元上で規定の位置に設置された校正指標上の基準点を理想的な変換パラメータに基づいて撮影画像上における理想的な座標値に変換する。そして、この校正指標をカメラ１００で撮影して得られた撮影画像ＰＩ上における基準点の実際の座標値と、理想的な座標値との差分を求め、これを誤差とする。そして、この誤差に基づいて、オフセット値を決定する。このようなオフセット値（補正パラメータ）は、カメラ１００を車両に設置した際に演算され、運転支援装置１０内に記憶される。後述する回転パラメータについても同様であり、カメラ１００を車両に設置した際に演算され、運転支援装置１０内に記憶される。

ガイド表示Ｖは、グラフィック情報と基準座標位置情報とを有してメモリ７（記憶部１３）に格納されている。ガイド画像提供部１７は、取得したガイド表示Ｖを用いてガイド画像ＧＩを構築する際に、基準座標位置情報を補正パラメータを用いてオフセット調整する。このガイド画像ＧＩが撮影画像ＰＩに重畳されて表示画像ＶＩとなるので、位置に関する光学系の誤差が表示画像ＶＩ上において補正される。即ち、座標変換などの複雑な演算を行うことなく、極めて容易に位置に関する光学系の誤差が調整される。

上述したように、通常は回転誤差に含まれるパン（画面水平方向への振れ）及びチルト（画面垂直方向への振れ）に関する誤差は、ここでは位置の誤差に含められ、位置の誤差の調整時に調整される。回転誤差の残りの要素であるロール（画面の回転）は、以下に示すように補正される。即ち、撮影画像ＰＩの理想的な状態に対する実際の撮影画像ＰＩの回転角度を、車両９０に対するカメラ１００の取り付け時の回転に関する光学系の誤差として回転誤差が調整される。

一般的に回転誤差の補正には座標変換が必要となる。しかし、座標変換は演算負荷が高いため、ここでは記憶部１３とガイド画像提供部１７とが協調して回転誤差を調整する。記憶部１３には、回転に関する光学系の誤差の所定値ごとに予め生成されたガイド表示Ｖが記憶され、ガイド画像提供部１７は回転誤差を示す回転パラメータに基づいて調整量が加味されたガイド表示Ｖを取得する。

具体的には、図６に示すように、記憶部１３は、回転に関する光学系の回転パラメータｒｏｌｌの値と、車両９０の舵角θの値とに応じてガイド表示Ｖを示すグラフィック画像を記憶する。尚、図６では、ｒｏｌｌの値が反対の回転方向にそれぞれＤであった場合の２系統のグラフィック画像を追加した例を示しているが、グラフィック画像は３系統に限らない。当然ながら、メモリ７の容量の範囲内で、ｒｏｌｌの値に応じて、さらに多くの系統が用意され、記憶されていてもよい。尚、図６における舵角θ＝±Ｂは、設計上のステアリングホイール２の最大回転角度である。車両９０やステアリングホイール２の個体誤差を考慮して、グラフィック画像は、最大回転角度Ｂよりも少し余裕を持ち、絶対値がＢよりも大きいＢ’までの舵角θに対応して準備され、記憶されている。ガイド画像提供部１７は、回転パラメータ（光学系の誤差）ｒｏｌｌと舵角θの値とに基づいて決定されるメモリ７（記憶部１３）のアドレス（Ａ（θ，ｒｏｌｌ））をアクセスして、調整量が加味されたガイド表示Ｖを取得する。

但し、既に舵角θごとに多数のグラフィック画像が記憶された予想進路線Ｃに対してさらに回転誤差の所定値ごとのグラフィック画像を準備して記憶しておくには、メモリ７の容量が不足する場合もある。そこで、メモリ７の容量を抑制する上では、以下のような方法も好適である。回転誤差と舵角θとの間には、相関関係が見られる。例えば、回転誤差を有する場合には回転誤差に応じて予想進路線Ｃが所定の舵角分ずれた位置に表示される。この点に着目し、回転誤差に基づいて舵角θあるいは舵角θに基づくメモリ７の参照アドレスA(θ)が調整される。

具体的には、図７に示すように、記憶部１３は、実際の舵角θの変域よりも広い変域に亘って予想進路線Ｃのグラフィック画像を記憶する。ここで、舵角θの変域は、絶対値が最大回転角度Ｂよりαだけ大きい領域に設定される。この絶対値（Ｂ＋α）は、図６を参照して上述した舵角θの最大回転角度の絶対値Ｂに余裕分を含めたＢ’よりも大きい値であると、回転パラメータｒｏｌｌに応じて確実に最大回転角度までのグラフィック画像が準備されるので好適である。ガイド画像提供部１７は、車両９０の実際の舵角θと実際のカメラ１００の回転に関する光学系の誤差を示す回転パラメータに基づいて実際の舵角θの値を例えばθ’に補正する。そして、ガイド画像提供部１７は、補正後の値θ’に応じて記憶部１３から予想進路線Ｃを取得する。記憶部１３には、実際の舵角θの変域よりも広い変域に亘って予想進路線Ｃのグラフィック画像が記憶されているから、回転パラメータに基づいて舵角の値を補正しても問題はない。尚、当然ながら、舵角θを補正することなく、舵角θによって導かれるアドレスＡ（θ）を回転パラメータｒｏｌｌにより補正し、アドレスＡ’（θ）を求めてメモリ７からガイド表示Ｖを読み出してもよい。

上記、説明においては、回転誤差に含まれるパン及びチルトに関する誤差を位置の誤差（並進誤差）に含めてオフセット調整により補正し、ロールに関する誤差をメモリの参照アドレスを調整することにより補正する例を挙げた。しかし、この方法に限定されることなく、パン及びチルトを含めて回転誤差として補正してもよい。この場合には、並進誤差のみが、位置の誤差に対応することになる。また、回転パラメータは、パン、チルト、ロールの３軸の回転要素の誤差を調整する調整値が含まれたものとなる。

上述したように、回転パラメータは、生産工場などにおいて、カメラ１００を車両に設置した際に演算され、運転支援装置１０内に記憶される。具体的には、理想的な座標値が規定された複数の校正指標がカメラ１００により撮影され、それぞれの校正指標上の特定の点である基準点の理想的な座標値と、実際の撮影画像ＰＩにおける座標値とから回転パラメータが演算される。このような回転パラメータの求め方については、特開２００１−２４５３２６号公報に開示されている手法を用いるなど、種々の手法が公知であるから、詳細な説明は省略する。

運転支援装置１０は、記憶された回転パラメータに基づいてガイド画像ＧＩを補正（生成）し、補正後のガイド表示Ｖを記憶部１３に記憶する。即ち、光学系の回転誤差が調整されたガイド表示Ｖが予め記憶される。この際、記憶部１３（メモリ７）の容量が許せば、無調整の初期ガイド表示と補正後のガイド表示との双方が記憶されていると好適である。メンテナンスにより回転パラメータが変更された場合でも、無調整の初期ガイド表示と最新の回転パラメータとに基づいて、新たな補正後のガイド表示を生成し、記憶させることが可能である。尚、補正後のガイド表示Ｖの生成については、上述したような無調整の初期ガイド表示を最新の回転パラメータに基づいて補正する方法に限られるものではない。例えば、無調整の初期ガイド表示を持たずに、最新の回転パラメータと、予め設定されたカメラ１００の搭載位置などとに基づく演算処理により、ガイド表示Ｖを直接生成する方法も考えられる。ここで、カメラ１００の搭載位置とは、例えば、路面からの高さ、左右方向中心位置からの距離（左右方向オフセット位置）、後輪軸からの距離などである。

無調整の初期ガイドを最新の回転パラメータに基づいて補正する方法について整理すると、以下のようにして、ガイド表示Ｖを記憶することができる。撮影画像ＰＩの２次元座標系における基準点の理想的な座標と実際の座標との誤差を、車両９０に対するカメラ１００の取り付け時の位置に関する光学系の誤差とする。また、撮影画像ＰＩの理想的な状態に対する撮影画像ＰＩの回転角度を、車両９０に対するカメラ１００の取り付け時の回転に関する光学系の誤差とする。この回転に関する誤差は、撮影画像ＰＩの２次元座標系における座標軸の理想的な角度と実際の角度との誤差であり、車両９０に対するカメラ１００の取り付け時の姿勢に関する光学系の誤差ということもできる。記憶部１３は、カメラ１００の取り付け時の回転に関する光学系の誤差を示す回転パラメータに基づいて補正された補正後のガイド表示Ｖを予め記憶する。ガイド画像提供部１７は、位置に関する光学系の誤差を表示画像ＶＩ上において補正する補正パラメータに基づいて、表示画像ＶＩにおけるガイド表示Ｖの位置を補正する。

ここでは、回転パラメータに基づいてガイド表示Ｖを補正して予め記憶する例を示したが、回転の誤差に限らず、位置の誤差も含めて補正されたガイド表示Ｖを生成し、記憶することを妨げるものではない。即ち、記憶部１３は、カメラ１００の取り付け時の回転に関する光学系の誤差を示す回転パラメータ、及び位置に関する光学系の誤差を示す補正パラメータ（並進パラメータ）に基づいて補正された補正後のガイド表示Ｖを予め記憶してもよい。この場合、ガイド画像提供部１７は、光学系の誤差に関してガイド表示Ｖを補正することなく、車両９０の実際の舵角に応じて記憶部１３から補正後のガイド表示Ｖとしての予想進路線Ｃを取得し、取得したガイド表示Ｖを用いてガイド画像ＧＩを構成して画像出力部１９に提供する。

尚、ガイド画像ＧＩの補正は、運転支援装置１０が実施することなく、ＣＡＮ５０などの車両９０のネットワークに接続可能な車両９０の不図示の外部装置により実施されてもよい。補正後のガイド表示Ｖは、このネットワーク経由で記憶部１３（メモリ７）にダウンロードされ、記憶部１３に予め記憶されることになる。あるいは、ダウンロードすることなく、補正後のガイド表示Ｖをメモリカードなどに格納し、そのメモリーカードを車両９０に設置してもよい。もちろん、記憶部１３（メモリ７）自体がメモリーカードで構成され、一旦車両９０から取り外されて外部装置に設置され、補正後のガイド表示Ｖを記憶した後に車両９０へ戻されてもよい。このようにメモリーカードなどの記憶媒体を用いれば、ＣＡＮ５０などの車内ネットワークの通信速度が低速な場合であってもガイド表示Ｖを補正して再記憶させることが容易に実行できる。当然ながら、回転パラメータや補正パラメータ（並進パラメータ）など、ガイド表示Ｖの補正に必要なパラメータも、メモリーカードを介して外部装置へ伝達されてよい。

尚、本実施形態においては、撮影画像ＰＩの撮影から、撮影画像ＰＩにガイド画像ＧＩを重畳させて表示画像ＶＩを出力するまでの一連の処理が、一体化されたカメラモジュール１によって完結する運転支援装置を例として説明した。しかし、本発明は、このように一体化された運転支援装置に限定されるものではない。独立したカメラと、カメラから撮影画像ＰＩを受け取ってＣＰＵやＤＳＰを中核としたＥＣＵによりガイド画像ＧＩを重畳させて表示画像ＶＩを出力する画像処理装置とにより構成されてもよい。

上記実施形態では、表示画像ＶＩは、撮影画像ＰＩにガイド表示Ｖを含むガイド画像ＧＩを重畳して生成されるとして説明した。しかしながら、本発明の適用範囲はこれに限定されるものではない。表示画像ＶＩが、周囲情報Ｓを含むガイド画像ＧＩを更に重畳して生成する構成とすることも可能である。このような表示画像ＶＩの例が図８に示される。

ここで、車両９０には当該車両９０の周囲の物体を検出する物体検出部が備えられる。物体検出部としては、例えばクリアランスソナー３３が相当する。もちろん、クリアランスソナー３３に代えてミリ波レーダ等を用いることも可能である。本実施形態では、クリアランスソナー３３が車両の４つのコーナー（右前、左前、右後、左後）に設けられているとして説明する。

また、記憶部１３は、車両９０の周囲の状況を示す周囲情報Ｓとして、車両９０から物体までの距離及び物体が存在する方向ごとのグラフィック画像として予め生成された複数の周囲情報Ｓを記憶する。本実施形態では、周囲情報Ｓとは、車両９０の周囲に物体が存在しているか否かを示す情報である。また、車両９０から物体までの距離は、当該距離に応じて例えば３段階で表示される。また、検出方向は上述の４つのコーナーに対応し、車両９０の右前方向、左前方向、右後方向、左後方向である。周囲情報Ｓは、このような距離及び方向ごとに複数のグラフィック画像として記憶部１３に記憶される。このような例が図９に示される。

ガイド画像提供部１７は、クリアランスソナー３３の検出結果に基づいて記憶部１３から周囲情報Ｓを取得してガイド画像に合成して画像出力部１９に提供する。ガイド画像提供部１７は、ガイド画像ＧＩと共に、クリアランスソナー３３の検出結果に対応する周囲情報Ｓを、記憶部１３から取得する。ガイド画像ＧＩの取得は、上記実施形態と同様であるので説明は省略する。図８には、撮影画像ＰＩにＯＶ１〜ＯＶ３の３種類のガイド表示Ｖを含むガイド画像ＧＩと、ＯＶ７の周囲情報Ｓを含むガイド画像ＧＩとが重畳されている例が示される。図８に示されている例では、車両９０の右前方と左前方と左後方の夫々に物体が検出されている場合の周囲情報Ｓが示されている。また、周囲情報Ｓは車両９０から物体までの距離に応じて規定される。特に、図８に示される例では、車両９０の右前方の比較的近い距離に物体が検出され、左前方におけるそれより離れた位置に他の物体が検出されている。更には、左後方における比較的離れた位置にも物体が検出されている。

図８の例では、周囲情報Ｓは、ガイド画像ＧＩ内の上側部分に合成されている。これにより、撮影画像ＰＩの上側部分の不要な領域に周囲情報Ｓを配置することができる。したがって、撮影画像ＰＩに含まれる車両９０の周囲の状況を示す領域（例えば注視すべき領域）が損なわれることがない。

もちろん、周囲情報Ｓは、ガイド画像ＧＩ内の下側部分に合成しても良い。これにより、撮影画像ＰＩの下側部分に含まれる場合が多い車両９０のボディの部分等の不要な領域に周囲情報Ｓを配置することができる。したがって、撮影画像ＰＩに含まれる車両９０の周囲の状況を示す領域（例えば注視すべき領域）が損なわれることがない。

ここで、撮影画像ＰＩに重畳するガイド画像ＧＩに情報として、周囲情報Ｓに代えて例えば燃料の残量を示す情報やドアの開扉状態を示す情報など、その他の検出手段により検出された情報であっても良い。係る場合、車両９０に当該車両９０に関する情報を取得する車両情報取得部が備えられ、記憶部１３は、車両９０に関する情報を示す車両情報として、グラフィック画像として予め生成された複数の車両情報を記憶し、ガイド画像提供部１７は、車両情報取得部の検出結果に基づいて記憶部１３から車両情報を取得してガイド画像ＧＩに合成して画像出力部１９に提供する構成とすることができる。

また、周囲情報Ｓは、具体的に数値（例えば「○○メートル」）で記載しても良いし、所定の間隔で刻まれたインジケータで表示しても良い。

ここで、上記では説明を省略したが、図４に示されるような表示画像ＶＩでは、撮影画像ＰＩの上に、下からＯＶ３のガイド画像ＧＩ、ＯＶ２のガイド画像ＧＩ、ＯＶ１のガイド画像ＧＩの順に配置すると好適である。もちろん、ＯＶ３のガイド画像ＧＩ、ＯＶ２のガイド画像ＧＩ、及びＯＶ１のガイド画像ＧＩの順序を入れ替えて撮影画像ＰＩの上に配置して表示画像ＶＩを構成することも当然に可能である。

また、図８に示されるような表示画像ＶＩでは、撮影画像ＰＩの上に、下からＯＶ３のガイド画像ＧＩ、ＯＶ２のガイド画像ＧＩ、ＯＶ１のガイド画像ＧＩ、ＯＶ７のガイド画像ＧＩの順に配置すると好適である。もちろん、ＯＶ３のガイド画像ＧＩ、ＯＶ２のガイド画像ＧＩ、ＯＶ１のガイド画像ＧＩの順序を入れ替えて撮影画像ＰＩの上に配置し、最上部にＯＶ７のガイド画像ＧＩを配置して表示画像ＶＩを構成することも当然に可能である。

本発明は、簡易なシステム構成で車載カメラによる撮影画像に案内画像を重畳させてドライバーの操作負担を軽減する運転支援装置に利用可能である。

１：カメラモジュール（車載カメラモジュール）
２：ステアリングホイール
３：光学ユニット
４：モニタ装置（表示装置）
５：イメージセンサデバイス
７：メモリ
８：イメージセンサコア
９：イメージセンサプロセッサ
１０：運転支援装置
１１：画像受取部
１３：記憶部
１７：ガイド画像提供部
１９：画像出力部
８１：イメージセンサ
８２：アナログ回路（信号処理部）
８３：Ａ／Ｄコンバータ（信号処理部）
９０：車両
１００：カメラ（車載カメラ）
Ｃ：予想進路線
Ｅ：車両延長線
Ｆ：固定ガイド
Ｇ：ガイド線
ＧＩ：ガイド画像
ＰＩ：撮影画像
Ｓ：周囲情報
Ｖ：ガイド表示
ＶＩ：表示画像
θ：舵角
ｒｏｌｌ：回転パラメータ

Claims (13)

1. 車載カメラにより撮影された車両の周辺の撮影画像を受け取る画像受取部と、
   ドライバーによる前記車両の運転操作を補助するガイド線を含み、グラフィック画像を用いたガイド表示により構成されたガイド画像を、前記撮影画像に重畳させた表示画像を前記車両内の表示装置に表示させる画像出力部と、
   前記撮影画像上において前記車両の実際の舵角に応じた予想進路を示して運転操作を補助する前記ガイド線を予想進路線として、少なくとも、予め所定の舵角ごとのグラフィック画像として生成された複数の前記予想進路線を、前記ガイド表示として記憶する記憶部と、
   前記車載カメラの取付位置に応じた前記車載カメラの回転パラメータに基づき、前記撮影画像上の実際の座標値と理想的な座標値との差分を求め、その差分に基づいて２次元直交座標系の２軸それぞれのオフセット値が演算され、
   少なくとも、前記２次元直交座標系の２軸それぞれのオフセット値を用いて、前記車両の実際の舵角に応じて前記記憶部から前記ガイド表示としての前記予想進路線を取得し、取得した前記ガイド表示を用いて前記ガイド画像を構成して前記画像出力部に提供するガイド画像提供部と、を備え、
   前記撮影画像の理想的な状態に対する前記撮影画像の回転角度を、前記車両に対する前記車載カメラの取り付け時の回転に関する光学系の誤差とし、
   前記記憶部は、さらに、前記回転に関する光学系の誤差に応じて、前記車両の舵角に応じた前記ガイド表示を示すグラフィック画像を記憶し、
   前記ガイド画像提供部は、前記車両の実際の舵角と前記車両に対する前記車載カメラの取り付け時の回転に関する光学系の誤差を示す回転パラメータとに応じて前記記憶部から前記予想進路線のグラフィック画像を取得する運転支援装置。
2. 車載カメラにより撮影された車両の周辺の撮影画像を受け取る画像受取部と、
   ドライバーによる前記車両の運転操作を補助するガイド線を含み、グラフィック画像を用いたガイド表示により構成されたガイド画像を、前記撮影画像に重畳させた表示画像を前記車両内の表示装置に表示させる画像出力部と、
   前記撮影画像上において前記車両の実際の舵角に応じた予想進路を示して運転操作を補助する前記ガイド線を予想進路線として、少なくとも、予め所定の舵角ごとのグラフィック画像として生成された複数の前記予想進路線を、前記ガイド表示として記憶する記憶部と、
   前記車載カメラの取付位置に応じた前記車載カメラの回転パラメータに基づき、前記撮影画像上の実際の座標値と理想的な座標値との差分を求め、その差分に基づいて２次元直交座標系の２軸それぞれのオフセット値が演算され、
   少なくとも、前記２次元直交座標系の２軸それぞれのオフセット値を用いて、前記車両の実際の舵角に応じて前記記憶部から前記ガイド表示としての前記予想進路線を取得し、取得した前記ガイド表示を用いて前記ガイド画像を構成して前記画像出力部に提供するガイド画像提供部と、を備え、
   前記撮影画像の理想的な状態に対する前記撮影画像の回転角度を、前記車両に対する前記車載カメラの取り付け時の回転に関する光学系の誤差とし、
   前記記憶部は、実際の舵角の変域よりも広い変域に亘って前記予想進路線のグラフィック画像を記憶し、
   前記ガイド画像提供部は、前記車両の実際の舵角と実際の前記回転に関する光学系の誤差を示す回転パラメータに基づいて実際の前記舵角の値を補正して、当該補正後の値に応じて前記記憶部から前記予想進路線を取得する運転支援装置。
3. 車載カメラにより撮影された車両の周辺の撮影画像を受け取る画像受取部と、
   ドライバーによる前記車両の運転操作を補助するガイド線を含み、グラフィック画像を用いたガイド表示により構成されたガイド画像を、前記撮影画像に重畳させた表示画像を前記車両内の表示装置に表示させる画像出力部と、
   前記撮影画像上において前記車両の実際の舵角に応じた予想進路を示して運転操作を補助する前記ガイド線を予想進路線として、少なくとも、予め所定の舵角ごとのグラフィック画像として生成された複数の前記予想進路線を、前記ガイド表示として記憶する記憶部と、
   前記車載カメラの取付位置に応じた前記車載カメラの回転パラメータに基づき、前記撮影画像上の実際の座標値と理想的な座標値との差分を求め、その差分に基づいて２次元直交座標系の２軸それぞれのオフセット値が演算され、
   少なくとも、前記２次元直交座標系の２軸それぞれのオフセット値を用いて、前記車両の実際の舵角に応じて前記記憶部から前記ガイド表示としての前記予想進路線を取得し、取得した前記ガイド表示を用いて前記ガイド画像を構成して前記画像出力部に提供するガイド画像提供部と、を備え、
   前記記憶部に記憶される前記予想進路線のグラフィック画像は、前記車両のステアリングホイールがニュートラル位置の近傍における前記所定の舵角が、舵を切った状態における前記所定の舵角よりも小さくなるように生成される運転支援装置。
4. 車載カメラにより撮影された車両の周辺の撮影画像を受け取る画像受取部と、
   ドライバーによる前記車両の運転操作を補助するガイド線を含み、グラフィック画像を用いたガイド表示により構成されたガイド画像を、前記撮影画像に重畳させた表示画像を前記車両内の表示装置に表示させる画像出力部と、
   前記撮影画像上において前記車両の実際の舵角に応じた予想進路を示して運転操作を補助する前記ガイド線を予想進路線として、少なくとも、予め所定の舵角ごとのグラフィック画像として生成された複数の前記予想進路線を、前記ガイド表示として記憶する記憶部と、
   前記車載カメラの取付位置に応じた前記車載カメラの回転パラメータに基づき、前記撮影画像上の実際の座標値と理想的な座標値との差分を求め、その差分に基づいて２次元直交座標系の２軸それぞれのオフセット値が演算され、
   少なくとも、前記２次元直交座標系の２軸それぞれのオフセット値を用いて、前記車両の実際の舵角に応じて前記記憶部から前記ガイド表示としての前記予想進路線を取得し、取得した前記ガイド表示を用いて前記ガイド画像を構成して前記画像出力部に提供するガイド画像提供部と、を備え、
   前記撮影画像の理想的な状態に対する前記撮影画像の回転角度を、前記車両に対する前記車載カメラの取り付け時の回転に関する光学系の誤差とし、
   前記記憶部は、さらに、前記回転に関する光学系の誤差に応じて、前記車両の舵角に応じた前記ガイド表示を示すグラフィック画像を記憶し、
   前記ガイド画像提供部は、前記車両の実際の舵角と前記車両に対する前記車載カメラの取り付け時の回転に関する光学系の誤差を示す回転パラメータとに応じて前記記憶部から前記予想進路線のグラフィック画像を取得し、
   前記記憶部に記憶される前記予想進路線のグラフィック画像は、前記車両のステアリングホイールがニュートラル位置の近傍における前記所定の舵角が、舵を切った状態における前記所定の舵角よりも小さくなるように生成される運転支援装置。
5. 車載カメラにより撮影された車両の周辺の撮影画像を受け取る画像受取部と、
   ドライバーによる前記車両の運転操作を補助するガイド線を含み、グラフィック画像を用いたガイド表示により構成されたガイド画像を、前記撮影画像に重畳させた表示画像を前記車両内の表示装置に表示させる画像出力部と、
   前記撮影画像上において前記車両の実際の舵角に応じた予想進路を示して運転操作を補助する前記ガイド線を予想進路線として、少なくとも、予め所定の舵角ごとのグラフィック画像として生成された複数の前記予想進路線を、前記ガイド表示として記憶する記憶部と、
   前記車載カメラの取付位置に応じた前記車載カメラの回転パラメータに基づき、前記撮影画像上の実際の座標値と理想的な座標値との差分を求め、その差分に基づいて２次元直交座標系の２軸それぞれのオフセット値が演算され、
   少なくとも、前記２次元直交座標系の２軸それぞれのオフセット値を用いて、前記車両の実際の舵角に応じて前記記憶部から前記ガイド表示としての前記予想進路線を取得し、取得した前記ガイド表示を用いて前記ガイド画像を構成して前記画像出力部に提供するガイド画像提供部と、を備え、
   前記撮影画像の理想的な状態に対する前記撮影画像の回転角度を、前記車両に対する前記車載カメラの取り付け時の回転に関する光学系の誤差とし、
   前記記憶部は、実際の舵角の変域よりも広い変域に亘って前記予想進路線のグラフィック画像を記憶し、
   前記ガイド画像提供部は、前記車両の実際の舵角と実際の前記回転に関する光学系の誤差を示す回転パラメータに基づいて実際の前記舵角の値を補正して、当該補正後の値に応じて前記記憶部から前記予想進路線を取得し、
   前記記憶部に記憶される前記予想進路線のグラフィック画像は、前記車両のステアリングホイールがニュートラル位置の近傍における前記所定の舵角が、舵を切った状態における前記所定の舵角よりも小さくなるように生成される運転支援装置。
6. 前記ガイド画像提供部は、前記撮影画像の撮影周期又は前記表示装置における前記表示画像の書き換え周期に同期して前記記憶部から前記ガイド表示を取得して、前記ガイド画像を前記画像出力部に提供する請求項１から５のいずれか一項に記載の運転支援装置。
7. 前記撮影画像の２次元座標系における基準点の理想的な座標と実際の座標との誤差を、前記車両に対する前記車載カメラの取り付け時の位置に関する光学系の誤差とし、
   前記ガイド画像提供部は、前記位置に関する光学系の誤差を前記表示画像上において補正する補正パラメータに基づいて、前記表示画像における前記ガイド表示の位置を補正する請求項１から６の何れか一項に記載の運転支援装置。
8. 前記撮影画像上において前記車両の実際の舵角に拘わらず、表示画面の所定の位置に表示される前記ガイド表示を固定ガイドとして、
   前記記憶部は、さらに少なくとも１つの前記固定ガイドを記憶し、
   前記ガイド画像提供部は、前記記憶部から前記予想進路線及び前記固定ガイドを取得して１つの前記ガイド画像に合成して前記画像出力部に提供する請求項１〜７の何れか一項に記載の運転支援装置。
9. 前記固定ガイドは、前記撮影画像上において前記車両の実際の舵角に拘わらず、所定の舵角における前記車両の進行方向への延長線を示す前記ガイド線としての車両延長線を含む請求項８に記載の運転支援装置。
10. 光電変換により前記車両の周辺の情景をアナログ画像信号に変換するイメージセンサと、前記アナログ画像信号を信号処理してデジタル画像信号による前記撮影画像を生成する信号処理部とを有するイメージセンサコアと、
    少なくとも前記予想進路線を含む前記ガイド表示を前記記憶部から取得して前記ガイド画像を生成し、前記撮影画像と前記ガイド画像とを重畳して前記表示画像を生成して出力するイメージセンサプロセッサと、を有するイメージセンサデバイスと、
    前記イメージセンサの受光面に前記車両の周辺の情景を結像させる光学ユニットと、
    前記ガイド表示のグラフィック画像が格納されたメモリと、を備えて一体化された車載カメラモジュールにより構成された請求項１〜９の何れか一項に記載の運転支援装置。
11. 前記車両に当該車両の周囲の物体を検出する物体検出部が備えられ、
    前記記憶部は、前記車両の周囲の状況を示す周囲情報として、前記車両から前記物体までの距離及び前記物体が存在する方向ごとのグラフィック画像として予め生成された複数の前記周囲情報を記憶し、
    前記ガイド画像提供部は、前記物体検出部の検出結果に基づいて前記記憶部から前記周囲情報を取得して前記ガイド画像に合成して前記画像出力部に提供する請求項１〜１０の何れか一項に記載の運転支援装置。
12. 前記周囲情報は、前記ガイド画像内の上側部分に合成される請求項１１に記載の運転支援装置。
13. 前記周囲情報は、前記ガイド画像内の下側部分に合成される請求項１１に記載の運転支援装置。

Images