JP6555195B2 - 画像生成装置 - Google Patents

Description

本発明は、車両及び当該車両の周辺に応じた画像を生成する技術に関する。なお、本明細書において、透過性のある画像とは、当該画像の一部が透明化されるか、或いは当該画像の一部又は全部が半透明化されている画像を意味し、当該画像の全体が透明化されて当該画像が認識不能となった画像は含まないものとする。

従来、例えば特許文献１に記載のように、車両に搭載されたカメラを介して当該車両の周辺を撮影した画像と、予め用意された前記車両の屋根等の画像とに基づき、車両外部に設定された仮想視点から前記車両及び前記周辺を見た画像を生成する技術が知られている。前記仮想視点は、仮想的に設定された視点であり、例えば、前記車両全体を含む三次元空間における車両の斜め上などに設定されると、車両とその周辺の状況との関係が把握可能となる。

国際公開００／０７３７３号

一方、車両の後退時などに、舵角等から予想される当該車両の走行軌跡を、車両の後方周辺を撮影した画像の上に重ねて表示する技術も知られている。しかしながら、前述のような仮想視点から車両及び当該車両の周辺を見た画像（以下、３Ｄビューともいう）を前記軌跡に単純に重ねて表示したのでは、分かりにくい画像となってしまうという課題があった。

本発明は、こうした問題にかんがみてなされたものであり、車両及び当該車両の周辺を仮想視点から見た画像と、予想される車両の走行軌跡との双方を認識可能とする技術を提供することを目的としている。

本発明の画像生成装置は、画像取得部（３Ａ，３Ｂ，３Ｃ，３Ｄ）と、画像生成部（１０，Ｓ９，Ｓ９Ａ，Ｓ１，Ｓ１Ａ）と、軌跡予想部（１０，Ｓ５，Ｓ５Ａ）と、画像合成部（１０，Ｓ１１）と、を備える。

画像取得部は、車両（１）の周辺を撮影した画像を取得するように構成されている。画像生成部は、前記画像取得部が取得した画像を用いて、前記車両の外部に設定された仮想視点（Ｖ）から前記車両及び前記周辺を見た画像を、生成するように構成されている。軌跡予想部は、前記車両の運転状態に基づき、前記車両の走行軌跡を予想するように構成されている。画像合成部は、前記画像生成部が生成した画像のうちの前記車両の画像（Ｂ，Ｔ）、又は、前記軌跡予想部が予想した走行軌跡の画像（Ｋ）のうち、いずれか一方を透過性のある画像として、他方の画像に上から重ね、更にそれらの画像を前記画像生成部が生成した画像のうちの前記周辺の画像（Ｈ）に上から重ねて得られた画像を、出力画像として生成するように構成されている。

このような構成によれば、前記仮想視点から前記車両及び前記周辺を見た画像のうちの前記車両を表す画像か、又は、前記予想された車両の走行軌跡の画像のうち、いずれか一方が透過性のある画像として他方の画像に上から重ねられる。そして、これらの画像は前記周辺の画像に上から重ねられるので、車両及び当該車両の周辺を仮想視点から見た画像と、予想される車両の走行軌跡との双方が認識可能となる。その結果、車両と周辺の状況との関係、及び、その車両に対して予想される走行軌跡と周辺の状況との関係が、いずれも良好に把握可能となる。

また、前記画像生成部は、前記画像取得部が取得した画像と、前記車両に応じて予め準備された透過性のある前記車両の画像（Ｂ，Ｔ）とを用いて、前記車両の外部に設定された仮想視点（Ｖ）から前記周辺及び擬似的に透過性を付与された前記車両を見た画像を、生成するように構成され、前記画像合成部は、前記画像生成部が生成した画像のうちの前記車両の画像を、前記軌跡予想部が予想した走行軌跡の画像（Ｋ）に上から重ね、更にそれらの画像を前記画像生成部が生成した画像のうちの前記周辺の画像（Ｈ）に上から重ねて得られた画像を、出力画像として生成するように構成されてもよい。

その場合も、透過性のある車両の画像を軌跡の画像に上から重ねた画像が、周辺の画像に上から重ねられるので、車両及び当該車両の周辺を仮想視点から見た画像と、予想される車両の走行軌跡との双方が認識可能となる。その結果、車両と周辺の状況との関係、及び、その車両に対して予想される走行軌跡と周辺の状況との関係が、いずれも良好に把握可能となる。

なお、この欄及び特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本発明の技術的範囲を限定するものではない。

第１実施形態の画像生成装置の構成を表すブロック図である。 その画像生成装置のカメラの配置を模式的に表す説明図である。 その画像生成装置による表示処理を表すフローチャートである。 その表示処理による表示結果の一例を表す説明図である。 第２実施形態の画像生成装置の構成を表すブロック図である。 その画像生成装置における表示状態の一例を表す説明図である。 その画像生成装置による表示処理を表すフローチャートである。 その表示処理における仮想視点の変更例を表す説明図である。 その表示処理における仮想視点の他の変更例を表す説明図である。 各実施形態における走行軌跡表示の変形例を表す説明図である。 各実施形態における走行軌跡表示の他の変形例を表す説明図である。

以下、図面を参照しながら、発明を実施するための形態を説明する。
［１．第１実施形態］
［１−１．構成］
図１に示す第１実施形態の画像生成装置は、カメラ３と、表示装置５と、ＥＣＵ１０とを備える。なお、カメラ３とは、図１に示す前カメラ３Ａ，右カメラ３Ｂ，左カメラ３Ｃ，後カメラ３Ｄを総称した呼称である。この画像生成装置は、図２に示す車両１に搭載されるもので、前カメラ３Ａは車両１の前方に、右カメラ３Ｂは車両１の右方に、左カメラ３Ｃは車両１の左方に、後カメラ３Ｄは車両１の後方に、それぞれ設置される。前カメラ３Ａは、例えば、車両１のボンネットの前端中央に配置されてもよい。後カメラ３Ｄは、例えば、車両１の後方のナンバープレート上方に配置されてもよい。右カメラ３Ｂ及び左カメラ３Ｃは、例えば、それぞれ左右のドアミラー上方に配置されてもよい。各カメラ３は、いずれも広角カメラであってもよい。

表示装置５としては、液晶を利用したもの、有機ＥＬ素子を利用したものなど、各種表示装置が利用可能である。また、表示装置５は、モノクロの表示装置であっても、カラーの表示装置であってもよい。また、表示装置５は、表面に圧電素子等を備えることによりタッチパネルとして構成されたものであってもよい。また、表示装置５は、カーナビゲーション装置やオーディオ機器など、他の車載機器のために設けられた表示装置と兼用されてもよい。

ＥＣＵ１０は、図示省略したＣＰＵと、ＲＡＭ，ＲＯＭ，フラッシュメモリ等の半導体メモリ（以下、メモリ２０という）と、を有する周知のマイクロコンピュータを中心に構成される。ＥＣＵ１０の各種機能は、ＣＰＵが非遷移的実体的記録媒体に格納されたプログラムを実行することにより実現される。この例では、メモリ２０が、プログラムを格納した非遷移的実体的記録媒体に該当する。また、このプログラムの実行により、プログラムに対応する方法が実行される。なお、ＥＣＵ１０を構成するマイクロコンピュータの数は１つでも複数でもよい。また、ＥＣＵ１０は、メモリ２０におけるＲＡＭの記憶を維持したりＣＰＵを駆動したりするための電源３０を備える。

ＥＣＵ１０は、ＣＰＵがプログラムを実行することで実現される機能の構成として、カメラ映像入力処理部１１と、画像処理部１３と、映像出力信号処理部１５と、車両情報信号処理部１９と、を備える。ＥＣＵ１０を構成するこれらの要素を実現する手法はソフトウェアに限るものではなく、その一部又は全部の要素を、論理回路やアナログ回路等を組み合わせたハードウェアを用いて実現してもよい。

カメラ映像入力処理部１１は、各カメラ３が撮影した映像に応じた信号を各カメラ３から入力され、その信号を、ＥＣＵ１０において画像データとして取り扱い可能な信号に変換する。画像処理部１３は、カメラ映像入力処理部１１から入力された信号に対して後述のような加工処理（以下、表示処理という）を施して、映像出力信号処理部１５へ出力する。映像出力信号処理部１５は、画像処理部１３から入力された信号に応じて、表示装置５の駆動信号を生成して、当該表示装置５へ出力する。車両情報信号処理部１９は、図示省略した車内ＬＡＮ等を介して、車両１のシフト位置，車速，舵角等のデータ（以下、車両情報ともいう）を取得し、画像処理部１３へ出力する。メモリ２０は、前記プログラムの他、車両１の屋根等の外形等を表す内部パラメータも格納している。

［１−２．処理］
次に、画像処理部１３が実行する表示処理について、図３のフローチャートを用いて説明する。なお、この処理は、車両１の電源がオンであるときに運転者により所定の操作がなされたときに開始される。なお、所定の操作とは、シフト位置をＲ（すなわち後退）に入れる操作であってもよく、この表示処理を起動するためのスイッチ又はボタンを押下する操作であってもよく、その他の操作であってもよい。また、車両１の電源がオンであるとは、車両１が電気自動車又はハイブリッド車である場合は、文字通り電源スイッチがオンの状態にされた状態を指し、車両１が内燃機関によって走行する車両である場合は、キーがＡＣＣ又はＯＮの位置に配置された状態を指す。

図３に示すように、この処理が開始されると、Ｓ１の処理と、Ｓ３及びＳ５の処理と、Ｓ７及びＳ９の処理とが、並列処理として実行される。Ｓ１の処理では、車両１の屋根の形状などといった、更新の必要がない画像の準備がなされる。この処理は、メモリ２０から適宜のデータを読み出すことによってなされる。例えば、本処理によって、車両１及びその周辺を、車両１の前方斜め上方に配置された仮想視点から見た３Ｄビューが表示装置５に表示される場合、車両１の車体Ｂの形状は、例えば図４に点線で例示したような形状であって更新の必要がない。Ｓ１では、そのような画像のデータが準備される。

Ｓ３，Ｓ５の処理では、先ず、Ｓ３にて、シフト位置，車速，舵角等の車両情報が取得され、続くＳ５にて、当該車両情報を元に車両１の軌跡が描画される。Ｓ５の処理では、Ｓ３にて取得された車両情報を元に、車両１の走行軌跡（以下、単に軌跡ともいう）が予想され、その軌跡が、例えばメモリ２０に設けられたイメージバッファに描画される。なお、このＳ５にて描画される軌跡は、車両１の車体Ｂ全体の軌跡であってもよく、全ての車輪Ｔの軌跡であってもよく、図４に例示した軌跡Ｋのように後方の車輪Ｔの軌跡（すなわち、一部の車輪Ｔの軌跡）であってもよい。また、このＳ５では、Ｓ３にて車両情報として取得された舵角等を元に、各車輪Ｔの車体Ｂに対する角度（すなわち向き）が計算され、その角度で車輪Ｔが前記イメージバッファに描画されてもよい。

Ｓ７，Ｓ９の処理では、先ず、Ｓ７にて、４つのカメラ３Ａ，３Ｂ，３Ｃ，３Ｄが撮影した映像に応じた画像データが入力され、続くＳ９にて、当該画像データに対する画像処理がなされることにより、車両１の周辺を前記仮想視点から見た３Ｄビューの画像が合成される。例えば、Ｓ９では、４つのカメラ３Ａ，３Ｂ，３Ｃ，３Ｄが撮影した映像を変形して結合することにより、図４に背景Ｈとして例示したような画像が合成される。なお、このとき、車両１の側面等、カメラ３Ａ〜３Ｄの撮影範囲に入る車体Ｂ又は車輪Ｔは、その撮影結果に基づいて画像が合成されてもよく、Ｓ１にて予め準備されたデータに応じた画像が次のＳ１１にて使用されてもよい。

このように、Ｓ１の処理と、Ｓ３及びＳ５の処理と、Ｓ７及びＳ９の処理とが、それぞれ並列処理として実行されると、処理はＳ１１へ移行し、並列処理として前記各処理で生成された画像が重ね合わされる。このとき、各画像を単純に重ね合わせてしまうと、軌跡Ｋの大部分が車体Ｂに覆われ、遠方の軌跡Ｋしか表示されないことになる。その場合、車両１の運転者は、近距離における車両１の動作を推測しにくい。

そこで、Ｓ１１では、Ｓ５で描画された軌跡Ｋの画像はＳ９で生成された背景Ｈの画像の上にそのまま重ねられるものの、車輪Ｔ及び車体Ｂの画像は、半透明化又は部分的に透明化して背景Ｈ及び軌跡Ｋの画像に重ねられるようにしている。この半透明化又は透明化の形態としては、種々の形態が考えられる。

例えば、車輪Ｔ及び車体Ｂの画像は、図４に例示されたように、輪郭を点線で示した画像として背景Ｈ及び軌跡Ｋの画像に重ねられてもよい。すなわち、車輪Ｔ及び車体Ｂの画像は、輪郭以外の部分を完全に透明化した画像として重ね合わされてもよい。なお、輪郭は実線，一点鎖線等であってもよい。また、Ｓ１１では、背景Ｈ及び軌跡Ｋの画像に車輪Ｔ及び車体Ｂの画像を重ね合わせ、車輪Ｔ及び車体Ｂを表す各画素毎に所定の透過度（すなわちアルファ値）設定して合成するいわゆるアルファブレンドがなされてもよい。この透過度の設定は、半透明化に対応する。また、このような半透明化又は透明化は、軌跡Ｋが分かる程度に車輪Ｔ及び車体Ｂの一部に対してなされてもよい。また、車体Ｂのみに透明化又は半透明化がなされ、車輪Ｔは透明化も半透明化もなされなくてもよい。また、Ｓ１１の処理は、軌跡Ｋの画像に前述のような半透明化又は透明化を施して車輪Ｔ及び車体Ｂの画像に上から重ねる処理であってもよい。また、運転操作に影響を及ぼさない車体Ｂの一部は画像自体が省略されてもよい。

このようにして、Ｓ１１による重ね合わせが終了した画像に対応したデータは、続くＳ１３にて表示装置５へ映像出力信号処理部１５を介して出力され、処理は前述の並列処理（すなわち、Ｓ１，Ｓ３，Ｓ７）へ移行する。

［１−３．効果］
以上詳述した第１実施形態によれば、以下の効果が得られる。
（１Ａ）本実施形態では、前記仮想視点から見た３Ｄビューの画像のうちの車体Ｂの画像か、又は、前記予想された車両の軌跡Ｋの画像のうち、いずれか一方の画像が少なくとも一部を半透明化又は透明化されて（すなわち透過性を付与されて）他方の画像に上から重ねられる。その結果、車体Ｂの画像と軌跡Ｋの画像との双方を、良好に認識可能な画像が表示装置５に表示される。そして、これらの画像は背景Ｈの画像に重ねられるので、車両１と周辺の状況との関係、及び、その車両１に対して予想される軌跡Ｋと周辺の状況との関係が、いずれも良好に把握可能となる。このため、車両１の運転者は、自車（すなわち車両１）の動作を容易に予想することができる。また、従来は困難であった近距離から遠距離に至る自車の予想動作を、運転者は良好に把握することができる。

（１Ｂ）また、図４に示した例では、車両１の前方斜め上方に配置された仮想視点から見た３Ｄビューが表示装置５に表示される。この場合、車両１の後退時における車両１と周辺の状況との関係、及び、その車両１に対して予想される軌跡Ｋと周辺の状況との関係が、いずれも極めて良好に把握可能となる。また、仮想視点が車両１の斜め上方に配置された場合、車両１の真上に配置された場合に比べて車体Ｂと軌跡Ｋとの重なりが大きくなる。このため、前述のように、車体Ｂ又は軌跡Ｋのいずれか一方を半透明化又は透明化する効果が一層顕著に表れる。

（１Ｃ）また、図４に例示したように、車輪Ｔ及び車体Ｂの３Ｄビューが表示され、少なくとも車体Ｂは半透明化又は透明化され、更に、各車輪Ｔの車体Ｂに対する角度が舵角に応じた角度とされる場合、舵角と軌跡Ｋとの関係が把握しやすくなる。このため、運転者は、舵角をどのように調整すれば予想される軌跡Ｋがどのように変化するかを良好に把握することができる。

［１−４．特許請求の範囲の要素との対応］
なお、前記実施形態において、前カメラ３Ａ、右カメラ３Ｂ、左カメラ３Ｃ、及び、後カメラ３Ｄが画像取得部に対応し、ＥＣＵ１０が画像生成部、軌跡予想部、及び、画像合成部に対応する。また、ＥＣＵ１０の処理のうち、Ｓ１及びＳ９が画像生成部に、Ｓ５が軌跡予想部に、Ｓ１０が画像合成部に、それぞれ対応する処理である。

［２．第２実施形態］
［２−１．第１実施形態との相違点］
第２実施形態は、基本的な構成は第１実施形態と同様であるため、共通する構成については説明を省略し、相違点を中心に説明する。なお、第１実施形態と同じ符号は、同一の構成を示すものであって、先行する説明を参照する。

前述した第１実施形態では、表示装置５を、表示のみの機能を有するものであっても、タッチパネルであってもよいとした。これに対し、第２実施形態では、図５に示すように、表示装置５としてタッチパネル５０を使用し、その操作状態を表す信号を画像処理部１３に入力した点で、第１実施形態と相違する。

また、このタッチパネル５０には、３Ｄビューの表示時に、図６に示すような矢印ボタン５１〜５４が表示される。矢印ボタン５１は、仮想視点を上へ移動させるためのボタンである。矢印ボタン５２は、仮想視点を右へ移動させるためのボタンである。矢印ボタン５３は、仮想視点を下へ移動させるためのボタンである。矢印ボタン５４は、仮想視点を左へ移動させるためのボタンである。矢印ボタン５１〜５４のいずれかが指Ｆにより押下されると、その情報が画像処理部１３に入力される。

なお、図６では、矢印ボタン５１〜５４をタッチパネル５０の右下隅に配置したが、これに限定されるものではなく、運転者が３Ｄビューを見るときに邪魔になりにくい態様であればどのように配置されてもよい。例えば、上下左右どちら側の隅に配置されてもよく、半透明化するなど３Ｄビューを隠さない態様の表示であればタッチパネル５０の中央に表示されてもよい。

［２−２．処理］
次に、第２実施形態における画像処理部１３が、図３に示した第１実施形態における表示処理に代えて実行する表示処理について、図７のフローチャートを用いて説明する。なお、図７に示す処理は、Ｓ１０１〜Ｓ１０７の処理を追加した点において図３の処理と異なり、それに応じて、Ｓ１，Ｓ５，Ｓ９の処理も、若干の変更がなされてＳ１Ａ，Ｓ５Ａ，Ｓ９Ａとされている。以下、それらの変更点について説明する。

この表示処理では、処理の開始時及びＳ１３の処理の終了時には、Ｓ１０１の処理が実行される。Ｓ１０１では、矢印ボタン５１〜５４のいずれかが押下されたか否かが判断さえれる。Ｓ１０１にて、矢印ボタン５１〜５４のいずれかが押下された（すなわちＹｅｓ）と判断された場合は、処理はＳ１０３へ移行する。Ｓ１０３では、仮想視点の極座標であるθ又はφが、矢印ボタン５１〜５４のうち押下されたものに応じて変更される。

例えば、図８に示すように、車両１を支持する地面Ｇ（例えば路面）に対して垂直で、車両１の中心を通る上向きの軸をＺ軸とし、そのＺ軸に対する仮想視点Ｖの傾斜角（すなわち極角）をθとする。Ｓ１０３では、矢印ボタン５１が押下されたときは、θを小さくするように仮想視点Ｖの位置を変更する処理がなされ、矢印ボタン５３が押下されたときは、θを大きくするように仮想視点Ｖの位置を変更する処理がなされる。なお、θは、０°≦θ≦９０°の範囲で変更可能であり、その範囲を超えてθを変更するような矢印ボタン５１又は５３の押下がなされた場合は、当該押下は無視される。

また、例えば、図９に示すように、車両１の中心を通って当該車両１の前方に向かう軸をＸ軸とし、そのＸ軸から平面視左回りに測った方位角をφとする。Ｓ１０３では、矢印ボタン５２が押下されたときは、φを大きくするように仮想視点Ｖの位置を変更する処理がなされ、矢印ボタン５４が押下されたときは、φを小さくするように仮想視点Ｖの位置を変更する処理がなされる。なお、φは、−１８０°≦φ≦＋１８０°の範囲で変更可能であり、その範囲を超えてφを変更するような矢印ボタン５２又は５４の押下がなされた場合は、−１８０°と＋１８０°とを同一視する処理がなされる。

Ｓ１０３の処理終了後、又は、Ｓ１０１にて矢印ボタン５１〜５４がいずれも押下されていない（すなわちＮｏ）と判断された場合は、Ｓ１Ａの処理と、Ｓ１０５及びＳ１０７及びＳ３及びＳ５Ａの処理と、Ｓ７及びＳ９Ａの処理とが、並列処理として実行される。

Ｓ１Ａでは、第１実施形態におけるＳ１とは異なり、Ｓ１０３にて設定されたθ，φに基づき、その時点で設定されている仮想視点Ｖの位置に応じて、車両１の屋根の形状などといった更新の必要がない画像の準備がなされる。Ｓ９Ａも同様で、第１実施形態におけるＳ９とは異なり、Ｓ１０３にて設定されたθ，φに基づき、その時点で設定されている仮想視点Ｖから見た３Ｄビューの画像を合成する画像処理がなされる。

また、第１実施形態におけるＳ３の１つ手前に挿入されたＳ１０５では、θが予め閾値として設定されたθ１以下であるか否かが判断される。このθ１は、軌跡Ｋの画像が表示されても上下方向の大きさがほとんどない画像となって、当該画像を表示する意味が少なくなる角度を表し、例えば図８に例示した角度に設定される。

そこで、Ｓ１０５にて、θがθ１より大きい（すなわちＮｏ）と判断された場合は、それまで描画されていた軌跡Ｋの画像がＳ１０７にて消去されて、処理は前述のＳ１１へ移行する。また、Ｓ１０５にて、θがθ１以下である（すなわちＹｅｓ）と判断された場合は、処理は第１実施形態と同様のＳ３へ移行し、車両情報が取得される。Ｓ３に続くＳ５Ａでは、第１実施形態におけるＳ５とは異なり、Ｓ１０３にて設定されたθ，φに基づき、その時点で設定されている仮想視点Ｖから見た形状の軌跡Ｋが描画される。

［２−３．効果］
以上詳述した第２実施形態によれば、前述した第１実施形態の効果（１Ａ）〜（１Ｃ）に加え、以下の効果が得られる。

（２Ａ）本実施形態では、矢印ボタン５１〜５４を押下することによって仮想視点Ｖの位置を自由に調整することができる。このため、車両１と周辺の状況との関係、及び、その車両１に対して予想される軌跡Ｋと周辺の状況との関係が、いずれも、運転者の所望の位置に配置された仮想視点Ｖから良好に表示可能となる。言い換えれば、車両１と周辺の状況との関係、及び、その車両１に対して予想される軌跡Ｋと周辺の状況との関係が、いずれも、運転者の見たい角度から良好に把握可能となる。

（２Ｂ）そして、仮想視点Ｖの位置が低く（すなわちθが大きく）、当該位置から見た軌跡Ｋを表示する意味が少ない場合は、軌跡Ｋが表示されない。このため、画像処理部１３において無駄な処理がなされるのを抑制することができる。なお、このように軌跡Ｋを表示するか否かの閾値となるθ１は、製造時に適宜の角度に設定されても、運転者により所望の角度に設定されてもよいが、例えば、車両１における屋根の前端と後輪の中心とを結ぶ線の角度といったような基準により設定されてもよい。なお、前記第２実施形態において、矢印ボタン５１〜５４が視点設定部に対応する。

［３．他の実施形態］
以上、本発明を実施するための形態について説明したが、本発明は上述の実施形態に限定されることなく、種々変形して実施することができる。

（３Ａ）図４の例では、軌跡Ｋがベタ塗りの単一色で描画されたが、これに限定されるものではない。軌跡Ｋの描画態様は、当該軌跡Ｋの信頼度等に応じて各部で変化してもよい。例えば、図１０に例示するように、信頼度が低い部分（例えば車両１から遠い部分）では軌跡Ｋが破線で描画され、信頼度が低くなるほど破線の隙間が多くなってもよい。また、図１１に例示するように、信頼度が低くなるほど色が薄くなるように、軌跡Ｋはグラデーションを有する画像として描画されてもよい。その場合、色の濃度が変化する代わりに、色合いが変化してもよい。このような処理は、Ｓ５又はＳ５Ａにて軌跡が予想される際に、当該予想における信頼度も軌跡の部位毎に算出され、その信頼度に応じて軌跡Ｋの各部位の描画態様が変更されるようにすれば実現可能である。その場合、運転者は、軌跡Ｋの各部位の信頼度を良好に認識することができる。

（３Ｂ）第２実施形態では、矢印ボタン５１〜５４が押下されることによって仮想視点Ｖの位置が変更されたが、これに限定されるものではない。例えば、車両１の速度が大きいほど、θが大きくなるように仮想視点Ｖの位置が自動調整されてもよい。その場合、例えば、仮想視点Ｖが車両１の前方斜め上方に配置された場合、車両１の後退速度が大きいほど遠くの背景Ｈが表示可能となる。その場合、タッチパネル５０が使用される必要はなく、ブロック図は第１実施形態と同様になる。また、このような処理は、図９におけるＳ１０１にて車速が変化したか否かが判断され、車速が変化した場合、Ｓ１０３にて車速に応じてθの値が変更されることによって実現できる。

（３Ｃ）前記各実施形態では、車輪Ｔ及び車体Ｂが表示され、かつ、車輪Ｔの車体Ｂに対する角度が舵角に応じた値とされたが、これに限定されるものではない。例えば、車輪Ｔの車体Ｂに対する角度は固定値であってもよく、車輪Ｔは表示されなくてもよい。また、車輪Ｔが表示されない場合、コンピュータグラフィックス等の方法により車輪Ｔが車体Ｂに隠れるような画像に変換するなど、運転者に違和感を与えない画像への変換がなされてもよい。

（３Ｄ）第１実施形態では、車両１の前方斜め上方に仮想視点が固定配置されたが、仮想視点が固定配置される場合の配置はこれに限定されるものではない。例えば、仮想視点は車両１の真上に固定配置されてもよく、車両１の後方斜め上方、右方斜め上方等、その他の位置に固定配置されてもよい。

（３Ｅ）前記各実施形態では、車両１に備えられた４つのカメラ３Ａ〜３Ｄを用いて３Ｄビューの画像が生成されたが、これに限定されるものではない。例えば、使用されるカメラは５つ以上であってもよい。また、車両１に備えられたカメラが１つだけ使用される場合であっても、過去の撮影画像を利用することによって３Ｄビューの画像が生成可能な場合がある。また、次のような構成を採用すれば、車両１に備えられたカメラを全く使用しなくてもよい。例えば、インフラに備えられたカメラ、他車両に備えられたカメラ、他車両に搭載されたドライブレコーダ等に備えられたカメラなど、車両１以外に設けられたカメラを利用して３Ｄビューが生成されてもよい。その場合、画像処理部１３は、通信等によって前記カメラの撮影画像を取得することになる。その場合、車両１の外部から通信等によって画像を取得する受信装置が、画像取得部に対応する。

（３Ｆ）前記各実施形態では、Ｓ１１にて、３Ｄビューの画像のうちの車体Ｂの画像か、又は、前記予想された車両の軌跡Ｋの画像のうち、いずれか一方の画像が透過性を付与されて他方の画像に上から重ねられたが、これに限定されるものではない。例えば、Ｓ１又はＳ１Ａにて準備される車体Ｂ等の画像が、メモリ２０に格納されているときから既に十分に透過性を付与された画像（すなわち、元々透過性のある画像）であれば、そのような画像は、Ｓ１１にて周辺Ｈの画像の上に単純に重ねられればよい。

（３Ｇ）前記実施形態における１つの構成要素が有する複数の機能を、複数の構成要素によって実現したり、１つの構成要素が有する１つの機能を、複数の構成要素によって実現したりしてもよい。また、複数の構成要素が有する複数の機能を、１つの構成要素によって実現したり、複数の構成要素によって実現される１つの機能を、１つの構成要素によって実現したりしてもよい。また、前記実施形態の構成の一部を省略してもよい。また、前記実施形態の構成の少なくとも一部を、他の前記実施形態の構成に対して付加又は置換してもよい。なお、特許請求の範囲に記載した文言のみによって特定される技術思想に含まれるあらゆる態様が本発明の実施形態である。

（３Ｈ）上述した画像生成装置の他、当該画像生成装置を構成要素とするシステム、当該画像生成装置としてコンピュータを機能させるためのプログラム、このプログラムを記録した半導体メモリ等の非遷移的実態的記録媒体、画像生成方法など、種々の形態で本発明を実現することもできる。

［４．補足］
なお、以上説明した例示的な実施形態から明らかなように、本発明の画像生成装置は、更に以下に挙げるような構成を備えていてもよい。

（４Ａ）前記画像生成部は、前記車両の斜め上に設定された仮想視点から前記車両の全体及び前記車両周辺を見た画像を生成するように構成されてもよい。その場合、車両の画像又は予想された走行軌跡のいずれか一方を透過性のある画像とした効果が一層顕著に表れる。

（４Ｂ）また、前記画像合成部によって前記周辺の画像に上から重ねられる前記車両の画像は、前記車両の各車輪の画像（Ｔ）に前記車両の車体の画像（Ｂ）を上から重ねた画像であり、前記車体の画像は透過性を付与された画像であってもよい。その場合、車体の画像が透過性のある画像とされたことにより車輪の向きが認識可能となり、舵角と走行軌跡との関係が把握しやすくなる。

（４Ｃ）また、前記仮想視点の位置を設定するように構成された視点設定部（５１，５２，５３，５４）を、更に備えてもよい。その場合、車両と周辺の状況との関係、及び、予想される走行軌跡と周辺の状況との関係が、所望の角度から良好に把握可能となる。

（４Ｄ）そして、（４Ｃ）の場合において、前記車両の真上方向に対する傾斜角が予め設定された所定値より大きい位置に前記仮想視点が前記視点設定部を介して設定された場合、前記軌跡予想部（１０，５Ａ）は、前記走行軌跡の予想を行わず、前記画像合成部は、前記画像生成部（１０，Ｓ９Ａ，Ｓ１）が生成した画像をそのまま出力画像とするように構成されてもよい。その場合、軌跡予想部及び画像合成部において無駄な処理がなされるのを抑制することができる。ここで、「真上方向」とは、厳密な意味で重力とは逆方向に限るものではなく、目的とする効果を奏するのであれば厳密に真上方向でなくてもよい。例えば、前記第２実施形態のように、地面Ｇに対する垂直方向であってもよく、それよりも更にいずれかの方向に若干傾斜した方向であってもよい。

（４Ｅ）また、前記軌跡予想部は、前記予想の信頼度を前記走行軌跡の部位毎に算出するように構成され、前記画像合成部は、前記走行軌跡におけるそれぞれの部位の画像を、前記信頼度に応じた態様の画像として、前記画像生成部が生成した画像と重ねるように構成されもよい。その場合、走行軌跡におけるそれぞれの部位の信頼度を良好に認識可能となる。

１…車両 ３Ａ…前カメラ
３Ｂ…右カメラ ３Ｃ…左カメラ
３Ｄ…後カメラ ５…表示装置
１０…ＥＣＵ １３…画像処理部
１９…車両情報信号処理部 ２０…メモリ
３０…電源 ５０…タッチパネル
５１，５２，５３，５４…矢印ボタン Ｂ…車体
Ｈ…背景 Ｋ…軌跡
Ｔ…車輪 Ｖ…仮想視点

Claims (10)

1. 車両（１）の周辺を撮影した画像を取得するように構成された画像取得部（３Ａ，３Ｂ，３Ｃ，３Ｄ）と、
   前記画像取得部が取得した画像と、予め記憶されている車両の外形を表す内部パラメータとを用いて、前記車両の外部に設定された仮想視点（Ｖ）から前記周辺を見た周辺画像及び前記仮想視点（Ｖ）から前記車両を見た姿勢の擬似的に透過性を付与された３次元車両画像を生成するように構成された画像生成部（１０，Ｓ９，Ｓ９Ａ，Ｓ１，Ｓ１Ａ）と、
   前記車両の運転状態に基づき、前記車両の走行軌跡を予想するように構成された軌跡予想部（１０，Ｓ５，Ｓ５Ａ）と、
   前記画像生成部によって生成された前記周辺画像（Ｈ）における前記車両の位置に、前記３次元車両画像と前記軌跡予想部が予想した走行軌跡の画像（Ｋ）とを少なくとも一部重複させて前記周辺画像（Ｈ）に重ね出力画像として生成するように構成された画像合成部（１０，Ｓ１１）と、
   を備えた画像生成装置。
2. 請求項１に記載の画像生成装置であって、
   前記軌跡予想部は、前記車両の各車輪の走行軌跡を予想するように構成された画像生成装置。
3. 請求項１又は請求項２に記載の画像生成装置であって、
   前記画像生成部は、前記車両の斜め上に設定された前記仮想視点から前記車両の全体を見た前記３次元車両画像及び前記車両の斜め上に設定された前記仮想視点から前記周辺を見た前記周辺画像を生成するように構成された画像生成装置。
4. 請求項１〜３のいずれか１項に記載の画像生成装置であって、
   前記画像合成部によって前記周辺画像に上から重ねられる前記３次元車両画像は、前記車両の各車輪の画像（Ｔ）に前記車両の車体の画像（Ｂ）を上から重ねた画像であり、
   前記車体の画像は透過性を付与された画像である画像生成装置。
5. 請求項１〜４のいずれか１項に記載の画像生成装置であって、
   前記仮想視点の位置を設定するように構成された視点設定部（５１，５２，５３，５４）を、
   更に備えた画像生成装置。
6. 請求項５に記載の画像生成装置であって、
   前記車両の真上方向に対する傾斜角が予め設定された所定値より大きい位置に前記仮想視点が前記視点設定部を介して設定された場合、前記軌跡予想部（１０，５Ａ）は、前記走行軌跡の予想を行わず、前記画像合成部は、前記画像生成部（１０，Ｓ９Ａ，Ｓ１Ａ）が生成した画像をそのまま出力画像とするように構成された画像生成装置。
7. 請求項１〜６のいずれか１項に記載の画像生成装置であって、
   前記軌跡予想部は、前記予想の信頼度を前記走行軌跡の部位毎に算出するように構成され、
   前記画像合成部は、前記走行軌跡におけるそれぞれの部位の画像を、前記信頼度に応じた態様の画像として、前記画像生成部が生成した画像と重ねるように構成された画像生成装置。
8. 車両（１）の周辺を撮影した画像を取得するように構成された画像取得部（３Ａ，３Ｂ，３Ｃ，３Ｄ）と、
   前記画像取得部が取得した画像と、前記車両に応じて予め準備された透過性のある前記車両の画像（Ｂ，Ｔ）とを用いて、前記車両の外部に設定された仮想視点（Ｖ）から前記周辺及び擬似的に透過性を付与された前記車両を見た画像を、生成するように構成された画像生成部（１０，Ｓ９，Ｓ９Ａ，Ｓ１，Ｓ１Ａ）と、
   前記車両の運転状態に基づき、前記車両の走行軌跡を予想するように構成された軌跡予想部（１０，Ｓ５，Ｓ５Ａ）と、
   前記画像生成部が生成した画像のうちの前記車両の画像を、前記軌跡予想部が予想した走行軌跡の画像（Ｋ）に上から重ね、更にそれらの画像を前記画像生成部が生成した画像のうちの前記周辺の画像（Ｈ）に上から重ねて得られた画像を、出力画像として生成するように構成された画像合成部（１０，Ｓ１１）と、
   を備え、
   前記画像合成部によって前記周辺の画像に上から重ねられる前記車両の画像は、前記車両の各車輪の画像（Ｔ）に前記車両の車体の画像（Ｂ）を上から重ねた画像であり、
   前記車体の画像は透過性を付与された画像である
   画像生成装置。
9. 車両（１）の周辺を撮影した画像を取得するように構成された画像取得部（３Ａ，３Ｂ，３Ｃ，３Ｄ）と、
   前記画像取得部が取得した画像と、前記車両に応じて予め準備された透過性のある前記車両の画像（Ｂ，Ｔ）とを用いて、前記車両の外部に設定された仮想視点（Ｖ）から前記周辺及び擬似的に透過性を付与された前記車両を見た画像を、生成するように構成された画像生成部（１０，Ｓ９，Ｓ９Ａ，Ｓ１，Ｓ１Ａ）と、
   前記車両の運転状態に基づき、前記車両の走行軌跡を予想するように構成された軌跡予想部（１０，Ｓ５，Ｓ５Ａ）と、
   前記画像生成部が生成した画像のうちの前記車両の画像を、前記軌跡予想部が予想した走行軌跡の画像（Ｋ）に上から重ね、更にそれらの画像を前記画像生成部が生成した画像のうちの前記周辺の画像（Ｈ）に上から重ねて得られた画像を、出力画像として生成するように構成された画像合成部（１０，Ｓ１１）と、
   前記仮想視点の位置を設定するように構成された視点設定部（５１，５２，５３，５４）と、
   を備え、
   前記車両の真上方向に対する傾斜角が予め設定された所定値より大きい位置に前記仮想視点が前記視点設定部を介して設定された場合、前記軌跡予想部（１０，５Ａ）は、前記走行軌跡の予想を行わず、前記画像合成部は、前記画像生成部（１０，Ｓ９Ａ，Ｓ１Ａ）が生成した画像をそのまま出力画像とするように構成された
   画像生成装置。
10. 車両（１）の周辺を撮影した画像を取得するように構成された画像取得部（３Ａ，３Ｂ，３Ｃ，３Ｄ）と、
    前記画像取得部が取得した画像と、前記車両に応じて予め準備された透過性のある前記車両の画像（Ｂ，Ｔ）とを用いて、前記車両の外部に設定された仮想視点（Ｖ）から前記周辺及び擬似的に透過性を付与された前記車両を見た画像を、生成するように構成された画像生成部（１０，Ｓ９，Ｓ９Ａ，Ｓ１，Ｓ１Ａ）と、
    前記車両の運転状態に基づき、前記車両の走行軌跡を予想するように構成された軌跡予想部（１０，Ｓ５，Ｓ５Ａ）と、
    前記画像生成部が生成した画像のうちの前記車両の画像を、前記軌跡予想部が予想した走行軌跡の画像（Ｋ）に上から重ね、更にそれらの画像を前記画像生成部が生成した画像のうちの前記周辺の画像（Ｈ）に上から重ねて得られた画像を、出力画像として生成するように構成された画像合成部（１０，Ｓ１１）と、
    を備え、
    前記軌跡予想部は、前記予想の信頼度を前記走行軌跡の部位毎に算出するように構成され、
    前記画像合成部は、前記走行軌跡におけるそれぞれの部位の画像を、前記信頼度に応じた態様の画像として、前記画像生成部が生成した画像と重ねるように構成された
    画像生成装置。