JP6958163B2 - 表示制御装置 - Google Patents

Description

本発明の実施形態は、表示制御装置に関する。

従来、車両の周囲に設けられた複数の撮像部によって、車両の周辺を撮像して、その撮像された複数の撮像画像データを合成し三次元の合成画像を生成して、車室内の表示装置で表示することで、車両の周囲の状況を運転者に認識させる画像処理装置が提案されている（例えば、特許文献１参照）。

この画像処理装置では、複数の撮像部で撮像した画像を合成する際に生じることのある表示の不自然さを抑制するために、撮像している物体までの距離を算出し、撮像部から物体までの距離と投影面の基準点（例えば中心）からの距離に応じて投影面を補正している。

ＷＯ２０１３／１７５７５３号公報

しかしながら、従来技術において、合成画像の表示の不自然さを解消するために物体までの距離を算出する必要があり、処理が煩雑であるとともに演算部の負荷も大きかった。また、処理装置のコストの増加の原因にもなっていた。また、表示される三次元画像は、上述したような従来技術による補正では解消できない問題が存在した。例えば、表示される物体の大きさが不自然に小さくなったり、道幅が急激に狭くなったりする等の問題があった。

そこで、本発明の課題の一つは、三次元画像を生成する場合に、よりシンプルな構成により、不自然さの軽減ができる表示制御装置を提供することにある。

実施形態の表示制御装置は、例えば、車両に設けられて上記車両の前方を含む領域を撮像する前方撮像部から得られる前方画像および上記車両の後方を含む領域を撮像する後方撮像部から得られる後方画像の少なくとも一方である、表示対象画像を取得する画像取得部と、上記表示対象画像を投影可能で、上記車両の接地面から高さ方向に立ち上がる側面を少なくとも備える三次元の仮想投影面を取得する投影面取得部と、上記画像取得部が取得した上記表示対象画像を上記仮想投影面に投影する場合に、上記表示対象画像を撮像した上記前方撮像部または上記後方撮像部から上記車両の車長方向である第一の方向に延びる第一の仮想直線と上記仮想投影面とが交わる位置に対応する第一の座標から、上記第一の仮想直線から上記車両の車幅方向に離間して上記第一の方向に延びる仮想基準線と上記仮想投影面とが交わる位置に対応する第二の座標に向かう第二の方向に上記表示対象画像の投影位置を補正する補正部と、補正された上記投影位置に上記表示対象画像を投影して三次元画像を生成する画像合成部と、を備える。この構成によれば、例えば、表示対象画像の投影位置が、仮想投影面上で幅方向（車幅方向）に補正され引き延ばされる。その結果、仮想投影面に表示される物体の大きさが不自然に小さくなったり、第一の方向に延びる道幅が急激に狭くなったりする等の不自然な表示が軽減できる。

また、実施形態の表示制御装置の上記補正部は、例えば、上記表示対象画像を撮像した処理対象撮像部から上記第一の方向の所定の距離に設定された仮想参照面と上記仮想基準線とが交わる第三の座標と上記処理対象撮像部とを結ぶ第二の仮想直線が上記仮想投影面と交わる第四の座標と上記第二の座標との上記第二の方向における第一の距離と、上記第一の仮想直線と上記仮想基準線との上記第二の方向における第二の距離と、に基づき上記投影位置を上記第二の方向に補正する補正率を取得するようにしてもよい。この構成によれば、例えば、仮想参照面に沿って第一の仮想直線からの位置によって補正の反映度が変化可能となり、仮想投影面上でより違和感のない三次元合成画像を生成することができる。また、この場合、仮想基準線上に存在する物体であれば、その物体は仮想投影面上の仮想基準線との交点付近に投影される。その結果、例えば、第一の方向において遠方に存在する物体が仮想基準線を基準にどちら側に存在するかが認識しやすくなる。つまり、車両と物体の位置関係の認識が容易になる。

また、実施形態の表示制御装置の上記仮想基準線は、例えば、上記車両の車体の左側面または右側面に沿うように上記第一の方向に延びてもよい。この構成によれば、例えば、車体の左側面に沿う仮想基準線上に存在する物体であれば、その物体は、仮想投影面上で仮想基準線との交点付近に投影される。その結果、例えば、第一の方向において遠方に存在する物体が車両の左側面（外面）を基準にどちら側に存在するかが認識しやすくなる。つまり、車両が移動したときに車体と物体とが接触するか否かが認識しやすい三次元合成画像を仮想投影面に投影することができる。仮想基準線が車体の右側面に沿う場合も同様である。

また、実施形態の表示制御装置の上記画像取得部は、例えば、上記車両の左側方を含む領域を撮像する左側方撮像部から得られる左側方画像および上記車両の右側方を含む領域を撮像する右側方撮像部から得られる右側方画像の少なくとも一方である側方の表示対象画像をさらに取得し、上記仮想基準線は、上記車幅方向における上記左側方撮像部または上記右側方撮像部と重なる位置から上記第一の方向に延び、上記画像合成部は，上記補正部で補正された上記表示対象画像と上記側方の表示対象画像とを繋ぎ合わせて上記三次元画像を生成してもよい。この構成によれば、例えば、左側方撮像部で撮像される、第一の方向に延びる仮想基準線上に存在する物体は、仮想基準線と仮想投影面との交点付近に投影される。一方、同じ物体を例えば前方撮像部で撮像した場合、その物体を斜視することになるが投影位置は、補正部の補正により第二の方向（仮想基準線に向かう方向）に補正される。したがって、左側方撮像部と前方撮像部とで撮像した物体の仮想投影面上での投影位置のずれが軽減され、三次元合成画像の品質の向上に寄与できる。また、右側方撮像部で撮像される物体についても同様である。

実施形態の表示制御装置は、例えば、車両に設けられて上記車両の左側方を含む領域を撮像する左側方撮像部から得られる左側方画像および上記車両の右側方を含む領域を撮像する右側方撮像部から得られる右側方画像の少なくとも一方である、表示対象画像を取得する画像取得部と、上記表示対象画像を投影可能で、上記車両の接地面から高さ方向に立ち上がる側面を少なくとも備える三次元の仮想投影面を取得する投影面取得部と、上記画像取得部が取得した上記表示対象画像を上記仮想投影面に投影する場合に、上記表示対象画像を撮像した上記左側方撮像部または上記右側方撮像部から上記車両の車幅方向である第一の方向に延びる第一の仮想直線と上記仮想投影面とが交わる位置に対応する第一の座標から、上記第一の仮想直線から上記車両の車長方向に離間して上記第一の方向に延びる仮想基準線と上記仮想投影面とが交わる位置に対応する第二の座標に向かう第二の方向に上記表示対象画像の投影位置を補正する補正部と、補正された上記投影位置に上記表示対象画像を投影して三次元画像を生成する画像合成部と、を備える。この構成によれば、例えば、表示対象画像の投影位置が、仮想投影面上で車長方向に補正され引き延ばされる。その結果、左側方撮像部と右側方撮像部の少なくとも一方で撮像した表示対象画像を仮想投影面に投影する場合、仮想投影面に表示される自車側方の物体の大きさが不自然に小さくなったり、第一の方向（自車側方）に延びる道幅が急激に狭くなったりする等の不自然な表示が軽減できる。

また、実施形態の表示制御装置の上記補正部は、例えば、上記表示対象画像を撮像した処理対象撮像部から上記第一の方向の所定の距離に設定された仮想参照面と上記仮想基準線とが交わる第三の座標と上記処理対象撮像部とを結ぶ第二の仮想直線が上記仮想投影面と交わる第四の座標と上記第二の座標との上記第二の方向における第一の距離と、上記第一の仮想直線と上記仮想基準線との上記第二の方向における第二の距離と、に基づき上記投影位置を上記第二の方向に補正する補正率を取得してもよい。この構成によれば、例えば、仮想参照面に沿って第一の仮想直線からの位置によって補正の反映度が変化可能となり、仮想投影面上でより違和感のない三次元合成画像を生成することができる。また、この場合、仮想基準線上に存在する物体であれば、その物体は仮想投影面上の仮想基準線との交点付近に投影される。例えば、第一の方向（自車側方）において遠方に存在する物体が仮想基準線を基準にどちら側に存在するかが認識しやすくなる。つまり、車両の側方に存在すると物体の位置関係の認識が容易になる。

また、実施形態の表示制御装置の上記仮想基準線は、例えば、上記車両の車体の前面または後面に沿うように上記第一の方向に延びてもよい。この構成によれば、例えば、車体の前面に沿う仮想基準線上に存在する物体であれば、その物体は、仮想投影面上の仮想基準線との交点付近に投影される。例えば、第一の方向（自車側方）において遠方に存在する物体が車両の前面（外面）を基準にどちら側に存在するかが認識しやすくなる。つまり、物体が車両の前端より前に存在するか後に存在するかが認識しやすくなり、車両が移動したときに車体と物体とが接触するか否かが認識しやすい三次元合成画像を仮想投影面に投影することができる。仮想基準線が車体の後面に沿う場合も同様である。

また、実施形態の表示制御装置の上記画像取得部は、例えば、上記車両の前方を含む領域を撮像する前方撮像部から得られる前方画像および上記車両の後方を含む領域を撮像する後方撮像部から得られる後方画像の少なくとも一方である前後方向の表示対象画像をさらに取得し、上記仮想基準線は、上記車長方向における上記前方撮像部または上記後方撮像部と重なる位置から上記第一の方向に延び、上記画像合成部は、上記補正部で補正された上記表示対象画像と上記前後方向の表示対象画像とを繋ぎ合わせて上記三次元画像を生成してもよい。この構成によれば、例えば、前方撮像部で撮像される、第一の方向に延びる仮想基準線上に存在する物体は、仮想基準線と仮想投影面との交点付近に投影される。一方、同じ物体を例えば左側方撮像部で撮像した場合、その物体を斜視することになるが投影位置は、補正部の補正により第二の方向（仮想基準線に向かう方向）に補正される。したがって、前方撮像部と左側方撮像部とで撮像した物体の仮想投影面上での投影位置のずれが軽減され、三次元合成画像の品質の向上に寄与できる。また、後方撮像部で撮像される物体についても同様である。

また、実施形態の表示制御装置の上記補正部は、例えば、上記投影位置の補正を上記車両の上記接地面からの高さに応じて変化させてもよい。この構成によれば、例えば、車両の接地面と仮想投影面との接続部分で投影位置の第二の方向への補正が急激に適用されることが回避され、接地面と仮想投影面との連続性が保ちやすくなる。

図１は、実施形態にかかる表示制御装置を搭載する車両の車室の一部が透視された状態の一例が示された斜視図である。 図２は、実施形態にかかる表示制御装置を搭載する車両の一例が示された平面図（俯瞰図）である。 図３は、実施形態にかかる表示制御装置を有する表示制御システムの構成の一例を示すブロック図である。 図４は、実施形態にかかる表示制御装置のＣＰＵの構成の例示的なブロック図である。 図５は、実施形態にかかる表示制御システムにおける撮影画像の仮想投影面への投影を示す例示的かつ模式的な説明図である。 図６は、実施形態にかかる表示制御装置で用いる仮想投影面（三次元形状モデル）を示す例示的かつ模式的な説明図である。 図７は、実施形態にかかる表示制御システムにおける車両形状モデルと底面と側面を備える仮想投影面とを示す模式的かつ例示的な側面図である。 図８は、実施形態にかかる表示制御システムにおける車両形状モデルと側面のみを備える仮想投影面とを示す模式的かつ例示的な側面図である。 図９は、実施形態１にかかる表示制御システムにおける画像の投影位置および補正率の算出を説明する模式的かつ例示的な説明図である。 図１０は、実施形態１にかかる表示制御システムにおける補正を実行しない場合の三次元表示画像の比較例を示す模式図である。 図１１は、実施形態１にかかる表示制御システムにおける補正を実行した場合の三次元表示画像の表示例を示す模式図である。 図１２は、実施形態１にかかる表示制御システムにおける補正率の他の算出方法を説明するための図であり、撮像部の位置座標と仮想投影面との交点座標および路面との交点座標を示す説明図である。 図１３は、実施形態１にかかる表示制御システムにおける補正率の他の算出方法を説明するための図であり、図１２の各座標を用いて補正率を案出する例を説明する説明図である。 図１４は、実施形態２にかかる表示制御システムにおける前方画像の投影位置および補正率の算出を説明する模式的かつ例示的な説明図である。 図１５は、実施形態２にかかる表示制御システムにおける側方画像の投影位置および補正率の算出を説明する模式的かつ例示的な説明図である。 図１６は、実施形態２にかかる表示制御システムにおいて、前方画像と側方画像を用いて画像の投影を行った場合に二重映りが生じること、および二重映りの軽減ができることを説明する模式的かつ例示的な説明図である。 図１７は、実施形態２にかかる表示制御システムにおける補正を実行しない場合の三次元表示画像の比較例を示す模式図である。 図１８は、実施形態２にかかる表示制御システムにおける補正を実行した場合の三次元表示画像の表示例を示す模式図である。 図１９は、実施形態２にかかる表示制御システムにおける補正を実行した場合に新たに生じる可能性のある表示ずれの一例を示す模式図である。 図２０は、実施形態３にかかる表示制御システムにおける補正率の適用例を説明する説明図である。 図２１は、実施形態３にかかる表示制御システムにおける補正率を適用した場合の三次元表示画像の表示例を示す模式図である。 図２２は、実施形態４にかかる表示制御システムにおける補正率の他の適用例を説明する説明図である。 図２３は、実施形態４にかかる表示制御システムにおける補正率を適用した場合の三次元表示画像の表示例を示す模式図である。

以下、本発明の例示的な実施形態が開示される。以下に示される実施形態の構成、ならびに当該構成によってもたらされる作用、結果、および効果は、一例である。本発明は、以下の実施形態に開示される構成以外によっても実現可能であるとともに、基本的な構成に基づく種々の効果や、派生的な効果のうち、少なくとも一つを得ることが可能である。

本実施形態において、表示制御装置（表示制御システム）を搭載する車両１は、例えば、不図示の内燃機関を駆動源とする自動車、すなわち内燃機関自動車であってもよいし、不図示の電動機を駆動源とする自動車、すなわち電気自動車や燃料電池自動車等であってもよい。また、それらの双方を駆動源とするハイブリッド自動車であってもよいし、他の駆動源を備えた自動車であってもよい。また、車両１は、種々の変速装置を搭載することができるし、内燃機関や電動機を駆動するのに必要な種々の装置、例えばシステムや部品等を搭載することができる。駆動方式としては、四つある車輪３すべてに駆動力を伝え、四輪すべてを駆動輪として用いる四輪駆動車両とすることができる。車輪３の駆動に関わる装置の方式や、数、レイアウト等は、種々に設定することができる。また、駆動方式も四輪駆動方式に限定されず、例えば、前輪駆動方式や後輪駆動方式でもよい。

図１に例示されるように、車体２は、不図示の乗員が乗車する車室２ａを構成している。車室２ａ内には、乗員としての運転者の座席２ｂに臨む状態で、操舵部４や、加速操作部５、制動操作部６、変速操作部７等が設けられている。操舵部４は、例えば、ダッシュボード２４から突出したステアリングホイールであり、加速操作部５は、例えば、運転者の足下に位置されたアクセルペダルであり、制動操作部６は、例えば、運転者の足下に位置されたブレーキペダルであり、変速操作部７は、例えば、センターコンソールから突出したシフトレバーである。なお、操舵部４、加速操作部５、制動操作部６、変速操作部７等は、これらには限定されない。

また、車室２ａ内には、表示装置８や、音声出力装置９が設けられている。表示装置８は、例えば、ＬＣＤ（liquid crystal display）や、ＯＥＬＤ（organic electroluminescent display）等である。音声出力装置９は、例えば、スピーカである。また、表示装置８は、例えば、タッチパネル等、透明な操作入力部１０で覆われている。乗員は、操作入力部１０を介して表示装置８の表示画面に表示される画像を視認することができる。また、乗員（運転者等）は、表示装置８の表示画面に表示される画像に対応した位置で手指等で操作入力部１０を触れたり押したり動かしたりして操作することで、操作入力を実行することができる。これら表示装置８や、音声出力装置９、操作入力部１０等は、例えば、ダッシュボード２４の車幅方向すなわち左右方向の中央部に位置されたモニタ装置１１に設けられている。モニタ装置１１は、スイッチや、ダイヤル、ジョイスティック、押しボタン等の不図示の操作入力部を有することができる。また、モニタ装置１１とは異なる車室２ａ内の他の位置に不図示の音声出力装置を設けることができるし、モニタ装置１１の音声出力装置９と他の音声出力装置から、音声を出力することができる。なお、モニタ装置１１は、例えば、ナビゲーションシステムやオーディオシステムと兼用されうる。

また、図１、図２に例示されるように、車両１は、例えば、四輪自動車であり、左右二つの前輪３Ｆと、左右二つの後輪３Ｒとを有する。これら四つの車輪３は、いずれも転舵可能に構成されうる。図３に例示されるように、車両１は、少なくとも二つの車輪３を操舵する操舵システム１３を有している。操舵システム１３は、アクチュエータ１３ａと、トルクセンサ１３ｂとを有する。操舵システム１３は、ＥＣＵ１４（electronic control unit）等によって電気的に制御されて、アクチュエータ１３ａを動作させる。操舵システム１３は、例えば、電動パワーステアリングシステムや、ＳＢＷ（steer by wire）システム等である。操舵システム１３は、アクチュエータ１３ａによって操舵部４にトルク、すなわちアシストトルクを付加して操舵力を補ったり、アクチュエータ１３ａによって車輪３を転舵したりする。この場合、アクチュエータ１３ａは、一つの車輪３を転舵してもよいし、複数の車輪３を転舵してもよい。また、トルクセンサ１３ｂは、例えば、運転者が操舵部４に与えるトルクを検出する。

また、図２に例示されるように、車体２には、複数の撮像部１５として、例えば四つの撮像部１５ａ〜１５ｄが設けられている。撮像部１５は、例えば、ＣＣＤ（Charge Coupled Device）やＣＩＳ（CMOS image sensor）等の撮像素子を内蔵するデジタルカメラである。撮像部１５は、所定のフレームレートで動画データ（撮像画像データ）を出力することができる。撮像部１５は、それぞれ、広角レンズまたは魚眼レンズを有し、水平方向には例えば１４０°〜２２０°の範囲を撮影することができる。また、撮像部１５の光軸は斜め下方に向けて設定されている場合もある。よって、撮像部１５は、車両１が移動可能な路面や物体（障害物として、例えば、樹木、人間、自転車、車両等）を含む車両１の外部の周辺の環境を逐次撮影し、撮像画像データとして出力する。

撮像部１５ａ（後方撮像部）は、例えば、車体２の後側の端部２ｅに位置され、リアハッチのドア２ｈのリアウインドウの下方の壁部に設けられて、車両１の後方を含む領域の状況を含む後方画像を撮像する。撮像部１５ｂ（右側方撮像部）は、例えば、車体２の右側の端部２ｆに位置され、右側のドアミラー２ｇに設けられて、車両１の右側方を含む領域の状況を含む右側方画像を撮像する。撮像部１５ｃ（前方撮像部）は、例えば、車体２の前側、すなわち車両前後方向の前方側の端部２ｃに位置され、フロントバンパやフロントグリル等に設けられて、車両１の前方を含む領域の状況を含む前方画像を撮像する。撮像部１５ｄ（左側方撮像部）は、例えば、車体２の左側の端部２ｄに位置され、左側のドアミラー２ｇに設けられて、車両１の左側方を含む領域の状況を含む左側方画像を撮像する。

また、図３に例示されるように、表示制御システム１００（表示制御装置）では、ＥＣＵ１４や、モニタ装置１１、操舵システム１３等の他、ブレーキシステム１８、舵角センサ１９、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２等が、電気通信回線としての車内ネットワーク２３を介して電気的に接続されている。車内ネットワーク２３は、例えば、ＣＡＮ（controller area network）として構成されている。ＥＣＵ１４は、車内ネットワーク２３を通じて制御信号を送ることで、操舵システム１３、ブレーキシステム１８等を制御することができる。また、ＥＣＵ１４は、車内ネットワーク２３を介して、トルクセンサ１３ｂ、ブレーキセンサ１８ｂ、舵角センサ１９、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２の検出結果や、操作入力部１０等の操作信号等を、受け取ることができる。

ＥＣＵ１４は、例えば、ＣＰＵ１４ａ（central processing unit）や、ＲＯＭ１４ｂ（read only memory）、ＲＡＭ１４ｃ（random access memory）、表示制御部１４ｄ、音声制御部１４ｅ、ＳＳＤ１４ｆ（solid state drive、フラッシュメモリ）等を有している。ＣＰＵ１４ａは、ＲＯＭ１４ｂ等の不揮発性の記憶装置に記憶された（インストールされた）プログラムを読み出し、当該プログラムに従って演算処理を実行する。ＣＰＵ１４ａは、例えば、表示装置８で表示される画像に関連した画像処理を実行する。例えば、ＣＰＵ１４ａは、撮像部１５が撮像した撮像画像データに演算処理や画像処理を実行して、三次元の周辺画像（例えば、俯瞰画像）を生成する。ＣＰＵ１４ａは、生成する周辺画像の視点を変化させることができる。

ＲＡＭ１４ｃは、ＣＰＵ１４ａでの演算で用いられる各種のデータを一時的に記憶する。また、表示制御部１４ｄは、ＥＣＵ１４での演算処理のうち、主として、表示装置８で表示される画像データの合成等を実行する。また、音声制御部１４ｅは、ＥＣＵ１４での演算処理のうち、主として、音声出力装置９で出力される音声データの処理を実行する。ＳＳＤ１４ｆは、書き換え可能な不揮発性の記憶部であって、ＥＣＵ１４の電源がオフされた場合にあってもデータを記憶することができる。なお、ＣＰＵ１４ａや、ＲＯＭ１４ｂ、ＲＡＭ１４ｃ等は、同一パッケージ内に集積されうる。また、ＥＣＵ１４は、ＣＰＵ１４ａに替えて、ＤＳＰ（digital signal processor）等の他の論理演算プロセッサや論理回路等が用いられる構成であってもよい。また、ＳＳＤ１４ｆに替えてＨＤＤ（hard disk drive）が設けられてもよいし、ＳＳＤ１４ｆやＨＤＤは、ＥＣＵ１４とは別に設けられてもよい。

ブレーキシステム１８は、例えば、ブレーキのロックを抑制するＡＢＳ（anti-lock brake system）や、コーナリング時の車両１の横滑りを抑制する横滑り防止装置（ＥＳＣ：electronic stability control）、ブレーキ力を増強させる（ブレーキアシストを実行する）電動ブレーキシステム、ＢＢＷ（brake by wire）等である。ブレーキシステム１８は、アクチュエータ１８ａを介して、車輪３ひいては車両１に制動力を与える。また、ブレーキシステム１８は、左右の車輪３の回転差などからブレーキのロックや、車輪３の空回り、横滑りの兆候等を検出して、各種制御を実行することができる。ブレーキセンサ１８ｂは、例えば、制動操作部６の可動部の位置を検出するセンサである。

舵角センサ１９は、例えば、ステアリングホイール等の操舵部４の操舵量を検出するセンサである。ＥＣＵ１４は、運転者による操舵部４の操舵量や、自動操舵時の各車輪３の操舵量等を、舵角センサ１９から取得して各種制御を実行する。アクセルセンサ２０は、例えば、加速操作部５の可動部の位置を検出するセンサである。シフトセンサ２１は、例えば、変速操作部７の可動部の位置を検出するセンサである。車輪速センサ２２は、車輪３の回転量や単位時間当たりの回転数を検出するセンサである。車輪速センサ２２は、検出した回転数を示す車輪速パルス数をセンサ値として出力する。ＥＣＵ１４は、車輪速センサ２２から取得したセンサ値に基づいて車両１の移動量などを演算し、各種制御を実行する。

なお、上述した各種センサやアクチュエータの構成や、配置、電気的な接続形態等は、一例であって、種々に設定（変更）することができる。

ＥＣＵ１４に含まれるＣＰＵ１４ａは、上述したように撮像部１５が撮像した撮像画像データに基づいた車両１周辺の環境を例えば、三次元態様の画像で表示する。この機能を実現するために、ＣＰＵ１４ａは、図４に示すような種々のモジュールを含んでいる。ＣＰＵ１４ａは、例えば、画像取得部２６、投影面取得部２８、補正部３０、画像合成部３２、三次元処理部３４、周辺画像生成部３６等を含む。これらのモジュールは、ＲＯＭ１４ｂ等の記憶装置にインストールされ記憶されたプログラムを読み出し、それを実行することで実現可能である。

画像取得部２６は、車両１の周囲を表示するために必要な情報を取得する。例えば、画像取得部２６は、車両１の周辺を撮像する複数の撮像部１５から、複数の撮像画像データ（例えば、前方画像、右側方画像、左側方画像、後方画像等のデータ）を取得する。

投影面取得部２８は、例えば、ＲＯＭ１４ｂやＳＳＤ１４ｆ等に予め記憶された三次元形状モデルを取得する。三次元形状モデルは、例えば、車両１の周囲を取り囲む仮想投影面を規定するデータである。図５〜図７に三次元形状モデルの一例を示す。なお、図５は、底面Ｓｐｇと側面Ｓｐｓを含む仮想投影面Ｓｐに、撮像部１５ｄ（左側方撮像部)で撮像した撮影画像Ｉｃを投影する例を示す模式図である。また、図６は、仮想投影面Ｓｐの構成を模式的に示す図であり、図７は、仮想投影面Ｓｐの全体の形状を模式的に示す図である。

仮想投影面Ｓｐは、例えば、図５〜図７に示すように、地面Ｇｒに沿った底面Ｓｐｇと、底面Ｓｐｇすなわち地面Ｇｒから立ち上がった側面Ｓｐｓと、を有している。地面Ｇｒは、車両１の高さ方向Ｙ（上下方向）と直交する水平面であり、車輪３の接地面でもある。底面Ｓｐｇは、例えば略円形の平坦面であり、車両１を基準とする水平面である。側面Ｓｐｓは、底面Ｓｐｇと接して底面Ｓｐｇの一部から高さ方向に立ち上り底面Ｓｐｇの一部を取り囲む、例えば曲面である。図５に示されるように、側面Ｓｐｓの、車両１の中心Ｇｃを通り車両１の垂直な仮想断面の形状は、例えば、楕円状あるいは放物線状である。側面Ｓｐｓは、例えば、車両１の中心Ｇｃを通り車両１の高さ方向に沿う中心線ＣＬ周りの回転面として構成される。つまり、側面Ｓｐｓは、車両１の周囲を取り囲んでいる。

図６に示すように、三次元形状モデルである仮想投影面Ｓｐは、例えば、仮想投影面Ｓｐが車両１の主として前方の状況を示す前方画像を投影する投影面の場合、底面Ｓｐｇから立ち上がり前方画像を投影する側面ＳｐｓＦと、右側方画像を投影する側面ＳｐｓＲと、左側方画像を投影する側面ＳｐｓＬと、を含む。仮想投影面Ｓｐは、座標（Ｘ，Ｙ，Ｚ）が規定されるメッシュ構造のデータで、撮像部１５が撮像した撮像画像データの各画素のデータが例えば、メッシュの交点（座標Ｘ，Ｙ，Ｚで規定される交点）に投影される。なお、図６に示す仮想投影面Ｓｐのメッシュは、説明のために図示したもので、実際には視認できないように設定されている。

補正部３０は、画像取得部２６が取得した撮像部１５で撮像された画像（表示対象画像）を仮想投影面Ｓｐに投影する場合に、撮像している方向において表示される物体の大きさが不自然に小さくなったり、道幅が急激に狭くなったりする等の不都合を解消するための補正を行う。例えば、投影された画像が幅方向に広がるような補正を行う。本実施形態において、撮像部１５ｃは、例えば車両１の車幅方向の略中央部に設置されている。つまり、撮像部１５ｃは、当該撮像部１５ｃの正面に存在する撮影対象、例えば撮像部１５ｃの撮像方向に延びる撮像中心線上の物体以外は、斜視することになる。撮像部１５ｃで撮像された画像は、撮像する物体と撮像部１５ｃとを結ぶ直線が仮想投影面Ｓｐと交わる位置に投影される。その結果、撮像中心線上の物体以外は、仮想投影面Ｓｐ上で実際の位置よりは撮像中心線に近づいた位置に投影されることになる。したがって、前述したように表示される物体の大きさが不自然に小さくなったり（撮像中心線に向かい圧縮されたり）、道路の道幅が急激に狭くなったりする。そこで、補正部３０は、上述したような不自然な表示を軽減するような補正を行う。例えば、車両１の前方を含む領域を撮像する撮像部１５ｃ（前方撮像部）から得られる前方画像および車両１の後方を含む領域を撮像する撮像部１５ａ（後方撮像部）から得られる後方画像の少なくとも一方である、表示対象画像を補正する。このとき、撮像部１５ｃまたは撮像部１５ａから車両１の車長方向である第一の方向に延びる直線を第一の仮想直線とする。そして、第一の仮想直線と仮想投影面Ｓｐとが交わる位置に対応する座標を第一の座標とする。また、第一の仮想直線から車両１の車幅方向に離間して第一の方向に延びる直線を仮想基準線とする。仮想基準線は、例えば、車両１の車体２の左側面または右側面に沿うように第一の方向に延びるように設定することができる。そして、仮想基準線と仮想投影面Ｓｐとが交わる位置に対応する座標を第二の座標とする。補正部３０は、第一の座標から第二の座標に向かう第二の方向に表示対象画像の投影位置が変更されるような補正を実行する。投影位置の補正に関する詳細は後述する。なお、撮像部１５が備えるレンズは、広範囲の撮像を実現するために広角レンズや魚眼レンズである場合があり、画像に歪みを含む場合がある。そこで、補正部３０は、レンズの歪みに基づき撮像画像データの補正を行ってもよい。

画像合成部３２は、例えば画像取得部２６で取得されて補正部３０で補正された撮像部１５ｃが撮像した前方画像の撮像画像データと、撮像部１５ｂが撮像した右側方画像の撮像画像データおよび撮像部１５ｄが撮像した左側方画像の撮像画像データを、それらの境界部分で合成することで繋ぎ、一つの撮像画像データを生成する。なお、前方画像の撮像画像データと右側方画像の撮像画像データとを合成する場合、および前方画像の撮像画像データと左側方画像の撮像画像データとを合成する場合、境界部分をそのまま合成すると境界線が明確に現れてしまう場合がある。例えば、撮像部１５ｃの撮像した前方画像と、撮像部１５ｂの撮像した右側方画像とで、日光やライトの当たり方等によって画像の明るさや色合いが異なる場合がある。この場合、明るさや色合いの違いによる境界線が現れ、合成された一つの撮像画像データに基づく画像の品質が低下してしまう場合がある。そこで、図６に示すように、仮想投影面Ｓｐには、前方画像の撮像画像データを投影する側面ＳｐｓＦの水平方向の端部と右側方画像の撮像画像データを投影する側面ＳｐｓＲの水平方向の端部とが重なる重複領域ＬＡが設定される。この重複領域ＬＡにおいては、画像合成部３２は、前方画像の撮像画像データと右側方画像の撮像画像データのそれぞれａ％を利用して画像を合成するブレンド処理を実行してもよい。ブレンド処理を実行することにより、前方画像と右側方画像とが、徐々に変化するように合成され、明るさや色合いの違いによって生じる境界線を目立ちにくくすることができる。同様に、前方画像と左側方画像についてもブレンド処理を施すことで、合成した周辺画像全体において境界線を目立ちにくくすることができる。

また、画像合成部３２は、ＥＣＵ１４が車両１の後方の状況を示す周辺画像を表示する場合は、同様に、撮像部１５ａが撮像した後方画像の撮像画像データと撮像部１５ｂの撮像した右側方画像の撮像画像データおよび撮像部１５ｄが撮像した左側方画像の撮像画像データを合成して一つの撮像画像データを生成する。

三次元処理部３４は、車両１が存在する位置を基準として定められた、車両１の周囲を取り囲む、または周囲の一部に設定される仮想投影面Ｓｐ（三次元形状モデル）に、画像合成部３２で合成した撮像画像データを投影した、仮想投影画像のデータを生成する。三次元処理部３４は、図５に示すように、撮影画像Ｉｃを、仮想投影面Ｓｐに投影した仮想投影画像Ｉｐを算出する。撮影画像Ｉｃを地面Ｇｒに投影すると、撮像部１５から遠ざかるにつれて像が長くなり、出力画像中で実際の長さよりも長く映る場合がある。図５からわかるように、地面Ｇｒ（底面Ｓｐｇ）から立ち上がった側面Ｓｐｓへ投影された仮想投影画像Ｉｐは、地面Ｇｒに投影された場合に比べて、像が短くなり、出力画像中で実際の長さよりも長く映るのが抑制される。

また、三次元処理部３４は、図６、図７に示すように、仮想投影面Ｓｐを含む三次元仮想空間内に、ＲＯＭ１４ｂまたはＳＳＤ１４ｆ等に記憶されている、車両１に対応する車両形状モデルＭを配置する。三次元処理部３４は、三次元仮想空間内に配置する車両形状モデルＭに、所定の透過率を設定する。これにより、三次元仮想空間において、車両形状モデルＭを介して、反対側の仮想投影画像Ｉｐを視認できる。

周辺画像生成部３６は、撮像画像データが投影された、三次元仮想空間内の仮想投影面Ｓｐに投影された仮想投影画像Ｉｐ及び車両形状モデルＭを、当該三次元仮想空間内に設定された視点Ｅｐから注視点Ｅｎを見た周辺画像データを生成する。周辺画像生成部３６は、生成した周辺画像データを表示制御部１４ｄに供給し、表示制御部１４ｄは表示装置８に三次元の周辺画像を表示させる。

なお、表示制御システム１００は、撮像部１５ｃ（前方撮像部）のみで三次元態様の周辺画像を表示することもできる。同様に、表示制御システム１００は、撮像部１５ａ（後方撮像部）のみ、撮像部１５ｂ（右側方撮像部）のみ、撮像部１５ｄ（左側方撮像部）のみでも三次元態様の周辺画像を表示することができる。この場合、画像合成部３２の処理等が省略される。図８は、撮像部１５ｃのみを利用する場合の仮想投影面Ｓｐの他の実施形態を示す概念的な模式図である。図８に示す仮想投影面Ｓｐは、地面Ｇｒ上に配置される車両形状モデルＭに対して所定距離前方に地面Ｇｒから垂直に立ち上がる側面Ｓｐｓ１のみを備える。側面Ｓｐｓ１の場合も、図７に示す底面Ｓｐｇと側面Ｓｐｓを備える仮想投影面Ｓｐと同様に、周辺画像生成部３６で生成された仮想投影画像Ｉｐ及び車両形状モデルＭが表示可能であり、三次元仮想空間内に設定された視点Ｅｐから注視点Ｅｎを見た周辺画像データに基づく三次元投影画像を利用者に提供することができる。

以下、仮想投影面Ｓｐに画像を投影する場合に、投影位置の補正に用いる補正率の詳細を説明するとともに、投影位置の補正を実行しない場合と実行した場合の表示内容の違いについて説明する。

＜実施形態１＞
図９は、図８に示すような側面Ｓｐｓ１のみを備える仮想投影面Ｓｐに撮像部１５ｃ（前方撮像部：処理対象撮像部）で撮像した前方画像（表示対象画像）を投影する場合の投影位置のずれ現象の発生および、そのずれ現象を抑制するための補正率の算出を説明する模式的かつ例示的な説明図である。

以下の説明では、車両１における前方の端部２ｃに設けられる撮像部１５ｃ（前方撮像部：処理対象撮像部）は、車両１の車長方向（前後方向）に延びる車両中心線ＯＬ１上に設置され、当該車両中心線ＯＬ１に沿って撮像部１５ｃから車長方向である第一の方向Ａに延びる直線を第一の仮想直線Ｑ１とする。したがって、実施形態１において、撮像部１５ｃの撮像中心線は、撮像部１５ｃから車両１の車長方向である第一の方向Ａに延びる第一の仮想直線Ｑ１の一例である。また、第一の仮想直線Ｑ１は、一例として、撮像部１５ｃから車両１の接地面（地面Ｇｒ）と平行に第一の方向Ａに延びるものとする。そして、第一の方向Ａ（第一の仮想直線Ｑ１）の方向に撮像部１５ｃから所定の距離Ｌ１だけ離間した位置に仮想投影面Ｓｐ（側面Ｓｐｓ，Ｓｐｓ１）が設定されているものとする。また、仮想投影面Ｓｐのさらに前方で第一の方向（第一の仮想直線Ｑ１）の方向に撮像部１５ｃから予め定められた距離Ｌ２（所定の距離）だけ離間した位置に仮想参照面Ｒｐが設定されているものとする。そして、第一の仮想直線Ｑ１と仮想投影面Ｓｐとが交わる位置を第一の座標点Ｓ１（Ｘ１，Ｙ１，Ｚ１）とする。また、前述したように、第一の仮想直線Ｑ１から車両１の車幅方向に離間して第一の方向Ａに延びる直線を仮想基準線ＲＬとする。実施形態１の場合、仮想基準線ＲＬは、車幅方向において、左右いずれかの撮像部（撮像部１５ｂまたは撮像部１５ｄ）と重なる位置（車両１の側面に設けられたドアミラー２ｇを通る垂直面上）で、かつ前方撮像部である撮像部１５ｃが設けられている高さ(地上高)と同等の高さに設定され、車両１の接地面（地面Ｇｒ）と平行に第一の方向Ａに延びるものとする。仮想基準線ＲＬは、例えば、車両中心線ＯＬ１から所定の距離Ｗ、例えば、車幅方向の外側に車幅Ｗ０の半分（Ｗ０／２）以上車両中心線ＯＬ１から離れた位置に設定することができる。そして、仮想基準線ＲＬと仮想投影面Ｓｐとが交わる位置を第二の座標点Ｓ２（Ｘ２，Ｙ２，Ｚ２）とする。また、第一の方向Ａに延びるように設定することができる。そして、仮想基準線ＲＬと仮想参照面Ｒｐとが交わる位置を第三の座標点Ｓ３（Ｘ３，Ｙ３，Ｚ３）とする。

例えば、図９に示すように、仮想参照面Ｒｐの位置に存在する物体Ｔ、すなわち仮想投影面Ｓｐよりさらに遠方に存在する物体を仮想投影面Ｓｐに投影する場合を考える。図９の場合、物体Ｔを仮想投影面Ｓｐに投影する場合の表示位置の変化が理解しやすい例として、物体Ｔが仮想基準線ＲＬと仮想参照面Ｒｐとが交わる位置（第三の座標点Ｓ３（Ｘ３，Ｙ３，Ｚ３））に存在する場合を示す。この場合、車両１が直進しても、車両１は物体Ｔと接触することなく物体Ｔをすり抜けることができることになる。

まず、補正部３０による補正を施さない場合を考える。例えば、仮想参照面Ｒｐ上に物体Ｔが存在する場合、物体Ｔ上の第三の座標点Ｓ３（Ｘ３，Ｙ３，Ｚ３）に対応する画像は、撮像部１５ｃから物体Ｔに向かう延長線（第三の座標点Ｓ３と撮像部１５ｃとを結ぶ延長線である第二の仮想直線Ｑ２）と仮想投影面Ｓｐとが交わる第四の座標点Ｓ４（Ｘ４，Ｙ４，Ｚ４）に投影される。この場合、車両１が直進した際にすり抜けることができる物体Ｔが、仮想投影面Ｓｐ上では、第一の仮想直線Ｑ１に近い位置に投影される。すなわち、車両１と接触しそうな位置に投影されることになる。特に運転者は、物体Ｔを含めて車両１の周囲に存在するものの大きさや隙間の広さを認識する場合に、自分の運転する車両１の車幅を基準にすることがある。そのため、仮想投影面Ｓｐ上で第一の仮想直線Ｑ１に近づくように偏った位置に投影されて縮小されたように表示される物体Ｔを見た場合、物体Ｔの存在する位置や大きさを誤認識する場合がある。図１０は、補正部３０による補正を施さない場合に表示装置８に表示される比較例としての三次元投影画像である。この場合、自車（車両形状モデルＭ）の前方に存在するように表示された車両Ｃａ（物体Ｔ）は、第一の仮想直線Ｑ１（撮像中心線：図９参照）に向かって圧縮され、小さく見えるように表示される。このような場合、車両Ｃａの大きさを誤認識する場合があるとともに、例えば、車両Ｃａが出庫したあとに、その空きスペースに自車を駐車しようとする場合、表示装置８上では、車両Ｃａが存在していたスペースが狭く見えるような表示が行われるため、車両１（自車）の運転者は駐車可能か否かの判断が困難になる場合がある。同様に、第一の方向Ａに延びる道幅が変化しない道路が投影される場合は、道幅が急激に狭くなるように表示され、運転者に違和感を与えてしまう場合がある。

この場合、例えば仮想投影面Ｓｐ上の第四の座標点Ｓ４（Ｘ４，Ｙ４，Ｚ４）が、仮想投影面Ｓｐ上の第二の座標点Ｓ２（Ｘ２，Ｙ２，Ｚ２）に投影されるような補正が行われれば、上述したような不自然な投影は軽減される。すなわち、補正部３０は、第一の仮想直線Ｑ１（撮像中心線）より右側に投影する画像に関しては、図９に示すように、撮像部１５ｃに対する第一の仮想直線Ｑ１と仮想投影面Ｓｐとが交わる位置に対応する第一の座標点Ｓ１（Ｘ１，Ｙ１，Ｚ１）から、仮想基準線ＲＬと仮想投影面Ｓｐとが交わる第二の座標点Ｓ２（Ｘ２，Ｙ２，Ｚ２）に向かう第二の方向Ｂに画像の投影位置を補正するような座標の補正率αを求めればよい。同様に、第一の仮想直線Ｑ１より左側に投影する画像に関しては、第二の方向Ｂとは逆方向に画像の投影位置を補正するような座標の補正率αを求めればよい。なお、第一の仮想直線Ｑ１を挟んで左右の補正率αは同じとすることができるので、以下の説明では、片側の説明のみとする。

まず、仮想投影面Ｓｐ上の第二の座標点Ｓ２（Ｘ２，Ｙ２，Ｚ２）に投影されるべき撮像部１５ｃが撮像した前方画像（表示対象画像）の二次元座標（Ｕ，Ｖ）に対応する第四の座標点Ｓ４（Ｘ４，Ｙ４，Ｚ４）を算出するような、第二の座標点Ｓ２（Ｘ２，Ｙ２，Ｚ２）に対する補正率αを求める。この補正率αを仮想投影面Ｓｐの各座標点のうちＸ成分のみに反映させた補正座標（αＸ，Ｙ，Ｚ）に対応する前方画像の二次元座標（Ｕ，Ｖ）を求めて、本来投影すべき仮想投影面Ｓｐ上の座標に投影すればよい。

補正率αの算出は種々の方法がある。例えば、仮想投影面Ｓｐ上で第二の方向Ｂに存在する第四の座標点Ｓ４（Ｘ４，Ｙ４，Ｚ４）と第二の座標点Ｓ２（Ｘ２，Ｙ２，Ｚ２）との距離ΔＸ（第一の距離）と、第一の仮想直線Ｑ１（車両中心線ＯＬ１）から仮想基準線ＲＬまでの距離Ｗ（第二の距離）との比が第二の方向Ｂに投影位置を補正する際の補正率αとなる。
図９から
α＝ΔＸ／Ｗ ・・・式１
ΔＸ／（Ｌ２−Ｌ１）＝Ｗ／Ｌ２ ・・・式２
が得られる。つまり、式１と式２より、以下に示す式３が求まる。
α＝（Ｌ２−Ｌ１）／Ｌ２ ・・・式３
このように、撮像部１５ｃの位置を基準として仮想投影面Ｓｐまでの距離Ｌ１と仮想参照面Ｒｐまでの距離Ｌ２から補正率αを容易に定義することができる。

このようにして求めた補正率αを用いて撮像部１５ｃが撮像した前方画像の投影位置を補正した三次元合成画像が図１１である。補正部３０は、補正率αに基づき、三次元形状モデルが規定している仮想投影面Ｓｐ上の補正座標（αＸ，Ｙ，Ｚ）に対応する前方画像の二次元座標（Ｕ，Ｖ）の画像を取得する。そして、仮想投影面Ｓｐ上の座標（Ｘ，Ｙ，Ｚ）に投影する。その結果、図１１に示すように、自車（車両形状モデルＭ）の前方に存在するように表示された車両Ｃａ（物体Ｔ）は、第一の仮想直線Ｑ１（撮像中心線）を基準に左右に引き延ばされ、自車（車両形状モデルＭ）と比較して違和感が軽減された大きさに表示される。例えば、第一の仮想直線Ｑ１より右側の画像は第二の方向Ｂに延び、第一の仮想直線Ｑ１より左側の画像は第二の方向Ｂとは逆の方向に延びる。このような場合、例えば、車両Ｃａが出庫したあとに、その空きスペースに自車を駐車しようとする場合、表示装置８上で、駐車スペースは、自車（車両形状モデルＭ）と比較して違和感の軽減された幅で表示され、車両１（自車）の運転者は駐車可能か否かの判断が容易になる。同様に、第一の方向Ａ（前方）に延びる道路の道幅の変化が緩やかになり運転者に違和感を与えにくくすることができる。なお、この場合、仮想基準線ＲＬの延長線上、つまり、車両１の車幅に対応する位置に存在する物体Ｔは、仮想投影面Ｓｐ上でも仮想基準線ＲＬ上に表示されるので、表示装置８に表示される三次元合成画像を視認する運転者は、自車と物体Ｔとの位置関係を認識しやすくなる。

なお、前述したように、実施形態１において、第一の仮想直線Ｑ１は前方撮像部（撮像部１５ｃ）から車両１の接地面（地面Ｇｒ）と平行に第一の方向Ａに延びる。また、仮想基準線ＲＬは、車幅方向において、左右いずれかの撮像部（撮像部１５ｂまたは撮像部１５ｄ）と重なる位置かつ前方撮像部（撮像部１５ｃ）が設けられている高さから、車両１の接地面（地面Ｇｒ）と平行に第一の方向Ａに延びている。したがって、第一の仮想直線Ｑ１と仮想基準線ＲＬとは、鉛直上方から見た場合には、車幅方向に離間して第一の方向Ａに向かい互いに平行に延び、車両１の側方から見た場合には、重なって見えるように延びる。このように、第一の仮想直線Ｑ１と仮想基準線ＲＬとの高さを一致させることで、第一の座標点Ｓ１〜第四の座標点Ｓ４において、高さ方向の座標が等しくなる。そのため、第一の距離および第二の距離を用いた補正率αの演算時（式１〜式３）に高さ方向の座標の影響を受けず、安定した補正率αの取得、および補正率αを用いた安定した補正を実現することができる。

図１２、図１３は、補正率αの他の算出方法を説明する図である。図１２において、座標Ｃ（Ｘ１，Ｙ１，Ｚ１）は、撮像部１５ｃの位置である。また、座標Ｐ（Ｘ２，Ｙ２，Ｚ２）は、仮想投影面Ｓｐ上の任意の点である。座標Ａ（Ｘ３，０，Ｚ３）は、直線ＣＰと地面Ｇｒとの交点である。この場合、座標Ｃおよび座標Ｐを通る直線ＣＰは、以下の式（ベクトル式）で示すことができる。なお、ｔは媒介変数である。

そして、図１２に示す、直線ＣＰの延長上にある地面Ｇｒ上の座標Ａを求める。

すなわち、
ｔ＝−Ｙ１／（Ｙ２−Ｙ１）
Ｘ３＝Ｘ１＋ｔ（Ｘ２−Ｘ１）
Ｚ３＝Ｚ１＋ｔ（Ｚ２−Ｚ１）
となる。この場合、図１３に示すように、仮想投影面Ｓｐ上の座標Ｐに投影される画像は、座標Ａに対応する画像となる。このとき、図９で説明した場合と同様に、仮想基準線ＲＬ上に存在する物体Ｔが仮想投影面Ｓｐ上の座標Ｐに投影されるための補正率αは、第一の仮想直線Ｑ１（車両中心線ＯＬ１）から仮想基準線ＲＬまでの距離Ｗと、座標Ａの座標Ｘ３との関係で求めることができる。
α＝Ｗ／Ｘ３
このようにして求めた補正率αを用いて撮像部１５ｃが撮像した前方画像の投影位置を補正すると図１１と同様な三次元合成画像を得ることができる。なお、図１２、図１３に示す例の場合、仮想投影面Ｓｐにおいて、撮像部１５ｃの設置高さ（地上高）より低い位置であれば、直線ＣＰと地面Ｇｒとの交点を得ることができる。つまり、仮想投影面Ｓｐ上の各高さにおける補正率αをそれぞれ算出可能であり、地面Ｇｒからの高さに応じた補正が可能になり、より違和感が軽減された三次元画像の表示ができる。また、仮想投影面Ｓｐにおいて、撮像部１５ｃの設置高さ以上の補正率αは、所定の値、例えば、算出可能な最大補正率αｍａｘを用いることができる。

このように、仮想投影面Ｓｐが自車前方の直立面であり、撮像部１５ｃ（前方撮像部）で撮像した前方画像のみを用いて三次元合成画像を表示装置８に表示する場合、自車前方の状況（他車や道路等）が不自然に小さく表示されたり、道幅が急激に狭くなったりするような表示が軽減される。その結果、表示装置８に表示される三次元合成画像により、自車の前方を中心とする周囲の状況の把握をより適切に違和感なく運転者に認識させやすくなる。なお、撮像部１５ａ（後方撮像部）で撮像した後方画像を用いて後方の状況を示す三次元合成画像も同様に生成可能であり、同様に自車の後方を中心とする周囲の状況の把握をより適切に違和感なく運転者に認識させやすくなる。

なお、イグニッションスイッチがＯＮされる度に、補正部３０が撮像部１５ｃに対する補正率αを算出し、例えばＲＡＭ１４ｃに記憶して、三次元合成画像の生成の度に各画像の投影位置を補正するようにすることができる。

＜実施形態２＞
図１４は、実施形態２の前方画像の投影位置および補正率の算出を説明する模式的かつ例示的な説明図である。実施形態２の場合、車両１（自車）の前方に設定される仮想投影面Ｓｐの形状が、例えば、車両１の車両中心１ａを中心とする曲面である。それ以外の構成は、実施形態１の図９で示す構成と同じであり、同じ構成には同じ符号を付しその詳細な説明は省略する。ただし、図１４の場合、仮想投影面Ｓｐまでの距離Ｌ１および仮想参照面Ｒｐまでの距離Ｌ２は、車両１の車両中心１ａを通り車幅方向に延びる中心線ＯＬ２を基準に定義している。

図１４の場合も、仮想基準線ＲＬ（車両１の側面である端部２ｆに沿い、第一の方向Ａに延び、第一の仮想直線Ｑ１（撮像中心線）から車幅方向に距離Ｗだけ離間した位置の直線）が定義されている。この場合も、第一の仮想直線Ｑ１は、前方撮像部（撮像部１５ｃ）から車両１の接地面（地面Ｇｒ）と平行に第一の方向Ａに延びるように設定されてもよい。また、仮想基準線ＲＬは、車幅方向において、左右いずれかの撮像部（撮像部１５ｂまたは撮像部１５ｄ）と重なる位置かつ前方撮像部（撮像部１５ｃ）が設けられている高さから、車両１の接地面（地面Ｇｒ）と平行に第一の方向Ａに延びるように設定されてもよい。そして、仮想投影面Ｓｐが曲面の場合も、補正部３０による補正を施さない場合、撮像部１５ｃが撮像する仮想参照面Ｒｐと仮想基準線ＲＬとの交点に存在する物体Ｔの第三の座標点Ｓ３に対応する画像は、車両１の前方の端部２ｃの中央部に固定された撮像部１５ｃから物体Ｔに向かう第二の仮想直線Ｑ２（延長線）と仮想投影面Ｓｐとが交わる第四の座標点Ｓ４に投影されてしまう。したがって、図９で説明した場合と同様に、車両１（車両形状モデルＭ）の前方に存在するように表示された車両Ｃａ（物体Ｔ）は、第一の仮想直線Ｑ１（撮像中心線）に向かって圧縮され、小さく見えるように表示される。同様に、第一の方向Ａに延びる道幅が変化しない道路が投影される場合は、道幅が急激に狭くなるように表示され、運転者に違和感を与えてしまう場合がある。そこで、実施形態２における曲面の仮想投影面Ｓｐを用いる場合も、補正部３０は、前方画像用の補正率αｆを算出し、この補正率αｆに基づき、三次元形状モデルが規定している仮想投影面Ｓｐ上の補正座標（αｆＸ，Ｙ，Ｚ）に対応する前方画像の二次元座標（Ｕ，Ｖ）の画像を取得する。そして、仮想投影面Ｓｐ上の座標（Ｘ，Ｙ，Ｚ）に投影する。例えば、仮想投影面Ｓｐ上で第二の方向Ｂに存在する第四の座標点Ｓ４と第二の座標点Ｓ２との距離ΔＸ（第一の距離）と、第一の仮想直線Ｑ１（車両中心線ＯＬ１）から仮想基準線ＲＬまでの距離Ｗ（第二の距離）との比が投影位置を第二の方向Ｂ（第一の座標点Ｓ１から第二の座標点Ｓ２に向かう方向）に補正する際の補正率αｆとなる。
図１４から
αｆ＝ΔＸ／Ｗ ・・・式１ｆ
ΔＸ／（Ｌ２−Ｌ１）＝Ｗ／Ｌ２ ・・・式２ｆ
が得られる。つまり、式１ｆと式２ｆより式３ｆが求まる。
αｆ＝（Ｌ２−Ｌ１）／Ｌ２ ・・・式３ｆ

このように、撮像部１５ｃの位置を基準として仮想投影面Ｓｐまでの距離Ｌ１と仮想参照面Ｒｐまでの距離Ｌ２から補正率αｆを容易に定義することができる。補正率αｆを用いて補正された三次元合成画像において、自車（車両形状モデルＭ）の前方に存在するように表示された車両Ｃａ（物体Ｔ）は、図１１と同様に、第一の仮想直線Ｑ１（撮像中心線）を基準に左右に引き延ばされ、自車（車両形状モデルＭ）と比較して違和感が軽減された大きさに表示される。また、前方に延びる道幅の変化が緩やかになり運転者に違和感を与えにくくすることができる。上述のように、実施形態２においても、第一の仮想直線Ｑ１と仮想基準線ＲＬとの高さを一致させるような設定が可能で、第一の座標点Ｓ１〜第四の座標点Ｓ４において、高さ方向の座標を等しくすることができる。そのため、第一の距離および第二の距離を用いた補正率αｆの演算時（式１ｆ〜式３ｆ）に高さ方向の座標の影響を受けず、安定した補正率αｆの取得、および補正率αｆを用いた安定した補正を実現することができる。

図１５は、撮像部１５ｂ（右側方撮像部：処理対象撮像部）で撮像した右側方画像（表示対象画像）を用いて右側方の状況を示す三次元合成画像を生成する場合の補正率αｓの算出を説明する模式的かつ例示的な説明図である。この場合、撮像部１５ｃ（前方撮像部）に代えて撮像部１５ｂ（右側方撮像部）を用いる点以外は図１４の構成と同じあり、同じ構成には同じ符号を付しその詳細な説明は省略する。なお、撮像部１５ｂ（右側方撮像部）は、車両１の端部２ｆにおいて鉛直下方に向けて設置される場合がある。この場合、撮像部１５ｂの撮像中心線は、鉛直下方を向いているため、本実施形態２のように側方の画像を表示対象画像とする場合、広角レンズや魚眼レンズで撮像された撮像画像の周縁領域が主に利用される。撮像部１５ｂ（右側方撮像部）を用いる場合、撮像部１５ｂから車両１の車幅方向を第一の方向Ａとする。そして、この第一の方向Ａに撮像部１５ｂから延びる直線を第一の仮想直線Ｑ１とする。この場合、第一の仮想直線Ｑ１は、一例として、撮像部１５ｂから車両１の接地面（地面Ｇｒ）と平行に第一の方向Ａに延びるように設定してもよい。そして、第一の仮想直線Ｑ１と仮想投影面Ｓｐとが交わる位置を第一の座標点Ｓ１とする。また、撮像部１５ｂを用いる場合、仮想基準線ＲＬは、車長方向において、前方撮像部（撮像部１５ａ）と重なる位置（車両１の前方の端部２ｃ（車体の前面）を通る垂直面上）で、かつ右側方撮像部（撮像部１５ｂ）が設けられている高さと同等の高さに設定され、車両１の接地面（地面Ｇｒ）と平行に第一の方向Ａに延びるように設定されてもよい。なお、図１５は、車両１の車両中心１ａを通り車両１の車長方向に延びる車両中心線ＯＬ１および車幅方向に延びる中心線ＯＬ２を基準に演算時に参照する距離を定義している。例えば、撮像部１５ｂ（右側方撮像部）の位置は、中心線ＯＬ２からの距離Ａｓで定義している。また、第二の座標点Ｓ２を車両中心線ＯＬ１からの距離Ｂｓで定義し、第三の座標点Ｓ３を車両中心線ＯＬ１からの距離Ｃｓで定義している。また、仮想参照面Ｒｐの位置は、中心線ＯＬ２からの距離Ｄｓで定義している。

撮像部１５ｂ（右側方撮像部）で撮像した右側方撮像を用いて三次元合成画像を生成する場合も補正部３０による補正を施さない場合、仮想参照面Ｒｐ上に存在する物体Ｔ上の第三の座標点Ｓ３に対応する画像は、車両１のドアミラー２ｇに固定された撮像部１５ｂから物体Ｔに向かう第二の仮想直線Ｑ２（延長線）と仮想投影面Ｓｐ（Ｓｐｓ）とが交わる第四の座標点Ｓ４に投影されてしまう。したがって、図９、図１４で説明した場合と同様に、車両１（車両形状モデルＭ）の右側方に存在するように表示された車両Ｃａ（物体Ｔ）は、第一の仮想直線Ｑ１に向かって圧縮され、小さく見えるように表示される。同様に、第一の方向Ａ（自車の側方）の道幅が変化しない道路が投影される場合は、道幅が急激に狭くなるように表示され、運転者に違和感を与えてしまう場合がある。例えば、車両１（自車）の右横で車両１の端部２ｃより前方に存在する歩行者が、三次元合成画像上では、端部２ｃより後方に存在するような不自然な表示になる。

そこで、補正部３０は、右側方画像用の補正率αｓを算出し、この補正率αｓに基づき、三次元形状モデルが規定している仮想投影面Ｓｐ上の補正座標（αｓＸ，Ｙ，Ｚ）に対応する右側方画像の二次元座標（Ｕ，Ｖ）の画像を取得する。そして、仮想投影面Ｓｐ上の座標（Ｘ，Ｙ，Ｚ）に投影する。例えば、仮想投影面Ｓｐ上で第二の方向Ｂ（第一の座標点Ｓ１から第二の座標点Ｓ２に向かう方向）に存在する第四の座標点Ｓ４と第二の座標点Ｓ２との距離ΔＺ（第一の距離）と、第一の仮想直線Ｑ１から仮想基準線ＲＬまでの第二の距離である距離（Ｄｓ−Ａｓ）との比が投影位置を第二の方向Ｂに補正する際の補正率αｓとすることができる。
図１５から
αｓ＝ΔＺ／（Ｄｓ−Ａｓ） ・・・式１ｓ
ΔＺ／（Ｃｓ−Ｂｓ）＝（Ｄｓ−Ａｓ）／Ｃ ・・・式２ｓ
が得られる。つまり、式１ｓと式２ｓより式３ｓが求まる。
αｓ＝（Ｃｓ−Ｂｓ）／Ｃｓ ・・・式３ｓ
なお、図１５より
Ｂ＝√（Ｌ１^２−Ｄｓ^２）
Ｃ＝√（Ｌ２^２−Ｄｓ^２）
である。

このように、中心線ＯＬ２を基準として仮想投影面Ｓｐまでの距離Ｌ１と仮想参照面Ｒｐまでの距離Ｌ２から補正率αｓを容易に定義することができる。補正率αｓを用いて補正された三次元合成画像において、自車（車両形状モデルＭ）の右側方に存在するように表示される車両（物体Ｔ）は、第一の仮想直線Ｑ１を基準に前後に引き延ばされ、自車（車両形状モデルＭ）と比較して違和感が軽減された大きさに表示される。また、車両１の右側方に延びる道路の道幅の変化が緩やかになり運転者に違和感を与えにくくすることができる。また、歩行者等が存在する場合は、実際に近い位置に表示される。なお、撮像部１５ｄ（左側方撮像部）で撮像した左側方画像を用いて三次元合成画像を生成する場合も同様な補正が可能で、同様の効果を得ることができる。この場合においても、第一の仮想直線Ｑ１と仮想基準線ＲＬとの高さを一致させるような設定が可能で、第一の座標点Ｓ１〜第四の座標点Ｓ４において、高さ方向の座標が等しくすることができる。そのため、第一の距離および第二の距離を用いた補正率αｓの演算時（式１ｓ〜式３ｓ）に高さ方向の座標の影響を受けず、安定した補正率αｓの取得、および補正率αｓを用いた安定した補正を実現することができる。

なお、撮像部１５ｂを基準とする第一の仮想直線Ｑ１より後方の領域に関しては、仮想基準線ＲＬを車両１の後方の端部２ｅ（車体の後面）で第一の方向Ａに沿って設定すれば、同様に違和感を軽減する補正を行うことができる。撮像部１５ｂ（撮像部１５ｄ）の設置向きが鉛直方向ではなく、撮像部１５ｃと同様に側方を向いている場合、第一の仮想直線Ｑ１として、右側方（左側方）を向く撮像部１５ｂ（撮像部１５ｄ）の撮像中心線を用いて第一の座標点Ｓ１を定義することができる。

ところで、画像合成部３２は、前述したように各撮像部１５が撮像した画像を繋ぎ合わせてより広い領域を示す三次元合成画像を生成することができる。例えば、前方画像の左右に右側方画像と左側方画像とを繋いだ画像を合成できる。この場合も補正部３０による補正を行わない場合、不自然な画像が表示される場合がある。例えば、図１６に示すように、車両１の前方の端部２ｃに配置された撮像部１５ｃと、車両１の左側のドアミラー２ｇに配置された撮像部１５ｄとで車両１の周囲の状況を撮像する場合を考える。なお、図１６は、他の画像の投影例として、図７に示すような、底面Ｓｐｇと側面Ｓｐｓとで構成される仮想投影面Ｓｐを用いて三次元合成画像を投影する例を示す。

図１６は、仮想投影面Ｓｐ（側面Ｓｐｓ）のさらに遠方の位置に物体Ｔが存在する場合で、撮像部１５ｃで撮像した前方画像と撮像部１５ｄで撮像した左側方画像とを合成する場合である。物体Ｔは、車両１の左側の端部２ｄに沿って延びる仮想基準線ＲＬ上に存在するものとする。この場合、撮像部１５ｄは、仮想基準線ＲＬに近い位置に設置されているため、撮像部１５ｄが撮像した画像に映る物体Ｔの第三の座標点Ｓ３に対応する二次元座標（Ｕ，Ｖ）を仮想投影面Ｓｐ（側面Ｓｐｓ）上に投影すると、物体Ｔの存在する位置（真の位置）に概ね対応する（投影時のずれの少ない）座標に投影される。例えば、第二の座標点Ｓ２に投影される。

一方、撮像部１５ｃで撮像した画像に映る物体Ｔの第三の座標点Ｓ３に対応する二次元座標（Ｕ，Ｖ）を仮想投影面Ｓｐ（側面Ｓｐｓ）上に投影する場合で、補正部３０による補正を行わない場合、第四の座標点Ｓ４に投影される。つまり、同じ物体Ｔが仮想投影面Ｓｐ上の異なる点（第二の座標点Ｓ２と第四の座標点Ｓ４）に投影される、いわゆる「二重映り」を生じる。図１７は、補正部３０による補正を施さない場合に表示装置８に表示される三次元合成画像の一例である。この場合、三次元合成画像のうち、特に、撮像部１５ｃ（前方撮像部）と撮像部１５ｄ（左側方撮像部）との接合領域ＤＶＬで同一の車両Ｃａ１（物体Ｔ）が二重に映っている。同様に、撮像部１５ｃ（前方撮像部）と撮像部１５ｂ（右側方撮像部）との接合領域ＤＶＲ周辺で、同一の車両Ｃａ２（物体Ｔ）が二重に映っている。なお、補正部３０による補正が実施されていないため、図１０に示す例と同様に自車（車両形状モデルＭ）の前方に存在するように表示された車両Ｃａは、小さく見えるように表示されている。

図１８は、補正部３０による補正を実行した三次元合成画像を表示装置８に表示した場合の表示例である。なお、図１８に示す例において、撮像部１５ｄ（左側方撮像部）で撮像した側方の表示対象画像における物体Ｔは、仮想投影面Ｓｐ上に投影された場合、概ね真の位置に投影されるので補正部３０による補正を行わないものとする。図１８の例では、補正部３０は、撮像部１５ｃ（前方撮像部）で撮像した表示対象画像に関してＸ方向のみの補正を行っている。

補正部３０による補正を実行した結果、撮像部１５ｃ（前方撮像部）で撮像した表示対象画像に映る物体Ｔの第三の座標点Ｓ３に対応する二次元座標（Ｕ，Ｖ）は、第一の座標点Ｓ１から第二の座標点Ｓ２に向かう方向に補正される。その結果、撮像部１５ｃ（前方撮像部）で撮像した画像（物体Ｔ）は、撮像部１５ｄ（左側方撮像部）で撮像した側方の表示対象画像に映る物体Ｔの第三の座標点Ｓ３に対応する二次元座標（Ｕ，Ｖ）が投影されている位置（第二の座標点Ｓ２）に近づくように補正される。つまり、投影位置が接近し、二重映りが軽減（目立ちにくく）される。その結果、接合領域ＤＶＬの車両Ｃａ１および接合領域ＤＶＲの車両Ｃａ２がより鮮明に表示される（図１８の場合、一例として二重映りが解消された状態が図示されている）。なお、撮像部１５ｃ（前方撮像部）で撮像した画像に関してＸ方向の補正が実施されたことにより、図１１に示す例と同様に自車（車両形状モデルＭ）の前方に存在するように表示された車両Ｃａは、自車（車両形状モデルＭ）と比較して違和感が軽減された大きさに表示される。

このように、補正部３０による補正を行えば、仮想投影面Ｓｐが自車の周囲を囲む曲面形状で、撮像部１５ｃ（前方撮像部）、撮像部１５ｄ（左側方撮像部）、撮像部１５ｂ（右側方撮像部）で撮像した画像を用いて三次元合成画像を表示装置８に表示する場合、表示の不自然さを軽減することができる。すなわち、二重映りを目立ち難くするとともに、自車前方の状況（他車や道路等）が不自然に小さく表示されたり、道幅が急激に狭くなったりするような表示が軽減される。その結果、表示装置８に表示される三次元合成画像により、自車の前方を中心とする周囲の状況の把握をより適切に違和感なく運転者に認識させやすくなる。なお、撮像部１５ｃで撮像した表示対象画像と撮像部１５ｂで撮像した右側方の表示対象画像とを繋ぎ合わせる場合も同様であり同様の効果を得ることができる。また、撮像部１５ａ撮像した表示対象画像と撮像部１５ｂ（撮像部１５ｄ）で撮像した側方の表示対象画像とを繋ぎ合わせる場合も同様であり、同様の効果を得ることができる。この場合も、実施形態１で説明したように、第一の仮想直線Ｑ１と仮想基準線ＲＬとの高さを一致させるような設定が可能で、第一の座標点Ｓ１〜第四の座標点Ｓ４において、高さ方向の座標を等しくすることができる。そのため、第一の距離および第二の距離を用いた補正率αの演算時（式１〜式３）に高さ方向の座標の影響を受けず、安定した補正率αの取得、および補正率αを用いた安定した補正を実現することができる。

＜実施形態３＞
図１６に示す例のように、仮想投影面Ｓｐが底面Ｓｐｇと側面Ｓｐｓで構成される場合、上述したように、補正部３０により仮想投影面Ｓｐ（側面Ｓｐｓ）に対する補正を施す場合、底面Ｓｐｇと側面Ｓｐｓとの境界線部分で画像ずれが生じる場合がある。例えば左側方画像に関して、補正率αｓを用いて車両前後方向に延ばすような補正が行われた場合、側面Ｓｐｓ部分での補正の影響が顕著に表れる。一例として、図１９に示すように、領域Ｊで示す部分の底面Ｓｐｇと側面Ｓｐｓとの境界線ｊａ部分で路面の白線がずれるような現象が生じる。

そこで、実施形態３では、図２０に示すように、補正率αの値を側面Ｓｐｓの高さＹに応じて変化させることで、底面Ｓｐｇと側面Ｓｐｓとの連続性を確保する。例えば、接続部分（側面Ｓｐｓの高さ＝０）の部分で、補正率α（Ｙ）＝１．０（補正が反映されない状態）とし、側面Ｓｐｓの上端部（高さＨ）で補正率が最大（αｍａｘ）になるようにしている。なお、最大補正率αｍａｘは、実施形態１，２等で算出した補正率αである。つまり、高さＹにおける補正率α（Ｙ）は、以下に示す式６で表すことができる。
補正率α（Ｙ）＝１．０−（１．０−αｍａｘ）Ｙ／Ｈ ・・・式６
補正部３０が、補正率α（Ｙ）を用いて撮像部１５ｄが撮像した左側方画像の投影位置を補正した三次元合成画像が図２１である。補正部３０は、補正率α（Ｙ）に基づき、三次元形状モデルが規定している側面Ｓｐｓ上の補正座標（α（Ｙ）Ｘ，Ｙ，Ｚ）に対応する左側方画像の二次元座標（Ｕ，Ｖ）の画像を取得する。そして、側面Ｓｐｓ上の座標（Ｘ，Ｙ，Ｚ）に投影する。その結果、図２１の領域Ｊで示すように、側面Ｓｐｓに対して、底面Ｓｐｇから徐々に補正が行われ、底面Ｓｐｇと側面Ｓｐｓとが滑らかに繋がり画像ずれが目立たない三次元合成画像を生成することができる。その結果、表示装置８に表示される三次元合成画像により、自車の前方を中心とする周囲の状況の把握をより適切に違和感なく運転者に認識させやすくなる。なお、撮像部１５ｃ（前方撮像部）が撮像した前方画像に関しても同様であり、補正率α（Ｙ）を用いることにより、底面Ｓｐｇと側面Ｓｐｓとの境界部分における画像ずれが目立たなくなり、違和感のない三次元合成画像を表示することができる。

＜実施形態４＞
実施形態３の場合、補正率α（Ｙ）を用いることにより、底面Ｓｐｇと側面Ｓｐｓとの境界部分の画像ずれは軽減できるが、側面Ｓｐｓの上端部で、最大補正率αｍａｘとなるため、図２１に示すように、側面Ｓｐｓの上部に近づくのにつれて表示される物体Ｔの傾きが大きくなる場合がある。図２１の場合、自車（車両形状モデルＭ）の正面より右に表示される物体Ｔ（車両）が右に傾いて表示されている。

そこで、実施形態４では、補正率αの値を側面Ｓｐｓの高さＹに応じて変化させる場合に、図２２に示すように、撮像部１５の高さＣａｍＨで、最大補正率αｍａｘとし、それ以上は側面Ｓｐｓの上端部まで、最大補正率αｍａｘを維持（固定）するように、補正率α（Ｙ）を決定する。この場合も、底面Ｓｐｇと側面Ｓｐｓとの連続性を確保するために、接続部分（側面Ｓｐｓの高さ＝０）の部分で、補正率α（Ｙ）＝１．０とする。つまり、撮像部１５の高さＣａｍＨまでの補正率α（Ｙ）は、以下に示す式７で表すことができる。
補正率α（Ｙ）＝１．０−（１．０−αｍａｘ）Ｙ／ＣａｍＨ ・・・式７
この場合、撮像部１５の高さＣａｍＨ以上では、最大補正率αｍａｘが維持されるので、側面Ｓｐｓの撮像部１５の高さＣａｍＨ以上の部分で、投影される物体Ｔは傾かない。その結果、図２１においては、全体が右方向に傾いていた物体Ｔは、図２３に示すように、途中から傾きが抑制され、物体Ｔ全体としての傾きが目立たなくなり、表示される三次元合成画像の違和感がさらに軽減される。

なお、上述した各実施形態では、撮像部１５ｃで撮像した前方画像を主画像（中央表示画像）として、撮像部１５ｂまたは撮像部１５ｄで撮像した側方画像を側部に繋ぎ合わせて三次元合成画像を生成する例を示した。別の実施形態では、撮像部１５ｂまたは撮像部１５ｄで撮像した側方画像を主画像（中央表示画像）として、撮像部１５ｃで撮像した前方画像や撮像部１５ａで撮像した後方画像を側部に繋ぎ合わせて三次元合成画像を生成してもよく、同様の効果を得ることができる。

上述した各実施形態では、イグニッションスイッチがＯＮされる度に、補正部３０が各撮像部１５に対する補正率を算出して、ＲＡＭ１４ｃ等に記憶しておく例を説明したが、各撮像部１５の位置は、車両の製造工場やディーラ等で固定され、それ以降は撮像部１５の修理や交換等以外は一般的には変更されない。したがって、製造工場やディーラ等で予め各撮像部１５に対する補正率αを算出し、画像の投影位置を補正するときに用いる点Ｓの三次元座標（αＸ，Ｙ，Ｚ）を算出し、対応する二次元座標（Ｕ，Ｖ）をＲＯＭ１４ｂやＳＳＤ１４ｆに保存しておいてもよい。この場合、ＥＣＵ１４の処理負担が軽減され、比較的性能の低いＥＣＵ１４の利用も可能になり、ＥＣＵ１４を選定する際の選択範囲が広がったり、低コストのＥＣＵ１４の利用が可能になったりする利点がある。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１…車両、８…表示装置、１４…ＥＣＵ、１４ａ…ＣＰＵ、１５，１５ａ，１５ｂ，１５ｃ，１５ｄ…撮像部、２６…画像取得部、２８…投影面取得部、３０…補正部、３２…画像合成部、３４…三次元処理部、３６…周辺画像生成部、１００…表示制御システム。

Claims (9)

1. 車両に設けられて前記車両の前方を含む領域を撮像する前方撮像部から得られる前方画像および前記車両の後方を含む領域を撮像する後方撮像部から得られる後方画像の少なくとも一方である、表示対象画像を取得する画像取得部と、
   前記表示対象画像を投影可能で、前記車両の接地面から高さ方向に立ち上がる側面を少なくとも備える三次元の仮想投影面を取得する投影面取得部と、
   前記画像取得部が取得した前記表示対象画像を前記仮想投影面に投影する場合に、前記表示対象画像を撮像した前記前方撮像部または前記後方撮像部から前記車両の車長方向である第一の方向に延びる第一の仮想直線と前記仮想投影面とが交わる位置に対応する第一の座標から、前記第一の仮想直線から前記車両の車幅方向に離間して前記第一の方向に延びる仮想基準線と前記仮想投影面とが交わる位置に対応する第二の座標に向かう第二の方向に前記表示対象画像の投影位置を補正する補正部と、
   補正された前記投影位置に前記表示対象画像を投影して三次元画像を生成する画像合成部と、
   を備える表示制御装置。
2. 前記補正部は、前記表示対象画像を撮像した処理対象撮像部から前記第一の方向の所定の距離に設定された仮想参照面と前記仮想基準線とが交わる第三の座標と前記処理対象撮像部とを結ぶ第二の仮想直線が前記仮想投影面と交わる第四の座標と前記第二の座標との前記第二の方向における第一の距離と、前記第一の仮想直線と前記仮想基準線との前記第二の方向における第二の距離と、に基づき前記投影位置を前記第二の方向に補正する補正率を取得する請求項１に記載の表示制御装置。
3. 前記仮想基準線は、前記車両の車体の左側面または右側面に沿うように前記第一の方向に延びる請求項２に記載の表示制御装置。
4. 前記画像取得部は、前記車両の左側方を含む領域を撮像する左側方撮像部から得られる左側方画像および前記車両の右側方を含む領域を撮像する右側方撮像部から得られる右側方画像の少なくとも一方である側方の表示対象画像をさらに取得し、
   前記仮想基準線は、前記車幅方向における前記左側方撮像部または前記右側方撮像部と重なる位置から前記第一の方向に延び、
   前記画像合成部は，前記補正部で補正された前記表示対象画像と前記側方の表示対象画像とを繋ぎ合わせて前記三次元画像を生成する、請求項２に記載の表示制御装置。
5. 車両に設けられて前記車両の左側方を含む領域を撮像する左側方撮像部から得られる左側方画像および前記車両の右側方を含む領域を撮像する右側方撮像部から得られる右側方画像の少なくとも一方である、表示対象画像を取得する画像取得部と、
   前記表示対象画像を投影可能で、前記車両の接地面から高さ方向に立ち上がる側面を少なくとも備える三次元の仮想投影面を取得する投影面取得部と、
   前記画像取得部が取得した前記表示対象画像を前記仮想投影面に投影する場合に、前記表示対象画像を撮像した前記左側方撮像部または前記右側方撮像部から前記車両の車幅方向である第一の方向に延びる第一の仮想直線と前記仮想投影面とが交わる位置に対応する第一の座標から、前記第一の仮想直線から前記車両の車長方向に離間して前記第一の方向に延びる仮想基準線と前記仮想投影面とが交わる位置に対応する第二の座標に向かう第二の方向に前記表示対象画像の投影位置を補正する補正部と、
   補正された前記投影位置に前記表示対象画像を投影して三次元画像を生成する画像合成部と、
   を備える表示制御装置。
6. 前記補正部は、前記表示対象画像を撮像した処理対象撮像部から前記第一の方向の所定の距離に設定された仮想参照面と前記仮想基準線とが交わる第三の座標と前記処理対象撮像部とを結ぶ第二の仮想直線が前記仮想投影面と交わる第四の座標と前記第二の座標との前記第二の方向における第一の距離と、前記第一の仮想直線と前記仮想基準線との前記第二の方向における第二の距離と、に基づき前記投影位置を前記第二の方向に補正する補正率を取得する請求項５に記載の表示制御装置。
7. 前記仮想基準線は、前記車両の車体の前面または後面に沿うように前記第一の方向に延びる請求項６に記載の表示制御装置。
8. 前記画像取得部は、前記車両の前方を含む領域を撮像する前方撮像部から得られる前方画像および前記車両の後方を含む領域を撮像する後方撮像部から得られる後方画像の少なくとも一方である前後方向の表示対象画像をさらに取得し、
   前記仮想基準線は、前記車長方向における前記前方撮像部または前記後方撮像部と重なる位置から前記第一の方向に延び、
   前記画像合成部は、前記補正部で補正された前記表示対象画像と前記前後方向の表示対象画像とを繋ぎ合わせて前記三次元画像を生成する、請求項６に記載の表示制御装置。
9. 前記補正部は、前記投影位置の補正を前記車両の前記接地面からの高さに応じて変化させる請求項１から請求項８のいずれか１項に記載の表示制御装置。

Images