JPWO2009144994A1 - 車両用画像処理装置、車両用画像処理方法 - Google Patents

Abstract

車両の周囲を撮像するカメラ群８と、撮影画像を所定位置から所定方向へ向けた視線である仮想視線で閲覧した画像に変換する描画部２０と、所定の仮想視線である第１仮想視線から、第１仮想視線とは異なる第２仮想視線に変更されたかを検知する閲覧視線変更部４と、検知された場合に第１仮想視線と第２仮想視線それぞれに関するパラメータを取得し、第１仮想視線のパラメータから第２仮想視線のパラメータへ段階的に変化させたパラメータを生成する閲覧視線生成更新部５を備え、描画部２０は、さらに段階的に変化させたパラメータ値に基づき第１仮想視線で閲覧した画像から前記第２仮想視線で閲覧した画像までの間を段階的に変化させた変化画像を生成することを特徴とする車両用画像処理装置を提供する。

Description

自動車の運転中に自車周辺環境を目視確認するための車両用画像処理装置に関する。

車両の運転者が自車の周辺環境を目視確認するために、複数の車載カメラ画像を、例えば自車上空から自車方向へ向けた視線である仮想視線で閲覧した画像（俯瞰画像）へ変換合成して表示することにより、運転者が客観的、直感的に自車の周囲状況を把握することができるシステムがある。これを拡張するものとして、例えば撮影した車載カメラ画像をそのまま３次元空間モデルに画像の色情報をマッピングし、任意の視点から見た画像に変換して表示する画像生成装置が開示されている。

この画像生成装置のように、カメラ画像を投影するモデルとして曲面と平面から構成される立体形状（円柱型、お椀型、擬似円柱）を用いると、車両近傍の俯瞰画像以外に、空を含む周辺画像も全て同時に閲覧できるという利点がある。

また、このような画像生成装置において、車両の走行状態、すなわち走行速度、ハンドルの操舵角、物体検出センサよる検出結果の状況に応じて、運転者に表示する画像を変更し、車両運転の際の安全確認支援を行う技術も開示されている。

この結果、車両の操作などのシーンに応じた閲覧位置で車載カメラからの画像を切り替え表示することが可能である。

また、従来技術として以下のものが開示されている。
特許第３２８６３０６号公報 特許第３３００３３４号公報

しかしながら、上述した従来技術では、閲覧視線（仮想視線）の切り替え時は運転者によって視認されている画像が急に変わるため、運転者は視線変更後の画像に映っている車両周辺状況を瞬時に把握するのが困難となる。

図１７を参照しつつ上述の問題点を更に説明する。図１７（ａ）は切り替えを行う閲覧視線の例として、閲覧視線の位置（所定位置）及び閲覧方向（所定方向）を、自車上空から見た俯瞰図と自車左から見た断面図を示したものである。図１７（ｂ）は、図１７（ａ）で示した各閲覧視線における画像の一例である。例えば、閲覧視線Ａによる画像から閲覧視線Ｄによる画像へ瞬時に切り替わる等、閲覧位置及び閲覧方向が異なる図１７（ｂ）のような大きく視野が変化した画像が瞬時に切り替わると、運転者は切り替え前の画像での注視領域が切り替え後の画像のどこに相当するのかを瞬間的に判断するのが困難となる。

上述した問題点を解決するため、閲覧視線の滑らかな変更を実現することができる車両用画像処理装置を提供することを目的とする。

車両用画像処理装置は、少なくとも１つのカメラにより車両の周囲が撮影された画像である撮影画像を取得する画像取得手段と、少なくとも１つの所定の投影形状を用いて、前記撮影画像を所定位置から所定方向へ向けた視線である仮想視線で閲覧した画像に変換する投影変換手段と、所定の仮想視線である第１仮想視線から、該第１仮想視線とは異なる仮想視線である第２仮想視線に変更されたかを検知する視線変更検知手段と、前記第１仮想視線から前記第２仮想視線への変更が検知された場合、前記第１仮想視線と前記第２仮想視線とのそれぞれにつき、仮想視線に関する少なくとも１種類のパラメータ値を取得し、前記第１仮想視線のパラメータ値から前記第２仮想視線のパラメータ値へ段階的に変化させたパラメータ値を生成する視線パラメータ生成手段と、前記段階的に変化させたパラメータ値に基づき、前記第１仮想視線で閲覧した画像である第１画像から前記第２仮想視線で閲覧した画像である第２画像までの間を段階的に変化させた画像である変化画像を少なくとも１つ生成する変化画像生成手段と、を備えることを特徴とする。

また車両用画像処理方法は、少なくとも１つのカメラにより車両の周囲が撮影された画像である撮影画像を取得し、少なくとも１つの所定の投影形状を用いて、前記撮影画像を所定位置から所定方向へ向けた視線である仮想視線で閲覧した画像に変換し、所定の仮想視線である第１仮想視線から、該第１仮想視線とは異なる仮想視線である第２仮想視線に変更されたかを検知し、前記第１仮想視線から前記第２仮想視線への変更が検知された場合、前記第１仮想視線と前記第２仮想視線とのそれぞれにつき、仮想視線に関する少なくとも１種類のパラメータ値を取得し、前記第１仮想視線のパラメータ値から前記第２仮想視線のパラメータ値へ段階的に変化させたパラメータ値を生成し、前記段階的に変化させたパラメータ値に基づき、前記第１仮想視線で閲覧した画像である第１画像から前記第２仮想視線で閲覧した画像である第２画像までの間を段階的に変化させた画像である変化画像を少なくとも１つ生成する処理を実行する。

本実施の形態に係る車両用画像処理装置の構成の一例を示すブロック図である。 本実施の形態に係る車両用画像処理装置の処理の一例を示すフローチャートである。 本実施の形態に係る車両用画像処理装置の処理の一例を示すフローチャート（描画処理、表示処理）である。 本実施の形態に係る、閲覧視線のパラメータの補間方法（線形補間）の一例を説明する図である。 本実施の形態に係る、閲覧視線のパラメータの補間方法（Ｂスプライン関数）の一例を説明する図である。 本実施の形態に係る、閲覧視線のパラメータの補間方法（楕円弧）の一例を説明する図である。 本実施の形態に係る、上空俯瞰画像から車両前方画像への視線移動経路の一例を示す図である。 本実施の形態に係る、関連オブジェクト（自車）の表示データである画像及び形状の一例を示す図である。 本実施の形態に係る、関連オブジェクト（障害物等）の表示データである画像及び形状の一例を示す図である。 本実施の形態に係る、投影マップを用いた投影方法を説明するためのサンプル画像を示す図である。 本実施の形態に係る、カメラごとの投影マップを用いた投影方法を説明するための図である（画像合成）。 本実施の形態に係る、全撮影画像共通の投影マップを用いた投影方法を説明するための図である。 本実施の形態に係る、楕円球面と道路面を模した平面から成る投影形状の一例を示す図である。 本実施の形態に係る、関連オブジェクト形状設定部の処理対象領域であるモデル空間を示す図である。 本実施の形態に係る、自車と障害物とを示す模式図である。 本実施の形態に係る、関連オブジェクト画像および関連オブジェクト画像の配置について説明する図である。 閲覧視線の位置及び閲覧方向を示す模式図および各閲覧視線における画像の一例を示す図である。 従来の前方画像と擬似運転者画像の違いを説明するための、各画像の一例、および各画像に関した視線の一例を示す模式図である。 擬似運転者視線の利用判定を例示した一覧を示す図である。

図１に、本実施の形態に係る車両用画像処理装置の構成の一例を示す。車両用画像処理装置１００は、運転情報取得部１、道路情報取得部２、直接指定部３、閲覧視線変更部４、閲覧視線生成更新部５、描画方法判定部６、関連オブジェクト決定部７、カメラ群８（カメラ群８は、複数の車載カメラによって構成されている）、歪み補正部９、描画部２０、表示部１６を備える。また、描画部２０は、投影形状設定部１０、投影画像変換部１１、関連オブジェクト形状設定部１２、関連オブジェクト画像設定部１３、投影変換部１４、画像重畳部１５、を備える。

本実施の形態においては、上述の各ユニットは、ＣＰＵ２００およびメモリ、ハードディスクドライブ等の揮発性、不揮発性の記憶媒体２０１のハードウェア資源と、記憶媒体２０１内で保持されているソフトウェア資源とが協働することで実現される。

なお、本実施の形態では、簡単のためにカメラ群８は自車に搭載した車載カメラを例として説明するが、自車以外に設置したカメラ、例えば路上に設置したインフラカメラや他の車両のカメラをカメラ群に含め、それらからの撮影画像を無線等の通信手段を介して入力画像として入手し利用してもよい。このような自車以外のカメラを利用する場合も、自車に搭載した車載カメラとほぼ同じ動作で説明できる。以後、動作及び処理が異なって特に注意が必要な場合にのみ、適宜その旨を記載するものとする。

次に、上述の各ユニットに基づく車両用画像処理装置１００の動作について説明する。

図２および図３に、車両用画像処理装置１００の動作の一例を示すフローチャートを示す。

まず歪み補正部９は、カメラ群８内のそれぞれ対応するカメラから撮影画像の読み込みを行い（ステップＳ１）、撮影画像の歪みの補正を行って補正画像とする（ステップＳ２）。この歪みはカメラのレンズ等に起因するものであり、既知の歪みである。よって歪み補正部９は既知の手法によって補正を行う。なお、この画像の歪み補正は、簡単のため最初に行っているが、後述する投影画像変換部１１が画像変換するのと同時に行ったり、投影変換部１４での画像の投影と同時に行っても構わないし、省略しても構わない。

投影画像変換部１１で歪みの補正を行う場合は、歪みの補正を撮影画像内の画素位置の調整とみなして、参照する撮影画像内の画素位置と変換後の画像内の画素位置の対応関係を示す投影マップを作成する際に、あらかじめ歪み補正分の画素位置調整を含めてしまうと、より簡単な処理で実現することが可能である。同様にして、投影変換部１４で行う場合にも、投影変換部１４で投影形状の各点の画素色を取得するのに用いる、撮影画像内の画素位置と投影形状の特徴点座標との対応関係に歪み補正分の画素位置調整を含めておくと、簡単に実現することができる。

以後の説明において、撮影画像と記載したものは、適宜、歪み補正後の撮影画像と読み替えるものとする。

ここで、自車以外のカメラの撮影画像を用いる場合には、撮影画像の読み込みの前に、撮影画像を読み込み利用するカメラが周囲にあるかどうかを判定して、そのカメラの位置や方向等のカメラパラメータと撮影画像を随時無線等の手段を介して取得するものとする。なお、カメラパラメータを直接取得するのではなく、あらかじめカメラのＩＤに対応するカメラパラメータのリストを取得しておき、カメラＩＤのみを取得して適宜カメラパラメータに変換取得してもよい。この場合、歪み補正を撮影画像を読み込み後に自車で行なってもよいが、他の車に搭載したカメラや路側に設置してあるインフラカメラの歪み補正用のパラメータをいちいち無線で取得するのは効率的ではないため、歪み補正後の撮影画像を読み込んで自車での補正を省略したり、前述のリストから補正パラメータをＩＤから変換取得して補正を行ったりする方が望ましい。

次に、直接指定部３は、運転者等の車両用画像処理装置１００を利用するユーザが直接指定した内容（ユーザの車両用画像処理装置１００に対するカスタマイズ）の有無を判定し（ステップＳ３）、直接指定された内容が有る場合（ステップＳ３、ＹＥＳ）、指定内容を取得する（ステップＳ４）。指定内容は、後述する閲覧視線の変更内容に関する説明でさらに詳細に説明する。なお、ステップＳ３、ステップＳ４の処理は必ずしもフローチャート上のこの位置で実行する必要はない。車両用画像処理装置１００は、特に整合性に問題がなければ優先割り込み処理として随時指定を検知し処理しても構わない。尚、直接指定部３は、車両用画像処理装置１００内で自動判定する内容をユーザが適宜補正またはカスタマイズすることを主目的として設けられたものであり、省略しても構わない。

次に、運転情報取得部１、道路情報取得部２は、それぞれ運転情報、または道路情報が変化したかを判定し（ステップＳ５）、変化した場合（ステップＳ５、ＹＥＳ）、自車に対する運転情報、および道路情報を共に取得する（ステップＳ６）。ここで、運転情報とは、例えば車速センサ、ジャイロ、ギア等から取得可能な自車速度・進行方向、ハンドル、ギア、ウィンカーなどの操作及び操作量から取得可能な直進・右左折・後退などの運転操作（車両の運転に関する情報）などである。また、道路情報は、例えばカーナビゲーションや路車間通信を行う無線通信機から取得可能な情報であり、地図データベースやＧＰＳ等から、自車位置と共に取得する、道路形状、道路種別、市街地種別、混雑状況、道路情報や、店舗などの地図情報（車両の周辺の道路に関する情報）である。なお、道路形状や障害物をミリ波センザやレーザセンサなどの外部センサで直接自車が取得しても構わない。また、これら運転情報取得部１、道路情報取得部２で取得した各情報、特に道路情報取得部２で取得した情報は、主に後述する閲覧視線の変更のためのシーン特定や、関連オブジェクトの利用有無及び配置方法などを決定するために参照されるものであり、これらを省略しても構わない。

次に、閲覧視線変更部４は、取得された運転情報、道路情報、又は利用者指示内容に基づき現在の閲覧視線（第１仮想視線）から、別の閲覧視線（第２仮想視線）に変更されたかを判定（検知）し（ステップＳ７）、変更があった場合（ステップＳ７、ＹＥＳ）、閲覧視線生成更新部５の処理へと進み（ステップＳ８へ）、変更が無い場合（ステップＳ７、ＮＯ）、閲覧視線の更新判定へ進む（ステップＳ１１へ）。なお、広義の閲覧視線の変更としては、後述する閲覧視線生成更新部５で実施する視線補間計算による視線パラメータ更新に起因する変更と、主にシーン変更に応じた視線切り替えに起因する変更とに分けることができるが、以後、前者を便宜的に閲覧視線の更新、後者を閲覧視線の変更と呼んで区別を行う。後者の閲覧視線の変更における、変更前後の閲覧視線から生成した画像が、それぞれ第１画像、第２画像である。

閲覧視線の変更は、あらかじめ設定しておいた各利用シーンに応じた閲覧視線間の切り替えや、利用者の直接指示による任意の閲覧視線への変更などであり、既知の変更を行うかどうかの判定ルール及び変更内容を用いて構わない。

上述の図１７を参照しつつ、シーンに応じて閲覧視線を変更する例を説明する。図１７（ａ）は上述したとおり閲覧視線と自車との位置関係を示す模式図で、図１７（ｂ）は実際に図１７（ａ）で示した閲覧視線から閲覧した場合の変換画像を示している。本実施の形態では、簡単のため、基本的に閲覧視線は自車を基準として設定され、特に指定のない限り、自車の移動に連動して移動するものとして説明する。

例えば、閲覧視線に対し、自車の直進時には図１７の閲覧視線Ａ、自車の右折時には閲覧視線Ｂ、狭い道でのすり抜け時には閲覧視線Ｄ、駐車場などでの自車後退時には閲覧視線Ｃ、という対応関係があらかじめ設定されている。閲覧視線変更部４は、このように設定されたシーン及び閲覧視線に対し、現在の運転情報や道路情報、又は利用者指示内容がこれら設定したシーンに合致しているかを判定し、閲覧視線の変更が必要かを判定する。例えば閲覧視線変更部４は、直進から右折への変更をウインカーに基づき検知して、直進というシーンに対応した現在の閲覧視線Ａから、右折時の閲覧視線Ｂへ変更されたと判定する。

なお、図１７で示した例はあらかじめシーンに対応して設定した閲覧視線をそのまま使う例であるが、各シーンの実際の細かい状態によって対応づけしておいた閲覧視線を微調整して使ってもよい。例えば、検知した障害物をより大きく閲覧するように閲覧視線の方向やズーム（焦点距離）を変更することだけ決めておき、自動的に検知した障害物の位置及び方向等に合わせて閲覧視線の方向や視点位置などの細かいパラメータを調整し、その閲覧視線に切り替えることなどが考えられる。なお、この閲覧視線変更の必要判定の例は一例であり、これ以外のシーンや条件で閲覧視線の変更を判定しても構わない。例えば、ユーザ指示や安全運転情報として優先度の高い障害物検知に起因した閲覧視線の変更として、障害物を視野に大きく写したり、障害物との位置関係を重視して自車上空からの閲覧視線に変更してもよい。

さらに、変更前後の仮想視線の相違度が規定値以上である場合（例えば視点位置、閲覧方向が規定されている距離、角度以上である場合）、閲覧視線変更部４は閲覧視線を切り替えるものとする判定ルールを設けてもよい。

また、ある閲覧視線の更新中に新たな閲覧視線の変更が判定された場合は、車両用画像処理装置１００は実施していた閲覧視線の更新を打ち切って新たな閲覧視線変更を実行するものとする。この場合、新たな閲覧視線の変更における変更前画像の第１画像は、何らかのシーンに対応した閲覧視線はなく、後述する視線パラメータの補間によって生成した閲覧視線である変更判定時の閲覧視線から生成した、直前の補間更新における変化画像となる。

通常は常に現在のシーンに最も適合した閲覧視線で表示することが好ましいため、補間更新を打ち切るとしたが、打ち切らずに続行しても構わない。この場合、閲覧視線の変更なしと判定した場合（ステップＳ７、ＮＯ）と同じ処理とする。

なお、便宜的にこの説明では打ち切りと表記したが、補間計算内容を新しく指定された閲覧視線への変更を含むものへと微補正し、閲覧視線の更新を続けてもよい。この場合は補間計算内容を微補正することを、新たな補間計算内容を決定することと読み替えて、以後の処理（ステップＳ７、ＹＥＳ以後）を実施する。

ところで、新しい閲覧視線がどこから見ている視線なのか把握の難しい場合には、現在の閲覧視線からの変化画像を用いても、咄嗟にどこを見ている視線なのか分からなくなることが有る。これを避けるため、規定の閲覧視線、例えば運転者の肉眼に類似した視線（擬似運転者視線と以後記載する）を常に第１仮想視線とし、その視線から常に閲覧視線を変化させた変化画像を作成してもよい。このようにすると、現在の運転者の肉眼と同等の視線からシーンに適した閲覧視線へ、擬似的に視線を変化させた変化画像を閲覧することができるため、最終的な閲覧視線がどこをどの方向から見ている視線なのか、より具体的に把握することができる。

図１８は擬似運転者視線の一例を示した説明図であり、従来技術で用いている前方閲覧視線及び前方画像との違いを示す。図１８（Ａ）は従来の前方画像（前方画像Ａ）と、本実施の形態で用いる擬似運転者画像（擬似運転者画像Ｂ）の各画像の一例を示し、図１８（Ｂ）、（Ｃ）および（Ｄ）はそれぞれの画像に関する視線の視点位置や画角、視線方向等の視線パラメータと、それら視線を用いて閲覧できる閲覧領域の一例を模式的に示したものである。

従来の前方画像は、実際に最近の車に搭載されている前方を撮影する車載画像とほぼ同等の画像であり、図１８（Ａ）は前方撮影画像をそのまま前方画像として示した。この前方撮影画像は、死角なく広い範囲を撮影するために１８０度前後の広画角の広角レンズで撮影しており、図１８（Ａ）の従来の前方画像Ａのような、全体として球状の歪みのある画像になる。実際には見やすさのため、前方撮影画像をそのまま用いるのではなく、この球状歪みを取り除いた画像を前方画像として用いる場合が多いが、映っている被写体の歪みが変わるだけで、視線パラメータや撮影領域すなわち閲覧できる空間領域に大きな変化はないため、ここでは簡単のため、前方撮影画像をそのまま示した。

図１８（Ａ）で示すように、擬似運転者画像Ｂは、視線パラメータや閲覧領域が前方画像Ａと大きく異なる。前述したように、前方画像Ａは運転者の運転を補助する画像として用いることを主目的とするため、運転者が現在見えない死角、例えば自車至近の下部までを網羅するよう、縦横とも広画角で撮影して表示するのが一般的であり、前方画像Ａ及び前方視線はそのような撮影パラメータに準じた視線となっている。例えば、図１８（Ａ）の前方画像Ａの下部には自車の至近下部が映っている。これに対し、擬似運転者画像Ｂは、運転者が肉眼で今見ている光景を再現することを目的とするため、必ずしも死角を網羅する必要はなく、注視時の視野を考慮し視野角５０から６０度程度の一般的な撮影カメラに似た画角でも構わない。このため図１８（Ａ）の擬似運転者画像Ｂは自車の至近下部が映っていないが、前方画像Ａに比べて全体的に周辺状況をより絞って運転者が実際に閲覧している画像領域をより大きくした見やすい画像となっている。図１８（Ｂ）はこれら図１８（Ａ）の２画像を作成する閲覧視線及び閲覧領域を示す視錐体を、視点を頂点とした一般的な四角錐（ビューボリューム。底面は球面とした）として模式的に示した。この図では擬似運転者画像Ｂの視錐体は前方画像Ａの視錐体にすっぽり入っているが、必ずしも入りきらなくても構わない。その場合、はみ出た閲覧領域部分は前方撮影カメラ以外のカメラの画像を利用してもよい。

また擬似運転者画像Ｂの視線である擬似運転者視線の位置及び視線方向ベクトルは前方画像Ａの前方視線と異なり、図１８（Ｃ）、（Ｄ）に示すように、自車の中心軸上及び自車進行方向である必要がない。Ａの前方視線は、自車の代表点である自車中央すなわち自車中心軸上の前先端部近くに視点をおき、真正面である中心軸方向すなわち自車の進行方向を視線ベクトルとするのが一般的である。これに対して、Ｂの擬似運転者視線は自車中心軸ではなく実際の車内の運転者位置、すなわちハンドル取り付け位置に従って自車中心軸から左右に寄った位置を中心とし、運転席の前後位置や背もたれの角度、ヘッドレストの位置が調整される際の操作量が検出されることで肉眼の位置が決定される。視線ベクトルも図１８（Ａ）のように例えば右折待ち（尚、自車が右折待ちかは、例えば自車の現在速度、ウインカー操作の有無で判断される）で最も注視するであろう対抗すり抜け車線中央を注視する方向とし、必ずしも自車進行方向と同じにする必要もない。このような擬似運転者視線を用いた結果、図１８（Ａ）のように、前方画像Ａと擬似運転者画像Ｂは、十字で示した画像中心に対する各被写体の位置関係が異なった画像となる。

このように、従来の前方画像に比べて、運転者の肉眼をより正確に模した擬似運転者視線を決定し、擬似運転者視線を仮想視線とする変化画像を作成することは、新たに切り替えたい視線が運転者が見ている視線と大きく異なる場合に有効である。

なお、この擬似運転者視線は必ずしも１つに限定する必要はなく、運転者の坐高に応じた視点位置、運転者の年齢に応じた視野角、右折、左折に応じた自車進行方向と異なる注視方向すなわち視線方向など、視線パラメータを変えた任意数の擬似運転者視線を用意しておき、運転者の指示、周囲の運転環境や自車運転状況、運転者の情報等で適宜切り替えて利用してもよい。また、これらの値を、毎回現在状況をより正確に反映するように算出して利用しても良いし、用意した値を補正して利用してもよい。例えば、運転者の坐高や顔の位置等を車内専用カメラや各種センサで検知して、より細かくカスタマイズした擬似運転者視線を用いてもよい。

これら擬似運転者視線は、第１仮想視線として任意の閲覧視線への変化画像の作成に利用する以外にも、任意の閲覧視線がどこを見ているのかを調べるために、一時的に現在の閲覧視線から擬似運転者視線に変化させる場合に用いてもよく、補間前後の第１仮想視線、第２仮想視線のどちらに用いても構わない。また、第１仮想視線、第２仮想視線に任意の閲覧視線を用いる場合に、それらを用いた変化画像の途中で擬似運転者視線を介すように、後述する視線補間の途中で擬似運転者視線の視線パラメータを用いてもよい。

擬似運転者視線を利用するか否かも任意に決定してよく、例えば、擬似運転者視線すなわち運転者の肉眼と現在の閲覧視線や表示したい閲覧視線との視線パラメータの違いの大きさ、自車及び周辺環境や閲覧視線更新の打ち切り状況から推定する閲覧視線の切り替えの緊急性、などから適宜判定して利用しても構わない。この利用判定の例を図１９に示す。

図１９は、擬似運転者視線の利用判定例、擬似運転者視線を利用する場合の条件の一例を羅列した一覧である。各項目が条件に記載した内容と合致した場合に、擬似運転者視線を利用内容に従って利用する。なお、図１９は一例であり、その他の任意の条件で利用判定を行ったり、表とは別の利用をしても構わない。

図２のフローチャートに説明を戻す。次に、閲覧視線生成更新部５は、閲覧視線の変更内容から閲覧視線の補間を行うか否かを判定し（ステップＳ８）、補間を行なう場合（ステップＳ８、ＹＥＳ）、補間内容を決定する（ステップＳ９）。閲覧視線の補間を行うか否かの判定の方法として、閲覧視線生成更新部５は、例えば変更前後の閲覧視線の各パラメータ（視点位置、閲覧方向、視野角（画角）、焦点距離（ズーム倍率）、など）の差を求め、それらの差が閾値以上の場合を大きな閲覧視線の変更とみなし、補間を実施すると判定する。なお、閲覧視線の変更があらかじめ登録してある閲覧視線間の変更だけである場合、あらかじめ補間を行なうか否かを、どの登録閲覧視線からどの登録閲覧視線へ変更するかの変更パターンに応じて決めておき、閲覧視線生成更新部５は当該変更パターンである場合に補間を実施すると判定してもよい。この場合、閲覧視線生成更新部５は閲覧視線の変更前後のパラメータの差を毎回計算することなしに、変更パターンを調べるだけで補間をするか否かを決定できる。

このような補間を行うか否かの判定（ステップＳ８）の結果、閲覧視線の補間を行わない場合（ステップＳ８、ＮＯ）、閲覧視線生成更新部５は単純に閲覧視線を変更し(ステップＳ１０)、描画方法の判定処理（ステップＳ１３）へ進む。

次に、閲覧視線生成更新部５は、補間内容に合わせて、最終的な閲覧視線（第２仮想視線）にするにはまだ更新が必要か、または更新終了かを確認する（ステップＳ１１）。更新終了でない、すなわち更新が必要であるならば（ステップＳ１１、ＹＥＳ）、補間内容を参照して少しずつ閲覧視線を変化させる閲覧視線の更新を行うことを繰返す（ステップＳ１２）。すでに最終的な閲覧視線となり更新終了であれば（ステップＳ１１、ＮＯ）、閲覧視線生成更新部５は、閲覧視線を更新せずにそのままにして、処理は先の描画方法の判定処理（ステップＳ１３）へ進む。

なお、このフローチャートでは、簡単のため、あらかじめ閲覧視線の補間内容を決定しておき、随時それを参照して閲覧視線を更新するものとしたが、必ずしもこれに限定するものではなく、閲覧視線の補間内容の決定と閲覧視線の更新とを同時に行い、閲覧視線の更新を行う度に、閲覧視線の補間計算を行っても構わない。あるいは、あらかじめ閲覧視線の補間内容の一部、例えば、閲覧視線の補間にどの計算式を用いるかという補間方法だけ決定しておき、閲覧視線の更新時に具体的な閲覧視線の計算を行っても構わない。

本実施の形態における閲覧視線の補間方法は、変更前後のそれぞれのパラメータ値を滑らかに変化させる既知の任意の補間計算を採用する。例えば閲覧視線の視点位置の値をパラメータとした補間は、図４から図６にかけて示すような方法で決定を行う。

図４は変更前の閲覧視線として閲覧視線Ａを、変更後の閲覧視線として閲覧視線Ｂを自車の左から見た断面図（図４（ａ））、及び自車の上空から見た俯瞰図（図４（ｂ））で模式的に示したものである。図４は、単純にパラメータを線形補間する例を示したものである。すなわち、変更前の閲覧視線Ａと変更後の閲覧視線Ｂの視点位置補間の経路として、視点位置Ａと視点位置Ｂを結んだ線分ＡＢを利用し、この補間経路上を閲覧視線Ａから徐々に閲覧視線Ｂに向かって視線位置を移動変化させていく補間を行う。なお、この補間経路上を常に同じ一定スピードで移動変化させるのではなく、例えば閲覧視線Ａと閲覧視線Ｂの近傍は早めにし、それ以外は遅めに移動変化するというように、任意のスピードで視線位置を補間更新しても構わない。このスピードは、補間経路上の移動間隔及び移動距離を用いて自由に設定できる。例えば補間経路上を等間隔に刻むような移動を元に補間更新点を更新すれば、一定のスピードで閲覧視線位置を補間更新できるし、移動間隔を変化させて他より少なめの移動距離にすれば、その部分だけ他よりゆっくりしたスピードで閲覧視線の位置を補間更新することができる。

図５は、閲覧視線Ａの視点位置Ａ、視線Ｂの視点位置Ｂの両端点２点と制御点（算出制御点）の１点から曲線を再帰的に求める既知のＢスプライン関数を用いた補間例を示している。制御点１点は、曲線の形を定義すると同時に、曲線を含む平面が３次元空間内でどのように配置されるかを定義する。

この３次元位置の配置のバリエーションを主眼として、図５において自車に関連した制御基準点Ｏと線分ＡＢ上の点（中点Ｍ）を結ぶ線分を用いる場合（図５（ａ））と、線分ＡＢ上の点（中点Ｍ）とその点における閲覧視線方向ベクトルを用いる場合（図５（ｂ））と、線分ＡＢ上の点（中点Ｍ）とその点を通る線分ＡＢとの垂線とＡ又はＢにおける閲覧視線方向ベクトルを用いる場合（図５（ｃ））の３パターンを例として示した。これらは算出制御点Ｐに対する算出方法が異なるだけで、算出制御点Ｐと視点位置Ａ、視点位置ＢからＢスプライン補間する方法は同じである。よって、図５（ａ）を主として補間位置の算出方法を説明をする。

図５（ａ）の例において、閲覧視線生成更新部５は、端点となる視線位置（視点位置Ａ、Ｂ）以外に、位置補間経路を求める時に必要な算出制御点Ｐを、線分ＡＢの中点Ｍと自車重心である制御基準点Ｏを通る直線上で、中点Ｍからの距離が直線ＡＢの長さに対して決まった比率の長さだけ離れた点として算出する。この結果、位置補間経路はＡ、Ｂ、Ｏの３点を含む平面上となる。Ｂスプラインの定義により、閲覧視線生成更新部５は、Ａ、Ｂ、Ｐを用いて、線分ＡＰと線分ＢＰの中点同士を繋いだ線分上の中点に、補間更新点Ｑを算出する。次に閲覧視線生成更新部５は、補間曲線として、２端点をＡ、Ｑとし線分ＡＰの中点を算出制御点とするセットと、２端点をＢ、Ｑとし線分ＢＰの中点を算出制御点とするセットの２方向に再帰的に補間更新点を算出していく。上述の処理が繰り返し再帰的に行われることで、Ｂスプライン曲線が求まる。

尚、図５（ａ）のように、視線位置の補間経路の基準点（算出基準点）の算出に、自車を基準とする制御基準点を利用すると、補間経路となる曲線と自車との最大距離を考慮することができるようになる。すなわち、最も自車から離れた視線位置となる補間視線経路を指定できるようになるので、視線位置から見た自車と視線位置の位置関係の変化に起因した自車の見かけの大きさ変化を制御できる。

算出制御点Ｐは、図５（ａ）にて示した方法以外に、図５（ｂ）、図５（ｃ）で示すような他の方法で算出されてもよい。尚、図５（ｂ）は、制御基準点Ｏを用いずに、別途算出した線分ＡＢ上の中点Ｍでの視線方向ベクトルを延長した直線上の任意の距離にある点を算出制御点Ｐとしている。また図５（ｃ）は、中点Ｍを通り線分ＡＢに垂直な直線上で任意の距離にある点を算出制御点Ｐとしている。図５（ｂ）にて示した方法は、位置補間経路は点Ａ，Ｂ、中点Ｍにおける視線ベクトルで定義される平面上に存在する。また図５（ｃ）にて示した方法は、位置補間経路は点Ａ、Ｂと点Ａ、Ｂの視線ベクトルを用いて算出したベクトル（例えば２つのベクトルの平均ベクトルなど）から定義される平面上に存在する。

このように、視線位置の補間経路の制御点（算出制御点）の算出に、閲覧視線方向ベクトルを利用することで、補間経路が二次以上の補間（曲線補間）の場合の、経路が直線の線形補間との補間視線位置のずれの方向を、その補間視線の閲覧視線方向に対する距離として指定することが可能となる。すなわち、現在の閲覧方向における距離を指定するため、補間位置の変化による被写体の閲覧サイズ変化が把握しやすくなり、補間結果をイメージしやすくなる。

図５では、複数次補間の一例として制御点数の少ないＢスラプイン補間を示したが、視点位置Ａ、Ｂを通れば、ベジェ曲線のような他の曲線群、及び一般的なＮ次補間（スプライン補間、ラグランジュ補間、ニュートン補間など）の補間方法のいずれを適用してもよい。また、Ｎ次補間に必要な制御点群として、図５で示した記載した中点Ｍ及び中点Ｍを通る直線上の算出制御点Ｐの代わりに、線分ＡＢの任意位置の複数点を用いて算出した制御点群を用いてもよい。例えば、２つの制御点が必要ならば、線分ＡＢの両端からの距離が線分ＡＢの長さ比率１５％であるような２点Ａ’Ｂ'を中点Ｍの代わりとし、それらを通る直線群から算出制御点２つを算出してもよい。

図６は、楕円弧を位置補間経路とする一例である。閲覧視線生成更新部５は、図５（ｃ）と同様に、楕円弧が存在する平面は視点位置Ａ、Ｂと、視点位置Ａ、Ｂの視線ベクトルから算出されたベクトルから求める。また、閲覧視線生成更新部５は、楕円弧を視点位置を結んだ線分ＡＢに対してどのように配置させるかには、線分ＡＢの中点Ｍを通り線分ＡＢに垂直な直線を利用する。すなわち、閲覧視線生成更新部５は、閲覧視線の視点位置を結んだ線分ＡＢの中点Ｍを通り、線分ＡＢに垂直な直線上の任意の位置に、楕円中心Ｃを設定し、視点位置Ａ、Ｂのそれぞれを通るような楕円の長短径を求めて、楕円弧ＡＢを位置補間経路とする。このように楕円形の一部である楕円弧を位置補間経路とすることで、補間更新位置をより簡単に算出できる。この他に楕円弧の代わりに、ある線分に対する補間経路（楕円弧のような平面上の曲線または直線から成る任意の軌跡）をあらかじめ決めておき、実際の線分ＡＢに合わせてその補間経路を伸張し、図５の例と同様に制御基準点や中点、垂線や閲覧方向ベクトルを用いて３次元空間上に補間経路の存在する平面を回転配置することで、補間経路を求めてもよい。

閲覧視線生成更新部５は、このように求めた補間経路に沿うパラメータを算出する。

図４から図６に示した例は、滑らかな視線変化に合致するようになるべく微分可能な曲線として補間経路を示したが、これに限定するわけではなく、閲覧視線生成更新部５は、多角形を補間経路とするような折れ線や、１つ以上の直線及び１つ以上の曲線の組み合わせからなる複雑な経路を求めてもよい。さらにその際、特定の視線、例えば前述した擬似運転者視線などを、必ず途中で経由するような補完経路を求めてもよい。

図４から図６で視点位置に基づく補間の例を示したが、同様の補間計算を視点位置以外のパラメータ（例えば閲覧方向、画角、焦点距離等）に適用してもよい。また、例えば、視点位置と視線方向の２つのパラメータの補間を行う場合に、視点位置の補間方法は図５（ａ）の例を用いて、視線方向の補間方法は図４の例を用いるというように、パラメータ毎に補間を行なうか否か以外に、補間内容の算出方法が異なってもよい。

また、焦点距離のように１つの値から成るパラメータも任意の方法で補間してよいが、視点位置の補間説明のスピードと同様に、補間時に値を均等変化させても良いし、例えば補間開始及び終了時には補間中間よりもゆっくりした変化となるように、変化率を変えても構わない。

なお、このフローチャートでは、閲覧視線生成更新部５は、閲覧視線の補間更新内容を毎回計算しているが、閲覧視線Ａ，Ｂがあらかじめ決まったシーンに応じた閲覧視線であるならば、それら閲覧視線の補間経路もあらかじめ決めることができるので、閲覧視線のパラメータの補間計算の一部及び全てをあらかじめ計算しておき、その値を参照することで閲覧視線を更新しても構わない。

このように、閲覧視線生成更新部５で閲覧視線の補間経路を求め、その経路に沿うよう閲覧視線パラメータを適宜更新することで、車両用画像処理装置１００は滑らかな視点移動を実現することが可能になる。例えば図７のように、車両用画像処理装置１００は自車の上空俯瞰画像を生成して、主に自車周辺の路面を閲覧する閲覧視線Ａと、車両前方画像を生成して、主に路面だけではない前方の周辺状況全般を閲覧する閲覧視線Ｂという、閲覧領域及び方向が異なる閲覧視線Ａ、Ｂに対応した視線移動経路を生成し、その経路に沿うよう閲覧視線パラメータを適宜更新することで、滑らかな視点移動に伴って滑らかに閲覧している画像領域や方向が変化する変化画像の生成を実現することができる。

図２のフローチャートに説明を戻す。描画方法判定部６は、視線変更及び更新に伴い、描画対象である撮影画像の描画方法を変更するか否かの判定と、変更する場合に実際の描画方法の変更を行う（ステップＳ１３、Ｓ１４、Ｓ１５）。ここで、何らかの画像や形状を変換して閲覧用の別の画像に変換する方法のことを便宜的に描画方法と記し、描画方法で変換される対象を描画対象と記す。描画方法判定部６で判定可能な描画方法は２種類であり、１つは描画対象である撮影画像内の各画素の位置と、その画素が対応づけられる描画後の画像内の画素位置の対応関係（ここでは投影マップと記す）をあらかじめ計算しておき、描画対象の画像の実際の画素色情報を計算済みの対応関係に従って単純作業的に割り振っていく方法である。もう一方は、一般的なコンピュータグラフィックス（以後、ＣＧと呼ぶ）で行なわれる形状へのテクスチャマッピングと同様の描画方法であり、より複雑な対応関係を実現するために、１つ以上の３次元形状を撮影画像を貼り付ける投影形状として利用する方法である。便宜的に、前者の描画方法を投影マップを用いた描画方法と記し、後者の描画方法を形状を用いた描画方法と記すこととする。

描画方法判定部６は、描画方法の判定として、投影マップを用いた描画方法を利用するためのデータ、すなわち投影マップが当該閲覧視線に対して存在しているかどうかを判定し（ステップＳ１３）、存在するならば（ステップＳ１３、ＹＥＳ）、投影マップを用いた描画方法とする（ステップＳ１４）。一方、投影マップが存在しなければ（ステップＳ１３、ＮＯ）、投影形状を用いた描画方法とする（ステップＳ１５）。

投影マップは閲覧視線が異なれば別のデータとなる。あらゆる閲覧視線に対応できるよう、投影マップを多数保持しておくことが望ましいが、実際に記憶容量の関係上不可能なため、本実施の形態における車両用画像処理装置１００は、閲覧視線変更部４で述べた各利用シーンに応じた閲覧視線群に対する投影マップをあらかじめ計算保持しておくものとする。利用頻度の高いシーンをあらかじめ想定し、それに応じた閲覧視線群に対して投影マップを用意することで、少ないデータ量で効率的に計算量の少ない投影マップを用いた描画方法を利用することが可能となる。

尚、閲覧視線変更部４で検知する閲覧視線の変更は、上述したように利用者の直接指示以外のシーンによる視線変更が主であるため、変更前の閲覧視線から成る第１画像と変更後の第２画像は、投影マップを保持している可能性が高く、描画方法として投影マップを用いた描画方法を判定されることが多い。逆に、閲覧視線生成更新部５で生成した視線パラメータを用いて作成する変化画像（補間画像）は、シーン間で補間した閲覧視線や微調整した閲覧視線から成る場合が多く、投影マップを持たずに多くは形状を利用した描画方法となるよう判定されるが、こちらの利用頻度は低いと思われる。なお、投影マップのデータ詳細とその使い方、および投影形状の内容については後述する。

ところで、自車に搭載した車載カメラ以外のカメラの撮影画像を描画対象とする場合は、投影マップを用いた描画方法を利用することは困難である。これは、撮影したカメラと閲覧視線の位置関係が変化すれば、投影マップは別のデータとなるからである。例えば、閲覧視線は自車両の真上から真下を見下ろす視線として特に変更しなくても、自車の移動により撮影カメラと自車の位置関係が変化すれば、描画後の閲覧画像に占める撮影画像の位置も変化するので、撮影画像の画素位置と描画後の画像の画素位置の位置関係である、投影マップも別のデータとなる。このため、図１７のように閲覧視線が自車を基準として設定する場合、すなわち、自車の移動に連動して閲覧視線も自動的に移動する場合には、基本的に自車は移動するものと考えられるので、閲覧視線の変更有無に関わらず、車載カメラ以外のカメラの撮影画像を描画対象とする場合は、形状を利用した描画方法とする。

関連オブジェクト決定部７は、利用する関連オブジェクトとその描画方法を決定する（ステップＳ１６からステップＳ２２）。関連オブジェクトは、自車及び自車周囲の状況や情報を閲覧するために用いるものであり、自車の進行方向、障害物の位置、大きさ及び自車からの方向や、自車の目的地方向及び目的地位置、自車周辺の信号、標識及び路面標示などの交通標示、右左折予定の交差点などの注目エリア、混雑・事故多発エリアや推薦する店舗などの地物及び地図情報、等の運転情報取得部１や道路情報取得部２、直接指定部３などから取得できる、情報の存在及び内容を示すためのオブジェクト、および自車や自車に搭載したカメラ、カメラの死角など、運転情報取得部１、道路情報取得部２、直接指定部３から取得せずに主に規定の情報としてシステムで設定される情報及び内容を示すためのオブジェクト、の２つから成る。

なお、自車以外のカメラの撮影画像を用いる場合には、これら２つ以外にも、撮影画像と同時に位置等のカメラパラメータを取得したカメラ、カメラ死角も、関連オブジェクトとしてもよい。

関連オブジェクト決定部７は、入力された車両状態（車両情報）を参照する等して、あらかじめ定義してある表示すべき関連オブジェクトに合致するものがないか確認をし（ステップＳ１６）、合致すれば（ステップＳ１６、ＹＥＳ）、利用リストに追加して利用を決定する（ステップＳ１７）。

関連オブジェクト決定部７は、例えば、センサ等から入力した上述の障害物位置や大きさ、自車からの方向に対し、障害物に関する関連オブジェクトの表示用データがあるのを確認し、更に、あらかじめ設定しておいた利用ルール、例えば自車の進行予定車線内、例えば自車位置と進行方向で推定した地図データの進行予定車線の中心線に対して左右５ｍ以内にあり、大きさが１０ｃｍ以上のものならば関連オブジェクトを表示する、などに基づき関連オブジェクトを利用するか否かを決定する。このような複雑な判定ルールを用いるのではなく、関連オブジェクトの表示用データがあるものは全て関連オブジェクトとして表示するとしてもよい。

関連オブジェクトは、自車及び自車周囲の状況や内容と、自車周囲のどこに存在するかの位置関係を示す位置データと、描画に用いる表示用データとで構成されている。関連オブジェクトの表示用データは、あらかじめ用意した画像、３次元形状の少なくともどちらか１つ以上から成る。情報内容である文字列だけを表示する場合も、文字列を構成する文字のフォント画像を便宜的に関連オブジェクトの画像とみなす。なお、例えば自車が渋滞に嵌っており、その渋滞を抜け出すのにかかると想定される時間などの情報等、例外的に自車からの位置関係が不明及び明確な位置を持たない情報もあるが、車両用画像処理装置１００は、必要ならば位置を任意位置、例えばシステムで規定した位置等に、その都度補足して利用してよい。３次元形状を表示データとする場合は、３次元空間内の頂点座標値である形状そのもの以外に、形状色を決定するための情報（例えば、各頂点の色や頂点法線、必要ならばテクスチャマッピングデータなど）も同時に保持してよい。

本実施の形態では、関連オブジェクトの表示データとして、上述の撮影画像の投影マップと同様に、あらかじめ設定しておいた各利用シーンに応じた閲覧視線群に対する関連オブジェクトの画像を保持しておくものとする。

なお、関連オブジェクトの利用リストは、関連オブジェクト決定部７に処理が入ってくる度に、すなわち描画を行う度に、関連オブジェクトがゼロとしてリセットされるものとするが、前回の描画で使った利用リストの内容を適宜変更して再利用してもよい。再利用する場合は、関連オブジェクトの保持するデータ、特に情報そのもの、位置データの変化を反映させるよう注意が必要である。

本実施の形態では、処理を簡潔にするため利用したい関連オブジェクトを全て調べて利用リストに追加してから、次の関連オブジェクトの描画方法を決定する処理へ進むものとするが、利用したい関連オブジェクトを１つ見つけるごとに順次描画方法を決定してもよい。この場合、関連オブジェクト毎に処理することで、利用リストが不要となる構成とすることもできる。

次に、関連オブジェクト決定部７は、利用リスト内で順次未処理な関連オブジェクトがないかを確認しながら（ステップＳ１８）、未処理な関連オブジェクトがあれば（ステップＳ１８、ＹＥＳ）、その関連オブジェクトの表示用データを参照することで描画方法を決定する（ステップＳ１９からステップＳ２２）。ここでは、関連オブジェクト決定部７は関連オブジェクトの形状があるか否かを判定し（ステップＳ１９）、形状がなく画像しかない場合（ステップＳ１９、ＮＯ）、画像を用いた描画方法を選択する（ステップＳ２２）。一方、形状がある場合（ステップＳ１９、ＹＥＳ）、関連オブジェクト決定部７は形状を用いた描画方法を優先選択するか否かを判定し（ステップＳ２０）、形状を用いた描画方法を優先選択する場合（ステップＳ２０、ＹＥＳ）、関連オブジェクト決定部７は形状を用いた描画方法を選択する（ステップＳ２１）。尚、形状を用いた描画方法を優先選択しない場合（ステップＳ２０、ＮＯ）、関連オブジェクト決定部７は画像を用いた描画方法を選択する（ステップＳ２２）。

図８に関連オブジェクトとして、自車そのものの位置を示すための表示データである画像及び形状の一例を示す。図８（ａ）は自車の３次元形状であり、この例では三角形ポリゴンで構成される。図８（ｂ）は自車の画像であり、本実施の形態では図１７で示した閲覧視線ＡからＤまでに対応するように、上からみたもの、横からみたもの、斜めから見たもの２つを用意する。なお、画像の数は必ずしもシーン数と同じである必要もなく、１つ以上の任意数で構わない。

図９は運転情報取得部１や道路情報取得部２、直接指定部３などから取得できる情報の存在及び内容を示すためのオブジェクトの一例として、障害物の存在を意味する関連オブジェクトを示す。矢印、または手で示される関連オブジェクトとして、図９（ａ）、図９（ｂ）にその３次元形状が示されており、図９（ｃ）、図９（ｄ）にその画像３種類が示されている。

形状を用いた描画方法を優先選択するか否かの判定は、図８や図９のように画像と形状の両方を関連オブジェクトのデータとして保持している場合に、どちらの描画方法を優先して利用するかを判定するものである。主に形状を用いた描画は計算量が多くなるため、描画コストが高くなることを考慮した判定がなされる。例えば、描画方法判定部６による撮影画像の描画方法の判定結果が投影マップを用いた描画の場合は、関連オブジェクト決定部７は、関連オブジェクトの描画方法として形状を優先せず、画像を用いた描画方法を優先する。これは、形状を用いた描画はコストが高いため、撮影画像の描画に形状を用いない場合は、関連オブジェクトを形状を用いて描画しないようにする、という配慮を反映させるための優先判定である。逆に、描画方法判定部６による判定結果が投影形状を用いた描画方法とするものである場合、関連オブジェクト決定部７は、関連オブジェクトの描画方法として形状を優先する。

上述以外の優先選択の判定として、関連オブジェクト決定部７は、関連オブジェクトの形状のポリゴン数が多いものはコスト高とみなして画像を利用したり、現在の処理負荷（ＣＰＵやメモリ、データ転送負荷など）を調べて、負荷が高いと感じたときには画像を利用してもよい。また、閲覧時に目立ったり注目させたりしたい情報種類かどうか、例えば大きく表示される状況が多々ある自車や、注目させたい障害物などは、形状があれば形状を優先するとの判定が考えられる。車両用画像処理装置１００は、このような優先選択の判定を経て関連オブジェクトの描画方法を決定するが、優先選択の判定は省略しても構わない。

なお、描画方法判定部６で撮影画像を描画対象として描画方法を判定し、関連オブジェクト決定部７で関連オブジェクトを描画対象として描画方法を判定したが、この分け方及び処理順番は一例であり、双方を同時に行っても構わないし、関連オブジェクトの利用と描画方法の判定を先にしても構わない。

図２のフローチャートの説明に戻る。次に、描画方法判定部６と関連オブジェクト決定部７で決定した、撮影画像と関連オブジェクトの描画方法に基づき、描画部２０にて描画処理、及び表示部１６で表示処理を行うことで（ステップＳ２３）、処理は終了する。この描画処理、および表示処理以降は、図３を用いてさらに詳しく説明する。

なお、図２にて示したフローチャートは、運転情報、道路情報、直接指定内容が変化しない場合（ステップＳ５、ＮＯ）、すなわち自車の周辺環境も自車の位置も変化せず利用者の指定もない場合であって、閲覧視点の変更もない場合（ステップＳ７、ＮＯ）にも、描画を行なっているが、ＳＴＡＲＴへ戻って描画を行なわないようにしても構わない。但しこの場合、運転情報や道路情報で検知できない可能性の高い自車外部環境の変化、例えば街路樹の葉が風でそよぐ様子や、信号の色の変化などの微少変化は、カメラで撮影して撮影画像として保持したとしても、描画を行なわないと最終的な画像上に現れずに閲覧できないことに注意が必要である。

次に、描画部２０における描画処理、及び表示部１６における表示処理（図２のステップＳ２３の処理）を図３のフローチャートを参照しつつ説明する。

まず、描画部２０は描画方法判定部６と関連オブジェクト決定部７で決定した撮影画像と関連オブジェクトの描画方法に基づき、さらに閲覧視線生成更新部５による処理が行われている場合は生成された視線パラメータに基づき描画を行う（ステップＳ１１７からステップＳ１２５）。まず、撮影画像の描画に投影形状を用いるかが判定され（ステップＳ１１７）、投影形状を用いる場合（ステップＳ１１７、ＹＥＳ）、投影形状設定部１０は投影形状の配置（ステップＳ１１８）を行う。投影形状を用いない場合（ステップＳ１１７、ＮＯ）、投影画像変換部１１は投影マップを用いた撮影画像の変換を行う（ステップＳ１１９）。

ここで、投影画像変換部１１および投影形状設定部１０の処理について説明する。まず、図１０、１１、１２を用いて投影画像変換部１１による投影マップを用いた撮影画像の変換について説明する。

図１０（ａ）は、投影マップによる描画を利用して作成された閲覧用の投影画像の一例として、自車上空から俯瞰した画像を示す。尚、画像上方向が自車の進行方向を表す。図１０（ｂ）は図１０（ａ）の模式図であり、図１０（ａ）と同様に図１０（ｃ）の撮影画像群が投影画像のどこに投影されているかを示している。図１０（ｃ）は描画対象である前後左右のカメラＡ〜Ｄで撮影した撮影画像群Ａ〜Ｄである。投影画像変換部１１は、例えば図１０（ｃ）にて示した各撮像画像から現在の閲覧視線、ここでは自車上空から俯瞰する閲覧視線、に合致した図１０（ａ）のような投影画像を生成する。

ここで、図１０（ａ）の投影画像における画素Ｐ（Ｘ１，Ｙ１）は、図１０（ｃ）の撮影画像において、それぞれ撮影画像Ａ内のＡ１（Ａ１ｘ，Ａ１ｙ）、撮影画像Ｄ内のＤ１（Ｄ１ｘ，Ｄ１ｙ）の２つに対応づけられ、Ｑ（Ｘ２，Ｙ２）は撮影画像Ａ内のＡ２（Ａ２ｘ、Ａ２ｙ）と撮影画像Ｃ内のＣ１（Ｃ１ｘ、Ｃ１ｙ）の２つに対応づけられるものとする。なお、ＰとＱは一例として双方とも複数の撮影画像に対応づけしているが、１つの撮影画像への対応づけでも構わないし、３つ以上への対応づけでも構わない。

図１０にて示した画像内画素間の対応関係を示す投影マップの例として、図１１と図１２を参照しつつ説明する。図１１は、投影マップとして撮影画像毎の投影マップを用いて、投影画像も撮影画像毎に生成する例である。本実施の形態では、それぞれの投影マップは、投影画像内の画素位置と、撮影画像内の画素位置、画素色を求める時に用いる重み係数からなるものとする。重み係数は、投影画像内の同じ画素位置に複数の撮影画像の画素が対応づけられた場合、何色とするかを決定するために画素同士の優先度を示したものであるが、全て同じ優先度として省略しても構わない。図１１の例では、重み係数をそのまま透明度（０．０から１．０。１．０が不透明で０．０は透明）に適用する。

投影画像変換部１１は、カメラＡによる撮影画像Ａと、対応する投影マップＡとを用いて投影画像Ａを生成し、カメラＢによる撮影画像Ｂと、対応する投影マップＢとを用いて投影画像Ｂを生成する。投影画像変換部１１は、以下同様に投影画像Ｃ、投影画像Ｄを生成し、これらを合成することで投影画像（合成投影画像）を生成する。尚、投影画像変換部１１で生成される投影画像で、対応する撮影画像内画素がない部分は、考慮しないように透明領域としておく。

なお、これら投影マップの記載は１画素同士の対応づけを例にしたが、複数画素から成る画素エリア同士、または１画素と画素エリアとの対応づけでも構わない。また、投影マップは、画素同士の対応関係が判断できるものであればよいので、図１１に示したテーブルに限定するものではなく、例えば記憶容量に余裕があれば、どちらかの画像の解像度と同じサイズの画素位置データ配列を確保し、対応する画像の画素がある部分だけ、その画素位置に相当するデータ配列内の位置へ、対応画像の画素位置を書き込んでもよい。また、画像の縦横長さを正規化して１．０と見なし、上から０．５で左から０．２５の位置、というように厳密な画素に必ずしも対応するとは限らない画像内位置を指定しても構わない。この場合、指定位置に相当する画素色として、周辺画素の画素色をバイリニア法などの任意の既存補間方法で取得することができる。

図１２は、投影マップとして全撮影画像共通の投影マップを用いて、複数の撮影画像から１つの投影画像を生成する例を示している。全カメラ用の投影マップは、図１１同様に投影画像内の画素位置と、対応する撮影画像の画像ＩＤ、実際の撮影画像内の画素位置、重み係数から成る。投影マップ内の対応関係の並び順は任意である。重み係数は図１１における説明と同様の意味を持ち、同様に省略しても構わない。投影画像変換部１１は、この投影マップを参照し、重み係数で各撮影画像内の各画素を重み付けしながら画素色をマージし、投影画像を生成する。例えば、図１２に示すように、点Ｑの画素色は、Ｃ１の画素色を重みである１．０倍し、Ａ２の画素色を重みである０．８倍し、これらを正規化した画素色とする。図１２も図１１同様、画素エリアを使った対応づけでもよいし、このテーブルの記載に限定するものではない。

変更前後の画像（第１画像、第２画像）の間の補間画像に対しても、それぞれの視線パラメータに応じた投影領域（投影画像で使用される撮像画像上の領域）、および投影マップがあらかじめ設定されていれば、投影画像変換部１１は上述の処理が可能である。

次に、投影形状設定部１０による投影形状の配置方法について説明する。

投影形状設定部１０は、任意の投影形状を自車を基準とした３次元空間内に設定し、各撮影画像のカメラパラメータを用いて投影形状のどの位置にどの撮影画像のどの画素が対応づけられるかを、既存のコンピュータグラフィックスのテクスチャマッピングの貼り付け位置指定と同じように設定しておく。具体的には、自車を基準として配置してある投影形状（所定の投影形状）と、自車に対するカメラ位置及びカメラ方向などのカメラパラメータから、カメラの撮像面と投影形状の位置関係を求め、透視投影などの一般的な投影方法でカメラ撮像面（＝撮影画像内の画素位置）が投影形状のどこに投影されるか投影計算を行って、画素位置の対応づけを求める。

例えば、カメラ位置と撮像画像の各画素に相当する撮像面上の点を結ぶ直線を考え、この直線と投影形状と交わる点を求める。この投影形状上の交点座標と、撮像面上の点に対応した撮影画像内の画素位置を対応づけする。この例では撮像面上の点（撮影画像内の各画素位置）から投影形状の座標を求めたが、逆に投影形状の任意の特徴点からカメラ位置へと直線を求め、その直線が該当カメラの撮像面と交差した場合に、交差した撮像面の点に対応する撮影画像の画素位置を、対応づけしてもよい。この場合の画素位置は、厳密な画素１つに必ずしも対応するとは限らない画像内位置となる。また、この画素位置の画素色は図１１の説明と同様の方法で取得できる。

図１３に、楕円球面と道路面を模した平面から成る、投影形状の一例を示す。図１３右に記載した車は投影形状ではなく、投影形状との位置関係を示すための参考となるよう記載した自車である。この例では、周辺画像を主に投影するための周辺立体部分である楕円球面と、自車周辺の道路を主に投影するための平面俯瞰部分である平面で構成したが、投影形状はこれに限定するものではなく、任意の平面、任意の曲面、またはそれらの任意の組み合わせでよく、自車との位置関係も任意でよい。

このように、投影形状設定部１０は、投影画像変換部１１とは異なり、現在の閲覧視線とは無関係な、撮影カメラと投影形状の関係だけから求まる画素位置の対応づけを計算する。この対応づけは、投影形状が変化したり、撮影カメラと投影形状の位置関係が変化しない限り、変わらないので、一度計算を行なったら、以後は計算を省略して計算結果をそのまま使いまわしてもよい。但し、図１３のように投影形状を自車を基準として設定する場合、すなわち、自車の移動に連動して自動的に投影形状も移動する場合には、自車に車載したカメラ以外のカメラの撮影画像を用いると、自車の移動に伴って撮影カメラと投影形状の位置関係が変化するため、毎回計算が必要である。投影形状設定部１０で計算した画素位置対応づけは、後述する投影変換部１４で利用し、そこで閲覧視線の情報を用いて閲覧視線から見た画像を作成する。

図３のフローチャートの説明に戻る。次に、関連オブジェクトの描画処理を行う。この処理は表示したい関連オブジェクトがなくなるまで行われる。まず未処理の関連オブジェクトが存在している場合（ステップＳ１２０、ＹＥＳ）、該当する関連オブジェクトに対しステップＳ２１で形状を用いた描画方法が選択されている場合（ステップＳ１２１、ＹＥＳ）、関連オブジェクト形状設定部１２は、関連オブジェクトの形状を投影形状と同じ自車を基準とした３次元空間内に、関連オブジェクトと自車との位置関係データを用いて設定し（ステップＳ１２２）、未処理の関連オブジェクトがないかの判定（フローチャート１２０）へ戻る。

関連オブジェクト形状設定部１２の処理について、図１４を参照しつつ説明する。尚、図１４（ａ）に処理対象領域であるモデル空間の斜視図、図１４（ｂ）にモデル空間の鳥瞰図を示す。

ここでは、図１３で例として挙げた自車の中心（自車基準点）を中心とする楕円球面と平面から成る投影形状と、自車自身の形状、障害物を示す矢印形状の２つの関連オブジェクト形状を、同じ３次元空間内に配置している。関連オブジェクト形状設定部１２は、例えば、センサ等から入手した障害物の実際の位置を用いて、自車から障害物へのベクトル方向（存在方向ベクトル）に向けて、障害物位置近傍に関連オブジェクト形状として矢印形状を配置する。このとき、関連オブジェクト形状が自車から見て投影形状より外側に配置されると、投影形状に投影される撮影画像に隠れて関連オブジェクトが見えなくなる可能性があるため、配置時には投影形状の内側になるよう微調整してもよい。

図３のフローチャートの説明に戻る。関連オブジェクトが形状を用いた描画方法ではなく画像を用いた描画方法（ステップＳ２２）である場合（ステップＳ１２１、ＮＯ）、関連オブジェクト画像設定部１３は、現在の閲覧視線に合わせて関連オブジェクトの画像を選択して、閲覧視線と関連オブジェクトの位置関係によって画像配置した関連オブジェクト表示画像を生成し（ステップＳ１２３）、未処理の関連オブジェクトがないかの判定（ステップＳ１２０）へ戻る。

図１５、図１６にこの関連オブジェクト画像の配置及び表示画像生成の一例を示す。図１５（ａ）に、右方向から見た自車と、視点位置Ａからの閲覧視線（閲覧視線Ａとする）、及び関連オブジェクトの一例である障害物（ここでは四角形として示す）の模式図を示す。また図１５（ｂ）に、図１５（ａ）と同じものを自車上空から俯瞰した模式図を示す。閲覧視線Ａは自車を斜め左上から見下ろす。関連オブジェクトに対応する障害物はＰの位置にあるものとし、自車の基準点Ｏから障害物Ｐへ引いたベクトルを存在方向ベクトルとする。

図１６（ａ）に、この障害物を表示するための関連オブジェクト画像を示す。この例では、画像Ａは真上から見た画像、画像Ｂは斜め後ろから見た画像、画像Ｃは画像Ｂよりも真後ろに近い方向から見た画像である。これらの画像データは、単なる絵である以外に、画像を貼り付ける際の基準となる、画像貼り付け原点Ｄと画像貼り付け方向ベクトルＥがあらかじめ設定されている。尚、画像Ｃの画像貼り付け原点Ｄが下端より少し上にある等、画像Ａ、画像Ｂ、画像Ｃの画像貼り付け原点Ｄの位置は全て画像の下端線の中央ではなく、画像貼り付け原点Ｄ、画像貼り付け方向ベクトルＥの位置関係が共通ではないが、全て共通としてもよい。

図１６（ｂ）は、図１６（ａ）で示した画像群のいずれを利用するかを判定するためのテーブルの一例である。

例えば、図１５において、障害物の位置Ｐと視点位置Ａと基準点Ｏを含む平面上で、視点位置Ａから障害物Ｐへ向けたベクトルと基準点Ｏから障害物Ｐへ向けたベクトル、すなわち存在方向ベクトルとの成す角をαとする。αは視線位置Ａから見た障害物の見かけの角度ということになる。図１６（ｂ）は、この見かけの角度αの値によって、図１６（ａ）の３種類の画像のいずれを使うかを示すテーブルである。関連オブジェクト画像設定部１３は、例えばαの値が６０°以上１２０°未満ならば、真上から見た画像である画像Ａを用いる。

尚、本実施の形態では、この判定自体を関連オブジェクト画像設定部１３で行なっているものとするが、それに限定するわけではなく、上述の関連オブジェクト決定部７で行ってもよい。

図１６（ｃ）は、こうして選択された画像を実際に関連オブジェクトの存在位置に合わせて配置して作成した、関連オブジェクト表示画像の例である。図１６（ｃ）の左図のように、まず、関連オブジェクト画像設定部１３は、閲覧視線Ａの視線パラメータを用いて、基準点Ｏ及び障害物Ｐと存在方向ベクトルが、閲覧視線Ａを用いた投影画像内のどこに投影されるのかを求める。ここでは、斜め左後ろから見下ろす閲覧視線Ａから見た投影画像内において、存在方向ベクトルは、自車から左上方向へ伸びている。関連オブジェクト画像設定部１３は、求めた障害物Ｐの位置と存在方向ベクトルを用いて、図１６（ａ）の画像貼り付け原点Ｄを障害物の位置Ｐの位置におき、画像貼り付け方向ベクトルＥを関連オブジェクトの存在方向ベクトルの向く方向に向けるものとして配置して、関連オブジェクト表示画像である図１６（ｃ）の右図を生成する。尚、関連オブジェクト画像設定部１３は、図１６（ｃ）の右図に示すように、関連オブジェクト表示画像内の関連オブジェクト画像が配置されなかった部分の色は透明としておく。

尚、この例では簡単のため、関連オブジェクト毎に投影画像サイズで透明部分の多い関連オブジェクト表示画像を作成しているが、必ずしも関連オブジェクト表示画像と投影画像と同じサイズである必要はなく、記憶容量を削減するために、関連オブジェクト表示画像をもう少し透明部分を削った小さな画像として作成して投影画像に対する配置位置等を決定しておき、後述する画像重畳部１５で配置位置等を参照して重畳してもよい。また、関連オブジェクト表示画像自体の生成は行わず、決定した関連オブジェクトの配置を参照しながら関連オブジェクト画像の色を、最終的な閲覧画像、又は重畳やブレンド等で最終閲覧画像を作成するために素材利用される任意画像、例えば他の関連オブジェクト表示画像や、あるカメラの撮影画像に対応した投影画像などへ、後述する画像重畳部１５などで直接描画書き込みしても構わない。

これら関連オブジェクト形状設定部１２及び関連オブジェクト画像設定部１３での処理の後、再び未処理の関連オブジェクトがないかの確認がなされる。未処理の関連オブジェクトがなければ（ステップＳ１２０、ＮＯ）、撮影画像の描画方法に投影形状を用いている（ステップＳ１１７、ＹＥＳ）か、関連オブジェクトの描画方法に形状を用いている（ステップＳ１２１、ＹＥＳ）か、少なくとも片方に合致した場合には、投影変換部１４は、投影形状に設定済みの撮影画像との対応関係を用いて撮影画像の実際の画素色を反映させながら、同時に設定した関連オブジェクト形状ともども、現在の閲覧視線から見た画像へと透視投影等の既知の投影方法を用いて変換し、投影変換画像を生成する（ステップＳ１２４）。

例えば、投影変換部１４は現在の閲覧視線の視点と閲覧視線の擬似的な撮像面内の点を通る直線と、投影形状及び関連オブジェクト形状と交差判定を行い、交差する形状の交点における色を取得して、撮像面に対応する投影変換画像の画素位置の色を計算し、その色を用いて該当画素を描画することで、投影変換画像を得る。この計算方法は、投影形状設定部１０で画素位置の対応関係を計算した際にも用いた、既知の投影方法の一例である透視投影による計算方法であり、投影変換部１４は投影変換を実現する。交差する形状が投影形状の場合、交点における色は、設定済みの撮影画像との対応関係を参照して得られる、撮影画像の画素色から求まる。尚、交点における色として、関連オブジェクトの色や対応する撮影画像の画素色である交点の色をそのまま利用してもよいし、一般的なＣＧのシェーディング方法（描画色計算方法）を用いて、そのシーンに設定した光源や形状の反射率、交点の面法線等を用いてより写実的な色を算出し、その色を利用してもよい。

交差判定の結果、投影形状及び関連オブジェクト形状のどちらにも交差しない場合には、該当する投影変換画像の画素色を透明にするか、デフォルトの背景色などの任意の色としてよい。投影変換部１４が投影形状を用いずに関連オブジェクト形状だけを用いる場合、すなわち、撮影画像に対しては投影マップを用いた描画方法を用いて投影画像変換部１７で処理を行い、関連オブジェクトに対しては形状を用いた描画方法を用いて関連オブジェクト形状設定部１２及び投影変換部１４で処理を行う場合は、特に画素色を透明にしておくことが望ましい。投影変換画像内で関連オブジェクトが投影された部分以外の部分を透明にすることで、後述する画像重畳部１５で他の画像を重ね合わせる際に、関連オブジェクト以外の部分で下となる画像の色を透けて見えるように重ねることができる。この結果、投影画像変換部１１で生成した撮影画像を描画対象とする投影変換画像を、この投影変換画像の下に綺麗に透けて見えるように重ね、撮影画像を変換した画像の上に関連オブジェクトを上書きしたような画像を作成することができる。

このように、投影変換部１４は、閲覧視線変更部４で変更した閲覧視線、及び閲覧視線生成更新部５で補間更新した閲覧視線のパラメータを用いて投影変換計算を行うことで、それら閲覧視線から閲覧した、撮影画像及び関連オブジェクトの投影変換画像を作成する。

一方、撮影画像の描画方法に投影形状を用いず（ステップＳ１１７、ＮＯ）、かつ、関連オブジェクトがないか関連オブジェクトの描画方法に形状を用いない（ステップＳ１２１、ＮＯ）場合、投影変換部１４による投影変換処理（ステップＳ１２４）はスキップされる。

次に、画像重畳部１５は、投影画像変換部１１又は投影変換部１４で生成した１つ以上の投影変換画像と、画像で描画した関連オブジェクトがあった場合は関連オブジェクト表示画像を重ね合わせて、最終的な出力画像を生成する（ステップＳ１２５）。表示部１６は、画像重畳部１５によって生成された最終的な出力画像を表示して（ステップＳ１２６）、車両用画像処理装置１００の処理は終了する。

このように、本実施の形態の動作によれば、シーンなどに応じて切り替えた閲覧視線に対し、投影マップを効果的に用いることで、より処理負荷の少ない滑らかな視線変更を実現できる。また、同時に表示したい関連オブジェクトについても、関連オブジェクトの形状と画像を選択利用することで、処理負荷が少なく、かつ、滑らかな視線変更に対して違和感のない表示を実現することが可能となる。

また、本実施の形態における車両用画像処理装置１００は、あらかじめ決められない閲覧視線、例えば、障害物を注視するよう障害物に近寄った視線などの動的に計算される閲覧視点への変更に対しても、滑らかな変更を実現すると同時に、視点変更を監視して３次元モデル計算が必要かを常に判定することで、計算処理の省力化を実現できる。

尚、画像取得手段は、本実施の形態におけるカメラ群８、歪み補正部９に対応し、投影変換手段は、本実施の形態における描画部２０（投影形状設定部１０、投影変換部１４）に対応する。また、視線変更検知手段は、本実施の形態における閲覧視線変更部４に対応し、視線パラメータ生成手段は、本実施の形態における閲覧視線生成更新部５に対応する。

また、変化画像生成手段は、本実施の形態における描画部２０（投影形状設定部１０、投影変換部１４）に対応し、画像変換手段は、描画部２０（投影画像変換部１１）に対応する。また、関連オブジェクト決定手段は、本実施の形態における関連オブジェクト決定部７に対応し、関連オブジェクトデータ選択手段は、関連オブジェクト決定部７に対応する。

さらに、関連オブジェクト画像設定手段は、本実施の形態における関連オブジェクト画像設定部１３に対応し、関連オブジェクト形状設定手段は、関連オブジェクト形状設定部１２に対応する。また、車両情報取得部は、本実施の形態における運転情報取得部１、道路情報取得部２に対応する。

また、本発明は、その精神または主要な特徴から逸脱することなく、他の様々な形で実施することができる。そのため、前述の実施の形態は、あらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。本発明の範囲は、特許請求の範囲によって示すものであって、明細書本文には、何ら拘束されない。更に、特許請求の範囲の均等範囲に属する全ての変形、様々な改良、代替および改質は、全て本発明の範囲内のものである。

仮想視線の滑らかな変更を実現し、変更前後の間で段階的に変化する変化画像を生成することで、仮想視線変更後に画像に映っている車両周辺状況を利用者が容易に把握することが可能となる。

Claims (17)

1. 少なくとも１つのカメラにより車両の周囲が撮影された画像である撮影画像を取得する画像取得手段と、
   少なくとも１つの所定の投影形状を用いて、前記撮影画像を所定位置から所定方向へ向けた視線である仮想視線で閲覧した画像に変換する投影変換手段と、
   所定の仮想視線である第１仮想視線から、該第１仮想視線とは異なる仮想視線である第２仮想視線に変更されたかを検知する視線変更検知手段と、
   前記第１仮想視線から前記第２仮想視線への変更が検知された場合、前記第１仮想視線と前記第２仮想視線とのそれぞれにつき、仮想視線に関する少なくとも１種類のパラメータ値を取得し、前記第１仮想視線のパラメータ値から前記第２仮想視線のパラメータ値へ段階的に変化させたパラメータ値を生成する視線パラメータ生成手段と、
   前記段階的に変化させたパラメータ値に基づき、前記第1仮想視線で閲覧した画像である第１画像から前記第２仮想視線で閲覧した画像である第２画像までの間を段階的に変化させた画像である変化画像を少なくとも１つ生成する変化画像生成手段と、
   を備える車両用画像処理装置。
2. 請求項１に記載の車両用画像処理装置において、
   前記視線変更検知手段は、あらかじめ登録された仮想視線の切り替えか、または変更前後の仮想視線の相違度が規定値以上である場合、前記第1仮想視線から前記第２仮想視線へ変更されたと検知することを特徴とする車両用画像処理装置。
3. 請求項１に記載の車両用画像処理装置において、
   前記視線パラメータ生成手段は、前記第１仮想視線及び前記第２仮想視線における視点位置、閲覧方向、画角、焦点距離、のいずれか１つ以上を前記パラメータ値として取得し、所定の補間方法を用いて前記段階的に変化させたパラメータ値を生成することを特徴とする車両用画像処理装置。
4. 請求項３に記載の車両用画像処理装置において、
   前記視線パラメータ生成手段は、前記車両を基準とする基準点に基づき前記段階的に変化させたパラメータ値を生成することを特徴とする車両用画像処理装置。
5. 請求項３に記載の車両用画像処理装置において、
   前記視線パラメータ生成手段は、前記第１仮想視線および前記第２仮想視線の視線方向を用いて算出された基準点に基づき、前記段階的に変化させたパラメータ値を生成することを特徴とする車両用画像処理装置。
6. 請求項１に記載の車両用画像処理装置において、さらに、
   撮影画像の画素位置と仮想視線で閲覧した画像の画素位置との対応を少なくとも保持する投影マップを用いて前記撮影画像を仮想視線で閲覧した画像に変換する画像変換手段を備え、
   前記第１画像と前記第２画像の少なくとも片方は前記画像変換手段によって変換された画像であり、
   前記変化画像生成手段は、前記投影変換手段を用いて前記変化画像を生成することを特徴とする車両用画像処理装置。
7. 請求項１に記載の車両用画像処理装置において、さらに、
   画像または形状、又は画像と形状の双方をデータとしてそれぞれ含む１つ以上の関連オブジェクトから、前記第１画像、前記第２画像、前記変化画像の少なくともいずれかと共に表示すべき関連オブジェクトを決定する関連オブジェクト決定手段と、
   関連オブジェクト決定手段によって決定された関連オブジェクトの描画に画像または形状のいずれのデータ種類を用いるかを選択する関連オブジェクトデータ選択手段と、
   前記関連オブジェクトデータ選択手段によって選択されたデータ種類に基づき、関連オブジェクトの画像を前記第1画像上、前記第２画像上、および前記変化画像上の少なくともいずれかに配置する関連オブジェクト画像設定手段と、
   前記関連オブジェクトデータ選択手段によって選択されたデータ種類に基づき、関連オブジェクトの形状を前記投影形状のモデル空間内に配置する関連オブジェクト形状設定手段と、
   を備えることを特徴とする車両用画像処理装置。
8. 請求項７に記載の車両用画像処理装置において、さらに、
   撮影画像の画素位置と仮想視線で閲覧した画像の画素位置との対応を少なくとも保持する投影マップを用いて前記撮影画像を仮想視線で閲覧した画像に変換する画像変換手段を備え、
   前記関連オブジェクトデータ選択手段は、前記第1画像、前記第２画像、および前記変化画像の少なくともいずれかが前記画像変換手段によって変換された画像である場合、前記データ種類として画像を優先して選択することを特徴とする車両用画像処理装置。
9. 請求項７に記載の車両用画像処理装置において、
   前記関連オブジェクトデータ選択手段は、前記第1画像、前記第２画像、および前記変化画像の少なくともいずれかが前記投影変換手段によって変換された画像である場合、前記データ種類として形状を優先して選択することを特徴とする車両用画像処理装置。
10. 請求項７に記載の車両用画像処理装置において、
    前記関連オブジェクトは、前記車両、前記カメラ、前記カメラの死角領域、前記車両の周辺の障害物、前記車両の目的地方向及び目的地位置、前記車両の周辺の信号、標識及び交通標示、前記車両の周辺の注目領域、地物及び地図情報、前記車両の進行方向、のいずれかを示すオブジェクトであることを特徴とする車両用画像処理装置。
11. 請求項７に記載の車両用画像処理装置において、さらに、
    前記車両に関する情報である車両情報を取得する車両情報取得部を備え、
    前記関連オブジェクト決定手段は前記車両情報に基づき関連オブジェクトを決定し、
    前記関連オブジェクト画像設定手段及び前記関連オブジェクト形状設定手段は、前記車両情報に基づき関連オブジェクトを配置することを特徴とする車両用画像処理装置。
12. 請求項１１に記載の車両用画像処理装置において、
    前記車両情報は、少なくとも前記車両の運転に関する情報を含むことを特徴とする車両用画像処理装置。
13. 請求項１１に記載の車両用画像処理装置において、
    前記車両情報は、少なくとも前記車両の周辺の道路に関する情報を含むことを特徴とする車両用画像処理装置。
14. 請求項１１に記載の車両用画像処理装置において、
    前記車両情報は、少なくとも前記車両の周辺の道路上の障害物に関する情報を含むことを特徴とする車両用画像処理装置。
15. 請求項１に記載の車両用画像処理装置において、
    前記第１仮想視線、前記第２仮想視線のいずれか一つは、前記車両を運転する運転者の視点の位置を前記所定位置とした仮想視線であることを特徴とする車両用画像処理装置。
16. 請求項１に記載の車両用画像処理装置において、
    前記第１仮想視線または第２仮想視線のどちらか、または段階的に変化させたパラメータ値に、運転者の視線と類似した視線及び視線パラメータを用いることを特徴とする車両用画像処理装置。
17. 少なくとも１つのカメラにより車両の周囲が撮影された画像である撮影画像を取得し、
    少なくとも１つの所定の投影形状を用いて、前記撮影画像を所定位置から所定方向へ向けた視線である仮想視線で閲覧した画像に変換し、
    所定の仮想視線である第１仮想視線から、該第１仮想視線とは異なる仮想視線である第２仮想視線に変更されたかを検知し、
    前記第１仮想視線から前記第２仮想視線への変更が検知された場合、前記第１仮想視線と前記第２仮想視線とのそれぞれにつき、仮想視線に関する少なくとも１種類のパラメータ値を取得し、前記第１仮想視線のパラメータ値から前記第２仮想視線のパラメータ値へ段階的に変化させたパラメータ値を生成し、
    前記段階的に変化させたパラメータ値に基づき、前記第１仮想視線で閲覧した画像である第１画像から前記第２仮想視線で閲覧した画像である第２画像までの間を段階的に変化させた画像である変化画像を少なくとも１つ生成する処理を実行する車両用画像処理方法。