JP5548069B2 - 画像処理装置、及び、画像処理方法 - Google Patents

Description

本発明は、ディスプレイへ表示させる画像を処理する技術に関する。

近年、ユーザが車両を後進させて駐車させる際に、車載の画像処理装置が車載ディスプレイへ、車載カメラから取得した撮影画像を出力して表示させるとともに、現在のステアリング操舵角で後進させた場合の車両の予想進路をその画像とともに表示させる技術が開発されている。

この技術によれば、ユーザはディスプレイに映る撮影画像に含まれる予想進路を参考にしながら、車両を後進させることによって容易に駐車させることができる。

このような技術は、例えば、特許文献１に記載されている。

特開２００５−１８６７５８号公報

しかし、ユーザがディスプレイに表示された車両の予想進路を含む撮影画像を見ながら容易に車両を駐車させることができたとしても、車両のドアを開けて車両から降車できる領域が、車両と隣の駐車車両などとの間に存在するか否かを確認できないという問題がある。

本発明は、上記課題に鑑みてなされたものであり、ユーザが車両のドアを開けて車両から降車できる領域が、車両と隣の駐車車両などとの間に存在するか否かを確認することができる技術を提供することを目的とする。

上記課題を解決するため、請求項１の発明は、車両に搭載される画像処理装置であって、前記車両の周辺を複数のカメラで撮影して得られる撮影画像に基づいて、仮想視点からみた前記車両及び前記車両の周辺の様子を示す合成画像を生成する生成手段と、生成された前記合成画像に含まれる前記車両の像へ、前記車両に備わるドアが開閉された場合の前記ドアの軌跡を描画する描画手段と、前記軌跡が描画された前記合成画像をディスプレイへ出力して表示させる出力手段とを備え、前記描画手段は、所定の角度で開かれた状態における前記ドアの先端を含む前記車両の前後方向と平行する車幅ラインを、前記合成画像に更に描画することを特徴とする。

上記課題を解決するため、請求項２の発明は、請求項１に記載の画像処理装置において、前記所定の角度は、前記ドアが最も開かれた状態の角度であることを特徴とする。

上記課題を解決するため、請求項３の発明は、請求項１に記載の画像処理装置において、前記所定の角度は、前記ドアが最も開かれた状態の角度よりも狭い角度であることを特徴とする。

上記課題を解決するため、請求項４の発明は、請求項１から請求項３の何れかに記載の画像処理装置において、前記車両のシフトポジションを取得する取得手段、を更に備え、前記出力手段は、前記シフトポジションが”Ｒ”の場合に、前記車幅ラインが描画された前記合成画像を前記ディスプレイへ出力することを特徴とする。

上記課題を解決するため、請求項５の発明は、請求項１から請求項３の何れかに記載の画像処理装置において、前記車両の走行速度を取得する取得手段を更に備え、前記表示手段は、前記走行速度が所定値以下の場合に、前記車幅ラインが描画された前記合成画像を前記ディスプレイへ出力することを特徴とする。

上記課題を解決するため、請求項６の発明は、車両に搭載される画像表示システムであって、請求項１から５のいずれかに記載の画像処理装置と、前記軌跡が描画された前記合成画像を表示するディスプレイと、を備えることを特徴とする。
また、請求項７の発明は、画像を表示する表示方法であって、車両の周辺を複数のカメラで撮影して得られる撮影画像に基づいて、仮想視点からみた前記車両及び前記車両の周辺の様子を示す合成画像を生成する合成画像工程と、生成された前記合成画像に含まれる前記車両の像へ、前記車両に備わるドアが開閉された場合の前記ドアの軌跡を描画する描画工程と、前記軌跡が描画された前記合成画像を表示する表示工程とを備え、前記描画工程は、所定の角度で開かれた状態における前記ドアの先端を含む前記車両の前後方向と平行する車幅ラインを、前記合成画像に更に描画することを特徴とする。

請求項１から１３の発明によれば、画像処理装置は、車両の周辺を複数のカメラで撮影して得られる撮影画像に基づいて生成した、仮想視点からみた車両及び車両の周辺の様子を示す合成画像に含まれる車両の像へ、車両に備わるドアを開閉された場合のドアの軌跡を描画し、軌跡が描画された合成画像をディスプレイへ出力して表示させる。このため、ユーザはディスプレイへ表示される合成画像に描画されたドアの軌跡を確認することができ、ユーザが車両のドアを開けて車両から降車できる領域が車両と隣の駐車車両などとの間に存在するか否かを確認することができる。

また、請求項２の発明によれば、画像表示処理装置は、仮想視点を車両に備わるドアの上にする。このため、ディスプレイにおいて、ドア付近の詳細な合成画像を出力して表示させることができ、ユーザは車両から降車できる領域が隣の駐車車両などとの間に存在するかどうかの確認が容易にできる。

また、請求項３の発明によれば、画像処理装置は、ユーザが車両を駐車させたと考えられる操作、即ち、シフトポジションが”Ｐ”の場合に軌跡が描画された合成画像をディスプレイへ表示させる。このため、ユーザはドアの軌跡が描画された合成画像をディスプレイへ表示させる操作を省略できる。

また、請求項４の発明によれば、画像処理装置は、ユーザが車両を駐車させたと考えられる操作、即ち、ドアがアンロックの状態の場合に、ドアの軌跡が描画された合成画像をディスプレイへ表示させる。このため、ユーザはドアの軌跡が描画された合成画像をディスプレイへ表示させる操作を省略できる。

また、請求項５の発明によれば、画像処理装置は、ユーザが車両を駐車させたと考えられる操作、即ち、ステアリングが略中立状態の場合に、ドアの軌跡が描画された合成画像をディスプレイへ表示させる。このため、ユーザはドアの軌跡が描画された合成画像をディスプレイへ表示させる操作を省略できる。

また、請求項６の発明によれば、画像処理装置は、ユーザが車両から降車すると考えられる状況、即ち、ＡＣＣ電源が切断された場合に、ドアの軌跡が描画された合成画像をディスプレイへ表示させる。このため、ユーザはドアの軌跡が描画された合成画像をディスプレイへ表示させる操作を省略できる。

また、請求項７の発明によれば、画像処理装置は、所定の角度で開いた状態におけるドアの先端を含む車両の前後ろ方向と平行する車幅ラインをディスプレイへ出力して表示させる。このため、ユーザは、車両を駐車させようとする際に、ディスプレイへ表示される合成画像に描画された車幅ラインを確認することができ、車両を駐車させた場合に車両のドアを開けて車両から降車できる領域が車両と隣の駐車車両などとの間に存在するか否かを予測することができる。

また、請求項８の発明によれば、画像処理装置は、最大の角度で開いた状態におけるドアの先端を含む車両の前後ろ方向と平行する車幅ラインをディスプレイへ出力して表示させる。このため、ユーザは、車両を駐車させようとする際に、ディスプレイへ表示される合成画像に描画された車幅ラインを確認することができ、車両を駐車させた場合に車両のドアを最大に開けて車両から降車できるか否かを予測することができる。

また、請求項９の発明によれば、画像処理装置は、最大の角度よりも狭い角度で開いた状態におけるドアの先端を含む車両の前後ろ方向と平行する車幅ラインをディスプレイへ出力して表示させる。このため、ユーザは、車両を駐車させようとする際に、ディスプレイへ表示される合成画像に描画された車幅ラインを確認することができ、車両を駐車させた場合に車両のドアを最大よりも狭い角度で開けて車両から降車できるか否かを予測することができる。

また、請求項１０の発明によれば、画像処理装置は、ユーザが車両を駐車させようとしているのを予測できる操作、即ち、シフトポジションが”Ｒ”の場合に車幅ラインが描画された合成画像を表示させる。このため、ユーザは車幅ラインが描画された合成画像をディスプレイへ表示させる操作を省略できる。

また、請求項１１の発明によれば、画像処理装置は、ユーザが車両を駐車しようと考えられる操作、即ち、走行速度が所定値以下の場合に、車幅ラインが描画された合成画像をディスプレイへ出力する。このため、ユーザは車幅ラインが描画された合成画像をディスプレイへ表示させる操作を省略できる。

図１は、車両を示す図である。 図２は、車載装置システムのシステムブロック図である。 図３は、車両を示す図である。 図４は、合成画像生成処理を説明する図である。 図５は、ドア軌跡描画処理及び車幅ライン描画処理を示す図である。 図６は、合成画像の一例を示す図である。 図７は、画像処理装置の処理フローを示す図である。 図８は、画像処理装置の処理フローにおける所定の条件を示す図である。 図９は、画像処理装置の処理フローにおける所定の条件を示す図である。 図１０は、合成画像の一例を示す図である。 図１１は、ドア軌跡描画処理を示す図である。 図１２は、撮影画像の一例を示す図である。 図１３は、ドア軌跡描画処理を示す図である。 図１４は、車両の予想進路を示す指標の一例を示す図である。 図１５は、画像処理装置の処理フローを示す図である。 図１６は、車両を示す図である。 図１７は、車両を示す図である。 図１８は、合成画像の一例を示す図である。

以下、図面を参照しつつ本発明の実施の形態について説明する。

＜代表の実施の形態＞
＜システム構成＞
代表の実施の形態の画像表示システムの構成を図１、及び、図２に基づいて説明する。画像表示システムＳＹは、画像処理装置１、及び、ディスプレイ８を備える。画像表示システムＳＹは、車両１９の運転席と助手席との間のセンターコンソール上部に、ディスプレイ８を表出させて搭載される。

また、画像表示システムＳＹは、フロントカメラ９、右サイドカメラ１０、左サイドカメラ１１、及び、リヤカメラ１２（以降において、カメラ９〜１２という）を信号線により電気的に接続されている。

更に、画像表示システムＳＹは、車両１９の情報を検知する検知部である、車速センサ１３、操舵角センサ１４、シフトポジションセンサ１５、カメラスイッチ１６、ドアスイッチ１７、及び、ＡＣＣスイッチなどと信号線により電気的に接続されている。

フロントカメラ９は、図３に示すように車両１９の前端にあるナンバープレート取付位置の近傍に設けられ、その光軸は車両１９の直進方向へ向けられている。

右サイドカメラ１０は、図３に示すように右サイドミラーに設けられており、その光軸は車両１９の直進方向を基準にした右方向に沿って外部へ向けられている。

左サイドカメラ１１は、図３に示すように左サイドミラーに設けられており、その光軸は車両１９の直進方向を基準にした左方向に沿って外部へ向けられている。

リヤカメラ１２は、図３に示すように車両１９の後端にあるナンバープレート取付位置の近傍に設けられ、その光軸は車両１９の直進方向の逆方向へ向けられている。

なお、フロントカメラ９やリヤカメラ１２の取り付け位置は、左右略中央であることが望ましいが、左右中央から左右方向に多少ずれた位置であってもよい。

カメラ９〜１２のレンズとしては魚眼レンズなどが採用されており、カメラ９〜１２は１８０度以上の画角を有している。このため、これら４つの撮像部を利用することで、車両１９の全周囲の撮影が可能となっている。

車速センサ１３は、車両１９が移動した際に車輪が回転する速度を車速信号として画像表示システムＳＹへ出力する。車速センサ１３は、車両１９のエンジンルーム内に設置される。

操舵角センサ１４は、車両１９に備わるステアリング２０がユーザにより操舵された際の角度を操舵角度信号として画像表示システムＳＹへ出力する。操舵角センサ１４は、ステアリング２０の回転軸近傍に設置される。

シフトポジションセンサ１５は、車両１９に備わる変速ギヤを変更するシフトがユーザによって操作可能になっており、このシフトポジションを検出してシフトポジションを示す信号を画像表示システムＳＹへ出力する。シフトポジションセンサ１５は、車両１９のセンターコンソール中央部に備わるシフトレバー近傍に設定される。

カメラスイッチ１６は、画像表示システムＳＹが、ディスプレイ８へ表示させる車両周辺の様子を示す合成画像を表示させる機能を発揮させるか否かを、ユーザへ選択可能にさせるスイッチである。ユーザによってカメラスイッチ１６がオンやオフにされると、オン・オフ信号を画像表示システムＳＹへ出力する。カメラスイッチ１６は、画像表示システムＳＹのディスプレイ８の枠に備わる。

なお、画像表示システムＳＹは、ユーザによってカメラスイッチ１６が操作された場合以外に、所定の条件を満たす場合に、ディスプレイ８へ合成画像を表示する場合がある。所定の条件の詳細については後述する。

ドアスイッチ１７は、車両１９に備わる５つのドア２１がユーザによりロックされた場合に、オン信号を画像表示システムＳＹへ出力し、ドア２１がユーザによりアンロックされた場合に、オフ信号を画像表示システムＳＹへ出力するスイッチである。ドアスイッチ１７は、５つのドア２１それぞれの近傍に備わる。

ＡＣＣスイッチ１８は、ユーザによりオフからオンへ操作された場合、即ち、車両１９に備わるアクセサリー（以降、ＡＣＣ（Ａｃｃｅｓｓｏｒｙ）という）へ電源からの電力が供給される場合にオン信号を画像表示システムＳＹへ出力し、ＡＣＣスイッチ１８がオフされた場合、即ち、車両１９に備わるアクセサリーへ電源から供給された電力が切断した場合に、オフ信号を画像表示システムＳＹへ出力する。ＡＣＣスイッチ１８は、車両１９の運転席近傍に備わる。

画像表示システムＳＹが備える、画像処理装置１は、情報取得部２、画像処理部３、制御部６、及び、画像出力部７などを備える。

情報取得部２は、例えば、インターフェースであり、カメラ９〜１２が撮影して出力する撮影画像、車速センサ１３が出力する車速信号、操舵角センサ１４が出力する操舵角信号、シフトポジションセンサ１５が出力するシフトポジションを示す信号、カメラスイッチ１６が出力するオンやオフの信号、ドアスイッチ１７が出力するオンやオフの信号、及び、ＡＣＣスイッチ１８が出力するオンやオフの信号などを取得する。

画像出力部７は、例えば、インターフェースであり、画像処理部３が生成した合成画像をディスプレイ８へ出力して表示させる。

画像処理部３は、合成画像生成部４、描画部５などを備える。画像処理部３は、例えば、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）などのハードウェア回路である。合成画像生成部４は、カメラ９〜１２が撮影して得た複数の撮影画像に基づいて、仮想視点から見た車両１９及び車両の周辺の様子を示す合成画像を生成する。合成画像生成部４が合成画像を生成する詳細な方法については後述する。

描画部５は、ドア軌跡描画部５ａ及びライン描画部５ｂを備える。ドア軌跡描画部５ａは、合成画像に含まれる車両１９の像へ、車両に備わるドア２１が開閉された場合のドア２１の軌跡を描画する。ドア軌跡描画部５ａが合成画像へドア２１の軌跡を描画する詳細な方法については後述する。また、ライン描画部５ｂは、合成画像へ、車両に備わるドア２１が所定の角度で開かれた状態におけるドア２１の先端を含む車両１９の前後方向と平行するライン、即ち、車幅ラインを描画する。ライン描画部５ｂが合成画像へ車幅ラインを描画する詳細な方法については後述する。

制御部６は、演算部６ａ、不揮発性記憶部６ｂ、及び、揮発性記憶部６ｃなどを備える。制御部６は、例えば、マイクロコンピュータである。演算部６ａは、例えば、ＣＰＵである。不揮発性記憶部６ｂは、例えば、ＲＯＭである、揮発性記憶部６ｃは、例えば、ＲＡＭである。制御部６は、演算部６ａが不揮発性記憶部６ｂに記憶されている種々の機能を発揮するためのプログラムを実行する。また、制御部６は、そのプログラムを発揮するために揮発性記憶部６ｃをワーキングエリアとして利用する。制御部６が発揮する種々の機能については後述する。

＜合成画像生成処理＞
ここで、画像処理部３が備える合成画像生成部４が合成画像を生成する詳細な方法について詳細に説明する。

画像処理装置１が備える情報取得部２は、カメラ９〜１２が撮影した、図４に示すような、撮影画像Ｐ１〜Ｐ４をカメラ９〜１２より取得する。情報取得部２は、取得した撮影画像Ｐ１〜Ｐ４を画像処理部３へ出力する。

画像処理部３は、入力した撮影画像Ｐ１〜Ｐ４を図示しない揮発性記憶部へ記憶する。

画像処理部３が備える合成画像生成部４は、図示しない揮発性記憶部に記憶された、撮影画像Ｐ１〜Ｐ４を、図４に示すような、仮想的な三次元空間における立体曲面ＳＰに投影する。立体曲面ＳＰは、例えば略半球状（お椀形状）をしており、その中心部分（お椀の底部分）が車両１９が存在する位置として定められている。撮影画像Ｐ１〜Ｐ４に含まれる各画素の位置と、この立体曲面ＳＰの各画素の位置とは予め対応関係が定められている。このため、立体曲面ＳＰの各画素の値は、この対応関係と撮影画像Ｐ１〜Ｐ４に含まれる各画素の値とに基づいて決定される。

撮影画像Ｐ１〜Ｐ４の各画素の位置と立体曲面ＳＰの各画素の位置との対応関係は、車両１９における４つの車載カメラであるカメラ９〜１２の配置（相互間距離、地上高さ、光軸角度等）に依存する。このため、この対応関係を示すテーブルデータが、図示しない不揮発性記憶部に記憶された車種別データに含まれている。

また、車種別データに含まれる車体の形状やサイズを示すポリゴンデータが利用され、車両１９の三次元形状を示すポリゴンモデルである車両像が仮想的に構成される。構成された車両像は、立体曲面ＳＰが設定される三次元空間において、車両１９の位置と定められた略半球状の中心部分に配置される。

さらに、立体曲面ＳＰが存在する三次元空間に対して、合成画像生成部４により仮想視点ＶＰが設定される。仮想視点ＶＰは、視点位置と視野方向とで規定され、この三次元空間における車両１９の周辺に相当する任意の視点位置に任意の視野方向に向けて設定される。

そして、設定された仮想視点ＶＰに応じて、立体曲面ＳＰにおける必要な領域が画像として切り出される。仮想視点ＶＰと、立体曲面ＳＰにおける必要な領域との関係は予め定められており、テーブルデータとして図示しない不揮発性記憶部等に予め記憶されている。一方で、設定された仮想視点ＶＰに応じてポリゴンのモデルに関してレンダリングがなされ、その結果となる二次元の車両１９の像が、切り出された画像に対して重畳される。これにより、車両１９及びその車両１９の周辺を任意の仮想視点ＶＰからみた様子を示す合成画像が生成されることになる。

例えば、視点位置が車両１９の位置の略中央の直上で、視野方向が直下方向とした仮想視点ＶＰａを設定した場合は、車両１９の略直上から車両１９を見下ろすように、車両１９及び車両１９の周辺の領域を示す合成画像ＣＰａが生成される。また、図中に示すように、視点位置が車両１９の位置の左後方で、視野方向が車両１９における略前方方向とした仮想視点ＶＰｂを設定した場合は、車両１９の左後方からその周辺全体を見渡すように、車両１９及び車両１９の周辺の領域を示す合成画像ＣＰａが生成される。

なお、実際に合成画像を生成する場合においては、立体曲面ＳＰの全ての画素の値を決定する必要はなく、設定された仮想視点ＶＰに対応して必要となる領域の画素の値のみを撮影画像Ｐ１〜Ｐ４に基づいて決定することで、処理速度を向上できる。

画像処理装置１では、このような合成画像生成部４の機能を利用することで、車両１９の周辺の任意の視点からみた合成画像を生成して、ディスプレイ８へ生成した合成画像ＣＰａを出力して表示させることができる。

＜ドア軌跡描画処理＞
ここで、画像処理部３が備えるドア軌跡描画部５ａがドア２１の軌跡を描画する詳細な方法について詳細に説明する。

ドア軌跡描画部５ａは、合成画像ＣＰａに含まれる車両１９の像へ車両１９に備わるドア２１が開閉された場合の図５に示すようなドア２１の軌跡ＤＫ（以降、ドア軌跡ＤＫという）を描画する。ドア軌跡描画部５ａは、ドア軌跡ＤＫを図示しない不揮発性記憶部に記憶されているデータに基づいて描画する。

そのデータは、車両１９が備えるドア２１の横方向の長さと、車両１９においてドア２１が閉められた状態を基準にしてドア２１が最も開かれた場合の角度（以降においてドア開度という）とから構成される。

ドア軌跡描画部５ａは、図示しない不揮発性記憶部に記憶されたドア２１の長さとドア開度とから、合成画像ＣＰａにおいて、車両１９においてドア２１が閉じられた状態から最も開かれた状態にした場合のドア２１の先端の軌跡を破線などによって示す弧を描画する。

そして、ドア軌跡描画部５ａは、ドア２１が閉じられた状態のドア２１の長さからを示す辺の一端とドア２１が最も開けられた状態のドアの長さを示す辺の一端とを合成画像ＣＰａに含まれる車両１９の像のドア２１の開閉軸に一致させる。そして、ドア軌跡描画部５ａは。破線により描かれた弧をその２辺それぞれの他端と一致させて扇形のドア軌跡ＤＫを合成画像ＣＰａへ描画する。つまり、ドア軌跡描画部５ａは、合成画像ＣＰａに含まれる車両１９の像の開閉軸にドア軌跡ＤＫである扇形の頂点を一致させるように描画する。

ドア軌跡描画部５ａは、５つあるドア２１のうちリヤゲート以外の４つのドア２１それぞれに対してドア軌跡ＤＫを描画する。

なお、リヤゲート２２については、最も開かれた場合の軌跡が車両１９の像へ描画され、車両１９の後部に位置するように描画される。

また、ドア２１は多段式であるため、ユーザがドア２１を全開にしようとした場合に、ドア２１は閉められた状態から全開にされる前の所定の角度（例えば、５０度）において、一旦、止まるように構成され、その状態からユーザがドア２１をより強く開けようとした場合に全開の角度（例えば、９０度）まで開かれる。

なお、閉められたドア２１ｃを「０段」とし、所定の角度において開けられたドア２１ｂを「１段」とし、最も開かれたドア２１ａを「２段」とする。

車両１９が多段式のドア２１を備えるのは、ドア２１を全開にしなくてもユーザが車両１９から降車できるドア２１の開きを、ユーザがドア２１を開けたときに感覚的にわかるようにするためである。

従って、ドア軌跡描画部５ａは、図示しない不揮発性記憶部に記憶されている１段目のドア２１の開度に基づいて、ドア軌跡ＤＫへ１段目までドア２１が開かれた場合のドア２１の位置を示すラインＬ２についても描画する。

このような合成画像ＣＰａ、即ち、図６の下方に示すような合成画像ＣＰａがディスプレイ８へ表示されることによって、ユーザはディスプレイへ表示される合成画像ＣＰａに描画されたドア２１の軌跡を確認することができ、ユーザが車両１９のドア２１を開けて車両１９から降車できる領域が、車両１９と隣の駐車車両などとの間に存在するか否かを確認することができる。

更に、ユーザは、ディスプレイ８へ表示される合成画像ＣＰａに描画されたドア軌跡ＤＫ、即ち、扇形の弧の部分に基づいて、車両１９を駐車させた場合にドア２１をどのくらい開くことができるかを確認できる。

更に、ユーザは、ディスプレイ８へ表示される合成画像ＣＰａに描画されたドア軌跡ＤＫ、即ち、扇形に示される１段目までドア２１を開いた場合のドア２１の位置を示すラインＬ２に基づいて、車両１９を駐車させた場合にドア２１を１段目まで開いた状態で車両１９から降車することができるかを確認できる。

＜車幅ライン描画処理＞
ここで、画像処理部３が備えるライン描画部５ｂが車幅ラインを描画する詳細な方法について詳細に説明する。

ライン描画部５ｂは、合成画像ＣＰａに含まれる車両１９の像へ、所定の角度で開かれた状態におけるドア２１の先端を含む車両１９の前後方向と平行するライン、即ち、車幅ラインを描画する。

つまり、ライン描画部５ｂは、合成画像ＣＰａに含まれる車両１９の像へ、最も開かれた状態におけるドア２１の先端を含む車両１９の前後方向と平行する図５に示すような車幅ラインＬ１を描画する。

更に、ライン描画部５ｂは、合成画像ＣＰａに含まれる車両１９の像へ、ドア２１が閉められた状態から全開にされる前の所定の角度（例えば、５０度）におけるドア２１の先端を含む車両１９の前後方向と平行する図５に示すような車幅ラインＬ２を描画する。

つまり、ライン描画部５ｂは、図５に示すように車両１９の両側において車幅ラインＬ１及びＬ２を描画する。

このような合成画像ＣＰａ、即ち、図６の上方に示すような合成画像ＣＰａが、ディスプレイ８へ表示されることによって、ユーザは、車両１９を駐車させようとする際に、ディスプレイ８へ表示される合成画像ＣＰａに描画された車幅ラインを確認することができ、車両１９を駐車させた場合にドア２１を開けて車両１９から降車することができるかどうかを予測することができる。

更に、ユーザは、車両１９を駐車させようとする際に、ディスプレイ８へ表示される合成画像ＣＰａに描画された車幅ラインＬ１に基づいて、車両１９を駐車させた場合にドア２１を全開にすることができるかを予測できる。結果、ユーザは、全開にして車両１９から降車することができるスペースへ車両１９を駐車させることができる。

更に、ユーザは、車両１９を駐車させようとする際に、ディスプレイ８へ表示される合成画像ＣＰａに描画された車幅ラインＬ２に基づいて、車両１９を駐車させた場合にドア２１を１段目まで開いた状態で車両１９から降車することができるかを予測できる。結果、ユーザは、全開にはできないがドア２１を１段目まで開けることができるスペースへ車両１９を駐車させることができる。

＜画像処理のフロー＞
次に、画像処理装置１が実行する、「ドア軌跡描画処理」及び「車幅ライン描画処理」を含めた処理の流れを図７に示す処理フローに基づいて詳細に説明する。

なお、画像処理装置１は、ユーザに操作により電源が投入された場合に、図７に示す処理フローを所定の周期で実行し、ユーザ操作により電源が切断された場合に、その処理フローを終了する。

まず、画像処理装置１は、合成画像ＣＰａをディスプレイ８へ出力して表示させるモードか否かを判定する（ステップＳ１）。

そのために、画像処理装置１が備える情報取得部２は、車速センサ１３、操舵角センサ１４、シフトポジションセンサ１５、カメラスイッチ１６、ドアスイッチ１７、及び、ＡＣＣスイッチ１８から取得した種々の信号を、画像処理装置１が備える制御部６へ出力する。

制御部６は、入力した所定の状態を示す信号と制御部６が備える不揮発性記憶部６ｂに記憶している所定の条件とに基づいて、所定の条件を満たすと判定する場合に、以降の処理を実行して合成画像ＣＰａをディスプレイ８へ出力して表示させる（ステップＳ１においてＹＥＳ）。

制御部６は、入力した所定の状態を示す信号と制御部６が備える不揮発性記憶部６ｂに記憶している所定の条件とに基づいて、所定の条件を満たさないと判定する場合は、所定時間（例えば、２０ｍｓ）後に所定の条件を満たすか否かを判定する（ステップＳ１においてＮＯ）。

ここで、制御部６が所定の条件を満たすか否かを判定する具体的な例について説明する。制御部６は、図８に示す条件を満たすか否かを判定し、図８に示す条件を満たしたと判定した場合に以降の画像処理を実行する。

所定の条件として例えば、制御部６は、図８に示す「前進カメラモード」の条件を満たすか否かを判定する。つまり、制御部６は、車速センサ１３から入力した車速信号に基づいて、車速が所定値（例えば、３ｋｍ／ｈ）以下であると判定する場合で、カメラスイッチ１６から入力した信号がオンを示すと判定するとき、シフトポジションセンサ１５から入力したシフトポジションを示す信号に基づいて、シフトポジションが”Ｎ”若しくは”Ｄ”であると判定するときには「前進カメラモード」であると判定する。

このように、画像処理装置１は、制御部６が「前進カメラモード」を判定した場合に、以降の処理において、車両１９を仮想視点ＶＰから俯瞰した合成画像ＣＰａをディスプレイ８へ表示させる処理を実行するので、ユーザは車両１９を前進駐車させる際にディスプレイ８に映る車両１９を仮想視点ＶＰから俯瞰した合成画像ＣＰａを見ながら運転できる。

所定の条件として例えば、制御部６は、図８に示す「停車カメラモード」の条件を満たすか否かを判定する。つまり、制御部６は、車速センサ１３から入力した車速信号に基づいて、車速が所定値（例えば、０ｋｍ／ｈ）以下であると判定する場合で、シフトポジションセンサ１５から入力したシフトポジションを示す信号に基づいて、シフトポジションが”Ｐ” 若しくは”Ｎ”であると判定するときには「停車カメラモード」であると判定する。

なお、車両１９はシフトが”Ｐ”の場合は停車しているため、車速が０ｋｍ以上である場合は殆どないが、車両１９が故障している場合を考慮して安全のために車速が０ｋｍ以下であることを確認している。

このように、画像処理装置１は、制御部６が「停車カメラモード」を判定した場合に、以降の処理において、車両１９を仮想視点ＶＰから俯瞰した合成画像ＣＰａをディスプレイ８へ表示させる処理を実行するので、ユーザは車両１９を一旦停車させて駐車させる際にディスプレイ８に映る車両１９を仮想視点ＶＰから俯瞰した合成画像ＣＰａを見ながら運転できる。

所定の条件として例えば、制御部６は、図８に示す「後退カメラモード」の条件を満たすか否かを判定する。つまり、制御部６は、シフトポジションセンサ１５から入力したシフトポジションを示す信号に基づいて、シフトポジションが”Ｒ”であると判定する場合には「後退カメラモード」であると判定する。

このように、画像処理装置１は、制御部６が「停車カメラモード」を判定した場合に、以降の処理において、車両１９を仮想視点ＶＰから俯瞰した合成画像ＣＰａをディスプレイ８へ表示させる処理を実行するので、ユーザは車両１９を後退駐車させる際にディスプレイ８に映る車両１９を仮想視点ＶＰから俯瞰した合成画像ＣＰａを見ながら運転できる。

以上説明した所定の条件には、ユーザがディスプレイ８へ表示される合成画像ＣＰａを参考にして車両１９を運転しても安全上問題ないと考えられる車両１９の状態であることが条件としている。

次に、画像処理装置１が備える情報取得部２は、カメラ９〜カメラ１２が撮影した図４に示すような、撮影画像Ｐ１〜Ｐ４を取得する（カメラ撮影画像取得処理）。情報取得部２は、カメラ９〜１２から取得した撮影画像Ｐ１〜Ｐ４を画像処理部３へ出力する（ステップＳ２）。

次に、画像処理部３が備える合成画像生成部４は、情報取得部２から入力した撮影画像Ｐ１〜Ｐ４に基づいて、前述した合成画像を生成する（合成画像生成処理）。つまり、画像処理部３は、撮影画像Ｐ１〜Ｐ４に基づいて、仮想視点ＶＰからみた車両１９及び車両１９の周辺の様子を示す合成画像ＣＰａを生成する（ステップＳ３）。

次に、画像処理装置１は、車幅ラインが描画された合成画像ＣＰａをディスプレイ８へ出力して表示させるモードか否かを判定する（ステップＳ４）。そのために、画像処理装置１が備える情報取得部２は、車速センサ１３、操舵角センサ１４、シフトポジションセンサ１５、カメラスイッチ１６、ドアスイッチ１７、及び、ＡＣＣスイッチ１８から取得した種々の信号を、画像処理装置１が備える制御部６へ出力する。

制御部６は、入力した所定の状態を示す信号と制御部６が備える不揮発性記憶部６ｂに記憶している所定の条件とに基づいて、所定の条件を満たすと判定する場合に、画像処理装置１が備える描画部５のライン描画部５ｂにライン跡描画処理を実行させる（ステップＳ４においてＹＥＳ）。

制御部６は、入力した所定の状態を示す信号と制御部６が備える不揮発性記憶部６ｂに記憶している所定の条件とに基づいて、所定の条件を満たさないと判定する場合は、ライン描画部５ｂにライン跡描画処理を実行させないで、ドア軌跡ＤＫを合成画像ＣＰａへ描画させるか否かを判定する（ステップＳ４においてＮＯ）。

ここで、制御部６が所定の条件を満たすか否かを判定する具体的な例について説明する。制御部６は、図８に示す一部の条件を満たすか否かを判定し、図８に示す一部の条件を満たしたと判定した場合に、ライン描画部５ｂへ車幅ラインＬ１及びＬ２を合成画像ＣＰａへ描画する処理を実行させる。

所定の条件として例えば、制御部６は、図８に示す「前進カメラモード」の条件を満たすか否かを判定する。

つまり、画像処理装置１は、制御部６が「前進カメラモード」を判定した場合に、以降の処理において、前述した車幅ラインＬ１及びＬ２が描画された合成画像ＣＰａをディスプレイ８へ表示させる処理を実行するので、ユーザは車両１９を前進駐車させる際にディスプレイ８に映る車幅ラインＬ１及びＬ２が隣の駐車車両などと重ならないように運転でき、結果、駐車した際にユーザが車両１９のドア２１を開けて車両１９から降車できる領域が車両１９と隣の駐車車両などとの間に存在するか否かを確認することができる。

所定の条件として例えば、制御部６は、図８に示す「停車カメラモード」のうち一定の条件を満たすか否かを判定する。一定の条件とは、制御部６は、車速センサ１３から入力した車速信号に基づいて、車速が所定値（例えば、０ｋｍ／ｈ）以下であると判定する場合で、シフトポジションセンサ１５から入力したシフトポジションを示す信号に基づいて、シフトポジションが”Ｐ”であると判定するときには「停車カメラモード」であると判定する。即ち、シフトポジションが”Ｎ”である場合を含まない。

つまり、画像処理装置１は、制御部６が一定の「停車カメラモード」を判定した場合に、以降の処理において、前述した車幅ラインＬ１及びＬ２が描画された合成画像ＣＰａをディスプレイ８へ表示させる処理を実行するので、ユーザは車両１９を一旦停車させて駐車させようとする際にディスプレイ８に映る車幅ラインＬ１及びＬ２が隣の駐車車両などと重ならないように運転でき、結果、駐車した際にユーザが車両１９のドア２１を開けて車両１９から降車できる領域が車両１９と隣の駐車車両などとの間に存在するか否かを確認することができる。

所定の条件として例えば、制御部６は、図８に示す「後退カメラモード」の条件を満たすか否かを判定する。つまり、制御部６は、シフトポジションセンサ１５から入力したシフトポジションを示す信号に基づいて、シフトポジションが”Ｒ”であると判定する場合には「後退カメラモード」であると判定する。

つまり、画像処理装置１は、制御部６が「後退カメラモード」を判定した場合に、以降の処理において、前述した車幅ラインＬ１及びＬ２が描画された合成画像ＣＰａをディスプレイ８へ表示させる処理を実行するので、ユーザは車両１９を後退駐車させる際にディスプレイ８に映る車幅ラインＬ１及びＬ２が隣の駐車車両などと重ならないように運転でき、結果、駐車した際にユーザが車両１９のドア２１を開けて車両１９から降車できる領域が車両１９と隣の駐車車両などとの間に存在するか否かを確認することができる。

また、ユーザは車幅ラインＬ１及びＬ２が描画された合成画像ＣＰａを表示させる操作、即ち、ユーザはカメラスイッチ１６を操作することを省略できる。

次に、画像処理部３が備える描画部５のライン描画部５ｂは、前述した車幅ラインを描画する（車幅ライン描画処理）。ライン描画部５ｂは、所定の角度で開かれた状態におけるドア２１の先端を含む車両１９の前後方向と平行する車幅ラインを合成画像ＣＰａに描画する。

つまり、描画部５ｂは、最も開かれた状態におけるドア２１の先端を含む車両１９の前後方向と平行する車幅ラインＬ１と、ドア２１が閉められた状態から全開にされる前の所定の角度（例えば、５０度）で開かれたドア２１の先端を含む車両１９の前後方向と平行する車幅ラインＬ２とを合成画像ＣＰａに含まれる車両１９の像へ描画する（ステップＳ５）。

次に、画像処理装置１は、ドア軌跡ＤＫが描画された合成画像ＣＰａをディスプレイ８へ出力して表示させるモードか否かを判定する（ステップＳ６）。そのために、画像処理装置１が備える情報取得部２は、車速センサ１３、操舵角センサ１４、シフトポジションセンサ１５、カメラスイッチ１６、ドアスイッチ１７、及び、ＡＣＣスイッチ１８から取得した種々の信号を、画像処理装置１が備える制御部６へ出力する。

制御部６は、入力した所定の状態を示す信号と制御部６が備える不揮発性記憶部６ｂに記憶している所定の条件とに基づいて、所定の条件を満たすと判定する場合に、画像処理装置１が備える描画部５のドア軌跡描画部５ａにドア軌跡描画処理を実行させる（ステップＳ６においてＹＥＳ）。

制御部６は、入力した所定の状態を示す信号と制御部６が備える不揮発性記憶部６ｂに記憶している所定の条件とに基づいて、所定の条件を満たさないと判定する場合は、画像処理部３に対して画像出力部７へ合成画像ＣＰａを出力させるとともに、画像出力部７にディスプレイ８へ合成画像ＣＰａを出力して表示させる（ステップＳ６においてＮＯ）。

ここで、制御部６が所定の条件を満たすか否かを判定する具体的な例について説明する。制御部６は、図９に示す条件を満たすか否かを判定し、図９に示す条件を満たしたと判定した場合にドア軌跡描画部５ａにドア軌跡描画処理を実行させる。

所定の条件として例えば、制御部６は、図９に示す「ユーザ要求モード」の条件を満たすか否かを判定する。つまり、制御部６は、「前進カメラモード」を判定した場合において、ドアスイッチ１７からの信号がオンからオフであると判定したときに「ユーザ要求モード」であると判定する。

更に、制御部６は、「停車カメラモード」を判定した場合において、ドアスイッチ１７からの信号がオンであると判定したときに「ユーザ要求モード」であると判定する。

更に、制御部６は、「後退カメラモード」を判定した場合において、ドアスイッチ１７からの信号がオンからオフであると判定したときに「後退カメラモード」であると判定する。

つまり、画像処理装置１は、制御部６が「ユーザ要求モード」を判定した場合に、以降の処理において、前述したドア軌跡ＤＫが描画された合成画像ＣＰａをディスプレイ８へ表示させる処理を実行するので、ユーザは車両１９を後退駐車させた際にディスプレイ８に映るドア軌跡ＤＫに基づいて車両１９と隣の駐車車両などの間に車両１９から降車可能な領域があるかどうかを確認できる。また、ユーザはドア軌跡ＤＫが描画された合成画像ＣＰａをディスプレイ８へ表示させる操作を省略できる。

所定の条件として例えば、制御部６は、図９に示す「降車モード」の条件を満たすか否かを判定する。つまり、制御部６は、「停車カメラモード」を判定した場合において、ＡＣＣスイッチ１８からの信号がオンからオフになったと判定したときに「降車モード」であると判定する。

更に、制御部６は、「停車カメラモード」を判定した場合において、ドアスイッチ１７からの信号がオンからオフになったと判定したときに「降車モード」であると判定する。

つまり、画像処理装置１は、制御部６が「降車モード」を判定した場合に、以降の処理において、前述したドア軌跡ＤＫが描画された合成画像ＣＰａをディスプレイ８へ表示させる処理を実行するので、ユーザは車両１９を駐車させた際にディスプレイ８に映るドア軌跡ＤＫに基づいて車両１９と隣の駐車車両などの間に車両１９から降車可能な領域があるかどうかを確認できる。また、ユーザはドア軌跡ＤＫが描画された合成画像ＣＰａをディスプレイ８へ表示させる操作を省略できる。

なお、車両１９はＡＣＣ電源がユーザによって切断されると車両１９に備わるＡＣＣが機能しなくなるが、画像表示システムＳＹはコンデンサなどに蓄えられた電力に基づいて合成画像ＣＰａを所定時間（例えば、１８０秒）のみディスプレイ８へ表示させることができる。つまり、画像表示システムＳＹは、ＡＣＣスイッチ信号がオフになった場合でも所定時間において合成画像ＣＰａをディスプレイ８へ表示させることができる。

所定の条件として例えば、制御部６は、図９に示す「ドア開スペース確認モード」の条件を満たすか否かを判定する。つまり、制御部６は、「前進カメラモード」を判定した場合において、操舵角センサ１４からの信号に基づいて操舵角が略中立状態にあると判定したときに「ドア開スペース確認モード」であると判定する。

更には、制御部６は、「後退カメラモード」を判定した場合において、操舵角センサ１４からの信号に基づいて操舵角が略中立状態にあると判定したときに「ドア開スペース確認モード」であると判定する。

つまり、画像処理装置１は、制御部６が「ドア開スペース確認モード」を判定した場合に、以降の処理において、前述したドア軌跡ＤＫが描画された合成画像ＣＰａをディスプレイ８へ表示させる処理を実行するので、ユーザは車両１９を駐車させた際にディスプレイ８に映るドア軌跡ＤＫに基づいて車両１９と隣の駐車車両などの間に車両１９から降車可能な領域があるかどうかを確認できる。また、ユーザはドア軌跡ＤＫが描画された合成画像ＣＰａをディスプレイ８へ表示させる操作を省略できる。

次に、画像処理部３が備える描画部５のドア軌跡描画部５ａは、前述したドア軌跡を描画する（ドア軌跡描画処理）。ドア軌跡描画部５ａは、前述したように合成画像ＣＰａに含まれる車両１９の像へ、車両１９に備わるドア２１が開閉された場合のドア軌跡ＤＫを描画する（ステップＳ７）。

次に、画像処理部３が備える画像出力部７は、車幅ラインＬ１及びＬ２、又は、ドア軌跡ＤＫが描画された合成画像ＣＰａをディスプレイ８へ出力する（合成画像出力処理）。そして、ディスプレイ８は画像処理装置１が備える画像出力部７が出力した合成画像ＣＰａを表示する（ステップＳ８）。

以上、本発明の代表の実施の形態について説明してきたが、この発明は上記代表の実施の形態に限定されるものではなく様々な変形が可能である。以下では他の実施形態である変形例について説明する。もちろん、以下で説明する形態を適宜組み合わせても良い。

＜変形例１＞
上記代表の実施の形態における、「車幅ライン描画処理」及び「ドア軌跡描画処理」において図６を参照してユーザが車両１９を後退駐車させる場合について説明したが、図１０に示すようにユーザが車両１９を前進駐車させる場合にも、画像処理装置１は、車幅ラインＬ１及びＬ２を合成画像ＣＰａへ描画してディスプレイ８へ表示させても良い。更に、ユーザが車両１９を前進駐車させた場合にも、画像処理装置１は、ドア軌跡ＤＫを合成画像ＣＰａへ描画してディスプレイ８へ表示させても良い。

これにより、画像処理装置１は、車両１９が前進駐車される際にも、車幅ラインＬ１及びＬ２、又は、ドア軌跡ＤＫを描画した合成画像ＣＰａをディスプレイ８へ出力して表示させることができ、ユーザはディスプレイ８へ表示される合成画像ＣＰａに描画されたドアの軌跡ＤＫを確認することができ、ユーザが車両１９のドア２１を開けて車両１９から降車できる領域が、車両と隣の駐車車両などとの間に存在するか否かを確認することができる。

＜変形例２＞
上記代表の実施の形態における、「ドア軌跡描画処理」において「ドア軌跡描画部５ａは、ドア軌跡ＤＫを図示しない不揮発性記憶部に記憶されているデータに基づいて描画する」と説明したが、例えば、画像処理装置１が備える画像処理部３のドア軌跡描画部５ａは、車両１９を停車させて車両１９に備わる左前のドア２１が開閉された状態において、左サイドカメラ１１が撮影した撮影画像の変化に基づいてドア軌跡ＤＫを描画しても良い。

（ドア開度導出処理）
この方法、即ち、ドア開度導出処理について具体的に説明する。まず、左サイドカメラ１１は車両１９の左前のドア２１に備わる左サイドミラーに搭載される。従って、左サイドミラーは、左前のドア２１が開閉された際に動くとともに、左サイドミラーに搭載される左サイドカメラ１１も動くため、左サイドカメラ１１が撮影する撮影画像もその開閉に応じて変化する。

つまり、図１１の左の車両１９が示すように左前のドア２１が０段目にされた状態、図１１の中央の車両１９が示すように左前のドア２１が１段目まで開けたられた状態、図１１の右の車両１９が示すように左前のドア２１が２段目まで開けられたそれぞれの状態において、左サイドカメラ１１が撮影画像を撮影する。

そして、左サイドカメラ１１がそれぞれの状態において撮影した撮影範囲Ｈ１、Ｈ２、及び、Ｈ３に映るようにポールからなるポイントＰＴが設置される。

左サイドカメラ１１が撮影したポイントＰＴを含めた撮影画像は、例えば、図１２のようになる。図１２の最も上の撮影画像Ｐ５は、左前のドア２１が０段目にされたた状態で左サイドカメラ１１が撮影した画像である。図１２の中央の撮影画像Ｐ６は、左前のドア２１を１段目にされた状態で左サイドカメラ１１が撮影した画像である。図１２の最も下の撮影画像Ｐ７は、左前のドア２１を２段目にされた状態で左サイドカメラ１１が撮影した画像である。それぞれの撮影画像には、ポイントＰＴが異なった位置に映っている。つまり、ドア軌跡描画部５ａは、このポイントＰＴの映る位置の差に基づいて左前のドア２１が１段目及び２段目に開かれた際の角度を求める。

例えば、ドア軌跡描画部５ａは、撮影画像それぞれに映るポイントＰＴの位置の差をキーにして、自らが備える図示しない不揮発性記憶部に予め記憶された撮影画像に映るポイントＰＴの位置の差と角度との関係を規定したマップを検索してドア開度を求める。

他方で、左前のドア２１の横の長さについては、上記代表の実施の形態において説明したように、画像処理部３が備える図示しない不揮発性記憶部に予め記憶されており、この不揮発性記憶部に予め記憶されている左ドア２１の横の長さと、撮影画像により求めたドア開度とにより、上記代表の実施の形態において説明したように、ドア軌跡描画部５ａがドア軌跡ＤＫを描画する。

また、左後のドア２１のドア軌跡ＤＫについても左サイドカメラ１１が撮影した撮影画像に基づいて描画する。

この方法について具体的に説明する。車両１９に備わる左サイドカメラ１１は、左前のドア２１が０段目にされた状態、即ち、閉じられた状態にされるため、図１３の左の車両１９が示すように左後方を含めた撮影範囲Ｈ４となる。また、左サイドカメラ１１は、左前のドア２１が１段目にされた状態、即ち、所定の角度まで開けられた状態にされるため、図１３の中央の車両１９が示すように左後方を含めた撮影範囲Ｈ５となる。また、左サイドカメラ１１は、左前のドア２１が２段目にされた状態、即ち、最大の角度まで開けられた状態にされるため、図１３の右の車両１９が示すように左後方を含めた撮影範囲Ｈ６となる。

そして、図１３の中央の車両１９が示すように左後のドア２１を１段目まで開けられた状態、図１３の右の車両１９が示すように左後のドア２１を２段目まで開けられた状態それぞれの状態において左サイドカメラ１１が撮影画像を撮影する。

それぞれの状態において、左サイドカメラ１１が撮影した撮影画像は図１４のようになる。図１４において、最も上の撮影画像Ｐ８は、左後のドア２１が０段目にされた状態で左サイドカメラ１１が撮影した画像である。図１２の中央の撮影画像Ｐ９は、左後のドア２１が１段目にされた状態で左サイドカメラ１１が撮影した画像であって、左後のドア２１が少し映る。図１４の最も下の撮影画像Ｐ１０は、左後のドア２１が２段目にされた状態で左サイドカメラ１１が撮影した画像であって、左後のドア２１が良く映る。

それぞれの撮影画像には、左後のドア２１が異なった位置に映っている。つまり、画像処理部３は、この左後のドア２１の映る位置の差に基づいて左後のドア２１が１段目及び２段目に開かれた際の角度を求める。例えば、画像処理部３は、撮影画像に映る左後のドアのエッジの位置の差をキーにして、自らが備える図示しない不揮発性記憶部に予め記憶された撮影画像に映る左後のドア２１のエッジの位置の差と角度との関係を規定したマップを検索してドア開度を求める。

他方で、左後のドア２１の横の長さについては、上記代表の実施の形態において説明したように、画像処理部３が備える図示しない不揮発性記憶部に予め記憶されており、この不揮発性記憶部に予め記憶されている左ドア２１の横の長さと、撮影画像により求めたドア開度とにより、上記代表の実施の形態において説明したように、ドア軌跡描画部５ａがドア軌跡ＤＫを描画する。

ドア軌跡描画部５ａは、このようなドア開度導出処理を右前のドア２１及び右後ドア２１についても実行する。

次に、画像処理装置１が実行する、「ドア開度導出処理」の流れを図１５に示す処理フローに基づいて詳細に説明する。

なお、画像処理装置１は、ユーザに操作により電源が投入された場合に、図１５に示す処理フローを所定の周期で実行し、ユーザ操作により電源が切断された場合に、その処理フローを終了する。

まず、画像処理装置１が備える制御部６の演算部６ａは、図示しないドア軌跡取得スイッチがユーザにより操作されたか否かを判定する。制御部６は、ドア軌跡取得スイッチがユーザにより操作されたと判定する場合は、ステップＳ１１へ移行する（ステップＳ１０においてＹＥＳ）。制御部６は、ドア軌跡取得スイッチがユーザにより操作されたと判定しない場合は、エンドへ移行する（ステップＳ１０においてＮＯ）。

次に、画像処理装置１は、左前ドア２１が０段目の状態において、左サイドカメラが撮影した撮影画像を取得する（０段目カメラ撮影画像取得処理）。つまり、画像処理装置１が備える画像処理部３が備える画像処理部３のドア軌跡描画部５ａは、左前ドア２１が０段目の状態において、左サイドカメラ１１が撮影した撮影画像を図示しない揮発性記憶部へ記憶する（ステップＳ１１）。

次に、画像処理装置１は、左前ドア２１が１段目の状態において、左サイドカメラが撮影した撮影画像を取得する（１段目カメラ撮影画像取得処理）。つまり、ドア軌跡描画部５ａは、左前ドア２１が１段目の状態において、左サイドカメラ１１が撮影した撮影画像を図示しない揮発性記憶部へ記憶する（ステップＳ１２）。

次に、画像処理装置１は、左前ドア２１が２段目の状態において、左サイドカメラが撮影した撮影画像を取得する（２段目カメラ撮影画像取得処理）。つまり、画像処理装置１が備えるドア軌跡描画部５ａは、左前ドア２１が２段目の状態において、左サイドカメラ１１が撮影した撮影画像を図示しない揮発性記憶部へ記憶する（ステップＳ１３）。

次に、画像処理装置１が備えるドア軌跡描画部５ａは、前述したように、撮影画像それぞれに映るポイントＰＴの位置の差を算出する（差分処理）。ドア軌跡描画部５ａは、算出した差をキーにして、自らが備える図示しない不揮発性記憶部に予め記憶された撮影画像に映るポイントＰＴの位置の差と角度との関係を規定したマップを検索してドア開度を求める。ドア軌跡描画部５ａは、求めた開度を図示しない不揮発性記憶部へ記憶する（ステップＳ１４）。これにより、画像処理装置１は、左前ドア２１のドア開度を取得することができる。

以上の処理を、左後のドア２１、右前のドア２１、右後のドア２１へと順次実行して行く。

なお、それぞれのドア２１の状態を０段目、１段目、２段目に設定するのは、ユーザであるためユーザがそれぞれのドア２１をそれぞれの状態に設定されるごとに図示しない確認スイッチを操作される。このため、演算部６ａは確認スイッチが操作されたことを判定した後にそれぞれの処理を実行する。

従って、画像処理装置１は、車種ごとに異なる若しくは個体差により異なるドア開度を正確に取得でき正確なドア軌跡ＤＫを合成画像ＣＰａへ描画させることができる。

＜変形例３＞
上記代表の実施の形態における、車幅ライン描画処理において、「車幅ラインＬ１及びＬ２は車両１９を仮想視点ＶＰから俯瞰した合成画像ＣＰａへ描画する」と説明したが、画像処理装置１は、図１６に示すように車両１９のリヤカメラ１２Ｘが撮影した車両後方の撮影画像へ車幅ラインＬ１及びＬ２を描画してディスプレイ８へ出力した表示させるようにしても良い。従って、ディスプレイ８へは図１７に示すような撮影画像が表示される。

これにより、ユーザは、車両１９を駐車させようとする際に、ディスプレイ８へ表示される撮影画像に描画された車幅ラインＬ１及びＬ２を確認することができ、車両１９を駐車させた場合に車両１９のドア２１を開けて車両１９から降車できる領域が車両１９と隣の駐車車両などとの間に存在するか否かを予測することができる。

＜変形例４＞
上記代表の実施の形態において、画像処理装置１は、ドア軌跡ＤＫと車幅ラインＬ１及びＬ２を描画した合成画像ＣＰａをディスプレイ８へ出力して表示させると説明したが、画像処理装置１がドア軌跡ＤＫが描画された合成画像ＣＰａをディスプレイ８へ出力して表示させる際に、ドア軌跡ＤＫを拡大表示させても良い。

例えば、図１８に示すように、画像処理装置１が備える合成画像生成部４は、車両１９を仮想視点ＶＰから俯瞰した合成画像ＣＰａの仮想視点ＶＰをドア２１の上方とする。

更に、合成画像生成部４は、仮想視点ＶＰをドア２１の上方とした合成画像ＣＰａを比較的拡大させて一定の領域に切り出した合成画像ＰＸと、車両１９全体を把握できる比較的縮小された合成画像ＣＰａとを併せた画像を生成する。

画像処理装置１が備える画像出力部７は、上記代表の実施の形態において説明したドア軌跡ＤＫが描画された合成画像ＣＰａをディスプレイ８へ出力して表示させたタイミングで、合成画像ＰＸと合成画像ＣＰａとを併せた画像をディスプレイ８へ出力して表示させる。

これにより、画像処理装置１は、ディスプレイ８においてドア２１付近の詳細な合成画像ＣＰａを出力して表示させることができ、ユーザは車両１９から降車できる領域が隣の駐車車両などとの間に存在するかどうかの確認が容易にできる。

＜変形例５＞
各実施例の制御を説明する制御フローにおける各処理は、便宜上、一の系列で示しているが、細分化されたそれぞれの処理を制御部６がマルチタスク制御機能により並列に処理するものであっても良い。

１ 画像処理装置
２ 情報取得部
３ 画像処理部
４ 合成画像生成部
５ 描画部
５ａ ドア軌跡描画部
５ｂ ライン描画部
６ 制御部
７ 画像出力部
８ ディスプレイ

Claims (7)

1. 車両に搭載される画像処理装置であって、
   前記車両の周辺を複数のカメラで撮影して得られる撮影画像に基づいて、仮想視点からみた前記車両及び前記車両の周辺の様子を示す合成画像を生成する生成手段と、
   生成された前記合成画像に含まれる前記車両の像へ、前記車両に備わるドアが開閉された場合の前記ドアの軌跡を描画する描画手段と、
   前記軌跡が描画された前記合成画像をディスプレイへ出力して表示させる出力手段と を備え、
   前記描画手段は、所定の角度で開かれた状態における前記ドアの先端を含む前記車両の前後方向と平行する車幅ラインを、前記合成画像に更に描画することを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記所定の角度は、前記ドアが最も開かれた状態の角度であることを特徴とする画像処理装置。
3. 請求項１に記載の画像処理装置において、
   前記所定の角度は、前記ドアが最も開かれた状態の角度よりも狭い角度であることを特徴とする画像処理装置。
4. 請求項１から請求項３の何れかに記載の画像処理装置において、
   前記車両のシフトポジションを取得する取得手段、
   を更に備え、
   前記出力手段は、前記シフトポジションが”Ｒ”の場合に、前記車幅ラインが描画された前記合成画像を前記ディスプレイへ出力することを特徴とする画像処理装置。
5. 請求項１から請求項３の何れかに記載の画像処理装置において、
   前記車両の走行速度を取得する取得手段を更に備え、
   前記表示手段は、前記走行速度が所定値以下の場合に、前記車幅ラインが描画された前記合成画像を前記ディスプレイへ出力することを特徴とする画像処理装置。
6. 車両に搭載される画像表示システムであって、
   請求項１から５のいずれかに記載の画像処理装置と、
   前記軌跡が描画された前記合成画像を表示するディスプレイと、
   を備えることを特徴とする画像表示システム。
7. 画像を表示する表示方法であって、
   車両の周辺を複数のカメラで撮影して得られる撮影画像に基づいて、仮想視点からみた前記車両及び前記車両の周辺の様子を示す合成画像を生成する合成画像工程と、
   生成された前記合成画像に含まれる前記車両の像へ、前記車両に備わるドアが開閉された場合の前記ドアの軌跡を描画する描画工程と、
   前記軌跡が描画された前記合成画像を表示する表示工程と
   を備え、
   前記描画工程は、所定の角度で開かれた状態における前記ドアの先端を含む前記車両の前後方向と平行する車幅ラインを、前記合成画像に更に描画することを特徴とする表示方法。

Images