JP4640238B2 - 車両周囲映像作成装置及び車両周囲映像作成方法 - Google Patents

Description

本発明は、複数の車載カメラで撮影された映像を合成して連続した１つの車両周囲映像を作成する車両周囲映像作成装置及び車両周囲映像の作成方法に関する。

従来、車両の死角領域の視界を確保して運転者の運転操作を支援する目的で、車両に搭載された複数の車載カメラで車両周囲の映像を撮影してこれら複数の車載カメラで撮影された映像を合成し、連続した１つの車両周囲映像を作成して、車室内の表示装置に表示する技術が提案されている（例えば、特許文献１等を参照。）。

この種の車両周囲映像作成装置では、一般に、車両右側に設置された右サイドカメラで車両右側方領域の映像を撮影し、車両左側に設置された左サイドカメラで車両左側方領域の映像を撮影するが、右サイドカメラや左サイドカメラは、車両の左右のドアミラーに設置される場合がある。右サイドカメラや左サイドカメラをドアミラーに設置した場合、ドアミラーは車両のボディ部分より外側に突出しているため、広い視野角を確保するのが容易で車両の左右両側方の領域の映像を撮影するには有利であるが、以下のような問題もある。

すなわち、車両周囲映像の表示が求められるシーンとしては狭い駐車スペースへの駐車時や細街路の通行時などが考えられるが、このようなシーンでは、可動式のドアミラーを格納した状態にして運転操作をする場合も多い。そして、ドアミラーが格納されると、ドアミラーに設置された右サイドカメラや左サイドカメラの位置が変化するので、これら右サイドカメラや左サイドカメラで撮影された映像をそのまま用いても、連続性のある適切な車両周囲映像を作成することができない。

このような問題への対策としては、例えば、特許文献２に記載されているように、ドアミラー格納後のカメラ位置で撮影された映像に対して画像処理を施すことにより、あたかもドアミラー格納前のカメラ位置で撮影された映像のように変換することが考えられる。特許文献２に記載の技術では、ドアミラーの開閉状態を状態センサで検出し、ドアミラーが閉状態（格納された状態）のときには、ドアミラーに設置されたカメラの撮影映像に対して、ドアミラー閉に対応したパラメータを用いたアフィン変換処理を行うことで、違和感のない映像を作成するようにしている。
特開２００１−３３９７１６号公報 特開２００４−１９４０７１号公報

しかしながら、ドアミラーの格納時には、ドアミラーに設置された右サイドカメラや左サイドカメラが撮影可能な領域は、ドアミラー格納前に撮影可能であった領域とは異なる領域となるため、車両周囲映像として表示したい車両周囲の領域の中で、右サイドカメラや左サイドカメラでは撮影できない領域が生じることになる。このため、ドアミラー格納時に、右サイドカメラや左サイドカメラの撮影映像に対して特許文献２に記載されているような画像処理を施した上で車両周囲映像を作成したとしても、映像に欠落部分が生じて、連続性のある適切な車両周囲映像を作成することができない。

本発明は、以上のような従来の実情に鑑みて創案されたものであって、車両のドアミラーに設置された車載カメラを含む複数の車載カメラの撮影映像を用いて車両周囲映像を作成する際に、ドアミラー格納時であっても、連続性のある適切な車両周囲映像を作成することが可能な車両周囲映像作成装置及び車両周囲映像作成方法を提供することを目的としている。

本発明は、前記目的を達成するために、ドアミラーに設置された車載カメラが撮影すべき車両周囲の領域の中で、ドアミラーが格納されることに伴って当該ドアミラーに設置された車載カメラでは撮影できなくなる領域を補完対象領域として特定し、ドアミラーの格納時には、補完対象領域の映像を、ドアミラーが格納される前に複数の車載カメラで撮影された過去の映像の中の対応する領域の映像で補完して車両周囲映像を作成するようにした。

本発明によれば、ドアミラーが格納されることに伴って撮影できなくなる補完対象領域の映像が、ドアミラーが格納される前に撮影された過去の映像で補完されるので、ドアミラー格納時であっても、連続性のある適切な車両周囲映像を作成することができる。

以下、本発明の具体的な実施形態について、図面を参照しながら詳細に説明する。なお、以下では、車両前方、後方、左右両側方の各領域の映像を４つの車載カメラでそれぞれ撮影し、これら４つの車載カメラの撮影映像を車両上方の仮想視点から見下ろした俯瞰映像に視点変換すると共にこれらを合成して、車両周囲全域を表す１つの連続した俯瞰映像として車室内のディスプレイに表示させる俯瞰映像表示システムを例に挙げて、このような俯瞰映像表示システムを構成する映像処理装置に本発明を適用した例について説明するが、本発明は、ここで挙げる例に限らず、複数の車載カメラで撮影した車両周囲の映像を合成し、１つの連続した映像としてディスプレイに表示させる各種の映像表示システムで用いられる映像処理装置に対して広く適用可能である。

［システム構成］
本実施形態の俯瞰映像表示システムの概略構成を図１に示す。この俯瞰映像表示システムは、図１に示すように、本発明を適用した映像処理装置１０を主要な構成要素として備えており、この映像処理装置１０の入力側に、フロントカメラ１、リアカメラ２、右サイドカメラ３、左サイドカメラ４の４つの車載カメラや、車両ドアミラーの開閉状態を検出するドアミラー開閉センサ５、車両の走行速度を検出する車速センサ６、車両の操舵角度を検出する舵角センサ７などの各種センサ類が接続されている。また、映像処理装置１０の出力側には、車室内に設置された液晶表示器などのディスプレイ８が接続されている。

フロントカメラ１は、図２に示すように、車両Ｖ前方の例えばフロントバンパーなどに設置され、車両Ｖ前方の所定の被撮影領域Ａ１の映像を地面に対して斜めに見下ろす方向で撮影する。また、リアカメラ２は、車両Ｖ後方の例えばリアバンパーなどに設置され、車両Ｖ後方の所定の被撮影領域Ａ２の映像を地面に対して斜めに見下ろす方向で撮影する。

右サイドカメラ３は、車両Ｖ右側のドアミラーＤＭに設置され、ドアミラーＤＭが格納されていない状態（開いた状態）のときに、車両Ｖ右側方の所定の被撮影領域Ａ３の映像を地面に対して斜めに見下ろす方向で撮影する。また、左サイドカメラ４は、車両Ｖ左側のドアミラーＤＭに設置され、ドアミラーＤＭが格納されていない状態のときに、車両Ｖ左側方の所定の被撮影領域Ａ４の映像を地面に対して斜めに見下ろす方向で撮影する。なお、図２中の矢印は車両Ｖの向きを表している。

本実施形態の俯瞰映像表示システムでは、以上の４つの車載カメラ１，２，３，４で撮影した被撮影領域Ａ１，Ａ２，Ａ３，Ａ４の映像をそれぞれ映像処理装置１０に取り込み、映像処理装置１０においてこれらの撮影映像を俯瞰映像に変換すると共に繋ぎ合わせることで、車両周囲全域を表す１つの連続した俯瞰映像を作成する。そして、映像処理装置１０で作成した車両周囲全域を表す１つの連続した俯瞰映像をディスプレイ８に表示させることで、車両の運転者の運転操作を支援する。このとき、右サイドカメラ３が設置されている車両Ｖ右側のドアミラーＤＭや左サイドカメラ４が設置されている車両Ｖ左側のドアミラーＤＭが格納された状態（閉じた状態）となると、右サイドカメラ３や左サイドカメラ４の位置が変化するため、車両Ｖ右側方の所定の被撮影領域Ａ３や車両Ｖ左側方の所定の被撮影領域Ａ４の中で、右サイドカメラ３や左サイドカメラ４で撮影できない領域が発生する。このような場合に、映像処理装置１０が、車両の左右のドアミラーＤＭが格納される前と同じ手法で俯瞰映像を作成すると、作成される俯瞰映像の一部に映像の欠落が生じることになり、連続性が損なわれた俯瞰映像がディスプレイ８に表示されて、運転者に違和感を与えることになる。

そこで、本発明を適用した映像処理装置１０は、ドアミラーＤＭの格納前に４つの車載カメラ１，２，３，４で撮影された映像を一時的に記憶しておくようにし、ドアミラー格納時には、被撮影領域Ａ３や被撮影領域Ａ４の中で右サイドカメラ３や左サイドカメラ４で撮影できない領域（補完対象領域）の映像を、一時的に記憶しておいたドアミラー格納前の車載カメラ１，２，３，４の撮影映像の中の対応する領域の映像で補完して、欠落部分のない俯瞰映像を作成するようにしている。

［映像処理装置の構成］
図３は、本発明を適用した映像処理装置１０の内部構成を示す図である。映像処理装置１０は、図３に示すように、４つの車載カメラ１，２，３，４の撮影映像がフレーム単位で格納される４つの入力フレームバッファ１１ａ，１１ｂ，１１ｃ，１１ｄと、表示対象となる俯瞰映像を作成する俯瞰映像作成部１２と、この俯瞰映像作成部１２により作成された俯瞰映像がフレーム単位で格納される出力フレームバッファ１３とを備える。また、この映像処理装置１０は、本発明に特徴的な構成として、４つの入力フレームバッファ１１ａ，１１ｂ，１１ｃ，１１ｄに格納された車載カメラ１，２，３，４の撮影映像がコピーされるフレームバッファ１４ａ，１４ｂ，１４ｃ，１４ｄを備える。

俯瞰映像作成部１２は、マイクロコンピュータなどで構成され、予め組み込まれた所定の映像処理プログラムを実行することで、表示対象となる俯瞰映像を作成する。具体的には、俯瞰映像作成部１２は、車両ＶのドアミラーＤＭが格納されない開状態にあるときは、入力フレームバッファ１１ａ，１１ｂ，１１ｃ，１１ｄに各々格納された車載カメラ１，２，３，４の撮影映像の各画素を、例えば、入力フレームバッファ１１ａ，１１ｂ，１１ｃ，１１ｄのアドレスと出力フレームバッファ１３のアドレスとの対応関係を記載したアドレス変換テーブルなどに従って出力フレームバッファ１３上に再配置することで、表示対象となる俯瞰映像を作成する。俯瞰映像作成部１２で作成されて出力フレームバッファ１３に格納された俯瞰映像の映像データは、車載カメラ１，２，３，４のフレーム撮影周期、すなわち俯瞰映像作成部１２での処理周期に同期して、出力フレームバッファ１３からディスプレイ８へと出力される。これにより、ディスプレイ８には、車両周囲全域を車両上方の仮想視点から見下ろした様子を表す俯瞰映像が、動画として表示されることになる。

また、この俯瞰映像作成部１２は、本発明に特徴的な機能として、ドアミラー開閉状態判定機能１５、車両移動判定機能１６、車両移動量算出機能１７、補完対象領域特定機能１８、対応領域特定機能１９、映像補完機能２０の各機能を有しており、車両ＶのドアミラーＤＭが格納された閉状態にあるときは、これら各機能によって右サイドカメラ３や左サイドカメラ４で撮影できない領域の映像を過去の映像で補完して、欠落部分のない俯瞰映像を作成する。

すなわち、車両ＶのドアミラーＤＭが格納されるまでの間は、ドアミラー開閉センサ５からドアミラー開を示す信号が映像処理装置１０に入力されるので、俯瞰映像作成部１２のドアミラー開閉状態判定機能１５により、このドアミラー開閉センサ５からの信号に基づいて車両ＶのドアミラーＤＭが開状態にあると判定される。この場合は、右サイドカメラ３や左サイドカメラ４の撮影映像に欠落は生じないので、俯瞰映像作成部１２は、上述したように、入力フレームバッファ１１ａ，１１ｂ，１１ｃ，１１ｄに格納されている最新の車載カメラ１，２，３，４の撮影映像を、アドレス変換テーブルなどを用いて加工することで、表示対象となる俯瞰映像を作成する。また、このとき、俯瞰映像作成部１２は、入力フレームバッファ１１ａ，１１ｂ，１１ｃ，１１ｄに格納されている最新の車載カメラ１，２，３，４の撮影映像をフレームバッファ１４ａ，１４ｂ，１４ｃ，１４ｄにコピーして、一時的に記憶させておく。このフレームバッファ１４ａ，１４ｂ，１４ｃ，１４ｄに記憶される車載カメラ１，２，３，４の撮影映像は、車両ＶのドアミラーＤＭが開状態にある間は、入力フレームバッファ１１ａ，１１ｂ，１１ｃ，１１ｄの更新周期、すなわち車載カメラ１，２，３，４のフレーム撮影周期に同期して更新されることになる。

一方、車両ＶのドアミラーＤＭが格納されると、ドアミラー開閉センサ５からドアミラー閉を示す信号が映像処理装置１０に入力されるので、俯瞰映像作成部１２のドアミラー開閉状態判定機能１５により、このドアミラー開閉センサ５からの信号に基づいて車両ＶのドアミラーＤＭが閉状態にあると判定される。この場合、入力フレームバッファ１１ａ，１１ｂ，１１ｃ，１１ｄからフレームバッファ１４ａ，１４ｂ，１４ｃ，１４ｄへの撮影映像のコピーが中断される。すなわち、フレームバッファ１４ａ，１４ｂ，１４ｃ，１４ｄには、車両ＶのドアミラーＤＭが格納される直前に車載カメラ１，２，３，４により撮影された過去の撮影画像が保持されることになる。

また、ドアミラー開閉状態判定機能１５により車両ＶのドアミラーＤＭが閉状態にあると判定されると、車両移動判定機能１６により、車速センサ６からの信号に基づいて車両Ｖが移動中であるか否かが判定され、車両移動中であれば、車両移動量算出機能１７により、車速センサ６や舵角センサ７からの信号に基づいて車両Ｖの移動量が算出される。具体的には、車両移動量算出機能１７は、車速センサ６からの信号をもとに車両ＶのドアミラーＤＭが格納されてから現在までの時間間隔の中で車両Ｖが移動した移動距離を求めるとともに、舵角センサ７からの信号をもとに車両Ｖの移動方向を求め、これら車両Ｖの移動距離と移動方向とからその移動量をベクトル量として算出する。この車両移動量算出機能１７による車両Ｖの移動量の算出は、車両ＶのドアミラーＤＭが閉状態とされている間、所定周期で繰り返し行われる。

また、ドアミラー開閉状態判定機能１５により車両ＶのドアミラーＤＭが閉状態にあると判定された場合、補完対象領域特定機能１８により、図２に示した車両右側方の所定の被撮影領域Ａ３や車両左側方の所定の被撮影領域Ａ４の中で、車両ＶのドアミラーＤＭが格納されることに伴って右サイドカメラ３や左サイドカメラ４では撮影できなくなる領域が、補完対象領域として特定される。なお、この補完対象領域は、ドアミラーＤＭの格納前及び格納後の位置が一定であれば常に同じ領域となるので、その領域を一度特定して情報として記憶させておけば、その後は、記憶しておいた情報を読み出すだけでよい。

また、ドアミラー開閉状態判定機能１５により車両ＶのドアミラーＤＭが閉状態にあると判定された場合、対応領域特定機能１９により、フレームバッファ１４ａ，１４ｂ，１４ｃ，１４ｄに保持されている車載カメラ１，２，３，４の過去の撮影映像の中で、補完対象領域特定機能１８により特定された補完対象領域に対応する領域が特定される。そして、映像補完機能２０により、補完対象領域の映像が、車載カメラ１，２，３，４の過去の撮影映像の中で対応領域特定機能１９により特定された領域の映像で補完された上で、表示対象となる俯瞰映像が作成される。

このとき、車両ＶのドアミラーＤＭが格納されてから車両が移動していなければ、車両右側方の被撮影領域Ａ３の中の補完対象領域に対応する領域や、車両左側方の被撮影領域Ａ４の中の補完対象領域に対応する領域は、右サイドカメラ３で撮影されてフレームバッファ１４ｃに保持されている過去の撮影映像や、左サイドカメラ４で撮影されてフレームバッファ１４ｄに保持されている過去の撮影映像の中から、一意に特定することができる。一方、車両ＶのドアミラーＤＭが格納されてから車両Ｖが移動していれば、この車両Ｖの移動に伴って補完対象領域に対応する領域も変化することになり、その領域は、右サイドカメラ３の過去の撮影映像や左サイドカメラ４の過去の撮影映像の中だけでなく、フロントカメラ１の過去の撮影映像やリアカメラ２の過去の撮影映像の中の領域ともなり得る。そこで、対応領域特定機能１９は、車両移動判定機能１６により車両移動中と判定された場合には、車両移動量算出機能１７により算出された車両Ｖの移動量に基づいて、フレームバッファ１４ａ，１４ｂ，１４ｃ，１４ｄに保持されている過去の車載カメラ１，２，３，４の撮影映像の中で、補完対象領域に対応する領域を特定するようにしている。

また、車両ＶのドアミラーＤＭが格納されている場合でも、被撮影領域Ａ３や被撮影領域Ａ４の一部（補完対象領域を除く部分）については、右サイドカメラ３や左サイドカメラ４で撮影可能であるので、右サイドカメラ３や左サイドカメラ４の最新の撮影映像の中のこれらの映像部分は、俯瞰映像作成部１２での俯瞰映像の作成に用いることができる。ただし、これらの被撮影領域Ａ３や被撮影領域Ａ４の補完対象領域を除く部分の最新の映像は、右サイドカメラ３や左サイドカメラ４の位置がドアミラーＤＭの格納に伴って回動することにより、ドアミラーＤＭの格納前の映像と比べると異なる向きの映像となっている。そこで、俯瞰映像作成部１２でドアミラー格納時の俯瞰映像を作成する場合、右サイドカメラ３や左サイドカメラ４の最新の撮影映像の中で、補完対象領域以外の被撮影領域Ａ３や被撮影領域Ａ４の映像部分については、映像を回転させた状態で俯瞰映像の作成に用いる。なお、このような映像の回転処理は、例えば、上述したようなアドレス変換テーブルを用いて表示対象となる俯瞰映像を作成する場合、車両ＶのドアミラーＤＭの格納に伴う右サイドカメラ３や左サイドカメラ４の位置の変化量を表すパラメータに応じて、アドレス変換テーブルに変更を加えることにより実現できる。

［映像処理装置の動作］
次に、本発明を適用した映像処理装置１０の動作について、具体的な例を挙げながら更に詳しく説明する。なお、以下では、本発明を適用した映像処理装置１０の動作を分かり易く説明するために、図４に示すように、車両Ｖの周囲を取り囲むように矩形のマーカーラインが描かれ、車両Ｖの向きに対して垂直な方向に２本の直線のマーカーラインが描かれていることを前提とし、このような環境で映像処理装置１０がマーカーラインが映り込んだ車両周囲全域の俯瞰映像を作成するものとする。

図４に示したような環境で、車両ＶのドアミラーＤＭが格納されていない状態（開いた状態）であれば、映像処理装置１０は、上述したように、車載カメラ１，２，３，４の最新の撮影映像をアドレス変換テーブルなどを用いてそれぞれ視点変換して合成することで、図５に示すような車両周囲のマーカーラインが正しく映り込んだ俯瞰映像を作成し、ディスプレイ８に表示させることができる。なお、この図５に示す俯瞰映像において、映像領域Ｂ１がフロントカメラ１の撮影映像を視点変換したものであり、映像領域Ｂ２がリアカメラ２の撮影映像を視点変換したものであり、映像領域Ｂ３が右サイドカメラ３の撮影映像を視点変換したものであり、映像領域Ｂ４が左サイドカメラ４の撮影映像を視点変換したものである。この図５に示すように、車両ＶのドアミラーＤＭが格納されていない状態では、車両周囲の被撮影領域Ａ１，Ａ２，Ａ３，Ａ４の映像をそれぞれ映像領域Ｂ１，Ｂ２，Ｂ３，Ｂ４とし、これら映像領域Ｂ１，Ｂ２，Ｂ３，Ｂ４を繋ぎ合せた一連の俯瞰映像が作成されることになる。なお、図５に示す俯瞰映像の例において、中心部分にある車両の映像は、コンピュータグラフィックス等で作成されて俯瞰映像の中心部分に描画された仮想の映像である。

左サイドカメラ４に着目して詳しく説明すると、車両ＶのドアミラーＤＭが格納されていない状態では、図６（ａ）に示すように、左サイドカメラ４の撮影範囲Ｃ４が、車両Ｖの左側方の被撮影領域Ａ４と一致している。したがって、この左サイドカメラ４の撮影映像を車両Ｖ上方の仮想視点から見下ろした映像に視点変換すれば、図５に示した俯瞰映像の映像領域Ｂ４のように、被撮影領域Ａ４のマーカーラインを正しく表示することができる。

これに対して、車両ＶのドアミラーＤＭが格納された場合には、ドアミラーＤＭの格納に伴って左サイドミラー４の位置が変化するために、図６（ｂ）に示すように、左サイドカメラ４の撮影範囲Ｃ４が、車両Ｖの左側方の被撮影領域Ａ４に対して斜めの向きになり、被撮影領域Ａ４とは一致しなくなる。したがって、この左サイドカメラ４の撮影映像を、車両ＶのドアミラーＤＭが格納されていないときと同様に視点変換して俯瞰映像を作成すると、作成された俯瞰映像の映像領域Ｂ４は、図６（ｃ）に示すように、マーカーラインの向きが実際の向きとは異なる映像となって、映像領域Ｂ１や映像領域Ｂ２との連続性が損なわれることになる。このような車両ＶのドアミラーＤＭが格納された場合の影響は、右サイドミラー３に対しても同様に生じるため、俯瞰映像全体としては、映像領域Ｂ１，Ｂ２，Ｂ３，Ｂ４間の全てにおいて連続性が損なわれた映像となり、運転者にとって非常に見にくい映像となってしまう。なお、図６（ｃ）に示した俯瞰映像の映像領域Ｂ３，Ｂ４における網掛け部分は、車両Ｖのボディ部分が映り込んだ映像である。

そこで、本発明を適用した映像処理装置１０は、車両ＶのドアミラーＤＭが格納された場合には、以下のような手法で連続性の確保された俯瞰映像を作成する。

すなわち、映像処理装置１０は、まず、車両Ｖの右側方の被撮影領域Ａ３や車両Ｖの左側方の被撮影領域Ａ４のうちで、車両ＶのドアミラーＤＭが格納された状態の右サイドカメラ３や左サイドカメラ４で撮影可能な領域については、右サイドカメラ３や左サイドカメラ４の最新の撮影映像の中の対応する領域の映像を視点変換すると共に回転させて、図７に示すように、俯瞰映像の映像領域Ｂ３，Ｂ４における一部の映像として用いる。これにより、右サイドカメラ３や左サイドカメラ４の最新の撮影画像に映り込んでいるマーカーラインは、俯瞰映像の映像領域Ｂ３，Ｂ４において、正しい向きに表示されることになる。

ただし、車両ＶのドアミラーＤＭが格納された状態では、被撮影領域Ａ３，Ａ４の中の一部の領域（図７の映像領域Ｂ３，Ｂ４のうちで黒塗り部分に対応する領域）は右サイドカメラ３や左サイドカメラ４の撮影範囲外となり、これら右サイドカメラ３や左サイドカメラ４の最新の撮影映像からは、これらの領域に対応する映像が得られない。このため、右サイドカメラ３や左サイドカメラ４の最新の撮影映像だけでは、俯瞰映像の映像領域Ｂ３，Ｂ４に映像の欠落が生じることになる。そこで、映像処理装置１０は、図８に示すように、被撮影領域Ａ３，Ａ４の中で、車両ＶのドアミラーＤＭが格納されることにより右サイドカメラ３や左サイドカメラ４では撮影できなくなる領域を補完対象領域とし、この補完対象領域の映像を、ドアミラーＤＭが格納される直前に右サイドカメラ３や左サイドカメラ４で撮影された過去の撮影映像の中の対応する領域の映像で補完して、俯瞰映像を作成するようにしている。なお、図８では、ドアミラーＤＭが格納される直前に左サイドカメラ４で撮影された過去の撮影映像を視点変換して得た映像領域を図中の左側、ドアミラーＤＭが格納された後に左サイドカメラ４で撮影された撮影映像を視点変換すると共に回転させて得た映像領域を図中の右側に示し、補完対象領域（図中右側の映像領域の中の黒塗り部分の領域）の映像を過去の映像で補完している様子を表している。

以上のように、本発明を適用した映像処理装置１０では、車両ＶのドアミラーＤＭが格納されて右サイドカメラ３や左サイドカメラ４の位置が変化した場合には、被撮影領域Ａ３，Ａ４の中で右サイドカメラ３や左サイドカメラ４では撮影できなくなる領域を補完対象領域とし、この補完対象領域の映像を、ドアミラーＤＭが格納される直前に右サイドカメラ３や左サイドカメラ４で撮影された過去の撮影映像の中の対応する領域の映像で補完して、表示対象となる俯瞰映像を作成するようにしている。これにより、ディスプレイ８には、ドアミラーＤＭの格納前と同様の図５に示したような俯瞰映像、すなわち、車両周囲のマーカーラインが正しく映り込んだ連続性のある俯瞰映像を表示させることが可能となる。

ところで、以上は、車両ＶのドアミラーＤＭが格納されてから車両Ｖが移動していない場合を想定して映像処理装置１０の基本的な動作を説明したが、車両ＶのドアミラーＤＭが格納されてから車両Ｖが移動した場合には、過去の撮影映像中における補完対象領域に対応する領域が車両Ｖの移動に伴って変化するので、車両Ｖの移動量に応じた処理が必要となる。

具体的に説明すると、例えば、時刻ｔ１において図９（ａ）に示す位置で車両ＶのドアミラーＤＭが格納され、その後、車両Ｖが前進して時刻ｔ２（ｔ１＜ｔ２）においては図９（ｂ）の位置にまで移動したとする。この場合、車両Ｖの右側方の被撮影領域Ａ３や車両Ｖの左側方の被撮影領域Ａ４は、時刻ｔ１では図９（ａ）中の破線で示す領域であるが、時刻ｔ２では図９（ｂ）中の破線で示す領域となる。このため、時刻ｔ２において、ドアミラーＤＭの格納に伴って右サイドカメラ３や左サイドカメラ４で撮影できなくなる補完対象領域の映像を、時刻ｔ１でドアミラーＤＭが格納される直前の過去の撮影映像で補完しようとしたときに、補完に用いる映像として上述した車両Ｖの停止時と同様の映像を用いると、時刻ｔ２において映像が欠落している領域とは異なる領域の映像で俯瞰映像の欠落部分が補完されることになる。その結果、図９（ｃ）に示すように、実際の形状とは異なる形状のマーカーラインが映り込んだ俯瞰映像が作成されてしまうことになる。

そこで、映像処理装置１０は、車両ＶのドアミラーＤＭが格納されてから車両Ｖが移動した場合には、図１０に示すように、ドアミラーＤＭが格納される直前に車載カメラ１，２，３，４により撮影された過去の撮影映像の中から、補完対象領域に対応する領域の映像を、車両Ｖの移動量に基づいて特定するようにしている。そして、補完対象領域の映像を、過去の撮影映像の中から車両Ｖの移動量に基づいて特定した領域の映像で補完して、俯瞰映像を作成するようにしている。これにより、車両ＶのドアミラーＤＭが格納されてから車両Ｖが移動した場合であっても、図１１に示すように、車両周囲のマーカーラインが正しく映り込んだ連続性のある俯瞰映像を作成し、ディスプレイ８に表示させることが可能となる。

なお、本発明を適用した映像処理装置１０では、以上のように、補完対象領域の映像を過去の撮影映像で補完した場合、補完した映像部分については、例えば、当該映像部分を太枠で囲む、或いは当該映像部分を色付きの線で囲む、或いは当該映像部分全体に薄く色付けするなどの手法で、他の映像部分と識別可能な形態として、俯瞰映像を作成することが望ましい。これにより、車両の運転者は、ディスプレイ８に表示された俯瞰映像に過去の映像で補完された映像部分が含まれていることを容易に認識することが可能となる。

図１２は、本発明を適用した映像処理装置１０が車載カメラ１，２，３，４の撮影映像を用いてディスプレイ８に表示させる俯瞰映像を作成する際の一連の処理の流れを示すフローチャートである。なお、この図１２に示す処理フローは、例えば、車両のイグニッションオンなどにより映像表示システムが起動されることに伴い開始され、車載カメラ１，２，３，４のフレーム撮影周期に同期して繰り返し実行される。

映像処理装置１０は、まず、ステップＳ１において、車載カメラ１，２，３，４の撮影映像をそれぞれ取り込んで、フレーム単位で入力フレームバッファ１１ａ，１１ｂ，１１ｃ，１１ｄに格納する。次に、映像処理装置１０は、ステップＳ２において、ドアミラー開閉センサ５からの信号に基づいて、車両のドアミラーが格納された状態にあるか否かを判定する。そして、車両のドアミラーが格納されていない開状態であれば、ステップＳ３において、ステップＳ１で入力フレームバッファ１１ａ，１１ｂ，１１ｃ，１１ｄに格納した車載カメラ１，２，３，４の撮影映像をフレームバッファ１４ａ，１４ｂ，４ｃ，１４ｄにそれぞれコピーして、車載カメラ１，２，３，４の最新の撮影映像を一時的に記憶させた上で、ステップＳ７へと処理を移行する。なお、このステップＳ３における撮影映像のコピーは、ステップＳ２で車両のドアミラーが格納された状態にあると判定された場合には実施されない。したがって、車両のドアミラーが格納された後は、フレームバッファ１４ａ，１４ｂ，４ｃ，１４ｄには、ドアミラーが格納される直前に車載カメラ１，２，３，４で撮影された撮影映像が保持されることになる。

ステップＳ２の判定で車両のドアミラーが格納された状態にあると判定した場合には、映像処理装置１０は、ステップＳ４において、車速センサ６からの信号に基づいて、車両が移動中であるか否かを判定する。そして、車両が移動中であれば、ステップＳ５において、車速センサ６からの信号及び舵角センサ７からの信号に基づいて、車両のドアミラーが格納された時点から現在に至るまでの車両の移動量を算出して、ステップＳ６に進む。一方、車両が停止した状態にあれば、ステップＳ５の処理を行うことなくステップＳ６に進む。そして、ステップＳ６では、フレームバッファ１４ａ，１４ｂ，４ｃ，１４ｄに保持されている過去の車載カメラ１，２，３，４の撮影映像の中から、ドアミラーの格納に伴って右サイドカメラ３や左サイドカメラ４で撮影できなくなった補完対象領域を補完するための映像を取得する。

次に、映像処理装置１０は、ステップＳ７において、ドアミラーが格納されていない状態であれば、入力フレームバッファ１１ａ，１１ｂ，１１ｃ，１１ｄに格納されている車載カメラ１，２，３，４の最新の撮影映像を視点変換して繋ぎ合わせ、また、ドアミラーが格納されている状態であれば、さらに補完対象領域の映像をステップＳ６で取得した映像で補完して、表示対象となる俯瞰映像を作成する。そして、作成した俯瞰映像を出力フレームバッファ１３からディスプレイ８に出力し、ディスプレイ８に車両周囲全域を車両上方の仮想視点から見下ろした様子を表す俯瞰映像を表示させる。

以上のステップＳ１からステップＳ７までの処理は、例えば、映像表示システムの電源オフやユーザによる表示停止操作など、俯瞰映像の表示を終了させる旨の何らかのトリガが発生するまで繰り返され、俯瞰映像の表示終了を示すトリガが発生してステップＳ８において表示終了が判定された段階で終了する。

以上、具体的な例を挙げながら詳細に説明したように、本発明を適用した映像処理装置１０は、車載カメラ１，２，３，４の過去の撮影映像を一時的に記憶させておき、車両のドアミラーの格納時には、ドアミラーの格納に伴って右サイドカメラ３や左サイドカメラ４では撮影できなくなる補完対象領域の映像を、車載カメラ１，２，３，４の過去の映像の中の対応する領域の映像で補完して、表示対象となる俯瞰映像を作成するようにしている。したがって、この映像処理装置１０によれば、車両のドアミラー格納時においても、連続性のある適切な俯瞰映像を作成して、運転者に違和感を与えない映像としてディスプレイ８に表示させることができる。

なお、車両のドアミラー格納時にドアミラー格納前と同様の俯瞰映像を作成する手法としては、例えば、アクチュエータなどでドアミラーに設置された車載カメラを動かして、車載カメラ自体をドアミラー格納前と同じ位置に移動させるという手法も考えられるが、車載カメラを動かすためのアクチュエータなどをドアミラー内部に埋め込むことは難しく、また、部品点数の増加によるコストアップが懸念される。これに対して、本発明を適用した映像処理装置１０を用いれば、車両のドアミラー格納時にドアミラーに設置された右サイドカメラ３や左サイドカメラ４を動かすことなく適切な俯瞰映像を作成してディスプレイ８に表示させることができるので、装置の大型化やコストアップの問題も回避することができる。

なお、以上説明した実施形態は、本発明の一適用例を例示したものであり、本発明の技術的範囲は、以上の実施形態の説明で開示した内容に限定されるものではなく、これらの開示から容易に導き得る様々な代替技術も含まれることは勿論である。例えば、上述した映像処理装置１０では、車両のドアミラーが格納される直前に車載カメラ１，２，３，４で撮影された過去の撮影映像がフレームバッファ１４ａ，１４ｂ，１４ｃ，１４ｄに保持されるようにし、ドアミラー格納時の補完対象領域の映像を、これらフレームバッファ１４ａ，１４ｂ，１４ｃ，１４ｄに保持された車載カメラ１，２，３，４の過去の撮影映像の中の対応する領域の映像で補完するようにしているが、車両のドアミラーが格納される直前に作成された俯瞰映像が保持されるようにして、ドアミラー格納時の補完対象領域の映像を、この過去に作成された俯瞰映像の中の対応する領域の映像で補完するようにしてもよい。

本発明を適用した映像処理装置を備える映像表示システムの概略構成図である。 車載カメラの設置位置及び車載カメラにより撮影される被撮影領域を説明する図である。 本発明を適用した映像処理装置の内部構成を示す図である。 本発明を適用した映像処理装置の動作を説明するための図であり、矩形のマーカーライン及び２本の直線マーカーラインが描画されている環境を示す図である。 図４に示す環境で車両のドアミラーが格納されていない状態のときに映像処理装置により作成される俯瞰映像を示す図である。 ドアミラーの格納による影響を説明する図であり、（ａ）はドアミラー格納前の左サイドカメラの撮影範囲を示す図、（ｂ）はドアミラー格納時の左サイドミラーの撮影範囲を示す図、（ｃ）はドアミラー格納時にドアミラー格納前と同じ手法で作成したと仮定したときの俯瞰映像を示す図である。 ドアミラー格納時に、右サイドカメラや左サイドカメラで撮影可能な領域の映像を回転させて俯瞰映像に用いた場合に映像に欠落が生じることを説明する図である。 ドアミラー格納時に、右サイドカメラや左サイドカメラで撮影できなくなる補完対象領域の映像を、右サイドカメラや左サイドカメラの過去の撮影映像で補完する様子を示す図である。 車両が移動することによる影響を説明する図であり、（ａ）はドアミラーが格納された時点での車両左右の被撮影領域を示す図、（ｂ）はドアミラーが格納された後に車両が移動したときの車両左右の被撮影領域を示す図、（ｃ）は車両が移動していない場合と同じ手法で作成したと仮定したときの俯瞰映像を示す図である。 ドアミラー格納時で車両が移動している場合に、右サイドカメラや左サイドカメラで撮影できなくなる補完対象領域の映像を、車載カメラの過去の撮影映像で補完する様子を示す図である。 図１０に示す補完対象領域の映像を補完する処理を経て作成される俯瞰映像を示す図である。 映像処理装置が車載カメラの撮影映像を用いてディスプレイに表示させる俯瞰映像を作成する際の一連の処理の流れを示すフローチャートである。

符号の説明

１ フロントカメラ
２ リアカメラ
３ 右サイドカメラ
４ 左サイドカメラ
５ ドアミラー開閉センサ
６ 車速センサ
７ 舵角センサ
８ ディスプレイ
１０ 映像処理装置
１１ａ，１１ｂ，１１ｃ，１１ｄ 入力フレームバッファ
１２ 俯瞰映像作成部
１３ 出力フレームバッファ
１４ａ，１４ｂ，１４ｃ，１４ｄ フレームバッファ

Claims (6)

1. 車両のドアミラーに設置された車載カメラを含む複数の車載カメラで車両周囲の互いに異なる領域の映像を撮影し、これら複数の車載カメラで撮影された映像を合成して連続した１つの車両周囲映像を作成する車両周囲映像作成装置において、
   前記ドアミラーに設置された車載カメラが撮影すべき車両周囲の領域の中で、前記ドアミラーが格納されることに伴って当該ドアミラーに設置された車載カメラでは撮影できなくなる領域を補完対象領域として特定する補完対象領域特定手段と、
   前記ドアミラーが格納される前に前記複数の車載カメラで撮影された過去の映像を記憶しておく映像記憶手段と、
   前記ドアミラーの格納時に、前記補完対象領域特定手段で特定された補完対象領域の映像を、前記映像記憶手段に記憶されている過去の映像の中の対応する領域の映像で補完して前記車両周囲映像を作成する映像補完作成手段とを備えることを特徴とする車両周囲映像作成装置。
2. 前記映像補完作成手段は、前記ドアミラーの格納時に車両が移動した場合には、当該車両の移動量に基づいて、前記映像記憶手段に記憶されている過去の映像の中で前記補完対象領域に対応する領域の映像を特定することを特徴とする請求項１に記載の車両周囲映像作成装置。
3. 前記映像補完作成手段は、前記車両の移動量を当該車両の車速と舵角とから算出することを特徴とする請求項２に記載の車両周囲映像作成装置。
4. 前記映像補完作成手段は、補完した映像部分を他の映像部分と識別可能な形態として前記車両周囲映像を作成することを特徴とする請求項１乃至３の何れかに記載の車両周囲映像作成装置。
5. 前記車両周囲映像は、車両上方の仮想視点から車両周囲を見下ろした俯瞰映像であることを特徴とする請求項１乃至４の何れかに記載の車両周囲映像作成装置。
6. 車両のドアミラーに設置された車載カメラを含む複数の車載カメラで車両周囲の互いに異なる領域の映像を撮影し、これら複数の車載カメラで撮影された映像を合成して連続した１つの車両周囲映像を作成する車両周囲映像作成方法において、
   前記ドアミラーに設置された車載カメラが撮影すべき車両周囲の領域の中で、前記ドアミラーが格納されることに伴って当該ドアミラーに設置された車載カメラでは撮影できなくなる領域を補完対象領域として特定し、前記ドアミラーの格納時には、前記補完対象領域の映像を、前記ドアミラーが格納される前に前記複数の車載カメラで撮影された過去の映像の中の対応する領域の映像で補完して前記車両周囲映像を作成することを特徴とする車両周囲映像作成方法。

Images