JP6614042B2 - 姿勢変化判定装置、俯瞰映像生成装置、俯瞰映像生成システム、姿勢変化判定方法およびプログラム - Google Patents

Description

本発明は、姿勢変化判定装置、俯瞰映像生成装置、俯瞰映像生成システム、姿勢変化判定方法およびプログラムに関する。

車両の周囲に設置されたカメラで車両周辺を撮影し、撮影した映像を視点変換した俯瞰映像としてモニタに表示させる技術が知られている（例えば、特許文献１参照）。この技術は、車載カメラが取り付けられている車両の車高変化や傾き変化にかかわらず、良好な画質によるモニタ映像の確保を達成する。

特開２００９−２５３５７１号公報

特許文献１に記載の技術では、車両の車高変化や傾き変化を測定するため、サスペンションの沈み込み量を検知するセンサを各車輪に配置することを要する。このため、センサを用いず、さらにはサスペンションの沈み込みに反映されない状態の車両の姿勢変化などに対しても、適切に車両の姿勢の変化を判定する技術および車両の姿勢の変化に対応した俯瞰映像を生成する技術が望まれていた。

本発明は、上記に鑑みてなされたものであって、センサを用いずに車両に容易に適用可能で、車両の姿勢が変化した場合に、適切に車両の姿勢の変化を判定することに加え、判定結果に基づき適切に補正された車両周辺の俯瞰映像を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る姿勢変化判定装置は、車両に配置された複数の撮影装置で前記車両の周辺を撮影した複数の周辺映像を取得する映像取得部と、前記映像取得部が取得した複数の周辺映像に基づき、前記車両の姿勢が変化したか否かを判定する姿勢変化判定部と、を備えることを特徴とする。

本発明に係る俯瞰映像生成装置は、上記の姿勢変化判定装置と、前記映像取得部が取得した複数の周辺映像を、前記車両を上方から見下ろしたように視点変換して合成する俯瞰映像を生成する俯瞰映像生成部と、を備え、前記俯瞰映像生成部は、前記姿勢変化判定部の判定結果に基づき、前記車両の姿勢の変化に応じて補正した俯瞰映像を生成することを特徴とする。

本発明に係る俯瞰映像生成システムは、上記の俯瞰映像生成装置と、前記車両に配置され、前記車両の周辺を撮影し前記映像取得部に周辺映像を供給する撮影装置とを有することを特徴とする。

本発明に係る姿勢変化判定方法は、車両に配置された複数の撮影装置で前記車両の周辺を撮影した複数の周辺映像を取得する映像取得ステップと、前記映像取得ステップにおいて取得した複数の周辺映像に基づいて、前記車両の姿勢が変化したか否かを判定する判定ステップとを含む。

本発明に係るプログラムは、車両に配置された複数の撮影装置で前記車両の周辺を撮影した複数の周辺映像を取得する映像取得ステップと、前記映像取得ステップにおいて取得した複数の周辺映像に基づいて、前記車両の姿勢が変化したか否かを判定する判定ステップとを姿勢変化判定装置として動作するコンピュータに実行させる。

本発明によれば、センサを用いずに車両に容易に適用可能で、車両の姿勢が変化した場合に、適切に車両の姿勢の変化を判定することに加え、判定結果に基づき適切に補正された車両周辺の俯瞰映像を提供することができるという効果を奏する。

図１は、第一実施形態に係る俯瞰映像生成システムの構成例を示すブロック図である。 図２は、第一実施形態に係る俯瞰映像生成システムで生成した俯瞰映像を示す図である。 図３は、第一実施形態に係る俯瞰映像生成システムを使用する車両の姿勢を説明する平面図である。 図４は、第一実施形態に係る俯瞰映像生成システムを使用する車両の姿勢を説明する側面図である。 図５は、第一実施形態に係る俯瞰映像生成システムを使用する車両の姿勢を説明する側面図である。 図６は、第一実施形態に係る俯瞰映像生成システムの前方用周辺撮影カメラの姿勢を説明する概略図である。 図７は、第一実施形態に係る俯瞰映像生成システムの姿勢変化判定装置および俯瞰映像生成装置における処理の流れを示すフローチャートである。 図８は、第一実施形態に係る俯瞰映像生成システムの前方用周辺撮影カメラで撮影された映像の一例を示す図である。 図９は、第一実施形態に係る俯瞰映像生成システムの前方用周辺撮影カメラで撮影された映像の他の例を示す図である。 図１０は、第一実施形態に係る俯瞰映像生成システムの前方用周辺撮影カメラで撮影された映像の他の例を示す図である。 図１１は、第一実施形態に係る俯瞰映像生成システムの前方用周辺撮影カメラで撮影された映像の他の例を示す図である。 図１２は、動きベクトルを説明する概略図である。 図１３は、従来の俯瞰映像を示す図である。

以下に添付図面を参照して、本発明に係る姿勢変化判定装置、俯瞰映像生成装置、俯瞰映像生成システム、姿勢変化判定方法およびプログラムの実施形態を詳細に説明する。なお、以下の実施形態により本発明が限定されるものではない。

［第一実施形態］
図１は、第一実施形態に係る俯瞰映像生成システムの構成例を示すブロック図である。図２は、第一実施形態に係る俯瞰映像生成システムで生成した俯瞰映像を示す図である。図３は、第一実施形態に係る俯瞰映像生成システムを使用する車両の姿勢を説明する平面図である。図４は、第一実施形態に係る俯瞰映像生成システムを使用する車両の姿勢を説明する側面図である。図５は、第一実施形態に係る俯瞰映像生成システムを使用する車両の姿勢を説明する側面図である。俯瞰映像生成システム１０は、車両Ｖ（図３ないし図５参照）の周辺の合成映像を生成する。本実施形態では、俯瞰映像生成システム１０は、車両Ｖの俯瞰映像３００（図２参照）を生成する。俯瞰映像生成システム１０が生成する俯瞰映像は、本実施形態では、図２に示すような、車両Ｖを示す仮想自車両画像Ａを含み、車両Ｖを上方から見下ろした俯瞰映像３００であるとして説明する。本実施形態は、車両Ｖは、前進または後退のいずれかの走行中に俯瞰映像３００を表示している状態、および車速がゼロで停車中に俯瞰映像３００を表示している状態のいずれであっても適用可能である。

図１を用いて、俯瞰映像生成システム１０について説明する。俯瞰映像生成システム１０は、車両Ｖの姿勢が変化したと判定した場合、車両Ｖの姿勢の変化に応じて補正した俯瞰映像３００を生成する。俯瞰映像生成システム１０は、車両Ｖに載置されているものに加えて、可搬型で車両Ｖにおいて利用可能な装置であってもよい。

俯瞰映像生成システム１０は、車両Ｖに載置され、表示制御部４６の処理に基づき映像を表示させる表示パネル１０１に映像信号を送信可能に接続されている。俯瞰映像生成システム１０は、車両ＶからＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）などを用いて車両Ｖに関するデータを受信可能に接続されている。本実施形態では、俯瞰映像生成システム１０に、表示パネル１０１を含めていないが含めてもよい。

表示パネル１０１は、例えば、液晶ディスプレイ（Ｌｃｄ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）または有機ＥＬ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ‐Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイを含むディスプレイである。表示パネル１０１は、俯瞰映像生成システム１０の俯瞰映像生成装置４０の表示制御部４６から出力された映像信号に基づいて、俯瞰映像３００を表示する。表示パネル１０１は、俯瞰映像生成システム１０に専用のものであっても、例えば、ナビゲーションシステムを含む他のシステムと共同で使用するものであってもよい。表示パネル１０１は、運転者を含む視認者から視認容易な位置に配置されている。

俯瞰映像生成システム１０は、前方用周辺撮影カメラ（撮影装置）２１と、後方用周辺撮影カメラ（撮影装置）２２と、左側方用周辺撮影カメラ（撮影装置）２３と、右側方用周辺撮影カメラ（撮影装置）２４と、記憶装置３０と、俯瞰映像生成装置４０と、姿勢変化判定装置５０を含む。

図３ないし図５を用いて、前方用周辺撮影カメラ２１と後方用周辺撮影カメラ２２と左側方用周辺撮影カメラ２３と右側方用周辺撮影カメラ２４（以下、「周辺撮影カメラ２１〜周辺撮影カメラ２４」とする）とについて説明する。図３ないし図５において、前方用周辺撮影カメラ２１と左側方用周辺撮影カメラ２３と右側方用周辺撮影カメラ２４とは、誇張して図示されている。図３ないし図５に示す各カメラは、説明を容易にするために水平方向を向いているように記載されているが、実際には、各方向における車両Ｖ近傍の下方を主に撮影可能な向きに設置されている。

前方用周辺撮影カメラ２１は、車両Ｖの前方に配置され、車両Ｖの前方を主とした周辺を撮影する。前方用周辺撮影カメラ２１は、車両Ｖに固定されている。言い換えると、前方用周辺撮影カメラ２１は、車両Ｖに対する取付位置および姿勢が固定されている。このため、車両Ｖの地面や床面を含む接地面に対する姿勢が変化すると、前方用周辺撮影カメラ２１は、接地面に対する姿勢が変化する。図４において、車両Ｖの車軸は、接地面に対して傾かず、接地面に平行な方向に沿って延びている。このとき、前方用周辺撮影カメラ２１の光軸は、接地面と平行な方向に沿って延びている。図４に示す状態を、基準状態とする。図５において、車両Ｖの車軸は、後側から前側に向かって前下がりに、接地面に対して傾いて延びている。このとき、前方用周辺撮影カメラ２１の光軸は、後側から前側に向かって前下がりに、接地面に対して傾いて延びている。

図６を用いて、前方用周辺撮影カメラ２１の姿勢について説明する。図６は、第一実施形態に係る俯瞰映像生成システムの前方用周辺撮影カメラの姿勢を説明する概略図である。前方用周辺撮影カメラ２１の座標系は、前方用周辺撮影カメラ２１の光軸方向をＺ軸、Ｚ軸に垂直な方向をＸ軸、Ｙ軸とし、前方用周辺撮影カメラ２１の中心を座標系の原点とする。前方用周辺撮影カメラ２１の姿勢は、座標（ｘ１、ｙ１、ｚ１）と、Ｘ軸、Ｙ軸、Ｚ軸回りの回転成分（θＸ１、θＹ１、θＺ１）との６軸で特定される。本実施形態では、前方用周辺撮影カメラ２１は、Ｘ軸回りの回転成分であるチルト角θＸ１と、接地面からの高さを示すＹ軸方向の高さｙ１と、Ｚ軸回りの回転成分である回転角θＺ１とが変化する。

前方用周辺撮影カメラ２１は、水平方向の画角が例えば１２０〜１９０°、上下方向の画角が例えば９０〜１２０°である。本実施形態では、前方用周辺撮影カメラ２１は、画角を含む撮影条件は固定されている。前方用周辺撮影カメラ２１は、撮影した周辺映像を俯瞰映像生成装置４０の映像取得部４１へ出力する。前方用周辺撮影カメラ２１が撮影した周辺映像は、例えば、毎秒６０フレームの画像が連続した映像のデータである。

後方用周辺撮影カメラ２２は、車両Ｖの後方に配置され、車両Ｖの後方を主とした周辺を撮影する。後方用周辺撮影カメラ２２は、車両Ｖに固定されている。言い換えると、後方用周辺撮影カメラ２２は、車両Ｖに対する取付位置および姿勢が固定されている。このため、車両Ｖの地面や床面を含む接地面に対する姿勢が変化すると、後方用周辺撮影カメラ２２は、接地面に対する姿勢が変化する。

後方用周辺撮影カメラ２２の姿勢は、後方用周辺撮影カメラ２２の光軸方向をＺ軸、Ｚ軸に垂直な方向をＸ軸、Ｙ軸とし、後方用周辺撮影カメラ２２の中心を座標系の原点として、座標（ｘ２、ｙ２、ｚ２）と、Ｘ軸、Ｙ軸、Ｚ軸回りの回転成分（θＸ２、θＹ２、θＺ２）との６軸で特定される。本実施形態では、後方用周辺撮影カメラ２２は、Ｘ軸回りの回転成分であるチルト角θＸ２と、接地面からの高さを示すＹ軸方向の高さｙ２と、Ｚ軸回りの回転成分である回転角θＺ２とが変化する。

後方用周辺撮影カメラ２２は、水平方向の画角が例えば１２０〜１９０°、上下方向の画角が例えば９０〜１２０°である。後方用周辺撮影カメラ２２は、撮影した周辺映像を俯瞰映像生成装置４０の映像取得部４１へ出力する。後方用周辺撮影カメラ２２で撮影された周辺映像は、例えば、毎秒６０フレームの画像が連続した映像のデータである。

左側方用周辺撮影カメラ２３は、車両Ｖの左側方に配置され、車両Ｖの左側方を主とした周辺を撮影する。左側方用周辺撮影カメラ２３は、車両Ｖに固定されている。言い換えると、左側方用周辺撮影カメラ２３は、車両Ｖに対する取付位置および姿勢が固定されている。このため、車両Ｖの地面や床面を含む接地面に対する姿勢が変化すると、左側方用周辺撮影カメラ２３は、接地面に対する姿勢が変化する。

左側方用周辺撮影カメラ２３の姿勢は、左側方用周辺撮影カメラ２３の光軸方向をＺ軸、Ｚ軸に垂直な方向をＸ軸、Ｙ軸とし、左側方用周辺撮影カメラ２３の中心を座標系の原点として、座標（ｘ３、ｙ３、ｚ３）と、Ｘ軸、Ｙ軸、Ｚ軸回りの回転成分（θＸ３、θＹ３、θＺ３）との６軸で特定される。本実施形態では、左側方用周辺撮影カメラ２３は、Ｘ軸回りの回転成分であるチルト角θＸ３と、接地面からの高さを示すＹ軸方向の高さｙ３と、Ｚ軸回りの回転成分である回転角θＺ３とが変化する。

左側方用周辺撮影カメラ２３は、水平方向の画角が例えば１２０〜１９０°、上下方向の画角が例えば９０〜１２０°である。左側方用周辺撮影カメラ２３は、撮影した周辺映像を俯瞰映像生成装置４０の映像取得部４１へ出力する。左側方用周辺撮影カメラ２３で撮影された周辺映像は、例えば、毎秒６０フレームの画像が連続した映像のデータである。

右側方用周辺撮影カメラ２４は、車両Ｖの右側方に配置され、車両Ｖの右側方を主とした周辺を撮影する。右側方用周辺撮影カメラ２４は、車両Ｖに固定されている。言い換えると、右側方用周辺撮影カメラ２４は、車両Ｖに対する取付位置および姿勢が固定されている。このため、車両Ｖの地面や床面を含む接地面に対する姿勢が変化すると、右側方用周辺撮影カメラ２４は、接地面に対する姿勢が変化する。

右側方用周辺撮影カメラ２４の姿勢は、右側方用周辺撮影カメラ２４の光軸方向をＺ軸、Ｚ軸に垂直な方向をＸ軸、Ｙ軸とし、右側方用周辺撮影カメラ２４の中心を座標系の原点として、座標（ｘ４、ｙ４、ｚ４）と、Ｘ軸、Ｙ軸、Ｚ軸回りの回転成分（θＸ４、θＹ４、θＺ４）との６軸で特定される。本実施形態では、右側方用周辺撮影カメラ２４は、Ｘ軸回りの回転成分であるチルト角θＸ４と、接地面からの高さを示すＹ軸方向の高さｙ４と、Ｚ軸回りの回転成分である回転角θＺ４とが変化する。

右側方用周辺撮影カメラ２４は、水平方向の画角が例えば１２０〜１９０°、上下方向の画角が例えば９０〜１２０°である。右側方用周辺撮影カメラ２４は、撮影した周辺映像を俯瞰映像生成装置４０の映像取得部４１へ出力する。右側方用周辺撮影カメラ２４で撮影された周辺映像は、例えば、毎秒６０フレームの画像が連続した映像のデータである。

図１に戻って、記憶装置３０は、俯瞰映像生成装置４０における各種処理に要するデータおよび各種処理結果を記憶する。記憶装置３０は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ（Ｆｌａｓｈ Ｍｅｍｏｒｙ）などの半導体メモリ素子、または、ハードディスク、光ディスクなどの記憶装置である。

記憶装置３０は、映像取得部４１で取得した最新フレームの周辺映像と、直前フレームの周辺映像とを記憶する。

記憶装置３０は、前方用周辺撮影カメラ２１で撮影された２つの周辺映像における消失点Ｐの高さ方向の差（高さ方向の変化量）と、前方用周辺撮影カメラ２１のチルト角θＸ１の差（チルト角θＸ１の変化量）とを対応付けてチルト角変化データとして記憶している。記憶装置３０は、後方用周辺撮影カメラ２２で撮影された２つの周辺映像における消失点Ｐの高さ方向の差と、後方用周辺撮影カメラ２２のチルト角θＸ２の差（チルト角θＸ２の変化量）とを対応付けてチルト角変化データとして記憶している。記憶装置３０は、左側方用周辺撮影カメラ２３で撮影された２つの周辺映像における消失点Ｐの高さ方向の差と、左側方用周辺撮影カメラ２３のチルト角θＸ３の差（チルト角θＸ３の変化量）とを対応付けてチルト角変化データとして記憶している。記憶装置３０は、右側方用周辺撮影カメラ２４で撮影された２つの周辺映像における消失点Ｐの高さ方向の差と、右側方用周辺撮影カメラ２４のチルト角θＸ４の差（チルト角θＸ４の変化量）とを対応付けてチルト角変化データとして記憶している。これらより、２つの周辺映像における消失点Ｐの高さ方向の差がわかれば、チルト角変化データを参照することにより、２つの周辺映像を撮影したカメラのチルト角θＸ１〜チルト角θＸ４の差を取得可能である。

俯瞰映像生成装置４０は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などで構成された演算処理装置である。俯瞰映像生成装置４０は、記憶装置３０に記憶されているプログラムをメモリにロードして、プログラムに含まれる命令を実行する。俯瞰映像生成装置４０は、映像取得部４１と、車両情報取得部４２と、姿勢変化判定部４４と俯瞰映像生成部４５と表示制御部４６とを有する制御部４３と、を備える。

姿勢変化判定装置５０は、例えば、ＣＰＵなどで構成された演算処理装置である。姿勢変化判定装置５０は、記憶装置３０に記憶されているプログラムをメモリにロードして、プログラムに含まれる命令を実行する。姿勢変化判定装置５０は、俯瞰映像生成装置４０の一部の機能を実現している。具体的には、姿勢変化判定装置５０は、映像取得部４１と、姿勢変化判定部４４を有する制御部４３とを備える。

映像取得部４１は、車両Ｖの周辺を撮影した周辺映像を取得する。より詳しくは、映像取得部４１は、周辺撮影カメラ２１〜周辺撮影カメラ２４が出力した周辺映像を取得する。映像取得部４１は、取得した周辺映像を姿勢変化判定部４４と俯瞰映像生成部４５とに出力する。

車両情報取得部４２は、車両Ｖに備えられたＣＡＮに接続されＯＢＤ（Ｏｎ Ｂｏａｒｄ Ｄｉａｇｎｏｓｉｓ）IIデータなどを取得することで、車両Ｖにおける様々な情報を取得する。車両情報取得部４２は、車両Ｖの情報として、例えばシフトポジション情報、車速情報を取得する。車両情報取得部４２は、取得した車両情報を制御部４３に出力する。

制御部４３は、車両情報取得部４２で取得した車両情報に基づいて、俯瞰映像３００の表示を開始するための任意の条件を満たすと判定されたとき、俯瞰映像３００を生成し、表示パネル１０１に出力する。任意の条件とは、例えば、シフトポジションがリバースギアである情報を取得した場合や走行速度が所定未満となった場合、または、俯瞰映像３００の表示を開始する操作が入力されたことを検出した場合などである。制御部４３は、映像取得部４１で取得した周辺映像から車両Ｖの姿勢の変化を判定する姿勢変化判定部４４と、映像取得部４１で取得した周辺映像を、視点変換するとともに姿勢変化判定部４４の判定結果に基づき補正した俯瞰映像３００を生成する俯瞰映像生成部４５と、俯瞰映像生成部４５で生成した俯瞰映像３００を表示パネル１０１に出力する表示制御部４６とを有する。

姿勢変化判定部４４は、映像取得部４１で取得した周辺映像から車両Ｖの姿勢の変化を判定する。より詳しくは、姿勢変化判定部４４は、映像取得部４１で取得した複数の周辺映像に基づいて、周辺撮影カメラ２１〜周辺撮影カメラ２４のチルト角θＸ１〜チルト角θＸ４の変化量、高さｙ１〜高さｙ４の変化量、回転角θＺ１〜回転角θＺ４の変化量をそれぞれ算出する。そして、姿勢変化判定部４４は、映像取得部４１で取得した複数の周辺映像に基づいて、周辺撮影カメラ２１〜周辺撮影カメラ２４のチルト角θＸ１〜チルト角θＸ４の変化量、高さｙ１〜高さｙ４の変化量、回転角θＺ１〜回転角θＺ４の変化量に基づいて、車両Ｖの姿勢が変化したか否かを判定する。

俯瞰映像生成部４５は、通常処理として、映像取得部４１で取得した周辺映像を、車両Ｖの上方から見たような映像となるように視点変換して、車両Ｖを上方から見た仮想自車両画像Ａを合成して俯瞰映像３００を生成する。俯瞰映像生成部４５は、周辺撮影カメラ２１〜周辺撮影カメラ２４で撮影された周辺映像に基づいて、俯瞰映像３００を生成する。俯瞰映像３００を生成する方法は、公知のいずれの方法でもよく、限定されない。俯瞰映像生成部４５は、生成した俯瞰映像３００を表示制御部４６に出力する。

ここで、通常処理において、周辺撮影カメラ２１〜周辺撮影カメラ２４は、図４に示す基準状態である。基準状態において、周辺撮影カメラ２１〜周辺撮影カメラ２４は、車両Ｖの予め設定された高さに位置し、Ｘ軸とＺ軸とが接地面と平行な方向に沿って延び、Ｙ軸が接地面と直交する方向に延びている。

俯瞰映像３００には、仮想自車両画像Ａ、および、前方映像３０１と後方映像３０２と左側方映像３０３と右側方映像３０４との少なくともいずれか一つを含む。本実施形態では、俯瞰映像３００は、矩形状に生成される。俯瞰映像３００は、前方映像３０１を表示する第一範囲Ｆ１と、後方映像３０２を表示する第二範囲Ｆ２と、左側方映像３０３を表示する第三範囲Ｆ３と、右側方映像３０４を表示する第四範囲Ｆ４との少なくともいずれか一つを含む。本実施形態では、俯瞰映像３００は、第一範囲Ｆ１と第二範囲Ｆ２と第三範囲Ｆ３と第四範囲Ｆ４とを含む。

俯瞰映像生成部４５は、補正処理として、姿勢変化判定部４４の判定結果が周辺撮影カメラ２１〜周辺撮影カメラ２４の少なくともいずれかの姿勢が変化したと判定されたとき、映像取得部４１で取得した周辺映像を、周辺撮影カメラ２１〜周辺撮影カメラ２４の姿勢の変化に応じて補正し、かつ、車両Ｖの上方から見た映像に視点変換して、車両Ｖを上方から見た仮想自車両画像Ａを合成して俯瞰映像３００を生成する。俯瞰映像生成部４５は、生成した俯瞰映像３００を表示制御部４６に出力する。

ここで、補正処理において、周辺映像を周辺撮影カメラ２１〜周辺撮影カメラ２４の姿勢の変化に応じて補正し、かつ、車両Ｖの上方から見た映像に視点変換するとは、例えば、周辺映像の撮影位置の基準状態とのずれを考慮して、視点変換を行うことである。ここで言う周辺撮影カメラ２１〜周辺撮影カメラ２４の姿勢の変化とは、車両Ｖが平面の地面上に存在する場合に対して、地面の凹凸などにより周辺撮影カメラ２１〜周辺撮影カメラ２４の各々の地面に対する高さがずれることである。このようなずれは、例えば車両Ｖが備える複数の車輪のうち一部の車輪が段差を乗り越えている途中や、一部の車輪が異なる傾斜に差し掛かったとき、または、車両Ｖの乗員や積載物により車両Ｖが水平とはならない荷重がかかっているときなどである。

表示制御部４６は、俯瞰映像生成部４５で生成した俯瞰映像３００を表示パネル１０１に出力する。

次に、図７を用いて、俯瞰映像生成システム１０の姿勢変化判定装置５０および俯瞰映像生成装置４０における処理の流れについて説明する。図７は、第一実施形態に係る俯瞰映像生成システムの姿勢変化判定装置および俯瞰映像生成装置における処理の流れを示すフローチャートである。

制御部４３は、姿勢を算出する（ステップＳ１）。より詳しくは、制御部４３は、姿勢変化判定部４４に、映像取得部４１で取得した複数の周辺映像に基づいて、周辺撮影カメラ２１〜周辺撮影カメラ２４のチルト角θＸ１〜チルト角θＸ４の変化量、高さｙ１〜高さｙ４の変化量、回転角θＺ１〜回転角θＺ４の変化量をそれぞれ算出させる。

制御部４３は、姿勢変化判定部４４に、映像取得部４１で取得した、周辺撮影カメラ２１〜周辺撮影カメラ２４で撮影された周辺映像に基づいて、周辺撮影カメラ２１〜周辺撮影カメラ２４のチルト角θＸ１〜チルト角θＸ４の変化量をそれぞれ算出させる。

図８、図９を用いて、前方用周辺撮影カメラ２１のチルト角θＸ１の変化量の算出について説明する。図８は、第一実施形態に係る俯瞰映像生成システムの前方用周辺撮影カメラで撮影された映像の一例を示す図である。図９は、第一実施形態に係る俯瞰映像生成システムの前方用周辺撮影カメラで撮影された映像の他の例を示す図である。周辺映像２０１と周辺映像２０２とは、前方用周辺撮影カメラ２１で、所定フレーム差で撮影された周辺映像である。例えば、周辺映像２０１は、直前フレームの周辺映像であり、周辺映像２０２は、最新フレームの周辺映像である。

制御部４３は、姿勢変化判定部４４に、映像取得部４１で取得した、前方用周辺撮影カメラ２１で、所定フレーム差で撮影された周辺映像に基づいて、前方用周辺撮影カメラ２１のチルト角θＸ１の変化量を算出させる。

より詳しくは、制御部４３は、姿勢変化判定部４４に、図８に示す周辺映像２０１において、例えば、路面標示または道路の設置物または建物など、接地面と平行な方向に直線状に延びる被撮影物２１１、被撮影物２１２、被撮影物２１３、被撮影物２１４、被撮影物２１５を抽出させる。路面標示は、例えば、車道中央線、車線境界線、車道外側線、路側帯の各表示が含まれる。道路の設置物は、例えば、ガードレール、側壁、縁石などの設置物が含まれる。被撮影物２１１、被撮影物２１２、被撮影物２１３は、車線である。被撮影物２１４は、縁石である。被撮影物２１５は、側壁である。そして、制御部４３は、姿勢変化判定部４４に、周辺映像２０１において、被撮影物２１１、被撮影物２１２、被撮影物２１３、被撮影物２１４、被撮影物２１５に対応する直線を延長させる。そして、制御部４３は、姿勢変化判定部４４に、直線の交点を周辺映像２０１の消失点ＰＡとして特定させる。そして、制御部４３は、姿勢変化判定部４４に、図９に示す周辺映像２０２の消失点ＰＢを同様に特定させる。そして、制御部４３は、姿勢変化判定部４４に、周辺映像２０１の消失点ＰＡと、周辺映像２０２の消失点ＰＢとの高さ方向の差を取得させる。そして、制御部４３は、姿勢変化判定部４４に、記憶装置３０に記憶されたチルト角変化データに基づいて、消失点ＰＡと消失点ＰＢとの高さ方向の差に対応する、前方用周辺撮影カメラ２１のチルト角θＸ１の変化量を取得させる。

制御部４３は、このような処理を、後方用周辺撮影カメラ２２と左側方用周辺撮影カメラ２３と右側方用周辺撮影カメラ２４とのそれぞれに行い、後方用周辺撮影カメラ２２のチルト角θＸ２の変化量と、左側方用周辺撮影カメラ２３のチルト角θＸ３の変化量と、右側方用周辺撮影カメラ２４のチルト角θＸ４の変化量とを取得する。

制御部４３は、姿勢変化判定部４４に、映像取得部４１で取得した、周辺撮影カメラ２１〜周辺撮影カメラ２４で撮影された周辺映像に基づいて、周辺撮影カメラ２１〜周辺撮影カメラ２４の高さｙ１〜高さｙ４の変化量を算出させる。

図１０ないし図１２を用いて、前方用周辺撮影カメラ２１の高さｙ１の変化量の算出について説明する。図１０は、第一実施形態に係る俯瞰映像生成システムの前方用周辺撮影カメラで撮影された映像の他の例を示す図である。図１１は、第一実施形態に係る俯瞰映像生成システムの前方用周辺撮影カメラで撮影された映像の他の例を示す図である。図１２は、動きベクトルを説明する概略図である。周辺映像２０３と周辺映像２０４とは、前方用周辺撮影カメラ２１で、所定フレーム差で撮影された映像である。例えば、周辺映像２０３は、直前フレームの周辺映像であり、周辺映像２０４は、最新フレームの周辺映像である。

制御部４３は、姿勢変化判定部４４に、映像取得部４１で取得した、前方用周辺撮影カメラ２１で、所定フレーム差で撮影された周辺映像に基づいて、前方用周辺撮影カメラ２１の高さｙ１の変化量を算出させる。

より詳しくは、制御部４３は、姿勢変化判定部４４に、図１０に示す周辺映像２０３において、前方用周辺撮影カメラ２１の直下に位置する被撮影物２１６Ａを抽出させる。前方用周辺撮影カメラ２１の直下に位置する被撮影物２１６Ａは、例えば、周辺映像２０３の下側中央の領域に含まれる映像の特徴点を抽出してもよい。そして、制御部４３は、姿勢変化判定部４４に、図１１に示す周辺映像２０４において、パターンマッチングを行わせ、被撮影物２１６Ａに対応する被撮影物２１６Ｂを抽出させる。そして、制御部４３は、姿勢変化判定部４４に、図１２に示すように、被撮影物２１６Ａと被撮影物２１６Ｂとに基づいて、動きベクトルを抽出させる。そして、制御部４３は、姿勢変化判定部４４に、抽出した動きベクトルから、前方用周辺撮影カメラ２１の高さｙ１の変化量を取得させる。なお、本実施形態では、車両Ｖは停車しているため、抽出した動きベクトルは、前方用周辺撮影カメラ２１の高さｙ１の変化量を表している。

ここで、動きベクトルについて説明する。動きベクトルは、カメラの動きによって画像が平行移動したとき、画像の平行移動量を示すベクトルである。動きベクトルを抽出する方法は、公知のいずれの方法でもよく、限定されない。

制御部４３は、このような処理を、後方用周辺撮影カメラ２２と左側方用周辺撮影カメラ２３と右側方用周辺撮影カメラ２４とのそれぞれに行い、後方用周辺撮影カメラ２２の高さｙ２の変化量と、左側方用周辺撮影カメラ２３の高さｙ３の変化量と、右側方用周辺撮影カメラ２４の高さｙ４の変化量とを取得する。

制御部４３は、姿勢変化判定部４４に、映像取得部４１で取得した、周辺撮影カメラ２１〜周辺撮影カメラ２４で撮影された周辺映像に基づいて、周辺撮影カメラ２１〜周辺撮影カメラ２４の回転角θＺ１〜回転角θＺ４の変化量を算出させる。

より詳しくは、制御部４３は、姿勢変化判定部４４に、左側方用周辺撮影カメラ２３のチルト角θＸ３の変化量および高さｙ３の変化量と、右側方用周辺撮影カメラ２４のチルト角θＸ４の変化量および高さｙ４の変化量との少なくともどちらかに基づいて、前方用周辺撮影カメラ２１の回転角θＺ１の変化量を算出させる。

制御部４３は、姿勢変化判定部４４に、左側方用周辺撮影カメラ２３のチルト角θＸ３の変化量および高さｙ３の変化量と、右側方用周辺撮影カメラ２４のチルト角θＸ４の変化量および高さｙ４の変化量との少なくともどちらかに基づいて、後方用周辺撮影カメラ２２の回転角θＺ２の変化量を算出させる。

制御部４３は、姿勢変化判定部４４に、前方用周辺撮影カメラ２１のチルト角θＸ１の変化量および高さｙ１の変化量と、後方用周辺撮影カメラ２２のチルト角θＸ２の変化量および高さｙ２の変化量との少なくともどちらかに基づいて、左側方用周辺撮影カメラ２３の回転角θＺ３の変化量を算出させる。

制御部４３は、姿勢変化判定部４４に、前方用周辺撮影カメラ２１のチルト角θＸ１の変化量および高さｙ１の変化量と、後方用周辺撮影カメラ２２のチルト角θＸ２の変化量および高さｙ２の変化量との少なくともどちらかに基づいて、右側方用周辺撮影カメラ２４の回転角θＺ４の変化量を算出させる。

制御部４３は、姿勢が変化したか否かを判定する（ステップＳ２）。制御部４３は、姿勢変化判定部４４に、周辺撮影カメラ２１〜周辺撮影カメラ２４の、チルト角θＸ１〜チルト角θＸ４と高さｙ１〜高さｙ４と回転角θＺ１〜回転角θＺ４との少なくともいずれかが変化した場合、姿勢が変化した（Ｙｅｓ）と判定させる。制御部４３は、姿勢変化判定部４４に、周辺撮影カメラ２１〜周辺撮影カメラ２４の、チルト角θＸ１〜チルト角θＸ４と高さｙ１〜高さｙ４と回転角θＺ１〜回転角θＺ４とのいずれも変化していない場合、姿勢が変化していない（Ｎｏ）と判定させる。

制御部４３は、姿勢変化判定部４４で、姿勢が変化していないと判定された場合（ステップＳ２でＮｏ）、ステップＳ３に進む。

制御部４３は、姿勢変化判定部４４で、姿勢が変化したと判定された場合（ステップＳ２でＹｅｓ）、ステップＳ４に進む。

制御部４３は、俯瞰映像生成部４５に、通常処理として俯瞰映像３００を生成させる（ステップＳ３）。より詳しくは、制御部４３は、俯瞰映像生成部４５に、映像取得部４１で取得した周辺映像を、車両Ｖの上方から見た映像に視点変換させて、車両Ｖを上方から見た仮想自車両画像Ａを合成させて俯瞰映像３００を生成させる。

制御部４３は、俯瞰映像生成部４５に、補正処理として補正した俯瞰映像３００を生成させる（ステップＳ４）。より詳しくは、制御部４３は、俯瞰映像生成部４５に、映像取得部４１で取得した周辺映像を、周辺撮影カメラ２１〜周辺撮影カメラ２４の姿勢の変化に応じて補正させて、かつ、車両Ｖの上方から見た映像に視点変換させて、車両Ｖを上方から見た仮想自車両画像Ａを合成させて俯瞰映像３００を生成させる。

具体的には、まず、制御部４３は、姿勢変化判定部４４に、前方用周辺撮影カメラ２１のチルト角θＸ１と高さｙ１と回転角θＺ１との少なくともいずれかが変化したか否かを判定させる。制御部４３は、俯瞰映像生成部４５に、姿勢変化判定部４４において前方用周辺撮影カメラ２１のチルト角θＸ１と高さｙ１と回転角θＺ１との少なくともいずれかが変化したと判定されている場合、前方用周辺撮影カメラ２１で撮影された周辺映像を、前方用周辺撮影カメラ２１の姿勢の変化に応じて補正させて、かつ、車両Ｖの上方から見た映像に視点変換した前方映像３０１を生成させる。制御部４３は、俯瞰映像生成部４５に、姿勢変化判定部４４において前方用周辺撮影カメラ２１のチルト角θＸ１と高さｙ１と回転角θＺ１とのいずれも変化していないと判定されている場合、前方用周辺撮影カメラ２１で撮影された周辺映像を、車両Ｖの上方から見た映像に視点変換した前方映像３０１を生成させる。

制御部４３は、姿勢変化判定部４４に、後方用周辺撮影カメラ２２のチルト角θＸ２と高さｙ２と回転角θＺ２との少なくともいずれかが変化したか否かを判定させる。制御部４３は、俯瞰映像生成部４５に、姿勢変化判定部４４において後方用周辺撮影カメラ２２のチルト角θＸ２と高さｙ２と回転角θＺ２との少なくともいずれかが変化したと判定されている場合、後方用周辺撮影カメラ２２で撮影された周辺映像を、後方用周辺撮影カメラ２２の姿勢の変化に応じて補正させて、かつ、車両Ｖの上方から見た映像に視点変換した後方映像３０２を生成させる。制御部４３は、俯瞰映像生成部４５に、姿勢変化判定部４４において後方用周辺撮影カメラ２２のチルト角θＸ２と高さｙ２と回転角θＺ２とのいずれも変化していないと判定されている場合、後方用周辺撮影カメラ２２で撮影された周辺映像を、車両Ｖの上方から見た映像に視点変換した後方映像３０２を生成させる。

制御部４３は、姿勢変化判定部４４に、左側方用周辺撮影カメラ２３のチルト角θＸ３と高さｙ３と回転角θＺ３との少なくともいずれかが変化したか否かを判定させる。制御部４３は、俯瞰映像生成部４５に、姿勢変化判定部４４において左側方用周辺撮影カメラ２３のチルト角θＸ３と高さｙ３と回転角θＺ３との少なくともいずれかが変化したと判定されている場合、左側方用周辺撮影カメラ２３で撮影された周辺映像を、左側方用周辺撮影カメラ２３の姿勢の変化に応じて補正させて、かつ、車両Ｖの上方から見た映像に視点変換した左側方映像３０３を生成させる。制御部４３は、俯瞰映像生成部４５に、姿勢変化判定部４４において左側方用周辺撮影カメラ２３のチルト角θＸ３と高さｙ３と回転角θＺ３とのいずれも変化していないと判定されている場合、左側方用周辺撮影カメラ２３で撮影された周辺映像を、車両Ｖの上方から見た映像に視点変換した左側方映像３０３を生成させる。

制御部４３は、姿勢変化判定部４４に、右側方用周辺撮影カメラ２４のチルト角θＸ４と高さｙ４と回転角θＺ４との少なくともいずれかが変化したか否かを判定させる。制御部４３は、俯瞰映像生成部４５に、姿勢変化判定部４４において右側方用周辺撮影カメラ２４のチルト角θＸ４と高さｙ４と回転角θＺ４との少なくともいずれかが変化したと判定されている場合、右側方用周辺撮影カメラ２４で撮影された周辺映像を、右側方用周辺撮影カメラ２４の姿勢の変化に応じて補正させて、かつ、車両Ｖの上方から見た映像に視点変換した右側方映像３０４を生成させる。制御部４３は、俯瞰映像生成部４５に、姿勢変化判定部４４において右側方用周辺撮影カメラ２４のチルト角θＸ４と高さｙ４と回転角θＺ４とのいずれも変化していないと判定されている場合、右側方用周辺撮影カメラ２４で撮影された周辺映像を、車両Ｖの上方から見た映像に視点変換した右側方映像３０４を生成させる。

そして、制御部４３は、俯瞰映像生成部４５に、前方映像３０１と後方映像３０２と左側方映像３０３と右側方映像３０４とを合成させ、車両Ｖを上方から見た仮想自車両画像Ａを合成させた俯瞰映像３００を生成させる。各々のカメラの姿勢の変化に応じた補正とは、周辺映像の切出し範囲の変更や切出し位置の変更である。

制御部４３は、俯瞰映像３００を表示する（ステップＳ５）。より詳しくは、制御部４３は、表示制御部４６に、ステップＳ３で生成した俯瞰映像３００、または、ステップＳ４で生成した俯瞰映像３００を表示パネル１０１に表示させる。

このようにして、俯瞰映像生成システム１０は、俯瞰映像３００を生成して、車両Ｖに搭載された表示パネル１０１に映像信号を出力する。表示パネル１０１は、俯瞰映像生成システム１０から出力された映像信号に基づいて、例えば、ナビゲーションとともに俯瞰映像３００を表示する。

上述したように、本実施形態によれば、周辺撮影カメラ２１〜周辺撮影カメラ２４の少なくともいずれかの姿勢が変化したとき、映像取得部４１で取得した周辺映像を、周辺撮影カメラ２１〜周辺撮影カメラ２４の姿勢の変化に応じて補正し、かつ、車両Ｖの上方から見た映像に視点変換して、車両Ｖを上方から見た仮想自車両画像Ａを合成して俯瞰映像３００を生成することができる。

本実施形態は、例えば、乗員の乗降または荷物の積み込みや、ブレーキ操作、段差の乗り越えや傾斜への侵入などによって車両Ｖが沈み込んだ場合などであっても、周辺撮影カメラ２１〜周辺撮影カメラ２４の姿勢の変化に応じて補正して、適切な俯瞰映像３００を生成することができる。

ここで、比較のために、図１３を用いて、車両Ｖが沈み込んだ場合における、従来の俯瞰映像３００について説明する。図１３は、従来の俯瞰映像を示す図である。図１３は、例えば、停車中の車両Ｖの前側に乗員が乗り込んで、車両Ｖの前側が沈み込んだ状態の俯瞰映像３００を示す。前方用周辺撮影カメラ２１の高さｙ１は、車両Ｖが沈み込む前に比べて低くなっている。なお、説明を簡単にするため、後方用周辺撮影カメラ２２と左側方用周辺撮影カメラ２３と右側方用周辺撮影カメラ２４とは、高さｙ２〜高さｙ４が変化してないものとする。このため、俯瞰映像３００においては、前方映像３０１と、左側方映像３０３および右側方映像３０４の繋ぎ目が不連続になっている。言い換えると、俯瞰映像３００は、第一範囲Ｆ１と、第三範囲Ｆ３および第四範囲Ｆ４との境界が不連続で、歪んでいる。このように、俯瞰映像３００は、駐車枠線Ｌが不連続で、歪んでいる。

これに対して、本実施形態によれば、図２に示すように、俯瞰映像３００は、駐車枠線Ｌが連続で、歪みが抑制されている。このように、本実施形態によれば、例えば、車両Ｖの前側が沈み込んで、周辺撮影カメラ２１〜周辺撮影カメラ２４の姿勢が変化した場合であっても、合成する周辺映像の繋ぎ目が滑らかに連続して、歪みが抑制された俯瞰映像３００を生成することができる。本実施形態によれば、車両Ｖの姿勢が変化しても、適切な車両周辺の俯瞰映像３００を提供することができる。

本実施形態によれば、映像取得部４１で取得した周辺映像に基づいて、周辺撮影カメラ２１〜周辺撮影カメラ２４の姿勢が変化したか否かを判定することができる。言い換えると、本実施形態は、車両Ｖに姿勢の変化を検知するセンサを配置せずに、周辺撮影カメラ２１〜周辺撮影カメラ２４の姿勢が変化したか否かを判定することができる。また、本実施形態は、映像取得部４１で取得した周辺映像に基づいて、周辺撮影カメラ２１〜周辺撮影カメラ２４の姿勢の変化を算出することができる。このように、本実施形態は、車両Ｖ側にセンサなどを取り付けなくてよいため、車両Ｖに容易に適用することができる。

［第二実施形態］
本実施形態の俯瞰映像生成システム１０は、車両情報取得部４２が、ＣＡＮを介して車速情報を取得する点と、制御部４３における処理とが、第一実施形態の俯瞰映像生成システム１０と異なる。本実施形態では、車両Ｖが停車している場合には限らないものとする。

車両情報取得部４２は、車両Ｖに備えられたＣＡＮに接続されＯＢＤIIデータなどを取得することで、車両Ｖのシフトポジション情報および車両Ｖの車速情報を取得する。

制御部４３は、所定フレーム差で撮影された周辺映像に基づいて、動きベクトルを抽出する際に、車両Ｖの移動に基づく動きベクトルの成分を除外して、前方用周辺撮影カメラ２１の高さ方向の変化の動きベクトルのみを抽出する。車両Ｖの水平方向の平行移動に基づく動きベクトルは、カメラの高さ方向（垂直方向）の動きによって画像が高さ方向に平行移動したときの動きベクトルとは、方向が異なる。このため、所定フレーム差で撮影された周辺映像に基づいて、動きベクトルを抽出する際に、車両Ｖの移動に基づく動きベクトルの成分を容易に除外することができる。または、車両Ｖの移動に基づく動きベクトルは、車両情報取得部４２で取得した車速に基づいて算出してもよい。

上述したように、本実施形態によれば、車両Ｖが停車しているか移動しているかに関わらず、周辺撮影カメラ２１〜周辺撮影カメラ２４の姿勢の変化に応じて補正し、適切な車両周辺の俯瞰映像３００を提供することができる。

さて、これまで本発明に係る俯瞰映像生成システム１０について説明したが、上述した実施形態以外にも種々の異なる形態にて実施されてよいものである。

図示した俯瞰映像生成システム１０の各構成要素は、機能概念的なものであり、必ずしも物理的に図示の如く構成されていなくてもよい。すなわち、各装置の具体的形態は、図示のものに限られず、各装置の処理負担や使用状況などに応じて、その全部または一部を任意の単位で機能的または物理的に分散または統合してもよい。

俯瞰映像生成システム１０の構成は、例えば、ソフトウェアとして、メモリにロードされたプログラムなどによって実現される。上記実施形態では、これらのハードウェアまたはソフトウェアの連携によって実現される機能ブロックとして説明した。すなわち、これらの機能ブロックについては、ハードウェアのみ、ソフトウェアのみ、または、それらの組み合わせによって種々の形で実現できる。

上記に記載した構成要素には、当業者が容易に想定できるもの、実質的に同一のものを含む。さらに、上記に記載した構成は適宜組み合わせが可能である。また、本発明の要旨を逸脱しない範囲において構成の種々の省略、置換または変更が可能である。

制御部４３は、周辺撮影カメラ２１〜周辺撮影カメラ２４で撮影された周辺映像における消失点Ｐの高さの変化に基づいて、周辺撮影カメラ２１〜周辺撮影カメラ２４のチルト角θＸ１〜チルト角θＸ４の変化量を取得するものとしたが、これに限定されるものではない。制御部４３は、例えば、周辺撮影カメラ２１〜周辺撮影カメラ２４で撮影された周辺映像における、車両Ｖの接地面が無限遠で収束する収束線の位置（収束位置）の変化に基づいて、周辺撮影カメラ２１〜周辺撮影カメラ２４のチルト角θＸ１〜チルト角θＸ４の変化量を取得してもよい。収束線は、例えば、地平線や水平線である。この場合、記憶装置３０は、周辺撮影カメラ２１〜周辺撮影カメラ２４で、所定フレーム差で撮影された２つの周辺映像における収束線の位置の差と、周辺撮影カメラ２１〜周辺撮影カメラ２４のチルト角θＸ１〜チルト角θＸ４の差とを対応付けてチルト角変化データとして記憶している。

姿勢変化判定部４４は、例えば、チルト角θＸ１〜チルト角θＸ４の変化量が所定値以上となったら、チルト角θＸ１〜チルト角θＸ４が変化したと判定してもよい。姿勢変化判定部４４は、例えば、高さｙ１〜高さｙ４の変化量が所定値以上となったら、高さｙ１〜高さｙ４が変化したと判定してもよい。姿勢変化判定部４４は、例えば、回転角θＺ１〜回転角θＺ４の変化量が所定値以上となったら、回転角θＺ１〜回転角θＺ４が変化したと判定してもよい。このようにすることにより、周辺撮影カメラ２１〜周辺撮影カメラ２４の姿勢がわずかな変化を継続しているような場合に、俯瞰映像生成システム１０における処理の負荷を低減することができる。

１０ 俯瞰映像生成システム
２１ 前方用周辺撮影カメラ（撮影装置）
２２ 後方用周辺撮影カメラ（撮影装置）
２３ 左側方用周辺撮影カメラ（撮影装置）
２４ 右側方用周辺撮影カメラ（撮影装置）
３０ 記憶装置
４０ 俯瞰映像生成装置
４１ 映像取得部
４２ 車両情報取得部
４３ 制御部
４４ 姿勢変化判定部
４５ 俯瞰映像生成部
４６ 表示制御部
５０ 姿勢変化判定装置
１０１ 表示パネル
３００ 俯瞰映像（合成映像）
Ａ 仮想自車両画像
Ｐ 消失点
Ｖ 車両

Claims (10)

1. 車両の前後左右に向けて配置された複数の撮影装置で前記車両の周辺を撮影した複数の周辺映像を取得する映像取得部と、
   前記映像取得部が取得した複数の周辺映像に基づき、前記車両の姿勢が変化したか否かを判定する姿勢変化判定部と、
   を備え、
   前記姿勢変化判定部は、前記周辺映像における奥行方向に延びる直線が収束する収束位置の変化に基づいて、前記撮影装置のチルト角の変化量を算出し、前記周辺映像における特徴点の位置の変化に基づいて、動きベクトルを抽出して前記撮影装置の高さの変化量を算出し、向きの異なる他の前記撮影装置のチルト角の変化量と他の前記撮影装置の高さの変化量とに基づいて、前記撮影装置の回転角の変化量を算出し、前記車両の姿勢が変化したか否かを判定することを特徴とする姿勢変化判定装置。
2. 前記姿勢変化判定部は、前記車両の前方または後方に向けて配置された撮影装置の回転角の変化量を、前記車両の右方または左方に向けて配置された撮影装置のチルト角の変化量と他の前記撮影装置の高さの変化量とに基づいて算出する、
   請求項１に記載の姿勢変化判定装置。
3. 前記姿勢変化判定部は、前記車両の左方または右方に向けて配置された撮影装置の回転角の変化量を、前記車両の前方または後方に向けて配置された撮影装置のチルト角の変化量と他の前記撮影装置の高さの変化量とに基づいて算出する、
   請求項１に記載の姿勢変化判定装置。
4. 前記収束位置は、前記周辺映像において、前記車両の接地する接地面と平行な方向に直線状に延びる複数の被撮影物を延長して交わる消失点である請求項１に記載の姿勢変化判定装置。
5. 前記被撮影物は、路面標示と道路の設置物と建物との少なくともいずれかである請求項４に記載の姿勢変化判定装置。
6. 前記収束位置は、前記周辺映像における前記車両の接地する接地面が無限遠で収束する収束線である請求項１に記載の姿勢変化判定装置。
7. 請求項１から６のいずれか一項に記載の姿勢変化判定装置と、
   前記映像取得部が取得した複数の周辺映像を、前記車両を上方から見下ろしたように視点変換して合成する俯瞰映像を生成する俯瞰映像生成部と、を備え、
   前記俯瞰映像生成部は、前記姿勢変化判定部の判定結果に基づき、前記車両の姿勢の変化に応じて補正した俯瞰映像を生成することを特徴とする、俯瞰映像生成装置。
8. 請求項７に記載の俯瞰映像生成装置と、
   前記車両に配置され、前記車両の周辺を撮影し前記映像取得部に周辺映像を供給する撮影装置と
   を有することを特徴とする俯瞰映像生成システム。
9. 車両の前後左右に向けて配置された複数の撮影装置で前記車両の周辺を撮影した複数の周辺映像を取得する映像取得ステップと、
   前記映像取得ステップにおいて取得した複数の周辺映像に基づいて、前記車両の姿勢が変化したか否かを判定する判定ステップと
   を含み、
   前記判定ステップにおいては、前記周辺映像における奥行方向に延びる直線が収束する収束位置の変化に基づいて、前記撮影装置のチルト角の変化量を算出し、前記周辺映像における特徴点の位置の変化に基づいて、動きベクトルを抽出して前記撮影装置の高さの変化量を算出し、向きの異なる他の前記撮影装置のチルト角の変化量と他の前記撮影装置の高さの変化量とに基づいて、前記撮影装置の回転角の変化量を算出し、前記車両の姿勢が変化したか否かを判定することを特徴とする、姿勢制御判定方法。
10. 車両の前後左右に向けて配置された複数の撮影装置で前記車両の周辺を撮影した複数の周辺映像を取得する映像取得ステップと、
    前記映像取得ステップにおいて取得した複数の周辺映像に基づいて、前記車両の姿勢が変化したか否かを判定する判定ステップと
    を含み、
    前記判定ステップにおいては、前記周辺映像における奥行方向に延びる直線が収束する収束位置の変化に基づいて、前記撮影装置のチルト角の変化量を算出し、前記周辺映像における特徴点の位置の変化に基づいて、動きベクトルを抽出して前記撮影装置の高さの変化量を算出し、向きの異なる他の前記撮影装置のチルト角の変化量と他の前記撮影装置の高さの変化量とに基づいて、前記撮影装置の回転角の変化量を算出し、前記車両の姿勢が変化したか否かを判定することを姿勢変化判定装置として動作するコンピュータに実行させるためのプログラム。
    

Images