JP6760129B2 - 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム - Google Patents

Description

本発明は、俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラムに関する。

車両の周囲に設置された複数のカメラで車両周辺を撮影し、撮影した複数の映像に視点変換処理を行い合成した俯瞰映像をモニタに表示させる技術が知られている（例えば、特許文献１参照）。この技術では、車速及び障害物に関する所定の条件が満たされた時に、表示部に表示された周辺画像を、表示範囲が異なる他の周辺画像に切り替える。

特開２０１２−２２７６９９号公報

表示部に表示された周辺画像の表示範囲が切り替わって拡大されると、相対的に障害物が小さく表示される。表示される障害物が小さくなることで、障害物を正しく認識することが難しくなるおそれがある。表示される障害物が小さくなることで、障害物と車両との位置関係を正しく把握することが難しくなるおそれがある。このように、検出した障害物を俯瞰映像で表示することには改善の余地がある。

本発明は、上記に鑑みてなされたものであって、検出した障害物と車両との位置関係を直感的に把握できるよう表示することを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る俯瞰映像生成装置は、車両の周辺を撮影した周辺映像データを取得する映像データ取得部と、前記車両の周辺において検出した障害物の位置情報を取得する障害物情報取得部と、前記障害物情報取得部が取得した前記障害物の位置情報に基づいて、前記映像データ取得部が取得した周辺映像を、前記車両および前記障害物が俯瞰できるように、前記車両の真上の位置から車幅方向または前後方向の少なくともいずれかに離間して仮想視点が位置するように視点変換処理を行って合成した俯瞰映像を生成する俯瞰映像生成部と、前記俯瞰映像生成部が生成した俯瞰映像を表示部に表示させる表示制御部とを有することを特徴とする。

本発明に係る俯瞰映像生成システムは、上記の俯瞰映像生成装置と、前記車両の周辺を撮影する複数のカメラ、前記表示部、障害物を検出し障害物情報を出力する検出部の少なくともいずれかとを備える。

本発明に係る俯瞰映像生成方法は、車両の周辺を撮影した周辺映像データを取得する映像データ取得ステップと、前記車両の周辺において検出した障害物の位置情報を取得する障害物情報取得ステップと、前記障害物情報取得ステップで取得した前記障害物の位置情報に基づいて、前記映像データ取得ステップで取得した周辺映像を、前記車両および前記障害物が俯瞰できるように、前記車両の真上の位置から車幅方向または前後方向の少なくともいずれかに離間して仮想視点が位置するように視点変換処理を行って合成した俯瞰映像を生成する俯瞰映像生成ステップと、前記俯瞰映像生成ステップで生成した俯瞰映像を表示部に表示させる表示制御ステップとを含む。

本発明に係るプログラムは、車両の周辺を撮影した周辺映像データを取得する映像データ取得ステップと、前記車両の周辺において検出した障害物の位置情報を取得する障害物情報取得ステップと、前記障害物情報取得ステップで取得した前記障害物の位置情報に基づいて、前記映像データ取得ステップで取得した周辺映像を、前記車両および前記障害物が俯瞰できるように、前記車両の真上の位置から車幅方向または前後方向の少なくともいずれかに離間して仮想視点が位置するように視点変換処理を行って合成した俯瞰映像を生成する俯瞰映像生成ステップと、前記俯瞰映像生成ステップで生成した俯瞰映像を表示部に表示させる表示制御ステップとを俯瞰映像生成装置として動作するコンピュータに実行させる。

本発明によれば、検出した障害物と車両との位置関係を直感的に把握できるように表示することができるという効果を奏する。

図１は、第一実施形態に係る俯瞰映像生成システムの構成例を示すブロック図である。 図２は、第一実施形態に係る俯瞰映像生成システムにおける仮想視点の位置の一例を説明する概略図である。 図３は、第一実施形態に係る俯瞰映像生成システムで生成した俯瞰映像の一例を示す図である。 図４は、第一実施形態に係る俯瞰映像生成システムにおける仮想視点の位置を説明する概略図である。 図５は、第一実施形態に係る俯瞰映像生成システムにおける仮想視点の位置を説明する概略図である。 図６は、第一実施形態に係る俯瞰映像生成システムにおける仮想視点の位置の一例を説明する概略図である。 図７は、第一実施形態に係る俯瞰映像生成システムにおける仮想視点の位置の一例を説明する概略図である。 図８は、第一実施形態に係る俯瞰映像生成システムにおける処理の流れを示すフローチャートである。 図９は、第二実施形態に係る俯瞰映像生成システムにおける仮想視点の位置の一例を説明する概略図である。 図１０は、第三実施形態に係る俯瞰映像生成システムにおける仮想視点の位置の一例を説明する概略図である。 図１１は、第三実施形態に係る俯瞰映像生成システムにおける仮想視点の位置の他の例を説明する概略図である。 図１２は、第三実施形態に係る俯瞰映像生成システムにおける仮想視点の位置の他の例を説明する概略図である。 図１３は、第三実施形態に係る俯瞰映像生成システムにおける仮想視点の位置の他の例を説明する概略図である。 図１４は、第四実施形態に係る俯瞰映像生成システムにおける仮想視点の位置の一例を説明する概略図である。 図１５は、第五実施形態に係る俯瞰映像生成システムにおける仮想視点の位置の一例を説明する概略図である。

以下に添付図面を参照して、本発明に係る俯瞰映像生成装置４０、俯瞰映像生成システム１、俯瞰映像生成方法およびプログラムの実施形態を詳細に説明する。なお、以下の実施形態により本発明が限定されるものではない。

以下の説明においては、前後方向とは、車両直進時の進行方向と平行な方向であり、運転席からウインドシールドに向かう側を前後方向の「前」、ウインドシールドから運転席に向かう側を前後方向の「後」とする。前後方向を、Ｘ軸方向とする。左右方向とは、前後方向に対して水平に直交する方向である。ウインドシールドへ向かって、左手側が「左」、右手側が「右」である。左右方向を、Ｙ軸方向とする。上下方向とは、前後方向および左右方向に対して直交する方向である。上下方向を、Ｚ軸方向とする。したがって、前後方向、左右方向および鉛直方向は、３次元で直交する。以下の説明における前後、左右、上下は、俯瞰映像生成システム１を車両に搭載した状態での前後、左右、上下である。

［第一実施形態］
図１は、第一実施形態に係る俯瞰映像生成システムの構成例を示すブロック図である。俯瞰映像生成システム１は、車両Ｖに搭載されている。俯瞰映像生成システム１は、車両Ｖに載置されているものに加えて、可搬型で車両Ｖにおいて利用可能な装置であってもよい。

図１を用いて、俯瞰映像生成システム１について説明する。俯瞰映像生成システム１は、前方カメラ１１と、後方カメラ１２と、左側方カメラ１３と、右側方カメラ１４と、センサ群（障害物センサ）２０と、表示パネル（表示部）３０と、俯瞰映像生成装置４０とを有する。

図２を用いて、前方カメラ１１と後方カメラ１２と左側方カメラ１３と右側方カメラ１４とについて説明する。図２は、第一実施形態に係る俯瞰映像生成システムにおける仮想視点の位置の一例を説明する概略図である。前方カメラ１１は、車両Ｖの前方に配置され、車両Ｖの前方を中心とした周辺を撮影する。前方カメラ１１は、例えば、１８０°程度の撮影範囲Ａ１を撮影する。前方カメラ１１は、撮影した映像を俯瞰映像生成装置４０の映像データ取得部４２へ出力する。

後方カメラ１２は、車両Ｖの後方に配置され、車両Ｖの後方を中心とした周辺を撮影する。後方カメラ１２は、例えば、１８０°程度の撮影範囲Ａ２を撮影する。後方カメラ１２は、撮影した映像を俯瞰映像生成装置４０の映像データ取得部４２へ出力する。

左側方カメラ１３は、車両Ｖの左側方に配置され、車両Ｖの左側方を中心とした周辺を撮影する。左側方カメラ１３は、例えば、１８０°程度の撮影範囲Ａ３を撮影する。左側方カメラ１３は、撮影した映像を俯瞰映像生成装置４０の映像データ取得部４２へ出力する。

右側方カメラ１４は、車両Ｖの右側方に配置され、車両Ｖの右側方を中心とした周辺を撮影する。右側方カメラ１４は、例えば、１８０°程度の図示しない撮影範囲Ａ４を撮影する。右側方カメラ１４は、撮影した映像を俯瞰映像生成装置４０の映像データ取得部４２へ出力する。

このような前方カメラ１１と後方カメラ１２と左側方カメラ１３と右側方カメラ１４とで、車両Ｖの全方位を撮影する。

図１に戻って、センサ群２０は、車両Ｖの周辺の障害物Ｑを検出する検出部である。センサ群２０は、俯瞰映像の表示範囲Ａを含む範囲の障害物Ｑを検出可能である。本実施形態では、センサ群２０は、前方センサと、後方センサと、左側方センサと、右側方センサとを含む。センサ群２０は、センシング方式によっては数十ｍから数百ｍの距離までのセンシングが可能であるが、本目的に用いる場合は車両Ｖから５ｍ程度までの距離の障害物Ｑを検出する。センサ群２０は、例えば、赤外線センサ、超音波センサ、ミリ波センサ、画像認識によるセンサ等、複数方式のセンサの組合せなど様々な方式が適用可能である。

前方センサは、車両Ｖの前方に配置され、車両Ｖの前方を中心とした範囲に存在する障害物Ｑを検出する。前方センサは、車両Ｖが前進しているときに車両Ｖと接触するおそれがある、地上から高さを有するものを検出する。前方センサは、例えば、車両Ｖから５ｍ程度までの距離の障害物Ｑを検出する。前方センサの検出範囲は、前方カメラ１１の撮影範囲Ａ１と重複する。前方センサの検出範囲は、左側方センサおよび右側方センサの検出範囲の一部と重複していてもよい。前方センサは、複数のセンサの組み合わせで構成されている。これにより、障害物Ｑの方向を細分化して検出する。前方センサは、検出した障害物Ｑの障害物情報を俯瞰映像生成装置４０の障害物情報取得部４３へ出力する。

後方センサは、車両Ｖの後方に配置され、車両Ｖの後方を中心とした範囲に存在する障害物Ｑを検出する。後方センサは、車両Ｖが後退しているときに車両Ｖと接触するおそれがある、地上から高さを有するものを検出する。後方センサは、例えば、車両Ｖから５ｍ程度までの距離の障害物Ｑを検出する。後方センサの検出範囲は、後方カメラ１２の撮影範囲Ａ２と重複する。後方センサの検出範囲は、左側方センサおよび右側方センサの検出範囲の一部と重複していてもよい。後方センサは、複数のセンサの組み合わせで構成されている。これにより、障害物Ｑの方向を細分化して検出する。後方センサは、検出した障害物Ｑの障害物情報を俯瞰映像生成装置４０の障害物情報取得部４３へ出力する。

左側方センサは、車両Ｖの左側方に配置され、車両Ｖの左側方を中心とした範囲に存在する障害物Ｑを検出する。左側方センサは、車両Ｖが操舵しながら前進または後退しているときに車両Ｖと接触するおそれがある、地上から高さを有するものを検出する。左側方センサは、例えば、車両Ｖから５ｍ程度までの距離の障害物Ｑを検出する。左側方センサの検出範囲は、左側方カメラ１３の撮影範囲Ａ３と重複する。左側方センサの検出範囲は、前方センサおよび後方センサの検出範囲の一部と重複していてもよい。左側方センサは、複数のセンサの組み合わせで構成されている。これにより、障害物Ｑの方向を細分化して検出する。左側方センサは、検出した障害物Ｑの障害物情報を俯瞰映像生成装置４０の障害物情報取得部４３へ出力する。

右側方センサは、車両Ｖの右側方に配置され、車両Ｖの右側方を中心とした範囲に存在する障害物Ｑを検出する。右側方センサは、車両Ｖが操舵しながら前進または後退しているときに車両Ｖと接触するおそれがある、地上から高さを有するものを検出する。右側方センサは、例えば、車両Ｖから５ｍ程度までの距離の障害物Ｑを検出する。右側方センサの検出範囲は、右側方カメラ１４の撮影範囲Ａ４と重複する。右側方センサの検出範囲は、前方センサおよび後方センサの検出範囲の一部と重複していてもよい。右側方センサは、複数のセンサの組み合わせで構成されている。これにより、障害物Ｑの方向を細分化して検出する。右側方センサは、検出した障害物Ｑの障害物情報を俯瞰映像生成装置４０の障害物情報取得部４３へ出力する。

表示パネル３０は、例えば、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）または有機ＥＬ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイを含むディスプレイである。表示パネル３０は、俯瞰映像生成システム１の俯瞰映像生成装置４０から出力された映像信号に基づいて、俯瞰映像１００（図３参照）を表示する。表示パネル３０は、俯瞰映像生成システム１に専用のものであっても、例えば、ナビゲーションシステムを含む他のシステムと共同で使用するものであってもよい。表示パネル３０は、運転者から視認容易な位置に配置されている。

表示パネル３０は、表示パネル３０の形状が横長の矩形である場合、複数の表示範囲に分割されていてもよい。例えば、表示パネル３０は、俯瞰映像１００を表示する表示範囲と、俯瞰映像１００の表示範囲の側方に配置された、ナビゲーション画面やオーディオ画面を表示する表示範囲とを有する。俯瞰映像１００を表示する表示範囲は、縦長の矩形状である。

俯瞰映像生成装置４０は、制御部４１と、記憶部４９とを有する。

制御部４１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などで構成された演算処理装置である。制御部４１は、記憶部４９に記憶されているプログラムをメモリにロードして、プログラムに含まれる命令を実行する。制御部４１は、映像データ取得部４２と、障害物情報取得部４３と、車両情報取得部４４と、俯瞰映像生成部４５と、表示制御部４８とを有する。

映像データ取得部４２は、車両Ｖの周辺を撮影した周辺映像データを取得する。より詳しくは、映像データ取得部４２は、前方カメラ１１と後方カメラ１２と左側方カメラ１３と右側方カメラ１４とが出力した周辺映像データを取得する。映像データ取得部４２は、取得した周辺映像データを俯瞰映像生成部４５に出力する。

障害物情報取得部４３は、車両Ｖの周辺において検出した障害物Ｑの障害物情報を取得し、検出した障害物Ｑの俯瞰映像上の位置を特定する。より詳しくは、障害物情報取得部４３は、センサ群２０が出力した障害物情報を取得する。障害物情報取得部４３は、障害物情報を出力したセンサの取付位置と当該センサによる障害物Ｑの検出範囲とに基づいて、障害物Ｑの方向を細分化して取得する。障害物情報取得部４３は、検出した障害物Ｑまでの距離を含む障害物情報を取得する。障害物情報取得部４３は、取得した障害物Ｑの方向と距離とに基づいて、障害物Ｑの俯瞰映像上の位置を特定する。

車両情報取得部４４は、車両Ｖのギア操作情報など、俯瞰映像１００を表示させるためのトリガとなる車両情報を、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）や車両Ｖの状態をセンシングする各種センサなどから取得する。本実施形態では、車両情報は、車両Ｖの進行方向を示す情報を含む。車両情報取得部４４は、取得した車両情報を俯瞰映像生成部４５に出力する。

俯瞰映像生成部４５は、映像データ取得部４２が取得した周辺映像データに視点変換処理を行い合成することで、車両Ｖの上方を仮想視点Ｐとした俯瞰映像１００を生成する。

図２を用いて、仮想視点Ｐについて説明する。仮想視点Ｐは、車両Ｖの中央の上方に位置している。仮想視点Ｐは、車両Ｖの中央の真上から見下すような視点である。車両Ｖの中央とは、車両Ｖの車幅方向の中央、かつ、前後方向の中央である。車両Ｖの真上とは、車両Ｖの基準面の垂線上の位置である。基準面とは、車両Ｖが水平かつ平坦な路面上に位置しているときに路面と水平な平面である。仮想視点Ｐの位置を、（ｘ，ｙ，ｚ）とする。

図３を用いて、生成された俯瞰映像１００について説明する。図３は、第一実施形態に係る俯瞰映像生成システムで生成した俯瞰映像の一例を示す図である。俯瞰映像１００は、表示範囲Ａの周辺映像を、仮想視点Ｐとして視点変換処理をした映像を合成して表示する。俯瞰映像１００は、前方映像１０１と後方映像１０２と左側方映像１０３と右側方映像１０４とを含む。前方映像１０１の表示面積と後方映像１０２の表示面積とは同じ広さである。左側方映像１０３の表示面積と右側方映像１０４の表示面積とは同じ広さである。俯瞰映像１００の中央部は、車両Ｖを示す自車両アイコン２００が表示されている。自車両アイコン２００は、車両Ｖを真上から見下した形態を示す。

図３においては、前方映像１０１と左側方映像１０３との合成境界Ｂ１と、前方映像１０１と右側方映像１０４との合成境界Ｂ２と、後方映像１０２と左側方映像１０３との合成境界Ｂ３と、後方映像１０２と右側方映像１０４との合成境界Ｂ４とを示す斜めの破線を説明のために図示しているが、実際に表示パネル３０に表示される俯瞰映像１００には当該破線は表示されても表示されなくてもよい。他の図も同様である。以下の説明において、合成境界Ｂ１と合成境界Ｂ２と合成境界Ｂ３と合成境界Ｂ４とを特に区別する必要がないときは、合成境界Ｂとして説明する。

俯瞰映像生成部４５は、障害物情報取得部４３が取得した障害物Ｑの位置情報に基づいて、所定条件を満たす障害物が存在するとき、映像データ取得部４２が取得した周辺映像を、車両Ｖおよび障害物Ｑが俯瞰できるように、車両Ｖの真上に位置する仮想視点Ｐから、車幅方向または前後方向の少なくともいずれかに離間して仮想視点ＰＡが位置するように視点変換処理を行って合成した俯瞰映像を生成する。

所定条件とは、障害物Ｑとして検出する条件である。本実施形態では、所定条件は、障害物Ｑが車両Ｖの進行方向に位置すること、である。障害物Ｑが車両Ｖの進行方向に位置する場合、所定条件を満たすと判定し、障害物Ｑとして検出する。例えば、車両Ｖが後退しているとき、障害物Ｑが車両Ｖの前端より後方に位置する場合、所定条件を満たすと判定し、障害物Ｑとして検出する。より詳しくは、制御部４１は、車両Ｖが後退しているとき、センサ群２０のうち、車両Ｖの前端より後方の障害物Ｑを検出するセンサが障害物Ｑを検出した場合、所定条件を満たすと判定し、障害物Ｑとして検出する。本実施形態では、車両Ｖが後退している場合について説明する。

俯瞰映像生成部４５は、視点変換処理部４５１と、切出処理部４５２と、合成処理部４５３とを有する。

視点変換処理部４５１は、映像データ取得部４２で取得した周辺映像データに対して、車両Ｖを上方の仮想視点Ｐから見下ろすように視点変換処理を行う。より詳しくは、視点変換処理部４５１は、前方カメラ１１と後方カメラ１２と左側方カメラ１３と右側方カメラ１４とで撮影した周辺映像データに基づいて、視点変換処理を行った映像を生成する。視点変換処理の方法は、公知のいずれの方法でもよく、限定されない。視点変換処理部４５１は、視点変換処理を行った周辺映像データを切出処理部４５２に出力する。

視点変換処理部４５１は、障害物情報取得部４３が取得した障害物Ｑの位置情報に基づいて、所定条件を満たす障害物Ｑが存在するとき、車両Ｖおよび障害物Ｑが俯瞰できるように、車両Ｖの真上に位置する仮想視点Ｐから、車幅方向または前後方向の少なくともいずれかに離間して仮想視点ＰＡが位置するように視点変換処理を行って映像を生成する。より詳しくは、視点変換処理部４５１は、車両Ｖの進行方向に位置する障害物Ｑが存在するとき、車両Ｖおよび障害物Ｑの相対的な位置関係が認識できるように、仮想視点の位置を仮想視点Ｐから離間した仮想視点ＰＡとして視点変換処理をした映像を生成する。視点変換処理部４５１は、視点変換処理を行った周辺映像データを切出処理部４５２に出力する。

車両Ｖおよび障害物Ｑの相対的な位置関係を認識できるとは、俯瞰映像において、車両Ｖと障害物Ｑとが重なることなく表されていることをいう。さらに、車両Ｖおよび障害物Ｑの相対的な位置関係を認識できるとは、車両Ｖまたは障害物Ｑが移動するときに、車両Ｖと障害物Ｑとの相対的な距離の変化に応じて、俯瞰映像における車両Ｖと障害物Ｑとの相対的な位置関係が変化することをいう。

仮想視点ＰＡは、障害物が検出された方向における俯瞰映像の画角が、仮想視点Ｐの俯瞰映像１００の画角と同程度になる位置とすることが好ましい。仮想視点Ｐの俯瞰映像１００と仮想視点を仮想視点ＰＡに移動した俯瞰映像とは、用いる映像は同一であるが、仮想視点の位置に対応して適切な仮想投影面における領域を俯瞰映像に用いる。このため、障害物が検出された方向における俯瞰映像の画角の変化が大きい場合、仮想視点位置が変更されたときに、俯瞰映像上の障害物の位置を把握しやすい。具体的には、仮想視点ＰＡを車両Ｖの後方とした場合、仮想視点ＰＡが位置する方向である後方映像は仮想視点Ｐとした後方映像１０２の切出画角と同程度とし、仮想視点ＰＡとは車両Ｖを挟んで反対方向である前方映像は仮想視点Ｐとした前方映像１０１より車両前方に広い切出画角とする。このようにすることで、仮想視点ＰＡから見下ろしたような俯瞰映像を生成することができる。

仮想視点Ｐから車幅方向または前後方向に離間した仮想視点ＰＡの位置は、図４、図５に示すような、車両Ｖを中心とした曲面に位置する。図４は、第一実施形態に係る俯瞰映像生成システムにおける仮想視点の位置を説明する概略図である。図５は、第一実施形態に係る俯瞰映像生成システムにおける仮想視点の位置を説明する概略図である。このような曲面上を仮想視点ＰＡとした俯瞰映像の画角は、仮想視点Ｐとした俯瞰映像１００の画角と変わらないので、俯瞰映像に表示される障害物Ｑの大きさが変わらない。このため、仮想視点の位置が変更されても、障害物Ｑと車両Ｖとの相対的な位置関係を直感的に把握しやすい俯瞰映像が生成される。

仮想視点ＰＡは、車両Ｖの中央と障害物Ｑとの距離より車両Ｖの中央から離れた位置とすることが好ましい。これにより、障害物Ｑと車両Ｖとの相対的な位置関係が認識しやすい俯瞰映像が生成される。

本実施形態では、図６、図７に示すように、視点変換処理部４５１は、車両Ｖの左後方に位置する障害物Ｑが検出されたとき、仮想視点Ｐに対して左後方の仮想視点ＰＡ１として視点変換処理を行った映像を生成する。図６は、第一実施形態に係る俯瞰映像生成システムにおける仮想視点の位置の一例を説明する概略図である。図７は、第一実施形態に係る俯瞰映像生成システムにおける仮想視点の位置の一例を説明する概略図である。仮想視点ＰＡ１の位置は、（ｘＡ１，ｙＡ１，ｚＡ１）で表される。

仮想視点ＰＡ１について説明する。本実施形態では、仮想視点ＰＡ１は、車両Ｖの左後方に位置している。仮想視点ＰＡ１は、Ｚ軸方向視において、障害物Ｑより左前方に位置している。仮想視点ＰＡ１は、Ｚ軸方向視において、仮想視点Ｐより左後方に位置している。仮想視点ＰＡ１は、車両Ｖの中央と障害物Ｑとの距離より車両Ｖの中央から離れている。仮想視点ＰＡ１は、車両Ｖを左後方から斜めに見下すような視点である。

切出処理部４５２は、視点変換処理を行った周辺映像データから所定の範囲の映像を切出す切出処理を行う。切出処理部４５２は、視点変換処理を行った前方カメラ１１からの周辺映像データから、前方切出範囲を切出す。切出処理部４５２は、視点変換処理を行った後方カメラ１２からの周辺映像データから、後方切出範囲を切出す。切出処理部４５２は、視点変換処理を行った左側方カメラ１３からの周辺映像データから、左側方切出範囲を切出す。切出処理部４５２は、視点変換処理を行った右側方カメラ１４からの周辺映像データから、右側方切出範囲を切出す。切出処理部４５２は、切出処理を行った映像の映像データを合成処理部４５３に出力する。

前方切出範囲は、視点変換処理を行った周辺映像データから前方映像１０１を切出す範囲である。前方切出範囲は、車両Ｖの前端部から前方の範囲である。後方切出範囲は、視点変換処理を行った周辺映像データから後方映像１０２を切出す範囲である。後方切出範囲は、車両Ｖの後端部から後方の範囲である。左側方切出範囲は、視点変換処理を行った周辺映像データから左側方映像１０３を切出す範囲である。左側方切出範囲は、車両Ｖの左側部から左方の範囲である。右側方切出範囲は、視点変換処理を行った周辺映像データから右側方映像１０４を切出す範囲である。右側方切出範囲は、車両Ｖの右側部から右方の範囲である。

合成処理部４５３は、切出処理部４５２で切出した複数の映像を合成し俯瞰映像を生成する。合成処理部４５３は、生成した俯瞰映像を表示制御部４８に出力する。

合成処理部４５３は、視点変換処理を行った映像を合成する場合、合成した俯瞰映像の中央部に、仮想視点から見た自車両の形態を模した自車両アイコンを合成する。仮想視点位置を車両Ｖの真上から見下した場合の仮想視点Ｐとした場合の自車両アイコンは、図３に示す自車両アイコン２００のように自車両を真上から見たような形態である。これに対して仮想視点位置を仮想視点Ｐから離間した位置に設定した場合は、自車両を仮想視点から斜めに見下した形態とすることが好ましい。このような形態とした場合、仮想視点から自車両を挟んで反対側の俯瞰映像は自車両に近い範囲が自車両アイコンの陰となる表示とすることが自然な表示となる。このような場合であっても、自車両アイコンは、自車両アイコンによる死角が生じないような表示形態とすることが好ましい。例えば、自車両アイコンは、半透過としてもよい。例えば、自車両アイコンは、外形を示す枠状としてもよい。

図１に戻って、表示制御部４８は、俯瞰映像を表示パネル３０に表示させる。

記憶部４９は、俯瞰映像生成装置４０における各種処理に要するデータおよび各種処理結果を記憶する。記憶部４９は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ（Ｆｌａｓｈ Ｍｅｍｏｒｙ）などの半導体メモリ素子、または、ハードディスク、光ディスクなどの記憶装置である。

次に、図８を用いて、俯瞰映像生成システム１の俯瞰映像生成装置４０における処理の流れについて説明する。図８は、第一実施形態に係る俯瞰映像生成システムにおける処理の流れを示すフローチャートである。

俯瞰映像生成システム１が起動されると、制御部４１は、映像データ取得部４２で周辺映像データを取得させる。制御部４１は、障害物情報取得部４３で障害物情報を取得させる。

制御部４１は、俯瞰映像表示を開始するか否かを判定する（ステップＳ１１）。本実施形態では、制御部４１は、後退トリガの有無に基づいて、俯瞰映像表示を開始するか否かを判定する。後退トリガとは、例えば、シフトポジションが「リバース」とされたことをいう。または、後退トリガとは、車両Ｖの進行方向が車両Ｖの後方となったことをいう。制御部４１は、後退トリガがない場合、俯瞰映像表示を開始しないと判定し（ステップＳ１１でＮｏ）、ステップＳ１１の処理を再度実行する。制御部４１は、後退トリガがある場合、俯瞰映像表示を開始すると判定し（ステップＳ１１でＹｅｓ）、ステップＳ１２に進む。俯瞰映像表示を開始させるトリガは、後退トリガに限らず、ユーザ操作、障害物検出結果、停止時など任意のトリガが適用される。

制御部４１は、障害物Ｑを検出したか否かを判定する（ステップＳ１２）。より詳しくは、制御部４１は、障害物情報取得部４３で所定条件を満たす障害物Ｑの障害物情報が取得したか否かを判定する。制御部４１は、所定条件を満たす障害物Ｑの障害物情報が取得されたと判定した場合（ステップＳ１２でＹｅｓ）、ステップＳ１３に進む。制御部４１は、所定条件を満たす障害物Ｑの障害物情報が取得されていないと判定した場合（ステップＳ１２でＮｏ）、ステップＳ１７に進む。

制御部４１は、車両Ｖに対する障害物Ｑの位置情報を取得する（ステップＳ１３）。より詳しくは、制御部４１は、障害物情報取得部４３で、取得した障害物情報に基づいて、障害物Ｑの俯瞰映像上の位置を取得させる。制御部４１は、ステップＳ１４に進む。

制御部４１は、障害物Ｑは俯瞰映像の表示範囲Ａ内に位置しているか否かを判定する（ステップＳ１４）。より詳しくは、制御部４１は、ステップＳ１３で取得した障害物Ｑの位置情報に基づいて、障害物Ｑが俯瞰映像の表示範囲Ａ内であるか否かを判定する。制御部４１は、障害物Ｑが俯瞰映像の表示範囲Ａ内であると判定した場合（ステップＳ１４でＹｅｓ）、ステップＳ１６に進む。制御部４１は、障害物Ｑが俯瞰映像の表示範囲Ａ内ではないと判定した場合（ステップＳ１４でＮｏ）、ステップＳ１５に進む。

制御部４１は、俯瞰映像１００を生成し表示する（ステップＳ１５）。より詳しくは、制御部４１は、俯瞰映像生成部４５で、映像データ取得部４２で取得した周辺映像データから車両Ｖを仮想視点Ｐで上方から見下ろすように視点変換処理を行い俯瞰映像１００を生成させ、表示パネル３０に表示させる。制御部４１は、ステップＳ１３に進む。

制御部４１は、仮想視点位置を変更する（ステップＳ１６）。より詳しくは、制御部４１は、俯瞰映像生成部４５で、俯瞰映像１００の仮想視点Ｐの位置を変更して仮想視点ＰＡとした俯瞰映像を生成させ、表示パネル３０に表示させる。制御部４１は、ステップＳ１８に進む。

本実施形態では、制御部４１は、俯瞰映像生成部４５で、仮想視点Ｐに対して左後方の仮想視点ＰＡ１として視点変換処理を行った映像を生成させ、表示パネル３０に表示させる。

制御部４１は、俯瞰映像１００を生成し表示する（ステップＳ１７）。制御部４１は、ステップＳ１５と同様の処理を行う。

制御部４１は、俯瞰映像表示を終了するか否かを判定する（ステップＳ１８）。より詳しくは、制御部４１は、後退終了トリガの有無に基づいて、俯瞰映像表示を終了するか否かを判定する。後退終了トリガとは、例えば、シフトポジションが「リバース」から他のポジションとなったことをいう。制御部４１は、後退終了トリガがある場合、俯瞰映像表示を終了すると判定し（ステップＳ１８でＹｅｓ）、処理を終了する。制御部４１は、後退終了トリガがない場合、俯瞰映像表示を終了しないと判定し（ステップＳ１８でＮｏ）、ステップＳ１２に戻って処理を継続する。

このようにして、俯瞰映像生成システム１は、障害物Ｑが進行方向に検出された場合、仮想視点の位置を車両Ｖの真上に位置する仮想視点Ｐから離間した仮想視点ＰＡに変更した俯瞰映像を生成する。

上述したように、本実施形態は、障害物Ｑが進行方向に検出された場合、仮想視点の位置を仮想視点ＰＡに変更した俯瞰映像を生成する。これにより、本実施形態は、障害物Ｑが進行方向に検出された場合、仮想視点の位置をずらして、障害物Ｑと車両Ｖの相対的な位置関係が表わされた俯瞰映像を表示することができる。本実施形態によれば、障害物Ｑが車両Ｖに接触するか否かを俯瞰映像によって直感的に認識することができる。このように、本実施形態は、俯瞰映像において障害物Ｑを適切に表示することができる。本実施形態は、俯瞰映像における障害物Ｑの視認性を向上することができる。本実施形態は、車両周辺の障害物Ｑを適切に確認可能に表示することができる。

本実施形態では、例えば、障害物Ｑが検出された位置の近くに立って、障害物Ｑと車両Ｖとの双方を確認しながら近づく車両Ｖを誘導するような仮想視点ＰＡとした俯瞰映像を表示することができる。これにより、車両Ｖの真上に位置する仮想視点Ｐとした俯瞰映像１００に比べて、障害物Ｑが車両Ｖに接触するか否かを俯瞰映像によって容易に認識することができる。

本実施形態によれば、生成される俯瞰映像の画角が、仮想視点Ｐの俯瞰映像１００の画角と同程度になる位置を仮想視点ＰＡとしている。これにより、仮想視点ＰＡとした俯瞰映像に表示される障害物Ｑの大きさが、俯瞰映像１００に表示された障害物Ｑの大きさと変わらない。本実施形態によれば、仮想視点の位置が変更されても、障害物Ｑと車両Ｖとの相対的な距離を認識しやすい俯瞰映像を生成することができる。

［第二実施形態］
図９を参照しながら、本実施形態に係る俯瞰映像生成システム１について説明する。図９は、第二実施形態に係る俯瞰映像生成システムにおける仮想視点の位置の一例を説明する概略図である。俯瞰映像生成システム１は、基本的な構成は第一実施形態の俯瞰映像生成システム１と同様である。以下の説明においては、俯瞰映像生成システム１と同様の構成要素には、同一の符号または対応する符号を付し、その詳細な説明は省略する。本実施形態の俯瞰映像生成システム１は、俯瞰映像生成部４５の視点変換処理部４５１における処理が、第一実施形態の俯瞰映像生成システム１と異なる。

視点変換処理部４５１は、障害物情報取得部４３が取得した障害物Ｑの位置が車両Ｖの進行方向に位置するとき、車両Ｖの中央から障害物Ｑへの延長線Ｌ１１に直交する直線Ｌ１２上に基づいて位置決めされた仮想視点ＰＢとして視点変換処理を行った映像を生成する。本実施形態では、視点変換処理部４５１は、障害物Ｑの位置が車両Ｖの進行方向に位置するとき、車両Ｖの中央から障害物Ｑへの延長線Ｌ１１に直交する直線Ｌ１２上に位置する仮想視点ＰＢとして視点変換処理を行った映像を生成する。

本実施形態では、視点変換処理部４５１は、後方に位置する障害物Ｑが検出されたとき、仮想視点Ｐに対して左前方の仮想視点ＰＢとして視点変換処理を行った映像を生成する。仮想視点ＰＢの位置は、（ｘＢ，ｙＢ，ｚＢ）で表される。

仮想視点ＰＢについて説明する。本実施形態では、仮想視点ＰＢは、車両Ｖの左前方に位置している。仮想視点ＰＢは、Ｚ軸方向視において、障害物Ｑより左前方に位置している。仮想視点ＰＢは、Ｚ軸方向視において、仮想視点Ｐより左前方に位置している。仮想視点ＰＢは、車両Ｖの中央と障害物Ｑとの距離より車両Ｖの中央から離れている。仮想視点ＰＢは、車両Ｖを左前方から斜めに見下すような視点である。

次に、俯瞰映像生成システム１の俯瞰映像生成装置４０における処理の流れについて説明する。俯瞰映像生成装置４０は、図８に示すフローチャートに沿った処理を行う。本実施形態は、ステップＳ１６における処理が第一実施形態と異なり、ステップＳ１１〜ステップＳ１５、ステップＳ１７、ステップＳ１８の処理は第一実施形態と同様の処理を行う。

制御部４１は、仮想視点位置を変更する（ステップＳ１６）。より詳しくは、制御部４１は、俯瞰映像生成部４５で、車両Ｖから障害物Ｑへの延長線Ｌ１１に直交する直線Ｌ１２上に位置する仮想視点ＰＢとして俯瞰映像を生成させ、表示パネル３０に表示させる。制御部４１は、ステップＳ１８に進む。

上述したように、本実施形態は、進行方向の障害物Ｑが検出された場合、車両Ｖの中央から障害物Ｑへの延長線Ｌ１１に直交する直線Ｌ１２上に位置する仮想視点ＰＢの俯瞰映像を生成する。本実施形態は、進行方向の障害物Ｑが検出された場合、仮想視点の位置をずらして、障害物Ｑと車両Ｖの相対的な位置関係が表わされた俯瞰映像を表示することができる。本実施形態によれば、障害物Ｑが車両Ｖに接触するか否かを俯瞰映像によって直感的に認識することができる。このように、本実施形態は、俯瞰映像において障害物Ｑを適切に表示することができる。本実施形態は、俯瞰映像における障害物Ｑの視認性を向上することができる。本実施形態は、車両周辺の障害物Ｑを適切に確認可能に表示することができる。また、本実施形態は、仮想視点ＰＢの位置を、車両Ｖの中央から障害物Ｑへの延長線Ｌ１１に直交する直線Ｌ１２上に位置するように設定したため、仮想視点ＰＢの位置が適切に車両Ｖおよび障害物Ｑとを確認できる位置とすることができる。

本実施形態では、例えば、障害物Ｑが検出された側に立って、障害物Ｑと車両Ｖとの双方を確認しながら遠ざかる車両Ｖを誘導するような仮想視点ＰＢとした俯瞰映像を表示することができる。これにより、車両Ｖの真上に位置する仮想視点Ｐとした俯瞰映像１００に比べて、障害物Ｑが車両Ｖに接触するか否かを俯瞰映像によって容易に認識することができる。

［第三実施形態］
図１０ないし図１３を参照しながら、本実施形態に係る俯瞰映像生成システム１について説明する。図１０は、第三実施形態に係る俯瞰映像生成システムにおける仮想視点の位置の一例を説明する概略図である。図１１は、第三実施形態に係る俯瞰映像生成システムにおける仮想視点の位置の他の例を説明する概略図である。図１２は、第三実施形態に係る俯瞰映像生成システムにおける仮想視点の位置の他の例を説明する概略図である。図１３は、第三実施形態に係る俯瞰映像生成システムにおける仮想視点の位置の他の例を説明する概略図である。本実施形態の俯瞰映像生成システム１は、俯瞰映像生成部４５の視点変換処理部４５１における処理が、第一実施形態の俯瞰映像生成システム１と異なる。本実施形態は、障害物Ｑ１と障害物Ｑ２が存在する。

視点変換処理部４５１は、障害物情報取得部４３が取得した複数の障害物Ｑの位置情報に基づいて、映像データ取得部４２が取得した周辺映像を、車両Ｖおよび複数の障害物Ｑが俯瞰できるように車両Ｖの真上に位置する仮想視点Ｐから離間した仮想視点が位置するように視点変換処理を行った映像を生成する。

本実施形態では、図１０に示すように、視点変換処理部４５１は、車両Ｖの左後方に位置する複数の障害物Ｑが検出されたとき、仮想視点Ｐに対して左側方の仮想視点ＰＣ１として視点変換処理を行った映像を生成する。仮想視点ＰＣ１の位置は、（ｘＣ１，ｙＣ１，ｚＣ１）で表される。

仮想視点ＰＣ１について説明する。本実施形態では、仮想視点ＰＣ１は、車両Ｖの左側方に位置している。仮想視点ＰＣ１は、Ｚ軸方向視において、障害物Ｑ１、障害物Ｑ２より左前方に位置している。仮想視点ＰＡ１は、Ｚ軸方向視において、仮想視点Ｐより左側方に位置している。仮想視点ＰＣ１は、車両Ｖの中央と障害物Ｑ１との距離、および、車両Ｖの中央と障害物Ｑ２との距離より車両Ｖの中央から離れている。仮想視点ＰＣ１は、車両Ｖを左側方から斜めに見下すような視点である。

または、図１１に示すように、視点変換処理部４５１は、車両Ｖの左後方に位置する障害物Ｑ１、障害物Ｑ２が検出されたとき、車両Ｖの中央から障害物Ｑ１への延長線Ｌ２１に直交する直線Ｌ２２と、車両Ｖの中央から障害物Ｑ２への延長線Ｌ２３に直交する直線Ｌ２４との二等分線Ｌ２５上に位置する仮想視点ＰＣ２として俯瞰映像を生成してもよい。仮想視点ＰＣ２の位置は、（ｘＣ２，ｙＣ２，ｚＣ２）で表される。

仮想視点ＰＣ２について説明する。本実施形態では、仮想視点ＰＣ２は、車両Ｖの左前方に位置している。仮想視点ＰＣ２は、Ｚ軸方向視において、障害物Ｑ１、障害物Ｑ２より左前方に位置している。仮想視点ＰＣ２は、Ｚ軸方向視において、仮想視点Ｐより左前方に位置している。仮想視点ＰＣ２は、車両Ｖの中央と障害物Ｑ１との距離、および、車両Ｖの中央と障害物Ｑ２との距離より車両Ｖの中央から離れている。仮想視点ＰＣ２は、車両Ｖを左前方から斜めに見下すような視点である。

または、図１２に示すように、視点変換処理部４５１は、車両Ｖの右側方に位置する障害物Ｑ１と、車両Ｖの左後方に位置する障害物Ｑ２が検出されたとき、仮想視点Ｐに対して右後方の仮想視点ＰＣ３として視点変換処理を行った映像を生成してもよい。仮想視点ＰＣ３は、車両Ｖの中央と障害物Ｑ１を結んだ線分および車両Ｖの中央と障害物Ｑ２を結んだ線分との二等分線上に存在する。仮想視点ＰＣ３の位置は、（ｘＣ３，ｙＣ３，ｚＣ３）で表される。

仮想視点ＰＣ３について説明する。本実施形態では、仮想視点ＰＣ３は、車両Ｖの右後方に位置している。仮想視点ＰＣ３は、Ｚ軸方向視において、障害物Ｑ１より左後方、障害物Ｑ２より右後方に位置している。仮想視点ＰＣ３は、Ｚ軸方向視において、仮想視点Ｐより右後方に位置している。仮想視点ＰＣ３は、車両Ｖの中央と障害物Ｑ１との距離、および、車両Ｖの中央と障害物Ｑ２との距離より車両Ｖの中央から離れている。仮想視点ＰＣ３は、車両Ｖを右後方から斜めに見下すような視点である。

または、図１３に示すように、視点変換処理部４５１は、車両Ｖの右側方に位置する障害物Ｑ１と、車両Ｖの左後方に位置する障害物Ｑ２が検出されたとき、車両Ｖの中央から障害物Ｑ１への延長線Ｌ２６に直交する直線Ｌ２７と、車両Ｖの中央から障害物Ｑ２への延長線Ｌ２８に直交する直線Ｌ２９との間の角度の二等分線Ｌ３０上に位置する仮想視点ＰＣ４として俯瞰映像を生成してもよい。仮想視点ＰＣ４の位置は、（ｘＣ４，ｙＣ４，ｚＣ４）で表される。

仮想視点ＰＣ４について説明する。本実施形態では、仮想視点ＰＣ４は、車両Ｖの右後方に位置している。仮想視点ＰＣ４は、Ｚ軸方向視において、障害物Ｑ１より左後方、障害物Ｑ２より右前方に位置している。仮想視点ＰＣ４は、Ｚ軸方向視において、仮想視点Ｐより右後方に位置している。仮想視点ＰＣ４は、車両Ｖの中央と障害物Ｑ１との距離、および、車両Ｖの中央と障害物Ｑ２との距離より車両Ｖの中央から離れている。仮想視点ＰＣ４は、車両Ｖを右後方から斜めに見下すような視点である。

以下の説明において、仮想視点ＰＣ１と仮想視点ＰＣ２と仮想視点ＰＣ３と仮想視点ＰＣ４とを特に区別する必要がないときは、仮想視点ＰＣとして説明する。

次に、俯瞰映像生成システム１の俯瞰映像生成装置４０における処理の流れについて説明する。俯瞰映像生成装置４０は、図８に示すフローチャートに沿った処理を行う。本実施形態は、ステップＳ１６における処理が第一実施形態と異なり、ステップＳ１１〜ステップＳ１５、ステップＳ１７、ステップＳ１８の処理は第一実施形態と同様の処理を行う。

制御部４１は、仮想視点位置を変更する（ステップＳ１６）。より詳しくは、制御部４１は、俯瞰映像生成部４５で、車両Ｖおよび複数の障害物Ｑが俯瞰できるように車両Ｖの真上に位置する仮想視点Ｐから離間した仮想視点ＰＣとした俯瞰映像を生成させ、表示パネル３０に表示させる。制御部４１は、ステップＳ１８に進む。

上述したように、本実施形態は、進行方向の複数の障害物Ｑが検出された場合、車両Ｖおよび複数の障害物Ｑが俯瞰できるように車両Ｖの真上に位置する仮想視点Ｐから離間した仮想視点ＰＣの俯瞰映像を生成する。本実施形態は、進行方向の複数の障害物Ｑが検出された場合、仮想視点の位置をずらして、複数の障害物Ｑが重ならず、複数の障害物Ｑと車両Ｖの相対的な位置関係が表わされた俯瞰映像を表示することができる。本実施形態によれば、複数の障害物Ｑが車両Ｖに接触するか否かを俯瞰映像によって直感的に認識することができる。このように、本実施形態は、俯瞰映像において複数の障害物Ｑを適切に表示することができる。本実施形態は、俯瞰映像における複数の障害物Ｑの視認性を向上することができる。本実施形態は、車両周辺の複数の障害物Ｑを適切に確認可能に表示することができる。

本実施形態では、例えば、複数の障害物Ｑを視認できる位置に立って、複数の障害物Ｑと車両Ｖとの双方を確認しながら近づく車両Ｖを誘導するような仮想視点ＰＣとした俯瞰映像を表示することができる。これにより、車両Ｖの真上に位置する仮想視点Ｐとした俯瞰映像１００に比べて、複数の障害物Ｑが車両Ｖに接触するか否かを俯瞰映像によって容易に認識することができる。

［第四実施形態］
図１４を参照しながら、本実施形態に係る俯瞰映像生成システム１について説明する。図１４は、第四実施形態に係る俯瞰映像生成システムにおける仮想視点の位置の一例を説明する概略図である。本実施形態の俯瞰映像生成システム１は、俯瞰映像生成部４５における処理が、第一実施形態の俯瞰映像生成システム１と異なる。本実施形態では、障害物Ｑ１が車両Ｖの左後方に位置し、障害物Ｑ２が車両Ｖの右後方に位置する。

俯瞰映像生成部４５は、障害物情報取得部４３が取得した複数の障害物Ｑの位置情報に基づいて、映像データ取得部４２が取得した周辺映像を、車両Ｖおよび障害物Ｑの少なくとも一部が俯瞰できるように、仮想視点Ｐと異なる仮想視点ＰＤ１として視点変換処理を行った映像を生成する。さらに、俯瞰映像生成部４５は、複数の障害物Ｑの位置情報に基づいて、周辺映像を、車両Ｖおよび障害物Ｑの少なくとも残りの一部が俯瞰できるように、仮想視点Ｐと異なる仮想視点ＰＤ２として視点変換処理を行った映像を生成する。そして、俯瞰映像生成部４５は、視点変換処理を行った二つの映像を合成して俯瞰映像を生成する。

視点変換処理部４５１は、車両Ｖの左後方、右後方に位置する障害物Ｑ１、障害物Ｑ２が検出されたとき、仮想視点Ｐに対して左側方の仮想視点ＰＤ１として視点変換処理を行った映像と、仮想視点Ｐに対して右側方の仮想視点ＰＤ２として視点変換処理を行った映像を生成する。仮想視点ＰＤ１の位置は、（ｘＤ１，ｙＤ１，ｚＤ１）で表される。仮想視点ＰＤ２の位置は、（ｘＤ２，ｙＤ２，ｚＤ２）で表される。

仮想視点ＰＤ１について説明する。本実施形態では、仮想視点ＰＤ１は、車両Ｖの左前方に位置している。仮想視点ＰＤ１は、Ｚ軸方向視において、障害物Ｑ１より左前方に位置している。仮想視点ＰＤ１は、Ｚ軸方向視において、仮想視点Ｐより左前方に位置している。仮想視点ＰＤ１は、車両Ｖの中央と障害物Ｑ１との距離より車両Ｖの中央から離れている。仮想視点ＰＤ１は、車両Ｖを左前方から斜めに見下すような視点である。

仮想視点ＰＤ２について説明する。本実施形態では、仮想視点ＰＤ２は、車両Ｖの右前方に位置している。仮想視点ＰＤ２は、Ｚ軸方向視において、障害物Ｑ２より右前方に位置している。仮想視点ＰＤ２は、Ｚ軸方向視において、仮想視点Ｐより右前方に位置している。仮想視点ＰＤ２は、車両Ｖの中央と障害物Ｑ２との距離より車両Ｖの中央から離れている。仮想視点ＰＤ２は、車両Ｖを右前方から斜めに見下すような視点である。

合成処理部４５３は、仮想視点ＰＤ１として視点変換処理した映像と、仮想視点ＰＤ２として視点変換処理した映像とを合成し俯瞰映像を生成する。例えば、合成処理部４５３は、左側に仮想視点ＰＤ１として視点変換処理した映像を表示し、右側に仮想視点ＰＤ２として視点変換処理した映像を表示するように合成して俯瞰映像を生成する。

次に、俯瞰映像生成システム１の俯瞰映像生成装置４０における処理の流れについて説明する。俯瞰映像生成装置４０は、図８に示すフローチャートに沿った処理を行う。本実施形態は、ステップＳ１６における処理が第一実施形態と異なり、ステップＳ１１〜ステップＳ１５、ステップＳ１７、ステップＳ１８の処理は第一実施形態と同様の処理を行う。

制御部４１は、仮想視点位置を変更する（ステップＳ１６）。より詳しくは、制御部４１は、俯瞰映像生成部４５で、障害物情報取得部４３が取得した複数の障害物Ｑの位置情報に基づいて、映像データ取得部４２が取得した周辺映像を、車両Ｖおよび少なくとも障害物Ｑ１が俯瞰できるように、仮想視点Ｐと異なる仮想視点ＰＤ１として視点変換処理を行った映像を生成させる。制御部４１は、俯瞰映像生成部４５で、複数の障害物Ｑの位置情報に基づいて、周辺映像を、車両Ｖおよび少なくとも障害物Ｑ２が俯瞰できるように、仮想視点ＰＤ１と異なる仮想視点ＰＤ２として視点変換処理を行った映像を生成させる。そして、制御部４１は、俯瞰映像生成部４５で、二つの映像を合成して俯瞰映像を生成し、表示パネル３０に表示させる。制御部４１は、ステップＳ１８に進む。

上述したように、本実施形態は、進行方向の左側および右側に障害物Ｑが検出された場合、複数の仮想視点で視点変換処理を行った映像を生成する。そして、視点変換処理を行った複数の映像を合成して俯瞰映像を生成する。本実施形態は、進行方向の進行方向の左側および右側に障害物Ｑが検出された場合、複数の仮想視点として視点変換処理を行った映像を合成することで、複数の障害物Ｑと車両Ｖの相対的な位置関係が表わされた俯瞰映像を表示することができる。

進行方向の左側および右側に障害物Ｑが検出された場合に、左側または右側のどちらかの仮想視点で視点変換処理を行って俯瞰映像を生成すると、仮想視点と反対側の障害物Ｑと車両Ｖの相対的な位置関係を表すことができないおそれがある。

これに対して、本実施形態によれば、進行方向の左側および右側に障害物Ｑが検出された場合も、例えば、それぞれの障害物Ｑの後方に立って、近づく車両Ｖを誘導するような仮想視点ＰＤ１とした映像と、仮想視点ＰＤ２とした映像とを合成した俯瞰映像を表示することができる。複数の障害物Ｑが車両Ｖに接触するか否かを俯瞰映像によって容易に認識することができる。このように、本実施形態は、俯瞰映像において複数の障害物Ｑを適切に表示することができる。本実施形態は、俯瞰映像における複数の障害物Ｑの視認性を向上することができる。本実施形態は、車両周辺の障害物Ｑを適切に確認可能に表示することができる。

［第五実施形態］
図１５を参照しながら、本実施形態に係る俯瞰映像生成システム１について説明する。図１５は、第五実施形態に係る俯瞰映像生成システムにおける仮想視点の位置の一例を説明する概略図である。本実施形態の俯瞰映像生成システム１は、俯瞰映像生成部４５の視点変換処理部４５１における処理が、第一実施形態の俯瞰映像生成システム１と異なる。本実施形態では、障害物Ｑ１、障害物Ｑ２が車両Ｖの左後方に車幅方向に並んで位置する。

視点変換処理部４５１は、車両Ｖの左後方に位置する障害物Ｑ１、障害物Ｑ２が検出されたとき、車両Ｖの中央から障害物Ｑ１への延長線Ｌ４１に直交する直線Ｌ４２と、車両Ｖの中央から障害物Ｑ２への延長線Ｌ４３に直交する直線Ｌ４４との間の角度の二等分線Ｌ４５上に位置する仮想視点ＰＥとして俯瞰映像を生成してもよい。仮想視点ＰＥの位置は、（ｘＥ，ｙＥ，ｚＥ）で表される。

仮想視点ＰＥについて説明する。本実施形態では、仮想視点ＰＥは、車両Ｖの左前方に位置している。仮想視点ＰＥは、Ｚ軸方向視において、障害物Ｑ１、障害物Ｑ２より左前方に位置している。仮想視点ＰＥは、Ｚ軸方向視において、仮想視点Ｐより左前方に位置している。仮想視点ＰＥは、車両Ｖの中央と障害物Ｑ１との距離、および、車両Ｖの中央と障害物Ｑ２との距離より車両Ｖの中央から離れている。仮想視点ＰＥは、車両Ｖを左前方から斜めに見下すような視点である。

次に、俯瞰映像生成システム１の俯瞰映像生成装置４０における処理の流れについて説明する。俯瞰映像生成装置４０は、図８に示すフローチャートに沿った処理を行う。本実施形態は、ステップＳ１６における処理が第一実施形態と異なり、ステップＳ１１〜ステップＳ１５、ステップＳ１７、ステップＳ１８の処理は第一実施形態と同様の処理を行う。

制御部４１は、仮想視点位置を変更する（ステップＳ１６）。より詳しくは、制御部４１は、俯瞰映像生成部４５で、車両Ｖの中央から障害物Ｑ１への延長線Ｌ４１に直交する直線Ｌ４２と、車両Ｖの中央から障害物Ｑ２への延長線Ｌ４３に直交する直線Ｌ４４との間の角度の二等分線Ｌ４５上に位置する仮想視点ＰＥとして俯瞰映像を生成させ、表示パネル３０に表示させる。制御部４１は、ステップＳ１８に進む。

上述したように、本実施形態は、進行方向に複数の障害物Ｑが検出された場合、車両Ｖおよび複数の障害物Ｑが俯瞰できるように車両Ｖの真上に位置する仮想視点Ｐから離間した仮想視点の俯瞰映像を生成する。本実施形態は、進行方向の複数の障害物Ｑが検出された場合、仮想視点の位置をずらして、複数の障害物Ｑが重ならず、複数の障害物Ｑと車両Ｖの相対的な位置関係が表わされた俯瞰映像を表示することができる。本実施形態によれば、複数の障害物Ｑが車両Ｖに接触するか否かを俯瞰映像によって容易に認識することができる。このように、本実施形態は、俯瞰映像において複数の障害物Ｑを適切に表示することができる。本実施形態は、俯瞰映像における複数の障害物Ｑの視認性を向上することができる。本実施形態は、車両周辺の複数の障害物Ｑを適切に確認可能に表示することができる。

本実施形態では、例えば、複数の障害物Ｑを視認できる位置に立って、近づく車両Ｖを誘導するような仮想視点ＰＥとした俯瞰映像を表示することができる。これにより、車両Ｖの真上に位置する仮想視点Ｐとした俯瞰映像１００に比べて、複数の障害物Ｑが車両Ｖに接触するか否を俯瞰映像によって容易に認識することができる。

さて、これまで本発明に係る俯瞰映像生成システム１について説明したが、上述した実施形態以外にも種々の異なる形態にて実施されてよいものである。

図示した俯瞰映像生成システム１の各構成要素は、機能概念的なものであり、必ずしも物理的に図示の如く構成されていなくてもよい。すなわち、各装置の具体的形態は、図示のものに限られず、各装置の処理負担や使用状況などに応じて、その全部または一部を任意の単位で機能的または物理的に分散または統合してもよい。

俯瞰映像生成システム１の構成は、例えば、ソフトウェアとして、メモリにロードされたプログラムなどによって実現される。上記実施形態では、これらのハードウェアまたはソフトウェアの連携によって実現される機能ブロックとして説明した。すなわち、これらの機能ブロックについては、ハードウェアのみ、ソフトウェアのみ、または、それらの組み合わせによって種々の形で実現できる。

上記に記載した構成要素には、当業者が容易に想定できるもの、実質的に同一のものを含む。さらに、上記に記載した構成は適宜組み合わせが可能である。また、本発明の要旨を逸脱しない範囲において構成の種々の省略、置換または変更が可能である。

所定条件は、障害物Ｑが車両Ｖの進行方向に位置すること、として説明したが、これに限定されない。所定条件は、例えば、車両Ｖに干渉するおそれがあること、としてもよい。車両Ｖに干渉するおそれがあるとは、例えば、車両Ｖの進行方向に位置し、かつ、車両Ｖと接触するおそれのある地面からの高さを有することである。

所定条件は、車両Ｖが後退しているとき、障害物Ｑが車両Ｖの前端より後方に位置する場合、所定条件を満たすと判定するとしたが、これに限定されるものではない。例えば、所定条件は、車両Ｖが後退しているとき、障害物Ｑが車両Ｖの後端より後方に位置する場合、または、障害物Ｑが車両Ｖの駆動輪の車軸位置より後方に位置する場合、所定条件を満たすと判定してもよい。

制御部４１は、ステップＳ１１において、例えば、操作部に対する、俯瞰映像表示開始の操作の検出の有無で、俯瞰映像表示を開始するか否かを判定してもよい。

仮想視点の位置を変更した俯瞰映像は、障害物Ｑを検出した方向の表示面積が広くなるように、自車両アイコンの中央を俯瞰映像の中央からずらした俯瞰映像を生成してもよい。

仮想視点Ｐは、Ｚ方向の位置を、例えば、運転席に座った運転者の視線の高さ、運転者が立ったときの視線の高さ、車両Ｖのルーフの高さ、などとしてもよい。

１ 俯瞰映像生成システム
１１ 前方カメラ
１２ 後方カメラ
１３ 左側方カメラ
１４ 右側方カメラ
２０ センサ群（障害物センサ）
３０ 表示パネル（表示部）
４０ 俯瞰映像生成装置
４１ 制御部
４２ 映像データ取得部
４３ 障害物情報取得部
４４ 車両情報取得部
４５ 俯瞰映像生成部
４５１ 視点変換処理部
４５２ 切出処理部
４５３ 合成処理部
４８ 表示制御部
４９ 記憶部
Ｐ 仮想視点
Ｑ 障害物
Ｖ 車両

Claims (7)

1. 車両の周辺を撮影した周辺映像データを取得する映像データ取得部と、
   前記車両の周辺において検出した障害物の位置情報を取得する障害物情報取得部と、
   前記障害物情報取得部が取得した前記障害物の位置情報に基づいて、前記映像データ取得部が取得した周辺映像を、前記車両から前記障害物への延長線に直交する直交線上に仮想視点が位置するように視点変換処理を行って合成した俯瞰映像を生成する俯瞰映像生成部と、
   前記俯瞰映像生成部が生成した俯瞰映像を表示部に表示させる表示制御部と
   を有することを特徴とする俯瞰映像生成装置。
2. 前記俯瞰映像生成部は、前記障害物が複数存在する場合、前記車両と複数の前記障害物とのそれぞれの延長線に直交する直交線に基づいて位置決めされた仮想視点で視点変換処理を行った俯瞰映像を生成する、
   請求項１に記載の俯瞰映像生成装置。
3. 車両の周辺を撮影した周辺映像データを取得する映像データ取得部と、
   前記車両の周辺において検出した障害物の位置情報を取得する障害物情報取得部と、
   前記障害物情報取得部が検出した前記障害物が複数存在する場合、複数の前記障害物の位置情報に基づいて、前記車両から複数の前記障害物の少なくとも一部への延長線ではない位置に離間して仮想視点が位置するように視点変換処理を行った映像と、前記車両から複数の前記障害物の少なくとも残りの一部への延長線ではない位置に離間して仮想視点が位置するように視点変換処理を行った映像とを合成して俯瞰映像を生成する俯瞰映像生成部と、
   前記俯瞰映像生成部が生成した俯瞰映像を表示部に表示させる表示制御部と
   を有することを特徴とする俯瞰映像生成装置。
4. 請求項１から請求項３のいずれか１項に記載の俯瞰映像生成装置と、
   前記車両の周辺を撮影する複数のカメラ、前記表示部、障害物を検出し障害物情報を出力する検出部の少なくともいずれかと
   を備える、俯瞰映像生成システム。
5. 車両の周辺を撮影した周辺映像データを取得する映像データ取得ステップと、
   前記車両の周辺において検出した障害物の位置情報を取得する障害物情報取得ステップと、
   前記障害物情報取得ステップで取得した前記障害物の位置情報に基づいて、前記映像データ取得ステップで取得した周辺映像を、前記車両から前記障害物への延長線に直交する直交線上に仮想視点が位置するように視点変換処理を行って合成した俯瞰映像を生成する俯瞰映像生成ステップと、
   前記俯瞰映像生成ステップで生成した俯瞰映像を表示部に表示させる表示制御ステップと
   を含む俯瞰映像生成方法。
6. 車両の周辺を撮影した周辺映像データを取得する映像データ取得ステップと、
   前記車両の周辺において検出した障害物の位置情報を取得する障害物情報取得ステップと、
   前記障害物情報取得ステップで検出した前記障害物が複数存在する場合、複数の前記障害物の位置情報に基づいて、前記車両から複数の前記障害物の少なくとも一部への延長線ではない位置に離間して仮想視点が位置するように視点変換処理を行った映像と、前記車両から複数の前記障害物の少なくとも残りの一部への延長線ではない位置に離間して仮想視点が位置するように視点変換処理を行った映像とを合成して俯瞰映像を生成する俯瞰映像生成ステップと、
   前記俯瞰映像生成ステップで生成した俯瞰映像を表示部に表示させる表示制御ステップと
   を含む俯瞰映像生成方法。
7. 請求項５または６に記載の俯瞰映像生成方法を俯瞰映像生成装置として動作するコンピュータに実行させるためのプログラム。

Images