JP7331889B2 - 俯瞰画像生成装置、俯瞰画像表示システム、俯瞰画像生成方法及びプログラム - Google Patents

Description

本発明は、俯瞰画像生成装置、俯瞰画像表示システム、俯瞰画像生成方法及びプログラムに関する。

車載カメラを用いた運転支援に関連して幾つかの技術が提案されている。
例えば、特許文献１に記載の車両周辺監視装置は、車両周辺を上方から見下ろした俯瞰画像を生成して、複数の分割領域に分割管理されたモニタの俯瞰画像表示領域に表示する。障害物を検出した場合、車両周辺監視装置は、検出した障害物が存在する分割領域の外周の枠状部を強調表示する。

また、特許文献２に記載の車両用発進支援装置は、駐車車両が発信する際、駐車形式と車両の周囲の状況とに基づいて、運転手が注意を払う必要がある監視領域を設定する。そして、車両用発進支援装置は、監視領域の内部で車両に接近する移動物体を検出し、運転者に対して監視領域についての情報提供を行う。また、車両用発進支援装置は、発進動作が終了したと判定したときに情報提供を終了する。
また、特許文献３に記載の駐車支援装置は、車両に取り付けられたノーズビューカメラで撮像を行い、画像中に移動物体を検出した場合は、その旨の情報を運転者に報知する。

国際公開第２０１１／１１８２６０号 特開２０１５－０７９４２１号公報 特開２００５－１３２１７０号公報

障害物の検出結果、又は、移動体の運転者が注意を払う必要がある領域を運転者に通知する方法では、運転者が障害物を認識した場合に、障害物に対してどのように対応すればよいかわからない可能性がある。移動体の運転者が障害物に対応するための情報を提供できることが好ましい。

本発明は、上述の課題を解決することのできる俯瞰画像生成装置、俯瞰画像表示システム、俯瞰画像生成方法及びプログラムを提供することを目的としている。

本発明の第１の態様によれば、俯瞰画像生成装置は、移動体の移動方向の障害物を検出する障害物検出部と、前記移動体に取り付けられた撮影装置が撮影した画像の履歴における前記障害物の像の大きさの変化の度合いから前記移動体と前記障害物との距離を算出し、前記移動体と前記障害物との距離の時間変化、及び前記撮影装置が撮影した画像における前記障害物の像の位置に基づいて、前記移動体及び前記障害物が共に現在の動きを維持した場合の前記障害物の進行方向を推定する推定部と、前記障害物が移動している場合に、前記撮影装置が撮影した画像に基づいて、前記移動体及びその周囲の俯瞰画像を前記障害物の進行方向を示す態様で生成する俯瞰画像生成部と、生成された俯瞰画像を出力する出力部と、を備える。

本発明の第２の態様によれば、俯瞰画像表示システムは、移動体に取り付けられた撮影装置と、俯瞰画像生成装置と、表示装置とを備え、前記俯瞰画像生成装置は、移動体の移動方向の障害物を検出する障害物検出部と、前記撮影装置が撮影した画像の履歴における前記障害物の像の大きさの変化の度合いから前記移動体と前記障害物との距離を算出し、前記移動体と前記障害物との距離の時間変化、及び前記撮影装置が撮影した画像における前記障害物の像の位置に基づいて、前記移動体及び前記障害物が共に現在の動きを維持した場合の前記障害物の進行方向を推定する推定部と、前記障害物が移動している場合に、前記撮影装置が撮影した画像に基づいて、前記移動体及びその周囲の俯瞰画像を前記障害物の進行方向を示す態様で生成する俯瞰画像生成部と、を備え、生成された俯瞰画像を表示する。

本発明の第３の態様によれば、俯瞰画像生成方法は、移動体の移動方向の障害物を検出し、前記移動体に取り付けられた撮影装置が撮影した画像の履歴における前記障害物の像の大きさの変化の度合いから前記移動体と前記障害物との距離を算出し、前記移動体と前記障害物との距離の時間変化、及び前記撮影装置が撮影した画像における前記障害物の像の位置に基づいて、前記移動体及び前記障害物が共に現在の動きを維持した場合の前記障害物の進行方向を推定し、前記障害物が移動している場合に、前記撮影装置が撮影した画像に基づいて、前記移動体及びその周囲の俯瞰画像を前記障害物の進行方向を示す態様で生成し、生成された俯瞰画像を出力する、ことを含む。

本発明の第４の態様によれば、プログラムは、コンピュータに、移動体の移動方向の障害物を検出させ、前記移動体に取り付けられた撮影装置が撮影した画像の履歴における前記障害物の像の大きさの変化の度合いから前記移動体と前記障害物との距離を算出し、前記移動体と前記障害物との距離の時間変化、及び前記撮影装置が撮影した画像における前記障害物の像の位置に基づいて、前記移動体及び前記障害物が共に現在の動きを維持した場合の前記障害物の進行方向を推定させ、前記障害物が移動している場合に、前記移動体に取り付けられた撮影装置が撮影した画像に基づいて、前記移動体及びその周囲の俯瞰画像を前記障害物の進行方向を示す態様で生成させ、生成された俯瞰画像を出力させる、ためのプログラムである。

この発明によれば、移動体の運転者が障害物に対応するための情報を提供することができる。

本発明の実施形態に係る俯瞰画像生成システムの機能構成を示す概略ブロック図である。 同実施形態に係る撮影装置の撮影範囲の例を示す図である。 同実施形態に係る俯瞰画像生成部が生成する俯瞰画像の第一例を示す図である。 同実施形態に係る俯瞰画像生成部が生成する俯瞰画像の第二例を示す図である。 同実施形態に係る俯瞰画像生成部が生成する俯瞰画像の第三例を示す図である。 同実施形態に係る俯瞰画像生成装置が俯瞰画像を生成して表示装置へ出力する処理手順の例を示すフローチャートである。 本発明に係る俯瞰画像生成装置の最小構成の例を示す図である。 本発明に係る俯瞰画像生成システムの最小構成の例を示す図である。

以下、本発明の実施形態を説明するが、以下の実施形態は請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
図１は、本発明の実施形態に係る俯瞰画像生成システムの機能構成を示す概略ブロック図である。図１に示すように、俯瞰画像生成システム１は、撮影装置１００と、俯瞰画像生成装置２００と、表示装置３００と、入力デバイス４００とを備える。俯瞰画像生成装置２００は、インタフェース部２１０と、記憶部２８０と、制御部２９０とを備える。制御部２９０は、障害物検出部２９１と、接触判定部２９２と、俯瞰画像生成部２９３とを備える。

俯瞰画像生成システム１は、車両９００に搭載され、障害物との接触による車両９００の損傷の可能性を検出して車両９００の運転者に通知する。
ここでいう接触は、いろいろな程度の接触の総称として用いられている。以下では、車両９００に擦り傷が発生するような、比較的弱い程度の接触を擦れと称する。また、車両９００にへこみ又は割れ等の変形が発生するような、比較的強い程度の接触を衝突と称する。

俯瞰画像生成システム１は、車両９００に予測される損傷を、車両９００及びその周囲を上方から見下ろした俯瞰画像における接触予測位置に表示する。ここでいう接触予測位置は、車両９００について障害物との接触が予測される位置である。
車両９００の運転者は、俯瞰画像生成システム１が表示する俯瞰画像を参照して、車両９００のどの部分にどの程度の接触が予測されるかを容易に把握することができる。

運転者が、車両９００における接触の位置及び程度を把握することで、減速の要否、ハンドル操作の要否、ハンドル操作を行う場合に左右どちらの方向へ向けるかなど、障害物との接触に対する対応策を決定するための参考情報とすることができる。この点で、俯瞰画像生成システム１は、車両９００の運転者が障害物に対応するための情報を提供することができる。
車両９００は、移動体の例に該当する。但し、俯瞰画像生成システム１の適用範囲は車両に限らず、事故発生の可能性があるいろいろな移動体とすることができる。たとえば、俯瞰画像生成システム１が船舶に適用されていてもよい。

撮影装置１００は、車両９００に取り付けられ、車両９００の周囲の画像を撮影する。 図２は、撮影装置１００の撮影範囲の例を示す図である。図２の例で、車両９００の前、右、後ろ、左それぞれに１つずつ撮影装置１００が取り付けられている。
前方の撮影装置１００は、領域Ａ１１１、Ａ１２１及びＡ１２４を撮影する。
右方の撮影装置１００は、領域Ａ１１２、Ａ１２１及びＡ１２２を撮影する。
後方の撮影装置１００は、領域Ａ１１３、Ａ１２２及びＡ１２３を撮影する。
左方の撮影装置１００は、領域Ａ１１４、Ａ１２３及びＡ１２４を撮影する。
このように、撮影装置１００が車両９００の全周を撮影することで、俯瞰画像生成装置２００は、車両９００及び車両９００の全周を上方から見下ろした俯瞰画像を生成することができる。

俯瞰画像生成装置２００は、撮影装置１００が撮影した画像に基づいて、車両９００及びその周囲を上方から見下ろした俯瞰画像を生成する。車両９００と障害物との接触が予測される場合、俯瞰画像生成装置２００は、車両９００の俯瞰画像に、接触による損傷を示す画像を合成する。
俯瞰画像生成装置２００は、例えばマイコン（Microcomputer）などのコンピュータを用いて構成される。

インタフェース部２１０は、他の装置との通信インタフェースとして機能し、他の装置との間でデータの入出力を行う。特に、インタフェース部２１０は、撮影装置１００からの撮影画像を画像データにて取得する。また、インタフェース部２１０は、入力デバイス４００がユーザ操作（例えば運転者による操作）を受けた場合に、ユーザ操作を示す信号を取得する。
また、インタフェース部２１０は、出力部の例に該当し、俯瞰画像生成部２９３が生成する俯瞰画像など表示装置３００に表示させる画像を画像データにて表示装置３００へ出力する。

記憶部２８０は、各種データを記憶する。記憶部２８０は、俯瞰画像生成装置２００が備える記憶デバイスを用いて構成される。
制御部２９０は、俯瞰画像生成装置２００の各部を制御して各種処理を行う。制御部２９０は、俯瞰画像生成装置２００が備えるＣＰＵ（Central Processing Unit、中央処理装置）が、記憶部２８０からプログラムを読み出して実行することで構成される。

障害物検出部２９１は、車両９００の移動方向の障害物を検出する。障害物検出部２９１が障害物を検出する方法は、特定の方法に限定されない。例えば、障害物検出部２９１が、撮影装置１００が撮影した画像を解析することで障害物を検出するようにしてもよい。あるいは、俯瞰画像生成システム１が例えばレーダ（Radar）など障害検出用のセンサを備え、障害物検出部２９１が、このセンサを用いて障害物を検出するようにしてもよい。
また、障害物検出部２９１が、車両９００の移動方向以外の方向についても障害物を検出するようにしてもよい。

接触判定部２９２は、障害物検出部２９１が検出した障害物と車両９００との接触可能性及び車両９００における接触予測位置を判定する。
例えば、接触判定部２９２は、障害物検出部２９１が検出した障害物の車両９００に対する相対位置の履歴に基づいて、車両９００及び障害物が共に現在の動きを維持した場合の障害物の軌道を、車両９００に対する相対位置の軌道にて予測する。静止している障害物については、接触判定部２９２は、障害物が静止し続けている場合の、障害物の軌道を予測する。

そして、接触判定部２９２は、車両９００の少なくとも一部分と、障害物の少なくとも一部分とが重なるときがあるか否かを判定する。重なるときがあると判定した場合、接触判定部２９２は、接触可能性有りと判定し、車両９００側について障害部と重なる部分を接触予測位置として検出する。
一方、車両９００と障害物とが重なるときが無いと判定した場合、接触判定部２９２は、接触可能性無し、かつ、接触予測位置無しと判定する。

車両９００と障害物との接触可能性有りと判定した場合、接触判定部２９２は、さらに接触予測位置における車両９００の損傷の態様を判定する。例えば、接触判定部２９２は、障害物の大きさ、質量、柔らかさ、車両９００に対する相対速度及び進行方向の各々を推定し、推定結果を予め定められている評価式に代入して評価値を算出する。接触判定部２９２は、得られた評価値と所定の閾値とを比較して、例えば、衝突の程度として擦れ、衝突の何れかを選択する。或いは、接触判定部２９２が、衝突の程度として擦れ、比較的軽度の衝突、比較的重度の衝突の何れかを選択するなど、３段階以上の衝突の程度のいずれかを判定するようにしてもよい。

障害物の大きさについては、接触判定部２９２は、例えば、撮影装置１００が撮影した画像に写る障害物の像の大きさ、及び、車両９００と障害物との推定距離から推定する。車両９００と障害物との距離については、接触判定部２９２が、撮影装置１００が撮影した画像の履歴における障害物の像の大きさの変化の度合いから算出するようにしてもよい。或いは、俯瞰画像生成システム１が、レーダ又はステレオカメラなど距離測定用のセンサを備えるようにしてもよい。

障害物の質量及び柔らかさについては、例えば、記憶部２８０が、障害物の画像における特徴と障害物の密度及び柔らかさとを対応付けたデータを予め記憶しておく。そして、接触判定部２９２は、撮影装置１００が撮影した画像から障害物の特徴を読み出し、読み出した特徴に応じた密度及び柔らかさを記憶部２８０から読み出す。接触判定部２９２は、障害物の大きさの推定値に密度を乗算して質量の推定値を算出する。
車両９００に対する障害物の相対速度及び進行方向については、接触判定部２９２は、例えば車両９００と障害物との距離の時間変化、及び、撮影装置１００が撮影した画像における障害物の像の位置に基づいて推定する。

さらに、接触判定部２９２は、選択した衝突の程度に応じて車両９００における損傷の態様を判定する。上記の例では、接触判定部２９２は、擦れ、衝突に対応して損傷の態様を、それぞれ擦り傷、変形と判定する。このように、接触判定部２９２は、障害物の硬さを判定し、判定した硬さに基づいて車両９００における損傷の態様を判定する。
障害物検出部２９１が複数の障害物を検出した場合、接触判定部２９２は、それぞれの障害物について、接触可能性、車両９００における接触予測位置、及び、接触予測位置における車両９００の損傷の態様を判定する。

俯瞰画像生成部２９３は、撮影装置１００が撮影した画像に基づいて、車両９００及びその周囲の俯瞰画像、かつ、接触予測位置が示されている俯瞰画像を生成する。例えば、俯瞰画像生成部２９３は、撮影装置１００が撮影した画像に基づいて車両９００の周囲の俯瞰画像を生成し、記憶部２８０が予め記憶している車両９００のアイコンを合成する。これにより、俯瞰画像生成部２９３は、車両９００及びその周囲を上方から見下ろした俯瞰画像を生成する。
また、記憶部２８０が、車両９００の位置毎に擦り傷、変形それぞれの画像を画像データで記憶しておく。そして、俯瞰画像生成部２９３は、接触判定部２９２が判定した損傷の態様に応じた画像を記憶部２８０から読み出し、読み出した画像を俯瞰画像における前記接触予測位置に合成する。

図３は、俯瞰画像生成部２９３が生成する俯瞰画像の第一例を示す図である。図３は、接触判定部２９２が損傷の態様を変形と判定した場合の俯瞰画像の例を示している。図３の例では、車両９００はまっすぐに後進しており、このまま後進すると車両９００の右後方が、駐車場に設置されている支柱に衝突する。そこで、俯瞰画像生成部２９３は、車両９００の右後方の変形の画像を記憶部２８０から読み出し、俯瞰画像における車両９００の右後方の位置に合成している。

図４は、俯瞰画像生成部２９３が生成する俯瞰画像の第二例を示す図である。図４は、接触判定部２９２が損傷の態様を擦り傷と判定した場合の俯瞰画像の例を示している。図４の例では、車両９００は車道の左側に寄ってまっすぐに前進しており、このまま前進すると車両９００の左前方が、植え込みと擦れる。そこで、俯瞰画像生成部２９３は、車両９００の左前方の擦り傷の画像を記憶部２８０から読み出し、俯瞰画像における車両９００の左前方の位置に合成している。

俯瞰画像生成部２９３が、障害物が静止している場合と移動している場合とで異なる表示態様で障害物を表示する俯瞰画像を生成するようにしてもよい。
図５は、俯瞰画像生成部２９３が生成する俯瞰画像の第三例を示す図である。図４の例では、静止している障害物である支柱と、移動している障害物である猫とが俯瞰画像中に示されている。俯瞰画像生成部２９３は、これらの障害物のうち猫の像をハイライト表示（高輝度で表示）している。さらに、俯瞰画像生成部２９３は、猫の進行方向を示す矢印を俯瞰画像に合成している。
但し、俯瞰画像生成部２９３が、障害物を強調表示する方法は特定の方法に限定されない。また、俯瞰画像生成部２９３が、移動している障害物と静止している障害物とを異なる態様で強調表示するなど、静止している障害物を強調表示するようにしてもよい。

表示装置３００は、例えば液晶パネル又はＬＥＤ（Light Emitting Diode、発光ダイオード）パネル等の表示画面を備え、俯瞰画像生成装置２００の制御に従って各種画像を表示する。特に、表示装置３００は、俯瞰画像生成部２９３が生成した俯瞰画像を表示する。
入力デバイス４００は、例えば表示装置３００の表示画面に設けられてタッチパネルを構成するタッチセンサ等の入力デバイスを備え、ユーザ操作（例えば運転者による操作）を受ける。入力デバイス４００は、受けたユーザ操作を示す信号を俯瞰画像生成装置２００へ出力する。

次に、図６及び図７を参照して俯瞰画像生成装置２００の動作について説明する。
図６は、俯瞰画像生成装置２００が俯瞰画像を生成して表示装置３００へ出力する処理手順の例を示すフローチャートである。
（ステップＳ１０１）
インタフェース部２１０は、撮影装置１００が車両９００の周囲を撮影した画像を画像データにて取得する。ステップＳ１０１の後、ステップＳ１０２へ進む。

（ステップＳ１０２）
俯瞰画像生成部２９３は、撮影装置１００が撮影した画像に基づいて、車両９００及びその周囲を上方から見下ろした俯瞰画像を生成する。ステップＳ１０２の後、ステップＳ１０３へ進む。
（ステップＳ１０３）
障害物検出部２９１は、俯瞰画像に写されている障害物を検出する。ステップＳ１０３の後、ステップＳ１０４へ進む。

（ステップＳ１０４）
接触判定部２９２は、車両９００と障害物との接触判定を行う。具体的には、接触判定部２９２は、車両９００と障害物との接触可能性の有無を判定する。また、接触可能性有りと判定する場合、接触判定部２９２は、車両９００における接触予測位置、及び、接触予測位置における車両９００の損傷の態様を判定する。ステップＳ１０４の後、ステップＳ１０５へ進む。

（ステップＳ１０５）
制御部２９０は、ステップＳ１０４での接触可能性の有無の判定結果に応じて遷移する。接触可能性有りと判定した場合は、ステップＳ１１１へ進む。一方、接触可能性無しと判定した場合は、ステップＳ１２１へ進む。
（ステップＳ１１１）
俯瞰画像生成部２９３は、ステップＳ１０２で生成した俯瞰画像に接触予測位置の表示を付加する。具体的には、俯瞰画像生成部２９３は、ステップＳ１０４で接触判定部２９２が判定した接触予測位置及び損傷の態様に応じた画像を記憶部２８０から読み出す。そして、俯瞰画像生成部２９３は、読み出した画像を、俯瞰画像における接触予測位置に合成する。
ステップＳ１１１の後、ステップＳ１２１へ進む。

（ステップＳ１２１）
接触判定部２９２は、俯瞰画像に写る障害物の動きを検出する。ステップＳ１２１の後、ステップＳ１２２へ進む。
（ステップＳ１２２）
俯瞰画像生成部２９３は、俯瞰画像に写る障害物のうち、接触判定部２９２がステップＳ１２１で動いていると判定した障害物の表示態様を変更する。この変更により、俯瞰画像生成部２９３は動いている障害物を強調表示する。ステップＳ１２２の後、ステップＳ１２３へ進む。

（ステップＳ１２３）
インタフェース部２１０は、制御部２９０の制御に従って俯瞰画像を画像データにて表示装置３００へ出力する。表示装置３００は、この画像データに従って俯瞰画像を表示する。
ステップＳ１２３の後、ステップＳ１０１へ戻る。

以上のように、障害物検出部２９１は、車両９００の移動方向の障害物を検出する。接触判定部２９２は、障害物と車両９００との接触可能性及び車両９００における接触予測位置を判定する。俯瞰画像生成部２９３は、撮影装置１００が撮影した画像に基づいて、車両９００及びその周囲の俯瞰画像、かつ、接触予測位置が示されている俯瞰画像を生成する。インタフェース部２１０は、俯瞰画像を出力する。

これにより、車両９００の運転者は、俯瞰画像を参照して、車両９００のどの部分に接触が予測されるかを容易に把握することができる。
運転者が、車両９００における接触の位置を把握することで、例えばハンドル操作を行う場合に左右どちらの方向へ向けるかなど、障害物との接触に対する対応策を決定するための参考情報とすることができる。この点で、俯瞰画像生成装置２００は、車両９００の運転者が障害物に対応するための情報を提供することができる。

また、接触判定部２９２は、接触予測位置における車両９００の損傷の態様を判定する。俯瞰画像生成部２９３は、撮影装置１００が撮影した画像に基づいて、車両９００及びその周囲の俯瞰画像を生成し、生成した俯瞰画像における接触予測位置に、損傷の態様を示す画像を合成する。
これにより、車両９００の運転者は、俯瞰画像を参照して、車両９００のどの部分にどの程度の接触が予測されるかを容易に把握することができる。

運転者が、車両９００における接触の位置に加えて接触の程度を把握することで、減速の要否、ハンドル操作の要否、ハンドル操作を行う場合に左右どちらの方向へ向けるかなど、障害物との接触に対する対応策を決定するための参考情報とすることができる。この点で、俯瞰画像生成システム１は、車両９００の運転者が障害物に対応するための情報を提供することができる。

また、接触判定部２９２は、障害物の硬さを判定し、判定した硬さに基づいて損傷の態様を判定する。
これにより、接触判定部２９２は、障害物の硬さを反映してより高精度に損傷の態様を判定することができる。

また、接触判定部２９２は、撮影装置１００が撮影した画像に基づいて障害物の硬さを判定する。
これにより、俯瞰画像生成装置２００では、障害物の硬さを判定するためのセンサを別途設ける必要がない。

また、俯瞰画像生成部２９３は、障害物が静止している場合と移動している場合とで異なる表示態様で障害物を表示する俯瞰画像を生成する。
これにより、俯瞰画像生成装置２００は、移動している障害物を表示装置３００に強調表示させることができる。
ここで、車両９００の運転者は、移動している障害物と車両９００との接触を避けるために、移動している障害物の位置の把握を継続的に行う必要がある。俯瞰画像生成装置２００が、移動している障害物を表示装置３００に強調表示させることで、移動している障害物の位置の把握を継続的に行うよう運転者に対して注意喚起することができる。

次に、図７及び図８を参照して本発明の最小構成について説明する。
図７は、本発明に係る俯瞰画像生成装置の最小構成の例を示す図である。図７に示す俯瞰画像生成装置１０は、障害物検出部１１と、接触判定部１２と、俯瞰画像生成部１３と、出力部１４とを備える。
かかる構成にて、障害物検出部１１は、移動体の移動方向の障害物を検出する。接触判定部１２は、障害物と移動体との接触可能性及び移動体における接触予測位置を判定する。俯瞰画像生成部１３は、移動体に取り付けられた撮影装置が撮影した画像に基づいて、移動体及びその周囲の俯瞰画像、かつ、接触予測位置が示されている俯瞰画像を生成する。出力部１４は、俯瞰画像を出力する。

これにより、移動体の運転者は、俯瞰画像を参照して、移動体のどの部分に障害物の接触が予測されるかを容易に把握することができる。
運転者が、移動体における接触の位置を把握することで、例えばハンドル操作を行う場合に左右どちらの方向へ向けるかなど、障害物との接触に対する対応策を決定するための参考情報とすることができる。この点で、俯瞰画像生成装置１０は、移動体の運転者が障害物に対応するための情報を提供することができる。

図８は、本発明に係る俯瞰画像生成システムの最小構成の例を示す図である。図８に示す俯瞰画像生成システム２０は、撮影装置２１と、俯瞰画像生成装置２２と、表示装置２６とを備える。俯瞰画像生成装置２２は、障害物検出部２３と、接触判定部２４と、俯瞰画像生成部２５とを備える。
かかる構成にて、障害物検出部２３は、移動体の移動方向の障害物を検出する。接触判定部２４は、障害物と移動体との接触可能性及び移動体における接触予測位置を判定する。俯瞰画像生成部２５は、移動体に取り付けられた撮影装置が撮影した画像に基づいて、移動体及びその周囲の俯瞰画像、かつ、接触予測位置が示されている俯瞰画像を生成する。表示装置２６は、俯瞰画像生成部２５が生成した俯瞰画像を表示する。

これにより、移動体の運転者は、俯瞰画像を参照して、移動体のどの部分に障害物の接触が予測されるかを容易に把握することができる。
運転者が、移動体における接触の位置を把握することで、例えばハンドル操作を行う場合に左右どちらの方向へ向けるかなど、障害物との接触に対する対応策を決定するための参考情報とすることができる。この点で、俯瞰画像生成システム２０は、移動体の運転者が障害物に対応するための情報を提供することができる。

なお、制御部２９０の機能の全部または一部を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することで各部の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。 また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

１、２０ 俯瞰画像生成システム
１０、２２、２００ 俯瞰画像生成装置
１１、２３、２９１ 障害物検出部
１２、２４、２９２ 接触判定部
１３、２５、２９３ 俯瞰画像生成部
１４ 出力部
２１、１００ 撮影装置
２６、３００ 表示装置
２１０ インタフェース部
２８０ 記憶部
２９０ 制御部
４００ 入力デバイス

Claims (6)

1. 移動体の移動方向の障害物を検出する障害物検出部と、
   前記移動体に取り付けられた撮影装置が撮影した画像の履歴における前記障害物の像の大きさの変化の度合いから前記移動体と前記障害物との距離を算出し、前記移動体と前記障害物との距離の時間変化、及び前記撮影装置が撮影した画像における前記障害物の像の位置に基づいて、前記移動体及び前記障害物が共に現在の動きを維持した場合の前記障害物の進行方向を推定する推定部と、
   前記障害物が移動している場合に、前記撮影装置が撮影した画像に基づいて、前記移動体及びその周囲の俯瞰画像を前記障害物の進行方向を示す態様で生成する俯瞰画像生成部と、
   生成された俯瞰画像を出力する出力部と、
   を備える俯瞰画像生成装置。
2. 前記進行方向を示す態様は、進行方向を矢印で示す態様である、
   請求項１に記載の俯瞰画像生成装置。
3. 前記俯瞰画像生成部は、前記障害物が静止している場合と移動している場合とで異なる表示態様で前記障害物を強調表示する前記俯瞰画像を生成する、
   請求項１または請求項２に記載の俯瞰画像生成装置。
4. 移動体に取り付けられた撮影装置と、俯瞰画像生成装置と、表示装置とを備え、
   前記俯瞰画像生成装置は、
   移動体の移動方向の障害物を検出する障害物検出部と、
   前記撮影装置が撮影した画像の履歴における前記障害物の像の大きさの変化の度合いから前記移動体と前記障害物との距離を算出し、前記移動体と前記障害物との距離の時間変化、及び前記撮影装置が撮影した画像における前記障害物の像の位置に基づいて、前記移動体及び前記障害物が共に現在の動きを維持した場合の前記障害物の進行方向を推定する推定部と、
   前記障害物が移動している場合に、前記撮影装置が撮影した画像に基づいて、前記移動体及びその周囲の俯瞰画像を前記障害物の進行方向を示す態様で生成する俯瞰画像生成部と、
   を備え、
   生成された俯瞰画像を表示する、
   俯瞰画像表示システム。
5. 移動体の移動方向の障害物を検出し、
   前記移動体に取り付けられた撮影装置が撮影した画像の履歴における前記障害物の像の大きさの変化の度合いから前記移動体と前記障害物との距離を算出し、前記移動体と前記障害物との距離の時間変化、及び前記撮影装置が撮影した画像における前記障害物の像の位置に基づいて、前記移動体及び前記障害物が共に現在の動きを維持した場合の前記障害物の進行方向を推定し、
   前記障害物が移動している場合に、前記撮影装置が撮影した画像に基づいて、前記移動体及びその周囲の俯瞰画像を前記障害物の進行方向を示す態様で生成し、
   生成された俯瞰画像を出力する、
   ことを含む俯瞰画像生成方法。
6. コンピュータに、
   移動体の移動方向の障害物を検出させ、
   前記移動体に取り付けられた撮影装置が撮影した画像の履歴における前記障害物の像の大きさの変化の度合いから前記移動体と前記障害物との距離を算出し、前記移動体と前記障害物との距離の時間変化、及び前記撮影装置が撮影した画像における前記障害物の像の位置に基づいて、前記移動体及び前記障害物が共に現在の動きを維持した場合の前記障害物の進行方向を推定させ、
   前記障害物が移動している場合に、前記撮影装置が撮影した画像に基づいて、前記移動体及びその周囲の俯瞰画像を前記障害物の進行方向を示す態様で生成させ、
   生成された俯瞰画像を出力させる、
   ためのプログラム。

Images