JP4988499B2 - 画像生成装置及び画像生成プログラム - Google Patents

Description

本発明は、車両周辺の画像を合成して出力する画像生成装置及びそのプログラムに関する。

近年、複数のカメラで撮影した画像から合成画像を生成して表示装置に表示させることによって運転支援を行う運転支援装置が知られている。例えば、下記の特許文献１に記載の装置は、カメラからの入力画像を３次元空間の予め決められた空間モデルにマッピングし、そのマッピングされた空間データを参照して３次元空間における任意の仮想視点から見た画像である仮想視点画像を生成し、表示装置に表示させるようになっている。そして、車両の状態や、車両の動作状況、ユーザによる操作状況によって、複数の仮想視点画像を重畳表示させたり（特許文献１の図３参照）、複数の仮想視点画像をパノラマ合成させたり（特許文献１の図４参照）、複数の仮想視点画像を並べて表示させたりする（特許文献１の図５参照）。また、広角の仮想視点画像と、拡大された仮想視点画像とを並べて表示させることも行う（特許文献１の図１２）。
特開２００５−２４２６０６号公報

ところが、例えば、広角の仮想視点画像と拡大された仮想視点画像とを切り替えたり、異なる仮想視点位置の仮想視点画像に切り替えたりした場合には、その切り替わった仮想視点画像が表している場所をユーザが理解できなかったり、その理解に時間を要したりすることが考えられる。

本願発明はこのような問題にかんがみなされたものであり、切り替え後の仮想視点画像が表している場所を容易に理解することのできる画像を生成する画像生成装置等を提供することを目的とする。

上記課題を解決するためになされた請求項１に記載の画像生成装置は、車両に搭載されて用いられる画像生成装置であって、一又は複数のカメラからの入力画像を三次元空間の予め決められた空間モデルにマッピングする空間再構成手段と、空間再構成手段によってマッピングされた空間データを参照して、三次元空間における任意の仮想視点から見た画像である仮想視点画像を生成する画像生成手段と、画像生成手段により生成された仮想視点画像を表示装置に出力する出力手段と、出力手段が出力させている仮想視点画像の仮想視点から所定の仮想視点まで、連続的に仮想視点を移動させた仮想視点画像を画像生成手段に生成させる画像生成指示手段と、車両に搭載されたセンサから得られる信号に基づいて所定の仮想視点を設定する自動仮想視点設定手段と、を備える。
そして、画像生成手段は、車両を写した仮想視点画像に対し、該仮想視点画像上における該車両が存在する領域の外縁に沿って配される線を重畳させ、自動仮想視点設定手段は、車両に搭載されたセンサから得られる信号に基づいて車両の周囲の危険箇所を特定する危険箇所特定手段と、危険箇所特定手段により特定された危険箇所のうち、最も危険な箇所を臨むことができる場所を所定の仮想視点として設定する設定手段と、を備える。
さらに、画像生成装置は、危険箇所特定手段により特定された危険箇所のうち、二番目に危険な箇所であってその危険度合いが所定程度以上の危険箇所がある場合は、その危険箇所を臨むことができる場所に新たに別の仮想視点を設定する新規仮想視点設定手段と、新規仮想視点設定手段により設定された仮想視点における仮想視点画像を画像生成手段にさらに生成させる補助画像生成指示手段と、を備え、出力手段は、補助画像生成指示手段の指示により生成された仮想視点画像と、画像生成指示手段の指示により生成された仮想視点画像とが並べられた画像を表示装置に出力する。
なお、「車両に搭載されたセンサから得られる信号に基づいて所定の仮想視点を設定する」というのは、例えば、左折の方向指示器が動作したことをセンサが検出した場合には、車両の後方上空であって車両全体を見下ろせる位置を所定の仮想視点として設定したり、例えば、後進によって縦列駐車をする場合には、車両の前方上空であって車両全体を見下ろせる位置を所定の仮想視点として設定したりすることである。

このような画像生成装置によれば、仮想視点画像の切り替えの際、連続的に仮想視点が移動してその移動に対応した画像が出力されるため、ユーザは画像の遷移（仮想視点の移動の様子）から所定の仮想視点の位置を容易に理解することができる。つまり、切り替え後の仮想視点画像が表している場所を容易に理解することができる。また、危険な箇所の様子を把握可能な仮想視点画像を出力することができると共に、さらに、車両と障害物との接触をより確実に防止することができる。
また、車両の状況に合致する仮想視点画像を出力することや、最も危険な箇所の様子を把握可能な仮想視点画像を出力することができる。
また、車両の周囲に複数の危険箇所が存在する場合もある。例えば、縦列駐車を行う場合に、車両の左前と車両の後方の両方が、他車両と接触しそうな場合である。このような場合に、より危険な一方についての仮想視点画像だけを表示するとすれば、他方については接触してしまうおそれがある。
これに対し、請求項１に記載の画像生成装置によれば、二番目に危険な箇所であってその危険度合いが所定程度以上の危険箇所についてもユーザへ認識させることができる。
また、上記課題を解決するためになされた請求項２に記載の画像生成装置は、上述した空間再構成手段と、画像生成手段と、出力手段と、画像生成指示手段と、車両に搭載されたセンサから得られる信号に基づいて所定の仮想視点を設定する自動仮想視点設定手段と、を備える。そして、自動仮想視点設定手段は、車両に搭載されたセンサから得られる信号に基づいて車両の周囲の危険箇所を特定する危険箇所特定手段と、危険箇所特定手段により特定された危険箇所のうち、最も危険な箇所を臨むことができる場所を所定の仮想視点として設定する設定手段と、を備える。また、画像生成装置は、さらに、危険箇所特定手段により特定された危険箇所のうち、二番目に危険な箇所であってその危険度合いが所定程度以上の危険箇所がある場合は、その危険箇所を臨むことができる場所に新たに別の仮想視点を設定する新規仮想視点設定手段と、新規仮想視点設定手段により設定された仮想視点における仮想視点画像を画像生成手段にさらに生成させる補助画像生成指示手段と、を備える。そして、出力手段は、補助画像生成指示手段の指示により生成された仮想視点画像と、画像生成指示手段の指示により生成された仮想視点画像とが並べられた画像を表示装置に出力する。
なお、「車両に搭載されたセンサから得られる信号に基づいて所定の仮想視点を設定する」というのは、例えば、左折の方向指示器が動作したことをセンサが検出した場合には、車両の後方上空であって車両全体を見下ろせる位置を所定の仮想視点として設定したり、例えば、後進によって縦列駐車をする場合には、車両の前方上空であって車両全体を見下ろせる位置を所定の仮想視点として設定したりすることである。
このような構成を有する場合にも、仮想視点画像の切り替えの際、連続的に仮想視点が移動してその移動に対応した画像が出力されるため、ユーザは画像の遷移から所定の仮想視点の位置を容易に理解することができる。つまり、切り替え後の仮想視点画像が表している場所を容易に理解することができる。
さらに、車両の状況に合致する仮想視点画像を出力することや、最も危険な箇所の様子を把握可能な仮想視点画像を出力することや、二番目に危険な箇所であってその危険度合いが所定程度以上の危険箇所についてもユーザへ認識させることができる。

なお、上述した「所定の仮想視点」は、例えば、ユーザからの指示に基づいて設定された仮想視点であるとよい。つまり、ユーザからの指示に基づいて所定の仮想視点を設定する手動仮想視点設定手段をさらに備えるように画像生成装置を構成するとよい。具体的な指示としては、例えば、車両の後方上空であって車両全体を見下ろせる位置を仮想視点として設定するという指示が考えられる。

このような画像生成装置であれば、ユーザの希望に合致する仮想視点画像を出力することができる。

また、一般的に、入力画像を三次元空間の予め決められた空間モデルにマッピングして、そのマッピングされた空間データを参照して生成した仮想視点画像は、物体の位置について誤差を生じやすい。そこで、請求項３に記載のように、画像生成手段は、車両周辺に存在する障害物を検知するセンサから得られる信号に基づき、仮想視点画像上の対応する位置に、障害物との距離を把握可能な画像を重畳させるとよい。

このようにすれば、車両と障害物との接触をより防止することができる。
なお、仮想視点の移動速度は、固定されていてもよいが、固定されているとユーザに素早く危険を伝えることが望まれている場合に、固定された速度によっては素早く危険を伝えられないおそれがある。そこで、請求項４に記載のように、仮想視点の移動速度を、車両の危険状況に応じて設定する視点移動速度設定手段をさらに備えるように画像生成装置を構成し、画像生成指示手段は、視点移動速度設定手段により設定された移動速度によって仮想視点を移動させた仮想視点画像を画像生成手段に生成させるようになっているとよい。
このようになっていれば、例えば、危険度が高い場合には視点移動速度を速くし、危険度が低い場合には視点移動速度を遅くするといったことが可能になり、例えば、ユーザに対して素早く危険を伝えることが望まれている場合に、素早く危険を伝えることができる。
ところで、空間再構成手段が用いる空間モデルは、どのような空間モデルであってもよいが、特に路面の平面モデルであるとよい（請求項５）。つまり、空間再構成手段は、カメラで撮像された画像を、路面（平面）に存在する物体であって高さのない物体の画像として捉えて処理するようになっているとよい。

このような空間モデルを用いれば、空間再構成手段の処理負荷が比較的少なくて済むとともに、仮想視点画像も比較的自然なものとなる。
なお、上述した各手段に対応したステップを実現するプログラムを構成してもよい。例えば、一又は複数のカメラからの入力画像を三次元空間の予め決められた空間モデルにマッピングする空間再構成ステップと、空間再構成ステップによってマッピングされた空間データを参照して、三次元空間における任意の仮想視点から見た画像である仮想視点画像を生成する画像生成ステップと、画像生成ステップにより生成された仮想視点画像を表示装置に出力する出力ステップと、出力ステップにより出力されている仮想視点画像の仮想視点から所定の仮想視点まで、連続的に仮想視点を移動させた仮想視点画像を画像生成ステップとして実行させて生成させる画像生成指示ステップと、車両に搭載されたセンサから得られる信号に基づいて所定の仮想視点を設定する自動仮想視点設定ステップと、をコンピュータに実行させるための画像生成プログラムを構成してもよい。
また、画像生成ステップにおいて、車両を写した仮想視点画像に対し、該仮想視点画像上における該車両が存在する領域の外縁に沿って配される線を重畳させ、自動仮想視点設定ステップは、車両に搭載されたセンサから得られる信号に基づいて車両の周囲の危険箇所を特定する危険箇所特定ステップと、危険箇所特定ステップにより特定された危険箇所のうち、最も危険な箇所を臨むことができる場所を所定の仮想視点として設定する設定ステップと、を有しても良い。
さらに、画像生成プログラムは、危険箇所特定ステップにより特定された危険箇所のうち、二番目に危険な箇所であってその危険度合いが所定程度以上の危険箇所がある場合は、その危険箇所を臨むことができる場所に新たに別の仮想視点を設定する新規仮想視点設定ステップと、新規仮想視点設定ステップにより設定された仮想視点における仮想視点画像を画像生成ステップとして実行させてさらに生成させる補助画像生成指示ステップと、をコンピュータに実行させ、出力ステップでは、補助画像生成指示ステップにて生成された仮想視点画像と、画像生成指示ステップにて生成された仮想視点画像とが並べられた画像を表示装置に出力しても良い（請求項６）。
また、例えば、上述した空間再構成ステップと、画像生成ステップと、出力ステップと、画像生成指示ステップと、車両に搭載されたセンサから得られる信号に基づいて所定の仮想視点を設定する自動仮想視点設定ステップと、をコンピュータに実行させ、自動仮想視点設定ステップは、車両に搭載されたセンサから得られる信号に基づいて車両の周囲の危険箇所を特定する危険箇所特定ステップと、危険箇所特定ステップにより特定された危険箇所のうち、最も危険な箇所を臨むことができる場所を所定の仮想視点として設定する設定ステップと、を有することを特徴とする画像生成プログラムを構成しても良い。さらに、この画像生成プログラムは、危険箇所特定ステップにより特定された危険箇所のうち、二番目に危険な箇所であってその危険度合いが所定程度以上の危険箇所がある場合は、その危険箇所を臨むことができる場所に新たに別の仮想視点を設定する新規仮想視点設定ステップと、新規仮想視点設定ステップにより設定された仮想視点における仮想視点画像を画像生成ステップとして実行させてさらに生成させる補助画像生成指示ステップと、をコンピュータに実行させ、出力ステップでは、補助画像生成指示ステップにて生成された仮想視点画像と、画像生成指示ステップにて生成された仮想視点画像とが並べられた画像を前記表示装置に出力しても良い（請求項７）。

このようなプログラムを、画像生成装置が内蔵するコンピュータに実行させれば、その画像生成装置は、上述した本発明の画像生成装置と同様の作用及び効果を奏する。また、プログラムはネットワーク等を用いて流通させることも可能である上、画像生成装置におけるプログラムの入れ替えは、部品の入れ替えに比較して容易である。したがって、画像生成装置の機能向上を容易に行うこともできる。

以下、本発明が適用された実施形態について図面を用いて説明する。なお、本発明の実施の形態は、下記の実施形態に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の形態を採りうる。

［構成の説明］
図１は、実施形態の画像生成装置１１及び画像生成装置１１に接続される装置等を説明するためのブロック図である。なお、画像生成装置１１には、前方カメラ２１、後方カメラ２２、右方カメラ２３、左方カメラ２４、障害物検知装置３１、シフトポジションセンサ３２、ハンドルセンサ３３、ナビゲーション装置３４、及び、表示装置３５が接続されている。なお、これらは全て車両（以下、「自車両」とも称す。）に搭載されている。

（１）画像生成装置１１
画像生成装置１１は、画像入力部１２、空間再構成部１３、画像生成部１４、画像出力部１５、操作部１６、及び、制御部１７を備える。

画像入力部１２は、前方カメラ２１、後方カメラ２２、右方カメラ２３、及び、左方カメラ２４のそれぞれから画像を入力する機能を有する。
空間再構成部１３は、画像入力部１２から画像を受け取り、三次元空間の空間モデルにマッピングした空間データを作成する。つまり、空間再構成部１３は、画像入力部１２より受け取った画像を構成する各々の画素が、それぞれ三次元空間のどの点に対応するものかを計算し、その計算結果に応じて各々の画素をマッピングして空間データを作成する。なお、本実施形態では、空間モデルとして、路面の平面モデルを用いることとし、空間再構成部１３は、画像入力部１２から受け取った画像中の地平線より下の部分を、路面（平面）に存在する物体であって高さのない物体の画像として処理する。

画像生成部１４は、空間再構成部１３が作成した空間データを参照して、空間モデル内の任意の視点位置から任意の方向を見た場合の画像を生成する。なお、運転者の見やすさを意図して左右を反転させた画像（鏡面反射画像）を生成する。

画像出力部１５は、画像生成部１４によって生成された画像を所定の方式（例えば、ＮＴＳＣ、ＳＤＴＶ等）の画像信号に変換して表示装置３５へ出力する。
操作部１６は、メカニカルなキースイッチや、表示装置３５の表示面と積層一体化されたタッチパネル等から構成され、ユーザからの指示を入力可能に構成されている。

制御部１７は、操作部１６、障害物検知装置３１、シフトポジションセンサ３２、ハンドルセンサ３３、及び、ナビゲーション装置３４からの信号を入力し、その信号に基づいて、主に空間再構成部１３及び画像生成部１４を制御する機能を有する。

なお、画像入力部１２、空間再構成部１３、画像生成部１４、画像出力部１５、及び、制御部１７は、周知のＣＰＵ、ＲＡＭ、ＲＯＭ等から構成され、ＲＯＭに記憶されているプログラムがＲＡＭに展開され、そのプログラムをＣＰＵが実行することにより各部の機能が実現される。

（２）前方カメラ２１
前方カメラ２１は、自車両の前端部中央に取り付けられたカメラであり、車両の前方を撮影するカメラである（図２（ａ）参照）。このカメラは、１８０度程度の画角を有しており、毎秒３０コマのカラー画像を撮影可能である。

（３）後方カメラ２２
後方カメラ２２は、自車両の後端部中央に取り付けられたカメラであり、車両の後方を撮影するカメラである（図２（ａ）参照）。このカメラは、１８０度程度の画角を有しており、毎秒３０コマのカラー画像を撮影可能である。

（４）右方カメラ２３
右方カメラ２３は、自車両の右側ドアミラーに取り付けられたカメラであり、車両の右方を撮影するカメラである（図２（ａ）参照）。このカメラは、１８０度程度の画角を有しており、毎秒３０コマのカラー画像を撮影可能である。

（５）左方カメラ２４
左方カメラ２４は、自車両の左側ドアミラーに取り付けられたカメラであり、車両の左方を撮影するカメラである（図２（ａ）参照）。このカメラは、１８０度程度の画角を有しており、毎秒３０コマのカラー画像を撮影可能である。

（６）障害物検知装置３１
障害物検知装置３１は、音波、レーザー又はミリ波等を用いて自車両の周辺（例えば、３ｍ以内）に存在する障害物の位置を検出する装置である。検知センサは、車両の右前端部、左前端部、右後端部、左後端部の四ヶ所に設置されている（図２（ｂ）参照）。障害物検知装置３１によって自車両の周辺に障害物が存在することが検知されると、その位置情報を画像生成装置１１へ送信する。

（７）シフトポジションセンサ３２
シフトポジションセンサ３２は、トランスミッションのシフトポジションを検知するセンサである。このセンサからの信号により、現在のトランスミッションのシフトポジションを判別することができる。

（８）ハンドルセンサ３３
ハンドルセンサ３３は、ハンドルの回転角を検知するセンサである。このセンサからの信号により、ハンドルがどの程度回転させられているかを判別することができる。

（９）ナビゲーション装置３４
ナビゲーション装置３４は、ＧＰＳ等に基づいて現在位置を特定し、その現在位置付近の地図データを読み出して画像として出力する機能を有する周知のナビゲーション装置である。なお、画像生成装置１１に対しては、現在位置付近の道路形状に関する情報を提供する。

（１０）表示装置３５
表示装置３５は、液晶パネルや有機ＥＬパネル等からなるカラー画像表示パネルを備え、入力された画像を表示する機能を有する。表示装置３５は、運転者が視認可能な位置（例えば、中央コンソール内やインスツルメントパネル内）に設置されている。

［動作の説明］
次に画像生成装置１１の動作の詳細について図３〜図６を用いて説明する。
（１）画像表示開始処理
まず、画像表示開始処理について、図３のフローチャートを用いて説明する。画像表示開始処理は、ユーザが操作部１６を操作して画像表示を行うことを指示した際に制御部１７が主導して実行する処理である。

画像表示開始処理の実行を開始すると、まず、制御部１７が空間再構成部１３に対して空間データの作成を開始するよう指令する（Ｓ１０５）。この指令を受け取った空間再構成部１３は、画像入力部１２を介して各カメラ（前方カメラ２１，後方カメラ２２，右方カメラ２３，左方カメラ２４）から画像を取得し、予め用意した三次元空間の空間モデルにそれぞれの画像の画素をマッピングして空間データの生成を開始する。なお、空間データは、各カメラの撮影間隔（毎秒３０コマ）に合わせて更新される。

続いて、制御部１７は、仮想視点画像の仮想視点位置と仮想視線方向を初期状態に設定する（Ｓ１１０）。仮想視点位置の初期状態は、例えば、自車両前方３ｍであって上空５ｍの位置が考えられる。また、仮想視線方向の初期状態は、自車両中央方向が考えられる。

続いて、制御部１７は、画像生成部１４に対して、Ｓ１１０で設定した仮想視点位置（以下、「初期視点位置」とも称す。）からＳ１１０で設定した視線方向（以下、「初期視線方向」とも称す。）を見た場合の仮想視点画像の生成を開始するよう画像生成部１４へ指令する（Ｓ１１５）。この指令を受け取った画像生成部１４は、空間再構成部１３が作成した空間データを参照して、空間モデル内の初期視点位置から初期視線方向を見た場合の仮想視点画像の生成を開始する。このようにして生成された仮想視点画像は、画像出力部１５を介して表示装置３５へ出力される。画像表示開始処理は、Ｓ１１５をもって終了するが、ユーザから画像表示の終了指示がない限り、各部（空間再構成部１３や画像生成部１４等）は引き続き動作し続ける。つまり、表示装置３５の画像は逐次更新される。

ここで、画像表示開始処理によって表示される画像の例について図７（ａ）の画像５０１を用いて説明する。図７（ａ）の画像５０１は、上述した各カメラから撮影された画像から生成されたものである。なお、中央部の自車両５０３は予め用意されたＣＧモデルが重畳表示されたものである。また、画像５０１は、仮想視点位置として自車両の前方３ｍであって上空５ｍの位置が設定されており、仮想視線方向として自車両中央方向が設定されている。このような画像５０１が表示装置３５に表示されるため、ユーザは自車両の周辺の状況及び自車両の位置を客観的に把握することができる。

（２）危険箇所発見時処理Ａ
次に、危険箇所発見時処理Ａについて、図４のフローチャートを用いて説明する。危険箇所発見時処理Ａは、障害物検知装置３１が自車両の周辺の所定範囲内に障害物を検知し、その検知した障害物の位置等の情報（以下、「障害物情報」と称す。）を画像生成装置１１が受けた際に、画像生成装置１１の制御部１７が主導して実行する処理である。なお、障害物検知装置３１は、複数の障害物を検知した場合には、最も危険度の高い障害物（例えば、自車両との距離が最も短い障害物）を選択して、その障害物情報を画像生成装置１１に最初に送るようになっている。また、危険箇所発見時処理Ａは、障害物検知装置３１から検知結果が受信されたことのみを契機にして実行が開始されるようになっていてもよいが、自車両のシフトポジションがＲ（リバース）になっていることや、他の装置が提供する駐車アシスト機能がユーザによって選択されていること等をさらに条件として加えてもよい。

危険箇所発見時処理Ａの実行を開始すると、まず、制御部１７が、障害物検知装置３１より受けた障害物情報から特定される障害物の位置を危険箇所として認定する（Ｓ１５０）。そして、他のセンサや装置類（シフトポジションセンサ３２、ハンドルセンサ３３及びナビゲーション装置３４）から受けた情報に基づいて危険箇所の把握に適した仮想視点位置（以下、「目的仮想視点位置」とも称す。）及び仮想視線方向（以下、「目的仮想視線方向」とも称す。）を特定する（Ｓ１５５）。例えば、他のセンサや装置類からユーザが縦列駐車をしようとしていると推定できる場合は、その予想駐車軌跡を考慮しながら障害物の真上２ｍの位置を仮想視点位置とし、その位置から現在の自車両の中心位置を臨む方向を仮想視線方向とすることが考えられる。

続いて、制御部１７は、危険箇所発見時処理Ａを開始する直前の仮想視点位置（以下、「出発仮想視点位置」とも称す。）から目標仮想視点位置までの仮想視点の移動速度を決定する（Ｓ１６０）。この移動速度は、自車両と障害物との距離（危険度）に応じて設定される。例えば、障害物との距離が３ｍであれば１ｍ／ｓと設定され、障害物との距離が１ｍであれば３ｍ／ｓと設定される。

続いて、制御部１７は、Ｓ１６０で決定した移動速度により、出発仮想視点位置から目的仮想視点位置まで仮想視点を直線的に移動させながらそれぞれの位置の仮想視点画像の生成を行うように画像生成部１４へ指令する（Ｓ１６５）。なお、仮想視線方向については、移動する仮想視点が目的仮想視点位置に到達した際に、ちょうど目的仮想視線方向を向くように、仮想視点が出発仮想視点位置にある時の仮想視線方向から少しずつ変化させるようにするとよい。制御部１７は、このような指令を画像生成部１４に出すと、本処理（危険箇所発見時処理Ａ）を終える。なお、危険箇所発見時処理Ａは、Ｓ１６５をもって終了するが、仮想視点の移動終了後も、各部（空間再構成部１３や画像生成部１４等）は引き続き動作し続け、表示装置３５に表示される画像は各カメラからの画像によって更新され続ける。

ここで、危険箇所発見時処理Ａが実行されることによって表示装置３５に表示される画像の例について、図７及び図８を用いて説明する。
図７（ｂ）の画像５１１は、危険箇所発見時処理Ａが開始される直前に表示装置３５に表示されていた画像であり、縦列駐車が開始された直後に表示される画像である。図７（ａ）の画像５０１と同様、中央部の自車両５１３は予め用意されたＣＧモデルが重畳表示されたものである。なお、図７（ａ）の画像５０１と同様、画像５１１も、仮想視点位置として自車両の前方３ｍであって上空５ｍの位置が設定されており、仮想視線方向として自車両中央方向が設定されている。この直後に、障害物検知装置３１が障害物として駐車車両５１５を検知したとする。すると、目的仮想視点位置として、接触の可能性が推定される自車両５１３の端部５１３ａの上空２ｍの位置が設定される。また、目的仮想視線方向として、自車両５１３の端部５１３ａを臨む方向に設定される。なお、これらはそれぞれ、図８（ｃ）の画像５５１の仮想視点位置及び仮想視線方向が相当する。

その結果、目的仮想視点位置まで仮想視点が移動していき、それに伴った画像が出力される。もちろん、仮想視点の移動に伴い自車両も縦列駐車の運転操作がなされて移動するため、実際に表示装置３５に表示される画像は、図７（ｃ）の画像５２１→図８（ａ）の画像５３１→図８（ｂ）の画像５４１→図８（ｃ）の画像５５１となる。なお、説明を簡略化するために特徴的な画像のみを抽出して図に表しているため、実際はスムーズな動画として表示されることは言うまでもない。

また、図７（ｃ）における点集合５２３、図８（ａ）における点集合５３３、図８（ｂ）における点集合５４３、及び、図８（ｃ）における点集合５５３は、障害物検知装置３１によって検知された障害物の検知位置を表す点である。また、図７（ｃ）における三本線５２５、図８（ａ）における三本線５３５、図８（ｂ）における三本線５４５、及び、図８（ｃ）における三本線５５５は、自車両との距離を表す線であり、自車両に近い線から１０ｃｍ、２０ｃｍ、３０ｃｍを表す線である。これらが画像に重畳表示される。

（３）ユーザ指定時処理
次に、ユーザ指定時処理について、図５のフローチャートを用いて説明する。ユーザ指定時処理は、予め登録されている仮想視点位置（以下、「登録仮想視点位置」とも称す。）、及び、予め登録されている仮想視線方向（以下、「登録仮想視線方向」とも称す。）を選択する操作を操作部１６に対して行った際に、それを受けて画像生成装置１１の制御部１７が主導して実行する処理である。

ユーザ指定時処理の実行を開始すると、まず、制御部１７が、ユーザ指定時処理を開始する直前の仮想視点位置（以下、「出発仮想視点位置」とも称す。）から登録仮想視点位置までの仮想視点の移動速度を決定する（Ｓ２０５）。この移動速度は、ユーザによって設定された速度（例えば、１ｍ／ｓ）であるとよい。

続いて、制御部１７は、Ｓ２１０で決定した移動速度により、出発仮想視点位置から登録仮想視点位置まで仮想視点位置を移動させながらそれぞれの位置の仮想視点画像の生成を行うように画像生成部１４へ指令する。なお、仮想視線方向については、移動する仮想視点が登録仮想視点位置に到達した際に、ちょうど登録仮想視線方向を向くように、仮想視点が出発仮想視点位置にある時の仮想視線方向から少しずつ変化させるようにするとよい。制御部１７は、このような指令を画像生成部１４に出すと、本処理（ユーザ指定時処理）を終える。

なお、ユーザ指定時処理によって表示装置３５に表示される画像の遷移は、上述した危険箇所発見時処理Ａと同様であるため、説明を省略する。
（４）危険箇所発見時処理Ｂ
次に、危険箇所発見時処理Ｂについて、図６のフローチャートを用いて説明する。危険箇所発見時処理Ｂは、危険箇所発見時処理Ａの実行が開始された後、さらに、障害物検知装置３１から別の障害物の障害物情報を画像生成装置１１が受けた際に実行が開始される処理である。なお、障害物検知装置３１は、複数の障害物を検知した場合には、最も危険度の高い障害物（例えば、自車両との距離が最も短い障害物）の障害物情報のほかに、二番目に危険度の高い障害物の危険度が所定程度以上である場合は、その障害物の障害物情報（以下、「障害物情報（新）」と称す。）も画像生成装置１１に送るようになっている。画像生成装置１１は、障害物情報（新）を障害物検知装置３１から受けると危険箇所発見時処理Ｂの実行を開始する。

危険箇所発見時処理Ｂの実行を開始すると、まず、制御部１７が、障害物検知装置３１より受けた障害物情報（新）から特定される障害物の位置を新たな危険箇所（以下、「危険箇所（新）」と称す。）として認定する（Ｓ３００）。そして、他のセンサや装置類（シフトポジションセンサ３２、ハンドルセンサ３３及びナビゲーション装置３４）から受けた情報に基づいて危険箇所（新）の把握に適した仮想視点位置（以下、「目的仮想視点位置（新）」とも称す。）及び仮想視線方向（以下、「目的仮想視線方向（新）」とも称す。）を特定する（Ｓ３０５）。

続いて、制御部１７は、危険箇所発見時処理Ａにおける目的仮想視点位置（以下、目的仮想視点位置（旧））とも称す。）から目標仮想視点位置（新）までの仮想視点の移動速度を決定する（Ｓ３１０）。この移動速度は、自車両と障害物との距離（危険度）に応じて設定される。例えば、障害物との距離が３ｍであれば１ｍ／ｓと設定され、障害物との距離が１ｍであれば３ｍ／ｓと設定される。

続いて、制御部１７は、現在、表示装置３５に表示されている画像（危険箇所発見時処理Ａにより表示されている画像）の縮小を画像生成部１４に対して指令する（Ｓ３１５）。この指令を受けた画像生成部１４は、画像の一部を残して両端部を少しずつ切り落としながら表示装置３５の表示領域の左側に移動させる。具体的な映像の例については後述する。

また、制御部１７は、Ｓ３１０で決定した移動速度により、目的仮想視点位置（旧）から目的仮想視点位置（新）まで仮想視点位置を移動させながらそれぞれの位置の仮想視点画像の生成を行い、さらに、画像の一部を残して両端部を少しずつ切り落としながら表示装置３５の表示領域の右側に移動させるように画像生成部１４へ指令する（Ｓ３２０）。なお、仮想視線方向については、移動する仮想視点が目的仮想視点位置（新）に到達した際に、ちょうど目的仮想視線方向（新）を向くように、仮想視点が目的仮想視点位置（旧）にある時の仮想視線方向から少しずつ変化させるようにするとよい。制御部１７は、このような指令を画像生成部１４に出すと、本処理（危険箇所発見時処理Ｂ）を終える。

ここで危険箇所発見時処理Ｂが実行されることにより表示装置３５に表示される画像の例について図９を用いて説明する。
図９（ａ）の画像６０１は、危険箇所発見時処理Ｂが実行される直前に表示装置３５に表示されている画像である。図８（ｃ）で説明した画像と同じである。

図９（ｂ）の画像６１１は、危険箇所発見時処理Ｂが実行されて最終的に表示装置３５に表示される画像の例である。このように画像６１１は、第一画像６１１ａと第二画像６１１ｂとが並べられて構成されている。

第一画像６１１ａは、最初に認定された危険箇所についての画像であり、図９（ａ）画像６１１の一部が切り出された画像である。上述したＳ３１５の指令に基づいて左側に移動された画像である。移動の様子については省略する。

また、第二画像６１１ｂは、後から認定された危険箇所についての画像であり、自車両の後部付近の画像である。上述したＳ３２０の指令に基づいて右側に表示された画像である。ここで、この第二画像６１１ｂに関し、図９（ａ）の画像６０１から第二画像６１１ｂに変化する様子について、図１０及び図１１を用いて説明する。なお、変化の順序は、図９（ａ）→図１０（ａ）→図１０（ｂ）→図１０（ｃ）→図１１（ａ）→図１１（ｂ）→図１１（ｃ）である。

図１０（ａ）の画像６２１は、仮想視点位置が、図９（ａ）の画像６０１と比較して自車両の後方に移動するとともに高度も上がった画像である。
図１０（ｂ）の画像６３１は、図１０（ａ）の画像６２１と比較してさらに仮想視点位置が自車両の後方に移動した画像である。図１０（ｂ）の画像６３１は、図１０（ａ）の画像６２１と比較して画像の両端が切り落とされていることが確認できる。

図１０（ｃ）の画像６４１は、図１０（ｂ）の画像６３１と比較してさらに仮想視点位置が自車両の後方に移動した画像である。図１０（ｃ）の画像６４１は、図１０（ｂ）の画像６３１と比較して画像の両端が切り落とされていることが確認できる。

図１１（ａ）の画像６５１は、図１０（ｃ）の画像６４１と比較してさらに仮想視点位置が自車両の後方に移動した画像である。図１１（ａ）の画像６５１は、図１０（ｃ）の画像６４１と比較して画像の両端が切り落とされていることが確認できる。

図１１（ｂ）の画像６６１は、図１１（ａ）の画像６５１と比較してさらに仮想視点位置が自車両の後方に移動した画像である。図１１（ｂ）の画像６６１は、図１１（ａ）の画像６５１と比較して画像の両端が切り落とされていることが確認できる。

図１１（ｃ）の画像６７１は、図１１（ｂ）の画像６６１と比較してさらに仮想視点位置が自車両の後方に移動した画像である。図１１（ｃ）の画像６７１は、図１１（ｂ）の画像６６１と比較して画像の両端が切り落とされていることが確認できる。また、図１１（ｃ）の画像６７１と図９（ｂ）の第二画像６１１ｂとは同一であることが確認できる。

［実施形態の効果］
このような画像生成装置１１によれば、仮想視点画像の切り替えの際、連続的に仮想視点が移動してその移動に対応した画像が表示装置３５に出力されるため、ユーザは画像の遷移（仮想視点の移動の様子）から切り替え後の仮想視点の位置を容易に理解することができる。つまり、切り替え後の仮想視点画像が表している場所を容易に理解することができる。

また、仮想視点の移動速度は、自車両と障害物との距離、すなわち危険度に応じて設定される。例えば、障害物との距離が３ｍであれば１ｍ／ｓと設定され、障害物との距離が１ｍであれば３ｍ／ｓと設定される。このため、ユーザは危険度が高いときには、素早くその状況を確認できる。

また、仮想視点の移動先は、シフトポジションセンサ３２、ハンドルセンサ３３及びナビゲーション装置３４から受けた情報に基づいて危険箇所の把握に適した位置に設定される（Ｓ１５５等）。したがって、ユーザは、危険箇所の把握に適した場所の画像を確認することができる。

また、仮想視点の移動先は、ユーザが指定することもできる（ユーザ指定時処理参照）。このため、ユーザは、自身の希望する場所の画像を確認することができる。
また、障害物検知装置３１は、複数の障害物を検知した場合には、まず最も危険度の高い障害物（例えば、自車両との距離が最も短い障害物）を選択して、その障害物情報を画像生成装置１１に送るようになっている。そして、この障害物情報を受けて画像生成装置１１は、危険箇所発見時処理Ａを実行し、この障害物を把握可能な場所の画像をユーザへ提供する。したがって、ユーザは、最も危険度の高い障害物の様子を把握することができる。

また、障害物検知装置３１は、複数の障害物を検知した場合には、最も危険度の高い障害物（例えば、自車両との距離が最も短い障害物）の障害物情報だけではなく、二番目に危険度の高い障害物の危険度が所定程度以上である場合は、さらに続けてその障害物の障害物情報（以下、「障害物情報（新）」と称す。）も画像生成装置１１に送るようになっている。そして、この障害物情報を受けて画像生成装置１１は、危険箇所発見時処理Ｂを実行し、二番目に危険度の高い障害物を把握可能な画像を、最も危険度の高い障害物を把握可能な画像とともにユーザへ提供する。したがって、ユーザは、最も危険度の高い障害物と二番目に危険度の高い障害物とを同時に把握することができる。

また、一般的に、入力画像を三次元空間の予め決められた空間モデルにマッピングして、そのマッピングされた空間データを参照して生成した仮想視点画像は、物体の位置について誤差を生じやすいが、画像生成装置１１によって生成される画像には、障害物検知装置３１によって検知された障害物の検知位置を表す点と、自車両との距離を表す線とが画像に重畳表示されるようになっている（図７（ｃ）、図８等参照）。

このため、車両と障害物との接触をより防止することができる。
［特許請求の範囲との対応］
上記実施形態の説明で用いた用語と、特許請求の範囲に記載した用語との対応を示す。

空間再構成部１３が空間再構成手段に相当し、画像生成部１４が画像生成手段に相当し、画像出力部１５が出力手段に相当し、制御部１７が画像生成指示手段に相当する。
また、危険箇所発見時処理ＡのＳ１６０、ユーザ指定時処理のＳ２０５、及び、危険箇所発見時処理ＢのＳ３１０が、視点移動速度設定手段としての機能に相当する。

また、操作部１６が手動仮想視点設定手段に相当する。
また、危険箇所発見時処理ＡのＳ１５５及び危険箇所発見時処理ＢのＳ３０５が、自動仮想視点設定手段としての機能に相当する。

また、危険箇所発見時処理ＡのＳ１５０及び危険箇所発見時処理ＢのＳ３００が、危険箇所特定手段としての機能に相当する。
また、危険箇所発見時処理ＡのＳ１５５が、設定手段としての機能にも相当する。

また、危険箇所発見時処理ＢのＳ３０５が、新規仮想視点設定手段としての機能にも相当する。
また、危険箇所発見時処理Ｂを実行する際の制御部１７が、補助画像生成指示手段に相当する。

また、障害物検知装置３１、シフトポジションセンサ３２、ハンドルセンサ３３及びナビゲーション装置３４が車両に搭載されたセンサに相当する。

画像生成装置及び画像生成装置に接続される装置等を説明するためのブロック図である。 カメラの設置位置、及び、障害物検知装置の検知センサの設置位置を説明するための模式図である。 画像表示開始処理を説明するためのフローチャートである。 危険箇所発見時処理Ａを説明するためのフローチャートである。 ユーザ指定時処理を説明するためのフローチャートである。 危険箇所発見時処理Ｂを説明するためのフローチャートである。 表示装置に表示される画像例である。 表示装置に表示される画像例である。 表示装置に表示される画像例である。 表示装置に表示される画像例である。 表示装置に表示される画像例である。

符号の説明

１１…画像生成装置、１２…画像入力部、１３…空間再構成部、１４…画像生成部、１５…画像出力部、１６…操作部、１７…制御部、２１…前方カメラ、２２…後方カメラ、２３…右方カメラ、２４…左方カメラ、３１…障害物検知装置、３２…シフトポジションセンサ、３３…ハンドルセンサ、３４…ナビゲーション装置、３５…表示装置。

Claims (7)

1. 車両に搭載されて用いられる画像生成装置であって、
   一又は複数のカメラからの入力画像を三次元空間の予め決められた空間モデルにマッピングする空間再構成手段と、
   前記空間再構成手段によってマッピングされた空間データを参照して、前記三次元空間における任意の仮想視点から見た画像である仮想視点画像を生成する画像生成手段と、
   前記画像生成手段により生成された前記仮想視点画像を表示装置に出力する出力手段と、
   前記出力手段が出力させている前記仮想視点画像の仮想視点から所定の仮想視点まで、連続的に前記仮想視点を移動させた前記仮想視点画像を前記画像生成手段に生成させる画像生成指示手段と、
   前記車両に搭載されたセンサから得られる信号に基づいて前記所定の仮想視点を設定する自動仮想視点設定手段と、
   を備え、
   前記画像生成手段は、前記車両を写した前記仮想視点画像に対し、該仮想視点画像上における該車両が存在する領域の外縁に沿って配される線を重畳させ、
   前記自動仮想視点設定手段は、
   前記車両に搭載されたセンサから得られる信号に基づいて前記車両の周囲の危険箇所を特定する危険箇所特定手段と、
   前記危険箇所特定手段により特定された危険箇所のうち、最も危険な箇所を臨むことができる場所を前記所定の仮想視点として設定する設定手段と、
   を備え、
   さらに、前記画像生成装置は、
   前記危険箇所特定手段により特定された危険箇所のうち、二番目に危険な箇所であってその危険度合いが所定程度以上の危険箇所がある場合は、その危険箇所を臨むことができる場所に新たに別の仮想視点を設定する新規仮想視点設定手段と、
   前記新規仮想視点設定手段により設定された前記仮想視点における前記仮想視点画像を前記画像生成手段にさらに生成させる補助画像生成指示手段と、
   を備え、
   前記出力手段は、前記補助画像生成指示手段の指示により生成された前記仮想視点画像と、前記画像生成指示手段の指示により生成された前記仮想視点画像とが並べられた画像を前記表示装置に出力すること、
   を特徴とする画像生成装置。
2. 車両に搭載されて用いられる画像生成装置であって、
   一又は複数のカメラからの入力画像を三次元空間の予め決められた空間モデルにマッピングする空間再構成手段と、
   前記空間再構成手段によってマッピングされた空間データを参照して、前記三次元空間における任意の仮想視点から見た画像である仮想視点画像を生成する画像生成手段と、
   前記画像生成手段により生成された前記仮想視点画像を表示装置に出力する出力手段と、
   前記出力手段が出力させている前記仮想視点画像の仮想視点から所定の仮想視点まで、連続的に前記仮想視点を移動させた前記仮想視点画像を前記画像生成手段に生成させる画像生成指示手段と、
   前記車両に搭載されたセンサから得られる信号に基づいて前記所定の仮想視点を設定する自動仮想視点設定手段と、
   を備えると共に、
   前記自動仮想視点設定手段は、
   前記車両に搭載されたセンサから得られる信号に基づいて前記車両の周囲の危険箇所を特定する危険箇所特定手段と、
   前記危険箇所特定手段により特定された危険箇所のうち、最も危険な箇所を臨むことができる場所を前記所定の仮想視点として設定する設定手段と、
   を備え、
   さらに、前記画像生成装置は、
   前記危険箇所特定手段により特定された危険箇所のうち、二番目に危険な箇所であってその危険度合いが所定程度以上の危険箇所がある場合は、その危険箇所を臨むことができる場所に新たに別の仮想視点を設定する新規仮想視点設定手段と、
   前記新規仮想視点設定手段により設定された前記仮想視点における前記仮想視点画像を前記画像生成手段にさらに生成させる補助画像生成指示手段と、
   を備え、
   前記出力手段は、前記補助画像生成指示手段の指示により生成された前記仮想視点画像と、前記画像生成指示手段の指示により生成された前記仮想視点画像とが並べられた画像を前記表示装置に出力すること、
   を特徴とする画像生成装置。
3. 請求項１または請求項２に記載の画像生成装置において、
   前記画像生成手段は、車両周辺に存在する障害物を検知するセンサから得られる信号に基づき、前記仮想視点画像上の対応する位置に、障害物との距離を把握可能な画像を重畳させること、
   を特徴とする画像生成装置。
4. 請求項１から請求項３のうちのいずれか１項に記載の画像生成装置において、
   前記仮想視点の移動速度を、前記車両の危険状況に応じて設定する視点移動速度設定手段をさらに備え、
   前記画像生成指示手段は、前記視点移動速度設定手段により設定された前記移動速度によって前記仮想視点を移動させた前記仮想視点画像を前記画像生成手段に生成させること、
   を特徴とする画像生成装置。
5. 請求項１から請求項４のうちのいずれか１項に記載の画像生成装置において、
   前記空間モデルは、路面の平面モデルであること、
   を特徴とする画像生成装置。
6. 一又は複数のカメラからの入力画像を三次元空間の予め決められた空間モデルにマッピングする空間再構成ステップと、
   前記空間再構成ステップによってマッピングされた空間データを参照して、前記三次元空間における任意の仮想視点から見た画像である仮想視点画像を生成する画像生成ステップと、
   前記画像生成ステップにより生成された前記仮想視点画像を表示装置に出力する出力ステップと、
   前記出力ステップにより出力されている前記仮想視点画像の仮想視点から所定の仮想視点まで、連続的に前記仮想視点を移動させた前記仮想視点画像を前記画像生成ステップとして実行させて生成させる画像生成指示ステップと、
   前記車両に搭載されたセンサから得られる信号に基づいて前記所定の仮想視点を設定する自動仮想視点設定ステップと、
   をコンピュータに実行させるための画像生成プログラムであって、
   前記画像生成ステップにおいて、前記車両を写した前記仮想視点画像に対し、該仮想視点画像上における該車両が存在する領域の外縁に沿って配される線を重畳させ、
   前記自動仮想視点設定ステップは、
   前記車両に搭載されたセンサから得られる信号に基づいて前記車両の周囲の危険箇所を特定する危険箇所特定ステップと、
   前記危険箇所特定ステップにより特定された危険箇所のうち、最も危険な箇所を臨むことができる場所を前記所定の仮想視点として設定する設定ステップと、
   を有し、
   さらに、前記画像生成プログラムは、
   前記危険箇所特定ステップにより特定された危険箇所のうち、二番目に危険な箇所であってその危険度合いが所定程度以上の危険箇所がある場合は、その危険箇所を臨むことができる場所に新たに別の仮想視点を設定する新規仮想視点設定ステップと、
   前記新規仮想視点設定ステップにより設定された前記仮想視点における前記仮想視点画像を前記画像生成ステップとして実行させてさらに生成させる補助画像生成指示ステップと、
   をコンピュータに実行させ、
   前記出力ステップでは、前記補助画像生成指示ステップにて生成された前記仮想視点画像と、前記画像生成指示ステップにて生成された前記仮想視点画像とが並べられた画像を前記表示装置に出力すること、
   を特徴とする画像生成プログラム。
7. 一又は複数のカメラからの入力画像を三次元空間の予め決められた空間モデルにマッピングする空間再構成ステップと、
   前記空間再構成ステップによってマッピングされた空間データを参照して、前記三次元空間における任意の仮想視点から見た画像である仮想視点画像を生成する画像生成ステップと、
   前記画像生成ステップにより生成された前記仮想視点画像を表示装置に出力する出力ステップと、
   前記出力ステップにより出力されている前記仮想視点画像の仮想視点から所定の仮想視点まで、連続的に前記仮想視点を移動させた前記仮想視点画像を前記画像生成ステップとして実行させて生成させる画像生成指示ステップと、
   前記車両に搭載されたセンサから得られる信号に基づいて前記所定の仮想視点を設定する自動仮想視点設定ステップと、
   をコンピュータに実行させるための画像生成プログラムであって、
   前記自動仮想視点設定ステップは、
   前記車両に搭載されたセンサから得られる信号に基づいて前記車両の周囲の危険箇所を特定する危険箇所特定ステップと、
   前記危険箇所特定ステップにより特定された危険箇所のうち、最も危険な箇所を臨むことができる場所を前記所定の仮想視点として設定する設定ステップと、
   を有し、
   さらに、前記画像生成プログラムは、
   前記危険箇所特定ステップにより特定された危険箇所のうち、二番目に危険な箇所であってその危険度合いが所定程度以上の危険箇所がある場合は、その危険箇所を臨むことができる場所に新たに別の仮想視点を設定する新規仮想視点設定ステップと、
   前記新規仮想視点設定ステップにより設定された前記仮想視点における前記仮想視点画像を前記画像生成ステップとして実行させてさらに生成させる補助画像生成指示ステップと、
   をコンピュータに実行させ、
   前記出力ステップでは、前記補助画像生成指示ステップにて生成された前記仮想視点画像と、前記画像生成指示ステップにて生成された前記仮想視点画像とが並べられた画像を前記表示装置に出力すること、
   を特徴とする前記画像生成プログラム。