JP4988499B2 - 画像生成装置及び画像生成プログラム - Google Patents
画像生成装置及び画像生成プログラム Download PDFInfo
- Publication number
- JP4988499B2 JP4988499B2 JP2007264551A JP2007264551A JP4988499B2 JP 4988499 B2 JP4988499 B2 JP 4988499B2 JP 2007264551 A JP2007264551 A JP 2007264551A JP 2007264551 A JP2007264551 A JP 2007264551A JP 4988499 B2 JP4988499 B2 JP 4988499B2
- Authority
- JP
- Japan
- Prior art keywords
- virtual viewpoint
- image
- image generation
- dangerous
- setting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000013507 mapping Methods 0.000 claims description 8
- 238000000034 method Methods 0.000 description 56
- 230000008569 process Effects 0.000 description 56
- 238000001514 detection method Methods 0.000 description 24
- 230000008859 change Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 239000002131 composite material Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Controls And Circuits For Display Device (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
Description
そして、画像生成手段は、車両を写した仮想視点画像に対し、該仮想視点画像上における該車両が存在する領域の外縁に沿って配される線を重畳させ、自動仮想視点設定手段は、車両に搭載されたセンサから得られる信号に基づいて車両の周囲の危険箇所を特定する危険箇所特定手段と、危険箇所特定手段により特定された危険箇所のうち、最も危険な箇所を臨むことができる場所を所定の仮想視点として設定する設定手段と、を備える。
さらに、画像生成装置は、危険箇所特定手段により特定された危険箇所のうち、二番目に危険な箇所であってその危険度合いが所定程度以上の危険箇所がある場合は、その危険箇所を臨むことができる場所に新たに別の仮想視点を設定する新規仮想視点設定手段と、新規仮想視点設定手段により設定された仮想視点における仮想視点画像を画像生成手段にさらに生成させる補助画像生成指示手段と、を備え、出力手段は、補助画像生成指示手段の指示により生成された仮想視点画像と、画像生成指示手段の指示により生成された仮想視点画像とが並べられた画像を表示装置に出力する。
なお、「車両に搭載されたセンサから得られる信号に基づいて所定の仮想視点を設定する」というのは、例えば、左折の方向指示器が動作したことをセンサが検出した場合には、車両の後方上空であって車両全体を見下ろせる位置を所定の仮想視点として設定したり、例えば、後進によって縦列駐車をする場合には、車両の前方上空であって車両全体を見下ろせる位置を所定の仮想視点として設定したりすることである。
また、車両の状況に合致する仮想視点画像を出力することや、最も危険な箇所の様子を把握可能な仮想視点画像を出力することができる。
また、車両の周囲に複数の危険箇所が存在する場合もある。例えば、縦列駐車を行う場合に、車両の左前と車両の後方の両方が、他車両と接触しそうな場合である。このような場合に、より危険な一方についての仮想視点画像だけを表示するとすれば、他方については接触してしまうおそれがある。
これに対し、請求項1に記載の画像生成装置によれば、二番目に危険な箇所であってその危険度合いが所定程度以上の危険箇所についてもユーザへ認識させることができる。
また、上記課題を解決するためになされた請求項2に記載の画像生成装置は、上述した空間再構成手段と、画像生成手段と、出力手段と、画像生成指示手段と、車両に搭載されたセンサから得られる信号に基づいて所定の仮想視点を設定する自動仮想視点設定手段と、を備える。そして、自動仮想視点設定手段は、車両に搭載されたセンサから得られる信号に基づいて車両の周囲の危険箇所を特定する危険箇所特定手段と、危険箇所特定手段により特定された危険箇所のうち、最も危険な箇所を臨むことができる場所を所定の仮想視点として設定する設定手段と、を備える。また、画像生成装置は、さらに、危険箇所特定手段により特定された危険箇所のうち、二番目に危険な箇所であってその危険度合いが所定程度以上の危険箇所がある場合は、その危険箇所を臨むことができる場所に新たに別の仮想視点を設定する新規仮想視点設定手段と、新規仮想視点設定手段により設定された仮想視点における仮想視点画像を画像生成手段にさらに生成させる補助画像生成指示手段と、を備える。そして、出力手段は、補助画像生成指示手段の指示により生成された仮想視点画像と、画像生成指示手段の指示により生成された仮想視点画像とが並べられた画像を表示装置に出力する。
なお、「車両に搭載されたセンサから得られる信号に基づいて所定の仮想視点を設定する」というのは、例えば、左折の方向指示器が動作したことをセンサが検出した場合には、車両の後方上空であって車両全体を見下ろせる位置を所定の仮想視点として設定したり、例えば、後進によって縦列駐車をする場合には、車両の前方上空であって車両全体を見下ろせる位置を所定の仮想視点として設定したりすることである。
このような構成を有する場合にも、仮想視点画像の切り替えの際、連続的に仮想視点が移動してその移動に対応した画像が出力されるため、ユーザは画像の遷移から所定の仮想視点の位置を容易に理解することができる。つまり、切り替え後の仮想視点画像が表している場所を容易に理解することができる。
さらに、車両の状況に合致する仮想視点画像を出力することや、最も危険な箇所の様子を把握可能な仮想視点画像を出力することや、二番目に危険な箇所であってその危険度合いが所定程度以上の危険箇所についてもユーザへ認識させることができる。
なお、仮想視点の移動速度は、固定されていてもよいが、固定されているとユーザに素早く危険を伝えることが望まれている場合に、固定された速度によっては素早く危険を伝えられないおそれがある。そこで、請求項4に記載のように、仮想視点の移動速度を、車両の危険状況に応じて設定する視点移動速度設定手段をさらに備えるように画像生成装置を構成し、画像生成指示手段は、視点移動速度設定手段により設定された移動速度によって仮想視点を移動させた仮想視点画像を画像生成手段に生成させるようになっているとよい。
このようになっていれば、例えば、危険度が高い場合には視点移動速度を速くし、危険度が低い場合には視点移動速度を遅くするといったことが可能になり、例えば、ユーザに対して素早く危険を伝えることが望まれている場合に、素早く危険を伝えることができる。
ところで、空間再構成手段が用いる空間モデルは、どのような空間モデルであってもよいが、特に路面の平面モデルであるとよい(請求項5)。つまり、空間再構成手段は、カメラで撮像された画像を、路面(平面)に存在する物体であって高さのない物体の画像として捉えて処理するようになっているとよい。
なお、上述した各手段に対応したステップを実現するプログラムを構成してもよい。例えば、一又は複数のカメラからの入力画像を三次元空間の予め決められた空間モデルにマッピングする空間再構成ステップと、空間再構成ステップによってマッピングされた空間データを参照して、三次元空間における任意の仮想視点から見た画像である仮想視点画像を生成する画像生成ステップと、画像生成ステップにより生成された仮想視点画像を表示装置に出力する出力ステップと、出力ステップにより出力されている仮想視点画像の仮想視点から所定の仮想視点まで、連続的に仮想視点を移動させた仮想視点画像を画像生成ステップとして実行させて生成させる画像生成指示ステップと、車両に搭載されたセンサから得られる信号に基づいて所定の仮想視点を設定する自動仮想視点設定ステップと、をコンピュータに実行させるための画像生成プログラムを構成してもよい。
また、画像生成ステップにおいて、車両を写した仮想視点画像に対し、該仮想視点画像上における該車両が存在する領域の外縁に沿って配される線を重畳させ、自動仮想視点設定ステップは、車両に搭載されたセンサから得られる信号に基づいて車両の周囲の危険箇所を特定する危険箇所特定ステップと、危険箇所特定ステップにより特定された危険箇所のうち、最も危険な箇所を臨むことができる場所を所定の仮想視点として設定する設定ステップと、を有しても良い。
さらに、画像生成プログラムは、危険箇所特定ステップにより特定された危険箇所のうち、二番目に危険な箇所であってその危険度合いが所定程度以上の危険箇所がある場合は、その危険箇所を臨むことができる場所に新たに別の仮想視点を設定する新規仮想視点設定ステップと、新規仮想視点設定ステップにより設定された仮想視点における仮想視点画像を画像生成ステップとして実行させてさらに生成させる補助画像生成指示ステップと、をコンピュータに実行させ、出力ステップでは、補助画像生成指示ステップにて生成された仮想視点画像と、画像生成指示ステップにて生成された仮想視点画像とが並べられた画像を表示装置に出力しても良い(請求項6)。
また、例えば、上述した空間再構成ステップと、画像生成ステップと、出力ステップと、画像生成指示ステップと、車両に搭載されたセンサから得られる信号に基づいて所定の仮想視点を設定する自動仮想視点設定ステップと、をコンピュータに実行させ、自動仮想視点設定ステップは、車両に搭載されたセンサから得られる信号に基づいて車両の周囲の危険箇所を特定する危険箇所特定ステップと、危険箇所特定ステップにより特定された危険箇所のうち、最も危険な箇所を臨むことができる場所を所定の仮想視点として設定する設定ステップと、を有することを特徴とする画像生成プログラムを構成しても良い。さらに、この画像生成プログラムは、危険箇所特定ステップにより特定された危険箇所のうち、二番目に危険な箇所であってその危険度合いが所定程度以上の危険箇所がある場合は、その危険箇所を臨むことができる場所に新たに別の仮想視点を設定する新規仮想視点設定ステップと、新規仮想視点設定ステップにより設定された仮想視点における仮想視点画像を画像生成ステップとして実行させてさらに生成させる補助画像生成指示ステップと、をコンピュータに実行させ、出力ステップでは、補助画像生成指示ステップにて生成された仮想視点画像と、画像生成指示ステップにて生成された仮想視点画像とが並べられた画像を前記表示装置に出力しても良い(請求項7)。
図1は、実施形態の画像生成装置11及び画像生成装置11に接続される装置等を説明するためのブロック図である。なお、画像生成装置11には、前方カメラ21、後方カメラ22、右方カメラ23、左方カメラ24、障害物検知装置31、シフトポジションセンサ32、ハンドルセンサ33、ナビゲーション装置34、及び、表示装置35が接続されている。なお、これらは全て車両(以下、「自車両」とも称す。)に搭載されている。
画像生成装置11は、画像入力部12、空間再構成部13、画像生成部14、画像出力部15、操作部16、及び、制御部17を備える。
空間再構成部13は、画像入力部12から画像を受け取り、三次元空間の空間モデルにマッピングした空間データを作成する。つまり、空間再構成部13は、画像入力部12より受け取った画像を構成する各々の画素が、それぞれ三次元空間のどの点に対応するものかを計算し、その計算結果に応じて各々の画素をマッピングして空間データを作成する。なお、本実施形態では、空間モデルとして、路面の平面モデルを用いることとし、空間再構成部13は、画像入力部12から受け取った画像中の地平線より下の部分を、路面(平面)に存在する物体であって高さのない物体の画像として処理する。
操作部16は、メカニカルなキースイッチや、表示装置35の表示面と積層一体化されたタッチパネル等から構成され、ユーザからの指示を入力可能に構成されている。
前方カメラ21は、自車両の前端部中央に取り付けられたカメラであり、車両の前方を撮影するカメラである(図2(a)参照)。このカメラは、180度程度の画角を有しており、毎秒30コマのカラー画像を撮影可能である。
後方カメラ22は、自車両の後端部中央に取り付けられたカメラであり、車両の後方を撮影するカメラである(図2(a)参照)。このカメラは、180度程度の画角を有しており、毎秒30コマのカラー画像を撮影可能である。
右方カメラ23は、自車両の右側ドアミラーに取り付けられたカメラであり、車両の右方を撮影するカメラである(図2(a)参照)。このカメラは、180度程度の画角を有しており、毎秒30コマのカラー画像を撮影可能である。
左方カメラ24は、自車両の左側ドアミラーに取り付けられたカメラであり、車両の左方を撮影するカメラである(図2(a)参照)。このカメラは、180度程度の画角を有しており、毎秒30コマのカラー画像を撮影可能である。
障害物検知装置31は、音波、レーザー又はミリ波等を用いて自車両の周辺(例えば、3m以内)に存在する障害物の位置を検出する装置である。検知センサは、車両の右前端部、左前端部、右後端部、左後端部の四ヶ所に設置されている(図2(b)参照)。障害物検知装置31によって自車両の周辺に障害物が存在することが検知されると、その位置情報を画像生成装置11へ送信する。
シフトポジションセンサ32は、トランスミッションのシフトポジションを検知するセンサである。このセンサからの信号により、現在のトランスミッションのシフトポジションを判別することができる。
ハンドルセンサ33は、ハンドルの回転角を検知するセンサである。このセンサからの信号により、ハンドルがどの程度回転させられているかを判別することができる。
ナビゲーション装置34は、GPS等に基づいて現在位置を特定し、その現在位置付近の地図データを読み出して画像として出力する機能を有する周知のナビゲーション装置である。なお、画像生成装置11に対しては、現在位置付近の道路形状に関する情報を提供する。
表示装置35は、液晶パネルや有機ELパネル等からなるカラー画像表示パネルを備え、入力された画像を表示する機能を有する。表示装置35は、運転者が視認可能な位置(例えば、中央コンソール内やインスツルメントパネル内)に設置されている。
次に画像生成装置11の動作の詳細について図3〜図6を用いて説明する。
(1)画像表示開始処理
まず、画像表示開始処理について、図3のフローチャートを用いて説明する。画像表示開始処理は、ユーザが操作部16を操作して画像表示を行うことを指示した際に制御部17が主導して実行する処理である。
次に、危険箇所発見時処理Aについて、図4のフローチャートを用いて説明する。危険箇所発見時処理Aは、障害物検知装置31が自車両の周辺の所定範囲内に障害物を検知し、その検知した障害物の位置等の情報(以下、「障害物情報」と称す。)を画像生成装置11が受けた際に、画像生成装置11の制御部17が主導して実行する処理である。なお、障害物検知装置31は、複数の障害物を検知した場合には、最も危険度の高い障害物(例えば、自車両との距離が最も短い障害物)を選択して、その障害物情報を画像生成装置11に最初に送るようになっている。また、危険箇所発見時処理Aは、障害物検知装置31から検知結果が受信されたことのみを契機にして実行が開始されるようになっていてもよいが、自車両のシフトポジションがR(リバース)になっていることや、他の装置が提供する駐車アシスト機能がユーザによって選択されていること等をさらに条件として加えてもよい。
図7(b)の画像511は、危険箇所発見時処理Aが開始される直前に表示装置35に表示されていた画像であり、縦列駐車が開始された直後に表示される画像である。図7(a)の画像501と同様、中央部の自車両513は予め用意されたCGモデルが重畳表示されたものである。なお、図7(a)の画像501と同様、画像511も、仮想視点位置として自車両の前方3mであって上空5mの位置が設定されており、仮想視線方向として自車両中央方向が設定されている。この直後に、障害物検知装置31が障害物として駐車車両515を検知したとする。すると、目的仮想視点位置として、接触の可能性が推定される自車両513の端部513aの上空2mの位置が設定される。また、目的仮想視線方向として、自車両513の端部513aを臨む方向に設定される。なお、これらはそれぞれ、図8(c)の画像551の仮想視点位置及び仮想視線方向が相当する。
次に、ユーザ指定時処理について、図5のフローチャートを用いて説明する。ユーザ指定時処理は、予め登録されている仮想視点位置(以下、「登録仮想視点位置」とも称す。)、及び、予め登録されている仮想視線方向(以下、「登録仮想視線方向」とも称す。)を選択する操作を操作部16に対して行った際に、それを受けて画像生成装置11の制御部17が主導して実行する処理である。
(4)危険箇所発見時処理B
次に、危険箇所発見時処理Bについて、図6のフローチャートを用いて説明する。危険箇所発見時処理Bは、危険箇所発見時処理Aの実行が開始された後、さらに、障害物検知装置31から別の障害物の障害物情報を画像生成装置11が受けた際に実行が開始される処理である。なお、障害物検知装置31は、複数の障害物を検知した場合には、最も危険度の高い障害物(例えば、自車両との距離が最も短い障害物)の障害物情報のほかに、二番目に危険度の高い障害物の危険度が所定程度以上である場合は、その障害物の障害物情報(以下、「障害物情報(新)」と称す。)も画像生成装置11に送るようになっている。画像生成装置11は、障害物情報(新)を障害物検知装置31から受けると危険箇所発見時処理Bの実行を開始する。
図9(a)の画像601は、危険箇所発見時処理Bが実行される直前に表示装置35に表示されている画像である。図8(c)で説明した画像と同じである。
図10(b)の画像631は、図10(a)の画像621と比較してさらに仮想視点位置が自車両の後方に移動した画像である。図10(b)の画像631は、図10(a)の画像621と比較して画像の両端が切り落とされていることが確認できる。
このような画像生成装置11によれば、仮想視点画像の切り替えの際、連続的に仮想視点が移動してその移動に対応した画像が表示装置35に出力されるため、ユーザは画像の遷移(仮想視点の移動の様子)から切り替え後の仮想視点の位置を容易に理解することができる。つまり、切り替え後の仮想視点画像が表している場所を容易に理解することができる。
また、障害物検知装置31は、複数の障害物を検知した場合には、まず最も危険度の高い障害物(例えば、自車両との距離が最も短い障害物)を選択して、その障害物情報を画像生成装置11に送るようになっている。そして、この障害物情報を受けて画像生成装置11は、危険箇所発見時処理Aを実行し、この障害物を把握可能な場所の画像をユーザへ提供する。したがって、ユーザは、最も危険度の高い障害物の様子を把握することができる。
[特許請求の範囲との対応]
上記実施形態の説明で用いた用語と、特許請求の範囲に記載した用語との対応を示す。
また、危険箇所発見時処理AのS160、ユーザ指定時処理のS205、及び、危険箇所発見時処理BのS310が、視点移動速度設定手段としての機能に相当する。
また、危険箇所発見時処理AのS155及び危険箇所発見時処理BのS305が、自動仮想視点設定手段としての機能に相当する。
また、危険箇所発見時処理AのS155が、設定手段としての機能にも相当する。
また、危険箇所発見時処理Bを実行する際の制御部17が、補助画像生成指示手段に相当する。
Claims (7)
- 車両に搭載されて用いられる画像生成装置であって、
一又は複数のカメラからの入力画像を三次元空間の予め決められた空間モデルにマッピングする空間再構成手段と、
前記空間再構成手段によってマッピングされた空間データを参照して、前記三次元空間における任意の仮想視点から見た画像である仮想視点画像を生成する画像生成手段と、
前記画像生成手段により生成された前記仮想視点画像を表示装置に出力する出力手段と、
前記出力手段が出力させている前記仮想視点画像の仮想視点から所定の仮想視点まで、連続的に前記仮想視点を移動させた前記仮想視点画像を前記画像生成手段に生成させる画像生成指示手段と、
前記車両に搭載されたセンサから得られる信号に基づいて前記所定の仮想視点を設定する自動仮想視点設定手段と、
を備え、
前記画像生成手段は、前記車両を写した前記仮想視点画像に対し、該仮想視点画像上における該車両が存在する領域の外縁に沿って配される線を重畳させ、
前記自動仮想視点設定手段は、
前記車両に搭載されたセンサから得られる信号に基づいて前記車両の周囲の危険箇所を特定する危険箇所特定手段と、
前記危険箇所特定手段により特定された危険箇所のうち、最も危険な箇所を臨むことができる場所を前記所定の仮想視点として設定する設定手段と、
を備え、
さらに、前記画像生成装置は、
前記危険箇所特定手段により特定された危険箇所のうち、二番目に危険な箇所であってその危険度合いが所定程度以上の危険箇所がある場合は、その危険箇所を臨むことができる場所に新たに別の仮想視点を設定する新規仮想視点設定手段と、
前記新規仮想視点設定手段により設定された前記仮想視点における前記仮想視点画像を前記画像生成手段にさらに生成させる補助画像生成指示手段と、
を備え、
前記出力手段は、前記補助画像生成指示手段の指示により生成された前記仮想視点画像と、前記画像生成指示手段の指示により生成された前記仮想視点画像とが並べられた画像を前記表示装置に出力すること、
を特徴とする画像生成装置。 - 車両に搭載されて用いられる画像生成装置であって、
一又は複数のカメラからの入力画像を三次元空間の予め決められた空間モデルにマッピングする空間再構成手段と、
前記空間再構成手段によってマッピングされた空間データを参照して、前記三次元空間における任意の仮想視点から見た画像である仮想視点画像を生成する画像生成手段と、
前記画像生成手段により生成された前記仮想視点画像を表示装置に出力する出力手段と、
前記出力手段が出力させている前記仮想視点画像の仮想視点から所定の仮想視点まで、連続的に前記仮想視点を移動させた前記仮想視点画像を前記画像生成手段に生成させる画像生成指示手段と、
前記車両に搭載されたセンサから得られる信号に基づいて前記所定の仮想視点を設定する自動仮想視点設定手段と、
を備えると共に、
前記自動仮想視点設定手段は、
前記車両に搭載されたセンサから得られる信号に基づいて前記車両の周囲の危険箇所を特定する危険箇所特定手段と、
前記危険箇所特定手段により特定された危険箇所のうち、最も危険な箇所を臨むことができる場所を前記所定の仮想視点として設定する設定手段と、
を備え、
さらに、前記画像生成装置は、
前記危険箇所特定手段により特定された危険箇所のうち、二番目に危険な箇所であってその危険度合いが所定程度以上の危険箇所がある場合は、その危険箇所を臨むことができる場所に新たに別の仮想視点を設定する新規仮想視点設定手段と、
前記新規仮想視点設定手段により設定された前記仮想視点における前記仮想視点画像を前記画像生成手段にさらに生成させる補助画像生成指示手段と、
を備え、
前記出力手段は、前記補助画像生成指示手段の指示により生成された前記仮想視点画像と、前記画像生成指示手段の指示により生成された前記仮想視点画像とが並べられた画像を前記表示装置に出力すること、
を特徴とする画像生成装置。 - 請求項1または請求項2に記載の画像生成装置において、
前記画像生成手段は、車両周辺に存在する障害物を検知するセンサから得られる信号に基づき、前記仮想視点画像上の対応する位置に、障害物との距離を把握可能な画像を重畳させること、
を特徴とする画像生成装置。 - 請求項1から請求項3のうちのいずれか1項に記載の画像生成装置において、
前記仮想視点の移動速度を、前記車両の危険状況に応じて設定する視点移動速度設定手段をさらに備え、
前記画像生成指示手段は、前記視点移動速度設定手段により設定された前記移動速度によって前記仮想視点を移動させた前記仮想視点画像を前記画像生成手段に生成させること、
を特徴とする画像生成装置。 - 請求項1から請求項4のうちのいずれか1項に記載の画像生成装置において、
前記空間モデルは、路面の平面モデルであること、
を特徴とする画像生成装置。 - 一又は複数のカメラからの入力画像を三次元空間の予め決められた空間モデルにマッピングする空間再構成ステップと、
前記空間再構成ステップによってマッピングされた空間データを参照して、前記三次元空間における任意の仮想視点から見た画像である仮想視点画像を生成する画像生成ステップと、
前記画像生成ステップにより生成された前記仮想視点画像を表示装置に出力する出力ステップと、
前記出力ステップにより出力されている前記仮想視点画像の仮想視点から所定の仮想視点まで、連続的に前記仮想視点を移動させた前記仮想視点画像を前記画像生成ステップとして実行させて生成させる画像生成指示ステップと、
前記車両に搭載されたセンサから得られる信号に基づいて前記所定の仮想視点を設定する自動仮想視点設定ステップと、
をコンピュータに実行させるための画像生成プログラムであって、
前記画像生成ステップにおいて、前記車両を写した前記仮想視点画像に対し、該仮想視点画像上における該車両が存在する領域の外縁に沿って配される線を重畳させ、
前記自動仮想視点設定ステップは、
前記車両に搭載されたセンサから得られる信号に基づいて前記車両の周囲の危険箇所を特定する危険箇所特定ステップと、
前記危険箇所特定ステップにより特定された危険箇所のうち、最も危険な箇所を臨むことができる場所を前記所定の仮想視点として設定する設定ステップと、
を有し、
さらに、前記画像生成プログラムは、
前記危険箇所特定ステップにより特定された危険箇所のうち、二番目に危険な箇所であってその危険度合いが所定程度以上の危険箇所がある場合は、その危険箇所を臨むことができる場所に新たに別の仮想視点を設定する新規仮想視点設定ステップと、
前記新規仮想視点設定ステップにより設定された前記仮想視点における前記仮想視点画像を前記画像生成ステップとして実行させてさらに生成させる補助画像生成指示ステップと、
をコンピュータに実行させ、
前記出力ステップでは、前記補助画像生成指示ステップにて生成された前記仮想視点画像と、前記画像生成指示ステップにて生成された前記仮想視点画像とが並べられた画像を前記表示装置に出力すること、
を特徴とする画像生成プログラム。 - 一又は複数のカメラからの入力画像を三次元空間の予め決められた空間モデルにマッピングする空間再構成ステップと、
前記空間再構成ステップによってマッピングされた空間データを参照して、前記三次元空間における任意の仮想視点から見た画像である仮想視点画像を生成する画像生成ステップと、
前記画像生成ステップにより生成された前記仮想視点画像を表示装置に出力する出力ステップと、
前記出力ステップにより出力されている前記仮想視点画像の仮想視点から所定の仮想視点まで、連続的に前記仮想視点を移動させた前記仮想視点画像を前記画像生成ステップとして実行させて生成させる画像生成指示ステップと、
前記車両に搭載されたセンサから得られる信号に基づいて前記所定の仮想視点を設定する自動仮想視点設定ステップと、
をコンピュータに実行させるための画像生成プログラムであって、
前記自動仮想視点設定ステップは、
前記車両に搭載されたセンサから得られる信号に基づいて前記車両の周囲の危険箇所を特定する危険箇所特定ステップと、
前記危険箇所特定ステップにより特定された危険箇所のうち、最も危険な箇所を臨むことができる場所を前記所定の仮想視点として設定する設定ステップと、
を有し、
さらに、前記画像生成プログラムは、
前記危険箇所特定ステップにより特定された危険箇所のうち、二番目に危険な箇所であってその危険度合いが所定程度以上の危険箇所がある場合は、その危険箇所を臨むことができる場所に新たに別の仮想視点を設定する新規仮想視点設定ステップと、
前記新規仮想視点設定ステップにより設定された前記仮想視点における前記仮想視点画像を前記画像生成ステップとして実行させてさらに生成させる補助画像生成指示ステップと、
をコンピュータに実行させ、
前記出力ステップでは、前記補助画像生成指示ステップにて生成された前記仮想視点画像と、前記画像生成指示ステップにて生成された前記仮想視点画像とが並べられた画像を前記表示装置に出力すること、
を特徴とする前記画像生成プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007264551A JP4988499B2 (ja) | 2007-10-10 | 2007-10-10 | 画像生成装置及び画像生成プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007264551A JP4988499B2 (ja) | 2007-10-10 | 2007-10-10 | 画像生成装置及び画像生成プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009093485A JP2009093485A (ja) | 2009-04-30 |
JP4988499B2 true JP4988499B2 (ja) | 2012-08-01 |
Family
ID=40665403
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007264551A Expired - Fee Related JP4988499B2 (ja) | 2007-10-10 | 2007-10-10 | 画像生成装置及び画像生成プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4988499B2 (ja) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010274813A (ja) | 2009-05-29 | 2010-12-09 | Fujitsu Ten Ltd | 画像生成装置及び画像表示システム |
JP5251804B2 (ja) * | 2009-09-18 | 2013-07-31 | 三菱自動車工業株式会社 | 運転支援装置 |
JP5302227B2 (ja) * | 2010-01-19 | 2013-10-02 | 富士通テン株式会社 | 画像処理装置、画像処理システム、および、画像処理方法 |
JP5622986B2 (ja) * | 2010-07-27 | 2014-11-12 | 富士通テン株式会社 | 画像表示システム、画像処理装置及び画像表示方法 |
JP5582057B2 (ja) * | 2011-02-15 | 2014-09-03 | パナソニック株式会社 | 運転支援装置 |
JP5808679B2 (ja) * | 2012-01-23 | 2015-11-10 | 住友重機械工業株式会社 | 画像生成装置及び操作支援システム |
JP6105244B2 (ja) * | 2012-09-28 | 2017-03-29 | 富士通テン株式会社 | 画像処理装置、及び画像処理システム |
JP5892060B2 (ja) * | 2012-12-25 | 2016-03-23 | カシオ計算機株式会社 | 表示制御装置、表示制御システム、表示制御方法及びプログラム |
JP2018186387A (ja) * | 2017-04-26 | 2018-11-22 | アイシン精機株式会社 | 表示制御装置 |
JP2020182217A (ja) * | 2020-06-23 | 2020-11-05 | 株式会社Jvcケンウッド | 俯瞰映像生成装置、俯瞰映像生成方法およびプログラム |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2410741A1 (en) * | 1999-04-16 | 2012-01-25 | Panasonic Corporation | Image processing apparatus and monitoring system |
JP2004240480A (ja) * | 2003-02-03 | 2004-08-26 | Matsushita Electric Ind Co Ltd | 運転支援装置 |
-
2007
- 2007-10-10 JP JP2007264551A patent/JP4988499B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2009093485A (ja) | 2009-04-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4988499B2 (ja) | 画像生成装置及び画像生成プログラム | |
CA3069114C (en) | Parking assistance method and parking assistance device | |
WO2018116978A1 (ja) | 端末、及び端末の制御方法 | |
JP6340969B2 (ja) | 周辺監視装置、及びプログラム | |
JP4956915B2 (ja) | 映像表示装置及び映像表示方法 | |
WO2015136874A1 (ja) | 表示制御装置、表示装置、表示制御プログラム、表示制御方法、及び記録媒体 | |
CN102695037B (zh) | 一种车载多视点摄像头画面的切换和表示方法 | |
JP2005138755A (ja) | 虚像表示装置およびプログラム | |
JPWO2019008762A1 (ja) | 駐車支援方法及び駐車支援装置 | |
JP2011039600A (ja) | 駐車支援装置及び駐車支援方法 | |
JP2016063390A (ja) | 画像処理装置、及び画像表示システム | |
JP2003300444A (ja) | 移動体の運転支援装置 | |
WO2017022262A1 (ja) | 作業機械の周囲監視装置 | |
JP6720729B2 (ja) | 表示制御装置 | |
JP6769860B2 (ja) | 端末、及び端末の制御方法 | |
JP2011243010A (ja) | 運転支援装置 | |
JP6370833B2 (ja) | 画像生成装置、画像表示システム及び画像生成方法 | |
CN113119954A (zh) | 用于控制泊车辅助的方法及装置 | |
JP2020121638A (ja) | 表示制御装置 | |
JP2010067095A (ja) | 運転支援装置 | |
JP2003106853A (ja) | 運転支援装置 | |
WO2018167815A1 (ja) | 表示制御装置及び表示制御方法 | |
US20240109415A1 (en) | Control device and moving body | |
JP6831505B2 (ja) | 端末、端末の制御方法、情報処理装置、及び情報処理装置の制御方法 | |
TW201914863A (zh) | 行車影像介面切換系統及行車影像切換方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100401 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110811 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110823 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111020 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20111206 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120223 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20120302 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120403 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120426 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4988499 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150511 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |