JP7115300B2 - 画像生成装置及び画像表示システム - Google Patents

Description

本開示は画像生成装置及び画像表示システムに関する。

特許文献１に画像生成装置が開示されている。画像生成装置は、車両の周辺を撮影するカメラから、撮影画像を取得する。画像生成装置は、撮影画像に基づき、俯瞰画像を生成する。撮影画像に立体物が表れている場合、画像生成装置は、俯瞰画像のうち、立体物が存在する位置に代替画像を重畳する。代替画像は立体物を表す画像である。代替画像はデータベースに予め記憶されている。

特許第５５１６９９８号公報

特許文献１に開示されている画像生成装置のように、どの立体物に対しても一律に、予め記憶された代替画像で立体物を代替する処理を行うと、俯瞰画像をユーザが見たとき、ユーザに違和感が生じてしまう。また、俯瞰画像の見栄えが悪くなってしまう。

本開示の一局面は、ユーザに違和感が生じ難く、見栄えが良い俯瞰画像を生成できる画像生成装置及び画像表示システムを提供することを目的とする。

本開示の一局面は、画像生成装置（１）であって、車両（３）の周辺を撮影するカメラ（３７、３９、４１、４３）から、撮影画像（７３）を取得するように構成された画像取得ユニット（９）と、前記撮影画像に基づき、俯瞰画像（４９、４９Ａ、４９Ｂ、４９Ｃ）を生成するように構成された俯瞰画像生成ユニット（１１）と、前記撮影画像において、立体物を認識するように構成された立体物認識ユニット（１３）と、前記立体物認識ユニットが認識した前記立体物を表す重畳画像を取得するように構成された重畳画像取得ユニット（１５、２５）と、前記俯瞰画像において前記立体物が存在する位置の少なくとも一部に、前記重畳画像取得ユニットが取得した前記重畳画像を重畳するように構成された重畳ユニット（１５、２５）と、を備え、前記重畳画像取得ユニットは、前記立体物認識ユニットが認識した前記立体物の種類に応じて異なる処理により前記重畳画像を取得するように構成された画像生成装置である。
本開示の一局面である画像生成装置は、立体物の種類に応じて異なる処理により重畳画像を取得する。そのため、本開示の一局面である画像生成装置は、ユーザに違和感が生じ難く、見栄えが良い俯瞰画像を生成できる。
本開示の別の局面は、車両（３）の周辺を撮影するカメラ（３７、３９、４１、４３）から、撮影画像（７３）を取得するように構成された画像取得ユニット（９）と、前記撮影画像に基づき、俯瞰画像（４９、４９Ａ、４９Ｂ、４９Ｃ）を生成するように構成された俯瞰画像生成ユニット（１１）と、前記撮影画像において、人（７５）又は二輪車である特定立体物を認識するように構成された特定立体物認識ユニット（１３）と、前記撮影画像のうち、前記特定立体物を表す部分（７７）を、前記俯瞰画像のうち、前記特定立体物が存在する位置に重畳するように構成された重畳ユニット（１５）と、を備える画像生成装置（１）である。

本開示の別の局面である画像生成装置は、ユーザに違和感が生じ難く、見栄えが良い俯瞰画像を生成できる。

画像生成装置の構成を表すブロック図である。 制御部の機能的構成を表すブロック図である。 画像生成装置が実行する処理を表すフローチャートである。 俯瞰画像を生成する処理を表す説明図である。 撮影画像から特定部分を抽出する処理を表す説明図である。 俯瞰画像に特定部分を重畳する処理を表す説明図である。

本開示の例示的な実施形態を、図面を参照しながら説明する。
＜第１実施形態＞
１．画像生成装置１の構成
画像生成装置１の構成を、図１、図２に基づき説明する。図１に示すように、画像生成装置１は車両３に搭載されている。画像生成装置１は、制御部２と、代替画像データベース４７と、を備える。制御部２は、ＣＰＵ５と、例えば、ＲＡＭ又はＲＯＭ等の半導体メモリ（以下、メモリ７とする）と、を有するマイクロコンピュータを備える。

制御部２の各機能は、ＣＰＵ５が非遷移的実体的記録媒体に格納されたプログラムを実行することにより実現される。この例では、メモリ７が、プログラムを格納した非遷移的実体的記録媒体に該当する。また、このプログラムが実行されることで、プログラムに対応する方法が実行される。なお、制御部２は、１つのマイクロコンピュータを備えてもよいし、複数のマイクロコンピュータを備えてもよい。

制御部２は、図２に示すように、画像取得ユニット９と、俯瞰画像生成ユニット１１と、立体物認識ユニット１３と、第１重畳ユニット１５と、移動方向推測ユニット１７と、影認識ユニット１９と、パラメータ取得ユニット２１と、パラメータ調整ユニット２３と、第２重畳ユニット２５と、影推定ユニット２７と、影重畳ユニット２９と、出力ユニット３１と、歪み抑制ユニット３３と、色分けユニット３５と、を備える。立体物認識ユニット１３は、特定立体物認識ユニット、及び車両認識ユニットに対応する。第１重畳ユニット１５及び第２重畳ユニット２５は、重畳画像取得ユニット及び重畳ユニットに対応する。歪み抑制ユニット３３は代替ユニットに対応する。

代替画像データベース４７は、各種の代替画像を記憶している。代替画像については後述する。図１に示すように、車両３は、画像生成装置１に加えて、前カメラ３７と、右カメラ３９と、左カメラ４１と、後カメラ４３と、モニタ４５と、を備える。これらは画像生成装置１と接続している。

前カメラ３７は、車両３の前方を撮影して撮影画像を生成する。右カメラ３９は、車両３の右方を撮影して撮影画像を生成する。左カメラ４１は、車両３の左方を撮影して撮影画像を生成する。後カメラ４３は、車両３の後方を撮影して撮影画像を生成する。車両の前方、右方、左方、及び後方は車両の周辺に対応する。

前カメラ３７の撮影範囲の一部と、右カメラ３９の撮影範囲の一部とは重複する。右カメラ３９の撮影範囲の一部と、後カメラ４３の撮影範囲の一部とは重複する。後カメラ４３の撮影範囲の一部と、左カメラ４１の撮影範囲の一部とは重複する。前カメラ３７の撮影範囲の一部と、左カメラ４１の撮影範囲の一部とは重複する。

モニタ４５は車両３の車室内に設置されている。モニタ４５は画像を表示可能である。モニタ４５は、画像生成装置１が生成した画像を表示可能である。モニタ４５は画像表示装置に対応する。画像生成装置１と、モニタ４５との組み合わせは、画像表示システム４を構成する。
代替画像データベース４７は、上述したとおり、立体物の代替画像を記憶している。立体物の代替画像とは、立体物を表す画像である。立体物の代替画像として、車両の代替画像、電柱の代替画像がある。

車両の代替画像は、車両を上方の視点から見たときの形態を表す画像である。電柱の代替画像は、電柱を上方の視点から見たときの形態を表す画像である。電柱の代替画像には、例えば、電柱の天辺が表れている。

代替画像データベース４７は、複数種類の車両の代替画像を記憶している。それぞれの車両の代替画像は、車両の属性と対応付けられている。車両の属性は、車両の代替画像ごとに異なる。車両の属性とは、車両の色、車両の車種、車両のタイプ、車両の向き等である。

代替画像データベース４７は、複数種類の電柱の代替画像を記憶している。それぞれの電柱の代替画像は、電柱の属性と対応付けられている。電柱の属性は、電柱の代替画像ごとに異なる。電柱の属性とは、電柱の色等である。代替画像データベース４７は、車両の影の代替画像も記憶している。

２．画像生成装置１が実行する処理
画像生成装置１が実行する処理を、図３～図６に基づき説明する。図３のステップ１では、画像取得ユニット９が、前カメラ３７、右カメラ３９、左カメラ４１、及び後カメラ４３のそれぞれから、撮影画像を取得する。

ステップ２では、俯瞰画像生成ユニット１１が、前記ステップ１で取得した撮影画像に基づき、俯瞰画像を生成する。俯瞰画像生成ユニット１１は、上方仮想視点で射影変換することで、俯瞰画像を生成する。

ステップ３では、立体物認識ユニット１３が、前記ステップ１で取得した撮影画像において、立体物を認識する処理を行う。立体物として、車両、人、二輪車、固定物等が挙げられる。車両とは、二輪車は除く車両を意味する。固定物として、例えば、電柱等が挙げられる。

ステップ４では、前記ステップ３で車両を認識できたか否かを立体物認識ユニット１３が判断する。車両を認識できた場合、本処理はステップ５に進む。車両を認識できなかった場合、本処理はステップ１１に進む。

ステップ５では、前記ステップ３で認識した車両の属性を、第２重畳ユニット２５が推測する。
ステップ６では、前記ステップ５で推測した車両の属性と対応付けられた車両の代替画像を、第２重畳ユニット２５が代替画像データベース４７から読み出す。車両の代替画像は、立体物を表す重畳画像に対応する。データベース４７は記憶媒体に対応する。代替画像を代替画像データベース４７から読み出すことは、重畳画像を記憶媒体から読み出す処理に対応する。

ステップ７では、影推定ユニット２７が、前記ステップ２で生成した俯瞰画像において、前記ステップ３で認識した車両の影の位置を推定する。
影推定ユニット２７が俯瞰画像における立体物の影の位置を推定する方法として、例えば、以下の第１の方法、第２の方法がある。第１の方法では、まず、撮影画像において、立体物と、その立体物の影とを認識する。次に、認識した立体物と影とに基づき、立体物に対する影の相対的な位置を特定する。次に、立体物に対する影の相対的な位置を俯瞰画像に適用し、俯瞰画像における立体物の影の位置を推定する。第２の方法では、日付、時刻、車両３が存在する位置の緯度及び経度等に基づき、俯瞰画像における立体物の影の位置を推定する。

ステップ８では、第２重畳ユニット２５が、前記ステップ２で生成した俯瞰画像のうち、前記ステップ３で認識した車両が存在する位置に、前記ステップ６で読み出した車両の代替画像を重畳する。第２重畳ユニット２５は、代替画像における車両の移動方向と、俯瞰画像における車両の移動方向とが一致するように、代替画像を俯瞰画像に重畳する。

車両の代替画像を重畳する事例を図４に示す。俯瞰画像４９Ａは、前記ステップ２で生成した俯瞰画像である。俯瞰画像４９Ａには、白線５１が表示されている。俯瞰画像４９Ａには、歪み領域５３、５５が表示されている。歪み領域５３、５５は、撮影画像に表れていた車両を、上方仮想視点で射影変換した結果生じた領域である。すなわち、歪み領域５３、５５は、俯瞰画像のうち、歪んだ形状の車両が存在する領域である。

俯瞰画像４９Ｂは、俯瞰画像４９Ａに、車両の代替画像５９、６１を重畳して生じた俯瞰画像である。俯瞰画像４９Ｂにおいて、歪み領域５３の一部は車両の代替画像５９で覆われているが、歪み領域５３の残りの部分は代替画像５９から外れている。また、俯瞰画像４９Ｂにおいて、歪み領域５５の一部は車両の代替画像６１で覆われているが、歪み領域５５の残りの部分は代替画像６１から外れている。

ステップ９では、まず、影重畳ユニット２９が、代替画像データベース４７から、車両の影の代替画像を読み出す。次に、影重畳ユニット２９は、俯瞰画像のうち、前記ステップ７で推定した影の位置に、車両の影の代替画像を重畳する。

車両の影の代替画像を重畳する事例を図４に示す。俯瞰画像４９Ｃは、俯瞰画像４９Ｂに、車両の影の代替画像６５、６７をさらに重畳した俯瞰画像である。重畳された車両の影の代替画像６５、６７の位置は、前記ステップ７で推定した影の位置である。

ステップ１０では、歪み抑制ユニット３３が歪み抑制処理を行う。歪み抑制処理とは、俯瞰画像に表れている歪み領域の少なくとも一部を、車両が表れていない撮影画像を用いて消去する処理である。歪み抑制処理を、図４に示す事例に基づき説明する。

俯瞰画像４９Ｃには、歪み領域５３、５５が存在する。歪み領域５３は、右カメラ３９の撮影画像に表れている車両に起因する。歪み領域５５は、左カメラ４１の撮影画像に表れている車両に起因する。歪み領域５３、５５は、俯瞰画像４９Ｃのうち、車両が存在する範囲に対応する。後カメラ４３の撮影画像には、右カメラ３９又は左カメラ４１の撮影範囲に表れている車両は表れていない。後カメラ４３の撮影範囲は、後述する範囲６９、７１を含む。歪み抑制処理の前において、俯瞰画像４９Ｃのうち、範囲６９、７１は、右カメラ３９及び左カメラ４１の撮影画像を用いて生成されている。

歪み抑制処理では、俯瞰画像４９Ｃのうち、歪み領域５３、５５の一部を含む範囲６９、７１を、後カメラ４３の撮影画像を俯瞰画像に変換した画像で代替する。範囲６９、７１は、俯瞰画像４９Ｃのうち、車両に起因する歪みが存在し、代替画像５９、６１から外れている部分を含む。範囲６９、７１は特定範囲に対応する。後カメラ４３の撮影画像には車両は表れていないので、歪み抑制処理の後、範囲６９、７１には歪み領域は存在しなくなる。

ステップ１１では、前記ステップ３で特定立体物を認識できたか否かを立体物認識ユニット１３が判断する。特定立体物とは、人又は二輪車である。二輪車は、自転車及び自動二輪車を含む。特定立体物を認識できた場合、本処理はステップ１２に進む。特定立体物を認識できなかった場合、本処理はステップ１８に進む。

ステップ１２では、第１重畳ユニット１５が、撮影画像のうち、特定立体物を表す部分（以下では特定部分７７とする）を抽出する。特定部分７７を抽出する例を図５に示す。撮影画像７３に、人７５が表れている。第１重畳ユニット１５は、撮影画像７３のうち、人７５を表す特定部分７７を抽出する。特定部分７７は重畳画像に対応する。撮影画像から特定部分７７を抽出することは、撮影画像のうち、特定立体物を表す部分を用いて重畳画像を取得する処理に対応する。

ステップ１３では、移動方向推測ユニット１７が、撮影画像において、特定立体物の移動方向を推測する。特定立体物の移動方向を推測した例を図５に示す。移動方向推測ユニット１７は、人７５の移動方向７９を推測する。移動方向推測ユニット１７は、例えば、特定立体物の向き、特定立体物が存在する道路の進行方向等から移動方向を推測することができる。特定立体物の移動方向は、特定立体物の向きと一定の関係を有する。

ステップ１４では、影認識ユニット１９が、前記ステップ３で認識した特定立体物の影を、俯瞰画像において認識する。
ステップ１５では、第１重畳ユニット１５が、前記ステップ１２で抽出した特定部分７７を、俯瞰画像のうち、前記ステップ３で認識した特定立体物が存在する位置に重畳する。

特定部分７７を俯瞰画像に重畳した例を図６に示す。特定部分７７は前記ステップ１２で抽出されたものである。特定部分７７は俯瞰画像４９に重畳されている。俯瞰画像４９において、特定部分７７の位置は、前記ステップ３で認識した特定立体物が存在する位置である。

第１重畳ユニット１５は、例えば、特定部分７７を縮小してから重畳することができる。縮小の比率は適宜設定することができる。また、第１重畳ユニット１５は、例えば、特定部分７７を縮小せずに重畳してもよい。また、第１重畳ユニット１５は、例えば、特定部分７７を拡大してから重畳してもよい。

撮影画像７３における移動方向７９と、俯瞰画像４９における移動方向７９とは一致する。例えば、撮影画像７３における移動方向７９が北向きであれば、俯瞰画像４９における移動方向７９も北向きである。俯瞰画像４９における特定部分７７の位置は、前記ステップ１４で認識した影８１を生じる位置である。

ステップ１６では、パラメータ取得ユニット２１が、第１パラメータと第２パラメータとを取得する。第１パラメータとは、特定部分７７の輝度又はコントラストである。第２パラメータとは、俯瞰画像のうち、前記ステップ３で認識した特定立体物が存在する位置の周囲の輝度又はコントラストである。

ステップ１７では、パラメータ調整ユニット２３が、第１パラメータと第２パラメータとの差が減少するように、第１パラメータ又は第２パラメータを調整する。例えば、パラメータ調整ユニット２３は、第１パラメータと第２パラメータとの差が減少するように、第１パラメータを変化させる。あるいは、パラメータ調整ユニット２３は、第１パラメータと第２パラメータとの差が減少するように、第２パラメータを変化させる。あるいは、パラメータ調整ユニット２３は、第１パラメータと第２パラメータとの差が減少するように、第１パラメータと第２パラメータとの両方を変化させる。

ステップ１８では、前記ステップ３で電柱を認識できたか否かを立体物認識ユニット１３が判断する。電柱を認識できた場合、本処理はステップ１９に進む。電柱を認識できなかった場合、本処理はステップ２３に進む。

ステップ１９では、前記ステップ３で認識した電柱の属性を、第２重畳ユニット２５が推測する。
ステップ２０では、前記ステップ１９で推測した電柱の属性と対応付けられた電柱の代替画像を、第２重畳ユニット２５が代替画像データベース４７から読み出す。電柱の代替画像は、立体物を表す重畳画像に対応する。データベース４７は記憶媒体に対応する。代替画像を代替画像データベース４７から読み出すことは、重畳画像を記憶媒体から読み出す処理に対応する。

ステップ２１では、第２重畳ユニット２５が、俯瞰画像のうち、前記ステップ３で認識した電柱の上部が存在する位置に、前記ステップ２０で読み出した電柱の代替画像を重畳する。電柱の上部とは、電柱のうち、俯瞰画像に表れている部分における上部を意味する。
ステップ２２では、色分けユニット３５が、俯瞰画像に対し、色分け処理を行う。色分け処理とは、俯瞰画像を、立体物が存在する領域、フリー領域、及び未定領域に分け、領域ごとに色を異ならせる処理である。フリー領域とは、いずれかの撮影画像に表れている領域であって、立体物が存在しない領域である。未定領域とは、いずれの撮影画像にも表れていない領域である。

ステップ２３は、出力ユニット３１が、俯瞰画像をモニタ４５に出力する。出力される俯瞰画像は、画像生成装置１が生成した画像に対応する。モニタ４５は俯瞰画像を表示する。
３．画像生成装置１が奏する効果
（１Ａ）画像生成装置１は、認識した立体物の種類に応じて異なる処理により重畳画像を取得する。すなわち、画像生成装置１は、認識した立体物の種類が歩行者又は二輪車である場合、撮影画像のうち、歩行者又は二輪車を表す部分を用いて重畳画像を生成する処理を行う。また、画像生成装置１は、認識した立体物の種類が車両又は電柱である場合、重畳画像を代替画像データベース４７から読み出す処理を行う。そのため、画像生成装置１は、ユーザに違和感が生じ難く、見栄えが良い俯瞰画像を生成できる。
（１Ｂ）画像生成装置１は、俯瞰画像のうち、特定立体物が存在する位置に、特定部分７７を重畳する。特定部分７７は、撮影画像のうち、特定立体物を表す部分である。そのため、重畳された特定部分７７の属性は、実際の特定立体物の属性と一致する。その結果、ユーザが俯瞰画像を見たとき、ユーザに違和感が生じ難い。

（１Ｃ）画像生成装置１は、撮影画像において、特定立体物の移動方向を推測する。画像生成装置１が生成した俯瞰画像では、撮影画像における特定立体物の移動方向と、俯瞰画像における特定立体物の移動方向とは一致する。そのため、ユーザは、俯瞰画像を見ることで、特定立体物の移動方向を容易に理解することができる。

（１Ｄ）画像生成装置１は、俯瞰画像において特定立体物の影を認識する。画像生成装置１が生成した俯瞰画像では、特定部分７７が表す特定立体物の位置は、認識した影を生じる位置である。そのため、画像生成装置１は、特定部分７７を正確に重畳することができる。また、特定部分７７が表す特定立体物の位置と、認識した影の位置とがずれ難いので、ユーザに違和感が生じ難い。

（１Ｅ）画像生成装置１は、第１パラメータ及び第２パラメータを取得する。画像生成装置１は、第１パラメータと第２パラメータとの差が減少するように、第１パラメータ又は第２パラメータを調整する。そのことにより、俯瞰画像において、特定部分７７と、その周囲との輝度又はコントラストの差が減少する。その結果、ユーザが俯瞰画像を見たとき、ユーザに違和感が生じ難い。

（１Ｆ）画像生成装置１は、撮影画像において、車両を認識する。画像生成装置１は、俯瞰画像のうち、認識した車両が存在する位置に、車両の代替画像を重畳する。画像生成装置１は、俯瞰画像において、認識した車両の影の位置を推定する。画像生成装置１は、俯瞰画像のうち、推定した影の位置に、車両の影の代替画像を重畳する。

画像生成装置１が生成した俯瞰画像には、車両の代替画像と車両の影の代替画像とが重畳されている。そのため、ユーザは、俯瞰画像を見たとき、車両を一層容易に認識することができる。
（１Ｇ）画像生成装置１は、俯瞰画像のうち、車両が存在し、重畳画像から外れている部分を、別のカメラの撮影画像を俯瞰画像に変換した画像で代替する。別のカメラの撮影画像とは、車両は撮影範囲に含まず、前記重畳画像から外れている部分は撮影範囲に含む撮影画像である。そのため、画像生成装置１は、俯瞰画像のうち、歪んだ車両が表れている部分を低減できる。
＜他の実施形態＞
以上、本開示の実施形態について説明したが、本開示は上述の実施形態に限定されることなく、種々変形して実施することができる。

（１）特定部分７７は、撮影画像のうち、特定立体物以外の部分を含んでいてもよいし、含んでいなくてもよい。特定部分７７は、特定立体物の全体を表していてもよいし、特定立体物の一部を表していてもよい。

（２）第２重畳ユニット２５は、車両の代替画像を代替画像データベース４７から読み出すのではなく、前記ステップ５で推測した車両の属性に応じてその都度作成してもよい。
（３）車両の代替画像又は電柱の代替画像を俯瞰画像に重畳する場合も、前記ステップ１４のように立体物の影を俯瞰画像において認識してもよい。そして、代替画像が表す立体物の位置が、認識した影を生じる位置となるように、代替画像を俯瞰画像に重畳することができる。
（４）車両の代替画像又は電柱の代替画像を俯瞰画像に重畳する場合も、前記ステップ１６のように第１パラメータと第２パラメータとを取得することができる。この場合の第１パラメータは、代替画像の輝度又はコントラストである。そして、前記ステップ１７のように、第１パラメータと第２パラメータとの差が減少するように、第１パラメータ又は第２パラメータを調整することができる。
（５）車両の代替画像又は電柱の代替画像を俯瞰画像に重畳する場合も、前記ステップ７のように、俯瞰画像において立体物の影の位置を推定することができる。そして、前記ステップ９のように、推定した影の位置に、影の代替画像を重畳することができる。
（６）本開示に記載の画像生成装置１及びその手法は、コンピュータプログラムにより具体化された一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリを構成することによって提供された専用コンピュータにより、実現されてもよい。あるいは、本開示に記載の画像生成装置１及びその手法は、一つ以上の専用ハードウェア論理回路によってプロセッサを構成することによって提供された専用コンピュータにより、実現されてもよい。もしくは、本開示に記載の画像生成装置１及びその手法は、一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリと一つ以上のハードウェア論理回路によって構成されたプロセッサとの組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されてもよい。画像生成装置１に含まれる各部の機能を実現する手法には、必ずしもソフトウェアが含まれている必要はなく、その全部の機能が、一つあるいは複数のハードウェアを用いて実現されてもよい。

（７）上記実施形態における１つの構成要素が有する複数の機能を、複数の構成要素によって実現したり、１つの構成要素が有する１つの機能を、複数の構成要素によって実現したりしてもよい。また、複数の構成要素が有する複数の機能を、１つの構成要素によって実現したり、複数の構成要素によって実現される１つの機能を、１つの構成要素によって実現したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。

（８）上述した画像生成装置の他、当該画像生成装置を構成要素とするシステム、当該画像生成装置としてコンピュータを機能させるためのプログラム、このプログラムを記録した半導体メモリ等の非遷移的実態的記録媒体、画像生成方法、運転支援方法等、種々の形態で本開示を実現することもできる。

１…画像生成装置、２…制御部、３…車両、４…画像表示システム、５…ＣＰＵ、７…メモリ、９…画像取得ユニット、１１…俯瞰画像生成ユニット、１３…立体物認識ユニット、１５…第１重畳ユニット、１７…移動方向推測ユニット、１９…影認識ユニット、２１…パラメータ取得ユニット、２３…パラメータ調整ユニット、２５…第２重畳ユニット、２７…影推定ユニット、２９…影重畳ユニット、３１…出力ユニット、３３…歪み抑制ユニット、３５…色分けユニット、３７…前カメラ、３９…右カメラ、４１…左カメラ、４３…後カメラ、４５…モニタ、４７…代替画像データベース、４９、４９Ａ、４９Ｂ、４９Ｃ…俯瞰画像、５１…白線、５３、５５…歪み領域、５９、６１…車両の代替画像、６５、６７…影の代替画像、６９、７１…範囲、７３…撮影画像、７５…人、７７…特定部分、８１…影

Claims (16)

1. 画像生成装置（１）であって、
   車両（３）の周辺を撮影するカメラ（３７、３９、４１、４３）から、撮影画像（７３）を取得するように構成された画像取得ユニット（９）と、
   前記撮影画像に基づき、俯瞰画像（４９、４９Ａ、４９Ｂ、４９Ｃ）を生成するように構成された俯瞰画像生成ユニット（１１）と、
   前記撮影画像において、立体物を認識するように構成された立体物認識ユニット（１３）と、
   前記立体物認識ユニットが認識した前記立体物を表す重畳画像を取得するように構成された重畳画像取得ユニット（１５、２５）と、
   前記俯瞰画像において前記立体物が存在する位置の少なくとも一部に、前記重畳画像取得ユニットが取得した前記重畳画像を重畳するように構成された重畳ユニット（１５、２５）と、
   を備え、
   前記重畳画像取得ユニットは、前記立体物認識ユニットが認識した前記立体物の種類に応じて異なる処理により前記重畳画像を取得するように構成され、
   前記重畳画像取得ユニットは、前記立体物認識ユニットが認識した前記立体物の種類に応じて、前記撮影画像を用いて前記重畳画像を生成する処理により前記重畳画像を取得する場合と、予め記憶媒体に記憶された前記重畳画像を前記記憶媒体から読み出す処理により前記重畳画像を取得する場合とがある画像生成装置。
2. 請求項１に記載の画像生成装置であって、
   前記重畳画像取得ユニットが行う前記処理として、前記撮影画像を用いて前記重畳画像を生成する処理、及び、予め記憶媒体に記憶された前記重畳画像を前記記憶媒体から読み出す処理の少なくとも一方がある画像生成装置。
3. 請求項２に記載の画像生成装置であって、
   少なくとも、前記立体物認識ユニットが認識した前記立体物の種類が歩行者又は二輪車である場合、前記重畳画像取得ユニットは、前記撮影画像のうち、前記立体物認識ユニットが認識した前記立体物を表す部分を用いて前記重畳画像を生成する処理を行う画像生成装置。
4. 請求項２又は３に記載の画像生成装置であって、
   少なくとも、前記立体物認識ユニットが認識した前記立体物の種類が電柱である場合、前記重畳画像取得ユニットは、前記重畳画像を前記記憶媒体から読み出す処理を行い、前記重畳ユニットは、前記俯瞰画像において前記電柱の上部が存在する位置に、前記記憶媒体から読み出された前記重畳画像を重畳する画像生成装置。
5. 請求項２～４のいずれか１項に画像生成装置であって、
   少なくとも、前記立体物認識ユニットが認識した前記立体物の種類が車両である場合、前記重畳画像取得ユニットは、前記重畳画像を前記記憶媒体から読み出す処理を行い、前記重畳ユニットは、前記俯瞰画像において前記車両が存在する位置に、前記記憶媒体から読み出された前記重畳画像を重畳する画像生成装置。
6. 請求項５に記載の画像生成装置であって、
   前記画像取得ユニットは、複数の前記カメラからそれぞれ前記撮影画像を取得するように構成され、
   前記俯瞰画像生成ユニットは、複数の前記カメラから取得した複数の前記撮影画像に基づき、前記俯瞰画像を生成するように構成され、
   前記俯瞰画像のうち、車両が存在し、前記重畳画像から外れている特定範囲を、前記特定範囲の生成に使用された前記撮影画像を撮影した前記カメラとは異なる前記カメラの前記撮影画像であって、前記車両は撮影範囲に含まず、前記特定範囲は撮影範囲に含む前記撮影画像を俯瞰画像に変換した画像で代替するように構成された代替ユニットをさらに備える画像生成装置。
7. 請求項１～６のいずれか１項に記載の画像生成装置であって、
   前記重畳画像における前記立体物の移動方向を推測するように構成された移動方向推測ユニット（１７）をさらに備え、
   前記重畳ユニットは、前記重畳画像における前記移動方向と、前記俯瞰画像における前記移動方向とが一致するように、前記重畳画像を前記俯瞰画像に重畳するように構成された画像生成装置。
8. 請求項１～７のいずれか１項に記載の画像生成装置であって、
   前記俯瞰画像において前記立体物の影を認識するように構成された影認識ユニット（１９）をさらに備え、
   前記重畳ユニットは、前記重畳画像が表す前記立体物の位置が、前記影認識ユニットにより認識した影を生じる位置となるように、前記重畳画像を前記俯瞰画像に重畳するように構成された画像生成装置。
9. 請求項１～８のいずれか１項に記載の画像生成装置であって、
   前記重畳画像の輝度又はコントラストである第１パラメータ、及び、前記俯瞰画像のうち、前記立体物が存在する位置の周囲の輝度又はコントラストである第２パラメータを取得するように構成されたパラメータ取得ユニット（２１）と、
   前記第１パラメータと前記第２パラメータとの差が減少するように、前記第１パラメータ又は前記第２パラメータを調整するように構成されたパラメータ調整ユニット（２３）と、
   をさらに備える画像生成装置。
10. 請求項１～９のいずれか１項に記載の画像生成装置であって、
    前記俯瞰画像において、前記立体物の影の位置を推定する影推定ユニット（２７）と、
    前記俯瞰画像のうち、前記影推定ユニットが推定した影の位置に、前記立体物の影を表す影画像を重畳するように構成された影重畳ユニット（２９）と、
    をさらに備える画像生成装置。
11. 車両（３）の周辺を撮影するカメラ（３７、３９、４１、４３）から、撮影画像（７３）を取得するように構成された画像取得ユニット（９）と、
    前記撮影画像に基づき、俯瞰画像（４９、４９Ａ、４９Ｂ、４９Ｃ）を生成するように構成された俯瞰画像生成ユニット（１１）と、
    前記撮影画像において、人（７５）又は二輪車である特定立体物を認識するように構成された特定立体物認識ユニット（１３）と、
    前記撮影画像のうち、前記特定立体物を表す部分（７７）を、前記俯瞰画像のうち、前記特定立体物が存在する位置に重畳するように構成された重畳ユニット（１５）と、
    を備える画像生成装置（１）。
12. 請求項１１に記載の画像生成装置であって、
    前記撮影画像において、前記特定立体物の移動方向を推測するように構成された移動方向推測ユニット（１７）をさらに備え、
    前記重畳ユニットは、前記撮影画像における前記移動方向と、前記俯瞰画像における前記移動方向とが一致するように、前記特定立体物を表す部分を前記俯瞰画像に重畳するように構成された画像生成装置。
13. 請求項１１又は１２に記載の画像生成装置であって、
    前記俯瞰画像において前記特定立体物の影を認識するように構成された影認識ユニット（１９）をさらに備え、
    前記重畳ユニットは、前記特定立体物の位置が、前記影認識ユニットにより認識した影を生じる位置となるように、前記特定立体物を表す部分を前記俯瞰画像に重畳するように構成された画像生成装置。
14. 請求項１１～１３のいずれか１項に記載の画像生成装置であって、
    前記特定立体物を表す部分の輝度又はコントラストである第１パラメータ、及び、前記俯瞰画像のうち、前記特定立体物が存在する位置の周囲の輝度又はコントラストである第２パラメータを取得するように構成されたパラメータ取得ユニット（２１）と、
    前記第１パラメータと前記第２パラメータとの差が減少するように、前記第１パラメータ又は前記第２パラメータを調整するように構成されたパラメータ調整ユニット（２３）と、
    をさらに備える画像生成装置。
15. 請求項１１～１４のいずれか１項に記載の画像生成装置であって、
    前記撮影画像において、車両を認識するように構成された車両認識ユニット（１３）と、
    前記俯瞰画像のうち、前記車両認識ユニットが認識した車両が存在する位置に、車両を表す重畳画像を重畳するように構成された車両重畳ユニット（２５）と、
    前記俯瞰画像において、前記車両認識ユニットが認識した車両の影の位置を推定する影推定ユニット（２７）と、
    前記俯瞰画像のうち、前記影推定ユニットが推定した影の位置に、車両の影を表す影画像を重畳するように構成された影重畳ユニット（２９）と、
    をさらに備える画像生成装置。
16. 請求項１～１５のいずれか１項に記載の画像生成装置と、
    前記画像生成装置が生成した画像を表示する画像表示装置（４５）と、
    を備える画像表示システム（４）。

Images