JP6464579B2 - 俯瞰画像生成装置 - Google Patents

Description

本発明は、遠景部分の表示品質を向上した俯瞰画像の生成装置に関し、主として、運転支援を目的として車載カメラの画像を俯瞰画像に変換して表示する俯瞰画像生成装置の改良に関する。

車両後退時の運転支援等を目的として使用される車載カメラには、駐車支援のために、車両後部から撮像した画像を変換し、仮想的に自車上空より目標とする駐車枠や自車後端を見下ろす俯瞰画像として表示する機能を有するものがある。このような俯瞰画像では、車両後方（背景）をより広く表示しようとすると、表示画像が大きく変形し不自然になる問題があった。

特許文献１では、地面に設定した仮想投影面とは別に、地面に対して傾斜した仮想投影面を設定することにより、近景用の俯瞰画像の上側に地平線以上の遠景画像が表示されるようにしている。しかし、この方法は、２つの仮想投影面に３次元座標変換して俯瞰画生成するため、行列・逆行列演算などの計算処理の複雑化と処理量の増大を招き、負荷が増大する問題があった。また、車両の速度や速度変化によって表示画像と実際の風景との間にギャップを生じる問題もあった。

特許第４２５７３５６号公報

本発明は、上記のような実状に鑑みてなされたものであって、その目的は、計算処理の複雑化や負荷の増大を回避しつつ、遠景領域の表示変形を補完して表示可能範囲を拡大できかつ車両の挙動変化に対応した自然な変換画像を生成できる俯瞰画像生成装置を提供することにある。

上記課題を解決するため、本発明は、
車両に搭載され地表面を含み近景から遠景までを撮像する撮像手段（２）と、前記撮像手段で撮像された入力画像から俯瞰画像を合成する画像処理装置（４）と、前記俯瞰画像を表示する表示手段（６）と、を備えた俯瞰画像生成装置において、
前記画像処理装置（４）は、前記入力画像（１０）を俯瞰画像（２０ａ）に平面射影変換しかつ該俯瞰画像の遠景側に前記入力画像の遠景領域（１０ｂ）を拡大（２０ｂ）して合成するための画素参照用ルックアップテーブル（４２）を格納した記憶手段を備えるとともに、前記車両の速度（Ｖ）を取得可能であり、
前記ルックアップテーブル（４２）は、前記俯瞰画像の近景側から周辺および遠景側に向かうに従って前記入力画像（２０ｂ）の比率が高くなるように前記俯瞰画像の近景側を中心とした同心超楕円状の分布で重み付けされ、かつ、前記速度（Ｖ）に応じて重み付けされうるように用意されていることを特徴とする。

本発明に係る俯瞰画像生成装置は、上記構成により以下のような効果を有する。
入力画像から２次元の平面射影変換によって俯瞰画像を合成するので、３次元座標変換する場合のような計算の複雑化や処理量の増大を回避できる。
俯瞰画像の遠景側は入力画像を拡大して合成するので、一般的な俯瞰画像にありがちな変形や歪が抑制され、近景から遠景まで自然に表示された俯瞰画像が得られる。
上記俯瞰画像の平面射影変換および遠景領域の拡大重み付け合成にかかる処理は、予め用意されているルックアップテーブルを参照して実施されるので、計算処理が一層簡素化される。
しかも、ルックアップテーブルが、車両の速度に応じて重み付けされうるように用意されているので、車両の挙動変化によらず、実際の風景にマッチした俯瞰画像を表示できる。

特に、前記重み付けは、前記俯瞰画像の近景側を中心とした同心超楕円状の分布で適用されている。入力画像から平面射影変換した俯瞰画像は、近景側から周辺および遠景側に向かうに従って変形が大きくなるので、同心超楕円状の分布で近景俯瞰画像から遠景入力画像に遷移させることで自然な画像が得られる。しかも、超楕円は比較的簡単な数式で表現されかつその乗数を増減することで曲率を変化させ、出力用途に応じて画像の特徴を調整することができる利点もある。

本発明の好適な態様では、前記ルックアップテーブル（４２）は、前記速度（Ｖ０，Ｖ１，Ｖ２）に応じて段階的に重み付けされた複数（４２０，４２１，４２２）が用意され、前記速度（Ｖ）に一致した１つ（ｆ（ｕ，ｖ））が選択的に適用されるか、または、前記速度（Ｖ）に近接した２つ（ｆａ（ｕ，ｖ），ｆｂ（ｕ，ｖ））が偏差による加重平均（Ｆ（ｕ，ｖ））で合成されて適用されるように構成されているので、比較的少数（実施例では３つ）の速度区分に応じたルックアップテーブルを用いながらも、それらの中間にある速度を実質的に無段階に重み付けした俯瞰画像を生成できるので、処理量の増大を回避しつつ、速度区分の切り替わり時に表示画像が不連続に変化するのを防止でき、高品質な俯瞰画像を生成可能である。

本発明の好適な態様では、前記画像処理装置（４）は、前記車両の加速度を取得可能であるとともに、前記加速度に基づく予測速度（Ｖｃ）により重み付けされた一時ルックアップテーブル（４４１，４４２）を保持するＲＡＭ（４４）をさらに備え、前記ルックアップテーブル（４２）は、前記速度（Ｖ）と前記予測速度（Ｖｃ）との差（ΔＶ）による加重平均（ＦＦ（ｕ，ｖ））で前記一時ルックアップテーブルと合成されて適用されるように構成されているので、速度の予測処理を伴う動的俯瞰画像生成により、車両の急な加減速に対しても十分な応答性を確保でき、かつ、フレーム間におけるギャップが抑制された自然な動的画像切り替えを実施できる。

本発明の好適な態様では、前記画像処理装置（４）は、車両の操舵角を取得可能であって、前記画素参照用ルックアップテーブル（４２）および前記一時ルックアップテーブル（４４）は、左右各側の超楕円の乗数が異なる非対称重み付けマップを適用することにより、左右の曲率が異なる非対称のルックアップテーブルを含み、前記操舵角と予測操舵角との差による加重平均で前記一時ルックアップテーブルと合成されて適用されるように構成されているので、車両の操舵角に応じて旋回方向内側と旋回方向外側で異なる重み付けを行うことにより、実際の見え方に近い自然な画像を提供でき、かつ、操舵角の変化時に表示画像が不連続に変化するのを防止でき、自然な動的画像切り替えを実施できる。

本発明の第１実施形態に係る俯瞰画像生成装置を示すブロック図である。 本発明の第２実施形態に係る俯瞰画像生成装置を示すブロック図である。 本発明の基礎となる俯瞰画像生成概念を示す図である。 入力画像から俯瞰画像への平面射影変換における画素参照回数分布図とそれを平滑化処理した重み付けマップである。 ルックアップテーブルの重み付け合成を示す図である。 制御用重み付け変数βに応じたルックアップテーブルと出力画像である。 非対称重み付けマップと対応する非対称合成ルックアップテーブルと旋回方向の関係を示す図である。 俯瞰画像の動的重み付けと表示領域の関係を示す側面図である。 規定速度における基本的な俯瞰画像生成プロセスを示す図である。 中間速度における俯瞰画像生成プロセスを示す図である。 速度の予測処理を伴う俯瞰画像生成（１フレーム目）を示す図である。 速度の予測処理を伴う俯瞰画像生成（２フレーム目）を示す図である。 速度の予測処理を伴う俯瞰画像生成（３フレーム目）を示す図である。

以下、本発明の実施形態について、図面を参照しながら詳細に説明する。
図１において、本発明の第１実施形態の俯瞰画像生成装置１は、カメラ２（バックカメラ）、車載センサ３、画像処理装置４、画像出力用メモリ（ＶＲＡＭ）５、ディスプレイ６（車載モニター）から主に構成されている。

カメラ２は、ＣＭＯＳ、ＣＣＤなどの固体撮像素子と広角レンズを用いたデジタルカメラが好適であり、以下の説明では、車両後部に取付けられ、車体後部から地表面を含み近景から遠景までを画角に収めるバックカメラについて述べる。カメラ２（バックカメラ）は、車両のサービスコネクタのバック信号出力に接続され、バックギヤに連動して起動される。さらに、バックカメラの起動に連動してディスプレイ６の画像がバックカメラの映像に切り替わる。ディスプレイ６は、インストルメントパネルに設置される画像表示モニタであり、車載ＴＶやカーナビゲーションシステムのモニタなどを利用できる。

車載センサ３は、移動速度／加速度センサ、操舵角／操舵速度センサなど、所望するシステムに応じて選定される。さらに、ヨーレートセンサ、ジャイロセンサ等の車両挙動をセンシングするセンサを追加することもできる。後述のように、車載センサ３により、運転状態に応じて表示画像を切り替えることもできるし、ドライバー操作ＳＷによって、ドライバーが手動でパラメータを調整し、好みの画像を表示できるようにしても良い。

画像処理装置４は、バックカメラ２から送られる画像データをフレーム単位で記憶する画像入力用メモリ（ＶＲＡＭ）４１、入力画像を平面射影変換して俯瞰画像を生成しかつ該俯瞰画像の遠景側に前記入力画像の遠景領域を拡大して合成するための規定速度合成ルックアップテーブル（ＲＯＭ）４２、出力合成画像に操舵角センサの検出値を反映させるための規定操舵角ルックアップテーブル（ＲＯＭ）４３、車両挙動の予測に基づく補正を行うための予測計算用ルックアップテーブル（ＲＡＭ）４４、各ルックアップテーブル４２〜４４を参照して計算処理を実行する画像処理プロセッサ（ＣＰＵ）４５などから構成されている。

規定速度合成ルックアップテーブル４２は、入力画像を平面射影変換して俯瞰画像を生成するためのルックアップテーブル（俯瞰画像用ルックアップテーブル４２ａ）と、俯瞰画像の遠景側に入力画像の遠景領域を拡大して合成するためのルックアップテーブル（背景画像用ルックアップテーブル４２ｂ）とを、表示範囲の下側を近景俯瞰画像、上側を背景画像として、俯瞰画像の近景側から周辺および遠景側に向かうに従って背景画像の比率が高くなるように、かつ、後退時の規定速度において自然な表示となるように重み付け合成したルックアップテーブルであり、読出し専用メモリ（ＲＯＭ）に格納されている。

なお、規定速度合成ルックアップテーブル４２を用いる代わりに、図２に示す第２実施形態の俯瞰画像生成装置１′のように、俯瞰画像用ルックアップテーブル（ＲＯＭ）４２ａおよび背景画像用ルックアップテーブル（ＲＯＭ）４２ｂを個別に備え、それらを、規定操舵角用の参照回数テーブル４３ｃで重み付けして直接計算し、出力合成画像を生成しても良い。

（１）俯瞰画像の基本的生成手順
次に、上記第１実施形態に基づく俯瞰画像の基本的生成手順について説明する。
図３は、本発明に係る俯瞰画像生成概念を示しており、図の左側にカメラ２により撮像された入力画像１０が示されている。この入力画像１０は、車両後部およびその付近の地表面を含む近景から遠景までが画角に収められた広角画像であり、不可避的な歪曲収差を有しているが、図８に示すように、入力画像１０における地表面１１の平面座標は、カメラ２の設置高さと設置角度に応じて決定されるので、この平面座標から広角レンズの歪曲収差を除去して平面射影変換することにより俯瞰画像２０ａが得られる。

この平面射影変換において、俯瞰画像２０ａは、入力画像１０における略台形状の領域１０ａに対応しており、平面射影変換では各画素の座標を二次元平面内で移動するものであるため、各画素の移動ｇ（ｕ，ｖ）を規定したルックアップテーブル４２ａを利用できる。俯瞰画像２０ａは、領域内の周辺および遠景に向かうにつれて画像が引き伸ばされ、それに応じて元画像１０ａの同一画素が複数回参照されることで補間されるが、遠景側の変形が大きくなっている。

一方、平面射影変換を経ない入力画像１０は上記のような変形は生じないので、俯瞰画像２０ａの遠景領域に、入力画像１０の遠景領域１０ｂを切り出して拡大した背景画像２０ｂを合成すれば、両方の長所を生かした合成俯瞰画像５２が得られる。その際、この入力画像１０の遠景領域１０ｂを切り出して拡大する処理における各画素の移動ｈ（ｕ，ｖ）を規定したルックアップテーブル４２ｂを主に上側、俯瞰画像２０ａ用のルックアップテーブル４２ａを主に下側として、中景ないしは遠景領域でスムーズに連続するように重み付け合成した合成ルックアップテーブル４２を用意し、入力画像１０の各画素に合成ルックアップテーブル４２を適用することで、直ちに合成俯瞰画像５２を出力できる。なお、各図におけるルックアップテーブルは便宜的に簡略化して表示されている。

（２）俯瞰画像の重み付け合成
次に、俯瞰画像２０ａと背景画像２０ｂの重み付け合成について説明する。
図４は、入力画像１０とそれを平面射影変換した俯瞰画像２０ａの対応を示している。既に述べた通り、俯瞰画像２０ａは、周辺および遠景に向かうにつれて画像が引き伸ばされ、それに応じて元画像１０ａの同一画素が参照される回数が多くなり、画像の変形が大きくなるとともに解像度が低下し、表示が粗くなる。

例えば、入力画像１０において、遠方に小さく表示されたパイロン１０ｃは、入力画像１０上の１ピクセルが、俯瞰画像２０ａ上では拡大されて４ピクセルになる場合、同一画素が４回重複参照され、４倍大きく引き伸ばされた形状に表示される。そこで、この重複参照回数のカウント値を合成ルックアップテーブル４２の重み付けを行うためのテーブル（参照回数テーブル）として記録すれば、俯瞰画像２０ａの表示の粗さに応じて背景画像２０ｂが合成され、必要最小限かつ目的に適う重み付けを行うことができる。

ところで、上記参照回数テーブルに登録されるカウント値は、平面射影変換における画素の移動方向が概ね放射状であるのに対して、画像処理は正方格子状の画素配列に対して実施されるため、図４左下のマップ（カラーチャート）３０に表示されるように、不連続な離散状態となっている。この離散状態のままで重み付けを実施すると合成画像にも不連続な画素が発生し、不自然な画像となる。そこで、参照回数テーブルが連続したカウント値を持つように、マップ３０に近似処理などにより平滑化（最適化）を行う。

図４右下のマップ（カラーチャート）３１は、参照回数を半径と関連付けた同心超楕円で近似して平滑化処理した状態を示している。超楕円は次式で表され、乗数ｎを変化させることで曲率を変化させることができ、各変数ｕ，ｖの分母を種々に変化させることで同心超楕円群となる。
ここで、ｎ＝２の場合は平坦部のない一般的な楕円となり、ｎが大きくなるほど平坦部が広くなり角張った超楕円の特徴が顕著になる。したがって、これらのパラメータを調整することにより、高精度の近似および最適化が可能であることはもちろん、より積極的にパラメータを調節することにより、様々な応用が可能となる。なお、平滑化処理には、超楕円以外の近似処理、幾何学的処理、あるいはフィルタリング処理等を適用することもできる。

上記参照回数テーブル（マップ３１）に基づいて合成ルックアップテーブル４２を生成するに際して、参照回数テーブルの重み付け係数（カウント値）を直接適用することもできるが、そのような自然な重み付けを維持した状態で、運転状況に応じて近景俯瞰画像２０ａと背景画像２０ｂの比率を動的に調整可能であることが有利である。以下、動的な重み付け係数βを用いた合成ルックアップテーブル４２の生成について、図５，６を参照しながら説明する。

図５において、俯瞰画像用ルックアップテーブル４２ａの各セル（ａ）に登録される変換用座標情報をｇ（ｕ，ｖ）、背景画像用ルックアップテーブル４２ｂの各セル（ｂ）に登録される変換用座標情報をｈ（ｕ，ｖ）、合成ルックアップテーブル４２の各セル（ａ，ｂ，ｍ）に登録される変換用座標情報をｆ（ｕ、ｖ）、俯瞰画像２０ａが入力画像１０を重複参照する回数を元にした重み付け係数をα、但し０≦α≦１、合成ルックアップテーブル４２を動的に調整するための重み付け係数をβ、但し０≦β≦１、とすると、合成ルックアップテーブル４２を生成するための変換式は次式で表される。

合成ルックアップテーブル４２は、近景領域（ａ）では俯瞰画像２０ａが、遠景領域（ｂ）では背景画像２０ｂが、それぞれ表示され、それらの中間領域（ｍ）はモーフィング領域であり、図８に示すように、俯瞰画像２０ａから背景画像２０ｂにシームレスに移行する。これにより、歪みの少ない後方視野を確保しつつ、自車直近の距離感をつかみやすい駐車支援システムを構成できる。なお、合成ルックアップテーブル４２を重み付けにより生成するための変換式は上式に限定されるものではなく、所望する重み付けの程度や性格に基づいて適宜変更可能である。

（３）俯瞰画像の動的重み付け
さらに、実際の駐車では、ドライバーが注視したいポイントは状況に応じ変化するので、速度等の運転状態に応じて動的重み付け係数βを調整することにより、合成ルックアップテーブル４２を動的に変化させ、例えば、駐車支援システムにおける駐車時の自車位置に応じて適切な画像をドライバーに提供することができる。

図６はその一例を示すものであり、入力画像１０に対して、
１）動的重み付け係数：β＝０を適用すれば、俯瞰画像用ルックアップテーブル４２ａのみからなる合成ルックアップテーブル４２０が生成され、俯瞰画像２０ａのみからなる合成俯瞰画像５０が表示され、
２）動的重み付け係数：β＝０．０１５を適用すれば、俯瞰画像用ルックアップテーブル４２ａの重みが大きい合成ルックアップテーブル４２１が生成され、俯瞰画像２０ａの後方に背景画像２０ｂが少し入った合成俯瞰画像５１が表示され、
３）動的重み付け係数：β＝０．０３を適用すれば、俯瞰画像用ルックアップテーブル４２ａと背景画像用ルックアップテーブル４２ｂが比較的近い比率で合成された合成ルックアップテーブル４２２が生成され、俯瞰画像２０ａと背景画像２０ｂがシームレスに連続し、後方視界が広く含まれた合成俯瞰画像５２が表示される。

以上述べた第１実施形態の俯瞰画像生成装置１において、俯瞰画像用ルックアップテーブル４２ａ、背景画像用ルックアップテーブル４２ｂへの座標変換情報ｇ（ｕ，ｖ）、ｈ（ｕ，ｖ）の登録、および、重み付け用参照回数テーブルの生成（マップ３０）および平滑化処理（マップ３１）は、準備段階で予め完了しておき、画像処理装置４には表示画像の動的切り替えに必要な規定速度合成ルックアップテーブル４２および規定操舵角ルックアップテーブル４３を事前登録しておく。オンタイム処理すなわち車両運転時には、車載センサ３からの情報に対応する規定速度合成ルックアップテーブル４２および規定操舵角ルックアップテーブル４３を用いて画像変換に必要な座標情報を取得し、駐車支援画像を表示する。規定速度合成ルックアップテーブル４２を用いたオンタイム処理の具体的な実施例については後述する。

また、第２実施形態の俯瞰画像生成装置１′では、俯瞰画像用ルックアップテーブル４２ａ、背景画像用ルックアップテーブル４２ｂへの座標変換情報の登録、および、重み付け用参照回数テーブルの生成（マップ３０）および平滑化処理（マップ３１）を準備段階で予め完了しておく点は同様だが、オンタイム処理では、俯瞰画像用ルックアップテーブル４２ａ、背景画像用ルックアップテーブル４２ｂ、重み付け用参照回数テーブル４３ｃ、および車載センサ３からの情報を基に、画像変換に必要な座標情報を直接計算する。

（４）操舵角に応じた動的俯瞰画像生成
次に、車両挙動に応じた動的な画像切り替え表示機能の実施例として、操舵角に応じた動的画像切り替え表示について、図７を参照しながら説明する。

先述した通り、重み付け用参照回数テーブル（マップ３０）を同心超楕円で近似して平滑化処理したマップ３１は、乗数ｎを変化させることで曲率を変化させることができる。図７（ｂ）には、ｎ＝２（楕円）からｎ＝５の各場合が示されている。

そこで、図７（ａ）に示すように、重み付け用参照回数テーブルに左右各側の超楕円の乗数ｎが異なる重み付けマップ３３Ｌ，３３Ｒを合成した非対称重み付けマップ３３を適用し、非対称の合成ルックアップテーブル４３を生成する。車両の旋回時に、旋回方向に応じて左右何れかの合成ルックアップテーブル４３を適用し、旋回方向の内側と外側とで近景遠景の比率が異なる画像を出力すれば、旋回時の背景の動き（軌跡＝移動量）について内輪差に応じた動きを表示できる。さらに、操舵角に応じて曲率の異なる合成ルックアップテーブル４３を適用することにより、実際の見え方に近い自然な画像を提供できる。

（５）速度に応じた動的俯瞰画像生成
次に、オンタイム処理における車両挙動に応じた動的な画像切り替え表示機能の実施例として、速度に応じた動的画像切り替え表示について、図９，１０を参照しながら説明する。

先述のように重み付け係数βを車速変化に対応させるに際しては、予め想定される速度範囲をいくつかの規定速度に区分し、各規定速度に対応する重み付け係数βを適用した複数の規定速度合成ルックアップテーブル４２を用意する。この際、速度区分を過度に細かく設定すると、用意すべきルックアップテーブルの数が多くなり処理量が増大する。そこで、２〜５つ程度（実施例では３つ）の比較的少数の規定速度合成ルックアップテーブル４２のみを用意し、各規定速度の中間の速度に対しては、その上下両側にある規定速度に対応する２つの規定速度合成ルックアップテーブルを、中間速度の偏差に応じた重み付けで合成、すなわち、加重平均する。

例えば、バックカメラ２の入力画像を平面射影変換して俯瞰画像（駐車支援画像）を表示する場合に、車両の後退速度Ｖが、Ｖ０，Ｖ１，Ｖ２の各場合に対応する３つの規定速度用合成ルックアップテーブル４２０，４２１，４２２を、先述した図６と同様に、次のように用意する。
１）Ｖ０＝５ｋｍ未満、重み付け係数β＝０．００、ルックアップテーブル４２０
２）Ｖ１＝５ｋｍ、重み付け係数β＝０．０１、ルックアップテーブル４２１
３）Ｖ２＝１０ｋｍ、重み付け係数β＝０．０２、ルックアップテーブル４２２

（５．１）車両速度が規定速度の場合
先ず、車両速度Ｖが規定速度Ｖ１（５ｋｍ）の場合は、図９に示すように、規定速度合成ルックアップテーブル４２として、重み付け係数β＝０．０１のルックアップテーブル４２１のみが選択され、画像出力用メモリ（ＶＲＡＭ）５上で（ｕ，ｖ）＝（０，０）から全ての画素に対して下記ステップＳ０１〜Ｓ０３が繰り返し実行される。

すなわち、ステップＳ０１では、ルックアップテーブル４２１上の（ｕ，ｖ）点に記録された座標情報ｆ（ｕ，ｖ）が確認され、ステップＳ０２では、入力画像４１上のｆ（ｕ，ｖ）点に表示された画素情報（色・輝度）が取得され、ステップＳ０３では、画像出力用メモリ（ＶＲＡＭ）５の（ｕ，ｖ）座標に、入力画像４１上のｆ（ｕ，ｖ）点の画素情報（色・輝度）が記録される。このような処理を繰り返し、画像出力用メモリ（ＶＲＡＭ）５に俯瞰画像が（駐車支援画像）が生成され、ディスプレイ６に表示される。

（５．２）車両速度が中間速度の場合
次に、車両速度Ｖが規定速度Ｖ１（５ｋｍ）と規定速度Ｖ２（１０ｋｍ）の中間速度（例えば、９ｋｍ）の場合は、図１０に示すように、規定速度合成ルックアップテーブル４２として、２つのルックアップテーブル４２１、４２２が選択され、それらが以下のように加重平均されることで、中間速度に相応の俯瞰画像が合成される。

すなわち、ステップＳ０１ａでは、ルックアップテーブル４２１上の（ｕ，ｖ）点に記録された座標情報ｆａ（ｕ，ｖ）が確認され、同時並行して実施されるステップＳ０１ｂでは、ルックアップテーブル４２２上の（ｕ，ｖ）点に記録された座標情報ｆｂ（ｕ，ｖ）が確認される。次いで、ステップＳ０２では、ｆａ（ｕ，ｖ）の規定速度Ｖ１（５ｋｍ）とｆｂ（ｕ，ｖ）の規定速度Ｖ２（１０ｋｍ）に対する偏差によって重み付けした加重平均が下式により算出され、その加重平均値に基づいて現在の速度Ｖに対する座標情報Ｆ（ｕ，ｖ）が求められ、入力画像４１上のＦ（ｕ，ｖ）点に表示された画素情報（色・輝度）が取得される。

ステップＳ０３では、画像出力用メモリ（ＶＲＡＭ）５の（ｕ，ｖ）座標に、入力画像４１上のＦ（ｕ，ｖ）点の画素情報（色・輝度）が記録される。このような処理が全画素に繰り返し実施されることで、画像出力用メモリ（ＶＲＡＭ）５に俯瞰画像（駐車支援画像）が生成され、ディスプレイ６に表示される。

上記のような動的俯瞰画像生成では、僅か３つの速度区分に応じたルックアップテーブル４２０，４２１，４２２を用いながらも、それらの中間速度を実質的に無段階に重み付けした俯瞰画像を生成できるので、処理量の増大を回避しつつ、速度区分の切り替わり時に表示画像が不連続に変化するのを防止し、高品質な俯瞰画像を生成可能である。

また、上記加重平均処理も前出の重み付け合成と同じ処理であるが、何れのルックアップテーブル４２０，４２１，４２２も、入力画像を平面射影変換した俯瞰画像（図中ａで表示される部分）に、入力画像の遠景領域（図中ｂで表示される部分）を拡大して重み付け合成（図中ｍで表示される部分）されたものであるため、これらのルックアップテーブル４２０，４２１，４２２をさらに合成しても俯瞰効果を喪失することはない。なお、加重平均のための変換式は上式に限定されるものではなく、所望する重み付けの程度や性格に基づいて適宜変更可能である。

（６）速度の予測処理を伴う動的俯瞰画像生成
車両の速度が変化する場合、入力画像を基に合成した俯瞰表示画像と、実際の風景との間にギャップを生じることもありうる。そこで、フィードフォワードやカルマンフィルタ等の予測処理により先読みした車両挙動による座標情報を、先述した速度による動的俯瞰画像生成に併用することで、実際の風景とのずれを修正することができる。

例えば、システムが取得した加速度・旋回速度から、１／３０秒後（ＮＴＳＣにおける１フレーム後）の車両挙動（速度・操舵角）を予測し、予測される次回の車両挙動に対して最適な座標情報ｆｃ（ｕ，ｖ）を予め計算し、予測計算用ルックアップテーブル（ＲＡＭ）４４上の一時ルックアップテーブルに登録しておく。

実際に行う次回のフレーム処理では、俯瞰画像生成用の座標情報Ｆ（ｕ，ｖ）を、前回登録した一時ルックアップテーブルの座標情報ｆｃ（ｕ，ｖ）を用いて補正することで、フレーム間におけるギャップを解消した、より違和感の少ない動的画像切り替えを実施可能となる。

さらに、前記座標情報ｆｃ（ｕ，ｖ）による座標情報補完を、２つの一時ルックアップテーブル（４４１，４４２）を用いてパイプライン処理することにより、処理の効率化を図ることができる。以下、処理手順の実施例について図１１〜図１３を参照しながら説明する。

（６．１）１フレーム目の処理
図１１に示すように、処理開始時には２つの一時ルックアップテーブル（４４１，４４２）は空の状態であるため、ステップＳ０１では、現速度（中間速度Ｖ）に基づいて２つの規定速度ルックアップテーブル４２１、４２２が選択される。ステップＳ０２では、それらが中間速度Ｖとの偏差によって加重平均され、入力画像４１上のＦ（ｕ，ｖ）点に表示された画素情報（色・輝度）が取得される。ステップＳ０３では、画像出力用メモリ（ＶＲＡＭ）５に入力画像４１上のＦ（ｕ，ｖ）点の画素情報（色・輝度）が記録され、画像出力用メモリ（ＶＲＡＭ）５に俯瞰画像（駐車支援画像）が生成され、ディスプレイ６に表示される。

これと同時並行して、ステップＳ１１〜Ｓ１２では、フィードフォワード処理等の予測制御を応用して、次回（２フレーム目、１／３０秒後）の車両速度Ｖｃが予測され、予測速度Ｖｃに対する加重平均が適用されることで座標情報ｆｃ（ｕ，ｖ）が計算され、ステップＳ１３では、画像出力用メモリ（ＶＲＡＭ）５に定義された一時ルックアップテーブル４４１に座標情報ｆｃ（ｕ，ｖ）が記録される。

（６．２）２フレーム目の処理
図１２に示すように、ステップＳ０１では、前回同様に現速度（中間速度Ｖ）に基づいて２つの規定速度ルックアップテーブル４２１、４２２（便宜的に縮小表示されている）が選択され、中間速度Ｖとの偏差によって加重平均された座標情報Ｆ（ｕ，ｖ）を求める。ステップＳ０２では、現速度Ｖに対応する座標情報Ｆ（ｕ，ｖ）と、一時ルックアップテーブル４４１に前回登録した予測速度Ｖｃに対応する座標情報ｆｃ（ｕ，ｖ）を、２フレーム目の速度Ｖと前回予測速度ＶｃとのギャップΔＶを用いた加重平均を適用し、次式により、新たな座標情報ＦＦ（ｕ，ｖ）を計算する。

ステップＳ０３では、画像出力用メモリ（ＶＲＡＭ）５に入力画像４１上のＦＦ（ｕ，ｖ）点の画素情報（色・輝度）が記録され、画像出力用メモリ（ＶＲＡＭ）５に俯瞰画像（駐車支援画像）が生成され、ディスプレイ６に表示される。

これと同時並行して、ステップＳ０１′では、車載センサ３からの情報を基にフィードフォワード処理等の予測制御を応用して、次回（３フレーム目、１／３０秒後）の車両速度Ｖｃが予測され、予測速度Ｖｃに対する加重平均が適用されることで座標情報ｆｃ（ｕ，ｖ）が計算され、ステップＳ０２′では、画像出力用メモリ（ＶＲＡＭ）５に定義された他の一時ルックアップテーブル４４２に座標情報ｆｃ（ｕ，ｖ）が記録される。

（６．３）３フレーム目以降の処理
図１３に示すように、一時ルックアップテーブル４４１と一時ルックアップテーブル４４２の用途をスワップし、２フレーム目と同様の操作を繰り返す。この際、次回（４フレーム目）の予測速度Ｖｃに基づいて計算された次回補正用の座標情報ｆｃ（ｕ，ｖ）は、ステップＳ０２′において、既に登録状態にある一時ルックアップテーブル４４１に上書き登録される。

以上述べたような速度の予測処理を伴う動的俯瞰画像生成により、車両の急な加減速に対しても十分な応答性を確保できる。なお、上記実施例では、速度（加速度）の予測処理を伴う動的俯瞰画像生成について述べたが、速度以外にも先述した操舵角などの車両挙動を考慮した予測処理を伴って実施することもできる。また、加重平均のための変換式は上式に限定されるものではなく、所望する重み付けの程度や性格に基づいて適宜変更可能である。

以上、本発明のいくつかの実施の形態について述べたが、本発明は上記実施形態に限定されるものではなく、本発明の技術的思想に基づいてさらに各種の変形および変更が可能である。

例えば、上記各実施形態では、本発明を、車両後部に取り付けられたバックカメラによる駐車支援画像生成装置として実施する場合について述べたが、フロントカメラやサイドカメラなどと組み合わせたアラウンドビュー表示を行う俯瞰画像生成装置として実施することもできる。さらに、車両以外の俯瞰画像表示システムに実施することもできる。

１ 俯瞰画像生成装置
２ カメラ（バックカメラ、撮像手段）
３ 車載センサ
４ 画像処理装置
５ 画像出力用ＶＲＡＭ
６ ディスプレイ
１０ 入力画像
１１ 地表面
２０ａ 俯瞰画像
２０ｂ 背景画像
３０，３１，３３ マップ（カラーチャート）
４１ 画像入力用ＶＲＡＭ
４２ 規定速度用合成ルックアップテーブル
４２ａ 俯瞰画像用ルックアップテーブル
４２ｂ 背景画像用ルックアップテーブル
４３ 規定操舵角合成ルックアップテーブル
４３ｃ 重み付け用参照回数テーブル
４４ 予測計算用ルックアップテーブル
４５ ＣＰＵ
５０，５１，５２ 合成俯瞰画像
４２０，４２１，４２２ 規定速度用ルックアップテーブル
４４１，４４２ 一時ルックアップテーブル

Claims (4)

1. 車両に搭載され地表面を含み近景から遠景までを撮像する撮像手段と、
   前記撮像手段で撮像された入力画像から俯瞰画像を合成する画像処理装置と、
   前記俯瞰画像を表示する表示手段と、
   を備えた俯瞰画像生成装置において、
   前記画像処理装置は、前記入力画像を俯瞰画像に平面射影変換しかつ該俯瞰画像の遠景側に前記入力画像の遠景領域を拡大して合成するための画素参照用ルックアップテーブルを格納した記憶手段を備えるとともに、前記車両の速度を取得可能であり、
   前記画素参照用ルックアップテーブルは、前記俯瞰画像の近景側から周辺および遠景側に向かうに従って前記入力画像の比率が高くなるように前記俯瞰画像の近景側を中心とした同心超楕円状の分布で重み付けされ、かつ、前記速度に応じて重み付けされうるように用意されていることを特徴とする俯瞰画像生成装置。
2. 前記画素参照用ルックアップテーブルは、前記速度に応じて段階的に重み付けされた複数が用意され、前記速度に一致した１つが選択的に適用されるか、または、前記速度に近接した２つが偏差による加重平均で合成されて適用されるように構成されていることを特徴とする請求項１記載の俯瞰画像生成装置。
3. 前記画像処理装置は、前記車両の加速度を取得可能であるとともに、前記加速度に基づく予測速度により重み付けされた一時ルックアップテーブルを保持するＲＡＭをさらに備え、
   前記画素参照用ルックアップテーブルは、前記速度と前記予測速度との差による加重平均で前記一時ルックアップテーブルと合成されて適用されるように構成されていることを特徴とする請求項２記載の俯瞰画像生成装置。
4. 前記画像処理装置は、車両の操舵角を取得可能であって、前記画素参照用ルックアップテーブルおよび前記一時ルックアップテーブルは、左右各側の超楕円の乗数が異なる非対称重み付けマップを適用することにより、左右の曲率が異なる非対称のルックアップテーブルを含み、前記操舵角と予測操舵角との差による加重平均で前記一時ルックアップテーブルと合成されて適用されるように構成されていることを特徴とする請求項３記載の俯瞰画像生成装置。