JP6255928B2 - 俯瞰画像生成装置 - Google Patents

Description

本発明は、遠景部分の表示品質を向上した俯瞰画像の生成装置に関し、主として、運転支援を目的として車載カメラの画像を俯瞰画像に変換して表示する俯瞰画像生成装置の改良に関する。

車両後退時の運転支援等を目的として使用される車載カメラには、駐車支援のために、車両後部から撮像した画像を変換し、仮想的に自車上空より目標とする駐車枠や自車後端を見下ろす俯瞰画像として表示する機能を有するものがある。このような俯瞰画像では、車両後方（背景）をより広く表示しようとすると、表示画像が大きく変形し不自然になる問題があった。

特許文献１では、地面に設定した仮想投影面とは別に、地面に対して傾斜した仮想投影面を設定することにより、近景用の俯瞰画像の上側に地平線以上の遠景画像が表示されるようにしている。しかし、この方法は、２つの仮想投影面に３次元座標変換して俯瞰画像を生成するため、行列・逆行列演算などの計算処理の複雑化と処理量の増大を招き、負荷が増大する問題があった。

特許第４２５７３５６号公報

本発明は、上記のような実状に鑑みてなされたものであって、その目的は、計算処理の複雑化や負荷の増大を回避しつつ、遠景領域の表示変形を補完して、表示可能範囲を拡大した変換画像を生成することができる俯瞰画像生成装置を提供することにある。

上記課題を解決するため、本発明は、
地表面を含み近景から遠景までを撮像する撮像手段（２）と、前記撮像手段で撮像された入力画像から俯瞰画像を合成する画像処理装置（４）と、前記俯瞰画像を表示する表示手段（６）と、を備えた俯瞰画像生成装置において、前記画像処理装置は、前記入力画像（１０）を俯瞰画像（２０ａ）に平面射影変換しかつ該俯瞰画像の遠景側に前記入力画像の遠景領域（１０ｂ）を拡大（２０ｂ）して合成するための画素参照用ルックアップテーブル（４２）を格納した記憶手段を備え、前記ルックアップテーブルは、前記俯瞰画像の近景側から周辺および遠景側に向かうに従って前記入力画像（２０ｂ）の比率が高くなるように、前記俯瞰画像の近景側を中心とした同心超楕円状の分布で重み付けされていることを特徴とする。

本発明に係る俯瞰画像生成装置は、上記構成により以下のような効果を有する。
入力画像から２次元の平面射影変換によって俯瞰画像を合成するので、３次元座標変換する場合のような計算の複雑化や処理量の増大を回避できる。
俯瞰画像の遠景側は入力画像を拡大して合成するので、一般的な俯瞰画像にありがちな変形や歪が抑制され、近景から遠景まで自然に表示された俯瞰画像が得られる。
上記俯瞰画像の平面射影変換および遠景領域の拡大重み付け合成にかかる処理は、予め用意されているルックアップテーブルを参照して実施されるので、計算処理が一層簡素化される。

特に、前記重み付けは、前記俯瞰画像の近景側を中心とした同心超楕円状の分布で適用されている。入力画像から平面射影変換した俯瞰画像は、近景側から周辺および遠景側に向かうに従って変形が大きくなるので、同心超楕円状の分布で近景俯瞰画像から遠景入力画像に遷移させることで自然な画像が得られる。しかも、超楕円は比較的簡単な数式で表現されかつその乗数を増減することで曲率を変化させ、出力用途に応じて画像の特徴を調整することができる利点もある。

さらに、前記重み付けは、前記入力画像を俯瞰画像に平面射影変換する際に、前記入力画像の各画素が俯瞰画像の補完画素に参照された回数を半径と関連付けた同心超楕円で近似して平滑化処理した重み付けマップにより、前記同心超楕円状の分布で適用されている態様では、俯瞰画像の変形や歪みの度合いに応じて遠景入力画像が重み付けされて適用されるので、近景俯瞰画像と遠景入力画像それぞれの特徴を生かした良好な合成画像を生成可能である。

本発明の好適な態様では、前記入力画像を前記俯瞰画像に平面射影変換するための俯瞰用ルックアップテーブルの各画素に対応した登録値をｇ（ｕ，ｖ）、前記入力画像の遠景領域を拡大して合成するための背景用ルックアップテーブルの各画素に対応した登録値をｈ（ｕ，ｖ）、前記重み付けマップに基づく重み付け係数をα、但し０≦α≦１、前記画素参照用ルックアップテーブルの重み付けを動的に調整するための制御用重み付け変数をβ、但し０≦β≦１、とするとき、前記画素参照用ルックアップテーブルは、前記俯瞰用ルックアップテーブルと前記背景用ルックアップテーブルとの合成ルックアップテーブルの各画素に対応した登録値ｆ（ｕ，ｖ）として、次式、

で与えられる。この態様では、制御用重み付け変数βを増減することにより、運転状況などに応じて近景俯瞰画像と遠景入力画像の比率を変化させ、適切な画像を提供できる。

本発明の好適な態様では、前記撮像手段は車載カメラであり、前記画像処理装置は車両の操舵角を取得可能であって、前記画素参照用ルックアップテーブルは、左右各側の超楕円の乗数が異なる非対称重み付けマップを適用することにより、左右の曲率が異なる非対称の画素参照用ルックアップテーブルとして前記記憶手段に格納されており、車両旋回時には、旋回方向の内側と外側とで近景遠景の比率が異なる俯瞰画像を生成できるように構成されている。この態様では、車両の操舵角に応じて旋回方向内側と旋回方向外側で異なる重み付けを行うことにより、実際の見え方に近い自然な画像を提供できる。

本発明の第１実施形態に係る俯瞰画像生成装置を示すブロック図である。 本発明の第２実施形態に係る俯瞰画像生成装置を示すブロック図である。 本発明に係る俯瞰画像生成概念を示す図である。 入力画像から俯瞰画像への平面射影変換における画素参照回数分布図とそれを平滑化処理した重み付けマップである。 ルックアップテーブルの重み付け合成を示す図である。 制御用重み付け変数βに応じたルックアップテーブルと出力画像である。 非対称重み付けマップと対応する非対称合成ルックアップテーブルと旋回方向の関係を示す図である。 俯瞰画像の動的重み付けと表示領域の関係を示す側面図である。

以下、本発明の実施形態について、図面を参照しながら詳細に説明する。
図１において、本発明の第１実施形態の俯瞰画像生成装置１は、カメラ２（バックカメラ）、車載センサ３、画像処理装置４、画像出力用メモリ（ＶＲＡＭ）５、ディスプレイ６（車載モニター）から主に構成されている。

カメラ２は、ＣＭＯＳ、ＣＣＤなどの固体撮像素子と広角レンズを用いたデジタルカメラが好適であり、以下の説明では、車両後部に取付けられ、車体後部から地表面を含み近景から遠景までを画角に収めるバックカメラについて述べる。カメラ２（バックカメラ）は、車両のサービスコネクタのバック信号出力に接続され、バックギヤに連動して起動される。さらに、バックカメラの起動に連動してディスプレイ６の画像がバックカメラの映像に切り替わる。ディスプレイ６は、インストルメントパネルに設置される画像表示モニタであり、車載ＴＶやカーナビゲーションシステムのモニタなどを利用できる。

車載センサ３は、移動速度／加速度センサ、操舵角／操舵速度センサなど、所望するシステムに応じて選定される。さらに、ヨーレートセンサ、ジャイロセンサ等の車両挙動をセンシングするセンサを追加することもできる。後述のように、車載センサ３により、運転状態に応じて表示画像を切り替えることもできるし、ドライバー操作ＳＷによって、ドライバーが手動でパラメータを調整し、好みの画像を表示できるようにしても良い。

画像処理装置４は、バックカメラ２から送られる画像データをフレーム単位で記憶する画像入力用メモリ（ＶＲＡＭ）４１、入力画像を平面射影変換して俯瞰画像を生成しかつ該俯瞰画像の遠景側に前記入力画像の遠景領域を拡大して合成するための規定速度合成ルックアップテーブル（ＲＯＭ）４２、出力合成画像に操舵角センサの検出値を反映させるための規定操舵角ルックアップテーブル（ＲＯＭ）４３、車両挙動の予測に基づく補正を行うための予測計算用ルックアップテーブル（ＲＡＭ）４４、各ルックアップテーブル４２〜４４を参照して計算処理を実行する画像処理プロセッサ（ＣＰＵ）４５などから構成されている。

規定速度合成ルックアップテーブル４２は、入力画像を平面射影変換して俯瞰画像を生成するためのルックアップテーブル（俯瞰画像用ルックアップテーブル４２ａ）と、俯瞰画像の遠景側に入力画像の遠景領域を拡大して合成するためのルックアップテーブル（背景画像用ルックアップテーブル４２ｂ）とを、表示範囲の下側を近景俯瞰画像、上側を背景画像として、俯瞰画像の近景側から周辺および遠景側に向かうに従って背景画像の比率が高くなるように、かつ、後退時の規定速度において自然な表示となるように重み付け合成したルックアップテーブルであり、読出し専用メモリ（ＲＯＭ）に格納されている。

なお、規定速度合成ルックアップテーブル４２を用いる代わりに、図２に示す第２実施形態の俯瞰画像生成装置１′のように、俯瞰画像用ルックアップテーブル（ＲＯＭ）４２ａおよび背景画像用ルックアップテーブル（ＲＯＭ）４２ｂを個別に備え、それらを、規定操舵角用の参照回数テーブル４３ｃで重み付けして直接計算し、出力合成画像を生成しても良い。

次に、上記第１実施形態に基づく俯瞰画像の生成手順について説明する。
図３は、本発明に係る俯瞰画像生成概念を示しており、図の左側にカメラ２により撮像された入力画像１０が示されている。この入力画像１０は、車両後部およびその付近の地表面を含む近景から遠景までが画角に収められた広角画像であり、不可避的な歪曲収差を有しているが、図８に示すように、入力画像１０における地表面１１の平面座標は、カメラ２の設置高さと設置角度に応じて決定されるので、この平面座標から広角レンズの歪曲収差を除去して平面射影変換することにより俯瞰画像２０ａが得られる。

この平面射影変換において、俯瞰画像２０ａは、入力画像１０における略台形状の領域１０ａに対応しており、平面射影変換では各画素の座標を二次元平面内で移動するものであるため、各画素の移動ｇ（ｕ，ｖ）を規定したルックアップテーブル４２ａを利用できる。俯瞰画像２０ａは、領域内の周辺および遠景に向かうにつれて画像が引き伸ばされ、それに応じて元画像１０ａの同一画素が複数回参照されることで補間されるが、遠景側の変形が大きくなっている。

一方、平面射影変換を経ない入力画像１０は上記のような変形は生じないので、俯瞰画像２０ａの遠景領域に、入力画像１０の遠景領域１０ｂを切り出して拡大した背景画像２０ｂを合成すれば、両方の長所を生かした合成俯瞰画像５２が得られる。その際、この入力画像１０の遠景領域１０ｂを切り出して拡大する処理における各画素の移動ｈ（ｕ，ｖ）を規定したルックアップテーブル４２ｂを主に上側、俯瞰画像２０ａ用のルックアップテーブル４２ａを主に下側として、中景ないしは遠景領域でスムーズに連続するように重み付け合成した合成ルックアップテーブル４２を用意し、入力画像１０の各画素に合成ルックアップテーブル４２を適用することで、直ちに合成俯瞰画像５２を出力できる。なお、各図におけるルックアップテーブルは便宜的に簡略化して表示されている。

次に、俯瞰画像２０ａと背景画像２０ｂの重み付け合成について説明する。
図４は、入力画像１０とそれを平面射影変換した俯瞰画像２０ａの対応を示している。既に述べた通り、俯瞰画像２０ａは、周辺および遠景に向かうにつれて画像が引き伸ばされ、それに応じて元画像１０ａの同一画素が参照される回数が多くなり、画像の変形が大きくなるとともに解像度が低下し、表示が粗くなる。

例えば、入力画像１０において、遠方に小さく表示されたパイロン１０ｃは、入力画像１０上の１ピクセルが、俯瞰画像２０ａ上では拡大されて４ピクセルになる場合、同一画素が４回重複参照され、４倍大きく引き伸ばされた形状に表示される。そこで、この重複参照回数のカウント値を合成ルックアップテーブル４２の重み付けを行うためのテーブル（参照回数テーブル）として記録すれば、俯瞰画像２０ａの表示の粗さに応じて背景画像２０ｂが合成され、必要最小限かつ目的に適う重み付けを行うことができる。

ところで、上記参照回数テーブルに登録されるカウント値は、平面射影変換における画素の移動方向が概ね放射状であるのに対して、画像処理は正方格子状の画素配列に対して実施されるため、図４左下のマップ（カラーチャート）３０に表示されるように、不連続な離散状態となっている。この離散状態のままで重み付けを実施すると合成画像にも不連続な画素が発生し、不自然な画像となる。そこで、参照回数テーブルが連続したカウント値を持つように、マップ３０に近似処理などにより平滑化（最適化）を行う。

図４右下のマップ（カラーチャート）３１は、参照回数を半径と関連付けた同心超楕円で近似して平滑化処理した状態を示している。超楕円は次式で表され、乗数ｎを変化させることで曲率を変化させることができ、各変数ｕ，ｖの分母を種々に変化させることで同心超楕円群となる。
ここで、ｎ＝２の場合は平坦部のない一般的な楕円となり、ｎが大きくなるほど平坦部が広くなり角張った超楕円の特徴が顕著になる。したがって、これらのパラメータを調整することにより、高精度の近似および最適化が可能であることはもちろん、より積極的にパラメータを調節することにより、様々な応用が可能となる。なお、平滑化処理には、超楕円以外の近似処理、幾何学的処理、あるいはフィルタリング処理等を適用することもできる。

上記参照回数テーブル（マップ３１）に基づいて合成ルックアップテーブル４２を生成するに際して、参照回数テーブルの重み付け係数（カウント値）を直接適用することもできるが、そのような自然な重み付けを維持した状態で、運転状況に応じて近景俯瞰画像２０ａと背景画像２０ｂの比率を動的に調整可能であることが有利である。以下、動的な重み付け係数βを用いた合成ルックアップテーブル４２の生成について、図５，６を参照しながら説明する。

図５において、俯瞰画像用ルックアップテーブル４２ａの各セル（ａ）に登録される変換用座標情報をｇ（ｕ，ｖ）、背景画像用ルックアップテーブル４２ｂの各セル（ｂ）に登録される変換用座標情報をｈ（ｕ，ｖ）、合成ルックアップテーブル４２の各セル（ａ，ｂ，ｍ）に登録される変換用座標情報をｆ（ｕ、ｖ）、俯瞰画像２０ａが入力画像１０を重複参照する回数を元にした重み付け係数をα、但し０≦α≦１、合成ルックアップテーブル４２を動的に調整するための重み付け係数をβ、但し０≦β≦１、とすると、合成ルックアップテーブル４２を生成するための変換式は次式で表される。

合成ルックアップテーブル４２は、近景領域（ａ）では俯瞰画像２０ａが、遠景領域（ｂ）では背景画像２０ｂが、それぞれ表示され、それらの中間領域（ｍ）はモーフィング領域であり、図８に示すように、俯瞰画像２０ａから背景画像２０ｂにシームレスに移行する。これにより、歪みの少ない後方視野を確保しつつ、自車直近の距離感をつかみやすい駐車支援システムを構成できる。

さらに、実際の駐車では、ドライバーが注視したいポイントは状況に応じ変化するので、速度等の運転状態に応じて動的重み付け係数βを調整することにより、合成ルックアップテーブル４２を動的に変化させ、例えば、駐車支援システムにおける駐車時の自車位置に応じて適切な画像をドライバーに提供することができる。

図６はその一例を示すものであり、入力画像１０に対して、
１）動的重み付け係数：β＝０を適用すれば、俯瞰画像用ルックアップテーブル４２ａのみからなる合成ルックアップテーブル４２０が生成され、俯瞰画像２０ａのみからなる合成俯瞰画像５０が表示され、
２）動的重み付け係数：β＝０．０１５を適用すれば、俯瞰画像用ルックアップテーブル４２ａの重みが大きい合成ルックアップテーブル４２１が生成され、俯瞰画像２０ａの後方に背景画像２０ｂが少し入った合成俯瞰画像５１が表示され、
３）動的重み付け係数：β＝０．０３を適用すれば、俯瞰画像用ルックアップテーブル４２ａと背景画像用ルックアップテーブル４２ｂが比較的近い比率で合成された合成ルックアップテーブル４２２が生成され、俯瞰画像２０ａと背景画像２０ｂがシームレスに連続し、後方視界が広く含まれた合成俯瞰画像５２が表示される。

次に、車両挙動に応じた動的な画像切り替え表示機能の一例として、操舵角に応じた動的画像切り替え表示について、図７を参照しながら説明する。

先述した通り、重み付け用参照回数テーブル（マップ３０）を同心超楕円で近似して平滑化処理したマップ３１は、乗数ｎを変化させることで曲率を変化させることができる。図７（ｂ）には、ｎ＝２（楕円）からｎ＝５の各場合が示されている。

そこで、図７（ａ）に示すように、重み付け用参照回数テーブルに左右各側の超楕円の乗数ｎが異なる重み付けマップ３３Ｌ，３３Ｒを合成した非対称重み付けマップ３３を適用し、非対称の合成ルックアップテーブル４３を生成する。車両の旋回時に、旋回方向に応じて左右何れかの合成ルックアップテーブル４３を適用し、旋回方向の内側と外側とで近景遠景の比率が異なる画像を出力すれば、旋回時の背景の動き（軌跡＝移動量）について内輪差に応じた動きを表示できる。さらに、操舵角に応じて曲率の異なる合成ルックアップテーブル４３を適用することにより、実際の見え方に近い自然な画像を提供できる。

以上述べた第１実施形態の俯瞰画像生成装置１において、俯瞰画像用ルックアップテーブル４２ａ、背景画像用ルックアップテーブル４２ｂへの座標変換情報ｇ（ｕ，ｖ）、ｈ（ｕ，ｖ）の登録、および、重み付け用参照回数テーブルの生成（マップ３０）および平滑化処理（マップ３１）は、準備段階で予め完了しておき、画像処理装置４には表示画像の動的切り替えに必要な規定速度合成ルックアップテーブル４２および規定操舵角ルックアップテーブル４３を事前登録しておく。オンタイム処理すなわち車両運転時には、車載センサ３からの情報に対応する規定速度合成ルックアップテーブル４２および規定操舵角ルックアップテーブル４３を用いて画像変換に必要な座標情報を取得し、駐車支援画像を表示する。

また、第２実施形態の俯瞰画像生成装置１′では、俯瞰画像用ルックアップテーブル４２ａ、背景画像用ルックアップテーブル４２ｂへの座標変換情報の登録、および、重み付け用参照回数テーブルの生成（マップ３０）および平滑化処理（マップ３１）を準備段階で予め完了しておく点は同様だが、オンタイム処理では、俯瞰画像用ルックアップテーブル４２ａ、背景画像用ルックアップテーブル４２ｂ、重み付け用参照回数テーブル４３ｃ、および車載センサ３からの情報を基に、画像変換に必要な座標情報を直接計算する。

以上、本発明のいくつかの実施の形態について述べたが、本発明は上記実施形態に限定されるものではなく、本発明の技術的思想に基づいてさらに各種の変形および変更が可能である。

例えば、上記各実施形態では、本発明を、車両後部に取り付けられたバックカメラによる駐車支援画像生成装置として実施する場合について述べたが、フロントカメラやサイドカメラなどと組み合わせたアラウンドビュー表示を行う俯瞰画像生成装置として実施することもできる。さらに、車両以外の俯瞰画像表示システムに実施することもできる。

１ 俯瞰画像生成装置
２ カメラ（バックカメラ、撮像手段）
３ 車載センサ
４ 画像処理装置
５ 画像出力用ＶＲＡＭ
６ ディスプレイ
１０ 入力画像
１１ 地表面
２０ａ 俯瞰画像
２０ｂ 背景画像
３０，３１，３３ マップ（カラーチャート）
４１ 画像入力用ＶＲＡＭ
４２ 規定速度用合成ルックアップテーブル
４２ａ 俯瞰画像用ルックアップテーブル
４２ｂ 背景画像用ルックアップテーブル
４３ 規定操舵角合成ルックアップテーブル
４３ｃ 重み付け用参照回数テーブル
４４ 予測計算用ルックアップテーブル
４５ ＣＰＵ
５０，５１，５２ 合成俯瞰画像

Claims (4)

1. 地表面を含み近景から遠景までを撮像する撮像手段と、
   前記撮像手段で撮像された入力画像から俯瞰画像を合成する画像処理装置と、
   前記俯瞰画像を表示する表示手段と、
   を備えた俯瞰画像生成装置において、
   前記画像処理装置は、前記入力画像を俯瞰画像に平面射影変換しかつ該俯瞰画像の遠景側に前記入力画像の遠景領域を拡大して合成するための画素参照用ルックアップテーブルを格納した記憶手段を備え、前記ルックアップテーブルは、前記俯瞰画像の近景側から周辺および遠景側に向かうに従って前記入力画像の比率が高くなるように、前記俯瞰画像の近景側を中心とした同心超楕円状の分布で重み付けされていることを特徴とする俯瞰画像生成装置。
2. 前記重み付けは、前記入力画像を俯瞰画像に平面射影変換する際に、前記入力画像の各画素が俯瞰画像の補完画素に参照された回数を半径と関連付けた同心超楕円で近似して平滑化処理した重み付けマップにより、前記同心超楕円状の分布で適用されていることを特徴とする請求項１記載の俯瞰画像生成装置。
3. 前記入力画像を前記俯瞰画像に平面射影変換するための俯瞰用ルックアップテーブルの各画素に対応した登録値をｇ（ｕ，ｖ）、前記入力画像の遠景領域を拡大して合成するための背景用ルックアップテーブルの各画素に対応した登録値をｈ（ｕ，ｖ）、前記重み付けマップに基づく重み付け係数をα、但し０≦α≦１、前記画素参照用ルックアップテーブルの重み付けを動的に調整するための制御用重み付け変数をβ、但し０≦β≦１、とするとき、前記画素参照用ルックアップテーブルは、前記俯瞰用ルックアップテーブルと前記背景用ルックアップテーブルとの合成ルックアップテーブルの各画素に対応した登録値ｆ（ｕ，ｖ）として、次式、
   で与えられることを特徴とする請求項２記載の俯瞰画像生成装置。
4. 前記撮像手段は車載カメラであり、前記画像処理装置は車両の操舵角を取得可能であって、前記画素参照用ルックアップテーブルは、左右各側の超楕円の乗数が異なる非対称重み付けマップを適用することにより、左右の曲率が異なる非対称の画素参照用ルックアップテーブルとして前記記憶手段に格納されており、車両旋回時には、旋回方向の内側と外側とで近景遠景の比率が異なる俯瞰画像を生成できるように構成されていることを特徴とする請求項２または３記載の俯瞰画像生成装置。