JP6213727B2 - 画像データ変換装置並びに運転支援装置およびナビゲーション装置およびカメラ装置 - Google Patents

Description

本発明は、魚眼レンズから投影される被写体の撮像画像に関して画素情報を記憶し、画像変換を行ったのちモニタに出力を行う画像データ変換装置に関する。

車体後方の俯瞰画像を映し出す運転支援装置は一般に知られる。運転支援装置では例えば魚眼レンズから被写体は撮像素子に投影される。したがって、魚眼レンズから遠方であればあるほど、画像は縮小される。こうした撮像画像から俯瞰画像は生成される。遠方の画像は拡大される。遠方であればあるほど、画像の部分的な拡大率は増大する。顕著な画質の劣化が観察される。

特開２００１−１４５０１２号公報

いまのところ、運転支援装置の表示ディスプレイにはＷＶＧＡ程度の解像度のものが利用される。撮像素子には同程度の解像度のものが利用される。したがって、俯瞰画像の生成にあたって撮像画像が２倍や３倍に拡大されると、表示ディスプレイの画素数に比べて２分の１や３分の１の画素数でしか画素情報は取得されることができない。画質は劣化してしまう。特に、１表示画面内で部分的に顕著に画質が劣化することから、画質の劣化は目立ってしまう。

本発明のいくつかの態様によれば、俯瞰画像の生成にあたって、画質の劣化を回避することができる画像データ変換装置は提供されることができる。

本発明の一形態は、魚眼レンズから投影される被写体の撮像画像に関して個々の画素ごとに画素情報を特定する撮像データから俯瞰画像に相当する範囲で前記画素ごとの画素情報を抽出する座標変換部と、前記撮像画像の全画素に関する情報の情報量よりも小さい容量を有し、抽出された前記画素に関する画素情報を記憶するバッファ記憶部とを備える画像データ変換装置に関する。

撮像画像の撮像データはバッファ記憶部への格納に先立って座標変換部で処理される。座標変換部では、撮像画像の全画素のうち、地面の俯瞰画像に相当する範囲で画素が抽出される。こうして画素情報の情報量は縮小される。バッファ記憶部は、撮像画像の全画素に関する情報の情報量よりも小さい容量しか有しないものの、確実に俯瞰画像は生成されることができる。撮像画像の解像度が高められても、バッファ記憶部の容量の増大は回避されることができる。撮像画像の解像度が高められれば、俯瞰画像の生成にあたってたとえ部分的に撮像画像が拡大されても、画質の劣化は概ね回避されることができる。

画像データ変換装置では記憶部を備え、前記座標変換部は前記記憶部に格納された数式に基づき俯瞰画像に相当する範囲で前記画素ごとの画素情報の抽出を実施すればよい。

前記記憶部には、仮想三次元空間内で水平軸回りに前記撮像画像を回転し角度変換後画像を生成するための第１式と、前記撮像画像を含む二次元平面に前記角度変換後画像を投影し投影画像を生成するための第２式と、前記投影画像から前記俯瞰画像に相当する範囲を切り取り、切り取った前記投影画像を表示画面の画素数に合わせて変形しバッファ画像を生成するための第３式とを格納することができる。

画像データ変換装置は、前記投影画像から切り取られた範囲に前記バッファ画像から第１復元画像を生成し、前記仮想三次元空間内で前記水平軸回りに前記第１復元画像を逆回転し第２復元画像を生成し、前記仮想三次元空間内で前記撮像画像を含む前記二次元平面に前記第２復元画像を投影し第３復元画像を生成し、前記第３復元画像にレンズに起因する画像の歪みを補正する歪み補正処理を施し俯瞰前原画像を生成し、前記第１式および前記第２式に基づき前記俯瞰画像を生成する俯瞰画像処理部を備えることができる。

一般に、魚眼レンズから投影される被写体の撮像画像では魚眼レンズの光軸から離れるにつれて被写体は歪む。撮像画像に線形的な座標変換が施されるだけでは俯瞰画像に被写体の歪みが残存する。歪み補正は被写体の歪みを補正する。その結果、俯瞰画像の見栄えは向上する。

前記俯瞰画像処理部は、前記撮像画像の画素数よりも小さい画素数で前記俯瞰画像を生成することができる。表示ディスプレイには撮像素子よりも低い解像度のものが利用されることができる。こうした場合には、俯瞰画像の生成にあたって撮像画像が拡大されても、こうして画像の拡大時に画素情報の不足は補われることができる。その結果、表示ディスプレイ上での画質の劣化は回避されることができる。

以上のような画像データ変換装置は運転支援装置に組み込まれることができる。このとき、運転支援装置は画像データ変換装置を備える。こうした運転支援装置は例えば車両に搭載されて利用されることができる。

その他、以上のような画像データ変換装置はナビゲーション装置に組み込まれることができる。このとき、ナビゲーション装置は画像データ変換装置を備える。こうしたナビゲーション装置は例えば車両に搭載されて利用されることができる。

その他、以上のような画像データ変換装置はカメラ装置に組み込まれることができる。このとき、カメラ装置はデータ変換装置を備える。こうしたカメラ装置は車両に搭載されて利用されることができる。

以上のように本発明の形態によれば、俯瞰画像の生成にあたって画質の劣化を回避することができる。

一実施形態に係る車両すなわち自動車の全体像を概略的に示す斜視図である。 運転支援装置の構成を概略的に示すブロック図である。 第１画像データ、第２画像データおよび第３画像データの概念を概略的に示す図である。 第４画像データの概念を概略的に示す図である。 魚眼レンズから投影される被写体の撮像画像の一具体例を示す写真である。 三次元角度変換部の画像変換の概念を示す図である。 俯瞰画像の一具体例を示す写真である。 第１比較例に係る俯瞰画像の倍率を概略的に示す原画像の写真である。 第２比較例に係る俯瞰画像の倍率を概略的に示す原画像の写真である。 他の具体例に係る俯瞰画像を示す写真である。

以下、添付図面を参照しつつ本発明の一実施形態を説明する。

図１は一実施形態に係る車両すなわち自動車１１を概略的に示す。自動車１１の車体１２には運転支援装置１３が搭載される。運転支援装置１３はナビゲーション装置１４を備える。ナビゲーション装置１４はディスプレイパネル１５を有する。ディスプレイパネル１５は例えば６４０ｘ４８０の解像度を有する。ディスプレイパネル１５は例えばダッシュボードに組み込まれることができる。ディスプレイパネル１５の表示画面には地図その他の情報が表示されることができる。

運転支援装置１３はカメラ装置１６を備える。カメラ装置１６は例えば車体１２の後部に設置される。カメラ装置１６は例えばリアバンパーの上方に取り付けられる。カメラ装置１６の光軸１７は例えば水平面に対して所定の角度に設定される。光軸１７は、車体１２から後方に離れるにつれて自動車１１が置かれている地面に近づくように傾斜する。カメラ装置１６は車体１２後方の様子を撮像する。ここでは、光軸１７に対して水平方向および垂直方向にいずれも少なくとも±９０°の画角範囲で被写体の撮像画像は取得される。

カメラ装置１６は撮像画像に基き表示画像の画像信号（以下「表示用画像信号」という）を生成する。表示用画像信号は車体後方に関してカメラ視点の画像や地面の俯瞰画像を特定する。画像や俯瞰画像は任意に切り替えられればよい。カメラ装置１６はナビゲーション装置１４に接続される。ナビゲーション装置１４にはカメラ装置１６から表示用画像信号が供給される。ディスプレイパネル１５の表示画面には表示用画像信号に基き車体１２後方の映像が表示されることができる。この運転支援装置１３では、例えば駐車場で駐車スペースに後進で進入する際に運転手は車体１２の後方の様子を確認することができる。こうして運転支援装置１３は運転手の後方確認を支援することができる。

図２に示されるように、カメラ装置１６は魚眼レンズ２１を備える。魚眼レンズ２１は、例えば光軸１７に直交する赤道面を有する半球面で被写体の入射面を規定する。その結果、被写体から反射する光は、光軸１７に対して水平方向および垂直方向にいずれも少なくとも±９０°の画角範囲で入射する。入射した光は赤道面上に被写体の画像を形成する。被写体の画像は円形の輪郭で仕切られる。画像では円の中心から外側に遠ざかるにつれて被写体は縮小する。

カメラ装置１６は撮像素子２２を備える。撮像素子２２は、魚眼レンズ２１から投影される被写体の画像を電気信号に変換する。撮像素子２２はマトリクス状に配置された画素を備える。ここでは、撮像素子２２は１２８０ｘ９６０の解像度を有する。したがって、ディスプレイパネル１５の解像度は撮像素子２２の解像度よりも低い。撮像素子２２の撮像面に設定される二次元座標系に従って個々の画素の位置は特定される。例えばベイヤー配列ではＲＧＧＢ（赤緑緑青）の電気信号で被写体の色が表現される。

カメラ装置１６は画像処理部２３を備える。画像処理部２３は撮像素子２２に電気的に接続される。画像処理部２３は画素の位置すなわちアドレスを順次指定しながら画素の電気信号を読み出す。画像処理部２３はデジタルの撮像信号すなわち撮像データを出力する。撮像データは画素ごとに画像情報を特定する。

カメラ装置１６には画像データ変換装置２４が組み込まれる。画像データ変換装置２４は画像処理部２３から撮像データを受信する。画像データ変換装置２４は画像生成部２５および俯瞰画像生成部２６を備える。画像生成部２５は撮像データに基づきカメラ視点の通常画像を生成する。俯瞰画像生成部２６は撮像データに基づき俯瞰画像を生成する。画像データ変換装置２４では画像変換により俯瞰画像や歪み補正画像を生成する処理が実施される。

ナビゲーション装置１４は演算処理部２７を備える。演算処理部２７は画像データ変換装置２４に電気的に接続される。演算処理部２７は例えばＭＰＵ（マイクロプロセッサユニット）およびメモリを有することができる。例えばメモリに格納されるソフトウェアに従ってＭＰＵは動作することができる。演算処理部２７はソフトウェアで実行される処理に従ってカメラ装置１６から座標変換後の画像情報を取得することができる。演算処理部２７はナビゲーション装置１４のナビゲーション動作と運転支援動作とを切り替えることができる。例えば自動車１１のギアがバックに入れられると、演算処理部２７はナビゲーション動作から運転支援動作にナビゲーション装置１４を切り替えることができる。演算処理部２７は、例えばナビゲーション装置１４の操作に応じて、通常画像および俯瞰画像のいずれか一方または両者の供給を選択することができる。

ディスプレイパネル１５は演算処理部２７に電気的に接続される。ディスプレイパネル１５には演算処理部２７から画像情報が供給される。供給される画像情報に応じてディスプレイパネル１５の表示画面には地図や車体１２後方の映像が映し出されることができる。

俯瞰画像生成部２６は記憶部２８と接続される。記憶部２８はバッファ記憶部２９を含む。バッファ記憶部２９には第１バッファ領域３１と第２バッファ領域３２とが形成される。バッファ記憶部２９の第１バッファ領域３１と第２バッファ領域３２には入力画像データが格納される。ただし、バッファ記憶部２９の第１バッファ領域３１および第２バッファ領域３２のそれぞれには入力画像の全画素を格納する必要はなく、俯瞰画像の生成に必要な画像部分だけを格納すればよい。第１バッファ領域３１および第２バッファ領域３２はフレームごとに切り替えられ各々画像情報を記憶する。第１バッファ領域３１は、ディスプレイパネル１５の全画素に関する画素情報の情報量に相当する容量を有する。第２バッファ領域３２は第１バッファ領域３１と等しい容量を有する。決められた入力順で画素情報は画素ごとに第１バッファ領域３１に記憶される。ディスプレイパネル１５の全画素に関して第１バッファ領域３１に画素情報が記憶されると、第１バッファ領域３１から画素情報は出力され始める。画素情報の受信は第２バッファ領域３２に切り替わる。決められた入力順で画素情報は画素ごとに第２バッファ領域３２に記憶される。ディスプレイパネル１５の全画素に関して第２バッファ領域３２に画素情報が記憶されると、第２バッファ領域３２から画素情報は出力され始める。画素情報の受信は再び第１バッファ領域３１に切り替わる。

記憶部２８はさらに数式記憶部３３およびルックアップテーブル記憶部３４を含む。数式記憶部３３には第１式〜第８式が記憶される。第１式〜第８式には後述されるように三次元座標に従ってそれぞれ次式が設定される。ここで、座標値（ｘ、ｙ、ｚ）は仮想三次元空間の三次元座標系に従って特定される。
ルックアップテーブル記憶部３４にはルックアップテーブル３７が記憶される。ルックアップテーブル３７は三次元座標系に従って座標変換を特定する。画素ごとに仮想三次元空間内で座標位置は変換される。

俯瞰画像生成部２６は座標変換部３５および俯瞰画像処理部３６をさらに有する。座標変換部３５は画像処理部２３に接続される。座標変換部３５は撮像データから俯瞰画像に相当する範囲の画素を抽出する。座標変換部３５にはバッファ記憶部２９が接続される。抽出された画素に関する画素情報はバッファ記憶部２９に順次記憶される。バッファ記憶部２９に俯瞰画像処理部３６が接続される。俯瞰画像処理部３６はバッファ記憶部２９から画素情報を引き出す。俯瞰画像処理部３６は画素情報にレンズに起因する画像の歪みを補正する歪み補正処理、および画像を真上から見下ろした画像に変換する俯瞰画像変換処理を施し俯瞰画像を生成する。

座標変換部３５は三次元角度変換部４１、切り取り処理部４２および縮小処理部４３を有する。三次元角度変換部４１は画像処理部２３に接続される。三次元角度変換部４１は第１式および第２式に基づき撮像データに演算処理を施す。第１式および第２式は数式記憶部３３から取得される。三次元角度変換部４１で第１画像データは生成される。切り取り処理部４２は三次元角度変換部４１に接続される。切り取り処理部４２は第３式に基づき第１画像データに演算処理を施す。第３式は数式記憶部３３から取得される。切り取り処理部４２で第２画像データは生成される。縮小処理部４３は切り取り処理部４２に接続される。縮小処理部４３は第４式に基づき第２画像データに演算処理を施す。第４式は数式記憶部３３から取得される。縮小処理部４３で第３画像データは生成される。第３画像データはバッファ記憶部２９に記憶される。第１、第２および第３画像データの概念は後述される。

俯瞰画像処理部３６は逆三次元角度変換部４５、歪み補正部４６および三次元角度変換部４７を有する。逆三次元角度変換部４５はバッファ記憶部２９に接続される。逆三次元角度変換部４５は第３画像データに第５式、第６式、第７式および第８式に基づき演算処理を施す。第５式、第６式、第７式および第８式は数式記憶部３３から取得される。逆三次元角度変換部４５で第４画像データは生成される。歪み補正部４６は逆三次元角度変換部４５に接続される。歪み補正部４６はルックアップテーブル３７に基づき第４画像データに座標変換を施す。歪み補正部４６はルックアップテーブル３７と接続される。歪み補正部４６は座標変換にあたってルックアップテーブル記憶部３４を参照する。歪み補正部４６で第５画像データは生成される。三次元角度変換部４７は歪み補正部４６に接続される。三次元角度変換部４７は第１式および第２式に基づき第５画像データに演算処理を施す。第１式および第２式は数式記憶部３３から取得される。三次元角度変換部４７で第６画像データは生成される。第６画像データは俯瞰画像を特定する。

ここで、第１〜第６画像データの概念を説明する。図３（ａ）に示されるように、撮像面５１の二次元面に仮想三次元空間が設定される。撮像面５１の二次元面に仮想三次元空間のｘｙ平面が重ねられる。撮像面５１ではｘ座標で行方向（水平方向）に画素の位置が特定されｙ座標で列方向（垂直方向）に画素の位置が特定される。ｘｙ平面から距離ｚの位置に回転中心５２が設定される。

図３（ｂ）に示されるように、座標変換部３５で第１式に基づき演算処理が実施されると、仮想三次元空間内で水平軸回りに撮像画像は回転する。こうして角度変換後画像５３が生成される。水平軸は回転中心５２を通ってｘｙ平面に平行に延びる。図３（ｃ）に示されるように、座標変換部３５で第２式に基づき演算処理が実施されると、撮像面５１を含む二次元平面に角度変換後画像５３は投影される。こうして投影画像５４は生成される。投影画像５４に俯瞰的に被写体が現れるように水平軸回りの回転角度ｔは設定されればよい。第１画像データは投影画像５４を特定する。

座標変換部３５で第３式に基づき第１画像データに演算処理が実施されると、図３（ｄ）に示されるように、投影画像５４から俯瞰画像に相当する範囲５５が切り出される。こうして切り取り画像５６は生成される。切り取り画像５６は表示画面５７に対して位置合わせされる。ここで、定数ａはｘ軸方向に範囲５５の中心と表示画面５７の中心との距離を示し、定数ｂはｙ軸方向に範囲５５の中心と表示画面５７の中心との距離を示す。第２画像データは切り取り画像５６を特定する。

座標変換部３５で第４式に基づき第２画像データに演算処理が実施されると、図３（ｅ）に示されるように、切り取り画像５６は表示画面５７の画素数に併せて変形する。ここでは、ｙ軸方向に画像は縮小されｘ軸方向に画像は拡大する。こうしてバッファ画像５８は生成される。ここで、定数ｃはｘ軸方向に表示画面５７に対して切り取り画像５６の拡大率を示し、定数ｄはｙ軸方向に表示画面５７に対して切り取り画像５６の拡大率を示す。第３画像データはバッファ画像５８を特定する。

俯瞰画像処理部３６で第５式に基づき第３画像データに演算処理が実施されると、図４（ａ）および（ｂ）に示されるように、バッファ画像５８は切り取り画像５６に復元される。俯瞰画像処理部３６で第６式に基づき切り取り画像５６に演算処理が実施されると、図４（ｃ）に示されるように、切り取り画像５９は仮想三次元空間内で位置合わせされる。こうして範囲５５内に第１復元画像６１は生成される。第１復元画像６１は前述の投影画像５４に相当する。俯瞰画像処理部３６で第７式に基づき第１復元画像６１に演算処理が実施されると、図４（ｄ）に示されるように、位置合わせされた第１復元画像６１は仮想三次元空間内で水平軸回りに逆回転する。こうして第２復元画像６２は生成される。俯瞰画像処理部３６で第８式に基づき第２復元画像６２に演算処理が実施されると、図４（ｅ）に示されるように、第２復元画像６２は仮想三次元空間内で撮像面５１を含む二次元平面６３に投影される。こうして第３復元画像６４は生成される。第３復元画像６４は、撮像画像上で俯瞰画像として切り取られる範囲の被写体に相当する。第４画像データは第３復元画像６４を特定する。

第４画像データに歪み補正が実施される。ルックアップテーブル３７に従って第３復元画像６４に座標変換が施される。その結果、第４復元画像に歪み補正処理が施される。こうして俯瞰前原画像は生成される。俯瞰前原画像では被写体の歪みは補正される。第５画像データは俯瞰前原画像を特定する。

第５データに三次元角度変換が実施される。座標変換部３５で第１式および第２式に基づき俯瞰前原画像に演算処理が施される。こうして俯瞰画像は生成される。第６画像データは俯瞰画像を特定する。

画像データ変換装置２４は撮像画像から俯瞰画像を生成する。図５に示されるように、撮像画像６６では光軸１７から画面の縁に向かって遠ざかるにつれて被写体は縮小する。その結果、実空間の被写体の直線形状は損なわれ直線形状は湾曲する。参照範囲６７は俯瞰画像の原画像に相当する。切り取り処理部４２で参照範囲６７に対応して切り取り範囲６８が切り出される。切り取り範囲６８は参照範囲６７を完全に含む。ここでは、切り取り範囲６８は台形に区画される。台形の下底は撮像画像６６の下辺に一致する。台形の上底および脚は参照範囲６７の外側で参照範囲６７の輪郭に平行に設定される。

図６は三次元角度変換部４１の画像変換の概念を示す。座標変換部３５で第１式および第２式の演算処理に基づき水平軸回りで撮像画像は回転する。回転するにつれて投影画像６９では台形の切り取り範囲は長方形または正方形に重なる。重なるように回転角度ｔは三次元角度変換部４１で設定される。

図７に示されるように、俯瞰画像７１の下辺７１ａでは俯瞰画像７１の画素と撮像画像６６の画素とは１対１で対応する。解像度は維持される。俯瞰画像７１の上辺７１ｂでは１．５倍程度の倍率で撮像画像６６は拡大する。言い換えると、俯瞰画像７１の画素数に対して撮像画像６６では１．５分の１の画素数の画素が抽出される。解像度の劣化は抑制される。俯瞰画像７１の側辺７１ｃ、７１ｄでは１．２倍程度の倍率で撮像画像６６は拡大する。俯瞰画像７１の画素数に対して撮像画像６６では１．２分の１の画素数の画素が抽出される。解像度の劣化は抑制される。水平方向に中央位置の垂直線７１ｖや垂直方向に中央位置の水平線７１ｈでは俯瞰画像７１の画素と撮像画像６６の画素とはほぼ１対１で対応する。解像度は維持される。

図８は第１比較例に係る俯瞰画像の倍率を示す。俯瞰画像の形成にあたって撮像素子は６４０ｘ４８０の解像度を有する。全ての撮像画像７２の画素が利用される。撮像画像７２に歪み補正および三次元角度変換が実施される。俯瞰画像の下辺７２ａでは俯瞰画像の画素と撮像画像７２の画素とは１対１で対応する。俯瞰画像の上辺７２ｂでは３．０倍程度の倍率で撮像画像７２は拡大する。言い換えると、俯瞰画像の画素数に対して撮像画像では３分の１の画素数の画素が抽出される。解像度は劣化する。俯瞰画像の側辺７２ｃ、７２ｄでは２．２倍程度の倍率で撮像画像７２は拡大する。俯瞰画像の画素数に対して撮像画像７２では２．２分の１の画素数の画素が抽出される。解像度は劣化する。水平方向に中央位置の垂直線７２ｖでは１．９倍程度の倍率で撮像画像７２は拡大する。すなわち、俯瞰画像の画素数に対して撮像画像では１．９分の１の画素数の画素が抽出される。解像度は劣化する。この場合には、１表示画面内で部分的に顕著に画質が劣化することから、画質の劣化が目立ってしまう。

図９は第２比較例に係る俯瞰画像を示す。俯瞰画像の形成にあたって撮像素子２２は１２８０ｘ９６０の解像度を有する。全ての撮像画像６６の画素が利用される。撮像画像６６に歪み補正および三次元角度変換が実施される。俯瞰画像の下辺７３ａでは０．５倍程度の倍率で撮像画像６６は拡大する。言い換えると、俯瞰画像の画素数に対して撮像画像６６では２倍の画素数の画素が抽出される。１つの画素に対して２つの画素の画素情報が利用されるものの、画素情報は劣化しないことから、解像度は維持されることができる。俯瞰画像の上辺７３ｂでは１．５倍程度の倍率で撮像画像６６は拡大する。すなわち、俯瞰画像の画素数に対して撮像画像６６では１．５分の１の画素数の画素が抽出される。解像度の劣化は抑制される。俯瞰画像の側辺７３ｃ、７３ｄでは１．１倍程度の倍率で撮像画像６６は拡大する。俯瞰画像の画素数に対して撮像画像６６では１．１分の１の画素数の画素が抽出される。解像度の劣化は抑制される。水平方向に中央位置の垂直線７３ｖでは０．９倍程度の倍率で撮像画像６６は拡大する。言い換えると、俯瞰画像の画素数に対して撮像画像６６では１．１倍程度の画素数の画素が抽出される。解像度は維持される。この場合には、撮像画像６６の全ての画素の画素情報が一時的にバッファ記憶部に格納される。したがって、撮像画像６６の画素数が増加することで、バッファ記憶部に容量の増加が要求される。いまのところ、メモリの容量とメモリの大きさとには相関関係が成立することから、容量の増加はバッファメモリのサイズの増大を誘引する。こうしてバッファメモリのサイズが増大すると、カメラ装置１６内にバッファメモリの組み込みは難しい。

画像データ変換装置２４では撮像画像６６の撮像データはバッファ記憶部２９への格納に先立って座標変換部３５で処理される。座標変換部３５では、撮像画像６６の全画素のうち、地面の俯瞰画像７１に相当する範囲で画素が抽出される。こうして画素情報の情報量は縮小される。バッファ記憶部２９は、撮像画像６６の全画素に関する情報の情報量よりも小さい容量しか有しないものの、確実に俯瞰画像７１は生成されることができる。撮像画像６６の解像度が高められても、バッファ記憶部２９の容量の増大は回避されることができる。撮像画像６６の解像度が高められれば、俯瞰画像７１の生成にあたってたとえ部分的に撮像画像６６が拡大されても、画質の劣化は概ね回避されることができる。

前述のように、座標変換部３５は数式に従って演算処理を実施する。このときバッファ記憶部２９の容量は小さい容量に留められることができる。特に、数式の利用にあたって前述のように単純な数式が用いられる。その結果、演算処理の負荷はできるだけ軽減されることができる。

一般に、魚眼レンズ２１から投影される被写体の撮像画像６６では魚眼レンズ２１の光軸１７から離れるにつれて被写体は歪む。撮像画像６６に線形的な座標変換が施されるだけでは俯瞰画像に被写体の歪みが残存する。歪み補正は被写体の歪みを補正する。その結果、俯瞰画像７１の見栄えは向上する。

ディスプレイパネル１５には撮像素子２２よりも低い解像度のものが利用される。こうした場合には、俯瞰画像７１の生成にあたって撮像画像６６が拡大されても、こうした画像の拡大時に画素情報の不足は補われることができる。その結果、画質の劣化は回避されることができる。

その他、図１０に示されるように、第１バッファ領域３１および第２バッファ領域３２の容量は前述の６４０ｘ４８０から７６８ｘ５７６に増やされてもよい。こうすることで、切り取り範囲５５の大きさが同じであっても俯瞰画像７４に利用される撮像画像６６の画素数は増大することができる。その結果、俯瞰画像７４の下辺７４ａ、水平方向中央の垂直線７４ｖおよび垂直方向中央の水平線７４ｈで俯瞰画像７４の画素と撮像画像６６の画素とは１対１で対応する。解像度は維持される。俯瞰画像７４の上辺７４ｂでは１．５倍程度の倍率で撮像画像６６は拡大する。俯瞰画像７４の側辺７４ｃ、７４ｄでは１．１倍程度の倍率で撮像画像６６は拡大する。こうして解像度の劣化はさらに効果的に抑制されることができる。

１１ 車両（自動車）、１３ 運転支援装置、１４ ナビゲーション装置、１６ カメラ装置、２１ 魚眼レンズ、２４ 画像データ変換装置、２９ バッファ記憶部、３５ 座標変換部、３６ 俯瞰画像処理部、５３ 角度変換後画像、５４ 投影画像、５５ 範囲、５７ 表示画面、５８ バッファ画像、６１ 第１復元画像、６２ 第２復元画像、６４ 第３復元画像、６６ 撮像画像、７１ 俯瞰画像。

Claims (6)

1. 仮想三次元空間内で水平軸回りに、魚眼レンズから投影される被写体の撮像画像を回転し角度変換後画像を生成するための第１式、前記撮像画像を含む二次元平面に前記角度変換後画像を投影し投影画像を生成するための第２式、および、前記投影画像から俯瞰画像に相当する範囲を切り取り、切り取った前記投影画像を表示画面の画素数に合わせて変形しバッファ画像を生成するための第３式を格納する記憶部と、
   前記撮像画像に関して個々の画素ごとに画素情報を特定する撮像データから、前記記憶部に格納された第１式、第２式および第３式に基づき前記俯瞰画像に相当する範囲で前記画素ごとの画素情報を抽出する座標変換部と、
   前記撮像画像の全画素に関する情報の情報量よりも小さい容量を有し、抽出された前記画素に関する画素情報を記憶するバッファ記憶部と
   を備えることを特徴とする画像データ変換装置。
2. 請求項１に記載の画像データ変換装置において、前記投影画像から切り取られた範囲に前記バッファ画像から第１復元画像を生成し、前記仮想三次元空間内で前記水平軸回りに前記第１復元画像を逆回転し第２復元画像を生成し、前記仮想三次元空間内で前記撮像画像を含む前記二次元平面に前記第２復元画像を投影し第３復元画像を生成し、前記第３復元画像に歪み補正処理を施し俯瞰前原画像を生成し、前記第１式および前記第２式に基づき前記俯瞰画像を生成する俯瞰画像処理部を備えることを特徴とする画像データ変換装置。
3. 請求項２に記載の画像データ変換装置において、前記俯瞰画像処理部は、前記撮像画像の画素数よりも小さい画素数で前記俯瞰画像を生成することを特徴とする画像データ変換装置。
4. 請求項１〜３のいずれか１項に記載の画像データ変換装置を備えることを特徴とする運転支援装置。
5. 請求項１〜３のいずれか１項に記載の画像データ変換装置を備えることを特徴とするナビゲーション装置。
6. 請求項１〜３のいずれか１項に記載の画像データ変換装置を備えることを特徴とするカメラ装置。