JP6007773B2 - 画像データ変換装置並びにナビゲーションシステムおよびカメラ装置並びに車両 - Google Patents

Description

本発明は、魚眼レンズから投影される被写体の撮像画像に座標変換を施し、表示画面の画像情報を生成する画像データ変換装置に関する。

例えば自動車のフロントノーズに取り付けられる車載カメラ装置は一般に知られる。こうした車載カメラ装置では一般に被写体の撮像にあたって魚眼レンズが用いられる。魚眼レンズによれば、光軸に対して水平方向に左右それぞれに例えば９０°以上の画角範囲で被写体の撮像画像が取得されることができる。こうして水平方向に画角範囲が設定されると、路地の交差点などで運転手は左右から交差点に進入する他の車両を確実に確認することができる。その他、魚眼レンズによれば、光軸に対して垂直方向に上下それぞれに９０°以上の画角範囲で被写体の撮像画像が取得されることができる。こうして垂直方向に画角範囲が設定されれば、フロントノーズの真下の地面も確認されることができる。

特開２００８−３１１８９０号公報 特開２０１０−１７１９１４号公報

後付けの車載カメラの場合など、車載カメラ装置の取り付け位置には制限が多い。例えば車載カメラ装置はバンパーの下などに取り付けられる。こうして車体に低い位置で取り付けられると、表示画面の下半分はほとんど路面の画像で占められてしまう。道路脇の建物や駐車車両といった有用な情報は減少してしまう。加えて、車両が低速で走行しても、路面は高速で表示画面中を流れることから、路面の変化や路面上の物体を視認することは難しい。

本発明のいくつかの態様によれば、撮像画像の下半分で被写体を縮小することができる画像データ変換装置は提供されることができる。

本発明の一形態は、魚眼レンズから投影されて少なくとも下半分に地面を含む被写体の撮像画像を記憶する記憶部と、前記撮像画像に座標変換を施し、表示画面の画像情報を生成する画像変換部とを備え、前記座標変換は、前記表示画面の二次元面に前記撮像画像を転写する際に、前記表示画面の左縁および右縁並びに地平線の中央位置で区画される左側画面領域および右側画面領域では、前記左縁および前記右縁から前記中央位置に向かって直進性を維持し、前記左側画面領域および前記右側画面領域のうち前記地平線よりも上側で、前記地平線に直交する垂直方向に、実空間の水平面に直交する前記被写体の直線形状を維持し、前記表示画面の下縁および前記中央位置で区画される下側画面領域では前記下縁から前記中央位置に向かって直進性を維持しつつ、前記地平線に平行に、前記魚眼レンズの光軸を含む鉛直平面に直交する前記被写体の直線形状を維持し、前記左側画面領域および前記右側画面領域のうち前記地平線よりも下側では、前記左側画面領域および前記右側画面領域の前記画像の前記直線形状および前記下側画面領域の前記画像の前記直線形状を湾曲画像で相互に接続し、前記表示画面の下半分に前記地平線を配置する画像データ変換装置に関する。

こうした画像データ変換装置によれば、表示画面上では、地平線の中央位置に向かって直進性が維持されると同時に、表示画面の垂直軸および水平軸に平行に被写体の直線形状が確保される。その結果、魚眼レンズの撮像画像であるにも拘わらず、直線が基調となって良好な遠近感を有する表示画像は形成されることができる。しかも、左側画面領域および右側画面領域の垂直方向の直線形状および下側画面領域の水平方向の直線形状の接続にあたって湾曲画像が形成されるように座標変換が施されることから、これまで以上に十分な画角範囲は確保されることができる。特に、垂直方向および水平方向に±９０°以上の画角範囲で広がる画像でも表示画面に良好に表示されることができる。このとき、もともとの撮像画像では、魚眼レンズの位置が地面に近づけば近づくほど、地平線の下側で表示画面に映し出される路面の割合は増加するものの、表示画面では地平線が表示画面の下半分に位置することから画面全体に占める路面の広がりは縮小されることができる。こうして表示画面の冗長性は排除されることができる。しかも、画像の視点が比較的に高い位置に修正され、画像の見やすさは向上する。

前記座標変換は、前記表示画面の前記二次元面上で特定される画素ごとに正射影法に基づき１対１で対応する座標点を有する仮想湾曲面上の前記座標点に前記画素を対応づける第１座標変換式と、前記画素に対応づけられた前記座標点の全てに向き合う球面上の極座標点に、前記座標点を対応づける第２座標変換式と、前記撮像画像の二次元座標に前記球面上の前記極座標点を対応づける第３座標変換式とに基づき実施されることができる。

こうした座標変換によれば、魚眼レンズの画角に関係なく、仮想湾曲面の座標点と表示画面の画素との間で１対１の対応関係が確保される限り、魚眼レンズの画角に対応した表示画面は形成されることができる。したがって、たとえ魚眼レンズの撮像画像で魚眼レンズの光軸に対して少なくとも９０°の画角範囲が設定されても、表示画面に確実に画像は形成されることができる。

前記第１座標変換式は次式であることができる。

ここで、

ただし、前記仮想湾曲面の前記座標点は（ｘ１，ｙ１，ｚ１）で表され、前記二次元面の座標値ｘ０は前記表示画面の横方向を表し対応するｘ軸の原点は横方向に前記表示画面の中央に位置し、前記二次元面の座標値ｙ０は前記表示画面の縦方向を表し対応するｙ軸の原点は縦方向に前記表示画面の中央に位置し、Ｗ／Ｈは前記表示画面のアスペクト比であって、Ｗは前記表示画面の横方向の長さを示し、Ｈは前記表示画面の縦方向の長さを示し、ｔ＞１／２でｓ＞０である。第１座標変換式は確実に表示画面から仮想湾曲面に画像を投射することができる。しかも、定数ｔの設定に基づき下側面の画像の縮小度は簡単に調整されることができる。

前記第１座標変換式は次式であることができる。

ここで、

ただし、前記仮想湾曲面の前記座標点は（ｘ１，ｙ１，ｚ１）で表され、前記二次元面の座標値ｘ０は前記表示画面の横方向を表し対応するｘ軸の原点は横方向に前記表示画面の中央に位置し、前記二次元面の座標値ｙ０は前記表示画面の縦方向を表し対応するｙ軸の原点は縦方向に前記表示画面の中央に位置し、Ｗ／Ｈは前記表示画面のアスペクト比であって、Ｗは前記表示画面の横方向の長さを示し、Ｈは前記表示画面の縦方向の長さを示し、ｔ＞１／２である。第１座標変換式は確実に表示画面から仮想湾曲面に画像を投射することができる。しかも、定数ｔの設定に基づき下側面の画像の縮小度は簡単に調整されることができる。加えて、定数ｐの設定に基づき左側面と下側面との継ぎ目や右側面と下側面との継ぎ目で画像の歪みは調整されることができる。
前記座標値ｘ０は
の範囲で±９０°の画角範囲に対応し、前記座標値ｙ０は
の範囲で±９０°の画角範囲に対応することができる。

以上のような画像データ変換装置は運転支援装置に組み込まれることができる。このとき、運転支援装置は画像データ変換装置を備える。こうした運転支援装置は例えば車両に搭載されて利用されることができる。

その他、以上のような画像データ変換装置はナビゲーション装置に組み込まれることができる。このとき、ナビゲーション装置は画像データ変換装置を備える。こうしたナビゲーション装置は例えば車両に搭載されて利用されることができる。

その他、以上のような画像データ変換装置はカメラ装置に組み込まれることができる。このとき、カメラ装置はデータ変換装置を備える。こうしたカメラ装置は車両に搭載されて利用されることができる。

以上のように本発明の形態によれば、撮像画像の下半分で被写体は縮小する。

一実施形態に係る車両すなわち自動車の全体像を概略的に示す斜視図である。 運転支援装置の構成を概略的に示すブロック図である。 魚眼レンズから投影される被写体の撮像画像の一具体例を示す写真である。 表示画面の一具体例を示す写真である。 座標変換モデルを概略的に示す概念図である。 ｙｚ平面（ｘ＝０）に沿った仮想湾曲面の断面図である。 本実施形態に係る仮想湾曲面の斜視図である。 比較例に係る仮想湾曲面の斜視図である。 比較例に係る仮想湾曲面の断面図であってｙｚ平面に沿ったものである。 比較例に係る座標変換後の表示画面の一具体例を示す写真である。 本実施形態の一変形例に係る仮想湾曲面の斜視図である。 本実施形態の一変形例に係る仮想湾曲面の断面図であってｙｚ平面に沿ったものである。 本実施形態の他の変形例に係る仮想湾曲面の断面図であってｙｚ平面に沿ったものである。 他の実施形態に係る運転支援装置の構成を概略的に示すブロック図である。 さらに他の実施形態に係る運転支援装置の構成を概略的に示すブロック図である。

以下、添付図面を参照しつつ本発明の一実施形態を説明する。

図１は一実施形態に係る車両すなわち自動車１１を概略的に示す。自動車１１の車体１２には運転支援装置１３が搭載される。運転支援装置１３はナビゲーション装置１４を備える。ナビゲーション装置１４は例えばダッシュボードに組み込まれることができる。ナビゲーション装置１４の表示画面には地図その他の情報が表示されることができる。

運転支援装置１３はカメラ装置１５を備える。カメラ装置１５は例えば車体１２のフロントノーズに設置される。カメラ装置１５は例えばフロントバンパーの左右方向中央位置に取り付けられる。カメラ装置１５はナンバープレートの下方に配置されればよい。したがって、カメラ装置１５は車体１２に低い位置で取り付けられる。カメラ装置１５の光軸１６は例えば車体１２の左右対称面内で地面に平行に設定される。カメラ装置１５は車体１２前方の様子を撮像する。ここでは、光軸１６に対して水平方向および垂直方向にいずれも少なくとも±９０°の画角範囲で被写体の撮像画像は取得される。カメラ装置１５は撮像画像の画像信号（以下「撮像信号」という）を出力する。撮像信号は画素ごとに画像情報を特定する。

カメラ装置１５には画像データ変換装置１７が接続される。画像データ変換装置１７はカメラ装置１５から撮像信号を受信する。画像データ変換装置１７は撮像信号に基づき表示画像の画像信号（以下「表示用画像信号」という）を生成する。画像データ変換装置１７では撮像画像の画素位置から表示画面の画素位置への座標変換が実施される。表示用画像信号は表示画面の画素ごとに画像情報を特定する。

画像データ変換装置１７にナビゲーション装置１４が接続される。ナビゲーション装置１４には画像データ変換装置１７から表示用画像信号が供給される。ナビゲーション装置１４の表示画面には表示用画像信号に基づき車体１２前方の映像が表示されることができる。この運転支援装置１３では、路地の交差点などで運転手は左右から交差点に進入する他の車両を確実に確認することができ、運転手は状況に応じてフロントノーズの真下の地面も確認することができる。こうして運転支援装置１３は運転手の前方確認を支援することができる。

図２に示されるように、カメラ装置１５は魚眼レンズ２１を備える。魚眼レンズ２１は、例えば光軸１６に直交する赤道面を有する半球面で被写体の入射面を規定する。その結果、被写体から反射する光は、光軸１６に対して水平方向および垂直方向にいずれも少なくとも±９０°の画角範囲で入射する。入射した光は赤道面上に被写体の画像を形成する。被写体の画像は円形の輪郭で仕切られる。画像では円の中心から外側に遠ざかるにつれて被写体は拡大する。

カメラ装置１５は撮像素子２２を備える。撮像素子２２は、魚眼レンズ２１から投影される被写体の画像を電気信号に変換する。撮像素子２２はマトリクス状に配置された画素を備える。撮像素子２２の撮像面に設定される二次元座標系に従って個々の画素の位置は特定される。例えばベイヤー配列ではＲＧＧＢ（赤緑緑青）の電気信号で被写体の色が表現される。

カメラ装置１５は画像処理部２３を備える。画像処理部２３は撮像素子２２に電気的に接続される。画像処理部２３は画素の位置すなわちアドレスを順次指定しながら画素の電気信号を読み出す。画像処理部２３はデジタルの撮像信号を出力する。

画像データ変換装置１７は画像メモリ２４を備える。画像メモリ２４はカメラ装置１５の画像処理部２３に電気的に接続される。画像メモリ２４は、魚眼レンズ２１から投影される被写体の撮像画像を記憶する。画像メモリ２４では撮像素子２２の個々の画素ごとにアドレスが割り当てられる。アドレスには個々の画素ごとに二次元座標系の座標値（以下「撮像画素位置」という）が関連づけられる。アドレスに従って画素ごとに画像情報が記憶される。特定される撮像画素位置に応じて画素ごとに画像情報は取り出されることができる。

画像データ変換装置１７は画像変換部２５および画像変換メモリ２６を備える。画像変換部２５は画像メモリ２４に電気的に接続される。画像変換メモリ２６は画像変換部２５に電気的に接続される。画像変換部２５は、撮像画像に座標変換を施し、表示画面の画像情報を生成する。画像変換メモリ２６には座標変換データが記憶される。座標変換データは予め設定されたテーブルに従って表示画素位置と撮像画素位置との関係性を記述する。関係性の記述にあたって画像変換メモリ２６では個々のアドレスごとに撮像画素位置が記憶される。表示画面の個々の画素ごとにアドレスが割り当てられる。アドレスには、表示画面の個々の画素ごとに、表示画面の二次元面に設定される二次元座標系の座標値（以下「表示画素位置」という）が関連づけられる。こうして画像変換メモリ２６では、特定される表示画素位置に応じて表示画面の画素ごとに撮像画素位置が取得されることができる。

画像変換部２５は所定の順番に従って表示画素位置を指定していく。指定される表示画素位置に応じて画像変換部２５は画像変換メモリ２６から撮像画素位置を取得する。画像変換部２５は、取得した撮像画素位置に対応して画像メモリ２４から画像情報を取り出す。このとき、後述されるように、表示画素位置に対して算出された撮像画素位置は小数を含む実数であって、そのままでは画像メモリ２４のアドレスとして用いられることができない。したがって、画像変換部２５は、算出された撮像画素位置の整数部分に相当するアドレスで画像メモリ２４から画像情報を読み出す。すなわち、画像変換部２５は、整数部分のアドレスに相当する画素と、整数部分＋１のアドレスに相当する画素とで画像情報を読み出し、小数部分の大きさに応じて隣接する画素の間で加算や配分を実施する。こうして画像変換部２５は画像情報を補間する。ただし、画像情報の補間にあたって他の方法が用いられてもよい。その他、必ずしも補間は実施される必要はなく、算出された撮像画素位置の整数部分のみで画像メモリ２４のアドレスが指定されてもよい。

ナビゲーション装置１４は演算処理部２７を備える。演算処理部２７は画像データ変換装置１７の画像変換部２５に電気的に接続される。演算処理部２７は例えばＭＰＵ（マイクロプロセッサユニット）およびメモリを有することができる。例えばメモリに格納されるソフトウェアに従ってＭＰＵは動作することができる。演算処理部２７はソフトウェアで実行される処理に従って画像変換部２５から座標変換後の画像情報を取得することができる。演算処理部２７はナビゲーション装置１４のナビゲーション動作と運転支援動作とを切り替えることができる。例えば自動車１１の前進時に所定の速度以下（例えば時速１０キロ以下）に車速が低下すると、演算処理部２７はナビゲーション動作から運転支援動作にナビゲーション装置１４を切り替えることができる。

ナビゲーション装置１４はディスプレイユニット２８を備える。ディスプレイユニット２８は演算処理部２７に電気的に接続される。ディスプレイユニット２８には演算処理部２７から画像情報が供給される。供給される画像情報に応じてディスプレイユニット２８の表示画面には地図や車体１２前方の映像が映し出されることができる。

画像変換部２５は撮像画像から表示画面の画像（以下「表示画像」という）を生成する。撮像画像は、図３に示されるように、魚眼レンズ２１の光軸１６に対して水平方向に少なくとも±９０°の画角範囲で被写体を含み、同時に、魚眼レンズ２１の光軸１６に対して重力方向に（下側に）少なくとも９０°の画角範囲で被写体を含む。撮像画像では光軸１６から画面の縁に向かって遠ざかるにつれて被写体は拡大する。その結果、実空間の水平面に直交する被写体の直線形状や、光軸１６を含む鉛直平面に直交する被写体の直線形状は損なわれ、直線形状は湾曲する。ここでは、カメラ装置１５は低い位置（例えばナンバープレートの下など）で車体１２に取り付けられることから、地平線３１から下方には地面すなわち路面が大きく広がる。一般に、光軸１６の水平姿勢が維持される限り、撮像画像では地平線３１は水平方向（横方向）に直線に画面を横切る。このとき、地平線３１は射影幾何学における理想の地平線である。

画像変換部２５は、図４に示されるように、表示画面の二次元面に撮像画像を転写する。このとき、表示画面の左縁３２および右縁３３並びに地平線３１の中央位置３４で区画される左側画面領域３５および右側画面領域３６では左縁３２および右縁３３から地平線３１の中央位置３４に向かって直進性が維持される。左側画面領域３５および右側画面領域３６のうち地平線３１よりも上側では、地平線３１に中央位置３４で直交する垂直方向に、実空間の水平面に直交する被写体の直線形状は維持される。同時に、表示画面の下縁３７および地平線３１の中央位置３４で区画される下側画面領域３８では下縁３７から地平線３１の中央位置３４に向かって直進性が維持されつつ、垂直方向に直交する水平方向に、魚眼レンズ２１の光軸１６を含む鉛直平面に直交する被写体の直線形状は維持される。同時に、左側画面領域３５および右側画面領域３６との境界や右側画面領域３６と下側画面領域３８との境界には湾曲画像が形成される。湾曲画像は、左側画面領域３５および右側画面領域に描き出される垂直方向の被写体の直線形状と、下側画面領域３８に描き出される水平方向の被写体の直線形状とを相互に接続する。表示画面では地平線３１は直線に描かれ画面の下半分に位置する。ここでは、表示画面の二次元面は矩形に仕切られることから、左側画面領域３５および右側画面領域３６では左縁３２および右縁３３にそれぞれ平行に被写体の鉛直方向の直線形状は維持され、下側画面領域３８では下縁３７に平行に被写体の水平方向の直線形状は維持される。加えて、地平線３１の中央位置３４に消失点２９が近接することから、左縁３２および右縁３３から消失点２９に向かって直進性が維持される。ここで、「被写体の直線形状」は、必ずしも完全な直線である必要はなく、人間の視覚的に違和感のない範囲で直線に描かれればよい。しかも、必ずしも領域内全体で完全に直線である必要はなく、領域の境界付近でわずかに湾曲していてもよい。

画像データ変換装置１７によれば、地平線３１の中央位置３４に向かって直進性が維持されると同時に、表示画面の垂直軸および水平軸に平行に（表示画面の縦方向および横方向に）被写体の直線形状が確保される。その結果、魚眼レンズ２１の撮像画像であるにも拘わらず、直線が基調となって良好な遠近感を有する表示画像は形成されることができる。しかも、左側画面領域３５および右側画面領域３６の垂直方向の直線形状および下側画面領域３８の水平方向の直線形状の接続にあたって湾曲画像が形成されるように座標変換が施されることから、これまで以上に十分な画角範囲は確保されることができる。特に、垂直方向および水平方向に±９０°以上の画角範囲で広がる画像でも表示画面に良好に表示されることができる。このとき、もともとの撮像画像では、魚眼レンズ２１の位置が地面に近づけば近づくほど、地平線３１の下側で表示画面に映し出される路面（地面）の割合は増加するものの、表示画面では地平線３１が表示画面の下半分に位置することから画面全体に占める路面（地面）の広がりは縮小されることができる。こうして表示画面の冗長性は排除されることができる。しかも、画像の視点が比較的に高い位置に修正され、画像の見やすさは向上する。

次に座標変換データの原理を詳述する。座標変換データの算出にあたって、図５に示されるように、画像変換モデル３９が構築される。この画像変換モデル３９では魚眼レンズ２１から投影される被写体の撮像画像は三次元の補正面すなわち仮想湾曲面４１に投影される。仮想湾曲面４１上の画像は正射影法に従って矩形の表示画面４２の二次元面に投影される。ここで、撮像素子２２上では被写体の位置は魚眼レンズ２１に対する入射角で決まるので、被写体は半径＝１の球面４３上に位置するものと仮定されることができる。したがって、球面４３上で被写体の位置が特定されれば、その位置に基づき撮像素子２２上で被写体の位置は特定されることができる。本実施形態では、魚眼レンズ２１は魚眼レンズ２１の光軸１６に対して水平方向に±９０°の画角範囲および垂直方向に±９０°の画角範囲を有する。したがって、球面４３は、光軸１６に直交する赤道面を有する半球として取り扱われることができる。このとき、水平方向は地面に平行な方向をいう。垂直方向は地面に垂直な方向をいう。

表示画面４２の二次元面では個々の画素ごとに第１座標点Ｐ（ｘ０，ｙ０）が特定される。ここでは、表示画面４２の二次元座標系はｘ座標値（ｘ０）で表示画面４２の横方向を表しｙ座標値（ｙ０）で表示画面４２の縦方向を表す。二次元座標系のｘ軸の原点は横方向に表示画面４２の中央に位置しｙ軸の原点は縦方向に表示画面４２の中央に位置する。二次元座標系のｘ軸に沿ってｘ座標値は

の範囲で±９０°の画角範囲に対応し、二次元座標系のｙ軸に沿ってｙ座標値は
の範囲で±９０°の画角範囲に対応する。ここで、Ｈ／Ｗは表示画面４２のアスペクト比であって、Ｈは表示画面４２の縦方向の長さを示し、Ｗは表示画面４２の横方向の長さを示す。アスペクト比はＨ／Ｗ＝０．７５／１．０に設定される。

仮想湾曲面４１上の第２座標点Ｈ（ｘ１，ｙ１，ｚ１）は表示画面４２の第１座標点（ｘ０，ｙ０）に１対１で対応する。すなわち、仮想湾曲面４１は、仮想湾曲面４１上の画像が正射影法に従って表示画面４２の二次元面に投影される際に画像が重ならないように形成される。仮想湾曲面４１は中央面４５、左側面４６、右側面４７および下側面４８を含む。中央面４５は光軸１６周りで広がる。中央面４５の左側には左側面４６が配置される。左側面４６は屈曲面を介して中央面４５に連続する。左側面４６は、半球の赤道面を含む仮想平面４９に鋭角の内角α１で接続される。中央面４５の右側には右側面４７が配置される。右側面４７は屈曲面を介して中央面４５に連続する。右側面４７は仮想平面４９に鋭角の内角α２で接続される。中央面４５の下側には下側面４８が配置される。下側面は屈曲面を介して中央面４５に連続する。図６に示されるように、下側面４８は仮想平面４９に鋭角の内角α３で接続される。仮想湾曲面４１は球面４３の外側から球面４３に覆い被さる。

こうした座標変換モデル３９に基づき仮想湾曲面４１と表示画面４２の二次元面との間で座標変換が施される。座標変換にあたって第１座標変換式が用いられる。この座標変換に応じて表示画面４２の二次元座標系から仮想湾曲面４１の三次元座標系に表示画面４２の画素は転写される。

ここで、
ただし、ここでは、
が成立する。ｔ＞１／２でｓ＞０である。図７に示されるように、第１座標変換式は三次元的に図式化されることができる。

同様に、座標変換モデル３９に基づき仮想湾曲面４１の座標Ｈ（ｘ１，ｙ１，ｚ１）と球面４３の極座標Ｋ（ｒ２，φ２，θ２）との間で座標変換が施される。座標変換にあたって第２座標変換式が用いられる。この座標変換に応じて仮想湾曲面４１の三次元座標系から球面４３の極座標系に転写像は再び転写される。

さらに、座標変換モデル３９に基づき極座標Ｋ（ｒ２，φ２，θ２）と撮像画像の二次元座標Ｉ（ｘ３，ｙ３）との間で座標変換が施される。座標変換にあたって第３座標変換式が用いられる。この座標変換に応じて球面４３の極座標系から撮像画像の二次元座標系に転写像は再び転写される。第１座標変換式、第２座標変換式および第３座標変換式に従って表示画面４２の画素と撮像素子２２の画素との間で座標変換が確立される。

こうした座標変換によれば、魚眼レンズ２１の画角に関係なく、仮想湾曲面４１の座標点と表示画面４２の画素との間で１対１の対応関係が確保される限り、魚眼レンズ２１の画角に対応した表示画面４２は形成されることができる。したがって、たとえ魚眼レンズ２１の撮像画像で魚眼レンズ２１の光軸１６に対して少なくとも９０°の画角範囲が設定されても、表示画面４２に確実に画像は形成されることができる。

第１座標変換式は確実に表示画面４２から仮想湾曲面４１に画像を投射することができる。しかも、後述されるように、定数ｔの設定に基づき下側面４８の画像の縮小度は簡単に調整されることができる。加えて、定数ｐの設定に基づき左側面４６と下側面４８との継ぎ目や右側面４７と下側面４８との継ぎ目で画像の歪みは調整されることができる。

本発明者は前述の座標変換モデル３９に基づき表示画面を得た。この表示画面は図４に示される。この表示画面の取得にあたって、第１座標変換式ではアスペクト比Ｈ／Ｗは０．７５／１．０に設定された。定数ｔは３に設定された。定数ｓは５７／６４０に設定された。定数ｐは５に設定された。

座標変換にあたって本発明者は比較例を用意した。比較例では第１座標変換式に代えて以下の比較座標変換式が用いられた。

ここで、

図８に示されるように、比較座標変換式は三次元的に図式化されることができる。こうした座標変換によれば、前述と同様に、光軸１６に対して水平方向に少なくとも±９０°の画角範囲は確実に確保されることができる。同様に、図９から明らかなように、下側面は仮想平面に鋭角の内角で接続されることから、光軸１６に対して下側に少なくとも９０°の画角範囲は確実に確保されることができる。この場合でも、図１０から明らかなように、地平線３１に向かう直進性や被写体の直線形状は確実に確保されることができる。ただし、図９および図６の比較から明らかなように、比較例では、Ｐ（ｘ０，０）に相当する水平面から下側で被写体の画像はそれほど縮小されていない。言い換えると、光軸１６を含む水平面から下側で画像は縮小されていない。その結果、図１０および図４の比較から明らかなように、比較例では本実施形態に比べて光軸１６を含む水平面は表示画面の下縁３７から遠ざかる。その分、比較例では地平線３１は表示画面の下縁３７から遠ざかる。表示画面の大部分は路面（地面）で占められてしまう。

図６および図９の比較から明らかなように、本実施形態では定数ｔの設定に応じてＰ（ｘ０，０）相当の平面から下側で垂直方向に画像の縮小度は調整されることができる。定数ｔが増大するにつれてＰ（ｘ０，０）相当の平面から下側で画像の歪みすなわち縮小度は増大する。そして、Ｐ（ｘ０，０）相当の平面から下側で単純に垂直方向に画像が縮小される場合に比べて、画像の違和感は抑制されることができる。

座標変換データの算出にあたって第１座標変換式では定数ｓはｓ＞０の範囲で任意に設定されることができる。仮想湾曲面４１上の画像が表示画面４２の二次元面に投射される際に定数ｓは二次元面のｙ方向に画像を変位する。例えば、第１座標変換式中の次式
で定数ｓが「０（ゼロ）」に設定されると、第１座標変換式は、図１１に示されるように三次元的に図式化されることができる。このとき、図６および図１２の比較から明らかなように、ｓ＝０の場合にはＰ（ｘ０，０）相当の平面は仮想湾曲面４１のｘ軸およびｚ軸に重なる。ｓ＝０の場合にはＰ（ｘ０，０）相当の平面はｓ＞０の場合よりも表示画面の下縁３７から遠ざかる。ここでは、Ｐ（ｘ０，０）相当の平面は魚眼レンズ２１の光軸１６を含む水平面を規定することから、ｓ＝０の場合にはｓ＞０の場合に比べて表示画面４２で光軸１６を含む水平面よりも上側の画像は減少する。

本実施形態では、第１画像変換式から明らかなように、地平線３１から下側で画像の縮小度は次式のようにｃｏｓ関数の影響を受ける。

その一方で、比較例では地平線３１から下側で画像の縮小度は次式にようにｃｏｓ関数の合成関数の影響を受ける。

本実施形態のように単純なｃｏｓ関数の採用によれば、図１２および図９の比較から明らかなように、Ｐ（ｘ０，０）相当の水平面から下側に向かってすぐさま歪みが生じる。すなわち、Ｐ（ｘ０，０）相当の水平面から下側で急激に画像の縮小が実現される。その一方で、比較例では、Ｐ（ｘ０，０）相当の水平面の下側であっても当該水平面付近では歪みが抑制され、そのままの画像が維持される。当該領域では画像の縮小は抑制されてしまう。

座標変換データの算出にあたって第１座標変換式では定数ｐは任意に設定されることができる。定数ｐは仮想湾曲面４１上で左側面４６および下側面４８の継ぎ目や右側面４７および下側面４８の継ぎ目で画像の滑らかな接続を実現する。例えば第１座標変換式中の次式
で定数ｐが「１」に設定されると、次式が得られる。

第１座標変換式は、図１３に示されるように三次元的に図式化されることができる。定数ｐが「２」に設定されると、次式が得られる。

したがって、仮想湾曲面４１上で左側面４６および下側面４８の継ぎ目や右側面４７および下側面４８の継ぎ目で直線画像は円弧を描く。

画像データ変換装置１７は、例えば図１４に示されるように、ナビゲーション装置１４ａに組み込まれてもよい。こういった構成によれば、ナビゲーション装置１４ａに従来どおりのカメラ装置１５が接続されるだけでディスプレイユニット２８の表示画面では画面全体に占める地面などの広がりは縮小されることができる。その他、画像データ変換装置１７は、例えば図１５に示されるように、カメラ装置１５ａに組み込まれてもよい。こういった構成によれば、従来どおりのナビゲーション装置１５にカメラ装置１５ａが接続されるだけでディスプレイユニット２８の表示画面では画面全体に占める地面などの広がりは縮小されることができる。

なお、図５（ａ）に示されるように、表示画面４２の二次元座標系は必ずしも表示画面４２の中央に原点を有する必要はない。［数９］やその他の同等な数式が利用される場合には、魚眼レンズ２１の光軸１６の向きおよび姿勢に応じて二次元座標系の原点は任意の位置に設定されればよい。こうした設定によれば、撮像画像に応じて適切に画像の歪みは形成されることができる。また、表示画面４２の最大範囲は必ずしもｘ座標値ｘ０は［数７］の範囲に設定される必要はなく、±９０°の画角範囲に関連づけられる必要もない。例えば図５（ｂ）に示されるように、ｚ＜０の場合であっても、第１座標点Ｐ（ｘ０，ｙ０）と第２座標点Ｈ（ｘ１，ｙ１，ｚ１）との間で１対１の対応関係が確保される限り、あるいは、球面４３上の座標点と第２座標点Ｈ（ｘ１，ｙ１，ｚ１）との間で１対１の対応関係が確保される限り、画像の形成は成立することができる。図５（ｂ）では最大限でｘ座標値の範囲Ｒが設定されることができる。

また、カメラ装置１５の光軸１６は必ずしも地平線に交差する必要はない。光軸１６が地平線に交差しない場合には、例えば画像メモリ２４への入力に先立って回転行列に基づく座標変換に応じて撮像画像中で地平線の位置が調整されればよい。こうした調整によれば、画像データ変換装置１７の働きで、前述と同様に、直線が基調となって良好な遠近感を有する表示画像は形成されることができる。その他、そうした回転行列に基づく座標変換は画像変換モデル３９に盛り込まれてもよい。

１１ 車両（自動車）、１３ 運転支援装置、１４ ナビゲーション装置、１５ カメラ装置、１６ 光軸、１７ 画像データ変換装置、２１ 魚眼レンズ、２４ 記憶部（画像メモリ）、２５ 画像変換部、３１ 地平線、３２ 左縁、３３ 右縁、３４ 中央位置、３５ 左側画面領域、３６ 右側画面領域、３７ 下縁、３８ 下側画面領域、４１ 仮想湾曲面、４２ 表示画面、４３ 球面。

Claims (8)

1. 魚眼レンズから投影されて少なくとも下半分に地面を含む被写体の撮像画像を記憶する記憶部と、
   前記撮像画像に座標変換を施し、表示画面の画像情報を生成する画像変換部とを備え、
   前記座標変換は、
   前記表示画面の二次元面に前記撮像画像を転写する際に、前記表示画面の左縁および右縁並びに地平線の中央位置で区画される左側画面領域および右側画面領域では、前記左縁および前記右縁から前記中央位置に向かって直進性を維持し、前記左側画面領域および前記右側画面領域のうち前記地平線よりも上側で、実空間において前記地平線に直交する垂直方向に直線形状の被写体は表示画面に垂直に直線形状を維持し、前記表示画面の下縁および前記中央位置で区画される下側画面領域では前記下縁から前記中央位置に向かって直進性を維持しつつ、前記地平線に平行に、前記魚眼レンズの光軸を含む鉛直平面に直交する前記被写体の直線形状を維持し、前記左側画面領域および前記右側画面領域のうち前記地平線よりも下側では、前記左側画面領域および前記右側画面領域の前記画像の前記直線形状および前記下側画面領域の前記画像の前記直線形状を湾曲画像で相互に接続し、前記表示画面の下半分に前記地平線を配置する
   ことを特徴とする画像データ変換装置。
2. 請求項１に記載の画像データ変換装置において、前記座標変換は、
   前記表示画面の前記二次元面上で特定される画素ごとに正射影法に基づき１対１で対応する座標点を有する仮想湾曲面上の前記座標点に前記画素を対応づける第１座標変換式と、
   前記画素に対応づけられた前記座標点の全てに向き合う球面上の極座標点に、前記座標点を対応づける第２座標変換式と、
   前記撮像画像の二次元座標に前記球面上の前記極座標点を対応づける第３座標変換式と
   に基づき実施されることを特徴とする画像データ変換装置。
3. 請求項２に記載の画像データ変換装置において、前記第１座標変換式は次式であることを特徴とする画像データ変換装置。
   ここで、
   ただし、前記仮想湾曲面の前記座標点は（ｘ１，ｙ１，ｚ１）で表され、前記二次元面の座標値ｘ０は前記表示画面の横方向を表し対応するｘ軸の原点は横方向に前記表示画面の中央に位置し、前記二次元面の座標値ｙ０は前記表示画面の縦方向を表し対応するｙ軸の原点は縦方向に前記表示画面の中央に位置し、Ｗ／Ｈは前記表示画面のアスペクト比であって、Ｗは前記表示画面の横方向の長さを示し、Ｈは前記表示画面の縦方向の長さを示し、ｔ＞１／２で、ｓ＞０である。
4. 請求項２に記載の画像データ変換装置において、前記第１座標変換式は次式であることを特徴とする画像データ変換装置。
   ここで、
   ただし、前記仮想湾曲面の前記座標点は（ｘ１，ｙ１，ｚ１）で表され、前記二次元面の座標値ｘ０は前記表示画面の横方向を表し対応するｘ軸の原点は横方向に前記表示画面の中央に位置し、前記二次元面の座標値ｙ０は前記表示画面の縦方向を表し対応するｙ軸の原点は縦方向に前記表示画面の中央に位置し、Ｗ／Ｈは前記表示画面のアスペクト比であって、Ｗは前記表示画面の横方向の長さを示し、Ｈは前記表示画面の縦方向の長さを示し、ｔ＞１／２で、ｓ＞０である。
5. 請求項３または４に記載の画像データ変換装置において、前記座標値ｘ０は
   の範囲で±９０°の画角範囲に対応し、前記座標値ｙ０は
   の範囲で±９０°の画角範囲に対応することを特徴とする画像データ変換装置。
6. 請求項１〜５のいずれか１項に記載の画像データ変換装置を備えることを特徴とする運転支援装置。
7. 請求項１〜５のいずれか１項に記載の画像データ変換装置を備えることを特徴とするナビゲーション装置。
8. 請求項１〜５のいずれか１項に記載の画像データ変換装置を備えることを特徴とするカメラ装置。