JP5029645B2 - 画像データ変換装置 - Google Patents

Description

本発明は、魚眼レンズを通して撮像した球形歪を含む画像を入力画像とし、この入力画像を人間の目で見た場合に違和感が少ない画像に変換して出力する画像データ変換装置に関する。

従来、魚眼レンズを通して撮像するカメラ装置が撮像した画像を入力し、画像補正して出力する画像データ変換装置としては、図１６のブロック図に示す構成が一般的である。図１６において、カメラ装置８０は、魚眼レンズ８１と、これを介して入力される光像を電気信号に変換する撮像素子８２と、撮像素子８２に対して画素の読み出しアドレスを順次指定しながら画素信号を取り込んで、デジタルの画像データとして出力する画像処理部８３とを備えている。

また、画像データ変換装置９０は、カメラ装置８０から出力されるデジタルの画像データを１フレーム毎に記憶するフレームメモリ部９１と、そのフレームメモリ部９１に記憶された画像データの座標位置を所定の方法で変換して再度フレームメモリ部９１に記憶すると共に、変換された画像データの画素補間を指示する画像変換部９２と、フレームメモリ部９１から出力される変換画像データを画像変換部９２の指示にしたがって画素補間する画像補間部９３と、同画素補間された画像データをアナログ信号に変換するＤ／Ａコンバータ９４とを備えている。

画像変換部９２で行なわれる変換方式として、例えば、特許文献１に記載の方式と特許文献２に記載の方式がある。特許文献１に記載の方式は、魚眼レンズを用いて撮像された魚眼画像を表示用の平面画像に変換するために、平面画像の座標を魚眼撮像面の仮想物体面へ投影した第１投影座標を求めるための第１座標演算部と、この第１座標演算部により求めた第１投影座標を魚眼撮像面へ投影した第２投影座標を求めるための第２座標演算部を備えるものである。

特許文献２に記載の方式は、魚眼レンズによって撮影された魚眼画像の平面画像データを、円筒面の画像データに変換するものである。すなわち、魚眼レンズによる撮影により得られる円形画像データの一部の領域に対して、円形画像データの中心を原点とする平面直交座標系における当該領域上の点「ｇ（θ）・cosφ、ｇ（θ）・sinφ」を、Ｒを定数とする円柱座標系上の点「Ｒ、φ、Ｒ／tanθ」へ変換するものである。θは当該点の魚
眼レンズ光軸に対する天頂角であり、０＜θ＜π／２であり、ｇ（θ）はｇ（０）＝０を満たし、θの範囲が単調増加する関数である。φは方位角であり、平面直交座標系の原点と円形画像上の点とを結んだ線分が平面直交座標系における１座標軸と成す角度である。

しかしながら、特許文献１に記載の方式は、比較的見やすい画像に変換できるものの、光軸原点から直接的に平面画像の座標に変換するので、画角に実用的な制限があり、この平面での左右上下の端部付近の画像を表示することができない。また、全てを表示させようとすると、無限大の平面が必要になる。理論的には１８０度以上の画角には対応できない。さらに、光軸方向（画像の奥行き方向）に長い物体が極端に拡大され、人の目には違和感が生じる。一方、特許文献２に記載の方式は、上下方向に画角制限があるものの、左右方向に関しては制限がなく、完全な範囲を表示させることができる。ところが、画面の左右方向の直線と奥行き方向の直線は全て湾曲し、非常に見にくい画像となる。

そこで、本発明者は、魚眼レンズなどを介して撮像された球形歪を含む画像をできるだけ広角に画像変換するとともに、縦方向と奥行き方向の直線に歪がなく、横方向での直線歪が少なく、人間にとって見やすい画像に変換する画像データ変換装置を提案した（特許文献３）。

以下、この画像データ変換装置について説明する。図２（ａ）は入力画像と出力画像との仮想的な関係を示す画像変換モデルを示す図、図２（ｂ）はその上面図である。ここでの変換方法は、円形面上の魚眼画像である入力画像１を、一旦、所定形状の補正面３Ａ（三次元）上へ変換し、さらに、この補正面３Ａ上の画像を、正射影法により矩形の表示面４に、目的とする出力画像として投影する。

魚眼レンズで撮影される被写体は、その魚眼レンズから見た角度で撮像素子上での位置が決まるので、被写体は半径１の半球面２上に位置しているものと仮定し、その被写体の画像である入力画像１は、半径１の円内、具体的には図１６に示す撮像素子８２の撮像面上に結像しているものとする。なお、この半球面を仮想物体面２と呼ぶこととする。また、円形の入力画像１の中心は、撮像に使用されるレンズの原点に対応する光軸原点：Ｏであり、この点から垂直に延出した仮想的な線が光軸５である。

図２（ａ）に示すように、補正面３Ａは、光軸５の正面に位置する中央面３ａと、光軸５の進行方向右側に配置された右側面３ｂと、光軸５の進行方向左側に配置された左側面３ｃとで構成されている。そして、補正面３Ａの中央面３ａと表示面４は、光軸５に対して垂直に配置される。また、補正面３Ａは仮想物体面２を包み込むように配置される。また、この補正面３Ａの中心点と表示面４の中心点は、光軸原点からの光軸５で貫かれる位置となっている。さらに、補正面３Ａと表示面４の上下方向は、歪の少ない直線状となり、表示面４は左右方向に対しても直線状となる。

従って、仮想物体面２からの画像が写される補正面３Ａの画像の縦（ｙ）方向は、横（ｘ）方向がどの位置であっても、縦の直線が湾曲するような歪みがない。さらに、この補正面中心を通る横（ｘ）方向のライン上では、横方向の直線が湾曲するような歪みがない。しかし、補正面３Ａの横方向では、魚眼レンズの特性上、この補正面３Ａの中心を通る横方向のライン上以外の場所で、横方向の直線が屈曲する歪を生じる。

図３は画像変換モデルの具体例を示す図であり、基本的には図２で説明した図と同じである。なお、参考までに、撮像素子８２の撮像面６を点線で図示している。一般的には、円形の撮像素子がカメラに用いられることはなく、横縦比（アスペクト比）が４：３などの撮像素子が用いられ、カメラから出力される画像出力信号も、この比率の画像となっている。

画像データ変換装置は、入力した画像を変換して出力するものであるが、出力画像、つまり、表示面４の表示座標Ｐ（ｘ０，ｙ０）に対応する入力画像１の入力画像座標Ｉ（ｘ３，ｙ３）との関係を予めテーブル化しておき、実際の装置において、入力した入力画像座標Ｉ（ｘ３，ｙ３）を表示座標Ｐ（ｘ０，ｙ０）に変換して出力するものである。

入力画像１の入力画像座標Ｉ（ｘ３，ｙ３）と表示座標Ｐ（ｘ０，ｙ０）との関係は、以下のように求める。図３では、表示面４の表示座標Ｐ（ｘ０，ｙ０）を、一旦、補正面３Ａの画素座標Ｈ（ｘ１，ｙ１，ｚ１）に変換し、この座標を仮想物体面２の半球面の極座標Ｋ（ｒ２，φ２，θ２）に変換し、この座標を最終的に入力画像１の入力画像座標Ｉ（ｘ３，ｙ３）へ変換する。これらの変換を、表示面４の表示座標Ｐ（ｘ０，ｙ０）の全てにおいて計算し、計算された結果を、例えばＲＯＭ（以下、変換ＲＯＭと呼称）などの記憶素子に記憶させておく。なお、この変換ＲＯＭは、この変換ＲＯＭのアドレス「ｘ０，ｙ０」で示される場所に「ｘ３，ｙ３」の値が記憶されている。

従って、図１６の画像データ変換装置において、フレームメモリ部９１は、入力画像１の入力画像座標Ｉ（ｘ３，ｙ３）をアドレスとして順番に指定しながら全ての入力画像の画素データを格納する。そして、変換ＲＯＭを備えた画像変換部９２は、変換ＲＯＭのアドレスに、「ｘ０，ｙ０」を順番に指定しながら、変換ＲＯＭの出力データ（アドレス値）をフレームメモリ部９１のアドレスとし、その結果フレームメモリ部９１から表示面４の表示座標Ｐ（ｘ０，ｙ０）の画素データとして読み出される。

なお、この変換において、「ｘ０，ｙ０」に対して算出された「ｘ３，ｙ３」は小数を含む実数であり、算出された「ｘ３，ｙ３」をそのままフレームメモリ部９１のアドレスとして使用することはできない。そこで、フレームメモリ部９１のアドレスに画像変換部９２から出力されたデータ「ｘ３，ｙ３」を指定して読み出すが、この時、「ｘ３，ｙ３」の座標を囲む複数の画素の画素データが読み出されて画像補間部９３に送られる。画像補間部９３では、送られてきた複数の画素データを「ｘ３，ｙ３」の小数部分の値に応じて各々の画素データに重み付けをして、加算することで表示面４の表示座標Ｐ（ｘ０，ｙ０）の画素データの画像補間を行う。

次に、図３と、ここで使用される各面での座標計算式を用いて、表示面４の表示座標Ｐ（ｘ０，ｙ０）と、入力画像１の入力画像座標Ｉ（ｘ３，ｙ３）との関連について説明する。図３において、表示面４の光軸原点の座標位置を表示原点Ｐ（０，０）とし、この原点を通過するｘ方向の右端をＰ（１，０）、左端をＰ（−１，０）とする。また、この原点を通過するｙ方向の上端をＰ（０，−０．７５）、下端をＰ（０，０．７５）とする。なお、ｙ方向の−０．７５〜０．７５は、ｘ方向を−１〜１とした場合の縦方向の比率を表しており、この場合は画面サイズが横４：縦３（横１：縦０．７５）を示している。そして、式(1)に示すように、平面直交座標系の表示座標Ｐ（ｘ０，ｙ０）の画素座標は、「ｘ０，ｙ０」で規定される。

同様の考え方で補正面３Ａは、３次元直交系座標のＨ（ｘ１，ｙ１，ｚ１）で示される。なお、「ｘ１，ｙ１」は、上記表示座標ＰのＸ−Ｙ面上と同じため「ｘ０，ｙ０」と同じ値となる。また、ｚ１は光軸方向の位置を示しており、式(2)で示される式を用いて、ｘ０の関数として算出する。

次に、算出したこの「ｘ１，ｙ１，ｚ１」を用いて、仮想物体面２に映っている画素の極座標Ｋ（ｒ２，φ２，θ２）を式(3)を用いて算出する。
なお、図３に示すように、ここでは円形となる入力画像の論理的な半径のサイズを、ｒ２＝１で計算している。また、φ２は入力画像のｘ軸から反時計回り方向の角度（方位角）を示し、θ２は、φ２での半径の直線と光軸ｚとの間の角度（天頂角）を示している。

次に、算出した「φ２，θ２」を用いて、仮想物体面２に映っている被写体の画素の位置を、式(4)に示すように、平面直交系座標である入力画像座標Ｉ（ｘ３，ｙ３）に変換する。
この入力画像座標Ｉ（ｘ３，ｙ３）は撮像された画素の座標であるが、実際には、撮像素子の横縦比率、例えば横４：縦３（横１：縦０．７５）に入力画像が収まるようにする。これが撮像面６の撮像画像Ｉ’（ｘ４，ｙ４）であり、撮像時には光が到達しない範囲も含めて、画像信号として図１の画像データ変換装置９０に入力される。

これにより、この画像変換モデルを車載のバックカメラで撮像した魚眼画像に適用したとき、上下方向と光軸の奥行方向とに湾曲歪がなく、また、運転者の視野中心、つまり、光軸中心の周辺と画面の左右付近とは横方向の湾曲歪がほとんど無いため、運転者にとって違和感が少ない画像になる。

さらに、この画像変換モデルにおいては、補正面３Ａを中央面３ａと左右側面３ｂ，３ｃとで構成し、仮想物体面２を囲むように配置しているため、表示される画角が広く、かつ、補正面３Ａが３面で構成され、補正面３Ａ上の横方向は各面上での直線状の部分が連結された構成であるため、横方向の湾曲歪を低減でき、見易い画像に変換できる。

ところで、前述の画像データ変換装置では、魚眼レンズで撮像された球形歪を含む入力画像の真正面と左右を表示面４に再現することができる。すなわち、前記した画像データ変換装置では、補正面３Ａの極座標のｚ１成分が、
であるので、横方向の直線は歪んでしまうが、ｘ０＝±１のとき、ｚ１＝０となるので、真横まで表示面４に再現することができる。しかし、真下の領域を表示面４に再現することはできない。従って、車載用のバックカメラでは、車体と地面との相関を確認できることが望ましいが、これができない。

真下の領域を再現するためには、カメラの光軸を下方向に向けることで改善できる。実際にカメラの光軸を下に傾けた時のことを説明する。
図５は６個の正四角片からなる箱体の上片と前片を除去し、その正面片（奥片）と底片と左片と右片の各中心を通る垂線の交わる点から正面片の中心に向かう線を光軸として、その箱体を前面から魚眼レンズで撮像した入力画像１（魚眼画像）である。この図５の入力画像１に対して、図２および図３で説明した画像変換モデルを適用すると、表示面４に再現される画像は、図６に示す画像となり、底片は一部しか再現されない。

そこで、カメラの光軸を下方向に２５度だけ傾けて撮像した図７に示す入力画像１を得、これに前記した画像変換モデルを適用すると、図８に示すような画像となり、真下の底片の画像を再現することはできるが、歪が残るばかりか、正面片の画像の再現領域が少なくなってしまう。

ここで、これを解決する手法について検討する。まず、前記の図２、図３で説明した画像変換モデルの補正面３Ａをｘ−ｙの面内で９０度回転させ、真下を再現できるようにした場合を考える。このとき、図２、図３において、補正面３Ａを右に９０度回転させた場合は、右側面３ｂは上側に位置するので不要となり、左側面３ｃが下中央面となる。このときの３次元直交座標のｚ１成分は、
となる。なお、ｘ１＝ｘ０，ｙ１＝ｙ０である。４／３は表示面４のアスペクト比である。従って、表示面４がワイド画面であれば、１６／９となる。

この式(6)は、ｘ０を含んでいないので、真横の画像を再現することはできないが、横方向の直線は歪まない。ｙ０≧０（下方向）の部分は、ｙ０を含んでいるため、縦方向の直線は歪んでしまうが、ｙ０＝３／４において、ｚ１＝０となるため、真下まで画像を再現することができる。ｙ０＜０（上方向）の部分は、ｚ１＝０になる点は存在しないので、真上方向まで画像を再現することはできないが、平面であるため、全ての直線は湾曲しない。アプリケーションに応じて、ｙ０≧０（下方向）の部分と同様の面にすれば、真上の画像を再現することができる。図５に示す画像を入力画像１として、上記式(8)で得られるｚ１成分を式(3)に適用して変換した画像を、図９に示す。この図９の画像では、真下の画像まで再現できている。ただ、下部分にある縦方向の直線が歪んでしまう。

そこで、ｚ１の成分として、式(2)で使用したｚ１と、式(6)で使用したｚ１を組み合わせた式(7)を作成する。
ただ、この式(7)を式(3)に適用すれば、ｘ０とｙ０が両用とも大きくなる斜め方向において歪が大きくなる傾向がある。

そこで、さらに次の式(8)〜(11)を設定する。

ｆ（ｘ１）は式(5)と同じで、真横方向を見るために、ｘ０に応じた歪を形成するための式である。ｇ（ｙ１）はｆ（ｘ１）をｙ方向に適用したものであるが、ｙ０＜０の領域ではｙ０に応じては変化しないようにする。つまり、ｙ０＜０のときはｇ（ｙ１）＝ｙ１とする。

min’（ａ，ｂ）は、ａとｂのうちから小さい方を選択するmin関数と似た働きをするものであるが、min（ａ，ｂ）はａ＝ｂとなる点で微分できず、滑らかでないので、それを滑らかになるようにつなげたものがmin’（ａ，ｂ）である。ａとｂの差が大きいとき、min’（ａ，ｂ）の値はmin（ａ，ｂ）とほぼ同じになるが、ａとｂの差が小さいときは、お互いに近づくように変化する。なお、ａ＝ｆ（ｘ１）、ｂ＝ｇ（ｙ１）である。

min’は、ｐ→∞としたとき、最大値ノルムの逆数となり、最小値関数minと同等になる。しかし、この最小値関数minは不連続な関数となるので、ｐは有限に留める。また、ｆ（ｘ１）＜０と、ｇ（ｙ１）＜０のとき、式(11)が成立しないので、ｃを加える。これにより境界が鈍るので、ｐを大きくする。具体的には、ｐ＝２００、ｃ＝２０とすることで、適切な結果を得た。

図４は、上記した式(11)式を適用して「ｘ１，ｙ１」からｚ１を求め作成した補正面３を示す図であり、この補正面３を図２，図３の画像変換モデルの補正面３Ａに代えて使用する。この補正面３は、図２，図３の補正面３Ａと同様な中央面３ａ、右側面３ｂ、左側面３ｃの他に、下中央面３ｄを備える。中央面３ａ、右側面３ｂ、および左側面３ｃのほとんどの領域は、ｙ０＜０の領域で形成され、中央面３ａ、右側面３ｂ、および左側面３ｃの残りの領域と下中央面３ｄは、ｙ０≧０の領域で形成される。

図５に示す画像を入力画像１として、上記式(11)のｚ１成分を式(3)に適用して変換した画像を、図１０に示す。この図１０の画像では、底片の光軸に向かう直線状の被写体と、正面片の上部分にある縦方向の直線状の被写体と、左右中央にある横方向の直線状の被写体が、ほぼ直線状であり、さらに水平方向に対して下向きに、８０度以上の画角の範囲を有する。すなわち、入力画像の真正面と左右面の歪を少なくし、さらに真下の面も広い範囲で歪を少なく再現した出力画像が得られている。

特開２０００−２３５６４５号公報 特開２０００−２４２７７３号公報 特開２００８−３１１８９０号公報

しかし、カメラが左右の対角に１８０度の画角をもっていても、上下方向に１８０度の画角を持っていない場合は、入力画像には図５に示すように真下は映っていないので、真下９０度付近に相当する部分については、例えば、図１１に示すように、黒くなる。

以上のように、上記した技術では、上下方向の画角が不十分なカメラで撮像した画像は真下部分が撮影できないので、図４で説明した補正面３を使用した図３に示した画像変換モデルを使用したとしても、出力画像に真下部分を映し出すことはできない。また、これを回避するために、カメラの光軸を下方向に傾けた場合には、真下部分を映し出すことができるものの、図８に示すように、歪が大きくなったり、正面上部分の画像が無くなってしまう。

本発明の目的は、カメラの光軸を傾けて撮像した画像を入力画像とする場合において、広い範囲に亘って歪と欠損の少ない正常な出力画像を得ることができるようにした画像データ変換装置を提供することである。

請求項１にかｋる発明は、魚眼レンズを用いて撮像された球形歪を含む被写体画像を入力画像とし、該入力画像の信号から前記球形歪を除去するように画像変換して出力画像を得る画像変換部を備えた画像データ変換装置において、前記画像変換部は、円形の平面からなる平面直交座標系の前記入力画像を、前記魚眼レンズと対応して前記被写体が映し出される極座標系の半球状の仮想物体面上の画像に変換し、該仮想物体面上の画像を、前記球形歪を補正する３次元直交座標系の補正面上の画像に変換し、該補正面上の画像を、平面直交座標系の表示面上に正射影法により投影して、前記出力画像を得、且つ前記補正面は、前記魚眼レンズの光軸原点から伸びる光軸の正面に配置された平面の中央面と、該中央面の左右にそれぞれ連続して配置された左側面および右側面とで構成され、且つ前記補正面の前記中央面と前記表示面は前記光軸に対して垂直に配置され、前記補正面の前記左側面および前記右側面は前記仮想物体面を包み込むように前記中央面の左右側から曲折して配置され、且つつ前記補正面上の３次元直交座標をｘ１，ｙ１，ｚ１とするとき、
として、該ｘ１’，ｙ１’，ｚ１’に基づき、前記入力画像を角度θだけ、前記補正面上において、ｙ−ｚ面内で回転して前記出力画像に変換されるようにしたことを特徴とする。

請求項２にかかる発明は、魚眼レンズを用いて撮像された球形歪を含む被写体画像を入力画像とし、該入力画像の信号から前記球形歪を除去するように画像変換して出力画像を得る画像変換部を備えた画像データ変換装置において、前記画像変換部は、円形の平面からなる平面直交座標系の前記入力画像を、前記魚眼レンズと対応して前記被写体が映し出される極座標系の半球状の仮想物体面上の画像に変換し、該仮想物体面上の画像を、前記球形歪を補正する３次元直交座標系の補正面上の画像に変換し、該補正面上の画像を、平面直交座標系の表示面上に正射影法により投影して、前記出力画像を得、且つ前記補正面は、前記魚眼レンズの光軸原点から伸びる光軸の正面に配置された平面の中央面と、該中央面の左右にそれぞれ連続して配置された左側面および右側面とで構成され、且つ前記補正面の前記中央面と前記表示面は前記光軸に対して垂直に配置され、前記補正面の前記左側面および前記右側面は前記仮想物体面を包み込むように前記中央面の左右側から曲折して配置され、且つ前記補正面上の３次元直交座標をｘ１，ｙ１，ｚ１とするとき、
として、該ｘ１’，ｙ１’，ｚ１’に基づき、前記入力画像を、前記補正面上において、角度θだけｘ−ｚ面内で回転して前記出力画像に変換されるようにしたことを特徴とする。

請求項３にかかる発明は、魚眼レンズを用いて撮像された球形歪を含む被写体画像を入力画像とし、該入力画像の信号から前記球形歪を除去するように画像変換して出力画像を得る画像変換部を備えた画像データ変換装置において、前記画像変換部は、円形の平面からなる平面直交座標系の前記入力画像を、前記魚眼レンズと対応して前記被写体が映し出される極座標系の半球状の仮想物体面上の画像に変換し、該仮想物体面上の画像を、前記球形歪を補正する３次元直交座標系の補正面上の画像に変換し、該補正面上の画像を、平面直交座標系の表示面上に正射影法により投影して、前記出力画像を得、且つ前記補正面は、前記魚眼レンズの光軸原点から伸びる光軸の正面に配置された平面の中央面と、該中央面の左右にそれぞれ連続して配置された左側面および右側面とで構成され、且つ前記補正面の前記中央面と前記表示面は前記光軸に対して垂直に配置され、前記補正面の前記左側面および前記右側面は前記仮想物体面を包み込むように前記中央面の左右側から曲折して配置され、且つ前記補正面上の３次元直交座標をｘ１，ｙ１，ｚ１とするとき、
として、該ｘ１’，ｙ１’，ｚ１’に基づき、前記入力画像を、前記補正面上において、角度θだけｘ−ｙ面内で回転して前記出力画像に変換されるようにしたことを特徴とする。

本発明によれば、補正面上において画像を３次元方向に回転させることができるので、カメラの光軸を傾けて撮像した画像を入力画像とする場合であっても、広い範囲に亘って歪と欠損の少ない正常な出力画像を得ることができる。

本発明の画像データ変換装置の構成の機能ブロック図である。 画像変換モデルの説明図である。 図２のより詳細な画像変換モデルの説明図である。 別の例の補正面の説明図である。 入力する魚眼画像を示す図である。 図５の魚眼画像を入力画像として図２および図３の画像変換モデルを適用したとき得られる出力画像を示す図である。 カメラの光軸を下向に２５度だけ傾けて撮像した魚眼画像を示す図である。 図７の魚眼画像を入力画像として図２および図３の画像変換モデルを適用したとき得られる出力画像を示す図である。 図５の魚眼画像を入力画像として図２および図３の画像変換モデルの補正面を９０度回転して適用したとき得られる出力画像を示す図である。 図５の魚眼画像を入力画像として図４の補正面を使用する画像変換モデルを適用したとき得られる出力画像を示す図である。 図７の魚眼画像を入力画像として図４の補正面を使用する画像変換モデルを適用したとき得られる出力画像を示す図である。 図７の魚眼画像を入力画像として式(5)と式(12)を使用した図２および図３の画像変換モデルを適用したとき得られる出力画像を示す図である。 図７の魚眼画像を入力画像として式(11)と式(12)を使用した図２および図３の画像変換モデルを適用したとき得られる出力画像を示す図である。 下方向に１０度傾斜した入力画像を示す図である。 図１４の魚眼画像を入力画像として式(11)と式(12)を使用した図２および図３の画像変換モデルを適用したとき得られる出力画像を示す図である。 一般的な画像データ変換装置の構成の機能ブロック図である。

本発明の実施例の画像データ変換装置は、図１のブロック図に示す構成である。図１において、カメラ装置８０は、魚眼レンズ８１と、これを介して入力される光像を電気信号に変換する撮像素子８２と、撮像素子８２に対して画素の読み出しアドレスを順次指定しながら画像信号を取り込んで、デジタルの画像データとして画像データ変換装置に出力する画像処理部８３とを備えている。

また、画像データ変換装置９０は、カメラ装置８０から出力されるデジタルの画像データを１フレーム毎に記憶するフレームメモリ部９１と、そのフレームメモリ部９１に記憶された画像データの位置座標を所定の画像位置に変換して読み出すための画像変換データを記憶した画像変換メモリ部９２Ａと、フレームメモリ部９１から出力される変換画像データとその近傍の複数の画像データとを加重平均して補間を行う画像補間部９３と、同画像補間された画像データをアナログ信号に変換するＤ／Ａコンバータ９４とを備えている。画像変換メモリ部９２Ａが、画像変換部に相当する。

本発明では、例えば、図７に示したように、下方向に２５度傾けて撮像した入力画像であっても、真正面と左右面の歪を少なくし、さらに傾けた方向の面も広い範囲で歪少なく再現できる出力画像が得られるようにする。以下、詳しく説明する。

本発明の実施例では、式(5)や式(11)で得られたｚ１の値を元にした式(2)のｘ１，ｙ１，ｚ１に対して、補正面３あるいは３Ａにおいて、３次元の回転を加える。まず、ｙ−ｚ面内で回転を与えるときは、次の式(12)を使用する。

図７は下方向に光軸が２５度傾いたカメラで撮像した画像であるので、式(12)において、θ＝２５度にしてｘ１’，ｙ１’，ｚ１’を求めると、曲面が光軸に対して２５度上方向に回転する。このようにして回転させたｘ１，ｙ１’、ｚ１’を用いて、仮想物体面２の極座標Ｈ（ｒ２，φ２，θ２）を作成し、これに基づき入力画像１の座標I（ｘ３，ｙ３）を求める。なお、光軸を上方向に傾けた場合は、角度θは負となる。

図１２は、図７に示す入力画像１に対して、式(5)と式(12)を使用し、これによって得られたｘ１’，ｙ１’，ｚ１’を式(2)に適用し（但し、ｘ１’→ｘ１，ｙ１’→ｙ１，ｚ１’→ｚ１とし）て得た画像を示す。図１３に、図７に示す入力画像１に対して、式(11)と式(12)を使用し、同様に式(2)に適用して得た画像を示す。いずれも欠損部分を生じることなく真正面と左右面の歪が少なく、さらに傾けた方向の面も広い範囲で歪少なく再現できている。

なお、ｘ−ｚ面内で回転を与える場合は次の式(13)を用いて、ｘ−ｙ面内で回転を与える場合は次の式(14)を用いて、それぞれｘ１’，ｙ１’，ｚ１’を求めればよい。

従って、図３では、表示面４の表示座標Ｐ（ｘ０，ｙ０）を、一旦、補正面３あるいは３Ａの補正面座標Ｈ（ｘ１，ｙ１，ｚ１）に変換し、この座標を仮想物体面２の半球面の極座標Ｋ（ｒ２，φ２，θ２）に変換し、この座標を最終的に入力画像１の入力画像座標Ｉ（ｘ３，ｙ３）へ変換する。これらの変換を、表示面４の表示座標Ｐ（ｘ０，ｙ０）の全ての画素において演算し、演算された結果を、画像変換メモリ部９２Ａに記憶させておく。実際には、画像変換メモリ部９２Ａのアドレス「ｘ０，ｙ０」で示される場所に「ｘ３，ｙ３」の値が記憶されている。

実際、図１の画像データ変換装置において、カメラ装置８０から送られてきた入力画像1データは、フレームメモリ部９１に記憶される。この時、フレームメモリ部９１は入力画像１の入力画像座標Ｉ（ｘ３，ｙ３）をアドレスとして順番に指定しながら全ての入力画像の画素データを格納する。そして、画像変換メモリ部９２Ａは、画像変換メモリ部９２Ａのアドレスとして、表示面４の表示座標Ｐ（ｘ０，ｙ０）を順番に指定しながら、画像変換メモリ部９２Ａの読み出されたデータ（アドレス値）をフレームメモリ部９１のアドレスとする。その結果フレームメモリ部９１に格納された画素データは、表示面４の表示座標Ｐ（ｘ０，ｙ０）の画像データとして読み出されて、画像補間部９３に送られる。

なお、この画像変換において、表示面４の表示座標Ｐ（ｘ０，ｙ０）に対応して算出された入力画像１の入力画像座標Ｉ（ｘ３，ｙ３）は、通常小数を含む実数となる。この（ｘ３，ｙ３）のデータを画像変換メモリ部９２Ａに例えば１６ｂｉｔで記憶する場合、上位１０ｂｉｔを整数部、下位６ｂｉｔを小数部として記憶する。そして、表示面４の表示座標Ｐ（ｘ０，ｙ０）相当する画像データをフレームメモリ部９１から読み出す時、フレームメモリ部９１のアドレスに画像変換メモリ部９２Ａから出力されたデータ「ｘ３，ｙ３」を指定して読み出すが、この時、「ｘ３，ｙ３」の座標を囲む４画素の画素データが読み出される。即ち、「ｘ３，ｙ３」が「１０．５，１０．５」であれば、「１０，１０」、「１１，１０」、「１０，１１」、「１１，１１」の画素データがフレームメモリ部９１から読み出されて画像補間部９３に送られる。画像補間部９３に送られた４つ画素データは、画像変換メモリ部９２Ａから出力されたデータ「ｘ３，ｙ３」の小数部分に対応して各画素データを重み付けし、４つの画素データを加算することで表示面４の画素座標Ｐ（ｘ０，ｙ０）の画素データの補間演算が行われる。例えば、「ｘ３，ｙ３」が上記のように「１０．５，１０．５」であれば、４画素の中心点にあるため各画素の重み付け係数を０．２５（１の４等分）として掛けて、４画素を加算する。また、「ｘ３，ｙ３」が「１０．０，１０．０」であれば、「１０．０，１０．０」の画素データの重み付け係数を１として、他の画素データの重み付け係数をゼロとする。

なお、画像補間の方法はこれに限らず任意の方法でよいし、また、算出された「ｘ３，ｙ３」の整数部分のアドレスで示される画像データのみを用いてもよい。この場合、画像補間処理を行なわないで済むが、表示される画像の画質が劣化する可能性がある。

画像補間部９３で補間演算された画像データは、Ｄ／Ａコンバータ９４によってアナログ信号に変換されて表示装置へ送られる。

図１４は、光軸を下方向に１０度傾け、車載用のバックカメラでバンパも映るように撮像した入力画像を図４の補正面３を使用した図５の画像変換モデルを使用して画像変換したものであるが、光軸方向に沿った直線状の被写体が曲がっている。図１５はこの入力画像に対して、式(11)を適用して「θ＝１０」として前記手法で補正を行ったものであり、光軸方向の直線状の被写体が直線となり、後の車体も十分再現されている。よって、この画像データ変換装置を車載用のバックカメラに適用したとき、駐車の判断に好適となる。

１：入力画像（魚眼画像）
２：仮想物体面
３，３Ａ：補正面、３ａ：中央面、３ｂ：右側面、３ｃ：左側面、３ｄ：下中央面
４：表示面
５：光軸
６：撮像面
９１：フレームメモリ部
９２：画像変換部
９２Ａ：画像変換メモリ部
９３：画像補間部
９４：Ｄ／Ａコンバータ

Claims (3)

1. 魚眼レンズを用いて撮像された球形歪を含む被写体画像を入力画像とし、該入力画像の信号から前記球形歪を除去するように画像変換して出力画像を得る画像変換部を備えた画像データ変換装置において、
   前記画像変換部は、円形の平面からなる平面直交座標系の前記入力画像を、前記魚眼レンズと対応して前記被写体が映し出される極座標系の半球状の仮想物体面上の画像に変換し、該仮想物体面上の画像を、前記球形歪を補正する３次元直交座標系の補正面上の画像に変換し、該補正面上の画像を、平面直交座標系の表示面上に正射影法により投影して、前記出力画像を得、
   且つ前記補正面は、前記魚眼レンズの光軸原点から伸びる光軸の正面に配置された平面の中央面と、該中央面の左右にそれぞれ連続して配置された左側面および右側面とで構成され、
   且つ前記補正面の前記中央面と前記表示面は前記光軸に対して垂直に配置され、前記補正面の前記左側面および前記右側面は前記仮想物体面を包み込むように前記中央面の左右側から曲折して配置され、
   且つ前記補正面上の３次元直交座標をｘ１，ｙ１，ｚ１とするとき、
   として、該ｘ１’，ｙ１’，ｚ１’に基づき、前記入力画像を角度θだけ、前記補正面上において、ｙ−ｚ面内で回転して前記出力画像に変換されるようにしたことを特徴とする画像データ変換装置。
2. 魚眼レンズを用いて撮像された球形歪を含む被写体画像を入力画像とし、該入力画像の信号から前記球形歪を除去するように画像変換して出力画像を得る画像変換部を備えた画像データ変換装置において、
   前記画像変換部は、円形の平面からなる平面直交座標系の前記入力画像を、前記魚眼レンズと対応して前記被写体が映し出される極座標系の半球状の仮想物体面上の画像に変換し、該仮想物体面上の画像を、前記球形歪を補正する３次元直交座標系の補正面上の画像に変換し、該補正面上の画像を、平面直交座標系の表示面上に正射影法により投影して、前記出力画像を得、
   且つ前記補正面は、前記魚眼レンズの光軸原点から伸びる光軸の正面に配置された平面の中央面と、該中央面の左右にそれぞれ連続して配置された左側面および右側面とで構成され、
   且つ前記補正面の前記中央面と前記表示面は前記光軸に対して垂直に配置され、前記補正面の前記左側面および前記右側面は前記仮想物体面を包み込むように前記中央面の左右側から曲折して配置され、
   且つ前記補正面上の３次元直交座標をｘ１，ｙ１，ｚ１とするとき、
   として、該ｘ１’，ｙ１’，ｚ１’に基づき、前記入力画像を、前記補正面上において、角度θだけｘ−ｚ面内で回転して前記出力画像に変換されるようにしたことを特徴とする画像データ変換装置。
3. 魚眼レンズを用いて撮像された球形歪を含む被写体画像を入力画像とし、該入力画像の信号から前記球形歪を除去するように画像変換して出力画像を得る画像変換部を備えた画像データ変換装置において、
   前記画像変換部は、円形の平面からなる平面直交座標系の前記入力画像を、前記魚眼レンズと対応して前記被写体が映し出される極座標系の半球状の仮想物体面上の画像に変換し、該仮想物体面上の画像を、前記球形歪を補正する３次元直交座標系の補正面上の画像に変換し、該補正面上の画像を、平面直交座標系の表示面上に正射影法により投影して、前記出力画像を得、
   且つ前記補正面は、前記魚眼レンズの光軸原点から伸びる光軸の正面に配置された平面の中央面と、該中央面の左右にそれぞれ連続して配置された左側面および右側面とで構成され、
   且つ前記補正面の前記中央面と前記表示面は前記光軸に対して垂直に配置され、前記補正面の前記左側面および前記右側面は前記仮想物体面を包み込むように前記中央面の左右側から曲折して配置され、
   且つ前記補正面上の３次元直交座標をｘ１，ｙ１，ｚ１とするとき、
   として、該ｘ１’，ｙ１’，ｚ１’に基づき、前記入力画像を、前記補正面上において、角度θだけｘ−ｙ面内で回転して前記出力画像に変換されるようにしたことを特徴とする画像データ変換装置。