JP4908350B2 - 画像処理方法と該画像処理方法を用いた撮像装置 - Google Patents

Description

本発明は画像処理方法と該画像処理方法を用いた撮像装置に係り、特に、撮像レンズの歪曲収差で歪んだ画像や、俯瞰撮影やあおり撮影によって被写体の遠近での歪みが不自然になった画像などの補正、撮像した画像の視点を変更した画像の生成、撮像した画像の鏡像反転、電子ズーム処理など、種々の画像処理を高速に行えるようにした画像処理方法と該画像処理方法を用いた撮像装置に関するものである。

一般にカメラ等に用いられる撮像レンズには、球面収差、非点収差、コマ収差などの様々な収差が存在する。その中で、撮影された画像が幾何学的に歪む収差が歪曲収差と云われ、この歪曲収差を少なくする方法としては、極力、歪曲収差を抑えたレンズ設計を行うのが一般的である。

しかしながら特殊な用途においては、こういった歪曲収差をそのまま残したレンズが用いられている。例えば車の後部や前部に設置して後方、前方確認のための撮像を行うモニタ撮像装置などでは、車のバック時、車の存在は認識していてもバックするなどと思わずに近寄ってくる歩行者などを確実に発見できるよう、また、Ｔ字路で車の前部だけを交差する路に突出させ、左右から来る車や人を確認できるよう、超広角の非常に広範囲を撮像することができる魚眼レンズなどが用いられる。また、玄関に設置して来訪者を撮像するモニタ撮像装置でも、例え不審者がモニタに表示されるのを嫌って撮像装置からは斜めとなるような位置にいても、この不審者を撮像できるように超広角の撮影範囲を有した魚眼レンズなどのレンズが使われている。

こういった用途に使われるレンズでは、超広角を撮像することが歪曲収差の補正より優先されているため、魚眼レンズのように大きな歪曲収差があってもそのままとすることが多い。しかしながら魚眼レンズでは、１８０°近くの視野を画面に納める関係上、画像の周辺部のものが大きく歪曲すると共に小さくなり、周辺に映っているものが人なのか電柱なのかわかりにくい場合があるといった問題がある

また、図７（Ａ）、（Ｂ）に示したように、撮像装置３１を車３０の後部３２に取り付けて、バック時に後方を撮像して表示装置に表示し、車庫入れなどが容易に行えるようにすることも行われている。この図７において（Ｃ）は撮像装置３１の取り付け状態を示した拡大断面図、（Ｄ）は撮像装置３１の取り付け位置の拡大図であり、この場合の撮像装置３１は、前記した魚眼レンズや通常の広角レンズが用いられるが、撮像装置３１が車３０の後部３２に、図７（Ｃ）のように斜めに地面に向けて取り付けられることが多い。

そのため、例え通常の広角レンズが用いられても図８（Ａ）に示したように、得られる画像は俯瞰撮影となって表示される画像は手前のものが大きく、遠くのものが小さいあおりの効いた画像となる。なお、この図８（Ａ）において４０は例えばコンクリート製の壁が立ち上がっている位置、４１は車輪止め、４２は駐車位置を示す線である。しかしながら、このようにあおりの効いた画像を頼りにバックしながら駐車場に駐車しようとすると、運転している車と車止め４１までの距離が感覚的につかめず、結局表示画面を見ないで窓やドアを開けて後方確認しながらバックする、ということになって、せっかくの撮像装置や表示装置が活用されないということが起こる。

さらに、例えばテレビ会議装置などで撮像装置が高い位置に設置されている場合、撮像されて画面に表示された人の画像は頭が大きく、肩から下は、足の方に行くに従って小さくなる不自然な画像となり、画面を見る人に違和感を感じさせるといった問題を生じることもある。

このような場合、レンズにより結像された像を撮像素子からの画像信号として取り込む撮像装置では、銀塩式フィルムのカメラとは異なり、歪んだりあおりが効いた画像をデータ上で補正することが可能である。

すなわち図８（Ｂ）に示したように、表示画像における近くのものも遠くのものも同じ大きさとなるよう画像データを補正し、例えば駐車線４２が平行になるように表示すると共に、運転している車の位置と車止め４１などまでの距離もわかるように表示すれば、運転者は感覚的に、一目で自分の車と車止め４１までの距離を知ることができて非常に便利である。また、テレビ会議装置における撮像装置が例え高い位置に設置されていても、人物像が違和感を感じさせないようバランスが良くなるように補正されていれば、前記したような問題は起こらない。

また、所謂デジカメでは、例えば図９（Ａ）のような撮像画像のうち、中心部など、任意の部分を図９（Ｂ）のように拡大する電子ズーム処理や、図１０（Ａ）のような撮像画像を図１０（Ｂ）のように鏡に映したような画像にする鏡像反転、通常のアスペクト比４：３のテレビに表示したり、ハイビジョン対応テレビのように１６：９のアスペクト比のテレビに表示するなど、種々の画像処理が要望される場合もある。

すなわち、デジカメを手に持ってレンズを自分の方に向けて自分を撮影するような場合（自分撮り）、自分をもっと画面の中央に映るようにしようと自分が中央に来ると思う方向にカメラを動かすと、そのままではカメラを動かす方向と画面の方向が逆となるため、画面上では自分が中央から離れる方向に動かしてしまう場合がある。しかし、鏡像反転させるとカメラを動かした方向が自分の思う方向になり、こういったことを防ぐことができる。また、電子ズームで拡大処理をしながら自分撮りをするような場合は少しの動きが増幅されるため、上記したように鏡像反転せずに思う方向と動く方向が逆の場合、画面から自分が消えてしまって元に戻すのが難しかったりするが、鏡像反転するとこういったことがなくなり、自分を撮影する状態をよりよく確認することができる。

また、デジカメ画像を通常のアスペクト比４：３のテレビに表示したり、ハイビジョン対応テレビのように１６：９のアスペクト比のテレビに表示する場合、水平、垂直方向の倍率を部分によって変更して画面一杯に表示することが望まれる。

そしてこのように、撮像レンズが歪曲収差を有したり、撮像装置が上方に取り付けられて撮像された画像にあおりによる歪みなどが存在する場合、それを補正した画像を得るためには、まず被写体上の各点が歪曲収差や俯瞰撮影によって実際に結像する位置と、歪曲収差がない場合に結像する位置やあおりを補正した結像位置との対応関係を調べる。そして、撮像素子から得られた撮像データを収容した画像データ格納用メモリから、そのデータを出力する際に出力アドレス毎に、画像データ格納用メモリにおけるどのアドレスの撮像データを読み出せば、被写体上の各点における収差やあおりが補正されたデータとして出力できるかを算出することで、撮像レンズに起因する画像歪みやあおりを補正した出力画像データを得ることができる。これは前記図９や図１０に示したような電子ズームや鏡像反転の場合も同じである。

こういったことを行うため、例えば特許文献１には、魚眼レンズを用いた撮像装置を任意の設置アングルで取り付け、魚眼レンズを用いた撮像装置の設置角により生じるあおりを補正する座標変換と、魚眼レンズ画像の歪みを補正する座標変換とを組み合わせて演算する構成を備え、等面積射影の魚眼レンズ像を高速に写像変換し、更に、魚眼レンズ画像内の領域に対応した重み付けを行って人物像等の特徴量を抽出し、表示エリアを抽出できるようにした、魚眼レンズカメラ装置及びその画像歪み補正方法及び画像抽出方法が示されている。

しかしながらこの処理は、一般的に、出力（書き込み）画像メモリに対してラスタ走査を行い、出力画像データメモリのアドレスに対応する入力（読み出し）画像メモリのアドレスを求め、そのアドレスの入力画像メモリから読み出した画像データを出力画像データメモリに書き込むことで行われるが、この際、出力画像データメモリのアドレスに対応する入力画像メモリのアドレスが必ずしも整数とはならないため、補間処理が必要になる。ところが、最近の撮像素子は画素数が非常に大きくなり、このような座標変換をリアルタイムに行うと演算量が莫大になり、高速の素子が必要になって撮像装置が非常に高価になる。

そのため例えば特許文献２には、画像の平行移動、回転、拡大、縮小や非線形な幾何学的（座標）変換を高速に行うため、処理対象となる原画像デークを蓄積する入力画像メモリと、変換処理後の画像データを蓄積する出力画像データメモリと、出力画像データメモリのラスタ走査におけるアドレスに座標変喚を施し、入力画像メモリのアドレスを演算するアドレス演算回路と、アドレス演算回路から出力されるアドレスを構成する２つの整数の各々がそれぞれ入力され、あらかじめ設定された変換特性に従ってデータ変換を行う２つのルックアップテーブル回路とで構成され、この２つのルックアップテーブル回路から得られたデータをアドレスとして入力画像メモリのデータを読み出し、この読み出したデータを出力画像データメモリに書き込むようにした画像変換回路が示されている。

また、特許文献３には、撮像装置の傾きにより生ずるひずみを自動的に補正できるようにするため、撮像装置の傾きを測定する傾き測定手段と、撮像された画像中の拡大率を変えることが可能な電子ズーム手段と、前記撮像装置の焦点距離と傾き、及び画像の座標に対して拡大率を設定したルックアップテーブルとからなり、このルックアップテーブルを参照して拡大率を決定し、第２の拡大率制御手段で電子ズーム手段を制御して、傾き測定手段で測定した傾きに起因するあおりを補正するようにした撮像装置が示されている。

特開平１１−２６１８６８号公報 特開平３−１０３８０号公報 特開平１０−１４５６６７号公報

しかしながら、特許文献１に示された方法は、前記した最近の撮像素子のように画素数が非常に多いと演算量が莫大になり、リアルタイム処理のためには高速の素子が必要になって撮像装置が非常に高価になる。また、特許文献２、特許文献３のように処理の高速化のため、予めルックアップテーブルを用意することで演算量を少なくすることは可能であるが、上記したように最近の撮像素子のように画素数が非常に多くなると、今度はルックアップテーブルのサイズが大きくなり、その分高価になる。

そのため本発明においては、撮像レンズに起因する画像歪みの補正、俯瞰撮影やあおり撮影、撮像した画像の鏡像反転、電子ズーム処理など、種々の画像処理を、簡単な構成で安価に、高速に行えるようにした、画像処理方法と該画像処理方法を用いた撮像装置を提供することが課題である。

上記課題を解決するため本発明になる画像処理方法は、
撮像レンズを介して得られた撮像データにおける、前記撮像レンズに起因する画像歪みの補正、あおり若しくは俯瞰による像倒れの補正、鏡像反転、電子ズーム処理のうちの少なくとも二つの画像変換処理を実施した出力画像データを得るための画像処理方法であって、
予め、前記出力画像データにおける水平走査方向（Ｘ方向）アドレスを前記撮像データの水平走査方向アドレスに変換する第１の水平走査方向アドレス変換係数を、前記撮像レンズの光軸中心アドレスと前記出力画像データアドレスにおける垂直走査方向アドレスとの差に対応させて定めると共に、前記出力画像データにおける垂直走査方向（Ｙ方向）アドレスを前記撮像データの垂直走査方向アドレスに変換する第１の垂直走査方向アドレス変換係数を、前記撮像レンズの光軸中心アドレスと前記出力画像データアドレスにおける水平走査方向アドレスとの差に対応させて定めて構成した第１のアドレス変換係数を用意し、
前記出力画像データのアドレスに前記第１のアドレス変換係数を乗じ、得られた撮像データアドレスのデータを出力画像データとすることにより一の画像変換処理を実施すると共に、
前記一の画像変換処理実施に際し、前記出力画像データにおける水平走査方向アドレスに、該水平走査方向アドレスの前記撮像レンズの光軸中心アドレスとの差に応じた第２の水平走査方向アドレス変換係数を、及びまたは、前記出力画像データにおける垂直走査方向アドレスに、該垂直走査方向アドレスの前記撮像レンズの光軸中心アドレスとの差に応じた第２の垂直走査方向アドレス変換係数を、前記第１のアドレス変換係数に合わせて乗じ、撮像画像における任意位置と方向に前記第２のアドレス変換係数に基づく他の画像変換処理である倍率の画像伸縮を行った出力画像データを出力できるようにしたことを特徴とする。

そして、この画像処理方法を用いた撮像装置は、
撮像レンズと、
該撮像レンズを介して得られた像を光電変換する撮像素子と、
該撮像素子の出力信号を処理して映像データに変換する映像信号処理部と、
該映像信号処理部により処理された映像データを一時記憶する撮像データメモリと、
該撮像データメモリに記憶されたデータから出力画像データを生成する座標変換処理部とからなり、
該座標変換処理部は、前記撮像レンズに起因する画像歪みの補正、あおり若しくは俯瞰による像倒れの補正、鏡像反転、電子ズーム処理のうちの少なくとも二つを実施するため、前記出力画像データのアドレスから対応する前記撮像データメモリアドレスを算出する、第１の水平走査方向（Ｘ方向）アドレス変換係数を配した第１の水平アドレスルックアップテーブルと、第１の垂直走査方向（Ｙ方向）アドレス変換係数を配した第１の垂直アドレスルックアップテーブルと、前記座標変換処理部は前記出力画像データのアドレスから、前記撮像データメモリに記憶された撮像画像における任意位置と方向に画像伸縮を行うためのアドレスを得るための、第２の水平走査方向アドレス変換係数、及びまたは、第２の垂直走査方向アドレス変換係数で構成される第２のアドレス変換係数を配した第２のルックアップテーブルとを有し、
前記第１の水平、垂直アドレスルックアップテーブルに配された第１の水平走査方向アドレス変換係数は、前記撮像レンズの光軸中心アドレスと、前記出力画像データアドレスにおける垂直走査方向アドレスとの差に対応させて定めた係数であり、第１の垂直走査方向アドレス変換係数は、前記撮像レンズの光軸中心アドレスと、前記出力画像データアドレスにおける水平走査方向アドレスとの差に対応させて定めた係数であり、
前記第２のルックアップテーブルに配された第２の水平走査方向アドレス変換係数は、前記撮像レンズの光軸中心アドレスと、前記出力画像データアドレスにおける水平走査方向アドレスとの差に対応させて定めた係数であり、第２の垂直走査方向アドレス変換係数は、前記撮像レンズの光軸中心アドレスと、前記出力画像データアドレスにおける垂直走査方向アドレスとの差に対応させて定めた係数であり、
前記出力画像データのアドレスに前記第１のアドレス変換係数を乗じ、得られた撮像データアドレスのデータを出力画像データとすることにより一の画像変換処理を実施すると共に、前記一の画像変換処理実施に際し、前記出力画像データに前記第２のアドレス変換係数を乗じ、他の画像変換処理である倍率の画像伸縮を行うことを特徴とする。

撮像レンズに起因する画像歪みの補正は、通常一定の曲率の画像歪みを直線に変換する補正であり、また、あおり若しくは俯瞰による像倒れの補正は一定の傾斜を平行にさせるものである。さらに鏡像反転は左右変換、電子ズーム処理はデータの単なる一定倍率方向への移動であるから、これらの座標変換は、少ないアドレス変換係数でも比較的正確な座標変換が可能である。そのため、以上説明してきたように、出力画像データにおける水平、垂直走査方向アドレスを撮像データの水平、垂直走査方向アドレスに変換する、第１の水平、垂直走査方向変換係数を用いることで、こういった座標変換を非常に少ない数の変換係数で行うことが可能となり、しかも、演算も非常に簡単なものであるから、撮像装置を複雑にすることなく、安価に、高速に出力画像データアドレスを撮像データアドレスに変換して、出力画像データを得ることができる画像処理方法と該画像処理方法を用いた撮像装置とすることができる。

そして、前記画像変換処理実施に際し、前記出力画像データにおける水平走査方向アドレスに、該水平走査方向アドレスの前記撮像レンズの光軸中心アドレスとの差に応じた第２の水平走査方向アドレス変換係数を、及びまたは、前記出力画像データにおける垂直走査方向アドレスに、該垂直走査方向アドレスの前記撮像レンズの光軸中心アドレスとの差に応じた第２の垂直走査方向アドレス変換係数を、合わせて乗じ、前記撮像画像における任意位置と方向に前記第２のアドレス変換係数に基づく倍率の画像伸縮を行った出力画像データを出力できるようにし、そのために、前記座標変換処理部は前記出力画像データのアドレスから、前記撮像データメモリに記憶された前記撮像画像における任意位置と方向に画像伸縮を行うためのアドレスを得るための、第２の水平走査方向アドレス変換係数、及びまたは、第２の垂直走査方向アドレス変換係数で構成される第２のアドレス変換係数を配した第２のルックアップテーブルを有し、該第２のルックアップテーブルに配された第２の水平走査方向アドレス変換係数は、前記撮像レンズの光軸中心アドレスと、前記出力画像データアドレスにおける水平走査方向アドレスとの差に対応させて定めた係数であり、第２の垂直走査方向アドレス変換係数は、前記撮像レンズの光軸中心アドレスと、前記出力画像データアドレスにおける垂直走査方向アドレスとの差に対応させて定めた係数とすることで、例えば前記したＴ字路で車の前部に設けた撮像装置を交差する路に突出させ、左右から来る車や人を確認する場合は、例えば中央を小さく、左右の端部側の画像を大きくするように表示させることで確認作業が容易になり、また、画像のアスペクト比を変換する場合なども縦横比が同一となるよう一方向の倍率を他方向より大きく、または小さくして表示する、などのことが可能となる。

さらに、前記第１、第２のアドレス変換係数をそれぞれ離散的に用意し、前記画像変換処理を実施する際に対応する前記第１または第２のアドレス変換係数が存在しない場合は、前記出力画像データアドレスに対応する前記第１または第２のアドレス変換係数の前後の変換係数を用い、第１の補間処理により算出し、また、前記第１、第２のアドレス変換係数を前記出力画像データアドレスに乗じて得られた撮像データアドレスにより出力画像データを生成する画像変換処理は、対応する撮像データアドレスが存在しない場合は前記撮像データアドレスの周囲に位置する撮像データを用い、第２の補間処理により撮像データを算出し、そのため、前記第１、第２のルックアップテーブルには前記第１、第２のアドレス変換係数が離散的に配され、前記座標変換処理部は、出力画像データアドレスに対応した前記第１、第２のアドレス変換係数を補間により算出する第１の補間処理部と、該第１の補間処理部が算出した撮像データメモリのアドレスにおける周囲の撮像画像データから、出力画像データを算出する第２の補間処理部とを有することで、第１、第２のアドレス変換係数を離散的に用意しても正確な画像変換処理を実施することができる。

そして、前記第１と第２のアドレス変換係数は、前記撮像レンズの光軸中心を基準として割り振られ、前記撮像レンズの光軸中心アドレスは変更可能とすることで、たとえ撮像レンズと撮像素子の光軸が狂うようなことがあっても、容易にそれを解消して正確な画像変換処理を実施することができる。

また、前記第１、第２のルックアップテーブルは、前記撮像データにおける水平走査方向アドレスと垂直走査方向アドレスとを別のルックアップテーブルとすることで、例えば前記したＴ字路で車の前部に設けた撮像装置を交差する路に突出させるような場合、垂直方向の補正は一定領域のみとし、水平方向の車や人が容易に判別できるような画像変換処理に向くルックアップテーブルとすることができる。

さらに、前記第１のアドレス変換係数を構成する第１の水平走査方向アドレス変換係数と第１の垂直走査方向アドレス変換係数、及び第２のアドレス変換係数を構成する第２の水平走査方向アドレス変換係数と第２の垂直走査方向アドレス変換係数は、それぞれ複数のビットで構成される上位ビットと下位ビットからなるビット列データで構成し、前記第１のアドレス変換係数を構成する第１の水平走査方向アドレス変換係数を上位若しくは下位のいずれかのビットに、第１の垂直走査方向アドレス変換係数を前記第１の水平走査方向アドレス変換係数が配されなかった下位若しくは上位ビットに配し、前記第２のアドレス変換係数を構成する第２の水平走査方向アドレス変換係数を上位若しくは下位のいずれかのビットに、第２の垂直走査方向アドレス変換係数を前記第２の水平走査方向アドレス変換係数が配されなかった下位若しくは上位ビットに配して前記ルックアップテーブルを構成すると、水平、垂直変換係数を単一のルックアップテーブルで構成する場合は、非常に小さな記憶容量でルックアップテーブルを構成することが可能となる。

前記撮像レンズは、広角レンズ、若しくは魚眼レンズとすると、本発明を効果的に実施できる実施形態となる。

以上記載のごとく本発明になる画像処理方法と該画像処理方法を用いた撮像装置は、出力画像データにおける水平、垂直走査方向アドレスを撮像データの水平、垂直走査方向アドレスに変換する、第１の水平、垂直走査方向変換係数を用いることで、撮像レンズに起因する画像歪みの補正、あおり若しくは俯瞰による像倒れの補正、鏡像反転、電子ズーム処理などの座標変換処理を非常に少ない数の変換係数で行うことが可能となり、しかも、演算も非常に簡単なものであるから、撮像装置を複雑にすることなく、安価に、高速に出力画像データアドレスを撮像データアドレスに変換して、出力画像データを得ることができる画像処理方法と該画像処理方法を用いた撮像装置とすることができる。

また、撮像画像における任意位置と方向に、前記第２のアドレス変換係数に基づく倍率の画像伸縮を行えるようにしたことで、Ｔ字路で車の前部に設けた撮像装置を交差する路に突出させ、左右から来る車や人を確認する場合に画像の中央部は小さく、左右の端部側の画像を大きくするようなこともできるから、こういった場合の確認作業が容易になり、また、画像のアスペクト比を変換する場合なども縦横比を部分によって異ならせて画面一杯に表示する、などのことが可能となって表示を見やすくすることが可能となる。

以下、図面を参照して本発明の好適な実施例を例示的に詳しく説明する。但しこの実施例に記載されている構成部品の形状等は、この発明の範囲をそれに限定する趣旨ではなく、単なる説明例に過ぎない。

図１は、本発明になる画像処理方法を用いた撮像装置のブロック図である。図１において１は撮像レンズで、本発明の撮像装置に使用するレンズ１は、例えば画面長手方向の画角が３５°より大きい一般的に広角レンズと呼ばれているレンズや、画角が１８０°に近く、場合によってはそれ以上の画角を有して一般的に魚眼レンズと呼ばれ、超広角ではあるが歪曲収差を有したレンズなどで構成する。なお、本発明はこういった広角レンズを使用した場合に大きな効果を発揮するが、一般的な写真の分野で標準レンズと呼ばれているレンズやそれに近い望遠レンズなど、俯瞰撮影したときにあおりが生じるようなレンズならどのような画角のレンズであっても良いことは自明である。

２はＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｅｒ）を用いた固体撮像素子、３は固体固体撮像素子２からのアナログ画像信号のノイズ成分を除去して増幅し、さらにそのアナログ画像信号をデジタル画像信号に変換する映像信号処理部、４はデジタル画像信号に変換された撮像データを格納する撮像データメモリである。

５は、本発明になる画像処理方法により、撮像レンズに起因する画像歪みの補正、あおり若しくは俯瞰による像倒れの補正、鏡像反転、電子ズーム処理のうちの少なくとも一つを実施するための座標変換処理部で、５１は本発明の画像処理方法により上記した補正を実施した出力画像データを生成する出力画像生成部、５２は座標計算部で、この座標計算部５２は、出力画像生成部５１が出力する出力画像データのアドレスを順次取得し、それを第１の補間処理部５３に送って最終的に、送ったアドレスに対応する撮像データメモリ４のデータが出力画像生成部５１に送られるようにする。

５３は、座標計算部５２から送られてきた出力画像データのアドレス（Ｘ_ｉｎ，Ｙ_ｉｎ）により、ルックアップテーブル（以下、ＬＵＴと略称する）５４を参照してそのアドレス（Ｘ_ｉｎ，Ｙ_ｉｎ）に配されている第１のアドレス変換係数（Ｄ_ｘｙ）、（Ｄ_ｙｘ）と、第２のアドレス変換係数（Ｄ_ｘｘ）、（Ｄ_ｙｙ）を読み出し、撮像データメモリ４のアドレス（Ｘ_ｒｅｆ，Ｙ_ｒｅｆ）を算出して第２の補間処理部５５に送る第１の補間処理部である。なお、ＬＵＴ５４は、全ての出力画像データのアドレス（Ｘ_ｉｎ，Ｙ_ｉｎ）に対応させてアドレスを設けると大きな容量を必要とするため、水平走査方向、垂直走査方向それぞれに対し、例えばアドレス３２毎のアドレスに対応して、第１のアドレス変換係数（Ｄ_ｘｙ）、（Ｄ_ｙｘ）と、第２のアドレス変換係数（Ｄ_ｘｘ）、（Ｄ_ｙｙ）を離散的に記憶させるようにすると、ＬＵＴ５４を大容量とすることなく記憶させることが可能となる。

そのため、このようにＬＵＴ５４を離散的に構成することで、アドレス（Ｘ_ｉｎ，Ｙ_ｉｎ）に対応するＬＵＴ５４のアドレスが存在しない場合、第１の補間処理部５３は、そのアドレス（Ｘ_ｉｎ，Ｙ_ｉｎ）の前後に相当するＬＵＴ５４のアドレスに記憶されている第１のアドレス変換係数（Ｄ_ｘｙ）、（Ｄ_ｙｘ）、第２のアドレス変換係数（Ｄ_ｘｘ）、（Ｄ_ｙｙ）を読み出し、第１の補間処理によりアドレス（Ｘ_ｉｎ，Ｙ_ｉｎ）に対応した第１のアドレス変換係数（Ｄ_ｘｙ）、（Ｄ_ｙｘ）、第２のアドレス変換係数（Ｄ_ｘｘ）、（Ｄ_ｙｙ）を算出すると共に、出力画像データのアドレス（Ｘ_ｉｎ，Ｙ_ｉｎ）とこの第１のアドレス変換係数（Ｄ_ｘｙ）、（Ｄ_ｙｘ）、第２のアドレス変換係数（Ｄ_ｘｘ）、（Ｄ_ｙｙ）を用い、撮像データメモリ４のアドレス（Ｘ_ｒｅｆ，Ｙ_ｒｅｆ）を算出して第２の補間処理部５５に送る処理を行う。

５４は、後述する図３に示した本発明の画像処理方法に用いる第１のアドレス変換係数（Ｄ_ｘｙ）、（Ｄ_ｙｘ）、第２のアドレス変換係数（Ｄ_ｘｘ）、（Ｄ_ｙｙ）を記憶しているＬＵＴ、５５は、第１の補間処理部５３から送られてくる、出力画像データアドレス（Ｘ_ｉｎ，Ｙ_ｉｎ）に対応した撮像データメモリ４のアドレス（Ｘ_ｒｅｆ，Ｙ_ｒｅｆ）から撮像データを読み出す、またはそのアドレス（Ｘ_ｒｅｆ，Ｙ_ｒｅｆ）が小数点以下を含むために存在しない場合、そのアドレス（Ｘ_ｒｅｆ，Ｙ_ｒｅｆ）の周囲のアドレスの撮像データを読み出し、第２の補間処理により出力画像データアドレス（Ｘ_ｉｎ，Ｙ_ｉｎ）に対応した撮像データを生成する第２の補間処理部である。

以上が本発明になる画像処理方法を用いた撮像装置の構成要素であるが、この図１に示した撮像装置の動作を説明する前に、図４、図５を用い、本発明になる画像処理方法における、出力画像データアドレス（Ｘ_ｉｎ，Ｙ_ｉｎ）に対応した撮像データメモリ４のアドレス（Ｘ_ｒｅｆ，Ｙ_ｒｅｆ）から、撮像データを読み出す処理について説明する。

図４（Ａ）は、本発明になる画像処理方法により、水平方向（Ｘ方向）座標に対する垂直方向（Ｙ方向）座標の変換を行うための、第１の垂直走査方向アドレス変換係数（Ｄ_ｘｙ）により座標変換を行う様子を説明するための図、（Ｂ）は垂直方向（Ｙ方向）座標に対する水平方向（Ｘ方向）座標の変換を行うための、第１の水平走査方向アドレス変換係数（Ｄ_ｙｘ）により座標変換を行う様子を説明するための図である。

本発明になる画像処理方法では、撮像レンズ１に起因する画像歪みの補正、あおり若しくは俯瞰による像倒れの補正、鏡像反転、電子ズーム処理などの画像変換処理を行うため、出力画像データにおける水平走査方向アドレス（Ｘ_ｉｎ）と垂直走査方向アドレス（Ｙ_ｉｎ）に対し、撮像データメモリ４におけるどの水平走査方向アドレス（Ｘ_ｒｅｆ）、垂直走査方向アドレス（Ｙ_ｒｅｆ）のデータを読み出せば上記画像変換処理を行えるかを調べ、その結果を用い、撮像装置を構成する撮影レンズ１の光軸の座標（Ｘ_ｃ，Ｙ_ｃ）から、出力画像データにおける水平走査方向アドレス（Ｘ_ｉｎ）と垂直走査方向アドレス（Ｙ_ｉｎ）までの距離に、どのような値を乗じれば調べた撮像データメモリ４における水平走査方向アドレス（Ｘ_ｒｅｆ）、垂直走査方向アドレス（Ｙ_ｒｅｆ）になるかを調べ、その値を第１の水平走査方向アドレス変換係数（Ｄ_ｘｙ）、第１の垂直走査方向アドレス変換係数（Ｄ_ｙｘ）とした。

これを示したのが図４（Ａ）、（Ｂ）である。この図４におけるＸ軸、Ｙ軸として示した線の交点は、撮像画像における左上の原点に相当し、Ｘ_ｃ、Ｙ_ｃは撮影レンズ１の光軸を通るＹ軸方向、Ｘ軸方向の線である。また、それぞれの図における曲線は、被写体に含まれる直線が撮像レンズ１に起因する画像歪みによって歪曲した状態を示し、図４（Ａ）においては光軸（Ｘ_ｃ，Ｙ_ｃ）から遠ざかるにつれてＸ軸方向の直線が光軸（Ｙ_ｃ）方向に歪曲し、図４（Ｂ）においては光軸（Ｘ_ｃ，Ｙ_ｃ）から遠ざかるにつれてＹ軸方向の直線が光軸（Ｘ_ｃ）方向に歪曲している状態を想定している。そして（Ｘ_ｉｎ，Ｙ_ｉｎ）は、前記したように出力画像データのアドレスであり、（Ｘ_ｒｅｆ，Ｙ_ｒｅｆ）は、この出力画像データのアドレス（Ｘ_ｉｎ，Ｙ_ｉｎ）に出力する撮像データメモリ４のアドレスを示す。

今、図４（Ａ）において出力画像データのアドレスが２０の番号を付した（Ｘ_ｉｎ，Ｙ_ｉｎ）であるとすると、この出力画像データアドレス２０における光軸Ｙ_ｃからのＹ軸方向の距離は（Ｙ_ｃ−Ｙ_ｉｎ）となる。そのため、出力画像データのアドレス（Ｘ_ｉｎ，Ｙ_ｉｎ）２０に対するＹ軸方向の変換係数を第１の水平走査方向アドレス変換係数（Ｄ_ｘｙ）とすると、撮像データメモリ４の垂直走査方向アドレス（Ｙ_ｒｅｆ）２１は、
Ｙ_ｒｅｆ＝Ｙ_ｃ−Ｄ_ｘｙ（Ｙ_ｃ−Ｙ_ｉｎ） …………………………（１）
となる。

また、図４（Ｂ）において出力画像データのアドレスが２５の番号を付した（Ｘ_ｉｎ，Ｙ_ｉｎ）であるとすると、この出力画像データアドレス２５における光軸Ｘ_ｃからのＸ軸方向の距離は（Ｘ_ｃ−Ｘ_ｉｎ）となる。そのため、出力画像データのアドレス（Ｘ_ｉｎ，Ｙ_ｉｎ）２５に対するＸ軸方向の変換係数を第１の垂直走査方向アドレス変換係数（Ｄ_ｙｘ）とすると、撮像データメモリ４の水平走査方向アドレス（Ｘ_ｒｅｆ）２６は、
Ｘ_ｒｅｆ＝Ｘ_ｃ−Ｄ_ｙｘ（Ｘ_ｃ−Ｘ_ｉｎ） …………………………（２）
となる。

すなわち、被写体における図４（Ａ）のようにＸ軸方向の直線が、撮像データにおいては光軸（Ｙ_ｃ）方向に歪曲している場合は、光軸（Ｘ_ｃ）からの距離に応じ、Ｙ軸方向の位置を補正する第１の水平走査方向アドレス変換係数（Ｄ_ｘｙ）を（Ｙ_ｃ−Ｙ_ｉｎ）に乗じ、その積を光軸（Ｙ_ｃ）から引くことで、出力画像データのアドレス（Ｙ_ｉｎ）に対する撮像データメモリ４における出力すべきデータのアドレス（Ｙ_ｒｅｆ）が算出できるわけであり、これは図４（Ｂ）のようにＹ軸方向の直線が、撮像データにおいては光軸（Ｘ_ｃ）方向に歪曲している場合も全く同様である。

なおこの図４に示した例は、撮像レンズ１に起因する画像歪みの補正の場合であるが、前記した図８（Ａ）のようにあおり若しくは俯瞰による像倒れがある画像を、図８（Ｂ）のように駐車位置を示す線４２が平行となるように補正する場合は、図４（Ｂ）のようにＹ軸方向の直線が、撮像データにおいては光軸（Ｙ_ｃ）からの距離に比例して光軸（Ｘ_ｃ）方向に近づく場合であり、この場合は第１のアドレス変換係数は、第１の垂直走査方向アドレス変換係数（Ｄ_ｙｘ）となると共に、その値は光軸（Ｙ_ｃ）からの距離に比例した値となる。

また、鏡像反転の場合はこれら第１の水平走査方向アドレス変換係数（Ｄ_ｘｙ）、第１の垂直走査方向アドレス変換係数（Ｄ_ｙｘ）を、光軸（Ｘ_ｃ）に対して対称となるように、電子ズーム処理の場合は光軸の中心からＸ軸方向、Ｙ軸方向にそれぞれ等しい係数を乗じるように定めればよい。

以上が撮像レンズ１に起因する画像歪みの補正、あおり若しくは俯瞰による像倒れの補正、鏡像反転、電子ズーム処理などの画像変換処理を行う場合であるが、次に図５を用い、撮像画像における任意位置と方向の画像伸縮を行った出力画像データを得る場合について説明する。

この図５（Ａ）は、一例として、撮像画像データの水平走査方向アドレスを任意倍率に変換して出力画像データとする、第２の水平走査方向アドレス変換係数（Ｄ_ｘｘ）によって水平方向（Ｘ方向）座標を変換する方法を説明するための図で、（Ｂ）と（Ｃ）は、この変換により、（Ｂ）に示した画像における両端側が、（Ｃ）に示したように中央部に較べて引き延ばされた画像となることを示した図である。

この図５（Ａ）において、Ｘ軸、Ｙ軸として示した線の交点は、図４の場合と同様、撮像画像における左上の原点に相当し、Ｘ_ｃ、Ｙ_ｃは撮影レンズ１の光軸を通るＹ軸方向、Ｘ軸方向の線である。この図５（Ａ）は、上記したように、撮像画像データにおける水平走査方向（Ｘ方向）アドレスを任意倍率に変換する、第２の水平走査方向アドレス変換係数（Ｄ_ｘｘ）を用い、例えば水平方向（Ｘ方向）の出力画像データアドレスＸ_ｉｎ２７に対しては、２８で示した撮像データメモリ４の水平走査方向アドレスＸ_ｒｅｆの撮像データを、出力画像データとして出力するようにするものである。

ここで出力画像データのアドレス（Ｘ_ｉｎ，Ｙ_ｃ）２７における、光軸Ｘ_ｃからのＸ軸方向の距離は（Ｘ_ｃ−Ｘ_ｉｎ）となるから、出力画像データのアドレス（Ｘ_ｉｎ，Ｙ_ｃ）２７に対するＸ軸方向の変換係数を第２の水平走査方向アドレス変換係数（Ｄ_ｘｘ）とすると、前記図４（Ｂ）に示したようにＹ軸方向の直線が、撮像データにおいては光軸（Ｘ_ｃ）方向に歪曲している場合の補正と合わせて行う場合、撮像データメモリ４の水平走査方向アドレス（Ｘ_ｒｅｆ）２８は、
Ｘ_ｒｅｆ＝Ｘ_ｃ−Ｄ_ｘｘＤ_ｙｘ（Ｘ_ｃ−Ｘ_ｉｎ） …………………………（３）
となる。

この変換により、図５（Ｂ）に示したような等間隔の升目の被写体は、図５（Ｃ）に示したように、Ｘ方向の中心部が密に、両端に行くに従って拡大された画像となる。そのため、前記したようにＴ字路で車の前部に設けた撮像装置を交差する路に突出させ、左右から来る車や人を確認する場合などは、このように左右の画像が伸長されていることで、それだけ左右の人や車を含む物体が大きく表示され、確認が容易になる。

なお、この図５に示した例は、撮像画像データの水平走査方向アドレスを任意倍率に変換して出力画像データとする場合であったが、まったく同様にして撮像画像データの垂直走査方向アドレス（第２の垂直走査方向アドレス変換係数（Ｄ_ｙｙ）を用いる）を任意倍率に変換して出力画像データとしても良い。その場合の撮像データメモリ４の垂直走査方向アドレス（Ｙ_ｒｅｆ）２８は、
Ｙ_ｒｅｆ＝Ｙ_ｃ−Ｄ_ｙｙＤ_ｘｙ（Ｙ_ｃ−Ｙ_ｉｎ） …………………………（４）
となる。また、水平走査方向アドレスと垂直走査方向アドレスの両方を夫々異なった倍率に変換し、特定方向に伸縮させるようにしても良いことは自明である。

以上説明してきた第１の水平、垂直走査方向アドレス変換係数（Ｄ_ｘｙ）、（Ｄ_ｙｘ）、及び第２の水平、垂直走査方向アドレス変換係数（Ｄ_ｘｘ）、（Ｄ_ｙｙ）は、前記したように撮像レンズ１に起因する画像歪みの補正、あおり若しくは俯瞰による像倒れの補正、鏡像反転、電子ズーム処理、撮像データにおける任意位置と方向の伸縮などのそれぞれに応じて設けるわけであるが、それをテーブルとした場合を示したのが図３である。

この図３において、（Ａ）、（Ｂ）は本発明になる画像処理方法に用いる第１と第２のアドレス変換係数を配したＬＵＴの一例を示した図で、（Ａ）は水平方向（Ｘ方向）座標に対する垂直方向（Ｙ方向）座標の変換を行うための第１の水平方向アドレス変換係数（Ｄ_ｘｙ）と、水平走査方向アドレスを任意倍率に変換する第２の水平走査方向アドレス変換係数（Ｄ_ｘｘ）を併置したＬＵＴの例、（Ｂ）は垂直方向（Ｙ方向）座標に対する水平方向（Ｘ方向）座標の変換を行うための第１の垂直方向アドレス変換係数（Ｄ_ｙｘ）と、垂直走査方向アドレスを任意倍率に変換する第２の垂直走査方向アドレス変換係数（Ｄ_ｙｙ）を併置したＬＵＴの例、（Ｃ）はＬＵＴデータを２バイトで表すことを説明するための図である。

この図３に示したＬＵＴにおいて、Ｘ_ｉｎ、Ｙ_ｉｎは前記したように出力データアドレス、（Ｄ_ｘｙ）は第１の水平走査方向アドレス変換係数、（Ｄ_ｙｘ）は第１の垂直走査方向アドレス変換係数、（Ｄ_ｘｘ）は第２の水平走査方向アドレス変換係数、（Ｄ_ｙｙ）は第２の垂直走査方向アドレス変換係数であり、上段の０、３２、６４、……６３９、及び０、３２、６４、……４７９は、一例として表示装置を構成する６４０×４８０ドットの画素をそれぞれ３２ドットごとに分け、第１の水平、垂直走査方向アドレス変換係数（Ｄ_ｘｙ）、（Ｄ_ｙｘ）、第２の水平、垂直走査方向アドレス変換係数（Ｄ_ｘｘ）、（Ｄ_ｙｙ）を持つようにした場合である。

そして表中のＤ_ｘｙ（０）、Ｄ_ｘｙ（１）、Ｄ_ｘｙ（２）、……Ｄ_ｘｙ（２０）、及びＤ_ｙｘ（０）、Ｄ_ｙｘ（１）、Ｄ_ｙｘ（２）、……Ｄ_ｙｘ（１５）は第１の水平、垂直走査方向アドレス変換係数、Ｄ_ｘｘ（０）、Ｄ_ｘｘ（１）、Ｄ_ｘｘ（２）、……Ｄ_ｘｘ（２０）、及びＤ_ｙｙ（０）、Ｄ_ｙｙ（１）、Ｄ_ｙｙ（２）、……Ｄ_ｙｙ（１５）は第２の水平、垂直走査方向アドレス変換係数である。

この図３に示したように３２ドットごとの計数を配したＬＵＴを使う場合、全ての出力データアドレスに対応して第１の水平、垂直走査方向アドレス変換係数、第２の水平、垂直走査方向アドレス変換係数が存在しないから、このＬＵＴ中に存在しないアドレスは、前後のアドレスの係数を参照し、図１に５３で示した第１の補間処理部で算出する。

また、この図３に示したＬＵＴは、メモリに単純にアドレス変換係数を記憶させるようにしたり、第１、第２のアドレス変換係数を別々に記憶させるようにしても良いが、図３（Ｃ）に示したように、ＬＵＴにおける各アドレスに格納する第１、第２の水平、垂直走査方向アドレス変換係数を例えば２バイト（１６ビット）で構成する場合、０から７までの下位ビットに第１の水平走査方向アドレス変換係数（Ｄ_ｘｙ）を、８から１５までの上位ビットに第１の垂直走査方向アドレス変換係数（Ｄ_ｙｘ）を当てはめ、同様にして０から７までの下位ビットに第２の水平走査方向アドレス変換係数（Ｄ_ｘｘ）を、８から１５までの上位ビットに第２の垂直走査方向アドレス変換係数（Ｄ_ｙｙ）をあてはめると、１回のテーブル検索で、それぞれ第１の水平、垂直走査方向アドレス変換係数、第２の水平、垂直走査方向アドレス変換係数を取得することができる。

なお、このようにＬＵＴを２バイト（１６ビット）で構成する場合、以上説明したように第１の水平、垂直走査方向アドレス変換係数（Ｄ_ｘｙ）、（Ｄ_ｙｘ）と、第２の水平、垂直走査方向アドレス変換係数（Ｄ_ｘｘ）、（Ｄ_ｙｙ）を別々にグループとして上位ビット、下位ビットに割り当てるだけでなく、第１の水平走査方向アドレス変換係数（Ｄ_ｘｙ）と、第２の水平走査方向アドレス変換係数（Ｄ_ｘｘ）とをグループとして上位ビット、下位ビットに割り当て、第１の垂直走査方向アドレス変換係数（Ｄ_ｙｘ）と第２の垂直走査方向アドレス変換係数、（Ｄ_ｙｙ）とをグループとして上位ビット、下位ビットに割り当ててＬＵＴとしても良い。

次に、前記した図１と、本発明になる画像処理方法のフロー図である図２を用い、本発明の画像処理方法について説明する。なお、以下の説明では、図１におけるＬＵＴ５４は、例えば駐車に際して前記図８（Ａ）に示したように、俯瞰撮影した画像データの像倒れを図８（Ｂ）に示したように補正したり、Ｔ字路で車の前部に設けた撮像装置を交差する路に突出させ、左右から来る車や人を確認するため画像を左右端方向を伸長するなど、複数の画像変換のためのＬＵＴを有しているとして説明するが、こういった場合だけに限られないことは自明である。

まず、図２のフロー図のステップＳ１０で処理がスタートすると、図１の撮像レンズ１によって固体撮像素子２に結像された画像のアナログ画像データが映像信号処理部３に送られ、ノイズ成分が除去されて増幅され、デジタル画像信号に変換されて撮像データメモリ４に格納される。なお、固体撮像素子２からの出力がインターレース方式の画像信号である場合、奇数フィールドのデータと偶数フィールドのデータを別々に画像処理すると補間間隔が大きくなって画像が劣化するため、奇数フィールドのデータと偶数フィールドのデータをこの撮像データメモリ４で合成してフレームデータとし、出力画像生成部５１で、インターレース方式、またはプログレッシブ方式のデータとして出力することが好ましい。

そして画像信号が撮像データメモリ４に格納されると、この図１に示した撮像装置で撮像した画像を、例えば撮像レンズに起因する画像歪みの補正、あおり若しくは俯瞰による像倒れの補正、鏡像反転、電子ズーム処理のうちの、どの画像変換処理を実施するか、すなわちどの処理に対応したＬＵＴを使うかを、図２における最初のステップＳ１１で選択する。なお、単一のＬＵＴしか使わない場合はこのステップは省略しても良い。

そして次のステップＳ１２で、図１の座標計算部５２が出力画像データのアドレス（Ｘ_ｉｎ，Ｙ_ｉｎ）を指定し、出力画像生成部５１、第１の補間処理部５３に送る。そして次のステップＳ１３で第１の補間処理部５３は、ステップＳ１１で選択されたＬＵＴに、この送られてきた出力画像データアドレス（Ｘ_ｉｎ，Ｙ_ｉｎ）が存在するか否かを確認し、存在する場合は必要な第１のアドレス変換係数、第２のアドレス変換係数を読み出し、存在しない場合は、出力画像データアドレス（Ｘ_ｉｎ，Ｙ_ｉｎ）の前後のＬＵＴに存在するアドレスを参照し、第１の補間処理部５３がその前後のアドレスと出力画像データアドレス（Ｘ_ｉｎ，Ｙ_ｉｎ）との差にもとづき、必要なアドレス変換係数を補間により算出する。

こうして得られた第１、第２の水平、垂直走査方向アドレス変換係数（Ｄ_ｘｙ）、（Ｄ_ｙｘ）、（Ｄ_ｘｘ）、（Ｄ_ｙｙ）は、次のステップＳ１４で、前記（１）〜（４）を用いて撮像データメモリ４のアドレス（Ｘ_ｒｅｆ，Ｙ_ｒｅｆ）が算出され、第２の補間処理部５５にそのアドレスが送られる。

第２の補間処理部５５は、送られてきた撮像データメモリ４のアドレス（Ｘ_ｒｅｆ，Ｙ_ｒｅｆ）を用い、ステップＳ１５で撮像データメモリ４を参照し、出力データを出力画像生成部５１に送るわけであるが、このとき撮像データメモリ４のアドレス（Ｘ_ｒｅｆ，Ｙ_ｒｅｆ）が小数点以下の数値を含む場合、対応したアドレスが存在しないことになる。

そのため、図６に示したように、撮像データメモリ４のアドレス（Ｘ_ｒｅｆ，Ｙ_ｒｅｆ）の周囲にある（ｕ１４，ｖ１４）、（ｕ２４，ｖ２４）、（ｕ１５，ｖ１５）、（ｕ２５，ｖ２５）のアドレスの撮像データを参照し、例えば下記（５）、（６）式のバイリニア補間処理や、バイキュービック補間処理によりアドレス（Ｘ_ｒｅｆ，Ｙ_ｒｅｆ）の撮像データ、すなわち輝度データや色調データを算出し、ステップＳ１６でそれを出力画像生成部５１に送って図示していない出力画像データメモリに記憶させたり表示装置などに出力する。
ｕ＝（１−ｐ）（１−ｑ）＊ｕ１４＋ｐ（１−ｑ）＊ｕ２４＋
（１−ｐ）ｑ＊ｕ１５＋ｐｑ＊ｕ２５ ……………………（５）
ｖ＝（１−ｐ）（１−ｑ）＊ｖ１４＋ｐ（１−ｑ）＊ｖ２４＋
（１−ｐ）ｑ＊ｖ１５＋ｐｑ＊ｖ２５ ……………………（６）
ここでｐ＝０．７５、ｑ＝０．２５である。

こうして座標変換したデータが表示装置に表示されたら、次のステップＳ１７で、出力画像データ全てが得られたか否かが確認され、出力画像データがまだ残っている場合は処理がステップＳ１１に戻って以上説明してきたことが繰り返され、残っていない場合は処理がステップＳ１８に進んで終了する。

このように、撮像レンズに起因する画像歪みやあおり若しくは俯瞰による像倒れなどの補正、鏡像反転、電子ズーム処理などの処理を、出力画像データの画素数に対して非常に少ないアドレス数のＬＵＴを用いて得られるようにしたから、大容量のために高価となってしまうＬＵＴや、高価な高速素子などを使うことなく、簡単な構成で安価に、高速に画像変換処理を実施できる撮像装置を提供することができる。

本発明によれば、従来は時間がかかったり高価となってしまう、撮像レンズに起因する画像歪みやあおり若しくは俯瞰による像倒れなどの補正、鏡像反転、電子ズーム処理などの処理を、簡単な構成で安価に、高速に実施することができる撮像装置を提供できるから、車などのモニタ用撮像装置や玄関に設置する撮像装置、テレビ会議用撮像装置などに適用して好適な撮像装置を提供することができる。

本発明になる画像処理方法を用いた撮像装置のブロック図である。 本発明になる画像処理方法を用いた撮像装置の動作フロー図である。 （Ａ）、（Ｂ）は本発明になる画像処理方法に用いる第１と第２のアドレス変換係数を配したルックアップテーブルの一例を示した図で、（Ａ）は水平方向（Ｘ方向）座標に対する垂直方向（Ｙ方向）座標の変換を行うための第１の水平方向アドレス変換係数（Ｄ_ｘｙ）と、水平走査方向アドレスを任意倍率に変換する第２の水平走査方向アドレス変換係数（Ｄ_ｘｘ）を併置したルックアップテーブルの例、（Ｂ）は垂直方向（Ｙ方向）座標に対する水平方向（Ｘ方向）座標の変換を行うための第１の垂直方向アドレス変換係数（Ｄ_ｙｘ）と、垂直走査方向アドレスを任意倍率に変換する第２の垂直走査方向アドレス変換係数（Ｄ_ｙｙ）を併置したルックアップテーブルの例、（Ｃ）はルックアップテーブルデータを２バイトで表すことを説明するための図である。 本発明になる画像処理方法により、（Ａ）は水平方向（Ｘ方向）座標に対する垂直方向（Ｙ方向）座標の変換を行うための第１の水平方向アドレス変換係数（Ｄ_ｘｙ）を用いて座標変換を行う様子を説明するための図、（Ｂ）は垂直方向（Ｙ方向）座標に対する水平方向（Ｘ方向）座標の変換を行うための第１の垂直方向アドレス変換係数（Ｄ_ｙｘ）を用いて座標変換を行う様子を説明するための図である。 （Ａ）は、本発明になる画像処理方法により、撮像画像データの水平走査方向アドレスを任意倍率に変換して出力画像データとする第２の水平走査方向アドレス変換係数により、水平方向（Ｘ方向）座標を変換する方法を説明するための図で、（Ｂ）と（Ｃ）は、この変換により、（Ｂ）に示した画像における両端側が、（Ｃ）に示したように中央部に較べて引き延ばされた画像となることを示した図である。 本発明になる画像処理方法における第１のアドレス変換係数により算出された撮像データアドレスから、出力画像データを算出する方法を説明するための図である。 車の後部に取り付けた撮像装置の位置を、（Ａ）は側部から、（Ｂ）は後部から示した図で、（Ｃ）は撮像装置の取り付け状態の拡大断面図、（Ｄ）は取り付け位置の拡大図である。 （Ａ）は広角レンズを用いた撮像装置で俯瞰撮影したためあおりが効いた画像、（Ｂ）はあおりを補正した画像である。 撮像装置から得られた（Ａ）の画像の任意部分を、（Ｂ）のように拡大する電子ズームを説明するための図である。 撮像装置から得られた（Ａ）の画像を鏡像反転した画像（Ｂ）を説明するための図である。

符号の説明

１ 撮像レンズ
２ 固体撮像素子
３ 映像信号処理部
４ 撮像データメモリ
５ 座標変換処理部
２０ 出力画像データアドレス
２１ 撮像データメモリの垂直走査方向アドレス（Ｙ_ｒｅｆ）
２５ 出力画像データのアドレス
２６ 撮像データメモリの水平走査方向アドレス（Ｘ_ｒｅｆ）
２７ 出力画像データのアドレス
２８ 撮像データメモリの水平走査方向アドレス（Ｘ_ｒｅｆ）
５１ 出力画像生成部
５２ 座標計算部
５３ 第１の補間処理部
５４ ルックアップテーブル（ＬＵＴ）
５５ 第２の補間処理部

Claims (9)

1. 撮像レンズを介して得られた撮像データにおける、前記撮像レンズに起因する画像歪みの補正、あおり若しくは俯瞰による像倒れの補正、鏡像反転、電子ズーム処理のうちの少なくとも二つの画像変換処理を実施した出力画像データを得るための画像処理方法であって、
   予め、前記出力画像データにおける水平走査方向（Ｘ方向）アドレスを前記撮像データの水平走査方向アドレスに変換する第１の水平走査方向アドレス変換係数を、前記撮像レンズの光軸中心アドレスと前記出力画像データアドレスにおける垂直走査方向アドレスとの差に対応させて定めると共に、前記出力画像データにおける垂直走査方向（Ｙ方向）アドレスを前記撮像データの垂直走査方向アドレスに変換する第１の垂直走査方向アドレス変換係数を、前記撮像レンズの光軸中心アドレスと前記出力画像データアドレスにおける水平走査方向アドレスとの差に対応させて定めて構成した第１のアドレス変換係数を用意し、
   前記出力画像データのアドレスに前記第１のアドレス変換係数を乗じ、得られた撮像データアドレスのデータを出力画像データとすることにより一の画像変換処理を実施すると共に、
   前記一の画像変換処理実施に際し、前記出力画像データにおける水平走査方向アドレスに、該水平走査方向アドレスの前記撮像レンズの光軸中心アドレスとの差に応じた第２の水平走査方向アドレス変換係数を、及びまたは、前記出力画像データにおける垂直走査方向アドレスに、該垂直走査方向アドレスの前記撮像レンズの光軸中心アドレスとの差に応じた第２の垂直走査方向アドレス変換係数を、前記第１のアドレス変換係数に合わせて乗じ、撮像画像における任意位置と方向に前記第２のアドレス変換係数に基づく他の画像変換処理である倍率の画像伸縮を行った出力画像データを出力できるようにしたことを特徴とする画像処理方法。
2. 前記第１、第２のアドレス変換係数をそれぞれ離散的に用意し、前記画像変換処理を実施する際に対応する前記第１または第２のアドレス変換係数が存在しない場合は、前記出力画像データアドレスに対応する前記第１または第２のアドレス変換係数の前後の変換係数を用い、第１の補間処理により算出することを特徴とする請求項１に記載した画像処理方法。
3. 前記第１、第２のアドレス変換係数を前記出力画像データアドレスに乗じて得られた撮像データアドレスにより出力画像データを生成する画像変換処理は、対応する撮像データアドレスが存在しない場合は前記撮像データアドレスの周囲に位置する撮像データを用い、第２の補間処理により撮像データを算出することを特徴とする請求項１又は２に記載した画像処理方法。
4. 前記第１と第２のアドレス変換係数は、前記撮像レンズの光軸中心を基準として割り振られ、前記撮像レンズの光軸中心アドレスは変更可能とすることを特徴とする請求項１乃至３のいずれかに記載した画像処理方法。
5. 撮像レンズと、
   該撮像レンズを介して得られた像を光電変換する撮像素子と、
   該撮像素子の出力信号を処理して映像データに変換する映像信号処理部と、
   該映像信号処理部により処理された映像データを一時記憶する撮像データメモリと、
   該撮像データメモリに記憶されたデータから出力画像データを生成する座標変換処理部とからなり、
   該座標変換処理部は、前記撮像レンズに起因する画像歪みの補正、あおり若しくは俯瞰による像倒れの補正、鏡像反転、電子ズーム処理のうちの少なくとも二つを実施するため、前記出力画像データのアドレスから対応する前記撮像データメモリアドレスを算出する、第１の水平走査方向（Ｘ方向）アドレス変換係数を配した第１の水平アドレスルックアップテーブルと、第１の垂直走査方向（Ｙ方向）アドレス変換係数を配した第１の垂直アドレスルックアップテーブルと、前記座標変換処理部は前記出力画像データのアドレスから、前記撮像データメモリに記憶された撮像画像における任意位置と方向に画像伸縮を行うためのアドレスを得るための、第２の水平走査方向アドレス変換係数、及びまたは、第２の垂直走査方向アドレス変換係数で構成される第２のアドレス変換係数を配した第２のルックアップテーブルとを有し、
   前記第１の水平、垂直アドレスルックアップテーブルに配された第１の水平走査方向アドレス変換係数は、前記撮像レンズの光軸中心アドレスと、前記出力画像データアドレスにおける垂直走査方向アドレスとの差に対応させて定めた係数であり、第１の垂直走査方向アドレス変換係数は、前記撮像レンズの光軸中心アドレスと、前記出力画像データアドレスにおける水平走査方向アドレスとの差に対応させて定めた係数であり、
   前記第２のルックアップテーブルに配された第２の水平走査方向アドレス変換係数は、前記撮像レンズの光軸中心アドレスと、前記出力画像データアドレスにおける水平走査方向アドレスとの差に対応させて定めた係数であり、第２の垂直走査方向アドレス変換係数は、前記撮像レンズの光軸中心アドレスと、前記出力画像データアドレスにおける垂直走査方向アドレスとの差に対応させて定めた係数であり、
   前記出力画像データのアドレスに前記第１のアドレス変換係数を乗じ、得られた撮像データアドレスのデータを出力画像データとすることにより一の画像変換処理を実施すると共に、前記一の画像変換処理実施に際し、前記出力画像データに前記第２のアドレス変換係数を乗じ、他の画像変換処理である倍率の画像伸縮を行うことを特徴とする撮像装置。
6. 前記第１、第２のルックアップテーブルには前記第１、第２のアドレス変換係数が離散的に配され、
   前記座標変換処理部は、出力画像データアドレスに対応した前記第１、第２のアドレス変換係数を補間により算出する第１の補間処理部と、該第１の補間処理部が算出した撮像データメモリのアドレスにおける周囲の撮像画像データから、出力画像データを算出する第２の補間処理部とを有していることを特徴とする請求項５に記載した撮像装置。
7. 前記第１、第２のルックアップテーブルは、前記撮像データにおける水平走査方向アドレスと垂直走査方向アドレスとを別のルックアップテーブルとしたことを特徴とする請求項５又は６に記載した撮像装置。
8. 前記第１のアドレス変換係数を構成する第１の水平走査方向アドレス変換係数と第１の垂直走査方向アドレス変換係数、及び第２のアドレス変換係数を構成する第２の水平走査方向アドレス変換係数と第２の垂直走査方向アドレス変換係数は、それぞれ複数のビットで構成される上位ビットと下位ビットからなるビット列データで構成し、
   前記第１のアドレス変換係数を構成する第１の水平走査方向アドレス変換係数を上位若しくは下位のいずれかのビットに、第１の垂直走査方向アドレス変換係数を前記第１の水平走査方向アドレス変換係数が配されなかった下位若しくは上位ビットに配し、
   前記第２のアドレス変換係数を構成する第２の水平走査方向アドレス変換係数を上位若しくは下位のいずれかのビットに、第２の垂直走査方向アドレス変換係数を前記第２の水平走査方向アドレス変換係数が配されなかった下位若しくは上位ビットに配して前記ルックアップテーブルを構成したことを特徴とする請求項５乃至７のいずれかに記載した撮像装置。
9. 前記撮像レンズは、広角レンズ、若しくは魚眼レンズであることを特徴とする請求項６乃至８のいずれかに記載した撮像装置。

Images