JPWO2010032720A1 - 画像歪み補正方法及び画像処理装置 - Google Patents

Abstract

メモリを増設せずにメモリのアクセス速度の向上による画像処理速度の向上を実現可能な画像歪み補正方法及び画像処理装置を提供することを目的とし、そのための画像歪み補正方法及び画像処理装置は、光学系を介して撮像素子により撮像された画像の歪みを補正する処理において同一色の画素データを各色毎に連続してメモリに保存する。

Description

本発明は、光学系を介して撮像素子により撮像された画像の歪みの補正処理における画像歪み補正方法及び画像処理装置に関するものである。

従来、ＣＣＤやＣＭＯＳ等からなる撮像素子は、図１のようなベイヤー(Bayer)配列構造で画素が物理的に配列されている。撮像素子が図１のベイヤー配列構造の場合、撮像素子から出力された図２（ａ）のような画像データは、例えば、画像処理装置の記憶装置（メモリ）に図２（ｂ）のような連続した順列で格納される（例えば、特許文献１参照）。

特許第３３９５１９５号明細書

本発明者の１人は、先に、特開２００９−１５７７３３号公報において、ベイヤー配列構造の画像データから、全画素において例えばＲ(Red)データを求めるとき、図４（ａ）〜（ｄ）のように色分離補間処理を行うことで全画素のＲデータを求めることを提案した。しかし、図４（ｂ）〜（ｄ）のような色分離補間処理を行う場合、Ｒ１〜Ｒ４（Ｒ２１，Ｒ２３，Ｒ４１，Ｒ４３）の各データが図２（ｂ）のように離れて保存されていることから、記億装置（メモリ）から読み込みを行うときに、アクセス時間による待機時間が増大する欠点があった。高速にアクセスするには図２（ａ）のような画素データを図３（ａ）〜（ｃ）のようにＲＧＢの種別ごとにまとめて記憶装置の各メモリ領域に格納しておけば、高速化が可能であるが、画素データをＲＧＢの種別ごとに並べ替えを行う必要があるため新たに工程が必要となり、画像処理全体としては処理速度の低下と作業領域の記憶装置（メモリ）の増設によるコスト増大・消費電力増加・高発熱・装置の大型化などのデメリットの方が大きかった。

本発明は、上述のような従来技術の問題に鑑み、メモリを増設せずにメモリのアクセス速度の向上による画像処理速度の向上を実現可能な画像歪み補正方法及び画像処理装置を提供することを目的とする。

上述のように、色分離補間処理のときには使用する画素データがメモリ内の同じ記憶領域に存在する方が処理時間の短縮には有利である。色分離補間処理のとき、図１のような原色系（ベイヤー形式）配列構造の場合、複数の周囲画素からのデータ平均値によって補間処理される。したがって、この平均値を作成する画素データを同じ記憶領域内に保管することで処理時間の短縮化を図ることができる。さらに、補色系の配列構造の場合は、加算・減算処理があり、これらの各データも複数データの平均値から作成されるため、これらも同じ記憶領域に保存することで補色系の場合でも高速処理が可能となる。

すなわち、上記目的を達成するために、本実施形態による画像歪み補正方法は、複数の画素を備えそれぞれの画素が１の色に対応する撮像素子を備え、光学系を介して前記撮像素子により撮像された画像の歪みを補正する方法において、歪み補正前後で画素の色が異なるとき、歪み補正後の画素データをメモリに保存した補正前の画素の周囲における複数画素の画素データによる補間処理で得、前記メモリには同一色の画素データが各色毎に連続して保存されていることを特徴とする。

この画像歪み補正方法によれば、同一色の画素データを各色毎に連続してメモリに保存することで、同一色の画素データを用いて補間処理を行うときにメモリにおける高速アクセスが可能となり、メモリを増設せずにメモリのアクセス速度を向上でき、画像処理速度の向上を実現できる。

すなわち、上記目的を達成するために、本実施形態による画像歪み補正方法は、複数の画素を備えそれぞれの画素が１の色に対応する撮像素子を備え、光学系を介して前記撮像素子により撮像された画像の歪みを補正する方法において、補正前の色と同じ色の補正後の画素データを、メモリに保存した補正前の画素の周囲における複数画素の画素データによる補間処理で得、前記メモリには同一色の画素データが各色毎に連続して保存されていることを特徴とする。

この画像歪み補正方法によれば、同一色の画素データを各色毎に連続してメモリに保存することで、同一色の画素データを用いて補間処理を行うときにメモリにおける高速アクセスが可能となり、メモリを増設せずにメモリのアクセス速度を向上でき、画像処理速度の向上を実現できる。

上記画像歪み補正方法において前記補間処理は、歪み補正前の画素の周囲の所定位置に配置されている画素が、補正後の画素の色と同じときは該所定位置に配置されている画素の画素データをそのまま用い、補正後の画素の色と異なるときは該所定位置に配置されている画素をその周囲における歪み補正後の色と同じ色の複数画素の画素データにより補間して得る第１処理と、前記補正前の画素の位置と前記所定位置に配置されている画素との相対位置関係、及び前記第１処理で得た複数の前記所定位置に配置されている画素の画素データにより、補正後の画素データを補間して得る第２処理と、からなることが好ましい。

上記画像歪み補正方法において前記各色毎に連続して画素データを保存するメモリ領域の１ブロック単位の大きさは、前記補間処理で使用する前記複数画素の単位よりも大きいサイズが確保されていることが好ましい。例えば、所定画素の周囲の４画素の画素データを用いて補間処理を行う場合、メモリ領域の１ブロック単位の大きさは４画素の画素データを保存できる領域であることが好ましい。

また、前記複数の色にはＲＧＢの算出に用いる色が含まれているとき、歪み補正後の画素データの前記メモリへの保存を、ＲＧＢの算出に用いる色同士の画素データを連続して行うことが好ましい。

本実施形態による画像処理装置は、複数の画素を備えそれぞれの画素が１の色に対応し前記光学系を介して画像を撮像する撮像素子と、前記撮像素子から取り込んだ画像を処理する演算装置と、メモリと、を備え、前記演算装置は、前記画像の歪みを補正する処理において、補正前の色と同じ色の補正後の画素データを、メモリに保存した補正前の画素の周囲における複数画素の画素データによる補間処理で算出し、前記メモリに同一色の画素データを各色毎に連続して保存することを特徴とする。

この画像処理装置によれば、同一色の画素データを各色毎に連続してメモリに保存することで、同一色の画素データを用いて補間処理を行うときにメモリにおける高速アクセスが可能となり、メモリを増設せずにメモリのアクセス速度を向上でき、画像処理速度の向上を実現できる。

上記画像処理装置において、前記演算装置は、歪み補正前の画素の周囲の所定位置に配置されている画素が、補正後の画素の色と同じときは該所定位置に配置されている画素の画素データをそのまま用い、補正後の画素の色と異なるときは該所定位置に配置されている画素をその周囲における補正後の色と同じ色の複数画素の画素データにより補間して得る第１処理と、前記歪み補正前の画素の位置と前記所定位置に配置されている画素との相対位置関係、及び前記第１処理で得た複数の前記所定位置に配置されている画素の画素データにより、補正後の画素データを補間して得る第２処理と、により前記補間処理を行うことが好ましい。

上記画像処理装置において、前記メモリにおける前記各色毎に連続して画素データを保存するメモリ領域の１ブロック単位の大きさは、前記補間処理で使用する前記複数画素の単位よりも大きいサイズであることが好ましい。例えば、所定画素の周囲の４画素の画素データを用いて補間処理を行う場合、メモリ領域の１ブロック単位の大きさは４画素以上の画素データを保存できる領域であることが好ましい。

また、前記複数の色にはＲＧＢの算出に用いる色が含まれているとき、歪み補正後の画素データの前記メモリへの保存を、ＲＧＢの算出に用いる色同士の画素データを連続して行うことが好ましい。

また、前記光学系は広角用光学系である場合、広角用光学系による画像の歪みを補正することができる。

なお、本実施形態による画像形成装置は、上述の画像処理装置と、前記画像処理装置で歪み補正された画像について別の画像処理を行う画像処理部と、を備える。この画像形成装置によれば、上述のような歪み補正処理後の画像を画像処理部に出力し、ＩＳＰ処理等の画像処理前に歪み補正処理を行うことができる。このように歪み補正後の画像に対して画像処理を行うことで、より自然な画像を得ることができる。

本発明によれば、メモリを増設せずにメモリのアクセス速度の向上による画像処理速度の向上を実現可能な画像歪み補正方法及び画像処理装置を提供することができる。

撮像素子からのＲＡＷ画像における一般的なベイヤー(Bayer)配列を模式的に示す図である。 撮像素子がベイヤー配列構造の場合、撮像素子から出力される画像データを模式的に示す図（ａ）及び図２（ａ）の画像データが記憶装置（メモリ）に連続した順列で格納される画像データを模式的に示す図（ｂ）である。 本実施形態において図２（ａ）の画素データからのＲの画素データが格納されたメモリ領域を模式的に示す図（ａ）、同じくＧの画素データが格納されたメモリ領域を模式的に示す図（ｂ）、同じくＧの画素データが格納されたメモリ領域を模式的に示す図（ｃ）である。 本実施形態において補間後の画素がＲ（赤）である場合に補間計算に用いる周辺画素を示す図であり、補間前の画素がＲであり、Ｒ→Ｒの場合（ａ）、同じくＢ→Ｒの場合（ｂ）、同じくoddＧ→Ｒの場合（ｃ）、同じくevenＧ→Ｒの場合（ｄ）を説明するための図である。 本実施形態において補間後の画素がＢ（赤）である場合に補間計算に用いる周辺画素を示す図であり、補間前の画素がＢであり、Ｂ→Ｂの場合（ａ）、同じくＲ→Ｂの場合（ｂ）、同じくoddＧ→Ｂの場合（ｃ）、同じくevenＧ→Ｂの場合（ｄ）を説明するための図である。 本実施形態において補間後の画素がＧ（緑）である場合に補間計算に用いる周辺画素を示す図であり、補間前の画素がＧであり、Ｇ→Ｇの場合（ａ）、補間前の画素がＧ以外であり、Ｇ以外→Ｇの場合（ｂ）を説明するための図である。 本実施形態において画像歪み補正前の画像を説明するための図（ａ）及び画像歪み補正後の画像を説明するための図（ｂ）である。 本実施形態による補間計算における補正係数の計算を説明するための図である。 図７（ａ）、（ｂ）の画像の歪み補正を説明するための図であり、図９（ａ）は図７（ａ）と同じ図、図９（ｂ）は図７（ｂ）と同じ図、図９（ｃ）は図９（ａ）の模式的拡大図、図９（ｄ）は図９（ｂ）の模式的拡大図である。 本実施形態による画像処理装置の概略的構成を示すブロック図である。 図１０の画像処理装置１０による画像歪み補正の各ステップＳ０１〜Ｓ０８を説明するためのフローチャートである。 本実施の形態による画像形成装置の概略的構成を示すブロック図である。 他の実施形態における撮像素子において補色系画素を含む配列構造例を模式的に示す図である。 図１３の配列構造の場合の画像の歪み補正を説明するための図であり、図１４（ａ）は図９（ａ）と同じ図、図１４（ｂ）は図１４（ａ）の模式的拡大図でＧ、Ｙｅの画素データについての並べ替えを示す図、図１４（ｃ）は図１４（ａ）の模式的拡大図でＢの画素データについての並べ替えを示す図、図１４（ｄ）はＢの画素データについての図９（ｂ）と同じ図、図１４（ｅ）はＧ、Ｙｅの画素データについての図９（ｂ）と同じ図、図１４（ｆ）はＲの画素データについての図９（ｂ）と同じ図、図１４（ｇ）は図１４（ｅ）の模式的拡大図、図１４（ｈ）は図１４（ｅ）の模式的拡大図、図１４（ｉ）は図１４（ｆ）の模式的拡大図である。

以下、本発明を実施するための最良の形態について図面を用いて説明する。

最初に、図１、図４乃至図８を参照して、本発明者の１人が先に特開２００９−１５７７３３号公報で提案した色分離補間処理について説明する。

図７は本実施形態において画像歪み補正前の画像を説明するための図（ａ）及び画像歪み補正後の画像を説明するための図（ｂ）である。上述の図１は撮像素子からのＲＡＷ画像における一般的なベイヤー(Bayer)配列を模式的に示す図である。

本願においては、「補間」とは周辺の画素を用いて出力画素を演算することであり、「補正」とは、歪み補正のために画素の位置を移動させることである。

広角レンズや魚眼レンズで得た画像の歪み補正は、図７（ａ）、（ｂ）のように画素を入れ替えることで行われる。すなわち、図７（ａ）のように、画像歪み補正前の円形画像領域内のある点の画素座標を（Ｘ，Ｙ）とし、その歪み補正後の矩形画像領域内の画素座標を（Ｘ’、Ｙ’）とすると、（Ｘ，Ｙ）→（Ｘ’、Ｙ’）として補正前の画素を補正後の画素に入れ替えるが、中央（０，０）から各座標までの各直線の傾斜角θが同一であるので、補正前の中央（０，０）からの距離をＬとし、その点に対応する歪み補正後の中央（０，０）からの距離をＬ’とすると、Ｌ→Ｌ’として補正前の画素を補正後の画素に入れ替える。

なお、詳細は後述するが歪み補正後の（Ｘ’，Ｙ’）のＸ’、Ｙ’は整数であるが、補正後の（Ｘ’，Ｙ’）から算出される補正前の（Ｘ，Ｙ）は、ほとんどの場合は整数とならず小数部分を持つ実数値をとり得る。なお各座標の算出は、使用するレンズ特性から決定している補正ＬＵＴ（ルックアップテーブル）に基づいて行っている。またそれぞれの画素は矩形状に２次元配置されており、画素座標のＸ、Ｙが供に整数の場合にはいずれかの画素の位置（中心位置）に一致し、Ｘ、Ｙの何れかが小数部分を持つ画素座標の場合には、画素の位置（中心位置）とは一致していないことになる。

上述の図７（ａ）、（ｂ）の歪み補正前の距離Ｌと歪み補正後の距離Ｌ’との関係を画像歪み補正係数として広角レンズや魚眼レンズのレンズ特性に基づいて予め求めておき、かかる画像歪み補正係数に基づいて撮影画像に対してＬ→Ｌ’とする画素の入れ替えを行うことで歪み補正を行うことができる。

従来、広角レンズまたは魚眼レンズの歪み補正をする場合の上述の画素の入れ替えは、ＲＧＢ画像に変換した後に行っていた。一般的にイメージセンサ（撮像素子）からのＲＡＷ画像は、図１のようなベイヤー配列で並んだ画素で出力されるが、かかるベイヤー配列では、図１のように画素位置によって色（ＲＧＢ）が決まっているためにランダムな画素の入れ替えをすることができない。このため、歪み補正をＲＧＢ画像への変換後に行う必要があったのである。そこで、本実施形態では、目的座標の画素を周辺画素から補間計算してつくり出すことにより、ＲＧＢ画像へ変換せずにＲＡＷ画像のまま歪み補正処理を行うことができるようにしている。

次に、ベイヤー配列の周辺画素の画素データから補間計算により目的座標の画素の画素データを演算する具体例について図４〜図６、図８を参照して説明する。図８は本実施形態による補間計算における補正係数の計算を説明するための図である。

（１）補間後の画素がＲ（赤/Red）である場合
前述のとおり歪み補正後の画素の位置によって色（ＲＧＢ）が決まっている。歪み補正後の画素データは、補正後の画素の位置（Ｘ’，Ｙ’）に対応する補正前の画素の位置（Ｘ，Ｙ）周辺の画素データに基づいて補間処理により算出している。

本実施形態においては、第１処理と第２処理の２段の処理により補間処理を行っている。（１）第１処理としては後述の図４乃至図６に示す様に補正前の画素の座標（Ｘ，Ｙ）の周辺の当該座標に近接する４点の画素（図４であれば画素５１〜画素５４）の画素データを補間処理により得る。４点の画素の画素データはそれぞれの周辺の補正後の画素と同じ色の複数画素の画素データから補間処理する。なおこの４点の画素の位置は、撮像素子の画素の位置に対応しており所定位置に配置されているものである。

（２）第２処理としては後述の図８に示す様に、第１処理で得た所定位置に配置されている４点の画素と、座標（Ｘ，Ｙ）の相対位置から補正前の座標（Ｘ，Ｙ）における画素（仮想の画素）での画素データを補間処理による得る。以下具体的に説明する。なお以下においては第１処理、第２処理における補間処理をそれぞれ第１補間処理、第２補間処理ともいう。

なお、本実施形態では、２段の補間処理を行う例を示すが、１段の補間処理で行う実施形態でもよい。例えば、座標（Ｘ，Ｙ）が図２のＧ２２近傍（領域内）で色がＢの場合には、周辺の４つの同色の画素（Ｂ１２、Ｂ１４、Ｂ３２、Ｂ３４）の画素データとその相対位置関係から算出する場合である。

（第１補間処理）
図４は本実施形態において歪み補正処理後の画素がＲ（赤）である場合に補間計算に用いる周辺画素を示す図であり、補間前の画素がＲであり、Ｒ→Ｒの場合（ａ）、同じくＢ→Ｒの場合（ｂ）、同じくoddＧ→Ｒの場合（ｃ）、同じくevenＧ→Ｒの場合（ｄ）を説明するための図である。

第１補間処理では、歪み補正前の座標（Ｘ，Ｙ）の周囲の所定位置に配置されている複数の画素の画素データを補間処理で得る。例えば図４における各画素の交点のうち、座標（Ｘ，Ｙ）が最も近い交点を算出し、その交点を囲む４つの画素の画素データを算出する。例えば座標（Ｘ，Ｙ）の最も近い交点が画素５１乃至画素５４で囲まれる交点であれば、これらの画素５１乃至画素５４の歪み補正処理後の画素の色における画素データの算出を行う。

図４（ａ）のように、第１補間処理における補間前の画素５１がＲである場合（Ｒ→Ｒ）つまり補間前後で画素の色が同一のとき、補間前のＲの画素５１の画素データをそのまま補間後の画素データＲ５１とする。

図４（ｂ）のように、補間前の画素５２がＢである場合（Ｂ→Ｒ）つまり補間前後で画素の色が異なるとき、画素５２の周囲四隅にあるＲの４画素５２ａ，５２ｂ，５２ｃ，５２ｄの画素データＲ１，Ｒ２，Ｒ３，Ｒ４を用いた補間処理により補間後の画素データＲ５２を求める。補間処理としては４つの画素データの平均化処理がある。

図４（ｃ）のように、補間前の画素５３が奇数番目のＧである場合（oddＧ→Ｒ）、画素５３の図の上下の画素５３ａ、５３ｃ及び図の右側で最も近い画素５３ｂ、５３ｄの４画素の画素データＲ１，Ｒ２，Ｒ３，Ｒ４を用いて補間後の画素データＲ５３を求める。補間処理としては平均化処理してもよく、距離に応じた重み付けを行った平均化処理をしてもよい。

図４（ｄ）のように、補間前の画素５４が偶数番目のＧである場合（evenＧ→Ｒ）、画素５４の図の左右の画素５４ａ、５４ｂ及び図の下側で最も近い画素５４ｃ、５４ｄの４画素の画素データＲ１，Ｒ２，Ｒ３，Ｒ４を用いて同様に補間後の画素データＲ５４を求める。

（第２補間処理）
第１補間処理で得た補間前の座標（Ｘ，Ｙ）に近接する所定位置に配置されている画素（５１乃至５４）の画素データ（Ｒ５１乃至Ｒ５４）に基づいて、第２補間処理により次式（数１）から座標（Ｘ，Ｙ）の補間後の画素データＲを求める。

ここで、各補正係数（coData0，coData1，coData2，coData3）は、図８に示す座標系で座標（Ｘ，Ｙ）の相対位置から計算でき、coData0＋coData1＝１，coData2＋coData3＝１である。図８において［］はガウス記号（あるいはfloor関数ともいう）を表しており、［Ｘ］はＸを超えない最大の整数を表す。なお図８において（［Ｘ］，［Ｙ］）は画素５１（画素データＲ５１）に、（［Ｘ＋１］，［Ｙ＋１］）は画素５２（画素データＲ５２）に、（［Ｘ］，［Ｙ＋１］）は画素５３（画素データＲ５３）に、（［Ｘ＋１］，［Ｙ］）は画素５４（画素データＲ５４）の位置にそれぞれ対応する。

（２）補間後の画素がＢ（青/Blue）である場合
（第１補間処理）
図５は本実施形態において補間後の画素がＢ（青）である場合に補間計算に用いる周辺画素を示す図であり、補間前の画素がＢであり、Ｂ→Ｂの場合（ａ）、同じくＲ→Ｂの場合（ｂ）、同じくoddＧ→Ｂの場合（ｃ）、同じくevenＧ→Ｂの場合（ｄ）を説明するための図である。

図５（ａ）のように、補間前の画素６１がＢである場合（Ｂ→Ｂ）、補間前のＢの画素６１の画素データをそのまま補間後の画素データとする。

図５（ｂ）のように、補間前の画素６２がＲである場合（Ｒ→Ｂ）、画素６２の周囲四隅にある４画素６２ａ，６２ｂ，６２ｃ，６２ｄの画素データＢ１，Ｂ２，Ｂ３，Ｂ４を用いて前述のように平均化処理等により補間後の画素データＢを求める。

（第２補間処理）
第２補間処理により前述のＲのときと同様に数式（数１）と同様の式から座標（Ｘ，Ｙ）の補間後の画素データＢを求めることができる。詳細な説明は省略する。

（３）補間後の画素がＧ（緑/Green）である場合
（第１補間処理）
図６は本実施形態において補間後の画素がＧ（緑）である場合に補間計算に用いる周辺画素を示す図であり、補間前の画素がＧであり、Ｇ→Ｇの場合（ａ）、補間前の画素がＧ以外であり、Ｇ以外→Ｇの場合（ｂ）を説明するための図である。

図６（ａ）のように、補間前の画素７１がＧである場合（Ｇ→Ｇ）、補間前のＧの画素７１の画素データをそのまま補間後の画素データとする。

図６（ｂ）のように、補間前の画素７２がＧ以外のＲまたはＢである場合（Ｇ以外→Ｇ）、画素７２の図の上下左右の画素７２ａ、７２ｂ、７２ｃ、７２ｄの４画素の画素データＧ１，Ｇ２，Ｇ３，Ｇ４を用いて前述のように平均化処理等により補間後の画素データＧを求める。

以上のように、図７（ａ）、（ｂ）の歪み補正前の距離Ｌを歪み補正後の距離Ｌ’にして画素の入れ替えを行うことで歪み補正を行う際に、入れ替え後の画素の画素データを入れ替え前の画素の周辺の４画素（入れ替え後の画素の色と同じ色の画素）から補間計算することで精度よく求めることができ、従来のようにＲＧＢ変換せずにＲＡＷ画像のまま画像劣化の少ない歪み補正処理を行うことができる。

上述のように、歪み補正後の画素の画素データを歪み補正前の画素の周辺の４画素（入れ替え後の画素の色と同じ色の画素）から補間計算する場合、比較例としての従来技術においてはＲ１〜Ｒ４，Ｂ１〜Ｂ４，Ｇ１〜Ｇ４の各画素データが図２（ｂ）のように離れて保存されていることから、記億装置（メモリ）から読み込みを行うときに、アクセス時間による待機時間が増大してしまうという問題があった。かかる待機時間短縮のためには、図３（ａ）〜（ｃ）のようにＲＧＢ毎にそれぞれまとめて画素データを記憶装置のメモリ領域に格納しておくことにより、必要な画素データを一度に読み込むことが可能となる、結果、アクセス時間を短くすることができる。

なお、図４〜図６のように、３×３の画像データ領域から所定画素の周囲の４画素の画素データＲ１〜Ｒ４，Ｂ１〜Ｂ４，Ｇ１〜Ｇ４）を用いて補間処理を行う場合、メモリ領域の１ブロック単位の大きさは４画素の画素データを保存できる領域よりも大きいことが好ましい。

図９を参照して図７（ａ）、（ｂ）の画像の歪み補正及び画素データの格納（保存）についてさらに説明する。

図９は図７（ａ）、（ｂ）の画像の歪み補正を説明するための図であり、図９（ａ）は図７（ａ）と同じ図、図９（ｂ）は図７（ｂ）と同じ図、図９（ｃ）は図９（ａ）の模式的拡大図、図９（ｄ）は図９（ｂ）の模式的拡大図である。

レンズ光学系を通して撮像素子で撮影された画像は、上述のようにレンズ光学系の歪みの影響から例えば図９（ａ）のような中央に円形方向に収縮したような画像となり、特にレンズ光学系が広角・魚眼レンズの場合、これが顕著となる。図９（ａ）の画像を撮影後の画像処理工程において図９（ｂ）のように画像処理する際に、図９（ｃ）のように収縮してしまった有効画像データ領域Ｃ内の画素データを無効画像データ領域Ｄをも含む領域へと図９（ｃ）、（ｄ）のように並び替えることで、肉眼で見た場合と同様な画像としている。この画像処理工程では上述のように画素データについて光学系のパラメータに基づいて特有の並べ替え処理が行われる。従来の手法の場合、ベイヤー配列の画素を歪み補正する場合、画素データはベイヤー配列のまま複数の色が連続した順列で格納されるデータ構造としていた（特許文献１参照）。

それに対し、本実施形態では、画像データをＲＧＢの画素種類ごとに図３（ａ）〜（ｃ）のようにＲＧＢの各データを１ブロックのメモリ領域にそれぞれまとめて配置し格納する。そして格納した各色の画素データを用いて補間処理を行う。補正前の画素の周囲の４画素の画素データを１ブロックのメモリ領域から読み出して図４、図５のように補間処理を行うことができるのでデータへのアクセスを迅速に行うことが可能となる。

上記画像歪み補正処理のときにメモリ読み出しのバス幅（ｂｉｔ）は１ブロックのメモリ領域のサイズと同じであり、且つ、メモリ領域のサイズは補間処理で使用する複数画素の単位（実施形態では４画素）よりも十分大きく設定している。このようなことから少なくとも４画素の画素データを図３（ａ）〜（ｃ）のような１ブロックのメモリ領域から１サイクルで読み出すことができるので、メモリへのアクセス時間が短縮化され、高速処理が可能となる。

次に、本実施形態による画像処理装置について図１０を参照して説明する。図１０は本実施形態による画像処理装置の概略的構成を示すブロック図である。

図１０に示すように、画像処理装置１０は、撮影像からの光が広角レンズＡを通して入射する撮像素子１１と、カウンタ１２と、距離演算部１３と、歪み補正係数記憶部１４と、演算部１５と、補正ＬＵＴ算出部１６と、歪み補正処理部１７と、画像バッファメモリ１９と、メモリ制御部１８と、を備える。広角レンズＡは複数枚のレンズからなるレンズ光学系から構成され、広い画角の画像を得ることができる。

撮像素子１１は、多数の画素からなるＣＣＤやＣＭＯＳ等のイメージセンサから構成され、撮影像のＲＡＷ画像を図１のベイヤー配列にしたがって出力する。カウンタ１２は、撮像素子１１からの垂直同期信号ＶＤまたは水平同期信号ＨＤを検出して歪み補正後座標（Ｘ’，Ｙ’）を出力する。距離演算部１３は、図１０（ｂ）のような歪み補正後座標（Ｘ’，Ｙ’）から中央からの距離Ｌ’を演算する。

歪み補正係数記憶部１４は、ＲＯＭやＲＡＭ等からなり、広角レンズＡのレンズ特性に応じた画像歪み補正係数を記憶する。演算部１５は、歪み補正後の中央からの距離Ｌ’及び歪み補正係数記憶部１４に記憶された画像歪み補正係数に基づいて歪み補正前の中央からの距離Ｌを演算するとともに、歪み補正前の中央からの距離Ｌと歪み補正後座標（Ｘ’，Ｙ’）とから歪み補正前座標（Ｘ，Ｙ）を算出する。

補正ＬＵＴ算出部１６は、上述のようにして得られた各距離Ｌ、Ｌ’及び各座標（Ｘ，Ｙ）、（Ｘ’，Ｙ’）を対応付けた補正ＬＵＴ（ルックアップテーブル）を算出する。

歪み補正処理部１７は、入力したＲＡＷ画像データＰについて補正ＬＵＴ算出部１６で算出した補正ＬＵＴを参照して画素を入れ替えて歪み補正し、このとき、後述の画像バッファメモリ１９に色毎に保存されている画素データを用いて入れ替え後の各画素データを上述の図４〜図６、及び図８のような補間処理により求めるようになっている。このようにして歪み補正処理部１７から歪み補正後のＲＡＷ画像データＰ’を出力する。

画像バッファメモリ１９は、図４〜図６のような３×３の画像データ領域から歪み補正後の所定画素の色をその所定画素の周囲の４画素の画素データを用いて補間計算を行うときの、その４画素単位の画素データをＲＧＢ毎に保存し読み出し可能な領域メモリ領域１９ａ，１９ｂ，１９ｃを有する。

画像バッファメモリ１９は、撮像素子１１で撮影したＲＡＷ画像データを、キャッシュメモリを介して１ブロック単位の各メモリ領域１９ａ，１９ｂ，１９ｃに一時保存するが、このとき、メモリ領域１９ａ〜１９ｃに図３（ａ）〜（ｃ）のようにＲＧＢ毎に各画素データをまとめて配置し格納する。

メモリ制御部１８は、画像バッファメモリ１９と歪み補正処理部１７との間のＲＡＷ画像データの出入力を制御する。

次に、図１０の画像処理装置１０における画像歪み補正の各ステップＳ０１〜Ｓ０８について図１１のフローチャートを参照して説明する。

まず、撮像素子１１からの電気信号からカウンタ１２が垂直同期信号ＶＤまたは水平同期信号ＨＤを検出すると（Ｓ０１）、カウンタ１２から歪み補正後座標（Ｘ’、Ｙ’）を出力する（Ｓ０２）。この歪み補正後座標（Ｘ’、Ｙ’）の出力は、例えば、図７（ｂ）の歪み補正後画像の矩形領域の左上を起点（０，０）にして開始する。

次に、歪み補正後座標（Ｘ’、Ｙ’）から距離演算部１３で中央からの距離Ｌ’を算出する（Ｓ０３）。

次に、歪み補正係数記憶部１４から読み出した画像歪み補正係数に基づいて演算部１５で中央からの距離Ｌ’から歪み補正前の中央からの距離Ｌを算出する（Ｓ０４）。

次に、補正ＬＵＴ算出部１６で歪み補正前の中央からの距離Ｌと歪み補正後座標（Ｘ’，Ｙ’）とから歪み補正前座標（Ｘ，Ｙ）を算出する（Ｓ０５）。

図１０の撮像素子１１からのＲＡＷ画像データＰは画像バッファメモリ１９の各メモリ領域１９ａ〜１９ｃに図３に示したようにＲＧＢ毎に保存されており、メモリ制御部１８の制御によりメモリ領域１９ａ〜１９ｃに保存されているＲＡＷ画像データが随時読み出される。歪み補正処理部１７は、読み出した画像データにより第１段の補間処理（第１補間処理：図４乃至図６参照）により、Ｓ０５で算出して歪み補正前座標（Ｘ，Ｙ）により、その近傍の周辺画素を選択し、選択した周辺画素の歪み補正後座標（Ｘ’，Ｙ’）の色の画素データ（図４の例ではＲ５１〜Ｒ５４）を補間処理により算出する（Ｓ０６）。

次に、歪み補正処理部１７は、Ｓ０６で選択した周辺画素と補正前座標（Ｘ，Ｙ）の相対位置及び、周辺画素の画素データにより補正前座標（Ｘ，Ｙ）の画素データを第２段の補間処理（第２補間処理：図８参照）により算出する（Ｓ０７）。

Ｓ０７で算出した歪み補正前座標（Ｘ，Ｙ）の画素データを歪み補正後座標（Ｘ’，Ｙ’）の画素データとして用いる（Ｓ０８）。

上述の各ステップＳ０１〜Ｓ０８を、図７（ｂ）の歪み補正後画像の矩形領域の左上を起点（０，０）にして１画素（ピクセル）ずつずらして右下の終点、例えば（６４０，４８０）までの各画素（ピクセル）について実行することで、図７（ｂ）の歪み補正後画像の全画素について歪み補正が行われる。

以上のように、本実施形態の画像処理装置及び方法によれば、目的座標の画素の画素データを周辺画素の画素データから補間計算することで求めることにより、ＲＧＢ画像に変換せずにＲＡＷ画像のまま画像劣化の少ない歪み補正処理を行うことができるため、高速処理が可能となり、画素の入れ替えに必要なメモリ量を削減することができる。

また、ＲＧＢ毎に画素データを保存したメモリ領域１９ａ〜１９ｃからＲＧＢの各画素データを読み出して補間計算を行うので、図２（ｂ）のような格納状態からのデータ読み出しとは異なり、待機時間がなく、アクセス時間が短縮され、高速処理が可能となる。このように、画像の歪み補正処理のときの画素データの格納を高速処理用に並べ替えて配置し格納することで、メモリのアクセス速度の向上を達成でき、画像処理速度の向上を実現できるとともに、メモリを特に増設しなくてすむので、装置の低消費電力・低発熱化を図ることができる。

また、他の補間計算（バイリニア・バイキュービック）と同じように、画像のグラデーションが滑らかになるという効果も得られる。また、入出力がＲＡＷ画像になることでＩＳＰ処理を歪み補正処理の後に行うことができ、歪み補正をした画像に対してＩＳＰ処理による画像処理を行うことができる。

次に、図１０の画像処理装置を含む画像形成装置について図１２を参照して説明する。図１２は本実施形態による画像形成装置の概略的構成を示すブロック図である。

図１２のように、画像形成装置５０は、広角レンズＡと、図１０の画像処理装置１０と、ＩＳＰ処理部２０と、画像表示部３０と、画像メモリ部４０と、を備え、デジタルスチルカメラを構成可能である。

画像形成装置５０は、広角レンズＡを通して撮影像の光が図１０の撮像素子１１に入射すると、撮像素子１１からのＲＡＷ画像データＰを上述の図４〜図８のようにして歪み補正処理し、その歪み補正後のＲＡＷ画像データＰ’がＩＳＰ処理部２０に入力し、歪み補正後のＲＡＷ画像についてＩＳＰ処理部２０でホワイトバランスや色補正やガンマ補正処理等の画像処理を行い、その画像処理後の画像を液晶等からなる画像表示部３０に表示するとともに、画像メモリ部４０に保存する。

以上のように、図１２の画像形成装置５０によれば、広角レンズＡを通して得られたＲＡＷ画像を歪み補正処理したＲＡＷ画像をＩＳＰ処理部２０に出力し、歪み補正後のＲＡＷ画像に対してＩＳＰ処理を行うので、ＩＳＰ処理の前に歪み補正処理をすることができるとともに、歪み補正の前後で画素の色が異なる場合にはその画素データを補間計算により高速に求めることができる。このように、歪み補正後のＲＡＷ画像に対してＩＳＰ処理を行うため、より自然な画像を比較的高速に得ることができる。

以上のように本発明を実施するための最良の形態について説明したが、本発明はこれらに限定されるものではなく、本発明の技術的思想の範囲内で各種の変形が可能である。例えば、図１０、図１２では、撮像素子１１に前置されるレンズを広角レンズとしたが、本発明はこれらに限定されず、広視野画像を得ることのできる魚眼レンズであってもよく、さらに、歪み補正の必要な他のレンズであってもよい。

［他の実施形態］
次に、他の実施形態として撮像素子の色フィルタがベイヤー配列構造でなく、補色等のＲＧＢを除いたＲＧＢの算出に用いる色（以下、単に補色系という）の色フィルタの画素（以下、補色系画素という）を含む場合について説明する。他の実施形態においては最終的には補色系画素データからＲＧＢの各画素データを演算によって求める必要がある。

ＲＧＢの算出に用いる色の組み合わせ及びこれらから算出されるＢＧＲとしては以下の例（１〜９）がある。補色系フィルタの画素を含む場合の代表例としてYellowとGreen、及びBlueを用いた例について、以下、図１３、図１４を参照して説明する。
１．YellowとGreen →Red
２．YellowとRed →Green
３．CyanとGreen →Blue
４．CyanとBlue →Green
５．WhiteとYellow →Blue
６．WhiteとCyan →Red
７．WhiteとMagenta →Green
８．MagentaとRed →Blue
９．MagentaとBlue →Red
図１３は、撮像素子において補色系画素を含む配列構造例を模式的に示す図である。図３乃至図１２で説明した本実施形態においてはＲＧＢの画素種類ごとに図３（ａ）〜（ｃ）のようにＲＧＢの各データを１ブロックのメモリ領域にそれぞれまとめて配置し格納し、格納した各色の画素データを用いて補間処理を実行し、補間処理した画素データに基づいて歪み補正処理を行っていた。図１３等に示す他の実施形態においても、図３乃至図１２の処理については同様であり、図３（ａ）〜（ｃ）のようにＹ及びＧＢの各データを１ブロックのメモリ領域にそれぞれまとめて配置し格納し、格納した各色の画素データを用いて補間処理を実行し、補間処理した画素データに基づいて歪み補正処理を行う。

図１４は、図１３の配列構造の場合の画像の歪み補正を説明するための図であり、図１４（ａ）は図９（ａ）と同じ図、図１４（ｂ）は図１４（ａ）の模式的拡大図でＧ、Ｙｅの画素データについての並べ替えを示す図、図１４（ｃ）は図１４（ａ）の模式的拡大図でＢの画素データについての並べ替えを示す図、図１４（ｄ）はＢの画素データについての図９（ｂ）と同じ図、図１４（ｅ）はＧ、Ｙｅの画素データについての図９（ｂ）と同じ図、図１４（ｆ）はＲの画素データについての図９（ｂ）と同じ図、図１４（ｇ）は図１４（ｅ）の模式的拡大図、図１４（ｈ）は図１４（ｅ）の模式的拡大図、図１４（ｉ）は図１４（ｆ）の模式的拡大図である。

他の実施形態と、前述の本実施形態との違いについて説明する。図１４に示す他の実施形態においては、歪み補正後の画素データのメモリへの保存を、ＲＧＢの算出に用いる色同士の画素データを連続して行い、これ以外の色の画素データを色毎に連続して行う。つまりＲの算出に用いるＹｅとＧについてはこれらを連続してメモリに保存し、これ以外の色であるＢについてはＢのみを連続してメモリに保存する。以下のその理由を説明する。

補色系画素を含む配列構造の場合、補色系画素データからＲＧＢの各画素データを演算によって求めるが、例えば、図１３のような場合、Ｒのデータは通常、次の式（１）のようにＹｅ(Yellow)の画素データからＧ(Green)の画素データを減算して求める。

Ｒ(Red)＝Ｙｅ(Yellow)−Ｇ(Green) （１）
原色（ＲＧＢ）でない補色系の色であるＹｅの画素データを単独で処理することはなく、通常は上記式（１）の演算により求められたＲの画素データを利用する。したがって、歪み補正処理後のＹｅの画素データは、Ｇの画素データとメモリの同じ領域に格納し、近接座標の画素データはＧの画素データと連続していることが望ましい。

図１４は、他の実施形態における処理を説明するものであるが、図１４（ｂ）、（ｈ）のように補色系のＹｅが含まれる画素データにつき歪み補正処理を行い、その際にＹｅ、Ｇの画素データを同じ１ブロックのメモリ領域に格納するとともに、Ｒの画素データを上記式（１）により求め、図１４（ｆ）、（ｉ）のようにＲの画素データにつき歪み補正を行い、その画素データを１ブロックのメモリ領域に格納する。このようにすることでその後の画像処理として、１画素にＢＧＲ画素データを持たせた画像データへの変換を行う際にＲＧＢの算出に用いる画素の画素データを１ブロックのメモリ領域から１サイクルで読み出すことができるので、メモリへのアクセス時間が短縮化され、高速処理が可能となる。

１０ 画像処理装置
１１ 撮像素子
１７ 歪み補正処理部
１８ メモリ制御部
１９ 画像バッファメモリ
１９ａ〜１９ｃ メモリ領域
５０ 画像形成装置
Ａ 広角レンズ

Claims (11)

1. 複数の画素を備えそれぞれの画素が１の色に対応する撮像素子を備え、光学系を介して前記撮像素子により撮像された画像の歪みを補正する画像歪み補正方法において、
   歪み補正前後で画素の色が異なるとき、歪み補正後の画素データをメモリに保存した補正前の画素の周囲における複数画素の画素データによる補間処理で得、
   前記メモリには同一色の画素データが各色毎に連続して保存されていることを特徴とする画像歪み補正方法。
2. 複数の画素を備えそれぞれの画素が１の色に対応する撮像素子を備え、光学系を介して前記撮像素子により撮像された画像の歪みを補正する画像歪み補正方法において、
   補正前の色と同じ色の補正後の画素データを、メモリに保存した補正前の画素の周囲における複数画素の画素データによる補間処理で得、
   前記メモリには同一色の画素データが各色毎に連続して保存されていることを特徴とする画像歪み補正方法。
3. 前記補間処理は、
   歪み補正前の画素の周囲の所定位置に配置されている画素が、補正後の画素の色と同じときは該所定位置に配置されている画素の画素データをそのまま用い、補正後の画素の色と異なるときは該所定位置に配置されている画素をその周囲における補正後の色と同じ色の複数画素の画素データにより補間して得る第１処理と、
   前記補正前の画素の位置と前記所定位置に配置されている画素との相対位置関係、及び前記第１処理で得た複数の前記所定位置に配置されている画素の画素データにより、補正後の画素データを補間して得る第２処理と、からなる請求項２に記載の画像歪み補正方法。
4. 前記各色毎に連続して画素データを保存するメモリ領域の１ブロック単位の大きさは、前記補間処理で使用する前記複数画素の単位よりも大きいサイズが確保されている請求項１から３のいずれか一項に記載の画像歪み補正方法。
5. 前記複数の色にはＲＧＢの算出に用いる色が含まれており、
   歪み補正後の画素データの前記メモリへの保存を、ＲＧＢの算出に用いる色同士の画素データを連続して行う請求項１から４のいずれか一項に記載の画像歪み補正方法。
6. 光学系と、複数の画素を備えそれぞれの画素が１の色に対応し前記光学系を介して画像を撮像する撮像素子と、前記撮像素子から取り込んだ画像を処理する演算装置と、メモリと、を備え、
   前記演算装置は、前記画像の歪みを補正する処理において、歪み補正前後で画素の色が異なるとき、歪み補正後の画素データをメモリに保存した補正前の画素の周囲における複数画素の画素データによる補間処理で算出し、前記メモリに同一色の画素データを各色毎に連続して保存することを特徴とする画像処理装置。
7. 光学系と、複数の画素を備えそれぞれの画素が１の色に対応し前記光学系を介して画像を撮像する撮像素子と、前記撮像素子から取り込んだ画像を処理する演算装置と、メモリと、を備え、
   前記演算装置は、前記画像の歪みを補正する処理において、補正前の色と同じ色の補正後の画素データを、メモリに保存した補正前の画素の周囲における複数画素の画素データによる補間処理で算出し、前記メモリに同一色の画素データを各色毎に連続して保存することを特徴とする画像処理装置。
8. 前記演算装置は、
   歪み補正前の画素の周囲の所定位置に配置されている画素が、補正後の画素の色と同じときは該所定位置に配置されている画素の画素データをそのまま用い、補正後の画素の色と異なるときは該所定位置に配置されている画素をその周囲における補正後の色と同じ色の複数画素の画素データにより補間して得る第１処理と、
   前記補正前の画素の位置と前記所定位置に配置されている画素との相対位置関係、及び前記第１処理で得た複数の前記所定位置に配置されている画素の画素データにより、補正後の画素データを補間して得る第２処理と、
   により前記補間処理を行う請求項７に記載の画像処理装置。
9. 前記メモリにおける前記各色毎に連続して画素データを保存するメモリ領域の１ブロック単位の大きさは、前記補間処理で使用する前記複数画素の単位よりも大きいサイズが確保されている請求項６から８のいずれか一項に記載の画像処理装置。
10. 前記複数の色にはＲＧＢの算出に用いる色が含まれており、
    歪み補正後の画素データの前記メモリへの保存を、ＲＧＢの算出に用いる色同士の画素データを連続して行う請求項６から９のいずれか一項に記載の画像処理装置。
11. 前記光学系は広角用光学系である請求項６から１０のいずれか一項に記載の画像処理装置。