JPWO2006093266A1 - 色ズレを補正する画像処理装置、画像処理プログラム、画像処理方法、および電子カメラ - Google Patents

Abstract

本発明の画像処理装置は、補正対象色成分と基準色成分とを少なくとも含み、１画素当たり１種類の色成分を配した画像データを取り込む。本装置は、この補正対象色成分の位置ズレに関する情報を取得または検出し、補正対象色成分の位置ズレを補正する。この補正において補正対象色成分から消失する画像構造を、基準色成分から抽出した画像構造で補う。

Description

本発明は、画像の倍率色収差を抑制する画像処理技術に関する。

一般に、電子カメラでは、撮影光学系の倍率色収差によって、撮像された画像に色ズレを生じることが知られている。このような色ズレを、画像処理によって補正する技術が従来提案されている。
例えば、特許文献１では、ＲＡＷデータの欠落色成分を色補間処理で生成する際に、補間係数を操作することで倍率色収差の補正も同時に行っている。
また例えば、特許文献２では、色ズレ補正によって失われる先鋭さを補うための一方法が開示されている。すなわち、補正対象色成分（例えばＲ、Ｂ成分）のズレ量を表す補間係数データをまず求める。次に、この補間係数データの相補的係数を求め、その相補的係数を基準色成分（例えばＧ成分）に乗ずる。この乗算結果を補正色成分に加えることで、先鋭さを補う。
また例えば、特許文献３では、ＲＡＷデータのＧ成分を、Ｒ成分やＢ成分の倍率色収差に合わせて変倍する。この変倍後のＧ成分をＲ成分やＢ成分から減算することにより、色ズレの補正された色差成分（Ｒ−Ｇ），（Ｂ−Ｇ）を生成する方法が開示されている。この方法では、特に、無彩色の画像領域において適切な補正がなされる。
なお、『ＲＡＷデータ』は、請求項の『１画素当たり１種類の色成分を有する画像データ』に対応する。
日本出願の特開２００１−１８６５３３号公報（段落００４３） 日本出願の特許第２５５２７４２号公報 日本出願の特開２００２−１１２２７６号公報

上述した特許文献１では、ＲＡＷデータが元から有する色成分についても、倍率色収差の補正のために補間処理が行われる。例えば、一般的なＲＧＢベイヤー配列のＲＡＷデータであれば、ＲＡＷデータ中のＲ色成分やＢ色成分に対して補間処理が行われる。
しかし、ＲＡＷデータ中のＲ色成分やＢ色成分は、画像全体の１／４の画素数しかなく、画素密度が比較的粗い。そのため、これら画素密度の粗いＲ色成分やＢ色成分に対して、そのまま倍率色収差補正（ここでは単純な補間処理）を実施すると、Ｒ色成分およびＢ色成分の微細構造がたちまち消失してしまう。
一方、特許文献２では、ＲＢ位置の相補的係数をＧ成分に乗じるため、Ｒ成分またはＢ成分の画素位置に、Ｇ成分が存在する必要がある。そのため、ベイヤー配列などのＲＡＷデータに対して、この方法を直に適用することはできない。
また一方、特許文献３では、Ｇ成分を、倍率色収差によってずれたＲ成分やＢ成分に合わせて変倍する。そのため、生成される色差成分（Ｒ−Ｇ），（Ｂ−Ｇ）は、元のＧ成分に対して画素位置がずれる。そのため、有彩色の色構造がある画像領域では、
Ｇ成分と色差成分との間の位置ズレを無視できず、倍率色収差は正確に補正されない。さらには、この位置ズレの影響によって、有彩色の色構造が破壊される危険性もある。
以上の理由から、上述した従来技術では、ＲＡＷデータに対して、高画質に倍率色収差を補正することが困難であった。

そこで、本発明は、ＲＡＷデータに対して、高画質に倍率色収差を補正することを目的とする。

《１》 本発明の画像処理装置は、入力部、色ズレ情報取得部、および色ズレ抑制部を備える。
入力部は、補正対象色成分と基準色成分とを少なくとも含む複数種の色成分で表され、１画素当たり１種類の色成分を配した画像データを取り込む。
色ズレ情報取得部は、補正対象色成分の位置ズレに関する情報を取得または検出する。
色ズレ抑制部は、位置ズレに関する情報に基づき、補正対象色成分の位置ズレを補正する。
なお、上記の色ズレ抑制部は、位置ズレ補正部、画像構造抽出部、および画像構造補填部を備える。
位置ズレ補正部は、位置ズレに関する情報に基づき、補正対象色成分の位置ズレを補正する。
画像構造抽出部は、基準色成分から画像構造を抽出する。
画像構造補填部は、位置ズレ補正によって補正対象色成分から消失する画像構造を、画像構造抽出部で抽出した基準色成分の画像構造で補う。
《２》 なお好ましくは、画像構造抽出部は、補正対象色成分よりも画素密度が高い色成分を基準色成分とする。
《３》 また好ましくは、位置ズレ補正部は、補正対象色成分の画素位置Ｐの位置ズレ先Ｐ′について補正対象色成分を補間処理で求めて、画素位置Ｐの補正対象色成分とする。
画像構造抽出部は、画素位置Ｐの基準色成分Ｚ１を補間処理で求める。さらに、画像構造抽出部は、位置ズレ補正部の補間処理で参照する画素間隔と同じ参照間隔の補間処理を実施して画素位置Ｐの基準色成分Ｚ２を生成する。画像構造抽出部は、このように求めた両補間結果Ｚ１，Ｚ２の差異を抽出する。
一方、画像構造補填部は、位置ズレ補正部で位置ズレを補正された補正対象色成分に、画像構造抽出部で求めた両補間結果Ｚ１，Ｚ２の差異を付加する。
《４》 なお好ましくは、画像構造抽出部は、位置ズレ先Ｐ′の補間処理に使用する補正対象色成分について位置ズレを起こす前の元位置Ｑを得る。画像構造抽出部は、この元位置Ｑの基準色成分を補間して、画素位置Ｐの基準色成分Ｚ２を求める。
《５》 本発明の別の画像処理装置は、入力部、色ズレ情報取得部、および色ズレ抑制部を備える。
入力部は、補正対象色成分と基準色成分とを少なくとも含む複数種の色成分で表され、１画素当たり少なくとも１種類の補正対象色成分が欠落した画像データを取り込む。
色ズレ情報取得部は、補正対象色成分の位置ズレに関する情報を取得または検出する。
色ズレ抑制部は、位置ズレに関する情報に基づき、補正対象色成分の位置ズレを補正する。
なお、上記の色ズレ抑制部は、基準色成分位置ずらし部、色差算出部、および色差位置ズレ補正部を備える。
基準色成分位置ずらし部は、位置ズレに関する情報に基づき、補正対象色成分の位置ズレに合わせて基準色成分の位置をずらす。
色差算出部は、基準色成分ずらし部によって位置のずれた基準色成分と、補正対象色成分とに基づいて、位置のずれた色差を求める。
色差位置ズレ補正部は、位置ズレに関する情報に基づき、色差の位置ズレを補正する。
《６》 なお好ましくは、色差位置ズレ補正部は、基準色成分位置ずらし部でずらす前の前記基準色成分の画素位置に合わせて、色差の位置ズレを補正する。
《７》 本発明の別の画像処理装置は、入力部、色ズレ情報取得部、および色ズレ抑制部を備える。
入力部は、補正対象色成分と基準色成分とを少なくとも含む複数種の色成分で表され、１画素当たり少なくとも１種類の補正対象色成分が欠落した画像データを取り込む。
色ズレ情報取得部は、補正対象色成分の位置ズレに関する情報を取得または検出する。
色ズレ抑制部は、位置ズレに関する情報に基づき、補正対象色成分の位置ズレを補正する。
なお、上記の色ズレ抑制部は、基準色成分補間部、色差算出部、および色差補間部を備える。
基準色成分補間部は、位置ズレに関する情報に基づき、補正対象色成分の画素位置Ｐについて位置ズレを起こす前の元位置Ｐ″を得る。さらに、基準色成分補間部は、元位置Ｐ″における基準色成分を補間処理により生成する。
色差算出部は、『画素位置Ｐの補正対象色成分』と『元位置Ｐ″の基準色成分』とから、元位置Ｐ″における色差成分Ｃ″を求める。
色差補間部は、元位置Ｐ″における色差成分Ｃ″を補間して、少なくとも画素位置Ｐの色差成分Ｃを求める。
《８》 なお好ましくは、色ズレ抑制部は、画素位置Ｐの基準色成分を補間処理により生成する。さらに、色ズレ抑制部は、画素位置Ｐの基準色成分および色差成分Ｃに基づいて、画素位置Ｐの補正対象色成分を生成する補正対象色成分生成部を備える。
《９》 また好ましくは、色ズレ抑制部は、元位置Ｐ″における色差成分Ｃ″を補間して、基準色成分の画素位置について色差成分Ｃを求める。さらに、色ズレ抑制部は、色差成分Ｃと基準色成分に基づいて、基準色成分の画素位置について補正対象色成分を生成する。
《１０》 本発明の別の画像処理装置は、入力部、色ズレ情報取得部、および色ズレ抑制部を備える。
入力部は、補正対象色成分と基準色成分とを少なくとも含む複数種の色成分で表され、１画素当たり１種類の色成分を配した画像データを取り込む。
色ズレ情報取得部は、補正対象色成分の位置ズレに関する情報を取得または検出する。
色ズレ抑制部は、位置ズレに関する情報に基づき、補正対象色成分の位置ズレを補正する。
なお、上記の色ズレ抑制部は、基準色成分と補正対象色成分に基づいて補正対象色成分の色ズレを補正する。さらに、色ズレ抑制部は、色ズレ補正済みの補正対象色成分と、基準色成分とを画素配列した、１画素当たり１種類の色成分を配した画像データを生成する。
《１１》 本発明の画像処理プログラムは、コンピュータを、請求項１ないし請求項１０のいずれか１項に記載の画像処理装置として機能させるためのプログラムである。
《１２》 本発明の電子カメラは、上記《１》〜《１０》のいずれか１項に記載の画像処理装置と、被写体を撮像して、１つの画素が１つの色成分を有する画像データを生成する撮像部とを備える。
上記構成において、画像処理装置は、撮像部で生成された画像データを画像処理装置で処理して色ズレを補正することを特徴とする。
《１３》 本発明の画像処理装置は、上記《１》と同じ画像処理を実施する画像処理方法である。
《１４》 本発明の別の画像処理方法は、上記《７》と同じ画像処理を実施する画像処理方法である。

本発明は、少なくとも１つの色成分が欠落した画素から成る画像データの補正対象色成分の位置ズレ補正において、別の色成分（基準色成分）を参照する。したがって、補正対象色成分の画素密度が粗くても、基準色成分を参照することで、位置ズレ補正において参照する画素間隔を実質的に密にすることができる。このように画素間隔を密にして位置ズレ補正を実施することにより、画像の微細構造を良好に残した位置ズレ補正が可能となる。
したがって、本発明の技術により、微細構造の消失の少ない高画質な倍率色収差補正が実現する。
なお、本発明における上述した目的およびそれ以外の目的は、以下の説明と添付図面とによって容易に確認することができる。

第１実施形態の構造を示すブロック図である。 画像処理装置１１の動作を説明する流れ図である。 位置ズレ先Ｐ′のＲ補間処理を示す図である。 ２種類のＧ補間処理を説明する図である。 倍率色収差を粗く補正したＲ補間値《Ｒ》を説明する図である。 Ｇ補間値Ｚ１，Ｚ２の差異を用いて、Ｒ補間値《Ｒ》の画像構造を補う様子を示す説明図である。 第２実施形態の構造を示すブロック図である。 画像処理装置５１の動作を説明する流れ図（前半）である。 画像処理装置５１の動作を説明する流れ図（後半）である。 元位置Ｐ″の色差成分Ｃ″を求める処理を説明する図である。 色差成分Ｃと補間Ｇ色成分から補正済みＲ色成分を求める処理を説明する図である。

《第１実施形態》
［第１実施形態の構成説明］
図１は、第１実施形態の構造を示すブロック図である。
図１において、電子カメラ１は、撮像部１０および画像処理装置１１を備えて構成される。この撮像部１０は、撮影光学系（不図示）を介して被写体を撮像し、ＲＡＷデータを生成する。このＲＡＷデータは、ＲＧＢ色成分をベイヤー配列した画像データである。画像処理装置１１は、このＲＡＷデータの倍率色収差を補正し、補正済みのＲＡＷデータを出力する。
この画像処理装置１１は、次のような構成を備える。

（１）ＷＢ補正部１２・・ＲＡＷデータに対してホワイトバランス調整処理を実施する。
（２）ガンマ変換部１３・・ＲＡＷデータに対してガンマ変換を実施する。
（３）色ズレ情報取得部１４・・倍率色収差による位置ズレ情報（各色成分の像倍率の差や、位置ズレの画面内分布を示すデータなど）を取得または検出する。
（４）類似方向判定部１５・・画像構造の局所的な類似方向を判定する。なお、国際公開ＷＯ０３／０５８５５４号パンフレットに記載の方法により、倍率色収差の位置ズレを考慮した類似方向の判定を実施してもよい。また、同色間のみで簡易に類似方向の判定を実施してもよい。例えば、Ｇ色成分のみの類似方向であれば、倍率色収差の影響を受けずに類似方向を判定することができる。
（５）位置ズレ補正部１６・・ＲＡＷデータ中のＲ色成分やＢ色成分について、補間処理による簡易な位置ズレ補正を実施し、倍率色収差を粗く補正したＲ色成分やＢ色成分を出力する。
（６）画像構造抽出部１７・・位置ズレ補正部１６で消失する画像構造の代わりに、画素密度の高いＧ色成分から微細な画像構造を抽出する。
（７）画像構造補填部１８・・倍率色収差を粗く補正したＲ色成分やＢ色成分に対し、画像構造抽出部１７で抽出したＧ色成分の微細画像構造を補って、微細構造の消失の少ないＲ色成分およびＢ色成分を生成する。

［第１実施形態の動作説明］
図２は、画像処理装置１１の処理手順を示す流れ図である。
以下、図２のステップ番号に沿って、第１実施形態の具体的な動作について説明する。

ステップＳ１： ＷＢ補正部１２にＲＡＷデータが入力される。

ステップＳ２： ＷＢ補正部１２は、ＲＡＷデータ中のＲ色成分およびＢ色成分について、信号ゲインをそれぞれ変更して、ホワイトバランスを調整する。通常、このホワイトバランスは、ＲＧＢ色成分の信号レベルを平均的に揃える方向に調整が行われる。この調整により、ステップＳ１０でＧ色成分から抽出する信号レベルと、ステップＳ５の位置ズレ補正でＲＢ色成分から消失する信号レベルとをおおよそ揃えておくことができる。
続いて、ガンマ変換部１３は、ホワイトバランス調整後のＲＡＷデータに対してガンマ補正を施す。

ステップＳ３： 色ズレ情報取得部１４は、倍率色収差によるＲ色成分の位置ズレ情報を取得または検出する。例えば、この色ズレ情報取得部１４は、撮影光学系との通信情報や、ＲＡＷデータに付帯する撮影情報から、この位置ズレ情報を取得することができる。また、ＲＡＷデータから色成分間のエッジ位置のずれ幅を検出するなどして、位置ズレ情報を検出することもできる。

ステップＳ４： 位置ズレ補正部１６は、位置ズレ情報を用いて、ＲＡＷデータ中でＲ色成分が配列される画素位置Ｐについて、倍率色収差の位置ズレ先Ｐ′を求める（図３参照）。

ステップＳ５： この位置ズレ先Ｐ′のＲ色成分こそが、倍率色収差の無い状態で画素位置Ｐに現れるＲ色成分となる。そこで、位置ズレ補正部１６は、図３に示すように、近傍のＲ色成分を補間し、位置ズレ先Ｐ′のＲ補間値《Ｒ》を求める。ここでの補間処理には、バイキュービック、線形補間など公知の補間技術を使用することができる。位置ズレ補正部１６は、このＲ補間値《Ｒ》を、画素位置Ｐの簡易補正値として画像構造補填部１８へ出力する。

ステップＳ６： 画像構造抽出部１７は、Ｒ補間値《Ｒ》の補間時に使用した近傍のＲ画素の位置（図４に示す位置Ｑ′）を位置ズレ補正部１６から得る。画像構造抽出部１７は、位置ズレ情報により、これら位置Ｑ′のＲ色成分について位置ズレを起こす前の位置（図４に示す元位置Ｑ）を求める。

ステップＳ７： 撮像面上において本来同じ像高位置に到達すべきＲ光とＧ光は、倍率色収差によって変位し、一方のＲ光は位置Ｑ′に到達し、もう一方のＧ光は元位置Ｑに到達する。したがって、位置Ｑ′のＲ色成分の群が示す画像構造と、元位置ＱのＧ色成分の群が示す画像構造とは、本来は同じ像位置に重なるべき画像構造である。
そこで、画像構造抽出部１７は、これら元位置Ｑのそれぞれについて、画素密度の高いＧ色成分による補間処理を実施して補間値Ｇを求める。ここでの補間処理には、バイキュービックや線形補間などの補間処理や、または類似方向判定部１５による類似性判別結果を用いた補間処理などが好ましい。

ステップＳ８： 画像構造抽出部１７は、元位置Ｑのそれぞれの補間値Ｇを用いて更に補間することにより、画素位置ＰのＧ補間値Ｚ２を求める。このＧ補間値Ｚ２は、Ｒ補間値《Ｒ》と同じ条件（参照間隔、同じ像位置の画像構造）で粗く補間した結果となる。

ステップＳ９： 画像構造抽出部１７は、類似性判別を利用した高精度なＧ補間処理を実施して、画素位置Ｐの高精度なＧ補間値Ｚ１を求める。

ステップＳ１０： 画像構造抽出部１７は、２種類のＧ補間の結果Ｚ１とＺ２との差異から、粗いＧ補間値Ｚ２で消失したＧ色成分の画像構造を抽出する。ここでの差異は、Ｚ１とＺ２との差分を演算してもよいし、またＺ１とＺ２の比に応じた値を求めてもよい。

ステップＳ１１： 自然画の多くは、各色成分の画像構造は類似した傾向を示す。したがって、ステップＳ１０で求めた画像構造は、Ｒ補間値《Ｒ》から消失したＲ色成分の画像構造とよく類似する。
そこで、画像構造補填部１８は、ステップＳ５で求めたＲ補間値《Ｒ》に、ステップＳ１０で求めたＺ１とＺ２の差異を補って、補正済みＲ色成分を生成する。
ここでの演算は、ステップＳ１０の差異を、Ｒ補間値《Ｒ》にそのまま加算してもよい。また、ステップＳ１０の差異に、効果調整用の重み係数を乗じた上で、Ｒ補間値《Ｒ》に加算してもよい。さらに、過度な誤差が生じないよう、ステップＳ１０の差異にリミット（ハードリミット、または対数カーブのようなソフトリミットなど）をかけた上で、Ｒ補間値《Ｒ》に加算してもよい。また、加算の代わりに、ステップＳ１０の差異をＲ補間値《Ｒ》に乗算してもよい。

ステップＳ１２： ＲＡＷデータ中のＢ色成分についても、ステップＳ３〜Ｓ１１と同じ処理を実施し、補正済みＢ色成分を生成する。

ステップＳ１３： 画像構造補填部１８は、補正済みＲ色成分、補正済みＢ色成分、およびＧ色成分を画素配列したＲＡＷデータを出力する。

［第１実施形態の効果など］
図５は、倍率色収差を粗く補正したＲ補間値《Ｒ》を求める様子を説明する図である。この処理では、Ｒ色成分の画素密度が粗いため、図５に示すように、微細な起伏がＲ補間値《Ｒ》から大部分消失してしまう。

図６は、Ｇ色成分からＧ補間値Ｚ１，Ｚ２を求める様子を説明する図である。
Ｇ補間値Ｚ２については、Ｒ補間値《Ｒ》の算出と同一条件（参照間隔および画像構造）で処理した値である。そのため、Ｇ補間値Ｚ２とＲ補間値《Ｒ》とは類似した傾向を示す。特に、同じ参照間隔で補間処理を行うため、Ｇ補間値Ｚ２とＲ補間値《Ｒ》とは、高域の空間周波数成分の消失具合がよく類似する。また、Ｇ補間値Ｚ２とＲ補間値《Ｒ》とは、本来同じ位置に重なるべき画像構造を補間して生成するため、起伏の位相的な特徴もよく類似する。

ところで、Ｇ色成分については、ＲＡＷデータ中の画素密度が本来高く、かつ類似性判断を加味することも可能となる。そのため、粗い補間結果であるＧ補間値Ｚ２とは別に、高精度なＧ補間値Ｚ１を求めることができる。

したがって、２種類の補間結果Ｚ１，Ｚ２の差異を求めることによって、Ｇ補間値Ｚ２の算出過程で消失した局所的な起伏を求めることができる。この起伏から、Ｒ補間値《Ｒ》の算出過程で消失した画像構造を補うことができる。その結果、倍率色収差による位置ズレを補正しつつ、かつ画像構造をよく保存した補正済みＲ色成分を得ることができる。

さらに、第１実施形態では、同様の処理をＢ色成分についても実施し、補正済みＢ色成分を求める。このような倍率色収差補正により、倍率色収差による位置ズレがなく、かつ画像構造をよく保存したＲＡＷデータを生成することが可能になる。

また、撮影光学系の種類によっては倍率色収差が充分に小さく、倍率色収差補正が不要となる場合もある。そのため、電子カメラ１内では倍率色収差補正の適用／非適用を柔軟に変更できることが好ましい。第１実施形態は、倍率色収差補正の適用／非適用のいずれであっても、取り扱うＲＡＷデータのデータ形式は変わらない。そのため、後段の処理部（不図示）では、倍率色収差補正の適用／非適用のどちらでも基本的な処理構成を切り替える必要がない。その結果、全体の回路規模を小さくできる。また、倍率色収差補正の適用／非適用のどちらにおいても、全体の画像処理の傾向を同一に保つことが可能になる。

その上、ナイキスト周波数構造における色ズレも精度良く補正されるため、色補間時の類似性判断の間違いや補間値算出誤差を低減することもできる。
次に、別の実施形態について説明する。

《第２実施形態》
［第２実施形態の構成説明］
図７は、第２実施形態の構造を示すブロック図である。なお、第１実施形態（図１）と同じ構成については同一番号を付与し、ここでの重複説明を省略する。
図７に示すように、電子カメラ５は、撮像部１０および画像処理装置５１を備えて構成される。この画像処理装置５１は、次の構成を備える。

（１）Ｇ補間部３１・・ＲＡＷデータ中のＧ色成分について補間処理を実施する。
（２）色差生成部３２・・Ｒ（Ｂ）色成分と補間Ｇ色成分とから色差成分Ｃ″を生成する。
（３）色差補間部３３・・色差成分Ｃ″を補間して、倍率色収差の位置ズレを補正した色差成分Ｃを生成する。
（４）ＲＢ生成部３４・・色差成分Ｃと補間Ｇ色成分とから、倍率色収差の位置ズレを補正したＲＡＷデータまたは画像データを生成する。

［第２実施形態の動作説明］
図８および図９は、画像処理装置５１の動作を説明する流れ図である。
以下、図８および図９のステップ番号に沿って、第２実施形態の具体的な動作について説明する。

ステップＳ３１〜Ｓ３３： 第１実施形態のステップＳ１〜Ｓ３と同じ処理

ステップＳ３４： Ｇ補間部３１は、位置ズレ情報を用いて、ＲＡＷデータのＲ色成分を有する画素位置Ｐについて、位置ズレ前の元位置Ｐ″を求める（図１０参照）。

ステップＳ３５： Ｇ補間部３１は、ＲＡＷデータのＧ色成分について補間処理を実施し、これら元位置Ｐ″の補間Ｇ色成分を求める。ここでの補間処理には、類似性判別を利用した高精度な補間処理が好ましい。

ステップＳ３６： 色差生成部３２は、画素位置ＰのＲ色成分と、元位置Ｐ″の補間Ｇ色成分とから、色差成分Ｃ″を求める（図１０参照）。この色差成分Ｃ″は、倍率色収差が無ければ、元位置Ｐ″に本来現れる色差成分である。

ステップＳ３７： 画像処理装置５１は、倍率色収差補正のみを実施する場合、ステップＳ３８に動作を移行する。一方、色補間処理も併せて実施する場合には、ステップＳ４３に動作を移行する。

ステップＳ３８： Ｇ補間部３１は、Ｇ色成分の補間処理を実施し、Ｒ色成分が位置する画素位置Ｐの補間Ｇ色成分を求める。ここでの補間処理には、類似性判別を利用した高精度な補間処理が好ましい。

ステップＳ３９： 一方、色差補間部３３は、元位置Ｐ″の色差成分Ｃ″を補間して、画素位置Ｐの色差成分Ｃを生成する（図１１参照）。

ステップＳ４０： ＲＢ生成部３４は、画素位置Ｐの補間Ｇ色成分および色差成分Ｃに基づいて、補正済みＲ色成分を生成する（図１１参照）。例えば、下式を用いて補正済みＲ色成分を求めてもよい。
補正済みＲ色成分＝色差成分Ｃ＋補間Ｇ色成分

ステップＳ４１： ＲＡＷデータ中のＢ色成分についても、ステップＳ３３〜Ｓ４０と同じ処理を実施し、補正済みＢ色成分を生成する。

ステップＳ４２： ＲＢ生成部３４は、補正済みＲ色成分、補正済みＢ色成分、およびＧ色成分を画素配列してなるＲＡＷデータを出力する。
以上の動作により、画像処理装置５１は、ＲＡＷデータに対する倍率色収差の補正処理を完了する。

ステップＳ４３： ステップＳ４３以降は、倍率色収差補正および色補間処理を併せて実施する。そのため、Ｇ補間部３１は、ＲＡＷデータ中のＧ色成分を補間し、全画素についてＧ色成分を求める。ここでの補正も類似性判別を利用した高精度な補間処理を実施することが好ましい。

ステップＳ４４： 色差補間部３３は、元位置Ｐ″の色差成分Ｃ″を補間して、全画素について色差成分Ｃを生成する。

ステップＳ４５： ＲＢ生成部３４は、全画素のＧ色成分および色差成分Ｃに基づいて、全画素の補正済みＲ色成分を生成する。

ステップＳ４６： ＲＡＷデータ中のＢ色成分についても、ステップＳ３３〜Ｓ３７およびステップＳ４３〜Ｓ４５と同じ処理を実施し、全画素の補正済みＢ色成分を生成する。

ステップＳ４７： ＲＢ生成部３４は、画素ごとに、補正済みＲ色成分、補正済みＢ色成分、およびＧ色成分を有する画像データを出力する。
以上の動作により、画像処理装置５１は、倍率色収差補正および色補間処理を完了する。

［第２実施形態の効果など］
通常、倍率色収差を生じた画像から色差成分を求めると、色成分間の僅かな位置ズレに起因して、色差成分にピーク状の誤差が多数発生する。
しかしながら、第２実施形態では、Ｒ色成分とＧ色成分の位置ズレを予め除去した上で、色差成分Ｃ″を求める。そのため、色差成分Ｃ″に、ピーク状の誤差は殆ど生じず、色差を正確に求めることができる。

また、高密度に存在するＧ色成分を用いて補間値を算出するので、ナイキスト周波数近傍において正確な補間値を算出して高精度に位置ズレを補正でき、位置ズレがあるときにナイキスト構造部に発生するモアレや偽色を抑制できる。

また、自然画の多くでは、ＲＧＢの各色成分の高域構造は類似した傾向を示す。したがって、各色成分の差または比によって色差成分を生成すると、色差成分の高域構造は、ＲＧＢの高域構造に比べて非常に小さくなる傾向がある。したがって、色差成分Ｃ″を補間して色差成分Ｃを求める際に高域情報がある程度欠落しても、最終的な画質にほとんど影響しない。

さらに、第２実施形態では、補間後の色差成分Ｃと、Ｇ色成分とを合わせることによって、補正済みＲ色成分を生成する。この処理において、Ｇ色成分の微細画像構造が補正済みＲ色成分に反映されるため、微細な画像構造を有する補正済みＲ色成分を得ることができる。
この処理は、第１実施形態のように、Ｇ色成分から抽出した構造情報を、粗く補正されたＲ色成分に補足して微細構造を与える処理と同じ効果をもたらす。

また、第２実施形態では、同様の処理をＢ色成分について実施する。そのため、倍率色収差による位置ズレがなく、かつ画像構造をよく保存したＲＡＷデータまたは画像データを生成することが可能になる。

さらに、第２実施形態のステップＳ３８〜Ｓ４２では、倍率色収差補正後の画像をＲＡＷデータの形態で出力する。そのため、後段の処理部（不図示）では、倍率色収差補正の適用／非適用のどちらでも、ＲＡＷデータに対応すればよく、基本的な処理構成を切り替える必要がない。その結果、全体の回路規模を小さくできる。また、倍率色収差補正の適用／非適用のどちらにおいても、全体の画像処理の傾向を同一に保つことが可能になる。

その上、ナイキスト周波数構造における色ズレも精度良く補正されるため、その後に色補間を実施する際の類似性判断の間違いや補間値算出誤差を低減することができる。

一方、第２実施形態のステップＳ４３〜Ｓ４７では、倍率色収差補正および色補間処理を併せて実施することが可能になる。その結果、倍率色収差補正および色補間処理を別々に実施するより、無駄な演算処理（色差算出など）を省くことが可能になり、処理速度の向上や、回路規模の縮小を達成できる。

なお、第２実施形態のステップＳ３５，Ｓ３６では、元位置Ｐ″における色差成分Ｃ″を生成する。この場合、元位置Ｐ″の画素座標は、必ずしも整数値ではないため、色差成分Ｃ″を画像メモリ上に記録することは困難となる。この場合は、元位置Ｐ″に対応付ける代わりに、例えば、画素位置Ｐに対応付けて色差成分Ｃ″を記録すればよい。この処理を前提とすると、ステップＳ３５，Ｓ３６の処理については、以下のような解釈も可能になる。
すなわち、元位置Ｐ″の位置のＧ成分を補間生成し、そのＧ成分の値を画素位置Ｐにずらす（例えば、画素位置Ｐのメモリアドレスに記憶する）。この画素位置ＰのＧ成分（位置をずらした基準色成分）と、画素位置ＰのＲ成分（元から位置のずれている補間対象色成分）との差分をとることにより、位置のずれた色差成分Ｃ″を画素位置Ｐに生成する。
この解釈のもとでは、ステップＳ３９またはステップＳ４４は、画素位置Ｐの色差成分Ｃ″を元位置Ｐ″にずらして位置ズレを補正した後、画素位置Ｐまたは全画素について、位置ズレの補正された正しい色差成分Ｃを補間生成する処理となる。
以上のような解釈は、第２実施形態の動作説明とは一見異なる表現に見えるが、実際には同等の処理である。

《実施形態の補足事項》
なお、第２実施形態ではベイヤ画像の倍率色収差を補正する処理について説明した。しかしながら、第２実施形態の処理対象はベイヤ画像に限定されない。例えば、２板式撮像素子で生成された画像データの処理も可能である。一般に、２板式撮像素子を、Ｇフィルタを全面配置した撮像素子と、ＲＢフィルタを市松配列した撮像素子とから構成した場合、１画素当たりＲ成分／Ｂ成分のいずれかが欠落した画像データが生成される。この種の画像データに対して第２実施形態と同様に色ズレ補正を実施することにより、補正後のＲ成分とＢ成分に対してＧ成分の微細構造情報を補う効果が得られる。

また、上述した実施形態では、電子カメラ（画像処理装置を含む）の実施形態について説明した。しかしながら、本発明はこれに限定されるものではない。上述したＲＡＷデータの処理（図２，図８、図９参照）を、コンピュータ（画像処理プログラム）で実行してもよい。

なお、上述した実施形態では、ＲＧＢベイヤー配列のＲＡＷデータについて説明した。しかしながら、色成分はＲＧＢに限定されるものではない。また、ＲＡＷデータの色配列パターンはベイヤー配列に限定されるものではない。一般的には、ＲＡＷデータ中の画素密度の粗い色成分を補正対象色成分とし、画素密度の細かい色成分を基準色成分とすることによって、上述した実施形態と同様の効果を得ることができる。

さらに、上述したＲＡＷデータの画像処理方法を、インターネット上の画像サーバー（例えはアルバムサーバーなど）を用いてサービス提供することも可能である。

また、上述した実施形態では、倍率色収差に起因する色ズレを補正するケースについて説明した。しかしながら、本発明はこれに限定されるものではない。本発明は、倍率色収差とは別の要因による色ズレを補正することも可能である。

なお、本発明は、その精神または主要な特徴から逸脱することなく、他のいろいろな形で実施することができる。そのため、前述の実施例はあらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。本発明の範囲は、特許請求の範囲によって示すものであって、明細書本文には、なんら拘束されない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、すべて本発明の範囲内のものである。

以上説明したように、本発明は、ＲＡＷデータの画像処理などに利用可能な技術である。

Claims (14)

1. 補正対象色成分と基準色成分とを少なくとも含む複数種の色成分で表され、１画素当たり１種類の前記色成分を配した画像データを取り込む入力部と、
   前記補正対象色成分の位置ズレに関する情報を取得または検出する色ズレ情報取得部と、
   前記位置ズレに関する情報に基づき、前記補正対象色成分の位置ズレを補正する色ズレ抑制部とを備え、
   前記色ズレ抑制部は、
   前記位置ズレに関する情報に基づき、前記補正対象色成分の前記位置ズレを補正する位置ズレ補正部と、
   前記基準色成分から画像構造を抽出する画像構造抽出部と、
   前記位置ズレ補正によって前記補正対象色成分から消失する画像構造を、前記画像構造抽出部で抽出した前記基準色成分の画像構造で補う画像構造補填部とを備えた
   ことを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において
   前記画像構造抽出部は、
   前記補正対象色成分よりも画素密度が高い色成分を前記基準色成分とする
   ことを特徴とする画像処理装置。
3. 請求項１または請求項２に記載の画像処理装置において、
   前記位置ズレ補正部は、
   前記補正対象色成分の画素位置Ｐの位置ズレ先Ｐ′について前記補正対象色成分を補間処理で求めて、前記画素位置Ｐの補正対象色成分とし、
   前記画像構造抽出部は、
   前記画素位置Ｐの基準色成分Ｚ１を補間処理で求め、さらに前記位置ズレ補正部の補間処理で参照する画素間隔と同じ参照間隔の補間処理を実施して前記画素位置Ｐの基準色成分Ｚ２を生成し、両補間結果Ｚ１，Ｚ２の差異を抽出し、
   前記画像構造補填部は、
   前記位置ズレ補正部で位置ズレを補正された前記補正対象色成分に、前記画像構造抽出部で求めた両補間結果Ｚ１，Ｚ２の差異を付加する
   ことを特徴とする画像処理装置。
4. 請求項３に記載の画像処理装置において、
   前記画像構造抽出部は、
   前記位置ズレ先Ｐ′の補間処理に使用する前記補正対象色成分について前記位置ズレを起こす前の元位置Ｑを得て、前記元位置Ｑの基準色成分を補間して前記画素位置Ｐの前記基準色成分Ｚ２を求める
   ことを特徴とする画像処理装置。
5. 補正対象色成分と基準色成分とを少なくとも含む複数種の色成分で表され、１画素当たり少なくとも１種類の前記補正対象色成分が欠落した画像データを取り込む入力部と、
   前記補正対象色成分の位置ズレに関する情報を取得または検出する色ズレ情報取得部と、
   前記位置ズレに関する情報に基づき、前記補正対象色成分の位置ズレを補正する色ズレ抑制部とを備え、
   前記色ズレ抑制部は、
   前記位置ズレに関する情報に基づき、前記補正対象色成分の位置ズレに合わせて前記基準色成分の位置をずらす基準色成分位置ずらし部と、
   前記基準色成分ずらし部によって位置のずれた前記基準色成分と、前記補正対象色成分とに基づいて、位置のずれた色差を求める色差算出部と、
   前記位置ズレに関する情報に基づき、前記色差の位置ズレを補正する色差位置ズレ補正部とを備えた
   ことを特徴とする画像処理装置。
6. 請求項６に記載の画像処理装置において、
   前記色差位置ズレ補正部は、前記基準色成分位置ずらし部でずらす前の前記基準色成分の画素位置に合わせて、色差の位置ズレを補正する
   ことを特徴とする画像処理装置。
7. 補正対象色成分と基準色成分とを少なくとも含む複数種の色成分で表され、１画素当たり少なくとも１種類の前記補正対象色成分が欠落した画像データを取り込む入力部と、
   前記補正対象色成分の位置ズレに関する情報を取得または検出する色ズレ情報取得部と、
   前記位置ズレに関する情報に基づき、前記補正対象色成分の位置ズレを補正する色ズレ抑制部とを備え、
   前記色ズレ抑制部は、
   前記位置ズレに関する情報に基づき、前記補正対象色成分の画素位置Ｐについて前記位置ズレを起こす前の元位置Ｐ″を得て、前記元位置Ｐ″における基準色成分を補間処理により生成する基準色成分補間部と、
   『前記画素位置Ｐの補正対象色成分』と『前記元位置Ｐ″の基準色成分』とから、前記元位置Ｐ″における色差成分Ｃ″を求める色差算出部と、
   前記元位置Ｐ″における色差成分Ｃ″を補間して、少なくとも画素位置Ｐの色差成分Ｃを求める色差補間部とを備えた
   ことを特徴とする画像処理装置。
8. 請求項７に記載の画像処理装置において、
   前記色ズレ抑制部は、
   画素位置Ｐの基準色成分を補間処理により生成し、画素位置Ｐの基準色成分および色差成分Ｃに基づいて、画素位置Ｐの補正対象色成分を生成する補正対象色成分生成部を備えた
   ことを特徴とする画像処理装置。
9. 請求項７に記載の画像処理装置において、
   前記色ズレ抑制部は、
   前記元位置Ｐ″における色差成分Ｃ″を補間して、基準色成分の画素位置について色差成分Ｃを求め、色差成分Ｃと基準色成分に基づいて、基準色成分の画素位置について補正対象色成分を生成する
   ことを特徴とする画像処理装置。
10. 補正対象色成分と基準色成分とを少なくとも含む複数種の色成分で表され、１画素当たり１種類の前記色成分を配した画像データを取り込む入力部と、
    前記補正対象色成分の位置ズレに関する情報を取得または検出する色ズレ情報取得部と、
    前記位置ズレに関する情報に基づき、前記補正対象色成分の位置ズレを補正する色ズレ抑制部とを備え、
    前記色ズレ抑制部は、
    前記基準色成分と前記補正対象色成分に基づいて前記補正対象色成分の色ズレを補正し、色ズレ補正済みの補正対象色成分と、前記基準色成分とを画素配列した、１画素当たり１種類の前記色成分を配した画像データを生成する
    ことを特徴とする画像処理装置。
11. コンピュータを、請求項１ないし請求項１０のいずれか１項に記載の画像処理装置として機能させるための画像処理プログラム。
12. 請求項１ないし請求項１０のいずれか１項に記載の画像処理装置と、
    被写体を撮像して、１つの画素が１つの色成分を有する画像データを生成する撮像部とを備え、
    前記撮像部で生成された前記画像データを前記画像処理装置で処理して色ズレを補正する
    ことを特徴とする電子カメラ。
13. 補正対象色成分と基準色成分とを少なくとも含む複数種の色成分で表され、１画素当たり１種類の前記色成分を配した画像データを取り込む入力ステップと、
    前記補正対象色成分の位置ズレに関する情報を取得または検出する色ズレ情報取得ステップと、
    前記位置ズレに関する情報に基づき、前記補正対象色成分の位置ズレを補正する色ズレ抑制ステップとを備え、
    前記色ズレ抑制ステップは、
    前記位置ズレに関する情報に基づき、前記補正対象色成分の前記位置ズレを補正する位置ズレ補正ステップと、
    前記基準色成分から画像構造を抽出する画像構造抽出ステップと、
    前記位置ズレ補正によって前記補正対象色成分から消失する画像構造を、前記画像構造抽出ステップで抽出した前記基準色成分の画像構造で補う画像構造補填ステップとを備えた
    ことを特徴とする画像処理方法。
14. 補正対象色成分と基準色成分とを少なくとも含む複数種の色成分で表され、１画素当たり少なくとも１種類の前記補正対象色成分が欠落した画像データを取り込む入力ステップと、
    前記補正対象色成分の位置ズレに関する情報を取得または検出する色ズレ情報取得ステップと、
    前記位置ズレに関する情報に基づき、前記補正対象色成分の位置ズレを補正する色ズレ抑制ステップとを備え、
    前記色ズレ抑制ステップは、
    前記位置ズレに関する情報に基づき、前記補正対象色成分の画素位置Ｐについて前記位置ズレを起こす前の元位置Ｐ″を得て、前記元位置Ｐ″における基準色成分を補間処理により生成する基準色成分補間ステップと、
    『前記画素位置Ｐの補正対象色成分』と『前記元位置Ｐ″の基準色成分』とから、前記元位置Ｐ″における色差成分Ｃ″を求める色差算出ステップと、
    前記元位置Ｐ″における色差成分Ｃ″を補間して、少なくとも画素位置Ｐの色差成分Ｃを求める色差補間ステップとを備えた
    ことを特徴とする画像処理方法。
    

Images