JPWO2011132279A1 - 画像処理装置、方法、及び記録媒体 - Google Patents

Abstract

撮像光学系のぼけ補正の際にデモザイクによって撮像画像のぼけ特性が変わる結果、良好なぼけ補正が行えない。ＲＡＷデータを入力し、複数の色それぞれに対して、ＲＡＷデータで示されるＲＡＷ画像のぼけを補正するための補正係数を取得し、複数の色それぞれに対して取得された補正係数に基づいてＲＡＷデータで示されるＲＡＷ画像のぼけを補正し、補正画像を取得し、取得された複数の補正画像をデモザイク処理し、出力画像データを生成する。

Description

本発明は、撮影画像のぼけを補正する画像回復処理に関する。

デジタルカメラ、デジタルビデオカメラなどの撮像装置において、被写体からの光は、レンズ等で構成される撮像光学系を介して、ＣＣＤやＣＭＯＳ等の複数の素子を有するセンサに入射される。センサにおいて、撮像光学系を通った光は電気信号に変換される。この電気信号に対して、Ａ／Ｄ変換処理やデモザイク処理などの画像化するために必要な処理を施すことで、撮影画像を得る事ができる。

さて、この撮影画像の画質は撮像光学系の影響を受ける。一般的に、高性能なレンズを使用した場合は、ぼけの小さい、くっきりとした画像を得ることが出来る。逆に、性能が良くないレンズを使用した場合に得られる撮像画像はぼけている。例として、星空を撮影した場合、ぼけの小さいレンズを用いて撮影した画像は、星の一つ一つがくっきりとした点のようになる。逆に、ぼけの大きいレンズを用いて撮影した画像は、星が一点ではなく広がりをもってぼけている。

以下、撮像光学系に起因する撮像画像のぼけを補正する画像処理方法を説明する。この方法では、点像分布関数（ＰＳＦ：Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）に基づいて撮像画像のぼけを補正する。このＰＳＦは、被写体の一点がどの様にぼけるかを表したものである。例えば、暗黒下で体積が非常に小さい発光体（点光源）を撮影した場合のセンサ面上での光の２次元的分布が、かかる撮像光学系のＰＳＦに該当する。

ぼけの小さい理想的な撮像光学系ではＰＳＦは一点であり、ぼけの大きい撮像光学系ではＰＳＦは小さな一点ではなく、ある程度の広がりを持っている。

このＰＳＦに係るデータを用いてぼけを補正する方法に、逆フィルタによる方法がある。以下、逆フィルタの構成方法について説明する。ぼけを生じさせない理想的な撮像光学系を用いて撮影した撮影画像をｆ（ｘ，ｙ）とする。ｘ，ｙは撮像画像の二次元上の位置を示す変数であり、ｆ（ｘ，ｙ）は位置ｘ，ｙでの画素値を表している。一方で、ぼけを生じさせる撮像光学系で撮影した撮影画像をｇ（ｘ，ｙ）とする。また、前記のぼけを生じさせる撮像光学系のＰＳＦをｈ（ｘ、ｙ）とする。このｈ（ｘ、ｙ）は、例えば、レンズの特性、撮影パラメータ（絞り径、物体位置、ズーム位置など）、センサのカラーフィルターの透過率などによって決定される。また、点光源を撮像した場合のセンサ面上での光の二次元分布を測定することによってｈ（ｘ、ｙ）を決定しても良い。ｆ（ｘ、ｙ），ｇ（ｘ、ｙ），ｈ（ｘ、ｙ）には次の関係が成り立つ。
ｇ（ｘ，ｙ）＝ｈ（ｘ，ｙ）＊ｆ（ｘ，ｙ） ・・・（１）
＊はコンボリューション（畳込積分）を意味している。ぼけを補正することは、ぼけを生じさせる撮像光学系で撮影した撮像画像ｇ（ｘ、ｙ）と、かかる撮像光学系のＰＳＦであるｈ（ｘ、ｙ）とから、理想的な撮像光学系で取得したｆ（ｘ、ｙ）を推定することと言い換えることもできる。

実面で表現されている式１をフーリエ変換して空間周波数面での表示形式に変換すると、以下の式のように周波数ごとの積の形式になる。
Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ） ・・・（２）
Ｈ（ｕ，ｖ）はＰＳＦであるｈ（ｘ、ｙ）をフーリエ変換したものであり、光学伝達関数（ＯＴＦ：Ｏｐｔｉｃａｌ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）と呼ばれている。ｕ，ｖは２次元周波数面での座標、即ち周波数を示す。Ｇ（ｕ，ｖ）はｇ（ｘ、ｙ）のフーリエ変換したもの（フーリエ表示）であり、Ｆ（ｕ，ｖ）はｆ（ｘ、ｙ）のフーリエ変換したものである。

ぼけのある撮影画像から、ぼけのない理想的な画像を得るためには、以下のように両辺をＨで除算すればよい。
Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ） ・・・（３）
このＦ（ｕ，ｖ）を逆フーリエ変換して実面に戻すことで、ぼけのない理想的な画像ｆ（ｘ，ｙ）を回復画像として得ることができる。

ここで、式３におけるＨの逆数（Ｈ^−１）を逆フーリエ変換したものをＲとすると、以下の式のように実面での画像に対するコンボリューションを行うことで同様にぼけのない画像が得られる。
ｇ（ｘ，ｙ）＊Ｒ（ｘ，ｙ）＝ｆ（ｘ，ｙ） ・・・（４）
このＲ（ｘ，ｙ）を逆フィルタと呼ぶ。実際には、Ｈ（ｕ，ｖ）が０になる周波数（ｕ，ｖ）が存在する場合がある。Ｈ（ｕ，ｖ）が０となる周波数においては、式（３）においてゼロでの除算が発生し、計算が不能となる。

また、通常、ＯＴＦは高周波ほど値が小さくなるため、その逆数である逆フィルタＲ（ｘ，ｙ）は高周波ほど値が大きくなる。従って、逆フィルタを用いてぼけのある撮影画像にコンボリューション処理を行うと、撮影画像の高周波成分が強調されることとなる。実際の撮像画像ではノイズも含まれており、かつ、ノイズは一般的に高周波であるため、逆フィルタではノイズを強調してしまう場合がある。

以上のようなゼロでの除算が発生してしまうことによる計算の不能を解消したり、高周波ノイズを強調しすぎないように、逆フィルタＲ（ｘ，ｙ）を式変形したウィナーフィルタが提案されている。以降では、逆フィルタやウィナーフィルタ等のぼけの補正で用いるフィルタを画像回復フィルタと呼ぶ。

さて、デジタルカメラやデジタルビデオカメラなどの撮像装置の多くは、ＣＣＤやＣＭＯＳ等の複数の素子を有するセンサの前に特定の複数の色からなるカラーフィルタを配置し、色情報を取得している。この方式を単版式と呼ぶ。単版式デジタルカメラ、単版式デジタルビデオカメラに用いる典型的なカラーフィルタ配列としてベイヤー配列がある。単版式の撮像装置の場合、特定の色のカラーフィルタに対応する素子からは他の色の信号を得ることはできない。そのため、他の色の信号は近隣の素子からの信号からの補間によって求めている。この補間処理をデモザイク処理（デモザイキング処理）と呼ぶ。以降ではデモザイク処理前の画像をＲＡＷデータと呼ぶ。

特開２００２−１９９４１０

絞り径やズーム位置などの撮影状態に応じてＯＴＦは変動する。従って、画像回復処理に用いる画像回復フィルタも、撮影状態に応じて変更する必要がある。撮像装置によって取得された画像データに対して、画質向上のために、ガンマ処理や色変換処理などの各種画像処理が施されるが、画像回復処理とその他の処理の順序によって、画像回復処理の効果が低減する場合がある。

例えば、画像回復処理の前に、色変換処理を施すと、実質的に入力画像のぼけ特性が変化する。特にＲチャネルがぼけるような撮像光学系で撮影された画像を色変換処理すると、チャネル間で画像が混合され、Ｒチャネル以外のＧ、Ｂチャネルの画像もぼける。その結果、Ｇ，Ｂチャネルに対する光学特性から想定されるぼけ量に基づき画像回復処理を行なえば、回復が不足することになる。

また、通常、撮像光学系は高周波での応答が小さくなる傾向がある。換言すれば、細やかな被写体ほどぼける。しかし、デモザイク後では撮影画像に含まれる高周波の応答が高くなってしまう場合がある。この現象はモアレ現象と呼ばれている。つまり、デモザイク後では撮像光学系のぼけ特性が実質的に変わってしまう。

これらの現象を鑑みずにデモザイク後の画像に対して撮像光学系のぼけ特性を用いてぼけ補正を行うと、デモザキング後の画像においてすでに応答の高い高周波成分をさらに高くしてしまう。その結果、ぼけ補正後の補正画像ではエッジの周辺に波のような紋様が発生する（リンギング等のアーチファクト）。

特許文献１は、画像回復処理を、色変換処理よりも前に適用することで、効果的な画像回復処理ができるとする。しかし、特許文献１による画像回復処理（画像劣化補正処理）はデモザイクされた後の画像に対してなされる。

以上の通り、本願発明の解決しようとする課題は、撮像光学系のぼけ補正の際にデモザイクによって撮像画像のぼけ特性が変わる結果、良好なぼけ補正が行なえない事である。

上記の課題を解決するために、本発明の画像処理装置は、複数の色を有するカラーフィルターとセンサとからなる撮像装置に入射される光を、前記カラーフィルターを介して前記センサでサンプリングすることにより得られるデータに基づいて取得される、前記複数の色それぞれに対応するＲＡＷデータを入力する入力手段と、前記複数の色それぞれに対して、前記ＲＡＷデータで示されるＲＡＷ画像のぼけを補正するための補正係数を取得する取得手段と、前記複数の色それぞれに対して、前記取得手段で取得された補正係数に基づいて、前記ＲＡＷデータで示されるＲＡＷ画像のぼけを補正し、補正画像を取得する補正手段と、前記補正手段により取得された複数の補正画像をデモザイク処理し、出力画像データを生成するデモザイク手段と、を有する。

本発明によれば、撮像光学系により生じる撮像画像中のぼけに対して、良好なぼけの補正を行うことができる。

実施例１にかかる撮像装置の構成図 実施例１にかかる処理のフロー図 実施例１におけるセンサのカラーフィルターの配列の一例 実施例１にかかるカラープレーン分割、ゼロ挿入の一例を示す図 実施例１にかかるぼけ補正処理のフロー図 実施例１の機能を実現する装置構成の一例 実施例１にかかる周波数特性を表す図 実施例１にかかる２次元での周波数特性を表す図 実施例１のデモザイクに用いるフィルタの一例 実施例１のデモザイクを説明する図

［実施例１］
以下、実施例１の撮像光学系により生ずる撮像画像のぼけを補正する撮像装置を説明する。

図１は、本実施例の撮像装置の基本構成を示している。不図示の被写体から撮像装置に入射される光を撮像光学系１０１を介してセンサ１０２で結像する。センサ１０２で結像された光（像）が電気信号に変換され、Ａ／Ｄコンバータ１０３でデジタル信号に変換される。このデジタル信号は、ＲＡＷデータとして画像処理部１０４に入力される。なお、センサ１０２は、受光面上に結像された像による光信号を、位置対応する画素ごとに電気信号に変換する光電変換素子により構成される。また、センサ１０２は、その受光面上の画素に図３に示す市松模様の配列で配置されたＲＧＢフィルタにより色分解を行う機能を有している。図３のＲＧＢフィルタの配置方法や色分解はあくまで一例であり、例えばＣＭＹやその他の色分解を行うフィルタについても本発明が適用できることは言うまでもない。

画像処置部１０４は、ＲＡＷデータに対してぼけ補正を行う画像回復部１０４ａと、ぼけ補正がなされたＲＡＷデータに対しデモザキングを行うデモザイク部１０４ｂを含む。
ＲＡＷデータに対するぼけ補正処理では、まず状態検知部１０７から、撮影時（入射された光をセンサ１０２がサンプリングした際）における撮像装置の撮像状態情報（ズーム位置の状態や、絞り径の状態）を得る。

状態検知部１０７は、システムコントローラ１１０から撮影状態情報を得ても良いし、撮像光学系制御部１０６から得ても良い。

次に、撮像状態情報に応じた補正係数を記憶部１０８から取得し、画像処理部１０４に入力されたＲＡＷデータで示されるＲＡＷ画像に対してぼけ補正処理を行う。

記憶部１０８は、撮像状態情報それぞれに対応する画像回復フィルタの補正係数を記憶している。なお、記憶部１０８に記憶されている撮像状態それぞれに対応する補正係数は、撮像装置の撮像光学系の光学特性によって決定される。また、記憶部１０８におけるデータ量削減の目的で、画像回復フィルタをモデル化し、そのモデルパラメータを係数として記憶しておいても良い。この場合、後述する画像回復処理の際に、適宜、このモデルパラメータの係数に基づいて画像回復フィルタを生成する。

ぼけ補正がなされたＲＡＷ画像を示すＲＡＷデータに対してデモザキング部１０４ｂによってデモザイク処理を行う。

なお、前記の画像回復フィルタの構成方法及び画像処理部１０４の処理内容の詳細は後述する。画像処理部１０４により撮像光学系１０１のぼけが補正された補正画像データは画像記録媒体１０９に保存されたり、表示部１０５により表示される。

＜画像処理部１０４の処理フロー＞
図２に画像処理部１０４に関する処理のフローを示す。
ステップＳ１０１ではＡ／Ｄコンバータ１０３でデジタル信号化されたＲＡＷデータを取得する。ＲＡＷデータは撮像光学系１０１の特性を忠実に反映するよう、輝度に対して線形である事が望ましい。しかし、センサ１０２やＡ／Ｄコンバータ１０３が非線形特性を有する場合など輝度に対して非線形な値を有するＲＡＷデータが取得される場合がある。その際はハードウェアの非線形特性をキャンセルして、輝度に対して線形となるような処理がステップＳ１０１でデータ取得に伴って施される事が望ましい。また、欠落画素の補償など画像特性を大きく変更しない範囲で多少の非線形処理が施されてもよい。

ステップＳ１０２では、記憶部１０８から撮影状態情報に対応した画像回復フィルタの係数（又はモデルパラメータの係数）を取得する。画像回復フィルタの係数はＲＧＢ各カラーによって異なる。これは、ＲＧＢ各カラープレーンごとに、ぼけ特性が異なるためである。この点については、後述する。

ステップＳ１０３では、ＲＧＢ各カラープレーンについて、画像回復フィルタを用いてＲＡＷデータに対して撮像光学系のぼけを補正する処理を行う。ぼけ補正処理の詳細は後述する。

ステップＳ１０４ではぼけ補正がなされたＲＡＷデータに対してデモザイク処理を行う。デモザイク処理の詳細は後述する。

＜ぼけ補正処理の詳細＞
ぼけ補正処理の詳細を図５のフローチャートを用いて説明する。
ステップＳ２０１では、図４に示すカラーフィルターの配列に従い、入力されたＲＡＷデータを各色フィルタ毎に独立したＲＡＷデータ（各色フィルタ毎に独立したカラープレーン）に分割する。単版式の場合、各カラープレーンで値を持たない画素が存在する。例えば、Ｒプレーン画像においてＧ、Ｂに相当する画素位置でのＲの値は不明である。そこで、ステップＳ２０２では、図４に示すように値を持たない画素にゼロを割り当てる。

ステップＳ２０３では、カラープレーン毎に画像回復フィルタを適用することにより補正画像を取得する。具体的には、ゼロ挿入された各カラープレーンのＲＡＷデータと各カラープレーンの画像回復フィルタとの間でコンボリューション演算を行う。なお画像回復フィルタは、後述するように各カラープレーンごとに異なる。

ステップＳ２０４では、コンボリューション後の各カラープレーンのＲＡＷデータにステップＳ２０２と同様にゼロ挿入を行う。この処理は、ステップＳ２０２においてゼロ挿入された画素はコンボリューション後に０とは異なる値を有する場合があるため、本ステップであらためてゼロ挿入を行う。

ステップＳ２０５ではステップＳ１０４でゼロ挿入した各カラープレーンのＲＡＷデータを単一プレーンの出力画像データとして合成する。ステップＳ２０５のカラープレーン合成が行われた時点での画像データは、図３に示すデモザイクが行われていないＲＡＷデータの形式となる。

＜画像回復フィルタ構成方法＞
画像回復部１０４ａにおいて用いられる画像回復フィルタの構成法を説明する。説明のためベイヤー配列を例にとり、画像回復フィルタの構成法をＲプレーンについて述べる。配列としてはＲプレーンもＢプレーンも垂直水平方向で一画素おきにサンプリングするため同様の議論はＢプレーンについても成立する。ステップＳ２０１において、カラープレーン分割されたＲプレーンの画像ｇ_Ｒは次式で表される。
ｇ_Ｒ＝ｍ_Ｒ×（ｈ_Ｒ＊ｆ_Ｒ） ・・・（５）
ここで、ｆ_Ｒは被写体像ｆのＲ成分、ｈ_ＲはＲプレーンに対応するＰＳＦ、ｍ_Ｒは、マスク関数（Ｒフィルタの位置で１、Ｇ及びＢフィルタの位置で０となる関数）である。

ステップＳ２０３において、Ｒプレーン用の画像回復フィルタを適用後の画像ｇ_Ｒ’は次式で表される。
ｇ_Ｒ’＝Ｒ_Ｒ＊｛ｍ_Ｒ×（ｈ_Ｒ＊ｆ_Ｒ）｝ ・・・（６）
ここで、Ｒ_Ｒは、Ｒプレーン用の画像回復フィルタである。
ステップＳ２０４において、マスク処理後の画像Ｇ_Ｒ”次式で表される。
Ｇ_Ｒ”＝ｍ_Ｒ×［Ｒ_Ｒ＊｛ｍ_Ｒ×（ｈ_Ｒ＊ｆ_Ｒ）｝］ ・・・（７）
画像Ｇ_Ｒ”が、被写体像ｆをマスク関数ｍ_Ｒでマスクした画像ｍ_Ｒ×ｆ_Ｒに一致すれば、撮像光学系１０１によるぼけ（画像劣化）が回復していることとなる。そこで、ｇ_Ｒ”とｍ_Ｒ×ｆ_Ｒの差分が最小になるように、Ｒプレーンの画像回復フィルタＲ_Ｒを数学的に計算する。Ｂプレーン、Ｇプレーンについても同様に、Ｂプレーン用の画像回復フィルタＲ_Ｂ，Ｒ_Ｇを求めることができる。図７を用いて、画像回復フィルタの構成方法を説明する。

図７（ａ）はカラーフィルタ配列を考慮しない場合の撮像光学系のＯＴＦである。これはカラーフィルタを全て取り払った場合の撮像光学系の周波数特性を意味していると考えれば分かりやすい。センサでサンプリングが行われるため、ナイキスト周波数以上の周波数は存在しない。

逆フィルタではこの図７（ａ）の逆数をとって図７（ｂ）に示すような回復フィルタを構成する。一般的には、撮像光学系のＯＴＦは高周波ほど小さいため、回復フィルタは高周波ほど強調する作用を持つ。さて、カラーフィルタ配列によって、例えばＲでは一画素おきにサンプリングがなされる。するとサンプリング後の撮像光学系のＯＴＦは、Ｒのナイキスト周波数に関して図７（ｃ）のように撮像光学系のＯＴＦが折り返った形になる。回復フィルタの周波数特性は図７（ｃ）の逆数であるから図７（ｄ）のようにＲのナイキストでピークをもつ形になる。

ここでカラーフィルタ配列によるサンプリングを考慮せずに、図７（ｂ）の回復フィルタを実際のぼけ特性である図７（ｃ）のＯＴＦに適用した場合を考える。すると、得られる画像は図７（ｅ）のような高周波が強調されすぎた画像になってしまう。つまり、デモザイク前にぼけ補正をする際には、カラーフィルタ配列から導かれる各色のナイキスト周波数を考慮した回復フィルタを用いる必要がある。

説明の簡単のために一次元で解説を行ったが、実際にはフィルタ配列は二次元であるため、二次元的にナイキスト周波数による折り返りを考慮する必要がある。二次元の処理について、図８を用いて説明する。カラーフィルタ配列を考慮しない場合のＯＴＦを図８（ａ）に示す。縦軸横軸はそれぞれ縦方向、横方向の周波数を意味している。また、周波数応答を等高線で表示する。等高線上では周波数応答は等しいとする。センサでサンプリングが行われるため、縦方向横方向ともナイキスト周波数以上の周波数は存在しない。逆フィルタは図８（ａ）の各周波数についてＯＴＦの逆数をとり、逆フーリエ変換をすることで求める事が出来る。Ｒプレーンでの折り返りを考慮した場合の周波数応答を図８（ｂ）に示す。すると図８（ａ）のフィルタ配列を考慮しない場合に比べて、図８（ｂ）では折り返りによって高周波の応答が高くなっている事が分かる。

本実施例の画像回復フィルタ構成法は図８（ｂ）の周波数特性の逆数をとってフーリエ変換を行い回復フィルタを求める事が特徴である。フィルタ配列によってサンプリグされた後のＲの周波数特性は図８（ｂ）であるから、フィルタ配列を考慮せずに図８（ａ）の逆数を図８（ｂ）に掛け合わせると高周波が過剰に強調されてしまう。従来法によって強調されすぎた高周波はリンギング等のアーチファクトの発生要因となってしまう。本発明ではサンプリング後の周波数特性の逆数をとるため、高周波が強調されすぎることはない。フィルタ配列によって画像回復フィルタの構成法を変える必要がある事を述べる。図８（ｃ）にベイヤー配列でサンプリングした後のＧプレーンの周波数特性を示す。図８（ｃ）のＧプレーン周波数特性と図８（ｂ）のＲプレーン周波数特性を比べると、折り返りの様子が異なる事が分かる。つまり、Ｒプレーンでは周波数面上で中央の四角形の形で折り返りが発生していたのに対し、Ｇプレーンではひし形の形で折り返りが発生している。従って、本発明で折り返りを考慮して回復フィルタを求める際、折り返りの方法は各フィルタの配置によって変わるため、回復フィルタはフィルタ配列によって構成方法を変える必要がある。

＜デモザイクの詳細＞
ぼけ補正後のＲＡＷデータに対してデモザイクを行う詳細を述べる。
まずは簡単な線形演算によるデモザイクを説明する。説明のためベイヤー配列を例にとる。ＲＧＢカラープレーンのそれぞれにおけるＲＡＷデータは、値を持たない画素を有する。値を持たない画素に対して０挿入を行った後の各カラープレーンの状態を図４に示す。線形演算によるデモザイクでは図９に示す各フィルタを各カラープレーンにコンボリューション処理を行えば良い。具体的にはＲ、Ｂプレーンについては図９（ａ）に示すフィルタ、Ｇプレーンについては図９（ｂ）に示すフィルタを用いればよい。

この処理によって画素が補間される様子を図１０に示す。図１０（ａ）はデモザイク処理前のＧプレーンの状態の例であって図１０（ａ）中央部は不明な画素であるため０挿入がなされている。図１０（ｂ）にコンボリューション後の状態を示す。図１０（ａ）において不明であった画素に対して上下左右の画素の平均が割り当てられている事が分かる。Ｒ、Ｂプレーンについても同様にコンボリューション後に不明な画素が周囲の画素によって補間される。

次に、非線形処理を含むデモザイク処理の例として適応的なデモザイク処理を述べる。適応的なデモザイク処理では前述のように単純に周囲の平均をとるのではなく、上下、左右あるいは対角方向で周囲の画素値の差分をとり、変化の少ない方向の画素を用いて不明な画素値を計算する。変化のゆるやかな方向の画素値を用いたほうが、より信頼性のある補間が行えるためである。本発明ではデモザイクの前にぼけ補正を行うが、仮に適応的な処理の後にぼけ補正をすることを考えると以下のような問題が発生する。撮像光学系の一例としてレンズを挙げると、レンズの中には特定方向には大きくぼけるが、それとは垂直な方向にはぼけが少ない特性をもつものがある。そのようなレンズを用いて撮影した画像に対して適応的なデモザイクを行うと、より変化の少ない方向、すなわちぼけが大きい方向で補間を行いがちになる。ぼけが大きい方向で平均処理に類する演算を行うため、元来ぼけが大きかった方向でさらにぼける結果になる。そのような画像に対してぼけ補正を行った場合、前述した折り返りの問題の他に、デモザイクによるぼけが補正しきれないという問題がある。さらに、例えばレンズの特性が横方向にぼける場合であっても、被写体が縦縞など横方向にくっきりとしたものあると、方向判定の結果は縦方向となる場合もある。従って、デモザイクでぼけた分だけを、後から他の処理によって鮮鋭化するという処理を行うにしても、画像の場所ごとにどのような方向判定を行ったかによって処理を切り替える必要がある。本発明ではデモザイク前にぼけを補正するため、上記のような煩雑な問題を回避することができるのである。

次に非線形処理を含むデモザイクの例として、色間の相関を用いるデモザイクを述べる。図３から明らかなようにベイヤー配列の場合にはＲ，Ｂの画素に比べてＧの画素数が多い。換言すると、Ｇプレーンのほうがより解像度が高く、Ｒ、Ｂプレーンに比べて細かな画像情報を取得できる。さらにＧプレーンは、Ｒ、Ｂプレーンとも相関が高いことが知られている。高度なデモザイクではＧプレーンの情報を積極的に利用してＲ、Ｂプレーンにおいて不明な画素の補間を行う。例えば不明なＲの値を補間するために、近隣画素のＲの値を用いるだけでなく、近隣のＧの画素値も用いて不明なＲの画素値を決定する。そのためＲプレーンの画像のぼけ特性にＧプレーンの画像のぼけ特性が混入することになる。

仮に、撮像光学系がＧ、Ｂプレーンに比べＲプレーンのぼけが大きい特性を有する場合を考える。すると、本来ぼけが大きいＲプレーンの画像がぼけの少ないＧプレーンの画像情報を用いる事で多少なりともぼけが低減される事が分かる。つまりデモザイク後の画像のぼけ特性は、必ずしも撮像光学系のぼけ特性を反映しているとは言えない。

この点を鑑みずに撮影光学系のＰＳＦから求めた回復フィルタによってぼけ補正を行うと、補正画像に望ましくないアーチファクトを発生させてしまう。先の例ではＲプレーンが撮像光学系のぼけ特性から予想されるほどぼけていないため、ぼけ補正を行うと過補正となってしまい、リンギング等のアーチファクトを発生させる要因となる。本発明では、デモザイク前のＲＡＷデータに対してぼけ補正を行うことで上記の問題を回避している。

以上、デモザイク前にぼけ補正を行うことで、デモザキングによって画像のぼけ特性が影響を受ける前に、撮像光学系に起因するぼけを小さくするように補正することができる。

［実施例２］
本発明の目的は前述した実施例の機能を実現するソフトウエアのプログラムコードを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵまたはＭＰＵ）が実行することによっても、達成される。装置構成の一例を図６に示す。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することとなり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

具体的には、上記のシステムあるいはコンピュータは、入力装置又はネットワークを介して図２に示すステップＳ１０１のＲＡＷデータを取得する。また、Ｓ１０２に対応する光学撮像系の補正係数を記録媒体やネットワークなどを介してコンピュータに提供する。そして、上記のシステムあるいはコンピュータの演算装置により画像回復処理ならびにデモザイク処理・その他の処理を行えばよい。

プログラムコードを供給するためのコンピュータ読取可能な記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤなどを用いることができる。

また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施例の機能が実現されるだけでない。つまり、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施例の機能が実現される場合も含まれる。

さらに、記憶媒体から読み出されたコードが、コンピュータに挿入された機能拡張ユニットの処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

本発明は上記実施の形態に制限されるものではなく、本発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、本発明の範囲を公にするために以下の請求項を添付する。

Claims (8)

1. 複数の色を有するカラーフィルターとセンサとからなる撮像装置に入射される光を、前記カラーフィルターを介して前記センサでサンプリングすることにより得られるデータに基づいて取得される、前記複数の色それぞれに対応するＲＡＷデータを入力する入力手段と、
   前記複数の色それぞれに対して、前記ＲＡＷデータで示されるＲＡＷ画像のぼけを補正するための補正係数を取得する取得手段と、
   前記複数の色それぞれに対して、前記取得手段で取得された補正係数に基づいて、前記ＲＡＷデータで示されるＲＡＷ画像のぼけを補正し、補正画像を取得する補正手段と、
   前記補正手段により取得された複数の補正画像をデモザイク処理し、出力画像データを生成するデモザイク手段と、
   を有することを特徴とする画像処理装置。
2. 前記補正手段は、前記複数の色それぞれに対して、前記取得手段で取得された補正係数と前記カラーフィルターの配列とに基づいて、前記ＲＡＷデータで示されるＲＡＷ画像のぼけを補正し、補正画像を取得することを特徴とする請求項１に記載の画像処理装置。
3. 前記補正手段は、前記補正係数により生成される画像回復フィルタによりＲＡＷ画像のぼけを補正し、補正画像を取得することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記デモザイク手段は、前記複数の補正画像に対して線形、又は非線形のデモザイク処理することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記補正手段は、前記複数の色それぞれに対して、前記ＲＡＷデータで示されるＲＡＷ画像のナイキスト周波数における周波数応答を高めることを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記補正係数は、前記撮像装置の光学特性に基づいて決定されることを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 複数の色を有するカラーフィルターとセンサとからなる撮像装置に入射される光を、前記カラーフィルターを介して前記センサでサンプリングすることにより得られるデータに基づいて取得される、前記複数の色それぞれに対応するＲＡＷデータを入力する入力手段と、
   前記複数の色それぞれに対して、前記ＲＡＷデータで示されるＲＡＷ画像のぼけを補正するための補正係数を取得する取得工程と、
   前記複数の色それぞれに対して、前記取得工程で取得された補正係数に基づいて、前記ＲＡＷデータで示されるＲＡＷ画像のぼけを補正し、補正画像を取得する補正工程と、
   前記補正工程で取得された複数の補正画像をデモザイク処理し、出力画像データを生成するデモザイク工程と、
   を有することを特徴とする画像処理方法。
8. コンピュータを、
   複数の色を有するカラーフィルターとセンサとからなる撮像装置に入射される光を、前記カラーフィルターを介して前記センサでサンプリングすることにより得られるデータに基づいて取得される、前記複数の色それぞれに対応するＲＡＷデータを入力する入力手段と、
   前記複数の色それぞれに対して、前記ＲＡＷデータで示されるＲＡＷ画像のぼけを補正するための補正係数を取得する取得手段と、
   前記複数の色それぞれに対して、前記取得手段で取得された補正係数に基づいて、前記ＲＡＷデータで示されるＲＡＷ画像のぼけを補正し、補正画像を取得する補正手段と、
   前記補正手段により取得された複数の補正画像をデモザイク処理し、出力画像データを生成するデモザイク手段と、
   として機能させるためのプログラムを記録したコンピュータ読取可能な記録媒体。