JP5672941B2 - 画像処理装置、および画像処理方法、並びにプログラム - Google Patents

Description

本発明は、画像処理装置、および画像処理方法、並びにプログラムに関する。特に単板式の撮像素子（単板カラー撮像素子）の出力に対する信号処理を行なう画像処理装置、および画像処理方法、並びにプログラムに関する。

撮像装置の撮像素子（イメージセンサ）として単板式の固体撮像素子を用いた撮影処理においては、撮像素子上に各画素に対応させたＲＧＢ等の特定色の波長成分を透過するカラーフィルタを配置してカラー撮影を行う。この方法では、画素毎に１色（例えばＲＧＢのいずれか）しか得られないため、色に応じてモザイク状になった画像が生成される。

撮像装置に用いられる色フィルタの一例を図１（１）に示す。この配列は、ベイヤー（Ｂａｙｅｒ）配列と呼ばれ、各画素単位で特定の波長成分光（Ｒ，Ｇ，Ｂ）を透過させる。ベイヤー配列は、緑（Ｇ）を透過するフィルタが２個、青（Ｂ）を透過するフィルタが１個、赤（Ｒ）を透過するフィルタが１個の４画素を最小単位として構成される。

このようなフィルタを介して得られる画像は、各画素各々に対してＲまたはＧまたはＢ等、フィルタのパターンに応じた色情報のみからなる画像となる。この画像はいわゆるモザイク画像と呼ばれる。このモザイク画像からカラー画像を生成するためには、各画素のすべてについてＲＧＢのすべての色情報を生成する必要がある。

各画素において周囲の画素から得られる色情報を利用して補間を行うことにより全ての画素に対応する全ての色情報（例えばＲＧＢのすべて）を算出してカラー画像を生成することができる。この補間処理はデモザイク処理と呼ばれる。すなわち、図１（１）の撮影信号に基づいて、各画素単位すべての色情報（ＲＧＢ）を生成して図１（２）に示す画像信号を得る処理を補間処理、デモザイク処理、あるいはアップサンプリング処理等と呼ぶ。

この色を補間する処理（デモザイク処理）については、例えば特許文献１（ＵＳＰ４６４２６７８号公報）を始め、様々な手法が提案されている。
それらの中でも、特許文献２（ＵＳＰ５６５２６２１号公報）や特許文献３（特開平７−２３６１４７号公報）で述べられている相関の高い方向の信号を用いて不明な色を補間する方法は、信号の高周波成分まで精度良く補間できることが知られている。

しかし、これらの従来の方法では、不明な色を完全に補間することはできず、高い周波数成分を含む色信号に対しては偽色を発生させることが多かった。なお、偽色とは補間された色信号がエイリアシングを起こした際に、画像に色が付いて見える現象のことを指す。

また、非特許文献１［Ｋ．Ｈｉｒａｋａｗａ，Ｔ．Ｗ．Ｐａｒｋｓ"Ａｄａｐｔｉｖｅ Ｈｏｍｏｇｅｎｅｉｔｙ−Ｄｉｒｅｃｔｅｄ Ｄｅｍｏｓａｉｃｉｎｇ Ａｌｇｏｒｉｔｈｍ"］は、偽色の発生が最小になる補間方向を見つけ出すことで、ベイヤー（Ｂａｙｅｒ）配列の撮像素子を用いて撮像されたモザイク画像に対して、効果的に偽色を低減する構成について説明している。しかし、この手法を適用しても、やはり完全な偽色の抑制には至らず、特に色数の多い配列に対しては、偽色が多く発生するという問題がある。

また、偽色を抑制する方法としては、撮影時に特殊なフィルタ、例えばＯｐｔｉｃａｌ ｌｏｗ ｐａｓｓ ｆｉｌｔｅｒ（ＯＬＰＦ）を用いて光学的に色信号の高周波成分を削減するという方法が知られているが、このフィルタを用いても理想的な周波数特性を持つフィルタ（ＯＬＰＦ）が存在しないことから、偽色を十分に抑制することは難しい。

ＵＳＰ４６４２６７８号公報 ＵＳＰ５６５２６２１号公報 特開平７−２３６１４７号公報

Ｋ．Ｈｉｒａｋａｗａ，Ｔ．Ｗ．Ｐａｒｋｓ"Ａｄａｐｔｉｖｅ Ｈｏｍｏｇｅｎｅｉｔｙ−Ｄｉｒｅｃｔｅｄ Ｄｅｍｏｓａｉｃｉｎｇ Ａｌｇｏｒｉｔｈｍ"

本発明は、例えば上述の問題点に鑑みてなされたものであり、単板カラー撮像素子を用いて撮影されたモザイク画像の補間処理において、偽色の発生を抑制した高品質な補間画像としてのカラー画像の生成を実現する画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。
また、本発明は、偽色の発生を抑制した高品質な補間画像としてのカラー画像の生成を計算量やハードウェアの大きな追加を行うことなく実現する画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。

本発明の第１の側面は、
単板カラー撮像素子による撮影処理によって生成される色モザイク画像を入力して補間処理対象となる注目画素近傍の高周波信号の強度を検出する検波部と、
前記注目画素の周囲に参照領域を設定し、参照領域に含まれる画素値に基づく統計量を算出する統計量算出部であり、各々が異なる広さの参照領域を設定して個別の統計量を算出する複数の統計量算出部と、
前記検波部の検出した高周波信号の強度に応じて、前記複数の統計量算出部の算出した複数の統計量のブレンド態様を変更して、複数の統計量のブレンド処理により前記注目画素位置における補間画素値を算出する補間処理部を有する画像処理装置にある。

さらに、本発明の画像処理装置の一実施態様において、前記補間処理部は、前記検波部の検出した高周波信号の強度が大きい場合は、広い参照領域に基づいて算出した統計量の寄与度を大きく設定した補間画素値の算出を実行し、前記検波部の検出した高周波信号の強度が小さい場合は、狭い参照領域に基づいて算出した統計量の寄与度を大きく設定した補間画素値の算出を実行する。

さらに、本発明の第２の側面は、
単板カラー撮像素子による撮影処理によって生成される色モザイク画像を入力して補間処理対象となる注目画素近傍の高周波信号の強度を検出する検波部と、
前記注目画素の補間画素値を算出するために適用する参照画素の範囲を規定する参照領域を決定する参照領域決定部であり、前記検波部の検出した高周波信号の強度に応じて異なる広さの参照領域を決定する参照領域決定部と、
前記参照領域決定部の決定した参照領域に含まれる画素値に基づいて補間画素値を決定するための統計量を算出する統計量算出部と、
前記統計量算出部の算出した統計量に基づいて前記注目画素位置における補間画素値を算出する補間処理部を有する画像処理装置にある。

さらに、本発明の画像処理装置の一実施態様において、前記参照領域決定部は、前記検波部の検出した高周波信号の強度が大きい場合は、広い参照領域を設定し、前記検波部の検出した高周波信号の強度が小さい場合は、狭い参照領域を設定する。

さらに、本発明の画像処理装置の一実施態様において、前記検波部は、補間処理対象となる注目画素近傍におけるナイキスト周波数付近の高周波信号の強度を検出する。

さらに、本発明の画像処理装置の一実施態様において、前記検波部は、ナイキスト周波数付近の周波数帯域を通すハイパスフィルタ（ＨＰＦ）を用いて高周波信号の強度を検出する。

さらに、本発明の画像処理装置の一実施態様において、前記検波部は、単板カラー撮像素子による撮影処理によって生成される色モザイク画像には含まれない色信号を算出して、算出信号に基づいて高周波信号の強度を検出する。

さらに、本発明の画像処理装置の一実施態様において、前記統計量算出部は、参照領域に含まれる画素の画素値の平均を統計量として算出する。

さらに、本発明の画像処理装置の一実施態様において、前記統計量算出部は、ＩＩＲ（無限インパルス応答）フィルタを適用した構成である。

さらに、本発明の第３の側面は、
画像処理装置において画素値補間処理を実行する画像処理方法であり、
検波部が、単板カラー撮像素子による撮影処理によって生成される色モザイク画像を入力して補間処理対象となる注目画素近傍の高周波信号の強度を検出する検波ステップと、
複数の統計量算出部が、前記注目画素の周囲に参照領域を設定し、参照領域に含まれる画素値に基づく統計量を算出するステップであり、各々が異なる広さの参照領域を設定して個別の統計量を算出する複数の統計量算出ステップと、
補間処理部が、前記検波ステップにおいて検出した高周波信号の強度に応じて、前記複数の統計量算出部の算出した複数の統計量のブレンド態様を変更して、複数の統計量のブレンド処理により前記注目画素位置における補間画素値を算出する補間処理ステップを実行する画像処理方法にある。

さらに、本発明の第４の側面は、
画像処理装置において画素値補間処理を実行する画像処理方法であり、
検波部が、単板カラー撮像素子による撮影処理によって生成される色モザイク画像を入力して補間処理対象となる注目画素近傍の高周波信号の強度を検出する検波ステップと、
参照領域決定部が、前記注目画素の補間画素値を算出するために適用する参照画素の範囲を規定する参照領域を決定する参照領域決定ステップであり、前記検波部の検出した高周波信号の強度に応じて異なる広さの参照領域を決定する参照領域決定ステップと、
統計量算出部が、前記参照領域決定部の決定した参照領域に含まれる画素値に基づいて補間画素値を決定するための統計量を算出する統計量算出ステップと、
補間処理部が、前記統計量算出部の算出した統計量に基づいて前記注目画素位置における補間画素値を算出する補間処理ステップを実行する画像処理方法にある。

さらに、本発明の第５の側面は、
画像処理装置において画素値補間処理を実行させるプログラムであり、
検波部に、単板カラー撮像素子による撮影処理によって生成される色モザイク画像を入力して補間処理対象となる注目画素近傍の高周波信号の強度を検出させる検波ステップと、
複数の統計量算出部に、前記注目画素の周囲に参照領域を設定し、参照領域に含まれる画素値に基づく統計量を算出させるステップであり、各々が異なる広さの参照領域を設定して個別の統計量を算出させる複数の統計量算出ステップと、
補間処理部に、前記検波ステップにおいて検出した高周波信号の強度に応じて、前記複数の統計量算出部の算出した複数の統計量のブレンド態様を変更して、複数の統計量のブレンド処理により前記注目画素位置における補間画素値を算出させる補間処理ステップを実行させるプログラムにある。

さらに、本発明の第６の側面は、
画像処理装置において画素値補間処理を実行させるプログラムであり、
検波部に、単板カラー撮像素子による撮影処理によって生成される色モザイク画像を入力して補間処理対象となる注目画素近傍の高周波信号の強度を検出させる検波ステップと、
参照領域決定部に、前記注目画素の補間画素値を算出するために適用する参照画素の範囲を規定する参照領域を決定させる参照領域決定ステップであり、前記検波部の検出した高周波信号の強度に応じて異なる広さの参照領域を決定させる参照領域決定ステップと、
統計量算出部に、前記参照領域決定部の決定した参照領域に含まれる画素値に基づいて補間画素値を決定するための統計量を算出させる統計量算出ステップと、
補間処理部に、前記統計量算出部の算出した統計量に基づいて前記注目画素位置における補間画素値を算出させる補間処理ステップを実行させるプログラムにある。

なお、本発明のプログラムは、例えば、様々なプログラムコードを実行可能な画像処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、画像処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。

本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

本発明の一実施例の構成によれば、単板カラー撮像素子による撮影処理によって生成される色モザイク画像を入力し、補間処理対象となる注目画素近傍の高周波信号の強度を検出し、検出した高周波信号の強度に応じて異なる広さを持つ参照領域を設定して異なる広さを持つ参照領域から計算される統計量を用いて補間画素値を決定する。例えば、高周波信号の強度が大きい場合は、広い参照領域に基づいて算出した統計量の寄与度を大きく設定した補間画素値の算出を実行し、高周波信号の強度が小さい場合は狭い参照領域に基づいて算出した統計量の寄与度を大きく設定するブレンド処理によって補間画素値の算出を実行する。あるいは高周波信号の強度に応じて決定した広さを持つ参照領域を用いた処理を実行する。
これらの処理により、画素領域に高周波信号が多く含まれているか否かに応じた最適な参照領域が設定され、偽色が抑制された高品質な画像を生成することが可能となる。以下、色信号にナイキスト周波数付近の高周波信号が多く含まれている画素領域のことを高周波領域と呼称する。

デモザイク処理について説明する図である。 本発明の画像処理装置による処理対象となるモザイク画像の例について説明する図である。 本発明の画像処理装置の補間処理実行部の一構成例について説明する図である。 本発明の画像処理装置の補間処理実行部の一構成例について説明する図である。 本発明の画像処理装置の一構成例である撮像装置のハードウェア構成例について説明する図である。

以下、図面を参照しながら、本発明の画像処理装置、および画像処理方法、並びにプログラムについて説明する。説明は、以下の順番で行なう。
１．本発明の画像処理装置の実行する処理の概要について
２．本発明の画像処理装置における補間処理実行部の構成と処理について
３．本発明の画像処理装置のハードウェア構成例について
４．図３に示す補間処理実行部１００の構成要素の具体的処理例について
（４−１．ナイキスト周波数検波部１０１の処理について）
（４−２．小領域統計量算出部１０２の処理について）
（４−３．大領域統計量算出部１０３の処理について）
（４−４．補間処理部Ａ，１０４の処理について）
５．図４に示す補間処理実行部１５０の構成要素の具体的処理例について
（５−１．ナイキスト周波数検波部１５１の処理について）
（５−２．参照領域決定部１５２の処理について）
（５−３．統計量算出部１５３の処理について）
（５−４．補間処理部Ｂ，１５４の処理について）
６．その他の実施例について

［１．本発明の画像処理装置の実行する処理の概要について］
まず、本発明の画像処理装置の実行する処理の概要について説明する。
本発明の画像処理装置は、単板カラー撮像素子を用いて撮影されたモザイク画像の補間処理を高精度に行い、高品質なカラー画像の生成を実現する。
本発明は、デジタルカメラのカメラ信号処理に応用できる技術である。本発明を用いることで、従来の補間処理で問題となっていた偽色の問題を低減し、視覚的に好ましい補間結果を得ることができる。

本発明は、例えば図１に示されるベイヤー（Ｂａｙｅｒ）配列を用いた単板カラー撮像素子によって撮影された画像に対する補間処理において適用することができ、さらに、より色数の多い色配列を用いた単板カラー撮像素子に対しても適用することができる。

すなわち、本発明は、例えば図２に示すような（１）ベイヤー（Ｂａｙｅｒ）配列、（２）４色配列など、その他様々な配列を持つ単板カラー撮像素子によって撮影された画像に対する補間処理において適用可能である。

図２（１）に示す配列は、先に図1を参照して説明したベイヤー（Ｂａｙｅｒ）配列であり、各画素単位で特定の波長成分光（Ｒ，Ｇ，Ｂ）を透過させる。ベイヤー配列は、緑（Ｇ）を透過するフィルタが２個、青（Ｂ）を透過するフィルタが１個、赤（Ｒ）を透過するフィルタが１個の４画素を最小単位として構成される。

図２（２）に示す配列は、ＲＧＢの他、Ｘの画素を持つ。Ｘは、例えば、ＲＧＢと色の異なるエメラルド色であったり、全波長を透過する白色であったり、赤外光のみを透過する黒色などの様々な設定が可能である。

さらに、図２（１），（２）に示す撮像素子以外に、４色以上の配列とした撮像素子を適用した撮像データに対する補間処理においても本発明を適用することが可能である。

単板カラー撮像素子によって撮像される色数が増えるほど、一色当たりの画素数が減り、エイリアシングが発生する周波数帯域が低くなる。そのため、３色を超える色数を撮影する単板カラー撮像素子では、偽色の発生確率が高くなることから、本発明による偽色抑制処理がより効果的に働く。

なお、エイリアシングとは、入力信号の高周波領域に発生するノイズであり、サンプリング周波数の１／２の周波数（ナイキスト周波数）より高い高周波領域に発生するノイズである。入力信号の周波数成分がナイキスト周波数より高いと、折り返し現象が発生し、サンプリング後の信号の周波数成分に入力信号の周波数成分のナイキスト周波数以上の信号に由来する信号がノイズとして入り込むものである。

単板カラー撮像素子によって撮像される色数が増えるほど、一色当たりの画素数が減り、結果としてサンプリング周波数も低下する。その結果、エイリアシングが発生する周波数帯域が低くなる。
本発明は、このようなエイリアシングが発生する周波数帯域において効果的なノイズ低減対策を施すものである。そのため、３色を超える色数を撮影する単板カラー撮像素子のようにサンプリング周波数が低く、偽色の発生確率が高い場合により効果的である。

本発明による偽色抑制処理は、図２に示すベイヤー配列、４色配列、その他の様々な配列を持つ単板カラー撮像素子によって撮影された画像に対する補間処理において適用可能である。

上述したように、本発明の画像処理装置は、エイリアシングが発生する周波数帯域において効果的なノイズ低減対策を施すことでノイズの少ない補間処理を実現する。

本発明の画像処理装置は、単板カラー撮像素子により撮影され撮像素子から出力される色信号に含まれるエイリアシングの強度に応じて、適切な面積の参照領域を用いて補間処理に必要な統計量を算出する。一般的な補間処理では、異なる色信号の間に強い相関が存在することを利用して補間を行う。

一例として、ある色Ｃ１を用いてある色Ｃ２の画素値を推定する式を、以下の（式１）に示す。

・・・（式１）

上記（式１）において、
ｘは注目画素位置、
Ｃ１（ｘ）、Ｃ２（ｘ）は画素位置ｘにおいて既知のＣ１，Ｃ２の画素値、
ｔは参照領域を表す座標のオフセット、
Ｎは参照領域の画素数、
ｍＣ１（ｘ）、ｍＣ２（ｘ）は画素位置ｘを含む参照領域におけるＣ１，Ｃ２の画素値の平均値、
を表す。

上記（式１）において、注目画素位置ｘの色Ｃ１の画素値Ｃ１（ｘ）は撮影信号から直接得られており、この位置ｘの色Ｃ２の画素値Ｃ２（ｘ）は撮影信号から直接得られていないものとする。この時、この画素位置ｘの色信号の差分Ｃ１（ｘ）−Ｃ２（ｘ）は上記（式１）によって算出され、この式に従って、位置ｘの色Ｃ２の画素値Ｃ２（ｘ）を算出することができる。
この（式１）は、位置ｘを含む参照領域内における既知のＣ１，Ｃ２の画素値を用いて、位置ｘにおいて未知の色Ｃ２の画素値Ｃ２（ｘ）を算出する式である。

（式１）は、異なる色信号間での画素値の差分（色差）が局所的にはほぼ一定に保たれるという自然画における特徴に基づいて撮像素子の出力から直接、取得できない注目画素ｘの色（Ｃ２）の画素値（Ｃ２（ｘ））を算出する式である。

（式１）に従うと、注目画素を含む参照領域における既知の画素値のみを用いて、注目画素位置における不明な色信号を推定することができる。
例えば、Ｃ１（ｘ）が既知であれば、不明なＣ２（ｘ）の値は、Ｃ１（ｘ）とｍＣ１（ｘ）、ｍＣ２（ｘ）を用いて算出される。

しかしながら、（式１）で示される補間方法には、色信号にエイリアシングが生じるほどの高周波成分が含まれていると、
式１の中央に記載の項と右端に記載の項が一致しない、すなわち、

上記のような不一致が発生する場合があるという問題が存在する。
さらに、上記の（式１）を変形すると（式２）が得られる。

・・・（式２）

画素値の平均値を求める計算は、色信号にローパスフィルタ（ＬＰＦ）を適用することと等価であり、上記の（式２）は不明なＣ２（ｘ）の値を求めるためには、Ｃ２の低周波成分と、Ｃ１の高周波成分が分かれば良いということを示している。

つまり、Ｃ１の高周波成分と、Ｃ２の高周波成分の間に強い相関があることを利用した補間処理であると言える。
この補間処理において、色信号に高周波成分が含まれていると、エイリアシングが生じ、ｍＣ１（ｘ）、ｍＣ２（ｘ）の計算結果が理想的なＬＰＦの結果から外れ、補間結果に偽色が生じる。

本発明では統計量（（式１）では平均値）を計算する際に用いる参照領域の面積を色信号の周波数特性に応じて変えことで上記問題を克服する。
なお、参照領域は注目画素位置の補間画素値を算出するために適用する参照画素の設定領域に対応する。

自然画における色信号に関しては、低周波成分が支配的であり、高周波成分は、シャープなエッジを持つ一部の被写体にしか存在しない。
そのため、色信号に高周波成分が含まれていない画像の大部分の領域においては、色信号にエイリアシングが発生せず、狭い参照領域で計算された統計量は十分に信頼できる。

逆に、信号にエイリアシングが発生するほどの高周波成分が色信号に含まれている場合に、狭い参照領域を用いて統計量を計算すると、エイリアシングの影響を強く受けて正しい統計量を求めることができない。

しかし、撮像装置（カメラ）によって撮影された自然画において高周波成分が存在する領域は限られており、補間画素値を求めるための参照画素値を取得する参照領域の面積を広げることで、低周波成分しか含まれていない色信号を参照画素値としてサンプリングすることが可能になる。
つまり、参照領域を広げることで、相対的により正しい統計量を計算することが可能になる。

参照領域を広げればエイリアシングの影響が減らせる点のみに着目すると、参照領域を出来る限り広げれば良いということになるが、これは正しくない。
なぜならば、注目画素位置における色信号の相関関係が維持されるのは注目画素位置を含む狭い領域だけであるからである。
色信号の間で強い相関が維持されるのは信号の高周波成分が中心であると言うこともできる。

そのため、上記の（式１）を用いた補間処理で補間値を理想的な画素値に近付けるためには、参照画像値を取得するための参照領域を狭く設定した方が良く、例えば多くの画素値補間処理技術では一定の狭い参照領域、例えば７ｘ７画素程度の領域が用いられてきた。

本発明では、従来技術で用いられてきた一定の狭い参照領域だけでは無く、例えば３１ｘ３１画素程度の広い領域を、参照画素値を取得するための参照領域として設定し、広い参照領域内の参照画素値を用いて補間処理を行う点に特徴がある。

補間処理において偽色が発生すると、非常に不自然に見えるため、偽色の発生は可能な限り抑制しなければならない。
そこで、本発明では色信号の周波数特性に応じて補間処理に用いる参照領域の面積を変更する。
色信号にナイキスト周波数付近の高周波成分が含まれている場合には広い参照領域を用い、含まれていない場合は狭い参照領域を用いる。

［２．本発明の画像処理装置における補間処理実行部の構成と処理について］
本発明の画像処理装置における補間処理実行部の構成と処理について図３以下を参照して説明する。
図３は、本発明の画像処理装置において補間処理を実行する補間処理実行部１００の構成要素を示すブロック図である。
本発明の画像処理装置は、図３に示すように、
ナイキスト周波数検出部１０１、
小領域統計量算出部１０２、
大領域統計量算出部１０３、
補間処理部Ａ，１０４、
を有する。

補間処理実行部１００には、単板式の撮像素子（単板カラー撮像素子）の出力であるモザイク画像１２１が入力される。このモザイク画像１２１は、各画素位置にＲＧＢ等の単色のデータのみによって構成される。
補間処理実行部１００の出力は補間画像１２２であり、各画素位置に全ての色の画素値データが設定された補間画像１２２を出力する。

ナイキスト周波数検波部１０１は、モザイク画像１２１の色信号に含まれているナイキスト周波数付近の高周波信号の強度を検出する。
小領域統計量算出部１０２は、予め設定された狭い画素領域からなる狭い参照領域を用いた統計量を算出する。
大領域統計量算出部１０３は、予め設定された広い画素領域からなる広い参照領域を用いた統計量を算出する。
なお、統計量は補間画素値を決定するために用いられる参照領域の画素値から算出される値である。

補間処理部Ａ，１０４は、ナイキスト周波数検波部１０１で検出された高周波信号の強度に応じて、小領域統計量算出部１０２と、大領域統計量算出部１０３との２つの異なる参照領域を用いて計算された統計量の内、片方の統計量を優先的に用いて、補間画素値を決定する画素位置である注目画素位置の不明な色の画素値を決定する。

具体的には、補間処理部Ａ，１０４は、以下のような補間処理を実行する。
ナイキスト周波数検波部１０１で検出された高周波信号があらかじめ設定した閾値以上の強度であり、高周波領域であると判定した場合は大領域統計量算出部１０３の算出した統計量を使用した補間処理を実行する。
ナイキスト周波数検波部１０１で検出された高周波信号があらかじめ設定した閾値未満の強度であり、高周波領域でないと判定した場合は小領域統計量算出部１０２の算出した統計量を使用した補間処理を実行する。また、閾値による単なる切り替えではなく、２つの統計量を高周波信号の強度に応じてブレンドするようにしても良い。

なお、図３に示す補間処理実行部１００は、小領域統計量算出部１０２と、大領域統計量算出部１０３との２つの異なる大きさを持つ参照領域を用いて、２つの異なる統計量を算出する設定としているが、さらに、３種類以上の大きさの異なる参照領域を利用可能な構成として３種類以上の統計量を算出し、ナイキスト周波数検波部１０１で検出された高周波信号の強度に応じて、これらの統計量を選択的に適用する構成としてもよい。

例えば、
狭い参照領域を利用して統計量を算出する小領域統計量算出部、
中程度の参照領域を利用して統計量を算出する中領域統計量算出部、
広い参照領域を利用して統計量を算出する大領域統計量算出部、
これら３つの統計量算出部を設定した場合は以下のような補間処理を実行する。

補間処理部Ａ，１０４は、以下のような補間処理を実行する。
ナイキスト周波数検波部１０１で検出された高周波信号の強度Ｓに応じて以下のような補間処理を行う。
閾値Ｔｈ１≦Ｓの場合、広い参照領域を利用して統計量を算出する大領域統計量算出部の算出した統計量を使用した補間処理を実行する。
閾値Ｔｈ２≦Ｓ＜閾値Ｔｈ１の場合、中程度の参照領域を利用して統計量を算出する中領域統計量算出部の算出した統計量を使用した補間処理を実行する。
Ｓ＜閾値Ｔｈ２の場合、狭い参照領域を利用して統計量を算出する小領域統計量算出部の算出した統計量を使用した補間処理を実行する。
このように、より多くの異なる参照領域を用いる構成とすることも可能である。

図４には、本発明の画像処理装置における補間処理実行部１５０の第２実施例を示す。
図４に示す補間処理実行部１５０は、
ナイキスト周波数検出部１５１、
参照領域決定部１５２、
統計量算出部１５３、
補間処理部Ｂ，１５４、
を有する。

補間処理実行部１５０には、単板式の撮像素子（単板カラー撮像素子）の出力であるモザイク画像１７１が入力される。このモザイク画像１７１は、各画素位置にＲＧＢ等の単色のデータのみによって構成される。
補間処理実行部１５０の出力は補間画像１７２であり、各画素位置にすべての色の画素値データが設定された補間画像１７２を出力する。

ナイキスト周波数検波部１５１は、モザイク画像１７１の色信号に含まれているナイキスト周波数付近の高周波信号の強度を検出する。

参照領域決定部１５２は、ナイキスト周波数検波部１０１で検出された高周波信号の強度に応じて参照領域の大きさを決定する。
具体的には、参照領域決定部１５２は、以下のような参照領域決定処理を実行する。
ナイキスト周波数検波部１５１で検出された高周波信号の強度が例えば予め設定した閾値より強く、高周波領域であると判定した場合は、参照領域の広さを大きくする。
また、ナイキスト周波数検波部１５１で検出された高周波信号の強度が例えば予め設定した閾値より弱く、高周波領域でないと判定した場合は、参照領域の広さを小さくする。

統計量算出部１５３は、参照領域決定部１５２の決定した参照領域内の画素値を参照画素として適用して統計量を算出する。
補間処理部Ｂ，１５４は、統計量算出部１５３の算出した統計量に基づいて不明な色の画素値を決定する補間処理を実行する。

このように、本発明の画像処理装置では、参照領域の面積を可変にし、高周波領域では広い領域からなる参照画素領域を利用し、高周波領域ではない領域では狭い領域からなる参照画素領域を利用して統計量を算出し、算出した統計量を用いて補間画素値を決定する。
このような処理を実行することで、従来技術では偽色を発生させていた画素領域で偽色を抑えつつ、それ以外の領域では補間性能を従来技術と同等に保つことができる。
本発明は、偽色抑制と補間性能の維持という異なる画質上の課題に対し、参照領域の面積を可変にし、両者のバランスを取る画像処理装置であると言える。

なお、高周波信号の強度は色信号にハイパスフィルタを適用することで求められるが、ある色の画素数と別の色の画素数が異なる場合、より画素数の多い色にハイパスフィルタを適用し、その結果を画素数の少ない色に対して用いても良い。
これは、撮像装置（カメラ）によって撮影される自然画においては、色間に強い相関が存在することから、ある色の高周波信号の強度を他の色の高周波成分の強度の代替として用いることができ、また画素数が多い方がハイパスフィルタの設計の自由度が上げられるために、精度良く高周波信号を検波できるからである。

本発明の補間処理実行部をハードウェアとして実現する場合には、広い参照領域での統計量の計算時にＩＩＲ（無限インパルス応答）フィルタを用いることで、ハードウェアコストを下げることができる。
ＩＩＲフィルタは非等方のフィルタであるが、非等方性に起因する補間処理の性能劣化は視覚上ほとんど知覚されないことから、問題とはならない。

［３．本発明の画像処理装置のハードウェア構成例について］
次に、図５を参照して本発明の画像処理装置の一実施例としての撮像装置（デジタルスチルカメラ）の構成例について説明する。前段で全体像の構成及び動作について説明し、その後各部の構成と動作を説明する。最後に本実施例から派生できる本発明の実施例のバリエーションについて言及する。

図５は本発明の画像処理装置の一実施例であるデジタルビデオカメラシステムの構成を示すブロックダイアグラムである。図５に示すように、画像処理装置は、レンズ２０１、絞り２０２、ＣＣＤイメージセンサ２０３、相関２重サンプリング回路２０４、Ａ／Ｄコンバータ２０５、ＤＳＰブロック２０６、タイミングジェネレータ２０７、Ｄ／Ａコンバータ２０８、ビデオエンコーダ２０９、ビデオモニタ２１０、ＣＯＤＥＣ２１１、メモリ２１２、ＣＰＵ２１３、入力デバイス２１４から構成される。

入力デバイス２１４はカメラ本体にある録画ボタンなどの操作ボタン類である。また、ＤＳＰブロック２０６は信号処理用プロセッサと画像用ＲＡＭを持つブロックで、信号処理用プロセッサが画像用ＲＡＭに格納された画像データに対してあらかじめプログラムされた画像処理を行うことができるようになっている。以下ＤＳＰブロックを単にＤＳＰと呼ぶ。

光学系を通過してＣＣＤ２０３に到達した入射光は、まずＣＣＤ撮像面上の各受光素子に到達し、受光素子での光電変換によって電気信号に変換され、相関２重サンプリング回路２０４によってノイズ除去され、Ａ／Ｄコンバータ２０５によってデジタイズされた後、ＤＳＰ２０６中の画像メモリに一時格納されるようになっている。

撮像中の状態においては、一定のフレームレートによる画像取り込みを維持するようにタイミングジェネレータ２０７が信号処理系を制御するようになっている。ＤＳＰ２０６へも一定のレートで画素のストリームが送られ、そこで適切な画像処理がおこなわれた後、画像データはＤ／Ａコンバータ２０８もしくはＣＯＤＥＣ２１１あるいはその両方に送られる。Ｄ／Ａコンバータ２０８はＤＳＰ２０６から送られる画像データをアナログ信号に変換し、それをビデオエンコーダ２０９がビデオ信号に変換し、そのビデオ信号をビデオモニタ２１０でモニタできるようになっていて、このビデオモニタ２１０は本実施例においてカメラのファインダの役割を担っている。また、ＣＯＤＥＣ２１１はＤＳＰ２０６から送られる画像データに符号化をおこない、符号化された画像データはメモリ２１２に記録されるようになっている。ここで、メモリ２１２は半導体、磁気記録媒体、光磁気記録媒体、光記録媒体などを用いた記録装置などであってよい。

以上が本実施例のデジタルビデオカメラのシステム全体の説明であるが、本発明に関連する画像処理である補間処理等が実行されるのは、ＤＳＰ２０６である。図３、図４を参照して説明した補間処理実行部は、図５に示すデジタルスチルカメラとしての画像処理装置の場合、ＤＳＰ２０６内に構成される。

以下、実施例として、図５に示すデジタルスチルカメラである画像処理装置のＤＳＰ２０６において実行する処理例を説明する。

ＤＳＰ２０６内部において、入力された画像信号のストリームに対して演算ユニットが所定のプログラムコードに記述された演算を順次実行するようにして実現されている。以降の説明では、そのプログラム中の各処理単位を機能ブロックとして説明し、また各処理が実行される順序をフローチャートで説明する。しかしながら、本発明は本実施例で説明するようなプログラムという形態以外にも、以降で説明する機能ブロックと同等の処理を実現するハードウェア回路を実装して構成してもよい。

［４．図３に示す補間処理実行部１００の構成要素の具体的処理例について］
先に、図３、図４を参照して説明したように本発明の画像処理装置の補間処理実行部では、参照領域の面積を可変にし、高周波領域では広い領域からなる参照画素領域を利用し、高周波領域ではない領域では狭い領域からなる参照画素領域を利用して統計量を算出し、算出した統計量を用いて補間画素値を決定する。

このような処理を実行することで、従来技術では偽色を発生させていた画素領域で偽色を抑えつつ、それ以外の領域では補間性能を従来技術と同等に保つことができる。
以下、図３に示す補間処理実行部１００において、図２（２）に示すＲＧＢＸの４色配列の単板式の撮像素子（単板カラー撮像素子）の出力であるモザイク画像１２１が入力された場合の具体的な処理例について説明する。

（４−１．ナイキスト周波数検波部１０１の処理について）
まず、ナイキスト周波数検波部１０１の処理について説明する。
ナイキスト周波数検波部１０１では、まず図２（２）に含まれる４つの色（ＲＧＢＸ）よりも画素数が多く、より高い周波数成分を持つ別の色Ｙの信号を、以下の（式３）を用いて算出する。Ｙは単板式の撮像素子（単板カラー撮像素子）から直接得られる４つの色（ＲＧＢＸ）よりも画素数が多く、より高い周波数成分を持つ別の色の信号である。

・・・（式３）

なお、上記（式３）において、
ｘ，ｙは画素位置を表し、Ｍｏｓａｉｃはモザイク画像を表す。

なお、算出されるＹ信号は、ＲＧＢＸ４画素の中心位置における画素値として算出される。

ナイキスト周波数検波部１０１は、続いて、Ｒ，Ｇ，Ｂ，Ｘの色成分のナイキスト周波数付近の周波数帯域を通すハイパスフィルタ（ＨＰＦ）を用いて、以下の（式４）に従ってＹの高周波成分の強度を算出する。

・・・（式４）

上記式において、
Ｎｙｑ（ｘ，ｙ）が注目画素（ｘ，ｙ）における高周波成分の強度を示す値となる。上記式は、注目画素（ｘ，ｙ）の近傍のＹ信号の分布に基づいて高周波成分の強度を算出する式である。

この式に従って算出された値Ｎｙｑ（ｘ，ｙ）が注目画素（ｘ，ｙ）における高周波成分の強度指標値として図３に示す補間処理部Ａ，１０４に提供される。
補間処理部Ａ，１０４は、この値に基づいて、異なる２つの参照領域で算出された統計量の内、どちらを優先的に使用するのかどうかを決定する。

すなわち、先に説明したように、補間処理部Ａ，１０４は、以下のような補間処理を実行する。
ナイキスト周波数検波部１０１で算出されたＮｙｑ（ｘ，ｙ）が大きい場合は大領域統計量算出部１０３の算出した統計量を優先的に使用した補間処理を実行する。
ナイキスト周波数検波部１０１で算出されたＮｙｑ（ｘ，ｙ）が小さい場合は小領域統計量算出部１０２の算出した統計量を優先的に使用した補間処理を実行する。

（４−２．小領域統計量算出部１０２の処理について）
次に、小領域統計量算出部１０２の処理について説明する。
小領域統計量算出部１０２は、補間対象画素である注目画素（ｘ，ｙ）を中心とした狭い画素領域、例えば７ｘ７画素の局所領域を参照領域として設定し、この狭い参照領域に含まれているＲ，Ｇ，Ｂ，Ｘ，Ｙの画素値の平均値を、補間画素値を決定するために適用する統計量として算出する。

以下、小領域統計量算出部１０２において算出した狭い参照領域（例えば７ｘ７画素領域）におけるＲＧＢＸＹ各色の平均値を以下のように示す。
Ｒの平均値：ｍＨＲ（ｘ，ｙ）、
Ｇの平均値：ｍＨＧ（ｘ，ｙ）、
Ｂの平均値：ｍＨＢ（ｘ，ｙ）、
Ｘの平均値：ｍＨＸ（ｘ，ｙ）、
Ｙの平均値：ｍＨＹ（ｘ，ｙ）、
小領域統計量算出部１０２は、これらの値を狭い参照領域（例えば７ｘ７画素領域）における統計量として算出する。

（４−３．大領域統計量算出部１０３の処理について）
次に、大領域統計量算出部１０３の処理について説明する。
大領域統計量算出部１０３は、補間対象画素である注目画素（ｘ，ｙ）を中心とした広い画素領域、例えば３１ｘ３１画素の局所領域を参照領域として設定し、この広い参照領域に含まれているＲ，Ｇ，Ｂ，Ｘ，Ｙの画素値の平均値を、補間画素値を決定するために適用する統計量として算出する。

以下、大領域統計量算出部１０３において算出した広い参照領域（例えば３１ｘ３１画素領域）におけるＲＧＢＸＹ各色の平均値を以下のように示す。
Ｒの平均値：ｍＬＲ（ｘ，ｙ）、
Ｇの平均値：ｍＬＧ（ｘ，ｙ）、
Ｂの平均値：ｍＬＢ（ｘ，ｙ）、
Ｘの平均値：ｍＬＸ（ｘ，ｙ）、
Ｙの平均値：ｍＬＹ（ｘ，ｙ）、
大領域統計量算出部１０３は、これらの値を広い参照領域（例えば３１ｘ３１画素領域）における統計量として算出する。

（４−４．補間処理部Ａ，１０４の処理について）
次に、補間処理部Ａ，１０４の処理について説明する。
補間処理部Ａ，１０４では、以下に示す（式５）に従って、補間対象画素位置である注目画素（ｘ，ｙ）における補間画素値、すなわち不明な色の画素値を決定する。

・・・（式５）

上記（式５）において、
ｃｏｎｓｔ１は２つの異なる参照領域で計算された統計量を混ぜる割合をコントロールするための係数である。
この係数を変更することで偽色の抑制効果をコントロールすることができる。また、式中のＣはＲ，Ｇ，Ｂ，Ｘの何れかの色に置き換えられる。

上記（式５）は、小領域統計量算出部１０２において算出した狭い参照領域（例えば７ｘ７画素領域）におけるＹ信号と、Ｃ信号（ＲＧＢＸいずれか補間対象となる色信号）の平均値、すなわち、
Ｙの平均値：ｍＨＹ（ｘ，ｙ）、
Ｃの平均値：ｍＨＣ（ｘ，ｙ）、
と、
大領域統計量算出部１０３において算出した広い参照領域（例えば３１ｘ３１画素領域）におけるＹ信号と、Ｃ信号（ＲＧＢＸいずれか補間対象となる色信号）の平均値、すなわち、
Ｙの平均値：ｍＬＹ（ｘ，ｙ）、
Ｃの平均値：ｍＬＣ（ｘ，ｙ）、
これらの各平均値のブレンドによって最終的な注目画素の補間画素値Ｃ（ｘ，ｙ）を算出する式である。

ブレンド比率：Ｂｌｅｎｄ（ｘ，ｙ）は、
Ｂｌｅｎｄ（ｘ，ｙ）＝ｍｉｎ（Ｎｙｑ（ｘ，ｙ）×ｃｏｎｓｔ１，１）
によって算出される。
すなわち、先に説明した（式４）に従って算出される注目画素（ｘ，ｙ）における高周波成分の強度指標値Ｎｙｑ（ｘ，ｙ）に予め規定した係数ｃｏｎｓｔ１を乗算した値（Ｎｙｑ（ｘ，ｙ）×ｃｏｎｓｔ１）と１とを比較してより小さい値を選択して、選択値をブレンド比率：Ｂｌｅｎｄ（ｘ，ｙ）とする。

例えば、高周波領域では、（Ｎｙｑ（ｘ，ｙ）×ｃｏｎｓｔ１）の値が大きくなり、
（Ｎｙｑ（ｘ，ｙ）×ｃｏｎｓｔ１）＞１となる。この場合、
Ｂｌｅｎｄ（ｘ，ｙ）＝ｍｉｎ（Ｎｙｑ（ｘ，ｙ）×ｃｏｎｓｔ１，１）
上記式によって算出されるブレンド比率：Ｂｌｅｎｄ（ｘ，ｙ）は、
Ｂｌｅｎｄ（ｘ，ｙ）＝１
となる。

このような高周波領域では、上記（式５）に従って算出される注目画素の補間画素値Ｃ（ｘ，ｙ）は、
広い参照領域（例えば３１ｘ３１画素領域）におけるＹ信号と、Ｃ信号（ＲＧＢＸいずれか補間対象となる色信号）の平均値、すなわち、
Ｙの平均値：ｍＬＹ（ｘ，ｙ）、
Ｃの平均値：ｍＬＣ（ｘ，ｙ）、
これらの値のみによって算出される。

一方、高周波成分の少ない領域では、（Ｎｙｑ（ｘ，ｙ）×ｃｏｎｓｔ１）の値が小さくなり、
（Ｎｙｑ（ｘ，ｙ）×ｃｏｎｓｔ１）＜１となる、この場合、
Ｂｌｅｎｄ（ｘ，ｙ）＝ｍｉｎ（Ｎｙｑ（ｘ，ｙ）×ｃｏｎｓｔ１，１）
上記式によって算出されるブレンド比率：Ｂｌｅｎｄ（ｘ，ｙ）は、
Ｂｌｅｎｄ（ｘ，ｙ）＝０〜１
となる。

このような高周波領域成分の少ない平坦な領域では、上記（式５）に従って算出される注目画素の補間画素値Ｃ（ｘ，ｙ）は、
狭い参照領域（例えば７ｘ７画素領域）におけるＹ信号と、Ｃ信号（ＲＧＢＸいずれか補間対象となる色信号）の平均値、すなわち、
Ｙの平均値：ｍＨＹ（ｘ，ｙ）、
Ｃの平均値：ｍＨＣ（ｘ，ｙ）、
これらの値の寄与率が０より大きくなる。

Ｎｙｑ（ｘ，ｙ）×ｃｏｎｓｔ１の値が小さいほど、すなわち高周波成分が少ないほど、狭い参照領域（例えば７ｘ７画素領域）におけるＹ信号と、Ｃ信号（ＲＧＢＸいずれか補間対象となる色信号）の平均値、すなわち、
Ｙの平均値：ｍＨＹ（ｘ，ｙ）、
Ｃの平均値：ｍＨＣ（ｘ，ｙ）、
これらの値の寄与率が大きくなる。
これに伴い、広い参照領域（例えば３１ｘ３１画素領域）におけるＹ信号と、Ｃ信号（ＲＧＢＸいずれか補間対象となる色信号）の平均値、すなわち、
Ｙの平均値：ｍＬＹ（ｘ，ｙ）、
Ｃの平均値：ｍＬＣ（ｘ，ｙ）、
これらの値の寄与率が小さくなる。

このように、最終的な注目画素の補間画素値Ｃ（ｘ，ｙ）は、
高周波領域では、大領域統計量算出部１０３において算出した広い参照領域（例えば３１ｘ３１画素領域）における統計量（平均値）の寄与率が高く設定され、狭い参照領域（例えば７ｘ７画素領域）における統計量（平均値）の寄与率が低く設定される。
一方、高周波成分の少ない平坦領域では、大領域統計量算出部１０３において算出した広い参照領域（例えば３１ｘ３１画素領域）における統計量（平均値）の寄与率が低く設定され、狭い参照領域（例えば７ｘ７画素領域）における統計量（平均値）の寄与率が高く設定される。

図３に示す補間処理実行部１００は、このような処理によって単板式の撮像素子（単板カラー撮像素子）の出力であるモザイク画像１２１を入力し、各画素位置にすべての色（ＲＧＢＸ）の画素値を設定する補間処理を実行して補間画像１２２を出力する。

［５．図４に示す補間処理実行部１５０の構成要素の具体的処理例について］
次に、図４に示す補間処理実行部１５０において、図２（２）に示すＲＧＢＸの４色配列の単板式の撮像素子（単板カラー撮像素子）の出力であるモザイク画像１２１が入力された場合の具体的な処理例について説明する。

（５−１．ナイキスト周波数検波部１５１の処理について）
まず、ナイキスト周波数検波部１５１の処理について説明する。
ナイキスト周波数検波部１５１の処理は、図３に示すナイキスト周波数検波部１０１の処理と同様の処理を実行する。
まず図２（２）に含まれる４つの色（ＲＧＢＸ）よりも画素数が多く、より高い周波数成分を持つ別の色の信号値を、前述の（式３）を用いて算出する。
次に、Ｒ，Ｇ，Ｂ，Ｘの色成分のナイキスト周波数付近の周波数帯域を通すハイパスフィルタ（ＨＰＦ）を用いて、前述の（式４）に従ってＹの高周波成分の強度を算出する。

前述の（式４）に従って算出された値Ｎｙｑ（ｘ，ｙ）が注目画素（ｘ，ｙ）における高周波成分の強度指標値として図４に示す参照領域決定部１５２に提供される。
参照領域決定部１５２は、この値に基づいて、参照領域の広さを決定する。

（５−２．参照領域決定部１５２の処理について）
次に、参照領域決定部１５２の処理について説明する。
参照領域決定部１５２はナイキスト周波数検波部１５１で検出された色信号の高周波成分の強度に応じて、注目画素位置を中心とした参照領域を設定する。

具体的には、先に説明したように参照領域決定部１５２は、以下のような参照領域決定処理を実行する。
ナイキスト周波数検波部１５１で検出された高周波信号の強度が例えば予め設定した閾値より強く、高周波領域であると判定した場合は、参照領域の広さを大きくする。
また、ナイキスト周波数検波部１５１で検出された高周波信号の強度が例えば予め設定した閾値より弱く、高周波領域でないと判定した場合は、参照領域の広さを小さくする。
例えば、参照領域は７ｘ７画素から３１ｘ３１画素の範囲で選ばれる。

具体的には、参照領域決定部１５２は、例えば、以下の（式６）に従って高周波成分の強度が強いほど広い参照領域を設定する。

・・・（式６）

上記（式６）において、
ｃｏｎｓｔ２〜ｃｏｎｓｔ１３は偽色の抑制効果をコントロールするための予め設定した係数であり、
ｃｏｎｓｔ２＜ｃｏｎｓｔ３＜ｃｏｎｓｔ４＜…．＜ｃｏｎｓｔ１３
である。
参照領域決定部１５２の決定した参照領域情報は統計量算出部１５３に提供される。

（５−３．統計量算出部１５３の処理について）
次に、統計量算出部１５３の処理について説明する。
統計量算出部１５３では参照領域決定部１５２で選ばれた参照領域の範囲に含まれているＲ，Ｇ，Ｂ，Ｘ，Ｙを参照画素として、補間画素値の決定に用いる統計量としての画素値の平均値を求める。

以下、統計量算出部１５３において参照領域の参照画素に基づいて算出した各色（ＲＧＢＸＹ）の平均値を以下のように示す。
Ｒの平均値：ｍＲ（ｘ，ｙ）、
Ｇの平均値：ｍＧ（ｘ，ｙ）、
Ｂの平均値：ｍＢ（ｘ，ｙ）、
Ｘの平均値：ｍＸ（ｘ，ｙ）、
Ｙの平均値：ｍＹ（ｘ，ｙ）、
統計量算出部１５３は、これらの値を参照領域決定部１５２で選ばれた参照領域の範囲に含まれているＲ，Ｇ，Ｂ，Ｘ，Ｙを参照画素として算出する。

（５−４．補間処理部Ｂ，１５４の処理について）
次に、補間処理部Ｂ，１５４の処理について説明する。
補間処理部Ｂ，１５４は、以下に示す（式７）に従って、補間処理の画素位置である注目画素位置（ｘ，ｙ）における不明な色の画素値を決定する。

・・・（式７）

上記（式７）において、
ＣはＲ，Ｇ，Ｂ，Ｘの何れかの色に置き換えられる。

図４に示す補間処理実行部１５０は、このような処理によって単板式の撮像素子（単板カラー撮像素子）の出力であるモザイク画像１７１を入力し、各画素位置にすべての色（ＲＧＢＸ）の画素値を設定する補間処理を実行して補間画像１７２を出力する。

［６．その他の実施例について］
上述した実施例において説明した狭い参照領域としての７ｘ７画素領域、および広い参照領域としての３１ｘ３１画素領域は、一例である。
この参照領域の大きさは、モザイク画像の画素数や、含まれている色数に応じて適切な領域を選べば良い。

本発明は様々な色配列に対して適用することができる。例えばデジタルカメラで一般的に用いられる図２（１）に示すベイヤー（Ｂａｙｅｒ）配列に対しては、従来方法でＧを全画素位置に補間した後、上記実施例で用いたＹ信号の代わりにＧ信号を用いて他の色の補間を行う構成としてもよい。

先に説明した実施例では、Ｙ信号を全画素位置で計算する際に、先に説明した（式３）に従って、単板式の撮像素子（単板カラー撮像素子）の出力から得られるＲ，Ｇ，Ｂ，Ｘを加算平均していたが、さらに、各画素値のＹ信号に対する寄与度等を考慮した複雑な方法を用いてＹ信号を求めても良い。

また、補間画素値の算出に適用する統計量として、上述の実施例では、平均値を用いており、平均値の計算において、参照領域にある画素値の単純平均を行う例を示したが、画素位置に応じた重みを設定して加重平均を行う構成としてもよい。
重みは参照領域内の画素位置が注目画素位置から離れるに従って小さくなるように設定する。

なお、平均値の計算は本質的にはローパスフィルタ（ＬＰＦ）を用いた処理として実行可能であり、ＬＰＦフィルタの係数を画素位置に応じて変えることと等しい。全画素位置で係数が１であるＬＰＦ（単純平均）と比べると、注目画素位置から離れるに従って小さくなる係数を持つＬＰＦの方が周波数特性に急峻な変化が無く、好ましい補間結果が得られる。
また、補間画素値を決定するための統計量としては、参照領域における画素の平均値の他、分散や共分散等のデータを用いる構成としてもよい。

補間画素位置において不明な色の画素値を推定する式として、先に（式２）を説明したが、補間画素値の推定式は、（式２）に限られるものではない。
例えば、先に説明した（式２）を、より一般的な式として示すと以下の（式８）のように示すことができる。

・・・（式８）

先に説明した（式２）は、上記（式８）で表される線形回帰式において、係数ｋを、ｋ＝１としたケースである。
なお、係数：ｋの計算方法は、以下に示す（式９）や（式１０）等を適用した方法などがある。

・・・（式９）

・・・（式１０）

係数：ｋは、例えば上記の（式９）や（式１０）によって算出される。これらの計算手法のいずれを適用するかについては、例えば補間性能と計算量とのトレードオフに従って、実装上好ましいものを選べばよい。

例えば、上記の（式１０）は信号間の正の相関、負の相関の双方を考慮した補間性能の高い式であるが、色のモザイク画像に対して適用するためには全画素位置に全色が存在している必要がある。よって、事前にｋの算出に十分な精度で色信号の補間を行わなければならず、また式そのものも複雑であるため、計算コストの高い方法と言える。

また、補間画素値を決定するために適用する参照領域における平均値などの統計量の計算はＩＩＲ（無限インパルス応答）フィルタを用いてハードウェア実装上のコストを下げることができる。

統計量の計算を実行する回路を、デジタルカメラにハードウェアとして実装する場合、従来ディレイラインと呼ばれるメモリの一種が用いられてきた。メモリはハードウェア規模として大きな部類に入るハードウェアであり、広い参照領域の画素値に基づいて統計量を計算するためには、回路規模の大きなディレイラインを必要とする。

参照領域として等方的な領域（注目画素位置に対して、上下左右等しい幅を持った領域）を用いる場合には、確かに大きなディレイラインが必要になる。しかし、参照領域として非等方的な領域を用いる場合にはＩＩＲを用いた統計量計算を行うことができる。

例えばラスタスキャン順で入力される画素値の平均値をＩＩＲで計算するためには各色に対してＸ方向一次元のアキュムレーションバッファを用意し、以下に示す（式１１）に従い、順次画素値を累積平均すれば良い。

・・・（式１１）

上記（式１１）において、
ｘはｘ方向の座標位置、
Ｔは時間、
ｃｏｎｓｔ１４は［０：１］の範囲のＩＩＲフィルタの係数、
である。
Ｃは色配列に含まれる色に置き換えられる。

以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。

また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

以上、説明したように、本発明の一実施例の構成によれば、単板カラー撮像素子によって撮像された色のモザイク画像の補間を行うことができる。本発明の一実施例の構成によれば、全画素位置に全色が揃った補間結果は十分に偽色が抑制され、視覚的に好ましい画像となる。

本発明の一実施例の構成によれば、単板カラー撮像素子による撮影処理によって生成される色モザイク画像を入力し、補間処理対象となる注目画素近傍の高周波信号の強度を検出し、検出した高周波信号の強度に応じて異なる広さを持つ参照領域を設定して異なる広さを持つ参照領域から計算される統計量を用いて補間画素値を決定する。例えば、高周波信号の強度が大きい場合は、広い参照領域に基づいて算出した統計量の寄与度を大きく設定した補間画素値の算出を実行し、高周波信号の強度が小さい場合は狭い参照領域に基づいて算出した統計量の寄与度を大きく設定したブレンド処理によって補間画素値の算出を実行する。あるいは高周波信号の強度に応じて決定した広さを持つ参照領域を用いた処理を実行する。
これらの処理により、画素領域が高周波領域に該当するか否かに応じた最適な参照領域が設定され、偽色が抑制された高品質な画像を生成することが可能となる。

１００ 補間処理実行部
１０１ ナイキスト周波数検波部
１０２ 小領域統計量算出部
１０３ 大領域統計量算出部
１０４ 補間処理部Ａ
１２１ モザイク画像
１２２ 補間画像
１５０ 補間処理実行部
１５１ ナイキスト周波数検波部
１５２ 参照見領域決定部
１５３ 統計量算出部
１５４ 補間処理部Ｂ
１７１ モザイク画像
１７２ 補間画像
２０１ レンズ
２０２ 絞り
２０３ ＣＣＤイメージセンサ
２０４ 相関２重サンプリング回路
２０５ Ａ／Ｄコンバータ
２０６ ＤＳＰブロック
２０７ タイミングジェネレータ
２０８ Ｄ／Ａコンバータ
２０９ ビデオエンコーダ
２１０ ビデオモニタ
２１１ ＣＯＤＥＣ
２１２ メモリ
２１３ ＣＰＵ
２１４ 入力デバイス

Claims (11)

1. 単板カラー撮像素子による撮影処理によって生成される色モザイク画像を入力して補間処理対象となる注目画素近傍の高周波信号の強度を検出する検波部と、
   前記注目画素の周囲に参照領域を設定し、参照領域に含まれる画素値に基づく統計量を算出する統計量算出部であり、各々が異なる広さの参照領域を設定して個別の統計量を算出する複数の統計量算出部と、
   前記検波部の検出した高周波信号の強度に応じて、前記複数の統計量算出部の算出した複数の統計量のブレンド態様を変更して、複数の統計量のブレンド処理により前記注目画素位置における補間画素値を算出する補間処理部を有し、
   前記補間処理部は、
   前記検波部の検出した高周波信号の強度が大きい場合は、広い参照領域に基づいて算出した統計量の寄与度を大きく設定した補間画素値の算出を実行し、
   前記検波部の検出した高周波信号の強度が小さい場合は、狭い参照領域に基づいて算出した統計量の寄与度を大きく設定した補間画素値の算出を実行する画像処理装置。
2. 単板カラー撮像素子による撮影処理によって生成される色モザイク画像を入力して補間処理対象となる注目画素近傍の高周波信号の強度を検出する検波部と、
   前記注目画素の補間画素値を算出するために適用する参照画素の範囲を規定する参照領域を決定する参照領域決定部であり、前記検波部の検出した高周波信号の強度に応じて異なる広さの参照領域を決定する参照領域決定部と、
   前記参照領域決定部の決定した参照領域に含まれる画素値に基づいて補間画素値を決定するための統計量を算出する統計量算出部と、
   前記統計量算出部の算出した統計量に基づいて前記注目画素位置における補間画素値を算出する補間処理部を有し、
   前記参照領域決定部は、
   前記検波部の検出した高周波信号の強度が大きい場合は、広い参照領域を設定し、
   前記検波部の検出した高周波信号の強度が小さい場合は、狭い参照領域を設定する画像処理装置。
3. 前記検波部は、補間処理対象となる注目画素近傍におけるナイキスト周波数付近の高周波信号の強度を検出する請求項１または２に記載の画像処理装置。
4. 前記検波部は、ナイキスト周波数付近の周波数帯域を通すハイパスフィルタ（ＨＰＦ）を用いて高周波信号の強度を検出する請求項３に記載の画像処理装置。
5. 前記検波部は、単板カラー撮像素子による撮影処理によって生成される色モザイク画像には含まれない色信号を算出して、算出信号に基づいて高周波信号の強度を検出する請求項１または２に記載の画像処理装置。
6. 前記統計量算出部は、
   参照領域に含まれる画素の画素値の平均を統計量として算出する請求項１または２に記載の画像処理装置。
7. 前記統計量算出部は、ＩＩＲ（無限インパルス応答）フィルタを適用した構成である請求項１または２に記載の画像処理装置。
8. 画像処理装置において画素値補間処理を実行する画像処理方法であり、
   検波部が、単板カラー撮像素子による撮影処理によって生成される色モザイク画像を入力して補間処理対象となる注目画素近傍の高周波信号の強度を検出する検波ステップと、
   複数の統計量算出部が、前記注目画素の周囲に参照領域を設定し、参照領域に含まれる画素値に基づく統計量を算出するステップであり、各々が異なる広さの参照領域を設定して個別の統計量を算出する複数の統計量算出ステップと、
   補間処理部が、前記検波ステップにおいて検出した高周波信号の強度に応じて、前記複数の統計量算出部の算出した複数の統計量のブレンド態様を変更して、複数の統計量のブレンド処理により前記注目画素位置における補間画素値を算出する補間処理ステップを実行し、
   前記補間処理ステップは、
   前記検波部の検出した高周波信号の強度が大きい場合は、広い参照領域に基づいて算出した統計量の寄与度を大きく設定した補間画素値の算出を実行し、
   前記検波部の検出した高周波信号の強度が小さい場合は、狭い参照領域に基づいて算出した統計量の寄与度を大きく設定した補間画素値の算出を実行するステップである画像処理方法。
9. 画像処理装置において画素値補間処理を実行する画像処理方法であり、
   検波部が、単板カラー撮像素子による撮影処理によって生成される色モザイク画像を入力して補間処理対象となる注目画素近傍の高周波信号の強度を検出する検波ステップと、
   参照領域決定部が、前記注目画素の補間画素値を算出するために適用する参照画素の範囲を規定する参照領域を決定する参照領域決定ステップであり、前記検波部の検出した高周波信号の強度に応じて異なる広さの参照領域を決定する参照領域決定ステップと、
   統計量算出部が、前記参照領域決定部の決定した参照領域に含まれる画素値に基づいて補間画素値を決定するための統計量を算出する統計量算出ステップと、
   補間処理部が、前記統計量算出部の算出した統計量に基づいて前記注目画素位置における補間画素値を算出する補間処理ステップを実行し、
   前記参照領域決定ステップは、
   前記検波部の検出した高周波信号の強度が大きい場合は、広い参照領域を設定し、
   前記検波部の検出した高周波信号の強度が小さい場合は、狭い参照領域を設定するステップである画像処理方法。
10. 画像処理装置において画素値補間処理を実行させるプログラムであり、
    検波部に、単板カラー撮像素子による撮影処理によって生成される色モザイク画像を入力して補間処理対象となる注目画素近傍の高周波信号の強度を検出させる検波ステップと、
    複数の統計量算出部に、前記注目画素の周囲に参照領域を設定し、参照領域に含まれる画素値に基づく統計量を算出させるステップであり、各々が異なる広さの参照領域を設定して個別の統計量を算出させる複数の統計量算出ステップと、
    補間処理部に、前記検波ステップにおいて検出した高周波信号の強度に応じて、前記複数の統計量算出部の算出した複数の統計量のブレンド態様を変更して、複数の統計量のブレンド処理により前記注目画素位置における補間画素値を算出させる補間処理ステップを実行させ、
    し、
    前記補間処理ステップは、
    前記検波部の検出した高周波信号の強度が大きい場合は、広い参照領域に基づいて算出した統計量の寄与度を大きく設定した補間画素値の算出を実行させ、
    前記検波部の検出した高周波信号の強度が小さい場合は、狭い参照領域に基づいて算出した統計量の寄与度を大きく設定した補間画素値の算出を実行させるステップであるプログラム。
11. 画像処理装置において画素値補間処理を実行させるプログラムであり、
    検波部に、単板カラー撮像素子による撮影処理によって生成される色モザイク画像を入力して補間処理対象となる注目画素近傍の高周波信号の強度を検出させる検波ステップと、
    参照領域決定部に、前記注目画素の補間画素値を算出するために適用する参照画素の範囲を規定する参照領域を決定させる参照領域決定ステップであり、前記検波部の検出した高周波信号の強度に応じて異なる広さの参照領域を決定させる参照領域決定ステップと、
    統計量算出部に、前記参照領域決定部の決定した参照領域に含まれる画素値に基づいて補間画素値を決定するための統計量を算出させる統計量算出ステップと、
    補間処理部に、前記統計量算出部の算出した統計量に基づいて前記注目画素位置における補間画素値を算出させる補間処理ステップを実行させ、
    前記参照領域決定ステップは、
    前記検波部の検出した高周波信号の強度が大きい場合は、広い参照領域を設定し、
    前記検波部の検出した高周波信号の強度が小さい場合は、狭い参照領域を設定させるステップであるプログラム。

Images