JP5519083B2 - 画像処理装置、方法、プログラムおよび撮像装置 - Google Patents

Description

本発明は画像処理装置、方法、プログラムおよび記録媒体並びに撮像装置に係り、特に撮像素子の所定の画素群毎の繰り返し周期に起因して発生する固定パターンを低減する技術に関する。

図２０は、撮像素子に設けられたカラーフィルタ配列の一例を示す図である。図２０に示すカラーフィルタ配列は、原色系ベイヤー配列である。

ベイヤー配列は、２×２画素の基本配列パターンを含み、この基本配列パターンが水平方向及び垂直方向に繰り返して配置されている。基本配列パターン内には、３原色の赤（Ｒ）、青（Ｂ）、緑（Ｇ）画素が含まれている。Ｇ画素は、水平方向にＲ画素が隣接するＧ_ｒ画素と、水平方向にＢ画素が隣接するＧ_ｂ画素とがある。

Ｇ_ｒ画素とＧ_ｂ画素とは水平方向に隣接する画素の色が異なる。例えば、隣接するＲ画素からの光の漏れ込み（混色）によりＧ_ｒ画素の画素値が近傍のＧ_ｂ画素の画素値よりも大きくなり、Ｇ_ｒ画素の画素値とＧ_ｂ画素の画素値との間で段差が生じる場合がある。この段差が基本配列パターンに従って周期的に繰り返されることにより、固定パターンが現れるという問題がある。

また、図２１は本出願人により提案された新規のモザイク状のカラーフィルタ配列を示している（特願２０１１−３４６２７明細書）。

このカラーフィルタ配列の基本配列パターンは、６×６画素であり、基本配列パターン内には、Ｇ画素が２０画素、Ｒ、Ｂ画素がそれぞれ８画素含まれている。この基本配列パターンの場合、同色の画素であっても、基本配列パターン内の位置に応じて隣接する画素（８画素）の色が異なるものが多数存在する。このため、混色による固定パターンが発生しやすい。また、図２１に示すカラーフィルタ配列は、ベイヤー配列と比較して基本配列パターンのサイズが大きいため、固定パターンが目立ちやすくなる。

また、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor）型の撮像素子には、ＣＭＯＳ下地に画素共有アンプが埋め込まれる。図２２に示す例では、２×２の４画素が１つのアンプＡを共有している。このような撮像素子の下地構造に起因して、共有アンプに対する画素の位置（アンプＡに対して左上、右上、左下、右下の位置）により出力レベルに差が生じ、下地構造の繰り返し周期に応じた固定パターンが発生する。

この種の固定パターンを低減する方法として、図２３Ａに示すように６×６画素のフィルタサイズを有するフィルタであって、中央重点の重み付けフィルタ係数を有するフィルタによりフィルタ処理をすることが考えられる。この場合、処理領域の画素群を移動させてフィルタを適応させた場合、例えば、図２３Ｂに示すＧ画素Ｐには、フィルタ係数４が掛けられるが、図２３Ｃに示すようにフィルタを移動すると、フィルタ係数２が掛けられることになる。このように異なるフィルタ係数が掛けられると、Ｇ画素Ｐとその周辺のＧ画素との間に段差が生じている場合には、フィルタ処理後の画像にムラが生じ、固定パターンを良好に低減することができないという問題がある。

一方、図２４に示すような均一なフィルタ係数を有するフィルタによりフィルタ処理を行うと、上記固定パターンを低減することができる。しかしながら、画像がボケてディテールが失われ、画質が低下するという問題がある。

特許文献１には、固体撮像素子の出力信号レベルに応じたノイズ低減を行うことにより、画像信号中の必要な成分を失わずに効果的に固体撮像素子のノイズを除去することができる画像信号処理装置が提案されている。この画像信号処理装置は、固体撮像素子が生成する画像信号レベルの大きさを判定して、その大きさに応じてローパスフィルタリングする度合いを変化させている。

特許文献２には、画像内のハーフトーン領域をデスクリーニングする方法が開示されており、ハーフトーン領域をデスクリーニングする際にローパスフィルタを修正して適用している。

特許文献３には、合焦位置からの相対距離に基づいて該相対距離の増加に対してローパスフィルタのフィルタサイズが単調増加するようにフィルタサイズを変え、映像信号に対してノイズ低減処理の強度を変えるようにした撮像装置が記載されている。

特開２００１−１４８７９７号公報 特表２００２−５２０９１５号公報 特開２０１０−２３９４９２号公報

特許文献１に記載の発明は、固体撮像素子の出力信号レベルに依存する光ショットノイズを低減するものである。このため、特許文献１に記載の発明は、固定パターンを低減するには有効ではなく、強い固定パターンが残ることになる。

また、特許文献２および３に記載の発明も固定パターンを低減するものではない。特許文献２に記載のフィルタの修正方法および特許文献３に記載のフィルタサイズの変更方法は、固定パターンを低減させるものではない。

本発明はこのような事情に鑑みてなされたもので、撮像素子の画素構造の繰り返し周期に起因して発生する固定パターンを低減するとともに、ディテールを残すことができる画像処理装置、方法、プログラムおよび記録媒体並びに撮像装置を提供することを目的とする。

前記目的を達成するために、本発明の一の態様に係る発明は、Ｍ×Ｎ（Ｍ、Ｎ：２以上の整数）画素の繰り返し周期の画素構造を有する撮像素子を含む撮像手段により撮影された画像を取得する画像取得手段と、Ｋ×Ｌ（Ｋ，Ｌ：Ｍ＜Ｋ，Ｎ＜Ｌの整数）のフィルタサイズのフィルタを有し、該フィルタに設定されたフィルタ係数と、前記画像取得手段により取得した画像中の注目画素を基準にして抽出されるＫ×Ｌ画素の画素値とを畳み込み演算して前記注目画素の画素値を算出するフィルタ処理手段とを備え、前記フィルタに設定されるフィルタ係数は、前記フィルタの中央付近に重み付けされており、かつ前記Ｍ×Ｎ画素の画素構造上で同じ位置関係にある画素に対応する、前記フィルタサイズ内のフィルタ係数の合計が、全て同一になるように設定されている。

前記フィルタのフィルタ係数は、中央付近に重み付けされたフィルタ係数を有しているため、前記フィルタ処理手段によるフィルタ処理後の画像のディテールが失われないようにすることができる。また、前記撮像素子のＭ×Ｎ画素の繰り返し周期の画素構造に対して、一回り大きいＫ×Ｌのフィルタサイズのフィルタを使用する。前記Ｍ×Ｎ画素の画素構造上で同じ位置関係にある画素に対応する、前記フィルタサイズ内のフィルタ係数の合計が、全て同一になるようにフィルタ係数が設定される。このため、前記Ｍ×Ｎ画素の画素値に対して実質的な平滑化処理がされる。したがって、前記Ｍ×Ｎ画素の繰り返し周期の画素構造に起因して発生する固定パターンを低減することができる。

本発明の他の態様に係る画像処理装置において、前記撮像素子は、水平方向及び垂直方向に配列された複数の画素上に３色のカラーフィルタを含む所定の基本配列パターンが、水平方向及び垂直方向に繰り返して配置されたカラー撮像素子であり、前記Ｍ×Ｎ画素の繰り返し周期の画素構造は、前記所定の基本配列パターンに対応するものである。即ち、前記撮像素子から出力される画像には、該撮像素子の画素構造（所定の画素群の繰り返し）周期に起因して固定パターンが発生するが、その画素構造は、３色のカラーフィルタを含む所定の基本配列パターンに対応するものである。

本発明の更に他の態様に係る画像処理装置において、前記撮像素子は、所定の画素群毎にアンプを共有する素子構造を有する撮像素子であり、前記Ｍ×Ｎ画素の繰り返し周期の画素構造は、前記所定の画素群に対応するものである。即ち、前記撮像素子から出力される画像には、該撮像素子の画素構造の周期に起因して固定パターンが発生するが、その画素構造は、撮像素子の共有アンプを含む下地構造に対応するものである。

本発明の更に他の態様に係る画像処理装置において、前記撮像素子は、水平方向及び垂直方向に配列された複数の画素上に３色のカラーフィルタを含む所定の基本配列パターンが、水平方向及び垂直方向に繰り返して配置され、かつ所定の画素群毎にアンプを共有する素子構造を有するカラー撮像素子であり、前記Ｍ×Ｎ画素の繰り返し周期の画素構造は、前記所定の基本配列パターンと前記所定の画素群との最小公倍数の周期となる。

本発明の更に他の態様に係る画像処理装置において、前記基本配列パターンは、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３原色のカラーフィルタを含み、前記基本配列パターンは、Ｎ×Ｎ（Ｎ：３以上の整数）画素に対応する正方配列パターンである。この基本配列パターンには、少なくとも９画素が含まれ、同色の画素が複数存在することになり、固定パターンが発生しやすくなる。本発明はこのような基本配列パターンを有する撮像素子から得られる画像に対してより有効である。

本発明の更に他の態様に係る画像処理装置において、前記フィルタ処理手段は、前記フィルタによる処理対象領域のＫ×Ｌ画素中の注目画素と、該注目画素のカラーフィルタと同じ色のカラーフィルタに対応する画素の画素値と、これらの画素に対応する前記フィルタのフィルタ係数との畳み込み演算により前記注目画素の画素値を算出する。

本発明の更に他の態様に係る画像処理装置において、前記撮像素子の画素構造の繰り返し周期であるＭ×Ｎ画素に対応する固定パターンサイズを取得する固定パターンサイズ取得手段と、前記取得した固定パターンサイズに基づいて前記フィルタサイズの中央付近に重み付けされたフィルタ係数を有し、かつ前記Ｍ×Ｎ画素の素子構造上で同じ位置関係にある画素に対応する、前記フィルタサイズ内のフィルタ係数の合計が、全て同一になるように前記フィルタ係数を算出するフィルタ係数算出手段とを更に備え、前記フィルタ処理手段は、前記フィルタ係数算出手段により前記算出されたフィルタ係数を取得するようにしている。これによれば、固定パターンサイズを取得することができれば、その固定パターンを低減することができるフィルタ係数を算出することができる。

本発明の更に他の態様に係る画像処理装置において、前記撮像素子は、水平方向及び垂直方向に配列された複数の画素上に３色のカラーフィルタを含む所定の基本配列パターンが、水平方向及び垂直方向に繰り返して配置されたカラー撮像素子であり、前記固定パターンサイズ取得手段は、前記所定の基本配列パターンのサイズを前記固定パターンサイズとして取得するようにしている。

本発明の更に他の態様に係る画像処理装置において、前記撮像素子は、所定の画素群毎にアンプを共有する素子構造を有する撮像素子であり、前記固定パターンサイズ取得手段は、前記アンプを共有する所定の画素群の画像サイズを前記固定パターンサイズとして取得するようにしている。

本発明の更に他の態様に係る画像処理装置において、前記撮像素子は、水平方向及び垂直方向に配列された複数の画素上に３色のカラーフィルタを含む所定の基本配列パターンが、水平方向及び垂直方向に繰り返して配置され、かつ所定の画素群毎にアンプを共有する素子構造を有するカラー撮像素子であり、前記固定パターンサイズ取得手段は、前記所定の基本配列パターンのサイズと前記アンプを共有する所定の画素群の画像サイズとの最小公倍数となるサイズを前記固定パターンサイズとして取得するようにしている。

即ち、前記固定パターンサイズとしては、前記撮像素子の３色のカラーフィルタの基本配列パターンのサイズ、撮像素子の下地の１つの共有アンプを使用する画素群の画像サイズ、又はこれらのサイズの最小公倍数のサイズとして取得することができる。

本発明の更に他の態様に係る画像処理装置において、前記Ｍ×Ｎの固定パターンサイズに基づいて前記Ｋ×Ｌのフィルタサイズを算出するフィルタサイズ算出手段を備え、前記フィルタ係数算出手段は、前記フィルタサイズ算出手段により算出されたフィルタサイズに応じたフィルタ係数を算出するようにしている。

本発明の更に他の態様に係る画像処理方法は、Ｍ×Ｎ（Ｍ、Ｎ：２以上の整数）画素の繰り返し周期の画素構造を有する撮像素子を含む撮像手段により撮影された画像を取得する工程と、（ａ）前記取得した画像内で注目画素を設定し、該注目画素を基準にしてＫ×Ｌ（Ｋ，Ｌ：Ｍ＜Ｋ，Ｎ＜Ｌの整数）画素を抽出する工程と、（ｂ）Ｋ×Ｌのフィルタサイズのフィルタを有し、該フィルタに設定されたフィルタ係数と、前記抽出したＫ×Ｌ画素の画素値とを畳み込み演算して前記注目画素の画素値を算出する工程と、（ｃ）前記取得した画像に対して前記注目画素を１画素ずつ移動させながら前記工程（ａ）及び工程（ｂ）を繰り返し実行する工程とを含み、前記フィルタに設定されるフィルタ係数は、前記フィルタの中央付近に重み付けされており、かつ前記Ｍ×Ｎ画素の素子構造上で同じ位置関係にある画素に対応する、前記フィルタサイズ内のフィルタ係数の合計が、全て同一になるように設定されている。

本発明の更に他の態様に係る画像処理プログラムは、Ｍ×Ｎ（Ｍ、Ｎ：２以上の整数）画素の繰り返し周期の画素構造を有する撮像素子を含む撮像手段により撮影された画像を取得する機能と、（ａ）前記取得した画像内で注目画素を設定し、該注目画素を基準にしてＫ×Ｌ（Ｋ，Ｌ：Ｍ＜Ｋ，Ｎ＜Ｌの整数）画素を抽出する機能と、（ｂ）Ｋ×Ｌのフィルタサイズのフィルタを有し、該フィルタに設定されたフィルタ係数と、前記抽出したＫ×Ｌ画素の画素値とを畳み込み演算して前記注目画素の画素値を算出する機能と、（ｃ）前記取得した画像に対して前記注目画素を１画素ずつ移動させながら前記機能（ａ）及び機能（ｂ）を繰り返し実行する機能とをコンピュータに実行させ、前記フィルタに設定されるフィルタ係数は、前記フィルタの中央付近に重み付けされており、かつ前記Ｍ×Ｎ画素の素子構造上で同じ位置関係にある画素に対応する、前記フィルタサイズ内のフィルタ係数の合計が、全て同一になるように設定されている。

本発明の更に他の態様に係る撮像装置は、撮影光学系と該撮影光学系を介して被写体像が結像される撮像素子とを含む撮像手段と、前記撮像手段から出力される画像を取得する前記画像画取得手段と、上記のいずれかの画像処理装置とを備える。

本発明によれば、Ｍ×Ｎ画素の繰り返し周期の画素構造を有する撮像素子に対して、一回り大きいＫ×Ｌ（Ｋ，Ｌ：Ｍ＜Ｋ，Ｎ＜Ｌの整数）のフィルタサイズのフィルタを使用し、前記フィルタのフィルタ係数が、中央付近に重み付けされており、かつ前記Ｍ×Ｎ画素の素子構造上で同じ位置関係にある画素に対応する、前記フィルタサイズ内のフィルタ係数の合計が、全て同一になるようにフィルタ係数を設定するようにした。このため、前記フィルタによるフィルタ処理後の画像のディテールが失われないようにすることができる。さらに、前記Ｍ×Ｎ画素の繰り返し周期の画素構造に起因して発生する固定パターンを低減することができる。

撮像素子に配置されたモザイク状のカラーフィルタ配列の一例を示す図 図１Ａのカラーフィルタ配列に対応する固定パターン低減用のフィルタのフィルタ係数の一例を示す図 図１Ｂに示したフィルタ係数の構成を説明するための図 図１Ｂに示したフィルタ係数の構成を説明するための図 撮像素子に配置されたモザイク状のカラーフィルタ配列の他の例と、これに対応する固定パターン低減用のフィルタのフィルタ係数の一例を示す図 図３に示したフィルタ係数の構成を説明するための図 図３に示したフィルタ係数の構成を説明するための図 図３に示したフィルタ係数の構成を説明するための図 本発明に係る撮像装置の第１の実施形態を示すブロック図 図５に示した撮像装置における画像処理方法の第１の実施形態を示すフローチャート 本発明に係る撮像装置の第２の実施形態を示すブロック図 撮像素子に配置されたモザイク状のカラーフィルタ配列の更に他の例と、これに対応する固定パターン低減用のフィルタのフィルタ係数の一例を示す図 図７に示した撮像装置における画像処理方法の第２の実施形態を示すフローチャート 本発明に係る撮像装置の第３の実施形態を示すブロック図 撮像素子のアンプ共有画素サイズの例を示す図 図１１Ｂに示すアンプ共有画素サイズに対応する固定パターン低減用のフィルタのフィルタ係数の一例を示す図 図１０に示した撮像装置における画像処理方法の第３の実施形態を示すフローチャート 本発明に係る撮像装置の第４の実施形態を示すブロック図 撮像素子に配置されたモザイク状のカラーフィルタ配列の例を示す図 撮像素子のアンプ共有画素サイズの例を示す図 図１４Ａおよび図１４Ｂに示した撮像素子に対応する固定パターン低減用のフィルタのフィルタ係数の一例を示す図 図１３に示した撮像装置における画像処理方法の第４の実施形態を示すフローチャート 本発明に係る撮像装置の第５の実施形態を示すブロック図 撮像素子に配置されたモザイク状のカラーフィルタ配列の更に他の例を示す図 図１８Ａに示すカラーフィルタ配列に対応する固定パターン低減用のフィルタのフィルタ係数の一例を示す図 図１７に示した撮像装置における画像処理方法の第５の実施形態を示すフローチャート 撮像素子に設けられたカラーフィルタ配列の一例を示す図 本出願人により提案された新規のモザイク状のカラーフィルタ配列を示す図 ＣＭＯＳ型の撮像素子のアンプ共有画素サイズの例を示す図 中央重点のフィルタ係数を有するフィルタを示す図 中央重点のフィルタ係数を有するフィルタの適用例を示す図 中央重点のフィルタ係数を有するフィルタの適用例を示す図 均一なフィルタ係数を有するフィルタを示す図

以下、添付図面に従って本発明に係る画像処理装置、方法、プログラムおよび記録媒体並びに撮像装置の好ましい実施の形態について詳説する。

［固定パターンの低減方法］
＜第１の実施形態＞
図１Ａは、光電変換素子が２次元配列された撮像素子の各光電変換素子上に配置されたモザイク状のカラーフィルタ配列の一例を示す。

図１Ａに示すカラーフィルタ配列は、６×６画素に対応する正方配列パターンからなる基本配列パターン（太枠で示したパターン）を含んでいる。この基本配列パターンが水平方向及び垂直方向に繰り返し配置されている。即ち、このカラーフィルタ配列は、Ｒ、Ｇ、Ｂの各色のフィルタ（Ｒフィルタ、Ｇフィルタ、Ｂフィルタ）が、水平方向及び垂直方向に基本配列パターン（６×６画素）に対応する周期性をもって配置されている。

図１Ａに示した基本配列パターンは、３×３画素のａ配列と、３×３画素のｂ配列とが、水平、垂直方向に交互に並べられた配列となっていると捉えることもできる。

ａ配列及びｂ配列は、それぞれ輝度系画素であるＧフィルタが４隅と中央に配置され、両対角線上に配置されている。また、ａ配列では、中央のＧフィルタを挟んでＲフィルタが水平方向に配列され、Ｂフィルタが垂直方向に配列されている。一方、ｂ配列では、中央のＧフィルタを挟んでＢフィルタが水平方向に配列され、Ｒフィルタが垂直方向に配列されている。即ち、ａ配列とｂ配列とは、ＲフィルタとＢフィルタとの位置関係が逆転しているが、その他の配置は同様になっている。

上記カラーフィルタ配列を有する撮像素子（カラー撮像素子）から出力されるＲＧＢのモザイク画像には、前記基本配列パターンの繰り返し周期に対応する固定パターンが発生する。

図１Ｂは、上記固定パターンを低減するためのフィルタのフィルタ係数を示している。

図１Ｂに示すフィルタは、基本配列パターン（固定パターン）のサイズよりも大きい９×９のフィルタサイズを有している。また、フィルタサイズを３×３のエリアに９分割した場合、各エリアのフィルタ係数の割当ては、中央部のエリアのフィルタ係数は４、その上下左右のエリアのフィルタ係数は２、４隅のエリアのフィルタ係数は１になっている。すなわち、フィルタ係数は、フィルタの中央付近に重み付けされている（フィルタの中央部に近い画素ほどフィルタ係数が大きくなるように設定されている。）。

また、図２Ａに示すように、６×６画素の基本配列パターンを３×３に４分割し、各エリアをＡ、Ｂ、Ｃ、Ｄとすると、各エリアＡ〜Ｄと、９×９のフィルタを９分割した各エリアとの関係は、図２Ｂに示すようになる。

即ち、フィルタの９分割されたエリアのうちの中央部のエリアに、基本配列パターンのエリアＤが対応している場合、中央部の上下のエリアは、基本配列パターンのエリアＢが対応する。そして、中央部の左右のエリアは、基本配列パターンのエリアＣが対応する。４隅のエリアは、基本配列パターンのエリアＡが対応する。

ここで、フィルタ上のエリアＡ、Ｂ、Ｃ、Ｄの数は、それぞれ４：２：２：１になっている。一方、各エリアＡ、Ｂ、Ｃ、Ｄにおけるフィルタ係数は、それぞれ１：２：２：４になっている。即ち、各エリアＡ、Ｂ、Ｃ、Ｄに対応するフィルタ係数の合計は、４×１＝４、２×２＝４、２×２＝４、１×４＝４となり、全て同一になる。

これにより、上記フィルタのフィルタ係数と前記カラーフィルタ配列に対応するモザイク画像の画素値との畳み込み演算を行うと、基本配列パターンの各エリアＡ、Ｂ、Ｃ、Ｄに対して均一のフィルタ係数が掛けられて平滑化されることになる。基本配列パターンの繰り返し周期に起因する固定パターンを低減することができる。

また、図１Ｂに示したように９×９のフィルタにおけるフィルタ係数は、中央付近に重み付けされているため、フィルタ処理された画像のディテールが失われないようにすることができる。

＜第２の実施形態＞
図３は、撮像素子に配置されたモザイク状のカラーフィルタ配列の他の例と、これに対応する固定パターン低減用のフィルタのフィルタ係数の一例を示す図である。

図３に示すカラーフィルタ配列は、３×３画素に対応する正方配列パターンからなる基本配列パターンを含み、この基本配列パターンが水平方向及び垂直方向に繰り返し配置されている。尚、図３に示す基本配列パターンは、図１Ａに示した３×３画素のａ配列に対応している。

一方、固定パターンを低減するためのフィルタは、５×５のフィルタサイズを有している。また、このフィルタは、中央付近に重み付けされたフィルタ係数を有し、かつ３×３画素の基本配列パターン上で同じ位置関係にある画素に対応する、５×５のフィルタサイズ内のフィルタ係数の合計が、全て同一になるように設定されている。

図４Ａは上記５×５のフィルタのフィルタ係数を示している。

図４Ｂに示すように、このフィルタ上の列ｊ_１と列ｊ_４の組と、列ｊ_２と列ｊ_５の組は、基本配列パターン上で同じ位置関係にある。これらの列に割り当てられたフィルタ係数を加算すると、図４Ｂの右側に示す列（ｊ_１＋ｊ_４）および列（ｊ_２＋ｊ_５）のようなフィルタ係数が得られる。

また、このフィルタ上の行ｉ_１と行ｉ_４の組と、行ｉ_２と行ｉ_５の組は、基本配列パターン上で同じ位置関係にある。これらの行（図４Ｂの右側の加算後のフィルタ係数の行）に割り当てられたフィルタ係数を加算すると、図４Ｃの右側に示す行（ｉ_１＋ｉ_４）および行（ｉ_２＋ｉ_５）のようなフィルタ係数が得られる。

上記のように５×５のフィルタ係数を上記の手順により加算した、基本配列パターン上の各位置に対応するフィルタ係数は、全て４になる。

例えば、フィルタの行をｉ_ｍ，ｉ_{（ｍ−１）}，…，ｉ_１，ｉ_０（フィルタ中央部に位置しており、フィルタ係数の配列が一致する１または複数の行），ｉ_−１，…，ｉ_{−（ｍ−１）}，ｉ_−ｍとし、列をｊ_ｎ，ｊ_{（ｎ−１）}，…，ｊ_１，ｊ_０（フィルタ中央部に位置しており、フィルタ係数の配列が一致する１または複数の列），ｊ_−１，…，ｊ_{−（ｎ−１）}，ｊ_−ｎとする。このフィルタにおいて、中央の列ｊ_０を挟んで所定の位置関係にある列のフィルタ係数を加算し、（ｊ_ｎ＋ｊ_−１），（ｊ_{（ｎ−１）}＋ｊ_−２），…，（ｊ_１＋ｊ_−ｎ）を得る。その後、中央の行ｉ_０を挟んで所定の位置関係にある行のフィルタ係数を加算し、（ｉ_ｍ＋ｉ_−１），（ｉ_{（ｍ−１）}＋ｉ_−２），…，（ｉ_１＋ｉ_−ｍ）を得る。上記加算により得られた（ｍ＋（ｉ_０の行数））×（ｎ＋（ｊ_０の列数））のフィルタ係数の値はすべて等しくなる。なお、ｍおよびｎが奇数の場合には、（ｊ_{（ｎ＋１）／２}＋ｊ_{（ｎ＋１）／２}）の加算と、（ｉ_{（ｍ＋１）／２}＋ｉ_{（ｍ＋１）／２}）の加算により得られたフィルタ係数の値も、上記フィルタ係数と等しくなる。

上記フィルタによるフィルタ処理を行うことにより、３×３画素の基本配列パターンの繰り返し周期に起因する固定パターンを低減することができる。また、中央付近に重み付けされたフィルタ係数が割り当てられているため、フィルタ処理された画像のディテールが失われないようにすることができる。

［撮像装置の第１の実施形態］
図５は本発明に係る撮像装置の第１の実施形態を示すブロック図である。

図５に示す撮像装置10-1は、撮像した画像をメモリカード等の記録メディア１２に記録するものである。撮像装置10-1全体の動作は、中央処理装置（ＣＰＵ，Central Processing Unit）１４によって統括制御される。

ＣＰＵ１４は、図示しないシャッタボタン、電源ボタン等の操作部からの入力信号に基づいて撮像装置10-1の各部を制御する。ＣＰＵ１４は、上記操作部からの入力信号に応じて、例えば、レンズ駆動制御、撮影動作制御、画像処理制御、画像データの記録／再生制御、液晶モニタの表示制御などを行う。

撮影レンズ１６を通過した被写体光は撮像素子１８の受光面上に結像される。撮像素子１８に結像された被写体像は、光電変換素子によって入射光量に応じた信号電荷に変換される。画像取得部２０は、撮像素子１８の各光電変換素子に蓄積された信号電荷を電圧信号（画像信号）として撮像素子１８から順次読み出し、フィルタ処理部２２に出力する。画像取得部２０からフィルタ処理部２２に出力される画像信号は、撮像素子１８のカラーフィルタ配列に対応したＲ、Ｇ、Ｂのモザイク画像を示すＲ、Ｇ、Ｂ信号（デジタル信号）である。

尚、撮像素子１８は、ＣＣＤ（Charge Coupled Device）撮像素子に限らず、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor）撮像素子などの他の種類の撮像素子であってもよい。

フィルタ処理部２２は、フィルタ係数算出部２６からＫ×Ｌのフィルタサイズのフィルタ係数が与えられている。フィルタ処理部２２は、画像取得部２０から取得した画像中のフィルタ処理対象の注目画素を基準にして抽出されるＫ×Ｌ画素の画素値と、Ｋ×Ｌのフィルタサイズのフィルタ係数との畳み込み演算を実施して注目画素の画素値を算出する。

固定パターンサイズ取得部２４は、撮像素子１８の画素構造の繰り返し周期に対応する固定パターンサイズを取得し、この固定パターンサイズを示すサイズ情報をフィルタ係数算出部２６に出力する。尚、固定パターンサイズを示すサイズ情報としては、撮像素子１８の種類に応じて予め設定されたものが入力される。例えば、図１Ｂに示した基本配列パターンを含むカラーフィルタ配列を有する撮像素子の場合には、６×６の固定パターンサイズが入力される。また、図３に示す３×３の基本配列パターンを含むカラーフィルタ配列を有する撮像素子の場合には、３×３の固定パターンサイズが入力される。

フィルタ係数算出部２６は、固定パターンサイズ取得部２４から入力した固定パターンサイズを示すサイズ情報に基づいて、その固定パターンサイズよりも大きいフィルタサイズのフィルタ係数を算出する。

例えば、固定パターンサイズが、Ｍ×Ｎ（Ｍ、Ｎ：２以上の整数）画素の場合には、フィルタ係数算出部２６は、Ｋ×Ｌ（Ｋ，Ｌ：Ｍ＜Ｋ，Ｎ＜Ｌの整数）のフィルタサイズに対応するフィルタ係数を算出する。また、フィルタ計数算出部２６は、図１Ａから図４Ｃで説明したように、フィルタ係数が中央付近に重み付けされており、かつ固定パターン上で同じ位置関係にある画素に対応する、前記フィルタサイズ内のフィルタ係数の合計が、全て同一になるようにフィルタ係数を算出する。

フィルタ処理部２２より固定パターンが低減処理された１画面分のモザイク画像データ（ＲＡＷデータ）は、一旦、メモリ（ＳＤＲＡＭ；Synchronous Dynamic Random Access Memory）２８に入力され、一時的に記憶される。

メモリ２８に一時的に記憶された画像データは、デジタル信号処理部（図示せず）により適宜読み出される。上記読み出された画像データに対して、ホワイトバランス補正、ガンマ補正、同時化処理（単板式のカラー撮像素子１８のカラーフィルタ配列に伴うＲＧＢのモザイク画像から画素毎にＲＧＢの全ての色情報を算出（同時式に変換）する処理。デモザイク処理ともいう。）、輝度信号Ｙ，色差信号Ｃｒ，Ｃｂを生成するＹＣ処理、輪郭補正、色補正等が行われる。上記の処理が施された後、上記画像データは、ＪＰＥＧ（Joint Photographic Experts Group）規格に準拠した圧縮処理が施され、記録メディア１２に記録される。または、上記画像データは、図示しない液晶モニタに出力されて表示される。

［画像処理方法の第１の実施形態］
図６は上記撮像装置10-1における画像処理方法の第１の実施形態を示すフローチャートである。

図６において、シャッタボタンの操作により撮影指示入力があると、画像取得部２０は、撮影レンズ１６及び撮像素子１８を介して撮像素子１８におけるカラーフィルタ配列に対応するモザイク画像を取得する（ステップＳ１０）。

一方、固定パターンサイズ取得部２４は、撮像素子１８の画素構造の繰り返し周期に対応する固定パターンサイズ（Ｍ×Ｎ）（Ｍ、Ｎ：２以上の整数）を取得し（ステップＳ１２）、この固定パターンサイズ（Ｍ×Ｎ）を示すサイズ情報をフィルタ係数算出部２６に出力する。フィルタ係数算出部２６は、固定パターンサイズ取得部２４から入力した固定パターンサイズ（Ｍ×Ｎ）のサイズ情報に基づいて、その固定パターンサイズよりも大きいフィルタサイズ（Ｋ×Ｌ）（Ｋ，Ｌ：Ｍ＜Ｋ，Ｎ＜Ｌの整数）のフィルタ係数を算出する（ステップＳ１４）。尚、フィルタ係数は、予め算出して記憶しておき、記憶したフィルタ係数を使用することが好ましい。

また、フィルタサイズ（Ｋ×Ｌ）は、固定パターンサイズ（Ｍ×Ｎ）よりも大きい適宜のサイズに設定される。フィルタサイズが大きすぎると、フィルタ処理後の画像のボケが大きくなる。そこで、固定パターンサイズ（Ｍ×Ｎ）に対してフィルタサイズ（Ｋ×Ｌ）は、下記の式（１），（２）に示すように上限を規定しておくことが好ましい。

Ｍ＜Ｋ＜Ｍ＋１０，Ｎ＜Ｌ＜Ｎ＋１０ …（１）
Ｍ＜Ｋ＜Ｍ×2.5，Ｎ＜Ｌ＜Ｎ×2.5 …（２）
続いて、フィルタ処理部２２は、ステップＳ１０で取得したモザイク画像と、ステップＳ１４で算出されたフィルタ係数とに基づいてフィルタ処理を行う（ステップＳ１６）。

即ち、取得した画像内で注目画素(x,y)を設定し、この注目画素(x,y)を基準にしてＫ×Ｌ画素を抽出する。そして、抽出したＫ×Ｌ画素と、Ｋ×Ｌのフィルタサイズのフィルタ係数との畳み込み演算（積和演算）により、注目画素(x,y)の画素値を算出する。ここで、注目画素(x,y)の色が、Ｇ画素の場合には、Ｋ×Ｌ画素のモザイク画素のうちのＧ画素と、そのＧ画素の位置に対応するフィルタ係数とを使用して畳み込み演算を行う。同様に、注目画素がＲ画素、Ｂ画素の場合も、同じ色の画素と、その画素の位置に対応するフィルタ係数とを使用して畳み込み演算を行う。これにより、フィルタ処理後の画素値を算出する。

取得したモザイク画像の画像サイズが、Ｗ×Ｈ画素の場合には、注目画素(x,y)の位置を、１≦ｘ≦Ｗ，１≦ｙ≦Ｈの範囲で１画素ずつ移動させながら、上記フィルタ処理を繰り返し実行する。これにより、モザイク画像の全画素についてフィルタ処理を行う。

上記のようにして固定パターンを低減させるフィルタ処理が行われたモザイク画像は、その後、通常のホワイトバランス補正、ガンマ補正、同時化処理、ＹＣ処理等のデジタル信号処理が行われる（ステップＳ１８）。ＹＣ処理された輝度信号Ｙ及び色差信号は、圧縮処理された後、記録メディア１２に記録される（ステップＳ２０）。

［撮像装置の第２の実施形態］
図７は本発明に係る撮像装置の第２の実施形態を示すブロック図である。尚、図５に示した第１の実施形態と共通する部分には、同一の符号を付し、その詳細な説明は省略する。

図７に示す第２の実施形態の撮像装置10-2は、第１の実施形態の固定パターンサイズ取得部２４及びフィルタ係数算出部２６の代わりに、基本配列パターンサイズ取得部３０及びフィルタ係数算出部３２を備えている点で相違する。

この基本配列パターンサイズ取得部３０は、撮像素子１８に設けられているモザイク状のカラーフィルタ配列のＲＧＢフィルタの基本配列パターンのサイズ（基本配列パターンサイズ）を取得する。

例えば、図８に示すカラーフィルタ配列の場合、ＲＧＢフィルタの水平方向及び垂直方向の最小の繰り返しパターンである、内側の太枠で示す基本配列パターンは、６×６画素である。したがって、図８に示すカラーフィルタ配列の基本配列パターンサイズは６×６画素である。

この基本配列パターン内の同色の画素は、基本配列パターン内の位置に応じて隣接する画素（８画素）の色の組み合わせが異なる。このため、被写体の局所領域の色及び明るさが同じであっても、隣接する画素間の混色により出力信号に段差が生じる。この出力信号の段差が基本配列パターンの周期で繰り返され、固定パターンとなって現れる。したがって、基本配列パターンサイズは、固定パターンサイズと共通する。

基本配列パターンサイズ取得部３０は、上記基本配列パターンサイズを取得し、この基本配列パターンサイズを示すサイズ情報をフィルタ係数算出部３２に出力する。尚、基本配列パターンサイズを示すサイズ情報としては、撮像素子１８の基本配列パターンに応じて予め設定されたものが入力される。

フィルタ係数算出部３２は、基本配列パターンサイズ取得部３０から入力した基本配列パターンサイズのサイズ情報に基づいて、その基本配列パターンサイズよりも大きいフィルタサイズのフィルタ係数を算出し、算出したフィルタ係数をフィルタ処理部２２に付与する。

図８に示す例では、フィルタ係数算出部３２は、８×８のフィルタサイズのフィルタ係数を算出している。また、フィルタ係数は、中央付近に重み付けされたフィルタ係数が割り当てられ、かつ６×６画素の基本配列パターン上で同じ位置関係にある画素に対応する、８×８のフィルタサイズ内のフィルタ係数の合計が、全て同一になるように設定されている。

フィルタ係数算出部３２により算出されたフィルタ係数を使用したフィルタ処理部２２でのフィルタ処理により、固定パターンを低減することができるとともに、フィルタ処理された画像のディテールが失われないようにすることができる。

［画像処理方法の第２の実施形態］
図９は上記撮像装置10-2における画像処理方法の第２の実施形態を示すフローチャートである。尚、図６に示した画像処理方法の第１の実施形態と共通する部分には、同一のステップ番号を付し、その詳細な説明は省略する。

図９に示す第２の実施形態は、図６に示した第１の実施形態のステップＳ１２、Ｓ１４の代わりに、ステップＳ３０、Ｓ３２の処理を行う点で、第１の実施形態と相違する。

即ち、ステップＳ３０では、撮像素子１８のカラーフィルタ配列の基本パターンサイズ（Ｍ×Ｎ）（Ｍ、Ｎ：２以上の整数）を取得する。ステップＳ３２では、ステップＳ３０で取得した基本パターンサイズ（Ｍ×Ｎ）を、固定パターンサイズ（Ｍ×Ｎ）とし、その固定パターンサイズよりも大きいフィルタサイズ（Ｋ×Ｌ）（Ｋ，Ｌ：Ｍ＜Ｋ，Ｎ＜Ｌの整数）のフィルタ係数を算出する。フィルタサイズ（Ｋ×Ｌ）のフィルタ係数は、中央付近に重み付けされたフィルタ係数を割り当て、かつＭ×Ｎ画素の基本配列パターン上で同じ位置関係にある画素に対応する、Ｋ×Ｌのフィルタサイズ内のフィルタ係数の合計が、全て同一になるように算出される。

［撮像装置の第３の実施形態］
図１０は本発明に係る撮像装置の第３の実施形態を示すブロック図である。尚、図５に示した第１の実施形態と共通する部分には、同一の符号を付し、その詳細な説明は省略する。

図１０に示す第３の実施形態の撮像装置10-3は、第１の実施形態の固定パターンサイズ取得部２４及びフィルタ係数算出部２６の代わりに、アンプ共有画素サイズ取得部４０及びフィルタ係数算出部４２を備えている点で相違する。

このアンプ共有画素サイズ取得部４０は、撮像素子１８の下地に埋め込まれたアンプのアンプ共有画素サイズを取得する。図１１Ａに示すＣＭＯＳ型の撮像素子は、ＣＭＯＳ下地に画素共有アンプが埋め込まれている。図１１Ａに示す例では、２×２の４画素が１つのアンプＡを共有しており、アンプ共有画素サイズは２×２である。この撮像素子の下地構造により、アンプＡに対する画素の位置（アンプＡに対して左上、右上、左下、右下の位置）により出力レベルに差が生じ、下地構造の繰り返し周期に応じた固定パターンが発生する。

アンプ共有画素サイズ取得部４０は、上記アンプ共有画素サイズを取得し、このアンプ共有画素サイズを示すサイズ情報をフィルタ係数算出部４２に出力する。尚、アンプ共有画素サイズを示すサイズ情報としては、撮像素子１８のアンプ共有画素サイズに応じて予め設定されたものが入力される。

フィルタ係数算出部４２は、アンプ共有画素サイズ取得部４０から入力したアンプ共有画素サイズのサイズ情報に基づいて、そのアンプ共有画素サイズよりも大きいフィルタサイズのフィルタ係数を算出し、算出したフィルタ係数をフィルタ処理部２２に付与する。

図１１Ｂに示す例では、図１１Ａに示す２×２のアンプ共有画素サイズに対し、４×４のフィルタサイズのフィルタ係数を算出している。また、フィルタ係数は、中央付近に重み付けされたフィルタ係数が割り当てられ、かつアンプ共有画素サイズの２×２画素上で同じ位置関係にある画素に対応する、４×４のフィルタサイズ内のフィルタ係数の合計が、全て同一になるように設定されている。

フィルタ係数算出部４２により算出されたフィルタ係数を使用したフィルタ処理部２２でのフィルタ処理により、アンプ共有画素サイズに対応する固定パターンを低減することができる。また、フィルタ処理された画像のディテールが失われないようにすることができる。

［画像処理方法の第３の実施形態］
図１２は上記撮像装置10-3における画像処理方法の第３の実施形態を示すフローチャートである。尚、図６に示した画像処理方法の第１の実施形態と共通する部分には、同一のステップ番号を付し、その詳細な説明は省略する。

図１２に示す第３の実施形態は、図６に示した第１の実施形態のステップＳ１２、Ｓ１４の代わりに、ステップＳ４０、Ｓ４２の処理を行う点で、第１の実施形態と相違する。

即ち、ステップＳ４０では、撮像素子１８のアンプ共有画素サイズ（Ｍ×Ｎ）（Ｍ、Ｎ：２以上の整数）を取得する。ステップＳ４２では、ステップＳ４０で取得したアンプ共有画素サイズ（Ｍ×Ｎ）を、固定パターンサイズ（Ｍ×Ｎ）とし、その固定パターンサイズよりも大きいフィルタサイズ（Ｋ×Ｌ）（Ｋ，Ｌ：Ｍ＜Ｋ，Ｎ＜Ｌの整数）のフィルタ係数を算出する。フィルタサイズ（Ｋ×Ｌ）のフィルタ係数は、中央付近に重み付けされたフィルタ係数を割り当て、かつアンプ共有画素サイズのＭ×Ｎ画素上で同じ位置関係にある画素に対応する、Ｋ×Ｌのフィルタサイズ内のフィルタ係数の合計が、全て同一になるように算出される。

［撮像装置の第４の実施形態］
図１３は本発明に係る撮像装置の第４の実施形態を示すブロック図である。尚、図５に示した第１の実施形態と共通する部分には、同一の符号を付し、その詳細な説明は省略する。

図１３に示す第４の実施形態の撮像装置10-4は、第１の実施形態の固定パターンサイズ取得部２４及びフィルタ係数算出部２６の代わりに、基本配列パターンサイズ取得部５０、アンプ共有画素サイズ取得部５２、固定パターンサイズ算出部５４、及びフィルタ係数算出部５６を備えている点で相違する。

基本配列パターンサイズ取得部５０及びアンプ共有画素サイズ取得部５２は、それぞれ図７に示した第２の実施形態の基本配列パターンサイズ取得部３０、及び図１０に示した第３の実施形態のアンプ共有画素サイズ取得部４０と同様に基本配列パターンサイズ及びアンプ共有画素サイズを取得する。

固定パターンサイズ算出部５４は、基本配列パターンサイズ取得部５０及びアンプ共有画素サイズ取得部５２から入力する基本配列パターンサイズ及びアンプ共有画素サイズに基づいて固定パターンサイズを算出し、算出した固定パターンサイズを示す情報をフィルタ係数算出部５６に出力する。

図１４Ａ及び図１４Ｂに示すように基本配列パターンサイズが３×３画素、アンプ共有画素サイズが２×２画素の場合、固定パターンサイズ算出部５４は、これらのサイズの水平方向及び垂直方向のサイズの最小公倍数である６×６画素を固定パターンサイズとして算出する。これは、基本配列パターンに対応する固定パターンと、アンプ共有画素に対応する固定パターンとは、これらの固定パターンの最小公倍数の固定パターンを有するからである。

フィルタ係る数算出部５６は、固定パターンサイズ算出部５４が算出した固定パターンサイズのサイズ情報に基づいて、その固定パターンサイズよりも大きいフィルタサイズのフィルタ係数を算出し、算出したフィルタ係数をフィルタ処理部２２に付与する。

図１５に示す例では、６×６の固定パターンサイズに対し、８×８のフィルタサイズのフィルタ係数を算出している。また、フィルタ係数は、中央付近に重み付けされたフィルタ係数が割り当てられ、かつ固定パターンサイズの６×６画素上で同じ位置関係にある画素に対応する、８×８のフィルタサイズ内のフィルタ係数の合計が、全て同一になるように設定されている。

フィルタ係数算出部５６により算出されたフィルタ係数を使用したフィルタ処理部２２でのフィルタ処理により、固定パターンを低減することができる。さらに、本実施形態によれば、フィルタ処理された画像のディテールが失われないようにすることができる。

［画像処理方法の第４の実施形態］
図１６は上記撮像装置10-4における画像処理方法の第４の実施形態を示すフローチャートである。尚、図６に示した画像処理方法の第１の実施形態と共通する部分には、同一のステップ番号を付し、その詳細な説明は省略する。

図１６に示す第４の実施形態は、図６に示した第１の実施形態のステップＳ１２、Ｓ１４の代わりに、ステップＳ５０〜Ｓ５６の処理を行う点で、第１の実施形態と相違する。

即ち、ステップＳ５０では、撮像素子１８のカラーフィルタ配列の基本パターンサイズを取得し、ステップＳ５２では、撮像素子１８のアンプ共有画素サイズを取得する。

ステップＳ５０、Ｓ５２で取得した基本パターンサイズ及びアンプ共有画素サイズの最小公倍数を、固定パターンサイズ（Ｍ×Ｎ）として算出する（ステップＳ５４）。ステップＳ５６では、ステップＳ５４で算出された固定パターンサイズよりも大きいフィルタサイズ（Ｋ×Ｌ）（Ｋ，Ｌ：Ｍ＜Ｋ，Ｎ＜Ｌの整数）のフィルタ係数を算出する。フィルタサイズ（Ｋ×Ｌ）のフィルタ係数は、中央付近に重み付けされたフィルタ係数を割り当て、かつアンプ共有画素サイズのＭ×Ｎ画素上で同じ位置関係にある画素に対応する、Ｋ×Ｌのフィルタサイズ内のフィルタ係数の合計が、全て同一になるように算出される。

［撮像装置の第５の実施形態］
図１７は本発明に係る撮像装置の第５の実施形態を示すブロック図である。尚、図５に示した第１の実施形態と共通する部分には、同一の符号を付し、その詳細な説明は省略する。

図１７に示す第５の実施形態の撮像装置10-5は、第１の実施形態の固定パターンサイズ取得部２４とフィルタ係数算出部２６との間に、フィルタサイズ算出部６０が追加されている点で相違する。

固定パターンサイズ取得部２４は、撮像素子１８の画素構造の繰り返し周期に対応する固定パターンサイズを取得し、この固定パターンサイズを示すサイズ情報をフィルタサイズ算出部６０に出力する。例えば、図１８Ａに示すように３×３画素の基本配列パターンを含むカラーフィルタ配列を有する撮像素子の場合には、３×３の固定パターンサイズを示すサイズ情報をフィルタサイズ算出部６０に出力する。

フィルタサイズ算出部６０は、固定パターンサイズ取得部２４から入力した固定パターンサイズを示すサイズ情報に基づいて、その固定パターンサイズよりも大きいフィルタサイズを算出する。即ち、固定パターンサイズが、Ｍ×Ｎ（Ｍ、Ｎ：２以上の整数）画素の場合には、フィルタサイズ算出部６０は、Ｋ×Ｌ（Ｋ，Ｌ：Ｍ＜Ｋ，Ｎ＜Ｌの整数）のフィルタサイズを算出する。図１８Ａに示すように３×３画素の基本配列パターン（固定パターンサイズ）の場合には、図１８Ｂに示すように３×３よりも大きなフィルタサイズ（例えば、５×５）を算出する。

フィルタ係数算出部２６は、フィルタサイズ算出部６０から入力したフィルタサイズ（Ｋ×Ｌ）に対応するフィルタ係数を算出する。図１８Ｂに示す例では、５×５のフィルタ係数を算出している。また、フィルタ係数は、中央付近に重み付けされたフィルタ係数が割り当てられ、かつ３×３画素の基本配列パターン上で同じ位置関係にある画素に対応する、５×５のフィルタサイズ内のフィルタ係数の合計が、全て同一になるように設定されている。

フィルタ係数算出部２６により算出されたフィルタ係数を使用したフィルタ処理部２２でのフィルタ処理により、固定パターンを低減することができる。さらに、フィルタ処理された画像のディテールが失われないようにすることができる。

［画像処理方法の第５の実施形態］
図１９は上記撮像装置10-5における画像処理方法の第５の実施形態を示すフローチャートである。尚、図６に示した画像処理方法の第１の実施形態と共通する部分には、同一のステップ番号を付し、その詳細な説明は省略する。

図１９に示す第５の実施形態は、図６に示した第１の実施形態のステップＳ１４の代わりに、ステップＳ６０、Ｓ６２の処理を行う点で、第１の実施形態と相違する。

即ち、ステップＳ６０では、ステップＳ１２で取得した固定パターンサイズ（Ｍ×Ｎ）に基づいて、その固定パターンサイズよりも大きいフィルタサイズ（Ｋ×Ｌ）（Ｋ，Ｌ：Ｍ＜Ｋ，Ｎ＜Ｌの整数）を算出する。ステップＳ６２では、ステップＳ６０で算出されたフィルタサイズに対応するフィルタ係数を算出する。フィルタサイズ（Ｋ×Ｌ）のフィルタ係数は、中央付近に重み付けされたフィルタ係数を割り当て、かつ固定パターンのＭ×Ｎ画素上で同じ位置関係にある画素に対応する、Ｋ×Ｌのフィルタサイズ内のフィルタ係数の合計が、全て同一になるように算出される。

［その他］
上記実施形態では、フィルタ係数算出部によりフィルタ係数を算出している。なお、撮像装置の撮像素子が決定すると、その撮像素子の画素構造の繰り返し周期に対応する固定パターンも決定する。このため、その固定パターンを低減するためのフィルタのフィルタ係数を予め算出することができる。したがって、予め算出したフィルタ係数を不揮発性メモリに記憶させておき、フィルタ処理時に不揮発性メモリからフィルタ係数を読み出すようにしてもよい。

また、本発明を適用できるカラーフィルタの基本配列パターンとしては、上記実施形態のＲ，Ｇ，Ｂの３色のカラーフィルタに限定されるものではなく、少なくとも３色のカラーフィルタを含む基本配列パターンであればよい。４色以上の複数色のカラーフィルタ、例えば、Ｒ，Ｇ，ＢにＥ（エメラルド）、Ｗ（ホワイト）フィルタなどのフィルタが加えられたものに対しても、本発明を適用することができる。その場合、基本配列パターンのサイズ（Ｍ×Ｎ）は、Ｍ、Ｎが３以上の整数となる。

また、所定の画素群毎に共有アンプを有する撮像素子の例として、ＣＭＯＳ型の撮像素子を挙げたが、本発明はＣＭＯＳ型の撮像素子に限らず、ＭＯＳ型、ＸＹアドレス型の撮像素子にも適用できる。

また、本実施形態では、固定パターンの低減処理を含む画像処理装置を有する撮像装置について説明したが、外部の画像処理装置により固定パターンの低減処理を含む画像処理を行うようにしてもよい。この場合、撮像装置では、画像処理を施していないモザイク画像（ＲＡＷデータ）を記録し、このＲＡＷデータを外部の画像処理装置によりＲＡＷ現像する際に、本発明による固定パターンの低減処理を行うようにしてもよい。また、本発明による固定パターンの低減処理を含む画像処理プログラムおよび該画像処理プログラムを記録した記録媒体を、撮像装置専用のＲＡＷ現像ソフトウエアに組み込むようにしてもよい。

更に、本発明は上述した実施の形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

10-1,10-2,10-3,10-4,10-5…撮像装置、１２…記録メディア、１４…中央処理装置（ＣＰＵ）、１６…撮影レンズ、１８…撮像素子、２０…画像取得部、２２…フィルタ処理部、２４…固定パターンサイズ取得部、２６、３２、４２、５６…フィルタ係数算出部、３０、５０…基本配列パターンサイズ取得部、４０、５２…アンプ共有画素サイズ取得部、５４…固定パターンサイズ算出部、６０…フィルタサイズ算出部

Claims (14)

1. Ｍ×Ｎ（Ｍ、Ｎ：２以上の整数）画素の繰り返し周期の画素構造を有する撮像素子を含む撮像手段により撮影された画像を取得する画像取得手段と、
   Ｋ×Ｌ（Ｋ，Ｌ：Ｍ＜Ｋ，Ｎ＜Ｌの整数）のフィルタサイズのフィルタを有し、該フィルタに設定されたフィルタ係数と、前記画像取得手段により取得した画像中の注目画素を基準にして抽出されるＫ×Ｌ画素の画素値とを畳み込み演算して前記注目画素の画素値を算出するフィルタ処理手段とを備え、
   前記フィルタに設定されるフィルタ係数は、前記フィルタの中央付近に重み付けされており、かつ前記Ｍ×Ｎ画素の画素構造上で同じ位置関係にある画素に対応する、前記フィルタサイズ内のフィルタ係数の合計が、全て同一になるように設定されている画像処理装置。
2. 前記撮像素子は、水平方向及び垂直方向に配列された複数の画素上に３色のカラーフィルタを含む所定の基本配列パターンが、水平方向及び垂直方向に繰り返して配置されたカラー撮像素子であり、
   前記Ｍ×Ｎ画素の繰り返し周期の画素構造は、前記所定の基本配列パターンに対応するものである請求項１に記載の画像処理装置。
3. 前記撮像素子は、所定の画素群毎にアンプを共有する素子構造を有する撮像素子であり、
   前記Ｍ×Ｎ画素の繰り返し周期の画素構造は、前記所定の画素群に対応するものである請求項１に記載の画像処理装置。
4. 前記撮像素子は、水平方向及び垂直方向に配列された複数の画素上に３色のカラーフィルタを含む所定の基本配列パターンが、水平方向及び垂直方向に繰り返して配置され、かつ所定の画素群毎にアンプを共有する素子構造を有するカラー撮像素子であり、
   前記Ｍ×Ｎ画素の繰り返し周期の画素構造は、前記所定の基本配列パターンと前記所定の画素群との最小公倍数の周期となるものである請求項１に記載の画像処理装置。
5. 前記基本配列パターンは、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３原色のカラーフィルタを含み、前記基本配列パターンは、Ｎ×Ｎ（Ｎ：３以上の整数）画素に対応する正方配列パターンである請求項２又は４に記載の画像処理装置。
6. 前記フィルタ処理手段は、前記フィルタによる処理対象領域のＫ×Ｌ画素中の注目画素と、該注目画素のカラーフィルタと同じ色のカラーフィルタに対応する画素の画素値と、これらの画素に対応する前記フィルタのフィルタ係数との畳み込み演算により前記注目画素の画素値を算出する請求項２、４又は５に記載の画像処理装置。
7. 前記撮像素子の画素構造の繰り返し周期であるＭ×Ｎ画素に対応する固定パターンサイズを取得する固定パターンサイズ取得手段と、
   前記取得した固定パターンサイズに基づいて前記フィルタの中央付近に重み付けされたフィルタ係数を有し、かつ前記Ｍ×Ｎ画素の素子構造上で同じ位置関係にある画素に対応する、前記フィルタサイズ内のフィルタ係数の合計が、全て同一になるように前記フィルタ係数を算出するフィルタ係数算出手段とを更に備え、
   前記フィルタ処理手段は、前記フィルタ係数算出手段により前記算出されたフィルタ係数を取得する請求項１に記載の画像処理装置。
8. 前記撮像素子は、水平方向及び垂直方向に配列された複数の画素上に３色のカラーフィルタを含む所定の基本配列パターンが、水平方向及び垂直方向に繰り返して配置されたカラー撮像素子であり、
   前記固定パターンサイズ取得手段は、前記所定の基本配列パターンのサイズを前記固定パターンサイズとして取得する請求項７に記載の画像処理装置。
9. 前記撮像素子は、所定の画素群毎にアンプを共有する素子構造を有する撮像素子であり、
   前記固定パターンサイズ取得手段は、前記アンプを共有する所定の画素群の画像サイズを前記固定パターンサイズとして取得する請求項７に記載の画像処理装置。
10. 前記撮像素子は、水平方向及び垂直方向に配列された複数の画素上に３色のカラーフィルタを含む所定の基本配列パターンが、水平方向及び垂直方向に繰り返して配置され、かつ所定の画素群毎にアンプを共有する素子構造を有するカラー撮像素子であり、
    前記固定パターンサイズ取得手段は、前記所定の基本配列パターンのサイズと前記アンプを共有する所定の画素群の画像サイズとの最小公倍数となるサイズを前記固定パターンサイズとして取得する請求項７に記載の画像処理装置。
11. 前記Ｍ×Ｎの固定パターンサイズに基づいて前記Ｋ×Ｌのフィルタサイズを算出するフィルタサイズ算出手段を備え、
    前記フィルタ係数算出手段は、前記フィルタサイズ算出手段により算出されたフィルタサイズに応じたフィルタ係数を算出する請求項７に記載の画像処理装置。
12. Ｍ×Ｎ（Ｍ、Ｎ：２以上の整数）画素の繰り返し周期の画素構造を有する撮像素子を含む撮像手段により撮影された画像を取得する工程と、
    （ａ）前記取得した画像内で注目画素を設定し、該注目画素を基準にしてＫ×Ｌ（Ｋ，Ｌ：Ｍ＜Ｋ，Ｎ＜Ｌの整数）画素を抽出する工程と、
    （ｂ）Ｋ×Ｌのフィルタサイズのフィルタを有し、該フィルタに設定されたフィルタ係数と、前記抽出したＫ×Ｌ画素の画素値とを畳み込み演算して前記注目画素の画素値を算出する工程と、
    （ｃ）前記取得した画像に対して前記注目画素を１画素ずつ移動させながら前記工程（ａ）及び工程（ｂ）を繰り返し実行する工程とを含み、
    前記フィルタに設定されるフィルタ係数は、前記フィルタの中央付近に重み付けされており、かつ前記Ｍ×Ｎ画素の素子構造上で同じ位置関係にある画素に対応する、前記フィルタサイズ内のフィルタ係数の合計が、全て同一になるように設定されている画像処理方法。
13. Ｍ×Ｎ（Ｍ、Ｎ：２以上の整数）画素の繰り返し周期の画素構造を有する撮像素子を含む撮像手段により撮影された画像を取得する機能と、
    （ａ）前記取得した画像内で注目画素を設定し、該注目画素を基準にしてＫ×Ｌ（Ｋ，Ｌ：Ｍ＜Ｋ，Ｎ＜Ｌの整数）画素を抽出する機能と、
    （ｂ）Ｋ×Ｌのフィルタサイズのフィルタを有し、該フィルタに設定されたフィルタ係数と、前記抽出したＫ×Ｌ画素の画素値とを畳み込み演算して前記注目画素の画素値を算出する機能と、
    （ｃ）前記取得した画像に対して前記注目画素を１画素ずつ移動させながら前記機能（ａ）及び機能（ｂ）を繰り返し実行する機能と、をコンピュータに実行させ、
    前記フィルタに設定されるフィルタ係数は、前記フィルタの中央付近に重み付けされており、かつ前記Ｍ×Ｎ画素の素子構造上で同じ位置関係にある画素に対応する、前記フィルタサイズ内のフィルタ係数の合計が、全て同一になるように設定されている画像処理プログラム。
14. 撮影光学系と該撮影光学系を介して被写体像が結像される撮像素子とを含む撮像手段と、
    請求項１から１１のいずれか１項に記載の画像処理装置と、
    前記撮像手段から出力される画像を取得する前記画像取得手段と、
    を備える撮像装置。

Images