JP5600812B2 - 撮像装置 - Google Patents

Description

本発明は、単板式のカラー撮像素子を備える撮像装置に関し、より詳しくは欠陥画素の画素値を周辺の周辺画素の画素値から補間処理により求める撮像装置に関する。

デジタルカメラなどの撮像装置は、撮影光学系により撮像面に結像された被写体像を撮像する単板式のカラー撮像素子を備えるものが多い。単板式のカラー撮像素子の撮像面には、多数の赤（Ｒ）、緑（Ｇ）、青（Ｂ）画素が所定パターンで配列されている（特許文献１参照）。単板式のカラー撮像素子では、各画素上にそれぞれ単色のカラーフィルタが設けられるので各画素が単色の色情報しか持たない。このため、カラー撮像素子の出力画像はＲＡＷ画像（モザイク画像）となるので、欠落している色の画素（以下、欠落画素という）を、周辺の画素から補間する補間処理（同時化処理、またはデモザイク処理ともいう、以下同じ）により多チャネル画像を得ている。

カラー撮像素子には、製造工程上の種々の原因（例えば、傷など）により信号が出力されない、或いは暗電流などによる暗出力のレベルが大きい画素、いわゆる欠陥画素が存在する場合がある。この際に、欠落画素の周辺画素が欠陥画素であると、欠落画素の正確な色情報が得られない。このため、欠陥画素の画素値（出力値）を用いず、その周辺に位置する同色の周辺画素の画素値を用いて補間する補間処理が行われている。

特許文献２に記載の撮像装置では、露光時間が標準露光時間以内であれば予め取得した欠陥画素の検出結果に基づき補間処理を行い、一方、露光時間が標準露光時間よりも長い場合にはテスト撮影を行って欠陥画素を検出し、この検出結果に基づき補間処理を行う。

特許文献３に記載の撮像装置では、欠陥検出を行って欠陥レベルが大きい欠陥画素から順にＥＥＰＲＯＭに格納し、このＥＥＰＲＯＭに格納された欠陥画素情報に基づき、欠陥レベルの大きい欠陥画素から順番に補間処理を行っている。

特開２００９−２７６８４号公報 特開２００１−３６８２１号公報 特開２００２−３３０３５３号公報

ところで、カラー撮像素子のカラーフィルタ配列が周知のベイヤー配列である場合に、Ｇ画素は市松模様（チェッカーパターン）状に配列される。このため、個々のＧ画素の水平及び垂直方向に他のＧ画素が隣接して配置されることはない。しかしながら、カラーフィルタ配列には、特許文献１の図９などに記載のように、水平及び垂直方向に他のＧ画素が隣接して配置されているＧ画素（以下、密のＧ画素という）と、他のＧ画素が隣接して配置されていないＧ画素（以下、疎のＧ画素という）とが含まれる場合がある。

この際に、例えば密のＧ画素が欠陥画素であると、この欠陥画素に水平及び垂直方向に隣接して配置されているＧ画素については補間処理を行う必要がないので、欠陥画素の影響は広がり難い（例えば図５参照）。逆に、疎のＧ画素が欠陥画素である場合には、水平・垂直方向にＲ画素またはＢ画素が隣接して配置されており、これらＲＢ画素の位置に対応するＧ画素（欠落画素）の画素値を補間処理に求める必要がある。このため、密の画素が欠陥画素である場合に、この欠陥画素の影響が広がり易くなる（例えば図６参照）。

カラー撮像素子の欠陥画素の画素値の補間処理を行う際に、全ての欠陥画素の画素値を周辺の同色画素の画素値を用いて補間処理することが好ましい。しかしながら、近年のカラー撮像素子の高解像度化に伴って欠陥画素の数が増加しているため、全ての欠陥画素に関する情報をメモリなどに登録して補間処理を行うと、必要なメモリの容量が膨大となる。さらに、この場合、処理に時間がかかるため現実的ではない。従って、撮像装置では、全ての欠陥画素についての補間処理を行っていないのが通常である。

この際に、補間処理が行われなかった欠陥画素が疎のＧ画素である場合には、密のＧ画素である場合よりも影響が広がり易くなるので、撮影画像への影響が大きくなる。上記特許文献１から３では、疎の画素が欠陥画素である場合と、密の画素が欠陥画素である場合とで撮影画像に与える影響が異なることが一切考慮されていないので、疎の画素の欠陥に起因する撮影画像の品質低下が発生するおそれがある。

本発明の目的は、良好な撮影画像が得られる撮像装置を提供することにある。

上記目的を達成するため、本発明の一の態様に係る発明は、水平方向及び垂直方向に配列された光電変換素子により構成される複数の画素上に、複数色のカラーフィルタが所定のカラーフィルタ配列で配設されてなるカラー撮像素子であって、少なくとも１色のカラーフィルタは、水平及び垂直方向に隣接する同色のカラーフィルタの第１隣接数が相対的に少ない、或いは第１隣接数が共にＭ（０≦Ｍ≦４）である場合に斜め方向に隣接する同色のカラーフィルタの第２隣接数が相対的に少ない疎のフィルタと、相対的に多い密のフィルタとを含んでおり、複数の画素は、疎のフィルタに対応する疎の画素と、密のフィルタに対応する密の画素とを含むカラー撮像素子と、複数の画素に含まれる欠陥画素であって、疎のフィルタに対応する疎欠陥画素と、密のフィルタに対応する密欠陥画素とを含む欠陥画素に関する欠陥画素情報を取得する取得手段と、取得手段が取得した欠陥画素情報に基づき、欠陥画素の画素値を当該欠陥画素の周辺で且つ同色のカラーフィルタの下方に位置する周辺画素の画素値から補間処理により求める補間手段であって、密の画素の全画素数に対する密欠陥画素の補間の第１割合よりも、疎の画素の全画素数に対する疎欠陥画素の補間の第２割合を高くする補間手段と、を備える。

本発明の他の態様に係る撮像装置において、欠陥画素情報が登録された欠陥画素情報記憶手段であって、密の画素の全画素数に対する密欠陥画素の欠陥画素情報の登録数の割合よりも、疎の画素の全画素数に対する疎欠陥画素の欠陥画素情報の登録数の割合が高くされている欠陥画素情報記憶手段を備えており、取得手段は、欠陥画素情報記憶手段から欠陥画素情報を取得することが好ましい。これにより、欠陥画素情報記憶手段に登録されている欠陥画素情報に基づき密欠陥画素及び疎欠陥画素の補間を行うことで、第２割合を第１割合よりも高くすることができる。

本発明のさらに他の態様に係る撮像装置において、欠陥画素情報記憶手段には、撮影条件が変化したときに各撮影条件のいずれかで発生する欠陥画素の欠陥画素情報が記憶されており、取得手段は、撮影条件に対応した欠陥画素情報を欠陥画素情報記憶手段から取得することが好ましい。これにより、撮影条件により画素の暗出力が増減するような場合でも、撮影条件に対応する欠陥画素情報に基づき画素補間を行うことができる。

本発明のさらに他の態様に係る撮像装置において、撮影条件には、カラー撮像素子のゲイン、露光時間、及び温度の少なくともいずれかが含まれることが好ましい。

本発明のさらに他の態様に係る撮像装置において、カラーフィルタ配列は、１色のカラーフィルタが２×２画素に対応する配列パターンで隣接して配置されてなる正方配列と、１色のカラーフィルタが水平方向及び垂直方向に１色とは異なる色のカラーフィルタに隣接して配置されてなる孤立配列とを有することが好ましい。これにより、カラーフィルタ配列に疎のフィルタと密のフィルタが含まれる。

本発明のさらに他の態様に係る撮像装置において、１色のカラーフィルタは、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタであり、カラーフィルタ配列は、第１のフィルタと、第１の色以外の２色以上の第２の色に対応する第２のフィルタとがＮ×Ｎ（Ｎ：３以上の奇数）画素に対応する配列パターンで配列された基本配列パターンを含み、この基本配列パターンが水平方向及び垂直方向に繰り返して配置されることが好ましい。そして、第１のフィルタは、基本配列パターン内の２つの対角線上に配置されており、カラーフィルタ配列は、第１のフィルタで構成される２×２画素以上に対応する配列パターンの正方配列を含むことが好ましい。これにより、カラーフィルタ配列に疎のフィルタと密のフィルタが含まれる。

本発明のさらに他の態様に係る撮像装置において、複数の画素には、疎の画素と密の画素とが水平、垂直、斜めの各方向のいずれかにおいて隣接してなる第１の連画素が複数含まれており、補間手段は、欠陥画素情報に基づき、欠陥画素の中に疎欠陥画素と密欠陥画素とが各方向のいずれかにおいて隣接してなる第１の連欠陥画素が含まれている場合に、第１の連画素の全数に対する第１の連欠陥画素の補間の第３割合を、第２割合よりも高くすることが好ましい。これにより、撮影画像データの画質に与える影響が強い第１の連欠陥画素の補間処理が優先的に行われる。その結果、良好な撮影画像データが得られる。

本発明のさらに他の態様に係る撮像装置において、複数の画素には、２つの疎の画素が水平、垂直、斜めの各方向のいずれかにおいて近接してなる第２の連画素が複数含まれており、補間手段は、欠陥画素情報に基づき、欠陥画素の中に２つの疎欠陥画素が各方向のいずれかにおいて近接してなる第２の連欠陥画素が含まれている場合に、第２の連画素の全数に対する第２の連欠陥画素の補間の第４割合を、第２割合よりも高くすることが好ましい。これにより、撮影画像データの画質に与える影響が強い第２の連欠陥画素の補間処理が優先的に行われる。その結果、良好な撮影画像データが得られる。

本発明のさらに他の態様に係る撮像装置において、複数の画素には、２つの密の画素が水平、垂直、斜めの各方向のいずれかにおいて隣接または近接してなる第３の連画素が複数含まれており、補間手段は、欠陥画素情報に基づき、欠陥画素の中に２つの密欠陥画素が各方向のいずれかにおいて隣接または近接してなる第３の連欠陥画素が含まれている場合に、第３の連画素の全数に対する第３の連欠陥画素の補間の第５割合を、第２割合よりも高くすることが好ましい。これにより、撮影画像データの画質に与える影響が強い第３の連欠陥画素の補間処理が優先的に行われる。その結果、良好な撮影画像データが得られる。

本発明のさらに他の態様に係る撮像装置において、複数の画素には、疎の画素及び密の画素が水平、垂直、斜めの各方向のいずれかにおいて隣接してなる第１の連画素と、２つの疎の画素が各方向のいずれかにおいて近接してなる第２の連画素とがそれぞれ複数含まれており、補間手段は、欠陥画素情報に基づき、欠陥画素の中に疎欠陥画素と密欠陥画素とが各方向のいずれかにおいて隣接してなる第１の連欠陥画素と、２つの疎欠陥画素が各方向のいずれかにおいて近接してなる第２の連欠陥画素とが含まれている場合に、第１の連画素の全数に対する第１の連欠陥画素の補間の第３割合よりも、第２の連画素の全数に対する第２の連欠陥画素の補間の第４割合を高くすることが好ましい。これにより、補間処理されないと一つの大きな線状欠陥として認識される可能性がある第２の連欠陥画素の補間処理が優先的に行われるので、良好な撮影画像データが得られる。

本発明のさらに他の態様に係る撮像装置において、複数の画素には、２つの密の画素が水平、垂直、斜めの各方向のいずれかにおいて隣接または近接してなる第３の連画素が複数含まれており、補間手段は、欠陥画素情報に基づき、欠陥画素の中に、第１の連欠陥画素と、第２の連欠陥画素と、２つの密欠陥画素が各方向のいずれかにおいて隣接または近接してなる第３の連欠陥画素とが含まれている場合に、第３の連画素の全数に対する第３の連欠陥画素の補間の第５割合を、第３割合及び第４割合よりも低くすることが好ましい。

本発明の撮像装置によれば、欠陥画素の画素値の補間処理を行う際に、密の画素の全画素数に対する密欠陥画素の補間の割合よりも、疎の画素の全画素数に対する疎欠陥画素の補間の割合を高くしているので、撮影画像データの画質に与える影響が強い疎欠陥画素の補間が、密欠陥画素の補間よりも優先的に行われる。このため、欠陥画素情報の記憶容量の上限や補間処理に係る処理時間の増大防止の観点から、全ての欠陥画素の補間が実施できなくとも、疎欠陥画素が撮影画像データに与える影響を低減させることができる。その結果、良好な撮影画像データが得られる。

第１実施形態のデジタルカメラの電気的構成を示すブロック図である。 第１実施形態のカラー撮像素子の概略図である。 カラー撮像素子のカラーフィルタ配列を構成する基本配列パターンの概略図である。 デジタルカメラの画素補間処理に係る構成を示すブロック図である。 密Ｇ欠陥画素の周辺画素への影響を説明するための説明図である。 疎Ｇ欠陥画素の周辺画素への影響を説明するための説明図である。 欠陥画素情報データへの欠陥画素情報の登録処理の流れを示すフローチャートである。 疎Ｇ欠陥画素及び密Ｇ欠陥画素の画素値の補間処理を説明するための説明図である。 第１実施形態のデジタルカメラの作用を説明するためのフローチャートである。 第１−１実施形態のカラー撮像素子の概略図である。 図１０に示したカラー撮像素子の他実施形態のカラー撮像素子の概略図である。 第１−２実施形態のカラー撮像素子の概略図である。 第１−３実施形態のカラー撮像素子の概略図である。 第２実施形態のデジタルカメラの電気的構成を示すブロック図である。 疎・密Ｇ欠陥画素を説明するための説明図である。 疎・疎Ｇ欠陥画素を説明するための説明図である。 密・密Ｇ欠陥画素を説明するための説明図である。 第２実施形態の欠陥画素の判定処理の流れを示すフローチャートである。 第２実施形態の欠陥画素情報の登録処理の流れを示すフローチャートである。 第３実施形態のデジタルカメラの電気的構成を示すブロック図である。 第３実施形態の欠陥画素情報の登録処理の流れを示すフローチャートである。 第３実施形態のデジタルカメラの作用を説明するためのフローチャートである。 第３実施形態の他実施形態のデジタルカメラの電気的構成を示すブロック図である。 第３実施形態のさらに他実施形態のデジタルカメラの電気的構成を示すブロック図である。 第４実施形態のデジタルカメラの電気的構成を示すブロック図である。 評価値の算出の第１の例を説明するための説明図である。 評価値の算出の第２の例を説明するための説明図である。 評価値の算出の第３の例を説明するための説明図である。 評価値の算出の第４の例を説明するための説明図である。 評価値の算出の第５の例を説明するための説明図である。 第５実施形態のデジタルカメラの電気的構成を示すブロック図である。 第３実施形態のさらに他実施形態のデジタルカメラの電気的構成を示すブロック図である。 図１５に示した疎・密Ｇ連欠陥画素の画素値の補間処理とは異なる補間処理を説明するための説明図である。

［第１実施形態のデジタルカメラの全体構成］
図１に示すように、本発明の第１実施形態に係るデジタルカメラ（撮像装置）１０のＣＰＵ１１は、シャッタボタンまたはシャッタスイッチや各種操作ボタンを含む操作部１２からの制御信号に基づき、図示しないメモリから読み出した各種プログラムやデータを逐次実行して、デジタルカメラ１０の各部を統括的に制御する。

レンズユニット１３には、ズームレンズ１４、フォーカスレンズ１５、メカシャッタ１６などが組み込まれている。ズームレンズ１４及びフォーカスレンズ１５は、それぞれズーム機構１７、フォーカス機構１８により駆動され、両レンズ１４，１５の光軸に沿って前後移動される。

メカシャッタ１６は、カラー撮像素子２０への被写体光の入射を阻止する閉じ位置と、被写体光の入射を許容する開き位置との間で移動する可動部（図示は省略）を有する。メカシャッタ１６は、可動部を各位置に移動させることによって、各レンズ１４，１５からカラー撮像素子２０へと至る光路を開放／遮断する。なお、メカシャッタ１６には、カラー撮像素子２０に入射する被写体光の光量を制御する絞りが含まれている。メカシャッタ１６、ズーム機構１７、及びフォーカス機構１８は、レンズドライバ２１を介してＣＰＵ１１によって動作制御される。

レンズユニット１３の背後には単板式のカラー撮像素子２０が配置されている。カラー撮像素子２０は、各レンズ１４，１５からの被写体光を電気的な出力信号に変換して出力する。なお、カラー撮像素子２０は、ＣＣＤ（Charge Coupled Device）カラー撮像素子、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）カラー撮像素子などの各種類の撮像素子であってもよい。撮像素子ドライバ２３は、ＣＰＵ１１の制御の下でカラー撮像素子２０の駆動を制御する。

信号調整回路２４は、相関二重サンプリング処理回路、自動ゲイン補正回路などを有しており、カラー撮像素子２０からの出力信号に対して相関二重サンプリング処理やゲイン増幅処理を施す。

画像処理回路２５は、信号調整回路２４から入力される出力信号に対して階調変換、ホワイトバランス補正、γ補正処理、画素補間処理などの各種処理を施して画像データを生成する。この画像処理回路２５には、補間処理部（取得手段、補間手段）２６が設けられている。

補間処理部２６は、本発明の欠陥画素情報記憶手段に相当する欠陥画素情報記憶部（以下、単に記憶部と略す）２７に記憶されている情報を取得して、欠陥画素の画素値（出力値）を周辺に位置する周辺画素の画素値を用いて補間処理する。なお、ここでいう「取得」には、記憶部２７に記憶されている情報を「参照」することも含まれる。また、補間処理部２６は、前述の欠落画素の画素値を周辺画素の画素値を用いて補間処理する。

圧縮伸長処理回路２９は、画像処理回路２５で処理された画像データに対して圧縮処理を施す。また、圧縮伸長処理回路２９は、メディアＩ／Ｆ３０を介してメモリカード３１から得られた圧縮画像データに対して伸長処理を施す。メディアＩ／Ｆ３０は、メモリカード３１に対する画像データの記録及び読み出しなどを行う。表示部３２は、液晶ディスプレイなどであり、スルー画像や再生画像などを表示する。

なお、図示は省略するが、デジタルカメラ１０にはオートフォーカス用のＡＦ検出回路やＡＥ検出回路などが設けられている。ＣＰＵ１１は、ＡＦ検出回路の検出結果に基づき、レンズドライバ２１を介してフォーカス機構１８を駆動することでＡＦ処理を実行する。また、ＣＰＵ１１は、ＡＥ検出回路の検出結果に基づき、レンズドライバ２１を介してメカシャッタ１６を駆動することでＡＥ処理を実行する。

［カラー撮像素子の構成］
図２及び図３に示すように、カラー撮像素子２０は、水平方向及び垂直方向に配列（二次元配列）された光電変換素子３３を有する複数の画素と、各画素の受光面の上方に所定のカラーフィルタ配列で配置されたカラーフィルタとから構成されている。ここで、「上方」とは、カラー撮像素子２０の撮像面に対して被写体光が入射してくる側の方向を指す。なお、「下方」は「上方」の反対側である。

各画素の上方には、ＲＧＢの３原色のカラーフィルタ（以下、Ｒフィルタ、Ｇフィルタ、Ｂフィルタという）３４Ｒ，３４Ｇ，３４Ｂのうちのいずれかが配置される。なお、Ｇフィルタ３４Ｇが本発明の第１のフィルタに相当し、Ｒフィルタ３４Ｒ及びＢフィルタ３４Ｂが本発明の第２のフィルタに相当する。

以下、Ｒフィルタ３４Ｒが配置された画素を「Ｒ画素」、Ｇフィルタ３４Ｇが配置された画素を「Ｇ画素」、Ｂフィルタ３４Ｂが配置された画素を「Ｂ画素」という。なお、図中の「ａ、ｂ、ｃ、ｄ、ｅ、ｆ、・・・」及び「１、２、３、４、５、６、・・・」はＲＧＢ画素のアドレスを示す。また、図中のＧフィルタ３４Ｇの添え字（Ｇ_「１」、Ｇ_「２」）については後述する。

＜カラーフィルタ配列の特徴＞
カラー撮像素子２０のカラーフィルタ配列（以下、単にカラーフィルタ配列という）は、下記の特徴（１）、（２）、（３）、（４）、（５）、及び（６）を有している。

〔特徴（１）〕
カラーフィルタ配列は、６×６画素に対応する正方配列パターンからなる基本配列パターンＰ（図中の太枠で示したパターン）を含み、この基本配列パターンＰが水平方向及び垂直方向に繰り返し配置されている。即ち、このカラーフィルタ配列は、Ｒフィルタ３４Ｒ、Ｇフィルタ３４Ｇ、Ｂフィルタ３４Ｂが所定の周期性をもって配列されている。

このようにＲフィルタ３４Ｒ、Ｇフィルタ３４Ｇ、Ｂフィルタ３４Ｂが所定の周期性をもって配列されているため、従来知られているランダム配列と比較して、カラー撮像素子２０から読み出されるＲ、Ｇ、Ｂ信号の同時化処理（デモザイク処理）等を行う際に、繰り返しパターンにしたがって処理を行うことができる。

また、基本配列パターンＰの単位で間引き処理して画像を縮小する場合、間引き処理後のカラーフィルタ配列は、間引き処理前のカラーフィルタ配列と同じにすることができ、共通の処理回路を使用することができる。

〔特徴（２）〕
カラーフィルタ配列は、輝度信号を得るために最も寄与する色（この実施形態では、Ｇの色）に対応するＧフィルタ３４Ｇが、カラーフィルタ配列の水平、垂直、及び斜め（ＮＥ，ＮＷ）方向の各ライン内に１つ以上配置されている。ここで、ＮＥは斜め右上及び斜め左下方向を意味し、ＮＷは斜め右下及び斜め左上方向を意味する。例えば、正方形の画素の配列の場合は、斜め（ＮＥ及びＮＷ）方向とは水平方向に対しそれぞれ４５°の方向となるが、長方形の画素の配列であれば、長方形の対角線の方向であり長辺・短辺の長さに応じてその角度は変わりうる。

輝度系画素に対応するＧフィルタ３４Ｇが、カラーフィルタ配列の水平、垂直、及び斜め（ＮＥ，ＮＷ）方向の各ライン内に配置されるため、高周波となる方向によらず高周波領域での画素補間処理（同時化処理等）の再現精度を向上させることができる。

〔特徴（３）〕
基本配列パターンＰは、Ｒ画素、Ｇ画素、Ｂ画素の画素数が、それぞれ８画素、２０画素、８画素になっている。即ち、ＲＧＢ画素の各画素数の比率は２：５：２であり、Ｇ画素の画素数の比率は他の色のＲ画素、Ｂ画素の各々の画素数の比率よりも大きくなる。

上記のようにＧ画素の画素数とＲ，Ｂ画素の画素数との比率が異なり、特に輝度信号を得るために最も寄与するＧ画素の画素数の比率を、Ｒ，Ｂ画素の画素数の比率よりも大きくするようにした。このため、画素補間処理（同時化処理等）時におけるエリアシングを抑制することができるとともに、高周波再現性もよくすることができる。

〔特徴（４）〕
カラーフィルタ配列は、Ｇの色以外の２色以上の他の色（この実施形態では、Ｒ，Ｂの色）に対応するＲフィルタ３４Ｒ、Ｂフィルタ３４Ｂが、基本配列パターンＰ内においてカラーフィルタ配列の水平、及び垂直方向の各ライン内に１つ以上配置されている。

Ｒフィルタ３４Ｒ及びＢフィルタ３４Ｂがそれぞれカラーフィルタ配列の水平、及び垂直方向の各ライン内に配置されるため、色モワレ（偽色）の発生を低減することができる。これにより、偽色の発生を抑制するための光学ローパスフィルタを光学系の入射面から撮像面までの光路に配置しないようにでき、又は光学ローパスフィルタを適用する場合でも偽色の発生を防止するための高周波数成分をカットする働きの弱いものを適用することができる。これにより、解像度を損なわないようにすることができる。

基本配列パターンＰは、３×３画素のＡ配列３５ａと、３×３画素のＢ配列３５ｂとが、水平、垂直方向に交互に並べられた配列となっていると捉えることもできる。

Ａ配列３５ａ及びＢ配列３５ｂには、Ｇフィルタ３４Ｇが４隅と中央に配置され、両対角線上に配置されている。また、Ａ配列３５ａは、中央のＧフィルタ３４Ｇを挟んでＲフィルタ３４Ｒが水平方向に配列され、Ｂフィルタ３４Ｂが垂直方向に配列されている。一方、Ｂ配列３５ｂは、Ａ配列３５ａのＲフィルタ３４ＲとＢフィルタ３４Ｂの配置を逆転させた配列である。

また、Ａ配列３５ａとＢ配列３５ｂの４隅のＧフィルタ３４Ｇは、Ａ配列３５ａとＢ配列３５ｂとが水平、垂直方向に交互に配置されることにより、２×２画素に対応する正方配列のＧフィルタ３４Ｇとなる。

以下、２×２画素に対応する正方配列のＧフィルタ３４Ｇ、すなわち、水平及び垂直方向に他のＧフィルタ３４Ｇが隣接して配置されているＧフィルタ３４Ｇを「密のＧフィルタ３４Ｇ」といい、図中では「Ｇ_１」と表示する。また、密のＧフィルタ３４Ｇに対応するＧ画素を「密のＧ画素」という。

一方、Ａ配列３５ａ及びＢ配列３５ｂの中心のＧフィルタ３４Ｇは、水平及び垂直方向に異なる色のＲ、Ｂフィルタ３４Ｒ，３４Ｂと隣接して配置された孤立配列となる。以下、このような水平及び垂直方向に他のＧフィルタ３４Ｇが隣接して配置されていないＧフィルタ３４Ｇを「疎のＧフィルタ３４Ｇ」といい、図中では「Ｇ_２」と表示する。また、疎のＧフィルタ３４Ｇに対応するＧ画素を「疎のＧ画素」という。

なお、カラー撮像素子２０のカラーフィルタ配列では、Ｒ、Ｂフィルタ３４Ｒ，３４Ｂのそれぞれの水平及び垂直方向には、同色のカラーフィルタは配置されていない。

〔特徴（５）〕
カラーフィルタ配列は、前述のように密のＧフィルタ３４Ｇが設けられた２×２画素に対応する正方配列を含んでいる。このような密のＧフィルタ３４Ｇが設けられた２×２画素を取り出し、水平方向のＧ画素の画素値の差分絶対値、垂直方向のＧ画素の画素値の差分絶対値、斜め方向（ＮＥ、ＮＷ）のＧ画素の画素値の差分絶対値を求める。これにより、水平方向、垂直方向、及び斜め方向のうち、差分絶対値の小さい方向に相関があると判断することができる。

即ち、このカラーフィルタ配列によれば、最小画素間隔のＧ画素の情報を使用して、水平方向、垂直方向、及び斜め方向のうちの相関の高い方向判別ができる。この方向判別結果は、周辺の画素から補間する補間処理（同時化処理等）に使用することができる。

〔特徴（６）〕
基本配列パターンＰは、その中心（４つの密のＧフィルタ３４Ｇの中心）に対して点対称になっている。また、基本配列パターンＰ内のＡ配列３５ａ及びＢ配列３５ｂも、それぞれ中心のＧフィルタ３４Ｇに対して点対称になっている。このような対称性により、後段の処理回路の回路規模を小さくしたり、簡略化することが可能になる。

［欠陥画素情報記憶部に係る構成］
図４に示すように、記憶部２７には、カラー撮像素子２０の欠陥画素に関する欠陥画素情報データ３７が記憶されている。欠陥画素情報データには、個々の欠陥画素毎に「登録Ｎｏ」と、「欠陥種類」と、「アドレス」と、「画素値」とが個別の欠陥画素情報（以下、単に欠陥画素情報という）として登録されている。

「登録Ｎｏ」は、欠陥画素情報データ３７への登録順を示す。また、「欠陥種類」は欠陥画素の種類を示す。欠陥画素が、密のＧ画素である場合には密Ｇ欠陥画素、疎のＧ画素である場合には疎Ｇ欠陥画素、Ｒ画素である場合にはＲ欠陥画素、Ｂ画素である場合にはＢ欠陥画素として登録している。なお、以下の説明では、密Ｇ欠陥画素及び疎Ｇ欠陥画素を含むＧ画素の欠陥画素を「Ｇ欠陥画素」という。

「アドレス」は、カラー撮像素子２０の撮像面上における欠陥画素のアドレス［座標（Ｘ，Ｙ）］である。例えば、Ｘ座標（ｘ１、ｘ２、・・・）は図２及び図３に示した「１、２、３、・・・」のいずれかで表され、Ｙ座標（ｙ１、ｙ２、・・・）は「ａ、ｂ、ｃ、・・・」のいずれかで表される。また、「画素値」は、後述する欠陥画素検査時に検出された欠陥画素の画素値である。

欠陥画素情報データ３７には、記憶部２７の記憶容量の関係からカラー撮像素子２０の全ての欠陥画素に関する情報を登録することはできず、登録数に上限が設定されている。なお、ＲＧＢ画素の各画素数の比率は前述の通り２：５：２であるので、例えば本実施形態では「Ｇ欠陥画素の登録上限数」＞「Ｒ欠陥画素の登録上限数」＝「Ｂ欠陥画素の登録上限数」とする。このような欠陥画素情報データ３７への欠陥画素情報の登録は、例えば、デジタルカメラ１０の製造メーカの検査工程にて、欠陥画素検査装置（以下、単に検査装置と略す）４０により行われる。

［欠陥画素検査装置に係る構成］
検査装置４０は、カラー撮像素子２０の全画素についてそれぞれ欠陥画素であるか否かを検査して、欠陥画素に関する欠陥画素情報を欠陥画素情報データ３７に登録する。この際に、「密Ｇ欠陥画素」よりも「疎Ｇ欠陥画素」が欠陥画素情報データ３７に優先的に登録される。ここで、「優先的」に登録とは、「密のＧ画素の全画素数」に対する「密Ｇ欠陥画素の登録数」の割合をＲ１とし、「疎のＧ画素の全画素数」に対する「疎Ｇ欠陥画素の登録数」の割合をＲ２としたときに、Ｒ１＜Ｒ２を満たすように登録することである。

「密Ｇ欠陥画素」よりも「疎Ｇ欠陥画素」を欠陥画素情報データ３７に優先的に登録するのは以下の理由による。

図５に示すように、アドレス（３，ｄ）にある密のＧ画素が密Ｇ欠陥画素（図中、×印を付している画素）である場合に、その水平及び垂直方向に隣接して配置されているＧ画素（密のＧ画素）については欠落画素とはならない。この場合には、密Ｇ欠陥画素に水平、及び垂直方向に隣接している２つのＲ、Ｂ画素の位置（図中にハッチングで表示）に対応するＧ画素（以下、欠落Ｇ画素という）の画素値を、Ｇ欠陥画素の画素値を用いて補間処理する。このため、密Ｇ欠陥画素の影響を特に強く受けるのは、２個の欠落Ｇ画素の画素値である。従って、密Ｇ欠陥画素の影響は広がりにくい。

一方、図６に示すように、アドレス（２，ｅ）にある疎のＧ画素が疎Ｇ欠陥画素である場合に、水平及び垂直方向に隣接する４画素はＲ画素、Ｂ画素であるので、これら隣接４画素の位置に対応する欠落Ｇ画素の画素値を、Ｇ欠陥画素の画素値を用いて補間処理する必要がある。画素補間により算出される画素値は水平、垂直方向に隣接する画素値の影響を強く受けるので、疎Ｇ欠陥画素では隣接４画素の位置に対応する欠落Ｇ画素の画素値の値に影響が及ぶ。このため、疎Ｇ欠陥画素の影響は、密Ｇ欠陥画素よりも広がりやすく、撮影画像への影響が大きくなる。従って、疎Ｇ欠陥画素の欠陥画素情報が密Ｇ欠陥画素の欠陥情報よりも優先的に登録される。

図４に戻って、検査装置４０は、カラー撮像素子２０の個々の画素が欠陥画素であるか否かを判定する判定処理部４２と、この判定に用いる画素情報４３及びしきい値情報４４と、欠陥画素情報を欠陥画素情報データ３７に登録する登録処理部４５と、を有する。

画素情報４３は、カラー撮像素子２０の各画素のアドレス情報と、画素の種類（例えば、疎のＧ画素、密のＧ画素、Ｒ画素、Ｂ画素など）に関する情報等が含まれている。

しきい値情報４４には、疎のＧ画素が疎Ｇ欠陥画素であるか否かの判定に用いられるしきい値Ａと、密のＧ画素が密Ｇ欠陥画素であるか否かの判定に用いられるしきい値Ｂとが格納されている。検査対象の画素の画素値（出力値）がしきい値以上となる場合には、暗出力のレベルが大きい欠陥画素とみなされる。しきい値Ｂは、しきい値Ａよりも大きい値に設定されている。

なお、検査装置４０では、判定処理部４２による判定に先立って、例えばカラー撮像素子２０の撮像面をメカシャッタ１６で遮光した遮光状態下で、カラー撮像素子２０による撮像を行わせる。すなわち、遮光状態下でのカラー撮像素子２０の各画素の画素値（出力値）を求めておく。このようにして得られた各画素の画素値は、各画素の暗出力のレベルを示すものである。ここで、各画素の暗出力のレベルを求める方法は、上述の方法に限定されず、公知の各種方法を用いることができる。

判定処理部４２は、遮光状態下で得られた各画素の画素値がしきい値以上となるか否かを判定し、しきい値以上となる場合には欠陥画素であると判定する。この際に、判定処理部４２は、画素情報４３に基づき、検査対象画素が疎のＧ画素である場合には「しきい値Ａ」を用いて判定を行い、検査対象画素が密のＧ画素である場合には「しきい値Ｂ」を用いて判定を行う。

なお、判定処理部４２は、検査対象画素がＲ画素またはＢ画素である場合には、例えばしきい値Ａ（しきい値Ａ以外の値でも可）を用いて判定処理を行う。

登録処理部４５は、判定処理部４２にて欠陥画素と判定された画素に関する欠陥画素情報を欠陥画素情報データ３７に登録上限数の範囲内で登録する。この際に、Ｇ欠陥画素の全画素数がＧ欠陥画素の登録上限数よりも多い場合がある。この場合に、登録処理部４５は、例えば疎Ｇ欠陥画素の欠陥画素情報から先に欠陥画素情報データ３７に登録する。

［欠陥画素情報の登録処理］
次に、図７を用いて検査装置４０による欠陥画素情報の登録処理の流れについて説明を行う。最初に、検査装置４０からの撮像指令に基づき、メカシャッタ１６が閉じた遮光状態にて、カラー撮像素子２０による撮像が実行される。カラー撮像素子２０の各画素から出力される出力信号は画素値として検査装置４０に入力される。

次いで、検査装置４０の判定処理部４２が作動する。判定処理部４２は、第１番目（例えば、アドレス（１，ａ））の画素についての判定処理を開始する。なお、検査対象の画素のアドレスは、例えば、カラー撮像素子２０からの画素値の出力順などから判別することができる。判定処理部４２は、検査対象の画素のアドレスに基づき、画素情報４３を参照して画素の種類を判別する。

判定処理部４２は、第１番目の画素が例えば「疎のＧ画素」である場合に、しきい値Ａと画素値との大小を比較する。そして、画素値≧しきい値Ａとなる場合には疎のＧ画素が疎Ｇ欠陥画素であると判定し、逆に画素値＜しきい値Ａとなる場合には疎のＧ画素が正常画素であると判定する。

また、判定処理部４２は、第１番目画素が例えば「密のＧ画素」である場合にしきい値Ｂと画素値との大小を比較する。画素値≧しきい値Ｂとなる場合には密のＧ画素が密Ｇ欠陥画素であると判定し、逆に画素値＜しきい値Ｂとなる場合には密のＧ画素が正常画素であると判定する。なお、判定処理部４２は、第１番目の画素の種類がＲ画素またはＢ画素である場合に、例えばしきい値Ａを用いて欠陥画素であるか否かを判定する。

以下、判定処理部４２は第２番目以降の画素についても第１番目の画素の判定処理と同様にして、欠陥画素か否かを判定する。判定処理部４２の判定結果は、登録処理部４５に逐次入力される。

登録処理部４５は、判定処理部４２による判定処理が終了した後、各欠陥画素（疎Ｇ欠陥画素、密Ｇ欠陥画素、Ｒ・Ｂ欠陥画素）に関する欠陥画素情報を、デジタルカメラ１０の欠陥画素情報データ３７に登録する。なお、前述の通り、Ｇ欠陥画素の全画素数がＧ欠陥画素の登録上限数よりも多い場合には、疎Ｇ欠陥画素の欠陥画素情報から先に登録される。

検査装置４０では、しきい値Ａ＜しきい値Ｂに設定しているので、疎のＧ画素は密の画素よりも画素値が小さい、すなわち、暗出力のレベルが低い場合でも疎Ｇ欠陥画素と判定される場合がある。このため、疎のＧ画素は密のＧ画素よりも欠陥画素であると判定される確率が高くなる。その結果、欠陥画素情報データ３７に登録される「疎Ｇ欠陥画素の登録数の割合Ｒ２」は「密Ｇ欠陥画素の登録数の割合Ｒ１」よりも大きくなる。これにより、欠陥画素情報データ３７には、疎Ｇ欠陥画素の欠陥画素情報が密Ｇ欠陥画素の欠陥画素情報よりも優先的に登録される。

なお、上記実施形態では、判定処理部４２による全画素の判定処理が終了した後で、欠陥画素情報を欠陥画素情報データ３７に一括登録しているが、逐次に欠陥画素情報を欠陥画素情報データ３７に登録してもよい。この際に、欠陥画素情報データ３７に登録されているＧ欠陥画素の登録数が登録上限数に達している場合には、例えば、新たな疎Ｇ欠陥画素の欠陥画素情報を、先に欠陥画素情報データ３７に登録されている密Ｇ欠陥画素の欠陥画素情報に上書きすればよい。

［欠陥画素の画素値の補間処理］
補間処理部２６は、記憶部２７から欠陥画素情報データ３７を取得し、この欠陥画素情報データ３７に基づき、欠陥画素のアドレスを判別する。そして、この判別結果に基づき、補間処理部２６は、欠陥画素情報データ３７に登録されている個々の欠陥画素の画素値を同色の周辺画素の画素値を用いて補間処理する。

図８に示すように、補間処理部２６は、アドレス（３，ｄ）の密のＧ画素が密Ｇ欠陥画素である場合に、例えばその水平、垂直、及び斜め（ＮＥ）方向に隣接するアドレス（３，ｃ），（４，ｃ），（４，ｄ），（２，ｅ）の各Ｇ画素の画素値を用いて、密Ｇ欠陥画素の画素値を補間処理により求める。

また、補間処理部２６は、アドレス（５，ｂ）の疎のＧ画素が疎Ｇ欠陥画素である場合に、例えばその斜め（ＮＥ、ＮＷ）方向に隣接するアドレス（４，ａ），（４，ｃ），（６，ａ），（６，ｃ）の各Ｇ画素の画素値を用いて、疎Ｇ欠陥画素の画素値を補間処理により求める。

さらに、補間処理部２６は、Ｒ、Ｂ画素がそれぞれＲ、Ｂ欠陥画素である場合に、近接する位置にある同色の画素の画素値を用いて補間処理を行う。なお、各欠陥画素の補間処理に用いる周辺画素は、図８に示した例に特に限定されず、適宜変更してもよい。また、補間処理により画素値を算出する方法（式）も特に限定されず、例えばシミュレーションなどにより決定した最適な式などを用いてもよい。

［第１実施形態のデジタルカメラの作用］
次に、図９を用いて上記構成のデジタルカメラ１０の作用について説明する。操作部１２にて、デジタルカメラ１０の動作モードが撮影を行う撮影モードにセットされると、ＣＰＵ１１はレンズドライバ２１を介してメカシャッタ１６の動作を制御するとともに、撮像素子ドライバ２３を介してカラー撮像素子２０を駆動する。

所定のシャッタ速度でメカシャッタ１６が開閉され、カラー撮像素子２０のＲＧＢ画素に信号電荷が蓄積する。そして、撮像素子ドライバ２３の制御の下、各ＲＧＢ画素からの出力信号が信号調整回路２４に出力される。信号調整回路２４は、各ＲＧＢ画素からの出力信号に対して、相関二重サンプリング処理やゲイン増幅処理などの各種処理を施した後、処理済みの出力信号を画像処理回路２５へ出力する。

画像処理回路２５の補間処理部２６は、デジタルカメラ１０の動作モードが撮影モードに設定された時などの所定のタイミングで作動して、記憶部２７に記憶されている欠陥画素情報データ３７を取得（参照）する。この欠陥画素情報データ３７に基づき、補間処理部２６は、補間処理の対象となる欠陥画素のアドレスを判別する。

次いで、補間処理部２６は、例えば欠陥画素情報データ３７に登録されている順番で、欠陥画素の出力信号に対応する画素値を、図８に示したような周辺画素の画素値を用いて補間処理により求める。これにより、欠陥画素情報データ３７に登録されている全ての欠陥画素の補間処理が実行される。

この際に、「疎のＧ画素の全画素数」に対する疎Ｇ欠陥画素の補間の割合（第２割合）は、欠陥画素情報データ３７に含まれる「疎Ｇ欠陥画素の登録数の割合Ｒ２」と等しくなる。また、「密のＧ画素の全画素数」に対する密Ｇ欠陥画素の補間の割合（第１割合）は、「密Ｇ欠陥画素の登録数の割合Ｒ１」と等しくなる。これにより、「疎Ｇ欠陥画素の補間の割合Ｒ２」＞「密Ｇ欠陥画素の補間の割合Ｒ１」となる。このため、補間処理部２６では、疎Ｇ欠陥画素の補間処理が、密Ｇ欠陥画素の補間処理よりも優先的に行われる。

補間処理部２６は、欠陥画素の補間処理を行った後、欠落画素の補間処理を行う。なお、欠落画素の補間処理は周知技術であるので、具体的な説明は省略する。このような補間処理部２６による補間処理とともに、画像処理回路２５にて階調変換、ホワイトバランス補正、γ補正処理等の各種の画像処理が実施されて、撮影画像データが生成される。

画像処理回路２５により生成された撮影画像データは、一定のタイミングで表示部３２へ出力される。これにより、表示部３２にスルー画像が表示される。また、同時にＡＦ処理やＡＥ処理などの撮影準備処理も同時に行われる。

操作部１２で撮影指示がなされると、画像処理回路２５にて１フレーム分の撮影画像データが生成される。この撮影画像データは、圧縮伸長処理回路２９にて圧縮された後、メディアＩ／Ｆ３０を経由してメモリカード３１に記録される。

デジタルカメラ１０では、撮影画像データの画質に与える影響が強い疎Ｇ欠陥画素の画素値の補間処理が、密Ｇ欠陥画素の画素値の補間処理よりも優先的に行われる。このため、記憶部２７の記憶容量の上限や補間処理に係る処理時間の増大防止の観点から、全ての欠陥画素の補間処理が実施できなくとも、疎Ｇ欠陥画素が撮影画像データに与える影響を低減させることができる。その結果、良好な撮影画像データが得られる。

［第１−１実施形態のカラー撮像素子］
上記第１実施形態のカラー撮像素子２０のＧ画素（Ｇフィルタ３４Ｇ）には、２種類の疎・密のＧ画素（Ｇフィルタ３４Ｇ）が含まれているが、３種類の疎・密のＧ画素（Ｇフィルタ３４Ｇ）が含まれていてもよい。

例えば、図１０に示すカラー撮像素子４８のＧ画素には、水平及び垂直方向に他のＧ画素が３個隣接しているＧ_１画素と、１個隣接しているＧ_２画素と、１個も隣接していないＧ_３画素とが含まれている。この場合に、Ｇ_２画素はＧ_１画素に対しては「疎のＧ画素」となるが、Ｇ_３画素に対しては「密のＧ画素」となる。また、Ｇ_１画素及びＧ_３画素はそれぞれ他の各Ｇ画素に対して「密のＧ画素」、「疎のＧ画素」となる。なお、図中の符号「Ｐ１」は、カラー撮像素子４８のカラーフィルタ配列を構成する基本配列パターンである。

このような３種類の疎・密のＧ画素が含まれている場合には、Ｇ_３画素＞Ｇ_２画素＞Ｇ_１画素の優先順位で、第１実施形態と同様に、欠陥画素情報の登録、欠陥画素の補間処理が行われる。

また、図１１に示すカラー撮像素子４９は、Ｇ_１画素の水平方向（垂直方向でも可）のみに２個のＧ画素が隣接している点を除けば、図１０に示したカラー撮像素子４８と基本的には同じである。なお、図中の符号「Ｐ２」は、カラー撮像素子４９のカラーフィルタ配列を構成する基本配列パターンである。

このように本発明では、水平及び垂直方向に隣接するＧ画素の数が相対的に少ないＧ画素を「疎のＧ画素」として、相対的に多い「密のＧ画素」よりも優先的に欠陥画素情報の登録、欠陥画素の補間処理が行われる。なお、図１０及び図１１に示した実施形態では、Ｇ画素に３種類の疎・密のＧ画素（Ｇフィルタ３４Ｇ）が含まれる場合について説明を行ったが、４種類以上の疎・密のＧ画素（Ｇフィルタ３４Ｇ）が含まれる場合にも本発明を適用することができる。

［第１−２実施形態のカラー撮像素子］
上記第１の実施形態のカラー撮像素子２０では、水平及び垂直方向に隣接するＧ画素の数が相対的に少ないＧ画素を「疎のＧ画素」とし、相対的に多いＧ画素を「密のＧ画素」としているが、水平及び垂直方向に隣接するＧ画素の数が同じであっても疎・密のＧ画素となる場合がある。

例えば、図１２に示すカラー撮像素子５０のＧ画素には、上記各実施形態とは異なるＧ_１画素と、Ｇ_２画素とが含まれている。なお、図中ではＲ、Ｂ画素（Ｒ、Ｂフィルタ３４Ｒ，３４Ｂは図示を省略している）。また、図中の符号「Ｐ３」は、カラー撮像素子５０のカラーフィルタ配列を構成する基本配列パターンである。

Ｇ_１画素の水平及び垂直方向には他のＧ画素が隣接して配置されていないが、斜め（ＮＥ）方向に他のＧ画素が１個隣接している。一方、Ｇ_２画素の水平、垂直、及び斜め（ＮＥ，ＮＷ）の各方向には他のＧ画素が１個も隣接してはいない。

補間処理により算出される欠落Ｇ画素の画素値は、水平、垂直方向に隣接するＧ画素の影響よりは低いものの、斜め（ＮＥ，ＮＷ）方向に隣接するＧ画素の影響も受ける。このため、Ｇ_２画素が欠陥画素であるときの影響は、Ｇ_１画素が欠陥画素であるときの影響よりも広がりやすく、撮影画像データへの影響が大きくなるといえる。従って、水平及び垂直方向に隣接するＧ画素の数が同じＭ個（０≦Ｍ≦４）であっても、斜め（ＮＥ，ＮＷ）方向に隣接するＧ画素（Ｇフィルタ３４Ｇ）の数が相対的に少ないＧ_２画素を「疎のＧ画素」とし、相対的に多いＧ_１画素を「密のＧ画素」としている。そして、上記各実施形態と同様に、疎Ｇ欠陥画素の登録、補間処理を優先的に行っている。

なお、図１２に示したカラー撮像素子５０では、疎のＧ画素及び密のＧ画素の水平、垂直方向に隣接する他のＧ画素の数が０であるが、１個以上であっても同様に疎・密のＧ画素とすることができる。

［第１−３実施形態のカラー撮像素子］
上記第１の実施形態では、Ｇ画素（Ｇフィルタ３４Ｇ）に「疎のＧ画素（疎のＧフィルタ３４Ｇ）」と「密のＧ画素（密のＧフィルタ３４Ｇ）」が含まれる場合について説明したが、本発明はこれに限定されるものではない。例えば、図１３に示すカラー撮像素子５２のように、Ｒ画素（Ｒフィルタ３４Ｒ）に「疎のＲ画素（疎のＲフィルタ３４Ｒ、図中「Ｒ_２」で表示）」と「密のＲ画素（密のＲフィルタ３４Ｒ、図中「Ｒ_１」で表示）」とが含まれていてもよい。この場合も、第１実施形態と同様に疎Ｒ欠陥画素の登録、補間処理が優先的に行われる。なお、図中の符号「Ｐ４」は、カラー撮像素子５２のカラーフィルタ配列を構成する基本配列パターンである。

なお、図１３に示した実施形態では、疎・密のＲ画素の水平、垂直方向に隣接する他のＲ画素の数に差がないが、第１実施形態のＧ画素と同様に、水平、垂直方向に隣接する他のＲ画素の数が異なっていてもよい。

また、図１３に示した実施形態では、疎・密のＲ画素（Ｒフィルタ３４Ｒ）について説明したが、Ｂ画素（Ｂフィルタ３４Ｂ）に疎・密のＢ画素（Ｂフィルタ３４Ｂ）が含まれる場合も同様に本発明を適用することができる。

［第２実施形態のデジタルカメラの全体構成］
次に、図１４を用いて本発明の第２実施形態のデジタルカメラ５５について説明を行う。上記第１実施形態のデジタルカメラ１０では、個々の欠陥画素（疎Ｇ欠陥画素、密Ｇ欠陥画素、Ｒ・Ｂ欠陥画素）の欠陥画素情報を欠陥画素情報データ３７に登録して、欠陥画素の補間処理を行っている。これに対して、デジタルカメラ５５では、個々の欠陥画素が隣接または近接して配置されてなる連欠陥画素の欠陥情報の登録、及び補間処理を行う。

デジタルカメラ５５は、第１実施形態とは異なる欠陥画素情報データ５７が記憶部２７に格納されている点を除けば、第１実施形態と基本的に同じ構成である。このため、上記第１実施形態と機能・構成上同一のものについては、同一符号を付してその説明は省略する。なお、第２実施形態以降の各実施形態では、説明の煩雑化を防止するために、Ｇ画素のみに欠陥が発生する場合について説明を行う。

欠陥画素情報データ５７には、Ｇ欠陥画素として、前述の疎Ｇ欠陥画素、密Ｇ欠陥画素の欠陥画素情報以外に、疎・密Ｇ連欠陥画素（第１の連欠陥画素）、疎・疎Ｇ連欠陥画素（第２の連欠陥画素）、及び密・密Ｇ連欠陥画素（第３の連欠陥画素）の欠陥画素情報が含まれている。

図１５に示すように、疎・密Ｇ連欠陥画素は、疎Ｇ欠陥画素と密Ｇ欠陥画素とが水平、垂直、及び斜め（ＮＥ，ＮＷ）の各方向のいずれか（図中ではＮＥ方向）に隣接してなる連欠陥画素である。なお、欠陥の有無に関わらず、疎のＧ画素と密のＧ画素とが各方向のいずれかに隣接してなるものを「疎・密Ｇ画素」（第１の連画素）という。

図１６に示すように、疎・疎Ｇ連欠陥画素は、２つの疎Ｇ欠陥画素が水平、垂直、及び斜め（ＮＥ，ＮＷ）の各方向のいずれか（図中では水平方向）に近接してなる連欠陥画素である。ここでいう「近接」とは、隣接はしていないが近い位置（例えば数画素ピッチ以内）にあることをいう。なお、欠陥の有無に関わらず、２つの疎のＧ画素が各方向のいずれかに近接してなるものを「疎・疎Ｇ画素」（第２の連画素）という。

図１７に示すように、密・密Ｇ連欠陥画素は、２つの密Ｇ欠陥画素が水平、垂直、及び斜め（ＮＥ，ＮＷ）の各方向のいずれか（図中では水平方向）に隣接してなる連欠陥画素である。なお、欠陥の有無に関わらず、２つの密のＧ画素が各方向のいずれかに隣接してなるものを「密・密Ｇ画素」（第３の連画素）という。また、密・密Ｇ連欠陥画素に、２つの密Ｇ欠陥画素が各方向のいずれかに近接してなる連欠陥画素（図中の点線の×印で表示）を含めてもよい。

図１４に戻って、欠陥画素情報データ５７への各欠陥画素の欠陥画素情報の登録は、検査装置５９を用いて行われる。検査装置５９は、各Ｇ連欠陥画素の欠陥画素情報を、疎Ｇ欠陥画素の欠陥画素情報よりも優先的に登録する。また、検査装置５９は、疎・疎Ｇ連欠陥画素＞疎・密Ｇ連欠陥画素＞密・密Ｇ連欠陥画素の順で欠陥画素情報を優先的に欠陥画素情報データ５７に登録する。

ここでいう「優先的」に登録とは、「疎・密Ｇ画素の全数」に対する「疎・密Ｇ連欠陥画素の登録数」の割合をＲ３とし、「疎・疎Ｇ画素の全数」に対する「疎・疎Ｇ連欠陥画素の登録数」の割合をＲ４とし、「密・密Ｇ画素の全数」に対する「密・密Ｇ連欠陥画素の登録数」の割合をＲ５としたときに、Ｒ４＞Ｒ３＞Ｒ５＞Ｒ２＞Ｒ１を満たすように登録することである。

各Ｇ連欠陥画素の影響は、２つの欠陥画素が隣接または近接することで疎Ｇ欠陥画素よりも広がりやすいので、撮影画像への影響がより大きくなる。従って、各Ｇ連欠陥画素の欠陥画素情報は疎Ｇ欠陥画素の欠陥情報よりも優先的に登録される。特に、疎・疎Ｇ連欠陥画素の場合は、疎Ｇ欠陥画素同士が隣接してはいないものの、補間処理されないと一つの大きな線状欠陥として認識される可能性がある。また、疎・密Ｇ連欠陥画素の場合には、その一方は密Ｇ欠陥画素であるが、この密Ｇ欠陥画素の補間処理後の画素値を用いて他方の疎Ｇ欠陥画素の補間処理を行うためである。

検査装置５９は、前述の画素情報４３の他に、第１実施形態の検査装置４０とは異なるしきい値情報６０、判定処理部６１、及び登録処理部６２を有している。

しきい値情報６０には、前述のしきい値Ａ，Ｂの他に、疎・密Ｇ画素が疎・密Ｇ連欠陥画素であるか否かの判定に用いられるしきい値Ｃと、疎・疎Ｇ画素が疎・疎Ｇ連欠陥画素であるか否かの判定に用いられるしきい値Ｄと、密・密Ｇ画素が密・密Ｇ連欠陥画素であるか否かの判定に用いられるしきい値Ｅと、が格納されている。各しきい値は、前述の登録の優先順位に基づき、この優先順位が高い方が低い方よりもしきい値が小さくなるように、しきい値Ｄ＜しきい値Ｃ＜しきい値Ｅ＜しきい値Ａ＜しきい値Ｂとなる。

判定処理部６１は、前述の第１実施形態と同様に遮光状態下で得られた各画素の画素値と、しきい値Ａ〜Ｅとに基づいて、各画素が欠陥画素であるか否か、及び欠陥画素である場合にはその種類を判定する。以下、判定処理部６１による欠陥画素判定処理を具体的に説明する。

［第２実施形態の欠陥画素判定処理］
図１８に示すように、最初に判定処理部６１は、検査対象のＧ画素（以下、単に検査対象画素という）の画素値が、しきい値Ａ〜Ｅの中で最小のしきい値Ｄ未満となるか否かを判定する（Ｓ１）。そして、判定処理部６１は、画素値がしきい値Ｄ未満である場合には、検査対象画素が正常画素であると判定する。

一方、判定処理部６１は、判定Ｓ１にて検査対象画素の画素値がしきい値Ｄ以上であった場合に、画素情報４３に基づいて、検査対象画素の周辺（隣接または近接位置）にあるＧ画素（以下、周辺画素という）が、Ｇ欠陥画素となる可能性があるか否かを判定する（Ｓ２）。具体的には、周辺画素の画素値がしきい値Ｄ以上となるか否かを判定する。

判定処理部６１は、判定Ｓ２にて周辺画素がＧ欠陥画素となる可能性が無い場合に、画素情報４３に基づき、検査対象画素が疎のＧ画素であるか否かを判定する（Ｓ３）。そして、検査対象画素が疎のＧ画素である場合、この検査対象画素の画素値がしきい値Ａ以上であれば検査対象画素が疎Ｇ欠陥画素であると判定し、逆にしきい値Ａ未満であれば検査対象画素が正常画素であると判定する（Ｓ４）。

また、判定処理部６１は、判定Ｓ３にて検査対象画素が密のＧ画素であると判定した場合、この検査対象画素の画素値がしきい値Ｂ以上であれば検査対象画素が密Ｇ欠陥画素であると判定し、逆にしきい値Ｂ未満であれば正常画素であると判定する（Ｓ５）。

判定Ｓ２に戻って、判定処理部６１は、周辺画素がＧ欠陥画素となる可能性（画素値≧しきい値Ｄ）がある場合に、画素情報４３に基づき、検査対象画素（しきい値Ｄ以上：判定Ｓ１）が疎のＧ画素であるか否かを判定する（Ｓ６）。

判定処理部６１は、判定Ｓ６にて検査対象画素（しきい値Ｄ以上）が疎のＧ画素である場合に、画素情報４３に基づいて、周辺画素（しきい値Ｄ以上：判定Ｓ２）が疎のＧ画素であるか否かを判定する（Ｓ７）。周辺画素（しきい値Ｄ以上）が疎のＧ画素である場合には、検査対象画素及び周辺画素は共に疎のＧ画素であり、且つ両者の画素値はしきい値Ｄ以上となる。このため、判定処理部６１は、検査対象画素及び周辺画素を疎・疎Ｇ連欠陥画素であると判定する。

逆に、判定処理部６１は、判定Ｓ７にて周辺画素（しきい値Ｄ以上）が密のＧ画素であると判定した場合に、検査対象画素（疎のＧ画素、しきい値Ｄ以上）及び周辺画素（密のＧ画素、しきい値Ｄ以上）の画素値が共にしきい値Ｃ以上となるか否かを判定する（Ｓ８）。

判定処理部６１は、判定Ｓ８にて検査対象画素及び周辺画素の画素値が共にしきい値Ｃ以上となる場合には、検査対象画素及び周辺画素を疎・密Ｇ連欠陥画素であると判定する。また、判定処理部６１は、両者の画素値の一方がしきい値Ｃ未満となる場合には、前述の判定Ｓ４に進み、検査対象画素（疎のＧ画素、しきい値Ｄ以上）が疎Ｇ欠陥画素であるか否かを判定する。

判定Ｓ６に戻って、判定処理部６１は、検査対象画素（しきい値Ｄ以上）が密のＧ画素である場合に、画素情報４３に基づいて、周辺画素（しきい値Ｄ以上）が疎のＧ画素であるか否かを判定する（Ｓ９）。そして、周辺画素（しきい値Ｄ以上）が疎のＧ画素である場合には、前述の判定Ｓ８に進む。

また、判定処理部６１は、判定Ｓ９にて周辺画素（しきい値Ｄ以上）が密のＧ画素であると判定した場合に、検査対象画素（密のＧ画素、しきい値Ｄ以上）及び周辺画素（密のＧ画素、しきい値Ｄ以上）の画素値が共にしきい値Ｅ以上となるか否かを判定する（Ｓ１０）。

判定処理部６１は、検査対象画素及び周辺画素の画素値が共にしきい値Ｅ以上となる場合には、検査対象画素及び周辺画素を密・密Ｇ連欠陥画素であると判定する。また、判定処理部６１は、両者の画素値の一方がしきい値Ｅ未満となる場合に、前述の判定Ｓ５に進み、検査対象画素（密のＧ画素、しきい値Ｄ以上）が密Ｇ欠陥画素であるか否かを判定する。以上で判定処理部６１による欠陥画素判定処理が全て完了する。

図１４に戻って、登録処理部６２は、第１実施形態の登録処理部４５と基本的に同じであり、判定処理部６１により判定された欠陥画素の欠陥画素情報を欠陥画素情報データ５７に登録上限数の範囲内で登録する。ただし、登録処理部６２は、「疎・疎Ｇ連欠陥画素の登録数の割合Ｒ４」＞「疎・密Ｇ連欠陥画素の登録数の割合Ｒ３」＞「密・密Ｇ連欠陥画素の登録数の割合Ｒ５」＞「疎Ｇ欠陥画素の登録数の割合Ｒ２」＞「密Ｇ欠陥画素の登録数の割合Ｒ１」を満たすように登録を行う。

［第２実施形態の欠陥画素情報の登録処理］
図１９に示すように、検査装置５９による欠陥画素情報の登録処理は、図１８に示した欠陥画素判定処理を行う点を除けば、第１実施形態の欠陥画素情報の登録処理と基本的に同じであるので、具体的な説明は省略する。この登録処理により、疎・疎Ｇ連欠陥画素＞疎・密Ｇ連欠陥画素＞密・密Ｇ連欠陥画素＞疎Ｇ欠陥画素＞密Ｇ欠陥画素の優先順位で、欠陥画素情報が登録される。

なお、各欠陥画素情報を欠陥画素情報データ５７に一括登録する代わりに、逐次に欠陥画素情報を欠陥画素情報データ５７に登録してもよい。この際に、全画素の判定処理が完了する前に欠陥画素の登録数が登録上限数に達した場合には、相対的に優先順位の高い欠陥画素の欠陥画素情報を、先に登録された相対的に優先順位の低い欠陥画素の欠陥画素情報に上書きすればよい。

［欠陥画素の画素値の補間処理］
図１４に戻って、補間処理部２６は、第１実施形態と同様に、記憶部２７から欠陥画素情報データ５７を取得して、各欠陥画素の補間処理を行う。なお、欠陥画素が疎・密Ｇ連欠陥画素である場合に、図１５中の矢印で示したように、密Ｇ欠陥画素及び疎Ｇ欠陥画素の画素値を補間処理により求める。具体的には、密Ｇ欠陥画素の画素値を水平、垂直、及び斜め方向（図中では、上、右、斜め右上方向）に隣接する３つのＧ画素の画素値を用いて補間処理により求める。また、疎Ｇ欠陥画素の画素値を斜め方向（図中では、斜め左上、斜め左下、斜め右下方向）に隣接する３つのＧ画素の画素値を用いて補間処理により求める。

疎・密Ｇ画素の全数に対する疎・密Ｇ連欠陥画素の補間の割合は、前述の割合Ｒ３（第３割合）と等しくなる。また、疎・疎Ｇ画素の全数に対する疎・疎Ｇ連欠陥画素の補間の割合は、前述の割合Ｒ４（第４割合）と等しくなる。さらに、密・密Ｇ画素の全数に対する密・密Ｇ連欠陥画素の補間の割合は、前述の割合Ｒ５（第５割合）と等しくなる。なお、疎Ｇ欠陥画素及び密Ｇ欠陥画素の補間の割合は、それぞれ前述の割合Ｒ２、割合Ｒ１となる。

なお、第２実施形態のデジタルカメラ５５の作用は、図９に示した第１実施形態と基本的に同じであるので、ここでは説明を省略する。デジタルカメラ５５においても、前述の相対的に優先順位の高い欠陥画素の補間処理が、相対的に優先順位の低い欠陥画素の補間処理よりも優先的に行われるので、良好な撮影画像データが得られる。

［第３実施形態のデジタルカメラの全体構成］
次に、図２０を用いて本発明の第３実施形態のデジタルカメラ６５について説明を行う。上記第１及び第２実施形態のデジタルカメラ１０，５５では、カラー撮像素子２０の撮影ゲイン（例えばＩＳＯ感度）の高低に関係なく共通の欠陥画素情報データ３７，５７を用いて画素補間処理を行うが、デジタルカメラ６５では撮影ゲインの高低に応じて異なる欠陥画素情報データを用いて画素補間処理を行う。

デジタルカメラ６５は、記憶部２７に３種類の第１、第２、及び第３欠陥画素情報データ３７ａ，３７ｂ，３７ｃが格納されている点を除けば、第２実施形態と基本的に同じ構成である。このため、上記第２（第１）実施形態と機能・構成上同一のものについては、同一符号を付してその説明は省略する。

第１欠陥画素情報データ５７ａには、撮影ゲインが例えばＩＳＯ１００以上ＩＳＯ８００未満に設定されているときの欠陥画素の欠陥画素情報が登録されている。第２欠陥画素情報データ５７ｂには、撮影ゲインが例えばＩＳＯ８００以上ＩＳＯ６４００未満に設定されているときの欠陥画素の欠陥画素情報が登録されている。第３欠陥画素情報データ５７ｃには、撮影ゲインが例えばＩＳＯ６４００以上に設定されているときの欠陥画素の欠陥画素情報が登録されている。これは撮影ゲインが高いほど各画素の暗出力が増加することで、撮影ゲインが低い場合には撮影画像データの画質にほとんど影響を及ぼさないが、撮影ゲインが高い場合に撮影画像データの画質に影響を及ぼす画素があるからである。

各欠陥画素情報データ５７ａ〜５７ｃへの欠陥画素情報の登録は、検査装置６７により行われる。検査装置６７は、しきい値情報テーブル６８、判定処理部６９を備える点を除けば、第２実施形態の検査装置５９と基本的に同じ構成である。

しきい値情報テーブル６８には、撮影ゲインの各範囲（「ＩＳＯ１００以上ＩＳＯ８００未満：図中ではＩＳＯ１００と表示」、「ＩＳＯ８００以上ＩＳＯ６４００未満：図中ではＩＳＯ６４００以上と表示」、「ＩＳＯ６４００以上」）に応じて、前述の各欠陥画素の判定に用いるしきい値がそれぞれ設定されている。

撮影ゲインが高いほど各画素の暗出力が増加するため欠陥画素が検知されやすくなる。このため、撮影ゲインが高いほどしきい値を高く設定しないと、欠陥画素の登録数が増大して記憶部２７から欠陥画素情報を読み出す時間が増加、及び欠陥画素の補間処理に要する時間が増加してしまう。また、高周波の被写体では、欠陥画素の補間処理よって誤補間が発生する可能性がある。このため、各しきい値は、撮影ゲインが高いほど高くなるように設定されている。なお、撮影ゲインが高い方が、欠陥画素がノイズに埋もれるため、ゲイン倍よりは各しきい値を低く設定している。

判定処理部６９は、しきい値情報テーブル６８の各ＩＳＯ感度の範囲で定められたしきい値と、各画素の画素値（暗出力）とに基づいて、各ＩＳＯ感度の範囲内において各画素が欠陥画素であるか否か、及び欠陥画素である場合にはその種類を判定する。

［第３実施形態の欠陥画素情報の登録処理］
図２１に示すように、全画素の画素値が取得された後、判定処理部６９は、最初にしきい値情報テーブル６８の「ＩＳＯ１００以上ＩＳＯ８００未満」で設定されている各しきい値を、欠陥画素判定処理に用いるしきい値として決定する。そして、判定処理部６９は、決定したしきい値と、各画素の画素値（暗出力）とに基づき、全画素について図１８に示したように欠陥画素判定処理を行う。

次いで、登録処理部６２は、第２実施形態と同様に、判定処理部６９にて欠陥画素と判定された画素に関する欠陥画素情報を第１欠陥画素情報データ５７ａに登録する。この登録処理後、判定処理部６９は、しきい値情報テーブル６８の「ＩＳＯ８００以上ＩＳＯ６４００未満」で設定されている各しきい値を、次の欠陥画素判定処理に用いるしきい値として決定する。以下同様に、判定処理部６９による欠陥画素判定処理が行われて、欠陥画素情報が第２欠陥画素情報データ５７ｂに登録される。

さらに、第２欠陥画素情報データ５７ｂへの欠陥画素情報の登録後、しきい値情報テーブル６８の「ＩＳＯ６４００以上」で設定されているしきい値に基づき、欠陥画素判定処理が行われて、欠陥画素情報が第３欠陥画素情報データ５７ｃに登録される。各欠陥画素情報データ５７ａ，５７ｂ，５７ｃでは、第２実施形態と同様に、前述の割合Ｒ４＞割合Ｒ３＞割合Ｒ５＞割合Ｒ２＞割合Ｒ１を満たすように欠陥画素情報が登録される。

［第３実施形態のデジタルカメラの作用］
図２２に示すように、第３実施形態のデジタルカメラ６５の作用は、基本的には第２（第１）実施形態と同じである。ただし、デジタルカメラ６５の補間処理部２６は、例えばＣＰＵ１１などから取得した撮影ゲイン（本実施形態ではＩＳＯ感度）の情報に基づき、記憶部２７内の各欠陥画素情報データ５７ａ〜５７ｃの中から撮影ゲインに対応するデータを選択・取得して、欠陥画素の補間処理を行う。第２実施形態と同様に、前述の相対的に優先順位の高い欠陥画素の補間処理が、相対的に優先順位の低い欠陥画素の補間処理よりも優先的に行われるので、良好な撮影画像データが得られる。

［第３−１実施形態のデジタルカメラ］
上記第３実施形態のデジタルカメラ６５では、撮影ゲインに応じて異なる欠陥画素情報データを用いて画素補間処理を行うが、例えば、図２３に示すように、カラー撮像素子２０の露光時間に応じて異なる欠陥画素情報データを用いて補間処理を行ってもよい。これは、露光時間が長い場合にも撮影ゲインが高い場合と同様に各画素の暗出力が増加するためである。なお、具体的な欠陥画素情報データの登録処理や、欠陥画素の補間処理は、第３実施形態と同じであるのでここでは説明を省略する。

［第３−２実施形態のデジタルカメラ］
また、図２４に示すように、カラー撮像素子２０の温度（以下、素子温度という）に応じて異なる欠陥画素情報データを用いて補間処理を行ってもよい。これは素子温度が高い場合にも撮影ゲインが高い場合と同様に各画素の暗出力が増加するためである。

第３−２実施形態の補間処理部２６は、素子温度を計測する温度センサ７１からの素子温度情報に基づき、記憶部２７内の各欠陥画素情報データ５７ａ〜５７ｃの中から対応するデータを選択・取得して、欠陥画素の補間処理を行う。なお、欠陥画素情報の登録処理や、欠陥画素の補間処理は、第３実施形態と同じであるのでここでは説明を省略する。

［第３、第３−１、第３−２実施形態のその他］
上記第３、第３−１、第３−２実施形態では、撮影ゲイン、露光時間、素子温度等の撮影条件を３段階の範囲に分けてそれぞれの範囲に対応する欠陥画素情報データを設けているが、撮影条件を２段階あるいは４段階以上の範囲に分けて各範囲の欠陥画素情報データを設けてもよい。また、記憶部２７内に記憶されている各欠陥画素情報データを１つのデータにまとめて記憶してもよい。

上記第３、第３−１、第３−２実施形態では、画素の暗出力に影響を及ぼす撮影条件として撮影ゲイン、露光時間、素子温度を例に挙げたが、これら以外の画素の暗出力に影響を及ぼす各種の撮影条件に応じて異なる欠陥画素情報データを設けてもよい。なお、欠陥画素の判定に用いるしきい値も同様である。

［第４実施形態のデジタルカメラの構成］
次に、図２５を用いて本発明の第４実施形態のデジタルカメラ７５について説明を行う。上記第１実施形態のデジタルカメラ７５では、疎Ｇ欠陥画素同士での補間処理や欠陥画素情報登録処理については優先順位を設けていないが、デジタルカメラ７５では、個々の疎Ｇ欠陥画素の補間処理や登録処理についても優先順位を設けている。

デジタルカメラ７５は、第１実施形態のデジタルカメラ１０とは異なる欠陥画素情報データ７６が記憶部２７に格納されている点を除けば、第１実施形態と基本的に同じ構成である。このため、上記第１実施形態と機能・構成上同一のものについては、同一符号を付してその説明は省略する。また、説明の煩雑化を防止するために、欠陥画素の種類は疎Ｇ欠陥画素のみに限定して説明を行う。

欠陥画素情報データ７６には、疎Ｇ欠陥画素の欠陥画素情報が、個々の疎Ｇ欠陥画素毎に求められた評価値の高い順に優先的に登録されている。この評価値は、検査装置７８により求められる。検査装置７８は、疎Ｇ欠陥画素の周辺に隣接するＲ、Ｂ画素のさらに周辺に隣接するＧ画素（以下、近接Ｇ画素という）の位置、数に応じて評価値を求める。

図２６に示すように、アドレス（３，ｃ）の疎のＧ画素が疎Ｇ欠陥画素であって、その周辺に近接Ｇ画素が存在しない場合には、疎Ｇ欠陥画素の画素値を用いて周囲の全Ｒ，Ｂ画素の位置に対応する欠落Ｇ画素の画素値を求める。このため、疎Ｇ欠陥画素の影響が隣接する全ての欠落Ｇ画素の画素値に強く及ぶ。このような場合には、評価値を「１」×８＝８とする。

図２７に示すように、アドレス（１，ｅ）に１個の近接Ｇ画素がある場合に、アドレス（２，ｄ）の欠落Ｇ画素の画素値は疎Ｇ欠陥画素の影響を半分受ける。このため、アドレス（２，ｄ）の欠落Ｇ画素は「０．５」とし、その他の欠落Ｇ画素は「１」とするので、評価値は０．５＋（１×７）＝７．５となる。

図２８に示すように、アドレス（２，ｄ）の欠落Ｇ画素の垂直方向（図中下方）に隣接する位置に近接Ｇ画素［アドレス（２，ｅ）］がある場合に、この欠落Ｇ画素の画素値は、斜め方向に隣接する疎Ｇ欠陥画素よりも、垂直方向（水平方向も同様）に隣接する近接Ｇ画素の影響を強く受ける。このため、水平及び垂直方向を斜め方向の倍の重みづけをすると、欠落Ｇ画素に対する疎Ｇ欠陥画素の影響は１／３となるので、アドレス（２，ｄ）の欠落Ｇ画素を「０．３３」とする。また、アドレス（３，ｄ）の欠落Ｇ画素は、疎Ｇ欠陥画素の影響が強くなるので「０．６７」とし、その他の欠落Ｇ画素は「１」とする。その結果、評価値は０．３３＋０．６７＋（１×６）＝７となる。

図２９に示すように、アドレス（２，ｅ）、（３，ｅ）に近接Ｇ画素がある場合にも同様の法則で、アドレス（２，ｄ）、（３，ｄ）、（４，ｄ）の欠落Ｇ画素をそれぞれ「０．２５」、「０．４」、「０．５」として、その他の欠落Ｇ画素を「１」とする。その結果、評価値は０．２５＋０．４＋０．５＋（１×５）＝６．１５となる。

図３０に示すように、アドレス（２，ｅ）、（３，ｅ）、（２，ｅ）に近接Ｇ画素がある場合にも同様の法則で、アドレス（２，ｄ）、（３，ｄ）、（４，ｄ）の欠落Ｇ画素をそれぞれ「０．２５」、「０．１６」、「０．２５」として、その他の欠落Ｇ画素を「１」とする。その結果、評価値は０．２５＋０．１６＋０．２５＋（１×５）＝５．６６となる。

このように近接画素の位置、数に応じて評価値が定められる。なお、上述の評価値の算出では水平・垂直方向に隣接する近接Ｇ画素の重みづけを、斜め方向に隣接する近接Ｇ画素の重みづけの倍にしているが、重みづけの量は適宜変更してもよい。

図２５に戻って、検査装置７８は、評価値算出部７９、登録処理部８０を備えている点を除けば基本的には第１実施形態の検査装置４０と同じである。評価値算出部７９は、判定処理部４２で検査対象画素が「疎Ｇ欠陥画素」と判定された場合に、前述の図２６から図３０に示したように評価値を算出する。

登録処理部８０は、第１実施形態の登録処理部４５と同様に、疎Ｇ欠陥画素の欠陥画素情報を密Ｇ欠陥画素の欠陥画素情報よりも優先的に欠陥画素情報データ７６に登録する。さらに、登録処理部８０は、疎Ｇ欠陥画素に関する欠陥画素情報を登録する際に、評価値算出部７９で算出された評価値が高いものについては優先的に登録する。

ここで「優先的に登録」とは、「疎のＧ画素の全画素数」に対する「相対的に評価値が高い疎Ｇ欠陥画素の登録数」の割合が、「疎のＧ画素の全画素数」に対する「相対的に評価値が低い疎Ｇ欠陥画素の登録数」の割合よりも高くなるように、欠陥画素情報の登録を行うことである。なお、相対的に評価値が高い疎Ｇ欠陥画素の欠陥画素情報を、相対的に評価値が低い疎Ｇ欠陥画素の欠陥画素情報よりも先に欠陥画素情報データ７６に登録してもよい。

なお、第４実施形態の欠陥画素情報の登録処理は、前述の通り、相対的に評価値が高い疎Ｇ欠陥画素の欠陥画素情報を欠陥画素情報データ７６に優先的に登録する点を除けば、上記第１実施形態と基本的に同じであるのでここでは説明を省略する。また、第４実施形態のデジタルカメラ７５の作用も、図９に示した第１実施形態と基本的に同じであるので、ここでは説明を省略する。デジタルカメラ７５では、疎Ｇ欠陥画素の中でも周囲の欠落Ｇ画素の画素値に与える影響が大きい（評価値が高い）画素の欠陥画素情報が優先的に欠陥画素情報データ７６に登録されて優先的に補間処理されるので、より良好な撮影画像データが得られる。

［第４実施形態のその他］
上記第４実施形態では、疎Ｇ欠陥画素の画素補間処理や登録処理について優先順位を設けた場合を例に挙げて説明したが、他の種類のＧ欠陥画素についても同様に画素補間処理や登録処理に優先順位を設けてもよい。なお、Ｒ、Ｂ画素欠陥についても同様である。

［第５実施形態のデジタルカメラの構成］
次に、図３１を用いて本発明の第５実施形態のデジタルカメラ８３について説明を行う。上記各実施形態のデジタルカメラでは、外部の検査装置により得られた欠陥画素情報を欠陥画素情報データに登録しているが、デジタルカメラ８３は、欠陥画素の判定と欠陥画素情報の登録を行う機能を有している。

デジタルカメラ８３は、例えば画像処理回路２５内に欠陥画素検査回路８４を有する点を除けば、第１実施形態のデジタルカメラ１０と基本的に同じ構成である。欠陥画素検査回路８４は、上記各実施形態の検査装置４０，５９，６７，７８のいずれかと同等の機能を有している。欠陥画素検査回路８４は、デジタルカメラ７５の電源がＯＮされたとき、動作モードが撮影モードに切り替えられたとき、あるいは一定期間毎の任意のタイミングで、前述の欠陥画素の判定処理と登録処理を行う。これにより、経時変化によって新たに発生した画素欠陥、いわゆる後発性欠陥にも対応することができる。

［その他］
上記第３実施形態のデジタルカメラ６５では、図２０に示したように、撮影条件（例えば撮影ゲイン、露光時間、素子温度）に応じて異なる欠陥画素情報データを記憶部２７に格納し、この記憶部２７から撮影条件に対応する欠陥画素情報データを取得して画素補間処理を行っているが、本発明はこれに限定されるものではない。例えば、図３２に示すデジタルカメラ５５ａのように、欠陥画素情報データ５７を１つのデータとして備え、この欠陥画素情報データ５７から撮影条件に対応する欠陥画素情報を取り出してもよい。

欠陥画素情報データ５７には、撮影条件が変化したときに各撮影条件（図２０等に示した撮影条件の範囲）のいずれかで発生する欠陥画素の欠陥画素情報が登録されている。

補間処理部２６ａは、欠陥画素情報データ５７に登録されている欠陥画素情報の中で、画素値が例えば撮影条件（撮影条件の種類、範囲）毎、及び欠陥画素の種類毎にそれぞれ予め定められたしきい値以上となる欠陥画素情報を取得して、画素補間処理を行う。あるいは、補間処理部２６ａは、例えば欠陥画素情報データ５７に登録されている各欠陥画素情報の画素値に、撮影条件毎及び欠陥画素の種類毎にそれぞれ予め定められた係数または関数を掛けて、係数等を掛けた後の画素値が所定の値以上になる欠陥画素情報を取得する。なお、撮影条件に対応した欠陥画像情報の取得方法は、上記方法に限定されずに種々の方法を取ることができる。

このように、１つの欠陥画素情報データ５７から撮影条件に対応した欠陥画素情報を取得する場合も、前述の第３実施形態と同様の効果が得られる。

なお、デジタルカメラ５５ａにおいても、第５実施形態のデジタルカメラ６５と同様に、欠陥画素の判定と欠陥画素情報の登録を行ってもよい。この場合に、例えば全ての画素の画素値を記憶しておき、画素値が前述のしきい値以上となる画素、あるいは前述の係数等を掛けた画素値が所定の値以上となる画素を欠陥画素として、この欠陥画素に関する欠陥画素情報を取得してもよい。この場合でも、補間処理に係る処理時間の増加は防止される。

上記第２実施形態では、疎・密Ｇ連欠陥画素の画素値の補間処理を行う際に、図１５に示したように疎Ｇ欠陥画素及び密Ｇ欠陥画素にそれぞれ隣接する３つのＧ画素の画素値を用いて補間処理を行っているが、本発明はこれに限定されるものではない。例えば、図３３中の矢印で示すように、密Ｇ欠陥画素の画素値を補間処理により先に求めた後で、この画素値と、疎Ｇ欠陥画素に斜め方向に隣接する他のＧ画素の画素値とを用いて疎Ｇ欠陥画素の画素値を補間処理により求めてもよい。

本発明のカラー撮像素子のカラーフィルタ配列は、図２などに示した配列パターンに限定されるものではなく、少なくとも１色のカラーフィルタに「疎のフィルタ」と「密のフィルタ」とが含まれるような配列パターンであればよい。例えば、カラーフィルタ配列が、水平及び垂直方向に繰り返し配置されたＮ×Ｎ画素（Ｎは３以上）に対応する配列パターンの基本配列パターンにより構成され、かつこの基本配列パターンの２つの対角線上に沿ってＧフィルタ３４Ｇ（第１色のフィルタ）が配置されていてもよい。この場合に、カラーフィルタ配列には、Ｇフィルタ３４Ｇ（第１色のフィルタ）が２×２画素以上に対応する配列パターンで互いに水平及び垂直方向に隣接して配置されている正方配列と、Ｇフィルタ３４Ｇ（第１色のフィルタ）の孤立配列とが含まれる。

上記第２実施形態以降の各実施形態では、Ｇ画素（Ｇフィルタ３４Ｇ）に「疎のＧ画素（疎のＧフィルタ３４Ｇ）」と「密のＧ画素（密のＧフィルタ３４Ｇ）」が含まれる場合について説明したが、Ｒ、Ｂ画素（Ｒ、Ｂフィルタ３４Ｒ、３４Ｂ）に「疎のＲ、Ｂ画素（疎のＲフィルタ３４Ｒ，３４Ｂ）」と「密のＲ，Ｂ画素（密のＲフィルタ３４Ｒ、３４Ｂ）」とが含まれていてもよい。さらに、全ての実施形態において、２色以上の画素（カラーフィルタ）に、「疎の画素（疎のフィルタ）」と「密の画素（密のフィルタ）」とが含まれていてもよい。

上記第１実施形態では、「疎Ｇ欠陥画素の補間処理数・登録数の割合Ｒ２」＞「密Ｇ欠陥画素の補間処理数、登録数の割合Ｒ１」とすることを、疎Ｇ欠陥画素の補間処理・登録を優先的に行うと定義しているが、本発明はこれに限定されるものではない。例えば、「疎Ｇ欠陥画素の補間処理・登録」を、「密Ｇ欠陥画素の補間処理、登録」よりも先に行うこと優先的としてもよい。前述の通り、デジタルカメラにおける欠陥画素の補間処理数・登録数には上限があるので、「疎Ｇ欠陥画素の補間処理・登録」を先に行った場合には、前述の割合Ｒ２＞割合Ｒ１となる。さらに、第１実施形態以外の各実施形態についても、相対的に優先順位の高い欠陥画素の補間処理・登録を、相対的に優先順位の低い欠陥画素の補間処理・登録よりも先に行ってもよい。

また、上記第１実施形態において、「疎Ｇ欠陥画素の補間処理数・登録数」を「密Ｇ欠陥画素の補間処理数、登録数」よりも大きくすることを「優先的に補間処理・登録」としてもよい。さらに、第１実施形態以外の各実施形態についても、「相対的に優先順位の高い欠陥画素の補間処理数・登録数」＞「相対的に優先順位の低い欠陥画素の補間処理数・登録数」としてもよい。

上記各実施形態では、ＲＧＢの３原色のカラーフィルタのカラーフィルタ配列について説明したが、例えばＲＧＢの３原色＋他の色（例えば、エメラルド（Ｅ））の４色のカラーフィルタのカラーフィルタ配列であっても良く、カラーフィルタの種類は特に限定されない。また、本発明は、原色ＲＧＢの補色であるＣ（シアン）、Ｍ（マゼンタ）、Ｙ（イエロー）のカラーフィルタのカラーフィルタ配列にも適用できる。

上記の各実施形態では、本発明のカラー撮像素子を備える撮像装置としてデジタルカメラを例に挙げて説明を行ったが、例えば内視鏡などの各種の撮像装置に本発明を適用することができる。

更にまた、本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

１０，４８，４９，５０，５２，５５，６５，７５…デジタルカメラ、２０…カラー撮像素子、２５…画像処理回路、２６…補間処理部、２７…欠陥画素情報記憶部、３４Ｒ…Ｒフィルタ、３４Ｇ…Ｇフィルタ、３４Ｂ…Ｂフィルタ、３７，５７ａ〜５７ｃ，７６…欠陥画素情報データ、４０，６７，７８…欠陥画素検査装置、４２，６９…判定処理部、４３…画素情報、４４…しきい値情報、４５，６２…登録処理部、Ｐ，Ｐ１，Ｐ２，Ｐ３，Ｐ４…基本配列パターン

Claims (12)

1. 水平方向及び垂直方向に配列された光電変換素子により構成される複数の画素上に、複数色のカラーフィルタが所定のカラーフィルタ配列で配設されてなるカラー撮像素子であって、少なくとも１色の前記カラーフィルタは、前記水平及び垂直方向に隣接する同色の前記カラーフィルタの第１隣接数が相対的に少ない、或いは前記第１隣接数が共にＭ（０≦Ｍ≦４）である場合に斜め方向に隣接する同色の前記カラーフィルタの第２隣接数が相対的に少ない疎のフィルタと、相対的に多い密のフィルタとを含んでおり、前記複数の画素は、前記疎のフィルタに対応する疎の画素と、前記密のフィルタに対応する密の画素とを含むカラー撮像素子と、
   前記複数の画素に含まれる欠陥画素であって、前記疎のフィルタに対応する疎欠陥画素と、前記密のフィルタに対応する密欠陥画素とを含む欠陥画素に関する欠陥画素情報を取得する取得手段と、
   前記取得手段が取得した前記欠陥画素情報に基づき、前記欠陥画素の画素値を当該欠陥画素の周辺で且つ同色の前記カラーフィルタの下方に位置する周辺画素の画素値から補間処理により求める補間手段であって、前記密の画素の全画素数に対する前記密欠陥画素の補間の第１割合よりも、前記疎の画素の全画素数に対する前記疎欠陥画素の補間の第２割合を高くする補間手段と、
   を備える撮像装置。
2. 前記欠陥画素情報が登録された欠陥画素情報記憶手段であって、前記密の画素の全画素数に対する前記密欠陥画素の前記欠陥画素情報の登録数の割合よりも、前記疎の画素の全画素数に対する前記疎欠陥画素の前記欠陥画素情報の登録数の割合が高くされている欠陥画素情報記憶手段を備えており、
   前記取得手段は、前記欠陥画素情報記憶手段から前記欠陥画素情報を取得する請求項１記載の撮像装置。
3. 前記欠陥画素情報記憶手段には、撮影条件が変化したときに各撮影条件のいずれかで発生する前記欠陥画素の前記欠陥画素情報が登録されており、
   前記取得手段は、前記撮影条件に対応した前記欠陥画素情報を前記欠陥画素情報記憶手段から取得する請求項２記載の撮像装置。
4. 前記撮影条件には、前記カラー撮像素子のゲイン、露光時間、及び温度の少なくともいずれかが含まれる請求項３記載の撮像装置。
5. 前記カラーフィルタ配列は、前記１色の前記カラーフィルタが２×２画素以上に対応する配列パターンで隣接して配置されてなる正方配列と、前記１色の前記カラーフィルタが前記水平方向及び垂直方向に前記１色とは異なる色の前記カラーフィルタに隣接して配置されてなる孤立配列とを有する請求項１から４のいずれか１項記載の撮像装置。
6. 前記１色の前記カラーフィルタは、輝度信号を得るために最も寄与する第１の色に対応する第１のフィルタであり、
   前記カラーフィルタ配列は、前記第１のフィルタと、前記第１の色以外の２色以上の第２の色に対応する第２のフィルタとがＮ×Ｎ（Ｎ：３以上の奇数）画素に対応する配列パターンで配列された基本配列パターンを含み、該基本配列パターンが水平方向及び垂直方向に繰り返して配置される請求項５記載の撮像装置。
7. 前記第１のフィルタは、前記基本配列パターン内の２つの対角線上に配置されており、
   前記カラーフィルタ配列は、前記第１のフィルタで構成される２×２画素に対応する配列パターンの正方配列を含む請求項６記載の撮像装置。
8. 前記複数の画素には、前記疎の画素と前記密の画素とが前記水平、垂直、斜めの各方向のいずれかにおいて隣接してなる第１の連画素が複数含まれており、
   前記補間手段は、前記欠陥画素情報に基づき、前記欠陥画素の中に前記疎欠陥画素と前記密欠陥画素とが前記各方向のいずれかにおいて隣接してなる第１の連欠陥画素が含まれている場合に、前記第１の連画素の全数に対する前記第１の連欠陥画素の補間の第３割合を、前記第２割合よりも高くする請求項５から７のいずれか１項記載の撮像装置。
9. 前記複数の画素には、２つの前記疎の画素が前記水平、垂直、斜めの各方向のいずれかにおいて近接してなる第２の連画素が複数含まれており、
   前記補間手段は、前記欠陥画素情報に基づき、前記欠陥画素の中に２つの前記疎欠陥画素が前記各方向のいずれかにおいて近接してなる第２の連欠陥画素が含まれている場合に、前記第２の連画素の全数に対する前記第２の連欠陥画素の補間の第４割合を、前記第２割合よりも高くする請求項５から８のいずれか１項に記載の撮像装置。
10. 前記複数の画素には、２つの前記密の画素が前記水平、垂直、斜めの各方向のいずれかにおいて隣接または近接してなる第３の連画素が複数含まれており、
    前記補間手段は、前記欠陥画素情報に基づき、前記欠陥画素の中に２つの前記密欠陥画素が前記各方向のいずれかにおいて隣接または近接してなる第３の連欠陥画素が含まれている場合に、前記第３の連画素の全数に対する前記第３の連欠陥画素の補間の第５割合を、前記第２割合よりも高くする請求項５から９のいずれか１項に記載の撮像装置。
11. 前記複数の画素には、前記疎の画素及び前記密の画素が前記水平、垂直、斜めの各方向のいずれかにおいて隣接してなる第１の連画素と、２つの前記疎の画素が前記各方向のいずれかにおいて近接してなる第２の連画素とがそれぞれ複数含まれており、
    前記補間手段は、前記欠陥画素情報に基づき、前記欠陥画素の中に前記疎欠陥画素と前記密欠陥画素とが前記各方向のいずれかにおいて隣接してなる第１の連欠陥画素と、２つの前記疎欠陥画素が前記各方向のいずれかにおいて近接してなる第２の連欠陥画素とが含まれている場合に、前記第１の連画素の全数に対する前記第１の連欠陥画素の補間の第３割合よりも、前記第２の連画素の全数に対する前記第２の連欠陥画素の補間の第４割合を高くする請求項５から７のいずれか１項記載の撮像装置。
12. 前記複数の画素には、２つの前記密の画素が前記水平、垂直、斜めの各方向のいずれかにおいて隣接または近接してなる第３の連画素が複数含まれており、
    前記補間手段は、前記欠陥画素情報に基づき、前記欠陥画素の中に、前記第１の連欠陥画素と、前記第２の連欠陥画素と、２つの前記密欠陥画素が前記各方向のいずれかにおいて隣接または近接してなる第３の連欠陥画素とが含まれている場合に、前記第３の連画素の全数に対する前記第３の連欠陥画素の補間の第５割合を、前記第３割合及び前記第４割合よりも低くする請求項１１記載の撮像装置。

Images