JP5144916B2 - 画像信号処理方法および装置 - Google Patents

Description

分野

本明細書で説明する実施形態は、デジタル画像における欠陥画素検出の分野に関する。より詳細には、本明細書で説明する実施形態は、デジタルカメラ内で処理された画像におけるオンザフライの欠陥画素検出方法およびシステムに関する。

本明細書は、少なくとも画像信号処理方法および装置を開示するものである。

背景

デジタルカメラおよびスキャナ等の撮像装置は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）デバイスとして製造された１個以上の撮像センサを含んでいる。画像センサは、発光体からのエネルギーを捕捉する検出画素のアレイから構成されており、このエネルギーを強度値等の電気的測定値へと変換することが多い。ほとんどの場合、画像センサは作製または製造誤差に起因する一定数の「欠陥がある」画素位置を有することになる。センサの欠陥画素は、発光体への露光時に、同じ発光体に露光された際に完全に機能する画素とは異なる強度値または応答を生成するものである。言い換えれば、欠陥画素は、光に対して異常に感受性が高いかまたは低い。

画素欠陥は、高抜け（ｓｔｕｃｋ−ａｔ−ｈｉｇｈ）、低抜け（ｓｔｕｃｋ−ａｔ−ｌｏｗ）、および異常応答の３つのカテゴリーに分けられる。高抜け欠陥画素は、常に高い強度値を生成することによって照明条件に応答するものである。例として、画素強度が０（低）〜２５５（高）の場合、例えば機能する画素によって捕捉した場合にその場面のその位置の実測強度が３１、５０、１００等だとしても、高抜け欠陥画素は常に２４８の値で照明に応答してしまう。低抜け欠陥画素は、常に低い強度値を生成することによって照明条件に応答するものである。同じシステムにおいて、機能する画素が強度値を２００、１００、７８等と示すような場合でも、低抜け欠陥画素は例えば５の値で応答してしまう。異常応答欠陥を持つ画素は、機能する画素からの絶対的ではなくむしろ相対的な分散を有する。異常応答欠陥を持つ画素は、機能する画素が値Ｘを読み取る場合に異常応答欠陥画素が代わりに例えば０．２５*Ｘの値で応答するように、特定の比率で不正確に応答する。異常応答は、このように捕捉される強度に対して比例的に高くなるか低くなる。これらの種の欠陥のどれを呈する画素も補正または補償することが望ましい。

従来、欠陥画素の検出は、センサ作製中またはレンズキャップを閉めた状態でのカメラ初期設定中等の制御環境において行われてきた。識別された位置を記録し、センサが使用されるデジタルカメラ等の装置上の不揮発性メモリへと転送する。追加のメモリが必要となるため、カメラシステム設計全体に追加コストおよび製造上の複雑さが増していた。

カメラ動作中の欠陥画素の一検出方法は、統計学的分析手法を利用する。統計学的分析手法では、欠陥画素がバイナリ仮説検定スキームにより検出される。Ｐ１仮説（画素が「欠陥がある」クラスに属する）の尤度がＰ０（画素が「正常な」クラスに属する）よりも大きい場合に、画素は「欠陥がある」として分類される。この方法は、欠陥画素位置を記録するためのメモリ空間を必要としないが、まだいくらかのオフライン計算が必要である。加えて、累積尤度比を得るために多数の「トレーニング用」画像を用いる必要がある。推定の偏りを回避するため、トレーニング用画像の選択には特別な配慮が必要である。

より自由な画像欠陥補正方法は、これもやはりカメラ動作中に欠陥画素を除去するのに利用されてきたが、欠陥画素を検出するのではなく、画像ごとのノイズ除去手法をセンサ出力（画像）全体に適用することにより未知の欠陥をノイズとしてフィルタ除去する。欠陥画素フィルタリングの課題は、欠陥画素の分布が通常ランダムであり、欠陥位置が通常孤立していることに由来する。ある形の線形ローパスフィルタを用いても、この種のノイズのインパルス応答の性質のせいでうまくいかない。結果として、多数の良好な画素すなわち画像細部が、不良画素と一緒にフィルタ除去されてしまう。強力メジアンまたはランクフィルタは、濃淡が混在したノイズには良い解決策だが、フィルタサポートが限定されている場合には残念なことに欠陥と一緒に画像細部をもフィルタ除去してしまいかねない。

概要

本明細書は少なくとも以下を開示する。画像信号処理方法において、デジタル画像表現を捕捉したレンズセンサ配列の既知の解像能力を参照して評価対象の画素とその周囲の画素との比較に基づいて、デジタル画像表現における欠陥画素をオンザフライで決定する。欠陥画素の決定に応じて欠陥画素を補正する。

したがって、データを記憶する大容量メモリを必要としない局所的な欠陥を検出可能な欠陥画素検出方法および装置が必要である。また、大きな処理電力を必要としない欠陥画素検出方法およびシステムも必要である。デジタル撮像装置内で迅速かつ効率的に動作可能な欠陥画素検出方法および装置も必要である。個々の欠陥画素を補正する手段と統合する欠陥画素検出方法および装置も必要である。本発明の種々の実施形態、欠陥画素検出方法および装置は本明細書で説明する他の利点とともにこれらの利点を提供する。

概して、実施形態は、２ステージ処理により欠陥画素を隠す。欠陥画素は、まず非線形プロセスによりオンザフライで検出され、次に局所的補間により補正される。一例では、欠陥画素が２つの規則により検出される。（１）考慮対象の画素が、その周囲画素と比較する際に、センサがあるレンズセンサシステムの解像度よりも大幅に高いコントラストまたは変調を生成する場合、ならびに（２）コントラストが全ての空間方向に沿って高い、例えば挙動がインパルス応答に類似している場合には、その画素は欠陥画素である可能性が非常に高い。

本発明の一実施形態は、画像信号処理方法である。この実施形態では、デジタル画像表現を捕捉したレンズセンサ配列の既知の解像能力を参照して評価対象の画素とその周囲の画素との比較に基づいて、デジタル画像表現における欠陥画素をオンザフライで決定する。欠陥画素の決定に応じて欠陥画素を補正する。一実施形態では、Ｂａｙｅｒパターンアレイの形式のデジタル画像表現を受信する。一実施形態では、レンズセンサ配列の解像能力を記述するパラメータを取得する。一実施形態では、デジタル画像表現の部分における評価対象の画素周囲の同色画素の平均値を計算する。次に、評価対象の画素がフラット画像領域にあるか、またはエッジ画像領域にあるかを決定する。一実施形態では、画像の暗部領域に合わせた変調伝達関数を利用して平均値を計算する。一実施形態では、欠陥画素を補正するステップが、各欠陥画素を、デジタル画像表現の部分における欠陥画素周囲の同色画素の平均値を含む置換用画素と置換する工程を備える。

画像信号処理方法の一実施形態では、評価対象の画素とその周囲画素との比較が、評価対象の画素を生成するのに用いられるレンズセンサ配列に固有の変形変調伝達関数との比較を含む。一実施形態では、評価対象の画素がフラット画像領域にある場合に、比較が、評価対象の画素と画像のフラット領域にある画素に合わせた変調伝達関数との比較を含む。一実施形態では、評価対象の画素がエッジ画像領域にある場合に、比較が、評価対象の画素と画像のエッジ領域にある画素に合わせた変調伝達関数との比較を含む。一実施形態では、方法が、コンピュータシステムに画像信号処理方法を行わせるコンピュータ可読コードを備える。

一実施形態によれば、画像信号処理装置が、周囲画素補間器と、画素評価器と、画素置換器とを備える。周囲画素補間器は、デジタル画像表現の部分における評価対象の画素周囲の同色画素の平均値を計算するものである。画素評価器は、周囲画素補間器と結合されている。画素評価器は、レンズセンサ配列の既知の解像能力を参照して評価対象の画素とその周囲の画素との比較に基づいて、評価対象の画素に欠陥があるかどうかを決定するものである。画素評価器は、画素置換器と結合されている。画素置換器は、各欠陥画素を、周囲画素補間器により計算された平均値を含む置換用画素と置換するように構成されている。

一実施形態は、画素位置決定器も備えている。画素位置決定器は、画素評価器と結合されている。画素位置決定器は、評価対象の画素がフラット画像領域にあるか、エッジ画像領域にあるかを決定するものである。画像信号処理装置の一実施形態は、周囲画素補間器と結合された画像データ受信器も備えている。画像データ受信器は、デジタル画像表現をＢａｙｅｒパターンアレイの形式で受信するように構成されている。一実施形態では、周囲画素補間器が、画像の暗部領域に合わせた変調伝達関数を利用して平均値を計算するように構成されている。一実施形態では、各置換用画素が、デジタル画像表現の部分における評価対象の画素周囲の同色画素の平均値を含んでいる。一実施形態では、画素評価器が、レンズセンサ配列に固有の変形変調伝達関数との比較に基づいて評価対象の画素に欠陥があるかどうかを決定するように構成されている。一実施形態では、フラット画像領域にある画素を評価する際に、画素評価器が、画像のフラット領域にある画素に合わせた変調伝達関数を利用するように構成されている。一実施形態では、エッジ画像領域にある画素を評価する際に、画素評価器が、画像のエッジ領域にある画素に合わせた変調伝達関数を利用するように構成されている。一実施形態は、レンズセンサ配列の解像能力を表すパラメータを含むメモリ素子をさらに備える。

本発明の一実施形態によれば、画像信号処理装置は、画像信号プロセッサに加えて光学レンズと画像センサも備えているデジタル撮像装置で利用される。一実施形態では、画像センサがＣｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ（ＣＣＤ）を備える。一実施形態では、画像センサがＣｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ（ＣＭＯＳ）デバイスを備える。

本明細書に組み込まれ、その一部を形成する添付図面は、本発明のいくつかの実施形態を示しており、説明とともに本発明の原理を説明するために役立つであろう。

詳細な説明

次に、本発明の種々の実施形態、添付の図に図示した欠陥画素検出方法およびデバイスの例を詳細に参照されたい。本発明をこれらの実施形態とともに説明するが、これらの実施形態に本発明を限定する意図はないことは理解される。むしろ本発明は、添付の特許請求の範囲により定義されたような本発明の精神と範囲内に含まれうる代替物、変形物および均等物を対象とするよう意図されている。さらに、以下の発明の詳細な説明では、本発明の十分な理解を与えるために数多くの具体的な詳細を説明する。しかしながら、本発明がこれらの具体的な詳細無しでも実施可能であることは当業者には認識される。他の例では、本発明の態様を不必要に分かりにくくすることがないよう周知の方法、手順、コンポーネントおよび回路を細部まで説明していない。

以下に続く詳細な説明のいくつかの部分は、手順、ステップ、論理ブロック、処理、およびその他コンピュータメモリ上で実行可能なデータビット上の動作の象徴的な表現で示している。これらの説明および表現は、画像処理技術の当業者により他の当業者にその作業の本質を最も効果的に伝達するために用いられる手段である。手順、コンピュータ実行ステップ、論理ブロック、プロセス等が本明細書に含まれ、概して、所望の結果をもたらす首尾一貫した一連のステップまたは命令であると想到される。このステップは、物理量の物理的操作を必要とするものである。必ずしもそうではないが、通常、これらの量は記憶、転送、合成、比較、およびコンピュータシステム内で別の方法で操作可能な電気または磁気信号の形を取る。主として一般的な使用には、これらの信号をビット、値、要素、記号、文字、用語、数などと呼ぶのが、ときに簡便であることが分かっている。

しかしながら、これらおよび類似の用語の全てが適切な物理量と関連付けられるが、これらの量に適用される簡便な標示に過ぎないことに留意されたい。本発明を通して、「計算する」または「平均する」または「決定する」または「受信する」または「評価する」または「補正する」または「比較する」または「与える」または「置換する」等の用語を用いる議論が、電子デバイスのレジスタおよびメモリ内の物理（電子）量で表されたデータを、電子デバイスメモリまたはレジスタあるいは他のこのような情報記憶、通信または表示デバイス内の同様に物理量として表される他のデータへと操作および変換する電子システム（例えば、図１のデジタル撮像装置１００、図２のコンピュータシステム２１２、または類似の電子コンピューティングデバイス）の作用およびプロセスを指していることは当然のことである。

本発明の実施形態

本発明の種々の実施形態、欠陥画素検出方法および装置を本明細書で説明する。

図１は、例示的なデジタル撮像装置１００のブロック図である。本明細書で説明するデジタル撮像装置１００が、本発明の実施形態を実施可能な動作プラットフォームの例示的な構成を示していることは当然のことである。しかしながら、本発明の範囲内でデジタル撮像装置１００の代わりに異なる構成を持つ他のデジタル撮像装置を用いることも可能である。つまり、デジタル撮像装置１００には、図１とともに説明するもの以外の要素を含めることも可能である。

デジタル撮像装置１００は光学レンズ１１０を含んでおり、画像センサ１２０に発光体１０５を伝送する。画像センサ１２０は、アレイとして構成されており、Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ（ＣＣＤ）、Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ（ＣＭＯＳ）撮像素子等とすることが可能である。画像センサ１２０は、結合器を介してアナログ画像情報をアナログ／デジタルコンバータ（ＡＤＣ）１３０に送信するが、これはセンサ１２０がデジタル画像表現を出力可能な場合の任意的なものである。ＡＤＣ１３０は、結合器１３５を介して画像センサデータのデジタル表現をＧｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｏｒ Ｕｎｉｔ（ＧＰＵ）１４０、画像信号プロセッサ１４５、および欠陥画素検出器１５０に送信する。一実施形態では、結合器１３５を介して移送された画像センサデータのデジタル表現が、画素アレイパターンを構成するデジタルデータの行と列のアレイ形式のデジタル画像表現である。本発明は、Ｂａｙｅｒアレイ、ＣＹＭＧ（シアン、イエロー、マゼンタ、グリーン）アレイ、ＲＧＢＥ（レッド、グリーン、ブルー、エメラルド）アレイ、３ＣＣＤアレイ（同じ画像を捕捉する３個の電荷結合素子の１個からの単一アレイ）、ハニカムアレイの形式、または別の画素アレイの形式で受信された画素のアレイを扱う作業に適している。説明として、簡単にするために、本発明の機能性はアレイのうちの１個だけ、例示的なＢａｙｅｒパターンアレイとともに説明する。しかし、本発明で説明する方法および装置が、ＣＹＭＧアレイ、ＲＧＢＥアレイ、３ＣＣＤアレイ、ハニカムアレイ等の他の画素アレイフォーマットに同等に適用可能であることは当然のことである。

Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｏｒ Ｕｎｉｔ（ＧＰＵ）１４０は、音声、静止画像、動画像等を処理するものである。画像信号プロセッサ１４５は、未加工の画像データを信号ライン１５５上に出力される走査線画像データへと処理するものである。一実施形態では、画像信号プロセッサ１４５が、ライン１３５を通じて入力された未加工画像データの欠陥を検出し補正する。欠陥画素検出器１５０は、センサ１２０からの画像データのデジタル表現における欠陥画素を検出するプロセスを行うものである。欠陥画素検出器１５０からの結果は、ライン１５５を通じて画像信号プロセッサ１４５、ＧＰＵ１４０、およびデジタル撮像装置１００の他の部分へと出力される。本発明の一実施形態では、欠陥画素検出器１５０、画像信号プロセッサ１４５、およびＧＰＵ１４０の機能のいくつかまたは全てを、デジタル撮像装置１００または類似のデバイス内で実行されるコンピュータ可読コードとして実施可能である。本発明の一実施形態では、欠陥画素検出器１５０、画像信号プロセッサ１４５、およびＧＰＵ１４０の機能のいくつかまたは全てを、デジタル撮像装置１００内のデジタル信号プロセッサチップ、特定用途向け集積回路（ＡＳＩＣ）、または同様のデバイスにおいて実施可能である。

欠陥画素検出器１５０、画像信号プロセッサ１４５、およびＧＰＵ１４０からの出力は、信号ライン１５５上で移送される。一実施形態では、信号ライン１５５を欠陥画素検出器１５０、画像信号プロセッサ１４５、およびＧＰＵ１４０へのユーザおよびシステム入力も可能とするコンピュータバスとすることができる。任意的な大容量メモリ１６０も信号ライン１５５と結合される。大容量メモリ１６０は、ランダムアクセスメモリ、フラッシュメモリ型カード、コンパクトフラッシュカード、Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ（ＳＤ）カード、ＭｕｌｔｉＭｅｄｉａ Ｍｅｍｏｒｙ Ｃａｒｄ （ＭＭＣ）、ディスケット、ハードディスクドライブ等から構成されてもよい。一実施形態では、大容量メモリ１６０を取り外し可能である。任意的なユーザ入力部１７０も信号ライン１５５と結合される。ユーザ入力部１７０は、スイッチ、ボタン、ジョイスティック、キーボード、電子メニュー、タッチパッド、またはユーザ入力をデジタルデバイスに与える他の類似の手段を備えてもよい。一実施形態では、ユーザ入力部１７０が、欠陥画素検出器１５０、画像信号プロセッサ１４５、およびＧＰＵ１４０における任意的なユーザ選択を可能とすることができる。

任意的なディスプレイ１８０も信号ライン１５５と結合される。一実施形態では、任意的なディスプレイ１５５が画像およびユーザ選択可能な任意的な表示を可能とする。ディスプレイ１５５は、液晶ディスプレイ、プラズマディスプレイ、ＣＲＴまたは類似の画像表示用アイテムとすることができる。任意的な入力／出力デバイス１９０も信号ライン１５５と結合される。入力／出力デバイス１９０をＵｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ（ＵＳＢ）ポートまたはネットワークアダプタポート等の標準ポートとすることができる。デジタル撮像装置１００を任意的なハウジング１０２内に収容可能である。一実施形態では、ハウジング１０２をカメラ本体の形に成形可能である。このような実施形態では、デジタル撮像装置１００がデジタルカメラ、デジタルビデオカメラ、ウェブカメラ等として動作可能である。一実施形態では、デジタル撮像装置１００が画像スキャナの形式である。一実施形態では、デジタル撮像装置１００がバッテリまたは交流アダプタ等の電源（図示せず）も備えている。

図２には、例示的なコンピュータシステム２１２のブロック図が示されている。一実施形態では、コンピュータシステム２１２等のコンピュータシステムで本発明の純粋なソフトウェア実施を実行可能である。コンピュータシステム２１２は、本発明の方法に従って欠陥画素を検出および補正するために、ライブの、またはデジタル的に記録された画像データを受信可能である。画像情報は、データ接続または取り外し可能メモリを介して、例えば、デジタルカメラ、ウェブカメラ、またはスキャナ等の取り付けられた撮像装置から受信可能である。キーボードおよびカーソル制御デバイス等のユーザ入力部は、本発明の欠陥画素検出および補正方法へのユーザ選択可能入力のユーザ操作を可能とする。本明細書で説明するコンピュータシステム２１２が、本発明の実施形態を実施可能な動作プラットフォームの例示的な構成を示していることは当然のことである。しかしながら、本発明の範囲内でコンピュータシステム２１２の代わりに異なる構成を持つ他のコンピュータシステムを用いることも可能である。つまり、コンピュータシステム２１２には、図２とともに説明するもの以外の要素を含めることも可能である。

コンピュータシステム２１２は、情報を通信するアドレス／データバス２００、バス２００と結合されて情報および命令を処理する中央処理装置２０１、バス２００と結合されて中央処理装置２０１用の情報および命令を記憶する揮発性メモリユニット２０２（例えば、ランダムアクセスメモリ（ＲＡＭ）、スタティックＲＡＭ、ダイナミックＲＡＭ等）、およびバス２００と結合されて中央処理装置２０１用の静的情報および命令を記憶する不揮発性メモリユニット２０３（例えば、リードオンリーメモリ（ＲＯＭ）、プラグラマブルＲＯＭ、フラッシュメモリ等）を含んでいる。コンピュータシステム２１２は、バス２００と結合されてコンピュータユーザに情報を表示する任意的なディスプレイデバイス２０５（例えば、モニタ、プロジェクタ、または液晶ディスプレイ）を含むこともできる。さらに、コンピュータシステム２１２は、情報および命令を記憶するデータ記憶デバイス２０４（例えばディスクドライブ）を含むこともできる。

コンピュータシステム２１２は、任意的な英数字入力デバイス２０６も含む。デバイス２０６は、情報およびコマンド選択を中央処理装置２０１に通信可能である。コンピュータシステム２１２は、バス２００と結合されてユーザ入力情報およびコマンド選択を中央処理装置２０１に通信する任意的なカーソル制御または指示デバイス２０７も含んでいる。コンピュータシステム２１２は、バス２００とも結合され、シリアルポートになり得る信号通信インターフェース（入力／出力デバイス）２０８も含んでいる。通信インターフェース２０８はまた、ワイヤレス通信機構を含むこともできる。通信インターフェース２０８を用いて、インターネットまたはイントラネット（例えばローカルエリアネットワーク）等の通信ネットワークを通じてコンピュータシステム２１２を他のコンピュータシステムと通信可能に結合することができる。

フラッシュメモリ型カード、コンパクトフラッシュカード、Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ（ＳＤ）カード、ＭｕｌｔｉＭｅｄｉａ Ｍｅｍｏｒｙ Ｃａｒｄ （ＭＭＣ）、ディスケット、取り外し可能ハードディスクドライブ等のオプショナルの取り外し可能記憶デバイス２１０も、コンピュータシステム２１２に含まれバス２００と結合される。コンピュータシステム２１２は、デジタル撮像装置、デジタルカメラ、ウェブカメラ、ビデオカメラ、画像スキャナ、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）撮像デバイス等のバス２００と結合された任意的な光学入力デバイス２１１も含んでいる。

図３は、本発明の一実施形態による例示的な画像信号プロセッサ１４５のブロック図を示している。画像信号プロセッサ１４５は、画素を生成するのに用いられるレンズセンサ配列の解像度に関する既知の能力を参照して、評価対象の画素を周辺画素と比較することによってオンザフライで欠陥画素を検出および補正するのに用いられる。ブロック３０１は、画像信号プロセッサ１４５で処理するために画像データを捕捉するのに用いられるレンズセンサシステムの能力に関する情報を提供する。この情報には、レンズセンサシステム用の変調伝達関数または変形変調伝達関数（詳細は後述する）の形式のパラメータが含まれる。これらのパラメータは、画像検知デバイス内で計算可能であるが、画像信号プロセッサ１４５による使用のために製造または工場型環境において事前に計算し記憶しておくのが好ましい。ブロック３０１は、使用中のレンズセンサの解像能力を記述するパラメータを記憶するメモリまたは使用中のレンズセンサの解像能力を記述するパラメータを計算するプロセッサを含むことができ、（図示のように）画像信号プロセッサ１４５に外部から結合可能であるか、または画像信号プロセッサ１４５内に配置可能である。

図１とともに前述したように、画像信号プロセッサ１４５の一部または全てをソフトウェアまたはハードウェアで実施可能である。画像信号プロセッサ１４５は、デジタル画像データを走査線形式で画素アレイの１行ずつ受信するのに用いられる任意的な画像データ受信器３０５から構成されている。画像データ受信器３０５は、画像データを受信するために画像センサデータライン１３５と、受信した画像データの行を一時的に記憶するために任意的に画像データバッファ３３０と結合されている。画像データ受信器３０５は、欠陥画素検出器１５０とも結合されており、必要に応じて画像データの行を欠陥画素検出器１５０に提供する。欠陥画素検出器１５０は、画像データのストリームで欠陥画素を検出するものである。欠陥画素検出器１５０を任意的な画像データ受信器３０５と、または画像データ受信器３０５を使用しない場合には画像センサデータライン１３５と結合可能である。欠陥画素検出器１５０は、任意的な置換器３２５と、または画素置換器３２５を使用しない場合には信号ライン１５５とも結合される。任意的な画素置換器３２５は、欠陥画素検出器１５０により検出されたあらゆる欠陥画素と置換用画素とを置換するものである。画素置換器３２５は、検出され置換された欠陥画素を有している画像のデジタル表現を走査線形式で出力するために信号ライン１５５と結合されている。

欠陥画素検出器１５０は、周囲画素補間器３１０、画素位置検出器３１５、および画素評価器３２０から構成されている。周囲画素補間器３１０は、評価対象の画素周囲の同色画素のコントラストの平均値を決定するものである。周囲画素補間器は、任意的な画像データ受信器３０５と、または画像データ受信器３０５を用いない場合には画像センサデータライン１３５と結合可能である。画像データ受信器を用いない場合には、周囲画素補間器が画像データ受信器３０５の機能を行う。周囲画素補間器３１０は、評価対象の画素周囲の画素の平均値に関する情報を提供する画素置換器３２５にも任意的に結合可能である。周囲画素補間器３１０は、画素位置決定器３１５および画素評価器３２０とも結合される。画素位置決定器３１５は、評価対象の画素がデジタル画像表現のエッジ領域にあるか、または（エッジでない）フラット領域にあるかを決定するために使用される。画素位置決定器３１５が画素評価器３２０と結合される。画素評価器３２０は、変形変調伝達関数との比較を行うことにより評価対象の画素に欠陥があるか否かを評価するように働く。画素評価器３２０は、検出した欠陥画素を置換するために任意的な画素置換器３２５と、または画素置換器３２５を用いない場合には欠陥画素に関する情報を出力するために信号ライン１５５と結合可能である。

周囲画素補間器３１０、画素位置検出器３１５、および画素評価器３２０において、変調伝達関数パラメータを利用可能である。これらの変調伝達関数パラメータは、画像信号プロセッサ１４５がその一部を成すシステム内で生成可能であるか、または事前に計算可能であり、使用のために記憶され、リンクを介してパラメータが提供される。例えば、処理される画素を生成するのに使用されるレンズセンサの解像能力に関するパラメータを得るために、周囲画素補間器３１０、画素位置検出器３１５、および画素評価器３２０がブロック３０１と結合される。

画像データ受信器３０５は、画像データを受信するために画像センサデータライン１３５と、受信した画像データの行を一時的に記憶するために任意的に画像データバッファ３３０と結合される。画像データは走査線または画素アレイの行の形式でデジタル画像表現として受信される。一実施形態では、画素アレイをＢａｙｅｒパターンとすることができる。本発明の他の実施形態では、画像データがＣＹＭＧアレイ、ＲＧＢＥアレイ、３ＣＣＤアレイ、ハニカムアレイまたは他のアレイ形式でデジタル画像として受信される。Ｂａｙｅｒパターン画素アレイを利用する実施形態では、画像データバッファ３０５を用いる場合に、信号ライン１３５を通じてセンサ１２０（図１）またはＡＤＣ１３０（図２）から送信可能な最大のＢａｙｅｒ画素アレイから最小４行のデータをバッファリングするのに十分なサイズである。他の画素アレイパターンを用いる場合には、最小サイズが処理開始に要するデータのライン数に依存する。入力データバッファを用いない場合には、画像データ受信器３０５が他の機能に加えて画像データバッファ３３０の機能も行う。

図４は、本発明の実施形態を実施可能な例示的なＢａｙｅｒ画素アレイ４００の図を示す。Ｂａｙｅｒ画素アレイ４００は、１２行×１２列で示されているが、より小さくても、もっと大きくてもよい。異なる４色の画素（カラーチャネル）は、「Ｒ」、「Ｂ」、「Ｇｒ」および「Ｇｂ」等の異なる文字で表されている。本発明の説明で用いる用語画素は、アレイ４００で丸を付けた画素４０５のような単一のカラーチャネルの単一のカラーユニットを指す。画素は、どの行または列においても４色のうち２色だけが現れるように特定の順序でＢａｙｅｒ画素アレイ４００に配列され、「Ｒ」等の同じ色の２画素が水平、垂直または対角線方向のいずれにおいても別の色の１画素によってのみ分離されるように、それら２色の画素が繰り返し交互になっている。エリア４０１、４０２、４０３、および４０４は、最小の４画素により水平、垂直および対角線方向のすべてにおいて互いに分離された異なる４色の画素の２×２画素群を表す。

図３を再び参照すると、周囲画素補間器３１０は、画素アレイにおける評価対象の画素周囲の同色画素のコントラストの平均値を決定するものである。本発明の一実施形態では、周囲画素補間器３１０が画素のＢａｙｅｒパターンアレイを評価するのに用いられる。別の実施形態では、周囲画素補間器３１０がＣＹＭＧアレイ、ＲＧＢＥアレイ、３ＣＣＤアレイ、ハニカムアレイまたは他のアレイ形式等の他のフォーマットの画素アレイを評価するのに用いられる。

図５は、本発明の一実施形態による評価対象の画素「Ｘ」周囲の同色画素（Ｐ１〜Ｐ８）のアレイ５００の図を示す。アレイ５００は、Ｂａｙｅｒ画素アレイ４００等の５行（行１〜行５）×５列（列１〜列５）サブセットのＢａｙｅｒ画素アレイである。画素アレイ５００におけるそれらの配置から分かるように、画素「Ｘ」およびＰ１〜Ｐ８は同色である。Ｐ１〜Ｐ８は、アレイ５００の水平、垂直および対角線方向における画素「Ｘ」周囲の同色の最近傍画素である。アレイ５００のようなアレイは、（センサ１２０等の）画像センサまたは（ＳＤＣ１３５等の）アナログ／デジタルコンバータから走査線形式で１行ずつ受信されるのが普通である。例えば、行１の全ての画素がまず受信され、次に行２の画素、次に行３の画素、次に行４の画素、最後に行５の画素が受信される。各画素は、デジタル的に受信されるが、そのサンプルの周期と関連付けられたある周期を有している。この周期はアレイ５００下側の「Ｔ」および「２Ｔ」の区分により示されている。表したように、画素「Ｘ」はフラットな画像領域にあり、もっと正確に言えば、画像のエッジ領域にはない。画素「Ｘ」が画像データ表現のエッジ領域にあったとしたら、２行目および／または２列目までがアレイ５００からなくなった状態となる。例えば、行１、行２、列１および列２がアレイからなくなっている、画素「Ｘ」がアレイの左上コーナーにあるという最悪のエッジ領域のケースでは、８側部のうち３側部のみが同色の画素、つまりＰ５、Ｐ７、Ｐ８だけで囲まれているに過ぎない。画素「Ｘ」がアレイのコーナーにある場合には、多くの他のエッジ領域配列があり得るが、画素「Ｘ」がアレイのコーナーにない場合には、エッジが普通に画素「Ｘ」を囲んでいる５×５画素アレイを横断する。

図３の周囲画素補間器３１０および図４を再び参照すると、平均画像コントラスト値は、水平、垂直および対角線方向のそれぞれについて評価対象の画素「Ｘ」周囲の同色画素について計算される。本発明の一実施形態では、表１に示す式等の式でアレイ５００の「Ｘ」周囲の同色画素Ｐ１〜Ｐ８についてこの平均値を計算可能である。

周囲画素についての平均（Ａｖｇ）値を計算した後、周囲画素補間器３１０が「Ｘ」から考えられる８方向のうちで最小微分も計算して、画素「Ｘ」のコントラストが周囲の同色画素のコントラストからどの程度異なっているかを調べる。本発明の一実施形態では、表２に示す式等の式で画素「Ｘ」およびＰ１〜Ｐ８間のこの最小微分を計算可能である。

周囲画素補間器３１０は、「Ａｖｇ」および「Ｄ_ｍｉｎ」についての情報を画素位置決定器３１５および画素評価器３２０に渡す。一実施形態では、「Ａｖｇ」についての情報が任意的な画素置換器３２５にも結合される。

画素位置検出器３１５は、評価対象の画素がデジタル画像表現のエッジ領域にあるか（エッジでない）フラット領域にあるかを決定するのに用いられる。このある種のエッジ検出が、評価対象の画素「Ｘ」（図５）および周囲の同色画素Ｐ１〜Ｐ８（図５にも示す）に適用される。エッジ検出は、画素評価器３２０により検出された欠陥画素のうちの擬陽性の数を減らすために行われる。画素「Ｘ」がエッジ領域にあるか、または周囲の５×５画素アレイ上に侵入するエッジ領域を有しているかを知ることにより、欠陥があるかを決定するための計算を行う際に、画素評価器３２０が評価対象の画素の位置を斟酌可能となる。表３および４は、評価対象の画素が画像データのフラット領域にあるか、または画像データのエッジ領域にあるかを決定するために組み合わせて使用可能な２つの例示的な式を示す。本発明の他の実施形態では、表３および４に示したもの以外のエッジ検出の他の手段も使用可能である。

表３の式は、表１の式から計算された画素Ｐ１〜Ｐ８の「Ａｖｇ」コントラストから「Ｃ_ｍａｘ」すなわち最大コントラスト微分を決定するのに用いられる。「Ｃ_ｍａｘ」についての値は、画素位置決定器３１５により転送され表４に示す例示的な式等のエッジ検出式で用いられる。

表４に示す式では、表３の式から「Ｃ_ｍａｘ」の値を取り、表１の式からＡｖｇの値を取り、評価対象の画素である画素「Ｘ」を捕捉するのに使用されるレンズ／センサ配列用に計算された調整後変調伝達関数から「Ｌ_ｆｌａｔ％」の値を取る。表４の式の結果が真であるとが分かれば、画素「Ｘ」周囲の５×５画素エリアは、フラット画像領域であると考えられる。式の結果が偽であれば、画素「Ｘ」周囲の５×５画素エリア内のどこかに画像エッジがあると仮定される。評価対象の画素が画像表現のフラット領域にあるか、またはエッジ領域にあるかについての情報は、画素評価器３２０に転送される。

図６は、本発明の一実施形態による変調伝達関数の例示的なグラフ６００を示す。変調伝達関数は、実際の画像における細部の量および鮮鋭度と比較して、特定のレンズカメラまたはレンズセンサ配列がどのぐらい多くの画像細部を、ならびにどの程度の鮮鋭度を提供可能かを記述するのに用いられる。変調伝達関数は、撮像技術の分野においてよく知られており、レンズセンサ配列について周波数応答能力が分かるように、研究室または工場型設定で設定されるのが普通である。グラフ６００のＸ軸は、ミリメータ当たりのライン対等の単位で正規化空間周波数を表す。グラフ６００のＹ軸は、達成可能コントラスト（０％〜１００％の範囲）の百分率でコントラスト応答を表す。

図６では、曲線「Ｌ」がレンズセンサ配列の応答を表し、これが変調伝達関数の実際のグラフである。「Ｌ」の右側の斜線部は、レンズセンサ配列の能力を超えたコントラストを表す。「Ｌ」の左側の斜線がない部分は、このレンズセンサ配列で達成可能なコントラストを表している。曲線「Ｌ＋ｄ」は、ノイズ調整のために追加された事前設定の耐性因子「ｄ」を持つ調整後変調伝達関数を表す。このような異なる耐性因子は、非理想的な現実環境における使用のために実際の変調伝達関数を変更するように、製造、試験、または組立て中に追加することができる。例えば、画像のフラット領域における画素の最大コントラストを決定する際に使用するための値「Ｌ_{ｆｌａｔ’}」を達成するように、数パーセントの小さい耐性因子「ｄ」をＬに加えることができる。画像のエッジ領域における画素の最大コントラストを決定する際に使用するための値「Ｌ_{ｅｄｇｅ’}」を達成するように、例えば１０％のより大きい耐性因子「ｄ」をＬに加えることができる。最後に、低い光条件で撮影された画像における画素の最大コントラストを決定する際に使用するための値「Ｌ_{ｄａｒｋ’}」を達成するように、例えば８０％の非常に大きい耐性因子「ｄ」をＬから差し引くことができ、このようにしてレンズセンサ配列のダイナミックレンジの２０％を表すに過ぎない値「Ｌ_{ｄａｒｋ’}」が与えられる。

工場、実験室、組立て段階または類似の設定において「Ｌ_{ｆｌａｔ’}」、「Ｌ_{ｅｄｇｅ’}」および「Ｌ_{ｄａｒｋ’}」の値がレンズセンサ配列に割り当てられ、画像信号プロセッサ１４５および欠陥画素検出器１５０（いずれも図１および３に示す）によって利用される。本発明のいくつかの実施形態では、「Ｌ_{ｆｌａｔ’}」、「Ｌ_{ｅｄｇｅ’}」および「Ｌ_{ｄａｒｋ’}」を生成するのに用いられる一定値「ｄ」を、ユーザ入力部１７０（図１）等のユーザ入力部を介してユーザ変更可能とすることができる。

図３を再び参照すると、画素評価器３２０は、「Ｌ_ｆｌａｔ」または「Ｌ_ｅｄｇｅ」等の変形変調伝達関数と比較することにより、評価対象の画素に欠陥があるか否かを評価するように働く。表５は、フラット画像領域における画素を評価して欠陥として分類するかどうかを決定するための例示的な式を示す。表１に示す式から「Ａｖｇ」の値を取り、表２に示す式から「Ｃ_ｍｉｎ」の値を取る。「Ａｖｇ」および「Ｃ_ｍｉｎ」の両方の値が周囲画素補間器３１０から転送される。評価対象の画素「Ｘ」の周波数（１／Ｔ）についての調整後変調伝達関数値は、グラフ６００等の調整後変調伝達関数についてのグラフまたは式から決定されたように「Ｌ_ｆｌａｔ％」である。表５の式により行った比較の結果が真の場合、評価対象の画素「Ｘ」は欠陥画素であると考えられる。画素評価器３２５は、欠陥であると決定された画素についての情報を画素置換器３２５に転送するか、または画素置換器３２５を使用しない場合には信号ライン１５５を介して他の使用のために転送する。

同様に、表６はエッジ画像領域における画素を評価して欠陥として分類するかどうかを決定するための例示的な式を示す。表１に示す式から「Ａｖｇ」の値を取り、表２に示す式から「Ｃ_ｍｉｎ」の値を取る。「Ａｖｇ」および「Ｃ_ｍｉｎ」の両方の値が周囲画素補間器３１０から転送される。評価対象の画素「Ｘ」の周波数（１／Ｔ）についての調整後変調伝達関数値は、グラフ６００等の調整後変調伝達関数についてのグラフまたは式から決定されたように「Ｌ_ｅｄｇｅ％」である。表６の式により行った比較の結果が真の場合、評価対象の画素「Ｘ」は欠陥画素であると考えられる。画素評価器３２５は、欠陥であると決定された画素についての情報を画素置換器３２５に転送するか、または画素置換器３２５を使用しない場合には信号ライン１５５を介して他の使用のために転送する。

欠陥画素検出器１５０は、受信した画像ストリームにおける各画素を連続的にオンザフライで評価する。画素を生成するのに用いられるレンズセンサシステムの解像度よりも高いその周囲画素と比較して、画素の変調に基づき、画素に欠陥があるかどうかの決定を下す。関連する計算の簡単さにより、不良画素の特定に要する処理電力が減少し、検出速度が上がる。周囲画素についての情報が必要なために、最小数のアレイのデータ行についていくらかの小さいバッファリング能力が要求される。例えば、画素のＢａｙｅｒパターンアレイを評価する本発明の実施形態では、受信した画素を評価するために十分な情報を確保するために、現在受信している行よりも、Ｂａｙｅｒ画素アレイの４行についてのバッファリング能力が必要とされる。このバッファリング能力が画像データ受信器３０５または画像データバッファ３０５を介して提供されない場合には、欠陥画素検出器１５０により提供されるか、またはそこからアクセスされる。欠陥画素検出器１５０により用いられる手順が「孤立した」欠陥画素を検出する。評価される画素を囲む８個の同色画素（例えば図５のＰ１〜Ｐ８）に欠陥があってはならず、これは、同じカラーチャネル上の２個の欠陥画素間の最小距離が４画素分離れていることを意味している。一方、提案された手順で用いられるクロスカラー情報が無いので、異なるカラーチャネルの欠陥画素は互いに隣接可能である。つまり、本発明は２×２不良画素群を検出および補正可能である。図４は、２×２不良画素群４つの例（４０１、４０２、４０３、および４０４）とそれらの互いからの最小距離を図示している。

任意的な画素置換器３２５は、欠陥画素検出器１５０により検出された欠陥画素と置換用画素とを置換するものである。画素置換器３２５は、検出され置換された欠陥画素を有している画像のデジタル表現を走査線形式で出力するために信号ライン１５５と結合されている。置換用画素を生成する多くの方法を利用することができる。メモリおよび処理電力を節約するために、本発明は、評価される画素を囲む同色画素（図５のＰ１〜Ｐ８）の平均値で欠陥があると評価された画素を置換する。この「Ａｖｇ」は、表１に示した式等の式を用いて再計算が可能であるが、あるいは周囲画素補間器３１０とのある結合を通して簡単に供給することもできる。一旦、画像ストリームにおける欠陥画素が置換されると、画像ストリームは信号ライン１５５を介して画素置換器３２５から走査線形式で出力で出力される。

本発明の一実施形態では、画像の低光レベル領域において耐ノイズ性を大きくするように変形を加えることが可能である。こうすることにより、欠陥画素検出器１５０の部分による低光な場合には変調伝達関数は利用されなくなる。表７は、表１の式を置換するのに用いることが可能な式を示す。この式は、表１の式と比較して別のステップを追加しており、こうしてＰ１〜Ｐ８の平均値の大きいほう、または評価対象の画素「Ｘ」についての「Ｌ_ｄａｒｋ」の値を「Ａｖｇ」として返す。「Ｌ_ｄａｒｋ」のデフォルト値が「Ａｖｇ」として返される場合には、欠陥画素検出器１５０が、画素位置検出器３１５および画素評価器３２０を用いる代わりにローパスフィルタを利用する等の既知の欠陥画素決定方法に戻る。欠陥としてマークされた画素は、信号ライン１５５を介して任意的な画素置換器３２５に送られ、これが前述したのと同じ方法で動作する。

図７は、本発明の一実施形態による欠陥画素を検出および補正するコンピュータ制御方法のフローチャート７００を示す。具体的なステップがフローチャート７００に開示されているが、このようなステップは例示的なものである。つまり、本発明の実施形態は、種々の他の（追加の）ステップまたはフローチャート７００に挙げたステップの変形に適している。フローチャート７００のステップを示したものとは異なる順序で行うことができ、フローチャート７００のステップの全てを行わなくてもよいことは当然のことである。一実施形態では、フローチャート７００が、コンピュータシステム２１２（図２）またはデジタル撮像装置１００（図１）等のコンピュータ機器のメモリユニットに記憶されたコンピュータ可読プログラムコードとして実施され、プロセッサ２０１（図１）、画像信号プロセッサ１４５（図２）または類似の装置により実行される。

図７において、本発明の一実施形態では、フローチャート７００の参照符号７０５が使用中のレンズセンサシステムの解像能力を記述するパラメータを取得または演算するステップを示す。この機能は図３のブロック３０１とともに規定され説明されている。評価対象の画素を生成するように用いられているレンズセンサ配列についての変調伝達関数等のパラメータを取得または演算するステップが含まれる。フラット画像領域、エッジ画像領域、または暗部画像領域に合わせた変形変調伝達関数等のパラメータを取得または演算するステップも含まれる。この情報が事前に計算される場合、必要に応じてメモリを介して画像信号プロセッサステージに提供可能であり、あるいは既知の説明された方法を用いて計算可能である。

本発明の一実施形態では、フローチャート７００の参照符号７１０が、デジタル画像表現をＢａｙｅｒパターンアレイの行の形式で受信するステップを示している。本発明の他の実施形態では、デジタル画像表現がＣＹＭＧアレイ、ＲＧＢＥアレイ、３ＣＣＤアレイ、ハニカムアレイまたは他のアレイ形式で画素のアレイとして受信される。このデジタル画像表現の受信ステップは、画像データ受信器３０５（図３）、画像データバッファ３３０（図３）、欠陥画素検出器１５０（図１および３）、ならびに周囲画素補間器３１０（図３）とともに説明されている。

本発明の一実施形態では、フローチャート７００の参照符号７２０が、デジタル画像表現の部分における評価対象の画素周囲の同色画素の平均値を計算するステップを示す。この平均値の計算ステップは、図５、周囲画素補間器３１０（図３）とともに与えられた説明ならびに表１および表７とともに示され説明された式に対応している。いくつかの実施形態では、この平均値の計算が画像の暗部領域に合わせた変調伝達関数を利用して行われる。

本発明の一実施形態では、フローチャート７００の参照符号７３０が、評価対象の画素がフラット画像領域にあるかエッジ画像領域にあるかを決定するステップを示している。このフラット／エッジ決定ステップは、表３および４に示した式の説明に対応しており、また図５および画素位置決定器３１５（図３）とともに与えられた説明にも対応している。

本発明の一実施形態では、フローチャート７００の参照符号７４０が、画素を生成するのに用いられるレンズセンサシステムの解像度よりも高い周囲画素と比較して、画素の変調に基づき、評価対象の画素に欠陥があるかを決定するステップを示している。この欠陥画素決定ステップは、画素位置決定器３２０（図３）とともに与えられた説明ならびに表１、２、５および６とともに示され説明された式に対応している。加えて、いくつかの実施形態では、評価対象の画素が適切な暗部画像領域にあり、表７の式が評価対象の画素周囲の画素の「Ａｖｇ」値を計算するのに用いられ、ローパスフィルタ等の方法を欠陥画素の評価に用いることも可能である。一実施形態では、評価対象の画素周囲の同色画素の平均値に関する情報ならびに評価対象の画素およびその周囲の同色画素間の最小微分についての情報が決定に利用される。一実施形態では、画素が画像のエッジ領域にあるかフラット領域にあるかについての情報も用いられ、必要に応じてエッジ画像領域またはフラット画像領域に合わせた変調伝達関数を決定に利用可能である。

本発明の一実施形態では、フローチャート７００の参照符号７５０が、欠陥画素を置換用画素と置換するステップを示している。置換用画素の生成および欠陥があると評価された画素の置換は、画素置換器３２５（図３）とともに、さらに図１および７の式の説明とともに説明されている。一実施形態では、欠陥画素が表１の式により計算された平均値の画素と置換される。一実施形態では、欠陥画素が表７の式により計算された平均値の画素とも置換される。

本発明の欠陥画素検出のための種々の実施形態、方法および装置は、上述のように説明されている。本発明は特定の実施形態で説明されてきたが、本発明をこのような実施形態により限定されるものとして解釈すべきでなく、むしろ特許請求の範囲に従って解釈すべきであることは当然のことである。

本発明の実施形態を実施可能な例示的なデジタル撮像装置のブロック図である。 本発明の実施形態を実施可能な例示的なコンピュータシステムのブロック図である。 本発明の一実施形態による例示的な画像信号処理装置のブロック図を示している。 本発明の実施形態を実施可能な例示的なＢａｙｅｒ画素アレイの図を示している。 本発明の一実施形態による評価対象の画素周囲の同色画素のアレイの図を示している。 本発明の一実施形態による変調伝達関数の例示的なグラフを示している。 本発明の一実施形態による欠陥画素を検出および補正するコンピュータ制御方法のフローチャートを示している。

符号の説明

１００…デジタル撮像装置、１１０…光学レンズ、１２０…画像センサ、１４５…画像信号プロセッサ、１５０…欠陥画素検出器、１５５…信号ライン、１６０…大容量メモリ、２１２…コンピュータシステム、３０５…画像データ受信器、３１０…周囲画素補間器、３１５…画素位置検出器、３２０…画素評価器、３２５…画素置換器、３３０…画像データバッファ、４００…Ｂａｙｅｒ画素アレイ。

Claims (18)

1. デジタル画像表現を捕捉したレンズセンサ配列の既知の解像能力を参照して評価対象の画素とその周囲の画素との比較に基づいて、前記デジタル画像表現における欠陥画素を決定するステップと、
   前記決定に応じて前記欠陥画素を補正するステップと、
   を備え、
   前記決定するステップにおいて、
   前記評価対象の画素がフラット画像領域にある場合には、前記既知の解像能力を第１パーセント増加し、
   前記評価対象の画素がエッジ画像領域である場合には、前記既知の解像能力を前記第１パーセントより大きい第２パーセント増加し、
   前記デジタル画像表現が低い光条件で捕捉された場合には、前記既知の解像能力を前記第２パーセントより大きい第３パーセント減少する、
   画像信号処理方法。
2. 前記デジタル画像表現をＢａｙｅｒパターンアレイの形式で受信するステップをさらに備える、請求項１に記載の画像信号処理方法。
3. 前記レンズセンサ配列の解像能力を記述するパラメータを取得するステップをさらに備える、請求項１に記載の画像信号処理方法。
4. 前記デジタル画像表現の部分における前記評価対象の画素周囲の同色画素の平均値を計算するステップと、
   前記評価対象の画素が前記フラット画像領域にあるか、または前記エッジ画像領域にあるかを決定するステップと、をさらに備える、請求項１に記載の画像信号処理方法。
5. 画像の暗部領域に合わせた変調伝達関数を利用して前記平均値を計算する、請求項４に記載の画像信号処理方法。
6. 前記欠陥画素を前記補正するステップが、各前記欠陥画素を、前記デジタル画像表現の部分における前記欠陥画素周囲の同色画素の平均値を含む置換用画素と置換する工程を備える、請求項１に記載の画像信号処理方法。
7. 前記評価対象の画素が前記フラット画像領域にある場合に、前記比較が、前記評価対象の画素と前記フラット画像領域にある画素に合わせた変調伝達関数との比較を含む、請求項１に記載の画像信号処理方法。
8. 前記評価対象の画素が前記エッジ画像領域にある場合に、前記比較が、前記評価対象の画素と前記エッジ画像領域にある画素に合わせた変調伝達関数との比較を含む、請求項１に記載の画像信号処理方法。
9. デジタル画像表現の部分における評価対象の画素周囲の同色画素の平均値を計算する周囲画素補間器と、
   前記周囲画素補間器と結合され、前記デジタル画像表現を捕捉したレンズセンサ配列の既知の解像能力を参照して前記評価対象の画素とその周囲の画素との比較に基づいて、前記評価対象の画素に欠陥があるかどうかを決定する画素評価器と、
   前記画素評価器と結合され、各欠陥画素を、前記周囲画素補間器により計算された前記平均値を含む置換用画素と置換するように構成された画素置換器と、
   を備え、
   前記画素評価器は、
   前記評価対象の画素がフラット画像領域にある場合には、前記既知の解像能力を第１パーセント増加し、
   前記評価対象の画素がエッジ画像領域である場合には、前記既知の解像能力を前記第１パーセントより大きい第２パーセント増加し、
   前記デジタル画像表現が低い光条件で捕捉された場合には、前記既知の解像能力を前記第２パーセントより大きい第３パーセント減少する、
   画像信号処理装置。
10. 前記画素評価器と結合され、前記評価対象の画素がフラット画像領域にあるか、またはエッジ画像領域にあるかを決定する画素位置決定器をさらに備える、請求項９に記載の画像信号処理装置。
11. 前記周囲画素補間器と結合され、前記デジタル画像表現をＢａｙｅｒパターンアレイの形式で受信する画像データ受信器をさらに備える、請求項９に記載の画像信号処理装置。
12. 前記レンズセンサ配列の解像能力を表すパラメータを含むメモリ素子をさらに備える、請求項９に記載の画像信号処理装置。
13. 前記周囲画素補間器が、画像の暗部領域に合わせた変調伝達関数を利用して前記平均値を計算するように構成されている、請求項９に記載の画像信号処理装置。
14. 前記評価対象の画素が前記フラット画像領域にある場合に、前記画素評価器が画像のフラット領域にある画素に合わせた変調伝達関数を利用するように構成されている、請求項９に記載の画像信号処理装置。
15. 前記評価対象の画素が前記エッジ画像領域にある場合に、前記画素評価器が画像のエッジ領域にある画素に合わせた変調伝達関数を利用するように構成されている、請求項９に記載の画像信号処理装置。
16. 光学レンズと、
    前記レンズと結合され、デジタル画像表現を捕捉する画像センサと、
    前記画像センサと結合された画像信号プロセッサとを具備するデジタル撮像装置であって、
    前記画像信号プロセッサが、
    前記デジタル画像表現の部分における評価対象の画素周囲の同色画素の平均値を計算する周囲画素補間器と、
    前記周囲画素補間器と結合され、前記デジタル画像表現を捕捉したレンズセンサ配列の既知の解像能力を参照して前記評価対象の画素とその周囲の画素との比較に基づいて、前記評価対象の画素に欠陥があるかどうかを決定する画素評価器と、
    前記画素評価器と結合され、各欠陥画素を、前記周囲画素補間器により計算された前記平均値を含む置換用画素と置換するように構成された画素置換器と
    を備え、
    前記画素評価器が、
    前記評価対象の画素がフラット画像領域にある場合には、前記既知の解像能力を第１パーセント増加し、
    前記評価対象の画素がエッジ画像領域である場合には、前記既知の解像能力を前記第１パーセントより大きい第２パーセント増加し、
    前記デジタル画像表現が低い光条件で捕捉された場合には、前記既知の解像能力を前記第２パーセントより大きい第３パーセント減少する、
    デジタル撮像装置。
17. 前記画素評価器と結合され、前記評価対象の画素がフラット画像領域にあるか、またはエッジ画像領域にあるかを決定する画素位置決定器をさらに備える、請求項１６に記載のデジタル撮像装置。
18. 前記周囲画素補間器と結合された画像データ受信器をさらに備え、前記画像データ受信器が前記デジタル画像表現をＢａｙｅｒパターンアレイの形式で受信するように構成されている、請求項１６に記載のデジタル撮像装置。

Images