JP4377404B2

JP4377404B2 - 画像向上機能を備えたカメラ

Info

Publication number: JP4377404B2
Application number: JP2006500374A
Authority: JP
Inventors: アロン、アレックス; アロン、イリナ
Original assignee: ディ−ブルアーテクノロジスリミテッド
Priority date: 2003-01-16
Filing date: 2004-01-15
Publication date: 2009-12-02
Anticipated expiration: 2024-01-15
Also published as: CN101819325B; CN101814182A; US8126287B2; US7627193B2; CN1739118B; CN101814182B; WO2004063989A3; ATE549855T1; HK1088426A1; EP1584067A2; US20060256226A1; US20100141807A1; KR20050107741A; CN1739118A; JP2006519527A; CN101819325A; WO2004063989A2

Description

関連出願へのクロスリファレンス
この出願は、２００３年１月１６日に出願された米国予備特許出願第６０／４４０，５６１号の利益を主張する。この出願は、２００１年２月８日に出願された米国特許出願第０９／７７８，８４９号に関連し、これは、米国特許出願公開第２００２／０１４５６７Ａ１号として発行された。これらの関連出願は両方とも、参照してここに組み込まれる。

本発明は、主に、デジタル画像形成に関し、特に、デジタルカメラで画像品質を向上するための方法および装置、さらに、そのようなカメラ用のオプチクス（optics）を設計することに関する。

ＣＣＤまたはＣＭＯＳセンサアレイに基づいたカメラ等の、業界で公知のデジタルカメラの本来の解像度は、一般に、センサアレイ自体の解像度によって限定される。解像度をさらに劣化するのを回避するために、そのようなカメラで使用される対物オプチクスは、典型的に、光学点像分布関数（ＰＳＦ）がアレイのピッチよりも小さな程度を有するように設計される。言い換えると、オプチクスは、対物面の明るい点が、センサアレイ上でサイズが１ピクセルよりも大きくないスポットに画像形成されるように設計される。

光学システムのＰＳＦは、焦点変動および収差のために、理想から変動することもある。デジタル画像処理によってそのようなＰＳＦ逸脱を測定し補正するための数多くの方法が、業界では公知である。たとえば、その開示が参照してここに組み込まれる米国特許第６，１５４，５７４号には、画像処理システムで焦点外画像にデジタル式に焦点を合わせる方法が記載されている。焦点がぼけた画像をサブ画像に分割し、且つ、各サブ画像におけるエッジ方向に対してステップ応答を計算することによって、平均ステップ応答が得られる。平均ステップ応答は、ＰＳＦ係数を計算するために使用され、これは今度は、画像修復転写関数を決定するために規定される。焦点画像は、この関数を周波数領域の焦点外画像で掛けることによって得られる。

別の例として、その開示が参照してここに組み込まれる米国特許第６，５６７，５７０号には、ＰＳＦの内部測定をするためにスキャナ内でターゲットを使用する画像スキャナが記載されている。これらの測定は、畳み込みカーネルを計算するために使用され、これは、スキャナレンズシステムの不完全さを部分的に補正するために、スキャナによって捉えられた画像に適用される。

一定の光学収差に対して不変性を形成するように、画像に特殊目的のぼけを加えることも可能である。次いで、信号処理を使用して、ぼけを除去する。この種類の技術は、Ｋｕｂａｌａら著「計算画像形成システムにおける複雑性の減少（ＲｅｄｕｃｉｎｇＣｏｍｐｌｅｘｉｔｙｉｎＣｏｍｐｕｔａｔｉｏｎａｌＩｍａｇｉｎｇＳｙｓｔｅｍｓ）」オプチクスエクスプレス（ＯｐｔｉｃｓＥｘｐｒｅｓｓ）１１（２００３）、２１０２〜２１０８頁に記載されており、これは、参照してここに組み込まれる。著者らは、この技術を「波面コーディング（ＷａｖｅｆｒｏｎｔＣｏｄｉｎｇ）」と称する。特殊非球面光学素子を使用して、画像にぼけを作成する。この光学素子は、別個の独立型の要素であってもよく、または、光学システムの１つまたはそれ以上のレンズ内に一体化されてもよい。この種類の波面コーディングに基づいた画像処理の光学設計および方法は、たとえば、米国特許第５，７４８，３７１号、および、米国特許出願公開第２００２／０１１８４５７Ａ１号、米国特許出願公開第２００３／００５７３５３Ａ１号および米国特許出願公開第２００３／０１６９９４４Ａ１号に記載されており、その開示は参照してここに組み込まれる。
米国特許出願公開第２００２／０１４５６７Ａ１号米国特許第６，１５４，５７４号明細書米国特許第６，５６７，５７０号明細書米国特許第５，７４８，３７１号明細書米国特許出願公開第２００２／０１１８４５７Ａ１号米国特許出願公開第２００３／００５７３５３Ａ１号米国特許出願公開第２００３／０１６９９４４Ａ１号米国特許出願第０９／７７８，８４９号明細書米国特許第４，６９１，３６６号明細書米国特許第５，７５１，８６１号明細書米国特許第６，０９４，４６７号明細書Ｋｕｂａｌａら著「計算画像形成システムにおける複雑性の減少（ＲｅｄｕｃｉｎｇＣｏｍｐｌｅｘｉｔｙｉｎＣｏｍｐｕｔａｔｉｏｎａｌＩｍａｇｉｎｇＳｙｓｔｅｍｓ）」オプチクスエクスプレス（ＯｐｔｉｃｓＥｘｐｒｅｓｓ）１１（２００３）、２１０２〜２１０８頁ＢｏｒｎおよびＷｏｌｆ著、「光学の原理（ＰｒｉｎｃｉｐｌｅｓｏｆＯｐｔｉｃｓ）」、第４版（パーガモンプレス（ＰｅｒｇａｍｏｎＰｒｅｓｓ）、１９７０）、セクション９．２、４６４〜４６７頁

本発明のいくつかの実施の形態は、デジタル画像形成システムの画像品質を改良するための方法および装置を提供する。これらの方法および装置は、高品質画像を作る簡単で低コストのレンズを備えた（またはレンズ無しさえの）デジタルカメラを形成するのに特に有用である。しかし、本発明によって教示される光学設計および画像処理の新規の原理は、他の種類のデジタル画像形成システムにも適用可能である。

本発明のいくつかの実施の形態において、電子画像形成カメラは、画像検知アレイを具備する。カメラは、典型的に、対物オプチクスを具備し、これは、オプチクスの最適焦点においてさえ検知アレイのピッチよりも実質的に大きな程度のＰＳＦを備えたアレイに物体を画像形成する。（１つの実施の形態において、「対物オプチクス」は、大きな「ピンホール」の性質の開口部を具備し、レンズはまったく有さない。）結果として、アレイ自体によって捉えられた画像はぼける。カメラに一体化されてもよい画像プロセッサは、ぼけの減少した出力画像を生成するために、典型的に逆重畳フィルタの形態であるぼけ修正機能を、アレイによって出力された信号へ加える。このぼけ減少は、後述される画像処理の新規の方法によって可能にされる。これらの方法は、受け入れ可能な出力画像を与えるために検知アレイによって生成された電子画像を修復しながら、不良な本来のＰＳＦを備えたカメラオプチクスを設計し使用することを可能にする。

典型的に、対物オプチクスは、光学軸を中心にした円筒形対称である。言い換えると、オプチクスが軸を中心にして回転する場合には、センサアレイに形成された画像は、および、したがって画像に加えられなければならないぼけ修正機能は、実質的に不変である。対照的に、背景技術に引用された刊行物に記載されているような、波面コーディングに基づいたシステムは、意図的に、その円筒形対称が壊れているオプチクスを使用している。したがって、これらのシステムは、非標準型光学素子を必要とし、オプチクスの回転整列配置における変化に対して感受性がある。

欠陥のないアレイは非常に高価であるため、民生用および工業用途の大半の電子画像形成カメラは、一定の数の不良ピクセルを有し、これは、有用な光信号を生成しない。本発明のいくつかの実施の形態において、カメラによって捉えられた画像の統計的分析を使用して、検知アレイにおけるこれらの不良ピクセルを発見する。典型的に、不良ピクセルは、カメラオプチクスのＰＳＦによって決定される閾値量を超えて、そのピクセル値が隣接するピクセルのものとは異なるものとして、カメラによって捉えられた画像において、識別される。画像のぼけ修正をする前に（逆重畳フィルタリングによって）、不良ピクセルの値は、修復された画像に不良ピクセルが与える影響を中和するように、置換値と交換される。さらにぼけた画像を作成し次いで画像のぼけを修正する反復過程を使用して、改良された品質の修復された画像を生成する。この過程において、不良ピクセルのためにアーチファクトの伝播を減少するために、公知の不良ピクセル場所の近隣のピクセル値は、各反復で修正される。入力画像は、ぼけ修正操作の目的でダミーピクセルのフレームによって囲繞されてもよく、ダミーピクセルは不良ピクセルとして扱われる。

本発明のいくつかの実施の形態において、本発明のぼけ修正方法は、実質的にいずれの種類の対物オプチクスを備えたカメラに使用されてもよいが、オプチクスは、反復過程によって設計され、これは、カメラのぼけ修正能力を考慮に入れる。この目的のために、初期光学設計が生成され、光学設計の収差および許容差に基づいて、設計のＰＳＦが計算される。このＰＳＦによって特徴づけられる代表的なデジタル画像が計算され、画像のＰＳＦを向上させるために、すなわち、ＰＳＦの程度を減少するために、ぼけ修正機能が決定される。次いで、光学システムの設計は、向上したＰＳＦの程度を減少するように修正される。

光学設計を修正するために、光学設計の変化の複合効果および向上したＰＳＦの付随変化が、概算されてもよい。この概算は、光学設計がどのように変えられるべきかを決定する際に使用される。ＰＳＦの向上を概算し、それに応じて光学設計を修正するプロセスは、典型的に、設計が所定の許容差内に集中するまで反復して繰り返される。このプロセスは、比較的高い製造許容差および減少した数の光学素子を備えた低コストのオプチクスを使用するのを可能にしながら、カメラの全体的な性能を最適化する。

したがって、本発明の実施の形態にしたがって、
要素に入射する光学放射線に応答して信号を生成するように適合され、ピッチによって特徴づけられる光学検知要素のアレイと、
対物オプチクスであって、光学軸を有し軸を中心とした円筒形対称によって特徴づけられ、且つ、対物オプチクスの最適焦点でアレイのピッチの２倍よりも大きい程度を有する点像分布関数（ＰＳＦ）を備えたアレイに物体から光学放射線を集中させるように配列される対物オプチクスと、
を含む画像形成装置が設けられる。
開示された実施の形態において、ＰＳＦの程度は、ピッチの少なくとも３倍である。

典型的に、装置は画像プロセッサを含み、これは、電子画像のぼけを減少しながら、物体の電子画像を生成するように、ＰＳＦへ応答可能なように、アレイから信号を処理するように連結される。開示された実施の形態において、アレイからの信号は、それぞれのピクセル値を有するピクセルを含む入力画像に対応し、画像プロセッサは、ＰＳＦに基づいて、入力画像へ逆重畳フィルタを加えることによって、ぼけを減少するように適合される。画像プロセッサは、アレイの１つまたはそれ以上の不良要素を識別し、訂正されたぼけた画像を生成するように入力画像の不良要素の近隣にあるピクセルのピクセル値を置換値と交換し、且つ、修復された画像を生成するように訂正されたぼけた画像へ逆重畳フィルタを加えるように適合されてもよい。

いくつかの実施の形態において、対物オプチクスは、逆重畳フィルタを加えた後に電子画像の品質を最適化するように、ＰＳＦへ応答可能なように、選択された光学特徴を有する１つまたはそれ以上のレンズを含む。

追加してまたは交替的に、画像プロセッサは、物体とアレイとの間の焦点関係の変化へ応答可能なように入力画像に加えられる逆重畳フィルタを修正するように適合される。１つの実施の形態において、画像プロセッサは、物体が対物オプチクスから所定の最小距離よりも小さいときには、マクロ逆重畳フィルタを選択するように適合される。

本発明の実施の形態にしたがって、
要素に入射する光学放射線に応答して信号を生成するように適合され、ピッチによって特徴づけられる光学検知要素のアレイと、
アレイを含み且つアレイのピッチよりも実質的に大きな横方向寸法を有して中に形成される開口部を有するカメラ本体であって、開口部およびアレイは、物体からの光学放射線が開口部を通り、実質的に光学焦点要素の介入なしでアレイに入射するように、配列されるカメラ本体と、
を含む画像形成装置も設けられる。

開示された実施の形態において、装置は、装置の視野を調節するようにアレイと開口部との間の距離を変えるために、アレイと開口部との少なくとも一方に連結された機構を含む。

典型的に、開口部の横方向寸法は、ピッチよりも少なくとも５０％大きい。任意に、開口部の横方向寸法は、少なくともピッチの２倍であるか、または、少なくともピッチの３倍でさえある。

さらに、本発明の実施の形態にしたがって、
特徴的な点像分布関数（ＰＳＦ）を備えた焦点面に物体から光学放射線を集中させるように配列される対物オプチクスと、
焦点面に位置決めされ且つ要素に入射する光学放射線に応答して信号を生成するように適合される光学検知要素のアレイであって、信号がそれぞれのピクセル値を有するピクセルを含む物体の電子画像に対応するアレイと、
アレイからの信号を受け取るように連結され、アレイの１つまたはそれ以上の不良要素を識別し、ＰＳＦへ応答可能なように、不良要素のためにアーチファクトの伝播を減少しながら訂正されたぼけた画像を生成するように入力画像の不良要素の近隣にあるピクセルのピクセル値を修正し、且つ、ＰＳＦに基づいて、修復された出力画像を生成するように訂正されたぼけた画像へ逆重畳フィルタを加えるように適合される画像プロセッサと、
を含む画像形成装置が設けられる。

本発明の実施の形態にしたがって、１つまたはそれ以上の不良要素を含み点像分布関数（ＰＳＦ）によって特徴づけられる光検出要素のアレイから発する物体のぼけた入力画像を受け取り、ＰＳＦへ応答可能なように、不良要素のためにアーチファクトの伝播を減少しながら訂正されたぼけを生成するようにぼけた入力画像の不良要素の近隣にあるピクセルの値を修正し、且つ、修復された画像を生成するように訂正されたぼけた画像へ逆重畳フィルタを加えるように適合される少なくとも１つの集積回路装置を含む画像プロセッサがさらにが設けられる。

本発明の実施の形態にしたがって、
光学システムの設計を生成するステップと、
設計にしたがって光学システムの光学点像分布関数（ＰＳＦ）を計算するステップと、
設計にしたがって光学システムによって作成された画像へ所与の画像修復機能を加えることによって達成することができる向上したＰＳＦを決定するステップと、
向上したＰＳＦの程度を減少するために光学システムの設計を修正するステップと、
を含む光学システムを作るための方法が、さらに設けられる。

いくつかの実施の形態において、設計を生成するステップは、それぞれのメリットスコアを複数の光学収差の各々に割り当てるステップと、設計に特徴的である収差を決定するステップと、収差およびそれぞれのメリットスコアへ応答可能なように設計スコアを計算するステップと、設計スコアへ応答可能なように設計を最適化するステップと、を含む。典型的に、それぞれのメリットスコアを割り当てるステップは、ＰＳＦにおける収差の各々のそれぞれの効果を決定するステップと、それぞれの効果へ応答可能なようにそれぞれのメリットスコアを計算するステップと、を含む。追加してまたは代替的に、収差を決定するステップは、収差のゼルニケ多項式拡張を生成するステップを含み、設計スコアを計算するステップは、多項式拡張の係数へ応答可能なようにそれぞれのメリットスコアの重みづけ合計を計算するステップを含む。

開示された実施の形態において、向上したＰＳＦを決定するステップは、計算された光学ＰＳＦへ応答可能なように、逆重畳フィルタの係数を決定するステップと、計算された光学ＰＳＦによって特徴づけられる代表的な画像へ逆重畳フィルタを加えるステップと、を含む。

追加してまたは代替的に、設計を修正するステップは、向上したＰＳＦにおける設計の変化の効果を概算するステップと、概算された効果へ応答可能なように光学システムの設計を修正するステップと、を含む。開示された実施の形態において、向上したＰＳＦを決定するステップは、向上したＰＳＦへ応答可能なように、画像品質スコアを計算するステップを含み、変化の効果を概算するステップは、変化における画像品質スコアの依存を見出すステップを含む。典型的に、画像品質スコアを計算するステップは、光学システムの画像フィールドの複数の点でそれぞれの局所点像分布関数を決定するステップと、局所点像分布関数へ応答可能なように画像品質スコアを決定するステップと、を含む。画像品質スコアを決定するステップは、複数の点でそれぞれの局所スコアを見出すステップと、画像品質スコアを生成するために局所スコアを組み合わせるステップと、を含んでもよい。

１つの実施の形態において、向上したＰＳＦを決定するステップは、局所点像分布関数の重みづけ合計を取ることによって重みづけＰＳＦを計算するステップを含み、変化の効果を概算するステップは、重みづけＰＳＦの変化の効果を計算するステップを含む。

別の実施の形態において、画像品質スコアを計算するステップは、向上したＰＳＦで作成された画像の解像度を示す解像度スコアを見出すステップと、画像のアーチファクトのレベルを示すアーチファクトスコアを見出すステップと、画像品質スコアを決定するために解像度スコアとアーチファクトスコアとを組み合わせるステップと、を含む。

典型的に、画像品質スコアを計算するステップは、光学システムの収差へ応答可能なように画像品質スコアを決定するステップを含み、画像品質スコアの依存を見出すステップは、収差の変化に対するスコアの勾配を計算するステップを含む。開示された実施の形態において、画像品質スコアの依存を見出すステップは、光学システムの設計への特殊な修正の関数として生じる収差の変化を示す応答マトリクスを決定するステップを含み、設計を修正するステップは、勾配および応答マトリクスへ応答可能なように設計に加えられるべき修正を決定するステップを含む。

いくつかの実施の形態において、方法は、光学システムの修正された設計に対して、光学ＰＳＦを計算するステップと向上したＰＳＦを決定するステップと設計を修正するステップとを、反復して繰り返すステップを含む。典型的に、反復して繰り返すステップは、反復の１つによって示される設計への修正が、光学システムを製造する際に適用されるべき所定の許容差未満になるまで、光学ＰＳＦを計算するステップと向上したＰＳＦを決定するステップと設計を修正するステップとによって、反復を実行するステップを含む。

典型的に、光学システムは１つまたはそれ以上の光学素子を含み、設計の変更は、要素の１つの光学表面の曲率と、要素の１つの厚さと、要素の間の間隔あけとの少なくとも１つの変化を含む。開示された実施の形態において、１つまたはそれ以上の光学素子は、多項式関数によって規定される少なくとも１つの表面を有する少なくとも１つの非球面要素を含み、設計を修正するステップは、多項式関数の係数を最適化するステップを含む。

本発明の実施の形態にしたがって、１つまたはそれ以上の光学素子を含む光学システムがさらに設けられ、それは、設計にしたがって作られ組み立てられ、設計にしたがって光学システムの光学点像分布関数（ＰＳＦ）を計算することと、設計にしたがって光学システムによって生成された画像へ所与の画像修復機能を加えることによって達成することができる向上したＰＳＦを決定することと、向上したＰＳＦの程度を減少するために光学システムの設計を修正することと、によって最適化される。

本発明の実施の形態にしたがって、コンピュータソフトウェア製品も設けられ、プログラム指令が格納されるコンピュータ読取可能な媒体を含み、その指令は、コンピュータによって読み取られるときに、コンピュータに光学システムの設計を生成させ、設計にしたがって光学システムの光学点像分布関数（ＰＳＦ）を計算させ、設計にしたがって光学システムによって生成された画像へ所与の画像修復機能を加えることによって達成することができる向上したＰＳＦを決定させ、向上したＰＳＦの程度を減少するように光学システムの設計を修正させる。

本発明の実施の形態にしたがって、
要素に入射する光学放射線に応答して、ピッチによって特徴づけられる光学検知要素のアレイを使用して、信号を生成するステップと、
アレイのピッチの２倍よりも大きい程度を有する点像分布関数（ＰＳＦ）を備えた光学画像を形成するために、光学軸を有し、軸を中心とした円筒形対称によって特徴づけられる、対物オプチクスを使用してアレイに物体から光学放射線を集中させるステップと、
を含む電子画像形成するための方法が、さらに設けられる。

開示された実施の形態において、方法は、電子画像のぼけを減少しながら、物体の電子画像を生成するように、ＰＳＦへ応答可能なように、アレイから信号を処理するステップを含む。典型的に、アレイからの信号は、それぞれのピクセル値を有するピクセルを含む入力画像に対応し、信号を処理するステップは、ＰＳＦに基づいて、入力画像へ逆重畳フィルタを加えるステップを含む。１つの実施の形態において、逆重畳フィルタを加えるステップは、物体とアレイとの間の焦点関係の変化へ応答可能なように逆重畳フィルタを修正するステップを含む。たとえば、逆重畳フィルタを修正するステップは、物体が対物オプチクスから所定の最小距離よりも小さいときに、マクロ逆重畳フィルタを選択するステップを含んでもよい。

本発明の実施の形態にしたがって、
光検出要素のアレイにおける１つまたはそれ以上の不良要素を識別するステップと、
アレイを使用して物体の、点像分布関数（ＰＳＦ）によって特徴づけられる、ぼけた入力画像を捉えるステップと、
ＰＳＦへ応答可能なように、不良要素のためにアーチファクトの伝播を減少しながら訂正されたぼけた画像を生成するように、ぼけた入力画像の不良要素の近隣にあるピクセルの値を修正するステップと、
ＰＳＦに基づいて、修復された画像を生成するように訂正されたぼけた画像へ逆重畳フィルタを加えるステップと、
を含む画像処理用の方法が、さらに設けられる。

典型的に、方法は、新しいぼけた画像を生成するように、修復された画像の不良要素の近隣にあるピクセルの値を修正するステップと、新しい修復された画像を生成するように新しいぼけた画像へ逆重畳フィルタを加えるステップと、を反復して行うステップを含む。

開示された実施の形態において、方法は、入力画像を囲繞するダミーピクセルのフレームを加えるステップを含み、ダミーピクセルは、訂正されたぼけた画像を生成し且つ修復された画像を生成する目的のために、不良要素に関連したピクセルと同様に扱われる。

いくつかの実施の形態において、値を修正するステップは、ＰＳＦへ応答可能なように、不良要素の近隣にあるピクセル値と交換する置換値を決定するステップを含む。これらの実施の形態の１つにおいて、置換値を決定するステップは、実質的に、下記によって与えられる形態の訂正マップＭ［ｘ］を使用して置換値を設定するステップを含む。

ただし、ｘはピクセル座標であり、Ｍ’［ｘ］は、ＰＳＦの共役で不良要素のマップの畳み込みによって与えられる畳み込みマップである。
追加してまたは代替的に、１つまたはそれ以上の不良要素を識別するステップは、ピクセルの値の間の差を決定するステップと、その差をＰＳＦに依存して最大差と比較するステップと、を含む。

本発明は、図面と一緒に取られた、いくつかの実施の形態の下記の詳細な記載から、より完全に理解される。

定義
下記は、本発明の明細書および特許請求の範囲に使用される技術用語の非網羅的なリストである。これらの用語は、業界の用語にふさわしい平易な意味にしたがってここに使用されるが、下記の説明および特許請求の範囲を理解するために読者が便利なように下記に挙げられる。
・デテクタアレイのピッチは、アレイの要素の間の中心から中心への距離を意味する。
・円筒形対称は、構造物が、光学軸を有する単レンズまたは複合レンズ等の構造物を説明するいずれの及びすべての回転の角度用に光学軸を中心とした回転下で不変であるようにされる。
・点像分布関数（ＰＳＦ）、ここではｈとして表されており、空間領域における光学システムのインパルス応答であり、すなわち、暗い背景に対する明るい点物体のシステムによって形成された画像である。
・ＰＳＦの程度は、ＰＳＦの半値全幅（ＦＷＨＭ）である。
・光学伝達関数（ＯＴＦ）は、周波数領域へのＰＳＦの二次元フーリエ変換である。ＰＳＦがＯＴＦに変換されてもよく且つ逆でもよい容易さのために、ＯＴＦの計算は、本発明の目的のためにＰＳＦの計算と等価であるとみなされる。
・光学放射線は、スペクトルの可視領域、赤外線領域および紫外線領域のいずれにおける電磁放射線を意味する。

カメラ画像のぼけ修正
図１Ａは、本発明の実施の形態にしたがった、電子画像形成カメラ２０の概略側面図である。カメラ２０は、業界で公知のように、デテクタ要素２４のマトリクスを具備するＣＣＤまたはＣＭＯＳ画像センサ等の画像センサアレイ２２を具備する。物体からの光学放射線、典型的に可視光線は、開口部２６を通ってアレイ２２に入射し、これは、カメラの対物オプチックとして作用する。モーション装置２８は、後述のように、光学ズーム操作の目的で、アレイ２２を開口部２６へ向けて且つこれから離れて平行移動させるように操作されてもよい。あるいは、モーション装置は、アレイ２２ではなく開口部２６を平行移動させるように、または、開口部とアレイとの両方を平行移動させるように、連結されてもよい。

図１Ｂは、開口部２６およびアレイ２２の概略的な詳細図である。従来の電子画像形成カメラでは、レンズを使用して物体の画像をセンサアレイに集中させ、シャープな画像を作るようにし、物体の各点は、センサ平面の点に画像形成される。しかし、カメラ２０において、実質的に対物レンズは使用されず、そのため、アレイ２２に入射する画像は、必然的にぼける。点４０から物体に発した光は、開口部２６を通ってアレイ２２にスポット４２を形成する。概念上の簡略さのために（回折および他の光学効果を無視する）、開口部がアレイ２２から離れるよりも開口部２６からかなり離れた物体の点４０用に、スポット４２の程度は開口部２６の直径にほぼ等しいと言うことができる。典型的に、開口部直径は、アレイ２２のピッチよりも実質的に大きく、たとえば、ピッチの２倍または４倍、またはそれ以上でさえある。したがって、スポット４２は、少なくとも数個の相互隣接ピクセルのグループをカバーする。アレイ２２に形成された画像の点像分布関数（ＰＳＦ）は、開口部２６の直径にほぼ等しい特徴的な程度を有すると、ほぼ言ってもよい。

次に図１Ａに戻ると、画像プロセッサ３０は、アレイ２２によって生成されたぼけた入力画像を処理して、修復された出力画像３２を生成する。画像プロセッサ３０は、典型的に、１つまたはそれ以上の専用集積回路チップを具備し、これは、カメラ２０内部に含まれる。代替的にまたは追加して、画像プロセッサは、適切なソフトウェアを備えたプログラム可能なプロセッサを具備してもよく、カメラの内部または外部のいずれかに位置してもよく、すなわち、プロセッサは、カメラからの画像が取り込まれる別個のコンピュータ内にあってもよい。プロセッサ３０は、レンズ無しカメラ２０に使用されてもよいだけではなく、必要な変更を加えて、他の種類のデジタルカメラおよび他の画像形成装置の一体部分またはアドイン要素として使用されてもよい。出力画像３２は、たとえば、ビデオモニタ３４に表示されてもよく、または、代替的に、印刷されるかまたはメモリに格納されてもよい。

図２は、開口部２６およびアレイ２２の概略的な詳細図であり、本発明の実施の形態にしたがって、カメラ２０の光学ズーム機能を例示する。アレイ２２は、モーション装置２８（図１）によって、図面の水平軸に沿って左／右へ、開口部２６へ向けておよびこれから離れて、平行移動される。アレイが開口部から比較的離れているときには、これは、角半値幅αの、比較的狭い視野内の物体から光を受け取る。アレイが前方へ、開口部２６へ向けて、２２’でマークされた位置へ動くときに、これは、角半値幅α’の、より広い視野を見る。この効果は、従来のカメラにおいて対物レンズ（単／複）を平行移動することによって得られる光学ズーム効果に等価である。

図３は、本発明の別の実施の形態にしたがった、電子画像形成カメラ４４の概略的な側面図である。カメラ４４は、上述のように、カメラ２０に構造および操作が類似しているが、カメラ４４は、典型的に１つまたはそれ以上のレンズから構成される屈折対物オプチクス４６を具備することを除く。カメラの光学経路に、赤外線阻止フィルタ等の１つまたはそれ以上のフィルタ４８もあってもよい。典型的に、製造コストを下げるために、オプチクス４６は、比較的少ない数の屈折要素を具備し、これらは、比較的緩い許容範囲で設計される。結果として、オプチクスのＰＳＦの程度は、実質的にアレイ２２のピッチよりも大きい。典型的に、オプチクス４６の設計制約を緩和し、したがって、カメラ４４のコストを減じるために、ＰＳＦの程度は、ピッチの少なくとも２倍であり、ピッチの３倍より大きくてもよく、または、４倍より大きくてさえよい。カメラの対物距離または倍率（ズーム）が変わるときには、ＰＳＦは変化してもよいことに注意されたい。（この場合のＰＳＦの変化は、図２に例示された単一ズーム機能よりも複雑である。）プロセッサ３０は、そのような変化を補正するように、プログラムされてもよい。
画像プロセッサ３０は、最初にぼけた画像からノイズを除去した後に、逆重畳フィルタ（ＤＣＦ）を画像へ加えることによって、カメラ２０または４４の出力画像のぼけを修正する。ＤＣＦは、下記のように複合体ＰＳＦｈの組織化された逆としてみなされてもよい：

ただし、εは、小定数である。プロセッサ３０によって加えられた処理方法は、上述の米国特許出願第０９／７７８，８４９号に詳細に記載されている。

その出願に記載された技術へのさらなる改良点は、プロセッサ３０によって加えられてもよく、下記により詳細に説明される。たとえば、ＰＳＦｈはカメラの画像フィールドにわたって変動してもよいため、ぼけ修正プロセスは、典型的に、各セグメントに異なるＤＣＦを使用して、異なる画像セグメントとは別個に加えられてもよい。次いで、ぼけ修正されたセグメントは、最終的な修復された画像を生成するために一緒にステッチされる。ＤＣＦを使用する画像のぼけ修正は、ここに説明される本発明の少なくともいくつかの実施の形態に使用される画像修復の方法である。ＤＣＦは、空間領域かまたは周波数領域のいずれかに加えられてもよい。画像修復の等価の代替的な技術は、上述の米国特許出願および本特許出願を読めば当業者には明らかであり、本発明の範囲内であるとみなされる。

図４は、本発明の実施の形態にしたがって、カメラ２０または４０のプロセッサ３０によって処理するために、アレイ２２によって捉えられたピクセル５４のマトリクス５０の概略正面図である。マトリクス５０は、アレイ２２の対応する要素２４によって出力される信号に対応する値を有し、ピクセル５４から作られる画像形成区域５２を具備する。大部分は、アレイ２２の操作管理内で、信号（およびしたがってピクセル値）は、固定比例で、対応するデテクタ要素に入射する光の強度に比例する。しかし、いくつのピクセルでは、たとえば、逸脱したピクセル５６では、比例は、基準から逸脱し、予想されるよりも高いか低いかのいずれかの感度を提供する。欠陥ピクセル５７等の他のピクセルは、アレイ２２の対応する要素２４が異常にノイズが有るか、または、光に対して非常に低い感度を有する（かまたは感度を有さない）ため、使用に適さない出力を提供することもある。そのような欠陥ピクセルは、ここでは、不良ピクセルと称される。画像の「不良ピクセル」は、画像の「ホットスポット」または「ブラックスポット」等の、画像の露出過度のピクセルおよび露出不足のピクセルから生じることもあり、相互に隣接する不良ピクセルのグループは、画像の不良区域を生じることもあることに注意されたい。

スポット４２は、事実上、カメラの対物面における点源の画像である。図４に示されるスポット４２によって例証され、カメラのＰＳＦによって生じるぼけ修正は、画像のローパスフィルタリングに等価であり、そのため、各ピクセル値は、その隣接するものの値と効果的に平均される。したがって、ＰＳＦは、隣接するピクセルの値における可能な差に限界を課し、これは、アレイ２２の合計動的範囲（たとえば、２５５：１）よりも実質的に小さい。この限界を超える隣接するピクセルの間の差は、逸脱ピクセルまたは不良ピクセルのために、アレイの要素２４における欠陥を示す。

図５は、本発明の実施の形態にしたがって、そのような不良ピクセルおよび逸脱ピクセルを識別するための方法を概略的に例示するフローチャートである。この方法は、カメラ４４を参照して下記に記載されるが、これは同様に、カメラ２０にまたは他の種類の電子画像形成装置に加えられてもよい。この方法の開始点として、適用可能なＰＳＦが６０で確認される。ＰＳＦは、業界で公知の光学方法を使用して測定されてもよく、あるいは、オプチクス４６の公知の特性およびアレイ２２およびカメラ２０の他の顕著な特性に基づいて、代替的に計算されてもよい。ＰＳＦは、６２で、隣接するピクセルの値の間の最大許容差を決定するために使用される。この最大差は、たとえば、対物面において明るい特徴部と暗い特徴部との間の最大対照のシャープなエッジの区域で、公知のＰＳＦを受けて、隣接するピクセルの値を計算することによって決定されてもよい。

カメラ４４は、６４で、画像統計値を集めるために、検査モードで操作される。検査モードにおいて、カメラは、たとえば、異なる画像の種類および種類上で走査されてもよく、一連の対応する画像が集められてもよい。あるいは、画像統計値は、カメラの通常操作中に集められてもよい。次いで、隣接するものと不適合であるピクセルを識別するために、６６で、一連の画像上の隣接するピクセルの値が比較される。６８で、所与のピクセルとその隣接するものとの間の逸脱のパターンに基づいて、２種類の不適合が識別される。すなわち、

・一貫した逸脱、すなわち、所与のピクセルの平均値が、一貫した比例定数によって隣接するものよりも高いか低いかである逸脱ピクセル５６の特性。この場合、プロセッサ３０は、７０で、対応するデテクタ要素２４の逸脱感度を調節するために、アレイ２２によって出力されたこのピクセルの値へ加えられるべき較正係数を決定する。

・一貫した比例定数のない逸脱、すなわち、有用な情報を与えないとみなされる不良ピクセル５７の特性。プロセッサ３０は、７２で、これらのピクセルを特殊な処理扱いにマークする。プロセッサ３０によってこれらの不良ピクセルを取り扱うことは、下記に図６を参照して、説明される。

不良ピクセルおよび逸脱ピクセルを取り扱うためのこのアプローチの利点は、カメラ４４が、依然として良好な品質の画像を生成しながら、比較的大きな数の逸脱および／または欠陥要素２４を備えたアレイ２２を使用するのを可能にすることである。

プロセッサ３０が、生得的に欠陥ではないが、特定の画像では「不良」な出力信号を与えるピクセルを識別して補正することも可能である。たとえば、カメラ４４が光の過度に明るい点を有する場面を捉えるときに、画像における対応するピクセルが飽和されてもよく、ブルーミングが飽和を隣接するピクセルに広げさせる。画像のぼけ修正の前に、プロセッサ３０は、これらの効果を認識してもよく、不良ピクセルの現在のマップに発生するピクセルを加えてもよい。

図６は、本発明の実施の形態にしたがって、ぼけ修正出力画像３２を生成する際にプロセッサ３０によって加えられた方法を概略的に例示するフローチャートである。方法は、特に、８０で、上述のように、不良ピクセルのマップＤ［ｘ］を形成することに基づく。ここで、ｘは、空間（ピクセル）領域における一般化ベクトル座標である。Ｄ［ｘ］は、不良ピクセル用では値０、その他では１を有する。

この方法の目的のために、８２で、共役ＰＳＦｈ＊でマップＤを畳み込むことによって、不良ピクセルの「ぼけた」マップが作成される。空間周波数領域において、畳み込まれたマップのフーリエ変換が、下記によって与えられる：

ただし、ｈ＊［ｑ］およびＤ［ｑ］は、それぞれ、ＰＳＦおよび不良ピクセルマップのフーリエ変換であり、ｑは、変換（周波数）領域における一般化ベクトル座標である。新しい訂正マップＭは、Ｍ’を空間領域へ再転換し下記を設定することによって見出される：

あるいは、Ｍ’は、フーリエ変換によってマップを往復して変換するよりも、空間領域で計算されてもよい。

不良ピクセルの近隣において、畳み込まれたマップ値Ｍ’［ｘ］は、１よりもずっと小さくてもよく、そのため、対応する訂正マップ値Ｍ［ｘ］は非常に大きくいてもよい。発明者らは、下記に記載のやり方で、そのようなマップを使用することが、最小のアーチファクトを備えた訂正画像の誠実な再構造の点から、補間の従来の方法よりもかなり良好な結果を与えることを見出した。これらのアーチファクトは、特に、これを補正するために使用しなければならないＰＳＦのおよびＤＣＦの非局在的性質から起因する。簡単な補間を使用して不良ピクセルの区域にわたって滑らかにするときには、結果として得られる画像は典型的に、ぼけているか（少なくとも補間区域に）、または、顕著なアーチファクトによって損なわれるか、のいずれかである。本発明のいくつかの実施の形態によって設けられた訂正マップは、囲繞する良好なピクセルの下にある空間周波数構造物を保存しながら、他方では、不良ピクセルの値を交換する。このようにして、不良ピクセルから近隣の他のピクセルへのアーチファクトの伝播は、実質的に減少する。あるいは、訂正マップは、代数的形態は異なるが方程式（３）に規定されたものにふるまいが類似する他の公式を使用して決定されてもよい。そのような代替の公式は、本発明の範囲内であるとみなされる。いずれの場合にも、ここに記載された不良ピクセル交換技術は、カメラからの出力画像に実質的に悪影響を生じることなく、アレイ２２が比較的大きな数の不良ピクセルを含むことを可能にする。したがって、カメラのコストは、比較的大きな数の不良ピクセルを備えた安価で低品質のアレイを使用することによって、減少されてもよい。

プロセッサ３０は、８４で、アレイ２２から入力画像を受け取る（それは、オプチクス４６のＰＳＦによってぼける）。画像は、８０でマークされた場所で、不良ピクセルを含む。プロセッサは、８６で、不良ピクセルの値を概算訂正値と交換する。概算値は、たとえば、隣接する良好なピクセルの値から補間によって、決定されてもよい。画像の良好なピクセルは、変わらないままであるが、７０で（図５）見出された較正係数によってその値を調節することが必要である程度を除く。

加えて、８６で、プロセッサ３０は、画像区域５２のエッジのまわりにフレーム５８を加える。このフレームの目的は、画像のぼけを修正する際に適用されるべきフーリエ変換の内在的周期性を提供することである。フレーム５８の幅は、たとえば、ＰＳＦの半径にほぼ等しい。フレーム５８のピクセルは、図６の方法の目的のために、「不良」ピクセルとして扱われる。これらのピクセルの初期値は、区域５２の隣接する右および左のエッジまたは下部および上部のエッジにおける「良好な」ピクセルの値の間を補間することによって得られる。フレームピクセルは、このようにして、周期的な構造を画像に加え、これは、空間領域と変換領域との間の画像を変換するときに、画像エッジのため、そうでなければ導入されることができるアーチファクトを抑えるのに有用である。

８６で得られた訂正されフレームづけされたぼけた画像、Ｂ_０は、ＤＣＦで畳み込まれて（方程式１）、８８で、初期ぼけ修正画像ｒ_０を生成する。形式上、簡略化した項で、ｒ_０［ｘ］＝ＤＣＦ＊Ｂ_０［ｘ］であり、ただし、演算子「＊」は、畳み込みを表す。実際に、演算は典型的にフーリエ変換領域で行われ、上述の米国特許出願第０９／７７８，８４９号に記載されるように、ノイズ減少ステップによって達成される。

次いで、プロセッサ３０は、９０で、ｒ_０を評価して、画像品質を改良するために、追加処理が望ましいか否かが決定される。９０での決定の基礎は、経過した処理時間の量か、または、実行されている反復の数であってもよく、または、画像品質の程度であってもよい。これらの決定基準は、下記にさらに説明される。プロセッサ３０が、現在の画像の処理が完了したことを決定する場合には、画像は９２で出力され、処理は終了する。典型的に、フレーム５８は、画像を出力する前に除去される。あるいは、フレームの一部またはすべてが、出力画像に残されてもよいが、それは、画像の公称視野外部にあった情報（カメラの大きなＰＳＦによる）を含んでもよいからである。

あるいは、プロセッサ３０は、物体のよりシャープなより正確な画像を生成するために、現在の画像を反復して処理し続けてもよい。この目的のために、ぼけた画像Ｂ_ｉ［ｘ］（初期にはＢ_０）および先行する反復からのぼけ修正された画像ｒ_ｉ［ｘ］（初期にはｒ_０）は、９４で、不良ピクセルのより良好な値を備えた新しいぼけた画像Ｂ_ｉ＋１［ｘ］（初期にはＢ_０）を作成する際に使用される：

言い換えると、先のぼけ修正された画像は、ＰＳＦで畳み込まれ、不良ピクセルマップＤを使用して、このようにして得られたピクセル値を不良ピクセルの場所でＢ_ｉ＋１に置換する。Ｂ_ｉの良好なピクセルの値は、変わらないままである。
改良された不良ピクセル値を備えた新しいぼけた画像Ｂ_ｉ＋１を使用して、９６で、改良されたぼけ修正された画像ｒ_ｉ＋１を形成する。ｒ_ｉ＋１のピクセル値は、下記のように表すことができる：

ここで、また、畳み込み操作は典型的に、当業者には明らかであるように、方程式（５）の項をフーリエ変換領域に転換し、乗算し、次いで、空間領域へ変換し戻すことによって実行される。ｒ_ｉ＋１の第１の項は、単に、ＤＣＦによって新しいぼけた画像Ｂ_ｉ＋１のぼけ修正を表す。第２の項が加えられて、新しくぼけ修正された画像における良好なピクセルの値に関する概算された不良ピクセルの効果を除去する。この項は、方程式（３）によって表されるように、８２で生成された訂正マップ値を使用する。各反復において、この項は、訂正画像の実際の空間的周波数構造物をより誠実に再現するように、それが作用するピクセル用の新しい値を生成する。

この点で、プロセッサ３０は再度、９０で、ぼけ修正された画像の品質および／または経過した処理時間または反復を査定し、計算を終了するかまたは別の反復を続けるかを決定する。反復は、９２で画像が最終的に出力されるまで、このように無制限に続けてもよい。

加えて、最終画像が格納され且つ／または表示される前に、さらなる画像向上操作が９２で加えられてもよい。さらなる操作は、主に、画像のノイズを減少し且つ／またはアーチファクトを除去することに関する。たとえば、ノイズを減少するために、平滑化フィルタが加えられてもよい。エッジコントラストを維持するために、局所画像勾配が決定されてもよく、次いで、一次元平滑化フィルタが、局所勾配に直交する方向に加えられてもよい。

別の例として、画像の実際のシャープなエッジの近隣にアーチファクトとして時折現れる「ゴーストエッジ」もまた、この段階で除去されてもよい。この目的のために、エッジ画像は、画像に実際の強いエッジを保存しながら、ぼけ修正された画像を滑らかにすることによって作成される。このエッジ画像は、アーチファクトがないとみなされる（強いエッジを除いてすべての詳細で欠けているが）。ぼけ操作および修復操作がエッジ画像に加えられ、結果としてゴーストエッジの出現になる。この後者の画像からのアーチファクトのないエッジ画像を取り除くことは、ゴーストエッジのアーチファクト（フットプリント）のみを含む画像を提供する。次に、ゴーストエッジのフットプリントは、アーチファクトを排除するために、元々のぼけ修正された画像から取り除くことができる。

代替的にまたは追加して、画像を向上しアーチファクトを減少するための別の方法が、９２で加えられてもよい。プロセッサ３０によって、必要な変更を加えて、加えられてもよい模範的な方法は、米国特許第４，６９１，３６６号、第５，７５１，８６１号および第６，０９４，４６７号に記載されており、その開示は、参照してここに組み込まれる。
画像修復用に最適化された光学設計

図７は、本発明の実施の形態にしたがって、ぼけ修正機能を備えたデジタルカメラに使用されるために、オプチクス４６を設計するための方法を概略的に例示するフローチャートである。この方法は、この機能のために最適化される光学設計を生成するために、プロセッサ３０によって加えられるべき画像修復機能を予め知っているという利点を有する。初期光学設計を生成した後に、光学システムの光学ＰＳＦが計算され、設計にしたがって光学システムによって生成された画像によって対してぼけ修正機能を適用することによって達成することができる向上したＰＳＦを決定する際に、これが使用される。向上したＰＳＦにおける設計の変化の効果を示す光学設計に基づいて、応答マトリクスも計算される。次いで、光学システムの設計は応答マトリクスに基づいて修正され、画像修復後により良好な向上したＰＳＦを有する新しい設計与える。この工程はより良い設計を連続的に与えるために反復的に繰り返される。図７の方法は、カメラ４４および図５に示されたぼけ修正方法を参照して下記に記載されるが、業界で公知のように、画像修復用の他のアルゴリズムを使用するシステムを含む他の種類の電子画像形成システムおよび他のカメラに、同様に適用されてもよい。

次に、図７の方法の詳細に移ると、予備段階として、光学設計を生成する前に、１００で、収差スコアが光学設計に使用されるために規定されてもよい。この段階は必須ではないが、後述の反復設計方法のより速い収束を達成するのに有用である。オプチクス４６を特徴づけてもよい各重要な収差に、メリット関数が割り当てられる。この目的のために、発明者らは、業界で公知のように、個別に、色、赤、緑および青の各々用に、ゼルニケ多項式の項で、収差を表すことがもっとも便利であることを見出した。ゼルニケ多項式は、たとえば、ＢｏｒｎおよびＷｏｌｆ著、「光学の原理（ＰｒｉｎｃｉｐｌｅｓｏｆＯｐｔｉｃｓ）」、第４版（パーガモンプレス（ＰｅｒｇａｍｏｎＰｒｅｓｓ）、１９７０）、セクション９．２、４６４〜４６７頁に記載されており、これは参照してここに組み込まれる。光学設計用の標準ソフトウェアパッケージ、たとえば登録商標ゼマックス（ＺＥＭＡＸ）（カリフォルニア州サンジエゴのゼマックスデベロップメント社（ＺＥＭＡＸＤｅｖｅｌｏｐｍｅｎｔＣｏｒｐ．）によって製造される）は、それが生成する実質的にいずれの設計用のゼルニケ多項式係数を計算することができる。メリット関数の値は、１００で表形式に設けられてもよい。これらの値の生成は、図８を参照して下記に記載される。

初期光学設計は、１０２で生成される。設計は、典型的に、適切なコンピュータワークステーションを走る光学設計ソフトウェアを使用して生成される。ソフトウェアは、電子形態でワークステーションにダウンロードされてもよく、または、ＣＤ−ＲＯＭまたはＤＶＤ等の有形媒体で提供されてもよい。光学設計ソフトウェアは、ここに記載された最適化機能を実行するための追加プログラム構成要素を備えた、上述のゼマックスソフトウェア等の既製のパッケージを具備してもよい。ソフトウェアは、入力として、オプチクス４６に課されるシステム要件、たとえば、光学素子の数、材料、許容差、焦点距離、倍率、絞り（Ｆナンバー）および解像度等を受け入れる。上記のように、オプチクスのＰＳＦに関して表される光学解像度は、典型的に、アレイ２２よりも実質的に大きい焦点サイズを与える。次いで、全体的なシステム解像度は、ぼけ修正によって高められる。

光学設計ソフトウェアは、設計スコアを決定する際に、１００で提供された収差スコアを使用してもよく、これは、設計の全収差にわたって取られたメリットスコアの合計である。設計スコアは、上述の光学要件を受けるメリットスコアの合計を最大限にする初期設計を生成するために、１つの収差を別のものにどのように交換するかを示す。このようにしてメリットスコアを使用する結果として、１０２で生成された光学設計は、アレイ２２に形成された画像に最小合計ぼけを与えるものではなくてもよい。しかし、光学画像は、より良好な品質の電子出力画像を与えるために典型的にプロセッサ３０によってぼけ修正することができる収差の組み合わせによって特徴づけられる。

光学設計ソフトウェアを使用して、１０４で、設計変更応答マトリクスも生成する。このマトリクスは、光学設計パラメータの小さな変更が光学システムの異なる収差に与えるインパクトを反映する。変更されてもよい光学設計パラメータとして、たとえば、異なるレンズ表面の曲率、さらに、レンズの厚さおよび間隔あけが挙げられる。マトリクスは、一種の多次元勾配であり、率Ｒ^ｉ _ｊ＝Δ（収差［ｊ］）／Δ（光学＿パラメータ［ｉ］）を表す入力（ｉ、ｊ）を有する。

光学設計は、１０６で、オプチクスのPSF、および、関連画像品質スコアＳを計算するのにも使用される。画像平面のいずれの点における合計収差およびしたがってＰＳＦは、合計波面収差から得られてもよく、これは、単に、ゼルニケ多項式の値を合計することによって計算される。上記のように、ゼルニケ多項式係数は一般に、標準光学設計プログラム、たとえば、上述のゼマックスからの出力として利用可能である。１０６で計算された画像品質スコアは、典型的に画像解像度におけるおよび画像のアーチファクトにおけるＰＳＦの効果を組み合わせ、プロセッサ３０の能力を反映し、選択された画像修復（ぼけ修正）アルゴリズムを使用してこれらの効果を補正する。ＰＳＦは典型的に波長で変化し、画像平面全体にわたって均一ではない。したがって、解像度スコアおよびアーチファクトスコアは、画像平面の複数のフィールド点で計算されてもよく、次いで、典型的に重みづけ平均によって組み合わされる。画像品質スコアＳを計算するための模範的な方法は、図８を参照して下記に説明される。

画像品質スコアにおける収差の小さな変化の影響は、１０８で決定される。この段階で、収差の各々に小さな変化が行われ、画像品質スコアの結果として得られた変化が計算される。この操作は、スコア勾配、Ａ_ｊ＝ΔＳ／Δ（収差［ｊ］）を与える。

次いで、１１０で、１０４および１０８の結果が組み合わされて、Ｓを増加するために、１つまたはそれ以上の光学設計パラメータに加えられるべき光学変化を決定する。その要素Ｒ^ｉ _ｊおよびＡ_ｊが上記に規定される応答マトリクスＲおよびスコア勾配ベクトルＡを使用して、光学設計変更ベクトルΔＯは下記によって与えられる：

ただし、Ｒ^ｔは、Ｒのエルミート転置である。ΔＯの要素の各々は、１０２で生成されたように、現在の光学設計の可変設計パラメータの１つになされるべき変化を示す。

ΔＯによって示される光学設計の大きさは、１１２で、所定の許容差閾値と比較される。許容差閾値は任意に設定されてもよいが、典型的に、これは、カメラ４４およびオプチクス４６用に特定されている製造許容差によって決定される。たとえば、光学システムの２つのレンズの間の間隔あけが正確に０．２ｍｍ以内であるように特定される場合には、ΔＯによって示されてもよい０．１ｍｍの設計間隔あけの変更を実施する際に点はほとんどない。ΔＯの要素がすべて適用可能な許容差閾値よりも小さい場合には、設計サイクルが完了し、設計は、１１４で、作成用に出力されてもよい。

あるいは、ΔＯの１つまたはそれ以上の要素が、１１２で許容差閾値を超えると見出された場合には、１１０で計算された設計変更ΔＯを実施する改訂された光学設計を生成するために、設計プロセスは１０２へ戻る。次いで、上述のように、１０４〜１１０の操作が繰り返される。この反復プロセスは、ΔＯのすべての要素が１１２で適用可能な閾値よりも低いと見出されるまでか、または、反復の一定の最大数が生じるまでか、または、他の何らかの基準または基準の組み合わせが満たされるまで、続行されてもよい。

図８は、本発明の実施の形態にしたがって、１０６で実行されるスコアリングの方法の詳細を概略的に示すフローチャートである。上記のように、画像品質スコアは、解像度スコアおよびアーチファクトスコアを計算して組み合わせることによって決定される。個別のスコアは、画像フィールドの複数の点で且つ複数の異なる波長で、計算されてもよい。１つの実施の形態において、スコアは、３つの異なる波長（赤、緑および青）の各々で、正のＸ軸に沿った９つの点で計算される。オプチクスは円筒形対称であるため、正のＸ軸上の光学特徴は、フィールド全体を特徴づけるのに十分である。

解像度スコアを見出すために、個別のＸおよびＹ方向の解像度スコアＳ_ｘ ^ＲｅｓおよびＳ_ｙ ^Ｒｅｓは、１２０で、各選択されたフィールド点で各波長用に決定される。フィールド点はＸ軸に沿って取られるため、Ｓ_ｘ ^Ｒｅｓは、接平面の解像度を表し、一方、Ｓ_ｙ ^Ｒｅｓは、矢状面の解像度を表す。模範的な実施の形態において、スコアは下記のように各フィールド点および波長で計算される：

１．ＰＳＦは、典型的に上述のようなゼルニケ多項式表示を使用して、収差に基づいて計算される。

２．ＰＳＦは、センサアレイ２２のピッチに変倍される。

３．ＰＳＦは、代表的な画像を生成するように加えられる。典型的に、この代表的な画像な、値１を有する原点（現在のフィールド点）におけるピクセルを除いていずれの場所でもゼロである理想的な画像をぼけさせることによって作成される。言い換えると、Ｉ（ｘ、ｙ）＝δ_ｘ，ｙであり、ただし、Ｉ（ｘ、ｙ）は画像ピクセルアレイであり、ｘ、ｙは整数のピクセル座標であり、δ_ｘ，ｙはクロネッカーのデルタ関数である。あるいは、他の種類の代表的な画像が使用されてもよく、たとえば、線またはグリッド画像である。

４．代表的な画像は、修復された画像ｒ（ｘ、ｙ）を生成するために、上述のように、逆重畳フィルタＤＣＦ（ｈ）を使用して、ぼけ修正される。ここで、ｈは、ＤＣＦを生成するのに使用されるＰＳＦである。この段階で、様々な逆畳み込みフィルタが選択され使用されてもよい。たとえば、ｈは、この特定のフィールド点および波長用に計算された局所ＰＳＦとして取られてもよく、ＤＣＦは、上記方程式（１）によって与えられた公式を使用して、この局所値に基づいて計算されてもよい。あるいは、単一の最適化されたＤＣＦが、すべてのフィールド点および波長に使用されてもよい。この同一の最適化されたＤＣＦが、カメラ４４によって生成された画像のぼけ修正をするために、その後、プロセッサ３０により加えられてもよい。最適化されたＤＣＦを計算するための模範的な方法は、下記に説明される。

５．修復された画像ｒ（ｘ、ｙ）は、変換された画像Ｒ（ｐ、ｑ）を与えるために、二次元フーリエ変換を適用することによって空間周波数領域へ変換され、ただし、（ｐ、ｑ）は、それぞれ、ＸおよびＹ方向の空間周波数座標である。

６．Ｘ方向のスコアは、変換された画像によって与えられるように、ぼけて修復されているＸ方向における階段関数のスロープによって決定される：

ここで、ｐＭａｘは、Ｘ方向におけるナイキスト周波数である。

７．Ｙ方向のスコアも同様に、ぼけて修復されているＹ方向の階段関数のスロープによって決定される：

この場合、ｑＭａｘは、Ｙ方向におけるナイキスト周波数である。

すべての選択されたフィールド点で個別のＸおよびＹの解像度スコアは、１２４で、組み合わされて、合計解像度スコアを与える。典型的に、不良（低い）の個別解像度スコアにより大きな強調を与えるようなやり方で、平均が重みづけられる。たとえば、合計解像度スコアは、個別解像度スコアの逆の指数の積であってもよい（下記方程式（７）参照）。重みづけ平均の代替機構は、当業者には明らかである。さらなる代替として、合計スコアは、単に、個別スコアの最悪のものに等しく設定されてもよい。

個別のアーチファクトスコア、Ｓ_ｘ ^ＡｒｔおよびＳ_ｙ ^Ａｒｔは、同様に、１２２で、各フィールド点および波長用に計算される。個別のスコアは、下記のように計算されてもよい：

１．ＤＣＦによって作成されたアーチファクトのＸ方向の程度は、一次元フーリエ変換をＲ（ｐ、０）へ加えることによって決定され、空間領域関数

を与える。この関数は典型的に、サイドローブによって囲繞される中心ピークによって特徴づけられる。Ｘ方向のアーチファクトの程度、Ｗ_ｘは、原点から最高位サイドローブの外側境界の距離によって与えられる：

であり、ただし、ε_Ａｒｔは、閾値値であり、典型的に１％のオーダである。

２．ＤＣＦによって作成されるアーチファクトの振幅は、最高位サイドローブの内側境界を見出すことによって決定され：

、次いで、この境界の外側に最大振幅を見出す：

３．Ｘ方向のアーチファクトスコアは、積によって与えられる：

Ｙ方向のアーチファクトスコアは、同様のやり方で計算される。

合計アーチファクトスコアは、１２６で、典型的に重みづけ平均として、個別のスコアを組み合わせることによって計算される。この場合、重みづけは、典型的に、より高い個別のスコアを強調し、これはより厳しいアーチファクトを指摘する。あるいは、１２４でのように、合計アーチファクトスコアは、最悪の個別スコアに等しく設定されてもよい。次いで、合計画像品質スコアＳは、１２８で、解像度スコアおよびアーチファクトスコアの平均として決定される。たとえば、下記方程式（７）は、１２４、１２６および１２８の操作を組み合わせる：

ここで、総和は、すべてのフィールド点ｆおよび波長ωにわたって取られる。λは、経験的に導き出された定数であり、これは、システム要件に依存して、解像度を改良するかまたは出力画像のアーチファクトを減少するかのいずれかに対してより大きな強調を与えるように、選択されてもよい。

上記のように、画像品質スコアおよび勾配を計算する際に、いずれの適切なＤＣＦを使用してもよい。上述のように、各異なるフィールド点および波長用に異なるＤＣＦを使用してもよいが、フィールド全体にわたって単一の均一なＤＣＦを使用して、または、少なくとも、フィールド上に比較的少数の変化を備えたＤＣＦを使用して、プロセッサ３０を実行することがより簡単である。したがって、光学設計を最適化する際に、図７および８の方法にしたがって、均一なＰＳＦを使用することが望ましく、そのため、光学設計は、ぼけ修正アルゴリズムが提供する実際の向上を反映する。

１つの実施の形態において、ここではｈ_Ｏｐｔと称される重みづけＰＳＦは、光学設計プロセスの目的のために均一なＰＳＦとして使用される。重みづけＰＳＦは、対応するＤＣＦが、実際に作られているカメラ４４の最大数のユニットに最適化されたぼけ修正を提供する最大の可能性を有するという意味で、ＰＳＦの最適化された概算を提供する。ｈ_Ｏｐｔは、画像フィールドにわたって個別ＰＳＦの重みづけ平均によってこの目的のために計算される。重みづけＰＳＦは、オプチクス４６、センサアレイ２２、および、おそらくカメラ４４の他の要素における製造許容差のために、個別ＰＳＦに発生してもよい変化も考慮に入れてもよい。たとえば、ｈ_Ｏｐｔは、システム許容差の境界によって規定されるように異なる光学パラメータを使用して、同一フィールド点および波長用に計算された数個の異なる個別ＰＳＦからの貢献を含んでもよい。各個別ＰＳＦ、ｈ_ｉは、平均化プロセスで重量Ｗ_ｉで掛けられ、重量が合計して１になるようにする。重量は、フィールドの中心により近いフィールド点に対してより大きな重要度を与えるように、且つ／または、他方よりも１つの波長（典型的に緑）に有利であるように、選択されてもよい。複数のＰＳＦが異なる光学パラメータに基づいて計算されるときには、重量は、許容差範囲内で変化を作る可能性も反映してもよい。
これらの状況下で、理想画像に対するぼけ修正された画像の可能な逸脱を最小限にする最適ＤＣＦが、下記によって与えられる（周波数領域内）ことを示すことができる：

この結果を単純な規定ＤＣＦ＝１／ｈに比較して、結果を与える：

この「最適化された」ＰＳＦは、図７、８の方法でｈとして使用されてもよく、対応するＤＣＦ_ｏｐｔは、プロセッサ３０によって使用されてもよい。

次に、図７の１００に戻ると、先に、初期光学設計の収差をスコアリングするためにメリット関数が使用されてもよいことが注記された。メリット関数値は、典型的に、表形式で光学設計ソフトウェアに供給され、ゼルニケ多項式係数に依存する。メリット関数値を生成するために、各収差は、対応するゼルニケ多項式によって規定されるように、ＰＳＦに転換される。このＰＳＦの形態は、ＰＳＦが表す特定の収差のために光学画像に生成されるぼけを反映する。スコアは、図８の方法を使用して計算されてもよい。ゼルニケ収差４（ピンぼけ）および収差８（コマ収差）用に計算される典型的なＸおよびＹの解像度スコアは、下記の表１に示される。

残りのゼルニケ収差に加えられるべきメリットスコアの計算は、前述の説明および例を研究すれば、当業者には明らかである。

設計例
図９は、上述の方法を使用して、本発明の実施の形態にしたがって設計されたオプチクス４６の概略側面図である。この実施の形態において、オプチクス４６は２つのレンズ１３０および１３２を具備し、両方ともポリメチルメタクリレート（ＰＭＭＡ）から作られ、光学軸１３４に整列配置される。レンズは両方とも円筒形対称であり、レンズ１３０の左に対して、無限遠で対物面を備えた固定焦点用に設計される。レンズ１３０は球形であり、直径２．５ｍｍ、中心厚さ１．０ｍｍ、および、前部および後部の曲率半径はそれぞれ２．１２ｍｍおよび６．７１ｍｍである。レンズ１３２は、光学軸でレンズ１３０の後ろに１．６ｍｍの間隔をおかれ、直径４．５ｍｍおよび厚さ１．２ｍｍである。フィルタ４８は、厚さ０．４ｍｍのＢＫ７ガラスを具備し、レンズ１３２の後ろに０．８５ｍｍおよびセンサアレイ２２の平面の前に０．７８ｍｍで位置決めされる。
レンズ１３２の前部表面および後部表面は両方とも非球面であり、図７の最適化方法を使用して決定された非球面プロファイルさえ備える。非球面プロファイルを決定するために、レンズ表面プロファイルを規定する関数の係数は、応答マトリクスにパラメータとして含まれる。
言い換えると、勾配値

は、上記に規定されたように、非球面レンズ係数の各々に関して各収差用に決定される。この方法を使用して、下記の係数が、レンズ１３２の表面用に決定される。

他の種類の非球面プロファイルが、同様のやり方で規定され最適化されてもよい。

発明者らは、上述のぼけ修正機能とともに使用される図９の光学設計が、ぼけ修正のない従来の３レンズの対物レンズによって生成された画像と同じほど良好であるかまたはそれよりも良好である出力画像を、変調伝達関数（ＭＴＦ）を備えたカメラ４４から与えることを発見した。両方の場合に１．３Ｍピクセルを備えたセンサアレイが使用された。図９に示される２レンズ設計は、３レンズ設計のものよりも、製造コストが安く、より狭い（前部から後部への距離がより短い）。

次に図１０Ａ／Ｂ、１１Ａ／Ｂおよび１２Ａ／Ｂを参照すると、これは、本発明の実施の形態にしたがって、上述の光学設計および画像処理技術を使用して得られるＰＳＦに改良を例証するプロットである。図１０Ａおよび１０Ｂは、波長５８７．６ｎｍの光用に、オプチクスの画像平面において、点Ｘ＝２ｍｍ、Ｙ＝０ｍｍで（すなわち、光学軸から２ｍｍだけ変位して）、図９のオプチクスのＰＳＦを概略的に示す。水平軸は、センサアレイのピクセルのユニット（すなわち、ピッチ）内である。ＰＳＦは、オプチクスのすべての重大な収差の合計として計算され、収差は、典型的に、ゼルニケ多項式の項で表される。両方の軸におけるＰＳＦの程度は、およそ３ピクセルである。

図１１Ａおよび１１Ｂは、ＤＣＦの畳み込みカーネルのＸ軸およびＹ軸に沿った要素を示し、これは、図１０Ａおよび１０ＢのＰＳＦによって作成されたぼけを訂正するように計算される。

図１２Ａおよび１２Ｂは、図１１Ａおよび１１ＢのＤＣＦが図９のオプチクスによって形成された画像に加えられるときに得られるＰＳＦの向上を示す。次に、ＰＳＦの程度は、Ｘ方向およびＹ方向の各々で約１ピクセルに減少される。

あるいは、カメラ４４のプロセッサ３０のぼけ修正能力を使用して、他の様々な設計交換を得てもよく、たとえば：
・オプチクス４６のＦナンバーは減少されてもよく、より大きな開口部を与え、したがって、良好な光感度を与える。Ｆナンバーを増加することは、カメラの被写界深度を減少し、したがってＰＳＦを広げるが、これらの影響は、プロセッサ３０のぼけ修正機能の畳み込みカーネルの値を広げて調節することによって相殺されてもよい。
・カメラ４４によって生成された出力画像の解像度は、匹敵するセンサアレイおよび対物オプチクスを備えた従来のカメラの解像度に対して、プロセッサ３０によって向上されてもよい。

追加してまたは代替的に、カメラ４４（またはカメラ２０）の能力は、プロセッサ３０を構成することによって向上されてもよく、焦点関係の変化、すなわち、カメラの画像距離に対する対物距離の変化に応答してＤＣＦ係数を調節する。たとえば：
・カメラ４４は、オプトメカニカル調節なしで、カメラに非常に近い（典型的に５〜３０ｃｍ）物体を画像形成するために、マクロ操作に切り替えることができてもよい。従来のカメラでは、マクロ操作は、対物レンズの位置に、非常に微細な機械的調節を必要とする。カメラ３０では、異なる対物距離が係数を変えることによって達成されてもよく、これは、対物距離でＰＳＦの変化を補正するために前もって計算される。ＤＣＦ係数は、プロセッサ３０によってルックアップテーブルに格納されてもよく、マクロ操作は、ソフトウェアの切替によって呼び出されてもよい。
・オプチクス４６の視野は、向上した広角操作のために、増大してもよい。プロセッサ３０によって加えられたＤＣＦは、特に、フィールドのエッジでＰＳＦの劣化を補正するために調節されてもよい。

電子ズーム機能は、図２によってほぼ例示されるように、特にレンズ無しカメラが使用されるときに、実施されてもよい。他の用途は、当業者には明らかであり、本発明の範囲内であるとみなされる。

上述の実施の形態はデジタルカメラのある特定の種類および設計を参照するが、本発明の原理は、実質的にいずれの種類の光学電子画像形成装置に同様に適用されてもよい。したがって、上述の実施の形態は例として引用され、本発明は特に上記に示され説明されているものに限定されないことが認識される。むしろ、本発明の範囲は、上述の様々な特徴の組み合わせおよび小組み合わせの両方、および、前述の説明を読めば当業者が思いつき且つ先行技術に開示されていない変形例および修正例を含む。

本発明の実施の形態にしたがったレンズ無しカメラの概略側面図である。カメラの点像分布関数を例示する、図１Ａのカメラの概略詳細図である。本発明の実施の形態にしたがって、光学ズーム操作を例示する図１Ａのカメラの概略詳細図である。本発明の別の実施の形態にしたがった、カメラの概略側面図である。図３のカメラに使用されるセンサアレイの画像平面におけるピクセルのマトリクスの概略前面図である。本発明の実施の形態にしたがった、電子画像形成カメラによって捉えられる画像における不良ピクセルを識別するための方法を概略的に例示するフローチャートである。本発明の実施の形態にしたがった、画像のぼけを修正するための方法を概略的に例示するフローチャートである。本発明の実施の形態にしたがった、光学設計用の方法を概略的に例示するフローチャートである。図７の方法とともに使用される、画像品質スコアを計算するための方法を概略的に例示するフローチャートである。本発明の実施の形態にしたがって、図７の方法を使用して設計された対物オプチクスの概略側面図である。図９に示された対物オプチクスのＰＳＦの概略プロットである。図９に示された対物オプチクスのＰＳＦの概略プロットである。本発明の実施の形態にしたがって、図９のオプチクスによって形成された画像のぼけを修正するために使用される逆重畳フィルタ（ＤＣＦ）カーネルの概略プロットである。本発明の実施の形態にしたがって、図９のオプチクスによって形成された画像のぼけを修正するために使用される逆重畳フィルタ（ＤＣＦ）カーネルの概略プロットである。本発明の実施の形態にしたがって、図１１Ａおよび１１Ｂに例示されたＤＣＦを使用して画像のぼけを修正することによって得られる向上したＰＳＦの概略プロットである。本発明の実施の形態にしたがって、図１１Ａおよび１１Ｂに例示されたＤＣＦを使用して画像のぼけを修正することによって得られる向上したＰＳＦの概略プロットである。

Claims

ピッチによって特徴づけられる光学検知要素から成り、前記要素に入射する光学放射線に応答してそれぞれのピクセル値を有するピクセルを具備する入力画像を生成する、光学検知要素のアレイと、
対物オプチクスであって、光学軸を有し前記軸を中心とした円筒形対称によって特徴づけられ、且つ、前記対物オプチクスの最適焦点で前記アレイの前記ピッチの２倍よりも大きい程度を有する点像分布関数（ＰＳＦ）を備えた前記アレイに物体から前記光学放射線を集中させるように配列された１つまたはそれ以上のレンズを具備する対物オプチクスと、
電子画像のぼけを減少させて対象物の電子画像を生成するように、前記ＰＳＦに基づいて、前記入力画像へ逆重畳フィルタを掛けることによって前記入力画像を処理するように連結される画像プロセッサと、を具備し、
前記１つまたはそれ以上のレンズの光学特徴は、前記逆重畳フィルタを掛けないときの前記入力画像のぼけ合計を最小にはしないが、前記逆重畳フィルタを掛けたときには前記電子画像のぼけを最小にするように、システム要件に対応して選択されること
を特徴とする画像形成装置。
前記ＰＳＦの程度は前記ピッチの少なくとも３倍である、請求項１に記載の装置。
前記画像プロセッサは、前記アレイの１つまたはそれ以上の不良要素を識別し、訂正されたぼけた画像を生成するように前記入力画像の前記不良要素の近隣にある前記ピクセルの前記ピクセル値を置換値と交換し、且つ、修復された画像を生成するように前記訂正されたぼけた画像へ前記逆重畳フィルタを加える請求項１に記載の装置。
前記画像プロセッサは、前記物体と前記アレイとの間の焦点関係の変化へ応答可能なように前記入力画像に加えられる前記逆重畳フィルタを修正する請求項１から３のいずれか一項に記載の装置。
前記画像プロセッサは、前記物体が前記対物オプチクスから所定の最小距離よりも小さいときには、マクロ逆重畳フィルタを選択する請求項４に記載の装置。
前記画像プロセッサは、新しいぼけた画像を生成するように、前記修復された画像の前記不良要素の近隣にある前記ピクセルの前記ピクセル値を反復して修正し、且つ、減少したぼけを備えた前記電子画像が出力用に生成されるまで、新しい修復された画像を生成するように前記新しいぼけた画像へ前記逆重畳フィルタを加えるように適合される、請求項３に記載の装置。
前記画像プロセッサは、前記ＰＳＦへ応答可能なように、前記不良要素の前記ピクセル値と交換する置換値を決定するように適合される、請求項３または６に記載の装置。
前記画像プロセッサは、実質的に、式中、ｘはピクセル座標であり、Ｍ’［ｘ］は、前記ＰＳＦの共役で前記不良要素のマップの畳み込みによって与えられる畳み込みマップである、

によって与えられる形態の訂正マップＭ［ｘ］を使用して前記置換値を決定する請求項７に記載の装置。
前記画像プロセッサは、前記入力画像を囲繞するダミーピクセルのフレームを加え、且つ、前記ダミーピクセルを前記不良要素に関連したピクセルと同様に扱って、訂正されたぼけた画像を生成し出力用の電子画像を生成する請求項３、７または８のいずれか一項に記載の装置。
要素に入射する光学放射線に応答して、ピッチによって特徴づけられる光学検知要素のアレイを使用して、それぞれのピクセル値を有するピクセルを具備する入力画像を生成するステップと、
前記アレイの前記ピッチの２倍よりも大きい程度を有する点像分布関数（ＰＳＦ）を備えた光学画像を形成するために、１つまたはそれ以上のレンズを具備し、光学軸を有し、前記軸を中心とした円筒形対称によって特徴づけられる、対物オプチクスを使用して前記アレイに物体から前記光学放射線を集中させるステップと、
電子画像のぼけを減少させて対象物の電子画像を生成するように、前記ＰＳＦに基づいて、前記入力画像へ逆重畳フィルタを掛けることによって、前記ＰＳＦに対応して、前記入力画像を処理するステップと、を具備し、
前記１つまたはそれ以上のレンズの光学特徴は、前記逆重畳フィルタを掛けないときの前記入力画像のぼけ合計を最小にはしないが、前記逆重畳フィルタを掛けたときには前記電子画像のぼけを最小にするように、システム要件に対応して選択されること
を特徴とする電子画像形成するための方法。
前記ＰＳＦの程度は、前記ピッチの少なくとも３倍である、請求項１０に記載の方法。
前記入力画像を処理するステップは、前記アレイの１つまたはそれ以上の不良要素を識別するステップと、訂正されたぼけた画像を生成するように、前記入力画像の前記不良要素の近隣にある前記ピクセルの前記ピクセル値を置換値と交換するステップと、修復された画像を生成するように前記訂正されたぼけた画像へ前記逆重畳フィルタを加えるステップとを含む、請求項１０に記載の方法。
前記逆重畳フィルタを加えるステップは、前記物体と前記アレイとの間の焦点関係の変化へ応答可能なように前記逆重畳フィルタを修正するステップを含む、請求項１０から１２のいずれか一項に記載の方法。
前記逆重畳フィルタを修正するステップは、前記物体が前記対物オプチクスから所定の最小距離よりも小さいときに、マクロ逆重畳フィルタを選択するステップを含む、請求項１３に記載の方法。
新しいぼけた画像を生成するように、前記修復された画像の前記不良要素の近隣にある前記ピクセルの前記値を修正するステップと、新しい修復された画像を生成するように前記新しいぼけた画像へ逆重畳フィルタを加えるステップと、を反復して行うステップを含む、請求項１２に記載の方法。
前記入力画像を囲繞するダミーピクセルのフレームを加えるステップを含み、前記ダミーピクセルは、前記訂正されたぼけた画像を生成し且つ前記修復された画像を生成する目的のために、前記不良要素に関連したピクセルと同様に扱われる、請求項１２または１５に記載の方法。
前記値を修正するステップは、前記ＰＳＦへ応答可能なように、前記不良要素の近隣にある前記ピクセル値と交換する置換値を決定するステップを含む、請求項１２、１５または１６のいずれか一項に記載の方法。
前記置換値を決定するステップは、実質的に、式中、ｘはピクセル座標であり、Ｍ’［ｘ］は、前記ＰＳＦの共役で前記不良要素のマップの畳み込みによって与えられる畳み込みマップである、

によって与えられる形態の訂正マップＭ［ｘ］を使用して置換値を設定するステップを含む、請求項１７に記載の方法。
前記１つまたはそれ以上の不良要素を識別するステップは、前記ピクセルの前記値の間の差を決定するステップと、前記差を前記ＰＳＦに依存して最大差と比較するステップと、を含む請求項１２、１５、１６、１７、または１８のいずれか一項に記載の方法。