JP4570834B2 - 高ダイナミックレンジ画像を獲得する方法及び装置 - Google Patents

Description

【０００１】
（発明の属する技術分野）
発明の背景
本発明は、シーン（場面）の画像を取り込む方法及び装置に関し、より詳細には比較的低いダイナミックレンジの画像センサを用いて比較的高いダイナミックレンジの画像を取り込む方法及び装置に逆る。
【０００２】
仮想及び現実のあらゆるシーン又は場面は非常に大きなレンジ（範囲）の輝度値を作り出す。それに反して、既知の画像検知装置は非常に限られたダイナミックレンジを有する。例えば、ビデオ画像センサにとって、８ビット或はそれ以下のグレイスケール或はカラー情報だけを提供することは典型的である。グレイスケール画像の場合、８ビットは２５６個の離散グレイスケール・レベルだけを可能としており、それは殆どの現実シーンの微細な詳細を取り込むには充分ではない。
【０００３】
低ダイナミックレンジの画像センサで高ダイナミックレンジ画像を取り込む問題に対する既知の解決策は、そのシーンからの光に対する露出又は露光を変更しながら、該シーンの各局所領域から成る多数の画像を取り込むことである。この解決策には３つの一般的な変形例がある。（１）一連の画像を取り込む一方で露光の一時的な変更、（２）そのシーンからの光に対して異なる感度を有する多数の画像センサ（又は多重画像センサ）を用いる、そして、（３）露光の空間的変更である。
【０００４】
典型的には、一時的な露光変更は異なる露出で、そのシーンの多数の画像を逐次取り込んで、それら多数の取込画像を単一の高ダイナミックレンジ画像に組合せること又は合体させることを含む。この一時的な露光変更の使用は例えば、「Ｄｒｉｖｉｎｇ Ｍｅｔｈｏｄ ｆｏｒ Ｓｏｌｉｄ−Ｓｔａｔｅ Ｉｍａｇｅ Ｐｉｃｋｕｐ Ｄｅｖｉｃｅと題されたＨａｍａｚａｋｉの日本国特許第０８−３３１４６１号（１９９６年１２月発行）、「Ｅｌｅｃｔｒｏｎｉｃ Ｉｍａｇｅ Ｐｉｃｋｕｐ Ｄｅｖｉｃｅ」と題されたＳａｉｔｏの日本国特許第０７−２５４９６５号（１９９５年２月発行）、「Ｖｉｄｅｏ Ｃａｍｅｒａ， Ｉｍａｇｉｎｇ Ｍｅｔｈｏｄ Ｕｓｉｎｇ Ｖｉｄｅｏ Ｃａｍｅｒａ， Ｍｅｔｈｏｄ ｏｆ Ｏｐｅｒａｔｉｎｇ Ｖｉｄｅｏ Ｃａｍｅｒａ， Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ Ａｐｐａｒａｔｕｓ ａｎｄ Ｍｅｔｈｏｄ， ａｎｄ Ｓｏｌｉｄ−Ｓｔａｔｅ Ｅｌｅｃｔｒｏｎｉｃ Ｉｍａｇｉｎｇ Ｄｅｖｉｃｅ」と題されたＫｏｎｉｓｈｉ等の米国特許第５，４２０，６３５号（１９９５年５月発行）、「Ｉｍａｇｅ Ｍｅｔｈｏｄ ｆｏｒ ａ Ｗｉｄｅ Ｄｙｎａｍｉｃ Ｒａｎｇｅ ａｎｄ ａｎ Ｉｍａｇｉｎｇ Ｄｅｖｉｃｅ ｆｏｒ ａ Ｗｉｄｅ Ｄｙｎａｍｉｃ Ｒａｎｇｅ」と題されたＭｏｒｉｍｕｒａの米国特許第５，４５５，６２１号（１９９３年１０月発行）、「Ｉｍａｇｅ Ｐｉｃｋｉｎｇ Ｕｐ ａｎｄ Ｓｙｎｔｈｅｓｉｚｉｎｇ Ｍｅｔｈｏｄ ａｎｄ Ｉｍａｇｅ Ｐｉｃｋｕｐ Ｄｅｖｉｃｅ ｗｉｔｈ Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ（高ダイナミックレンジ撮像・合成方法及び高ダイナミックレンジ撮像装置）」と題されたＭｏｒｉｍｕｒａの特開平０６−１４１２２９号（１９９４年５月公開）、「Ｉｍａｇｅ Ｄａｔａ Ｐｒｏｃｅｓｓｉｎｇ Ａｐｐａｒａｔｕｓ ｆｏｒ Ｐｒｏｃｅｓｓｉｎｇ Ｃｏｍｂｉｎｅｄ Ｉｍａｇｅ Ｓｉｇｎａｌｓ ｉｎ Ｏｒｄｅｒ ｔｏ Ｅｘｔｅｎｄ Ｄｙｎａｍｉｃ Ｒａｎｇｅ」と題されたＩｋｅｄａの米国特許第５，８０１，７７３号（１９９８年９月発行）、「Ｉｍａｇｅ Ｄｅｖｉｃｅ ｗｉｔｈ Ｄｉｖｅｒｓｅ Ｓｔｏｒａｇｅ Ｔｉｍｅｓ Ｕｓｅｄ ｉｎ Ｉｍａｇｅ Ｃｏｍｐｏｓｉｔｉｏｎ」と題されたＴａｋａｈａｓｈｉ等の米国特許第５，６３８，１１８号（１９９７年６月発行）、「Ｍｅｔｈｏｄ ａｎｄ Ａｐｐａｒａｔｕｓ ｆｏｒ Ｅｘｔｅｎｄｉｎｇ ｔｈｅ Ｄｙｎａｍｉｃ Ｒａｎｇｅ ｏｆ ａｎ Ｅｌｅｃｔｒｏｎｉｃ Ｉｍａｇｉｎｇ Ｓｙｓｔｅｍ」と題されたＴｓａｉの米国特許第５，３０９，２４３号（１９９４年５月発行）、Ｍａｎｎ 及び Ｐｉｃａｒｄの「Ｂｅｉｎｇ ‘Ｕｎｄｉｇｉｔａｌ’ ｗｉｔｈ Ｄｉｇｉｔａｌ Ｃａｍｅｒａ ： Ｅｘｔｅｎｄｉｎｇ Ｄｙｎａｍｉｃ Ｒａｎｇｅ ｂｙ Ｃｏｍｂｉｎｉｎｇ Ｄｉｆｆｅｒｅｎｔｌｙ Ｅｘｐｏｓｅｄ Ｐｉｃｔｕｒｅｓ」， Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＩＳＴ’ｓ ４８ｔｈ Ａｎｎｕａｌ Ｃｏｎｆｅｒｅｎｃｅ， ｐｐ． ４２２−４２８， Ｍａｙ １９９５、Ｄｅｂｅｖｅｃ 及び Ｍａｌｉｋ の「Ｒｅｃｏｒｄｉｎｇ Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ Ｒａｄｉａｎｃｅ Ｍａｐｓ ｆｏｒ Ｐｈｏｔｏｇｒａｐｈｓ」， Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＡＣＭ ＳＩＧＧＲＡＰＨ， １９９７， ｐｐ． ３６９−３７８， Ａｕｇｕｓｔ １９９７、並びに、Ｍｉｔｓｕｎａｇａ 及び Ｎａｙａｒ の「Ｒａｄｉｏｍｅｔｒｉｃ Ｓｅｌｆ Ｃａｌｉｂｒａｔｉｏｎ」， ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ （ＣＶＰＲ）， ｐｐ． ３７４−３８０， Ｊｕｎｅ １９９９等に開示されている。しかしながら既知の一時的露光変更技術の全ては根本的問題、即ち、そのシーンにおける変化が異なる露光での逐次的画像取り込み中に生じ得ると云う根本的問題を有する。結果としてこれら技術は、そのシーンからの放射輝度又はラジアンスが一定に維持されるような静的シーン、そして画像センサの位置及び配向、そしてその幾何形状特性が、異なる露光での連続的な画像取り込み中、変化しないまま維持されるような静的シーンに対してだけ有効である。
【０００５】
高ダイナミックレンジ画像形成のために１シーンの多数の画像を取り込む別の既知の技術は、多数の光学的に整合又は整列された画像センサと、そのシーンの同一眺望からの入射光をそうした多数の画像センサ（多重画像センサ）へ提供するビームスプリッタとを使用する。それら画像センサは多数の画像が異なる露光で同時に取り込まれるように異なる感度を有する。次いで、そうした画像センサによって取り込まれた多数の画像は合体させられ、単一のダイナミックレンジ画像を形成する。そうした技術は、例えば、Ｄｏｉ等の「Ｉｍａｇｅ Ｓｅｎｓｏｒ」と題された日本国特許第０８−２２３４１号（１９８６年８月発行）、Ｓａｉｔｏの「Ｅｌｅｃｔｒｏｎｉｃ Ｉｍａｇｅ Ｐｉｃｋｕｐ Ｄｅｖｉｃｅ」と題された日本国特許第０７−２５４９５号（１９９５年２月発行）、Ｓａｉｔｏの「Ｅｌｅｃｔｒｏｎｉｃ Ｉｍａｇｅ Ｐｉｃｋｕｐ Ｄｅｖｉｃｅ」と題された日本国特許第０７−２５４９６６号（１９９５年１０月発行）、Ｓａｉｔｏの「Ｅｌｅｃｔｒｏｎｉｃ Ｉｍａｇｅ Ｐｉｃｋｕｐ Ｄｅｖｉｃｅ」と題された日本国特許第０８−３４０４８６号（１９９６年１２月発行）、Ｋｉｍｕｒａの「Ｉｍａｇｅ Ｐｉｃｋｕｐ Ｄｅｖｉｃｅ」と題された日本国特許第１０−０６９０１１号（１９９８年３月発行）、Ｉｋｅｄａの「Ｉｍａｇｅ Ｄａｔａ Ｐｒｏｃｅｓｓｉｎｇ Ａｐｐａｒａｔｕｓ ｆｏｒ Ｐｒｏｃｅｓｓｉｎｇ Ｃｏｍｂｉｎｅｄ Ｉｍａｇｅ Ｓｉｇｎａｌｓ ｉｎ Ｏｒｄｅｒ ｔｏ Ｅｘｔｅｎｄ Ｄｙｎａｍｉｃ Ｒａｎｇｅ」と題された米国特許第５，８０１，７７３号（１９９８年９月発行）等に記載されている。多重画像センサ技術は、高精度の光学系を必要とすると共に、多数の画像センサを必要として、小型且つ安価な画像形成システムをこれら技術を用いて構築することは難しいと云う短所を有する。
【０００６】
高ダイナミックレンジ画像形成に対する既知の空間的露光変形技術は、典型的には、各ピクセルに対して異なる感度を有する２つ以上（典型的には３つ以上）の光検知素子を有する特殊な画像センサを用いる。各ピクセルに対するこれらの光検知素子は同時に露光されて、それらの対応する出力信号が組み合わされてそのピクセルに対する輝度値を誘導する。そうした技術は、例えば、Ｓｔｒｅｅｔ等の「Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ Ｓｅｇｍｅｎｔｅｄ Ｐｉｘｅｌ Ｓｅｎｓｏｒ Ａｒｒａｙ」と題された米国特許第５，７８９，７３７号（１９９８年８月発行）、Ｈａｎｄｙの「Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ ＣＣＤ Ｄｅｔｅｃｔｏｒ／Ｉｍａｇｅｒ」と題された米国特許第４，６２３，９２８号（１９８６年１１月発行）、Ｗｅｎの「Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ」と題された米国特許第４，８７３，５６１号（１９８９年１０月発行）、Ｈａｍａｚａｋｉの「Ｄｒｉｖｉｎｇ Ｍｅｔｈｏｄ ｆｏｒ Ｓｏｌｉｄ−Ｓｔａｔｅ Ｉｍａｇｅ Ｐｉｃｋｕｐ Ｄｅｖｉｃｅ」と題された日本国特許第０８−３３１４６１号（１９９６年６月）、Ｍｕｒａｋｏｓｈｉの「Ｃｈａｒｇｅ Ｃｏｕｐｌｉｎｇ Ｉｍａｇｅ Ｐｉｃｋｕｐ Ｄｅｖｉｃｅ」と題された日本国特許第５９−２１７３５８号（１９９４年１２月発行）、Ｋｏｎｉｓｈｉ等の「Ｖｉｄｅｏ Ｃａｍｅｒａ Ｉｍａｇｉｎｇ Ｍｅｔｈｏｄ Ｕｓｉｎｇ ｖｉｄｅｏ Ｃａｍｅｒａ， Ｍｅｔｈｏｄ ｏｆ Ｏｐｅｒａｔｉｎｇ Ｖｉｄｅ Ｃａｍｅｒａ， Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ Ａｐｐａｒａｔｕｓ ａｎｄ Ｍｅｔｈｏｄ， ａｎｄ Ｓｏｌｉｄ−Ｓｔａｔｅ Ｅｌｅｃｔｒｏｎｉｃ Ｉｍａｇｉｎｇ Ｄｅｖｉｃｅ」と題された米国特許第５，４２０，６３５号（１９９５年５月発行）に記載されている。しかしながら高ダイナミックレンジ画像形成に対する既知の空間的露光変形技術は、より低い空間的解像度を提供すると云う短所を有する（同一数の光検知素子を有する通常の画像センサの解像度と比較して垂直方向において１／２より低い）。
【０００７】
従って、先に議論されたような先行技術の問題を克服するような、比較的低いダイナミックレンジ画像センサを用いて比較的高いダイナミックレンジ画像を取り込む方法及び装置の要望が存在する。
【０００８】
発明の概要
本発明の一局面に従えば、シーンからの入射光に露出される比較的低いダイナミックレンジ画像センサを用いてそのシーンの比較的高いダイナミックレンジ画像を取り込むための方法が提供される。この画像センサは線形アレイ状或は２次元アレイ状の多数の光検知素子を有し、各光感知素子は複数の光感知素子から成るアレイに対する所定感度パターンに従って入射光に対する複数の感度レベルの内の対応する１つを有する。シーンからの入射光に応ずるアレイ状の光検知素子の各々は、ピクセル位置アレイにおける多数のピクセル位置の内の対応する１つでの取込画像輝度値を作り出し、そのピクセル位置アレイは、規則正しく離間されて直交したピクセル行及びピクセル列のそれぞれの交差点で、ピクセル位置を有する行アレイ状或は矩形アレイ状における規則正しく離間された複数のピクセル位置を有する線形アレイであり得る。このようにして、各ピクセル位置は複数の感度レベルと１対１で対応している。本方法は、ピクセル位置アレイにおける多数のピクセル位置での取込画像輝度値から、多数のオフ−グリッド位置での各オフ−グリッド輝度値を推定する段階を含み、そのオフ−グリッド位置が前記ピクセル位置アレイの各隙間に配置されて規則正しいアレイ状になっている。この方法は、前記多数のオフ−グリッド位置での推定オフ−グリッド輝度値から、前記シーンの比較的高いダイナミックレンジ画像のピクセル輝度値を誘導する段階を更に含む。前記ピクセル位置アレイが線形アレイであり、該アレイにおいて、各ピクセル位置での前記輝度値が線形画像センサにおける対応する光検知素子によって取り込まれる場合、前記オフ−グリッド位置が規則正しい線形アレイ状であり、前記比較的高いダイナミックレンジ画像がピクセル輝度値の規則正しい線形アレイによって表される線形画像である。前記ピクセル位置アレイが規則正しく離間されて直交するピクセル行及びピクセル列の各交差点によって規定される場合、前記アレイにおける前記ピクセル位置の輝度値が、２次元画像センサにおける対応する光検知素子によって取り込まれ得るか、或は、線形画像センサによって連続的に取り込まれたスキャン済みシーンのライン画像を表す線形ピクセル位置アレイにおけるピクセル位置での輝度値の鎖状結合であり得る。
【０００９】
本発明に係る方法の模範的な実施例に従えば、オフ−グリッド位置は規則正しい線形状であるか或は矩形アレイ状であり、比較的高いダイナミックレンジ画像のピクセル輝度値を誘導する前記段階がその比較的高いダイナミックレンジ画像のピクセル輝度値として、前記推定オフ−グリッド輝度値を用いることを含む。
【００１０】
本発明に係る方法の別の模範的な実施例に従えば、前記比較的高いダイナミックレンジ画像のピクセル輝度値を誘導する前記段階が、前記多数のオフ−グリッド位置での前記推定オフ−グリッド輝度値の再標本化を含んで、前記ピクセル位置アレイにおける前記多数のピクセル位置での各再標本化された輝度値を誘導し、それによって前記比較的高いダイナミックレンジ画像の前記ピクセル輝度値を獲得する。
【００１１】
本発明に係る方法の更に別の模範的な実施例に従えば、前記多数のピクセル位置での前記取込画像輝度値から、前記多数のオフ−グリッド位置での各オフ−グリッド輝度値を推定する前記段階が、前記感度レベルの個々別々の１つと対応するピクセル位置での前記取込画像輝度値だけを用いて、前記オフ−グリッド位置の各々における前記複数の感度レベルの内の個別レベルの１つに対する感度レベル・オフ−グリッド輝度値を推定する段階を含む。前記オフ−グリッド位置の各々における前記感度レベルの内の個別の１つに対する感度レベル・オフ−グリッド輝度値は、前記感度レベルの個別の１つに対する所定の重み付け係数によって乗算されて、前記オフ−グリッド位置の各々での感度レベルの内の相互に異なるものに対する各重み付け感度レベル・オフ−グリッド輝度値を誘導する。前記オフ−グリッド位置の各々での前記感度レベルの内の相互に異なるものに対する前記の各重み付け感度レベル・オフ−グリッド輝度値は一緒となって合算されて、前記オフ−グリッド位置各々での重み付け合計感度レベル輝度値を誘導する。前記オフ−グリッド位置の各々でのその重み付け合計感度レベル輝度値は、前記光検知素子の組合せ応答関数の逆関数によって補償されて、前記オフ−グリッド位置での各推定オフ−グリッド輝度値を誘導する。光検知素子の組合せ応答関数は、前記感度レベルの内の相互に異なるものを有する光検知素子の重み付け応答関数の合計であり、各重み付け応答関数は前記感度レベルの各々に対する所定重み付け係数によって乗算された感度レベルの各々を有する光検知素子の応答関数である。
【００１２】
本発明の更なる別の模範的な実施例に従えば、前記多数のピクセル位置における前記取込画像輝度値から、前記多数のオフ−グリッド位置での各オフ−グリッド輝度値を推定する前記段階は、最も近い隣接ピクセル位置の内の個々別々の１つと対応する感度レベルを有する光検知素子の応答関数の逆関数によって、前記オフ−グリッド位置の内の個々別々の１つに最も近い隣接であるピクセル位置の所定群の内の個々別々の１つでの前記取込画像輝度値を先ず補償することによって、前記オフ−グリッド位置の内の個々別々の１つでのオフ−グリッド輝度値を推定することを含む。前記最も近い隣接ピクセル位置での前記補償された取込画像輝度値は、所定の低い閾値及び所定の高い閾値と比較され、前記所定の低い閾値よりも大きく且つ所定の高い閾値より小さい前記補償された最も近い隣接ピクセル位置輝度値の合計が取られる。その合計は、該合計に含まれる補償された最も近い隣接ピクセル位置輝度値の数によって分割されて、前記オフ−グリッド位置の内の個々別々の１つに対する推定されたオフ−グリッド輝度値を誘導する。
【００１３】
本発明に係る方法の更なる模範的な実施例に従えば、前記ピクセル位置アレイにおける各ピクセル位置での補間されたオン−グリッド輝度値は、オン−グリッド補間フィルタを用いて、前記取込画像輝度値から直に誘導される。前記ピクセル位置の各々での前記補間オン−グリッド輝度値は、前記ピクセル位置の各々に最も近い隣接であるピクセル位置の所定群での前記取込画像輝度値と、オン−グリッド補間フィルタ・カーネルとの積を算定することによって誘導され、前記所定群のピクセル位置は前記フィルタ・カーネルと同一の寸法を有する。次いで前記補間オン−グリッド輝度値は、それぞれ、異なる感度レベルを有する光検知素子の組合せ応答関数の逆関数によって補償されて、前記比較的高いダイナミックレンジ出力画像の前記ピクセル輝度値を誘導する。
【００１４】
本発明の別の局面に従えば、シーンからの入射光露出に適合された比較的低いダイナミックレンジ画像センサを用いて、そのシーンの比較的高いダイナミックレンジ画像を取り込むシステムが提供される。このシステムは、線形或は２次元アレイ状の多数の光検知素子を有する画像センサを備える。そのアレイにおける各光検知素子は、該光検知素子から成るアレイに対する所定感度パターンに従って入射光に対する複数の感度レベルの内の対応する１つを有する。各光検知素子はそのシーンからの入射光に応じて、ピクセル位置アレイにおける多数のピクセル位置の内の対応する１つで取込画像輝度値を作り出し、そのアレイは、規則正しく離間された直交するピクセル行及びピクセル列の各交差点に配置されたピクセル位置を有する行状或は矩形アレイ状の規則正しく離間されたピクセル位置を有する線形アレイであり得る。このようにして、各ピクセル位置は前記光検知素子の前記複数の感度レベルの内の各々と対応している。本システムは、前記光検知素子によって作り出される前記多数のピクセル位置での各取込画像輝度値を保存する取込画像メモリと、前記ピクセル位置アレイの各隙間に規則正しいアレイ状に配置された多数のオフ−グリッド位置での各推定オフ−グリッド輝度値を、前記取込画像メモリにおける前記取込画像輝度値から誘導するオフ−グリッド推定器とを更に含む。本システムは、前記推定オフ−グリッド輝度値から比較的高いダイナミックレンジ出力画像のピクセル輝度値を誘導する出力画像発生器と、前記出力画像の前記ピクセル輝度値を保存する出力画像メモリとを更に含む。前記ピクセル位置アレイが線形アレイであり且つ前記取込画像メモリが線形画像センサの対応する光検知素子によって取り込まれた輝度値を保存する場合、前記オフ−グリッド位置は規則正しい線形アレイであり、前記出力画像はピクセル輝度値の規則正しいアレイによって表される線形画像である。前記ピクセル位置アレイが規則正しく離間されて直交するピクセル行及びピクセル列の各交差点によって規定された矩形アレイである場合、前記取込画像メモリは２次元画像センサの対応する光検知素子によって取り込まれた輝度値か、或は、線形画像センサによって連続的に取り込まれたスキャン済みシーンの複数のライン画像の線形ピクセル位置アレイ輝度値の鎖状結合かを保存し得る。後者の場合、前記オフ−グリッド位置は規則正しい２次元アレイ状であり、前記出力画像はピクセル輝度値から成る規則正しい２次元アレイによって表される２次元画像である。
【００１５】
本発明に係るシステムの模範的な実施例に従えば、前記出力画像発生器は前記オフ−グリッド推定器によって誘導された前記推定されたオフ−グリッド輝度値を、前記出力画像の前記ピクセル輝度値として前記出力画像メモリへ提供する。
【００１６】
本発明に係るシステムの別の模範的な実施例に従えば、本システムは前記オフ−グリッド位置での前記オフ−グリッド推定器によって誘導された前記推定オフ−グリッド輝度値各々を保存するオフ−グリッド輝度値メモリと、前記オフ−グリッド輝度値メモリにおける前記推定オフ−グリッド輝度値から前記ピクセル位置アレイにおける前記ピクセル位置での各再標本化輝度値を誘導するオフ−グリッド・リサンプラーとを含む。次いで再標本化輝度値は、前記出力画像の前記ピクセル輝度値として保存のために前記出力画像メモリへ提供される。
【００１７】
本発明に係るシステムの更なる模範的な実施例に従えば、前記オフ−グリッド推定器は、前記多数のオフ−グリッド位置を提供するオフ−グリッド位置発生器と、前記ピクセル位置と対応する前記感度レベルを保存する感度パターン・メモリとを含む。前記オフ−グリッド推定器は、複数の感度レベル・オフ−グリッド輝度値推定器をも含み、その各々は前記光検知素子の前記複数の感度レベルの各々と対応し、前記オフ−グリッド位置発生器からオフ−グリッド位置を受け取ると共に、前記感度パターン・メモリから感度レベル・データを受け取り、そして、前記取込画像メモリにおける前記取込画像輝度値から複数の感度レベル・オフ−グリッド輝度値を誘導しており、前記複数の感度レベル・オフ−グリッド輝度値の各々は、前記オフ−グリッド位置発生器から受け取られる前記オフ−グリッド位置の各々での前記複数の感度レベルの内の相互に異なるものと対応している。前記オフ−グリッド推定器は、前記オフ−グリッド位置の各々で前記複数の感度レベル・オフ−グリッド輝度値推定器によって誘導された前記感度レベル・オフ−グリッド輝度値を受け取る蓄積器をも含む。前記蓄積器は、各々が前記複数の感度レベルの各々と対応している、複数の所定重み付け係数のそれぞれを保存する重み付け係数メモリと、各々が前記複数の感度レベル各々と対応する前記感度レベル・オフ−グリッド輝度値と同一感度レベルと対応する前記重み付け係数との積を算定する複数の乗算器とを含んで、前記オフ−グリッド位置発生器から受け取られる前記オフ−グリッド位置の各々における前記感度レベル各々と対応する各重み付け感度レベル・オフ−グリッド輝度値を提供する。前記蓄積器は、前記複数の乗算器によって算定された前記受け取られたオフ−グリッド位置の各々での前記感度レベルのそれぞれと対応している前記重み付け感度レベル・オフ−グリッド輝度値を合算する合算器を更に含み、前記受け取られたオフ−グリッド位置の各々における各重み付け合計感度レベル・オフ−グリッド輝度値を誘導する。前記オフ−グリッド推定器は、光感度素子の組合せ応答関数の逆関数によって前記重み付け合計感度レベル・オフ−グリッド輝度値の各々を補償する応答関数の補償器を更に含み、前記オフ−グリッド位置での前記各推定オフ−グリッド輝度値を誘導する。前記光感度素子の組合せ応答関数は、前記感度レベルの内の相互に異なるものを有する光検知素子の重み付け応答関数の合計であり、前記重み付け応答関数の各々は、前記複数の感度レベルのそれぞれと対応する所定重み付け係数によって乗算された前記複数の感度レベルのそれぞれを有する光検知素子の応答関数である。
【００１８】
本発明に係るシステムの更なる別の模範的な実施例に従えば、前記オフ−グリッド推定器は、前記多数のピクセル位置を提供するピクセル位置発生器と、前記多数のピクセル位置と対応する感度レベルを保存する感度パターン・メモリと、前記ピクセル位置発生器からの受け取られたピクセル位置と前記感度パターン・メモリからの対応する感度レベルとに結合された応答関数補償器とを含む。前記応答関数は、前記取込画像メモリから、前記ピクセル位置発生器から受け取られる前記ピクセル位置での取込画像輝度値を受け取り、該受け取られた取込画像輝度値を前記受け取られたピクセル位置と対応する感度レベルを有する光検知素子の応答関数の逆関数によって補償して、前記ピクセル位置発生器から受け取られる前記ピクセル位置それぞれでの補償済み取込画像輝度値を提供する。前記オフ−グリッド推定器は、各ピクセル位置での各補償された取込画像輝度値を保存する補償済みオン−グリッド輝度値メモリ、前記多数のオフ−グリッド位置を提供するオフ−グリッド位置発生器、並びに、類似逆推定器をも含む。前記類似逆推定器は、前記オフ−グリッド位置発生器からオフ−グリッド位置を受け取り、前記補償済みオン−グリッド輝度値メモリにおける前記補償済み取込画像輝度値から前記受け取られたオフ−グリッド位置での前記各推定オフ−グリッド輝度値を誘導する。
【００１９】
本発明に係るシステムであって、前記オフ−グリッド推定器によって誘導された前記多数のオフ−グリッド位置でのそれぞれの推定オフ−グリッド輝度値を保存するオフ−グリッド輝度値メモリ、前記オフ−グリッド輝度値メモリにおける前記推定オフ−グリッド輝度値から前記ピクセル位置アレイにおける前記多数のピクセル位置でのそれぞれの再標本化された輝度値を誘導するオン−グリッド・リサンプラーを含むシステムの更なる模範的な実施例において、前記オン−グリッド・リサンプラーが、前記多数のピクセル位置を提供するピクセル位置発生器と、前記ピクセル位置発生器からピクセル位置を受け取る補間器であり、受け取られたピクセル位置に最も近い隣接である所定数のオフ−グリッド位置での前記推定オフ−グリッド輝度値と、前記所定数の最も近い隣接オフ−グリッド位置と同一の寸法を有する補間カーネルとの積を算定することで、受け取られたピクセル位置の各々に対するそれぞれの再標本化輝度値を誘導する補間器とを含む。
【００２０】
本発明に係るシステムの更なる別の模範的な実施例において、シーンからの入射光露出に適合された比較的低いダイナミックレンジ画像センサを用いて、そのシーンの比較的高いダイナミックレンジ画像を取り込むシステムが提供されている。このシステムは、線形或は２次元アレイ状の多数の光検知素子を有する画像センサを含み、その光検知素子各々が前記光検知素子アレイに対する所定感度パターンに従った複数の感度レベルのそれぞれを有すると共に、そのシーンからの入射光に応じて多数のピクセル位置の対応する１つでの取込画像輝度値を作り出しており、前記ピクセル位置アレイは矩形であり、前記取込画像輝度値は、２次元画像センサにおける対応する光検知素子によって作り出され得るか、或は、前記画像センサによって連続的に取り込まれたスキャン済みシーンの複数ライン画像の線形輝度値アレイの鎖状結合であり得る。本システムは、ピクセル位置アレイにおける各ピクセル位置での光検知素子によって作り出される前記取込画像輝度値を保存する取込画像メモリを更に含み、それは規則正しく離間された直交するピクセル行及びピクセル列の各交差点に配置されたピクセル位置を有する行状或は矩形アレイ状の規則正しく離間されたピクセル位置を有する線形アレイであり得る。また本システムは、前記ピクセル位置アレイにおける前記ピクセル位置を提供するピクセル位置発生器と、前記ピクセル位置発生器からピクセル位置を受け取って、前記取込画像メモリにおける前記取込画像輝度値から前記ピクセル一発生器から受け取られた前記ピクセル位置での補間オン−グリッド輝度値を誘導するオン−グリッド補間フィルタとを含む。前記フィルタは、前記ピクセル位置発生器から受け取られる各ピクセル位置に最も近い所定数の隣接ピクセル位置での取込画像輝度値と、オン−グリッド補間フィルタ・カーネルとの積を算定して、前記ピクセル発生器から受け取られる各ピクセル位置での補間オン−グリッド輝度値を誘導し、前記オン−グリッド補間フィルタの寸法は前記所定数の最も近い隣接ピクセル位置の寸法と同一である。本システムに更に含まれるものとしては、前記光検知素子の組合せ応答関数の逆関数によって前記受け取られたピクセル位置各々での前記補間オン−グリッド輝度値を補償して、前記受け取られたピクセル位置での補償済み補間オン−グリッド輝度値を誘導する応答関数補償器と、高ダイナミックレンジ出力画像の前記ピクセル輝度値として前記ピクセル位置アレイのピクセル位置各々での前記補償された補間オン−グリッド輝度値を保存する出力画像メモリとがある。前記光検知素子の組合せ応答関数は、前記複数の感度レベルの異なるものを有する光検知素子の重み付け応答関数の合計であり、それら重み付け応答関数の各々は、前記複数の感度レベルのそれぞれに対する所定の重み付け係数によって乗算された前記複数の感度レベルのそれぞれを有する光検知素子の応答関数である。
【００２１】
本発明の特性及び利益のより完全な理解のために、添付図面と組み合わせて以下の詳細な説明を参照すべきである。添付図面中、同一の参照番号及びキャラクタは、共通する特徴、構成要素、パーツ、プロセス、並びに、ステップを指定すべく使用されている。
【００２２】
詳細な説明
図１で参照されるように、本発明に従った比較的低いダイナミックレンジ画像センサを用いて比較的高いダイナミックレンジの画像を取り込むシステムに対するデータのフロー線図１００が示されている。このシステムは、アレイ状（不図示）の多数の光検知素子を有する比較的低いダイナミックレンジ画像センサ（図１では不図示）を含む画像検知部１を有する。この明細書及び請求項で使用されている用語「光」は、何れの場所においても遠赤外線からＸ−線までのスペクトルであり得る波長を有する電磁輻射線を意味する。画像センサの光検知素子から成るアレイは、制約無しに、矩形、線形、円形、並びに、六角形のグリッドを含む任意の配列を有し得て、アレイにおけるそれら光検知素子は均一に配置される必要性がない。複数の光検知素子から成るアレイは入射光に対して所定の空間的変動感度パターンを有し、画像センサにおける各光検知素子はシーン（場面）からの入射光に応じて、複数の規則正しく離間されたピクセル行と、それらピクセル行とは直交する複数の規則正しく離間されたピクセル列とのそれぞれの交差点によって規定されたピクセル位置アレイにおける多数のピクセル位置の内の対応する１つのピクセル位置での（図１では不図示）、取込画像輝度値を提供する。それら光検知素子によって提供されたそれぞれのピクセル位置での取込画像輝度値は、このシステムの画像処理部２における取込画像メモリ（図１では不図示）に保存される。この画像処理部２は、画像検知部１における画像センサの空間的変動感度パターンによって生ずる画像輝度に関しての変動を除去する役割を果たし、比較的高いダイナミックレンジ出力画像を表す、それぞれのピクセル位置における再標本化（再標本抽出された）輝度値を出力画像メモリ３へ提供する。
【００２３】
図２へ移ると、図１のデータ・フロー線図の画像処理部２のデータ・フロー線図２００が示されている。画像センサによって提供されたような、ピクセル位置アレイにおけるそれぞれのピクセル位置での取込画像輝度値は取込画像メモリ２０に保存される。この取込画像メモリ２０における取込画像輝度値は、オフ−グリッド（格子点外れの）のエスタマター（ｅｓｔｉｍａｔｏｒ）又は推定器２２によって使用されて、ピクセル位置アレイにおけるそれぞれの交差点に配置されたオフ−グリッド位置での推定オフ−グリッド輝度値を誘導する。次いでそれぞれのオフ−グリッド位置でのこれら推定オフ−グリッド輝度値は、オン−グリッド・リサンプラー（ｏｎ−ｇｒｉｄ ｒｅｓａｍｐｌｅｒ）２３によって再標本化が為されて、それぞれのピクセル位置での再標本化輝度値を誘導する。これら再標本化輝度値は、比較的高いダイナミックレンジ画像を表すピクセル輝度値として、出力画像メモリ２１に保存される。画像センサの光検知素子の内の各々によって作り出される輝度値は他の光検知素子によって作り出された輝度値と合体させられないので、画像センサによって取り込まれた画像の解像度に逆る低減は存在しない。また、それぞれのオフ−グリッド位置での輝度値はそれぞれのピクセル位置での取込画像輝度値から推定され、それぞれのピクセル位置での再標本化輝度値はオフ−グリッド位置での推定オフ−グリッド輝度値の再標本化によって誘導されるので、光検知素子の内の任意の１つによって作り出される取込画像輝度値は再標本化輝度値の内の任意の１つに寄与することができる。結果として、出力画像メモリ２１における再標本化出力画像は取込画像メモリ２０における取込画像と殆ど同一の解像度を有する。
【００２４】
図３で参照されるように、本発明の模範的な実施例に従ったシステム３００のハードウェア構成要素のブロック線図が示されている。このシステム３００は、画像検知部１、画像処理部２、並びに、ビデオ出力部４を有する。１つのシーンが、所定の空間的変動感度パターンを有する画像センサを伴う画像検知部１によって取り込まれる。画像検知部１は取り込まれた画像（取込画像）を表す画像信号を画像処理部２へ提供する。画像処理部は、画像センサの空間的変動感度パターンによって生ずる画像の輝度に逆る変動を除去し、出力画像信号をビデオ出力部４へ提供する。ビデオ出力部４は本発明の一部ではないが、比較的高いダイナミックレンジ画像を表す出力ビデオ信号を提供する完全なビデオ画像形成システムを示す目的のためにここに含まれている。
【００２５】
画像検知部１は、レンズ系６、アパチャー７、電荷結合素子（ＣＣＤ）画像センサ９、並びに、前置増幅器（プリアンプ）１０を含む。シーンからの入射光５はレンズ系６及びアパチャー７をＣＣＤ画像センサ９に到着する前に通過する。ＣＣＤ画像センサ９は所定の空間的変動感度パターンを有し、それに従ってこの画像センサ９の光検知素子（不図示）各々の感度レベルが決定される。ＣＣＤ画像センサ９に対する空間的変動感度パターンを提供する異なる模範的な方法は以下に記載される。前置増幅器１０は、ＣＣＤ画像センサ出力の振幅を調整する自動利得制御回路や、ノイズ低減のための相関二重標本回路等の、ビデオカメラに典型的に用いられる幾つかのアナログ回路を含む一群から構成される。
【００２６】
画像検知部２は、アナログ−ディジタル（Ａ／Ｄ）・コンバータ１１、フレーム・メモリ１２、ディジタル−アナログ（Ｄ／Ａ）・コンバータ１３、読み出し専用メモリ（ＲＯＭ）１４、ランダム・アクセス・メモリ（ＲＡＭ）１５、並びに、処理ユニット１６を有する。Ａ／Ｄコンバータ１１は画像検知部１からの画像信号をディジタル化し、ディジタル化された画像データ（それぞれのピクセル位置での取込画像輝度値）はフレーム・メモリ１２内に保存される。画像処理部２での計算又は算定は処理ユニット１６によって遂行され、該処理ユニットは、フレーム・メモリ１２、ＲＯＭ１４、並びに、ＲＡＭ１５の各データとアクセスする。処理ユニット１６の算定を遂行するために該処理ユニットによって使用されるべき予め規定されたデータ及びプログラムは、ＲＯＭ１４内に保存されている。ＲＡＭ１５の一部は、処理ユニット１６による算定中にデータの一時的保存のために使用される。フレーム・メモリ１２に保存されているそれぞれのピクセル位置での算定された再標本化輝度値は、Ｄ／Ａコンバータ１３によってアナログ画像信号に変換されてビデオ出力部４へ提供される。
【００２７】
ビデオ出力部４は、ビデオ・エンコーダ１７及び出力ユニット１８を備える。画像処理部２からのアナログ画像信号はビデオ・エンコーダ１７によってビデオ信号にコード化され、出力ユニット１８はビデオ出力信号１９を出力する。
【００２８】
画像検知部
ＣＣＤ画像センサ９の空間的変動感度パターンは固定パターン・マスクを用いること或はワンチップ技法の何れかによって具現化され得る。ここで図４へ移ると、所定の空間的変動露光パターンを有する固定パターン・マスク１０１の一例が示されている。この例において、固定パターン・マスク１０１は異なる透明度（減衰度）の複数セルから成る２次元アレイを有するプレートである。マスク１０１の露光パターンは、それぞれが異なる透明度を有する４つの最も近くの隣接セルから成る同等セル群の反復パターンによって規定される。４つの最も近くの隣接セルから成るそうしたセル群の一例が図５に示されている。このセル群は、マスク１０１のセル群の全てに共通する所定の位置順序で配列された最も透明なセル１０２、透明なセル１０３、より劣る透明なセル１０４、並びに、最も劣る透明なセル１０５を有する。マスク１０１の各セルは画像センサのそれぞれの光検知素子の感度レベルを制御すべく使用される。ＣＣＤ画像センサの場合、マスク１０１はＣＣＤ装置の光感受性領域上に透明層を形成し、既知のフォトリソグラフィ法及びエッチング技法を用いて、所望の露光パターンでマスクを形成すべく、その層にパターンニングを施して異なる透明度の複数セルを形成することで、ＣＣＤ装置と同一基板上に製作され得る。代替的には、光検知素子の光検知面自体にマスク・エッチング操作を行わせて、予め選択された光検知素子の感光性を所望レベルに改変する。固定パターン・マスク１０１を用いることによって、４つの隣接セル１０２，１０３，１０４，１０５からそれぞれが成る各種セル群の内の１つセル群を通して露光された取込画像の各局所領域は４つの異なる露光量を有することになる。このようにして、取込画像のあらゆるそうした局所領域は、４つの異なる露光（即ち、異なる感度レベルを有する４つの光検知素子）の結果として、比較的高いダイナミックレンジを有することになる。
【００２９】
図６を参照すると、固定パターン・マスク１０１を用いてシーンの画像を取り込むための構成が図示されている。同図に示されるように、固定パターン・マスク１０１は画像センサ１０８の前方に直に配置されている。マスク１０１は画像センサ１０８と整合又は整列されて、該マスク１０１の各セルは画像センサ１０８の対応する光検知素子（不図示）の前方に直に位置決めされる。そのシーンからの入射光はカメラ光学系１０９を通過してから、マスク１０１を介して画像センサ１０８の画像平面上に合焦させられる。画像センサ１０８の各光検知素子によって検出される入射光の輝度は、その光検知素子の前方におけるマスク・セルの透明度によって決定される。図６で取り込まれることになるシーンには、明るい物体１０６と暗い物体１０７とが存在する。
【００３０】
図７へ移ると、固定パターン・マスク１０１を通じて画像センサ１０８によって取り込まれた、図６におけるシーンの画像の表示１１０が示されている。図７で留意されることは、もし、より明るい露出のピクセルが明るい物体１０６の一領域において飽和輝度値を有したとしても、同一領域に対するより暗い露出のピクセルが非飽和輝度値を有することである。同様に、もしより暗い露出のピクセルが、図６における暗い物体１０７の領域からの入射光を受け取る光検知素子のノイズ・レベルを下回る輝度値を有したとしても、同一領域からの入射光を受け取るより明るい露出のピクセルはそのノイズ・レベルを上回る輝度値を有することになる。
【００３１】
図８を参照すると、光検知素子と、本発明に従ったシステムを具現化する画像センサの好適タイプである典型的なＣＣＤ画像センサの関連構造との断面の概略表示８００が示されている。光検知素子は、ｐ−ウェル領域１９０内に形成されたｎ型領域１１５から成るフォトダイオードを含む。このフォトダイオードは、入射光での露光に適合された光検知面１９１を有して、作動的にバイアスされて（ｎ型領域１１５がｐ−ウェル領域１９０に対して逆バイアスされる）、ｐ−ウェル領域内にポテンシャル・ウェルを形成して光発生電荷を内部に保存する。フォトダイオードに関連される転送ゲート電極１１４は、それに自体に対する適切な電圧信号の印加に及んで、フォトダイオード内に保存される光発生電荷に対するチャネルを形成して、以下により詳細に説明されるように垂直シフトレジスタ（図８では不図示）へ進ませる。不透明な光シールド層１１３は、入射光がＣＣＤ画像センサのフォトダイオードの光検知面以外の領域に到達することを防止すべく形成される。アパチャー１９２がその光シールド層１１３内に形成されて、ＣＣＤ画像センサにおけるフォトダイオードの各々の光検知面１９１を露出する。オンチップ・マイクロレンズ１１１はフォトダイオードの光検知面１９１上方に形成され得る。特にカラーＣＣＤ画像センサの場合、そのオンチップ・マイクロレンズ１１１とフォトダイオードの光検知面１９１との間にはオンチップ光学的フィルタ１１２が形成される。
【００３２】
図９へ移ると、２つの光検知素子が異なる感度レベルを有しているＣＣＤ画像センサにおける、２つの隣接光検知素子及び関連構成の断面の概略表示９００が示されている。この図における左側の光検知素子はオンチップ・マイクロレンズ１１１を有して、入射光をフォトダイオードの光検知面１９１上に集中させる一方、右側の光検知素子はそのフォトダイオードの光検知面１９１上方にオンチップ・マイクロレンズを有さない。それ故に左側の光検知素子は、その光検知面１９１で、右側の光検知素子よりも大きな強度の入射光を受け取ることになる。このようにして、左側の光検知素子は右側の光検知素子よりも高い感度レベルを有するように製作される。画像センサの予め選択された光検知素子の上方にオンチップ・マイクロレンズ１１１を形成することで、２つの感度レベルを有する所定の空間的変動感度パターンがＣＣＤ画像センサ用に達成される。
【００３３】
図１０へ移ると、ＣＣＤ画像センサの２つの隣接光検知素子及び関連構造の断面の概略表示１０００が示されており、異なる感度レベルを伴う光検知素子を提供する代替的な技法が図示されている。オンチップ・フィルタ１１６及び１１７が、左右のフォトダイオードのオンチップ・マイクロレンズ１１１及び光検知面１９１の間にそれぞれ対応して形成されている。これらフィルタ１１６及び１１７は入射光に対して異なる透明度を有するように形成され、よって左右の光検知素子が異なる感度レベルを有するに為す。所定の透明度を獲得すべく、ＣＣＤ画像センサの各フォトダイオードの光検知面１９１上方にフィルタを形成することで、所定の空間的変動感度パターンがＣＣＤ画像センサ用に達成される。
【００３４】
図１１を参照すると、ＣＣＤ画像センサの２つの隣接光検知素子及び関連構造の断面の概略表示１１００が示されている。光シールド層１１３は左右の光検知素子の各光検知面１９１上方にアパチャー１１８及び１１９を有する。光シールド層１１３におけるこれらアパチャー１１８及び１１９は異なるサイズを有するように形成されて、異なる量の入射光が左右のフォトダイオードの光検知面１９１に到達可能とする。所定のサイズを獲得すべく、画像センサの各光検知素子の光検知面１９１上方にアパチャーを形成することで、所定の空間的変動感度パターンが画像センサ用に達成される。
【００３５】
図１２を参照すると、４つのフォトダイオード１２１，１２２，１２３，１２４と、フォトダイオード１２１及び１２３とフォトダイオード１２４及び１２２との各列が対応する垂直シフトレジスタ１２５及び垂直シフトレジスタ１２６に隣接して配置されている行間挿入構造とを有する簡略化されたＣＣＤ画像センサを表す概略レイアウト線図１２００が示されている。図８に関連して先に説明されたように、各フォトダイオードは関連転送ゲート電極１１４を有する。適切な電圧転送トリガー信号が１つのフォトダイオードに関連された転送ゲート電極１１４に印加されると、そのフォトダイオード内に保存される光発生電荷が対応する垂直シフトレジスタの各段階へ進むことが可能とされ、露出又は露光の持続期間中にその中に蓄積される。図１２の線図は４つの転送トリガー入力１２９，１３０，１３１，１３２を示し、これらがフォトダイオード１２１，１２２，１２３，１２４と関連された転送ゲート電極へ転送トリガー信号を印加して、フォトダイオード１２１，１２２，１２３，１２４に保存された光発生電荷を対応するシフトレジスタ１２５及び１２６の各段階へ転送する。各露出期間の終了時、フォトダイオードから転送されて垂直シフトレジスタの各段階に蓄積された保存光発生電荷は、水平シフトレジスタ１２７へ向かって３相クロック（不図示）によって各垂直シフトレジスタ２５及び１２６内でシフトされる。ひとたび水平シフトレジスタ１２７内になると、フォトダイオード１２１，１２２，１２３，１２４の各々からの蓄積された光発生電荷は、出力端子１２８へ向かって２相クロック（不図示）によって順次シフトアウトされ、該出力端子では、各電荷パケットがその出力端子１２８に到着する蓄積された光発生電化パケットの大きさに比例する電圧信号として検出される。
【００３６】
図１３へ移ると、ｎ型領域１１５及びｐ−ウェル領域１９０によって形成されたフォトダイオード、ｎ型領域１３５及びｐ−ウェル領域１９０によって形成された対応する垂直シフトレジタの１段階、前記フォトダイオード及び前記シフトレジスタ段階を分離するｐ型障害領域１３４、並びに、転送トリガー入力１３７と接続されたフォトダイオードと関連された転送ゲート電極１１４の断面の概略表示１３００が示されている。シフトレジスタ段階はｐ−ウェル１９０に対して適切にバイアスされたｎ型領域１３５を含んで、該シフトレジスタ段階へ転送される光発生電荷を受け取って蓄積するポテンシャル・ウェル（不図示）を形成する。トリガー・パルス信号が端子１３７に印加されると、ｎ型領域１１５及びｐ−ウェル１９０によって形成されたフォトダイオードのポテンシャル・ウェルに保存された光発生電荷が、矢印１３８で示されたように、障害領域１３４下方のチャネルを通過してシフトレジタ段階のポテンシャル・ウェルへ進むことを可能としている。
【００３７】
トリガー入力１３７への転送トリガー・パルスの周期的な印加に加えて、各フォトダイオードに保存された光発生電荷は、リセット入力１３３へのリセット・パルス信号の周期的な印加によって周期的に放電される。各リセット・パルス電圧信号の印加は、ｐ−ウェルと重くドープされたｎ型電荷シンク領域１２０との間の接合を適切にバイアスして、ＣＣＤ画像センサの各フォトダイオードのポテンシャル・ウェルに保存された実質的に全ての光発生電荷を矢印１３９で示されたように電荷シンク領域１２０へ転送させる。
【００３８】
次に図１４へ移ると、露出パルス１９３、リセット・トリガー・パルス１９４、図１２に示される模範的なＣＣＤ画像センサの４つのフォトダイオードと関連された転送トリガー・パルス１９５，１９８，２６１，２６４、並びに、模範的なＣＣＤ画像センサの４つのフォトダイオードＰＤ４，ＰＤ３，ＰＤ２，ＰＤ１における保存光発生電荷１９６，１９９，２６２，２６５のタイミング線図が示されている。画像を取り込む露出期間である継続期間は、露出パルス１９３の幅によって決定される。リセット・パルス１９４がＣＣＤ画像センサのリセット・トリガー入力１３３に印加される度に、画像センサの各フォトダイオードに保存された光発生電荷は以下に説明される理由のためにゼロへなる。ＣＣＤ画像センサにおける全てのフォトダイオードが入射光に露出されるので、波形１９６，１９９，２６２，２６５によって表される光発生電荷の大きさはリセット・パルス１９４間に増大する。先に説明されたように、転送トリガー・パルスがフォトダイオードに関連された転送ゲート電極に印加される度に、フォトダイオードに保存された光発生電荷は対応する垂直シフトレジスタの各段階へ転送される。フォトダイオードＰＤ４の場合、転送トリガー・パルス１９５がその関連された転送ゲート電極にリセット・パルス１９４と同一周波数であるが各転送トリガー・パルス１９５は次のリセット・パルス１９４に密着して先行するように位相がシフトされた状態で印加される。各転送トリガー・パルス１９５は、対応する黒塗り領域１９７によって表される電荷量を対応する垂直シフトレジスタの各段階へ転送させ、その転送された電荷は露出パルス１９３の継続期間にわたってそこに蓄積される。
【００３９】
転送トリガー・パルス１９５と同一幅を有する転送トリガー・パルス１９８は、フォトダイオードＰＤ３に関連された転送ゲート電極に転送トリガー・パルス１９５の周波数の半分の周波数で印加される。転送トリガー・パルス１９８の位相は、各トリガー・パルス１９８が次のリセット・パルス１９４に密着して先行するようになっている。各転送トリガー・パルス１９８の印加は、対応する黒塗り領域２６０によって表されるフォトダイオードＰＤ３に保存されたかなりの量の光発生電荷を対応する垂直シフトレジスタの各段階に転送させ、その転送された電荷は露出パルス１９３の継続期間にわたってそこに蓄積される。転送トリガー・パルス１９８は転送トリガー・パルス１９５の半分の周波数で生ずるので、露出継続期間にわたってフォトダイオードＰＤ３から光発生電荷を受け取る垂直シフトレジスタ段階に蓄積された光発生電荷は、同一露出継続期間にわたってフォトダイオードＰＤ４から光発生電荷を受ける垂直シフトレジスタ階段に蓄積される半分となる。このように動作することで、フォトダイオードＰＤ３の実効的な感度レベルはフォトダイオードＰＤ４の感度の半分となる。
【００４０】
転送トリガー・パルス１９８及び１９５と同一幅を有する転送トリガー・パルス２６１は、フォトダイオードＰＤ２と関連された転送ゲート電極に印加される。転送トリガー・パルス２６１の位相は、当該転送トリガー・パルス２６１が次のリセット・パルス１９４に密着して先行するようになっている。各転送トリガー・パルス２６１の印加は、対応する黒塗り領域２６３によって表される光ダイオードＰＤ２に保存されるかなりの量の光発生電荷の対応する垂直シフトレジスタの各段階への転送を生じさせ、転送された電荷は露出パルス１９３の継続期間にわたってそこに蓄積される。転送トリガー・パルス２６１の周波数は転送トリガー・パルス１９８の半分であると共に転送トリガー・パルス１９５の１／４であるので、露出パルス１９３の継続期間にわたってフォトダイオードＰＤ２から保存光発生電荷を受け取るシフトレジスタ段階に蓄積された光発生電荷の合計量は、フォトダイオードＰＤ３から保存光発生電荷を受け取る垂直シフトレジスタ段階に蓄積される場合の半分となるとともに、同一の継続期間にわたってフォトダイオードＰＤ４から保存光発生電荷を受け取るシフトレジスタ段階に蓄積される場合の１／４となる。結果として、フォトダイオードＰＤ２の実効的な感度レベルはＰＤ３の実効的感度レベルの半分であると共に、フォトダイオードＰＤ４の実効的感度レベルの１／４である。
【００４１】
転送トリガー・パルス２６１，１９８，１９５と同一幅を有する転送トリガー・パルス２６４は、転送トリガー・パルス２６１の半分の周波数でフォトダイオードＰＤ１と関連された転送ゲート電極に印加される。転送トリガー・パルス２６４の位相は、各転送トリガー・パルス２６４が次のリセット・パルス１９４に密着して先行するようになっている。各転送トリガー・パルス２６４の印加は、対応する黒塗り領域２６６によって表されるフォトダイオードＰＤ１に保存されたかなりの量の光発生電荷を対応する垂直シフトレジスタの各段階へ転送させ、転送された電荷は露出パルス１９３の継続期間にわたってねそこに蓄積される。転送トリガー・パルス２６４の周波数は転送トリガー・パルス２６１の半分であり、転送トリガー・パルス１９８の１／４であり、そして転送トリガー・パルス１９５の１／８であるので、露出パルス１９３の継続期間にわたってフォトダイオードＰＤ１から保存光発生電荷を受け取る垂直シフトレジスタ段階に蓄積された合計光発生電荷は、同一露出継続期間にわたって、フォトダイオードＰＤ２から保存光発生電荷を受け取るシフトレジスタ段階に蓄積された電荷の半分であり、フォトダイオードＰＤ３から保存光発生電荷を受け取るシフトレジスタ段階に蓄積された電荷の１／４であり、そしてフォトダイオードＰＤ４から保存光発生電荷を受け取るシフトレジスタ段階に蓄積された電荷の１／８である。結果としてフォトダイオードＰＤ１の実効的感度レベルはフォトダイオードＰＤ２の半分であり、フォトダイオードＰＤ３の１／４であり、そしてフォトダイオードＰＤ４の１／８である。従って異なる実効的感度レベルを、それぞれの転送トリガー・パルスをそれらの関連転送ゲート電極に対して、先に記載されたような異なる周波数で印加することによって獲得することができる。
【００４２】
光発生電荷は各転送トリガー・パルスの印加に及んでそれぞれの垂直シフトレジスタ段階に小量蓄積され且つ転送トリガー・パルスが露出期間にわたって均一に分配されるので、そのシーン中における動作はそれぞれのフォトダイオードからの保存光発生電荷を蓄積する垂直シフトレジスタ段階に同一の方法で集積されることになる。よって、出力画像における動作不鮮明性の不整合はＣＣＤ画像センサに対する所定の空間的感度パターンを獲得するための先の技法を使用することで抑制される。
【００４３】
画像処理部
図２のデータ・フロー線図に戻ると、本発明の模範的な実施例に従った画像処理部２００は取込画像メモリ２０、オフ−グリッド推定器２２、オン−グリッド・リサンプラー２３、並びに、出力画像メモリ２１を備える。例えば図３のブロック線図におけるフレーム・メモリ１２の一部として物理的には具現化される取込画像メモリ２０は、図１の画像検知部１によって取り込まれた画像をディジタル形態で保存する。オフ−グリッド推定器２２は取込画像メモリ２０内の取込画像輝度値を読取り、各オフ−グリッド位置での輝度値を算定するが、それらオフ−グリッド位置は画像（ピクセル位置）アレイ上ではない位置である。オン−グリッド・リサンプラー２３は各オフ−グリッド位置での輝度値を受け取り、オフ−グリッド位置でのオフ−グリッド輝度値を再標本化（リサンプル）することで各オフ−グリッド位置での再標本化された輝度値を算定する。算定された各ピクセル位置での再標本化輝度値は、そのシーンの比較的高いダイナミックレンジ画像のピクセル輝度値として出力画像メモリ２１に保存される。
【００４４】
図１５を参照すると、複数の規則正しく離間されたピクセル行２６７と、該ピクセル行２６７と直交する複数の規則正しく離間されたピクセル列２６８との交差点によって画成された、ピクセル位置アレイ状に配置された矩形１４０で表されたピクセル位置の模範的構成１５００が示されている。オフ−グリッド位置はピクセル位置アレイのそれぞれの合間に一般には配置されて、オフ−グリッド位置アレイを形成する。図１５の構成において、黒ドット１４１で表されるオフ−グリッド位置は複数の規則正しく離間された中間行２６９と、その中間行２６９と直交する複数の規則正しく離間された中間列２７０との各交差点によって画成されたオフ−グリッド位置アレイを形成する。中間行２６９の各々はピクセル行２６７と平行すると共にピクセル行２６７の各隣接対の間の中央に延在する。中間列２７０の各々はピクセル列２６８と平行すると共にピクセル列２６７の各隣接対の間の中央に延在する。ピクセル位置及びオフーグリッド位置の便宜上の参照のために、取込画像の底部左隅は座標系の原点（０，０）として規定されて、該原点に最も近いピクセル位置は座標（０．５，０．５）を有し、該原点に最も近いオフ−グリッド位置は座標（１，１）を有する。取込画像の底部右隅は（ｘサイズ，０）を有すると規定されており、そのｘサイズはピクセル行２６７の方向（ｘ方向）における取込画像の寸法であり、画像の上方左隅は座標（０，ｙサイズ）を有すると規定されており、そのｙサイズはピクセル列２６８の方向（ｙ方向）における取込画像の寸法である。
【００４５】
図１６へ移ると、本発明の模範的実施例に従ったオフ−グリッド推定器（図２の線図における２２）のデータ・フロー線図１６００が示されている。この実施例の場合、画像センサの光検知素子は４つの異なる感度レベルを有する。オフ−グリッド推定器１６００は、各々が４つの感度レベルのそれぞれ対応した４つのリサンプラー２８，２９，３０，３１と、図１５の線図で画成されたオフ−グリッド位置アレイのオフ−グリッド位置を提供するオフ−グリッド位置発生器３２と、ピクセル位置の各々と対応している感度レベルを示すデータを保存する感度パターン・データ・メモリ３４とを有する。加えて、オフ−グリッド推定器１６００は、光検知素子の感度レベルのそれぞれに一対一で対応する重み係数Ｗ_１，Ｗ_２，Ｗ_３，Ｗ_４を保存する重み係数メモリ２４，２５，２６，２７と、各々が対応するリサンプラー２８，２９，３０，３１及び該対応リサンプラーと同一の感度レベルと対応する重み係数Ｗ_１，Ｗ_２，Ｗ_３，Ｗ_４を受け取って、その受け取ったリサンプラー出力と重み係数の積を提供する乗算器２７１，２７２，２７３，２７４とを含む。オフ−グリッド推定器１６００は乗算器２７１，２７２，２７３，２７４の出力を受け取って、それら乗算器出力の合計を提供する合算器２７５をも含む。更にオフ−グリッド推定器１６００は、合算器２７５の出力を受け取るマッパー（ｍａｐｐｅｒ）３３、該マッパー３３と関連された検索テーブル（ｌｏｏｋｕｐ ｔａｂｌｅ：ＬＵＴ）・メモリ３５を有する。複数の感度レベルの内の相互に異なるものをそれぞれ有する光感度素子の感度重み付け組合せ応答関数の逆関数を表すデータを保存する検索テーブル・メモリ３５は、マッパー３３によって使用されて、オフ−グリッド位置発生器３２から受け取った各オフーグリッド位置に対する合算器２７５の出力を、組合せ応答関数の逆関数によって補償して、受け取られたオフ−グリッド位置での推定されたオフ−グリッド輝度値を誘導する。オフ−グリッド推定器１６００は、マッパー３３の出力を受け取るオフ−グリッド輝度値メモリ３６をも有する。
【００４６】
再度、図３を参照すると、図１６における感度パターン・メモリ３４が、例えば、ＲＯＭ１４内に物理的に実装され、ピクセル位置の各々に対する感度レベルの形態で、ＣＣＤ画像センサ９の所定空間変動感度パターンを保存する。図１６における検索テーブル・メモリ３５も、例えばＲＯＭ１６内に物理的に実装されており、画像センサの光感度素子の感度重み付け組合せ応答関数の逆関数によって、各オフ−グリッド位置での合算器２７５の出力を補償するための検索テーブルを保存する。図１６におけるオフ−グリッド輝度値メモリ３６は、例えばフレーム・メモリ３６内に物理的に実装され、図１６におけるマッパー３３によって提供されるように各オフ−グリッド位置での推定されたオフ−グリッド輝度値を保存する。
【００４７】
図１６へ戻ると、取込メモリ２０は図１５の線図に従って画成された各ピクセル位置での取込画像輝度値を保存する。各ピクセル位置での輝度値は、例えば、図３のブロック線図におけるＣＣＤ画像センサ９の対応する光検知素子によって作り出される。各光検知素子は４つの感度レベルの内の１つを有すると共と対応するピクセル位置での輝度値を作り出すので、各ピクセル位置は対応する感度レベルを有するものとして考慮され得る。リサンプラー２８，２９，３０，３１の各々はオフーグリッド位置発生器３２からオフ−グリッド位置と感度パターン・メモリ３４から感度パターン・データとを受け取って、その対応する感度レベルのピクセル位置での取込画像メモリ２０における取込画像輝度値を再標本化することよって、受け取られたオフ−グリッド値でのその感度レベルに対する感度レベル・オフ−グリッド輝度値を有する。再標本化算定の詳細は以降に記載される。リサンプラー２８，２９，３０，３１の各々がオフ−グリッド位置発生器３２から受け取ったオフ−グリッド位置でのその対応する感度レベルをに対する各感度レベル・オフ−グリッド輝度値を誘導した後、それら誘導感度レベル・オフ−グリッド輝度値の各々は乗算器２７１，２７２，２７３，２７４の内の１つにおける誘導リサンプラーとして同一感度レベルと対応する重み付け係数Ｗ_１，Ｗ_２，Ｗ_３，Ｗ_４の対応する１つと乗算される。次いで、各重み付け係数Ｗ_１，Ｗ_２，Ｗ_３，Ｗ_４によってスケーリングされた後、オフ−グリッド位置発生器３２から受け取ったオフ−グリッド位置での４つのリサンプラー２８，２９，３０，３１によって誘導された感度レベル・オフ−グリッド輝度値は、合算器２７５によって蓄積されて、受け取られたオフ−グリッド位置での重み付け合計感度レベル・オフ−グリッド輝度値を誘導し、それがマッパー３３へ提供される。マッパー３３は合算器２７５からの重み付け合計感度レベル・オフ−グリッド輝度値を四捨五入して、検索テーブル・メモリ３５に対する整数指標を獲得する。指標と対応する組合せ応答関数で補償された輝度値は検索テーブル・メモリ３５からマッパー３３によって検索されて、オフ−グリッド発生器３２から受け取られたオフ−グリッド位置での推定されたオフ−グリッド値としてオフ−グリッド輝度値メモリ３６へ提供される。オフ−グリッド位置発生器３２は（１，１）から（ｘサイズ−１，ｙサイズ−１）までのオフ−グリッド位置を逐次発生するので、寸法ｘサイズ−１及びｙサイズ−１を伴うオフ−グリッド輝度値パターンは発生されてオフ−グリッド輝度値メモリ３６に保存される。
【００４８】
図１７を参照すると、図１６のオフ−グリッド推定器１６００によって実行され得る算定処理のフロー線図が示されている。第１として、ループ２０１は（１，１）から（ｘサイズ−１，ｙサイズ−１）まで図１６のオフ−グリッド位置発生器によって提供される各オフ−グリッド位置（ｘ，ｙ）に対して繰り返され、そこでｘ及びｙはオフ−グリッド位置の座標であり、ｘサイズ及びｙサイズはｘ方向及びｙ方向の取込画像の寸法である。ループ２０１において、ステップ２０２と、ループ２０３と、ステップ２０６が実行される。ステップ２０２で値が０に初期化される。ループ２０３においてステップ２０４及び２０５が各ｉ番目の感度レベルに対して繰り返される。本実施例において、感度レベルの数は４であり、それ故に、ループ２０３は４回繰り返される。ステップ２０４において、オフ−グリッド位置（ｘ，ｙ）での第ｉ番目の感度レベルに対する感度レベル・オフ−グリッド位置輝度値ｐ_ｉは再標本化関数：Ｒｅｓａｍｐｌｅ_ｉ（Ｉ_ｃ，Ｓ，ｘ，ｙ）を用いて、図１６の取込画像メモリ２０に保存された各ピクセル位置での取込画像輝度値Ｉ_ｃから算定され、この式でＳは図１６の線図における感度パターン・メモリ３４からの感度パターン・データを表す。ステップ２０５で、第ｉ番目感度レベルｐ_ｉに対する算定された感度レベル・オフ−グリッド輝度値は、第ｉ番目感度レベルと対応する所定の重み付け係数Ｗ_ｉによって乗算され、その積が値ｓに合算される。ループ２０３が各感度レベルに対して繰り返された後、ステップ２０６が実行される。ステップ２０６でオフ−グリッド位置（ｘ，ｙ）での推定されたオフ−グリッド輝度値Ｂが、図１６のマッパー３３及び検索テーブル（ｌｏｏｋｕｐ ｔａｂｌｅ：ＬＵＴ）・メモリ３５を用いて関数：Ｍａｐ（ＬＵＴ，ｓ）によって算定される。ステップ２０６が完了した後、ループ２０１の現反復が完了される。ループ２０１が図１６のオフ−グリッド位置発生器３２から受け取られた各オフ−グリッド位置に対して繰り返された後、フローチャート１７００によって表された算定処理は終了する。
【００４９】
図１８へ移ると、図１７のフロー線図によって記載された算定処理に用いられる関数Ｒｅｓａｍｐｌｅ_ｉ（Ｉ_ｃ，Ｓ，ｘ，ｙ）の算定を記載するフロー線図が示されている。フロー線図１８００によって記載される算定は第ｉ番目の感度レベルと対応する図１６における第ｉ番目のリサンプラーによって実行される。ステップ２０７で第ｉ番目の感度レベルと対応する位置だけでの輝度値を有する画像Ｉ_ｉは、感度パターン・データＳに従った取込画像Ｉ_ｃをマスクすることによって発生させられる。ステップ２０８でオフ−グリッド位置（ｘ，ｙ）に最も近いマスクされた画像Ｉ_ｉのピクセル位置でのオフ−グリッド輝度値ｐが決定される。最後にステップ２０９で、輝度値ｐがオフ−グリッド位置（ｘ，ｙ）での第ｉ番目感度レベルに対する感度レベル・オフ−グリッド輝度値として提供され、フロー線図１８００によって表された計算処理が終了する。
【００５０】
次に図１９に移ると、図１７のフロー線図１７００によって記載された計算処理に用いられる関数Ｍａｐ（ＬＵＴ，ｓ）の計算に対するフロー線図１９００が示されている。フロー線図１９００の算定は図１６の線図におけるマッパー３３及び関連検索テーブル・メモリ３５によって実行される。この算定は、ステップ２１０，２１１，２１２のシーケンスから成る。ステップ２１０で整数値指標ｔが、図１７のフロー線図１７００におけるループ２０３で算定されたようにｓを切り捨てることによって算定される。ステップ２１１で値ｐがその指標ｔを用いて図１６における検索テーブル・メモリ３５から検索される。ステップ２１２で検索テーブル・メモリ３５における指標ｔに対する値ｐが出力として提供され、フロー線図１９００によって表される処理は終了する。指標ｔを値ｐにマッピングするために使用される検索テーブル・データは予め準備され図１６の検索テーブル・メモリ３５に保存される。先に指摘したように、検索テーブル・メモリ３５は図３におけるＲＯＭ１４に実装される。
【００５１】
図２０を参照すると、４つの感度レベルの内の相互に異なるものをそれぞれが有する光検知素子の模範的な正規化されたラジオメトリック（ｒａｄｉｏｍｅｔｒｉｃ）応答関数のグラフ２０００が示されている。数量Ｅは、図２０のグラフ２０００を作り出すために、光検知素子によって検知可能な最大放射強度によって正規化された光検知素子に入射した放射強度を表す。数量ｐは光検知素子と対応するピクセル位置での輝度値を表す。本実施例は４つの感度レベルを有するので、４つの応答関数：ｐ_１（Ｅ）１４２，ｐ_２（Ｅ）１４３，ｐ_３（Ｅ）１４４，ｐ_４（Ｅ）１４５がある。これら４つの応答関数の全ては単色であるので、正の重み係数を伴うこれら関数線形組合せｓ（Ｅ）も単色である。４つの感度レベルを一対一で有する４つの光検知素子の感度重み付け組合せ応答関数は以下のように表現され得る。
【００５２】
ｓ（Ｅ）＝Ｗ_１Ｐ_１（Ｅ）＋Ｗ_２Ｐ_２（Ｅ）＋Ｗ_３Ｐ_３（Ｅ）＋Ｗ_４Ｐ_４（Ｅ） （１）
【００５３】
等式（１）によって表される組合せは、４つの感度レベルでの応答関数が組み合わされたので放射強度Ｅの検知に対して高ダイナミックレンジをもたらす。例えば、Ｐ_１（Ｅ）はＥの明るいレンジ（範囲）に逆る感度を有し、Ｐ_４（Ｅ）はＥの暗いレンジに逆る感度有する一方で、Ｐ_２（Ｅ）及びＰ_３（Ｅ）はＥの中間レンジをカバーしている。等式（１）の組合せは２５６レベルのグレイスケールの数における増大をももたらす。もしこれら応答関数Ｐ_１（Ｅ），Ｐ_２（Ｅ），Ｐ_３（Ｅ），Ｐ_４（Ｅ）の各々が２５６レベルのグレイスケールを有すれば、ｓ（Ｅ）は１０２１レベルに同等なグレイスケールを有する。
【００５４】
図２１へ移れば、模範的な組合せ応答関数ｓ（Ｅ）のグラフ２１００が示されている。組合せ応答関数ｓ（Ｅ）に対する検索テーブル・データを保存するため、図２２のグラフ２２００における曲線１４７として示されたｓ（Ｅ）の逆関数が、単色関数の逆関数も単色であるので使用され得る。もし、ｓ（Ｅ）の逆関数が連続関数として発生されれば、任意の数のレベルを有する検索テーブルはディジタル化されて保存される。例えば、図２２のグラフから誘導された検索テーブルは６５，５３６個のレベルを有する。更に任意の種類の応答関数を表すデータも検索テーブルに保存可能である。例えば図２３は、ガンマ特性が含まれた応答関数の逆関数のグラフ２３００を示す。ガンマ特性の包含は標準化ビデオ信号出力を提供するために必要であり得る。
【００５５】
当業者には明らかなように、図１６のリサンプラー２８，２９，３０，３１によって実行される最も接近した隣接標本化関数は、補間法を伴う双一次元及び双三次標本化等の他の周知の標本化関数で代替され得る。重み付け係数Ｗ_１，Ｗ_２，Ｗ_３，Ｗ_４はそれぞれが正値であり得る。殆どの例において、重み係数の各々は１／Ｎにセットされ得、ここでＮは感度レベルの数である。図１６に示されたオフ−グリッド推定器において、もし重み付け係数Ｗ_１，Ｗ_２，Ｗ_３，Ｗ_４が全て同等であれば、重み付け係数メモリ２４，２５，２６，２７及び乗算器２８，２９，３０，３１がは削減され得て、その場合、リサンプラー２８，２９，３０，３１は合算器２７５へ直に提供される。留意されることは、図４の線図における検索テーブル・メモリ３５に保存された検索テーブル・データを作り出す目的で、重み付け係数が、等式（１）によって規定される組合せ応答関数ｓ（Ｅ）に対する所望の形状を獲得すべく選択されることである。検索テーブル・データは図２２のグラフに示されたように関数ｓ（Ｅ）の逆関数をディジタル化することで誘導される。ディジタル化誤差を最小化すべく、関数ｓ（Ｅ）の逆関数はできる限り均一化されるようにディジタル化される。関数ｓ（Ｅ）の逆関数は均一ディジタル化に充分適合していない場合、形状は重み付け係数を変えることで変更され得る。
【００５６】
次に図２４へ移れば、本発明の別の模範的実施例に従った、図２の線図のオフ−グリッド推定器２２のデータ・フロー線図２４００が示されている。図２４のオフ−グリッド推定器は、（０．５，０．５）から（ｘサイズ，ｙサイズ）まで順次ピクセル位置を発生するピクセル位置発生器４３、各ピクセル位置と対応する感度レベルを保存する感度パターン・メモリ４０、マッパー４２、異なる感度レベルを有する光検知素子の応答関数の逆関数を表す個別検索テーブル・データを保存する関連検索テーブル・メモリ３９、ピクセル位置と対応する感度レベルを有する光検知素子の応答関数の逆関数によって各ピクセル位置輝度値が補償された後に、各ピクセル位置での輝度値を保存するマッピングされたピクセル位置輝度値メモリ４１、（１，１）から（ｘサイズ−１，ｙサイズ−１）までオフ−グリッド位置を順次発生するオフ−グリッド位置発生器４５、マッピングされたピクセル位置輝度値メモリ４１に保存された補償済みピクセル位置輝度値からオフ−グリッド位置発生器４５から受け取った各オフ−グリッド位置での推定されたオフ−グリッド輝度値を算定する類似逆推定器、並びに、類似逆推定器４４によって算定された各オフ−グリッド位置での推定されたオフ−グリッド輝度値を保存するオフ−グリッド輝度値メモリ３６を含む。
【００５７】
図３のブロック線図で参照されるように、検索テーブル・メモリ３９及び感度パターン・メモリ４０は双方ともに、例えば、ＲＯＭ１４内に物理的に実装され、マッピングされたピクセル位置輝度値メモリ４１は例えばＲＡＭ１５内に物理的に実装される。
【００５８】
図２４へ戻れば、マッパー４２は取込画像メモリ２０からピクセル位置発生器４３から受け取ったピクセル位置での取込画像輝度値を受け取り、そして該マッパー４２はその取込画像輝度値に検索テーブル・メモリ３９に保存された検索テーブル・データを適用して、感度パターン・メモリ４０から獲得される受け取られたピクセル位置と対応する感度レベルを求め、受け取られたピクセル位置でのマッピングされた輝度値を誘導して、マッピングされたピクセル位置輝度値メモリ４１内に保存する。マッピングされた輝度値は、受け取られたピクセル位置と対応するレベルの感度を有する光検知素子の応答関数の逆関数で補償された取込画像輝度値である。次いで、類似逆推定器４４はオフ−グリッド位置発生器４５によって提供されたオフ−グリッド位置での輝度値を、マッピングされたピクセル位置輝度値メモリ４１におけるマッピングされた輝度値を用いて算定する。オフ−グリッド位置での算定されたオフ−グリッド輝度値は、次いで、オフ−グリッド輝度値記憶装置３６に保存される。
【００５９】
図２５を参照すると、図２４の線図のオフ−グリッド推定器２４００によって実行され得る算定プロセス用のフロー線図２５００が示されている。第１としてループ２１５は、図２４のピクセル位置発生器４３から受け取られるように、（０．５，０．５）から（ｘサイズ−０．５，ｙサイズ−０．５）までの取込画像の各ピクセル位置（ｘ，ｙ）に対して繰り返される。ループ２１５において、ステップ２１６及び２１７が実行される。ステップ２１６で、第ｉ番目の感度レベルに対する検索テーブル・データＬＵＴ_ｉが受け取られたピクセル位置（ｘ，ｙ）と対応する感度レベルｉを参照することで選択される。受け取られたピクセル位置（ｘ，ｙ）と対応する感度レベルは、図２４の感度パターン・メモリ４０に保存された感度パターン・データＳ（ｘ，ｙ）から獲得される。ステップ２１７で、検索テーブル・データＬＵＴ_ｉは、取込画像メモリ２０からの受け取られたピクセル位置での取込画像輝度値Ｉ_ｃ（ｘ，ｙ）に適用される。検索テーブル・データＬＵＴ_ｉから誘導さえた感度レベルｉを有する光感度素子の応答関数の逆関数によって補償された輝度値は、受け取られたピクセル位置（ｘ，ｙ）でのマッピングされた輝度値Ｉ_ｍ（ｘ，ｙ）として呼称される。ループ２１５が図２４におけるピクセル位置発生器４３から受け取られる各ピクセル位置毎に繰り返された後、ループ２１８が、図２４におけるオフ−グリッド位置発生器４５から受け取られる（１，１）から（ｘサイズ−１，ｙサイズ−１）までの各オフ−グリッド位置に対して繰り返される。ループ２１８におけるステップ２１９及び２２０、並びに、ステップ２２３が実行される。ステップ２１９で、値ｓ及び値ｗがそれぞれ０に初期化される。ステップ２１９の後、ループ２２０は受け取られたオフ−グリッド位置（ｘ’，ｙ’）に４つの最も近い隣接ピクセル位置である４つのピクセル位置（ｕ，ｖ）に対して繰り返される。ループ２２０において、ステップ２２１及び２２２が実行される。ステップ２２１で、ピクセル位置（ｕ，ｖ）でのマッピングされた輝度値Ｉ_ｍ（ｕ，ｖ）は低閾値θ_Ｌと高閾値θ_Ｈと比較される。もしＩ_ｍ（ｕ，ｖ）がθ_Ｌよりも大きく且つθ_Ｈよりも小さければ、ステップ２２２が実行される。さもなければ、ステップ２２２はスキップされ、プロセスは次のループ２１９の反復へ移動する。閾値θ_Ｌ及びθ_Ｈは所定定数値であり、一般にはピクセル位置（ｕ，ｖ）と対応する感度レベルを有する光検知素子のマッピングされたノイズ・レベルを表すと共に、同一感度レベルを有する光検知素子の飽和或は略飽和輝度値を表す。ステップ２２２で、θ_Ｌよりも大きく且つθ_Ｈよりも小さいマッピングされた輝度値Ｉ_ｍ（ｕ，ｖ）はｓに合算され、１がｗに合算される。ループ２２０が最も近い隣接ピクセル位置の各々に対して繰り返された後、ステップ２２３が実行される。ステップ２２３で、受け取られたオフ−グリッド位置（ｘ’，ｙ’）での輝度値Ｂ（ｘ’，ｙ’）は値ｓを値ｗで分割することによって算定される。ループ２１８が図２４におけるオフ−グリッド位置発生器４５から受け取られる各オフ−グリッド位置に対して繰り返された後、フロー線図２５００によって表現される算定プロセスは終了する。
【００６０】
図２６を参照すると、図２４の線図の類似逆推定器４４によって実行され得る代替的な算定プロセスのフロー線図２６００が示されている。図２６のフロー線図２６００は、４×４立方類似逆算定を具現化しており、ステップ２１９、ループ２２０、並びに、ステップ２２３を含む図２５のフロー線図２５００の一部に取って代わることができる。図２６のフロー線図で参照されるように、ステップ２２４で値ｓ及び値ｗはそれぞれ０に初期化される。次いでループ２２５が、図２４におけるオフ−グリッド位置発生器４５から受け取られるオフ−グリッド位置（ｘ’，ｙ’）に最も近い１６個の隣接ピクセル位置である１６個のピクセル位置（ｕ，ｖ）に対して繰り返される。ループ２２５におけるステップ２２６、ステップ２２７、並びに、ステップ２２８が実行される。ステップ２２６において、最も近い隣接ピクセル位置（ｕ，ｖ）でのマッピングされた輝度値Ｉ_ｍ（ｕ，ｖ）は低閾値θ_Ｌと高閾値θ_Ｈと比較される。もしＩ_ｍ（ｕ，ｖ）がθ_Ｌよりも大きく且つθ_Ｈよりも小さければ、ステップ２２７が実行される。さもなければ、ステップ２２７及び２２８はスキップされ、プロセスは次のループ２２５の反復へ移動する。閾値θ_Ｌ及びθ_Ｈは所定定数値であり、一般にはピクセル位置（ｕ，ｖ）と対応する感度レベルを有する光検知素子のマッピングされたノイズ・レベルを表すと共に、同一感度レベルを有する光検知素子の飽和或は略飽和輝度値を表す。ステップ２２７で、指標値ｉ及びｊが受け取られたオフ−グリッド位置（ｘ’，ｙ’）と最も近い隣接ピクセル位置（ｕ，ｖ）とから算定されるが、これらｉ及びｊは図２７に示される立方補間法カーネル（核：ｋｅｒｎｅｌ）の値を参照するために使用される。ステップ２２８で、ｓ及びｗはそれぞれステップ２２８を表すブロックに示される等式に従って更新される。ループ２２５が１６個の最も近い隣接ピクセル位置の各々に対して繰り返された後、ステップ２２９は実行される。ステップ２２９において、受け取られたオフ−グリッド位置（ｘ’，ｙ’）での輝度値Ｂは値ｓを値ｗで割ることで算定される。フロー線図２６００によって表現される算定プロセスは、ｘ’＋１からｓサイズ−１と、ｙ’＋１１からｙサイズ−１まで、図２４におけるオフ−グリッド位置発生器４５から受け取られる全てのオフ−グリッド位置に対して繰り返される。
【００６１】
図２８へ移ると、本発明の模範的実施例に従った図２の線図におけるオフ−グリッド・リサンプラー２３のフロー線図２８００が示されている。このオフ−グリッド・リサンプラー２８００は、（２．５，２．５）から（ｘサイズ−２．５，ｙサイズ−２．５）までのピクセル位置を順次提供するピクセル位置発生器３８と、該ピクセル位置発生器３８から受け取られるピクセル位置に最も近く隣接する４×４オフ−グリッド位置での推定されたオフ−グリッド輝度値から、ピクセル位置発生器３８から受け取られるピクセル位置での補間されたオフ−グリッド輝度値を算定する立方補間演算を実行する補間器３７とを含む。これは図２９に図示されており、同図には、矩形として表されるピクセル位置と、黒丸として表されるオフ−グリッド位置とのローカル・エリアの線図２９００を示している。受け取られたピクセル位置（ｘ，ｙ）での輝度値が算定されると、４×４の立方補間カーネルが、（ｘ−２，ｙ−２）から（ｘ＋２，ｙ＋２）までのローカル・エリア内において４×４オフ−グリッド輝度値と乗算されそれが図２９の線図における陰影が付けられた矩形として示されている。４×４の立方補間カーネル２７００の一例は図２７に示されている。図２８におけるピクセル位置発生器３８は、（２．５，２．５）から（ｘサイズ−２．５，ｙサイズ−２．５）までのピクセル位置を順次発生して、該ピクセル位置を補間器３７へ提供する。このようにして、（ｘサイズ−４，ｙサイズ−４）の寸法を有する画像に対する再標本化された輝度値は発生させられ、図２８における出力画像メモリ２１に保存される。
【００６２】
図３０を参照すると、図２８における補間器３７によって実行され得る算定プロセスを説明するフロー線図３０００が示されている。この算定プロセスはステップ２１４を含むループ２１３を有する。ループ２１３は、図２８におけるピクセル位置発生器３８から受け取られる、（２．５，２．５）から（ｘサイズ−２．５，ｙサイズ−２．５）までの出力画像の各ピクセル位置（ｘ，ｙ）に対して繰り返され、ｘ及びｙはピクセル位置の座標であり、ｘサイズ及びｙサイズはｘ方向及びｙ方向における取込画像の寸法である。ステップ２１４で、ピクセル位置（ｘ−２，ｙ−２）での出力画像Ｉ_ｏ（ｘ−２，ｙ−２）の輝度値は、受け取られたピクセル位置（ｘ，ｙ）に４×４の最も近くの隣接オフ−グリッド位置での輝度値と、フロー線図３０００におけるステップ２１４を表すブロック内の等式によって示される４×４の立方補間カーネルφとの席を算定することで誘導される。算定された値は、出力画像Ｉ_ｏ（ｘ−２，ｙ−２）の対応するピクセル位置での輝度値として、図２８における線図の出力画像メモリ２１に保存される。ループ２１３が図２８におけるピクセル位置発生器３８から受け取られる各ピクセル位置に対して繰り返された後、フロー線図３０００によって表される算定プロセスは終了する。
【００６３】
図２８における線図の補間器３７は立方補間を実行するものとして記載されているが、理解して頂きたいことは、２次元均一グリッド・データから補間値を算定する任意補間プロセスが立方補間と代替され得ることである。例えば、他の立方カーネル、ガウス・化ネール、双一次元補間、或は、より大きな補間カーネルが使用可能である。更には、オフ−グリッド位置と合致するようにピクセル位置をシフトすることや、オフ−グリッド位置での輝度値を各合致したピクセル位置での輝度値として採用することは、ピクセル位置での再標本化された輝度値を誘導すべく使用可能である。双立方Ｂ−スプライン３１００、双一次元３２００、６×６の２次元ガウシアン３３００、並びに、単純シフト・フィルタ・カーネル（核）３４００が図３１乃至図３４にそれぞれ示されている。これらフィルタ・カーネルの各々は図３０のフロー線図におけるφ_ｉｊとして代替され得る。留意して頂きたいことは、図３０のフロー線図におけるｉ及びｊに対する値の範囲がフィルタ・カーネルのサイズに従って変化することである。例えば、６×６ガウシアン・フィルタ３３００が使用される際、ｉ及びｊの双方は０から５までの値を取る。
【００６４】
以上に記載された本発明の実施例において、画像センサの光検知素子は４つの異なる感度レベルを有する。理解して頂けるであろうことは、以上に記載された実施例に対して軽微な改変のみを伴って、画像センサの光検知素子が異なる多数の感度レベルを有するような実施例に、本発明が容易に適用され得ることである。例えば、画像センサの光検知素子は２つのみ感度レベルを有し得て、そうした場合の実施例への変更はこれから記載される。
【００６５】
空間的変動感度パターンがマスクによって規定されている画像検知部において、マスクはは２つの異なる透明性を具備するセルを有することになり、即ち、暗いセルと明るいセルとである。例えば、マスクはチェッカーボード・パターンを有し得て、行の隣接セルと列の隣接セルとはそれら２つの透明性の内の異なる一方を有することなる。そうしたマスク３５００の一例は図３５に示され、そこでは、明るいセルが参照番号１４８で指定されると共に、暗いセルが参照番号１４９で指定されている。
【００６６】
画像処理部において、図１６及び図２４のそれぞれの線図におけるオフ−グリッド位置発生器３２は、２つの感度レベルの場合に対して図１５で規定されたような同一オフ−グリッド位置を発生し得る。しかしながら代替的なオフ−グリッド位置は２つだけの感度レベルが存在している時に規定され得る。
【００６７】
図３６を参照すると、２つの感度レベルの場合に対する代替的なオフ−グリッド位置パターンの線図３６００が示されている。図３６において、ピクセル位置は正方形１５１で表され、オフ−グリッド位置は黒丸１５１で表されている。ここでもオフ−グリッド位置１５１はピクセル位置アレイの各合間に配置されている。しかしながら図３６の線図における隙間は、ピクセル行２６７及び中間列２７０の各交差点と、ピクセル列２６８及び中間行２６９の各交差点とに配置されている。図１５の線図では、ピクセル行２６７及びピクセル列２６８は規則正しく離間されて相互に直交し、各中間行２６９がピクセル行２６７と平行してピクセル行２６７の各隣接対間の中央に延在している一方、各中間列２７０がピクセル列２６８と平行してピクセル列２６８の各対間の中央に延在している。図３６の線図で留意されるように、隣接オフ−グリッド位置のラインは隣接ピクセル位置から成るラインに対して４５度だけ回転されていることである。
【００６８】
図３７へ移れば、２つの感度レベルに対して変更された図１６のオフ−グリッド推定器の実施例に逆るデータ・フロー線図３７００が示されている。４つの感度レベル例の場合との相違点は、使用されているリサンプラーの数、重み付け係数メモリの数、並びに、乗算器の数である。位置発生器３２は図３６で規定されたオフ−グリッド位置を発生すべく変更されている。感度パターン・メモリ３４は、各ピクセル位置と対応する２つの感度レベルの内の一方を指定する所定の空間的変動感度パターンを保存する。
【００６９】
図３８を参照すると、図３７のデータ・フロー線図３７００によって表されるオフ−グリッド推定器によって実行され得る算定プロセスのフロー線図３８００が示されている。第１としてループ２３０は、（０．５，１）から（ｘサイズ−０．５，ｙサイズ−１）までの各オフ−グリッド位置（ｘ，ｙ）に対して繰り返され、ここでｘ及びｙはオフ−グリッド位置の座標であり、ｘサイズ及びｙサイズはｘ方向及びｙ方向の取込画像の寸法である。図３６の線図３６００を参照すると、ループ２３０が繰り返されるオフ−グリッド位置は中間行２６９及びピクセル列２６８の各交差点に配置されている。ループ２３０におけるステップ２３１、ループ２３２、並びに、ステップ２３５は実行される。ステップ２３１で値ｓは０に初期化される。ループ２３２でステップ２３３及び２３４が各第ｉ番目感度レベルに対して繰り返される。本実施例における感度レベルの数は２つである。ステップ２３３で、図３７におけるオフ−グリッド位置発生器３２から受け取られるオフ−グリッド位置（ｘ，ｙ）での第ｉ番目感度レベルに対する感度レベル・オフ−グリッド輝度値ｐ_ｉは、第ｉ番目のリサンプラーの標本化関数Ｒｅｓａｍｐｌｅ_ｉ（Ｉ_ｃ，Ｓ，ｘ，ｙ）によって取込画像Ｉ_ｃの各ピクセル位置での取込画像輝度値から算定され、ここでｓは図３７における感度パターン・メモリ３４からの感度パターン・データを表している。この関数の算定は４つの感度レベル例に対するものと同一である。ステップ２３４で、第ｉ番目の感度レベルに対する感度レベル・オフ−グリッド輝度値ｐ_ｉは同一感度レベルに対する所定重み付け係数Ｗ_ｉによって乗算され、その積がｓへ合算される。ループ２３２が２つの感度レベルに対して繰り返された後、ステップ２３５が実行される。ステップ２３５で、図３７におけるオフ−グリッド位置発生器３２から受けられるオフ−グリッド位置（ｘ，ｙ）での輝度値Ｂは、図３７におけるマッパー３３及び関連検索テーブル・メモリ３５を用いて関数Ｍａｐ（ＬＵＴ，ｓ）を適用することで算定される。この関数の適用は４つの感度レベル例と同一である。ステップ２３５が完了された後、ループ２３０の現行での反復は完了される。ステップ２３０が中間行２６９及びピクセル列２６８の各交差点に配置される全てのオフ−グリッド位置に対して繰り返された後、この算定プロセスはループ２３６へ進む。ループ２３６の算定プロセスはループ２３０のものと同等であるが、ループ２３６が（１，０．５）から（ｘサイズ−１，ｙサイズ−０．５）まで図３７におけるこのオフ−グリッド位置発生器３２から受け取られる各オフ−グリッド位置に対して繰り返されることは除く。図３６の線図３６００を再び参照すると、ループ２３６が繰り返されるオフ−グリッド位置はピクセル行２６７及び中間列２７０の各交差点に配置されている。ループ２３６がそうしたオフ−グリッド位置の全てに対して繰り返された後、フロー線図３８００で表された算定プロセスは終了する。
【００７０】
図２４におけるデータ・フロー線図によって表されるオフ−グリッド推定器の実施例も、２つの感度レベル用に容易に変更される。図３９へ移ると、２つの感度レベル例に対する、図２４のデータ・フロー線図２４００によって表されるオフ−グリッド推定器で実行され得る算定プロセスを記載するフロー線図３９００が示されている。第１ループ２５６が、（０．５，０．５）から（ｘサイズ−０．５，ｙサイズ−０．５）まで、図２４におけるピクセル位置発生器４３から受け取られる取込画像の各ピクセル位置（ｘ，ｙ）に対して繰り返される。ループ２５６で、ステップ２５７及び２５８が実行される。ステップ２５７で、第ｉ番目感度レベルに対する検索テーブル・データＬＵＴ_ｉが、ピクセル位置発生器４３から受け取られるピクセル位置（ｘ，ｙ）と対応する感度レベルに対して感度パターン・メモリ４０に保存され感度パターン・データＳ（ｘ，ｙ）を参照することで選択される。ステップ２５８で、検索テーブル・データＬＵＴ_ｉは受け取られたピクセル位置（ｘ，ｙ）での取込画像輝度値Ｉ_ｃ（ｘ，ｙ）に適用され、受け取られたピクセル位置（ｘ，ｙ）での結果として補償された輝度値がそのピクセル位置でのマッピングされた輝度値Ｉ_ｍ（ｘ，ｙ）として指定される。ループ２５６が、ピクセル位置発生器４３から受け取られる（０．５，１）から（ｘサイズ−０．５，ｙサイズ−１）までの各オフ−グリッド位置（ｘ’，ｙ’）に対して繰り返される。図３６における線図３６００で参照されるように、ループ２５９が繰り返されるオフ−グリッド位置は中間行２６９及びピクセル列２６８の各交差点に配置されている。ループ２５９においてステップ２６０は実行される。ステップ２６０で、関数としての類似逆関数（Ｉ_ｍ，ｘ’，ｙ’）が受け取られたオフ−グリッド位置（ｘ’，ｙ’）での輝度値Ｂ（ｘ’，ｙ’）を獲得すべく概算される。関数としての類似逆関数（Ｉ_ｍ，ｘ’，ｙ’）を概算する詳細は以下に更に説明される。ループ２５９が、オフ−グリッド位置発生器４５から受け取られる、中間行２６９及びピクセル列２６８の各交差点に配置された各オフ−グリッド位置に対して繰り返された後、この算定プロセスはループ２６１へ進み、そのループが（０，０．５）から（ｘサイズ−１，ｙサイズ−０．５）までの各オフ−グリッド位置に対して繰り返される。図３６の線図３６００で参照されるように、ループ２６１が繰り返されるオフ−グリッド位置は、ピクセル位置行２６７及び中間列２７０の各交差点に配置されている。さもなければ、ループ２６１の算定プロセスはループ２５９のそれと同等である。ループ２５９が、オフ−グリッド位置発生器４５から受け取られる、ピクセル行２６７及び中間列２７０の各交差点に配置されたオフ−グリッド位置各々に対して繰り返された後、フロー線図３９００によって表される算定プロセスは終了する。
【００７１】
図４０を参照すると、４×４の回転された立方類似逆関数演算を実行する、関数としての類似逆関数（Ｉ_ｍ，ｘ’，ｙ’）に対する算定プロセスを記載するフロー線図４０００が示されている。第１として、ステップ２６３で値ｓ及び値ｗがそれぞれ０に初期化される。ステップ２６３の後、ループ２６４が、該ループ２６４の各反復において、０から３までの値を有する指標ｉ及びｊを増大することによって、オフ−グリッド位置発生器４５から受け取られるオフ−グリッド位置（ｘ’，ｙ’）に最も近い隣接である１６個のピクセル位置（ｕ，ｖ）に対して繰り返される。ループ２６４で、ステップ２６５，２６６，２６７，２６８が実行される。ステップ２６５で、座標ｕ及びｖが、フロー線図４０００におけるステップ２６５を表すブロックに示された関係を用いて、現行受け取られたオフ−グリッド位置（ｘ’，ｙ’）の座標及び指標ｉ及びｊから算定される。ステップ２６６で、座標ｕ及びｖはピクセル位置であるかについての判定が為される。もし座標ｕ及びｖがピクセル位置であれば、そのピクセル位置でのマッピングされた輝度値Ｉ_ｍ（ｕ，ｖ）が、ステップｐ２６７で、低閾値θ_Ｌ及び高閾値θ_Ｈと比較される。さもなければ、ステップ２６７及び２６８がスキップされ、この算定プロセスはループ２６４の次の反復へ移動する。もしステップ２６７でマッピングされた輝度値Ｉ_ｍ（ｕ，ｖ）がθ_Ｌよりも大きく且つθ_Ｈよりも小さければ、ステップ２６８が実行される。さもなければ、ステップ２６８はスキップされ、プロセスは次のループ２６４の次の反復へ移動する。閾値θ_Ｌ及びθ_Ｈは所定定数であり、一般にはピクセル位置（ｕ，ｖ）と対応する感度レベルを有する光検知素子のマッピングされたノイズ・レベルを表すと共に、同一感度レベルを有する画像センサにおける光検知素子の飽和或は略飽和輝度値を表す。ステップ２６８で、値ｓ及びｗはフロー線図４０００におけるステップ２６８を表すブロック内に示された等式に従って更新される。これら等式φ_ｍｎは指標ｍ及びｎでの４５度回転された立方補間カーネルφを表す。４５度回転された立方補間カーネルの一例は図４２における線図４２００に示されている。ループ２６４が指標ｉ及びｊの全ての値に対して繰り返された後、ステップ２６９は実行される。ステップ２６９で関数Ｒｅｓａｍｐｌｅ（Ｉ_ｍ，ｘ’，ｙ’）の値は値ｓを値ｗで割ることで獲得され、フロー線図４０００で表される算定プロセスは図２４におけるオフ−グリッド位置発生器４５から受け取られる次のオフ−グリッド位置（ｘ’，ｙ’）に対して繰り返される。
【００７２】
２つの感度レベル例に対するオン−グリッド・リサンプラーのデータ・フロー線図は、図２８に示される４つの感度レベル例に対するものと同一である。しかしながら図２８の線図における補間器によって実行される算定において幾つかの相違がある。４つの感度レベル例におけるように補間器は、受け取られたピクセル位置に最も近い隣接である４×４オフ−グリッド位置での各推定オフ−グリッド輝度値を用いて、図２８におけるピクセル位置発生器３８から受け取られるピクセル位置での補間された輝度値を算定する立方補間演算を実行する。しかしながら、２つの感度レベルに対する補間フィルタ・カーネルの形状は異なる。図４１は、黒丸で表現されるオフ−グリッド位置によって表されるピクセル位置のローカル・エリアでの線図を示している。各ピクセル位置（ｘ，ｙ）での輝度値が算定されると、図４１における陰影が付けられたダイヤモンド形状領域として示される、（ｘ−２，ｙ−２）から（ｘ＋２，ｙ＋２）までのダイヤモンド形状エリア内における受け取られたピクセル位置（ｘ，ｙ）に最も近い隣接である４×４オフ−グリッド位置での輝度値との積を形成すべく、４５度回転４×４立方補間カーネルが適用される。４５度回転４×４立方補間カーネル４２００の一例が図４２に示されている。２つの感度レベルに対するフィルタ・カーネルが４つの感度レベルに対するカーネルよりも小型であるので、２つの感度レベルに対する実施例はより良好な空間的周波数特性となる。
【００７３】
図４３へ移ると、２つの感度レベルに対するオン−グリッド・リサンプラーの実施例によって実行され得る算定プロセスを記載するフロー線図４３００が示されている。ループ２４２が、位置（２．５，２．５）から位置（ｘサイズ−２．５，ｙサイズ−２．５）まで、図２８におけるピクセル位置発生器３８から受け取られる出力画像の各ピクセル位置（ｘ，ｙ）に対して繰り返され、ここでｘ及びｙはピクセル位置であり、ｘサイズ及びｙサイズはｘ方向及びｙ方向における取込画像の寸法である。ステップ２４３で、出力画像Ｉｏ（ｘ，ｙ）の受け取られたピクセル位置（ｘ，ｙ）での輝度値は、その受け取られたピクセル位置（ｘ，ｙ）に最も近い隣接である４×４オフ−グリッド位置での輝度値Ｂと、フロー線図４３００におけるステップ２４３を表すブロック内に示された等式に従った４５度回転４×４立方補間カーネルφとの積を算定することで誘導される。出力画像Ｉ（ｘ−２，ｙ−２）の対応するピクセル位置での算定された輝度値は図２８における出力画像メモリ２１に保存される。図２８におけるピクセル位置発生器３８から受け取られる各ピクセル位置に対するループ２４２の反復が完了した後、フロー線図４３００で表される算定プロセスは終了する。
【００７４】
図２のデータ・フロー線図２００に戻って参照すると、オフ−グリッド推定器２２が図１５及び図３６に示されるような規則正しいアレイに横たわるオフ−グリッド位置での各オフ−グリッド輝度値を誘導する場合、オフ−グリッド輝度値の規則正しいアレイは、オン−グリッド・リサンプラー２３による更なる処理無しに、高ダイナミックレンジ出力画像のピクセル輝度値として、出力画像メモリ２１に直に保存され得ることが留意される。これは図４４のデータ・フロー線図によって表される本発明の模範的実施例に示されており、オフ−グリッド推定器２２によって算定された各推定オフ−グリッド輝度値は、引き続く表示或は更なる処理のために出力画像メモリ２１に直に提供される。推定オフ−グリッド輝度値に直接的に基づく出力画像は、一般に、オン−グリッド・リサンプラー２２による再標本化を被ったもの程に高品質を有することがないが、品質は幾つかの用途に対して充分であり得る。
【００７５】
図４５へ移れば、本発明の別の模範的実施例に従ったデータ・フロー線図４５００が示されており、そこでは、図１６のオフ−グリッド推定器のマッパー３３及び関連検索テーブル・メモリ３５が、図１６に示された箇所から図２８のオン−グリッド・リサンプラーの補間器３７後へ移動されている。図１６のオフ−グリッド推定器と図２８のオン−グリッド・リサンプラーとの組合せで獲得されるものと近似的に同一の結果が、図４５の構成を用いて獲得される。
【００７６】
図４６へ移れば、図４５の構成によって実行され得る算定プロセスのフロー線図４６００が示されている。第１としてループ２４４は、（１，１）から（ｘサイズ−１，ｙサイズ−１）まで、図４５におけるオフ−グリッド位置発生器３２から受け取られる各オフ−グリッド位置（ｘ’，ｙ’）に対して繰り返され、ここでｘ’及びｙ’はオフ−グリッド位置の座標であり、ｘサイズ及びｙサイズはｘ方向及びｙ方向における取込画像の寸法である。ループ２４４、ステップ２４５、ループ２４６、並びに、ステップ２４９が実行される。ステップ２４５で、値ｓは０に初期化される。ループ２４６で、ステップ２４７及び２４８は各ｉ番目の感度レベルに対して繰り返される。本実施例において、感度レベルの数は４である。ステップ２４７で、各オフ−グリッド位置（ｘ’，ｙ’）での第ｉ番目感度レベルに対する感度レベル・オフ−グリッド輝度値ｐ_ｉは、第ｉ番目リサンプラーの再標本化関数Ｒｅｓａｍｐｌｅ_ｉ（Ｉ_ｃ，Ｓ，ｘ’，ｙ’）によって、取込画像メモリ２０における取込画像輝度値Ｉ_ｃから誘導され、ここでＳは図４５における感度パターン・メモリ３４からの感度パターン・データを表す。ステップ２４８で、第ｉ番目の感度レベルｐ_ｉに対する算定された感度レベル・オフ−グリッド輝度値は、第ｉ番目の感度レベルに対する所定の重み付け係数Ｗ_ｉによって乗算される。この乗算の積はｓに合算される。ループ２４６が各感度レベルに対して繰り返された後、ステップ２４９が実行される。ステップ２４９で、値ｘは図４５におけるオフ−グリッド位置発生器３２から受け取られるオフ−グリッド位置（ｘ’，ｙ’）でのオフ−グリッド輝度値Ｂに割り当てられる。ステップ２４９が実行された後、ループ２４４の現行反復が完了される。ループ２４４がオフ−グリッド位置発生器３２から受け取られる各オフ−グリッド位置に対して繰り返された後、算定はループ２５０へ進む。ループ２５０が、図４５におけるピクセル位置発生器３８から受け取られる、（２．５，２．５）から（ｘサイズ−２．５，ｙサイズ−２．５）までの各ピクセル位置（ｘ，ｙ）に対して繰り返される。ループ２５０において、ステップ２５１及び２５２が実行される。ステップ２５１で、ピクセル位置（ｘ，ｙ）での補間されたオン−グリッド輝度値Ｉが、フロー線図４６００におけるステップ２５１を表すブロック内の等式を用いて、受け取られたピクセル位置（ｘ，ｙ）に最も近い隣接である４×４オフ−グリッド位置での輝度値と、４×４の立方補間カーネルφとの積を算定することによって誘導される。ステップ２５２で、関数ＭＡＰ（ＬＵＴ，Ｉ）は概算されてピクセル位置（ｘ−２，ｙ−２）での出力画像Ｉ_ｏ（ｘ−２，ｙ−２）のピクセル輝度値を獲得する。関数ＭＡＰ（ＬＵＴ，Ｉ）を概算するこの算定プロセスは図１９におけるフロー線図によって記載されている。ループ２５０が図４５におけるピクセル位置発生器３８から受け取られる各ピクセル位置に対して繰り返された後、４６００に対するフロー線図によって表される算定プロセスは終了する。
【００７７】
次に図４を参照すると、本発明の別の模範的実施例のデータ・フロー線図４７００が示されており、図１の画像処理部２を具現化すべくオン−グリッド補間フィルタ４６を用いている。図４７における線図を図４５における線図と比較すると、リサンプラー２８，２９，３０，３１、重み付け係数メモリ２４，２５，２６，２７、感度パターン・メモリ３４、オフ−グリッド輝度値メモリ３６、補間器３７、オフ−グリッド位置発生器３２、並びに、ピクセル位置発生器３８が、オン−グリッド補間フィルタ４６及びピクセル位置発生器４７によって置き換わっている。フィルタの誘導は次に説明される。
【００７８】
本発明に従えば、オフ−グリッド輝度値Ｂ（ｘ，ｙ）はオフ−グリッド関数ｆ_ｏｆｆ（^＊）を取込画像輝度値Ｉ_ｃ（ｘ，ｙ）に適用することによって獲得され、即ち、
【００７９】
【数２５】
【００８０】
図１６乃至図１９によって表されるオフ−グリッド推定器の実施例において、単色光検知素子応答関数ｓ（Ｅ）に依存するオフ−グリッド輝度値は先ず誘導され、次いで応答関数独立オフ−グリッド輝度値が応答関数ｓ（Ｅ）の逆関数に対する検索テーブルを適用することによって回復され、即ち、
【００８１】
【数２６】
【００８２】
ここで
【外１】
は、等式（１）を用いて算定されたような異なる感度レベルを有する光検知素子の応答関数の重みが付けられた合計を用いることによって感度レベル依存オフ−グリッド輝度値を獲得するための関数である。
【００８３】
出力画像を獲得するため、オン−グリッド再標本化関数ｆｏｎ（^＊）が用いられて、従来の再標本化関数ｒ（^＊）によってピクセル位置での輝度値を算定する。それ故に、出力画像は次式の如くに表現される。
【００８４】
【数２７】
【００８５】
もしオリジナルの連続関数が充分に平滑であれば、同一の連続関数が異なる再標本化データ列から構築され得ることが仮定され得る。この仮定に基づき、
【外２】
は、次式の下、Ｉ_ｏ（ｘ，ｙ）と同等である。
【００８６】
【数２８】
【００８７】
【外３】
及びＩ_ｏは
【外４】
が平滑ではないときに同等ではないが、それにもかかわらず〔外２〕はＩ_ｏ（ｘ，ｙ）の近似として使用され得る。
【００８８】
関数〔外１〕及びｒ（^＊）は単一のフィルタ関数に結合させることができ、その理由はそれら両関数が線形であり、位相シフトに不変であるからである。それ故に図４７の線図によって表される実施例は、〔外１〕及びｒ（^＊）を組み合わせるオン−グリッド補間フィルタを用いる。このフィルタは〔外１〕及びｒ（^＊）の畳み込みによって誘導される。〔外１〕及びｒ（^＊）を結合又は組み合わせるそうしたフィルタのカーネル４９００の一例が図４９に示されている。フィルタ・カーネル４８００は、〔外１〕としての図１６乃至図１９のオフ−グリッド推定器の実施例に対して記載された４つの最も近い隣接ピクセル位置輝度値再標本化と、ｒ（^＊）としての畳み込み立方補間フィルタリングとの単純な平均を用いて誘導される。
【００８９】
図４８を参照すると、図４７におけるデータ・フロー線図４７００によって表される画像処理部の実施例で実行される算定プロセスを記載するフロー線図４８００が示されている。第１としてループ２５３が、（２．５，２．５）から（ｘサイズ−２．５，ｙサイズ−２．５）まで、図４７におけるピクセル位置発生器４７から受け取られる出力画像の各ピクセル位置（ｘ，ｙ）に対して繰り返され、ここでｘ及びｙはピクセル位置の座標であり、ｘサイズ及びｙサイズはｘ方向及びｙ方向における取込画像の寸法である。ループ２５３において、ステップ２５４及び２５５が実行される。ステップ２５４で、補間されたオン−グリッド輝度値Ｉが、受け取られたピクセル位置（ｘ，ｙ）に最も近い５×５の隣接ピクセル位置での取込画像Ｉｃの輝度値を、５×５のフィルタ・カーネルφで乗算することで算定される。ステップ２５５で、図４７における検索テーブル・メモリ３５に保存された検索テーブル・データが図４７におけるマッパー３３で算定されたオン−グリッド輝度値Ｉに適用されて、ピクセル位置（ｘ−２，ｙ−２）での出力画像Ｉ_ｏ（ｘ−２，ｙ−２）の輝度値を獲得する。ループ２５３が図４７におけるピクセル位置発生器４７から受け取られる各出力画像ピクセル位置に対して繰り返された後、フロー線図４８００によって表された算定プロセスは終了する。フロー線図４８００で表されたプロセスを用いて、ｘサイズ−４及びｙサイズ−４の寸法を具備する出力画像が獲得される。
【００９０】
本発明は、ライン画像を取り込む光検知素子から成る線形アレイを有する線形画像センサに適用され得る。ＣＣＤ線形画像センサを含むそうした線形画像センサは、２次元画像センサよりも、所与の方向に沿ったより多数の光検知素子によって利用可能である。従って、線形画像センサは、１シーンの線形画像センサによるスキャニングが実現可能であり、そのシーンの連続的に規則正しく離間された複数の線形領域から成る順次取り込まれたライン画像が鎖状につなげられるような用途において、より大きな解像度の２次元画像を提供するように使用され得る。線形画像センサがシーンをスキャンして、２次元画像用に鎖状に連結され得るライン画像を順次取り込む様々な方法の例が図５０に図示されている。図５０を参照すると、線形画像センサ２７６及びレンズ系２７７を有する結像システムが示されており、対象２７８を有するシーンの線形領域３１０のライン画像を線形画像センサの光検知素子（不図示）上に投影する。この結像システムは、同図における結像システムの移動を示す矢印によって示されるように、そのシーンに対して一定速度で移動（平行移動及び／或は回転）させられる。シーンのライン画像は、露出信号の規則正しいシーケンス（不図示）を移動中の線形画像センサ２７６に付与することによって、規則正しい連続的な間隔で取り込まれる。順次取り込まれた線形画像が鎖状に結合され得て、そのシーンの単一の高解像度２次元画像を形成する。
【００９１】
図５１へ移ると、線形画像センサ２７６及びレンズ系２７７を含む結合システムが示されている。この結像システムは、一定速度で当該結像システムを通過移動する対象２８０及び２８１を運ぶコンベヤーベルト２７９を含んでいるシーンに対して静止状態に保持されている。そのシーンの連続的な規則正しい離間線形領域３１１のライン画像は、露出信号（不図示）の規則正しいシーケンスを線形画像センサ２７６に付与することによって、規則正しい間隔で順次取り込まれる。順次取り込まれたライン画像は再び鎖状に結合され得て、対象２８０及び２８１を運ぶコンベヤーベルト２７９の１区分の２次元画像を形成する。
【００９２】
本発明に従えば、線形画像センサ２７６は空間的変動感度パターンを有する。図５２を参照すると、２つの異なる透明性を有するセル２８２及び２８３を有する図式的な線形マスク５２００が示されている。マスク５２００の各セルは線形画像センサの光検知素子の内の対応する１つの前方に配置させて、センサのその光検知素子が、マスク５２００によって規定された光検知素子から成る線形アレイの所定感度パターンに従った２つの感度レベルの対応する１つを有するように為している。
【００９３】
シーンからの入射光に応じて、線形画像センサの各光検知素子は、線形ピクセル位置アレイの規則正しく離間された多数のピクセル位置の内の対応する１つにおける取込画像輝度値を作り出し、それによって線形画像を取り込んでいる。線形画像センサによって取り込まれた連続ライン画像（複数）が鎖状に結合されると、複数の規則正しく離間されたピクセル行と、該ピクセル行に対して直交する複数の規則正しく離間されたピクセル列との各交差点に配置されたピクセル位置の２次元アレイが獲得され、各ピクセル位置は、鎖状結合されたライン画像の内の対応する１つにおける同一ピクセル位置での光検知素子で作り出された輝度値を有し、該輝度値は、図５３の鎖状結合された露出マスクによって図式的に規定された２次元感度パターンに従った光検知素子の２つの感度レベルの内の１つと対応している。理解して頂けるように、線形画像センサの光検知素子は３つ以上の感度レベルを有することができ、各光検知素子の感度レベルはマスク以外の手段によって設定され得る。
【００９４】
図３７に戻って参照すると、鎖状結合された２次元取込画像の各ピクセル位置での取込画像輝度値は取込画像メモリ２０に保存され得て、図５３によって図式的に表現された空間的変動感度パターンは感度パターン・メモリ３４に保存され得る。オフ−グリッド輝度値は図３７に示されたデータ・フロー線図に従って推定され得て、オフ−グリッド位置アレイは図５４に図式的に示された線形オフ−グリッド位置アレイの鎖状結合であり得て、そこでは各オフ−グリッド位置２８６がピクセル位置２８５の各隣接対の間の中間に配置されている。
【００９５】
また、図２４のデータ・フロー線図と、異なるオフ−グリッド位置アレイを考慮すべく適切な変更を具備した、図２５及び図３０のフロー線図３９００及び４０００によって記載された算定プロセスとは、取込画像メモリ２０における鎖状結合された２次元取込画像輝度値から、オフ−グリッド位置輝度値を推定すべく使用され得る。各オフ−グリッド位置での推定されたオフ−グリッド輝度値は図４４に従って出力画像のピクセル輝度値として直接的に使用され得るか、或は、図２８のデータ・フロー線図に従った推定オフ−グリッド輝度値のオン−グリッド再標本化と、異なるオフ−グリッド位置アレイを考慮すべく適切な変更を具備した図３０のフロー線図３０００によって記載された算定プロセスとは、出力画像の各ピクセル位置での再標本化されたオン−グリッド輝度値を誘導すべく使用され得、その再標本化オン−グリッド輝度値は出力画像メモリ２１に保存された出力画像のピクセル輝度値である。
【００９６】
図４５及び図４６を参照すると、取込画像メモリ２０に保存された鎖状結合取込ライン画像の各ピクセル位置での取込画像輝度値は、図４６のフロー線図４６００によって記載された算定プロセスを用いて、図４５のデータ・フロー線図４５００に従って処理され得て、出力画像メモリ２１に保存されるべく出力画像の各ピクセル位置での再標本化輝度値を誘導する。そうした処理を実行するため、データ・フロー線図４５００及び算定フロー線図４６００は変更されて、２つの感度レベルを有する光検知素子を具備する画像センサの使用と、異なるオフ−グリッド位置アレイの使用とを考慮する。
【００９７】
図４７及び図４８を参照すると、取込画像メモリ２０に保存された鎖状結合取込ライン画像の各ピクセル位置での取込画像輝度値は、図４８のデータ・フロー線図４７００で記載された算定プロセスを用いて、図４７のデータ・フロー線図４７００に従って処理され得て、出力画像メモリ２１に保存されるべき出力画像の各ピクセル位置での補償され補間された輝度値を誘導する。そうした処理を実行するため、データ・フロー線図４７００及びフロー線図４８００は変更されて、２つの感度レベルを有する光検知素子を具備する画像センサの使用を考慮する。２つの感度レベルを有する光検知素子の組合せ応答関数の逆関数を表す検索テーブル３５に保存されたデータに逆る変更を別として、これら変更もフロー線図４８００によって記載された算定プロセスで使用されるべき異なるフィルタ・カーネルφを生ずる。
【００９８】
鎖状結合された取込ライン画像を処理する代替として、各ライン画像は個別に処理され得て、オフ−グリッド位置での輝度値を推定することによって高ダイナミックレンジ・ライン画像を誘導し、それらオフ−グリッド位置は線形ピクセル位置アレイに対してピクセル位置の各隣接対の間に配置される。処理されたライン画像は次いで鎖状に結合されて、高ダイナミックレンジの２次元画像を獲得する。各ライン画像の個別処理は、２次元画像の処理と比べてより少ない算定強度であり、それ故にライン画像が取り込まれるとリアルタイムで処理可能である。図５４へ移ると、正方形によって表されたピクセル位置２８５の例示的な行と、円形で表された「オフ−グリッド」位置２８６とが示されており、各オフ−グリッド位置２８６がピクセル位置２８５の各隣接対の間の中間に配置されている。１つの模範的実施例に従えば、各オフ−グリッド位置２８６での輝度値は、オフ−グリッド位置の予め規定された近所内におけるピクセル位置２８５での取込画像輝度値の重みが付けられた平均を算定することで誘導され得る。線形画像センサが２つの異なる感度レベルの光検知素子を有する場合、ピクセル位置の連続的な隣接対の全てにおける取込画像輝度値が平均されて、それらピクセル位置の連続的な隣接対の間でのオフ−グリッド位置での推定輝度値を獲得する。このようにして、オフ−グリッド位置ｘ’での輝度値Ｂ（ｘ’）は次式の如くに表現され得る。
【００９９】
【数２９】
【０１００】
上式において、Ｗ_１及びＷ_２は２つの異なる感度レベルに割り当てられた重み付け係数である。結果としてのオフ−グリッド輝度値は高ダイナミックレンジの１次元画像を表す。算定されたオフ−グリッド輝度値が、それぞれ、光検知素子の組合せ応答関数の逆関数で補償される。この組合せ応答関数は次式の如くに表現される。
【０１０１】
【数３０】
【０１０２】
ここで、Ｐ_１（Ｅ）は２つの感度レベルの内の一方を有する線形画像センサにおける光検知素子のラジオメトリック応答関数であり、Ｐ_２（Ｅ）は２つの感度レベルの内の他方を有する線形画像センサにおける光検知素子のラジオメトリック応答関数であり、Ｗ_１及びＷ_２は２つの異なる感度レベルに割り当てられた重み付け係数である。２次元例の場合のように、マッパー及び検索テーブル・メモリを用いて、光検知素子の組合せ応答関数の逆関数による推定オフ−グリッド輝度値の補償は、そうしたオフ−グリッド輝度値をシーン放射輝度に線形に関連されたものに再マッピングを為す。
【０１０３】
図５５を参照すると、図５４におけるオフ−グリッド位置２８６での推定輝度値を誘導するための算定プロセスを記載するフロー線図５５００が示されている。このフロー線図５５００で記載された算定プロセスは、図２４のデータ・フロー線図２４００で表されるオフ−グリッド推定器によって実行される。図２４を参照すると、ピクセル位置発生器４３は、図５４に示された線形ピクセル位置アレイにおけるピクセル位置２８５の位置を提供する。感度パターン・メモリ４０は、図５２における例示的マスク５２００によって規定されたように、各ピクセル位置と対応する感度レベルを保存する。検索テーブル・メモリ３９は、２つの感度レベルを有する光検知素子の各逆応答関数データを表すデータを保存する。オフ−グリッド位置発生器４６は、図５４に示されたオフ−グリッド位置アレイにおけるオフ−グリッド位置２８６を提供する。
【０１０４】
図５５に戻ると先ずループ２８７が、図２４におけるピクセル位置発生器４３から受け取られる、０．５からｘサイズ−０．５までの線形ピクセル位置アレイにおける各ピクセル位置ｘに対して繰り返されるが、ここでｘサイズ−０．５はライン画像の長さである。ループ２８７において、ステップ２８８及び２８９が実行される。ステップ２８８で、第ｉ番目の感度レベルに対する検索テーブル・データＬＵＴ_ｉが受け取られたピクセル位置ｘと対応する感度レベルｉを参照することで選択される。受け取られたピクセル位置ｘと対応する感度レベルは図２４における感度パターン・メモリ４０に保存された感度パターン・データＳ（ｘ）から獲得される。ステップ２８９で、図２４における検索テーブル・メモリ３９に保存された検索テーブル・データＬＵＴ_ｉが図２４におけるマッパー４２によって、図２４における取込画像メモリ２０から受け取られたピクセル位置ｘでの取込画像輝度値Ｉ_ｃ（ｘ）に適用される。検索テーブル・データＬＵＴ_ｉから誘導された感度レベルｉを有する光検知素子の応答関数の逆関数によって補償された、受け取られたピクセル位置ｘでの輝度値は、Ｉ_ｍ（ｘ）によって指定される。ループ２８７が図２４におけるピクセル位置発生器４３から受け取られる各ピクセル位置に対して繰り返された後、ループ２９０が図２４におけるオフ−グリッド位置発生器４５から受け取られる２からｘサイズ−２までの各オフ−グリッド位置ｘ’に対して繰り返される。ループ２９０において、ステップ２９１、ループ２９２、並びに、ステップ２９３が実行される。ステップ２９１で値ｐ及び値ｑが、それぞれ、０に初期化される。ステップ２９１の後にループ２９２が、受け取られたオフ−グリッド位置ｘ’に最も近い隣接である所定数のピクセル位置の内の１つである各ピクセル位置ｋに対して繰り返される。図５５のフロー線図５５００によって記載された算定プロセスにおいて、所定数の最も近い隣接ピクセル位置は４つであり、ｋは（ｘ’−１．５）から（ｘ’＋１．５）までの値を有する。ループ２９２において、ステップ２９４及び２９５が実行される。ステップ２９４で、ピクセル位置ｋでの補償された取込画像輝度値Ｉ_ｍ（ｋ）は低閾値θ_Ｌと高閾値θ_Ｈと比較される。もしＩ_ｍ（ｋ）がθ_Ｌよりも大きく且つθ_Ｈよりも小さければ、ステップ２９５が実行される。さもなければ、ステップ２９２は次の反復へ進む。ステップ２９５で、Ｉ_ｍ（ｋ）は位置（ｋ−ｘ’）での４×１ガウシアン補間カーネルＧ（ｋ−ｘ’）の値で乗算され、その積が量ｐに合算される。加えて、ガウシアン補間カーネルＧ（ｋ−ｘ’）の値が量ｑに合算される。ループ２９２がｋの各値に対して繰り返された後、ステップ２９３が実行される。ステップ２９３で、受け取られたオフ−グリッド位置ｘ’でのオフ−グリッド輝度値Ｂ（ｘ’）が値ｐを値ｑで割ることによって算定され、ループ２９０が図２４におけるオフ−グリッド位置発生器４５から受け取られる次のオフ−グリッド位置へ進む。ループ２９０がオフ−グリッド位置アレイにおける各オフ−グリッド位置ｘ’に対して繰り返された後、フロー線図５５００で記載された算定プロセスは終了する。閾値θ_Ｌ及びθ_Ｈは所定の定数値であり、一般的には、光検知素子の応答関数の逆関数によって補償されたピクセル位置ｋと対応している感度レベルを有する光検知素子のノイズ・レベルを表すと共に、同一感度レベルを有する光検知素子の飽和或は略飽和値を表す。フロー線図５５００で記載された算定プロセスに使用され得る４×１ガウシアン・カーネル５６００の一例は図５５に示され、これには、ガウシアン・カーネル５６００の中心が補間に含まれる４×１ピクセル位置アレイの中心であることが仮定されている。
【０１０５】
オフ−グリッド位置での推定オフ−グリッド輝度値各々は出力画像のピクセル輝度値として直に使用され得ると共に、図２４における出力画像メモリ３６に保存され得る。代替的には、オフ−グリッド輝度値は様々な補間技法の内の１つを用いて再標本化され得て、次いで出力画像のピクセル位置輝度値として出力画像メモリに保存されることになる、再標本化されたピクセル位置輝度値を獲得する。
【０１０６】
図２８に戻って参照すると、ピクセル位置での各再標本化輝度値を誘導すべく推定されたオフ−グリッド輝度値の再標本化は、２８００のデータ・フロー線図に従って為され得る。補間器３７は、ピクセル位置発生器３８から、図５４に図示された線形ピクセル位置アレイにおけるピクセル位置を受け取る。受け取られた各ピクセル位置に対して、補間器３７は、オフ−グリッド輝度値メモリ３６に保存された推定オフ−グリッド輝度値から、受け取られたピクセル位置での補間された輝度値を誘導し、次いでそれは出力画像メモリ２１へ提供される。図５７へ移ると、図２８における補間器３７によって実行され得る算定プロセスを記載するフロー線図５７００が示されている。この算定プロセスは、ステップ２９８を含むループ２９７を有する。ループ２９７は、図２８におけるピクセル位置発生器３８から受け取られる、３．５からｘサイズ−３．５までの出力画像における各ピクセル位置ｘに対して繰り返されるが、ここでｘサイズは取り込まれたライン画像の長さである。ステップ２９８で出力画像Ｉ_ｏ（ｘ−３）の輝度値は、受け取られたピクセル位置ｘに最も近い４つの隣接オフ−グリッド位置での輝度値と、４×１立方補間カーネルΨとの積を算定することによって誘導される。ピクセル位置（ｘ−３）での算定されたオン−グリッド輝度値Ｉ_ｏ（ｘ−３）は、図２８の出力画像メモリ２１における出力画像の対応するピクセル位置での輝度値として保存される。ループ２９７が図２８におけるピクセル位置発生器３８から受け取られた３．５からｘサイズ−３．５までの各ピクセル位置に対して繰り返された後、フロー線図５７００によって記載された算定プロセスは終了する。フロー線図５７００で記載された算定プロセスに使用され得る立方補間カーネルΨ（ｋ）５８００の一例は図５８に示されている。
【０１０７】
ライン出力画像のオン−グリッド輝度値を誘導すべく、取込ライン画像を処理する本発明の別の実施例は図４７のデータ・フロー線図４７００で表されている。図４７を参照すると、図５４に図示された線形ピクセル位置アレイにおける各ピクセル位置での取込画像輝度値は、取込画像メモリ２０に保存されている。オン−グリッド補間フィルタ４６はピクセル位置発生器４７から線形ピクセル位置アレイにおけるピクセル位置を受け取る。ピクセル位置発生器４７から受け取られる各ピクセル位置に対して、フィルタ４６はとり込み画像メモリ２０内の取込画像輝度値を補間して、受け取られたピクセル位置における補間されたオン−グリッド輝度値を誘導する。補間オン−グリッド輝度値は、次いで、画像センサ（不図示）における光検知素子の組合せ応答関数の逆関数によって補償され、その補償された補間オン−グリッド輝度値は、ピクセル位置発生器４７から受け取られたピクセル位置での出力ライン画像輝度値として、出力画像メモリ２１に保存される。
【０１０８】
図５９を参照すると、図１のデータ・フロー線図の画像処理部２の更なる実施例を表すデータ・フロー線図５９００が示されている。取り込まれたライン画像を処理すべく使用される際、図５９の画像処理部は、０．５からｘサイズ−０．５までの、図５４に図示された線形ピクセル位置アレイにおけるピクセル位置を順次発生する第１ピクセル位置発生器４３を含み、ここでｘサイズはライン画像の長さである。図５９の画像処理部は、線形ピクセル位置アレイにおける各ピクセル位置と対応する感度レベルを保存する感度パターン・メモリ４０、マッパー４２、感度レベルの内の異なるものを有する光検知素子の応答関数の逆関数を表している個別検索テーブル・データを保存する関連検索テーブル・メモリ３９、ピクセル位置と対応している感度レベルを有する光検知素子の応答関数の逆関数による補償後の各ピクセル位置での取込画像輝度値を保存するマッピングされたピクセル位置輝度値メモリ４１、２．５からｘサイズ−２．５までのピクセル位置アレイにおけるピクセル位置を発生する第２ピクセル位置発生器４７、並びに、第２ピクセル位置発生器４３からピクセル位置を受け取るオン−グリッド補間フィルタ４６であり、マッピングされたピクセル位置輝度値メモリ４１における各ピクセル位置での補償された取込画像輝度値を補間して、第２ピクセル位置発生器４７から受け取られる各ピクセル位置に対するオン−グリッド補間輝度値を誘導するオン−グリッド補間フィルタ４６をも含む。線形ピクセル位置アレイにおける各ピクセル位置でのオン−グリッド補間輝度値は、出力ライン画像のピクセル輝度値として、出力画像メモリ２１に保存される。留意されることは、図５９のデータ・フロー線図５９００によって表される画像処理部の実施例が、２次元ピクセル位置アレイ、２威厳感度パターン、並びに、２次元オン−グリッド補間フィルタを考慮した適切な変更を伴って、２次元取込画像を処理すべく使用され得ることである。
【０１０９】
図６０へ移れば、取込ライン画像を処理するため、図５９のデータ・フロー線図５９００によって表される画像処理部の実施例によって実行され得る算定プロセスを記載するフロー線図６０００が示されている。第１としてループ２９９は、０．５からｘサイズ−０．５まで、図５９における第１ピクセル位置発生器４３から受け取られる各ピクセル位置に対して繰り返され、ここでｘサイズは取込ライン画像の長さである。ループ２９９において、ステップ３０１及び３０２が実行される。ステップ３０１で、図５９における検索テーブル・メモリ３９に保存された第ｉ番目の感度レベルに対する検索テーブル・データＬＵＴ_ｉは、図５９における第１ピクセル位置発生器４３から受け取られるピクセル位置ｘと対応している感度レベルに対して、図５９における感度パターン・メモリ４０に保存された感度パターン・データＳ（ｘ）を参照することで選択される。ステップ３０２で、検索テーブル・データＬＵＴ_ｉは図５９におけるマッパー４２によって受け取られたピクセル位置ｘでの取込画像輝度値Ｉ_ｃ（ｘ）に適用され、受け取られたピクセル位置ｘでの結果として補償された取込画像輝度値はそのピクセル位置でのマッピングされた輝度値Ｉ_ｍ（ｘ）として指定される。ループ２９９が第１ピクセル位置発生器４３から受け取られるピクセル位置アレイにおけるピクセル位置の全てに対して繰り返された後、算定プロセスはループ３０３へ進む。ループ３０３は２．５からｘサイズ−２．５までの各ピクセル位置に対して繰り返される。ループ３０３において、ステップ３０４、ループ３０５、並びに、ステップ３０６が実行される。ステップ３０４で、量ｐ及びｑがそれぞれ０にセットされる。ステップ３０４後、ｋ＝ｘ−２からｋ＝ｘ＋２まで、ループ３０５の各反復でピクセル位置ｋを増分することで、第２ピクセル位置発生器４７から受け取られるピクセル位置ｘに最も近い隣接である５個のピクセル位置ｋに対して、ループ３０５が繰り返される。ループ３０５において、ステップ３０７，３０８，３０９が実行される。ステップ３０５で、ピクセル位置ｋでのマッピングされた輝度値Ｉ_ｍ（ｋ）は低閾値θ_Ｌと高閾値θ_Ｈと比較される。もしＩ_ｍ（ｋ）がθ_Ｌよりも大きく且つθ_Ｈよりも小さければ、ステップ３０８が実行される。さもなければ、ループ３０５はｋの次の値へ進む。ステップ３０８で、Ｉ_ｍ（ｋ）は位置（ｋ−ｘ）での線形ガウシアン補間カーネルＧ（ｋ−ｘ）の値で乗算され、その積が量ｐに合算される。加えて、位置（ｋ−ｘ）でのガウシアン補間カーネルＧ（ｋ−ｘ）の値が量ｑに合算される。ループ３０５がｋ＝ｘ−２からｋ＝ｘ＋２までのｋの各値に対して繰り返された後、ステップ３０６が実行される。ステップ３０６で、第２ピクセル位置発生器４７から受け取られたピクセル位置ｘでの出力画像輝度値Ｉ_ｏ（ｘ）が値ｐを値ｑで割ることによって算定される。次いでループ３０３は第２ピクセル位置発生器４７から受け取られる次のピクセル位置へ進む。ループ３０３が２＝２．５からｘ＝ｘサイズ−２．５までの各ピクセル位置に対して繰り返された後、フロー線図６０００で記載された算定プロセスは終了する。閾値θ_Ｌ及びθ_Ｈは所定の定数値であり、一般的には、光検知素子の応答関数の逆関数によって補償されたピクセル位置ｋと対応している感度レベルを有する光検知素子のノイズ・レベルを表すと共に、同一感度レベルを有する光検知素子の飽和或は略飽和値を表す。フロー線図６０００で記載された算定プロセスに使用され得る５×１ガウシアン・カーネルＧ（ｋ）の一例は図６１に示されている。
【０１１０】
以上、本発明はその模範的実施例を参照して詳細に説明されたが、当業者であれば理解して頂けるように、様々な変更及び改変が本発明の精神及び範囲から逸脱すること無しに為され得る。例えば、画像センサは電荷結合素子である必要性はなく、ＣＭＯＳ画像センサ等の光検知素子から成るアレイを有する任意の画像センサであることが可能である。従って、本発明の開示された実施例は単なる例示として考えられ、本発明はその範囲に関して特許請求の範囲で指定されたもののみに限定される。
【図面の簡単な説明】
【図１】 図１は、本発明に係る高ダイナミックレンジ画像を獲得するシステムを表すデータ・フロー線図である。
【図２】 図２は、本発明の模範的な実施例に係る、図１のデータ・フロー線図における画像処理部を表すデータ・フロー線図である。
【図３】 図３は、本発明に係る模範的なシステムのハードウェア構成要素を示すブロック線図である。
【図４】 図４は、４つのセルから成る群の空間的繰り返しを有する例示的なマスクを示し、各群の各セルが共通した所定位置順序で異なる透明性を有している。
【図５】 図５は、図４のマスクにおける所定位置順序での異なる透明性を有する４つのセルから成る群である。
【図６】 図６は、本発明に係るマスクされた画像センサを用いて、明るい対象と暗い対象とを有するシーンの取込を図示する。
【図７】 図７は、本発明に係るマスクされた画像センサによるシーンの取込画像の例示的な表示である。
【図８】 図８は、光検知素子と典型的な電荷結合素子画像センサの関連構造との断面の概略的な表示である。
【図９】 図９は、２つの隣接光検知素子と電荷結合素子画像センサの関連構造との断面の概略的表示であり、光検知素子に異なる感度レベルを提供する技術を図示している。
【図１０】 図１０は、２つの隣接光検知素子と電荷結合素子画像センサの関連構造との断面の概略的表示であり、光検知素子に異なる感度レベルを提供する別の技術を図示している。
【図１１】 図１１は、２つの隣接光検知素子と電荷結合素子画像センサの関連構造との断面の概略的表示であり、光検知素子に異なる感度レベルを提供する更なる別の技術を図示している。
【図１２】 図１２は、光検知素子に異なる感度レベルを提供するために、それぞれの光検知素子に対してリセット・トリガー・パルス及び転送トリガー・パルスを付与する端子を示している行間挿入構造を有する簡略化された電荷結合素子画像センサの概略表示である。
【図１３】 図１３は、典型的な電荷結合素子画像センサの光検知素子、その関連構造、並びに、対応する垂直シフトレジスタの断面の概略表示であり、リセット・トリガー信号の付与による保存光発生電荷の降下と、転送トリガー信号の付与による保存光発生電荷の各シフトレジスタ段への転送とを図示している。
【図１４】 図１４は、４つのフォトダイオードに対する露出パルス、リセット・トリガー・パルス、転送トリガー・パルスの波形と、図１３に示された簡素化された電荷結合素子画像センサに対する４つのフォトダイオード各々に保存された電荷の大きさとを示すタイミング線図を示す。
【図１５】 図１５は、複数の規則正しく離間されたピクセル行と、該ピクセル行と直交して複数の規則正しく離間されたピクセル列との各交差点に配置されたピクセル位置、並びに、複数の規則正しく離間された中間行と複数の規則正しく離間された中間列との各交差点に配置されたオフ−グリッド位置を図式的に示す線図である。
【図１６】 図１６は、本発明の別の模範的な実施例に従った、図２の線図におけるオフ−グリッド推定器のデータ・フロー線図である。
【図１７】 図１７は、図１６のオフ−グリッド推定器の実施例によって実行され得る算定プロセスを記載するフロー線図である。
【図１８】 図１８は、図１７のフロー線図によって記載される算定プロセスに使用されるＲｅｓａｍｐｌｅ_ｉ（Ｉ_ｃ，Ｓ，ｘ，ｙ）を概算する算定プロセスを記載するフロー線図である。
【図１９】 図１９は、図１７のフロー線図によって記載される算定プロセスに使用されるＭａｐ（ＬＵＴ，ｓ）を概算する算定プロセスを記載するフロー線図である。
【図２０】 図２０は、４つの異なる感度レベルを有する４つの光検知素子のラジオメトリック応答関数の例を図式的に示す。
【図２１】 図２１は、図２０に示された４つの異なる感度レベルを有する光検知素子の模範的なラジオメトリック応答関数の重み付けされた合計を算定することで誘導された、光検知素子の模範的な組合せラジオメトリック応答関数を図式的に示す。
【図２２】 図２２は、図２１の組み合わされたラジオメトリック応答関数の逆関数から誘導された検索テーブル・データを図式的に示す。
【図２３】 図２３は、ガンマ特性が含まれた組合せラジオメトリック応答関数の逆関数に対する検索テーブル・データを図式的に示す。
【図２４】 図２４は、本発明の更なる別の模範的な実施例に従った、図２の線図におけるオフ−グリッド推定器のデータ・フロー線図である。
【図２５】 図２５は、図２４のデータ・フロー線図によって表されるオフ−グリッド推定器の実施例によって実行され得る算定プロセスを記載するフロー線図である。
【図２６】 図２６は、図２４のデータ・フロー線図によって表されるオフ−グリッド推定器の実施例によって実行され得る代替的な算定プロセスを記載するフロー線図である。
【図２７】 図２７は、４×４立方補間フィルタ・カーネルの一例を示す。
【図２８】 図２８は、本発明の更なる別の模範的な実施例に従った、図２のデータ・フロー線図のオン−グリッド・リサンプラーのデータ・フロー線図である。
【図２９】 図２９は、４×４立方補間フィルタを用いるオン−グリッド・リサンプラーを説明するピクセル位置及びオフ−グリッド位置の線図である。
【図３０】 図３０は、図２８のデータ・フロー線図によって表されるオン−グリッド・リサンプラーの実施例によって実行され得る算定プロセスを記載するフロー線図である。
【図３１】 図３１は、双立方Ｂ−スプライン補間フィルタ・カーネルの一例を示す。
【図３２】 図３２は、双線形Ｂ−スプライン補間フィルタ・カーネルの一例を示す。
【図３３】 図３３は、６×６の２次元ガウシアン補間フィルタ・カーネルの一例を示す。
【図３４】 図３４は、単純なシフト・フィルタ・カーネルの一例を示す。
【図３５】 図３５は、画像センサに２つの感度レベルを具備する空間的変動感度パターンを提供する、２つの異なる透明性を伴うセルを有する例示的なマスクを示す。
【図３６】 図３６は、複数の規則正しく離間されたピクセル行と該ピクセル行と直交して複数の規則正しく離間されたピクセル列との各交差点に配置されたピクセル位置、ピクセル行と複数の規則正しく離間された中間列との各交差点に配置されたオフ−グリッド位置、並びに、ピクセル列と複数の規則正しく離間された中間行との各交差点に配置されたオフ−グリッド位置を図式的に示す線図である。
【図３７】 図３７は、本発明の更なる模範的な実施例に従った、２つの感度レベルを有する画像センサに対する、図２のデータ・フロー線図のオフ−グリッド推定器のデータ・フロー線図である。
【図３８】 図３８は、図３７のフロー線図によって表される２つの感度レベルに対するオフ−グリッド推定器の実施例によって実行され得る算定プロセスを記載するフロー線図である。
【図３９】 図３９は、本発明に従って、２つの感度レベル・オフ−グリッド推定器の模範的な実施例に立方類似逆推定器を提供するために、図２４のデータ・フロー線図によって表される模範的な実施例によって実施され得る算定プロセスを記載するフロー線図である。
【図４０】 図４０は、図３９のフロー線図に記載された算定プロセスに使用される関数であるＰｓｅｕｄｏｉｎｖｅｒｓｅ（Ｉ_ｍ，ｘ’，ｙ’）を概算する算定プロセスを記載するフロー線図である。
【図４１】 図４１は、本発明に従った２つの感度レベルに対するオン−グリッド・リサンプラーの模範的な実施例に対する、４５度回転立方補間フィルタ・カーネルを用いて、オン−グリッド再標本化を説明するピクセル位置及びオフ−グリッド位置の陰影付け領域を示す線図である。
【図４２】 図４２は、２つの感度レベルに対するオン−グリッド・リサンプラーの模範的な実施例に対する、図４０のフロー線図によって記載される算定プロセスに使用され得る４５度回転立方補間フィルタ・カーネルの一例を示す。
【図４３】 図４３は、本発明に従った２つの感度レベルに対するオン−グリッド・リサンプラーの模範的な実施例を獲得するために、図２８のデータ・フロー線図によって表される算定プロセスを記載するフロー線図である。
【図４４】 図４４は、図１のデータ・フロー線図の画像処理部の更なる模範的な実施例のデータ・フロー線図である。
【図４５】 図４５は、４つの感度レベルに対する、図１のデータ・フロー線図の画像処理部の更なる模範的な実施例の詳細なデータ・フロー線図である。
【図４６】 図４６は、図４５のデータ・フロー線図によって表される画像処理部の模範的な実施例によって実行され得る算定プロセスを記載するフロー線図である。
【図４７】 図４７は、図１のデータ・フロー線図の画像処理部の更に別の模範的な実施例のデータ・フロー線図である。
【図４８】 図４８は、図４７のフロー線図によって表される画像処理部の模範的な実施例によって実行され得る算定プロセスを記載するフロー線図である。
【図４９】 図４９は、図４８のフロー線図によって記載された算定プロセスに使用され得る５×５フィルタ・カーネルの一例を示す。
【図５０】 図５０は、線形画像センサを有する結像システムによるシーンの連続的なライン画像の取込を図示しており、該結像システムはそのシーンに対して一定速度で移動することによってそのシーンをスキャンし、前記画像センサは一定の時間間隔でそのシーンの逐次露出を採用している。
【図５１】 図５１は、静止状態の結像システムを一定速度で通過するように移動するコンベヤベルト上の対象の連続的なライン画像の取込を図示しており、該システムは一定の時間間隔でコンベヤベルト及び対象の逐次露出を採用する線形画像センサを有する。
【図５２】 図５２は、線形画像センサに２つの感度レベルを具備する空間的変動感度パターンを提供するために、２つの異なる透明性を具備するセルを有する例示的な露出マスクを示す。
【図５３】 図５３は、図５２の露出マスクによって規定される１次元空間的変動感度パターンを有する線形画像センサで取り込まれた連続的なライン画像を鎖状に結合することで形成される２次元画像の２次元空間的変動感度パターンを表す、図５２の露出マスクの鎖状結合を例示的に示す。
【図５４】 図５４は、ピクセル（オン−グリッド）位置及びオフ−グリッド位置の線形アレイを例示的に示す線図である。
【図５５】 図５５は、２つの感度レベルの光検知素子を有する線形画像センサによって取り込まれたライン画像のために、図２４のフロー線図によって表されるオフ−グリッド推定器の実施例によって実行され得る算定プロセスを記載するフロー線図である。
【図５６】 図５６は、図５５のフロー線図によって記載される算定プロセスに使用され得る４×１の１次元ガウシアン補間カーネルの一例を示す。
【図５７】 図５７は、１次元出力画像のオン−グリッド輝度値を誘導するために、図２８のデータ・フロー線図によって表されるオン−グリッド・リサンプラーの実施例によって実行され得る算定プロセスを記載するフロー線図である。
【図５８】 図５８は、図５７のフロー線図によって記載される算定プロセスに使用され得る４×１の１次元の立方補間カーネルの一例を示す。
【図５９】 図５９は、図１のデータ・フロー線図の画像処理部の更なる別の模範的な実施例を表すデータ・フロー線図である。
【図６０】 図６０は、線形出力画像のオン−グリッド輝度値を誘導すべく、図５９のデータ・フロー線図によって表される画像処理部の実施例によって実行され得る算定プロセスを記載するフロー線図である。
【図６１】 図６１は、図６０のフロー線図によって記載される算定プロセスに使用され得る５×１のオン−グリッド補間フィルタ・カーネルの一例を示す。

Claims (172)

1. １シーンの画像を取り込むために該シーンからの入射光で露出された比較的低いダイナミックレンジ画像センサを用いて、該シーンの比較的高いダイナミックレンジの画像を獲得するために、前記画像センサがアレイ状となった多数の光検知素子を有し、それら光検知素子の各々が、当該光検知素子アレイに対する所定感度パターンに従って入射光に対する複数の感度レベルの内の特定の１つを有すると共に、応答関数を有しており、前記光検知素子アレイの所定感度パターンが、多数の異なる所定感度レベルを有すると共に、前記所定感度パターンに対応する最も近い隣接ピクセル位置からなる群が繰り返されてピクセル位置アレイが構成され、各群における前記多数のピクセル位置の各々が共通した所定位置順序の前記多数の所定感度レベルの内の１つと対応しており、各光検知素子が前記シーンからの入射光に応答して、ピクセル位置アレイにおける前記多数のピクセル位置の内の対応する１つで取込画像輝度値を作り出すようにする方法であって、
   （ａ）前記ピクセル位置アレイのピクセル位置での各取込画像輝度値から、前記多数のオフ−グリッド位置での各オフ−グリッド輝度値を推定する段階であり、前記オフ−グリッド位置が前記ピクセル位置アレイにおける各合間に配置されていると共に規則正しいオフ−グリッド位置アレイを形成していることから成る段階と、
   （ｂ）前記推定されたオフ−グリッド輝度値から前記出力画像のピクセル輝度値を導出するにあたり、前記推定されたオフ−グリッド値を再標本化して、前記ピクセル位置アレイにおける各ピクセル位置での再標本化オン−グリッド値を導出し、前記ピクセル位置アレイにおける各ピクセル位置での再標本化オン−グリッド値から前記出力画像の前記ピクセル輝度値を導出する段階と、
   を含む方法。
2. 前記画像センサの光検知素子から成る前記アレイが線画像を取り込む線形アレイであり、前記ピクセル位置アレイが、線形取込画像輝度値アレイを規定するように、ピクセル行状となってそれぞれが規則正しく離間されたピクセル位置で前記多数のピクセル位置を有する線形アレイである、請求項１に記載の方法。
3. 前記画像センサの光検知素子から成るアレイと前記ピクセル位置アレイとが、複数の規則正しく離間されたピクセル行と複数の規則正しく離間されたピクセル列との各交差点でのピクセル位置を有する２次元アレイであり、前記ピクセル行が前記ピクセル列と直交しており、前記画像センサの光検知素子から成る前記線形アレイが多数の露出で前記シーンの連続する規則正しく離間された線形領域に対して順次露出され、その露出各々が各線形取込画像輝度値アレイを作り出し、前記多数の露出によって作り出された各線形取込画像輝度アレイが鎖状に結合されて、前記ピクセル位置アレイにおけるピクセル位置での各取込画像輝度値を有する２次元取込画像輝度値アレイを形成する、請求項１に記載の方法。
4. 前記画像センサが複数の光検知素子から成る２次元アレイを有し、前記ピクセル位置アレイが、複数の規則正しく離間されたピクセル行と、複数の規則正しく離間されたピクセル列の各交差点での複数のピクセル位置を有する２次元アレイであり、前記ピクセル行が前記ピクセル列と直交している、請求項１に記載の方法。
5. 前記オフ−グリッド・アレイの前記オフ−グリッド位置が、複数の規則正しく離間された中間行と、複数の規則正しく離間された中間列の各交差点に配置されており、前記中間行の各々が前記ピクセル行と平行すると共に該ピクセル行の各隣接対間に延在しており、前記中間列の各々が前記ピクセル列と平行すると共に該ピクセル列の各隣接対間に延在している、請求項４に記載の方法。
6. 前記オフ−グリッド・アレイの前記オフ−グリッド位置が、複数の規則正しく離間された中間行と前記ピクセル列との各交差点と、複数の規則正しく離間された中間列と前記ピクセル行との各交差点とに配置されており、前記中間行の各々が前記ピクセル行と平行していると共に、前記ピクセル行の各隣接対間に延在しており、前記中間列の各々が前記ピクセル列と平行していると共に、前記ピクセル列の各隣接対間に延在している、請求項４に記載の方法。
7. 前記オフ−グリッド位置アレイのオフ−グリッド位置が複数の規則正しく離間された中間列及びピクセル行の各交差点に配置されており、前記中間列の各々が前記ピクセル列と平行すると共に前記ピクセル列の各隣接対間に延在している、請求項３に記載の方法。
8. 前記オフ−グリッド位置アレイの前記オフ−グリッド位置が前記線形ピクセル位置アレイのピクセル位置の各隣接対間に配置されている、請求項２に記載の方法。
9. 前記推定オフ−グリッド輝度値から前記出力画像を導出する段階が、前記出力画像の前記ピクセル輝度値として前記オフ−グリッド輝度値を直接的に用いることを含む、請求項１に記載の方法。
10. 前記推定オフ−グリッド輝度値から前記出力画像のピクセル輝度値を導出するにあたり、前記ピクセル位置アレイにおける前記ピクセル位置での各再標本化オン−グリッド値を導出すべく、前記推定オフ−グリッド値を再標本化し、前記ピクセル位置アレイにおける前記ピクセル位置での前記各再標本化オン−グリッド値を前記出力画像の前記ピクセル輝度値とする、請求項１に記載の方法。
11. 前記光検知素子アレイの所定感度パターンが、４つの異なる所定感度レベルを有すると共に、４つの最も近い隣接ピクセル位置の反復群を有するピクセル位置アレイと対応しており、各群における前記４つのピクセル位置の各々が共通した所定位置順序の前記４つの所定感度レベルの内の相互に異なるものと対応している、請求項５に記載の方法。
12. 前記光素子アレイの前記所定感度パターンが第１及び第２の所定感度レベルを有しており、前記ピクセル行各々における隣接ピクセル位置と前記ピクセル列各々における隣接ピクセル位置とが、前記第１及び第２所定感度レベルの内の相互に異なるものと対応している、請求項６に記載の方法。
13. 前記光素子アレイの前記所定感度パターンが前記第１及び第２所定感度レベルを有し、前記ピクセル行各々における隣接ピクセル位置が前記所定第１及び第２感度レベルの内の相互に異なるものと対応し、前記ピクセル列各々における隣接ピクセル位置が前記所定第１及び第２感度レベルの内の同一レベルと対応している、請求項７に記載の方法。
14. 前記ピクセル位置アレイのピクセル位置での各取込画像輝度値から前記オフ−グリッド位置アレイにおける前記オフ−グリッド位置での各オフ−グリッド値を推定する段階が、
    （１）前記感度レベルの内の相互に異なるものと対応するピクセル位置での取込画像輝度値だけを用いて、前記オフ−グリッド位置各々での前記感度レベルの内の相互に異なるものに対する感度レベル・オフ−グリッド輝度値を推定する段階と、
    （２）前記オフ−グリッド位置各々での前記感度レベルの内の相互に異なるそれぞれに対して推定された前記感度レベル・オフ−グリッド輝度値を組み合わせて、前記オフ−グリッド位置各々での各推定オフ−グリッド輝度値を導出する段階とを含む、請求項１に記載の方法。
15. 前記オフ−グリッド位置各々での前記感度レベルの内の異なるものに対して輝度値の前記感度レベルを組み合わせる段階が、前記オフ−グリッド位置各々での前記感度レベルの内の異なるそれぞれに対して推定された前記感度レベル・オフ−グリッド値を合算して、前記オフ−グリッド位置各々での前記各推定オフ−グリッド輝度値を導出する段階を含む、請求項１４に記載の方法。
16. 前記推定オフ−グリッド輝度値から前記出力画像のピクセル輝度値を導出する段階が、前記推定オフ−グリッド輝度値を補間して前記ピクセル位置アレイの前記ピクセル位置での各補間オフ−グリッド値を導出する段階と、前記光検知素子の組合せ応答関数の逆関数によって前記補間オフ−グリッド輝度値の各々を補償して、前記出力画像の前記ピクセル輝度値を獲得する段階とを含み、前記組合せ応答関数が前記感度レベルの内の相互に異なるものを有する光検知素子の重み付け応答関数の合計であり、そうした重み付け応答関数の各々が前記感度レベルのそれぞれに対する所定重み係数によって乗算された前記感度レベルのそれぞれを有する光検知素子の応答関数である、請求項１５に記載の方法。
17. 前記光検知素子の前記組合せ応答関数の逆関数によって前記補間オン−グリッド輝度値の各々を補償する段階が、前記補間オン−グリッド輝度値各々から、前記光検知素子の前記組合せ応答関数の逆関数を表す検索テーブル・データを保存する検索テーブル・メモリに対する各指標を導出する段階と、前記検索テーブル・メモリから、各指標と対応する補償された補間オン−グリッド輝度値を検索する段階と、前記出力画像の前記ピクセル輝度値として前記補償された補間オン−グリッド輝度値を提供する段階を含む、請求項１６に記載の方法。
18. 前記オフ−グリッド位置各々での前記感度レベルの内の相互に異なるものに対する前記感度レベル・オン−グリッド輝度値を組合せる段階が、
    （１）前記オフ−グリッド位置各々での前記感度レベルの内の相互に異なるものに対する前記感度レベル・オフ−グリッド輝度値を、前記感度レベルの内の相互に異なるものと対応する各所定重み付け係数と乗算して、前記オフ−グリッド位置各々での前記感度レベルの内の相互に異なるものに対する重み付け感度レベル・オフ−グリッド輝度値を導出する段階と、
    （２）前記オフ−グリッド位置各々での前記感度レベルの内の相互に異なるものに対する前記重み付け感度レベル・オフ−グリッド輝度値を合算して、前記オフ−グリッド位置各々での前記各推定オフ−グリッド輝度値を導出する段階とを含む、請求項１４に記載の方法。
19. 前記推定オフ−グリッド輝度値から前記出力画像の前記ピクセル輝度値を導出する段階が、前記推定オフ−グリッド輝度値を補間して、前記ピクセルアレイの前記ピクセル位置での各補間オン−グリッド輝度値を導出する段階と、前記光検知素子の組合せ応答関数の逆関数によって前記補間オン−グリッド輝度値の各々を補償して、前記出力画像の前記ピクセル輝度値を導出する段階と、を含み、前記組合せ応答関数が前記感度レベルの内の相互に異なるものを有する前記光検知素子の重み付け応答関数の合計であり、前記重み付け応答関数の各々が前記感度レベルのそれぞれに対する所定重み付け係数によって乗算された前記感度レベルのそれぞれを有する光検知素子の応答関数である、請求項１８に記載の方法。
20. 前記光検知素子の組合せ応答関数の逆関数によって前記補間輝度値の各々を補償する段階が、前記補間オン−グリッド輝度値の各々を用いて、前記光検知素子の前記組合せ応答関数の逆関数を表すデータを保存する検索テーブル・メモリに対する各指標を導出する段階と、前記検索テーブル・メモリから各指標と対応する補償された補間オン−グリッド輝度値各々を検索する段階と、前記出力画像の前記ピクセル輝度値として前記補償された補間オン−グリッド輝度値を提供する段階とを含む、請求項１９に記載の方法。
21. 前記ピクセル位置アレイの前記ピクセル位置での各取込画像輝度値から前記オフ−グリッド位置アレイの前記オフ−グリッド位置での各オフ−グリッド輝度値を推定する段階が、
    （１）前記感度レベルの内の相互に異なるものと対応するピクセル位置での前記取込画像輝度値だけを用いて、前記オフ−グリッド位置各々での前記感度レベルの内の相互に異なるものに対する感度レベル・オフ−グリッド輝度値を推定する段階と、
    （２）前記オフ−グリッド位置各々での前記感度レベルの内の相互に異なるそれぞれに対して推定された前記感度レベル・オフ−グリッド輝度値を組合せて、前記オフ−グリッド位置各々での組合せ感度レベル・オフ−グリッド輝度値を導出する段階と、
    （３）前記光検知素子の組合せ応答関数の逆関数によって前記オフ−グリッド位置各々での前記組合せ感度レベル・オフ−グリッド輝度値を補償して、前記オフ−グリッド位置各々での各推定オフ−グリッド輝度値を導出する段階とを含み、前記組合せ応答関数が前記感度レベルの内の相互に異なるものを有する光検知素子の重み付け応答関数の合計であり、前記重み付け応答関数各々が前記感度レベルのそれぞれに対する所定重み付け係数によって乗算された前記感度レベルのそれぞれを有する光検知素子の応答関数である、請求項１に記載の方法。
22. 前記光検知素子の前記組合せ応答関数の逆関数によって前記オフ−グリッド位置各々での前記組合せ感度レベル・オフ−グリッド輝度値を補償する段階が、
    前記オフ−グリッド位置各々での前記組合せ感度レベル・オフ−グリッド輝度値を用いて、前記光検知素子の前記組合せ応答関数の逆関数を表すデータを保存する検索テーブル・メモリに対する各指標を導出する段階と、
    前記検索テーブルから、各指標と対応する補償された組合せ感度レベル・オフ−グリッド輝度値を検索する段階と、
    前記オフ−グリッド位置での前記各推定オフ−グリッド輝度値として前記検索テーブルから検索された前記補償された組合せ感度レベル・オフ−グリッド輝度値を提供する段階と、
    を含む請求項２１に記載の方法。
23. 前記オフ−グリッド位置各々での前記感度レベルの内の相互に異なるそれぞれに対して推定された前記感度レベル・オフ−グリッド輝度値を組み合わせる段階が、前記オフ−グリッド位置各々での前記感度レベルの内の相互に異なるそれぞれに対する前記感度レベル・オフ−グリッド輝度値を合算して、前記オフ−グリッド位置での前記各組合せ感度レベル・オフ−グリッド輝度値を導出する段階を含む、請求項２１に記載の方法。
24. 前記オフ−グリッド位置各々での前記感度レベルの内の相互に異なるそれぞれに対して推定された前記感度レベル・オフ−グリッド輝度値を組み合わせる段階が、
    （１）前記オフ−グリッド位置各々での前記感度レベルの内の相互に異なるそれぞれに対して推定された前記感度レベル・オフ−グリッド輝度値を前記感度レベルの内の相互に異なるそれぞれと対応する各所定重み付け係数で乗算して、前記オフ−グリッド位置各々での前記感度レベルの内の相互に異なるそれぞれに対する重み付け感度レベル・オフ−グリッド輝度値を導出する段階と、
    （２）前記オフ−グリッド位置各々での前記感度レベルの内の相互に異なるそれぞれに対する前記重み付け感度レベル・オフ−グリッド輝度値を合算して、前記オフ−グリッド位置各々での前記組合せ感度レベル・オフ−グリッド輝度値を導出する段階とを含む、請求項２１に記載の方法。
25. 前記オフ−グリッド位置各々での前記感度レベルの内の相互に異なるそれぞれに対する前記感度レベル・オフ−グリッド輝度値を推定する段階が、
    （１）前記ピクセル位置をマスクするが、前記感度レベルの内の相互に異なるものと対応するピクセル位置をマスクしないままとする段階と、
    （２）前記オフ−グリッド位置の内の１つでの前記感度レベルの内の相互に異なるものに対する前記感度レベル・オフ−グリッド輝度値を推定して、前記オフ−グリッド位置の内の前記１つに最も近い前記マスクされていないピクセル位置の内の１つでの前記取込画像輝度値と同等と為す段階とを含む、請求項１４或は２１に記載の方法。
26. 前記画像センサの前記光検知素子アレイが線形アレイであり、前記ピクセル位置アレイがピクセル行状にそれぞれが規則正しく離間されたピクセル位置を有する線形アレイであり、前記オフ−グリッド位置アレイの前記オフ−グリッド位置が、それぞれ、前記線形ピクセル位置アレイの隣接ピクセル位置の各対間に配置されており、前記オフ−グリッド位置各々での前記感度レベルの内の相互に異なるそれぞれに対する感度レベル・オフ−グリッド輝度値を推定する段階が、前記オフ−グリッド位置各々での前記感度レベルの内の相互に異なるそれぞれに対する前記感度レベル・オフ−グリッド輝度値として、前記オフ−グリッド位置の内の１つに最も近い隣接である前記感度レベルの内の相互に異なるものと対応するピクセル位置での前記取込画像輝度値を提供する段階を含む、請求項２４に記載の方法。
27. 前記光検知素子の前記所定感度パターンが第１及び第２所定感度レベルを有し、前記線形ピクセル位置アレイの隣接ピクセル位置が前記第１及び第２所定感度レベルの内の相互に異なるものと対応しており、前記感度レベルの内の相互に異なるものと対応する各所定重み付け係数で前記オフ−グリッド位置各々での前記感度レベルの内の相互に異なるそれぞれに対する前記感度レベル・オフ−グリッド輝度値を乗算して、前記オフ−グリッド位置各々での前記感度レベルの内の相互に異なるそれぞれに対する重み付け感度レベル・オフ−グリッド輝度値を導出しており、前記オフ−グリッド位置各々での前記感度レベルの内の相互に異なるそれぞれに対する前記重み付け感度レベル・オフ−グリッド輝度値を合算して、前記オフ−グリッド位置各々での前記組合せ感度レベル・オフ−グリッド輝度値を導出する段階が、Ｂ（ｘ’）がオフ−グリッド位置ｘ’での前記組合せ感度レベル・オフ−グリッド輝度値であり、Ｗ_１がピクセル位置（ｘ’−０．５）と対応する前記感度レベルに対する前記所定重み付け係数であり、Ｗ_２がピクセル位置（ｘ’＋０．５）と対応する前記感度レベルに対する前記所定重み付け係数であり、Ｉ_ｃ（ｘ’−０．５）がピクセル位置（ｘ’＋０．５）での前記取込画像輝度値である場合、
    として表現され、そして、前記光検知素子の前記組合せ応答関数が、
    として表現され、ここでＰ_１（Ｅ）がピクセル位置（ｘ’−０．５）と対応する前記感度レベルを有する光検知素子の前記ラジオメトリック応答関数であり、Ｐ_２（Ｅ）がピクセル位置（ｘ’＋０．５）と対応する前記感度レベルを有する光検知素子の前記ラジオメトリック応答関数である、請求項２６に記載の方法。
28. 前記ピクセル位置アレイにおける前記ピクセル位置での各取込画像輝度値から前記オフ−グリッド位置アレイにおける前記オフ−グリッド位置での各オフ−グリッド輝度値を推定する段階が、前記ピクセル位置での前記取込画像輝度値の補間を伴う双線形標本化を含む、請求項１に記載の方法。
29. 前記ピクセル位置アレイにおける前記ピクセル位置での各取込画像輝度値から前記オフ−グリッド位置アレイにおけるオフ−グリッド位置での各オフ−グリッド輝度値を推定する段階が、前記ピクセル位置での前記取込画像輝度値の補間を伴う双立方標本化を含む、請求項１に記載の方法。
30. 前記ピクセル位置アレイにおける前記ピクセル位置での各取込画像輝度値から前記オフ−グリッド位置アレイにおけるオフ−グリッド位置での各オフ−グリッド輝度値を推定する段階が、
    前記オフ−グリッド位置のそれぞれに最も近い隣接である所定数のピクセル位置各々での各取込画像輝度値を所定の低閾値及び所定高閾値と比較することによって、前記オフ−グリッド位置のそれぞれでの各オフ−グリッド輝度値を推定する段階と、
    前記所定低閾値よりも大きく且つ前記所定高閾値よりも小さい前記最も近い隣接ピクセル位置の取込画像輝度値の合計を算定する段階と、前記合計を該合計に含まれる最も近い隣接ピクセル位置の前記数で割る段階とを含む、請求項１に記載の方法。
31. 前記ピクセル位置アレイにおける前記ピクセル位置での各取込画像輝度値から前記オフ−グリッド位置アレイにおける前記オフ−グリッド位置でのオフ−グリッド輝度値を推定する段階が、
    前記オフ−グリッド位置のそれぞれに最も近い隣接である所定数のピクセル位置各々での各補償された取込画像輝度値を所定低閾値及び所定高閾値と比較することで、前記オフ−グリッド位置のそれぞれでの各オフ−グリッド輝度値を推定する段階と、
    前記所定低敷地より大きく且つ前記所定高閾値より小さい前記最も近い隣接ピクセル位置での前記補償された取込画像輝度値の合計を算定する段階と、最も近い隣接ピクセル位置での補償された取込画像輝度値の前記数で前記合計を割ることで前記オフ−グリッド位置のそれぞれでの各推定オフ−グリッド輝度値を導出する段階と、を含み、
    前記最も近い隣接ピクセル位置各々での前記各補償された取込画像輝度値が該最も近い隣接ピクセル位置のものに対応する感度レベルを有する光検知素子の前記応答関数の逆関数によって補償された前記最も近い隣接ピクセル位置の内の１つでの前記取込画像輝度値である、請求項１に記載の方法。
32. 前記最も近い隣接ピクセル位置各々での前記各補償された取込画像輝度値が、前記最も近い隣接ピクセル位置の内の１つでの前記取込画像輝度値を用いることで、前記複数の感度レベルの内の異なるそれぞれを有する光検知素子の逆応答関数を表すデータを保存する検索テーブル・メモリに対する指標を導出して、前記検索テーブル・メモリから前記最も近い隣接ピクセル位置の内の１つの前記感度レベルを有する光検知素子の前記応答関数の逆関数を表す検索テーブル・データから前記指標に対応する補償された取込画像輝度値を検索することで導出される、請求項３１に記載の方法。
33. 前記中央行の各々が前記ピクセル行の各隣接対の間の中央に延在し、前記中央列の各々が前記ピクセル列の各隣接対の中央に延在し、前記ピクセル位置アレイにおける前記ピクセル位置での各取込画像輝度値でから前記オフ−グリッド位置アレイにおける前記オフ−グリッド位置での各オフ−グリッド輝度値を推定する段階が、ｘ’が１からｘサイズ−１までの値を有し、ｙ’が１からｙサイズ−１までの値を有し、ｘサイズ及びｙサイズが前記ピクセル行及び前記ピクセル列の方向における前記取込画像の寸法である場合、前記オフ−グリッド位置（ｘ’，ｙ’）各々での前記輝度値を推定する段階を含み、前記オフ−グリッド位置（ｘ’，ｙ’）各々での各オフ−グリッド輝度値を推定する段階が、 （ｉ）前記オフ−グリッド位置（ｘ’，ｙ’）の内の１つに最も近い隣接である１６個のピクセル位置（ｕ，ｖ）各々での各輝度値Ｉ（ｕ，ｖ）を、ｕがｘ’−５からｘ’＋０．５までの値を有し、ｖがｙ’−０．５からｙ＋０．５までの値を有する場合、所定低閾値及び所定高閾値と比較することであることと、 （ｉｉ）前記所定低閾値より大きく且つ前記所定高閾値より小さい前記１６個の最も近い隣接ピクセル位置（ｕ，ｖ）での前記輝度値Ｉ（ｕ，ｖ）の各々に対して、関係ｉ＝ｘ’−ｕ−１．５及びｊ＝ｙ’−ｖ−１．５を用いて４×４立方補間カーネルφの指標ｉ及びｊを算定し、φ_ｍｎが指標ｍ及びｎでの４×４立方補間カーネルφの値である場合、量
    と量φ_ｉｊ ^２を算定することと、 （ｉｉｉ）ステップ（ｉｉ）で算定された量
    を合算して、第１合計ｓを導出することと、 （ｉｖ）ステップ（ｉｉ）で算定された量φ_ｉｊ ^２を合算して第２合計ｗを導出することと、 （ｖ）前記第合計ｓを前記第２合計ｗで割ることで前記オフ−グリッド位置（ｘ’，ｙ’）の内の１つでの前記推定輝度値を算定することと、を含む、請求項５に記載の方法。
34. ステップ（ｉ）での前記所定低閾値及び前記所定高閾値と比較された最も近い隣接ピクセル位置（ｕ，ｖ）での前記輝度値Ｉ（ｕ，ｖ）が、ピクセル位置（ｕ，ｖ）での前記取込画像輝度値である、請求項３３に記載の方法。
35. ステップ（ｉ）での前記所定低閾値及び前記所定高閾値と比較された最も近い隣接ピクセル位置（ｕ，ｖ）での前記輝度値Ｉ（ｕ，ｖ）が、ピクセル位置（ｕ，ｖ）に対応する前記感度レベルを有する光検知素子の応答関数の逆関数によって補償されたピクセル位置（ｕ，ｖ）での前記取込画像輝度値である、請求項３３に記載の方法。
36. 前記最も近い隣接ピクセル位置（ｕ，ｖ）各々での前記取込画像輝度値が、前記複数の感度レベルの内の相互に異なるものを有する光検知素子の応答関数の逆関数を表すデータを保存する検索テーブル・メモリに対する指標を導出すべく、前記取込画像輝度値を用いることによって、そして、前記検索テーブル・メモリから、前記最も近い隣接ピクセル位置（ｕ，ｖ）の内の１つに対応する前記感度レベルを有する光検知素子の前記応答関数の逆関数を表す検索テーブル・データを用いて前記指標に対する補償された取込画像輝度値を検索することによって、前記最も近い隣接ピクセル位置（ｕ，ｖ）の内の１つに対応する前記感度レベルを有する光検知素子の前記応答関数の逆関数で補償され、前記検索された補償輝度値が前記最も近いピクセル位置（ｕ，ｖ）の内の１つでの前記輝度値Ｉ（ｕ，ｖ）である、請求項３５に記載の方法。
37. 前記ピクセル位置アレイにおける前記ピクセル位置での前記各取込画像輝度値から前記オフ−グリッド位置アレイにおける前記オフ−グリッド位置での各オフ−グリッド輝度値を推定する段階が、ｘ’が２からｘサイズ−２までの値を有し、ｘサイズが前記取込ライン画像の寸法である場合、前記オフ−グリッド位置ｘ’各々での前記輝度値を推定することを含み、前記オフ−グリッド位置ｘ’各々での前記オフ−グリッド輝度値を推定する段階が、
    （ｉ）ｋがｘ’−１．５からｘ’＋１．５までの値を有する場合、前記オフ−グリッド位置ｘ’の内の１つに最も近い隣接である４つのピクセル位置ｋの各々での各輝度値（ｋ）を所定低閾値及び所定高閾値と比較することと、
    （ｉｉ）Ｇ（ｋ−ｘ’）が位置（ｋ−ｘ’）での４×１ガウシアン補間カー値ｔるＧの値である場合、前記所定低閾値より大きく且つ前記所定高閾値より小さい前記４つの最も近い隣接ピクセル位置での前記輝度値Ｉ（ｋ）の各々が前記量Ｉ（ｋ）Ｇ（ｋ−ｘ’）を算定することと、
    （ｉｉｉ）ステップ（ｉｉ）で算定された前記量Ｇ（ｋ−ｘ’）を合算して第１合計ｐを導出することと、
    （ｉｖ）ステップ（ｉｉ）の前記算定で用いられた前記量Ｇ（ｋ−ｘ’）を合算して第２合計ｑを導出することと、
    （ｖ）前記第１合計ｐを前記第２合計ｑで割ることによって前記オフ−グリッド位置ｘ’の内の１つでの前記推定輝度値を算定することと、を含む、請求項２に記載の方法。
38. ステップ（ｉ）で、前記所定低閾値及び前記所定高閾値と比較された最も近い隣接ピクセル位置ｋでの前記各輝度値Ｉ（ｋ）が、最も近い隣接ピクセル位置ｋでの前記取込輝度値である、請求項３７に記載の方法。
39. ステップ（ｉ）で、前記所定低閾値及び前記所定高閾値と比較された最も近い隣接ピクセル位置ｋでの前記輝度値Ｉ（ｋ）が、ピクセル位置ｋと対応する前記感度レベルを有する光検知素子の逆関数によって補償された最も近い隣接ピクセル位置ｋでの前記取込輝度値である、請求項３７に記載の方法。
40. 前記最も近い隣接ピクセル位置ｋ各々での前記取込画像輝度値が、前記複数の感度レベルの内の相互に異なるものを有する光検知素子の応答関数の逆関数を表すデータを補村する検索テーブル・メモリに対する指標を導出すべく、前記最も近い隣接ピクセル位置の内の１つでの前記取込画像輝度値を用いることによって、そして、前記検索テーブル・メモリから、前記最も近い隣接ピクセル位置ｋの内の１つと対応する前記感度レベルを有する光検知素子の前記応答関数の逆関数を表す検索テーブル・データを用いて、前記指標と対応する補償された取込画像輝度値を検索することによって、前記最も近い隣接ピクセル位置ｋの内の１つと対応する前記感度レベルを有する光検知素子の前記応答関数の逆関数によって補償されており、前記検索された補償取込画像輝度値が前記最も近い隣接ピクセル位置ｋでの前記輝度値Ｉ(ｋ）である、請求項３９に記載の方法。
41. 前記４×１ガウシアン・カーネルＧが形態：
    を有する、請求項３７に記載の方法。
42. 前記推定オフ−グリッド輝度値を再標本化して前記ピクセル位置アレイの前記ピクセル位置での各再標本化オン−グリッド輝度値を導出する段階が、前記ピクセル位置のそれぞれに最も近い隣接であるオフ−グリッド位置の所定数での各オフ−グリッド輝度値とオフ−グリッド位置の前記所定数と同一寸法を有する立方補間カーネルとの積を算定することによって、前記ピクセル位置の内の相互に異なるそれぞれでの前記再標本化輝度値を導出することを含む、請求項１０に記載の方法。
43. 前記推定オフ−グリッド輝度値から出力画像のピクセル輝度値を導出する段階が、前記推定オフ−グリッド輝度値を再標本化して前記ピクセル位置アレイにおける前記ピクセル位置での再標本化オン−グリッド輝度値を導出することを含み、前記中間行の各々がピクセル行の各隣接対間の中央に延在し、前記中間列の各々がピクセル列の各隣接対間の中央に延在しており、前記多数のピクセル位置各々での前記再標本化輝度値が、ｘが２．５からｘサイズ−２．５までの値を有し、ｙが２．５からｙサイズ−２．５までの値を有し、Ｉ（ｘ−２，ｙ−２）がピクセル位置（ｘ−２，ｙ−２）での前記再標本化オン−グリッド輝度値であり、Ｂ（ｘ−１．５＋ｉ，ｙ−１．５＋ｊ）がオフ−グリッド位置（ｘ−１．５＋ｉ，ｙ−１．５＋ｊ）での前記推定オフ−グリッド輝度値であり、ｉ及びｊが４×４立方補間カーネルφの指標であり、指標ｉ及びｊのそれぞれが０から３までの値を有し、φ_ｉｊが指標ｉ及びｊで前記補間カーネルφの値であり、ｘサイズがピクセル行の方向における前記取込画像の寸法であり、ｙサイズが前記ピクセル列の方向における前記取込画像の寸法である場合、
    の関係で算定される、請求項５に記載の方法。
44. 前記４×４立方補間カーネルφが形態：
    を有する、請求項３３或は４３に記載の方法。
45. 前記推定オフ−グリッド輝度値から出力画像のピクセル輝度値を導出する段階が、前記推定オフ−グリッド輝度値を再標本化して前記ピクセル位置アレイにおけるピクセル位置での再標本化オン−グリッド輝度値を導出することを含み、各オフ−グリッド位置がピクセル位置の各隣接対間の中央に配置され、前記ピクセル位置ｘのそれぞれでの前記再標本化オン−グリッド輝度値Ｉ_ｏが、である場合、ｘが３．５からｘサイズ−３．５までの値を有する前記ピクセル位置の座標であり、Ｉ_ｏ（ｘ−３）がピクセル位置（ｘ−３）での前記再標本化オン−グリッド輝度値であり、Ｂ（ｘ＋ｋ）がオフ−グリッド位置（ｘ＋ｋ）での前記推定オフ−グリッド輝度値であり、ｋが４×１立方補間カーネルΨの位置であり、Ψ（ｋ）が位置ｋでの前記立方補間カーネルΨの値であり、前記位置ｋが−１．５から１．５までの値を有し、ｘサイズが前記取込ライン画像の寸法である場合、
    の関係によって算定される、請求項２に記載の方法。
46. 前記４×１立方補間カーネルΨが形態：
    を有する、請求項４５に記載の方法。
47. 前記中間行の各々が前記ピクセル行の各隣接対間の中央に延在し、前記中間列の各々が前記ピクセル列の各隣接対間の中央に延在しており、前記オフ−グリッド位置アレイにおける前記オフ−グリッド位置での各オフ−グリッド輝度値を前記ピクセル位置アレイにおける前記ピクセル位置での各取込画像輝度値から推定する段階が、前記オフ−グリッド位置（ｘ’，ｙ’）の各々での前記オフ−グリッド輝度値を推定することを含み、ここで、ｘ’が０．５からｘサイズ−０．５までの値を有し、ｙ’が前記中間行及び前記ピクセル列の各交差点に配置されたオフ−グリッド位置に対する１からｙサイズ−１までの値を有し、ｘ’が１からｘサイズ−１までの値を有し、ｙ’が前記ピクセル行及び前記中間列の各交差点に配置されたオフ−グリッド位置に対する０．５からｙサイズ−０５までの値を有し、ｘサイズ及びｙサイズが前記ピクセル行及び前記ピクセル列の方向における前記取込画像の寸法であり、前記オフ−グリッド位置（ｘ’，ｙ’）各々での前記輝度値を推定する段階が、
    （ｉ）前記オフ−グリッド位置（ｘ’，ｙ’）各々に対して、ｉ及びｊが４×４立方補間カーネルφの指標であり、指標ｉ及びｊの各々が０から３までの値を有する場合、関係：ｕ＝ｘ’＋０．５ｊ−０．５ｊ及びｖ＝ｙ’−１．５＋０．５ｉ＋０．５ｊを用いて座標（ｕ，ｖ）を算定することと、
    （ｉｉ）指標ｉ及びｊを用いてステップ（ｉ）で算定された座標（ｕ，ｖ）の各対に対して、該座標（ｕ，ｖ）が１ピクセル位置のものか否かを決定することと、
    （ｉｉｉ）ステップ（ｉ）で算定された前記座標（ｕ，ｖ）が１ピクセル位置のものであれば、前記ピクセル位置（ｕ，ｖ）での輝度値Ｉ（ｕ，ｖ）を所定低閾値及び所定高閾値と比較することと、
    （ｉｖ）指標ｉ及びｊを用いてステップ（ｉ）で算定された前記座標（ｕ，ｖ）が１ピクセル位置のものであり且つ前記輝度値Ｉ（ｕ，ｖ）が前記所定低閾値より大きく且つ前記所定高閾値より小さければ、φ_ｍｎが指標ｍ及びｎでの４×４立方補間カーネルφの値である場合、量：
    とφ_ｊｉ ^２とを算定することと、
    （ｖ）ステップ（ｉｖ）で算定された
    を合算して第１合計ｓを導出することと、
    （ｖｉ）ステップ（ｉｖ）で算定された量を合算して第２合計ｗを導出することと、 （ｖｉｉ）前記第１合計ｓを前記第２合計ｗで割ることで前記オフ−グリッド位置（ｘ’，ｙ’）の内の１つでの前記推定輝度値を算定することとを含む、請求項６に記載の方法。
48. ステップ（ｉｉｉ）で、前記所定低閾値及び前記所定高閾値と比較された前記ピクセル位置（ｕ，ｖ）各々での前記輝度値Ｉ（ｕ，ｖ）が、前記ピクセル位置（ｕ，ｖ）の内の１つでの前記取込画像輝度値である、請求項４７に記載の方法。
49. ステップ（ｉｉｉ）で、前記所定低閾値及び前記所定高閾値と比較された前記ピクセル位置（ｕ，ｖ）各々での前記輝度値Ｉ（ｕ，ｖ）が、前記ピクセル位置（ｕ，ｖ）の内の１つと対応する感度レベルを有する光検知素子の前記応答関数の逆関数によって補償された前記ピクセル位置（ｕ，ｖ）の内の１つでの前記取込画像輝度値である、請求項４７に記載の方法。
50. 前記ピクセル位置（ｕ，ｖ）各々での前記取込輝度値が、前記ピクセル位置（ｕ，ｖ）の内の１つでの前記取込画像輝度値Ｉ_ｃ（ｕ，ｖ）を用いて、前記複数の感度レベルの内の相互に異なるそれぞれを有する光検知素子の応答関数の逆関数を表すデータを保存する検索テーブル・メモリに対する指標を導出することによって、そして、前記ピクセル位置（ｕ，ｖ）の内の前記１つと対応する前記感度レベルを有する光検知素子の前記応答関数の逆関数を表す検索テーブル・データを用いて、前記指標と対応する補償された取込画像輝度値を前記検索テーブルから検索することによって、前記ピクセル位置（ｕ，ｖ）の内の前記１つと対応する前記感度レベルを有する光検知素子の前記応答関数の逆関数によって補償されており、前記検索された補償取込画像輝度値が前記ピクセル位置（ｕ，ｖ）の内の前記１つでの前記輝度値Ｉ（ｕ，ｖ）である、請求項４９に記載の方法。
51. 前記オフ−グリッド位置（ｘ’，ｙ’）各々での前記オフ−グリッド輝度値を推定する段階が、中間行及びピクセル列の各交差点に配置されたオフ−グリッド位置に対して先ず実行され、次いで、ピクセル行及び中間列の各交差点に配置されたピクセル位置に対して実行される、請求項４７に記載の方法。
52. 前記４×４立方補間カーネルφが形態：
    を有する、請求項４７に記載の方法。
53. 前記推定オフ−グリッド輝度値から出力画像のピクセル輝度値を導出する段階が、前記推定オフ−グリッド輝度値を再標本化して、前記ピクセル位置アレイにおけるピクセル位置での各再標本化オン−グリッド輝度値を導出することを含み、前記中間行の各々が前記ピクセル行の各隣接対間の中央を延在し、前記中間列の各々が前記ピクセル列の各隣接対間の中央を延在しており、前記ピクセル位置（ｘ，ｙ）各々での前記再標本化オン−グリッド輝度値が、ｘが２．５からｘサイズ−２．５までの値を有し、ｙが２．５からｙサイズ−２．５までの値を有し、Ｉ（ｘ−２，ｙ−２）がピクセル位置（ｘ−２，ｙ−２）での前記再標本化オン−グリッド輝度値であり、Ｂ（ｘ＋０．５ｉ−０．５ｊ，ｙ−１．５＋０．５ｉ＋０．５ｊ）がオフ−グリッド位置（ｘ＋０．５ｉ−０．５ｊ，ｙ−１．５＋０．５ｉ＋０．５ｊ）での前記オフ−グリッド輝度値であり、ｉ及びｊが４×４立方補間カーネルφの指標であり、指標ｉ及びｊのそれぞれが０から３までの値を有し、φ_ｉｊ が指標ｉ及びｊでの前記補間カーネルφの値であり、ｘサイズが前記ピクセル列の方向における前記取込画像の寸法である場合、関係：
    によって算定される、請求項６に記載の方法。
54. 前記推定オフ−グリッド輝度値から出力画像のピクセル輝度値を導出する段階が、ガウシアン・カーネルを用いて前記推定オフ−グリッド輝度値を補間して前記ピクセル位置アレイにおける前記ピクセル位置での各補間輝度値を導出する、請求項５に記載の方法。
55. 前記ガウシアン・カーネルが形態：
    を有する、請求項５４に記載の方法。
56. 前記推定オフ−グリッド輝度値から出力画像のピクセル輝度値を導出する段階が、前記オフ−グリッド輝度値の補間に対する双線形補間フィルタ・カーネルを用いて前記ピクセル位置アレイにおける前記ピクセル位置での各補間オン−グリッド輝度値を導出することを含む、請求項５に記載の方法。
57. 前記双線形補間フィルタ・カーネルが形態：
    を有する、請求項５６に記載の方法。
58. 前記推定オフ−グリッド輝度値から出力画像のピクセル輝度値を導出する段階が、前記推定オフ−グリッド輝度値をサンプリングして、前記ピクセル位置アレイにおける前記ピクセル位置での各再標本化オン−グリッド輝度値を導出することを含み、前記推定オフ−グリッド輝度値を再標本化する段階が、前記オフ−グリッド位置アレイを前記ピクセル位置アレイに合致する用にシフトすることを含み、それによって前記ピクセル位置アレイにおける前記ピクセル位置での前記再標本化オン−グリッド輝度値が前記シフトされたオフ−グリッド位置アレイにおける前記合致オフ−グリッド位置での前記各推定オフ−グリッド輝度値である、請求項５或は７に記載の方法。
59. あるシーンの画像を取り込むためにそのシーンからの入射光に露出された比較的低いダイナミックレンジ画像センサを用いて該シーンの比較的高いダイナミックレンジ画像を獲得するために、前記画像センサがアレイ状の多数の光検知素子を有し、各光検知素子が前記光検知素子アレイに対する所定の感度パターンに従って入射光に対する複数の感度レベルの内の特定の１つを有し、前記光検知素子アレイの所定感度パターンが、多数の異なる所定感度レベルを有すると共に、前記所定感度パターンに対応する最も近い隣接ピクセル位置からなる群が繰り返されてピクセル位置アレイが構成され、各群における前記多数のピクセル位置の各々が共通した所定位置順序の前記多数の所定感度レベルの内の１つと対応しており、各光検知素子が前記シーンからの入射光に応答性してピクセル位置アレイにおける前記多数のピクセル位置の内の対応する１つで取込画像輝度値を作り出すようにする方法であって、前記ピクセル位置アレイのピクセル位置での各取込画像輝度値から、前記ピクセル位置アレイにおける各合間に配置されていると共に規則正しいオフ−グリッド位置アレイを形成しているオフ−グリッド位置での各オフ−グリッド輝度値を推定し、前記推定されたオフ−グリッド輝度値から前記出力画像のピクセル輝度値を導出するにあたり、前記推定されたオフ−グリッド値を再標本化して、前記ピクセル位置アレイにおける各ピクセル位置での再標本化オン−グリッド値を対応する複数の前記取込画像輝度値から導出し、該再標本化したオン−グリッド輝度値から前記出力画像のピクセル輝度値を導出することから成る方法。
60. 前記画像センサの光検知素子から成る前記アレイがライン画像を取り込む線形センサであり、線形取込画像輝度値アレイを形成すべく、前記ピクセル位置アレイがピクセル行状のそれぞれ規則正しく離間されたピクセル位置における前記多数のピクセル位置を有する線形アレイである、請求項５９に記載の方法。
61. 前記画像センサの光検知素子アレイが線形アレイであり、前記ピクセル位置アレイが、複数の規則正しく離間されたピクセル行と複数の規則正しく離間されたピクセル列との各交差点におけるピクセル位置を有する２次元アレイであり、前記画像センサの光検知素子から成る前記線形アレイが多数の露出で前記シーンの連続的な規則正しく離間された線形領域で順次露出され、前記露出の各々が各線形取込画像輝度値アレイを作り出し、前記多数の露出で作り出された前記各線形取込画像輝度値アレイが鎖状結合されて前記ピクセル位置アレイにおける前記ピクセル位置での各取込画像輝度値を有する２次元取込画像輝度値アレイを形成する、請求項５９に記載の方法。
62. 前記画像センサが光検知素子から成る２次元アレイであり、前記ピクセル位置アレイが、複数の規則正しく離間されたピクセル行と複数の規則正しく離間されたピクセル列との各交差点における前記多数のピクセル位置を有する２次元アレイであり、前記ピクセル行が前記ピクセル列と直交している、請求項５９に記載の方法。
63. 前記オン−グリッド輝度値から出力画像のピクセル輝度値を導出する段階が、前記ピクセル位置アレイにおける前記ピクセル位置での各オン−グリッド輝度値を前記出力画像の前記ピクセル輝度値として用いることを含む、請求項５９に記載の方法。
64. 前記オン−グリッド輝度値から出力画像のピクセル輝度値を導出する段階が、前記光検知素子の組合せ応答関数の逆関数によって前記ピクセル位置アレイにおける前記ピクセル位置各々での前記各オン−グリッド輝度値を補償して、前記ピクセル位置アレイにおける前記ピクセル位置での前記出力画像の各ピクセル輝度値を獲得することを含み、前記重み付け応答関数の各々が前記感度レベルのそれぞれに対する所定重み付け係数によって乗算された前記感度レベルのそれぞれを有する光検知素子の前記応答関数である、請求項５９に記載の方法。
65. 前記ピクセル位置アレイにおける前記ピクセル位置各々での前記オン−グリッド輝度値を補償する段階が、前記ピクセル位置各々での前記オン−グリッド輝度値から前記光検知素子の前記組合せ応答関数の逆関数を表すデータを保存する検索テーブル・メモリに対する各指標を導出する段階を含み、前記補償されたオン−グリッド輝度値が前記ピクセル位置の内の前記１つでの前記出力画像の前記ピクセル輝度値である、請求項６４に記載の方法。
66. 前記ピクセル位置アレイにおけるピクセル位置での各オン−グリッド輝度値を算定する段階が、前記ピクセル位置の内の前記１つに最も近い隣接である所定数のピクセル位置での前記取込画像輝度値と前記所定数のピクセル位置と同一寸法を有するオン−グリッド補間フィルタ・カーネルとの積を計算することによって、前記ピクセル位置各々での前記各オン−グリッド輝度値を算定することを含む、請求項５９に記載の方法。
67. 前記画像センサが光検知素子から成る２次元アレイを有し、前記ピクセル位置アレイが複数の規則正しく離間されたピクセル行と複数の規則正しく離間されたピクセル列との各交差点での前記多数のピクセル位置を有する２次元アレイであり、前記ピクセル行が前記ピクセル列と直交しており、前記ピクセル位置アレイにおける前記ピクセル位置（ｘ，ｙ）各々の前記オン−グリッド輝度値が、ｘが２．５からｘサイズ−２．５までの値を有し、ｙが２．５からｙサイズ−２．５までの値を有し、Ｉ（ｘ−２，ｙ−２）がピクセル位置（ｘ−２，ｙ−２）での前記補間輝度値であり、Ｉｃ（ｘ−２＋ｉ，ｙ−２＋ｊ）がピクセル位置（ｘ−２＋ｉ，ｙ−２＋ｊ）での前記取込画像輝度値であり、ｉ及びｊが５×５オン−グリッド補間フィルタ・カーネルφの指標であり、指標ｉ及びｊのそれぞれが０から４までの値を有し、φ_ｉｊが指標ｉ及びｊで前記オン−グリッド補間フィルタ・カーネルφの値であり、ｘサイズがピクセル行の方向における前記取込画像の寸法であり、ｙサイズが前記ピクセル列の方向における前記取込画像の寸法である場合、関係：
    によって計算される、請求項６６に記載の方法。
68. 前記５×５オン−グリッド補間フィルタ・カーネルφが形態：
    を有する、請求項６７に記載の方法。
69. 前記ピクセル位置アレイにおける前記ピクセル位置での各オン−グリッド輝度値を算定する段階が前記ピクセル位置アレイにおける前記ピクセル位置各々での各オン−グリッド輝度値を算定する段階を含み、その算定段階が、
    （ｉ）前記ピクセル位置各々に最も近い隣接である所定数のピクセル位置各々での各補償された取込画像輝度値を所定邸閾値及び所定高閾値と比較する段階と、
    （ｉｉ）前記所定低閾値より大きく且つ前記所定高閾値より小さい補償された取込画像輝度値を有する前記最も近い隣接ピクセル位置の各々に対して、前記最も近い隣接ピクセル位置の内の前記１つでの前記補償された取込画像輝度値と、前記最も近い隣接ピクセル位置の内の前記１つと対応するオン−グリッド補間フィルタ・カーネルの値との積を算定する段階であり、前記オン−グリッド補間フィルタ・カーネルが最も近い隣接ピクセル位置の前記所定数と同一寸法を有することから成る段階と、
    （ｉｉｉ）ステップ（ｉｉ）で算定された積の全ての第１合計を算定する段階と、
    （ｉｖ）ステップ（ｉｉ）における積を算定するために使用される前記オン−グリッド補間フィルタ・カーネルの全値の第２合計を算定する段階と、
    （ｖ）前記第１合計を前記第２合計で割ることで前記ピクセル位置のそれぞれでの前記オン−グリッド輝度値を算定する段階であり、前記最も近い隣接ピクセル位置各々での前記各補償された取込画像輝度値が前記最も近い隣接ピクセル位置と対応する前記感度レベルを有する光検知素子の前記応答関数の逆関数によって補償された前記最も近い隣接ピクセル位置の内の前記１つでの前記各取込画像輝度値であることから成る段階と、を含む、請求項５９に記載の方法。
70. 前記ピクセル位置アレイにおける前記ピクセル位置各々での前記取込画像輝度値を用いて、前記複数の感度レベルの内の相互に異なるものを有する光検知素子の応答関数の逆関数を表すデータを保存する検索テーブルに対する各指標を導出する段階と、前記ピクセル位置の内の前記１つと対応する前記感度レベルを有する前記光検知素子の前記応答関数の逆関数を表す検索テーブル・データからの前記各指標と対応する補償された取込画像輝度値を前記検索テーブルから検索する段階であり、前記検索された補償取込画像輝度値が前記ピクセル位置の内の前記１つでの前記補償された取込画像輝度値である、請求項６９に記載の方法。
71. １シーンの画像を取り込むために該シーンからの入射光に露出される比較的低いダイナミックレンジ画像センサを用いて該シーンの比較的高いダイナミックレンジ画像を獲得するために、前記画像センサが線形アレイ状の多数の光検知素子を有し、各光検知素子が光検知素子から成るアレイに対する所定感度パターンに従って入射光に対する複数の感度レベルの内の特定の１つを有すると共に各応答関数を有し、前記光検知素子アレイの所定感度パターンが、多数の異なる所定感度レベルを有すると共に、前記所定感度パターンに対応する最も近い隣接ピクセル位置からなる群が繰り返されてピクセル位置アレイが構成され、各群における前記多数のピクセル位置の各々が共通した所定位置順序の前記多数の所定感度レベルの内の１つと対応しており、各光検知素子が前記シーンからの入射光に応じて線形ピクセル位置アレイにおけるそれぞれの規則正しく離間されたピクセル位置における多数のピクセル位置の内の対応する１つで線形取込画像輝度値アレイを形成することによって取込画像輝度値を作り出すようにする方法であって、前記ピクセル位置アレイのピクセル位置での各取込画像輝度値から、前記ピクセル位置アレイにおける各合間に配置されていると共に規則正しいオフ−グリッド位置アレイを形成しているオフ−グリッド位置での各オフ−グリッド輝度値を推定し、前記推定されたオフ−グリッド輝度値から前記出力画像のピクセル輝度値を導出するにあたり、前記推定されたオフ−グリッド値を再標本化して、前記ピクセル位置アレイにおける各ピクセル位置での再標本化オン−グリッド値を導出し、前記ピクセル位置アレイにおける各ピクセル位置での再標本化オン−グリッド値から前記出力画像の前記ピクセル輝度値を導出する際に、
    （ｉ）ｘが２．５からｘサイズ−２．５までの値を有し、ｘサイズが前記取込画像の寸法である場合、前記ピクセル位置アレイにおける前記ピクセル位置ｘの各々に対して、ｋがｘ−２からｘ＋２までの値を有する場合、ピクセル位置ｘと最も近い隣接である５つのピクセル位置ｋでの輝度値Ｉ（ｋ）の各々を所定低閾値及び所定高閾値と比較する段階と、
    （ｉｉ）前記所定低閾値よりも大きく且つ前記所定低閾値よりも小さい前記５つの最も近い隣接ピクセル位置ｋでの前記輝度値Ｉ（ｋ）の各々に対して、Ｇ（ｋ−ｘ）が位置（ｋ−ｘ）でのガウシアン補間カーネルＧの値である場合、量Ｉ（ｋ）Ｇ（ｋ−ｘ）を算定する段階と、
    （ｉｉｉ）ステップ（ｉｉ）で算定された前記量Ｉ（ｋ）Ｇ（ｋ−ｘ）を合算して第１合計ｐを導出する段階と、
    （ｉｖ）Ｉ（ｋ）が前記所定低閾値よりも大きく且つ前記所定高閾値よりも小さい場合、ｋの全値に対する前記ガウシアン補間カーネル値Ｇ（ｋ−ｘ）を合算して第２合計ｑを導出する段階と、
    （ｖ）前記第１合計ｐを前記第２合計ｑで割ることでピクセル位置ｘでの出力画像Ｉ_ｏ（ｘ）のピクセル輝度値を算定する段階と、を含むことから成る方法。
72. ステップ（ｉ）で、前記所定低閾値及び前記所定高閾値と比較されたピクセル位置ｋでの前記輝度値Ｉ（ｋ）がピクセル位置ｋでの前記取込画像輝度値である、請求項７１に記載の方法。
73. ステップ（ｉ）で、前記所定低閾値及び前記所定高閾値と比較されたピクセル位置ｋでの前記輝度値Ｉ（ｋ）が、ピクセル位置ｋと対応する感度レベルを有する光検知素子の応答関数の逆関数によって補償されたピクセル位置ｋでの前記取込画像輝度値である、請求項７１に記載の方法。
74. ピクセル位置ｋでの前記取込画像輝度値が、ピクセル位置ｋでの前記取込画像輝度値を用いて前記複数の感度レベルの内の相互に異なるものを有する光検知素子の応答関数の逆関数を表すデータを保存する検索テーブル・メモリに対する各指標を導出することによって、そして、前記検索テーブル・メモリから、ピクセル位置ｋと対応する前記感度レベルを有する光検知素子の前記応答関数の逆関数を表す検索テーブル・データを用いて前記各指標と対応する補償された取込画像輝度値Ｉ（ｋ）を検索することによって、ピクセル位置ｋと対応する感度レベルを有する光検知素子の前記応答関数の逆関数によって補償される、請求項７３に記載の方法。
75. 前記５×１ガウシアン・カーネルＧが形態：
    を有する、請求項７２に記載の方法。
76. 前記所定低閾値が、前記ピクセル位置と対応する前記感度レベルを有する光検知素子のノイズ・レベルであり、該ピクセル位置が前記所定低閾値と比較され前記対応する感度レベルを有する光検知素子の前記応答関数の逆関数によって補償されており、前記所定高閾値が前記同一感度レベルを有する光検知素子の飽和或は略飽和輝度値である、請求項３１、３５、３９、４９、６９、或は、７３に記載の方法。
77. １シーンの画像を取り込むために該シーンからの入射光による露出に適合した比較的低いダイナミックレンジ画像センサを用いて比較的高いダイナミックレンジ画像を取り込むためのシステムであって、
    （ａ） アレイ状となった多数の光検知素子を有し、各々の光検知素子が該光検知素子からなるアレイに対する所定感度パターンに基づいて入射光に対する複数の感度レベルの特定の一つと共に各々の応答関数を有し、前記光検知素子アレイの所定感度パターンが、多数の異なる所定感度レベルを有すると共に、前記所定感度パターンに対応する最も近い隣接ピクセル位置からなる群が繰り返されてピクセル位置アレイが構成され、各群における前記多数のピクセル位置の各々が共通した所定位置順序の前記多数の所定感度レベルの内の１つと対応しており、各光検知素子が前記シーンからの入射光に応答してピクセル位置アレイにおける多数のピクセル位置の内の対応する１つで取込画像輝度値を生成する画像センサと、
    （ｂ） 前記ピクセル位置における前記多数のピクセル位置の内の対応する位置で前記光検知素子によって生成される前記取込画像輝度値を記憶する取込画像メモリと、
    （ｃ）規則正しいオフ−グリッド位置アレイを形成するように前記ピクセル位置アレイの各々の合間に位置した多数のオフ−グリッド位置で、各々推定オフ−グリッド輝度値を、前記取込画像メモリ内の前記取込画像輝度値から導き出すオフ−グリッド推定器と、
    （ｄ） 前記推定オフ−グリッド輝度値から出力画像のピクセル輝度値を導き出すにあたり、前記推定されたオフ−グリッド値を再標本化して、前記ピクセル位置アレイにおける各ピクセル位置での再標本化オン−グリッド値を導出し、前記ピクセル位置アレイにおける各ピクセル位置での再標本化オン−グリッド値から前記出力画像の前記ピクセル輝度値を導出する出力画像発生器と、
    を備えるシステム。
78. 前記画像センサの光検知素子からなるアレイは、ライン画像を取り込むための線形アレイであり、また前記ピクセル位置アレイは、線形取込画像輝度アレイが形成されるように、一つのピクセル行となって各々が規則正しく離間された位置にある多数のピクセル位置を有する線形アレイであり、前記取込画像メモリが前記光検知素子によって生成された前記取込画像輝度値を記憶する、請求項７７に記載のシステム。
79. 前記オフ−グリッド位置アレイの前記オフ−グリッド位置が線形ピクセル位置アレイにおけるピクセル位置の各隣接対間に位置している、請求項７８に記載のシステム。
80. 前記所定の感度パターンは所定の第１感度レベルと所定の第２感度レベルとを有し、また前記線形ピクセル位置アレイの隣接ピクセル位置はそれぞれが前記所定の第１感度レベル及び前記所定の第２感度レベルの内の異なるものに対応する、請求項７９に記載のシステム。
81. 前記画像センサの前記光検知素子からなるアレイは線形アレイであり、また前記ピクセル位置アレイは複数の規則正しく離間されたピクセル行と複数の規則正しく離間されたピクセル列との各々の交差点でのピクセル位置を有する２次元アレイであり、前記ピクセル行がピクセル列に対して直交し、さらに前記画像センサの前記光検知素子からなる線形アレイが多数の露出で前記シーンの連続する規則正しく離間された線形領域に対して順次露出されるように合わせられており、前記露出のそれぞれが各々の線形取込画像輝度値アレイを生成し、前記多数の露出によって生成された前記各々の線形取込画像輝度値アレイが鎖状に結合されて、前記ピクセル位置アレイの前記ピクセル位置で各々の取込画像輝度値を有する２次元取込画像輝度値アレイを形成する、請求項７７に記載のシステム。
82. 前記オフ−グリッド位置アレイにおける前記オフ−グリッド位置は複数の規則正しく離間された中間列とピクセル行との各々の交差点に位置しており、前記中間列の各々が前記ピクセル列と平行すると共に前記ピクセル列の各々の隣接対間に延在している、請求項８１に記載のシステム。
83. 前記所定感度パターンは所定の第１感度レベルと所定の第２感度レベルとを有し、前記ピクセル行の各々における隣接ピクセル位置はそれぞれが前記所定の第１感度レベル及び前記所定の第２感度レベルの異なるものに対応し、前記ピクセル列の各々における隣接ピクセル位置はそれぞれが前記第所定の第１感度レベル及び前記所定の第２感度レベルの同一のものに対応する、請求項８２に記載のシステム。
84. 前記画像センサは光検知素子からなる２次元アレイを有し、多数のピクセル位置が複数の規則正しく離間されたピクセル行と複数の規則正しく離間されたピクセル列との交差点に位置しており、前記ピクセル列に対して前記ピクセル行が直交し、前記取込画像メモリが前記ピクセル位置における前記多数のピクセル位置の内の対応する位置で前記光検知素子によって生成される前記取込画像輝度値を記憶する、請求項７７に記載のシステム。
85. 前記オフ−グリッド位置アレイにおける前記オフ−グリッド位置は、複数の規則正しく離間された中間行と複数の規則正しく離間された中間行との各々の交差点に位置しており、各中間行は前記ピクセル行に平行すると共にピクセル行の各々の隣接対の間に延在しており、また各中間列は前記ピクセル列に平行すると共にピクセル列の各々の隣接対の間に延在している、請求項８４に記載のシステム。
86. 前記光検知素子からなる前記アレイの前記所定感度パターンは４つの異なる所定感度レベルを有すると共に４つの最も近傍のピクセル位置からなる群の各々のパターンに対応し、各群における前記４つのピクセル位置の各々が共通の所定の位置的順序でそれぞれが前記４つの所定感度レベルの異なるものに対応する、請求項８５に記載のシステム。
87. 前記オフ−グリッド位置アレイにおける前記オフ−グリッド位置は、複数の規則正しく離間された中間行と前記複数のピクセル列との各々の交差点に位置しており、複数の規則正しく離間された中間列と前記ピクセル行との交差点で、前記中間行の各々が前記ピクセル行に平行すると共に前記ピクセル行の各々の隣接対の間に延在しおり、前記中間列の各々が前記ピクセル列に平行すると共にピクセル列の各々の隣接対の間に延在している、請求項８４に記載のシステム。
88. 前記光検知素子からなる前記アレイの前記所定感度パターンは所定の第１感度レベル及び所定の第２感度レベルを有し、前記ピクセル行の各々における隣接ピクセル位置と前記ピクセル列の各々における隣接ピクセル位置がそれぞれ前記所定の第１感度レベル及び前記所定の第２感度レベルの異なるものに対応する、請求項８７に記載のシステム。
89. 前記出力画像発生器は前記出力画像の前記ピクセル画像輝度値として前記オフ−グリッド推定器によって導出された前記各々の推定オフ−グリッド輝度値を記憶するための出力画像メモリを備える、請求項７７に記載のシステム。
90. 前記出力画像発生器は、
    （ａ） 前記オフ−グリッド推定器によって導出された前記推定されたオフ−グリッド輝度亜たちを記憶するためのオフ−グリッド輝度値メモリと、
    （ｂ） 前記ピクセル位置アレイにおける前記ピクセル位置で、各々の再標本化されたオン−グリッド輝度値を前記オフ−グリッド輝度値における前記推定オフ−グリッド輝度値から導き出すためのオン−グリッド再標本化器と、
    （ｃ） 前記出力画像の前記ピクセル画像輝度値として、前記オン−グリッド再標本化器によって導出された前記各々の再標本化されたオン−グリッド輝度値を記憶するための出力画像メモリと、 を備える、請求項７７に記載のシステム。
91. 前記オフ−グリッド推定器は、
    （ａ） 前記オフ−グリッド位置アレイにおける前記オフ−グリッド位置を与えるためのオフ−グリッド位置発生器と、
    （ｂ） 前記ピクセル位置アレイにおける前記ピクセル位置の各々に対応する前記感度レベルを示すデータを記憶するための感度パターン・メモリと、
    （ｃ） 各々が光検知素子の複数の感度レベルの各々に対応し、かつ前記オフ−グリッド位置発生器からのオフ−グリッド位置及び前記感度パターン・メモリからの感度パターン・データを受信する複数の感度レベル・オフ−グリッド輝度値推定器であり、前記受信されたオフ−グリッド位置で前記対応する感度レベルに対する各々の感度レベル・オフ−グリッド輝度値を前記取込画像メモリ内の前記取込画像輝度値から導き出すために、該感度レベル・オフ−グリッド輝度値推定器の各々が前記オフ−グリッド位置発生器から受信したオフ−グリッド位置及び前記感度パターン・メモリからの前記感度パターン・データに対して応答性を示す前記複数の感度レベル・オフ−グリッド輝度値推定器と、
    （ｄ） 前記オフ−グリッド位置発生器から受信した各オフ−グリッド位置でおのおのの推定オフ−グリッド輝度値を導き出すために、前記オフ−グリッド位置発生器から受信した各オフ−グリッド位置で対応する感度レベルに対する複数の感度レベル・オフ−グリッド輝度推定器によって導出された各々の感度レベル・オフ−グリッド輝度値を結合させるための累算器と、 を備える、請求項７７に記載のシステム。
92. 前記オン−グリッド再標本化器は、
    （ｉ） 前記ピクセル位置アレイの前記ピクセル位置を与えるためのピクセル位置発生器と、
    （ｉｉ） 前記ピクセル位置発生器によって与えられたピクセル位置を受信し、さらに前記オフ−グリッド輝度値メモリにおける前記推定オフ−グリッド輝度値から、前記受信されたピクセル位置での各々の補間されたオン−グリッド輝度値を導き出すため、前記ピクセル位置発生器から受信されたピクセル位置に応答性を示す補間器と、
    （ｉｉｉ） 前記ピクセル位置発生器から受信された各ピクセル位置で各々の再標本化オン−グリッド輝度値を導き出すために、前記ピクセル位置発生器から受信された各ピクセル位置で前記補間器によって前記ピクセル位置発生器から受信された各ピクセル位置で前記補間器によって導出される前記各々の補間されたオン−グリッド輝度値を補償するためのもので、前記光検知素子の結合応答関数が前記感度レベルの異なるものを有する光検知素子の重み付け応答関数の合計であり、前記重み付け応答関数の各々が前記感度レベルの各々に対する所定の重み付け係数によって乗算された前記感度レベルの各々を有する光検知素子の応答関数である応答関数補償器と、 を備える、請求項９０に記載のシステム。
93. 前記応答関数補償器は、前記光検知素子の結合応答関数の逆数を表すデータを記憶するルックアップ・テーブル・メモリと、
    前記ルックアップ・テーブル・メモリの各々のインデックスを受信されたピクセル位置で前記補間器によって導出された前記各々の補間されたオン−グリッド輝度値から導出し、さらに前記各々のインデックスに対応する前記ルックアップ・テーブル・メモリ内の、前記受信されたピクセル位置での前記出力画像のピクセル輝度値であるデータ値を前記出力画像メモリに対して与えるマッパーと、
    を備える、請求項９２に記載のシステム。
94. 前記累算器は、前記オフ−グリッド位置発生器から受信された各オフ−グリッド位置で前記各々の推定オフ−グリッド輝度値を導き出すために、各受信されたオフ−グリッド位置で対応する感度レベルに対する複数の感度レベル・オフ−グリッド輝度値推定器によって導出された前記感度レベル・オフ−グリッド輝度値を加算するための加算器を備える、請求項９１に記載のシステム。
95. 前記累算器は、
    各々が前記光検知素子の複数の感度レベルの異なる一つに対応する複数の所定の重み係数を記憶するための重み係数メモリと、
    受信されたオフ−グリッド位置で対応する感度レベルに対して各々の重み付け感度レベル・オフ−グリッド輝度値を与えるために、前記感度レベルの各々に対応する前記重み付け係数によって受信されたオフ−グリッド位置で前記感度レベルの各々に対応する前記感度レベル−オフグリッド輝度値を各々が乗算する複数の乗算器と、
    前記オフ−グリッド位置発生器から受信された前記受信されたオフ−グリッド位置で各々の推定オフ−グリッド輝度値を導き出すために、前記複数の乗算器によって与えられた前記各々の重み付け感度レベル・オフ−グリッド輝度値を合計するための加算器と、
    を備える、請求項９１に記載のシステム。
96. 前記オフ−グリッド推定器は、
    （ａ） 前記オフ−グリッド位置アレイにおける前記オフ−グリッド位置を与えるためのオフグリッド位置発生器と、
    （ｂ） 前記ピクセル位置アレイにおける前記ピクセル位置の各々に対応する前記感度レベルを示すデータを記憶する感度パターン・メモリと、
    （ｃ） 前記オフ−グリッド位置発生器からオフ−グリッド位置を受信し、かつ前記感度パターン・メモリから感度パターン・データを受信するために、各々が感度レベルの各々に対応し、さらに前記取込画像メモリ内の前記取込画像輝度値から、前記受信されたオフ−グリッド位置での前記対応する感度レベルに対する各々の感度レベル・オフ−グリッド輝度値を導き出すために、前記オフ−グリッド位置発生器から受信されたオフ−グリッド位置及び前記感度パターン・メモリから受信された前記感度パターン・データに対して応答性を示す複数の感度レベル・オフ−グリッド輝度値推定器と、
    （ｄ） 前記オフ−グリッド位置発生器から受信された各オフ−グリッド位置で、各々の結合感度レベル・オフ−グリッド輝度値を導き出すために、前記オフ−グリッド位置発生器から受信された各オフ−グリッド位置で前記対応する感度レベルに対して、前記複数の感度レベル・オフ−グリッド輝度値推定器によって導出された前記各々の感度レベル・オフ−グリッド輝度値を結合するための累算器と、
    （ｅ） 前記オフ−グリッド位置発生器から受信された各オフ−グリッド位置で各々の推定オフ−グリッド輝度値を導き出すために、前記光検知素子の前記結合応答関数の逆数によって前記オフ−グリッド位置発生器から受信された各オフ−グリッド位置で前記各々の結合感度レベル・オフ−グリッド輝度値を補償し、前記光検知素子の重み付け応答関数の合計である前記結合応答関数が前記複数の感度レベルの異なるものを有し、また光検知素子の応答関数である前記重み付け応答関数の各々が前記感度レベルの各々について所定の重み付け係数によって乗算された前記感度レベルの各々を有する応答関数補償器と、
    を備える、請求項７７に記載のシステム。
97. 前記応答関数補償器は、
    前記光検知素子の前記結合応答関数の逆数を表すルックアップ・テーブル・データを記憶するルックアップ・テーブル・メモリと、
    前記オフ−グリッド位置発生器から受信された各オフ−グリッド位置で前記各々の結合感度レベル・オフ−グリッド輝度値から前記ルックアップ・テーブル・メモリの各々のインデックスを導出し、さらに前記オフ−グリッド位置発生器から受信された前記オフ−グリッド位置で前記各々の推定オフ−グリッド輝度値として前記各々のインデクスに対応する前記ルックアップ・テーブル・メモリ内のデータ値を与えるマッパーと、
    を備える、請求項９６に記載のシステム。
98. 前記出力画像発生器は、
    （ａ） 前記オフ−グリッド位置発生器から受信された各オフ−グリッド位置で前記応答関数補償器によって導出された前記各々の推定オフ−グリッド輝度値を記憶するためのオフ−グリッド輝度値メモリと、
    （ｂ） 前記ピクセル位置アレイの前記ピクセル位置で各々の再標本化オン−グリッド輝度値を前記オフ−グリッド輝度値メモリ内の前記推定オフ−グリッド輝度値から導き出すためのオン−グリッド再標本化器と、
    （ｃ） 前記出力画像の前記ピクセル画像輝度値として前記オン−グリッド再標本化器によって導出された前記各々の再標本化オン−グリッド輝度値を記憶するための出力画像メモリと、
    を有し、さらに前記オン−グリッド再標本化器は、
    （ｉ） 前記ピクセル位置アレイにおけるピクセル位置を与えるためのピクセル位置発生器と、
    （ｉｉ） 前記ピクセル位置発生器によって与えられたピクセル位置を受信し、また前記受信されたピクセル位置で各々の再標本化オン−グリッド輝度値を前記オフ−グリッド輝度値メモリ内の前記推定オフ−グリッド輝度値から導き出すために前記ピクセル位置発生器から受信されたピクセル位置に対して応答性を示す補間器と、
    を備える、請求項９６に記載のシステム。
99. 前記オフ−グリッド推定器の前記累算器は、 前記オフ−グリッド位置発生器から受信された各オフ−グリッド位置で前記結合感度レベル・オフ−グリッド輝度値を与えるために、前記オフ−グリッド位置発生器から受信された各オフ−グリッド位置で前記対応する感度レベルに対して前記複数の感度レベル／オフ−グリッド輝度値推定器によって導出された前記各々の感度レベル・オフ−グリッド輝度値を加算するための換算器を備える、請求項９６に記載のシステム。
100. 前記オフ−グリッド推定器は、
     各々が前記光検知素子の複数の感度レベルの異なる一つに対応する複数の所定の重み係数を格納するための重み付け係数メモリと、
     前記オフ−グリッド位置発生器から受信された前記オフ−グリッド位置で前記対応する感度レベルに対して重み付けした感度レベル・オフ−グリッド輝度値を与えるために、前記感度レベルの各々に対応する前記重み付け係数によって受信されたオフ−グリッド位置で前記感度レベルの各々に対応する前記感度レベル・オフ−グリッド輝度値を各々が乗算するための複数の乗算器と、
     前記オフ−グリッド位置発生器から受信された前記オフ−グリッド位置で前記結合感度レベル・オフ−グリッド輝度値を導き出すために前記複数の乗算器によって与えられた前記受信されたオフ−グリッド位置で前記重み付け感度レベル・オフ−グリッド輝度値を合計するための加算器と、
     を備える、請求項９６に記載のシステム。
101. 前記画像センサの前記光検知素子からなるアレイは線形アレイであり、前記ピクセル位置アレイはピクセル行の各々の規則正しく離間されたピクセル位置で多数のピクセル位置を有する線形アレイであり、さらに、前記オフ−グリッド位置アレイにおける前記オフ−グリッド位置は前記ピクセル位置アレイのピクセル位置の各々の隣接対の間に各々が位置しており、前記オフ−グリッド位置発生器から受信されたオフ−グリッド位置に対する前記複数の感度レベル・オフ−グリッド輝度推定器によって導出された前記感度レベル・オフ−グリッド輝度値は前記受信されたオフ−グリッド位置に対して最も近傍にある所定の数のピクセル位置にある各々の取込画像輝度値であり、前記所定の数の最も近傍のピクセル位置の各々が前記光検知素子の前記複数の感度レベルの異なる一つに対応する、請求項１００に記載のシステム。
102. 前記オフ−グリッド位置アレイにおける前記オフ−グリッド位置の各々は、前記線形ピクセル位置アレイにおけるピクセル位置の各々の隣接対の間の途中に位置しており、また前記光検知素子の前記所定感度パターンは所定の第１感度レベルと所定の第２感度レベルとを有し、さらに、前記オフ−グリッド位置発生器から受信されたオフ−グリッド位置Ｘ’での前記結合感度レベル・オフ−グリッド輝度値は、
     Ｂ（Ｘ’） ＝ Ｗ_１Ｉ_Ｃ（Ｘ’−０．５）＋Ｗ_２Ｉ_Ｃ（Ｘ’＋０．５）
     として表され、前記Ｂ（Ｘ’）は前記受信されたオフ−グリッド位置Ｘ’での前記結合感度レベル・オフ−グリッド輝度値、Ｗ_１はピクセル位置（Ｘ’−０．５）に対応する前記感度レベルに対する前記重み付け係数、Ｗ_２はピクセル位置（Ｘ’＋０．５）に対応する前記感度レベルに対する前記重み付け係数、Ｉ_Ｃ（Ｘ’−０．５）はピクセル位置（Ｘ’−０．５）での前記取込画像輝度値及びＩ_Ｃ（Ｘ’＋０．５）はピクセル位置（Ｘ’＋０．５）での前記取込画像輝度値、さらに前記光検知素子の前記結合応答関数は、
     Ｓ（Ｅ）＝Ｗ_１Ｐ_１（Ｅ）＋Ｗ_２Ｐ_２（Ｅ）
     で表され、Ｐ_１（Ｅ）はピクセル位置（Ｘ’−０．５）に対応する前記感度レベルを有する光検知素子のラジオメトリック応答関数、またＰ_２（Ｅ）はピクセル位置（Ｘ’＋０．５）に対応する前記感度レベルを有する光検知素子のラジオメトリック応答関数である、請求項１０１に記載のシステム。
103. 前記画像センサは光検知素子からなる２次元アレイを有し、前記多数のピクセル位置は２次元ピクセル位置アレイを規定する複数の規則正しく離間されたピクセル列と複数の規則正しく離間されたピクセル行との交差点に位置し、前記ピクセル行が前記ピクセル列に対して直交し、前記多数のオフ−グリッド位置が複数の規則正しく離間された中間行と複数の規則正しく離間された中間列との各々の交差点に位置し、前記中間行の各々は前記ピクセル行に対して平行であると共に前記ピクセル行の各々の隣接対の間に延在しており、また前記中間列の各々は前記ピクセル列に対して平行であると共に前記ピクセル列の各々の隣接対の間に延在している、請求項１００に記載のシステム。
104. 前記光検知素子からなるアレイの前記所定感度パターンは、各々の配置された４つの最も近傍のピクセル位置からなる群を有するピクセル位置アレイに対応し、各々の群の前記４つの最も近傍のピクセル位置は、共通の所定位置順序で４つの所定の感度レベルの各々に対応する、請求項１０３に記載のシステム。
105. 前記画像センサは光検知素子からなる２次元アレイを有し、前記多数のピクセル位置は２次元ピクセル位置アレイを規定する複数の規則正しく離間されたピクセル列と複数の規則正しく離間されたピクセル行との交差点に位置し、前記ピクセル行がピクセル列に対して直交し、さらに前記多数のオフ−グリッド位置が複数の規則正しく離間された中間行と前記ピクセル列との各々の交差点に位置し、また複数の規則正しく離間された中間行と前記ピクセル列との各々の交差点で、前記中間行の各々は前記ピクセル行に対して平行であると共に前記ピクセル行の各々の隣接対の間に延在しており、また前記中間列の各々は前記ピクセル列に対して平行であると共に前記ピクセル列の各々の隣接対の間に延在している、請求項１００に記載のシステム。
106. 前記光検知素子からなるアレイの前記所定感度パターンは所定の第１感度レベル及び所定の第２感度レベルを有し、前記ピクセル行の各々にある隣接ピクセル位置と前記ピクセル列の各々にあるピクセル位置とがそれぞれ所定の第１感度レベル及び所定の第２感度レベルの異なるものに対応する、請求項１００に記載のシステム。
107. 前記画像センサの前記光検知素子からなるアレイは線形アレイであり、線形取込画像輝度値アレイを形成するように、前記多数のピクセル位置がピクセル行内の各々の規則正しく離間されたピクセル位置に置かれており、前記画像センサの前記光検知素子の線形アレイは多数の露出で前記シーンの連続する規則正しく離間された線形領域に対して順次露出されるように合わせられており、前記露出の各々が各々の線形取込画像輝度値アレイを生成し、多数の露出によって生成された前記各々の線形画像取込輝度値アレイは、複数の規則正しく離間されたピクセル行と複数の規則正しく離間されたピクセル列との交差点に位置したピクセル位置アレイのピクセル位置で各々の取込画像輝度値を有する２次元取込画像輝度値アレイを形成するために、鎖状に結合されており、前記ピクセル行がピクセル列に対して直交し、前記多数のオフ−グリッド位置が前記ピクセル行と複数の規則正しく離間された中間列との各々の交差点に置かれ、前記中間列の各々が前記ピクセル列と平行すると共に前記ピクセル列の各々の隣接対間に延在している、請求項１００に記載のシステム。
108. 前記光検知素子からなるアレイの前記所定感度パターンは所定の第１感度レベル及び所定の第２感度レベルを有し、各ピクセル行における隣接ピクセル位置は前記所定の第１感度レベル及び前記所定の第２感度レベルの異なるものに対応し、各ピクセル列における隣接ピクセル位置は前記所定の第１感度レベル及び前記所定の第２感度レベルの同一のものに対応する、請求項１０７に記載のシステム。
109. 前記感度レベル・オフ−グリッド輝度値推定器と同様の感度レベルに対応し、かつ前記受信されたオフ−グリッド位置に最も近く位置したピクセル位置を決定するために、また前記感度レベル・オフ−グリッド輝度値推定器と同様の感度レベルに対応する前記最も近いピクセル位置で前記取込画像輝度値と等しくなる前記受信されたオフ−グリッド位置で感度レベル・オフ−グリッド輝度値を推定するために、前記感度レベル・オフ−グリッド輝度値推定器の各々は、前記オフ−グリッド位置発生器から受信されたオフ−グリッド位置及び前記感度パターン・メモリからの前記ピクセル位置の各々に対応する前記感度レベルを示す前記データに対して応答性を示す、請求項９１又は請求項９６に記載のシステム。
110. 前記補間器は、前記受信されたピクセル位置に対して最も近傍の所定の数のオフ−グリッド位置で前記推定オフ−グリッド輝度値と前記所定の数のオフ−グリッド位置と同様の寸法を有する補間カーネルとを計算するために、前記ピックセル位置発生器から受信されたピクセル位置に対して応答性を示す、請求項９２に記載のシステム。
111. 前記ピクセル位置発生器によって与えられた前記ピクセル位置は、複数の規則正しく離間されたピクセル行と複数の規則正しく離間されたピクセル列との交差点に位置し、前記ピクセル列は前記ピクセル行に対して直交し、また前記オフ−グリッド位置発生器によって与えられた前記オフ−グリッド位置は複数の規則正しく離間された中間行と複数の規則正しく離間された中間列との各々の交差点に位置し、前記中間行の各々は前記ピクセル行に対して平行であると共に前記ピクセル行の各々の隣接対の間の中心を延在し、前記中間列の各々は前記ピクセル列に対して平行であると共に前記ピクセル列の各々の隣接対の間の中心を延在し、さらに前記補間器は、前記ピクセル位置発生器から受信された前記ピクセル位置（ｘ，ｙ）の各々で補間されたオン−グリッド輝度値を、関係
     を用いて導き出すもので、該式中、ｘは２．５からｘサイズ−２．５までの値を有し、ｙは２．５からｙサイズ−２．５までの値を有し、Ｉ（ｘ−２，ｙ−２）はピクセル位置（ｘ−２，ｙ−２）での補間されたオン−グリッド輝度値であり、Ｂ（ｘ−１．５＋ｉ，ｙ−１．５＋ｊ）はオフ−グリッド位置（ｘ−１．５＋ｉ，ｙ−１．５＋ｊ）でのオフ−グリッド輝度値であり、Φ_ｉｊ は、指数ｉ及びｊでの４ｘ４立方補間カーネルΦの値であり、指数ｉ及びｊはそれぞれ０から３までの値を有し、ｘサイズはピクセル行の方向に沿った取込画像の寸法であり、またｙサイズはピクセル列の方向に沿った取込画像の寸法である、請求項９２に記載のシステム。
112. 前記ピクセル位置発生器によって与えられた前記ピクセル位置は、複数の規則正しく離間されたピクセル行と複数の規則正しく離間されたピクセル列との交差点に置かれ、前記ピクセル行がピクセル列に対して直交し、前記オフ−グリッド位置発生器によって与えられた前記オフ−グリッド位置は、複数の規則正しく離間された中間行と複数の規則正しく離間された中間列との各々の交差点に位置しており、前記中間行の各々は前記ピクセル行に対して平行であると共に前記ピクセル行の各々の隣接対の間の中心を延在し、前記中間列の各々は前記ピクセル列に対して平行であると共に前記ピクセル列の各々の隣接対の間の中心を延在し、さらに前記補間器は、前記ピクセル位置発生器から受信された前記ピクセル位置（ｘ，ｙ）の各々における前記再標本化オン−グリッド輝度値を、関係
     を用いて導き出すもので、該式中、ｘは２．５からｘサイズ−２．５までの値を有し、ｙは２．５からｙサイズ−２．５までの値を有し、Ｉ（ｘ−２，ｙ−２）はピクセル位置（ｘ−２，ｙ−２）での前記再標本化オン−グリッド輝度値であり、Ｂ（ｘ−１．５＋ｉ，ｙ−１．５＋ｊ）はオフ−グリッド位置（ｘ−１．５＋ｉ，ｙ−１．５＋ｊ）でのオフ−グリッド輝度値であり、Φ_ｉｊ は、指数ｉ及びｊでの４ｘ４立方補間カーネルΦの値であり、指数ｉ及びｊはそれぞれ０から３までの値を有し、ｘサイズはピクセル行の方向に沿った取込画像の寸法であり、またｙサイズはピクセル列の方向に沿った取込画像の寸法である、請求項９８に記載のシステム。
113. 前記ピクセル位置発生器によって与えられた前記ピクセル位置は、複数の規則正しく離間されたピクセル列と複数の規則正しく離間されたピクセル行との交差点に置かれ、前記ピクセル行がピクセル列に対して直交し、前記オフ−グリッド発生器によって与えられた前記オフ−グリッド位置は、複数の規則正しく離間された中間行とピクセル列との各々の交差点に位置しており、前記中間行の各々は前記ピクセル行に対して平行であると共に前記ピクセル行の各々の隣接対の間の中心を延在し、前記中間列の各々は前記ピクセル列に対して平行であると共に前記ピクセル列の各々の隣接対の間の中心を延在し、さらに前記補間器は、前記ピクセル位置発生器から受信された前記ピクセル位置（ｘ，ｙ）の各々における前記補間されたオン−グリッド輝度値を関係
     を用いて導き出すもので、該式中、ｘは２．５からｘサイズ−２．５までの値を有し、ｙは２．５からｙサイズ−２．５までの値を有し、Ｉ（ｘ−２，ｙ−２）はピクセル位置（ｘ−２，ｙ−２）での前記補間されたオン−グリッド輝度値であり、Ｂ（ｘ−１．５＋ｉ，ｙ−１．５＋０．５ｉ＋０．５ｊ）はオフ−グリッド位置（ｘ−１．５＋ｉ，ｙ−１．５＋０．５ｉ＋０．５ｊ）でのオフ−グリッド輝度値であり、Φ_ｉｊ は、指数ｉ及びｊでの４ｘ４立方補間カーネルΦの値であり、指数ｉ及びｊはそれぞれ０から３までの値を有し、ｘサイズはピクセル行の方向に沿った取込画像の寸法であり、またｙサイズはピクセル列の方向に沿った取込画像の寸法である、請求項９２に記載のシステム。
114. 前記ピクセル位置発生器によって与えられた前記ピクセル位置は、複数の規則正しく離間されたピクセル行と複数の規則正しく離間されたピクセル列との交差点に置かれ、前記ピクセル行がピクセル列に対して直交し、前記オフ−グリッド位置発生器によって与えられた前記オフ−グリッド位置は、複数の規則正しく離間された中間行とピクセル列との各々の交差点に位置しており、前記中間行の各々は前記ピクセル行に対して平行であると共に前記ピクセル行の各々の隣接対の間の中心を延在し、前記中間列の各々は前記ピクセル列に対して平行であると共に前記ピクセル列の各々の隣接対の間の中心を延在し、さらに前記補間器は、前記ピクセル位置発生器から受信された前記ピクセル位置（ｘ，ｙ）の各々における前記再標本化オン−グリッド輝度値を関係
     を用いて導き出すもので、該式中、ｘは２．５からｘサイズ−２．５までの値を有し、ｙは２．５からｙサイズ−２．５までの値を有し、Ｉ（ｘ−２，ｙ−２）はピクセル位置（ｘ−２，ｙ−２）での前記再標本化オン−グリッド輝度値であり、Ｂ（ｘ−１．５＋ｉ，ｙ−１．５＋０．５ｉ＋０．５ｊ）はオフ−グリッド位置（ｘ−１．５＋ｉ，ｙ−１．５＋０．５ｉ＋０．５ｊ）でのオフ−グリッド輝度値であり、Φ_ｉｊ は、指数ｉ及びｊでの４ｘ４立方補間カーネルΦの値であり、指数ｉ及びｊはそれぞれ０から３までの値を有し、ｘサイズはピクセル行の方向に沿った取込画像の寸法であり、またｙサイズはピクセル列の方向に沿った取込画像の寸法である、請求項９８に記載のシステム。
115. 前記４ｘ４立方補間カーネルΦは、
     の形式を有する、請求項１１１又は１１２に記載のシステム。
116. 前記ピクセル位置発生器によって与えられた前記ピクセル位置は、線形ピクセル位置アレイを規定するピクセル行において各々の規則正しく離間されたピクセル位置であり、前記オフ−グリッド位置によって与えられた前記オフ−グリッド位置はそれぞれ前記ピクセル位置行におけるピクセル位置の各々の隣接対の中間点に位置し、さらに前記補間器は、前記ピクセル位置発生器から受信された前記ピクセル位置ｘの各々で前記標本化オン−グリッド輝度値を、関係
     を用いて導き出すもので、該式中、ｘは３．５からｘサイズ−３．５までの値を有し、Ｉ_０（ｘ−３）はピクセル位置（ｘ−３）での前記再標本化オン−グリッド輝度値であり、Ｂ（ｘ＋ｋ）はオフ−グリッド位置（ｘ＋ｋ）での前記推定オフ−グリッド輝度値であり、ｋは４ｘ１立方補間カーネルΨの値であり、Ψ（ｋ）は位置ｋでの前記立方補間カーネルΨの値、前記位置ｋは−１．５から１．５の値を有し、さらにｘサイズは取込画像の寸法である、請求項９８に記載のシステム。
117. 前記４ｘ１立方補間カーネルΨは、
     の形式を有する、請求項１１６に記載のシステム。
118. 前記画像センサは、離間した直交の行及び列状にフォトダイオードからなるアレイを有する主席回路電荷結合素子であり、前記フォトダイオードの各々は、入射光に対する露出に適合した光検出面を有すると共に光発生電荷を保存するためにおベレーティブにバイアスされており、前記電荷結合素子は前記フォトダイオードの所定のものの感光面を覆うように形成された各々の集積レンズを有し、各集積レンズは入射光を前記各々の光検出面上に前記入射光を集束させ、それによって前記集積レンズが前記光検出面を覆うように形成されているかどうかによって前記フォトダイオードの各々の前記感度レベルが決定される、請求項７７に記載のシステム。
119. 前記画像センサは、離間した直交の行及び列状にフォトダイオードからなるアレイを有する主席回路電荷結合素子であり、前記フォトダイオードの各々は、入射光に対する露出に適合した光検出面を有すると共に光発生電荷を保存するためにオペレーティブにバイアスされており、前記フォトダイオードの各々は前記光検出面を覆うように形成された集積光フィルターを有し、各集積光フィルターの透過性は前記電荷結合素子の製造中固定されており、それによって前記フォトダイオードの各々の前記感度レベルは前記光検出面を覆う前記集積光フィルターの透過性によって決定される、請求項７７に記載のシステム。
120. 前記画像センサは、離間した直交の行及び列状にフォトダイオードからなるアレイを有する主席回路電荷結合素子であり、前記フォトダイオードの各々は、入射光に対する露出に適合した光検出面を有すると共に光発生電荷を保存するためにオペレーティブにバイアスされており、不透明層が形成された前記電荷結合素子は、前記フォトダイオードの各々の光検出面上の前記不透明層に形成された各々のアパーチャを有するフォトダイオードからなるアレイを覆い、前記フォトダイオードの各々の光検出面上の前記アパーチャの各々の寸法は前記電荷結合素子の製造中固定されており、それによって前記アレイにおける前記フォトダイオードの各々の感度レベルが前記光検出面上の前記アパーチャの寸法によって決定される、請求項７７に記載のシステム。
121. 前記画像センサは、離間した直交の行及び列状に多数のフォトダイオードを有する主席回路電荷結合素子であり、前記フォトダイオードの各々は、入射光に対する露出に適合した光検出面を有すると共に光発生電荷を保存するためにオペレーティブにバイアスされており、前記電荷結合素子は、前記フォトダイオードからなる列が対応の垂直シフト・レジスタに隣接されて各々配置されており、各フォト・ダイオードは、前記フォトダイオードから前記対応の垂直シフト・レジスタへの保存光発生電荷の移動を制御するための関連転送ゲート電極を有し、前記フォトダイオードの各々の前記保存光発生電荷はオペレーティブに周期的に前記素子への周期的リセット・パルスの印加によって周期的に取り除かれ、前記フォトダイオードの各々に保存された前記光発生電荷は、前記関連転送ゲート電極に対するトランスファトリガー・パルスの印加によって前記対応の垂直シフト・レジスタの各々のステージへオペレーティブに転送されると共に１つの露出間隔に対して集積され、前記各々の転送トリガー・パルスは、所定の周期で前記フォトダイオードに関連した前記転送ゲート電極に対してオペレーティブに印加され、それによって前記アレイにおける前記フォトダイオードの各々の前記感度は前記転送ゲート電極に印加せれた前記転送トリガー・パルスの周期によって決定される、請求項７７に記載のシステム。
122. 前記オフ−グリッド推定器は、
     （ａ） 前記ピクセル位置アレイにおける前記ピクセル位置を与えるためのピクセル位置発生器と、
     （ｂ） 前記ピクセル位置の各々に対応する前記感度レベルを記憶するための感度パターン・メモリと、
     （ｃ） 前記ピクセル位置発生器からの前記ピクセル位置アレイのピクセル位置と、前記感度パターン・メモリからの前記受信されたピクセル位置に対応する前記感度レベル及び前記取込画像メモリからの前記受信されたピクセル位置に対応する取込画像輝度値に対応する感度レベルを示し、前記ピクセル位置発生器から受信されたピクセル位置に対して応答性を示すデータと、前記受信されたピクセル位置で前記取込画像輝度値を前記取込画像メモリから検索するために、また前記ピクセル位置発生器から受信された前記ピクセル位置で各々の補償された輝度値を与えるために、前記受信されたピクセル位置に対応する前記感度レベルを有する光検出素子の応答関数の逆数によって前記受信されたピクセル位置で前記検索された取込画像輝度値を補償するために、前記受信されたピクセル位置に対応する前記感度レベルを示すデータとを受信する応答関数補償器と、
     （ｄ） 前記応答関数補償器によって導出された各々の補償された取込画像輝度値を記憶するための補償オン−グリッド輝度値と、 （ｅ） 前記オフ−グリッド位置アレイにおける前記オフ−グリッド位置を与えるためのオフグリッド位置発生器と、；
     （ｆ） 前記補償されたオン−グリッド輝度値メモリにある前記補償された取込画像輝度値から前記オフ−グリッド位置発生器から受信された前記オフ−グリッド位置での各々の推定オフ−グリッド輝度を導き出すために、前記オフ−グリッド位置発生器からオフ−グリッド位置を受信すると共に前記オフ−グリッド位置発生器から受信されたオフ−グリッド位置に対して応答性がある疑似逆数推定器と、 を有する請求項７７に記載のシステム。
123. 前記出力画像発生器は、
     （ｉ） 前記疑似逆数推定器によって導出された前記各々の推定オフ−グリッド輝度値を記憶するためのオフ−グリッド輝度値メモリと、
     （ｉｉ） 前記オフ−グリッド輝度値メモリにある前記推定オフ−グリッド輝度値から前記ピクセル位置アレイの前記ピクセル位置における各々のオン−グリッド再標本化輝度値を導き出すためのオン−グリッド再標本化器と、
     （ｉｉｉ） 前記出力画像のピクセル画像輝度値として前記オン−グリッド再標本化器によって導出された前記各々の再標本化オン−グリッド輝度値を記憶するための出力画像メモリと、
     を有し、前記オン−グリッド再標本化器は、
     （１） 前記ピクセル位置アレイにおける前記ピクセル位置を与えるための第２のピクセル位置発生器と、
     （２） 前記オフ−グリッド輝度値メモリにある前記推定オフ−グリッド輝度値から、前記第２のピクセル位置発生器から受信された前記ピクセル位置における前記再標本化オン−グリッド輝度値を導き出すために、前記ピクセル位置発生器からピクセル位置を受信すると共に前記ピクセル位置発生器からのピクセル位置に対して応答性を示す補間器と、を備える、請求項１２２に記載のシステム。
124. 前記応答関数補償器は、 前記複数の感度レベルの異なる一つを有する光検知素子における各々の応答関数の逆数を表す別々のルックアップ・テーブル・データを記憶するルックアップ・テーブル・メモリと、 前記受信されたピクセル位置に対応する前記感度レベルを有する光検知素子の前記応答関数の逆数を表す前記ルックアップ・テーブル・データに対する各々の指数を導出し、前記補償されたオン−グリッド輝度値メモリに対する指数に対応する補償されたオン−グリッド輝度値を与えるために、前記第１のピクセル位置から受信した前記ピクセル位置における前記取込画像輝度値を前記取込画像メモリから受信するマッパーと、 を備える、請求項１２２に記載のシステム。
125. 前記疑似逆数推定器は、 前記オフ−グリッド位置から受信されたオフ−グリッド位置に対して最も近傍にある所定数のピクセル位置における各々の補償されたオン−グリッド輝度値を前記補償されたオン−グリッド再標本化輝度値メモリから検索するために、前記受信されたオフ−グリッド位置に対して応答性を示す手段と、
     前記最も近傍のピクセル位置での前記各々の補償されたオン−グリッド輝度値それぞれを所定の低閾値及び所定の高閾値と比較する比較器と、
     前記所定の低閾値よりも大きく、かつ前記所定の高閾値よりも低い前記最も近傍のピクセル位置にある補償されたオン−グリッド輝度値の合計を計算する加算器手段と、
     前記合計に含まれる前記補償されたオン−グリッド輝度値の数によって前記加算器により計算された前記合計を除算する除算器と、
     を備える、請求項１２２に記載のシステム。
126. 前記ピクセル位置発生器によって与えられた前記ピクセル位置は、複数の規則正しく離間されたピクセル行と複数の規則正しく離間されたピクセル列との交差点であり、前記ピクセル行がピクセル列に対して直交し、前記オフ−グリッド位置発生器によって与えられた前記オフ−グリッド位置は、複数の規則正しく離間せれた中間行と複数の規則正しく離間された中間列との各々の交差点に位置し、前記中間行の各々は前記ピックセル行に対して平行であると共に前記ピクセル行の各々の隣接対の間の中央に延在し、各中間列は前記ピクセル列に対して平行であると共に前記ピクセル列の各々の隣接対の間の中央に延在し、さらに前記オフ−グリッド位置発生器によって与えられた前記オフ−グリッド位置は座標（ｘ’，ｙ’）を有するもので、ｘ’は１からｘサイズ−１までの値を有し、またｙ’は１からｙサイズ−１までの値を有し、ｘサイズはピクセル行の方向に沿った前記取込画像の寸法であり、ｙサイズはピクセル列の方向に沿った前記取込画像の寸法である、請求項１２２に記載のシステム。
127. 前記光検知素子からなる前記アレイの前記所定感度パターンは、繰り返して配置された４つの最も近傍のピクセル位置からなる群に対応し、各群における前記４つの最も近傍のピクセル位置は、一つの共通の所定位置順序にある４つの所定感度レベルの各々に対応する、請求項１２６に記載のシステム。
128. 前記オフ−グリッド位置発生器から受信されたオフ−グリッド位置（ｘ’，ｙ’）で前記各々の輝度値を推定するための前記疑似逆数推定器は、
     （ｉ） ４ｘ４立方補間器カーネルΦを記憶するためのメモリと、
     （ｉｉ） 前記受信されたオフ−グリッド位置（ｘ’，ｙ’）に最も近傍にある１６個のピクセル位置（ｕ，ｖ）の各々における前記補償されたオン−グリッド輝度値を所定の低閾値及び所定の高閾値と比較するための比較器と、
     （ｉｉｉ） 前記所定の低閾値よりも高く、かつ前記所定の高閾値よりも低い補償されたオン−グリッド輝度値を有する前記１６個の最も近傍のピクセル位置（ｕ，ｖ）の各々に対して、関係ｉ＝ｘ’−ｕ−１．５及びｊ＝ｙ’−ｖ−１．５（式中、ｕはｘ’−１．５からｘ’＋１．５までの値を有し、ｃはｙ’−１．５からｙ’＋１．５までの値を有する）を用いて前記４ｘ４立方補間器カーネルΦの指数ｉ及びｊを計算するための第１の計算手段と、
     （ｉｖ） 前記第１の計算手段によって計算された指数ｉ及びｊを用いて、前記所定の低閾値よりも高く、かつ前記所定の高閾値よりも低い補償されたオン−グリッド輝度値を有する前記１６個の最も近傍のピクセル位置（ｕ，ｖ）における各補償されたオン−グリッド輝度値Ｉ（ｕ，ｖ）についての量
     （式中、Φｍｎは指数ｍ及びｎでの前記４ｘ４立方補間器カーネルΦの値）
     を計算するための第２の計算手段と、
     （ｖ） 前記第１の計算手段によって計算されたｉ及びｊの値に対して、量Φ^２ _ｉｊを計算するための第３の計算手段と、
     （ｖｉ） 第１の合計ｓを導き出すために前記第２の計算手段によって計算された前記量
     を加算するための第１の加算器と、
     （ｖｉｉ） 第２の合計ｗを導くために前記第３の計算手段によって計算された量Φ^２ _ｉｊを加算するための第２の加算器と、
     （ｖｉｉｉ） 前記第２の合計ｗによって前記第１の合計ｓを除算することで前記受信されたオフ−グリッド位置（ｘ’，ｙ’）における前記推定されたオフ−グリッド輝度値を導く除算器と、 を備える、請求項１２６に記載のシステム。
129. 前記ピクセル位置発生器によって与えられた前記ピクセル位置は、複数の規則正しく離間されたピクセル行と複数の規則正しく離間されたピクセル列との交差点であり、前記オフ−グリッド位置発生器によって与えられた前記オフ−グリッド位置は、複数の規則正しく離間せれた中間行と複数の規則正しく離間された中間列との各々の交差点に位置し、前記中間行の各々は前記ピックセル行に対して平行であると共に前記ピクセル行の各々の隣接対の間の中央に延在し、各中間列は前記ピクセル列に対して平行であると共に前記ピクセル列の各々の隣接対の間の中央に延在し、前記オフ−グリッド位置発生器によって与えられた前記オフ−グリッド位置は座標（ｘ’，ｙ’）を有するもので、前記ピクセル行及び前記中間列の各々の交差点に位置したオフ−グリッド位置についてｘ’は１からｘサイズ−１までの値を有し、またｙ’は０．５からｙサイズ−０．５までの値を有し、さらに前記ピクセル列と前記中間行との各々の交差点に位置したオフ−グリッド位置についてはｘ’は０．５からｙサイズ−０．５までの値を有し、またｙ’は０．１からｙサイズ−１までの値を有し、ｘサイズはピクセル行の方向に沿った前記取込画像の寸法であり、ｙサイズはピクセル列の方向に沿った前記取込画像の寸法である、請求項１２２に記載のシステム。
130. 前記光検知素子からなる前記アレイの前記所定感度パターンは、所定の第１感度レベル及び所定の第２感度レベルを有し、各ピクセル行における隣接ピクセル位置及び各ピクセル行における隣接ピクセル位置は、前記所定の第１感度レベル及び前記所定の第２感度レベルに対応する請求項１２９のシステム。
131. 前記オフ−グリッド位置発生器から受信されたオフ−グリッド位置（ｘ’，ｙ’）での前記各々のオフ−グリッド輝度値を推定するための前記疑似逆数推定器は、
     （ｉ） ４ｘ４立方補間カーネルΦを記憶するためのメモリと、
     （ｉｉ） 関係ｕ＝ｘ’＋０．５ｉ−０．５ｊ及びｖ＝ｙ’−１．５＋０．５ｉ＋０．５ｊ（式中、ｉ及びｊが前記４ｘ４立方補間カーネルΦの指数であり、前記指数ｉ及びｊの各々が０から３までの値を有する）を用いて座標（ｕ，ｖ）を計算するために前記オフ−グリッド位置発生器から受信されたオフ−グリッド位置（ｘ’，ｙ’）い対する応答性を示す第１の計算手段と、
     （ｉｉｉ） 前記座標（ｕ，ｖ）がピクセル位置のものであるかどうかを判断するために、前記第１の計算手段によって計算された座標（ｕ，ｖ）からなる各々の対に対する応答性を示す手段と、
     （ｉｖ） 前記ピクセル位置（ｕ，ｖ）での前記補償されたオン−グリッド輝度値Ｉ（ｕ，ｖ）を前記所定の低閾値及び前記所定の高閾値と比較するために、ピクセル位置の座標である前記座標（ｕ，ｖ）に対して応答性を示す比較器と、
     （ｖ） 前記量
     （式中、ｉ及びｊの値は前記座標（ｕ，ｖ）を計算するために前記第１の計算手段によって使用されるｉ及びｊであり、さらにΦ_ｍｎは指数ｍ及びｎでの前記４ｘ４立方補間カーネルΦの値である）
     を計算するために、前記ピクセル位置の座標である前記座標（ｕ，ｖ）と、所定の低閾値よりも大きく、かつ所定の高閾値よりも低い前記ピクセル位置（ｕ，ｖ）における前記補償されたオン−グリッド輝度値Ｉ（ｕ，ｖ）とに対して応答性を示す第２の計算手段と、
     （ｖｉ） 前記補償されたオン−グリッド輝度値Ｉ（ｕ，ｖ）が前記所定の低閾値よりも高く、かつ前記所定の高閾値よりも低いピクセル位置座標（ｕ，ｖ）を計算するために、前記第１の計算手段によって使用されたｉ及びｊの値について前記量Φ^２ _ｉｊを計算するための第３の計算手段と、
     （ｖｉｉ） 第１の合計ｓを導き出すために前記第２の計算手段によって計算された前記量
     を加算するための第１の加算器と、
     （ｖｉｉｉ） 第２の合計ｗを導くために前記第３の計算手段によって計算された量Φ^２ _ｉｊを加算するための第２の加算器と、
     （ｖｉｉｉ） 前記第２の合計ｗによって前記第１の合計ｓを除算することで前記オフ−グリッド位置発生器から受信された前記オフ−グリッド位置（ｘ’，ｙ’）における前記推定されたオフ−グリッド輝度値を導く除算器と、 を備える、請求項１２９に記載のシステム。
132. 前記４ｘ４立方補間カーネルΦは、
     の形式を備える、請求項１３１に記載のシステム。
133. 前記ピクセル位置発生器によって与えられた前記ピクセル位置は、線形ピクセル位置アレイにある各々の規則正しく離間されたピクセル位置に位置しており、前記オフ−グリッド位置発生器によって与えられた前記オフ−グリッド位置は前記線形ピク得る位置アレイにおけるピクセル位置の各々の隣接対の間の中間点にそれぞれが位置しており、前記光検知素子の前記所定感度パターンは所定の第１感度レベルと所定の第２感度レベルとを有し、前記線形ピクセル位置アレイの隣接ピクセル位置はそれぞれが前記所定の第１感度レベル及び前記所定の第２感度レベルの異なるものと対応する、請求項１２２に記載のシステム。
134. 前記ピクセル位置発生器によって与えられた前記ピクセル位置は、０．５からｘサイズ−０．５までの値を有し、ｘサイズは前記取込ライン画像の寸法であり、前記オフ−グリッド位置発生器によって与えられた前記オフ−グリッド位置は２からｘサイズ−２までの値を備える、請求項１３３に記載のシステム。
135. 前記オフ−グリッド位置発生器によって受信されたオフ−グリッド位置ｘ’における前記各々の輝度値を推定するための疑似逆数推定器は、
     （ｉ） ４ｘ４ガウシアン補間カーネルＧを記憶するためのメモリと、
     （ｉｉ） 前記受信されたオフ−グリッド位置ｘ’に最も近傍にある４つのピクセル位置ｋ（ｋはｘ’−１．５からｘ’＋１．５までの値）の各々で前記補償されたオン−グリッド輝度値Ｉ（ｋ）を所定の低閾値及び所定の高閾値と比較するための比較器と、
     （ｉｉｉ） 前記所定の低閾値よりも高く、かつ前記所定の高閾値よりも低い前記４つの最も近傍のピクセル位置ｋにおける前記補償されたオン−グリッド輝度値Ｉ（ｋ）の各々に対して量Ｉ（ｋ）Ｇ（ｋ−ｘ’）（式中、Ｇ（ｋ−ｘ’）は位置（ｋ−ｘ’）におけるガウシアン補間カーネルＧの値）を計算するための第１の計算手段と、
     （ｉｖ） 第１の合計ｐを導き出すために、前記所定の低閾値よりも高く、かつ前記所定の高閾値よりも低いＩ（ｋ）の全ての値について前記量Ｉ（ｋ）Ｇ（ｋ−ｘ’）を加算するための第１の加算器と、
     （ｖ） 第２の合計ｑを導き出すために、Ｉ（ｋ）が前記所定の低閾値よりも高く、かつ前記所定の高閾値よりも低いｋの全ての値について前記ガウシアン補間カーネル値Ｇ（ｋ−ｘ’）を加算するための第２の加算器と、
     （ｖｉ） 前記オフ−グリッド位置発生器から受信された前記オフ−グリッド位置ｘ’で前記推定されたオフ−グリッド輝度値Ｂ（ｘ’）を導き出すための除算器と、
     を備える、請求項１３４に記載のシステム。
136. 前記所定の低閾値は、前記光検知素子の前記応答関数の逆数によって補償された比較されている前記補償されたオン−グリッド輝度値の前記ピクセル位置に対応する感度レベルを有する前記光検出素子のノイズ・レベルであり、前記所定の高閾値は比較されている前記補償されたオン−グリッド輝度値に対応する前記感度レベルを有する光検知素子の飽和又は近飽和輝度値である、請求項１２５、１２８、１３１、又は１３５に記載のシステム。
137. 前記第２のピクセル位置発生器によって与えられた前記ピクセル位置アレイの前記ピクセル位置は、線形ピクセル位置アレイの各々の規則正しく離間されたピクセル位置に置かれ、前記オフ−グリッド位置発生器によって与えられた前記オフ−グリッド位置における前記オフ−グリッド位置アレイはそれぞれ前記線形ピクセル位置アレイのピクセル位置の各々の隣接対の間に置かれる、請求項１２３に記載のシステム。
138. 前記第２のピクセル位置発生器によって与えられた前記ピクセル位置アレイの前記ピクセル位置は、複数の規則正しく離間されたピクセル行と複数の規則正しく離間されたピクセル列との交差点に位置し、前記ピクセル行が前記ピクセル列に対して直交し、前記オフ−グリッド位置発生器によって与えられた前記オフ−グリッド位置アレイにおける前記オフ−グリッド位置は、複数の規則正しく離間された中間行と複数の規則正しく離間された中間列との各々の交差点に位置し、各中間行は前記ピクセル行に対して平行であると共に前記ピクセル行の各々の隣接対の間に延在しており、また各中間列は前記ピクセル列に対して平行であると共に前記ピクセル列の各々の隣接対の間に延在している、請求項１２３に記載のシステム。
139. 前記第２のピクセル位置発生器によって与えられた前記ピクセル位置アレイの前記ピクセル位置は、複数の規則正しく離間されたピクセル行と複数の規則正しく離間されたピクセル列との交差点に位置し、前記ピクセル行が前記ピクセル列に対して直交し、前記オフ−グリッド位置発生器によって与えられた前記オフ−グリッド位置アレイにおける前記オフ−グリッド位置は、複数の規則正しく離間された中間列と前記ピクセル行との各々の交差点に位置し、前記中間ピクセル列の各々は前記ピクセル列に対して平行であると共にピクセル列の各々の隣接対の間に延在している、請求項１２３に記載のシステム。
140. 前記補間器は、 前記ピクセル位置アレイに一致するように前記オフ−グリッド位置アレイをシフトさせるための手段を有し、それによって前記ピクセル位置アレイの各ピクセル位置における前記再標本化オン−グリッド輝度値は前記シフトされたオフ−グリッド位置アレイの一致オフ−グリッド位置での前記推定されたオフ−グリッド輝度値に等しい、請求項１３７、１３８、又は１３９に記載のシステム。
141. 前記補間器は、前記第２のピクセル位置発生器から受信されたピクセル位置において、前記受信されたピクセル位置に最も近い所定数のオフ−グリッド位置における各々の推定オフ−グリッド輝度値と前記所定数のオフ−グリッド位置と同一の寸法を有する補間カーネルとの積を計算することによって、各々の再標本化オン−グリッド輝度値を導き出す、請求項１３８に記載のシステム。
142. 前記複数の中間行は、各々がピクセル行の各々の隣接対の間の中央に延在し、前記複数の規則正しく離間された中間列は、各々がピクセル列の各々の隣接対の間の中央に延在し、前記第２のピクセル位置発生器によって与えられた前記ピクセル位置は、座標（ｘ，ｙ）を有し、ｘは２．５からｘサイズ−２．５までの値であり、ｙは２．５からｙサイズ−２．５までの値であり、またｘサイズはピクセル行の方向に沿った取込画像の寸法であり、またｙサイズはピクセル列の方向に沿った取込画像の寸法である、請求項１４１に記載のシステム。
143. 前記補間器は、関係
     （式中、Ｉ（ｘ−２，ｙ−２）はピクセル位置（ｘ−２，ｙ−２）における再標本化オン−グリッド輝度値、Ｂ（ｘ−１．５＋ｉ，ｙ−１．５＋ｊ）はオフ−グリッド位置（ｘ−１．５＋ｉ，ｙ−１．５＋ｊ）における前記推定されたオフ−グリッド輝度値であり、Φ_ｉｊは指数ｉ及びｊにおける前記４ｘ４立方補間カーネルΦの値であり、さらに指数ｉ及びｊは０から３までの値を有する）
     にもとづいて各々の再標本化オン−グリッド輝度値を導き出すために、前記第２のピクセル発生器から受信されたピクセル位置に対して応答性を示す、請求項１４２に記載のシステム。
144. 前記第２のピクセル位置発生器によって与えられた前記ピクセル位置は、複数の規則正しく離間されたピクセル行と複数の規則正しく離間されたピクセル列との交差点に位置しており、前記ピクセル行がピクセル列に対して直交し、複数の規則正しく離間された中間行と前記ピクセル列との各々の交差点、及び複数の規則正しく離間された中間列及び前記ピクセル行の各々の交差点に位置しており、前記中間行の各々は前記ピックセル行に対して平行であると共に前記ピクセル行の各々の隣接対の間の中央に延在し、各中間列は前記ピクセル列に対して平行であると共に前記ピクセル列の各々の隣接対の間の中央に延在し、前記第２のピクセル位置発生器によって生成される前記ピクセル位置は、ｘが２．５からｘサイズ−２．５までの値であり、かつｙが２．５からｙサイズ−２．５までの値であり、ｘサイズがピクセル行の方向に沿った取込画像の寸法であり、またｙサイズはピクセル列の方向に沿った取込画像の寸法である．座標（ｘ，ｙ）を有する、請求項１２３に記載のシステム。
145. 前記補間器は、関係
     （式中、Ｉ（ｘ−２，ｙ−２）はピクセル位置（ｘ−２，ｙ−２）における再標本化オン−グリッド輝度値、Ｂ（ｘ＋０．５−０．５ｊ，ｙ−１．５＋０．５ｉ＋０．５ｊ）はオフ−グリッド位置（ｘ＋０．５−０．５ｊ，ｙ−１．５＋０．５ｉ＋０．５ｊ）における前記オフ−グリッド輝度値であり、Φ_ｉｊは指数ｉ及びｊにおける前記４ｘ４立方補間カーネルΦの値であり、さらに指数ｉ及びｊは０から３までの値を有する）
     にもとづいて各々の再標本化オン−グリッド輝度値を導き出すために、前記第２のピクセル発生器から受信されたピクセル位置に対して応答性を示す、請求項１４４に記載のシステム。
146. 前記４ｘ４立方補間カーネルΦは、
     の形式を有する、請求項１２８又は１４３に記載のシステム。
147. 前記補間カーネルは２次元ガウシアン・カーネルである、請求項１４１に記載のシステム。
148. 前記２次元ガウシアン・カーネルは、
     の形式を有する、請求項１４７に記載のシステム。
149. 前記補間カーネルは２立方Ｂスプライン補間フィルタ・カーネルである、請求項１４１に記載のシステム。
150. 前記２立方Ｂスプライン補間フィルタ・カーネルは、
     の形式を有する、請求項１４９に記載のシステム。
151. 前記補間カーネルは２線形補間フィルタ・カーネルである、請求項１４１に記載のシステム。
152. 前記２線形補間フィルタ・カーネルは、
     の形式を有する、請求項１５１に記載のシステム。
153. 前記オフ−グリッド位置発生器によって与えられた前記オフ−グリッド位置は、各々が前記線形ピクセル位置アレイにおけるピクセル位置の各々の隣接対の間の中間点に位置しており、前記第２のピクセル位置発生器によって与えられた前記ピクセル位置は、ｘが３．５からｘサイズ−３．５まで、またｘサイズが前記取込ライン画像の寸法である座標ｘを有する、請求項１３７に記載のシステム。
154. 前記補間器は、関係
     （式中、Ｉ０（ｘ−３）はピクセル位置（ｘ−３）における再標本化オン−グリッド輝度値、Ｂ（ｘ＋ｋ）はオフ−グリッド位置（ｘ＋ｋ）における前記推定されたオフ−グリッド輝度値であり、ｋは４ｘ１立方補間カーネルΨの値であり、さらにΨ（ｋ）は位置ｋにおける前記立方補間カーネルΨの値であり、さらに位置ｋは−１．５から１．５までの値である）
     にもとづいて各々の再標本化オン−グリッド輝度値を導き出すために、前記第２のピクセル発生器から受信されたピクセル位置に対して応答性を示す、請求項１５３に記載のシステム。
155. 前記４ｘ１立方補間カーネルΨは、
     の形式を有する、請求項１５４のシステム。
156. １つのシーンから画像を取り込むために、前記シーンからの入射光に対する露出に適した相対的に低いダイナミックレンジの画像センサを用いて前記シーンの相対的に高ダイナミックレンジ画像を得るためのシステムであって、
     （ａ） アレイ状となった多数の光検知素子を有し、該光センサの各々が前記光検知素子からなるアレイに対する所定感度パターンに基づいて入射光に対する複数の感度レベルのうちの特定の一つを有すると共に応答関数を有し、前記光検知素子の各々は前記シーンからの入射光に応じてピクセル位置アレイにおける多数のピクセル位置のうちの対応する一つで取込画像輝度値を生成し、それによって多数のピクセル位置の各々が前記光検知素子の前記複数の感度レベルのうちの特定の一つに対応する、画像センサと、
     （ｂ） 前記ピクセル位置アレイのピクセル位置で前記光検知素子によって生成された各々の取込画像輝度値を記憶するための取込画像メモリと、
     （ｃ） 前記ピクセル位置アレイの前記ピクセル位置を与えるためのピクセル位置発生器と、
     （ｄ） 前記ピクセル位置発生器からの前記ピクセル位置が受信され、前記ピクセル位置発生器から受信されたピクセル位置に対する応答性を示し、前記取込画像メモリにある前記取込画像輝度値から、前記受信されたピクセル位置における各々の出力画像輝度値を導き出し、前記出力画像輝度値が対応する複数の取込画像輝度値から導き出されるオン−グリッド輝度値発生器と、
     （ｅ） 前記オン−グリッド輝度値発生器によって導き出された前記ピクセル位置発生器から受信された各ピクセル位置における前記各々の出力画像輝度値を記憶するための出力画像メモリと、
     を備える、システム。
157. 前記画像センサの光検知素子からなる前記アレイは２次元アレイであり、また前記ピクセル位置アレイは線形ピクセル位置行において規則正しく離間されたピクセル位置を有する線形アレイである、請求項１５６に記載のシステム。
158. 前記画像センサの光検知素子からなる前記アレイは２次元アレイであり、また前記ピクセル位置アレイは複数の規則正しく離間されたピクセル行と複数の規則正しく離間されたピクセル列との交差点に位置したピクセル位置を有する２次元アレイであり、前記ピクセル行がピクセル列に対して直交し、前記ピクセル位置発生器によって得られた前記ピクセル位置は、ｘが２．５からｘサイズ−２．５までの値を有し、ｙが２．５からｙサイズ−２．５までの値を有し、ｘサイズ及びｙサイズはそれぞれピクセル行及びピクセル列の方向に沿った取込画像の寸法である座標（ｘ，ｙ）を有する、請求項１５６に記載のシステム。
159. 前記オン−グリッド輝度値発生器は、関係
     （式中、Ｉ_Ｃ（ｘ−２＋ｉ，ｙ−２＋ｊ）はピクセル位置（ｘ−２＋ｉ，ｙ−２＋ｊ）における取込画像輝度値、Φ_ｉｊは指数ｉ及びｊにおける前記オン−グリッド補間フィルタ・カーネルΦの値、指数ｉ及びｊは０から３までの値、さらにＩ_０（ｘ−２，ｙ−２）はピクセル位置（ｘ−２，ｙ−２）における出力画像輝度値である）
     にもとづいて、前記取込画像メモリにある前記取込画像輝度値から、前記受信されたピクセル位置における各々の出力画像輝度値を導き出すために、前記ピクセル位置発生器から受信されたピクセル位置（ｘ，ｙ）に対して応答性を示す、請求項１５８に記載のシステム。
160. １つのシーンから画像を取り込むために、前記シーンからの入射光に対する露出に適した相対的に低いダイナミックレンジの画像センサを用いて前記シーンの相対的に高ダイナミックレンジ画像を得るためのシステムであって、
     （ａ） アレイ状となった多数の光検知素子を有し、該光センサの各々が前記光検知素子からなるアレイに対する所定感度パターンに基づいて入射光に対する複数の感度レベルのうちの特定の一つを有すると共に応答関数を有し、前記光検知素子の各々は前記シーンからの入射光に応じてピクセル位置アレイにおける多数のピクセル位置のうちの対応する一つで取込画像輝度値を生成し、それによって多数のピクセル位置の各々が前記光検知素子の前記複数の感度レベルのうちの特定の一つに対応する、画像センサと、
     （ｂ） 前記ピクセル位置アレイのピクセル位置で前記光検知素子によって生成された取込画像輝度値を記憶するための取込画像メモリと、
     （ｃ） 前記ピクセル位置アレイの前記ピクセル位置を与えるためのピクセル位置発生器と、
     （ｄ） 前記ピクセル位置発生器からの前記ピクセル位置が受信され、前記ピクセル位置発生器から受信されたピクセル位置に対する応答性を示し、前記取込画像メモリにある前記取込画像輝度値から、前記受信されたピクセル位置における各々のオン−グリッド輝度値を導き出し、前記オン−グリッド輝度値が対応する複数の取込画像輝度値から導き出されるオン−グリッド輝度値発生器と、
     （ｅ） 前記ピクセル位置発生器から受信された各ピクセル位置における各々の出力画像輝度値を与えるために、前記光検知素子の結合応答関数の逆数によって前記オン−グリッド輝度値発生器によって導き出された各ピクセル位置における前記各々のオン−グリッド輝度値を補償するためのもので、前記結合応答関数はそれぞれが前記複数の感度レベルの異なるものを有する光検知素子の重み付け応答関数の合計であり、前記重み付け応答関数の各々は前記複数の感度レベルの各々に対する所定の重み付け係数によって乗算された前記複数の感度レベルの各々を有する光検知素子の応答関数である、応答関数補償器と、
     （ｆ） 前記応答関数補償器によって与えられた各受信されたピクセル位置で前記各々の出力画像輝度値を記憶するための出力画像メモリと、
     を備える、システム。
161. 前記応答関数補償器は、 前記光検知素子の前記結合応答関数の前記逆数を表すデータを記憶するルックアップ・テーブル・メモリと、 前記ピクセル位置発生器から受信された前記ピクセル位置にある前記出力画像輝度値であるデータ値を前記各々の指数に対応する前記ルックアップ・テーブル・メモリに与えるために、前記オン−グリッド輝度値発生器からオン−グリッド輝度値を受信し、前記ルックアップ・テーブルに対する各々の指数を導き出し、前記ピクセル位置発生器から受信されたピクセル位置にあるオン−グリッド輝度値に対して応答性を示すマッパーと、
     を備える、請求項１６０に記載のシステム。
162. 前記画像センサの光検知素子からなる前記アレイは、２次元画像を取り込むための２次元アレイであり、また前記ピクセル位置アレイは複数の規則正しく離間されたピクセル行と複数の規則正しく離間されたピクセル列との交差点にあるピクセル位置を有し、前記ピクセル行がピクセル列に対して直交し、前記ピクセル位置発生器によって与えられた前記ピクセル位置は、ｘが２．５からｘサイズ−２．５までの値を有し、ｙが２．５からｙサイズ−２．５までの値を有し、ｘサイズ及びｙサイズはそれぞれピクセル行及びピクセル列の方向に沿った取込画像の寸法である座標（ｘ，ｙ）を有する、請求項１６０に記載のシステム。
163. 前記オン−グリッド輝度値発生器は、関係
     （式中、Ｉ_Ｃ（ｘ−２＋ｉ，ｙ−２＋ｊ）はピクセル位置（ｘ−２＋ｉ，ｙ−２＋ｊ）における取込画像輝度値、Φ_ｉｊは指数ｉ及びｊにおける前記オン−グリッド補間フィルタ・カーネルΦの値、指数ｉ及びｊは０から４までの値、さらにＩ（ｘ−２，ｙ−２）はピクセル位置（ｘ−２，ｙ−２）における出力画像輝度値である）
     にもとづいて、前記取込画像メモリにある前記取込画像輝度値から、前記受信されたピクセル位置における各々の出力画像輝度値を導き出すために、前記ピクセル位置発生器から受信されたピクセル位置に対して応答性を示す、請求項１６２に記載のシステム。
164. 前記オン−グリッド補間フィルタ・カーネルΦは、
     の形式を有する、請求項１５９又は１６３に記載のシステム。
165. 前記画像センサの光検知素子からなる前記アレイは、ライン画像を取り込むための線形アレイであり、また前記ピクセル位置アレイは１つの線形ピクセル行で規則正しく離間したピクセル位置を有する線形アレイである、請求項１５８に記載のシステム。
166. １つのシーンから画像を取り込むために、前記シーンからの入射光に対する露出に適した相対的に低いダイナミックレンジの画像センサを用いて前記シーンの相対的に高ダイナミックレンジ画像を得るためのシステムであって、
     （ａ） アレイ状となった多数の光検知素子を有し、該光センサの各々が前記光検知素子からなるアレイに対する所定感度パターンに基づいて入射光に対する複数の感度レベルのうちの特定の一つを有すると共に各々の応答関数を有し、前記光検知素子の各々は前記シーンからの入射光に応じてピクセル位置アレイにおける多数のピクセル位置のうちの対応する一つで取込画像輝度値を生成し、それによって多数のピクセル位置の各々が前記光検知素子の前記複数の感度レベルのうちの特定の一つに対応する、画像センサと、
     （ｂ） 前記ピクセル位置アレイのピクセル位置で前記光検知素子によって生成された取込画像輝度値を記憶するための取込画像メモリと、
     （ｃ） 前記ピクセル位置アレイの前記ピクセル位置を与えるための第１のピクセル位置発生器と、
     （ｄ） 前記ピクセル位置アレイの前記第１のピクセル位置の各々に対応する前記感度レベルを示すデータを記憶するための感度パターン・メモリと、
     （ｅ） 前記第１のピクセル位置発生器からピクセル位置を受信し、データは前記感度パターン・メモリからの前記受信されたピクセル位置に対応する前記感度レベルと前記取込画像メモリからの前記受信されたピクセル位置における取込画像輝度値とを示し、前記取込画像メモリから前記受信されたピクセル位置での前記取込画像輝度値を検索するために、また前記受信されたピクセル位置に対応する前記感度レベルを有する光検知素子の前記応答関数の逆数によって、前記受信されたピクセル位置における前記検索された取込画像輝度値を補償するために、前記第１のピクセル位置発生器から受信されたピクセル位置と、前記受信されたピクセル位置に対応する前記感度レベルを示すデータとに対して応答性を示すことで、前記第１のピクセル位置発生器から受信された前記ピクセル位置での各々の補償輝度値を与える応答関数補償器と、
     （ｆ） 前記第１のピクセル位置発生器から受信された前記ピクセル位置での各々の補償された取込画像値を記憶するための補償オン−グリッド輝度値メモリと、
     （ｇ） 前記ピクセル位置アレイにおける前記ピクセル位置を与えるための第２のピクセル位置発生器と、
     （ｈ） 前記第２のピクセル位置発生器からピクセル位置を受信し、前記取込画像メモリにある前記取込画像輝度値から各受信されたピクセル位置における各々の出力画像輝度値を導き出すために、前記第２のピクセル位置発生器から受信された各ピクセル位置に応答性を示すオン−グリッド輝度値発生器と、
     （ｉ） 前記第２のピクセル位置発生器から受信された各ピクセル位置での前記各々の出力画像輝度値を記憶するための出力画像メモリと、
     を備える、システム。
167. 前記応答補償器は、前記複数の感度レベルの異なるものを有する光検知素子の各々の応答関数の逆数を表す別個のルックアップ・テーブル・データを記憶するルックアップ・テーブル・メモリと、
     前記ルックアップ・テーブル・メモリに対する各々の指数を導き出し、そこから前記受信されたピクセル位置に対応する前記感度レベルを有する光検知素子の前記応答関数の前記逆数を表すルックアップ・テーブルからの前記各々の指数に対応する補償オン−グリッド輝度値を検索し、前記検索された補償オン−グリッド輝度値を前記補償オン−グリッド輝度値メモリに与えるために、前記取込画像メモリから取込画像輝度値を受信すると共に前記第１のピクセル位置発生器から受信されたピクセル位置にある取込画像輝度値に対して応答性を示すマッパーと、
     を備える、請求項１６６に記載のシステム。
168. 前記画像センサの光検知素子の前記アレイは２次元アレイであり、また前記ピクセル位置アレイは複数の規則正しく離間されたピクセル行と複数の規則正しく離間されたピクセル列との交差点にあるピクセル位置を有し、前記ピクセル行がピクセル列に対して直交する、請求項１６６に記載のシステム。
169. 前記画像センサの光検知素子からなる前記アレイは、ライン画像を取り込むための線形アレイであり、前記ピクセル位置アレイは線形ピクセル行の各々規則正しく離間されたピクセル位置を有する線形アレイであり、前記ピクセル位置発生器によって与えられた前記ピクセル位置は、ｘが２．５からｘサイズ−２．５までの値を有し、かつｘサイズが前記取込ライン画像の寸法である座標ｘを有する、請求項１６６に記載のシステム。
170. 前記取込画像メモリにある前記取込画像輝度値から前記受信されたピクセル位置での各々の出力画像輝度値を導き出すために、前記オン−グリッド輝度値発生器は前記第２のピクセル位置発生器から受信されたピクセル位置に対して応答性を示すもので、前記オン−グリッド輝度値発生器は、
     （ｉ）５ｘ１ガウシアン補間フィルタ・カーネルＧを記憶するためのメモリと、
     （ｉｉ） ｘ−２からｘ＋２までの値を有するピクセル位置ｋにある５つの補償オン−グリッド輝度値Ｉ（ｋ）の各々と所定の低閾値及び所定の高閾値とを比較するための比較器と、
     （ｉｉｉ） Ｉ（ｋ）が前記所定の低閾値よりも高く、かつ前記所定の高閾値よりも低いｋの各々の値に対して、Ｇ（ｋ−ｘ）が位置（ｋ−ｘ）における前記ガウシアン補間カーネルＧの値である量Ｉ（ｋ）Ｇ（ｋ−ｘ）を計算するための乗算器と、
     （ｉｖ） 第１の合計ｐを導き出すために、Ｉ（ｋ）が前記所定の低閾値よりも高く、かつ前記所定の高閾値よりも低いｋの各々の値に対して、乗算器によって計算された前記量Ｉ（ｋ）Ｇ（ｋ−ｘ）を加算するための第１の加算器と、
     （ｖ） 第２の合計ｑを導き出すために、Ｉ（ｋ）が前記所定の低閾値よりも高く、かつ前記所定の高閾値よりも低いｋの各々の値に対して、前記メモリにある前記ガウシアン補間カーネルの値Ｇ（ｋ−ｘ）を加算するための第２の加算器と、
     （ｖｉ） 前記合計ｐを前記合計ｑで除算することで前記第２のピクセル位置発生器から受信された前記位置ｘにおける各々の出力画像輝度値Ｉ_０（ｘ）を導き出すための除算器と、
     を備える、請求項１６９に記載のシステム。
171. 前記所定の低閾値は、前記光検知素子の前記応答関数の逆数によって補償された比較されている前記補償されたオン−グリッド輝度値の前記ピクセル位置に対応する感度レベルを有する前記光検出素子のノイズ・レベルであり、前記所定の高閾値は比較されている前記補償されたオン−グリッド輝度値に対応する前記感度レベルを有する光検知素子の飽和又は近飽和輝度値である、請求項１７０に記載のシステム。
172. 前記５ｘ１ガウシアン補間器フィルタ・カーネルは、
     の形式を有する、請求項１７０に記載のシステム。