JP5144739B2 - 画像取り込みシステムを制御する方法、画像取り込みシステム、および、デジタルカメラ - Google Patents

Description

本発明は、
画像を取り込むための外部トリガを受信するためのインターフェイスと、
光感応領域および画素セルのアレイを備える画像取り込みデバイスと、を備える画像取り込みシステムを制御する方法において、各画素セルが、光感応領域の関連部分上に入射する光の強度を示す信号を生成するためのデバイスを含み、画像取り込みデバイスが、露出時間間隔にわたっていくつかの領域のうちの関連する1つの領域における画素セルの少なくとも1つにおいて生成された信号または複数の信号の積分を各画素値が表すように、設定空間解像度で画像フレームを取り込むために画素値のアレイを生成するための読み出し回路をさらに備え、領域の数が設定空間解像度により決定され、諸領域が、共に画像における区画に相当する光感応領域の区画を網羅する方法に関する。

本発明はまた、画像取り込みシステムに関する。

本発明は、複数の画像フレームから組合せ最終画像を形成する方法であって、
強度値の第1のアレイおよび少なくとも1つの他のアレイを得る段階であって、強度値の各アレイが、それぞれの画像フレームにおけるそれぞれの数の画素位置の各々における光強度レベルを符号化し、この数が、関連する画像フレームの空間解像度を決定する段階と、
強度値の導出されたアレイのセットを生成する段階であって、各導出されたアレイが、強度レベルの得られたアレイのそれぞれの1つに基づき、かつ、それぞれの画像フレームの重なりの少なくとも1つの区画における共通の数の画素位置の各々における光強度レベルを符号化する段階と、
組合せ強度値のアレイを生成する段階であって、アレイにおける各要素が、強度値のそれぞれの導出されたアレイの各々における対応する要素により表される強度値の和に基づく段階と、
組合せ最終画像を符号化する強度値のアレイを供給する段階であって、アレイが組合せ強度値のアレイに基づく段階と、を含む方法にも関する。

本発明は、画像処理システムにも関する。

本発明は、デジタルカメラにも関する。

本発明は、コンピュータプログラムにも関する。

国際特許出願第PCT/EP04/051080号明細書は本出願の出願日以前に出願され、かつ、本出願の出願日後に第WO/2005/122084号として公表された。したがって、Art. 54(3) EPCに基づき最新技術に含まれる。

上述の出願はデジタルカメラについて説明している。このカメラは一続きの画像を取り込むために、かつ、画像を表す画素値の一続きの対応するフレームを導出するために、実質的に静止した位置において使用することができる。各画像は意図的に露出不足にしてある。各画像は、これらを組合せ最終画像に形成する前に調整される。組合せ最終画像は、調整された画像における対応する画素の値を合計することにより形成される。したがって、組合せ最終画像は、露出不足の画像から形成されてよいが、組合せ最終画像自体は十分に明るく、ならびに、良好な空間解像度を有する。調整は、組合せ最終画像が色むらになることを防止するために使用されている。

後で組み合わせるために一連の露出不足画像フレームを取り込むことに関連する問題は、使用のために利用可能な画像取り込みデバイスのタイプによる。全般に、これらのいずれも電荷結合素子(CCD)を含む画素セルを有するか、または、相補型金属酸化膜半導体(CMOS)センサを使用して作成されており、双方の場合とも、連動する読み出し回路を備えている。特にCCDアレイが使用された場合、読み出し時間、すなわち、読み出し回路により、フレームを符号化する画素値のアレイを生成するために必要とされる時間は、非常に長くなる。したがって、その後の組合せ画像の形成のために一連の連続する画像フレームを取り込むために必要な時間は、さらに長くなる。画像空間解像度をより低い値に設定することは、取り込まれた画像フレームの空間解像度を高めるために内挿技術が使用された場合に、より低い空間解像度の組合せ画像をもたらす。組合せ最終画像の基礎となる取り込まれた画像フレームの数を減らすことは、より短い総画像取り込み時間を達成するが、組合せ最終画像の低減された信号雑音比(SNR)を犠牲とする。

国際公開第WO/2005/122084号明細書

本発明の目的は、比較的低い雑音レベルを持つ一方、比較的短い全体的画像取り込み時間を必要とする組合せ最終画像への形成のための画像フレームをもたらす上記に定義されたタイプの方法およびシステムを提供することである。

この目的は本発明による方法により達成され、この方法は、
画像を取り込むための外部トリガを受信する段階と、
外部トリガに応答して、画像取り込みデバイスに、それぞれの連続する露出時間間隔にわたって積分を表す画素値のそれぞれのアレイを生成することにより少なくとも2つの画像フレームを取り込むように指示する段階と、を含み、
取り込まれた画像フレームの少なくとも2つの空間解像度は、異なった値に設定されている。

取り込まれた画像フレームの少なくとも2つが異なった空間解像度を有するため、常に、より高い解像度を持つ少なくとも1つの画像フレームおよびより低い解像度を持つ少なくとも1つの画像フレームがある。より高い解像度を持つ画像フレームを取り込むことは、高い空間周波数を持つ情報が組合せ最終画像に存在することを確実にする。しかし、全ての画像フレームが同様なより高い解像度を有するわけではないため、全ての画像データを取り込み、かつ、読み出すために必要な総時間は、比較的短い。外部トリガ、例えばユーザコマンドなどにより、少なくとも2つの画像フレームが直接取り込まれるため、その一連の画像フレームは可能な限り近接して互いに従い、追加の時間を節約している。異なった解像度を設定するための設定の変更も、外部トリガに応答して自動的に達成される。画像フレームが合計により組合せ最終画像に組み合わせることができるように、画像フレームが別個に取り込まれるため、組合せ最終画像は比較的短い露出時間の画像フレームから構成することができ、色むらのほとんどない組合せ最終画像につながる。

好ましい実施形態において、各画素値が、画素セルにおける少なくとも2つのデバイスにより生成された信号の和の積分を表す形で画素値のアレイを生成するように、画像取り込みデバイスに指示することにより、空間解像度値の少なくとも低い方が設定される。

このような技術は一般に「貯蔵」と呼ばれ、かつ、感度増強の効果を有する。なぜなら、画素セルにおける2つ以上のデバイスは光感応領域のより大きな部分を効果的に占有しているからである。さらに、取り込まれた画像フレームはより低い雑音レベルを有する。

好ましい実施形態は、
組合せ最終画像のための所望の露出時間を検索する段階と、
取り込まれるべき画像フレームの数を決定する段階と、
各画像フレームについて、画像フレームに適用可能な露出レベルを決定する設定を算出する段階であって、設定は露出時間間隔の長さを含む段階と、を含み、設定は、その数の画像フレームにわたる露出時間間隔の長さの和が所望の露出時間以下となるように、算出される。

取り込まれた画像の各々は単独で閲覧されると露出不足である。しかし、組合せ最終画像は露出不足ではない。なぜなら、組合せ最終画像が画素フレームの組合せ合計に基づいているからである。この実施形態は、正しい露出で1つの組合せ最終画像を生成するために、様々な画像フレームにおける画素値を表す強度レベルの追加を可能にするという利点を有する。

一実施形態は、画素値の各々が同じ空間解像度にある調整済みフレームの少なくとも1つの区画を符号化する形で、画素値のアレイのセットを生成する段階を含み、画素値の各々は取り込まれた画像フレームの1つに基づいている。

この実施形態は、調整済みフレームの少なくとも区画における対応する画素値を合計することにより、組合せ最終画像を生成するための取り込まれた画像フレームの適切性を高める。

本発明の他の態様によれば、
画像を取り込むための外部トリガを受信するためのインターフェイスと、
光感応領域および画素セルのアレイを備える画像取り込みデバイスと、を備える画像取り込みシステムにおいて、各画素セルが光感応領域の関連部分上に入射する光の強度を示す信号を生成するためのデバイスを含み、画像取り込みデバイスが、露出時間間隔にわたっていくつかの領域のうちの関連する1つの領域における画素セルの少なくとも1つにおいて生成された信号または複数の信号の積分を各画素値が表すように、設定空間解像度で画像フレームを取り込むために画素値のアレイを生成するための読み出し回路をさらに備え、領域の数は設定空間解像度により決定され、諸領域が、共に画像における区画に相当する光感応領域の区画を網羅する、システムであって、
画像取り込みデバイスの動作を制御するため、および、インターフェイスを介して受信されたコマンドを処理するための制御システムを備え、
制御システムは、外部トリガに応答して、画像取り込みデバイスに、それぞれの連続する露出時間間隔にわたって積分を表す画素値のそれぞれのアレイを生成することにより少なくとも2つの画像フレームを取り込むように指示するように構成され、
制御システムは、取り込まれた画像フレームの少なくとも2つの空間解像度を異なる値に設定するようにさらに構成されているシステムが提供される。

好ましい実施形態において、本発明による画像取り込みシステムは、本発明による画像を取り込む方法を実行するように構成されている。

本発明の他の態様によれば、複数の画像フレームから組合せ最終画像を形成する方法は、
強度値の第1のアレイおよび少なくとも1つの他のアレイを得る段階であって、強度値の各アレイが、それぞれの画像フレームにおけるそれぞれの数の画素位置の各々における光強度レベルを符号化し、この数が、関連する画像フレームの空間解像度を決定する段階と、
強度値の導出されたアレイのセットを生成する段階であって、各導出されたアレイが、強度レベルの得られたアレイのそれぞれの1つに基づき、かつ、それぞれの画像フレームの重なりの少なくとも1つの区画における共通の数の画素位置の各々における光強度レベルを符号化する段階と、
組合せ強度値のアレイを生成する段階であって、アレイにおける各要素が、強度値のそれぞれの導出されたアレイの各々における対応する要素により表される強度値の和に基づく段階と、
組合せ最終画像を符号化する強度値のアレイを供給する段階であって、アレイが組合せ強度値のアレイに基づく段階と、を含み、
強度値の他のアレイよりも高い解像度にある重なりの少なくとも区画を符号化する強度値の第1のアレイが得られ、
強度値の他のアレイよりも高い空間解像度にある組合せ最終画像における重なりの少なくとも区画を符号化する強度値のアレイが供給され、かつ、
組合せ最終画像を符号化する強度値のアレイは、強度値の他のアレイよりも高い解像度にある重なりの区画を符号化するために、強度値の第1のアレイにおける十分な数の強度値に基づく。

この方法は、同じ解像度の多量の画像フレームを必要とせずに、比較的高い解像度を持つ組合せ最終画像をもたらす利点を有する。組合せ強度値のアレイにおける各要素が、強度値のそれぞれの導出されたアレイの各々における対応する要素により表された強度値の和に基づくため、組合せ強度値のこのアレイを生成する段階は雑音を除去する。強度値のアレイが組合せ強度値のアレイに基づくため、少なくとも部分的には、有益な効果が組合せ最終画像にまで拡大される。したがって、組合せ最終画像は、比較的高い空間解像度および低い雑音レベルを直ちに有する。

この方法の第1の実施形態は、
各強度値が画素位置を取り囲む領域における光レベルを表す強度値の第1のアレイおよび他のアレイを得る段階であって、各導出されたアレイが同じ空間解像度における重なりの少なくとも区画を符号化するように、強度値の少なくとも1つの導出されたアレイが、増倍係数によりアレイにおける強度値の数を調整することにより得られる段階を含む。

この実施形態は、組合せ強度値のアレイを生成する段階が、空間領域における単純な合計により実行されることを可能にする効果を有する。

この実施形態の変形形態において、強度値の得られた他のアレイに基づく少なくとも1つのアレイにおける強度値の数は、1より大きい増倍係数により調整される。

したがって、少なくとも1つの低解像度画像フレームは、より高い解像度に変換される。これは、組合せ最終画像を符号化する強度値のアレイが強度値の第1のアレイにおける強度値の十分な数に基づくことを確実にする効果的な方法である。なぜなら、第1の得られたアレイにおける強度値のサブセット、または好ましくは全部を、重み付けされた平均値を得るための調整により得られたアレイにおける相手方に単に加えることができるからである。組合せ強度値のアレイも最終画像を符号化する。

第2の実施形態において、強度値の各導出されたアレイは、強度値の得られたアレイの1つに基づき、かつ、各強度値が画像フレーム内の画素位置を取り囲む領域における光レベルを表す強度値のアレイにより符号化された画像フレームを、強度値の導出されたアレイにおける各強度値が画像フレームの空間周波数成分の強度を表すように、空間周波数領域に変換することにより生成される。

この実施形態は、組合せ強度値のアレイを生成する段階を実行可能とするために、画像フレームを低空間解像度で拡張する必要がないという利点を有する。特に、内挿法は回避される。代わりに、強度値の各導出されたアレイは、得られた画像フレームの各々から導出可能な画像フレームの低周波数成分を含む。したがって、組合せ最終画像における重なりの少なくとも区画を符号化する強度値のアレイを生成するために、比較的少ない加算が必要となるにすぎない。

変形形態において、組合せ最終画像を符号化する強度値のアレイを供給する段階は、強度値の第1の得られたアレイに基づく強度値の導出されたアレイにおける低空間周波数成分を表す少なくとも1つの強度値を、組合せ強度値のアレイにおける対応する空間周波数成分を表す強度値に少なくとも部分的に基づく強度値により置き換える段階を含む。

リンギング効果の発生を防止するために、各置き換え値はその値が置き換える値に基づくことができる。これとは関係なく、この変形形態は、強度値の他のアレイよりも高い解像度にある重なりの区画を符号化するための強度値の第1のアレイにおける十分な数の強度値に基づく組合せ最終画像に到達するための特に効率的な方法である。この変形形態は、第1のアレイに基づく導出されたアレイを、低空間周波数成分を表す強度値を置き換える段階に続いて空間領域に変換し戻すために十分である。したがって、得られた組合せ最終画像において、高周波数情報が第1のアレイから導出されるのに対して、低周波数情報は第1のアレイと他のアレイにおける低周波数情報の組合せである。

変形形態において、変換は、画像圧縮アルゴリズムのハードウェアにおける少なくとも部分的実装を含むコプロセッサにより、または、画像圧縮アルゴリズムを実行するようにプログラムされたデジタル信号プロセッサにより行われる。

この変形形態は、そのようなコプロセッサを一般に含むデジタルカメラまたは他のタイプの画像処理設備内への実装に特に適している。多くの圧縮アルゴリズムが、空間周波数領域への変換が必要であるエントロピー符号化の形態の使用を必要とするため、この変形形態は非常に効率的である。

一実施形態において、組合せ強度値のアレイを生成する段階は、各導出されたアレイが、重なりの少なくとも区画における実質的に対応する画素位置の各々における光強度レベルを符号化するように、画像フレームを位置合わせする段階が前にある。

このことは、組合せ最終画像が比較的シャープであることを確実にする。なぜなら、強度値の得られたアレイにより符号化された画像フレームの位置合わせ不良による「ぼけ」が回避されるからである。このような位置合わせ不良は、強度値のアレイが連続するシーンの写真を撮るデジタルカメラにより得られる場合に、発生する傾向にある。当然、シーン内の被写体または人物のふるえによる「ぼけ」も除去される。

一実施形態において、強度値の少なくとも1つの他のアレイよりも高い空間解像度にある個々の画像フレーム内の重なりの少なくとも区画を符号化する強度値の得られたアレイに基づく強度値の少なくとも1つのアレイは、アレイにより符号化された画像の高空間周波数成分を通過させる特性を有するデジタルフィルタ工程を受ける。

より高い解像度の画像はより高い雑音レベルも有するが、高空間周波数を持つ画像情報を供給するためにのみ確かに必要とされるため、より低い周波数における組合せ最終画像の雑音レベルは低減される。このことは有利である。なぜなら、人間の目は、比較的低い空間周波数において最も敏感となるからである。

他の態様によれば、本発明は複数の画像フレームから組合せ最終画像を形成するための画像処理システムを提供し、強度値の第1のアレイおよび少なくとも1つの他のアレイをローディングするための装置であって、
強度値の各アレイが、それぞれの画像フレームにおけるそれぞれの数の画素位置の各々における光強度レベルを符号化し、この数が関連する画像フレームの空間解像度を決定する装置と、
強度値を処理するためのデータ処理装置と、を含み、データ処理装置に、
強度値の導出されたアレイのセットを生成する段階であって、各導出されたアレイは、強度レベルの得られたアレイのそれぞれの1つに基づき、かつ、それぞれの画像フレームの重なりの少なくとも1つの区画における共通の数の画素位置の各々における光強度レベルを符号化する段階と、
組合せ強度値のアレイを生成する段階であって、アレイにおける各要素は、強度値のそれぞれの導出されたアレイの各々における対応する要素により表される強度値の和に基づく段階と、
組合せ最終画像を符号化する強度値のアレイを供給する段階であって、アレイは組合せ強度値のアレイに基づく段階と、を実行するように指示するように構成され、
強度値の他のアレイよりも高い解像度にある重なりの少なくとも区画を符号化する強度値の第1のアレイをローディングするように構成され、
強度値の他のアレイよりも高い空間解像度にある組合せ最終画像における重なりの少なくとも区画を符号化する強度値のアレイを供給するように構成され、かつ、
強度値の他のアレイよりも高い解像度にある重なりの区画を符号化するために、強度値の第1のアレイにおける十分な数の強度値に、組合せ最終画像を符号化する強度値のアレイを基づかせるように構成されている。

好ましくは、画像処理システムは、プロセッサに、本発明による組合せ最終画像を形成する段階による方法を実行するように指示するように構成される。

他の実施形態によれば、本発明は、プログラム可能な処理デバイスにローディングされた時に、プログラム可能処理デバイスが本発明による方法を実行することを可能にするように構成されたコンピュータプログラムを提供する。

他の態様によれば、本発明は、本発明による画像取り込みシステムおよび/または画像処理システムを含むデジタルカメラを提供する。

本発明は、添付の図面を参照してさらに詳細に説明される。

例示的なデジタルカメラのレイアウトを示す該略図である。 カメラ内の画像取り込みデバイスのいくつかの構成部分を非常に簡略に示す該略図である。 画像フレームの取り込みおよび組合せ最終画像の形成の方法を示すフロー図である。 一実施形態において、組合せ最終画像がどのようにして形成されるかを示す強度値のアレイを非常に簡略に示す概略図である。 一実施形態において、組合せ最終画像がどのようにして形成されるかを示す強度値のアレイを非常に簡略に示す概略図である。 一実施形態において、組合せ最終画像がどのようにして形成されるかを示す強度値のアレイを非常に簡略に示す概略図である。 人間の目の感度を基準とした画像フレームの雑音レベルを示す図である。

本明細書において概説されている方法の状況において使用可能である画像処理システムの一実施例は、デジタルカメラ1である。他の実施例は複写機または走査デバイスを含む。

デジタルカメラ1はシーン内の1つまたは複数の被写体に合焦させるためのレンズシステム2を含む。シャッタ3が開かれると、シーンは絞り4を介して画像取り込みデバイス6の光感応領域5(図2)上に投影される。シャッタ時間は、絞りの直径が制御可能であるように制御可能である。シャッタ3に対する代案または追加として、画像取り込みデバイスは、同じ効果をもたらすために電子的に制御することができる(電子シャッタ)。画像取り込みデバイス6は、相補型金属酸化膜半導体(CMOS)技術において実装されたデバイス、または、電荷結合素子(CCD)センサとすることができる。本明細書に概説されている方法は、製造が安価である利点を有するが、本質的に長い読み出し時間を有するCCDセンサに理想的に適している。

図2を参照すると、光感応領域5は、明確さのために9個のみが示されている画素セル7a〜iにより占有された領域に分割されている。各画素セル7は、光感応領域5内でデバイスが占有する領域が露出される光の強度を表す信号を生成するための同デバイスを含む。述べられたように、デバイスは、好ましくは、CCDセンサである。画素セル7a〜iを占有するデバイスが1つの集積回路の構成部分として全般に設けられることに留意されたい。デバイスにより生成された信号の積分は、露出中に、例えばコンデンサ内への光電流の蓄積により形成される。露出時間間隔の期間にわたる光感応領域5の露出に続き、生成された信号の積分の値が、行選択回路8および列選択読み出し回路9により読み出される。

簡略さのために、本説明が、カラー画像が取り込まれる方法には注目しないことに留意されたい。カラーフィルタ、画像取り込みデバイス6の色感応性変形形態など、いずれの知られたタイプの技術も使用できることはほとんど観察されない。この点では、光感応領域5が、画像取り込みデバイスに含まれた集積回路の表面領域である必要がないか、または、全てのカラー成分のためである必要は少なくともないことも観察されている。さらに、本出願においては、画像フレームが連続的に取り込まれると言われるが、このことは、異なったカラー成分の画像フレームが順番に取り込まれ、そのため、1つのカラー成分を詳述する「連続して」取り込まれた画像フレームが他のカラー成分を詳述する画像フレームで交互される実施形態を予め排除するものではない。

列選択読み出し回路9の出力は、1つまたは複数のアナログ信号の形態でアナログ/デジタル変換器(A/Dコンバータ)10に供給される。A/Dコンバータ10は、画像取り込みデバイス6から受信された信号をサンプリングし、かつ、量子化、すなわち、同受信信号を離散したレベルを使用してスケール上に記録し、レベルの数はA/Dコンバータ10により出力として供給されたデジタルワードの解像度のビットの数により決定される。A/Dコンバータ10は、出力として、取り込まれた画像フレームを符号化する画素値のアレイを供給する。

デジタル信号プロセッサ(DSP)11は、画素間の内挿、および、任意で画像の圧縮などの機能を行う。露出時間間隔中の画像取り込みデバイスの各露出は、少なくとも1つのフレームをもたらす。

デジタルカメラ1は、取り込まれた画像または画像フレームを符号化する画像データを記憶するための記憶デバイス12を含む。記憶デバイスは、例えば、内蔵式フラッシュメモリ、挿入式フラッシュメモリモジュール、フロッピー（登録商標）ディスク付ディスクドライブ、PCMCIAフォーマットのハードディスク、または、光ディスクドライブなどのいずれの通常のタイプの記憶デバイスともすることができる。

マイクロプロセッサ13は、不揮発性メモリ、この実施例では読み出し専用メモリ(ROM)14に記憶されている指示を実行することにより、デジタルカメラ1の動作を制御する。ROM 14内の指示は、いくつかの実施形態においては、DSP 11による実行のためにプログラムされたルーチンと組み合わされて、デジタルカメラ1が、本出願に概説されている画像処理方法および画像取り込み方法を実行することを可能にする。

有利には、マイクロプロセッサ13は、画像圧縮アルゴリズムの少なくとも一部がハードウェア内に実装されたコプロセッサ15と通信する。例えば、JPEG規格に従って画像を圧縮するためのアルゴリズムは使用可能である。圧縮アルゴリズムの一部として、画像データは空間周波数領域に変換される。コプロセッサ15は、少なくともこの変換を、ほとんどの場合に離散コサイン変換(DCT)を使用して、実行する。

動作条件およびデジタルカメラ1の設定の表示は、恐らくは(別個に図示はされていない)音声生成デバイスとの組合せになった、出力デバイス16、例えば液晶ディスプレイ上に供給される。

入力デバイス17は、手段によりデジタルカメラのユーザがコマンドを供給する手段とする制御器を表すとして概略が示されている。加えて、図1に示されたデジタルカメラ1は、フラッシュ照明の1つまたは複数の発生源に適切な駆動信号を供給するためのフラッシュドライバ回路18を含む。示されたデジタルカメラ1は、デジタルカメラ1の動き、および、したがって、画像取り込みデバイス6の動きを表す信号を供給するための動きセンサ19も含む。さらに、デジタルカメラ1は露出計デバイス20を含む。露出計デバイス20の目的は、周辺の光の強さを測定することであり、それにより、マイクロプロセッサ13は、以下に詳述されるように、各取り込まれた画像フレームのための露出時間間隔を含めて、露出を決定する設定のための正しい値と組み合わせて、いずれかの接続されたフラッシュにより発光されるべき光の強度を決定することができる。

画素セル7a〜iにより占有された領域の密度が、取り込まれた画像フレームの最大達成可能空間解像度を決定することに留意されたい。読み出し時間は、画素セルの数に依存する。図2に示された実施形態などの実施形態においては、この読み出し時間は比較的長い。なぜなら、行選択回路8を使用して各行が交代で選択され、その時点で行選択読み出し回路9がその行の画素セルにおける光デバイスに記憶された蓄積光電荷の値を感知するからである。光感応領域を繰り返し露出すること、および、画像フレームを取り込むことに関する総時間を短縮するために、空間解像度は各露出間で異なった値に設定されている。

マイクロプロセッサ13は、組合せ最終画像における注目の区画に相当する区画を一緒に網羅する集団領域21の数を定義する。この数は、この区画を一緒に網羅している画素セル7a〜iの数よりも小さい。したがって、画素セルの1つの集団は、図2に概略が示されたように、各定義された集団領域21を占有している。簡略さのために、全ての画素セル7が示されているわけではない。より低い空間解像度で画像フレームを取り込むために、集団領域21当りの1つの画素値が読み出される。最高の可能な空間解像度で画像フレームを取り込むために、画素セル7当りの1つの画素値が読み出される。付随的に、示された集団領域21は、光感応領域5を区分するように定義されているが、マイクロプロセッサ13は、代わりに、または、加えて、注目の区画に相当する光感応領域5の区画を一緒に覆う重なり領域の数を定義する。代案として、領域は、領域間に僅かな間隔を備えて定義することができる。補償処理を実行しなければならないことを回避するために、定義された領域は各々が、好ましくは、規則的に分布された画素位置を取り囲む。

一実施形態において、集団領域21当りの1つの画素値読み出しが、その集団領域21内に横たわる画素セル7の1つにおいて生成された信号の積分を表す形で、マイクロプロセッサ13は画像取り込みデバイス6を制御する。この実施形態は、この実施形態が、いずれのタイプの画像取り込みデバイス6とも使用できるという利点を有する。

好ましい実施形態において、画像取り込みデバイス6は多数の画素セルの出力を「貯蔵する」能力を有する。この実施形態において、マイクロプロセッサ13は、画像取り込みデバイス6に、各画素値が、同じ定義済み手段領域21を占有する画素セルにおける少なくとも2つのデバイスにより生成された信号の和の積分を表す形で、画素値のアレイ(各値は定義された集団領域21の1つと関連している)を生成するように指示する。この示された実施形態において、このことは、1つの集団領域21のための画素値が、示された画素セル7a〜7iの全ての9つにより生成された信号の積分の和、または、代わりに平均となることを意味し得る。この実施形態は好ましい。なぜなら、この実施形態が感度を高めるからである。効果的に、各画素値は、1つの画素セル7により占有された領域上のみの代わりに、定義済みの集団領域21の全体上に入射する光の量を表す。したがって、より小さな光束が検出可能となる。さらに、貯蔵は雑音の量を低減する、すなわち、より大きな信号対雑音比(SNR)を持つ低解像度の像につながる。貯蔵能力が、ハードウェアに実装された画像取り込みデバイスの機能であるため、この能力は読み出し時間をさほど延ばさない。好ましくは、最高の解像度で取り込まれた画像フレームの数は、より低い空間解像度で取り込まれた画像フレームの数と等しく、より好ましくは、より少ない。そのような一連の画像フレームに基づいて形成された組合せ最終画像は、良好なSNRを有する。

好ましい実施形態において、画像を取り込むためのユーザからのコマンドを受信すると、マイクロプロセッサ13は一連の段階22〜25を実行するようにデジタルカメラ1を制御する。一実施例において、コマンドは、代わりに、適したインターフェイスを介してデジタルカメラ1に接続された(図示されていない)デバイスから受信される。このデバイスは、図示された段階の実行を開始させるための外部トリガを発行する。デジタルカメラ1のユーザは、フラッシュ光の量、絞り4の直径、および、画素セル7の光デバイスの感度を決定する設定とともに、組合せ最終画像のための所望の露出時間を入力することができる。代案となる実施形態において、マイクロプロセッサは、露出計デバイス20により出力された信号、および、可能であれば、値の1つまたは複数の所定の組合せを使用して、自動的にこれらの値の1つまたは複数を決定する。その後、組合せ最終画像を取り込むためのコマンドを実際に受信すると、マイクロプロセッサ13は、いくつかの画像フレームを取り込む第1の段階22を実行する。この段階22は、組合せ最終画像のための所望の露出時間を検索する段階と、取り込まれるべき画像フレームの数を決定する段階と、各画像フレームのために、画像フレームに適用可能な露出レベルを決定する露出設定を算出する段階と、を含む。設定は、そのフレームのための露出時間間隔を含む。好ましくは、一緒になると、組合せ最終画像のための所望の露出時間よりも短い画像フレームのための露出時間間隔をもたらすように、他の設定が決定される。「貯蔵」が実行される実施形態は、貯蔵が感度を高めるために、画像フレームに適用可能な露出時間間隔の短縮を可能にすることに留意されたい。効果的には、「貯蔵」は光電気信号の余分な増幅の導入をもたらす。マイクロプロセッサ13は、このことを有利に考慮する。マイクロプロセッサ13は、空間解像度値、すなわち、「貯蔵」の量に依存して、より低い空間解像度値における画像フレームに適用可能な露出時間間隔の長さを算出する。

画像フレームに適用可能な露出レベルを決定する設定を算出する際、マイクロプロセッサ13は、好ましくは、国際特許出願第PCT/EP04/051080号明細書に概略が述べられている方法の1つまたは複数を実施する。すなわち、露出レベルは、組合せ最終画像のために望ましいと決定されている総露出レベルが各画像フレームにわたって不均一に分布されるように算出される。露出レベルの段階化に関する同出願における諸段落は、参照により本明細書に組み込まれ、かつ、簡単に要約されている。

上述したように、露出レベルは露出時間、開口、(フラッシュ)照明強度、および、画素セルにおける増幅器の利得により決定される。露出レベルは、A/Dコンバータ10のA/D変換閾値によりさらに決定される。各画素セル7における光デバイスの出力を増幅するために使用される増幅を段階化することは、容易な実施という利点を有する。代案となる実施形態において、同じ解像度の画像フレームのための露出時間は変化される。他の実施形態において、光感応領域上で受け取られる光の最大強度は、例えば絞り4のサイズまたはフラッシュドライバ回路18を介して制御されるフラッシュの強度などを調整することにより画像フレーム毎に変化される。

第1の実施形態において、絞り4のサイズならびに照明条件は、各露出間で一定に保たれている。組合せ最終画像のための所望の露出時間は、画像フレームにわたって不均一に分布されている。好ましくは、画像フレームの数は、各画像フレームのための露出時間間隔を特定の閾値レベル未満に保つように選択される。好ましくは、この閾値レベルは1/60秒に事前決定される。なぜなら、この時間が、平均的な写真撮影者にとってしっかりした画像を取り込むための最低のシャッタスピードと考えられるからである。

一変形形態において、露出時間はフレーム間で無作為に変化される。他の実施形態において、画像取り込みシステムの設定、この場合は露出時間は、各画素のための強度値が記録されているスケールの少なくとも最大値が、各調整で値において実質的に均一に変化する形で、フレームのいくつかのさらなる取り込みの前に調整される。このことは、組合せ最終画像における色彩および色調深さのより正確な取り込みをもたらすという利点を有する。各場合において、取り込まれたフレーム間でも同じく空間解像度を調整するために貯蔵が使用されるなら、露出レベルに対する影響が考慮される。

代案となる実施形態において、絞り4のサイズは、各画素のための強度値が記録されているスケールの少なくとも最大値が、各調整で値において実質的に不均一に変化する形で、画像フレームの2つの連続する取り込み間で調整される。露出レベルは、絞り面積を調整することにより等しい漸増単位で段階毎に低下される。貯蔵が適用されなければ、絞り面積は、等しい漸増単位で段階毎に低下される。さもなければ、絞り面積は、多数の画素セルからの信号に、各画素値を基づかせた結果の増倍係数で規模を決められる。

さらに他の実施形態において、画像取り込みデバイス6が露出されているシーンを照らすために使用される人工照明の強度は、段階的に低下される。解像度が同時に低減される場合、人工照明の強度は増えた量だけ低減される。

上記の各段落に説明された技術の1つまたは複数を組み合わせた実施形態も考えられる。

画像フレームが取り込まれる第1の段階22に続き、画像フレームを符号化する画素値のアレイは、第2の段階23において一次記憶される。第2の段階23に続き、第3の段階24において、アレイは位置合わせされ、かつ、処理される。第3の段階からもたらされた組合せ最終画像は、最終段階25において記憶デバイス12に記憶される。本説明は、デジタルカメラ1が段階22〜25の全てを実行するという仮定に基づき続くが、第3および第4の段階24、25は別個の画像処理システム、例えば、パーソナルコンピュータまたはワークステーションにおいて実行することができる。その場合、第2の段階は、画素値の生成されたアレイを記憶デバイス12における記憶に託す段階、または、それらのアレイを(図示されていない)データリンクを介してコンピューターに転送する段階を含む。

段階23および24を実行する過程で実行された如くの組合せ最終画像を形成する方法の2つの実施形態は、実施例の方法によって以下に説明される。2つの方法は、強度値のアレイが入力として得られることを共通に有する。強度値のアレイは、個々の画像フレーム内の個々の数の画素位置の各々における光強度値を符号化し、この数は関連する画像フレームの空間解像度を決定する。強度値の導出されたアレイのセットが生成され、各導出されたアレイは、強度レベルの得られたアレイの個々の1つに基づき、かつ、個々の画像フレームの重なりの少なくとも区画における画素位置の共通な数の各々における光強度レベルを符号化する。第1の実施形態において、導出されたアレイは空間領域における画像フレームを符号化し、第2の実施形態において、導出されたアレイは空間周波数領域における画像フレームを符号化する。用語「導出されたアレイ」が、値のアレイがメモリにデータ構造として記憶されることを意味することは意図されていないことが観察される。概念上のアレイの対応する要素が特定の時点での和のために利用可能であることで十分である。したがって、各導出されたアレイの各i番目の要素は同時に利用可能となる。このことは、組合せ強度値のアレイの生成を可能にし、同アレイにおいて、各i番目の要素は、導出されたアレイのi番目の要素の和、重み付けされたとしてもよい和に基づく。i番目の要素の値は、場合によっては空間または空間周波数領域における強度値を表す。導出されたアレイが得られたアレイに完全に相当する可能性のあることがさらに観察される。このことは、例えば、得られたアレイが合計のための正しい領域に既にあり、かつ、既に位置合わせされた個々の画像フレームを符号化する場合に、起こる。双方の実施形態ともに、組合せ最終画像を符号化する強度値のアレイが出力として供給され、このアレイは合計により得られた組合せ強度値のアレイに基づくことを、共通してさらに有する。いくつかの実施形態において、このアレイは、組合せ強度値のアレイに対して実際に同一である。

第1の実施形態において、第2の段階23または第3の段階24のいずれかの一部として、取り込まれた画像フレームのセットは、画素値のアレイの対応するセットにより符号化される調整済み画像フレームのセットに変換される。この第1の実施形態において、取り込まれた画像フレームを符号化する強度値のアレイにおける各画素値は、いくつかの画素位置の1つを取り囲む領域21における光レベルを表している。画素位置の数は画像フレームの空間解像度に比例している。なぜなら、個々の画像フレームのサイズが同じだからである。その後に導出された強度値の各アレイは、取り込まれた画像フレームの1つに基づき調整済み画像フレームを符号化する。各々は、各々が、導出されたアレイの各々について同じである所望の解像度における調整済みフレームの少なくとも区画を符号化する形で生成される。区画は、付随的に、画像フレーム全体に相当することがある。調整済み画像フレームを符号化する各アレイは、アレイ内の区画を符号化する対応する画素値が、実質的に同じ画素位置を取り囲む領域における個々の光レベルを表す形で生成される。すなわち、注目している同じ領域を符号化する各アレイの画素値のi番目の画素値が、注目の領域における画素位置に対応するiの全ての値のための各アレイにおける同じ画素位置に対応するということである。

空間解像度が取り込まれた画像フレーム間で異なるため、それらの少なくとも1つの空間解像度は、少なくとも注目の領域において、増倍係数により調整されなければならない。さもなくば、調整済みフレームを符号化している画素値の各アレイが同じ空間解像度で少なくとも注目の領域を符号化するという特性を達成することは可能とならない。好ましくは、より低い解像度のフレームの解像度は高められる。このことは、この区画を符号化している画素値が組合せ最終画像を形成するために合計された時に、最も高い可能な感知された空間解像度を持つ組合せ最終画像をもたらす。例えば内挿法などの空間解像度を高めるためのいずれの知られている技術も適用することができる。

続いて、解像度が調整された画像フレームを符号化している画素値の導出されたアレイは、組合せ画素値のアレイを生成するために使用される。このアレイ内の各要素は、導出されたアレイの対応する要素の和となる。1つの実施形態において、和は重み付けされた和である。例えば、重みは画像フレームの露出時間に逆に関連付けることができる。他の実施形態において、各組合せ画素値は、対応する画素値の平均である。こうして形成されたアレイは出力として供給される。

組合せ最終画像を形成する方法の第2の実施形態が図4A〜4Cに示されている。画素値の第1のアレイ26は、第1の画像フレームにおける個々の数の画素位置の各々における光強度レベルを符号化する。各強度値は画素位置を取り囲む領域における光レベルを表す。同じことは、第2の画像フレームを符号化する画素値の第2のアレイ27についても真実である。第1および第2の画像フレームは同じ取り込まれたシーンを表す。本明細書では、第1および第2のアレイ26、27により符号化された画像フレームが以前に位置合わせされていることが仮定される。画像を画素より細かい解像度に位置合わせするための知られている方法、例えばサンプル点の使用などがある。

画素値の第1のアレイ26は4つのブロック28〜31に分割される。画素値の第2のアレイ27は同じ数のブロック32〜35に分割される。第1のアレイ26における第1のブロック28は、第2のアレイ27における第1のブロック32に相当する、すなわち、個々の画像フレームの実質的に重なっている区間を表す。同じ方法で、第1のアレイ26における第2のブロック29は、第2のアレイにおける第2のブロック33に相当し、第3のブロック30は、第3のブロック34に相当し、かつ、第4のブロック31は、第2のアレイ27における第4のブロック35に相当する。第2のアレイ27におけるブロック32〜35の各々は、第1のアレイ26におけるブロック28〜31の対応する1つよりも、中に含む画素値の数に関して比例して小さい。図4Aに示された実施例において、低解像度画像フレームは2×2画素値のブロックを含む第2のアレイ27により表されるのに対して、高解像度画像フレームは、ブロック28〜31当り8×8画素値を有する第1のアレイ26により表される。図4Aには、第1のブロック28、32における画素値のみが示されている。

空間周波数領域への離散コサイン変換はブロック毎を基本として行われる。DCT係数の第1のアレイ36 (図4B)は、空間領域における第1の画像フレームを表す第1のアレイ26にDCTを行うことにより得られる。DCT係数の第2のアレイ37は、第2のアレイ27にDCTを行うことにより得られる。DCT係数の第1のアレイ36および第2のアレイ37は、空間周波数領域における時にのみ、個々の画像フレームにおける個々の数の画素位置の各々における光強度レベルを符号化する。DCT係数の数は、空間解像度を決定する。

次の段階において、強度分布の最低周波数成分を表す4つのDCT係数38a〜38dはDCT係数の第1のアレイ36から導出される。DCT係数の第2のアレイ37における同じ周波数の成分を表す4つのDCT係数39a〜39dは、そのアレイから導出される。画像フレームが以前に位置合わせされているため、導出されたアレイは、第1および第2の画像フレームにおける共通の数の画素位置の各々における光強度レベルを表す。提示された実施例において、各導出されたアレイは4つの要素を含む。

次の段階において、(空間周波数領域における)組合せ画像を符号化しているDCT係数のアレイ40が生成される。アレイ40も4つのブロック41〜44に分割される。第1のブロック41は第1のブロック28、32に基づき、第2のブロック42は第2のブロック29、33に基づき、第3のブロック43は第3のブロック30、34に基づき、かつ、第4のブロック44は第4のブロック31、35における値に基づく。4つのDCT係数45a〜dは、第1のブロック41により符号化された組合せ最終画像の区間の最低周波数成分を表す。これらは、各々が、DCT係数の第1および第2のアレイ36、37から導出されたアレイにおける対応する要素の値38a〜d、39a〜dにより表された強度値の和に基づく。このことは、加算または平均化の工程を介して行うことができる。第1のブロック41における残りのDCT係数は、DCT係数の第1のアレイ36におけるDCT係数の対応するブロックにおける和にのみ基づく。したがって、同係数は、画素値の第1のアレイ26の第1のブロック28における画素値に間接的に基づく。したがって、組合せ最終画像は、画素値の第2のアレイ27により表された画像フレームよりも高い解像度で符号化される。示された実施例において、組合せ最終画像の空間解像度は、第1の画像フレームの空間解像度に相当する。代案となる実施形態において、同解像度は、第1と第2の画像フレームの間の同解像度の間の値を有する。

図4A〜4Cに示された実施形態は、デジタルカメラ1における実施を魅力的にするいくつかの特徴を有する。画素値の第2のアレイ27を、第1のアレイ26と同じ数の画素値に規模拡張する必要はない。このために回避された内挿法は、特に、比較的強力なマイクロプロセッサ13を必要として、集中的に処理を行っている。強度値の和を実行するために必要な加算の数も比較的限られている。なぜなら、DCT係数の導出されたアレイ38a〜d、39a〜dのみが加算されるからである。にもかかわらず、組合せ最終画像は、基本とされる低解像度画像が符号化される解像度よりも高い解像度において符号化される。これは事実である。なぜなら、これが、第1のアレイ26における画素値の十分な数に基づいているからである。

有利な実施において、空間周波数領域への変換はコプロセッサ15を使用して実行される。コプロセッサ15が、例えばJPEG圧縮画像を生成するなどのために、画像圧縮アルゴリズムのハードウェアへの実装を含むことが想起されよう。したがって、マイクロプロセッサ13は第1および第2のアレイ36、37におけるDCT係数を計算しなければならないことを節約できる。

1つの変形形態において、コプロセッサ15は第1および第2のアレイ26、27をJPEGフォーマットに変換し、この時点で、組合せ強度値のアレイが生成される。他の実施形態において、コプロセッサ15はDCT係数を返送し、マイクロプロセッサ13は方法の残りの段階を実行する。一実施形態において、DCT係数は、通常は画像圧縮アルゴリズムの一部であるエントロピー符号化のためのゼロ係数テーブルを送ることにより得られる。

アレイ内の区画を符号化している対応する強度値が、同じ画素位置を取り囲む領域内の光レベルを表す形で、調整済み画像フレームを符号化している各導出されたアレイが生成されるという特性を達成するために、第PCT/EP04/051080号明細書に概説されている方法の1つまたは複数を使用した位置合わせが有利に適用される。このことは、上記に提示された組合せ方法の双方の実施形態に等しく適用される。同明細書の関連する段落は参照により本明細書に組み込まれている。位置合わせの段階は、本明細書に示された双方の実施形態における合計の段階に先行する。第2の実施形態において、同段階は、空間周波数領域への変換にも先行する。位置合わせをせずに、調整済み画像フレームにおける区画を符号化している強度値のアレイは、これらのアレイが画素位置の数の実質的に同じ1つを取り囲む領域における光レベルを符号化するという特性を有すると、まだ言うことができ、画素位置の対応性の程度のみが、カメラの揺れの効果のために、僅かに低い。

画像フレームを位置合わせするための調整に続き、かつ、それらの画像フレームに同じ空間解像度が与えられると、組合せ最終画像が形成される。このことは、形成されたアレイにおける各画素値が、調整済み画像フレームにおける区画を符号化している画素値のアレイにおける対応する画素値の和となるように、組合せ最終画像における区画を符号化している画素値のアレイを形成することにより行われる。

より高い解像度を持つ取り込まれた画像フレームがより高い雑音レベルを有すること、および、貯蔵が雑音レベルを低減することの概略が上述された。このことは図5において目視でき、同図は本発明において使用されている雑音整形技術の有利な効果も示している。最も左の領域46を取り囲むダッシュ線は、貯蔵された低解像度画像に含まれた周波数情報の範囲の境界を定め、ならびに、雑音レベルを示している。最も右の領域47を取り囲むダッシュ点線は、ハイパスデジタルフィルタが適用されたより高い解像度の画像に対して同様のことを行っている。デジタルハイパスフィルタは、空間解像度および/あるいは位置合わせの前に、または、その後に適用することができる。ハイパスフィルタを適用せずに、最も右の領域47は同じ雑音レベルでより低い周波数に延長する。人間(または、その事項に対する動物の)の目の感度を表す連続曲線48は、より低い周波数における、より高い解像度の画像フレームの雑音レベルが感知可能であることを示している。個別の低解像度画像フレームおよび高解像度画像フレームを取り込むという手段により、および、高解像度画像フレームにハイパスフィルタリングを施すことにより達成される雑音整形は、全ての空間周波数における許容可能な雑音レベルを持つ組合せ最終画像をもたらす。

本発明は上述の実施形態に限定されず、添付の特許請求の範囲内で変わる可能性がある。1つの組合せ最終画像のための画像フレームを取り込むために採用される空間解像度の異なったレベルの数は2つ以上とすることができる。画素値のハイパスフィルタリングおよび合計は、デジタルカメラ1の外部の画像処理システムにおいて実行することができる。代案として、組合せ最終画像を符号化している画素値のアレイを形成するための画素値の実際の和に先立つ全ての段階は、デジタルカメラにおいて実行することができる。続いて、このような調整済み画像フレームは、コンピューターまたは他の画像処理システムへのその後の転送のためにデジタルカメラ1に記憶される。さらに、各取り込まれた画像を露出不足にする代わりに、画像取り込みデバイス(CCDまたはCMOS)の出力とA/Dコンバータとの間の増幅器の利得は非常に高くすることができる。このことは、目に見える雑音を持つ画像をもたらす。露出は「正しい」が、画像が、よりスローな露出での場合よりも低い品質を有する。上記に概略を述べた方法は、そのような実施形態において画質を改善する。

1 デジタルカメラ
2 レンズシステム
3 シャッタ
4 絞り
5 光感応領域
6 画像取り込みデバイス
7 画素セル
8 行選択回路
9 列選択読み出し回路
10 A/Dコンバータ
11 デジタル信号プロセッサ(DSP)
12 記憶デバイス
13 マイクロプロセッサ
14 読み出し専用メモリ(ROM)
15 コプロセッサ
16 出力デバイス
17 入力デバイス
18 フラッシュドライバ回路
19 動きセンサ
20 露出計デバイス
21 集団領域
22、23、24、25 段階
26、27、36、37、40 アレイ
28、29、30、31、32、33、34、35、41、42、43、44 ブロック
38、39、45 DCT係数
46、47 領域
48 連続曲線

Claims (8)

1. 複数の画像フレームから組合せ最終画像を形成する方法であって、
   強度値の第1のアレイおよび少なくとも1つの他のアレイを得る段階であるとともに、各強度値が画素位置を取り囲む領域における光レベルを表す強度値の第1のアレイおよび他のアレイを得る段階であって、強度値の各アレイが、それぞれの画像フレームにおけるそれぞれの数の画素位置の各々における光強度レベルを符号化し、前記数が、関連する前記画像フレームの空間解像度を決定する段階と、
   強度値の導出されたアレイのセットを生成する段階であるとともに、各導出されたアレイが、強度レベルの前記得られたアレイのそれぞれの1つに基づき、かつ、前記それぞれの画像フレームの重なりの少なくとも1つの区画における共通の数の画素位置の各々における光強度レベルを符号化する段階であって、強度値の少なくとも1つの導出されたアレイが、各導出されたアレイが、同じ空間解像度で重なりの少なくとも前記区画を符号化するように、増倍係数によりアレイにおける強度値の数を調整することにより得られる段階と、
   組合せ強度値のアレイを生成する段階であって、前記アレイにおける各要素が、強度値の前記それぞれの導出されたアレイの各々における対応する要素により表される強度値の和に基づく段階と、
   前記組合せ最終画像を符号化する強度値のアレイを供給する段階であって、前記アレイが組合せ強度値の前記アレイに基づく段階と、を含み、
   強度値の前記他のアレイよりも高い解像度にある重なりの少なくとも前記区画を符号化する強度値の第1のアレイが得られ、
   強度値の前記他のアレイよりも高い空間解像度にある前記組合せ最終画像における重なりの少なくとも前記区画を符号化する強度値のアレイが供給され、かつ、
   前記組合せ最終画像を符号化する強度値の前記アレイが、強度値の前記他のアレイよりも高い解像度にある重なりの区画を符号化するために、強度値の前記第1のアレイにおける十分な数の強度値に基づく方法。
2. 強度値の得られた他のアレイに基づく少なくとも1つのアレイにおける強度値の数が、1よりも大きな増倍係数により調整される請求項１に記載の方法。
3. 組合せ強度値のアレイを生成する前記段階は、各導出されたアレイが、重なりの少なくとも前記区画における実質的に対応する画素位置の各々における光強度レベルを符号化するように、前記画像フレームを位置合わせする段階が前にある請求項１または２に記載の方法。
4. 強度値の少なくとも1つの他のアレイよりも高い空間解像度にあるそれぞれの画像フレームにおける重なりの少なくとも区画を符号化している強度値の得られたアレイに基づく、強度値の少なくとも1つのアレイは、前記アレイにより符号化された前記画像の高空間周波数成分を通過させる特性を有するデジタルフィルタ工程を受ける請求項１から３のいずれか一項に記載の方法。
5. 複数の画像フレームから組合せ最終画像を形成するための画像処理システムであって、
   強度値の第1のアレイおよび少なくとも1つの他のアレイをローディングするための装置であるとともに、各強度値が画素位置を取り囲む領域における光レベルを表す強度値の第1のアレイおよび他のアレイを得る装置であって、強度値の各アレイが、それぞれの画像フレームにおけるそれぞれの数の画素位置の各々における光強度レベルを符号化し、前記数が、関連する画像フレームの空間解像度を決定する装置と、
   前記強度値を処理するためのデータ処理装置と、を含み、
   前記データ処理装置に、
   強度値の導出されたアレイのセットを生成する段階であるとともに、各導出されたアレイが、強度レベルの得られたアレイのそれぞれの1つに基づき、かつ、前記個々の画像フレームの重なりの少なくとも1つの区画における共通の数の画素位置の各々における光強度レベルを符号化している段階であって、強度値の少なくとも1つの導出されたアレイが、各導出されたアレイが、同じ空間解像度で重なりの少なくとも前記区画を符号化するように、増倍係数によりアレイにおける強度値の数を調整することにより得られる段階と、
   組合せ強度値のアレイを生成する段階であって、前記アレイにおける各要素が、強度値の前記それぞれの導出されたアレイの各々における対応する要素により表される強度値の和に基づく段階と、
   前記組合せ最終画像を符号化する強度値のアレイを供給する段階であって、前記アレイが組合せ強度値のアレイに基づく段階と、を実行するように指示するように構成され、
   前記システムは、強度値の前記他のアレイよりも高い解像度にある重なりの少なくとも前記区画を符号化する強度値の第1のアレイをローディングするように構成され、
   強度値の他のアレイよりも高い空間解像度にある前記組合せ最終画像における重なりの少なくとも前記区画を符号化する強度値のアレイを供給するように構成され、かつ、
   強度値の前記他のアレイよりも高い解像度にある重なりの前記区画を符号化するために、強度値の前記第1のアレイにおける十分な数の強度値に、前記組合せ最終画像を符号化している強度値の前記アレイを基づかせるように構成されているシステム。
6. 請求項１から４のいずれか一項に記載の方法を実行するように、前記プロセッサに指示するように構成された請求項５に記載の画像処理システム。
7. プログラム可能処理デバイス(1)にローディングされた時に、前記プログラム可能処理デバイスが請求項４に記載の方法を実行することを可能にするように構成されたコンピュータプログラム。
8. 請求項５または６に記載の画像処理システムを含むデジタルカメラ。

Images