JP4037266B2 - ディジタルイメージャの適応感度制御システム及び方法 - Google Patents

Description

（優先権情報）
本出願は、２００１年１月１１日に出願された米国仮特許出願第６０／２６１，０２３号による優先権を主張する。該米国仮出願の全記載内容を本願明細書の一部としてここに援用する。

本発明は、ディジタルイメージャの感度の制御に関する。より詳細には、本発明は、ディジタルイメージャの感度を適応制御し、ディジタルイメージャのダイナミックレンジを拡大する方法に関する。

従来より、上記のようなディジタルイメージャは、電圧と光との線形応答、すなわち変換関数（transfer function）により特徴づけられる。つまり、ディジタルイメージャの出力電圧は、ディジタルイメージャに入射する光にほぼ線形に関係している。つまり、出力電圧の変換関数は、ディジタルイメージャに入射する光の強度に線形に比例する。このような線形の変換関数はダイナミックレンジによって特徴付けることができる。ダイナミックレンジは、あるシーンの検出可能な最高照射強度とそのシーンの検出可能な最低照射強度との差として定義される。変換関数のダイナミックレンジがディジタルイメージャのダイナミックレンジ全体を設定することは十分に理解される。シーンのダイナミックレンジがディジタルイメージャのダイナミックレンジを上回る場合、シーンの一部がディジタルイメージャを飽和させ、完全な黒色あるいは完全な白色のいずれかに見える。これは、ダイナミックレンジの大きいシーン、例えば屋外のシーンなどを撮像する場合に問題となる。

従来のディジタルイメージャは、一般に画素と呼ばれる複数の感光素子を含む。この素子は、光検出素子として機能する、複数のフォトトランジスタまたは複数のフォトダイオードのいずれかによって物理的に実現される。動作においては、まず、画素がリセット電圧によってリセットされ、これにより、そのダイオードに関連する容量に電荷が発生する。例えばあるフォトダイオードによって生成された電荷は、光にさらされると、ダイオード容量の電荷を、シーンの入射照明の強度に比例して拡散させる。露光周期の終了時に、ダイオード容量の電荷における変化が検出され、フォトダイオードはリセットされる。フォトダイオードによって検出された光の量が、リセット電圧と、最終的なダイオード容量の電荷に対応する電圧との差として算出される。

例えばディジタルスチルカメラまたはディジタルビデオカメラに設けられるようなディジタルイメージャの感度は、一般に、そのディジタルイメージャによって撮像可能なシーンの最大光強度と最小光強度とによって定めることができる。ディジタルイメージャの画素によってキャプチャされるシーンの光または照射強度（illumination intensity）は、その画素、すなわち感光素子において測定される出力電圧または電荷の量に関連する値である。

ディジタルイメージャの感度は、さまざまな状況で限定され得るが、その一例が画素の飽和である。画素の飽和は、感光素子、すなわち画素の電荷が使い尽くされ、入射光の量がそれ以上増えても出力電圧が変化しない場合に起こる。このように、画素の飽和は、分離して（discretely）撮像できるシーンの最大光強度を限定すべく作用する。すなわち、ある画素の飽和が照射強度レベル１００で起こる場合、照射強度レベル１００を超えるシーンの照射強度レベルはすべて、撮像されたシーンにおいて、１００の照射強度レベルとして表される。このように、実際には照射強度レベルが１００を超えるにもかかわらず、撮像されたシーンの照射強度レベルは１００になるため、照射強度レベル１００を超える、これらのシーンの照射強度レベルは、分離して撮像されない、あるいは識別ができない。

別の例として、画素のノイズがある。画素ノイズの原因は、例として、アナログ電圧からディジタルコードへの変換における量子化、統合された熱電荷生成（integrated thermal charge production）、真の相関二重サンプルによって画素がサンプリングされない場合の電圧リセット電圧がある。画素ノイズは検出可能な最小照射強度を設定する。人間の目は強度に対して対数的な応答を有するので、ディジタルイメージングにおいては、問題となるのは通常、より低い強度におけるノイズである。

画素の飽和と画素ノイズは、いずれもディジタルイメージャ固有の特性である。したがって、これらの特性により、ディジタルイメージャの物理的感度が限定され、広い範囲の光（照射）強度を有するシーンが適切に撮像されない。すなわち、シーンの高い光（照射）強度は画素の飽和のために、撮像されたシーンから排除され、シーンの低い光（照射）強度は画素ノイズのため、解像度が低くなる。

従来から、ディジタルイメージャのこれらの物理的限定を無効にする方法、例えば、ディジタルイメージャの転送制御関数（transfer control function）としても知られる、画素の電荷集積関数（charge integration function）の操作または調整方法が提案されている。電荷集積関数の操作または転送制御関数の操作は、従来から、ディジタルイメージャに対する集積時間Ｔ_intの変更によって実現されている。集積時間Ｔ_intを変化させることにより、転送制御関数または電荷集積周期の開始時間が変わる。すなわち、集積時間の変更は、電子的絞り（electronic-irising）または露光制御の１形式であり、アナログカメラのシャッタ速度の制御と同じである。従来の集積時間操作の例が図１及び図２に示されている。

図１には、集積時間Ｔ_intが最大集積時間に近い、線形転送制御関数が示されている。集積時間Ｔ_intは、制御信号１０がリセットレベルに設定されていない時間である。フレーム周期Ｆにおいて、制御信号１０がリセット値にない場合、ディジタルイメージャは電荷を画素から転送または収集させる。図１に示されるように、制御信号１０は、まずリセットレベルにあるが（フレーム周期Ｆの開始時）、フレーム周期における、フレーム周期Ｆと集積時間Ｔ_intとの差（図１においては、この差は非常に小さい）に等しい時点において、別のレベル、この場合は収集レベルに変化する。そして、制御信号１０は、フレーム周期Ｆの終了時に再びリセットレベルに戻る。

一方、図２は、集積時間Ｔ_intが減少した、線形転送制御関数が示されている。上述のように、集積時間Ｔ_intは、制御信号１０がリセットレベルに設定されていない時間である。フレーム周期Ｆにおいて、制御信号１０がリセット値にない時、ディジタルイメージャは電荷を画素から転送または収集させる。図２に示されるように、制御信号１０は、まずリセットレベルにあるが（フレーム周期Ｆの開始時）、フレーム周期における、フレーム周期Ｆと集積時間集積時間Ｔ_intとの差に等しい時点において、別のレベル、この場合は収集レベルに変化する。（図２においては、この差はフレーム周期Ｆの半分にほぼ等しい。）そして、制御信号１０は、フレーム周期Ｆの終了時に再びリセットレベルに戻る。

すなわち、図２に示される状況では、制御信号１０が、図１に示されるより短い期間、画素から電荷を転送または収集させるレベルに設定されている。集積時間の減少により、撮像されているシーンの低い照射強度レベルが強調されない（de-emphasize）ようになる。これは、低い照射強度レベルが高い照射強度レベルと同じくらい速く電荷を生成するため、シーンの低い照射強度レベルに関連する電荷を集積するための十分な時間が与えられないからである。

撮像されたシーンの照射強度レベルに対するディジタルイメージャの集積時間Ｔ_intの関係を調べるための別の方法が図３に示されている。図３において、曲線Ａは、第１の集積時間Ｔ１_intを用いた場合の、画素の出力電圧に対する撮像されたシーンの照射強度レベルの第１のマッピングを表している。曲線Ｂは、第２の集積時間Ｔ２_intを用いた場合の、画素の出力電圧に対する撮像されたシーンの照射強度レベルとの第２のマッピングを表している。図３において、第２の集積時間Ｔ２_intは、第１の集積時間Ｔ１_intより小さい。したがって、図３に示されるように、集積時間Ｔ_intが大きくなると、画素の出力電圧対撮像されたシーンの照射強度レベルのマッピングの傾斜が大きくなり、これにより撮像されたシーンの低い照射強度は強調される。

転送制御関数を操作する従来の別の方法は、階段状の（stepped）または区分的な（piecewise）離散時間の転送制御関数（discrete-time transfer control function）を使用する方法である。階段状のまたは区分的な離散的転送制御関数の使用により、画素の出力電圧対撮像されたシーンの照射強度レベルのマッピングが修正され、飽和前に、撮像されたシーンのより広範囲にわたる照射強度レベルが可能になると同時に、撮像されたシーンの低い照射強度レベルが強調される。

従来の階段状または区分的な離散時間の転送制御関数の一例が図４に示されている。図４において、集積時間Ｔ_intは、図１に示されるのと同じ値である。ただし、図１とは異なり、図４における制御信号１０のレベルは、リセットレベルから収集値まで離散的に階段状に減少する。制御信号１０は、電荷の生成または蓄積に対するバリアとして作用する。リセットレベルにおいては、完全なバリアが実現し、画素に入射する光の照射強度レベルに関わらず、電荷は生成も蓄積もされない。すなわち、画素は事実上オフする。制御信号１０がリセットレベルから階段状に減少するにつれ有効なバリアが低くなり、電荷の生成または蓄積率が事実上、漸進的な増加を実現できる。

より詳細には、図４に示すように、露光周期の期間にわたり、制御信号１０は画素またはフォトダイオードの容量に印加されて容量からの電荷の拡散を制御する。制御信号１０は、通常、開始画素リセット電圧値から、例えば電気的接地または収集レベルに減少し、この場合、露光周期の所与の時間における各制御信号１０の値がフォトダイオードの最大電荷拡散を設定する。この制御信号１０の減少がフォトダイオードの電荷拡散能力を増加すべく作用し、これにより、画素は飽和前に、より高い照射強度に適応でき、よって画素のダイナミックレンジが増加する。このような電荷拡散制御により、撮像された照射強度レベルに対する画素の出力電圧の非線形マッピングが生成され、これに対応して画素及びイメージャのダイナミックレンジが拡大する。これが図５に示されている。

図４に示されるような階段状または区分的な離散時間の転送制御関数を使用することにより、図５に示されるような、より広い範囲を有する、画素出力電圧と撮像されたシーンの照射強度レベルのマッピングが生成される。図５において、曲線Ａは、図１に示されるような線形の制御変換関数を使用した場合の、画素出力電圧対撮像されたシーンの照射強度レベルのマッピングを示し、曲線Ｂは、図４に示されるような階段状または区分的な離散時間転送制御関数を使用した場合の、画素出力電圧対撮像されたシーンの照射強度レベルのマッピングを示す。図５に示されるように、曲線Ｂは曲線Ａに比べて、撮像されたシーンの照射強度レベルの範囲が広い。

ディジタルイメージャの物理的な限界は、集積時間の調整及び転送制御関数（結果として制御信号１０を生成する）の操作によって補償されているが、これらの従来のアプローチはでも、最適な方法でディジタルイメージャの物理的限界を補償することはできない。

例えば、従来の処理では、飽和した画素が存在しない撮像シーン範囲の照射強度レベルを実現することはできない。より詳細には、図６に示されるように、撮像されるシーンの実際の照射強度レベルのヒストグラムは、画像の平均照射強度レベルが５０の場合、２０から２００の照射強度レベルを含む。しかしながら、画素の飽和により、照射強度レベル１００を超えるシーンの照射強度レベルは、図７に示すように、ディジタルイメージャによって表示されない。これは、シーンのこのような高い照射強度レベルは、画素の飽和のために、ディジタルイメージャによってすべて１００の照射強度レベルにバケットされ、この結果、撮像されたシーンの高い照射強度レベルが排除されるためである。

上述した従来の処理を使用して、集積時間を減少することにより飽和した画素を補償すると、図８に示されるような、撮像シーンの照射強度レベルのヒストグラムが実現する。図８において、撮像されたシーンのヒストグラムは、画像照射強度の平均値が５０から２５に変わるように０・５倍縮小されている。この従来のアプローチにより、シーンのより高い照射強度レベルのより多くの部分が表示できる。しかしながら、画像は許容できない程度に暗く、画像全体の量子化ノイズは半減し、信号も二倍低減した可能性があるが、一方で他のノイズソース（リセットノイズなど）は多量に残っている。

本発明の1つの態様は、ディジタルイメージャの感度を適応的に制御する方法である。この方法によれば、第1の定められた照射強度レベルの範囲内にある照射強度レベルを有するイメージデータの画素数を決定し、決定した第1の定められた照射強度レベル範囲内の画素数にもとづき照射強度レベルマッピング関数を決定し、決定した照射強度レベルマッピング関数にもとづき転送制御関数を決定し、決定した転送制御関数をディジタルイメージャの画素に対して適用する。

本発明の他の１つの態様は、ディジタルイメージャの感度を適応的に制御する方法である。この方法によれば、画素の飽和値に対応する照射強度レベルを含む第1の定められた照射強度レベルの範囲内の照射強度レベルを有する、画像データの画素数を決定し、第1の定められた照射強度レベルの範囲内の決定された画素数にもとづき照射強度レベルマッピング関数を決定し、最小照射強度レベルに対応する照射強度レベルを含む第２の定められた照射強度レベルの範囲内の照射強度レベルを有する、画素数を決定し、第２の定められた照射強度レベルの範囲内の照射強度レベルを有する画素の決定した数にもとづき集積時間を決定し、決定した照射強度レベルマッピング関数と、決定した集積時間とにもとづき転送制御関数を決定し、決定した転送制御関数をディジタルイメージャの画素に対して適用する。

本発明の他の１つの態様は、ディジタルイメージャの感度を適応的に制御する方法である。この方法によれば、第１の照射強度レベルマッピング関数を選択し、選択した第１の圧縮にもとづき第１の転送制御関数を決定し、決定した第１の転送制御関数をディジタルイメージャの画素に対して適用し、決定した第１の転送制御関数が適用された、ディジタルイメージャによって生成されている画像データの画素の照射強度レベルのヒストグラムを決定し、前記ヒストグラムを形成するサンプル中の画素に対する最大照射強度レベルを表す、照射強度レベル最大値を決定し、決定した照射強度レベル最大値にもとづき第２の照射強度レベルマッピング関数を決定し、第２の照射強度レベルマッピング関数は飽和画素の生成を防ぎ、ヒストグラムの各レベルをディジタルイメージャによって実現可能にする、画像データのダイナミックレンジを提供し、決定した第２照射強度レベルマッピング関数にもとづき第２の転送制御関数を決定し、決定した第２の転送制御関数をディジタルイメージャの画素に対して適用する。

本発明の他の１つの態様は、合成転送制御関数を形成する複数の離散的転送制御関数（discrete transfer control functions）間の移行点を決定する方法である。この方法によれば、集積時間を決定し、照射強度レベルマッピング関数を決定し、決定した集積時間と決定した照射強度レベルマッピング関数とにもとづき合成転送制御関数を決定し、決定した集積時間と決定した照射強度レベルマッピング関数とから、複数の離散的転送制御関数間の各移行点のタイミングを決定する。

本発明の他の１つの態様は、ディジタルイメージャの感度を適応制御するシステムである。このシステムは、第１の定められた照射強度レベル範囲内の照射強度レベルを有する画像データの画素数を決定し、第１の定められた照射強度レベルの範囲内の決定した画素数にもとづき照射強度レベルマッピング関数を決定する照射強度レベルマッピングコントローラと、決定した照射強度レベルマッピング関数にもとづき転送制御関数を決定し、決定した転送制御関数をディジタルイメージャの画素に対して適用する転送制御関数生成回路とを含む。

本発明の他の１つの態様は、ディジタルイメージャの感度を適応制御するシステムである。このシステムは、画素飽和値に対応する照射強度レベルを含む第１の定められた照射強度レベルの範囲内の照射強度レベルを有する画像データの画素数を決定し、第１の定められた照射強度レベルの範囲内の、決定した画素数にもとづき照射強度レベルマッピング関数を決定する照射強度レベルマッピングコントローラと、最小照射強度レベルに対応する照射強度レベルを含む第２の定められた照射強度レベルの範囲内の照射強度レベルを有する画像データの画素数を決定し、第２の定められた照射強度レベルの範囲内の、照射強度レベルを有する決定した画素数にもとづき集積時間を決定する露光コントローラと、決定した照射強度レベルマッピング関数と、決定した集積時間とにもとづき転送制御関数を決定し、決定した転送制御関数をディジタルイメージャの画素に対して適用する、転送制御関数生成回路と、を含む。

本発明の他の１つの態様は、ディジタルイメージャの感度を適応制御するシステムである。このシステムは、第１の照射レベルマッピング関数を選択する照射強度レベルマッピングコントローラと、選択された第１の圧縮にもとづき第１の転送制御関数を決定し、決定した第１の転送制御関数をディジタルイメージャの画素に対して適用する転送制御関数生成回路とを含む。照射強度レベルマッピングコントローラは、決定した第１の転送制御関数が適用された、ディジタルイメージャによって生成されている画像データの画素の照射強度レベルのヒストグラムを決定し、ヒストグラムを形成するサンプル中の画素に対する最大照射強度レベルを表す、照射強度レベル最大値を決定する。照射強度レベルマッピングコントローラは、決定した強度レベル最大値にもとづき、第２の照射強度レベルマッピング関数を決定する。第２照射強度レベルマッピング関数は、飽和画素の生成を防ぎ、ヒストグラムの各レベルがディジタルイメージャによって実現可能になる画像データのダイナミックレンジを提供する。転送制御関数生成回路は、決定した第２の照射強度レベルマッピング関数にもとづき第２の転送制御関数を決定し、決定した第２の転送制御関数をディジタルイメージャの画素に対して適用する。

本発明の他の１つの態様は、合成転送制御関数を形成する複数の離散的転送制御関数間の移行点を決定するシステムである。このシステムは、集積時間を決定する露光コントローラと、照射強度レベルマッピング関数を決定する照射強度レベルマッピングコントローラと、決定した集積時間と決定した照射強度レベルマッピング関数とにもとづき合成転送制御関数を決定し、かつ決定した集積時間と決定した照射強度レベルマッピング関数とから、複数の離散的転送制御関数間の各移行点のタイミングを決定する、転送制御関数生成回路とを含む。

シーンの低照射強度レベルが強調されるとともにシーンの高照射強度レベルも表示され、かつ所与の集積周期のあいだ飽和する画素がないようにディジタルイメージャのダイナミックレンジを高めることが望ましい。さらに、シーンを撮像する際には、そのシーンの実際の照射強度範囲に関わらず、ディジタルイメージャのダイナミックレンジ全体を利用することが望ましい。

本発明は、ディジタルイメージャの感度を、ディジタルイメージャを飽和させずにディジタルイメージャの出力強度レベルの範囲全体を完全に使用できるような方法で、ディジタルイメージャの照射強度レベルマッピング関数及び集積時間特性を決定することにより、（結果的に制御信号を生成する）転送制御関数を調節することによって調節する技術及システムを提供する。これらの技術は、広い範囲のディジタルスチルカメラ及びビデオカメラの構成に適用できる。

本発明を説明する際、種々の用語が用いられている。本願明細書においては、フレーム周期とは、ディジタルイメージャのすべての画素を読取り、撮像されたシーンの1フレームを生成するために必要な時間周期である。集積時間とは、ディジタルイメージャが撮像対象のシーンから入射光または照射を受光し、撮像対象の入射光または照射に応じて収集可能な電荷または電圧を生成する、フレーム周期全体における時間周期を言う。照射強度レベルマッピング関数とは、ディジタルイメージャの画素から受信したアナログ信号と、その画素によって受信される、照射強度を表すディジタル信号とのあいだのアナログディジタル変換の関係をいう。出力電圧対照射強度レベルマップとは、照射強度レベルマッピング関数の図による表示である。転送制御関数（transfer control function）とは、集積時間周期における、ディジタルイメージャの画素からの電荷の拡散に対する制御を意味する。転送制御関数の生成とは、ディジタルイメージャの画素からの電荷拡散を制御する制御信号の実際の生成を意味する。

より詳細には、本発明は集積時間を調節し、転送制御関数を操作して、図９に示されるような撮像シーンのヒストグラムを実現する。図9において、感度調節を使用することにより、ヒストグラム全体がセンサの範囲内におさまり、この結果、飽和が生じないとともに画像の平均レベルが５０に維持され、画像が視覚的に見やすい程度に十分明るく、人間の目がノイズに対してより敏感な低い照射強度の画素において信号対ノイズ比が低減しないことを保証する。

本発明の技術によれば、シーンの低照射強度レベルが強調され、シーンの高照射レベルが識別可能で、所与のフレーム周期Ｆにおいて飽和する画素がない。

本発明は、ディジタルイメージャの感度を異ならせ、シーンが広いダイナミックレンジを持つ場合には、ディジタルイメージャは撮像されたシーンを表すディジタル照射強度レベルまたは値に対するディジタルイメージャの出力電圧の非線形マッピングを生成することができる。本発明の概念によれば、人の目が量子化ノイズに対してそれほど敏感でない、シーンのより高い照射強度レベルを表す出力電圧は、非線形的に照射強度レベルにマッピングされ、より高い照射強度レベルの解像度は圧縮される。さらに、シーンの低照射強度レベルを表す出力電圧は増幅され、画像が十分に明るいことを保証する。この結果、適当な輝度を有し、飽和のない撮像シーンが得られる。

本発明は、撮像シーンの照射強度レベルに対する出力電圧のマッピングを動的に調節することにより、シーンの高照射強度レベルの解像度を連続的に圧縮または復元（decompress）し、異なるレベルの光（照射）強度に対して量子化ノイズの量を変化させるまたは不均一に分配する。完全な線形マッピングでは、撮像されたシーンの可能なすべての照射強度が同じ解像度または量子化ノイズの量を有する。

本発明は、出力電圧と撮像されたシーンマップの照射強度レベルとのマッピングを非線形的に調節することでより高い照射強度レベルの解像度を選択的に減少または圧縮させ、飽和点を高める。この結果、ダイナミックレンジの広いシーンを与えられた場合に、低照射強度レベルの画素に関連する出力電圧を、所望の解像度を有するよう十分に増幅することができるとともに、高照射強度レベルの画素に関連する出力電圧をマッピングして、高照射強度レベルの解像度を、ディジタルイメージャに関連するアナログディジタル変換器の範囲内に適合するように圧縮し、かつ飽和を防ぐことができる。これを実現するために、本発明によれば、望ましい照射強度レベルマッピングが自動的に決定され、この決定した照射強度レベルマッピングがディジタルイメージャに対する転送制御関数に変換される。この転送制御関数は、感光素子における電荷の生成または蓄積を制御し、これにより画素の出力電圧を制御する。

本発明は、種々の部品及び部品の配列、及び種々のステップ及びステップの配列の形式を取ることができ、図面は好ましい実施形態を示すことだけを意図し、本発明を限定するものではない。

図１０には、本発明の１実施形態が示されている。図１０に示されるように、ディジタルイメージャの感度を適応制御するシステムは、ディジタルイメージャ１と、照射強度レベルマッピングコントローラ３と、露光コントローラ５と、転送制御関数生成回路７とを含む。

照射強度レベルマッピングコントローラ３は、第1の定められた照射強度レベルの範囲内にある照射強度レベルを有する、撮像されたシーンの画素数を決定する。照射強度レベルマッピングコントローラ３は、さらに、第1の定められた照射強度レベルの範囲内の決定した画素数にもとづき、照射強度レベルマッピング関数を決定する。

露光コントローラ５は、第２の定められた照射強度レベルの範囲内にある照射強度レベルを有する、撮像されたシーンの画素数を決定し、第２の定められた照射強度レベルの範囲内の照射強度レベルを有する決定した画素数にもとづき、集積時間Ｔ_intを決定する。

転送制御関数生成回路７は、決定した照射強度レベルマッピング関数と集積時間Ｔ_intとにもとづき、転送制御関数を決定する。転送制御関数生成回路７は、さらに、決定した転送制御関数をディジタルイメージャの画素に対して適用する。

転送制御関数生成回路の一例が、同時係属中の米国特許出願第０９／９１６，８２２号（２００１年７月２７日出願、表題"PRECISE MOS IMAGER TRANSFER FUNCTION CONTROL FOR EXPANDED DYNAMIC RANGE IMAGING"）に記載されている。この同時係属米国特許出願第０９／９１６，８２２号の全内容を本願明細書の一部としてここに援用する。

好ましい実施形態においては、ディジタルイメージャ１は転送制御関数を受信し、受信した転送制御関数にしたがって制御信号１０を生成する。

なお、転送制御関数生成回路７が制御信号１０を直接生成し、これをディジタルイメージャ１に供給することもできる。この場合、制御信号１０は、決定された集積時間Ｔ_intと決定された照射射強度レベルマッピング関数とにもとづき決定した転送制御関数にしたがって生成される。

第１の定められた照射強度レベルの範囲とは、画素の飽和を表す照射強度レベルを含む照射強度レベルの範囲であり、第２の定められた照射強度レベルの範囲とは、画素ノイズまたは画素オフセットに対して調節可能な最小照射強度レベルを表す照射強度レベルを含む照射強度レベルの範囲である。

照射強度レベルマッピングコントローラ３は、第１の定められた照射強度レベル範囲の照射強度レベルを有する画像データの画素数を、ディジタルイメージャによって生成された画像データの画素のフレームから、ディジタルイメージャによって生成された画像データの画素の部分フレームから、ディジタルイメージャによって生成された画像データの画素のフレーム内の定められた領域から、またはディジタルイメージャによって生成された画像データの画素のフレーム内のユーザによって定められた領域から決定する。

照射強度レベルマッピング関数は、複数の予め特定された照射強度レベルマッピング関数から、例えば８つの予め特定された照射強度レベルマッピング関数から、第１の定められた照射強度レベルの範囲内の決定した画素数にもとづき、計算または選択のいずれかにより求めることができる。さらに、転送制御関数は、決定した照射強度レベルマッピング関数と決定した集積時間Ｔ_intにもとづき、複数の予め特定された転送制御関数から計算または選択のいずれかが可能である。

さらに、転送制御関数の決定は、この決定に使用されている画像データのフレームの直後の、画像データの第２フレームの生成中に実現することできる。この状況においては、新しい転送制御関数は、画像データの第２フレームの直後である、画像データの第３フレームの生成中に、画素に対して適用される。

一方、転送制御関数の決定が部分フレームだけに関してなされている場合、転送制御関数の決定は、画像の前記部分フレームを有する画像データのフレームである、画像データの第１フレームの生成中に実現できる。この状況では、新しい転送制御関数は、画像データの前記第１フレームの直後である、画像データの第２フレームの生成中に、画素に与えられる。

さらに、フレーム周期Ｆまたは他のフレームパラメータをオンザフライで（進行中に）調節して本発明の実施を可能にすることができる。

図１０に示されたシステムの別の実施方法では、照射強度レベルマッピングコントローラ３は、飽和画素の数を決定し、決定した飽和画素の数が第１の閾値を超える場合には、第１の照射強度レベルマッピング関数を選択する。照射強度レベルマッピングコントローラ３は、定められたレベルの範囲にある照射強度レベルを有する飽和画素の数を決定し、決定した画素数が第２の閾値より下の場合には、第２の照射強度レベルマッピング関数を選択する。転送制御関数生成回路７は、選択された照射強度レベルマッピング関数にもとづき転送制御関数を決定し、決定した転送制御関数をディジタルイメージャの画素に対して適用する。

転送制御関数は、複数の離散的転送制御関数、例えば８つの離散的転送制御関数を含んでもよい。本実施形態では、決定した照射強度レベルマッピング関数は、複数の離散的照射強度レベルマッピング関数、例えば８つの離散的照射強度レベルマッピング関数を含む。各離散的転送制御関数は、複数の離散的照射強度レベルマッピング関数の１つに基づき決定する。

さらなる実施方法では、照射強度レベルマッピングコントローラ３は、第１の照射強度レベルマッピング関数を選択し、転送制御関数生成回路７は、選択された第１の照射強度レベルマッピング関数にもとづき第１転送制御関数を決定し、決定した第１転送制御関数をディジタルイメージャの画素に対して適用する。そして、照射強度レベルマッピングコントローラ３は、ディジタルイメージャによって生成されている、決定した第１転送制御関数が与えられた、撮像シーンの画素の照射強度レベルのヒストグラムを決定し、このヒストグラムを形成するサンプル中の画素に対する最大照射強度レベルを表す照射強度レベル最大値を決定する。照射強度レベルマッピングコントローラ３は、決定した照射強度レベル最大値にもとづき第２照射強度レベルマッピング関数を決定する。第２照射強度レベルマッピング関数は、飽和画素の生成を防ぎ、ヒストグラムの各レベルがディジタルイメージャによって実現可能である、画像データのダイナミックレンジを提供する。転送制御関数生成回路７は、続いて、決定した第２照射強度レベルマッピング関数にもとづき第２転送制御関数を決定し、決定した第２転送制御関数をディジタルイメージャの画素に対して適用する。第１照射強度レベルマッピング関数は、高照射強度レベルの解像度の最大圧縮を表す。

上述のように、転送制御関数を操作する１つの方法は、階段状または区分的な離散的時間の転送制御関数を使用することである。階段状または区分的な離散的転送制御関数を使用することにより、画素の出力電圧対照射強度のマップを修正して、低照射強度レベルを強調しつつ、飽和前に広範囲の可能な照射強度を実現することができる。

しかしながら、階段状または区分的な離散的時間転送制御関数を使用するためには、離散的転送制御関数または離散的制御信号レベル間の移行点のタイミングと同様に、各階段状の転送制御関数または制御信号レベルを決定しなければならない。

本発明の好ましい実施形態においては、転送制御関数は階段状または区分的な離散的時間転送制御関数であるので、階段状または区分的な離散的時間制御信号である制御信号を生成する。

転送制御関数生成回路７がＴ_intを受信すると、第１の離散的転送制御関数から第２の離散的転送制御関数への第１の移行点がただちに設定される。照射強度レベルマッピング関数ｇは、実際の離散的転送制御関数を決定し、実際の離散的転送制御関数は、実際の離散的制御信号レベルのそれぞれを決定する。

以下に説明する例においては、照射強度レベルマッピング関数ｇは、図１４に示される、撮像シーンの出力電圧対照射強度レベルの望ましいマップから求められる。図１４からわかるように、撮像されたシーンの出力電圧対照射強度レベルの望ましいマップは、区分的な離散的マッピングであり、各離散的マッピングは関連する照射強度レベル範囲の解像度の異なる圧縮に対応する。以下に示すように、関連する照射強度レベル範囲の解像度の各圧縮は、転送制御関数におけるレベルｂ_iに対応する。関連する照射強度レベル範囲の解像度の圧縮が増大するにつれ、対応するレベルｂ_iは減少する。

上述のように、本発明の１つの実施形態においては、転送制御関数は、７つの移行点によって形成される８つの区分または段を有する離散的区分的線形関数であり、ほぼ対数的な応答を生成する。

本発明の好ましい実施形態による、階段状または区分的な離散的時間転送制御関数の一例が図１３に示されている。図１３において、移行点のタイミングｔが横軸に示され、転送制御関数に対応し、続いて生成された制御信号のリセットレベルからの降下量に対応するレベルｂは縦軸に示されている。

図１３に示されるような、本発明の１実施形態における階段状または区分的な離散的時間転送制御関数は、以下により実現する。
１．第１の移行点ｔ₁から第２の移行点ｔ₂までの領域の傾斜をｍに設定する。
２．第２の移行点ｔ₂から第３の移行点ｔ₃までの領域の傾斜をｇｍに設定する。
３．第３の移行点ｔ₃から第４の移行点ｔ₄までの領域の傾斜をｇ²ｍに設定する。
４．第４の移行点ｔ₄から第５の移行点ｔ₅までの領域の傾斜をｇ³ｍに設定する。
５．第５の移行点ｔ₅から第６の移行点ｔ₆までの領域の傾斜をｇ⁴ｍに設定する。
６．第６の移行点ｔ₆から第７の移行点ｔ₇またはＴ_maxまでの領域の傾斜をｇ⁵ｍに設定する。

７つ以上の移行点が望まれる場合、それ以降の移行点間の領域の傾斜はｇ倍ずつ増加し続ける。

このような方法によれば、露光コントローラ５が望ましい集積時間Ｔ_intを特定し、照射強度レベルマッピングコントローラ３が望ましい照射強度レベルマッピング関数ｇを特定すると、階段状の転送制御関数が完全に制約される。しかしながら、フレーム周期全体Ｔ_maxのあいだでいつ離散的転送制御関数間の移行点が発生するかを決める必要が依然としてある。

上述のように、図１３に示されるような本発明のこの好ましい実施形態においては、７つの移行点がある。これら７つの移行点は、結果的な連立方程式の組を解くことにより決定できる。
ｔ₀ ＝ Ｔ_max − Ｔ_int
ｍ ＝ （ｂ₁ − ｂ₀）／Ｔ₀
ｍｇ ＝ （ｂ₂ − ｂ₁）／Ｔ₁
ｍｇ² ＝ （ｂ₃ − ｂ₂）／Ｔ₂
ｍｇ³ ＝ （ｂ₄ − ｂ₃）／Ｔ₃
ｍｇ⁴ ＝ （ｂ₅ − ｂ₄）／Ｔ₄
ｍｇ⁵ ＝ （ｂ₆ − ｂ₅）／Ｔ₅
ｍｇ⁶ ＝ （ｂ₇ − ｂ₆）／Ｔ₆
Ｔ_max ＝ ｔ₀ ＋ Ｔ₀ ＋ Ｔ₁ ＋ Ｔ₂ ＋ Ｔ₃ ＋ Ｔ₄ ＋ Ｔ₅ ＋ Ｔ₆

上記の方程式は、すべてが図１３で参照される変数を用いている。好ましい実施形態においては、転送制御関数に対応し、続いて生成された制御信号のリセットレベルから降下している量に個々に対応するレベルｂ₀からｂ₇は、量Δｂずつ（ただし（ｂ₇−ｂ₆＝２Δｂ）を除く）均等な間隔を有すると仮定すると、上記の方程式によりＴ₀，Ｔ₁，Ｔ₂，Ｔ₃，Ｔ₄及びＴ₅を求めると、以下のようになる。
Ｔ₀ ＝ （ｇ⁶）／（ｇ⁶＋ｇ⁵ ＋ｇ⁴ ＋ｇ³＋ｇ² ＋ｇ＋２）^*Ｔ_int

Ｔ₁ ＝ （Ｔ₀）／ｇ
Ｔ₂ ＝ （Ｔ₁）／ｇ
Ｔ₃ ＝ （Ｔ₂）／ｇ
Ｔ₄ ＝ （Ｔ₃）／ｇ
Ｔ₅ ＝ （Ｔ₄）／ｇ

Ｔ₀，Ｔ₁，Ｔ₂，Ｔ₃，Ｔ₄及びＴ₅を求める上記の解法によれば、７つの移行点、ｔ₀，ｔ₁，ｔ₂，ｔ₃，ｔ₄，ｔ₅及びｔ₆は、以下のようになる。

ｔ₀ ＝ Ｔ_max − Ｔ_int
ｔ₁ ＝ ｔ₀ ＋ Ｔ₀
ｔ₂ ＝ ｔ₁ ＋ Ｔ₁
ｔ₃ ＝ ｔ₂ ＋ Ｔ₂
ｔ₄ ＝ ｔ₃ ＋ Ｔ₃
ｔ₅ ＝ ｔ₄ ＋ Ｔ₄
ｔ₆ ＝ ｔ₅ ＋ Ｔ₅

なお、移行点を求めるためにレベルｂ_iは均等な間隔で設定される必要はない。ｂの均等な間隔は、本発明の着想による転送制御関数の生成の一例に過ぎない。

本発明の好ましい実施形態においては、移行点のタイミングの決定は、計算の反復的な性質のために、専用のハードウェアによって実現する。Ｔ₀が求められると、同一分母による除算を単にあと５回繰り返す。好ましい実施形態においては、Ｔ₀は非効率性のために専用ハードウェアによって計算されない。よって、可能なｇの数は制限され，Ｔ₀を求めるためにルックアップテーブルが使用される。

この実施形態では、合成転送制御関数を形成する複数の離散的転送制御関数間の移行点は、集積時間Ｔ_int及び照射強度レベルマッピング関数の決定に続いて決定する。照射強度レベルマッピング関数は撮像シーンの高照射強度レベルの解像度の適切な圧縮及び撮像シーンの低照射強度レベルの適切な強調を提供する。

１つの実施形態においては，合成転送制御関数は、８つの離散的転送制御関数と７つの移行点とを有する。第１移行点は、最大可能集積時間Ｔ_max、またはフレーム周期Ｆと、決定した集積時間Ｔ_intとの差に等しい。これに続く移行点は、レベルｂ_iが量Δｂずつ（ただし、（ｂ₇−ｂ₆＝２Δｂ）を除く）均等な間隔で設定されていると仮定すると、前のすべての移行点と時間Ｔ_S＝（（ｇ^n-1）／（（ｇ^n-1＋ｇ^n-2＋・・・＋ｇ²＋ｇ＋２）（ｇ^(p)）））^*Ｔ_intの和に等しい。ここで、ｇは決定した照射強度レベルマッピング関数に等しく、ｎは移行点の総数に等しく、ｐは計算対象の離散的転送制御関数の位取り数字（positional number）に等しく、Ｔ_intは決定した集積時間に等しい。レベルｂ_iが量Δｂずつ均等な間隔で設定されていない場合には、等式はレベルｂｉの空間的関係に応じてわずかに異なる。

図１５には、本発明の好ましい実施形態の照射強度マッピングコントローラにより利用される処理が示されている。図１５に示されるように、照射強度マッピングコントローラは、撮像されたシーンをセンサから取り込み、飽和画素の数をカウントする。飽和画素の数が多すぎる場合、照射強度マッピングコントローラは高照射強度レベルの解像度に関する圧縮の量を増加する。照射強度マッピングコントローラはさらに、撮像されたシーンの照射強度レベルのヒストグラムにおけるディジタルイメージャのダイナミックレンジの上限付近の領域である上部領域（ビン）における画素数をカウントし、撮像されたシーンがヒストグラムの範囲全体を満たしているかを判断する。上部領域（ビン）に十分な画素がなければ、照射強度マッピングコントローラは、高照射強度レベルの解像度に関する圧縮の量を減少する。照射強度マッピングコントローラは、飽和画素がなくなり、ヒストグラムが完全に使用されるまでこの処理を続ける。

このアプローチは、照射強度マッピング関数を、いかにそれを最適に設定するかを決定するために劇的に変化させることなく、照射強度マッピングコントローラが継続的に実行可能な点で、ビデオのアプリケーションに対して効果的に働く。安定性の制約のもとで照射強度マッピングステップの数が最小化される場合、８つの照射強度マッピングステップが十分である。これにより、照射強度マッピング関数を最大１６フレーム以内に設定できる。

図１６には、本発明の好ましい実施形態の転送制御関数生成回路によって利用される処理が示されている。図１６に示されるように、転送制御関数生成回路は、転送制御関数の初期レベルｂをｂ₀に設定する。ステップ値ｉは、値１に設定される。移行点のタイミングｔ_iも算出される。転送制御関数生成回路はスタンドバイ状態になり、計算された移行点ｔ_iが実現するまで、最後の確立レベルｂをディジタルイメージャに送る。計算された移行点ｔ_iが実現すると、新しいレベルｂがｂ_i+1に設定される。ステップ値ｉは１だけ増加される。移行点ｔ_iの計算及びレベルｂの設定を、ステップ値ｉが６になるまで繰り返す。

本発明は、予めプログラムされた照射強度レベルマッピング関数の使用と、所与のフレーム分析中におけるオンザフライ（進行中）での照射強度レベルマッピング関数の計算とのいずれをも想定していることがわかる。予めプログラムされた照射強度レベルマッピング関数の使用は、計算電力が最小化されるアプリケーションではより好ましい。一方、照射強度レベルマッピング関数のリアルタイム計算は、感度制御における柔軟性が望まれるアプリケーションではより好ましい。

本発明の適応感度制御は、ユーザによる制御または入力を必要とせずに、自動的に動作すべく実施され、画像品質を最大化するためのディジタルイメージャの自動的でリアルタイムの適応的調整が可能である。

図１１には、本発明の別の実施形態が示されている。図１１に示されるように、第１のステップにおいて、ディジタルイメージャの集積時間Ｔ_intが制御される。集積時間の制御は、低照射強度レベルに関連する画素数を制御することにより特に実施される。これには、ディジタルイメージャのダイナミックレンジをシーンの照射強度レベルに対してシフトするという効果がある。

１実施形態においては、強度レベル０から３を、特定された低強度レベル範囲として定めている。低強度レベル範囲がレベル０から３を含むとすると、これは、イメージャの４０９６の出力強度レベルの強度レベル総数の０．１％を占める。集積時間が本発明に応じて制御され、画素の総数の同一パーセンテージ０．１％、すなわち３０７，２００画素のイメージャの０．１％、つまり３７０画素が０，１，２または３の強度レベルを有する。これにより、４０９６レベル全体がシーンの強度範囲にわたって効果的に分配される。

好ましくは、低強度レベル範囲に関連付けられるべく選択された画素の数は、ある範囲に定められる。例えば、上記の例では、３０７＋／−３０画素が、好ましくはこの範囲に指定される。ある範囲の画素数を使用することにより、ヒステリシスを導入することができ、これによりシステムが安定する。ヒステリシスを導入する別の方法は、強度レベル範囲を使用することである。例えば、強度レベル０または１において画素数が３０７未満であれば、これに応答して、露光時間を減少することができる。同様に、強度レベル０，１，２，３または４において画素数が３０７未満であれば、露光時間を増加させる。この例では、画素数に対する閾値は３０７であって、範囲を持たないが、強度レベル自体は「０または１」から「０，１，２，３、または４」の範囲を有する。このような強度レベルの範囲を導入することによってもヒステリシスが提供される。低照射強度レベルの範囲は小さいことが好ましく、通常小さいほどよい。ただし、例えば０のレベルだけを含むなど、小さすぎると、アルゴリズムがノイズレベルまたは欠陥画素の発生に対して強固でない可能性がある。

図１１の第１ステップにおいては、定められた低強度範囲に関連付けられるとされたフレームの画素数をフレーム照射強度ヒストグラムからカウントする。低強度範囲の画素数が、強度レベルの総数の関数としての低強度範囲のパーセンテージに対応する数より大きければ、ディジタルイメージャの集積時間を増加する。逆に、画素数のほうが小さければ、ディジタルイメージャの集積時間を減少する。

図１１のステップ２においては、照射強度レベルマッピング関数が調整される。これは、照射強度レベルマッピング関数を選択して、画素数と高照射強度範囲とを一致させることにより特に実現される。この一致は、図９に示すように、画素の分布がディジタルイメージャの飽和レベルにおいてゼロになるように特に行われる。高照射強度範囲は、４０９６の出力レベルの場合、例えば４０９５，４０９４，４０９３及び４０９２の強度レベルとして定めることができる。この例の場合、これらの出力レベルに関連付けられる画素の数は、画素の総数の０．１％である。そして、この画素数は、３０７，２００画素のイメージャの場合、例えば２７７画素から３３７画素の範囲として定めることができる。

このステップが完了すると、ディジタルイメージャの出力レベルが図９に示されるよう調節されるように、ディジタルイメージャの転送制御関数が調節される。本発明によれば、イメージャの集積時間の調節ステップは、ディジタルイメージャの制御信号のレベルの調節ステップの後にあるいはこれと平行して実行できることがわかる。図１１のフローチャートに示されるステップの順序は一例にすぎない。

以下に簡単な例を記載し、本発明の概念を説明する。

４ｘ４の画素アレイサイズを有するディジタルイメージャの例を考えると、分析中のフレームにおける撮像対象の所与のシーンでは、各行の画素はすべて同じ強度レベルを有し、各画素の強度レベルは、０から１５の出力レベルの範囲の４ビットでの出力である。

ディジタルイメージャの特定画素によって撮像されるシーンの強度レベルのヒストグラムのさらなる例をあげると以下のようになる。
第１の画素の行では３
第２の画素の行では６
第３の画素の行では３００
第４の画素の行では６００

すなわち、各画素行のシーン強度レベルの比は、以下のようになる。
第１及び第２の画素行の比は１：２
第２及び第３の画素行の比は１：５０
第３及び第４の画素行の比は１：２

従来の感度制御技術では、第４行の強度レベルを６００から、ディジタルイメージャの実現可能な最高強度レベルである１５に低減するために、集積時間を減少することにより各画素の強度を４０分の一に低減する必要があり、このような集積時間の調整後の新たな強度は次のとおりである。
第１の画素行は、０（＝１／４０）
第２の画素行は、０（＝２／４０）
第３の画素行は、８（＝３００／４０）
第４の画素行は、１５（＝６００／４０）

この結果、第１画素行と第２画素行との当初の強度差が失われるため、出力画像は貧弱になる。

このような問題は本発明の技術により解決する。上述した本発明の技術によれば、画素の強度は次のように調整される。
（ａ）集積時間を低減することによって、各照射強度レベルを３で割り、撮像されているシーンの最低照射強度レベルを、ディジタルイメージャの指定された低照射強度レベルである１にする。この結果、画素の行１から４の新しい照射強度出力レベルは、それぞれ、１（＝３／３）、２（＝６／３）、１００（＝３００／３）及び２００（＝６００／３）となる。
（ｂ）非線形照射強度レベルマッピング関数を各照射強度レベルに適用する。これにより、照射強度レベル１及び２はほぼ同じに維持されるが、強度レベル２００を有する、最高照射強度レベルの画素領域の解像度は強力に圧縮されて、撮像されているシーンの照射強度レベルを、ディジタルイメージャの最大強度レベル１５にマッピングする。最高照射高度レベルの画素領域のすぐ下の高照射強度レベルの画素領域の解像度は，それほど強力ではないが圧縮され、よって第３の画素行の照射強度レベルは９に設定される。

これらのステップにより、本発明の技術は、シーンからの元の画素行照射強度レベルの分布１，２，３００及び６００を、１，２，９，１５のイメージャ出力レベルに変換する。この結果、４つの画素行が異なる照射強度レベルを有するという元の状態が維持されるとともに、画像照射範囲はディジタルイメージャの出力範囲の特性に十分にマップされる。

図１２には、集積時間を設定するための、本発明のさらなる実施形態が示されている。照射強度レベル０及び１の全画素数をカウントし、ナンバーダーク（ＮＤ）として注目する。ＮＤの決定後、処理は集積時間の調整を決定し、ＮＤの数を低減する。ＮＤを低減するための集積時間の増加方法は次のとおりである。
（１）１６５＜ＮＤ＜＝１８０であれば、集積時間を１０％増加する。
（２）１８０＜ＮＤ＜＝１９５であれば、集積時間を２０％増加する。
（３）１９５＜ＮＤ＜＝２１０であれば、集積時間を３０％増加する。
（４）２１０＜ＮＤ＜＝２２５であれば、集積時間を４０％増加する。
（５）２２５＜ＮＤ＜＝２４０であれば、集積時間を５０％増加する。
（６）２４０＜ＮＤ＜＝２７０であれば、集積時間を７０％増加する。
（７）２７０＜ＮＤ＜＝３００であれば、集積時間を９０％増加する。
（８）３００＜ＮＤ＜＝４５０であれば、集積時間を１５０％増加する。
（９）４５０＜ＮＤ＜＝６００であれば、集積時間を２５０％増加する。
（１０）６００＜ＮＤ＜＝９００であれば、集積時間を４００％増加する。
（１１）９００＜ＮＤ＜＝１５００であれば、集積時間を７５０％増加する。
（１２）１５００＜ＮＤであれば、集積時間を１０００％増加する。
ＮＤが１３５と１６５のあいだであれば、集積時間は変化しない。

ＮＤが１３５未満であれば、代わりに下記の規則を適用して集積時間を減少する。
（１）１２０＜ＮＤ＜＝１３５であれば、集積時間を１１％減少する。
（２）１０５＜ＮＤ＜＝１２０であれば、集積時間を２５％減少する。
（３）９０＜ＮＤ＜＝１０５であれば、集積時間を４２％減少する。
（４）７５＜ＮＤ＜＝９０であれば、集積時間を６６％減少する。
（５）６０＜ＮＤ＜＝７５であれば、集積時間を１００％減少する。
（６）３０＜ＮＤ＜＝６０であれば、集積時間を２３３％減少する。
（７）２５＜ＮＤ＜＝３０であれば、集積時間を４００％減少する。
（８）２０＜ＮＤ＜＝２５であれば、集積時間を５００％減少する。
（９）１５＜ＮＤ＜＝２０であれば、集積時間を６５０％減少する。
（１０）１５＜ＮＤであれば、集積時間を１０００％減少する。

本発明は、ディジタルカメラの感度を適応的に制御するさらなる技術を想定する。例えば、上記の集積時間の制御技術は、任意の適当な機械的絞り（アイリス）制御及び／または強度信号ゲイン制御に置き換えたり組み合わせたりすることができる。機械的絞り制御及び強度信号ゲイン制御を用いて、集積時間の制御と同様の結果を生むことができるが、これらの制御による副作用もある。例えば、機械的絞りが増加すると、焦点の深さがこれに対応して減少する。別の例としては、信号のゲインが増加すると、ノイズレベル及び信号レベルがこれに対応して増加する。

上記の説明及び添付の図面は、本発明により想定される適応感度制御の広い範囲を示すために提供される。本発明の技術には特定の実施方法が要求されるものではなく、本発明は、ディジタルイメージャの圧縮率及び集積時間制御を可能にし、イメージャの感度制御を実現する任意の実施方法を想定する。

本発明のさまざまな例及び実施形態を示し、説明したが、当業者であれば、本発明の範囲がこれらの特定の説明及び図面に限られず、請求の範囲に記載されるような種々の修正及び変更にも及ぶことが理解できる。

集積時間が最大集積時間に近い、線形転送制御関数を示す図である。 集積時間が減少した、線形転送制御関数を示す図である。 異なる集積時間を利用した、撮像されたシーンの画素出力電圧対照射強度のマッピングを示す図である。 階段状または区分的離散的時間転送制御関数を示す図である。 線形転送制御関数及び階段状または区分的離散的時間転送制御関数を利用した、撮像されたシーンの画素出力電圧対照射強度のマッピングを示す図である。 撮像される実際のシーンの照射強度レベルのヒストグラムである。 図６の撮像シーンの照射強度レベルのヒストグラムであり、従来の補正を行っていない。 図６の撮像シーンの照射強度レベルのヒストグラムであり、従来の補正を使用している 本発明により実現する、図６の撮像シーンの照射強度レベルのヒストグラムである。 本発明の概念による、適応感度制御システムのブロック図である。 本発明の概念による、適応感度制御の1実施形態を示すブロック図である。 本発明の概念による、適応感度制御の別の実施形態を示すブロック図である。 本発明の概念による、転送制御関数に対する移行点のタイミングの計算を示す図である。 図１３の転送制御関数を生成するための、撮像シーンに対する出力電圧対照射強度レベルの望ましいマップである。 本発明の別の実施形態による、照射強度マッピングコントローラの動作を示すフローチャートである。 本発明の別の実施形態による、転送制御関数生成回路の動作を示すフローチャートである。

Claims (8)

1. 光を電荷に変換する画素であって、集積時間の間に当該画素に照射された光の照射強度レベルに応じた量の電荷を生成して蓄積し、蓄積した電荷の量に対応する出力信号レベルの信号を出力する画素を複数備え、前記画素の出力信号レベルと前記画素に照射される光の照射強度レベルとの対応づけを定義する圧縮関数を用いて、前記画素の出力信号レベルから前記画素に照射される光の照射強度レベルを求めるディジタルイメージャ、に含まれる画素の電荷蓄積期間中の最大可能蓄積電荷量を制御するための制御関数であって、前記電荷蓄積期間を複数の時間間隔に分割した区分を有し、この各区分に対して前記画素の最大可能蓄積電荷量を決定するための関数値を定義する転送制御関数について、ある区分から次の区分への移行点を決定する方法であって、
   （ａ）前記圧縮関数を決定するステップであって、前記ディジタルイメージャによって生成された画像データに含まれる画素のうち、前記圧縮関数を用いて当該画素の出力信号レベルから求めた照射強度レベルが予め設定された第１の照射強度レベルの範囲内である画素の数が第１閾値よりも多い場合に、前記圧縮関数の解像度を下げ、前記圧縮関数を用いて当該画素の出力信号レベルから求めた照射強度レベルが前記第１の照射強度レベルの範囲内である画素の数が、前記第１閾値よりも小さい第２閾値よりも少ない場合に、前記圧縮関数の解像度を上げる、ステップと、
   （ｂ）前記ディジタルイメージャに含まれる画素の電荷蓄積時間である集積時間を決定するステップであって、前記ディジタルイメージャによって生成された画像データに含まれる画素のうち、前記圧縮関数を用いて当該画素の出力信号レベルから求めた照射強度レベルが予め設定された第２の照射強度レベルの範囲内である画素の数が第３閾値よりも多い場合に、前記集積時間を増加させ、前記圧縮関数を用いて当該画素の出力信号レベルから求められた照射強度レベルが前記第２の照射強度レベルの範囲内である画素の数が、前記第３閾値よりも小さい第４閾値よりも少ない場合に、前記集積時間を減少させる、ステップと、
   （ｃ）前記転送制御関数の各区分の関数値を決定するステップであって、前記圧縮関数を決定するステップにおいて前記圧縮関数の解像度を下げた場合は、前記転送制御関数の各区分の関数値をより小さくし、前記圧縮関数を決定するステップにおいて前記圧縮関数の解像度を上げた場合は、前記転送制御関数の各区分の関数値をより大きくする、ステップと、
   （ｄ）前記転送制御関数の区分間の移行点を決定するステップであって、前記転送制御関数の各区分の関数値を決定するステップにおいて前記圧縮関数に基づいて決定された前記各区分の関数値と、前記集積時間を決定するステップにおいて決定された集積時間と、に基づいて前記移行点を決定する、ステップと、
   を含む、方法。
2. 請求項１に記載の方法において、前記転送制御関数は、８つの区分と７つの移行点とを有する、方法。
3. 請求項１に記載の方法において、前記転送制御関数の第１の区分から第２の区分への移行点である第１の移行点は、前記画素の可能な電荷蓄積期間の最大値である最大可能集積時間と、前記決定した集積時間との差に等しい、方法。
4. 請求項１に記載の方法において、前記転送制御関数の区分間のｎ個の移行点ｔ_iについて、第１の区分から第２の区分への移行点である第１の移行点ｔ₀は、前記画素の可能な電荷蓄積期間の最大値である最大可能集積時間と、前記決定した集積時間との差に等しく、第１の移行点ｔ₀に続く移行点ｔ_i（ｉ＝１，２，．．．，ｎ−１）について、ｔ_i＝ｔ_i-1＋Ｔ_Sであり、
   ここで、Ｔ_Sは（（ｇ^n-1）／（（ｇ^n-1＋ｇ^n-2＋・・・＋ｇ²＋ｇ＋２）（ｇ^(i-1)）））^*Ｔ_intに等しく、
   ｇは決定した圧縮関数に等しく、
   ｎは前記転送制御関数の区分の移行点の総数に等しく、
   Ｔ_intは決定した集積時間に等しい、方法。
5. 光を電荷に変換する画素であって、集積時間の間に当該画素に照射された光の照射強度レベルに応じた量の電荷を生成して蓄積し、蓄積した電荷の量に対応する出力信号レベルの信号を出力する画素を複数備え、前記画素の出力信号レベルと前記画素に照射される光の照射強度レベルとの対応づけを定義する照射強度レベルマッピング関数を用いて、前記画素の出力信号レベルから前記画素に照射される光の照射強度レベルを求めるディジタルイメージャ、に含まれる画素の電荷蓄積期間中の最大可能蓄積電荷量を制御するための制御関数であって、前記電荷蓄積期間を複数の時間間隔に分割した区分を有し、この各区分に対して前記画素の最大可能蓄積電荷量を決定するための関数値を定義する転送制御関数について、ある区分から次の区分への移行点を決定するシステムであって、
   ディジタルイメージャに接続され、前記照射強度レベルマッピング関数を決定する照射強度レベルマッピングコントローラであって、ディジタルイメージャによって生成された画像データに含まれる画素のうち、前記照射強度レベルマッピング関数を用いて当該画素の出力信号レベルから求めた照射強度レベルが予め設定された第１の照射強度レベルの範囲内である画素の数が第１閾値よりも多い場合に、前記照射強度レベルマッピング関数の解像度を下げ、前記圧縮関数を用いて当該画素の出力信号レベルから求めた照射強度レベルが前記第１の照射強度レベルの範囲内である画素の数が、前記第１閾値よりも小さい第２閾値よりも少ない場合に、前記照射強度レベルマッピング関数の解像度を上げる照射強度レベルマッピングコントローラと、
   ディジタルイメージャに接続され、前記ディジタルイメージャに含まれる画素の電荷蓄積時間である集積時間を決定する露光コントローラであって、ディジタルイメージャによって生成された画像データに含まれる画素のうち、前記照射強度レベルマッピング関数を用いて当該画素の出力信号レベルから求めた照射強度レベルが予め設定された第２の照射強度レベルの範囲内である画素の数が第３閾値よりも多い場合に、前記集積時間を増加させ、前記照射強度レベルマッピング関数を用いて当該画素の出力信号レベルから求められた照射強度レベルが前記第２の照射強度レベルの範囲内である画素の数が、前記第３閾値よりも小さい第４閾値よりも少ない場合に、前記集積時間を減少させる露光コントローラと、
   前記ディジタルイメージャ、前記露光コントローラ、及び前記照射強度レベルマッピングコントローラに接続され、前記転送制御関数の各区分の関数値及び前記転送制御関数の区分間の移行点を決定する転送制御関数生成回路であって、前記照射強度レベルマッピングコントローラが前記照射強度レベルマッピング関数の解像度を下げた場合は、前記転送制御関数の各区分の関数値をより小さくし、前記照射強度レベルマッピングコントローラが前記照射強度レベルマッピング関数の解像度を上げた場合は、前記転送制御関数の各区分の関数値をより大きくし、前記照射強度レベルマッピング関数に基づいて決定された前記各区分の関数値と前記露光コントローラが決定した集積時間と、に基づいて前記移行点を決定する、転送制御関数生成回路と、
   を含むシステム。
6. 請求項５に記載のシステムにおいて、前記転送制御関数は、８つの区分と７つの移行点とを有する、システム。
7. 請求項５に記載のシステムにおいて、前記転送制御関数の第１の区分から第２の区分への移行点である第１の移行点は、前記画素の可能な電荷蓄積期間の最大値である最大可能集積時間と、前記決定した集積時間との差に等しい、システム。
8. 請求項５に記載のシステムにおいて、前記転送制御関数の区分間のｎ個の移行点ｔ_iについて、第１の区分から第２の区分への移行点である第１の移行点ｔ₀は、前記画素の可能な電荷蓄積期間の最大値である最大可能集積時間と、前記決定した集積時間との差に等しく、第１の移行点ｔ₀に続く移行点ｔ_i（ｉ＝１，２，．．．，ｎ−１）について、ｔ_i＝ｔ_i-1＋Ｔ_Sであり、
   ここで、Ｔ_S は（（ｇ^n-1）／（（ｇ^n-1＋ｇ^n-2＋・・・＋ｇ²＋ｇ＋２）（ｇ^(i-1)）））^*Ｔ_intに等しく、
   ｇは決定した照射強度レベルマッピング関数に等しく、
   ｎは前記転送制御関数の区分の移行点の総数に等しく、
   Ｔ_intは決定した集積時間に等しい、システム。

Images