JP4514351B2 - 像捕捉における露出時間を最適化する方法及び装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、光学像を電気信号に変換する画像センサに係り、特に、像捕捉における露出時間を最適化する方法及び装置に関する。
【０００２】
【従来の技術】
画像センサは、センサに集められた光学像を電気信号に変換するため使用される。この画像センサは、典型的に、光検出器のアレイを含み、各光検出器は、像がアレイ上に集められたときに、光検出器に衝突した光の強度に対応した信号を生成する。これらの信号は、たとえば、対応した画像をモニターに表示させるため、或いは、光学像に関する情報を提供するため使用される。
【０００３】
非常に一般的なタイプの画像センサの一つは、電荷結合デバイス（ＣＣＤ）である。ＣＣＤ画像センサを含む集積回路チップは、特殊化された処理が含まれるため、歩留りがかなり低く、かつ、高価である。ＣＣＤは、電力消費量が比較的多い。その他にもＣＣＤにはよく知られた欠点がある。
【０００４】
非常に低価格タイプの画像センサは、相補形金属酸化物半導体（ＣＭＯＳ）プロセスを用いた集積回路として製作される。このようなＣＭＯＳ型画像センサの場合、フォトダイオード又はフォトトランジスタ（或いは、その他の適当なデバイス）が光検出素子として使用され、この素子の導電率は素子に衝突した光の強度に対応する。このように光検出素子によって生成された可変信号は、アナログ信号であり、その振幅は、素子に衝突した光の量に（一定の範囲内で）略比例する。
【０００５】
これらの光検出素子を行及び列によってアドレス指定可能な２次元コア・アレイに製作することが知られている。素子の行がアドレス指定された後、行内の各光検出素子からのアナログ信号がアレイの夫々の列に結合される。アナログ・デジタル（Ａ／Ｄ）変換器は、画像センサ・チップの出力でデジタル信号だけが得られるように、列上のアナログ信号をデジタル信号に変換するため使用される。
【０００６】
従来の技術は、画像センサ・アレイの速度と寸法の縮小だけを取り扱う。Fowlerほかに発行された米国特許第5,461,425号には、光学像のデジタルデータストリームへの変換を高速化するため、画素レベルＡ／Ｄ変換器を使用することが開示されている。Fowlerほかに発行された米国特許第5,801,657号には、光学像のデジタルデータストリームへの変換を高速化するため、ビット直列アナログ・デジタル変換を同時に実行する方法が開示されている。しかし、これらの従来の技術は、何れも、画像センサ・アレイのある領域内の光検出器が、画像センサ・アレイ内の他の光検出器よりも先に飽和に達する問題を取り扱ってはいない。これは、画像センサ・アレイの露出過度又は露出不足の問題を生じる。
【０００７】
したがって、露出中に画像センサ・アレイの画素の領域の露出時間を最適化するための方法及び装置を提供する必要がある。
【０００８】
【発明が解決しようとする課題】
本発明の目的は、露出中に画像センサ・アレイの画素の領域の露出時間を最適化する方法を提供することである。本発明の方法に対し、従来技術は、１枚の画像を最適的に捕捉するため２回の露出を必要とする。１回目の露出は最適露出パラメータを決定し、２回目の露出は最適パラメータ設定値を用いて実際に画像を捕捉する。
【０００９】
【課題を解決するための手段】
上記目的に鑑みて、本発明の方法は、像捕捉システムの露出を最適化するため時間間隔サンプリングを利用する。画像センサ・アレイ内の画素によって生成されたデジタル信号は、画素毎のルミナンス値を抽出するため色分離器を通される。これらのルミナンス値は、各画素の飽和レベルを判定するため統計的に解析される。本発明における画素は、光検出器とアナログ・デジタル変換回路とにより構成される。アナログ信号ではなく、デジタル信号が画素によって生成されるので、画像センサ・アレイからのデジタル信号の読み出しは、非常に高速に実行される。これにより、本発明の方法は、１回の露出期間中に多数の時間間隔サンプリングを行える。
【００１０】
露出期間中に、画像センサ・アレイは、各画素の飽和レベルを判定するため多数の時間間隔でサンプリングされる。ある画素が最適飽和限界に到達したと判定された後、この画素からの後続のデジタル画像信号は記録されない。これにより、画素が飽和限界に到達した時点でその画素によって生成された最適デジタル画像信号を保存する。
【００１１】
このように画素の飽和レベルに基づいてデジタル画像信号の記録を選択的に停止する処理は、個別の画素に対し実行され、或いは、画素の領域に対し実行してもよい。
【００１２】
【発明の実施の形態】
本発明の上記並びに他の目的、特徴及び効果は、添付図面を参照すると共に以下の本発明の好ましい実施例の詳細な説明から明らかになるであろう。添付図面を通じて、同じ参照番号は同じ部分を示す。
【００１３】
以下の詳細な説明には、例示の目的のため多数の具体例が含まれるが、本発明の範囲を逸脱することなく、以下の詳細な具体例に多数の変形及び代替をなし得ることが当業者には認められよう。したがって、以下の本発明の好ましい実施例の説明は、請求項に係る発明の一般性を損なうことがなく、かつ、請求項に係る発明を限定するものではない。
【００１４】
図１は、本発明の一実施例を示す図である。画像センサ・アレイ１００は、数千個の画素１３４を含み、画素は行と列の２次元アレイ状に配列される。
【００１５】
各画素は、光検出器とアナログ・デジタル変換器（ＡＤＣ）を含む。光検出器は、光検出器に衝突した光強度に比例する導電率を有する任意のデバイスである。このようなデバイスの例は、電荷結合デバイス（ＣＣＤ）及びＣＭＯＳ型フォトトランジスタである。フォトトランジスタ又はフォトゲートを流れるアナログ電流は、ベースに衝突した光の強度に比例する。
【００１６】
Fowler他に発行された米国特許第5,461,425号、並びに、Fowler他に発行された米国特許第5,801,657号に記載されたＣＭＯＳ型アーキテクチャに基づいて、アナログ・デジタル変換を実行する回路は、各光検出器に接続され、光検出器へ衝突した光の強度を表すアナログ信号を、デジタル信号プロセッサ（ＤＳＰ）によって処理され、或いは、後の計算のためメモリに記憶できるデジタル信号等価量に変換する。
【００１７】
ＣＣＤ画像センサに対し、ＣＭＯＳ型画像センサに伴う問題点の一つは、ダイナミックレンジが狭いこと、すなわち、ＣＭＯＳベースの光検出器は、非常に素早く飽和し、画像センサの一部の領域に露出過多を生じさせることである。この露出過多を調節すべく露出時間が短縮されるならば、一部の低光強度領域は露出不足になる。この問題は、光検出器が最初にプリセット飽和限界に達したときに、光検出器、又は、光検出器の領域からの信号がメモリに記憶され、一方、プリセット飽和限界に到達していない残りの光検出器は露出され続け、残りの光検出器の信号は後でメモリに書き込まれるならば、本発明によって解決される。これは、光検出器が飽和状態に到達する前に信号が早期に記憶されるので、高い光強度の領域が露出過多にならないこと、並びに、信号がメモリに記憶される前に光検出器が十分に飽和するまで、低い光強度の領域がより長い時間的期間に亘り露出されることを保証する。
【００１８】
画像センサ・アレイ１００は、監視ユニット１１２に接続される。監視ユニットの目的は、光検出器のデジタル画像信号の示度を信号１１０によって定期的に獲得し、この示度を信号１１４によって色分離器１１６へ渡すことである。色分離器は、光検出器の飽和レベルを示す各光検出器のルミナンス値を抽出するため、ＲＧＢ又はＬＵＶのようなフィルタリングスキームを、光検出器のデジタル示度に適用する。
【００１９】
このルミナンス値は、次に、信号１１８を用いて、露出コントローラ１２０へ送られる。デジタル画像信号は、信号１２６を用いて、メモリコントローラ１２８へも送られ、メモリユニット１３２に記憶される。露出コントローラ１２０は、ルミナンス値に基づいて２種類の解析を行う。第一に、露出コントローラは、光検出器がプリセット飽和限界に到達したかどうかを判定する。プリセット飽和限界は、光検出器が略飽和状態であることを示すため使用される。たとえば、特定の光検出器に対する飽和値が例示的な８ビットのルミナンス値目盛上で２５０であるならば、プリセット飽和限界は、２４５ルミナンス値に設定される。光検出器がこのプリセット飽和限界に達したとき、コントローラ１２０は、信号１２４を介して、特定の光検出器からの後続のデジタル画像信号のメモリユニット３２への書き込みを停止するようメモリコントローラ１２８へ報せる。光検出器は露出期間の終わりまで露出され続ける。光検出器は、飽和点以降も露出されるが、画像センサ・アレイによって生成される最終的な画像に影響を与えない。この光検出器によって、プリセット飽和限界を超えて生成されたデジタル画像信号は、先に記憶された信号を保存するため、メモリユニット１３２に書き込まれない。
【００２０】
露出コントローラ１２０がルミナンス値に基づいて行う第２の解析は、各光検出器がプリセット飽和限界に接近する程度を判定することである。たとえば、プリセット飽和限界が（８ビット精度で）２４５以上に設定され、監視ユニットによる光検出器のサンプリングのプリセット周期が１００ｍｓである場合を想定する。光検出器が最後のサンプリングでルミナンス値２４０をとるとき、光検出器は、ルミナンス値のプリセット飽和限界２４５を十分に通過し、１００ｍｓ以内に行われる次のサンプリングで完全な飽和に到達するかもしれない。したがって、プリセット飽和限界付近の光検出器に対し、次のサンプリング周期までの時間を短縮する必要がある。上記の例では、次のサンプリングは、現在のサンプリングから１０ｍｓで行われるべきである。露出コントローラ１２０は、信号１２２を用いて監視ユニット１１２を制御するので、プリセット飽和限界付近の光検出器は、短縮されたサンプリング時間間隔でサンプリングされる。
【００２１】
この処理は、全ての光検出器がプリセット飽和限界に到達するまで、或いは、プリセット露出時間周期が経過するまで継続する。メモリ１３２内のデータは、消去され、或いは、更なる処理のため永久データ記憶媒体に転送される。画像センサ・アレイは、次の露出のため読み出される。
【００２２】
図２は、本発明の第２の実施例を示す図である。図１に示された実施例の場合、各個の画素（光検出器）は、プリセット飽和限界に到達したかどうかを判定するため、サンプリング周期毎に飽和レベルに対し解析される。高分解能を備えた画像センサ・アレイは、典型的に、２０００×２０００個以上の画素アレイにより構成される。数千個の画素を個別に解析することは、露出コントローラにとってかなりの負荷になる。そのため、より強力で、かつ、より高価な露出コントローラが必要になる。
【００２３】
これに対し、画像センサ・アレイ２１０は、領域２００、２０２、２０４及び２０６のような多数の領域に分割してもよい。これらの領域の寸法や形状は同一でなくてもよい。この場合も、光検出器は個別的に、信号１１０を用いて監視ユニット１１２によってサンプリングされ、信号１１４を用いて色分離器１１６によって色分離される。しかし、露出コントローラ１２０は、光検出器の領域がプリセット飽和限界に到達したかどうかを判定するため、統計的解析を使用する。露出コントローラ１２０が領域はプリセット飽和限界に到達したと判定した場合、露出コントローラは、メモリコントローラ１２８に、その領域内の光検出器からの後続のデジタル画像信号をメモリユニット１３２へ書き込まないように命令する。
【００２４】
図５ａ〜５ｃには、領域がプリセット飽和限界に到達したかどうかを判定するため、コントローラによって使用され得る３種類の統計的手法が示されている。図５ａはピーク値法を示す図である。この場合、露出コントローラ１２０は、プリセット飽和限界５００以上の飽和レベルを有する少なくとも一つの画素５０２を探す。この条件が成立したとき、露出コントローラ１２０は、メモリコントローラ１２８に対し、この光検出器の領域からの後続のデジタル信号のメモリユニット１３２への書き込みを停止するよう命令する。
【００２５】
図５ｂは、平均値法を示す図である。露出コントローラ１２０は、ある領域内の全ての光検出器の平均ルミナンス値を計算する。この平均ルミナンス値が平均値５１２よりも大きい場合、露出コントローラ１２０は、メモリコントローラ１２８に対し、この光検出器の領域からの後続のデジタル信号のメモリユニット１３２への書き込みを停止するよう命令する。動作中に、平均値は飽和値の半分になる場合がある。飽和値は、８ビット精度で２５６である。たとえば、平均値は、８ビット精度で１２８、又は、１０ビット精度で５１２になる。或いは、平均値はヒストグラム法によって取得してもよい。
【００２６】
図５ｃは、ヒストグラム法を示す図である。ヒストグラムは、画素値が画像全体に分布する様子を判定するため、露出コントローラ１２０によって生成される。このヒストグラムから、平均値又は飽和限界が、当業者に公知の統計的計算に従って動的に獲得される。平均値及び限界値を判定するため、ヒストグラム法以外の別の統計的手法を使用してもよい。
【００２７】
上記の各統計的手法は、単独で使用された場合、最良の統計的結果、すなわち、最良の像露出を生じないことに注意する必要がある。たとえば、ピーク値法を用いる場合、領域内で非常に集束された明るいスポットは、数個の画素を非常に素早くプリセット飽和限界に到達させ、領域内の残りの画素は露出不良であるか、或いは、全く露出されない。しかし、この領域に対する平均ルミナンス値が計算された場合、明るいスポットの存在が明らかになり、補償のため露出時間の調節が行われる。当業者は、最も信頼性の高い統計的手法を実現するため、最良の統計的手法の組み合わせを決めることが可能である。
【００２８】
図６には、本発明による時間間隔サンプリングの考え方が示されている。図６は、例示的な光検出器の露出状態を表すグラフである。監視ユニット１１２は、露出周期の始まりから、１００ｍｓ毎に光検出器をサンプリングするようプリセットされる。同図には、露出周期の始まりから１００ｍｓ経過後のルミナンス値６０２と、２００ｍｓ経過後のルミナンス値６０４が示されている。４００ｍｓ経過後に、光検出器は、飽和限界６０６の近く６１２まで到達する。監視ユニット１１２が５００ｍｓ経過後のプリセット時間に次のサンプリングを実行するならば、光検出器の飽和レベルは、既に飽和限界６０６を十分に超える。したがって、監視ユニット１１２は、露出コントローラ１２０によって、たとえば、４５０ｍｓの時点、すなわち、最後のサンプリングから５０ｍｓ後に、次のサンプリングを実行するように命令される。時点４５０ｍｓにおける光検出器の飽和レベルは、飽和限界６０６であるか、或いは、飽和限界６０６を僅かに超過し、露出コントローラは、この光検出器からのデジタル画像信号の更なる記録を停止し、時点４５０ｍｓで記録された最適デジタル信号を保存する。
【００２９】
図７は、本発明において像露出を最適化する方法の概略を説明する図である。ステップ７０２及び７１４は、特定の画素又は画素の領域の露出の開始及び終了を表す。ステップ７０４において、デジタル画像信号が画像センサ・アレイの個別の光検出器から読み出される。このステップは、各検出器の飽和を表すルミナンス値を各デジタル画像信号から抽出する。ステップ７０６において、各光検出器から抽出されたルミナンス値に関する統計的解析が行われる。この統計的解析は、光検出器、又は、光検出器の領域がプリセット飽和限界に到達したかどうかを判定するため行われる。特定の光検出器又は光検出器の領域に対する露出時間を制御するため、制御パラメータがステップ７０８において生成される。この制御パラメータの値は、光検出器又は光検出器の領域が飽和限界に到達したかどうかに依存する。ステップ７１０において、光検出器又は光検出器の領域は更に露光され、この場合、パス７１２が後に続き、読み出しと解析が続けられる。光検出器が飽和限界に達した場合、この光検出器又は光検出器の領域からの画像信号は、これ以上は記録されず、処理がステップ７１４で終了する。ステップ７０８で生成された制御パラメータは、後述のアナログ・デジタル変換回路の制御のような他の目的のためにも使用される。
【００３０】
図３は、本発明による露出コントローラ信号１２２の別の用法を示す図である。画素３００は、光検出器３０２と、８ビット・アナログ・デジタル変換器（ＡＤＣ）３０６とにより構成される。上述の二つの実施例と同様に、画素のデジタル出力１１０は、監視ユニット１１２に供給され、色分離器１１６を通過し、最終的に露出コントローラ１２０へ渡される。露出コントローラ１２０は、光検出器のルミナンス値を解析し、アナログ・デジタル変換器３０６の挙動に影響を与えるため、信号３１０を用いてアナログ・デジタル変換器（ＡＤＣ）コントローラ３１２を制御する。
【００３１】
図４は、アナログ・デジタル変換器３０６のアナログ入力信号とデジタル出力信号の関係を表すグラフである。通常の条件下で、アナログ入力信号及びデジタル出力信号は、曲線４１０によって表される関係を有する。ゲイン４０２が４５度の角度であると仮定すると、アナログ入力信号４０４の１単位は、デジタル出力信号４０８の１単位を生ずる。しかし、アナログ・デジタル変換器コントローラ３１２は、曲線４１２のような曲線を生じさせるオフセット４００を制御することができる。曲線を曲線４１２のようにオフセットさせることにより、一部のアナログ入力信号４０４に対し得られるデジタル出力信号４０６を小さくすることができる。アナログ・デジタル変換器コントローラ３１２を制御し、これにより、オフセット４００を制御することにより、露出コントローラは、画素が飽和状態のデジタル画像信号を出力することを効率的に防止することができる。
【００３２】
当業者には明らかであるように、上述の実施例は、本発明の範囲を逸脱することなく、多様に変更される。したがって、本発明の範囲は、請求項に記載された事項及びその法律上の均等物によって定められるべきである。
【図面の簡単な説明】
【図１】本発明の一実施例を示すブロック図である。
【図２】本発明の別の実施例を示すブロック図である。
【図３】本発明の第３の実施例を示すブロック図である。
【図４】本発明におけるＡ／Ｄ変換器の入出力関係を示すグラフである。
【図５ａ】本発明のピーク値統計法を示すグラフである。
【図５ｂ】本発明の平均値統計法を示すグラフである。
【図５ｃ】本発明のヒストグラム法を示すグラフである。
【図６】本発明の時間間隔露出を示すグラフである。
【図７】本発明の方法を説明するフローチャートである。
【符号の説明】
１１２ 監視ユニット
１１６ 色分離器
１２０ 露出コントローラ
１２８ メモリコントローラ
１３２ メモリユニット
３０６ ＡＤＣ
３１２ ＡＤＣコントローラ

Claims (23)

1. 像捕捉装置において露出中に画像センサの露出時間を最適化する方法であって、上記画像センサの複数の画素から同数のデジタル画像信号を得るステップと、上記複数のデジタル画像信号から得られたルミナンス値に関する統計的解析を行うステップと、上記統計的解析から一つ以上の制御パラメータを得るステップと、上記画像センサ内の上記画素に対する上記露出時間を変更するため上記制御パラメータを使用するステップと、を有する方法。
2. 上記露出時間は複数のプリセット時間間隔を有し、上記複数のデジタル画像信号を得る上記ステップは、上記複数のプリセット時間間隔の各々の最後に上記複数のデジタル信号を繰り返しサンプリングすることにより達成される、請求項１記載の方法。
3. 上記露出時間を変更するため上記制御パラメータを使用する上記ステップは、上記複数のデジタル信号が飽和になる前に、上記複数プリセット時間間隔の最後の一つを短縮させる、請求項２記載の方法。
4. 上記複数の画素の各々は光検出器及びアナログ・デジタル変換回路を有し、上記光検出器はターゲットで露光されたときにアナログ信号を生成し、上記アナログ・デジタル変換回路は上記アナログ信号を上記デジタル画像信号の一つに変換する、請求項１記載の方法。
5. 上記複数の画素の各々の上記光検出器は相補形金属酸化物半導体（ＣＭＯＳ）上に製作される、請求項４記載の方法。
6. 上記統計的解析はデジタル信号プロセッサによって行われる、請求項１記載の方法。
7. 上記一つ以上の制御パラメータは、画素が飽和限界に到達したかどうかを表す、請求項１記載の方法。
8. 上記統計的解析はピーク値統計的解析である、請求項１記載の方法。
9. 上記統計的解析は平均値統計的解析である、請求項１記載の方法。
10. 上記統計的解析はヒストグラム分布統計的解析である、請求項１記載の方法。
11. 上記露出時間は、上記統計的解析から得られた上記一つ以上の制御パラメータに基づいて、上記複数の画素又は複数の画素の領域からのデジタル信号の記録を選択的に停止することによって変更される、請求項１記載の方法。
12. ターゲットで露光されたときに前記複数の画素の各々が飽和限界を有し、デジタル信号を生成する画素のアレイと、露出時間に含まれる複数の露出プリセット時間間隔毎に上記デジタル信号をサンプリングする監視ユニットと、上記監視ユニットと通信し、上記画素からのサンプリングされたデジタル信号から統計的解析により得られた一つ以上の制御パラメータに応じて上記画素からのデジタル信号の記録を停止する制御回路と、を具備し、前記複数の画素の各々は、ターゲットで露光されたときにアナログ信号を生成する複数の光検出器と、上記アナログ信号を上記デジタル信号に変換するアナログ・デジタル変換回路とを有する、最適化された露光時間を有する画像センサシステム。
13. 上記光検出器は相補形金属酸化物半導体（ＣＭＯＳ）に基づいている、請求項１２記載の画像センサシステム。
14. 上記デジタル信号はメモリユニットに書き込まれる、請求項１３記載の画像センサシステム。
15. 上記制御回路は、上記一つ以上の制御パラメータに従って複数の光検出器の一部が飽和することを防止するように、上記プリセット時間間隔の最後の一つを短縮させる、請求項１２記載の画像センサシステム。
16. 上記複数の画素は複数の画素の複数の領域に分類され、複数の画素の各々の領域は領域的飽和レベル及び領域的飽和限界を有する、請求項１２記載の画像センサシステム。
17. 上記複数の画素の複数の領域の各々は上記一つ以上の制御パラメータを生成する、請求項１６記載の画像センサシステム。
18. 上記画素は、上記複数の光検出器の飽和レベルの各々を判定するよう、上記露出時間中に上記プリセット時間間隔の各々でサンプリングされる、請求項１６記載の画像センサシステム。
19. 上記制御回路は、上記領域的飽和レベルの各々が対応した領域的飽和限界の各々に到達したかどうかを判定するよう、統計的解析に基づいて上記一つ以上の制御パラメータを生成する、請求項１６記載の画像センサシステム。
20. 上記統計的解析は上記複数の領域の各々においてピーク値を判定する、請求項１９記載の画像センサシステム。
21. 上記統計的解析は上記複数の平均値を判定する、請求項１９記載の画像センサシステム。
22. 上記統計的解析はヒストグラム分布統計的解析を実行する、請求項１９記載の画像センサシステム。
23. 上記デジタル画像信号の記録の上記停止は、上記複数の光検出器毎に、又は、上記複数の画素の複数の領域の各々について行われる、請求項１２記載の画像センサシステム。

Images