JP5361072B2 - 改良型撮像装置 - Google Patents

改良型撮像装置 Download PDF

Info

Publication number
JP5361072B2
JP5361072B2 JP2009549062A JP2009549062A JP5361072B2 JP 5361072 B2 JP5361072 B2 JP 5361072B2 JP 2009549062 A JP2009549062 A JP 2009549062A JP 2009549062 A JP2009549062 A JP 2009549062A JP 5361072 B2 JP5361072 B2 JP 5361072B2
Authority
JP
Japan
Prior art keywords
pixel
pixels
reset
task
row
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2009549062A
Other languages
English (en)
Other versions
JP2010518746A (ja
Inventor
ジョン エイチ ベヒテル
ジェレミー シー アンドラス
Original Assignee
ジェンテックス コーポレイション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ジェンテックス コーポレイション filed Critical ジェンテックス コーポレイション
Publication of JP2010518746A publication Critical patent/JP2010518746A/ja
Application granted granted Critical
Publication of JP5361072B2 publication Critical patent/JP5361072B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N3/00Scanning details of television systems; Combination thereof with generation of supply voltages
    • H04N3/10Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical
    • H04N3/14Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical by means of electrically scanned solid-state devices
    • H04N3/15Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical by means of electrically scanned solid-state devices for picture signal generation
    • H04N3/155Control of the image-sensor operation, e.g. image processing within the image-sensor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/57Control of the dynamic range
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/741Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/53Control of the integration time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/57Control of the dynamic range
    • H04N25/58Control of the dynamic range involving two or more exposures
    • H04N25/581Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/583Control of the dynamic range involving two or more exposures acquired simultaneously with different integration times
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/71Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75Circuitry for providing, modifying or processing image signals from the pixel array
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12Mirror assemblies combined with other articles, e.g. clocks
    • B60R2001/1215Mirror assemblies combined with other articles, e.g. clocks with information displays
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12Mirror assemblies combined with other articles, e.g. clocks
    • B60R2001/1253Mirror assemblies combined with other articles, e.g. clocks with cameras, video cameras or video screens

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Description

関連出願への相互参照
本出願は、2007年2月22日出願の米国特許仮出願出願番号第60/902、728号及び2007年2月9日出願の第60/900、588号に対する優先権を「35U.S.C.§119(e)」の下に請求するものである。これらの特許仮出願の開示内容は、引用によりその全体が本明細書に組み込まれている。
CMOSバージョン及びCCDバージョンを含む撮像ドライバは、いくつかのコンテンツにおいて普及してきている。本発明は、高ダイナミックレンジを有する改良型撮像装置及びこれらの高ダイナミックレンジ撮像装置を組み込んだ様々な器具を提供する。
米国特許仮出願出願番号第60/902、728号 米国特許仮出願出願番号第60/900、588号 米国特許第6、175、383号 米国特許第5、837、994号 米国特許第5、990、469号 米国特許第6、008、486号 米国特許第6、130、448号 米国特許第6、130、421号 米国特許第6、049、171号 米国特許第6、465、963号 米国特許第6、403、942号 米国特許第6、587、573号 米国特許第6、611、610号 米国特許第6、621、616号 米国特許第6、631、316号 米国特許出願出願番号第10/208、142号 米国特許出願出願番号第09/799、310号 米国特許出願出願番号第60/404、879号 米国特許出願出願番号第60/394、583号 米国特許出願出願番号第10/235、476号 米国特許出願出願番号第10/783、431号 米国特許出願出願番号第10/777、468号 米国特許出願出願番号第09/800、460号 米国特許出願出願番号第10/783、273号 米国特許出願出願番号第10/645、801号 米国特許出願出願番号第60/495、906号
リセット及び横列読取スケジュールのパターンを示す図である。 リセット及び横列読取スケジュールのパターンを示す図である。 タイミングシーケンスを示す図である。 例示的な設計のブロック図である。 撮像アレイ内のピクセルの1つの縦列に関連の回路の略示図である。 自動車機器制御システムを示す図である。 様々な機器を有する制御された車両を示す図である。 車両内部バックミラーアセンブリを示す図である。 車両内部バックミラーアセンブリを示す図である。 車両のための付属品及びバックミラー装着アセンブリの分解斜視図である。 デジタルカメラの輪郭図である。
デジタルカメラ、デジタルビデオレコーダ、及びテレビ電話などのような家庭用電子装置は、珍しくないものとなっている。これらの装置は、多くの住宅用、商用、工業用、及び車両用の視認システムと共に、一般的に普及したCCD及びCMOSベースの画像センサを有する。例えば、車両外部灯を自動的に制御するように設計された公知のシステムは、前方監視デジタル撮像システムを利用して、制御された車両の全体的に前及び/又は背後の光景の画像を取得し、画像を分析して対向車両の前照灯及び先行車両の尾灯を検出する。保安用のカメラは、住宅用、商用、及び工業用施設、並びに関連の車両駐車場で普及している。これらの公知の用途の多くでは、高ダイナミックレンジに対する必要性が生じており、光景内の光源は、非常に大幅に変化する相対輝度を含むので、所定のピクセル露光は、明るい光源のために飽和しないと同時に、薄暗い光源の検出を考慮しない場合がある。例えば、日中に所定の光景内の様々な物体を区別することができると共に、夜に光源を検出する広範囲にわたる周囲照明において十分なコントラストをもたらす所定のデジタル撮像システムを利用することが望ましい。日中、光景内の物体は、光源である物体自体(すなわち、前照灯、尾灯、道路標識など)ではなく、太陽により主として照射される。本発明は、同じ光景内の薄暗い光源、明るい光源、及び他の光源によって照射される物体を正確に検出してデジタル的に表すことができる高ダイナミックレンジ画像センサを提供する。
高ダイナミックレンジ画像をもたらすいくつかの撮像技術は、従来技術で公知である。これらには、様々な組合せによるピクセルの選択的なリセットがある。米国特許第6、175、383号の一実施形態は、第2の有効集積期間が第1の有効集積期間の半分であり、第3の有効集積期間が第2の有効集積期間の半分である有効集積期間の選択を含む。換言すれば、有効集積期間の連続したリストに対しては、各有効集積期間は、直前の有効集積期間の半分の長さである。この特許では、非破壊読取を用いて関心領域に対して最適の露光期間を判断する可能性に注目している。この特許では、評価回路に送る前にピクセルの横列の従来の読取、次に、横列のピクセルのシリアル化したピクセル単位の処理を用いることによってピクセル値のモニタリングを示している。しかし、この特許は、所定の画像に関する読取シーケンスが進行中の間の画像の各ピクセルに対してどの集積期間を選択すべきかに対して判断する高速応答の自動化した方法に対しては詳述していない。別の従来技術の装置は、アレイの各々の連続した走査時の各ピクセルの条件付きリセット機構で撮像装置のあらゆるピクセルが各サンプル期間中に走査される周期的なサンプル期間を組み込んでいる。この装置は、リセットタスクを記録するメモリと、撮像アレイ全体からのアナログピクセル値の各々が連続的に示されてかつ1つの比較器に送られる単一のアナログ出力部とを有する。この手法の固有の周期性、リセット回数、及び最終ピクセル読取からの有用な光レベル値を再構成する際の困難さ、及び適度のサイズであっても撮像装置アレイのピクセルの全てを通して順序付けるのに必要な走査反復数における厳しい制限により、米国特許第6、175、383号で教示された広範囲な連続より短い集積期間にこの手法を適用することは実際的ではない。また、この特許の発明の好ましい実施形態では、ピクセルをリセットするか又はリセットしないかに関する判断は、最短集積期間に次ぐ集積期間に対してさえも現在のものであるピクセルに関する集積電荷値に基づくことが好ましい。本発明の例示的な設計では、現在の集積期間が適切であるか否かを適切に示すのに十分な電荷の蓄積、次に、最短集積期間を開始するようにリセットする判断、次に、ピクセルの条件付きのリセットを先行するリセットの僅か6マイクロ秒後に達成する必要がある。「例示的な」という語、「この例示的な」という語、又は「例示的」という語を用いたあらゆる類似した変形を本明細書で用いる時には、本発明の特定的な実施形態を参照しており、例示的と特定したいかなる特定的な実施形態にも本発明の範囲を限定することを決して意味するものではないことは理解されるものとする。横列の多くのピクセルにより共有される比較機能を用いると、横列のピクセルを増幅器内に直列にシフトし、かつ横列に関する直列化した比較機能を有する装置の拡張により意味されるような100個又はそれよりも多くのピクセルの典型的な横列長さの閾値と個々のピクセル出力を連続的に比較するのに必要とされる付加的な時間には、非現実的に高速の回路が必要である。また、横列の多くのピクセルにより共有される比較機能を用いると、撮像アレイを通して循環して最終条件付きリセットを提供し、かつ再びアレイを通して循環して最短集積期間(例示的な設計では僅か2μs)の値を読み取る機能は、更に一層非現実的である。これらは、関連のリセット比較器が画像アレイ全体により共有される従来技術の装置内での条件付きリセットに向けて等間隔のサンプリングを使用する理由である。
本発明の好ましい設計においては、従来技術の制限を克服するために、横列並行処理を組み込んで、横列の各ピクセルに対して光誘導電荷を示す信号を読取り、横列の各ピクセルに対して閾値レベルに照明して光誘導電荷の指示レベルを比較し、横列の各ピクセルに対してリセット条件のメモリ記録に問い合わせて、比較の結果、メモリ表示、及び読取シーケンスの段階に基づいて横列の各ピクセルをリセットすべきか否かを判断し、必要に応じて、横列の各ピクセルに対して部分的なリセット履歴の更新記録を格納し、最後に、それぞれのピクセルに関する上述の情報に基づいて横列の各ピクセルを条件付きでリセットする。オプションとして、ピクセル集積時間設定シーケンス内で先の条件付きリセットにより特定のピクセルの集積時間が判断された時、上述の残りの段階の一部又は恐らく全ては、ピクセル値の読取の前に迂回することができる。一般的に、先の段階のいずれか1つによりシーケンスの特定の段階で他を使用することを不要となった時、不要な情報の判断を任意的に迂回することができる。「横列並行」は、本発明の一実施形態に過ぎないことを理解すべきである。「ピクセルの並行アドレス可能な群」という用語は、「横列並行」を含むとして本明細書の他の箇所で使用する。本発明の範囲での「ピクセルの並行アドレス可能な群」の別の例は、bayerパターンを有する撮像装置に適用可能である。その組のピクセルは、所定のスペクトルフィルタリング済み群(すなわち、横列内の赤色フィルタリング済みピクセル、又は横列内の青色ピクセル、又は横列内の緑色ピクセル)を構成する。ピクセル値の特定の読取に関連する横列に並行した条件付きのリセットタスクの所定のシーケンスの終わりで、蓄積電荷に関連のピクセル値を読み取ることが好ましく、かつ従来の方法でデジタルの形に変換することが好ましい。ピクセルの横列からのアナログ値の読取は、横列に並行に行うことが好ましく、横列に対して読取り、かつ一時的に格納する値は、次に、デジタルの形に変換することが好ましい。各ピクセルに対して選択された集積期間のデジタル記録をそれぞれのピクセルのピクセル読取値と結合して、ピクセルの受信光レベルを示す値を確立することが好ましい。値は、ピクセル読取値を取得するために光レベルを集積するのに使用する集積期間の記録を保持しなくてもよいように直接に使用可能な形であることが好ましい。この値の符号化では、多くのフォーマットを仮定することができ、値は、例えば、線形又は対数形とすることができる。この時点で読取に向けて処理済みピクセル値を利用可能にすることが好ましい。任意的に、段階の1つ又はそれよりも多くは、撮像アレイの一部ではないプロセッサにより達成することができる。
連続的にリセットされるピクセルにより、集積期間短縮化が始まり、各々の連続的リセットにより、ピクセルに有効な光学感度が与えられ、この有効な光学感度は、シーケンスのリセットタスク毎にピクセルの集積期間の短縮にほぼ比例して連続的に低減される。特定のピクセルの条件付きリセットが1回省略され、すなわち、ピクセルが読み取られるまで再度リセットされないように、条件付きリセット論理を構成することが好ましい。蓄積光誘導電荷を示すピクセル信号は、完全ではなく部分な集積時間中にピクセルに対して蓄積される。ピクセルの読取範囲を適切に利用するために集積時間の終わりに十分な電荷が蓄積されるほど閾値が十分に高いように部分集積の後に表示されたピクセル電荷を比較する比較閾値を選択することが好ましい。それに反して、閾値は、ピクセルが集積期間の終了の前に飽和することが可能なほど高く設定しないことが好ましい。これらの優先度は、用途、特定の撮像装置のアナログ品質、及びリセットされる判断が行われているシーケンスの特定の集積期間の持続時間と共に変えることができる均衡の必要性を示すものである。従って、比較閾値が適用される有効集積期間の組の特定の1つの関数として比較閾値を条件付け、及び/又は比較閾値設定の1つ又はそれよりも多くの属性を撮像装置への設定命令の一部として選択可能又はプログラマブルとすることが好ましい。
回路は、各ピクセルの読取に向けて集積を確立するために横列並行のリセットの所定のシーケンスが各横列に対して行われるように配置することが好ましい。横列読取シーケンスの第1の横列並行のリセットタスクは、無条件であることが好ましく、各ピクセルに関連のメモリは、初期リセット状態を反映するように更新することが好ましい。各横列に適用される所定のリセットシーケンスの第1の無条件リセットの後に、横列の連続的リセットは、先に概説したように条件付きであることが好ましい。各連続的横列並行の条件付きリセットタスクにより開始される集積期間の光学利得は、直前の横列並行のリセットタスクにより開始される集積期間の光学利得をレシオメトリックに下回ることが好ましい。光学利得は、集積期間と通常比例するものであるので、例示的な設計においては、望ましい比率を直接に集積期間に適用することになる。
概説した新規な読取集積期間判断シーケンスにはいくつかの利点がある。第1に、条件付きピクセルに用いる迅速な横列並行の処理に対しては、ピクセル読取を行う露光シーケンス中に各ピクセルに対して集積期間を設定する。第2に、露光は各ピクセルに対してかなり密接に限界を形成し、かつ例えば例示的な実施形態では4対1の区分で調節するので、10ビットの読取を用いた場合、読取値は、名目上最大測定限界の1/4から最大測定限界に名目上拡張することができ、光レベルの非常に広い範囲にわたって250対1又はそれよりも良い読取解像度が得られる。これは理想的なものであり、何らかの余裕を設けてピクセルの飽和の可能性を最小にすることができる。リセット閾値の非常に控え目な選択に対してさえも、例示的な実施形態の16、000対1の集積範囲にわたって例えば100対1ほどの最小解像度を維持することができ、これによって100対1の解像度を維持することができる100、000対1よりも良い光レベル範囲が得られる。実際的な問題として、所定の画像内の光レベル測定の使用可能な範囲は、光学アセンブリ内で散乱する光により制限されることが多い。それでも尚、これは、あらゆる露光調節なしで全く可能であり、それによって露光調節なしで周囲光レベルの比較的広い範囲にわたって作動することが達成可能になることが多い。これは、100対1又はそれよりも良い解像度があらゆる所定の画像に対して10対1の範囲の光レベルにわたってのみ利用可能である同じ10ビットのA/Dを有する通常のセンサと際立って対照的である。広範囲にわたって複数の段階で選択する集積期間に対しては、A/Dの十分な精度は、依然として公知である選択した集積期間にわたって達成され、かつA/Dの読取精度を損なうことなく測定範囲の大きな増大がもたらされるように正確に判断される。従来式に得られる画像と比較すると、影付き領域のノイズ、バンディング、及び完全暗黒区域は、最も明るい部分の飽和と同様に激減するはずである。行うべきいくつかの妥協案があるが、静止画像用途又はビデオカメラ用途に対しては大きな改善のための多くの可能性がある。
非破壊読取の技術の多くでは、読取の十分な精度は得られない。例えば、ピクセルは、非破壊読取のために通常リセットできないので、これらの撮像装置では、リセット後に行う基準読取を用いて、条件付きリセットを判断するのに使用した中間読取の読取精度を改善することはできない。これは、ピクセルをリセットする判断は、最適精度ではない場合がある測定値に基づいて行う必要があることが多いことを意味する。競合する技術の一部に優る条件付きリセットの相殺的利点は、リセットする判断が、選択する読取範囲を判断するものであり、範囲選択が基本とする値の不正確性が、選択した範囲で行う読取の不正確性を直接に増大させるものではないというものである。例えば、計測器が1ボルトの最大測定限界読取範囲及び次のより大きな4ボルトの最大測定限界読取範囲を有する場合、0.8ボルトであると推定される入力は、0.8ボルトの推定値が実際値の10%以内にあると予想される場合は、1ボルトの範囲で読み取られるが、0.8ボルトの推定値が実際値の30%以内にあると予想される場合にのみ4ボルトの範囲で読み取られる。精度が劣る推定値では、読取値が飽和する読取範囲を選択する危険性増大の恐れがあり、その危険性増大により、精度が劣るより広い読取範囲の選択への偏りが発生する場合があるが、例においては、依然として読取の誤差は、10%又は30%より遥かに小さいと予想することができる。
この最後の点に対しては、例示的なシステムは、応答特性の複数の勾配を用いて有効範囲を増大させるために使用する広ダイナミックレンジセンサに優る固有の利点を有する。第1に、これらの非線形装置に対しては、各ピクセルの非線形性は、通常は各ピクセル成分により少なくとも部分的に判断されるので区分的線形読取で行われる処理読取の処理の困難さに加えて、勾配及び区切り点は、区切り点勾配判断機構のピクセルレベル特性のために良好に適合しない可能性がある。第2に、勾配変化が通常アナログ領域で適用されるので、値全体は、A/Dにより読み取られなければならず、所定の解像度のA/Dに対しては読取精度の付加的な損失がある。第3には、データの区分的線形スケーリングは、処理しにくく、その理由は、先の要素により引き起こされる読取精度に関する問題に加えて、区分的線形フォーマットでは、線形又は恐らく対数のようなより計算になじむ形に変形する幾分計算集約的処理が必要であるからである。
複数のピクセル毎の集積範囲のために光レベルの非常に大きい範囲にわたって読取解像度を維持する利点に対しては上述した。設計の特徴の均衡を取る際にこの利点を利用する多くの方法がある。ピクセル毎の集積期間設定の表示を記録するメモリ要件の追加では、特徴サイズ処理の小規模化の場合よりも特徴サイズシリコンウェーハ製造処理の大規模化の場合の方が多くのシリコン区域が必要であるが、特徴サイズシリコン処理が小規模化するほど、低い電圧で運用され、ピクセルから利用可能なダイナミックレンジに対して更に限界が設定される。所定の画像の単一集積期間で撮像装置を利用する多くの用途においては、主として適切な解像度をもたらす光レベルの範囲が広くなるほど高いダイナミックレンジが用いられる。単一画像の範囲でさえ非常に広ダイナミックレンジにわたって良好な解像度を維持する本発明の撮像装置を使用してピクセル単位で選択した集積期間に対しては、ピークのダイナミックレンジは、個々の画像の範囲で行われる複数の集積期間取得によって得られるダイナミックレンジ拡張と引きかえに狭められる場合があることが多い。
例示的な実施形態では、感知アレイ内の各ピクセルに対して集積期間を選択する横列並行のリセットされた処理は、あらゆる所定の横列に対して、横列の各ピクセルを読み取る(撮像装置設定があれば)最も長い達成可能な集積期間を開始するために横列のピクセルの無条件の並行リセットにより開始されるシーケンスで適用する。次に、集積期間の3/4が経過する直前に、上述のような横列の各ピクセルの条件付きリセットを行って、現在の集積期間設定で飽和しているか又は飽和する可能性が高すぎるピクセルを条件付きでリセットする。読取感度を直前の範囲の読取感度の1/4にするようにサイズ決定されたピクセルが条件付きで設定される各次の集積期間でこの処理をもう6回繰り返す。例示的な設計の結果として、集積期間は、4対1の区分で、最も長い選択可能な集積期間のほぼ32、768マイクロ秒から最も短い選択可能な集積の2マイクロ秒の範囲とすることができ、例示的な設計のフレーム内の各ピクセルに対して自動的かつ個別に設定される集積期間の最長と最短の間で16、384対1の比率が得られる。リセット及び読取処理のタイミングのリズムは、走査横列の各ピクセルに対応する縦列走査カウントを通じて縦列単位の区分的走査に基づくことが好ましい。所定の横列カウントに対する縦列カウント又は縦列アドレス値を通じた区分的走査の完了により、次に、画像走査フレーム内の横列の全てが対象になるまで次の走査横列までの横列走査カウントの区分的進行をもたらし、この時点で、画像取得は、停止するか又は別の縦列及び横列走査シーケンスに進むことができることが好ましい。一般的に、ピクセル/横列走査フレーム内の2つのピクセル位置間の時間間隔は、第1のピクセルの(縦列、横列)位置から第2のピクセルの(縦列、横列)位置まで進む区分ピクセル時間の数として表される。開始と終了のピクセル位置間の区分ピクセル時間は、区分縦列オフセットに関して表すことができ、区分縦列オフセットは、第2のピクセルの縦列アドレスから開始ピクセルの縦列アドレスを差し引いたものとして定めることができる。これは、開始ピクセルの縦列アドレスが終了ピクセルの縦列アドレスより大きい時は負の数であり、そうでなければ負の数ではない。横列オフセットは、開始ピクセルを含む横列から終了ピクセルを含む横列まで区分化するのに必要とされる区分横列オフセットと定めることができる。例示的な設計においては、横列読取は、所定の縦列時間で行われ、8つのそれぞれの集積期間の各々は、リセットがちょうど完了される点と横列が読み取られる点の間の時間間隔が、目標とする集積時間にほぼ等しいようにそれぞれの集積期間に関連の縦列時間で開始される。例示的な設計においては、走査フレーム内の縦列及び横列の数は、420本の横列x626本の縦列で、かつ8ピクセル/マイクロ秒のピクセル走査速度で選択したものである。横列、縦列、及びピクセル時間のこの組合せで、横列読取タスク及び有効集積期間の8つのピクセルリセットタスクの各々が重複なしの横列縦列時間間隔の範囲にわたって行われるように集積時間及び集積横列の有効数を選択することができる。このようにすると、横列選択回路、アレイ読取縦列線、縦列並行リセット論理の横列及びリセット履歴メモリアクセスは、8つのリセットタスク又は横列読取タスクの間で矛盾なしで共有することができる。8つの集積時間専用横列リセット又は条件付き横列リセットタスクの各々及び横列読取は、指定した縦列数で開始されることが好ましい。これに対して本明細書の他の箇所で更に深く説明する。一般的に、例示的な実施形態では、横列長などは、横列読取及び8つのリセットタスクの各々が各々特定の持続時間の集積期間を開始するために特定の重複なしの縦列時間間隔に該当するように選択される。指定の縦列カウント値は、シーケンスの各々を開始するように使用することが好ましく、かつタイミングに対する厳守により集積期間の各々に対して適切な間隔を作り出す適切な縦列オフセットが得られるように予め選択することが好ましい。好ましい構成においては、読取は、横列カウンタにより指摘される横列で行われ、読取窓の原点になるように使用することが好ましい横列オフセット値により恐らく修正される。次に、横列リセット又は条件付き横列リセットタスクに向けて選択した横列の各々に対しては、リセット又は条件付きリセットが行われている集積期間に対応する付加的な集積期間専用横列オフセット値を好ましくはモジュロ演算で横列数に追加して、リセットタスクを適用すべき横列を選択する。この追加した集積期間専用横列オフセットを用いて、現在のリセットタスクが適用される横列のリセットタスクと横列読取タスクとの間の横列時間間隔を設定する。
広ダイナミックレンジセンサに対しては、例えば、16、000対1又はそれよりも大きい範囲にわたって集積期間を自動的に選択することが望ましい。このようなセンサに対しては、集積期間は、例えば、約32ms〜約2μsの範囲とすることができる。横列内のピクセルの露光がほぼ同時に行われることが更に好ましい。これを説明することができる1つの方法は、横列内のピクセルの露光期間が少なくとも1つの共通の時点を共有するというものである。
異なる集積期間に関して取るピクセル値が単一の共通の広範囲な数値フォーマットに収まりやすいように集積期間を選択することが更に望ましい。ピクセル値は、線形又は対数的に重み付けしたバイナリ形式で通常表されるので、いずれか1つの集積期間からの撮像装置の感度対次のより短い集積期間での撮像装置の感度の比が2という整数にほぼ等しい連続的な集積期間を選択することが望ましい。光学利得つまり感度の方が、この比率の基礎を置く望ましい属性である。しかし、大部分の撮像装置の光学感度は、集積期間にほぼ正比例して変動する。従って、例示的な設計においては、集積期間の比率は、集積期間で2という整数であるように選択する。センサの光学感度と集積期間において系統的な非線形性がある場合、1つの範囲から次のより低い範囲までの光学利得が2という整数にほぼ等しい比であるように集積期間を調節することが好ましいことを理解すべきである。更に、たとえこれが本発明の多くの用途に対して良好な選択であるとしても、本発明は、先に明記したような連続的な利得範囲を選択することに制限されないことを理解すべきである。更に、延長化集積期間の1つ又はそれよりも多くの期間に対する小さい百分率による調節を行って、システム精度の小さい損失だけがあるが共有構成要素の使用における一部の対立点を排除することができる。
上述のように、横列並行のリセットタスク(条件付き、無条件とも)に対してさえも、横列選択回路、縦列読取線(リセットメモリ記録アクセス)、及び条件付きリセット比較器及び関連論理のような共有構成要素の使用の対立する要件なく行うべきリセット及び横列読取タスクの全てを織り込む時間をもたらす体系化が必要である。先に言及した例示的な実施形態を図1〜図3で用いて対立しないようにシーケンスを系統化する方法を示している。例示的な設計においては、通常の巻き上げシャッターシーケンスを用いて、リセット、集積、及び読取シーケンスを進める。走査は、各横列に対して縦列0から縦列625まで循環する繰返しシーケンスであり、各縦列サイクルの完了時に、読取シーケンスにおいて取得すべき数の画像フレームに対して横列0から横列419まで次の横列に進んで、横列0に戻るなどする。1個のみ又は数個のフレームを読み取るようになっている従来の巻き上げシャッター作動と同様に、一部の場合には、連続的に読み取るオプションと共に、画像フレームを通過する初回走査又は恐らく部分的な走査を通常用いて、集積期間が横列に対して得られるまで横列の読取を抑制しながら集積期間を初期化する。これは、n個のフレームを読み取るために、n個のフレーム及び初期リセットに必要とされるフレームの一部が読取シーケンスに必要とされるように第1のリセットタスクを行うためには初期フレーム(又は部分的フレーム)が必要であることを意味する。一部の用途に対しては、関心は、主として、連続モードで画像を読み取ることとすることができ、その場合、開始フレームの読取は不要とすることができる。第1のフレーム後の次のフレームの取得の場合と同様にこれらの用途に対しては、フレーム反復時間が、ピクセルに対して設けられた最長集積時間よりも若干長いだけで済むように、集積は、読取と交互にされる。個別の数のフレームを取得するためにのみ使用する設計に対しては、ピクセルを計数することによって同期化を確立することができる。フレーム取得の連続的又は長いシーケンス向けに、又は1個のみ又は2、3個のフレームを取得する時にロバスト性を追加するためにさえ設計される撮像装置に対しては、横列とフレームの同期化を確立する信号伝達を含む読取フォーマットが望ましい。
図1を参照すると、横列0のピクセルのリセットのためのリセットシーケンスが、420本の走査横列x626本の走査縦列を用いた例示的な設計の撮像装置によって得られる高ダイナミックレンジ画像に対して示されている。走査という用語は、走査シーケンスで終わりまで順序付けられた横列及び縦列を指すためにここでは使用する。終わりまで順序付けられた全ての値が、有効横列又は縦列にアクセスするのに使用する必要があるというわけではなく、一般的に、適切なシーケンスで実際に読み取られる横列及び縦列にアクセスするのに十分な走査シーケンス内での横列及び縦列、及び一部の場合には読取タスク及びリセットタスクのためのタスクの重なりのないかつ又は矛盾しないスケジュールで高ダイナミックレンジセンサの複数の集積期間に備えるのに十分な付加的な走査横列及び/又は縦列を有することのみが必要である。実際の撮像アレイは、走査シーケンスで循環されるより少ない横列及び/又は縦列(又は恐らく多い横列及び/又は縦列)を有すると考えられる。図1〜図3では、リセット読取シーケンスの時間基準を生成するための走査シーケンスの使用を示している。図1では、横列0のピクセルに適用されるリセットタスク又は条件付きリセットタスクの開始のみを示している。この例示的な設計は、縦列及び横列カウントが、設けられた626本の縦列(縦列0〜625)と共に各横列に対して連続的な縦列カウントを通じて、かつ420本の横列(横列0〜419)を有するフレームの横列を通じて進む高ダイナミックレンジ走査シーケンスを含む。このシーケンスは、各横列に対して縦列0から625までインデックスを付け、縦列625から縦列0まで循環する時に次の横列までインデックスを付け、かつ横列419から横列0まで循環させるためのものである。シーケンスは、フレームの望ましい数が読み取られるまで繰り返される。例示的な設計においては、縦列カウントは、8、000、000カウント/秒の割合でインデックスが付され、従って、262、920ピクセルから成るフレームは、32.865ミリ秒で終わりまで順序付けられ、ちょうど30フレーム/秒のフレームレートが得られる。
横列0の横列読取シーケンス(101)は、横列0(121)の縦列1で開始され、有効読取が縦列14で行われる。この読取は、リセットシーケンスをこのフレーム中に開始することができるように初期フレームの走査中には抑制されることが好ましく、読取シーケンスに含まれる次のフレームの全てに対して行うことが好ましい。例えば、1つのフレームだけが読み取られた時、2つの走査フレーム、すなわち、集積期間の開始を始める第1のフレーム、及び読取を開始してリセット及び条件付きリセットの処理を続行して読み取られる各横列の各ピクセルに対して適切なリセットシーケンスをもたらす第2のフレームが得られる。
横列0(121)の32.768msの無条件のリセットシーケンス(102)を横列1(122)の縦列132で開始する。32.768ミリ秒の集積期間に関する419の横列オフセットをリセットを行う横列1に追加することによってリセットする横列を計算すると、0である420モジュロ420が得られるので、横列0がシーケンス102内でリセットされる。リセットを解除すると、集積期間が縦列164(112)から始まり、そこで、集積開始縦列164から横列読取縦列14までの縦列オフセットは、以下の通りである。
14−164=−150.
リセットの解除から読取までの時間は、横列オフセットx走査横列当たりのピクセル数+集積期間の開始及び終了でのピクセル間の符号付き縦列オフセットであり、この数量を走査速度で割る。
(419*626−150)/8=32.768ミリ秒.
標準的なダイナミックレンジモードをもたらす1つのオプションは、上述の初期リセット後にその後の条件付きリセットの一部又は全てを禁止し、かつ横列及び縦列オフセット及び関連の横列及び縦列オフセットを有する集積時間をプログラムする柔軟性を与えて集積期間の設定において広範囲なオプションが得られるようにすることである。画像制御により、走査フレーム及び画像データが読み取られるサブフレームに対してフレームサイズを調節する柔軟性をもたらすことができる。
横列0(121)の32.768msの無条件のリセットシーケンス(102)を横列315(123)の縦列176で開始する。8.192ミリ秒の集積期間に関する105の横列オフセットをリセットを行う横列315に追加することによってリセットする横列を計算すると、0である420モジュロ420が得られるので、横列0がシーケンス103内でリセットされる。リセットを解除すると、集積期間が縦列208(113)から始まり、そこで、集積開始縦列208から横列読取縦列14までの縦列オフセットは、以下の通りである。
14−208=−194.
リセットの解除から読取までの時間は、横列オフセットx走査横列当たりのピクセル数+集積期間の開始及び終了でのピクセル間の符号付き縦列オフセットであり、この数量を走査速度で割る。
(176*626−194)/8=8.192ミリ秒.
横列0(121)の2.048msの無条件のリセットシーケンス(104)を横列393(124)の縦列500で開始する。2.048ミリ秒の集積期間に関する27の横列オフセットをリセットを行う横列393に追加することによってリセットする横列を計算すると、0である420モジュロ420が得られるので、横列0がシーケンス104内でリセットされる。リセットを解除すると、集積期間が縦列532(117)から始まり、そこで、集積開始縦列208から横列読取縦列14までの縦列オフセットは、以下の通りである。
14−532=−518.
リセットの解除から読取までの時間は、横列オフセットx走査横列当たりのピクセル数+集積期間の開始及び終了でのピクセル間の符号付き縦列オフセットであり、この数量を走査速度で割る。
(27*626−518)/8=2.048ミリ秒.
横列0(121)の512μsのピクセル単位の条件付きリセットシーケンス(105)を横列413(125)の縦列268で開始する。512マイクロ秒の集積期間に関する7の横列オフセットをリセットを行う横列413に追加することによってリセットする横列を計算すると、0である420モジュロ420が得られるので、横列0がシーケンス105内でリセットされる。リセットを解除すると、集積期間が縦列300(115)から始まり、そこで、集積開始縦列300から横列読取縦列14までの縦列オフセットは、以下の通りである。
14−300=−286.
リセットの解除から読取までの時間は、横列オフセットx走査横列当たりのピクセル数+集積期間の開始及び終了でのピクセル間の符号付き縦列オフセットであり、この数量を走査速度で割る。
(7*626−286)/8=512マイクロ秒.
横列0(121)の128μsのピクセル単位の条件付きリセットシーケンス(106)を横列418(126)の縦列210で開始する。128マイクロ秒の集積期間に関する2の横列オフセットをリセットを行う横列418に追加することによってリセットする横列を計算すると、0である420モジュロ420が得られるので、横列0がシーケンス106内でリセットされる。リセットを解除すると、集積期間が縦列242(114)から始まり、そこで、集積開始縦列242から横列読取縦列14までの縦列オフセットは、以下の通りである。
14−242=−228.
リセットの解除から読取までの時間は、横列オフセットx走査横列当たりのピクセル数+集積期間の開始及び終了でのピクセル間の符号付き縦列オフセットであり、この数量を走査速度で割る。
(2*626−228)/8=128マイクロ秒.
横列0(121)の32μsのピクセル単位の条件付きリセットシーケンス(107)を横列419(127)の縦列352で開始する。32マイクロ秒の集積期間に関する2の横列オフセットをリセットを行う横列419に追加することによってリセットする横列を計算すると、0である420モジュロ420が得られるので、横列0がシーケンス107内でリセットされる。リセットを解除すると、集積期間が縦列384(116)から始まり、そこで、集積開始縦列384から横列読取縦列14までの縦列オフセットは、以下の通りである。
14−384=−370.
リセットの解除から読取までの時間は、横列オフセットx走査横列当たりのピクセル数+集積期間の開始及び終了でのピクセル間の符号付き縦列オフセットであり、この数量を走査速度で割る。
(1*626−370)/8=32マイクロ秒.
横列0(121)の8μsのピクセル単位の条件付きリセットシーケンス(108)を横列419(127)の縦列544で開始する。8マイクロ秒の集積期間に関する1の横列オフセットをリセットを行う横列419に追加することによってリセットする横列を計算すると、0である420モジュロ420が得られるので、横列0がシーケンス108内でリセットされる。リセットを解除すると、集積期間が縦列576(118)から始まり、そこで、集積開始縦列576から横列読取縦列14までの縦列オフセットは、以下の通りである。
14−576=−562.
リセットの解除から読取までの時間は、横列オフセットx走査横列当たりのピクセル数+集積期間の開始及び終了でのピクセル間の符号付き縦列オフセットであり、この数量を走査速度で割る。
(1*626−562)/8=8マイクロ秒.
横列0(121)の2μsのピクセル単位の条件付きリセットシーケンス(109)を横列419(127)の縦列592で開始する。2マイクロ秒の集積期間に関する1の横列オフセットをリセットを行う横列419に追加することによってリセットする横列を計算すると、0である420モジュロ420が得られるので、横列0がシーケンス109内でリセットされる。リセットを解除すると、集積期間が縦列624(119)から始まり、そこで、集積開始縦列624から横列読取縦列14までの縦列オフセットは、以下の通りである。
14−624=−610.
リセットの解除から読取までの時間は、横列オフセットx走査横列当たりのピクセル数+集積期間の開始及び終了でのピクセル間の符号付き縦列オフセットであり、この数量を走査速度で割る。
(1*626−610)/8=2マイクロ秒.
撮像走査フレーム内の残りの419本の横列の各々に対して、横列0のリセット及び読取シーケンスを詳述する図1に類似したシーケンスを実行する。図2では、図1で上述のものと同じ撮像アレイを用いて横列50内のピクセルのリセットのためのリセットシーケンスを示している。図2では、横列50のピクセルに適用されるリセットタスク又は条件付きリセットタスクの開始のみを示している。
横列50の横列読取シーケンス(201)は、横列50(221)の縦列1で開始され、有効読取が縦列14で行われる。この読取は、リセットシーケンスをこのフレーム中に開始することができるように初期フレームの走査中には抑制されることが好ましく、読取シーケンスに含まれる次のフレームの全てに対して行うことが好ましい。例えば、1つのフレームだけが読み取られた時、2つの走査フレーム、すなわち、集積期間の開始を始める第1のフレーム、及び読取を開始してリセット及び条件付きリセットの処理を続行して読み取られる各横列の各ピクセルに対して適切なリセットシーケンスをもたらす第2のフレームが得られる。
横列50(221)の32.768msの無条件のリセットシーケンス(202)を横列51(222)の縦列132で開始する。32.768ミリ秒の集積期間に関する419の横列オフセットをリセットを行う横列51に追加することによってリセットする横列を計算すると、0である470モジュロ420が得られるので、横列50がシーケンス202内でリセットされる。リセットを解除すると、集積期間が縦列164(212)から始まり、そこで、集積開始縦列164から横列読取縦列14までの縦列オフセットは、以下の通りである。
14−164=−150.
リセットの解除から読取までの時間は、横列オフセットx走査横列当たりのピクセル数+集積期間の開始及び終了でのピクセル間の符号付き縦列オフセットであり、この数量を走査速度で割る。
(419*626−150)/8=32.768ミリ秒.
横列50(221)の8.192msのピクセル単位の条件付きリセットシーケンス(203)を横列365(223)の縦列176で開始する。8.192ミリ秒の集積期間に関する105の横列オフセットをリセットを行う横列365に追加することによってリセットする横列を計算すると、0である470モジュロ420が得られるので、横列50がシーケンス203内でリセットされる。リセットを解除すると、集積期間が縦列208(213)から始まり、そこで、集積開始縦列208から横列読取縦列14までの縦列オフセットは、以下の通りである。
14−208=−194.
リセットの解除から読取までの時間は、横列オフセットx走査横列当たりのピクセル数+集積期間の開始及び終了でのピクセル間の符号付き縦列オフセットであり、この数量を走査速度で割る。
(176*626−194)/8=8.192ミリ秒.
横列50(221)の2.048msのピクセル単位の条件付きリセットシーケンス(204)を横列23(224)の縦列500で開始する。32.768ミリ秒の集積期間に関する419の横列オフセットをリセットを行う横列51に追加することによってリセットする横列を計算すると、0である50モジュロ420が得られるので、横列50がシーケンス(204)内でリセットされる。リセットを解除すると、集積期間が縦列532(217)から始まり、そこで、集積開始縦列208から横列読取縦列14までの縦列オフセットは、以下の通りである。
14−532=−518.
リセットの解除から読取までの時間は、横列オフセットx走査横列当たりのピクセル数+集積期間の開始及び終了でのピクセル間の符号付き縦列オフセットであり、この数量を走査速度で割る。
(27*626−518)/8=2.048ミリ秒.
横列50(121)の512μsのピクセル単位の条件付きリセットシーケンス(205)を横列43(225)の縦列268で開始する。512ミリ秒の集積期間に関する7の横列オフセットをリセットを行う横列43に追加することによってリセットする横列を計算すると、0である50モジュロ420が得られるので、横列50がシーケンス205内でリセットされる。リセットを解除すると、集積期間が縦列300(215)から始まり、そこで、集積開始縦列300から横列読取縦列14までの縦列オフセットは、以下の通りである。
14−300=−286.
リセットの解除から読取までの時間は、横列オフセットx走査横列当たりのピクセル数+集積期間の開始及び終了でのピクセル間の符号付き縦列オフセットであり、この数量を走査速度で割る。
(7*626−286)/8=512マイクロ秒.
横列50(221)の128μsのピクセル単位の条件付きリセットシーケンス(206)を横列48(226)の縦列210で開始する。128マイクロ秒の集積期間に関する2の横列オフセットをリセットを行う横列48に追加することによってリセットする横列を計算すると、0である50モジュロ420が得られるので、横列50がシーケンス206内でリセットされる。リセットを解除すると、集積期間が縦列242(214)から始まり、そこで、集積開始縦列242から横列読取縦列14までの縦列オフセットは、以下の通りである。
14−242=−228.
リセットの解除から読取までの時間は、横列オフセットx走査横列当たりのピクセル数+集積期間の開始及び終了でのピクセル間の符号付き縦列オフセットであり、この数量を走査速度で割る。
(2*626−228)/8=128マイクロ秒.
横列50(221)の32μsのピクセル単位の条件付きリセットシーケンス(207)を横列49(227)の縦列352で開始する。32マイクロ秒の集積期間に関する1の横列オフセットをリセットを行う横列49に追加することによってリセットする横列を計算すると、0である50モジュロ420が得られるので、横列50がシーケンス207内でリセットされる。リセットを解除すると、集積期間が縦列384(216)から始まり、そこで、集積開始縦列384から横列読取縦列14までの縦列オフセットは、以下の通りである。
14−384=−370.
リセットの解除から読取までの時間は、横列オフセットx走査横列当たりのピクセル数+集積期間の開始及び終了でのピクセル間の符号付き縦列オフセットであり、この数量を走査速度で割る。
(1*626−370)/8=32マイクロ秒.
横列50(221)の8μsのピクセル単位の条件付きリセットシーケンス(208)を横列49(227)の縦列544で開始する。8マイクロ秒の集積期間に関する1の横列オフセットをリセットを行う横列49に追加することによってリセットする横列を計算すると、0である50モジュロ420が得られるので、横列50がシーケンス208内でリセットされる。リセットを解除すると、集積期間が縦列576(218)から始まり、そこで、集積開始縦列576から横列読取縦列14までの縦列オフセットは、以下の通りである。
14−576=−562.
リセットの解除から読取までの時間は、横列オフセットx走査横列当たりのピクセル数+集積期間の開始及び終了でのピクセル間の符号付き縦列オフセットであり、この数量を走査速度で割る。
(1*626−562)/8=8マイクロ秒.
横列50(221)の8μsのピクセル単位の条件付きリセットシーケンス(209)を横列49(227)の縦列592で開始する。2マイクロ秒の集積期間に関する1の横列オフセットをリセットを行う横列49に追加することによってリセットする横列を計算すると、0である50モジュロ420が得られるので、横列50がシーケンス209内でリセットされる。リセットを解除すると、集積期間が縦列624(219)から始まり、そこで、集積開始縦列624から横列読取縦列14までの縦列オフセットは、以下の通りである。
14−624=−610.
リセットの解除から読取までの時間は、横列オフセットx走査横列当たりのピクセル数+集積期間の開始及び終了でのピクセル間の符号付き縦列オフセットであり、この数量を走査速度で割る。
(1*626−610)/8=2マイクロ秒.
組合せとなっている図1及び図2は、選択されているリセット横列読取スケジュールのパターンを示している。横列50は、横列0の50本の横列後に来る。横列番号が最小非負整数モジュロとして表されるモジュロ演算を使用して表すと、図2の走査フレーム、リセットタスク、及び横列読取タスクの横列数は、全て、横列0の対応する横列読取感知の又はリセットタスクの50本の横列後に発生する。この同じ一致は、撮像アレイ内のあらゆる1対の横列に対して当て嵌まる。すなわち、撮像アレイのあらゆる1対の横列に対して、対応するタスクを対の個々の横列に行う間隔の間には一定の横列オフセット(モジュロ演算を使用)がある。図3は、横列読取及び各々の横列リセットタスクは、相互に矛盾せず、かつ特定の高ダイナミックレンジ撮像装置読取値シーケンスに対して予め定められる区分縦列カウント値又は縦列時間の範囲にわたって行うという特性と組み合わされた時のこの特性の意味合いを示している。例示的な設計においては、この特性は、各横列読取及び集積時間に関連するリセットタスクの処理間隔が、読取シーケンスに対して予め選択することが好ましく、かつ縦列タイミング値の重複なしの範囲にわたって発生するように配置される縦列時間間隔に関連するという、特定の高ダイナミックレンジ読取シーケンスの制限強化により満たされる。更に、縦列間隔は、所定の画像読取値シーケンスにおいて読み取られる撮像装置の各横列に対して横列読取タスク及びリセットタスクの順序付けに均一に適用されることが好ましい。好ましい設計においては、横列読取を各横列に対して行う縦列範囲を特定の読取タスクに対して予め選択することが好ましい。次に、特定の集積期間に関連のリセットタスクを行う縦列カウント範囲は、特定の集積期間に関連する望ましい縦列オフセットが得られるように選択することが好ましく、横列オフセットは、特定の集積期間に関連する望ましい横列オフセットが得られるように選択することが好ましい。次に、走査シーケンスのタイミングリズムと組み合わせた縦列及び横列のオフセットにより、望ましい集積期間が得られることが好ましい。ここで説明する目的のために、処理が少なくとも部分的に横列に並行であることが好ましい場合、縦列カウントは、横列単位のタイミングをもたらす役目をし、また、横列順序付けタスクと同期化される処理の時間基準として機能する。オプションとして、このタイミングは、横列内のピクセルの縦列の数に直接関連するものでなくてもよい。縦列カウントをピクセルの実際の縦列と関連付けることは、便宜なことに過ぎず、その理由は、時間基準は、次に、ピクセルA/D変換及び画像フレームを通したピクセル単位の順序付けに典型的に直接関係があるピクセルフォーマット処理タスク及び読取タスクを順序付けるために有利に用いることができるからである。
図3を参照すると、走査フレームは、303での縦列0から304での縦列625まで、及び301での横列0から302での横列419まで延びている。一部の実施形態では、一般的な横列又は縦列オフセットをここで参照した横列及び/又は縦列カウントに追加して撮像フレームの原点を実質的に調節することができる。このオプションは、本発明の一部であると考えられるが、説明を簡素化するために、図3の説明では割愛する。
各横列の横列読取は、アドレス指定されている横列に適用され、かつバー305により表される縦列1から縦列34まで延びる間隔中に行われる。有効読取が、縦列期間14(300)の最初に行われる。
32.768ミリ秒の横列は、419(32.768ミリ秒集積期間の横列オフセット)を横列アドレスモジュロ420(撮像装置走査フレーム内の横列の数)に追加することによってアドレスを計算する横列に適用される。リセットは、バー306により表される縦列132から縦列165まで延びる縦列間隔にわたって行われる。リセットは、集積期間が縦列期間164(314)の最初に始まるように解除される。それによって32.768ミリ秒の集積期間に対して縦列14での横列読取タスクに対する−150本の縦列の望ましい縦列オフセットが得られる。
各横列の8.192ミリ秒のピクセルレベル条件付き横列リセットは、105(8.192ミリ秒集積期間の横列オフセット)を横列アドレスモジュロ420(撮像装置走査フレーム内の横列の数)に追加することによってアドレスを計算する横列に適用される。リセットは、バー209により表される縦列176から縦列209まで延びる縦列間隔にわたって行われる。リセットは、集積期間が縦列期間208(315)の最初に始まるように解除される。それによって8.192ミリ秒の集積期間に対して縦列14での横列読取タスクに対する−194本の縦列の望ましい縦列オフセットが得られる。
各横列の2.048ミリ秒のピクセルレベル条件付き横列リセットは、27(2.048ミリ秒集積期間の横列オフセット)を横列アドレスモジュロ420(撮像装置走査フレーム内の横列の数)に追加することによってアドレスを計算する横列に適用される。リセットは、バー311により表される縦列5006から縦列533まで延びる縦列間隔にわたって行われる。リセットは、集積期間が縦列期間532(319)の最初に始まるように解除される。それによって2.048ミリ秒の集積期間に対して縦列14での横列読取タスクに対する−518本の縦列の望ましい縦列オフセットが得られる。
各横列の512マイクロ秒のピクセルレベル条件付き横列リセットは、7(512マイクロ秒集積期間の横列オフセット)を横列アドレスモジュロ420(撮像装置走査フレーム内の横列の数)に追加することによってアドレスを計算する横列に適用される。リセットは、バー309により表される縦列268から縦列301まで延びる縦列間隔にわたって行われる。リセットは、集積期間が縦列期間300(317)の最初に始まるように解除される。それによって512マイクロ秒の集積期間に対して縦列14での横列読取タスクに対する−286本の縦列の望ましい縦列オフセットが得られる。
各横列の128マイクロ秒のピクセルレベル条件付き横列リセットは、2(128マイクロ秒集積期間の横列オフセット)を横列アドレスモジュロ420(撮像装置走査フレーム内の横列の数)に追加することによってアドレスを計算する横列に適用される。リセットは、バー308により表される縦列210から縦列243まで延びる縦列間隔にわたって行われる。リセットは、集積期間が縦列期間242(316)の最初に始まるように解除される。それによって128マイクロ秒の集積期間に対して縦列14での横列読取タスクに対する−228本の縦列の望ましい縦列オフセットが得られる。
各横列の32マイクロ秒のピクセルレベル条件付き横列リセットは、1(32マイクロ秒集積期間の横列オフセット)を横列アドレスモジュロ420(撮像装置走査フレーム内の横列の数)に追加することによってアドレスを計算する横列に適用される。リセットは、バー310により表される縦列352から縦列385まで延びる縦列間隔にわたって行われる。リセットは、集積期間が縦列期間384(318)の最初に始まるように解除される。それによって32マイクロ秒の集積期間に対して縦列14での横列読取タスクに対する−370本の縦列の望ましい縦列オフセットが得られる。
各横列の8マイクロ秒のピクセルレベル条件付き横列リセットは、1(8マイクロ秒集積期間の横列オフセット)を横列アドレスモジュロ420(撮像装置走査フレーム内の横列の数)に追加することによってアドレスを計算する横列に適用される。リセットは、バー312により表される縦列544から縦列577まで延びる縦列間隔にわたって行われる。リセットは、集積期間が縦列期間576(320)の最初に始まるように解除される。それによって8マイクロ秒の集積期間に対して縦列14での横列読取タスクに対する−562本の縦列の望ましい縦列オフセットが得られる。
各横列の2マイクロ秒のピクセルレベル条件付き横列リセットは、1(2マイクロ秒集積期間の横列オフセット)を横列アドレスモジュロ420(撮像装置走査フレーム内の横列の数)に追加することによってアドレスを計算する横列に適用される。リセットは、バー313により表される縦列592から縦列625まで延びる縦列間隔にわたって行われる。リセットは、集積期間が縦列期間624(321)の最初に始まるように解除される。それによって2マイクロ秒の集積期間に対して縦列14での横列読取タスクに対する−610本の縦列の望ましい縦列オフセットが得られる。
全域のほぼ半分を覆う図3の斜線域に対しては、比較的処理集約的な少なくとも部分的に横列並行のタスクを提供する。これは、例示的な実施形態では、露光制御処理は、露光制御及び画像取得に関連する少なくとも部分的に横列並行のタスクが、対立なく、横列並行の処理のための構成要素、横列選択、及び縦列読取選択論理、横列縦列交差点ピクセル選択可能なリセット論理、及び集積期間設定メモリアクセス部を共有し、かつタスクが、画像取得中にその時間のほぼ50%で活発であるように分散されたことを示している。各々の関連の集積期間に対して、タスクが、他の集積期間に関連する縦列時間と略重複なしの予め選択した縦列時間中に行われるように集積期間に独特のリセットタスク及び横列読取タスクを分割することによって、かつ集積期間専用リセットタスクの各々に対して適切な横列オフセットをもたらすことによって、各リセットタスクが、固有の対立しない時間スロットが各リセットタスクを行うことができる横列内の専用縦列範囲にある固有の横列を有するように、縦列時間の特定の範囲で作られる同じ集積期間に関するリセットの全てに対して同じ横列オフセットを適用する。
図4は、高ダイナミックレンジ撮像装置の例示的な設計のブロック図を示している。撮像装置は、本発明のダイナミックレンジ改善機能を含むように強化されている従来の巻き上げシャッターCMOS設計に基づくことが好ましい。図は、特に、従来の巻き上げシャッター設計から引き継がれている特徴に対しては略示されている。図のブロック410〜415は、撮像装置内のピクセルの縦列に関連する信号で何らかの方法で全て作動する。従って、縦列関係の信号は、必ずしも各ブロックに使用されるわけではなくブロックの一部を通じて送ることができ、かつ各ブロックは、適切な縦列関係の信号にアクセス可能と仮定されている。集積と横列読取のタイミングは、走査縦列カウンタ403を基本としており、走査縦列カウンタ403は、例示的な設計においては、次のカウントでゼロになり、再び、ゼロから最高値まで漸進的に計数するなどを行う。走査縦列カウントがゼロに戻る度に、走査カウンタは、その次の値に増分される。例示的な設計においては、走査横列カウント402は、カウントゼロで始まり、最高値まで漸進的に数えて、次のカウントでゼロに戻り、最高値まで漸進的に数えるなどを行う。
可能な集積期間(例示的な設計では合計8個)のうちの1つの自動選択に適合させるために、横列のピクセルは、好ましくは、全て、集積期間のうち最長集積期間の初めでリセットされ、次に、その後のより短い集積期間の各々の始まりの直前に各ピクセル及び関連のリセット記録に問い合わせて、閾値に対して現在のピクセル値の比較及びピクセルのリセット履歴に基づいて横列の各ピクセルを条件付きでリセットされる。ピクセルをリセットしない時は常に、読取前には同じくリセットしないことが好ましいが、最も新しい前のリセットにより開始された集積期間を完了するために問い合わせさせる。ピクセルをリセット(好ましくは、初期無条件リセットを含む)する時は常に、ピクセルがリセット中である集積期間を表示するように、ピクセルに関連のメモリ(3ビット/ピクセルは、8つの可能な選択可能なリセット状態の1つを特定するのに必要な全部である)を更新する。ピクセルのメモリ値は、ピクセルをリセットしない条件付きリセットタスク中には変更されないことが好ましい。集積期間の終わりに、ピクセルに関連の値は、集積期間のうちのどちらが読取に使用されたか示している。この情報は、横列のピクセルの読取及びA/D変換と同期して読み取ることが好ましく、最終読取値を適正にスケーリングするのに使用することが好ましい。好ましい設計においては、全て同時に終わるように、すなわち、集積期間を終える横列読取が各ピクセルの実際の集積期間に関係なく横列の全てのピクセルに対して同時に行われるように横列内の集積期間を開始することが好ましい。集積期間終了時に、横列は、好ましくは、選択した横列のピクセル値をサンプリングコンデンサの横列に伝達し、好ましくは、同じくリセット電圧をサンプリングコンデンサの第2の横列に伝達して、値をデジタル化し、使用された集積期間の記録を反映するように調節するシーケンスにより読み取られる。この値は、一般的に撮像装置から出力される。
図4のブロック図では、走査横列カウンタ402、走査縦列カウンタ403、汎用縦列オフセット加算器404、汎用横列オフセット加算器405、横列選択409、横列読取サンプル及び保持411、増幅器416、及びアナログ/デジタル変換器417は、従来の従来技術の撮像アレイにおいて使用するものと類似のものとすることができる。従来技術の撮像装置から保持されるこれらの特徴の全てに対して、本発明の撮像装置の実施において、1つ又はそれよりも多くの高ダイナミックレンジモードで作動させることができることに加えて標準的なダイナミックレンジモードで作動するオプションをもたらす柔軟性が得られるようにすることは適度に容易である。制御回路400は、撮像装置に伝達された命令を受信して、以下で説明する命令シーケンスを制御する。
高ダイナミックレンジ画像を取得するために、走査縦列カウンタ403は、各横列に対して縦列範囲を通して循環し、走査縦列カウンタ403による縦列カウントを通したサイクルの完了により示される新しい各横列毎に走査横列カウンタ402を増分させる。ピクセルリセット及び横列読取機能選択回路407は、縦列カウント範囲を復号して横列読取及び様々なリセット機能を開始して制御する信号を生成する。ピクセルリセット閾値発生器408は、進行中のリセットタスクにより開始される特定の集積期間に任意的に依存する閾値値を生成する。選択した横列の各ピクセルに対する集積電荷レベルを示す信号に対してこの閾値を比較し、横列の各ピクセルをリセットすべきか否かに関する部分的な判断を提供する。この判断は、ピクセル単位で行うことが好ましい。ピクセルリセット横列オフセット発生器406は、ピクセルリセット横列読取機能選択回路407から、もしあれば横列読取又はリセットタスクのうちのどれが進行中であるかを示す信号を受信し、横列リセットタスクに対しては、リセットにより開始すべき集積期間の持続時間に適切な横列オフセットを生成する。リセット横列オフセットモジュロ加算器401は、好ましくは、モジュロ演算で、処理中のリセットに関連の正の持続時間に適切なオフセット値を横列アドレスに加算し、走査フレームの下部から上部まで適正に循環する範囲に生成した横列アドレスを保つ。ブロック404及び405では、一般横列及び縦列オフセットを横列値及び縦列値に任意的に加算して撮像アレイ410内で画像フレームの原点を制御する柔軟性の増強を提供する。横列選択回路409は、横列選択アドレスを復号して横列処理に使用される制御信号を選択した横列に誘導する。撮像アレイ410は、好ましくは、リセットすべき各ピクセルに関する横列信号及び縦列信号の同時アサートによりリセットがもたらされる特徴を各ピクセル内で達成することによって実行される個々のピクセルリセット機能を含む。使用時には、横列のピクセルを選択的にリセットするために、選択した横列の横列リセットをアサートし、縦列リセット線は、リセットに選択した横列のピクセルに対してのみアサートする。横列読取サンプル及び保持回路411は、撮像装置内のピクセルの各縦列に対してサンプルアナログ値をサンプリングするサンプリングコンデンサを含むことが好ましい。この回路は、通常使用するものと類似ものであり、縦列読取線の各々の読取値及びリセット基準レベルの両方の連続的サンプリングを含むことが好ましい。この回路は、縦列選択回路412からの信号に応答し、かつ選択した縦列のアナログ値を出力増幅器416に誘導するようになっている。増幅器416からの増幅済みの、好ましくは、オフセット補正済みの値は、アナログ/デジタル変換器417によりデジタルの形に変換される。ピクセル処理回路418は、メモリに格納された値により示されるような読取値を提供するために使用する集積期間を考慮してピクセルにより受け取られる光レベルを適切に示すように出力値をスケーリングするために、縦列アドレス可能なピクセル横列バッファメモリ413から取得する読取を行うために使用する集積期間のメモリ表示と組合せてアナログ/デジタル変換器417からのデジタル値に条件を付ける。この作動に対しては、ピクセル読取縦列選択回路412は、横列読取サンプル及び保持回路411及び縦列アドレス可能なピクセル横列バッファメモリ413から対応する値を選択することが好ましい。パイプライン状のアナログ/デジタル変換器変換回路を使用する時、ピクセル処理回路418がピクセルに対して使用される集積期間の対応する表示とデジタル化された読取値を組み合わせるように、アドレス指定方式における対応するパイプライン又は適切なオフセットが組み込まれる。縦列アドレス可能なピクセル横列バッファメモリは、横列読取タスク中にピクセルリセットメモリ415にアクセスして、メモリレジスタ413内で読取中の横列のリセット情報をバッファに入れることが好ましい。例示的な設計においては、ピクセルリセットメモリ415は、3ビット/ピクセルを含むことが好ましい。メモリは、任意的に一般横列オフセットの適用前に、メモリをアドレス指定するために横列選択のために使用する同じ信号を使用するように構成することが好ましい。3ビット/ピクセルは、選択した横列の各ピクセル又はピクセル関係の縦列に対して並行して利用可能であることが好ましい。このアクセスは、読取及び書込機能を含むことが好ましい。ピクセル閾値比較及び条件付きリセットブロック414は、ブロック408からのピクセルリセット閾値発生器出力からのピクセルリセット閾値と、撮像アレイ410からのアレイの選択した横列の各ピクセル上で集積電荷のレベルを示す信号で駆動される縦列線と、ピクセルリセットメモリ415のアドレス指定された縦列関連の語への読取及び書込アクセスと、撮像アレイ410に至る縦列リセット線と、ピクセルリセット及び横列読取機能選択ブロック407からの制御信号とにアクセスすることができる。処理中の横列の実質的な部分に対して並行したタスクを行う論理を含むことが好ましく、かつ制御信号に応答して、選択した横列(又は横列のピクセルの実質的な部分)のピクセルに関するピクセルリセットメモリ入力と組み合わせて集積光誘導電荷の表示に対して作動し、横列の各々又は有意な数の有効ピクセルをリセットすべきか否かに関して判断するのは、このブロックである。この回路は、横列のピクセルを選択的にリセットする縦列リセット信号を選択的に処理して、必要に応じて横列のピクセルに対してリセットメモリを更新する。この更新には、好ましくは、選択的にリセットするピクセルに対して確立される新しい集積期間の持続時間の表示に書き込むことが含まれる。
図5は、撮像アレイ内のピクセルの1つの縦列に関連の回路の略示図を示している。図5の図では、例えば、例示的な設計においては420個のピクセルを含む縦列の1ピクセルは、ブロック501内のピクセル516として示されている。好ましい設計においては、ノイズが重要になる横列読取タスク中にピクセル処理を通常抑制し、また、この期間中のピクセル処理の抑制により、横列のピクセルのピクセル単位の処理を開始する前に横列読取タスクの並行した部分を完了することができ、2つのタスク間のタイミング上の対立が排除される。従って、撮像装置の最初の36ほどの数値縦列を実行しないことが好ましく、約590本の読取可能な縦列が得られる。撮像装置ピクセルアレイは、一部の保護横列及び有効撮像区域の周囲回りの光から保護される暗色基準ピクセルの任意的な追加で、実際に読み取る横列に制限することが好ましい。縦列処理回路は、読み取る縦列についてのみ実行すべきである。従って、例示的な回路の完全な実行に対しては、アレイは、例示的な撮像装置の420本の横列の各々に1ピクセルで、各々420ピクセルを有する590本の縦列を有する。回路の残りの部分は、590回で626ピクセル走査横列内の有効590ピクセルの各々に対して1回複写する。ここでは、傍注として、例示的な撮像装置は、例外的に高いダイナミックレンジをもたらすリセット処理を最も良好に示すために簡素化されている。同じく特許の範囲であると考えられる撮像装置の実施例は、従来技術の撮像装置に設けられたほぼあらゆる特徴を含むことができる。例えば、読取構造においては、横列読取タスクの並行した部分よりも大きい走査処理の対象であるフレームの部分の読取を抑制する特徴を含めることができる。撮像装置命令セットには、高ダイナミックレンジ機能を使用せず、かつ遥かに高いフレーム反復数のような機能の追加を相応に行うことができる命令を含むことができる。画像ベースの制御用途においては、全体的な視野のより小さい部分を対象とするより小さい走査フレームで、より速いシーケンスで撮ることができる画像で高ダイナミックレンジ画像の読取を補うことが望ましいことが多い。これらの画像の露光は、例えば、高ダイナミックレンジ画像内で観測される光レベルに少なくとも部分的に基づく場合がある。一部の場合には、高ダイナミックレンジ特徴に関する柔軟な設定機能との組合せによる従来の通常のダイナミックレンジ撮像は、本発明の高ダイナミックレンジ特徴と組み合わせて用いることができる従来の撮像技術との有用な組合せである。走査フレームサイズ、横列の各々に関する横列及び縦列のオフセットの選択、及び読取当たりの条件付きリセットの数さえも、任意的にプログラマブルとすることができる。1つのリセットと次のリセットの集積期間の比は、例示的な設計におけるように4である必要はなく、かつ各々の連続的な集積期間に対して定数である必要はない。例えば、撮像装置は、1つのリセットと次のリセットの期間の比が4であり、別のリセットと次のリセットの比が8、又は何らかの整数以外の数又は2の整数累乗ではない何らかの値であるいくつかのリセット期間を有することができる。横列及び縦列のカウント及びアドレス指定回路を実行するいくつかの論理的に同等な方法がある。カウント範囲は、低値と高値の間で拡張することができ、低値は、ゼロ以外とすることができ、かつ負とさえすることができる。カウント方向は、高から低へ向かうように逆転させることができる。このような変化で、モジュロ演算の概念は、目標とするフレームの境界内にあり、かつ目標とする範囲にわたるようにカウント値を順序付けるように拡張する必要がある。読取は、厳密な単調なシーケンスである必要さえなく、集積時間を確立するために適用する横列オフセットのような特徴への非標準的な走査シーケンスの適用は、適切な作動が得られるように慎重に計画すべきである。走査時間を計算する公式も、修正したフレーム走査構造に対して集積時間を適切に示すように拡張すべきである。
例示的な設計においては、公称32ミリ秒の集積間隔を開始する第1のリセットと公称8ミリ秒集積間隔を開始する第2のリセットの間には、24ミリ秒の間隔がある。ピクセル内で通常使用するブルーミング防止回路と共にリセット間隔の短縮化は、隣接するピクセルへの過剰露光ピクセルからの電荷溢出を最小にすることを助ける。オプションとして、リセット間の長い間隔を短縮するために、第2の集積期間は、4対1の比のための8.192ミリ秒ではなく、2対1の比のための16.384ミリ秒を選択することができる。次に、その後の集積期間を2対1で拡張することができ、又は1つの期間を8対1に変更することができ、又は余分なビットを使用して集積期間のタグを符号化することができ、8個を超える集積期間を使用することもできる。横列オフセットと横列長の間の均衡、及び集積期間の各々に対して対立しない縦列期間隔に備えるための集積期間の調節は、評価し、かつ高ダイナミックレンジ作動モードにおいて使用する各組の集積期間に対して適切に選択する必要がある。
横列リセット線515(1本/各横列)、横列読取有効化線520(1本/各横列)、縦列アドレスバス521、ピクセル読取バス523、ピクセルリセット基準値524、横列バッファメモリ書込有効化526、集積時間出力バス506、無条件のピクセルリセット有効化529、リセット表示フリップフロップクロック530、集積期間タグバス513、タグメモリ更新有効化531、及び横列アドレスバス534は、有効縦列の各々の対応する回路にルーティングして有効縦列の各々の対応する回路に共有されることが好ましい。縦列リセット線503及び縦列読取線519は、縦列内の有効ピクセルの各々により共有されることが好ましい。代表ピクセル501は、横列選択線520の選択信号をアサートすることによって選択する。520の横列選択信号のアサートによりトランジスタ回路518が有効になり、トランジスタ回路518は、縦列読取線519をピクセルの集光区域517で回収した電荷を表す電圧レベルまで駆動する。リセット回路502により、ピクセルは、横列リセット線515及び縦列リセット線503で信号を同時にアサートした時にリセットされる。大幅に簡素化した形に示す504ブロックは、回路522を含み、回路522は、縦列サンプリングコンデンサと、縦列選択アドレス及び制御バス521上の信号に応答し、かつバス521上の制御信号に応答して縦列読取線519上の信号をサンプリングし、かつバス521上の適切な制御信号と共に適合縦列選択アドレスのアサートに応答してサンプリングしたピクセル読取信号を読取バス523に誘導する縦列選択回路とを含む。例示的な実施形態では、縦列がバス521上でアサートされた縦列アドレスによって選択された時、信号は、選択線535上でアサートされる。以下に説明するように、選択信号535を使用して、信号から導出されたアナログピクセル値及びバス523に誘導されたアナログ値の読取と同期して選択したピクセルを読み取るために使用する集積期間を示すメモリ記録をバス506に誘導する。
比較回路525は、線524上の閾値基準レベルに対して、選択したピクセル上の光誘導電荷を示す縦列読取線519上の信号レベルを比較する。信号519が、ピクセル上の光誘導電荷が信号524により示された基準レベルを超えるように示した時、論理真信号を出力536上でアサートする。(実際の強化か又は初期電荷レベルの減損であるかを問わず、光誘導電荷は、光露出により引き起こされた電荷レベルの変化を指すことが意図されている。)
バス513を使用して、集積期間に対する数値集積期間識別メモリタグを通信する。この数値メモリタグは、いくつかの方法で符号化することができる。例示的な設計においては、それぞれ、最長から最短までの集積期間に0〜7の特定のための数値メモリタグを割り当てる。好ましい実施形態では、ピクセルは、読取シーケンス内の最長集積期間に対しては無条件でリセットし、シーケンス内の連続的なより短い集積期間に対しては、ピクセル上の光誘導集積電荷が524上で閾値値を超えることを示す比較出力536をピクセルに対してアサートし、かつ読取値シーケンス内の全ての前の延長化集積期間に対してもピクセルをリセットしている場合又はリセットしている場合に限り、ピクセルをリセットする。ピクセルのリセットを見逃した状態で、ピクセルの更に別のリセットを中止する要件を満たすために、ピクセルに対して集積期間識別メモリタグ入力を検査し、直前の集積期間に対してピクセルがリセットされていたかを確かめれば十分である。リセットされていなかった場合、比較出力部536の状態に関係なく、そのピクセルに対して現在のリセットを禁止する。ピクセルのタグが直前の集積期間に対してリセットされていたことを示し、かつピクセル上の集積電荷が比較出力536により示される閾値値を超えていた場合、ピクセルをリセットして、ピクセルのこのリセットにより確立された集積期間を識別するためにピクセル毎の集積期間のメモリタグを更新する。メモリブロック533は、縦列の各ピクセルに関する入力を有することが好ましく、現在のピクセルは、バス534上で通信され、かつメモリブロック533のアドレス入力として機能する選択した横列の横列アドレスにより読取及び書込タスクに向けて選択される。比較回路528は、ピクセルに対して保存した集積期間識別数値タグのビット単位の符合により、バス513上でアサートしたタグ値に対する比較を提供する。ピクセルのタグ値がバス513上でブロードキャストされたタグ値と符合し、かつ縦列内の選択した横列のピクセル上の光誘導集積電荷が閾値を超えることを示す比較出力536がアサートされていることを示すビット単位の符合により3つの比較結果の全てが符合した時かつ符合した時に限り、「and」ゲート510は、真の出力をアサートする。線530上のクロック信号により計時された時、「D」形式フリップフロップ512は、ピクセルリセット表示を登録する。初期最長集積期間設定に向けてピクセルのリセットを強制する適切な時間で線529はアサートされる。「or」ゲート511は、この無条件リセット指令を「and」ゲート510からの上述の条件付きリセット表示と組み合わせる。フリップフロップ512の出力により、選択した縦列に対して縦列リセット線503が駆動され、アサートされると、縦列リセット線503は、重なり合う期間中に横列リセット線515もアサートされた時にピクセル516のリセットを引き起こす。関連の縦列線503も設定するピクセルを選択的にリセットする横列処理シーケンスにおいて、リセット線515は、適切な時にアサートされる。オプションとして、付加的なゲート論理を追加して、リセットタスクをアサートすべき時にのみ垂直リセット線503をアサートすることができる。次に、選択線520及び縦列リセット線503の同時のアサートによりピクセルのリセットが引き起こされるように、横列選択線520及び横列リセット線515の機能を任意的に単一の線に統合することができる。メモリ更新有効化線531をアサートして、メモリ533内で処理中であるピクセルに対して集積期間識別タグを更新する。メモリ更新線531をアサートした時にアドレスバス534上でアサートされた横列アドレスにより選択されたメモリ位置までこの更新を提供し、縦列リセット線503のアサートにより示めされるようにピクセルをリセットする。更新線531及びピクセル縦列リセット線503をandする「and」ゲート514の出力538は、メモリブロック533の書込み有効化として機能する。書込み有効化538をアサートした時、バス513上で通信される集積期間の数値集積期間識別メモリタグ値がメモリブロック533内のピクセルの入力に書き込まれる。条件付きリセットタスクにおいては、バス513を使用して、各々シーケンス内の別々の時間間隔で2つの別々の集積期間識別タグを通信する。シーケンスの開始に向けて、比較回路528によって使用されるように、直前の集積期間タグをバス513上で通信する。シーケンスの終了に向けて、現在の集積期間のタグ値をバス513上で通信し、新しくかつより短い集積期間を開始するためにリセットするピクセルに対して上述したようにメモリ表示を更新する。
上述の内容は、主として、関連の縦列の選択した横列内のピクセルに関する縦列に関連する条件づき及び無条件のリセットタスクが中心であった。リセットタスクにより確立された集積期間の終了時に、横列のピクセルを読み取る。横列読取タスクを2つの段階で達成する。そのうちの第1の段階は、リセットタスクのいずれかに使用する縦列カウント範囲と重なり合わない縦列カウント範囲中に行うことが好ましい横列並行のタスクである。第2の段階は、ピクセル単位又は小ピクセル群単位の処理段階であることが好ましく、かつ進行中のリセットタスクに必要とされる横列選択線、横列読取線、縦列読取線、又は縦列リセット線へのアクセスを必要としないように構成することが好ましい。次に、第2の段階のピクセル処理は、進行中のリセットタスクに重なる場合があり、任意的に、いくつかの系統的手法のいずれか1つを用いて行うことができる。処理は、ピクセル単位の作動、又は恐らくは横列内のピクセルの小さい小群にパイプライン化又は並行処理を用いる連続的作動とすることができる。第1の段階、好ましくは、作動の並行した段階に対しては、読取選択線520を処理中のピクセルの横列に対してアサートすると、縦列読取線519にピクセル値が導かれる。従来技術撮像装置において使用されるものと非常に類似するものとすることができる読取シーケンスを実行すると、それによって縦列線519上でアサートしたピクセル値は、ピクセル読取処理ブロック522内のコンデンサ又は他の回路によりサンプリングされる。シーケンスは、ピクセルの無条件リセット、及び最終読取タスク内のピクセルに対してゼロ基準として使用すべきリセット値の付加的なサンプリングを含むことができる。好ましい実施形態では、読取中のピクセルの集積期間識別タグがメモリブロック533の出力線532上に呈示されるように、読取中の横列の横列アドレスをアドレスバス534上でアサートする。横列読取処理の一部として、書込可能線526をアサートして読取中のピクセルに対して集積期間識別タグをタグバッファメモリ507内に格納する。タスクは、横列の全ての有効ピクセルに対して並行に実行することが好ましく、従って、横列の各ピクセルの集積期間が、複写縦列論理ブロックの関連のバッファメモリ507内で利用可能である。
例示的な実施形態では、読取シーケンスの第2の段階に関して、縦列アドレスは、縦列アドレスバス521上でピクセル読取522に対して通信される。この順次区分式縦列アドレスは、ブロック522で復号され、サンプリングしたピクセル値のアナログ/デジタル変換及びピクセル処理に向けて縦列サンプリングコンデンサを順番に選択し、かつピクセルに使用する集積期間をバス506上で誘導もする役目をする。読取値を取得するのに使用する集積期間が与えられて適正な光レベル読取値を示すように、ピクセルの最終読取値が調節される。ピクセル読取に使用した集積期間の記録をメモリブロック507内でバッファに入れる。ブロック522内の縦列アドレス復号論理は、バスドライバ527がバス506上でメモリ507に格納した集積期間識別タグを誘導することを可能にするために縦列を選択した時に出力線535をアサートする。好ましくは、ピクセルの集積期間識別タグを誘導するのに使用するのと同じ縦列選択復号回路からの選択出力を使用して、ブロック522でサンプリングして保持したピクセル読取情報を読取バス523に誘導する。例示的な設計においては、アナログ/デジタル変換及び使用した集積期間を反映する調節の完了直後に、集積期間を反映するように調節されたピクセル値を読取に向けて順番に呈示する。
範囲検出を読取と同時に行った時、集積電荷の表示を非破壊で読み取っていつリセットすべきかを判断することは有利である。ピン留め及び/又は埋込フォトダイオード構造又はフォトゲート構造に対しては、最終読取前に読取ノードに電荷を通信することはオプションとなっているが、これは、読取ノードのリセット値のリセット及び読取、次いて蓄積電荷の伝送及び相関二重サンプリングモードで使用する第2の読取と干渉する場合がある。これらの構造に対しては、使用すべき集積期間を判断する読取シーケンスの短縮化を行うことが好ましいと考えられる。このタスクに対しては、読取のための集積が始まる前に、範囲判断期間を追加することができ、かつ条件付きリセット範囲の結合に対して説明するものと類似のものである一連の好ましくは横列並行の比較タスク(一部の場合には、比較タスクにおける1つよりも多いリセット期間オプションの判断を処理する複数の閾値の比較を含む)を用いて、使用すべき範囲を判断することができる。判断した集積期間は、各ピクセルに関連の集積期間メモリ内に保存することができる。次に、読取段階中にこのメモリ値を使用して、各ピクセルの適切な集積期間を設定し、また、読取時に、ピクセルを読み取ると共に読取値を適正にスケーリングするのに使用する集積期間を示すことができる。
どの特定の集積期間を使用するかという別々の判断に対しては、順番に判断する連続延長化集積期間を使用する判断と共に最短集積期間を使用するオプションを最初に判断するように集積期間の判断に向けて比較及び/又は読取タスクを配置することが好ましいであろう。次に、読取及び集積期間判断シーケンスの組合せの場合と同様に、好ましくは、横列並行の又はある程度横列並行のタスクで読取をもたらすように、最初に設定した最長集積期間と共に、実際の読取のための集積期間を順々に設定することが好ましい。上述のシーケンスに関しては、群内のピクセルの全ての集積期間が好ましくは適切な時間に終わるように適切な時間に集積期間を開始するピクセル選択リセットが必要である。このシーケンスにより、読取ノードへの電荷の選択的伝送は、読取ノードの選択的なリセットに取って代わることができる。
少なくとも1つの実施形態では、撮像装置は、単一の読取フレームの通常の画像取得期間中に、各々が識別インデックスを有する限定数の選択可能な期間を含む1組の選択可能な集積期間から自動的に選択される集積期間を各々の望ましいピクセルに対して個々に動的に選択し、選択した集積期間に特定のピクセルの集積期間を設定し、ピクセルに対して選択した集積期間の識別インデックスの表示を特定のピクセルに関連のメモリ内に記録し、集積を提供し、所定時間でピクセル読取値を読み取ってデジタル化し、及び選択した集積期間の表示と共に、デジタル化した読取値の表示を出力するように構成される。
少なくとも1つの実施形態では、撮像装置は、並行にアドレス指定されているピクセルの群内に配置したピクセルの撮像アレイを含み、かつその時点でアドレス済みの並行アドレス可能群内のピクセルに様々な並行タスクを行う回路を含む。条件付きリセットタスク、選択的なリセットタスクを行うものを含むピクセル読取、及びリセットタスクの全ては、アクセス中のピクセルの並行アドレス可能群の有効ピクセルの全部で作動することを意図している。これらのタスクの全てに対しては、タスクで作業を行うアドレス指定済みの並行アドレス可能群の有効ピクセルに対して、非並行又は少なくとも部分的に並行した以下のタスク、すなわち、ピクセル読取、ピクセルリセット、条件付き選択的ピクセルリセット、閾値に対して部分集積後のピクセル値の比較、ピクセルに関連のメモリへの読取及び書込、いつ選択的にピクセルをリセットすべきかを判断する論理、及び各ピクセルに関連の集積期間の読取の全て又は少なくとも実質的な部分を行うことが好ましい。本明細書で説明する少なくとも1つの実施形態では、並行にアドレス指定されているピクセルの群を横列内に配置し、ピクセル変換率を制御し、かつクロック機能及びシーケンス論理機能により細かいタイミング区分をもたらすように供給されたピクセルクロックで1回に1つの横列で読取を提供する。この議論においては、「横列」という用語は、「並行アドレス可能群」というより広義の用語で置換される。「横列時間」という用語は、並行アドレス可能群でピクセルの読取を予定かつ実行し、また、より広範なリセットタスク及び選択的リセットタスクを予定するのに使用する間隔を示すために使用する「タスク順序付け間隔」と入れ替える。「ピクセルクロック」という用語は、「順序付けクロック」というより機能的かつ説明的な用語と入れ替える。本発明の原理は、読取を1回に1つの横列で行う装置、又はクロッキングがピクセルレートと直接に結びつけられる装置に限定されるのではなく、「並行アドレス可能群」、「関連のタスク順序付け間隔」、及び「順序付けクロック」により意味されるより一般的なコンテクストに及ぶことを理解すべきである。ピクセルが露光される光に対するピクセルの応答に基づいて並行アドレス可能群の各ピクセルを集積期間に設定し、関連のタスク順序付け間隔中に、並行アドレス可能群の各ピクセルをある程度並行した読取タスク内に読み取る。アレイのピクセルは、各々の並行アドレス可能群のピクセルをピクセル単位でリセットに向けて選択することができる選択的リセット機能を含む。ピクセルには、部分集積の後、好ましくは、非破壊で集積電荷の好ましくはアナログの表示を読み取るようになっている点も含まれる。所定の画像の取得のために、撮像装置は、各有効ピクセルに対して、連続より短い集積期間が選択的リセット機能を用いて有効集積期間の好ましくは所定の組から選択することができるように構成されることが好ましい。1組の有効集積期間の各有効集積期間は、関連の集積期間識別インデックスにより特定することが好ましい。アレイの各有効ピクセルは、関連のピクセルに対して進行中である集積期間の集積期間識別インデックスの表示を格納するのに使用する関連の記憶装置を有することが好ましい。新しい読取を開始するために、最長有効集積期間を開始するように各ピクセルを無条件でリセットし、最長有効集積期間の集積期間識別インデックスを示すように関連の記憶装置を初期化する。特定のピクセルの最長有効集積期間中に、この期間中に1組の所定時間の各々で、ピクセルは、条件付きで有効集積期間のより短い1つを開始するために条件付き選択的なリセットタスクを受ける。全般的な意図は、各ピクセルに対して最大測定限界範囲の良好な利用を行うが集積期間をピクセルが飽和する各ピクセルが問題なく低い確率を維持するのに十分に短く保つ条件付きリセット基準を提供することである。本明細書の他の箇所でより詳細に説明するように、各ピクセルを選択的にリセットする判断の各々は、予め選択した閾値レベルと、部分集積後(すなわち、ピクセルに対して現在有効である集積期間の部分的な完了後)の読み取った集積電荷の表示との比較(好ましくは、アナログ形で)にある程度基づいている(予め選択した閾値レベルは定数とすることができ、又は予め選択した閾値レベルを適用する集積期間、及び恐らくアレイ又は何らかの他の変数内での位置に依存する可能性がある)。選択的なリセットタスクの各々は、1組の選択可能な集積期間の組から連続より短い集積期間を条件付きで開始するのに使用する。より短い集積期間を開始するようにピクセルをリセットした時は常に、開始中の集積期間の識別インデックスを示すように、関連のピクセルの現在有効な集積期間の識別インデックスのピクセルに関連するメモリ内での記録を更新する。ピクセルの最終リセットにより、ピクセルを読み取るために使用する集積期間が確立される。特定の読取期間にわたる特定のピクセルの連続的リセットタスクの好ましいシーケンスにおいては、比較タスクの結果にある程度基づく判断のためにピクセルの条件付きリセットが迂回され、ピクセルの読取前には、更に別のリセットは特定のピクセルに行われない。この基準を実行するためには、必要に応じてピクセルのメモリ表示を検査し、ピクセルの直前の条件付きリセットタスクでピクセルがリセットされなかった場合はピクセルの条件付きリセットを禁止する。条件付きリセットタスクに対しては、ピクセルの直前の集積期間においてピクセルがリセットされていた場合、ピクセルの比較タスクの結果が、ピクセル上の集積光誘導電荷のレベルは関連の選択可能な集積期間に関する条件付きリセットタスクの一部としてこのレベルと比較する閾値を超えることを示す時かつ示した時に限り、ピクセルをリセットすることが好ましい。特定のピクセルの集積期間終了時に、ピクセルに対して選択した集積期間の識別インデックスの表示をピクセルに関連のメモリから読み取り、選択した集積期間中にピクセル上に格納した光誘導集積電荷を読み込んで、好ましくは、デジタル化したピクセル電荷レベル読取値としてデジタル化する。好ましくは、デジタル化されたピクセル電荷レベルの読取値は、ピクセルに使用する集積期間のピクセルに関連のメモリからの表示と対化される。デジタル化したピクセル電荷レベル読取値とピクセルに対して選択した集積期間とで、ピクセルが露光された光レベルを示している。この情報は、通常、簡単な相関した形で組み立てられ、撮像装置から外部装置に、又は任意的に撮像装置自体内の別のメモリ又は画像操作機能部に通信される。
例示的な設計においては、各連続より短い集積期間が次のより延長化集積期間より所定の比率分短いように選択可能な集積期間を選択する。少なくとも1つの実施形態では、あらゆる2つの連続的選択可能な集積期間の間に公称4対1の比があるように、各々のその後の選択可能な集積期間は、次の延長化選択可能な集積期間より4倍短い。それによって8つの選択可能な集積期間のうち最も長い選択可能な集積期間と最も短い選択可能な集積期間には、公称16、384対1の比率が得られる。4以外の比率を選択することができ、全ての連続的選択可能な集積期間が、直前のもの又は直後のものと同じ比率分異なる必要があるというわけではなく、設ける選択可能な集積期間の数を加減することができる。少なくとも1つの実施形態では、最長から最短までの集積期間のほぼ16、384対1の範囲により、ピクセル上で光誘導集積電荷をデジタル化することによってもたらされる一般的に50dBを超えるダイナミックレンジに84dBが追加される。それによって取得した各画像の各ピクセルに対して、独立してほぼ線形出力で134dBを超えるダイナミックレンジが得られる。これらは控え目な推定値であるので、この設計の変形で140dBを十分に超えるダイナミックレンジが達成可能である。更に、本明細書の他の箇所で詳述するように、10ビットA/Dで、最小解像度は、1/100よりも良好、理想的には、全光レベル範囲の実質的な部分にわたって1/250ほども良好とすることができる。A/D高解像度化及び/又は選択可能な集積期間の集積時間の範囲拡大化で、ダイナミックレンジを拡張することができ、A/D高解像度化又は選択可能な集積期間の間隔短縮化で、250対1よりも多い最小解像度を光レベルの広い範囲にわたって維持することができる。
特定の他の高ダイナミックレンジ撮像装置とは対照的に、メモリブロック内に記録する必要があるのは、選択した集積期間のインデックスだけである。少なくとも1つの実施形態では、3ビットのメモリ項目を使用して、関連のピクセルに対して現在有効である集積期間の識別インデックスを格納する。3ビットの項目では、必要なメモリは、完全な又はほぼ完全な画像フレームの格納に必要である高ダイナミックレンジ設計と比較すると、3ビット値を格納するのに必要であるメモリの1/4未満であり、有意なメモリ空間が節約される。各ピクセルに対して集積期間を識別するのに使用するメモリブロックは、撮像アレイと同じシリコン基板上で製造することが好ましく、かつ任意的に動的メモリ要素で構成することができる。各ピクセルの値を格納する必要があるのは、完全集積の持続時間及び関連のピクセルのための読取期間を通してのみである。実際の露光シーケンス中に必要な制限した格納時間により、値を格納して保持する必要がある期間が制限され、条件付きリセットタスク中のメモリアクセス及び書込タスクの繰返しにより更に別の自然なリフレッシュタスクが行われ、動的メモリ要素を使用した時に必要であると考えられる付加的なリフレッシュタスクが制限又は排除さえもされる。例示的な設計においては、初期無条件リセットと初回条件付きリセット間の24msの期間は、メモリ内の特定の位置に対してリフレッシュを行う連続的メモリ読取書込タスク間の最長間隔であり、一部の動的メモリ設計に対しては、リフレッシュサイクルの頻繁化は、不要とすることができる。リフレッシュサイクルの間隔短縮化が必要である場合、休止期間中に、並行アドレス可能群読取タスク及び/又は各タスク順序付け間隔内の並行アドレス可能群リセットタスクの実行の間に追加メモリアクセスサイクルを挿入して、必要に応じて付加的なリフレッシュサイクルをもたらすことができる。これらのリフレッシュタスクは、条件付きリセットタスクの追加と非常に似ており、各タスク順序付け間隔中にリフレッシュタスクとして構築かつ予定することができ、タイミング要件に適切なタスク順序付け間隔期間の数を割り当てることによって、かつ順序付けにクロックカウント値(タスク順序付け間隔及び順序付けクロックカウントは、以下で定義)を割り当てて、メモリ位置にアクセスして書き換えるリフレッシュタスクを(必要に応じて)開始して追加したリフレッシュサイクルを実行することによって行うというものである。順序付けクロックカウント値の様々な選択により引き起こされるタイミングの変化は、リフレッシュ間隔に必要である複数のタスク順序付け間隔により達成される期間に対して非常に小さいものであるので、並行アドレス可能群読取と干渉しない順序付けクロックカウント時間の有効間隔、又はタスク順序付け間隔中に予定されているリセット間隔のうちの一方は、メモリリフレッシュサイクルの追加を行うように選択することができる。
1つの集積期間から次のより短い集積期間へのレシオメトリックに釣り合いのとれた集積期間の選択により、あらゆる2つの隣接した集積期間の間の比は、比較的小さくなり(少なくとも1つの実施形態では4)、かつ依然として適切に少数の選択可能な集積期間で非常に広範囲の集積時間に備えることができる(集積時間における範囲16、384対1は、先に参照した例示的な設計では8つの選択可能な集積期間で提供される)。8つの有効集積期間及び最長集積期間の公称32msを見て、かつその32ms/8つまり4msは、各集積範囲を処理するのに名目上有効であると結論付ける傾向がある。この視点では、選択可能な集積期間(少なくとも1つの実施形態では6μs)の最も短いものから2番目と最短との開始の間の非常に短い時間間隔により示される有効処理時間における追加したタイミング制限事項、及び撮像装置が短い時間間隔内で複数のピクセルに必要な機能を実行することを可能にするためにそれによって作り出されるスケジューリング、及びハードウエア性能の要件を調べるのが容易である。本発明の少なくとも1つの実施形態では、巻き上げシャッター設計を出発点として使用すると共に、様々な特徴の新規な組合せを追加して、例外的に広いピクセル単位のダイナミックレンジを取得するために、非常に短いものを含む様々な有効期間中に必要なタスクを行う必要な装置機能を提供する。読取及びリセットタスクに向けてピクセルを並行アドレス可能群に分割し、好ましくは、タスク順序付け間隔に関連の並行アドレス可能群単位で、画像フレームのピクセルの並行アドレス可能群の全てを読み取るために達成する期間内でタスク順序付け間隔により達成される均一な時間区分でピクセルの並行アドレス可能群の読取を振り分ける。各ピクセルに対して適切な集積期間を選択及び確立するタスクもタスク順序付け間隔内で予定してまとめる。並行アドレス可能群のピクセルの読取は、連続的タスク順序付け間隔中に一度に1つの並行アドレス可能群で選択した並行アドレス可能群のピクセル値をサンプリング回路の群に伝送することによって少なくとも部分的に並行に行うことが好ましい。次に、サンプリング回路の群内に保持したピクセル関係の値を任意的に順次に、好ましくは、条件付けかつデジタル化し、サンプリングした並行アドレス可能群の各ピクセルに対して光誘導集積電荷を示すデジタル式読取を提供する。各ピクセルに対して、次に、ピクセルに関連のメモリ項目から読み取ったピクセルに使用する集積期間の表示と光誘導集積電荷を示すデジタル式読取値とを対化する。ピクセル読取値と読取値に使用した集積期間は、一緒にピクセルにより感知される光レベルを示し、ピクセルにより読み取られた光レベルのこの表示は、撮像装置から出力される。
8つの選択可能な集積期間を有する例示的な設計の画像取得シーケンスにおいては、9つのタスクを各アドレス可能な群のピクセルに対して予定して集積を完了し、アドレス可能な群のピクセルを読み取る。タスクには、無条件リセット及び複数の条件付きリセット、すなわち、タスク順序付け間隔内での中で、シーケンスカウントに基づいて、適切な時間に適切なタスク順序付け間隔内で所要のタスクの各々を予定かつ実行することによって適切な時間で選択可能な集積期間を条件付きで開始する第1の集積期間後の各選択可能な集積期間に関する1つの条件付きリセットがある。最後に、特定の並行アドレス可能群のピクセルの集積期間の終了時に、アドレス可能な群内のピクセルの読取を予定する。参照した例示的な設計においては、ピクセルの各並行したアドレス可能な組を8つの別々のタスクに対して予定し(各選択可能な集積期間に対して1つのタスク)、並行アドレス可能群の各有効ピクセルに対して選択可能な集積期間の各々を開始するか又は条件付きで開始する必要がある。選択されている特定の集積期間に関係なく同時に終わるように、特定の選択可能な群のピクセルに関する全ての選択可能な集積期間を開始する好ましい方式においては、特定の並行アドレス可能群内のピクセルに関する様々な選択可能な集積期間の開始は、同じタスク順序付け間隔内では一般的に行われない。特定の並行アドレス可能群に関する3つの最短集積期間は、異なる順序付けクロックカウントで同じタスク順序付け間隔内で開始し、特定の並行アドレス可能群内のピクセルに関する残りの5つの選択可能な集積期間の読取開始又は条件付き開始は、全て、参照した例示的な設計に対しては、特定の並行アドレス可能群の様々なタスクが合計7つの異なるタスク順序付け間隔から順序付けられるように異なるタスク順序付け間隔で開始する。フレーム読取シーケンスにあるタスク順序付け間隔と同数のピクセルの有効並行アドレス可能群がある可能性があり、従って、一般的に、読取タスク及び選択可能な集積期間の各々を開始する別々のタスクを各タスク順序付け間隔中にピクセルの一部のアドレス可能な群に対して(ピクセルの各有効なアドレス指定されたアドレス可能に対して)行う。先に参照した例示的な設計に対しては、読取タスク及び8つのリセット又は条件付きリセットタスクを各タスク順序付け間隔中に予定し、7つの異なるアドレス可能な群は、通常、所定のタスク順序付け間隔内で行う9つのタスクにより選択される。7つの異なる並行アドレス可能群には、関連のタスク順序付け間隔中に3つの最短集積期間の各々の条件付き開始に向けて予定する1つの並行アドレス可能群が含まれる。装備していない又は有効でない並行アドレス可能群をアドレス指定する場合、タスクが無害であるように又はタスクが禁止されるようにハードウエアを構成する。上記においては、所定のタスク順序付け期間に予定されるタスクは、異なる並行アドレス可能群に対して各々作動するタスクを含む。
タスク順序付け時間間隔は、順序付けクロック周期というタスク順序付け時間間隔副区分に分け、順序付けクロック周期のカウントを通常は各タスク順序付け間隔の開始時に初期化し、漸進的に進んでタスク順序付け時間間隔内で時間基準をもたらす。ピクセルのシリアル化したデジタル化及び/又は出力を利用する設計に対しては、順序付けクロック周期は、ピクセル処理速度と相関するように都合よく選択される。従来の用語法においては、ピクセルの横列は、並行アドレス可能群に対応し、横列処理時間間隔は、タスク順序付け時間間隔に対応し、縦列又はピクセルクロックカウント時間間隔は、順序付けクロックカウント時間間隔に対応する。各々のための期間がタスク順序付け間隔中に無条件のリセット又は条件付きリセットタスクに対して予定されたアドレス可能な群の各ピクセルに対して選択可能な集積の正しい1つを選択及び確立するように、読取のために及びタスクの計画及び性能のために関連のタスクに順序付け間隔を割り当てて、少なくとも部分的に並行して並行アドレス可能群のピクセルの読取を行うことが好ましい。タスク順序付け間隔内かつタスク順序付け間隔内の順序付けクロックカウント範囲にわたって、ピクセルの特定のアドレス可能な群のピクセルに対して選択可能な集積期間の特定の1つを開始する無条件及び条件付きのリセットタスクの各々を予定及び実行し、それによって特定の選択可能な集積期間の正しい持続時間をもたらすために適切な数の中間のタスク順序付け間隔、及び部分タスク順序付け間隔、順序付けクロックオフセットカウントが得られる。特定の集積期間の整数タスク順序付け間隔の数をコースのタイミング区分として使用し、更に別の順序付けクロックカウントオフセット値を使用して、特定の選択可能な集積期間の持続時間を判断するのに使用するより細かいタイミング区分をもたらす。タスク順序付け間隔中に、ピクセルのアドレス可能な群の読取及び関連のデジタル化及び出力がもたらされる。全体的な総横列読取タスクの好ましくは並行した部分は、全体的タスク順序付け間隔時間の比較的小さい部分を利用する。タスク順序付け間隔の残りの間に、特定の時間で、好ましくは、シーケンスクロックカウントに基づいて、ピクセルのアドレス可能な群の様々な群に関する選択可能な集積期間の様々な集積期間は、タスクを受けると共にその後のタスク順序付けタスク中に読み取られる並行アドレス可能群のピクセルに対して集積時間を適切に確立するように予定した時間に選択可能な集積期間を開始するか又は条件付きで開始する予定したリセット又は条件付きリセットタスクを受ける。タスク順序付け間隔に割り当てた割当て数の順序付けクロックカウントの終了時に、順序付けクロックカウントを使用して、次のタスク順序付け間隔及び関連の並行アドレス可能群を参照するためのタスク順序付け間隔識別インデックスを順序付けて、新しいタスク順序付け時間間隔を開始する。
関連の並行アドレス可能群と、順序付けクロック時間単位とを備えたタスク順序付け間隔を有する画像フレームは、通常、反復的にフレーム単位、タスク順序付け間隔に関連の並行アドレス可能群単位、及び順序付けクロックカウント単位で順番に配列される。各タスク順序付け間隔には、画像フレーム捕捉シーケンス内での位置を特定する識別インデックスを割り当てる。タスク順序付け間隔内の順序付けクロックカウント値(又は対応するピクセル位置)には、そのフレームの画像捕捉シーケンス内の座標をタスク順序付け間隔識別インデックスと順序付けクロックカウント値又は数とで構成される座標値対に関して表すことができるように数値インデックス値を割り当てる。これらのタスク順序付け間隔識別インデックス及び順序付けクロックカウントを撮像装置内の回路内で何らかの形態でハードウエアレジスタ内に格納し、集積期間時間間隔制御、並行アドレス可能群の選択、群内のピクセルの選択、ハードウエア構成要素の選択、及び画像取得シーケンスでのイベントの開始を含む画像取得シーケンスでイベントを順番に配列する時間基準をもたらす。
撮像フレーム、フレームの連続的タスク順序付け間隔、及びタスク順序付け間隔の順序付けクロックカウント範囲を通じた規則正しい進行は、クロックに多少類似しており、時間を60分を有する画像フレーム走査時間と比較することができ、各分をタスク順序付け間隔及び60秒と比較することができ、各秒は、順序付けクロックカウント時間と比較することができる。これは、緩い比較であり、その理由は、例示的な設計においては、画像フレーム取得時間は、ほぼ32ミリ秒であり、画像フレーム取得時間は、419個のタスク順序付け間隔に関連の並行アドレス可能群に分かれ、関連の並行アドレス可能群の各々は、626個の順序付けクロック周期又はピクセル時間に分かれ、各ピクセル時間は、持続時間が0.125マイクロ秒であるからである(先に参照した例示的な設計においては、横列走査時間をタスク順序付け間隔として使用し、ピクセルクロックを順序付けクロックとして使用する)。
集積時間のような時間間隔は、粗いタイミング区分のためのタスク順序付け間隔と、より細かいタイミング区分が得られるようにタスク順序付けリズムで起点と終点の間で順番に配列されるように発生する更に別のシーケンスクロックカウントとを計数することによって都合良く確立される。タスクは、開始タスク順序付け間隔内の開始順序付けクロックカウントと組み合わせて走査シーケンスの範囲で識別インデックスを有する順序付け間隔で開始され、終了タスク順序付け間隔内の終了順序付けクロックカウントと組み合わせて走査シーケンスの範囲で識別インデックスを有する順序付け間隔で終了することができる。時間基準としてタスク順序付け間隔及び順序付けクロックカウントを使用して、タスク順序付け間隔の数を用いてタイミング区分の粗雑な部分を表し、順序付けクロックカウントオフセットを使用してタイミング区分の細かい部分を表して時間間隔を表すことができる。タイミング区分の細かい部分は、間隔が終了タスク順序付け間隔で終了する順序付けクロックカウントから、間隔が開始タスク順序付け間隔で開始する順序付けクロックカウントを差し引いた符号付きの差として表すことが好ましい。集積期間のために時間間隔を表すために、モジュロ演算で読取が行われる終了タスク順序付け間隔の識別インデックスから、集積期間を開始するためにリセットが行われる開始タスク順序付け間隔の識別インデックスを差し引いた差を利用することが好ましい。読取が、一般的に、タスク順序付け間隔期間の最初に低い順序付けクロックカウントで行われると(終了集積)、集積期間が、一般的に、それぞれのタスク順序付け間隔後半により高い順序付けクロックカウントで開始され、集積期間の順序付けクロックカウントオフセットは、集積期間が終了する順序付けクロックカウント(タスク順序付け間隔内で)から、集積期間が開始する順序付けクロックカウント(タスク順序付け間隔内で)を差し引いたものとして計算される。この結果は、符号付きであり、負である場合がある。少なくとも1つの実施形態では、有効集積が読取前に終了するこの範囲の順序付けクロックカウントは、各タスク順序付け間隔に対して同じであり、かつ集積期間が終了する既知の順序付けクロックカウント値として参照することができるようにタスク順序付け間隔内のピクセルの読取に関する順序付けクロックカウント時間の範囲を選択することが好ましい。以下の説明においては、所定のタスク順序付け間隔中に読み出される並行アドレス可能群のアドレスに等しいように所定のタスク順序付け間隔の識別インデックスを割り当てる。更に別のオプションとして、読取フレームを原点に戻すオフセットを追加して物理ピクセル位置を計算することができる。フレーム走査シーケンスの開始に対応する値から範囲が始まり、フレーム走査シーケンスの終了に対応する値に対応する値まで漸進的に増加する連続的な整数として更に連続的順序付けタスク期間識別インデックス値を割り当てる。これは、ハードウエア実施に有利であり、その理由は、タスク順序付け間隔識別インデックスを使用して、読取に向けて並行アドレス可能群を直接選択することができるからであり、並行アドレス可能群内のピクセルをリセットするか又は選択的にリセットして集積期間を開始するように並行アドレス可能群を選択する「先読み」機能を実行するが、その方法として、適切なモジュロ演算を用いて、読み取るべき並行アドレス可能群を選択するのに使用する並行アドレス可能群アドレスに集積期間のタスク順序付け間隔の数を追加する。次に、リセット又は条件付きリセットタスク後、走査段階が続行する時に、追加したタスク順序付け間隔の数に関して集積期間を表す値により判断したタスク順序付け間隔を通じた処理後にリセットタスクを適用した並行アドレス可能群を読み取る。更に、集積期間が終了する順序付けクロックカウントに対する所定の符号付き順序付けクロックカウントオフセットでリセットが行われるように並行アドレス可能群をリセット又は選択的にリセット順序付けクロックカウント範囲を選択した場合、正しい数のタスク順序付け間隔と、即座に集積期間を開始する正しい順序付けクロックカウントオフセット間隔でリセットを行い、それによって望ましい集積期間が得られる。従って、モジュロ演算を用いてタスク順序付け間隔識別インデックスに集積期間内のタスク順序付け間隔の数と、集積期間の終了に向けて選択した順序付けクロックカウント時間に対する望ましい符号付き順序付けクロックカウント時間オフセットをもたらすリセットを開始するように予め選択する順序付けクロックカウント時間でのリセット又は条件付きリセットタスクの開始とを追加することを用いて、望ましい集積時間を選択する望ましい符号付きクロックカウントオフセットと組み合わせて望ましい数のタスク順序付け間隔にわたって集積を提供する。
並行して読み取るピクセルの群の集積間隔は、これらのタスクに対しては読取と同じ群を使用して並行してリセット又は条件付きでリセットすることが好ましい。少なくとも1つの実施形態では、適切な並行した比較、論理、及びアクセスの機能を設けて並行した条件付きピクセル選択的リセットタスクを実行する。並行アドレス可能群選択、タスク順序付け間隔オフセット加算器、縦列読取線、ピクセル関連のメモリアクセス、及び並行した組の条件付きリセット比較回路及び論理回路を含むいくつかの構成要素は、様々な集積期間専用の無条件又は選択的なリセットタスク及び並行アドレス可能群読取機能により、恐らく追加したメモリリフレッシュ機能により共有される。ハードウエアリソースの使用における対立を回避するために、並行アドレス可能群読取、特定の選択可能な集積期間を開始するリセット機能の各々、及び追加したメモリリフレッシュ機能は、各タスク順序付け間隔中に共有リソースに関する競合を防止することを特徴とする予め割り当てた略重複なしの時間間隔内に(又は共有リソースが望ましい場合は利用可能であるように割り当てる時間間隔中に)行われる。好ましい実施例では、タスク順序付け間隔中に順序付けクロックカウントの略重複なしの範囲中に行うように条件付きで選択可能な集積期間の各々に対して1つで並行アドレス可能群読取タスク、無条件リセットタスク、及び条件付きリセットタスクの各々を順番に配列するハードウエアベースのタスクスケジューリング機能を設けることによってこの目的を満足する。更に、所望する場合には、メモリリフレッシュタスクも順序付けクロックカウントの略重複なしの範囲にわたって行うタスクのリストに追加する。リソースの対立する使用を回避するようにこのスケジューリングを提供するために、各特定のタスクは、各タスク順序付け間隔中に所定の順序付けクロックカウントに到達することに応答して開始することが好ましく、対立する重なり合うタスクがないように所定の順序付けクロックカウントを選択する。連続的フレームを通した並行アドレス可能群アドレスの進行における各タスク順序付け間隔に対して上述のシーケンスを実行することが好ましい。適切なオフセットの適用後、ピクセルが有効区域内にある並行アドレス可能群を選択した時は常に、順序付けたタスクを実行するが、アドレス指定した並行アドレス可能群が有効撮像区域内にない時、順序付けたタスクを抑制するか又は悪影響がないように行うことが好ましい。ピクセルが有効画像域内にある並行アドレス可能群をアドレス指定した時は常に、並行アドレス可能群読取及びリセット及び条件付きリセットタスクの各々を行うことによって、有効ピクセルを有する全ての並行アドレス可能群に対してタスクの全てを提供する。
様々な集積期間を開始するための並行アドレス可能群読取及びリセットタスクに関する順序付けクロックカウント範囲の選択に対して2組の恐らく対立する基準がある。第1の基準は、共有リソースが望ましい場合は有効であるように重複なしの又は少なくとも部分的に重複なしの並行アドレス可能群読取及びリセットタスクの実行に向けてタスク順序付け間隔内でのタスク割当てに関する順序付けクロックカウント範囲を設けるというものである。潜在的に対立する第2の基準は、選択可能な集積期間の各々に対して集積期間を確立するためにそれぞれのクロックカウントオフセットを設ける並行アドレス可能群読取及びリセットタスクの実行に向けてタスク順序付け間隔内でのタスク割当てに関する順序付けクロックカウント範囲を設けるというものである。例示的な設計においては、これらの基準を満足する組合せを示している。タスク順序付け間隔内の条件付きクロックカウント範囲を選んで集積期間を適切に設定すると共に、重なり合う条件付きクロックカウント範囲及び/又はリソースの使用における対立点がないか検査することによって対立点を見つけることができる。より短い集積期間について発生する対立点は、タスク条件付き期間当たりの順序付けクロック周期数における小さい係数又は小さな変化により全ての集積期間をスケーリングすることなどの設計の小さい調節により解決することが多い。延長化集積期間に対しては、順序付けクロックオフセットの変化は、これらの集積期間内でのタスク順序付け間隔の多数化における時間に対する集積期間に及ぼす影響が非常に小さいと考えられ、従って、タスクの順序付けクロック範囲は、得られる集積期間に対しては最小の影響で、リソースの使用における競合を回避するように調節することができることが多い。
集積期間は、連続より短い集積期間が、各集積期間に関するピクセルの実効感度と次の連続より短い集積期間に関するピクセルの実効感度との、読取値を表すために使用する記数法の指数基底に等しい比をもたらすように選択することができる(例示的な設計におけるように)。例えば、例示的な設計においては、間近のより長い集積期間よりも4倍短いように各連続より短い集積期間を選択すると、各連続より短い集積期間に対して名目上4対1である感度の対応する減少が得られる。更に、例示的な設計においては、0を最も長い集積期間に割り当てるように、かつ割り当てたインデックスが7つの連続より短い集積期間に対して漸進的に7まで増大するように集積期間に割り当てる識別インデックス(それらをiと呼ぶ)を選択する。aが、ピクセル上の光誘導集積電荷のA/D読取値を表すとする。bは、好ましくは、ほぼ線形の形で光レベルを表す読取値の数値表現の指数基底を表すとする。こうして、光レベルvは、以下のように表すことができる。
v=a・bi、又は
v=a・4i
A/Dが、ピクセルの読取値である場合、iは、読取値を取得するのに使用する集積期間のインデックスであり、4は、基底bであり、これは、感度を対応する係数4だけ低減するように各々が次のより長い集積期間よりも名目上4倍短い連続的集積期間を選択することによって確立される。これも、以下のように表すことができる。
v=a・22・i
バイナリフォーマットでは、0から7の範囲のiの値に対して、二進数のビット0に0を割り当てると共に、それぞれ、ビット0〜2を二進数のiのビット1〜3に割り当てることによって2・iを得ることができる。数字vは、概説したばかりの例示的な手順を含む様々な手順を用いて浮動小数点形式に容易にマップすることができる。指数記数法で示す読取値においては、上述のaは、直接、仮数にマップするか又は任意的にスケーリングして仮数にマップし、基底によるがi又は2・iは、必要に応じて任意的なオフセット及び/又はスケール係数を用いて指数部にマップすることが好ましい。
オプションとして、上述のピクセル値の指数関数的表現を利用して対数形式への変換を容易にすることができる。ピクセル値を対数形式に変換するために、値をまず好ましい位置に二進数又は小数点を置くように正規化することが好ましい(指数部付き表記に即するようにゼロ以外の値に対して1つ又はそれよりも多くかつ10未満の値を仮数に付すように指数部及び仮数を調節することと類似のもの)。次に、ハードウエア及び/又はソフトウエアベースの回路を使用して仮数を対数的均等物に変換することが好ましい。適切なスケーリングの後、指数部を仮数の対数部に追加してピクセルの対数値が得られるようにすることができる。選択可能な集積期間の放射分析間隔の適切な選択で、スケール係数を2の整数累乗とすることができ、仮数の対数部への指数部の直接的な挿入によりピクセル読取値の対数値を得ることができる。
16ビット浮動小数点形式は特に適切であり、それは、所要ビット数が例示的な設計で取得する13ピクセル読取値より3ビットだけ多くて済むからである。オープングラフィック形式OpenGLのバージョンにおいて使用され、かつ半−フロート又は半フロートとして公知の16ビットの浮動小数点形式は、ある一定のグラフィック処理機能に対して受け入れられている16ビット浮動小数点形式の例である。半−フロート形式では、符号に1ビット、指数部に5ビット、仮数に10ビットを使用する。一例として、上述の光読取値vを半フロートにマップすることができ、その方法は、指数部の最上位及び最下位有効ビットを0に設定して3ビット指数部i(上述のように割り当てる集積期間識別インデックス)を指数部の3中央ビットにマップし、ピクセルの光誘導集積電荷読取値を示す10ビットA/D値aを仮数の10のビットに直接マップすることである。この値は、任意的に正規化及び/又はスケーリングすることができる。これらのオプションは、必要であれば、画像データの伝送先とすることができる処理ブロックのために残すことができる。従って、本発明の例示的な装置のピクセルレベルの読取構造の一部である新規な超高ダイナミックレンジ指数フォーマットは、標準化した浮動小数点形式、又は任意的な図示の標準的な浮動小数点形式に簡単にマップすることができる形式で出力することができる。多くの用途に対しては、指数及ぶ仮数ベースのピクセル値出力形式の使用は、例示的な撮像装置の使用に対しては非常に広い又は更に十分なダイナミックレンジにわたって画像ピクセル値の処理を自動化及び簡素化する役目をし、実際的には、全ての従来技術の撮像システムに固有の特定の整数範囲に画像を整列させる別々の露光レベルの追跡及び調節の多く又は全てが排除される。
ここで、タスク、リソース、及びスケジューリングの観点から撮像アレイを見てみる。撮像アレイは、ピクセルの複数の並行アドレス可能群(例示的な設計においてはピクセルの横列)内にまとめたピクセルを有する。各並行アドレス可能群のピクセルは、好ましくは、少なくとも部分的に並行して、画像取得シーケンスの一部としてピクセルにハードウエアベースのタスクを行う群としてピクセルを選択するようにアドレス可能である。取得する各画像フレームに対して撮像アレイの各ピクセルに対して行うべき個々の別々に予定するタスクには、読取及びデジタル化して出力するか、又は任意的に付加的なタスクをピクセルに行い、また、ピクセルに対して選択可能な集積期間の各々を開始する時に集積を開始するか、又は新しい集積期間条件付きで開始するタスクを行うタスクが含まれる。例示的な設計においては、8つの選択可能な集積期間を含む。従って、例示的な設計に対しては、ピクセルに対して読取値を取得するために各ピクセルに対して予定して行うべき9つのタスクがある。オプションとして(好適でないが)、所定のピクセルの直前の読取タスクの一部であるリセットを用いて、ピクセルに対して選択可能な集積期間のうちの最も長いものを開始することができ、第2のオプションとして、集積期間のうちの最も短いものをピクセルの延長化した読取タスクの一部として結合することができる。いずれかのオプションは、本発明の一部と考えられるが、各々により柔軟性を制限されるので好ましいものではない。いずれにしても、例示的な設計に対しては、各ピクセルに対して、読取に対して7〜9つのタスク、更に、適切な選択可能な集積期間を確立してピクセルを読み取るために別々に予定して行うメモリリフレッシュのような項目に対して可能な付加的なタスクがある。この例は、選択可能な集積期間の他の数に向けて容易に拡張することができるので、このような拡張も、本発明の一部であると考えられる。取得する各画像フレームの各有効ピクセルに対して別に予定したタスクが提供される。更に、連続より短い集積期間のレシオメトリックに又は幾何学的に減少する集積時間で、より短い期間は、他の箇所で説明するように、共に非常に密接している。所要の時間で必要なタスクの完了に備える好ましい撮像装置においては、並行したハードウエアベースの条件付きリセットタスクを提供し、取得する各画像の各ピクセルに対して、好ましくは、個別に集積期間を確立し、各ピクセルに関するより短い選択可能な集積期間の選択は、部分集積後の閾値に対して表示ピクセル値(好ましくは、アナログの形態で)の比較にある程度基づいて、本来の所定のスケジュールで集積を完了する正しい時点でピクセルに選択的なリセットを行うことによって新しいより短い集積期間を開始し、画像取得期間中にピクセルの最も長い選択可能な集積期間に割り当てた時間中に、かつ集積期間及びピクセル値の最終読取及びデジタル化の完了前に各々のピクセルを読み取るために使用すべき選択可能な集積期間を確立し、ピクセル値は、得られる各画像に対して一度だけデジタル化され、各ピクセルに対して現在進行中である集積期間の表示をピクセルに対して開始する各新しい条件付き選択可能な集積期間の開始と共に記録する。
先に簡単に説明したタスク及びリソースに対しては、ここでの主な焦点は、所定の画像取得シーケンスに関するまとめ及びスケジューリングである。撮像装置は、選択的なリセットタスクに関する「比較閾値」、フレーム内のタスク順序付け間隔の数を含む有効「画像フレームサイズ」、タスク順序付け間隔内での順序付けロック周期の数、及び順序付けクロック周期の数字持続時間のような多くのパラメータを調節する柔軟性を有することが好ましい。選択可能な集積期間の使用及び数も、プログラマブルであることが好ましい。ピクセルは、並行アドレス可能群内にまとめ、群内のピクセルは、並行アドレス可能群のアドレスを出すことによって、タスクの性能が得られるように少なくとも部分的に並行してアクセス可能である。有効ピクセルを有する並行アドレス可能群は、各並行アドレス可能群内に等しい数の有効ピクセルを含むことが好ましい。画像取得間隔は、連続捕捉モードで作動する時、1つの画像の捕捉とその後の画像の捕捉との間の間隔であると見なされることになる。画像取得間隔は、好ましくは、等しい持続時間であり、かつ好ましくは画像捕捉間隔を満たすタスク順序付け間隔に分割される。有効ピクセルを有する並行アドレス可能群と少なくとも同数の順序付け間隔が存在することが好ましい。タスク順序付け間隔は、一定の数の番号付き順序付けクロック周期に分割される。タスク順序付け間隔内には、アドレス可能な群内に有効ピクセルがあるのと少なくとも同じくらい多くの順序付けクロック周期があることが好ましい。並行アドレス可能群を選択するアドレスとして使用するために、かつ所定のタスク順序付け間隔を特定するインデックスとして使用するために同じ数値を割り当てることが好ましく、同様に付番されたタスク順序付け間隔が有効である時に並行アドレス可能群のピクセルの読取を予定することが更に好ましい。タスク順序付け間隔が有効になる同じ順序で整数としてアドレスを割り当てることも好ましい。このようにすると、ハードウエアにおいてアドレスオフセットを処理するために加算及び減算と共に、タイミング制御が好ましくはタスク順序付け間隔の数に基づくと共に、タスク順序付け間隔の小数部が好ましくは順序付けクロック周期に基づく場合に集積期間の計算においてモジュロ演算を使用することができる。
先の割当て及び用語を用いて、各アドレス可能な群のピクセルの読取を対応するタスク順序付け間隔中に予定する。読取タスクは、並行アドレス可能群の有効ピクセルに対してほぼ並行して行う部分を含むことが好ましい。読取のこのほぼ並行した部分の間に、集積期間は、所定の順序付けクロックカウントで終了し、各々からのアナログ情報が、関連のサンプル化回路に伝送される。読取タスクのほぼ並行した部分は、順序付けクロック周期の所定の範囲にわたって順番に配列することが好ましい。読取の並行した部分は、タスク順序付け間隔の相対的な小さい部分を利用し、間隔の残りは、リセット及び選択的なリセットタスクを含む他のタスクに利用可能である。リセットタスクを予定するために、スケジューリング構成を表示するいくつかの可能性ある長所がある。例示的な設計に関する図1及び図2では、これらの図及び関連する説明における横列及び縦列又はピクセル値、すなわち、横列時間及び関連する横列は、関連する並行アドレス可能群を有するより一般化したタスク順序付け間隔と、ピクセルクロック又は数をより一般化した順序付けクロックカウントとに比較することができる。図1及び図2の各々は、アレイの1つの横列だけに関する横列読取タスクを示すと共に、横列の各ピクセルの適切な選択可能な集積期間を判断及び選択して読取のための横列を準備するために読取に向けて示す横列内のピクセルに行う無条件横列リセット及び7つの条件付きリセット各々の横列及び縦列オフセットを示している。この見地から、読み取った横列から始めて、読取のための横列を準備するために行ったリセット及び条件付きリセットタスクに振り返る。各並行アドレス可能群の有効ピクセルは、1つよりも多いタスク順序付け間隔中に条件付きリセットタスクを受ける。
ここで、所定のタスク順序付け間隔中での実行に向けて予定するタスクのリストを見るという観点からタスクスケジューリングを見てみる。所定のタスク順序付け間隔内では、関連の並行アドレス可能群の有効ピクセルを読み取るタスクを予定し、リセットタスク、すなわち、選択可能な集積期間の各々に関連のリセットタスクを予定する。最も長い集積期間を開始する並行アドレス可能群のピクセルを無条件でリセットする無条件リセットタスクを予定する。残りのリセットタスクの各々は、より短い選択可能な集積期間の特定の1つに関連するものであり、ピクセル単位でピクセルを選択的にリセットして選択的にリセットするピクセルに対して関連のより短い集積期間を選択的に開始するように構成する。タスク条件付け間隔中、選択可能な集積期間の各々に関連のリセットタスクを設ける。並行アドレス可能群の有効ピクセルの読取に関連の並行したタスクをタスク順序付け間隔内の順序付けクロック時間の範囲にわたって予定し、横列読取タスクの並行した部分においてサンプリングするデジタル化のためのピクセル値のようなリセットタスクと共有するリソースの使用を必要としない横列読取の部分をタスク順序付け間隔の残りを通じて予定する。リセットタスク、すなわち、各選択可能な集積期間のためのリセットタスクを、好ましくは、タスク順序付け間隔の残りの部分を通して読取タスクに関する並行したタスク後に予定し、スケジューリングは、共有リソースに対して競合を防止するように、かつタスク順序付け間隔内で順序付けクロックカウントを用いて個々のピクセルに対して必要に応じて無条件に又は選択的に集積期間を開始するように構成して、望ましい持続時間の選択可能な集積期間の開始が得られる。予定したリセットタスクの各々に対しては、タスクを行うピクセルの並行アドレス可能群を選択するのに使用する基準アドレスをリセットに関連の選択可能な集積期間内のタスク順序付け間隔の数に基づいて修正し、この数のタスク順序付け間隔の後に読み取る並行アドレス可能群(例示的な設計においては「横列」)を選択すると、望ましい集積期間が得られる。タスク順序付け間隔の各々において選択したアドレス可能な群内の有効ピクセルに対して同じタスクリスト及び同じ順序付けクロック間隔に関するこの組のタスクを繰返して行うことによって、ピクセル読取タスクの全てを所定のスケジュールで所定の順序で行い、各ピクセルに対して無条件で条件付きリセットの全てを行ってピクセルに対して選択可能な集積期間の適切なものを選択する。
各並行アドレス可能群に対しては、ピクセルを読み取って1つの画像を完成させると直ちに、次の画像の捕捉のための集積を始めることができる。漸進的なタスク順序付け間隔に関連の並行アドレス可能群単位のピクセル読取に関しては、上記は、連続的画像を連続して捕捉する運転モードに対しては、その後の画像フレームに対して画像を捕捉する集積期間は、先行するフレームの全てのピクセルの集積及び読取が完了する前に始めることができることを意味する。更に、規則正しいタスク順序付け間隔に関連の並行アドレス可能群単位での読取処理に対しては、ピクセル値を読取に向けて規則正しい所定のシーケンスで示し、取得する各画像に向けて正確に1つのピクセル値を呈示する。選択可能な集積期間のスケジュール及び構成は、読取が、様々なピクセルに対して選択する個々の集積期間に依存しない所定のスケジュールで行われるというようなものである。このようにすると、デジタル化したピクセル値を画像当たりかつ有効ピクセル当たり正確に1回取得して、直接に出力するか又は更に処理に向けて既知の所定の順番で呈示し、画像取得処理において複数の読取値をピクセルに対して取得する時に又はデジタル化したピクセル値の取得を段階に分けてピクセルに対してアレイの実質的な部分にわたって有効に散在させる時に、画像の主要部をバッファに入れてピクセルを順序付けし直すか又は値を選択することが不要である。アレイの各ピクセルに対しては、ピクセルの集積期間の選択は、限定された1組の選択可能な集積期間から行い、選択した集積期間の表示を記録し、スケジューリングは、選択した集積期間が終了すると、ピクセル値の読取及びデジタル化が、画像捕捉シーケンスで所定時間に行われるというようなものである。
最初に図6を参照すると、例示上、自動車機器制御システム606は、制御車両605内に設けられているように示されている。制御システム606は、内部バックミラーアセンブリと一体であるように示されているが、制御システム又は個々の構成要素のいずれかは、制御車両605の内部又は外部のあらゆる適切な位置に取り付けることができることを理解すべきである。「制御車両」という用語は、自動車外部灯制御システムを含む車両に言及して本明細書で使用する。関連の画像センサを取り付ける適切な位置は、一般的に制御車両605の前方の光景の妨害されない視界をもたらすと共に、制御車両に関連のグレアゾーン608内で対向車両615の前照灯616及び先行車両610の尾灯611の検出を可能にする位置である。
図7は、自動車外部灯制御システムを組み込む内部バックミラーアセンブリ706を含む制御車両705を示している。処理及び制御システムは、撮像装置に構成データを送り、撮像装置から画像データを受信し、画像を処理して外部灯制御信号を生成するように機能する。このような自動車外部灯制御システムの詳細説明は、本出願人に譲渡された米国特許第5、837、994号、第5、990、469号、第6、008、486号、第6、130、448号、第6、130、421号、第6、049、171号、第6、465、963号、第6、403、942号、第6、587、573号、第6、611、610号、第6、621、616号、第6、631、316号、及び米国特許出願出願番号第10/208、142号、第09/799、310号、第60/404、879号、第60/394、583号、第10/235、476号、第10/783、431号、第10/777、468号、及び第09/800460号に含まれており、これらの特許の開示内容は、その全体が本明細書において引用により組み込まれている。制御車両は、運転者側外側ミラーアセンブリ710a、同乗者側外側ミラーアセンブリ710b、センターハイマウントストップランプ(CHMSL)745、Aピラー750a、750b、Bピラー755a、755b、及びCピラー760a、760bを含むように示されている。これらの位置のいずれも、1つ又は複数の画像センサ、又は関連する処理又は制御構成要素に対して代替位置を提供することができることを理解すべきである。バックミラーのいずれか又は全ては、自動減光電気光学ミラーとすることができることを理解すべきである。制御車両は、前照灯720a、720b、銀膜天候灯730a、730b、正面方向指示器/故障警告灯735a、735b、尾灯725a、725b、後部方向指示灯726a、726b、後部故障警告灯727a、727b、及び後退灯740a、740bを含む多くの外部灯を含むように示されている。別々のロービーム及びハイビーム前照灯、多目的照明を含む一体式灯のような付加的な外部灯などを設置することができることを理解すべきである。外部照明部のいずれにも、所定の外部灯の関連の主光軸を調節する位置決め器(図示せず)を設けることができることも理解すべきである。図7の制御車両は、全体的に例示のためのものであり、かつ本明細書において引用により組み込まれている特許及び特許出願に開示するもののような適切な自動車外部灯制御システムは、本明細書においてかつ本明細書において引用により組み込まれている開示内容において説明する他の特徴と共に使用することができることを理解すべきである。
ここで図8a及び図8bを参照すると、内部バックミラーアセンブリ800a、800bの実施形態が示されている。ミラーアセンブリは、前部ハウジング885a、885b、及び890a、890b内に収容する固定付属品アセンブリを含む。前部ハウジングは、画像センサ視覚開口部を形成する開口886bを含む。固定付属品アセンブリは、バックミラーと共に装着部材855a、855bにより担持される。バックミラーは、ミラーハウジング860a、860b、ベゼル861a、861b、及びミラー要素862aを含む。関連の配線815bを隠すワイヤカバー894a、894bが含められる。バックミラーアセンブリ800a、800bは、周囲光センサ865b、少なくとも1つのマイクロフォン866b、グレア光センサ865a、オペレータインタフェース863a、表示器864a、及び少なくとも1つの情報ディスプレイ870も組み込んでいる。
ここで図9を参照すると、付属品及びバックミラーマウントアセンブリ905の分解斜視図が示されている。好ましい実施形態では、付属品及びバックミラーマウントアセンブリは、本出願人に譲渡された米国特許出願出願番号第10/783、273号(7606)内でより詳細に説明されているように固定式に取り付けるか、又は本出願人に譲渡された米国特許出願出願番号第10/645、801号に説明されているように自動的再位置決め式である正確に整列した画像センサと共に再位置決め可能に取り付けた内部バックミラーの剛体構造をもたらし、これらの特許のいずれも、引用によりその全体が本明細書に組み込まれている。好ましい付属品及びバックミラーマウントアセンブリは、組み付けを容易にし、並びに関連する構成要素の反復可能で確実かつ正確なアラインメントに備えるものである。少なくとも1つの実施形態では、関連の撮像装置は、画像センサの正確なアラインメントが好ましい自動外部車両光量制御に使用される。本発明は、自動車用途及び家電用途に加えて、光感知光学器械全般への広い適用を有することを理解すべきである。
撮像器ボード910には、レンズを有する画像センサ911が備えられる。好ましい実施形態では、撮像器ボードは、画像センサ制御論理及びタイミング回路、通信ラインドライバ及び配線ハーネスレセプタクル913も含む。任意的に、撮像器ボードは、画像センサから取得した画像を受信して少なくとも部分的に処理するプロセッサを含むことができる。好ましい実施形態では、1)画像センサ制御論理、2)A/D変換器、3)低圧差動信号線ドライバ、4)温度センサ、5)制御出力部、6)電圧調節器、7)第2の画像センサ、8)マイクロプロセッサ、9)湿度センサ、及び10)羅針盤を含む群から選択した画像センサ及び少なくとも1つの他の装置は、共通のASIC内に、最も好ましくは、共通のシリコンウェーハ上に組み込まれている。少なくとも1つの実施形態では、レンズを有する画像センサ911は、レンズカバー920スナップクリップ921を係合させるレンズカバースナップ912を含む。レンズカバーは、画像センサ及びレンズの光軸とのアラインメントのための開口部922を有する。開示内容の全体が本明細書において引用により組み込まれている本出願人に譲渡された米国特許第5、990、469号、米国特許第6、008、486号、米国特許第6、130、421号、米国特許第6、130、448号、米国特許第6、049、171号、米国特許第6、403、942号、及び米国特許出願出願番号第60/495、906号(2880)に示されかつ説明されるもののような様々な適切な光学システムを使用することができる。本発明による光学器械は、本明細書で詳細で説明するようにレンズカバー920を不要とすることができることを理解すべきである。レンズカバースナップ部分、レンズ光学カバー及びスナップクリップは、本発明による光学器械を使用すると排除することができることを理解すべきである。少なくとも1つの実施形態では、「レンズカバー」は、本明細書で詳細で説明するようにレーザを使用して成形した有機材料光学器械要素上に形成される。
撮像器ボードワイヤリングハーネス(図示せず)には、そのいずれかの端部にプラグを設けることが好ましい。撮像器ボードには、撮像器ボードワイヤリングハーネス(図示せず)のプラグのうちの一方を受け止める雄レセプタクル913を設けることが好ましい。
図10は、レンズを有する撮像器1011を有する本発明によるデジタルカメラ1006の輪郭図を示している。本発明による光学器械は、以下に限定されるものではないが、光感知システム、画像取得システム、湿気感知システム、後部視認システム、車線離脱検知システム、車間距離制御システム、乗車検知システム、安全保安システム、視認システム、カラー測定システム、前照灯制御システム、可変反射率バックミラー制御システム、デジタルビデオレコーダ、及びデジタルカメラを含む多くのアセンブリ内に組み込むことができることを理解すべきである。
以上の詳細説明は、当業者が特許請求の範囲に記載するような本発明を製作及び使用することを可能にするために提供されたものであることを理解すべきである。いかなる点においても、この説明は、本発明の範囲をいずれかの与えた実施形態に限定するように解釈すべきではなく、従って、以下の特許請求の範囲は、全ての均等構造及び均等機能をそれぞれの範囲に含むように意図している。
402 走査横列カウンタ
403 走査縦列カウンタ
404 汎用縦列オフセット加算器
405 汎用横列オフセット加算器
417 アナログ/デジタル変換器

Claims (26)

  1. ピクセルのアレイ、
    を含み、
    前記ピクセルのアレイの各有効ピクセルが、一連のタスクにそれぞれ従うようになっており、
    前記一連のタスクが、
    所定のピクセルに対する有効集積期間の選択及び開始、及び該所定のピクセルに対して開始された集積期間の表示を記録すること、
    該ピクセルのアレイの少なくとも部分的に外側にある部位で選択された集積期間を用いて該所定のピクセル上の集積電荷の単一のデジタル化読取、該デジタル化読取及び前記選択された集積期間に基づいて該所定のピクセルに関する光レベル読取値を表す信号の出力とを含んでおり、
    リセットタスク及び前記読取タスクが、少なくとも1つの前記有効集積期間が前記読取タスクより短い集積期間である、少なくとも部分的に前記ピクセルのアレイの外側にある前記部位に含まれる構成要素の使用の要請に干渉することなく遂行できるように組み込まれており、
    ピクセルに対して選択することができる前記集積期間の全てが、実質的に同時に終了する、ことを特徴とする撮像装置。
  2. ピクセルのアレイ内のあらゆる所定の並行アドレス可能群のピクセルが独立に選択され、かつ該選択された並行アドレス可能群のピクセルの有効ピクセルに少なくとも1つの指定されたタスクを受けさせることができるように構成された少なくとも16個の並行アドレス可能群のピクセルに仕切られたピクセルのアレイ、
    を含み、
    タスクの少なくとも1つは、選択的にリセットされる有効ピクセルを判断し、かつ判断とリセットされる各ピクセルに対するリセットの表示の記録とに従って選択的に該リセットを行うために前記選択された並行アドレス可能群のピクセルの有効ピクセルに対して同時に操作する単一のタスクとして行われる選択的リセットタスクであり、該タスクは、該選択された並行アドレス可能群のピクセルの有効ピクセルに対して並行に行われるようになっており、
    リセットタスク及び読取タスクが、少なくとも1つの前記有効集積期間が前記読取タスクより短い集積期間である、少なくとも部分的に前記ピクセルのアレイの外側にある前記部位に含まれる構成要素の使用の要請に干渉することなく遂行できるように組み込まれており、
    ピクセルに対して選択することができる前記集積期間の全てが、実質的に同時に終了する、ことを特徴とする撮像装置。
  3. ピクセルの並行アドレス可能群に仕切られたピクセルのアレイと、
    アドレス指定された並行アドレス可能群のピクセルの有効ピクセルを読み取るピクセル読取タスクと、
    個々にアドレス指定された並行アドレス可能群のピクセルにおける選択されたピクセルに対して1組の有効集積期間のうちの異なる1つを開始するように各々が作動可能な複数の集積期間開始タスクと、
    を含み、
    前記読取タスクと前記集積期間開始タスクの各々とは、タスク順序付け間隔で所定の時間に開始され、各タスクは、迂回されるか、又は所定のタスクが実行されるピクセルを有するアドレス可能な群のピクセルが割り当てられるようになっており、
    リセットタスク及び前記読取タスクが、少なくとも1つの前記有効集積期間が前記読取タスクより短い集積期間である、少なくとも部分的に前記ピクセルのアレイの外側にある前記部位に含まれる構成要素の使用の要請に干渉することなく遂行できるように組み込まれており、
    ピクセルに対して選択することができる前記集積期間の全てが、実質的に同時に終了する、ことを特徴とする撮像装置。
  4. ピクセルのアレイと、
    1組の有効集積期間と、
    を含み、
    前記1組の有効集積期間のうちの1つが、実質的に全てのピクセルに対して選択されてメモリに記録され、集積期間の終わりに、各ピクセル上の集積電荷レベルの読取値が、デジタル化され、該ピクセルを読み取るのに使用される該集積期間の対応する表示と共に浮動小数点表示の仮数に直接にマップすることができる形式の出力が、ピクセル値の浮動小数点表示の指数部にマップすることができる形式で出力されるようになっており、
    リセットタスク及び読取タスクが、少なくとも1つの前記有効集積期間が前記読取タスクより短い集積期間である、少なくとも部分的に前記ピクセルのアレイの外側にある前記部位に含まれる構成要素の使用の要請に干渉することなく遂行できるように組み込まれており、
    ピクセルに対して選択することができる前記集積期間の全てが、実質的に同時に終了する、ことを特徴とする撮像装置。
  5. 画像取得シーケンス内で動的に判断される並行アドレス可能群のピクセル内の各ピクセルに対する有効集積期間の開始と、
    前記並行アドレス可能群のピクセル内の全てのピクセルに対して実質的に同時である該並行アドレス可能群のピクセル内の各ピクセルに対する有効集積期間の終了と、を含む少なくとも1つの並行アドレス可能群のピクセルを含み、
    リセットタスク及び読取タスクが、少なくとも1つの前記有効集積期間が前記読取タスクより短い集積期間である、少なくとも部分的に前記ピクセルのアレイの外側にある前記部位に含まれる構成要素の使用の要請に干渉することなく遂行できるように組み込まれており、
    ピクセルに対して選択することができる前記集積期間の全てが、実質的に同時に終了する、ことを特徴とする撮像装置。
  6. ピクセルの2次元アレイと、
    所定のピクセルに対して選択された集積期間の表示を格納するための、前記ピクセルの2次元アレイの各ピクセルに関連するメモリレジスタと、
    を含み、
    前記選択された集積期間は、画像取得期間中の少なくとも1つの比較に基づいて1組の少なくとも4つの有効集積期間から選択されるようになっており、
    リセットタスク及び読取タスクが、少なくとも1つの前記有効集積期間が前記読取タスクより短い集積期間である、少なくとも部分的に前記ピクセルのアレイの外側にある前記部位に含まれる構成要素の使用の要請に干渉することなく遂行できるように組み込まれており、
    ピクセルに対して選択することができる前記集積期間の全てが、実質的に同時に終了する、ことを特徴とする撮像装置。
  7. ピクセルの2次元アレイと、
    少なくとも1つの条件付きピクセルリセットタスク、及び
    少なくとも1つのピクセル読取タスク、
    を含む画像取得シーケンスと、
    を含み、
    前記リセットタスク及び前記読取タスクが、少なくとも1つの前記有効集積期間が前記読取タスクより短い集積期間である、少なくとも部分的に前記ピクセルのアレイの外側にある前記部位に含まれる構成要素の使用の要請に干渉することなく遂行できるように組み込まれており、
    ピクセルに対して選択することができる前記集積期間の全てが、実質的に同時に終了する、ことを特徴とする撮像装置。
  8. ピクセルリセットタスクが、選択可能な集積期間を開始するのに使用されることを特徴とする請求項1から7のうちいずれか1つの請求項に記載の撮像装置。
  9. 所定のピクセルに対して集積期間を選択するタスクの実行が、最も長い集積を該ピクセルに対して行うことができる期間に限られることを特徴とする請求項1から7のうちいずれか1つの請求項に記載の撮像装置。
  10. 並行アドレス可能な群のピクセルが、前記ピクセルのアレイにおける横列のピクセルの実質的な部分を構成することを特徴とする請求項1から7のうちいずれか1つの請求項に記載の撮像装置。
  11. 1つ又はそれよりも多くの有効集積期間の次のより短い集積期間に対する比率が、ほぼ2の整数累乗であり、該整数累乗は、1よりも大きいことを特徴とする請求項1から7のうちいずれか1つの請求項に記載の撮像装置。
  12. 4ビット又はそれ未満のビットのデータが、各ピクセルに対してメモリに格納されることを特徴とする請求項1から7のうちいずれか1つの請求項に記載の撮像装置。
  13. 前記メモリは、前記ピクセルのアレイと同じ集積回路基板上に組み立てられることを特徴とする請求項1から7のうちいずれか1つの請求項に記載の撮像装置。
  14. 集積電荷レベルの1回のみのデジタル読取が、各ピクセルに対して行われ、デジタル読取は、所定の順序でピクセルに対して行われることを特徴とする請求項1から7のうちいずれか1つの請求項に記載の撮像装置。
  15. 選択可能な集積期間の異なる組が、異なる画像取得シーケンスに対して準備されることを特徴とする請求項1から7のうちいずれか1つの請求項に記載の撮像装置。
  16. 選択可能な集積期間の組の第1のものが、閾値を超える周囲照明条件において利用され、該選択可能な集積期間の組の第2のものが、閾値よりも低い周囲光条件において利用されることを特徴とする請求項1から7のうちいずれか1つの請求項に記載の撮像装置。
  17. より短い集積期間を開始するために所定のピクセルをリセットする判断が、該所定のピクセル上の蓄積電荷の表示と部分集積後の閾値レベルとの比較タスクの結果に少なくとも部分的に基づいていることを特徴とする請求項8に記載の撮像装置。
  18. 比較タスクが、アナログであり、かつ前記ピクセルのアレイの一般的に外部である少なくとも1つの位置で行われることを特徴とする請求項18に記載の撮像装置。
  19. より短い集積期間を開始するリセットが、ピクセルに対する有効集積期間の記録された表示が、該ピクセルが該ピクセルに対する直前の条件付きリセットタスク中にリセットされなかったことを示す場合は、該ピクセルに関して迂回されることを特徴とする請求項8に記載の撮像装置。
  20. 動的メモリが、各ピクセルに関連するメモリに対して使用されることを特徴とする請求項13に記載の撮像装置。
  21. 前記動的メモリは、ビット値を格納する容量素子を組み込むことを特徴とする請求項21に記載の撮像装置。
  22. 前記動的メモリに対するリフレッシュタスクが、他の画像取得タスクと共に予定されることを特徴とする請求項1から7のうちいずれか1つの請求項に記載の撮像装置。
  23. 並行アドレス可能群のピクセルの読み取りが、画像取得シーケンス中に周期的な間隔で行われることを特徴とする請求項1から7のうちいずれか1つの請求項に記載の撮像装置。
  24. 最短有効集積期間に対する最長有効集積期間の比率が、3500よりも大きいことを特徴とする請求項1から7のうちいずれか1つの請求項に記載の撮像装置。
  25. 最短以外のあらゆる有効集積期間と次に短い有効集積期間との比率が、10よりも小さいことを特徴とする請求項1から7のうちいずれか1つの請求項に記載の撮像装置。
  26. 前記有効集積期間は、等比的に減少することを特徴とする請求項1から7のうちいずれか1つの請求項に記載の撮像装置。
JP2009549062A 2007-02-09 2007-12-14 改良型撮像装置 Active JP5361072B2 (ja)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US90058807P 2007-02-09 2007-02-09
US60/900,588 2007-02-09
US90272807P 2007-02-22 2007-02-22
US60/902,728 2007-02-22
US11/999,623 2007-12-06
US11/999,623 US8289430B2 (en) 2007-02-09 2007-12-06 High dynamic range imaging device
PCT/US2007/025693 WO2008100307A1 (en) 2007-02-09 2007-12-14 Improved imaging device

Publications (2)

Publication Number Publication Date
JP2010518746A JP2010518746A (ja) 2010-05-27
JP5361072B2 true JP5361072B2 (ja) 2013-12-04

Family

ID=39685481

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009549062A Active JP5361072B2 (ja) 2007-02-09 2007-12-14 改良型撮像装置

Country Status (9)

Country Link
US (2) US8289430B2 (ja)
EP (1) EP2119249B1 (ja)
JP (1) JP5361072B2 (ja)
KR (1) KR101108536B1 (ja)
CN (1) CN101637030B (ja)
CA (1) CA2677737C (ja)
IL (2) IL200259A (ja)
TW (1) TWI382747B (ja)
WO (1) WO2008100307A1 (ja)

Families Citing this family (123)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5877897A (en) 1993-02-26 1999-03-02 Donnelly Corporation Automatic rearview mirror, vehicle lighting control and vehicle interior monitoring system using a photosensor array
US6822563B2 (en) 1997-09-22 2004-11-23 Donnelly Corporation Vehicle imaging system with accessory control
US6891563B2 (en) 1996-05-22 2005-05-10 Donnelly Corporation Vehicular vision system
US7655894B2 (en) 1996-03-25 2010-02-02 Donnelly Corporation Vehicular image sensing system
US7057256B2 (en) 2001-05-25 2006-06-06 President & Fellows Of Harvard College Silicon-based visible and near-infrared optoelectric devices
US7442629B2 (en) 2004-09-24 2008-10-28 President & Fellows Of Harvard College Femtosecond laser-induced formation of submicrometer spikes on a semiconductor substrate
US6882287B2 (en) 2001-07-31 2005-04-19 Donnelly Corporation Automotive lane change aid
US7697027B2 (en) 2001-07-31 2010-04-13 Donnelly Corporation Vehicular video system
AU2003225228A1 (en) 2002-05-03 2003-11-17 Donnelly Corporation Object detection system for vehicle
US7308341B2 (en) 2003-10-14 2007-12-11 Donnelly Corporation Vehicle communication system
US7526103B2 (en) 2004-04-15 2009-04-28 Donnelly Corporation Imaging system for vehicle
US7881496B2 (en) 2004-09-30 2011-02-01 Donnelly Corporation Vision system for vehicle
US7720580B2 (en) 2004-12-23 2010-05-18 Donnelly Corporation Object detection system for vehicle
WO2008024639A2 (en) 2006-08-11 2008-02-28 Donnelly Corporation Automatic headlamp control system
US8305471B2 (en) * 2007-02-09 2012-11-06 Gentex Corporation High dynamic range imaging device
US8017898B2 (en) 2007-08-17 2011-09-13 Magna Electronics Inc. Vehicular imaging system in an automatic headlamp control system
US8451107B2 (en) 2007-09-11 2013-05-28 Magna Electronics, Inc. Imaging system for vehicle
WO2009046268A1 (en) 2007-10-04 2009-04-09 Magna Electronics Combined rgb and ir imaging sensor
US8629927B2 (en) 2008-04-09 2014-01-14 Gentex Corporation Imaging device
US8587706B2 (en) 2008-01-30 2013-11-19 Gentex Corporation Imaging device
DE102008044322A1 (de) 2008-12-03 2010-06-10 Robert Bosch Gmbh Steuereinrichtung für eine Kameraanordnung, Kameraanordnung für ein Fahrzeug sowie Verfahren zur Regelung einer Kamera eines Fahrzeuges
US9495876B2 (en) 2009-07-27 2016-11-15 Magna Electronics Inc. Vehicular camera with on-board microcontroller
EP2473871B1 (en) 2009-09-01 2015-03-11 Magna Mirrors Of America, Inc. Imaging and display system for vehicle
US9673243B2 (en) 2009-09-17 2017-06-06 Sionyx, Llc Photosensitive imaging devices and associated methods
US9911781B2 (en) 2009-09-17 2018-03-06 Sionyx, Llc Photosensitive imaging devices and associated methods
JP4881987B2 (ja) * 2009-10-06 2012-02-22 キヤノン株式会社 固体撮像装置および撮像装置
US8666186B1 (en) 2010-02-12 2014-03-04 Pacific Data Images Llc Lossy compression of high dynamic range video
US8340442B1 (en) * 2010-02-12 2012-12-25 Pacific Data Images Llc Lossy compression of high-dynamic range image files
WO2011106578A2 (en) 2010-02-26 2011-09-01 Gentex Corporation Automatic vehicle equipment monitoring, warning, and control system
US8692198B2 (en) 2010-04-21 2014-04-08 Sionyx, Inc. Photosensitive imaging devices and associated methods
WO2011160130A2 (en) 2010-06-18 2011-12-22 Sionyx, Inc High speed photosensitive devices and associated methods
WO2012075250A1 (en) 2010-12-01 2012-06-07 Magna Electronics Inc. System and method of establishing a multi-camera image using pixel remapping
US9264672B2 (en) 2010-12-22 2016-02-16 Magna Mirrors Of America, Inc. Vision display system for vehicle
US9085261B2 (en) 2011-01-26 2015-07-21 Magna Electronics Inc. Rear vision system with trailer angle detection
JP5714982B2 (ja) 2011-02-01 2015-05-07 浜松ホトニクス株式会社 固体撮像素子の制御方法
WO2012145822A1 (en) 2011-04-25 2012-11-01 Magna International Inc. Method and system for dynamically calibrating vehicular cameras
US9357208B2 (en) 2011-04-25 2016-05-31 Magna Electronics Inc. Method and system for dynamically calibrating vehicular cameras
US8963063B2 (en) 2011-05-03 2015-02-24 The Charles Stark Draper Laboratory, Inc. Systems and methods for adding or subtracting pixels
US8836816B2 (en) * 2011-05-19 2014-09-16 Foveon, Inc. Method of adjusting the brightness of a digital camera image
US9496308B2 (en) 2011-06-09 2016-11-15 Sionyx, Llc Process module for increasing the response of backside illuminated photosensitive imagers and associated methods
US9769430B1 (en) 2011-06-23 2017-09-19 Gentex Corporation Imager system with median filter and method thereof
WO2013010127A2 (en) 2011-07-13 2013-01-17 Sionyx, Inc. Biometric imaging devices and associated methods
US10793067B2 (en) 2011-07-26 2020-10-06 Magna Electronics Inc. Imaging system for vehicle
US9491450B2 (en) 2011-08-01 2016-11-08 Magna Electronic Inc. Vehicle camera alignment system
US20140218535A1 (en) 2011-09-21 2014-08-07 Magna Electronics Inc. Vehicle vision system using image data transmission and power supply via a coaxial cable
JP5935284B2 (ja) 2011-10-18 2016-06-15 ソニー株式会社 撮像装置および撮像表示システム
US9146898B2 (en) 2011-10-27 2015-09-29 Magna Electronics Inc. Driver assist system with algorithm switching
US9491451B2 (en) 2011-11-15 2016-11-08 Magna Electronics Inc. Calibration system and method for vehicular surround vision system
US10099614B2 (en) 2011-11-28 2018-10-16 Magna Electronics Inc. Vision system for vehicle
WO2013086249A2 (en) 2011-12-09 2013-06-13 Magna Electronics, Inc. Vehicle vision system with customized display
CN104115211B (zh) 2012-02-14 2017-09-22 金泰克斯公司 高动态范围成像系统
WO2013126715A2 (en) 2012-02-22 2013-08-29 Magna Electronics, Inc. Vehicle camera system with image manipulation
US10457209B2 (en) 2012-02-22 2019-10-29 Magna Electronics Inc. Vehicle vision system with multi-paned view
US9064764B2 (en) 2012-03-22 2015-06-23 Sionyx, Inc. Pixel isolation elements, devices, and associated methods
US9319637B2 (en) 2012-03-27 2016-04-19 Magna Electronics Inc. Vehicle vision system with lens pollution detection
US8879139B2 (en) 2012-04-24 2014-11-04 Gentex Corporation Display mirror assembly
KR101513780B1 (ko) * 2012-05-21 2015-04-22 (주)엘지하우시스 보푸라기 방지용 원사 및 이를 이용한 우븐 바닥장식재
CN104508595B (zh) 2012-06-12 2017-07-18 金泰克斯公司 提供多级对准稳定性指示的车辆成像系统
US8964024B2 (en) 2012-08-02 2015-02-24 Gentex Corporation System and method for controlling exterior vehicle lights responsive to detection of a semi-truck
US9558409B2 (en) 2012-09-26 2017-01-31 Magna Electronics Inc. Vehicle vision system with trailer angle detection
US9446713B2 (en) 2012-09-26 2016-09-20 Magna Electronics Inc. Trailer angle detection system
US9723272B2 (en) 2012-10-05 2017-08-01 Magna Electronics Inc. Multi-camera image stitching calibration system
US9707896B2 (en) 2012-10-15 2017-07-18 Magna Electronics Inc. Vehicle camera lens dirt protection via air flow
WO2014127376A2 (en) * 2013-02-15 2014-08-21 Sionyx, Inc. High dynamic range cmos image sensor having anti-blooming properties and associated methods
US9445057B2 (en) 2013-02-20 2016-09-13 Magna Electronics Inc. Vehicle vision system with dirt detection
US10179543B2 (en) 2013-02-27 2019-01-15 Magna Electronics Inc. Multi-camera dynamic top view vision system
WO2014151093A1 (en) 2013-03-15 2014-09-25 Sionyx, Inc. Three dimensional imaging utilizing stacked imager devices and associated methods
US9319605B2 (en) * 2013-03-15 2016-04-19 Rambus Inc. Increasing dynamic range using multisampling
US10304319B2 (en) * 2013-04-23 2019-05-28 Canary Connect, Inc. Monitoring and security devices comprising multiple sensors
US9508014B2 (en) 2013-05-06 2016-11-29 Magna Electronics Inc. Vehicular multi-camera vision system
US9205776B2 (en) 2013-05-21 2015-12-08 Magna Electronics Inc. Vehicle vision system using kinematic model of vehicle motion
US9563951B2 (en) 2013-05-21 2017-02-07 Magna Electronics Inc. Vehicle vision system with targetless camera calibration
WO2014209421A1 (en) 2013-06-29 2014-12-31 Sionyx, Inc. Shallow trench textured regions and associated methods
US9619720B2 (en) 2013-08-19 2017-04-11 Gentex Corporation Vehicle imaging system and method for distinguishing between vehicle tail lights and flashing red stop lights
WO2015026810A1 (en) 2013-08-19 2015-02-26 Gentex Corporation Vehicle imaging system and method for distinguishing reflective objects from lights of another vehicle
US9307172B2 (en) * 2013-08-23 2016-04-05 Semiconductor Components Industries, Llc Floating point image sensors with tile-based memory
WO2015034773A1 (en) 2013-09-04 2015-03-12 Gentex Corporation A rearview assembly of a vehicle for displaying images
AU2014326772B2 (en) 2013-09-24 2017-07-20 Gentex Corporation Display mirror assembly
CN105593061B (zh) 2013-10-01 2018-03-27 金泰克斯公司 用于在快车道上控制外部车灯的系统和方法
CN105705353B (zh) 2013-11-15 2018-05-01 金泰克斯公司 包括对颜色衰减进行动态补偿的成像系统
US10104318B2 (en) 2013-12-04 2018-10-16 Rambus Inc. High dynamic-range image sensor
US9511715B2 (en) 2014-01-31 2016-12-06 Gentex Corporation Backlighting assembly for display for reducing cross-hatching
CN106061794B (zh) 2014-03-21 2019-06-07 金泰克斯公司 三态显示镜组件
KR101894262B1 (ko) 2014-04-01 2018-09-04 젠텍스 코포레이션 자동 디스플레이 미러 어셈블리
US9487235B2 (en) 2014-04-10 2016-11-08 Magna Electronics Inc. Vehicle control system with adaptive wheel angle correction
JP6609113B2 (ja) * 2014-06-18 2019-11-20 キヤノン株式会社 撮像装置及びその制御方法
WO2016044746A1 (en) 2014-09-19 2016-03-24 Gentex Corporation Rearview assembly
US10380451B2 (en) 2014-11-06 2019-08-13 Gentex Corporation System and method for visibility range detection
WO2016073848A1 (en) 2014-11-07 2016-05-12 Gentex Corporation Full display mirror actuator
EP3218227B1 (en) 2014-11-13 2018-10-24 Gentex Corporation Rearview mirror system with a display
EP3227143B1 (en) 2014-12-03 2019-03-13 Gentex Corporation Display mirror assembly
USD746744S1 (en) 2014-12-05 2016-01-05 Gentex Corporation Rearview device
US9744907B2 (en) 2014-12-29 2017-08-29 Gentex Corporation Vehicle vision system having adjustable displayed field of view
US9916660B2 (en) 2015-01-16 2018-03-13 Magna Electronics Inc. Vehicle vision system with calibration algorithm
US9720278B2 (en) 2015-01-22 2017-08-01 Gentex Corporation Low cost optical film stack
WO2016172096A1 (en) 2015-04-20 2016-10-27 Gentex Corporation Rearview assembly with applique
US10946799B2 (en) 2015-04-21 2021-03-16 Magna Electronics Inc. Vehicle vision system with overlay calibration
JP6526243B2 (ja) 2015-05-18 2019-06-05 ジェンテックス コーポレイション 全画面表示バックミラー装置
EP3310618A4 (en) 2015-06-22 2018-07-04 Gentex Corporation System and method for processing streamed video images to correct for flicker of amplitude-modulated lights
US10462391B2 (en) * 2015-08-14 2019-10-29 Kla-Tencor Corporation Dark-field inspection using a low-noise sensor
US10187590B2 (en) 2015-10-27 2019-01-22 Magna Electronics Inc. Multi-camera vehicle vision system with image gap fill
EP3368374B1 (en) 2015-10-30 2023-12-27 Gentex Corporation Toggle paddle
USD798207S1 (en) 2015-10-30 2017-09-26 Gentex Corporation Rearview mirror assembly
US9994156B2 (en) 2015-10-30 2018-06-12 Gentex Corporation Rearview device
USD797627S1 (en) 2015-10-30 2017-09-19 Gentex Corporation Rearview mirror device
USD800618S1 (en) 2015-11-02 2017-10-24 Gentex Corporation Toggle paddle for a rear view device
US11277558B2 (en) 2016-02-01 2022-03-15 Magna Electronics Inc. Vehicle vision system with master-slave camera configuration
US11433809B2 (en) 2016-02-02 2022-09-06 Magna Electronics Inc. Vehicle vision system with smart camera video output
US10129445B2 (en) 2016-03-04 2018-11-13 Gentex Corporation Roof mounted imager module
CA3017935C (en) 2016-03-16 2020-04-21 BAE Systems Imaging Solutions Inc. High dynamic range imaging sensor array
USD845851S1 (en) 2016-03-31 2019-04-16 Gentex Corporation Rearview device
US10313622B2 (en) 2016-04-06 2019-06-04 Kla-Tencor Corporation Dual-column-parallel CCD sensor and inspection systems using a sensor
US10778925B2 (en) 2016-04-06 2020-09-15 Kla-Tencor Corporation Multiple column per channel CCD sensor architecture for inspection and metrology
USD817238S1 (en) 2016-04-29 2018-05-08 Gentex Corporation Rearview device
US10025138B2 (en) 2016-06-06 2018-07-17 Gentex Corporation Illuminating display with light gathering structure
USD809984S1 (en) 2016-12-07 2018-02-13 Gentex Corporation Rearview assembly
USD854473S1 (en) 2016-12-16 2019-07-23 Gentex Corporation Rearview assembly
KR20190104990A (ko) 2016-12-30 2019-09-11 젠텍스 코포레이션 즉각 맞춤형 스포터 뷰를 갖는 풀 디스플레이 미러
US10452076B2 (en) 2017-01-04 2019-10-22 Magna Electronics Inc. Vehicle vision system with adjustable computation and data compression
EP3574447B1 (en) 2017-01-27 2023-10-11 Gentex Corporation Image compensation for motorcycle banking
NL2018852B1 (en) 2017-05-05 2018-11-14 Illumina Inc Optical distortion correction for imaged samples
EP3595931A1 (en) 2017-03-17 2020-01-22 Gentex Corporation Dual display reverse camera system
US11027657B2 (en) 2018-11-26 2021-06-08 Gentex Corporation System for rearview camera as a glare sensor

Family Cites Families (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1990001844A1 (en) 1988-08-02 1990-02-22 Sorex Corporation Wide dynamic range image sensor
JPH0548460A (ja) * 1991-06-05 1993-02-26 Matsushita Electric Ind Co Ltd A/d変換器とこれを用いたセンサ及び3次元集積回路
US5872596A (en) * 1992-09-28 1999-02-16 Canon Kabushiki Kaisha Device for widening the dynamic range of solid-state image pickup elements
US5519514A (en) * 1995-05-22 1996-05-21 Xerox Corporation Color sensor array with independently controllable integration times for each color
US5892541A (en) * 1996-09-10 1999-04-06 Foveonics, Inc. Imaging system and method for increasing the dynamic range of an array of active pixel sensor cells
JPH11505100A (ja) * 1996-09-27 1999-05-11 ヴェーム マルクス 局部自動適応光学センサ
DE19644479A1 (de) * 1996-10-25 1998-05-07 Fraunhofer Ges Forschung Verfahren zum Erfassen eines optischen Signals
US6175383B1 (en) * 1996-11-07 2001-01-16 California Institute Of Technology Method and apparatus of high dynamic range image sensor with individual pixel reset
US5748303A (en) * 1996-12-31 1998-05-05 Intel Corporation Light sensing device
US5990469A (en) * 1997-04-02 1999-11-23 Gentex Corporation Control circuit for image array sensors
EP1127453A1 (en) * 1998-10-19 2001-08-29 Ben-Gurion University Of The Negev Optical imager using a method for adaptive real-time expanding of the dynamic range
US6580454B1 (en) * 1998-11-18 2003-06-17 Agilent Technologies, Inc. CMOS active pixel sensor having in-pixel local exposure control
US6977685B1 (en) * 1999-02-26 2005-12-20 Massachusetts Institute Of Technology Single-chip imager system with programmable dynamic range
US6975355B1 (en) * 2000-02-22 2005-12-13 Pixim, Inc. Multiple sampling via a time-indexed method to achieve wide dynamic ranges
WO2001009717A1 (en) 1999-08-02 2001-02-08 Morton Steven G Video digital signal processor chip
US6765619B1 (en) * 2000-04-04 2004-07-20 Pixim, Inc. Method and apparatus for optimizing exposure time in image acquisitions
US7142240B1 (en) * 2000-07-17 2006-11-28 Psion Teklogix Systems, Inc. Active pixel sensor array reset
US7079178B2 (en) * 2001-02-20 2006-07-18 Jaroslav Hynecek High dynamic range active pixel CMOS image sensor and data processing system incorporating adaptive pixel reset
US6963370B2 (en) * 2001-09-24 2005-11-08 The Board Of Trustees Of The Leland Stanford Junior University Method for improving SNR in low illumination conditions in a CMOS video sensor system using a self-resetting digital pixel
EP1324592A1 (en) * 2001-12-19 2003-07-02 STMicroelectronics Limited Image sensor with improved noise cancellation
US6963369B1 (en) * 2002-04-01 2005-11-08 Pixim, Inc. Method for capturing and storing image information for multiple sampling operations in a digital pixel sensor
EP1351490B1 (en) * 2002-04-02 2009-12-23 STMicroelectronics Limited Image sensor with improved readout circuit
US7362365B1 (en) * 2002-06-26 2008-04-22 Pixim, Inc. Digital image capture having an ultra-high dynamic range
AU2003278445A1 (en) * 2002-11-13 2004-06-03 Koninklijke Philips Electronics N.V. Transmission system with colour depth scalability
US7362355B1 (en) * 2003-08-04 2008-04-22 Pixim, Inc. Digital CMOS image sensor incorporating a programmable multi-functional lookup table
JP4390100B2 (ja) * 2003-09-08 2009-12-24 大日本印刷株式会社 固体撮像装置およびその駆動方法
JP3814609B2 (ja) * 2003-12-12 2006-08-30 キヤノン株式会社 撮像装置、及び撮像装置の駆動方法
US8218625B2 (en) * 2004-04-23 2012-07-10 Dolby Laboratories Licensing Corporation Encoding, decoding and representing high dynamic range images
US20050259729A1 (en) * 2004-05-21 2005-11-24 Shijun Sun Video coding with quality scalability
WO2006061828A2 (en) * 2004-12-07 2006-06-15 Bright Imaging Ltd. Method and apparatus for imaging of scenes having large intensity variance
JP4536072B2 (ja) * 2004-12-16 2010-09-01 富士通セミコンダクター株式会社 撮像装置
JP4766302B2 (ja) * 2005-03-22 2011-09-07 オムロン株式会社 画像処理装置および方法、記録媒体、並びにプログラム
US7876833B2 (en) * 2005-04-11 2011-01-25 Sharp Laboratories Of America, Inc. Method and apparatus for adaptive up-scaling for spatially scalable coding
JP4771535B2 (ja) * 2005-05-17 2011-09-14 キヤノン株式会社 撮像装置及び制御方法
US7202463B1 (en) * 2005-09-16 2007-04-10 Adobe Systems Incorporated Higher dynamic range image sensor with signal integration
US7598998B2 (en) * 2005-09-30 2009-10-06 Honeywell International Inc. Method and system for increasing the effective dynamic range of a random-access pixel sensor array
US20070132867A1 (en) * 2005-12-08 2007-06-14 Arizona Board Of Regents For And On Behalf Of Arizona State University Multimode CMOS Image Sensor
US7427736B2 (en) * 2006-03-23 2008-09-23 Micron Technology, Inc. Method and apparatus for providing a rolling double reset timing for global storage in image sensors
US8305471B2 (en) * 2007-02-09 2012-11-06 Gentex Corporation High dynamic range imaging device
US7796171B2 (en) * 2007-02-16 2010-09-14 Flir Advanced Imaging Systems, Inc. Sensor-based gamma correction of a digital camera
US7791657B2 (en) * 2007-03-07 2010-09-07 Teledyne Licensing, Llc Dynamic range enhancement scheme for imagers
US8587706B2 (en) * 2008-01-30 2013-11-19 Gentex Corporation Imaging device

Also Published As

Publication number Publication date
EP2119249B1 (en) 2015-12-09
US8289430B2 (en) 2012-10-16
TWI382747B (zh) 2013-01-11
EP2119249A4 (en) 2010-02-24
CA2677737C (en) 2015-02-10
CN101637030A (zh) 2010-01-27
KR20110028404A (ko) 2011-03-17
CN101637030B (zh) 2013-03-06
US20130009042A1 (en) 2013-01-10
US20080192132A1 (en) 2008-08-14
KR101108536B1 (ko) 2012-01-30
CA2677737A1 (en) 2008-08-21
JP2010518746A (ja) 2010-05-27
IL200259A (en) 2016-02-29
WO2008100307A1 (en) 2008-08-21
TW200904150A (en) 2009-01-16
US9013616B2 (en) 2015-04-21
IL243704A0 (en) 2016-04-21
IL200259A0 (en) 2010-04-29
EP2119249A1 (en) 2009-11-18

Similar Documents

Publication Publication Date Title
JP5361072B2 (ja) 改良型撮像装置
US9641773B2 (en) High dynamic range imaging device
US8305471B2 (en) High dynamic range imaging device
US8890985B2 (en) Imaging device
KR100682067B1 (ko) 차량 전조등들이나 또는 타의 차량 장비를 제어하기 위한 영상 처리 시스템
WO2009073054A1 (en) Improved imaging device
US7884868B2 (en) Image capturing element, image capturing apparatus, image capturing method, image capturing system, and image processing apparatus
CN108900782A (zh) 曝光控制方法、装置以及电子设备
US9420195B2 (en) Imaging apparatus, imaging method and recording medium
CN108353140A (zh) 图像传感器系统
JPH07115643A (ja) 車載用撮像装置
CN103916610A (zh) 用于动态后视镜的眩光减少
US7929856B2 (en) Imaging system and method for capturing still image
US6965402B2 (en) System for detecting and storing digital pictures
CN104780322B (zh) 摄像装置、摄像方法、图像处理装置
KR101078648B1 (ko) 개량된 이미징 장치
US11563904B2 (en) Imaging apparatus and imaging control method
Schochlin et al. A Digital CCD Camera System For High Speed Observations Of Solar Flares

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110906

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110912

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20111212

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20111219

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20120208

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20120215

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120312

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20120409

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120809

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120919

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20120924

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20121026

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20130507

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20130510

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130902

R150 Certificate of patent or registration of utility model

Ref document number: 5361072

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350