JP7128872B2 - セミグローバルシャッタイメージャ - Google Patents

セミグローバルシャッタイメージャ Download PDF

Info

Publication number
JP7128872B2
JP7128872B2 JP2020171877A JP2020171877A JP7128872B2 JP 7128872 B2 JP7128872 B2 JP 7128872B2 JP 2020171877 A JP2020171877 A JP 2020171877A JP 2020171877 A JP2020171877 A JP 2020171877A JP 7128872 B2 JP7128872 B2 JP 7128872B2
Authority
JP
Japan
Prior art keywords
blocks
block
pixels
pixel
exposing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020171877A
Other languages
English (en)
Other versions
JP2021013186A (ja
Inventor
ケーラー エイドリアン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Magic Leap Inc
Original Assignee
Magic Leap Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Magic Leap Inc filed Critical Magic Leap Inc
Publication of JP2021013186A publication Critical patent/JP2021013186A/ja
Priority to JP2022028026A priority Critical patent/JP7438251B2/ja
Application granted granted Critical
Publication of JP7128872B2 publication Critical patent/JP7128872B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/443Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading pixels from selected 2D regions of the array, e.g. for windowing or digital zooming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/53Control of the integration time
    • H04N25/533Control of the integration time by using differing integration times for different sensor regions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/53Control of the integration time
    • H04N25/531Control of the integration time by controlling rolling shutters in CMOS SSIS
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/71Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75Circuitry for providing, modifying or processing image signals from the pixel array

Description

(関連出願への相互参照)
本出願は、2015年5月19日に出願された「SEMI-GLOBAL SHUTTER IMAGER」という題名の米国仮特許出願第62/163,730号に対して優先権を主張する。上記文献は、その全体として参照することによって本明細書において援用される。
(発明の分野)
本開示は、デジタル撮像の分野に監視、特に、複数のピクセルブロックを連続的に捕捉するが、各ブロック内のピクセルは同期して捕捉され得る、セミグローバルシャッタイメージャに関する。
(発明の背景)
画像センサ(またはイメージャ)は、概して、画像を形成するために要求される情報を検出および伝達し得る画像捕捉デバイス(例えば、カメラ)の一部を指す。デジタルカメラでは、画像センサは、典型的には、その上で画像が捕捉されるシリコン半導体であり得る。構造的に、センサは、光子を捕捉し、それらを電子に変換する感光性ダイオード(すなわち、フォトサイト)のアレイから成ることができる。各フォトサイト内の電子の蓄積は、電子信号(例えば、電圧)に変換されることができ、これは、順に、画素またはピクセルを表すデジタルデータに変換されることができる。これらの要素またはピクセルは、次いで、最終画像を組み立てるために使用されることができる。最終画像は、カメラのメモリ内に記憶され、ディスプレイ上で閲覧される、および/またはさらに操作されるように読み出されることができる。
理想的には、良好に設計された画像センサは、カメラが比較的に高速のフレームレートを有することを可能にし、これは、カメラが短い時間周期以内により多数の画像を捕捉すると同時に、結果画像におけるモーションアーチファクト等の望ましくない効果の量を最小限にすることによって画像品質を維持することを可能にする。
(発明の簡単な要約)
本開示は、概して、複数のピクセルブロックを連続的に捕捉および処理し、各ブロック内のピクセルが同期して捕捉され得る、セミグローバルシャッタイメージャおよび機構に関する。画像センサのセンサ要素(またはピクセル)は、複数のピクセルブロックに分割されることができる。同一のブロック内の全てのピクセルは、同時に光に露出されることができる。その後、露出されたピクセルのブロックからのデータが依然として読み出されている間、別のピクセルのブロックが、露出されることができる。本プロセスは、全てのピクセルが露出され、読み出されるまで繰り返されることができる。これは、ピクセルの露出とピクセル内に捕捉される情報が分析されるときとの間の遅延を有意に低減させ、それによって、カメラのフレームレート(または速度)を増加させることができる。加えて、所与のセミグローバルシャッタ画像センサに対する最適な数のピクセルブロックを設定し、同時に各ピクセルブロック内の全てのピクセルを露出することによって、セミグローバルイメージャはまた、ピクセルブロックの連続的露出によって引き起こされ得る、結果画像へのある形態の望ましくない歪み(例えば、モーションアーチファクト)を低減させることができる。
概して、画像センサが、複数のブロックに分割され、複数のブロックのそれぞれは、少なくとも2つの異なる行および2つの異なる列において配列されるピクセルを備える、2次元ピクセルアレイと、複数のブロックを連続的に露出し、各ブロック内の全てのピクセルは、同期して露出される、シャッタとを含み得る。シャッタは、例えば、電子的に制御され得る。ピクセルアレイは、種々の構成を有し得る。例えば、ピクセルアレイは、M個の行のピクセルを伴う長方形アレイを含み得、Mは、100以上であり、各ブロックの高さは、M個の行の組み合わせられた高さの少なくとも20分の1であるが、M個の行の組み合わせられた高さの5分の1未満である。別の実施例として、ピクセルアレイは、N個の列を伴う長方形アレイを含み得、Nは、100以上であり、各ブロックの幅は、N個の列のピクセルの組み合わせられた幅の少なくとも20分の1であるが、N個の列の組み合わせられた幅の5分の1未満である。ブロックのいくつかは、他の好適な配列および幾何学的形状における異なる数のピクセルを含み得る一方、ブロックのいくつかは、同数のピクセルを含み得る。
いくつかの変形例では、画像センサは、タイミング信号をブロックのそれぞれに伝送する、タイミング制御モジュールを含む、またはそれと併用するために構成され得、タイミング信号は、ブロックの露出のシーケンスを開始する。さらに、画像センサは、複数のブロック毎の別個の読出電子機器を含む、またはそれと併用するために構成され得、読出電子機器は、対応するブロック内のピクセルからの電子信号を受信および処理することが可能であり得る。そのような別個の読出電子機器は、例えば、電子信号を増幅する増幅器と、電子信号をデジタルデータに変換するアナログ/デジタルコンバータとを含み得る。さらに、画像センサの一変形例では、読出電子機器は、第1のブロックの露出が完了した直後にピクセルの第1のブロックから電子信号を読み出し得、第2のブロックの露出が、第1のブロックからの電子信号の読出が完了する前に開始する。別の変形例では、第2のブロックの露出と第1のブロックの露出との間に遅延が存在し得、遅延は、第2のブロックがその露出を完了する前に第1のブロックの読出を可能にするために十分に長い。
概して、画像センサを用いて画像を捕捉する方法が、画像センサの2次元ピクセルアレイ画像面積を複数のブロックに分割することであって、複数のブロックのそれぞれは、少なくとも2つの異なる行および2つの異なる列において配列されるピクセルを備える、ことと、複数のブロックを連続的に露出することであって、各ブロック内の全てのピクセルは、同期して露出される、こととを含み得る。本方法は、M個の行のピクセルを含む2次元ピクセルアレイを伴う画像センサ等の種々の構成の画像センサを用いて使用され得、Mは、100以上であり、各ブロックの高さは、M個の行のピクセルの組み合わせられた高さの少なくとも20分の1であるが、M個の行の組み合わせられた高さの5分の1未満である。別の実施例として、本方法は、N個の列を含む2次元ピクセルアレイを伴う画像センサを用いて使用され得、Nは、100以上であり、各ブロックの幅は、N個の列のピクセルの組み合わせられた幅の少なくとも20分の1であるが、N個の列の組み合わせられた幅の5分の1未満である。
本方法は、タイミング信号をブロックのそれぞれに伝送することを含み得、タイミング信号は、ブロックの露出のシーケンスを開始する。本方法はまた、複数のブロックの少なくとも第1のブロックおよび第2のブロック内に配列される電子信号を連続的に読み出すことを含み得る。一変形例では、ピクセルの第1のブロックからの電子信号は、第1のブロックの露出が完了した直後に読み出され得、第2のブロックの露出が、第1のブロックからの電子信号の読出が完了する前に開始し得る。さらに、第2のブロックの露出と第1のブロックの露出との間に遅延が存在し得、遅延は、第2のブロックの露出が完了する前に第1のブロックの読出を可能にするために十分に長い。
概して、デジタルカメラが、複数のブロックに分割される2次元ピクセルアレイを含み、複数のブロックのそれぞれは、少なくとも2つの異なる行および少なくとも2つの異なる列において配列されるピクセルを含む、画像センサと、光を画像センサに指向させる、レンズと、複数のブロックを連続的に露出し、各ブロック内の全てのピクセルは、同期して露出される、シャッタと、ブロックの露出のシーケンスのタイミングを制御する、タイミング制御モジュールと、複数のブロック毎の読出電子機器であって、対応するブロック内のピクセルからの電子信号を受信および/または処理することが可能である、読出電子機器と、読出電子機器の出力から画像を組み立てる、カメラ特定用途向け集積回路(ASIC)とを含み得る。
本願明細書は、例えば、以下の項目も提供する。
(項目1)
画像センサであって、
複数のブロックに分割された2次元ピクセルアレイであって、前記複数のブロックのそれぞれは、少なくとも2つの異なる行および2つの異なる列において配列されたピクセルを備える、2次元ピクセルアレイと、
前記複数のブロックを連続的に露出するシャッタであって、各ブロック内の全てのピクセルは、同期して露出される、シャッタと
を備える、画像センサ。
(項目2)
前記2次元ピクセルアレイは、M個の行のピクセルを含み、Mは、100以上であり、
各ブロックの高さは、M個の行の組み合わせられた高さの少なくとも20分の1であるが、M個の行の前記組み合わせられた高さの5分の1未満である、項目1に記載の画像センサ。
(項目3)
前記2次元ピクセルアレイは、N個の列を含み、Nは、100以上であり、
各ブロックの幅は、N個の列のピクセルの組み合わせられた幅の少なくとも20分の1であるが、N個の列の前記組み合わせられた幅の5分の1未満である、項目1に記載の画像センサ。
(項目4)
前記ブロックのうちの少なくとも2つは、異なる数のピクセルを含む、項目1に記載の画像センサ。
(項目5)
前記ブロックのうちの少なくとも2つは、異なる幾何学的形状を有する、項目1に記載の画像センサ。
(項目6)
前記複数のブロックのそれぞれは、同数のピクセルを含む、項目1に記載の画像センサ。
(項目7)
タイミング信号を前記ブロックのそれぞれに伝送するタイミング制御モジュールを備え、前記タイミング信号は、前記ブロックの露出のシーケンスを開始する、項目1に記載の画像センサ。
(項目8)
前記複数のブロックのそれぞれのための別個の読出電子機器を備え、前記読出電子機器は、対応するブロック内のピクセルからの信号を受信および処理することが可能である、項目1に記載の画像センサ。
(項目9)
前記読出電子機器は、前記信号を増幅する増幅器と、前記信号をデジタルデータに変換するアナログ/デジタルコンバータとを備える、項目8に記載の画像センサ。
(項目10)
前記複数のブロックは、第1のブロックと、第2のブロックとを含み、
前記読出電子機器は、前記第1のブロックの露出が完了した直後にピクセルの前記第1のブロックから信号を読み出し、
前記第2のブロックの露出は、前記第1のブロックからの信号の読出が完了する前に開始する、項目8に記載の画像センサ。
(項目11)
前記複数のブロックは、第1のブロックと、第2のブロックとを含み、
前記第2のブロックの露出と前記第1のブロックの露出との間に遅延が存在し、前記遅延は、前記第2のブロックがその露出を完了する前に前記第1のブロックの読出を可能にするために十分に長い、項目8に記載の画像センサ。
(項目12)
前記シャッタは、電子的に制御される、項目1に記載の画像センサ。
(項目13)
画像センサを用いて画像を捕捉する方法であって、
前記画像センサの2次元ピクセルアレイ画像面積を複数のブロックに分割することであって、前記複数のブロックのそれぞれは、少なくとも2つの異なる行および2つの異なる列において配列されたピクセルを備える、ことと、
前記複数のブロックを連続的に露出することであって、各ブロック内の全てのピクセルは、同期して露出される、ことと
を含む、方法。
(項目14)
前記2次元ピクセルアレイは、M個の行のピクセルを含み、Mは、100以上であり、
各ブロックの高さは、M個の行のピクセルの組み合わせられた高さの少なくとも20分の1であるが、M個の行の前記組み合わせられた高さの5分の1未満である、項目13に記載の方法。
(項目15)
前記2次元ピクセルアレイは、N個の列を含み、Nは、100以上であり、
各ブロックの幅は、N個の列のピクセルの組み合わせられた幅の少なくとも20分の1であるが、N個の列の前記組み合わせられた幅の5分の1未満である、項目13に記載の方法。
(項目16)
タイミング信号を前記ブロックのそれぞれに伝送することを含み、前記タイミング信号は、前記ブロックの露出のシーケンスを開始する、項目13に記載の方法。
(項目17)
前記複数のブロックの少なくとも第1のブロックおよび第2のブロックから信号を連続的に読み出すことを含む、項目13に記載の方法。
(項目18)
ピクセルの前記第1のブロックからの信号は、前記第1のブロックの露出が完了した直後に読み出され、
前記第2のブロックの露出は、前記第1のブロックからの信号の読出が完了する前に開始する、項目17に記載の方法。
(項目19)
前記第2のブロックの露出と前記第1のブロックの露出との間に遅延が存在し、前記遅延は、前記第2のブロックがその露出を完了する前に前記第1のブロックの読出を可能にするだけ長い、項目17に記載の方法。
(項目20)
デジタルカメラであって、
複数のブロックに分割される2次元ピクセルアレイを備える画像センサであって、前記複数のブロックのそれぞれは、少なくとも2つの異なる行および2つの異なる列において配列されたピクセルを備える、画像センサと、
光を前記画像センサに指向させるレンズと、
前記複数のブロックを連続的に露出するシャッタであって、各ブロック内の全てのピクセルは、同期して露出される、シャッタと、
前記ブロックの露出のシーケンスのタイミングを制御するタイミング制御モジュールと、
前記複数のブロックのそれぞれのための別個の読出電子機器であって、前記読出電子機器は、対応するブロック内のピクセルからの信号を受信および処理することが可能である、読出電子機器と、
前記読出電子機器の出力から画像を組み立てるカメラASICと
を備える、デジタルカメラ。
図1は、本開示のある実施形態による、デジタルカメラ100の例示的構成要素を図示する、ブロック図である。 図2aは、グローバルシャッタを伴うCCD画像センサ200の例示的構成要素を図示する、ブロック図である。図2bは、ローリングシャッタを伴うCMOS画像センサ210の例示的構成要素を図示する、ブロック図である。 図3は、本開示のある実施形態による、セミグローバルシャッタを伴う画像センサ300の例示的構成要素を図示する、ブロック図である。 図4は、本開示のある実施形態による、図3のセミグローバルシャッタイメージャにおけるブロックのうちの3つの露出および読出の例示的タイムラインを図示する。 図5a-5cは、本開示のある実施形態による、種々のセミグローバルシャッタイメージャに対して好適な種々のピクセルブロック構成を図示する。
(発明の詳細な説明)
以下の好ましい実施形態の説明では、本明細書の一部を形成し、実践され得る具体的実施形態が例証として示される、付随の図面を参照する。他の実施形態も、使用され得、構造的変更が、本開示の実施形態の範囲から逸脱することなく成され得ることを理解されたい。
本明細書に使用されるように、用語「デジタルカメラ」は、画像センサを伴う任意のデジタル画像/ビデオ捕捉デバイスを指し得る。用語「画像センサ」および「イメージャ」は、1つ以上の画像を形成する情報を検出および伝達し得る、デジタルカメラにおける1つ以上の構成要素を説明するために同義的に使用されることができる。画像センサは、フォトサイト等のセンサ要素のアレイから成る画像面積を含むことができる。用語「フォトサイト」、「感光性ダイオード」、および「フォトダイオード」は、本文書において同義的に使用される。各センサ要素はまた、画像センサの「ピクセル」とも称され得る。用語「ブロック」および「ピクセルブロック」は、画像センサの複数のピクセルを含む画像面積内のある領域を指し得る。ピクセルの各ブロックは、本開示の実施形態による、任意のサイズおよび幾何学的形状であり得ることに留意されたい。好ましい実施形態では、ブロックは、連続的である、および/または面積と境界との最大実践比率を有することができる。用語「画像」、「結果画像」、および「最終画像」は、デジタルカメラの画像センサによって捕捉されるデジタル画像を指すように同義的に使用されることができる。画像は、独立画像またはビデオのフレームであり得る。
本開示は、概して、複数のピクセルブロックを連続的に捕捉および処理し、各ブロック内のピクセルが同期して捕捉され得る、セミグローバルシャッタイメージャおよび機構に関する。画像センサのセンサ要素(またはピクセル)は、複数のピクセルブロックに分割(または群化)されることができる。同一のブロック内の全てのピクセルは、同時に光に露出されることができる。露出は、集積要素に対する任意の好適な電気制御によって達成されることができる。例えば、これは、電荷表面を接地に結び付けることと、要素から読出ラッチへのCMOSトランジスタを閉にすることとの組み合わせを伴うことができる。その後、露出されたピクセルのブロックからのデータが依然として読み出されている間、別のピクセルのブロックが、露出されることができる。本プロセスは、全てのピクセルが露出され、読み出されるまで繰り返されることができる。これは、ピクセルの露出とピクセル内に捕捉される情報が分析されるときとの間の遅延を有意に低減させることができる。加えて、所与の画像センサに対する最適な数のピクセルブロックを設定し、同時に各ピクセルブロック内の全てのピクセルを露出することによって、セミグローバルイメージャはまた、ピクセルブロックの連続的露出によって引き起こされ得る、結果画像へのある形態の望ましくない歪み(例えば、モーションアーチファクト)を低減させることができる。
図1は、本開示のある実施形態による、デジタルカメラ100の例示的構成要素を図示する、ブロック図である。デジタルカメラ100は、レンズ102と、画像センサ104と、アナログ/デジタル(A/D)コンバータ106と、カメラ特定用途向け集積回路(ASIC)108と、記憶デバイス110と、1つ以上の入力/出力(I/O)デバイス112とを含むことができる。カメラ100上のシャッタボタン(図1に図示せず)が押されると、光が、レンズ102を通過し、画像センサ104に到達することができる。画像センサ104は、光を捕捉することが可能なセンサ要素(例えば、フォトサイト)114の2次元アレイを含むことができる。あるタイプの画像センサ(例えば、CCDセンサ)では、電荷が、捕捉された光の量に基づいて、各フォトサイト内に蓄積することができる。蓄積された電荷は、次いで、A/Dコンバータ106によってデジタル信号(例えば、デジタル数字)に変換されることができる。他のタイプの画像センサ(例えば、CMOSセンサ)では、各フォトサイトは、どの程度光が露出の瞬間にピクセルに衝突しているかを読み取り、いずれの電荷も貯蔵することなくそれを電子信号に変換することができる。電子信号は、次いで、アナログ/デジタル(A/D)コンバータ106によってデジタル化され、次いで、カメラ特定用途向け集積回路(ASIC)108によって処理され、画像要素を形成することができる。
カメラASIC108が、画像センサ104のあらゆるフォトサイト114によって捕捉されるデータを具現化するデジタル信号の処理を終了すると、最終画像が、組み立てられることができる。画像を形成するプロセスは、結果画像から背景雑音を除去する随意のステップを含むことができる。画像は、記憶装置110内に記憶される、および/またはI/Oデバイス112を介して出力されることができる。記憶デバイス110は、限定ではないが、メモリカード、ハードドライブ、内部メモリ、およびクラウド記憶サービス等の外部記憶空間を含む、任意の好適な記憶デバイスであり得る。I/Oデバイス112は、画像をデジタルカメラ100のディスプレイ(図1に図示せず)に出力する、またはこれをネットワークを経由して別のデバイスに伝送することができる。
図1は、図1に示されない他の構成要素を含み得る、デジタルカメラ100の例示的構成要素のいくつかのみを図示することを理解されたい。例えば、デジタルカメラ100はまた、フラッシュ、ズームおよび焦点モジュール、アンチエイリアシングフィルタ、バッテリ、ならびにデジタルカメラにおいて一般的に見出される他の構成要素を含むことができる。カメラASIC108は、カメラASIC108によって処理されないデジタルカメラの動作を実施するように設計される中央処理ユニット(CPU)に接続されることができる。
本開示の実施形態は、概して、図1に図示される画像センサ104および画像センサ104と関連付けられるシャッタ機構を対象とする。デジタルカメラ100におけるシャッタ機構は、画像がカメラ100によって取得されるとき、画像センサ104のセンサアレイの露出を制御することができる。シャッタ機構は、電子的、機械的、またはその両方の組み合わせであり得る。タイミング機構が、カメラに内蔵され、画像センサのピクセルに対する光露出時間を制御し、シャッタ機構に応じて、ピクセルが露出される順序を制御することができる。現在、殆どのデジタルカメラは、2つのタイプのシャッタ機構のうちの1つ、すなわち、グローバルシャッタまたはローリングシャッタのいずれかを採用している。以下の段落に説明されるように、これらの2つのタイプのシャッタ機構は、その個別の利点および欠点を有する。
グローバルシャッタは、典型的には、電荷結合素子(CCD)画像センサを伴うカメラにおいて見出されることができる。図2aは、グローバルシャッタを伴うCCD画像センサ200の例示的構成要素を図示する、簡略化されたブロック図である。例証を目的として、CCD画像センサ200は、4×4の2次元ピクセルアレイ202を含むように示されるが、画像センサは、任意の構成において整合されるピクセル、または任意の好適な構成において配列されるピクセルの任意の数の列および行を含み得ることを理解されたい。実際に、CCD画像センサが数百またはさらには数千のピクセルの行および/または列を有することは、珍しくはない。各ピクセルは、画像センサ200のフォトサイトに対応し、光子を捕捉することが可能であり得る。ピクセル202は、電子転送レジスタ204に接続されることができ、これは、順に、限定ではないが、増幅器およびA/Dコンバータを含み得る、読出電子機器206に接続されることができる。また、CCD画像センサ200は、明確化を目的として図2aから省略される他の構成要素を含み得ることを理解されたい。
図2aのイメージャ200のグローバルシャッタは、シャッタが「開」であるとき、光が事前判定された時間周期(シャッタ時間または露出時間)にわたってイメージャ200の全センサアレイに到達し得るように動作することができる。その時間中、画像センサ200の全てのピクセル202は、並行して光を捕捉する(例えば、電荷を蓄積する)ことができる。シャッタが遮断されると、光は、もはやセンサに到達することはできず、ピクセルは、非アクティブな状態になり得る。CCDデジタルカメラにおけるグローバルシャッタは、露出を制御するために、電子的に制御されることができる。
捕捉が完了した後、ピクセル内に収集された信号は、例えば、一度に1ピクセルずつ、電子転送レジスタ204に転送されることができ、そこから、それらは、読出電子機器206によって読み出され、処理されることができる。本プロセスは、信号を増幅することおよび/またはそれらをデジタルフォーマット(例えば、デジタル数字)に変換することを含むことができ、これは、結果画像を形成することができる。
デジタル撮像では、結果画像は、いくつかのキーポイントを含むことができ、これらは、画像の1つ以上の高度に位置特定可能かつ認識可能な特徴を含む、画像の小区分(例えば、5×5または10×10ピクセルブロック)によって定義されることができる。キーポイントは、未加工ピクセルのうちの1つ以上を処理することによって生産されることができる。各キーポイントは、これが連続的に取得される一連の画像の異なるフレームにおいて認識され得るようにキーポイントを記述する、記述子を含むことができる。カメラの移動およびこれが向いている方向は、異なるフレームからの種々のキーポイントを合致させることによって判定されることができる。本アプローチは、多くの場合、SLAM(同時位置特定およびマッピング)アルゴリズムを実装するときに使用される。
グローバルシャッタイメージャによって採用される電子転送レジスタ204および読出電子機器206に対する本連続的電荷転送アプローチは、特に、画像センサが多数のピクセルを含む場合、イメージャの各ピクセルからのデータが連続的に読み出される必要があるため、時間がかかり得る。それは、最後のピクセル(グローバルシャッタイメージャ内の全ての他のピクセルとともに)の露出と、これらのピクセルが分析され得るとき(すなわち、全ての他のピクセルが分析された後)との間の遅延が有意であり得ることを意味し得る。言い換えると、これらの最後のピクセルから読み出された情報が最終的に処理されるとき、カメラと風景との間に相対的移動が存在した場合、これは、必ずしも、風景に対するカメラの現在の位置を正確に反映するわけではない。例えば、典型的なグローバルシャッタCCDイメージャが、全てのピクセル値を読み出し、画像のキーポイントを計算するために、露出間で約15ミリ秒かかる場合、最後のピクセルからの情報が分析されるまでに15ミリ秒の遅延が存在し得、これは、例えば、カメラの移動(または捕捉されている風景における移動)の判定に影響を及ぼし得る。これは、グローバルシャッタイメージャの主要な欠点のうちの1つである。
グローバルシャッタは、全てのピクセルを同時に露出することによって、CCD画像センサが画像全体を全く同一の瞬間に捕捉することを可能にするため、グローバルシャッタの利点のうちの1つは、結果画像が、通常、比較的に高い品質を有し得、モーションアーチファクト等の有意な望ましくない効果がないことである。全てのキーポイント(例えば、小ピクセルブロック)は、完全に保たれ、一連の連続的画像において容易に識別可能であり得る。
第2のタイプのシャッタ機構であるローリングシャッタは、典型的には、相補型金属酸化膜半導体(CMOS)画像センサを伴うデジタルカメラにおいて見出されることができる。グローバルシャッタとは対照的に、ローリングシャッタは、個々のピクセルまたは個々のピクセルの列/行が連続的に露出されることを可能にすることができ、したがって、第1のピクセル(または第1のピクセルの列/行)における情報は、次のピクセル(または次のピクセルの列/行)が光に露出されている間に読み出されることができる。CMOS画像センサは、ピクセル(またはピクセルの列/行)を体系的に事前判定された順序でオン/オフにすることによって、本ローリング効果を達成することができる。
図2bは、ローリングシャッタを伴うCMOS画像センサ210の例示的構成要素を図示する、ブロック図である。例証を目的として、CMOS画像センサ210は、4×4の2次元ピクセルアレイを含むように示されるが、画像センサは、任意の構成において整合される、または任意の好適な構成において配列されるピクセルの任意の数の列および行を有し得ることを理解されたい。図2bの2次元ピクセルアレイの各ピクセル211、212、213は、光を電子信号に変換することが可能なフォトダイオードであり得る。画像センサ210にオーバーレイする導電性相互接続214、218のグリッドが、タイミングおよび読出信号を印加するために、ピクセルを行および列で接続することができる。特に、相互接続は、クロックおよびタイミング制御モジュール216から各ピクセル(または各ピクセルの行/列)にタイミング信号を伝送するために、行信号ライン(集合的に214)を含むことができる。タイミング信号は、いつ各個々のピクセルまたはピクセルの行が光に露出されるか、また、いつ各ピクセルからの電子信号が読み出されるかを制御することができる。相互接続はまた、ピクセルからの信号を読み出し、さらなる処理のためにそれらを読出電子機器(集合的に220)に伝送するために、垂直出力ライン(集合的に218)を含むことができる。図2bに図示されるように、各出力ラインは、別個の読出電子機器220に接続されることができる。出力ライン毎の読出電子機器220は、例えば、増幅器およびA/Dコンバータを含むことができ、これらは、信号を増幅し、デジタルフォーマット(例えば、デジタル数字)に変換することができる。デジタル情報は、最終画像を組み立てるために使用されることができる。いくつかのCMOSセンサでは、読出電子機器220の少なくともいくつかが、画像センサの個々のピクセル内に内蔵されることができる。また、図2bのCMOS画像センサ210は、明確化を目的として図から省略される他の構成要素を含み得ることを理解されたい。
CMOSセンサ210の本アーキテクチャは、そのピクセル212のそれぞれ(または各ピクセルの行/列)が独立してオン/オフにされ、ピクセル(またはピクセルの行/列)からの信号が連続的に読み出されることを可能にする。動作時、クロックおよびタイミング制御モジュール216は、タイミング信号を個々のピクセル(または個々のピクセルの行/列)に送信し、その露出のタイミングを制御することができる。1つのピクセルが露出されるとすぐに、その値が、読み出されることができる。事実上、露出と読出との間にいかなる遅延も存在しない。加えて、各ピクセル(またはピクセルの行/列)に関するシャッタリング効果は、全てのピクセルを横断してローリングベースで起こるようにプログラムされることができる。例えば、第1のピクセル211のピクセル値が読み出されているとき、第2のピクセル212は、その捕捉プロセスを終了することができる。同様に、第2のピクセル212のピクセル値が読み出されているとき、第3のピクセル213は、光を捕捉することができる。同様に、ある行のピクセルがともに露出され、読み出されているとき、次の行は、前の行がその読出を終了する前に光を捕捉し始めることができる。本質的に、全てのピクセル(またはピクセルの行)は、全ての他のピクセル(または次のピクセルの行)よりも少し後で読み出される。全てのピクセル(または行)読出は、例えば、1マイクロ秒分の1だけその近傍に対して非対称にされることができる。したがって、殆どの場合、少なくとも1つのピクセルが、露出され、任意の個々のピクセルに対する露出と読出との間には、殆ど遅延が存在しない。これは、ローリングシャッタイメージャを伴うカメラが、ピクセルの少なくともいくつかに関して、ピクセルの露出とピクセルから読み出される情報の分析との間の遅延を低減させることを可能にする。低減は、特に、それらがグローバルシャッタイメージャによって処理される場合と比較して、最後に露出され、読み出されるピクセルに関して有意であり得る。
しかしながら、ローリングシャッタは、個々のピクセル(または個々のピクセルの行/列)に対する露出時間をずらすため、異なるピクセルによって捕捉される情報は、時間内の異なる瞬間に捕捉されるであろう。捕捉されている風景内の物体とカメラとの間に相対的移動が存在する場合、結果画像は、異なるピクセルのずらされた露出に起因して、ウォブル、スキュー、スミア等の顕著なモーションアーチファクトを有し得る。これは、ローリングシャッタイメージャの欠点のうちの1つである。加えて、キーポイント内の全てのピクセルが同時に露出されるわけではないことの結果として、1つ以上のキーポイントが、認識できない程度に歪曲され得る。歪曲されたキーポイントは、もはや一連の連続的フレーム内の対応する特徴を識別することが可能ではなく、したがって、カメラのその独自の移動または捕捉されている物体の移動を追跡する能力に影響を及ぼし得る。
要するに、上記に議論されるシャッタ機構の両方が、有意な欠点を有し、すなわち、グローバルシャッタイメージャは、ピクセル露出と分析との間に遅延を引き起こし得、ローリングシャッタイメージャは、結果として生じる画像に望ましくない効果(例えば、歪み)を引き起こし得る。これらの短所を最小限にするために、以下の実施形態は、本明細書では「セミグローバルシャッタ」と称される、第3のタイプのシャッタ機構を伴う画像センサを開示する。セミグローバルシャッタは、ピクセル露出と分析との間の遅延を低減させる一方、ある形態の望ましくない歪みを低減させることができる。
具体的には、セミグローバルシャッタを伴う画像センサは、その2次元ピクセルアレイを複数のピクセルブロックに分割(または群化)し、各ブロックは、画像面積のある領域内に複数のピクセルを含むことができる。セミグローバルシャッタは、同一のブロック内の全てのピクセルが同時に露出され、群として読み出されることを可能にすることができる。したがって、セミグローバルシャッタは、少なくとも各ピクセルブロック内でモーションアーチファクトのない画像を捕捉することが可能であり得る。ブロックは、ローリングベースで露出され、読み出されることができる。つまり、1つのピクセルのブロックからのデータが読み出され、処理されている間、次のピクセルのブロックが、露出されることができる。これは、ブロックが重複または連続的様式で露出されることを可能にすることができ、これは、グローバルシャッタイメージャが典型的に悩まされる連続的露出間の遅延を有意に低減または排除することができる。これは、速度の利点を提供することができる。
加えて、セミグローバルシャッタは、多くの場合、ローリングシャッタイメージャを用いて取得される画像と関連付けられ得るモーションアーチファクトの量を低減させることができる。種々の実施形態では、これは、ピクセルを、カメラの要件および/または意図される使用によるピクセルブロックの最適な数に分割することによって達成されることができる。上記に議論されるように、ローリングシャッタは、典型的には、1つのピクセルまたは1つのピクセルの行/列を一度に露出し、読み出すようにプログラムされる。多数のピクセル(またはピクセルの行)を伴う画像センサに関して、ローリング露出によって引き起こされる各ピクセルまたはピクセルの行の露出時間における差異は、実質的であり、最終画像において容易に気付くモーションアーチファクトをもたらし得る。セミグローバルシャッタは、複数のピクセルの行/列のブロックを通して一度にロールすることができる。実施例として、各ブロックが10行を有する場合、潜在的モーションアーチファクトの量は、一度に1行ずつピクセルを通してロールするローリングシャッタと比較して、約10分の1に効果的に低減され得る。理想的には、ピクセルブロックは、セミグローバルシャッタイメージャを伴う任意の特定のカメラに関するフレームレートと画像品質との間のバランスを達成するように定義されることができる。
図3は、セミグローバルシャッタを伴う画像センサ300の例示的構成要素を図示する、ブロック図である。センサ300の画像面積は、3×3レイアウトにおける9つのピクセルブロックに分割されることができる。例えば、上部の行は、ピクセルブロック301、302、303を含むことができる。各ブロックは、複数のピクセルを含むことができる。ブロック303の拡大図が、ブロック303が4×4アレイのピクセルを含むことを示す。本実施形態では、各ブロックは、同一の構成で配列される同数のピクセルを含むことができる。しかしながら、本開示は、そのように限定されず、他の実施形態では、ブロックは、異なる数および/または配列のピクセルを含むことができる。ブロック内の全てのピクセル312は、光を電子信号に変換することが可能なセンサ要素(すなわち、フォトサイト)であり得る。
いくつかのブロック信号ライン(集合的に304)が、タイミング信号をクロックおよびタイミング制御モジュール308から9つのピクセルブロックのそれぞれに伝送することができる。タイミング信号は、いつ各ピクセルブロックが光に露出されるか、また、いつピクセルブロックからの電子信号が読み出されるかを制御することができる。3つのブロック信号ラインのみが図3に示されているが、全てのピクセルブロックが、クロックおよびタイミング制御モジュール308に別個に接続され得、独立してトリガされ得ることを理解されたい。いくつかの出力ライン306が、処理のために電子信号を各ピクセルブロック内のピクセルから読出電子機器316に伝送することができる。3つの垂直ラインのみが、明確化を目的として図3に出力ライン306としてマーキングされる。しかしながら、全てのピクセルブロックが、読出電子機器316に別個に接続され得、各ピクセルブロックからの信号が、並行して読み出され得ることを理解されたい。本実施形態における読出電子機器316は、9つのピクセルブロックのそれぞれから受信された信号を並行して処理するように設計されることができる。図示されるように、読出電子機器316は、それぞれが9つのピクセルブロックのうちの1つからの信号の処理に関与する、9つの別個のサブモジュールを含むことができる。例えば、サブモジュール321、322、323は、それぞれ、ピクセルブロック301、302、303から信号を読み出すことができる。各サブモジュールは、例えば、それぞれ、信号を増幅し、デジタルフォーマット(例えば、デジタル数字)に変換するための増幅器およびA/Dコンバータを含むことができる。デジタル情報は、最終画像を組み立てるために処理されることができる。また、図3のセミグローバルシャッタイメージャ300は、明確化を目的として図から省略される他の構成要素を含み得ることを理解されたい。図3に図式的に示される例示的配列は、任意の好適な数のピクセルブロックおよびその個別のサブモジュールに拡張され得る。
動作時、セミグローバルシャッタは、ピクセルブロックをローリングベースで露出するようにプログラムされることができる。例えば、同一のピクセルブロック内で、全てのピクセルは、同時に露出されることができ、ピクセルブロック内の各ピクセルからの信号は、一度に1つのピクセルずつ読み出され、出力ラインのうちの1つを経由して読出電子機器316内の対応するサブモジュールに転送されることができる。各ピクセルブロックは、読出が完了するまで再び露出され得ない。しかしながら、第1のピクセルブロック301が読み出されている間、第2のピクセルブロック302が、露出されることができる。同様に、第2のピクセルブロック302内のピクセルからの信号が読み出されている間、第3のピクセルブロック303が、露出されることができる。異なるブロックの露出および読出における本重複は、典型的には、グローバルシャッタイメージャにおける露出間で起こる遅延を最小限にする、または排除することができる。
図4は、図3のセミグローバルシャッタイメージャ300におけるピクセルブロック301、302、303の3つの露出(上部)および読出(底部)の例示的タイムラインを図示する。図示されるように、各ブロック301、302、303の露出および読出は、連続的であり得るが、連続的ブロックのトリガは、重複することができる。各ピクセルブロックは、その前のもののわずかに後に露出され、露出遅延が、現在のピクセルブロックがその露出を完了する前に1つ以上の先に露出されたピクセルブロックの読出を可能にすることができる。実施例として、シーケンス内のピクセルブロック302の露出は、前のピクセルブロック(例えば、ピクセルブロック301)に関する読出時間が完了し得る前にトリガされ得る。同様に、ブロックピクセル303の露出は、ブロック302に関する読出時間が完了し得る前にトリガされ得る。これは、イメージャからの出力デジタル転送帯域幅の使用を増加させることができる。全てのピクセルブロック(図4のタイムラインに示されない6つを含む)が露出および読出のサイクルを完了すると、第1のブロック(すなわち、ブロック301)は、いずれの遅延も伴わずに再び露出されることができる。
代替として、ピクセルブロックは、連続的にトリガされることができ、各ブロックは、事前のピクセルブロックがその露出を完了した後のみその露出を開始することができる。例えば、これは、モーションからの不明瞭化効果が積分時間の同じサブウィンドウを含まない場合があるため、コンピュータビジョン用途に対して好適であり得る。重複または連続的トリガが実装されるかにかかわらず、ピクセルブロックは、その露出時間が完了した直後に読み出されることができる。
ピクセルブロックの露出とピクセルブロック内のピクセルによって捕捉される情報の分析との間の遅延があまり存在しないため、セミグローバルシャッタイメージャによって生成される情報は、ピクセルからの情報が分析され得る前に画像全体が読み出されることを要求するであろう、同一ピクセル分解能のグローバルシャッタイメージャよりも、カメラおよび/または捕捉されている風景の場所および/または移動を反映する際に正確であり得る。セミグローバルシャッタイメージャにおける1つの潜在的遅延が、同一のブロック内の個々のピクセルからの信号が読み出されるときに起こり得る。しかしながら、本遅延は、匹敵するグローバルシャッタイメージャにおける遅延よりも有意に短くあり得る。例えば、グローバルシャッタイメージャ上の遅延が最後に読み出されるピクセルに関して15ミリ秒である場合、同一のピクセル(または各ブロック内の最後のピクセルのいずれか)に関するセミグローバルシャッタイメージャ上の遅延は、セミグローバルシャッタイメージャが同一サイズの10個のピクセルブロックに分割される場合、わずか1.5ミリ秒である。故に、セミグローバルシャッタイメージャを用いて捕捉される画像は、画像内のキーポイントを追跡するために使用されるもの等の機械可読画像に関して優り得る。
セミグローバルシャッタおよびローリングシャッタの両方が、風景全体のスナップショットを取得するのではなく、風景を横断して走査することによって画像を取得し得るが、セミグローバルシャッタは、いくつかの用途に関して、カメラと風景との間に相対的移動が存在しないとき、ローリングシャッタよりも良好な画像品質を達成することができる。これは、セミグローバルシャッタイメージャにおけるピクセルブロックの数が、ローリングシャッタイメージャにおけるピクセルまたは行の数よりもはるかに少なくあり得るためである。ピクセルをより少ないピクセルブロックに分割することによって、最終画像におけるモーションアーチファクトは、限定されることができる。ピクセルブロックの連続的露出によって影響を受け得る画像内の唯一の領域は、ブロック間の境界である。対照的に、ローリングシャッタは一度に1行ずつピクセルを通してロールするため、モーションアーチファクトは、ローリングシャッタイメージャを伴うカメラによって取得される画像上の任意の場所に出現し得る。しかしながら、これらの画像は、画像内のキーポイントを追跡するために使用されるもの等の機械可読画像に対して好適であり得る。
実施例として、セミグローバルシャッタイメージャの9×9ピクセルアレイは、それぞれが3つのピクセルの行を含む3つのピクセルブロックに分割され、3つのピクセルブロック間に2つの境界をもたらすことができる。同一の9×9ピクセルアレイがローリングシャッタを使用して行毎に読み出される場合、9つの行間に8つの境界が存在する。それは、セミグローバルシャッタイメージャを用いて取得されるものよりも、ローリングシャッタイメージャを用いて取得される画像内のモーションアーチファクトによって影響を受け得る有意により多くの面積に対応する。加えて、セミグローバルシャッタにおけるより少ない境界はまた、シャッタがピクセルブロックを通してロールするとき、より少ないキーポイントが認識できない程度に歪曲されるであろうことを意味し得る。
セミグローバルシャッタは、画像アレイを任意の好適な数のピクセルブロックに分割することができ、各ピクセルブロックは、任意の好適な数のピクセルを有することができる。種々の実施形態では、不等サイズ、非コンパクト、または非連続的構成のものを含む、任意の配列のピクセルブロックが、可能である。好ましくは、ピクセルブロックの数は、匹敵するグローバルシャッタイメージャよりも短いピクセル露出と分析との間の遅延を達成すること、および匹敵するローリングシャッタイメージャよりも結果画像においてある形態の歪みを起こしにくいことの両方のために設定されることができる。例えば、セミグローバルシャッタイメージャの1000×1000ピクセル画像面積を10個のブロック(例えば、それぞれ、100×1000ブロック)に分割することを所望し得る。これは、同一の1000×1000ピクセル画像面積を伴うグローバルシャッタイメージャと比較して、少なくともピクセルのいくつかに関して、ピクセル露出と分析との間の遅延を10分の1に低減させることができる。加えて、ローリングシャッタ効果(例えば、モーションアーチファクト)は、ローリングシャッタイメージャの場合であろうような画像面積全体を通してではなく、ピクセルブロック間の境界においてのみ問題となり得る。
ピクセル露出と分析との間の短い遅延を要求するカメラに関して、画像面積を、それぞれがより少ないピクセルを含む多数のピクセルブロックに分割させるセミグローバルシャッタイメージャを有することが、理想的であろう。対照的に、より短い遅延周期にわたって画像品質に有利である(例えば、ある形態の歪みを最小限にする)カメラに関して、少数のピクセルブロックを伴うセミグローバルシャッタイメージャが、より望ましくあり得る。
セミグローバルイメージャは、任意の好適な幾何学的形状および配列のピクセルブロックを含み得る。図3は、例示的ブロックが同一サイズの正方形である一実施形態を図示するが、図5a-5cは、種々のセミグローバルシャッタイメージャに対して好適なピクセルブロックの他の例示的分割を図示する。特に、図5aは、それぞれが同数のピクセルの行を含む、5つの(またはN個の数の)長方形ピクセルブロック510に水平に分割される画像面積を図示する。図5bは、それぞれが同数のピクセルの列を有する、5つの(またはM個の数の)ピクセルブロック520に垂直に分割される画像面積を図示する。図5cは、異なる形状および/またはサイズである5つのピクセルブロック530の構成を図示する。上記に議論されるように、ピクセルブロックの数および/または幾何学的形状は、ピクセルブロック間の面積が最小に保たれるように最適化されることができる。これは、ローリングシャッタイメージャよりもセミグローバルシャッタイメージャに対して有意な画像品質における利点を提供することができる。
一実施形態では、(例えば、図3に示されるように)比較的に高い分解能画像センサの画像面積を複数のピクセルブロックに分割する代わりに、セミグローバルシャッタは、複数の比較的に低い分解能イメージャを同一の構成において組み立てることによって実装されることができる(例えば、図3の各ブロックが、スタンドアロン低分解能イメージャによって代用される)。これらの比較的に低い分解能イメージャは、そのトリガを時間内でずらさせ、中央コントローラによって制御させることができる。各イメージャは、ピクセルブロックあたりの伝送がイメージャのサイズの逆関数であるようなピクセルクロックレートで個別に動作することができる。一実施形態では、低分解能イメージャのためのウエハを切断するとき、個々のイメージャのためのダイは、切断によって分離されない場合がある。
本開示の用途は、上記に言及される実施形態に限定されないことを理解されたい。当業者が、上記の説明に従って修正または置換を成すことが可能であり、それらの修正ならびに置換は全て、本開示の添付される請求項の範囲内に全て該当するものとする。

Claims (11)

  1. デバイスであって、
    少なくとも第1のブロックおよび第2のブロックを含む複数のブロックに分割された2次元ピクセルアレイであって、前記複数のブロックの中の前記少なくとも第1のブロックおよび第2のブロックのそれぞれは、少なくとも2つの異なる行および2つの異なる列にわたるピクセルを備える、2次元ピクセルアレイと、
    画像を捕捉するために前記複数のブロックの中の前記少なくとも第1のブロックおよび第2のブロックを連続的に露出するように構成されるシャッタであって、前記複数のブロックの中のブロックを露出することは、当該ブロックの全てのピクセルを同期して露出することを含む、シャッタと、
    前記複数のブロックの中の各個別のブロックのための別個の読出回路であって、前記読出回路は、個別のブロック内のピクセルからの前記画像の信号を受信および処理することが可能である、別個の読出回路と
    を備え
    前記複数のブロックの中の前記少なくとも第1のブロックおよび第2のブロックを露出することは、前記第2のブロックの露出と前記第1のブロックの露出との間の遅延を伴って前記第1のブロックおよび前記第2のブロックを露出することを含み、前記遅延は、前記第2のブロックの露出が完了する前に前記第1のブロックの読出を可能にするのに十分である、デバイス。
  2. 前記2次元ピクセルアレイは、M個の行のピクセルを含み、Mは、100以上であり、
    前記複数のブロックの中の前記少なくとも第1のブロックおよび第2のブロックの各々の高さは、M個の行の組み合わせられた高さの少なくとも20分の1であるが、M個の行の前記組み合わせられた高さの5分の1未満であり、
    前記2次元ピクセルアレイは、N個の列を含み、Nは、100以上であり、
    前記複数のブロックの中の前記少なくとも第1のブロックおよび第2のブロックの各々の幅は、N個の列のピクセルの組み合わせられた幅の少なくとも20分の1であるが、N個の列の前記組み合わせられた幅の5分の1未満である、請求項1に記載のデバイス。
  3. 前記複数のブロックの中のブロックのうちの少なくとも2つは、異なる数のピクセルを含む、請求項1に記載のデバイス。
  4. 前記複数のブロックの中のブロックのうちの少なくとも2つは、異なる幾何学的形状を有する、請求項1に記載のデバイス。
  5. 前記複数のブロックの中の前記少なくとも第1のブロックおよび第2のブロックは、同数のピクセルを含む、請求項1に記載のデバイス。
  6. タイミング信号を前記複数のブロックの中の前記少なくとも第1のブロックおよび第2のブロックに伝送するように構成されるタイミング制御モジュールをさらに備え、前記タイミング信号は、前記少なくとも第1のブロックおよび第2のブロックの露出のシーケンスを開始するように構成される、請求項1に記載のデバイス。
  7. 前記信号を増幅するように構成される増幅器と、前記信号をデジタルデータに変換するように構成されるアナログ/デジタルコンバータとをさらに備える、請求項1に記載のデバイス。
  8. 前記シャッタは、電子的に制御される、請求項1に記載のデバイス。
  9. 画像センサを介して画像を捕捉する方法であって、前記画像センサは、少なくとも第1のブロックおよび第2のブロックを含む複数のブロックに分割された2次元ピクセルアレイを含み、前記方法は、
    前記画像を捕捉するために前記複数のブロックの中の前記少なくとも第1のブロックおよび第2のブロックを連続的に露出することであって、前記複数のブロックの中の前記少なくとも第1のブロックおよび第2のブロックのそれぞれは、少なくとも2つの異なる行および2つの異なる列にわたるピクセルを備え、前記複数のブロックの中のブロックを露出することは、当該ブロックのピクセルを同期して露出することを含む、ことと、
    個別のブロックと関連付けられた別個の読出回路を用いて前記複数のブロックの中の前記少なくとも第1のブロックおよび第2のブロックを読み出すことと、
    前記複数のブロックの中の前記少なくとも第1のブロックおよび第2のブロックから前記画像の信号を連続的に読み出すことと
    を含み、
    前記複数のブロックの中の前記少なくとも第1のブロックおよび第2のブロックを露出することは、前記第2のブロックの露出と前記第1のブロックの露出との間の遅延を伴って前記第1のブロックおよび前記第2のブロックを露出することを含み、前記遅延は、前記第2のブロックの露出が完了する前に前記第1のブロックの読出を可能にするのに十分である、方法。
  10. 前記2次元ピクセルアレイは、M個の行のピクセルを含み、Mは、100以上であり、
    前記複数のブロックの中の前記少なくとも第1のブロックおよび第2のブロックの各々の高さは、M個の行のピクセルの組み合わせられた高さの少なくとも20分の1であるが、M個の行の前記組み合わせられた高さの5分の1未満であり、
    前記2次元ピクセルアレイは、N個の列を含み、Nは、100以上であり、
    前記複数のブロックの中の前記少なくとも第1のブロックおよび第2のブロックの各々の幅は、N個の列のピクセルの組み合わせられた幅の少なくとも20分の1であるが、N個の列の前記組み合わせられた幅の5分の1未満である、請求項9に記載の方法。
  11. タイミング信号を前記複数のブロックの中の前記少なくとも第1のブロックおよび第2のブロックに伝送することをさらに含み、前記タイミング信号は、前記少なくとも第1のブロックおよび第2のブロックの露出のシーケンスを開始するように構成される、請求項9に記載の方法。
JP2020171877A 2015-05-19 2020-10-12 セミグローバルシャッタイメージャ Active JP7128872B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022028026A JP7438251B2 (ja) 2015-05-19 2022-02-25 セミグローバルシャッタイメージャ

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201562163730P 2015-05-19 2015-05-19
US62/163,730 2015-05-19

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2017560252A Division JP7029961B2 (ja) 2015-05-19 2016-05-19 セミグローバルシャッタイメージャ

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022028026A Division JP7438251B2 (ja) 2015-05-19 2022-02-25 セミグローバルシャッタイメージャ

Publications (2)

Publication Number Publication Date
JP2021013186A JP2021013186A (ja) 2021-02-04
JP7128872B2 true JP7128872B2 (ja) 2022-08-31

Family

ID=57320790

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2017560252A Active JP7029961B2 (ja) 2015-05-19 2016-05-19 セミグローバルシャッタイメージャ
JP2020171877A Active JP7128872B2 (ja) 2015-05-19 2020-10-12 セミグローバルシャッタイメージャ
JP2022028026A Active JP7438251B2 (ja) 2015-05-19 2022-02-25 セミグローバルシャッタイメージャ

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2017560252A Active JP7029961B2 (ja) 2015-05-19 2016-05-19 セミグローバルシャッタイメージャ

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2022028026A Active JP7438251B2 (ja) 2015-05-19 2022-02-25 セミグローバルシャッタイメージャ

Country Status (11)

Country Link
US (4) US9948874B2 (ja)
EP (1) EP3298773A4 (ja)
JP (3) JP7029961B2 (ja)
KR (2) KR102511493B1 (ja)
CN (1) CN108141575B (ja)
AU (1) AU2016264606B2 (ja)
CA (1) CA2986476A1 (ja)
HK (1) HK1252419A1 (ja)
IL (4) IL287335B (ja)
NZ (2) NZ737677A (ja)
WO (1) WO2016187469A1 (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102511493B1 (ko) 2015-05-19 2023-03-16 매직 립, 인코포레이티드 세미-글로벌 셔터 이미저
CN107886476B (zh) * 2016-09-30 2021-06-15 联咏科技股份有限公司 纹理合成的方法以及使用该方法的图像处理设备
US10873714B2 (en) 2017-11-09 2020-12-22 Semiconductor Components Industries, Llc Image sensor with multiple pixel access settings
CN110413805B (zh) * 2018-04-25 2022-02-01 杭州海康威视数字技术股份有限公司 一种图像存储方法、装置、电子设备及存储介质
US11141645B2 (en) 2018-09-11 2021-10-12 Real Shot Inc. Athletic ball game using smart glasses
US11103763B2 (en) 2018-09-11 2021-08-31 Real Shot Inc. Basketball shooting game using smart glasses
US11334154B2 (en) 2019-01-25 2022-05-17 Magic Leap, Inc. Eye-tracking using images having different exposure times
CN109862281B (zh) * 2019-01-31 2021-01-08 中国科学院长春光学精密机械与物理研究所 全局快门方式下曝光时间可调的Camera Link成像系统
JP7423659B2 (ja) 2019-05-20 2024-01-29 マジック リープ, インコーポレイテッド 眼姿勢を推定するためのシステムおよび技法
JP7451188B2 (ja) 2020-01-24 2024-03-18 三星電子株式会社 イメージセンサ
CN111601053B (zh) * 2020-05-20 2021-07-27 上海炬佑智能科技有限公司 一种图像传感器、全局快门控制方法及计算机存储介质
CN111728578B (zh) * 2020-06-09 2023-09-01 重庆金山科技(集团)有限公司 胶囊内镜控制方法及胶囊内镜
WO2022093657A1 (en) 2020-10-28 2022-05-05 Gigajot Technology, Inc. Dual-progression pixel readout
KR20220077735A (ko) 2020-12-02 2022-06-09 삼성전자주식회사 이미지 센서 및 이미지 센서의 픽셀 어레이
CN113674685B (zh) * 2021-08-25 2023-02-24 维沃移动通信有限公司 像素阵列的控制方法、装置、电子设备和可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011222708A (ja) 2010-04-08 2011-11-04 Sony Corp 固体撮像装置、固体撮像装置の製造方法、および電子機器
JP2013130643A (ja) 2011-12-20 2013-07-04 Olympus Corp オートフォーカス装置、撮像装置、及びオートフォーカス方法
WO2015001646A1 (ja) 2013-07-04 2015-01-08 株式会社ニコン 電子機器、電子機器の制御方法、及び制御プログラム
JP2015046737A (ja) 2013-08-28 2015-03-12 株式会社ニコン 撮像素子および撮像装置

Family Cites Families (76)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3668611B2 (ja) 1998-06-19 2005-07-06 株式会社東芝 画像撮影装置及びその方法
US20030052989A1 (en) 2001-07-18 2003-03-20 Bean Heather Noel Non-polarizing shutter/CCD module
JP3909691B2 (ja) * 2002-09-12 2007-04-25 株式会社日立製作所 車載用画像処理装置
JP2007532025A (ja) * 2003-07-14 2007-11-08 ユニバ−シティ オブ ロチェスタ− ピクセル・レベルのアナログ/デジタル変換用の多重化入力分離型のシグマ−デルタ・アナログ/デジタル変換器の設計
JP2006148861A (ja) 2004-10-21 2006-06-08 Matsushita Electric Ind Co Ltd 撮像信号処理装置及び方法
JP4561439B2 (ja) 2005-03-30 2010-10-13 株式会社デンソー 撮像装置
TW201101476A (en) * 2005-06-02 2011-01-01 Sony Corp Semiconductor image sensor module and method of manufacturing the same
US7466255B1 (en) * 2005-11-17 2008-12-16 University Of Rochester Multiplexed-input-separated Σ-Δ analog-to-digital converter for pixel-level analog-to-digital conversion utilizing a feedback DAC separation
US7564568B2 (en) * 2006-03-02 2009-07-21 Zygo Corporation Phase shifting interferometry with multiple accumulation
US7847846B1 (en) * 2006-05-16 2010-12-07 University Of Rochester CMOS image sensor readout employing in-pixel transistor current sensing
JP4252098B2 (ja) 2006-09-20 2009-04-08 三洋電機株式会社 光検出装置
JP2008092191A (ja) * 2006-09-29 2008-04-17 Fujifilm Corp 画像処理方法及び装置並びに画像形成方法及び装置
GB0709026D0 (en) * 2007-05-10 2007-06-20 Isis Innovation High speed imaging with slow scan cameras using pixel level dynami shuttering
TWI357262B (en) * 2007-11-14 2012-01-21 Novatek Microelectronics Corp Method for resetting image sensing operation and i
US8477146B2 (en) * 2008-07-29 2013-07-02 Marvell World Trade Ltd. Processing rasterized data
JP4854769B2 (ja) * 2009-06-30 2012-01-18 キヤノン株式会社 撮像装置、撮像システム及びそれらの制御方法
JP5521721B2 (ja) 2009-08-28 2014-06-18 ソニー株式会社 撮像素子およびカメラシステム
TWI559763B (zh) 2009-10-01 2016-11-21 索尼半導體解決方案公司 影像取得裝置及照相機系統
US8546737B2 (en) * 2009-10-30 2013-10-01 Invisage Technologies, Inc. Systems and methods for color binning
CN102273188B (zh) * 2009-11-06 2013-07-31 松下电器产业株式会社 拍摄装置
WO2011064980A1 (ja) * 2009-11-30 2011-06-03 パナソニック株式会社 撮像装置及びカメラ本体
EP2348704A1 (en) 2010-01-26 2011-07-27 Paul Scherrer Institut A single photon counting readout chip with neglibible dead time
US8488958B2 (en) * 2010-05-25 2013-07-16 Apple Inc. Scene adaptive auto exposure
US8625013B2 (en) * 2010-08-23 2014-01-07 Red.Com, Inc. Multi-exposure imaging
KR101710514B1 (ko) * 2010-09-03 2017-02-27 삼성전자주식회사 깊이 센서 및 이를 이용한 거리 추정 방법
US8488055B2 (en) * 2010-09-30 2013-07-16 Apple Inc. Flash synchronization using image sensor interface timing signal
JP5548087B2 (ja) * 2010-09-30 2014-07-16 オリンパス株式会社 演算装置および演算方法
US9066087B2 (en) * 2010-11-19 2015-06-23 Apple Inc. Depth mapping using time-coded illumination
JP5721405B2 (ja) * 2010-11-22 2015-05-20 キヤノン株式会社 撮像システム、その制御方法及びプログラム
US20120200749A1 (en) * 2011-02-03 2012-08-09 Ulrich Boettiger Imagers with structures for near field imaging
AU2012253254B2 (en) * 2011-05-12 2016-12-15 DePuy Synthes Products, Inc. Image sensor with tolerance optimizing interconnects
JP2013005017A (ja) * 2011-06-13 2013-01-07 Sony Corp 撮像装置、および撮像装置制御方法、並びにプログラム
JP2013055387A (ja) * 2011-09-01 2013-03-21 Sony Corp イメージセンサ、光量計測方法及び顕微鏡システム
US8649084B2 (en) * 2011-09-02 2014-02-11 Sipix Imaging, Inc. Color display devices
CA2847296C (en) * 2011-10-17 2017-09-19 Kabushiki Kaisha Toshiba Encoding device, decoding device, encoding method, and decoding method
TWI550571B (zh) * 2011-11-09 2016-09-21 友達光電股份有限公司 立體顯示面板及其驅動方法
IN2014DN08388A (ja) * 2012-03-30 2015-05-08 Nikon Corp
JP2013219408A (ja) * 2012-04-04 2013-10-24 Canon Inc 放射線撮像装置、放射線撮像システム、及び、放射線撮像装置の制御方法
EP2846538B1 (en) * 2012-05-02 2021-06-23 Nikon Corporation Imaging device
US9621827B2 (en) * 2012-05-25 2017-04-11 Sony Corporation Imaging element, driving method, and electronic apparatus
US9488823B2 (en) * 2012-06-07 2016-11-08 Complete Genomics, Inc. Techniques for scanned illumination
US20140022431A1 (en) * 2012-07-19 2014-01-23 Nanyang Innovation & Enterprise Office Cmos image sensor
KR101889932B1 (ko) * 2012-07-25 2018-09-28 삼성전자주식회사 촬영 장치 및 이에 적용되는 촬영 방법
US9040892B2 (en) * 2012-07-27 2015-05-26 Apple Inc. High dynamic range image sensor having symmetric interleaved long and short exposure pixels
US20140078556A1 (en) * 2012-09-19 2014-03-20 John T. Anderson, III Method of forming security markings
US9143673B2 (en) * 2012-09-19 2015-09-22 Google Inc. Imaging device with a plurality of pixel arrays
US8896894B2 (en) * 2012-09-19 2014-11-25 Eastman Kodak Company Method for forming structured microdots
US20140076180A1 (en) * 2012-09-19 2014-03-20 John T. Anderson, III System for forming security markings using structured microdots
KR20140047494A (ko) * 2012-10-12 2014-04-22 삼성전자주식회사 서브픽셀, 이를 포함하는 이미지 센서, 및 이미지 센싱 시스템
TW201419863A (zh) * 2012-11-13 2014-05-16 Hon Hai Prec Ind Co Ltd 影像切割系統及方法
TW201419865A (zh) * 2012-11-13 2014-05-16 Hon Hai Prec Ind Co Ltd 影像切割系統及方法
CN103837881B (zh) * 2012-11-20 2016-06-29 李洪弟 正电子发射断层成像的检测器模组及其制造方法
US8908041B2 (en) * 2013-01-15 2014-12-09 Mobileye Vision Technologies Ltd. Stereo assist with rolling shutters
JP6415454B2 (ja) * 2013-01-25 2018-10-31 テレダイン・イノバシオネス・ミクロエレクトロニカス・ソシエダッド・リミターダ・ユニパーソナルTeledyne Innovaciones Microelectronicas,Slu 画像センサ用の高度の関心領域機能
US9210345B2 (en) * 2013-02-11 2015-12-08 Tower Semiconductor Ltd. Shared readout low noise global shutter image sensor method
JP5962533B2 (ja) * 2013-02-13 2016-08-03 ソニー株式会社 固体撮像素子、駆動方法、および撮像装置
JP2014163690A (ja) * 2013-02-21 2014-09-08 Mitsutoyo Corp 形状測定装置
JP5984018B2 (ja) * 2013-02-21 2016-09-06 ソニー株式会社 固体撮像素子、および撮像装置
JP6056572B2 (ja) 2013-03-14 2017-01-11 株式会社ニコン 撮像装置
US8941742B2 (en) * 2013-04-08 2015-01-27 Iix Inc. Luminance measurement method, luminance measurement device, and image quality adjustment technique using the method and device
KR102039464B1 (ko) * 2013-05-21 2019-11-01 삼성전자주식회사 전자 센서와, 그의 제어 방법
JP2015019293A (ja) * 2013-07-11 2015-01-29 ソニー株式会社 固体撮像装置および方法、並びに、電子機器
US9503698B2 (en) * 2013-08-01 2016-11-22 Harvest Imaging bvba Image sensor with shading detection
KR102065633B1 (ko) * 2013-08-12 2020-01-13 삼성전자 주식회사 이미지 센서, 이의 동작 방법, 및 이를 포함하는 시스템
JP6294626B2 (ja) * 2013-10-08 2018-03-14 キヤノン株式会社 撮像素子、撮像装置、携帯電話機
TWI645707B (zh) * 2013-10-21 2018-12-21 索尼半導體解決方案公司 Solid-state imaging device and electronic device
US9584745B2 (en) 2013-11-11 2017-02-28 Semiconductor Components Industries, Llc Image sensors with N-row parallel readout capability
JP6305045B2 (ja) * 2013-12-10 2018-04-04 キヤノン株式会社 画像記録装置、画像記録方法およびプログラム
EP2903250A1 (de) * 2014-01-31 2015-08-05 WolfVision Innovation GmbH Bildaufnahmeverfahren mit adaptiver Markierlichtemission und ebensolches Bildaufnahmegerät
KR20150118213A (ko) * 2014-04-11 2015-10-22 에스케이하이닉스 주식회사 이미지 센싱 장치
US9357145B2 (en) * 2014-07-11 2016-05-31 Imperx, Inc. Area scan interline transfer CCD imaging device and apparatus with TDI scanning mode
JP2016076869A (ja) * 2014-10-08 2016-05-12 オリンパス株式会社 撮像装置、撮影方法、およびプログラム
US9723179B2 (en) * 2014-11-25 2017-08-01 Raytheon Company Time delay and integration (TDI) imaging sensor and method
KR102301620B1 (ko) * 2015-02-02 2021-09-14 삼성전자주식회사 빛 샘 보정을 위한 촬영 장치 및 방법
KR102511493B1 (ko) 2015-05-19 2023-03-16 매직 립, 인코포레이티드 세미-글로벌 셔터 이미저
JP6700924B2 (ja) * 2016-04-08 2020-05-27 キヤノン株式会社 画像処理装置、その制御方法及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011222708A (ja) 2010-04-08 2011-11-04 Sony Corp 固体撮像装置、固体撮像装置の製造方法、および電子機器
JP2013130643A (ja) 2011-12-20 2013-07-04 Olympus Corp オートフォーカス装置、撮像装置、及びオートフォーカス方法
WO2015001646A1 (ja) 2013-07-04 2015-01-08 株式会社ニコン 電子機器、電子機器の制御方法、及び制御プログラム
JP2015046737A (ja) 2013-08-28 2015-03-12 株式会社ニコン 撮像素子および撮像装置

Also Published As

Publication number Publication date
KR102511493B1 (ko) 2023-03-16
JP2022060543A (ja) 2022-04-14
IL287335B (en) 2022-07-01
NZ776286A (en) 2023-06-30
CA2986476A1 (en) 2016-11-24
IL255709B (en) 2021-02-28
KR102550584B1 (ko) 2023-06-30
JP2018516013A (ja) 2018-06-14
WO2016187469A1 (en) 2016-11-24
IL280427A (en) 2021-03-01
KR20230042135A (ko) 2023-03-27
JP7029961B2 (ja) 2022-03-04
CN108141575A (zh) 2018-06-08
US11272127B2 (en) 2022-03-08
US9948874B2 (en) 2018-04-17
CN108141575B (zh) 2020-10-30
KR20180010230A (ko) 2018-01-30
US10594959B2 (en) 2020-03-17
AU2016264606B2 (en) 2020-09-03
JP2021013186A (ja) 2021-02-04
US20180198995A1 (en) 2018-07-12
IL294178A (en) 2022-08-01
US20200228734A1 (en) 2020-07-16
IL294178B2 (en) 2023-07-01
IL280427B (en) 2021-12-01
JP7438251B2 (ja) 2024-02-26
IL294178B1 (en) 2023-03-01
IL287335A (en) 2021-12-01
US11019287B2 (en) 2021-05-25
EP3298773A4 (en) 2018-05-16
NZ737677A (en) 2023-06-30
US20160344957A1 (en) 2016-11-24
US20210329180A1 (en) 2021-10-21
AU2016264606A1 (en) 2017-12-14
EP3298773A1 (en) 2018-03-28
HK1252419A1 (zh) 2019-05-24
IL255709A (en) 2018-01-31

Similar Documents

Publication Publication Date Title
JP7128872B2 (ja) セミグローバルシャッタイメージャ
US9118883B2 (en) High dynamic range imaging with multi-storage pixels
JP5739640B2 (ja) 撮像素子及び撮像装置
US8908064B2 (en) Imaging apparatus and imaging method
US20090153710A1 (en) Digital imager with dual rolling shutters
US10225441B2 (en) Time delay and integration (TDI) imaging sensor and method
WO2012147515A1 (ja) 撮像装置及び撮像方法
US7129978B1 (en) Method and architecture for an improved CMOS color image sensor
US9491380B2 (en) Methods for triggering for multi-camera system
JP7118659B2 (ja) 撮像装置、撮像装置の制御方法及びプログラム
JP4852490B2 (ja) 撮像装置及びそのポストビュー画像生成方法
JP2006238205A (ja) 撮像装置及び撮像方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201012

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211203

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220225

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220412

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220705

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220805

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220819

R150 Certificate of patent or registration of utility model

Ref document number: 7128872

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150