JP2024516801A - 画像センサ及び画像処理システム - Google Patents

画像センサ及び画像処理システム Download PDF

Info

Publication number
JP2024516801A
JP2024516801A JP2023563161A JP2023563161A JP2024516801A JP 2024516801 A JP2024516801 A JP 2024516801A JP 2023563161 A JP2023563161 A JP 2023563161A JP 2023563161 A JP2023563161 A JP 2023563161A JP 2024516801 A JP2024516801 A JP 2024516801A
Authority
JP
Japan
Prior art keywords
current
signal
global
activity detection
activity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023563161A
Other languages
English (en)
Inventor
陳守順
郭梦▲カン▼
Original Assignee
オムニビジョン センサー ソリューション (シャンハイ) カンパニー リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オムニビジョン センサー ソリューション (シャンハイ) カンパニー リミテッド filed Critical オムニビジョン センサー ソリューション (シャンハイ) カンパニー リミテッド
Publication of JP2024516801A publication Critical patent/JP2024516801A/ja
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/47Image sensors with pixel address output; Event-driven image sensors; Selection of pixels to be read out based on image data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/709Circuitry for control of the power supply
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/71Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75Circuitry for providing, modifying or processing image signals from the pixel array

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Abstract

本発明は、画像センサ及び画像処理システムを開示する。画像センサは、画素収集回路アレイと、アクティビティ検出ユニットと、低消費電力制御ユニットと、読み出しユニットと、を少なくとも含み、画素収集回路アレイは、アクティビティ検出ユニット、低消費電力制御ユニット、読み出しユニットにそれぞれ結合される。画素収集回路アレイは複数の画素収集回路からなり、画素収集回路は、視野内の光強度の変化を監視して、光強度の変化が一定条件を満たす場合、トリガー状態に入り、アクティビティ検出ユニットは、グローバルアクティビティ検出信号線における電流値を監視して、電流値がアクティビティ閾値未満である場合、低アクティビティイネーブル信号を有効にセットし、低消費電力制御ユニットは、低アクティビティイネーブル信号が有効である場合、グローバル低消費電力イネーブル信号を有効にセットし、読み出しユニットは、グローバル低消費電力イネーブル信号が有効である場合、リセットされる。

Description

本発明は、画像収集の技術分野に関し、特に画像センサに関する。
画像センサの多くの応用分野では、移動物体の検出はその重要な機能の1つである。この応用分野では、従来の画像センサ(例えば、アクティブ画素センサ)に対して、ダイナミックビジョン画像センサ(以下、ダイナミックビジョンセンサと略す)が独自の優位性から注目されつつある。
バイオニック原理に基づいて設計された画素ユニット(又は、画素収集回路と呼ぶ)により、ダイナミックビジョンセンサは、露光時間を必要とせずに、視野内の光強度の変化にリアルタイムで連続的に応答することができることから、高速で移動する物体を容易に検出することができる。さらに、視野内の光強度が変化する領域に対応する画素ユニットの位置情報のみに応答して出力し、不要な背景情報を自動的にマスクするため、出力データ量が少なく、占有帯域幅が低い等の利点もある。ダイナミックビジョンセンサの上記の特徴により、バックエンドの画像処理システムが視野内の有用な動的情報を直接取得して処理することを可能にし、それによって、その記憶力と計算力の要求を大幅に低減し、より良いリアルタイム性を実現することができる。
画素ユニットは、視野内の光強度の変化を連続的に監視する必要があるので、常に動作状態にあり、電気エネルギーを消費する必要がある。視野内に動的情報がない場合、画素ユニットは一定の静的消費電力のみを消費する。視野内に動的情報が存在する場合、画素ユニット自体の静的消費電力に加えて動的消費電力も消費され、この動的消費電力は、画素アレイ周辺制御回路が画素ユニットを読み出し管理するために消費される動的消費電力だけでなく、ダイナミックビジョンセンサの出力インタフェースがデータを伝送する際に消費する動的消費電力も含む。ダイナミックビジョンセンサのいくつかの応用シナリオ、例えばビデオ監視の分野では、視野内には長い間動きが発生せず、検出する必要のある動き情報がより短い時間だけ存在する可能性がある。視野内で有効な動きが発生しない場合、すなわち視野内で有用な動的情報が少ない場合、ダイナミックビジョンセンサは、ダイナミックビジョンセンサ自体の熱的なノイズ干渉と、背景光強度のゆっくりとした変化又はダイナミックビジョンセンサと背景との相対的な動きのために誤って生成された複数のデータとの両方を含む、いくつかのスプリアスノイズデータを出力する。
そのため、そのような動的情報が少ない状況をいかに効率的に認識し、そのような状況で画像処理システム全体の消費電力を削減するかが重要となる。
既存の認識方法は、バックエンドアルゴリズムに基づいて実現されており、すなわち、バックエンドアルゴリズムによってダイナミックビジョンセンサが出力するデータ量を分析し、その動作状態を制御する。この方法は、低消費電力モードにおいて、画素ユニットアレイの静的消費電力を制御することができるが、動的消費電力を低減することはできない。さらに、バックエンド処理システムは、低消費電力モードを判断して認識するために継続的に動作する必要があり、これは、画像処理システム全体の消費電力オーバーヘッドを増加させることになる。したがって、バックエンドアルゴリズムに基づいてシステム全体の消費電力を削減することには限界がある。
以上の説明に基づいて、上記の問題を解決するためには、新たな画像センサ及び画像処理システムが必要である。
本発明は、上記の存在する少なくとも1つの問題を解決又は少なくとも緩和するために、画像センサを提供する。
本発明の一態様によれば、
視野内の光強度の変化を監視して、光強度の変化が一定条件を満たす場合、トリガー状態に入るように構成される複数の画素収集回路からなる画素収集回路アレイと、
グローバルアクティビティ検出信号線を介して画素収集回路アレイに結合され、グローバルアクティビティ検出信号線における電流値を監視して、電流値がアクティビティ閾値未満である場合、低アクティビティイネーブル信号を有効にセットするように構成されるアクティビティ検出ユニットであって、電流値は、画素収集回路アレイのうちトリガー状態にある画素収集回路の数と正の相関があるアクティビティ検出ユニットと、
一端がグローバル低消費電力イネーブル信号線を介して画素収集回路アレイ及び読み出しユニットに結合され、他端がアクティビティ検出ユニットに結合され、低アクティビティイネーブル信号が有効である場合、グローバル低消費電力イネーブル信号を有効にセットするように構成される低消費電力制御ユニットと、
画素収集回路アレイ及び低消費電力制御ユニットにそれぞれ結合され、グローバル低消費電力イネーブル信号が有効である場合リセットされるように構成される読み出しユニットと、を含む、画像センサを提供する。
任意選択に、本発明に係る画像センサは、グローバルリセット信号線を介して画素収集回路アレイに結合され、画像センサの電源がオンになる場合、画素収集回路アレイをリセットするとともに、画素収集回路アレイが安定的な初期状態を保持する場合、リセットを解除し、画素収集回路アレイを作動させ始めるように構成されるグローバル制御ユニットをさらに含む。
任意選択に、本発明に係る画像センサでは、画素収集回路は、
それに照射された光信号をリアルタイムで監視して、対応する電気信号を出力するように構成される光電検知モジュールと、
電気信号が閾値条件を満たす場合、トリガー信号を生成するように構成されるトリガー生成モジュールと、
トリガー信号を受信するとセットされるように構成されるラッチと、
ハンドシェイクプロトコル制御ロジックとセルフタイムリセットロジックを含み、前記画素収集回路がセルフタイム作動モードに入るときにセルフタイムリセットロジックが有効化されるロジックモジュールと、を含み、
ラッチは、さらに、セルフタイム作動モードで、画素収集回路がトリガー状態を所定時間保持してからリセットされるように構成される。
任意選択に、本発明に係る画像センサでは、トリガー生成モジュールは、電気信号をフィルタリング及び/又は増幅して、処理された電気信号を生成するように構成されるフィルタリング増幅器と、処理された電気信号が閾値条件を満たす場合、トリガー信号を生成するように構成される閾値比較サブモジュールと、を含み、閾値比較サブモジュールは第1コンパレータ、第2コンパレータ、及び論理和ゲートを含む。さらに、グローバルアクティビティ検出信号線は、論理和ゲートの電源線又はアース線、ラッチの電源線又はアース線として構成され、これらにおける動的電流を監視する。
任意選択に、本発明に係る画像センサでは、画素収集回路は、
電流源とラッチの出力信号によって制御されるスイッチとを含むゲーティング電流源をさらに含み、
ラッチがセットされた場合、ゲーティング電流源のスイッチがオンになり、電流源の電流がグローバルアクティビティ検出信号線を流れ、
ラッチがリセットされた場合、ゲーティング電流源のスイッチがオフになり、電流源の電流がグローバルアクティビティ検出信号線を流れない。
任意選択に、本発明に係る画像センサでは、
セルフタイムリセットロジックは、
一端がラッチの出力端子に接続され、他端が第3トランジスタのゲートに接続される第2インバータと、
第3トランジスタのソース及び第1コンデンサの下極板のいずれも接地し、第3トランジスタのドレイン及び第1コンデンサの上極板のいずれも第3電流源に接続される第3トランジスタ及び第1コンデンサと、
他端が電源に接続される第3電流源と、
第3インバータの他端が第1コンデンサの上極板に接続され、第4インバータの他端がセルフタイムリセット出力信号を出力する、順次接続された第3インバータ及び第4インバータと、を含む。
任意選択に、本発明に係る画像センサでは、ゲーティング電流源は、
一端が第1トランジスタのドレインに接続され、他端が電源に接続される第1電流源と、
ゲートがラッチの出力端子に接続され、ソースがグローバルアクティビティ検出信号線に接続される第1トランジスタと、を含む。
任意選択に、本発明に係る画像センサでは、ゲーティング電流源は、
一端がラッチの出力端子に接続され、他端が第2トランジスタのゲートに接続される第1インバータと、
ソースがグローバルアクティビティ検出信号線に接続される第2トランジスタと、
一端が第2トランジスタのドレインに接続され、他端が接地する第2電流源と、を含む。
任意選択に、本発明に係る画像センサでは、アクティビティ検出ユニットは、
一端がグローバルアクティビティ検出信号線に接続され、他端が電流モードコンパレータに接続され、グローバルアクティビティ検出信号線を固定レベルにクランプするとともに、グローバルアクティビティ検出信号線における電流信号をコピーして電流モードコンパレータに出力するように構成される電流アダプタと、
プラス入力端子がアクティビティ閾値信号に接続され、マイナス入力端子が電流信号に接続され、電流信号がアクティビティ閾値信号未満である場合、低アクティビティイネーブル信号を有効にセットするように構成される電流モードコンパレータと、を含む。
任意選択に、本発明に係る画像センサでは、アクティビティ検出ユニットは、
一端がグローバルアクティビティ検出信号線に接続され、他端が電流モードアナログ/デジタルコンバータに接続され、グローバルアクティビティ検出信号線を固定レベルにクランプするとともに、グローバルアクティビティ検出信号線における電流信号をコピーして電流モードアナログ/デジタルコンバータに出力するように構成される電流アダプタと、
電流信号をデジタル信号に変換するように構成される電流モードアナログ/デジタルコンバータと、
プラス入力端子がアクティビティ閾値信号に接続され、マイナス入力端子がデジタル信号に接続され、デジタル信号がアクティビティ閾値信号未満である場合、低アクティビティイネーブル信号を有効にセットするように構成されるデジタルコンパレータと、を含む。
任意選択に、本発明に係る画像センサでは、アクティビティ検出ユニットは、
一端がグローバルアクティビティ検出信号線に接続され、他端が電流電圧変換器に接続され、グローバルアクティビティ検出信号線を固定レベルにクランプするとともに、グローバルアクティビティ検出信号線における電流信号をコピーして電流電圧変換器に出力するように構成される電流アダプタと、
電流信号を電圧信号に変換するように構成される電流電圧変換器と、
プラス入力端子がアクティビティ閾値信号に接続され、マイナス入力端子が電圧信号に接続され、電圧信号がアクティビティ閾値信号未満である場合、低アクティビティイネーブル信号を有効にセットするように構成される電圧モードコンパレータと、を含む。
任意選択に、本発明に係る画像センサでは、アクティビティ検出ユニットは、
一端がグローバルアクティビティ検出信号線に接続され、他端が電流電圧変換器に接続され、グローバルアクティビティ検出信号線を固定レベルにクランプするとともに、グローバルアクティビティ検出信号線における電流信号をコピーして電流電圧変換器に出力するように構成される電流アダプタと、
電流信号を電圧信号に変換するように構成される電流電圧変換器と、
電圧信号をデジタル信号に変換するように構成される電圧モードアナログ/デジタルコンバータと、
プラス入力端子がアクティビティ閾値信号に接続され、マイナス入力端子がデジタル信号に接続され、デジタル信号がアクティビティ閾値信号未満である場合、低アクティビティイネーブル信号を有効にセットするように構成されるデジタルコンパレータと、を含む。
任意選択に、本発明に係る画像センサでは、アクティビティ検出ユニットは、さらに、
電流値がアクティビティ閾値以上である場合、出力された低アクティビティイネーブル信号を無効にセットするように構成され、
低消費電力制御ユニットは、さらに、
低アクティビティイネーブル信号が無効である場合、グローバル低消費電力イネーブル信号を無効にセットするように構成され、
画素収集回路アレイは、さらに、
グローバル低消費電力イネーブル信号が無効である場合、セルフタイム作動モードを終了するように構成され、
読み出しユニットは、さらに、
グローバル低消費電力イネーブル信号が無効である場合、リセット状態を解除し、トリガー状態にある画素収集回路に応答して、トリガーされた画素収集回路のイベントデータを出力するように構成される。
本発明の別の態様によれば、
上記の画像センサと、
画像センサに結合され、画像センサからのイベントデータを処理するように構成された計算機器と、を含む、画像処理システムを提供する。
本発明に係る画像センサでは、アクティビティ検出ユニットが追加されており、グローバルアクティビティ検出信号線を介して画素収集回路アレイに結合される。アクティビティ検出ユニットは、このグローバルアクティビティ検出信号線における電流値を測定することによって、視野内の動的情報の量、すなわち、視野のアクティビティ情報を判断することができる。視野アクティビティが低く、視野内の動的情報が少ない場合、低消費電力制御ユニットは画像センサを低消費電力モードにし、画像センサは極めて低い消費電力で視野内の動的情報を自発的に監視し、この監視は、読み出しユニットによるイベントデータの読み出し及びバックエンドアルゴリズムによる演算に依存しないため、画像消費電力を低下させる目的を達成させる、画像処理システムの消費電力の更なる低下が図られる。
上記及び関連する目的を達成するために、本明細書では、以下の説明及び図面を参照して、本明細書で開示された原理を実行することができる様々な方法を示すいくつかの例示的な態様が記載されており、すべての態様及びその等価な態様は、請求項に係る主題の範囲内に入ることが意図されている。図面を参照して以下の詳細な説明を読むことによって、本開示の上記、及び他の目的、特徴、及び利点がより明らかになる。本開示全体にわたって、同じ符号は、通常、同じ構成要素及び要素を指す。
図1は、本発明のいくつかの実施例に係る画像処理システム100の概略図を示す。 図2は、本発明のいくつかの実施例に係る画像センサ200の概略図を示す。 図3Aは、本発明の一実施例に係る画像センサ200の作動の流れの例を示す。 図3Bは、本発明の一実施例に係る画像センサ200の作動の流れの例を示す。 図3Cは、本発明の一実施例に係る画像センサ200の作動の流れの例を示す。 図3Dは、本発明の一実施例に係る画像センサ200の作動の流れの例を示す。 図3Eは、グローバルアクティビティ検出信号線における電流値及び低アクティビティイネーブル信号の具体的な状態を示す。 図4Aは、本発明の一実施例に係る画素収集回路400の概略図を示す。 図4Bは、本発明の一実施例に係る画素収集回路400の概略図を示す。 図5A、それぞれ本発明の一実施例に係るゲーティング電流源450の概略図を示す。 図5Bは、本発明の一実施例に係るゲーティング電流源450の概略図を示す。 図6は、本発明の一実施例に係る画素収集回路400のセルフタイムリセットロジックの概略図を示す。 図7Aは、本発明のいくつかの実施例に係るアクティビティ検出ユニット220の概略図を示す。 図7Bは、本発明のいくつかの実施例に係るアクティビティ検出ユニット220の概略図を示す。 図7Cは、本発明のいくつかの実施例に係るアクティビティ検出ユニット220の概略図を示す。 図7Dは、本発明のいくつかの実施例に係るアクティビティ検出ユニット220の概略図を示す。
以下、図面を参照して、本開示の例示的な実施例についてより詳細に説明する。本開示の例示的な実施例が図面に示されているが、本開示は、本明細書に記載された実施例によって限定されるべきではなく、様々な形態で実現され得ることが理解されるべきである。むしろ、これらの実施例は、本開示をより完全に理解することを可能にし、本開示の範囲を当業者に完全に伝えることを可能にするために提供される。
図1は、本発明のいくつかの実施例に係る画像処理システム100の概略図を示す。
図1に示すように、画像処理システム100は、互いに結合された画像センサ200及び計算機器120を含む。これらのうち、画像センサ200は、時空領域における動きの非連続性を検出することができる。計算機器120は、例えば画像処理機器として実装され得る。
画像センサ200の内部には、複数の画素ユニットからなる画素ユニットアレイを有し、ここで、各画素ユニットは、光強度の変化(すなわち、視野における動きが変化する)を検知したときにのみトリガーされ、光強度が急速に変化する領域に応答して記録し、光強度の変化情報(例えば、光強度の変化のタイムスタンプ及び光強度閾値)、及びトリガーされる画素ユニットの座標位置を生成して、トリガーイベントのイベントデータとする。画像センサ200は、イベントデータを計算機器120に伝送する。計算機器120は、次のステップの計算や使用のためにイベントデータを処理する。
計算機器120は、サーバ又はサーバクラスタとして実装されてもよいし、デスクトップコンピュータ及びノートコンピュータの構成を含むパソコンとして実装されてもよいし。もちろん、計算機器120は、小型携帯(又はモバイル)電子機器の一部分、さらにマイクロ計算モジュールとして実装されてもよい。本発明の実施例はこれについて特に制限しない。
本発明に係る実装形態では、画像処理システム100の作動モードには、低消費電力モード及び通常作動モードが含まれる。
低消費電力モードでは、画像センサ200は、イベントデータを外部の計算機器120に出力しなくなり、極めて低い消費電力で視野内の動的情報を自発的に監視し、このような監視は、イベントデータの出力やバックエンドアルゴリズムの演算に依存しない。計算機器120はいなかるイベントデータの受信や処理が不要であるため、完全なスリープ状態であってもよい。
視野に有効な動きが現れた場合、トリガーされる画素ユニットの数が徐々に増えてきて、画像センサ200がこのような変化を監視し、かつ一定の条件が満たされる場合、通常作動モードに入る。このとき、画像センサ200は、トリガーされた画素ユニットのイベントデータを計算機器120に出力する。通常作動モードでは、画像センサ200の作動原理及び作動過程については、一般的な動的ビジョンセンサとは同じであるので、ここでは詳しく説明しない。
バックエンドアルゴリズムに基づいてシステム全体の消費電力を低下させる場合と異なり、画像処理システム100は、主にフロント画像センサ200によって、視野内の動的情報が少ない状況を識別することで、低消費電力モードをオンにすることによって、システム全体の消費電力を低下させる。また、低消費電力モードでは、画像センサ200は、極めて低い消費電力で視野内の動的情報を自発的に監視し、このような監視がイベントデータの出力やバックエンド計算機器120による演算に依存しないことから、データ読み出し回路や計算機器120をオフにしてもよく、これによって、システム100の消費電力の更なる低下の目的が図られる。
図2は、本発明のいくつかの実施例に係る画像センサ200の概略図を示す。
図2に示すように、画像センサ200は、画素収集回路アレイ210、アクティビティ検出ユニット220、低消費電力制御ユニット230、読み出しユニット240、及びグローバル制御ユニット250を少なくとも含む。
これらのうち、画素収集回路アレイ210は、画像センサ200の中核部分であり、行列方向に均等に分布している複数の画素収集回路400(又は、画素ユニットとも称する)からなる(例えば、図2には、サイズ3×3の画素収集回路アレイが示されているが、これに限定されない)。画素収集回路アレイ210は、アクティビティ検出ユニット220、低消費電力制御ユニット230、読み出しユニット240、及びグローバル制御ユニット250にそれぞれ結合される。より具体的には、一実施例では、画素収集回路アレイ210は、グローバルアクティビティ検出信号線を介してアクティビティ検出ユニット220に結合され、グローバルリセット信号線を介してグローバル制御ユニット250に結合される。また、画素収集回路アレイ210及び読み出しユニット240は、それぞれグローバル低消費電力イネーブル信号線を介して低消費電力制御ユニット230に結合され、画素収集回路アレイ210はまた、行要求線、行選択線、列要求線、及び列選択線を介して読み出しユニット240に結合される。
本発明に係る実施形態では、画素収集回路は、視野内の光強度の変化をリアルタイムで監視し、光強度の変化が一定条件を満たす場合、トリガー状態に入る。
グローバル制御ユニット250は、画像センサ200の電源がオンになるときに、画素収集回路アレイ210全体をリセットし、画素収集回路ごとに安定的な初期状態を確保するとともに、画素収集回路アレイ210が安定的な初期状態に保持される場合に、リセットを解除し、画素収集回路アレイ210を作動させ始めることを担当する。
読み出しユニット240は、行選択線サブユニット242、列選択線サブユニット244、及び読み出し制御サブユニット246を含む。行選択線サブユニット242は、行方向に画素収集回路アレイ210を管理し、列選択線サブユニット244は列方向に画素収集回路アレイ210を管理し、読み出し制御サブユニット246は、行選択線サブユニット242と列選択線サブユニット244を調達して、行交換などの操作を行う。行選択線サブユニット242及び列選択線サブユニット244は、ランダム走査を行うディサイダ、又は順次走査を行う選択線走査回路であってもよく、ここでは詳しく説明しない。
一般的な動的ビジョンセンサと比べて、画像センサ200では、アクティビティ検出ユニット220及び低消費電力制御ユニット230が追加されている。アクティビティ検出ユニット220は、グローバルアクティビティ検出信号線における電流値を監視する。本発明に係る実施例では、グローバルアクティビティ検出信号線を流れる総電流値が、画素収集回路アレイ210のトリガー状態にある画素ユニットの数に正比例し、つまり、トリガーされる画素ユニットの数が多いほど、グローバルアクティビティ検出信号線における電流値が大きく、逆には、電流値が小さい。電流値がアクティビティ閾値未満である場合、アクティビティ検出ユニット220は、低アクティビティイネーブル信号を有効にセットし、視野内に有効な動きがないことが示唆された。
低消費電力制御ユニット150は、アクティビティ検出ユニット140によって出力された低アクティビティイネーブル信号を受信し、低アクティビティイネーブル信号が有効である場合、グローバル低消費電力イネーブル信号を有効にセットし、画素収集回路アレイ210及び読み出しユニット240に出力し、このとき、画像センサ200は全体として低消費電力モードに入る。
低消費電力モードでは、画素収集回路はセルフタイム作動モードに入り、その内部にあるセルフタイムリセットロジックが有効化される。また、画素収集回路は依然として外界視野内の光強度の変化を検出し、トリガー状態に入ることができ、画素収集回路がトリガー状態に入ると、画素収集回路はトリガー状態を所定時間保持してから、トリガー状態を自発的に解除し、外界光強度の変化の検出を再開する。
本発明に係る一実施例では、セルフタイム作動モードにおいては、画素収集回路アレイ210の静的消費電力を低下させるために、画素収集回路のアナログモジュールも低バイアス電流状態で作動する。
また、読み出しユニット240は、グローバル低消費電力イネーブル信号が有効であるときにリセットされる。行選択線サブユニット242、列選択線サブユニット244、及び読み出し制御サブユニット246はいずれも作動しなくなる。このとき、読み出しユニット240はいかなる動的消費電力も消費せず、バックエンド計算機器120もスリープ状態に入ってもよく、このようにして、画像センサ200及び画像処理システム100の消費電力が大幅に低下する。
一方、低消費電力モードでは、アクティビティ検出ユニット220はまた、グローバルアクティビティ検出信号線を流れる電流の値をリアルタイムで監視する。視野内に有効な動きが現れると、トリガーされる画素ユニットの数が増えていき、グローバルアクティビティ検出信号線を流れる総電流が増加し、電流値がアクティビティ閾値以上である場合、アクティビティ検出ユニット220は、低アクティビティイネーブル信号を無効にセットし、次に、低消費電力制御ユニット230は低消費電力イネーブル信号も無効にセットし、システムは、低消費電力モードを終了して、通常作動モードに入る。このとき、画素収集回路もセルフタイム作動モードを終了し、読み出しユニット240はリセット状態を解除する。
通常作動モードでは、読み出しユニット240は、画素収集回路アレイ210を管理し、トリガーされた画素収集回路のイベントデータを出力する。通常作動モードでは、本発明による画像センサ200の作動原理及び作動過程については、一般的な動的ビジョンセンサと同じであるので、ここでは詳しく説明しない。
画像センサ200の作動の流れをさらに説明するために、図3A~図3Dは、1つの例をもって、本発明の一実施例に係る画像センサ200の作動の流れを示す。図3Eは、当該例におけるグローバルアクティビティ検出信号線における電流値及び低アクティビティイネーブル信号の具体的な状態を示す。なお、図3Eには、電流信号及び低アクティビティイネーブル信号の信号値についての説明が、過程全体にわたるこの3つの信号の変化状態を明確にするための例示的なものに過ぎず、信号値の大きさを制限するものではない。
図3A~図3Dに示すように、画像センサの視野領域において左から右へ手をスライドする。初期の時刻には、図3Aに示すように、手が視野領域の外にあり、このとき、視野内に動きがなく、動的情報が少なく、グローバルアクティビティ検出信号線における総電流も小さく、アクティビティ閾値未満であり(図3Eの破線に示す)、このため、低アクティビティイネーブル信号が有効で、画像センサ200が低消費電力モードで作動し、イベントデータが出力されず、画像センサ200は極めて低い消費電力で視野内の動的情報を自発的に監視する。
図3Bでは、手が画像センサ200の視野領域へ移動し始め、このとき、トリガーされる画素収集回路が増加していき、グローバルアクティビティ検出信号線を流れる電流の値も徐々に増大し、この電流値がアクティビティ閾値以上となると、図3EのA点に示すように、アクティビティ検出ユニット220は、低アクティビティイネーブル信号を無効にセットし、次に、低消費電力制御ユニット230は低消費電力イネーブル信号も無効にセットし、画像センサ200は低消費電力モードを終了して、通常作動モードに入る。通常作動モードでは、手の動きが検出され、対応するイベントデータが外部の計算機器120に出力される。
図3B~図3Cに示すように、移動中の手が常に画像センサの視野領域に保持されるので、グローバルアクティビティ検出信号線における電流値は常にアクティビティ閾値よりも高く、画像センサ200は常に通常作動モードのままであり、手の動きが常に検出され、対応するイベントデータが出力される。
図3Dでは、手が視野領域の外に移動し、トリガーされる画素ユニットの数が少なくなり、グローバルアクティビティ検出信号線における電流値が徐々に低下し、アクティビティ閾値よりも低くなると、図3EのB点に示すように、アクティビティ検出ユニット220は再度低アクティビティ信号を有効にセットし、画像センサ200は再度低消費電力モードに入る。
図4A及び図4Bは、それぞれ本発明の一実施例に係る画素収集回路400の概略図を示す。
図4Aに示す実施例では、画素収集回路400は、光電検知モジュール410、トリガー生成モジュール420、ラッチ430、及びロジックモジュール440を含む。これらのうち、トリガー生成モジュール420は、また、フィルタリング増幅器422と閾値比較サブモジュール424を含む。ロジックモジュール440は、ハンドシェイクプロトコル制御ロジックとセルフタイムリセットロジックを含む。
より具体的には、ラッチ430は、グローバルリセット信号線を介してグローバル制御ユニット250に結合され、ロジックモジュール440は、行要求線、行選択線、列要求線、及び列選択線を介して読み出しユニット240に結合され、フィルタリング増幅器422、閾値比較サブモジュール424、ラッチ430、及びロジックモジュール440は、それぞれグローバル低消費電力イネーブル信号線を介して低消費電力制御ユニット230に結合され、閾値比較サブモジュール424及びラッチ430は、それぞれグローバルアクティビティ検出信号線を介してアクティビティ検出ユニット220に結合される。
一実施例によれば、光電検知モジュール410は、それに照射された光信号をリアルタイムで監視して、対応する電気信号を出力する。
トリガー生成モジュール420は、電気信号が閾値条件を満たす場合、トリガー信号を生成する。より具体的には、まず、フィルタリング増幅器422は、光電検知モジュール410によって出力された電気信号をフィルタリング及び/又は増幅処理して、処理された電気信号を生成し、次に、閾値比較サブモジュール424は、この処理された電気信号が閾値条件を満たすか否かを判断し、処理された電気信号が閾値条件を満たす場合、トリガー信号を生成する。一実施例では、フィルタリング増幅器422はハイパスフィルタリング増幅器であり、閾値比較サブモジュール424は、第1コンパレータ(VC1)、第2コンパレータ(VC2)、及び論理和ゲートを含む。
ラッチ430は閾値比較サブモジュール424に結合され、トリガー信号(すなわち、処理された電気信号が閾値条件を満たす)を受信するとセットされる。
ロジックモジュール440は、ラッチ430に結合され、画素収集回路400の作動ロジックを含む。例えば、ハンドシェイクプロトコル制御ロジックは、画素収集回路400と周辺回路との通信を担当する。セルフタイムリセットロジックは、画素収集回路400がセルフタイム作動モードに入り(つまり、画像センサ200が低消費電力モードンに入り)、画素収集回路400がトリガーされたときに有効化される。この場合、画素収集回路400は、トリガー状態を所定時間(いわゆる「セルフタイム」)だけ自動的に保持してから、ラッチ430をリセットし、画素収集回路400がトリガー状態を自動的に解除するようにし、視野外界的光強度の変化の監視を再開する。
さらに、グローバルアクティビティ検出信号線は、閾値比較サブモジュール424の論理和ゲートの電源線又はアース線、及び、ラッチ430の電源線又はアース線として構成され、この2つのモジュールにおける動的電流を監視し、このように、グローバルアクティビティ検出信号線を流れる電流の値の大きさを検出することによって、視野のアクティビティ情報を判断することができる。
一般的な動的ビジョンセンサの画素収集回路と比べて、本実施例の画素収集回路400は、主として以下の2つの点が異なる。第一には、ロジックモジュールにセルフタイムリセットロジックが追加されている。第二には、グローバルアクティビティ検出信号線が閾値比較サブモジュール424の論理和ゲート及びラッチ430に導入されている。画素収集回路400がトリガーされると、第1コンパレータVC1又は第2コンパレータVC2の出力が高レベルとなり、論理和ゲートの出力も高レベルとなり、かつラッチがセットされる。よって、画素収集回路がトリガーされると、論理和ゲート及びラッチなどのデジタル回路モジュールの入力・出力が反転するので、所定の動的電流が消費され、一方、画素収集回路がトリガーされていない場合、これらの数字モジュールは電流を消費しない。
図4Aと比較して、図4Bに示す実施例では、画素収集回路400は、光電検知モジュール410、フィルタリング増幅器422、閾値比較サブモジュール424、ラッチ430、及びロジックモジュール440に加えて、ゲーティング電流源450を含む。このゲーティング電流源450は、それぞれラッチ430、ロジックモジュール440、フィルタリング増幅器422に結合される。また、グローバルアクティビティ検出信号線はゲーティング電流源450に接続され、残りの信号線の接続方式は図4Aと同様である。
一実施例では、ゲーティング電流源450は、電流源と、ラッチ430の出力信号によって制御されるスイッチと、を含む。画素収集回路400がトリガーされる場合、ラッチ430はセットされ、ゲーティング電流源450のスイッチがオンになり、電流源の電流がグローバルアクティビティ検出信号線を流れ、画素収集回路400がトリガーされていない場合、ラッチ430はリセットされ、ゲーティング電流源450のスイッチがオフになり、電流源の電流がグローバルアクティビティ検出信号線を流れない。このような構成によれば、グローバルアクティビティ検出信号線における総電流値も視野のアクティビティ情報を表すことができる。
図5A及び図5Bは、それぞれ本発明の一実施例に係るゲーティング電流源450の概略図を示す。
図5Aでは、ゲーティング電流源450は、第1電流源I1と第1トランジスタM1を含む。M1のゲートはラッチ430の出力に接続され、M1のソースはグローバルアクティビティ検出信号線に接続され、ラッチ430の出力が高レベルであるときにM1がオンになることを確保するために、このグローバルアクティビティ検出信号線では、低レベルが維持されなければならない。画素収集回路400がトリガーされた場合、ラッチ430はセットされ、その出力が高レベルとなり、第1トランジスタM1がオンになり、第1電流源I1の電流がグローバルアクティビティ検出信号線に流れ、画素収集回路400がトリガーされていない場合、ラッチ430はリセットされたままであり、その出力が低レベルとなり、第1トランジスタM1がオフになり、第1電流源I1の電流がグローバルアクティビティ検出信号線を流れない。
図5Bに示す実施例では、ゲーティング電流源450は、第2電流源I2、第2トランジスタM2、及び第1インバータを含む。図5Bに示すように、M2はP型トランジスタであり、第1インバータは、一端がラッチ430の出力端子に接続され、他端が第2トランジスタM2のゲートに接続され、すなわち、ラッチ430の出力は、第1インバータを経てから、第2トランジスタM2のゲートに接続され、M2のソースはグローバルアクティビティ検出信号線に接続される。第2電流源I2は、一端がM2のドレインに接続され、他端が接地する。ここで、ラッチ430の出力が高レベルであるときにM2がオンになり得ることを確保するために、グローバルアクティビティ検出信号線では、高レベルが維持されなければならない。画素収集回路400がトリガーされた場合、ラッチ430はセットされ、その出力が高レベルとなり、第2トランジスタM2がオンになり、第2電流源I2の電流がグローバルアクティビティ検出信号線から流れ、画素収集回路400がトリガーされていない場合、ラッチ430はリセットされたままであり、その出力が低レベルとなり、第2トランジスタM2がオフになり、第2電流源I2の電流がグローバルアクティビティ検出信号線を流れない。
図6は、本発明の一実施例に係る画素収集回路400のセルフタイムリセットロジックの概略図を示す。
図6に示すように、セルフタイムリセットロジックは、第3トランジスタM3、第3電流源I3、第1コンデンサC1及び3つのインバータ(第2インバータ、第3インバータ、及び第4インバータ)を含む。これらのうち、第2インバータは、一端がラッチ430の出力端子に接続され、他端が第3トランジスタのゲートに接続され、第3トランジスタのソース及び第1コンデンサの下極板はいずれも接地し、第3トランジスタのドレイン及び第1コンデンサの上極板はいずれも第3電流源に接続され、第3電流源の他端は電源に接続され、第3インバータ及び第4インバータは順次接続され、ここで、第3インバータの他端は第1コンデンサの上極板に接続され、第4インバータの他端は、セルフタイムリセット出力信号を出力する。セルフタイムリセット出力信号が有効である場合、ラッチ430がリセットされる。
画素収集回路400がトリガーされていない場合、ラッチ430の出力が低電位であり、第3トランジスタM3のゲートが高電位であり、M3がオンになり、C1の上極板が低電位まで引き上げられ、セルフタイムリセット出力が無効となる。画素収集回路400がトリガーされた場合、ラッチ430の出力が高レベルであり、M3のゲートが低レベルとなり、M3がオフになり、第3電流源I3は第1コンデンサC1への充電を開始し、C1上極板の電位が徐々に上昇し、後の第3インバータの反転レベルまで上昇すると、セルフタイムリセットロジックによって出力されるセルフタイムリセット信号は有効であり、それにより、ラッチがリセットされる。さらに、セルフタイムリセットロジックの定時時間が第3電流源I3により決定され、I3が小さいほど、第1コンデンサC1への充電が遅く、定時時間が長くなる。
以上の通り、画素収集回路400には、セルフタイム作動モードと通常作動モードの2つのモードがあり、これらのモードは、低消費電力制御ユニット230から出力されたグローバル低消費電力イネーブル信号によって制御される。視野内の動的情報が少ない場合、グローバル低消費電力イネーブル信号は有効であり、画像センサ200は低消費電力モードに入り、画素収集回路400はセルフタイムモードに入る。一方、画素収集回路400のアナログ回路部分は低バイアス電流モードに入り、これにより、画素ユニットの静的消費電力が低下し、この部分の回路は、主にフィルタリング増幅器422及び閾値比較サブモジュール424の第1コンパレータVC1及び第2コンパレータVC2のことである。さらに、グローバル低消費電力イネーブル信号線はまたロジックモジュール440に結合されている。セルフタイムモードでは、ハンドシェイクプロトコル制御ロジックはオフとされ、セルフタイムリセットロジックはオンとされる。画素収集回路がトリガーされた場合、セルフタイムリセットロジックは有効化され、定時が切れると、セルフタイムリセット出力信号をラッチ430に与えることで、ラッチ430のセット状態を解除する。セルフタイム作動モードでは、セルフタイムリセットロジックはハンドシェイクプロトコル制御ロジックの代わりにラッチ430のリセット機能を発揮し、よって、画素収集回路400は、周辺の読み出しユニット240(低消費電力モードでは、読み出しユニット240はリセットされて、システムの動的消費電力を低下させる)に依存せずに、完全に自発的に作動可能となっている。視野内の動的情報が多い場合、グローバル低消費電力イネーブル信号は無効であり、画像センサ200は通常作動モードに入り、画素収集回路400も通常作動モードに入る。一方では、画素収集回路400のアナログ回路部分は通常バイアス電流モードに入り、これによって、画素収集回路の外界光強度の変化に対する応答速度が速まる。他方では、ハンドシェイクプロトコル制御ロジックがオンとされ、セルフタイムリセットロジックがオフとされ、周辺読み出しユニット240は画素収集回路アレイを管理し、トリガー状態にある画素収集回路のイベントデータを処理して、計算機器120に読み出す。通常作動モードでは、ここでの画素収集回路及び画像センサの作動原理については、一般的な動的ビジョンセンサと同じであるので、故ここでは詳しく説明しない。
図7A~図7Dは、それぞれ本発明のいくつかの実施例に係るアクティビティ検出ユニット220の概略図を示す。アクティビティ検出ユニット220は、グローバルアクティビティ検出信号線における電流値をリアルタイムで監視し、この電流値がアクティビティ閾値よりも低くなる場合、低アクティビティイネーブル信号を有効にセットする。
図7Aでは、アクティビティ検出ユニット220は、電流アダプタと電流モードコンパレータからなる。電流アダプタは、一端がグローバルアクティビティ検出信号線に接続され、他端が電流モードコンパレータに接続され、電流アダプタは、グローバルアクティビティ検出信号線を固定レベルにクランプするとともに、グローバルアクティビティ検出信号線における電流信号をコピーして電流モードコンパレータに供する。電流モードコンパレータは、プラス入力端子がアクティビティ閾値信号に接続され、マイナス入力端子が電流アダプタ出力の電流信号に接続され、電流ドメインでこの2つの信号を比較し、電流信号がアクティビティ閾値信号未満である場合、低アクティビティイネーブル信号を有効にセットする。
図7Bでは、アクティビティ検出ユニット220は、電流アダプタ、電流モードアナログ/デジタルコンバータ(電流モードADC)、及びデジタルコンパレータからなる。電流アダプタは、一端がグローバルアクティビティ検出信号線に接続され、他端が電流モードアナログ/デジタルコンバータに接続される。本実施例では、電流アダプタによって出力された電流信号は電流モードADCによってデジタル信号に変換される。デジタルコンパレータは、プラス入力端子がアクティビティ閾値信号に接続され(ここで、アクティビティ閾値信号はデジタル信号である)、マイナス入力端子が電流モードADCから出力されたデジタル信号に接続される。デジタルコンパレータは、デジタルドメインでこの2つの信号を比較し、電流信号がアクティビティ閾値信号未満である場合、低アクティビティイネーブル信号を有効にセットする。
図7Cでは、アクティビティ検出ユニット220は、電流アダプタ、電流電圧変換器及び電圧モードコンパレータからなる。電流アダプタは、一端がグローバルアクティビティ検出信号線に接続され、他端が電流電圧変換器に接続される。本実施例では、電流アダプタ出力の電流信号は電流電圧変換器によって電圧信号に変換される。電圧モードコンパレータは、プラス入力端子がアクティビティ閾値信号に接続され、マイナス入力端子が電圧信号に接続される。電圧モードコンパレータは、電圧ドメインでこの2つの信号を比較し、電圧信号がアクティビティ閾値信号未満である場合、低アクティビティイネーブル信号を有効にセットする。
図7Dでは、アクティビティ検出ユニット220は、電流アダプタ、電流電圧変換器、電圧モードアナログ/デジタルコンバータ(電圧モードADC)及びデジタルコンパレータからなる。電流アダプタは、一端がグローバルアクティビティ検出信号線に接続され、他端が電流電圧変換器に接続される。本実施例では、電流アダプタ出力の電流信号は、まず、電流電圧変換器によって電圧信号に変換され、次に、電圧モードADCにより定量化されて、デジタル信号に変換される。デジタルコンパレータは、プラス入力端子がアクティビティ閾値信号に接続され、マイナス入力端子がデジタル信号に接続される。デジタルコンパレータは、デジタルドメインでこの2つの信号を比較し、このデジタル信号がアクティビティ閾値信号未満である場合、低アクティビティイネーブル信号を有効にセットする。
以上の通り、本発明に係る画像センサは、バックエンドアルゴリズムに依存せずに、視野内の動的情報が少ない状況を独立して識別することができ、自体及び画像処理システム全体の消費電力を低下させることができる。具体的には、まず、画素収集回路アレイには、グローバルアクティビティ検出信号線が追加されており、画素収集回路がトリガーされる前後に、このグローバルアクティビティ検出信号線を流れる電流の値が異なる。次に、画素収集回路アレイの外部では、アクティビティ検出ユニットによってこのグローバルアクティビティ検出信号線における電流値が測定され、この電流値に基づいて視野内の動的情報の量、すなわち、視野のアクティビティ情報が判断される。視野アクティビティが低く、視野内の動的情報が少ない場合、低消費電力制御ユニットは画像センサを低消費電力モードにし、画像センサは極めて低い消費電力で視野内の動的情報を自発的に監視し、この監視は、イベントデータの出力及びバックエンドアルゴリズムによる演算に依存しないため、読み出しユニットをオフにすることで消費電力を低下させることができる。また、低消費電力モードでは、バックエンドの計算機器にはイベントデータの受信が不要であるので、計算機器をオフにすることも可能であり、それによって、画像処理システムの消費電力の更なる低下が図られる。
本明細書には、多くの具体的な詳細が記載されている。しかしながら、本発明の実施例は、これらの具体的な詳細なしに実施されてもよいことが理解される。いくつかの例では、本明細書の理解を不明瞭にしないために、公知の方法、構造、及び技術が詳細に示されていない。
同様に、本開示を簡潔にし、様々な発明の態様の1つ又は複数の理解を助けるために、本発明の例示的な実施例に関する上記の説明では、本発明の様々な特徴は、単一の実施例、図、又はそれらの説明にまとめて分類されることがあることを理解すべきである。しかしながら、この開示された方法は、請求項に記載された発明の要件が、各請求項に明記されているよりも多くの特徴を有するという意図を反映していると解釈されるべきではない。より正確には、以下の特許請求の範囲に反映されているように、発明の態様は、前に開示された単一の実施例のすべての特徴よりも少ない。したがって、具体的な実施形態に従った特許請求の範囲は、このようにして具体的な実施形態に明確に組み込まれることになり、その各請求項自体が本発明の別の実施例とされている。
当業者は、本明細書に開示された例における機器のモジュール、ユニット、又はコンポーネントが、本実施例で説明されたような機器に配置されてもよく、あるいは、この例における機器とは別の1つ又は複数の機器に配置されてもよいことを理解する。前述の例のモジュールは、1つのモジュールに統合されてもよく、また、複数のサブモジュールに分割されてもよい。
当業者であれば、実施例の機器のモジュールは適応的に変更され、該実施例とは異なる1つ又は複数の機器に配置され得ることを理解する。実施例におけるモジュール、ユニット又はコンポーネントは、1つのモジュール、ユニット又はコンポーネントに統合されてもよく、さらに、複数のサブモジュール、サブユニット又はサブコンポーネントに分割されてもよい。このような特徴及び/又はプロセス又はユニットのうちの少なくともいくつかが互いに排他的であることを除いて、本明細書(添付の特許請求の範囲、要約、及び図面を含む)に開示されたすべての特徴、ならびにこのように開示された方法又は機器のすべてのプロセス又はユニットは、任意の組み合わせを用いて組み合わせられてもよい。本明細書(付随する特許請求の範囲、要約、及び図面を含む)に開示された各特徴は、別段に明示的に記載されない限り、同一、同等又は類似の目的を提供する代替特徴によって置き換えられてもよい。
さらに、本明細書に記載されたいくつかの実施例は、他の実施例に含まれる他の特徴ではなく、他の実施例に含まれるいくつかの特徴を含むが、異なる実施例の特徴の組み合わせは、本発明の範囲内にあり、異なる実施例を形成することを意味することを当業者は理解する。例えば、以下の特許請求の範囲において、請求項に係る実施例のいずれか1つは、任意の組み合わせで使用されてもよい。
さらに、前記実施例のいくつかは、コンピュータシステムのプロセッサによって、又は前記機能を実行する他の装置によって実現され得る方法又は方法要素の組み合わせとしてここで説明される。したがって、前記方法又は方法要素を実行するために必要な命令を有するプロセッサは、この方法又は方法要素を実行するための装置となる。さらに、本明細書に記載された装置の実施例の要素は、本発明を実施するための要素によって実行される機能を実施するための装置の一例である。
本明細書で使用されるように、別段の規定がない限り、「第1」、「第2」、「第3」などの序数語を使用して通常のオブジェクトを説明することは、単に類似するオブジェクトの異なるインスタンスを含むことを意味し、そのように説明されるオブジェクトが時間的、空間的、順序付け的、又は任意の他の方法で所与の順序を有する必要があることを暗示することを意図するものではない。
本発明は、限られた数の実施例に基づいて説明されたが、上記の説明により、当業者は、ここで説明された本発明の範囲内で他の実施例が想定され得ることを理解する。なお、本明細書で使用される言語は、主に可読性及び教示の目的のために選択されるものであって、本発明の主題を説明又は限定する目的ではない。したがって、補正及び変更の多くは、特許請求の範囲及び精神から逸脱することなく、当業者にとって自明である。本発明の範囲に関しては、本発明の開示は例示的なものであって限定的なものではなく、本発明の範囲は、添付の特許請求の範囲によって限定される。

Claims (10)

  1. 画像センサであって、
    視野内の光強度の変化を監視して、光強度の変化が一定条件を満たす場合、トリガー状態に入るように構成される複数の画素収集回路からなる画素収集回路アレイと、
    グローバルアクティビティ検出信号線を介して前記画素収集回路アレイに結合され、前記グローバルアクティビティ検出信号線における電流値を監視して、前記電流値がアクティビティ閾値未満である場合、低アクティビティイネーブル信号を有効にセットするように構成されるアクティビティ検出ユニットであって、前記電流値は、前記画素収集回路アレイのうちトリガー状態にある画素収集回路の数と正の相関があるアクティビティ検出ユニットと、
    一端がグローバル低消費電力イネーブル信号線を介して前記画素収集回路アレイ及び読み出しユニットに結合され、他端が前記アクティビティ検出ユニットに結合され、前記低アクティビティイネーブル信号が有効である場合、グローバル低消費電力イネーブル信号を有効にセットするように構成される低消費電力制御ユニットと、
    前記画素収集回路アレイ及び前記低消費電力制御ユニットにそれぞれ結合され、前記グローバル低消費電力イネーブル信号が有効である場合リセットされるように構成される読み出しユニットと、を含む、画像センサ。
  2. グローバルリセット信号線を介して前記画素収集回路アレイに結合され、前記画像センサの電源がオンになる場合、前記画素収集回路アレイをリセットするとともに、前記画素収集回路アレイが安定的な初期状態を保持する場合、リセットを解除し、前記画素収集回路アレイを作動させ始めるように構成されるグローバル制御ユニットをさらに含む、請求項1に記載の画像センサ。
  3. 前記画素収集回路は、
    それに照射された光信号をリアルタイムで監視して、対応する電気信号を出力するように構成される光電検知モジュールと、
    前記電気信号が閾値条件を満たす場合、トリガー信号を生成するように構成されるトリガー生成モジュールであって、
    前記電気信号をフィルタリング及び/又は増幅して、処理された電気信号を生成するように構成されるフィルタリング増幅器と、前記処理された電気信号が閾値条件を満たす場合、トリガー信号を生成するように構成される閾値比較サブモジュールと、を含み、前記閾値比較サブモジュールは第1コンパレータ、第2コンパレータ、及び論理和ゲートを含む、トリガー生成モジュールと、
    前記トリガー信号を受信するとセットされるように構成されるラッチと、
    ハンドシェイクプロトコル制御ロジックとセルフタイムリセットロジックを含み、前記画素収集回路がセルフタイム作動モードに入るときに前記セルフタイムリセットロジックが有効化されるロジックモジュールと、を含み、
    前記ラッチは、さらに、セルフタイム作動モードで、前記画素収集回路がトリガー状態を所定時間保持してからリセットされるように構成される、請求項1又は2に記載の画像センサ。
  4. 前記グローバルアクティビティ検出信号線は、前記論理和ゲートの電源線又はアース線、前記ラッチの電源線又はアース線であり、それらにおける動的電流を監視する、請求項3に記載の画像センサ。
  5. 前記画素収集回路は、
    電流源と前記ラッチの出力信号によって制御されるスイッチとを含むゲーティング電流源をさらに含み、
    前記ラッチがセットされた場合、前記ゲーティング電流源のスイッチがオンになり、前記電流源の電流が前記グローバルアクティビティ検出信号線を流れ、
    前記ラッチがリセットされた場合、前記ゲーティング電流源のスイッチがオフになり、前記電流源の電流が前記グローバルアクティビティ検出信号線を流れない、請求項3に記載の画像センサ。
  6. 前記画素収集回路において、前記セルフタイムリセットロジックは、
    一端が前記ラッチの出力端子に接続され、他端が第3トランジスタのゲートに接続される第2インバータと、
    第3トランジスタのソース及び第1コンデンサの下極板のいずれも接地し、第3トランジスタのドレイン及び第1コンデンサの上極板のいずれも第3電流源に接続される第3トランジスタ及び第1コンデンサと、
    他端が電源に接続される第3電流源と、
    第3インバータの他端が前記第1コンデンサの上極板に接続され、第4インバータの他端がセルフタイムリセット出力信号を出力する、順次接続された第3インバータ及び第4インバータと、を含む、請求項3に記載の画像センサ。
  7. 前記画素収集回路において、前記ゲーティング電流源は、
    一端が第1トランジスタのドレインに接続され、他端が電源に接続される第1電流源と、
    ゲートが前記ラッチの出力端子に接続され、ソースが前記グローバルアクティビティ検出信号線に接続される第1トランジスタと、を含み、又は、
    前記ゲーティング電流源は、
    一端が前記ラッチの出力端子に接続され、他端が第2トランジスタのゲートに接続される第1インバータと、
    ソースが前記グローバルアクティビティ検出信号線に接続される第2トランジスタと、
    一端が前記第2トランジスタのドレインに接続され、他端が接地する第2電流源と、を含む、請求項5に記載の画像センサ。
  8. 前記アクティビティ検出ユニットは、
    一端が前記グローバルアクティビティ検出信号線に接続され、他端が電流モードコンパレータに接続され、グローバルアクティビティ検出信号線を固定レベルにクランプするとともに、前記グローバルアクティビティ検出信号線における電流信号をコピーして前記電流モードコンパレータに出力するように構成される電流アダプタと、
    プラス入力端子がアクティビティ閾値信号に接続され、マイナス入力端子が前記電流信号に接続され、前記電流信号がアクティビティ閾値信号未満である場合、低アクティビティイネーブル信号を有効にセットするように構成される電流モードコンパレータと、を含み、又は、
    前記アクティビティ検出ユニットは、
    一端が前記グローバルアクティビティ検出信号線に接続され、他端が電流モードアナログ/デジタルコンバータに接続され、グローバルアクティビティ検出信号線を固定レベルにクランプするとともに、前記グローバルアクティビティ検出信号線における電流信号をコピーして前記電流モードアナログ/デジタルコンバータに出力するように構成される電流アダプタと、
    前記電流信号をデジタル信号に変換するように構成される電流モードアナログ/デジタルコンバータと、
    プラス入力端子がアクティビティ閾値信号に接続され、マイナス入力端子が前記デジタル信号に接続され、前記デジタル信号がアクティビティ閾値信号未満である場合、低アクティビティイネーブル信号を有効にセットするように構成されるデジタルコンパレータと、を含み、又は、
    前記アクティビティ検出ユニットは、
    一端が前記グローバルアクティビティ検出信号線に接続され、他端が電流電圧変換器に接続され、グローバルアクティビティ検出信号線を固定レベルにクランプするとともに、前記グローバルアクティビティ検出信号線における電流信号をコピーして前記電流電圧変換器に出力するように構成される電流アダプタと、
    前記電流信号を電圧信号に変換するように構成される電流電圧変換器と、
    プラス入力端子がアクティビティ閾値信号に接続され、マイナス入力端子が前記電圧信号に接続され、前記電圧信号がアクティビティ閾値信号未満である場合、低アクティビティイネーブル信号を有効にセットするように構成される電圧モードコンパレータと、を含み、又は、
    前記アクティビティ検出ユニットは、
    一端が前記グローバルアクティビティ検出信号線に接続され、他端が電流電圧変換器に接続され、グローバルアクティビティ検出信号線を固定レベルにクランプするとともに、前記グローバルアクティビティ検出信号線における電流信号をコピーして前記電流電圧変換器に出力するように構成される電流アダプタと、
    前記電流信号を電圧信号に変換するように構成される電流電圧変換器と、
    前記電圧信号をデジタル信号に変換するように構成される電圧モードアナログ/デジタルコンバータと、
    プラス入力端子がアクティビティ閾値信号に接続され、マイナス入力端子が前記デジタル信号に接続され、前記デジタル信号がアクティビティ閾値信号未満である場合、低アクティビティイネーブル信号を有効にセットするように構成されるデジタルコンパレータと、を含む、請求項1に記載の画像センサ。
  9. 前記アクティビティ検出ユニットは、さらに、
    前記電流値がアクティビティ閾値以上である場合、出力された低アクティビティイネーブル信号を無効にセットするように構成され、
    前記低消費電力制御ユニットは、さらに、
    前記低アクティビティイネーブル信号が無効である場合、前記グローバル低消費電力イネーブル信号を無効にセットするように構成され、
    前記画素収集回路アレイは、さらに、
    前記グローバル低消費電力イネーブル信号が無効である場合、セルフタイム作動モードを終了するように構成され、
    前記読み出しユニットは、さらに、
    前記グローバル低消費電力イネーブル信号が無効である場合、リセット状態を解除し、トリガー状態にある画素収集回路に応答して、トリガーされた画素収集回路のイベントデータを出力するように構成される、請求項1又は2に記載の画像センサ。
  10. 画像処理システムであって、
    請求項1又は2に記載の画像センサと、
    前記画像センサに結合され、前記画像センサからのイベントデータを処理するように構成された計算機器と、を含む、画像処理システム。
JP2023563161A 2021-04-20 2021-04-28 画像センサ及び画像処理システム Pending JP2024516801A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN202110425391.1 2021-04-20
CN202110425391.1A CN113132656B (zh) 2021-04-20 2021-04-20 一种图像传感器及图像处理系统
PCT/CN2021/090429 WO2022222170A1 (zh) 2021-04-20 2021-04-28 一种图像传感器及图像处理系统

Publications (1)

Publication Number Publication Date
JP2024516801A true JP2024516801A (ja) 2024-04-17

Family

ID=76778362

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023563161A Pending JP2024516801A (ja) 2021-04-20 2021-04-28 画像センサ及び画像処理システム

Country Status (5)

Country Link
US (1) US20240048859A1 (ja)
EP (1) EP4329290A1 (ja)
JP (1) JP2024516801A (ja)
CN (1) CN113132656B (ja)
WO (1) WO2022222170A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113747090B (zh) * 2021-09-01 2022-09-30 豪威芯仑传感器(上海)有限公司 一种像素采集电路及图像传感器
CN114173069A (zh) * 2021-11-23 2022-03-11 深圳锐视智芯科技有限公司 一种带数字像素存储的差量图像传感器

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2191955A1 (en) * 2008-11-28 2010-06-02 Borealis AG Process for butt welding of polypropylene
DE102010000338B3 (de) * 2009-04-07 2010-11-11 Wolf Gmbh Gasmotor und Verfahren zur Herstellung eines derartigen Gasmotors, insbesondere durch Umbau eines Dieselmotors
CN102695042B (zh) * 2012-05-28 2015-12-02 昆山锐芯微电子有限公司 图像传感器监控系统及监控方法
EP3869791A1 (en) * 2016-12-30 2021-08-25 Sony Advanced Visual Sensing AG Data rate control for event-based vision sensor
CN108462842A (zh) * 2018-05-14 2018-08-28 恒玄科技(上海)有限公司 一种高准确度、低功耗的视屏监控方法及监控系统
CN109274896A (zh) * 2018-09-26 2019-01-25 信利光电股份有限公司 一种图像采集方法和图像传感器
KR20210000985A (ko) * 2019-06-26 2021-01-06 삼성전자주식회사 비전 센서, 이를 포함하는 이미지 처리 장치 및 비전 센서의 동작 방법
CN110536083B (zh) * 2019-08-30 2020-11-06 上海芯仑光电科技有限公司 一种图像传感器及图像采集系统
CN111510650B (zh) * 2020-04-26 2021-06-04 豪威芯仑传感器(上海)有限公司 一种图像传感器

Also Published As

Publication number Publication date
CN113132656A (zh) 2021-07-16
CN113132656B (zh) 2022-01-28
WO2022222170A1 (zh) 2022-10-27
US20240048859A1 (en) 2024-02-08
EP4329290A1 (en) 2024-02-28

Similar Documents

Publication Publication Date Title
CN110192387B (zh) 用于基于事件的视觉传感器的数据速率控制
CN111510650B (zh) 一种图像传感器
CN107003973B (zh) 用于模拟前端的低功率情境感知控制的方法、电路和设备
US20160093273A1 (en) Dynamic vision sensor with shared pixels and time division multiplexing for higher spatial resolution and better linear separable data
US10516838B2 (en) Event-based sensor and event-based sensing method
US20240048859A1 (en) Image sensor and image processing system
CN106576135B (zh) 一种具有扩展的动态范围上限的图像传感器
JP7207638B2 (ja) 画素収集回路及び画像センサ
JP2016062148A (ja) 情報処理装置および画像入力装置
WO2013000381A1 (zh) 控制移动终端状态的方法及移动终端
KR20160112219A (ko) 이벤트 기반 센서 및 프로세서의 동작 방법
US20220264035A1 (en) Dynamic Region of Interest (ROI) for Event-Based Vision Sensors
KR20220022439A (ko) 모바일 장치에 포함된 상시 애플리케이션을 위한 이미지 센서
JP7428307B2 (ja) ピクセル取得回路及び画像センサ
CN113747090B (zh) 一种像素采集电路及图像传感器
KR20220054592A (ko) 이벤트 기반 비전 센서들에서의 지연 균등화
JPWO2021064511A5 (ja)
Bai et al. Enhancement of the reliability of an embedded surveillance system by multiple sensors using a majority voting mechanism
CN114095673A (zh) 一种图像输出方法、装置及计算机可读存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20231031