JP6992238B2 - 画素収集回路、オプティカルフローセンサー、オプティカルフロー及び画像情報収集システム - Google Patents

Description

本発明は画像収集の技術分野に関し、特に画素収集回路、オプティカルフローセンサー、オプティカルフロー及び画像情報収集システムに関する。

情報技術の継続的な発展に伴い、コンピュータビジョン及び画像情報処理はますます重要となっている。その中で、オプティカルフロー法は画像情報に基づいて対象物の運動状態を決定することができる。オプティカルフロー法は軍用航空宇宙、交通監視、情報科学、気象学や医学等の様々な分野に適用できる。

オプティカルフローの概念は、１９５０年にＧｉｂｓｏｎによって最初に提案された。現実の物体はカメラの感光素子によってイメージング可能であり、且つ形成された画像中の点が物体の点に一対一対応している。三次元空間の対象物及びシーンを二次元画像平面の運動に対応付けると、二次元画像平面における対象物の投影が運動を形成し、画像平面の輝度モードで表現されるこの運動の流れをオプティカルフローと呼ぶ。

現在、オプティカルフローアルゴリズムは通常複雑で、且つ計算量が膨大である。オプティカルフロー計算を行うために、フロントエンド画像収集機器が高フレームレートで画像収集を行い、その後、後続の画像処理機器が高計算量のオプティカルフロー分析を行う必要がある。

従来のオプティカルフローセンサーはアクティブ画素センサー及び独立した画像情報プロセッサを集積してオプティカルフロー計算を実現する。従来のオプティカルフロー計算方法は多くの場合、時間領域における複数フレームの画像を計算して運動物体の運動情報を得る。高速運動物体に対するリアルタイムオプティカルフロー分析を取得するために、アクティブ画素センサーは非常に高いフレームレートで動作する必要があり、その結果、オプティカルフロー計算量が増え、リアエンド情報プロセッサのハードウェア要件が高まってしまう。

従って、本発明は新たなオプティカルフロー及び画像情報の収集方案を提案している。

本発明は新たなオプティカルフロー収集の技術案を提供し、上記少なくとも１つの課題を効果的に解決する。

本発明の一態様によれば、画素収集回路を提供し、照射される光信号の強度を表す第１電信号をリアルタイムに出力する光電検出ユニットと、第１入力端子が光電検出ユニットの出力端子にカップリングされ、第２入力端子がオプティカルフロー情報リセット線にカップリングされ、オプティカルフロー情報リセット線からのリセット信号がキャンセルされたとともに第１電信号が所定のトリガー条件を満たすと検出すると、オプティカルフロー情報計時トリガー信号を出力するオプティカルフロー情報計時トリガーユニットと、第１入力端子がオプティカルフロー情報計時トリガーユニットにカップリングされ、第２入力端子がオプティカルフロー情報リセット線にカップリングされ、オプティカルフロー情報リセット線からのリセット信号がキャンセルされたとともにオプティカルフロー情報計時トリガー信号を受信すると、計時スタート信号を出力するオプティカルフロー情報計時制御ユニットと、第１入力端子がオプティカルフロー情報計時制御ユニットにカップリングされ、第２入力端子がオプティカルフロー情報リセット線にカップリングされ、オプティカルフロー情報リセット線からのリセット信号がキャンセルされたとともに計時スタート信号を受信すると、計時を開始し、計時信号を生成するオプティカルフロー情報計時ユニットと、第１入力端子がオプティカルフロー情報計時ユニットにカップリングされ、第２入力端子がオプティカルフロー出力行選択線にカップリングされ、オプティカルフロー出力行選択線からのオプティカルフロー行選択信号を受信し、前記オプティカルフロー行選択信号が有効な場合、今回の受信時刻における計時信号をキャッシュして出力する行選択出力ユニットと、を備える。

本発明に係る画素収集回路では、第１入力端子が光電検出ユニットの出力端子にカップリングされ、第２入力端子が画像情報収集ラインにカップリングされ、画像情報収集ラインからの画像情報収集信号を受信し、今回の受信時刻における第１電信号をサンプリングしてキャッシュする画像情報収集ユニットをさらに備え、行選択出力ユニットは第３入力端子が画像情報収集ユニットにカップリングされ、第４入力端子が画像出力行選択線にカップリングされ、画像出力行選択線からの画像行選択信号を受信し、画像行選択信号が有効な場合、今回の受信時刻における第１電信号をキャッシュして出力するようにしてもよい。

本発明の別の態様によれば、オプティカルフローセンサーを提供し、複数の上記画素収集回路を備える画素収集回路アレイと、画素収集回路アレイ中の少なくとも一部の画素収集回路によって出力される計時信号を読み取るオプティカルフロー情報読み出しユニットと、リセット信号を生成し、オプティカルフロー情報リセット線を介して画素収集回路アレイ中の各画素収集回路に出力するグローバル制御ユニットと、を備える。

本発明に係るオプティカルフローセンサーでは、画素収集回路アレイ中の少なくとも一部の画素収集回路によって出力される第１電信号を読み取る画像情報読み出しユニットをさらに備え、グローバル制御ユニットはさらに画像情報収集信号を生成し、画像情報収集ラインを介して画素収集回路アレイ中の各画素収集回路に出力するようにしてもよい。

本発明のさらに別の態様によれば、オプティカルフロー及び画像情報収集システムを提供し、上記オプティカルフローセンサーと、オプティカルフローセンサー中のオプティカルフロー情報読み出しユニットにカップリングされ、計時信号を取得し、オプティカルフロートリガー画素点の時間マッピング画像を生成するオプティカルフロープリプロセッサと、オプティカルフローセンサー中の画像情報読み出しユニットにカップリングされ、第１電信号を取得し、全画素点のグレー画像を生成する画像プリプロセッサと、を備える。

以上のように、本発明に係るオプティカルフローセンサーは運動オプティカルフロー情報を効果的に抽出する方案を提供し、該方案によって様々な速度の運動物体に対してオプティカルフロー情報を効果的に抽出することができるとともに、画像情報を収集して、明確で遅延がないフルグレー画像を取得し、抽出されたオプティカルフロー情報に対して背景情報を提供することができる。一実施形態によれば、オプティカルフローセンサーはオプティカルフローフレーム及び画像フレーム情報を並行して個別に出力する。このようにして、本発明に係るオプティカルフロー及び画像情報収集システムによれば、オプティカルフロー及び画像情報を相互に干渉することなく完全に並行して取得でき、且つオプティカルフロー情報及び画像情報の取得及び読み出し速度が異なる要求に応じて調整できる。

上記及び関連目的を実現するために、本明細書では、以下の説明及び図面を参照しながらいくつかの例示的な態様を説明し、これらの態様は本明細書に開示されている原理を実施できる様々な形態を示し、且つすべての態様及びその同等態様は請求された主題の範囲に属する。図面を参照しながら以下の詳細説明を読むことにより、本開示の上記及びほかの目的、特徴及び利点がさらに明らかになる。本開示を通して、同一符号は通常、同一部材又は要素を示す。

図１は本発明のいくつかの実施例に係るオプティカルフロー及び画像情報収集システム１００の模式図を示す。 本発明のいくつかの実施例に係るオプティカルフローセンサー１１０の動作方式の模式図を示す。 本発明のいくつかの実施例に係るオプティカルフローセンサー１１０の動作方式の模式図を示す。 本発明のいくつかの実施例に係るオプティカルフローセンサー１１０の動作方式の模式図を示す。 本発明のいくつかの実施例に係るオプティカルフローセンサー１１０の動作方式の模式図を示す。 本発明の実施例に係るオプティカルフローセンサー１１０のオプティカルフロー情報抽出の模式図を示す。 本発明の実施例に係るオプティカルフローセンサー１１０のオプティカルフロー情報抽出の模式図を示す。 本発明の実施例に係るオプティカルフローセンサー１１０のオプティカルフロー情報抽出の模式図を示す。 本発明の実施例に係るオプティカルフローセンサー１１０のオプティカルフロー情報抽出の模式図を示す。 本発明の実施例に係るオプティカルフローセンサー１１０のオプティカルフロー情報抽出の模式図を示す。 本発明の実施例に係るオプティカルフローセンサー１１０のオプティカルフロー情報抽出の模式図を示す。 図４は本発明のいくつかの実施例に係る画素収集回路４００の模式図を示す。 本発明の実施例に係る光電検出ユニット４１０の模式図を示す。 本発明の実施例に係る光電検出ユニット４１０の模式図を示す。 本発明の実施例に係る光電検出ユニット４１０の模式図を示す。 本発明の実施例に係る光電検出ユニット４１０の模式図を示す。 本発明の実施例に係るフィルタ増幅モジュールの模式図を示す。 本発明の実施例に係るフィルタ増幅モジュールの模式図を示す。 本発明の実施例に係るフィルタ増幅モジュールの模式図を示す。 本発明の実施例に係るフィルタ増幅モジュールの模式図を示す。 本発明の一実施例に係る閾値比較モジュールの模式図を示す。 本発明の一実施例に係る閾値比較モジュールの模式図を示す。 本発明の一実施例に係る閾値比較モジュールの模式図を示す。 本発明の一実施例に係る閾値比較モジュールの模式図を示す。 本発明の一実施例に係るオプティカルフロー情報計時ユニットの模式図を示す。 本発明の一実施例に係るオプティカルフロー情報計時ユニットの模式図を示す。 図９は本発明の一実施例に係る画素収集回路９００の模式図を示す。 図１０は本発明のいくつかの実施例に係るオプティカルフローセンサー１１０の模式図を示す。

以下、図面を参照しながら本開示の例示的な実施例をさらに詳細に説明する。図面には本開示の例示的な実施例が示されているが、ここで説明される実施例に限定されることなく、様々な形態で本開示を実施できると理解すべきである。その反面、これらの実施例は本開示をよりよく理解でき、且つ本開示の範囲を当業者に完全に伝えることができるために提供されている。

図１は本発明のいくつかの実施例に係るオプティカルフロー及び画像情報収集システム１００の模式図を示す。図１に示すように、オプティカルフロー及び画像情報収集システム１００はオプティカルフローセンサー１１０、画像プリプロセッサ１２０及びオプティカルフロープリプロセッサ１３０を備える。オプティカルフローセンサー１１０は、複数の画素収集回路（すなわち、画素ユニット）から構成される画素収集回路アレイ１１１、画像情報読み出しユニット１１２、オプティカルフロー情報読み出しユニット１１３及びグローバル制御ユニット１１４を備える。アレイ１１１中の各画素収集回路はバスを介して画像情報読み出しユニット１１２、オプティカルフロー情報読み出しユニット１１３及びグローバル制御ユニット１１４にカップリングされる。画素収集回路アレイ１１１は通常、複数行の画素収集回路を備え、各行はさらに１つ又は複数の画素収集回路を備え、図１には３＊２計６個の画素収集回路が示されているが、これに限定されない。グローバル制御ユニット１１４は画像取得ユニット１１４２及びオプティカルフロー取得ユニット１１４４を備え、それらによってグローバルな画像情報収集信号及びリセット信号をそれぞれ生成して、画素収集回路アレイ１１１全体を制御する。具体的には、アレイ１１１中の画素収集回路はグローバル制御ユニット１１４によって供給されたグローバル制御信号の作用下で、画像情報及びオプティカルフロー情報を同時に収集することができる。画像情報は視野内でアレイ１１１によって感知される照明強度の大きさを反映し、オプティカルフロー情報は視野内の運動の時空間情報を反映し、これら２種の情報は相互に独立した画像情報読み出しユニット１１２及びオプティカルフロー情報読み出しユニット１１３の制御下で、それぞれ画像プリプロセッサ１２０及びオプティカルフロープリプロセッサ１３０に送信される。

一実施形態では、オプティカルフロー情報の収集について、現実世界の運動はセンサーの視野内において感知される光強度変化として反映され、アレイ１１１は視野内の光強度の変化（例えば、照度変化量や変化速度等）をリアルタイムに同期監視することができる。具体的には、アレイ１１１中の各画素収集回路は照射される光強度情報をリアルタイムに監視する。１つの画素収集回路は光強度情報の変化が所定の条件を満たす（例えば、照度変化量及び変化速度がいずれもそれぞれの閾値を超える）と決定すると、オプティカルフロートリガー状態に入り、条件を満たさないと、もとの状態を維持する。オプティカルフロートリガー状態に入った画素収集回路は即刻に内部のオプティカルフロー情報計時ユニットをスタートし、該ユニットは画素収集回路の内部でタイマーの機能を実現し、該タイマーは画素収集回路がオプティカルフロートリガーされた後にスタートされ、時間情報を表すために、時間とともに単調に変化する計時信号を生成し、その後、オプティカルフロープリプロセッサ１３０はオプティカルフロー情報読み出しユニット１１３によって画素アレイ１１１中のすべての画素収集回路の計時信号の（読み出される時刻における）過渡振幅を読み取り、二次元の時間マッピング画像（オプティカルフローフレーム）を得ることができ、各画素点の計時信号は、該読み出し時刻において該画素収集回路がオプティカルフロートリガーされたか否か（該信号が有効計時信号であるか否かを検出する）及びトリガーされてからの経過時間（該有効計時信号の振幅の大きさを検出する）を知らせる。オプティカルフローフレームがオプティカルフロートリガー画素ユニットによって出力されるオプティカルフロー計時情報を十分に取得した場合、画素アレイ平面におけるオプティカルフローフレームのマッピングは１つの二次元の時間スロープ平面として表現され、該時間スロープ平面をさらに分析することによって、視野内の運動の方向及び速度の情報を抽出でき、それによってオプティカルフローの計算を実現する。オプティカルフロー情報計時ユニットはランプ信号発生器であり、１回のオプティカルフロー情報検出プロセスには１回のみスタートし、ローカルで時間とともに直線的に変化する１つのランプ信号を生成する。

一実施形態では、画像情報の収集について、グローバル制御ユニット１１４は（グローバル）画像情報収集信号を出し、該信号はアレイ１１１中のすべての画素収集回路の画像情報収集ユニットを、該時刻における光強度に関連する第１電信号を同時に収集してキャッシュするように制御する。後続の読み出しプロセスでは、各画素収集回路によってキャッシュされた第１電信号を取得するだけで、画像全体の光強度情報（画像フレーム）を取得できる。

なお、オプティカルフローセンサー１１０によるオプティカルフロー及び画像の２種の情報の取得が完全に独立して行われるため、これら２種の情報を並行して出力することができる。まず、アレイ１１１中の画素収集回路は独立した画像情報収集ユニット及びオプティカルフロー情報計時ユニットによってオプティカルフロー及び画像情報を同時に収集でき、また、これら２種の情報はそれぞれの読み出しユニットの制御で、独立したデータバスを介してそれぞれのプリプロセッサに読み込まれる。このように、オプティカルフローセンサー１１０は相互に干渉することなくオプティカルフロー及び画像情報を完全に並行して出力することができ、オプティカルフロー情報及び画像情報の取得及び読み出し速度は異なる要求に応じて調整できる。

以上の説明によれば、オプティカルフローセンサー１１０はオプティカルフロー情報及び画像情報を並行して出力することができる。オプティカルフロー情報読み出しユニット１１３は所定の周波数で画素収集回路アレイ１１１全体のオプティカルフロー情報計時ユニットの計時信号を走査し、よって連続したオプティカルフローフレームを取得する。各オプティカルフローフレームはトリガーされた画素収集回路のトリガー時刻の時間情報を含み、該時間情報を画素アレイ１１１の二次元空間でマッピングして形成される時間スロープの向き及び勾配情報を分析し、よって運動のオプティカルフロー情報を得る。一方、画像情報読み出しユニット１１２は所定の周波数で画素アレイ全体の画像情報収集ユニットによって収集された第１電信号を走査し、よって連続した画像フレームを取得する。各画像フレームは光強度に関連する１つの全画素点のグレー画像を含む。画像フレームによって取得される全画素点のグレー画像はオプティカルフロー情報をマークするための背景画像とするが、オプティカルフローフレームによって取得される時間スロープ平面はオプティカルフロー情報を簡単に抽出できる。

以下、図２Ａ、図２Ｂ、図２Ｃ及び図２Ｄを参照しながらオプティカルフローセンサー１１０の典型的な動作方式を例示的に説明する。図２Ａ、図２Ｂ、図２Ｃ及び図２Ｄでは、斜線付きの正方形はオプティカルフローフレーム、斜線なし正方形は画像フレームを表す。オプティカルフローセンサー１１０はオプティカルフローフレーム及び画像フレームを並行して個別に出力し、それらのフレームレートは、図２Ａに示すように、異なる応用シーンに応じて個別に設定されてもよく、図２Ｂに示すように、同じフレームレートに設定されてもよく、いくつかの応用では、図２Ｃ及び図２Ｄに示すように、連続したオプティカルフローフレーム出力のみで運動の検出を実現し、又は連続した画像フレーム出力のみで運動の検出を実現する。

なお、本発明のオプティカルフローセンサー１１０の動作方式はさらに上記例以外の同等置換方式として設定されてもよいが、ここでは詳細説明を省略する。

以下、それぞれオプティカルフローフレーム及び画像フレームをさらに説明する。

１回のオプティカルフロー情報検出プロセスでは、運動オブジェクトがオプティカルフローセンサー１１０の視野を通過すると、アレイ１１１中の一部の画素収集回路の照明の変化を引き起こすことができる。画素収集回路は照明変化が閾値を超えると、内部の計時ユニットであるオプティカルフロー情報収集ユニットをスタートし、最も簡単なのは、ローカルでは時間とともに直線的に変化するランプ信号を生成することによって実現することであり、光強度変化がない又は光強度変化が不十分であると検出された画素収集回路の場合、その未トリガー状態を維持し、内部のオプティカルフロー情報計時ユニットがスタートされていない。それと同時に、オプティカルフロー情報読み出しユニット１１３はアレイ１１１中の各画素収集回路のオプティカルフロー情報計時ユニットの計時信号を読み取り、リアエンドのオプティカルフロープリプロセッサ１３０に送信し、オプティカルフロープリプロセッサ１３０は該計時信号に基づいてオプティカルフロートリガー画素点の時間マッピング画像を得る。例えば、行ごとにアレイ１１１全体を走査し、各オプティカルフロー情報収集ユニット中のランプ信号の振幅を外部のオプティカルフロープリプロセッサ１３０に送信する。各画素点の計時信号（ランプ振幅信号）は該読み出し時刻において該画素点がトリガーされたか否か（該信号が有効な計時信号であるか否かを検出するによって）及びトリガーされてからの経過時間（該有効計時信号の振幅を検出するによって）を知らせる。

オプティカルフロープリプロセッサ１３０はさらに該振幅信号に対して増幅、アナログデジタル変換処理及び符号化操作を行い、ランプ信号の振幅から対応する時間情報を取得する。１回のオプティカルフロー情報検出プロセスでは、アレイ１１１中の画素収集回路は閾値を超える光強度変化が初回検出される場合のみに、トリガーされ、且つオプティカルフロー情報計時ユニットを１回スタートし、すべての画素アレイ１１１のオプティカルフロー情報計時ユニットを走査して、該走査時刻までのすべてのトリガーされた画素ユニットの空間及びトリガー時刻の時間情報を含む１つのオプティカルフローフレームを取得することができる。第１個のオプティカルフローフレームの出力が１回のオプティカルフロー情報検出の初期時刻に行われるため、第１個のオプティカルフローフレームによって取得される有効画素ユニットの数が少なく（疎らな有効画素ユニットではオプティカルフローフレームで有効な時間スロープ平面を形成することができないため、運動オプティカルフローの分析を実現できない）。オプティカルフロー情報の読み出しが画素収集回路の正常動作に影響を与えることがないため、オプティカルフローフレームが読み出され続けるに伴い、ますます多くの画素収集回路は視野運動に起因する光強度変化が検出されることによってオプティカルフロートリガー状態に入り、内部のオプティカルフロー情報計時ユニットをスタートする。オプティカルフローフレームを出力し続けることによって、現在のフレーム読み出し時刻まで累積されたすべてのスタートされたオプティカルフロー情報計時ユニットの時間情報を取得できる。これらの時間情報（オプティカルフローフレームの連続走査）を累積し続けることによって、画素アレイ１１１の二次元空間における投影が徐々に１つのスロープ平面（時間スロープ）を形成し、該時間スロープの勾配及び向き情報を分析することによって、有効なオプティカルフロー情報を抽出でき、それによって運動の方向及び速度の検出を実現する。ここまで、１回のオプティカルフロー情報検出の全過程が終了し、次回のオプティカルフロー情報検出を開始できる。

一実施形態では、検出される運動の速度によって、１回のオプティカルフロー情報検出プロセスに必要な時間は異なる。高速運動の場合、相対的に短い時間内に十分なトリガー画素ユニットを累積して有効な時間スロープを形成することができ、従って、オプティカルフロー情報検出プロセスが相対的に短く、すなわち１回の運動検出に少ないオプティカルフローフレームが必要である。低速運動の場合、検出される有効運動軌跡を形成するには十分に長い時間がかかり、従って、１回の運動検出に必要な時間が長く、すなわち、複数のオプティカルフローフレームが必要である。以上のように、オプティカルフローフレームの読み出しが画素ユニットの正常動作に影響を与えることがないため、トリガーされた画素ユニットの時間情報が有効であり続け（その計時範囲を超えるまで）、従って、検出時間が十分に長い限り、有効な時間スロープを形成してオプティカルフロー分析を行うことができる。

画像フレームの収集について、グローバル制御ユニット１１４は１つのグローバル画像情報収集信号を提供し、アレイ１１１中のすべての画素収集回路の画像収集ユニットを、光強度に関連する第１電信号をサンプリングするように制御する。画像プリプロセッサ１２０は、画像情報読み出しユニット１１２によってすべての画素収集回路の、画像情報収集信号の有効な時刻における光強度に関連する第１電信号を読み取り、該信号に対して増幅処理及びアナログデジタル変換処理を行うように配置されてもよく、出力されるデータは抽出されたオプティカルフロー情報をマーク可能な完全な背景グレー画像を作成することに用いられてもよい。画素収集アレイ１１１は光強度に関連する第１電信号を同期サンプリングするため、グローバルシャッターと類似するこの制御メカニズムによって、明確で遅延がない背景画像を取得できる。

本発明のオプティカルフローセンサー１１０がオプティカルフロー情報をどのように抽出するかをより明確に説明するために、以下、図３Ａ－３Ｆを参照しながら、オプティカルフローセンサー１１０のオプティカルフローフレーム出力によってオプティカルフロー情報を抽出するプロセスをさらに説明する。

説明の便宜上、簡単なシーンを選択して説明し、図３Ａに示すように、形状が規則的で材質が均一な立方体ＡがＸ方向に沿って所定の速度で運動してオプティカルフローセンサー１１０の視野範囲に入る。図３Ａに示すように、物体Ａに斜線を付けることは、物体Ａの輝度が背景の輝度よりも低いことを示す。なお、該シーンは単に説明の便宜上選択され、本発明に係るオプティカルフローセンサーはさらに材質や形状が複雑な物体が複雑な運動軌跡に沿って異なる速度で運動するシーンを効果的に検出することができる。また、簡単にするために、オプティカルフローセンサー１１０のアレイ１１１は８×８個の画素収集回路のみを備え、Ｐ（ｘ，ｙ）は第ｘ行第ｙ列の画素を示す。異なる時刻において、シーンで見た画像は図３Ｂに示される。初期時刻（ｔ＝０）において、画素Ｐ（３，１）～Ｐ（６，２）の視野領域が物体Ａによって示されて、灰色で示され、残りの画素が輝度の高い背景のみを検出し、白色で示される。物体Ａの運動に伴い、それらの視野領域の物体Ａの運動軌跡によってカバーされる画素ユニットがオプティカルフロートリガー状態に入り、それは、これらの画素ユニットは初期の高輝度背景から低輝度物体への光強度変化を検出したからである（残りの画素ユニットは検出された光強度が変化していないため、トリガーされていない）。以上のように、一旦トリガーされると、画素ユニット内のオプティカルフロー情報計時ユニットがスタートされてオプティカルフローフレーム読み出し時刻からの相対時間情報を報告する。運動の進化及びオプティカルフローフレームの連続出力に伴い、後続のオプティカルフローフレームはより多くのトリガー画素ユニットを検出してより完全な時間マッピング画像を形成する。該シーンでは、定量的な説明の便宜上、物体イメージングの運動速度を１ミリ秒あたり１画素とし、且つ画素ユニットが物体イメージングによって半分カバーされると、オプティカルフロートリガー状態に入ると考えられる。この場合、ｔ＝１ｍｓにおいて、物体Ａのイメージングが右へ１列進み（Ｘ方向に沿って運動し且つ速度が１ミリ秒あたり１画素であるためである）、ｔ＝２ｍｓにおいて、物体Ａのイメージングが右へ２列進み、時間の経過に伴い、視野中のイメージングは図３Ｂに示される。

以下、まず、オプティカルフローフレーム読み出し操作がどのように画素ユニット内のオプティカルフロー情報計時ユニットの計時信号によってオプティカルフロートリガー画素ユニットのトリガー時間情報を取得するかを説明する。

図３Ｃは画素ユニット内のオプティカルフロー情報計時ユニットによって生成される計時信号を示しており、なお、該計時信号は単に、説明の便宜上選択される表現方式であり、実際には、ほかの形態で同様な目的を実現してもよい。該計時信号はシングルランプ信号であり、画素ユニットトリガー時刻にスタートされ、その後、徐々に減衰し、時間とともに変化する振幅の傾きは既知で且つ調整可能である。オプティカルフロー情報読み出しユニットは画素アレイ全体のオプティカルフロー情報計時ユニットを走査し続けて、連続したオプティカルフローフレーム出力を取得し、１つのオプティカルフローフレームにおいて、該計時信号の振幅を検出することによって、該画素ユニットトリガー時刻と今回のオプティカルフローフレーム出力との相対時間情報を得ることができる。例えば、ランプ信号全体の振幅が１０個の単位であり、時間とともに変化する傾きが１単位／ミリ秒である場合、あるオプティカルフローフレームにおいて、読み取った計時信号の振幅が７（図３Ｃ中のＡ点に示される）であると、画素ユニットが該オプティカルフローフレーム読み出し時刻まで３ミリ秒トリガーされていると判断でき、読み取った計時信号の振幅が２（図３Ｃ中のＢ点に示される）であると、画素ユニットが該オプティカルフローフレーム読み出し時刻まで８ミリ秒トリガーされていると判断できる。従って、各オプティカルフローフレームで読み取った画素ユニットの計時情報は実際には、各画素ユニットが該オプティカルフローフレーム読み出し時刻までトリガーされた時間を示し、該時間情報はオプティカルフロープリプロセッサが取得された各画素ユニットから出力された過渡計時信号の振幅によって算出される。画素ユニットのトリガー時刻が速いほど、読み取られる振幅が低く、トリガー時刻が遅いほど、読み取られる振幅が高く、トリガーされていない画素ユニット及び長時間トリガーされている画素ユニットの読み取られる計時信号の振幅がいずれも非常に低い、これは図３Ｄから明らかになる。該図はＰ（３，３）～Ｐ（３，８）の６個の画素ユニットによって生成される計時信号を示しており、以上説明されたシーンによれば、Ｐ（３，３）～Ｐ（３，８）の画素ユニットは順番にトリガーされ、対応するオプティカルフロー情報計時ユニットをスタートし、それぞれ生成された計時信号が時間軸上の平行運動として表現される。１ｓｔ時刻におけるオプティカルフローフレーム出力について、該時刻までにＰ（３，３）のみがトリガーされるため、Ｐ（３，３）画素ユニットのトリガー時間情報を０．５ｍｓと取得でき、６ｔｈのオプティカルフローフレーム出力について、これらの画素ユニットがいずれもトリガーされ、これらの画素ユニットのトリガー時刻情報を取得でき、Ｐ（３，３）が最も速くトリガーされ、Ｐ（３，８）が最も遅くトリガーされるため、対応する計時信号の読み取られる振幅が昇順となり、計時信号が時間とともに変化する傾き及び該読み出し時刻における各計時信号の過渡振幅によって、Ｐ（３，３）が該読み出し時刻まで５．５ｍｓにトリガーされており、Ｐ（３，８）が該読み出し時刻まで０．５ｍｓにトリガーされたと判断できる。

以下、続いて、これらの抽出された時間情報を説明して二次元時間スロープ平面を取得し、該時間スロープ平面を利用して有効なオプティカルフロー情報を抽出することを説明する。

画素ユニットＰ（３，３）～Ｐ（６，３）は第０．５ｍｓにトリガーされ（このとき、これらの画素ユニットに対応する視野領域の半分が運動物体によってカバーされるからである）、該時刻においてそれぞれの内部のオプティカルフロー情報収集計時ユニットをスタートする。同様に、物体が運動し続けるに伴い、画素ユニットＰ（３，４）～Ｐ（６，４）は１．５ｍｓ時刻にトリガーされ、内部のオプティカルフロー情報収集計時ユニットをスタートする。このとき、Ｐ（３，３）～Ｐ（６，３）の画素ユニットが１ｍｓトリガーされているため、従ってそれらの計時ユニットが１ｍｓ計時している。このように分析したところ、後ろの第５～８列の画素ユニット（第３～６行）はそれぞれ第２．５～５．５ｍｓにオプティカルフロートリガー状態に入り、それぞれのオプティカルフロー情報収集計時ユニットをスタートする。別の態様では、オプティカルフローセンサーのオプティカルフロー情報読み出しユニットも画素アレイを読み取る画素ユニットの内部のオプティカルフロー情報収集計時ユニットの計時信号を連続的に走査して二次元の時間情報マッピング画像を生成する。分析の便宜上、オプティカルフローセンサー１１０が１ｍｓごとに１つのオプティカルフローフレームを出力すると、各オプティカルフローフレームによって形成される時間マッピング画像は図３Ｅに示され、図中、Ａ～Ｆはそれぞれ第１～６ｍｓに読み出されるオプティカルフローフレームの時間マッピング画像を示す。第１ｍｓに出力されるオプティカルフローフレームとして、このとき、画素ユニットＰ（３，３）～Ｐ（６，３）のみがトリガーされているため、該フレームはこれらの画素ユニットの計時信号を０．５ｍｓと取得するしかできず、形成される時間情報マッピング画像は図３Ｅ中のＡに示される。第２ｍｓのオプティカルフローフレームについて、画素ユニットＰ（３，４）～Ｐ（６，４）がさらに１．５ｍｓにトリガーされるため、該オプティカルフローフレームはＰ（３，３）～Ｐ（６，３）とＰ（３，４）～Ｐ（６，４）というトリガー画素ユニットを検出できる。該オプティカルフローフレームについて、検出される画素ユニットＰ（３，３）～Ｐ（６，３）の計時信号が１．５ｍｓであり、画素ユニットＰ（３，４）～Ｐ（６，４）の計時信号が０．５ｍｓであり、形成される時間情報マッピング画像は図３Ｅ中のＢに示される。以下同様に、第３～６ｍｓに出力されるオプティカルフローフレームによって形成される時間マッピング画像は図３Ｅ中のＣ～Ｆに示される。該図３Ｅからわかるように、後続のオプティカルフローフレームは前のオプティカルフローフレームよりも多くのトリガー画素ユニットを検出するため、時間マッピング画像上でより有効な時間スロープ平面を形成することができる。高速運動の場合、運動軌跡の延伸速度が速いため、相対的に短い時間内に十分な画素ユニットを累積して、有効な時間スロープ平面を形成することができ、つまり、少ないオプティカルフローフレームだけで運動オプティカルフロー情報の検出を実現でき、低速運動の場合、運動軌跡の延伸速度が遅いため、十分な画素ユニットを累積して有効な時間スロープ平面を形成するには相対的に長い時間が必要であり、つまり、運動オプティカルフロー情報の検出を実現するには多くのオプティカルフローフレームが必要である。従って、有効な時間スロープ平面を形成するのに十分な時間がある限り、オプティカルフローセンサー１１０は速度が異なる運動を効果的に検出することができる。また、オプティカルフロー情報検出及び画像情報出力が完全に独立するため、オプティカルフロー情報検出と同時に、オプティカルフローセンサー１１０は高速で遅延のない明確な画像を出力することができる。

一実施形態によると、オプティカルフロー情報読み出しユニット１１３によって生成されるオプティカルフローフレームによってマッピングされる時間スロープ情報を利用してオプティカルフロー分析を簡単に行うことができる。該時間スロープの傾斜度及び向きは物体の運動速度及び運動方向情報を示す。図３Ｆ中の（１）は該物体がＸ軸の逆方向に沿って異なる運動速度で視野を通過する時に形成される時間スロープを示している。運動方向が同じであるため、３つの時間スロープの向きが同じであるが、異なる速度によって時間スロープの傾斜度が異なる。勾配の降順で並べられる３つの時間スロープのそれぞれに対応する運動速度はミリ秒あたり０．５画素、１画素及び２画素である。以上からわかるように、物体の運動速度が遅いほど、形成される時間スロープの傾斜度が大きく、その反面、物体の運動速度が速いほど、形成される時間スロープの傾斜度が小さい。また、図３Ｆ中の（２）、（３）はそれぞれ物体がＹ軸の逆方向及びＸ軸の反時計回り４５°方向に沿って運動する時間スロープを示している。図３Ｆに示されている時間スロープの向きのＸＹ平面における投影から、物体の運動方向を簡単に取得できる。

以下、図４を参照しながら、画素収集回路アレイ１１１中の画素収集回路をさらに説明する。図４は本発明のいくつかの実施例に係る画素収集回路４００の模式図を示す。

図４に示すように、画素収集回路４００は少なくとも光電検出ユニット４１０、オプティカルフロー情報計時トリガーユニット４２０、オプティカルフロー情報計時制御ユニット４３０、オプティカルフロー情報計時ユニット４４０及び行選択出力ユニット４５０を備える。一実施形態では、画素収集回路は画像情報収集ユニット４６０をさらに備える。図４に示されるオプティカルフロー情報リセット線、画像情報収集ラインはグローバル制御ユニット１１４のオプティカルフロー取得ユニット１１４４及び画像取得ユニット１１４２によって与えられ、画像出力行選択線は画像情報読み出しユニット１１２から出力され、オプティカルフロー出力行選択線はオプティカルフロー情報読み出しユニット１１３から出力され、データ出力バスはさらにそれぞれ画像情報読み出しユニット１１２及びオプティカルフロー情報読み出しユニット１１３に送られる。

光電検出ユニット４１０は照射される光信号の強度を表す第１電信号をリアルタイムに出力する。ここで、光電検出ユニット４１０は例えば、様々な対数光検出器であってもよいが、これに限定されない。図５Ａ、５Ｂ、５Ｃ及び５Ｄはそれぞれ本発明の実施例に係る光電検出ユニット４１０の模式図を示す。

図５Ａに示される実施例では、光電検出ユニット４１０は、アノードが接地されるフォトダイオードＰＤ_１、及び第１トランジスタＴ_１を備える。第１トランジスタＴ_１は、ソースがフォトダイオードＰＤ_１のカソードに接続され、ドレイン及びゲートが電源ＶＤＤに接続される。一応用シーンでは、フォトダイオードＰＤ_１は照明信号を受信すると、電流Ｉを生成する。これに加えて、Ｔ_１のソースとゲートの間で発生する電圧変化はｌｎＩに直線的に相関する。換言すれば、本実施例では、光電検出ユニット４１０の第１電信号と照射される光信号強度は対数関係を有する。

図５Ｂに示される実施例では、光電検出ユニット４１０はアノードが接地されるフォトダイオードＰＤ_１、第１トランジスタＴ_１及び第１増幅器Ａ_１を備える。第１トランジスタＴ_１は、ソースがフォトダイオードＰＤ_１のカソードに接続され、ドレインが電源ＶＤＤに接続され、第１増幅器Ａ_１はフォトダイオードＰＤ_１のカソードと第１トランジスタＴ_１のゲートとの間に接続される。ここで、第１増幅器Ａ_１はＴ_１のソースとゲートの間で発生する電圧変化の応答速度を向上させることができる。換言すれば、第１増幅器Ａ_１は画素収集回路が光強度変化を検出する速度を向上させる。

図５Ｃに示される実施例では、光電検出ユニットはアノードが接地されるフォトダイオードＰＤ_１、及び直列接続されるＮ個のトランジスタを備え、ここで、Ｎ≧２（図５Ｃ中、Ｎは２であるが、これに限定されない）であり、第１個のトランジスタのソースがフォトダイオードＰＤ_１のカソードに接続され、第Ｎ個のトランジスタのドレインが電源ＶＤＤに接続され、各トランジスタのゲートがドレインに接続され、第２～第Ｎ個のトランジスタのそれぞれのソースが前のトランジスタのドレインに接続される。ここで、直列接続されるＮ個のトランジスタは光検出器の電流（電圧）ゲインを高めることができる。

図５Ｄに示される光電検出ユニット４１０は図５Ｃに示される実施例をもとに、さらなる第１増幅器Ａ_１が配置されている。第１増幅器Ａ_１はフォトダイオードＰＤ_１のカソードと第１個のトランジスタのゲートとの間に接続される。上記複数の光電検出ユニット４１０の実施例を除き、本発明はさらに様々な公知の高リアルタイム性の光電検出ユニットを使用してもよいが、ここでは詳細説明を省略する。

なお、従来の光検出技術では、通常、コンデンサを充電し、その後、連続露光（コンデンサの連続放電）を行い、その後、コンデンサの残量に応じて、累積する照明強度を定める。本発明に係る光電検出ユニット４１０は、光信号強度を表す第１電信号を生成する時、別途の露光時間が不要である。従って、光電検出ユニット４１０は第１電信号を遅延なく出力することができる。

画素ユニット内のオプティカルフロー情報の収集はオプティカルフロー情報計時トリガーユニット４２０、オプティカルフロー情報計時制御ユニット４３０及びオプティカルフロー情報計時ユニット４４０によって共同に行われる。これら３つのモジュールはいずれもオプティカルフロー取得ユニット１１４４から出力されるグローバルリセット信号の制御を受け、該信号が有効な場合、これらオプティカルフロー情報検出に関連する３つのユニットはいずれもリセットする。リセット信号がキャンセルされると、１回のオプティカルフロー情報の検出は開始し、オプティカルフロー情報読み出しユニット１１３は、オプティカルフローフレームでオプティカルフロー分析に十分な有効画素ユニットを累積するまですべての画素ユニットのオプティカルフロー情報計時ユニット４４０を走査し続ける。以下、これら３つのユニットの具体的な機能及び実現を説明する。

オプティカルフロー情報計時トリガーユニット４２０は第１入力端子が光電検出ユニット４１０の出力端子にカップリングされ、第２入力端子がオプティカルフロー情報リセット線にカップリングされる。本発明の一実施例では、オプティカルフロー情報計時トリガーユニット４２０はフィルタ増幅モジュール４２２及び閾値比較モジュール４２４を備える。オプティカルフロー情報計時トリガーユニット４２０は１回のオプティカルフロー情報検出の初期段階にリセットされ、その後、オプティカルフロー情報検出プロセスでは、光電検出ユニット４１０から出力される第１電信号（光強度を表す）の変化が所定のトリガー条件を満たすと、オプティカルフロー情報計時トリガー信号を生成してリアエンドのオプティカルフロー情報計時制御ユニット４３０に送信する。

オプティカルフロー情報を効果的に抽出するために、所定のトリガー条件として、第１電信号の変化速度が十分に速く且つ変化継続時間が十分に長いことを設定する。第１電信号が光電検出ユニット４１０に照射される光強度信号にリアルタイムに応答するため、以上のように第１電信号の要件は光強度信号の要件である。速度が十分に速く且つ強度が十分に高い光強度変化は物体の有効運動によるものであると考えられる。その反面、速度変化が遅い又は強度が低い光強度変化は背景の光強度のドリフト又はジッターによるものである可能性があり、分析対象となる価値がない。上記要件を実現するために、オプティカルフロー情報計時トリガーユニット４２０はフィルタ増幅モジュール４２２及び閾値比較モジュール４２４を備える。フィルタ増幅モジュール４２２は第１電信号に対して前処理操作を行って第２電信号を生成し、前処理操作は増幅操作及びフィルタ操作のうちの少なくとも１つを含み、閾値比較モジュール４２４は第２電信号が第１閾値よりも大きいか否か及び／又は第２閾値よりも小さいか否かを判断し、第２電信号が第１閾値よりも大きい又は第２閾値よりも小さい場合、オプティカルフロー情報計時トリガー信号を生成する。本発明の一実施形態によると、前処理操作において、増幅操作は画素収集回路の光強度検出に対する感度を向上させるために行われるが、必須なものではない。フィルタ操作は一般にハイパスフィルタであり、すなわち、高周波、つまり速度が十分に速い光強度変化のみに応答し、それによって速度が遅い光強度変化を除去する。

フィルタ増幅モジュール４２２は様々な公知のフィルタ及び増幅技術を採用してもよいが、これに限定されない。本発明の図６Ａ、６Ｂ、６Ｃ、６Ｄはそれぞれ本発明のいくつかの実施例に係るフィルタ増幅モジュール４２２の模式図を示す。

図６Ａに示すように、フィルタ増幅モジュール４２２は第２増幅器Ａ_２及びハイパスフィルタを備え、第２増幅器Ａ_２は入力正極が光電検出ユニット４１０の出力端子に接続され、入力負極にプルダウン抵抗器である第１抵抗器Ｒ_１が接続され、出力端子と入力負極との間に第２抵抗器Ｒ_２が接続され、第２増幅器Ａ_２及び第１抵抗器Ｒ_１、第２抵抗器Ｒ_２は増幅機能を提供し、ゲインが、抵抗器Ｒ_２とＲ_１との比に相関する。第２増幅器Ａ_２に接続されるハイパスフィルタは増幅された第１電信号中の周波数閾値よりも低い信号成分を除去し、よって第２電信号を出力する。

図６Ｂに示される実施例では、フィルタ増幅モジュール４２２は第１コンデンサＣ_１、第２増幅器Ａ_２、第２コンデンサＣ_２、第３抵抗器Ｒ_３及び第１スイッチＫ_１を備える。第１コンデンサＣ_１の第１端子が光電検出ユニット４１０の出力端子に接続され、第２増幅器Ａ_２は入力正極が固定電位に接続され、入力負極が第１コンデンサＣ_１の第２端子に接続され、第２コンデンサＣ_２、第３抵抗器Ｒ_３及び第１スイッチＫ_１はいずれも第２増幅器Ａ_２の入力負極と出力端子との間に並列接続され、リセット信号が有効な場合、第１スイッチＫ_１をオンし、リセット信号がキャンセルされると、第１スイッチＫ_１をオフする。図６Ｂに示される実施例では、第１コンデンサＣ_１は第１電信号中の直流成分を分離することができる。第１コンデンサＣ_１と第２コンデンサＣ_２との比はフィルタ増幅モジュール４２２のゲインに比例する。また、第２コンデンサ Ｃ_２及び第３抵抗器Ｒ_３はフィルタを構成し、Ｒ_３は加減抵抗器である。該フィルタは第１電信号の交流成分中の周波数閾値よりも低い信号成分を除去できる。ここで、周波数閾値はＲ_３の抵抗値に応じて決められる。Ｒ_３の抵抗値は例えば、システム１００によってグローバル制御ユニット１１４から送信される指示信号に基づいて調整されてもよく、該指示信号はユーザーの入力に従って決定されてもよいが、これに限定されない。

図６Ｃに示される実施例では、フィルタ増幅モジュール４２２は第２増幅器Ａ_２、第１コンデンサＣ_１、第１スイッチＫ_１及びハイパスフィルタを備える。第２増幅器Ａ_２の入力正極が光電検出ユニット４１０の出力端子に接続され、第１コンデンサＣ_１は第１端子が第２増幅器Ａ_２の入力負極に接続され、第２端子が固定電位（通常、該固定電位はグランド電位であるが、これに限定されない）に接続され、第１スイッチＫ_１は第１コンデンサＣ_１の第１端子と光電検出ユニット４１０の出力端子との間に接続され、ハイパスフィルタは、該第２増幅器Ａ_２に接続され、増幅された第１電信号中の所定の周波数閾値よりも低い信号成分を除去し、第２電信号を生成する。リセット信号が有効な場合、第１スイッチＫ_１をオンし、リセット信号がキャンセルされると、第１スイッチＫ_１をオフする。オプティカルフロー出力モードの開始時、第１スイッチＫ_１は第１コンデンサＣ_１を、光電検出ユニット４１０によって出力される第１電信号を参照レベルとして格納するように制御し、その後、第２増幅器Ａ_２はリアルタイムな第１電信号と該参照レベルとの差分を検出して増幅する。

図６Ａ、６Ｂ、６Ｃに示される実施例は第１電信号の相対変化量に対して増幅及びフィルタ操作を行う。また、図６Ｄに示されるように、フィルタ増幅モジュール４２２はさらに第１電信号の変化速度を直接検出することによって光強度変化検出を実現してもよい。フィルタ増幅モジュール４２２は第１コンデンサＣ_１、電流複製器Ｐ_１、第２増幅器Ａ_２、第２コンデンサＣ_２、第１スイッチＫ_１及び第３抵抗器Ｒ_３を備える。第１コンデンサＣ_１の第１端子が光電検出ユニット４１０の出力端子に接続され、電流複製器Ｐ_１の第１端子が第１コンデンサＣ_１の第２端子に接続され、第２増幅器Ａ_２は入力正極が固定電位に接続され、入力負極が電流複製器Ｐ_１の第２端子に接続され、第２コンデンサＣ_２、第１スイッチＫ_１及び第３抵抗器Ｒ_３はいずれも第２増幅器Ａ_２の入力負極と出力端子との間に並列接続され、リセット信号が有効な場合、第１スイッチＫ_１をオンし、リセット信号がキャンセルされると、第１スイッチＫ_１をオフする。電流複製器Ｐ_１の第１端子及び第２端子にそれぞれ第１電流源Ｉ_１及び第２電流源Ｉ_２が接続され、電流複製器Ｐ_１はその第１端子を１つの固定レベルにクランプし、第１コンデンサＣ_１の電流を、第１電流源Ｉ_１を介して第２電流源Ｉ_２に複製する。電流複製器Ｐ_１は様々な公知の技術によって実現されてもよいが、ここでは詳細説明を省略する。第１コンデンサＣ_１は一端が光電検出ユニット４１０によって出力される第１電信号に接続され、他端が固定レベルに接続される。コンデンサの両端の電圧電流関係によれば、第１コンデンサＣ_１の電流が第１電信号の変化率に比例し、該電流が電流源Ｉ_１を介して電流源Ｉ_２に複製され、第２コンデンサＣ_２を充放電して第２電信号を生成する。このようにして、第２電信号の振幅は第１電信号の変化速度（充放電電流Ｉ_２の大きさ）及び変化継続時間（充放電電流Ｉ_２の継続時間）によって決められる。継続時間が長く且つ変化速度が速い第１電信号（光強度）のみは大きい第２電信号を生成できる。また、第３抵抗器Ｒ_３は調整可能であり、リーク抵抗器として機能し、第２電流源Ｉ_２が非常に小さい場合における第２コンデンサＣ_２への充電効果を相殺でき、それによって第１電信号の交流成分中の周波数閾値よりも低い信号成分を除去し、ハイパスフィルタの機能を実現する。

閾値比較モジュール４２４の入力端子がフィルタ増幅モジュール４２２の出力端子にカップリングされる。前記のように、閾値比較モジュール４２４は第２電信号が第１閾値よりも大きいか否か及び／又は第２閾値よりも小さいか否かを判断し、第１閾値よりも大きい又は第２閾値よりも小さい場合、オプティカルフロー情報収集トリガー信号を生成する。所望の構成に応じて、閾値比較モジュール４２４は第２電信号が第１閾値よりも大きいか否かのみを判断してもよく、第２電信号が第２閾値よりも小さいか否かを判断してもよく、又は、第２電信号が第１閾値よりも大きいか否かを判断するだけでなく、第２電信号が第２閾値よりも小さいか否かを判断するようにしてもよく、且つ第２閾値は第１閾値よりも小さい。このようにして、本発明の閾値比較モジュール４２４によって、画素収集回路４００での照明強度の変化量が大きいか否かを検出できる（照明強度の増減が可能である）。図７Ａ、７Ｂ、７Ｃ及び７Ｄは、それぞれ本発明のいくつかの実施例に係る閾値比較モジュール４２４の模式図を示し、なお、以下の閾値比較モジュール４２４についての説明は単に例示的なものであり、本発明ではこれを限定しない。

図７Ａに示される実施例では、閾値比較モジュール４２４は、反転入力端子が第１閾値を提供する信号ラインに接続され、非反転入力端子がフィルタ増幅モジュール４２２の出力端子に接続される第１電圧コンパレータＶＣ_１を備える。このように、本実施例の閾値比較モジュール４２４は第２電信号が第１閾値よりも大きいか否かを判断できる。

図７Ｂに示される実施例では、閾値比較モジュール４２４は、非反転入力端子が第２閾値を提供する信号ラインに接続され、反転入力端子がフィルタ増幅モジュール４２２の出力端子に接続される第２電圧コンパレータＶＣ_２を備える。このように、本実施例の閾値比較モジュール４２４は第２電信号が第２閾値よりも小さいか否かを判断できる。

図７Ｃに示される実施例では、閾値比較モジュール４２４は、第１電圧コンパレータＶＣ_１、第２電圧コンパレータＶＣ_２及びＯＲゲートを備える。第１電圧コンパレータＶＣ_１は、反転入力端子が第１閾値を提供する信号ラインに接続され、非反転入力端子がフィルタ増幅モジュール４２２の出力端子に接続され、第２電圧コンパレータＶＣ_２は、非反転入力端子が第２閾値を提供する信号ラインに接続され、反転入力端子がフィルタ増幅モジュール４２２の出力端子に接続され、ＯＲゲートは、第１入力端子が第１電圧コンパレータの出力端子にカップリングされ、第２入力端子が第２電圧コンパレータの出力端子にカップリングされ、第１電圧コンパレータの出力及び第２電圧コンパレータの出力に対してＯＲ論理演算を行う。

図７Ｄに示される実施例では、閾値比較モジュール４２４は、第１入力端子にプルダウンコンデンサである第３コンデンサＣ_３が接続され、第２入力端子にプルダウンコンデンサである第４コンデンサＣ_４が接続され、第１入力端子と第２入力端子の差圧値信号を出力する差圧コンパレータＶＤ_１と、第３コンデンサＣ_３とフィルタ増幅モジュール４２２の出力端子との間に設置される第２スイッチＫ_２と、第３コンデンサＣ_３と第４コンデンサＣ_４との間に順番に直列接続される第１キャッシュＢ_１及び第３スイッチＫ_３と、反転入力端子が第１閾値を提供する信号ラインに接続され、非反転入力端子が差圧コンパレータの出力端子に接続される第１電圧コンパレータＶＣ_１と、非反転入力端子が第２閾値を提供する信号ラインに接続され、反転入力端子が差圧コンパレータの出力端子に接続される第２電圧コンパレータＶＣ_２と、第１入力端子が第１電圧コンパレータの出力端子にカップリングされ、第２入力端子が第２電圧コンパレータの出力端子にカップリングされ、出力端子が第３スイッチＫ_３にカップリングされるＯＲゲートと、を備え、差圧コンパレータによって出力される差圧値信号が第１閾値よりも大きい又は第２閾値よりも小さい場合、該閾値比較モジュール４２４はオプティカルフロー情報計時トリガー信号を出力し、時間順で順番に第２スイッチＫ_２をオフし、第３スイッチＫ_３をオンし、第３スイッチＫ_３をオフし、第２スイッチＫ_２をオンする。このようにして、閾値比較モジュール４２４は第２入力端子により保持された信号を現在の第１入力端子の第２電信号に更新することができる。

オプティカルフロー情報計時制御ユニット４３０は、フロントエンドのオプティカルフロー情報計時トリガーユニット４２０によって生成されるオプティカルフロー情報計時トリガー信号を受信し、リアエンドのオプティカルフロー情報計時ユニット４４０の計時スタート信号を生成し、主にラッチ及びパルス整形器の２つの部分から構成される。一実施形態では、ラッチは、リセット信号が有効な場合、リセットされ、オプティカルフロー情報計時トリガー信号を初回受信した場合、セットされ、その後、次回のリセット信号が有効になる（次回のオプティカルフロー情報検出開始）までセット状態を維持し続ける。パルス整形器はラッチによって出力されるラッチ信号を受信し、ラッチがセットされる場合、１つの幅狭パルス信号をリアエンドのオプティカルフロー情報計時ユニット４４０の計時スタート信号として生成する。本発明のいくつかの実施例では、パルス整形器は必須なものではなく、さらにオプティカルフロー情報計時ユニット４４０内に配置されてもよい。

オプティカルフロー情報計時制御ユニット４３０をこのような構造とすることで、１回のオプティカルフロー情報検出プロセスでは、画素ユニットのオプティカルフロー情報計時ユニット４４０は、該画素ユニットにより光強度変化が閾値要求（オプティカルフロー情報計時トリガーユニット４２０出力計時トリガー信号）を満たすと初回検出された場合のみに１回スタートされ、且つ繰り返してスタートされないことを確保できる。それは、オプティカルフロー情報計時制御ユニット４３０のラッチが初回セットされた後、能動的にリセットされない（次回のリセット信号が有効になると、強制的にリセットされる）からである。該特性は、１回のオプティカルフロー情報検出プロセスではオプティカルフローフレームが更新し続けることによって、十分に多く累積し続けられる有効画素ユニットの時間情報を取得してオプティカルフロー分析を行うことに必要である。

オプティカルフロー情報計時ユニット４４０は画素ユニットの内部の計時ユニットであり、１回のオプティカルフロー情報検出の初期段階にリセットされ、画素ユニットのオプティカルフロー計時トリガー時刻にスタートされ、計時を開始する。画素ユニットがオプティカルフロー情報読み出しユニットによって読み出される場合、該オプティカルフロー計時ユニット４４０の現在の計時情報によって該画素トリガー時刻の時間情報を取得できる。

図８Ａはオプティカルフロー情報計時ユニット４４０の一実施例を示し、図８Ａに示すように、オプティカルフロー情報計時ユニット４４０は第４スイッチＫ_４、第５スイッチＫ_５、第５コンデンサＣ_５及び第３トランジスタＴ_３を備え、第５スイッチＫ_５、第５コンデンサＣ_５及び第３トランジスタＴ_３はいずれも第４スイッチＫ_４と固定電位（グランド電位を図示しているが、これに限定されない）との間に並列接続され、第４スイッチＫ_４は、第１端子が並列接続される第５スイッチＫ_５、第５コンデンサＣ_５及び第３トランジスタＴ_３に接続され、第２端子が別の固定電位（電源を図示しているが、これに限定されない）に接続される。第３トランジスタＴ_３のゲート電圧は外部から入力されるバイアス電圧であるため、Ｔ_３は電流源に等価でき、且つ電流の大きさは応用シーンに応じて調整可能である。リセット信号が有効な場合、第５スイッチ（Ｋ_５）をオンし、第５コンデンサＣ_５の上部極板がグランド電位に放電し、フロントエンドのオプティカルフロー情報計時制御ユニット４３０によって出力される計時スタートパルスを受信すると、第４スイッチＫ_４が短時間オンしてからオフし、第５コンデンサＣ_５の上部極板が迅速に電源電圧にプルアップされ（Ｋ_４はオン）、その後、第３トランジスタＴ_３によって徐々に放電し（Ｋ_４はオフ）、それにより高から低へのランプ信号を形成し、図３Ｃに示すように、該ランプ信号は実際には計時信号であり、該信号の異なる振幅情報を読み取ることによって画素ユニットトリガー時刻の時間情報を取得できる。該信号の振幅が高いほど、画素ユニットが遅くトリガーされることを示し（対応する運動が遅く発生する）、該信号の振幅が低いほど、画素ユニットが速くトリガーされることを示す（対応する運動が速く発生する）。最低電位がグランド電位である（グランド電位に下がると、これ以上下がることは無理である）しかないため、オプティカルフロー情報計時ユニット４４０から提供可能な有効時間情報の範囲が限られ、該範囲を超える時間情報は固定値で示されるしかない。以上の分析からわかるように、ランプ信号の傾きはオプティカルフロー情報計時ユニット４４０の計時範囲を決定し、第３トランジスタＴ_３の放電電流及び第５コンデンサＣ_５の大きさによって決定され、放電電流が小さく、第５コンデンサＣ_５が大きいほど、該ランプ信号の傾きが小さく、減衰が遅く、有効計時範囲が長く、その反面、傾きが大きく、放電が速く、有効計時範囲が短い。徐々に変化するランプ信号は低速運動の検出に効果的であり、この場合、通常、オプティカルフロー分析用の運動軌跡に対応するトリガー画素ユニットを十分に累積するには十分に長い時間だけ待機する必要があるからであり、有効計時範囲が長く、初期トリガーされた画素ユニットが十分に長い時間経過後でも有効な計時情報を提供できるため、理想的な時間スロープ情報を取得できる。高速運動の検出の場合、短時間内に十分な画素トリガーユニットを累積できるため、傾きが大きいランプ信号を採用できる。

電流源の実現方式に応じて、オプティカルフロー情報計時ユニット４４０はさらに図８Ｂに示される実施例によって実現されてもよく、オプティカルフロー情報計時ユニット４４０では、第５スイッチＫ_５、第５コンデンサＣ_５及び第４抵抗器Ｒ_４はいずれも第４スイッチＫ_４と固定電位との間に並列接続され、第４スイッチＫ_４は、第１端子が並列接続される第５スイッチＫ_５、第５コンデンサＣ_５及び第４抵抗器Ｒ_４に接続され、第２端子が別の固定電位に接続され、リセット信号が有効な場合、第５スイッチ（Ｋ_５）をオンする。このようにして、第５コンデンサＣ_５に格納される電荷が第４抵抗器Ｒ_４によって放電される。オプティカルフロー情報計時ユニット４４０がスタートされた後、該計時信号は指数関数的に減衰する電圧信号であり、減衰速度が第４抵抗器Ｒ_４及び第５コンデンサＣ_５の大きさによって決定される。一般には、第４抵抗器Ｒ_４は所要の抵抗値が非常に大きく、オフ状態のトランジスタ又は逆バイアスされるダイオードによって実現できる。

行選択出力ユニット４５０は、第１入力端子がオプティカルフロー情報計時ユニット４４０にカップリングされ、第２入力端子がオプティカルフロー出力行選択線にカップリングされ、オプティカルフロー情報計時ユニット４４０からの計時信号をキャッシュし、オプティカルフロー行選択信号が有効な場合、オプティカルフローデータ出力バスに送信し、オプティカルフロー行選択信号はオプティカルフロー情報読み出しユニット１１３からのものであり、オプティカルフローデータ出力バスはオプティカルフロー情報読み出しユニット１１３に送られる。オプティカルフロー情報読み出しユニット１１３はオプティカルフロー出力バスのデータを処理して外部のオプティカルフロープリプロセッサ１３０に送信する。

また、画素収集回路４００は画像情報を収集する画像情報収集ユニット４６０をさらに備え、画像情報収集ユニット４６０は、第１入力端子が光電検出ユニット４１０の出力端子にカップリングされ、第２入力端子が画像情報収集ラインにカップリングされ、画像情報収集ラインからの画像情報収集信号を受信し、今回の受信時刻における第１電信号をサンプリングしてキャッシュする。画像情報収集信号がグローバル信号であるため、すべての画素収集回路の画像情報収集ユニット４６０がローカルの光電検出ユニット４１０によって出力される第１電信号を同期サンプリングし、このようにして、すべての画像情報収集ユニット４６０が画像プリプロセッサ１２０に読み込まれると、完全なグレー画像を取得できる。

画像情報収集ユニット４６０は一般には、簡単なサンプリングホールド回路からなり、１つの制御スイッチ及び１つのサンプリングコンデンサを備えるようにしてもよい。制御スイッチは第１入力端子が光電検出ユニットによって出力される第１電信号に接続され、第２端子がサンプリングコンデンサの第１端子に接続され、サンプリングコンデンサの第２端子が固定レベルに接続される。制御スイッチの制御信号はグローバルな画像情報収集信号であり、該信号が有効な場合、制御スイッチをオンし、すべての画素ユニットのサンプリングコンデンサが本画素ユニット中の光電検出ユニット４１０によって出力される第１電信号をサンプリングし、画像情報収集信号が無効になると、制御スイッチをオフし、サンプリングコンデンサがサンプリングされた第１電信号を保持し、後続で画像情報読み出しユニット１１０によって画像プリプロセッサ１２０に読み込んで画像フレームを形成する。

本発明のさらに別の実施形態では、行選択出力ユニット４５０は、第３入力端子が画像情報収集ユニット４６０にカップリングされ、第４入力端子が画像出力行選択線にカップリングされ、画像情報収集ユニット４６０からの入力信号（すなわち、第１電信号）をキャッシュし、画像行選択信号が有効な場合、画像データ出力バスに送信し、画像行選択信号は画像情報読み出しユニット１１２の行選択ユニットからのものであり、画像データ出力バスは画像情報読み出しユニット１１２に送られる。画像情報読み出しユニット１１２は画像出力バスのデータを処理して外部の画像プリプロセッサ１２０に送信する。

以上のように、本発明に係る画素収集回路４００は、画像及びオプティカルフロー情報を同時に出力でき、また、２つの情報が独立した読み出しチャネルによって外部のプリプロセッサに送信されるため、オプティカルフローセンサー１１０の画像フレーム及びオプティカルフローフレームの収集は並行し且つ相互に独立している。

要するに、オプティカルフロー情報の収集にはグローバルなリセット信号及びオプティカルフロー情報読み出しユニットの制御が必要である。なお、１回のオプティカルフロー情報の検出には、複数のオプティカルフローフレームが可能である。１回のオプティカルフロー情報検出の開始時、リセット信号が有効であり、このとき、画素ユニット中の、オプティカルフロー情報検出に関連するすべてのユニット（例えば、オプティカルフロー情報計時トリガーユニット、オプティカルフロー情報計時制御ユニット及びオプティカルフロー情報計時ユニット）がいずれもリセットされる。その後、リセット信号がキャンセルされ、オプティカルフロー情報検出が開始し、オプティカルフロー情報読み出しユニットが画素アレイ全体のオプティカルフロー情報計時ユニットの計時情報を走査してオプティカルフローフレームを形成する。画像フレームの収集はグローバル制御ユニットにより与えられた画像情報収集信号及び画像情報読み出しユニットによって制御される。１つの画像フレームの収集開始時、画像情報収集信号が短時間内に有効であり、画素アレイ中の画像情報収集ユニットが光電検出ユニットによって出力される第１電信号をサンプリングして保持し、その後、画像情報読み出しユニットが画素アレイ全体の画像情報収集ユニットに格納される、光強度に関連する第１電信号を逐一走査して、完全な画像フレームを得る。

図４－図８Ｂについての説明に合わせて、異なる組み合わせ方式によって、画素収集回路は様々な形態として設置されてもよいが、ここでは一々列挙しない。図９はそのうちの１種を例に、画素収集回路９００の１つの例示的な模式図を示す。

図９に示すように、画素収集回路９００は光電検出ユニット９１０、画像情報収集ユニット９２０、フィルタ増幅モジュール９３１、閾値比較モジュール９３２、オプティカルフロー情報計時制御ユニット９４０、オプティカルフロー情報計時ユニット９５０、及び行選択出力ユニット９６０を備える。フィルタ増幅モジュール９３１及び閾値比較モジュール９３２はオプティカルフロー情報計時トリガーユニット９３０（図示せず）を構成している。図９に示される光電検出ユニット９１０は図５Ｂに示される光電検出ユニットとして設置され、勿論、光電検出ユニット９１０はさらに図５Ａ、５Ｃ及び５Ｄのうちのいずれかとして設置され、又は本発明の目的を実現できるほかのいずれかの光電検出ユニットとして設置されるようにしてもよいが、ここでは詳細説明を省略する。同様に、図９に示されるフィルタ増幅モジュール９３１は図６Ｂに示されるフィルタ増幅モジュールとして設置され、なお、フィルタ増幅モジュール９３１は図６Ａ、６Ｃ、６Ｄのうちのいずれか１種として設置されてもよい。図９に示される閾値比較モジュール９３２は図７Ｃに示される閾値比較モジュールとして構成され、なお、閾値比較モジュール９３２は図７Ａ、７Ｂ及び７Ｄのうちのいずれか１種として構成されてもよいが、ここでは詳細説明を省略する。図９に示されるオプティカルフロー情報計時ユニット９５０は図８Ａ中の前記オプティカルフロー情報計時ユニットとして構成され、なお、オプティカルフロー情報計時ユニット９５０はさらに図８Ｂに示すように構成されてもよいが、ここでは詳細説明を省略する。

１回のオプティカルフロー情報検出の開始時、リセット信号が有効であり、フィルタ増幅モジュール９３１の第１スイッチＫ_１をオンし、それから出力される第２電信号を参考電位に固定し、該電位はフィルタ増幅モジュール９３１の第２増幅器Ａ_２の入力正極に接続される参考電位と同じであり、一般にはリアエンドの閾値比較モジュール９３２の第１閾値～第２閾値である。このようにして、オプティカルフロー情報計時トリガーユニット９３０はオプティカルフロー情報計時トリガー信号を与えない。リセット信号がキャンセルされると、第１スイッチＫ_１をオフし、第１コンデンサＣ_１が該時刻において光電検出ユニット９１０によって出力される第１電信号を後続の検出の初期参照レベルとしてサンプリングする。第２電信号がリアルタイムな第１電信号と初期参照レベルの差分に応答し、第２電信号が閾値比較モジュール９３２の閾値検出範囲を超えると、オプティカルフロー情報計時トリガー信号を与える。ここで、フィルタ増幅モジュール９３１の第２コンデンサＣ_２と加減抵抗器Ｒ_３がハイパスフィルタを構成し、それによって第１電信号中のゆっくり変化する低周波成分を遮蔽する。つまり、第２電信号はリアルタイムな第１電信号と初期参照レベルの差分に応答するが、初期参照レベルは完全に第１スイッチＫ_１をオフする時の第１電信号によって決定されるのではない。スイッチＫ_１をオフした後、第１電信号がゆっくり（低周波）変化すると、それとともに初期参照レベルもリアルタイムにゆっくり変化し、それによって第１電信号の低周波成分を効果的に除去することを確保する。閾値比較モジュール９３２のＯＲ論理ユニット（すなわち、ＯＲゲート）は前の２つの比較ユニットの出力をＯＲ演算してオプティカルフロー情報計時制御ユニット９４０に送信し、それによって異なる方向の光強度変化（強から弱へ及び弱から強へ）の検出を確保する。

オプティカルフロー情報計時制御ユニット９４０はフロントエンドのオプティカルフロー情報計時トリガーユニット９３０によって生成される計時トリガー信号を受信し、リアエンドオプティカルフロー情報計時ユニット９５０の計時スタート信号を生成する。以上のように、オプティカルフロー情報計時制御ユニット９４０は主にラッチ及びパルス整形器の２つの部分からなる。フロントエンドのラッチは１回のオプティカルフロー情報検出プロセスでは、該画素ユニットがトリガーされたか否かを表し、リセット信号がグローバルなリセット信号由来であり、セット信号がローカルなオプティカルフロー情報計時トリガー信号由来である。従って、１回のオプティカルフロー情報検出の開始時、アレイ中の画素ユニットの該ラッチがすべて強制的にリセットされる。その後のオプティカルフロー情報検出プロセスでは、有効光強度変化（運動に起因する）が検出された画素ユニットはオプティカルフロー情報トリガー信号によって該ラッチをセットする。自動リセットが不能であるため、該セット状態は次回のリセット信号が有効になる（次回のオプティカルフロー情報検出の開始）まで維持され続ける。それによって、ラッチのセット時刻は、本画素ユニットが１回のオプティカルフロー検出プロセスで有効運動を初回検出した時刻を表し、後続のオプティカルフロー情報トリガーユニットは依然として光強度変化に応答し計時トリガー信号を再び与えることができるが、ラッチがセットされているため、後期の計時トリガー信号が遮蔽される。パルス整形器はラッチによって出力されるラッチ信号を検出し、ラッチのセット時に１つのパルス信号をリアエンドのオプティカルフロー情報計時ユニット９５０の計時スタート信号として生成する。それによって、１回のオプティカルフロー情報検出プロセスでは、画素収集回路が条件を満たす第１回の光強度変化のみに応答し、単調ゲイン特性を有するオプティカルフロー情報計時ユニット９５０を１回スタートすることを確保する。アレイ中のトリガーされた画素ユニットの空間及びオプティカルフロー情報計時ユニットの時間情報と運動進化の空間及び時間情報とが確実なマッピング関係を有ることによって、有効なオプティカルフローモードにおける時間マッピング画像を得る。オプティカルフロー情報計時ユニット９５０に示すように、該時間信号はリセット信号が有効な場合（Ｋ_５をオンする）、グランド電位にリセットされ、スタートすると（Ｋ_４をオンする）、迅速に電源電圧にプルアップされ、その後、固定の傾きでグランド電位に下がる。異なる時刻に該ランプ信号の振幅情報を読み取ることで、該画素ユニットトリガー時刻の時間情報を取得することができる。

行選択出力ユニット９６０は選択スイッチを備えた２つのキャッシュとして構成される。２つのキャッシュは独立し、それぞれ画像情報収集ユニット９２０由来の第１電信号及びオプティカルフロー情報計時ユニット９５０由来の時間信号を出力する。画像出力行選択線が有効な場合、第１電信号ラインに接続された選択スイッチをオンし、画像情報収集ユニット９２０由来の第１電信号をキャッシュして第１電信号ラインに送信する。オプティカルフロー出力行選択線が有効な場合、時間信号ラインに接続された選択スイッチをオンし、オプティカルフロー情報計時ユニット９５０由来の計時信号をキャッシュして時間信号ラインに送信する。

図１０は本発明のいくつかの実施例に係るオプティカルフローセンサー１１０の模式図を示す。図１０に示すように、オプティカルフローセンサー１１０は少なくとも画素収集回路アレイ１１１、オプティカルフロー情報読み出しユニット１１３及びグローバル制御ユニット１１４を備える。勿論、オプティカルフローセンサー１１０が画像情報を簡単に収集できるために、オプティカルフローセンサー１１０はさらに画像情報読み出しユニット１１２を備えてもよい。

いくつかの実施形態によると、画素収集回路アレイ１１１は複数の画素収集回路４００を備え、画素収集回路４００についての説明は上記説明を参照できるため、ここでは詳細説明を省略する。オプティカルフロー情報読み出しユニット１１３は画素収集回路アレイ１１１中の少なくとも一部の画素収集回路によって出力される計時信号を読み取り、グローバル制御ユニット１１４はリセット信号を生成し、オプティカルフロー情報リセット線を介して画素収集回路アレイ１１１中の各画素収集回路に出力する。同様に、画像情報読み出しユニット１１２は画素収集回路アレイ１１１中の少なくとも一部の画素収集回路によって出力される第１電信号を読み取り、グローバル制御ユニット１１４は画像情報収集信号を生成し、画像情報収集ラインを介して画素収集回路アレイ１１１中の各画素収集回路に出力する。

より具体的には、グローバル制御ユニット１１４は画像取得モジュール１１４２及びオプティカルフロー取得モジュール１１４４を備える。画像取得モジュール１１４２は画像情報収集ラインを介して画素収集回路アレイ１１１中の各画素収集回路にカップリングされ、１つの画像フレームの収集の初期段階に、現在時刻における光強度に関連する第１電信号を取得するように、画素アレイの画像情報収集ユニットを制御する。オプティカルフロー取得モジュール１１４４はオプティカルフロー情報リセット線を介して画素収集回路アレイ１１１中の各画素収集回路にカップリングされ、リセット信号を生成し、１回のオプティカルフロー情報検出の初期段階にオプティカルフロー情報検出に関連するすべてのユニット／モジュールをリセットする。

オプティカルフロー情報読み出しユニット１１３はオプティカルフロー出力行スキャナー１１３２（すなわち、行選択ユニット）、時間信号スキャナー１１３４（すなわち、列選択ユニット）及びオプティカルフロー読み出しコントローラ１１３６を備える。オプティカルフロー出力行スキャナー１１３２は１本のオプティカルフロー出力行選択線を介して画素収集回路アレイ中の１行の画素収集回路にカップリングされ、オプティカルフロー読み出しコントローラ１１３６はオプティカルフロー出力行スキャナー１１３２を、画素収集回路アレイ中のオプティカルフロー出力行選択線を行ごとに有効にセットするように指示し、時間信号スキャナー１１３４を、該行の画素収集回路によって出力される計時信号を順番に読み取るように指示する。

画像情報読み出しユニット１１２は画像出力行スキャナー１１２２（すなわち、行選択ユニット）、第１電信号スキャナー１１２４（すなわち、列選択ユニット）及び画像読み出しコントローラ１１２６を備える。画像出力行スキャナー１１２２は１本の画像出力行選択線を介して画素収集回路アレイ中の１行の画素収集回路にカップリングされ、画像読み出しコントローラ１１２６は、画像出力行スキャナー１１２２を、画素収集回路アレイ中の画像出力行選択線を行ごとに有効にセットするように指示し、第１電信号スキャナー１１２４を、該行の画素収集回路によって出力される第１電信号を順番に読み取るように指示する。

図１０はアレイ１１１の一部の画素収集回路を示す。この部分の画素収集回路は行別に第ｉ－１、ｉ及びｉ＋１行（画像／オプティカルフロー出力行選択線に対応する）に分けられ、列別に第ｊ－１、ｊ及びｊ＋１列（データ出力バスである第１電信号ライン及び時間信号ラインに対応する）に分けられるようにしてもよいが、これに限定されない。画素収集回路アレイ１１１中の各行（例えば、図９中の第ｉ行）は１本の画像出力行選択線を介して画像出力行スキャナー１１２２にカップリングされ、また、さらに１本のオプティカルフロー出力行選択線を介してオプティカルフロー出力行スキャナー１１３２にカップリングされる。画素収集回路アレイ１１１中の各列は第１電信号を伝送する１本のデータライン及び時間信号を伝送する１本のデータラインを介してそれぞれ第１電信号スキャナー１１２４及び時間信号スキャナー１１３４にカップリングされる。画像出力行スキャナー１１２２及び第１電信号スキャナー１１２４は画像読み出しコントローラ１１２６の制御下で画素収集回路アレイ１１１全体によって出力される第１電信号を走査して画像フレーム情報を取得する。オプティカルフロー出力行スキャナー１１３２及び時間信号スキャナー１１３４はオプティカルフロー読み出しコントローラ１１３６の制御下で画素収集回路アレイ１１１全体によって出力される時間信号を走査してオプティカルフローフレーム情報を取得する。

本発明の実施形態によると、画像フレーム出力とオプティカルフローフレーム出力の制御原理は同じであり、以下、画像フレーム出力を例に詳細説明する。画像読み出しコントローラ１１２６はまず、画像出力行スキャナー１１２２を、第１行の画素収集回路を選択するように指示し、その後、画像出力行スキャナー１１２２は第１行の画像出力行選択線を有効にセットする（残りの行選択線はいずれも無効である）。第１行の画素収集回路は収集した第１電信号を行選択出力ユニットによって第１電信号スキャナー１１２４に送信する。その後、画像読み出しコントローラ１１２６は第１電信号スキャナー１１２４を、該行のすべての画素収集回路によって出力される第１電信号を順番に逐一走査するように制御する。第１行の最後の画素収集回路情報の出力が完了すると、画像読み出しコントローラ１１２６は画像出力行スキャナー１１２２に行切り替え信号指示を送信し、画像出力行スキャナー１１２２は第２行にジャンプし、第１電信号スキャナー１１２４をすべての第２行の画素収集回路からの第１電信号情報を逐一走査して出力するように制御する。アレイ１１１全体のすべての画素収集回路の第１電信号情報の読み取りが完了するまでこのように繰り返す。オプティカルフロー情報出力モードの操作は、オプティカルフロー読み出しコントローラ１１３６、オプティカルフロー出力行スキャナー１１３２及び時間信号スキャナー１１３４によって行われる以外、これと同様である。

以上のように、本オプティカルフローセンサー１１０は運動オプティカルフロー情報を効果的に抽出する方案を提供し、該方案は様々な速度の運動物体に対してオプティカルフロー情報を効果的に抽出することができるとともに、画像情報を収集して、明確で遅延がない完全なグレー画像を取得し、抽出されたオプティカルフロー情報に背景情報を提供することができる。一実施形態では、オプティカルフローセンサー１１０はオプティカルフローフレーム及び画像フレーム情報を並行して出力する。各オプティカルフローフレームはトリガーされた画素収集回路の空間及びトリガー時刻の時間情報を含み、時空間情報がマークされた画素ユニットは三次元空間における物体の運動に直接関連付けられ、該時間情報を画素アレイの二次元空間でマッピングして形成される時間スロープ平面の向き及び勾配情報を分析することによって、運動のオプティカルフロー情報を効果的に抽出することができる。各画像フレームの取得は露光時間が不要であり、グローバルシャッターの制御メカニズムと類似し、高速運動の場合であっても明確で遅延がないグレー画像を取得でき、該画像はオプティカルフローフレームから抽出されたオプティカルフロー情報に背景情報を提供できるだけでなく、従来のグレー画像に基づく処理アルゴリズムとコンパチブルもできる。

それと同時に、画素収集回路に配置されたオプティカルフロー情報計時ユニットは画素ユニットトリガー時刻の時間情報を提供し、オプティカルフロー情報読み出し操作の干渉を受けることがなく、この非破壊性読み出しメカニズムによって、オプティカルフローフレーム出力の連続性を確保し、すなわち、後続のオプティカルフローフレームは前のすべてのトリガーされた画素ユニットの時間及び空間情報を取得できる。この特性によって、オプティカルフローセンサーは高速で運動する物体を検出できるだけでなく、実際の応用でより見られる中低速で運動する物体を検出できることを確保する。より具体的には、低速運動の場合、運動軌跡延伸を形成するには長い時間が必要であるため、対応する視野内の画素ユニットのトリガー時間間隔が長く、非破壊性読み出しメカニズムによって、連続して出力されるオプティカルフローフレームでいつもオプティカルフロー分析に使用できる（視野の運動軌跡に対応する）トリガー画素ユニットの完全な時空間情報を取得できることを確保する。

また、オプティカルフローセンサー１１０のよるオプティカルフロー及び画像の２種の情報の取得は完全に独立し、オプティカルフローセンサーは相互に干渉することなく完全にオプティカルフロー及び画像情報を並行して出力することができ、オプティカルフロー情報及び画像情報の取得及び読み出し速度は様々な要求に応じて調整可能である。

ここで提供される明細書では、大量の詳細が説明されている。それにもかかわらず、本発明の実施例はこれらの詳細なしで実施されてもよいと理解できる。いくつかの例では、本明細書の理解の曖昧さを回避するために、公知の方法、構造及び技術は詳細説明されていない。

同様に、本開示を簡略化し各発明の態様の１つ又は複数を理解するのを助けるために、以上の本発明の例示的な実施例についての説明では、本発明の各特徴は単一の実施例、図、又はその説明にグループされてもよいと理解すべきである。それにもかかわらず、該開示されている方法は、主張する本発明は各請求項に明確に記載される特徴よりも多くの特徴を必要とすることを反映するものではないと理解すべきである。より正確には、以下の特許請求の範囲に反映されるように、発明の態様は前に開示された単一の実施例のすべての特徴よりも少ないことにある。従って、具体的な実施形態に準拠する特許請求の範囲は該具体的な実施形態に明確に組み込まれており、各請求項自体は本発明の単独な実施例である。

当業者であれば、本明細書に開示されている例における機器のモジュール又はユニット又はアセンブリは該実施例に説明されている機器に配置され、又は該例における機器と異なる１つ又は複数の機器に置換可能に位置決めされるようにしてよいと理解すべきである。上記例におけるモジュールを組み合わせて１つのモジュールを形成してもよく、さらに複数のサブモジュールに分けてもよい。

当業者であれば、実施例における機器のモジュールを適応的に変更し、該実施例と異なる１つ又は複数の機器に設置するようにしてもよいと理解できる。実施例におけるモジュール又はユニット又はアセンブリを組み合わせて１つのモジュール又はユニット又はアセンブリを形成してもよく、さらにそれらを複数のサブモジュール又はサブユニット又はサブアセンブリに分けてもよい。このような特徴及び／又はプロセス又はユニットの少なくとも一部が相互に矛盾する以外、本明細書（添付する特許請求の範囲、要約書及び図面を含む）に開示されるすべての特徴及びこのように開示されているいずれかの方法又は機器のすべてのプロセス又はユニットを任意に組み合わせることができる。特に断らない限り、本明細書（添付する特許請求の範囲、要約書及び図面を含む）に開示されている各特徴は同一、同等又は類似目的を提供する代替特徴によって代替されてもよい。

本発明はさらに以下のように開示している。

Ａ８、前記光電検出ユニットはアノードが接地されるフォトダイオード（ＰＤ_１）と、直列接続されるＮ個（Ｎ≧２）のトランジスタであって、第１個のトランジスタのソースがフォトダイオード（ＰＤ_１）のカソードに接続され、第Ｎ個のトランジスタのドレインが電源（ＶＤＤ）に接続され、各トランジスタのゲートがドレインに接続され、第２～第Ｎ個のトランジスタのそれぞれのソースが前のトランジスタのドレインに接続されるＡ１に記載の画素収集回路。Ａ９、前記光電検出ユニットはアノードが接地されるフォトダイオード（ＰＤ_１）と、直列接続されるＮ個（Ｎ≧２）のトランジスタとを備え、第１個のトランジスタのソースがフォトダイオード（ＰＤ_１）のカソードに接続され、第Ｎ個のトランジスタのドレインが電源（ＶＤＤ）に接続され、第２～第Ｎ個のトランジスタのそれぞれのソースが前のトランジスタのドレインに接続され、第２～第Ｎ個のトランジスタのそれぞれのゲートがドレインに接続されるＮ個のトランジスタと、フォトダイオード（ＰＤ_１）のカソードと第１個のトランジスタのゲートとの間に接続される第１増幅器（Ａ_１）と、を備えるＡ１に記載の画素収集回路。Ａ１０、前記フィルタ増幅モジュールは、入力正極が前記光電検出ユニットの出力端子に接続され、入力負極にプルダウン抵抗器である第１抵抗器（Ｒ_１）が接続され、出力端子と入力負極との間に第２抵抗器（Ｒ_２）が接続され、前記光電検出ユニットによって出力される第１電信号を増幅処理する第２増幅器（Ａ_２）と、該第２増幅器（Ａ_２）に接続され、増幅された第１電信号中の周波数閾値よりも低い信号成分を除去して前記第２電信号を出力するハイパスフィルタと、を備えるＡ４に記載の画素収集回路。Ａ１１、前記フィルタ増幅モジュールは、第１端子が前記光電検出ユニットの出力端子に接続される第１コンデンサ（Ｃ_１）と、入力正極が固定電位に接続され、入力負極が第１コンデンサ（Ｃ_１）の第２端子に接続される第２増幅器（Ａ_２）と、いずれも第２増幅器（Ａ_２）の入力負極と出力端子との間に並列接続される第２コンデンサ（Ｃ_２）、第３抵抗器（Ｒ_３）及び第１スイッチ（Ｋ_１）と、を備え、リセット信号が有効な場合、第１スイッチ（Ｋ_１）をオンし、リセット信号がキャンセルされると、第１スイッチ（Ｋ_１）をオフするＡ４に記載の画素収集回路。Ａ１２、前記第３抵抗器は加減抵抗器であるＡ１１に記載の画素収集回路。Ａ１３、前記フィルタ増幅モジュールは、入力正極が前記光電検出ユニットの出力端子に接続される第２増幅器（Ａ_２）と、第１端子が第２増幅器（Ａ_２）の入力負極に接続され、第２端子が固定電位に接続される第１コンデンサ（Ｃ_１）と、第１コンデンサ（Ｃ_１）の第１端子と前記光電検出ユニットの出力端子との間に接続される第１スイッチ（Ｋ_１）と、該第２増幅器（Ａ_２）に接続され、増幅された第１電信号中の所定の周波数閾値よりも低い信号成分を除去し、前記第２電信号を生成するハイパスフィルタと、を備え、リセット信号が有効な場合、第１スイッチ（Ｋ_１）をオンし、リセット信号がキャンセルされると、第１スイッチ（Ｋ_１）をオフするＡ４に記載の画素収集回路。Ａ１４、前記フィルタ増幅モジュールは、第１端子が前記光電検出ユニットの出力端子に接続される第１コンデンサ（Ｃ_１）と、第１端子が第１コンデンサ（Ｃ_１）の第２端子に接続される電流複製器（Ｐ_１）と、入力正極が固定電位に接続され、入力負極が電流複製器（Ｐ_１）の第２端子に接続される第２増幅器（Ａ_２）と、いずれも第２増幅器（Ａ_２）の入力負極と出力端子との間に並列接続される第２コンデンサ（Ｃ_２）、第１スイッチ（Ｋ_１）及び第３抵抗器（Ｒ_３）と、を備え、リセット信号が有効な場合、第１スイッチ（Ｋ_１）をオンし、リセット信号がキャンセルされると、第１スイッチ（Ｋ_１）をオフするＡ４に記載の画素収集回路。Ａ１５、前記閾値比較モジュールは、反転入力端子が前記第１閾値を提供する信号ラインに接続され、非反転入力端子が前記フィルタ増幅モジュールの出力端子に接続される第１電圧コンパレータ（ＶＣ_１）を備えるＡ４に記載の画素収集回路。Ａ１６、前記閾値比較モジュールは、非反転入力端子が前記第２閾値を提供する信号ラインに接続され、反転入力端子が前記フィルタ増幅モジュールの出力端子に接続される第２電圧コンパレータ（ＶＣ_２）を備えるＡ４に記載の画素収集回路。Ａ１７、前記閾値比較モジュールは、反転入力端子が前記第１閾値を提供する信号ラインに接続され、非反転入力端子が前記フィルタ増幅モジュールの出力端子に接続される第１電圧コンパレータ（ＶＣ_１）と、非反転入力端子が前記第２閾値を提供する信号ラインに接続され、反転入力端子が前記フィルタ増幅モジュールの出力端子に接続される第２電圧コンパレータ（ＶＣ_２）と、第１入力端子が第１電圧コンパレータの出力端子にカップリングされ、第２入力端子が第２電圧コンパレータの出力端子にカップリングされ、前記第１電圧コンパレータの出力及び前記第２電圧コンパレータの出力に対してＯＲ論理演算を行うＯＲゲートと、を備えるＡ４に記載の画素収集回路。Ａ１８、前記閾値比較モジュールは、第１入力端子にプルダウンコンデンサである第３コンデンサ（Ｃ_３）が接続され、第２入力端子にプルダウンコンデンサである第４コンデンサ（Ｃ_４）が接続され、第１入力端子と第２入力端子の差圧値信号を出力する差圧コンパレータ（ＶＤ_１）と、第３コンデンサ（Ｃ_３）と前記フィルタ増幅モジュールの出力端子との間に設置される第２スイッチ（Ｋ_２）と、第３コンデンサ（Ｃ_３）と第４コンデンサ（Ｃ_４）との間に順番に直列接続される第１キャッシュ（Ｂ_１）及び第３スイッチ（Ｋ_３）と、反転入力端子が前記第１閾値を提供する信号ラインに接続され、非反転入力端子が差圧コンパレータの出力端子に接続される第１電圧コンパレータ（ＶＣ_１）と、非反転入力端子が前記第２閾値を提供する信号ラインに接続され、反転入力端子が差圧コンパレータの出力端子に接続される第２電圧コンパレータ（ＶＣ_２）と、第１入力端子が第１電圧コンパレータの出力端子にカップリングされ、第２入力端子が第２電圧コンパレータの出力端子にカップリングされ、出力端子が前記第３スイッチ（Ｋ_３）にカップリングされるＯＲゲートと、を備え、前記差圧コンパレータによって出力される差圧値信号が第１閾値よりも大きい又は第２閾値よりも小さい場合、該閾値比較モジュールは前記オプティカルフロー情報計時トリガー信号を出力し、且つ時間順番に第２スイッチ（Ｋ_２）をオフし、第３スイッチ（Ｋ_３）をオンし、第３スイッチ（Ｋ_３）をオフし、第２スイッチ（Ｋ_２）をオンするＡ４に記載の画素収集回路。Ａ１９、前記オプティカルフロー情報計時ユニットは、いずれも第４スイッチ（Ｋ_４）と固定電位との間に並列接続される第５スイッチ（Ｋ_５）、第５コンデンサ（Ｃ_５）及び第３トランジスタ（Ｔ_３）と、第１端子が並列接続される第５スイッチ（Ｋ_５）、第５コンデンサ（Ｃ_５）及び第３トランジスタ（Ｔ_３）に接続され、第２端子が別の固定電位に接続される第４スイッチ（Ｋ_４）と、を備え、リセット信号が有効な場合、第５スイッチ（Ｋ_５）をオンするＡ１に記載の画素収集回路。Ａ２０、前記オプティカルフロー情報計時ユニットは、いずれも第４スイッチ（Ｋ_４）と固定電位との間に並列接続される第５スイッチ（Ｋ_５）、第５コンデンサ（Ｃ_５）及び第４抵抗器（Ｒ_４）と、第１端子が並列接続される第５スイッチ（Ｋ_５）、第５コンデンサ（Ｃ_５）及び第４抵抗器（Ｒ_４）に接続され、第２端子が別の固定電位に接続される第４スイッチ（Ｋ_４）と、を備え、リセット信号が有効な場合、第５スイッチ（Ｋ_５）をオンするＡ１に記載の画素収集回路。

Ｂ２３、前記オプティカルフロー情報読み出しユニットは、１本のオプティカルフロー出力行選択線を介して前記画素収集回路アレイ中の１行の画素収集回路にカップリングされるオプティカルフロー出力行スキャナーと、時間信号スキャナーと、オプティカルフロー出力行スキャナーを、画素収集回路アレイ中のオプティカルフロー出力行選択線を行ごとに有効にセットするように指示し、時間信号スキャナーを、該行の画素収集回路によって出力される計時信号を順番に読み取るように指示するオプティカルフロー読み出しコントローラと、を備えるＢ２１又は２２に記載のオプティカルフローセンサー。Ｂ２４、前記画像情報読み出しユニットは、１本の画像出力行選択線を介して前記画素収集回路アレイ中の１行の画素収集回路にカップリングされる画像出力行スキャナーと、第１電信号スキャナーと、画像出力行スキャナーを、画素収集回路アレイ中の画像出力行選択線を行ごとに有効にセットするように指示し、第１電信号スキャナーを、該行画素収集回路が出力した第１電信号を順番に読み取るように指示する画像読み出しコントローラと、を備えるＢ２２に記載のオプティカルフローセンサー。Ｂ２５、前記グローバル制御ユニットは、オプティカルフロー情報リセット線を介して前記画素収集回路アレイ中の各画素収集回路にカップリングされ、リセット信号を生成するオプティカルフロー取得モジュールを備えるＢ２４に記載のオプティカルフローセンサー。Ｂ２６、前記グローバル制御ユニットは、画像情報収集ラインを介して前記画素収集回路アレイ中の各画素収集回路にカップリングされ、画像情報収集信号を生成する画像取得モジュールをさらに備えるＢ２４に記載のオプティカルフローセンサー。

また、当業者であれば、ここに記載されるいくつかの実施例はほかの特徴ではなく、ほかの実施例に含まれるいくつかの特徴を含むにもかかわらず、異なる実施例の特徴の組み合わせは本発明の範囲内に属し且つ異なる実施例を形成すると理解できる。例えば、以下の特許請求の範囲では、主張する実施例のいずれかを任意な組み合わせ方式で使用してもよい。

また、前記実施例のうちのいくつかは、ここでは、コンピュータシステムのプロセッサ又は前記機能を実行するほかの装置に実施可能な方法又は方法の要素の組み合わせとして説明されている。従って、前記方法又は方法の要素を実施するための必要な命令を有するプロセッサは該方法又は方法の要素を実施するための装置を形成する。また、装置の実施例のここで記載される要素は、該発明の目的を実施するための要素によって実行される機能を実施するための装置の例である。

ここで使用されるように、特に断らない限り、「第１」、「第２」、「第３」等の序数詞を使用して普通の対象を説明する場合、単に係る類似対象の異なる例を示し、このように説明される対象が必ず時間、空間、ランキング又はほかの任意の方式での特定の順序を有することを暗示しない。

限られた実施例を参照しながら本発明を説明したが、以上の説明からわかるように、当業者は、ここで説明される本発明の範囲を逸脱せずに、ほかの実施例を想到し得ると理解できる。また、なお、本明細書に使用される言語は主に可読性及び教示の目的のために選択され、本発明の主題を説明又は限定するためのものではない。従って、添付特許請求の範囲の範囲及び精神を逸脱せずに、当業者には種々の修正や変更が明らかになる。本発明の範囲について、本発明は制限的ではなく例示的に開示されており、本発明の範囲は添付特許請求の範囲によって定められる。

Claims (10)

1. 照射される光信号の強度を表す第１電信号をリアルタイムに出力する光電検出ユニットと、
   第１入力端子が前記光電検出ユニットの出力端子にカップリングされ、第２入力端子がオプティカルフロー情報リセット線にカップリングされ、前記オプティカルフロー情報リセット線からのリセット信号がキャンセルされたとともに前記第１電信号が所定のトリガー条件を満たすと検出すると、オプティカルフロー情報計時トリガー信号を出力するオプティカルフロー情報計時トリガーユニットと、
   第１入力端子が前記オプティカルフロー情報計時トリガーユニットにカップリングされ、第２入力端子が前記オプティカルフロー情報リセット線にカップリングされ、前記オプティカルフロー情報リセット線からのリセット信号がキャンセルされたとともに前記オプティカルフロー情報計時トリガー信号を受信すると、計時スタート信号を出力するオプティカルフロー情報計時制御ユニットと、
   第１入力端子が前記オプティカルフロー情報計時制御ユニットにカップリングされ、第２入力端子が前記オプティカルフロー情報リセット線にカップリングされ、前記オプティカルフロー情報リセット線からのリセット信号がキャンセルされたとともに前記計時スタート信号を受信すると、計時を開始し、計時信号を生成するオプティカルフロー情報計時ユニットと、
   第１入力端子が前記オプティカルフロー情報計時ユニットにカップリングされ、第２入力端子がオプティカルフロー出力行選択線にカップリングされ、前記オプティカルフロー出力行選択線からのオプティカルフロー行選択信号を受信し、前記オプティカルフロー行選択信号が有効な場合、今回の受信時刻における計時信号をキャッシュして出力する行選択出力ユニットと、
   を備える画素収集回路。
2. 第１入力端子が前記光電検出ユニットの出力端子にカップリングされ、第２入力端子が画像情報収集ラインにカップリングされ、前記画像情報収集ラインからの画像情報収集信号を受信し、今回の受信時刻における第１電信号をサンプリングしてキャッシュする画像情報収集ユニットをさらに備え、
   前記行選択出力ユニットは、第３入力端子が前記画像情報収集ユニットにカップリングされ、第４入力端子が画像出力行選択線にカップリングされ、前記画像出力行選択線からの画像行選択信号を受信し、前記画像行選択信号が有効な場合、今回の受信時刻における第１電信号をキャッシュして出力する請求項１に記載の画素収集回路。
3. 前記画像情報収集ユニットは、受信した前記画像情報収集信号が有効な場合、今回の受信時刻における第１電信号をサンプリングし、受信した前記画像情報収集信号が無効な場合、サンプリングされた第１電信号をキャッシュする請求項２に記載の画素収集回路。
4. 前記オプティカルフロー情報計時トリガーユニットは、
   前記第１電信号に対して増幅操作及びフィルタ操作のうちの少なくとも１つを含む前処理操作を行って、第２電信号を生成するフィルタ増幅モジュールと、
   第２電信号が第１閾値よりも大きい及び／又は第２閾値よりも小さいか否かを判断し、第２電信号が第１閾値よりも大きい又は第２閾値よりも小さいと、前記オプティカルフロー情報計時トリガー信号を生成する閾値比較モジュールと、を備える請求項３に記載の画素収集回路。
5. 前記オプティカルフロー情報計時制御ユニットは、
   リセット信号が有効な場合にはリセットされ、前記オプティカルフロー情報計時トリガー信号を初回受信した場合にはセットされるラッチと、
   ラッチがセットされる場合には前記計時スタート信号を生成するパルス整形器と、を備える請求項４に記載の画素収集回路。
6. 前記光電検出ユニットは、
   アノードが接地されるフォトダイオード（ＰＤ_１）と、
   ソースがフォトダイオード（ＰＤ_１）のカソードに接続され、ドレイン及びゲートが電源（ＶＤＤ）に接続される第１トランジスタ（Ｔ_１）と、を備える請求項１から５のいずれか一項に記載の画素収集回路。
7. 前記光電検出ユニットは、
   アノードが接地されるフォトダイオード（ＰＤ_１）と、
   ソースがフォトダイオード（ＰＤ_１）のカソードに接続され、ドレインが電源（ＶＤＤ）に接続される第１トランジスタ（Ｔ_１）と、
   フォトダイオード（ＰＤ_１）のカソードと第１トランジスタ（Ｔ_１）のゲートとの間に接続される第１増幅器（Ａ_１）と、を備える請求項１から５のいずれか一項に記載の画素収集回路。
8. 請求項１から７のいずれか一項に記載の画素収集回路を複数備える画素収集回路アレイと、
   画素収集回路アレイ中の少なくとも一部の画素収集回路が出力した計時信号を読み取るオプティカルフロー情報読み出しユニットと、
   リセット信号を生成し、オプティカルフロー情報リセット線を介して画素収集回路アレイ中の各画素収集回路に出力するグローバル制御ユニットと、
   を備えるオプティカルフローセンサー。
9. 画素収集回路アレイ中の少なくとも一部の画素収集回路が出力した第１電信号を読み取る画像情報読み出しユニットをさらに備え、
   前記グローバル制御ユニットはさらに、画像情報収集信号を生成し、画像情報収集ラインを介して画素収集回路アレイ中の各画素収集回路に出力する請求項８に記載のオプティカルフローセンサー。
10. 請求項９に記載のオプティカルフローセンサーと、
    前記オプティカルフローセンサーの前記オプティカルフロー情報読み出しユニットにカップリングされ、計時信号を取得し、オプティカルフロートリガー画素点の時間マッピング画像を生成するオプティカルフロープリプロセッサと、
    前記オプティカルフローセンサーの前記画像情報読み出しユニットにカップリングされ、第１電信号を取得し、全画素点のグレー画像を生成する画像プリプロセッサと、を備えるオプティカルフロー及び画像情報収集システム。

Images