JP6352968B2 - イメージセンサー - Google Patents

Description

本出願が、概して、マシーンビジョンに関し、より端的には、光面により照明されるシーンの深さ情報の検出のためのマシーンビジョンシステムに関する。

３Ｄ距離イメージの取得のためによく知られた方法が、ライン形成光学系を具備する光源を設けてシーンの単一面を照射し、光源により照明された対象物がカメラレンズにより形成された光学イメージ内に現れるようにデジタルカメラを配置して光面を写し、シーンのデジタルイメージを取得し、デジタルイメージを処理して光源により照明されたシーンにおけるポイントのイメージ座標を抽出し、光学システムの三角測量幾何学に即してイメージ座標を処理し、シーンにおける対象物の観測に適する物理座標のセットを形成するステップを含む。

そのような従来のマシーンビジョンプロセスに付随する主たる制限は、システムにより形成される各々全ての物理座標のラインのために相当サイズの２次元強度イメージがデジタルカメラにより取得されなければならない点である。これは、シーンの３Ｄイメージの取得時間を、同サイズのシーンの強度イメージの取得に必要な時間の１００倍も必要とするかも知れず、従って、レーザーライン基準の３Ｄイメージの形成方法が、多くの産業用マシーンビジョン用途にとって著しく遅くなる。

本発明の側面により、シーンにおける対象物（群）に対する照明面（群）の交差の位置に適用可能であるマシーンビジョンシステム及び方法が提供される。

本発明の側面が、述べた用途ドメインにおける従来のビジョンシステムよりも顕著な有利性を持つビジョンシステムの実際の具現化を可能にする方法及び装置を提供する。幾つかの側面においては、本発明は、図１ａ及び図１ｂの従来のビジョンシステムと実質的に同一の機能を実行し、つまり、物理シーンにおける関心対象物に対する照明平面の交差から成るカーブのイメージ特徴に関連するパラメーターを抽出するが、実際の実施においてスループットの利益を実現するような方法での計算を含む機能を実行する。

本発明の一側面が、イメージの情報の決定に適する方法にして、ピクセルアレイの複数のピクセルエレメントのそれぞれのために到来の光エネルギーに基づいて第１ピクセル信号を蓄積するステップであって、前記ピクセルエレメントが、各々、光センサーを含み、前記第１ピクセル信号が、シーンのイメージを示す、ステップ；及び前記シーンの前記イメージを示す観測の情報を取得するステップにして、前記ピクセルエレメントの行に制御信号のセットを適用するステップであって、各行のピクセルエレメントが共通の制御信号を共有し、制御信号のセットのそれぞれが実質的にお互いに相関関係がなく、制御信号のセットの各々が、ランダム基底関数（random basis function）と、予期されるイメージ信号の関心の所望の空間周波数に調整された周波数応答を有するフィルタリング関数の積を含む行列の異なるベクトルを示す、ステップと、制御信号の各セットのため、前記制御信号に応じて、ピクセルエレメントの列のために前記第１ピクセル信号に基づく出力信号を集合するステップと、前記ピクセルエレメントの前記列の前記集合した出力信号のそれぞれをデジタル化するステップにより、前記シーンの前記イメージを示す観測の情報を取得するステップを含む、方法を提供する。

幾つかのそのような側面においては、第１ピクセル信号の蓄積が、制御信号のセットの適用の前に開始し、制御信号のセットの適用の期間中に亘り継続する。幾つかのそのような側面においては、第１ピクセル信号の蓄積が、制御信号のセットの適用前に開始し、制御信号のセットの適用が一時的に中断され、また第１ピクセル信号のリセット及び再開が中断の間に起きる。幾つかのそのような側面においては、制御信号に応じて、ピクセルエレメントの列のために第１ピクセル信号に基づく出力信号を集合するステップが、ピクセルエレメントの各列のため、その列のために第１列出力ラインに対して第１ピクセル信号の第１選択のものを結合し、その列のために第２列出力ラインに対して第１ピクセル信号の第２選択のものを結合することを含み、第１ピクセル信号の第１選択のもの及び第１ピクセル信号の第２選択のものが制御信号により決定される。前記ピクセルエレメントの前記列の前記集合した出力信号のそれぞれをデジタル化するステップが、ピクセルエレメントの列の各々のため、第１列出力ラインと第２列出力ラインの信号を比較するステップを含む。幾つかのそのような側面においては、第１ピクセル信号が電圧信号を含み、出力信号が電流信号を含む。幾つかのそのような側面においては、ピクセルアレイが、ピクセルエレメントのＮ₁行を含み、ピクセルエレメントのＮ₂列を含み、Ｍセットの制御信号がピクセルエレメントの行に適用されてシーンのイメージを示す観測を生成し、Ｍは、Ｎ₁よりも十分に小さい。幾つかのそのような側面においては、フィルタリング関数が中心差分近似に基づく。幾つかのそのような側面においては、デジタル化された集合された出力信号がバッファーに書き込まれ、バッファーがシーンのイメージを示す観測を記憶する。幾つかのそのような側面においては、ランダム基底関数の転置（transpose）と観測の積の生成により推定（estimate）が決定され、推定が精錬され、ラインのエッジが推定に置かれる。

別の側面においては、本発明が、イメージの情報の決定に適する方法であって、ピクセルアレイの複数のピクセルエレメントのそれぞれのために到来の光エネルギーに基づいて第１ピクセル信号を蓄積するステップであって、前記ピクセルエレメントが、各々、光センサーを含む、ステップ；前記シーンの前記イメージを示す観測の情報を取得するステップにして、前記ピクセルエレメントの行に制御信号のセットを適用するステップであって、各行のピクセルエレメントが、各々がその行の複数のピクセルを含むピクセルサブセットにグループされ、各行のピクセルエレメントが共通の制御信号を共有する各ピクセルサブセットに属し、前記制御信号のセットの各々が、お互いに実質的に相関関係がない、ステップと、制御信号の各セットのため、前記制御信号に応じて、ピクセルエレメントの列の出力信号を集合するステップであって、前記出力信号が前記第１ピクセル信号に基づく、ステップと、前記ピクセルエレメントの前記列の前記集合した出力信号のそれぞれをデジタル化するステップにより、前記シーンの前記イメージを示す観測の情報を取得するステップを含む、方法を提供する。

各行の幾つかのそのような側面においては、第１ピクセルサブセットのピクセルエレメントが、少なくとも一つの他のピクセルサブセットのピクセルエレメントにより分離される。幾つかのそのような側面においては、ピクセルエレメントの各列が、同一のピクセルサブセットに属するピクセルエレメントのみを含む。幾つかのそのような側面においては、制御信号のセットが、制御信号のセットのグループを含み、制御信号のセットの各グループが、異なるサンプリング関数に基づく。幾つかのそのような側面においては、各サンプリング関数が、他のサンプリング関数に実質的に非相関である。幾つかのそのような側面においては、各サブセットのピクセルエレメントが、異なるサンプリング関数に基づく制御信号を受信する。幾つかのそのような側面においては、制御信号は、少なくとも９つの異なるサンプリング関数に基づき、少なくとも３つの異なるサンプリング関数に基づく制御信号が第１時間周期に亘り適用され、他の３つの異なるサンプリング関数に基づく制御信号が第２時間周期に亘り適用され、他の少なくとも３つの異なるサンプリング関数に基づく制御信号が第３時間周期に亘り適用される。幾つかのそのような側面においては、各サンプリング関数が、予期されるイメージ信号において所望の関心の空間周波数に同調された周波数応答を有するフィルタリング関数とランダム基底関数の積を含む。幾つかのそのような側面においては、第１ピクセル信号の蓄積が、制御信号のセットの適用と非同期に生じる。幾つかのそのような側面においては、第１ピクセル信号の蓄積が、制御信号のセットの適用と同時に生じる。幾つかのそのような側面においては、制御信号に応じて、ピクセルエレメントの列のために第１ピクセル信号に基づく出力信号を集合するステップが、ピクセルエレメントの各列のため、その列のために第１列出力ラインに対して第１ピクセル信号の第１選択のものを結合し、その列のために第２列出力ラインに対して第１ピクセル信号の第２選択のものを結合することを含み、第１ピクセル信号の第１選択のもの及び第１ピクセル信号の第２選択のものが制御信号により決定される。幾つかのそのような側面においては、前記ピクセルエレメントの前記列の前記集合した出力信号のそれぞれをデジタル化するステップが、ピクセルエレメントの列の各々のため、第１列出力ラインと第２列出力ラインの信号を比較するステップを含む。幾つかのそのような側面においては、第１ピクセル信号が電圧信号を含み、出力信号が電流信号を含む。幾つかのそのような側面においては、ピクセルアレイが、ピクセルエレメントのＮ₁行を含み、ピクセルエレメントのＮ₂列を含み、Ｍセットの制御信号が各サンプリング関数に基づき、ＭがＮ₁よりも十分に小さい。

別の側面においては、本発明は、イメージの情報の決定に適する方法であって、行及び列に区分される複数のピクセルエレメントを含むピクセルアレイを備えるイメージセンサーであって、前記ピクセルエレメントのそれぞれが光センサーを備え、各行のピクセルエレメントが複数の異なるセットの一つに属し、各行のピクセルエレメントが、その行についてのそのセットのピクセルエレメント用の制御信号を受信するための共通の配線を有する各セットに属し、ピクセルエレメントの各列におけるピクセルエレメントが、その列のための列出力信号を提供するために共通の配線を有し、前記列出力信号に対する前記ピクセルエレメントの寄与が、前記制御信号と前記ピクセルエレメントにより蓄積された光エネルギーに依存するイメージセンサーと、前記ピクセルアレイの列に一対一の対応で結合したディジタイザーのアレイであって、ディジタイザーが、前記ピクセルアレイのそれらの対応の列から前記列出力信号を受信するように結合されたディジタイザーのアレイを提供するステップと、前記ピクセルエレメントのイメージ強度信号の観測を取得するステップにして、行入力信号ベクトルを前記ピクセルアレイの制御ラインに適用するステップであって、異なる行入力信号ベクトルが各セットに適用され、各行入力信号ベクトルが、現在のフレーム時間において既に適用された全ての行入力信号ベクトルに対して実質的に相関関係がない全候補の（possible）行入力信号ベクトルのセットのサブセットの一つである、ステップと、前記ディジタイザーのアレイの出力を読み出すステップと、複数回、前記行入力信号ベクトルの適用と前記ディジタイザーのアレイの出力の読み出しを繰り返すステップにより、前記ピクセルエレメントのイメージ強度信号の観測を取得するステップを含む、方法を提供する。

幾つかのそのような側面においては、行入力信号ベクトルが、複数のサンプリング関数のベクトルに基づく。幾つかのそのような側面においては、各サンプリング関数が、ランダム基底関数と予期されるイメージ信号における所望の関心の空間周波数に同調された周波数応答を有するフィルタリング関数の積を含む。

別の側面においては、本発明が、行及び列に区分された複数のピクセルエレメントを含むピクセルアレイであって、前記ピクセルエレメントのそれぞれが光センサーを備え、各行におけるピクセルエレメントが、複数の異なるセットの一つに属し、前記各行における前記ピクセルエレメントが、その行についてのそのセットのピクセルエレメント用の制御信号を受信するべく共通の配線を有する各セットに属し、ピクセルエレメントの各列におけるピクセルエレメントが、その列のための第１列出力信号と第２列出力信号の各々を提供するべく共通の配線を有し、前記列出力信号に対する前記ピクセルエレメントの寄与が、前記制御信号と前記ピクセルエレメントにより蓄積された光エネルギーに依存するピクセルアレイ；及び前記ピクセルアレイの列に一対一の対応で結合したディジタイザーのアレイであって、前記ディジタイザーが、前記ピクセルアレイのそれらの対応の列から前記列出力信号の指標（indication）を受信するように結合されたディジタイザーのアレイを備える、イメージセンサーを提供する。

幾つかのそのような側面においては、第１記憶素子が、幾つかの制御信号を生成するために用いられる情報を記憶するためにピクセルアレイの一つの側の周辺にあり、第２記憶素子が、他の制御信号を生成するために用いられる情報を記憶するためピクセルアレイの別の側の周辺にある。幾つかのそのような側面においては、第１記憶素子及び第２記憶素子が、各々、記憶セルのアレイを備え、各記憶セルが、少なくとも２ビットの情報のためのストレージを含む。幾つかのそのような側面においては、各ピクセルエレメントの制御信号を受信するための共通の配線が、２ビット情報の第１情報を示す信号を受信する第１配線と、２ビット情報の第２情報を示す信号を受信する第２配線を含む。幾つかのそのような側面においては、ディジタイザーが、カレントコンベヤー及びカレントリミッターによりピクセルアレイの列に結合される。

本発明のこれら及び他の側面が、この開示に照らせばより完全に理解される。

図１ａは、ある動作環境におけるマシーンビジョンシステムの形態の半ブロック図及び半図示である。 図１ｂは、先行技術のビジョンシステムの計算の図である。 図２ａは、本発明のある側面にかかるマシーンビジョンシステムにより実行される計算を図示するプロセスのフローチャートである。 図２ｂは、本発明のある側面にかかるマシーンビジョンシステムにより実行される計算を図示する更なるプロセスのフローチャートである。 図３は、本発明のある側面を示すイメージセンサーアーキテクチャーのハイレベルブロック図である。 図４は、本発明の側面にかかるイメージセンサーのより詳細な側面を示す回路図である。 図５は、本発明のある側面に一致する処理アーキテクチャーのブロック図である。 図６は、センサー応答カーブを図示するグラフである。 図７は、本発明の側面にかかるイメージ信号の近似の生成方法を図示する図である。 図８は、本発明の側面にかかるセンサーの高ダイナミックレンズ取得を図示するタイミング図である。

図１ａは、３Ｄ距離イメージの取得のための既知の方法の実施のためのビジョンシステムの図である。図１ａが、レーザーライン生成器１０１、対象物コンベヤー１０２、関心対象物１０３、レーザー照明された物体平面１０４、デジタルカメラ１０５、デジタル通信チャネル１０９及び、結果１１０により図１ａに図式として図示された関心対象物から抽出された３Ｄ距離データの記憶、処理、解釈、及び表示のためのデジタルコンピューター１１１を備える。デジタルカメラ１０５は、更に、イメージングレンズ１０６、イメージセンサー１０７、及びローカルイメージプロセッサー１０８を備える。

動作に際しては、レーザーライン生成器１０１により形成された、狭い照明平面１１２が、コンベヤー１０２及び関心対象物１０３を含む３Ｄシーンに交差する。レーザーライン生成器１０１が形成した狭い照明平面がイメージングレンズ１０６の物体平面１０４に合致する。イメージングレンズ１０６が、３Ｄシーンにより拡散した光を収集し、イメージセンサー１０７上に集光する。感光性ピクセルの長方形のアレイを備える、イメージセンサー１０７が、露光時間周期に亘るレンズ１０６を介して生成された平均光強度信号を示す電気信号を取得する。イメージセンサー１０７で生成された電気信号が、デジタル情報ストリームに変換され、これがローカルデジタルプロセッサー１０８により受信される。デジタルプロセッサー１０８が、デジタルコンピューター１１１への伝送のためにデジタルイメージ情報をフォーマットする。幾つかの実施形態においては、ローカルデジタルプロセッサー１０８が、またイメージを処理してイメージの代替表現を生成し、若しくは臨界的観測に達する関連特徴やデジタルイメージ情報に基づくコンパクトな分類の幾つかの他の形態を抽出する。

一般的には、デジタルカメラ１０５により取得されたイメージが、ローカルデジタルプロセッサー１０８又はデジタルコンピューター１１１のいずれかにより処理され、シーンにおける対象物に対する照明平面の交差により形成されるラインの変位を観測する。各変位観測がイメージ座標を示す。イメージ座標が、所定のカメラ較正に応じ、物体平面１０４における対象物表面座標に変換される。幾つかの用途においては、連続的にイメージを取得し、また規則的な間隔で変位座標を抽出する過程で対象物１０３が動かされてレーザーライン生成器１０１の平面を通過する。このようにして、図１ａのビジョンシステムに可視の対象物１０３の表面のマップが、ある期間をかけてデジタルコンピューター１１１により構成可能である。

本発明の側面のより良い理解の促進のため、従来の既知のビジョンシステムに関連するため、概して従来例に基づく一例を図１ｂに関して記述する。しかしながら、この説明は、用語に関して本発明に関する後続の開示に一貫して為される。

次の記述においては、アッパーケースシンボル（uppercase symbols）が、概して行列量（matrix quantities）を示し、行列の行番号が下付のiにより識別され、列番号が下付のjにより識別され、フレーム時間が下付のｔにより識別される。ロウアーケースシンボル（lowercase symbols）が、スカラー又はベクトル値を示し、例えば、ｘ_i,jが、ある要素のｘを示し、ｘ_jが、ｘの列ベクトルを意味する。パーレンが、例えばｘ=(ｘ_j)=(ｘ_i,j)のようにベクトル又は行列要素の全てを総じて参照するために用いられる。

図１ｂに概要の計算においては、
・シンボル

は、イメージ強度信号（image intensity signal）を示し、これは、それがピクセルアレイのＮ₁ピクセル行及びＮ₂ピクセル列上に存在するためである。
・シンボル

が、イメージ信号ＸとQ₂₅₆(.)により２５６レベルに量子化された標準のサンプリング関数との積を示す。
・シンボル

が、観測Ｙから復元したイメージ強度信号を示す。
・シンボルｆ
が、コンボリューションカーネルを示し、これが、スムージング係数αとエッジ検出係数

の線形結合により生成された、バンドパスフィルターである。
・シンボル

が、ｆによりコンボリューションされた復元イメージ信号

を示し、これが、例えば、行に関して復元イメージ信号

の近似部分導関数である

に帰結する。
・シンボル

が、ローカル信号極値(local signal extremes)、つまり、各列の信号

のＰ関連信号ピークのイメージオフセットパラメーターを示す。

図１ｂにおいては、プロセスが、シーンの光エネルギーを示す情報を受信する。情報が、例えば、

であるＸのイメージ強度信号として理解され、ピクセルアレイのＮ₁ピクセル行とＮ₂ピクセル列上に存在するイメージ強度信号を示す。情報が、例えば、図１ａのイメージセンサー１０７のイメージセンサーにより受信される。

図１ｂのイメージ信号Ｘが、レーザーラインの３つのセグメントを含み、第３セグメントが、第１セグメント及び第２セグメントの間に水平にあり、また垂直にオフセットし、例えば、図１ａのコンベヤー１０２と対象物１０３に対する照明平面１１２の交差のイメージを示す。イメージ信号Ｘは、また、平面から離れた照明の不要な影響やノイズ（図示せず）を含む。照明の影響が、対象物の一部から別の部分へ内部で拡散された光、例えば、レーザーラインの光であり、また、ノイズが、周囲光若しくはイメージセンサーにより導入される。

一般的には、図１ｂに概要の計算の関数が、物理シーンにおける関心対象物に対する照明平面の交差から形成されるカーブのイメージ特徴に関連する行オフセットパラメーターを抽出する。従来の方法が、イメージ信号をサンプリングし、デジタルイメージを形成し、デジタルイメージをフィルタリングし、そしてフィルタリングされたデジタルイメージからイメージ特徴を抽出するステップ群を含む。

図１ｂに概要の従来のマシーンビジョンプロセスに関連する主な制限としては、システムにより形成された物理座標の各々すべてのラインのために相当なサイズの２次元強度イメージがデジタルカメラにより取得されなければならないことである。これによりシーンの３Ｄイメージを取得する時間が、同じサイズのシーンの強度イメージを取得するのに要求される時間の１００倍も長くなり、レーザーライン基準の３Ｄイメージ形成方法が多くの産業マシーンビジョン用途にとって遅すぎるものにする。

イメージセンサーにより取得されたイメージ信号の従来のデジタル表現を生成することに要する時間が、イメージのサイズ、ディジタイザーの速度、及びディジタイザーの数の関数である。従来のイメージセンサーが、アレイの各ピクセルにより生成された電圧信号をサンプリングし；電圧を数百又は数千のレベルに量子化してデジタル強度イメージを生成するように稼働する。デジタル信号読み出しのプロセスが、ピクセルの電圧信号をサンプリング装置に接続された配線（conductor）に切り替え、信号が発展して安定化するのを待ち、電圧信号をサンプリングし、複数の個別ステップでサンプルされた電圧信号を参照信号（群）と比較してデジタル値を得ることを含む。イメージ取得速度の既知の改良方法が、シーンにおける対象物による、予期されたレーザーライン変位を収めるために要求される最小の行（又は列）数に制限することを包含するが、実際には、有用な変位イメージのためには依然として数百のピクセル行の読み出しが要求される。イメージ取得速度の他の改良方法が、複数のアナログデジタル変換器の使用を包含する。しかしながら、実際には、アナログデジタル変換器の数が、個別のピクセル電圧にアクセスするのに必要な配線により制限される。従来のＣＭＯＳイメージセンサーでは、配線が非透過性であり、典型的には感光領域の近傍の光路に配置され、また有限数のレイヤーにて積層できるだけである。上述のところは、典型的には、ピクセルアレイの列又は行の数以下まで実用のディジタイザーの数を制限する。イメージの高速デジタル化方法が良く知られているが、究極的には、デジタルイメージ取得の従来方法の使用により達成できる速度にはある実用的な制限がある。

現在のマシーンビジョン用途において、我々は、光平面により照明されたシーンがカメラにより相対的に疎(スパース)なイメージ、すなわち、シーンから殆ど（若しくはゼロの）光しか受光せず、大多数のイメージセンサーピクセルが数のゼロの値により示されるイメージとして撮像されることを観察した。更に、我々は、カメラの視野内を動く実際の関心対象物に対する可視の照明平面の交差が、一般的には、区分的に円滑にして連続的な関数であり、また我々が求めるイメージ情報内容がイメージの列毎に数ビットだけで十分に示されることを観察した。意図された用途を考えると、イメージ信号ストリームの有用な情報内容が信号の次元に比べて非常に小さいことが直ちに明らかであり、従来のイメージデジタル化方法が、その多大な時間を冗長な信号情報のサンプリングと変換に費やしていたことが示唆される。もしそのような冗長なアナログイメージ信号の読み出しや変換が避けられるならば、ビジョンシステムのスループットに顕著な改善が可能であろう。

圧縮センシング分野においては、ある状況の下では、ゼロとＫ非ゼロ係数から成る信号ベクトル

が、

観測のみから復元可能であることが示されている。この公式において：

である。

上述の言及の条件は、任意の関連の信号ベクトルｘの変動が次のように固有の観測ベクトルｙの生成に帰結しなければならないことである：

全て

である。

上述を考慮すれば、整合の観測ベクトルｙを生成する最大限の空間ベクトル

を検索することによりｙとＡからｘが復元可能である。

そのような検索の計算の複雑さは、信号ベクトルｘの希薄、Ｋに直線比例する、検索空間の次元と共に指数関数的に高まる。この事実は、より大きい値のＫのため、解決方法を概して扱いにくいもの（intractable）にする。つまり、１）ｘが十分に希薄(スパース)であり、また２）観測行列Ａが、希薄Ｋの信号ベクトルｘのためといった定数δの存在を要求する、所謂、制限された同じ大きさの特性（restricted isometry property）に一致する場合を除く。

先行が、小さい定数δにとって観測及び信号が十分に小さい

ノルムを有することを示唆し、この場合、凸最適化方法（convex optimization methods）が適用され、ここでは

が、観測に一致する制約に服するその

最小値であることが分かる。

追加のノイズベクトルｎを仮定し、ここで

である。

復元方法の如何に関わらず、圧縮センシングモデルの本質的要素が、信号希薄の事前知識であり、これを無くしては、特有のマッピングが存在するとしても、信号ベクトルｘから観測ベクトルｙへの特有のマッピングを保証し、若しくは効率的な復元を提供することが困難若しくは不可能である。

予期されるイメージ信号の希薄に照らすと、上述の圧縮センシングのモデルが確約のものに見える。しかしながら、イメージセンサー設計や製造の既知の方法に対して格別の困難さが表面上に存在する。ある困難さは、観測ベクトルｙとサンプリング関数Ａの両方が、実数のセットに属する係数から構成されるものと推定されることである。従来方法を超える速度の改良を達成することは、膨大数の広いダイナミックレンジのアナログ計算が並列に実行され、加えて、結果として得られるアナログ信号の正確なデジタル化が要求される。

上述の実際の実施に関連の幾つかの困難さは、１ビット圧縮センシングの理論により解決され、それは、本質的には、観測信号ｙが極度に量子化される従来の圧縮センシング理論である。１ビット圧縮センシングでは、各観測が、関数sign(.)により１ビットに量子化され、また、観測の符号のみが観測ベクトルｙに記憶される。

である。

上述の説明がアナログデジタル変換プロセスの簡素化を示し、実際の実施のために幾つかの望みを提供する。しかしながら、観測プロセスの性質が元信号からスケール情報を消すことにあることに注意されたい。従って、この計算では、スケール要因内での部分的な再構成のみが可能である。この事実は、後述する本発明のイメージセンサーの設計に関して重要である。

光平面により照明されたシーンのイメージ内に含まれる情報のデジタル取得の加速に対する１ビット圧縮センシングの実能力を推定するため、信号ベクトルｘ、サンプリング行列Ａ、及び観測ベクトルｙの関係の特性を理解することが必要である。

Ｘ₁及びＸ₂が、単位球面に標準化された二つの信号ベクトルｘ₁≠ｘ₂のいずれかを示し、観測ｙ₁＝sign（Ax₁）と観測ｙ₂＝sign（Ax₂）とし、次に、

をマップするsign(Ax)が、もし

ならば、所謂、Ｋ−希薄信号ｘのためのオーダーＫの

である。

言葉で説明すれば、任意の二つの信号の間の標準化されたベクトル角度が、幾つかの公差

内の、それらの観測間の標準化されたハミング距離に等しい。

１ビット圧縮センシングにおいては、もしＡが、Ｉ．Ｉ．Ｄ．（互いに独立で同一の分布に従う）ランダム変数、例えば、ベルヌーイ分布から構成され、また

であるならば、ｙ＝sign（Ax）が、

にとって確率Ｐ_r＞１−ρの

である。

先行の式が、指定の解像度に対する所定サイズや希薄さの信号の認識を確実にするのに要求されるサンプル数の下限を予期する。

光平面により照明されたシーンから成るイメージの列をエンコードするために要求されるサンプルＭの最小数の推定に到達するため、我々は、信号ｘが、幾つかの行オフセットθだけシフトされた狭いレーザーラインパルスを含む希薄イメージベクトルとしてモデル化可能であると推定することにより検討を始めた。そのような理想的なレーザーラインパルス信号が、イメージの各列ベクトル上でＫ＝１希薄である。

幾つかのシフト公差δ＝１内のθを推定することを望むと仮定すると、

が最低の精度レベルの保証のために必要であることが示唆される。

従って、

を０．９０を超える可能性とし、

とすれば、理論的には、ただ

ビット／イメージ列のみが要求される。

先行の計算が、典型的には、従来のＣＭＯＳイメージセンサーで生成される８ビット／ピクセルデジタルイメージに対して相当なデータ低減の可能性を示す。イメージセンサーのスループット、つまり、フレームレートが処理される情報量により支配されるとの程度において、同一桁の速度向上を期待するのは不合理ではない。

不幸なことに、上述した理想的な例示ケースに関連の幾つかの推定が現実からほど遠い。例えば、対象物の表面を照明する光平面から生成されるイメージの列ベクトルが、一般的に通常に照明されたイメージよりも少ない非ゼロ要素を包含するものではあるが、最も近いピクセルにレーザーラインの位置をエンコードするのに必要な量よりも多くの非ゼロ値を依然として包含する。これは、最善の場合においても、レーザーラインのイメージが、イメージの所定の列上を占有する行数に関して、有限かつ変動する厚みを有するとの事実に起因する。加えて、対象物により散乱若しくは拡散された幾つかの光にとっては、レーザーの平面内には存在しないが、されどカメラの視野内にある対象物の表面の別の箇所を照明することがよくあり、従って、イメージにおける非ゼロ値の合計に寄与する。典型的なレーザーラインイメージが既に相対的に希薄であるため、異なる基準へのリニア変換が、典型的には非ゼロ信号係数の有意な低減を提供しない。レーザーラインイメージに関連のノイズや幾つかの不可避の妨害パラメーターが、イメージ信号における非ゼロ値の数に直接的に寄与し、また観測にてレーザーライン座標を正確にエンコードする観測を取得するのに必要であるサンプルＭの数に間接的に寄与する。更には、デジタルプロセッサーの実施に依存して、観測からデジタル信号を復元させるタスクが急速に展開して実効的なサイクル時間を支配し、圧縮センシング方法がビジョンシステムのスループットの向上のために無用になる。

本発明の一側面が、図１ｂのシステムとは異なり、元のイメージ信号Ｘが観測Ｙにおいてエンコードされておらず、なぜなら、そのようにすることが、物理シーンにおける関心対象物に対する照明平面の公差のオフセットパラメーターを抽出するのに直接的に関係しない追加のイメージ情報のエンコードを必要的に要求するためである。むしろ、フィルターされたイメージ信号Ｚが観測Ｙでエンコードされる。この一つの理由は、上述のように、信号の全ての変動を特定の誤差公差

に埋め込むのに要求されるサンプル数が、オーダーO(Klog(N))であることにある。イメージ信号Ｘをフィルタリングしてレーザーラインオフセットパラメーターの抽出に必要な情報を含まない空間周波数を減衰させることにより、Ｋｚ＜Ｋｘとなるように、Ｚの希薄さが増加し、観測Ｙにおいてフィルターされた信号をロバストにエンコードするのに要求されるサンプル数が、エラー公差

が同一値のままであるとすれば、実際には、純のイメージ信号Ｘのエンコードに要求されるサンプル数よりも常に少ない（多くの場合はかなり少ない）。

図２ａが、本発明の態様に応じ、マシーンビジョンシステムにより実行されるプロセス、特には、プロセスの計算の半フローチャートを図示する。マシーンビジョンシステムが、例えば、図１ａのシステムのハードウェアの幾つか又は全てを含むシステムである。

図２ａに概要の計算において：
・シンボル

は、イメージ強度信号を示し、これは、それがイメージセンサーのＮ₁×Ｎ₂ピクセルエレメント上に存在するためであり、例えば、イメージセンサーのピクセルエレメントが、Ｎ₁ピクセル行及びＮ₂ピクセル列のピクセルアレイを生成する。
・シンボル

がイメージフィルタリング関数を示し、これは、イメージ信号Ｘの行に関する第１偏導関数の中央差分近似の計算に用いられる係数を含み、幾つかの実施形態においてはその係数から成る。
・シンボル

が、希薄ランダムシーケンスを示し、これは、幾つかの実施形態においては、ｍ＞１のオーダーｍのマルコフ連鎖に基づく。
・シンボル

が、ｒから行ベクトルを引くことにより生成される、ランダム基底関数を示す。
・シンボル

が、ランダム基底

とフィルタリング関数Ψの積から生成される、イメージサンプリング関数を示す。
・シンボル

が、サンプリング関数Фと、sign(.)により二つのレベル｛−１，１｝に量子化されたイメージ信号Ｘの積から生成される、フィルターされたイメージ強度信号の観測を示す。
・シンボル

が、観測Ｙとランダム基底関数

の転置の積から成る、フィルターされたイメージ信号の推定を示す。
・シンボル

が、元のイメージ信号Ｘとフィルタリング関数Ψの積の推定を示す。
・シンボル

が、ローカル信号極値、つまり、各列上の信号ＺのＰ関連信号ピークのイメージオフセットパラメーターを示す。

図２ｂにおいては、ブロック２１５が、シーンにおける光エネルギーを示す情報である、イメージ信号Ｘの情報を示す。情報がイメージセンサー、例えば、図１ａのイメージセンサー１０７により受信される。光エネルギーは、シーンから散乱された光であり、その光の少なくとも幾つかは、レンズによりイメージセンサー上に集められる。イメージは、不要なオフ平面（off-plane）照明影響やノイズ（不図示）も含む。照明影響が、対象物のある部分から別の部分へ内部で拡散された光であり、例えば、レーザーラインの光であり、ノイズが、例えば、周囲光又はイメージセンサーにより導入される。

ブロック２１７が、イメージ強度信号Ｘの観測Ｙを生成するプロセスの表示を含む。観測Ｙは、２つのレベルに量子化された、イメージ強度信号Ｘとサンプリング関数Фの積を示す。大半の実施形態においては、サンプリング関数が、ランダム基底関数と空間フィルタリング関数の積である。幾つかの実施形態においては、ランダム基底関数が、ベルヌーイ分布又は幾つかの他の概してランダムな分布から導かれる希薄、非ゼロ要素である。幾つかの実施形態においては、サンプリング関数が、レーザーラインを生成するイメージの部分に関連する空間周波数を概して通過させ、また、ノイズや他の不要なイメージ情報を含むイメージの部分に関連する空間周波数を実質的に拒否することが予期される。幾つかの実施形態においては、ブロック２１７のプロセスが、反復して観測Ｙの要素を生成することにより、イメージ信号Ｘの情報を抽出する。観測Ｙの情報の生成が、幾つかの実施形態においては、イメージセンサー装置及び／又は関連の回路と一緒にイメージセンサー装置により実行される。

幾つかの実施形態においては、Ｙの要素が、Ｍ回の繰り返しで生成され、例えば、Ｍ回の各繰り返しが、異なるｙ_i要素を生成する。幾つかの実施形態においては、例えば、Ｎ₁行及びＮ₂列に配列されたピクセルエレメントを有するイメージセンサーを有し、またサンプリング関数がＭ行及びＮ₁列を有する実施形態では、各繰り返しにおいて、サンプリング関数の異なる特定行の各情報が、イメージセンサーの列に有効に適用され、各列基準で符号操作を行った後、ｙ_iを取得する。幾つかの実施形態においては、ｙ_iの要素が実質的に同時に取得される。幾つかの実施形態においては、符号操作を実行するためにコンパレータが用いられる。

幾つかの実施形態においては、各繰り返しにとって、サンプリング関数の各行φ_iの情報が用いられてイメージセンサーのピクセルエレメントに適用される制御信号が生成され、ピクセルエレメントの各行がその制御信号若しくは信号群を受信する。従って、幾つかの実施形態においては、第１繰り返しにとって、φ_1,1の情報に基づく信号（群）が、ピクセルエレメントの第１行のピクセルエレメントに適用され、φ_1,2の情報に基づく制御信号（群）が、第２行のピクセルエレメントに適用され、以下、同様である。同様に、Ｍｔｈの繰り返しにとって、φ_M,1の情報に基づく制御信号（群）が、第１行のピクセルエレメントに適用され、φ_M,2の情報に基づく制御信号（群）が、第２行のピクセルエレメントに適用され、以下、同様である。

幾つかの実施形態において、また図２ａに示すように、イメージ信号サンプリング情報が、サンプリング関数生成器ブロック２６０から提供される。図２ａに図示のように、サンプリング関数生成器ブロックが、イメージプロセッサー２２０に関連づけられており、これは、様々な実施形態においては、様々なように、図１ａのローカルデジタルプロセッサー１０８又はデジタルコンピューター１１２である。しかしながら、様々な実施形態においては、サンプリング関数生成器又はその部分が、イメージセンサー２１１に含まれるものと理解されるべきである。幾つかの実施形態においては、イメージセンサー、又はイメージセンサーに関連のメモリー又は回路が、例えば、図２ａのブロック２１６により図示されるように、イメージ信号サンプリング情報の記憶のためのストレージを提供する。幾つかの実施形態においては、イメージセンサー又はイメージプロセッサーのいずれもが、サンプリング関数生成器ブロックを含まず、これに代えて、イメージセンサーの又はそこに関連のストレージに記憶された事前生成されたイメージ信号サンプリング情報を含む。幾つかの実施形態においては、イメージ信号サンプリング情報が、幾つかのピクセルエレメントに物理的に近い第１ストレージ要素と他のピクセルエレメントに物理的に近い第２ストレージ要素を有する二つのストレージ要素の両方に記憶される。例えば、ピクセルアレイを生成するピクセルエレメントの列が、正方形又は長方形を規定する態様で配列されると考えられるならば、第１ストレージ要素がピクセルアレイの一方側にあるものと考えられる辺りにあり、第２ストレージ要素がピクセルアレイの反対側辺りにある。幾つかのそのような実施形態においては、第１ストレージ要素に近いピクセルエレメントが、第１ストレージ要素に関連の制御信号を受信し、第２ストレージ要素に近いピクセルエレメントが、第２ストレージ要素に関連の制御信号を受信する。

図６は、本発明の側面に即した幾つかの実施形態の代表のイメージ行に関して取られた空間周波数応答を示す例示のグラフである。図６は、従来の圧縮サンプリング関数の周波数応答軸６０１、周波数軸６０２、フラット周波数応答ライン６０５、及び周波数応答カーブ６０３を含み、また本発明の幾つかの実施形態の例示である周波数応答カーブ６０４を含む。

一般的に、信号検出装置、例えば、イメージセンサーが、基底ベクトルのセットを提供し、基底ベクトルは、信号をサンプリングし、可能であるならば完全に観測において信号からの情報をエンコードできる。最小の規則的なサンプリング速度定理に合致する標準サンプリング関数（例えば、ナイキスト定理）が、効果において、周波数応答カーブ６０５に図示のように、完全にフラットな周波数応答カーブを示し、また理論において、任意の一致信号がその観測ベクトルから完全に再構成可能である。

圧縮センシング方法により、伝統的なサンプリング速度標準が、希薄さや圧縮性との関係で示されるように、信号の情報内容に関する事前知識に基づいて解放され、これは、幾つか又は可能性の不知の直交リニアベースにおいて信号を正確に示すために必要な係数の最小数である。この普遍性を提供するために圧縮サンプリング関数が、ランダムプロジェクションに基づく従来の圧縮サンプリング関数から得られた周波数応答カーブ６０３に図示のように、ほぼフラットな周波数応答を有しなければならない。この要求は、一般的に、信号に含まれる情報量に関する知識が、周波数分布に関する如何なる情報も運ばないとの事実に照らせば明らかである。従って、従来の圧縮サンプリング関数の周波数応答は、一般の希薄信号復元を保証するため、ほぼフラットでなくてはならない。

標準的なサンプリング関数６０５の周波数応答カーブと従来の圧縮サンプリング関数６０３とは対照に、本発明の幾つかの実施形態の例示である、カーブ６０４に示す周波数応答が、明らかにフラットではない。この例においては、サンプリング関数が、信号の一般情報内容の事前知識のみではなく、信号だけではなく、信号の情報内容の空間周波数分布の事前知識でも生成されるためである。

図２ａ、及びサンプリング関数生成器のブロック２６１、２６２、２５９を参照すると、幾つかの実施形態においては、ベクトル

、ここで、N₃=N₁+2Mdであり、及び空間フィルタリングカーネル

のサイズ

である。
幾つかの実施形態においては、ベクトルｒの情報が、次のように、二つのベクトル

及び

のエレメント基準の積から生成されるものと理解できる：
ｒ＝（ｒ_i）＝（ｂ_iＣ_i）
ここで、bが、ランダム分布に基づく：
Ｐ（ｂ_i＝１）＝Ｐ（ｂ_i＝−１）＝１／２
またｃが、オーダーｍ＝２ｄ：のマルコフ連鎖に基づく：

である。

ランダム基底関数

が、次の数式に従ってベクトルをサンプリングすることにより求められる。

言葉で説明すれば、ランダム基底関数

の行が、お互いに対してｍ以上にシフトされたｒのＮ₁要素セグメントである。

サンプリング関数Фは、次のように、フィルタリングカーネル

での

の行のコンボリューションから生成されるものと理解可能である。

これは、図２ａにおいて次のように述べられる：

幾つかの実施形態においては、コンボリューションカーネル

が、第１導関数の中央差分近似に基づいて空間フィルタリングを実行し、例えば、

、この場合、

である。

一般的に、ｍは、イメージセンサーハードウェアにより固有のレベルに制限されるサンプリング関数Фの範囲が保証されることを確保するべく十分なサイズにされるべきである。好適な実施形態においては、Фの要素が、全て範囲内、つまり

であり、サンプリング関数Фの行が十分に非相関である。

ブロック２２３においては、プロセスが、イメージ信号の観測Ｙをバッファーする。観測が、イメージ強度信号の観測の列ベクトルｙ_jから構成される。大半の実施形態においては、イメージ信号の観測が、イメージセンサーの又はそれに関連の回路により生成され、観測がイメージプロセッサーの又は関連のメモリーに記憶される。図２ｂの実施形態及び他の実施形態のためのイメージセンサー及びイメージプロセッサーが、幾つかの実施形態においてはシリアルデータリンクにより結合され、他の実施形態においてはパラレルデータリンクにより結合される。加えて、以下で説明のブロック２２５〜２３１の動作が、また、イメージプロセッサーの又は関連の回路によっても実行される。

ブロック２２５では、プロセスが、フィルターされたイメージＺの第１予測Ｗを生成する。図２ａの実施形態においては、予測が、ランダム基底関数

の転置と観測Ｙの積により決定される。ブロック２２７においては、プロセスが、フィルターされたイメージＺの推定を生成する。幾つかの実施形態においては、図２ａに示すように、ブロック２５５のプロセスにより生成されたフィルターされたイメージの推定が、カーネルαでのコンボリューションにより生成される。

レーザーライン照明を包含する幾つかの用途においては、レーザーラインが、時々、レーザーラインパルスの幅がフィルタリングカーネル

のサポートよりも大きい（若しくは等しい）有限幅の矩形波によりモデル化される。上述に記載のモデルのように、イメージ平均化カーネルが、時々、フィルタリングカーネル

の予期された出力に適合する。例えば、もしフィルタリングカーネルが

により与えられるならば、ブロック２２７のコンボリューションカーネルがα＝（１，２，３，３，２，１）になる。

ブロック２２７の生成ステップが、観測Ｙでその積を計算する前、ランダム基底関数

の転置にカーネルαを畳み込むことによりブロック２２５において実行できることに留意されたい。しかしながら、ブロック２２５の行列乗算が希薄行列乗算の方法により実行される幾つかの実施形態において、ブロック２２７のコンボリューションで動作を行うことが顕著な計算上の利益を提供する。

ブロック２２９が、フィルターされたイメージ

の最終推定をバッファーする。推定におけるレーザーラインのエッジの位置が、例えば、ピーク検出アルゴリズムを用いて、ブロック２３１のプロセスにより決定される。

図２ｂは、本発明のある側面に即してマシーンビジョンシステムにより実行されるプロセス、特にプロセスの計算の半フローチャートを図示する。マシーンビジョンシステムは、例えば、図１ａのシステムの幾つか又は全てのハードウェアを含むシステムである。

図２ｂのプロセスは、３次元の関心対象物上を通過する照明平面から成る時間的なイメージストリームが、図２ａの方法により予期されるよりもより概して希薄であり、信号Ｘの行寸法に関してのみではなく列や時間に関してもイメージ信号が希薄及び／又は圧縮可能であるという事前知識を利用する。換言すれば、Ｘの隣の列ｊが非常に近似する、つまりお互いに高い相関関係になる傾向がある。同様に、イメージ信号Ｘは、典型的には、一つのフレーム時間から別のフレーム時間で非常に近似する。フレーム時間は、例えば、Ｍサンプルがイメージ信号の列の各々のために取得される時間周期である。

図２ｂは、図２ａのものと同様にビジョンシステムの計算を示すが、ランダム基底関数

とサンプリング関数Фが複数の独立のセグメントに区分されており、これらのセグメントが時空的にインターリーブされた態様で用いられる点において異なる。好適には、また、幾つかの実施形態においては、時空的なインターリーブは、任意の所定のフレーム時間ｔにおいてその空間的に隣接のｊ−１又はｊ＋１のいずれかと同一のパターンでイメージのどの列jもサンプルされず、また現在のフレーム時間で用いられるサンプリングパターンが前回のフレーム時間のサンプリングパターンや次のフレーム時間のサンプリングパターンとは異なることを保証する。

図２ａと比較のように、図２ｂに概要の計算は、３つのフレーム時間上で９つの小さいサンプリング関数が用いられ、３つのサンプリング関数が任意の所定の時間ｔにｘに同時に適用されるものと考えられることを示す。実際には、この方法により、単位フレーム時間ｔにおけるサンプルＭの数が図２ａに概要の方法と比べて減じられ、他方、信号Ｚの

に関連の同一のエラー公差が維持され、従って、図２ａのビジョンシステムに比べて顕著なより優れた計算効率が提供される。

図２ｂは、サンプリング関数の空間及び時間的なインターリーブの両方の使用を示すが、代替の実施形態においては、サンプリング関数の使用が、空間のみでインターリーブされ、若しくは時間のみでインターリーブされる。

図２ｂに概要のプロセスでは：
・シンボル

は、それが時間ｔでピクセルアレイのＮ₁ピクセル行及びＮ₂ピクセル列上に存在するため、イメージ強度信号を示す。
・シンボル

がイメージフィルタリング関数を示し、これは、第１偏導関数の中央差分近似を計算するために用いられる係数を含む、また幾つかの実施形態においてはその係数から成る。
・シンボル

が、幾つかの実施形態においては、ここで、ｍ＞１のオーダーｍのマルコフ連鎖に基づく希薄ランダムシーケンスを示す。
・シンボル

が、ｒから行ベクトルを減算することにより算出されるランダム基底関数

のアレイを示す。
・シンボル

が、ランダム基底

とフィルタリング関数Ψの積から成るイメージサンプリング関数のアレイを示す。
・シンボル

が、サンプリング関数

と、sign(.)により二つのレベル｛−１，１｝に量子化されたイメージ信号Ｘ_tの積から成る、時間ｔでのフィルターされたイメージ強度信号の観測を示す。
・シンボル

が、αによりコンボリューションされたランダム基底関数

の転置と観測Ｙ_tの積から成る、フィルターされたイメージ信号の推定を示す。
・シンボル

が、元のイメージ信号Ｘと、

の合計から成るフィルタリング関数Ψの積の推定を示す。
・シンボル

が、ローカル信号極値、つまり、時間ｔ−１での各列上の信号ＺのＰ関連信号ピークのイメージオフセットパラメーターを示す。

従って、図２ａのプロセスのように、ブロック２５５では、図２ｂのプロセスが、シーンの光エネルギーの情報標本を受信し、ブロック２５６では、プロセスが、シーンのイメージの相対的な光エネルギーに基づいて、イメージ強度信号の観測のベクトルを反復して生成する。図２ａのプロセスのように、ブロック２５５及び２５６により提供される機能がイメージセンサー２５１を用いて実行され得る。

しかしながら、図２ｂのプロセスにおいては、観測の生成が、複数のサンプリング関数を用いて実行される。図２ｂの実施形態においては、９つのサンプリング関数が用いられ、空間的及び時間的にインターリーブされる。幾つかの実施形態においては、三つの異なるサンプリング関数が任意のフレーム時間ｔで用いられ、前回のフレーム時間と次のフレーム時間が３つのサンプリング関数の異なるセットを用いる。９つのサンプリング関数、若しくはサンプリング関数を生成する情報が、動的に生成され、及び／又はイメージセンサーの、又はこれに関連のメモリ２９１に記憶される。

ブロック２６３においては、プロセスが、フレーム時間ｔでイメージ信号Ｘの観測Ｙ_tをバッファーする。大半の実施形態においては、イメージ信号Ｙの観測が、イメージセンサーの又はこれに関連の回路により生成され、またイメージプロセッサーの又はこれに関連のメモリに記憶される。加えて、以下に説明のブロック２６５−２８１の動作が、イメージプロセッサー又はこれに関連の回路によっても実行され得る。

ブロック２６５においては、フィルターされたイメージ信号Ｚの部分推定を計算する。図２ｂの実施形態においては、推定Ｗが、対応のランダム基底関数

の転置と観測

の積を取ることにより決定され、新しい推定Ｗが各フレーム時間ｔについて生成される。

ブロック２６７では、プロセスが、ブロック２６５により出力された部分全体をカーネルαでコンボリューションし、これは、図２ａに関して、上述のようにフィルターされたイメージの推定の生成に加え、隣接の列ベクトルを結合し、各列ベクトルがそれ自身と左右で直に隣接のものの合計により置換される。

ブロック２７９では、プロセスが、前回の３つのフレーム時間に亘りブロック２６７により出力された部分合計を結合し、フレーム時間ｔ−１でのフィルターされたイメージ信号Ｚの最終推定を生成し、ブロック２８０で結果を記憶する。図２ａに示すように、照明平面のパラメーターが、例えば、ピーク検出アルゴリズムを用いて、ブロック２８１のプロセスにより決定される。

図３は、本発明のある側面を代表するイメージセンサーアーキテクチャーを図示するハイレベルのブロック図である。図３のイメージセンサーは、サンプリング関数ストレージバッファー３００；サンプリング関数シフトレジスタ入力バッファー３１１、３１２、３１３；サンプリング関数シフトレジスタ３２１、３２２、３２３；ピクセル列３３１、３３２、３３３、３３４が含まれるピクセルアレイ３０１；アナログ信号コンパレータ３４１、３４２、３４３、及び３４４を含むアナログ信号コンパレータアレイ３４０；１−ビットデジタル出力信号ライン３５１、３５２、３５３、３５４；及び出力データマルチプレクタ３０２を備える。ピクセル列の各々が複数のピクセルエレメントを含む。一般的にピクセルエレメントが放射線感知センサー（大半の実施形態においては光感知センサー）と関連の回路を含む。

ピクセルアレイ３０１のピクセルエレメントが、ローカル電荷蓄積サイトで光生成電荷を蓄積する。イメージセンサーピクセルの光生成電荷が、幾つかの観点においてはイメージ強度信号として考えられる。幾つかの実施形態においては、各ピクセルエレメントが、固定容量を含み、蓄積電荷をピクセル電圧信号に変換する。各ピクセル電圧信号がローカル電流源を制御し、ピクセル電流信号を提供する。ピクセル電流源は、サンプリング関数の制御の下、ピクセル列単位で利用できる２つの信号出力ラインの一つ上に選択及び切り替えられることができる。出力ラインは、ある列上の全てのピクセルにより共有され、列上に生成されたその２つの電流出力信号のそれぞれが、選択されたピクセルにより供給される電流の合計を示す。

３つのサンプリング関数シフトレジスタの使用に見られるように、図３の実施形態が、図２ｂに関して説明したように、空間インターリーブ（及び時空インターリーブ）を実施するシステムでの使用に適する。図３のアーキテクチャーが、図２ａの非インターリーブ形態のためにも使用でき、３つのシフトレジスタに同一情報が保持され、若しくは３つのシフトレジスタが単一のレジスタで置換されるかのいずれかにある。

本発明の幾つかの実施形態においては、サンプリング関数φ_iの行が、シフトレジスタを用いてメモリバッファの内容から動的に生成される。任意の時間で活性の３つの異なるサンプリング関数行がある。φ_i,1,kを包含するサンプリング関数シフトレジスタ３２１が、列｛１，４，７．．．｝の全ピクセルのための制御信号の出力を提供する。φ_i,2,kを包含するサンプリング関数シフトレジスタ３２２が、列｛２，５，８．．．｝の全ピクセルのための制御信号の出力を提供する。φ_i,3,kを包含するサンプリング関数シフトレジスタ３２３が、列｛３，６，９．．．｝の全ピクセルのための制御信号の出力を提供する。本発明の幾つかの実施形態においては、サンプリング関数ストレージバッファー３００が、ピクセル制御信号を保持するデジタルメモリバッファーであり、各ピクセル制御信号が２ビットから構成され、もしあれば、選択されるべき２つの電流出力ラインのいずれかを示す。幾つかの実施形態においては、制御信号を保持するデジタルメモリーが、ここで、

を満足する、２（ｍ）ビット長のワードとしてアクセスされる。本発明の幾つかの実施形態においては、

であり、メモリーデータ幅が３２ビットである。

サンプリング関数の新しい行動的に生成するため、図３のイメージセンサーが、ストレージバッファー３００からシフトレジスタ入力バッファー３１１、３１２、３１３に３ワードをコピーし、次に、入力バッファー３１１、３１２、３１３及びシフトレジスタ３２１、３２２、３２３の内容が協同してｍ場所のシフトを行うようにさせる。幾つかの実施形態においては、サンプリング関数シフトレジスタ３２１、３２２、３２３が、更に、Ｎ₁エレメント長シャドウレジスタを更に備え、次のシフト動作が行われる間にピクセルアレイ３０１に適用されたピクセル制御信号の状態を維持するための手段を提供する。本発明の幾つかの実施形態においては、サンプリング関数メモリバッファ３００が周期パターンでアクセスされ、第１行でのシフトレジスタ３２１、３２２、３２３の入力プロセスが、起動初期化時に一度だけ実行される必要がある。

初期化に続いて、シフトレジスタの各サイクルのためにサンプリング関数の新しい行が生成され、ピクセルアレイ３０１に適用され、選択されたピクセル出力の合計を示す、単位列当たりに２つの新しい電流出力信号がコンパレータアレイ３４０の電流入力上に生じる。列の２つの電流出力信号が比較され、これらの相対的な大きさを示す１ビットの値を生成する。列出力ビットが、一緒に取られるならば、一つの行のデジタル出力を示し、イメージセンサー、ピクセルアレイのピクセル上のイメージ強度信号の観測の行ベクトルを生成する。行のデジタル出力がマルチプレクタ３０２により、より小さなワードに多重化され、デジタル出力ストリームを生成する。

動作においては、３つの異なるサンプリング関数のＭ行が全フレーム時間ｔのために生成されて観測行列Ｙ_tを生成し、観測行列Ｙ_tが、幾つかの実施形態ではピクセルアレイのＮ₂列の各々のためにＭビットから成る。図２ａ及び２ｂに即して、観測行列ｙ_i,jの各ビットが、ピクセルアレイｘ_j,tの一つの列とサンプリング関数φ_i,h,kの一つの行のベクトル積の符号として考えることができ、図２ｂに関して上述したとおりである。

上述したように、上述の数式で用いられたsign(.)量子化の一つの効果は、観測が、イメージ信号に存在する空間周波数のＤＣ係数のエンコードが概してできないことである。この理由のため、本発明の幾つかの実施形態では、ダークピクセルの複数の行を提供し、これが、サンプリング関数により選択される時に電流出力に既知の寄与を提供するように構成できる。このようにして、我々は、全ての列における幾らかのピクセルが、完全に復元し、かつ適切にスケールされたイメージ信号の既知の定数値を有するとの予測を策定した。これにより、再構成信号値に対する予想値の比率から求めることができる各列の用のスケール要因の計算が許容される。複数の行が用いられるのは、再スケール計算におけるノイズの増幅を避けるために相対的に低い必要がある再構成スケール係数におけるノイズが、スケール情報を搬送する行の数の平方根に比例する要因により減じられるためである。

図４は、本発明の側面に即したイメージセンサーのより詳細な部分の態様を示す回路図である。図４のイメージセンサーの部分が、幾つかの実施形態においては、図３のイメージセンサーの部分である。図４の実施形態が、ピクセルアレイ４００（明瞭性のためにピクセルアレイの４つのエレメントのみを示す）、電流コンベヤー４０１、電流リミッター４０２、カレントミラー４０３、電流コンパレータ４０４、ピクセル出力制御ライン４０５、ピンフォトダイオード４０６、リセットトランジスタ４０７、トランスファーゲート４０８、トランスコンダクタ４０９、出力選択トランジスタ４１０、４１１、及びフローティングディフュージョンノード４１２を含む。

幾つかの実施形態においては、各ピクセルが、ピンフォトダイオード（pinned photodiode）４０６を備える。ピンフォトダイオードは、リセットトランジスタ４０７を介してリセット可能であり、露光期間に亘る光生成電荷の蓄積が許容され、電荷が一時的な保持のためにトランスファーゲート４０８を介してフローティングディフュージョンノード４１２に伝わる。フローティングディフュージョンノードでの電圧Ｖ_FDが、トランスコンダクタ４０９を制御して電圧信号に比例する電流源を提供する。ピクセル制御ライン４０５の状態に依存し、ピクセルからの電流がトランジスタ４１０又は４１１を介して列上の全ピクセルに共通の２つの電流出力ラインの一つに切り替えられる。結果的には、列出力電流が、選択されたピクセルからの電流の単純な合計を示すが、実際には追加の要因がある。より現実的な推定が、読み出し回路ブロックにより導入されるオフセットとゲインエラー及びトランスコンダクタ４０９により導入される非リニアエラーを含み、次のとおりである。

ここで、ａ、ｂ、及びｃが、

のための２次の調整係数であり、Ｖ_FDがピクセルのフローティングディフュージョン４１２に保持された電圧である。その係数は、トランジスタ（Ｖ_dd、Ｖ₀₊及びＶ_0-）の動作点に依存する。係数ａ、ｂ、及びｃは、全てのピクセルにとっておおよそ等しいが、幾らかの不適合を考慮する必要があろう。

各列の電圧Ｖ₀₊及びＶ_0-が、両方の電流コンベヤーを用いて固定される。幾つかの実施形態においては、電流コンベヤーが、単一のＰＭＯＳトランジスタに基づき、ここで、

である。

電流コンベヤー４０１が、電流Ｉ_ccでバイアスされ、安定要求(settling requirements)を遂行するのに必要な最小速度を確証する。正及び不のブランチが、カレントミラー４０３を用いてバランスされ、電流コンパレータ４０４を用いて符号（sign）が取得される。イメージ列が列出力ラインを流れる過剰数の明るいピクセルを持つことにより生じるブレイクオフ（break-off）問題を避けるために電流リミッター４０２が設けられる。

本発明の別の側面は、観測Ｙ_tの行が、幾つかの実施形態においては、イメージ信号Ｘ_tの一時的発達と同時に生成され、観測Ｙ_tの各行ベクトルが、ピクセルリセットとサンプリングの間の時間間隔に亘りイメージセンサーのピクセルに統合されるため、イメージ信号Ｚ_tの一時的な状態の標本である。大半の実施形態においては、観測Ｙの各要素ｙ_i,jが、効果的に、sign(.)の関数により標準化される。しかしながら、本発明の背景技術において説明したように、信号と観測ベクトルの間の関係を考えれば、観測Ｙが、次のように、準化信号ベクトルＭの合計に基づくものと概念化できる：

上述のコンセプトの公式化が、Ｚ_t列ベクトルの要素が、イメージセンサーの固有信号記憶装置が飽和した後においても、大きさに関し、それらの相対的な関係を保持する傾向があることを示す。この挙動は、イメージセンサーのピクセルらがそれらのリニア範囲でまだ動作している時、観測Ｙ_tの幾つかの有限パーセントが、ある時間周期に亘り生成されるとの事実から直感的に理解される。

図８は、本発明の側面に即した拡大されたダイナミックレンジ取得を図示するタイミング図である。タイミング図が、トリガー信号ＴＲＩＧ、８４１、リセット信号ＲＳＴ、８４２、及び選択信号ＳＥＬ、８４３を含む。フォトダイオードがリセットされると、もしフォトダイオードのトランスファーゲートがあるイメージのＭサンプルの過程でアクティブに維持されるならば、サンプリング行列φの各ベクトルが、進行的に高い露光時間に関連したイメージ信号に適用される。

トリガー信号が、センサーによるイメージの取得の開始を示す。リセット信号が、センサーにおけるピクセルのフローティングディフュージョンノードをリセットする。選択信号が、センサーの選択されたピクセルの出力を選択する。図８に図示のように、選択信号が、様々な選択ピクセルからＭサンプルを取得し、時刻ｔ₁で開始し、時刻ｔ_mまで継続する、８４５。時刻ｔ₁は、リセット信号がローになった幾らか後であり、十分な露光時間、また従って電荷蓄積時間を許容し、ピクセルが有効な応答を獲得する。時間要求が、T_{exp_min}、最小露光時間として図示される、８４４。ピクセルが、ｔ₁からｔ_mまでの期間に亘り露光され続ける。従って、１からｍへの、概して各後続のサンプリング時間の間、ピクセルが、増加した露光の持続期間を持ち、効果的に、センサーのダイナミックレンジが向上する。

幾つかの実施形態においては、サンプルの取得及び電荷の蓄積が、例えば、図８のタイミング図に図示のように同期して生じ、観測のためのＭサンプルがリセット信号の適用の間で取得される。他の実施形態においては、観測のためのＭサンプルの取得が、Ｍサンプルが取得される期間内でのリセット信号の適用で中断され、電荷蓄積期間が、観測のためのサンプルが取得される期間に非同期である。

本発明の幾つかの実施においては、観測ストリームを処理するために、図５に示したものに類似のアーキテクチャーを有する並列処理装置が設けられる。図５は、本発明の側面に即した処理アーキテクチャーのブロック図である。

図５は、観測入力バッファー５０１；観測処理バッファー５０２；基底関数バッファー５０４；（観測レジスタ５０３、乗算器５０５、合算交点５０６、及び蓄積レジスタ５０７を含む）行列乗算器５００を含む。また、図５のプロセッサーには、部分合計レジスタ５０８；部分合計バッファー５０９；信号平均化プロセッサー５１０；信号再構成行レジスタ５１１；信号再構成行バッファー５１２；ピーク検出プロセッサー５１３；信号パラメーターレジスタ５１４及び出力バッファー５１５が含まれる。

動作においては、入力する観測ストリームが、観測入力バッファー５０１に書き込まれる。フルフレーム時間観測Ｙ_tが入力バッファー５０１で利用可能である時、それが観測処理バッファー５０２に伝送される。ここで考える実施においては、観測ビットの行が、処理のために一度に一行、観測バッファー５０２から観測処理バッファー５０３に伝送される。バッファー５０８においてｗ_i,tの各要素を生成するため、バッファー５０２の観測Ｙの各列ｙ_jの各ビットが、次のように、一つの列ベクトルθ_j,h,kの対応のビットにより乗算される：

である。

レジスタ５１１の再構成された信号行ベクトル

が、行列乗算器５００の出力ｗ_i,tを２つの前回のフレーム時間ｗ_i,t-1及びｗ_i,t-2からの対応の行で合算することにより信号平均化プロセッサー５１０に生成され、次に、図２ａ及び図２ｂに関して先述したように、カーネルαでコンボリューションする。そのようなイメージ平均化機能の効率的な実施のための方法が、高速デジタルイメージ処理の分野の当業者にはよく知られている。

ピーク検出プロセッサー５１３が、関心対象物に対する照明平面の交差点に関連するオフセットパラメーターを推定することにより、バッファー５１２に記憶された再構成信号の行を処理する。再構成信号

が、空間フィルタリング関数Ψにより処理された元のイメージ信号Ｘの推定である。空間フィルタリング関数Ψは、幾つかの実施形態においては、行に関するイメージ信号の第１導関数の中央差分近似である。そのようなフィルターされたイメージ信号Ｚ＝ΨＸからオフセットを抽出する既知の方法が、再構成イメージの各列上のローカル最小及び最大値を求めて記憶し、近隣の最小／最大値ペアを組にして関心点を求め、差分大きさの順に各列で関心点を分類し、そしてこれらの関心点ＰのＰ_xＮ₂行オフセット座標からオフセット座標ベクトル

を生成するステップを含む。追加のステップが、サブピクセルパラメーターを推定するための補間や関心対象物の表面に関する前回の推定に整合しない点を除去するための座標のセットの除去を含む。そのようなピーク検出機能の効率的な実施のための方法が、マシーンビジョンの分野の当業者には良く知られている。

幾つかの実施形態においては、信号Ｚのより正確な近似が、基底関数

と観測Ｙに基づいて為し得る。

図７は、よりイメージ信号

の正確な近似を連続的に生成する方法を図示する。図７は、フローチャート７００と例示の図示７５０を含む。フローチャート７００は、７０１：再構成されたイメージバッファーを初期化する、７０２：再構成イメージを空間的にフィルタリングする、７０３：再構成エラーを計算する、７０４：再構成エラーをテストする、７０５：信号勾配を計算する、７０６：新しい構成イメージをストレージバッファー７０７に生成する、７０８：ストレージバッファー７０７から最終結果を読み出すステップを含む。

フローチャート７００の再構成方法が、図示７５０の補助で次のように説明できる：
７０１．元の観測ベクトルＹが、観測空間から信号空間へ変更され、信号Ｚ₁の第１近似を生成する。
７０２．信号Ｚ₁の第１近似がフィルターされて第２近似Ｚ₂（図示せず）を生成する。フィルタリングは、信号の関連情報を保持し、他方、再構成のノイズを低減する目的で信号のリニア又は非リニア変換を含む。
７０３．第２近似Ｚ₂が、観測ドメインへ変換して戻され、第２観測ベクトルを生成し、これが元の観測ベクトルＹから減じられて、観測勾配（measurement gradient）ｄＹを生成する。
７０４．もし観測勾配

の大きさが十分に小さいのであれば、信号

の現在の第１近似信号が、信号Ｚの最適な近似であると報告される。
７０５．７０４で失敗すれば、観測勾配ｄＹが信号空間へ変換され、信号勾配ｄＺを生成する。
７０６．信号勾配ｄＺの信号Ｚ₂の第２近似に加えられ、信号Ｚ₁の第１近似を生成し、再構成プロセスがステップ７０２に戻る。

フローチャート７００の方法が、イメージ信号Ｚの事前知識、端的には、情報内容が信号の次元に比べて小さいという知識に基づく。信号の第１近似は、７０１で計算されるように、希薄信号とサンプリングノイズ、及び複雑さを増すと想定される他のノイズを含むように想定される。７０２のフィルタリングプロセスは、元の信号で予期される情報内容又は希薄さのレベルへの信号近似を制限するように構成される。第２信号近似が元の信号と同一の希薄さを有し得るが、実際に元の信号に十分に近く、十分に正確な近似を示すとの保証はない。元の信号Ｚが不知であるため、近似Ｚ₂の精度をテストする直接的な方法がない。しかしながら、間接的な方法があり、それは、信号の近似を観測空間へ変換して戻し、正確に知られている観測ベクトルに対する距離を計算する。（発明の従来技術において説明したように）観測空間における距離と信号空間における距離の間に既知の関係があるため、観測空間の勾配ベクトルから、信号空間の勾配ベクトルが、事実上、元の信号の方向で指すことが推論可能である。信号勾配ベクトルを現在の近似に加えることにより、元の信号に近い新しい信号近似を生成する。フィルタリング、勾配の生成及び適用の上述のプロセスが、サンプリング関数の精度の制限が超えたことを示す、フィルターされたイメージから生成された観測ベクトルが実際の観測ベクトルに十分に近づく、若しくは観測空間に生成された勾配ベクトルが小さくなることをやめるまで繰り返される。

圧縮センシング文献においては、上述と類似の知られた方法が、Ｋが特定の基底における信号の既知の希薄さである、Ｋ係数を除く全てのゼロイング（zeroing）方法により再構成信号をフィルタリングするプロセスを参照して命名されたＢＩＨＴ（Binary Hard Thresholding）を含む。このフィルタリング方法が有効であるかもしれないが、実際には、効率的に実施することは難しい可能性がある。幾つかの用途においては、Ｚ₁に適用される単純なメジアンフィルターが、より複雑な係数打ち切りの複雑な方法と同じ役割を果たし、より簡単に実施され、また元のイメージ信号の希薄さＫの正確な知識若しくは閾値プロセスを適用する最大限の圧縮基礎（若しくはその調査のため）の知識に依存しない。

様々な実施形態に関して本発明を説明したが、発明が、この開示により基礎づけられる新規で非自明な請求項を含むものと理解されるべきである。

Claims (5)

1. 行及び列に区分される複数のピクセルエレメントを含むピクセルアレイにして、前記ピクセルエレメントそれぞれが光センサーを備えるピクセルアレイ；
   複数の異なるピクセルサブセットの一つに属する各行のピクセルエレメントにして、各ピクセルサブセットに属する各行のピクセルエレメントが、その行のためのそのピクセルサブセットのピクセルエレメント用の制御信号を受信するための共通の制御配線を有し、各ピクセルエレメントの制御信号を受信するための前記共通の制御配線が、２ビット情報の第１情報を示す制御信号を受信するための第１制御配線と、前記２ビット情報の第２情報を示す制御信号を受信するための第２制御配線を含む、各行のピクセルエレメント；
   ピクセルエレメントの各列におけるピクセルエレメントであって、その列について第１出力配線上に第１列出力信号及び第２出力配線上に第２列出力信号それぞれを提供するための共通の出力配線を有し、前記第１列出力信号が、前記２ビット情報の第１情報を示す各制御信号を受信し、個別の第１制御配線に選択的に結合されるその列の２以上のピクセルエレメントに蓄積された光エネルギーに依存し、前記第２列出力信号が、前記２ビット情報の第２情報を示す各制御信号を受信し、個別の第２制御配線に選択的に結合されるその列の異なる２以上のピクセルエレメントに蓄積された光エネルギーに依存する、ピクセルエレメントの各列におけるピクセルエレメント；及び
   前記ピクセルアレイの列に一対一の対応で結合したコンパレータのアレイにして、各コンパレータが、前記ピクセルアレイにおけるその対応の列からの第１及び第２列出力信号の相対的な大きさを示す１ビット値を出力する、コンパレータのアレイを備える、イメージセンサー。
   
   
2. 幾つかの前記制御信号を生成するために用いられる情報を記憶するために前記ピクセルアレイの一つの側の周辺に配置される第１記憶素子；及び
   他の前記制御信号を生成するために用いられる情報を記憶するために前記ピクセルアレイの別の側の周辺に配される第２記憶素子を更に備える、請求項１に記載のイメージセンサー。
3. 前記第１記憶素子及び前記第２記憶素子は、それぞれ、記憶セルのアレイを含み、各記憶セルが、前記２ビット情報のためのストレージを含む、請求項２に記載のイメージセンサー。
4. 各行について、第１ピクセルサブセットのピクセルエレメントが、少なくとも一つの他のピクセルサブセットのピクセルエレメントにより分離される、請求項１に記載のイメージセンサー。
5. ピクセルエレメントの各列が、同一のピクセルサブセットに属するピクセルエレメントのみを含む、請求項１に記載のイメージセンサー。

Images