JP5910740B2 - 射影空間監視のための方法および装置 - Google Patents

Description

関連出願の相互参照
本出願は、米国特許法第１１９（ｅ）条に基づいて、２０１１年７月５日に出願され特許出願第６１／５０４，６０８号を割り当てられた米国仮特許出願、および２０１１年１０月１４日に出願され特許出願第６１／５４７，２５１号を割り当てられた米国仮特許出願による優先権を主張するものであり、これらの出願はいずれも参照により本明細書に組み込まれる。

技術分野
本発明は、一般に、マシンビジョンに関し、特に、機械防護または他の物体侵入検知状況で使用されるような射影空間監視に関する。

マシンビジョンシステムは、さまざまな用途で活用されており、エリア監視が適例である。物体が規定領域に侵入したことを監視することは、危険機械防護などの「エリア防護」用途の重要項目である。機械防護に関連して、物理的障壁、インターロックシステム、安全マット、ライトカーテン、および飛行時間レーザスキャナ監視の使用などのさまざまな手法が知られている。

マシンビジョンシステムは、機械防護のための上記手法の１つまたは複数を補完するものとして、または連携して使用され得、エリア防護のための、ほぼ間違いなく、より良く、より柔軟な解決策でもある。それらいくつかの利点において、マシンビジョンシステムは、３次元境界の中で機械の周辺と複雑な空間移動を監視することができ、平面ライトカーテン境界は、非実用的、もしくは安全に構成するために非常に複雑である可能性があり、または、そのような防護設備は、機械動作を妨げる可能性がある。

他方で、マシンビジョンシステムを確実に適切に動作させることは、特に、最小検知機能および最大（物体）検知応答時間の動的で継続的な検証に関して、安全性が重要となる用途において困難である。これらの種類の検証は、確実なフェールセーフ障害検知に加えて、危険機械防護および他の安全性が重要となる用途のためにマシンビジョンシステムを使用する場合、重要な課題となる。

本明細書で示す教示の一態様によれば、マシンビジョンシステムは、１つまたは複数のセンサユニットを備え、１つまたは複数のセンサユニットのそれぞれが、有利には、１組の相隔たる画像センサ間で異なるペアリングを使用し、一次監視領域に対して重複する物体検知をもたらすよう構成され、一方、一次監視領域を遮蔽する可能性のある物体の検知を同時にもたらす。さらに、複数の「緩和策」および機能拡張により、設計安全性および堅実な動作を提供する。そのような緩和策および機能拡張には、例えば、不良画素検知ならびにマッピング、物体検知を改善するためのクラスタベース画素処理、欠陥検知のためのテスト画像投入、安全性が重要な物体検知のための二重チャネル重複処理、検知失敗を減らすための時間的フィルタリング、および可変である周辺光状況にわたって動作を改善するための高ダイナミックレンジ（ＨＤＲ）画像の使用がある。

例示的な構成において、射影空間監視装置は、（少なくとも）４つの画像センサ、例えば、４台のカメラを含むセンシングユニットを備える。画像センサは、それぞれ、一般に一次監視領域と重なるセンサ視野域を有し、さらに画像センサは、第１および第２の画像センサが、第１の一次ベースラインを規定する間隔を有する第１の一次ベースラインペアを形成し、第３および第４の画像センサが、第２の一次ベースラインを規定する間隔を有する第２の一次ベースラインペアを形成するよう配置される。さらに、画像センサは、第１および第３の画像センサが、第１の二次ベースラインを規定する間隔を有する第１の二次ベースラインペアを形成し、第２および第４の画像センサが、第２の二次ベースラインを規定する間隔を有する第２の二次ベースラインペアを形成するよう配置される。一次ベースラインは、二次ベースラインよりも長い。

さらに、センサユニットは、一次ベースラインペアから取得した画像データを使用して、一次監視領域内の物体を重複して検知するよう構成された画像処理回路を備え、例えば、画像センサの各一次ベースラインペアが、立体視画像ペアからの３Ｄレンジデータを判断する立体視処理チャネルに立体視画像を供給する。画像処理回路はまた、二次ベースラインペアから取得した画像データを使用して、遮蔽物体を検知するよう構成される。一次監視領域に対し、１つまたは複数のセンサ視野域を遮断する場合、その物体は「遮蔽物体」である。

当然、本発明は、上記の特徴および利点に限定されない。実際に、当業者は、以下の詳細な説明を読み、さらに添付図面を見ることで、さらなる特徴および利点を認識するであろう。

制御ユニットおよび１つまたは複数のセンサユニットを備える射影空間監視装置の一実施形態のブロック図である。 センサユニットの一実施形態のブロック図である。 センサユニットにおける一組の４つの画像センサ間での、一次および二次ベースラインペアを確立するための例示的な幾何学的配置のブロック図である。 センサユニットにおける一組の４つの画像センサ間での、一次および二次ベースラインペアを確立するための例示的な幾何学的配置のブロック図である。 センサユニットにおける一組の４つの画像センサ間での、一次および二次ベースラインペアを確立するための例示的な幾何学的配置のブロック図である。 例示的なセンサユニットにおける画像処理回路の一実施形態のブロック図である。 例えば、図４の画像処理回路において実現される機能処理ブロックの一実施形態のブロック図である。 例示的なセンサユニットのセンサ視野域によって規定されるさまざまな領域の図である。 射影空間監視のために指定された最小検知距離の内側である限定距離領域（ＺＬＤＣ）を示す図であり、さらに、一次監視領域のいずれかの側での側面遮蔽領域（Ｚｏｎｅ ｏｆ Ｓｉｄｅ Ｓｈａｄｏｗｉｎｇ）（ＺＳＳ）を示す図である。 射影空間監視のために指定された最小検知距離の内側である限定距離領域（ＺＬＤＣ）を示す図であり、さらに、一次監視領域のいずれかの側での側面遮蔽領域（ＺＳＳ）を示す図である。 センサユニットのための例示的な構成の図であり、画像センサおよびそれらの各視野域を含む。

図１は、射影空間監視装置１０の例示的な実施形態を示し、射影空間監視装置１０は、例えば、１つまたは複数個の危険機械装置（図示せず）を含有する３次元空間領域を備える一次監視領域１２の画像ベース監視を提供する。射影空間監視装置１０（以後、「装置１０」と称する）は、画像ベース監視システムを作動させ、人または他の物体が一次監視領域１２内に侵入することを防ぐ。

領域１２の限界範囲は、以下でより詳細に説明するが、関連したセンサ視野域１４との共通の重複部分によって規定されることに留意されたい。概して、装置１０は、画像処理および立体視技術を使用して、人または物体が防護対象の３次元（３Ｄ）領域内に侵入したことを検知するよう構成される。なお、防護対象の３次元（３Ｄ）領域は、防護対象の「エリア」と称する場合もある。典型的な用途は、これらに限定されるものではないが、エリア監視、および周辺防護である。エリア監視の例では、頻繁にアクセスされるエリアは、ライトカーテンもしくは他の機構によって防護される入口点を有する堅固な防護物によって部分的に囲まれ、装置１０は、二次防護システムの役目を果たす。同様に、周辺防護の例では、装置１０は、頻繁にアクセスされない非防護対象のエリアを監視する。

当然、装置１０は、両方の役割を同時に満たすか、または状況の変化に応じてモードを切り替えることが可能である。また、装置１０は、関連した機械装置もしくはそれらの電源システムへの信号接続を備え得、および／または工場制御ネットワークなどに接続し得ることが理解されるであろう。

意図した用途を広範囲に補完するために、装置１０は、図示の例示的な実施形態において、１つまたは複数のセンサユニット１６を備える。各センサユニット１６はまた、「センサヘッド」と称され、複数の画像センサ１８を備える。画像センサ１８は、センサユニット１６の本体またはハウジング内に固定され、それにより、視野域（ＦＯＶ）１４全体が、通常、重複し、一次監視領域１２を３Ｄ区域として規定する。当然、以下で説明するように、１つまたは複数の実施形態における装置１０により、利用者は、一次監視領域１２内に複数の監視領域もしくは３Ｄ境界範囲を設定することができ、例えば、一次監視領域１２内の３Ｄ範囲に基づいて危険領域ならびに／もしくは警告領域を設定することができる。

センサユニット１６のそれぞれは、制御ユニット２０に、ケーブルまたは他のリンク２２を介して接続される。一実施形態において、リンク２２は、「ＰｏＥ」（Ｐｏｗｅｒ−ｏｖｅｒ−Ｅｔｈｅｒｎｅｔ（登録商標））リンクであり、電力をセンサユニット１６に供給し、センサユニット１６と制御ユニット２０との間の通信または他の信号伝達をもたらす。センサユニット１６および制御ユニット２０は協働し、領域１２内の（または、領域１２のいくつかの構築された小領域内の）物体を検知する。少なくとも１つの実施形態において、各センサユニット１６は、他のセンサユニット１６から独立して監視機能を実行し、安全なＥｔｈｅｒｎｅｔ（登録商標）接続、もしくは他のリンク２２を通じて、監視状態を制御ユニット２０に通信する。次に、制御ユニット２０は、各接続されたセンサユニット１６からの監視状態を処理し、この情報を使用して、構成可能で安全な入力および出力に従って、機械装置を制御する。

例えば、図示の実施形態では、制御ユニット２０は、例えば、１つまたは複数のマイクロプロセッサ、ＤＳＰ、ＡＳＩＣ、ＦＰＧＡ、もしくは他のデジタル処理回路である制御回路２４を備える。少なくとも１つの実施形態において、制御回路２４は、制御回路２４内のデジタルプロセッサによって実行されるコンピュータプログラムを格納するメモリまたは別のコンピュータ可読媒体を備え、少なくとも部分的に、本明細書の教示に従って、制御ユニット２０を構成する。

さらに、制御ユニット２０は、何らかの入力／出力（Ｉ／Ｏ）回路を備え、入力／出力（Ｉ／Ｏ）回路は、モジュール方式で、例えば、モジュール式Ｉ／Ｏユニット２６で配置してもよい。Ｉ／Ｏユニット２６は、回路状に備えてもよく、または、所与のＩ／Ｏユニット２６は、所与の種類のインターフェース信号を対象とし、例えば、ネットワーク通信用、ある種の制御信号伝達用などとしてもよい。機械防護用途のため、少なくとも１つのＩ／Ｏユニット２６は、機械安全制御のために構成され、Ｉ／Ｏ回路２８を備え、Ｉ／Ｏ回路２８は、安全リレー出力（ＯＳＳＤ Ａ、ＯＳＳＤ Ｂ）を提供して、センサユニット１６によって検知された物体侵入に応答して危険機械を無効にするか、そうでなければ停止する。同じ回路はまた、モード制御信号および起動信号（ＳＴＡＲＴ、ＡＵＸなど）を提供可能である。さらに、制御ユニット自体は、通信、状態信号伝達などに対して、「グローバル」Ｉ／Ｏの範囲を提供可能である。

物体検知機能の点から、装置１０は、主として、立体視技術により、その（共通の）視野域に存在する物体の３Ｄ位置を発見する。この目的を達成するために、図２は、４つの画像センサ１８を備える例示的なセンサユニット１６を示し、本明細書では、明瞭にするために、画像センサ１８−１、１８−２、１８−３、１８−４と個々に番号を付ける。センサユニット１６内の個々の画像センサ１８の視野域１４は、すべて部分的に重複しており、すべての視野域１４によって共通に重複される領域は、先に生じた一次監視領域１２を規定する。

本体もしくはハウジング３０は、複数の「ベースライン」を規定する相隔たる配置で個々の画像センサ１８を固定する。ここで、「ベースライン」という用語は、画像ペアを取得するために使用される画像センサ１８のペアリング間の間隔を定義する。図示の構成において、２つの「長い」ベースラインと２つの「短い」ベースラインとが見られるが、本明細書では、「長い」および「短い」という用語は、相対的な意味で使用される。長いベースラインは、画像センサ１８の第１のペアの間の間隔によって規定される第１の一次ベースライン３２−１を備え、ここで、第１のペアは、画像センサ１８−１、１８−２を備え、長いベースラインは、さらに、画像センサ１８の第２のペアの間の間隔によって規定される第２の一次ベースライン３２−２を備え、ここで、第２のペアは、画像センサ１８−３、１８−４を備える。

同様に、短いベースラインは、画像センサ１８の第３のペアの間の間隔によって規定される第１の二次ベースライン３４−１を備え、ここで、第３のペアは、画像センサ１８−１、１８−３を備え、短いベースラインは、さらに、画像センサ１８の第４のペアの間の間隔によって規定される第２の二次ベースライン３４−２を備え、ここで、第４のペアは、画像センサ１８−２、１８−４を備える。この点に関して、同じ組の４つの画像センサ１８の組合せを変えることで、異なるペアリングの画像センサ１８として動作し、それらのペアリングを、関連するベースラインおよび／またはそれらの使用方法によって変えてもよいことが理解されるであろう。

第１および第２の一次ベースライン３２−１、３２−２は、同等でも、または、異なる長さでもよい。同様に、第１および第２の二次ベースライン３４−１、３４−２は、同等でも、または、異なる長さでもよい。限定するものではないが、例示では、最も短い一次ベースライン３２は、最も長い二次ベースライン３４の二倍以上の長さである。汎用性に関する他の点として、他の幾何学的配置を使用して、一次および二次ベースラインペアとして動作させるために、４つの画像センサ１８の分布を得ることができる。図３Ａから図３Ｃを参照して、所与のセンサユニット１６における画像センサ１８の例示的な幾何学的配置を示す。

一次および二次ベースラインペアを確立するために必要とされる物理的構成とは別に、センサユニット１６は、ベースラインペアリング定義に従い画像センサ１８を論理的に動作させるようそれ自身が構成され、その結果、それら定義に従い画像ペアを処理することを理解すべきである。この点に関して、再び図２に示す例を参照すると、センサユニット１６は、１つまたは複数の画像処理回路３６を備え、画像処理回路３６は、画像センサ１８のそれぞれから画像データを取得し、その画像データを処理し、そのような処理、例えば、物体の侵入を検知したことを制御ユニット２０に知らせることなどの結果に応答するよう構成される。

さらに、センサユニット１６は、制御ユニットインターフェース回路３８、電力供給／制御回路４０、および、任意選択的に、テクスチャ付き光源４２を備える。ここで、テクスチャ付き光源４２は、パターン化された光を一次監視領域１２に投射する、またはより一般的には、搭載した画像センサ１８の視野域１４に投射する、センサユニット１６に対する機構を提供する。

「テクスチャ」という用語は、本明細書では、任意の所与の画像センサ１８の視野域内における画像コントラストの局所変化を意味する。テクスチャ付き光源４２は、各センサユニット１６と一体化してもよく、またはセンサユニット１６と別々に電力供給され、センサユニット１６と近接して設置してもよい。いずれの場合でも、人工的なテクスチャのソースを装置１０に組み込むことは、合成テクスチャを、任意の所与の画像センサ１８の視野域１４内の低テクスチャ領域に加えるという利点をもたらす。すなわち、３Ｄ測距をサポートするための十分な自然テクスチャの無い領域を、テクスチャ光源４２によってもたらされる合成追加されたシーンテクスチャで照らし、センサ視野域１４内を正確および完全に３Ｄ測距することができる。

画像処理回路３６は、例えば、１つまたは複数のマイクロプロセッサ、ＤＳＰ、ＦＰＧＡ、ＡＳＩＣ、または他のデジタル処理回路を備える。少なくとも１つの実施形態において、画像処理回路３６は、コンピュータプログラム命令を格納するメモリもしくは他のコンピュータ可読媒体を備え、それらのコンピュータプログラム命令を実行することで、センサユニット１６を、画像処理および本明細書で開示した他の動作を実行するよう少なくとも部分的に設定する。当然、他の構成も考慮され、例えば、画像処理および３Ｄ解析のある部分はハードウェア（例えば、ＦＰＧＡ）で実行され、ある他の部分は、１つまたは複数のマイクロプロセッサで実行される。

上記のベースライン構成を考慮に入れ、装置１０は、一次監視領域１２といずれも重複する各センサ視野域１４を有し、第１および第２の画像センサ１８−１、１８−２が、第１の一次ベースライン３２−１を規定する間隔を有する第１の一次ベースラインペアを形成し、第３および第４の画像センサ１８−３、１８−４が、第２の一次ベースライン３２−２を規定する間隔を有する第２の一次ベースラインペアを形成するよう配置された、（少なくとも）４つの画像センサ１８を備える少なくとも１つのセンシングユニット１６を備えることを理解されよう。

図示のように、さらに、画像センサ１８は、第１および第３の画像センサ１８−１、１８−３が、第１の二次ベースライン３４−１を規定する間隔を有する第１の二次ベースラインペアを形成し、第２および第４の画像センサ１８−２、１８−４が、第２の二次ベースライン３４−２を規定する間隔を有する第２の二次ベースラインペアを形成するよう配置される。一次ベースライン３２は、二次ベースライン３４よりも長い。

さらに、センサユニット１６は、一次ベースラインペアから取得した画像データを使用して一次監視領域１２内で物体を重複して検知するよう構成され、二次ベースラインペアから取得された画像データを使用して遮蔽物体を検知するようさらに構成された画像処理回路３６を備える。すなわち、センサユニット１６の画像処理回路３６は、第１の一次ベースラインペアによって取得された画像データの立体視画像処理を介して導出されたレンジデータ内に、または、第２の一次ベースラインペアによって取得された画像データの立体視画像処理を介して導出されたレンジデータ内に、そのような物体が存在することを検知することによって、一次監視領域１２内の物体を重複して検知するよう構成される。

したがって、物体は、画像センサ１８−１、１８−２から取得した画像ペアを立体視処理して取得した（３Ｄ）レンジデータを識別すること、および／または画像センサ１８−３、１８−４から取得した画像ペアを立体視処理して取得した（３Ｄ）レンジデータを識別することで検知される。その際、第１および第２の画像センサ１８−１、１８−２は、第１の「立体視ペア」とみなされ、第１および第２の画像センサ１８−１、１８−２から取得した画像ペアに適用される画像補正および立体視処理は、第１の立体視「チャネル」とみなされ得る。

同様に、第３および第４の画像センサ１８−３、１８−４は、第２の立体視ペアとみなされ、第３および第４の画像センサ１８−３、１８−４から取得した画像ペアに適用される画像処理および立体視処理は、第１の立体視チャネルから独立した第２の立体視チャネルとみなされ得る。したがって、２つの立体視チャネルは、一次監視領域１２内で、物体を重複して検知する。

ここで、一次監視領域１２は、センサユニット１６が一次ベースラインペアを使用して物体を検知するセンサユニット１６からの最小範囲を意味する最小検知距離で境界付けられることに留意されたい。さらなる利点として、一次ベースラインペアを使用して重複して物体を検知することの信頼性および安全性に加え、二次ベースラインペアを使用して遮蔽物体を検知する。すなわち、第１の二次ベースラインペアとしての画像センサ１８−１、１８−３からの画像データの論理的ペアリングならびに処理、および第２の二次ベースラインペアとしての画像センサ１８−２、１８−４からの画像データの論理的ペアリングならびに処理を使用して、最小検知距離内に有る、および／または４つすべてのセンサ視野域１４内に無い物体を検知する。

概して、「遮蔽物体」は、一次監視領域１２に対し、１つまたは複数のセンサ視野域１４を遮断する。少なくとも１つの実施形態において、センサユニット１６の画像処理回路３６は、各二次ベースラインペアに対して、二次ベースラインペアにおける画像センサ１８によって取得された画像データ間の輝度を検知することによって、または、二次ベースラインペアにおける画像センサ１８によって取得された画像データの立体視画像処理から生成したレンジデータを評価することによって、遮蔽物体を検知するよう構成される。

遮蔽物体の検知は、多くの潜在的に危険な状況に対応し、それらの状況には以下のものが含まれる。すなわち、ＺＬＤＣもしくはＺＳＳ内の小物体が立体視によって検知されず、一次監視領域１２内の物体を遮蔽する可能性のある人為的な侵入と、光学面の汚損が立体視によって検知されず、一次監視領域１２内で物体を遮蔽する可能性のあるスポット汚損と、強力な指向性ライトにより画像センサ１８上に複数の内部反射をもたらす可能性があり、コントラストを低下させ、検知能力の低下をもたらす可能性のあるゴーストと、画像センサ１８の光学面にわずかな異物が混入し、指向性ライトがグレアをもたらす可能性があり、コントラストを低下させ、検知能力の低下をもたらす可能性のあるグレアと、画像センサ１８内の個々の画素の感度が変化することにより、検知能力の低下がもたらされる可能性のある感度変化がある。

一時的に図８を参照すると、一次ベースラインペア内の左側および右側の画像センサ１８の間で接角が存在することで、図示のような最終構成を設ける。これらの接角は、遮蔽物体検知の基礎を提供し、例示的構成では、所与の二次ベースラインペアにおける１つの画像センサ１８から取得した画像間での輝度の著しい差を探すことに基づき、その同じ二次ベースラインペアにおける他の画像センサ１８から取得した対応する画像と比較することで、画像処理回路３６はＺＬＤＣ内で遮蔽物体検知を実行する。著しい輝度差により、近接する物体の存在を報知する。というのも、そのような小さなベースラインの場合、より遠隔の物体が引き起こすのは非常に小さな差異となるためである。

基本的な画像輝度差は、画像の関連ペアにおける一方の画像（画像１）の各画素を解析し、何らかの閾値（ｔｈ）内で、他方の画像（画像２）の輝度整合に対し所与の検索窓全体を検索することによって計算される。整合しない場合、その差異が検索窓のサイズより大きく、画素が「異なるもの」としてフラグ付けされるため、画素は一定の範囲よりも近いものに属することを意味する。したがって、画像差は、２値である。

遮蔽物体による画像差は、二次ベースライン３４−１または３４−２の一方を使用して取得した画像ペア内で生じた差異に基づくため、物体がベースラインと整列し、危険領域を貫通する場合、結果として差異は発見されない。準水平線検知に基づくさらなる貫通物体検知アルゴリズムを使用して、基本的な画像差アルゴリズムよって確実には検知されない角度、例えば、＋／−１５度内の物体を検知する。

さらに、遮蔽物体が大きい、および／または非常に近接している場合（例えば、画像センサ１８の視野域１４を完全に覆っている場合）、検知可能な水平線をもたらさない可能性さえある。

しかしながら、この状態は、基準マーカーベースの緩和策を使用して検知される。というのも、１つまたは複数の実施形態における装置構成要件は、少なくとも１つの基準マーカが、セットアップ／検証段階中、一次監視領域１２内で視認可能でなければならないことを必要とするためである。

ＺＬＤＣを越えているが、一次監視領域１２の外側にある物体の検知に関し、画像センサ１８の接角は、一次監視領域１２のいずれかの側のＺＳＳを実質的に削除するように設定可能である。さらに、またはあるいは、画像処理回路３６は、物体検知のための短距離立体視手法を使用し、二次ベースラインペアを使用して、視野域の非常に限定された部分にわたって、適切な画像境界でのみ物体を検知する。

また、上記のように、いくつかの実施形態において、各センサユニット１６内の画像センサ１８は、高露出画像フレームおよび低露出画像フレームを含む画像フレームを取得するよう構成される。例えば、画像処理回路３６は、個々の画像センサ１８の露出時間を動的に制御するよう構成され、その結果、画像取得は、より長い露出時間およびより短い露出時間の使用の間で変化する。さらに、画像処理回路３６は、少なくとも一次ベースラインペアによって取得される画像フレームに対して、対応する高露出画像フレームおよび低露出画像フレームを融合して、高ダイナミックレンジ（ＨＤＲ）画像を取得し、各一次ベースラインペアから前記ＨＤＲ画像のストリームを立体視処理するよう構成され、一次監視領域内の物体を重複検知する。

例えば、画像センサ１８−１は、低露出画像フレームおよび後続の高露出画像フレームを生成するよう制御され、これら２つのフレームは、第１のＨＤＲ画像を取得するために組み合わされる。通常は、２つ以上の異なる露出フレームを、ＨＤＲ画像を生成するために組み合わせることができる。この処理は、連続する取得間隔にわたって繰り返され、その結果、第１のＨＤＲ画像のストリームをもたらす。同じ取得間隔の間、画像センサ１８−２は、第２のＨＤＲ画像のストリームを生成するために組み合わされる低露出画像フレームおよび高露出画像フレームを生成するよう制御される。任意の所与の取得間隔からの第１および第２のＨＤＲ画像は、（場合によっては、立体視処理の前にさらなる前処理をした後）立体視処理される、対応するＨＤＲ画像ペアを形成する。他の立体視チャネルにおけるＨＤＲ画像ペアの同様のストリームは、第２の一次ベースラインペア（すなわち、画像センサ１８−３、１８−４）を介して取得される。

追加の画像前処理も行ってよい。例えば、いくつかの実施形態において、各立体視チャネルからのＨＤＲ画像ペアは平行化されており、その結果、一次ベースラインペアに含まれる画像センサにおける対応する光軸が平行であり、エピポーラ線が、平行化画像における対応する画像行であるエピポーラ幾何に対応する。

両立体視チャネルからのＨＤＲ画像ペアは、平行化され、次いで、画像処理回路３６に含まれるステレオ画像処理プロセッサ回路によって処理される。ステレオ画像処理プロセッサ回路は、立体視対応付けアルゴリズムを実行して、各立体視チャネルにおける画像センサ１８によって取得された平行化画像内の対応するシーンポイント間の差異を計算し、前記差異に基づき、画像センサ１８の位置に対するシーンポイントの３Ｄ位置を計算するよう構成される。

より詳細には、例示的なセンサユニット１６は、２つの立体視チャネルにまとめられた４つの画像センサ１８を備え、画像センサ１８−１、１８−２を備える第１の一次ベースラインペアによって示される一方のチャネルでは、第１の一次ベースライン３２−１と称される第１の距離によって隔てられ、画像センサ１８−３、１８−４を備える第２の一次ベースラインペアによって示される他方のチャネルでは、第２の一次ベースライン３２−２と称される第２の距離によって隔てられる。

各画像センサ１８からの複数の未処理画像は、画像センサ１８の視野域１４によって取り込まれるシーンの高ダイナミックレンジ画像を生成するよう共に構成される。立体視チャネルごとの高ダイナミックレンジ画像は、対応する光軸が並列であり、エピポーラ線が対応する画像行であるエピポーラ幾何に対応するように平行化される。平行化画像は、立体視対応付けアルゴリズムを実行して、対応するシーンポイント間の差異を計算し、それにより、センサユニット１６の所与の位置に対するこれらのポイントの３Ｄ位置を計算する上述のステレオ画像処理プロセッサ回路によって処理される。

その際、一次監視領域１２は、画像センサ１８の共通の視野域（ＦＯＶ）によって限定される３Ｄ射影空間である。差異検索窓の最大サイズは、立体視対応付けによって計測可能な最短距離を限定し、したがって、一次監視領域１２の最短許容範囲を限定する。この距離はまた、「検知能力の限界領域（Ｚｏｎｅ ｏｆ Ｌｉｍｉｔｅｄ Ｄｅｔｅｃｔｉｏｎ Ｃａｐａｂｉｌｉｔｙ）」（ＺＬＤＣ）と称される。同様に、一次監視領域１２内に含まれる最大距離は、装置１０に対するエラー耐性によって限定される。

一次ベースラインペアからの画像は、一次監視領域１２内の物体の表面上の３Ｄポイントに対応する、一次監視領域１２に対する３Ｄポイントのクラウドを生成するよう処理される。さらに、この３Ｄポイントクラウドは、データ圧縮、クラスタリングおよびセグメンテーションアルゴリズムにより解析され、定義された最小サイズの物体が、一次監視領域１２に入ったかどうかを判断する。当然、一次監視領域１２は、装置１０の処理論理の構成により、異なるレベルの警告、および、安全性が重要ではない警告領域ならびに安全性が重要な危険領域を含む異なる数ならびに種類の監視領域を備えてもよい。

図１に示す例示的な分散アーキテクチャにおいて、制御ユニット２０は、１つまたは複数のセンサユニット１６からの命令信号を処理し、それに対応して、１つまたは複数の機械、例えば、一次監視領域１２における危険機械を制御するか、またはセンサユニット１６によって検知された侵入に関する他の信号伝達もしくは状態情報をもたらす。制御ユニット２０もまた、センサユニット１６に、制御ユニット２０とセンサユニット１６との間の通信リンク２２を介して電力を供給するが、センサユニット１６もまた、例えば、利用者がＰｏＥ接続を使用することを望まない場合に、別個の電力入力を有してもよい。さらに、図示しないが、「エンドスパン」ユニットを、制御ユニット２０とセンサユニット１６の所与の１つとの間に中継ぎとして接続し、センサユニット１６、Ｉ／Ｏ拡張などの局所的電力供給のために提供することが可能である。

エンドスパンユニットが装置に組み込まれようとそうでなかろうと、制御ユニット２０のいくつかの実施形態は、「領域選択」をサポートするよう構成され、制御ユニット２０の“ＺＯＮＥ ＳＥＬＥＣＴ”入力のセットに適用されるデータまたは信号パターンは、装置１０の実行時間中に、センサユニット１６によって監視される３Ｄ境界を動的に制御する。監視領域は、装置１０に対する設定処理の間にセットアップされる。特定のセンサユニット１６によって監視するよう設定されたすべての領域は、同時に監視され、制御ユニット２０は、侵入状態を、センサユニット１６から、制御ユニット２０内の選択されたＩ／Ｏユニット２６に関連づける。センサユニット１６ならびにそれらの領域および制御ユニット２０内の特定のＩ／Ｏユニット２６との間のマッピングは、設定処理中に規定される。さらに、制御ユニット２０は、制御ユニットを故障状態から回復するための完全システムリセットを可能にするグローバルＲＥＳＥＴ信号入力をもたらし得る。

安全性に直結する監視用途でそれらを使用するために、１つまたは複数の実施形態におけるセンサユニット１６は、ある種の設計安全性を組み込む。例えば、ＩＥＣ６１４９６−３によるＴｙｐｅ３安全デバイスに対する基本要件は、以下の項目を含む。（１）単一の故障により、その製品が安全ではない方法で故障する可能性はない。なお、そのような欠陥は、システムの特定の検知応答時間内に防がれる、もしくは検知される、かつ対応されなければならない。（２）故障が蓄積されることにより、その製品が安全ではない方法で故障する可能性はない。なお、安全性に直結する欠陥につながる故障の蓄積を防ぐために、バックグラウンド試験が必要である。

一次監視領域１２内の物体を検知するために使用される二重立体視チャネルは、２つのチャネルからの処理結果が一致するかの比較に基づき、単一故障要件に対処する。２つのチャネルの間の差異は、一方または両方のチャネルにおける異常を示す。装置１０の検知応答時間内でのそのような差異をチェックすることによって、装置１０は、すぐに、安全エラー状態に移行することができる。あるいは、物体検知のためのより保守的な手法をとることもでき、いずれかの一次ベースラインペアからの検知結果が機械の停止を引き起こし、一次監視領域１２を安全に保つことができる。２つの一次ベースラインペアの間の不一致が、より長い期間（例えば、数秒から数分）にわたって残る場合、異常を検知することができ、装置１０は、安全エラー（故障）状態に移行することができる。

追加の動的な欠陥検知および自己診断機能を装置１０に組み込んでもよい。例えば、いくつかの実施形態において、センサユニット１６の画像処理回路３６は、両方の立体視チャネルから取得した画像ペア、すなわち、画像センサ１８−１、１８−２の第１の一次ベースラインペアから取得した画像ペア、および画像センサ１８−３、１８−４の第２の一次ベースラインペアから取得した画像ペアの立体視処理を実行するよう構成された単一の立体視処理回路を備える。立体視処理回路、すなわち「ＳＶＰ」は、例えば、ＡＳＩＣ、または高速で立体視画像処理タスクを実行する他のデジタル信号プロセッサである。

ＳＶＰにおける故障状態は、応答時間サイクルにつき一度、ＳＶＰに投入される、特別なテストフレームを使用して検知される。テスト入力に対応するＳＶＰ出力は、予期した結果と比較される。テストフレームは、ＳＶＰのすべての安全性に直結する内部機能をテストするために特別に構成される。

ＳＶＰおよび／または画像処理回路３６は、他の緩和策も組み込んでもよい。例えば、画像処理回路３６は、未処理画像および平行化画像の両方を使用して、画像センサ１８内の「不良」画素を識別する。画像処理回路３６は、画像センサ１８から取得したような未処理画像を使用して、雑音画素、スタック欠陥画素、もしくは低感度画素を識別し、バックグラウンドで関連した不良画素テストを実行する。テスト画像フレームは、不良画素検知に使用してもよく、３種類のテスト画像フレーム、すなわち、（ａ）センサユニット１６が典型的な照明状態で動作する場合、暗雑音レベルに非常に近くなる平均画素輝度を生成する非常に低い露光時間に対応する画像取り込みである、低露光テストフレーム（ＬＩＴＦ）、（Ｂ）少なくとも３つの異なる露出間隔の１つに対応する画像取り込みである、高露光テストフレーム（ＨＩＴＦ）、（ｃ）画像フレームを画像センサ１８から取得するために使用される回路にテストパターンを投入する、デジタルテストパターンフレーム（ＤＴＰＦ）が考えられる。各種類における１つのテスト画像は、応答時間サイクルごとに取り込んでもよい。このようにして、各種類における多くのテスト画像を、指定されたバックグラウンドテストサイクル（数分から数時間）にわたって収集および解析してもよい。

さらなる緩和策には、（ａ）多くのＬＩＴＦのセットを使用する画素データの時系列変動を、最大閾値と比較する、雑音画素検知、（ｂ）多くのＬＩＴＦおよびＨＩＴＦのセットを使用する画素データの同じ時系列変動を、最小閾値と比較する、スタック欠陥画素検知（高または低）、（ｃ）画素輝度の応答を測定し、いくつかの露出レベルでＨＩＴＦに対する予期した応答と比較する、低感度画素検知、（ｄ）既知のデジタルテストパターンの画像処理を、予期した結果と比較し、画像処理回路の適切な動作をチェックする、不良画素対処検知、（ｅ）白飛び画素、黒潰れ画素、および遮蔽画素、つまり、正確な相関のために不適切と見なされる画素がこの範疇に入り、そのようなテストは、ランタイム画像データを使用して、フレームごとに実行することができる、平行化画像からの不良画素識別、（ｆ）画素を、画像センサ１８の適切なダイナミックレンジに対応する高閾値および低閾値と比較する、ダイナミックレンジテスト、がある。

上記の機能は、例えば、図４に示すように、センサユニット１６の画像処理回路３６の一実施形態に対して、ハードウェアとソフトウェアとをベースとした回路構成を組み合わせたものを使用して実現される。上述のＳＶＰは、複数の交差接続されたプロセッサ回路、例えば、画像プロセッサ回路４０２−１、４０２−２（画像プロセッサ）および制御プロセッサ回路４０４−１、４０４−２（制御プロセッサ）と共に、ここでは、ＳＶＰ４００とする。非限定の例において、画像プロセッサ４０２−１、４０２−２はＦＰＧＡであり、制御プロセッサ４０４−１、４０４−２は、マイクロプロセッサ／マイクロコントローラデバイス、例えば、ＴＥＸＡＳ ＩＮＳＴＲＵＭＥＮＴＳ ＡＭ３８９２マイクロプロセッサである。

画像プロセッサ４０２−１、４０２−２は、メモリ、例えば、ＳＤＲＡＭデバイス４０６を備えるか、または関連づけられ、メモリは、画像センサ１８からの画像フレームを処理するための作業メモリとして働く。これらは、各制御プロセッサ４０４−１、４０４−２によって起動もしくはリセットされるよう構成可能であり、各制御プロセッサ４０４−１、４０４−２は、作業メモリ（例えば、ＳＤＲＡＭデバイス４０８）を備えるか、もしくは関連づけられ、フラッシュデバイス４１０内に起動／構成データを備える。

各画像プロセッサ４０２間および各制御プロセッサ４０４間に見られる交差接続は、画像センサ１８の第１および第２の一次ベースラインペアを使用して、一次監視領域１２の二重チャネル重複監視をもたらす。この点に関して、「左側」の画像センサ１８−１、１８−３が、画像プロセッサ４０２−１および画像プロセッサ４０２−２に結合されていることが分かる。同様に、「右側」の画像センサ１８−２、１８−４は、画像プロセッサ４０２の両方に結合される。

さらに、機能タスクの分割の例において、画像プロセッサ４０２−１および制御プロセッサ４０４−１は、システムタイミングを確立し、Ｅｔｈｅｒｎｅｔ（登録商標）インターフェースであってもよい、制御ユニット２０への物理（ＰＨＹ）インターフェース３８をサポートする。制御プロセッサ４０４−１はまた、ＳＶＰ４００を構成する役割を果たし、画像プロセッサ４０２−１は、ＳＶＰのホストインターフェースへのゲートウェイの役目を果たす。制御プロセッサ４０４−１はまた、画像センサ１８を構成するバスインターフェースを制御する。さらに、画像プロセッサ４０２−１はまた、同じバスへの接続を含み、露出制御動作を実行する場合に、より高い精度を提供する。

また、制御プロセッサ４０４−２および画像プロセッサ４０２−２は、上記の動作に対し、重複処理チャネルを形成する。この役割では、画像プロセッサ４０２−２は、画像プロセッサ４０２−１のクロック生成および画像データインターリーブを監視する。この理由により、両方の画像プロセッサ４０２は、すべての画像センサ１８の画像データを出力するが、画像プロセッサ４０２−１だけは、画像センサクロックおよび同期信号を生成する。

画像プロセッサ４０２−２は、スタック欠陥画素検知アルゴリズムおよび雑音画素検知アルゴリズムを重複して実行し、ＳＶＰホストインターフェースから取り込んだデプスデータを使用して危険領域違反を重複してクラスタ化する。最終的に、画像プロセッサ４０２−２および制御プロセッサ４０４−２からのエラー検知アルゴリズム、クラスタリング、および物体追跡結果は、画像プロセッサ４０２−１および制御プロセッサ４０４−１からのそれらを正確に反映しなければならず、または、画像処理回路３６は、欠陥を宣言し、装置１０全体を作動して、動作の欠陥状態を入力させる。

各画像プロセッサ４０２は、ＳＤＲＡＭデバイス４０６と共に動作し、高ダイナミックレンジ融合、雑音画素統計、ＳＶＰテストフレーム、危険領域、および診断のために取り込んだビデオフレームなどの全画像フレームに対してバッファされたデータをサポートする。これらの外部メモリはまた、実装された場合、画像プロセッサ４０２に、画像平行化または多解像度解析を実行させる。

各制御プロセッサ４０４とそのそれぞれの画像プロセッサ４０２との間のインターフェースは、ＰＣＩ−ｅｘｐｒｅｓｓまたはＳＡＴＡ型シリアルインターフェースなどの高速シリアルインターフェースである。

あるいは、それらの間には、マルチビットパラレルインターフェースを使用することができる。どちらの手法でも、画像処理回路３６は、ＳＶＰ４００の制御のため、およびデプスの出力ならびに平行化画像データへのアクセスのために、ＳＶＰ４００の「ホストインターフェース」を使用する。ＳＶＰ４００のホストインターフェースは、画像取り込み速度に対応した速度ですべての所望の出力を転送するのに十分速く動作するよう設計される。

さらに、プロセッサ間連絡チャネルにより、２つの重複制御プロセッサ４０４は、互いの動作を同期し続ける。制御プロセッサ４０４−１は、ＰＨＹインターフェース３８を制御するが、装置１０の実行／停止状態の最終決定をすることはできない（例えば、一次監視領域１２内の危険機械の実行／停止状態を制御する）。代わりに、制御プロセッサ４０４−２はまた、制御プロセッサ４０４−１が、ＰＨＹインターフェース３８を介して制御ユニット２０に転送する特定の機械実行アンロックコード（または、同様の値）を生成する必要がある。次いで、制御ユニット２０は、センサユニット１６の２つの重複チャネルが正しい機械状態に一致するかどうかの最終判断を行う。したがって、例えば、制御ユニット２０は、センサユニット１６の二重の重複チャネルからの状態指示に従い、適切な実行／停止状態へのＯＳＳＤ出力の実行／停止状態を設定する。あるいは、センサユニット１６は、他の例示的な実施形態において、センサユニット１６の２つの重複チャネルが正しい機械状態に一致するかどうかの最終判断を自身で行うことができる。

制御プロセッサ４０４−１、４０４−２の間のプロセッサ間インターフェースはまた、センサユニット構成および制御プロセッサ４０４−２に対するプログラムイメージを更新するための方法を提供する。代替の手法には、２つの制御プロセッサ４０４の間で単一のフラッシュデバイスを共有することがあるが、その構成は、２つのプロセッサ４０４の起動手順を適切にサポートするための追加回路が必要となる可能性がある。

一般命題として、画素レベルの処理動作は、画像プロセッサ４０２に対してバイアスされ、画像プロセッサ４０２を実装するための高速でＦＰＧＡベースのハードウェアを使用することが、この構成を補完する。しかしながら、いくつかの実施形態において、制御プロセッサ４０４に、ある画素レベル処理動作を実行するよう要求する、何らかのエラー検知アルゴリズムが用いられる。

しかしながら、ここでも、画像プロセッサ４０２は、単数または複数の所与の画像フレーム内の注目「窓」を示すことができ、注目窓に対応する画素データのみを制御プロセッサ４０４に送り、処理することができる。そのような手法もまた、画像プロセッサ４０２および制御プロセッサ４０４の間のインターフェース間のデータレートを減らす助けとなり、制御プロセッサ４０４に対する必要なアクセスおよびメモリ帯域幅要件を減らす。

画像プロセッサ４０２−１がＳＶＰ４００に対するインターリーブされた画像データを生成するので、テスト画像フレームをＳＶＰ４００に投入し、適切に動作させるためにＳＶＰ４００をテストするよう構成することも可能である。その場合、画像プロセッサ４０２−２は、テストフレームおよびＳＶＰ４００からの結果の出力を監視する。画像プロセッサの設計を簡単にするために、画像プロセッサ４０２−２は、ＳＶＰ４００に投入されるテストフレームの独自の重複コピーを保持するのではなく、投入されたテストフレームのＣＲＣをチェックするだけのために構成することが可能である。

いくつかの実施形態において、画像処理回路３６は、可能な限り、画像プロセッサ４０２が必要な画素ごとの演算を実行するよう構成され、一方、制御プロセッサ４０４は、高レベルな浮動小数点演算を扱う。処理機能の割り当てに関してさらに詳細には、以下の機能分割を使用する。

画像センサのタイミング発生のために、１つの画像プロセッサ４０２がすべてのタイミングを発生し、他の画像プロセッサ４０２が、そのタイミングを検証する。制御プロセッサ４０４の１つが、タイミングパラメータを、タイミング発生画像プロセッサ４０２に送り、他の画像プロセッサ４０２のタイミング検証を実行する画像プロセッサ４０２によって生成されたタイミング測定値を検証する。

ＨＤＲ画像融合のために、画像プロセッサ４０２は、ＨＤＲ融合機能を使用して、低および高センサ露出を使用して取得された画像ペアをバッファかつ組み合わせる。制御プロセッサ４０４は、画像プロセッサ４０２に、ＨＤＲ融合機能のために必要なセットアップ／構成データ（例えば、トーンマッピングおよび重み付けアレイ）を提供する。あるいは、制御プロセッサ４０２は、画像フレームレジスタ構成を交互に入れ替え、短／長露出パターンを実現する。

画像平行化機能のため、画像プロセッサ４０２は、画像センサ１８から取得した未処理の画像データから生じたような、平行化された歪みのない画像データを補間する。それに対応して、制御プロセッサ４０４は、平行化された歪みのない画像データを取得するために使用される校正および平行化パラメータを生成する。

画像プロセッサ４０２の１つは、ＳＶＰ４００に対して設定インターフェースを提供する。さらに、画像プロセッサ４０２は、平行化画像をＳＶＰ４００に送り、対応するデプスマップ（画像画素に対する３Ｄレンジデータ）をＳＶＰ４００から取り込む。代替の対応アルゴリズム、例えば、正規化相互相関（ＮＣＣ）を使用して、画像プロセッサ４０２は、さらに、必要に応じて、副画素補間の精度を修正することが可能である。制御プロセッサ４０４は、画像プロセッサ４０２の１つによって提供されるゲートウェイを使用して、ＳＶＰ４００を設定する。

クラスタリングに対し、画像プロセッサ４０２は、前景画素および「緩和」画素をクラスタ化し、そのような各クラスタに対する統計を生成する。それに対応して、制御プロセッサ４０４は、検知された物体が、侵入警告、安全直結シャットダウンなどを作動させるかどうかを評価するために使用される実際の３Ｄ範囲を規定する、例えば、警告境界、安全直結境界などの、一次監視領域１２に対する保護境界を生成する。

物体の残存に対し、制御プロセッサ４０４は、時間的フィルタリング、動き追跡、および物体スプリット−マージ機能を実行する。

不良画素検知演算に対し、画像プロセッサ４０２は、不良画素に対する画素ごとの統計および補間データを維持する。制御プロセッサ４０４は、任意選択的に、工場出荷時の欠陥リストを画像プロセッサ４０２にロードする。工場出荷時の欠陥リストは、例えば、画像センサ１８を製造中にテストすることを可能にし、その結果、不良画素を、マップもしくは他のデータ構造内で検知かつ記録することができ、その結果、画像プロセッサ４０２に、既知の不良画素について知らせることができる。

露出制御演算に対し、画像センサ４０２は、グローバル輝度統計を収集し、露出タイミングを調整する。それに対応して、制御プロセッサ４０４は、露出制御パラメータを提供するか、または、任意選択的に、フレームごとの比例・積分・微分（ＰＩＤ）もしくは露出のための同様のフィードバック制御を実現する。

ダイナミックレンジ演算に対し、画像プロセッサ４０２は、ダイナミックレンジ緩和ビットを生成する。それに対応して、制御プロセッサ４０４は、ダイナミックレンジ限界を、画像プロセッサ４０２にもたらす。

遮蔽物体検知演算に対し、必要であれば、画像プロセッサ４０２は、追加の変換画像を作り出し、例えば、各二次ベースラインペアにおける２つの画像センサ１８によって取得された画像データ間の画像差を検知するための画素マッチング検索を実施する。例えば、画素マッチング検索を使用して、画像センサ１８−１によって取得された画像データと、画像センサ１８−３によって取得された画像データとを比較する。ここで、それら２つのセンサ１８−１、１８−３は、第１の二次ベースラインペアを備える。同様の比較は、画像センサ１８−２、１８−４を備える、第２の二次ベースラインペアによって取得された画像データ間でも行われる。遮蔽物体検知演算のサポートのために、制御プロセッサ４０４は、限界および／または他のパラメータを、画像センサ４０２に提供する。

基準マーカ検知アルゴリズムに対し、画像プロセッサ４０２は、歪みのない画像を作り出し、画像データ内の基準マーカ全体にＮＣＣ検索を実施し、ベストマッチを見出す。制御プロセッサ４０４は、ＮＣＣの結果を使用して、平行化画像に対する校正および焦点距離補正を計算する。制御プロセッサ４０４はまた、窓内画素エリアに（集中して）帯域幅チェックを実行してもよい。基準マーカ緩和アルゴリズムのいくつかの他の態様はまた、平行化画像を必要とする可能性がある。

いくつかの実施形態において、ＳＶＰ４００は、画像平行化を実行してもよいが、画像処理回路４０２で画像平行化を実行することの利点もあるであろう。例えば、そのような処理は、画像プロセッサ４０２によって実行される他の演算を補完するので、画像プロセッサ４０２内に存在する方がより自然であるかもしれない。例えば、画像センサの不良画素マップ（スタック欠陥または雑音）は、画像データと同じ方法で平行化されなければならない。画像プロセッサ４０２が、すでに画像データに対する平行化を実施する必要がある場合、画像プロセッサ４０２が、不良画素マップを平行化し、画像および不良画素間での平行化に一貫性を保証することが意味をなす場合がある。

さらに、基準マーカ追跡は、少なくともある例において、平行化されていない歪みのない画像で最も有効に機能する。歪みを除去するための補間理論は、平行化と同様であり、そのため、画像プロセッサ４０２が歪みのない画像を作り出す場合、平行化を実行するために同様に設定された追加リソースを備えることが可能である。

さらに、遮蔽物体検知は、二次ベースライン３４−１、３４−２のそれぞれに対して少なくとも１つの追加画像変換を必要とする。ＳＶＰ４００は、これらの追加の平行化を行うためのスループットを有さない可能性があるが、画像プロセッサ４０２は、追加の処理を快適に対応することができる可能性がある。

画像プロセッサ４０２における最も画素ベースの処理の統合に有利な他の態様は、ＺＬＤＣに関する。ＺＬＤＣを縮小するための１つの可能な方法は、画像データの多解像度解析を使用することである。例えば、長さ寸法の２分の１に縮小された画像を、対応する「通常の」画像が入力された後に、ＳＶＰ４００に入力する。この構成は、ＳＶＰ４００によって実現される最大差異を３倍にする。

ＳＶＰ４００によって実行される立体相関処理（「立体視処理」と称する）の別の態様において、ＳＶＰ４００への入力は、未処理または平行化された画像ペアである。入力画像ペアに対するＳＶＰ４００の出力は各画素に対する深度（または、差異）値、相関スコアならびに／もしくはインタレスト演算子ビット、および平行化された画像データである。相関スコアは、相関の質に対応する数値であり、したがって、出力の信頼性に関する測定値を提供する。インタレスト演算子ビットは、問題の画素が、その相関スコアの特定の態様とともに満たされる必要のある所定の基準を満たしているかどうかの結果を提供する。

しかしながら、クラスタリング演算は、容易にパイプライン方式で実行され、したがって、画像プロセッサ４０２のＦＧＰＡベースの実施形態での実施に有利である。記載したように、クラスタリング処理は、前景画素を「クラスタ」に接続し、画像処理回路３６によって実施されるより高いレベルの全体的な物体検知アルゴリズムは、クラスタの画素の数、サイズ、および画素密度によって価値のある追跡になるかどうかを判断する。

画素グループがクラスタ化されると、データレートは、実質的に、全深度画像のストリームより少なくなる。この事実のため、および追跡物体の複雑さのため、物体の識別および追跡は、有利には、少なくとも、マイクロプロセッサまたはＤＳＰを使用して、制御プロセッサ４０４を実現する実施形態において、制御プロセッサ４０４で実行される。

不良画素検知の場合、画像処理回路３６は、高および低統合テストフレームのシーケンスを使用して、スタック欠陥（高／低）画素および雑音画素をチェックする。スタック欠陥画素緩和からの不良画素は、装置１０の検知応答時間内で更新され、一方、アルゴリズムは、雑音画素を検知するために複数のテストフレームを必要とする。これらのアルゴリズムは、画像センサ１８からの未処理の画像データを処理する。

スタック欠陥画素テストは、画像プロセッサ４０２において容易にサポートされる単純な検知アルゴリズムに基づくが、雑音画素テストは、アルゴリズムは単純であるが、画像フレーム全体に対する画素統計のバッファリングを必要とする。したがって、画像プロセッサ４０２がそのような処理を行う程度まで、画像プロセッサ４０２には、そのようなバッファリングのために適切なメモリが備わる。

さらに広範には、例示的なアーキテクチャにおいて、画像センサ１８からの未処理の画像データのみが、画像センサ１８から画像プロセッサ４０２に流れる。未処理の画像データは、画像プロセッサ４０２から制御プロセッサ４０４に流れる必要はない。しかしながら、記載したように、不良画像センサ画素は、画像画素として同じ平行化変換を受けなければならず、その結果、クラスタリングアルゴリズムにより、正しく平行化された画像の座標にそれらを適用することができる。この点に関して、画像プロセッサ４０２は、不良画素に対して、ＳＶＰ４００によって実行された同じ平行化マッピングを反映することができなければならない。

不良画素が識別された場合、それらの値は、隣接する「良」画素から補間された値と置き換えられる。この処理は、複数のスキャンラインの履歴を必要とするため、その処理は、パイプライン方式で実行することができ、画像プロセッサ４０２の任意のＦＰＧＡベースバージョンで実装するのに適切である。

不良画素検知のある態様は、アルゴリズム的に単純であるが、遮蔽物体検知は、多数の関連機能を備える。そのような機能には、（ａ）各二次ベースラインペアにおける画像センサ１８間の輝度比較、（ｂ）誤検知を抑制するための画像形態などの後処理演算、（ｃ）危険領域を越えて延在して上記の（ａ）を満たすまで続く均一な遮蔽物体を表すことができる水平線の検知がある。

基準マーカーベースのエラー検知アルゴリズムは、焦点の損失、コントラストの損失、画像センサ配置の損失、世界（３Ｄ座標）登録の損失、および１つまたは複数の他の画像センサエラーを含む多数の状況を検知するよう設計される。

図５は、上記の画像処理機能に関する「機能」回路または処理ブロックを示し、設定された境界に関連する情報などを任意選択的に有する、画像センサ１８の視野域１４に対応する出力映像を提供するための、映像出力回路４１２も任意選択的に含む。図５の例で提供される図示の処理ブロックは、画像プロセッサ４０２および制御プロセッサ４０４の間で分配されることが理解されるだろう。

そのことを念頭において、機能ブロックは、以下の要素を備えることが分かる。つまり、露出制御機能５００、不良画素検知機能５０２、不良画素平行化機能５０４、ＨＤＲ融合機能５０６、不良画素補間機能５０８、画像歪み補正および平行化機能５１０、立体相関およびＮＣＣ副画素補間機能５１２、ダイナミックレンジチェック機能５１４、遮蔽物体検知機能５１６、コントラストパターンチェック機能５１８、基準マーカ緩和機能５２０、領域ごとのクラスタリング機能５２２、物体残存および動きアルゴリズム機能５２４、ならびに欠陥／診断機能５２６を備える。これらの機能の１つまたは複数は、一次監視領域１２の二重チャネル監視に基づく重複物体検知に合わせて、重複して実行してもよいことに留意されたい。

画像取り込みは、「フレーム」と称する一連の連続的なタイムスライスで行われる。一例として、画像処理回路３６は、６０ｆｐｓのフレームレートで動作する。各ベースライン３２または３４は、画像センサ１８の１ペア、例えば、画像センサ１８−１、１８−２を備える第１のペア、画像センサ１８−３、１８−４を備える第２のペア、画像センサ１８−１、１８−３を備える第３のペア、および画像センサ１８−２、１８−４を備える第４のペアに対応する。

各ベースラインに対する未処理画像データは、同時に取り込まれる。雑音画素、スタック欠陥画素、または低感度画素は、未処理画像で検知され、不良画素マップを生成するために使用される。検知した欠陥画素信号は、通常の隣接画素を使用する補間方法を使用して補正される。この補正工程は、処理パイプラインのさらなる段階での欠陥画素への影響を最小にする。

高および低露出画像は、各ベースラインペアに対するシーケンスで取得される。したがって、画像フレームの各シーケンスは、高および低露出画像を交互に含む。画像ストリーム間の応答時間サイクルごとの１つまたは２つのフレームは、テスト目的のために用いられるものであり、「画像ストリーム」は、画像センサ１８の各ペアからの画像ごとのフレーム単位で流れる画像データに関する。

各画像センサ１８からの高および低露出フレームは、本明細書に記載されるＨＤＲ融合処理に従い、新しい画像に組み合わされる。結果としてのＨＤＲ画像は、拡張ダイナミックレンジを有し、高ダイナミックレンジ（ＨＤＲ）フレームと呼ばれる。ここで、ＨＤＲフレームレートは、６０Ｈｚで、対応するＨＤＲ画像を作り出すために異なる露出で取得した２つの未処理画像を必要とするため、３０Ｈｚであることに留意されたい。イメージャごとに１つの３０ＨｚＨＤＲ画像ストリームがあるか、またはベースラインごとに３０ＨｚＨＤＲ画像ペアがある。

さらに、画像は、光学的な歪みを補正するために前処理され、それらはまた、コンピュータビジョンにおいて「平行化」と称される変換を受ける。結果としての画像は、「平行化画像」または「平行化画像データ」と称される。参考として、機能ブロック５１０からのそのようなデータ出力が見られる。不良画素マップはまた、後に使用するために、平行化ブロック５０４で見られるように、同じ平行化変換を受ける。結果としての不良画素データは、クラスタリング処理の間に使用され得る画素重みを含む。

機能ブロック５１０からの平行化された画像データを使用して、多数のチェックを実行する。そのようなチェックには、画素を飽和閾値および不飽和閾値と比較し、それらの閾値から外れる場合に不良であるとフラグをたてる、ダイナミックレンジチェック、ならびに、物体がＺＬＤＣ内にあるかどうか、もしくは「側面遮蔽領域」（ＺＳＳ）内にあるかどうかを判断するために画像を解析する、遮蔽物体チェックがある。そのような物体は、もし存在する場合、１つまたは複数のセンサ視野域１４内に影を落とす可能性があり、事実上、センサユニット１６からその影の中にある可能性のある物体を見えなくする。遮蔽領域に対応する画素のグループは、「不良」としてフラグをたてられ、潜在的に危険な状態にあると識別される。

そのような動作は、遮蔽物体検知機能５１６において実行される。さらなるチェックには、不良コントラストパターンチェックがあり、ここで、画像は、範囲測定の結果を信頼性のないものとする可能性のあるコントラストパターンに対して解析される。テスト基準に満たない画素は、「不良」としてフラグをたてられる。同時に、平行化画像は、図５においてブロック５１２によって部分的に示された、ＳＶＰ４００に入力される。設計が単一のＳＶＰ４００に基づく場合、各一次ベースライン３２−１、３２−２に対するＨＤＲ画像フレームは、総計入力レート６０ＨｚでＳＶＰ４００に交互に入力される。そのため、一方のベースライン３２−１または３２−２に対するＨＤＲフレームは、他方のベースライン３２−１または３２−２に対して対応するＨＤＲフレームがＳＶＰ４００によって処理される間にバッファされる。レンジデータは、後処理され、低品質レンジポイントを発見かつ除去し、精度を徐々に改善し、次いで、規定した検知境界と比較される。

３Ｄレンジデータにより検知境界内に置かれる画素は、クラスタに分類される。不良画素も、直接識別されるか、もしくは画素重みの評価を通じて識別され、クラスタリング処理に含まれる。クラスタリング処理は、複数の検知境界に対して平行して実行することができる。検知されたクラスタのサイズは、最小物体サイズと比較され、最小物体サイズに合うもしくはそれを越えるクラスタは、多数のフレームにわたって追跡され、誤った検知失敗を抑制する。最小サイズの物体と合致する検知されたクラスタが、最小期間（すなわち、規定された数の連続フレーム）にわたって残る場合、その状況は、侵入として分類される。侵入情報は、他のテストから監視されたように、欠陥状態と一緒に、例えば、安全なＥｔｈｅｒｎｅｔ（登録商標）プロトコルを使用して、制御ユニット２０に送られる。

基準マーカ監視は、ブロック５２０で実行されるように、および光学欠陥に対する自己テストとして必要とされるように、物体検知処理と並行して、平行化された画像データを使用して実行される。基準マーカ監視タスクは、光学欠陥に対する診断機能を提供するだけでなく、熱ドリフトによる感度の小さな変動に対応して画像平行化に使用されるパラメータを調整するための機構も提供する。

さらに、背景テストおよび実行時間テストのセットは、センサユニット１６の状態を制御ユニット２０に通信するためにも使用される出力を提供する。さらなる処理には、ブロック５００に見られる、上記処理機能から独立して実行される露出制御アルゴリズムがある。露出制御アルゴリズムは、感度を調整することでライティング状況がゆっくりと変化することを補償することができ、さらに、テストフレーム期間の間、座標特定テストを可能にする。

上記の例示的なアルゴリズムが、堅実で安全なマシンビジョンシステムを生成するために有利に組み合わされるが、それらは、変更される可能性のある非限定的な例であると理解されるべきである。概して、一次監視領域１２に対する物体検知処理は、立体画像処理技術を使用して、３Ｄユークリッド距離を計測する。

したがって、二重ベースライン、遮蔽検知、および高ダイナミックレンジ作像の特徴は、すべて、基礎をなす立体画像処理技術をさらに向上させる。一次監視領域１２に対する二重ベースライン３２−１、３２−２は、第１および第２の立体視チャネルからの重複物体検知情報を提供する。第１の立体視チャネルは、第１のベースライン物体検知情報を取得し、第２の立体視チャネルは、第２のベースライン物体検知情報を取得する。第１のベースラインからの物体検知情報は、第２のベースラインからの物体検知情報と比較される。比較における不一致は、異常、もしくは故障状態を示す。

一次ベースライン３２が、一次監視領域１２における一次物体検知に使用される間、二次ベースライン３４は、センサユニット１６に近接する第１の物体が、センサユニット１６からより離れた第２の物体を視覚的に遮らないもしくは遮蔽しないことを確実にするよう実行される、遮蔽物体検知に使用される。これには、１つの画像センサ１８によって検知され、他の画像センサ１８によって検知されない物体を検知するために必要とされる処理能力を含む。

図６、図７Ａ、図７Ｂは、遮蔽物体検知、ならびにＺＬＤＣおよびＺＳＳ区域に関する有用な図を提供する。１つまたは複数の実施形態において、特に図６を参照すると、画像センサ１８−１、１８−２は、第１の立体視チャネルとして処理するための立体画像のペアをもたらす第１の立体視ペアとして動作し、画像センサ１８−３、１８−４は、第２の立体視チャネルとして処理するための立体画像のペアをもたらす第２の立体視ペアとして動作し、画像センサ１８−１、１８−３は、第３の立体視チャネルとして処理するための立体画像のペアをもたらす第３の立体視ペアとして動作し、画像センサ１８−２、１８−４は、第４の立体視チャネルとして処理するための立体画像のペアをもたらす第４の立体視ペアとして動作する。第１および第２のペアは、それぞれ、一次ベースライン３２−１、３２−２によって隔てられ、一方、第３および第４のペアは、それぞれ、二次ベースライン３４−１、３４−２によって隔てられる。

本明細書で上記したように、センサユニット１６の画像処理回路３６によって使用される一次物体測距技術は、合致する画素に対するエピポーラ線を介して検索し、画素差異に基づいて範囲を計算する、２つの異なる位置に設置された２つの画像センサ１８の間の立体相関である。

この一次物体測距技術は、少なくとも一次監視領域１２に適用され、図６は、第１および第２の立体視チャネルを使用して、一次監視領域１２内の物体を検知することを示す。すなわち、一次監視領域１２内の物体は、第１の画像センサ１８−１によって取り込まれた画像と第２の画像センサ１８−２によって取り込まれた画像とを関連づけることによって検知され（第１の立体視チャネル）、さらに、第３の画像センサ１８−３によって取り込まれた画像と第４の画像センサ１８−４によって取り込まれた画像とを関連づけることによって検知される（第２の立体視チャネル）。したがって、第１および第２の立体視チャネルは、一次監視領域１２内の物体に対して、重複した検知能力を提供する。

第３および第４の立体視チャネルを使用して、（１）ＺＬＤＣの内側である、および／または、（２）一方のＺＳＳ内である、センサ視野域１４を包囲する、二次監視領域を作像する。この点に関して、ＺＬＤＣ内にある所与の最小サイズの物体は、二次ベースラインペアのそれぞれによって取得される画像ペアで動作する差異ベースの検知アルゴリズムを使用して検知されるのに十分近いことを理解すべきである。しかしながら、これらの差異ベースアルゴリズムは、（物体が、すべてのセンサ視野域１４内に現れない）ＺＬＤＣ限界を超えるが一方のＺＳＳ内にある物体を検知することができない場合がある。というのも、観測された画像の不一致が、物体距離が増すにつれて減少するためである。２つのリスク緩和策の一方または両方を使用して、ＺＳＳ内の遮蔽物体検知を扱うことが可能である。

まず、図８に示すように、センサユニット１６は、画像センサ１８の接角が、ＺＳＳを最小にするように構成してもよい。次に、ＺＳＳ内の物体は、第１および第２の二次ベースラインペアによって取得された画像に対する立体相関処理を使用して検知することができる。すなわち、画像処理回路１６は、第１の画像センサ１８−１によって取り込まれた画像と第３の画像センサ１８−３によって取り込まれた画像とを関連づけるよう構成してもよく（第３の立体視チャネル）、さらに、第２の画像センサ１８−２によって取り込まれた画像と第４の画像センサ１８−４によって取り込まれた画像とを関連づけるよう構成してもよい（第４の立体視チャネル）。したがって、画像処理回路３６は、一次監視領域１２における物体検知のために、第１および第２の立体視チャネル（画像センサ１８の第１および第２の一次ベースラインペア）から取得した画像データに対して立体相関処理を使用し、ＺＬＤＣおよびＺＳＳにおける物体検知のために、第３および第４の立体視チャネル（画像センサ１８の第１および第２の二次ベースラインペア）から取得した画像データに対して輝度差ならびに立体相関処理のいずれかもしくは両方を使用する。

図７Ａ、図７Ｂの例で示すように、第３および第４の立体視チャネルを使用して、一次監視領域１２内で物体を遮蔽する可能性のある、二次監視領域内の物体を検知する。センサユニット１６の直前にあり、さらに一次監視領域１２のいずれかの側面にある区域は、一次ベースライン立体視チャネル、すなわち、一次ベースライン３２−１、３２−２に対応する第１および第２の立体視チャネルを使用する物体検知に使用することができない。

例えば、図７Ｂは、一次監視領域１２とセンサユニット１６との間にあり、すなわち、ＺＬＤＣ内にあり、場合によっては、一次監視領域１２内の物体を遮蔽する遮蔽物体“１”を示す。図において、一次監視領域１２内にあるが、１つまたは複数の画像センサ１８に対する遮蔽物体“１”によって遮蔽される一次監視領域１２の区域内にあるために検知されない可能性がある物体“Ａ”および“Ｂ”が見られる。

さらに、図７Ｂは、他の遮蔽例を示し、ここでは、物体“２”が、最小検知範囲を超えている（ＺＬＤＣ境界を超えている）が、一次監視エリア１２の一方の側面に位置する。言い換えると、物体“２”は、一方のＺＳＳ内にあり、したがって、同じ側の１つまたは複数の画像センサ１８に対する一次監視領域１２に影を落とす。したがって、一次監視領域１２内にあるが、物体“２”から投影された影の中にある物体“Ｃ”は、確実には検知されない可能性がある。

したがって、遮蔽物体が、一次監視領域１２における物体検知をもたらすのと同じ範囲の分解能では必ずしも検知されない可能性があるが、センサユニット１６が遮蔽物体を検知することは重要である。したがって、画像処理回路３６は、一次監視領域１２内の物体のフル分解能、重複検知のための一次物体検知機構と、ＺＬＤＣ内部の物体の存在を検知するための二次物体検知機構と、ＺＳＳ区域内の物体の存在を検知するための三次物体検知機構とを有するとみなされ得る。図８の例のように、左側と右側との間の接角の存在により、最終の画像センサ／ＦＯＶ構成を設ける。接角は、一次監視領域１２のいずれかの側面でのＺＳＳを除去するか、または大幅に減らすように設定してよく、その結果、側面遮蔽の危険性を減らすか、もしくは除去する。

ＺＬＤＣ区域に対する物体検知は、センサユニット１６の各側面に設置された隣接する画像センサ１８の間に何らかの大きな差があるかどうかを検知することに基づく。例えば、そのような処理には、画像センサ１８−１からの画像データと、画像センサ１８−３の画像データとの比較が含まれる。（同様の処理において、画像センサ１８−２と１８−４との間の画像データを比較する）。センサユニット１６の近くにあり、これらの近接配置された画像センサペアの１つから見えるところに物体がある場合、近傍内のそれぞれの画素輝度の単純な比較により、大きな差が明らかになる。そのような差は、他方の画像内の同じ位置に対応する所与の検索窓内部で輝度が一致しない一方の画像におけるそれらの点にフラグをたてることによって発見される。「一致」と判断する基準は、比較が各イメージャ内の平均ゲインおよび／または雑音レベルに影響されないようにするように設計される。

他の例として、二次（短）および一次（長）ベースライン長の間の関係は、それぞれをｔおよびＴとして、ｔ／Ｔ＝Ｄ／ｄと表すことができる。ここで、Ｄは、一次ベースラインの最大差異検索範囲であり、ｄは、画像差アルゴリズムの検索窓サイズである。

この方法は、ＺＬＤＣ区域の内側にある、および、そこに近接する物体を検知するために設計される。ＺＬＤＣ区域から離れた物体は、画像データ内の非常に小さな差異に対応し、したがって、近接配置されたセンサペアからの画像が比較された場合、そのような大きな差は生成されないだろう。ＺＬＤＣ境界を越えるが一次監視領域１２の１つの側面にある物体を可能な限り検知するために、近接配置されたセンサペアは、立体視ペアとして動作し、これらの対応する立体画像ペアは、対応するＺＳＳ区域内の物体のみを検索する方法で処理される。

当然、上記の物体検知処理のすべてまたはいくつかにおいて、ＨＤＲ画像の使用により、センサユニット１６は、より幅広い周辺光状態で機能することが可能となる。ＨＤＲ画像融合のための一実施形態の一例において、画像処理回路３６は、多数の演算を実行する。例えば、校正処理は、特徴づけ工程として使用され、インバース画像センサ応答関数（ＣＲＦ）を回復させ、ｇ：Ｚ→Ｒが製造段階で要求される。ｇの範囲は、（Ｚで表される）０から１０２３の範囲の１０ｂｉｔ（イメージャデータ分解能）整数である。範囲は、実数の集合Ｒである。

実行時間では、ＣＲＦを使用して、異なる（既知の）露出で取得された画像を組み合わせて、放射照度画像（ｉｒｒａｄｉａｎｃｅ ｉｍａｇｅ）Ｅを作り出す。ここから、回復した放射照度画像は、対数演算子を使用してトーンマッピングされ、次いで、ＳＶＰ４００によって処理するのに適切な、１２ｂｉｔ輝度画像に再マッピングされる。

ＣＲＦを回復するために、さまざまな異なる校正／特徴づけアルゴリズムが考えられる。例えば、Ｐ． ＤｅｂｅｖｅｃとＪ． Ｍａｌｉｋによる「Ｒｅｃｏｖｅｒｉｎｇ Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ Ｒａｄｉａｎｃｅ Ｍａｐｓ ｆｒｏｍ Ｐｈｏｔｏｇｒａｐｈｓ」ＳＩＧＧＲＡＰＨ１９９８およびＴ． ＭｉｔｓｕｎａｇａとＳ． Ｎａｙａｒによる「Ｒａｄｉｏｍｅｔｒｉｃ Ｓｅｌｆ Ｃａｌｉｂｒａｔｉｏｎ」ＣＶＰＲ１９９９を参照されたい。

いかなる場合でも、以下の擬似コードは、実行時間で実行されるような、例示的なＨＤＲ融合アルゴリズムの概要を示す。アルゴリズム入力は、ＣＲＦ ｇ、低露出フレームＩ_Ｌ、低露出時間ｔ_Ｌ、高露出フレームＩ_Ｈ、および高露出時間ｔ_Ｈを含む。対応するアルゴリズム出力は、１２ｂｉｔ放射照度画像Ｅである。

各画素ｐに対し、
ｌｎＥ（ｐ）＝［ｗ（Ｉ_Ｌ）（ｇ（Ｉ_Ｌ）−ｌｎｔ_Ｌ）］＋［ｗ（Ｉ_Ｈ）（ｇ（Ｉ_Ｈ）−ｌｎｔ_Ｈ）］／ｗ（Ｉ_Ｌ）＋ｗ（Ｉ_Ｈ）
であり、ここで、ｗ：Ｚ→Ｒは、重み付け関数（例えば、Ｇｕａｓｓｉａｎ、ｈａｔなど）である。本アルゴリズムは、ｌｎＥ（ｐ）→［０，４０９６］でマッピングを継続し、１２ｂｉｔ放射照度画像Ｅを取得する。ここで、オフセット演算およびスケーリング演算を含むことが理解されよう。

実行時間ＨＤＲ融合アルゴリズムは、画素ごとに独立して動作し、提案するＨＤＲスキームは、並列処理をサポートする本質的にはどんなプラットフォームへの実施にも適する。この理由により、画像プロセッサ４０２のＦＰＧＡベースの実施は、とりわけ有利となる。

当然、これらおよび他の実施詳細は、少なくともある程度は、性能要件および用途詳細により変えることができる。概して、本明細書では、一次監視領域１２といずれも重複する、それぞれのセンサ視野域を有する４つの画像センサ１８から画像データを取得することを含む、射影空間監視の方法を使用することを教示する。画像センサ１８は、第１および第２の画像センサ１８−１、１８−２が、第１の一次ベースラインを規定する間隔を有する第１の一次ベースラインペアを形成し、第３および第４の画像センサ１８−３、１８−４が、第２の一次ベースラインを規定する間隔を有する第２の一次ベースラインペアを形成するよう配置され、さらに、第１および第３の画像センサ１８−１、１８−３が、第１の二次ベースラインを規定する間隔を有する第１の二次ベースラインペアを形成し、第２および第４の画像センサ１８−２、１８−４が、第２の二次ベースラインを規定する間隔を有する第２の二次ベースラインペアを形成するよう配置され、ここで、一次ベースラインは、二次ベースラインよりも長い。

例示的な構成において、４つの画像センサは、左側の２つの画像センサ１８が第１の二次ベースラインの間隔で配置されて第１の二次ベースラインペアを形成し、右側の２つの画像センサ１８が第２の二次ベースラインの間隔で配置されて第２の二次ベースラインペアを形成するよう配置される。さらに、４つの画像センサ１８は、左側の一方の画像センサ１８が、右側の一方の画像センサ１８とペアにされて第１の一次ベースラインの間隔で配置される第１の一次ベースラインペアを形成し、一方、左側の他方の画像センサ１８が、右側の他方の画像センサ１８とペアにされて第２の一次ベースラインの間隔で配置される第２の一次ベースラインペアを形成するよう配置される。ここで、「左側」および「右側」は、相対的な用語であり、互いに比較的近接して配置される画像センサ１８の各ペアが存在するが、同時に、それらの各ペアは、互いに対してより長い間隔で配置されることを意味する。したがって、垂直配置を使用することができ、ここで、「左」および「右」という用語は、「上部」および「底部」と同等である。

図２に戻って参照すると、左側の一方の画像センサ１８−１は、右側の一方の画像センサ１８−２とペアとなり、第１の一次ベースライン３２−１の間隔で配置される第１の一次ベースラインペアを形成する。同様に、左側の他方の画像センサ１８−３は、右側の他方の画像センサ１８−４とペアとなり、第２の一次ベースライン３２−２の間隔で配置される第２の一次ベースラインペアを形成する。

画像センサのこの有利な物理的配置および画像センサからの画像データの関連した機能的ペアリングに基づいて、本方法は、一次ベースラインペアのそれぞれからの画像データの立体視処理に基づき、一次監視領域内の物体を重複して検知することを備える。さらに、本方法は、二次ベースラインペアのそれぞれからの画像データを処理することに基づいて遮蔽物体を検知することによって、遮蔽物体を原因とするリスクの有利な緩和策を備える。

とりわけ、開示した発明の変形例および他の実施形態が、前述の説明および関連した図面で提示した教示の利点を有することは、当業者には明らかである。したがって、本発明は、開示した特定の実施形態に限定されず、変形例および他の実施形態が、本開示の範囲に含まれることが意図されることが理解されよう。特定の用語を本明細書で使用したが、それらは、一般的で説明的な意味のみで使用され、限定する目的ではない。

Claims (27)

1. センシングユニットを備える射影空間監視装置であって、
   前記センシングユニットが、
   一次監視領域でいずれも重複するそれぞれのセンサ視野域を有し、第１および第２の画像センサが、第１の一次ベースラインを規定する間隔を有する第１の一次ベースラインペアを形成し、第３および第４の画像センサが、第２の一次ベースラインを規定する間隔を有する第２の一次ベースラインペアを形成するよう配置され、さらに、前記第１および前記第３の画像センサが、第１の二次ベースラインを規定する間隔を有する第１の二次ベースラインペアを形成し、前記第２および前記第４の画像センサが、第２の二次ベースラインを規定する間隔を有する第２の二次ベースラインペアを形成するよう配置され、前記一次ベースラインが前記二次ベースラインよりも長い４つの画像センサと、
   前記一次ベースラインペアのそれぞれから取得する画像データを使用して前記一次監視領域内の物体を重複して検知するよう構成され、さらに、前記二次ベースラインペアから取得する画像データを使用して遮蔽物体を検知するよう構成される画像処理回路とを備え、
   前記遮蔽物体が、前記一次監視領域に対して前記センサ視野域の１つまたは複数を遮断する、射影空間監視装置。
2. 前記一次監視領域は、前記センシングユニットが前記一次ベースラインペアを使用して物体を検知する前記センシングユニットからの最小範囲を意味する最小検知距離で境界付けられる、請求項１に記載の射影空間監視装置。
3. 前記センシングユニットの前記画像処理回路は、前記第１の一次ベースラインペアによって取得された画像データの立体画像処理を介して導出されたレンジデータ内に、または、前記第２の一次ベースラインペアによって取得された画像データの立体画像処理を介して導出されたレンジデータ内に、物体が存在することを検知することによって、前記一次監視領域内の物体を重複して検知するよう構成される、請求項１に記載の射影空間監視装置。
4. 前記センシングユニットの前記画像処理回路は、各二次ベースラインペアに対し、前記二次ベースラインペアにおける前記画像センサの１つから取得する画像内の個々の画素と、前記二次ベースラインペアにおける前記画像センサの他の１つによって取得される画像内において前記個々の画素に対応する近傍画素との間の輝度差を検知することによって、遮蔽物体を検知するよう構成される、請求項１に記載の射影空間監視装置。
5. 前記画像センサが、低露出画像フレームと高露出画像フレームとを含む画像フレームを取得するよう構成され、前記画像処理回路は、少なくとも前記一次ベースラインペアによって取得された前記画像フレームに対して、対応する低露出画像フレームと高露出画像フレームとを融合して、高ダイナミックレンジ（ＨＤＲ）画像を取得し、前記一次ベースラインペアのそれぞれから前記ＨＤＲ画像のストリームを立体的に処理し、前記一次監視領域内の物体を重複検知する、請求項１に記載の射影空間監視装置。
6. 各一次ベースラインペアが立体視チャネルを表し、各立体視チャネルからの前記ＨＤＲ画像は平行化されており、その結果、前記一次ベースラインペアに含まれる前記画像センサにおける対応する光軸が平行であり、エピポーラ線が前記平行化されたＨＤＲ画像における対応する画像行であるエピポーラ幾何に対応する、請求項５に記載の射影空間監視装置。
7. 前記画像処理回路は、立体視対応付けアルゴリズムを実行して、各立体視チャネルにおける前記画像センサによって取得された前記平行化されたＨＤＲ画像内の対応するシーンポイント間の差異を計算し、前記差異に基づき、前記画像センサの位置に対する前記シーンポイントの３Ｄ位置を計算するよう構成されるステレオ画像処理プロセッサ回路を備える、請求項６に記載の射影空間監視装置。
8. 前記画像処理回路が、前記画像センサから取得する未処理画像データから、平行化された歪み補正画像データを生成するよう構成され、さらに、前記未処理画像データで使用したのと同じ平行化および歪み補正アルゴリズムに従い変換される前記画像センサに対する不良画素マップを生成し、前記不良画素マップと前記平行化された歪み補正画像データとの間における平行化処理の一貫性を維持するよう構成された、請求項１に記載の射影空間監視装置。
9. 前記画像処理回路が、前記画像センサのそれぞれに対する対応する低露出画像フレームと高露出画像フレームとを融合することによって作り出される高ダイナミックレンジ（ＨＤＲ）画像データから前記平行化された歪み補正画像データを形成するよう構成される、請求項８に記載の射影空間監視装置。
10. 前記不良画素マップは、各画像センサに対し、前記画像センサから取得される未処理データから検知されるスタック欠陥画素もしくは雑音画素に関する指示を備え、さらに、前記画像処理回路は、各不良画素マップ内に、所与の画像センサに対して取得される前記平行化された歪み補正画像データ内の画素を飽和閾値と不飽和閾値とに対してチェックするダイナミックレンジテストで不適である画素に関する指示をさらに備えるよう構成される、請求項８に記載の射影空間監視装置。
11. 前記不良画素マップは、各画像センサに対し、前記画像センサから取得される未処理画像データから検知されるスタック欠陥画素または雑音画素に関する指示を備え、さらに、前記画像処理回路は、各不良画素マップ内に、前記画像処理回路によって実行されるコントラストチェックで不適である画素に関する指示をさらに備えるよう構成される、請求項８に記載の射影空間監視装置。
12. 前記画像処理回路は、それぞれが一次ベースラインペアを備える前記画像センサからの平行化された歪み補正画像データの立体視処理を実行し、前記歪み補正画像データの各画素に対応する３Ｄレンジデータを備える対応するデプスマップを生成するよう構成されるステレオ画像処理プロセッサを備え、さらに、前記画像処理回路は、前記デプスマップを使用して、１つまたは複数の規定された検知境界内にある画素のクラスタを検知し、任意の検知されたクラスタを規定された最小物体サイズと比較し、前記最小物体サイズに合致する任意の検知されたクラスタを追跡して１つまたは複数の時間的フィルタリング期間にわたって残るかどうかを判断し、残る場合、前記射影空間監視装置内にさらに含まれる制御ユニットに物体侵入状況を指示するよう構成される、請求項８に記載の射影空間監視装置。
13. 前記一次ベースラインペアから取得した前記画像データを使用して前記一次監視領域内の物体を重複して検知するために、前記画像処理回路は、各一次ベースラインペアからの画像ペアの立体視処理を実行する単一のステレオ画像処理プロセッサを備え、さらに、前記画像処理回路は、前記ステレオ画像処理プロセッサの動作が適切であるかを検証するための機構として、テスト画像を前記ステレオ画像処理プロセッサに周期的に投入するよう構成される、請求項１に記載の射影空間監視装置。
14. 以下の構成の少なくとも１つを使用して、前記一次監視領域のいずれかの側の側面遮蔽領域から発生する物体を遮蔽するリスクを緩和する、
    すなわち、前記側面遮蔽領域内での物体検知のために、前記画像センサに対して前記側面遮蔽領域を最小にする接角を有するよう前記センシングユニットを構成する、または、
    前記二次ベースラインペアのそれぞれによって取得された前記画像データに対して立体相関処理を実行するよう前記画像処理回路を構成する、請求項１に記載の射影空間監視装置。
15. Ｄは、前記一次監視領域内での物体検知のために、前記一次ベースラインペアから取得した前記画像データの立体相関処理のために使用される最大差異検索範囲を意味し、ｄは、遮蔽物体検知のために、各二次ベースラインペアから取得した前記画像データに適用される画像差アルゴリズムのために使用される検索窓サイズを意味し、Ｔは、前記第１および前記第２の一次ベースラインの長さを意味し、ｔは、前記第１および前記第２の二次ベースラインの長さを意味し、前記センシングユニットは、ｔ／Ｔ＝Ｄ／ｄとなるよう構成される、請求項１に記載の射影空間監視装置。
16. 射影空間監視の方法であって、
    一次監視領域でいずれも重複するそれぞれのセンサ視野域を有し、第１および第２の画像センサが、第１の一次ベースラインを規定する間隔を有する第１の一次ベースラインペアを形成し、第３および第４の画像センサが、第２の一次ベースラインを規定する間隔を有する第２の一次ベースラインペアを形成するよう配置され、さらに、前記第１および前記第３の画像センサが、第１の二次ベースラインを規定する間隔を有する第１の二次ベースラインペアを形成し、前記第２および前記第４の画像センサが、第２の二次ベースラインを規定する間隔を有する第２の二次ベースラインペアを形成するよう配置され、前記一次ベースラインが前記二次ベースラインよりも長い４つの画像センサから画像データを取得することと、
    前記一次ベースラインペアのそれぞれからの前記画像データの立体視処理に基づいて前記一次監視領域内の物体を重複して検知することと、
    前記二次ベースラインペアのそれぞれからの前記画像データを処理することに基づいて遮蔽物体を検知することとを備え、
    前記遮蔽物体は、前記一次監視領域に対して前記センサ視野域の１つまたは複数を遮断する、方法。
17. 遮蔽物体を検知することは、いずれかの二次ベースラインペアに対し、前記二次ベースラインペアにおける前記画像センサの１つから取得する画像内の個々の画素と、前記二次ベースラインペアにおける前記画像センサの他の１つによって取得される画像内において前記個々の画素に対応する近傍画素との間の輝度差を検知することを備える、請求項１６に記載の方法。
18. 遮蔽物体を検知することは、いずれかの二次ベースラインペアに対して、前記二次ベースラインペアを備える前記２つの画像センサによって取得された前記画像データの立体視処理を実行することと、そこから取得した対応するレンジデータを評価することとを備える、請求項１６に記載の方法。
19. 前記一次監視領域内の物体を重複して検知することは、前記第１の一次ベースラインペアによって取得された前記画像データの立体画像処理を介して導出される第１のレンジデータ内に前記物体が存在することを検知することと、さらに、前記第２の一次ベースラインペアによって取得された前記画像データの立体画像処理を介して導出される第２のレンジデータ内に前記物体が存在することを検知することと、一致について前記第１および前記第２のレンジデータを評価することとを備える、請求項１６に記載の方法。
20. 低露出画像フレームと高露出画像フレームとを使用して各画像センサから画像データを取得することと、対応する低露出画像フレームと高露出画像フレームとを融合して高ダイナミックレンジ（ＨＤＲ）画像を取得することと、前記一次ベースラインペアのそれぞれからの前記ＨＤＲ画像のストリームを立体視処理することとをさらに備え、前記一次監視領域内の物体を重複検知する、請求項１６に記載の方法。
21. 前記画像センサから取得する未処理画像データから、平行化された歪み補正画像データを生成することと、前記未処理画像データで使用したのと同じ平行化および歪み補正アルゴリズムに従い変換される前記画像センサに対する不良画素マップを生成することとをさらに備え、前記不良画素マップと前記平行化された歪み補正画像データとの間における平行化処理の一貫性を維持する、請求項１６に記載の方法。
22. 前記不良画素マップは、各画像センサに対し、前記画像センサから取得される未処理画像データから検知されるスタック欠陥画素もしくは雑音画素に関する指示を備え、さらに、各不良画素マップ内に、所与の画像センサに対して取得される前記平行化された歪み補正画像データ内の画素を飽和閾値と不飽和閾値とに対してチェックするダイナミックレンジテストで不適である画素に関する指示を備える、請求項２１に記載の方法。
23. 前記不良画素マップは、各画像センサに対し、前記画像センサから取得される未処理画像データから検知されるスタック欠陥画素または雑音画素に関する指示を備え、さらに、各不良画素マップ内に、コントラストチェックで不適である画素に関する指示を含むことをさらに備える、請求項２１に記載の方法。
24. それぞれが一次ベースラインペアを備える前記画像センサからの前記平行化された歪み補正画像データを立体視処理することと、前記歪み補正画像データの各画素に対応する３Ｄレンジデータを備える対応するデプスマップを生成することと、前記デプスマップを使用して、１つまたは複数の規定された検知境界内にある画素のクラスタを検知することと、任意の検知されたクラスタを規定された最小物体サイズと比較することと、前記最小物体サイズに合致する任意の検知されたクラスタを追跡して１つまたは複数の時間的フィルタリング期間にわたって残るかどうかを判断することと、残る場合、制御ユニットに物体侵入状況を指示することとをさらに備える、請求項２１に記載の方法。
25. 前記一次監視領域内の物体の前記重複検知のために使用されるステレオ画像処理プロセッサに、前記ステレオ画像処理プロセッサの動作が適切であるかを検証するための機構として、テスト画像を周期的に投入することをさらに備える、請求項１６に記載の方法。
26. 側面遮蔽領域内の物体を検知するために、
    前記４つの画像センサの接角が前記側面遮蔽領域を最小にするよう前記４つの画像センサを含むセンサユニットを構成すること、または、
    前記二次ベースラインペアのそれぞれによって取得された前記画像データに対して立体相関処理を実行するよう前記センサユニットを構成することの少なくとも１つに基づき前記一次監視領域のいずれかの側の前記側面遮蔽領域から生じる物体遮蔽リスクを緩和することをさらに備える、請求項１６に記載の方法。
27. 前記４つの画像センサは、左側の２つの画像センサが前記第１の二次ベースラインの間隔で配置されて前記第１の二次ベースラインペアを形成し、右側の２つの画像センサが前記第２の二次ベースラインの間隔で配置されて前記第２の二次ベースラインペアを形成するよう配置され、さらに、前記４つの画像センサは、左側の一方の画像センサが、右側の一方の画像センサとペアとなり、前記第１の一次ベースラインの間隔で前記第１の一次ベースラインペアを形成し、一方、左側の他方の画像センサは、右側の他方の画像センサとペアとなり、前記第２の一次ベースラインの間隔で前記第２の一次ベースラインペアを形成する、請求項１６に記載の方法。

Images