JP7292315B2

JP7292315B2 - 高密度投影パターンを使用した距離測定

Info

Publication number: JP7292315B2
Application number: JP2020568306A
Authority: JP
Inventors: 昭輝木村; ヤンヘラー
Original assignee: マジックアイインコーポレイテッド
Priority date: 2018-06-06
Filing date: 2019-06-04
Publication date: 2023-06-16
Anticipated expiration: 2039-06-04
Also published as: JP2021527205A; TWI808189B; KR20210008025A; US20190377088A1; CN112513565A; EP3803266A4; CN112513565B; US11474245B2; EP3803266A1; TW202012873A; WO2019236563A1

Description

関連出願の相互参照
本出願は、参照によりその開示全体が本明細書に組み込まれる、２０１８年６月６日に出願された米国仮特許出願第６２／６８１，２３６号に基づく優先権を主張する。

米国特許出願第１４／９２０，２４６号、同第１５／１４９，３２３号、および同第１５／１４９，４２９号は、距離センサの様々な構成について記載している。このような距離センサは、セキュリティ、ゲーム、無人機の制御、およびその他の用途を含む、様々な用途で有用であり得る。

これらの用途において説明される距離センサは、投影システム（例えば、レーザー、回折光学素子、および／または他の協調コンポーネントを含む）を含み、これらは、人間の目には実質的に見えない波長（例えば、赤外線）の光ビームを視野内に投射する。光ビームは広がって、適切な受光系（レンズ、画像取込デバイス、および／または他の構成要素など）によって検出されることができる（ドット、ダッシュ、または他のアーチファクトからなる）パターンを作成する。パターンが視野内の物体に入射すると、センサから物体までの距離は、視野の１つまたは複数の画像内のパターンの外観（例えば、ドット、ダッシュ、またはその他のアーチファクトの位置関係）に基づいて計算することができ、これらの画像は、センサの受光系によって取り込まれることができる。物体の形状および寸法もまた判定することができる。

例えば、パターンの外観は、物体までの距離によって変化し得る。一例として、パターンが、ドットからなるパターンである場合、物体がセンサに近いと、ドット同士は互いに近くにあるように見え、物体がセンサから遠いと、ドット同士は互いに遠くにあるように見え得る。

一例において、方法は、距離センサの処理システムによって、距離センサのパターンプロジェクタに、光のパターンを物体上に投影するように命令することであって、パターンが、複数の投影アーチファクトを含み、複数の投影アーチファクトの各投影アーチファクトが、距離センサの撮像センサ上で各投影アーチファクトの潜在的な移動範囲を表す軌道に関連付けられ、軌道の移動方向に平行な方向において隣接する２つの軌道の間に少なくとも第１の閾値距離が存在し、軌道の移動方向に垂直な方向において隣接する２つの軌道の間に少なくとも第２の閾値距離が存在する、命令することと、処理システムによって、光のパターンを含む物体の画像内の複数のアーチファクトのうち第１の投影アーチファクトの位置を検出することであって、第１の投影アーチファクトに関連付けられた第１の軌道に対応する第１のウィンドウ内のピーク光強度の領域を識別することを含む、検出することと、処理システムによって、第１の投影アーチファクトの位置に部分的に基づいて、距離センサから物体までの距離を計算することと、を含む。

別の例において、非一時的な機械可読記憶媒体は、プロセッサによって実行可能な命令で符号化される。これらの命令は、実行されると、プロセッサに動作を実行させ、この動作は、一例において、方法を含み、この方法は、距離センサのパターンプロジェクタに、光のパターンを物体上に投影するように命令することであって、パターンが、複数の投影アーチファクトを含み、複数の投影アーチファクトの各投影アーチファクトが、距離センサの撮像センサ上で各投影アーチファクトの潜在的な移動範囲を表す軌道に関連付けられ、軌道の移動方向に平行な方向において隣接する２つの軌道の間に少なくとも第１の閾値距離が存在し、軌道の移動方向に垂直な方向において隣接する２つの軌道の間に少なくとも第２の閾値距離が存在する、命令することと、光のパターンを含む物体の画像内の複数のアーチファクトのうち第１の投影アーチファクトの位置を検出することであって、第１の投影アーチファクトに関連付けられた第１の軌道に対応する第１のウィンドウ内のピーク光強度の領域を識別することを含む、検出することと、第１の投影アーチファクトの位置に部分的に基づいて、距離センサから物体までの距離を計算することと、を含む。

別の例において、方法は、距離センサの処理システムによって、距離センサのパターンプロジェクタに、光のパターンを物体上に投影するように命令することであって、パターンが、複数の投影アーチファクトを含む、命令することと、処理システムによって、光のパターンを含む物体の画像内の複数のアーチファクトのうち第１の投影アーチファクトの位置を検出することであって、検出することが、第１の投影アーチファクトの軌道に対応するウィンドウ内のピーク光強度の領域を識別することを含み、軌道が、距離センサの撮像センサ上の第１の投影アーチファクトの潜在的な移動範囲を表す、検出することと、処理システムによって、第１の投影アーチファクトの位置に部分的に基づいて、距離センサから物体までの距離を計算することと、を含む。

本開示の各例による、距離センサの投影システムによって生成された投影パターン内の投影アーチファクトの位置を検出するためのウィンドウの使用を概念的に示した図である。本開示の各例による、複数の投影アーチファクトの軌跡の拡大図である。本開示による、ウィンドウおよび関連する１つの投影アーチファクトについての幾何学的形状を示す図である。物体が距離センサに非常に接近しているため、パターンの領域内の投影アーチファクトが非常に大きい／明るいため、投影アーチファクトが互いに重なり合い、個々の投影アーチファクトを区別することが困難になっている例示的投影パターンを示す図である。光学ノイズによって投影パターンの領域内の個々の投影アーチファクトを区別することが困難である例示的投影パターンを示す図である。図３のウィンドウ内に光学ノイズが存在する場合を示した図である。本開示による、高密度投影パターンを使用した距離測定のための方法の一例を示すフロー図である。センサから物体までの距離を計算するための例示的電子デバイスの高レベルブロック図である。

本開示は、高密度投影パターンを使用した距離測定のための装置、方法、および非一時的なコンピュータ可読媒体について概ね説明するものである。上述したように、米国特許出願第１４／９２０，２４６号、同第１５／１４９，３２３号、および同第１５／１４９，４２９号に記載されているような距離センサは、物体までの距離（および、潜在的には、その物体の形状および寸法）を、広がる光ビームを投影して、その物体を含む視野内に（例えば、ドット、ダッシュ、またはその他のアーチファクトからなる）パターンを作成することによって判定する。光ビームは、人間の目には実質的に見えないが（例えば、受光系の）適切な検出器には見える波長の光を放出する１つまたは複数のレーザー光源から投影してよい。次いで、三角測量技術を使用して、検出器までのパターンの外観に基づいて、物体までの三次元距離を計算してよい。

高密度パターン（すなわち、投影アーチファクトの間の距離が小さいパターン）は、より高解像度の距離測定を行うことができるため、多くの場合、望ましいものである。しかし、このようなパターンの密度が高いと、距離の計算がより複雑になることもある。一例として、投影アーチファクト同士が互いに近いほど、個々の投影アーチファクトの軌道の移動（移動領域、または潜在的な移動範囲）が重なる可能性が高くなる。この重なりによって、センサが個々の投影アーチファクトとそれらの移動とを区別することがより困難になる。投影アーチファクトの移動は投影アーチファクトの外観に影響を与えるため、また距離は投影アーチファクトの外観に基づいて計算されるため、距離の測定が複雑になり、計算時間が長くなる。

また、物体がセンサにより近いと、低密度パターンでも密度が高く見えることがある。具体的には、投影アーチファクトのサイズ、強度、および間隔は、物体までの距離に応じて変化する。センサが物体からより遠くに離れていると、投影パターンの密度は低く見えることになり、投影アーチファクトは、投影アーチファクト間の間隔が大きくなり、より小さく、かつ明るさがより低く見えることになる。センサが物体により近い場合、投影パターンの密度は高く見えることになり、投影アーチファクトは、投影アーチファクト間の間隔が小さくなると、より大きく、かつより明るく見えることになる。投影アーチファクトのサイズ、強度、および形状も、物体の形状、反射率、および反射率分布に基づいて変化し得る。

さらに複雑なことに、検出器によって取り込まれた画像には、投影パターンに加えて視覚的なノイズが含まれることがある。この視覚的なノイズは、物体の特性（反射率など）および／または周囲の照明条件の結果として発生することがある。視覚的なノイズにより、特に投影パターンが非常に密である場合には、効率的に投影アーチファクトを正確に認識することがより困難になり得る。

本開示の各例は、高密度投影パターンの画像（画像は投影パターンに加えて視覚的なノイズを含むことがある）内の個々の投影アーチファクトを確実に識別する方法を提供する。特に、本開示の各例は、従来は二次元の問題であった投影アーチファクトの位置を検出する問題を、一次元の問題に縮約する。一例では、各投影アーチファクトの軌道には、ウィンドウが割り当てられ、このウィンドウは、例えば、固定された、複数の位置からなる物理的範囲であり、この範囲内では、投影パターン内に投影アーチファクトが（三角測量の原理により）現れると予想される。本開示の各例では、距離センサは、これらのウィンドウを決定するために較正された状態であるものとする。次いで、所与の投影アーチファクトの対応する軌道ウィンドウ内で、ピーク光強度の領域を識別する。ピーク光強度のこの領域は、投影アーチファクトの位置に対応すると見なされる。このようにして投影アーチファクトの位置を素早く識別できるため、物体の距離を迅速に三角測量して計算することが可能になる。さらなる例では、ウィンドウの遠端部に閾値が適用されてもよく、ピーク光強度がこれらの閾値を超えて位置する場合（例えば、ウィンドウの縁部のうちの１つに近過ぎる場合）、その投影アーチファクトは距離計算から除外される。これにより、視覚的なノイズおよびセンサに近すぎて正確な距離計算ができない物体について補正する。

図１は、本開示の各例による、距離センサの投影システムによって生成された投影パターン内の投影アーチファクトの位置を検出するためのウィンドウの使用を概念的に示している。図１の例では、投影アーチファクトはドットとして図示されている。しかしながら、投影アーチファクトは、ダッシュ、ｘなどの他の形式を取ることもある。したがって、図１は、一例としてドットを使用するものである。投影アーチファクトは、グリッドのｘ軸およびｙ軸に沿って配置され得るものであり、そのため、複数の行および複数の列が形成される。この配置は、ｙ軸に平行な（例えば、行に直交する）中心線（図示せず）を中心として対称であり得る。投影アーチファクトの軌道１０２_１～１０２_ｎ（以下、個別に「軌道１０２」と呼ぶか、または集合的に「軌道１０２同士」と呼ぶ）は、ｘ軸に平行である（例えば、ｘ軸に沿って移動する）。

一例では、各軌道１０２は、対応するウィンドウ１０４_１～１０４_ｎ（以下、個別に「ウィンドウ１０４」と呼ぶか、または集合的に「ウィンドウ１０４同士」と呼ぶ）に関連付けられる。上述したように、軌道１０２のウィンドウ１０４は、固定された、複数の位置からなる物理的範囲を表しており、この範囲内では、距離計算対象物体上に投影パターンが投影されると、対応する投影アーチファクトがその投影パターン内に現れることが予想される。一例では、各ウィンドウ１０４は、実質的に円錐形またはテーパ形状を有し得る。例えば、図１では、各ウィンドウ１０４の左側は、各ウィンドウの右側よりも狭いものとして示されている。この形状は、物体の距離による投影アーチファクトのサイズの変化を考慮したものである。具体的には、距離センサが物体から離れるほど、物体上に現れる投影アーチファクトは小さくなる。逆に、距離センサが物体に近いほど、物体上に現れる投影アーチファクトは大きくなる。したがって、各ウィンドウ１０４の狭い方の端部１０６は、対応する投影アーチファクトを検出するための遠方限界距離を表し、一方、ウィンドウの広い方の端部１０８は、対応する投影アーチファクトを検出するための近方限界距離を表す。

図示の例では、同一直線上にある隣接する軌道１０２同士の間に重なりがないことに留意されたい。すなわち、投影パターンの同じ行に現れる２つの隣接する投影アーチファクトの軌道１０２同士（軌道１０２_１および１０２_２など）は重ならない。このことは、図２に概念的に示されており、図２は、本開示の各例による、複数の投影アーチファクトの軌道２００_１～２００_ｍ（以下、個別に「軌道２００」と呼ぶか、まとめて「軌道２００同士」と呼ぶ）の拡大図を示す。図示されたように、所与の軌道の近方限界距離（例えば、対応するウィンドウの広い端部）と、同じ行の隣接する軌道の遠方限界距離（例えば、そのウィンドウの狭い端部）との間には、少なくとも閾値距離ｄ_１（ｄ_１＞０）が存在する。さらに、所与の軌道２００の軌道中心（例えば、ｘ軸に平行な軌道２００を通る仮想線２０２_１～２０２_ｍ）と、ｙ軸に沿って移動して隣接する軌道２００の軌道中心との間に、少なくとも閾値距離ｄ_２（ｄ_２＞０）が存在する。したがって、２つの投影アーチファクトが同じ軌道中心２０２を共有することはできない。さらに、２つのウィンドウが重なることはない。図２のパターンは、単純化されていることに留意されたい。例えば、（例えば、ｘ軸に沿って）隣接する行同士の間、または（例えば、ｙ軸に沿って）隣接する列同士の間にはオフセットが存在してもよい。

図３は、本開示による、ウィンドウ３００および関連する１つの投影アーチファクト３０２についての幾何学的形状を示す。図３はまた、ウィンドウ３００にわたる光強度（または「画素値」）の分布のプロット３０４を示している。ここで、「画素値」とは、距離センサの撮像センサ３１０の特定の画素において測定された、画像内の光の強度を示す値を指す。図示されたように、ピーク光強度（プロット３０４のピーク３０６によって示される）は、ウィンドウ３００内の投影アーチファクト３０２の位置と一致する。

一例では、ウィンドウ３００内の光強度の不均一性の影響を低減するために、ウィンドウ３００のサブウィンドウ（例えば、微小領域）ｘ_ｋについて、光強度（ｌΔｘ_ｋ）のｙ方向の平均を計算してもよい。このサブウィンドウは、ウィンドウ３００内のｙ方向の全体にわたって伸張していてもよいが、ウィンドウ３００内のｘ方向（例えば、投影アーチファクトの移動方向）の微小部分または限定的部分（例えば、５パーセント以下）にわたって伸張し得る。

さらに、ｘ方向の光強度ｌΔｘ_ｋの分布、ならびに閾値範囲または値ｓ（図３に線３０８で示される）を超える光強度のｘ方向の分布が判定されてよい。一例では、光強度分布閾値範囲の限界であるＲ_ｘｍｉｎおよびＲ_ｘｍａｘは、ｘ方向の投影アーチファクトの位置ｘ１（すなわち、Ｒ_ｘ１ｍｉｎ、Ｒ_ｘ１ｍａｘ）に関して定数値または様々に異なる値を有する。さらなる例では、閾値ｓは、ｘ方向の位置ｘ_ｋに関して定数値または様々に異なる値を有し得る。

したがって、距離センサの撮像センサによって取得された画像が投影アーチファクト３０２に対応するかどうかを判定するために、以下のステップを行ってよい。まず、光強度ｌΔｘ_ｋのｘ方向の画素ｘ１（Ｒ_ｘ１）における光強度分布範囲を、光強度分布閾値範囲（Ｒ_ｘ１ｍｉｎ、Ｒ_ｘ１ｍａｘ）と比較する。光強度分布閾値範囲（Ｒ_ｘ１ｍｉｎ、Ｒ_ｘ１ｍａｘ）は、ウィンドウ３００の遠方限界距離および近方限界距離を考慮から除外することによって、ウィンドウ３００を短縮してよい。

光強度ｌΔｘ_ｋのｘ方向のｘ１（Ｒ_ｘ１）における光強度分布範囲が光強度分布閾値範囲（Ｒ_ｘ１ｍｉｎ、Ｒ_ｘ１ｍａｘ）から外れている場合、投影アーチファクト３０２は無視してもよい（例えば、距離測定計算から除外してもよい）。例えば、Ｒ_ｘ１がＲ_ｘ１ｍａｘよりも大きい場合、これは、物体が距離センサに近すぎて、距離センサが投影アーチファクト３０２を確実に観察できないことを示し得る。この状況の例を図４に示す。図４は、例示的な投影パターン４００を示しており、この投影パターン４００では、物体が距離センサに非常に接近しているため、パターン４００の領域４０２内の投影アーチファクトが非常に大きい／明るいため、投影アーチファクトが互いに重なり合い、個々の投影アーチファクトを区別することが困難になっている。

同様に、Ｒ_ｘ１がＲ_ｘ１ｍｉｎよりも小さい場合、検出された光は、投影アーチファクト３０２ではなくノイズの結果である可能性が高い。この状況の例を図５に示す。図５は、例示的な投影パターン５００を示しており、この投影パターン５００では、光学ノイズ５０２が、投影パターン５００の領域内の個々の投影アーチファクトを区別することを困難にしている。図６もまた、図３のウィンドウ３００に光学ノイズが存在する場合を図示している。図６に示すように、光ノイズの存在により、Ｒ_ｘ１が光強度分布閾値範囲（Ｒ_ｘ１ｍｉｎ、Ｒ_ｘ１ｍａｘ）から外れている。

しかしながら、光強度ｌΔｘ_ｋのｘ方向のｘ１（Ｒ_ｘ１）における光強度分布範囲が光強度分布閾値範囲（Ｒ_ｘ１ｍｉｎ、Ｒ_ｘ１ｍａｘ）内に含まれる場合、投影アーチファクト３０２の位置は、さらなる動作により検出してよい。一例では、光強度分布閾値範囲（Ｒ_ｘ１ｍｉｎ、Ｒ_ｘ１ｍａｘ）内に含まれる画素値ごとに、Ｘ０の値（投影アーチファクト）を所定のアルゴリズムに従って計算する（例えば、中心値、メジアン値などをとる）。ただし、レンズ特性、ビーム投影特性、その他の要因により、光強度分布と投影アーチファクト位置との関係が様々に異なり得ることに留意されたい。

図７は、本開示による、高密度投影パターンを使用した距離測定のための方法７００の一例を示すフロー図である。方法７００は、例えば、距離センサのプロセッサまたは図８に示されたプロセッサ８０２などのプロセッサによって実行され得る。一例として、方法７００は、処理システムによって実行されるものとして説明する。

方法７００は、ステップ７０２から開始してよい。ステップ７０４において、処理システムは、光のパターンを物体上に投影してよい。光のパターンは、距離センサの投影システムの複数のビームによって作成されてよい。複数のビームは、複数の投影アーチファクトを物体上に投影してよく、投影アーチファクトは集合的に光のパターン、または「投影パターン」を形成する。投影パターンの幾何学的制約は、上記図２によって定義してよい。上述したように、この光は、人間の目には実質的に見えないが、距離センサの撮像センサ（例えば、赤外線）によって検出可能である波長としてよい。

ステップ７０６において、処理システムは、それらの複数のビームのうち第１のビームに割り当てられたウィンドウを識別してよい。一例では、複数のビームのうちの少なくともいくつかのビームは、上述のように、ビームが物体上に作成するそれぞれの投影アーチファクトについてのそれぞれの検出領域または「ウィンドウ」に割り当てられるものとする。ｘ方向のウィンドウの長さは、予め定義されていてもよく、互いに重ならない。一例では、第１のビームに割り当てられたウィンドウは、距離センサの撮像センサ上の第１のビームの投影アーチファクトの画像の直径以下である、投影パターンのｙ方向幅を有する。

ステップ７０８において、処理システムは、ウィンドウのｙ方向（例えば、投影アーチファクトの軌道に垂直な方向）における光強度（例えば、距離センサの撮像センサに受光された光）の量（例えば、合計または平均）を計算してよい。ｙ方向の光強度の量は、サブウィンドウにわたって計算してよく、このサブウィンドウは、ｙ方向ではウィンドウの全体にわたって伸張していてもよいが、ｘ方向ではウィンドウの微小部分（例えば、５パーセント以下）にわたって伸張し得る。

ステップ７１０において、処理システムは、（例えば、投影アーチファクトの軌道に平行な方向における）ウィンドウのｘ方向にわたる光強度分布が第１の事前定義された閾値を超えるウィンドウの領域を識別してよい。一例では、第１の事前定義された閾値の値は、ｘ方向に沿った位置に応じて設定される。ウィンドウのうちのこの領域は、ｘ１として示すことができる。

次に、処理システムは、ステップ７０８で識別されたウィンドウの領域ｘ１における光強度分布が、光強度分布閾値範囲（Ｒ_ｘ１ｍｉｎ、Ｒ_ｘ１ｍａｘ）から外れているかどうかを判定してよい。一例では、光強度分布閾値範囲の最小値と最大値は、ｘ方向に沿った位置に応じて別々の値を有する。

ステップ７１２において、処理システムは、光強度分布が光強度分布閾値範囲の最大値（Ｒ_ｘ１ｍａｘ）を超えるかどうかを判定してよい。処理システムが、ステップ７１２において、光強度分布が光強度分布閾値範囲の最大値を超えると判定した場合、処理システムは、ステップ７１４に進んでよい。ステップ７１４において、処理システムは、第１のビームに関連する投影アーチファクトを距離計算から除外してよい。

この場合、処理システムは、距離が検出中である物体が距離センサに近すぎて、第１のビームに関連する投影アーチファクトを使用して正確な距離測定をすることができない可能性があると見なしてよい。一例では、処理システムは、この想定をメモリに記憶してもよい。続いて、少なくとも閾値個の隣接するウィンドウ同士が、光強度分布閾値範囲の最大値を超える光強度分布を含むと判定された場合、処理システムは、物体が距離センサに近過ぎると結論付けてよい。処理システムは、物体と距離センサとの間の距離を調整するようにユーザに警告する信号を生成してよい。あるいは、閾値個未満の隣接するウィンドウ同士が、光強度分布閾値範囲の最大値を超える光強度分布を含むと判定された場合、処理システムは、光学／光ノイズが存在すると結論付けてよい。この場合、処理システムは、距離センサの画像取込手段の設定（例えば、露光時間）を調整するか、または調整を行うようにユーザに警告する信号を生成してよい。

ステップ７１２に戻り、処理システムが、ステップ７１２において、光強度分布が光強度分布閾値範囲の最大値を超えないと判定した場合、処理システムは、ステップ７１６に進んでよい。ステップ７１６において、処理システムは、光強度分布が光強度分布閾値範囲の最小値（Ｒ_ｘ１ｍｉｎ）を下回るかどうかを判定してよい。

処理システムが、ステップ７１６において、光強度分布が光強度分布閾値範囲の最小値を下回ると判定した場合、処理システムは、ステップ７１８に進んでよい。ステップ７１８において、処理システムは、第１のビームに関連する投影アーチファクトを距離計算から除外してよい。この場合、処理システムは、ウィンドウ内で検出された光が、投影アーチファクトではなく、光学／光ノイズであると見なしてよい。

あるいは、処理システムが、ステップ７１６において、光強度分布が光強度分布閾値範囲の最小値を下回らないと判定した場合、方法７００は、ステップ７２０に進んでよい。ステップ７２０において、処理システムは、ステップ７０８で識別された領域ｘ１における光強度の量に応じて、撮像センサ上の投影アーチファクトの位置を判定してよい。一例では、この量は、光強度の中心値および／またはメジアン値（これは、投影アーチファクトの中心を示し得る）を含んでもよい。

ステップ７１４またはステップ７１８に従って投影アーチファクトが距離計算から除外されるか、または投影アーチファクトの位置がステップ７２０で判定されると、方法７００はステップ７２２に進む。ステップ７２２において、処理システムは、光強度に基づいて（例えば、方法７００に従って）識別された複数の投影アーチファクトの位置に従って、物体から距離センサまでの距離を演算してよい。したがって、方法７００は、複数のビームに関連する複数のウィンドウに対して実行してよく、その結果、複数の投影アーチファクトの位置を識別することができる。

方法７００は、ステップ７２４で終了してよい。

したがって、方法７００は、投影アーチファクトの位置を判定する従来の二次元の問題を、固定ウィンドウ内のピーク光強度の領域を探すことによって、一次元の問題に変換する。ピーク強度のこれらの領域は、それらがある特定の閾値基準を満たしている場合、投影アーチファクトの位置を表していると見なしてよい。

場合によっては、１つのウィンドウ内の複数の領域が閾値基準を満たす場合があることに留意されたい（例えば、複数の領域が、光強度分布閾値範囲内に含まれるピーク光強度を有する場合がある）。この場合、これらのウィンドウに関連付けられたビームによって生成された投影アーチファクトは、距離の計算から除外されてもよい。

明示的に指定されていないが、上記の方法７００の一部のブロック、機能、または動作は、特定の用途のために記憶すること、表示すること、および／または出力することを含み得ることに留意されたい。換言すれば、方法７００において説明された任意のデータ、記録、フィールド、および／または中間結果は、具体的な用途に応じて、記憶され、表示され、および／または別のデバイスに出力されてよい。さらに、図７において判定動作について記載した、または判定を含む、ブロック、機能、または動作は、判定動作の両方の分岐が実行されることを意味するものではない。換言すれば、判定動作の結果によっては、判定動作の分岐のうちの１つが行われない場合がある。

図８は、センサから物体までの距離を計算するための例示的な電子デバイス８００の高レベルのブロック図を示す。このように、電子デバイス８００は、距離センサなど、電子デバイスまたはシステムのプロセッサとして実装され得る。

図８に示すように、電子デバイス８００は、ハードウェアプロセッサ要素８０２（例えば、中央処理ユニット（ＣＰＵ）、マイクロプロセッサ、またはマルチコアプロセッサ）と、メモリ８０４（例えば、ランダムアクセスメモリ（ＲＡＭ）および／または読み取り専用メモリ（ＲＯＭ））と、センサから物体までの距離を計算するためのモジュール８０５と、様々な入力／出力デバイス８０６（例えば、記憶装置（これらに限定されないが、テープドライブ、フロッピードライブ、ハードディスクドライブ、またはコンパクトディスクドライブを含む）、受信機、送信機、ディスプレイ、出力ポート、入力ポート、およびユーザ入力デバイス（キーボード、キーパッド、マウス、マイクロホン、カメラ、レーザー光源、ＬＥＤ光源など））と、を備える。

１つのプロセッサ要素が示されているが、電子デバイス８００は、複数のプロセッサ要素を使用してもよいことに留意されたい。さらに、この図には１つの電子デバイス８００が示されているが、上述の方法が、特定の例示的例について分散もしくは並列で実装される場合、すなわち、上記の方法の各ブロックまたは方法全体が、複数または並列の電子デバイスにわたって実装される場合、この図の電子デバイス８００は、それらの複数の電子デバイスの各々を表すことを意図している。

本開示は、例えば、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）を含むプログラマブルロジックアレイ（ＰＬＡ）、またはハードウェアデバイス上に配備されるステートマシンを使用して、機械可読命令によって、および／または機械可読命令とハードウェアの組み合わせで実行してよく、汎用コンピュータまたは任意の他のハードウェアの等価物（例えば上述の方法に関係するコンピュータ可読命令）は、上記で開示した方法のブロック、機能、および／または動作を実行するようにハードウェアプロセッサを構成するために使用されてよいことに留意されたい。

一例では、センサから物体までの距離を計算するための本モジュールまたはプロセス８０５のための命令およびデータ（例えば、機械可読命令）は、メモリ８０４内にロードされ、ハードウェアプロセッサ要素８０２によって実行されて、方法７００に関連して上述したブロック、機能、または動作を実施してよい。さらに、ハードウェアプロセッサが命令を実行して「動作」を行うとき、これは、ハードウェアプロセッサがその動作を直接的に行うこと、および／またはその動作を行うように別のハードウェアデバイスまたは構成要素（例えばコプロセッサなど）と共に促進し、指示し、共働することを含んでよい。

上記の方法に関する機械可読命令を実行するプロセッサは、プログラムされたプロセッサまたは専用のプロセッサとして認識され得る。このように、本開示のセンサから物体までの距離を計算するための本モジュール８０５は、実体的なまたは物理的な（概して非一時的な）コンピュータ可読記憶装置または媒体（例えば、揮発性メモリ、非揮発性メモリ、ＲＯＭメモリ、ＲＡＭメモリ、磁気または光学ドライブ、デバイス、またはディスケットなど）に記憶されてよい。より具体的には、コンピュータ可読記憶装置は、コンピュータまたは安全センサシステムのコントローラなどのプロセッサまたは電子デバイスによってアクセスされるデータおよび／または命令などの情報を記憶する能力を提供する任意の物理的デバイスを含んでよい。

上記開示の変形例、並びに他の特徴および機能、またはそれらの代替物は、他の多くの異なるシステムまたはアプリケーションに組み合わせてよいことを理解されたい。現在予期しないまたは予想しない様々な代替、改良、または変形が今後なされ得るが、それらもまた、以下の特許請求の範囲に包含されることが意図される。

Claims

距離センサの処理システムによって、前記距離センサのパターンプロジェクタに、光のパターンを物体上に投影するように命令することであって、前記パターンが、複数の投影アーチファクトを含み、前記複数の投影アーチファクトの各投影アーチファクトが、前記距離センサの撮像センサ上で前記各投影アーチファクトの潜在的な移動範囲を表す軌道に関連付けられ、前記軌道の移動方向に平行な方向において隣接する２つの軌道の間に少なくとも第１の閾値距離が存在し、前記軌道の前記移動方向に垂直な方向において隣接する２つの軌道の間に少なくとも第２の閾値距離が存在する、命令することと、
前記処理システムによって、前記光のパターンを含む前記物体の画像内の前記複数のアーチファクトのうち第１の投影アーチファクトの位置を検出することであって、前記第１の投影アーチファクトに関連付けられた第１の軌道に対応する第１のウィンドウ内のピーク光強度の領域を識別することを含む、検出することと、
前記処理システムによって、前記第１の投影アーチファクトの前記位置に部分的に基づいて、前記距離センサから前記物体までの距離を計算することと、を含み、
第２の投影アーチファクトに関連付けられた第２の軌道に対応する第２のウィンドウ内のピーク光強度の領域が、事前定義された閾値範囲から外れている場合、前記処理システムによって、前記複数の投影アーチファクトのうち前記第２の投影アーチファクトの位置を前記計算することから除外することをさらに含む方法。
前記第２のウィンドウ内の前記ピーク光強度の領域が前記閾値範囲の最大値よりも大きい場合、かつ前記第２のウィンドウに隣接する少なくとも閾値個のウィンドウもまた前記最大値よりも大きいピーク光強度を示す場合、前記処理システムによって、前記物体が前記距離センサに近すぎて前記第２の投影アーチファクトを確実に観察できないと見なすことをさらに含む、請求項１に記載の方法。
前記処理システムによって、前記物体と前記距離センサとの間の距離を調整するようにユーザに警告する信号を生成することをさらに含む、請求項２に記載の方法。
前記第２のウィンドウ内の前記ピーク光強度の領域が前記閾値範囲の最大値よりも大きい場合、かつ前記第２のウィンドウに隣接する少なくとも閾値個のウィンドウもまた前記最大値よりも大きいピーク光強度を示す場合、前記処理システムによって、光学ノイズが多すぎて前記第２の投影アーチファクトを確実に観察できないと見なすことをさらに含む、請求項１に記載の方法。
前記処理システムによって、前記距離センサの画像取込手段の設定を調整するようにユーザに警告する信号を生成することをさらに含む、請求項４に記載の方法。
前記第２のウィンドウ内の前記ピーク光強度の領域が、前記閾値範囲の最小値よりも小さい場合、前記処理システムによって、光学ノイズが多すぎて前記第２の投影アーチファクトを確実に観察できないと見なすことをさらに含む、請求項１に記載の方法。
距離センサの処理システムによって、前記距離センサのパターンプロジェクタに、光のパターンを物体上に投影するように命令することであって、前記パターンが、複数の投影アーチファクトを含み、前記複数の投影アーチファクトの各投影アーチファクトが、前記距離センサの撮像センサ上で前記各投影アーチファクトの潜在的な移動範囲を表す軌道に関連付けられ、前記軌道の移動方向に平行な方向において隣接する２つの軌道の間に少なくとも第１の閾値距離が存在し、前記軌道の前記移動方向に垂直な方向において隣接する２つの軌道の間に少なくとも第２の閾値距離が存在する、命令することと、
前記処理システムによって、前記光のパターンを含む前記物体の画像内の前記複数のアーチファクトのうち第１の投影アーチファクトの位置を検出することであって、前記第１の投影アーチファクトに関連付けられた第１の軌道に対応する第１のウィンドウ内のピーク光強度の領域を識別することを含む、検出することと、
前記処理システムによって、前記第１の投影アーチファクトの前記位置に部分的に基づいて、前記距離センサから前記物体までの距離を計算することと、を含み、
少なくとも２つのピーク光強度の領域が、第２の投影アーチファクトに関連付けられた第２の軌道に対応する第２のウィンドウ内で検出された場合、前記処理システムによって、前記複数の投影アーチファクトのうち前記第２の投影アーチファクトの位置を前記計算することから除外することをさらに含む方法。
前記軌道の前記移動方向に垂直な方向における前記第１のウィンドウの幅が、前記第１の投影アーチファクトの直径以下である、請求項１に記載の方法。
前記検出することより前に、
前記処理システムによって、前記第１のウィンドウのサブウィンドウにわたる光強度の量を計算することであって、前記サブウィンドウが、前記軌道の前記移動方向に垂直な方向では前記第１のウィンドウの全体にわたって伸張しているが、前記軌道の前記移動方向に平行な方向では前記第１のウィンドウの全体よりも短く伸張している、計算することをさらに含む、請求項８に記載の方法。
前記量が光強度の合計である、請求項９に記載の方法。
前記量が光強度の平均である、請求項９に記載の方法。
前記ピーク光強度が、前記第１のウィンドウ内の光強度の中心値である、請求項１に記載の方法。
前記ピーク光強度が、前記第１のウィンドウ内の光強度のメジアン値である、請求項１に記載の方法。
距離センサのプロセッサによって実行可能な命令で符号化された非一時的な機械可読記憶媒体であって、
前記命令は、実行されると、前記プロセッサに動作を行わせ、
前記動作は、
前記距離センサのパターンプロジェクタに、光のパターンを物体上に投影するように命令することであって、前記パターンが、複数の投影アーチファクトを含み、前記複数の投影アーチファクトの各投影アーチファクトが、前記距離センサの撮像センサ上で前記各投影アーチファクトの潜在的な移動範囲を表す軌道に関連付けられ、前記軌道の移動方向に平行な方向において隣接する２つの軌道の間に少なくとも第１の閾値距離が存在し、前記軌道の前記移動方向に垂直な方向において隣接する２つの軌道の間に少なくとも第２の閾値距離が存在する、命令することと、
前記光のパターンを含む前記物体の画像内の前記複数のアーチファクトのうち第１の投影アーチファクトの位置を検出することであって、前記第１の投影アーチファクトに関連付けられた第１の軌道に対応する第１のウィンドウ内のピーク光強度の領域を識別することを含む、検出することと、
前記第１の投影アーチファクトの前記位置に部分的に基づいて、前記距離センサから前記物体までの距離を計算することと、を含み、
第２の投影アーチファクトに関連付けられた第２の軌道に対応する第２のウィンドウ内のピーク光強度の領域が、事前定義された閾値範囲から外れている場合、前記複数の投影アーチファクトのうち前記第２の投影アーチファクトの位置を前記計算することから除外することをさらに含む非一時的な機械可読記憶媒体。
距離センサのプロセッサによって実行可能な命令で符号化された非一時的な機械可読記憶媒体であって、
前記命令は、実行されると、前記プロセッサに動作を行わせ、
前記動作は、
前記距離センサのパターンプロジェクタに、光のパターンを物体上に投影するように命令することであって、前記パターンが、複数の投影アーチファクトを含み、前記複数の投影アーチファクトの各投影アーチファクトが、前記距離センサの撮像センサ上で前記各投影アーチファクトの潜在的な移動範囲を表す軌道に関連付けられ、前記軌道の移動方向に平行な方向において隣接する２つの軌道の間に少なくとも第１の閾値距離が存在し、前記軌道の前記移動方向に垂直な方向において隣接する２つの軌道の間に少なくとも第２の閾値距離が存在する、命令することと、
前記光のパターンを含む前記物体の画像内の前記複数のアーチファクトのうち第１の投影アーチファクトの位置を検出することであって、前記第１の投影アーチファクトに関連付けられた第１の軌道に対応する第１のウィンドウ内のピーク光強度の領域を識別することを含む、検出することと、
前記第１の投影アーチファクトの前記位置に部分的に基づいて、前記距離センサから前記物体までの距離を計算することと、を含み、
少なくとも２つのピーク光強度の領域が、第２の投影アーチファクトに関連付けられた第２の軌道に対応する第２のウィンドウ内で検出された場合、前記複数の投影アーチファクトのうち前記第２の投影アーチファクトの位置を前記計算することから除外することをさらに含む非一時的な機械可読記憶媒体。
距離センサの処理システムによって、前記距離センサのパターンプロジェクタに、光のパターンを物体上に投影するように命令することであって、前記パターンが、複数の投影アーチファクトを含む、命令することと、
前記処理システムによって、前記光のパターンを含む前記物体の画像内の前記複数のアーチファクトのうち第１の投影アーチファクトの位置を検出することであって、前記検出することが、前記第１の投影アーチファクトに関連付けられた第１の軌道に対応する第１のウィンドウ内のピーク光強度の領域を識別することを含み、前記第１の軌道が、前記距離センサの撮像センサ上の前記第１の投影アーチファクトの潜在的な移動範囲を表す、検出することと、
前記処理システムによって、前記第１の投影アーチファクトの前記位置に部分的に基づいて、前記距離センサから前記物体までの距離を計算することと、を含み、
第２の投影アーチファクトに関連付けられた第２の軌道に対応する第２のウィンドウ内のピーク光強度の領域が、事前定義された閾値範囲から外れている場合、前記処理システムによって、前記複数の投影アーチファクトのうち前記第２の投影アーチファクトの位置を前記計算することから除外することをさらに含む方法。
距離センサの処理システムによって、前記距離センサのパターンプロジェクタに、光のパターンを物体上に投影するように命令することであって、前記パターンが、複数の投影アーチファクトを含む、命令することと、
前記処理システムによって、前記光のパターンを含む前記物体の画像内の前記複数のアーチファクトのうち第１の投影アーチファクトの位置を検出することであって、前記検出することが、前記第１の投影アーチファクトに関連付けられた第１の軌道に対応する第１のウィンドウ内のピーク光強度の領域を識別することを含み、前記第１の軌道が、前記距離センサの撮像センサ上の前記第１の投影アーチファクトの潜在的な移動範囲を表す、検出することと、
前記処理システムによって、前記第１の投影アーチファクトの前記位置に部分的に基づいて、前記距離センサから前記物体までの距離を計算することと、を含み、
少なくとも２つのピーク光強度の領域が、第２の投影アーチファクトに関連付けられた第２の軌道に対応する第２のウィンドウ内で検出された場合、前記処理システムによって、前記複数の投影アーチファクトのうち前記第２の投影アーチファクトの位置を前記計算することから除外することをさらに含む方法。
前記軌道の前記移動方向に垂直な方向における前記第１のウィンドウの幅が、前記第１の投影アーチファクトの直径以下である、請求項１６に記載の方法。
前記検出することより前に、
前記処理システムによって、前記第１のウィンドウのサブウィンドウにわたる光強度の量を計算することであって、前記サブウィンドウが、前記軌道の前記移動方向に垂直な方向では前記第１のウィンドウの全体にわたって伸張しているが、前記軌道の前記移動方向に平行な方向では前記第１のウィンドウの全体よりも短く伸張している、計算することをさらに含む、請求項１８に記載の方法。
少なくとも２つのピーク光強度の領域が、第２の投影アーチファクトに関連付けられた第２の軌道に対応する第２のウィンドウ内で検出された場合、前記処理システムによって、前記複数の投影アーチファクトのうち前記第２の投影アーチファクトの位置を前記計算することから除外することをさらに含む、請求項１から６、請求項８から１３、請求項１６、１８および１９のうちいずれか１項に記載の方法。