JP6648147B2 - 距離センサ - Google Patents

距離センサ Download PDF

Info

Publication number
JP6648147B2
JP6648147B2 JP2017540972A JP2017540972A JP6648147B2 JP 6648147 B2 JP6648147 B2 JP 6648147B2 JP 2017540972 A JP2017540972 A JP 2017540972A JP 2017540972 A JP2017540972 A JP 2017540972A JP 6648147 B2 JP6648147 B2 JP 6648147B2
Authority
JP
Japan
Prior art keywords
projection
beams
points
projection points
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2017540972A
Other languages
English (en)
Other versions
JP2017532580A5 (ja
JP2017532580A (ja
Inventor
丈夫 宮沢
丈夫 宮沢
昭輝 木村
昭輝 木村
トマソ ポッジオ
トマソ ポッジオ
Original Assignee
マジック アイ インコーポレイテッド
マジック アイ インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by マジック アイ インコーポレイテッド, マジック アイ インコーポレイテッド filed Critical マジック アイ インコーポレイテッド
Publication of JP2017532580A publication Critical patent/JP2017532580A/ja
Publication of JP2017532580A5 publication Critical patent/JP2017532580A5/ja
Application granted granted Critical
Publication of JP6648147B2 publication Critical patent/JP6648147B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/026—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring distance between sensor and object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/315—Modulator illumination systems
    • H04N9/3161—Modulator illumination systems using laser light sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Measurement Of Optical Distance (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Description

本開示は、一般的なコンピュータビジョンシステムに関し、より詳細には、車両と物体又は点との間の距離を空間内で測定するためのセンサに関する。
関連出願の相互参照
本出願は、２０１４年１０月２４日出願の米国特許仮出願第６２／０６８，２５０号及び２０１５年５月１０日出願の米国特許仮出願第６２／１５９，２８６号の利益を主張するものである。これらの出願のいずれも全体的に本願に引用して援用する。
ロボット車両及びドローンなどの無人車両は、通常、周囲環境における妨害物検出及びナビゲーションのためにコンピュータビジョンシステムを利用する。これらのコンピュータビジョンシステムは、さらに、通常、周囲環境から視覚データを取得するさまざまなセンサを使用し、コンピュータビジョンシステムは、周囲環境についての情報を集めるためにこれらのデータを処理する。例えば、１つ以上の撮像センサを介して取得されたデータは、車両から周囲環境内の特定の物体又は点までの距離を決定するために使用され得る。
１つの実施形態では、距離センサは、視野の画像を取り込むように配置された画像取り込みデバイスと、画像取り込みデバイスの第１のレンズ周りに配置された第１の複数の投影点であって、第１の複数の投影点の各々の投影点は、複数の投影ビームを視野内で異なる方向に発するように構成される、第１の複数の投影点とを含む。
別の実施形態では、物体までの距離を算出するための方法は、複数の投影ビームを複数の投影点の各々から投影するステップであって、複数の投影点は、画像取り込みデバイスのレンズ周りに配置され、複数の投影ビームの各々のビームは、視野内で異なる方向に向けられる、投影するステップと、視野の画像を取り込むステップであって、物体を画像内に見ることができ、複数の投影ビームによって生成された投影パターンもまた、画像内に見ることができる、取り込むステップと、画像内の情報を使用して物体までの距離を算出するステップとを含む。
別の実施形態では、コンピュータ可読記憶デバイスは、プロセッサによって実行されたとき、プロセッサに物体までの距離を算出するための動作を実行させる複数の命令を記憶する。動作は、複数の投影ビームを複数の投影点の各々から投影するステップであって、複数の投影点は、画像取り込みデバイスのレンズ周りに配置され、複数の投影ビームの各々のビームは、視野内で異なる方向に向けられる、投影するステップと、視野の画像を取り込むステップであって、物体を画像内に見ることができ、複数の投影ビームによって生成された投影パターンもまた画像内に見ることができる、取り込むステップと、画像内の情報を使用して物体までの距離を算出するステップとを含む。
別の実施形態では、物体までの距離を算出するための方法は、複数の光点を視野上に複数の投影点から投影するステップと、視野の画像を取り込むステップであって、物体を画像内に見ることができ、複数の光点によって形成された投影パターンもまた画像内に見ることができる、取り込むステップと、複数の光点のうち少なくとも２つ間の位置関係にしたがって物体までの距離を算出するステップであって、複数の光点のうち少なくとも２つは、複数の投影点のうち少なくとも２つの異なる投影点によって発せられる、算出するステップとを含む。
別の実施形態では、コンピュータ可読記憶デバイスは、サーバのプロセッサによって実行されたとき、プロセッサに物体までの距離を算出するための動作を実行させる複数の命令を記憶する。動作は、複数の光点を視野上に複数の投影点から投影するステップと、視野の画像を取り込むステップであって、物体を画像内に見ることができ、複数の光点によって形成された投影パターンもまた画像内に見ることができる、取り込むステップと、複数の光点のうち少なくとも２つの間の位置関係にしたがって物体までの距離を算出するステップであって、複数の光点のうち少なくとも２つは、複数の投影点のうち少なくとも２つの異なる投影点によって発せられる、算出するステップとを含む。
本開示の教示は、添付の図に関連して以下の詳細な説明を考慮することによって容易に理解され得る。
本開示の距離センサの１つの実施形態の断面図である。 図１Ａの距離センサの上面図である。 図１Ａ及び１Ｂの距離センサの例示的な視野を示す図である。 約３６０度の視野を有する距離センサの１つの実施形態を示す図である。 センサから物体又は点までの距離を空間内で算出するための方法の流れ図である。 センサから物体又は点までの距離が、算出され得る三角法技術を示す図である。 本明細書に説明する機能を実行する際に使用するのに適した汎用コンピュータの高レベルブロック図である。 リング形状のパターンを投影するように構成された距離センサの１つの簡易化された例を示す図である。 図７Ａの距離センサによって発せられ得る投影パターンのさらに三次元の図である。 傾斜角度の概念を見ることができる図７Ａの距離センサの別の図である。 図７Ａ〜７Ｃのセンサを使用して物体までの距離を算出するための簡単なアルゴリズムを導き出すことができる概念を示す図である。 図７Ａ〜７Ｃのセンサを使用して物体までの距離を算出するための簡単なアルゴリズムを導き出すことができる概念を示す図である。 例示的な距離センサに拡張される図８Ａ〜８Ｂの概念を示す図である。 本開示の距離センサの別の実施形態を示す図である。 本開示の距離センサの別の実施形態を示す図である。 本開示の距離センサの別の実施形態を示す図である。 本開示の距離センサの別の実施形態を示す図である。
理解を容易にするために、同一の参照番号が、可能な場合に、図に共通する同一の要素を示すために使用されている。
１つの実施形態では、本開示は、距離センサに関する。距離センサは、コンピュータビジョンシステムが車両から周囲環境内の特定の物体又は点までの距離を決定するのを助けるために無人車両において使用され得る。例えば、距離センサは、１つ以上の光ビームを物体又は点上に投影し、次いで、飛行時間（ＴＯＦ）、反射された光（例えばレーダ）の分析又は他の手段にしたがって距離を算出することができる。しかし、このタイプの従来の距離センサは、かさばる傾向があり、したがって小型車両に使用するには適さないことがある。さらに、センサは、製造するのが非常に高価であり、限定された視野を有する傾向があり得る。例えば、複数の従来の撮像センサの配置を使用しても、３６０度未満の視野しか提供されない。
本開示の実施形態は、小型の距離センサであって、製造が経済的であり、少ししか又は全く可動部材を含まず、最大３６０度の視野内で距離を測定することができる、小型の距離センサを提供する。１つの実施形態では、センサは、回折光学素子（ＤＯＥ）の配列などのビーム分割手段のセットを使用して、広角レンズの周りに複数の投影点を生成する。複数の投影点の各々は、複数のビームを視野内に発する。ビームの外観から、センサは、１８０度の半球視野内で距離を測定することができる。２つのそのようなセンサを背中合わせに装着することにより、距離は、３６０度の視野内で測定され得る。ＤＯＥは、単一光源（例えばレーザ）によって生成されたビームを複数の投影ビームに分割することを可能にし、この複数の投影ビームは、視野内の物体又は点上に投影される。しかし、他の実施形態では、複数光源によって発せられたビームが、ＤＯＥによって分割される。センサから物体又は点までの距離が、次いで、投影及び複数の投影からの画像の取り込みの１回のサイクルで算出され得る。
図１Ａ及び１Ｂは、本開示の距離センサ１００の１つの実施形態を示す。特に、図１Ａは、距離センサ１００の断面図を示し、一方で図１Ｂは、図１Ａの距離センサ１００の上面図を示す。距離センサ１００は、例えば、無人車両に装着され得る。
図１Ａでは、距離センサ１００は、小型のハウジング１０２内に配置された複数の構成要素を備える。構成要素は、少なくとも１つの光源１０４と、これ以後第１の回折光学素子１０６と称される第１のビーム分割手段と、これ以後第２の回折光学素子１０８１〜１０８ｎと称される（さらに、これ以後集合的に「第２の回折光学素子１０８”」と称される）第２のビーム分割手段の配列と、広角レンズ１１２を含む撮像センサ１１０とを備える。
構成要素は、中央軸Ａ−Ａ’の周りにほぼ対称的に配置される。１つの実施形態では、中央軸Ａ−Ａ’は、撮像センサ１１０の光学軸と一致する。１つの実施形態では、光源１０４は、中央軸Ａ−Ａ’の第１の端部に配置される。１つの実施形態では、光源１０４は、中央軸Ａ−Ａ’に沿って光の単一ビームを発するレーザ光源である。これ以後、光源１０４によって発せられた単一ビームはまた、「一次ビーム」と称され得る。１つの実施形態では、光源１０４は、人間の視覚に対して比較的安全であることが知られている波長の光を発する（例えば赤外線）。別の実施形態では、光源１０４は、その出力の強度を調整するための回路を含むことができる。別の実施形態では、光源１０４は、パルス式に光を発し、それによって画像取り込みに対する周囲光の影響を軽減することができる。
第１の回折光学素子（ＤＯＥ）１０６は、光源１０４の近位（例えば光源１０４によって発せられた光が伝播する方向に対して、光源１０４の「正面」）に中央軸Ａ−Ａ’に沿って配置される。特に、第１のＤＯＥ１０６は、光源１０４によって発せられた単一の光ビームをとらえ、単一又は一次ビームを複数の二次ビームに分割するように配置される。１つの実施形態では、中央軸Ａ−Ａ’と二次ビームの各々との間の角度は等しい。第１のＤＯＥ１０６は、一次ビームを、異なる方向に一次ビームから分岐する複数の二次ビームに分割することができる任意の光学構成要素である。例えば、１つの実施形態では、第１のＤＯＥ１０６は、円すい鏡又はホログラフィフィルムを含むことができる。この場合、複数の二次ビームは、円錐形状で配置される。別の実施形態では、一次ビームは、回折以外の手段によって分割され得る。
二次ＤＯＥ１０８の配列は、第１のＤＯＥ１０６の近位（例えば光源１０４によって発せられた光が伝播する方向に対して、ＤＯＥ１０６の「前」）に中央軸Ａ−Ａ’に沿って配置される。特に、第２のＤＯＥ１０８の配列は、第１のＤＯＥ１０６が、光源１０４と、第２のＤＯＥ１０８の配列との間に配置されるように配置される。図１Ｂにより明確に示すように、１つの実施形態では、第２のＤＯＥ１０８は、リング形状配列で配置され、このとき中央軸Ａ−Ａ’は、リングの中心を通り抜け、第２のＤＯＥ１０８はリング周りに定間隔で離間される。例えば、１つの実施形態では、第２のＤＯＥ１０８は、リング周りに約３０度離して離間される。１つの実施形態では、第２のＤＯＥ１０８の配列は、光源１０４によって発せられた光が伝播する方向に対して、撮像センサ１１０の主点（すなわち光学軸Ａ−Ａ’が画像平面と交差する点）の「後方」に配置される。
各々の第２のＤＯＥ１０８は、第１のＤＯＥ１０６によって生み出された二次ビームの１つをとらえ、この二次ビームを複数の（例えば、２つ又はそれ以上の）三次ビームに分割し、この三次ビームは、第２のＤＯＥ１０８から離れるように径方向に向けられる。したがって、各々の第２のＤＯＥ１０８は、センサ１００の投影点を画定し、この投影点から、投影ビーム（又は三次ビーム）のグループが、視野内に発せられる。１つの実施形態では、各々それぞれの複数の三次ビームは、約１００度の範囲を対象とするように広がる。第２のＤＯＥ１０８は、それぞれの二次ビームを、異なる方向に二次ビームから分岐する複数の三次ビームに分割することができる任意の光学構成要素である。例えば、１つの実施形態では、各々の第２のＤＯＥは、円すい鏡又はホログラフィフィルムを含むことができる。しかし、他の実施形態では、二次ビームは、回折以外の他の手段によって分割される。
１つの実施形態では、各々複数の三次ビームは、ファンパターン又は径方向パターンで配置され、このときビームの各々の間に等しい角度を有する。１つの実施形態では、第２のＤＯＥ１０８の各々は、表面上に異なる視覚パターンを作り出す三次ビームを投影するように構成される。例えば、１つの二次ＤＯＥ１０８は、ドットのパターンを投影することができ、一方で別の第２のＤＯＥ１０８は、線又は「ｘ」のパターンを投影することができる。
撮像センサ１１０は、第２のＤＯＥ１０８の配列の中央に（例えば、光源１０４によって発せられた光が伝播する方向に対して、第２のＤＯＥ１０８の配列の少なくとも部分的に「前」）に中央軸Ａ−Ａ’に沿って配置される。１つの実施形態では、撮像センサ１１０は、静止カメラ又はビデオカメラなどの画像取り込みデバイスである。上記で論じたように、撮像センサ１１０は、半球視野を作り出す、魚眼レンズなどの広角レンズを含む。１つの実施形態では、撮像センサ１１０は、距離センサ１００から物体又は点までの距離を算出するための回路を含む。別の実施形態では、撮像センサは、取り込まれた画像をネットワークを介してプロセッサに送るためのネットワークインタフェースを含み、この場合プロセッサは、距離センサ１００から物体又は点までの距離を算出し、次いで、算出された距離を距離センサ１００に戻す。
したがって、１つの実施形態では、距離センサ１００は、単一光源（例えば光源１０４）を使用して、投影ビーム（例えばドット又は線のパターンを含む）のセットがそこから発せられる複数の投影点を生み出す。距離センサ１００から物体までの距離は、視野内の投影ビームの外観から算出され得る（これは、以下でより詳細に論じられる）。特に、第１及び第２のＤＯＥの使用は、光源によって発せられた光の単一ビームから、レンズ周りに複数の投影点を生成することを可能にする。これにより、距離センサ１００は、広い視野内で距離を測定しながら相対的に小型の物理的形状及び大きさ（form factor）を維持することが可能になる。撮像センサ１１０及び光源１０４はまた、設計をより小型化するために同じ平面内に装着することができるが、１つの実施形態では、第２のＤＯＥ１０８１−１０８ｎは、（例えば、視野の深さ角度が、完全な１８０度に近い、又は一部の場合ではさらにそれより大きくなるように）投影ビームによって対象とされ得る視野を増大させるために、撮像センサ１１０の主点の後方に配置される。
さらに、第２のＤＯＥ１０８の各々が異なるパターンの三次ビームを投影するため、撮像センサ内の回路は、取り込まれた画像内のどのビームが、第２のＤＯＥ１０８のどれによって作り出されたかを容易に決定することができる。これは、距離算出を容易にし、これは、以下にさらに詳細に論じられる。
センサ１００が、単一光源１０４だけを含む（センサ１００内の構成要素の総数を低減する）ものとして示されているが、代替の実施形態では、センサは複数光源を含むことができる。この場合、第１のＤＯＥ１０６は、必要ではない。その代わり、１つの実施形態では、複数光源の各々の光源が、（図１Ａ及び図１Ｂ内の第２のＤＯＥ１０８の配列などの）ＤＯＥの配列内の１つのＤＯＥに対応することができる。とりわけ、この構成は、（例えば、配列内の各々のＤＯＥによって画定された１つの投影点などの）複数の投影点を撮像センサのレンズ周りに依然として生み出し、そこから、投影ビームのセットが発せられ得る。
図２は、図１Ａ及び１Ｂの距離センサ１００の例示的な視野２００を示す。図２では、距離センサ１００の特定の構成要素もまた、分解図で示される。図示するように、視野２００は、実質的には半球形状である。さらに、距離センサ１００によって生み出された複数の三次光ビームは、光のパターンを「仮想の」半球上に投影する。パターンは、各々の三次ビームが半球と交わるところに示された一連の同心円によって表される。円は、距離センサ１００からの距離が増大するにつれて徐々にサイズが低減するものとして表されて、三次ビームによって作り出されたパターンが、物体距離によって視覚的にどのように変化するかを示す。
図２に示すように、距離センサ１００の視野は、約１８０度を対象とする。１つの実施形態では、視野は、２つの距離センサを背中合わせに装着することによって約３６０度まで拡張され得る。
図３は、例えば、約３６０度の視野を有する距離センサ３００の１つの実施形態を示す。距離センサ３００は、実際には、図１Ａ及び１Ｂの距離センサ１００と同じように構成された２つの距離センサ３０２１及び３０２２を備えるが、背中合わせの配置で装着され、すなわち、２つの距離センサ３０２１及び３０２２のそれぞれの光源３０４１及び３０４２は、隣接するが、その一次ビームは反対方向に投影する（すなわち２つの一次ビームの間に１８０度の相違が存在する）。
図示するように、２つの距離センサ３０２１及び３０２２は、図１Ａ及び１Ｂの距離センサ１００と実質的に同じように構成され得る。したがって、各々の距離センサ３０２１及び３０２２は、それぞれ光源３０４１及び３０４２と、それぞれの撮像センサ３０６１及び３０６２と、それぞれの広角レンズ３０８１及び３０８２と、それぞれの第１のＤＯＥ３１０１及び３１０２と、第２のＤＯＥ３１２１１〜３１２１ｎ及び３１２２１〜３１２２ｎのそれぞれの円配列とを含む。しかし、撮像センサ３０６１又は３０６２は、距離センサ３００から物体又は点までの距離を算出するための回路又はネットワークインタフェースを共有することができる。
とりわけ、第２のＤＯＥ３１２１１〜３１２１ｎ及び３１２２１〜３１２２ｎは、この実施形態では、そのそれぞれの撮像センサ３０６１及び３０６２の主点の後方に配置される。撮像センサ３０６１及び３０６２（及び特にレンズ３０８１及び３０８２）と、第２のＤＯＥ３１２１１〜３１２１ｎ及び３１２２１〜３１２２ｎの相対的位置決めは、距離センサ３００によって投影されたビームパターンが、（例えば、各々の距離センサ３０２１及び３０２２に対して完全な１８０度により近い、又はセンサ３００全体に対して完全な３６０度により近いなど）より大きな視野を対象とすることを可能にする。
図４は、センサから物体又は点までの距離を空間内で算出するための方法４００の流れ図を示す。１つの実施形態では、方法４００は、（図１Ａに示す撮像センサ１１０などの）撮像センサ内に組み込まれたプロセッサ又は図５に示し、以下に論じる汎用コンピューティングデバイスによって実行され得る。
方法４００は、ステップ４０２において始まる。ステップ４０４では、光源は、光の一次ビームを生成するように作動される。１つの実施形態では、単一の一次ビームが、単一光源によって生成されるが、他の実施形態では、複数の一次ビームが、複数光源によって生成される。１つの実施形態では、光源又は複数光源は、レーザ光源を含む。
任意選択のステップ４０６では、一次ビームは、一次ビームがそれに沿って伝播する経路内に配置された第１のビーム分割手段（例えば回折光学素子）を使用して複数の二次ビームに分割される。第１のビーム分割手段は、例えば、円すい鏡でよい。ステップ４０６は、例えば、（撮像センサがその一部である）距離センサが単一光源のみを含むときに実行される。
ステップ４０８では、複数の二次ビーム内の各々のビームは、ビーム分割手段の配列内の第２のビーム分割手段（例えば第２の回折光学素子）を使用して複数の投影ビーム又は三次ビームに分割される。１つの実施形態では、複数の第２のビーム分割手段は、リングとして配置され、それにより、各々の第２のビーム分割手段は、第２のビームの１つがそれに沿って伝播する経路内に配置される。１つの実施形態では、第２のビーム分割手段の少なくとも一部は、円すい鏡である。１つの実施形態では、距離センサが複数光源を備える場合、方法４００は、ステップ４０４からステップ４０８に直接進むことができる。この場合、（複数光源を使用して生成された）複数の一次ビームの各々の一次ビームは、第２のビーム分割手段の１つによって複数の投影ビームに直接的に分割される。
ステップ４１０では、物体又は点の少なくとも１つの画像が、取り込まれる。画像は、物体又は点上に、及び周囲空間上に投影されるパターンを含む。パターンは、投影ビームの各々が、一連のドット、線又は他の形状を物体、点、又は周囲空間上に投影することによって作り出される。
ステップ４１２では、センサから物体又は点までの距離が、ステップ４１０において取り込まれた画像からの情報を使用して算出される。１つの実施形態では、三角法技術が、距離を算出するために使用される。例えば、センサによって投影されたパターンの部分間の関係が、算出の基礎として使用され得る。
方法４００は、ステップ４１４において終了する。こうして、方法４００は、図１Ａ〜１Ｂ又は図３に示すセンサと組み合わせて、画像取り込み及び算出の単一のサイクルにおいてセンサから物体又は点までの距離を空間内で測定することができる。
図５は、例えば、センサから物体又は点までの距離が、ステップ４１２においてそれによって算出することができる三角法技術を示す。特に、図５は、図１の例示的な撮像センサ１１０と共に、第２の回折光学素子１０８１及び１０８２の２つによって画定され得る投影点のうち２つを示す。投影点は、撮像センサ１１０から等しい距離ｘで離間され、それにより、２つの投影点（例えばｘ＝ｓ／２）の間のｓの距離が存在するようになる。投影点の各々は、それぞれの投影ビーム５００１及び５００２を発し、これらのビームは、物体上に入射してそれぞれの点５０２１及び５０２２（例えばドット又は線）を一パターンとして作り出す。これらの点５０２１及び５０２２は、撮像センサ１１０によって検出され、撮像センサ１１０と物体の間の距離Ｄを以下の通りに算出するために使用され得る：
Ｄ＝ｓ／（−ｔａｎα２＋ｔａｎα１＋ｔａｎθ２＋ｔａｎθ１） （式１）
式中、α２は、投影ビーム５００２と第２の回折光学素子１０８２の中央軸ｃ２との間に形成された角度であり、α１は、投影ビーム５００１と第２の回折光学素子１０８１の中央軸ｃ１との間に形成された角度であり、θ２は、撮像センサ１１０の中央光学軸Ｏと、撮像センサ１１０が投影ビーム５００２によって作り出された点５０２２を知覚する角度との間に形成された角度であり、θ１は、撮像センサ１１０の中央光学軸Ｏと、撮像センサ１１０が、投影ビーム５００１によって作り出された点５０２１を知覚する角度との間に形成された角度である。
式１は、以下の関係から導き出される。
Ｄ＊ｔａｎα１＋Ｄ＊ｔａｎθ１＝ｘ （式２）
Ｄ＊ｔａｎα２＋Ｄ＊ｔａｎθ２＝ｓ−ｘ （式３）
式２及び３は、（例えばドットのパターンを含む）投影パターン源から、投影パターンがその上に投影される物体までの距離を算出することを可能にする。距離は、光点がその源周りの種々の投影点によって発せられたときに投影パターンを形成する光点（例えばドット）間の位置関係に基づいて算出される。この実施形態では、光点間の位置関係は、先験的に知られている（すなわち算出の一部として測定されない）。
図６は、本明細書において説明する機能を実行する際に使用するのに適した汎用コンピュータの高レベルのブロック図を示す。図６に示すように、システム６００は、１つ以上のハードウェアプロセッサ要素６０２（例えば中央処理ユニット（ＣＰＵ）、マイクロプロセッサ、又はマルチコアプロセッサ）と、メモリ６０４、例えばランダムアクセスメモリ（ＲＡＭ）及び／又は読み取り専用メモリ（ＲＯＭ）と、距離を算出するためのモジュール６０５と、さまざまな入力／出力デバイス６０６（例えば、それだけに限定されないが、テープドライブ、フロッピードライブ、ハードディスクドライブ、又はコンパクトディスクドライブを含む記憶装置、受信機、送信機、レンズ及び光学系、出力ポート、入力ポート、及びユーザ入力デバイス（キーボード、キーパッド、マウス、マイクロホンなど））とを備える。１つだけのプロセッサ要素が示されているが、汎用コンピュータは、複数のプロセッサ要素を使用してよいことに留意されたい。さらに、１つだけの汎用コンピュータが図に示されているが、上記で論じた方法が、特定の説明上の例に関して分散式又は並行式に実施される場合、すなわち上記の方法又は方法全体のステップが、複数の又は並行の汎用コンピュータにわたって実施される場合、この図の汎用コンピュータは、これらの複数の汎用コンピュータの各々を表すように意図される。さらに、１つ以上のハードウェアプロセッサは、仮想化された又は共通化されたコンピューティング環境を支持するのに利用され得る。仮想化されたコンピューティング環境は、コンピュータ、サーバ、又は他のコンピューティングデバイスを表す１つ以上の仮想機械を裏付けることができる。そのような仮想化された仮想機械では、ハードウェアプロセッサなどのハードウェア構成要素及びコンピュータ可読記憶デバイスは、仮想化され又は論理的に表され得る。
本開示は、ソフトウェア及び／又はソフトウェア及びハードウェアの組み合わせにおいて、例えば特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）を含むプログラマブルロジックアレイ（ＰＬＡ）、又はハードウェアデバイス上に配備されるステートマシンを使用して実施することができ、汎用コンピュータ又は任意の他のハードウェアの等価物、例えば上記で論じた方法に関係するコンピュータ可読命令は、上記で開示した方法のステップ、機能、及び／又は動作を実行するようにハードウェアプロセッサを構成するために使用され得ることに留意されたい。１つの実施形態では、距離を算出するための本発明のモジュール又はプロセス６０５（例えば、コンピュータ可読命令を含むソフトウェアプログラム）のための命令及びデータは、メモリ６０４にロードされ、ハードウェアプロセッサ要素６０２によって実行されて、例示的な方法４００に関連して上記で論じたステップ、機能、又は動作を実施することができる。さらに、ハードウェアプロセッサが命令を実行して「動作」を実行するとき、これは、ハードウェアプロセッサが動作を直接的に実行すること、及び／又は動作を実行するように別のハードウェアデバイス又は構成要素（例えばコプロセッサなど）と共に促し、方向付け、共働することを含むことができる。
上記で説明した方法に関するコンピュータ可読命令又はソフトウェア命令を実行するプロセッサは、プログラムされたプロセッサ又は専用のプロセッサとして認識され得る。したがって、本開示の（関連するデータ構造を含む）距離を算出するための本発明のモジュール６０５は、実体的な又は物理的な（広く言えば非一時的な）コンピュータ可読記憶デバイス又は媒体、例えば、揮発性メモリ、非揮発性メモリ、ＲＯＭメモリ、ＲＡＭメモリ、磁気又は光学ドライブ、デバイス、又はディスケット上などに記憶され得る。より詳細には、コンピュータ可読記憶デバイスは、コンピュータ又はアプリケーションサーバなどのプロセッサ又はコンピューティングデバイスによってアクセスされるデータ及び／又は命令などの情報を記憶する能力を提供する任意の物理的デバイスを備えることができる。
上記で論じたように、例えば回折光学素子（ＤＯＥ）などのビーム分割手段によって画定された投影点のセットは、さまざまなパターンを視野上に投影するように構成され得る。例えば、投影されたパターンの個々の光点の形状は、変動し得る（例えば、光点は、ドット、線などを含むことができる）。加えて、個々の光点は、集合的に、他の潜在的なパターンの中でもとりわけ、リング形状パターン、球状パターン、平行線もしくは平面のパターン、又は三角形パターンを形成することができる。換言すれば、個々の光点のグループは、（例えば、球状もしくは三角形形状又は平行線もしくは平面のパターンを有する投影パターンに合わせて）順序性を有する線又は複数の線を形成することができる。１つの実施形態では、個々の光点間の順序性は、同じであり、又は類似の特徴（例えば線対称、回転一致、部分的一致など）を共有する。さらに個々の光点のグループは、（例えばリング形状を有する投影パターンに合わせて）順序性を有するドットを形成することができる。１つの実施形態では、個々の光点間の順序性は、同じであり、又は類似の特徴（例えば、ドット形状の相違性、間隔関係など）を共有する。
図７Ａは、リング形状のパターンを投影するように構成された距離センサ７００の１つの簡易化された例を示す。距離センサ７００の光学軸は、線Ａ−Ａ’及び撮像センサ７１０の主点７０２（すなわち光学軸Ａ−Ａ’が画像平面と交差する点）によって示される。１つの実施形態では、ビーム分割手段７０４１〜７０４ｎ（これ以後集合的に「ビーム分割手段７０４」と称される）のリングは、撮像センサ７１０の主点７０２の後方に配置される。光学軸Ａ−Ａ’から各々のビーム分割手段７０４までの距離は、「ａ」によって示され、一方で各々のビーム分割手段７０４から主点７０２までの（光学軸Ａ−Ａ’に沿った）距離は、「ｂ」によって示される。
図示するように、ビーム分割手段７０４の各々は、ビーム分割手段７０４から複数の方向に径方向に外方向に延びる複数の投影ビーム７０６を発する。集合的に、投影ビーム７０６の各々のセットは、投影線７０８を形成する。図７Ａに示す例では、投影ビーム７０６の各々のセットの投影線７０８は、リングの少なくとも一部分に似ている。
図７Ｂは、図７Ａの距離センサ７００によって発せられ得る投影パターンのさらに三次元の図を示す。図示するように、所与のビーム分割手段７０４によって発せられた（これ以後、集合的に「投影ビーム７０６」と称される）投影ビーム７０６１〜７０６ｏの各々のグループは、集合的に、（これ以後、集合的に「ビーム平面７１４」と称される）ビーム平面７１４１〜７１４ｍを形成する。１つの実施形態では、所与のビーム平面７１４を形成する投影ビーム７０６は、ビーム平面７１４に対して垂直方向に投影される。投影ビーム７０６の種々のグループによって作り出されたさまざまなビーム平面７１４は、図示するように重複することができる。加えて、各々のビーム平面７１４の視覚的外観は、関連するビーム分割手段７０４によって発せられた投影パターンに基づいて変動し得る。例えば、ビーム平面７１４１は、投影ビームのそれぞれのグループによって作り出された光点の種々のパターンに基づいて、ビーム平面７１４ｍとは視覚的に異なって現れ得る。
図７Ｃは、傾斜角度の概念を見ることができる、図７Ａの距離センサ７００の別の図を示す。図示するように、投影ビーム７０６ｏを含む投影ビームのグループによって形成された例示的なビーム平面７１４ｍの投影方向は、ビーム平面７１４ｍと、撮像センサの主点から径方向に延びる軸との間に傾斜角度αを形成する。図示する例では、ビーム平面を傾斜角度αで傾斜させることにより、複数のビーム平面の重複が最小限に抑えられ得る。ビーム平面を傾斜させることはまた、表面上に投影された個々光点間を区別することをより容易にし、それによって距離センサ７００から物体までの距離を比較的簡単なアルゴリズムを使用して算出することを可能にする。
図８Ａ及び８Ｂは、例えば、図７Ａ〜７Ｃのセンサを使用して物体までの距離を算出するための簡単なアルゴリズムを導き出すことができる概念を示す。図８Ａを参照すれば、ＯｐからＤまでのベクトルｒ０の高さｚ、深さｙ、及び長さｘは、以下の通りに計算され得る。
ｚ＝ｒ０ ｓｉｎθ （式４）
ｙ＝ｒ０ ｃｏｓθ ｓｉｎα （式５）
ｘ＝ｒ０ ｃｏｓθ ｃｏｓα （式６）
したがって、
ｒ０ ２＝ｘ２＋ｙ２＋ｚ２ （式７）
図８Ｂを参照すれば、高さがｂだけ低減され、長さがａだけ増大されるとき、寸法は以下のように計算され得る。
ｚ−ｂ＝Ｒ０ ｓｉｎφ （式８）
ｙ＝Ｒ０ ｃｏｓφ ｓｉｎβ （式９）
ｘ＋ａ＝Ｒ０ ｃｏｓφ ｃｏｓβ （式１０）
したがって、
Ｒ０ ２＝（ｘ＋ａ）２＋ｙ２＋（ｚ−ｂ）２ （式１１）
式４及び式８から、
Ｒ０ ｓｉｎφ＋ｂ＝ｒ０ ｓｉｎθ （式１２）
が、導き出され得る。
式５及び式９から、
Ｒ０ ｃｏｓφ ｓｉｎβ＝ｒ０ ｃｏｓθ ｓｉｎα （式１３）
が、導き出され得る。
式６及び式１０から、
Ｒ０ ｃｏｓφ ｃｏｓβ−ａ＝ｒ０ ｃｏｓθ ｃｏｓα （式１４）
が、導き出され得る。
したがって、
となる。
β及びφは、撮像センサによって取り込まれた画像から測定され、ａ、ｂ、及びαは、撮像センサ／投影構成から知られており、θは、投影パターンから知られている。
図９は、例示的な距離センサ９００に拡張される図８Ａ〜８Ｂの概念を示す。例示的な距離センサ９００は、（ビーム分割手段を含む）光源９０２と、第２のビーム分割手段のリング形状配列９０４と、（広角レンズを含む）撮像センサ９０６とを含む。例示的な距離センサ９００は、仮想球形９０８を形成する光のパターンを投影するように構成される。
図１０Ａ及び１０Ｂは、本開示の距離センサ１０００の別の実施形態を示す。特に、図１０Ａは、距離センサ１０００の簡易化された分解図を示し、一方で図１０Ｂは、図１０Ａの距離センサ１０００の簡易化された断面図を示す。
特に、図１０Ａ及び１０Ｂは、投影ビームを生み出すために使用される構成要素のサブセットのみを示し、例えば、撮像センサ及びハウジングは省いている。したがって、距離センサ１０００は、通常、少なくとも１つの光源（例えばレーザ光源）１００４と、第１のビーム分割手段１００６と、第２のビーム分割手段１００８とを備える。１つの実施形態では、第２のビーム分割手段１００８は、光の個々のビームをビームのグループに分割することができる複数の投影点を有する、ホログラフィフィルム又は他の材料などの単一のリング形状デバイスを備える。加えて、距離センサ１０００は、円すい鏡１００２を含む。
この場合、第１のビーム分割手段１００６は、光源１００４によって発せられた一次ビームを複数の二次ビームに分割する。二次ビームの各々は、次いで、円すい鏡１００２の表面上に入射し、この円すい鏡は、二次ビームの各々を第２のビーム分割手段１００８の方に向け直す。第２のビーム分割手段１００８上の各々の投影点は、二次ビームを、上記で説明したように複数の三次ビーム又は投影ビームに分割する。
図１１Ａ及び１１Ｂは、本開示の距離センサ１１００の別の実施形態を示す。特に、図１１Ａは、距離センサ１１００の簡易化された分解図を示し、一方で図１１Ｂは、図１１Ａの距離センサ１１００の簡易化された断面図を示す。
特に図１１Ａ及び１１Ｂは、投影ビームを生み出すために使用される構成要素のサブセットのみを示し、例えば、撮像センサ及びハウジングは省いている。したがって図１０Ａ及び１０Ｂに示す距離センサ１０００と同様に、距離センサ１１００は、通常、少なくとも１つの光源（例えばレーザ光源）１１０４と、第１のビーム分割手段１１０６と、（これ以後集合的に「第２のビーム分割手段１１０８」と称される）第２のビーム分割手段１１０８１〜１１０８ｎの配列とを備える。この場合、複数の個々の第２のビーム分割手段１００８は、リング形状配列で配置される。配列は、ピラミッド形鏡又は多面鏡１１０２の周囲周りに配置される。
この場合、第１のビーム分割手段１１０６は、光源１１０４によって発せられた一次ビームを複数の二次ビームに分割する。二次ビームの各々は、次いで、ピラミッド形鏡１１０２の表面上に入射し、このピラミッド形鏡は、二次ビームの各々を第２のビーム分割手段１１０８の１つの方に向け直す。第２のビーム分割手段１１０８の各々１つは、上記で説明したように二次ビームを複数の三次ビーム又は投影ビームに分割する。
さまざまな実施形態が上記で説明されてきたが、これらは、限定的ではなく例としてのみ提示されていることを理解されたい。したがって、好ましい実施形態の広さ及び範囲は、上記で説明した例示的な実施形態のいずれにも限定されてはならず、以下の特許請求の範囲及びその等価物にしたがってのみ定義されなければならない。

Claims (24)

  1. 視野の画像を取り込むように配置された画像取り込みデバイスと、
    前記画像取り込みデバイスの第１のレンズ周りに配置された第１の複数の投影点と、
    単一の光ビームを発するように構成された光源と、
    前記単一の光ビームを複数のビームに分割し、前記複数のビームの各々のビームを前記第１の複数の投影点のうち１つの投影点の方に向けるように配置されたビーム分割手段と、
    前記ビーム分割手段と前記第１の複数の投影点との間に配置された円すい鏡と、
    前記画像取り込みデバイスの第２のレンズであって、前記第１のレンズが指す方向から１８０度である方向を指す第２のレンズと、
    前記第２のレンズの周りに配置された第２の複数の投影点と、
    を備え、
    前記第１の複数の投影点の各々の投影点が、複数の投影ビームを前記視野内で異なる方向に発するように構成され、
    前記第２の複数の投影点の各々の投影点が、複数の投影ビームを前記視野内で異なる方向に発するように構成され、
    各々複数の投影ビームの各々の個別投影ビームが、形状の可視パターンを、自装置を取り囲む空間内に投影する、
    ことを特徴とする装置。
  2. 請求項１に記載の装置であって、
    前記複数の第１の投影点が、各々複数の投影ビームが伝播する方向に対して、前記画像取り込みデバイスの主点の後方に配置される、
    ことを特徴とする装置。
  3. 請求項１に記載の装置であって、
    前記光源がレーザ光源である、
    ことを特徴とする装置。
  4. 請求項１に記載の装置であって、
    前記光源がパルス式光源である、
    ことを特徴とする装置。
  5. 請求項１に記載の装置であって、
    前記光源が前記単一の光ビームの強度を調整するための回路を含む、
    ことを特徴とする装置。
  6. 請求項１に記載の装置であって、
    前記光源が複数光源のうちの１つであって、前記複数光源の各光源がそれぞれ単一の光ビームを発し、前記それぞれの単一の光ビームを前記第１の複数の投影点のうち１つの投影点の方に向けるように構成される、
    ことを特徴とする装置。
  7. 請求項６に記載の装置であって、
    前記ビーム分割手段が複数のビーム分割手段を含み、
    前記第１の複数の投影点の各々の投影点が、前記複数のビーム分割手段のうち、それぞれの単一の光のビームをそれぞれ複数の投影ビームに分割するように構成されたビーム分割手段を備える、
    ことを特徴とする装置。
  8. 請求項７に記載の装置であって、
    前記複数のビーム分割手段のうち少なくとも１つのビーム分割手段がホログラフィフィルムを備える、
    ことを特徴とする装置。
  9. 請求項８に記載の装置であって、
    前記複数のビーム分割手段が、リング形状配列で配置されている、
    ことを特徴とする装置。
  10. 請求項６に記載の装置であって、
    前記ビーム分割手段が、前記第１の複数の投影点がその周りに配置される単一のリング形状デバイスを備える、
    ことを特徴とする装置。
  11. 請求項１に記載の装置であって、
    一連の形状の前記可視パターンが、前記第１の複数の投影点の各々の投影点によって発せられた前記複数の投影ビームに合わせて変動する、
    ことを特徴とする装置。
  12. 請求項１に記載の装置であって、
    前記第１の複数の投影点が、前記第１の複数の投影点のすべての投影点によって発せられた前記複数の投影ビームによって球状パターンを集合的に作り出すように配置される、
    ことを特徴とする装置。
  13. 請求項１に記載の装置であって、
    前記第１の複数の投影点が、前記第１の複数の投影点のすべての投影点によって発せられた前記複数の投影ビームによってリング形状パターンを集合的に作り出すように配置される、
    ことを特徴とする装置。
  14. 請求項１に記載の装置であって、
    前記第１の複数の投影点が、前記第１の複数の投影点のすべての投影点によって発せられた前記複数の投影ビームによって平行線または平面のパターンを集合的に作り出すように配置される、
    ことを特徴とする装置。
  15. 請求項１に記載の装置であって、
    前記第１の複数の投影点が、前記第１の複数の投影点のすべての投影点によって発せられた前記複数の投影ビームによって三角形パターンを集合的に作り出すように配置される、
    ことを特徴とする装置。
  16. 請求項１に記載の装置であって、
    前記第１のレンズが半球形状を前記視野に与える広角レンズである、
    ことを特徴とする装置。
  17. 請求項１に記載の装置であって、さらに、
    前記画像取り込みデバイスによって取り込まれた画像を使用して、前記装置と前記視野内に配置された物体との間の距離を計算するための回路、
    を備えることを特徴とする装置。
  18. 物体までの距離を算出するための方法であって、
    単一の光ビームを光源によって発するステップと、
    前記単一の光ビームをビーム分割手段によって複数のビームに分割するステップと、
    前記ビーム分割手段によって、前記複数のビームの第１のサブセットを第１の複数の投影点の方へ向けるステップであって、前記ビーム分割手段が前記光源と前記第１の複数の投影点との間に位置し、前記第１のサブセットの各個別のビームが前記第１の複数の投影点のうちの１つの投影点の方へ向けられる、ステップと、
    複数の投影ビームを前記第１の複数の投影点の各々の投影点から投影するステップであって、前記第１の複数の投影点は、画像取り込みデバイスの第１のレンズ周りに配置され、前記複数の投影ビームの各々の投影ビームは、視野内で異なる方向に向けられ、各々複数の投影ビームの各々の個別の投影ビームは、一連の形状の可視パターンを自装置を取り囲む空間内に投影し、前記第１の複数の投影点が前記光源と前記第１のレンズとのあいだに位置する、ステップと、
    前記ビーム分割手段によって、前記複数のビームの第２のサブセットを第２の複数の投影点の方へ向けるステップであって、前記ビーム分割手段が前記光源と前記第２の複数の投影点との間に位置し、前記第２のサブセットの各個別のビームが前記第２の複数の投影点のうちの１つの投影点の方へ向けられる、ステップと、
    複数の投影ビームを前記第２の複数の投影点の各々の投影点から投影するステップであって、前記第２の複数の投影点は、前記第１のレンズが指す方向から１８０°である方向を指す、画像取り込みデバイスの第２のレンズ周りに配置され、前記複数の投影ビームの各々の投影ビームは、視野内で異なる方向に向けられ、各々複数の投影ビームの各々の個別の投影ビームは、一連の形状の可視パターンを自装置を取り囲む空間内に投影し、前記第２の複数の投影点が前記光源と前記第２のレンズとのあいだに位置する、ステップと、
    前記視野の画像を取り込むステップであって、前記物体を前記画像内に見ることができ、前記複数の投影ビームのうちの複数の投影ビームによって集合的に生成された投影パターンもまた、前記画像内に見ることができるステップと、
    前記画像内の情報を使用して前記物体までの前記距離を算出するステップと、
    を含むことを特徴とする方法。
  19. 請求項１８に記載の方法であって、
    前記光源が複数光源のうちの１つであり、前記複数光源の各光源がそれぞれ単一の光ビームを発光し、前記それぞれの単一の光ビームが、前記第１の複数の投影点のうち１つの投影点の方に向けられる、
    ことを特徴とする方法。
  20. 請求項１８に記載の方法であって、
    前記視野が半球の形状である、
    ことを特徴とする方法。
  21. プロセッサによって実行されたとき、前記プロセッサに物体までの距離を算出するための動作を実行させる複数の命令を記憶するコンピュータ可読記憶デバイスであって、前記動作が、
    単一の光ビームを光源によって発するステップと、
    前記単一の光ビームをビーム分割手段によって複数のビームに分割するステップと、
    前記ビーム分割手段によって、前記複数のビームの第１のサブセットを第１の複数の投影点の方へ向けるステップであって、前記ビーム分割手段が前記光源と前記第１の複数の投影点との間に位置し、前記第１のサブセットの各個別のビームが前記第１の複数の投影点のうちの１つの投影点の方へ向けられる、ステップと、
    複数の投影ビームを前記第１の複数の投影点の各々の投影点から投影するステップであって、前記第１の複数の投影点は、画像取り込みデバイスの第１のレンズ周りに配置され、前記複数の投影ビームの各々の投影ビームは、視野内で異なる方向に向けられ、各々複数の投影ビームの各々の個別の投影ビームは、一連の形状の可視パターンを自装置を取り囲む空間内に投影し、前記第１の複数の投影点が前記光源と前記第１のレンズとのあいだに位置する、ステップと、
    前記ビーム分割手段によって、前記複数のビームの第２のサブセットを第２の複数の投影点の方へ向けるステップであって、前記ビーム分割手段が前記光源と前記第２の複数の投影点との間に位置し、前記第２のサブセットの各個別のビームが前記第２の複数の投影点のうちの１つの投影点の方へ向けられる、ステップと、
    複数の投影ビームを前記第２の複数の投影点の各々の投影点から投影するステップであって、前記第２の複数の投影点は、前記第１のレンズが指す方向から１８０°である方向を指す、画像取り込みデバイスの第２のレンズ周りに配置され、前記複数の投影ビームの各々の投影ビームは、視野内で異なる方向に向けられ、各々複数の投影ビームの各々の個別の投影ビームは、一連の形状の可視パターンを自装置を取り囲む空間内に投影し、前記第２の複数の投影点が前記光源と前記第２のレンズとのあいだに位置する、ステップと、
    前記視野の画像を取り込むステップであって、前記物体を前記画像内に見ることができ、前記複数の投影ビームのうち複数の投影ビームによって集合的に生成された投影パターンもまた、前記画像内に見ることができるステップと、
    前記物体までの前記距離を前記画像内の情報を使用して算出するステップと、
    を含むことを特徴とするコンピュータ可読記憶デバイス。
  22. 物体までの距離を算出するための方法であって、
    単一の光源によって光を発するステップと、
    前記光を複数のビームに分割するステップであって、前記複数のビームの各ビームが、投影点のセットのうちの１つの投影点の方へ向けられ、前記投影点のセットは画像取り込みデバイスの第１のレンズ周りに配置された第１の複数の投影点と、前記第１のレンズが指す方向から１８０度である方向を指す、前記画像取り込みデバイスの第２のレンズの周りに配置された第２の複数の投影点とを含む、ステップと、
    複数の光点を視野上に、前記第１の複数の投影点と前記第２の複数の投影点とから投影するステップであって、前記複数の光点は、前記第１の複数の投影点と前記第２の複数の投影点によって、前記複数のビームから生成され、前記投影点のセットのうち各投影点が、前記視野内の異なる方向に前記複数の光点のうちの光点を投影するように構成されているステップと、
    前記視野の画像を取り込むステップであって、前記物体を前記画像内に見ることができ、前記複数の光点によって形成された投影パターンもまた、前記画像内に見ることできる、取り込むステップと、
    前記複数の光点のうち少なくとも２つの間の位置関係にしたがって前記物体までの前記距離を算出するステップであって、前記複数の光点のうち前記少なくとも２つは、前記投影点のセットのうち少なくとも２つの異なる投影点によって発せられるステップと、
    を含むことを特徴とする方法。
  23. 請求項２２に記載の方法であって、
    前記位置関係が先験的に知られている、
    ことを特徴とする方法。
  24. プロセッサによって実行されたとき、前記プロセッサに物体までの距離を算出するための動作を実行させる複数の命令を記憶するコンピュータ可読記憶デバイスであって、前記動作が、
    単一の光源によって光を発するステップと、
    前記光を複数のビームに分割するステップであって、前記複数のビームの各ビームが、投影点のセットのうちの１つの投影点の方へ向けられ、前記投影点のセットは画像取り込みデバイスの第１のレンズ周りに配置された第１の複数の投影点と、前記第１のレンズが指す方向から１８０度である方向を指す、前記画像取り込みデバイスの第２のレンズの周りに配置された第２の複数の投影点とを含む、ステップと、
    複数の光点を視野上に、前記第１の複数の投影点と前記第２の複数の投影点とから投影するステップであって、前記複数の光点は、前記第１の複数の投影点と前記第２の複数の投影点によって、前記複数のビームから生成され、前記投影点のセットのうち各投影点が、前記視野内の異なる方向に前記複数の光点のうちの光点を投影するように構成されているステップと、
    前記視野の画像を取り込むステップであって、前記物体を前記画像内に見ることができ、前記複数の光点によって形成された投影パターンもまた、前記画像内に見ることができる、取り込むステップと、
    前記複数の光点のうち少なくとも２つの間の位置関係にしたがって前記物体までの前記距離を算出するステップであって、前記複数の光点のうち前記少なくとも２つは、前記投影点のセットのうち少なくとも２つの異なる投影点によって発せられるステップと、
    を含むことを特徴とするコンピュータ可読記憶デバイス。
JP2017540972A 2014-10-24 2015-10-22 距離センサ Expired - Fee Related JP6648147B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201462068250P 2014-10-24 2014-10-24
US62/068,250 2014-10-24
US201562159286P 2015-05-10 2015-05-10
US62/159,286 2015-05-10
PCT/US2015/056883 WO2016065130A1 (en) 2014-10-24 2015-10-22 Distance sensor

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2019212319A Division JP6876776B2 (ja) 2014-10-24 2019-11-25 距離センサ

Publications (3)

Publication Number Publication Date
JP2017532580A JP2017532580A (ja) 2017-11-02
JP2017532580A5 JP2017532580A5 (ja) 2018-11-29
JP6648147B2 true JP6648147B2 (ja) 2020-02-14

Family

ID=55761539

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2017540972A Expired - Fee Related JP6648147B2 (ja) 2014-10-24 2015-10-22 距離センサ
JP2019212319A Active JP6876776B2 (ja) 2014-10-24 2019-11-25 距離センサ

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2019212319A Active JP6876776B2 (ja) 2014-10-24 2019-11-25 距離センサ

Country Status (8)

Country Link
US (1) US10268906B2 (ja)
EP (1) EP3209523A4 (ja)
JP (2) JP6648147B2 (ja)
KR (1) KR20170072319A (ja)
CN (1) CN107407553B (ja)
HK (1) HK1247272A1 (ja)
TW (1) TWI700508B (ja)
WO (1) WO2016065130A1 (ja)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10178374B2 (en) * 2015-04-03 2019-01-08 Microsoft Technology Licensing, Llc Depth imaging of a surrounding environment
US10488192B2 (en) 2015-05-10 2019-11-26 Magik Eye Inc. Distance sensor projecting parallel patterns
US10310284B1 (en) * 2016-07-09 2019-06-04 Mary Gormley Waldron Apparatus and method for projecting three-dimensional holographic images
CN109716161A (zh) * 2016-07-20 2019-05-03 深圳市大疆创新科技有限公司 用于障碍物检测的圆形光源
TWI596360B (zh) * 2016-08-19 2017-08-21 光寶電子（廣州）有限公司 攝像設備以及攝像方法
US10620295B2 (en) * 2016-09-14 2020-04-14 Htc Corporation Positioning signal receiver, positioning system and positioning method of the same
KR102595391B1 (ko) 2016-12-07 2023-10-31 매직 아이 인코포레이티드 조정 가능한 초점 이미징 센서를 포함한 거리 센서
TWI622782B (zh) * 2016-12-16 2018-05-01 Path detection system for generating laser pattern by diffractive optical element and method thereof
US20240027587A1 (en) 2017-06-19 2024-01-25 Hesai Technology Co., Ltd. Lidar system and method
US10473767B2 (en) 2017-06-19 2019-11-12 Hesai Photonics Technology Co., Ltd. Lidar system and method
US10904449B2 (en) * 2017-07-31 2021-01-26 Disney Enterprises, Inc. Intrinsic color camera
US10885761B2 (en) 2017-10-08 2021-01-05 Magik Eye Inc. Calibrating a sensor system including multiple movable sensors
EP3692396A4 (en) 2017-10-08 2021-07-21 Magik Eye Inc. DISTANCE MEASUREMENT USING A LONGITUDINAL GRID PATTERN
US10679076B2 (en) * 2017-10-22 2020-06-09 Magik Eye Inc. Adjusting the projection system of a distance sensor to optimize a beam layout
EP3701283A4 (en) * 2017-10-22 2021-08-11 Magik Eye Inc. SETTING THE PROJECTION SYSTEM OF A DISTANCE SENSOR TO OPTIMIZE THE BEAM ARRANGEMENT
EP3742199A4 (en) * 2018-01-15 2021-06-23 Hesai Photonics Technology Co., Ltd LASER RADAR AND OPERATING PROCEDURES FOR IT
JP7354133B2 (ja) 2018-03-20 2023-10-02 マジック アイ インコーポレイテッド 三次元深度検知及び二次元撮像のためのカメラ露出調節
WO2019182881A1 (en) 2018-03-20 2019-09-26 Magik Eye Inc. Distance measurement using projection patterns of varying densities
CN112513565B (zh) 2018-06-06 2023-02-10 魔眼公司 使用高密度投影图案的距离测量
US11475584B2 (en) * 2018-08-07 2022-10-18 Magik Eye Inc. Baffles for three-dimensional sensors having spherical fields of view
WO2020148749A1 (en) * 2019-01-14 2020-07-23 Orbotech Ltd. Multiplexed image acquisition device for optical system
WO2020150131A1 (en) 2019-01-20 2020-07-23 Magik Eye Inc. Three-dimensional sensor including bandpass filter having multiple passbands
US20220120904A1 (en) * 2019-01-21 2022-04-21 Michigan Aerospace Corporation Imaging lidar
CN109633675B (zh) * 2019-01-25 2021-04-13 广州市慧建科技有限公司 一种激光发射装置
US12000692B2 (en) * 2019-02-22 2024-06-04 Prophesee Three-dimensional imaging and sensing using a dynamic vision sensor and pattern projection
WO2020197813A1 (en) 2019-03-25 2020-10-01 Magik Eye Inc. Distance measurement using high density projection patterns
WO2020231747A1 (en) 2019-05-12 2020-11-19 Magik Eye Inc. Mapping three-dimensional depth map data onto two-dimensional images
WO2021113135A1 (en) 2019-12-01 2021-06-10 Magik Eye Inc. Enhancing triangulation-based three-dimensional distance measurements with time of flight information
EP4094181A4 (en) 2019-12-29 2024-04-03 Magik Eye Inc. ASSIGNMENT OF THREE-DIMENSIONAL COORDINATES TO TWO-DIMENSIONAL FEATURE POINTS
JP2023510738A (ja) 2020-01-05 2023-03-15 マジック アイ インコーポレイテッド ３次元カメラの座標系を２次元カメラの入射位置に移動させる方法
EP3910286B1 (en) * 2020-05-12 2022-10-26 Hexagon Technology Center GmbH Improving structured light projection through the minimization of visual artifacts by way of deliberately introduced optical aberrations
TWI758857B (zh) * 2020-09-10 2022-03-21 財團法人金屬工業研究發展中心 定位系統以及定位方法
JP7215472B2 (ja) * 2020-12-28 2023-01-31 株式会社リコー 撮像装置および撮像方法
US11960968B2 (en) * 2022-08-25 2024-04-16 Omron Corporation Scanning device utilizing separate light pattern sequences based on target distance
US12118428B2 (en) 2022-08-25 2024-10-15 Omron Corporation Using distance sensor delta to determine when to enter presentation mode

Family Cites Families (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4914460A (en) * 1987-05-29 1990-04-03 Harbor Branch Oceanographic Institution Inc. Apparatus and methods of determining distance and orientation
US4954962A (en) * 1988-09-06 1990-09-04 Transitions Research Corporation Visual navigation and obstacle avoidance structured light system
JPH0451112A (ja) * 1990-06-19 1992-02-19 Fujitsu Ltd マルチスリット投光器
JP3141681B2 (ja) 1994-04-27 2001-03-05 キヤノン株式会社 防振機能を有した光学系
JPH08555A (ja) 1994-06-16 1996-01-09 Fuji Photo Optical Co Ltd 内視鏡の照明装置
JP3328111B2 (ja) * 1995-08-23 2002-09-24 日本電気株式会社 空間距離測定方法及び空間距離測定装置
US5980454A (en) * 1997-12-01 1999-11-09 Endonetics, Inc. Endoscopic imaging system employing diffractive optical elements
JPH11257953A (ja) * 1998-03-06 1999-09-24 Koa:Kk トンネル壁面観察装置
US7673803B2 (en) 1998-03-24 2010-03-09 Metrologic Instruments, Inc. Planar laser illumination and imaging (PLIIM) based engine
US7940299B2 (en) 2001-08-09 2011-05-10 Technest Holdings, Inc. Method and apparatus for an omni-directional video surveillance system
DE10308383A1 (de) 2003-02-27 2004-09-16 Storz Endoskop Produktions Gmbh Verfahren und optisches System zur Vermessung der Topographie eines Meßobjekts
JP2006313116A (ja) * 2005-05-09 2006-11-16 Nec Viewtechnology Ltd 距離傾斜角度検出装置および該検出装置を備えたプロジェクタ
JP4644540B2 (ja) * 2005-06-28 2011-03-02 富士通株式会社 撮像装置
US20070091174A1 (en) 2005-09-30 2007-04-26 Topcon Corporation Projection device for three-dimensional measurement, and three-dimensional measurement system
JP4799216B2 (ja) * 2006-03-03 2011-10-26 富士通株式会社 距離測定機能を有する撮像装置
US8471892B2 (en) * 2006-11-23 2013-06-25 Z. Jason Geng Wide field-of-view reflector and method of designing and making same
TWI320480B (en) * 2007-04-23 2010-02-11 Univ Nat Formosa One diffraction 6 degree of freedom optoelectronic measurement system
US8282485B1 (en) * 2008-06-04 2012-10-09 Zhang Evan Y W Constant and shadowless light source
DE112009001652T5 (de) 2008-07-08 2012-01-12 Chiaro Technologies, Inc. Mehrkanal-Erfassung
US8334900B2 (en) 2008-07-21 2012-12-18 The Hong Kong University Of Science And Technology Apparatus and method of optical imaging for medical diagnosis
CN101794065A (zh) * 2009-02-02 2010-08-04 中强光电股份有限公司 投影显示系统
JP5484098B2 (ja) * 2009-03-18 2014-05-07 三菱電機株式会社 投写光学系及び画像表示装置
JP5499985B2 (ja) * 2010-08-09 2014-05-21 ソニー株式会社 表示装置組立体
TWI428558B (zh) * 2010-11-10 2014-03-01 Pixart Imaging Inc 測距方法、測距系統與其處理軟體
JP5830270B2 (ja) 2011-05-24 2015-12-09 オリンパス株式会社 内視鏡装置および計測方法
BR112014018573A8 (pt) 2012-01-31 2017-07-11 3M Innovative Properties Company Método e aparelho para medição da estrutura tridimensional de uma superfície
WO2013145164A1 (ja) * 2012-03-28 2013-10-03 富士通株式会社 撮像装置
US9590122B2 (en) 2012-05-18 2017-03-07 Siemens Healthcare Diagnostics Inc. Fish eye lens analyzer
EP2696590B1 (en) 2012-08-06 2014-09-24 Axis AB Image sensor positioning apparatus and method
US9741184B2 (en) 2012-10-14 2017-08-22 Neonode Inc. Door handle with optical proximity sensors
CN104884862B (zh) 2012-10-24 2019-11-19 视瑞尔技术公司 照明设备
US9285893B2 (en) 2012-11-08 2016-03-15 Leap Motion, Inc. Object detection and tracking with variable-field illumination devices
US8768559B1 (en) * 2013-01-22 2014-07-01 Qunomic Virtual Technology, LLC Line projection system
US10105149B2 (en) 2013-03-15 2018-10-23 Board Of Regents Of The University Of Nebraska On-board tool tracking system and methods of computer assisted surgery
US9364167B2 (en) 2013-03-15 2016-06-14 Lx Medical Corporation Tissue imaging and image guidance in luminal anatomic structures and body cavities
US20140320605A1 (en) 2013-04-25 2014-10-30 Philip Martin Johnson Compound structured light projection system for 3-D surface profiling
CN103559735B (zh) * 2013-11-05 2017-03-01 重庆安钻理科技股份有限公司 一种三维重建方法及系统
US10372982B2 (en) 2014-01-06 2019-08-06 Eyelock Llc Methods and apparatus for repetitive iris recognition
GB2522248A (en) 2014-01-20 2015-07-22 Promethean Ltd Interactive system
JP6370177B2 (ja) 2014-09-05 2018-08-08 株式会社Ｓｃｒｅｅｎホールディングス 検査装置および検査方法
US20160128553A1 (en) 2014-11-07 2016-05-12 Zheng Jason Geng Intra- Abdominal Lightfield 3D Endoscope and Method of Making the Same
TW201706563A (zh) 2015-05-10 2017-02-16 麥吉克艾公司 距離感測器（一）

Also Published As

Publication number Publication date
EP3209523A1 (en) 2017-08-30
WO2016065130A1 (en) 2016-04-28
TW201621349A (zh) 2016-06-16
JP6876776B2 (ja) 2021-05-26
US10268906B2 (en) 2019-04-23
EP3209523A4 (en) 2018-04-25
JP2017532580A (ja) 2017-11-02
TWI700508B (zh) 2020-08-01
CN107407553B (zh) 2020-07-28
JP2020024234A (ja) 2020-02-13
US20160117561A1 (en) 2016-04-28
HK1247272A1 (zh) 2018-09-21
CN107407553A (zh) 2017-11-28
KR20170072319A (ko) 2017-06-26

Similar Documents

Publication Publication Date Title
JP6648147B2 (ja) 距離センサ
JP6761817B2 (ja) 物体までの距離を算出するための方法
KR102543275B1 (ko) 평행 패턴들을 투사하는 거리 센서
US10488192B2 (en) Distance sensor projecting parallel patterns
JP2017532580A5 (ja)
US11029408B2 (en) Distance-imaging system and method of distance imaging
TWI758367B (zh) 投射平行圖案的距離感應器

Legal Events

Date Code Title Description
A529 Written submission of copy of amendment under article 34 pct

Free format text: JAPANESE INTERMEDIATE CODE: A529

Effective date: 20170622

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181019

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181019

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190827

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190828

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191125

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191217

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200115

R150 Certificate of patent or registration of utility model

Ref document number: 6648147

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees