JP6999658B2 - 空間光変調を伴うプロジェクタ - Google Patents

空間光変調を伴うプロジェクタ Download PDF

Info

Publication number
JP6999658B2
JP6999658B2 JP2019516929A JP2019516929A JP6999658B2 JP 6999658 B2 JP6999658 B2 JP 6999658B2 JP 2019516929 A JP2019516929 A JP 2019516929A JP 2019516929 A JP2019516929 A JP 2019516929A JP 6999658 B2 JP6999658 B2 JP 6999658B2
Authority
JP
Japan
Prior art keywords
light
sensor
detection system
depth detection
light source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019516929A
Other languages
English (en)
Other versions
JP2019529924A (ja
Inventor
デイビッド コーエン,
アッサーフ ペルマン,
ロバート ディー. テコルステ,
シュロモ フェルゼンシュタイン,
ジオラ ヤハブ,
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Magic Leap Inc
Original Assignee
Magic Leap Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Magic Leap Inc filed Critical Magic Leap Inc
Publication of JP2019529924A publication Critical patent/JP2019529924A/ja
Priority to JP2021208192A priority Critical patent/JP7506651B2/ja
Application granted granted Critical
Publication of JP6999658B2 publication Critical patent/JP6999658B2/ja
Priority to JP2024096564A priority patent/JP2024113198A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • G01S7/4814Constructional features, e.g. arrangements of optical elements of transmitters alone
    • G01S7/4815Constructional features, e.g. arrangements of optical elements of transmitters alone using multiple transmitters
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • G01S17/10Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G01S17/18Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves wherein range gates are used
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/8943D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/484Transmitters
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/487Extracting wanted echo signals, e.g. pulse detection
    • G01S7/4876Extracting wanted echo signals, e.g. pulse detection by removing unwanted signals
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B19/00Condensers, e.g. light collectors or similar non-imaging optics
    • G02B19/0004Condensers, e.g. light collectors or similar non-imaging optics characterised by the optical means employed
    • G02B19/0009Condensers, e.g. light collectors or similar non-imaging optics characterised by the optical means employed having refractive surfaces only
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/42Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect
    • G02B27/4233Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect having a diffractive element [DOE] contributing to a non-imaging application
    • G02B27/425Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect having a diffractive element [DOE] contributing to a non-imaging application in illumination systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/521Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B19/00Condensers, e.g. light collectors or similar non-imaging optics
    • G02B19/0033Condensers, e.g. light collectors or similar non-imaging optics characterised by the use
    • G02B19/009Condensers, e.g. light collectors or similar non-imaging optics characterised by the use for use with infrared radiation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Optics & Photonics (AREA)
  • Electromagnetism (AREA)
  • Health & Medical Sciences (AREA)
  • Toxicology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Measurement Of Optical Distance (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Liquid Crystal (AREA)

Description

(発明の背景)
測距撮像のための多数の技法が存在し、これは、複数の異なる用途において非常に有用であり得る。1つの具体的タイプの測距撮像は、飛行時間カメラを使用して実施されることができる。飛行時間カメラは、光のパルスが、センサの視野内の物体まで進行し、そこから戻るまでに要する時間を測定し、センサとセンサの視野内の物体との間の距離を判定することができる。残念ながら、深度検出システムによって放射される光は、常時、直接、センサ視野内の物体まで進行し、センサに戻らない場合がある。光が、物体から反射する前に、別の物体から跳ね返る場合、光がセンサに戻るまでに要する時間は、増加され、それによって、光の反射されたパルスに関して測定された飛行時間を増加させる。より長い飛行時間測定は、深度検出システムが、センサと物体との間の測定された距離を誤って増加させる結果をもたらし得る。その結果、本誤差を修正する方法が、望ましい。
(発明の要約)
本開示は、複数の表面から跳ね返る光のパルスから生じる誤った読取値をフィルタリング除去するように構成される、飛行時間カメラを説明する。
本開示は、深度検出システムの性能を改良する方法に関する。深度検出システムは、相補的照明パターンを深度検出システムの撮像センサによって監視されている領域上に連続して放射するように構成されることができる。撮像センサは、飛行時間センサとして作用し、光が、照明パターンを形成し、物体から反射し、撮像センサに戻るまでに要する時間を測定することによって、深度検出システムと領域内の物体との間の距離を判定することができる。撮像センサにおいて受光された光の一部は、撮像センサに到着する前に他の表面から跳ね返る、間接光であり得る。これは、特に、より多くの間接光が撮像センサに戻る可能性が高い、部屋の角において問題となり得る。反射は、光が撮像センサに戻るまでに要する時間量を増加させ、それによって、センサデータの正確度を低減させる。本間接光の一部は、第1の照明パターンがアクティブであるとき、第1の照明パターン外にある撮像センサによって監視されている領域の部分から反射する光を識別することによって、深度検出システムによる検討対象からフィルタリング除去されることができる。本識別された光は、次いで、第2の照明パターンがアクティブであるとき、検討対象から除かれることができる。同様に、第2の照明パターンがアクティブであるとき、第2の照明パターン外の光は、第1の照明パターンから除かれることができる。このように、より正確な深度検出情報が、取得されることができる。
相補的照明パターンを放射する、光源が、共通基板に搭載され、光源が相互に整合からずれないように防止することができる。共通基板はまた、光源が整合からずれて投射される結果をもたらすであろう、任意の熱影響を低減させることに役立つことができる。
深度検出システムが、開示され、少なくとも以下:投影システムであって、剛性基板を有する、プロジェクタ筐体と、光を第1の複数の光成形構成要素を通して放射するように構成される、第1の光源であって、第1の光源は、剛性基板に搭載される、第1の光源と、光を第2の複数の光成形構成要素を通して放射するように構成される、第2の光源であって、第2の光源は、第1の光源に隣接して剛性基板に搭載される、第2の光源とを備える、投影システムと、撮像センサであって、撮像センサは、投影システムに近接し、撮像センサの視野内の物体から反射された後、第1および第2の光源によって放射される光を受光するように構成される、撮像センサと、第1および第2の光源によって放射される光が、センサ視野内の物体から反射し、撮像センサに戻るまでの時間量を測定することによって、深度検出システムとセンサ視野内の物体との間の距離を計算するように構成される、プロセッサとを含む。
別の深度検出システムも、開示され、以下:複数の光成形構成要素であって、コリメート光学要素と、屈折光学要素と、回折光学要素と、マイクロレンズアレイとを備える、複数の光成形構成要素と、光を複数の光成形構成要素を通して放射するように構成される、光源と、撮像センサであって、撮像センサは、光源によって放射され、かつ撮像センサの視野内の物体から反射された光を検出するように構成される、撮像センサと、撮像センサの視野外の表面から反射された光と関連付けられたセンサ読取値をフィルタリング除去することによって、深度検出システムと物体との間の距離を判定するように構成される、プロセッサとを含む。
深度検出システムが、開示され、以下:投影システムであって、剛性基板を有する、プロジェクタ筐体と、光を第1の複数の光成形構成要素を通して放射し、第1の照明パターンを生産するように構成される、第1の光源であって、第1の光源は、剛性基板に搭載される、第1の光源と、光を第2の複数の光成形構成要素を通して放射し、第1の照明パターンと相補的第2の照明パターンを生産するように構成される、第2の光源であって、第2の光源は、第1の光源に隣接して剛性基板に搭載される、第2の光源とを備える、投影システムと、撮像センサであって、撮像センサは、投影システムに近接し、撮像センサの視野内の物体から反射された後、第1および第2の光源によって放射される光を受光するように構成される、撮像センサと、第1および第2の光源によって放射される光が、センサ視野内の物体から反射し、撮像センサに戻るまでの時間量を測定し、撮像センサの視野外の表面から反射された光と関連付けられたセンサ読取値をフィルタリング除去することによって、深度検出システムとセンサ視野内の物体との間の距離を計算するように構成される、プロセッサとを含む。
本発明の他の側面および利点は、一例として、説明される実施形態の原理を図示する、付随の図面と関連して検討される、以下の発明を実施するための形態から明白となるであろう。
本明細書は、例えば、以下の項目も提供する。
(項目1)
深度検出システムであって、
投影システムであって、
剛性基板を有するプロジェクタ筐体と、
光を第1の複数の光成形構成要素を通して放射するように構成されている第1の光源であって、前記第1の光源は、前記剛性基板に搭載されている、第1の光源と、
光を第2の複数の光成形構成要素を通して放射するように構成されている第2の光源であって、前記第2の光源は、前記第1の光源に隣接して前記剛性基板に搭載されている、第2の光源と
を備える、投影システムと、
撮像センサであって、前記撮像センサは、前記投影システムに近接し、前記撮像センサの視野内の物体から反射された後、前記第1および第2の光源によって放射される光を受光するように構成されている、撮像センサと、
前記第1および第2の光源によって放射される光が、前記センサ視野内の前記物体から反射し、前記撮像センサに戻るまでの時間量を測定することによって、前記深度検出システムと前記センサ視野内の前記物体との間の距離を計算するように構成されている、プロセッサと
を備える、深度検出システム。
(項目2)
前記第1および第2の光源は、赤外線レーザダイオードである、項目1に記載の深度検出システム。
(項目3)
前記撮像センサは、グローバルシャッタを有する、項目1に記載の深度検出システム。
(項目4)
前記第1および第2の光源は、非重複パターンにおいてパルスを放射するように構成されている、項目1に記載の深度検出システム。
(項目5)
前記第1の複数の光成形構成要素は、回折光学要素と、マイクロレンズアレイとを備える、項目1に記載の深度検出システム。
(項目6)
前記第1の複数の光成形構成要素は、前記第1の光源によって放射される光を、前記撮像センサの視野を横断して分散される第1の複数の平行な光のバーに成形する、項目5に記載の深度検出システム。
(項目7)
前記第2の複数の光成形構成要素は、前記第2の光源によって放射される光を、前記第1の複数の平行な光のバー間の間隙を被覆する第2の複数の平行な光のバーに成形する、項目6に記載の深度検出システム。
(項目8)
前記第1の複数の光成形構成要素は、屈曲光学系を伴うコリメートレンズを備える、項目1に記載の深度検出システム。
(項目9)
前記第2の複数の光成形構成要素は、前記屈曲光学系を伴うコリメートレンズを備える、項目8に記載の深度検出システム。
(項目10)
前記第1および第2の光源によって投影される前記光は、前記コリメートレンズの反射表面によって約90度で再配向される、項目9に記載の深度検出システム。
(項目11)
前記距離を計算することはまた、前記撮像センサの視野外の表面から反射された光と関連付けられたセンサ読取値をフィルタリング除去することを含む、項目1に記載の深度検出システム。
(項目12)
深度検出システムであって、
複数の光成形構成要素であって、
コリメート光学要素と、
屈折光学要素と、
回折光学要素と、
マイクロレンズアレイと
を備える、複数の光成形構成要素と、
光を前記複数の光成形構成要素を通して放射するように構成されている光源と、
撮像センサであって、前記撮像センサは、前記光源によって放射され、かつ前記撮像センサの視野内の物体から反射された光を検出するように構成されている、撮像センサと、
前記撮像センサの視野外の表面から反射された光と関連付けられたセンサ読取値をフィルタリング除去することによって、前記深度検出システムと前記物体との間の距離を判定するように構成されている、プロセッサと
を備える、深度検出システム。
(項目13)
前記複数の光成形構成要素はさらに、前記回折光学要素に対して側方に偏移するように構成されている線形作動式光学系を備える、項目12に記載の深度検出システム。
(項目14)
前記光源は、第1の光源であり、前記深度検出システムはさらに、
プリント回路基板と、
第2の光源と
を備え、
前記第1および第2の光源は、前記プリント回路基板に電気的および機械的に結合されている、項目12に記載の深度検出システム。
(項目15)
前記複数の光成形構成要素は、第1の複数の光成形構成要素であり、前記深度検出システムはさらに、第2の複数の光成形構成要素を備え、それを通して、前記第2の光源は、光を放射するように構成されている、項目14に記載の深度検出システム。
(項目16)
前記コリメート光学要素は、前記光源によって放射される前記光の方向を変化させるように構成された反射表面を有する、屈曲光学系を備える、項目12に記載の深度検出システム。
(項目17)
深度検出システムであって、
投影システムであって、
剛性基板を有するプロジェクタ筐体と、
光を第1の複数の光成形構成要素を通して放射し、第1の照明パターンを生産するように構成されている、第1の光源であって、前記第1の光源は、前記剛性基板に搭載されている、第1の光源と、
光を第2の複数の光成形構成要素を通して放射し、前記第1の照明パターンと相補的第2の照明パターンを生産するように構成されている、第2の光源であって、前記第2の光源は、前記第1の光源に隣接して前記剛性基板に搭載されている、第2の光源と
を備える、投影システムと、
撮像センサであって、前記撮像センサは、前記投影システムに近接し、前記撮像センサの視野内の物体から反射された後、前記第1および第2の光源によって放射される光を受光するように構成されている、撮像センサと、
前記第1および第2の光源によって放射される光が、前記センサ視野内の前記物体から反射し、前記撮像センサに戻るまでの時間量を測定することによって、かつ前記撮像センサの視野外の表面から反射された光と関連付けられたセンサ読取値をフィルタリング除去することによって、前記深度検出システムと前記センサ視野内の前記物体との間の距離を計算するように構成されている、プロセッサと
を備える、深度検出システム。
(項目18)
前記プロセッサは、前記第2の照明パターンに対応する前記撮像センサの視野内のエリアから反射する、前記第1の光源によって放射される前記光を識別することによって、前記撮像センサの視野外の表面から反射された光と関連付けられたセンサ読取値をフィルタリングする、項目17に記載の深度検出システム。
(項目19)
前記第1および第2の照明パターンは、一連の平行バーを備える、項目17に記載の深度検出システム。
(項目20)
前記第1の複数の光成形構成要素は、コリメート光学要素と、屈折光学要素と、回折光学要素と、マイクロレンズアレイとを備える、項目17に記載の深度検出システム。
本開示は、同様の参照番号が同様の構造要素を指す、付随の図面と併せて、以下の発明を実施するための形態によって容易に理解されるであろう。
図1Aは、使用時の例示的深度検出センサを示す。 図1Bは、いくつかの実施形態による、物体に入射する光が拡散および/または鏡面反射によって反射され得る様子を示す。 図1Cは、いくつかの実施形態による、投影システムによって照明される異なるタイプの物体の実施例を示す。 図2Aは、いくつかの実施形態による、2つのプロジェクタを含む、投影システム102を示す。 図2Bは、いくつかの実施形態による、例示的照明パターンAおよびBを示す。 図2Cは、いくつかの実施形態による、照明パターンCおよびDを示す。 図2Dは、いくつかの実施形態による、照明パターンE、F、およびGを示す。 図2Eは、いくつかの実施形態による、離散ピクセルまたはサンプリング点が複数の照明パターンを横断して分散され得る様子を示す。 図3A-3Cは、いくつかの実施形態による、それぞれが光源の正面に位置付けられる光成形構成要素の群から成る、種々の光学アセンブリ実施形態を示す。 図3A-3Cは、いくつかの実施形態による、それぞれが光源の正面に位置付けられる光成形構成要素の群から成る、種々の光学アセンブリ実施形態を示す。 図3A-3Cは、いくつかの実施形態による、それぞれが光源の正面に位置付けられる光成形構成要素の群から成る、種々の光学アセンブリ実施形態を示す。 図4A-4Bは、いくつかの実施形態による、図3に描写される光学アセンブリに類似する、光源毎に光学アセンブリを組み込む2つの光源を伴う、プロジェクタアセンブリを示す。 図4A-4Bは、いくつかの実施形態による、図3に描写される光学アセンブリに類似する、光源毎に光学アセンブリを組み込む2つの光源を伴う、プロジェクタアセンブリを示す。 図5A-5Cは、いくつかの実施形態による、屈曲光学系を利用する、複数の光源プロジェクタアセンブリの図を示す。 図5A-5Cは、いくつかの実施形態による、屈曲光学系を利用する、複数の光源プロジェクタアセンブリの図を示す。 図5A-5Cは、いくつかの実施形態による、屈曲光学系を利用する、複数の光源プロジェクタアセンブリの図を示す。 図6A-6Bは、いくつかの実施形態による、単一光源を使用する、投影アセンブリの側面図を示す。 図6A-6Bは、いくつかの実施形態による、単一光源を使用する、投影アセンブリの側面図を示す。 図7は、いくつかの実施形態による、前述の深度検出システムの異なる構成要素間の相互作用を描写する、略図を示す。
(具体的な実施形態の詳細な説明)
本願による、方法および装置の代表的用途が、本節に説明される。これらの実施例は、文脈を追加し、説明される実施形態の理解を補助するためだけに提供されている。したがって、説明される実施形態は、これらの具体的詳細の一部または全部を伴わずに実践されてもよいことが、当業者に明白となるであろう。他の事例では、周知のプロセスステップは、説明される実施形態を不必要に曖昧にすることを回避するために、詳細に説明されていない。他の用途も、可能性として考えられ、したがって、以下の実施例は、限定として捉えられるべきではない。
深度検出システムは、深度検出システムの視野内の環境を特性評価するように構成されることができる。結果として生じる特性評価は、深度検出システムに面した物体の位置およびその部分の外部形状を判定するために使用されることができる。1つのタイプの深度検出システムは、飛行時間(TOF)カメラである。TOFカメラは、光の変調されたパルスを放射するためのプロジェクタと、センサの視野内の種々の物体から反射する光のパルスのそれぞれの一部を受光するためのセンサとを利用する。読取値をセンサから受信する、プロセッサが、光が、センサから進行し、視野内の物体のうちの1つから跳ね返り、センサに戻るまでに要する時間を判定することができる。光の速度は、既知であるため、システムは、その時間に基づいて、深度検出センサと物体との間の距離を判定することができる。残念ながら、本方法は、光が、物体から跳ね返り、直接、センサに戻るとき、距離を判定するために良好に機能するが、最初に、別の物体から跳ね返り、センサに戻る、任意の光は、深度データに不正確性を引き起こし得る。
本問題に対する1つの解決策は、センサにおいて受光された間接的に反射された光をフィルタリング除去し、不正確性を低減させることである。これが遂行され得る、1つの方法は、環境が光で照明される様式を調節することである。光は、投影システムによって、交互照明パターンにおいて放射され、視野内の物体の異なる部分を連続して照明することができる。いくつかの実施形態では、照明パターンは、略平行縞で配列されることができるが、異なるパターンもまた、可能性として考えられる。縞はそれぞれ、各縞とほぼ同一厚さを有する間隙によって分離されることができる。このように、視野の約半分は、照明パターンが放射される度に照明されることができる。異なる縞および間隙厚さが、使用されることができるが、一連の異なる照明パターンの間のある時点において、視野の各部分は、照明されないべきであることを理解されたい。光の特定のパターンによって照明されるべきではないフレームのエリアから戻る、任意の光は、反射された光を識別するために使用されることができる。異なる照明パターンが、反射された光が以前に検出された物体のその部分を照明すると、反射された光は、検出された光から除かれ、直接、投影システムから物体に進行し、そこからセンサに戻る、光のその部分のみを識別することができる。任意の他の光は、センサの視野を伴うエリアの深度マップを作成する目的のために、無視されることができる。このように、深度データの正確度は、実質的に改良されることができる。
前述の方法を実施するための投影システムは、照明パターンを生成するために、2つ以上の光源を含むことができる。いくつかの実施形態では、投影システムは、変化する条件に追従するために、非常に迅速に動作するように構成されることができる。例えば、いくつかの実施形態では、光源は、100パルス/秒超を放射するように構成されることができる。投影システムと関連付けられたセンサは、戻って来るにつれて光を捕捉するように構成されることができ、センサのピクセルのそれぞれが同時に読み取られることを可能にする、グローバルシャッタを有することができる。このように、ピクセルを連続して読み取ることに起因して導入される、任意の誤差は、回避されることができる。
いくつかの実施形態では、光源は、単一プロジェクタ筐体内に組み込まれることができる。光源を単一プロジェクタ内にパッケージ化することは、2つ以上の別個の投影ユニットのうちの1つが、他のユニットと異なる量で衝突または競合し、照明パターンの不整合をもたらす、状況を防止する。複数の照明パターンを投影するように構成される、単一プロジェクタの若干の整合変化は、センサ視野の一部が照明パターンによって被覆されない結果をもたらし得るが、センサ視野の大部分は、照明パターンの整合を損なわせずに、被覆されたままであり得る。いくつかの実施形態では、単一プロジェクタ筐体は、光源間の分離を広範囲の温度にわたって一貫して保つ低熱膨張係数を伴う、一体型剛性基板を含むことができる。光源はそれぞれ、光を種々の照明パターンに指向する、異なる光学系を有することができる。いくつかの実施形態では、偏移光学系を有する単一光源を伴う、投影システムが、使用されることができる。そのような実施形態では、光学系は、2つ以上の位置間で発振し、2つ以上の照明パターンを単一光源からもたらすことができる。
これらおよび他の実施形態は、図1A-7を参照して下記に議論される。しかしながら、当業者は、これらの図に関して本明細書に与えられる発明を実施するための形態は、説明目的のためだけのものであり、限定として解釈されるべきではないことを容易に理解するであろう。
図1Aは、使用時の例示的深度検出システム100を示す。深度検出システム100は、投影システム102と、センサ104とを含む。投影システム102は、光を物体106に向かって放射するように構成されることができる。いくつかの実施形態では、投影システム102によって放射される光は、赤外線光または近赤外線光であることができる。投影システム102によって放射される光は、センサ104の視野に対応する広いエリアを被覆するように構成されることができるため、例示的光波108は、壁110から跳ね返り得るが、壁110の角度に起因して、光波108は、描写されるように、壁110から反射して戻る代わりに、物体106から跳ね返り、次いで、センサ104に戻り得る。これは、特に、物体106が、物体106に入射する光を散乱させる、不規則表面(すなわち、湾曲または円筒形表面)を有するとき、問題となり得る。反射された光の散乱は、描写されるように、反射された光がセンサ104に戻る尤度を増加させる。
図1Bは、物体106に入射する光が、拡散および/または鏡面反射によって反射され得る様子を示す。平坦表面は、概して、鏡面反射を生成するために必要とされるが、平坦表面はまた、物体106の表面の下方に位置する散乱中心に起因して、ある程度の拡散反射を生成する傾向にある。湾曲または変動表面は、多くの方向に散乱する、さらにより多くの拡散反射を生成する。壁110から反射された光が直接光と区別されることが困難であり得る、理由のうちの1つは、壁110の表面が比較的に平坦であるとき、実質的量の光波108が、壁110からの鏡面反射として反射され、それによって、光波108から物体106において結果として生じる拡散反射に、光波112から生じる物体106において結果として生じる拡散反射と類似強度を持たせ得るためである。プロジェクタから物体106に進み、次いで、壁110から跳ね返り、センサに向かって戻る、光は、壁110がセンサ視野内にない場合、問題と見なされないことに留意されたい。そのような場合では、センサに進入する光の高入射角は、センサが特定の視野から到着する光のみを受光するように構成されることに起因して、センサによって検出されないであろう。高入射角光は、センサにわたって位置付けられるシュラウドまたは集光レンズを使用して、センサに到達しないように防止されることができる。
図1Cは、投影システム102によって照明された異なるタイプの物体の実施例を示す。第1の列の画像は、物体から反射され、センサ104によって捕捉された光の全てを使用して生成された画像を示す。第2の列における画像は、直接、物体から反射された光のみを示す。第3の列における画像は、センサ視野内の物体に衝突することに先立って、最初に、他の物体から反射された光(間接光)のみを示す。第1の行の卵の写真は、拡散相互反射の実施例を提供する。卵の球状形状は、卵のそれぞれの表面に衝打する光によって生成された拡散反射の量を強調する。特に、第1の行からの間接光画像は、卵の下側縁が実質的量の間接光を捕捉し、その結果、センサからより遠く離れて現れ得る様子を示す。第2の行の木製ブロックの写真は、拡散および鏡面相互反射の両方の実施例を提供する。木製ブロックの平坦表面は、ある量の鏡面反射をもたらす一方、ブロックの下層木目構造および角は、拡散相互反射をもたらす。最後に、第3の行のピーマンは、表面下散乱が、少量の光のみを、直接、センサ104に戻るように反射させる様子を示す。本限定された量の直接光は、センサ104とピーマンとの間の実際の距離を判定するために、間接光のフィルタリング除去をさらにより重要にし得る。図1Cは、元々は、Krishnanによる記事「Fast Separation of Direct and Global Components of a Scene using High Frequency Illumination」の一部として公開されている。
図2Aは、投影システム102を示し、これは、プロジェクタ202および204を含む。プロジェクタ202および204は、相補的照明パターンAおよびBを放射するために使用されることができる。照明パターンAおよびBは、照明パターンの一方のみが任意の所与の時間にアクティブであるように、連続してパルス化されることができる。いくつかの実施形態では、照明パターンは、交互パターンにおいて(例えば、A、B、A、Bパターンにおいて)パルス化されることができる。パルス化放射はまた、変調され、パルス化放射を他の周囲光源と区別することに役立つことができる。その結果、照明パターンAが、アクティブであるとき、照明パターンA外の任意のエリアは、光を欠いているはずである。しかしながら、概して、最初に、他の表面から反射する照明パターンAの一部と、ある環境では、他の周囲光とが、直接、照明パターンAによって照明されていないエリアから反射し、センサ104によって検出され得る。物体106の照明されていないエリア内で検出された本反射された光は、続いて、照明パターンBがアクティブであるとき、反射された光を識別するために使用されることができる。同様に、照明パターンBが、アクティブであるとき、照明パターンB外から到着する反射された光は、続いて、照明パターンAの次のパルスの間、反射された光を識別するために使用されることができる。したがって、一般に、アクティブ照明パターン外から生じる検出された反射された光または間接光(IINDIRECT)が、記録されることができる。次の照明パターンが、アクティブ化すると、現在のアクティブ照明パターンから以前に記録された間接光(IINDIRECT)は、等式(1)に従って、アクティブ照明パターンから受光された光の全て(ITOTAL)から除かれ、直接光を識別することができる。
INDIRECT=ITOTAL-IINDIRECT 等式(1)
いくつかの実施形態では、物体106から反射し、センサ104の中に戻る任意の周囲光は、照明パターンと関連付けられた変調に合致しない光を除外することによって、フィルタリング除去されることができることに留意されたい。
図2Bは、例示的照明パターンAおよびBを示す。照明パターンAおよびBの強度は、垂直位置の関数として、正弦波パターンにおいて分散されることができる。描写されるように、照明パターンAは、照明パターンBと180度位相がずれており、照明パターンBが最小強度値にあるとき、最大強度値を有する照明パターンAをもたらすことができる。このように、2つの照明パターンが、同時に放射される場合、実質的に均一光パターンが、もたらされるであろう。グラフ206は、照明パターンAを図示する一方、グラフ208は、照明パターンBを図示する。数学的に、組み合わせられたパターンの強度は、強度値に、1と等しい実質的に一定の値を持たせるであろう。より一般的には、照明強度は、等式(2)を使用してモデル化されることができる。
Figure 0006999658000001
等式(2)では、iは、計算されている合計N個の照明パターンのうちの照明パターンを示す。Aは、照明パターンの振幅である。fは、光のバーの空間周波数である。βは、センサの垂直視野の角度である。Φは、照明パターンに関する位相偏移を表し、その値は、等式(3)によって判定される。
Figure 0006999658000002
理解され得るように、等式(3)は、位相偏移が、2つのパターンに関して180度であり、3つのパターンに関して120度であり、4つのパターンに関して90度であり、以降同様に続き得ることを明確にする。一般に、より多くの照明パターンは、より正確な結果を達成するために使用されることができる。さらに、いくつかの実施形態では、位相偏移はまた、異なる様式において変動されることができる。
図2Cは、照明パターンCおよびDを示す。照明パターンCおよびDの強度プロファイルは、正弦波の代わりに、台形である。急速に上昇および下降する強度を有することによって、照明パターンCおよびDの光のバー間におけるより急峻な遷移が、達成されることができる。より鮮明な遷移は、下記により詳細に説明されるであろうように、間接光を直接光からフィルタリングするときに、曖昧性を最小限にする際に有益であり得る。
図2Dは、照明パターンE、F、およびGを示す。照明パターンE、F、およびGの強度は、垂直に分散され、したがって、照明パターンFは、照明パターンEから120度位相がずれる。このように、連続する光のバーは、垂直に、但し、性質上相補的ではなく、偏移されることができる。グラフ214、216、および218は、個別の照明パターンE、F、およびGが、垂直位置に従って変動する量を定量的に示す。第3の照明パターンは、第3の光源によって、または偏移し、第2および第3のパターンの両方をもたらし得る光学系によって生成されることができる。
図2Eは、離散ピクセルまたはサンプリング点が、複数の照明パターンを横断して分散され得る様子を示す。拡大図220は、照明パターンAおよびB内で分散される3つの異なるサンプリング点p1、p2、およびp3を示す。サンプリング点のそれぞれにおける間接光は、ピクセル/サンプリング点毎にいくつかの計算を実施することによって識別されることができる。特に、等式(4)は、各シーケンシャル照明パターンの間、センサによって収集された光Sを総和するために使用されることができる。
Figure 0006999658000003
等式(5)が、次いで、各照明パターンの強度が正弦波状に変動するときの直接光の量を計算するために使用されることができる。
Figure 0006999658000004
等式(5)は、1セットの照明パターンのスパンにわたって放射される光の総量を表すために、照明パターンのそれぞれがアクティブであるときに受光された光の各成分の振幅を総和する。2つの照明パターン投影システムでは、減算される画像は、照明パターンBがアクティブであるときの照明パターンA内から検出された反射された光と、照明パターンAがアクティブであるときに照明パターンB内から検出された反射された光とを表す。2セットの反射された光をともに加算することによって、視野全体を横断して反射された光の分布が、判定されることができる。一般に、本計算は、アクティブである照明パターンにかかわらず、反射された光が実質的に同一のままであると仮定する。その結果、減算される画像を総光から減算し、視野内の直接光を識別する。等式(6)は、計算される直接光(D)を総光(T)から減算することによって、間接光(I)が計算され得る方法を示す。
I=T-D-const[GL] 等式(6)
いくつかの実施形態では、const[GL]は、総光から減算されることができる。本定数は、随意に、センサ視野内の間接光を識別するとき、グレーレベルバイアスを除去するために使用されることができる。いくつかの実施形態では、グレーレベルバイアスを除くことは、センサによって検出される深度データの正確度を改良することができる。グレーレベルバイアスは、周期的に較正され、深度検出システム作業を良好に保ち得る、工場設定または値であることができる。
図2Eはまた、位置p2における深度検出が、2つのみの照明パターンを伴うシステムにとって問題となり得る様子を実証する。照明パターン間の境界から安全に離れて置かれているp1およびp3に関して、間接光除外は、検討するために2つのみの照明パターンが存在するため、簡単であり得る。p1に関して、照明パターンAが、アクティブであるとき、受信される信号は、直接光+任意の反射された光と等しい。照明パターンBが、アクティブであるとき、p1における受信される信号は、ゼロ直接光+任意の反射された光と等しい。直接光は、2つの信号間の差異を求めることによって計算されることができる。これは、反射された光が相殺され、照明パターンBの間の直接光がゼロと等しいため、直接光のみをもたらす。p3に関して、計算は、類似様式において作用し、直接光のみをもたらす。残念ながら、照明パターン間の界面にちょうど位置する、p2では、パターンAおよびBの両方からの直接光は、ほぼ同一強度において検出されるであろう。これは、値の差異を求めることがゼロ値をもたらすことを意味する。さらに、界面近傍のエリアもまた、照明パターンの両方からの直接光が実質的量において存在する度に、ある程度の不正確性に悩まされるであろう。その結果、鋭的境界を照明パターン間に伴う照明パターンは、より少ない不正確性を照明パターン間の界面に有するであろう。しかしながら、界面近傍の点に関する直接光値は、依然として、補間によって計算されることができる。p3に関する直接光値は、p4およびp5に関する直接光値からの補間によって計算されることができる。概して、p4およびp5は、可能な限りp2に近くあるべきである。例えば、プロセッサは、所定の閾値を下回る照明パターンBからの直接光の量を伴う補間点p4を選択するように構成されることができる。
図3Aは、第1の光学アセンブリ300を示し、これは、光源302の正面に位置付けられる光成形構成要素の群から成る。いくつかの実施形態では、光源302は、赤外線レーザダイオードであることができる。光源302は、第1の光成形構成要素である、コリメートレンズ304を通して通過する、光を放射する。コリメートレンズ304は、光源302によって放射される光306を、第2の光成形構成要素である、屈折光学要素308に向かって集束させるように構成されることができる。屈折光学要素308は、集束された光306を角度θだけ傾斜させ、光を垂直に伸長し、第3の光成形構成要素である、回折光学要素312に指向される、優ガウス性ビーム310を生成する。回折光学要素312は、次いで、優ガウス性ビーム310を増大させる。優ガウス性310は、例証目的のために、5倍に倍増されるように描写されるが、本数は、変動することができる。例えば、いくつかの実施形態では、回折光学要素312は、優ガウス性ビームを25倍に倍増するように構成されることができる。倍増された優ガウス性ビーム310の数および厚さは、関連付けられた撮像センサの垂直視野に合致するように選択されることができる。優ガウス性ビームが、マイクロレンズアレイ314を通して通過すると、マイクロレンズアレイ314は、描写されるように、各優ガウス性ビームを水平に拡散させ、領域316を照明する、照明パターンをもたらす。マイクロレンズアレイ314は、両面(描写されるように)、片面、または円筒形であることができる。いくつかの実施形態では、領域318および領域316は、ほぼ同一サイズであることができる。第2の光学アセンブリからの光は、領域318を照明するように構成されることができる。いくつかの実施形態では、光学アセンブリは、水平領域316および318のうちの1つが任意の所与の時間に照明されるように、相補的パターンにおいて光を放射することができる。
図3Bは、第2の光学アセンブリ320を示し、これは、光源322の正面に位置付けられる光成形構成要素の群から成る。いくつかの実施形態では、光源322は、赤外線レーザダイオードであることができる。光源322は、第1の光成形構成要素である、コリメートレンズ324を通して通過する、光を放射する。コリメートレンズ324は、光源322によって放射される光326を、第2の光成形構成要素である、屈折光学要素328に向かって集束させるように構成されることができる。屈折光学要素328は、集束された光326を角度-θだけ傾斜させ、光を垂直に伸長し、第3の光成形構成要素である、回折光学要素332に指向される、優ガウス性ビーム330を生成する。いくつかの実施形態では、優ガウス性ビーム330を優ガウス性ビーム310の方向と反対方向に配向することは、光源間のクロストークのリスクを低減させることができる。回折光学要素332は、次いで、優ガウス性ビーム330を増大させる。優ガウス性ビーム330は、例証目的のために、倍増される5倍に倍増されるように描写されるが、本数は、変動することができる。例えば、いくつかの実施形態では、回折光学要素312は、優ガウス性ビームを25倍に倍増するように構成されることができる。倍増された優ガウス性ビーム330の数および厚さは、関連付けられた撮像センサの垂直視野に合致するように選択されることができる。優ガウス性ビームが、マイクロレンズアレイ334を通して通過すると、マイクロレンズアレイ334は、描写されるように、各優ガウス性ビームを水平に拡散し、領域318を照明する、照明パターンを作成する。このように、光源322および302は、領域316および318を協働して照明することができる。領域316および318の照明は、異なるパターンにおいて互い違いであることができる。例えば、領域316および318は、光がほぼ同一時間量にわたって両領域内で輝くように、連続して照明されることができる。
図3Cは、別の光学アセンブリ340を示し、これは、光源342の正面に位置付けられる3つの光成形構成要素から成る。いくつかの実施形態では、光源342は、赤外線レーザダイオードであることができる。光源342は、コリメートレンズ344の形態をとる第1の光成形構成要素を通して通過する、光を放射する。コリメートレンズ344は、光学要素348の形態をとる第2の光成形構成要素に向かって進行する、光源342によって放射される光346をコリメートするように構成されることができる。光学要素348は、光学要素348の第1の側上の屈折表面350と、光学要素348の第2の側上の回折表面352の両方を含むことができる。屈折表面350および回折表面352は、ガラスまたはポリカーボネート基板の両側上に成型されたポリマー材料の形態をとることができる。コリメートされた光336が、屈折表面340を通して通過すると、光は、角度θだけ傾斜され、光学要素348内の優ガウス性ビーム354に伸長される。優ガウス性ビーム354が、回折表面352を通して通過すると、優ガウス性ビーム354は、複数の優ガウス性ビーム354に倍増されることができる。優ガウス性ビーム354が、マイクロレンズアレイ356を通して通過すると、マイクロレンズアレイ356は、描写されるように、各優ガウス性ビーム354を水平に拡散し、領域316を照明する、照明パターンをもたらす。このように、光源342は、領域316を照明する。
図4A-4Bは、光源毎に、光学アセンブリ300に類似する光学アセンブリを組み込む、2つの光源を伴う、プロジェクタアセンブリ400を示す。図4Aは、投影アセンブリ400の上面図を示す。投影アセンブリ400は、光源402および404を含む。光源402および404は両方とも、剛性基板406に搭載されることができる。いくつかの実施形態では、剛性基板406は、アルミナセラミックから形成されることができる。剛性基板406は、光源402および404を相互に対する位置を偏移させないように保つ。剛性基板406はまた、光学アセンブリに対する光源402および404の偏移を低減させる、低熱膨張係数を有することができる。
光源402は、光を光学アセンブリ410に向かって集束させる、二重コリメートレンズ408の第1の部分を通して、光を放つ。二重コリメートレンズ408の第2の部分は、光源404によって放射される光を光学アセンブリ412に向かって集束させる。いくつかの実施形態では、二重コリメートレンズ408は、同一機能を遂行する、2つの別個のコリメートレンズによって置換されることができる。光学アセンブリ410および412はそれぞれ、各光源からの光をある照明パターンにおいて拡散するために、308に類似する屈折光学要素と、312に類似する回折光学要素と、314に類似するマイクロレンズアレイとを含むことができる。光学アセンブリ410は、照明パターンが相補的であるように、光学アセンブリ412と若干異なり、光源404によって生成された照明パターンを光源402によって生成された照明パターンから垂直にオフセットさせることができる。これは、1つの照明パターンからの光のバーが、他の照明パターンの光のバー間に位置付けられることを可能にする。このように、光源402および404によって生成された照明パターンは、表面を均一に被覆するように協働する。いくつかの実施形態では、屈折光学要素は、光源404からの光を光源402によって生成された光と反対方向に偏移させることができる。
プロジェクタアセンブリ400はまた、PCB416上に搭載され、光源402および404からの出力を同期させるように構成される、プロセッサ414を含むことができる。例えば、プロセッサ414は、PCB416に搭載され、光源402および404に、照明パターンのいずれも同時にアクティブではないように、光の互い違いパルスを送光するように指示するように構成されることができる。プロセッサ414はまた、光源404の変調を指示し、深度センサが他の周囲光源からの光のパルスを区別することに役立つことができる。いくつかの実施形態では、プロセッサ414はまた、センサの視野内の物体から反射された後、光のパルスを受光するように構成される、センサと通信することができる。
図4Bは、投影アセンブリ400の側面図を示す。特に、光源404は、剛性基板406によって持ち上げられて示される。剛性基板は、PCB416によって画定された切り欠きの中に挿入されることができる。剛性基板406はまた、プロジェクタアセンブリ400のプロジェクタ筐体418のための基部を形成することができる。プロジェクタ筐体418は、二重コリメートレンズ408を支持するための段部420を画定することができる。
図5A-5Bは、屈曲光学系を利用する、複数の光源プロジェクタアセンブリ500の図を示す。図5Aは、プロジェクタアセンブリ500が、2つの別個のセットの光学系、すなわち、光学アセンブリ410および412を含む様子を示し、これは、コリメートレンズ408の屈曲光学系502から放射される光を受光する。屈曲光学系502は、光経路504を側方に偏移させ、それによって、プロジェクタアセンブリ500の高さにおける全体的低減を可能にすることによって、光源402および404がコリメートレンズ408のより近くに位置付けられることを可能にする。
図5Bは、光経路504を側方に偏移させることによって、プロジェクタアセンブリ500の高さが、低減され、それによって、プロジェクタアセンブリ500がより小さい形状因子のデバイス内にパッケージ化されることを可能にし得る様子を示す。特に、側方に偏移された光経路504は、光経路の長さが水平および垂直区画に分割されることを可能にする。プロジェクタアセンブリ500の全体的高さは、水平区画内の光経路の部分がプロジェクタアセンブリ500の全体的高さ内に組み込まれる必要がないため、低減される。屈曲光学系502を通した光経路の方向は、光学反射表面506によって再指向され、これは、光を水平配向から垂直配向に再配向する。いくつかの実施形態では、光学反射表面506は、鏡面化されることができる。
図5Cは、プロジェクタアセンブリ510を示し、これは、プロジェクタアセンブリ500より低い全体的高さを有することができる。コリメートレンズ408は、屈曲光学系502および円筒形レンズ表面508の両方を含むことができる。円筒形レンズ表面508は、コリメートレンズ408に進入する光の幅を狭めることによって、光源404によって放射される光を部分的にコリメートすることができる。屈曲光学系502は、光源404によって放射される光の狭められたビーム幅に起因して、垂直により短くあることができる。光は、次いで、コリメートレンズ408から退出することに応じて、完全にコリメートされた状態になる。このように、コリメートレンズ408の高さは、低減されることができる。
図6A-6Bは、単一光源602を使用する、投影アセンブリ600の側面図を示す。図6Aは、非アクティブ構成における、投影アセンブリ600を示す。投影アセンブリ600のみが、2つの異なる照明パターンをもたらすために、単一光源602を含むため、投影アセンブリ600は、2つの相補的照明パターンをもたらすように構成される、線形作動式光学系606を含む。光学系606は、圧電モータ608によって、線形に作動されることができ、これは、図6Bに示される2つの位置においてリンケージ610を回転させることによって、2つ以上の位置間で光学系606を作動させる。圧電モータ608は、光源602が相補的照明パターン612および614を連続して投影することを可能にする率において、光学系606を往復して発振するように構成されることができる。光源602は、光学系606が相補的照明パターンのうちの1つに対応する位置にあるときのみ、光源602が光を放射するように、光学系606の発振率と同期されることができる。2つのみの照明パターンが、示されるが、圧電モータ608はまた、3つ以上の異なる照明パターンを定義するように構成されることができることに留意されたい。
図7は、上記に説明される深度検出システムの異なる構成要素間の相互作用を描写する、略図を示す。フローチャートの上部は、相互作用の開始を示し、フローチャートの下に向かって移動するように進む。深度検出システムのプロジェクタは、交互する第1および第2の照明パターンを送光する。深度検出システムのセンサ視野内の物体は、第1および第2の照明パターンの一部を反射させ、深度検出システムのセンサの中に戻す。直接、プロジェクタから物体に進行し、戻る光(直接光)は、センサに戻ることに先立って、別の表面から跳ね返る光(間接光)が到着する前に、センサに帰着するであろう。その結果、飛行時間深度検出システムは、間接光が検討されるとき、センサからの物体の距離を正しくなく増加させるであろう。センサは、次いで、第1および第2の照明パターンから受光された光をプロセッサに送光する。プロセッサは、次いで、センサとセンサ視野内の物体との間の距離を判定するとき、直接、プロジェクタから物体に進行し、センサに戻る光のみが、検討されるように、間接光を受光された総光からフィルタリング除去するように構成されることができる。プロセッサは、次いで、センサ視野内の物体を深度検出センサと関連付けられたディスプレイの適切な深度平面に割り当てることができる。最後に、プロセッサは、画像をセンサ視野内の種々の物体に対応する深度平面に送信することができる。
説明される実施形態の種々の側面、実施形態、実装、または特徴は、別個に、または任意の組み合わせにおいて使用されることができる。説明される実施形態の種々の側面は、ソフトウェア、ハードウェア、またはハードウェアとソフトウェアの組み合わせによって実装されることができる。説明される実施形態はまた、製造動作を制御するためのコンピュータ可読媒体上のコンピュータ可読コードとして、または製造ラインを制御するためのコンピュータ可読媒体上のコンピュータ可読コードとして、具現化されることができる。コンピュータ可読媒体は、その後、コンピュータシステムによって読み取られ得る、データを記憶し得る、任意のデータ記憶デバイスである。コンピュータ可読媒体の実施例は、読取専用メモリ、ランダムアクセスメモリ、CD-ROM、HDD、DVD、磁気テープ、および光学データ記憶デバイスを含む。コンピュータ可読媒体はまた、コンピュータ可読コードが分散型方式において記憶および実行されるように、ネットワークで結合されたコンピュータシステムにわたって分散されることができる。
前述の説明は、説明目的のために、具体的命名法を使用して、説明される実施形態の完全な理解を提供する。しかしながら、具体的詳細は、説明される実施形態を実践するために要求されないことが、当業者に明白となるであろう。したがって、具体的実施形態の前述の説明は、例証目的および説明のために提示される。それらは、包括的であること、または説明される実施形態を開示される精密な形態に限定することを意図するものではない。多くの修正および変形例が、前述の教示に照らして、可能性として考えられることが、当業者に明白となるであろう。

Claims (20)

  1. 深度検出システムであって、
    投影システムであって、
    剛性基板を有するプロジェクタ筐体と、
    光を第1の複数の光成形構成要素を通して放射することにより第1の照明パターンを生成するように構成されている第1の光源であって、前記第1の光源は、前記剛性基板に搭載されている、第1の光源と、
    光を第2の複数の光成形構成要素を通して放射することにより前記第1の照明パターンと相補的である第2の照明パターンを生成するように構成されている第2の光源であって、前記第2の光源は、前記第1の光源に隣接して前記剛性基板に搭載されており、前記第1および第2の照明パターンは、前記第1および第2の照明パターンの一方のみが任意の所与の時間にアクティブであるように連続してパルス化するように構成されている、第2の光源と
    を備える、投影システムと、
    撮像センサであって、前記撮像センサは、前記投影システムに近接し、前記撮像センサの視野内の物体から反射された後、前記第1および第2の光源によって放射される光を受光するように構成されている、撮像センサと、
    プロセッサであって、前記プロセッサは、
    前記第1の照明パターンがアクティブであるときに前記撮像センサによって受光される光の一部を、前記第2の照明パターンがアクティブであるときに前記撮像センサによって受光される光から除くことと、
    前記第1および第2の光源によって放射される光が、前記センサ視野内の前記物体から反射し、前記撮像センサに戻るまでの時間量を測定することによって、前記深度検出システムと前記センサ視野内の前記物体との間の距離を計算することと
    を実行するように構成されている、プロセッサと
    を備える、深度検出システム。
  2. 前記第1および第2の光源は、赤外線レーザダイオードである、請求項1に記載の深度検出システム。
  3. 前記撮像センサは、グローバルシャッタを有する、請求項1に記載の深度検出システム。
  4. 前記第1および第2の照明パターンは、交互パターンにおいてパルス化される、請求項1に記載の深度検出システム。
  5. 前記第1の複数の光成形構成要素は、回折光学要素と、マイクロレンズアレイとを備える、請求項1に記載の深度検出システム。
  6. 前記第1の複数の光成形構成要素は、前記第1の光源によって放射される光を、前記撮像センサの視野を横断して分散される第1の複数の平行な光のバーに成形する、請求項5に記載の深度検出システム。
  7. 前記第2の複数の光成形構成要素は、前記第2の光源によって放射される光を、前記第1の複数の平行な光のバー間の間隙を被覆する第2の複数の平行な光のバーに成形する、請求項6に記載の深度検出システム。
  8. 前記第1の複数の光成形構成要素は、屈曲光学系を伴うコリメートレンズを備える、請求項1に記載の深度検出システム。
  9. 前記第2の複数の光成形構成要素は、前記屈曲光学系を伴うコリメートレンズを備える、請求項8に記載の深度検出システム。
  10. 前記第1および第2の光源によって投影される前記光は、前記コリメートレンズの反射表面によって約90度で再配向される、請求項9に記載の深度検出システム。
  11. 前記距離を計算することはまた、前記撮像センサの視野外の表面から反射された光と関連付けられたセンサ読取値をフィルタリング除去することを含む、請求項1に記載の深度検出システム。
  12. 深度検出システムであって、
    複数の光成形構成要素であって、
    コリメート光学要素と、
    屈折光学要素と、
    回折光学要素と、
    マイクロレンズアレイと
    を備える、複数の光成形構成要素と、
    光を前記複数の光成形構成要素を通して放射することにより第1の照明パターンを生成するように構成されている第1の光源と、
    光を前記複数の光成形構成要素を通して放射することにより前記第1の照明パターンと相補的である第2の照明パターンを生成するように構成されている第2の光源であって、前記第1および第2の照明パターンは、前記第1および第2の照明パターンの一方のみが任意の所与の時間にアクティブであるように連続してパルス化するように構成されている、第2の光源と、
    撮像センサであって、前記撮像センサは、前記第1および第2の光源によって放射され、かつ前記撮像センサの視野内の物体から反射された光を検出するように構成されている、撮像センサと、
    プロセッサであって、前記プロセッサは、
    前記第1の照明パターンがアクティブであるときに前記撮像センサによって受光される光の一部を、前記第2の照明パターンがアクティブであるときに前記撮像センサによって受光される光から除くことと、
    前記撮像センサの視野外の表面から反射された光と関連付けられたセンサ読取値をフィルタリング除去することによって、前記深度検出システムと前記物体との間の距離を判定することと
    を実行するように構成されている、プロセッサと
    を備える、深度検出システム。
  13. 前記複数の光成形構成要素はさらに、前記回折光学要素に対して側方に偏移するように構成されている線形作動式光学系を備える、請求項12に記載の深度検出システム。
  14. 記深度検出システムはさらに、プリント回路基板備え、
    前記第1および第2の光源は、前記プリント回路基板に電気的および機械的に結合されている、請求項12に記載の深度検出システム。
  15. 前記複数の光成形構成要素は、第1の複数の光成形構成要素であり、前記深度検出システムはさらに、第2の複数の光成形構成要素を備え、それを通して、前記第2の光源は、光を放射するように構成されている、請求項14に記載の深度検出システム。
  16. 前記コリメート光学要素は、前記第1および第2の光源によって放射される前記光の方向を変化させるように構成された反射表面を有する、屈曲光学系を備える、請求項12に記載の深度検出システム。
  17. 深度検出システムであって、
    投影システムであって、
    剛性基板を有するプロジェクタ筐体と、
    光を第1の複数の光成形構成要素を通して放射し、第1の照明パターンを生するように構成されている、第1の光源であって、前記第1の光源は、前記剛性基板に搭載されている、第1の光源と、
    光を第2の複数の光成形構成要素を通して放射し、前記第1の照明パターンと相補的である第2の照明パターンを生するように構成されている、第2の光源であって、前記第2の光源は、前記第1の光源に隣接して前記剛性基板に搭載されており、前記第1および第2の照明パターンは、前記第1および第2の照明パターンの一方のみが任意の所与の時間にアクティブであるように連続してパルス化するように構成されている、第2の光源と
    を備える、投影システムと、
    撮像センサであって、前記撮像センサは、前記投影システムに近接し、前記撮像センサの視野内の物体から反射された後、前記第1および第2の光源によって放射される光を受光するように構成されている、撮像センサと、
    プロセッサであって、前記プロセッサは、
    前記第1の照明パターンがアクティブであるときに前記撮像センサによって受光される光の一部を、前記第2の照明パターンがアクティブであるときに前記撮像センサによって受光される光から除くことと、
    前記第1および第2の光源によって放射される光が、前記センサ視野内の前記物体から反射し、前記撮像センサに戻るまでの時間量を測定することによって、かつ前記撮像センサの視野外の表面から反射された光と関連付けられたセンサ読取値をフィルタリング除去することによって、前記深度検出システムと前記センサ視野内の前記物体との間の距離を計算することと
    を実行するように構成されている、プロセッサと
    を備える、深度検出システム。
  18. 前記プロセッサは、前記第2の照明パターンに対応する前記撮像センサの視野内のエリアから反射する、前記第1の光源によって放射される前記光を識別することによって、前記撮像センサの視野外の表面から反射された光と関連付けられたセンサ読取値をフィルタリングする、請求項17に記載の深度検出システム。
  19. 前記第1および第2の照明パターンは、一連の平行バーを備える、請求項17に記載の深度検出システム。
  20. 前記第1の複数の光成形構成要素は、コリメート光学要素と、屈折光学要素と、回折光学要素と、マイクロレンズアレイとを備える、請求項17に記載の深度検出システム。
JP2019516929A 2016-09-30 2017-09-29 空間光変調を伴うプロジェクタ Active JP6999658B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021208192A JP7506651B2 (ja) 2016-09-30 2021-12-22 空間光変調を伴うプロジェクタ
JP2024096564A JP2024113198A (ja) 2016-09-30 2024-06-14 空間光変調を伴うプロジェクタ

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662402871P 2016-09-30 2016-09-30
US62/402,871 2016-09-30
PCT/US2017/054385 WO2018064520A1 (en) 2016-09-30 2017-09-29 Projector with spatial light modulation

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2021208192A Division JP7506651B2 (ja) 2016-09-30 2021-12-22 空間光変調を伴うプロジェクタ

Publications (2)

Publication Number Publication Date
JP2019529924A JP2019529924A (ja) 2019-10-17
JP6999658B2 true JP6999658B2 (ja) 2022-01-18

Family

ID=61756967

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2019516929A Active JP6999658B2 (ja) 2016-09-30 2017-09-29 空間光変調を伴うプロジェクタ
JP2021208192A Active JP7506651B2 (ja) 2016-09-30 2021-12-22 空間光変調を伴うプロジェクタ
JP2024096564A Pending JP2024113198A (ja) 2016-09-30 2024-06-14 空間光変調を伴うプロジェクタ

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2021208192A Active JP7506651B2 (ja) 2016-09-30 2021-12-22 空間光変調を伴うプロジェクタ
JP2024096564A Pending JP2024113198A (ja) 2016-09-30 2024-06-14 空間光変調を伴うプロジェクタ

Country Status (8)

Country Link
US (3) US10859676B2 (ja)
JP (3) JP6999658B2 (ja)
KR (1) KR102455389B1 (ja)
CN (1) CN109791201B (ja)
AU (1) AU2017336066B2 (ja)
CA (1) CA3037058C (ja)
IL (1) IL265660B2 (ja)
WO (1) WO2018064520A1 (ja)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109791201B (zh) 2016-09-30 2023-04-04 奇跃公司 具有空间光调制的投影仪
US11585902B2 (en) * 2017-11-30 2023-02-21 Cepton Technologies, Inc. Optical designs using cylindrical lenses for improved resolution in lidar systems
US11592527B2 (en) 2018-02-16 2023-02-28 Cepton Technologies, Inc. Systems for incorporating LiDAR sensors in a headlamp module of a vehicle
US10705189B2 (en) * 2018-09-30 2020-07-07 Suteng Innovation Technology Co., Ltd. Multi-beam LiDAR systems with two types of laser emitter boards and methods for detection using the same
WO2020087016A1 (en) * 2018-10-26 2020-04-30 The Charles Stark Draper Laboratory, Inc. Adaptive lidar scanning techniques for improved frame rate and safety
US11698441B2 (en) * 2019-03-22 2023-07-11 Viavi Solutions Inc. Time of flight-based three-dimensional sensing system
EP3961261A4 (en) 2019-04-22 2022-06-08 Koito Manufacturing Co., Ltd. IMAGING DEVICE, VEHICLE HEADLIGHT, AUTOMOTIVE AND IMAGING METHOD
CN110261872A (zh) * 2019-06-24 2019-09-20 业成科技(成都)有限公司 激光侦测装置
US11906628B2 (en) 2019-08-15 2024-02-20 Apple Inc. Depth mapping using spatial multiplexing of illumination phase
EP3798679B1 (en) * 2019-09-30 2023-06-21 STMicroelectronics (Research & Development) Limited Laser safety verification
EP3835720B1 (en) 2019-12-10 2023-08-09 Melexis Technologies NV Method for multipath error compensation and multipath error-compensated indirect time of flight range calculation apparatus
US11580654B2 (en) * 2019-12-30 2023-02-14 Qualcomm Incorporated Alternating light distributions for active depth sensing
US20210215798A1 (en) * 2020-01-10 2021-07-15 Continental Automotive Systems, Inc. Lidar system
US11763472B1 (en) 2020-04-02 2023-09-19 Apple Inc. Depth mapping with MPI mitigation using reference illumination pattern
WO2021196192A1 (zh) * 2020-04-03 2021-10-07 深圳市速腾聚创科技有限公司 激光收发系统、激光雷达及自动驾驶设备
DE102020110052A1 (de) 2020-04-09 2021-10-14 Hybrid Lidar Systems Ag Vorrichtung zur erfassung von bilddaten
CN115552285A (zh) 2020-06-11 2022-12-30 苹果公司 具有飞行时间感测能力的全局快门图像传感器
US11681048B2 (en) * 2020-07-31 2023-06-20 Uatc, Llc Multi-channel light detection and ranging (LIDAR) unit having a telecentric lens assembly and single circuit board for emitters and detectors
GB2597930B (en) * 2020-08-05 2024-02-14 Envisics Ltd Light detection and ranging
CN114740631A (zh) * 2021-01-07 2022-07-12 深圳迈塔兰斯科技有限公司 一种3D-ToF发射模组
WO2022201848A1 (ja) * 2021-03-22 2022-09-29 ソニーグループ株式会社 情報処理装置、情報処理方法およびプログラム
US20230095000A1 (en) * 2021-09-24 2023-03-30 Apple Inc. Adaptive-Flash Photography, Videography, and/or Flashlight Using Camera, Scene, or User Input Parameters

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001133231A (ja) 1999-11-02 2001-05-18 Olympus Optical Co Ltd 3次元画像取得生成装置
JP2006284573A (ja) 2005-04-01 2006-10-19 Baumer Electric Ag 散乱光によるエラーを抑制するための方法及び光学センサー
US8836922B1 (en) 2013-08-20 2014-09-16 Google Inc. Devices and methods for a rotating LIDAR platform with a shared transmit/receive path
JP2015514965A (ja) 2012-02-15 2015-05-21 アップル インコーポレイテッド 走査深度エンジン
US20150253429A1 (en) 2014-03-06 2015-09-10 University Of Waikato Time of flight camera system which resolves direct and multi-path radiation components

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2761180B2 (ja) * 1993-06-30 1998-06-04 株式会社リコー 微小変位測定装置及び光ピックアップ装置
US6763133B1 (en) * 1999-05-29 2004-07-13 Sun Moon University Moire image capturing apparatus and method therefor
US20020163573A1 (en) * 2001-04-11 2002-11-07 Bieman Leonard H. Imaging system
TW520148U (en) 2002-06-14 2003-02-01 Yeou Chih Corp Device for improving heat dissipation and noise of computer power supply
JP3939224B2 (ja) * 2002-08-30 2007-07-04 住友大阪セメント株式会社 領域監視装置
US7544945B2 (en) * 2006-02-06 2009-06-09 Avago Technologies General Ip (Singapore) Pte. Ltd. Vertical cavity surface emitting laser (VCSEL) array laser scanner
DE112009001652T5 (de) * 2008-07-08 2012-01-12 Chiaro Technologies, Inc. Mehrkanal-Erfassung
US8723923B2 (en) * 2010-01-14 2014-05-13 Alces Technology Structured light system
US20110187878A1 (en) * 2010-02-02 2011-08-04 Primesense Ltd. Synchronization of projected illumination with rolling shutter of image sensor
US20130016203A1 (en) * 2011-07-13 2013-01-17 Saylor Stephen D Biometric imaging devices and associated methods
US9297889B2 (en) * 2012-08-14 2016-03-29 Microsoft Technology Licensing, Llc Illumination light projection for a depth camera
US9729860B2 (en) 2013-05-24 2017-08-08 Microsoft Technology Licensing, Llc Indirect reflection suppression in depth imaging
WO2014203110A1 (en) * 2013-06-19 2014-12-24 Primesense Ltd. Integrated structured-light projector
US9443310B2 (en) * 2013-10-09 2016-09-13 Microsoft Technology Licensing, Llc Illumination modules that emit structured light
MX2016005338A (es) * 2013-10-23 2017-03-20 Facebook Inc Representacion de profundidad tri-dimensional con el uso de luz estructurada dinamica.
US9696424B2 (en) * 2014-05-19 2017-07-04 Rockwell Automation Technologies, Inc. Optical area monitoring with spot matrix illumination
US10419703B2 (en) 2014-06-20 2019-09-17 Qualcomm Incorporated Automatic multiple depth cameras synchronization using time sharing
US9897698B2 (en) 2015-02-23 2018-02-20 Mitsubishi Electric Research Laboratories, Inc. Intensity-based depth sensing system and method
US10408922B2 (en) * 2015-07-10 2019-09-10 Ams Sensors Singapore Pte. Ltd. Optoelectronic module with low- and high-power illumination modes
TWM520148U (zh) * 2015-08-21 2016-04-11 高準精密工業股份有限公司 結構光產生模組總成
CN108604053B (zh) * 2015-10-21 2021-11-02 普林斯顿光电子股份有限公司 编码图案投影仪
US11512836B2 (en) * 2016-01-26 2022-11-29 Ams Sensors Singapore Pte. Ltd. Multi-mode illumination module and related method
CN109791201B (zh) 2016-09-30 2023-04-04 奇跃公司 具有空间光调制的投影仪
DE102017205623A1 (de) * 2017-04-03 2018-10-04 Robert Bosch Gmbh LIDAR-Vorrichtung und Verfahrens zum Abtasten eines Abtastwinkels

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001133231A (ja) 1999-11-02 2001-05-18 Olympus Optical Co Ltd 3次元画像取得生成装置
JP2006284573A (ja) 2005-04-01 2006-10-19 Baumer Electric Ag 散乱光によるエラーを抑制するための方法及び光学センサー
JP2015514965A (ja) 2012-02-15 2015-05-21 アップル インコーポレイテッド 走査深度エンジン
US8836922B1 (en) 2013-08-20 2014-09-16 Google Inc. Devices and methods for a rotating LIDAR platform with a shared transmit/receive path
US20150253429A1 (en) 2014-03-06 2015-09-10 University Of Waikato Time of flight camera system which resolves direct and multi-path radiation components

Also Published As

Publication number Publication date
US20180095165A1 (en) 2018-04-05
JP2022031977A (ja) 2022-02-22
KR20190055230A (ko) 2019-05-22
US10859676B2 (en) 2020-12-08
JP2024113198A (ja) 2024-08-21
CN109791201A (zh) 2019-05-21
CA3037058A1 (en) 2018-04-05
JP7506651B2 (ja) 2024-06-26
WO2018064520A1 (en) 2018-04-05
US20230213620A1 (en) 2023-07-06
US11635492B2 (en) 2023-04-25
JP2019529924A (ja) 2019-10-17
IL265660B2 (en) 2023-07-01
KR102455389B1 (ko) 2022-10-14
AU2017336066B2 (en) 2022-04-14
US20210116546A1 (en) 2021-04-22
IL265660A (en) 2019-05-30
CN109791201B (zh) 2023-04-04
EP3519850A1 (en) 2019-08-07
US12007505B2 (en) 2024-06-11
EP3519850A4 (en) 2019-10-16
CA3037058C (en) 2024-04-02
AU2017336066A1 (en) 2019-04-11
IL265660B1 (en) 2023-03-01

Similar Documents

Publication Publication Date Title
JP6999658B2 (ja) 空間光変調を伴うプロジェクタ
US9268012B2 (en) 2-D planar VCSEL source for 3-D imaging
EP3004925B1 (en) Indirect reflection suppression in depth imaging
US7095002B2 (en) Adaptive lighting control for vision-based occupant sensing
US7777722B2 (en) Multi-mode optical navigation
US20200172095A1 (en) Surface Normal Determination for LIDAR Range Samples by Detecting Probe Pulse Stretching
US20150260830A1 (en) 2-D Planar VCSEL Source for 3-D Imaging
JP7541030B2 (ja) Lidarシステムにおける時間的ジッタ
US20240004074A1 (en) Electronic device with light sources emitting in different directions
US11897150B2 (en) Electronic device projecting different light patterns for different functions
US20140354797A1 (en) Calibration block for measuring warpage, warpage measuring apparatus using the same, and method thereof
JP5715822B2 (ja) 光学三角法、コンピュータプログラム、電子制御ユニット及び測定システム
US11733362B2 (en) Distance measuring apparatus comprising deterioration determination of polarizing filters based on a reflected polarized intensity from a reference reflector
JP5686058B2 (ja) 農産物の体積測定装置
EP3519850B1 (en) Projector with spatial light modulation
EP4150905A1 (en) Imaging arrangement and corresponding methods and systems for depth map generation
CN110476080A (zh) 用于对扫描角进行扫描并且用于分析处理探测器的激光雷达设备和方法
KR101019173B1 (ko) 광 스펙클들을 위한 대면적의 비왜곡 이미징 장치 및 그의 방법
JP2021099255A (ja) 情報処理装置、および、情報処理システム
FR2997771A1 (fr) Procede de detection sans contact d'une cible par rayonnement d'infrarouge et son dispositif de mise en oeuvre

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200731

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210517

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210531

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210826

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211122

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211222

R150 Certificate of patent or registration of utility model

Ref document number: 6999658

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150