JP6882461B2 - 飛行時間深度測定のためのリアルタイム較正 - Google Patents

飛行時間深度測定のためのリアルタイム較正 Download PDF

Info

Publication number
JP6882461B2
JP6882461B2 JP2019517427A JP2019517427A JP6882461B2 JP 6882461 B2 JP6882461 B2 JP 6882461B2 JP 2019517427 A JP2019517427 A JP 2019517427A JP 2019517427 A JP2019517427 A JP 2019517427A JP 6882461 B2 JP6882461 B2 JP 6882461B2
Authority
JP
Japan
Prior art keywords
light
optical
feedback
pixel array
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019517427A
Other languages
English (en)
Other versions
JP2019529931A (ja
JP2019529931A5 (ja
Inventor
デイビッド コーエン,
デイビッド コーエン,
アッサーフ ペルマン,
アッサーフ ペルマン,
ジャイ マゾール,
ジャイ マゾール,
エレツ タドモール,
エレツ タドモール,
ジオラ ヤハブ,
ジオラ ヤハブ,
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Magic Leap Inc
Original Assignee
Magic Leap Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Magic Leap Inc filed Critical Magic Leap Inc
Publication of JP2019529931A publication Critical patent/JP2019529931A/ja
Publication of JP2019529931A5 publication Critical patent/JP2019529931A5/ja
Priority to JP2021078354A priority Critical patent/JP7130813B2/ja
Application granted granted Critical
Publication of JP6882461B2 publication Critical patent/JP6882461B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/521Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/8943D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • G01S7/4811Constructional features, e.g. arrangements of optical elements common to transmitter and receiver
    • G01S7/4813Housing arrangements
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497Means for monitoring or calibrating
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Electromagnetism (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Description

(関連出願の相互参照)
温顔は、2016年9月30日に出願された米国仮特許出願62/402,770号に対する優先権を主張するものであり、該米国仮特許出願の内容は、その全体があらゆる目的のために参照により本明細書中に援用される。
本発明の実施形態は、概して、飛行時間(TOF)深度測定システムに関する。
飛行時間(TOF)カメラは、画像の点毎のカメラと対象との間の光信号の飛行時間を測定する、光の速度に基づいて距離を分解する、測距撮像カメラシステムである。飛行時間カメラを用いて、場面全体が、レーザまたは光パルスそれぞれを用いて捕捉される。飛行時間カメラ製品は、半導体デバイスがそのような用途を支援するために高速になるにつれて人気を博しつつある。直接飛行時間撮像システムは、単一のレーザパルスがカメラから退出し、焦点面アレイの上に反射して戻るために要求される直接飛行時間を測定する。3次元画像が、完全な空間および時間データを捕捉し、単一のレーザパルスを用いて完全な3次元場面を記録する。これは、場面情報の迅速な取得およびリアルタイム処理を可能にし、幅広い範囲の用途につながる。これらの用途は、自動車用用途、ヒューマンマシンインターフェース、およびゲーム、測定ならびにマシンビジョン、産業および監視測定、ならびにロボット工学等を含む。
最も単純なバージョンの飛行時間カメラは、複数の光パルスまたは単一の光パルスを使用する。照明が、短時間にわたってオンに切り替えられ、結果として生じる光パルスが、場面を照明し、視野内の物体によって反射される。カメラレンズが、反射された光を採集し、それをセンサまたは焦点面アレイの上に結像する。出射光と戻り光との間の時間遅延が、飛行時間であり、距離を決定するために、光の速度と併用され得る。一続きの時間窓を使用して光パルスを用いて物体または場面を照明し、センサにおいて受信される光学信号に畳み込みプロセスを適用することによって、より高性能のTOF深度測定が、実行され得る。
従来の飛行時間深度測定システムは、プロセス、動作電圧、および熱的条件において変動を受けやすくあり得る。例えば、システムは、潜在的に、構成要素のそれぞれの熱的条件(T)または動作電圧(V)が修正された場合、修正される場合がある。加えて、TOF測定はまた、カメラのフレームレートによって影響を及ぼされ得る。これらの変動は、構成要素のそれぞれのプロセス(P)に依存する場合がある。PVT影響の性質を調査し、誤差を補償するためのモデルを調製することが可能であり得るが、本プロセスは、時間がかかり、必ずしも物理的範囲の完全網羅を提供し得ない。さらに、全範囲深度測定較正は、多くのフレームを使用し、動作オーバーヘッドを増加させ得るため、望ましくない。
構成要素処理または動作条件における変動の影響を軽減させるために、本発明の実施形態は、光学フィードバックデバイスならびにセンサピクセルアレイ内の小型専用フィードバック感知領域を使用する、TOF深度測定のランタイム較正のためのシステムおよび方法を提供する。少数のフィードバックピクセルは、高速の感知および信号処理を可能にし、例えば、光ファイバによって提供される強力なフィードバック照明を用いて、サンプリングパルスの数が、多いに低減され得る。照明および読出の多くのステップが、幅広い範囲の深度を較正するために短時間内に実行されることができる。結果として、深度較正は、カメラのフレームレートに影響を及ぼすことなく、各フレーム内のランタイムにおける幅広い範囲の深度測定にわたって実行されることができる。ピクセルアレイのフィードバック領域とアクティブ領域との間の隔離が、干渉を最小限にさせるために提供される。さらに、電力消費または専用フィードバックピクセル内のオーバーヘッドが、限定される。
本発明のいくつかの実施形態では、飛行時間撮像システムは、標的物体までの距離または深度を決定するために、標的物体を照明するための光パルスを伝送するための、照明器を含む。撮像システムは、光パルスから光学信号を受信するための感光性ピクセルアレイを伴う画像センサを有する。ピクセルアレイは、アクティブ領域と、フィードバック領域とを含む。光学フィードバックデバイスは、照明器からの光の一部をピクセルアレイのフィードバック領域に指向させる。光学フィードバックデバイスは、較正のために、事前設定される基準深度を提供する。撮像システムは、標的物体を照明するための光パルスを伝送し、ピクセルアレイのフィードバック領域において、深度の範囲を表す遅延時間を含む一続きのシャッタ窓を使用して、光学フィードバックデバイスからの光を感知するように構成される。撮像システムは、ピクセルアレイのフィードバック領域内の感知された光に基づいて、飛行時間(TOF)深度測定基準情報を較正するように構成される。TOF深度測定のために、撮像システムは、感光性ピクセルアレイのアクティブ領域において、標的物体から反射される光を感知し、感知された反射光および較正されたTOF測定基準情報に基づいて、標的物体の距離を決定するように構成される。
上記のシステムのある実施形態では、TOF測定基準情報は、物体の距離を、異なる時間遅延を伴う2つのシャッタを使用して、2つのサンプリングされる光信号の間の比率に相関させる、ルックアップテーブルを含む。
本発明のいくつかの実施形態では、事前設定されるフレームレートによって特徴付けられるデジタルカメラでは、標的物体までの距離を決定するための方法が、単一のフレーム周期における距離較正に提供される。本方法は、標的物体を照明するための光パルスを伝送するステップと、感光性ピクセルアレイの第1の領域において、伝送された光パルスの一部を受光する光学フィードバックデバイスから提供される光を感知するステップとを含む。フィードバック光学デバイスは、事前設定される基準深度を含む。光学フィードバックデバイスからの光は、ある範囲の距離を表す遅延時間を含む、一続きのシャッタ窓を使用して、サンプリングされる。本方法は、ピクセルアレイの第1の領域内の感知された光に基づいて、飛行時間(TOF)深度測定基準情報を較正するステップを含む。本方法はさらに、感光性ピクセルアレイの第2の領域において、伝送された光パルスからの標的物体から反射される光を感知するステップを含む。標的物体の距離が、感知された反射光および較正されたTOF測定基準情報に基づいて決定される。
本発明のいくつかの実施形態では、標的物体までの距離を決定するための方法は、標的物体を照明するための光パルスを伝送するステップと、感光性ピクセルアレイの第1の領域において、伝送された光パルスの一部を受光する光学フィードバックデバイスから提供される光を感知するステップとを含む。フィードバック光学デバイスは、事前設定される基準深度を含む。本方法は、ピクセルアレイの第1の領域内の感知された光に基づいて、飛行時間(TOF)深度測定基準情報を較正するステップを含む。本方法はさらに、感光性ピクセルアレイの第2の領域において、伝送された光パルスからの標的物体から反射される光を感知するステップを含む。標的物体の距離が、感知された反射光および較正されたTOF測定基準情報に基づいて決定される。
以下の説明は、添付図面とともに、請求される発明の性質および利点のさらなる理解を提供するであろう。
本発明は、例えば、以下を提供する。
(項目1)
飛行時間(TOF)撮像システムであって、
標的物体までの距離を決定するために、標的物体を照明するための光パルスを伝送するための照明器と、
前記光パルスから光学信号を受信するための感光性ピクセルアレイを有する画像センサであって、前記ピクセルアレイは、アクティブ領域と、フィードバック領域とを含む、画像センサと、
前記照明器からの前記光の一部を前記ピクセルアレイのフィードバック領域に指向させるための光学フィードバックデバイスであって、前記光学フィードバックデバイスは、事前設定される基準深度を含む、光学フィードバックデバイスと
を備え、前記撮像システムは、
標的物体を照明するための光パルスを伝送することと、
前記ピクセルアレイのフィードバック領域において、深度の範囲を表す遅延時間を含む一続きのシャッタ窓を使用して、前記光学フィードバックデバイスからの光を感知することと、
前記ピクセルアレイのフィードバック領域内の前記感知された光に基づいて、飛行時間(TOF)深度測定基準情報を較正することと、
前記感光性ピクセルアレイのアクティブ領域において、前記標的物体から反射される光を感知することと、
前記感知された反射光および前記較正されたTOF測定基準情報に基づいて、前記標的物体の距離を決定することと
を行うように構成される、飛行時間(TOF)撮像システム。
(項目2)
前記フィードバック領域は、感光性ピクセルアレイの縁領域内にある、項目1に記載のシステム。
(項目3)
感光性ピクセルアレイはさらに、前記アクティブ領域と前記フィードバック感知領域とを分離する隔離領域を備える、項目1に記載のシステム。
(項目4)
前記ピクセルアレイのフィードバック領域は、1〜10×10個のピクセルを備える、項目1に記載のシステム。
(項目5)
前記光学フィードバックデバイスは、反射器を備える、項目1に記載のシステム。
(項目6)
前記光学フィードバックデバイスは、光ファイバを備える、項目1に記載のシステム。
(項目7)
前記光ファイバは、照明器筐体内側からの光を前記ピクセルアレイの角における前記フィードバック領域に結合させるように構成される、項目6に記載のシステム。
(項目8)
前記TOF測定基準情報は、異なる時間遅延を伴う2つのシャッタを使用して、物体の距離を2つのサンプリングされる光信号の間の比率に相関させるルックアップテーブルを備える、項目1に記載のシステム。
(項目9)
前記標的物体から反射された光を感知することは、異なる時間遅延を伴う2つのシャッタを使用して、光を感知することを含む、項目1に記載のシステム。
(項目10)
前記較正は、フレーム周期の約1/300の時間がかかる、項目1に記載のシステム。
(項目11)
複数の照明源と、対応する光学フィードバック領域とをさらに備える、項目1に記載のシステム。
(項目12)
前記撮像システムは、前記感光性ピクセルアレイのアクティブ領域において前記標的物体から反射された光を感知した後、飛行時間(TOF)深度測定基準情報を較正するように構成される、項目1に記載のシステム。
(項目13)
事前設定されるフレームレートによって特徴付けられるデジタルカメラにおける方法であって、単一のフレーム周期において、
標的物体を照明するための光パルスを伝送することと、
感光性ピクセルアレイの第1の領域において、前記伝送された光パルスの一部を受光する光学フィードバックデバイスから提供される光を感知することであって、フィードバック光学デバイスは、事前設定される基準深度を含み、前記光学フィードバックデバイスからの前記光は、ある範囲の距離を表す遅延時間を含む一続きのシャッタ窓を使用して、サンプリングされる、ことと、
前記ピクセルアレイの第1の領域内の前記感知された光に基づいて、飛行時間(TOF)深度測定基準情報を較正することと、
前記感光性ピクセルアレイの第2の領域において、前記伝送された光パルスからの前記標的物体から反射される光を感知することと、
前記感知された反射光および前記較正されたTOF測定基準情報に基づいて、前記標的物体の距離を決定することと
を含む、方法。
(項目14)
前記光学フィードバックデバイスは、光ファイバを備える、項目13に記載の方法。
(項目15)
前記光ファイバは、照明器筐体内側からの光を前記ピクセルアレイの角における前記第1の領域に結合させるように構成される、項目13に記載の方法。
(項目16)
前記TOF測定基準情報は、異なる時間遅延を伴う2つのシャッタを使用して、物体の距離を2つのサンプリングされる光信号の間の比率に相関させるルックアップテーブルを備える、項目13に記載の方法。
(項目17)
前記標的物体から反射された光を感知することは、異なる時間遅延を伴う2つのシャッタを使用して、光を感知することを含む、項目13に記載の方法。
(項目18)
飛行時間(TOF)カメラシステムを較正するための方法であって、
前記標的物体までの距離を決定するために、標的物体を照明するための光パルスを伝送することと、
感光性ピクセルアレイの第1の領域において、前記伝送された光パルスの一部を受光するフィードバック光学デバイスから提供される光を感知することであって、前記フィードバック光学デバイスは、事前設定される基準深度を含む、ことと、
前記感光性ピクセルアレイの第2の領域において、前記伝送された光パルスから、前記標的物体から反射される光を感知することと、
前記フィードバック光学デバイスから提供される光に基づいて、飛行時間深度測定情報を較正することと、
前記標的物体から反射された光および前記較正された飛行時間深度測定情報に基づいて、前記標的物体の距離を決定することと
を含む、方法。
(項目19)
前記光学フィードバックデバイスからの光を感知することは、深度の範囲を表す遅延時間を含む一続きのシャッタ窓を使用することを含む、項目18に記載の方法。
(項目20)
前記標的物体から反射された光を感知することは、異なる時間遅延を伴う2つのシャッタを使用して、光を感知することを含む、項目18に記載の方法。
(項目21)
前記TOF測定基準情報は、異なる時間遅延を伴う2つのシャッタを使用して、物体の距離を2つのサンプリングされる光信号の間の比率に相関させるルックアップテーブルを備える、項目18に記載の方法。
図1は、本発明の実施形態による、深度測定のための飛行時間(TOF)撮像システムを図示する、略図である。 図2Aおよび2Bは、本発明の実施形態による、較正のための光ファイバのフィードバックを有する飛行時間(TOF)撮像システム内の画像センサピクセルアレイの実施例を図示する、略図である。 図2Aおよび2Bは、本発明の実施形態による、較正のための光ファイバのフィードバックを有する飛行時間(TOF)撮像システム内の画像センサピクセルアレイの実施例を図示する、略図である。 図3は、本発明の実施形態による、飛行時間(TOF)撮像システム内の光学フィードバック経路を図示する、略図である。 図4Aおよび4Bは、本発明の実施形態による、較正のための光ファイバのフィードバックを伴う飛行時間(TOF)撮像システムを図示する、略図である。 図5は、本発明の実施形態による、飛行時間(TOF)深度測定のための方法を図示する、タイミング図である。 図6は、本発明の実施形態による、感知される信号対光からシャッタまでの遅延時間を図示する、略図である。 図7Aは、本発明の実施形態による、2つのシャッタを用いた2つの信号の感知される信号対光からシャッタまでの遅延時間を図示する、略図である。 図7Bは、本発明の実施形態による、2つのシャッタを用いた2つの信号のシミュレーションされた信号対光からシャッタまでの遅延時間を図示する、略図である。 図7Cは、本発明の実施形態による、2つのシャッタを用いた2つの信号のシミュレーションされた信号対深度を図示する、略図である。 図8は、本発明の実施形態による、飛行時間(TOF)撮像システムにおける較正および深度測定のための方法を図示する、タイミング図である。 図9は、本発明の実施形態による、飛行時間(TOF)撮像システムにおける較正および深度測定のための方法を図示する、別のタイミング図である。 図10は、本発明の実施形態による、飛行時間(TOF)撮像システムにおける較正および深度測定のための方法を図示する、フローチャートである。 図11は、本発明の実施形態による、較正のための光ファイバのフィードバックを伴う飛行時間(TOF)撮像システムの一部を図示する、斜視図である。 図12は、本発明の実施形態による、図11の飛行時間(TOF)撮像システムの一部の断面平面図である。 図13は、本発明の実施形態による、図11の飛行時間(TOF)撮像システム1100の一部の斜視図である。 図14は、本発明の実施形態による、図11の飛行時間(TOF)撮像システムの一部の断面平面図である。 図15は、本発明の実施形態による、図11の飛行時間(TOF)撮像システムの一部の断面平面図である。 図16は、本発明の実施形態による、較正のための光ファイバのフィードバックを伴う飛行時間(TOF)撮像システムの一部を図示する、別の斜視図である。 図17は、本発明の実施形態による、較正のための光ファイバのフィードバックを伴う飛行時間(TOF)撮像システムのプリント回路基板(PCB)を図示する、斜視図である。 図18は、本発明の実施形態による、較正のための光ファイバのフィードバックを伴う飛行時間(TOF)撮像システム1100内で使用され得るプリズム1138を図示する、斜視図である。 図19は、本発明の実施形態による、較正のための光ファイバのフィードバックを伴う飛行時間(TOF)撮像システムを形成するための方法を図示する、フローチャートである。
本発明の実施形態は、光学フィードバックおよび高速画像処理を使用して高い正確度を提供するための較正を伴うTOF深度測定を可能にする、システムならびに方法を提供する。ある範囲の深度測定が、センサ性能および電力消費に及ぼす最小限の影響を伴って、フレーム毎に較正され得る。
上記に列挙された一連の図面を参照して、下記の説明が、提示される。これらの略図は、実施例にすぎず、本明細書の請求項の範囲を不当に限定すべきではない。図示および説明される種々の側面に関連して、当業者は、他の変形例、修正、および代替物を認識するであろう。
図1は、本発明の実施形態による、深度測定のための飛行時間(TOF)撮像システムを図示する、略図である。図1に示されるように、TOFデジタルカメラとも称される、飛行時間(TOF)撮像システム100は、標的物体までの距離を決定するために、標的物体120を照明するための光パルス112を伝送するための照明器110を含む。照明器110は、標的物体に向かって光パルス112を放射するためのパルス照明ユニットおよび光学系を含み得る。本実施例では、照明器110は、例えば、レーザ光源を使用して光を標的物体に伝送するように構成される。しかしながら、例えば、赤外線光、無線周波数EM波等の他の電磁放射源もまた、使用され得ることを理解されたい。撮像システム100はまた、センサレンズの視野(FOV)132内の光パルスからの光学信号を受信するための感光性ピクセルアレイを含むゲートセンサユニットを有する、画像センサ130を含む。ピクセルアレイは、図2Aおよび2Bに関連して下記に説明されるように、アクティブ領域と、フィードバック領域とを含む。撮像システム100はまた、照明器110からの光の一部をピクセルアレイのフィードバック領域に指向させるための光学フィードバックデバイス140を有する。光学フィードバックデバイス140は、事前設定される基準深度を提供する。事前設定される基準深度は、固定TOF長であり得、これは、感知された光対深度測定値を相関させるルックアップテーブル(LUT)を作成するために使用され得る。いくつかの実施形態では、光学フィードバックデバイスは、照明ユニットからの直接光をセンサユニット内のレンズの視野(FOV)の中に収め得る。撮像システム100はさらに、光同期信号およびシャッタ同期信号を照明器ならびに画像センサに提供するためのTOFタイミング発生器150を含む。
図1では、TOF撮像システム100は、標的物体120を照明するための光パルスを伝送するように構成される。撮像システム100はまた、ピクセルアレイのフィードバック領域において、深度の範囲を表す遅延時間を含む一続きのシャッタ窓を使用して、光学フィードバックデバイス140からの光を感知するように構成される。深度の範囲は、撮像システムによって決定され得るある範囲の距離全体を含み得る。撮像システム100は、ピクセルアレイのフィードバック領域内の感知された光に基づいて、飛行時間(TOF)深度測定基準情報を較正する。撮像システム100はさらに、感光性ピクセルアレイのアクティブ領域において、標的物体から反射される光を感知し、感知された反射光および較正されたTOF測定基準情報に基づいて、標的物体の距離を決定するように構成される。
図2Aは、本発明の実施形態による、撮像システム100内で使用され得るピクセルアレイを図示する、簡略図である。示されるように、ピクセルアレイ200は、複数のピクセル212を含み、ピクセルアレイ内の各ピクセルは、入射光を電流に変換する、感光性要素(例えば、フォトダイオード)を含む。高速電子スイッチが、光感知動作のタイミングを制御するためのシャッタとして使用される。飛行時間(TOF)カメラは、光が源から物体およびカメラのセンサまで進行する間の時間を決定することによって、深度画像を取得する。これは、一続きの時間窓を使用して光パルスを用いて物体または場面を照明し、センサにおいて受信される光学信号に畳み込みプロセスを適用することによって、行われることができる。さらなる詳細が、下記に説明される。図2Aに示されるように、ピクセルアレイ200は、アクティブ領域210と、フィードバック領域220とを含む。アクティブ領域は、標的物体の距離を決定するために使用され得、フィードバック領域は、深度較正のために使用され得る。ピクセルアレイはまた、干渉を低減させるために、アクティブ領域210からフィードバック領域220を分離する、隔離領域221を含み得る。隔離領域の寸法は、フィードバックループからの光が、対物レンズによって収集される撮像信号を汚染することを防止するように選択され得る。いくつかの実施形態では、例えば、隔離領域は、約100μm〜200μmの幅を有し得る。いくつかの実施形態では、フィードバック領域220は、視野の外側にある、例えば、ピクセルアレイの角の中またはあまり使用されていない領域の中のピクセルアレイの一部内に位置し得る。したがって、センサの専用フィードバック領域は、あまりオーバーヘッドを被らない。小型のフィードバック領域は、限定される数のピクセル、例えば、単一のピクセルから10×10個のピクセルのアレイを有し得、これは、高速の感知および信号処理を可能にする。いくつかの実施形態では、より良好な信号対雑音比(SNR)を提供するために、より大きなフィードバック領域が、使用され得る。ピクセルを小型のアレイに平均化することは、正確度に寄与し得る。いくつかの実施形態では、フィードバック領域およびアクティブ領域の両方が、較正段階の間に、別個に暴露される。その2つの間の差が、ランタイムにおける補償のために使用され得る。
図2Bは、本発明の別の実施形態による、撮像システム100内で使用され得る、ピクセルアレイを図示する、簡略図である。図2Bに示されるように、ピクセルアレイ250は、図2Aのピクセルアレイ200に類似するが、1つを上回るフィードバック領域を有し得る。ピクセルアレイ250は、アクティブ領域210と、2つ以上のフィードバック領域220とを含む。ピクセルアレイはまた、アクティブ領域から各フィードバック領域を分離する、隔離領域221を含み得る。隔離領域は、フィードバック領域とアクティブ領域との間の干渉を低減させ得る。ピクセルアレイ250は、2つの照明源を有するTOF撮像システム内で使用され得る。いくつかの実施形態では、撮像システムは、2つを上回る照明源と、対応するフィードバックセンサ領域とを含み得る。
図3は、図1の飛行時間(TOF)撮像システム100の一部を図示する、単純化された概略図である。図3は、光学フィードバックデバイスが、光学フィードバックデバイス140からアレイ内の正常ピクセルへの光漏出を防止するように構成されることを図示する。FOVの縁内に挿入される光は、ピクセルアレイ内の特定のピクセルのみに衝打することができ、異なる角度を有する光は、センサの光学系に進入することができない。
いくつかの実施形態では、光学フィードバックデバイスは、照明ユニットからの直接光をセンサユニット内のレンズの視野(FOV)の中に収めるように構成され得る。図4Aおよび4Bは、本発明の実施形態による、較正のための光ファイバのフィードバックを伴う飛行時間(TOF)撮像システム400を図示する、簡略図である。図4Aは、撮像システムの上面図であり、図4Bは、その側面断面図である。撮像システム400は、照明ユニット410と、プリント回路基板(PCB)401上に配置されるセンサユニット430とを含む。図4Aおよび4Bに示されるように、照明ユニット410は、照明筐体418の内側に、ダイオードレーザ源412と、コリメートレンズ414と、拡散器416とを含む。センサユニット430は、画像センサ432と、レンズ434と、画像センサ上に接着剤438を用いて搭載される、鏡筒436とを含む。撮像システム400はまた、フィードバック経路を提供するための光ファイバ420を有する。本実施形態では、光ファイバ420が、照明筐体の内部(例えば、内側の寄生反射)からある量の光を収集し、それを画像センサ432のピクセルアレイ440の角442に、しかし鏡筒436の外側に指向させる。いくつかの実施形態では、不透明な接着剤438が、光を鏡筒に進入することから遮断する。本実施例では、ピクセルアレイの角領域442が、画像センサのフィードバック領域としての役割を果たす。
図5は、本発明の実施形態による、飛行時間(TOF)深度測定のための方法を図示する、タイミング図である。図5では、水平軸は、時間であり、垂直軸は、光信号の強度または大きさである。波形1は、標的から反射され得る、またはフィードバック光学デバイスによって提供され得る、センサに到着する光パルスを表す。波形2は、シャッタ窓を表す。光パルスが、幅Wlightを有し、シャッタ窓が、Wshutterの幅を有することが理解され得る。さらに、光の前縁とシャッタとの間に、時間遅延DL−>SHが、存在する。センサによって感知された光の量は、光に対するシャッタの相対的遅延とともに変動することが理解され得る。
図6は、本発明のいくつかの実施形態による、感知される光信号対光からシャッタまでの遅延時間の大きさを図示する、略図である。図6では、水平軸は、光からシャッタまでの遅延DL−>SHであり、垂直軸は、センサによって感知された光の量である。略図は、いくつかの領域601〜605に分割される。領域601では、シャッタ窓は、光パルスからはるか前方(左方)にあり、シャッタは、光が到着する前にすでに閉鎖されている。言い換えると、光からシャッタの遅延は、負である。したがって、シャッタと光との間に、重複は、存在ない。遅延は、水平軸の右側に移動し、増加する。点611において、シャッタが、光と重複し始める。遅延が領域602を通してさらに増加するにつれて、シャッタと光との間の重複が、増加し続け、さらなる光が、感知され、領域602内に上昇曲線をもたらす。点612において、光の全幅が、シャッタ窓と重複し始める。領域603では、シャッタは、光パルスの持続期間全体を通して完全に開放しており、領域603の幅は、シャッタ開口の幅部Wshutter−光パルスの幅Wlightによって決定される。本領域内で受光される光の大きさは、「シャッタON信号」とマーキングされている。点613において、シャッタ窓の立ち上がりエッジが、光パルスの立ち上がりエッジと整合され、点617によってマーキングされるように、遅延DL−>SHは、ゼロである。領域604では、遅延DL−>SHが、増加し続け、シャッタ窓と光との間の重複が、減少する。結果として、感知される光の大きさは、減少曲線によって示されるように、本領域内で減少する。点615において、遅延は、光の幅に等しく、シャッタは、光パルスが終了するにつれて開放し、結果として、光は、感知されない。領域605では、シャッタは、光パルスがすでに通過した後、開放する。領域605では、光は、感知されず、本領域内で感知される光の量は、「シャッタオフ信号」とマーキングされている。領域602および604では、センサによって収集される光の量が、光からシャッタまでの遅延DL−>SHに応じて変動することに留意されたい。これらの領域は、下記に説明されるように、TOF深度測定較正において使用される。
図7Aは、本発明の実施形態による、2つのシャッタを用いた2つの信号の感知される光信号対光からシャッタまでの遅延時間を図示する、略図である。飛行時間(TOF)カメラは、光が源から物体に進行し、カメラに反射して戻るのに必要とする時間を決定することによって、深度画像を取得する。これは、光パルスを用いて物体または場面を照明し、種々の遅延時間を伴う一続きの窓の畳み込みをセンサによって受信される光学信号に適用することによって行われ得る。いくつかの実施形態では、複数の群の較正光パルスが、深度の範囲を表す遅延時間を含む、一続きのシャッタ窓を使用して伝送される。読出動作が、光パルスの各群に続く。各読出において、光学フィードバックデバイスからの光が、センサのピクセルアレイのフィードバック領域内で感知される。読出データが、次いで、TOF深度データを決定するために、畳み込みプロセスを使用して分析される。上記に説明されるように、図6の領域602および604では、センサにおいて収集される光の量は、光からシャッタまでの遅延DL−>SHに応じて変動する。図6のものに類似する、感知された光データが、収集され得る。これらの領域が、TOF深度測定較正において使用される。図7Aに示されるように、2つの較正シーケンスが、標的物体の未知の反射率の影響を低減させるために実行され得、図中、2つのシーケンスが、S1およびS2と示されている。ある実施形態では、2つのシーケンスに関する光からシャッタまでの遅延の差異DL−>SHは、シャッタ窓の幅Wshutterに等しい。本条件下において、シーケンスS1の領域604およびシーケンスS2の領域602は、図7Aのプロット内で整合され、スライスt−1、t−2、...t−kを形成し得る。各スライスでは、S1およびS2内で収集された光の量は、それぞれ、反射された光パルスの2つの部分を表し、S2/S1の比率は、標的物体までの対応する深度または距離に関連する。図7Aの点AとBとの間の領域は、本TOF撮像機によって決定され得る深度範囲を表す。受光される光のデータは、標的の正面のAとBとの間の遅延を伴う複数の点において測定することによって収集され得る。畳み込みプロセスを使用して、標的までの深度または距離に対する比率S2/S1と関連するルックアップテーブル(LUT)が、構成され得る。最初のルックアップテーブルが、工場較正プロセスにおいて較正され得る。後続のTOF深度測定では、2つの測定が、図7Aの時間の同一のスライスからの遅延を用いて行われる。感知される光の比率S2/S1が、感知されたデータに基づいて決定され、対応する深度が、ルックアップテーブルから決定され得る。
図7Bは、本発明の実施形態による、2つのシャッタを用いた2つの信号のシミュレーションされた信号対光からシャッタまでの遅延時間を図示する、略図である。カメラから100cmにおける平坦な標的を用いた静的試験上で、2つのシャッタを用いて、シミュレーションが、実行され、光からシャッタまでの遅延の範囲を走査した。図7Aと同様に、2つのシャッタS1およびS2に関するシャッタ信号(すなわち、センサにおいて収集される光電子の数)が、プロットされている。本図では、深度は、負であり得る。図7Bの水平軸では、遅延が、以下の等式によって深度に変換される。
<深度>=<光の速度>/2(<電子的遅延>−<シミュレーション遅延ベクトル>)
いくつかの実施形態では、光パルスの幅は、5〜10ナノ秒であり、シャッタ窓幅は、5〜15ナノ秒である。検査された遅延の範囲は、5〜20ナノ秒である。いくつかの実施形態では、光パルス幅は、3ナノ秒〜20秒であり得る。シャッタの幅は、同一の範囲内であり得る。
図7Cは、本発明の実施形態による、2つのシャッタを用いた2つの信号のシミュレーションされた信号対深度を図示する、略図である。図7Cは、異なる距離における壁に対するレール上で測定されたものとしての(1/距離の減衰を伴う)データを示す。S2/S1の比率と深度との間に相関が存在することが、理解され得る。
図5、6、および7A〜7Cにおいて説明される方法を使用して得られるもの等の試験データから、ルックアップテーブル(LUT)が、工場較正プロセス内で構成される。TOF深度測定では、S2/S1の比率が、感知されたデータに基づいて決定され、対応する深度が、ルックアップテーブルから決定され得る。
上記に説明されるように、飛行時間深度測定システムは、プロセスおよび温度、電圧、ならびにフレームレート等の動作条件において変動を受けやすくあり得る。変動の影響を軽減させるために、本発明の実施形態は、上記に説明されるような光学フィードバックデバイスを使用する、TOF深度測定のランタイム較正のためのシステムおよび方法を提供する。少数のフィードバックピクセルは、高速の感知および信号処理を可能にし、例えば、光ファイバによって提供される強力なフィードバック照明を用いて、サンプリングパルスの数が、多いに低減され得る。照明および読出のプロセスが、短時間内に実行されることができる。結果として、深度較正は、カメラのフレームレートに影響を及ぼすことなく、ランタイム時に実行されることができる。較正は、各フレーム内で実行されることができる。さらに、電力消費または専用フィードバックピクセル内のオーバーヘッドは、小さい。ピクセルアレイのフィードバック領域とアクティブ領域との間の隔離が、干渉を最小限にするために提供される。
図8は、本発明の実施形態による、飛行時間深度測定のフレーム間の深度プロファイル較正のための方法を図示する、タイミング図である。本方法は、安定化周期810と、較正周期820と、測定周期830とを含む。安定化周期810では、熱的な安定化照明パルスが、放射され、センサの熱的な安定化のためのダミー読出が、後に続く。較正周期820では、飛行時間ルックアップテーブル(LUT)が、較正される。ここで、複数の群の較正照明パルスP−1、P−2、...P−Nが、深度の範囲を表す遅延時間を含む、一続きのシャッタ窓を使用して放射される。読出動作R−1、R−2、...R−Nが、それぞれ、光パルスの各群の後に続く。各読出において、光学フィードバックデバイスからの光が、センサのピクセルアレイのフィードバック領域内で感知される。読出データが、次いで、図5、6、および7A−7Cに関連して上記に説明されるように、TOF深度データを決定するために、畳み込みプロセスを使用して分析される。深度データが、次いで、ルックアップテーブルを較正するために使用される。
測定周期830は、2つのステップ831および832を有する。第1のステップ831では、第1のシャッタ遅延D1を伴う光パルスS1の第1の群が、標的を照明するために伝送される。少量の光のみが、シャッタ窓内のセンサによって収集され得るため、信号対雑音比を増加させるために、多くの場合、多数の、例えば、数千のパルスが、送出され、採集される。「S1読出」周期の間、標的から反射される光が、センサ内のピクセルのアクティブ領域内で感知される。第2のステップ832では、第2のシャッタ遅延D2を伴う光パルスS2の第2の群が、標的を照明するために伝送される。S2読出の間、標的から反射される光が、センサ内のピクセルのアクティブ領域内で感知される。次に、感知されるデータ読出値の比率S2/S1が、較正されたルックアップテーブルを使用して標的物体の距離を決定するために使用される。いくつかの実施形態では、S1およびS2は、工場較正プロセスまたは適用分野において選定される、事前設定された遅延を有する。
図9は、本発明の実施形態による、深度プロファイル較正が飛行時間深度測定のフレーム間に適合し得ることを例証する、タイミング図である。図9は、図8に類似し、さらに、各動作が飛行時間深度測定のフレーム内で要する時間の長さの実施例を含む。本実施形態では、熱的な安定化パルスは、0.15ミリ秒を要し、熱的な安定化のためのダミー読出は、0.1ミリ秒を要する。したがって、安定化周期の長さは、約0.25ミリ秒である。ルックアップテーブル(LUT)較正周期820では、それぞれが異なる光からシャッタまでの遅延時間を伴う、較正光パルスおよび読出の20個のステップが、使用される。ある実施例では、各ステップは、それぞれが150ナノ秒のパルス幅を有し、3μ秒の読出処理がその後に続く、30個のパルスを含む。したがって、較正周期は、約0.15ミリ秒を要する。測定周期830では、S1ステップは、0.5ミリ秒の読出が後に続く、1.5ミリ秒の光パルス(例えば、150ナノ秒パルスの1,000個のパルス)を含み得る。同様に、S2ステップは、0.5ミリ秒の読出が後に続く、2.0ミリ秒の光パルスを含み得る。本実施例では、安定化と、全範囲深度較正と、TOF深度測定とを含む、全ての動作は、4.9ミリ秒を要する。較正段階は、動作時間全体の約1/300を要する。本光学動作は、1秒あたり60個以上のフレームのフレームレート(fps)に適合するように、十分に高速である。
本発明の実施形態は、従来の方法に優る多くの利点を提供する。例えば、フィードバック光学デバイスは、較正のための強力な光を提供することができる。例えば、フィードバック光学デバイスは、光ファイバを含み得る。ピクセルアレイ内の1つ以上の別個のフィードバック領域は、フィードバック光学信号を感知するために使用される。フィードバック領域は、ピクセルアレイの未使用またはあまり使用されていない領域内に構成され、アレイのアクティブ領域よりはるかに小さい。例えば、いくつかのピクセルは、フィードバック光学デバイスが強力な信号を提供することができる場合、フィードバック感知のために十分である。小さいフィードバック感知領域は、迅速な感知および感知されたデータの高速処理を可能にし、着目深度範囲の高速較正を可能にする。
図10は、本発明の実施形態による、全範囲深度較正を含むTOF深度測定のための方法を図示する、単純化されたフローチャートである。上記に説明される方法は、図10のフローチャート内で要約されることができる。示されるように、方法1000は、ステップ1010において、標的物体を照明するための光パルスを伝送するステップを含む。次に、ステップ1020において、光学フィードバックデバイスから提供された光が、感光性ピクセルアレイの第1の領域内で感知される。ここで、第1の領域が、フィードバック領域として使用される。光学フィードバックデバイスは、伝送された光パルスの一部を受光する。フィードバック光学デバイスは、TOF深度測定の事前設定された基準深度を含む。光学フィードバックデバイスからの光は、ある範囲の距離を表す遅延時間を含む一続きのシャッタ窓を使用して、サンプリングされる。TOF深度測定のために、本方法は、ステップ1030において、感光性ピクセルアレイの第2の領域において、伝送された光パルスからの標的物体から反射された光である、場面データを感知するステップを含む。第2の領域は、ピクセルアレイのアクティブ領域である。本方法は、ステップ1040において、ピクセルアレイの第1の領域内で感知される光に基づいて、飛行時間(TOF)深度測定基準情報を較正するステップを含む。本プロセスは、図5、6、および7A−7Cに関連して、上記に詳細に説明される。実施形態に応じて、ステップ1030および1040が、任意の順序で実行され得ることに留意されたい。例えば、較正データ(1020)および場面データ(1040)が捕捉された後、データ較正が、最初に処理され得、次いで、場面データが、処理される。代替として、TOFデータ較正および場面データ処理の両方が、同時に実行されることもできる。次いで、本方法は、ステップ1050において、感知された反射光および較正されたTOF測定基準情報に基づいて標的物体の距離を決定するステップを含む。
いくつかの実施形態では、本方法は、事前設定されるフレームレートによって特徴付けられるデジタルカメラ内で実行されることができる。較正は、カメラの単一のフレーム周期に適合され得る。ある実施形態では、光学フィードバックデバイスからの光が、ある範囲の距離を表す遅延時間を含む一続きのシャッタ窓を使用して、サンプリングされる。次いで、測定される信号を距離に相関させるために、畳み込みプロセスが、使用される。
本発明の実施形態は、照明部分から画像センサ内の角ピクセルの中への高速飛行時間(TOF)信号に関する光学フィードバックのための小型回路を形成するために統合される、力学、電子工学、および光学設計ならびに処理手順を提供する。本設計は、高レベルの統合、エネルギー消費を節約するためのフィードバックループ内の光の効率的な伝達、および生産公差に対するロバスト性を含む。実施形態はまた、対物レンズの背面焦点距離に制約を追加するのではなく、撮像光学系内のオクルージョンを回避し、フィードバックループから結像エリアの中へおよびその逆の光の漏出を回避することができる。さらなる詳細が、下記に説明される。
図11は、本発明の実施形態による、較正のための光ファイバのフィードバックを伴う飛行時間(TOF)撮像システム1100の一部を図示する、斜視図である。撮像システム1100は、照明ユニット1110と、プリント回路基板(PCB)1101上に配置されるセンサユニット1130とを含む。図11に示されるように、照明ユニット1110は、レーザダイオード源1112と、照明光学系1114と、拡散器1116とを含む。照明光学系1114は、PCB1101内の空洞1118内に配置され、レーザダイオードからの光ビームを折曲し、コリメートするための統合されたレンズを伴う、プリズムを含み得る。センサユニット1130は、ピクセルアレイ1136を伴う画像センサ1132と、画像センサ1132上に搭載される対物レンズ1134(破線で示される)とを含む。図11に示されるように、TOF撮像に関して、拡散器1116から放射された光1111が、図11の図の上方および外側に配置される標的物体に指向され、標的物体から反射された光1131が、対物レンズ1134を通して進入し、画像センサ1132内のピクセルアレイに到達する。撮像システム1100はまた、フィードバック経路を提供するための光ファイバ1120を有する。本実施形態では、光ファイバ1120が、照明光学系筐体の内部(例えば、内側の寄生反射)から少量の光を収集し、それを画像センサ1132のピクセルアレイの角1142に取り付けられている、プリズム1138に指向させる。本実施例では、ピクセルアレイの角領域1142が、画像センサのフィードバック領域としての役割を果たす。
図12は、本発明の実施形態による、図11の飛行時間(TOF)撮像システム1100の一部の断面平面図である。レーザダイオード1112が、照明ユニットの筐体の基部に結合される。光ファイバ1120が、照明光学系筐体の内部(例えば、内側の寄生反射)から少量の光を収集し、それを画像センサ1132のピクセルアレイの角1142に取り付けられている、プリズム1138に指向させる。いくつかの実施形態では、レーザ光の一部を光ファイバ1120に指向するための照明ユニット筐体内の特定の光学要素は、必要とされない。光ファイバ1120は、光をピクセルアレイのサンプルエリア1142に取り付けられている、プリズム1138に指向させる。本実施形態では、照明筐体から散乱された光が、光ファイバ1120によって収集され、プリズム1138から散乱された光が、ピクセルアレイのフィードバック感知エリア1142内で感知され得る。
図11および12では、光ファイバ1120が、プリズム1138の斜辺に結合されている。しかしながら、結合はまた、図13および14に示されるように、プリズムの短辺(隣辺)にも行われ得る。
図13は、本発明の実施形態による、図11の飛行時間(TOF)撮像システム1100の一部の斜視図である。レーザダイオード1112が、照明ユニットの筐体の基部に結合されている。光ファイバ1120が、照明光学系筐体の内部(例えば、内側の寄生反射)から少量の光を収集し、それを画像センサ1132のピクセルアレイ1136の角1142に取り付けられている、プリズム1138に指向させる。本実施形態では、照明筐体から散乱された光が、光ファイバ1120によって収集される。光ファイバ1120は、散乱された光を、ピクセルアレイ1136のサンプルエリア1142に取り付けられている、プリズム1138に指向させる。プリズム1138からの光が、較正のために、ピクセルアレイ1136のフィードバック感知エリア1142内で感知され得る。
図14は、本発明の実施形態による、図11の飛行時間(TOF)撮像システム1100の一部の断面平面図である。レーザダイオード1112が、照明ユニットの筐体の基部に結合されている。光ファイバ1120が、照明光学系筐体の内部(例えば、内側の寄生反射)から少量の散乱された光を収集し、それを画像センサ1132のピクセルアレイの角1142に取り付けられている、プリズム1138に指向させる。光ファイバ1120は、光をピクセルアレイ1136のサンプルエリア1142に取り付けられている、プリズム1138に指向させる。プリズム1138からの光が、ピクセルアレイ1136のフィードバック感知エリア1142内で感知され得る。
図15は、本発明の実施形態による、図11の飛行時間(TOF)撮像システム1100の一部の断面平面図である。図15の撮像システム1100は、照明ユニット1110と、プリント回路基板(PCB)1101上に配置されるセンサユニット1130とを含む。図15に示されるように、照明ユニット1110は、レーザダイオード源(図示せず)と、照明光学系1114とを含む。センサユニット1130は、ピクセルアレイ1136を伴う画像センサ1132と、画像センサ1132上に搭載される対物レンズ1134とを含む。図15に示されるように、TOF撮像に関して、照明ユニット1110から放射された光1111は、図15の図の上方および外側に配置される標的物体に指向され、標的物体から反射された光1131は、対物レンズ1134を通して進入し、画像センサ1132内のピクセルアレイ1136に到達する。撮像システム1100はまた、フィードバック経路を提供するための光ファイバ1120を有する。本実施形態では、光ファイバ1120が、照明光学系筐体の内部からの少量の散乱された光を収集し、それを画像センサ1132のピクセルアレイ1136の角1142に取り付けられている、プリズム1138に指向させる。本実施例では、ピクセルアレイの角領域1142が、画像センサのフィードバック領域としての役割を果たす。
図16は、本発明の実施形態による、較正のための光ファイバのフィードバックを伴う飛行時間(TOF)撮像システム1100の一部を図示する、別の斜視図である。図16に示されるように、照明ユニット1110は、レーザダイオード源1112と、照明光学系1114と、拡散器1116とを含む。照明光学系1114は、PCB1101内の空洞1118内に配置され、レーザダイオードからの光ビームを折曲し、コリメートするための統合されたレンズを伴う、プリズムを含み得る。センサユニット1130は、ピクセルアレイ1136を伴う画像センサと、画像センサ1132上に搭載される対物レンズ1134(破線で示される)とを含む。図16に示されるように、TOF撮像に関して、拡散器1116から放射された光1111は、図11の図の上方および外側に配置される標的物体に指向され、標的物体から反射された光1131は、対物レンズ1134を通して進入し、画像センサ内のピクセルアレイ1136に到達する。撮像システムはまた、フィードバック経路を提供するための光ファイバ1120を有する。本実施形態では、光ファイバ1120が、照明光学系筐体の内部(例えば、内側の寄生反射)から少量の光を収集し、それを画像センサ1132のピクセルアレイの角1142に取り付けられている、プリズム1138に指向させる。本実施例では、ピクセルアレイの角領域1142が、画像センサのフィードバック領域としての役割を果たす。
図16では、光ビームAが、レーザから照明光学系1114内のプリズムの折曲表面の中に進行する。プリズムから反射されて戻る光ビームA1が、迷光として照明ユニット内の空洞の中に入射する。光ビームBが、プリズムからコリメートされて退出し、拡散器1115に指向される。光ビームB1が、迷光として拡散器から空洞の中に反射されて戻る。空洞からの迷光が、光ファイバ1120によって収集される。本発明の実施例では、迷光の量が、光強度測定器に接続されるファイバを使用することによって測定され、十分な光信号がフィードバック較正のために収集され得ることを検証した。
図17は、本発明の実施形態による、較正のための光ファイバのフィードバックを伴う飛行時間(TOF)撮像システム1100のプリント回路基板(PCB)1101を図示する、斜視図である。図17に示されるように、PCB1101は、照明ユニットのための第1の空洞1118と、画像センサのための第2の空洞1139と、光ファイバのための第3の空洞1121とを含む。図17はまた、PCB1101上に配置されるレーザダイオード1112を図示する。
図18は、本発明の実施形態による、較正のための光ファイバのフィードバックを伴う飛行時間(TOF)撮像システム1100内で使用され得るプリズム1138を図示する、斜視図である。いくつかの実施形態では、プリズムは、ガラスまたは他の好適な透明光学材料から作製されることができる。プリズムは、両方とも表面「1」と標識される、上面と、底面と、それぞれ表面「2」と標識される、3つの側面とを有する。図11−16に図示されるように、光ファイバからの光が、側面2のうちの一方を通してプリズムに進入し、画像センサ内のピクセルアレイの中に結合されるべき底面1を通して退出する。したがって、いくつかの実施形態では、プリズムの上面および側面のうちの2つが、反射コーティングでコーティングされる。底面および側面のうちの一方は、コーティングされず、透明な状態であり、光ファイバからの光が、側面を通してプリズムに進入し、底面を通してプリズムから退出することを可能にする。いくつかの実施形態では、プリズムは、透明な接着剤を用いてピクセルアレイに接着され、次いで、不透明なペーストでコーティングされ、撮像光学系からフィードバック光学系を隔離する。
図11、12、および16に図示されるもの等のいくつかの実施形態では、光ファイバ1120が、プリズム1138の斜辺に結合され、プリズムの短辺が、ピクセルアレイと重複するように配置されている。シミュレーション研究は、これらの実施形態において、ファイバを通して進行する光の約5.8%が、ピクセルエリアに到達することを示す。図13および14に図示されるもの等の他の実施形態では、光ファイバ1120が、プリズム1138の短辺に結合され、プリズムの斜辺が、ピクセルアレイに重複するように配置される。シミュレーション研究は、これらの実施形態では、ファイバを通して進行する光の約8.7%が、ピクセルエリアに到達することを示す。
図19は、本発明の実施形態による、較正のための光ファイバのフィードバックを伴う飛行時間(TOF)撮像システムを形成するための方法を図示する、フローチャートである。本方法は、プロセス1910において、PCBアセンブリを形成するステップを含む。本方法は、プロセス1920において、チップ・オン・ボード(CoB)によって画像センサアセンブリを形成するステップを含む。プロセス1930において、レーザダイオードアセンブリが、チップ・オン・ボード(CoB)によって形成される。本方法は、プロセス1940において、光学フィードバック(OFB)プリズムのための画像センサ上に透明な接着剤を分注するステップを含む。OFBプリズムは、照明ユニットからの直接光をレンズの視野(FOV)の中に収める光学系を指す。次いで、プロセス1950において、プリズムが、PCBに取り付けられ、接着剤が、UV硬化プロセス(1960)を使用して硬化される。本方法はまた、プロセス1970において、光ファイバを取り付けるステップと、取付時間の間に透明な接着剤を分注するステップと、プロセス1980において、UV硬化を実施するステップとを含む。さらに、本方法は、プロセス1990において、プリズム上および透明な接着剤上に吸収性接着剤材料を分注するステップを含む。
いくつかの実施形態では、光ファイバは、250μmの光学グレードの非被覆プラスチック光ファイバであり得る。他の好適な光ファイバもまた、代替の実施形態において使用され得る。上記に言及される接着剤材料は、精密位置決め光学接着剤または好適な代替接着剤材料であり得る。
本発明の好ましい実施形態が、図示され、説明されているが、本発明が、これらの実施形態のみに限定されないことが、明確となるであろう。多数の修正、変更、変形例、代用、および均等物が、本請求項に説明されるような本発明の精神ならびに範囲から逸脱することなく、当業者に明白となるであろう。

Claims (20)

  1. 飛行時間(TOF)撮像システムであって、
    標的物体までの距離を決定するために、前記標的物体を照明するための光パルスを伝送するための照明器と、
    前記光パルスから光学信号を受信するための感光性ピクセルアレイを有する画像センサであって、前記感光性ピクセルアレイは、アクティブ領域と、フィードバック領域とを含む、画像センサと、
    前記照明器からの前記光パルスの一部を前記感光性ピクセルアレイの前記フィードバック領域に指向させるための光学フィードバックデバイスであって、前記光学フィードバックデバイスは、事前設定される基準深度を含む、光学フィードバックデバイスと
    を備え、前記撮像システムは、
    標的物体を照明するための光パルスを伝送することと、
    前記感光性ピクセルアレイの前記フィードバック領域において、深度の範囲を表す遅延時間を含む一続きのシャッタ窓を使用して、前記光学フィードバックデバイスからの光を感知することと、
    前記感光性ピクセルアレイの前記フィードバック領域内の前記感知された光に基づいて、飛行時間(TOF)深度測定基準情報を較正することと、
    前記感光性ピクセルアレイの前記アクティブ領域において、前記標的物体から反射され光を感知することと、
    前記感知された反射された光および前記較正されたTOF深度測定基準情報に基づいて、前記標的物体の距離を決定することと
    を行うように構成される、飛行時間(TOF)撮像システム。
  2. 前記フィードバック領域は、感光性ピクセルアレイの縁領域内にある、請求項1に記載のシステム。
  3. 感光性ピクセルアレイは、前記アクティブ領域と前記フィードバック領域とを分離する隔離領域をさらに備える、請求項1に記載のシステム。
  4. 前記感光性ピクセルアレイの前記フィードバック領域は、1〜10×10個のピクセルを備える、請求項1に記載のシステム。
  5. 前記光学フィードバックデバイスは、反射器を備える、請求項1に記載のシステム。
  6. 前記光学フィードバックデバイスは、光ファイバを備える、請求項1に記載のシステム。
  7. 前記光ファイバは、照明器筐体内側からの光を前記感光性ピクセルアレイの角における前記フィードバック領域に結合させるように構成される、請求項6に記載のシステム。
  8. 前記TOF深度測定基準情報は、異なる時間遅延を伴う2つのシャッタを使用して、物体の距離を2つのサンプリングされる光信号の間の比率に相関させるルックアップテーブルを備える、請求項1に記載のシステム。
  9. 前記標的物体から反射された光を感知することは、異なる光からシャッタまでの遅延を伴う2つのシャッタを使用して、前記光を感知することを含み、前記光からシャッタまでの遅延の差異は、シャッタ窓の幅に等しい、請求項1に記載のシステム。
  10. 前記較正は、フレーム周期の約1/300の時間がかかる、請求項1に記載のシステム。
  11. 複数の照明源と、対応する光学フィードバック領域とをさらに備える、請求項1に記載のシステム。
  12. 前記撮像システムは、前記感光性ピクセルアレイの前記アクティブ領域において前記標的物体から反射された光を感知した後、飛行時間(TOF)深度測定基準情報を較正するように構成される、請求項1に記載のシステム。
  13. 事前設定されるフレームレートによって特徴付けられるデジタルカメラにおける方法であって、単一のフレーム周期において、
    標的物体を照明するための光パルスを伝送することと、
    感光性ピクセルアレイの第1の領域において、前記伝送された光パルスの一部を受光する光学フィードバックデバイスから提供される光を感知することであって、前記光学フィードバックデバイスは、事前設定される基準深度を含み、前記光学フィードバックデバイスからの前記光は距離の範囲を表す遅延時間を含む一続きのシャッタ窓を使用して、サンプリングされる、ことと、
    前記感光性ピクセルアレイの前記第1の領域内の前記感知された光に基づいて、飛行時間(TOF)深度測定基準情報を較正することと、
    前記感光性ピクセルアレイの第2の領域において、前記伝送された光パルスからの前記標的物体から反射され光を感知することと、
    前記感知された反射された光および前記較正されたTOF深度測定基準情報に基づいて、前記標的物体の距離を決定することと
    を含む、方法。
  14. 前記光学フィードバックデバイスは、光ファイバを備える、請求項13に記載の方法。
  15. 前記光ファイバは、照明器筐体内側からの光を前記感光性ピクセルアレイの角における前記第1の領域に結合させるように構成される、請求項14に記載の方法。
  16. 前記TOF深度測定基準情報は、異なる時間遅延を伴う2つのシャッタを使用して、物体の距離を2つのサンプリングされる光信号の間の比率に相関させるルックアップテーブルを備える、請求項13に記載の方法。
  17. 前記標的物体から反射された光を感知することは、異なる光からシャッタまでの遅延を伴う2つのシャッタを使用して、光を感知することを含み、前記光からシャッタまでの遅延の差異は、シャッタ窓の幅に等しい、請求項13に記載の方法。
  18. 飛行時間(TOF)カメラシステムを較正するための方法であって、
    的物体までの距離を決定するために、前記標的物体を照明するための光パルスを伝送することと、
    感光性ピクセルアレイの第1の領域において、前記伝送された光パルスの一部を受光するフィードバック光学デバイスから提供される光を感知することであって、前記フィードバック光学デバイスは、事前設定される基準深度を含む、ことと、
    前記感光性ピクセルアレイの第2の領域において、深度の範囲を表す遅延時間を含む一続きのシャッタ窓を使用して、前記伝送された光パルスから前記標的物体から反射され光を感知することと、
    前記フィードバック光学デバイスから提供される光に基づいて、飛行時間深度測定情報を較正することと、
    前記標的物体から反射された光および前記較正された飛行時間深度測定情報に基づいて、前記標的物体の距離を決定することと
    を含む、方法。
  19. 前記標的物体から反射された光を感知することは、異なる光からシャッタまでの遅延を伴う2つのシャッタを使用して、光を感知することを含み、前記光からシャッタまでの遅延の差異は、シャッタ窓の幅に等しい、請求項18に記載の方法。
  20. 前記飛行時間深度定情報は、異なる時間遅延を伴う2つのシャッタを使用して、物体の距離を2つのサンプリングされる光信号の間の比率に相関させるルックアップテーブルを備える、請求項18に記載の方法。
JP2019517427A 2016-09-30 2017-10-02 飛行時間深度測定のためのリアルタイム較正 Active JP6882461B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021078354A JP7130813B2 (ja) 2016-09-30 2021-05-06 飛行時間深度測定のためのリアルタイム較正

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662402770P 2016-09-30 2016-09-30
US62/402,770 2016-09-30
PCT/US2017/054719 WO2018064658A1 (en) 2016-09-30 2017-10-02 Real time calibration for time-of-flight depth measurement

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2021078354A Division JP7130813B2 (ja) 2016-09-30 2021-05-06 飛行時間深度測定のためのリアルタイム較正

Publications (3)

Publication Number Publication Date
JP2019529931A JP2019529931A (ja) 2019-10-17
JP2019529931A5 JP2019529931A5 (ja) 2020-09-24
JP6882461B2 true JP6882461B2 (ja) 2021-06-02

Family

ID=61757220

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2019517427A Active JP6882461B2 (ja) 2016-09-30 2017-10-02 飛行時間深度測定のためのリアルタイム較正
JP2021078354A Active JP7130813B2 (ja) 2016-09-30 2021-05-06 飛行時間深度測定のためのリアルタイム較正

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2021078354A Active JP7130813B2 (ja) 2016-09-30 2021-05-06 飛行時間深度測定のためのリアルタイム較正

Country Status (9)

Country Link
US (2) US10762651B2 (ja)
EP (1) EP3519852B1 (ja)
JP (2) JP6882461B2 (ja)
KR (1) KR102505237B1 (ja)
CN (1) CN110402397B (ja)
AU (1) AU2017337124B2 (ja)
CA (1) CA3037988A1 (ja)
IL (1) IL265659B (ja)
WO (1) WO2018064658A1 (ja)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10762651B2 (en) 2016-09-30 2020-09-01 Magic Leap, Inc. Real time calibration for time-of-flight depth measurement
CA3083227A1 (en) 2017-12-13 2019-06-20 Magic Leap, Inc. Global shutter pixel circuit and method for computer vision applications
AU2018389234B2 (en) 2017-12-21 2023-06-01 Magic Leap, Inc. Method for calibrating an augmented reality device
CN111837144A (zh) 2018-03-13 2020-10-27 奇跃公司 使用机器学习的增强图像深度感测
JP7082404B2 (ja) * 2018-06-26 2022-06-08 国立大学法人静岡大学 距離計測装置
JP6717887B2 (ja) * 2018-07-12 2020-07-08 ファナック株式会社 距離補正機能を有する測距装置
CN110868507A (zh) * 2018-08-27 2020-03-06 宁波舜宇光电信息有限公司 带有泛光灯的电子设备及其装配方法
CN112689776A (zh) * 2018-09-16 2021-04-20 苹果公司 使用彩色图像数据校准深度感测阵列
CN109067951A (zh) * 2018-10-31 2018-12-21 Oppo广东移动通信有限公司 电子装置
EP3657203A1 (de) * 2018-11-22 2020-05-27 Hexagon Technology Center GmbH Elektrooptischer entfernungsmesser und entfernungsmessverfahren
US11423572B2 (en) * 2018-12-12 2022-08-23 Analog Devices, Inc. Built-in calibration of time-of-flight depth imaging systems
DE102019134142A1 (de) * 2018-12-12 2020-06-18 Analog Devices, Inc. Eingebaute kalibrierung von laufzeittiefenbildgebungssystemen
CN109451228B (zh) * 2018-12-24 2020-11-10 华为技术有限公司 摄像组件及电子设备
CN111580117A (zh) * 2019-02-19 2020-08-25 光宝电子(广州)有限公司 飞时测距感测系统的控制方法
WO2020192209A1 (zh) * 2019-03-25 2020-10-01 华为技术有限公司 一种基于Dual Camera+TOF的大光圈虚化方法
CN112114322A (zh) * 2019-06-21 2020-12-22 广州印芯半导体技术有限公司 飞时测距装置及飞时测距方法
EP3816657B1 (en) * 2019-10-29 2024-04-24 Hexagon Technology Center GmbH Multi-beam measuring device for 3d scanning of an environment having seamlessly stacked reception modules
CN112924979B (zh) * 2019-11-20 2024-03-01 北京小米移动软件有限公司 Tof模组的多路径光线测试设备、深度误差测量方法及系统
CN111024368B (zh) * 2019-12-06 2022-02-11 炬佑智能科技(苏州)有限公司 Tof相机杂散光检测装置及检测方法
US11582436B2 (en) * 2020-07-17 2023-02-14 Shenzhen GOODIX Technology Co., Ltd. Passive three-dimensional image sensing based on chromatic focal differentiation
US20240067094A1 (en) * 2020-12-28 2024-02-29 Koito Manufacturing Co., Ltd. Gating camera, vehicle sensing system, and vehicle lamp
JP2023122396A (ja) * 2022-02-22 2023-09-01 ソニーセミコンダクタソリューションズ株式会社 測距装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE50208355D1 (de) 2001-08-06 2006-11-16 Siemens Ag Verfahren und vorrichtung zur aufnahme eines dreidimensionalen abstandsbildes
JP2010061304A (ja) * 2008-09-02 2010-03-18 Calsonic Kansei Corp 車両用距離画像データ生成装置
EP2477043A1 (en) * 2011-01-12 2012-07-18 Sony Corporation 3D time-of-flight camera and method
US8872093B2 (en) 2012-04-18 2014-10-28 Apple Inc. Calibrated image-sensor-based ambient light sensor
JP2014070936A (ja) * 2012-09-28 2014-04-21 Dainippon Screen Mfg Co Ltd 誤差画素検出装置、誤差画素検出方法、および誤差画素検出プログラム
US10230934B2 (en) * 2013-06-14 2019-03-12 Microsoft Tehcnology Licensing, Llc Depth map correction using lookup tables
US10063844B2 (en) * 2013-10-17 2018-08-28 Microsoft Technology Licensing, Llc. Determining distances by probabilistic time of flight imaging
US9542749B2 (en) 2014-01-06 2017-01-10 Microsoft Technology Licensing, Llc Fast general multipath correction in time-of-flight imaging
CN105164550B (zh) * 2014-02-28 2018-10-12 松下知识产权经营株式会社 测距装置以及测距方法
US10062180B2 (en) 2014-04-22 2018-08-28 Microsoft Technology Licensing, Llc Depth sensor calibration and per-pixel correction
US9720076B2 (en) 2014-08-29 2017-08-01 Omnivision Technologies, Inc. Calibration circuitry and method for a time of flight imaging system
US9578311B2 (en) 2014-10-22 2017-02-21 Microsoft Technology Licensing, Llc Time of flight depth camera
US9823352B2 (en) * 2014-10-31 2017-11-21 Rockwell Automation Safety Ag Absolute distance measurement for time-of-flight sensors
US9330464B1 (en) 2014-12-12 2016-05-03 Microsoft Technology Licensing, Llc Depth camera feedback
US10762651B2 (en) 2016-09-30 2020-09-01 Magic Leap, Inc. Real time calibration for time-of-flight depth measurement
DE102017126378A1 (de) * 2017-11-10 2019-05-16 Infineon Technologies Ag Verfahren zum Verarbeiten eines Rohbildes einer Time-of-Flight-Kamera, Bildverarbeitungsvorrichtung und Computerprogramm

Also Published As

Publication number Publication date
EP3519852A4 (en) 2019-10-16
AU2017337124B2 (en) 2022-08-04
JP7130813B2 (ja) 2022-09-05
US11587245B2 (en) 2023-02-21
JP2019529931A (ja) 2019-10-17
US10762651B2 (en) 2020-09-01
KR102505237B1 (ko) 2023-02-28
CA3037988A1 (en) 2018-04-05
US20210004975A1 (en) 2021-01-07
CN110402397A (zh) 2019-11-01
EP3519852B1 (en) 2022-03-23
JP2021113828A (ja) 2021-08-05
KR20190054167A (ko) 2019-05-21
IL265659B (en) 2022-04-01
WO2018064658A1 (en) 2018-04-05
AU2017337124A1 (en) 2019-04-18
IL265659A (en) 2019-05-30
US20180096489A1 (en) 2018-04-05
CN110402397B (zh) 2023-03-03
EP3519852A1 (en) 2019-08-07

Similar Documents

Publication Publication Date Title
JP6882461B2 (ja) 飛行時間深度測定のためのリアルタイム較正
CN110914705B (zh) 用于集成lidar照明功率控制的设备、系统和方法
CN108267749A (zh) 校准飞行时间光学系统的光检测器
KR102454144B1 (ko) 동기화된 회전식 lidar 및 롤링 셔터 카메라 시스템
US7554652B1 (en) Light-integrating rangefinding device and method
JP2019529931A5 (ja)
US20180227475A1 (en) Imaging device, and solid-state imaging element used for same
US9635351B2 (en) Integrated reference pixel
JP2021507584A (ja) コンピュータビジョンアプリケーションのためのグロバールシャッタピクセル回路および方法
CN110691983A (zh) 具有结构光及集成照明和检测的基于lidar的3-d成像
JP2021501874A (ja) 飛行時間システムを較正する方法及び飛行時間システム
CA2716980C (en) Light-integrating rangefinding device and method
US20130088620A1 (en) Method of controlling a system including an image sensor and a light source
CN111198362B (zh) 用于lidar接收器的具有交错的光电检测器阵列和模拟读出电路的多重检测器
CN112130161A (zh) 1d扫描lidar中的发送器和接收器的校准
US20210041534A1 (en) Distance measurement module, distance measurement method, and electronic apparatus
CN111352120B (zh) 飞行时间测距系统及其测距方法
KR102165091B1 (ko) 3차원 거리측정 카메라
KR20210028520A (ko) Tof 장치
CN110709724B (zh) 电磁波检测装置以及记录介质
JP4270658B2 (ja) 3次元画像検出装置
KR20230099402A (ko) 3차원 이미지 획득 장치

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200811

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200811

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20200811

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20200916

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201005

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210104

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210405

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210506

R150 Certificate of patent or registration of utility model

Ref document number: 6882461

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250