JP7094937B2 - 飛行時間型深度画像化システムの内蔵較正 - Google Patents

飛行時間型深度画像化システムの内蔵較正 Download PDF

Info

Publication number
JP7094937B2
JP7094937B2 JP2019223671A JP2019223671A JP7094937B2 JP 7094937 B2 JP7094937 B2 JP 7094937B2 JP 2019223671 A JP2019223671 A JP 2019223671A JP 2019223671 A JP2019223671 A JP 2019223671A JP 7094937 B2 JP7094937 B2 JP 7094937B2
Authority
JP
Japan
Prior art keywords
light
pixels
shield
light source
sensor array
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019223671A
Other languages
English (en)
Other versions
JP2020095038A (ja
Inventor
チャールズ・マシー
ブライアン・シー・ドネリー
ニコラス・ル・ドルツ
セファ・デミルタス
Original Assignee
アナログ ディヴァイスィズ インク
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アナログ ディヴァイスィズ インク filed Critical アナログ ディヴァイスィズ インク
Publication of JP2020095038A publication Critical patent/JP2020095038A/ja
Application granted granted Critical
Publication of JP7094937B2 publication Critical patent/JP7094937B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4814—Constructional features, e.g. arrangements of optical elements of transmitters alone
    • G01S7/4815—Constructional features, e.g. arrangements of optical elements of transmitters alone using multiple transmitters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G01S7/4863—Detector arrays, e.g. charge-transfer gates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)
  • Camera Bodies And Camera Details Or Accessories (AREA)
  • Automatic Focus Adjustment (AREA)
  • Image Analysis (AREA)

Description

本開示は、飛行時間型（ＴｏＦ）深度画像化に関する。より具体的には、本開示は、飛行時間型深度センサの較正に関するシステムおよび技術について説明する。
飛行時間（ＴｏＦ）は、物体、粒子または音、電磁または他の波のプロパティである。これは、このような物体が媒体を通過して距離を移動するために必要とする時間である。時刻基準（原子泉など）に関して、粒子または媒体（組成または流量など）について知るために所定の媒体を通過する速度または路長を測定する方法として、この時間（すなわち、飛行時間）の測定が使用され得る。移動体が直接的に（例えば、質量分析におけるイオン検出器）または間接的に（例えば、レーザードップラ速度測定において物体から散乱する光）検出されてもよい。
飛行時間原理（ＴｏＦ）は、物体によって反射している信号の放射とそのセンサへの帰還との時間差に基づくセンサと物体との間の距離の計測方法である。様々なタイプの信号（キャリアとも称される）が、ＴｏＦとともに使用され得るが、音および光が最も一般的である。いくつかのセンサは、速度、範囲、軽量および目の安全を独自に組み合わせることが可能であることから、そのキャリアとして光を使用する。赤外光により、信号外乱を低減し、また、周囲の自然光からより容易に区別することにより、所定の大きさおよび重量に関してセンサの性能が高まり得る。
飛行時間型カメラ（ＴｏＦカメラ）は、光の既知の速度に基づいて距離を変換し、画像の各点に関してカメラと対象との間の光信号の飛行時間を計測する範囲画像化カメラシステムである。
飛行時間型（ＴｏＦ）画像センサにおいて、画像センサは、プロセッサがシーン内の物体への距離を判定し得る、単一の２次元画像またはいくつかの２次元画像を撮像する。ＴＯＦ画像センサは、放射光が画像センサに帰還するまでにかかる時間を検出することによって装置からの距離が測定され得る物体を照明する光源をさらに備える。システムはまた、画像処理技術を利用してもよい。
本概要は、本特許出願の主題の概要を提示することを意図される。これは、｛２｝本発明の排他的な、または徹底的な説明を提示することを意図していない。このようなシステムを本出願の残りの部分に記載の本発明のいくつかの態様と図面を参照して比較することで、従来の既存の手法のさらなる制限や不利点が当業者には明らかになるであろう。
飛行時間型（ＴｏＦ）深度画像処理のためのシステムおよび方法が開示される。一態様によって、オンザフライ較正のためのシステムおよび方法が開示される。特に、受信信号の処理時における遮蔽物に対して画像化センサおよび光源の配置を考慮するためのシステムおよび方法が開示される。一例として、画像化センサおよび光源の互いに対する配置は、選択された物体または遮蔽物への距離の関数として画素によって受信された信号の量に影響を与える。例えば、遮蔽物は光エミッタを遮断し得、遮蔽物が光エミッタとより離れた距離に位置するにつれ、また、光線光が光エミッタを離れ、遮蔽物に反射し、画像化センサによって受信されるにつれて、信号レベルが増大する。
いくつかの実施態様において、光エミッタは、例えばディフューザーおよび／または開口部を光エミッタの前に配置することによって、可変である立体角上で光を放射する。
一態様によると、画像処理システムを有するオンザフライ較正は、第１の時間間隔の間に光を放射するように構成された光源と、入力信号を収集するための画像センサであって、複数の画素のそれぞれに関して、複数の画素を備える反射光を含む画像センサであって、収集信号を記憶するための記憶ユニットのセットを含む画像センサと、記憶された記憶ユニットからの収集信号を利用し、複数の画素のそれぞれで距離測定値を判定するように構成されたプロセッサと、を含む。プロセッサは、画素のセットからの記憶ユニットの第１のサブセットを使用して、システムを較正するようにさらに構成される。一実施態様において、記憶ユニットの第１のサブセットは、飽和量未満の反射光を受ける画素のサブセットに相互に関連する。
別の態様によると、画像処理システムの較正方法は、第１の時間間隔の間に光を放射することと、反射した放射光を含む信号を収集することと、未ろ波の収集された入力信号からの複数の画素に関する深度推定を判定することと、複数の画素のサブセットを使用してシステムを較正することと、を含む。一実施態様において、システムを較正することは、飽和量未満の反射光および最小限の量を超える反射光を受ける画素のサブセットを使用することを含む。
一態様によると、画像処理システムを有するオンザフライ較正は、光を放射するように構成された光源と、反射した放射光を含む入力信号を受けるための複数の画素を備えたセンサアレイと、光源からの放射光の少なくとも一部をセンサアレイにおける画素の少なくともサブセットに反射させるように構成された、光源から所定距離に配置された遮蔽物と、画素のサブセットにおける画素の少なくとも１つに関して距離測定値を判定し、画像処理システムを較正するように構成されたプロセッサと、を含む。
いくつかの実施態様において、複数の画素のそれぞれに関して、センサアレイは、収集された受信入力信号を記憶するための記憶ユニットを含む。いくつかの例として、記憶ユニットの第１のサブセットは、画素のサブセットに対応し、記憶ユニットの第１のサブセットは、遮蔽物を反射した放射光を含む収集信号を記憶する。
いくつかの実施態様において、プロセッサは、システムを較正するために、遮蔽物の所定距離を使用するようにさらに構成される。いくつかの実施態様において、遮蔽物は移動可能である。いくつかの例として、遮蔽物は、光エミッタおよびセンサアレイを覆うように構成可能なシャッターである。
いくつかの実施態様において、所定距離は、約１０ミリメートル未満である。様々な例として、所定距離は、約８ミリメートル、約８ミリメートル未満、約６ミリメートル、約６ミリメートル未満、約５ミリメートル、約５ミリメートル未満、約４ミリメートル、約４ミリメートル未満、約３ミリメートル、約３ミリメートル未満、約２ミリメートル、約２ミリメートル未満、約１ミリメートル、または約１ミリメートル未満である。他の実施態様において、所定距離は約１０ミリメートルであるか、または約１０ミリメートルを上回る。
いくつかの実施態様において、画像処理システムは、光源とセンサアレイとの間に配置された光ブロックを含む。光ブロックは、放射光がセンサアレイへと直接移動することを防止するように構成される。
いくつかの実施態様において、センサアレイにおける画素のサブセットは、飽和量未満の反射光を受ける。いくつかの実施態様において、光源は、可変立体角上に光を放射する。いくつかの実施態様において、画像処理システムは、光エミッタの前に移動可能に配置するよう構成されたディフューザーを含む。
一態様によると、画像処理システムの較正方法は、光源から光を放射することと、複数の画素を有するセンサアレイにおいて、反射した放射光を受けることと、対応する複数の記憶ユニットにおける画素において入力信号を収集し、記憶することと、記憶ユニットの対応するサブセットに記憶された信号からの複数の画素の少なくともサブセットの深度測定を判定することと、深度測定値を使用してシステムを較正することと、を含む。反射した放射光を受けることは、光源から所定距離に配置された、統合された遮蔽物に反射した放射光を受けることを含む。
いくつかの実施態様において、システムを較正することは、深度測定値を所定距離と比較することを含む。いくつかの実施態様において、システムを較正することは、飽和量未満の反射光を受ける記憶ユニットのサブセットを使用することを含む。いくつかの実施態様において、光を放射することは、可変立体角上に光を放射することを含む。
いくつかの実施態様において、統合された遮蔽物に反射した放射光を受けることは、シャッターが第１の位置にある時に、移動可能なシャッターに反射した放射光を受けることを含む。いくつかの例として、本方法は、シャッターにおける調節可能な開口部を光源の前に配置することを含む。
様々な例によって、シャッターは、複数のシャッター位置を含む。シャッター位置のサブセットにおいて、シャッターは開口部を定義し、開口部の大きさは、特定のシャッター位置に応じて変化する。１つのシャッター位置において、シャッターは閉じられ、開口部を含まない。
別の態様によると、オンザフライ較正を有する画像処理システムは、光を放射するように構成された光源と、反射した放射光を含む入力信号を受けるための複数の画素を備えるセンサアレイであって、複数の画素のそれぞれに関して、センサアレイが収集された受信入力信号を記憶するための記憶ユニットを含むセンサアレイと、記憶ユニットの少なくともサブセットからの記憶された収集信号を使用して、画像処理システムを較正するように構成されたプロセッサであって、複数の画素の少なくとも１つのための距離測定値を判定するプロセッサと、を含む。
いくつかの実施態様において、画像処理システムは、光エミッタの前に移動可能に配置するよう構成されたディフューザーを含む。いくつかの実施態様において、画像処理システムは、光源とセンサアレイとの間に配置された光ブロックを含み、光ブロックは、放射光がセンサアレイへと直接移動することを防ぐように構成されている。
図面は、例示的なＴｏＦ回路、システムおよび構成を示す。これらのシステムの変形例、例えば、回路からの特定の要素の位置の変更、追加または除去は本発明の範囲内にある。例示されるＴｏＦ装置および構成は、詳細な説明に見られる支持の補完であるように意図される。
本発明の本質および利点を完全に理解するために、～以下の発明を実施するための最良の形が、以下を含む添付図面に関連して参照される。
本開示のいくつかの実施形態による、飛行時間型深度画像化システム１００を示す。 本開示のいくつかの実施形態による、画像化装置を示す。 本開示のいくつかの実施形態による、収集信号の測定を示す。 本開示のいくつかの実施形態による、２つ以上の記憶ユニットにおける測定値を収集するシステムを示す。 本開示のいくつかの実施形態による、測定値および早見表を示す。 本開示のいくつかの実施形態による、信号が５０％のデューティサイクルを有するシステムを示す。 本開示のいくつかの実施形態による、正弦波光信号を有するシステムを示す。 本開示のいくつかの実施形態による、画像化システムおよび信号強度曲線を示す。 本開示のいくつかの実施形態による、画像化システムおよび信号強度曲線を示す。 本開示のいくつかの実施形態による、画像化システムを示す。 本開示のいくつかの実施形態による、シャッターを有する画像化システムを示す。 本開示のいくつかの実施形態による、シャッターを有する画像化システムを示す。 本開示のいくつかの実施形態による、シャッターを有する画像化システムを示す。 本開示のいくつかの実施形態による、シャッターを有する画像化システムを示す。 本開示のいくつかの実施形態による、シャッターを有する画像化システムを示す。 本開示のいくつかの実施形態による、画像化システムのためのポップアップシステムを示す。 本開示のいくつかの実施形態による、画像化システムのためのポップアップシステムを示す。 本開示のいくつかの実施形態による、画像化システムの別の例を示す。 本開示のいくつかの実施形態による、画像化システムの別の例を示す。 本開示のいくつかの実施形態による、遮蔽物および光エミッタの配置の例を示す。 本開示のいくつかの実施形態による、遮蔽物および光エミッタの配置の例を示す。 本開示のいくつかの実施形態による、遮蔽物および光エミッタの配置の例を示す。 本開示のいくつかの実施形態による、画像化装置の遮蔽物の例を示す。 本開示のいくつかの実施形態による、画像化装置の遮蔽物の例を示す。 本開示のいくつかの実施形態による、画像化装置の遮蔽物の例を示す。 本開示のいくつかの実施形態による、画像化システムの較正方法を示す。 本明細書に記載のタイプの画像化装置を組み込むシステムの例を示す。 本明細書に記載のタイプの画像化装置を組み込むモバイル装置を示す。 本明細書に記載のタイプの画像化装置を組み込むゲ―ミングコンソールを示す。 本明細書に記載のタイプの画像化装置を組み込むロボットを示す。
飛行時間型深度画像化装置は、画像化装置の近くに光を放射し、光が物体に反射して画像化装置に帰還するまでの時間を計測することによってシーン内の物体までの距離の画像を作成する。距離を正確に判定するために、飛行時間型深度画像化装置が較正される。システムは従来、システムの一部ではない物体を使用し、物体を画像化装置からの所定距離に配置することによって、製造時に較正される。
オンザフライ較正のための様々なシステムおよび方法について、本明細書において説明する。オンザフライ較正は自然に実装され得る。いくつかの例として、オンザフライ較正は製造時に実行される。いくつかの例として、オンザフライ較正は製造後に実行される。いくつかの例として、オンザフライ較正を含む画像化装置はいつでも再較正され得る。オンザフライ較正の構成要素は、オンザフライ較正を含む画像化システムに統合的に含まれる。
様々な実施態様によって、本明細書において説明するシステムおよび方法は、画像化センサおよび光源の互いに対する配置の測定値を使用する。特に、所定の物体までの距離の関数として画素によって受けられる信号の量は、画像化センサおよび光源の互いに対する配置に依存する。いくつかの実施態様において、オンザフライ較正システムは光源までの短い既知の距離にある統合された遮蔽物を含み、光源から放射された光は、遮蔽物に反射し、センサアレイにおいて受けられる。センサアレイにおいて受けられた光は、システムを較正するために使用される。様々な実施態様において、任意の数のカメラが同時に較正され得る。さらに、自己較正システムは、比較的安価な部品から構築され得る。本明細書において説明する自己較正システムは、高価な光学装置を必要としない。
図１は、本開示のいくつかの実施態様による、飛行時間型深度画像化システム１００を示す。画像化システム１００は、光エミッタ（光源）１０２、光線１０４、センサ１０６のアレイ、およびレンズ１０８を含む。図１に示すように、光線１０４は、物体１１２を反射する。光を受ける画素１０６のアレイは、それぞれ画素が存在する間に到達する光子の数を、いくつかの記憶ユニットのうちの１つに記憶された数に変換する。光が光源を離れて画像化装置に帰還するまでの時間tRが推定されると、深度が方程式（１）によって表される。
Figure 0007094937000001
式中、ｃは光の速度である。
図２は、本開示のいくつかの実施形態による、画像化装置２００を示す。一実施態様において、画像化装置２００は深度画像化装置である。照明光源２０２は、シーン内の物体に反射する光を放射する。いくつかの例として、光周波数は、赤外周波数であり、太陽光からの寄与を低減する。反射光の一部は、画像センサ２０４の前のレンズ２０３に入射する。タイミング発生器２１０は、放射される光の量を制御する光源に信号を送信する。深度画像化装置は、光エミッタの強度および、画素ごとにおける光を受けるセンサの感応性を判定する信号を送信する。タイミング発生器２１０はまた、画像センサ２０４に信号を送信する。画像センサ２０４の感応性を判定するために、タイミング発生器２１０からの画像センサ２０４への信号が使用される。画像センサ２０４の感応性は、センサ２０４が入射光の単位ごとに生成する充電量を判定づける。特に、センサ２０４は、画素ごとにおいて充電記憶ユニットのセットを有し、信号を収集するにつれてその信号をその記憶ユニットのうちの１つに追加し得る。光エミッタおよびセンサ感応性を制御することによって得られる測定が、記憶ユニットの１つに追加され得る。例えば、記憶ユニットはコンデンサであってもよく、測定はコンデンサにすでに記憶された電子に電子を追加する。したがって、信号は場合によっては、ともに各記憶ユニット内に直接追加され得る。前端２０６は、各記憶ユニットのコンテンツを読み出し、それらを数字に変換する。プロセッサ２０８は、画素ごとに距離測定値を導く記憶ユニット上で計算を実行する。
図３においては、例示的な測定が示される。特に、図３は、同じ時間測定Ｘ軸上の４つのグラフを示す。光エミッタの電源が入っている光パルスの間の時間は、ｔ＝０～tLであり、式中、ｔ＝０は、光源の電源が入った時間であり、垂直な破線で示される。上段のグラフ３０１は、放射光３０２を示す。時間の経過による光源の強度fPL(t)は、パラメータのセットPLに依存する。PLは、光源の温度TL、光パルスの持続時間tLならびに、光源への電気接続の長さおよび光源への電圧などの他のパラメータを含んでもよい。
第２のグラフ３１０は、センサへの光の到達を示す。センサに送達する光３０４は、第１のグラフ３０１に示す、光パルスから反射した放射光同様に背景光３０５を含む。
第３のグラフ３２０は、センサ感応性を示す。センサは、t=tM～tM+tSまで電源を入れられ、式中、Ｍは「測定」を表し、tSは、センサが光を収集している間の時間の総量である。時間の経過によるセンサの感光性３０６は、gPS(t-tM)である。時間の経過によるセンサの感光性３０６は、時間単位ごとにセンサに当たる光子の数を掛けられ、その結果は、センサの出力に寄与する。
センサパラメータPSは、センサが光を収集している間の時間の総量(tS)を含み、また、信号発生器の温度などの他のパラメータと同様にセンサの温度TSを含んでもよい。パラメータのうちのいずれも時間に依存し得る。物体に当たり、センサに帰還する光源からの光は、ある時間tR遅れる。時間tRは、システムの較正において推定される、ある量である。
第２のグラフ３１０を再び参照すると、帰還光はまた、物体の反射に依存する振幅 を有し、例えば、物体に反射する太陽光またはいくつかの他の光源から背景光がそれに追加されてもよい。いくつかの周波数の光においてのみ感応性を有するように、センサが選択され得る。一例として、背景光の量を削減するためにバンドパスフィルタがセンサの前に配置される。グラフ３１０に示される、時間の経過によってセンサに当たる光は、関数形afPL(t-tR)+bを有し、式中、ｂは背景光３０５である。
第４のグラフ３３０は、収集信号全体を示す。収集信号全体MPM(tR,a,b)は、時間の経過によりセンサに当たる光およびセンサの感応性の関数であり、上述のパラメータに応じて変化する。パラメータPMは、センサおよび光エミッタが依存する、上述の温度パラメータTLおよびTSならびに時間パラメータtLおよびtSなどのパラメータを含む。さらに、PMは、信号レベルを増大させるための測定の反復数Ｎを含む。特に、PM={N, PL, PS,...}。PMは、最終的な測定に影響を与える任意の追加パラメータをさらに含む。例えば、センサ反応が線形である場合、測定は方程式（２）で表される。
Figure 0007094937000002
いくつかの実施態様において、システムは、どの記憶ユニットが単一の光パルスの光を収集しているかを切り替えてもよい。図４は、本開示のいくつかの実施形態による、２つ以上の記憶ユニットにおいて、測定値を収集しているシステム４００を示す。図４において、第１のグラフ４０１は、放射光の光パルス４０２を示す。第２のグラフ４１０は、センサにおける光４０４を示す。第３のグラフ４２０は、第１の記憶ユニットにおいて収集された光を示す。第４のグラフ４２５は、第２の記憶ユニットにおいて収集された光を示す。測定値を収集するために複数の記憶ユニットを有することで、いくつかの測定に関して光は一度しか放射されないため、電力を節約することをもたらす。
いくつかの実施態様において、いくつかの測定値が収集される場合、結果がaまたはbに依存しないように、測定値が組み合わせられ得る。特に、
Figure 0007094937000003
である、収集された光量F(D)を判定することができる。F(D)は、単調にDにのみ依存し、したがって、深度値の範囲に関して、Dの２つの異なる値が異なる値のF(D)を提供する。aおよびbからの独立により、物体への深度は物体の反射にも背景光にも依存しない。このようなスキームの一例は、画素ごとの３つの測定値：MPM,tM0, MPM,tM1, MPM,tM2に関し、式中、tS=tL,tM0=-tS,tM1=0,tM2=tSである。ここでMPM,tM0は背景に比例した測定であり、MPM,tM1は、光源が灯っている時間の間の帰還光を測定し、MPM,tM2は、時間tS～2tSの間でセンサに当たる光の量を測定する。各測定の反復量は異なり得る。Niが測定MPM,tMiのための反復数である場合、F(D)は方程式として提示される。
Figure 0007094937000004
上述のようにF(D)は、背景光が差し引かれるため、bに依存しない。同様に、F(D)は、分子および分母の両方がaに比例するため、aに依存しない。FM(D)が関数Dとして単一の最大値を有する関数である場合、測定値tM2およびtM1は、最大値の反対側にあり、FPM(D)は深度範囲に関して単調であり、その中でtM2およびtM1が最大値の反対側にあるままである。したがって、FPM(D)の算出により、関数FPMを反転させてtRを得ることが可能になる。関数FPM(D)は、早見表として記憶され、深度推定値を得るために使用され得る。一例として、逆関数GPMがGPM(FPM(D))=Dのように記憶される。測定値および早見表が図５に示される。特に、図５を参照すると、方程式は以下の通りである。（３）
Figure 0007094937000005
場合によっては、関数GPMは、１を超える数を取ってもよい。例えば、いくつかの飛行時間型システムにおいて、光エミッタおよびセンサに送信された信号は、５０％のデューティサイクルを有する。図６は、本開示のいくつかの実施形態による、信号が５０％のデューティサイクルを有するシステムを示す。図６の光信号６０２が、上段グラフにおいて示される。第１の光パルスは、時間ｔ＝０で開始され、時間ｔ＝ｔＬで完了する。次の光パルスは、時間ｔ＝２ｔＬで開始される。第２のグラフは、反射光および背景光を含む、センサ６０４に当たる光を示す。次の４つのグラフは、４つのユニットのそれぞれに記憶されたセンサ信号を示す。第３のグラフは、ユニット０において収集されたセンサ信号６０６を示す。第４のグラフは、ユニット１において収集されたセンサ信号６０８を示す。第５のグラフは、ユニット２において収集されたセンサ信号６１０を示す。第６のグラフは、ユニット３において収集されたセンサ信号６１２を示す。
図７は、本開示のいくつかの実施形態による、正弦波光信号を有するシステムを示す。図７は、上段グラフにおける光信号７０２を示す。第２のグラフは、背景光構成要素７０５を含むセンサ７０４に当たる光を示す。次の４つのグラフは、４つのユニットのそれぞれにおいて記憶されたセンサ信号を示す。第３のグラフは、ユニット０において収集されたセンサ信号７０６を示す。第４のグラフは、ユニット１において収集されたセンサ信号７０８を示す。第５のグラフは、ユニット２において収集されたセンサ信号７１０を示す。第６のグラフは、ユニット３において収集されたセンサ信号７１２を示す。
図７におけるような完璧な正弦波として信号が理想化されて仮定される場合、時間の関数としての光出力電力７０２が方程式（４）によって表されてもよい。
Figure 0007094937000006
Ｐが信号すべての期間である場合、lは定数である。様々な例として、各記憶ユニットは、それに関連する相
Figure 0007094937000007
を有し、その相は光信号とセンサ信号との間で遅延する。時間の経過によるセンサ感応性は、方程式（５）として提示される。
Figure 0007094937000008
式中、sは定数である。センサ７０４に帰還する光は、方程式（６）によって表される。
Figure 0007094937000009
式中、Ａはシーン内の物体の反射に依存する帰還光の振幅であり、Ｂは背景光からの寄与である。Ａは光源出力電力に比例する。充電ユニットのそれぞれにおける信号記憶は、方程式（７）において表される通り、光束のセンサ到達を掛けられたセンサ感応性の時間の経過による積分に比例する。
Figure 0007094937000010
様々な実施態様において、各記憶ユニットにおける収集信号Siのための４つの測定値は、異なる反復数Niを有する。一例として、収集信号のための測定値は、
Figure 0007094937000011
のように定義される。これらの値を使用して、正弦波信号の理想化されたケースが方程式（８）によって表され得る。
Figure 0007094937000012
ＴｏＦ深度測定値は、方程式（９）を使用して得られ得る。
Figure 0007094937000013
様々な例によって、上述のスキームは、距離Dと
Figure 0007094937000014
とを区別しない。深度を判定するために、２つの測定値が独自にＤを判定するように、例えば異なるＰを有する同じ測定値などの別途の測定値が使用され得る。あるいは、異なる期間を有するように、測定値Siが選択され得る。一例として、S0に関して、単一の期間Ｐの間光源およびセンサの電源が入り、Ｐより長いいく分の時間遮断され、その後、光が距離
Figure 0007094937000015
以上に移動すると、S0は信号を捕捉しなくなる。背景光のみを測定するために別途の記憶ユニットS4が使用され、S0およびS4の測定値の間の差異が十分に小さい場合、物体までの距離が
Figure 0007094937000016
より大きいことが分かり、距離測定値を
Figure 0007094937000017
以下であるとただ報告することで、距離測定値の多義性が回避され得る。
様々な実施態様において、光源およびセンサ感応性は、真の正弦波ではない。いくつかの例として、光源およびセンサ感応性が真の正弦波ではない場合、距離Ｄが方程式（１０）によって表されるように、早見表Ｇ（ｘ）が学習され、
Figure 0007094937000018
に適用される。
Figure 0007094937000019
信号が正弦波である場合、本方程式は方程式（１１）として書かれ得る。
Figure 0007094937000020
様々な実施態様において、より多くの記憶ユニットSiを有する測定値に関する多数の潜在的なスキームが存在する。いくつかの例として、スキームは、最終的な測定における高次高調波を相殺し、したがって、早見表をより線形にする。上述のスキームは通常、パラメータのセットaiおよびbiならびに早見表Ｇ（ｘ）に関して、方程式（１２）の形式をとる。
Figure 0007094937000021
背景光への依存を軽減するために、また、量
Figure 0007094937000022
が単調に深度に依存するように、パラメータが選択される。いくつかの例として、量
Figure 0007094937000023
は、単調に深度に依存せず、パラメータのセットciおよびdiに関する同じ形式の他の量
Figure 0007094937000024
が測定され、かつ算出され、早見表
Figure 0007094937000025
が作成される。いくつかの例として、システムの使用が所望される深度範囲のための深度を量のセットが独自に判定する場合に、早見表の作成が可能である。例えば、Ｐへの依存が明らかになる上述のスキームに関して、
Figure 0007094937000026
いくつかの例によると、期間Pを法としてtRが判定されるため、上述の方程式には、距離Dおよび
Figure 0007094937000027
の区別がつき得ないという多義性がある。いくつかの実施態様においては、異なる期間P'における測定値の別のセットが実行される。
Figure 0007094937000028
方程式（１５）および（１７）における
Figure 0007094937000029
の２つの推定値を使用して、一義的な範囲が拡張され得る。例えば、
Figure 0007094937000030
が無理数である場合、一義的な範囲は無限である。特に、第１の方程式
Figure 0007094937000031
は、任意の整数nに関してtRとtR+nPとを区別し得ず、第２の方程式
Figure 0007094937000032
は、任意の整数nに関してtRとtR+nP'とを区別し得ない。両方の方程式を組み合わせることで同じ多義性が生じるため、両方の方程式は、ある値tRと別の値t'Rとを区別することが可能であるべきである。いくつかの例として、第１の方程式が多義的であるため、いくつかの整数nに関してt'R-tR=nPである。さらなる例として、第２の方程式が多義的であるため、いくつかの整数n'に関してt'R-tR=n'P'である。したがって、nP=n'P'であり、
Figure 0007094937000033
が無理数である場合不可能である。
様々な実施態様によって、量は、許容可能な範囲で低く、背景光に依存する。すべてのスキームにおいて、例えば深度を判定する方程式において、Siが
Figure 0007094937000034
により代替される場合、各記憶ユニットSiのための反復数Niは異なり得る。また、いくつかの実施態様において、深度に関する方程式がＮ個の測定値Siに依存する際に、Ｎ個の記憶ユニットSiを使用することが先立ち得る。例えば、いくつかの追加がハードウェアに直接行われる。量
Figure 0007094937000035
が量で表され、aiが正である場合、Siを計測することおよびそれをai回収集することと、単一の記憶ユニットに結果を記憶することによって測定が実行され得る。aiが整数でない場合、量
Figure 0007094937000036
は、数Ｍを掛けられ得る。Maiは最も近い整数に近似し得、以下の算出によって所望の結果が得られ得る。
Figure 0007094937000037
いくつかのaiが負である場合、測定はまた、差分測定値を使用することによって、ハードウェアにおいて可能になり得る。
様々な実施態様によって、システムの較正は、各画素に関する記憶ユニットにおける測定値を深度推定値に変えるために使用される情報を判定することと、記憶することに関する。例えば、上述の通り、早見表Gは、形式
Figure 0007094937000038
の量を取り込み、Siが記憶ユニット値であり、深度推定を出力するように定義され得る。較正のための１つの例示的なスキームは、平面などの物体を運搬し、物体を画像化装置から異なる距離に移動させるレールの前に深度画像化装置を配置することである。物体が所定距離に移動するにつれて、画素の記憶ユニットにおける値Siが記憶され、量
Figure 0007094937000039
が算出され、また、物体と画像化装置間との間の距離Dは知られているため、関連する距離Dが記憶される。したがって、量
Figure 0007094937000040
と距離Dとの間で対応する表である早見表が、記憶され得る。画像化装置が使用される際に、早見表に記憶された２つの値の間にある
Figure 0007094937000041
のための値が得られる場合、深度推定値を与えるために補間が使用され得る。例えば、深度推定を行うために、測定値に最も近い
Figure 0007094937000042
の値に関連するDの値の間で線形補間が使用され得る。較正中に行われるステップの数は所望の正確性に依存する。物体をレール上で移動させ、正確性がどの程度変わるかを判定する際に、異なるステップサイズをテストすることが可能である。早見表において記憶するべき要素の数を判定するために、正確性のカットオフが設定され得る。一例として、すべての画素に関して、単一の早見表が記憶される。別の例では、画素間の差異は大きく、画素ごとに異なる早見表が記憶される。同じ距離の物体を見た時に、画素に関して異なる深度推定値をもたらす画素レベルの製造差異により、画素間の差異は大きくてもよい。
物体を物理的に移動させなければならない（あるいは、画像化装置がレール上に置かれ、移動される）ため、レールを使用したこのような較正には、時間がかかる可能性がある。別の較正手法は、それぞれのSiに対応する、光源を制御する信号とセンサを制御する信号との間で遅延を導入することによって距離をシミュレーションすることである。各測定値Siは、光源の電源が入る時間とセンサの電源が入る時間との間の時間遅延を特徴とする時間遅延tMiを有し得る。いくつかの例として、カメラが既知の距離DTでターゲットの前に配置され、距離DTに関する早見表に追加するために、それぞれの時間遅延tMi(DT)とともに得られた測定値Siのセットが使用される。ターゲットが異なる距離Dで移動される場合、センサへの帰還光は時間
Figure 0007094937000043
だけ遅延する。いくつかの例として、ターゲットを移動させる代わりに、
Figure 0007094937000044
が時間遅延tMi(DT)から差し引かれる。すなわち、遅延tMiが
Figure 0007094937000045
によって代替される場合、結果として得られる測定値Siは、いくつかのターゲットに関してカメラからの距離Dで得られるであろう測定値に等しい。例えば、図３における測定に関して、光源の電源を入れることと、センサの電源を入れることとの間に時間遅延tMが存在する。時間遅延tMを増大させることにより、カメラにより近い物体の存在をシミュレーションする。収集信号に関する測定値が、方程式（１８）によって表される。
Figure 0007094937000046
方程式は
Figure 0007094937000047
として書き換えられ得、したがって、収集信号の測定は、量tR-tMのみを通じてtRおよびtMに依存する。したがって、tMを増大させることは、tRを減少させることに等しい。実際のターゲットに関して、帰還光の量は距離とともに二次式的に減少してもよい。しかし、tMi(DT)を
Figure 0007094937000048
によって代替する際に、同等のターゲットの距離Dでの反射はターゲット距離Dとともに二次式的に低下しない。したがって、信号強度は距離とともに減少しない。さらに、深度算出における比により、深度はターゲットの反射に依存しないため、tMi(DT)の測定値から
Figure 0007094937000049
が差し引かれると、対応するSiが測定され、早見表に関する量
Figure 0007094937000050
が算出され、距離Dに関する早見表の値が追加され得る。したがって、様々な例として、Dの異なる値をさらうことで、ターゲットまたはセンサを移動させることなく、早見表の一部（または全部）が更新される。
従来の較正技術では、早見表GPMは、測定値
Figure 0007094937000051
が依存するパラメータPMに依存する。したがって、正確な深度推定値を得るために、GPMに影響するパラメータが測定され、時間の経過による正確な早見表を維持するために、PMの関数としてのGPMの変化が特徴づけられ、使用され得る。早見表に重大な影響を与える多数のパラメータが存在する場合、早見表を正確に維持するためのメモリおよび算出の量は大きくなる。また、較正には長い時間がかかるため、特にボリュームの大きいアプリケーションに関して問題となり得る。最終的に、較正するシステムは他の近隣のシステムに干渉し、したがって、一度に同じ領域内にある多数のシステムの較正を難しくする可能性がある。早見表の温度依存を学ぶために温度が変化し得るチャンバにシステムが置かれる場合、多数のシステムを一度にこのようなチャンバ内に置き、それらを同時に較正することを可能にすることが望ましい。また、早見表は、温度センサが存在しない画像化装置の異なる部品の温度など、測定が困難なパラメータに依存してもよいさらに、画像化装置の部品は、時間の経過によって経年し得るため、正確な早見表は時間の経過によって変化する。したがって、システムを展開しながら、較正表をオンザフライに更新するためのシステムおよび方法が提示される。従来の技術には、物体をセンサからの既知の距離に置くことが必要であるため、従来の技術では正確なオンザフライ較正が不可能である。
オンザフライ較正
オンザフライ較正のための様々なシステムおよび方法について、本明細書において説明する。様々な実施態様によって、本明細書において説明するシステムおよび方法は、画像化センサおよび光源の互いに対する配置の測定値を使用する。特に、画像化センサおよび光源の互いに対する配置に応じて、所定の物体への距離の関数として画素によって受けられる信号の量は、図８Ａのグラフ８００において示される形式をとる。Ｘ軸上に示されるように物体への距離Ｄが減少するにつれて、信号の量はＹ軸に示すように、逆距離とともに二次式的に増大する。信号は、いくつかの画素が飽和するほど大きくなり得る。しかし、距離がさらに減少するにつれ、信号レベルは再び減少する。例えば、光エミッタ８０２のすぐ前に遮蔽物を置き、したがってそれを完全に遮るような極端な例においては、信号は存在しない。Ｄ＝０から遮蔽物が退くにつれて、また、信号レベルは増大し、光線は光エミッタから離れるにつれて、遮蔽物に反射してレンズに入る。例えば、ディフューザーおよび／または開口部を光エミッタの前に配置することによって、光エミッタは、可変であり得る立体角上に光を放射する。
図８Ｂは、様々な実施形態による、光エミッタ８０２、遮蔽物８０６、レンズ８０８、およびセンサ８０４のアレイを含む画像化システムを示す。図８Ｂは、光エミッタ８０２と遮蔽物８０６との間の距離Ｄ８１０を示す。図８Ａのグラフ８００において表されるように、光エミッタと遮蔽物との間の距離Ｄ８１０がゼロである場合（遮蔽物８０６が光エミッタ８０２に隣接する場合）、光は放射されない。遮蔽物８０６が光エミッタ８０２から離れて移動するにつれて、距離Ｄ８１０は増大し、光エミッタ８０２から放射される光は、遮蔽物８０６に反射し、レンズ８０８およびセンサ８０４のアレイに入射する。
図９に示される通り、１つ以上の光ブロック９０４が画像化システムに配置され得る。一例として、光ブロック９０４が光エミッタ９０２の隣に配置される。光ブロック９０４は光エミッタ９０２からセンサアレイ９１２への直接の潜在的な光透過を防ぎ、それによって、光エミッタ９０２からの光がまず、遮蔽物９０６に当たり、遮蔽物９０６に反射してレンズ９１０およびセンサアレイ９１２に至る。別の例として、光ブロック９０４は、レンズ９１０および画像化アレイ９１２の隣に配置される。
様々な特徴により、光ブロック９０４を追加することは、図８Ａに示される信号強度曲線８００に影響を与える。信号強度は、画像化装置アレイ９１２における画素に依存する。例えば、光エミッタ９０２により近い画素は、光エミッタ９０２に近い遮蔽物９０６の一部からレンズ９１０を通じて光を受けるため、光エミッタ９０２により近い画素は、より多くの光を受ける。遮蔽物９０６の一部が光エミッタ９０２に近いほど、光エミッタ９０２から遠い遮蔽物９０６の部分に対して、遮蔽物の一部が受ける光は多くなる。
様々な実施態様において、遮蔽物９０６は影になる。いくつかの例として、遮蔽物９０６は部分的に影になり、遮蔽物９０６のいくつかの領域明るくし、他を暗くする。影になった遮蔽物９０６はまた、異なる信号強度を受ける異なる画素を導く。様々な実施態様において、センサ９１２のいくつかの画素が飽和し、センサ９１２の他の画素は十分な信号を受けない。したがって、遮蔽物９０６は、影になって、センサアレイ９１２において受けられる信号強度の変化を増大させてもよい。いくつかの例によると、画像化アレイ９１２の画素が異なる信号強度を受ける場合、較正における使用のために、十分な信号強度を受けるが飽和しない画素が選択される。
様々な実施態様によって、センサアレイ９１２の１つ以上の画素において許容可能な信号レベルを導く光エミッタ９０２と遮蔽物９０６との間の距離は極めて小さい。いくつかの例として、光エミッタ９０２と遮蔽物９０６との間の距離は、約５ミリメートル（ｍｍ）、約４ｍｍ、約３ｍｍ、約２ｍｍ、約１ｍｍ、または約１ｍｍ未満である。他の例として、光エミッタ９０２と遮蔽物９０６との間の距離は約５ｍｍを上回る。光エミッタ９０２と遮蔽物９０６との間の小さい距離を有することには、いくつかの利点がある。例えば、遮蔽物９０６が光エミッタおよびセンサアレイ９１２を完全に遮る場合、システムは光を放射する近隣のシステムに影響されない。したがって、複数のシステムが互いに近位に配置され、独立して較正され得る。例えば、複数のシステムが温度依存較正を実行するために温度チャンバ内に同時に配置され得る。様々な例として、約１００のシステムが温度依存較正を実行するために温度チャンバ内に同時に配置される、１００を上回るシステムが温度依存較正を実行するために温度チャンバ内に同時に配置され得、約５００のシステムが温度依存較正を実行するために温度チャンバ内に同時に配置され得、５００を上回るシステムが温度依存較正を実行するために温度チャンバ内に同時に配置され得、約１０００のシステムが温度依存較正を実行するために温度チャンバ内に同時に配置され得るか、または、１０００を上回るシステムが温度依存較正を実行するために温度チャンバ内に同時に配置され得る。
様々な実施態様によって、遮蔽物９０６を短い距離に配置して較正を可能にすることで、内蔵較正性能を有した小型のシステムの設計が可能になる。いくつかの例として、移動可能な遮蔽物９０６に関するシステムおよび方法が提示される。このような遮蔽物の例は、シャッターである。
図１０Ａ～１０Ｅは、本開示のいくつかの実施形態による、シャッターを有する画像化システム１０００を示す。画像化システム１０００は、光エミッタ１００２、センサアレイ１００４、およびシャッター１０１０を含む。図１０Ａは、センサアレイ１００４に隣接する光エミッタ１００２を示す。図１０Ｂは、光エミッタ１００２、センサアレイ１００４、およびシャッター１０１０を示す。シャッター１０１０は６つのシャッター要素１００８Ａ～１００８ｆを含み、図１０Ｂにおいて、シャッター１０１０は部分的に開いており、部分的にセンサアレイ１００４を遮る。部分的に開いたシャッター１０１０は、６つのシャッター要素１００８Ａ～１００８ｆの真ん中における開口部によって画定される開口部１０１２を含む。図１０Ｃは、シャッターの後ろのセンサアレイ１００４を示す。シャッター１０１０の後ろでは、いくつかの画素１０１４がシャッター１０１０の開口部１０１２の後ろに位置し、したがって、光エミッタ１００２から放射された反射光に潜在的にさらされる。センサアレイ１００４の他の画素１０１６（影になる）は、シャッター要素１００８Ａ～１００８ｆの後ろに位置し、光エミッタ１００２から放射された反射光を受けることを阻まれる。
様々な例によって、図１０Ｂに示すように、シャッター１０１０は６つのシャッター要素１００８Ａ～１００８ｆを含み、シャッター要素１００８Ａ～１００８ｆは開口部１０１２の大きさを変えるために移動され得る。シャッターが図１０Ｂのように開いている場合、センサアレイ１００４の画素のうちの１つ以上は遮られず、ＴｏＦ深度測定値を判定するために使用され得る。
図１０Ｄは、シャッター要素１００８Ａ～１００８ｆが完全に閉まっているシャッター１０１０を示す。シャッター要素１００８Ａ～１００８ｆが完全に閉まっている場合、センサアレイ１００４の画素は遮られる。図１０Ｅは、シャッター１０１０によって画素が遮られるセンサアレイ１００４を示す。シャッター要素１００８Ａ～１００８ｆが完全に閉まっている場合、シャッター１０１０は図９の遮蔽物９０６と同様の遮蔽物として作用する。したがって、シャッター要素１００８Ａ～１００８ｆが閉じている場合、センサアレイ１００４の画素は光エミッタ１００２からの光を受け、較正測定を実行するために使用され得る。一例として、温度などのシステムの現在のパラメータに関して、記憶された早見表が更新され得る。いくつかの例として、記憶された早見表が正確であることを判定し、さらなる再較正を必要なくするために少数回の測定が行われ得る。
いくつかの実施態様において、遮蔽物を画像化システムの前に移動させる代わりに、画像化システムを遮蔽物の後ろに移動させ得る。図１１Ａ～１１Ｂは、本開示のいくつかの実施形態による、画像化システムのためのポップアップシステム１００４を示す。図１１Ａ～１１Ｂにおけるポップアップシステム１１０４は携帯電話に取り付けられているが、様々な例として、システム１１０４は任意の選択された装置に取りつけられ得る。図１１Ａに示すように画像化装置１１０４がポップアップする際は、シーンからＴｏＦ深度情報を得るためにそれが使用され得る。図１１Ｂに示すように画像化装置１１０４がポップダウンする際は、画像化装置１１０４はその前に遮蔽物を有する。上述の通り図８Ａ、８Ｂおよび図９を参照すると、画像化装置１１０４は、図１１Ｂに示すようにその前に遮蔽物を有してポップダウンしながら、較正され得る。他の例によると、画像化装置１１０３の前に遮蔽物が存在し、再較正が行われ得るように、画像化装置１１０４が移動し得る他の設計が存在する。
いくつかの例として、再較正は迅速である。例えば、オフセットのみが測定される場合、再較正は迅速である。一例として、遮蔽物は１．５ミリメートルのところにあると知られており、システムが遮られる場合、２．３ミリメートルの距離が測定される。カメラのオフセットは、０．８ミリメートルである。このようなオフセットは、単一の迅速な測定を使用して得られ得る。他の実施態様において、早見表の複数の測定点などのより多くの情報が所望される。いくつかの例として、本システムは、温度依存を得るために使用され得る加熱要素を含む。いくつかの実施態様において、高いフレーム率で、または大きなパルス数で操作される際にカメラは加熱される。したがって、例えば、より高いフレーム率でシステムの初めに実行して加熱することにより、いくつかの温度依存が得られ得る。別の例として、例えば、レーザーを加熱するための信号を収集することなく、レーザーをしばらく動作させることによっていくつかの温度依存が得られ得る。いくつかの例として、通常より低いフレーム率でシステムを実行することにより、現在の動作温度から温度は若干低減され得る。したがって、異なるモードでシステムを実行することにより、システムの現在の温度に関して較正が行われ得、温度は現在の温度をわずかに下回り、温度が現在の温度をわずかに上回る。例えば、システムの温度を変化させるためにフレーム率を変化させることによって、モードは変化し得る。
いくつかの実施態様において、図１０Ｂのようにシャッター１０１０は部分的にのみ開く。シャッター１０１０が１００８のように部分的に開いている際に、いくつかの画素１０１２は遮られず、いくつかの画素１０１６は遮られる。このような場合、較正のために遮られた画素１０１６が使用され得、深度測定値のために遮られない画素が使用され得る。
いくつかの実施態様によって、較正システムは、移動しない遮蔽物を含む。いくつかの例として、移動しない遮蔽物を有するシステムにおいて、較正のためにいくつかの画素が保存され、深度を判定するために残りの画素が使用される。
図１２は、本開示のいくつかの実施形態による、静止した遮蔽物１２０６およびセンサアレイ１２１４において１つ以上の専用画素１２１２を有する画像化システム１２００の例を示す。特に、遮蔽物１２０６は、光エミッタ１２０２から放射される光の一部を遮るように位置する。遮蔽物１２０６に当たり、センサアレイ１２１４における画素１２１２によって受けられる光線１２０４が較正のために使用される。
図１３は、本開示のいくつかの実施形態による、静止した遮蔽物１３０６を有する画像化システム１３００の別の例を示す。画像化システム１３００は、光エミッタ１３０２から放射される光線を示す。第１の光線１３１２が画像化システム１３００を離れ、シーンにおいて物体１３２０に当たり、反射してレンズおよびセンサアレイ１３１４に戻り、物体１３２０への距離が反射光線に基づいて測定され得る。光エミッタ１３０２からの第２の光線１３０４は、静止した遮蔽物１３０６に反射し、センサアレイ１３１４の専用較正画素１３１２において受けられる。ある特徴により、遮蔽物１３０６は、専用較正画素１３１２が遮蔽物に反射する光１３０６を受けるのみであるように、専用較正画素１３１２がシーンから反射した光を受けることを妨げる。画像化システム１３００の較正のために、較正画素１３１２において収集された光が使用され得る。
図１４Ａ～１４Ｃは、画像センサ１４０４の画素の列のサブセット１４１６が較正のために使用される、例示的な遮蔽物１４０６および光エミッタ１４０２の配置を示す。図１４Ａは、光エミッタ１４０２およびセンサアレイ１４０４を示す。図１４Ｂは、センサアレイ１４０４および光エミッタ１４０２の一部の上に位置する遮蔽物１４０６を示す。図１４Ｃは、較正のために使用されるセンサアレイ１４０４のサブセット１４１６を示す。上述の通り、遮蔽物１４０６は影になってもよい。いくつかの例として、光エミッタ１４０２からの光放射パターンは、較正のために保存された画素のセット１４１６が異なる信号強度を受け、したがってエミッタ１４０２の異なる強度での較正を可能にするように設計される。
一例として、光エミッタは中心で最も明るく、中心から離れて移動するにつれ低下する強度を有する。いくつかの例として、ディフューザーは光エミッタ１４０２の前に配置され、光放射パターンを変化させるように影になる。
様々な実施態様において、較正は、測定の反復数に依存する。したがって、より多くの反復数でシステムを実行することにより、例えば、光エミッタが頻繁にオンオフを切り替えられるため、温度が上昇する。したがって、いくつかの例として、温度が早見表に影響する場合、測定の反復数もまた早見表に影響を与える。いくつかの実施態様において、画像化システムは異なる反復数で実行され、例えば、多い回数では長い距離に十分な信号が得られ、少ない回数では、短い距離での飽和が回避される。システムが変化する反復数で実行される場合、較正は変化する信号強度に依拠する。いくつかの例として、異なる信号強度を有する様々な画素を含むことは、飽和しない画素および適切な信号強度を有する画素をシステムが含み得るため、変化する反復数を有するシステムにおいて有益である。
いくつかの実施態様において、（移動する、または移動しない）遮蔽物はシステムに組み込まれないが、システムは依然として、オンザフライ較正を実行することが可能であるように設計される。図１５Ａ～１５Ｃは、本開示のいくつかの実施形態による、画像化装置１５０１および様々な遮蔽物の例を示す。図１５Ａ～１５Ｃにおいて、画像化装置は、産業アプリケーションにおいて使用される携帯電話、または手持ち式装置などのポータブル装置１５０１の一部である。画像化装置は、光エミッタ１５０２およびセンサアレイ１５０４を含む。様々な例によって、装置１５０１が下を向けて配置される場合、それが面して配置される表面は、遮蔽物として作用し、較正のために使用され得る。
図１５Ｂに示すように、装置１５０１は、光エミッタ１５０２およびセンサアレイ１５０４をテーブル１５０８に面して下向きに、テーブル１５０８上に配置される。テーブル１５０８の表面は、遮蔽物として作用し、較正のために使用され得る。様々な例によって、光エミッタ１５０２と遮蔽物との間の距離は、装置１５０１の設計に基づく。
別の例として、図１５Ｃに示すように、装置１５０１はポケット１５１０内に配置され、ポケット１５１０は、遮蔽物として作用する。様々な例として、近くに移動しない表面があることを画像化システムが検出する場合、システムは自ら較正を行う。一例として、システムは、加速度計からの入力を受け、システムが移動せず、近位の表面がある場合、システムは、それが表面に面して水平に横たわっていることを確認してもよい。他の例として、システムが移動している場合であっても、システムは近位の表面によって自ら較正し得る。
図１６は、本開示の様々な実施形態による、画像処理システムの較正方法１６００を示す。本方法は、ステップ１６０２において、光源から光を放射することを含む。ステップ１６０４において、反射した放射光がセンサアレイによって受けられる。センサアレイは、複数の画素を含む。反射した放射光を受けることは、光源から所定距離に配置された、統合された遮蔽物に反射した放射光を受けることを含む。ステップ１６０６において、センサアレイの画素における入力信号が収集され、記憶ユニットのセットにおいて記憶される。セット記憶ユニットは、画素ごとに１つの記憶ユニットがあるように、センサアレイの画素に対応する。ステップ１６０８において、複数の画素のための深度測定値が判定される。ある特徴により、未ろ波の収集された入力信号に基づいて深度推定が判定される。ステップ１６１０において、深度測定値を使用して画像処理システムは較正される。
照明光が装置によって放射されない実施態様において、画像化装置によって撮像された２Ｄ画像を比較して距離を推定し、それらの画像内の物体または物体が時間の経過によってどのように変化するかを検出するために画像分析技術が使用されてもよい。
いくつかの実施形態によると、照明光が産生され、２Ｄ画像分析技術を使用した距離の推定のために、撮像された時にすでに判定された距離が参照のために使用されてもよい。例えば、距離を定期的に判定するために照明光が定期的に放射されてもよく、距離を判定するために、（例えば、照明光を参照点として使用して得られた、すでに判定された距離を使用することで）その間でそれらの放射画像分析が実行されてもよい。
いくつかの実施形態により、（反射した照明光を収集することにより、距離を判定するための）照明光を放射するか否かの判定は、２Ｄ画像の分析に基づいてもよい。照明光を使用した距離のより正確な判定を得るために、正確性が許容可能な閾値に収まる場合に判定が行われてもよいように、分析により、１つ以上の２Ｄ画像に基づく距離推定の正確性を判定してもよい。このように、２Ｄ画像分析が許容可能に正確な距離測定値を産生せず、照明光が放射される周波数が低減され、それにより電力使用が低減し得る場合にのみ、照明光が放射されてもよい。
本開示の態様は任意の好適な画像化装置において使用されてもよいが、動画撮像などにおける複数のフレーム中に光を撮像する画像化装置においてこのような態様を応用することに、特定の利点があってもよい。いくつかの画像化装置は、最終的に単一の画像を保存するように構成されてもよいが、画像装置が静止画像を保存するために起動される前および／または後に複数回画像を撮像してもよい（例えば、静止画像をプレビューするために単一の画像の撮像前にシーンを表示するように構成された装置、および／または、複数の画像から単一の画像が選択され、かつ／または、合成され得るために、単一の画像を撮像するために起動された際に複数の画像を撮像するように構成された装置）。本明細書における説明の目的で、静止画像撮像処理中に複数の画像が装置に記録される（上述の例を含むが、それに限定されない）（ｉ）動画撮像および（ｉｉ）静止画像撮像の両方の画像撮像に、「フレーム」は適用可能であると見なされる。
いくつかの実施形態により、２Ｄ画像の分析に基づいて照明光を放射するか否を判定することは、２Ｄ画像が撮像されている同じフレームにおいて実行されてもよい。同じフレーム内で判定を行うことにより照明光が放射されないと判定される場合に、判定が行われる中間のフレームがない状態で後続のフレームの間で２Ｄ画像が撮像されてもよいことが確認されてもよい。したがって、各フレームの間で画像を撮像することで、画像化装置は効率的に動作してもよい。いくつかの実施形態により、照明光が放射されると判定されると、判定が行われた同じフレームの間に照明光が放射される。あるいは、（例えば、フレーム内でこれらのステップすべてを実行するための処理能力を画像化装置が有していないためフレーム時間が非常に短いため、かつ／または装置の処理限度により）２Ｄ画像を撮像するためのフレーム中に、照明光を放射し、照明光を放射するか否かを判定するための十分な時間がない場合、照明光の放射は後続のフレームで行われてもよい。
いくつかの実施形態により、レーザーダイオードからのレーザー光などの照明光を使用した距離の判定は、パルス変調技術を使用してもよい。パルス変調において、反射光パルスが識別され、その飛行時間が測定され得るように（また、したがって物体までの距離が判定されるように）、照明光は既知の持続時間のパルスとして放射される。いくつかの実施態様において、パルス変調技術により、それぞれが反射した照明光パルスのセグメントを撮像する複数のシャッターにより画像センサを操作してもよい。各シャッター中に測定される、反射した照明光の分割が、光パルスの飛行時間をもたらしてもよい。
いくつかの実施形態により、照明光を使用した距離の判定は、連続波技術を使用してもよい。このような技術において、物体から反射した光の相変化を計測することによって、物体への距離が判定される。相変化は、照明光の波長が知られている場合に物体までの距離を示す。
距離感知技術に関する、また、その実施形態の様々な概念のより詳細な説明を以下に記す。本明細書において説明する様々な態様が任意の多数の方法で実行されてもよいことが理解されるべきである。特定の実施態様の例が、本明細書において例示のみの目的で提示される。さらに、以下の実施形態に記す様々な態様が、単独で、または任意の組み合わせで使用されてもよいが、本明細書において明示的に説明する組み合わせに限定されない。
図１７は、本明細書に記載のタイプの画像化装置を組み込むシステムの例を示す。本明細書において説明するタイプの画像化装置を組み込んでもよく、図１に示されるシステム１７００の例示的な実施態様。システム１７００は図１の画像化装置１００を含むが、本明細書において説明する代替的な実施形態による画像化装置が代わりに含まれてもよい。画像化装置１００に電力を供給するために、また、システムの他の構成要素に電力を供給するために、電力ユニット１７０２が提供されてもよい。電力ユニット１７０２は、いくつかの実施形態において、携帯電話、タブレット、および他の消費者向け電子製品に通常使用されるバッテリーなどのバッテリーであってもよい。上述のように、いくつかの実施形態において、画像化装置１００は、低電力動作を提供してもよく、したがって低電力バッテリーの電力ユニット１７０２としての使用を容易にしてもよい。しかし、電力ユニット１７０２は、すべての実施形態において、バッテリーであることに限定されず、特定のタイプのバッテリーにも限定されない。
システム１７００は、メモリ１７０４および不揮発性記憶装置１７０６をさらに含む。それらの構成要素は、共有通信リンク１７０８を介するなどの任意の好適な様式で、画像化装置１００に通信可能に接続されてもよい。共有通信リンク１７０８はバスまたは他の好適な接続であってもよい。メモリ１７０４および／または不揮発性記憶装置１７０６は、画像化装置１００の動作および／または画像化装置１００によって撮像されたデータを制御するためのプロセッサ実行可能命令を記憶してもよい。本明細書において説明する距離感知技術に関連して、例えば、照明光源を信号化して１つ以上の光パルスを産生するために、画像センサのシャッターを開閉するために、画像センサの画素を読み出すために、収集された照明光に基づいて距離算出を実行するなどのために、使用されるコードが、メモリ１７０４または不揮発性記憶装置１７０６のうちの１つ以上において記憶されてもよい。プロセッサ１０７は、本明細書において説明するような距離感知のための任意の技術を提供するために、任意のこのようなコードを実行してもよい。メモリ１７０４は、画像化装置１００によって撮像された２Ｄおよび／または３Ｄ画像を表すデータを記憶してもよい。メモリ１７０４および／または不揮発性記憶装置１７０６は、少なくともいくつかの実施形態において、持続性メモリであってもよい。
本明細書において説明する画像化システムが様々なアプリケーションにおいて使用されてもよく、そのいくつかの例を図１８～２０に関連して記す。第１の例は、スマートフォン、タブレットコンピュータ、スマートウォッチ、または他のモバイル装置などのモバイル装置に関する。本明細書に記載のタイプの、画像化装置１００またはシステム１８００などの画像化システムが、モバイル装置のカメラ構成要素として使用されてもよい。図１８は、本明細書に記載のタイプの画像化装置を組み込むモバイル装置１８００を示す。
携帯電話１８００は、３Ｄ画像を撮像し、生成するための本明細書において説明されるタイプの画像化装置であってもよい、画像化装置１００などのカメラ１８０２を含む。画像化装置１００をカメラ１８０２として使用することで、本出願の態様により、画像化装置に関連して本明細書において説明される動作の様式などの低電力消費動作が容易にされてもよい。携帯電話１８００などのモバイル装置は通常、バッテリー電力から動作し、したがって、多大な電力を消費する構成要素は、このような装置内で使用するには非実用的であり得る。本明細書において説明するタイプの画像化装置は対照的に、電力効率のよい様式でこのような装置内で展開されてもよい。
図１９は、本明細書において説明するタイプの画像化システムを実装したエンターテイメントシステム１９００を示す。エンターテイメントシステム１９００は、コンソール１９０２およびディスプレイ１９０４を含む。コンソールは、ディスプレイ１１０４上でビデオゲームの画像を生成するように構成された動画ゲ―ミングコンソールであってもよく、カメラ１９０６を含んでもよい。カメラ１９０６は、３Ｄ画像を撮像するように構成された、本明細書において説明するタイプの、画像化装置１００などの画像化システムであってもよい。図１９の例において、ユーザ１９０８は、例えばビデオゲームをプレイするために、エンターテイメントシステムとコントローラ１９１０を介して対話してもよい。カメラ１９０６はユーザおよび／またはコントローラ画像を撮像してもよく、ユーザまでの距離Ｄ１を判定してもよい。ディスプレイ１９０４上に表示するための、または、エンターテイメントシステムのいくつかの他の態様を制御するための３Ｄ画像を生成するために、または距離情報が使用されてもよい。例えば、ユーザ１９０２は、ハンドジェスチャーでエンターテイメントシステムを制御してもよく、ジェスチャーは距離情報Ｄ１の捕捉によって少なくとも部分的に判定されてもよい。
本明細書において説明するタイプの画像化システムはまた、ロボット工学において用いられてもよい。図２０は、画像化システム２００４を有するロボット２００２の例を示す。ロボットは移動可能であってもよく、ロボットのナビゲーションおよび／またはモータ制御するために、画像化システム２００４によって収集された情報が使用されてもよい。画像化システム２００４は、本明細書において説明するタイプであってもよく、例えばシステムまたは画像化装置１００であってもよい。モバイルロボットは通常バッテリーにより電力を供給され、したがって、本明細書において説明する記載の実施形態の少なくともいくつかによって、比較的低い電力で動作してもよい、本明細書において説明するタイプの画像化システムが、ロボットとの統合を容易にしてもよい。
図１９～２０を超えて本明細書において説明する技術の使用例も可能である。例えば、自動車および監視カメラは、本明細書において説明するタイプの３Ｄ画像化装置を実装してもよい。
「および／または」という語は、本明細書において、また、特許請求の範囲において使用されるように、要素の「いずれかまたは両方」が結合されることを意味する、すなわち、いくつかの場合では、結合し表され、他の場合では、結合せずに表された要素を意味することを理解されるべきである。「およそ」および「約」の用語は、いくつかの実施形態において、ターゲット値の±２０％を、いくつかの実施形態において、ターゲット値の±１０％を、いくつかの実施形態において、ターゲット値の±５％を、なおかついくつかの実施形態において、ターゲット値の±２％を意味するように使用されてもよい。「およそ」および「約」という用語は、ターゲット値を含んでもよい。
時間可変光強度を最適化した飛行時間型深度感知の使用
［３飛行時間型カメラを使用した深度感知のためのエネルギー消費の大きな源は、シーンを照明するレーザー（複数可）に電力を供給することから来てもよい。高い信号対雑音比（ＳＮＲ）を得るためには、カメラセンサが十分な量の光にさらされ、それにより、プラグインされた装置への飛行時間型感知を現在は通常制限する。ドローン感知、拡張現実、自動運転感知などの多数のアプリケーションが、バッテリーで電力供給されたソリューションを必要とする。
深度画像の正確性が失われることを最低限に抑えながら電力消費を低減するために、本開示は、低い電力光源を使用して、（すなわち、所定のフレームのためにより少ない光パルスを送信することによって）飛行時間型カメラから得られた低品質の深度画像を高めるための機械学習およびコンピュータビジョンアルゴリズムについて説明する。機械学習技術を使用することによって、高い電力会設定によって収集されたかのようなより高い品質の深度画像を得るために低い電力設定から得られた品質の低い深度画像を使用する考えは、限定されたリソース（例えば、電力、さらされる時間、画素数）で得られたデータをマッピングするために機械学習技術を使用するという、より一般的な考えのサブセットである。他の一例は、低いＳＮＲ画像を高いＳＮＲ画像として記録されたかもしれないものにマッピングすることであるこのようなリソースの制限はおそらく、制限されたリソースで得られたデータにおいてシステム的な方法で提示されるため、十分なトレーニングデータがある場合に、データドリブン／機械学習手法は、このような差異をうまくモデリングし、相殺する可能性がある。
高品質の深度マップを得るため、実施形態は、品質の低い深度画像と合わせて時間に感応しないフレーム（例えば、ＲＧＢフレーム）を使用することを含む。一例として、ＲＧＢカメラの電力消費は、深度画像のレーザーを用いた撮像のための電力消費を下回り、深度感知の解像度を上げるためにＲＧＢフレームが使用され得る。このようなシステムは、データドリブン手法において、現在のＲＧＢ画像および深度マップを考慮して現在のフレームの高品質の深度マップを予測するようにトレーニングされたニューラルネットによってトレーニングされる。さらに電力を節約するために、システムはまた、現在のＲＧＢ画像および以前の深度推定値を使用しながら、現在のフレームにおいてどれほど正確に深度を予測できるかを反映する信頼性スコアを出力するようにトレーニングされる。信頼性スコアが低い場合、このようなシステムは、レーザー（または他の照明源）の電源を入れ、かつ／または、低品質の深度マップを得るためにより少ないパルスを使用し得る。この低品質の深度マップは、より高い品質の深度マップを得るためにＲＧＢ画像と合わせて使用され得る。
実施形態において、画像化装置は画像化センサを使用して、シーンから測定値を得ることができる。「測定値」という用語は、２次元画像および深度画像を撮像することを含み得る（例えば、深度マップを構築するために使用され得る深度情報）。「２次元画像」の用語は、カラー（ＲＧＢ）画像、グレースケール画像、赤外画像、他の従来の画像などの深度画像ではない任意の画像を含む。
少なくとも１つの持続性コンピュータ可読記憶媒体（例えば、コンピュータメモリ、１つ以上のフロッピーディスク、コンパクトディスク、光学ディスク、磁気テープ、フラッシュメモリ、フィールド・プログラマブル・ゲート・アレイまたは他の半導体装置における回路構成など）または、１つ以上のコンピュータまたは他のプロセッサ上での実行時に、本出願の様々な実施形態のうちのいくつかを実行する１つ以上のプログラムを有するコンピュータ可読記憶装置（上述の例を含んでもよい）として、様々な発明概念が具現化されてもよい。
「およそ」および「約」の用語は、いくつかの実施形態において、ターゲット値の±２０％内を、いくつかの実施形態において、ターゲット値の±１０％内を、いくつかの実施形態において、ターゲット値の±５％内を、なおかついくつかの実施形態において、ターゲット値の±２％内を、意味するように使用されてもよい。「およそ」および「約」の用語は、ターゲット値を含んでもよい。
上記の明細と同様に、特許請求の範囲において、「を備える」、「を含む」「を運搬する」、「を有する」、「を含む」、「に関する」、「を保持する」、「から構成される」などのすべての移行語は、オープンエンドであり、含むことを意味するが、それに限定されない。「から構成される」、「から本質的に構成される」の移行句はそれぞれ、クローズまたはセミクローズ移行句とする。
本出願の技術のいくつかの態様および実施形態についてこのように説明したが、様々な代替、修正、および改善が容易に行われることが、当業者には理解されるべきである。このような代替、修正および改善は本出願において説明する技術の趣旨および範囲内に収まるように意図される。例えば、関数を実行し、かつ／または結果および／または本明細書において説明する利点のうちの１つ以上を得るための様々な他の手段および／または構造を、当業者は容易に思い描き、このような変形例および／または修正のそれぞれは、本明細書において説明する実施形態の範囲に収まるものとみなされる。
当業者は、慣例となっている実験でしかないものを使用して、本明細書において説明する特定の実施形態の多数の等価物を認識するか、または確認することができる。したがって、添付の特許請求の範囲およびその等価物の範囲内で、上述の実施形態例示のみのために提示されており、また、発明的実施形態が、具体的に説明されている以外の方法で実行されてもよいことを理解すべきである。さらに、本明細書において説明する特徴、システム、物品、材料、キットおよび／または方法うちの２つ以上の任意の組み合わせは、このようなシステム、物品、材料、キットおよび／または方法が互いに矛盾しない場合、本開示の範囲内に含まれる。
上述の実施形態は、任意の多くの方法で実行されてもよい。プロセスまたは方法の性能に関する本出願の１つ以上の態様および実施形態は、プロセスまたは方法の性能を実行するか、または制御するために、装置（例えば、コンピュータ、プロセッサまたは他の装置）によって実行可能なプログラム命令を利用してもよい。この点で、様々な発明的概念が、コンピュータ可読記憶媒体または複数のコンピュータ読み出し可能記憶媒体（コンピュータメモリ、１つ以上のフロッピーディスク、コンパクトディスク、光学ディスク、磁気テープ、フラッシュメモリ、フィールド・プログラマブル・ゲート・アレイまたは他の半導体装置における回路構成などまたは他の有形コンピュータ記憶媒体）または、１つ以上のコンピュータまたは他のプロセッサ上での実行時に、本応用の様々な実施形態のうちのいくつかを実行する１つ以上のプログラムを有するコンピュータ可読記憶装置（上述の例を含んでもよい）として、具現化されてもよい。
上述の態様の様々なものを実行するために、記憶されたプログラム（複数可）が１つ以上の異なるコンピュータまたは他のプロセッサに搭載されるように、コンピュータ可読媒体（複数可）は、可搬式であってもよい。いくつかの実施形態において、コンピュータ可読媒体は持続性媒体であってもよい。
一般的な意味で、上述の様々な態様を実行するように、コンピュータまたは他のプロセッサをプログラミングするために用いられてもよい、任意のタイプのコンピュータコードまたはコンピュータ実行可能命令のセットを指すために、「プログラム」または「ソフトウェア」が本明細書において使用される。さらに、一態様によると、実行時に本出願の方法を実行する１つ以上のコンピュータプログラムは、本出願の様々な態様を実行するために、単一のコンピュータまたはプロセッサ上にある必要はなく、いくつかの異なるコンピュータまたはプロセッサの間でモジュラ的に分散されてもよいことが理解されるべきである。
コンピュータ実行可能命令は、１つ以上のコンピュータまたは他の装置によって実行されるプログラムモジュールなどの多数の形式であってもよい。概して、プログラムモジュールは、特定のタスクを実行するか、または特定の抽象データ型を実行するルーチン、プログラム、物体、構成要素、データ構造などを含む。通常、プログラムモジュールの機能は、様々な実施形態において所望されるように、組み合わせらせるかまたは分散されてもよい。
また、データ構造は、任意の好適な形式で、コンピュータ可読媒体に、記憶されてもよい。説明を簡潔にするために、データ構造内の位置を通じて関連するフィールドを有するように、データ構造が示されてもよい。フィールドがコンピュータ可読媒体内に位置し、フィールド間で関係を伝えるように記憶装置を割り当てることで、このような関係が同様に達成されてもよい。しかし、データ構造のフィールド内の情報間で関係を構築するために、データ要素間で関係を構築するポインタ、タグ、または他の機構を含めて、任意の好適な機構が使用されてもよい。る。
ソフトウェア内で実行される際に、ソフトウェアコードは、任意の好適なプロセッサまたはプロセッサの集合上で、単一のコンピュータにおいて提供されるか、または複数のコンピュータ間で分散されて実行されてもよい。
さらに、コンピュータは、ラック搭載型コンピュータ、デスクトップコンピュータ、ラップトップコンピュータ、またはタブレットコンピュータなどの任意の数の形式で限定されない例として、具現化されてもよいことが理解されるべきである。さらに、コンピュータは、携帯情報端末（ＰＤＡ）、スマートフォン、または任意の他の好適な、ポータブルまたは固定電子装置を含む、一般にはコンピュータとは見なされないが、好適な処理能力を有する装置に搭載されてもよい。
また、コンピュータは、１つ以上の入力および出力装置を有してもよい。これらの装置はとりわけ、ユーザインターフェースを提示するために使用され得る。出力の視覚的プレゼンテーションのためのプリンタまたはディスプレイスクリーンおよび、出力の聴覚的プレゼンテーションのためのスピーカまたは他の音響生成装置を含むユーザインターフェースを提供するために、出力装置の例が使用されてもよい。ユーザインターフェースのために使用されてもよい入力装置の例は、キーボード、マウスやタッチパッドなどのポインティング装置、およびデジタル化タブレットを含む。別の例として、コンピュータは、発話認識または他の音声フォーマットで情報を受信してもよい。
このようなコンピュータは、ローカルエリアネットワークまたはワイドエリアネットワーク、企業ネットワーク、インテリジェントネットワーク（ＩＮ）またはインターネットを含む１つ以上の任意の好適な形式のネットワークによって相互接続されてもよい。このようなネットワークは、任意の好適な技術に基づいてもよく、任意の好適なプロトコルに従って動作してもよく、無線ネットワークまたは有線ネットワークを含んでもよい。
また、説明するように、いくつかの態様が１つ以上の方法で具現化されてもよい。方法の一環として実行される動作は、任意の好適な方法で順序付けられてもよい。したがって、連続した動作が実施形態において例示されているが、例示とは異なる順序で動作が実行され、いくつかの動作が同時に行われることを含んでもよい実施形態が構築されてもよい。
本明細書において定義され、使用されるすべての定義は、辞書的な定義、参照のために組み込まれる文書の定義、および／または定義された語の通常の意味を管理すると理解されるべきである。
不定冠詞「ａ」および「ａｎ」は、本明細書の明細書および特許請求の範囲において使用される通り、別途明示的に示されない限りは、「少なくとも１つ」を意味すると理解すべきである。
「および／または」の語は、本明細書の明細書および特許請求の範囲において使用される通り、そのように結合された要素、すなわちいくつかの場合では、結合し表され、他の場合では、結合せずに表された要素の「いずれかまたは両方」を意味すると理解されるべきである。「および／または」とともに記載される複数の要素は、同じ方法で、すなわち、そのように結合された要素の「１つまたは複数」として解釈されるべきである。「および／または」条項によって特に指定されない要素は、特に指定されたこれらの要素に関連しようとしまいと、任意に提示されてもよい。したがって、非限定的な例として、「Ａおよび／またはＢ」への言及は、「を備える」などのオープンエンド語句に関連して使用される場合、一実施形態においては、Ａのみに対して（Ｂ以外の要素を任意に含む）、別の実施形態においては、Ｂのみに対して（Ａ以外の要素を任意に含む）、さらに別の実施形態では、ＡとＢの両方に対して（他の要素を任意に含む）などに関する。
本明細書において明細書および特許請求の範囲に使用され、１つ以上の要素のリストを指す「少なくとも１つ」の語は、要素のリストの任意の１つ以上の要素から選択されているが、要素のリスト内で特に言及された１つ１つの要素のうちの少なくとも１つを必ずしも含まず、要素のリスト上の要素の組み合わせを含まない、少なくとも１つの要素を意味するように理解されるべきである。この定義により、特に指定されたこれらの要素に関連しようとしまいと、「少なくとも１つ」の語で示される要素のリスト内で特に指定された要素以外の要素が任意に提示されてもよい。したがって、非限定的な例として、「ＡおよびＢの少なくとも１つ」（または、等しくは、「ＡまたはＢの少なくとも１つ」、または、等しくは、「Ａおよび／またはＢの少なくとも１つ」）は、一実施形態において、Ｂが存在しない状態での、少なくとも１つの、２つ以上を任意に含むＡ（Ｂ以外の要素を任意に含む）、別の実施形態では、Ａが存在しない状態での、少なくとも１つの、２つ以上を任意に含むＢ（Ａ以外の要素を任意に含む）、さらに別の実施形態では、少なくとも１つの、２つ以上を任意に含むＡおよび、少なくとも１つの、２つ以上を任意に含むＢ（他の要素を任意に含む）などを指す。
本明細書において使用されるように、特に指定されない限り、「間」の語は包括的である。例えば、「ＡとＢの間」は、特に指定されない限り、ＡおよびＢを含む。
また、本明細書において使用されるフレーズや語は、説明のためだけに提示され、限定としてみなされるべきではない。「を含む」、「を備える」または「を有する」、「を含む」、「に関する」およびその変形例の本明細書における使用は、その後に続くものおよびその等価物および付加的なものを包含することを意味する。
上記の明細と同様に、特許請求の範囲において、「を備える」、「を含む」「を持っている」、「を有する」、「を含む」、「に関する」、「を保持する」、「から構成される」などのすべての移行語は、オープンエンドであり、含むことを意味するが、それに限定されない。「から構成される」、「から本質的に構成される」の移行句はそれぞれ、クローズまたはセミクローズ移行句とする。
したがって本発明は、上述の特定の実施形態に限定されると見なされるべきではない。本開示を検討することにより、本発明が適用可能である、様々な変形例、同等のプロセスおよび多数の構造が、当業者には容易に明白になるであろう。

Claims (13)

  1. オンザフライ較正を有する画像処理システムであって、
    光を放射するように構成された光源と、
    反射した放射光を含む入力信号を受けるための複数の画素を備えたセンサアレイであって、前記複数の画素のそれぞれに関して、前記センサアレイが、収集された受信入力信号を記憶するための記憶ユニットを含む、センサアレイと、
    前記光源からの前記放射光の少なくとも一部を、前記センサアレイにおける前記画素の少なくともサブセットに反射させるように構成された、前記光源から所定距離に配置された移動可能な遮蔽物であって、前記画素のサブセットが飽和量未満の反射光を受ける、移動可能な遮蔽物と、
    前記画素のサブセットにおける前記画素の少なくとも１つのための深度測定値を判定し、前記画像処理システムを較正するように構成されたプロセッサと、を備え、
    前記記憶ユニットの第１のサブセットが、前記画素の前記サブセットに対応し、記憶ユニットの前記第１のサブセットが、前記遮蔽物に反射した放射光を含む、収集信号を記憶し、
    前記プロセッサが、前記システムを較正するために、前記遮蔽物の前記所定距離を前記深度測定値と比較するようにさらに構成されている、
    画像処理システム。
  2. 前記遮蔽物が、前記光源および前記センサアレイを覆うように構成可能なシャッターである、請求項１に記載の画像処理システム。
  3. 前記所定距離が約１０ミリメートル未満である、請求項１に記載の画像処理システム。
  4. 前記光源と前記センサアレイとの間に配置された光ブロックをさらに備え、前記光ブロックは、放射光が前記センサアレイへと直接移動することを防止するように構成されている、請求項１に記載の画像処理システム。
  5. 前記光源が、可変立体角上に光を放射する、請求項１に記載の画像処理システム。
  6. 前記光源の前に移動可能に配置されるように構成されたディフューザーをさらに備える、請求項５に記載の画像処理システム。
  7. 画像処理システムの較正方法であって、
    光源から光を放射することと、
    複数の画素を有するセンサアレイにおいて、反射した放射光を受けることであって、前記光源から所定距離に配置された、移動可能な統合された遮蔽物に反射した放射光を受けることを含む、反射した放射光を受けることと、
    対応する複数の記憶ユニットにおいて前記複数の画素で入力信号を収集し、記憶することと、
    前記記憶ユニットの対応するサブセットに記憶された信号からの前記複数の画素の少なくともサブセットの深度測定値を判定することであって、前記サブセットが、飽和量未満の反射光を受ける、ことと、
    前記深度測定値を使用して前記システムを較正することと、を含み、
    前記システムを較正することが、前記深度測定値を前記所定距離と比較することをさらに含む、方法。
  8. 光を放射することが、可変立体角上に光を放射することを含む、請求項７に記載の方法。
  9. 統合された遮蔽物に反射した放射光を受けることが、シャッターが第１の位置にある際に移動可能な前記シャッターに反射した放射光を受けることを含む、請求項７に記載の方法。
  10. 前記シャッターの中の調節可能な開口部を前記光源の前に配置することをさらに含む、請求項９に記載の方法。
  11. オンザフライ較正を有する画像処理システムであって、
    光を放射するように構成された光源と、
    前記光源から所定距離に配置された移動可能な遮蔽物において反射された反射した放射光を含む入力信号を受けるための複数の画素を備えたセンサアレイであって、前記複数の画素のそれぞれに関して、前記センサアレイが収集された受信入力信号を記憶するための記憶ユニットを含む、センサアレイと、
    前記記憶ユニットの少なくともサブセットからの記憶された収集信号を使用して前記画像処理システムを較正するように構成されたプロセッサであって、前記複数の画素の少なくとも１つのための深度測定値を判定する、プロセッサと、を備え、
    前記記憶ユニットの第１のサブセットが、前記画素の前記サブセットに対応し、記憶ユニットの前記第１のサブセットが、前記遮蔽物に反射した放射光を含む、収集信号を記憶し、
    前記プロセッサが、前記システムを較正するために、前記遮蔽物の前記所定距離を前記深度測定値と比較するようにさらに構成されている、
    画像処理システム。
  12. 前記光源の前に移動可能に配置するように構成されたディフューザーをさらに備える、請求項１１に記載の画像処理システム。
  13. 前記光源と前記センサアレイとの間に配置された光ブロックをさらに備え、前記光ブロックは、放射光が前記センサアレイへと直接移動することを防止するように構成されている、請求項１１に記載の画像処理システム。
JP2019223671A 2018-12-12 2019-12-11 飛行時間型深度画像化システムの内蔵較正 Active JP7094937B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201862778876P 2018-12-12 2018-12-12
US62/778,876 2018-12-12
US16/664,453 2019-10-25
US16/664,453 US11423572B2 (en) 2018-12-12 2019-10-25 Built-in calibration of time-of-flight depth imaging systems

Publications (2)

Publication Number Publication Date
JP2020095038A JP2020095038A (ja) 2020-06-18
JP7094937B2 true JP7094937B2 (ja) 2022-07-04

Family

ID=71071692

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019223671A Active JP7094937B2 (ja) 2018-12-12 2019-12-11 飛行時間型深度画像化システムの内蔵較正

Country Status (3)

Country Link
US (1) US11423572B2 (ja)
JP (1) JP7094937B2 (ja)
CN (1) CN111308449B (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11270505B2 (en) * 2019-05-22 2022-03-08 Streem, Inc Capture of raw augmented reality data and subsequent 3D mesh generation
CN112526534B (zh) * 2020-11-03 2024-03-08 上海炬佑智能科技有限公司 ToF传感装置及其距离检测方法
CN112526535B (zh) * 2020-11-03 2024-03-08 上海炬佑智能科技有限公司 ToF传感装置及其距离检测方法
US20240114235A1 (en) * 2021-01-22 2024-04-04 Airy3D Inc. Power management techniques in depth imaging

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010190759A (ja) 2009-02-19 2010-09-02 Denso Wave Inc レーザ距離測定装置
WO2010139609A1 (en) 2009-06-04 2010-12-09 Iee International Electronics & Engineering S.A. Method and device for acquiring a range image
JP2011095208A (ja) 2009-11-02 2011-05-12 Sony Corp 距離測定装置
JP2013092456A (ja) 2011-10-26 2013-05-16 Topcon Corp 画像測定装置
JP2014153288A (ja) 2013-02-13 2014-08-25 Omron Corp 撮像装置
WO2016159032A1 (ja) 2015-03-30 2016-10-06 株式会社ニコン 撮像素子および撮像装置
JP2018194484A (ja) 2017-05-19 2018-12-06 株式会社デンソーウェーブ 距離測定装置

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61270683A (ja) 1985-05-25 1986-11-29 Toshiba Corp 光応用測定器
CN1556914A (zh) * 2001-09-21 2004-12-22 Kmac株式会社 利用二维反射计测量多层薄膜的厚度轮廓和折射率分布的装置及其测量方法
DE10259135A1 (de) * 2002-12-18 2004-07-01 Conti Temic Microelectronic Gmbh Verfahren und Anordnung zur Referenzierung von 3D Bildaufnehmern
US8958057B2 (en) * 2006-06-27 2015-02-17 Arete Associates Camera-style lidar setup
US7920982B2 (en) 2008-01-15 2011-04-05 Raytheon Company Optical distortion calibration for electro-optical sensors
JPWO2009119229A1 (ja) * 2008-03-26 2011-07-21 コニカミノルタホールディングス株式会社 ３次元撮像装置及び３次元撮像装置の校正方法
US8760631B2 (en) * 2010-01-27 2014-06-24 Intersil Americas Inc. Distance sensing by IQ domain differentiation of time of flight (TOF) measurements
US9270974B2 (en) * 2011-07-08 2016-02-23 Microsoft Technology Licensing, Llc Calibration between depth and color sensors for depth cameras
US9335220B2 (en) 2012-03-22 2016-05-10 Apple Inc. Calibration of time-of-flight measurement using stray reflections
US9846960B2 (en) 2012-05-31 2017-12-19 Microsoft Technology Licensing, Llc Automated camera array calibration
US20140028861A1 (en) * 2012-07-26 2014-01-30 David Holz Object detection and tracking
US9681123B2 (en) * 2014-04-04 2017-06-13 Microsoft Technology Licensing, Llc Time-of-flight phase-offset calibration
US9720076B2 (en) * 2014-08-29 2017-08-01 Omnivision Technologies, Inc. Calibration circuitry and method for a time of flight imaging system
US9578311B2 (en) * 2014-10-22 2017-02-21 Microsoft Technology Licensing, Llc Time of flight depth camera
US10054675B2 (en) * 2014-10-24 2018-08-21 Analog Devices, Inc. Active compensation for phase alignment errors in time-of-flight cameras
US10451740B2 (en) 2016-04-26 2019-10-22 Cepton Technologies, Inc. Scanning lidar systems for three-dimensional sensing
US10139341B2 (en) * 2016-05-31 2018-11-27 Tt Electronics Plc Self-calibrating optical detector
US10762651B2 (en) * 2016-09-30 2020-09-01 Magic Leap, Inc. Real time calibration for time-of-flight depth measurement
EP3542184A1 (en) * 2016-11-16 2019-09-25 Innoviz Technologies Ltd. Lidar systems and methods
DE112016007496T5 (de) * 2016-12-01 2019-08-29 Lumincode As Positionsfindervorrichtung und -verfahren unter verwendung optisch projizierter referenz
DE102018119435A1 (de) * 2018-08-09 2020-02-13 Huf Hülsbeck & Fürst Gmbh & Co. Kg Verfahren zur Kalibrierung einer Time-Of-Flight-Kamera

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010190759A (ja) 2009-02-19 2010-09-02 Denso Wave Inc レーザ距離測定装置
WO2010139609A1 (en) 2009-06-04 2010-12-09 Iee International Electronics & Engineering S.A. Method and device for acquiring a range image
JP2011095208A (ja) 2009-11-02 2011-05-12 Sony Corp 距離測定装置
JP2013092456A (ja) 2011-10-26 2013-05-16 Topcon Corp 画像測定装置
JP2014153288A (ja) 2013-02-13 2014-08-25 Omron Corp 撮像装置
WO2016159032A1 (ja) 2015-03-30 2016-10-06 株式会社ニコン 撮像素子および撮像装置
JP2018194484A (ja) 2017-05-19 2018-12-06 株式会社デンソーウェーブ 距離測定装置

Also Published As

Publication number Publication date
CN111308449A (zh) 2020-06-19
JP2020095038A (ja) 2020-06-18
US20200193640A1 (en) 2020-06-18
CN111308449B (zh) 2024-04-05
US11423572B2 (en) 2022-08-23

Similar Documents

Publication Publication Date Title
JP7094937B2 (ja) 飛行時間型深度画像化システムの内蔵較正
CN106911888B (zh) 一种装置
US9417326B2 (en) Pulsed light optical rangefinder
CA3017819C (en) Lidar based 3-d imaging with varying illumination intensity
CN110914705B (zh) 用于集成lidar照明功率控制的设备、系统和方法
US20190113606A1 (en) Time-of-flight depth image processing systems and methods
JP6633197B2 (ja) 光検出装置、及び電子機器
CN105190426B (zh) 飞行时间传感器装仓
US20170269198A1 (en) LIDAR Based 3-D Imaging With Varying Illumination Field Density
JPWO2017085916A1 (ja) 撮像装置、及びそれに用いられる固体撮像素子
WO2020145035A1 (ja) 距離測定装置及び距離測定方法
JP2020003446A (ja) 光測距装置
CN111896971B (zh) Tof传感装置及其距离检测方法
JP2010190675A (ja) 距離画像センサシステムおよび距離画像生成方法
JP6911825B2 (ja) 光測距装置
US20240056682A1 (en) Information processing apparatus, information processing method, and program
JP2020153799A (ja) 測距装置および測距方法
CN111366943B (zh) 飞行时间测距系统及其测距方法
CN112105944A (zh) 具有使用短脉冲和长脉冲的多模式操作的光学测距系统
US11624834B2 (en) Time of flight sensing system and image sensor used therein
CN111522024B (zh) 解决多路径损坏的图像处理系统、方法和成像设备
CN114236504A (zh) 一种基于dToF的探测系统及其光源调整方法
US11961257B2 (en) Built-in calibration of time-of-flight depth imaging systems
KR20210153563A (ko) 깊이 검출을 위한 히스토그램 비닝 시스템 및 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200203

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210215

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210513

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20211115

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220315

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20220315

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20220323

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20220328

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220523

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220622

R150 Certificate of patent or registration of utility model

Ref document number: 7094937

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150