JP6228537B2 - 距離情報を提供する方法及びタイム・オブ・フライトカメラ - Google Patents

距離情報を提供する方法及びタイム・オブ・フライトカメラ Download PDF

Info

Publication number
JP6228537B2
JP6228537B2 JP2014519562A JP2014519562A JP6228537B2 JP 6228537 B2 JP6228537 B2 JP 6228537B2 JP 2014519562 A JP2014519562 A JP 2014519562A JP 2014519562 A JP2014519562 A JP 2014519562A JP 6228537 B2 JP6228537 B2 JP 6228537B2
Authority
JP
Japan
Prior art keywords
signal
perturbation
scene
time
periodic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014519562A
Other languages
English (en)
Other versions
JP2014522979A (ja
JP2014522979A5 (ja
Inventor
デル テンペル ワード ファン
デル テンペル ワード ファン
ライマー フロートヤン
ライマー フロートヤン
Original Assignee
ソフトキネティック センサーズ エヌブイ
ソフトキネティック センサーズ エヌブイ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=44586720&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP6228537(B2) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by ソフトキネティック センサーズ エヌブイ, ソフトキネティック センサーズ エヌブイ filed Critical ソフトキネティック センサーズ エヌブイ
Publication of JP2014522979A publication Critical patent/JP2014522979A/ja
Publication of JP2014522979A5 publication Critical patent/JP2014522979A5/ja
Application granted granted Critical
Publication of JP6228537B2 publication Critical patent/JP6228537B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • G01S17/10Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/484Transmitters
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/4865Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/487Extracting wanted echo signals, e.g. pulse detection
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D13/00Control of linear speed; Control of angular speed; Control of acceleration or deceleration, e.g. of a prime mover
    • G05D13/08Control of linear speed; Control of angular speed; Control of acceleration or deceleration, e.g. of a prime mover without auxiliary power
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B15/00Suppression or limitation of noise or interference

Description

本発明は、シーンに向けて変調された光パルスを放射し、そのシーンからの変調光パルスの反射を受信し、受信した変調光パルスの反射のタイム・オブ・フライト(time−of−flight)情報を評価し、受信した反射のタイム・オブ・フライト情報から距離情報を引き出すステップを含む、タイム・オブ・フライトセンサ又はタイム・オブ・フライトカメラなどの測距装置でシーンの距離情報を提供する方法に関する。本発明はまた、上記の方法によりシーンからの距離情報を提供するタイム・オブ・フライトセンサ又はタイム・オブ・フライトカメラなどの測距装置にも関する。
タイム・オブ・フライトカメラはTOFカメラとも称され、変調された光パルスを放射する光源又は放射ユニットと、光パルスの反射を捕捉する受信ユニットと、タイム・オブ・フライト情報又は受信した反射を評価する評価ユニットと、タイム・オブ・フライト情報から距離情報を導き出す演算ユニットとを一般的に備えるカメラである。距離情報は深度とも称される。放射ユニットはシーンに向けて変調された光パルスを放射し、変調された光パルスはそのシーンにある物体によって受信ユニットへ向けて反射される。TOFカメラと物体の距離に依存して、反射光は放射された変調光パルスに対して遅延を伴って受信される。この遅延は、タイム・オブ・フライトとも称され、評価ユニットによって評価されて、更に演算ユニットによって処理されてその物体の距離が求められる。
受信ユニットはピクセルとも呼ばれるいくつかの受光点と光学システムを備え、異なるピクセルが異なる物体からの反射を同時に受信することができる。各ピクセルは独立して変調光パルスの反射を受信する。またタイム・オブ・フライト情報と距離情報は各ピクセルで独立して処理され、その結果、シーン全体の距離情報が同時に提供される。
距離は、送信された変調光学信号と受信された変調光学信号の間の遅延時間又は位相差を測定することにより、ピクセルごとに間接的に計測される。一般的に変調はパルス変調、正弦波変調、擬似ノイズ変調などであってよい。送信された変調光学信号と受信された変調光学信号の位相差が遅延時間の尺度を与える。
高精度の距離情報を提供可能なTOFカメラとするために、好ましくは小さな立ち上がり時間と立ち下がり時間を持った鋭いパルスが利用される。この要求のために、電子的光源からの光出力を変調するために利用する電子変調信号のスペクトル成分は、図1のスペクトル例に示すように、エネルギの大きな高調波を多く含んでいる。
また、位相測定を距離測定に変換するためには変調周波数を正確に知る必要があるために、変調周波数は通常明確に画定される。このため、スペクトルのピークは狭くて高くなりがちである。
TOFカメラは他の電子装置との共存を必要とするために問題が生じ得る。高調波の高いエネルギが装置の電磁コンプライアンス(適合性)を阻害する可能性がある。通常、このような装置は別々の規準に適合しなければならない。電磁コンプライアンス(EMC)の関連規準は、FCC標準(米国)、EC標準(欧州)又はCCC標準(中国)に規定されている。従って、TOFカメラの使用はEMC要求を満足させる必要があり、それによってTOFカメラの精度が間接的に制限されることもあり得る。典型的な変調周波数は10Mhz〜100MHzの間であり、関連する高調波を生じる。
電子装置から放射されるEMI量を低減することは、生産コストを下げようとする場合に最も困難な解決すべき課題である。設計段階で適切なステップが取られなければ、適合する装置を製造することは極めて高価になることがある。新製品開発コストの40〜50%は、経済的な製品として好適な、コンプライアンス適合製品の探求に費やされることもあり得る。
クロック発振器が、高速デジタルシステムのタイミング用の矩形波信号を生成する。このクロックの周波数は一定であると仮定され、その周波数の逆数がクロック周期を与える。クロック周期は、クロックの立ち上がり端の一点から、そのすぐ隣のクロックの全く同じ立ち上がり端の一点までの時間である。理想的なクロックは、測定可能なほどのジッタがなく、各クロックサイクルが常に全く同じである。低EMIクロック発振器又はスペクトラム拡散クロックは特別な種類のデジタルクロックであって、通常のクロック発生器の出力に比べると、EMIが低くなっている。基準周波数は変調され、またより広範な周波数スペクトラムにエネルギが拡散される。これにより任意の1周波数に含まれるピークエネルギが低減される。基準周波数と高調波周波数のピークは相対強度が低くなる。基準周波数クロック信号の高調波にもともとあったエネルギの総量は単純に消滅するのではなく、より広帯域の周波数に分散される。クロックの周波数を変化させることで、そのクロックの周期もまた変化するが、これはジッタを与えることと全く同じである。従って、このクロックには周期から周期へのジッタが付加される。ジッタは、測距用のタイム・オブ・フライト装置の距離決定精度を損ねてしまう。
本発明の目的は従って、タイム・オブ・フライトセンサ又はタイム・オブ・フライトカメラなどの測距装置を用いてシーンの距離情報を提供する代替の方法、並びにその方法によってシーンからの距離情報を提供するように適合されたタイム・オブ・フライトセンサ又はタイム・オブ・フライトカメラなどの代替の測距装置を提供することにある。
この目的は独立請求項によって達成される。有利な実施形態は従属請求項で詳細に記述される。タイム・オブ・フライトセンサ又はタイム・オブ・フライトカメラなどの方法及び測距装置の実施形態の利点は、距離情報がEMIを低減しつつ高精度で得られることである。従って本発明による方法及びタイム・オブ・フライトセンサ又はタイム・オブ・フライトカメラなどの測距装置の実施形態の利点は、高精度を維持したままEMC規準に適合できることである。
従って上記の目的は、タイム・オブ・フライトセンサ又はタイム・オブ・フライトカメラなどの測距装置を用いてシーンの距離情報を提供する方法によって達成される。この方法は、一連の光パルスのような周期的光信号をシーンに向かって放射し、そのシーンからの周期的光信号の反射を受信し、その周期的光信号の受信した反射に対してタイム・オブ・フライト情報を求め、受信した反射に対するタイム・オブ・フライト情報から距離情報を導き出す、ステップを含む。ここで、周期的光信号は、周波数変調として変調信号の基準周波数に摂動が掛けられた、基準周波数の変調信号に従って放射される。この周波数に摂動が掛けられた変調信号は、次に周期的光信号の発生に利用され、かつ反射光を受信してタイム・オブ・フライト情報を判定する検出器の参照信号としても利用される。これはピクセルごとに行うことが可能である。この距離情報並びにシーン画像から、3D画像を生成することが可能である。
従って本発明の一態様において、シーンの距離情報を提供する方法が、ある摂動周波数と摂動周期をもつ周期的摂動によって拡散された基準周波数を有するクロックタイミングに従ってシーンに向けて周期的光信号を放射し、そのシーンから周期的光信号の反射を受信し、参照信号として周期的摂動によって拡散されたクロックタイミングに従って複数の測定継続時間のセットに亘る周期的光信号の受信した反射に対するタイム・オブ・フライト情報を求め、その受信した反射に対するタイム・オブ・フライト情報から距離情報を導き出す、ステップを含んで構成される。ここで、セットの中の各測定継続時間は、摂動周期の整数倍又は半整数倍であり、かつ測定継続時間のセットの全体に亘って平均の基準周波数が一定に保たれる。
周期的光信号は、矩形波パルスなどのパルスであってよい。ただし正弦波信号などの他の波形であってもよい。
本発明の目的は、タイム・オブ・フライトセンサ又はタイム・オブ・フライトカメラなどの、シーンからの距離情報を提供する測距装置によっても達成される。ここでタイム・オブ・フライトカメラが上記の方法を実行する。
従って本発明の別の態様において、シーンへ向けて周期的光信号を放射する光源とともに使用されるタイム・オブ・フライトセンサが提供される。このセンサはシーンからの距離情報を提供するためのものであって、ある摂動周波数と摂動周期とを有する周期的摂動によって基準周波数を拡散させたクロックタイミングに基づいて光源に対して変調信号を与える変調ユニットと、受信ユニットと求値ユニットと処理ユニットとを有し変調信号を受信するために変調ユニットに接続された受信グループと、参照信号として周期的摂動により拡散されたクロックタイミングに従って複数の測定継続時間からなるセットに亘りシーンから受信した反射からタイム・オブ・フライト情報を求めるように適合された求値ユニットと、求値ユニットにより提供されるタイム・オブ・フライト情報から距離情報を導き出すように適合された演算ユニットと、を含む。ここで、セットの中の各測定継続時間は、摂動周期の整数倍又は半整数倍であり、かつ測定継続時間のセットの全体に亘って基準周波数の平均が一定に保たれる。
変調信号は、矩形波パルスなどのパルスであってよい。ただし正弦波信号などの他の波形であってもよい。
本発明はまた、シーンへ向けて周期的光信号を放射する光源とともに使用され、シーンからの距離情報を提供するためのタイム・オブ・フライトセンサのためのタイミングモジュールも提供する。このタイミングモジュールは、ある摂動周波数と摂動周期とを有する周期的摂動によって基準周波数を拡散させたクロックタイミングに基づいて光源に対して変調信号を与える変調ユニット(3)を備え、この変調は周期的摂動によって拡散されたクロックタイミングに従って複数の測定継続時間のセット全体に亘り変調信号を提供するように適合されており、セットの中の各測定継続時間は摂動周期の整数倍又は半整数倍でありかつ測定継続時間のセットの全体に亘って基準周波数の平均が一定に保たれる。
光源に印加される変調信号は、矩形波パルスなどのパルスであってよい。ただし正弦波信号などの他の波形であってもよい。
本発明の一態様は、光の変調の基準周波数に対して周期的周波数摂動を与え、この摂動を考慮して反射に対するタイム・オブ・フライト情報を求めることである。これにより、一位相差の値の決定に必要な測定継続時間のセットの中の各測定継続時間は、摂動周期の整数倍又は半整数倍である。更に一位相差の値の決定に必要な平均基準周波数は摂動に拘わらず、全測定継続時間の内の各測定継続時間に亘って一定に保たれる。同じ平均周波数を与えたとしても同一のスペクトル成分とはならないような、周波数のランダムな摂動は、周期的摂動には含まれない。摂動は、基準周波数の連続的な振動変化であっても、又は基準周波数を中心とする一連の異なる周波数であってもよい。
周期的光信号の基準周波数の摂動が、何らかの影響を及ぼすジッタを導入するにもかかわらず、反射に対するタイム・オブ・フライト情報の求値は高精度で行うことが可能である。シーン中の物体は信頼性良く検出され、これらの物体に対して好適な距離情報を提供することが可能である。印加される周波数摂動がTOFセンサ又はTOFカメラなどの測距装置の電磁コンプライアンスを改善する。これは、スペクトラム中には急峻に画定された周波数における高エネルギの基本波又は高調波ピークがもはや存在しない効果を持っている。ピークのエネルギはより広いスペクトル領域に拡散され、スペクトルエネルギ密度を低下させてEMCを改善する。この手法は、周期的光信号に適用される“スペクトラム拡散”をもたらすのみならず、一位相差の値の決定に必要な測定継続時間のセットの全体に亘ってスペクトル成分を一定に維持する。周期的なクロックタイミングの摂動を有するスペクトラム拡散クロックは、容易に入手可能であるが、何らかのジッタも導入される。これらは、本発明による新規の変更された実施形態のTOFセンサ又はTOFカメラへ組み込まれ得る。
受信した反射のタイム・オブ・フライト情報は、いずれも同一の摂動を受けた、受信した周期的光信号と参照光との間の遅延時間又は位相変化を測定することによって決定される。このホモダイン測定原理により、摂動はタイム・オブ・フライト測定に何ら影響を及ぼさない。受信した反射は、放射パルスと受信パルスとの重なりによって相互に関連しあい、あるいは混合しているが、タイム・オブ・フライト情報に関しては容易に求値可能であり、タイム・オブ・フライト情報から距離情報を容易に導き出すことが可能である。TOFセンサ又はTOFカメラの一実施形態においては、好ましくはスペクトラム拡散クロック又は単一摂動クロックを持つ単一システムクロックが、周期的光信号の生成のための変調信号生成とタイム・オブ・フライト情報の求値とに利用される。摂動は周期信号であり、例えば、変調の基準周波数に比べて低周波の信号である。
本発明の好適な実施形態によれば、変調基準周波数に摂動を加えることは、変調の基準周波数の±5%の範囲内で、好ましくは変調の基準周波数の±1.5%の範囲内で、より好ましくは変調の基準周波数の±0.1%の範囲内で変調の基準周波数に変更をかけることを含む。変調範囲の大きさは、高調波のエネルギがスペクトラム内でどれだけ拡散されるかに影響し、従って、周波数スペクトラムのスパイク波形のエネルギ密度に影響する。変調範囲が大きいほど、高調波のエネルギ密度が下がる。これによってTOFセンサ又はTOFカメラはEMC規制に対してより簡単に適合可能となる。
本発明の好適な実施形態においては、シーンのタイム・オブ・フライト情報は取得された順序で測定される。これらの別々に取得したものを組み合わせることで、周辺光の影響の除去と、物体の反射率及びタイム・オブ・フライト測定を阻害するその他の要因の除去を可能にする。この取得の結果、放射光と受信光との間の遅延時間又は位相差が決定される。その取得のステップとしては、周期的な光信号をシーンに向けて放射するステップと、そのシーンからの周期的光信号の反射を所与の順序で少なくとも2回受信するステップと、シーンからの周期的光信号の反射を受信するステップの全動作に亘って受信した周期的光信号の反射を積分することを含む周期的光信号の受信した反射に対するタイム・オブ・フライト情報を求めるステップ、とを含む。反射した周期的光信号の持続時間全体に亘って受信した反射を積分することで、タイム・オブ・フライトをより正確に求めることができる。遠隔にある物体からの反射は、物体からの周期的光信号の反射が低い強度しか持たない場合であっても、容易に検出可能である。従って、遠くの物体と近接する物体とがある、“奥行きのある”シーンにも適用することができる。また、積分して求めることで、受信した反射を持続時間で平均化することができ、それによって孤立した誤差を回避できる。好ましくは、周期的光信号を放射し、シーンからの反射を受信するステップを少なくとも3回行って、その反射全体に対して積分を行う。1回のフライト距離決定の測定期間中に周期的光信号のスペクトル成分が変化した場合には、問題が生じ得る。このため、本発明の方法及び装置は、1つの距離決定に必要な全測定期間に亘って、スペクトル成分が一定となるように適合されている。
まず、本発明の好適な実施形態によれば、タイム・オブ・フライト測定に必要なすべてのデータは同一の平均周波数を利用して取得される。平均周波数は好ましくは、印加された摂動により基準周波数がそれを中心として変化する周波数である。このことは、均衡のとれた、中心で拡散される摂動であることが要求される。実質的に同一の平均基準周波数であれば、放射された周期的光信号の受信反射を有効なデプス情報に正確に処理することが可能となる。
本発明の好適な実施形態においては、タイム・オブ・フライト測定に要するそれぞれのデータ取得は、同一の基準周波数信号の摂動を含む、同一の周期的光信号を受ける。その結果は各データ取得に対して同一のスペクトル成分となることである。摂動は、既知の反復するシーケンスで基準周波数を変化させることであり、この既知の摂動シーケンスがToF測定の全データ取得の間、基準周波数に対して同じように印加される。従って、周波数摂動が周期的であって、測定継続時間は摂動周期の整数倍又は半整数倍であるので、周期的光信号の放射は摂動周期内または半周期ずれた摂動信号内の常に同じ位置から始動させられる。半周期プラス周期の整数倍は、周期の整数倍プラス半周期に等しいので、これも純粋に整数の場合と同様のスペクトル成分を与える。
基準周波数と摂動周波数とが大きく異なる場合には、誘発される誤差は非常に小さいので、基準周波数の周期と摂動周期とを同期させる必要はない。従って、同一の“”スペクトル成分“ということは、”完全に同一のスペクトル成分“と同義語ではない。任意の差は好ましくは、システムの雑音レベルより小さい。例えば、0.1%又は0.01%未満のオーダの差異は許容され得る。基本周期と摂動周期との間の同期は、更に精度を上げるために必要となる場合には、本発明から排除されるものではない。
好ましくは連続摂動信号を利用することができる。本発明の別の実施形態によれば、摂動は、周期的光信号の基準周波数に印加された不連続変調である。摂動変調は周期的に反復される信号であって、結果として得られる摂動された信号の平均周波数が既知であることのみが要件である。平均周波数は中心周波数であることが好ましい。
本発明の好適な実施形態が添付の図に示されている。これらの実施形態は単なる例示であり、すなわち、添付の特許請求の範囲の内容及び範囲を制限することを意図するものではない。
タイム・オブ・フライトカメラのEMC測定結果を示す図である。 本発明の一実施形態による変調信号と低周波摂動信号のタイムチャートを示す図である。 本発明の一実施形態による変調信号のタイムチャートを示す図である。 本発明の一実施形態によるタイム・オブ・フライトカメラの模式図である。 本発明の一実施形態によるタイム・オブ・フライトカメラのタイミングモジュールの模式図である。 本発明の一実施形態によるタイム・オブ・フライトカメラの実装を模式的に示す図である。
本発明は特定の実施形態に関して特定の図面を参照して説明されるが、本発明はこれらではなく、特許請求の範囲によってのみ限定される。記載の図面は単に模式的に示されたに過ぎず、非制限的である。図面においては、要素のあるものの寸法は説明のために誇張され、実寸どおりではない。単数名詞の言及において、例えば”a”や”an”、又は”the”のような不定冠詞又は定冠詞が使用されている場合、特に他のことが明示されない限り、これはその名詞の複数形も含む。異なる図において、同一の参照符号は同一又は類似の要素を指す。図の表示は模式的である。
特許請求の範囲に使用されている“備える”という用語は、その後ろに列挙されている手段に限定されるものとして解釈すべきではない。他の要素またはステップを排除するものではない。例えば、“手段AとBとを備える装置”という表現の範囲は、部品AとBとだけから成る装置に限定されるべきではない。これは、本発明に関してはこの装置の中の関連する部品はAとBだけである、ということを意味している。
更に、説明中の、また特許請求の範囲の中における、第1の、第2の、第3の、などの用語は、類似の要素を識別するために用いられているものであって、必ずしも順序や時系列を述べているものではない。このように使用されている用語は適切な状況下では交換可能であり、本明細書において説明する本発明の実施形態は、本明細書において説明又は図示したものとは異なる順序で動作可能であることを理解されたい。
更には、明細書並びに特許請求の範囲における、頂部、底部、上に、下に、などの用語は、説明のために用いられているものであって、必ずしも相対的な位置を記述するものではない。このように使用されている用語は適切な状況下では交換可能であり、本明細書において説明する本発明の実施形態は、本明細書において説明又は図示したものとは異なる方向に動作可能であることを理解されたい。
本発明はTOFカメラを参照して説明されるが、本発明はタイム・オブ・フライト原理で作用する任意の種類の測距装置を提供することも含んでいる。例えば、1ピクセルだけのTOFセンサであってもよい。更に、TOFカメラ又はTOFセンサは、必ずしも一体型の光源とともに提供されるものではない。光源とその動力供給源と駆動装置は分離して供給されてもよく、またカメラ又はセンサは光源を変調する信号を供給する回路を備えていさえすればよい。
本発明の一実施形態を、TOFカメラとともに使用可能なタイミングモジュール20の模式的ブロック図である図5を参照して説明する。この実施形態は、例えば10〜320MHzの範囲内の一例として80MHzで動作する、単純なシステムクロック22を持っている。これを‘クリーンクロック‘と呼ぶことにする。クリーンクロック22のクロック信号はスペクトラム拡散ブロック24に送られ、ここで、‘摂動周波数変調信号’と呼ばれる周期的拡散機能を用いてこのクロック信号のスペクトラムが拡散される。任意選択により、クリーンクロック22とスペクトラム拡散ブロック24の間に、フィルタ、波形整形器、周波数変換器、位相同期ループなどの他の部品を配置することが可能である。このスペクトラム拡散ブロックの出力は‘拡散クロック信号’と呼ばれる。任意選択で、このスペクトラム拡散ブロックの後ろに、例えば正弦波のような所望の波形を持つ変調信号を生成するための、フィルタ、波形整形器などの他の部品を配置することもできる。
摂動周波数は、変調の基準周波数の±5%内、好ましくは、変調基準周波数の±5%又は±1.5%の範囲内、又は変調基準周波数の±0.1%の範囲内である。周期的摂動は、例えば正弦波又は三角波又は鋸歯状波を持つことが可能である。
タイミングモジュール20は、光源に不連続変調を供給するように適合させることも可能である。
拡散クロック信号は、信号混合及び照明発生ブロック26によって利用され、典型的には恐らく2倍又は4倍低周波の所要のTOF光源駆動信号が生成される。これらのTOF信号は、光源を変調するために使用される、‘光変調信号’と呼ばれる信号と、シーンで反射されて入射する光の復調を可能とするための、センサに必要な混合信号とを含んでいる。このように、同じTOFタイミング信号が、光源を備える照明ユニットと、受信した反射光を検出する為に使用される検出器との両方に送信される。任意選択で、この信号混合及び照明発生ブロック26の後ろに、例えば正弦波のような所望の波形を持つ変調信号を生成するための、フィルタ、波形整形器などの他の部品を配置することもできる。
タイム・オブ・フライトの原理が有効であるためには、これらのTOF信号は周波数変調であってもよいが、その平均周波数は既知でなければならない。更に、それぞれの単一のTOF測距は、複数のデータ取得期間から求められる複数の積分で構成され、この平均周波数はこの複数の積分の間は同一でなければならない。このことは、複数の積分が時間的に連続して行われる場合には重要な要件となる。その場合に、もしも平均周波数がその複数の測定の間で同じに保たれないとすると、結果として算出される距離は正しくないか、またはそのための演算が非常に難しいか不正確になってしまう。
タイミングブロック28は、複数の積分期間中に平均周波数が同じに保たれていることを確保する役目を持っている。本発明の一態様において、積分時間が摂動周波数変調信号の周期の正確な整数倍になっていることを確保することによってこれが達成される。摂動周波数変調信号が(例えば正弦波又は三角波などの)対称信号である場合には、積分時間は摂動周波数変調信号の半周期の整数倍を取ることも可能である。タイミングブロック28は好ましくはシステムクロック22からクリーンクロック信号を受け取り、これを利用してタイミングブロック28は、各積分時間が光源に与えられた同じパルス数であり、従って平均周波数が一定であることを判定する。
更には、積分時間又は測定継続時間のセットの内の1つの積分時間又は測定継続時間の間に取り込まれる、光源に印加された周期的信号は、そのセットの任意の他の測定継続時間に取り込まれる周期的信号と同一のスペクトル成分を持っている。
更に、シーン内にある背景光(例えば太陽光、周囲光など)が取得された深度測定の有効性を低減もしくは損なう可能性があるので、好ましくは特別の配慮を行って、連続する積分のそれぞれにおいて正確に同一量の背景光がセンサに受信されるようにする。従って、連続する積分の間に利用されるTOF信号は、同一のスペクトル成分を持つことが必要であり、それらは好ましくは背景光に整合している必要がある。
この両方の要件はタイミングブロック28で満たされて、ここではクリーンクロック信号を利用して各積分段階の間における平均周波数が同一であることを確認し、かつその積分段階は周囲光と完全に整合していることを確認する。例えば、典型的には50Hz又は60Hzの主電源周波数が利用されるので、照明からの背景光はこの2つの共通周波数に関係する周波数成分を持つ。50Hzの背景光は、60Hz背景光とは最適タイミング設定が異なる。
スペクトラム拡散の適用は全体システムのEMI性能にプラスの効果を与えるが、その一方でシステムノイズ性能(ジッタ)に対しては僅かなマイナスの効果を与える。混合ブロック26が摂動周波数を動的に増減させて実効的にスペクトラム拡散効果を増大又は減少させられるように適合されていれば、上記の方式は拡張可能であり有利である。そのような特徴は工場又はオンサイトでの較正に有効である。本発明の実施形態に用いられているように、スペクトラム拡散の効果はEMI限界内で実行されている場合には非常に小さい。
更なる実施形態によれば、摂動変調は光源に供給される電力に従って設定することができる。電磁放射の小さい低電力モードでは、このモードに対する最適のトレードオフを与えるために、混合ブロック28によって低周波変調アルゴリズムを利用することができる。
次に図4においては、本発明の一実施形態による、TOFカメラ1とも称されるタイム・オブ・フライトカメラ1が示されている。タイム・オブ・フライトカメラ1は、少なくとも1つの光源2を持った照明ユニットを備え、本発明のこの実施形態においてはこれはLEDであって、その光源の特性に依存する波長と周波数を有する変調光パルスなどの周期的光信号をシーンに向けて放射する。OLED、レーザダイオード、レーザなどの他の光源も利用可能である。
光源2は変調ユニット3に接続され、これにより光源に摂動変調信号が与えられて変調される。変調ユニット3は、摂動変調信号を信頼性良く制御するためにオンチップ実装されてもよい。
タイム・オブ・フライトカメラは更に変調クロック、すなわち“クリーンクロック”4と摂動クロック5を備え、これは両方とも変調ユニット3に接続されている。変調クロック4は、図2の上側の時間軸に見られるような、変調ユニット3への周波数変調のための基準周波数としてのクロック信号を提供し、摂動クロック5は、変調ユニット3へ摂動信号としての更なるクロック信号を提供する。摂動クロック5は、周波数変調の基準周波数よりも低い摂動周波数を持つ摂動信号を提供する。
クロック4、5と変調ユニット3の間に、フィルタ、波形整形器、周波数変換器、位相同期ループなどの他の部品を配置してもよい。変調ユニット3の後ろに、フィルタや、例えば方形波又は正弦波のような周期的信号を生成するための波形整形器などの他の部品を配置してもよい。
変調ユニット3において変調基準周波数に対して印加される摂動は、変調基準周波数の±5%の範囲内で、好ましくは変調基準周波数の±1.5%の範囲内で、更により好ましくは変調基準周波数の±0.1%の範囲内で変調基準周波数に変更をかける。図2からわかるように、t1、t2、t3、t4で記された時刻において、摂動はその位相を0°から90°、180°、270°へそれぞれ変化させる。
本発明のこの例示的実施形態においては、光源2、変調ユニット3、変調クロック4及び摂動クロック5は、タイム・オブ・フライトカメラ1の個別部品であるが、変形実施形態においては、上記の少なくとも2つの部品からなる機能グループとして提供することも可能である。
タイム・オブ・フライトカメラ1は更に、受信ユニット7と求値ユニット8と処理ユニット9とを有する受信グループ6を備えている。受信グループ6は任意選択により、摂動クロック5に接続され、摂動信号を受信する。受信グループ6はまた参照信号として変調ユニット3の出力に接続されている。本発明のこの例示的実施形態においては、受信ユニット7と求値ユニット8と処理ユニット9が一体となって受信グループ6を形成するように提供されているが、本発明の変形実施形態においては、より小さい機能グループの個別機能ユニットとして提供されてもよい。
受信ユニット(7)は、図4の構成図には明示的に表示されていないが、いくつかの受光位置を備えており、これはピクセルとも称される。TOFカメラ1は更に、図4には示されていないが、光学システムも備えている。この光学システムにより、光源2から放射された光信号は、シーンに向けられ、シーンの中の複数の物体からの複数の反射は受信ユニット7の複数の異なるピクセルに向けられる。従って、複数の異なるピクセルは複数の異なる物体からの複数の反射を独立して、かつ同時に受信することができる。
求値ユニット8は、変調ユニットの出力、及び/又は摂動クロック5から与えられた摂動信号を考慮して、受信ユニット7の各ピクセルに対して個別に受信した反射のタイム・オブ・フライトを求める
演算ユニット9は、各ピクセル又はピクセル群に対して求値ユニット8が与えたタイム・オブ・フライト情報から距離情報を導き出し、この距離情報を、図4には示されていないインタフェースを介してユーザ又は更なる処理装置へ提供する。
次に、シーンの距離情報を与えるプロセスについて詳細に説明する。
この方法は、光源2からの変調された光パルスなどの周期的光信号をシーンに向けて放射することから始まる。変調された光パルスなどの周期的光信号は、変調ユニット3によって提供される変調信号を利用して生成される。図3は摂動クロック5の周波数信号(上側のグラフ)と、変調ユニット3から光源2への変調信号(下側のグラフ)の模式的な例を示している。図3の上側のグラフは、変調ユニット3からの変調信号の周期的光信号の周波数が、印加された摂動に従って時間とともに変化することを示している。図3の下側のグラフからわかるように、変調信号のパルスは、周波数と波長を変化させて(周期的光信号を形成するために)光源2に提供される。
次に、光パルスなどの周期的光信号の反射が、シーンから光学システムを介して受信ユニット7に受信される。反射はシーンの中にある物体によって生成される。
変調パルスなどのような周期的光信号を放射し、シーンからの反射を受信するステップは、繰り返されて、受信した反射が求値ユニット8によって積分される。図2の下側の部分で示されるように、変調光パルスからの反射の受信はt1、t2、t3、t4と記された時点で開始される。図2からわかるように、例えば変調光パルスなどの周期的光信号の反射の受信は、この実施例においては常に、摂動周波数変調信号のピークにおいて、従って摂動周波数変調信号の同一位置において開始される。本発明のこの実施例において受信は、摂動変調信号の一周期の整数回、例えば6回の期間に亘る測定時間の間行われ、その最初が“測定”としてマークされる。従って、シーンからの変調光パルスなどの周期的光信号の反射を受信するステップは、各測定が摂動周期の同じ数の期間に亘って行われ、図2からわかるように、摂動周期の長さは光パルスの各受信測定時間よりも短い。更に、この操作は、変調光パルスなどの周期的光信号をシーンに向けて放射するその実行のすべてにおいて、光源2に提供される変調信号の平均周波数が本質的に同じであるようにする。
本発明のこの例示的実施形態において、“測定”と記した4つの積分区間が逐次的に求値される。代替の実施形態においては、受信された反射を、受信ユニット7によってすべて同時に積分することが可能である。
求値ユニット8は、周期的光信号の基準周波数に摂動が与えられていることを考慮して、受信した変調光パルスなどの周期的光信号の反射に対するタイム・オブ・フライト情報を全ピクセルに対して求め、そのタイム・オブ・フライト情報を演算ユニット9へ提供する。演算ユニット9は与えられたタイム・オブ・フライト情報から全ピクセル又はピクセル群に対して距離情報を導き出し、この情報をシーンの距離情報として更なる処理に提供する。このシーンの距離情報は従って4つの積分区間の平均として提供される。“読み出し”と記された時間を使って受信グループ6が受信した反射を処理する。
本発明のこの実施形態によるタイム・オブ・フライトカメラ1に対して得られるEMC測定のスペクトラムは、ピークエネルギが周波数帯域の少なくとも一部ではより均一となっている。
図6は、本発明によるTOFカメラ又は測距システムの別の実施形態を示す。測距システムは、周期的光信号51をシーン55上に放射する光源49を備え、これは好ましくは対象領域に集光されて、そこから光が反射される。測距システムは更に、反射光を受信するための少なくとも1つのピクセル31を備えている。光源49が変調光を放射するために、信号発生器43がある。信号発生器43は第1次のスペクトラム拡散摂動クロック信号あるいは変調信号をノード48上に生成し、これは好ましくは所定の平均周波数、例えば約10MHzで永続的に振動する。この信号発生器43はまた、第2次から第5次のスペクトラム拡散摂動クロック信号(例えば単一のスペクトラム拡散クロック発生器43から導かれる)を生成してそれぞれノード44、45、46、47に分配する。これらは摂動周期に関してノード48上の第1のクロック信号とは0°、180°、90°、270°の位相関係を有する。当業者であれば、動作方式においてそれ以外又はより多くのクロック位相を利用することを考え得るであろう。クロック位相が多ければ、測定時間はより長くなる代わりに、よりよい測定精度が得られる。摂動周波数は、基準周波数の±5%の範囲内であり、好ましくは基準周波数の±5%又は±1.5%の範囲内であり、又は変調基準周波数の±0.1%の範囲内である。周期的摂動は、例えば正弦波又は三角波であってよい。
信号発生器43はまた、変調信号変更手段に変調信号の変更を決定させる制御信号41を発生することもできる。これは例えば、セレクタ58が、第2から第5の拡散スペクトラム摂動クロック信号を選択する、すなわちクロック信号の異なる位相を選択することを決定させる制御信号41である。セレクタ58はこれらの4つの位相を順次切り替えて、検出器/ミキサ段200のミキサ29の入力ノード42を、ノード44、45、46、47の第2から第5のクロック信号へ順次接続する。これらの各位置において、セレクタ58は、例えば約1msの緩和期間の間接続された状態にあることができる。
更なる制御信号を生成して、パルスシーケンス内での測定の開始と停止の位置を決定することができる。あるいはまた、各積分時間内に全く同じ数の摂動信号周期が使用されていることをシステムが確認する。測定が半周期の整数倍の期間である限りはスペクトル成分が影響を受けないので、測定を摂動信号の同じ瞬間(位相)で開始することが可能である。
バッファ50が光源49を駆動して光51をシーン55上に、好ましくは対象領域に集光して放射する。この光の一部が反射されて反射光52を発生させる。この反射光52は次にレンズ56などの集光システムに到達し、そこを経由してピクセル31内の検出器28上に結像又は集光する。そこではこの入射部分は反射変調光(ML)27と呼ばれる。
TOF測定を目的としたものではない2次的な光源30から生じる間接光53と直接光54の両方がシーンの中には存在し、集光システム56に入射して検出器28上に集光され得る。検出器28に入るこの光の部分は、背景光(BL)26と呼ばれる。BLを発生させる光源30としては、白熱灯、蛍光灯、太陽光、昼の光、又はシーン上にあってTOF測定用の光源49から放射されたものではないその他の全ての光が含まれる。本発明の目的は、BL26からの信号があったとしても、有効なTOF測定結果を得ることである。
ML27とBL26は光検出器28上に入射し、それぞれML電流とBL電流を発生させる。これらは入射したBL26とML27に対する光誘起電流応答である。検出器28はこれらの電流を次の混合手段、例えばミキサ29に出力して、入射したBL26とML27に対する電流応答を、入力ノード42上の位相シフトクロック信号と混合する。前に述べたように、このBL26は、TOF測定用の受信したML27で誘起されるML電流よりも最大で6桁大きいBL電流を誘起し得る。
検出器/ミキサ段200を構成する検出器28とミキサ29は、例えば欧州特許出願第1513202(A1)号明細書に記載されているような単一デバイスとして実装されてもよい。そこでは光で誘起された電荷が混合されて混合積電流を同時に発生させる。
検出器/ミキサ段200は、入射したBL26と位相シフトクロック信号を持つML27との電流応答の混合積を生成する。これらの信号は、例えば、好ましくは周囲のトランジスタからの寄生容量などを小さくしたコンデンサ25で実装された積分器によって、ノード38で積分される。積分の間、積分器ノード38上のミキサ出力信号の自動リセットが行われる。
これは例えば、リセットトランジスタ32などのリセットスイッチにトリガを掛けるコンパレータ33で実装されて、ノード38上のミキサ出力信号が、参照値Vrefに達すると必ず自動的にリセットされて、飽和が回避されるようになっていてもよい。
別の実施形態においては、図には示されていないが積分器ノード38上のミキサ出力信号の自動リセットを、いくつかの別の方法で実装することも可能である。その1つは、リセットスイッチ32ではなく充電ポンプにトリガをかけて、固定量の電荷をコンデンサ25に加える。これにより少し複雑にはなるがより良好なノイズ性能が得られる。
ミキサの出力信号を構成する混合積は、積分器ノード38において、図示した例ではセレクタ58である変調信号変更手段に同期した逐次形で入手可能である。出力ドライバ24、例えばバッファは、出力ノード23においてより強力な出力信号を提供できるように、実質的に1つの電圧ゲインと電流増幅を提供する。
光パルスに不連続摂動変調を与えるなどのような、様々な変更が本発明の範囲内に含まれる。更には、本システムは摂動周波数を動的に増加又は減少できるようになっていてもよい。更に、光パルスの電力が小さい場合、摂動周波数を減ずることも可能である。

Claims (9)

  1. タイム・オブ・フライトセンサ又はタイム・オブ・フライトカメラ(1)を用いてシーンの距離情報を提供する方法であって、
    ある摂動周波数と摂動周期をもつ周期的摂動によって拡散された基準周波数を有するクロックタイミングに基づく変調信号に従って、前記シーンに向けて周期的光信号を放射することと、
    前記シーンからの前記周期的光信号の反射を受信することと、
    前記変調信号を参照信号として、複数の測定継続時間からなるセットに亘って、前記周期的光信号の前記シーンで反射されて受信した光信号を前記セットの中の前記複数の測定継続時間のそれぞれで積分し、その結果の平均であるタイム・オブ・フライト情報を求めることと、
    前記受信した反射に対する前記タイム・オブ・フライト情報から距離情報を導き出すことと、
    を含み、
    前記セットの中の測定継続時間は、前記摂動周期の整数倍又は半整数倍であり、
    前記複数の測定継続時間のセットの全体に亘って前記基準周波数の平均が一定に保たれ、
    前記セットの中の1つの測定継続時間における前記変調信号は、前記セットの中の他の任意の1つの測定継続時間における前記変調信号と同一のスペクトル成分を有する、方法。
  2. 不連続摂動が適用される、請求項1に記載の方法。
  3. 前記摂動周波数を動的に増加又は減少させることを更に含む、請求項1又は2に記載の方法。
  4. 前記周期的光信号の強度を低下させ、かつ前記摂動周波数を減少させることを更に含む、請求項1〜3のいずれか一項に記載の方法。
  5. 前記周期的光信号は、パルス信号又は正弦波信号である、請求項1〜4のいずれか一項に記載の方法。
  6. 前記摂動周波数は、前記基準周波数の±5%の範囲内である、請求項1〜5のいずれか一項に記載の方法。
  7. シーンへ向けて周期的光信号を放射する光源とともに使用され、シーンからの距離情報を提供するための測距装置であって、前記測距装置は、
    ある摂動周波数と摂動周期とを有する周期的摂動によって拡散された基準周波数を持つクロックタイミングに基づいて、前記光源に対して変調信号を与える変調ユニット(3)と、
    受信ユニット(7)と求値ユニット(8)と処理ユニット(9)とを有し、前記変調信号を受信するために前記変調ユニットに接続された、受信グループ(6)と、
    前記周期的摂動により拡散されたクロックタイミングを参照信号として、複数の測定継続時間からなるセットに亘って、前記シーンから反されて受信した光信号を前記セットの中の前記複数の測定継続時間のそれぞれで積分し、その結果の平均であるタイム・オブ・フライト情報を求めるように適合された求値ユニット(8)と、
    前記求値ユニット(8)により提供される前記タイム・オブ・フライト情報から距離を導き出すように適合された処理ユニット(9)と、
    を備え、
    前記セットの中の各測定継続時間は、前記摂動周期の整数倍又は半整数倍であり、
    前記複数の測定継続時間のセットの全体に亘って前記基準周波数の平均が一定に保たれ、
    前記セットの中の1つの測定継続時間における前記変調信号は、前記セットの中の他の任意の1つの測定継続時間における前記変調信号と同一のスペクトル成分を有する、測距装置。
  8. 請求項2〜6のいずれか一項に従ってシーンからの前記距離情報を提供するように更に構成された、請求項7に記載の測距装置。
  9. シーンへ向けて周期的光信号を放射する光源とともに使用され、シーンからの距離情報を提供するためのタイム・オブ・フライトセンサのためのタイミングモジュールであって、前記タイミングモジュールは、
    ある摂動周波数と摂動周期とを有する周期的摂動によって拡散された基準周波数のクロックタイミングを有する変調信号を前記光源に対して提供する変調ユニット(3)を備え、
    前記変調ユニットは、前記シーンからの前記周期的光信号の反射を検出する前記タイム・オブ・フライトセンサの検出器に、前記周期的摂動によって拡散された前記クロックタイミングに従って、複数の測定継続時間からなるセット全体に前記変調信号を提供するように適合されており、ここで、前記タイム・オブ・フライトセンサは、前記周期的光信号の前記シーンで前記反射されて受信した光信号を前記セットの中の前記複数の測定継続時間のそれぞれで積分し、その結果の平均であるタイム・オブ・フライト情報を求め、
    前記セットの中の各測定継続時間は、前記摂動周期の整数倍又は半整数倍であり、
    前記複数の測定継続時間のセットの全体に亘って前記基準周波数の平均が一定に保たれ、
    前記セットの中の1つの測定継続時間における前記変調信号は、前記セットの中の他の任意の1つの測定継続時間における前記変調信号と同一のスペクトル成分を有する、タイミングモジュール。
JP2014519562A 2011-07-15 2012-07-12 距離情報を提供する方法及びタイム・オブ・フライトカメラ Active JP6228537B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GB1112256.1A GB2492848A (en) 2011-07-15 2011-07-15 Optical distance measurement
GB1112256.1 2011-07-15
PCT/EP2012/063696 WO2013010913A1 (en) 2011-07-15 2012-07-12 Method and time-of-flight camera for providing distance information

Publications (3)

Publication Number Publication Date
JP2014522979A JP2014522979A (ja) 2014-09-08
JP2014522979A5 JP2014522979A5 (ja) 2015-12-17
JP6228537B2 true JP6228537B2 (ja) 2017-11-15

Family

ID=44586720

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014519562A Active JP6228537B2 (ja) 2011-07-15 2012-07-12 距離情報を提供する方法及びタイム・オブ・フライトカメラ

Country Status (9)

Country Link
US (3) US9599712B2 (ja)
EP (1) EP2712426B1 (ja)
JP (1) JP6228537B2 (ja)
KR (1) KR101580571B1 (ja)
CN (1) CN103748479B (ja)
BE (1) BE1020078A3 (ja)
GB (1) GB2492848A (ja)
TW (1) TWI534452B (ja)
WO (1) WO2013010913A1 (ja)

Families Citing this family (79)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2492848A (en) 2011-07-15 2013-01-16 Softkinetic Sensors Nv Optical distance measurement
US9667883B2 (en) 2013-01-07 2017-05-30 Eminent Electronic Technology Corp. Ltd. Three-dimensional image sensing device and method of sensing three-dimensional images
US9182490B2 (en) 2013-11-27 2015-11-10 Semiconductor Components Industries, Llc Video and 3D time-of-flight image sensors
SG11201606510XA (en) 2014-03-14 2016-09-29 Heptagon Micro Optics Pte Ltd Optoelectronic modules operable to recognize spurious reflections and to compensate for errors caused by spurious reflections
CN106104296B (zh) 2014-03-14 2020-01-21 赫普塔冈微光有限公司 包括飞行时间传感器的光学成像模块和光学检测模块
US9681123B2 (en) 2014-04-04 2017-06-13 Microsoft Technology Licensing, Llc Time-of-flight phase-offset calibration
US9360554B2 (en) 2014-04-11 2016-06-07 Facet Technology Corp. Methods and apparatus for object detection and identification in a multiple detector lidar array
US9658336B2 (en) * 2014-08-20 2017-05-23 Omnivision Technologies, Inc. Programmable current source for a time of flight 3D image sensor
US9578311B2 (en) 2014-10-22 2017-02-21 Microsoft Technology Licensing, Llc Time of flight depth camera
KR102240817B1 (ko) * 2015-01-21 2021-04-16 주식회사 히타치엘지 데이터 스토리지 코리아 티오에프 카메라에서 깊이 지도 생성 방법
US9874630B2 (en) * 2015-01-30 2018-01-23 Microsoft Technology Licensing, Llc Extended range gated time of flight camera
KR102272254B1 (ko) * 2015-02-13 2021-07-06 삼성전자주식회사 위상 검출 픽셀을 이용하여 깊이 맵을 생성하기 위한 영상 생성 장치
EP3095710B1 (en) * 2015-05-20 2018-01-03 Goodrich Lighting Systems GmbH Dynamic exterior aircraft light unit and method of operating a dynamic exterior aircraft light unit
US9819930B2 (en) * 2015-05-26 2017-11-14 Omnivision Technologies, Inc. Time of flight imaging with improved initiation signaling
US9945936B2 (en) * 2015-05-27 2018-04-17 Microsoft Technology Licensing, Llc Reduction in camera to camera interference in depth measurements using spread spectrum
TWI737648B (zh) * 2015-11-13 2021-09-01 新加坡商海特根微光學公司 用於以一光學測距系統收集距離資料之方法
EP3193190B1 (en) * 2016-01-15 2023-04-12 Sony Depthsensing Solutions N.V. A detector device with majority current and a circuitry for controlling the current
CN108780151B (zh) * 2016-02-08 2022-11-01 埃斯普罗光电股份公司 飞行时间距离测量装置及用于检测多路径误差的方法
US9866816B2 (en) * 2016-03-03 2018-01-09 4D Intellectual Properties, Llc Methods and apparatus for an active pulsed 4D camera for image acquisition and analysis
US10462452B2 (en) * 2016-03-16 2019-10-29 Microsoft Technology Licensing, Llc Synchronizing active illumination cameras
US10598783B2 (en) 2016-07-07 2020-03-24 Microsoft Technology Licensing, Llc Multi-frequency unwrapping
EP3301477A1 (en) * 2016-10-03 2018-04-04 Xenomatix NV System for determining a distance to an object
KR102035019B1 (ko) * 2017-09-20 2019-10-22 주식회사 유진로봇 거리 측정 장치, 시간 디지털 변환기, 및 이동체
US10557965B2 (en) 2016-12-02 2020-02-11 Stmicroelectronics (Grenoble 2) Sas Device, system, and method for detecting human presence
JP2020504295A (ja) * 2016-12-07 2020-02-06 ジョイソン セイフティ システムズ アクイジション エルエルシー 3dタイムオブフライト能動反射検知システム及び方法
US10147193B2 (en) 2017-03-10 2018-12-04 TuSimple System and method for semantic segmentation using hybrid dilated convolution (HDC)
US11525918B2 (en) * 2017-04-04 2022-12-13 pmdtechnologies ag Time-of-flight camera
US10739447B2 (en) 2017-04-20 2020-08-11 Wisconsin Alumni Research Foundation Systems, methods, and media for encoding and decoding signals used in time of flight imaging
US10645367B2 (en) * 2017-04-20 2020-05-05 Wisconsin Alumni Research Foundation Systems, methods, and media for encoding and decoding signals used in time of flight imaging
CN115575928A (zh) * 2017-05-08 2023-01-06 威力登激光雷达美国有限公司 Lidar数据获取与控制
US10762635B2 (en) 2017-06-14 2020-09-01 Tusimple, Inc. System and method for actively selecting and labeling images for semantic segmentation
WO2019039727A1 (ko) * 2017-08-21 2019-02-28 (주)유진로봇 거리 측정 장치 및 이동체
US10816354B2 (en) 2017-08-22 2020-10-27 Tusimple, Inc. Verification module system and method for motion-based lane detection with multiple sensors
US10565457B2 (en) 2017-08-23 2020-02-18 Tusimple, Inc. Feature matching and correspondence refinement and 3D submap position refinement system and method for centimeter precision localization using camera-based submap and LiDAR-based global map
US10762673B2 (en) 2017-08-23 2020-09-01 Tusimple, Inc. 3D submap reconstruction system and method for centimeter precision localization using camera-based submap and LiDAR-based global map
US10649458B2 (en) 2017-09-07 2020-05-12 Tusimple, Inc. Data-driven prediction-based system and method for trajectory planning of autonomous vehicles
US10953881B2 (en) 2017-09-07 2021-03-23 Tusimple, Inc. System and method for automated lane change control for autonomous vehicles
US10953880B2 (en) 2017-09-07 2021-03-23 Tusimple, Inc. System and method for automated lane change control for autonomous vehicles
US10671083B2 (en) 2017-09-13 2020-06-02 Tusimple, Inc. Neural network architecture system for deep odometry assisted by static scene optical flow
US10552979B2 (en) 2017-09-13 2020-02-04 TuSimple Output of a neural network method for deep odometry assisted by static scene optical flow
CN107745697A (zh) 2017-11-16 2018-03-02 北京图森未来科技有限公司 一种自动清洁系统及方法
US10852402B2 (en) * 2017-12-07 2020-12-01 Texas Instruments Incorporated Phase anti-aliasing using spread-spectrum techniques in an optical distance measurement system
JP7232762B2 (ja) * 2017-12-22 2023-03-03 ソニーセミコンダクタソリューションズ株式会社 信号生成装置
US11312334B2 (en) 2018-01-09 2022-04-26 Tusimple, Inc. Real-time remote control of vehicles with high redundancy
CN111989716B (zh) 2018-01-11 2022-11-15 图森有限公司 用于自主车辆操作的监视系统
US10901087B2 (en) * 2018-01-15 2021-01-26 Microsoft Technology Licensing, Llc Time of flight camera
CN108270970B (zh) 2018-01-24 2020-08-25 北京图森智途科技有限公司 一种图像采集控制方法及装置、图像采集系统
US11009365B2 (en) 2018-02-14 2021-05-18 Tusimple, Inc. Lane marking localization
US11009356B2 (en) 2018-02-14 2021-05-18 Tusimple, Inc. Lane marking localization and fusion
US10685244B2 (en) 2018-02-27 2020-06-16 Tusimple, Inc. System and method for online real-time multi-object tracking
FR3078851B1 (fr) * 2018-03-07 2020-02-14 Teledyne E2V Semiconductors Sas Camera de vision a mesure de temps de vol optimisee pour environnement multi-cameras
CN110378184A (zh) 2018-04-12 2019-10-25 北京图森未来科技有限公司 一种应用于自动驾驶车辆的图像处理方法、装置
US10497738B2 (en) * 2018-04-20 2019-12-03 Omnivision Technologies, Inc. First photon correlated time-of-flight sensor
US11029397B2 (en) * 2018-04-20 2021-06-08 Omnivision Technologies, Inc. Correlated time-of-flight sensor
CN116129376A (zh) 2018-05-02 2023-05-16 北京图森未来科技有限公司 一种道路边缘检测方法和装置
US10565728B2 (en) 2018-06-01 2020-02-18 Tusimple, Inc. Smoothness constraint for camera pose estimation
FR3084136B1 (fr) * 2018-07-20 2021-01-29 Valeo Vision Dispositif lumineux matriciel avec estimation de temps de vol
US11023742B2 (en) 2018-09-07 2021-06-01 Tusimple, Inc. Rear-facing perception system for vehicles
US11019274B2 (en) 2018-09-10 2021-05-25 Tusimple, Inc. Adaptive illumination for a time-of-flight camera on a vehicle
CN112689586B (zh) 2018-09-13 2024-04-16 图森有限公司 远程安全驾驶方法和系统
WO2020079776A1 (ja) 2018-10-17 2020-04-23 日本電気株式会社 測距装置及び測距方法
US20210389432A1 (en) 2018-10-17 2021-12-16 Nec Corporation Distance-measurement apparatus and distance-measurement method
US10942271B2 (en) 2018-10-30 2021-03-09 Tusimple, Inc. Determining an angle between a tow vehicle and a trailer
FR3090124B1 (fr) * 2018-12-14 2022-07-15 Valeo Comfort & Driving Assistance Capteur de temps de vol et système de surveillance comportant un tel capteur
US11500100B2 (en) 2019-04-15 2022-11-15 Microsoft Technology Licensing, Llc Time-of-flight measurements using linear inverse function
CN110221274B (zh) * 2019-05-09 2021-04-30 奥比中光科技集团股份有限公司 时间飞行深度相机及多频调制解调的距离测量方法
CN110361751B (zh) * 2019-06-14 2021-04-30 奥比中光科技集团股份有限公司 时间飞行深度相机及单频调制解调的降低噪声的距离测量方法
US11823460B2 (en) 2019-06-14 2023-11-21 Tusimple, Inc. Image fusion for autonomous vehicle operation
CN110320528B (zh) * 2019-06-14 2021-04-30 奥比中光科技集团股份有限公司 时间深度相机及多频调制解调的降低噪声的距离测量方法
TWI748460B (zh) * 2019-06-21 2021-12-01 大陸商廣州印芯半導體技術有限公司 飛時測距裝置及飛時測距方法
CN111158005B (zh) * 2019-12-30 2023-04-07 福瑞泰克智能系统有限公司 一种测距方法、装置及设备
KR20210123602A (ko) * 2020-04-03 2021-10-14 에스케이하이닉스 주식회사 이미지 센싱 장치 및 그의 동작 방법
EP3893150A1 (en) 2020-04-09 2021-10-13 Tusimple, Inc. Camera pose estimation techniques
AU2021203567A1 (en) 2020-06-18 2022-01-20 Tusimple, Inc. Angle and orientation measurements for vehicles with multiple drivable sections
CN113928307A (zh) 2020-06-29 2022-01-14 图森有限公司 自动泊车技术
US11726392B2 (en) 2020-09-01 2023-08-15 Sorenson Ip Holdings, Llc System, method, and computer-readable medium for autofocusing a videophone camera
TWI762387B (zh) * 2021-07-16 2022-04-21 台達電子工業股份有限公司 飛行測距裝置及其檢測方法
WO2023044449A1 (en) * 2021-09-17 2023-03-23 Banner Engineering Corp. Time of flight detection systems with efficient phase measurement
CN114881894B (zh) * 2022-07-07 2022-09-30 武汉市聚芯微电子有限责任公司 一种像素修复方法、装置、设备以及计算机存储介质

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4024540A (en) * 1976-03-12 1977-05-17 Cincinnati Electronics Corporation Continuous wave FM tone ranging radar with predetection averaging
JPS6383686A (ja) * 1986-09-29 1988-04-14 Matsushita Electric Ind Co Ltd レ−ザ−測距装置
JP2757638B2 (ja) * 1991-12-24 1998-05-25 三菱電機株式会社 車間距離検知装置
JPH0743468A (ja) * 1993-07-28 1995-02-14 Hamamatsu Photonics Kk 高精度時間間隔測定装置
JPH085733A (ja) * 1994-06-22 1996-01-12 Hitachi Ltd レーダ装置
US6088086A (en) * 1995-09-11 2000-07-11 Sandia Corporation Range determination for scannerless imaging
JPH1025082A (ja) * 1996-07-05 1998-01-27 Mitsubishi Denki Bill Techno Service Kk エスカレータ踏段における溝内の異物検出装置
JPH1068776A (ja) * 1996-08-27 1998-03-10 Sokkia Co Ltd 距離測定方法
DE69827529T2 (de) * 1998-09-28 2005-11-10 3Dv Systems Ltd. Entfernungsmessung mittels kamera
US6522395B1 (en) * 1999-04-30 2003-02-18 Canesta, Inc. Noise reduction techniques suitable for three-dimensional information acquirable with CMOS-compatible image sensor ICS
JP2001021651A (ja) * 1999-07-06 2001-01-26 Hitachi Engineering & Services Co Ltd トンネル内壁検査方法および装置
JP2001280927A (ja) * 2000-03-30 2001-10-10 Fuji Xerox Co Ltd 3次元形状計測方法および装置
JP2005070960A (ja) * 2003-08-21 2005-03-17 Thine Electronics Inc 半導体集積回路
DK1513202T3 (da) 2003-09-02 2010-05-10 Univ Bruxelles Detektor til elektromagnetisk stråling ved hjælp af en majoritetsstrøm
US7184130B1 (en) * 2004-07-15 2007-02-27 Exelys, Llc Method for improving the received signal to noise ratio of a laser rangefinder
JP2006074306A (ja) * 2004-09-01 2006-03-16 Renesas Technology Corp 半導体集積回路
EP1762862A1 (en) * 2005-09-09 2007-03-14 IEE INTERNATIONAL ELECTRONICS & ENGINEERING S.A. Method and device for 3D imaging
US7742556B1 (en) * 2005-09-13 2010-06-22 Marvell International Ltd. Circuits, methods, apparatus, and systems for recovery of spread spectrum clock
JP4104624B2 (ja) * 2005-11-25 2008-06-18 シャープ株式会社 画像処理装置、画像読取装置及び画像形成装置
US7894564B2 (en) * 2006-11-07 2011-02-22 Via Technologies, Inc. Phase modulation method for spread spectrum clock generator
JP5461762B2 (ja) * 2006-11-30 2014-04-02 アズビル株式会社 距離計および距離計測方法
JP2008209298A (ja) * 2007-02-27 2008-09-11 Fujifilm Corp 測距装置及び測距方法
US8310655B2 (en) 2007-12-21 2012-11-13 Leddartech Inc. Detection and ranging methods and systems
EP2116864A1 (en) * 2008-05-09 2009-11-11 Vrije Universiteit Brussel TOF range finding with background radiation suppression
JP5585903B2 (ja) * 2008-07-30 2014-09-10 国立大学法人静岡大学 距離画像センサ、及び撮像信号を飛行時間法により生成する方法
US7963445B2 (en) 2008-12-09 2011-06-21 Symbol Technologies, Inc. Arrangement for and method of suppressing electromagnetic radiation interference in an imaging reader
DE102009029372A1 (de) * 2009-09-11 2011-03-24 Robert Bosch Gmbh Messvorrichtung zur Messung einer Entfernung zwischen der Messvorrichtung und einem Zielobjekt mit Hilfe optischer Messstrahlung
GB2492848A (en) 2011-07-15 2013-01-16 Softkinetic Sensors Nv Optical distance measurement

Also Published As

Publication number Publication date
KR101580571B1 (ko) 2015-12-28
US9599712B2 (en) 2017-03-21
CN103748479B (zh) 2016-04-20
EP2712426B1 (en) 2014-10-22
GB201112256D0 (en) 2011-08-31
US20170212236A1 (en) 2017-07-27
WO2013010913A1 (en) 2013-01-24
BE1020078A3 (fr) 2013-04-02
EP2712426A1 (en) 2014-04-02
CN103748479A (zh) 2014-04-23
US10234560B2 (en) 2019-03-19
TWI534452B (zh) 2016-05-21
GB2492848A (en) 2013-01-16
US9921311B2 (en) 2018-03-20
TW201312144A (zh) 2013-03-16
US20140160461A1 (en) 2014-06-12
US20180164438A1 (en) 2018-06-14
KR20140056248A (ko) 2014-05-09
JP2014522979A (ja) 2014-09-08

Similar Documents

Publication Publication Date Title
JP6228537B2 (ja) 距離情報を提供する方法及びタイム・オブ・フライトカメラ
JP2014522979A5 (ja)
JP6246131B2 (ja) タイムオブフライト信号の処理における又はこれに関する改良
JP2013076645A (ja) 距離画像生成装置および距離画像生成方法
US9418425B2 (en) 3D image acquisition apparatus and method of calculating depth information in the 3D image acquisition apparatus
US7405812B1 (en) Method and system to avoid inter-system interference for phase-based time-of-flight systems
US9894347B2 (en) 3D image acquisition apparatus and method of driving the same
US9442195B2 (en) Power efficient pulsed laser driver for time of flight cameras
JP5655133B2 (ja) 空間情報検出装置
JP6261681B2 (ja) タイムオブフライト信号の処理における又はこれに関する改良
JP5271643B2 (ja) 光飛行時間型距離画像センサの制御方法およびそのシステム
JP2020046247A (ja) 距離計測装置、及び距離計測方法
JP2011145109A (ja) 光波距離測定装置
US10852402B2 (en) Phase anti-aliasing using spread-spectrum techniques in an optical distance measurement system
Jongenelen Development of a compact, configurable, real-time range imaging system
KR20150079494A (ko) 심도 이미저용 광학 소스 드라이버 회로
Seiter et al. Correction of the temperature induced error of the illumination source in a time-of-flight distance measurement setup
JP7192959B2 (ja) 測距装置及び測距方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140423

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140317

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140421

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150122

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150203

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150501

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150728

A524 Written submission of copy of amendment under article 19 pct

Free format text: JAPANESE INTERMEDIATE CODE: A524

Effective date: 20151027

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20160315

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160714

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160729

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20160830

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20161028

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20170301

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20170302

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20170302

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170720

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171013

R150 Certificate of patent or registration of utility model

Ref document number: 6228537

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250