JP7191921B2 - Ｔｏｆカメラシステムおよび該システムにより距離を測定するための方法 - Google Patents
Ｔｏｆカメラシステムおよび該システムにより距離を測定するための方法 Download PDFInfo
- Publication number
- JP7191921B2 JP7191921B2 JP2020195625A JP2020195625A JP7191921B2 JP 7191921 B2 JP7191921 B2 JP 7191921B2 JP 2020195625 A JP2020195625 A JP 2020195625A JP 2020195625 A JP2020195625 A JP 2020195625A JP 7191921 B2 JP7191921 B2 JP 7191921B2
- Authority
- JP
- Japan
- Prior art keywords
- complex data
- irradiation
- scene
- depth map
- light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/491—Details of non-pulse systems
- G01S7/4911—Transmitters
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
- G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/08—Systems determining position data of a target for measuring distance only
- G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/46—Indirect determination of position data
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/483—Details of pulse systems
- G01S7/486—Receivers
- G01S7/487—Extracting wanted echo signals, e.g. pulse detection
- G01S7/4876—Extracting wanted echo signals, e.g. pulse detection by removing unwanted signals
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/491—Details of non-pulse systems
- G01S7/493—Extracting wanted echo signals
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Electromagnetism (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Measurement Of Optical Distance (AREA)
Description
本発明は、（ｉ）シーンの物体と飛行時間カメラシステムとの間の距離を測定するため
の方法、および（ｉｉ）それに関連付けられる飛行時間カメラシステムに関する。特に、
本発明はシーン内の光の直接および間接反射の問題、ならびにこれらの複数回の反射によ
って誘発される奥行測定値の誤差に関する。シーンとは、光線が直接または間接にそこに
反射され得る、物体の周囲の全ての表面を意味することを理解されたい。
の方法、および（ｉｉ）それに関連付けられる飛行時間カメラシステムに関する。特に、
本発明はシーン内の光の直接および間接反射の問題、ならびにこれらの複数回の反射によ
って誘発される奥行測定値の誤差に関する。シーンとは、光線が直接または間接にそこに
反射され得る、物体の周囲の全ての表面を意味することを理解されたい。
飛行時間技術（ＴＯＦ）は奥行知覚のための有望な技術である。標準的ＴＯＦカメラシ
ステム３のよく知られた基本的な動作原理を図１に示す。ＴＯＦカメラシステム３は、専
用の照射ユニット１８から物体への光の飛行時間を解析することによってシーン１５の３
Ｄ画像を捕捉する。ＴＯＦカメラシステム３はカメラ、例えばピクセルのマトリックス１
、およびデータ処理手段４を含む。シーン１５は、専用の照射ユニット１８を用いて所定
の波長の変調光１６を、例えば少なくとも１つの予め定められた周波数の光パルスを能動
的に照射される。変調光はシーン内の物体から反射して戻る。レンズ２は反射した光１７
を集光し、カメラの撮像センサ１上に物体の像を形成する。カメラから物体までの距離に
応じて、変調光、例えばいわゆる光パルスの出射と、これらの反射光パルスのカメラにお
ける受光との間に、遅延が生じる。反射物体とカメラとの間の距離は、観察された時間遅
延および光速定数値の関数として決定することができる。
ステム３のよく知られた基本的な動作原理を図１に示す。ＴＯＦカメラシステム３は、専
用の照射ユニット１８から物体への光の飛行時間を解析することによってシーン１５の３
Ｄ画像を捕捉する。ＴＯＦカメラシステム３はカメラ、例えばピクセルのマトリックス１
、およびデータ処理手段４を含む。シーン１５は、専用の照射ユニット１８を用いて所定
の波長の変調光１６を、例えば少なくとも１つの予め定められた周波数の光パルスを能動
的に照射される。変調光はシーン内の物体から反射して戻る。レンズ２は反射した光１７
を集光し、カメラの撮像センサ１上に物体の像を形成する。カメラから物体までの距離に
応じて、変調光、例えばいわゆる光パルスの出射と、これらの反射光パルスのカメラにお
ける受光との間に、遅延が生じる。反射物体とカメラとの間の距離は、観察された時間遅
延および光速定数値の関数として決定することができる。
この技術の欠点の１つは図２に示されており、いわゆるマルチパス現象に関係している
。シーン２４に対し複数の方向に照射するための照射ユニット８と、出射光の反射を検出
するためのＴＯＦセンサ６と、ＴＯＦセンサ６によって取得されたデータを処理するため
の処理手段７とを含む標準的ＴＯＦカメラシステム９が示されている。
。シーン２４に対し複数の方向に照射するための照射ユニット８と、出射光の反射を検出
するためのＴＯＦセンサ６と、ＴＯＦセンサ６によって取得されたデータを処理するため
の処理手段７とを含む標準的ＴＯＦカメラシステム９が示されている。
ＴＯＦセンサ６のピクセル（図示せず）は、照射ユニット８からシーン２４へ、および
シーン２４からピクセルへの直接経路２５を測定する。しかし、二次反射２６またはより
高次の反射も同じピクセルで捕捉され、第１直接反射２５について知覚される遅延を歪ま
せることが起こり得る。センサ６によって捕捉される光は直接経路２５および二次反射２
６の両方に由来すると考えられ、したがって、測定されたシーンの各点に関連付けられる
奥行を表す奥行マップ（深度図）２７は誤りである。
シーン２４からピクセルへの直接経路２５を測定する。しかし、二次反射２６またはより
高次の反射も同じピクセルで捕捉され、第１直接反射２５について知覚される遅延を歪ま
せることが起こり得る。センサ６によって捕捉される光は直接経路２５および二次反射２
６の両方に由来すると考えられ、したがって、測定されたシーンの各点に関連付けられる
奥行を表す奥行マップ（深度図）２７は誤りである。
先行技術では、入射光の直接成分を回復するために幾つかの方法が実現されてきた。例
えば複数周波数手法は、異なる変調周波数により１組の奥行測定値を取得することによっ
て実行されたが、得られた解像度は依然として低い。
えば複数周波数手法は、異なる変調周波数により１組の奥行測定値を取得することによっ
て実行されたが、得られた解像度は依然として低い。
別の手法は、例えばデジタル光処理（ＤＬＰ）プロジェクタによって生成される１組の
異なる空間パターンを使用する。パターンの黒色部分から得られる奥行はマルチパスに由
来する間接信号のみによって形成されるので、シーンに暗いパッチおよび明るいパッチを
形成することによって、直接成分および間接成分を分離することができる。異なるパター
ンは、シーンの各部分が黒色状況で捕捉されるように選択される。エッジ効果は、充分な
オーバーラップを持つパターンを画定することによって相殺される。しかし、これらの異
なるパターンの形成は費用が高い。
異なる空間パターンを使用する。パターンの黒色部分から得られる奥行はマルチパスに由
来する間接信号のみによって形成されるので、シーンに暗いパッチおよび明るいパッチを
形成することによって、直接成分および間接成分を分離することができる。異なるパター
ンは、シーンの各部分が黒色状況で捕捉されるように選択される。エッジ効果は、充分な
オーバーラップを持つパターンを画定することによって相殺される。しかし、これらの異
なるパターンの形成は費用が高い。
シーンの物体とＴＯＦカメラシステムとの間の距離をより正確に測定するため、反射光
の直接成分だけを最良の費用効果で取り出すための解決策はまだ提案されていない。
の直接成分だけを最良の費用効果で取り出すための解決策はまだ提案されていない。
本発明は、シーン（対象、領域、環境）の物体と飛行時間（到達時間）カメラシステム
との間の距離を測定し、物体の奥行マップを提供するための方法に関し、飛行時間カメラ
システムは照射ユニットと、ピクセルのマトリックスを有する撮像センサと、画像処理手
段とを含み、該方法は以下のステップを特徴とする。
との間の距離を測定し、物体の奥行マップを提供するための方法に関し、飛行時間カメラ
システムは照射ユニットと、ピクセルのマトリックスを有する撮像センサと、画像処理手
段とを含み、該方法は以下のステップを特徴とする。
‐直接入射光線を間接入射光線と区別するため、シーンの基本領域にそれぞれ異なる入射
強度（incident intensity）で照射するために、前記照射ユニットの照射を離散的に変化
させるステップ。
‐前記基本領域によって反射した光線をセンサのマトリックスのピクセルで受光し、対応
するデータを画像処理手段に提供するステップ。
‐物体の奥行マップにおける間接光線の影響を除去するために前記対応するデータを処理
するステップ。
データを処理するときに、該方法は、例えば中間奥行マップ上で（しかしそれに限定さ
れない）、間接入射光線だけが入射し得る基本領域に関連付けられるピークを識別するス
テップを含むことができることが有利である。そのようなピークを識別することによって
、間接光線の影響を除去し、シーンの正確な最終的奥行マップを得るために、データを処
理することができる。
強度（incident intensity）で照射するために、前記照射ユニットの照射を離散的に変化
させるステップ。
‐前記基本領域によって反射した光線をセンサのマトリックスのピクセルで受光し、対応
するデータを画像処理手段に提供するステップ。
‐物体の奥行マップにおける間接光線の影響を除去するために前記対応するデータを処理
するステップ。
データを処理するときに、該方法は、例えば中間奥行マップ上で（しかしそれに限定さ
れない）、間接入射光線だけが入射し得る基本領域に関連付けられるピークを識別するス
テップを含むことができることが有利である。そのようなピークを識別することによって
、間接光線の影響を除去し、シーンの正確な最終的奥行マップを得るために、データを処
理することができる。
本発明はまた、シーンの物体とＴＯＦカメラシステムとの間の距離を測定し、かつ物体
の奥行マップを提供するための飛行時間（ＴＯＦ）カメラシステムにも関し、
‐シーンに変調光を照射するための照射ユニットと、
‐シーンによって反射した光線をセンサのマトリックスのピクセルで受光するためにピク
セルのマトリックスを有する撮像センサと、
‐反射した光線に対応するデータを撮像センサから受信し、かつ前記対応するデータを処
理するための画像処理手段と、
を含むＴＯＦカメラシステムは、
‐直接入射光線を間接入射光線と区別するため、および前記対応するデータの処理中に物
体の奥行マップにおける間接光線の影響を除去するため、シーンの基本領域にそれぞれ異
なる入射強度で照射するために前記照射ユニットの照射を離散的に変化させるためのパタ
ーン形成手段
をさらに含むことを特徴とする。
の奥行マップを提供するための飛行時間（ＴＯＦ）カメラシステムにも関し、
‐シーンに変調光を照射するための照射ユニットと、
‐シーンによって反射した光線をセンサのマトリックスのピクセルで受光するためにピク
セルのマトリックスを有する撮像センサと、
‐反射した光線に対応するデータを撮像センサから受信し、かつ前記対応するデータを処
理するための画像処理手段と、
を含むＴＯＦカメラシステムは、
‐直接入射光線を間接入射光線と区別するため、および前記対応するデータの処理中に物
体の奥行マップにおける間接光線の影響を除去するため、シーンの基本領域にそれぞれ異
なる入射強度で照射するために前記照射ユニットの照射を離散的に変化させるためのパタ
ーン形成手段
をさらに含むことを特徴とする。
照射の変化は照射ユニットを離散的にマスキングすることによって実行することが有利
である。パターン形成手段は例えば、直接入射光線がシーンの一部の基本領域に入射する
ことを防止するマスクとすることができる。
である。パターン形成手段は例えば、直接入射光線がシーンの一部の基本領域に入射する
ことを防止するマスクとすることができる。
パターン形成手段は、データのより容易な処理を可能にするために、一連の同一パター
ン群を含むことができることがより有利である。
ン群を含むことができることがより有利である。
本発明の他の利点および新規の特徴は、以下の詳細な説明を添付の図面と併せて考察す
ることにより、さらに明瞭になるであろう。
ることにより、さらに明瞭になるであろう。
本発明は、以下の説明および添付の図面に照らしていっそう理解が深まるはずである。
本発明の利点および新規の特徴は、以下の詳細な説明を添付の図面と併せて考察するこ
とにより、さらに明瞭になるであろう。
とにより、さらに明瞭になるであろう。
図３は本発明の実施形態に係るＴＯＦカメラシステム１０を示す。飛行時間カメラシス
テム１０は、シーン２４に変調光を照射するための照射ユニット２０を含む。この照射ユ
ニット２０によって出射される光は、飛行時間技術を用いて距離を測定するのに適するよ
うに構成される。例えば照射ユニット２０は、適切なパルス幅の光パルスを出射するよう
に構成することができる。実際、パルスを使用する場合、各光パルスのパルス幅はカメラ
レンジ（被写体までの距離）を決定する。例えば５０ｎｓのパルス幅の場合、レンジは７
．５ｍに制限される。その結果、シーンの照射はＴＯＦカメラシステムの動作に不可欠な
ものになり、照射ユニットの高速駆動周波数要件のため、そのような短い光パルスを発生
させるには、発光ダイオード（ＬＥＤ）またはレーザのような特殊化された光源を使用す
ることが必要になる。照射ユニットは、図３に示される複数の出射光線２５、２６、およ
び２８によって提示される通り、多方向性光を出射するように構成される。
テム１０は、シーン２４に変調光を照射するための照射ユニット２０を含む。この照射ユ
ニット２０によって出射される光は、飛行時間技術を用いて距離を測定するのに適するよ
うに構成される。例えば照射ユニット２０は、適切なパルス幅の光パルスを出射するよう
に構成することができる。実際、パルスを使用する場合、各光パルスのパルス幅はカメラ
レンジ（被写体までの距離）を決定する。例えば５０ｎｓのパルス幅の場合、レンジは７
．５ｍに制限される。その結果、シーンの照射はＴＯＦカメラシステムの動作に不可欠な
ものになり、照射ユニットの高速駆動周波数要件のため、そのような短い光パルスを発生
させるには、発光ダイオード（ＬＥＤ）またはレーザのような特殊化された光源を使用す
ることが必要になる。照射ユニットは、図３に示される複数の出射光線２５、２６、およ
び２８によって提示される通り、多方向性光を出射するように構成される。
ＴＯＦカメラシステムはさらに、反射した光線を受光かつ検出し、シーン２４の像を形
成するために、典型的にはピクセルのマトリックスアレイを含む撮像センサ２１を含む。
分かりやすく説明するために、図３には２つのピクセル２２および２３だけが示されてい
るが、本発明は２ピクセルのマトリックスに限定されない。ピクセルとは、光電磁放射線
に感応する画素およびその関連電子回路であることを理解されたい。ピクセルの出力は、
照射ユニット２０からシーン２４の物体まで、および物体から撮像ＴＯＦセンサ２１へ反
射して戻るまでの光の飛行時間を決定するために使用することができる。
成するために、典型的にはピクセルのマトリックスアレイを含む撮像センサ２１を含む。
分かりやすく説明するために、図３には２つのピクセル２２および２３だけが示されてい
るが、本発明は２ピクセルのマトリックスに限定されない。ピクセルとは、光電磁放射線
に感応する画素およびその関連電子回路であることを理解されたい。ピクセルの出力は、
照射ユニット２０からシーン２４の物体まで、および物体から撮像ＴＯＦセンサ２１へ反
射して戻るまでの光の飛行時間を決定するために使用することができる。
ＴＯＦカメラシステム１０はさらに、シーン２４に光パターンを形成するためのパター
ン形成手段３０を含む。光パターンはレーザ光干渉から直接得られるそのままのレーザス
ペックルのパターンとするか、照射ユニット２０の前に配置されるパターン形成手段から
得るか、あるいはレーザスペックルおよびパターン形成手段３０の両方の組合せとするこ
とができる。パターン形成手段３０を使用する場合、照射ユニット２０によって出射され
た光はこれらのパターン形成手段を通過して、光を変化させ、異なる強度の区切られた基
本領域３１、３２による光パターンをシーンに形成させる。照射ユニット２０によって出
射された光は、シーン２４に入射する前に、パターン形成手段３０の所与の領域で遮断さ
れ、あるいはその強度が低減され、かつ他の領域では遮断されず、結果的に、それぞれ低
い光強度の領域３１および高い光強度の領域３２がシーンに形成される。分かりやすくす
るために、これらの領域は太線３１および３２によって示されているが、シーンに形成さ
れる光パターンはシーン２４に付着された固体（立体）または物理的パターンではなく、
照射ユニット２０の前に配置されたパターン形成手段３０に由来する光効果の結果である
。光パターンは照射ユニット２０によってシーンに投影される。パターン形成手段３０は
フィルタリング手段、マスク、グリッド、または照射を離散的に変化させることのできる
いずれかの手段とすることができる。理想的には、二次反射だけが測定される領域３１を
容易に取り出すために、パターン形成手段は空間的に周期的な光パターン３１、３２、４
５、４６をシーン上に提供する必要がある。パターン形成手段３０はまた、図４に示すよ
うに一連の同一パターン群５０を含むか、あるいは複数のＴＯＦカメラフレームレートと
同調して適時に順次使用することのできる一連の異なるパターン群を含むこともできる。
ン形成手段３０を含む。光パターンはレーザ光干渉から直接得られるそのままのレーザス
ペックルのパターンとするか、照射ユニット２０の前に配置されるパターン形成手段から
得るか、あるいはレーザスペックルおよびパターン形成手段３０の両方の組合せとするこ
とができる。パターン形成手段３０を使用する場合、照射ユニット２０によって出射され
た光はこれらのパターン形成手段を通過して、光を変化させ、異なる強度の区切られた基
本領域３１、３２による光パターンをシーンに形成させる。照射ユニット２０によって出
射された光は、シーン２４に入射する前に、パターン形成手段３０の所与の領域で遮断さ
れ、あるいはその強度が低減され、かつ他の領域では遮断されず、結果的に、それぞれ低
い光強度の領域３１および高い光強度の領域３２がシーンに形成される。分かりやすくす
るために、これらの領域は太線３１および３２によって示されているが、シーンに形成さ
れる光パターンはシーン２４に付着された固体（立体）または物理的パターンではなく、
照射ユニット２０の前に配置されたパターン形成手段３０に由来する光効果の結果である
。光パターンは照射ユニット２０によってシーンに投影される。パターン形成手段３０は
フィルタリング手段、マスク、グリッド、または照射を離散的に変化させることのできる
いずれかの手段とすることができる。理想的には、二次反射だけが測定される領域３１を
容易に取り出すために、パターン形成手段は空間的に周期的な光パターン３１、３２、４
５、４６をシーン上に提供する必要がある。パターン形成手段３０はまた、図４に示すよ
うに一連の同一パターン群５０を含むか、あるいは複数のＴＯＦカメラフレームレートと
同調して適時に順次使用することのできる一連の異なるパターン群を含むこともできる。
本発明はコントラストが１００％のパターンを必要とせず、かつパターン形成手段をイ
メージセンサに整列させる必要がないことに留意することは重要である。
メージセンサに整列させる必要がないことに留意することは重要である。
ＴＯＦカメラシステム１０はさらに、照射２０によって出射された光の飛行時間、およ
びそれによってシーン２４の物体と撮像センサ２１との間の距離を決定するための処理手
段５を含む。処理手段３０は、撮像センサ２１のピクセルからデータを受信するように、
かつ物体の奥行マップにおける間接光線の影響を除去するためにデータを処理するように
構成される。この距離を決定するための方法、および物体の正確な最終的奥行マップにつ
いては、以下の段落で説明する。飛行時間は、ＴＯＦセンサ２１に連結することのできる
、またはＴＯＦセンサ自体に直接組み込むことのできる、別個の処理ユニットで算出する
ことができる。図３には、照射ユニット２０に連結された処理手段５が示されているが、
本発明はそれに限定されない。
びそれによってシーン２４の物体と撮像センサ２１との間の距離を決定するための処理手
段５を含む。処理手段３０は、撮像センサ２１のピクセルからデータを受信するように、
かつ物体の奥行マップにおける間接光線の影響を除去するためにデータを処理するように
構成される。この距離を決定するための方法、および物体の正確な最終的奥行マップにつ
いては、以下の段落で説明する。飛行時間は、ＴＯＦセンサ２１に連結することのできる
、またはＴＯＦセンサ自体に直接組み込むことのできる、別個の処理ユニットで算出する
ことができる。図３には、照射ユニット２０に連結された処理手段５が示されているが、
本発明はそれに限定されない。
シーンの物体と飛行時間カメラシステムとの間の距離を測定し、かつ物体の奥行マップ
を提供するための方法について、図３、図４、図５、および図６を参照することによって
今から説明する。飛行時間カメラシステム１０は照射ユニット２０と、ピクセル２２、２
３のマトリックスを有する撮像センサ２１と、画像処理手段３０とを含む。
を提供するための方法について、図３、図４、図５、および図６を参照することによって
今から説明する。飛行時間カメラシステム１０は照射ユニット２０と、ピクセル２２、２
３のマトリックスを有する撮像センサ２１と、画像処理手段３０とを含む。
該方法は、直接入射光線２５を間接入射光線２６、２８と区別するため、シーンの基本
領域３１、３２にそれぞれ異なる入射強度で照射するために、照射ユニット２０の照射を
離散的に変化させるステップを含む。この変化は、例えばシーンに光パターンを形成する
ことによって実行することができ、光パターンは、高い光強度および低い光強度の区切ら
れた基本領域を含む。この光パターンは、パターン形成手段３０を照射ユニット２０の前
に配置し、こうして光パターンをシーンに投影することによって形成することができる。
領域３１、３２にそれぞれ異なる入射強度で照射するために、照射ユニット２０の照射を
離散的に変化させるステップを含む。この変化は、例えばシーンに光パターンを形成する
ことによって実行することができ、光パターンは、高い光強度および低い光強度の区切ら
れた基本領域を含む。この光パターンは、パターン形成手段３０を照射ユニット２０の前
に配置し、こうして光パターンをシーンに投影することによって形成することができる。
センサ２１のピクセルはこれらの基本領域３１、３２によって反射した光線を受光し、
対応するデータを画像処理手段３０に提供する。
対応するデータを画像処理手段３０に提供する。
これらのデータは次いで、間接光線の影響を除去しかつ物体の正確な奥行マップを得る
ために処理される。
ために処理される。
シーンに投影された光パターンは、中間奥行マップ２９上に取り出すことができる。こ
れは図３および図５によって示される。パターン形成手段を使用しない図２の奥行マップ
２７およびパターン形成手段を使用した図３の奥行マップ２９を比較することによって、
ピーク３３の出現に気付くことができる。これらのピーク３３は、二次反射だけが測定さ
れるシーン２４の領域３１に対応する。定義上、これらの領域３１は、光が遮断されるか
あるいは光強度が低減されるパターン形成手段３０の領域に関連付けられるので、実際、
これらの領域では、二次反射がなしでは、あるいは低い強度の光では、撮像センサ２１の
ピクセルは光を測定しないはずである。ピクセル２３で測定される光は二次反射２８がよ
り優位である一方、ピクセル２２で測定される光は、直接および間接両方の成分２５、２
６に対応する。例えば中間奥行マップ２９上で直接入射光線が入射できない基本領域３１
を識別することは、間接光線の影響を除去し、かつ物体の正確な最終的奥行マップを得る
ために使用することができる。ピクセル２３で間接成分が優位を占める光の飛行時間測定
によって得られた複素データ（複合データ）を、例えばピクセル２２で直接および間接両
方の成分によって得られた複素データから減算して、新しい複素データ（複合データ）Ｎ
Ｃを形成することができる。複素データに対する間接成分の寄与がピクセル２２および２
３で等しい場合、結果的に得られる複素データＮＣは、直接成分からの情報だけを含む。
たとえピクセル２３が、パターン形成手段３０の限定されたコントラストゆえに、依然と
して小さい直接成分を受光したとしても、結果的に得られる複素データＮＣはより小さい
振幅を有するが、直接成分の飛行時間を表す正しい位相を有する。
れは図３および図５によって示される。パターン形成手段を使用しない図２の奥行マップ
２７およびパターン形成手段を使用した図３の奥行マップ２９を比較することによって、
ピーク３３の出現に気付くことができる。これらのピーク３３は、二次反射だけが測定さ
れるシーン２４の領域３１に対応する。定義上、これらの領域３１は、光が遮断されるか
あるいは光強度が低減されるパターン形成手段３０の領域に関連付けられるので、実際、
これらの領域では、二次反射がなしでは、あるいは低い強度の光では、撮像センサ２１の
ピクセルは光を測定しないはずである。ピクセル２３で測定される光は二次反射２８がよ
り優位である一方、ピクセル２２で測定される光は、直接および間接両方の成分２５、２
６に対応する。例えば中間奥行マップ２９上で直接入射光線が入射できない基本領域３１
を識別することは、間接光線の影響を除去し、かつ物体の正確な最終的奥行マップを得る
ために使用することができる。ピクセル２３で間接成分が優位を占める光の飛行時間測定
によって得られた複素データ（複合データ）を、例えばピクセル２２で直接および間接両
方の成分によって得られた複素データから減算して、新しい複素データ（複合データ）Ｎ
Ｃを形成することができる。複素データに対する間接成分の寄与がピクセル２２および２
３で等しい場合、結果的に得られる複素データＮＣは、直接成分からの情報だけを含む。
たとえピクセル２３が、パターン形成手段３０の限定されたコントラストゆえに、依然と
して小さい直接成分を受光したとしても、結果的に得られる複素データＮＣはより小さい
振幅を有するが、直接成分の飛行時間を表す正しい位相を有する。
図５はシーン２９の物体の中間奥行マップ、およびＴＯＦカメラシステムの関連ピクセ
ルを示す。ピクセル４０は間接成分だけを測定し、より深い奥行およびピーク３３に関連
付けられる一方、ピクセル４１は直接成分および間接成分の両方を測定し、奥行マップ２
９の領域３４に関連付けられる。領域３１に対応するピクセルの識別は、信号強度マップ
を用いて行うこともでき、そこでは、これらのピクセルは、直接成分が欠如しているため
、より低い強度を有する。領域３１に関連付けられるピクセルを識別するために、信頼度
マップまたはノイズマップを使用することもできる。
ルを示す。ピクセル４０は間接成分だけを測定し、より深い奥行およびピーク３３に関連
付けられる一方、ピクセル４１は直接成分および間接成分の両方を測定し、奥行マップ２
９の領域３４に関連付けられる。領域３１に対応するピクセルの識別は、信号強度マップ
を用いて行うこともでき、そこでは、これらのピクセルは、直接成分が欠如しているため
、より低い強度を有する。領域３１に関連付けられるピクセルを識別するために、信頼度
マップまたはノイズマップを使用することもできる。
図３を参照することにより、反射光の直接成分２５だけを決定するために、例えばピク
セル２２の場合、ピクセル２２によって測定された複素値（複合値）を、ピクセル２３に
よって測定された複素値（複合値）から減算して、新しい複素値ＮＣを形成することがで
きる。
セル２２の場合、ピクセル２２によって測定された複素値（複合値）を、ピクセル２３に
よって測定された複素値（複合値）から減算して、新しい複素値ＮＣを形成することがで
きる。
実際のシステムでは、３つ以上のピクセルが存在し、領域３１で採取される標本によっ
て間接成分の関数を構築することができる。次いで、この間接成分関数を、直接成分およ
び間接成分の両方を有する全てのピクセルに対し補間し、これらのピクセルから減算して
、直接成分だけを残すことができる。
て間接成分の関数を構築することができる。次いで、この間接成分関数を、直接成分およ
び間接成分の両方を有する全てのピクセルに対し補間し、これらのピクセルから減算して
、直接成分だけを残すことができる。
シーンが極めて単純であり、かつシーンの反射が理想的である場合、間接成分はシーン
２４のランバート反射に由来するので、間接成分に関連付けられる値は、全領域３１によ
って容易に標本化することのできる連続関数である。
２４のランバート反射に由来するので、間接成分に関連付けられる値は、全領域３１によ
って容易に標本化することのできる連続関数である。
シーンがより複雑である場合、異なる方法で計算を実行することができる。図６のシー
ン４０は例えば扉付きの第１壁４３と、所与の奥行を持つ食器棚４２が取り付けられた第
２壁４１とを含む。この例では、食器棚４２の反射に由来するか、または壁４３に由来す
る間接反射は、同様の測定値を導かない。反射光の直接成分を決定するために、シーン４
０における異なる空間ゾーン（空間領域）の光パターン４５、４６を決定することができ
る。分かりやすくするために、図６では異なる形状が使用されているが、光サブパターン
４５および４６は両方とも、ＴＯＦカメラシステム１０の照射ユニット２０の前に配置さ
れた同一のパターン形成手段３０に由来することを理解されたい。ここでシーンは最初に
、利用可能な奥行データ、またはシーンを区画化するために有用ないずれかの追加データ
を使用して区画化される。シーンの各区画について、再び連続関数を間接成分に関連付け
ることができ、それはそれぞれ各区画に属する領域３１によって標本化することができる
。次いで、各区画に関係付けられたこの間接成分関数を使用して、直接成分および間接成
分の両方を持つピクセルに存在する望ましくない間接成分を相殺することができる。
ン４０は例えば扉付きの第１壁４３と、所与の奥行を持つ食器棚４２が取り付けられた第
２壁４１とを含む。この例では、食器棚４２の反射に由来するか、または壁４３に由来す
る間接反射は、同様の測定値を導かない。反射光の直接成分を決定するために、シーン４
０における異なる空間ゾーン（空間領域）の光パターン４５、４６を決定することができ
る。分かりやすくするために、図６では異なる形状が使用されているが、光サブパターン
４５および４６は両方とも、ＴＯＦカメラシステム１０の照射ユニット２０の前に配置さ
れた同一のパターン形成手段３０に由来することを理解されたい。ここでシーンは最初に
、利用可能な奥行データ、またはシーンを区画化するために有用ないずれかの追加データ
を使用して区画化される。シーンの各区画について、再び連続関数を間接成分に関連付け
ることができ、それはそれぞれ各区画に属する領域３１によって標本化することができる
。次いで、各区画に関係付けられたこの間接成分関数を使用して、直接成分および間接成
分の両方を持つピクセルに存在する望ましくない間接成分を相殺することができる。
Claims (4)
- 物体を含むシーンに変調光を照射する照射ユニットと、
前記シーンの物体で反射した光線を受光し検出する撮像センサと、
前記撮像センサで得られた複素データを処理する画像処理手段と、を含み、
前記照射ユニットは、パターン形成手段に照射強度の異なる照射パターンを離散的に変化可能であり、
前記パターン形成手段は、直接入射光線が遮断されるかあるいは光強度が低減された第１照射領域と前記直接入射光線が前記第１照射領域より相対的に高い第２照射領域により構成された照射パターンを形成し、
前記撮像センサは、前記パターン形成手段が使用されないとき受光した第１シーンに対応する複素データと前記パターン形成手段により前記照射パターンが照射されるとき受光した第２シーンに対応する複素データをそれぞれ出力し、
前記画像処理手段は、前記第１シーンに対応する複素データに基づいて第１中間奥行マップと前記第２シーンに対応する複素データに基づいて第２中間奥行マップを比較することで前記照射パターンを識別し、
前記撮像センサにおける前記第１照射領域に対応する第１受光領域から得られる複素データを前記第２照射領域に対応する第２受光領域から得られる複素データから減算することで前記第２中間奥行マップにおける間接光線成分を特定し、
前記間接光線成分を前記第１中間奥行マップから減算することで最終的な前記物体の奥行マップを得る
飛行時間カメラシステム。 - 前記第１受光領域から得られる複素データは、間接入射光線が優位を占める複素データであり、
前記第２受光領域から得られる複素データは、直接および間接入射光線の両方によって得られた複素データである、
請求項１に記載の飛行時間カメラシステム。 - シーンの物体と飛行時間カメラシステムとの間の距離を測定し、かつ前記物体の奥行マップを提供するための方法であって、前記飛行時間カメラシステムは照射ユニットと、撮像センサと、パターン形成手段と、画像処理手段とを含み、前記方法は、
照射強度の異なる照射パターンを照射するために、前記照射ユニットの照射を離散的に変化させ、
前記パターン形成手段により、直接入射光線が遮断されるかあるいは光強度が低減された第１照射領域と前記直接入射光線が前記第１照射領域より相対的に高い第２照射領域により構成された照射パターンを形成し、 前記撮像センサにより、前記パターン形成手段が使用されないとき受光した第１シーンに対応する複素データと前記パターン形成手段により前記照射パターンが照射されるとき受光した第２シーンに対応する複素データをそれぞれ出力し、
前記画像処理手段により、前記第１シーンに対応する複素データに基づいて第１中間奥行マップと前記第２シーンに対応する複素データに基づいて第２中間奥行マップを比較することで前記照射パターンを識別し、
前記撮像センサにおける前記第１照射領域に対応する第１受光領域から得られる複素データを前記第２照射領域に対応する第２受光領域から得られる複素データから減算することで前記第２中間奥行マップにおける間接光線成分を特定し、
前記間接光線成分を前記第１中間奥行マップから減算することで最終的な前記物体の奥行マップを得る、
ことを特徴とする方法。 - 前記第１受光領域から得られる複素データは、間接入射光線が優位を占める複素データであり、
前記第２受光領域から得られる複素データは、直接および間接入射光線の両方によって得られた複素データである、
請求項３に記載の方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP14171985.6 | 2014-06-11 | ||
| EP14171985.6A EP2955544B1 (en) | 2014-06-11 | 2014-06-11 | A TOF camera system and a method for measuring a distance with the system |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016572252A Division JP2017517737A (ja) | 2014-06-11 | 2015-06-11 | Ｔｏｆカメラシステムおよび該システムにより距離を測定するための方法 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2021039131A JP2021039131A (ja) | 2021-03-11 |
| JP2021039131A5 JP2021039131A5 (ja) | 2021-05-27 |
| JP7191921B2 true JP7191921B2 (ja) | 2022-12-19 |
Family
ID=50927987
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016572252A Pending JP2017517737A (ja) | 2014-06-11 | 2015-06-11 | Ｔｏｆカメラシステムおよび該システムにより距離を測定するための方法 |
| JP2020195625A Active JP7191921B2 (ja) | 2014-06-11 | 2020-11-26 | Ｔｏｆカメラシステムおよび該システムにより距離を測定するための方法 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016572252A Pending JP2017517737A (ja) | 2014-06-11 | 2015-06-11 | Ｔｏｆカメラシステムおよび該システムにより距離を測定するための方法 |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US10901090B2 (ja) |
| EP (1) | EP2955544B1 (ja) |
| JP (2) | JP2017517737A (ja) |
| KR (1) | KR102432765B1 (ja) |
| CN (1) | CN106662651B (ja) |
| BE (1) | BE1022486B1 (ja) |
| WO (1) | WO2015189311A1 (ja) |
Families Citing this family (38)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10234561B2 (en) | 2016-05-09 | 2019-03-19 | Microsoft Technology Licensing, Llc | Specular reflection removal in time-of-flight camera apparatus |
| US10928489B2 (en) * | 2017-04-06 | 2021-02-23 | Microsoft Technology Licensing, Llc | Time of flight camera |
| US10598768B2 (en) * | 2017-05-24 | 2020-03-24 | Microsoft Technology Licensing, Llc | Multipath mitigation for time of flight system |
| EP3460508A1 (en) * | 2017-09-22 | 2019-03-27 | ams AG | Semiconductor body and method for a time-of-flight measurement |
| US10215856B1 (en) | 2017-11-27 | 2019-02-26 | Microsoft Technology Licensing, Llc | Time of flight camera |
| US11662433B2 (en) * | 2017-12-22 | 2023-05-30 | Denso Corporation | Distance measuring apparatus, recognizing apparatus, and distance measuring method |
| US10901087B2 (en) * | 2018-01-15 | 2021-01-26 | Microsoft Technology Licensing, Llc | Time of flight camera |
| CN108259744B (zh) * | 2018-01-24 | 2020-06-23 | 北京图森智途科技有限公司 | 图像采集控制方法及其装置、图像采集系统和tof相机 |
| JP7253323B2 (ja) * | 2018-02-14 | 2023-04-06 | オムロン株式会社 | ３次元計測システム及び３次元計測方法 |
| CN111971578A (zh) | 2018-03-29 | 2020-11-20 | 松下半导体解决方案株式会社 | 距离信息取得装置、多路径检测装置及多路径检测方法 |
| WO2019215172A1 (en) * | 2018-05-09 | 2019-11-14 | Sony Semiconductor Solutions Corporation | Device and method |
| CN109459738A (zh) * | 2018-06-06 | 2019-03-12 | 杭州艾芯智能科技有限公司 | 一种多台tof相机相互避免干扰的方法及系统 |
| US11609313B2 (en) | 2018-07-31 | 2023-03-21 | Waymo Llc | Hybrid time-of-flight and imager module |
| JP2020020681A (ja) | 2018-08-01 | 2020-02-06 | ソニーセミコンダクタソリューションズ株式会社 | 光源装置、イメージセンサ、センシングモジュール |
| KR102570059B1 (ko) * | 2018-08-16 | 2023-08-23 | 엘지이노텍 주식회사 | 센싱 방법 및 장치 |
| US11353588B2 (en) | 2018-11-01 | 2022-06-07 | Waymo Llc | Time-of-flight sensor with structured light illuminator |
| US11029149B2 (en) | 2019-01-30 | 2021-06-08 | Microsoft Technology Licensing, Llc | Multipath mitigation for time of flight system |
| JP7208052B2 (ja) * | 2019-02-15 | 2023-01-18 | 株式会社豊田中央研究所 | 光学的測距装置 |
| JPWO2020218283A1 (ja) * | 2019-04-22 | 2020-10-29 | ||
| TWI723743B (zh) * | 2019-05-02 | 2021-04-01 | 大陸商廣州印芯半導體技術有限公司 | 應用飛時測距的多媒體系統及其操作方法 |
| US11070757B2 (en) | 2019-05-02 | 2021-07-20 | Guangzhou Tyrafos Semiconductor Technologies Co., Ltd | Image sensor with distance sensing function and operating method thereof |
| US11479849B2 (en) * | 2019-06-03 | 2022-10-25 | Taiwan Semiconductor Manufacturing Company, Ltd. | Physical vapor deposition chamber with target surface morphology monitor |
| US11644571B2 (en) | 2019-07-01 | 2023-05-09 | Samsung Electronics Co., Ltd. | Electronic apparatus and control method thereof |
| CN112213730B (zh) * | 2019-07-10 | 2024-05-07 | 睿镞科技(北京)有限责任公司 | 三维测距方法和装置 |
| CN110378946B (zh) | 2019-07-11 | 2021-10-01 | Oppo广东移动通信有限公司 | 深度图处理方法、装置以及电子设备 |
| CN112824935B (zh) * | 2019-11-20 | 2023-02-28 | 深圳市光鉴科技有限公司 | 基于调制光场的深度成像系统、方法、设备及介质 |
| CN112824934B (zh) * | 2019-11-20 | 2024-05-07 | 深圳市光鉴科技有限公司 | 基于调制光场的tof多径干扰去除方法、系统、设备及介质 |
| CN111045030B (zh) * | 2019-12-18 | 2022-09-13 | 奥比中光科技集团股份有限公司 | 一种深度测量装置和方法 |
| KR20210084752A (ko) * | 2019-12-27 | 2021-07-08 | 삼성전자주식회사 | 광원 및 ToF 센서를 포함하는 전자 장치 및 라이다 시스템 |
| US20210255327A1 (en) * | 2020-02-17 | 2021-08-19 | Mediatek Inc. | Emission And Reception Of Patterned Light Waves For Range Sensing |
| WO2022201848A1 (ja) * | 2021-03-22 | 2022-09-29 | ソニーグループ株式会社 | 情報処理装置、情報処理方法およびプログラム |
| KR20230161951A (ko) * | 2021-03-26 | 2023-11-28 | 퀄컴 인코포레이티드 | 혼합 모드 깊이 이미징 |
| RU2770153C1 (ru) * | 2021-06-15 | 2022-04-14 | Самсунг Электроникс Ко., Лтд. | Способ корректировки ошибки измерения глубины tof-камеры |
| CN113665904B (zh) * | 2021-09-07 | 2023-04-07 | 钟放鸿 | 基于tof技术的条盒香烟缺包检测方法 |
| US11922606B2 (en) | 2021-10-04 | 2024-03-05 | Samsung Electronics Co., Ltd. | Multipass interference correction and material recognition based on patterned illumination without frame rate loss |
| CN113945951B (zh) * | 2021-10-21 | 2022-07-08 | 浙江大学 | Tof深度解算中的多径干扰抑制方法、tof深度解算方法及装置 |
| WO2023113700A1 (en) * | 2021-12-17 | 2023-06-22 | Ams Sensors Singapore Pte. Ltd. | A method for generating a depth map |
| JP2023172742A (ja) * | 2022-05-24 | 2023-12-06 | Ｔｏｐｐａｎホールディングス株式会社 | 距離画像撮像装置、及び距離画像撮像方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008309551A (ja) | 2007-06-13 | 2008-12-25 | Nikon Corp | 形状測定方法、記憶媒体、および形状測定装置 |
| US20120033045A1 (en) | 2010-07-23 | 2012-02-09 | Mesa Imaging Ag | Multi-Path Compensation Using Multiple Modulation Frequencies in Time of Flight Sensor |
| US20130148102A1 (en) | 2011-12-12 | 2013-06-13 | Mesa Imaging Ag | Method to Compensate for Errors in Time-of-Flight Range Cameras Caused by Multiple Reflections |
| US20140078490A1 (en) | 2012-09-19 | 2014-03-20 | Canon Kabushiki Kaisha | Information processing apparatus and method for measuring a target object |
| JP2014059261A (ja) | 2012-09-19 | 2014-04-03 | Canon Inc | 距離計測装置及び方法 |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040213463A1 (en) * | 2003-04-22 | 2004-10-28 | Morrison Rick Lee | Multiplexed, spatially encoded illumination system for determining imaging and range estimation |
| US9002511B1 (en) * | 2005-10-21 | 2015-04-07 | Irobot Corporation | Methods and systems for obstacle detection using structured light |
| US20100157280A1 (en) * | 2008-12-19 | 2010-06-24 | Ambercore Software Inc. | Method and system for aligning a line scan camera with a lidar scanner for real time data fusion in three dimensions |
| EP2380038B1 (en) * | 2008-12-22 | 2019-01-09 | Koninklijke Philips N.V. | Cmos imager |
| US8491135B2 (en) * | 2010-01-04 | 2013-07-23 | Microvision, Inc. | Interactive projection with gesture recognition |
| EP2395369A1 (en) | 2010-06-09 | 2011-12-14 | Thomson Licensing | Time-of-flight imager. |
| DE102011081561B4 (de) | 2011-08-25 | 2024-06-13 | pmdtechnologies ag | Lichtlaufzeitkamerasystem mit Signalpfadüberwachung |
| JP2013078433A (ja) * | 2011-10-03 | 2013-05-02 | Panasonic Corp | 監視装置、プログラム |
| US8982363B2 (en) * | 2011-10-07 | 2015-03-17 | Massachusetts Institute Of Technology | Method and apparatus to determine depth information for a scene of interest |
| EP2815251B1 (en) * | 2012-02-15 | 2017-03-22 | Heptagon Micro Optics Pte. Ltd. | Time of flight camera with stripe illumination |
| US9472005B1 (en) * | 2012-04-18 | 2016-10-18 | Amazon Technologies, Inc. | Projection and camera system for augmented reality environment |
| US9696427B2 (en) * | 2012-08-14 | 2017-07-04 | Microsoft Technology Licensing, Llc | Wide angle depth detection |
| US9069080B2 (en) * | 2013-05-24 | 2015-06-30 | Advanced Scientific Concepts, Inc. | Automotive auxiliary ladar sensor |
| DE102013109020B4 (de) * | 2013-08-21 | 2016-06-09 | Pmdtechnologies Gmbh | Streulichtreferenzpixel |
| US9874638B2 (en) * | 2014-03-06 | 2018-01-23 | University Of Waikato | Time of flight camera system which resolves direct and multi-path radiation components |
| US10234561B2 (en) * | 2016-05-09 | 2019-03-19 | Microsoft Technology Licensing, Llc | Specular reflection removal in time-of-flight camera apparatus |
-
2014
- 2014-06-11 EP EP14171985.6A patent/EP2955544B1/en active Active
- 2014-07-25 BE BE2014/0578A patent/BE1022486B1/fr not_active IP Right Cessation
-
2015
- 2015-06-11 US US15/317,367 patent/US10901090B2/en active Active
- 2015-06-11 KR KR1020177000302A patent/KR102432765B1/ko active IP Right Grant
- 2015-06-11 CN CN201580036607.8A patent/CN106662651B/zh active Active
- 2015-06-11 JP JP2016572252A patent/JP2017517737A/ja active Pending
- 2015-06-11 WO PCT/EP2015/063015 patent/WO2015189311A1/en active Application Filing
-
2020
- 2020-11-26 JP JP2020195625A patent/JP7191921B2/ja active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008309551A (ja) | 2007-06-13 | 2008-12-25 | Nikon Corp | 形状測定方法、記憶媒体、および形状測定装置 |
| US20120033045A1 (en) | 2010-07-23 | 2012-02-09 | Mesa Imaging Ag | Multi-Path Compensation Using Multiple Modulation Frequencies in Time of Flight Sensor |
| US20130148102A1 (en) | 2011-12-12 | 2013-06-13 | Mesa Imaging Ag | Method to Compensate for Errors in Time-of-Flight Range Cameras Caused by Multiple Reflections |
| US20140078490A1 (en) | 2012-09-19 | 2014-03-20 | Canon Kabushiki Kaisha | Information processing apparatus and method for measuring a target object |
| JP2014059261A (ja) | 2012-09-19 | 2014-04-03 | Canon Inc | 距離計測装置及び方法 |
Non-Patent Citations (1)
| Title |
|---|
| FALIE D，FURTHER INVESTIGATIONS ON TOF CAMERAS DISTANCE ERRORS AND THEIR CORRECTIONS，ECCSC 2008. 4TH EUROPEAN CONFERENCE ON CIRCUITS AND SYSTEMS FOR COMMUNICATIONS，米国，IEEE，2008年07月10日，PAGE(S):197 - 200，http://ieeexplore.ieee.org/stamp/stamp.jsp?arnumber=4611676 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106662651B (zh) | 2019-08-06 |
| EP2955544B1 (en) | 2020-06-17 |
| JP2021039131A (ja) | 2021-03-11 |
| BE1022486B1 (fr) | 2016-05-03 |
| KR102432765B1 (ko) | 2022-08-17 |
| JP2017517737A (ja) | 2017-06-29 |
| EP2955544A1 (en) | 2015-12-16 |
| CN106662651A (zh) | 2017-05-10 |
| WO2015189311A1 (en) | 2015-12-17 |
| KR20170041681A (ko) | 2017-04-17 |
| US20170123067A1 (en) | 2017-05-04 |
| US10901090B2 (en) | 2021-01-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7191921B2 (ja) | Ｔｏｆカメラシステムおよび該システムにより距離を測定するための方法 | |
| JP6246131B2 (ja) | タイムオブフライト信号の処理における又はこれに関する改良 | |
| US11536804B2 (en) | Glare mitigation in LIDAR applications | |
| US10215857B2 (en) | Depth sensor module and depth sensing method | |
| US9194953B2 (en) | 3D time-of-light camera and method | |
| US10401498B2 (en) | Sensor system with active illumination | |
| JP6309459B2 (ja) | ストライプ照明の飛行時間型カメラ | |
| CN110709722B (zh) | 飞行时间摄像机 | |
| JP6261681B2 (ja) | タイムオブフライト信号の処理における又はこれに関する改良 | |
| CN112739980B (zh) | 多阶段有源光深度系统 | |
| CN110121659A (zh) | 用于对车辆的周围环境进行特征描述的系统 | |
| JP2020016577A (ja) | 光学系異常を検出する測距装置 | |
| CN114930192A (zh) | 红外成像组件 | |
| KR20190014977A (ko) | ToF 모듈 | |
| CN112740065B (zh) | 成像装置、用于成像的方法和用于深度映射的方法 | |
| JP2014070936A (ja) | 誤差画素検出装置、誤差画素検出方法、および誤差画素検出プログラム | |
| CN114730009A (zh) | 用于确定到场景的距离的方法和设备 | |
| JP2017133930A (ja) | 距離画像生成装置および方法 | |
| US20240061090A1 (en) | Time-of-flight demodulation circuitry, time-of-flight demodulation method, time-of-flight imaging apparatus, time-of-flight imaging apparatus control method | |
| JP2017133931A (ja) | 画像生成装置、ならびに距離画像およびカラー画像の生成方法 | |
| JP2023101522A (ja) | 撮像装置、情報処理装置、撮像方法、およびプログラム | |
| WO2020190920A1 (en) | Dynamic range improvements in lidar applications |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201228 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210415 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220111 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220411 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20220411 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220823 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221021 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221108 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221207 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7191921 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |