JP7191921B2 - Tofカメラシステムおよび該システムにより距離を測定するための方法 - Google Patents

Tofカメラシステムおよび該システムにより距離を測定するための方法 Download PDF

Info

Publication number
JP7191921B2
JP7191921B2 JP2020195625A JP2020195625A JP7191921B2 JP 7191921 B2 JP7191921 B2 JP 7191921B2 JP 2020195625 A JP2020195625 A JP 2020195625A JP 2020195625 A JP2020195625 A JP 2020195625A JP 7191921 B2 JP7191921 B2 JP 7191921B2
Authority
JP
Japan
Prior art keywords
complex data
irradiation
scene
depth map
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020195625A
Other languages
English (en)
Other versions
JP2021039131A5 (ja
JP2021039131A (ja
Inventor
デル テンペル, ワード ヴァン
Original Assignee
ソニー デプスセンシング ソリューションズ エスエー エヌブイ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー デプスセンシング ソリューションズ エスエー エヌブイ filed Critical ソニー デプスセンシング ソリューションズ エスエー エヌブイ
Publication of JP2021039131A publication Critical patent/JP2021039131A/ja
Publication of JP2021039131A5 publication Critical patent/JP2021039131A5/ja
Application granted granted Critical
Publication of JP7191921B2 publication Critical patent/JP7191921B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491Details of non-pulse systems
    • G01S7/4911Transmitters
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/8943D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • G01S17/10Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/46Indirect determination of position data
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/487Extracting wanted echo signals, e.g. pulse detection
    • G01S7/4876Extracting wanted echo signals, e.g. pulse detection by removing unwanted signals
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491Details of non-pulse systems
    • G01S7/493Extracting wanted echo signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)

Description

本発明は、(i)シーンの物体と飛行時間カメラシステムとの間の距離を測定するため
の方法、および(ii)それに関連付けられる飛行時間カメラシステムに関する。特に、
本発明はシーン内の光の直接および間接反射の問題、ならびにこれらの複数回の反射によ
って誘発される奥行測定値の誤差に関する。シーンとは、光線が直接または間接にそこに
反射され得る、物体の周囲の全ての表面を意味することを理解されたい。
飛行時間技術(TOF)は奥行知覚のための有望な技術である。標準的TOFカメラシ
ステム3のよく知られた基本的な動作原理を図1に示す。TOFカメラシステム3は、専
用の照射ユニット18から物体への光の飛行時間を解析することによってシーン15の3
D画像を捕捉する。TOFカメラシステム3はカメラ、例えばピクセルのマトリックス1
、およびデータ処理手段4を含む。シーン15は、専用の照射ユニット18を用いて所定
の波長の変調光16を、例えば少なくとも1つの予め定められた周波数の光パルスを能動
的に照射される。変調光はシーン内の物体から反射して戻る。レンズ2は反射した光17
を集光し、カメラの撮像センサ1上に物体の像を形成する。カメラから物体までの距離に
応じて、変調光、例えばいわゆる光パルスの出射と、これらの反射光パルスのカメラにお
ける受光との間に、遅延が生じる。反射物体とカメラとの間の距離は、観察された時間遅
延および光速定数値の関数として決定することができる。
この技術の欠点の1つは図2に示されており、いわゆるマルチパス現象に関係している
。シーン24に対し複数の方向に照射するための照射ユニット8と、出射光の反射を検出
するためのTOFセンサ6と、TOFセンサ6によって取得されたデータを処理するため
の処理手段7とを含む標準的TOFカメラシステム9が示されている。
TOFセンサ6のピクセル(図示せず)は、照射ユニット8からシーン24へ、および
シーン24からピクセルへの直接経路25を測定する。しかし、二次反射26またはより
高次の反射も同じピクセルで捕捉され、第1直接反射25について知覚される遅延を歪ま
せることが起こり得る。センサ6によって捕捉される光は直接経路25および二次反射2
6の両方に由来すると考えられ、したがって、測定されたシーンの各点に関連付けられる
奥行を表す奥行マップ(深度図)27は誤りである。
先行技術では、入射光の直接成分を回復するために幾つかの方法が実現されてきた。例
えば複数周波数手法は、異なる変調周波数により1組の奥行測定値を取得することによっ
て実行されたが、得られた解像度は依然として低い。
別の手法は、例えばデジタル光処理(DLP)プロジェクタによって生成される1組の
異なる空間パターンを使用する。パターンの黒色部分から得られる奥行はマルチパスに由
来する間接信号のみによって形成されるので、シーンに暗いパッチおよび明るいパッチを
形成することによって、直接成分および間接成分を分離することができる。異なるパター
ンは、シーンの各部分が黒色状況で捕捉されるように選択される。エッジ効果は、充分な
オーバーラップを持つパターンを画定することによって相殺される。しかし、これらの異
なるパターンの形成は費用が高い。
シーンの物体とTOFカメラシステムとの間の距離をより正確に測定するため、反射光
の直接成分だけを最良の費用効果で取り出すための解決策はまだ提案されていない。
本発明は、シーン(対象、領域、環境)の物体と飛行時間(到達時間)カメラシステム
との間の距離を測定し、物体の奥行マップを提供するための方法に関し、飛行時間カメラ
システムは照射ユニットと、ピクセルのマトリックスを有する撮像センサと、画像処理手
段とを含み、該方法は以下のステップを特徴とする。
‐直接入射光線を間接入射光線と区別するため、シーンの基本領域にそれぞれ異なる入射
強度(incident intensity)で照射するために、前記照射ユニットの照射を離散的に変化
させるステップ。
‐前記基本領域によって反射した光線をセンサのマトリックスのピクセルで受光し、対応
するデータを画像処理手段に提供するステップ。
‐物体の奥行マップにおける間接光線の影響を除去するために前記対応するデータを処理
するステップ。
データを処理するときに、該方法は、例えば中間奥行マップ上で(しかしそれに限定さ
れない)、間接入射光線だけが入射し得る基本領域に関連付けられるピークを識別するス
テップを含むことができることが有利である。そのようなピークを識別することによって
、間接光線の影響を除去し、シーンの正確な最終的奥行マップを得るために、データを処
理することができる。
本発明はまた、シーンの物体とTOFカメラシステムとの間の距離を測定し、かつ物体
の奥行マップを提供するための飛行時間(TOF)カメラシステムにも関し、
‐シーンに変調光を照射するための照射ユニットと、
‐シーンによって反射した光線をセンサのマトリックスのピクセルで受光するためにピク
セルのマトリックスを有する撮像センサと、
‐反射した光線に対応するデータを撮像センサから受信し、かつ前記対応するデータを処
理するための画像処理手段と、
を含むTOFカメラシステムは、
‐直接入射光線を間接入射光線と区別するため、および前記対応するデータの処理中に物
体の奥行マップにおける間接光線の影響を除去するため、シーンの基本領域にそれぞれ異
なる入射強度で照射するために前記照射ユニットの照射を離散的に変化させるためのパタ
ーン形成手段
をさらに含むことを特徴とする。
照射の変化は照射ユニットを離散的にマスキングすることによって実行することが有利
である。パターン形成手段は例えば、直接入射光線がシーンの一部の基本領域に入射する
ことを防止するマスクとすることができる。
パターン形成手段は、データのより容易な処理を可能にするために、一連の同一パター
ン群を含むことができることがより有利である。
本発明の他の利点および新規の特徴は、以下の詳細な説明を添付の図面と併せて考察す
ることにより、さらに明瞭になるであろう。
本発明は、以下の説明および添付の図面に照らしていっそう理解が深まるはずである。
TOFカメラシステムの基本的動作原理を示す。 マルチパス現象を示す。 本発明の実施形態に係るTOFカメラシステムを示す。 パターン形成手段の一例を示す。 シーンの中間奥行マップおよびTOFカメラシステムの関連付けられるピク セルを示す。 シーンおよびシーンに投影された2つの異なる空間ゾーンを含む光パターン を示す。
本発明の利点および新規の特徴は、以下の詳細な説明を添付の図面と併せて考察するこ
とにより、さらに明瞭になるであろう。
図3は本発明の実施形態に係るTOFカメラシステム10を示す。飛行時間カメラシス
テム10は、シーン24に変調光を照射するための照射ユニット20を含む。この照射ユ
ニット20によって出射される光は、飛行時間技術を用いて距離を測定するのに適するよ
うに構成される。例えば照射ユニット20は、適切なパルス幅の光パルスを出射するよう
に構成することができる。実際、パルスを使用する場合、各光パルスのパルス幅はカメラ
レンジ(被写体までの距離)を決定する。例えば50nsのパルス幅の場合、レンジは7
.5mに制限される。その結果、シーンの照射はTOFカメラシステムの動作に不可欠な
ものになり、照射ユニットの高速駆動周波数要件のため、そのような短い光パルスを発生
させるには、発光ダイオード(LED)またはレーザのような特殊化された光源を使用す
ることが必要になる。照射ユニットは、図3に示される複数の出射光線25、26、およ
び28によって提示される通り、多方向性光を出射するように構成される。
TOFカメラシステムはさらに、反射した光線を受光かつ検出し、シーン24の像を形
成するために、典型的にはピクセルのマトリックスアレイを含む撮像センサ21を含む。
分かりやすく説明するために、図3には2つのピクセル22および23だけが示されてい
るが、本発明は2ピクセルのマトリックスに限定されない。ピクセルとは、光電磁放射線
に感応する画素およびその関連電子回路であることを理解されたい。ピクセルの出力は、
照射ユニット20からシーン24の物体まで、および物体から撮像TOFセンサ21へ反
射して戻るまでの光の飛行時間を決定するために使用することができる。
TOFカメラシステム10はさらに、シーン24に光パターンを形成するためのパター
ン形成手段30を含む。光パターンはレーザ光干渉から直接得られるそのままのレーザス
ペックルのパターンとするか、照射ユニット20の前に配置されるパターン形成手段から
得るか、あるいはレーザスペックルおよびパターン形成手段30の両方の組合せとするこ
とができる。パターン形成手段30を使用する場合、照射ユニット20によって出射され
た光はこれらのパターン形成手段を通過して、光を変化させ、異なる強度の区切られた基
本領域31、32による光パターンをシーンに形成させる。照射ユニット20によって出
射された光は、シーン24に入射する前に、パターン形成手段30の所与の領域で遮断さ
れ、あるいはその強度が低減され、かつ他の領域では遮断されず、結果的に、それぞれ低
い光強度の領域31および高い光強度の領域32がシーンに形成される。分かりやすくす
るために、これらの領域は太線31および32によって示されているが、シーンに形成さ
れる光パターンはシーン24に付着された固体(立体)または物理的パターンではなく、
照射ユニット20の前に配置されたパターン形成手段30に由来する光効果の結果である
。光パターンは照射ユニット20によってシーンに投影される。パターン形成手段30は
フィルタリング手段、マスク、グリッド、または照射を離散的に変化させることのできる
いずれかの手段とすることができる。理想的には、二次反射だけが測定される領域31を
容易に取り出すために、パターン形成手段は空間的に周期的な光パターン31、32、4
5、46をシーン上に提供する必要がある。パターン形成手段30はまた、図4に示すよ
うに一連の同一パターン群50を含むか、あるいは複数のTOFカメラフレームレートと
同調して適時に順次使用することのできる一連の異なるパターン群を含むこともできる。
本発明はコントラストが100%のパターンを必要とせず、かつパターン形成手段をイ
メージセンサに整列させる必要がないことに留意することは重要である。
TOFカメラシステム10はさらに、照射20によって出射された光の飛行時間、およ
びそれによってシーン24の物体と撮像センサ21との間の距離を決定するための処理手
段5を含む。処理手段30は、撮像センサ21のピクセルからデータを受信するように、
かつ物体の奥行マップにおける間接光線の影響を除去するためにデータを処理するように
構成される。この距離を決定するための方法、および物体の正確な最終的奥行マップにつ
いては、以下の段落で説明する。飛行時間は、TOFセンサ21に連結することのできる
、またはTOFセンサ自体に直接組み込むことのできる、別個の処理ユニットで算出する
ことができる。図3には、照射ユニット20に連結された処理手段5が示されているが、
本発明はそれに限定されない。
シーンの物体と飛行時間カメラシステムとの間の距離を測定し、かつ物体の奥行マップ
を提供するための方法について、図3、図4、図5、および図6を参照することによって
今から説明する。飛行時間カメラシステム10は照射ユニット20と、ピクセル22、2
3のマトリックスを有する撮像センサ21と、画像処理手段30とを含む。
該方法は、直接入射光線25を間接入射光線26、28と区別するため、シーンの基本
領域31、32にそれぞれ異なる入射強度で照射するために、照射ユニット20の照射を
離散的に変化させるステップを含む。この変化は、例えばシーンに光パターンを形成する
ことによって実行することができ、光パターンは、高い光強度および低い光強度の区切ら
れた基本領域を含む。この光パターンは、パターン形成手段30を照射ユニット20の前
に配置し、こうして光パターンをシーンに投影することによって形成することができる。
センサ21のピクセルはこれらの基本領域31、32によって反射した光線を受光し、
対応するデータを画像処理手段30に提供する。
これらのデータは次いで、間接光線の影響を除去しかつ物体の正確な奥行マップを得る
ために処理される。
シーンに投影された光パターンは、中間奥行マップ29上に取り出すことができる。こ
れは図3および図5によって示される。パターン形成手段を使用しない図2の奥行マップ
27およびパターン形成手段を使用した図3の奥行マップ29を比較することによって、
ピーク33の出現に気付くことができる。これらのピーク33は、二次反射だけが測定さ
れるシーン24の領域31に対応する。定義上、これらの領域31は、光が遮断されるか
あるいは光強度が低減されるパターン形成手段30の領域に関連付けられるので、実際、
これらの領域では、二次反射がなしでは、あるいは低い強度の光では、撮像センサ21の
ピクセルは光を測定しないはずである。ピクセル23で測定される光は二次反射28がよ
り優位である一方、ピクセル22で測定される光は、直接および間接両方の成分25、2
6に対応する。例えば中間奥行マップ29上で直接入射光線が入射できない基本領域31
を識別することは、間接光線の影響を除去し、かつ物体の正確な最終的奥行マップを得る
ために使用することができる。ピクセル23で間接成分が優位を占める光の飛行時間測定
によって得られた複素データ(複合データ)を、例えばピクセル22で直接および間接両
方の成分によって得られた複素データから減算して、新しい複素データ(複合データ)N
Cを形成することができる。複素データに対する間接成分の寄与がピクセル22および2
3で等しい場合、結果的に得られる複素データNCは、直接成分からの情報だけを含む。
たとえピクセル23が、パターン形成手段30の限定されたコントラストゆえに、依然と
して小さい直接成分を受光したとしても、結果的に得られる複素データNCはより小さい
振幅を有するが、直接成分の飛行時間を表す正しい位相を有する。
図5はシーン29の物体の中間奥行マップ、およびTOFカメラシステムの関連ピクセ
ルを示す。ピクセル40は間接成分だけを測定し、より深い奥行およびピーク33に関連
付けられる一方、ピクセル41は直接成分および間接成分の両方を測定し、奥行マップ2
9の領域34に関連付けられる。領域31に対応するピクセルの識別は、信号強度マップ
を用いて行うこともでき、そこでは、これらのピクセルは、直接成分が欠如しているため
、より低い強度を有する。領域31に関連付けられるピクセルを識別するために、信頼度
マップまたはノイズマップを使用することもできる。
図3を参照することにより、反射光の直接成分25だけを決定するために、例えばピク
セル22の場合、ピクセル22によって測定された複素値(複合値)を、ピクセル23に
よって測定された複素値(複合値)から減算して、新しい複素値NCを形成することがで
きる。
実際のシステムでは、3つ以上のピクセルが存在し、領域31で採取される標本によっ
て間接成分の関数を構築することができる。次いで、この間接成分関数を、直接成分およ
び間接成分の両方を有する全てのピクセルに対し補間し、これらのピクセルから減算して
、直接成分だけを残すことができる。
シーンが極めて単純であり、かつシーンの反射が理想的である場合、間接成分はシーン
24のランバート反射に由来するので、間接成分に関連付けられる値は、全領域31によ
って容易に標本化することのできる連続関数である。
シーンがより複雑である場合、異なる方法で計算を実行することができる。図6のシー
ン40は例えば扉付きの第1壁43と、所与の奥行を持つ食器棚42が取り付けられた第
2壁41とを含む。この例では、食器棚42の反射に由来するか、または壁43に由来す
る間接反射は、同様の測定値を導かない。反射光の直接成分を決定するために、シーン4
0における異なる空間ゾーン(空間領域)の光パターン45、46を決定することができ
る。分かりやすくするために、図6では異なる形状が使用されているが、光サブパターン
45および46は両方とも、TOFカメラシステム10の照射ユニット20の前に配置さ
れた同一のパターン形成手段30に由来することを理解されたい。ここでシーンは最初に
、利用可能な奥行データ、またはシーンを区画化するために有用ないずれかの追加データ
を使用して区画化される。シーンの各区画について、再び連続関数を間接成分に関連付け
ることができ、それはそれぞれ各区画に属する領域31によって標本化することができる
。次いで、各区画に関係付けられたこの間接成分関数を使用して、直接成分および間接成
分の両方を持つピクセルに存在する望ましくない間接成分を相殺することができる。

Claims (4)

  1. 物体を含むシーンに変調光を照射する照射ユニットと、
    前記シーンの物体で反射した光線を受光し検出する撮像センサと、
    前記撮像センサで得られた複素データを処理する画像処理手段と、を含み、
    前記照射ユニットは、パターン形成手段に照射強度の異なる照射パターンを離散的に変化可能であり、
    前記パターン形成手段は、直接入射光線が遮断されるかあるいは光強度が低減された第1照射領域と前記直接入射光線が前記第1照射領域より相対的に高い第2照射領域により構成された照射パターンを形成し、
    前記撮像センサは、前記パターン形成手段が使用されないとき受光した第1シーンに対応する複素データと前記パターン形成手段により前記照射パターンが照射されるとき受光した第2シーンに対応する複素データをそれぞれ出力し、
    前記画像処理手段は、前記第1シーンに対応する複素データに基づいて第1中間奥行マップと前記第2シーンに対応する複素データに基づいて第2中間奥行マップを比較することで前記照射パターンを識別し、
    前記撮像センサにおける前記第1照射領域に対応する第1受光領域から得られる複素データを前記第2照射領域に対応する第2受光領域から得られる複素データから減算することで前記第2中間奥行マップにおける間接光線成分を特定し、
    前記間接光線成分を前記第1中間奥行マップから減算することで最終的な前記物体の奥行マップを得る
    飛行時間カメラシステム。
  2. 前記第1受光領域から得られる複素データは、間接入射光線が優位を占める複素データであり、
    前記第2受光領域から得られる複素データは、直接および間接入射光線の両方によって得られた複素データである、
    請求項1に記載の飛行時間カメラシステム。
  3. シーンの物体と飛行時間カメラシステムとの間の距離を測定し、かつ前記物体の奥行マップを提供するための方法であって、前記飛行時間カメラシステムは照射ユニットと、撮像センサと、パターン形成手段と、画像処理手段とを含み、前記方法は、
    照射強度の異なる照射パターンを照射するために、前記照射ユニットの照射を離散的に変化させ、
    前記パターン形成手段により、直接入射光線が遮断されるかあるいは光強度が低減された第1照射領域と前記直接入射光線が前記第1照射領域より相対的に高い第2照射領域により構成された照射パターンを形成し、 前記撮像センサにより、前記パターン形成手段が使用されないとき受光した第1シーンに対応する複素データと前記パターン形成手段により前記照射パターンが照射されるとき受光した第2シーンに対応する複素データをそれぞれ出力し、
    前記画像処理手段により、前記第1シーンに対応する複素データに基づいて第1中間奥行マップと前記第2シーンに対応する複素データに基づいて第2中間奥行マップを比較することで前記照射パターンを識別し、
    前記撮像センサにおける前記第1照射領域に対応する第1受光領域から得られる複素データを前記第2照射領域に対応する第2受光領域から得られる複素データから減算することで前記第2中間奥行マップにおける間接光線成分を特定し、
    前記間接光線成分を前記第1中間奥行マップから減算することで最終的な前記物体の奥行マップを得る、
    ことを特徴とする方法。
  4. 前記第1受光領域から得られる複素データは、間接入射光線が優位を占める複素データであり、
    前記第2受光領域から得られる複素データは、直接および間接入射光線の両方によって得られた複素データである、
    請求項3に記載の方法。
JP2020195625A 2014-06-11 2020-11-26 Tofカメラシステムおよび該システムにより距離を測定するための方法 Active JP7191921B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP14171985.6 2014-06-11
EP14171985.6A EP2955544B1 (en) 2014-06-11 2014-06-11 A TOF camera system and a method for measuring a distance with the system

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2016572252A Division JP2017517737A (ja) 2014-06-11 2015-06-11 Tofカメラシステムおよび該システムにより距離を測定するための方法

Publications (3)

Publication Number Publication Date
JP2021039131A JP2021039131A (ja) 2021-03-11
JP2021039131A5 JP2021039131A5 (ja) 2021-05-27
JP7191921B2 true JP7191921B2 (ja) 2022-12-19

Family

ID=50927987

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2016572252A Pending JP2017517737A (ja) 2014-06-11 2015-06-11 Tofカメラシステムおよび該システムにより距離を測定するための方法
JP2020195625A Active JP7191921B2 (ja) 2014-06-11 2020-11-26 Tofカメラシステムおよび該システムにより距離を測定するための方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2016572252A Pending JP2017517737A (ja) 2014-06-11 2015-06-11 Tofカメラシステムおよび該システムにより距離を測定するための方法

Country Status (7)

Country Link
US (1) US10901090B2 (ja)
EP (1) EP2955544B1 (ja)
JP (2) JP2017517737A (ja)
KR (1) KR102432765B1 (ja)
CN (1) CN106662651B (ja)
BE (1) BE1022486B1 (ja)
WO (1) WO2015189311A1 (ja)

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10234561B2 (en) 2016-05-09 2019-03-19 Microsoft Technology Licensing, Llc Specular reflection removal in time-of-flight camera apparatus
US10928489B2 (en) * 2017-04-06 2021-02-23 Microsoft Technology Licensing, Llc Time of flight camera
US10598768B2 (en) * 2017-05-24 2020-03-24 Microsoft Technology Licensing, Llc Multipath mitigation for time of flight system
EP3460508A1 (en) * 2017-09-22 2019-03-27 ams AG Semiconductor body and method for a time-of-flight measurement
US10215856B1 (en) 2017-11-27 2019-02-26 Microsoft Technology Licensing, Llc Time of flight camera
US11662433B2 (en) * 2017-12-22 2023-05-30 Denso Corporation Distance measuring apparatus, recognizing apparatus, and distance measuring method
US10901087B2 (en) * 2018-01-15 2021-01-26 Microsoft Technology Licensing, Llc Time of flight camera
CN108259744B (zh) * 2018-01-24 2020-06-23 北京图森智途科技有限公司 图像采集控制方法及其装置、图像采集系统和tof相机
JP7253323B2 (ja) * 2018-02-14 2023-04-06 オムロン株式会社 3次元計測システム及び3次元計測方法
CN111971578A (zh) 2018-03-29 2020-11-20 松下半导体解决方案株式会社 距离信息取得装置、多路径检测装置及多路径检测方法
WO2019215172A1 (en) * 2018-05-09 2019-11-14 Sony Semiconductor Solutions Corporation Device and method
CN109459738A (zh) * 2018-06-06 2019-03-12 杭州艾芯智能科技有限公司 一种多台tof相机相互避免干扰的方法及系统
US11609313B2 (en) 2018-07-31 2023-03-21 Waymo Llc Hybrid time-of-flight and imager module
JP2020020681A (ja) 2018-08-01 2020-02-06 ソニーセミコンダクタソリューションズ株式会社 光源装置、イメージセンサ、センシングモジュール
KR102570059B1 (ko) * 2018-08-16 2023-08-23 엘지이노텍 주식회사 센싱 방법 및 장치
US11353588B2 (en) 2018-11-01 2022-06-07 Waymo Llc Time-of-flight sensor with structured light illuminator
US11029149B2 (en) 2019-01-30 2021-06-08 Microsoft Technology Licensing, Llc Multipath mitigation for time of flight system
JP7208052B2 (ja) * 2019-02-15 2023-01-18 株式会社豊田中央研究所 光学的測距装置
JPWO2020218283A1 (ja) * 2019-04-22 2020-10-29
TWI723743B (zh) * 2019-05-02 2021-04-01 大陸商廣州印芯半導體技術有限公司 應用飛時測距的多媒體系統及其操作方法
US11070757B2 (en) 2019-05-02 2021-07-20 Guangzhou Tyrafos Semiconductor Technologies Co., Ltd Image sensor with distance sensing function and operating method thereof
US11479849B2 (en) * 2019-06-03 2022-10-25 Taiwan Semiconductor Manufacturing Company, Ltd. Physical vapor deposition chamber with target surface morphology monitor
US11644571B2 (en) 2019-07-01 2023-05-09 Samsung Electronics Co., Ltd. Electronic apparatus and control method thereof
CN112213730B (zh) * 2019-07-10 2024-05-07 睿镞科技(北京)有限责任公司 三维测距方法和装置
CN110378946B (zh) 2019-07-11 2021-10-01 Oppo广东移动通信有限公司 深度图处理方法、装置以及电子设备
CN112824935B (zh) * 2019-11-20 2023-02-28 深圳市光鉴科技有限公司 基于调制光场的深度成像系统、方法、设备及介质
CN112824934B (zh) * 2019-11-20 2024-05-07 深圳市光鉴科技有限公司 基于调制光场的tof多径干扰去除方法、系统、设备及介质
CN111045030B (zh) * 2019-12-18 2022-09-13 奥比中光科技集团股份有限公司 一种深度测量装置和方法
KR20210084752A (ko) * 2019-12-27 2021-07-08 삼성전자주식회사 광원 및 ToF 센서를 포함하는 전자 장치 및 라이다 시스템
US20210255327A1 (en) * 2020-02-17 2021-08-19 Mediatek Inc. Emission And Reception Of Patterned Light Waves For Range Sensing
WO2022201848A1 (ja) * 2021-03-22 2022-09-29 ソニーグループ株式会社 情報処理装置、情報処理方法およびプログラム
KR20230161951A (ko) * 2021-03-26 2023-11-28 퀄컴 인코포레이티드 혼합 모드 깊이 이미징
RU2770153C1 (ru) * 2021-06-15 2022-04-14 Самсунг Электроникс Ко., Лтд. Способ корректировки ошибки измерения глубины tof-камеры
CN113665904B (zh) * 2021-09-07 2023-04-07 钟放鸿 基于tof技术的条盒香烟缺包检测方法
US11922606B2 (en) 2021-10-04 2024-03-05 Samsung Electronics Co., Ltd. Multipass interference correction and material recognition based on patterned illumination without frame rate loss
CN113945951B (zh) * 2021-10-21 2022-07-08 浙江大学 Tof深度解算中的多径干扰抑制方法、tof深度解算方法及装置
WO2023113700A1 (en) * 2021-12-17 2023-06-22 Ams Sensors Singapore Pte. Ltd. A method for generating a depth map
JP2023172742A (ja) * 2022-05-24 2023-12-06 Toppanホールディングス株式会社 距離画像撮像装置、及び距離画像撮像方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008309551A (ja) 2007-06-13 2008-12-25 Nikon Corp 形状測定方法、記憶媒体、および形状測定装置
US20120033045A1 (en) 2010-07-23 2012-02-09 Mesa Imaging Ag Multi-Path Compensation Using Multiple Modulation Frequencies in Time of Flight Sensor
US20130148102A1 (en) 2011-12-12 2013-06-13 Mesa Imaging Ag Method to Compensate for Errors in Time-of-Flight Range Cameras Caused by Multiple Reflections
US20140078490A1 (en) 2012-09-19 2014-03-20 Canon Kabushiki Kaisha Information processing apparatus and method for measuring a target object
JP2014059261A (ja) 2012-09-19 2014-04-03 Canon Inc 距離計測装置及び方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040213463A1 (en) * 2003-04-22 2004-10-28 Morrison Rick Lee Multiplexed, spatially encoded illumination system for determining imaging and range estimation
US9002511B1 (en) * 2005-10-21 2015-04-07 Irobot Corporation Methods and systems for obstacle detection using structured light
US20100157280A1 (en) * 2008-12-19 2010-06-24 Ambercore Software Inc. Method and system for aligning a line scan camera with a lidar scanner for real time data fusion in three dimensions
EP2380038B1 (en) * 2008-12-22 2019-01-09 Koninklijke Philips N.V. Cmos imager
US8491135B2 (en) * 2010-01-04 2013-07-23 Microvision, Inc. Interactive projection with gesture recognition
EP2395369A1 (en) 2010-06-09 2011-12-14 Thomson Licensing Time-of-flight imager.
DE102011081561B4 (de) 2011-08-25 2024-06-13 pmdtechnologies ag Lichtlaufzeitkamerasystem mit Signalpfadüberwachung
JP2013078433A (ja) * 2011-10-03 2013-05-02 Panasonic Corp 監視装置、プログラム
US8982363B2 (en) * 2011-10-07 2015-03-17 Massachusetts Institute Of Technology Method and apparatus to determine depth information for a scene of interest
EP2815251B1 (en) * 2012-02-15 2017-03-22 Heptagon Micro Optics Pte. Ltd. Time of flight camera with stripe illumination
US9472005B1 (en) * 2012-04-18 2016-10-18 Amazon Technologies, Inc. Projection and camera system for augmented reality environment
US9696427B2 (en) * 2012-08-14 2017-07-04 Microsoft Technology Licensing, Llc Wide angle depth detection
US9069080B2 (en) * 2013-05-24 2015-06-30 Advanced Scientific Concepts, Inc. Automotive auxiliary ladar sensor
DE102013109020B4 (de) * 2013-08-21 2016-06-09 Pmdtechnologies Gmbh Streulichtreferenzpixel
US9874638B2 (en) * 2014-03-06 2018-01-23 University Of Waikato Time of flight camera system which resolves direct and multi-path radiation components
US10234561B2 (en) * 2016-05-09 2019-03-19 Microsoft Technology Licensing, Llc Specular reflection removal in time-of-flight camera apparatus

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008309551A (ja) 2007-06-13 2008-12-25 Nikon Corp 形状測定方法、記憶媒体、および形状測定装置
US20120033045A1 (en) 2010-07-23 2012-02-09 Mesa Imaging Ag Multi-Path Compensation Using Multiple Modulation Frequencies in Time of Flight Sensor
US20130148102A1 (en) 2011-12-12 2013-06-13 Mesa Imaging Ag Method to Compensate for Errors in Time-of-Flight Range Cameras Caused by Multiple Reflections
US20140078490A1 (en) 2012-09-19 2014-03-20 Canon Kabushiki Kaisha Information processing apparatus and method for measuring a target object
JP2014059261A (ja) 2012-09-19 2014-04-03 Canon Inc 距離計測装置及び方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
FALIE D,FURTHER INVESTIGATIONS ON TOF CAMERAS DISTANCE ERRORS AND THEIR CORRECTIONS,ECCSC 2008. 4TH EUROPEAN CONFERENCE ON CIRCUITS AND SYSTEMS FOR COMMUNICATIONS,米国,IEEE,2008年07月10日,PAGE(S):197 - 200,http://ieeexplore.ieee.org/stamp/stamp.jsp?arnumber=4611676

Also Published As

Publication number Publication date
CN106662651B (zh) 2019-08-06
EP2955544B1 (en) 2020-06-17
JP2021039131A (ja) 2021-03-11
BE1022486B1 (fr) 2016-05-03
KR102432765B1 (ko) 2022-08-17
JP2017517737A (ja) 2017-06-29
EP2955544A1 (en) 2015-12-16
CN106662651A (zh) 2017-05-10
WO2015189311A1 (en) 2015-12-17
KR20170041681A (ko) 2017-04-17
US20170123067A1 (en) 2017-05-04
US10901090B2 (en) 2021-01-26

Similar Documents

Publication Publication Date Title
JP7191921B2 (ja) Tofカメラシステムおよび該システムにより距離を測定するための方法
JP6246131B2 (ja) タイムオブフライト信号の処理における又はこれに関する改良
US11536804B2 (en) Glare mitigation in LIDAR applications
US10215857B2 (en) Depth sensor module and depth sensing method
US9194953B2 (en) 3D time-of-light camera and method
US10401498B2 (en) Sensor system with active illumination
JP6309459B2 (ja) ストライプ照明の飛行時間型カメラ
CN110709722B (zh) 飞行时间摄像机
JP6261681B2 (ja) タイムオブフライト信号の処理における又はこれに関する改良
CN112739980B (zh) 多阶段有源光深度系统
CN110121659A (zh) 用于对车辆的周围环境进行特征描述的系统
JP2020016577A (ja) 光学系異常を検出する測距装置
CN114930192A (zh) 红外成像组件
KR20190014977A (ko) ToF 모듈
CN112740065B (zh) 成像装置、用于成像的方法和用于深度映射的方法
JP2014070936A (ja) 誤差画素検出装置、誤差画素検出方法、および誤差画素検出プログラム
CN114730009A (zh) 用于确定到场景的距离的方法和设备
JP2017133930A (ja) 距離画像生成装置および方法
US20240061090A1 (en) Time-of-flight demodulation circuitry, time-of-flight demodulation method, time-of-flight imaging apparatus, time-of-flight imaging apparatus control method
JP2017133931A (ja) 画像生成装置、ならびに距離画像およびカラー画像の生成方法
JP2023101522A (ja) 撮像装置、情報処理装置、撮像方法、およびプログラム
WO2020190920A1 (en) Dynamic range improvements in lidar applications

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201228

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210415

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220111

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220411

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20220411

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220823

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221021

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221108

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221207

R150 Certificate of patent or registration of utility model

Ref document number: 7191921

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150