JP6517244B2 - 時間共有を使用する自動複数深度カメラ同期化 - Google Patents

時間共有を使用する自動複数深度カメラ同期化 Download PDF

Info

Publication number
JP6517244B2
JP6517244B2 JP2016573487A JP2016573487A JP6517244B2 JP 6517244 B2 JP6517244 B2 JP 6517244B2 JP 2016573487 A JP2016573487 A JP 2016573487A JP 2016573487 A JP2016573487 A JP 2016573487A JP 6517244 B2 JP6517244 B2 JP 6517244B2
Authority
JP
Japan
Prior art keywords
light
scene
depth sensing
transmitter
sensing device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016573487A
Other languages
English (en)
Other versions
JP2017527777A5 (ja
JP2017527777A (ja
Inventor
セルジュ・ラドゥ・ゴマ
カリン・ミトコフ・アタナッソフ
Original Assignee
クアルコム，インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by クアルコム，インコーポレイテッド filed Critical クアルコム，インコーポレイテッド
Publication of JP2017527777A publication Critical patent/JP2017527777A/ja
Publication of JP2017527777A5 publication Critical patent/JP2017527777A5/ja
Application granted granted Critical
Publication of JP6517244B2 publication Critical patent/JP6517244B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/245—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures using a plurality of fixed, simultaneously operating transducers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4814—Constructional features, e.g. arrangements of optical elements of transmitters alone
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/38—Releasing-devices separate from shutter
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H04N23/21—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only from near infrared [NIR] radiation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/38—Transmitter circuitry for the transmission of television signals according to analogue transmission standards
    • H04N5/40—Modulation circuits
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2206/00—Systems for exchange of information between different pieces of apparatus, e.g. for exchanging trimming information, for photo finishing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Toxicology (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Stroboscope Apparatuses (AREA)
  • Shutters For Cameras (AREA)
  • Camera Bodies And Camera Details Or Accessories (AREA)
  • Exposure Control For Cameras (AREA)
  • Details Of Cameras Including Film Mechanisms (AREA)

Description

本開示は、深度カメラ(Depth Camera)を含むイメージングシステムおよびイメージング方法に関する。具体的には、本開示は、複数の深度カメラを干渉なしに同時に使用することを可能にするシステムおよび方法に関する。
アクティブセンシングを使用して、3次元モデルを決定することができる。アクティブセンシングシステムは、たとえば、飛行時間システム(Time-of-flight System)および構造化光システム(Structured Light System)を含む。物体の3次元(3D)モデルを抽出するために、複数のアクティブセンシングデバイスを使用することができる。深度感知システム(深度カメラとも称する)のいくつかの実施形態は、環境内および物体上に不可視の構造化光パターンを投影するのに赤外線(IR)送信器を使用する。IR放射が、物体から反射され、IRセンサーまたは深度感知システムのカメラによって検出される。環境内の物体は、カメラによって見られる時に構造化光パターン内のひずみを引き起こし、このひずみは、光源と比較して軸外であり、これらのひずみを使用して、シーンに関する深度情報を解決することができる。
単一のカメラを有する深度感知システムは、制限された視野を有し、単一の視点からの深度情報を提供し、その結果、深度カメラに近い物体が、環境の大きい部分を塞ぐようになる場合がある。マッピングされ得る環境の面積を拡大する1つの解決策は、複数のIR深度カメラを使用することである。これは、異なる視点からのシーンのビューを提供し、物体の360度モデルを形成することを可能にする。しかし、ある種の構成において、アクティブセンシングに使用される複数のデバイスが、お互いと干渉する可能性がある。さらに、構造化光パターンがオーバーラップする場合に、各IR深度カメラの精度が劣化する。
したがって、これらの問題を克服する深度感知システムを有することは利益がある。下で説明される実施形態は、既知のIR深度カメラシステムの不利のいずれかまたはすべてを解決する実施態様に限定されない。
深度感知は、通常、より低いイメージング解像度において行われる。しかし、イメージングの応用で使用されるイメージングデバイス(光源/受信器)の個数が多ければ多いほど、一般に、再構成される3Dモデルの潜在的な品質が良くなる。深度感知に使用される技法(たとえば、構造化光または飛行時間(TOF))に関して、複数の深度イメージングデバイス(たとえば、光源(たとえば、レーザー)およびイメージングデバイス(たとえば、カメラ)を含む各デバイス)を使用する時に、個々の深度イメージングデバイスが、たとえばカメラがすべて同一である場合に、お互いに干渉する可能性がある。1つの革新において、光源内のレーザーを制御して、パルス駆動された光(パターン)を作ることができる。パルスの持続時間は、たとえば、レーザーピーク出力に基づいて調整され得る。特定のフレームレートが望まれる場合には、複数のカメラは、たとえば、フルフレームの小さい分数に同時に送信し、受信することによって、1/フレームレートの時間量を共有することができる。次いで、イメージが、複数の深度イメージングデバイスの間の干渉を伴わずに、物体の3Dモデルを作るために作られ得る。
1つの革新は、シーンの深度情報を含むイメージを取り込むため、および少なくとも1つの他の深度感知デバイスを含む深度感知システム内での使用のための深度感知デバイスを含む。深度感知デバイスは、シーンに光を投影することができる送信器であって、一連のレーザーパルスを含む光ビームを作ることができるレーザーを含み、各パルスは、パルス長を有し、一連のパルスは、パルス周波数で作られる、送信器と、既知の相対方位で送信器に結合された受信器であって、シャッターと、送信器によって投影されシーンから反射された光の感知に基づいてイメージを作ることができるセンサーアセンブリとを含む、受信器とを含む。深度感知デバイスは、プロセッサを含み、送信器および受信器に結合されたコントローラであって、受信器を使用してシーン内の光の存在を判定し、一連のレーザーパルスのパルス長を制御し、送信器がシーンに光を投影するためにアクティブ化される露光ウィンドウが始まる時を制御し、シーンから反射された光の感知を開始するために受信器をアクティブ化し、露光ウィンドウの始まりおよびパルス長は、少なくとも1つの他の深度感知デバイスからのシーン上の光の判定された存在に基づいて制御され、したがって、露光ウィンドウは、システム内の少なくとも1つの他の深度感知デバイスのうちの他のいずれかがシーンを照らしている時とは時間的に異なるように構成される、コントローラをさらに含む。一態様において、レーザーは、近赤外(NIR)光ビームを作ることができ、送信器は、レーザーから放たれたNIR光ビームを受信するように位置決めされた光学要素をさらに含み、光学要素は、NIR光ビームが光学要素を介して伝搬する時に、既知の構造化光パターンを作るように構成された複数の特徴を含み、コントローラは、NIR受信器を使用してシーン内の構造化光パターンを示すNIR光の存在を判定するようにさらに構成される。別の態様において、コントローラは、コントローラがシーン上に存在する構造化光パターンを示すNIR光がないと判定する場合に、シーンに構造化光パターンを投影するために送信器をアクティブ化し、NIR光ビームのパルス長に同期化されるようにシャッターを調整するようにさらに構成される。別の態様において、コントローラは、コントローラがシーン上の構造化光パターンを示すNIR光の存在を判定する場合に、遅延期間の間にNIR光ビームを作ることから送信器を遅延させ、遅延期間の終りに、シーン上の構造化光パターンを示すNIR光の存在についてもう一度チェックするようにさらに構成される。
別の態様において、複数の特徴は、複数の回折光学特徴を含む。別の態様において、送信器は、飛行時間(TOF)送信器を含む。別の態様において、シャッターは、ロールシャッターを含み、露光ウィンドウ中に、コントローラは、シーンが送信器によって投影された光によって照らされる時に、シーンを横切ってスキャンするためにロールシャッターをアクティブ化する。別の態様において、コントローラは、少なくとも1つの他のデバイスまたは別の同期化システムと通信することなく、露光ウィンドウを判定するように構成される。別の態様において、コントローラは、送信器が、少なくとも1つの深度感知デバイスのうちの他のいずれかがシーンを照らす時とは時間的に異なる露光ウィンドウ中にシーンに光を投影するようにするために、シーン内の光の判定された存在に基づいてパルス周波数を調整するようにさらに構成される。
別の革新は、少なくとも2つの深度感知デバイスを含む深度感知システム内でシーンの深度情報を含むイメージを取り込むための、深度感知デバイス上で動作可能な方法を含み、この方法は、センサーを使用してシーンから反射された光を検出するステップであって、光は、シーンが深度感知デバイスによって照らされていることを示す、検出するステップを含む。シーンからの光が検出されない場合に、この方法は、露光ウィンドウ中にシーンに光を投影するために深度感知デバイスの送信器をアクティブ化し、露光ウィンドウ中に光の反射から情報を取り込むために深度感知デバイスのシャッターをアクティブ化することができ、投影された光は、パルス長およびパルス周波数を有する一連のパルスを含む。シーンからの光が検出される場合に、この方法は、深度感知デバイスのシャッターを検出されたレーザーパルス長に調整し、シーンからの光をもう一度感知することができる。光がもう一度検出される場合に、この方法は、深度感知デバイスの送信器がシーンに光を投影し、深度感知デバイスのシャッターがシーンからの光の反射から情報を取り込む露光ウィンドウの開始を遅延させ、光がシーン上に存在するかどうかの感知を反復して繰り返し、光が検出されなくなるまで露光ウィンドウの開始を遅延させることができる。シーンからの光が検出されない場合に、この方法は、露光ウィンドウの間に送信器および受信器をアクティブ化し、パルス周波数を有し各パルスがパルス長を有する一連のパルス内でシーンに光を投影し、受信器を使用してシーンから投影された光を検出することができる。この方法の一態様において、送信器は、近赤外(NIR)光ビームを作り、送信器は、レーザーから放たれたNIR光ビームを受信するように位置決めされた光学要素を含み、光学要素は、NIR光ビームが光学要素を介して伝搬する時に、既知の構造化光パターンを作るように構成された複数の特徴を含み、シーンから光を検出するステップは、受信器を使用してシーン内の構造化光パターンを示すNIR光の存在を検出するステップを含む。この方法の一態様において、コントローラは、少なくとも1つの他のデバイスまたは別の同期化システムと通信することなく、露光ウィンドウを判定する。別の態様において、この方法は、送信器が、少なくとも1つの深度感知デバイスのうちの他のいずれかがシーンを照らす時とは時間的に異なる露光ウィンドウ中にシーンに光を投影するようにするために、シーン内の光の判定された存在に基づいてパルス周波数を調整することができる。
別の革新は、シーンの深度情報を含むイメージを取り込むため、および少なくとも1つの他の深度感知デバイスを含む深度感知システム内での使用のための近赤外(NIR)深度感知デバイスを含む。この深度感知デバイスは、シーン上にNIR構造化光パターンを投影することができるNIR送信器を含み、NIR送信器は、パルス長を有するNIR光ビームを作ることができるレーザーと、レーザーから放たれたNIR光ビームを受信するように位置決めされた光学要素とを含み、光学要素は、NIR光ビームが光学要素を通って伝搬する時に既知の構造化光パターンを作るように構成された複数の特徴を含む。この深度感知デバイスは、既知の相対方位でNIR送信器に結合されたNIR受信器であって、シャッターと、シーン内の感知されたNIR構造化光パターンからイメージを作ることができるセンサーアセンブリとを含む、NIR受信器と、プロセッサを含むコントローラとをも含むことができ、コントローラは、NIR送信器およびNIR受信器に結合され、コントローラは、NIR受信器を使用してNIR光の存在を判定するように構成され、コントローラは、NIR送信器をアクティブ化し、構造化光パターンを用いてシーンを照らし、シーンからの構造化光パターンの反射から情報を取り込むための露光時間の間シャッターをアクティブ化する時間を判定するようにさらに構成され、送信器をアクティブ化し、シャッターをアクティブ化する時間は、システム内の少なくとも1つの他の深度感知デバイスのうちの他のいずれかがNIR光を用いてシーンを照らしている時とは異なる時間期間中に送信器およびシャッターがアクティブ化されるように、シーン内のNIR光の判定された存在に基づく。いくつかの実施形態において、コントローラは、コントローラがシーン内に存在するNIR光がないと判定する場合に、構造化光パターンを投影するために送信器をアクティブ化し、NIR光のパルス長に同期化されるようにシャッターを調整するようにさらに構成される。いくつかの実施形態において、コントローラは、コントローラがシーン上の構造化光パターンを示すNIR光の存在を判定する場合に、遅延期間の間にNIR光ビームを作ることからNIR送信器を遅延させ、遅延期間の終りに、NIR光(シーン上の構造化光パターンを示す)の存在についてもう一度チェックするようにさ
らに構成される。
別の革新は、シーンの深度情報を含むイメージを取り込むため、および少なくとも1つの他の深度感知デバイスを含む深度感知システム内での使用のための、深度感知デバイスを含む。いくつかの実施形態において、深度感知デバイスは、シーンに光を投影するための手段であって、光投影手段は、一連のレーザーパルスを含むレーザー光ビームを作るように構成され、各パルスは、パルス長を有し、一連のパルスは、パルス周波数で作られる、投影するための手段と、既知の相対方位で投影手段に結合された、光を受信するための手段であって、光受信手段は、光投影手段によって投影され、シーンによって反射された光の検出に基づいてイメージを作るように構成される、受信するための手段とを含む。このデバイスは、投影手段および光受信手段に結合された、制御するための手段であって、制御手段は、光受信手段を使用してシーン内の光の存在を判定し、一連のレーザーパルスのパルス長を制御し、光投影手段がシーンに光を投影するためにアクティブ化される露光ウィンドウが始まる時を制御し、シーンから反射された光の感知を開始するために光受信手段をアクティブ化し、露光ウィンドウの始まりおよびパルス長は、少なくとも1つの他の深度感知デバイスからのシーン上の光の判定された存在に基づいて制御され、したがって、露光ウィンドウは、システム内の少なくとも1つの他の深度感知デバイスのうちの他のいずれかがシーンを照らしている時とは時間的に異なるように構成される、制御するための手段をも含むことができる。
様々な他の特徴も、異なる実施態様内に含められ得る。深度感知デバイスのいくつかの実施形態において、光投影手段は、レーザーを含む送信器を含む。光受信手段は、シャッターと、光投影手段によって投影されシーンから反射された光の感知に基づいてイメージを作ることができるセンサーアセンブリとを含む受信器を含むことができる。制御手段は、少なくとも1つのプロセッサを含むことができる。様々な実施形態において、レーザーは、近赤外(NIR)光ビームを放つことができ、光投影手段は、レーザーから放たれたNIR光ビームによって照らされるように位置決めされた光学要素を含む送信器を含み、光学要素は、NIR光ビームが光学要素を介して伝搬する時に、既知の構造化光パターンを作るように構成された複数の特徴を含み、制御手段は、光受信手段を使用してシーン内の構造化光パターンを示すNIR光の存在を判定するように構成されたコントローラを含む。複数の特徴は、複数の回折光学特徴を含むことができる。送信器は、飛行時間(TOF)送信器を含むことができる。コントローラは、コントローラがシーン上に存在する構造化光パターンを示すNIR光がないと判定する場合に、シーンに構造化光パターンを投影するために送信器をアクティブ化し、NIR光ビームのパルス長に同期化されるようにシャッターを調整するようにさらに構成され得る。コントローラは、コントローラがシーン上の構造化光パターンを示すNIR光の存在を判定する場合に、遅延期間の間にNIR光ビームを作ることから送信器を遅延させ、遅延期間の終りに、シーン上の構造化光パターンを示すNIR光の存在についてもう一度チェックするようにさらに構成され得る。受信するための手段は、ロールシャッターを含み、露光ウィンドウ中に、コントローラは、シーンが送信器によって投影された光によって照らされる時に、シーンを横切ってスキャンするためにロールシャッターをアクティブ化することができる。制御手段は、少なくとも1つの他のデバイスまたは別の同期化システムと通信することなく、露光ウィンドウを判定するように構成され得る。コントローラは、送信器が、少なくとも1つの深度感知デバイスのうちの他のいずれかがシーンを照らす時とは時間的に異なる露光ウィンドウ中にシーンに光を投影するようにするために、シーン内の光の判定された存在に基づいてパルス周波数を調整するようにさらに構成され得る。
別の革新は、方法を実行するように少なくとも1つのプロセッサを制御する非一時的命令を含むコンピュータ可読媒体であって、方法は、センサーを使用してシーンから反射された光を検出するステップであって、光は、シーンが深度感知デバイスによって照らされていることを示す、検出するステップと、シーンからの光が検出されない場合に、露光ウィンドウ中にシーンに光を投影するために深度感知デバイスの送信器をアクティブ化し、露光ウィンドウ中に光の反射から情報を取り込むために深度感知デバイスのシャッターをアクティブ化するステップであって、投影された光は、パルス長およびパルス周波数を有する一連のパルスを含む、アクティブ化するステップと、シーンからの光が検出される場合に、深度感知デバイスのシャッターを検出されたレーザーパルス長に調整し、シーンからの光をもう一度感知するステップと、光がもう一度検出される場合に、深度感知デバイスの送信器がシーンに光を投影し、深度感知デバイスのシャッターがシーンからの光の反射から情報を取り込む露光ウィンドウの開始を遅延させ、光がシーン上に存在するかどうかの感知を反復して繰り返し、光が検出されなくなるまで露光ウィンドウの開始を遅延させるステップと、シーンからの光が検出されない場合に、露光ウィンドウの間に送信器および受信器をアクティブ化し、パルス周波数を有し各パルスがパルス長を有する一連のパルス内でシーンに光を投影し、受信器を使用してシーンから投影された光を検出するステップとを含む、コンピュータ可読媒体を含む。いくつかの実施形態において、送信器は、近赤外(NIR)光ビームを作り、送信器は、レーザーから放たれたNIR光ビームを受信するように位置決めされた光学要素を含み、光学要素は、NIR光ビームが光学要素を介して伝搬する時に、既知の構造化光パターンを作るように構成された複数の特徴を含み、シーンから光を検出するステップは、受信器を使用してシーン内の構造化光パターンを示すNIR光の存在を検出するステップを含む。
開示される態様は、以下で、開示される態様を限定するのではなく例示するために提供される添付図面および付録に関連して説明され、添付図面では、同様の符号が、同様の要素を表す。
物体の深度、たとえば3次元(3D)トポグラフィーを感知する能動光感知のための複数のシステムを含むシステムの一例を示す図である。 たとえば図1に示された構造化光送信器とすることができる構造化光送信器の一例を示す図である。 「放射受信器」、「センサー」、または単に「受信器」と呼ばれる場合もあるカメラの一例を示す図である。 それぞれがパルス駆動される光出力およびカメラ露光ウィンドウ(たとえば、放射へのセンサーの露光の時間の持続時間)を有するように構成された3つの光センサー/カメライメージングデバイスの例を示す図であり、各デバイスのパルス駆動される光出力およびカメラ露光ウィンドウは、他のデバイスのパルス駆動される光出力およびカメラ露光ウィンドウとは異なる時刻に発生する。 それぞれがパルス駆動される光出力およびカメラ露光ウィンドウ(時間の持続時間)を有するように構成された3つの光センサー/カメライメージングデバイスの例を示す図であり、カメラのうちの1つまたは複数は、グローバルシャッターを有しておらず(たとえば、ロールシャッターカメラ)、カメラは、それでも時間切り替えされまたは時間制御され得る(たとえば、より低いフレームレート)。 物体の3Dモデルを生成するためにイメージを作る際に少なくとも1つの他の深度感知デバイスと相互作用するために深度感知デバイスを追加することに関する、たとえば本明細書で開示されるデバイスのうちの1つまたは複数によって実行され得る、プロセスフロー図である。 本明細書で開示されるシステムのうちの1つもしくは複数または他のシステムによって実行され得る、複数の深度感知カメラを調整する方法を示すプロセスフロー図である。
以下の説明では、実施例の完全な理解をもたらすために、特定の詳細が与えられる。しかし、それらの例は、これらの特定の詳細なしで実践され得、本明細書で説明され、請求される実施形態の範囲内に留まりながら、説明される例より多数またはより少数の特徴を含むことができる。
本明細書で開示される実施態様は、物体の3Dモデルを形成するのに使用され得るイメージを生成するためのシステム、方法、および装置を提供する。そのようなイメージを生成するためにアクティブセンシングを使用することは、ここ数年で非常に一般的になった。物体3Dモデルを抽出するために、複数のアクティブセンシングデバイス/システムが、たとえば複数のアクティブセンシングデバイスによって作られるイメージが、合計して、シーン全体または物体全体の深度情報を含むように、物体またはシーンを囲む配置内で使用された。物体の3Dモデルを判定するために、物体の異なる視点を有する複数のイメージが収集される。複数のイメージの後処理が、3Dモデルを作ることができる。後処理は、十分に高速のコンピュータおよび技法が、複数のイメージの後処理に使用される場合に、ほぼリアルタイムとすることができる。深度感知イメージングが、相対的に低い解像度で行われる可能性があるので、深度情報を有するイメージを作るのに使用されるデバイスの個数が多ければ多いほど、イメージを使用して作られる再構成された3Dモデルの品質が良くなる。したがって、複数のイメージングシステムを使用することが、望ましい可能性がある。
能動(深度)感知システムの例は、構造化光システムおよび飛行時間(TOF)システムを含むが、これに限定はされない。構造化光3Dイメージングシステム(本明細書ではしばしば「カメラ」と称する)は、物体上に光のパターンを投影し、物体上のパターンの変形を見ることができる。すなわち、それらのシステムは、投影コンポーネント(または送信器)と受信器コンポーネントとを含む。パターンは、安定した光源を使用して物体上に投影される。パターンプロジェクタからわずかにオフセットされ、パターンの知識を有するイメージングシステム(たとえば、カメラ)は、投影されたパターンからの光を受信し、パターンの形状から、視野内の点の距離を判定する。TOFシステム(またはカメラ)は、イメージの点に関して、カメラとシーン/物体の間およびカメラに戻る光信号の飛行時間を測定することによって、光の既知の速度に基づいて距離を解決する、レンジイメージングシステム(Range Imaging System)である。様々なTOFシステムは、シーンまたは物体を照らすのに紫外線、可視光、または近赤外(NIR)光を使用することができ、これを様々な材料と共に使用することができる。個々の深度カメラの送信は、お互いと干渉する可能性がある。
効率のためには、複数のイメージを同時に収集することが有利である可能性がある。しかし、深度感知のための技術が、構造化光、TOF、または別の技術のどれであるのかにかかわりなく、複数の送信器の使用は、各システムが別のシステムが受信する可能性のある光を放つので、システムの間の干渉を引き起こし、カメラによって作られるイメージの異常を引き起こす可能性がある。いくつかのシステムにおいて、光のパターンを作るのに使用されるレーザー光源は、絶えず放射を行っている。下で説明するように、複数の送信器/受信器対を使用するシステム内では、各深度感知システム(たとえば、送信器/受信器対)は、複数の送信器/受信器対が異なる光パルス/カメラ露光時間を有するように、レーザーがパルス駆動され、パルスの持続時間が調整され得る(たとえば、レーザーピーク出力に基づいて)ように構成され得る。特定のフレームレートが望まれる場合には、複数のカメラが、下で示すように1/フレームレートの時間量を共有することができる(この特定の例に関して、グローバルシャッターカメラが考慮される)。深度感知システムの光源(「レーザー」と集合的に呼ばれる光源)は、作動させられる時に絶えず光を放っていることができる。いくつかの実施形態において、レーザーは、ある時にある幅の光のパルスを放つように制御され得る。カメラ露光ウィンドウは、レーザーパルスの期間中に放射を受信するように、対応して制御され得る。下でより詳細に説明するように、複数の深度感知システムが一緒に使用される時に、深度感知システム内のレーザーのパルスは、異なる時にパルスを作るように制御され得る。各深度感知システム内の関連するカメラは、レーザーパルス時間中に露光ウィンドウを有するように、対応して制御され得る。
本明細書で説明される実施形態の利点のいくつかは、同一タイプのデバイスを単一深度カメラデバイス感知および複数深度カメラデバイス感知に使用できること、デバイスハードウェア(たとえば、カメラまたは送信器)の変更がないこと、送信器-カメラ同期の実施が簡単であること、ユーザ透過的なカメラ間同期、および任意の個数のカメラを追加できることを含む。物体の深度情報を収集するのに複数の送信器/受信器対を使用するいくつかの実施形態において、各送信器/受信器対は、カメラの間の干渉を最小化しまたは防ぐ、異なる搬送波周波数のパターンを投影し、異なる搬送波周波数の光を受信するように構成され得る。
図1は、1つまたは複数の物体を含むシーンの深度、たとえば3次元(3D)トポグラフィーを感知する能動光感知のための複数のシステムを含むシステムの一例を示す図である。図1に示された実施形態において、システムは、たとえば関心を持たれている物体(物体)135を囲み、物体135のすべての表面を照らし、物体135のすべての表面からの光を受信するために、異なる視点からのIR放射を用いて物体135を照らすために物体135に向かって向けられた4つの深度感知システム(たとえば、送信器100a〜d/受信器200a〜dシステム)を含む。いくつかの実施形態において、5つ以上の送信器/受信器対を使用することができ、あるいは、4つ未満の送信器/受信器対を使用することができる。たとえば、深度感知システム100aは、物体135を照らすために構造化光105aを提供し、次いで、物体135から反射された(反射された)構造化光110aを検出する。いくつかの実施形態において、5つ以上の送信器/受信器対を使用することができ、あるいは、4つ未満の送信器/受信器対を使用することができる。この実施形態において、各深度感知システム(またはカメラ)100a〜dは、構造化光送信機200を含む。送信器200の例を、図2を参照してさらに説明する。各深度感知システム100a〜dは、受信器300をも含むことができる。受信器300の例を、図3を参照してさらに説明する。
様々な深度感知システムを使用することができる。配置内の深度感知デバイスの各々は、構造化光送信器、飛行時間(TOF)送信器、または別の照明源を含むことができる。様々な実施形態において、各深度感知デバイスの照明源は、紫外照明、可視照明、赤外(IR)照明、または近赤外(NIR)照明を作るように構成され得る。いくつかの実施形態において、各深度感知システム100a〜dは、光パターンを作るために光学的に操作される近赤外(NIR)光ビームを作るレーザーを含むことができ、光パターンは、物体135上に投影される。一般に、近赤外光は、約700ナノメートル超から約1mmまでの光である。深度感知システム100は、たとえば波長の約1〜5ナノメートルという狭い範囲内の、波長の非常に狭いスペクトル内のNIRビームを作るように構成され得る。いくつかの実施形態において、送信器/受信器システムの各々は、複数のデバイスがお互いと干渉しないように、異なるNIR搬送波周波数(または、非常に狭い範囲のNIR搬送波周波数)を投影し、受信し、各構成において、対にされたデバイスの各々は、異なるNIR搬送波周波数を送信し、受信することができる。
上で説明したシステムの利点は、複数の深度カメラシステムのより単純な設計を含む。無視できる干渉(または干渉なし)を、これらの実施形態によって達成することができる。また、そのようなシステムを用いると、帯域フィルタの帯域幅を操作することによって、雑音に対して干渉を制御することが、相対的に簡単である。さらに、N個のカメラを有するシステムを設計するためのシステムのスケーリングは、簡単であり、異なる搬送波周波数を定義することだけを必要とする。いくつかの実施形態において、送信器と受信器との両方が同調可能であり、そのようなシステムにおいて、送信器および受信器は、すべて、同一になるように設計され得、これは、コストを低下させ、より簡単な保守および修理を可能にすることができる。
深度感知システム100は、ある種のタイミング判断基準に従って光のパルスを放ち、ある種のパルス幅および/またはある種の周波数の光を放つようにレーザーを制御するコントローラを含むことができる。さらに、送信器は、プロセッサを含むことができる通信モジュールを含むことができる。通信モジュール(たとえば、プロセッサ)は、パルス幅の長さ、パルス幅の周波数、および光のパルスを放つべき時を調整するために他のデバイスと情報を通信するように構成され得る。深度感知システム100のそのようなコンポーネントおよび他のコンポーネントを、図2(送信器)および図3(受信器)を参照してさらに説明する。
図2は、たとえば図1に示された構造化光送信器とすることができる構造化光送信器200の一例を示す図である。構造化光送信器200は、図1の実施形態内に示されているように、深度感知システム100のハウジング内に含められ得る。いくつかの実施形態において、構造化光送信器200は、深度感知システムの受信器300と共に収容される。いくつかの実施形態において、構造化光送信器200および受信器300は、別々に収容されるが、それらが一緒に収容される深度感知システムと同一の機能性を実行するために、お互いの近くに位置決めされる。
送信器200は、狭い波長を有する放射を作るレーザー210を含む。この例において、レーザー210は、近赤外(NIR)光ビーム230を作る。送信器200は、光ビーム230がコリメーティングレンズ215を通過し、次いで回折光学要素220を通過するように整列されたコリメーティングレンズ215および回折光学要素(またはマスク)220をも含む。回折光学要素220上の回折特徴225は、物体135上に投影される光パターンを作る。
図3は、いくつかの実施形態によるカメラ300(または受信器)の一例を示す図である。受信器300は、深度感知デバイス内に送信器(たとえば、図2の送信器200)と共に収容され得る。いくつかの実施形態において、図3を参照して説明されるコンポーネントのうちの1つまたは複数は、送信器に結合され、送信器の機能性、たとえば、送信器によって生成されるレーザーパルスの長さ、送信器からレーザーパルスを放つべき時、または送信器からレーザーパルスを放つ周波数を制御することができる。いくつかの実施形態において、デバイス300は、構造化光深度感知のために意図的に構成された感知デバイスとすることができる。いくつかの他の実施形態において、デバイス300は、飛行時間(TOF)システムとして構成され得る。様々な実施形態は、追加のコンポーネントまたは図3に示されたコンポーネントより少数のコンポーネント、あるいは異なるコンポーネントを有することができる。
図3に、イメージセンサーアセンブリ315にリンクされたイメージプロセッサ320と、トランシーバ355とを含むコンポーネントのセットを有するデバイス300(イメージキャプチャデバイス)の高水準ブロック図を示す。イメージプロセッサ320は、作業メモリ305、メモリ330、およびデバイスプロセッサ350とも通信しており、デバイスプロセッサ350は、ストレージ310および電子ディスプレイ325と通信している。いくつかの実施形態において、デバイス300は、セル電話機、デジタルカメラ、タブレットコンピュータ、携帯情報端末、または深度感知のために特に作られたハイエンドカメラもしくはイメージングシステムとすることができる。デバイス300は、伝統的な写真アプリケーションおよびビデオアプリケーション、ハイダイナミックレンジイメージング、パノラマ写真、パノラマビデオ、または3Dイメージもしくは3Dビデオなどの立体視イメージングのためのアプリケーションを含むことができる。
図3に示された例において、イメージキャプチャデバイス300は、外部イメージを取り込むためのイメージセンサーアセンブリ315を含む。イメージセンサーアセンブリ315は、センサー、レンズアセンブリ、ならびに、各センサーにターゲットイメージの一部をリダイレクトするための一次および二次の反射面または屈折面を含むことができる。いくつかの実施形態は、複数のセンサーを有することができる。イメージセンサーアセンブリは、取り込まれたイメージをイメージプロセッサに送信するために、イメージプロセッサ320に結合され得る。
イメージプロセッサ320は、イメージデータが深度情報を含む場合に、シーンのすべてまたは一部を含む受信されたイメージデータに対して様々な処理動作を実行するように構成され得る。イメージプロセッサ320は、汎用処理ユニットまたはイメージング応用例のために特別に設計されたプロセッサとすることができる。イメージング処理動作の例は、クロッピング、スケーリング(たとえば、異なる解像度への)、イメージステッチング、イメージフォーマット変換、色補間、色処理、イメージフィルタリング(たとえば、空間イメージフィルタリング)、レンズアーティファクトまたはレンズ欠陥の補正などを含む。イメージプロセッサ320は、いくつかの実施形態において、複数のプロセッサを含むことができる。ある種の実施形態は、各イメージセンサーに専用のプロセッサを有することができる。イメージプロセッサ320は、1つまたは複数の専用イメージ信号プロセッサ(ISP)またはプロセッサのソフトウェア実施態様とすることができる。
図3の例に示されているように、イメージプロセッサ320は、メモリ330および作業メモリ305に接続される。図示の実施形態において、メモリ330は、キャプチャ制御モジュール335、センサーモジュール340、およびオペレーティングシステム345を記憶する。これらのモジュールは、1つまたは複数のイメージから深度情報を判定するための様々なイメージ処理およびデバイス管理タスクを実行するようにデバイスプロセッサ350のイメージプロセッサ320を構成する命令を含む。作業メモリ305は、メモリ330のモジュール内に含まれるプロセッサ命令の作業セットを記憶するのにイメージプロセッサ320によって使用され得る。代替案では、作業メモリ305は、デバイス300の動作中に作成される動的データを記憶するのにもイメージプロセッサ320によって使用され得る。
デバイス300は、ある種の搬送波周波数、たとえば図1の送信器100によって作られた搬送波周波数が通過することを可能にするように同調された(または構成された)帯域フィルタ360をも含むことができる。いくつかの実施形態において、帯域フィルタは、複数の周波数のうちの1つがイメージセンサーアセンブリ315へ通過することを可能にするために、同調可能であり、たとえばキャプチャ制御モジュール335によって制御され得る。これは、デバイス300が、送信器によって使用される周波数に対応する搬送波周波数に同調されることを可能にし、これは、各送信器/イメージキャプチャデバイス(受信器)対がNIR光の異なる搬送波周波数を投影し、受信する場合の複数イメージングシステム応用例を容易にする。
上で言及したように、イメージプロセッサ320は、メモリ内に記憶された複数のモジュールによって構成される。キャプチャ制御モジュール335は、イメージセンサーアセンブリ315の焦点位置を調整するようにイメージプロセッサ320を構成する命令を含むことができる。キャプチャ制御モジュール335は、深度情報を有するイメージの取込に関する機能を含むデバイス300の全体的なイメージキャプチャ機能を制御する命令をさらに含むことができる。たとえば、キャプチャ制御モジュール335は、露光時間を増減するためにセンサーアセンブリのシャッターを制御し、あるいは、露光ウィンドウの開始時刻または終了時刻を調整する命令を含むことができる。キャプチャモジュール335は、単独でまたはセンサー制御モジュール340と集合的に、センサーアセンブリ315を使用してシーンの深度感知イメージを取り込むようにイメージプロセッサ320を構成するために、サブルーチンを呼び出すことができる。キャプチャ制御モジュール335は、深度感知デバイスの送信器を制御するための機能性をも含むことができる。キャプチャ制御モジュール335は、たとえばレーザーパルスを放つ送信器と協力し、他のイメージキャプチャデバイスと協力して、イメージを取り込むようにセンサーアセンブリを制御することもできる。
センサー制御モジュール340は、取り込まれたイメージデータに対してステッチング技法およびクロッピング技法を実行するようにイメージプロセッサ320を構成する命令を含むことができる。ターゲットイメージ生成は、既知のイメージステッチング技法を介して行うことができる。
オペレーティングシステムモジュール345は、作業メモリ305およびデバイス300の処理リソースを管理するようにイメージプロセッサ320を構成する。たとえば、オペレーティングシステムモジュール345は、イメージングセンサーアセンブリ315などのハードウェアリソースを管理するためのデバイスドライバを含むことができる。したがって、いくつかの実施形態において、上で議論したイメージ処理モジュール内に含まれる命令は、これらのハードウェアリソースと直接に相互作用するのではなく、オペレーティングシステムコンポーネント345内に配置された標準サブルーチンまたはAPIを介して相互作用することができる。次いで、オペレーティングシステム345内の命令は、これらのハードウェアコンポーネントと直接に相互作用することができる。オペレーティングシステムモジュール345は、デバイスプロセッサ350と情報を共有するようにイメージプロセッサ320をさらに構成することができる。
デバイスプロセッサ350は、取り込まれたイメージまたは取り込まれたイメージのプレビューをユーザに表示するようにディスプレイ325を制御するように構成され得る。ディスプレイ325は、イメージングデバイス300の外部とすることができ、あるいは、イメージングデバイス300の一部とすることができる。ディスプレイ325は、イメージを取り込む前の使用のためにプレビューイメージを表示するビューファインダを提供するように構成され得、あるいは、メモリ内に記憶されたまたはユーザによって最近取り込まれたイメージを表示するように構成され得る。ディスプレイ325は、LCDスクリーンまたはLEDスクリーンを含むことができ、タッチ感知技術を実施することができる。
デバイスプロセッサ350は、ストレージモジュール310にデータ、たとえば取り込まれたイメージを表すデータを書き込むことができる。ストレージモジュール310は、図形的は伝統的なディスクデバイスとして表されているが、当業者は、ストレージモジュール310が任意の記憶媒体デバイスとして構成され得ることを理解するはずである。たとえば、ストレージモジュール310は、フロッピディスクドライブ、ハードディスクドライブ、光ディスクドライブ、または光磁気ディスクドライブなどのディスクドライブ、あるいは、フラッシュメモリ、RAM、ROM、および/またはEEPROMなどのソリッドステートメモリを含むことができる。ストレージモジュール310は、複数のメモリユニットを含むこともでき、メモリユニットの任意の1つは、イメージキャプチャデバイス300内にあるように構成され得、あるいは、イメージキャプチャデバイス300の外部とすることができる。たとえば、ストレージモジュール310は、イメージキャプチャデバイス300内に記憶されたシステムプログラム命令を含むROMメモリを含むことができる。ストレージモジュール310は、カメラから取り外し可能とすることができる、取り込まれたイメージを記憶するように構成されたメモリカードまたは高速メモリをも含むことができる。トランシーバ355は、各デバイスがイメージを取り込まなければならないことを判定するために、他のイメージキャプチャデバイスと情報を通信するように構成され得る。
図3は、プロセッサ、イメージセンサー、およびメモリを含むために別々のコンポーネントを有するデバイスを示すが、当業者は、これらの別々のコンポーネントが特定の設計目標を達成するために様々な形で組み合わされ得ることを認めるはずである。たとえば、代替実施形態において、メモリコンポーネントは、コストを節約し性能を改善するためにプロセッサコンポーネントと組み合わされ得る。
さらに、図3は、複数のモジュールを含むメモリコンポーネント330と、作業メモリを含む別々のメモリ305とを含む2つのメモリコンポーネントを示すが、当業者は、異なるメモリアーキテクチャを利用する複数の実施形態を認めるはずである。たとえば、ある設計は、メモリ330内に含まれるモジュールを実施するプロセッサ命令の記憶のためにROMまたはスタティックRAMメモリを利用することができる。プロセッサ命令は、イメージプロセッサ320による実行を容易にするためにRAMにロードされ得る。たとえば、作業メモリ305は、RAMメモリを含むことができ、命令は、イメージプロセッサ320による実行の前に作業メモリ305にロードされる。
図4は、それぞれがパルス駆動される光出力(たとえば、それぞれ406a、411a、および416a)および露光ウィンドウ(たとえば、それぞれ407a、412a、および417a)を有するように構成された3つの光センサー/カメライメージングデバイス(深度感知システム)405、410、および415の例を示す図である。パルス駆動される光出力は、一般に、シーンを照らすレーザーパルスが発生する時の持続時間と定義され得る。露光ウィンドウは、一般に、シーンからの放射を感知するためにシーンに対してイメージングデバイス内のセンサーを露光する時間の持続時間と定義され得る。図4は、各イメージングデバイスのパルス駆動される光出力406a、411a、および416aが、他のデバイスとは異なる時刻に発生する例を示す。図4は、各イメージングデバイスの露光ウィンドウ407a、412a、および417aが、他のイメージングデバイスとは異なる時刻に発生することをも示す。
たとえば、図4は、3つの深度感知システム405、410、および415を示し、異なる深度感知システムが、レーザーパルスを作り、システムごとに異なる対応するカメラ露光時間を有する実施形態を示す。深度感知システム405は、イメージが獲得される時間期間中に、パルス幅時間期間1a、1b、…の間のレーザーパルス406a、406bと、対応する同一の(またはほぼ同一の)カメラ時間期間(露光ウィンドウ)407a、407bとを作る。深度感知システム410は、イメージが獲得される(たとえば、カメラ露光)時に、パルス幅時間期間2a、2b、…の間のレーザーパルス411a、411bと、対応する同一の(またはほぼ同一の)カメラ時間期間(露光ウィンドウ)412a、412bとを作る。深度感知システム415は、イメージが獲得される時に、パルス幅時間期間3a、3b、…の間のレーザーパルス416a、416bと、対応する同一の(またはほぼ同一の)カメラ時間期間(露光ウィンドウ)417a、417bとを作る。
イメージングデバイスのいくつかの実施形態において、レーザーは、絶えずまたは特定のフレームレートで放っているものとすることができる。イメージングデバイスの間の干渉を防ぐために、レーザーは、あるフレームレートの周期的なまたは非周期的なレーザーパルスを作るように動作させられ得、レーザーパルスの持続時間は、調整され得る。シーンを照らすための特定のフレームレートが、深度感知デバイスのすべてについて望まれる場合に、複数のイメージングデバイスは、1/フレームレートの時間を共有することができる。たとえば、シーン(または物体)をイメージングするための配置内に4つの深度感知デバイスがあり、各深度感知デバイスのフレームレートが毎秒1フレームである場合に、深度感知デバイスのそれぞれは、1/4秒のパルス長を作り、なおかつ所望の毎秒1フレームを達成することができる。この例において、深度感知デバイスは、シーンが別のデバイスによって照らされつつあることの反復検出に基づいて、そのパルス照明放出の開始を遅延させるように構成され、1/4秒のレーザーパルスを作り、所望の毎秒1フレームのフレームレートを達成する対応する露光ウィンドウを有するための時間を判定するために自己調整する(すなわち、他の深度感知デバイスと通信せずに)ことができる。そのようなプロセスは、グローバルシャッター(図4に示された)またはロールシャッター(図5に示された)を有するイメージングデバイスを有する構成について実施され得る。
したがって、様々な実施形態において、複数のカメラは、お互いに干渉せずに、使用可能な露光時間全体を共有することができる。たとえば、いくつかの実施形態において、深度感知システムは、シーンがそれ自体の深度感知との干渉を引き起こす光源(たとえば、他の深度感知システムのうちの1つからの)によって照らされていない時を感知し、照らされていない場合に、システムを照らし(たとえば、構造化光技術またはTOF技術を使用して)、投影された放射を感知するように構成され得る。深度感知システムが、シーンがそれ自体の深度感知プロセスと干渉する可能性がある光を含むことを検出する場合には、深度感知システムは、その照明の投影を遅延させ、次いで、シーンがそれ自体の深度感知プロセスに干渉する可能性がある光を含むかどうかをもう一度感知することに進行することができる。これは、深度感知システムが、シーンがその深度感知プロセスに干渉する光を含まないと判定するまで繰り返され得、次いで、シーンを照らし、投影された放射を感知することに進行することができる。いくつかの例において、遅延は、事前に決定されてもされなくてもよい、ある遅延期間にわたる。一貫する遅延期間を有することは、複数のデバイスの干渉のより簡単な解決を容易にすることができる。たとえば、図4に示されているように、深度感知システム405は、時間期間1a、2aなどの間にあるフレームレートで照明パルスを一貫して作りつつある。深度感知システム410が、第1のレーザーパルス406aを回避するために遅延し、次いで、時間期間2a中に深度感知システム405と同一のフレームレートで照らす場合に、その後続のパルス411bは、時間期間2b中にシーンを照らし、時間期間1b中に作られたレーザーパルス406bを回避する。そのような遅延プロセスは、深度感知システム415およびシーンのイメージングにかかわる他の追加の深度感知システムによっても実行され得る。この形で、複数の深度感知デバイスは、通信がデバイスの間で発生することなく、調整が別の制御するデバイス、たとえば深度感知システムがそれぞれシーンをイメージングする時を制御するために各深度感知システムと通信しているネットワークデバイスによって指示されることなく、他のデバイスと共にシーンの照明/感知を調整することができる。
他の例において、事前に決定されてもされなくてもよい、異なる持続時間の複数の遅延が、使用され得る。たとえば、持続時間を有する異なる負数の遅延の使用は、同様のフレームレートのうちの同一のフレームレートで深度感知アクションに進行することを両方が試みる、同一のまたは同様の開始時刻を有する2つのシステムの干渉を防ぐことができる。いくつかの例において、遅延は、動的に決定され、たとえば、繰り返す干渉を回避することを試みるために、ランダムに決定され得る。遅延持続時間は、1つの配置内の複数の深度感知システムの間の通信を伴わずに、各イメージングシステムによって自然に完全に決定され得る。
図5に、それぞれがパルス駆動される光出力およびカメラ露光ウィンドウ(時間の持続時間)を有するように構成された3つの光センサー/カメライメージングデバイス(深度感知デバイス)の例を示し、深度感知デバイスは、グローバルシャッターではなくロールシャッターを有する(パルス駆動される光出力は、本明細書では照明パルスと呼ばれる場合がある)。深度感知デバイスのうちの1つまたは複数がグローバルシャッターを有しない(たとえば、その代わりにロールシャッターを有する)いくつかの実施形態において、深度感知デバイスは、それでも、同一のシステム内で使用され、お互いに干渉しないように構成され、動作させられ得る。たとえば、いくつかの実施形態において、深度感知カメラは、それらが1つまたは複数の照明パルスを放ち始める時を調整するように構成され得、かつ/または照明パルスの長さを調整するように構成され得、かつ/または照明パルスフレームレートを調整するように構成され得る。たとえば、いくつかの実施形態において、深度感知デバイスの各々は、時間切り替えされまたは時間制御される(たとえば、より低いフレームレートを用いて)時を制御することができる。具体的には、深度感知デバイス505、510、および515は、それぞれ、パルス駆動される光出力(たとえば、それぞれ506aおよび506b、511aおよび511b、ならびに516aおよび516b)と、露光ウィンドウ(たとえば、それぞれ507aおよび507b、512aおよび512b、ならびに517aおよび517b)とを有するように構成される。
それぞれ各深度感知デバイス505、510、および515のパルス駆動される光出力506a、511a、および516aは、他の深度感知デバイスとは異なる時に発生する。深度感知デバイスが、一時にシーンの一部(たとえば、深度感知システム内のセンサー、たとえば図3内のセンサーアセンブリ315の1行に対応するシーンの水平セグメント)を露光するロールシャッターを有するので、露光ウィンドウは、台形の露光ウィンドウによって示されるように、シーンの異なる部分について異なる。深度感知デバイス505を参照すると、グローバルシャッター実施形態に関して図4内に示された実施形態に似て、レーザーパルスは、時間期間1a中にシーンまたはオブジェクトを照らし、露光ウィンドウも、時間期間1a中である。当業者が了解するように、ロールシャッターは、任意の瞬間にセンサーの一部だけを露光するので、他のすべての条件が等しい場合には、露光ウィンドウの全持続時間は、一般により長くなる。これは、ある個数のデバイスに関するより低い全体的なフレームレートの使用または、より少数のデバイスを使用し、あるフレームレートを維持することをもたらす。しかし、パルス長およびシーンを照らすパルスの放出の遅延の調整は、図4を参照して説明したように、また、本明細書の他所で説明されるように、実行され得る。
図6は、シーン、たとえば物体の3Dモデルを生成するためにイメージを作るための配置内の少なくとも1つの他の深度感知デバイスに関連して相互作用するために深度感知デバイスを追加することに関するプロセス600の例を示す流れ図である。これは、2つ以上の深度感知デバイスが、深度情報を含むイメージを作るために動作すると同時に、お互いに干渉しないようにするために、お互いに関連して働く2つ以上の深度感知デバイスの文脈で議論されるが、深度感知デバイスが、このプロセスが動作するために、直接にまたは間接にお互いと通信する必要はない。その代わりに、各深度感知デバイスは、照明パルスを放つ時を調整し、照明パルスの長さを調整し、かつ/または照明パルスを放つ周波数を調整するように構成され得る。プロセス600は、たとえば、本明細書内で開示されるデバイスのうちの1つまたは複数によって実行され得る。たとえば、プロセス600は、深度感知デバイス300(図3)の1つまたは複数のコンポーネントによって実行され得る。いくつかの実施形態において、プロセッサ350(コントローラと呼ばれる場合もある)は、デバイス追加プロセスを実行するためにメモリ(たとえば、作業メモリ305)内に記憶された命令を用いて構成され得る。
プロセス600は、ブロック605において開始され、ここで、深度感知デバイスは、シーンの深度情報を含むイメージを収集するために1つまたは複数の他の深度感知デバイスを伴う配置内に配置され得る。4つの深度感知デバイスを有する例の配置が、図1に示されている。プロセス600は、デバイスの配置内に追加される深度感知デバイスの各々に対して実行され得、追加されるデバイスの文脈で説明される。ブロック610において、プロセス600は、深度感知デバイスのカメラ(またはセンサー)をオンに切り替え、シーンの少なくとも一部の照明を感知する。いくつかの実施形態において、カメラは、シーン全体の放射を感知するように動作する。たとえば、カメラは、特定の深度感知デバイスに関して使用される放射(たとえば、IR、NIR、UV、または可視)に類似する放射を感知するように動作させられる。デバイスカメラをオンに切り替える(フルフレームシャッター)。
ブロック615において、プロセス600は、カメラが、配置内の別のアクティブ深度感知デバイスの存在を示す、関連する放射、この例においてはNIR光を検出したかどうかを判定する。プロセス600は、NIR以外のタイプの放射に同等に適用可能である。
ブロック625において、放射が検出されない場合に、プロセス600は、送信器をオンに切り替え、シャッターをたとえばパルス長に調整する。次いで、プロセス600は、ブロック645に継続し、ブロック645は、デバイスが追加されたことを示す。これは、配置に追加された第1の深度感知デバイスが、最初に追加される時に調整を全く行わない可能性があるが、その後、追加の深度感知デバイスが追加される時に調整を行う可能性があることを例示する。
ブロック620において、放射が検出される場合に、カメラシャッターが、レーザーパルス長に調整される。これは、たとえば図3に示されたキャプチャ制御モジュール335およびプロセッサ350によって集合的に行われ得る。
次いで、プロセス600は、ブロック630に継続し、カメラが、潜在的に干渉する放射(たとえば、NIR)がシーン内に存在するかどうかをもう一度判定する。放射がシーン内に存在する場合には、プロセス600はブロック635に継続する。潜在的に干渉する放射が検出されない場合には、プロセス600はブロック640に継続する。
ブロック635において、プロセスは、シーンを照らすプロセスにおいて別のデバイスを示すシーン内の放射と干渉しないように、フレームの始めすなわち照明パルスを送出する時および露光ウィンドウを時間においてシフトする。次いで、プロセス600は、ブロック630に戻って継続し、カメラがシーン内のNIRパワーを検出するかどうかをもう一度判定する。
ブロック640において、ここでシーン内に潜在的に干渉する放射がないことを検出したので、プロセス600は、送信器をアクティブ化し640、シーンを照らす。この点において、デバイスは、あるフレームレートで、あるレーザーパルス長を用いてシーンを照らし続けることができる。次いで、このプロセスは、別のプロセスに進行することができ、別のプロセスは、シーンを照らし、深度情報を関知する。フレームレートが変化する可能性があるいくつかの実施形態において、深度感知デバイスは、シーンを照らす前に潜在的に干渉する放射についてシーンを感知することができる。これは、毎回、周期的に、または別の感知スケジュールに従って、行われ得る。
ブロック645において、デバイスを追加するためのプロセス600は、終了する。
図7は、本明細書で開示されるシステムのうちの1つもしくは複数または他のシステムによって実行され得る、複数の深度感知カメラを調整する方法700の例を示す流れ図である。方法700は、少なくとも2つの深度感知デバイスを含む深度感知システム内でシーンの深度情報を含むイメージを取り込むための深度感知デバイス上で動作可能とすることができる。いくつかの実施形態において、図3に示されたデバイスが、図示の方法を実行することができる。
ブロック705において、方法700は、センサーを使用してシーンから反射された光を検出し、光は、シーンが深度感知デバイスによって照らされていることを示す。判断ブロック708において、光(別の深度感知デバイスを示す)がシーン内で検出されたるどうかを判定するために、感知された光が評価される。
ブロック710において、方法700は、深度感知デバイスのシャッター(たとえば、シャッターが開かれる時間)を検出されたレーザーパルス長に調整し、シーンからの光をもう一度感知し、ブロック715に進行する。これは、別のデバイスから投影される光の受信を回避するのに十分に短い期間にシャッターを調節するという影響を有し、両方のデバイスが、同一の全体的な時間枠内ですなわち、一方のデバイスがまず動作し、次いで完全にシャットダウンし、次いで第2のデバイスを動作させることなく、深度感知マップを形成するために働くことを可能にすることができる。
ブロック720において、シーンからの光が検出されない場合に、方法700は、露光ウィンドウ中に光の反射から情報を取り込むために深度感知デバイスのシャッターをアクティブ化し、ブロック730に進行する。
ブロック715において、方法700は、光がシーンから検出されるかどうかを判定する。現在光が検出されない場合には、方法700はブロック720に進行する。光がもう一度検出される場合には、この方法は、ブロック725に進行し、ここで、露光ウィンドウの開始および/またはシャッターが光を取り込むために開かれる時間に対して、さらなる調整を行うことができる。さらなる調整が行われた後に(たとえば、露光ウィンドウの開始を遅延させるために)、この方法は、ブロック725からブロック715に進行し、ここで、光がシーンから検出されるかどうかをもう一度判定し、この光は、動作し、シーンに光を投影する別の深度感知システムを示す。方法700は、光がシーンに存在するかどうかの感知を反復して繰り返し、光が検出されなくなるまで、露光ウィンドウの開始を遅延させ、かつ/またはシャッターウィンドウを調整することができる。
ブロック730において、方法700は、露光ウィンドウの間に送信器および受信器をアクティブ化し、パルス周波数を有し各パルスがパルス長を有する一連のパルス内でシーンに光を投影し、受信器を使用してシーンから投影された光を検出する。深度感知デバイスの送信器は、露光ウィンドウ中にシーンに光を投影する。これは、露光ウィンドウ中に光の反射から情報を取り込むために深度感知デバイスのシャッターをアクティブ化することを含み、投影された光は、パルス長およびパルス周波数を有する一連のパルスを含む。
システムの実施および用語法
本明細書内で開示される実施態様は、視差アーティファクトおよびチルトアーティファクトのない複数アパーチャアレイカメラのシステム、方法、および装置を提供する。当業者は、これらの実施形態をハードウェア、ソフトウェア、ファームウェア、またはその任意の組合せにおいて実施できることを認める。
いくつかの実施形態において、上で議論された回路、プロセス、およびシステムは、ワイヤレス通信デバイス内で使用され得る。ワイヤレス通信デバイスは、他の電子デバイスとのワイヤレス通信に使用される種類の電子デバイスとすることができる。ワイヤレス通信デバイスの例は、セルラー電話機、スマートフォン、携帯情報端末(PDA)、電子ブックリーダー、ゲームシステム、音楽プレイヤ、ネットブック、ワイヤレスモデム、ラップトップコンピュータ、タブレットデバイスなどを含む。
ワイヤレス通信デバイスは、1つまたは複数のイメージセンサー、2つ以上のイメージ信号プロセッサ、上で議論されたCNRプロセスを実行するための命令またはモジュールを含むメモリを含むことができる。デバイスは、データ、命令および/またはデータをメモリからロードするプロセッサ、1つまたは複数の通信インターフェース、1つまたは複数の入力デバイス、ディスプレイデバイスなどの1つまたは複数の出力デバイス、ならびに電源/インターフェースをも有することができる。ワイヤレス通信デバイスは、送信器および受信器をさらに含むことができる。送信器および受信器は、合同でトランシーバと呼ばれる場合がある。トランシーバは、ワイヤレス信号を送信し、かつ/または受信するために1つまたは複数のアンテナに結合され得る。
ワイヤレス通信デバイスは、別の電子デバイス(たとえば、基地局)にワイヤレスに接続され得る。ワイヤレス通信デバイスは、その代わりに、モバイルデバイス、移動局、加入者局、ユーザ機器(UE)、リモート局、アクセス端末、モバイル端末、端末、ユーザ端末、加入者ユニットなどと呼ばれる場合がある。ワイヤレス通信デバイスの例は、ラップトップコンピュータ、デスクトップコンピュータ、セルラー電話機、スマートフォン、ワイヤレスモデム、電子ブックリーダー、タブレットデバイス、ゲームシステムなどを含む。ワイヤレス通信デバイスは、第3世代パートナーシッププロジェクト(3GPP)などの1つまたは複数の産業標準に従って動作することができる。したがって、「ワイヤレス通信デバイス」という全般的な用語は、産業標準に従う変化する用語体系を用いて説明されるワイヤレス通信デバイスを含むことができる(たとえば、アクセス端末、ユーザ機器(UE)、リモート端末など)。
本明細書で説明される機能は、プロセッサ可読媒体またはコンピュータ可読媒体上の1つまたは複数の命令として記憶され得る。「コンピュータ可読媒体」という用語は、コンピュータまたはプロセッサによってアクセスされ得る任意の利用可能な媒体を指す。限定ではなく例として、そのような媒体は、RAM、ROM、EEPROM、フラッシュメモリ、CD-ROMもしくは他の光ディスク(disk)ストレージ、磁気ディスク(disk)ストレージデバイスもしくは他の磁気ストレージデバイス、あるいは所望のプログラムコードを命令またはデータ構造の形で記憶するために使用可能であり、かつコンピュータによってアクセス可能な任意の他の媒体を含むことができる。本明細書で使用されるディスク(diskおよびdisc)は、コンパクトディスク(disc)(CD)、レーザーディスク(登録商標)(disc)、光ディスク(disc)、デジタル多用途ディスク(disc)(DVD)、フロッピーディスク(disk)およびブルーレイディスク(登録商標)(disc)を含み、ディスク(disk)は、通常、データを磁気的に再生し、ディスク(disc)は、データをレーザーで光学的に再生する。コンピュータ可読媒体が、有形かつ非一時的とされ得ることに留意されたい。「コンピュータプログラム製品」という用語は、コンピューティングデバイスまたはプロセッサによって実行され、処理され、または計算され得るコードまたは命令(たとえば、「プログラム」)と組み合わされたコンピューティングデバイスまたはプロセッサを指す。本明細書で使用される時に、「コード」という用語は、コンピューティングデバイスまたはプロセッサによって実行可能な、ソフトウェア、命令、コード、またはデータを指すことができる。
ソフトウェアまたは命令は、伝送媒体を介して送信もされ得る。たとえば、ウェブサイト、サーバ、または他の遠隔ソースから、同軸ケーブル、光ファイバケーブル、より対線、デジタル加入者回線(DSL)、または赤外線、無線、およびマイクロ波などのワイヤレス技術を使用してソフトウェアが送信される場合、上記の同軸ケーブル、光ファイバケーブル、より対線、DSL、または赤外線、無線、およびマイクロ波などのワイヤレス技術は、伝送媒体の定義に含まれる。
本明細書で開示される方法は、説明される方法を達成するための1つまたは複数のステップまたはアクションを含む。方法ステップおよび/または方法アクションは、特許請求の範囲から逸脱することなく互いに交換され得る。言い換えると、ステップまたはアクションの特定の順序が、説明される方法の正しい動作のために要求されない限り、特定のステップおよび/またはアクションの順序および/または使用は、特許請求の範囲から逸脱することなく変更され得る。
「couple(結合する)」、「coupling(結合)」、「coupled(結合される)」という用語、またはこの語の他の変形形態は、本明細書で使用される時に、間接的な接続または直接的な接続のいずれかを示す場合があることに留意されたい。たとえば、第1のコンポーネントが第2のコンポーネントに「結合される」場合に、第1のコンポーネントは、第2のコンポーネントに間接的に接続されるか、第2のコンポーネントに直接的に接続されるかのいずれかとされ得る。本明細書で使用される時に、「plurality(複数)」という用語は、2つ以上を表す。たとえば、複数のコンポーネントは、2つ以上のコンポーネントを示す。
「determining(決定すること)」という用語は、様々なアクションを包含し、したがって、「決定すること」は、計算すること、コンピューティング、処理すること、導出すること、調査すること、ルックアップすること(たとえば、テーブル、データベース、または別のデータ構造内でルックアップすること)、確かめること、および類似物を含むことができる。また、「決定すること」は、受信すること(たとえば、情報を受信すること)、アクセスすること(たとえば、メモリ内のデータにアクセスすること)などを含むことができる。また、「決定すること」は、解決すること、選択すること、選ぶこと、確立すること、および類似物を含むことができる。
「based on(〜に基づいて)」という句は、そうではないと明示的に指定されない限り、「based only on(〜のみに基づいて)」を意味しない。言い換えれば、「〜に基づいて」という句は、「based only on(〜のみに基づいて)」と「based at least on(少なくとも〜に基づいて)」の両方を表す。
前述の説明において、特定の詳細が、例の完全な理解を提供するために与えられる。しかしながら、例がこれらの具体的な詳細なしに実践され得ることが、当業者には理解されよう。たとえば、不必要な詳細で例を不明瞭にしないために、電気コンポーネント/電気デバイスがブロック図で示される場合がある。他の事例では、例をさらに説明するために、そのようなコンポーネント、他の構造および技法が詳細に示される場合がある。
本明細書では、見出しは、参照のために、および様々なセクションを配置するのを助けるために含まれる。これらの見出しは、それに関して説明される概念の範囲を限定することを意図されたものではない。そのような概念は、本明細書全体を通して適用性を有することができる。
例が、プロセスとして説明される場合があり、プロセスが、フローチャート、流れ図、有限状態図、構造図、またはブロック図として示されることにも留意されたい。フローチャートは、動作を順次プロセスとして説明し得るが、動作の多くは、並列にまたは同時に実行され得、プロセスは、繰り返され得る。さらに、動作の順序は、並べ替えられ得る。プロセスは、その動作が完了した時に終了される。プロセスは、メソッド、関数、手続き、サブルーチン、サブプログラムなどに対応することができる。プロセスがソフトウェア関数に対応する時に、その終了は、呼出し側関数またはメイン関数への関数のリターンに対応する。
開示された実施態様の前の説明は、任意の当業者が本発明を作成しまたは使用することを可能にするために提供される。これらの実施態様に対する様々な修正が、当業者には容易に明らかになり、本明細書で定義される一般原理は、本発明の趣旨または範囲から逸脱することなく他の実施態様に適用され得る。したがって、本発明は、本明細書に示される実施態様に限定されることを意図されているのではなく、本明細書に開示される原理および新規な特徴と一致する最も広い範囲を与えられるべきである。
100a 送信器
100b 送信器
100c 送信器
100d 送信器
105a 構造化光
110a 構造化光
135 関心を持たれている物体(物体)
200 構造化光送信器
200a 受信器
200b 受信器
200c 受信器
200d 受信器
210 レーザー
215 コリメーティングレンズ
220 回折光学要素(またはマスク)
225 回折特徴
230 近赤外(NIR)光ビーム
300 受信器
305 作業メモリ
310 ストレージ
315 イメージセンサーアセンブリ
320 イメージプロセッサ
325 電子ディスプレイ
330 メモリ
335 キャプチャ制御モジュール
340 センサーモジュール
345 オペレーティングシステム
350 デバイスプロセッサ
355 トランシーバ
360 帯域フィルタ
405 光センサー/カメライメージングデバイス(深度感知システム)
406a パルス駆動される光出力
406b レーザーパルス
407a 露光ウィンドウ
407b カメラ時間期間(露光ウィンドウ)
410 光センサー/カメライメージングデバイス(深度感知システム)
411a パルス駆動される光出力
411b レーザーパルス
412a 露光ウィンドウ
412b カメラ時間期間(露光ウィンドウ)
415 光センサー/カメライメージングデバイス(深度感知システム)
416a パルス駆動される光出力
416b レーザーパルス
417a 露光ウィンドウ
417b カメラ時間期間(露光ウィンドウ)
505 深度感知デバイス
506a パルス駆動される光出力
506b パルス駆動される光出力
507a 露光ウィンドウ
507b 露光ウィンドウ
510 深度感知デバイス
511a パルス駆動される光出力
511b パルス駆動される光出力
512a 露光ウィンドウ
512b 露光ウィンドウ
515 深度感知デバイス
516a パルス駆動される光出力
516b パルス駆動される光出力
517a 露光ウィンドウ
517b 露光ウィンドウ
600 プロセス
700 方法

Claims (16)

  1. シーンの深度情報を含むイメージを取り込むための深度感知デバイスであって、
    シーンに光を投影することができる送信器であって、一連のレーザーパルスを含む光ビームを作ることができるレーザーを含み、各パルスは、パルス長を有し、一連のパルスは、パルス周波数で作られる、送信器と、
    既知の相対方位で前記送信器に結合された受信器であって、シャッターと、前記送信器によって投影され前記シーンから反射された光の感知に基づいてイメージを作ることができるセンサーアセンブリとを含む、受信器と、
    プロセッサを含み、前記送信器および前記受信器に結合されたコントローラであって、
    前記受信器からの第1のイメージに基づいて、少なくとも1つの他の深度感知デバイスを示す光が前記シーン内に存在すると判定することと、
    前記第1のイメージに基づく、前記光が前記シーン内に存在するとの判定に応答して、
    i)前記シーン内に存在すると判定された前記光との干渉を回避するために、前記一連のレーザーパルスのパルス長を制御し、
    ii)前記制御されたパルス長と同期するように前記シャッターの露光期間を調整し、
    iii)前記受信器からの次のイメージに基づいて、前記光が前記シーン内にまだ存在するかどうかを判定し、
    iv)前記光が前記シーン内にまだ存在するとの判定に応答して、
    露光ウィンドウの開始を遅延させ、
    前記受信器からの複数のイメージの次のイメージに基づいて、前記光が前記シーン内にまだ存在するかどうかを判定し続けることと、
    前記光が前記シーン内に存在しないとの判定に応答して、前記露光ウィンドウを開始することであって、前記露光ウィンドウは、前記制御されたパルス長で前記一連のレーザーパルスのレーザーパルスを作ることと、前記受信器が前記シーンから反射された前記レーザーパルスを感知するようにするために、前記露光期間の間前記シャッターをアクティブ化することとを含む、ことと
    を行うように構成される、コントローラと
    を含む深度感知デバイス。
  2. 前記レーザーは、近赤外(NIR)光ビームを作ることができ、
    前記送信器は、前記レーザーから放たれた前記NIR光ビームを受信するように位置決めされた光学要素をさらに含み、前記光学要素は、前記NIR光ビームが前記光学要素を介して伝搬する時に、既知の構造化光パターンを作るように構成された複数の特徴を含み、
    前記コントローラは、NIR受信器を使用して前記シーン内の構造化光パターンを示すNIR光の存在を判定するようにさらに構成される
    請求項1に記載の深度感知デバイス。
  3. 前記複数の特徴は、複数の回折光学特徴を含む、請求項2に記載の深度感知デバイス。
  4. 前記送信器は、飛行時間(TOF)送信器を含む、請求項1に記載の深度感知デバイス。
  5. 前記コントローラは、前記コントローラが前記シーン上に存在する構造化光パターンを示すNIR光がないと判定する場合に、前記シーンに構造化光パターンを投影するために前記送信器をアクティブ化し、前記NIR光ビームの前記パルス長に同期化されるように前記シャッターを調整するようにさらに構成される、請求項2に記載の深度感知デバイス。
  6. 前記コントローラは、前記コントローラが前記シーン上の構造化光パターンを示すNIR光の存在を判定する場合に、遅延期間の間にNIR光ビームを作ることから前記送信器を遅延させ、前記遅延期間の終りに、前記シーン上の構造化光パターンを示すNIR光の存在についてもう一度チェックするようにさらに構成される、請求項5に記載の深度感知デバイス。
  7. 前記シャッターは、ロールシャッターを含み、露光ウィンドウ中に、前記コントローラは、前記シーンが前記送信器によって投影された光によって照らされる時に、前記シーンを横切ってスキャンするために前記ロールシャッターをアクティブ化する、請求項1に記載の深度感知デバイス。
  8. 前記コントローラは、前記少なくとも1つの他の深度感知デバイスまたは別の同期化システムと通信することなく、露光ウィンドウを判定するように構成される、請求項1に記載の深度感知デバイス。
  9. 前記コントローラは、前記少なくとも1つの深度感知デバイスのうちの他のいずれかが前記シーンを照らす時とは時間的に異なる露光ウィンドウ中に前記送信器が前記シーンに光を投影するようにするために、前記シーン内の光の判定された存在に基づいて前記パルス周波数を調整するようにさらに構成される、請求項1に記載の深度感知デバイス。
  10. シーンの深度情報を含むイメージを取り込むための、深度感知デバイス上で動作可能な方法であって、
    センサーから受け取られた第1のイメージに基づいて、少なくとも1つの他の深度感知デバイスを示す光がシーン内に存在することを検出するステップと、
    前記第1のイメージに基づく前記光が前記シーン内に存在しないことの検出に応答して、露光ウィンドウ中に前記シーンに光を投影するために前記深度感知デバイスの送信器をアクティブ化し、前記露光ウィンドウ中に前記光の反射から情報を取り込むために前記深度感知デバイスのシャッターをアクティブ化するステップであって、前記送信器はレーザーを備え、前記投影された光は前記レーザーからのレーザービームを含み、前記レーザービームは、パルス長およびパルス周波数を有する一連のパルスを含む、アクティブ化するステップと、
    前記第1のイメージに基づく前記光が前記シーン内に存在することの検出に応答して、
    i)前記深度感知デバイスの前記シャッターを検出されたレーザーパルス長に調整し、
    ii)前記シーン内で検出された前記光との干渉を回避するために、前記調整されたシャッターと同期化された前記一連のレーザーパルスの前記パルス長を制御し、
    iii)受信器からの複数のイメージの次のイメージに基づいて、前記光が前記シーン内にまだ存在するかどうかを検出するステップと、
    iv)前記光が前記シーン内にまだ存在することの検出に応答して、
    調整された露光ウィンドウの開始を遅延させ、
    前記受信器からの前記複数のイメージの次のイメージに基づいて、前記光が前記シーン内にまだ存在するかどうかを判定し続けるステップと、
    前記光が前記シーン内に存在しないとの判定に応答して、前記調整された露光ウィンドウを開始するステップであって、前記調整された露光ウィンドウは、前記制御されたパルス長で前記一連のレーザーパルスのレーザーパルスを作ることと、前記受信器が前記シーンから反射された前記レーザーパルスを感知するようにするために、露光期間の間前記シャッターをアクティブ化することとを含む、開始するステップと
    を含む方法。
  11. 前記送信器は、近赤外(NIR)光ビームを作り、
    前記送信器は、レーザーから放たれた前記NIR光ビームを受信するように位置決めされた光学要素を含み、前記光学要素は、前記NIR光ビームが前記光学要素を介して伝搬する時に、既知の構造化光パターンを作るように構成された複数の特徴を含み、
    前記シーンから光を検出するステップは、前記受信器を使用して前記シーン内の構造化光パターンを示すNIR光の存在を検出するステップを含み、
    前記複数の特徴は、好適には複数の回折光学特徴を含む、
    請求項10に記載の方法。
  12. 前記送信器は、飛行時間(TOF)送信器を含む、請求項10に記載の方法。
  13. 前記シャッターは、ロールシャッターを含み、前記露光ウィンドウ中に、コントローラは、前記シーンが前記送信器によって投影された光によって照らされる時に、前記シーンを横切ってスキャンするために前記ロールシャッターをアクティブ化する、請求項10に記載の方法。
  14. コントローラは、前記少なくとも1つの他の深度感知デバイスまたは別の同期化システムと通信することなく、前記露光ウィンドウを判定する、請求項10に記載の方法。
  15. 前記少なくとも1つの深度感知デバイスのうちの他のいずれかが前記シーンを照らす時とは時間的に異なる露光ウィンドウ中に前記送信器が前記シーンに光を投影するようにするために、前記シーン内の光の判定された存在に基づいて前記パルス周波数を調整するステップをさらに含む、請求項10に記載の方法。
  16. 非一時的命令を含むコンピュータ可読記録媒体であって、前記非一時的命令は、深度感知デバイスの1つまたは複数のプロセッサにより実行されたときに、前記深度感知デバイスに、請求項10から15のいずれか一項に記載の方法を実行させる、コンピュータ可読記録媒体。
JP2016573487A 2014-06-20 2015-06-02 時間共有を使用する自動複数深度カメラ同期化 Active JP6517244B2 (ja)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201462015232P 2014-06-20 2014-06-20
US201462015358P 2014-06-20 2014-06-20
US62/015,358 2014-06-20
US62/015,232 2014-06-20
US14/599,248 US10419703B2 (en) 2014-06-20 2015-01-16 Automatic multiple depth cameras synchronization using time sharing
US14/599,248 2015-01-16
PCT/US2015/033695 WO2015195318A1 (en) 2014-06-20 2015-06-02 Automatic multiple depth cameras synchronization using time sharing

Publications (3)

Publication Number Publication Date
JP2017527777A JP2017527777A (ja) 2017-09-21
JP2017527777A5 JP2017527777A5 (ja) 2018-06-28
JP6517244B2 true JP6517244B2 (ja) 2019-05-22

Family

ID=54870855

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016573487A Active JP6517244B2 (ja) 2014-06-20 2015-06-02 時間共有を使用する自動複数深度カメラ同期化

Country Status (10)

Country Link
US (1) US10419703B2 (ja)
EP (1) EP3158286B1 (ja)
JP (1) JP6517244B2 (ja)
KR (1) KR102376285B1 (ja)
CN (1) CN106461783B (ja)
BR (1) BR112016029603A2 (ja)
CA (1) CA2951461A1 (ja)
ES (1) ES2690270T3 (ja)
HU (1) HUE039700T2 (ja)
WO (1) WO2015195318A1 (ja)

Families Citing this family (91)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9953428B2 (en) * 2015-03-03 2018-04-24 Microsoft Technology Licensing, Llc Digital camera unit with simultaneous structured and unstructured illumination
US10721420B2 (en) * 2015-06-02 2020-07-21 Intel Corporation Method and system of adaptable exposure control and light projection for cameras
US11300666B2 (en) 2016-04-13 2022-04-12 Oulun Yliopisto Distance measuring device and transmitter, receiver and method thereof
KR20180006782A (ko) * 2016-07-11 2018-01-19 삼성전자주식회사 영상의 초점을 제어하는 전자 장치와 이의 동작 방법
US10451713B2 (en) * 2016-09-16 2019-10-22 Analog Devices, Inc. Interference handling in time-of-flight depth sensing
AU2017336066B2 (en) * 2016-09-30 2022-04-14 Magic Leap, Inc. Projector with spatial light modulation
TWI678121B (zh) * 2016-10-20 2019-11-21 宏達國際電子股份有限公司 用於一燈塔定位系統之輔助裝置
US10033988B2 (en) * 2016-10-31 2018-07-24 Verizon Patent And Licensing Inc. Methods and systems for capturing depth data using frequency-segregated structured light
US10451714B2 (en) 2016-12-06 2019-10-22 Sony Corporation Optical micromesh for computerized devices
US10536684B2 (en) 2016-12-07 2020-01-14 Sony Corporation Color noise reduction in 3D depth map
KR20180065756A (ko) * 2016-12-08 2018-06-18 삼성전자주식회사 무인비행체를 제어하는 전자 장치 및 그 제어 방법
US10178370B2 (en) 2016-12-19 2019-01-08 Sony Corporation Using multiple cameras to stitch a consolidated 3D depth map
US10181089B2 (en) 2016-12-19 2019-01-15 Sony Corporation Using pattern recognition to reduce noise in a 3D map
US10495735B2 (en) 2017-02-14 2019-12-03 Sony Corporation Using micro mirrors to improve the field of view of a 3D depth map
US10795022B2 (en) 2017-03-02 2020-10-06 Sony Corporation 3D depth map
US10554958B2 (en) * 2017-03-13 2020-02-04 Microsoft Technology Licensing, Llc Systems and methods for interleaving multiple active camera frames
US10979687B2 (en) * 2017-04-03 2021-04-13 Sony Corporation Using super imposition to render a 3D depth map
CN108881885A (zh) * 2017-04-10 2018-11-23 钰立微电子股份有限公司 深度处理系统
KR101938668B1 (ko) * 2017-05-29 2019-01-15 엘지전자 주식회사 청소기 및 그 제어방법
US10830879B2 (en) 2017-06-29 2020-11-10 Apple Inc. Time-of-flight depth mapping with parallax compensation
US10627492B2 (en) * 2017-08-01 2020-04-21 Waymo Llc Use of extended detection periods for range aliasing detection and mitigation in a light detection and ranging (LIDAR) system
US11280908B2 (en) * 2017-08-15 2022-03-22 Black Sesame Technologies Inc. Obstacle detection by global shutter image sensor
US20190072771A1 (en) * 2017-09-05 2019-03-07 Facebook Technologies, Llc Depth measurement using multiple pulsed structured light projectors
EP3474541A1 (en) * 2017-10-17 2019-04-24 ams AG 3d camera system with rolling-shutter image sensor and array of addressable light sources
US10484667B2 (en) 2017-10-31 2019-11-19 Sony Corporation Generating 3D depth map using parallax
CN107911575B (zh) * 2017-11-02 2018-10-26 中国矿业大学 一种高精度低功耗多相机同步触发系统
CN108802746B (zh) * 2017-11-30 2024-02-13 北醒（北京）光子科技有限公司 一种抗干扰的测距方法及装置
US10809363B2 (en) * 2017-11-30 2020-10-20 Benewake (Beijing) Co., Ltd. Anti-interference ranging method and apparatus
CN108124466B (zh) * 2017-12-11 2021-12-17 达闼机器人有限公司 激光探测方法及系统
EP3704510B1 (en) 2017-12-18 2022-10-05 Apple Inc. Time-of-flight sensing using an addressable array of emitters
CN111758047B (zh) * 2017-12-26 2024-01-19 罗伯特·博世有限公司 单芯片rgb-d相机
CN109996057B (zh) * 2017-12-29 2021-06-18 技嘉科技股份有限公司 深度相机的控制方法及驱动装置
CN108174180B (zh) * 2018-01-02 2019-07-30 京东方科技集团股份有限公司 一种显示装置、显示系统及三维显示方法
EP3514574A1 (en) * 2018-01-19 2019-07-24 Koninklijke Philips N.V. Time-of-flight imaging system for autonomous movable objects
CN110072065B (zh) * 2018-01-23 2021-04-27 舜宇光学（浙江）研究院有限公司 适用于卷帘曝光深度相机的投射器工作时间控制方法及其应用
WO2019147829A2 (en) * 2018-01-24 2019-08-01 Cyberoptics Corporation Structured light projection for specular surfaces
CN108333859B (zh) * 2018-02-08 2024-03-12 宁波舜宇光电信息有限公司 结构光投射装置、深度相机以基于深度相机的深度图像成像方法
DE102018105219A1 (de) * 2018-03-07 2019-09-12 Ifm Electronic Gmbh Optisches Messsystem zur tiefensensitiven Messung und dessen Verwendung
DE102018203584A1 (de) * 2018-03-09 2019-09-12 Robert Bosch Gmbh Betriebsverfahren für ein LiDAR-System, Steuereinheit für ein LiDAR-System, LiDAR-System und Arbeitsvorrichtung
KR102549434B1 (ko) * 2018-04-02 2023-06-28 엘지전자 주식회사 깊이 센서 제어 시스템
US10330789B1 (en) * 2018-04-10 2019-06-25 Facebook Technologies, Llc Proximity sensor system with an infrared optical element
US10999524B1 (en) 2018-04-12 2021-05-04 Amazon Technologies, Inc. Temporal high dynamic range imaging using time-of-flight cameras
CN108955641B (zh) * 2018-04-23 2020-11-17 维沃移动通信有限公司 一种深度摄像方法、深度摄像设备及移动终端
CN108563084B (zh) * 2018-05-25 2020-10-23 深圳新亮智能技术有限公司 多结构光图案三维传感系统
CN109459738A (zh) * 2018-06-06 2019-03-12 杭州艾芯智能科技有限公司 一种多台tof相机相互避免干扰的方法及系统
CN108897000B (zh) * 2018-06-19 2022-02-08 北京旷视科技有限公司 一种串扰抑制方法、装置、电子设备和计算机可读介质
US10674063B2 (en) 2018-06-20 2020-06-02 Amazon Technologies, Inc. Synchronizing time-of-flight cameras
US10708484B2 (en) * 2018-06-20 2020-07-07 Amazon Technologies, Inc. Detecting interference between time-of-flight cameras using modified image sensor arrays
US10549186B2 (en) 2018-06-26 2020-02-04 Sony Interactive Entertainment Inc. Multipoint SLAM capture
WO2020001041A1 (zh) 2018-06-28 2020-01-02 Oppo广东移动通信有限公司 深度处理器和三维图像设备
US11287262B2 (en) 2018-07-13 2022-03-29 Labrador Systems, Inc. Visual navigation for mobile devices operable in differing environmental lighting conditions
US10901310B2 (en) * 2018-07-24 2021-01-26 Qualcomm Incorporated Adjustable light distribution for active depth sensing systems
US10681338B1 (en) 2018-07-24 2020-06-09 Amazon Technologies, Inc. Detecting interference in depth images captured using overlapping depth cameras
KR102473494B1 (ko) 2018-08-17 2022-12-02 삼성전자주식회사 심도센싱장치 및 심도센싱장치의 동작 방법
US10812731B2 (en) * 2018-08-22 2020-10-20 Qualcomm Incorporated Adjustable receiver exposure times for active depth sensing systems
CN112702541B (zh) * 2018-08-22 2023-04-18 Oppo广东移动通信有限公司 控制方法及装置、深度相机、电子装置及可读存储介质
CN108965732B (zh) * 2018-08-22 2020-04-14 Oppo广东移动通信有限公司 图像处理方法、装置、计算机可读存储介质和电子设备
US10732285B2 (en) * 2018-09-26 2020-08-04 Qualcomm Incorporated Multi-phase active light depth system
US11212456B2 (en) * 2018-12-21 2021-12-28 Sony Group Corporation Synchronized projection and image capture
CN109788195B (zh) * 2019-01-04 2021-04-16 Oppo广东移动通信有限公司 电子设备和移动平台
CN109660733B (zh) * 2019-01-04 2021-04-16 Oppo广东移动通信有限公司 电子设备和移动平台
CN109618085B (zh) * 2019-01-04 2021-05-14 Oppo广东移动通信有限公司 电子设备和移动平台
CN109587303B (zh) * 2019-01-04 2021-07-30 Oppo广东移动通信有限公司 电子设备和移动平台
CN109729250B (zh) * 2019-01-04 2021-04-30 Oppo广东移动通信有限公司 电子设备和移动平台
CN109660732B (zh) * 2019-01-04 2021-07-23 Oppo广东移动通信有限公司 电子设备和移动平台
CN109660731B (zh) * 2019-01-04 2021-04-23 Oppo广东移动通信有限公司 电子设备和移动平台
WO2020149981A1 (en) * 2019-01-17 2020-07-23 Gentex Corporation Alignment system
CN109862275A (zh) * 2019-03-28 2019-06-07 Oppo广东移动通信有限公司 电子设备和移动平台
CN113905671A (zh) * 2019-05-30 2022-01-07 皇家飞利浦有限公司 编码的同步的医学介入图像信号和传感器信号
CN110198409B (zh) * 2019-05-30 2021-07-09 Oppo广东移动通信有限公司 终端的控制方法及控制装置、终端及计算机可读存储介质
US11500094B2 (en) 2019-06-10 2022-11-15 Apple Inc. Selection of pulse repetition intervals for sensing time of flight
CN110266394B (zh) * 2019-06-10 2021-08-31 Oppo广东移动通信有限公司 调节方法、终端及计算机可读存储介质
US11555900B1 (en) 2019-07-17 2023-01-17 Apple Inc. LiDAR system with enhanced area coverage
US11438486B2 (en) 2019-08-26 2022-09-06 Qualcomm Incorporated 3D active depth sensing with laser pulse train bursts and a gated sensor
WO2021054342A1 (ja) * 2019-09-20 2021-03-25 ソニー株式会社 情報処理装置および制御方法
CN110850426B (zh) * 2019-11-20 2022-02-11 浙江光珀智能科技有限公司 一种tof深度相机
US11733359B2 (en) 2019-12-03 2023-08-22 Apple Inc. Configurable array of single-photon detectors
US20210255327A1 (en) * 2020-02-17 2021-08-19 Mediatek Inc. Emission And Reception Of Patterned Light Waves For Range Sensing
US11277551B2 (en) * 2020-04-03 2022-03-15 Qualcomm Incorporated Multiple optical path imaging techniques and shared emitter for active depth sensing techniques
EP4191998A4 (en) * 2020-07-29 2024-01-03 Jvckenwood Corp INFRARED IMAGE CAPTURE DEVICE AND INFRARED IMAGE CAPTURE SYSTEM
JP7000511B1 (ja) 2020-07-31 2022-01-19 株式会社東芝 レーダ装置および電波干渉低減方法
JP7260513B2 (ja) * 2020-08-20 2023-04-18 京セラ株式会社 測距装置、車両及び測距方法
CN112098979A (zh) * 2020-09-16 2020-12-18 青岛维感科技有限公司 一种多台tof相机联合工作防干扰方法、tof相机及电子设备
WO2022080014A1 (ja) * 2020-10-13 2022-04-21 ソニーセミコンダクタソリューションズ株式会社 センサ制御システム及びセンサ
CN112729114A (zh) * 2020-12-29 2021-04-30 广州艾目易科技有限公司 一种具有多通讯方式的光学定位方法及系统
US11528434B1 (en) 2021-02-09 2022-12-13 Verily Life Sciences Llc Pulsed light imaging using rolling shutter image sensors
US11800056B2 (en) 2021-02-11 2023-10-24 Logitech Europe S.A. Smart webcam system
US11800048B2 (en) 2021-02-24 2023-10-24 Logitech Europe S.A. Image generating system with background replacement or modification capabilities
JP2022138211A (ja) * 2021-03-10 2022-09-26 オムロン株式会社 物体検出システム、制御装置
US11681028B2 (en) 2021-07-18 2023-06-20 Apple Inc. Close-range measurement of time of flight using parallax shift
CN114643580B (zh) * 2022-03-29 2023-10-27 杭州海康机器人股份有限公司 一种机器人控制方法、装置及设备

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6445814B2 (en) * 1996-07-01 2002-09-03 Canon Kabushiki Kaisha Three-dimensional information processing apparatus and method
EP1262751B1 (de) * 2001-06-01 2011-04-06 Ivoclar Vivadent AG Vorrichtung und Verfahren zur Lichtanalyse
US20050082480A1 (en) 2003-08-26 2005-04-21 Aegis Semiconductor, Inc. Infrared camera system
DE50307744D1 (de) * 2003-10-29 2007-08-30 Fraunhofer Ges Forschung Abstandssensor und verfahren zur abstandserfassung
US20070285554A1 (en) * 2005-10-31 2007-12-13 Dor Givon Apparatus method and system for imaging
US8471892B2 (en) * 2006-11-23 2013-06-25 Z. Jason Geng Wide field-of-view reflector and method of designing and making same
CN101453662B (zh) 2007-12-03 2012-04-04 华为技术有限公司 立体视频通信终端、系统及方法
GB0921461D0 (en) 2009-12-08 2010-01-20 Qinetiq Ltd Range based sensing
US8730309B2 (en) 2010-02-23 2014-05-20 Microsoft Corporation Projectors and depth cameras for deviceless augmented reality and interaction
JP5696872B2 (ja) * 2010-03-26 2015-04-08 アイシン精機株式会社 車両周辺監視装置
US8896668B2 (en) 2010-04-05 2014-11-25 Qualcomm Incorporated Combining data from multiple image sensors
US20110273379A1 (en) * 2010-05-05 2011-11-10 Google Inc. Directional pad on touchscreen
US9247238B2 (en) 2011-01-31 2016-01-26 Microsoft Technology Licensing, Llc Reducing interference between multiple infra-red depth cameras
EP2487504A1 (en) * 2011-02-10 2012-08-15 Technische Universität München Method of enhanced depth image acquisition
US20120249740A1 (en) * 2011-03-30 2012-10-04 Tae-Yon Lee Three-dimensional image sensors, cameras, and imaging systems
SG10201408609SA (en) * 2011-06-30 2015-02-27 Microsoft Technology Licensing Llc Reducing latency in video encoding and decoding
TWI450156B (zh) * 2011-07-15 2014-08-21 Wistron Corp 光學影像式觸控裝置與觸控影像處理方法
US20130095920A1 (en) 2011-10-13 2013-04-18 Microsoft Corporation Generating free viewpoint video using stereo imaging
KR101854188B1 (ko) 2011-10-25 2018-05-08 삼성전자주식회사 3차원 영상 획득 장치 및 3차원 영상 획득 장치에서 깊이 정보 산출 방법
US8523076B2 (en) * 2012-01-10 2013-09-03 Metrologic Instruments, Inc. Omnidirectional laser scanning bar code symbol reader generating a laser scanning pattern with a highly non-uniform scan density with respect to line orientation
KR101975971B1 (ko) * 2012-03-19 2019-05-08 삼성전자주식회사 깊이 카메라, 다중 깊이 카메라 시스템, 그리고 그것의 동기 방법
US10477184B2 (en) 2012-04-04 2019-11-12 Lifetouch Inc. Photography system with depth and position detection
US9207070B2 (en) * 2012-05-24 2015-12-08 Qualcomm Incorporated Transmission of affine-invariant spatial mask for active depth sensing
CN108345006B (zh) 2012-09-10 2022-04-08 广稹阿马斯公司 捕捉运动场景的设备、装置和系统
US9625994B2 (en) * 2012-10-01 2017-04-18 Microsoft Technology Licensing, Llc Multi-camera depth imaging
US20150002734A1 (en) * 2013-07-01 2015-01-01 Motorola Mobility Llc Electronic Device with Modulated Light Flash Operation for Rolling Shutter Image Sensor

Also Published As

Publication number Publication date
CA2951461A1 (en) 2015-12-23
HUE039700T2 (hu) 2019-01-28
KR20170017927A (ko) 2017-02-15
CN106461783B (zh) 2019-10-25
JP2017527777A (ja) 2017-09-21
WO2015195318A1 (en) 2015-12-23
EP3158286B1 (en) 2018-07-18
ES2690270T3 (es) 2018-11-20
CN106461783A (zh) 2017-02-22
EP3158286A1 (en) 2017-04-26
US20150373322A1 (en) 2015-12-24
BR112016029603A2 (pt) 2017-08-22
KR102376285B1 (ko) 2022-03-17
US10419703B2 (en) 2019-09-17

Similar Documents

Publication Publication Date Title
JP6517244B2 (ja) 時間共有を使用する自動複数深度カメラ同期化
US10049458B2 (en) Reducing interference between multiple infra-red depth cameras
US9047514B2 (en) Apparatus, system and method for projecting images onto predefined portions of objects
EP3367661A1 (en) Method and system for using light emissions by a depth-sensing camera to capture video images under low-light conditions
US10051196B2 (en) Projecting light at angle corresponding to the field of view of a camera
US9049369B2 (en) Apparatus, system and method for projecting images onto predefined portions of objects
WO2017006780A1 (ja) 情報処理装置および方法、並びにプログラム
US10962764B2 (en) Laser projector and camera
CN112739980A (zh) 多阶段有源光深度系统
US10509125B2 (en) Method and device for acquiring distance information
KR20230141774A (ko) 고해상도 비행 시간 깊이 이미징
US20200018592A1 (en) Energy optimized imaging system with synchronized dynamic control of directable beam light source and reconfigurably masked photo-sensor
US20240127401A1 (en) Active depth sensing
US20240070886A1 (en) Mixed-mode depth imaging
US9736387B2 (en) Irradiation device, irradiation method, and program for switching irradiation regions
US20160191878A1 (en) Image projection device
WO2021041318A1 (en) 3d active depth sensing with laser pulse train bursts and a gated sensor
US20240163563A1 (en) Lighting control for multi-view image capture
WO2024081491A1 (en) Active depth sensing
Chan et al. Light-Efficient Holographic Illumination for Continuous-Wave Time-of-Flight Imaging
JP6209746B2 (ja) 画像投影装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180516

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180516

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190220

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190325

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190417

R150 Certificate of patent or registration of utility model

Ref document number: 6517244

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250