JP6386194B2 - ステレオカメラと構造化光とを使用したヘッドマウントディスプレイでの深度マッピング - Google Patents

ステレオカメラと構造化光とを使用したヘッドマウントディスプレイでの深度マッピング Download PDF

Info

Publication number
JP6386194B2
JP6386194B2 JP2017549761A JP2017549761A JP6386194B2 JP 6386194 B2 JP6386194 B2 JP 6386194B2 JP 2017549761 A JP2017549761 A JP 2017549761A JP 2017549761 A JP2017549761 A JP 2017549761A JP 6386194 B2 JP6386194 B2 JP 6386194B2
Authority
JP
Japan
Prior art keywords
light pattern
cells
cell
structured light
laser
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017549761A
Other languages
English (en)
Other versions
JP2018509632A (ja
JP2018509632A5 (ja
Inventor
ロマーノ、ニタイ
グロッシンガー、ナダブ
アルパーン、ヤイル
アロン、エミル
ラズ、ガイ
Original Assignee
フェイスブック,インク.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by フェイスブック,インク. filed Critical フェイスブック,インク.
Publication of JP2018509632A publication Critical patent/JP2018509632A/ja
Publication of JP2018509632A5 publication Critical patent/JP2018509632A5/ja
Application granted granted Critical
Publication of JP6386194B2 publication Critical patent/JP6386194B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/271Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • G06F3/0325Detection arrangements using opto-electronic means using a plurality of light emitters or reflectors or a plurality of detectors forming a reference frame from which to derive the orientation of the object, e.g. by triangulation or on the basis of reference deformation in the picked up image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • G06F3/0317Detection arrangements using opto-electronic means in co-operation with a patterned surface, e.g. absolute position or relative movement detection for an optical mouse or pen positioned with respect to a coded surface
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145Illumination specially adapted for pattern recognition, e.g. using gratings
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/28Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/25Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/254Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8806Specially adapted optical and illumination features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/12Acquisition of 3D measurements of objects
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01SDEVICES USING THE PROCESS OF LIGHT AMPLIFICATION BY STIMULATED EMISSION OF RADIATION [LASER] TO AMPLIFY OR GENERATE LIGHT; DEVICES USING STIMULATED EMISSION OF ELECTROMAGNETIC RADIATION IN WAVE RANGES OTHER THAN OPTICAL
    • H01S5/00Semiconductor lasers
    • H01S5/005Optical components external to the laser cavity, specially adapted therefor, e.g. for homogenisation or merging of the beams or for manipulating laser pulses, e.g. pulse shaping
    • H01S5/0085Optical components external to the laser cavity, specially adapted therefor, e.g. for homogenisation or merging of the beams or for manipulating laser pulses, e.g. pulse shaping for modulating the output, i.e. the laser beam is modulated outside the laser cavity
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01SDEVICES USING THE PROCESS OF LIGHT AMPLIFICATION BY STIMULATED EMISSION OF RADIATION [LASER] TO AMPLIFY OR GENERATE LIGHT; DEVICES USING STIMULATED EMISSION OF ELECTROMAGNETIC RADIATION IN WAVE RANGES OTHER THAN OPTICAL
    • H01S5/00Semiconductor lasers
    • H01S5/40Arrangement of two or more semiconductor lasers, not provided for in groups H01S5/02 - H01S5/30
    • H01S5/42Arrays of surface emitting lasers
    • H01S5/423Arrays of surface emitting lasers having a vertical cavity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0081Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Description

本開示は、概して、構造化光を用いた3次元深度マッピングに関し、より詳細には、限定するものではないが、追跡のためのシステムに関する。
コンピュータの前の3次元被写界でスタイラス及び指を追跡することは利用可能であり、様々な追跡技術を使用する。追跡技術には、とりわけ、視覚画像化および赤外線画像化および超音波が含まれ得る。「追跡(tracking)」という用語は、3次元空間における対象の位置および動きをたどることを指し、位置または動きを決定するために追跡コンピュータで受承される入力の処理を含む。例えば、コンピュータマウスの場合、追跡は、動きを決定するためにマウス出力を処理することを含み得る。視覚的にたどられる対象の場合、追跡という用語は、対象を捕捉する連続するフレームの画像処理を含むことができる。画像化の1つの方法は、単にカメラを使用してシーンを見て処理することである。カメラは、シーン内に配置された特定のマークをたどることができ、または画像化システムは、指などの特定の認識可能なフィーチャを探すことができる。そのような視覚的な画像化の欠点は、三次元領域が十分に照射されているという要件を含むことである。さらに、追跡できる唯一のフィーチャは、予め認識されているフィーチャであり、フィーチャの認識と組み合わせた動きの追跡は、正確な結果をもたらさない可能性がある。これらの問題を克服するために、構造化光を用いた追跡が導入されてきた。
構造化光を用いた追跡では、既知の画素パターンが、追跡が行われる局所領域に投影される。パターンが衝突面上で変形する様式は、視覚システムがシーン内の対象の深さおよび表面情報を計算することを可能にする。使用される典型的なパターンは、グリッド、水平バーまたは垂直バーのような1つまたは複数の構造化光素子を含む。他の実施形態では、構造化光パターンは、円、三角形、角度付きバー、またはそれらの任意の組み合わせのような他の規則的な幾何学要素を含むことができる。様々なデバイスは、構造化光パターンを使用して、ジェスチャ認識および3D深度マッピングの使用を可能にする。構造化光パターン送信機は、レーザエミッタと回折光学素子(DOE)とを含む。
狭い帯域の光を3次元的に成形された面上に投影すると、プロジェクタのものよりも他の視点(perspectives)からゆがんだように見える照明線が生成され、表面形状の正確な幾何学的再構成に使用することができる。
より高速で汎用的な方法は、多くのバーを含むパターン、または任意のフリンジを一度に投影することであり、これは多数のサンプルを同時に取得することを可能にするからである。異なる視点から見ると、パターンは対象の表面形状によって幾何学的に歪んで見える。
構造化光の投影の他の多くの変形が可能であるが、平行なバーのパターンが広く使用されている。バーの位置を変えることにより、対象の面上の任意の細部の3次元座標の正確な復元を可能にする。
ストライプパターン生成の1つの既知の方法は、2つの広い平面レーザビームフロントを使用するレーザ干渉法である。ビームフロント間の干渉は、規則的で等距離の線パターンをもたらす。これらのビーム間の角度を変えることによって、異なるパターンサイズを得ることができる。この方法は、無限の被写界深度を有する非常に微細なパターンの正確かつ容易な生成を可能にする。欠点としては、実施コストが高く、ビームの理想的な幾何学的形状を提供することが困難であり、スペックルノイズや対象から反射されるビーム部分の自己干渉の可能性などのレーザの典型的な影響が挙げられる。さらに、グレイコードによってなど、個々のバーを変調する手段は存在しない。
具体的には、端面発光型レーザダイオードのような単一の光源エミッタを使用することの欠点は、それが生成する光パターンが単一の構成単位としてのみしか制御できないという事実である。これは、光パターンを完全にオン、オフ、または薄暗くすることができる一方で、光パターンを動的に変更することができないことを意味する。
構造化光パターンは、赤外光のような不可視光を用いて構成することができる。あるいは、フレームレートが高いと、構造化光をユーザに感知されないようにすることができるか、またはコンピュータの他の視覚的タスクを妨害しないようにすることができる。
垂直共振器型面発光レーザ(VCSEL)は、個々のチップをウェーハからへき開することにより形成された表面から放射する従来の端面発光型半導体レーザとは異なり、レーザビームの放射が上面から垂直であるタイプの半導体レーザダイオードである。
端面発光型レーザとは対照的に、VCSELを製造することにはいくつかの利点がある。端面発光型のものは、製造工程が終了するまで検査することはできない。仮に端面発光型のものが接触不良または材料成長不良のために適切に機能しない場合、製造時間および処理材料が無駄になってしまう。VCSELは、工程全体を通していくつかの段階で検査して、材料品質および処理上の問題をチェックすることができる。例えば、エッチング中にビアから誘電体材料が完全に除去されていない場合、最上部の金属層が初期金属層と接触していないことを確認するために一時的な検査工程を使用することができる。さらに、VCSELがレーザの活性領域に対して垂直にビームを放出するので、数万個のVCSELを3インチ(7.62cm)のガリウム砒素ウェーハ上で同時に処理することができる。さらに、VCSEL製造工程がより多くの労力を必要とし材料を必要としても、歩留まりをより予測可能な結果に制御することができる。
VCSELレーザアレイの使用が構造化光送信機のサイズの縮小を可能にする点で構造化光システム用のVCSELレーザアレイの使用には重要な利点がある。このサイズの縮小は、携帯電話やウェアラブルデバイスなどのサイズ制限のあるデバイスに送信機を組み込む場合に特に重要である。
しかしながら、上述の利点にもかかわらず、VCSELアレイは、多くの理由から構造化光走査システムには現在使用されていない。多くの回折パターンは、高分解能の追跡に必要な高密度パターンを生成するために、コヒーレントなガウシアンビームを必要とする。VCSELアレイは、互いに隣り合って配置された多数の個々のガウシアンビームを提供するだけであり、通常それらの間に重なりがある。複数の点およびそれらの間の重なりは、光パターンにおける高密度領域における検出性能を低下させ、予め定義されたガウシアンビームを必要とする様々な回折設計技術の使用を制限する。そのような設計には、トップハット設計、ホモジニアスラインジェネレーター(Homogeneous line generator)およびその他の複雑な高性能構造が含まれる。
実際に標準的な回折設計に伴う問題点は、VCSELレーザアレイ全体が単一の光源として使用されることである。したがって、複数スポット設計を使用する場合、集束ガウシアンビームを有する代わりに各スポットについてアレイ画像が得られる。ガウシアンビームを入力として必要とする回折設計では、必要な出力を得ることができないであろう。これらの光パターンでは、フィーチャを分離するために光源ビームを小さなスポットに集束させる必要があり、光源がレーザのアレイである場合にはそれが不可能であるため、この問題は高密度の光パターンではより深刻になる。
本実施形態は、VCSELレーザアレイのようなレーザアレイを提供する。レーザアレイの個々のレーザは、個別にまたはグループ単位で変調される。個々のレーザまたはレーザのグループは、必要に応じて構造化光パターンを生成および変更するために、静的または動的に変調されてもよい。
一緒に変調されるレーザのアレイまたはレーザのグループ内の各レーザには、それ自体の光学素子が備えられている。個々のレーザまたはレーザのグループに関連する光学素子は、典型的には、回折素子である。回折素子は、全体的な構造化光パターンが所与の状況に対して選択され、および/または関心領域を動的にたどることができるように個別に制御することができる。
本開示は、構造化光パターンを生成するための装置を提供する。構造化光パターンは、光をパターンで3次元(3D)空間に投影するように構成されたレーザのアレイと、複数の光学素子とを含む装置によって生成される。各光学素子は、VCSELレーザアレイの個々のセルを画定する。各セルは、VCSELレーザアレイのそれぞれのサブセットと位置合わせされる。各セルの光学素子は、構造化光パターンの識別可能な部分を生成するために、光学素子を通過する光に個別に変調を加える。一実施形態では、レーザエミッタまたはレーザエミッタのアレイは、適切なドライバによって独立してオンまたはオフに切り替えることができるレーザエミッタの行または列などのレーザエミッタのいくつかのサブセットにグループ化され、従って、修正可能なパターンを作製する。別の実施形態では、レーザエミッタの切り替え可能なサブセットは、偶数行と奇数行の2つの切り替え可能なグループに集めることができる。
光変調は、回折変調、屈折変調、または回折変調と屈折変調のいくつかの組み合わせのいずれかを含むことができる。一実施形態では、光学素子およびそれぞれのセルを含むレーザアレイのサブセットは、単一の成形素子から構成されている。別の実施形態では、セルの幅は1mm以下である。さらに別の実施形態では、光学素子の幅は1mm以下であり、セルは回折変調を変更するために個々に制御可能である。
セルは、外部制御装置またはプロセッサからの1つまたは複数の命令を受信することに基づいて、生成された構造化光パターンを動的に変更するように構成されてもよい。すなわち、セルに関連する1つまたは複数の回折特性は、受信されたデータに従って動的に変更されてもよい。局所領域からの複数の画素を含む捕捉されたフレームを分析し、追跡を最適化するために新しいレーザ構成に到達させることができる。一実施形態では、構造化光エミッタに関連するセルは、生成された構造化光素子の位置および形状に関してさらに制御可能である。一実施形態では、動的制御は、構造化光パターンの増大した解像度をシーンの一部に適用し、構造化光パターンの低減した解像度をシーンの他の部分に適用するように、構成可能である。他の実施形態では、構造化光パターンに対する動的変更は、構造化光パターンまたは構造化光パターンを含む構造化光素子の向きの変更を含む。構造化光パターンに対する動的変更は、光アレイに関連する1つまたは複数のセルのセルごとの変更をもたらし得る。すなわち、投影されたパターンおよび/または生成されたパターンにおける動的変更は、複数のセル内の特定のセルにおける対応する変更と関連付けられる。変更は、発光強度、偏光、フィルタリングパラメータ、および焦点を含む光学機能の変更の1つまたは複数であり得る。
他に定義されない限り、本明細書で使用される全ての技術用語および/または科学用語は、本発明が属する技術分野の当業者によって一般的に理解されることと同じ意味を有する。本明細書に記載された方法および材料と同様のまたは均等な方法および材料を本発明の実施形態の実施または試験に使用することができるが、例示的な方法および/または材料を以下に記載する。矛盾する場合、定義を含む特許明細書が優先される。さらに、材料、方法、および実施例は例示のみのものであり、必ずしも制限することを意図するものではない。
一実施形態に従う、パターン化された光を使用する3D追跡のための構造化光エミッタ(SLE)の概略図である。 一実施形態に従う、1つまたは複数の光のパターンを用いて局所領域を照射するSLEを示す。 図2Aに示されたSLEの簡略化された概略図を示し、ここでは、一実施形態に従って、1つのセルが2つ以上のレーザエミッタを備え、具体的には図示されている場合では3つのレーザエミッタを備えている。 図2Aに示されたSLEの簡略化された概略図を示し、ここでは、一実施形態に従って、異なるセルが異なる設計および異なる向きを有している。 図2Aに示されたSLEの簡略化された概略図を示し、ここでは、一実施形態に従って、各セルは、必ずしも別個のタイル構造で編成されていない、パターンの様々な光フィーチャを生成する役割を果たす。 一実施形態に従う、例示的な追跡システムを示す簡略化された概略図である。 一実施形態に従う、光学素子、LPA、および特定の方向に光ビームを方向付けるためのフィーチャを含むSLEを示す。 一実施形態に従う、入射光ビームを集束するための光学素子を含むSLEを示す。 一実施形態に従う、入射光ビームを成形する(shaping)ためのSLEを示す。 一実施形態に従う、手と平行に配向された複数の水平バーを含む光パターンによって追跡される手を示す。 一実施形態に従う、複数の垂直バーを含む光パターンによって追跡される手を示す。 一実施形態に従う、水平から垂直へのバーの向きの変更を示す。 一実施形態に従う、水平から垂直へのバーの向きの変更を示す。 一実施形態に従う、水平バーの密度の増加を示す。 一実施形態に従う、投影パターンの形状の変更を示す。 一実施形態に従う、強度の変更を示す。 図2Aに示されたSLEの簡略化された概略図を示し、ここでは、一実施形態に従って、明るい対象および暗い対象を追跡している。 一実施形態に従う、1つまたは複数のセルのパターンを修正するための手順を示す簡略化されたフローチャートである。
図面は、例示のみを目的として、本開示の実施形態を示す。当業者であれば、以下の説明から、本明細書で説明した構造および方法の代替実施形態を、本明細書に記載の原理または利点から逸脱することなく使用できることを容易に認識するであろう。
図1は、一実施形態に従う、パターン化された光を使用する3D追跡のための構造化光エミッタ(structured light emitter)(SLE)100の概略図である。SLE100は、構造化光のようなパターン化された光を放射するように構成された光生成アレイ(light producing array)(LPA)110を含む。1つまたは複数の実施形態では、LPA110は、レーザエミッタ120のような複数の光源を含むレーザアレイである。SLE100は、光学素子140も含む。様々な実施形態では、光学素子140は複数のセル160を含む。各セル160は、回折素子として構成されるとともに特定のレーザエミッタ120と位置合わせされており、それにより、複数のセル160の個々のセルが、対応するレーザエミッタ120によって放射される光を変調する。セル160の拡大表示180は、それぞれが固有の回折パターンを有する4つのセル160を示す。SLE100は、LPA110から構造化光パターンを生成することができる。1つまたは複数の実施形態では、生成された構造化光パターンは、対象およびその空間内の局所領域の部分を追跡するために3D空間に投影される。本明細書で使用されるように、生成されたパターンは、構造化光パターンと関連していると仮定される。
LPA110は、重なりを有する複数のガウシアンビームを生成し、それは、生成された光パターンの高密度領域における検出性能を低下させ、所定のガウシアンビームを必要とする様々な回折設計技術の使用を制限する。例えば、回折設計技術は、トップハット設計、ホモジニアスラインジェネレーターおよびその他の複雑な高性能構造を含むことができる。LPA110は、1つまたは複数のレーザエミッタ120を備えることができる。レーザエミッタ120は、電磁波スペクトルの赤外(IR)部分、可視(RGB)部分または紫外(UV)部分にてガウシアンレーザビームを放射するように構成されたVSCELレーザであってもよい。
LPA110は、LPA110内の各レーザエミッタ120が個別にまたはグループで動作するように、外部コントローラ(図示しない)を備えて構成されてもよい。例えば、個々のレーザエミッタ120は、静的にまたは動的に変調され、必要に応じて特定のレーザエミッタ120に関連する放射された光を提供し、変更する。LPAの使用により、有意な利点が得られる。例えば、個々のレーザエミッタ120を含むLPA110の使用は、SLE100のサイズを縮小し、SLE100が、例えば、携帯電話やその他のウェアラブルデバイスのようなサイズ制限を有するデバイスに埋め込まれることを可能にする。
一緒に変調される各レーザエミッタ120またはレーザエミッタ120のグループは、光学素子140と関連する1つまたは複数のセル160と位置合わせされてもよい。例えば、レーザエミッタ120によって生成された光は、セル160を通過し、セル160は、セル160の各サブセットが構造化光パターン(パターン)の識別可能な部分を提供するように、通過する光に回折変調を適用するように構成される。様々な実施形態では、光学素子140は、同光学素子140の面がLPA110の面と平行になるように、SLE100に隣接する面上に配置される。他の実施形態では、光学素子140の幅は1ミリメートル以下である。
本明細書で使用されるサブセットは、セル160と関連するレーザエミッタ120とのグループ、対、三つ組(triplet)、組み合わせ、および動的に変化する組み合わせの1つの構成要素を含むことに注目することが重要である。1つまたは複数の実施形態では、複数のレーザからなる各グループは独立して切り替え可能である。すなわち、セルおよび関連するレーザエミッタの各サブセットは、図3に関連して以下においてさらに説明されるコントローラによって独立して制御可能であり得る。
図1に示されるように、光学素子140の表面は、1つまたは複数のセル160に分割されていてもよい。光学素子140の各セル160は、単一のレーザエミッタ120または外部コントローラ(図示しない)を介して共に制御される複数のレーザエミッタ120のサブグループの上に配置され得る領域を示している。グループまたはサブグループ内のレーザエミッタ120は、他のグループまたはサブグループのレーザエミッタ120とは別個にて、一緒に制御されることに留意されたい。
光学素子140に関連するセル160は、制御可能な光学回折素子である。すなわち、固有の回折パターンを各セル160に対して設計することができる。いくつかの実施形態では、セル160は、屈折光学素子または屈折光学素子および回折光学素子のいくつかの組み合わせを含む。1つまたは複数の実施形態では、各セルは、それを通過する生成された光に個別に回折変調を適用する。
一実施形態では、セル160の幅は1ミリメートル以下である。光学素子140のセル160は、外部コントローラ(図示しない)によって動的にも静的にも個別に制御することができる。このような構成のセル160は、アレイの異なる部分で異なる光パターンを提供して、全体的な構造化光パターンを所与の状況に対して選択することができ、および/または関心領域を動的にたどることができる。セル160によって生成される光パターンは、バー、グリッドおよびドットのような構造を含むことができ、図2A〜図2Dおよび図6A〜図6Eに関連して以下に詳細に説明する。以下において、「セル」という用語は、単一のレーザで動作可能な面または投影されたパターンの特定の部分を提供するために一緒に動作される複数のレーザエミッタ120の任意のグループで動作可能な面に関する。セル160の構造および動的制御は、以下においてさらに説明される。便宜上、回折光学素子は、本明細書では、回折光学素子、屈折光学素子、または回折光学素子と屈折光学素子との任意の組み合わせを意味すると理解される。
固有の回折パターンを各セル160に対して設計することができ、構造化光パターンの任意の部分の作製を可能にする。例えば、セル160によって生成され得る回折パターンは、セル160の回折パターンを通過するレーザエミッタ120によって生成された光を含む。拡大表示180は、4つのセル160からなるグループを示し、明るい部分は屈折素子を表し、暗い部分は回折素子を表す。セル160の回折パターンを通過する光は、構造化光のサブパターンおよび全体パターンを生成することができ、各個別セル160を通過する光によって生成されるパターンから形成することができる。例えば、全体パターンは、セル160または光学素子140に関連する複数のセル160のサブセットによって生成された個々のフィーチャの位置合わせのために、タイリング(tiling)、オーバーラップ、または他の方法によって生成される。
セル160の回折パターンは、少なくとも2つの光学機能の組み合わせによって決定される。1つまたは複数の実施形態では、第1の光学機能は、構造化光画像全体における光フィーチャの位置を決定する位置決め機能であり、光を方向付けるために1つまたは複数の光学素子を利用することができる。例えば、位置決め機能は、関連するレーザエミッタ120によって放出され、続いてセル160を通過する光の経路を変更するために、プリズムブレーズド格子を利用する。第2の光学機能は、生成された光フィーチャの形状に関することであってもよい。一例として、そのような光学機能には、ラインジェネレーター、マルチスポットパターン、または生成された光パターンのサブフィーチャを含む他のフィーチャが含まれる。
追加の光学機能をセル160に関連付けることもできる。これらの追加の光学機能には、強度、焦点距離、偏光、および位相が含まれる。上記した光学機能は網羅的なリストではなく、他の種類の光学機能についても当業者に明らかであろう。また、上記した光学機能または光学機能の組合せは、光学素子140に関連する1つのセル160またはセル160の組み合わせによって実現されてもよいことにも留意されたい。
LPA110に対するセル160を含む光学素子140の設計された位置に応じて、任意のパターンを生成することができる。例えば、1つまたは複数のレーザエミッタ120によって生成された隣接するガウシアンビームは、単一の光源パースペクティブ(perspective)として回避するために組み合わされる。別の実施形態では、セル160は、1つまたは複数のセル160に関連する1つまたは複数の光学機能の組み合わせを変調することによって動的パターンを生成することができる。例えば、各セル160は、それに適用される電流または電圧の波形を変調することによって個々に制御されるように制御され得る。1つまたは複数の実施形態では、電流または電圧の波形が、モバイルデバイスに関連付けられたプロセッサなどの外部コントローラ(図示しない)から受信される。外部コントローラまたはプロセッサは、図3に関連して以下においてさらに説明される。
様々な実施形態において、セル160は、生成された構造化光パターンに変更を提供するべく動的に制御されるように構成される。例えば、セル160を動的に制御して、セル160の回折パターンを変更することができる。様々な実施形態では、生成されたパターンを変更して、シーンの様々な部分の解像度を増加または減少させることができる。例えば、パターンは、決定された関心レベルが高いことに基づいて解像度を増加させるように変更してもよい。あるいは、決定された関心レベルが低い場合、生成されたパターンを変更して解像度を低下させることができる。他の実施形態では、生成されたパターンは、強度、偏光、密度、焦点距離、フィルタリングパラメータ、または当業者に明らかな他の任意の光フィーチャのうちの少なくとも1つを増加または減少させるように変更されてもよい。1つまたは複数のセル160への動的変更は、セル毎の変更を含む。すなわち、投影されたパターンおよび/または生成されたパターンにおける動的変更は、特定のセルにおける対応する変更に関連する。SLE100によって生成され得るパターンについては、図6A〜6Eに関連して以下においてさらに説明される。
決定された関心レベルに基づいて三角測量および深さ推定に関するさらなる詳細を提供するために、パターンの異なる部分を瞬間的に変更してもよいことに留意されたい。すなわち、セル160は、LPA110の初期構成で捕捉されたフレームに関連する受信データに応じて動的に変更することができる。例えば、2次元(2D)画素アレイを含むフレームは、LPA110の初期構成を用いて捕捉される。受信されたフレームが分析され、プロセッサ(図示しない)が新しい(news)初期LPA110の構成を決定し得る。この新しいLPA110構成は、サイクルが続くにつれて次の段階のための新しい初期LPA110構成となる。一例が図8に関連して以下に図示され、説明される。
一実施形態では、生成された光パターンの強度は、典型的には変更される。生成されたパターンの強度は、生成された光パターンの一部または全てにわたって変更されてもよい。例えば、局所領域の一部は入射光によって明るく照射され、局所領域の他の部分は薄暗く照射される。上記の例では、高強度の光は、局所領域の明るく照射された部分に向けられ、低強度の光は、薄暗く照射された領域に向けられる。強度変調の他の形態は、LPA110に関連する1つまたは複数のセル160またはセル160に関連するレーザエミッタ120の1つまたは複数のサブセットを同時にまたは連続的にオンまたはオフ状態に切り替えることを含むことができる。様々な実施形態では、生成された光パターンの変調が電力を節約するために使用される。
他の実施形態では、対象の正確な追跡および深さ認知を可能にするために、生成された密度または向きを変更して局所領域の異なるビューを提供することができる。特定の配向の例では、局所領域のフィーチャは、所与の方向においてより効果的に照明され得る。追加の光パターンについては、図5および図6に関連して以下においてさらに詳細に説明する。
図2A〜図2Dはそれぞれ、一実施形態に従う局所領域上に光パターンを生成するSLE200の様々な実施形態を示す簡略化された概略図を示す。SLE200は、図1に関連して上述したSLE100の実施形態であり、LPA110を含む複数のセル211〜219と、光学素子140とを備える。図2A〜2Dにおいて、SLE200は、9つの異なるセル(例えば、セル211〜219)を含み、各セル211〜219は、図1に関連して上述したセル160の実施形態である。すなわち、各SLE200は、対応するセル211〜219と位置合わせされた1つまたは複数のレーザエミッタ120を含むLPA110を含む。他の実施形態では、SLE200は、本明細書に記載されたものより多くの、またはより少ないセルを含み得る。
図2Aは、一実施形態に従う、1つまたは複数の光パターンを用いて局所領域を照らしているSLE200を示す。一実施形態によれば、SLE200は、LPA(例えば、LPA110)及び光学素子(例えば、光学素子140)を備える。図1に関連して上記したように、LPA110は、1つまたは複数のレーザエミッタ120を備え、各レーザエミッタ120は、対応するセル(例えば、セル211〜219の1つ)に結合される。各セル211〜219は、前方投影において局所領域220の異なる局所領域タイル(例えば、局所領域タイル221〜219)に光を当てる。例えば、セル211は局所領域タイル221に光を当てる。同様に、セル219は局所領域タイル229に光を当てる。局所領域220では、各局所領域タイル(例えば、221〜229)が異なるパターンを有することに留意すべきである。様々な実施形態では、すべての局所領域タイル221〜219は、完全な光パターンを形成するために統合される。
セル211〜219は、SLE100を含むレーザエミッタ120と位置合わせされる。各セル211〜219は、同各セル211〜219が構造化光媒体(medium)の識別可能な部分を投影するように、セルを通過する光に回折変調を個々に適用する。セルは、その回折変調を変更させるために個々に制御されてもよい。したがって、生成されたパターンの異なる部分は異なる場合があり、またはシーンの異なる部分が構造化光素子の異なる密度を含むことがある。各セル211〜219および対応するレーザエミッタ(図示しない)は一緒になって、1つの対応する局所領域タイルに光を投射する。例えば、セル211は、3つの水平バーを含む局所領域タイル221上に光パターンを投影し、セル219は、隣接する局所領域タイル222、224および225を照らすことはない。同様に、セル216は、3つの水平バーを含む局所領域タイル226上に光パターンを投影し、セル216は、隣接する局所領域タイル222、223、225、228および229を照らすことはない。全ての投影されたタイル(例えば、局所領域タイル221〜220)は一緒になって、局所領域220上に完全な光パターンを形成する。図2Aにおいて、局所領域タイル221上にパターンが図示されており、残りの局所領域タイル上のパターンは簡略化のために省略されている。
図2Bは、図2Aに示されたSLE200の簡略化された概略図を示し、ここでは、セル211〜219は2つ以上のレーザエミッタを含む。図2Bにおいて、SLE200は、局所領域220上にパターンを投影するように構成されている。SLE200によって投影されたパターンは、図2Aの投影パターンの変更例を示し、局所領域タイル221〜229上にセル211〜219によって生成された個々のパターンをタイリングすることによって形成されている。セル211は局所領域タイル221を照射し、セル213は局所領域タイル223を照射する。同様に、セル214および216は局所領域タイル224および226をそれぞれ照射する。図2Bにおいて、各セル211〜219は、局所領域タイル221〜219の異なる三つ組(triplet)を照射する。三つ組は、パターンを共有する局所領域タイル221〜229の列(row)である。図2Bに示されるように、局所領域220は、3つの三つ組のセットを含む。例えば、局所領域タイル221〜223は1つの三つ組を含み、局所領域タイル224〜226は別の三つ組を含み、局所領域タイル227〜229は第3の三つ組を含む。三つ組内の局所領域タイル221〜229は、隣接する三つ組内の局所領域タイルとは異なるパターンを共有する。例えば、第1の三つ組221〜223の局所領域タイルは、点線の水平バーによってそれぞれ分離された2つの実線の水平バーのパターンを含む一方で、第2の三つ組、局所領域タイル224〜227、を含む局所領域タイルはバーを含んでいない。様々な実施形態において、局所領域タイル221〜219の1つまたは複数の三つ組の組み合わせは、1つの完全なパターンを含む。
図2Cは、図2Aに示されたSLE200の簡略化された概略図を示し、ここで、異なるセルが異なる設計および異なる向きを有している。図2CのSLE200は、局所領域220上に光パターンを投影するように構成されている。投影された光パターンは、セル211〜219によって投影される1つまたは複数の光パターンを含んでいてもよい。異なるセル211〜219は、水平バー230および垂直バー240のような異なる設計および異なる向きを有することに留意すべきである。図2Cにおいて、各セル211〜219は、局所領域220内の1つまたは複数の局所領域タイル221〜229を照らす。
セル211〜219は、アスペクト比を含む可変サイズの局所領域220上に光パターンを投影することができる。図2Cにおいて、局所領域220は、様々なサイズの正方形および長方形を含む光パターンを含む。様々な実施形態では、個々の局所タイル221〜229の寸法にかかわらず、局所領域220の面積は一定に保たれる。一例として、特定の局所領域タイル229の面積が拡張される場合、局所領域220の総面積が維持されるように、1つまたは複数の他の局所領域タイル221〜228の面積が比例して低減される。あるいは、特定の局所領域タイル221〜229の面積が低減する場合、局所領域220内の1つまたは複数の残りの局所領域タイル221〜219の面積は比例して増大する。例えば、大きな長方形の局所タイル224は、正方形タイル221の面積の低減を引き起こす。同様に、例えば、大きな長方形の局所タイル225は、局所領域タイル226が小さな長方形を形成するように、同局所領域タイル226のサイズおよびアスペクト比の変更をもたらす。さらに、セル211〜219は、設定された角度だけタイルを回転させることによって、照射された局所領域タイル221〜229の向きを変更することができる。いくつかの実施形態では、必要なタイルサイズ、アスペクト比、および向きは、プロセッサ(図示しない)およびイメージャ(図示しない)によってリアルタイムで計算される。プロセッサおよびイメージャについては、以下においてさらに説明する。
図2Dは、図2Aに示されたSLE200の簡略化された概略図を示し、ここで、各セルは、必ずしも別々のタイル構造で編成されていないパターンの様々な光フィーチャを生成する役割を果たす。図2DのSLE200は、異なるセル211〜219によって投影されたパターンが異なる設計を有するように、局所領域220にパターンを投影するように構成されている。図2Dにおいて、各セル211〜219は1つまたは複数の局所領域タイル221〜229を、光フィーチャ250を備えて照射するように構成されている。図2Dは、1つの実線の水平バーと2つの破線の水平バーとを含む光フィーチャ250で照射された局所領域タイル221〜223を示し、局所領域タイル224〜229はブランクである。いくつかの実施形態では、光フィーチャは、任意の数の水平バー、垂直バー、または他の形状(例えば、不規則な多角形)であってもよい。更なる光フィーチャについては、図6に関連して以下に記載される。他の実施形態では、投影されるパターンは、異なる設計、異なる向き、またはそれらの任意の組み合わせを有することができることに留意されたい。
図3は、一実施形態に従う、例示的な追跡システム300を示す簡略化された概略図である。追跡システム300は、局所領域330内の1つまたは複数の対象を追跡する。追跡システム300は、レーザ光を生成するLPA310と、生成されたレーザ光を変調する光学素子320とを含み、局所領域330を照射する。LPA310、光学素子320および局所領域330は、光軸340に沿って配置される。いくつかの実施形態では、LPA310および光学素子320は、SLE100の実施形態に関連付けられる。図3はまた、局所領域330についての情報を追跡するとともにコントローラ360にフィードバックを提供するためのイメージャ(imager)350を含む。コントローラ360は、イメージャ350からデータを受信し、LPA310および光学素子320に電圧および/または電流波形を生成して、局所領域330を照射する。
LPA310および光学素子320は、LPA110および光学素子140の実施形態である。様々な実施形態において、LPA310は、光の波長範囲(すなわち、「光の帯域」)でコヒーレントな光学ビームを生成する。LPA310によって生成される光の例示的な帯域は、可視帯域(約380nm〜750nm)、赤外(IR)帯域(約750nm〜1500nm)、紫外帯域(1nm〜380nm)、それらのいくつかの組み合わせの電磁スペクトルの別の部分を含む。生成されたレーザ光は、その後、LPA310によって生成されたレーザ光を変調する光学素子320を介して局所領域330に伝送され得る。様々な実施形態において、LPA310および光学素子320は、生成されたレーザ光を投影するように構成され、生成されたレーザ光は、局所領域330に投影される。変調されたレーザ光は、2Dまたは3Dの局所領域330の全てまたは一部を照射する。例えば、LPA310は、ガウシアンレーザビームを生成するVCSELレーザのアレイを含み、同ガウシアンレーザビームはその後光学素子320によって変調され、局所領域330を照らす。1つまたは複数の実施形態では、変調されたレーザは、1組の水平バー、複数の垂直バー、または規則的な幾何学的形状を表す。LPA310および光学素子320の実施形態は、図1および図2に関連して、上でさらに説明されている。
光学素子320に関連する任意の特定のセルは、生成されるビームの位置、位相、焦点、形状、強度、または偏光を修正することを可能にする。上記は網羅的なリストではなく、他の変更は当業者には明らかであろう。さらに、光学機能は、単一の光学素子によって、または図4に関連して以下においてさらに説明するように、複数の光学素子によって利用されてもよい。
イメージャ350は、局所領域330の全てまたは一部を監視するように構成される。様々な実施形態において、イメージャ350は、局所領域330を監視し、局所領域330の1つまたは複数のフレームを捕捉する。イメージャ350は、1つまたは複数のデジタルフレームを捕捉するように構成されたデジタルカメラ、または相補型金属酸化膜シリコン(CMOS)アレイのような任意のイメージセンサであってもよい。例えば、イメージャ350は、静止フレームを捕捉するように構成されたデジタルカメラ、または局所領域330の1つまたは複数のフレームのシーケンスを捕捉するように構成されたデジタルビデオカメラである。様々な実施形態では、イメージャ350は、可視、IR、UV、またはそのいくらかの組合せにおいてフレームを捕捉し、捕捉された1つまたは複数のフレームをコントローラ360に送信する。様々な実施形態では、イメージャ350は、LPA310が動作している電磁帯域と同じ電磁帯域にて1つまたは複数のフレームを捕捉するように構成されることに留意すべきである。すなわち、LPA310がIR帯域の1つのパターンを投影している場合、イメージャ350はそのIR帯域にてフレームを捕捉するように構成されている。いくつかの実施形態では、捕捉されたフレームは、デジタル画像を編成し格納する標準化された手段を表すファイル形式でコントローラ360に送信することができる。例えば、捕捉されたフレームは、JPEG(Joint Photographic Experts Group)ファイル、BMP(bitmap)ファイル、またはPNG(potable network graphics)ファイルとして送信されてもよい。別の例では、イメージャ350は、適切なビデオファイルフォーマットにて一連の捕捉されたフレームを送信する。様々な実施形態では、イメージャ350によって生成される画像フレームは、非圧縮、圧縮、またはベクトルフォーマットのデータを含む。イメージャ350によって捕捉された1つまたは複数のフレームは、コントローラ360に送信される。
コントローラ360は、イメージャ350およびLPA310の両方に接続される。コントローラ360は、LPA310によって生成された光を変調するために、電圧または電流波形を生成するように構成されてもよい。一実施形態では、コントローラ360によって生成される電圧または電流波形は、LPA310によって生成される光を変調するための1つまたは複数の命令であり、コントローラ360は、LPA310に命令を送信するように構成される。例えば、コントローラ360は、LPA310に関連する1つまたは複数のレーザを制御するように構成される電流源、電圧源、および電子フィルタを含んでいてもよい。他の実施形態では、コントローラ360は、光学素子320を含む1つまたは複数のセル160を含んで、光学素子320を動的に制御するように構成されてもよい。例えば、コントローラ360は、光学素子320を含むLPA310に命令を与えて、1つまたは複数の垂直バー、1つまたは複数の水平バー、またはLPA310に関連するレーザによって生成される光を回折することによって光学素子320によって生成することができる任意のその他の形状を含むパターンにて局所領域330を照射する。1つまたは複数の実施形態では、光学素子320への命令は、同光学素子320に関連する複数のセル160の1つまたは複数のサブセットへの命令を含む。従って、光学素子320に関連するセルを動的に制御して、構造化光パターンに変更を提供することができる。
さらに他の実施形態では、コントローラ360は、LPA310および光学素子320に命令を与えて、光学素子320によって生成されたパターンに関連する1つまたは複数の光学機能を変更することができる。例えば、コントローラ360は、LPA310への命令を提供し、LPA310に関連するレーザエミッタの1つまたは複数のサブセットを独立して制御してもよい。LPA310のサブセットは、2つ以上のレーザエミッタ120を含むことに留意されるべきである。一実施形態において、対応するセル160および光学素子320をそれぞれ含む2つ以上のレーザエミッタを含むLPA310のサブセットは、単一の成形素子(molded element)から構成されている。
コントローラ360は、追跡を改善するために光変調を追跡および実行することに関連する1つまたは複数のプロセスを実行するように構成された外部コントローラ、または携帯電話などのデジタルプロセッサであってもよい。例えば、コントローラ360は、光学素子320を含むLPA310によって生成される光パターンに関連する1つまたは複数の光学機能を修正するための命令を提供する。一実施形態では、コントローラ360は、イメージャ350からフレームを受承し、受承したフレームを分析し、LPA310および光学素子320に1つまたは複数の命令を送信するように構成されており、照射される局所領域をそれに応じて変調する。生成されたパターンを修正するための命令は、追跡を改善するために生成されたパターンの方向付け、集束または成形(shaping)を含むことができる。他の実施形態では、プロセッサは、同時に、連続的に、またはイメージャ350と協調して、オンまたはオフ状態に切り替えるために、LPA310の1つまたは複数のサブセットに命令を提供することができる。受承するステップ、分析するステップ、送信するステップは、図8に関連して以下においてさらに記載されている。
図4Aは、一実施形態に従う、光ビームを特定の方向に向けるための光学素子410、LPA420、およびフィーチャ430を含むSLE400を示す。SLE400はSLE100の一実施形態であり、LPA420および光学素子410はそれぞれLPA110および光学素子140の実施形態を表す。図4Aに示すように、光学素子410は、LPA420によって生成された入射光ビームを、光学素子410から突出する1つまたは複数のフィーチャ430を介して導く。入射光ビームは、光学素子410の前体(front body)415から出現する複数のフィーチャ430から反射する。一実施形態では、1つまたは複数のフィーチャ430からの光の反射は、光ビームの方向の変化を引き起こす。他の実施形態では、フィーチャ430の配置に依存して、光は、屈折、回折または屈折および回折の組み合わせによって導かれ得る。いくつかの実施形態では、光学素子410は、光学素子140の実施形態であり、LPA420によって生成された入射光ビームを反射、回折、屈折させるように構成された1つまたは複数のセル160を含むことに留意されたい。他の実施形態において、光学素子410に関連するセル160は、入射光ビームの反射、回折、屈折の組み合わせを実行する。図4Aに示すように、歯状の形状が下向きに傾斜する上面と水平な下面とを有するフィーチャ430の鋸歯形状は、光の下方への湾曲を引き起こす。当業者であれば容易に理解できるように、他の実施形態では、光が他の方向に向けられるようにフィーチャ430を構成することができる。
図4Bは、一実施形態に従う、入射光ビームを集束するための光学素子410を含むSLE405を示す。SLE405は、図1に関連して上述したSLE100の実施形態である。SLE405は、LPA420によって生成された入射光ビームを集束するように構成された構造440を含む。構造440は、光学素子410と、前体415から出現する複数のフィーチャ430とを含む。構造440は、光ビームを点460に集束させるように構成されている。図4Bにおいて、構造450に関連するフィーチャ430は、鋸歯形状に構成されているが、歯状のフィーチャ430の向きは、構造440の下半分において切り換えられている。2組のフィーチャ430の間のフィーチャ430は、その焦点が焦点460と一致するように平凸レンズとして構成されている。このような構造440は、ビームの上半分と下半分に当たる入射光ビームからの光線を焦点460で合流させる。中心を通過する光線は、フィーチャ430によって形成されたレンズの焦点にて収束する。すなわち、構造450は凸レンズの機能を模倣する(emulate)。他の実施形態では、構造450は、構造450の後ろに位置する焦点450を有する凹レンズの機能を模倣するように構成されていてもよい。
図4Cは、一実施形態に従う入射光ビームを成形するためのSLE407を示す。SLE407は、SLE100の一実施形態であり、LPA420によって生成される光ビームと、光ビームを成形するために前体415から出現する表面470を含む光学素子410とを含む。光学素子の表面470を画定するために、予め設定されたランダム関数が使用される。様々な実施形態において、表面470は、光学素子410に関連する1つまたは複数のセル(例えば、セル160)を介して実現されてもよいことに留意されたい。セル160に関連する反射特性、回折特性、または反射特性と回折特性の任意の組合せは、表面470を生成することができる。例えば、光学素子410に関連するセルは、入射光ビームの角度に基づいて建設的干渉および相殺的干渉の組み合わせを提供するように構成される。他の実施形態(図示しない)では、構造440に関連する1つまたは複数のフィーチャ(例えば、フィーチャ430)を利用して、表面470を実現し、入射光ビームを成形することができる。成形された入射光ビームは、入射光ビームの空間フィルタリングを提供することができる。例えば、入射光ビームの方向性を高めるために、空間フィルタリングを使用することができる。別の実施形態では、表面470を使用して、局所領域330を照射するために入射光ビームを散乱させることができる。当業者によって容易に理解されるように、様々な他の実施形態では、表面470は、入射光ビームに対する他の空間フィルタリング特性を提供するために使用されてもよい。
1つまたは複数の実施形態では、光学素子140およびフィーチャ430を備える構造440は、図4A〜図4Cに関連して上述したSLE400、401および402によって実施される1つまたは複数の光学機能を組み合わせるように構成される。例えば、1つまたは複数の実施形態では、3つの光学素子140を含む構造440が、LPA110によって生成されたビームを集束し、下方に曲げて、成形されてもよい。様々な実施形態において、焦点、形状等の光学的機能は、局所領域内に固有のパターンを生成するべく、1つまたは複数の光学素子140を使用して構造440によって実施される。さらに、いくつかの実施形態では、図4A〜4Cの一部または全てからの構成要素の一部または全ては、組み合わされてもよい。例えば、SLE400は、表面470を有する光学素子410に結合された光を発する構造440に結合された光を発することができる。
図5Aは、一実施形態に従う、手510に平行に配向された複数の水平バー520を含む光パターンによって追跡される手510を示す。図5Aにおいて、水平バー520を含む生成された光パターンに関連する1つまたは複数の水平バーが指の軸と一致することが明らかである。したがって、データを含む決定された情報は制限されており、局所領域(例えば、手510が追跡されている)における対象の形状を識別し追跡することは困難である。しかしながら、指はシステムがコマンドとして使用するジェスチャを提供することができるので、指は、多くの場合、重要な関心点である。例えば、追跡された1つまたは複数のジェスチャに基づいて、システムは自動的にバーの向きを変更する(例えば、水平から垂直へ、または垂直から水平へ)。他の実施形態では、生成された光パターンは、SLE(例えば、SLE100)に関連付けられた光学素子140によって生成された一組の構造化光である。構造化光の例には、水平または垂直バー、グリッド、または局所領域に当たるときに変形するように構成された他の幾何学的対象を含む光パターンが含まれる。さらなる生成された光パターンを以下に説明する。
図5Bは、一実施形態に従う、複数の垂直バー530を含む光パターンによって追跡される手510を示す。垂直バー530は、手510に関連する指の軸に垂直に向けられている。すなわち、垂直バー530を含む光パターンに関連するバーは、手510に関連する指を横切って横たわる。バーのこのような構成は、追跡されている対象に関するより多くの情報(例えば、手510に関連する指)を提供し得る。1つまたは複数の実施形態では、構造化光(例えば、垂直バー520または水平バー530)の選択は、図3に関連して上述したSLE100に関連するプロセッサへの入力に基づいて実行される。構造化された要素を選択するプロセスについては、図8に関連して以下においてさらに説明する。
図6A〜図6Eは、一実施形態に従う、追跡を改善するためにSLE100によって生成される光パターンに対してなされ得る様々な変更を示す。また、図6A〜図6Eは、全て、第1の組が第1の光パターンを表し、第2の組のバーが、その組のバーに関連する1つまたは複数のパラメータの変更後の第1の光パターンである、2組のバーを含む。以下で説明する図6A〜図6Eにおいて、変更されるパラメータは、間隔620、長さ630、密度640、形状650、および強度660であり得る。
図6Aは、一実施形態に従う、水平から垂直へのバーの向きの変更を示す。図6Aは、第1の光パターンおよび変更された光パターンを示す。第1の光パターンは、yの間隔620およびxの長さ630を有する5つのバーからなる組を含む一方で、変更された光パターンは、yの間隔620およびxの長さ630を有する5つの垂直バーからなる組を含む。間隔620,yおよび長さ630,xは、バーの元の構成に関連する名目上の間隔および長さである。水平または垂直からのバーの向きの変更は、組内のバーの長さ630および間隔620を維持する。すなわち、図6Aに示すように、変更されたバーは、y=yの間隔620およびx=xの長さを有する。他の実施形態では、バーは、空間(space)620と長さ630との間の関係を維持しながら、垂直から水平への向きの変更を受けることができる。
図6Bは、一実施形態に従う、一組のバーの変更に起因する視野の狭小化を示す。図6Bは、第1の光パターンおよび変更された光パターンを示す。第1の光パターンは、yの間隔620とxの長さとを含む水平バーからなる組を含む。図6Bに示されるように、変更された光パターンは、バーの間の間隔620は維持されているが、長さ630は維持されていないバーからなる組を含む。すなわち、変更された光パターンにおいて、間隔620はyであり、長さ630はxよりも小さい値xに等しい。様々な実施形態において、長さ630におけるこのような減少は、視野の対応する狭小化をもたらし得る。典型的には、視野の狭小化は、対象を追跡するのに有用であり得ることに留意されたい。例えば、指が関心のある特徴であり追跡されなければならない場合には、視野の狭小化が必要とされる。あるいは、視野は、公称長さxよりも大きくなるように長さ630を増加させることによって広げることができる。一例として、xより大きい長さ630を有するバーからなる組は、局所領域内で指をスキャンして位置付けするために使用され、指が見つかると、視野が狭められる。
以下に詳細に説明する図6C〜図6Eはそれぞれ、一実施形態に従う、深さ寸法において関心対象を追跡するためにSLE100によって生成され得る様々な光パターンを示す。
図6Cは、一実施形態に従う、水平バーの密度の増加を示す。第1の光パターンは、長さ630,x、および密度640,uを有する5つの水平バーからなる組を含む。パラメータ密度640は、所与のエリア内のバーの数を表すことに留意されたい。図6Cに示されるように、変更された光パターンは、10本の水平バーを有する図6Cの第1の光パターンである。言い換えれば、変更された光パターンの密度640は、図6Dの第1の光パターンのそれよりも大きい。あるいは、図6Dの変更された光パターンにおける水平バーの数が5未満である場合、変更された光パターンの密度640は、第1の光パターンの密度よりも小さくなる。さらに別の例では、高密度バーが関心対象に投影されるように、高密度バーと低密度バーの組み合わせを含む光パターンが局所領域220に投影される。他の実施形態では、バーは垂直であってもよい。高密度640バー(水平または垂直バー)を使用して、深さ寸法にて追跡されている対象の解像度を高めることができる。様々な実施形態において、生成された光パターンの特定の配向および密度は、コントローラ360によって動的に制御される。
図6Dは、一実施形態に従う投影パターンの形状の変更を示す。図6Dは、5つの実線の水平バー650を含む第1の光パターンと、5つの破線の水平バー652を含む変更された光パターンとを含む。第1の光パターンと変更された光パターンとの間の間隔620、長さ630および密度640のような他の全てのパラメータは維持されている。様々な実施形態において、パターンは、光学素子140によって生成されてもよい。例えば、光学素子は、1つまたは複数の三角形、正方形、円、楕円、他の不規則な多角形、あるいはそれらのいくつかの組み合わせを生成し得る。1つまたは複数の実施形態では、生成されたパターンはコントローラ360によって決定され、図8に関連して以下においてさらに説明される。
図6Eは、一実施形態に従う投影パターンの強度における変更を示す。第1の光パターンは、2つの低強度バー660および3つの高強度バーを含む。図6Eは、変更された光パターンにおいて、第1の光パターンの低強度バー660が高強度バー662に変更され、その逆もまた同様である変更された光パターンを描写する。特定の光パターンを選択するプロセスについては、図8と関連して以下においてさらに説明する。
図7は、一実施形態に従う、明るい対象710および暗い対象720を追跡するSLE700の簡略化された概略図を示す。図7に示すSLE700は、図2A〜Dに示されたSLE200の実施形態である。明るい対象710は、1つまたは複数の光学帯域(例えば、IR、UV、可視)における反射率の閾値量よりも大きい対象である。同様に、暗い対象720は、1つまたは複数の光学帯域において反射率の閾値量未満の対象である。様々な実施形態では、反射率の閾値量が予め規定され、コントローラ360に格納される。他の実施形態では、反射率の閾値量は、イメージャ350から受け取った1つまたは複数の捕捉されたフレームに基づいてコントローラ360によって動的に決定される。
図7において、明るい対象710は、局所領域タイル221内に配置される。セル211は、バー230の強度を減少させることができ、それにより、図6に関連して上述したように、受信された追跡情報の解像度を増大することができる。他の実施形態では、一群のセルの1つまたは複数のセル211〜219が局所領域タイル711を照射することができる。また、局所領域220の図では、暗い対象720が局所領域タイル226内に見出されることにも留意されたい。様々な実施形態では、局所領域タイル229がセル219によって照射され、バー230の強度が増加して、受信された追跡情報の解像度が向上する。一実施形態では、セル221〜229は、図8と関連して以下に説明するように、バー230強度に関する情報をプロセッサから受信する。異なるセル211〜219は独立して動作することができ、各セル211〜219は、関連する局所領域タイル221〜229内の1つまたは複数の対象に適切に反応するように個別に制御されてもよい。
図8は、一実施形態に従う、1つまたは複数のセル160内のパターンを修正するための方法を示す簡略化されたフローチャートである。一実施形態では、図8のプロセスは、追跡システム300によって実行される。いくつかの実施形態では、他のデバイスは、他の実施形態におけるプロセスのステップの一部または全てを実行することができる。同様に、実施形態は、異なるステップおよび/または追加のステップを含むことができ、または異なる順序でステップを実行することができる。
追跡システムは、初期レーザ構成で3D空間を照射する。局所領域を照射することは、以前に生成されたパターンに関連する初期レーザ構成を表すことを含むことができる。1つまたは複数の実施形態では、初期レーザ構成は、以前にフレームを捕捉するために使用された以前のレーザ構成である。他の実施形態では、追跡システムは、以前に使用されたレーザ構成で局所領域を照射するようにSLEに指示を提供する。
追跡システム300は、画像フレームを捕捉する(820)。例えば、フレームは、イメージャ350を使用して捕捉されてもよい。様々な実施形態において、フレームは、1つまたは複数の電磁気帯域(例えば、UV、IR、可視)で捕捉されてもよい。フレームを捕捉するプロセスはさらに、図3に関連してすでに説明されている。
追跡システム300は、捕捉されたフレームを分析する(830)。様々な実施形態において、フレームは、1つまたは複数の標準的な2次元信号処理技術を介して分析され(830)、その出力は、フレームに関連する一組の特徴またはパラメータである。例えば、分析情報は、フレーム内の各対象に深度が関連付けられるように、捕捉されたフレームから深度情報(すなわち、イメージャからの距離)を抽出することができる。
いくつかの実施形態では、追跡システムは、捕捉されたフレームに関連する格納された分析ガイドラインの検索を実行する。すなわち、任意の特定の構成に対して、分析を実行するための手順に関連する1つまたは複数の所定の分析ガイドラインが存在し得る。例示的な分析ガイドラインは、「光度の閾値レベルを決定する;特別な分散を決定する」ことであってもよい。他の実施形態では、ガイドラインは、1つまたは複数のデジタル画像処理技術のための命令に関するものであってもよい。
追跡システム300は、適用する1つまたは複数の光学機能を含む新しいレーザ構成を決定する(840)。新しいレーザ構成は、変調(すなわち、回折、屈折または回折および屈折変調のいくつかの組み合わせ)、1つまたは複数の光学機能、パターンの変更、またはそれらのいくつかの組み合わせの変更に関連し得る。1つまたは複数の実施形態では、新しいレーザ構成が初期レーザ構成であることに留意されたい。すなわち、捕捉されたフレームに基づくいくつかの状況では、コントローラ360は、現在のレーザ構成に対する変更が必要でないと判断することができる。
追跡システム300は、新しいレーザ構成でレーザ構成を更新し(850)、処理フローは、更新されたレーザ構成を使用して局所領域を照射する(810)に進む。
その他の設定情報
本開示の実施形態に関する前述の説明は、例示の目的にて提示されたものであり、包括的であること、または開示された正確な形態に本開示を限定することを意図するものではない。当業者であれば、上記の開示に照らして多くの修正および変更が可能であることを理解することができる。
この説明のいくつかの部分は、情報についての操作のアルゴリズムおよび記号表現に関して本開示の実施形態を説明する。これらのアルゴリズム記述および表現は、データ処理技術の当業者によって一般的に使用され、その作業の実体を他の当業者に効果的に伝えるためのものである。これらの動作は、機能的に、計算的に、または論理的に記載されているが、コンピュータプログラムまたは同等の電気回路、マイクロコードなどによって実現されるものと理解される。さらに、これらの操作の構成は、一般性を失うことなく、モジュールと称されることが時には簡便であることも判明している。記載された動作およびそれらに関連するモジュールは、ソフトウェア、ファームウェア、ハードウェア、またはそれらの任意の組み合わせで具体化されてもよい。
本明細書に記載のステップ、動作、または処理のいずれかは、単独で、または他のデバイスと組み合わせて、1つまたは複数のハードウェアまたはソフトウェアモジュールで実行または実装することができる。一実施形態では、ソフトウェアモジュールは、記述されたステップ、動作または処理のいずれかまたはすべてを実行するためのコンピュータプロセッサによって実行され得るコンピュータプログラムコードを含むコンピュータ可読媒体を備えるコンピュータプログラム製品で実装される。
本開示の実施形態はまた、本明細書の動作を実行するための装置に関連していてもよい。この装置は、必要な目的のために特別に構成されていてもよく、および/またはコンピュータに格納されたコンピュータプログラムによって選択的に起動または再構成される汎用演算装置を含んでいてもよい。そのようなコンピュータプログラムは、非一時的な有形のコンピュータ可読記憶媒体、またはコンピュータシステムバスに接続することができる任意のタイプの媒体であって電子命令を格納するのに適した媒体、に格納することができる。さらに、本明細書で参照される任意の演算システムは単一のプロセッサを含むことができ、または演算能力を高めるために複数のプロセッサ設計を採用するアーキテクチャであってもよい。
本開示の実施形態はまた、本明細書で説明される演算処理によって生成される製品に関連し得る。そのような製品は、情報が非一時的かつ有形のコンピュータ可読記憶媒体に格納される演算処理から生じる情報を含むことができ、本明細書に記載のコンピュータプログラム製品または他のデータ組み合わせの任意の実施形態を含むことができる。
最後に、本明細書で使用される言語は、主に、読みやすさおよび教授の目的のために選択されたものであり、本発明の主題を描写または制限するために選択されていない場合がある。したがって、本開示の範囲は、この詳細な説明ではなく、本明細書に基づく出願が公表する任意の請求項によって限定されることを意図する。したがって、実施形態の開示は、以下の特許請求の範囲に記載されている、本開示の範囲を例示することを意図するものであって、これに限定されることを意図するものではない。

Claims (18)

  1. 構造化光パターンを生成するためのシステムであって、前記システムは、
    光を生成するレーザアレイであって、同レーザアレイが少なくとも2つのレーザのサブセットにグループ化される複数のレーザを含み、前記少なくとも2つのレーザのサブセットの各々が独立して切り替え可能であるレーザアレイと、
    複数のセルを含む光学素子であって、前記複数のセルの各々が、前記レーザアレイの対応するレーザからの光を受承するように、同レーザアレイの対応するサブセットに位置合わせされており、かつ各セルは、局所領域に投影される構造化光パターンの対応する部分を形成するために、同セルを通過する受承された光に変調を個々に、かつ動的に適用し、前記構造化光パターンは、第1の部分と前記第1の部分とは異なる変調を有する第2の部分とを少なくとも含み、前記第1の部分は前記複数のセルの第1のセルによって部分的に生成され、前記第2の部分は前記複数のセルの第2のセルによって部分的に生成され、かつ前記構造化光パターンの前記第1の部分は関心領域に投影される光学素子と、
    前記局所領域内の関心領域を決定するために、同局所領域の1つまたは複数の画像を分析するように構成されているコントローラと、
    を含むシステム。
  2. 前記変調が、回折変調、屈折変調、回折変調と屈折変調との組み合わせと、からなる群より選択される1つの要素である、請求項1に記載のシステム。
  3. 前記少なくとも2つのサブセットのうちの前記レーザアレイのサブセットおよびその対応するセルは、単一の成形素子から構成されている、請求項1に記載のシステム。
  4. 前記複数のセルのうちの1つのセルの幅は、1mm以下である、請求項1に記載のシステム。
  5. 前記複数のセルの1つまたは複数は、少なくとも1つの捕捉フレームを受承し、かつ分析することに基づいて前記構造化光パターンに対する変更を動的に提供するように制御可能であり、前記フレームは、二次元レイアウト内に複数の画素を含む、請求項に記載のシステム。
  6. 前記動的制御は、前記構造化光パターンの第1の部分に増大した解像度を備えた構造化光パターンを適用するように構成可能であり、かつ前記局所領域の第2の部分に低減した解像度を備えた構造化光パターンを適用するように構成可能である、請求項に記載のシステム。
  7. 前記構造化光パターンの変更が、光学素子に関連する複数のセルのうちの少なくとも1つのセルにおける変更を含む、請求項に記載のシステム。
  8. 前記構造化光パターンの変更が、光学素子に関連する複数のセルのうちの少なくとも1つのセルにおける変更を含む、請求項5に記載のシステム。
  9. 前記構造化光パターンの変更が、複数のセルのうちの少なくとも1つのセルにおける変更を含む、請求項に記載のシステム。
  10. 前記複数のセルは、前記生成された構造化光パターンの位置及び形状に関してさらに制御可能である、請求項1に記載のシステム。
  11. 構造化光パターンを生成するためのシステムであって、前記システムは、
    光を生成するレーザアレイであって、同レーザアレイが少なくとも2つのレーザのサブセットにグループ化される複数のレーザを含み、前記少なくとも2つのレーザのサブセットの各々が独立して切り替え可能であるレーザアレイと、
    複数のセルを含む光学素子であって、前記複数のセルの各々が、前記レーザアレイの対応するレーザからの光を受承するように、同レーザアレイの対応するサブセットに位置合わせされており、かつ各セルは、局所領域に投影される構造化光パターンの対応する部分を形成するために、同セルを通過する受承された光に変調を個々に、かつ動的に適用し、前記構造化光パターンは、第1の部分と前記第1の部分とは異なる変調を有する第2の部分とを少なくとも含み、前記第1の部分は前記複数のセルの第1のセルによって部分的に生成され、前記第2の部分は前記複数のセルの第2のセルによって部分的に生成され、かつ前記構造化光パターンの前記第1の部分は関心領域に投影される光学素子と、
    前記局所領域の1つまたは複数の画像を捕捉するように構成されているイメージャであって、前記1つまたは複数の画像は前記構造化光パターンの少なくとも一部を含む、イメージャと、
    前記局所領域内の関心領域を決定するために、同局所領域の1つまたは複数の画像を分析し、前記1つまたは複数の画像を使用して、三次元空間における1つまたは複数の対象についての深度情報を決定するように構成されているコントローラと、
    を含む、システム。
  12. 前記変調が、回折変調、屈折変調、回折変調と屈折変調との組み合わせと、からなる群より選択される1つの要素である、請求項11に記載のシステム。
  13. 前記少なくとも2つのサブセットのうちの前記レーザアレイのサブセットおよびその対応するセルは、単一の成形素子から構成されている、請求項11に記載のシステム。
  14. 前記複数のセルのうちの1つのセルの幅は、1mm以下である、請求項11に記載のシステム。
  15. 前記複数のセルの1つまたは複数は、少なくとも1つの捕捉フレームを受承し、かつ分析することに基づいて前記構造化光パターンに対する変更を動的に提供するように制御可能であり、前記フレームは、二次元レイアウト内に複数の画素を含む、請求項11に記載のシステム。
  16. 前記動的制御は、前記構造化光パターンの第1の部分に増大した解像度を備えた構造化光パターンを適用するように構成可能であり、かつ前記局所領域の第2の部分に低減した解像度を備えた構造化光パターンを適用するように構成可能である、請求項15に記載のシステム。
  17. 前記複数のセルは、前記生成された構造化光パターンの位置及び形状に関してさらに制御可能である、請求項11に記載のシステム。
  18. 構造化光パターンを生成するためのシステムであって、前記システムは、
    光を生成するレーザアレイであって、同レーザアレイが少なくとも2つのレーザのサブセットにグループ化される複数のレーザを含み、前記少なくとも2つのレーザのサブセットの各々が独立して切り替え可能であるレーザアレイと、
    複数のセルを含む光学素子であって、前記複数のセルの各々が、前記レーザアレイの対応するレーザからの光を受承するように、同レーザアレイの対応するサブセットに位置合わせされており、かつ各セルは、局所領域に投影される構造化光パターンの対応する部分を形成するために、同セルを通過する受承された光に変調を個々に、かつ動的に適用し、前記構造化光パターンは、第1の部分と前記第1の部分とは異なる変調を有する第2の部分とを少なくとも含み、前記第1の部分は前記複数のセルの第1のセルによって部分的に生成され、前記第2の部分は前記複数のセルの第2のセルによって部分的に生成され、かつ前記構造化光パターンの前記第1の部分は関心領域に投影される光学素子と、
    前記局所領域の1つまたは複数の画像を捕捉するように構成されているイメージャであって、前記1つまたは複数の画像は前記構造化光パターンの少なくとも一部を含む、イメージャと、
    前記局所領域内の関心領域を決定するために、同局所領域の1つまたは複数の画像を分析し、前記1つまたは複数の捕捉されたフレームに基づいて1つのまたは複数のレーザの変調を変更するように構成されているコントローラと、を含む、システム。
JP2017549761A 2015-03-22 2016-03-22 ステレオカメラと構造化光とを使用したヘッドマウントディスプレイでの深度マッピング Active JP6386194B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562136549P 2015-03-22 2015-03-22
US62/136,549 2015-03-22
PCT/US2016/023611 WO2016154218A1 (en) 2015-03-22 2016-03-22 Depth mapping with a head mounted display using stereo cameras and structured light

Publications (3)

Publication Number Publication Date
JP2018509632A JP2018509632A (ja) 2018-04-05
JP2018509632A5 JP2018509632A5 (ja) 2018-07-12
JP6386194B2 true JP6386194B2 (ja) 2018-09-05

Family

ID=56977613

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017549761A Active JP6386194B2 (ja) 2015-03-22 2016-03-22 ステレオカメラと構造化光とを使用したヘッドマウントディスプレイでの深度マッピング

Country Status (6)

Country Link
US (1) US10031588B2 (ja)
EP (1) EP3274653B1 (ja)
JP (1) JP6386194B2 (ja)
KR (1) KR101904181B1 (ja)
CN (1) CN107637074B (ja)
WO (1) WO2016154218A1 (ja)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10620316B2 (en) * 2017-05-05 2020-04-14 Qualcomm Incorporated Systems and methods for generating a structured light depth map with a non-uniform codeword pattern
US10733748B2 (en) 2017-07-24 2020-08-04 Hand Held Products, Inc. Dual-pattern optical 3D dimensioning
US20190349569A1 (en) * 2018-05-10 2019-11-14 Samsung Electronics Co., Ltd. High-sensitivity low-power camera system for 3d structured light application
JP7114387B2 (ja) * 2018-07-30 2022-08-08 キヤノン株式会社 撮像装置、撮像装置の制御方法およびプログラム
EP3803266A4 (en) 2018-06-06 2022-03-09 Magik Eye Inc. DISTANCE MEASUREMENT USING HIGH DENSITY PROJECTION PATTERNS
CN110855961A (zh) * 2018-08-20 2020-02-28 奇景光电股份有限公司 深度感测装置及其操作方法
US10909373B1 (en) * 2018-08-24 2021-02-02 Snap Inc. Augmented reality system using structured light
US10896516B1 (en) * 2018-10-02 2021-01-19 Facebook Technologies, Llc Low-power depth sensing using dynamic illumination
US11483503B2 (en) 2019-01-20 2022-10-25 Magik Eye Inc. Three-dimensional sensor including bandpass filter having multiple passbands
US11474209B2 (en) 2019-03-25 2022-10-18 Magik Eye Inc. Distance measurement using high density projection patterns
EP3788545B1 (en) 2019-03-26 2022-12-07 Shenzhen Goodix Technology Co., Ltd. Multizone illumination for optical face identification
CN111566663B (zh) * 2019-03-26 2023-05-02 深圳市汇顶科技股份有限公司 用于光学脸部识别的多区域照明
CN112036222B (zh) * 2019-06-04 2023-12-29 星宸科技股份有限公司 脸部辨识系统及方法
US11422638B2 (en) 2019-07-08 2022-08-23 Apple Inc. Input devices that use self-mixing interferometry to determine movement within an enclosure
US20220290976A1 (en) * 2019-09-04 2022-09-15 ams Sensors Singapore Pte. Ltd Designing and constructing dot projectors for three-dimensional sensor modules
US11409365B2 (en) * 2019-09-06 2022-08-09 Apple Inc. Self-mixing interferometry-based gesture input system including a wearable or handheld device
US11419546B2 (en) 2019-09-24 2022-08-23 Apple Inc. Wearable self-mixing interferometry device used to sense physiological conditions
US11639846B2 (en) 2019-09-27 2023-05-02 Honeywell International Inc. Dual-pattern optical 3D dimensioning
KR20220074957A (ko) 2019-10-07 2022-06-03 트리나미엑스 게엠베하 적어도 하나의 대상체를 조명하기 위한 프로젝터
CN111240009B (zh) 2019-12-31 2020-12-29 嘉兴驭光光电科技有限公司 可用于投射斜线的衍射光学元件、投射装置及其设计方法

Family Cites Families (64)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4115445C2 (de) 1990-07-05 1994-02-17 Reinhard Malz Verfahren zum Aufnehmen eines dreidimensionalen Bildes eines Objektes nach dem aktiven Triangulationsprinzip und Vorrichtung hierzu
US5212555A (en) * 1991-12-17 1993-05-18 Texas Instruments Incorporated Image capture with spatial light modulator and single-cell photosensor
US5335288A (en) 1992-02-10 1994-08-02 Faulkner Keith W Apparatus and method for biometric identification
JP3531014B2 (ja) 1994-06-22 2004-05-24 株式会社トプコン レーザ照準装置
US6102552A (en) 1996-10-18 2000-08-15 Hewlett-Packard Company Laser-array based digital illuminator
US6549288B1 (en) 1998-05-14 2003-04-15 Viewpoint Corp. Structured-light, triangulation-based three-dimensional digitizer
US6040910A (en) 1998-05-20 2000-03-21 The Penn State Research Foundation Optical phase-shift triangulation technique (PST) for non-contact surface profiling
JP2000267800A (ja) 1999-01-12 2000-09-29 Takenaka Komuten Co Ltd 動作認識装置
US7006236B2 (en) 2002-05-22 2006-02-28 Canesta, Inc. Method and apparatus for approximating depth of an object's placement onto a monitored region with applications to virtual interface devices
JP2004523031A (ja) 2001-01-08 2004-07-29 ヴィーケービー インコーポレイテッド データ入力装置
US6841780B2 (en) 2001-01-19 2005-01-11 Honeywell International Inc. Method and apparatus for detecting objects
US7176440B2 (en) 2001-01-19 2007-02-13 Honeywell International Inc. Method and apparatus for detecting objects using structured light patterns
US6714234B1 (en) 2001-04-11 2004-03-30 Applied Minds, Inc. Maintaining eye-contact in teleconferencing using structured light
US6947575B2 (en) 2001-05-24 2005-09-20 Trw Inc. Apparatus and method for determining vehicle occupant characteristic utilizing imaging with provided light
US8300042B2 (en) 2001-06-05 2012-10-30 Microsoft Corporation Interactive video display system using strobed light
JP3975892B2 (ja) 2002-05-02 2007-09-12 富士ゼロックス株式会社 位置計測システム
US7440590B1 (en) 2002-05-21 2008-10-21 University Of Kentucky Research Foundation System and technique for retrieving depth information about a surface by projecting a composite image of modulated light patterns
US20040119833A1 (en) 2002-07-25 2004-06-24 Duncan Donald D. Three-dimensional context sensitive scanner
CN1176351C (zh) 2002-10-09 2004-11-17 天津大学 动态多分辨率的三维数字成像的方法及装置
US7064810B2 (en) 2003-09-15 2006-06-20 Deere & Company Optical range finder with directed attention
US7834850B2 (en) 2005-11-29 2010-11-16 Navisense Method and system for object control
JP5201999B2 (ja) 2006-02-03 2013-06-05 パナソニック株式会社 入力装置、及びその方法
EP1980935A1 (en) 2006-02-03 2008-10-15 Matsushita Electric Industrial Co., Ltd. Information processing device
CN101957994B (zh) 2006-03-14 2014-03-19 普莱姆传感有限公司 三维传感的深度变化光场
JP5592070B2 (ja) 2006-03-14 2014-09-17 プライム センス リミティド 三次元検知のために深度変化させる光照射野
WO2008010024A1 (en) 2006-07-16 2008-01-24 Cherradi I Free fingers typing technology
US8144121B2 (en) 2006-10-11 2012-03-27 Victor Company Of Japan, Limited Method and apparatus for controlling electronic appliance
US20080256494A1 (en) 2007-04-16 2008-10-16 Greenfield Mfg Co Inc Touchless hand gesture device controller
US7907781B2 (en) 2007-06-21 2011-03-15 Mitsubishi Electric Research Laboraties, Inc. System and method for determining geometries of scenes
US8726194B2 (en) 2007-07-27 2014-05-13 Qualcomm Incorporated Item selection using enhanced control
US20090189858A1 (en) 2008-01-30 2009-07-30 Jeff Lev Gesture Identification Using A Structured Light Pattern
US8319832B2 (en) 2008-01-31 2012-11-27 Denso Corporation Input apparatus and imaging apparatus
US8107083B2 (en) * 2008-03-05 2012-01-31 General Electric Company System aspects for a probe system that utilizes structured-light
FR2932562B1 (fr) * 2008-06-12 2010-08-27 Univ Pasteur Dispositif de projection de lumiere structuree au moyen de vcsel et de composants optiques diffractifs de phase.
EP2166305B1 (de) 2008-09-23 2012-05-16 Sick Ag Beleuchtungseinheit und Verfahren zur Projektion eines Beleuchtungsmusters
CN101451826B (zh) 2008-12-17 2010-06-09 中国科学院上海光学精密机械研究所 物体三维轮廓测量装置及测量方法
TWI409502B (zh) 2009-01-23 2013-09-21 Univ Nat Taipei Technology 相位資訊擷取方法及其三維形貌量測系統
US20100309391A1 (en) * 2009-06-03 2010-12-09 Honeywood Technologies, Llc Multi-source projection-type display
JP2011018090A (ja) 2009-07-07 2011-01-27 Panasonic Corp 電子ペン及び電子ペンシステム
US8654234B2 (en) 2009-07-26 2014-02-18 Massachusetts Institute Of Technology Bi-directional screen
US20120194561A1 (en) * 2009-09-22 2012-08-02 Nadav Grossinger Remote control of computer devices
US9075184B2 (en) * 2012-04-17 2015-07-07 Milan Momcilo Popovich Compact edge illuminated diffractive display
JP2011127932A (ja) * 2009-12-15 2011-06-30 Nippon Telegr & Teleph Corp <Ntt> 三次元形状測定装置、三次元形状測定方法、三次元形状測定プログラム、および記録媒体
US8320621B2 (en) * 2009-12-21 2012-11-27 Microsoft Corporation Depth projector system with integrated VCSEL array
EP2378394A3 (en) 2010-04-15 2015-03-25 Electronics and Telecommunications Research Institute User interface device and method for recognizing user interaction using same
CN102985786A (zh) * 2010-07-16 2013-03-20 皇家飞利浦电子股份有限公司 投光器和用于距离测定的视觉系统
US20120056982A1 (en) * 2010-09-08 2012-03-08 Microsoft Corporation Depth camera based on structured light and stereo vision
US9870068B2 (en) * 2010-09-19 2018-01-16 Facebook, Inc. Depth mapping with a head mounted display using stereo cameras and structured light
US9008515B2 (en) * 2010-10-07 2015-04-14 Alcatel Lucent Direct laser modulation
KR20120071551A (ko) 2010-12-23 2012-07-03 한국전자통신연구원 구조 영상을 이용한 사용자 인터랙션 장치 및 방법
US20120200829A1 (en) 2011-02-09 2012-08-09 Alexander Bronstein Imaging and projecting devices and methods
EP2500687A3 (en) * 2011-03-14 2013-02-20 Heliotis SA Structured light projector
KR101446902B1 (ko) 2011-08-19 2014-10-07 한국전자통신연구원 사용자 인터랙션 장치 및 방법
KR101272573B1 (ko) * 2011-11-17 2013-06-10 재단법인대구경북과학기술원 구조광 패턴 기반의 깊이 정보 추정 장치 및 방법
KR101272574B1 (ko) * 2011-11-18 2013-06-10 재단법인대구경북과학기술원 구조광 패턴 기반의 3차원 영상 정보 추정 장치 및 방법
US9606237B2 (en) * 2012-03-01 2017-03-28 Iee International Electronics & Engineering S.A. Spatially coded structured light generator
CN107806826B (zh) * 2012-03-26 2021-10-26 螳螂慧视科技有限公司 三维照相机及其投影仪
WO2014083485A1 (en) * 2012-11-29 2014-06-05 Koninklijke Philips N.V. Laser device for projecting a structured light pattern onto a scene
JP6070274B2 (ja) * 2013-02-28 2017-02-01 旭硝子株式会社 拡散素子、照明光学系および計測装置
KR20140133093A (ko) 2013-05-09 2014-11-19 한국전자통신연구원 인식 장치 및 그 방법
US10019843B2 (en) 2013-08-08 2018-07-10 Facebook, Inc. Controlling a near eye display
AU2014338511B2 (en) * 2013-10-23 2018-08-09 Facebook Technologies, Llc Three dimensional depth mapping using dynamic structured light
US9749513B2 (en) 2014-04-29 2017-08-29 Facebook, Inc. System and method for generating a light pattern for object illumination
JP6417702B2 (ja) 2014-05-01 2018-11-07 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム

Also Published As

Publication number Publication date
JP2018509632A (ja) 2018-04-05
EP3274653A4 (en) 2018-11-14
EP3274653A1 (en) 2018-01-31
WO2016154218A1 (en) 2016-09-29
CN107637074A (zh) 2018-01-26
CN107637074B (zh) 2020-09-18
KR20170129882A (ko) 2017-11-27
EP3274653B1 (en) 2020-11-25
US20180157342A1 (en) 2018-06-07
KR101904181B1 (ko) 2018-10-04
US10031588B2 (en) 2018-07-24

Similar Documents

Publication Publication Date Title
JP6386194B2 (ja) ステレオカメラと構造化光とを使用したヘッドマウントディスプレイでの深度マッピング
US11962748B2 (en) Three dimensional depth mapping using dynamic structured light
US9870068B2 (en) Depth mapping with a head mounted display using stereo cameras and structured light
US9826216B1 (en) Systems and methods for compact space-time stereo three-dimensional depth sensing
CN103053167B (zh) 扫描投影机及用于3d映射的图像捕获模块
US9885459B2 (en) Pattern projection using micro-lenses
US20200182974A1 (en) Vertical cavity surface emitting laser-based projector
US20130279753A1 (en) Distance-Varying Illumination and Imaging Techniques for Depth Mapping
JP2013513179A (ja) 距離に基づく検知
CN104284625A (zh) 用于对目标对象的表面的深度进行仿形的装置和方法
JP2007316461A (ja) プロジェクタ及び画像投写方法
CN104024833A (zh) 图像处理装置、摄像装置、显微镜装置、图像处理方法以及图像处理程序
CN110836647B (zh) 三维扫描系统
TWI719383B (zh) 多影像投影機以及具有多影像投影機之電子裝置
JP6626552B1 (ja) マルチ画像プロジェクタ及びマルチ画像プロジェクタを有する電子デバイス
CN115867765A (zh) 漫射照明和多模式照明装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180604

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180604

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20180604

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20180619

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180717

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180808

R150 Certificate of patent or registration of utility model

Ref document number: 6386194

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D02

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D02

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250