JP2024020489A - 仮想、拡張、および複合現実システムのための深度感知技法 - Google Patents
仮想、拡張、および複合現実システムのための深度感知技法 Download PDFInfo
- Publication number
- JP2024020489A JP2024020489A JP2023197268A JP2023197268A JP2024020489A JP 2024020489 A JP2024020489 A JP 2024020489A JP 2023197268 A JP2023197268 A JP 2023197268A JP 2023197268 A JP2023197268 A JP 2023197268A JP 2024020489 A JP2024020489 A JP 2024020489A
- Authority
- JP
- Japan
- Prior art keywords
- depth
- sensor
- mode
- steps
- operating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title abstract description 81
- 230000003190 augmentative effect Effects 0.000 title abstract description 22
- 238000005259 measurement Methods 0.000 description 137
- 238000005286 illumination Methods 0.000 description 15
- 230000004044 response Effects 0.000 description 12
- 238000012545 processing Methods 0.000 description 10
- 230000008901 benefit Effects 0.000 description 8
- 230000010363 phase shift Effects 0.000 description 8
- 238000003384 imaging method Methods 0.000 description 6
- 230000033001 locomotion Effects 0.000 description 6
- 230000009471 action Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000001934 delay Effects 0.000 description 4
- 238000007796 conventional method Methods 0.000 description 3
- 230000002452 interceptive effect Effects 0.000 description 3
- 230000002730 additional effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 210000000613 ear canal Anatomy 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 241000256837 Apidae Species 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000011022 operating instruction Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000012913 prioritisation Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000008672 reprogramming Effects 0.000 description 1
- 230000004043 responsiveness Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/139—Format conversion, e.g. of frame-rate or size
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
- G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/296—Synchronisation thereof; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/957—Light-field or plenoptic cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/958—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
- H04N23/959—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging by adjusting depth of field during image capture, e.g. maximising or setting range based on scene characteristics
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Computing Systems (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Electromagnetism (AREA)
- Computer Networks & Wireless Communication (AREA)
- Studio Devices (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Testing Or Calibration Of Command Recording Devices (AREA)
- Measurement Of Optical Distance (AREA)
- Holo Graphy (AREA)
- User Interface Of Digital Computer (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Radar Systems Or Details Thereof (AREA)
- Image Processing (AREA)
Abstract
【課題】仮想、拡張、および複合現実システムのための深度感知技法の提供。【解決手段】少なくとも2つの動作モードを有するセンサを動作させるためのシステムおよび方法。センサは、第1の動作モードを定義する第1の一連の動作ステップと第2の動作モードを定義する第2の一連の動作ステップとの両方に含まれる一連の共通動作ステップを具備し得る。センサは、第1の動作モードと第2の動作モードとの間の差異に関する1つ以上のダミー動作ステップも具備し得る。センサは、センサに少なくとも共通動作ステップを実行させることによって、第1の動作モードで動作させられることができ、センサに共通動作ステップと少なくとも1つのダミー動作ステップとを実行させることによって、第2の動作モードで動作させられることができる。【選択図】なし
Description
(関連出願の引用)
本願に関し提出された出願データシートに識別される外国および国内優先権に対する任意およびすべての出願は、規則37CFR1.57のもと、参照により本明細書に引用される。すなわち、本願は、米国仮特許出願第62/474,503号(2017年3月21日出願、名称「DEPTH SENSING TECHNIQUES FOR VIRTUAL,AUGMENTED,AND MIXED REALITY SYSTEMS」)に対する優先権を主張し、上記出願は、その全体が参照により本明細書に引用される。
(分野)
本願に関し提出された出願データシートに識別される外国および国内優先権に対する任意およびすべての出願は、規則37CFR1.57のもと、参照により本明細書に引用される。すなわち、本願は、米国仮特許出願第62/474,503号(2017年3月21日出願、名称「DEPTH SENSING TECHNIQUES FOR VIRTUAL,AUGMENTED,AND MIXED REALITY SYSTEMS」)に対する優先権を主張し、上記出願は、その全体が参照により本明細書に引用される。
(分野)
本開示は、仮想現実、拡張現実、および複合現実の結像および可視化システムにおいて使用され得るそれら等の深度センサに関する。
現代のコンピューティングおよびディスプレイ技術は、仮想現実、拡張現実、および複合現実システムの開発を促進している。仮想現実または「VR」システムは、ユーザが体験するための模擬環境を作成する。これは、頭部搭載型ディスプレイを通してコンピュータ生成画像をユーザに提示することによって、行われることができる。この画像は、模擬環境にユーザを没頭させる感覚的体験を生成する。仮想現実シナリオは、典型的には、コンピュータ生成画像の提示だけではなく、実世界画像を含むことも伴う。
拡張現実システムは、概して、実世界環境を模擬要素で補完する。例えば、拡張現実または「AR」システムは、頭部搭載型ディスプレイを介して、周辺の実世界環境の光景をユーザに提供し得る。しかしながら、コンピュータ生成画像も、実世界環境を強化するためにディスプレイ上に提示されることができる。このコンピュータ生成画像は、実世界環境に状況的に関連する要素を含むことができる。そのような要素は、シミュレートされたテキスト、画像、オブジェクト等を含むことができる。複合現実または「MR」システムは、あるタイプのARシステムであり、これも、シミュレートされたオブジェクトを実世界環境の中に導入するが、これらのオブジェクトは、典型的には、より多くの相互作用度を特徴とする。模擬要素は、多くの場合、リアルタイムで双方向性であり得る。
図1は、例示的AR/MR場面1を描写し、ユーザは、人々、木々、背景における建物、コンクリートプラットフォーム20を特徴とする実世界公園状設定6を見ている。これらのアイテムに加え、コンピュータ生成画像も、ユーザに提示される。コンピュータ生成画像は、例えば、実世界プラットフォーム20上に立っているロボット像10、およびマルハナバチの擬人化のように見える、飛んでいる漫画のようなアバタキャラクタ2が、実際には実世界環境に存在していなくても、これらの要素2、10を含むことができる。
いくつかの実施形態では、少なくとも2つの動作モードを有するセンサを動作させる方法は、センサに、第1の動作モードを定義する第1の一連の動作ステップと第2の動作モードを定義する第2の一連の動作ステップとの両方に含まれる一連の共通動作ステップを提供することと、センサに、第1の動作モードと第2の動作モードとの間の差異に関する1つ以上のダミー動作ステップを提供することと、センサに少なくとも共通動作ステップを実行させることによって、センサを第1の動作モードで動作させることと、センサに共通動作ステップと少なくとも1つのダミー動作ステップとを実行させることによって、センサを第2の動作モードで動作させることとを含む。
いくつかの実施形態では、センサは、深度センサであり得る。第1の動作モードは、第1のフレームレートを伴う深度感知モードを含み得、第2の動作モードは、第1のフレームレートより低速である第2のフレームレートを伴う深度感知モードであり得る。例えば、ダミー動作ステップのうちの1つ以上のものは、遅延を含み得る。
いくつかの実施形態では、少なくとも2つの動作モードを有するセンサを動作させるためのシステムは、センサに、第1の動作モードを定義する第1の一連の動作ステップと第2の動作モードを定義する第2の一連の動作ステップとの両方に含まれる一連の共通動作ステップを提供することと、センサに、第1の動作モードと第2の動作モードとの間の差異に関する1つ以上のダミー動作ステップを提供することと、センサに少なくとも共通動作ステップを実行させることによって、センサを第1の動作モードで動作させることと、センサに共通動作ステップと少なくとも1つのダミー動作ステップとを実行させることによって、センサを第2の動作モードで動作させることとを含む方法を実行するように構成されたプロセッサを備えている。
本発明は、例えば、以下を提供する。
(項目1)
センサを動作させる方法であって、前記方法は、
第1の動作モードを定義する第1の一連の動作ステップと第2の動作モードを定義する第2の一連の動作ステップとの両方に含まれる一連の共通動作ステップを前記センサに提供することと、
前記第1の動作モードと前記第2の動作モードとの間の差異に関する1つ以上のダミー動作ステップを前記センサに提供することと、
前記センサに少なくとも前記共通動作ステップを実行させることによって、前記センサを前記第1の動作モードで動作させることと、
前記センサに前記共通動作ステップと少なくとも1つのダミー動作ステップとを実行させることによって、前記センサを前記第2の動作モードで動作させることと
を含む、方法。
(項目2)
前記第1の動作モードは、少なくとも前記共通動作ステップを第1のレートで実行することを含み、前記第2の動作モードは、前記共通動作ステップと少なくとも1つのダミー動作ステップとを前記第1のレートより低速である第2のレートで実施することを含む、項目1に記載の方法。
(項目3)
前記1つ以上のダミー動作ステップのうちの少なくとも1つは、遅延を含む、項目2に記載の方法。
(項目4)
前記一連の共通動作ステップと前記1つ以上のダミー動作ステップとを前記センサに提供することは、それらの動作ステップをセンサメモリに記憶することを含む、項目1に記載の方法。
(項目5)
前記センサを前記第1の動作モードと第2の動作モードとの間で切り替えることが、動作ステップを前記センサメモリに記憶するための任意の追加の行為を要求しない、項目4に記載の方法。
(項目6)
前記センサは、深度センサを備えている、項目1に記載の方法。
(項目7)
前記深度センサは、飛行時間カメラを備えている、項目6に記載の方法。
(項目8)
前記第1の動作モードは、第1のフレームレートを伴う深度感知モードを含み、前記第2の動作モードは、前記第1のフレームレートより低速である第2のフレームレートを伴う深度感知モードを含む、項目6に記載の方法。
(項目9)
深度情報を前記深度センサから仮想現実、拡張現実、または複合現実ディスプレイシステムに提供することをさらに含む、項目6に記載の方法。
(項目10)
センサを動作させるためのシステムであって、前記システムは、方法を実行するように構成されたプロセッサを備え、前記方法は、
第1の動作モードを定義する第1の一連の動作ステップと第2の動作モードを定義する第2の一連の動作ステップとの両方に含まれる一連の共通動作ステップを前記センサに提供することと、
前記第1の動作モードと前記第2の動作モードとの間の差異に関する1つ以上のダミー動作ステップを前記センサに提供することと、
前記センサに少なくとも前記共通動作ステップを実行させることによって、前記センサを前記第1の動作モードで動作させることと、
前記センサに前記共通動作ステップと少なくとも1つのダミー動作ステップとを実行させることによって、前記センサを前記第2の動作モードで動作させることと
を含む、システム。
(項目11)
前記第1の動作モードは、少なくとも前記共通動作ステップを第1のレートで実行することを含み、前記第2の動作モードは、前記共通動作ステップと少なくとも1つのダミー動作ステップとを前記第1のレートより低速である第2のレートで実施することを含む、項目10に記載のシステム。
(項目12)
前記1つ以上のダミー動作ステップのうちの少なくとも1つは、遅延を含む、項目11に記載のシステム。
(項目13)
前記一連の共通動作ステップと前記1つ以上のダミー動作ステップとを前記センサに提供することは、それらの動作ステップをセンサメモリに記憶することを含む、項目10に記載のシステム。
(項目14)
前記センサを前記第1の動作モードと第2の動作モードとの間で切り替えることが、動作ステップを前記センサメモリに記憶するための任意の追加の行為を要求しない、項目13に記載のシステム。
(項目15)
前記センサは、深度センサを備えている、項目10に記載のシステム。
(項目16)
前記深度センサは、飛行時間カメラを備えている、項目15に記載のシステム。
(項目17)
前記第1の動作モードは、第1のフレームレートを伴う深度感知モードを含み、前記第2の動作モードは、前記第1のフレームレートより低速である第2のフレームレートを伴う深度感知モードを含む、項目15に記載のシステム。
(項目18)
前記システムは、仮想現実、拡張現実、または複合現実ディスプレイシステム内に統合されている、項目15に記載のシステム。
(項目19)
前記プロセッサは、状態機械を備えている、項目10に記載のシステム。
(項目20)
前記センサを前記第1のモードまたは前記第2のモードで動作させるための要求を受信するためのアービタをさらに備え、前記アービタは、前記要求をスケジューリングおよび優先順位付けするように構成されている、項目10に記載のシステム。
(項目21)
前記センサをさらに備えている、項目10に記載のシステム。
(項目22)
深度センサを動作させる方法であって、前記方法は、
第1のタイプの深度測定のための第1の要求を受信することと、
第2のタイプの深度測定のための第2の要求を受信することと、
第1の優先順位を前記第1の要求に割り当てることと、
第2の優先順位を前記第2の要求に割り当てることと、
前記第1の優先順位が前記第2の優先順位より高い場合、前記第1のタイプの深度測定を前記深度センサに最初に取得させること、または、前記第2の優先順位が前記第1の優先順位より高い場合、前記第2のタイプの深度測定を前記深度センサに最初に取得させることと
を含む、方法。
(項目23)
前記第1の優先順位は、前記第1のタイプの深度測定を要求する第1のアプリケーションの優先順位に基づいて割り当てられ、前記第2の優先順位は、前記第2のタイプの深度測定を要求する第2のアプリケーションの優先順位に基づいて割り当てられる、項目22に記載の方法。
(項目24)
深度センサを動作させるためのシステムであって、前記システムは、
第1のタイプの深度測定のための第1の要求と、第2のタイプの深度測定のための第2の要求とを受信するように構成されたアービタであって、前記アービタは、第1の優先順位を前記第1の要求に割り当て、第2の優先順位を前記第2の要求に割り当てるように構成されている、アービタと、
プロセッサと
を備え、
前記プロセッサは、前記第1の優先順位が前記第2の優先順位より高い場合、前記第1のタイプの深度測定を前記深度センサに最初に取得させること、または、前記第2の優先順位が前記第1の優先順位より高い場合、前記第2のタイプの深度測定を前記深度センサに最初に取得させることを行うように構成されている、システム。
(項目25)
前記アービタは、前記第1のタイプの深度測定を要求する第1のアプリケーションの優先順位に基づいて、前記第1の優先順位を割り当て、前記第2のタイプの深度測定を要求する第2のアプリケーションの優先順位に基づいて、前記第2の優先順位を割り当てるように構成されている、項目24に記載のシステム。
(項目26)
前記システムは、仮想、拡張、または複合現実ディスプレイシステム内に統合されている、項目24に記載のシステム。
(項目27)
深度センサを動作させる方法であって、前記方法は、
深度センサのための構成動作を実施することであって、前記構成動作は、
第1の深度感知動作モードを定義する第1の一連の動作ステップを前記深度センサのメモリに記憶することと、
第2の深度感知動作モードを定義する第2の一連の動作ステップを前記深度センサのメモリに記憶することと
を含む、ことと、
前記第1の深度感知動作モードに従った深度測定のための第1の要求を受信することと、
前記第1の要求に応答して、前記深度センサに前記第1の一連の動作ステップを実行させることによって、前記深度センサを前記第1の動作モードで動作させることと、
前記第2の深度感知動作モードに従った深度測定のための第2の要求を受信することと、
前記第2の要求に応答して、追加の構成動作を実施することなく前記深度センサに前記第2の一連の動作ステップを実行させることによって、前記深度センサを前記第2の動作モードで動作させることと
を含む、方法。
(項目28)
前記深度センサは、飛行時間カメラを備えている、項目27に記載の方法。
(項目29)
前記第1の深度感知動作モードは、第1の測定距離範囲に対応し、前記第2の深度感知動作モードは、前記第1の測定距離範囲と異なる第2の測定距離範囲に対応する、項目27に記載の方法。
(項目30)
前記第1の深度感知動作モードは、第1のフレームレートに対応し、前記第2の深度感知動作モードは、前記第1のフレームレートより低速である第2のフレームレートに対応する、項目27に記載の方法。
(項目31)
深度情報を前記深度センサから仮想現実、拡張現実、または複合現実ディスプレイシステムに提供することをさらに含む、項目27に記載の方法。
(項目32)
深度センサを動作させるためのシステムであって、前記システムは、方法を実行するように構成されたプロセッサを備え、前記方法は、
深度センサのための構成動作を実施することであって、前記構成動作は、第1の深度感知動作モードを定義する第1の一連の動作ステップを前記深度センサのメモリに記憶することと、第2の深度感知動作モードを定義する第2の一連の動作ステップを前記深度センサのメモリに記憶することとを含む、ことと、
前記第1の深度感知動作モードに従った深度測定のための第1の要求を受信することと、
前記第1の要求に応答して、前記深度センサに前記第1の一連の動作ステップを実行させることによって、前記深度センサを前記第1の動作モードで動作させることと、
前記第2の深度感知動作モードに従った深度測定のための第2の要求を受信することと、
前記第2の要求に応答して、追加の構成動作を実施することなく前記深度センサに前記第2の一連の動作ステップを実行させることによって、前記深度センサを前記第2の動作モードで動作させることと
を含む、システム。
(項目33)
前記深度センサは、飛行時間カメラを備えている、項目32に記載のシステム。
(項目34)
前記第1の深度感知動作モードは、第1の測定距離範囲に対応し、前記第2の深度感知動作モードは、前記第1の測定距離範囲と異なる第2の測定距離範囲に対応する、項目32に記載のシステム。
(項目35)
前記第1の深度感知動作モードは、第1のフレームレートに対応し、前記第2の深度感知動作モードは、前記第1のフレームレートより低速である第2のフレームレートに対応する、項目32に記載のシステム。
(項目36)
前記システムは、仮想、拡張、または複合現実ディスプレイシステム内に統合されている、項目32に記載のシステム。
本発明は、例えば、以下を提供する。
(項目1)
センサを動作させる方法であって、前記方法は、
第1の動作モードを定義する第1の一連の動作ステップと第2の動作モードを定義する第2の一連の動作ステップとの両方に含まれる一連の共通動作ステップを前記センサに提供することと、
前記第1の動作モードと前記第2の動作モードとの間の差異に関する1つ以上のダミー動作ステップを前記センサに提供することと、
前記センサに少なくとも前記共通動作ステップを実行させることによって、前記センサを前記第1の動作モードで動作させることと、
前記センサに前記共通動作ステップと少なくとも1つのダミー動作ステップとを実行させることによって、前記センサを前記第2の動作モードで動作させることと
を含む、方法。
(項目2)
前記第1の動作モードは、少なくとも前記共通動作ステップを第1のレートで実行することを含み、前記第2の動作モードは、前記共通動作ステップと少なくとも1つのダミー動作ステップとを前記第1のレートより低速である第2のレートで実施することを含む、項目1に記載の方法。
(項目3)
前記1つ以上のダミー動作ステップのうちの少なくとも1つは、遅延を含む、項目2に記載の方法。
(項目4)
前記一連の共通動作ステップと前記1つ以上のダミー動作ステップとを前記センサに提供することは、それらの動作ステップをセンサメモリに記憶することを含む、項目1に記載の方法。
(項目5)
前記センサを前記第1の動作モードと第2の動作モードとの間で切り替えることが、動作ステップを前記センサメモリに記憶するための任意の追加の行為を要求しない、項目4に記載の方法。
(項目6)
前記センサは、深度センサを備えている、項目1に記載の方法。
(項目7)
前記深度センサは、飛行時間カメラを備えている、項目6に記載の方法。
(項目8)
前記第1の動作モードは、第1のフレームレートを伴う深度感知モードを含み、前記第2の動作モードは、前記第1のフレームレートより低速である第2のフレームレートを伴う深度感知モードを含む、項目6に記載の方法。
(項目9)
深度情報を前記深度センサから仮想現実、拡張現実、または複合現実ディスプレイシステムに提供することをさらに含む、項目6に記載の方法。
(項目10)
センサを動作させるためのシステムであって、前記システムは、方法を実行するように構成されたプロセッサを備え、前記方法は、
第1の動作モードを定義する第1の一連の動作ステップと第2の動作モードを定義する第2の一連の動作ステップとの両方に含まれる一連の共通動作ステップを前記センサに提供することと、
前記第1の動作モードと前記第2の動作モードとの間の差異に関する1つ以上のダミー動作ステップを前記センサに提供することと、
前記センサに少なくとも前記共通動作ステップを実行させることによって、前記センサを前記第1の動作モードで動作させることと、
前記センサに前記共通動作ステップと少なくとも1つのダミー動作ステップとを実行させることによって、前記センサを前記第2の動作モードで動作させることと
を含む、システム。
(項目11)
前記第1の動作モードは、少なくとも前記共通動作ステップを第1のレートで実行することを含み、前記第2の動作モードは、前記共通動作ステップと少なくとも1つのダミー動作ステップとを前記第1のレートより低速である第2のレートで実施することを含む、項目10に記載のシステム。
(項目12)
前記1つ以上のダミー動作ステップのうちの少なくとも1つは、遅延を含む、項目11に記載のシステム。
(項目13)
前記一連の共通動作ステップと前記1つ以上のダミー動作ステップとを前記センサに提供することは、それらの動作ステップをセンサメモリに記憶することを含む、項目10に記載のシステム。
(項目14)
前記センサを前記第1の動作モードと第2の動作モードとの間で切り替えることが、動作ステップを前記センサメモリに記憶するための任意の追加の行為を要求しない、項目13に記載のシステム。
(項目15)
前記センサは、深度センサを備えている、項目10に記載のシステム。
(項目16)
前記深度センサは、飛行時間カメラを備えている、項目15に記載のシステム。
(項目17)
前記第1の動作モードは、第1のフレームレートを伴う深度感知モードを含み、前記第2の動作モードは、前記第1のフレームレートより低速である第2のフレームレートを伴う深度感知モードを含む、項目15に記載のシステム。
(項目18)
前記システムは、仮想現実、拡張現実、または複合現実ディスプレイシステム内に統合されている、項目15に記載のシステム。
(項目19)
前記プロセッサは、状態機械を備えている、項目10に記載のシステム。
(項目20)
前記センサを前記第1のモードまたは前記第2のモードで動作させるための要求を受信するためのアービタをさらに備え、前記アービタは、前記要求をスケジューリングおよび優先順位付けするように構成されている、項目10に記載のシステム。
(項目21)
前記センサをさらに備えている、項目10に記載のシステム。
(項目22)
深度センサを動作させる方法であって、前記方法は、
第1のタイプの深度測定のための第1の要求を受信することと、
第2のタイプの深度測定のための第2の要求を受信することと、
第1の優先順位を前記第1の要求に割り当てることと、
第2の優先順位を前記第2の要求に割り当てることと、
前記第1の優先順位が前記第2の優先順位より高い場合、前記第1のタイプの深度測定を前記深度センサに最初に取得させること、または、前記第2の優先順位が前記第1の優先順位より高い場合、前記第2のタイプの深度測定を前記深度センサに最初に取得させることと
を含む、方法。
(項目23)
前記第1の優先順位は、前記第1のタイプの深度測定を要求する第1のアプリケーションの優先順位に基づいて割り当てられ、前記第2の優先順位は、前記第2のタイプの深度測定を要求する第2のアプリケーションの優先順位に基づいて割り当てられる、項目22に記載の方法。
(項目24)
深度センサを動作させるためのシステムであって、前記システムは、
第1のタイプの深度測定のための第1の要求と、第2のタイプの深度測定のための第2の要求とを受信するように構成されたアービタであって、前記アービタは、第1の優先順位を前記第1の要求に割り当て、第2の優先順位を前記第2の要求に割り当てるように構成されている、アービタと、
プロセッサと
を備え、
前記プロセッサは、前記第1の優先順位が前記第2の優先順位より高い場合、前記第1のタイプの深度測定を前記深度センサに最初に取得させること、または、前記第2の優先順位が前記第1の優先順位より高い場合、前記第2のタイプの深度測定を前記深度センサに最初に取得させることを行うように構成されている、システム。
(項目25)
前記アービタは、前記第1のタイプの深度測定を要求する第1のアプリケーションの優先順位に基づいて、前記第1の優先順位を割り当て、前記第2のタイプの深度測定を要求する第2のアプリケーションの優先順位に基づいて、前記第2の優先順位を割り当てるように構成されている、項目24に記載のシステム。
(項目26)
前記システムは、仮想、拡張、または複合現実ディスプレイシステム内に統合されている、項目24に記載のシステム。
(項目27)
深度センサを動作させる方法であって、前記方法は、
深度センサのための構成動作を実施することであって、前記構成動作は、
第1の深度感知動作モードを定義する第1の一連の動作ステップを前記深度センサのメモリに記憶することと、
第2の深度感知動作モードを定義する第2の一連の動作ステップを前記深度センサのメモリに記憶することと
を含む、ことと、
前記第1の深度感知動作モードに従った深度測定のための第1の要求を受信することと、
前記第1の要求に応答して、前記深度センサに前記第1の一連の動作ステップを実行させることによって、前記深度センサを前記第1の動作モードで動作させることと、
前記第2の深度感知動作モードに従った深度測定のための第2の要求を受信することと、
前記第2の要求に応答して、追加の構成動作を実施することなく前記深度センサに前記第2の一連の動作ステップを実行させることによって、前記深度センサを前記第2の動作モードで動作させることと
を含む、方法。
(項目28)
前記深度センサは、飛行時間カメラを備えている、項目27に記載の方法。
(項目29)
前記第1の深度感知動作モードは、第1の測定距離範囲に対応し、前記第2の深度感知動作モードは、前記第1の測定距離範囲と異なる第2の測定距離範囲に対応する、項目27に記載の方法。
(項目30)
前記第1の深度感知動作モードは、第1のフレームレートに対応し、前記第2の深度感知動作モードは、前記第1のフレームレートより低速である第2のフレームレートに対応する、項目27に記載の方法。
(項目31)
深度情報を前記深度センサから仮想現実、拡張現実、または複合現実ディスプレイシステムに提供することをさらに含む、項目27に記載の方法。
(項目32)
深度センサを動作させるためのシステムであって、前記システムは、方法を実行するように構成されたプロセッサを備え、前記方法は、
深度センサのための構成動作を実施することであって、前記構成動作は、第1の深度感知動作モードを定義する第1の一連の動作ステップを前記深度センサのメモリに記憶することと、第2の深度感知動作モードを定義する第2の一連の動作ステップを前記深度センサのメモリに記憶することとを含む、ことと、
前記第1の深度感知動作モードに従った深度測定のための第1の要求を受信することと、
前記第1の要求に応答して、前記深度センサに前記第1の一連の動作ステップを実行させることによって、前記深度センサを前記第1の動作モードで動作させることと、
前記第2の深度感知動作モードに従った深度測定のための第2の要求を受信することと、
前記第2の要求に応答して、追加の構成動作を実施することなく前記深度センサに前記第2の一連の動作ステップを実行させることによって、前記深度センサを前記第2の動作モードで動作させることと
を含む、システム。
(項目33)
前記深度センサは、飛行時間カメラを備えている、項目32に記載のシステム。
(項目34)
前記第1の深度感知動作モードは、第1の測定距離範囲に対応し、前記第2の深度感知動作モードは、前記第1の測定距離範囲と異なる第2の測定距離範囲に対応する、項目32に記載のシステム。
(項目35)
前記第1の深度感知動作モードは、第1のフレームレートに対応し、前記第2の深度感知動作モードは、前記第1のフレームレートより低速である第2のフレームレートに対応する、項目32に記載のシステム。
(項目36)
前記システムは、仮想、拡張、または複合現実ディスプレイシステム内に統合されている、項目32に記載のシステム。
仮想現実(VR)、拡張現実(AR)、および複合現実(MR)システムは、コンピュータ生成画像をユーザに提示するディスプレイを含むことができる。いくつかの実施形態では、ディスプレイシステムは、装着可能であり、それは、有利なこととして、より没入型のVR/AR/MR体験を提供し得る。ディスプレイを介して提供されるコンピュータ生成画像は、3次元である印象を作成することができる。これは、例えば、立体視画像をユーザに提示することによって、行われることができる。
図2は、ウェアラブルVR/AR/MRディスプレイシステム80の例を図示する。VR/AR/MRディスプレイシステム80は、ディスプレイ62と、ディスプレイ62の機能をサポートするための種々の機械的および電子的なモジュールおよびシステムとを含む。ディスプレイ62は、フレーム64に結合され得、それは、ウェアラブルユーザ60によって装着可能であり、ディスプレイ62をユーザ60の眼の正面に位置付ける。スピーカ66が、フレーム64に結合され、ユーザの外耳道に隣接して位置付けられることができる。示されていない別のスピーカが、ユーザの他方の外耳道に隣接して位置付けられ、ステレオ/成形可能音制御を提供することができる。ディスプレイ62は、有線または無線接続性68によって等、フレーム64に固定して取り付けられる構成、ユーザによって装着されるヘルメットもしくは帽子に固定して取り付けられる構成、ヘッドホンに内蔵される構成、または別様にユーザ60に除去可能に取り付けられる構成(例えば、リュック式構成において、ベルト結合式構成において等)等、種々の構成において搭載され得るローカルデータ処理モジュール70に動作可能に結合される。
ローカル処理およびデータモジュール70は、プロセッサと、不揮発性メモリ(例えば、フラッシュメモリ)等のデジタルメモリとを含み得、それらの両方は、データの処理および記憶を支援するために利用され得る。これは、画像捕捉デバイス(例えば、カメラ)、マイクロホン、慣性測定ユニット、加速度計、コンパス、GPSユニット、無線デバイス、および/またはジャイロスコープ等のセンサから捕捉されたデータを含む。センサは、フレーム64に動作可能に結合され得るか、または別様にユーザ60に取り付けられ得る。センサは、フレーム64に動作可能に結合されるか、または別様にユーザに60に取り付けられ得る。いくつかの実施形態では、全てのデータは、記憶され、全ての算出は、ローカル処理およびデータモジュール内で実施され、完全に自律的使用を可能にする。代替として、または加えて、センサデータは、遠隔処理モジュール72および/または遠隔データリポジトリ74を使用して取得および/または処理され得る。ローカル処理およびデータモジュール70は、これらの遠隔モジュール(72、74)が互いに動作可能に結合され、ローカル処理およびデータモジュール70へのリソースとして利用可能であるように、有線または無線通信リンク等を介して、通信リンク(76、78)によって、遠隔処理モジュール72および遠隔データリポジトリ74に動作可能に結合され得る。いくつかの実施形態では、遠隔処理モジュール72は、データ(例えば、センサデータおよび/または画像情報)を分析および処理するように構成される1つ以上のプロセッサを含み得る。遠隔データリポジトリ74は、デジタルデータ記憶設備を備え得、それは、インターネットまたは「クラウド」リソース構成における他のネットワーキング構成を通して利用可能であり得る。
VR/AR/MRシステム80は、深度センサ100も含むことができる。深度センサ100は、ユーザの周囲の測定を行い、それらの周囲内に存在する種々のオブジェクトおよび特徴までの距離についての情報を決定する。VR/AR/MRアプリケーションは、短距離深度情報(例えば、0~2メートル)、長距離深度情報(例えば、2~4メートルおよびそれを上回る)、および高ダイナミックレンジ(HDR)深度情報を含む種々のタイプの深度情報を利用することができる。深度センサ100によって提供される深度情報は、ユーザがVR/AR/MRシステムと相互作用することを可能にし、および/または、システムが仮想画像をユーザの実世界環境の中に投影することを可能にするために使用されることができる。
VR/AR/MRシステムにおける長距離深度感知の1つのアプリケーションは、深度情報を使用して、ユーザの環境をモデル化する。例えば、深度センサ100は、部屋内の壁およびオブジェクトまでの距離を決定するために使用されることができる。結果として生じる深度情報は、部屋およびそのコンテンツの3Dモデルを作成するために使用されることができる。AR/MRシステムでは、特に、これは、システムが現実的および双方向方法において仮想画像を部屋の中に投影することを可能にすることができる。VR/AR/MRシステムにおける短距離深度感知の例示的アプリケーションは、ジェスチャ認識である。例えば、VR/AR/MRシステム80は、ジェスチャ認識を促進するように、深度感知を使用して、ユーザの手の移動を追跡することができる。VR/AR/MRシステム80は、次いで、ユーザのジェスチャに応答して、あるアクションを実施することができる。
深度情報が、VR/AR/MRシステム80によって使用され、ユーザに、双方向没入型体験を提供することができることを所与として、深度センサ100が、深度情報を比較的に迅速および効率的に収集することが有利である。なぜなら、これが、VR/AR/MRシステム80がより応答性であることを可能にするからである。これは、AR/MRアプリケーションがユーザを包囲する実世界コンテンツとシステム80によってユーザの環境の中に投影される仮想コンテンツとの間の不連続性に非常に敏感であり得るので、特に、AR/MRアプリケーションに当てはまり得る。本開示は、したがって、種々の深度感知情報が収集され得る効率および/または速度を増加させ得る改良された技法を説明する。
背景として、1つのタイプの深度センサは、3D飛行時間(TOF)カメラである。概して、3D TOFカメラは、光源を使用して、場面を照明する。TOFカメラは、次いで、場面内の種々の点/オブジェクト/特徴までの距離についての情報を決定するために、場面から反射する光を観察および処理する。いくつかのTOFカメラは、赤外線光のパルスを場面内の1つ以上の点に向かって放出し、次いで、光が場面から反射されるまでの経過時間を測定することによって、深度測定を実施する。光の速度の知識と組み合わせられた経過時間に基づいて、カメラは、次いで、光が進行した距離を決定することができる。加えて、いくつかのTOFカメラは、変調された光信号(例えば、正方形または正弦波)を放出し、次いで、照明光信号と反射光信号との間の位相シフトを測定することによって、深度測定を実施することができる。これらの位相シフト測定値は、次いで、距離測定値に変換される。
大部分の深度感知TOFカメラでは、照明は、ヒトの眼に不可視である、近赤外線範囲(例えば、約850nm)で動作する固体レーザまたは発光ダイオード(LED)から生じる。典型的には、光源から場面の中への照明は、比較的に均一であるように設計される。照明光と同一スペクトルに応答するように設計された結像センサが、場面から反射された光を受け取り、光を電気信号に変換する。いくつかの実施形態では、結像センサは、例えば、224×172ピクセルの分解能を有するCCDまたはCMOSセンサであることができるが、より大きいまたはより小さい分解能を伴う結像センサも、使用されることができる。各ピクセルは、像面内の点に位置し、それは、TOFカメラの視野内のオブジェクト空間または場面内の別個の点に対応する。したがって、結像センサの各ピクセルにおいて収集された情報は、その特定のピクセルに対応する場面内の点までの距離を決定するために使用されることができる。
結像センサの各ピクセルによって受け取られた光は、周囲成分と、反射成分とを有する。深度情報は、反射成分のみに組み込まれている。これらの2つの成分間で区別するために、TOFカメラは、場面を赤外線光で能動的に照明する直前または直後、周囲赤外線光の画像を捕捉し得る。周囲赤外線光のこの画像は、強度サブフレーム画像と称され得る。強度サブフレーム画像を場面を能動的に照明する間に収集された他のサブフレーム画像から減算または別様に除去することによって、深度センサ100は、赤外線光の反射成分を場面内の背景雑音から区別することができる。
照明成分と反射成分との間の位相シフトの検出を可能にするために、光源からの信号が、変調されることができる。例えば、方形波変調信号が、使用されることができる。画像センサは、次いで、反射された光を変調信号に対する異なる位相シフトに対応する複数の異なる時間に検出する。異なる位相シフトは、例えば、角度1、角度2、角度3、および角度4であり得、角度2=角度1+Δ、角度3=角度1+2Δ、および角度4=角度1+3Δであり、角度1およびΔは、所定の角度である。例えば、角度1は、0°であり得、Δは、90°であり得、それによって、カメラは、変調信号に対して0°、90°、180°、および270°位相シフトされた期間中に各ピクセルにおいて受け取られた反射された光を検出し得る。これらの測定の各々は、カメラセンサによって捕捉された別個の位相サブフレーム画像をもたらし得る。センサピクセルの各々に対応する、場面内の点までの距離は、次いで、当技術分野において公知の数学的方程式を使用して、4つの位相サブフレームから計算されることができる。したがって深度情報の各完全フレーム(それから深度測定の組(ピクセルあたり1回)が決定され得る)は、画像データのいくつかのサブフレームから成る。
変調された照明信号は、周期的であり、したがって、位相シフトの360°毎に、自動的に繰り返し現れる。したがって、いくつかのTOFカメラが、変調された照明信号に対する反射された光の位相シフトに基づいて、深度を測定するという事実は、測定された距離がエイリアシング効果を被るであろうことを意味する。これらのエイリアシング効果は、測定された距離における曖昧性をもたらし得る。エイリアシングが生じる距離(すなわち、曖昧性距離)は、TOFカメラが測定し得る最大の曖昧性のない距離でもある。最大測定可能距離は、照明光の変調周波数を低減させることによって拡張されることができるが、それは、低減された深度測定分解能を犠牲にして生じ得る。深度測定分解能を損なわせることなく、深度曖昧性を解決するために、TOFカメラは、異なる周波数(例えば、Fmod0およびFmod1)を有する2つ以上の別個の変調信号を使用して、照明光を変調することができる。深度測定は、複数の変調周波数の各々に対する反射された光の位相シフトを測定することによって実施される。各変調周波数は、異なるので、各々は、異なる曖昧性距離を有するであろう。場面内の所与の点までの実際の距離は、異なる変調周波数を使用して行われた測定が一致する距離である。
TOFカメラでは、距離は、カメラセンサ内のピクセル毎に測定されることができる。これは、カメラの視野内の場面の深度マップをもたらす。深度マップは、3次元空間内の点の集合、すなわち、ボクセルであり、各ボクセルは、対応するセンサピクセルによって測定された距離に位置する。深度マップは、点の集合、すなわち、点群として、3次元空間内にレンダリングされることができる。3D点は、数学的に接続され、メッシュを形成することができる。メッシュは、場面をモデル化すること、オブジェクトを検出すること等のために使用されることができる。加えて、仮想コンテンツは、VR/AR/MRシステムによって、メッシュ上にマッピングされ、ユーザの実在の周囲と相互作用する、実物のような3D仮想コンテンツを提供することができる。
種々のタイプの深度測定が、VR/AR/MRシステム80における異なる目的のために有利であり得る。例えば、近距離低フレームレート深度測定は、ユーザの手が深度センサ100の視野内に存在するとき、検出のために十分であり得る。ユーザの手が深度センサの視野内に存在するという事実が検出されると、近距離高フレームレート深度測定が、ユーザの手の移動を追跡し、それによって、行われている具体的ジェスチャを検出するためにより有用であり得る。一方、低いまたは高フレームレートにおける長距離深度測定は、ユーザの環境をマッピングするために有用であり得る。加えて、近距離から長距離までの高ダイナミックレンジ(HDR)深度測定も、有益であり得る。
多くの異なるタイプの深度測定が、VR/AR/MRシステム80において有用であり得ることを所与として、深度センサ100は、これらの異なるタイプの深度測定の各々を収集するための複数の動作モードを含むことができる。各モードは、例えば、深度センサ100によって実施されるべき一連の動作から成り得る。モードに応じて、これらの動作の各々は、露光時間、照明光光度、照明変調周波数等の異なる設定またはパラメータを伴うことができる。以下の表は、いくつかの深度感知モードのための例示的動作一連および構成設定を図示する。
表1は、短距離高フレームレート深度感知モードのための例示的一連の動作を図示する。いくつかの実施形態では、この動作モードは、約20Hzを上回るフレームレートを用いて、約2メートル未満(変調周波数および露光時間に応じて)の範囲における深度を感知するために使用される。この特定の実施形態では、フレームレートは、45Hzであり、それは、深度情報の1つの完全フレームが22.22ms(1/45s)毎に捕捉されることを意味する。この場合、深度情報の各完全フレームは、強度サブフレーム(照明源がオフにされている間の周囲赤外線光を測定するため)および4つの位相サブフレーム(照明源が変調されている間に捕捉される)に基づく。
短距離高フレームレート深度感知モードのための例示的一連の動作は、ステップ0から開始し、それは、強度サブフレームを取得する。次いで、ステップ1-4中、4つの位相サブフレームが、捕捉される。短距離測定のために、これらのサブフレームの各々のための露光時間(すなわち、画像センサが光を捕捉する間の時間)は、典型的には、約0.5ms未満である。各サブフレームは、捕捉された画像データを画像センサから転送するための関連付けられた読み取り時間を含む。読み取り時間は、典型的には、約1ms未満である。
短距離高フレームレート動作モードは、随意に、動作一連のうちのステップ5として、比較的に短い遅延を含むことができる。この遅延は、例えば、動作一連の22.22ms期間とステップ0-4を完了するために要求される総時間との間の差異と等しくあることができる。言い換えると、ステップ5の随意の短遅延は、動作一連の期間中における、強度サブフレームおよび4つの位相サブフレームを捕捉し、読み取るために要求されない任意の追加の時間を占有することができる。表1は、この特定の深度感知モードのための動作ステップの具体的順序を列挙するが、動作ステップは、代替として、異なる順序において実施され得る。同じことは、本明細書に説明される他の動作モードに関しても当てはまる。
表2は、短距離低フレームレート深度感知モードのための例示的一連の動作を図示する。この動作モードは、約20Hz未満のフレームレートを用いて、約2メートル未満(変調周波数および露光時間に応じて)の範囲における深度を感知するために使用され得る。この特定の実施形態では、フレームレートは、8Hzであり、それは、深度情報の1つの完全フレームが125ms毎に捕捉されることを意味する。前述の場合と同様に、深度情報の各完全フレームは、強度サブフレームおよび4つの位相サブフレームに基づく。短距離高フレームレートモードは、より良好な時間分解能を伴って深度測定を生産する利点を有するが、短距離低フレームレートモードは、より低い時間分解能が目前のタスクのために適正であるとき、算出上あまり集約的ではなく、それによって、システムが、低電力モードに入り、エネルギーを節約することを可能にすることに起因して、有益であり得る。
短距離低フレームレートモードのための例示的一連の動作は、ステップ0から開始し、それは、強度サブフレームを取得する。次いで、ステップ1-4中、4つの位相サブフレームが、捕捉される。再び、短距離測定に対して、これらのサブフレームの各々のための露光時間は、典型的には、約0.5ms未満であり、各サブフレームのための読み取り時間は、典型的には、約1ms未満である。表2におけるステップ0-4は、表1におけるステップ0-4と同一である。したがって、短距離低フレームレート動作モードおよび短距離高フレームレート動作モードは、これらの5つのステップを共通して有する。
しかし、短距離低フレームレート動作モードは、動作一連のうちのステップ5として、比較的に長い遅延を含む。この遅延は、例えば、動作一連の125ms期間とステップ0-4を完了するために要求される総時間との間の差異と等しくあることができる。比較的に長い遅延のステップ5は、動作一連の期間中における、強度サブフレームおよび4つの位相サブフレームを捕捉し、読み取るために要求されない時間を占有する。したがって、表1および2に示される2つの短距離動作モード間の差異は、表2におけるステップ5の比較的に長い遅延と表1におけるステップ5の随意の比較的に短い遅延との間の差異に関連する。
表3は、長距離高フレームレート深度感知モードのための例示的一連の動作を図示する。この動作モードは、約20Hzを上回るフレームレートを用いて、例えば、約2~4メートル(変調周波数および露光時間に応じて)の範囲における深度を感知するために使用されることができる。短距離深度データと同様に、長距離深度情報の各完全フレームは、画像データのいくつかのサブフレームに基づく。再び、照明源がオフである間の周囲赤外線光を測定するための強度サブフレームが、存在する。しかし、長距離深度データの場合、画像データの8つの位相サブフレーム、すなわち、2つの照明変調周波数Fmod1およびFmod2の各々のために4つの位相サブフレームが存在する。
長距離高フレームレート深度感知モードのための例示的一連の動作は、ステップ0から開始し、それは、強度サブフレームを取得する。次いで、ステップ1-4中、第1の変調周波数Fmod1のための4つの位相サブフレームが、捕捉される一方、ステップ5-8中、第2の変調周波数Fmod2のための4つのサブフレームが、捕捉される。長距離測定に対して、これらのサブフレームの各々のための露光時間(すなわち、画像センサが光を捕捉する間の時間)は、短距離測定より長く、典型的には、2-3msである。(長距離サブフレームのための他のパラメータまたは設定も、短距離サブフレームと異なり得る。)各サブフレームは、捕捉された画像データを画像センサから転送するための約1msの関連付けられた読み取り時間も含む。
長距離高フレームレート動作モードは、随意に、動作一連のステップ9として、比較的に短い遅延を含むことができる。この遅延は、例えば、動作一連の期間とステップ0-8を完了するために要求される総時間との間の差異と等しくあることができる。言い換えると、ステップ9の随意の短遅延は、動作一連の期間中における、強度サブフレームおよび8つの位相サブフレームを捕捉し、読み取るために要求されない任意の追加の時間を占有することができる。
表4は、長距離低フレームレート深度感知モードのための例示的一連の動作を図示する。この動作モードは、約20Hz未満のフレームレートを用いて、約2-4メートル(変調周波数および露光時間に応じて)の範囲における深度を感知するために使用されることができる。この特定の実施形態では、フレームレートは、5Hzであり、それは、深度情報の1つの完全フレームが200ms毎に捕捉されることを意味する。前述の場合と同様に、深度情報の各完全フレームは、強度サブフレームおよび8つの位相サブフレームに基づく。
長距離低フレームレートモードのための例示的一連の動作は、ステップ0から開始し、それは、強度サブフレームを取得する。次いで、ステップ1-8中、8つの位相サブフレームが、捕捉される。再び、長距離測定に対して、これらのサブフレームの各々のための露光時間は、典型的には、約2~3ms未満であり、各サブフレームは、捕捉された画像データを画像センサから転送するための関連付けられた読み取り時間も含む。読み取り時間は、典型的には、約1ms未満である。表4におけるステップ0-8は、表3におけるステップ0-8と同一である。長距離低フレームレート動作モードおよび長距離高フレームレート動作モードは、したがって、これらの9つのステップを共通して有する。
しかし、長距離低フレームレート動作モードは、動作一連のうちのステップ9として、比較的に長い遅延を含む。この遅延は、例えば、動作一連の200ms期間とステップ0-9を完了するために要求される総時間との間の差異と等しくあることができる。言い換えると、ステップ9の長遅延は、動作一連の期間において、強度サブフレームおよび8つの位相サブフレームを捕捉し、読み取るために要求されない任意の追加の時間を占有することができる。表3および4に示される2つの動作モード間の差異は、したがって、表4におけるステップ9の比較的に長い遅延と表3におけるステップ9の随意の比較的に短い遅延との間の差異に関する。
特定の深度感知モード(例えば、表1-4に示される深度感知モードのいずれか)で動作するために、深度センサ100は、適切な一連の動作ステップ(および関連付けられた設定)でプログラムされる必要がある。従来の深度センサは、典型的には、プログラミング命令を保持するための複数のメモリビンを有する。各ビンは、例えば、表1-4の動作一連に示される動作のうちの1つを保持することができる。したがって、TOFカメラを短距離高フレームレート深度感知モード(すなわち、表1に従う)で動作するようにプログラムするために、5つまたは6つのプログラミングビンが、典型的には、要求されるであろう。同様に、短距離低フレームレートモード(すなわち、表2に従う)は、典型的には、6つのプログラミングビンを要求するであろう。一方、長距離高フレームレート動作モード(すなわち、表3に従う)は、典型的には、9または10のプログラミングビンを要求するであろう一方、長距離低フレームレート動作モード(すなわち、表4に従う)は、典型的には、10のプログラミングビンを要求するであろう。したがって、従来の方法を使用すると、6+6+10+10=32のメモリビンが、深度センサ100をこれらの深度感知モードの全4つで動作することが可能なようにプログラムするために要求され得る。
深度センサ100の各々は、それぞれの動作ステップ(および関連付けられた設定)をセンサのメモリビンの中にロードすることによって、表1-4に図示される深度感知モードならびにその他のいずれかで動作するようにプログラムされることができる。このプログラミングプロセスは、いくつかの実装では、例えば、約160msかかり得るが、特定の実装に応じて、より長いまたはより短い期間がかかり得る。したがって1つのみの動作ステップの組(1つの深度感知モードに対応する)が、一度に、深度センサのメモリビンの中にプログラムされる場合、動作モードを切り替えるように深度センサを再プログラムするために要求され得る、おそらく約160msのコストが存在する。深度センサが、あまり頻繁にモードを変更するように要求されない場合、この時間コストは、容認可能であり得る。しかしながら、VR/AR/MRシステム80では、比較的に頻繁に深度感知モード間で切り替える必要性が存在し得る。深度センサを再プログラムするために要求される時間は、したがって、顕著な遅れをシステムの応答性に導入し得るので、問題となり得る。この問題および他の問題は、本明細書に説明される深度感知技法によって解決される。
図3は、例示的深度感知システム300を図示する。深度感知システム300は、状態機械320と、アービタ330と、深度センサ100自体とを含む。状態機械320およびアービタ330は、ハードウェア(例えば、汎用プロセッサを含む1つ以上のプロセッサ、フィールドプログラマブルゲートアレイ(FPGAS)、特定用途向け集積回路(ASIC)等)、および/またはソフトウェア(例えば、メモリに記憶されるコンピュータ読み取り可能な命令、非一過性媒体等)として実装されることができる。図3は、いくつかの複合現実(MR)アプリケーション310も示し、それらは、深度感知システム300と通信する。これらは、VR/AR/MRシステム80上で動作するアプリケーションである。これらのアプリケーション310のうちの1つは、例えば、ジェスチャ認識アプリケーションであり得る。別のものは、3-Dマッピングアプリケーションであり得る。別のものは、仮想コンテンツ投影アプリケーションであり得る。これらのアプリケーション310の各々は、異なる時間に種々の異なるタイプの深度情報の必要性を有し得る。異なるタイプの深度情報が、同じ瞬間、またはほぼ同じ瞬間において、異なるアプリケーション310によって必要とされることも稀ではないであろう。したがって、深度感知システム300は、可能な限り迅速かつ効率的に、深度感知モード間で切り替え、要求される深度情報を取得することが可能であることが有利である。複合現実アプリケーションのみが、図3に図示されるが、仮想現実および拡張現実アプリケーションも、深度感知システム300と通信し、深度情報を要求および受信することができることに留意されたい。
各アプリケーション310は、必要に応じて、種々のタイプの深度情報に対して、深度感知システム300に要求を行うことができる。アービタ330は、深度情報に対する要求を受信することと、要求される深度情報を提供するであろう深度感知動作をスケジューリングすることとに関与する。いくつかの実施形態では、アービタ330は、より時間制約が厳しいアプリケーションに最初にサービス提供するように、深度測定に対する要求を優先順位付けする。例えば、いくつかの実施形態では、アービタ330は、深度感知要求を以下の順序で優先順位付けする(但し、他の優先順位化スキームも、使用されることができる):1)短距離高フレームレート深度測定、2)高ダイナミックレンジ深度測定(長距離低フレームレート深度測定でインターリーブされた短距離低フレームレート深度測定から成る)、3)短距離低フレームレート深度測定、4)長距離高フレームレート深度測定、5)長距離低フレームレート深度測定、および、6)アイドル状態。
いくつかの実施形態では、深度測定要求が優先順位付けされる順序は、要求側アプリケーションの優先順位に基づく。例えば、VR/AR/MRシステムは、典型的には、ユーザ手のジェスチャに依拠して、制御入力を提供するので(そのようなシステムは、典型的には、タッチパネル、キーボード、または他の物理的入力デバイスを有していないので)、任意のユーザの手のジェスチャが、最高優先順位に割り当てられ得る。故に、いくつかの実施形態では、最高優先順位モードは、手のジェスチャを追跡するために使用される短距離高フレームレート深度測定であり得る。しかしながら、種々の深度感知モードは、異なる動作需要に適応するために、種々の方法で優先順位を割り当てられることができることを理解されたい。
深度情報に対する要求が、アービタ330によって、優先順位付けおよびスケジューリングされると、状態機械320が、要求される測定を実際に行い、要求されるデータを返すように、深度センサ100ハードウェアを制御するために使用される。このタスクの一部として、状態機械320は、動作ステップ(および関連付けられた設定)を深度センサ100のメモリビン内に記憶することと、選択された深度感知モードを設定することと、アービタ330からの入力に基づいて、そのように行うことを要求されると、深度センサ100の深度感知モードを切り替えることとを含む種々のタスクを実施し得る。状態機械320の動作は、図4および5に関してより詳細に説明される。
図4は、深度センサ100を複数の深度感知モードで効率的に動作させるための改良された方法400の例を図示する。方法400は、深度センサ100を構成するためのコマンドを用いて、ブロック410から開始する。このタイプのコマンドは、例えば、深度感知システム300の始動またはリセット時に発行され得る。
ブロック420では、深度感知システム300は、第1の深度感知モードのための動作一連を深度センサのメモリビンの第1のグループの中にロードすることによって、深度センサ100の構成を開始する。例えば、第1の深度感知モードは、短距離高フレームレートモードであり得る。それが該当する場合、深度感知システム300は、表1からの一連の動作を深度センサのメモリビンの中にロードするであろう。従来の深度感知システムでは、深度センサ100は、次いで、第1の深度感知モードで動作することに進み、異なる深度感知モードが要求されるまで、深度測定を取得するであろう。しかしながら、本明細書に説明される深度感知システム300は、代わりに、ブロック430に進み、第2からN番目の深度感知モードのための動作一連を深度センサ100のメモリビンのグループの中にロードする。例えば、第2の深度感知モードは、長距離高フレームレートモードであり得る。それが該当する場合、深度感知システム300は、表3からの一連の動作を深度センサ100のメモリビンの中にロードするであろう。追加の深度感知モードも、利用可能なメモリビンが深度センサ100内に存在する限り、この構成一連の間、プログラムされ得る。さらに下で議論されるように、これらの構成ステップは、深度感知が開始する前に実施され、それによって、深度感知モード間で変更されるとき、構成遅延を回避することができる。
ブロック440では、方法400は、深度情報の収集を開始するためのコマンドに進む。このコマンドは、アービタ330によってスケジューリングされた深度感知タスクに基づいて発行されることができる。ブロック450では、状態機械320が、使用されるべきプログラムされた深度感知動作モードを規定する。第1の深度感知動作モードが、ブロック450において規定される場合、方法400は、ブロック460に進む。ブロック460では、深度センサ100は、メモリビンの第1のグループ内に規定された動作一連を実行することによって、第1の深度感知モードで動作する。深度センサ100は、第1の深度感知モードにある間、深度情報の1つ以上のフレームを捕捉することに進む。この測定が完了すると、方法は、ブロック450に戻り、深度感知動作モードが、再び、規定されることができる。
ブロック450に戻ると、深度感知動作モードが、変更される場合、方法400は、ブロック470に進む。ブロック470では、深度センサ100は、メモリビンの対応するグループ内に規定された動作一連を実行することによって、第2からN番目の深度感知モードのいずれかで動作することができる。第2からN番目の深度感知動作モードのいずれかに従って、1つ以上のフレームの深度情報を収集後、方法400は、ブロック450に戻り、アービタ330によってスケジューリングされた深度感知タスクに従って、反復的に繰り返す。
図4に示される動作の方法は、要求される深度感知動作モードの変更に起因して、深度センサ100をプログラムするために費やされる時間量を低減させることによって、深度感知効率を改良することができるので、有利である。これは、複数の深度感知モードに対応する動作ステップを深度センサのメモリビンの中に同時にプログラムすることによって遂行される。例えば、深度センサの最初の6つのメモリビンは、表2の動作ステップを用いてプログラムされ得る一方、深度センサの次の10のメモリビンは、表4の動作ステップを用いてプログラムされ得る。このように、深度センサは、最初の6つのビン内に記憶される命令を実行することによって、短距離低フレームレートモード(表2に対応する)で動作し得る。または、深度センサは、次の10のビン内に記憶される命令を実行することによって、長距離低フレームレートモード(表4に対応する)で動作し得る。深度センサは、メモリビンを再プログラムするために要求される時間ペナルティを被らずに、これらのモード間で切り替わることができる。故に、深度情報の収集の効率および速度は、増加されることができる。
いくつかの実施形態では、状態機械320は、メモリビンの再プログラムを要求せずに1つの深度感知モードから別の深度感知モードに深度センサ100に切り替えをさせる動作を実施する。状態機械320は、一連の動作ステップを深度センサ100内のメモリビンの異なるセット/サブセットから実行することによって、深度感知モード間で交互する能力を提供する。状態機械320は、それから深度センサ100が命令を実行するセット/サブセットおよび一連のメモリビンを外部から制御することができる。状態機械320を伴わない場合、深度センサ100は、単に、所望の深度感知モードを達成するために、実行すべきコマンドの特定のセット/サブセットを選択する能力を伴わずに、そのメモリビン内に記憶されるコマンドを通して巡回し得る。
図5は、深度センサ100を複数の深度感知モードで効率的に動作させるための例示的状態略図500である。図5に示される状態は、アービタ330と協働する状態機械320によって実装されることができる。いくつかの実施形態では、深度感知システム300は、3つの状態を有する:1)「ホットスタンバイ」状態510、2)「オン」状態520、および、3)「保留ホットスタンバイ」状態530。図4におけるブロック410-430に従ってプログラムされた後、深度センサ100は、ホットスタンバイ状態510に設置されることができる。
図4の方法のブロック440における深度情報の収集を開始するためのコマンドに基づいて、状態機械320は、深度センサ100をオン状態520に設置する。この状態変更は、例えば、最初に、フレームバッファを開放し、深度情報を受信することによって遂行されることができる。次に、状態機械320は、ホストVR/AR/MRシステム80が、ストリーミング深度情報を受け取るように設定することができる。状態機械320は、次いで、図4に示される方法のブロック450に従って、深度感知モードを設定することができる。本明細書に議論されるように、状態機械320は、実行するための深度センサ100のメモリビン内に記憶されたセット/サブセットおよび/または一連の動作ステップを規定することによって、深度感知モードを設定することができる。例えば、第1の深度感知モードは、深度センサ100をビンX-Y(Xは、任意の整数であり、Yは、Xを上回る任意の整数である)によって規定された動作一連のみを実行するように設定することによって、規定されることができる。最後に、状態機械320は、規定された深度感知モードに従って深度情報のストリーミングを開始するように深度センサ100を設定することができる。深度センサ100は、規定されたモードに従って、深度情報のフレームのストリーミングを継続する一方、保留ホットスタンバイ状態530への切り替えのための条件の各々が存在するまで、オン状態520にある。
いくつかの実施形態では、状態機械320は、以下の条件が満たされると、深度センサをオン状態520から保留ホットスタンバイ状態530に切り替える:1)深度情報の完全フレームが受信されたとき、および、2)アービタ330が、モード切り替えが要求されることを示すとき。これらの条件が満たされると、状態機械320は、深度センサ100を保留ホットスタンバイ状態530に設置する。この状態では、状態機械320は、深度センサをストリーミングを中止するように設定する。
保留ホットスタンバイ状態530にある間、状態機械320は、現在の深度感知モードのフレーム周期が維持されることを確実にする。これは、眼安全性理由から、規定された時間単位あたり深度センサ100によって出力されるエネルギーの量を限定するために行われる。例えば、特定の深度測定が、5Hzのフレームレートで行われるようにスケジューリングされる場合、その測定のためのフレーム周期は、200msである。典型的には、深度センサ100内の光源の電力は、そのフレーム周期に基づいて、安全レベルに設定される。したがって、いくつかの実施形態では、状態機械320は、その200msフレーム周期が経過するまで、深度感知モードが変更されることを可能にしない。何故なら、そうすることが新しい深度測定を直ちに開始し得、ひいては、新しい深度測定が、200ms周期中に追加の放射量が放出されるようにし、それによって、可能性として、眼安全性限界を超え得るからである。
依然として保留ホットスタンバイ状態530にある間、状態機械320は、ホストVR/AR/MRシステム80をスタンバイ状態に設定し、深度情報を受信するために使用されるフレームバッファを閉鎖する。これらのアクションが完了すると、深度感知システム状態機械320は、深度センサ100をホットスタンバイ状態510に移行させる。アービタ330と協働する、状態機械320は、次いで、次の深度感知モードを規定し、プロセスは、繰り返されることができる。再び、次の深度感知モードが、実行されるために深度センサ100のメモリビン内に記憶されたセット/サブセットおよび/または一連の動作ステップを規定することによって設定される。また、深度感知モードをこのように変更させることは、次の深度感知モードのための動作ステップがメモリビン内にすでに記憶されているので、深度センサ100が再プログラムされることを要求しない。
図4に示される方法400は、深度感知動作の効率を改良することができるが、深度センサ100によって提供される利用可能なメモリビンの数によって限定され得る。深度感知モードの所望の数およびタイプに応じて、要求される一連の動作命令に適応するために不十分なメモリビンが存在し得る。例えば、深度センサ100が、15のメモリビンのみを提供する場合、従来の技法に従うと、追加の深度感知モードはもちろんのこと、表1-4に説明される深度感知モードの全4つによって要求される動作一連を用いて深度センサを同時にプログラムすることは、不可能であろう。これは、それらの深度感知モードが、集合的に、15を上回る動作ステップを含むからである。したがって、図4に示される方法400が実装される場合でも、利用可能なメモリビンの数に応じて、深度センサ100は、表1-4に説明される深度感知モードの全てをもたらすために、依然として、周期的に再プログラムされる必要があるであろうことがあり得る。すでに議論されたように、それは、時間ペナルティをもたらし得、望ましくない。この問題は、深度センサに追加のメモリビンを提供することによって、軽減され得る。しかしながら、そのようにすることは、深度センサのサイズおよびコストを増加させるであろう。しかし、メモリビンの数が所望の深度感知モードの全てのための動作一連に適応するために不十分であり得るときでも、深度センサ100の効率をさらに改良するために使用され得る、図6-8に図示される別の技法が存在する。この技法は、共通ステップが、必ずしも、2回以上、深度センサ100の中にプログラムされる必要がないように、異なる深度感知モードがいくつかの動作ステップを共通して有し得るという事実を活用する。
図6は、深度センサ100を複数の深度感知モードで効率的に動作させるための改良された方法600の別の例を図示する。方法600は、図3に示される同一深度感知システム300と、図5の状態略図500に示される同じ動作状態とを使用して、行われることができる。方法600は、深度センサ100を構成するためのコマンドを用いて、ブロック610から開始する。再び、このタイプのコマンドは、例えば、深度感知システム300の始動またはリセット時に発行され得る。いくつかの実施形態では、図6に示される改良された方法600は、深度センサ100の構成が、動作の各セッション中、1回のみ実施されることを可能にする。例えば、いくつかの実施形態では、最初にプログラムされた後、深度センサ100は、ホストが深度センサをリセットモードに設置するまで、または深度センサが再起動されるまで、再びプログラムされる必要がないこともある。
ブロック620では、深度感知システム300は、2つ以上の深度感知モード間で共通する動作ステップを深度センサのメモリビンの中にロードすることによって、深度センサ100の構成を開始する。これらの共通動作ステップは、2つ以上の動作モードにおいて同一のものである。例えば、強度サブフレームおよび4つの位相サブフレームを捕捉するためのステップ(および関連付けられた設定)は、高フレームレート短距離深度測定と低フレームレート短距離深度測定との両方に対して同じである。表1および2を参照すると、これらの共通動作ステップは、ステップ0-4に対応する。同様に、強度サブフレームおよび8つの位相サブフレームを捕捉するためのステップ(および関連付けられた設定)は、高フレームレート長距離深度測定と低フレームレート長距離深度測定との両方に対して同じである。表3および4を参照すると、これらの共通動作ステップは、ステップ0-8に対応する。
ブロック630では、深度感知システム300は、1つ以上のダミー動作ステップをメモリビンの中にロードすることによって、深度センサ100の構成を継続する。いくつかの実施形態では、ダミー動作ステップは、2つ以上の動作モード間の差異に関するものである。1つ以上のダミー動作ステップを2つの動作モードに対する一連の共通動作ステップと一緒に実行することによって、動作モードのうちの一方が、他方に効果的に変換されることができる。
例えば、本明細書ですでに議論されたように、高フレームレート短距離深度感知モード(すなわち、表1)と低フレームレート短距離深度感知モード(すなわち、表2)との間の差異は、それぞれのフレーム周期間の差異、言い換えると、サブフレーム捕捉一連を繰り返す前に導入される遅延の量間の差異に関する。高フレームレート短距離深度測定の場合、比較的に短い遅延(または無遅延)が、使用される。低フレームレート短距離深度測定の場合、比較的に長い遅延が、フレームレートを低減させる(対応して、フレーム周期を増加させる)ように導入される。したがって、この対の深度測定(すなわち、高フレームレート短距離深度測定および低フレームレート短距離深度測定)に関して、ダミー動作ステップは、低フレームレート測定の比較的に長い遅延と高フレームレート測定の比較的に短い随意の遅延との間の差異を表す遅延として定義されることができる。言い換えると、この対の深度感知モードのためのダミー動作ステップは、表2のステップ5における比較的に長い遅延と表1のステップ5における比較的に短い随意の遅延との間の差異と等しい遅延であることができる。同様に、高フレームレート長距離測定と低フレームレート長距離測定とのためのダミー動作ステップは、表4のステップ5における比較的に長い遅延と表3のステップ5における比較的に短い随意の遅延との間の差異と等しい遅延であることができる。
図7は、複数の深度感知モードのための共通動作ステップとダミー動作ステップとを示す例示的表700である。この例示的表700では、ステップ0は、対の長距離深度測定のためのダミー動作ステップである。このダミー動作ステップは、高フレームレート長距離測定モードを実行するために実施される一連の動作に追加されると、その一連の動作を低フレームレート長距離測定モードに変換する遅延である。このダミー動作ステップは、深度センサ100の第1のメモリビン内に記憶されることができる。
一方、表700内のステップ1からステップmは、高フレームレート長距離測定モードと低フレームレート長距離測定モードとの間の共通動作ステップである。本明細書で議論される例示的TOFカメラに対して、長距離深度測定は、9つの総サブフレーム(1つの強度サブフレームおよび8つの位相サブフレーム)を要求する。したがって、表700内のインデックスmは、9と等しいであろう。故に、ステップ1-9は、長距離動作モードのための強度サブフレームおよび8つの位相サブフレームを捕捉するために使用されるであろう。これらの動作ステップは、ステップ0におけるダミー動作後、深度センサ100の次の9つのメモリビン内に記憶されることができる。次のステップは、眼安全性ダミー動作ステップであり、それは、表700内のステップm+1に提供される。このダミー動作ステップは、図9に関して議論される。
図7における表700は、高フレームレート短距離測定モードと低フレームレート短距離測定モードとの間の共通動作ステップも示す。これらの共通動作は、ステップm+2からステップm+n+1によって、表700内に表される。本明細書で議論される例示的TOFカメラに対して、短距離測定は、5つの総サブフレーム(1つの強度サブフレームおよび4つの位相サブフレーム)を要求する。したがって、表700内のインデックスnは、5と等しいであろう(すぐ上で議論されたように、インデックスmは、9と等しいであろう)。故に、ステップ11-15は、短距離動作モードのための強度サブフレームおよび4つの位相サブフレームを捕捉するために使用されるであろう。これらの動作ステップは、深度センサ100の次の5つのメモリビン内に記憶されることができる。
一方、表700内のステップm+n+2は、対の短距離深度測定のためのダミー動作ステップである。このダミー動作ステップは、高フレームレート短距離測定モードを実行するために実施される一連の動作に追加されると、その一連の動作を低フレームレート短距離測定モードに変換する遅延である。このダミー動作ステップは、深度センサ100の次のメモリビン内に記憶されることができる。
図8に関してさらに議論されるように、表700内の動作ステップの種々の組み合わせは、種々の深度感知動作モードを達成するように、図示される順序で実行されることができる。
深度センサ100が、ブロック610-630に従って、共通動作ステップおよびダミー動作ステップを用いてプログラムされた後、図6に示される方法600は、ブロック640において、深度情報の収集を開始するためのコマンドを用いて継続する。ブロック650では、深度感知システム300が、深度感知動作モードを規定する。これは、例えば、規定された深度感知動作モードを行うように実行するための図7における表700に示される動作ステップを規定することによって行われることができる。これは、図8に関して議論される。
図8は、図7の共通動作ステップおよびダミー動作ステップが複数の深度感知モードで効率的に動作するために使用され得る方法を図示する、例示的表800である。図8に示されるように、高フレームレート長距離深度感知モード(表3に示されるように)は、図7に示される表700内のステップ1からステップmを実行することによって、行われることができる。これらのステップを実行することによって、深度センサ100は、ステップ1からステップm中、長距離強度サブフレームおよび8つの長距離位相サブフレームを収集するであろう。一方、深度感知システム300が、代わりに、低フレームレート長距離深度測定(表4に示されるように)を呼び出す場合、この動作モードは、代わりに、ステップ0からステップmを実行することによって遂行されることができる。ステップ0におけるダミーフレームは、高フレームレート長距離測定と低フレームレート長距離測定との間の差異を表すので、ステップ1からステップmに加え、そのステップを実行することは、動作モードを高フレームレート長距離測定モードから低フレームレート長距離測定モードに効果的に変換する。ステップ0におけるダミー動作は、ステップ1からステップm中、サブフレームの収集前に実行されるように表700に示されるが、他の実施形態では、サブフレームの収集後に実施され得、2つのサブフレームの収集の合間にさえも実施され得る。
図8は、高フレームレート短距離測定深度感知モード(表1に示されるように)が、図7に示される表700内のステップm+2からステップm+n+1を実行することによって遂行されることができることも示す。これらのステップを実行することによって、深度センサ100は、短距離強度サブフレームおよび4つの短距離位相サブフレームを収集するであろう。一方、システムが、代わりに、低フレームレート短距離深度測定(表2に示されるように)を呼び出す場合、この動作モードは、代わりに、ステップm+2からステップm+n+2を実行することによって行われることができる。ステップm+n+2におけるダミーフレームは、高フレームレート短距離測定と低フレームレート短距離測定との間の差異を表すので、ステップm+2からステップm+n+1に加え、そのステップを実行することは、動作モードを高フレームレート短距離測定モードから低フレームレート短距離測定モードに効果的に変換する。
図8における表800は、高ダイナミックレンジ深度感知モードも示し、それは、インターリーブされた低フレームレート短および長距離測定から成る。この深度感知モードは、図9に関して議論される。
深度感知システム300が、ブロック650において、深度感知動作モードを規定した後、図6に示される方法600は、ブロック660またはブロック670に進む。深度センサ100は、ブロック660に示されるように、共通動作ステップのあるグループを実行することによって、第1の深度感知モードで動作することができる。共通動作ステップのグループは、例えば、図7に示される表700内のステップ1からステップmであり得る。これは、高フレームレート長距離深度感知モードにおける動作に対応するであろう。または、ブロック660において実行される共通動作ステップのグループは、図7に示される表700内のステップm+2からステップm+n+1であり得る。これは、高フレームレート短距離深度感知モードにおける動作に対応するであろう。
代替として、深度センサ100は、ブロック670に示されるように、共通動作ステップのグループおよび1つ以上のダミー動作ステップを実行することによって、第2の深度感知モードで動作することができる。共通動作ステップのグループは、例えば、図7に示される表700内のステップ1からステップmであり得、ダミー動作ステップは、ステップ0であり得る。これは、低フレームレート長距離深度感知モードにおける動作に対応するであろう。または、ブロック660において実行される共通動作ステップのグループは、図7に示される表700内のステップm+2からステップm+n+1であり得、ダミー動作ステップは、ステップm+n+2であり得る。これは、低フレームレート短距離深度感知モードにおける動作に対応するであろう。
深度感知システム300が、ブロック650からブロック660またはブロック670に進むかどうかにかかわらず、深度センサ100は、規定された深度感知モードにある間、深度情報の1つ以上のフレームを捕捉する。測定が完了すると、方法600は、ブロック650に戻り、深度感知動作モードは、再び、規定されることができる。
図6に示される動作の方法600は、要求される深度感知動作モードの変更に応答して、深度センサ100をプログラムするために費やされる時間量を低減させることによって、深度感知効率を改良することができるので、有利である。方法600に従って、深度センサは、メモリビンを再プログラムするために要求される時間ペナルティを被らずに、複数の深度感知モード間で交互することができる。それは、従来の技法を使用して要求されるであろうものよりはるかに少ないメモリビンを深度センサ100内で使用して遂行されることができる。故に、深度情報の収集の効率および速度は、増加されることができる。加えて、より少ないメモリビンを伴うより低いコスト深度センサが、使用されることができる。
図9は、高ダイナミックレンジ(HDR)深度感知モードで動作するための例示的タイミング図である。HDR深度感知モードは、一緒にインターリーブされた長距離および短距離測定から成る。表5は、HDR深度感知モードのための例示的一連の動作を図示する。いくつかの実施形態では、HDR深度測定のためのフレームレートは、5Hzである。HDR深度測定のための周期は、図9では、Tfpsとして標識される。このHDR深度感知モードは、図6の方法および図7に示される深度センサメモリビンプログラミングスキームを使用して、行われることができる。
HDR深度感知一連は、ステップ0から開始し、長距離強度サブフレームが、捕捉される。次いで、ステップ1-4中、深度センサ100は、第1の変調周波数を使用して、4つの位相サブフレームを捕捉する。図9に示されるように、各位相サブフレームは、TLR-intの露光時間、すなわち、積分時間を有する。これらの露光の各々の後、捕捉された画像データをセンサから転送するための読み取り時間Treadoutが続く。次いで、ステップ5-8では、深度センサ100は、第2の変調周波数を使用して、4つの位相サブフレームを捕捉する。
長距離測定の後、ステップ9において、眼安全性遅延が続き、それは、図9では、Teye_safe_dummyとして標識される。この遅延は、深度センサの光源が測定の途中で遮断されないように、深度センサ100内の眼安全性回路をトリガすることを防止することができる。この遅延は、ダミー動作ステップの別の例であり、下でさらに議論される。図9に示されるように、遅延を構成するダミー動作ステップが、いくつかの実施形態では、強度サブフレーム(露光期間および読み取り期間を含む)として実装され、その後、アイドル期間が続き得る。ダミー動作ステップ中に捕捉された強度サブフレームは、典型的には、深度を計算するために使用されない。
次に、表5におけるステップ10では、深度センサは、短距離強度サブフレームを捕捉する。この後、ステップ11-14において、4つの位相サブフレームが続く。図9に示されるように、これらのサブフレームの各々は、TSR_intの露光時間を有した後、読み取り期間が続く。ステップ10-14中に行われた短距離測定の後、ステップ15における随意の遅延が続くことができる。
表5および図9に示されるHDR深度感知モードは、多くの動作ステップを有し、それは、本明細書で議論された他の深度感知モードと共通である。例えば、表5におけるステップ0-8は、高フレームレート長距離深度測定によって使用されるそれらと同一である。故に、HDR深度感知モードのこの部分は、図7に示されるプログラミングスキーム700におけるステップ1からステップmを実行することによって実装されることができる。同様に、表5におけるステップ10-14は、高フレームレート短距離深度測定によって使用されるものと同一である。したがって、それらは、図7に示されるプログラミングスキーム700におけるステップm+2からステップm+n+1を実行することによって実装されることができる。
高フレームレート長距離モードおよび高フレームレート短距離モードと比較したHDR深度感知モード間の差異は、表5のステップ9における眼安全性期間およびステップ15における随意の遅延である。これらの差異は、本明細書に議論されるように、適切なダミー動作フレームによって実装されることができる。例えば、眼安全性期間は、図7に示されるプログラミングスキーム700におけるステップm+1に示される眼安全性ダミー動作ステップによって実装されることができる。表5のステップ15における随意の遅延は、図7に示されるプログラミングスキーム700のステップm+n+2におけるダミー動作を使用して実装されることができる。
図8に示されるように、完全HDR深度感知モード(インターリーブされた長距離および短距離深度測定)は、図7に示されるプログラミングスキーム700のステップ1からステップm+n+2を実行することによって実装されることができるということになる。表5のHDR深度感知モードは、したがって、追加のモードが図7に示される共通およびダミー動作ステップから実装され得る方法の例である。
前述の開示は、VR/AR/MRシステムにおいて使用するための種々の効率的深度感知技法を説明する。これらの技法は、深度センサに関して具体的に議論されるが、同一技法はまた、他のタイプのセンサに適用されることができ、深度センサに厳密に限定されない。
(例示的実施形態)
(例示的実施形態)
いくつかの実施形態では、方法は、センサに、第1の動作モードを定義する第1の一連の動作ステップと第2の動作モードを定義する第2の一連の動作ステップとの両方に含まれる一連の共通動作ステップを提供することと、センサに、第1の動作モードと第2の動作モードとの間の差異に関する1つ以上のダミー動作ステップを提供することと、センサに少なくとも共通動作ステップを実行させることによって、センサを第1の動作モードで動作させることと、センサに共通動作ステップと少なくとも1つのダミー動作ステップとを実行させることによって、センサを第2の動作モードで動作させることとを含む。
これらの実施形態のいずれかによると、第1の動作モードは、少なくとも共通動作ステップを第1のレートで実行することを含むことができ、第2の動作モードは、共通動作ステップと少なくとも1つのダミー動作ステップとを第1のレートより低速である第2のレートで実施することを含むことができる。
これらの実施形態のいずれかによると、1つ以上のダミー動作ステップのうちの少なくとも1つは、遅延を含むことができる。
これらの実施形態のいずれかによると、センサに、一連の共通動作ステップおよび1つ以上のダミー動作ステップを提供することは、それらの動作ステップをセンサメモリに記憶することを含むことができる。
これらの実施形態のいずれかによると、センサを第1の動作モードと第2の動作モードとの間で切り替えることは、動作ステップをセンサメモリに記憶するための任意の追加の行為を要求しないこともある。
これらの実施形態のいずれかによると、センサは、深度センサを備えていることができる。
これらの実施形態のいずれかによると、深度センサは、飛行時間カメラを備えていることができる。
これらの実施形態のいずれかによると、第1の動作モードは、第1のフレームレートを伴う深度感知モードを含むことができ、第2の動作モードは、第1のフレームレートより低速である第2のフレームレートを伴う深度感知モードを含むことができる。
これらの実施形態のいずれかによると、方法は、深度情報を深度センサから仮想現実、拡張現実、または複合現実ディスプレイシステムに提供することをさらに含むことができる。
いくつかの実施形態では、システムは、センサに、第1の動作モードを定義する第1の一連の動作ステップと第2の動作モードを定義する第2の一連の動作ステップとの両方に含まれる一連の共通動作ステップを提供することと、センサに、第1の動作モードと第2の動作モードとの間の差異に関する1つ以上のダミー動作ステップを提供することと、センサに少なくとも共通動作ステップを実行させることによって、センサを第1の動作モードで動作させることと、センサに共通動作ステップと少なくとも1つのダミー動作ステップとを実行させることによって、センサを第2の動作モードで動作させることとを含む方法を実行するように構成されたプロセッサを備えている。
これらの実施形態のいずれかによると、第1の動作モードは、少なくとも共通動作ステップを第1のレートで実行することを含むことができ、第2の動作モードは、共通動作ステップと少なくとも1つのダミー動作ステップとを第1のレートより低速である第2のレートで実施することを含むことができる。
これらの実施形態のいずれかによると、1つ以上のダミー動作ステップのうちの少なくとも1つは、遅延を含むことができる。
これらの実施形態のいずれかによると、センサに、一連の共通動作ステップおよび1つ以上のダミー動作ステップを提供することは、それらの動作ステップをセンサメモリに記憶することを含むことができる。
これらの実施形態のいずれかによると、センサを第1の動作モードと第2の動作モードとの間で切り替えることは、動作ステップをセンサメモリに記憶するための任意の追加の行為を要求しないこともある。
これらの実施形態のいずれかによると、センサは、深度センサを備えていることができる。
これらの実施形態のいずれかによると、深度センサは、飛行時間カメラを備えていることができる。
これらの実施形態のいずれかによると、第1の動作モードは、第1のフレームレートを伴う深度感知モードを含むことができ、第2の動作モードは、第1のフレームレートより低速である第2のフレームレートを伴う深度感知モードを含むことができる。
これらの実施形態のいずれかによると、システムは、仮想現実、拡張現実、または複合現実ディスプレイシステム内に統合されることができる。
これらの実施形態のいずれかによると、プロセッサは、状態機械を備えていることができる。
これらの実施形態のいずれかによると、システムは、センサを第1のモードまたは第2のモードで動作させるための要求を受信するためのアービタをさらに備えていることができ、アービタは、要求をスケジューリングおよび優先順位付けするように構成されることができる。
これらの実施形態のいずれかによると、システムは、センサをさらに備えていることができる。
いくつかの実施形態では、方法は、第1のタイプの深度測定のための第1の要求を受信することと、第2のタイプの深度測定のための第2の要求を受信することと、第1の優先順位を第1の要求に割り当てることと、第2の優先順位を第2の要求に割り当てることと、第1の優先順位が第2の優先順位より高い場合、深度センサに、最初に、第1のタイプの深度測定を取得させること、または第2の優先順位が第1の優先順位より高い場合、深度センサに、最初に、第2のタイプの深度測定を取得させることとを含む。
これらの実施形態のいずれかによると、第1の優先順位は、第1のタイプの深度測定を要求する第1のアプリケーションの優先順位に基づいて割り当てられることができ、第2の優先順位は、第2のタイプの深度測定を要求する第2のアプリケーションの優先順位に基づいて割り当てられることができる。
いくつかの実施形態では、システムは、第1のタイプの深度測定のための第1の要求と、第2のタイプの深度測定のための第2の要求とを受信するように構成されているアービタであって、アービタは、第1の優先順位を第1の要求に、第2の優先順位を第2の要求に割り当てるように構成されている、アービタと、第1の優先順位が第2の優先順位より高い場合、深度センサに、最初に、第1のタイプの深度測定を取得させること、または、第2の優先順位が第1の優先順位より高い場合、深度センサに、最初に、第2のタイプの深度測定を取得させることを行うように構成されているプロセッサとを備えている。
これらの実施形態のいずれかによると、アービタは、第1のタイプの深度測定を要求する第1のアプリケーションの優先順位に基づいて、第1の優先順位を割り当て、第2のタイプの深度測定を要求する第2のアプリケーションの優先順位に基づいて、第2の優先順位を割り当てるように構成されることができる。
これらの実施形態のいずれかによると、システムは、仮想、拡張、または複合現実ディスプレイシステム内に統合されることができる。
いくつかの実施形態では、方法は、深度センサのための構成動作を実施することであって、構成動作は、第1の深度感知動作モードを定義する第1の一連の動作ステップを深度センサのメモリに記憶することと、第2の深度感知動作モードを定義する第2の一連の動作ステップを深度センサのメモリに記憶することとを含む、ことと、第1の深度感知動作モードに従った深度測定のための第1の要求を受信することと、第1の要求に応答して、深度センサに第1の一連の動作ステップを実行させることによって、深度センサを第1の動作モードで動作させることと、第2の深度感知動作モードに従った深度測定のための第2の要求を受信することと、第2の要求に応答して、追加の構成動作を実施することなく、深度センサに第2の一連の動作ステップを実行させることによって、深度センサを第2の動作モードで動作させることとを含む。
これらの実施形態のいずれかによると、深度センサは、飛行時間カメラを備えていることができる。
これらの実施形態のいずれかによると、第1の深度感知動作モードは、第1の測定距離範囲に対応することができ、第2の深度感知動作モードは、第1の測定距離範囲と異なる第2の測定距離範囲に対応することができる。
これらの実施形態のいずれかによると、第1の深度感知動作モードは、第1のフレームレートに対応することができ、第2の深度感知動作モードは、第1のフレームレートより低速である第2のフレームレートに対応することができる。
これらの実施形態のいずれかによると、方法は、深度情報を深度センサから仮想現実、拡張現実、または複合現実ディスプレイシステムに提供することをさらに含むことができる。
いくつかの実施形態では、システムは、深度センサのための構成動作を実施することであって、構成動作は、第1の深度感知動作モードを定義する第1の一連の動作ステップを深度センサのメモリに記憶することと、第2の深度感知動作モードを定義する第2の一連の動作ステップを深度センサのメモリに記憶することとを含む、ことと、第1の深度感知動作モードに従った深度測定のための第1の要求を受信することと、第1の要求に応答して、深度センサに第1の一連の動作ステップを実行させることによって、深度センサを第1の動作モードで動作させることと、第2の深度感知動作モードに従った深度測定のための第2の要求を受信することと、第2の要求に応答して、追加の構成動作を実施することなく深度センサに第2の一連の動作ステップを実行させることによって、深度センサを第2の動作モードで動作させることとを含む方法を実行するように構成されたプロセッサを備えている。
これらの実施形態のいずれかによると、深度センサは、飛行時間カメラを備えていることができる。
これらの実施形態のいずれかによると、第1の深度感知動作モードは、第1の測定距離範囲に対応することができ、第2の深度感知動作モードは、第1の測定距離範囲と異なる第2の測定距離範囲に対応することができる。
これらの実施形態のいずれかによると、第1の深度感知動作モードは、第1のフレームレートに対応することができ、第2の深度感知動作モードは、第1のフレームレートより低速である第2のフレームレートに対応することができる。
これらの実施形態のいずれかによると、システムは、仮想、拡張、または複合現実ディスプレイシステム内に統合されることができる。
いくつかの実施形態では、非一過性コンピュータ読み取り可能な媒体は、コンピューティングデバイスによって読み取られると、センサに、第1の動作モードを定義する第1の一連の動作ステップと第2の動作モードを定義する第2の一連の動作ステップとの両方に含まれる一連の共通動作ステップを提供することと、センサに、第1の動作モードと第2の動作モードとの間の差異に関する1つ以上のダミー動作ステップを提供することと、センサに少なくとも共通動作ステップを実行させることによって、センサを第1の動作モードで動作させることと、センサに共通動作ステップと少なくとも1つのダミー動作ステップとを実行させることによって、センサを第2の動作モードで動作させることとを含む方法をコンピューティングデバイスに実施させるコードを備えている。
これらの実施形態のいずれかによると、第1の動作モードは、少なくとも共通動作ステップを第1のレートで実行することを含むことができ、第2の動作モードは、共通動作ステップと少なくとも1つのダミー動作ステップとを第1のレートより低速である第2のレートで実施することを含むことができる。
これらの実施形態のいずれかによると、1つ以上のダミー動作ステップのうちの少なくとも1つは、遅延を含むことができる。
これらの実施形態のいずれかによると、センサに、一連の共通動作ステップおよび1つ以上のダミー動作ステップを提供することは、それらの動作ステップをセンサメモリに記憶することを含むことができる。
これらの実施形態のいずれかによると、センサを第1の動作モードと第2の動作モードとの間で切り替えることは、動作ステップをセンサメモリに記憶するための任意の追加の行為を要求しないこともある。
これらの実施形態のいずれかによると、センサは、深度センサを備えていることができる。
これらの実施形態のいずれかによると、深度センサは、飛行時間カメラを備えていることができる。
これらの実施形態のいずれかによると、第1の動作モードは、第1のフレームレートを伴う深度感知モードを含むことができ、第2の動作モードは、第1のフレームレートより低速である第2のフレームレートを伴う深度感知モードを含むことができる。
これらの実施形態のいずれかによると、コンピュータ読み取り可能な媒体は、コンピューティングデバイスに、深度情報を深度センサから仮想現実、拡張現実、または複合現実ディスプレイシステムに提供させるコードをさらに備えていることができる。
いくつかの実施形態では、非一過性コンピュータ読み取り可能な媒体は、コンピューティングデバイスによって読み取られると、第1のタイプの深度測定のための第1の要求を受信することと、第2のタイプの深度測定のための第2の要求を受信することと、第1の優先順位を第1の要求に割り当てることと、第2の優先順位を第2の要求に割り当てることと、第1の優先順位が第2の優先順位より高い場合、深度センサに、最初に、第1のタイプの深度測定を取得させること、または第2の優先順位が第1の優先順位より高い場合、深度センサに、最初に、第2のタイプの深度測定を取得させることを含む方法をコンピューティングデバイスに実施させるコードを備えている。
これらの実施形態のいずれかによると、第1の優先順位は、第1のタイプの深度測定を要求する第1のアプリケーションの優先順位に基づいて割り当てられることができ、第2の優先順位は、第2のタイプの深度測定を要求する第2のアプリケーションの優先順位に基づいて割り当てられることができる。
いくつかの実施形態では、非一過性コンピュータ読み取り可能な媒体は、コードを備え、コードは、コンピューティングデバイスによって読み取られると、コンピューティングデバイスに深度センサを動作させる方法を実施させ、方法は、深度センサのための構成動作を実施することであって、構成動作は、第1の深度感知動作モードを定義する第1の一連の動作ステップを深度センサのメモリに記憶することと、第2の深度感知動作モードを定義する第2の一連の動作ステップを深度センサのメモリに記憶することとを含む、ことと、第1の深度感知動作モードに従った深度測定のための第1の要求を受信することと、第1の要求に応答して、深度センサに第1の一連の動作ステップを実行させることによって、深度センサを第1の動作モードで動作させることと、第2の深度感知動作モードに従った深度測定のための第2の要求を受信することと、第2の要求に応答して、追加の構成動作を実施することなく、深度センサに第2の一連の動作ステップを実行させることによって、深度センサを第2の動作モードで動作させることとを含む。
これらの実施形態のいずれかによると、深度センサは、飛行時間カメラを備えていることができる。
これらの実施形態のいずれかによると、第1の深度感知動作モードは、第1の測定距離範囲に対応することができ、第2の深度感知動作モードは、第1の測定距離範囲と異なる第2の測定距離範囲に対応することができる。
これらの実施形態のいずれかによると、第1の深度感知動作モードは、第1のフレームレートに対応することができ、第2の深度感知動作モードは、第1のフレームレートより低速である第2のフレームレートに対応することができる。
これらの実施形態のいずれかによると、コンピュータ読み取り可能な媒体は、コンピューティングデバイスに、深度情報を深度センサから仮想現実、拡張現実、または複合現実ディスプレイシステムに提供させるコードをさらに備えていることができる。
(追加の考慮点)
(追加の考慮点)
本開示を要約する目的のために、本発明のある側面、利点、および特徴が、本明細書に説明されている。必ずしも全てのそのような利点が、本発明の任意の特定の実施形態に従って達成され得るわけではないことを理解されたい。したがって、本発明は、本明細書で教示または提案され得るような他の利点を必ずしも達成することなく、本明細書で教示されるような1つの利点もしくは利点群を達成または最適化する様式で、具現化もしくは実施され得る。
実施形態は、付随の図面に関連して説明されている。しかしながら、図が一定の縮尺で描かれていないことを理解されたい。距離、角度等は、例証的にすぎず、必ずしも図示されるデバイスの実際の寸法およびレイアウトと正確な関係をもつわけではない。加えて、前述の実施形態は、当業者が本明細書に説明されるデバイス、システム、方法等を作製して使用することを可能にする詳細のレベルで説明されている。多種多様な変形例が、可能である。構成要素、要素、および/またはステップは、改変、追加、除去、もしくは再編成され得る。
本明細書に説明されるデバイスおよび方法は、有利なこととして、例えば、コンピュータソフトウェア、ハードウェア、ファームウェア、またはソフトウェア、ハードウェア、およびファームウェアの任意の組み合わせを使用して、少なくとも部分的に実装されることができる。ソフトウェアモジュールは、本明細書に説明される機能を果たすために、コンピュータのメモリの中に記憶されたコンピュータ実行可能コードを備えていることができる。いくつかの実施形態では、コンピュータ実行可能コードは、1つ以上の汎用コンピュータによって実行される。しかしながら、当業者は、本開示に照らして、汎用コンピュータ上で実行されるソフトウェアを使用して実装され得る任意のモジュールも、ハードウェア、ソフトウェア、またはファームウェアの異なる組み合わせを使用して実装され得ることを理解するであろう。例えば、そのようなモジュールは、集積回路の組み合わせを使用して、完全にハードウェアで実装されることができる。代替として、または加えて、そのようなモジュールは、汎用コンピュータによってではなく、本明細書に説明される特定の機能を果たすように設計される特殊化コンピュータを使用して、完全もしくは部分的に実装されることができる。加えて、少なくとも部分的にコンピュータソフトウェアによって実施される場合、またはされ得る方法が説明される場合、そのような方法は、コンピュータもしくは他の処理デバイスによって読み取られたときに方法を実施させる非一過性のコンピュータ読み取り可能な媒体(例えば、CDもしくはDVD等の光ディスク、ハードディスクドライブ、フラッシュメモリ、ディスケット等)上に提供され得ることを理解されたい。
ある実施形態が明示的に説明されているが、他の実施形態も、本開示に基づいて当業者に明白となるであろう。
Claims (1)
- 図面等に記載の発明。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201762474503P | 2017-03-21 | 2017-03-21 | |
US62/474,503 | 2017-03-21 | ||
PCT/US2018/023179 WO2018175344A1 (en) | 2017-03-21 | 2018-03-19 | Depth sensing techniques for virtual, augmented, and mixed reality systems |
JP2019548327A JP7198766B2 (ja) | 2017-03-21 | 2018-03-19 | 仮想、拡張、および複合現実システムのための深度感知技法 |
JP2022184776A JP7535089B2 (ja) | 2017-03-21 | 2022-11-18 | 仮想、拡張、および複合現実システムのための深度感知技法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022184776A Division JP7535089B2 (ja) | 2017-03-21 | 2022-11-18 | 仮想、拡張、および複合現実システムのための深度感知技法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2024020489A true JP2024020489A (ja) | 2024-02-14 |
Family
ID=63583181
Family Applications (4)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019548327A Active JP7198766B2 (ja) | 2017-03-21 | 2018-03-19 | 仮想、拡張、および複合現実システムのための深度感知技法 |
JP2021038206A Active JP7198850B2 (ja) | 2017-03-21 | 2021-03-10 | 仮想、拡張、および複合現実システムのための深度感知技法 |
JP2022184776A Active JP7535089B2 (ja) | 2017-03-21 | 2022-11-18 | 仮想、拡張、および複合現実システムのための深度感知技法 |
JP2023197268A Pending JP2024020489A (ja) | 2017-03-21 | 2023-11-21 | 仮想、拡張、および複合現実システムのための深度感知技法 |
Family Applications Before (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019548327A Active JP7198766B2 (ja) | 2017-03-21 | 2018-03-19 | 仮想、拡張、および複合現実システムのための深度感知技法 |
JP2021038206A Active JP7198850B2 (ja) | 2017-03-21 | 2021-03-10 | 仮想、拡張、および複合現実システムのための深度感知技法 |
JP2022184776A Active JP7535089B2 (ja) | 2017-03-21 | 2022-11-18 | 仮想、拡張、および複合現実システムのための深度感知技法 |
Country Status (9)
Country | Link |
---|---|
US (4) | US10455153B2 (ja) |
EP (2) | EP3603055B1 (ja) |
JP (4) | JP7198766B2 (ja) |
KR (2) | KR102493992B1 (ja) |
CN (2) | CN110431841B (ja) |
AU (1) | AU2018237067B2 (ja) |
CA (1) | CA3055572C (ja) |
IL (3) | IL302172B2 (ja) |
WO (1) | WO2018175344A1 (ja) |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA3055572C (en) | 2017-03-21 | 2023-09-19 | Magic Leap, Inc. | Depth sensing techniques for virtual, augmented, and mixed reality systems |
US11619814B1 (en) * | 2018-06-04 | 2023-04-04 | Meta Platforms Technologies, Llc | Apparatus, system, and method for improving digital head-mounted displays |
WO2020101895A1 (en) * | 2018-11-12 | 2020-05-22 | Magic Leap, Inc. | Event-based camera with high-resolution frame output |
WO2020101892A1 (en) | 2018-11-12 | 2020-05-22 | Magic Leap, Inc. | Patch tracking image sensor |
US11985440B2 (en) | 2018-11-12 | 2024-05-14 | Magic Leap, Inc. | Depth based dynamic vision sensor |
US12041380B2 (en) | 2018-11-13 | 2024-07-16 | Magic Leap, Inc. | Event-based IR camera |
US10861165B2 (en) * | 2019-01-11 | 2020-12-08 | Microsoft Technology Licensing, Llc | Subject tracking with aliased time-of-flight data |
CN113614783A (zh) | 2019-01-25 | 2021-11-05 | 奇跃公司 | 使用具有不同曝光时间的图像的眼睛跟踪 |
EP3922011A4 (en) | 2019-02-07 | 2022-10-26 | Magic Leap, Inc. | LIGHTWEIGHT HYBRID DEVICE WITH LOW POWER CONSUMPTION AND WITH HIGH TIME RESOLUTION |
CN113711587A (zh) | 2019-02-07 | 2021-11-26 | 奇跃公司 | 具有无源深度提取的轻型交叉显示设备 |
WO2020236827A1 (en) | 2019-05-20 | 2020-11-26 | Magic Leap, Inc. | Systems and techniques for estimating eye pose |
EP3994494B1 (en) * | 2019-07-05 | 2023-10-25 | Sony Semiconductor Solutions Corporation | Time-of-flight sensor and system |
JP7175872B2 (ja) * | 2019-11-14 | 2022-11-21 | 株式会社日立エルジーデータストレージ | 測距装置 |
US12000931B2 (en) * | 2020-05-15 | 2024-06-04 | Analog Devices International Unlimited Company | Continuous wave time of flight system |
US11998275B2 (en) | 2020-07-15 | 2024-06-04 | Magic Leap, Inc. | Eye tracking using aspheric cornea model |
WO2024162659A1 (ko) * | 2023-01-31 | 2024-08-08 | 삼성전자 주식회사 | 이미지 센서, 이미지 센서를 포함하는 전자 장치 및 그 동작 방법 |
WO2024167310A1 (ko) * | 2023-02-07 | 2024-08-15 | 삼성전자 주식회사 | Tof 센서의 소모 전류를 감소하는 방법 및 이를 지원하는 전자 장치 |
Family Cites Families (71)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4628312A (en) * | 1983-10-19 | 1986-12-09 | Vega Precision Laboratories, Inc. | Decoding apparatus and method for a position coded pulse communication system |
JPH0553568A (ja) | 1991-08-22 | 1993-03-05 | Seiko Epson Corp | 画像処理装置 |
US6222525B1 (en) | 1992-03-05 | 2001-04-24 | Brad A. Armstrong | Image controllers with sheet connected sensors |
US5670988A (en) | 1995-09-05 | 1997-09-23 | Interlink Electronics, Inc. | Trigger operated electronic device |
JPH1153568A (ja) * | 1997-08-07 | 1999-02-26 | Matsushita Electric Ind Co Ltd | 画像処理装置 |
JP2001337166A (ja) | 2000-05-26 | 2001-12-07 | Minolta Co Ltd | 3次元入力方法および3次元入力装置 |
JP2004157061A (ja) * | 2002-11-08 | 2004-06-03 | Nikon-Trimble Co Ltd | 距離測定装置 |
USD514570S1 (en) | 2004-06-24 | 2006-02-07 | Microsoft Corporation | Region of a fingerprint scanning device with an illuminated ring |
US20070081123A1 (en) | 2005-10-07 | 2007-04-12 | Lewis Scott W | Digital eyewear |
US11428937B2 (en) | 2005-10-07 | 2022-08-30 | Percept Technologies | Enhanced optical and perceptual digital eyewear |
US8696113B2 (en) | 2005-10-07 | 2014-04-15 | Percept Technologies Inc. | Enhanced optical and perceptual digital eyewear |
JP2008183049A (ja) * | 2007-01-26 | 2008-08-14 | Matsushita Electric Ind Co Ltd | 撮像装置、カプセル型内視カメラ |
JP4936528B2 (ja) * | 2007-03-28 | 2012-05-23 | 富士フイルム株式会社 | カプセル内視鏡システム、およびカプセル内視鏡システムの作動方法 |
US7852461B2 (en) * | 2007-11-15 | 2010-12-14 | Microsoft International Holdings B.V. | Dual mode depth imaging |
JP4826615B2 (ja) * | 2008-09-30 | 2011-11-30 | パナソニック電工株式会社 | 車両用周辺監視装置 |
CN102171743B (zh) | 2008-10-02 | 2014-08-20 | 日立汽车系统株式会社 | 与车辆行驶相关的信息处理装置 |
JP2010230366A (ja) | 2009-03-26 | 2010-10-14 | Denso Corp | 障害物検出装置 |
JP5156695B2 (ja) | 2009-06-25 | 2013-03-06 | 本田技研工業株式会社 | 三次元形状測定システム |
US20120056982A1 (en) | 2010-09-08 | 2012-03-08 | Microsoft Corporation | Depth camera based on structured light and stereo vision |
US8681255B2 (en) * | 2010-09-28 | 2014-03-25 | Microsoft Corporation | Integrated low power depth camera and projection device |
US9304319B2 (en) | 2010-11-18 | 2016-04-05 | Microsoft Technology Licensing, Llc | Automatic focus improvement for augmented reality displays |
US10156722B2 (en) | 2010-12-24 | 2018-12-18 | Magic Leap, Inc. | Methods and systems for displaying stereoscopy with a freeform optical system with addressable focus for virtual and augmented reality |
CA2822978C (en) | 2010-12-24 | 2019-02-19 | Hong Hua | An ergonomic head mounted display device and optical system |
GB2502213A (en) | 2010-12-30 | 2013-11-20 | Irobot Corp | Mobile Human Interface Robot |
JP5330431B2 (ja) * | 2011-03-11 | 2013-10-30 | 富士フイルム株式会社 | 超音波プローブおよび超音波診断装置 |
CN103635891B (zh) | 2011-05-06 | 2017-10-27 | 奇跃公司 | 大量同时远程数字呈现世界 |
EP2760363A4 (en) | 2011-09-29 | 2015-06-24 | Magic Leap Inc | TACTILE GLOVE FOR HUMAN COMPUTER INTERACTION |
CN104011788B (zh) | 2011-10-28 | 2016-11-16 | 奇跃公司 | 用于增强和虚拟现实的系统和方法 |
KR101869277B1 (ko) * | 2011-11-17 | 2018-06-22 | 삼성전자주식회사 | 화소 회로 및 이를 포함하는 깊이 센서 |
KR102440195B1 (ko) | 2011-11-23 | 2022-09-02 | 매직 립, 인코포레이티드 | 3차원 가상 및 증강 현실 디스플레이 시스템 |
JP2013123172A (ja) * | 2011-12-12 | 2013-06-20 | Nikon Corp | 撮像装置およびプログラム |
BR112014024941A2 (pt) | 2012-04-05 | 2017-09-19 | Magic Leap Inc | dispositivo de imagem de campo de visão amplo com capacidade de focalização ativa |
JP5968025B2 (ja) * | 2012-04-11 | 2016-08-10 | キヤノン株式会社 | 撮像装置及び撮像装置の制御方法 |
CN104737061B (zh) | 2012-06-11 | 2018-01-16 | 奇跃公司 | 使用波导反射器阵列投射器的多深度平面三维显示器 |
US9671566B2 (en) | 2012-06-11 | 2017-06-06 | Magic Leap, Inc. | Planar waveguide apparatus with diffraction element(s) and system employing same |
JP2015534108A (ja) | 2012-09-11 | 2015-11-26 | マジック リープ, インコーポレイテッド | 人間工学的な頭部搭載型ディスプレイデバイスおよび光学システム |
US9432916B2 (en) | 2012-12-27 | 2016-08-30 | Intel Corporation | Situation aware sensor power management |
IL283193B (en) | 2013-01-15 | 2022-08-01 | Magic Leap Inc | A system for scanning electromagnetic imaging radiation |
US9142019B2 (en) | 2013-02-28 | 2015-09-22 | Google Technology Holdings LLC | System for 2D/3D spatial feature processing |
US9407837B2 (en) * | 2013-02-28 | 2016-08-02 | Google Inc. | Depth sensor using modulated light projector and image sensor with color and IR sensing |
IL313175A (en) * | 2013-03-11 | 2024-07-01 | Magic Leap Inc | System and method for augmentation and virtual reality |
NZ735754A (en) | 2013-03-15 | 2019-04-26 | Magic Leap Inc | Display system and method |
US9874749B2 (en) | 2013-11-27 | 2018-01-23 | Magic Leap, Inc. | Virtual and augmented reality systems and methods |
US10262462B2 (en) | 2014-04-18 | 2019-04-16 | Magic Leap, Inc. | Systems and methods for augmented and virtual reality |
KR101631281B1 (ko) * | 2013-07-12 | 2016-06-16 | 삼성전자주식회사 | 뷰 합성 예측을 이용한 인터 레이어 비디오 복호화 방법 및 그 장치 뷰 합성 예측을 이용한 인터 레이어 비디오 부호화 방법 및 장치 |
IL295157B2 (en) | 2013-10-16 | 2023-10-01 | Magic Leap Inc | An augmented or virtual reality head device with intrapupillary distance adjustment |
CN107315249B (zh) | 2013-11-27 | 2021-08-17 | 奇跃公司 | 虚拟和增强现实系统与方法 |
US9857591B2 (en) | 2014-05-30 | 2018-01-02 | Magic Leap, Inc. | Methods and system for creating focal planes in virtual and augmented reality |
CN111552079B (zh) | 2014-01-31 | 2022-04-15 | 奇跃公司 | 多焦点显示系统和方法 |
NZ722904A (en) * | 2014-01-31 | 2020-05-29 | Magic Leap Inc | Multi-focal display system and method |
US10203762B2 (en) | 2014-03-11 | 2019-02-12 | Magic Leap, Inc. | Methods and systems for creating virtual and augmented reality |
US9389069B2 (en) * | 2014-03-26 | 2016-07-12 | Alces Technology, Inc. | Compact 3D depth capture systems |
AU2015297036B2 (en) | 2014-05-09 | 2017-09-28 | Google Llc | Systems and methods for discerning eye signals and continuous biometric identification |
USD759657S1 (en) | 2014-05-19 | 2016-06-21 | Microsoft Corporation | Connector with illumination region |
CA3124368C (en) | 2014-05-30 | 2023-04-25 | Magic Leap, Inc. | Methods and systems for generating virtual content display with a virtual or augmented reality apparatus |
USD752529S1 (en) | 2014-06-09 | 2016-03-29 | Comcast Cable Communications, Llc | Electronic housing with illuminated region |
US20160140760A1 (en) * | 2014-11-13 | 2016-05-19 | Upton Beall Bowden | Adapting a display on a transparent electronic display |
US9552816B2 (en) * | 2014-12-19 | 2017-01-24 | Amazon Technologies, Inc. | Application focus in speech-based systems |
US9967535B2 (en) * | 2015-04-17 | 2018-05-08 | Light Labs Inc. | Methods and apparatus for reducing noise in images |
JP2016213786A (ja) * | 2015-05-13 | 2016-12-15 | パナソニックIpマネジメント株式会社 | カメラ装置 |
USD758367S1 (en) | 2015-05-14 | 2016-06-07 | Magic Leap, Inc. | Virtual reality headset |
US9683834B2 (en) * | 2015-05-27 | 2017-06-20 | Intel Corporation | Adaptable depth sensing system |
CN105357511B (zh) * | 2015-12-08 | 2018-05-15 | 上海图漾信息科技有限公司 | 深度数据检测系统 |
JP6406449B2 (ja) * | 2015-06-24 | 2018-10-17 | 株式会社村田製作所 | 距離センサ |
US9887537B2 (en) | 2015-06-30 | 2018-02-06 | Microsoft Technology Licensing, Llc | Analog limit on digitally set pulse widths |
US10341633B2 (en) * | 2015-11-20 | 2019-07-02 | Qualcomm Incorporated | Systems and methods for correcting erroneous depth information |
US10477157B1 (en) * | 2016-03-02 | 2019-11-12 | Meta View, Inc. | Apparatuses, methods and systems for a sensor array adapted for vision computing |
USD805734S1 (en) | 2016-03-04 | 2017-12-26 | Nike, Inc. | Shirt |
USD794288S1 (en) | 2016-03-11 | 2017-08-15 | Nike, Inc. | Shoe with illuminable sole light sequence |
US10110840B2 (en) * | 2016-10-25 | 2018-10-23 | Semiconductor Components Industries, Llc | Image sensor pixels with overflow capabilities |
CA3055572C (en) | 2017-03-21 | 2023-09-19 | Magic Leap, Inc. | Depth sensing techniques for virtual, augmented, and mixed reality systems |
-
2018
- 2018-03-19 CA CA3055572A patent/CA3055572C/en active Active
- 2018-03-19 EP EP18771170.0A patent/EP3603055B1/en active Active
- 2018-03-19 CN CN201880019671.9A patent/CN110431841B/zh active Active
- 2018-03-19 IL IL302172A patent/IL302172B2/en unknown
- 2018-03-19 WO PCT/US2018/023179 patent/WO2018175344A1/en unknown
- 2018-03-19 CN CN202110857359.0A patent/CN113568508B/zh active Active
- 2018-03-19 EP EP22157426.2A patent/EP4020982A3/en active Pending
- 2018-03-19 US US15/925,577 patent/US10455153B2/en active Active
- 2018-03-19 JP JP2019548327A patent/JP7198766B2/ja active Active
- 2018-03-19 IL IL308454A patent/IL308454A/en unknown
- 2018-03-19 KR KR1020197030693A patent/KR102493992B1/ko active IP Right Grant
- 2018-03-19 AU AU2018237067A patent/AU2018237067B2/en active Active
- 2018-03-19 KR KR1020237003052A patent/KR102527329B1/ko active IP Right Grant
- 2018-03-19 IL IL269008A patent/IL269008B2/en unknown
-
2019
- 2019-09-17 US US16/573,891 patent/US11303809B2/en active Active
-
2021
- 2021-03-10 JP JP2021038206A patent/JP7198850B2/ja active Active
-
2022
- 2022-03-09 US US17/690,956 patent/US11778318B2/en active Active
- 2022-11-18 JP JP2022184776A patent/JP7535089B2/ja active Active
-
2023
- 2023-08-22 US US18/453,762 patent/US20230396881A1/en active Pending
- 2023-11-21 JP JP2023197268A patent/JP2024020489A/ja active Pending
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7535089B2 (ja) | 仮想、拡張、および複合現実システムのための深度感知技法 | |
US12095969B2 (en) | Augmented reality with motion sensing | |
US8548270B2 (en) | Time-of-flight depth imaging | |
CN112189147B (zh) | 一种飞行时间ToF相机和一种ToF方法 | |
JP2015526927A (ja) | カメラ・パラメータのコンテキスト駆動型調整 | |
CN110572635A (zh) | 一种用于手持控制设备追踪定位的方法、设备与系统 | |
WO2020061792A1 (en) | Real-time multi-view detection of objects in multi-camera environments | |
CN112639681A (zh) | 用于进程数据共享的方法和设备 | |
CN110837295A (zh) | 一种手持控制设备及其追踪定位的方法、设备与系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20231121 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240731 |