JP2023504992A - 姿勢ベースの仮想空間構成 - Google Patents
姿勢ベースの仮想空間構成 Download PDFInfo
- Publication number
- JP2023504992A JP2023504992A JP2022521972A JP2022521972A JP2023504992A JP 2023504992 A JP2023504992 A JP 2023504992A JP 2022521972 A JP2022521972 A JP 2022521972A JP 2022521972 A JP2022521972 A JP 2022521972A JP 2023504992 A JP2023504992 A JP 2023504992A
- Authority
- JP
- Japan
- Prior art keywords
- user
- customization
- virtual space
- sitting
- providing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2016—Rotation, translation, scaling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2021—Shape modification
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Computer Graphics (AREA)
- Architecture (AREA)
- Geometry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
Abstract
人工現実システムの仮想空間構成システムは、ユーザ姿勢を検出し、システムの仮想空間の様々な対応するカスタマイゼーションを提供することができる。仮想空間構成システムは、ユーザが座位姿勢にあるときに、座位仮想空間カスタマイゼーションを準備することができる。様々な実現形態において、これらのカスタマイゼーションは、床高さの調整を可能とすること、座位ユーザに対するアプリケーションのメカニクスを調整するために、アプリケーションに対してサーフェシングされうるフラグをセットすること、より邪魔にならないように、座位モードにおけるときの仮想空間境界の表示をカスタマイズすること、ユーザが座位モードを離脱するときを検出し、対応するアクションをトリガするためのオプションを提供すること、ユーザが、仮想現実ヘッドセットを外さなければならないということなしに、自然に所定の実世界オブジェクトとインタラクションすることを可能とする、パススルーワークスペース領域を提供すること、または、座位ユーザに対する仮想空間寸法を自動的に決定することを含むことができる。【選択図】図7B
Description
本発明は、人工現実環境に対する仮想空間の構成を制御することに指向されるものである。
ユーザが、「仮想オブジェクト」、すなわち、人工現実環境において出現する、コンピュータによって生成されるオブジェクト表現を見ている、および、それらの仮想オブジェクトとインタラクションしている間に、ユーザの身体的動きが実世界において発生する。一部の事例において、人工現実システムは、ユーザが実世界の部分もしくはすべてを見ることを妨げることがあり、または、ユーザは、仮想オブジェクトにより、気を散らされた様態になることがあり、それらのことは、ユーザが、実世界オブジェクトと不注意に衝突すること、または、ユーザが人工現実環境においてインタラクションするように選定される領域を出ることを引き起こす。他の事例において、ユーザの動きは、実世界におけるユーザの身体的姿勢により制約され得るものであり、そのことは、人工現実環境においてインタラクションすることにおいていくらかの困難さを引き起こす。例えば、一部の仮想オブジェクトは、手が届く範囲の外に配置され得るものであり、そのことは、ユーザが、ユーザの現在の姿勢からそれらの仮想オブジェクトとインタラクションすることを困難にする。
本発明の第1の態様にしたがって、ユーザ姿勢に基づいて仮想空間をカスタマイズするための方法であって、ユーザ姿勢が座位(seated)モードに対応するということを決定することと、決定することに応じて、仮想空間に対する座位カスタマイゼーションをセットすることであって、第1の座位カスタマイゼーションを提供することであって、床高さに対するメトリックを取得することと、床高さに対するメトリックに基づいてシステム床高さを調整することとを含む、第1の座位カスタマイゼーションを提供すること、または、第2の座位カスタマイゼーションを提供することであって、座位フラグをセットすることと、1つもしくは複数のアプリケーションに対して座位フラグをサーフェシングする(surface)ことであって、1つもしくは複数のアプリケーションは、座位フラグに基づいて動作メカニクスを調整する、座位フラグをサーフェシングすることとを含む、第2の座位カスタマイゼーションを提供すること、または、第3の座位カスタマイゼーションを提供することであって、仮想空間に対する境界モード選択を受け取ることと、境界表示事象を検出することと、選択された境界モードに基づいて、選択された境界モードに基づいて構成される境界、もしくは、仮想空間における実世界オブジェクトを表示することとを含む、第3の座位カスタマイゼーションを提供することによる、仮想空間に対する座位カスタマイゼーションをセットすることとを備える、方法が提供される。
座位カスタマイゼーションをセットすることは、好ましくは、第1の座位カスタマイゼーションを提供することを備え得る。
一部の実施形態において、床高さに対するメトリックは、ユーザの決定される立位高さ、ユーザの決定される指極(arm-span)、ユーザが上で座位であるオブジェクトの決定される寸法、または、それらの任意の組み合わせのうちの、1つまたは複数に基づく。
一部の実施形態において、床高さに対するメトリックは、センサまたはカメラ測定の指示を受け取り、床高さメトリックを生み出すように、以前のユーザ選択に基づいて、訓練される機械学習モデルにより決定される。
一部の実施形態において、床高さに対するメトリックは、ユーザの手のジェスチャ、コントローラへのユーザ入力、ユーザ音声指令、ユーザ注視方向、または、それらの任意の組み合わせのうちの、1つまたは複数により指示される、1つまたは複数の、ユーザによって選択される値である。
一部の実施形態において、座位カスタマイゼーションをセットすることは、第2の座位カスタマイゼーションを提供することを備える。
一部の実施形態において、座位カスタマイゼーションをセットすることは、第3の座位カスタマイゼーションを提供することを備える。
境界モード選択は、好ましくは、現在のアプリケーションにより提供される、境界モードへの姿勢のマッピングに基づき得る。
一部の実施形態において、選択された境界モードは、表示することが、仮想空間における実世界オブジェクトの表示することであることを引き起こす、パススルーモードである。
境界表示事象を検出することは、慣性データ、位置データ、カメラ画像データ、ユーザの骨構造のモデル、または、それらの任意の組み合わせのうちの、1つまたは複数を受け取り、ユーザが境界と交差することになるかどうかの推定を生み出すように訓練される機械学習モデルを適用することを備え得る。
本発明の第2の態様にしたがって、コンピューティングシステムにより実行されるときに、ユーザ姿勢に基づいて仮想空間をカスタマイズするための動作を遂行することをコンピューティングシステムに行わせる命令を記憶するコンピュータ可読記憶媒体であって、動作は、ユーザ姿勢が座位モードに対応するということを決定することと、ユーザ姿勢が座位モードに対応するということを決定することに応じて、仮想空間に対する座位カスタマイゼーションをセットすることであって、第1の座位カスタマイゼーションを提供することであって、座位モードに対して構成される仮想体験(virtual experience)が進行中である間に、第2のユーザ姿勢がもはや座位モードにないことに対応するということを決定することと、それに応じて、仮想体験に対する応答アクションをトリガすることとを含む、第1の座位カスタマイゼーションを提供すること、または、第2の座位カスタマイゼーションを提供することであって、第2のユーザ姿勢が前かがみに対応するということを決定することと、ワークスペース領域を決定することと、仮想環境において、ワークスペース領域内にある実世界オブジェクトを表示する表示モードを可能にすることとを含む、第2の座位カスタマイゼーションを提供すること、または、第3の座位カスタマイゼーションを提供することであって、ユーザの身体的特性に基づいて仮想空間に対する寸法を自動的に決定することと、決定される寸法に基づいて仮想空間を調整することとを含む、第3の座位カスタマイゼーションを提供することによる、仮想空間に対する座位カスタマイゼーションをセットすることとを備える、コンピュータ可読記憶媒体が提供される。
一部の実施形態において、座位カスタマイゼーションをセットすることは、第1の座位カスタマイゼーションを提供することを備える。
一部の実施形態において、応答アクションは、仮想体験を自動的に停止もしくは休止すること、以前の姿勢を再び続けるための、もしくは、現在の姿勢が仮想体験に対して推奨されないということの通知を提供すること、様々な姿勢が保持される時間をロギングすること、実世界オブジェクトを示す表示モードに切り替えること、入力モダリティを変化させること、または、それらの任意の組み合わせのうちの、1つまたは複数を備える。
一部の実施形態において、座位カスタマイゼーションをセットすることは、第2の座位カスタマイゼーションを提供することを備える。
一部の実施形態において、ワークスペース領域は、ユーザの決定される指極に基づいて規定される領域、他のユーザにより、以前に手動でセットされたワークスペース領域の平均、ユーザの前方の、内での、平坦な実世界オブジェクトの上部に対応する領域、1つもしくは複数の指定される実世界ツールを囲んでいると決定される領域、または、それらの任意の組み合わせのうちの、1つまたは複数に基づいて決定される。
一部の実施形態において、座位カスタマイゼーションをセットすることは、第3の座位カスタマイゼーションを提供することを備える。
ユーザの身体的特性は、好ましくは、自動的に決定されるユーザ指極を含み得る。
ユーザの指極は、好ましくは、初期指極を、決定されるユーザ高さに等しいようにセットすることと、初期指極を、決定される指極を超えて伸長するユーザの手またはコントローラ場所を識別することに基づいて更新することとにより自動的に決定され得る。
本発明の第3の態様にしたがって、ユーザ姿勢に基づいて仮想空間をカスタマイズするためのコンピューティングシステムであって、1つまたは複数のプロセッサと、1つまたは複数のプロセッサにより実行されるときに、動作を遂行することをコンピューティングシステムに行わせる命令を記憶する1つまたは複数のメモリとを備え、それらの動作は、ユーザ姿勢が座位モードに対応するということを決定することと、ユーザ姿勢が座位モードに対応するということを決定することに応じて、仮想空間に対する座位カスタマイゼーションをセットすることであって、第1の座位カスタマイゼーションを提供することであって、床高さに対するメトリックを取得することと、床高さに対するメトリックに基づいてシステム床高さを調整することとを含む、第1の座位カスタマイゼーションを提供すること、または、第2の座位カスタマイゼーションを提供することであって、座位フラグをセットすることと、1つもしくは複数のアプリケーションに対して座位フラグをサーフェシングすることであって、1つもしくは複数のアプリケーションは、座位フラグに基づいて動作メカニクスを調整する、座位フラグをサーフェシングすることとを含む、第2の座位カスタマイゼーションを提供すること、または、第3の座位カスタマイゼーションを提供することであって、仮想空間に対する境界モード選択を受け取ることと、境界表示事象を検出することと、選択された境界モードに基づいて、境界タイプ、もしくは、仮想空間におけるオブジェクトを表示することとを含む、第3の座位カスタマイゼーションを提供すること、または、第4の座位カスタマイゼーションを提供することであって、座位モードに対して構成される仮想体験が進行中である間に、第2のユーザ姿勢がもはや座位モードにないことに対応するということを決定することと、仮想体験に対する応答アクションをトリガすることとを含む、第4の座位カスタマイゼーションを提供すること、または、第5の座位カスタマイゼーションを提供することであって、第2のユーザ姿勢が前かがみに対応するということを決定することと、ワークスペース領域を決定することと、仮想環境において、ワークスペース領域内にある実世界オブジェクトを表示する表示モードを可能にすることとを含む、第5の座位カスタマイゼーションを提供すること、または、第6の座位カスタマイゼーションを提供することであって、ユーザの身体的特性に基づいて仮想空間に対するサイズを自動的に決定することと、決定されるサイズに基づいて仮想空間を調整することとを含む、第6の座位カスタマイゼーションを提供することのうちの、1つまたは複数による、仮想空間に対する座位カスタマイゼーションをセットすることとを備える、コンピューティングシステムが提供される。
ここで紹介される技法は、類する参照番号が、同一の、または、機能的に同様の要素を指示する、付随する図面と連関する、後に続く詳細な説明を参照することにより、より良好に理解され得る。
ユーザ姿勢に基づいて仮想空間をカスタマイズするための実施形態が、本明細書において説明される。人工現実システムは、ユーザ体験のための、体験の間じゅうのユーザの動きのレンジを規定することができる、個別の「仮想空間」を規定し、どのように仮想オブジェクトが体験において表示もしくは配置されるかを制御し、および/または、姿勢変化に応じてシステムアクションをセットすることができる。例えば、ユーザが、規定された仮想空間の縁部に接近するならば、人工現実システムは、警告を提供し、または、ユーザに、彼女が衝突し得る実世界オブジェクトを示す、パススルーモードを可能にすることができる。本明細書において使用される際に、「姿勢」は、ユーザの身体の1つまたは複数の部分の位置または構成である。例えば、姿勢は、座位、立位、臥位、腕を差し伸ばした様態、個別の手位置またはジェスチャ、頭向き、胴回転、その他であることがある。一部の実現形態において、姿勢は、さらには、1つもしくは複数の身体部分の、および/または、ポイントもしくはオブジェクトに関係した、個別のモーションなどの動きを包含することができる。例えば、第1の識別される姿勢は、立位静止(standing stationary)であることがあり、一方で、第2の識別される姿勢は、立位可動(standing mobile)であることがある(例えば、ユーザは、中心ポイントに相対的な、しきい値横方向動きをなしている)。
人工現実システムのサブシステムであることがある仮想空間構成システムは、ユーザ姿勢を検出し、システムの仮想空間の様々な対応するカスタマイゼーションを提供することができる。一部の実現形態において、仮想空間構成システムが識別することができる姿勢は、立位(立位可動または立位静止へと分けられることがある)、座位、臥位、その他を含む。様々な実現形態において、これらの決定は、自動的である、ユーザ入力に基づく、または、自動的に決定され、ユーザによって確認されることがある。例えば、仮想空間構成システムは、識別される床と比較して、人工現実システムのヘッドセットの高さを決定することができ、知られているユーザ高さ、または、複数人のユーザの高さの平均を使用して、ヘッドセット高さが、立位位置に対応するか、それとも座っている位置に対応するかを決定することができる。加えて、位置が立位と決定されるとき、仮想空間構成システムは、立位ユーザが静止しているか、それとも可動であるかを決定するために、ヘッドセットの横方向位置が、中心ポイントからしきい値数量より上に動いたかどうかを決定することができる。仮想空間構成システムは、ユーザが確認または修正するための、ユーザへの決定される姿勢の指示を提供することができる。
立位可動姿勢にあるとき、仮想空間構成システムは、人工現実システムの現在の実世界環境に対してユーザが規定した仮想空間をセットすることができ、および/または、仮想空間構成システムは、自動的に、ユーザの現在の場所の周囲のオブジェクトを検出し、それらのオブジェクトとの衝突を回避するように仮想空間をセットすることができる。ユーザがこの仮想空間の境界に接近するとき、仮想空間構成システムは、警告を提示し、または、境を指示するグリッドを表示することができる。立位静止姿勢におけるとき、仮想空間構成システムは、例えば、ユーザの脚が静止していることに対して責任を負うが、内で彼女の腕を動かすためのユーザの上側一部分の周囲の空間を提供する、円筒形領域または「ワイングラス」形状(すなわち、下部において狭く、上部において、より広い円筒)と、ユーザの周囲の仮想空間を規定することができる。一部の実現形態において、この円筒、または、ワイングラス形状の上側部分の直径は、決定される指極などの、ユーザの特性に基づくことがある。
ユーザが座位または臥位モードにあると決定されるとき、仮想空間構成システムは、様々な他の仮想空間カスタマイゼーションを提供することができる。1つの実例において、仮想空間構成システムは、ユーザが座位であるときに使用するための、異なる床高さに対するメトリックを取得することができる。これらのメトリックは、例えば、所望される床高さを予測するように訓練される機械学習モデル、(例えば、コントローラ、ジェスチャ、または、追跡されるユーザ注視を使用して)床高さ変化を指定するユーザ入力、および/または、そのユーザ、もしくは、同様の特性を有すると決定されるユーザからの過去の床高さセッティングからのものであることがある。仮想空間構成システムは、次いで、メトリックに基づいて床高さをセットすることができる。このシステムは、ユーザに関係した仮想オブジェクトに対する最小高さをセットし、そのことは、ユーザが、他のやり方であれば、椅子またはカウチの縁部まで動き、床に手を伸ばさなければならないことになる局面を消失させることにより、仮想空間におけるときのユーザアクセシビリティを改善する。
別の実例において、仮想空間構成システムは、座位または臥位ユーザに特有のアプリケーションメカニクスに対する調整を手助けすることができる。例えば、通知されるアプリケーションは、ユーザが座位または臥位であるときに、典型的な、または、測定されるユーザ指極の範囲内にあるように、仮想オブジェクト配置を調整することができる。例えば、ユーザがインタラクションするために通常は歩みを進めることになる仮想オブジェクトが、手が届く範囲内に自動的に動かされることがある。このことは、アプリケーションに対してサーフェシングされうる、仮想空間構成システムが座位および/または臥位モードに対してセットするフラグに応じてのものであることがある。アプリケーションは、そのようなフラグに基づいて、異なるメカニクスを有するようにカスタマイズされることがある。
別の事例において、仮想空間構成システムは、ユーザの姿勢に基づいて境界モードを構成することができる。1つの事例において、ユーザが立位姿勢にあるとき、仮想空間は、セットされた境界を有することができ、仮想空間構成システムは、ユーザが境界と接続し得るということを仮想空間構成システムが予測するときに、境界または警告を表示することになる。例えば、ユーザが立位姿勢にあるとき、境界は赤グリッドであることがあり、そのグリッドは、そのグリッドが仮想空間において表示されるならば、ユーザの注意を即座に引くことになる。しかしながら、ユーザは、より低速で動いている、または、彼女の腕を動かしているのみである公算が大きいので、座位のときの境界との衝突は、問題となる公算はより少ない。かくして、座位のときの境界は、小さい灰色十字(例えば、+)マークのパターンなどの、はるかに邪魔にならないパターンであることがある。代替として、座位のときに境界を表示することの代わりに、システムは、ユーザの周囲の実世界オブジェクトを識別し、仮想空間においてそれらのオブジェクトを表示することを、(例えば、それらのオブジェクトがユーザの指極の範囲内にあるときに)ユーザがそれらのオブジェクトと衝突し得るということを仮想空間構成システムが予測するときに行うことができる。
なおも別の実例において、仮想空間構成システムは、ユーザが個別の姿勢にあるときにのみ利用可能である、または、ユーザが姿勢どうしの間で遷移するときに個別のアクションをトリガする、体験を可能にすることができる。例えば、ユーザが座位姿勢にあるということを決定する後、人工現実システムは、「座位のみの」体験を起動することができる。仮想空間構成システムは、体験の初めから終わりまでユーザの姿勢を継続的に監視することができる。ユーザが立ち上がるならば、このことは、座位のみの体験を自動的に停止すること、座位位置に戻るようにユーザに通知を提供すること、ユーザが体験の間じゅうに立位であった時間をロギングすること、実世界の態様が体験の部分の代わりに表示されるパススルーモードに切り替えること、および/または、異なる入力モダリティを提供すること、もしくは、仮想オブジェクトを変化させることなど、体験の態様を変化させることなどのアクションを講じるように人工現実システムをトリガすることができる。
さらに、仮想空間構成システムは、ユーザが、座位であり、さらには、前かがみなどの個別の追加的な姿勢にあるときに出現する、「ワークスペース」仮想領域を提供することができる。ワークスペースは、例えば、決定されるユーザ指極、一般的なユーザ腕長さ統計量、以前のユーザセッティング、ユーザによって線引きされる領域、および/または、個別のオブジェクトを含む領域(例えば、キーボード、モニタ、マウス、机領域、その他)の識別のうちの、1つまたは複数に基づく、ユーザの前方の領域であることがある。仮想空間構成システムは、ユーザが、座位の間に、少なくともしきい値数量前かがみになったということをさらに検出することができる。一部の実現形態において、このことは、さらには、ユーザの前方の(机などの)平坦なワークスペースを識別することに左右されることがある。このさらなる姿勢決定をなすことを基に、仮想空間構成システムは、パススルーモード、すなわち、表現、実世界の少なくとも部分、この事例においては、決定されるワークスペース領域を示すモードを可能にすることができる。このことは、ユーザが、ワークスペース領域における実世界アイテムとインタラクションすることと、仮想空間における仮想オブジェクトとインタラクションすることとの間で迅速および容易に遷移することを可能とする。
別の事例において、仮想空間構成システムは、座位モードに対する仮想領域の寸法(例えば、サイズおよび/または形状)を自動的にカスタマイズすることができる。仮想空間構成システムは、決定されるユーザ指極、平均的な、もしくは、決定される同様の、ユーザの統計量、以前のユーザセッティング、ユーザによって線引きされる領域などの、コンテキストもしくはユーザ細部に基づいて、または、包囲する領域におけるオブジェクトを識別することにより、寸法を決定することができる。仮想空間構成システムは、次いで、例えば、ユーザの前方の矩形もしくは半円、または、ユーザの周囲の全円として、決定される寸法に基づいて、仮想領域をセットすることができる。
開示される本技術の実施形態は、人工現実システムを含み、または、人工現実システムと連関して実現され得る。人工現実またはエクストラ現実(XR:extra reality)は、例えば、仮想現実(VR)、拡張現実(AR)、複合現実(MR)、ハイブリッド現実、または、それらの何らかの組み合わせおよび/もしくは派生物を含み得る、ユーザへの提示の前に何らかの様式で調整されている現実の形式である。人工現実コンテンツは、全面的に生成されるコンテンツ、または、捕捉されるコンテンツ(例えば、実世界写真)と組み合わされる、生成されるコンテンツを含み得る。人工現実コンテンツは、ビデオ、オーディオ、触覚フィードバック、または、それらの何らかの組み合わせを含み得るものであり、それらのいずれも、単一のチャネルにおいて、または、(眺める人に対する3次元効果を生み出すステレオビデオなどで)複数個のチャネルにおいて提示され得る。追加として、一部の実施形態において、人工現実は、例えば、人工現実におけるコンテンツを創出するために使用される、および/または、人工現実において使用される(例えば、人工現実においてアクティビティを遂行する)、アプリケーション、製品、アクセサリ、サービス、または、それらの何らかの組み合わせと関連付けられ得る。人工現実コンテンツを提供する人工現実システムは、ホストコンピュータシステムに接続されるヘッドマウントディスプレイ(HMD)、スタンドアローンHMD、モバイルデバイスもしくはコンピューティングシステム、「cave」環境もしくは他のプロジェクションシステム、または、1人もしくは複数の眺める人に人工現実コンテンツを提供する能力がある任意の他のハードウェアプラットフォームを含む、様々なプラットフォーム上で実現され得る。
「仮想現実」または「VR」は、本明細書において使用される際に、ユーザの視覚的入力がコンピューティングシステムにより制御される、没入型体験を指す。「拡張現実」または「AR」は、ユーザが、実世界の画像を眺めることを、それらの画像がコンピューティングシステムをパススルーした後に行う、システムを指す。例えば、背部にカメラを伴うタブレットは、実世界の画像を捕捉し、次いで、タブレットの、カメラと反対の側のスクリーン上に画像を表示することができる。タブレットは、仮想オブジェクトを追加することによってなどで、画像を、それらの画像がシステムをパススルーする際に、処理および調整または「拡張」することができる。「複合現実」または「MR」は、ユーザの目に進入する光が、部分的には、コンピューティングシステムにより生成され、部分的には、実世界におけるオブジェクトから反射させられる光を組成する、システムを指す。例えば、MRヘッドセットは、パススルーディスプレイを伴う眼鏡として形状設定されることがあり、そのパススルーディスプレイは、実世界からの光が導波路をパススルーすることを可能とし、その導波路は、MRヘッドセットにおけるプロジェクタからの光を同時に放出し、そのことは、MRヘッドセットが、ユーザが見ることができる、実オブジェクトと混ぜ合わされる仮想オブジェクトを提示することを可能とする。「人工現実」、「エクストラ現実」、または「XR」は、本明細書において使用される際に、VR、AR、MR、または、それらの任意の組み合わせもしくはハイブリッドのうちの任意のものを指す。
仮想空間を提供する、実在するXRシステムが存する。しかしながら、これらのXRシステムは、使用するのが困難であり、制限される機能性を提供することがある。実在するXRシステムは、しばしば、仮想空間を構成するときに、ユーザ姿勢どうしの間で区別せず、そのことは、ユーザに、仮想空間を手動で調整することを要させ、または、ユーザが、使用するのが困難であり得る、気を散らせ得る、もしくは、所定のオプションを可能としないものであり得る、仮想空間において動作するということを余儀なくさせる。例えば、ユーザが座位であるとき、標準的なXRシステムは、床場所を調整するためのオプションを提供せず、そのことは、しばしば、ユーザに、床上に配置される仮想オブジェクトに手を伸ばすために、そのユーザの座部を離れて動くことを要させる。別の例として、実在するXRシステムは、一般的には、ユーザが仮想空間壁と衝突しようとしているときに対する、単一の警告システムを有する。しかしながら、このことは、ユーザが座位であり、しかるがゆえに、衝突が何か損傷を引き起こす公算がより少ないときに、気を散らせる、および、不必要であることがある。さらに、実在するXRシステムは、仮想空間が、より小さい公算が大きく、明確な輪郭を必要とする公算がより少ない、座位構成に対して不必要であり得る、仮想空間に対する広範なセットアップを要する。
本明細書において説明される仮想空間構成システムおよびプロセスは、従来のXRシステムと関連付けられるそのような問題を克服することを期待され、仮想空間にわたる、より卓越した制御をユーザに提供することを期待される。開示される仮想空間構成システムおよびプロセスは、さらには、実在するXRシステムにおけるインタラクションより、より多くの機能性、ならびに、自然および直感的なユーザ体験を供することを期待される。自然および直感的であるにもかかわらず、本明細書において説明される仮想空間構成システムおよびプロセスは、従前のインタラクションの類似物であることの代わりに、コンピュータ化された人工現実システムに根ざすものである。例えば、これらの仮想空間構成システムおよびプロセスは、ユーザが座位であるときを決定し、応じて、仮想空間カスタマイゼーションを準備することができる。1つのそのような仮想空間カスタマイゼーションは、床高さの調整を可能とすることであることがある。別の仮想空間カスタマイゼーションは、アプリケーションのメカニクスを調整するために、アプリケーションに対してサーフェシングされうるフラグをセットすることであることがある。さらに、仮想空間カスタマイゼーションは、より邪魔にならないように、座位モード仮想空間境界の表示をカスタマイズすることであることがある。なおもさらなる仮想空間カスタマイゼーションは、ユーザが座位モードを離脱するときを検出し、対応するアクションをトリガするためのオプションを提供することであることがある。別の仮想空間カスタマイゼーションは、ユーザが、仮想現実ヘッドセットを外さなければならないということなしに、自然に所定の実世界オブジェクトとインタラクションすることを可能とする、パススルーワークスペース領域を提供することであることがある。そして別の仮想空間カスタマイゼーションは、座位ユーザに対する仮想空間寸法を自動的に決定することであることがある。
いろいろな実現形態が、図を参照して、より詳細に下記で論考される。図1は、開示される本技術の一部の実現形態が動作することができるデバイスの概観を例解するブロック線図である。デバイスは、ユーザ姿勢を決定し、対応する仮想空間カスタマイゼーションをセットすることができる、コンピューティングシステム100のハードウェア構成要素を備えることができる。様々な実現形態において、コンピューティングシステム100は、単一のコンピューティングデバイス103、または、処理を分散し、入力データを共有するために、有線もしくはワイヤレスチャネル越しに通信する複数個のコンピューティングデバイス(例えば、コンピューティングデバイス101、コンピューティングデバイス102、およびコンピューティングデバイス103)を含むことができる。一部の実現形態において、コンピューティングシステム100は、外部処理またはセンサに対する必要性なしに、ユーザに対して、コンピュータによって創出または拡張される体験を提供する能力があるスタンドアローンヘッドセットを含むことができる。他の実現形態において、コンピューティングシステム100は、ヘッドセットおよびコア処理構成要素(コンソール、モバイルデバイス、またはサーバシステムなど)などの複数個のコンピューティングデバイスを含むことができ、その場合、一部の処理動作は、ヘッドセット上で遂行され、他のものは、コア処理構成要素にオフロードされる。例示的なヘッドセットが、図2Aおよび図2Bに関係して下記で説明される。一部の実現形態において、位置および環境データが、単に、ヘッドセットデバイス内に組み込まれるセンサにより集められることがあり、一方で、他の実現形態において、非ヘッドセットコンピューティングデバイスのうちの1つまたは複数が、環境または位置データを追跡することができるセンサ構成要素を含むことができる。
コンピューティングシステム100は、1つまたは複数のプロセッサ110(例えば、中央処理ユニット(CPU)、グラフィカル処理ユニット(GPU)、ホログラフィック処理ユニット(HPU)、その他)を含むことができる。プロセッサ110は、単一の処理ユニット、または、あるデバイス内の、もしくは、複数個のデバイスを横断して分散される(例えば、コンピューティングデバイス101~103のうちの2つ以上を横断して分散される)、複数個の処理ユニットであることがある。
コンピューティングシステム100は、プロセッサ110への、それらのプロセッサにアクションを通知する入力を提供する、1つまたは複数の入力デバイス120を含むことができる。アクションは、入力デバイスから受け取られる信号を解釈し、通信プロトコルを使用してプロセッサ110に情報を伝達する、ハードウェアコントローラにより取り次がれうる。各々の入力デバイス120は、例えば、マウス、キーボード、タッチスクリーン、タッチパッド、ウェアラブル入力デバイス(例えば、触覚グローブ、ブレスレット、リング、イヤリング、ネックレス、腕時計、その他)、カメラ(または、他の光ベースの入力デバイス、例えば、赤外線センサ)、マイクロホン、または、他のユーザ入力デバイスを含むことができる。
プロセッサ110は、例えば、PCIバス、SCSIバス、またはワイヤレス接続などの、内部または外部バスの使用によって、他のハードウェアデバイスに結合されうる。プロセッサ110は、ディスプレイ130に対するなどの、デバイスに対するハードウェアコントローラと通信することができる。ディスプレイ130は、テキストおよびグラフィクスを表示するために使用されうる。一部の実現形態において、ディスプレイ130は、入力デバイスが、タッチスクリーンである、または、視線方向監視システムを装備させられるときなどに、ディスプレイの部分として入力デバイスを含む。一部の実現形態において、ディスプレイは、入力デバイスとは別個である。ディスプレイデバイスの例は、LCDディスプレイスクリーン、LEDディスプレイスクリーン、投影、ホログラフィック、または拡張現実ディスプレイ(ヘッドアップディスプレイデバイスまたはヘッドマウントデバイスなど)、等々である。ネットワークチップまたはカード、ビデオチップまたはカード、オーディオチップまたはカード、USB、firewireまたは他の外部デバイス、カメラ、プリンタ、スピーカ、CD-ROMドライブ、DVDドライブ、ディスクドライブ、その他などの、他のI/Oデバイス140が、さらにはプロセッサに結合されうる。
コンピューティングシステム100は、他のローカルコンピューティングデバイスまたはネットワークノードと、ワイヤレスで、または有線ベースで通信する能力がある通信デバイスを含むことができる。通信デバイスは、例えばTCP/IPプロトコルを使用して、ネットワークを通して別のデバイスまたはサーバと通信することができる。コンピューティングシステム100は、通信デバイスを利用して、複数個のネットワークデバイスを横断して動作を分散することができる。
プロセッサ110は、メモリ150へのアクセスを有することができ、そのメモリ150は、コンピューティングシステム100のコンピューティングデバイスのうちの1つに内包されることがあり、または、コンピューティングシステム100の複数個のコンピューティングデバイス、もしくは、他の外部デバイスについて、横断して分散されることがある。メモリは、揮発性または不揮発性記憶のための1つまたは複数のハードウェアデバイスを含み、読み出し専用メモリおよび書き込み可能メモリの両方を含むことができる。例えば、メモリは、ランダムアクセスメモリ(RAM)、様々なキャッシュ、CPUレジスタ、読み出し専用メモリ(ROM)、および、フラッシュメモリ、ハードドライブ、フロッピーディスク、CD、DVD、磁気記憶デバイス、テープドライブ、他諸々などの書き込み可能不揮発性メモリのうちの1つまたは複数を含むことができる。メモリは、土台となるハードウェアから切り離される、伝搬する信号ではなく、メモリは、かくして、非一時的である。メモリ150は、オペレーティングシステム162、仮想空間構成システム164、および、他のアプリケーションプログラム166などの、プログラムおよびソフトウェアを記憶するプログラムメモリ160を含むことができる。メモリ150は、さらには、データメモリ170を含むことができ、そのデータメモリ170は、プログラムメモリ160、または、コンピューティングシステム100の任意の要素に提供されうる、様々なモデル(例えば、姿勢分類器、境界衝突予測器、ユーザ高さまたは指極識別器、その他)、床高さセッティング、座位フラグ変数、境界モード変数および関連付けられるディスプレイ構成、姿勢変化マッピング、仮想体験、ワークスペース領域セッティング、仮想領域セッティング、他の構成データ、セッティング、ユーザオプション、またはプリファレンス、その他を含むことができる。
一部の実現形態は、数多くの他のコンピューティングシステム環境または構成とともに動作可能であることがある。本技術とともに使用するのに適し得る、コンピューティングシステム、環境、および/または構成の例は、XRヘッドセット、パーソナルコンピュータ、サーバコンピュータ、ハンドヘルドもしくはラップトップデバイス、セルラー電話、ウェアラブル電子機器、ゲーミングコンソール、タブレットデバイス、マルチプロセッサシステム、マイクロプロセッサベースのシステム、セットトップボックス、プログラマブルコンシューマ電子機器、ネットワークPC、ミニコンピュータ、メインフレームコンピュータ、上記のシステムもしくはデバイスのうちの任意のものを含む分散コンピューティング環境、または類するものを含むが、それらに制限されない。
図2Aは、一部の実施形態にしたがう、仮想現実ヘッドマウントディスプレイ(HMD)200の配線線図である。HMD200は、前部剛体205と、バンド210とを含む。前部剛体205は、電子ディスプレイ245の1つまたは複数の電子ディスプレイ要素と、慣性モーションユニット(IMU:inertial motion unit)215と、1つまたは複数の位置センサ220と、ロケータ225と、1つまたは複数のコンピュートユニット230とを含む。位置センサ220、IMU215、およびコンピュートユニット230は、HMD200に対して内部であり得るものであり、ユーザに対して可視でないものであり得る。様々な実現形態において、IMU215、位置センサ220、およびロケータ225は、3自由度(3DoF)または6自由度(6DoF)で、実世界における、および、仮想環境における、HMD200の動きおよび場所を追跡することができる。例えば、ロケータ225は、HMD200の周囲の実オブジェクト上に光ポイントを創出する赤外光ビームを放出することができる。HMD200と統合される1つまたは複数のカメラ(図示せず)が、光ポイントを検出することができる。HMD200におけるコンピュートユニット230は、検出される光ポイントを使用して、HMD200の位置および動きを外挿すること、ならびに、HMD200を包囲する実オブジェクトの形状および位置を識別することができる。
電子ディスプレイ245は、前部剛体205と統合されることがあり、コンピュートユニット230により命じられるように、ユーザに画像光を提供することができる。様々な実施形態において、電子ディスプレイ245は、単一の電子ディスプレイ、または、複数個の電子ディスプレイ(例えば、各々のユーザの目に対するディスプレイ)であることがある。電子ディスプレイ245の例は、液晶ディスプレイ(LCD)、有機発光ダイオード(OLED)ディスプレイ、アクティブマトリクス有機発光ダイオードディスプレイ(AMOLED)、1つもしくは複数の量子ドット発光ダイオード(QOLED)サブピクセルを含むディスプレイ、プロジェクタユニット(例えば、マイクロLED、レーザ、その他)、何らかの他のディスプレイ、または、それらの何らかの組み合わせを含む。
一部の実現形態において、HMD200は、パーソナルコンピュータ(PC)(図示せず)などのコア処理構成要素、および/または、1つもしくは複数の外部センサ(図示せず)に結合されることがある。外部センサは、(例えば、HMD200から放出される光を使って)HMD200を監視することができ、そのことをPCは、IMU215および位置センサ220からの出力と組み合わせて使用して、HMD200の場所および動きを決定することができる。
一部の実現形態において、HMD200は、ユーザが1つまたは両方の手において保持することができるコントローラ(図示せず)などの、1つまたは複数の他の外部デバイスと通信していることがある。コントローラは、それらのコントローラ自体のIMUユニット、位置センサを有することができ、および/または、さらなる光ポイントを放出することができる。HMD200または外部センサは、これらのコントローラ光ポイントを追跡することができる。HMD200におけるコンピュートユニット230、または、コア処理構成要素は、IMUおよび位置出力と組み合わせて、この追跡を使用して、ユーザの手位置およびモーションを監視することができる。コントローラは、さらには、ユーザが、入力を提供し、仮想オブジェクトとインタラクションするために作動させることができる、様々なボタンを含むことができる。様々な実現形態において、HMD200は、さらには、視標追跡ユニット、オーディオシステム、様々なネットワーク構成要素、その他などの、追加的なサブシステムを含むことができる。一部の実現形態において、コントローラの代わりに、または、コントローラに加えて、HMD200内に含まれる、または、そのHMD200に対して外部の、1つまたは複数のカメラが、ジェスチャ、ならびに、他の手および身体モーションを決定するために、ユーザの手の位置およびポーズを監視することができる。
図2Bは、複合現実HMD252と、コア処理構成要素254とを含む、複合現実HMDシステム250の配線線図である。複合現実HMD252およびコア処理構成要素254は、リンク256により指示されるようなワイヤレス接続(例えば、60GHzリンク)を介して通信することができる。他の実現形態において、複合現実システム250は、外部コンピュートデバイスを伴わずに、ヘッドセットのみを含み、または、複合現実HMD252とコア処理構成要素254との間の、他の有線もしくはワイヤレス接続を含む。複合現実HMD252は、パススルーディスプレイ258と、フレーム260とを含む。フレーム260は、光プロジェクタ(例えば、レーザ、LED、その他)、カメラ、視標追跡センサ、MEMS構成要素、ネットワーキング構成要素、その他などの、様々な電子構成要素(図示せず)を収容することができる。
プロジェクタは、ユーザに媒体を表示するために、例えば光学要素を介して、パススルーディスプレイ258に結合されうる。光学要素は、プロジェクタからの光をユーザの目に指向するための、1つまたは複数の、導波路アセンブリ、反射器、レンズ、鏡、コリメータ、格子、その他を含むことができる。画像データが、コア処理構成要素254からリンク256を介してHMD252に伝送されうる。HMD252におけるコントローラは、画像データを、プロジェクタからの光パルスへと変換することができ、それらの光パルスは、ユーザの目への出力光として、光学要素を介して伝送されうる。出力光は、ディスプレイ258をパススルーする光と混合することができ、そのことは、出力光が、実世界において実在するかのように出現する仮想オブジェクトを提示することを可能とする。
HMD200と同様に、HMDシステム250は、さらには、HMDシステム250が、例えば、そのHMDシステム250そのものを3DoFまたは6DoFで追跡し、ユーザの一部分(例えば、手、足、頭、または、他の身体部分)を追跡し、HMD252が動く際に静止しているように出現するように仮想オブジェクトをマッピングし、仮想オブジェクトに、ジェスチャおよび他の実世界オブジェクトに反応させることを可能とする、モーションおよび位置追跡ユニット、カメラ、光源、その他を含むことができる。
図3は、開示される本技術の一部の実現形態が動作することができる環境300の概観を例解するブロック線図である。環境300は、1つまたは複数のクライアントコンピューティングデバイス305A~Dを含むことができ、それらのクライアントコンピューティングデバイスの例は、コンピューティングシステム100を含むことができる。一部の実現形態において、クライアントコンピューティングデバイスのうちの一部(例えば、クライアントコンピューティングデバイス305B)は、HMD200またはHMDシステム250であることがある。クライアントコンピューティングデバイス305は、サーバコンピューティングデバイスなどの1つまたは複数のリモートコンピュータへの、ネットワーク330を通しての論理接続を使用して、ネットワーク化された環境において動作することができる。
一部の実現形態において、サーバ310は、クライアント要求を受け取り、サーバ320A~Cなどの他のサーバを通して、それらの要求の履行を調整する、エッジサーバであることがある。サーバコンピューティングデバイス310および320は、コンピューティングシステム100などのコンピューティングシステムを備えることができる。各々のサーバコンピューティングデバイス310および320は、単一のサーバとして論理的に表示されるが、サーバコンピューティングデバイスは、各々、同じ物理的場所において、または、地理的に相違する物理的場所において場所を定められる、複数個のコンピューティングデバイスを包含する分散コンピューティング環境であることがある。
クライアントコンピューティングデバイス305、ならびに、サーバコンピューティングデバイス310および320は、各々、他のサーバ/クライアントデバイスに対して、サーバまたはクライアントの役割を果たすことができる。サーバ310は、データベース315に接続することができる。サーバ320A~Cは、各々、対応するデータベース325A~Cに接続することができる。上記で論考されたように、各々のサーバ310または320は、サーバの群に対応することがあり、これらのサーバの各々は、データベースを共有することができ、または、それらのサーバ自体のデータベースを有することができる。データベース315および325は、単一のユニットとして論理的に表示されるが、データベース315および325は、各々、複数個のコンピューティングデバイスを包含する分散コンピューティング環境であることがあり、それらのデータベースの対応するサーバの中に場所を定められることがあり、または、同じ物理的場所において、もしくは、地理的に相違する物理的場所において場所を定められることがある。
ネットワーク330は、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)、メッシュネットワーク、ハイブリッドネットワーク、または、他の有線もしくはワイヤレスネットワークであることがある。ネットワーク330は、インターネット、または、何らかの他の公衆もしくは私設ネットワークであり得る。クライアントコンピューティングデバイス305は、有線またはワイヤレス通信によってなどで、ネットワークインターフェイスを通してネットワーク330に接続されうる。サーバ310とサーバ320との間の接続は、別個の接続として示されるが、これらの接続は、ネットワーク330、または、別個の公衆もしくは私設ネットワークを含む、任意の種類のローカル、ワイドエリア、有線、またはワイヤレスネットワークであることがある。
図4は、一部の実現形態において、開示される本技術を用いるシステムにおいて使用されうる構成要素400を例解するブロック線図である。構成要素400は、コンピューティングシステム100の1つのデバイス内に含まれることがあり、または、コンピューティングシステム100のデバイスの複数個を横断して分散されることがある。構成要素400は、ハードウェア410と、メディエータ420と、専門化された構成要素430とを含む。上記で論考されたように、開示される本技術を実現するシステムは、処理ユニット412と、ワーキングメモリ414と、入力および出力デバイス416(例えば、カメラ、ディスプレイ、IMUユニット、ネットワーク接続、その他)と、記憶メモリ418とを含む、様々なハードウェアを使用することができる。様々な実現形態において、記憶メモリ418は、ローカルデバイス、リモート記憶デバイスへのインターフェイス、または、それらの組み合わせのうちの、1つまたは複数であることがある。例えば、記憶メモリ418は、システムバスを通してアクセス可能な、1つもしくは複数のハードドライブもしくはフラッシュドライブであることがあり、または、1つもしくは複数の通信ネットワークを介してアクセス可能な、クラウドストレージプロバイダ(ストレージ315または325においてなど)もしくは他のネットワークストレージであることがある。様々な実現形態において、構成要素400は、クライアントコンピューティングデバイス305などのクライアントコンピューティングデバイスにおいて、または、サーバコンピューティングデバイス310もしくは320などのサーバコンピューティングデバイス上で実現されることがある。
メディエータ420は、ハードウェア410と、専門化された構成要素430との間でリソースを取り次ぐ構成要素を含むことができる。例えば、メディエータ420は、オペレーティングシステム、サービス、ドライバ、基本入出力システム(BIOS)、コントローラ回路、または、他のハードウェアもしくはソフトウェアシステムを含むことができる。
専門化された構成要素430は、ユーザ姿勢に基づいて仮想空間をカスタマイズするための動作を遂行するように構成されるソフトウェアまたはハードウェアを含むことができる。例えば、専門化された構成要素430は、姿勢分析モジュール434と、立位モード機能436と、座位 - 床高さ機能438と、座位 - フラグ構成機能440と、座位 - 境表示機能442と、座位 - 座位体験機能444と、座位 - ワークスペース領域機能446と、座位 - 自動化された仮想領域機能448と、インターフェイス432などの、ユーザインターフェイスを提供し、データを転送し、専門化された構成要素を制御するために使用されうる、構成要素およびAPIとを含むことができる。一部の実現形態において、構成要素400は、複数個のコンピューティングデバイスを横断して分散されるコンピューティングシステムにあることがあり、または、専門化された構成要素430のうちの1つもしくは複数を実行するサーバベースのアプリケーションに対するインターフェイスであることがある。
姿勢分析モジュール434は、センサ入力(例えば、カメラからの画像、位置センサデータ、コントローラセンサ入力、その他)、および/または、決定される身体メカニクスモデル(例えば、ユーザのキネマティックスケルトンモデル、手位置、その他)を受け取り、これらのセンサ入力および/または身体メカニクスモデルを使用して、ユーザの姿勢を決定することができる。様々な実現形態において、姿勢は、ユーザが、立位、座位、臥位、その他であるかどうかを指定することができる。一部の実現形態において、立位姿勢は、立位可動、または、立位静止、または、他の動きベースの姿勢へと分けられることがある。ユーザ姿勢を決定することに関する追加的な詳細は、図5のブロック502に関係して下記で説明される。
一部の実現形態は、立位モード機能436を含むことができる。これらの実現形態において、仮想空間構成システムは、姿勢分析モジュール434が立位姿勢を識別することに応じて、これらの機能を実行することができる。立位モード機能436を実行することは、立位可動姿勢に対する、ユーザによって指定される境界、または、立位静止姿勢に対する、(決定される指極に基づいて)自動的にサイズ設定される、円筒もしくはワイングラスに形状設定される境界を受け取ることを含むことができる。この境界は、ユーザが境界と衝突する公算が大きいということをシステムが予測するならば、ユーザに示されることがある。立位モード機能に関する追加的な詳細は、図5のブロック506および510に関係して下記で提供される。
一部の実現形態は、座位 - 床高さ機能438を含むことができる。これらの実現形態において、仮想空間構成システムは、姿勢分析モジュール434が座位姿勢を識別することに応じて、これらの機能を実行することができる。座位 - 床高さ機能438を実行することは、床高さのユーザ選択、決定されるユーザ高さに基づく床高さ、他のユーザにより選択される床高さの平均、その他などの床高さメトリックを受け取ることを含むことができる。座位 - 床高さ機能438は、このメトリックを使用して、仮想床高さをセットすることができる。ユーザが座位姿勢にあるときに仮想床高さをセットすることに関する追加的な詳細は、図6Aおよび図7Aに関係して下記で提供される。
一部の実現形態は、座位 - フラグ構成機能440を含むことができる。これらの実現形態において、仮想空間構成システムは、姿勢分析モジュール434が座位姿勢を識別することに応じて、これらの機能を実行することができる。座位 - フラグ構成機能440を実行することは、ユーザが座位姿勢にあるということの決定に応じてフラグをセットすることを含むことができる。このフラグは、次いで、アプリケーションに対してサーフェシングされることがあり、そのことは、それらのアプリケーションが、フラグがセットされるかどうかに基づいて、オブジェクトの位置決め、および、他のメカニクスを調整することを可能とする。座位フラグをセットし、そのフラグを、アプリケーションがメカニクスを調整することを可能とするためにサーフェシングすることに関する追加的な詳細は、図6Bおよび図7Bに関係して下記で提供される。
一部の実現形態は、座位 - 境表示機能442を含むことができる。これらの実現形態において、仮想空間構成システムは、姿勢分析モジュール434が座位姿勢を識別することに応じて、これらの機能を実行することができる。座位 - 境表示機能442を実行することは、パターン、色、またはタイプなどの仮想空間境界モードを決定することを含むことができ、その場合、タイプは、仮想壁、パススルーモードにおいてオブジェクトを示すこと、警告メッセージまたは他のアラート、その他であることがある。仮想空間構成システムが、ユーザが境界もしくは実世界オブジェクトと交差することになるという、または、実世界オブジェクトが仮想空間に進入したという予測などの、境界表示事象を検出するとき、座位 - 境表示機能442を実行することは、決定される仮想空間境界モードにしたがって、境界、または、実世界オブジェクトの表現を表示することをさらに含むことができる。仮想空間境界モード、および、対応する表示事象を選択することに関する追加的な詳細は、図6Cおよび図7Cに関係して下記で提供される。
一部の実現形態は、座位 - 座位体験機能444を含むことができる。これらの実現形態において、仮想空間構成システムは、姿勢分析モジュール434が座位姿勢を識別することに応じて、これらの機能を実行することができる。座位 - 座位体験機能444を実行することは、ユーザが座位のみの仮想体験に没頭している間に、姿勢におけるさらなる変化を検出することを含むことができる。例えば、座位のみの仮想体験により提供される、応答アクションへの姿勢のマッピングを使用して、姿勢変化に対する応答アクションが、決定および遂行されうる。例えば、ユーザが立ち上がるならば、アプリケーションは、休止する、通知を提供する、ユーザが立位であったということをロギングする、入力モダリティを変化させる、および/または、仮想オブジェクトを変化させることができる。姿勢変化に対する応答アクションをトリガすることに関する追加的な詳細は、図6Dおよび図7Dに関係して下記で提供される。
一部の実現形態は、座位 - ワークスペース領域機能446を含むことができる。これらの実現形態において、仮想空間構成システムは、姿勢分析モジュール434が座位姿勢を識別することに応じて、これらの機能を実行することができる。座位 - ワークスペース領域機能446を実行することは、ユーザが座位姿勢にとどまる間に、さらなる前かがみ姿勢を検出することを含むことができる。応じて、座位 - ワークスペース領域機能446の実行は、決定されるワークスペース領域に対するパススルー表示モードを可能にすることができ、そのことは、ユーザが、人工現実システムの、ヘッドセット、または、他のハードウェアを外さなければならないということなしに、ワークスペース領域において実世界オブジェクトの表現を見ることを可能とする。ワークスペース領域は、ユーザによりあらかじめ規定された領域、ユーザの決定される指極、他のユーザによりセットされるワークスペースの平均、ならびに/あるいは、コンピュータビジョンおよびオブジェクト検出を使用して、机の上部などの領域、または、キーボード、マウス、および/もしくはモニタなどの様々なツールを含む領域を識別することのうちの、1つまたは複数に基づいて決定されることがある。一部の実現形態において、訓練される機械学習モデルが、現在のコンテキスト(例えば、ユーザ細部および/またはカメラ入力)に基づいてワークスペース領域を決定することができ、その場合、モデルは、ユーザによって選択されたワークスペース領域、または、高い信頼値を有する、オブジェクト識別に基づいて決定された、自動的に識別されたワークスペース領域と整合された、同様の入力に基づいて訓練されたものである。前かがみ座位姿勢を検出し、パススルーモードにおいてワークスペース領域を表示することに関する追加的な詳細は、図6Eおよび図7Eに関係して下記で提供される。
一部の実現形態は、座位 - 自動化された仮想領域機能448を含むことができる。これらの実現形態において、仮想空間構成システムは、姿勢分析モジュール434が座位姿勢を識別することに応じて、これらの機能を実行することができる。座位 - 自動化された仮想領域機能448を実行することは、ユーザによって規定される領域、ユーザ指極、他のユーザによりセットされる平均領域、その他のうちの1つまたは複数に基づいて、座位位置に対する仮想領域の寸法を自動的に決定することを含むことができる。一部の実現形態において、訓練される機械学習モデルが、現在のコンテキスト(例えば、ユーザ細部および/またはカメラ入力)に基づいて仮想空間寸法を決定することができ、その場合、モデルは、ユーザによって選択された仮想空間と整合された、同様の入力に基づいて訓練されたものである。仮想領域の形状は、現在のアプリケーションにおけるセッティング、ユーザ選択、仮想空間形状への使用のマッピングによる仮想空間に対する決定される現在の使用、その他のうちの1つまたは複数に基づいて自動的に決定されることがある。仮想領域の態様を自動的に決定することに関する追加的な詳細は、図6Fおよび図7Fに関係して下記で提供される。
当業者は、上記で説明された図1~図4において、および、下記で論考されるフロー線図の各々において例解される構成要素は、種々の手立てで改変され得るということを察知することになる。例えば、論理の順序は再配置構成され得る、サブステップは並列に遂行され得る、例解される論理は省略され得る、他の論理が含まれ得る、その他である。一部の実現形態において、上記で説明された構成要素のうちの1つまたは複数は、下記で説明されるプロセスのうちの1つまたは複数を実行することができる。
図5は、ユーザ姿勢に基づいて仮想空間構成をセットするための、本技術の一部の実現形態において使用されるプロセス500を例解するフロー線図である。様々な実現形態において、プロセス500は、人工現実システムにより(例えば、仮想空間構成サブシステムにより)、人工現実システムが最初にターンオンされるときに、人工現実システムがユーザ変化を検出するときに、周期的であることを基礎として継続的に(例えば、1~2秒おきに)、または、姿勢における検出される変化に応じて(例えば、ブロック502の姿勢検出が、周期的に、または、ヘッドセットもしくはコントローラの、高さにおける変化もしくは他の動きなどの入力信号に応じて、遂行される場合に)遂行されることがある。
ブロック502において、プロセス500は、ユーザ姿勢を決定することができる。「姿勢」は、ユーザの身体の1つまたは複数の部分の位置または構成である。例えば、姿勢は、座位、立位、臥位、腕を差し伸ばした様態、個別の手位置またはジェスチャ、頭向き、胴回転または角度、その他であることがある。一部の実現形態において、姿勢は、さらには、1つもしくは複数の身体部分の個別のモーション、および/または、ポイントもしくはオブジェクトに関係したモーションなどの動きを包含することがある。例えば、第1の識別される姿勢は、立位静止であることがあり、一方で、第2の識別される姿勢は、立位であることがあり、中心ポイントに相対的な、しきい値レベルの横方向動きをなしている。様々な実現形態において、プロセス500は、例えば、人工現実システムのヘッドセットの決定される高さ、(例えば、ヘッドセット、コントローラ、手、脚、または、他の身体部分の)個別の検出される動き、人工現実システムにより捕捉される画像、位置データ、IMUデータなどの他の入力、その他に基づいて、ユーザ姿勢を自動的に決定することができる。一部の実現形態において、人工現実システムからの様々な測定値および決定が、ユーザの現在の姿勢を分類するように訓練される機械学習モデルに供給されることがある。ユーザ姿勢(または「ポーズ」)を決定することは、2019年10月9日に提出された、「Systems and Methods for Generating Dynamic Obstacle Collision Warnings Based On Detecting Poses of Users」と題された、米国特許出願第16/663,141号において、より詳細に論考されており、その米国特許出願は、その米国特許出願の全体において、参照により本明細書に組み込まれている。一部の実現形態において、ユーザ姿勢は、ユーザ入力により指定されることがあり、または、ユーザ入力は、自動的に検出される姿勢を検証することができる。
ブロック504において、プロセス500は、ブロック502において決定される姿勢が、立位可動姿勢に対応するかどうかを決定することができる。立位可動姿勢は、ユーザが、立位であり、彼女が(全般的に同じスポットにおける立位とは対照的に)横方向に動き回り得る状勢にあるということを指示することができる。この立位可動姿勢は、(例えば、決定されるヘッドセット高さ、ユーザ姿勢選択入力、その他に基づいて)ユーザが立位であるということを、および、ユーザが、仮想空間に対する境領域を指示したということ、ユーザが、動く意図を明確にしたということ、現在のアプリケーションが、立位の間に可動であることに対して設計されるということ、または、ユーザが、中心ポイントから横方向に少なくともしきい値数量動いたということの決定(すなわち、そのユーザが、そのユーザの立位場所から動いたということを決定すること)のうちの、1つまたは複数を決定する人工現実システムにより指示されることがある。姿勢が立位可動モードに対応するとき、プロセス500は、ブロック506へと継続することができ、そのブロック506において、そのプロセス500は、立位可動仮想空間カスタマイゼーションをセットする。例えば、仮想空間は、ユーザによって規定される空間、および/または、ユーザがユーザの周囲の実世界空間における検出されるオブジェクトと衝突することを回避するために規定される空間であることがある。カスタマイゼーションは、さらには、境界を示すために表示特徴をセットすることを、ユーザがその境界と衝突する危険性があるということを人工現実システムが決定するならば、ユーザの注意を即座に引くための非常に目立つ赤グリッドパターンを使用してなどで行うことを含むことができる。姿勢が立位可動でないならば、プロセス500は、ブロック508へと継続することができる。
ブロック508において、プロセス500は、ブロック502において決定される姿勢が、立位静止姿勢に対応するかどうかを決定することができる。立位静止姿勢は、ユーザが、立位であり、横方向に動き回る公算が小さい(すなわち、同じスポットの数フィートの範囲内で立つ公算が大きい)ということを指示することができる。立位可動姿勢と同様に、立位静止姿勢は、(例えば、決定されるヘッドセット高さ、ユーザ姿勢選択入力、その他に基づいて)ユーザが立位であるということを決定する人工現実システムにより指示されることがある。しかし、この事例において、ユーザは、動かない意図を明確にしていることがあり得るものであり、現在のアプリケーションは、立位の間に静止していることに対して設計され得るものであり、または、人工現実システムは、ユーザが、中心ポイントから少なくともしきい値数量動いていないということを決定することができる(すなわち、そのユーザが、そのユーザの現在の立位場所から、横方向に、1~2フィートなどの有意な数量動いていないということを決定する)。姿勢が、帰するところ立位静止であることになるとき、プロセス500は、ブロック510へと継続することができ、そのブロック510において、そのプロセス500は、立位静止仮想空間カスタマイゼーションをセットする。例えば、仮想空間は、ユーザによって規定される空間、または、ユーザの周囲で規定される円筒もしくはワイングラス形状であることがある。カスタマイゼーションは、さらには、境界を示すために表示特徴をセットすることを、ユーザがその境界と衝突する危険性があるということを人工現実システムが決定するならば、ユーザの注意を即座に引くための目立つ赤グリッドパターン、または、そのような衝突は損傷を創出する公算がより少ないので、より邪魔にならないパターンの灰色十字(例えば、+)形状を使用してなどで行うことを含むことができる。姿勢が立位静止でないならば、プロセス500は、ブロック512へと継続することができる。
ブロック512において、プロセス500は、ブロック502において決定される姿勢が、座位姿勢に対応するかどうかを決定することができる。座位姿勢は、システムのヘッドセットが平均座位ヘッドセット高さからのしきい値距離であるということを決定する人工現実システムにより指示されることがあり、姿勢を指定するユーザ入力からのものであることがあり、センサ入力を取り入れ、現在の姿勢を分類する、機械学習モデルに基づいて決定されることがあり、現在のアプリケーションが、座位の間の使用に対して設計されることに基づいて、または、ユーザに提供される指図から、または、他のメトリックを使用して推測されることがある。決定される姿勢が座位であるならば、プロセス500は、ブロック514へと継続することができ、そのブロック514において、様々な座位仮想空間カスタマイゼーションのうちの任意のものが適用されうる。様々な実現形態において、利用可能な座位仮想空間カスタマイゼーションは、床高さの調整を可能とすること(図6Aに関係した下記の追加的な詳細を参照されたい)と、アプリケーションのメカニクスを調整するために、アプリケーションに対してサーフェシングされうるフラグをセットすること(図6Bに関係した下記の追加的な詳細を確かめられたい)と、より邪魔にならないように、座位モードにおけるときの仮想空間境界の表示をカスタマイズすること(図6Cに関係した下記の追加的な詳細を確かめられたい)と、ユーザが座位モードを離脱するときを検出し、対応するアクションをトリガするためのオプションを提供すること(図6Dに関係した下記の追加的な詳細を確かめられたい)と、ユーザが、人工現実ヘッドセットを外さなければならないということなしに、自然に所定の実世界オブジェクトとインタラクションすることを可能とする、パススルーワークスペース領域を提供すること(図6Eに関係した下記の追加的な詳細を確かめられたい)と、座位ユーザに対する仮想空間寸法を自動的に決定すること(図6Fに関係した下記の追加的な詳細を確かめられたい)とを含むことができる。姿勢が座位でないならば、プロセス500は、認識される変形に対してユーザ姿勢を監視することを継続するために、ブロック502に戻ることができる。
図6Aは、ユーザが座位であるときに床高さカスタマイゼーションを可能にするための、一部の実現形態において使用されるプロセス600を例解するフロー線図である。一部の実現形態において、プロセス600は、プロセス500のブロック514のサブプロセスとして遂行されることがある。一部の事例において、プロセス600は、アプリケーションが姿勢モードを変化させること、ユーザ選択、ユーザにおける変化、個別のアプリケーションの開始、その他などの、他のトリガに応じて遂行されることがある。
ブロック602において、プロセス600は、座位床高さに対するメトリックを取得することができる。メトリックは、ユーザの立位高さ、ユーザ指極、(例えば、コンピュータビジョン技法、および、人工現実システムと統合されるカメラを使用して決定される)ユーザが上で座位である、椅子、カウチ、または、他のオブジェクトの寸法、他のユーザ(または、現在のユーザと同様であると決定されるユーザ)によりセットされる床高さの平均または他の統計量、その他などの状況に基づいて決定されることがある。一部の実現形態において、これらの特徴のうちの1つまたは複数は、以前の他のユーザ選択に基づいて、所望される床高さを予測するように訓練される機械学習モデルへの入力として使用されることがある。他の実現形態において、これらの特徴は、床高さへの特徴のマッピングにおいて使用されることがある。一部の実現形態において、メトリックは、例えば、手ジェスチャ、コントローラへの入力、音声指令、注視、その他によって床高さを指示することによる、ユーザによって選択される値であることがある。一部の実現形態において、ユーザが認識されることがあり、取得されるメトリックは、そのユーザに対する以前の選択に基づくことがある。
ブロック604において、プロセス600は、ブロック602において取得されるメトリックに基づいて床高さをセットすることができる。このプロセス600は、ユーザに関係した仮想オブジェクトに対する最小高さをセットし、そのことは、ユーザが、他のやり方であれば、椅子またはカウチの縁部まで動き、床に手を伸ばさなければならないことになる局面を消失させることにより、仮想空間におけるときのユーザアクセシビリティを改善する。一部の実現形態において、床高さは、アプリケーションを横断して人工現実システムに対してセットされることがあり、または、個別のアプリケーションに対してセットされることがあり、その場合、異なる床高さが、他のアプリケーションに対してセットされる。床高さをセットすることの例が、図7Aに関係して下記で論考される。
図6Bは、アプリケーションが座位構成に対するメカニクスを調整することを可能とするためのフラグをセットするための、一部の実現形態において使用されるプロセス610を例解するフロー線図である。一部の実現形態において、プロセス610は、プロセス500のブロック514のサブプロセスとして遂行されることがある。一部の事例において、プロセス610は、アプリケーションが姿勢モードを変化させること、ユーザ選択、ユーザにおける変化、個別のアプリケーションの開始、その他などの、他のトリガに応じて遂行されることがある。
ブロック612において、(例えば、ブロック502および512において決定される)ユーザが座位姿勢にあるということの決定に応じて、プロセス610は、座位姿勢を指示するフラグをセットすることができる。フラグは、バイナリ値、姿勢識別子、姿勢名、その他などの、任意のタイプの変数であることがある。フラグをセットすることは、プログラムまたはオペレーティングシステム変数をセットすること、データベースフィールドへの書き込み、ファイルへの書き込み、その他などの、メモリへの様々なタイプの書き込みを含むことができる。例えば、人工現実システムに対するオペレーティングシステムは、動作条件変数のセットを維持することができ、それらの変数のうちの1つが、姿勢指示子または「isSeated」フラグであることがある。ブロック614において、プロセス610は、アプリケーションに対して、ブロック612においてセットされるフラグをサーフェシングすることができる。例えば、アプリケーションは、フラグの値に対してオペレーティングシステムに要求を送出することができる、フラグがセットされるデータベースから読み出すことができる、その他である。フラグを読み出すことは、アプリケーションが、座位ユーザに、より良好に便宜を図るために、所定のメカニクスを修正することを可能とすることができる。例えば、アプリケーションは、仮想オブジェクトの位置決めを変化させることを、腕の届く範囲内に、それらの仮想オブジェクトを動かして行うことができ、しかるに、ユーザが立位であるならば、そのような調整は必要でないものであり得るものであり、なぜならば、ユーザは、より距離のあるオブジェクトに手を伸ばす、床上のオブジェクトに、より容易に手を伸ばす、その他のために、歩みを進めることができるからである。アプリケーションが座位構成に対するメカニクスを調整することを可能とするためのフラグを使用することの例が、図7Bに関係して下記で論考される。
図6Cは、ユーザ姿勢に応じて仮想空間境界表示をカスタマイズするための、一部の実現形態において使用されるプロセス620を例解するフロー線図である。一部の実現形態において、プロセス620は、プロセス500のブロック514のサブプロセスとして遂行されることがある。一部の事例において、プロセス620は、アプリケーションが姿勢モードを変化させること、ユーザ選択、ユーザにおける変化、個別のアプリケーションの開始、その他などの、他のトリガに応じて遂行されることがある。
ブロック622において、プロセス620は、仮想空間境界表示モード選択を受け取ることができる。一部の実現形態において、この選択は、境界表示モードへの姿勢のマッピングからのものであることがある。例えば、システムが、ユーザが立位であるということ(ユーザが、座位のときより、多く動き回る公算が大きく、さらには、高速の動きをなす状況)を検出するとき、境界とのユーザ衝突は、危害を引き起こす公算がより大きい。かくして、立位姿勢は、個別の色(例えば、鮮明な赤、緑、橙、その他)の、および/または、個別のパターン(例えば、グリッド、密接に詰められるドット、フラッシュする線、その他)を伴う仮想壁として出現する境界などの、ユーザが気付くことを引き起こす公算がより大きい境界表示モードにマッピングされることがある。しかしながら、システムが、ユーザが、座っている、または臥位であるということ(ユーザが、立位のときより、多く動き回る公算が小さく、また、低速の動きをなす状況)を検出するとき、境界とのユーザ衝突は、危害を引き起こす公算がより少ない。かくして、座位または臥位姿勢は、より鮮明でない色(例えば、灰色、黄褐色、茶、その他)で、および/または、個別のパターン(例えば、線交差部における+のみが示されるグリッド、散在したドット、色調を弱められる線、その他)を伴って出現する境界などの、ユーザの人工現実体験に関して差し出る公算がより少ない境界表示モードにマッピングされることがある。一部の実現形態において、座位または臥位姿勢に対して、選択される境界表示モードは、仮想環境にパススルーとして実世界オブジェクトを示すことであることがある。そのようなパススルーモードにおいて、人工現実システムが、ユーザが、境界に接近している、または、オブジェクトと衝突しようとしているということを決定するならば、人工現実システムは、仮想空間において、実世界オブジェクトを示すことができ、そのことは、ユーザが、それらのオブジェクトを識別および回避することを可能とする。一部の実現形態において、そのようなパススルーモードにおいて示される実世界オブジェクトは、ユーザを、彼女の仮想体験の外に、あまりにも遠く連行することを回避するために、色調を弱められる、または、ただ影だけとして示されることがある。
ブロック624において、プロセス620は、境界表示事象を検出することができる。この事象は、ユーザが境界のしきい値距離の範囲内にあるということ、ユーザの決定される軌跡が境界と交差することが予想されるということ、ならびに/または、ユーザの身体位置および構成(例えば、指極または脚全長、歩幅長さ、高さ、動きプロファイル、その他)が、ユーザが境界と交差することになるということの公算を大きくするということを検出することにより見いだされることがある。一部の実現形態において、機械学習モデルが、この決定をなすように訓練されることがある。例えば、機械学習モデルへの入力は、人工現実システムのヘッドセットおよび/またはコントローラからの、慣性、位置、カメラ、および/または、他のセンサ入力、ユーザの身体のモデル(例えば、骨構造)、ユーザの、または、平均的なユーザの過去動きデータ、境構成細部、その他を含むことができる。機械学習モデルは、ユーザが境界と交差する公算が大きいかどうかの予測を生み出すように訓練される(例えば、ユーザが境界と交差したときのコンテキストの以前の識別に基づいて訓練される)ことがある。一部の実現形態において、仮想空間に進入する別の人物またはオブジェクトなどの、境界を表示するための他のトリガが存することがあり、それらのトリガは、境界における変化、または、パススルーモードの可能にすること、または、境界が表示されるための現在のアプリケーションのシグナリングを引き起こし得る。
ブロック626において、プロセス620は、ブロック624の検出される境界表示事象に応じて、ブロック622において選択される、選択される仮想空間境界表示モードを使用して、境界、または、包囲する領域におけるオブジェクトを表示する(すなわち、パススルーモードを可能にする)ことができる。例えば、プロセス620は、指定されるパターンおよび/または色を有する、仮想壁、または、仮想壁の一部分を示すことができ、ユーザのしきい値距離の範囲内の、または、ユーザが衝突する公算が大きいということを人工現実システムが決定するオブジェクトを示すことができ、仮想壁またはオブジェクトであって、ユーザに対するそれらの仮想壁またはオブジェクトの距離に対応して次第に薄れる、仮想壁またはオブジェクトを示すことができる、その他である。ユーザが座位姿勢にあるときにパススルーにおいて境界を示すために仮想空間境界表示をカスタマイズすることの例が、図7Cに関係して下記で論考される。
図6Dは、姿勢特有の仮想体験を可能にするための、一部の実現形態において使用されるプロセス630を例解するフロー線図である。一部の実現形態において、プロセス630は、プロセス500のブロック514のサブプロセスとして遂行されることがある。一部の事例において、プロセス630は、アプリケーションが姿勢モードを変化させること、ユーザ選択、ユーザにおける変化、個別のアプリケーションの開始、その他などの、他のトリガに応じて遂行されることがある。
ブロック632において、プロセス630は、現在の姿勢において遂行されるように設計される仮想体験を初期化することができる。例えば、アプリケーションが、座位のみの姿勢、立位のみの姿勢、臥位のみの姿勢、その他において使用されるようにセットされることがある。より具体的な例として、会社が、訓練プログラムに対して、ユーザは訓練プログラムの初めから終わりまで座位であるべきであり、さもなければ、プログラムは休止すべきであるということを指定し得る;ゲームが、ユーザが座位であるときに第1の入力モダリティ(例えば、静止仮想制御ボード)を、および、ユーザが立位であるならば(例えば、監視されるユーザ動きに基づく)異なる入力モダリティを有するように構成されることがある;アプリケーション開発者が、最も普通のユーザ姿勢に対して彼女のアプリケーションの使用法をチューニングすることを欲し得るものであり、かくして、集合的なユーザ姿勢に関する統計量を集め得る;その他である。
ブロック634において、プロセス630は、ユーザ姿勢における変化が存したかどうかを検出することができる。この変化は、ブロック502と同様の様式で見いだされることがある。一部の実現形態において、姿勢における所定の指定される変化のみが、ブロック634からのはい(Y)分岐をトリガすることになる。例えば、プロセス630は、腕位置または胴傾きなどの、姿勢における様々な変化を検出することができるが、現在のアプリケーションは、座位から立位姿勢への変化、または、しきい値距離より上の横方向動きの変化のみが、はい分岐をトリガすべきであるということを指定することができる。様々な実現形態において、人工現実システムに対するオペレーティングシステム、または、人工現実システムにより走らされているアプリケーションが、姿勢変化と応答アクションとの間の所定のマッピングを指定することができ、ブロック634からのはい分岐をトリガするのが、これらのマッピングされる姿勢変化であることがある。そのような姿勢変化が検出されないならば(いいえ(N)分岐)、プロセス630は、ブロック638へと継続することができる。そのような姿勢変化が検出されるならば(はい分岐)、プロセス630は、ブロック636へと継続することができる。
ブロック636において、ブロック634における検出される姿勢変化に応じて、プロセス630は、応答アクションをトリガすることができる。一部の実現形態において、仮想体験を自動的に停止または休止すること、以前の姿勢を再び続けるための、または、現在の姿勢がこの体験に対して推奨されないということの通知を提供すること、様々な姿勢が保持される時間をロギングすること、別のモード(例えば、パススルーモード)に切り替えること、その他などの、人工現実システムによりセットされる応答アクションが存することがある。一部の実現形態において、現在のアプリケーションは、個別の姿勢変化に対して遂行するためのトリガアクションの、1つまたは複数のマッピングを指定することができる。例えば、アプリケーションは、ユーザが、座っている姿勢から立ち上がるならば、座位位置に戻るための通知が表示されるべきであり、立位の時間がロギングされるべきであり、立位の時間がしきい値を超過するならば、仮想体験は休止すべきであるということを指定することができる。別の例として、ゲームアプリケーションは、ユーザが座位姿勢にあるとき、仮想体験は、仮想車を運転することであるべきであるが、ユーザが立ち上がるならば、仮想体験は、仮想車を出て、仮想歩行モードに遷移することを示すように変化すべきであるということを指定することができる。
ブロック638において、プロセス630は、ブロック632において起動される仮想体験が依然として進行中であるかどうかを決定することができる。プロセス630は、仮想体験が継続している間、姿勢を監視し、応答アクションをトリガすることができる。仮想体験が終了すると、プロセス630が、さらには終了することができる。姿勢特有の仮想体験を可能にすることの例が、図7Dに関係して下記で論考される。
図6Eは、座位ワークスペース仮想領域を可能にするための、一部の実現形態において使用されるプロセス640を例解するフロー線図である。一部の実現形態において、プロセス640は、プロセス500のブロック514のサブプロセスとして遂行されることがある。一部の事例において、プロセス640は、アプリケーションが姿勢モードを変化させること、ユーザ選択、ユーザにおける変化、個別のアプリケーションの開始、その他などの、他のトリガに応じて遂行されることがある。
ブロック642において、プロセス640は、ユーザが座位姿勢を維持する間、前かがみ姿勢を検出することができる。この前かがみ姿勢は、例えば10、15、または20度だけの、垂直からのしきい値数の度の前かがみであることがある。一部の実現形態において、上げられる腕、および、仮想キーボードに対して態勢の整った手、または、机上に載っている前腕などの、他の姿勢が、ワークスペース領域をトリガするために検出されることがある。
ブロック644において、プロセス640は、ワークスペース領域を決定することができる。例えば、この領域は、ユーザによりあらかじめ確立された領域;セットされるサイズおよび形状の領域(例えば、3フィート掛ける4フィート矩形);ユーザの特性に基づいて規定される領域(例えば、十二分に、ユーザの手が届く範囲内の領域などの、ユーザの決定される指極に基づくサイズを伴う半円または矩形);平均的なユーザ、現在のユーザと同様の高さなどの特性を伴うユーザの指極に対応する領域、もしくは、他のユーザにより手動でセットされる領域の平均;または、コンピュータビジョン/オブジェクト認識に基づく領域(例えば、ユーザの前方の机の上部に対応する領域、または、キーボード、ノートブック、もしくはモニタなどの、ユーザに対するツールを囲む領域);その他であることがある。様々な実現形態において、この領域は、ブロック642において検出される姿勢に応じて確立されることがあり、または、以前に確立されていることがある。
ブロック646において、プロセス640は、決定されるワークスペース領域に対するパススルー表示モードを可能にすることができる。上記で論考されたように、パススルーモードは、人工現実環境にある間に、実世界の部分を示すことができる。例えば、外部カメラにより撮影される画像が、人工現実環境内へと送り込まれることがあり、ディスプレイの部分が不能にされ、そのことが、ディスプレイをパススルーする光がユーザにより見られることを可能とすることがあり、ディスプレイの部分が、光がユーザの目に進入することを可能とするように動かされることがあり、その他である。所定の姿勢を検出することを基に、決定されるワークスペース領域に対するパススルーモードを可能にすることにより、ユーザは、人工現実システムのヘッドセットを外すこと、または、パススルーモードを手動で可能にすることを行わなければならないということなしに、ワークスペース領域におけるツールおよび他のオブジェクトと容易にインタラクションすることができる。ユーザが、座位であり、前かがみになるときに、ワークスペース仮想領域に対するパススルーを可能にすることの例が、図7Eに関係して下記で論考される。
図6Fは、座位モードにおいて仮想領域を自動的にカスタマイズするための、一部の実現形態において使用されるプロセス650を例解するフロー線図である。一部の実現形態において、プロセス650は、プロセス500のブロック514のサブプロセスとして遂行されることがある。一部の事例において、プロセス650は、アプリケーションが姿勢モードを変化させること、ユーザ選択、ユーザにおける変化、個別のアプリケーションの開始、その他などの、他のトリガに応じて遂行されることがある。
ブロック652において、プロセス650は、座位姿勢におけるユーザに対する仮想空間に対する領域を自動的に決定することができる。プロセス650は、ユーザに中心を定められる円筒、ユーザの前方の半円筒、直方体、または他のものなどの、領域に対するあらかじめ確立された形状を使用することができる。領域の寸法は、例えば、ユーザ入力により指定されるセッティング、決定されるユーザ指極、ユーザ、もしくは、現在のユーザと同様と識別されるユーザの、全般的な指極に関する統計量、人工現実システムが仮想空間から排除するために識別する実世界オブジェクトの識別、または、人工現実システムが仮想空間内に含めるために識別する仮想オブジェクトの識別に基づいてセットされることがある。例えば、プロセス650は、仮想領域を、ユーザの指極の半分(すなわち、1つの腕の長さ)に等しい半径を伴う、ユーザの前方の半円筒と決定することができる。別の例として、プロセス650は、仮想領域を、その領域におけるすべての実世界オブジェクトを排除する、ユーザの前方の立方体であると決定することができる。一部の実現形態において、決定される仮想領域は、ユーザに提案されることがあり、そのユーザは、手動で、その仮想領域のパラメータを調整する、または、例えば、異なるサイズ、形状、もしくはアクティベーション特徴を伴う、異なる仮想領域を規定することができる。
一部の実現形態において、ユーザの指極は、指極をユーザの高さに等しいようにセットすることにより決定されることがある。一部の事例において、このセッティングは、ユーザの手またはコントローラ場所を識別し、識別される手またはコントローラの距離が、決定される指極を超えて伸長するならば、決定される指極を伸長することに基づいて更新されることがある。他の事例において、指極は、識別される手またはコントローラが、人工現実システムの時間または使用量の数量のしきい値数量の範囲内で、決定される指極まで一度も伸長しないならば、縮められることがある。一部の実現形態において、初期高さ決定によって開始することの代わりに、指極は、これらの手またはコントローラ距離を観測することにより直接的に決定されることがある。一部の実現形態において、指極決定は、ユーザの画像において、ユーザの腕を識別し、身体動きモデル(例えば、キネマティックスケルトンモデル)を使用して、最大の、手が届く範囲を推定することにより、決定または調整されることがある。
ブロック654において、プロセス650は、ブロック652において決定される仮想領域をセットすることができる。様々な実現形態において、この仮想領域は、グローバルに、現在のユーザが識別されるすべての局面に対して、個別のアプリケーションを走らせるときの使用に対して、または、個別のタスクの間じゅうの使用に対してセットされることがある。仮想空間寸法を自動的にセットすることの例が、図7Fに関係して下記で論考される。
図7Aは、ユーザが座位であるときに床高さカスタマイゼーションを可能にするための、一部の実現形態において使用される例700を例解する概念線図である。例700において、仮想空間構成システムは、ユーザ702が座位姿勢にあるということを決定している。応じて、仮想空間構成システムは、ユーザ702が仮想床704の高さを調整するためのオプションを可能にしている。矢印706により示されるように、ユーザ702は、仮想床704の高さを調整するための制御(例えば、人工現実環境において示される仮想制御、コントローラ上の制御、彼女の注視を使用すること、その他)をアクティベーションすることができる。仮想床704の高さは、アプリケーションに、その仮想床704より低くないオブジェクトを配置することを行わせることができる。例700において示されるように、仮想床704を上昇させることにより、ユーザ702は、座位の間、仮想床704上に配置されるオブジェクトがあれば、はるかに容易に手を伸ばすことができる。
図7Bは、アプリケーションが座位使用構成に対するメカニクスを調整することを可能とするためのフラグを使用するための、一部の実現形態において使用される例710を例解する概念線図である。例710において、ユーザ702は、初期には、オブジェクト712A~Eにより包囲されて立位である。仮想空間構成システムが、ユーザ702が今座位であるということの姿勢変化を検出するとき、仮想空間構成システムは、オブジェクト712を制御しているアプリケーションに対してサーフェシングされる、座位フラグをセットする。アプリケーションは、座位ユーザ702の、手が届く範囲内であるように、(矢印714A~Eにより示されるように)オブジェクト712の位置を調整することができる。
図7Cは、ユーザ姿勢に応じて仮想空間境界表示をカスタマイズするための、一部の実現形態において使用される例720を例解する概念線図である。例720は、最初に、立位姿勢におけるユーザ702を示し、その場合、仮想空間722は境界壁を有し、境界壁の一部分が、ユーザ702がその一部分のしきい値距離の範囲内にあるときに出現する。境界壁は、壁上に表示するための、赤グリッドパターン、例えば、線724を生じさせる、仮想空間境界表示モード選択によって構成される。例720の第2の部分において、ユーザ702は、座位姿勢をとっている。この時点において、仮想空間境界表示モードは、ユーザ702のしきい値距離の範囲内の実世界オブジェクトが、パススルーモードにおいて示されるように、仮想空間に対して変化する。例720において、これらのオブジェクトは、どこでそれらのオブジェクトが、もはやユーザ702のしきい値距離の範囲内でないかを示す、線726A~Dにおいて断ち切られる。
図7Dは、座位のみの仮想体験を可能にするための、一部の実現形態において使用される例730を例解する概念線図である。例730において、ユーザ702は、初期には座位位置にあり、一方で、仮想空間構成システムは、座位のみの仮想体験を実行する。ユーザ702が立位姿勢に遷移するとき、仮想空間構成システムは、座位のみの仮想体験を休止し、座位のみの仮想体験は、ユーザ702が座位姿勢に戻るときに再び続くことになるということをユーザ702に告げるメッセージ732を表示する。
図7Eは、座位ワークスペース仮想領域を可能にするための、一部の実現形態において使用される例740を例解する概念線図である。例740において、ユーザ702は、座位直立姿勢にあることにより始まる。矢印742により指示されるように、ユーザ702は、次いで、座位のままでありながら前かがみになる。この座位前かがみ姿勢を検出することに応じて、仮想空間構成システムは、ワークスペース領域744を表示し、その領域は、仮想空間構成システムが、キーボードおよびモニタを内包する、ユーザの前方の机の表面に対応すると識別した領域である。
図7Fは、座位モードにおいて仮想領域を自動的にカスタマイズするための、一部の実現形態において使用される例750を例解する概念線図である。例750は、仮想空間構成システムが、ユーザ702の決定指極に基づいて、ユーザ702の前方の半円筒であるように構成される仮想空間のサイズ752を自動的に決定する、第1の実例を示す。例750は、さらには、仮想空間が、ユーザ702の高さのしきい値の範囲内のユーザ高さを伴う他のユーザにより選択される領域の統計的平均に基づいてセットされる、長さおよび幅寸法754を伴う、ユーザ702の前方の直方体である、第2の実例を示す。
「実現形態」(例えば、「一部の実現形態」、「様々な実現形態」、「1つの実現形態」、「一実現形態」、その他)への、本明細書における言及は、実現形態とのつながりにおいて説明される個別の特徴、構造、または特性が、本発明の少なくとも1つの実現形態に含まれるということを意味する。本明細書における様々な箇所におけるこれらの語句の出現は、必ずしもすべてが、同じ実現形態を指しているのではなく、他の実現形態について相互に排他的な、別個または代替的な実現形態を指しているのでもない。その上、一部の実現形態により呈され、他のものにより呈されないものであり得る、様々な特徴が説明される。同様に、一部の実現形態に対するものであるが、他の実現形態に対するものではない要件であり得る、様々な要件が説明される。
本明細書において使用される際に、しきい値より上であることは、比較対象の項目に対する値が、指定される他の値より上であるということ、比較の最中の項目が、最も大きい値を伴う所定の指定される数の項目の中の1つであるということ、または、比較の最中の項目が、指定される最上位パーセンテージ値の範囲内の値を有するということを意味する。本明細書において使用される際に、しきい値より下であることは、比較の最中の項目に対する値が、指定される他の値より下であるということ、比較の最中の項目が、最も小さい値を伴う所定の指定される数の項目の中の1つであるということ、または、比較の最中の項目が、指定される最下位パーセンテージ値の範囲内の値を有するということを意味する。本明細書において使用される際に、しきい値の範囲内であることは、比較の最中の項目に対する値が、2つの指定される他の値の間であるということ、比較の最中の項目が、中間に指定される数の項目の中の1つであるということ、または、比較の最中の項目が、中間に指定されるパーセンテージレンジの範囲内の値を有するということを意味する。高い、または、重要でない、などの相対的な用語は、別段に定義されないときは、値を割り当て、その値が、確立されるしきい値と比較してどうであるかを決定することと理解されうる。例えば、語句「高速の接続を選択すること」は、接続であって、しきい値より上である、その接続の接続速度に対応して割り当てられる値を有する、接続を選択することを意味すると理解されうる。
本明細書において使用される際に、単語「または」は、項目のセットのいかなる可能性のある置換も指す。例えば、語句「A、B、またはC」は、A;B;C;AおよびB;AおよびC;BおよびC;A、B、およびC;または、AおよびA;B、B、およびC;A、A、B、C、およびC;その他などの任意の項目の複数個、のうちのいずれかなどの、A、B、C、または、それらの任意の組み合わせのうちの少なくとも1つを指す。
本主題は、構造的特徴および/または方法論的行為に特有の文言で説明されたが、添付される特許請求の範囲において定義される本主題は、上記で説明された特定の特徴または行為に必ずしも制限されないということが理解されるべきである。特定の実施形態および実現形態が、例解の目的のために本明細書において説明されたが、様々な修正が、実施形態および実現形態の範囲から逸脱することなくなされることがある。上記で説明された特定の特徴および行為は、後に続く特許請求の範囲を実現することの例形式として開示されている。したがって、実施形態および実現形態は、添付される特許請求の範囲による際を除いて制限されない。
上記で特記されたいずれの特許、特許出願、および他の参考文献も、参照により本明細書に組み込まれる。態様は、必要ならば、上記で説明された様々な参考文献のシステム、機能、および概念を用いて、なおもさらなる実現形態を提供するために修正されることがある。参照により組み込まれる文書における陳述または主題が、本出願の陳述または主題と矛盾するならば、本出願が優先するものとする。
Claims (15)
- ユーザ姿勢に基づいて仮想空間をカスタマイズするための方法であって、
ユーザ姿勢が座位モードに対応するということを決定することと、
前記決定することに応じて、前記仮想空間に対する座位カスタマイゼーションをセットすることであって、
第1の座位カスタマイゼーションを提供することであって、
床高さに対するメトリックを取得することと、
前記床高さに対する前記メトリックに基づいてシステム床高さを調整することと
を含む、第1の座位カスタマイゼーションを提供すること、または、
第2の座位カスタマイゼーションを提供することであって、
座位フラグをセットすることと、
1つもしくは複数のアプリケーションに対して前記座位フラグをサーフェシングすることであって、前記1つもしくは複数のアプリケーションは、前記座位フラグに基づいて動作メカニクスを調整する、前記座位フラグをサーフェシングすることと
を含む、第2の座位カスタマイゼーションを提供すること、または、
第3の座位カスタマイゼーションを提供することであって、
前記仮想空間に対する境界モード選択を受け取ることと、
境界表示事象を検出することと、
選択された前記境界モードに基づいて、
選択された前記境界モードに基づいて構成される境界、もしくは、
前記仮想空間における実世界オブジェクト
を表示することと
を含む、第3の座位カスタマイゼーションを提供すること
による、前記仮想空間に対する座位カスタマイゼーションをセットすることと
を備える、方法。 - 前記座位カスタマイゼーションをセットすることは、前記第1の座位カスタマイゼーションを提供することを備える、請求項1に記載の方法。
- 前記床高さに対する前記メトリックは、
ユーザの決定される立位高さ、
前記ユーザの決定される指極、
前記ユーザが上で座位であるオブジェクトの決定される寸法、または、
それらの任意の組み合わせ
のうちの、1つまたは複数に基づく、請求項1または2に記載の方法。 - 前記床高さに対する前記メトリックは、センサまたはカメラ測定の指示を受け取り、床高さメトリックを生み出すように、以前のユーザ選択に基づいて、訓練される機械学習モデルにより決定される、請求項1から3のいずれか一項に記載の方法。
- 前記床高さに対する前記メトリックは、
ユーザの手のジェスチャ、
コントローラへのユーザ入力、
ユーザ音声指令、
ユーザ注視方向、または、
それらの任意の組み合わせ
のうちの、1つまたは複数により指示される、1つまたは複数の、ユーザによって選択される値である、請求項1から4のいずれか一項に記載の方法。 - 前記座位カスタマイゼーションをセットすることは、前記第2の座位カスタマイゼーションを提供することを備える、請求項1から5のいずれか一項に記載の方法。
- 前記座位カスタマイゼーションをセットすることは、前記第3の座位カスタマイゼーションを提供することを備える、請求項1から6のいずれか一項に記載の方法。
- 前記境界モード選択は、現在のアプリケーションにより提供される、境界モードへの姿勢のマッピングに基づく、請求項1から7のいずれか一項に記載の方法。
- 選択された前記境界モードは、前記表示することが、前記仮想空間における前記実世界オブジェクトの前記表示することであることを引き起こす、パススルーモードである、請求項1から8のいずれか一項に記載の方法。
- 境界表示事象を検出することは、慣性データ、位置データ、カメラ画像データ、ユーザの骨構造のモデル、または、それらの任意の組み合わせのうちの、1つまたは複数を受け取り、前記ユーザが境界と交差することになるかどうかの推定を生み出すように訓練される機械学習モデルを適用することを備える、請求項1から9のいずれか一項に記載の方法。
- コンピューティングシステムにより実行されるときに、ユーザ姿勢に基づいて仮想空間をカスタマイズするための動作を遂行することを前記コンピューティングシステムに行わせる命令を記憶するコンピュータ可読記憶媒体であって、前記動作は、
ユーザ姿勢が座位モードに対応するということを決定することと、
前記ユーザ姿勢が前記座位モードに対応するということを前記決定することに応じて、前記仮想空間に対する座位カスタマイゼーションをセットすることであって、
第1の座位カスタマイゼーションを提供することであって、座位モードに対して構成される仮想体験が進行中である間に、
第2のユーザ姿勢がもはや前記座位モードにないことに対応するということを決定することと、
それに応じて、前記仮想体験に対する応答アクションをトリガすることと
を含む、第1の座位カスタマイゼーションを提供すること、または、
第2の座位カスタマイゼーションを提供することであって、
第2のユーザ姿勢が前かがみに対応するということを決定することと、
ワークスペース領域を決定することと、
仮想環境において、前記ワークスペース領域内にある実世界オブジェクトを表示する表示モードを可能にすることと
を含む、第2の座位カスタマイゼーションを提供すること、または、
第3の座位カスタマイゼーションを提供することであって、
ユーザの身体的特性に基づいて前記仮想空間に対する寸法を自動的に決定することと、
前記決定される寸法に基づいて前記仮想空間を調整することと
を含む、第3の座位カスタマイゼーションを提供すること
による、前記仮想空間に対する座位カスタマイゼーションをセットすることと
を備える、コンピュータ可読記憶媒体。 - 前記座位カスタマイゼーションをセットすることは、前記第1の座位カスタマイゼーションを提供することを備え、好ましくは、前記応答アクションは、
前記仮想体験を自動的に停止もしくは休止すること、
以前の姿勢を再び続けるための、もしくは、現在の姿勢が前記仮想体験に対して推奨されないということの通知を提供すること、
様々な姿勢が保持される時間をロギングすること、
実世界オブジェクトを示す表示モードに切り替えること、
入力モダリティを変化させること、または、
それらの任意の組み合わせのうちの、1つまたは複数を備え、および/あるいは、好ましくは、前記応答アクションは、現在のアプリケーションにより提供される、トリガアクションを個別の姿勢変化にマッピングするマッピングに基づいて選択される、請求項11に記載のコンピュータ可読記憶媒体。 - 前記座位カスタマイゼーションをセットすることは、前記第2の座位カスタマイゼーションを提供することを備え、好ましくは、前記ワークスペース領域は、
ユーザの決定される指極に基づいて規定される領域、
他のユーザにより、以前に手動でセットされたワークスペース領域の平均、
前記ユーザの前方の、内での、平坦な実世界オブジェクトの上部に対応する領域、
1つもしくは複数の指定される実世界ツールを囲んでいると決定される領域、または、
それらの任意の組み合わせ
のうちの、1つまたは複数に基づいて決定される、請求項11または12に記載のコンピュータ可読記憶媒体。 - 前記座位カスタマイゼーションをセットすることは、前記第3の座位カスタマイゼーションを提供することを備え、好ましくは、ユーザの前記身体的特性は、自動的に決定されるユーザ指極を含み、好ましくは、前記ユーザの前記指極は、
初期指極を、決定されるユーザ高さに等しいようにセットすることと、
前記初期指極を、前記決定される指極を超えて伸長するユーザの手またはコントローラ場所を識別することに基づいて更新することと
により自動的に決定される、請求項11から13のいずれか一項に記載のコンピュータ可読記憶媒体。 - ユーザ姿勢に基づいて仮想空間をカスタマイズするためのコンピューティングシステムであって、
1つまたは複数のプロセッサと、
前記1つまたは複数のプロセッサにより実行されるときに、動作を遂行することを前記コンピューティングシステムに行わせる命令を記憶する1つまたは複数のメモリとを備え、前記動作は、
ユーザ姿勢が座位モードに対応するということを決定することと、
前記ユーザ姿勢が前記座位モードに対応するということを前記決定することに応じて、前記仮想空間に対する座位カスタマイゼーションをセットすることであって、
第1の座位カスタマイゼーションを提供することであって、
床高さに対するメトリックを取得することと、
前記床高さに対する前記メトリックに基づいてシステム床高さを調整することと
を含む、第1の座位カスタマイゼーションを提供すること、または、
第2の座位カスタマイゼーションを提供することであって、
座位フラグをセットすることと、
1つもしくは複数のアプリケーションに対して前記座位フラグをサーフェシングすることであって、前記1つもしくは複数のアプリケーションは、前記座位フラグに基づいて動作メカニクスを調整する、前記座位フラグをサーフェシングすることと
を含む、第2の座位カスタマイゼーションを提供すること、または、
第3の座位カスタマイゼーションを提供することであって、
前記仮想空間に対する境界モード選択を受け取ることと、
境界表示事象を検出することと、
選択された前記境界モードに基づいて、境界タイプ、もしくは、前記仮想空間におけるオブジェクトを表示することと
を含む、第3の座位カスタマイゼーションを提供すること、または、
第4の座位カスタマイゼーションを提供することであって、座位モードに対して構成される仮想体験が進行中である間に、
第2のユーザ姿勢がもはや前記座位モードにないことに対応するということを決定することと、
前記仮想体験に対する応答アクションをトリガすることと
を含む、第4の座位カスタマイゼーションを提供すること、または、
第5の座位カスタマイゼーションを提供することであって、
第2のユーザ姿勢が前かがみに対応するということを決定することと、
ワークスペース領域を決定することと、
仮想環境において、前記ワークスペース領域内にある実世界オブジェクトを表示する表示モードを可能にすることと
を含む、第5の座位カスタマイゼーションを提供すること、または、
第6の座位カスタマイゼーションを提供することであって、
ユーザの身体的特性に基づいて前記仮想空間に対するサイズを自動的に決定することと、
前記決定されるサイズに基づいて前記仮想空間を調整することと
を含む、第6の座位カスタマイゼーションを提供すること
のうちの、1つまたは複数による、前記仮想空間に対する座位カスタマイゼーションをセットすることと
を備える、コンピューティングシステム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/705,872 | 2019-12-06 | ||
US16/705,872 US11175730B2 (en) | 2019-12-06 | 2019-12-06 | Posture-based virtual space configurations |
PCT/US2020/058648 WO2021112998A1 (en) | 2019-12-06 | 2020-11-03 | Posture-based virtual space configurations |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023504992A true JP2023504992A (ja) | 2023-02-08 |
Family
ID=73598980
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022521972A Pending JP2023504992A (ja) | 2019-12-06 | 2020-11-03 | 姿勢ベースの仮想空間構成 |
Country Status (6)
Country | Link |
---|---|
US (3) | US11175730B2 (ja) |
EP (1) | EP4070181A1 (ja) |
JP (1) | JP2023504992A (ja) |
KR (1) | KR20220115981A (ja) |
CN (1) | CN115053205A (ja) |
WO (1) | WO2021112998A1 (ja) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20210158400A (ko) * | 2019-06-19 | 2021-12-30 | 엘지전자 주식회사 | 영상 코딩에서 변환 커널 세트를 나타내는 정보의 시그널링 |
US11175730B2 (en) | 2019-12-06 | 2021-11-16 | Facebook Technologies, Llc | Posture-based virtual space configurations |
US11805157B2 (en) * | 2020-05-12 | 2023-10-31 | True Meeting Inc. | Sharing content during a virtual 3D video conference |
WO2021233046A1 (zh) * | 2020-05-20 | 2021-11-25 | 腾讯科技(深圳)有限公司 | 一种碰撞范围确定方法和相关装置 |
US11257280B1 (en) * | 2020-05-28 | 2022-02-22 | Facebook Technologies, Llc | Element-based switching of ray casting rules |
US11256336B2 (en) | 2020-06-29 | 2022-02-22 | Facebook Technologies, Llc | Integration of artificial reality interaction modes |
US11567563B2 (en) * | 2020-07-30 | 2023-01-31 | International Business Machines Corporation | Adapting extended reality applications to user capability and preference |
US11178376B1 (en) | 2020-09-04 | 2021-11-16 | Facebook Technologies, Llc | Metering for display modes in artificial reality |
US20230031871A1 (en) * | 2021-07-29 | 2023-02-02 | Meta Platforms Technologies, Llc | User interface to select field of view of a camera in a smart glass |
CN114359469B (zh) * | 2022-01-07 | 2023-06-09 | 腾讯科技(深圳)有限公司 | 生成主控对象投影的方法、装置、设备及介质 |
US11733531B1 (en) * | 2022-03-16 | 2023-08-22 | GM Global Technology Operations LLC | Active heads up display system |
US20230306689A1 (en) * | 2022-03-25 | 2023-09-28 | At&T Intellectual Property I, L.P. | Aligning metaverse activities with multiple physical environments |
US11886646B2 (en) * | 2022-04-01 | 2024-01-30 | Snap Inc. | Personalized calibration of user interfaces |
US11967216B2 (en) * | 2022-06-13 | 2024-04-23 | Inflight VR Software GmbH | Method, apparatus, and computer-readable medium for implementing an adaptive virtual reality safety system |
Family Cites Families (209)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5914610A (en) * | 1994-02-03 | 1999-06-22 | Massachusetts Institute Of Technology | Apparatus and method for characterizing movement of a mass within a defined space |
US6842175B1 (en) | 1999-04-22 | 2005-01-11 | Fraunhofer Usa, Inc. | Tools for interacting with virtual environments |
US6720863B2 (en) | 2001-08-16 | 2004-04-13 | Wildseed Ltd. | Mobile electronic communication device with lights to indicate received messages |
WO2006020846A2 (en) * | 2004-08-11 | 2006-02-23 | THE GOVERNMENT OF THE UNITED STATES OF AMERICA as represented by THE SECRETARY OF THE NAVY Naval Research Laboratory | Simulated locomotion method and apparatus |
US9052161B2 (en) * | 2005-12-19 | 2015-06-09 | Raydon Corporation | Perspective tracking system |
US7701439B2 (en) | 2006-07-13 | 2010-04-20 | Northrop Grumman Corporation | Gesture recognition simulation system and method |
US8674987B2 (en) | 2006-09-19 | 2014-03-18 | Caustic Graphics, Inc. | Dynamic ray population control |
KR100783552B1 (ko) | 2006-10-11 | 2007-12-07 | 삼성전자주식회사 | 휴대 단말기의 입력 제어 방법 및 장치 |
US8902227B2 (en) * | 2007-09-10 | 2014-12-02 | Sony Computer Entertainment America Llc | Selective interactive mapping of real-world objects to create interactive virtual-world objects |
US9477368B1 (en) | 2009-03-31 | 2016-10-25 | Google Inc. | System and method of indicating the distance or the surface of an image of a geographical object |
US9067097B2 (en) * | 2009-04-10 | 2015-06-30 | Sovoz, Inc. | Virtual locomotion controller apparatus and methods |
US20100306716A1 (en) | 2009-05-29 | 2010-12-02 | Microsoft Corporation | Extending standard gestures |
US20120188279A1 (en) | 2009-09-29 | 2012-07-26 | Kent Demaine | Multi-Sensor Proximity-Based Immersion System and Method |
US9981193B2 (en) | 2009-10-27 | 2018-05-29 | Harmonix Music Systems, Inc. | Movement based recognition and evaluation |
KR101626159B1 (ko) * | 2009-11-25 | 2016-05-31 | 엘지전자 주식회사 | 사용자 적응형 디스플레이 장치 및 디스플레이 방법 |
US8493383B1 (en) | 2009-12-10 | 2013-07-23 | Pixar | Adaptive depth of field sampling |
US9244533B2 (en) * | 2009-12-17 | 2016-01-26 | Microsoft Technology Licensing, Llc | Camera navigation for presentations |
JP2011150876A (ja) | 2010-01-21 | 2011-08-04 | Sony Corp | 組電池および組電池の制御方法 |
US8593402B2 (en) | 2010-04-30 | 2013-11-26 | Verizon Patent And Licensing Inc. | Spatial-input-based cursor projection systems and methods |
US8670029B2 (en) * | 2010-06-16 | 2014-03-11 | Microsoft Corporation | Depth camera illuminator with superluminescent light-emitting diode |
WO2011158511A1 (ja) * | 2010-06-17 | 2011-12-22 | パナソニック株式会社 | 指示入力装置、指示入力方法、プログラム、記録媒体および集積回路 |
US8581844B2 (en) | 2010-06-23 | 2013-11-12 | Google Inc. | Switching between a first operational mode and a second operational mode using a natural motion gesture |
WO2012011263A1 (ja) | 2010-07-20 | 2012-01-26 | パナソニック株式会社 | ジェスチャ入力装置およびジェスチャ入力方法 |
US9213890B2 (en) | 2010-09-17 | 2015-12-15 | Sony Corporation | Gesture recognition system for TV control |
US9821224B2 (en) * | 2010-12-21 | 2017-11-21 | Microsoft Technology Licensing, Llc | Driving simulator control with virtual skeleton |
US8497838B2 (en) | 2011-02-16 | 2013-07-30 | Microsoft Corporation | Push actuation of interface controls |
US8643680B2 (en) | 2011-04-08 | 2014-02-04 | Amazon Technologies, Inc. | Gaze-based content display |
US8811719B2 (en) | 2011-04-29 | 2014-08-19 | Microsoft Corporation | Inferring spatial object descriptions from spatial gestures |
US8831794B2 (en) * | 2011-05-04 | 2014-09-09 | Qualcomm Incorporated | Gesture recognition via an ad-hoc proximity sensor mesh for remotely controlling objects |
JP2012243007A (ja) | 2011-05-18 | 2012-12-10 | Toshiba Corp | 映像表示装置及びそれを用いた映像領域選択方法 |
US11048333B2 (en) | 2011-06-23 | 2021-06-29 | Intel Corporation | System and method for close-range movement tracking |
US8558759B1 (en) | 2011-07-08 | 2013-10-15 | Google Inc. | Hand gestures to signify what is important |
JP5898199B2 (ja) * | 2011-07-15 | 2016-04-06 | パナソニック株式会社 | 姿勢推定装置、姿勢推定方法、および姿勢推定プログラム |
US9965564B2 (en) | 2011-07-26 | 2018-05-08 | Schneider Electric It Corporation | Apparatus and method of displaying hardware status using augmented reality |
US9117274B2 (en) | 2011-08-01 | 2015-08-25 | Fuji Xerox Co., Ltd. | System and method for interactive markerless paper documents in 3D space with mobile cameras and projectors |
AU2011205223C1 (en) * | 2011-08-09 | 2013-03-28 | Microsoft Technology Licensing, Llc | Physical interaction with virtual objects for DRM |
US9292089B1 (en) | 2011-08-24 | 2016-03-22 | Amazon Technologies, Inc. | Gestural object selection |
JP5718197B2 (ja) | 2011-09-14 | 2015-05-13 | 株式会社バンダイナムコゲームス | プログラム及びゲーム装置 |
US8947351B1 (en) | 2011-09-27 | 2015-02-03 | Amazon Technologies, Inc. | Point of view determinations for finger tracking |
JP5581292B2 (ja) | 2011-09-30 | 2014-08-27 | 楽天株式会社 | 検索装置、検索方法、記録媒体、ならびに、プログラム |
JP6121647B2 (ja) | 2011-11-11 | 2017-04-26 | ソニー株式会社 | 情報処理装置、情報処理方法およびプログラム |
US20130125066A1 (en) | 2011-11-14 | 2013-05-16 | Microsoft Corporation | Adaptive Area Cursor |
US20130147793A1 (en) | 2011-12-09 | 2013-06-13 | Seongyeom JEON | Mobile terminal and controlling method thereof |
GB2511973A (en) | 2011-12-27 | 2014-09-17 | Hewlett Packard Development Co | User interface device |
US20130211843A1 (en) | 2012-02-13 | 2013-08-15 | Qualcomm Incorporated | Engagement-dependent gesture recognition |
US20150220150A1 (en) | 2012-02-14 | 2015-08-06 | Google Inc. | Virtual touch user interface system and methods |
US9477303B2 (en) | 2012-04-09 | 2016-10-25 | Intel Corporation | System and method for combining three-dimensional tracking with a three-dimensional display for a user interface |
US9747306B2 (en) * | 2012-05-25 | 2017-08-29 | Atheer, Inc. | Method and apparatus for identifying input features for later recognition |
JP6360050B2 (ja) | 2012-07-13 | 2018-07-18 | ソフトキネティック ソフトウェア | 手の上の特異な注目すべき点を使用した人間−コンピュータ・ジェスチャ・ベース同時相互作用のための方法及びシステム |
US10657694B2 (en) * | 2012-10-15 | 2020-05-19 | Tangible Play, Inc. | Activity surface detection, display and enhancement of a virtual scene |
US9158389B1 (en) * | 2012-10-15 | 2015-10-13 | Tangible Play, Inc. | Virtualization of tangible interface objects |
KR101969318B1 (ko) | 2012-11-05 | 2019-04-17 | 삼성전자주식회사 | 디스플레이장치 및 그 제어방법 |
US9575562B2 (en) | 2012-11-05 | 2017-02-21 | Synaptics Incorporated | User interface systems and methods for managing multiple regions |
CN103871106A (zh) * | 2012-12-14 | 2014-06-18 | 韩国电子通信研究院 | 利用人体模型的虚拟物拟合方法及虚拟物拟合服务系统 |
US9459697B2 (en) * | 2013-01-15 | 2016-10-04 | Leap Motion, Inc. | Dynamic, free-space user interactions for machine control |
US9323343B2 (en) | 2013-01-31 | 2016-04-26 | Panasonic Intellectual Property Corporation Of America | Information processing method and information processing apparatus |
US10133342B2 (en) * | 2013-02-14 | 2018-11-20 | Qualcomm Incorporated | Human-body-gesture-based region and volume selection for HMD |
US9342230B2 (en) * | 2013-03-13 | 2016-05-17 | Microsoft Technology Licensing, Llc | Natural user interface scrolling and targeting |
US9159140B2 (en) * | 2013-03-14 | 2015-10-13 | Microsoft Technology Licensing, Llc | Signal analysis for repetition detection and analysis |
US10220303B1 (en) | 2013-03-15 | 2019-03-05 | Harmonix Music Systems, Inc. | Gesture-based music game |
DE102013207528A1 (de) | 2013-04-25 | 2014-10-30 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren zum Interagieren mit einem auf einer Datenbrille angezeigten Objekt |
US10048760B2 (en) | 2013-05-24 | 2018-08-14 | Atheer, Inc. | Method and apparatus for immersive system interfacing |
US9940750B2 (en) * | 2013-06-27 | 2018-04-10 | Help Lighting, Inc. | System and method for role negotiation in multi-reality environments |
US20150009238A1 (en) | 2013-07-03 | 2015-01-08 | Nvidia Corporation | Method for zooming into and out of an image shown on a display |
WO2015004670A1 (en) | 2013-07-10 | 2015-01-15 | Real View Imaging Ltd. | Three dimensional user interface |
WO2015023787A1 (en) * | 2013-08-13 | 2015-02-19 | Coffey Dane | Computer visualization of anatomical items |
KR20150025114A (ko) | 2013-08-28 | 2015-03-10 | 엘지전자 주식회사 | 증강현실 이미지를 디스플레이하는 포터블 디바이스 및 그 제어 방법 |
US9448689B2 (en) | 2013-08-30 | 2016-09-20 | Paypal, Inc. | Wearable user device enhanced display system |
JP6127839B2 (ja) | 2013-09-02 | 2017-05-17 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
KR102077105B1 (ko) * | 2013-09-03 | 2020-02-13 | 한국전자통신연구원 | 사용자 인터랙션을 위한 디스플레이를 설계하는 장치 및 방법 |
US9630105B2 (en) * | 2013-09-30 | 2017-04-25 | Sony Interactive Entertainment Inc. | Camera based safety mechanisms for users of head mounted displays |
US10168873B1 (en) * | 2013-10-29 | 2019-01-01 | Leap Motion, Inc. | Virtual interactions for machine control |
JP6090140B2 (ja) | 2013-12-11 | 2017-03-08 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
US9891712B2 (en) | 2013-12-16 | 2018-02-13 | Leap Motion, Inc. | User-defined virtual interaction space and manipulation of virtual cameras with vectors |
US10018470B2 (en) | 2013-12-20 | 2018-07-10 | Apple Inc. | Location-based operating modes |
US9622322B2 (en) | 2013-12-23 | 2017-04-11 | Sharp Laboratories Of America, Inc. | Task light based system and gesture control |
US9311718B2 (en) | 2014-01-23 | 2016-04-12 | Microsoft Technology Licensing, Llc | Automated content scrolling |
US20150261659A1 (en) | 2014-03-12 | 2015-09-17 | Bjoern BADER | Usability testing of applications by assessing gesture inputs |
US9677840B2 (en) * | 2014-03-14 | 2017-06-13 | Lineweight Llc | Augmented reality simulator |
US10802582B1 (en) | 2014-04-22 | 2020-10-13 | sigmund lindsay clements | Eye tracker in an augmented reality glasses for eye gaze to input displayed input icons |
US9361732B2 (en) | 2014-05-01 | 2016-06-07 | Microsoft Technology Licensing, Llc | Transitions between body-locked and world-locked augmented reality |
US9526983B2 (en) * | 2014-06-04 | 2016-12-27 | Chih-Feng Lin | Virtual reality avatar traveling control system and virtual reality avatar traveling control method |
US10852838B2 (en) | 2014-06-14 | 2020-12-01 | Magic Leap, Inc. | Methods and systems for creating virtual and augmented reality |
US10451875B2 (en) * | 2014-07-25 | 2019-10-22 | Microsoft Technology Licensing, Llc | Smart transparency for virtual objects |
US9766460B2 (en) * | 2014-07-25 | 2017-09-19 | Microsoft Technology Licensing, Llc | Ground plane adjustment in a virtual reality environment |
US10311638B2 (en) * | 2014-07-25 | 2019-06-04 | Microsoft Technology Licensing, Llc | Anti-trip when immersed in a virtual reality environment |
US10416760B2 (en) | 2014-07-25 | 2019-09-17 | Microsoft Technology Licensing, Llc | Gaze-based object placement within a virtual reality environment |
KR101453815B1 (ko) | 2014-08-01 | 2014-10-22 | 스타십벤딩머신 주식회사 | 사용자의 시점을 고려하여 동작인식하는 인터페이스 제공방법 및 제공장치 |
US9811721B2 (en) * | 2014-08-15 | 2017-11-07 | Apple Inc. | Three-dimensional hand tracking using depth sequences |
KR20160046150A (ko) | 2014-10-20 | 2016-04-28 | 삼성전자주식회사 | 도형 컨텐트를 생성 및 해석하는 방법 및 장치 |
US10043319B2 (en) * | 2014-11-16 | 2018-08-07 | Eonite Perception Inc. | Optimizing head mounted displays for augmented reality |
EP3224694A4 (en) | 2014-11-27 | 2018-09-05 | Erghis Technologies AB | Method and system for gesture based control of device |
US10088971B2 (en) | 2014-12-10 | 2018-10-02 | Microsoft Technology Licensing, Llc | Natural user interface camera calibration |
US9851786B2 (en) * | 2014-12-10 | 2017-12-26 | Sixense Entertainment, Inc. | System and method for assisting a user in remaining in a selected area while the user is in a virtual reality environment |
WO2016099556A1 (en) | 2014-12-19 | 2016-06-23 | Hewlett-Packard Development Company, Lp | 3d visualization |
US10740971B2 (en) | 2015-01-20 | 2020-08-11 | Microsoft Technology Licensing, Llc | Augmented reality field of view object follower |
US10235807B2 (en) * | 2015-01-20 | 2019-03-19 | Microsoft Technology Licensing, Llc | Building holographic content using holographic tools |
US10156721B2 (en) | 2015-03-09 | 2018-12-18 | Microsoft Technology Licensing, Llc | User-based context sensitive hologram reaction |
US9665170B1 (en) | 2015-06-10 | 2017-05-30 | Visionary Vr, Inc. | System and method for presenting virtual reality content to a user based on body posture |
US20160378291A1 (en) | 2015-06-26 | 2016-12-29 | Haworth, Inc. | Object group processing and selection gestures for grouping objects in a collaboration system |
KR101639066B1 (ko) * | 2015-07-14 | 2016-07-13 | 한국과학기술연구원 | 가상 공간에 형성된 가상 모델을 제어하는 방법 및 시스템 |
US10101803B2 (en) | 2015-08-26 | 2018-10-16 | Google Llc | Dynamic switching and merging of head, gesture and touch input in virtual reality |
KR102449838B1 (ko) * | 2015-09-01 | 2022-09-30 | 삼성전자주식회사 | 사용자의 인터랙션에 기초하여 3차원 오브젝트를 처리하는 방법 및 장치 |
KR102179958B1 (ko) * | 2015-09-02 | 2020-11-17 | 삼성전자주식회사 | LFD(large format display) 장치 및 그 제어 방법 |
DE102015115526A1 (de) | 2015-09-15 | 2017-03-16 | Visteon Global Technologies, Inc. | Verfahren zur Zielerfassung von Zielobjekten, insbesondere zur Zielerfassung von Bedienelementen in einem Fahrzeug |
CN113220116A (zh) | 2015-10-20 | 2021-08-06 | 奇跃公司 | 改变可穿戴设备用户输入模式的系统和方法及可穿戴系统 |
US11106273B2 (en) * | 2015-10-30 | 2021-08-31 | Ostendo Technologies, Inc. | System and methods for on-body gestural interfaces and projection displays |
US10248284B2 (en) | 2015-11-16 | 2019-04-02 | Atheer, Inc. | Method and apparatus for interface control with prompt and feedback |
US10776618B2 (en) | 2015-11-19 | 2020-09-15 | Lg Electronics Inc. | Mobile terminal and control method therefor |
CN105657396A (zh) * | 2015-11-26 | 2016-06-08 | 乐视致新电子科技(天津)有限公司 | 一种播放视频的处理方法及装置 |
JP6786792B2 (ja) * | 2015-12-03 | 2020-11-18 | セイコーエプソン株式会社 | 情報処理装置、表示装置、情報処理方法、及び、プログラム |
US10043279B1 (en) * | 2015-12-07 | 2018-08-07 | Apple Inc. | Robust detection and classification of body parts in a depth map |
US9857881B2 (en) | 2015-12-31 | 2018-01-02 | Microsoft Technology Licensing, Llc | Electrical device for hand gestures detection |
JP6362631B2 (ja) * | 2016-01-15 | 2018-07-25 | 株式会社meleap | 画像表示システム、画像表示システムの制御方法、画像配信システムおよびヘッドマウントディスプレイ |
US10067636B2 (en) | 2016-02-09 | 2018-09-04 | Unity IPR ApS | Systems and methods for a virtual reality editor |
US10665020B2 (en) | 2016-02-15 | 2020-05-26 | Meta View, Inc. | Apparatuses, methods and systems for tethering 3-D virtual elements to digital content |
US10181218B1 (en) * | 2016-02-17 | 2019-01-15 | Steelcase Inc. | Virtual affordance sales tool |
WO2017143303A1 (en) | 2016-02-17 | 2017-08-24 | Meta Company | Apparatuses, methods and systems for sharing virtual elements |
JP6765823B2 (ja) * | 2016-02-23 | 2020-10-07 | キヤノン株式会社 | 情報処理装置、情報処理方法、情報処理システム、及びプログラム |
US10665019B2 (en) | 2016-03-24 | 2020-05-26 | Qualcomm Incorporated | Spatial relationships for integration of visual images of physical environment into virtual reality |
KR102551198B1 (ko) | 2016-03-31 | 2023-07-03 | 매직 립, 인코포레이티드 | 포즈들 및 멀티-dof 제어기들을 사용하는 3d 가상 객체들과 상호작용들 |
US10852835B2 (en) | 2016-04-15 | 2020-12-01 | Board Of Regents, The University Of Texas System | Systems, apparatuses and methods for controlling prosthetic devices by gestures and other modalities |
US10019131B2 (en) * | 2016-05-10 | 2018-07-10 | Google Llc | Two-handed object manipulations in virtual reality |
US10545584B2 (en) | 2016-05-17 | 2020-01-28 | Google Llc | Virtual/augmented reality input device |
WO2017207057A1 (en) | 2016-06-02 | 2017-12-07 | Kobil Systems Gmbh | Secure messaging |
US10922894B2 (en) * | 2016-06-06 | 2021-02-16 | Biodigital, Inc. | Methodology and system for mapping a virtual human body |
US10852913B2 (en) | 2016-06-21 | 2020-12-01 | Samsung Electronics Co., Ltd. | Remote hover touch system and method |
US20170372499A1 (en) * | 2016-06-27 | 2017-12-28 | Google Inc. | Generating visual cues related to virtual objects in an augmented and/or virtual reality environment |
US20190258318A1 (en) | 2016-06-28 | 2019-08-22 | Huawei Technologies Co., Ltd. | Terminal for controlling electronic device and processing method thereof |
US10037626B2 (en) * | 2016-06-30 | 2018-07-31 | Microsoft Technology Licensing, Llc | Interaction with virtual objects based on determined restrictions |
CN109478101B (zh) * | 2016-07-22 | 2022-05-03 | 谷歌有限责任公司 | 用于为虚拟现实用户界面检测运动范围的方法和系统 |
US10473935B1 (en) | 2016-08-10 | 2019-11-12 | Meta View, Inc. | Systems and methods to provide views of virtual content in an interactive space |
US10592067B2 (en) * | 2016-08-12 | 2020-03-17 | Boston Scientific Scimed, Inc. | Distributed interactive medical visualization system with primary/secondary interaction features |
US11269480B2 (en) | 2016-08-23 | 2022-03-08 | Reavire, Inc. | Controlling objects using virtual rays |
US10026231B1 (en) * | 2016-09-12 | 2018-07-17 | Meta Company | System and method for providing views of virtual content in an augmented reality environment |
US10617956B2 (en) * | 2016-09-30 | 2020-04-14 | Sony Interactive Entertainment Inc. | Methods for providing interactive content in a virtual reality scene to guide an HMD user to safety within a real world space |
US20180095635A1 (en) | 2016-10-04 | 2018-04-05 | Facebook, Inc. | Controls and Interfaces for User Interactions in Virtual Spaces |
US10809808B2 (en) | 2016-10-14 | 2020-10-20 | Intel Corporation | Gesture-controlled virtual reality systems and methods of controlling the same |
CN107024981B (zh) | 2016-10-26 | 2020-03-20 | 阿里巴巴集团控股有限公司 | 基于虚拟现实的交互方法及装置 |
US10271043B2 (en) | 2016-11-18 | 2019-04-23 | Zspace, Inc. | 3D user interface—360-degree visualization of 2D webpage content |
US10303259B2 (en) * | 2017-04-03 | 2019-05-28 | Youspace, Inc. | Systems and methods for gesture-based interaction |
JP7317369B2 (ja) * | 2017-02-08 | 2023-07-31 | サイバーシューズ・ゲゼルシャフト ミット ベシュレンクター ハフトゥング | 使用者の動きを検出し、当該動きを仮想空間内に反映させる装置 |
US10438393B2 (en) * | 2017-03-16 | 2019-10-08 | Linden Research, Inc. | Virtual reality presentation of body postures of avatars |
US10325184B2 (en) * | 2017-04-12 | 2019-06-18 | Youspace, Inc. | Depth-value classification using forests |
US10321258B2 (en) | 2017-04-19 | 2019-06-11 | Microsoft Technology Licensing, Llc | Emulating spatial perception using virtual echolocation |
AU2018256365A1 (en) | 2017-04-19 | 2019-10-31 | Magic Leap, Inc. | Multimodal task execution and text editing for a wearable system |
US10481755B1 (en) * | 2017-04-28 | 2019-11-19 | Meta View, Inc. | Systems and methods to present virtual content in an interactive space |
WO2018198910A1 (ja) * | 2017-04-28 | 2018-11-01 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置、情報処理装置の制御方法、及びプログラム |
US10417827B2 (en) | 2017-05-04 | 2019-09-17 | Microsoft Technology Licensing, Llc | Syndication of direct and indirect interactions in a computer-mediated reality environment |
US10650544B2 (en) | 2017-06-09 | 2020-05-12 | Sony Interactive Entertainment Inc. | Optimized shadows in a foveated rendering system |
JP2019008351A (ja) | 2017-06-20 | 2019-01-17 | ソニー株式会社 | 情報処理装置、情報処理方法及び記録媒体 |
US10423241B1 (en) * | 2017-07-31 | 2019-09-24 | Amazon Technologies, Inc. | Defining operating areas for virtual reality systems using sensor-equipped operating surfaces |
US20190033989A1 (en) * | 2017-07-31 | 2019-01-31 | Google Inc. | Virtual reality environment boundaries using depth sensors |
GR1009401B (el) * | 2017-08-08 | 2018-11-15 | Δημητριος Ξανθου Γκαϊντατζης | Συσκευη προσομειωσης καθιστης θεσης αναπηρικου αμαξιδιου |
WO2019032967A1 (en) | 2017-08-10 | 2019-02-14 | Google Llc | HAND INTERACTION SENSITIVE TO THE CONTEXT |
US10521944B2 (en) | 2017-08-16 | 2019-12-31 | Microsoft Technology Licensing, Llc | Repositioning user perspectives in virtual reality environments |
DK180470B1 (en) * | 2017-08-31 | 2021-05-06 | Apple Inc | Systems, procedures, and graphical user interfaces for interacting with augmented and virtual reality environments |
US10621784B2 (en) * | 2017-09-29 | 2020-04-14 | Sony Interactive Entertainment America Llc | Venue mapping for virtual reality spectating of live events |
EP3467707B1 (en) | 2017-10-07 | 2024-03-13 | Tata Consultancy Services Limited | System and method for deep learning based hand gesture recognition in first person view |
US20190130655A1 (en) * | 2017-10-30 | 2019-05-02 | Rovi Guides, Inc. | Systems and methods for presentation of augmented reality supplemental content in combination with presentation of media content |
EP3489882A1 (en) * | 2017-11-27 | 2019-05-29 | Nokia Technologies Oy | An apparatus and associated methods for communication between users experiencing virtual reality |
US11380039B2 (en) * | 2017-12-14 | 2022-07-05 | Magic Leap, Inc. | Contextual-based rendering of virtual avatars |
EP3502934A1 (en) * | 2017-12-21 | 2019-06-26 | Quicket GmbH | Methods and systems for generating a representation of a seated person using facial measurements |
US20190213792A1 (en) | 2018-01-11 | 2019-07-11 | Microsoft Technology Licensing, Llc | Providing Body-Anchored Mixed-Reality Experiences |
WO2019143722A1 (en) * | 2018-01-18 | 2019-07-25 | GumGum, Inc. | Augmenting detected regions in image or video data |
DK201870349A1 (en) * | 2018-01-24 | 2019-10-23 | Apple Inc. | Devices, Methods, and Graphical User Interfaces for System-Wide Behavior for 3D Models |
US10657716B2 (en) | 2018-03-07 | 2020-05-19 | California Institute Of Technology | Collaborative augmented reality system |
US11086474B2 (en) | 2018-04-09 | 2021-08-10 | Spatial Systems Inc. | Augmented reality computing environments—mobile device join and load |
US10838574B2 (en) * | 2018-04-09 | 2020-11-17 | Spatial Systems Inc. | Augmented reality computing environments—workspace save and load |
JP7070003B2 (ja) | 2018-04-13 | 2022-05-18 | 京セラドキュメントソリューションズ株式会社 | 表示装置及び画像形成装置 |
US20190340818A1 (en) * | 2018-05-04 | 2019-11-07 | Facebook Technologies, Llc | Display Reorientation in a Virtual Reality Environment |
US11900832B2 (en) * | 2018-05-17 | 2024-02-13 | Gulfstream Aerospace Corporation | Tactile responsive surface for virtual reality training device |
WO2019226691A1 (en) * | 2018-05-22 | 2019-11-28 | Magic Leap, Inc. | Transmodal input fusion for a wearable system |
US11875012B2 (en) | 2018-05-25 | 2024-01-16 | Ultrahaptics IP Two Limited | Throwable interface for augmented reality and virtual reality environments |
US10698206B2 (en) | 2018-05-31 | 2020-06-30 | Renault Innovation Silicon Valley | Three dimensional augmented reality involving a vehicle |
US10948993B2 (en) | 2018-06-07 | 2021-03-16 | Facebook, Inc. | Picture-taking within virtual reality |
GB2575096B (en) * | 2018-06-29 | 2021-12-15 | Sony Interactive Entertainment Inc | Motion restriction system and method |
US10890967B2 (en) | 2018-07-09 | 2021-01-12 | Microsoft Technology Licensing, Llc | Systems and methods for using eye gaze to bend and snap targeting rays for remote interaction |
US10818088B2 (en) * | 2018-07-10 | 2020-10-27 | Curious Company, LLC | Virtual barrier objects |
JP7058198B2 (ja) * | 2018-08-21 | 2022-04-21 | グリー株式会社 | 画像表示システム、画像表示方法及び画像表示プログラム |
US10890653B2 (en) * | 2018-08-22 | 2021-01-12 | Google Llc | Radar-based gesture enhancement for voice interfaces |
US10902678B2 (en) | 2018-09-06 | 2021-01-26 | Curious Company, LLC | Display of hidden information |
US10732725B2 (en) | 2018-09-25 | 2020-08-04 | XRSpace CO., LTD. | Method and apparatus of interactive display based on gesture recognition |
US10942577B2 (en) | 2018-09-26 | 2021-03-09 | Rockwell Automation Technologies, Inc. | Augmented reality interaction techniques |
US10860096B2 (en) | 2018-09-28 | 2020-12-08 | Apple Inc. | Device control using gaze information |
US10901081B2 (en) * | 2018-10-02 | 2021-01-26 | International Business Machines Corporation | Virtual reality safety |
EP3860527A4 (en) * | 2018-10-05 | 2022-06-15 | Facebook Technologies, LLC. | USING NEUROMUSCULAR SIGNALS TO PROVIDE ENHANCED INTERACTIONS WITH PHYSICAL OBJECTS IN AN AUGMENTED REALITY ENVIRONMENT |
US10803314B2 (en) * | 2018-10-10 | 2020-10-13 | Midea Group Co., Ltd. | Method and system for providing remote robotic control |
US11244483B2 (en) * | 2018-10-31 | 2022-02-08 | Facebook Technologies, Llc | Systems and methods for modifying a safety boundary for virtual reality systems |
US20200143598A1 (en) * | 2018-11-02 | 2020-05-07 | Joseph Riordan | Method of generating a virtual design environment |
US11320957B2 (en) * | 2019-01-11 | 2022-05-03 | Microsoft Technology Licensing, Llc | Near interaction mode for far virtual object |
US11294472B2 (en) | 2019-01-11 | 2022-04-05 | Microsoft Technology Licensing, Llc | Augmented two-stage hand gesture input |
US11107265B2 (en) * | 2019-01-11 | 2021-08-31 | Microsoft Technology Licensing, Llc | Holographic palm raycasting for targeting virtual objects |
US11397463B2 (en) | 2019-01-12 | 2022-07-26 | Microsoft Technology Licensing, Llc | Discrete and continuous gestures for enabling hand rays |
EP3686772A1 (en) * | 2019-01-25 | 2020-07-29 | Tata Consultancy Services Limited | On-device classification of fingertip motion patterns into gestures in real-time |
US11137874B2 (en) | 2019-02-22 | 2021-10-05 | Microsoft Technology Licensing, Llc | Ergonomic mixed reality information delivery system for dynamic workflows |
US10824247B1 (en) | 2019-04-03 | 2020-11-03 | Facebook Technologies, Llc | Head-coupled kinematic template matching for predicting 3D ray cursors |
US11017231B2 (en) * | 2019-07-10 | 2021-05-25 | Microsoft Technology Licensing, Llc | Semantically tagged virtual and physical objects |
US10818071B1 (en) | 2019-07-26 | 2020-10-27 | Google Llc | Image-based geometric fusion of multiple depth images using ray casting |
US10943388B1 (en) | 2019-09-06 | 2021-03-09 | Zspace, Inc. | Intelligent stylus beam and assisted probabilistic input to element mapping in 2D and 3D graphical user interfaces |
US11176745B2 (en) * | 2019-09-20 | 2021-11-16 | Facebook Technologies, Llc | Projection casting in virtual environments |
US11170576B2 (en) * | 2019-09-20 | 2021-11-09 | Facebook Technologies, Llc | Progressive display of virtual objects |
US10991163B2 (en) | 2019-09-20 | 2021-04-27 | Facebook Technologies, Llc | Projection casting in virtual environments |
US11189099B2 (en) | 2019-09-20 | 2021-11-30 | Facebook Technologies, Llc | Global and local mode virtual object interactions |
US10802600B1 (en) | 2019-09-20 | 2020-10-13 | Facebook Technologies, Llc | Virtual interactions at a distance |
US11175730B2 (en) | 2019-12-06 | 2021-11-16 | Facebook Technologies, Llc | Posture-based virtual space configurations |
US11256336B2 (en) | 2020-06-29 | 2022-02-22 | Facebook Technologies, Llc | Integration of artificial reality interaction modes |
US11606364B2 (en) * | 2020-09-15 | 2023-03-14 | Meta Platforms Technologies, Llc | Artificial reality collaborative working environments |
US11417054B1 (en) * | 2021-03-17 | 2022-08-16 | Facebook Technologies, Llc. | Mixed reality objects in virtual reality environments |
-
2019
- 2019-12-06 US US16/705,872 patent/US11175730B2/en active Active
-
2020
- 2020-11-03 JP JP2022521972A patent/JP2023504992A/ja active Pending
- 2020-11-03 WO PCT/US2020/058648 patent/WO2021112998A1/en unknown
- 2020-11-03 KR KR1020227023045A patent/KR20220115981A/ko unknown
- 2020-11-03 CN CN202080081235.1A patent/CN115053205A/zh active Pending
- 2020-11-03 EP EP20816021.8A patent/EP4070181A1/en active Pending
-
2021
- 2021-10-13 US US17/500,383 patent/US11609625B2/en active Active
-
2023
- 2023-01-11 US US18/153,035 patent/US11972040B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
EP4070181A1 (en) | 2022-10-12 |
US11972040B2 (en) | 2024-04-30 |
US11175730B2 (en) | 2021-11-16 |
US20220035444A1 (en) | 2022-02-03 |
WO2021112998A1 (en) | 2021-06-10 |
US20230168734A1 (en) | 2023-06-01 |
CN115053205A (zh) | 2022-09-13 |
KR20220115981A (ko) | 2022-08-19 |
US20210173471A1 (en) | 2021-06-10 |
US11609625B2 (en) | 2023-03-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2023504992A (ja) | 姿勢ベースの仮想空間構成 | |
US11334145B2 (en) | Sensory feedback systems and methods for guiding users in virtual reality environments | |
US11810244B2 (en) | Devices, methods, and graphical user interfaces for interacting with three-dimensional environments | |
US11170576B2 (en) | Progressive display of virtual objects | |
US20230186578A1 (en) | Devices, Methods, and Graphical User Interfaces for Interacting with Three-Dimensional Environments | |
KR20230025904A (ko) | 인공 현실 상호작용 모드의 통합 | |
US11294475B1 (en) | Artificial reality multi-modal input switching model | |
WO2023014902A1 (en) | 3d calling affordances | |
TW202314451A (zh) | 在人工實境裝置上釘住之外觀 | |
JP2023554671A (ja) | 仮想現実における部分パススルー | |
JP2021193555A (ja) | レイキャスティング法の要素ベースの切り換え | |
US20230324992A1 (en) | Cursor Placement and Movement Via Artificial Reality Input | |
US20230011453A1 (en) | Artificial Reality Teleportation Via Hand Gestures | |
US20240112414A1 (en) | Mapping a Real-World Room for A Shared Artificial Reality Environment | |
US20230260239A1 (en) | Turning a Two-Dimensional Image into a Skybox | |
US20230324997A1 (en) | Virtual Keyboard Selections Using Multiple Input Modalities | |
US20240029329A1 (en) | Mitigation of Animation Disruption in Artificial Reality | |
WO2024085997A1 (en) | Triggering actions based on detected motions on an artificial reality device | |
WO2024072595A1 (en) | Translating interactions on a two-dimensional interface to an artificial reality experience | |
TW202343384A (zh) | 具有前後攝影機捕捉的行動裝置全像呼叫 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230825 |