JP6356157B2 - Ｈｍｄのための人体ジェスチャーベースの領域および体積の選択 - Google Patents

Ｈｍｄのための人体ジェスチャーベースの領域および体積の選択 Download PDF

Info

Publication number
JP6356157B2
JP6356157B2 JP2015558093A JP2015558093A JP6356157B2 JP 6356157 B2 JP6356157 B2 JP 6356157B2 JP 2015558093 A JP2015558093 A JP 2015558093A JP 2015558093 A JP2015558093 A JP 2015558093A JP 6356157 B2 JP6356157 B2 JP 6356157B2
Authority
JP
Japan
Prior art keywords
roi
hmd
user
displayed
gesture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015558093A
Other languages
English (en)
Other versions
JP2016514298A5 (ja
JP2016514298A (ja
Inventor
アルピト・ミタール
ジュリアーノ・マチョッチ
マイケル・エル・タンマー
ポール・マバット
Original Assignee
クアルコム，インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by クアルコム，インコーポレイテッド filed Critical クアルコム，インコーポレイテッド
Publication of JP2016514298A publication Critical patent/JP2016514298A/ja
Publication of JP2016514298A5 publication Critical patent/JP2016514298A5/ja
Application granted granted Critical
Publication of JP6356157B2 publication Critical patent/JP6356157B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)
  • Telephone Function (AREA)

Description

本開示の態様は、人体ジェスチャーを使用してヘッドマウントディスプレイ(HMD)上の拡張現実(AR)オブジェクトを選択することに関する。
HMDは、ある程度の計算能力が組み込まれるかまたはスマートフォンなどの、HMDに接続されたホストデバイスによって実現される軽量で手ごろなデバイスとして開発することができる。
HMDは、眼鏡フレーム上に取り付けられた1つまたは複数のエゴセントリックカメラを含んでよい。HMDは、光学センサ、加速度計、GPS、ジャイロスコープ、固体コンパス、RFID、およびワイヤレスセンサを含んでもよい。HMDは、ユーザが物理オブジェクトとディスプレイ上の仮想オブジェクトの両方を見ることができるユーザの視界内の透明な表示エリアを有してよい。
HMDは、内蔵カメラを使用してユーザの入力に応じて画像およびビデオを取り込むことができる。従来の方法は、ユーザがHMD上のボタンに触れてユーザの視界内の画像を取り込むことを含む。
ユーザが、ヘッドマウントディスプレイ(HMD)に物理的に触れずにHMD上の1つまたは複数の拡張現実(AR)オブジェクトを選択するのを可能にするいくつかの実施形態について説明する。
いくつかの実施形態では、HMDは、ユーザの少なくとも一方の手によって形成されるジェスチャーに基づいて関心領域(ROI)を定義してよい。続いて、HMDはユーザに対してHMD上に形状を表示してよい。少なくとも1つの構成では、形状はROIを概略的に描く。さらに、HMDは、複数のARオブジェクトをユーザに対して表示してよく、複数のARオブジェクトの各々がROIの内側の目標に関連付けられる。さらに、HMDは、ユーザの少なくとも一方の手の第1の動きに基づいてROIのサイズを縮小し、縮小サイズのROIを形成してよい。少なくとも1つの構成では、縮小サイズのROIを使用して複数のARオブジェクトから特定のARオブジェクトを選択する。1つまたは複数の構成では、ROIのサイズを縮小するための方法は、ユーザの両手を互いに近付けることを含む。さらに、HMDは、解除イベントに基づいて縮小サイズのROIを解除してよい。たとえば、分離イベントは、ユーザの少なくとも一方の手がROIから離れたとき、ユーザの少なくとも1本の指と親指が互いに近付いたとき、またはユーザによってボイスコマンドが発せられたときに生じ得る。
別の構成では、複数のオーグメンテーションが特定のARオブジェクトに関連付けられ、HMDは、特定のARオブジェクトの方向におけるユーザの少なくとも一方の手の第2の動きに基づいて特定のARオブジェクトに関連付けられた複数のオーグメンテーションのうちの対応するオーグメンテーションをユーザに対してさらに表示してよい。
別の構成では、HMDは、縮小サイズのROIの内側のテキストをさらに取り込み、取り込まれたテキストに基づく翻訳を初期設定してよい。HMDは、ROIまたは縮小サイズのROIの自動視覚認識および視覚的探索を実行してもよい。
別の構成では、HMDは縮小サイズを使用して、1人または複数の他のユーザとビデオを共有する間視界を狭くしてよい。
いくつかの実施形態では、拡張現実(AR)オブジェクトを選択するためのヘッドマウントデバイス(HMD)であって、1つまたは複数のプロセッサと、1つまたは複数のプロセッサによって実行されたときに、ユーザの少なくとも一方の手によって形成されるジェスチャーに基づいて関心領域(ROI)を定義することと、ユーザに対してHMD上に形状を表示することであって、形状がROIの輪郭を表すことと、複数のARオブジェクトをユーザに対して表示することであって、複数のARオブジェクトの各々がROIの内側の目標に関連付けられることと、ユーザの少なくとも一方の手の第1の動きに基づいてROIのサイズを縮小し、縮小サイズのROIを形成することであって、縮小サイズのROIが、複数のARオブジェクトから特定のARオブジェクトを選択するために使用されることとをHMDに行わせるコンピュータ可読命令を記憶したメモリとを備えてよい。
いくつかの実施形態では、ヘッドマウントデバイス(HMD)上の拡張現実(AR)オブジェクトを選択するための1つまたは複数のコンピュータ実行可能命令を記憶する1つまたは複数のコンピュータ可読媒体であって、コンピュータ実行可能命令が、実行されたときに、HMDに含まれる1つまたは複数のコンピューティングデバイスに、ユーザの少なくとも一方の手によって形成されるジェスチャーに基づいて関心領域(ROI)を定義することと、ユーザに対してHMD上に形状を表示することであって、形状がROIの輪郭を表すことと、複数のARオブジェクトをユーザに対して表示することであって、複数のARオブジェクトの各々がROIの内側の目標に関連付けられることと、ユーザの少なくとも一方の手の第1の動きに基づいてROIのサイズを縮小し、縮小サイズのROIを形成することであって、縮小サイズのROIが、複数のARオブジェクトから特定のARオブジェクトを選択するために使用されることであって、縮小サイズのROIが、複数のARオブジェクトから特定のARオブジェクトを選択するために使用されることとをHMDに行わせてよいコンピュータ可読媒体。
いくつかの実施形態では、拡張現実(AR)オブジェクトを選択するためのヘッドマウントデバイス(HMD)は、ユーザの少なくとも一方の手によって形成されるジェスチャーに基づいて関心領域(ROI)を定義するための手段と、ユーザに対してHMD上に形状を表示するための手段であって、形状がROIの輪郭を表す手段と、複数のARオブジェクトをユーザに対して表示するための手段であって、複数のARオブジェクトの各々がROIの内側の目標に関連付けられる手段と、ユーザの少なくとも一方の手の第1の動きに基づいてROIのサイズを縮小し、縮小サイズのROIを形成するための手段であって、縮小サイズのROIが、複数のARオブジェクトから特定のARオブジェクトを選択するために使用される手段とを備えてよい。
本開示の態様が例として示される。添付の図面において、同様の参照番号は類似の要素を示す。
1つまたは複数の実施形態を含むことができるHMDの簡略図である。 1つまたは複数の実施形態を含むことができるHMDの簡略図である。 一実施形態による、HMDと対話してAR目標を選択するタッチレス方法について説明するフローチャートを示す図である。 一実施形態による関心領域(ROI)を選択するための方法を示す図である。 一実施形態による関心領域(ROI)を選択するための方法を示す図である。 一実施形態による、HMD上に表示された5つの目標を有するROIを示す図である。 一実施形態による、HMD上に表示された3つの目標を有する縮小ROIを示す図である。 AR目標のためのオーグメンテーションの特定の層を選択するためのフローチャートである。 ユーザが、VOIを使用して目標の方向にスクロールすることによって複数のオーグメンテーションを閲覧している状態を示す図である。 ROIに基づいてスマートアプリケーション(たとえば、翻訳、視覚的探索)を開始するためのフローチャートを示す図である。 1つまたは複数の実施形態が実施され得るコンピューティングシステムの一例を示す図である。
次に、いくつかの例示的な実施形態について、それらの実施形態の一部を形成する添付の図面に関連して説明する。本開示の1つまたは複数の態様が実装され得る特定の実施形態について以下で説明するが、本開示の範囲、または添付の特許請求の範囲の趣旨を逸脱することなく、他の実施形態を使用することができ、かつ様々な変更を行うことができる。
本発明の実施形態は、人体ジェスチャーを使用してヘッドマウントディスプレイ(HMD)上の拡張現実(AR)オブジェクトを選択することを対象とする。いくつかの実施形態は、ユーザが、ヘッドマウントディスプレイ(HMD)に物理的に触れずにHMD上の1つまたは複数の拡張現実(AR)オブジェクトを選択するのを可能にするいくつかの実施形態について説明する。
HMDは、ユーザが見ている物理オブジェクトに、たとえば、その物理オブジェクトに関連付けられるか、またはユーザの位置および/もしくはコンテキストに関連付けられるデジタルコンテンツ(たとえば、テキスト、ピクチャ、ビデオ)を重ねることによって、「拡張現実」機能を提供することができる。たとえば、拡張現実(AR)機能を有するHMDは、物質界と仮想オブジェクトの両方の画像をユーザの視界に重ねることができる。その結果、HMDは、ユーザに対して移動可能でコラボラティブなARエクスペリエンスを実現することができる。
本明細書で使用するHMDという用語は、距離センサデータをキャプチャし、モバイルプロセッサにリンクされたディスプレイ能力を有するデバイスを指し、モバイルプロセッサは、ヘッドマウントデバイスに対して別個のデバイスであってもよい。一実施形態では、HMD120は、モバイルデバイスCPU(たとえば、セル電話、タブレットコンピュータ、スマートフォンなどのプロセッサ)のためのアクセサリーであってもよく、ヘッドマウントデバイス制御システムの主要な処理は、モバイルデバイスのプロセッサ上で実行される。別の実施形態では、HMD120は、プロセッサと、メモリと、ディスプレイと、カメラとを備え得る。
別の実施形態では、HMDは、インターネット、ローカルワイヤレスネットワーク、または別のコンピューティングデバイスと接続するための、ワイヤレスインターフェースを含み得る。別の実施形態では、プロジェクタがHMD内で関連付けられて、表面上への画像の投影が可能にされ得る。HMDは、好ましくは軽量であり、デバイスの装着を不快に感じさせ得る重い構成要素の使用を回避するように構築される。HMDはまた、音声/ジェスチャー入力をユーザから受信するようにも動作可能であり得る。そのようなジェスチャー入力または音声入力は、口頭のボイスコマンドまたは認識されたユーザジェスチャーであってもよく、コンピューティングデバイスによって認識されるとき、対応するコマンドをそのデバイスに実行させることができる。
拡張現実(AR)は、要素が、限定はしないが、音声、テキスト、グラフィックス、ビデオ、およびGPSデータなどのコンピュータ生成されたセンサ入力によって拡張された、物理的な実世界環境のライブビューまたは直接的もしくは間接的なビューであってよい。
オブジェクト認識などのAR技術を使用することによって、ユーザの周囲の実世界に関する情報がインタラクティブになり、デジタルに処理可能になる。ユーザの環境およびそのオブジェクトに関する人工的な情報を実世界にオーバレイされてよい。
さらに、本明細書では実施形態がHMDに関して記載されるが、ヘッドマウントディスプレイの他の形態を利用できることを、当業者は諒解されよう。たとえば、本明細書に記載される実施形態は、ユーザが装着することができる1つもしくは複数のコンタクトレンズに関して実装され、かつ/または、それを通してユーザが視界を認知できる別の形態のディスプレイに実装される場合がある。
いくつかの実施形態は、HMDと対話してジオロケーションが特定された関心点(POI)およびAR目標を選択するのを可能にする。システムは、自然な人体ジェスチャーを検出することによって、眼鏡を通して見られているROI内のPOIまたはAR目標のサブセットを選択するようにHMDをトリガすることができる。
様々な実施形態は、拡張現実システムにおけるAR目標を選択する方法であって、1つまたは複数のヘッドマウントセンサによって空間データを取り込むことによってユーザのジェスチャーに基づいてROIを定義することと、ROIの輪郭を表す形状をHMDのディスプレイ上に表示することと、AR目標に対応するHMDに対する距離を含むパラメータを計算することと、ROI内に複数のAR目標を表示することと、ユーザの手の動きに基づいてROIのサイズを縮小し、縮小されたROIを使用して特定のAR目標を選択することとを含む方法を含む。一実施形態では、この方法は、ユーザがユーザの頭部を回転させたときに仮想オブジェクトがディスプレイに固定されたように見えるように、生成される仮想オブジェクトの表示を連続的に更新することを含んでよい。
図1Aおよび図1Bは、1つまたは複数の実施形態を組み込んでよいHMD120の概略図を示す。
図2によって示されるフローチャートは、一実施形態による、HMDと対話してジオロケーションが特定されたPOI(関心点)およびAR目標を選択するタッチレス方法について説明する図である。HMDは、自然な人体ジェスチャーを検出することによって、眼鏡を通して見られているPOIまたはAR目標のサブセットを選択することができる。図3Aは、HMDと対話して、図2において説明する方法を使用してARオブジェクトを選択する例示的な方法を示す。ジェスチャーには、図3Aおよび図4に示すように両手の人差し指および親指を直交方向に向けることを含めてよい。HMDによってROIが認識された後、ユーザは、図3B、図5、および図7に示すように、ROIまたは関心体積(VOI)をさらに指定することによって、2次元空間または3次元空間内のジオロケーションが特定されたPOIまたはAR目標を選択してよい。
別の実施形態によれば、ARオブジェクトに複数のオーグメンテーションが関連付けられているときに、HMD上のデプス対応カメラ(たとえば、ステレオカメラ)を使用して、VOIを使用してオーグメンテーションを選択してよい。デプス対応カメラは、ユーザの正面またはカメラビュー内の手の動きを認識することができる。このようなカメラを用いた場合、HMDは、目標に対するユーザの手の位置を認識し、したがって、位置に基づいて様々なオーグメンテーションを表示してよい。
たとえば、ユーザは、図6によって示されるフローチャートでさらに説明するように、AR目標用の特定のオーグメンテーション層を選択してよい。まず、ユーザは、ROIを選択することによって特定のAR目標を選択してよい。さらに、所与のAR目標に複数のオーグメンテーションが関連付けられている場合、ユーザは、VOIを使用して目標の方向にスクロールすることによってオーグメンテーションを閲覧してよい。たとえば、図7において、映画のポスター720の場合、ユーザは、映画の名称とレビュー、予告編、およびその映画に関連する上映時間を示す3つの異なるオーグメンテーション705、710、715を閲覧してよい。手の位置に応じて、対応するARオーグメンテーションがユーザに示される。
別の実施形態によれば、システムは、図8によって示されるフローチャートでさらに説明するようにROIに基づいてスマートアプリケーション(たとえば、翻訳、視覚的探索)を開始してよい。たとえば、ROIは、視覚的探索システムまたは光学文字認識(OCR)ベースのトランスレータに供給されてよく、結果がHMD上に表示される。
別の実施形態によれば、ROIを利用してビデオシェアリングのために視界を狭くしてよい。たとえば、ROIは、ビデオベースの通信のために共有ビューとして扱われ、それによって、視界の一部のみ(たとえば、プレゼンテーション、ドキュメント)が遠隔ユーザと共有される。
ハンドジェスチャーを使用した関心領域の定義
図1Aは、一実施形態による、ユーザのジェスチャーに基づいて関心領域(ROI)を定義するように構成されたHMD120の簡略図100である。この実施形態では、ユーザ110によって装着されたHMD120は、ROIを定義するためにユーザの手130を追跡するように構成されたカメラおよび/または他のセンサを有する。HMD120はこうする際に、HMD120のディスプレイ140上にROIの輪郭を表す形状を表示することができる。これによって、ユーザは、リアルタイムフィードバックを与えて必要に応じてROIを調整し、ユーザ入力を受信するための別個のインターフェース(たとえば、タッチパッド、ボタン)を不要にすることができる。必要な機能に応じて、他のインターフェースをHMD120に組み込んでよい。HMD120は、プレインストールされた1つまたは複数のカメラ150を利用してユーザの手130を追跡しROIを判定してよい。
図1Bは、本明細書で提供される技法を利用できるHMD120の一実施形態の図である。示された実施形態は、ディスプレイ140と、1つまたは複数のカメラ150とを含む。この実施形態は、ユーザ110の鼻と耳に載ることができる眼鏡と同様のフレームを含み、ディスプレイ140をユーザの眼の前面に配置する。
様々な実施形態は、HMD120がHMD120上のセンサを使用してユーザの手130のジェスチャーを取り込むのを可能にする。一実施形態では、このカメラ150は、ヘッドマウントカメラであってもよく、プロセッサが画像の三角法による解析を通して画像内のオブジェクトまでの距離を推定するように解析することができる画像データを生成することができる。代替的にまたは追加として、HMD120は、画像内の様々な表面までの距離を測定することができる、1つまたは複数の距離測定センサ(たとえば、レーザーまたは音波距離計)を含み得る。様々な実施形態では、多種多様なタイプの距離測定センサおよびアルゴリズムが、ユーザ110によって見られるシーン内のオブジェクトまでの距離を測定するために、測定すべき撮像されたシーンにおいて使用され得る。また、2つ以上のセンサおよび2つ以上のタイプのセンサが、HMD120において使用され得る。
さらに、HMD120は、加速度計、ジャイロスコープ、磁気センサ、光学センサ、機械的または電子的レベルセンサ、および慣性センサなど、向きセンサを含んでもよく、これらのセンサは、単体または組合せで、(たとえば、重力の向きを検知することによって)デバイスの上/下/レベルの向きに関して、および、したがって、ユーザの頭の(および、その眺める視点からの)位置/向きに関して、データをデバイスのプロセッサに供給することができる。さらに、HMD120は、左/右の向きおよび動きに関して、データをデバイスのプロセッサに供給することができる、電子コンパスおよび加速度計などの回転向きセンサを含み得る。全体として、センサ(加速度計、ジャイロスコープ、磁気センサ、光学センサ、機械的または電子的レベルセンサ、慣性センサ、および電子コンパスを含む)はHMD120(および、したがって、ユーザの眺める視点)の上/下および回転の向きに関するデータを供給するように構成される。
HMD120は、カメラによって撮像することのできるジェスチャーによるユーザ入力を認識するように構成されてよい。画像内の認識されたオブジェクトまでの距離は、取り込まれた画像および/または距離センサから収集されたデータから決定され得る。HMD120は、スマートフォンまたは他のモバイルデバイスにおけるものなど、HMD120とは別個であり得るモバイルプロセッサに画像および距離センサデータを供給し、モバイルプロセッサからディスプレイ情報を受信することができる。
ディスプレイ140の少なくとも一部分は透明であり、ユーザがディスプレイ140に示される画像だけでなく、ユーザの周囲の物理オブジェクトも見ることを可能にする透明な表示エリアを提供する。ディスプレイ140上に示される画像の透明度は、ディスプレイ140の必要な機能、ディスプレイ140に示されるGUIの設定、および/またはHMD120によって実行されるソフトウェアアプリケーション(たとえば、ビデオ、地図、インターネットブラウザ)に応じて変化する場合がある。図1Aおよび図1Bに示された実施形態は、眼鏡のようなフレーム内に配置されたディスプレイ140を示すが、透明な表示エリアを提供することが可能な他の技法(たとえば、網膜プロジェクタまたは他の光学システム)を、他の実施形態で利用することができる。
さらに、カメラ150(外向きのカメラ)は、ユーザの手130および/またはHMD120に入力を提供するためにユーザ110によって制御できる他のオブジェクトを含む、ユーザの周囲の画像を取り込むことができる。カメラは、画像および/またはその他の情報を、HMD120がユーザの正面の物理的オブジェクトを追跡するのを可能にする処理ユニットに供給する他の種類のセンサを含んでよい。一実施形態では、HMD120はデプスを求めることのできるカメラ150(たとえば、ステレオカメラ)を使用してオブジェクトのデプスも追跡することができる。一実施形態によれば、図7に示すように、VOIを使用して複数のオーグメンテーションを表示するときにデプスカメラを利用してよい。
カメラ150は、ユーザの視点から透明な表示エリア内に見えるオブジェクト(たとえば、手のジェスチャー)をHMD120が追跡することを可能にする視界を有することができる。実施形態は、物理オブジェクトがユーザ110の視点から透明な表示エリア内にないとき、低電力モードに切り替えることができる。いくつかの実施形態では、(ユーザ110の視点から)物理オブジェクトが透明な表示エリアに近付いているとHMD120が判断したとき、HMD120がオブジェクト追跡アルゴリズムの実行および/または拡大を開始することを可能にするために、カメラ150は透明な表示エリアよりも広い視界を有することができる。
複数のAR目標からの特定のAR目標の選択
図2は、ヘッドマウントディスプレイ(HMD)上の拡張現実(AR)オブジェクトを選択する方法200の一実施形態を示す流れ図である。ブロック205において、HMDはユーザのジェスチャーに基づいて関心領域(ROI)を定義する。
検出アルゴリズムを使用してユーザのジェスチャーを検出してよい。HMDは、ユーザの所定のジェスチャーを検出し、ユーザのジェスチャーに基づいてROIを定義してよい。たとえば、ユーザのジェスチャーでは、図3Aおよび図3Bに示すように、両手の人差し指と親指を直交方向に向けて矩形形状を作成してよい。他の例では、ユーザのジェスチャーには、こぶし、広げた手、指さし、手の回転、手を振ること、1本または複数の指の動き、およびそれらの任意の組合せを含めてよい。
さらに、別の実施形態によれば、以後のユーザジェスチャーは、ROIが定義された後で行われてよい。たとえば、ジェスチャーには、ユーザの両手を互いに遠ざけたり近付けたりしてROIのサイズを変更することを含めてよい。他の例では、以後のユーザジェスチャーに、写真を撮るためのタップジェスチャー、ARオブジェクトを画面を横切るように案内するためのプッシュジェスチャー、ARオブジェクトを移動させるためのフリックジェスチャー、ARオブジェクトを回転させるためのターンジェスチャー、ズーム動作のためのグラブ/プルジェスチャー、媒体をスクロールするためのスワイプジェスチャーを含めてよい。
上記のように、透明な表示エリアは、ユーザがディスプレイに示された画像ならびにユーザの周囲の物理オブジェクトを見ることが可能になるように構成された、HMD120のディスプレイおよび/または表示手段の少なくとも一部分であり得る。ユーザは、ユーザの手のジェスチャーに基づいてROIを選択してよい。図3Aは、HMD120がROIをどのように特定するかをさらに示す。
ブロック210において、透明な表示エリア内にROIを概略的に示す形状が定義され、ユーザに対して表示される。形状は、たとえば、HMD120上にROIの輪郭を表す矩形オーバレイであってよい。形状は、ROIのロケーションの視覚的フィードバックをユーザに与えることができる。形状自体は、透明な表示エリア内で強調表示および/または別の方法で指示されてもまたはされなくてもよい。形状を定義することは、たとえば、HMDに組み込まれ、かつ/またはHMDと通信可能に結合されたコンピューティングシステムの一部であり得る、処理ユニット、メモリ、および/または他の計算手段によって実行される場合がある。形状は、表示要素、たとえば、表示画面の縁部から延びるように表示されてよい。その上、以下でより詳細に説明するように、形状は、ARまたは他のソフトウェアアプリケーション内の対話型要素、デジタルコンテンツ、および/または物理オブジェクトに関連付けられる場合がある。そのような形状は、たとえば、ユーザが物理オブジェクトに対して移動するにつれて、サイズ、形状、および表示エリア内の位置が変化する場合がある。その結果、選択されたオブジェクトに関連付けされた形状を示す強調表示は常に表示されてもされなくてもよい。
様々な実施形態は、HMD120が、ディスプレイ140上にROIの輪郭を表す仮想形成をレンダリングするのを可能にする。これによって、HMD120は、コンピューティングデバイスとの対話およびリアルタイムコラボレーションおよびユーザからのフィードバックを容易にすることのできる拡張現実エクスペリエンスを実現することができる。
いくつかの実施形態では、HMD120は、認識されたジェスチャーをHMD120上でタスクを実行するための入力コマンドとして処理してよい。方法は、各動作を実行するようにプロセッサ実行可能命令によって構成されたプロセッサを有するコンピューティングデバイス内で実施され得る。プロセッサは、HMD120の向きに関するセンサデータを受信することによって、動作を開始することができる。さらに、プロセッサは、カメラ150からの画像データ、ならびに、上記で説明したHMD120中に含まれる他のセンサからのデータを受信することができる。したがって、プロセッサは、カメラ150の視界内の画像および表面までの距離に関して、HMD120によって収集されたすべての情報を取得することができる。プロセッサは、画像内のオブジェクトの距離および向きデータを計算することができる。これらの計算では、画像がブロックで供給されるときにはよく知られている三角法を使用し、距離データを供給するために距離センサが使用されるときには直接測定値を使用することができ、かつセンサから取得された距離情報と画像から計算された距離情報との組合せを使用することができる。さらに、プロセッサは、距離センサデータ、カメラデータ、ならびに、距離および向きデータを使用して、画像を処理することができる。
さらに、ある時間間隔にわたってユーザの手130を追跡して、所定のジェスチャーが認識されるかどうかを判定することができる。この判定において、プロセッサは、いずれかのジェスチャーが、視界内で認識されるかどうかを判定することができる。ジェスチャーが認識される場合、プロセッサは、認識されたジェスチャーをHMD120のメモリに記憶された入力コマンドと実質的に照合してよい。プロセッサは、認識されたジェスチャーに対応する入力コマンドを実行することができる。
一実施形態によれば、ROIが特定された後、ピクチャおよび/またはビデオは、ユーザ110がROIを解除したときにROIの内側の画像を取り込んでよい。たとえば、ユーザが、写真を撮るポーズなど、ROIの輪郭を表す形状を受信した後手のジェスチャーを引き続き維持する場合、HMD120は、ユーザがROIを解除した後にROIによって概略的に表される画像を取り込むようにセットアップしてよい。解除イベントの一例は、ユーザの手がROIから迅速に離れるイベントであってよい。したがって、従来のHMDとは異なり、ユーザは、写真を撮るために従来のHMD上のボタンに実際に触れる必要はない。
別の実施形態によれば、HMD120は、一定のバッファサイズのビデオを取り込んでよい。この例では、ジェスチャーメカニズムは、直前の所定の持続時間(たとえば、30秒)に得られたすべてのフレームを保存することをHMDに指示するために使用されてよい。たとえば、HMD120を装着しているユーザが、海でクジラがジャンプしているのを見て、音声によってHMD120に過去30秒間を記録するように要求することがある。したがって、HMD120は、フレームをバッファする機能を有してよく、認識されたジェスチャーまたはボイスコマンドに基づいて、これらのフレームをメモリに記憶してよい。
ブロック215において、ROIが認識された後、HMD120は、ROIの内側の目標に関連付けられた複数のARオブジェクト(たとえば、図4のRita's Fashion 405)をユーザ110に対して表示する。さらに、ユーザがROIまたはユーザの視界を移動させるにつれて最初にROIの内側にある目標を追跡することができる。追跡するための手段は、画像および/または位置測定値を取り込むように構成され、処理ユニット、メモリ、および/または画像および/または位置測定値に基づいて位置を特定するように構成された他の計算手段と通信可能に結合された、カメラ、センサ、および/または他の構成要素によって実行することができる。目標を追跡するための構成要素は、透明な表示エリア内に画像を表示するための構成要素で較正することができ、ユーザが見るものをHMDが判断することが可能になる。
追跡手段は、様々な追跡アルゴリズムのうちのいずれかと連動する場合がある。特定の追跡アルゴリズムは、単一のポイント(たとえば、透明な表示エリア上の座標)、および/またはオブジェクトに関連付けられた領域、および/またはオブジェクト上の位置(たとえば、ユーザの手)を単に追跡することができる。より高度な追跡アルゴリズムは、オブジェクトの距離などの他の特徴を追跡してよい。実施形態は、AR対話用の複数の目標および/または異なる目標を追跡することが可能であり得る。
ブロック215を使用して複数のARオブジェクトがユーザに対して表示された後、ユーザが、選択されたオブジェクトをさらに操作するために、ブロック220において説明したように、特定のARオブジェクトを選択することを望むことがある。
たとえば、ユーザがHMDを装着していると、複数のARオブジェクトに関連付けされた広告およびバナーがポップアップすることがある。すべての機能が同時に活動化された場合、ユーザの気が散りユーザにとって迷惑になる可能性がある。ユーザは、ROIのサイズを縮小することによって、対話するARオブジェクトの数を減らしてよい。
ブロック220において、ユーザは、図3Aおよび図3Bにさらに示すように、ユーザの手の動きに基づいてROIのサイズを縮小または拡大してよい。ユーザ110は、リアルタイムユーザフィードバックを使用してROIを操作することによって、特定のARオブジェクトを選択してよい。ここで再び、ROIのサイズを縮小または拡大するための手段は、処理ユニット、メモリ、および/またはROIを示すディスプレイに結合された他の計算手段を含むことができる。
ブロック225において、HMD120は、ブロック220において得られた縮小サイズのROIを使用して、ブロック215における複数のARオブジェクトから特定のARオブジェクトを選択する。たとえば、Qualcomm's Vuforiaを使用して、HMD120によってHMDディスプレイ140上にARオブジェクトを表示してよい。
拡張現実機能は、ユーザがユーザの周囲についてより多く学ぶことを可能にする無数のシナリオで使用することができる。たとえば、後で図6および図7において説明するように、HMD120は、ARが関連付けられた映画のポスターを認識してよく、別の手のジェスチャーによって活動化することのできる仮想「予告編再生」ボタンを表示してよい。無数の他のシナリオが考えられる。したがって、本明細書に提示された技法は拡張現実シナリオに拡張されてよく、ユーザの視点からの、選択されたオブジェクトに対するデジタルコンテンツの要素との対話が可能になる。これらの対話型要素はユーザの周囲の選択されたオブジェクトに結合されるので、HMDのディスプレイ140上の対応するROIは、選択されたオブジェクトの位置に対して、移動し、スケール変更することができる。さらに、いくつかの実施形態によれば、次に、図6および図8において説明した方法を使用して、選択されたARオブジェクトをさらに操作してよい。
ARプラットフォームの一例は、Qualcomm Vuforia拡張現実プラットフォームであり、ユーザが拡張現実を使用することによって目標を選択した後HMDおよび/またはモバイルデバイスのディスプレイ140に情報を供給することができる。たとえば、Vuforiaのコンピュータビジョン機能は、様々な2D視覚目標および3D視覚目標を認識し、認識された目標に関連付けされたARを表示することができる。したがって、ユーザは、実世界目標を選択してよく、選択された目標に関連付けされたARがHMD120のディスプレイ140上に表示されてよい。いくつかの例では、広告が印刷されたページから飛び出すか、または小売店の棚で製品パッケージが活動状態になることがある。さらに、製品自体が対話性を向上させ命令を下すことがある。
したがって、ARは印刷媒体および広告、消費者製品およびパッケージ、ならびに教材の価値を上げることができる。ブロック225において選択された目標に関連付けられたARは、実世界対話性を有効化することができる。たとえば、ARは印刷された広告、製品、およびパッケージに小売環境において関連付けられてよい。
図2に示された特定のステップが、ユーザとHMD120との対話を可能にする方法200の一例であることを諒解されたい。代替的な実施形態は、図示されている実施形態に対する代替形態を含む場合がある。たとえば、代替実施形態は、透明な表示エリア内に形状を定義することと、ROIの輪郭を表す形状を表示することと、方法200の間の様々な時点にARを表示することとを含んでよい。さらに他の実施形態は、ROIの定義を較正するためのアクションを実行すること、形状を表示することと、HMD120の表示構成要素によって構成要素を追跡することとを含んでよい。さらに、具体的な用途に応じて、追加の特徴が追加、削除、または合成される場合がある。当業者は、多くの変形、修正、および代替を認識するはずである。
ユーザのジェスチャーに基づくROIの定義
図3Aおよび図3Bは、HMDと対話して特定のARオブジェクト320を選択するタッチレス方法を示す。HMD120は、自然な人体ジェスチャーを検出することによって、眼鏡を通して見られている画像またはビデオを取り込むようにトリガされてよい。図3Aに示すように、指と親指が縁部に位置することによって矩形が形成されるように両手が配置される。この矩形の内側の領域は、ユーザ110の関心領域(ROI)と見なされてよい。
図3Aは、上記のブロック205において説明したように、ユーザのジェスチャーに基づいてROI305を定義するための方法を示す。たとえば、ジェスチャーには、両手の人差し指350と親指355を直交方向に向けることを含めてよい。
図3Aに示すように、ジェスチャーには、両手の人差し指と親指を直交方向に向けて矩形形状を作成することを含めてよい。一例では、ジェスチャーには親指355と各指360を使用してC字形を形成することを含めてよい。他の例では、ジェスチャーには、こぶし、広げた手、指さし、手の回転、手を振ること、1本または複数の指の動き、およびそれらの任意の組合せを含めてよい。
図3Bは、ROI305のサイズを縮小または拡大して特定のARオブジェクト320を選択するための方法を示す。たとえば、ジェスチャーには、両手の隙間を狭くしてROIのサイズを縮小することを含めてよい。たとえば、ジェスチャーには、両手の隙間を広げてROIのサイズを拡大することを含めてよい。
他の実施形態によれば、ROIが定義された後、ユーザは、以後のユーザのジェスチャーを使用してROIの内側のARオブジェクトを操作してよい。たとえば、ジェスチャーには、ユーザの両手を互いに遠ざけたり近付けたりしてROIのサイズを変更することを含めてよい。他の例では、以後のユーザジェスチャーには、写真を撮るためのタップジェスチャー、ARオブジェクトを画面を横切るように案内するためのプッシュジェスチャー、ARオブジェクトを移動させるためのフリックジェスチャー、ARオブジェクトを回転させるためのターンジェスチャー、ズーム動作のためのグラブ/プルジェスチャー、媒体をスクロールするためのスワイプジェスチャー、およびそれらの任意の組合せを含めてよい。
HMD120は、ユーザの手130を追跡してよく、ユーザ110が対話しROI305を定義するのを可能にする。たとえば、ユーザは、ユーザの手130を動かして矩形を形成すること、写真を撮るポーズをとること、所定の動きを行うこと、または手の形状を要素に近接する位置にしきい値時間の間維持することなど、様々な方法でジェスチャーを行ってよい。
写真を撮るポーズをとる例では、ユーザ110が両手を使用して2つのC字形を作成する。しかしながら、写真を撮るポーズでは、両手を互いに水平方向に離すことのみでき、対角方向に離すことはできず、したがって、ROIのサイズを変更してもより大きい矩形領域を再定義することはできず、より幅の広い矩形領域のみ再定義することができる。
別の実施形態では、ROIは、基準としてL字形にされた一方の手に基づいてよく、ROIは、カメラビューの中心とユーザの手130との間の距離に応じて変化する。この例では、HMD120内のユーザの視界および手によって定義される「L」の角部がどこに位置するかを使用してROIを定義してよい。HMD120からのフィードバックは、ディスプレイ140の中心を示す小さい赤い点、およびROIの境界がどこであるかを示す矩形であってよい。ROIは、中心視界に対するユーザの手130に応じて拡大することもまたは縮小することもできる。
HMD120は、ジェスチャーの選択を認識した後、ユーザに対してHMD上に形状315を表示してよい。形状315(たとえば、矩形オーバレイ)はROI305を概略的に表してよい。ユーザは、手を内側または外側に動かすことによってROI305をリアルタイムに調整してよい。所望の機能に応じて、一方の手のみを使用する場合、HMD120上に表示される形状は、ディスプレイ上の点(たとえば、ディスプレイの中央の点)に固定されてよく、それによって、ユーザはそれに応じて、両手によって形状の境界の輪郭を表す必要なしに形状を調整することができる。
たとえば、HMD120は、指の先端または両手の形状によって形成される輪郭を追跡することによってROI305(たとえば、矩形)を特定する。ROI305が検出された後、HMD120は、上記のブロック210において説明したように、形状315のオーバレイされた投影としてHMD120眼鏡上に表示する。次いで、ユーザは、図3Bに示すようにROIを解除する前に両手を動かすことによって、上記のブロック220において説明したようにROIのサイズを調整してよい。
図3Bは、選択されたROIをリアルタイムユーザ入力に基づいてどのように調整できるかを示す。たとえば、ROI305は最初、図3Aにおいてユーザによって選択される。図3Bでは、両手を互いに近付けるかまたは遠ざけることによって、ARオブジェクト320が選択されてよい。オブジェクト認識技法を使用するHMDは、ROI305がユーザの手の動きに基づいて縮小するかまたは拡大するかを判定してよい。
別の実施形態によれば、システムは手のジェスチャーおよび/またはボイスコマンドを使用してHMD上のカメラを活動化してよい。縮小サイズのROIが特定された後、ピクチャおよび/またはビデオは、ROI305の内側の画像を取り込んでよい。代替として、ジェスチャーメカニズムおよびボイスコマンドは、直前の所定の持続時間(たとえば、30秒)に得られたすべてのフレームを保存することをHMDに指示するためのトリガとして使用されてよい。
さらに、両手が目標の視界から十分に離れると解除イベントが生じてよい。解除イベントは、指と親指が近付いた場合またはボイスドリブンコマンドによって生じてもよい。解除イベントは、ROI305の検出および選択が完了したことをHMD120に示すことができる。したがって、一実施形態によれば、HMD120はいくつかのセンサをオフにして低電力モードに入ってよい。
解除イベントは、両手が十分に近付くことを含んでよい。HMD120は、両手および両手の縁部によって形成される形状を連続的に追跡してよく、したがって、HMD120は、両手がいつ所定の距離だけ離れたかを判定してよい。
したがって、HMD120は、両手がしきい値を超える量だけ離れたかどうかを判定してよく、次いで、解除が生じたかどうかを判定してよい。たとえば、ユーザは、手がROIの近くに位置しないように手を遠ざけてよい。
しかし、HMD120は、両手が互いに遠ざかっているときに、ユーザが関心領域を拡大しようとしているか、またはユーザがROIを解除しようとしているかを区別することのできる機能を実現してよい。たとえば、HMD120は、ROIに対する手の位置および手の動きの速度に基づいてROIのサイズ変更と解除イベントを区別してよい。
代替として、一方の手のみを握りしめることが解除イベントであってよい。たとえば、HMD120は、両手の輪郭から八角形のフレームを検出できないと判定した場合、ユーザがROIを解除したと仮定してよい。
複数のARオブジェクトの表示
図4は、HMD120のディスプレイ140におけるユーザの視界の一例を示す。図4に示すように、ROI305の内側の目標に関連付けられた複数のARオブジェクトがディスプレイ140に示される。上記のブロック215において説明したように、ユーザがROI305を選択した後、HMD120は、ROIの内側の目標に関連付けられた複数のARオブジェクト(たとえば、関心点(POI))をユーザに対して表示する。さらに、ユーザがROI305またはユーザの視界を移動させるにつれて最初にROIの内側にある目標を追跡することができる。
ROI305が定義された後、HMD120は、関連するARアプリケーションを有する目標をユーザに対して表示してよい。HMDは、ROI305を検出しかつ/またはROIの輪郭を表す形状315をユーザに表示した後、ARアプリケーションを開始してよい。HMDは、ROI305を検出した後、ROI305内の関連するARアプリケーションを開始してよい。たとえば、図4では、ユーザに対して、ARアプリケーションを有する5つのオブジェクト(POI)が表示されている。この例では、以下の5つのオブジェクト、すなわち、50メートル離れたRita's Fashion 405、Starbucks 410、Henry's diner 415、Henry's diner 420、およびcinema 425がROIの内側にある。一実施形態によれば、でディスプレイ140は、オブジェクトに関する他の関連情報を示してもよい(たとえば、レビュー、ユーザからの距離)。
場合によっては、広告主がそのプロジェクトバナー/ロゴ/ラッパーをAR目標として登録してよい。たとえば、Qualcomm's Vuforiaを使用すると、目標は、ARを使用してHMDディスプレイ140上に表示することのできる追加の情報を有することができる。したがって、ユーザがROI305を縮小してAR目標320を選択したときに、選択された目標に関連付けられたARアニメーションが特別な情報を与えてよい。
図5は、ROI305がユーザによって縮小され、それによって、より少ない数のAR目標またはPOIがディスプレイ140上に示されている例を示す。ブロック220において説明したように、ユーザは、手のジェスチャーを使用して(たとえば、両手を互いに近付けることによって)ROI305のサイズを縮小してよい。縮小サイズを使用しているので、図5のディスプレイ140は今や、ROIの内側に3つのPOI(Starbucks 505、Henry's Diner 510、Henry's Diner 515)のみを示している。ROIのサイズを縮小することによって、ROIの内側の目標の数が図4の5つのPOIから図5の3つのPOIに減少している。別の実施形態によれば、ユーザは、1つのAR目標320のみがROI305の内側に位置するようにROIのサイズをさらに縮小してよい。
いくつかの実施形態によれば、選択されたAR目標320には複数のオーグメンテーションが関連付けられてよい。このシナリオの間、ユーザは、図6および図7においてさらに説明する関心体積(VOI)技法を使用して、選択されたAR目標320に関する特定のオーグメンテーション層を選択してよい。
選択された目標が複数のオーグメンテーションを有するときの関心体積の使用法
図6は、目標の方向(たとえば、z軸)に沿って手のジェスチャーを使用して関心体積(VOI)を定義する方法600を示す流れ図である。たとえば、ユーザは、1つまたは複数の手をz軸に沿ってスクロールすることによって同じ目標に関するジオロケーションポイントまたは様々なオーグメンテーションを閲覧してよい。図2に示すように、ユーザはROIのサイズを縮小して目標を選択している。目標を選択した後、場合によっては、選択された目標に複数のオーグメンテーションが関連付けられていることがある。
ブロック605において、HMDは、上記で図2において説明したようにユーザのジェスチャーに基づいてROIをすでに定義している。ユーザは、リアルタイムユーザフィードバックを使用してROIを操作することによって、ブロック225と同様に特定のARオブジェクトをリアルタイムに選択してよい。さらに、所与のAR目標に複数のオーグメンテーションが関連付けられている場合、ユーザはブロック610において説明した方法を使用して特定の層を指定してよい。
ブロック610において、ユーザは、選択された目標の方向(たとえば、z軸)にスクロールすることによって複数のオーグメンテーションを閲覧してよい。たとえば、ユーザは、図7に示すように、VOIを使用して目標の方向にスクロールすることによりAR目標320に関するオーグメンテーションを閲覧することによってAR目標320に関する特定のオーグメンテーション層を選択してよい。
ブロック615において、システムは、ユーザの手の位置に基づいて(たとえば、図7に示すようにz軸に沿って)選択された目標に関連付けられた様々なオーグメンテーションをユーザに対して表示する。
図7は、ユーザの手の位置に基づく異なるオーグメンテーションのリアルタイム対話および表示を示す。たとえば、ユーザは、図2において説明した方法を使用して映画のポスターを選択してよい。場合によっては、選択された映画のポスターに複数のオーグメンテーションが関連付けられていることがある。ユーザは、図6において説明した方法を使用して、映画のポスターに関連付けられた様々なオーグメンテーションを閲覧してよい。
図7において様々な位置に示されるように、ユーザの手の位置に基づいて様々なオーグメンテーションをユーザに対して表示してよい。たとえば、ユーザの手の位置が705にあるとき、HMD120のディスプレイ140は、映画の名称およびレビューを示す。ユーザの手の位置が目標720（たとえば、z軸）の方向において位置705に近付くと位置710が生じ得る。位置710において、この例では、映画の予告編を再生するためのオーグメンテーションがディスプレイ140上に示される。ユーザの手が目標により近くなると、位置715において、映画の上映時間およびチケットをオンラインで購入するためのオプションが表示されてよい。最後に、この例では、目標720に最も近い位置において、HMD120が映画に関連付けられた画像を表示してよい。
図6および図7の例によって示されるように、HMD120は手の位置および/または手のジェスチャーを使用してVOIを定義してよい。HMD120は、VOIに基づいて、選択された目標に関連付けられた様々なオーグメンテーションを表示してよい。代替として、目標が選択された後、HMD120は、図8に示すように、ユーザの好みまたは所定のジェスチャー認識機能に基づいて他のモードを実施してよい。
目標が選択された後の他の実装形態の例
図8は、ヘッドマウントディスプレイ(HMD)上の拡張現実(AR)オブジェクトを選択する方法800の一実施形態を示す流れ図である。スマートアプリケーションの一例はビジュアルトランスレータを含んでよい。たとえば、ROIの内側に取り込まれた画像は、視覚的探索システムまたはOCRに送られてよい。この例では、OCRを使用して画像から得られるテキストを判定し認識してよい。認識された文字に基づいて、トランスレータが自動的に翻訳を行ってよく、結果がディスプレイ140上に表示されてよい。
この実施形態を例示するために、ブロック805において、ユーザは特定の目標または翻訳すべきテキストを選択してよい。図2において説明した方法と同様に、ユーザは手のジェスチャーを使用してROI305を概略的に表し翻訳すべきテキストを選択する。
ブロック810において、ユーザはROI305内の特定のテキストの翻訳を要求してよい。たとえば、ユーザはボイスコマンドまたは所定の手のジェスチャーを使用して翻訳を開始してよい。代替として、HMD120は、外国語を自動的に認識し、ユーザからの要求なしに翻訳を開始してよい。
ブロック815において、HMD120は、視覚的探索システムまたはOCRを使用してROI305内のテキストを認識してよい。テキスト認識のための従来の方法がHMD120によって利用されてよい。
ブロック820において、HMD120は、認識されたテキストをユーザによって指定された言語に変換し、それをディスプレイ140上に表示してよい。たとえば、言語はデフォルトの言語であっても、または以前の使用に基づいてあらかじめ定められても、またはユーザによってリアルタイムに指定されてもよい。さらに、HMD120は、変換されたテキストをユーザ110に対して声に出して読んでよい。テキスト翻訳のための従来の方法がHMD120によって利用されてよい。
図8は、手のジェスチャーを使用して目標が選択された後の一実装形態の例を示す。代替的な実施形態は、図示されている実施形態に対する代替形態を含む場合がある。たとえば、代替実施形態は、HMDが外国語を自動的に認識し、ユーザからの要求なしにテキストを翻訳することを含んでよい。さらに、具体的な用途に応じて、追加の特徴が追加、削除、または合成される場合がある。当業者は、多くの変形、修正、および代替を認識するはずである。
別の実施形態によれば、ROIを利用してビデオシェアリングのために視界を狭くしてよい。HMD120は、コラボレーションモードの間ROIを共有ビューとして使用してよい。ユーザは、自分の視界の一部を共有したいとき、図2において説明した方法を使用してROI305を選択してよい。コラボレーションモードの間、HMD120は、ROI305をビデオベースの通信のために共有ビューとして扱い、それによって、視界の一部のみ(たとえば、プレゼンテーション、ドキュメント)が遠隔ユーザと共有される。一実施形態によれば、共有ビューは、解除イベントが生じた後に終了してよい。代替的な実施形態は、図示されている実施形態に対する代替形態を含む場合がある。さらに、具体的な用途に応じて、追加の特徴が追加、削除、または合成される場合がある。
図9は、1つまたは複数の実施形態が実施され得るコンピューティングシステムの一例を示す図である。
コンピュータシステム900はさらに、1つまたは複数の非一時的記憶デバイス925を含む(かつ/またはそれらと通信する)場合があり、非一時的記憶デバイス925は、限定はしないが、ローカルおよび/またはネットワークでアクセス可能な記憶装置を備えることができ、かつ/または限定はしないが、ディスクドライブ、ドライブアレイ、光記憶デバイス、ランダムアクセスメモリ(「RAM」)および/またはプログラム可能、フラッシュ更新可能などであり得る、リードオンリメモリ(「ROM」)などのソリッドステート記憶デバイスを含むことができる。そのような記憶デバイスは、限定はしないが、様々なファイルシステム、データベース構造などを含む、任意の適切なデータストアを実装するように構成される場合がある。たとえば、ユーザが直前の所定の持続時間において得られたすべてのフレームを取り込みたい場合に、記憶デバイス925を使用してHMD120のカメラ150から取り込まれたビデオをバッファしてよい。
コンピュータシステム900はまた、通信サブシステム930を含む場合があり、通信サブシステム930は、限定はしないが、モデム、ネットワークカード(ワイヤレスもしくは有線)、赤外線通信デバイス、ワイヤレス通信デバイス、および/または(Bluetooth（登録商標）デバイス、802.11デバイス、WiFiデバイス、WiMaxデバイス、セルラー通信設備などの)チップセットなどを含むことができる。通信サブシステム930は、データがネットワーク、他のコンピュータシステム、および/または任意の他の電気デバイス/周辺装置と交換されることを可能にする、1つまたは複数の入力および/または出力の通信インターフェースを含む場合がある。多くの実施形態では、コンピュータシステム900は作業メモリ935をさらに備え、作業メモリ935は、上述されたように、RAMデバイスまたはROMデバイスを含むことができる。通信サブシステム930を使用してHMD120をユーザのスマートフォンにリンクしてよい。
コンピュータシステム900はまた、オペレーティングシステム940、デバイスドライバ、実行可能ライブラリ、および/または1つまたは複数のアプリケーション945などの他のコードを含む、現在は作業メモリ935内に配置されているものとして示された、ソフトウェア要素を備えることができ、他のコードは、様々な実施形態によって提供されるコンピュータプログラムを備えることができ、かつ/または本明細書に記載されたように、他の実施形態によって提供される方法を実施するように、および/もしくはシステムを構成するように設計することができる。単に例として、図2に関して記載された方法200などの、上記で説明された方法に関して記載された1つまたは複数の手順の一部分は、コンピュータ(および/または、コンピュータ内の処理ユニット)によって実行可能なコードおよび/または命令として実装することができ、次いで、ある態様では、そのようなコードおよび/または命令は、記載された方法による1つまたは複数の動作を実行するように、汎用コンピュータ(または他のデバイス)を構成および/または適合するために使用することができる。
1組のこれらの命令および/またはコードは、上述された記憶デバイス925などの非一時的コンピュータ可読記憶媒体に記憶される場合がある。場合によっては、記憶媒体は、コンピュータシステム900などのコンピュータシステム内に組み込まれてもよい。他の実施形態では、命令/コードがそこに記憶された汎用コンピュータをプログラム、構成、および/または適合するために記憶媒体が使用され得るように、記憶媒体は、コンピュータシステムから分離される場合があり(たとえば、光ディスクなどの取外し可能媒体)、かつ/またはインスタレーションパッケージ内で提供される場合がある。これらの命令は、コンピュータシステム900によって実行可能である、実行可能コードの形態をとる場合があり、かつ/または、(たとえば、様々な一般的に利用可能なコンパイラ、インスタレーションプログラム、圧縮/解凍ユーティリティなどのうちのいずれかを使用して)コンピュータシステム900でコンパイルおよび/またはインストールされると実行可能コードの形態をとる、ソースコードおよび/またはインストール可能コードの形態をとる場合がある。
実質的な変形が特定の要件に従って行われる場合があることが、当業者には明らかであろう。たとえば、カスタマイズされたハードウェアを使用することもでき、かつ/または、特定の要素は、ハードウェア、(アプレットなどの移植可能なソフトウェアを含む)ソフトウェア、またはその両方に実装することができる。さらに、ネットワーク入力/出力デバイスなどの他のコンピューティングデバイスへの接続を使用することができる。
上述のように、一態様では、いくつかの実施形態は、(コンピュータシステム900などの)コンピュータシステムを使用して、本発明の様々な実施形態による方法を実行し得る。1組の実施形態によれば、そのような方法の手順のうちのいくつかまたはすべては、プロセッサ910が作業メモリ935に含まれる(オペレーティングシステム940および/またはアプリケーションプログラム945のような他のコードに組み込むことのできる)1つまたは複数の命令の1つまたは複数のシーケンスを実行したことに応答してコンピュータシステム900によって実行される。そのような命令は、記憶デバイス925のうちの1つまたは複数などの別のコンピュータ可読媒体から作業メモリ935に読み込まれる場合がある。単に例として、作業メモリ935に含まれる命令のシーケンスの実行は、プロセッサ910に、本明細書で説明する方法の1つまたは複数の手順を実行させ得る。追加または代替として、本明細書に記載された方法の部分は、専用ハードウェアを介して実行される場合がある。単に一例として、図2に関して説明した方法200などの上述の方法に関して説明した1つまたは複数の手順の一部が、HMD120内のプロセッサ910によって実現されてよい。代替として、HMD120は通信サブシステム930を介してスマートフォンにリンクされてよく、図2の方法はスマートフォン内のプロセッサ910によって実施されてよい。
本明細書で使用する「機械可読媒体」および「コンピュータ可読媒体」という用語は、機械を特定の方式で動作させるデータを与えることに関与する任意の媒体を指す。コンピュータシステム900を使用して実現される実施形態では、様々なコンピュータ可読媒体が、命令/コードを実行できるようにプロセッサ910に供給することに関与してよく、かつ/またはそのような命令/コードを記憶しかつ/もしくは搬送するのに使用されてよい。多くの実装形態では、コンピュータ可読媒体は、物理記憶媒体および/または有形記憶媒体である。そのような媒体は、不揮発性媒体または揮発性媒体の形態を取り得る。不揮発性媒体には、たとえば、記憶デバイス925などの光ディスクおよび/または磁気ディスクが含まれる。揮発性媒体としては、限定はしないが、作業メモリ935などのダイナミックメモリが挙げられる。
通常の形態の物理コンピュータ可読媒体および/または有形コンピュータ可読媒体には、たとえば、フロッピー（登録商標）ディスク、フレキシブルディスク、ハードディスク、磁気テープもしくは任意の他の磁気媒体、CD-ROM、任意の他の光媒体、穴のパターンを有する任意の他の物理媒体、RAM、PROM、EPROM、FLASH-EPROM、任意の他のメモリチップもしくはカートリッジ、またはコンピュータが命令および/またはコードを読み取ることができる任意の他の媒体が含まれる。
様々な形態のコンピュータ可読媒体は、実行用にプロセッサ910に1つまたは複数の命令の1つまたは複数のシーケンスを搬送することに関与することができる。単に例として、命令は、最初に、リモートコンピュータの磁気ディスクおよび/または光ディスク上で搬送されてよい。リモートコンピュータは、そのダイナミックメモリ内に命令をロードし、コンピュータシステム900によって受信および/または実行されるべき送信媒体上の信号として命令を送信することができる。
通信サブシステム930(および/またはその構成要素)は、一般に信号を受信し、次いで、バス905は、信号(および/または信号によって搬送されたデータ、命令など)を作業メモリ935に搬送することができ、プロセッサ910は、作業メモリ935から命令を取り出し、実行する。作業メモリ935によって受信された命令は、随意に、プロセッサ910による実行の前または後のいずれかに非一時的記憶デバイス925に記憶され得る。
上記で論じた方法、システム、およびデバイスは例である。様々な構成において、様々な手順または構成要素を、適宜、省略し、置換し、または追加することができる。たとえば、代替構成では、本方法は、説明される順序とは異なる順序で実行されてもよく、かつ/または、様々なステージが加えられ、省略され、かつ/もしくは組み合わされてもよい。また、いくつかの構成に関して説明される特徴が、様々な他の構成と組み合わされてもよい。構成の様々な態様および要素を同様に組み合わせることができる。また、技術は発展するものであり、したがって、要素の多くは、例であり、本開示または特許請求の範囲の範囲を限定しない。
例示的な構成(実装形態を含む)の完全な理解をもたらすために、具体的な詳細が説明において与えられている。しかしながら、構成はこれらの具体的な詳細を伴わずに実施され得る。たとえば、構成を不明瞭にするのを避けるために、既知の回路、プロセス、アルゴリズム、構造、および技法は、不必要な詳細を伴わずに示されてきた。この説明は、例示的な構成を提供するのみであり、請求項の範囲、適用可能性、または構成を限定しない。むしろ、これらの構成の上述の説明は、記載された技法を実装するための有効な説明を当業者に提供することになる。本開示の趣旨または範囲から逸脱することなく、要素の機能および構成に様々な変更を行うことができる。
また、構成は、流れ図またはブロック図として示されるプロセスとして説明されることがある。各々は順次的なプロセスとして動作を説明することがあるが、動作の多くは、並列に、または同時に実行され得る。加えて、動作の順序は並べ替えられ得る。プロセスは、図に含まれていない追加のステップを有し得る。さらに、方法の例は、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、またはそれらの任意の組合せによって実装され得る。ソフトウェア、ファームウェア、ミドルウェア、またはマイクロコードで実装されるとき、必要なタスクを実行するプログラムコードまたはコードセグメントは、記憶媒体などの非一時的コンピュータ可読媒体に記憶され得る。プロセッサは説明したタスクを実行し得る。
いくつかの例示的な構成について説明してきたが、本開示の趣旨から逸脱することなく、様々な変更、代替構造、および均等物が使用され得る。たとえば、上記の要素は、より大きいシステムの構成要素であり得、他の規則が、本発明の適用例よりも優先されるか、または本発明の適用例を変更し得る。また、上記の要素が考慮される前に、その間に、またはその後に、いくつかのステップが行われ得る。したがって、上の説明は、請求項の範囲を拘束しない。
110 ユーザ
120 HMD
130 ユーザの手
140 ディスプレイ
150 カメラ
305 ROI
315 形状
320 ARオブジェクト
350 人差し指
355 親指
360 指
405 Rita's Fashion
410 Starbucks
415 Henry's diner
420 Henry's diner
425 cinema
705、710、715 オーグメンテーション
720 映画のポスター
900 コンピュータシステム
925 非一時的記憶デバイス
930 通信サブシステム
935 作業メモリ
940 オペレーティングシステム
945 アプリケーション

Claims (15)

  1. ヘッドマウントデバイス(HMD)上の拡張現実(AR)オブジェクトを選択するための方法であって、
    関心領域(ROI)の少なくとも部分的な輪郭を構成するユーザの少なくとも一方の手の形状によって形成される第1のジェスチャーに基づいて前記ROIを定義するステップと、
    前記ユーザに対して前記HMD上に第1の形状を表示するステップであって、前記第1の形状が前記ROIの輪郭を表し、2次元平面上に表示される、ステップと、
    前記ユーザに対して前記表示された第1の形状内の複数のARオブジェクトを表示するステップであって、前記複数のARオブジェクトが前記第1のROIの内側の1つまたは複数の目標のうちの1つに関連付けられ、前記第1の形状内に表示される第1のARオブジェクトが前記2次元平面に対する第1の深さに関連付けられ、前記第1の形状内に表示された第2のARが前記2次元平面に対する第2の深さに関連付けられる、ステップと、
    第2のジェスチャーに基づいて前記第2のARオブジェクトを表示のために選択するステップであって、前記第2のジェスチャーが、前記2次元平面に対する第3の次元において前記ユーザの前記少なくとも一方の手の第1の動きによって実行されるステップと、
    前記第2のARオブジェクトを表示のために選択したことに応答して前記第2のARオブジェクトを表示するステップと、
    を含む方法。
  2. 前記第1のジェスチャーは、前記ユーザの両手によって形成される、請求項1に記載の方法。
  3. 前記第2のARオブジェクトを表示のために選択するための前記第1の動きは、前記ユーザの両手を前記第3の次元において移動させることを含む、請求項2に記載の方法。
  4. 前記表示されたROIのサイズを第3のジェスチャーに基づいて縮小して、縮小されたサイズのROIを形成するステップであって、前記第3のジェスチャーは前記ユーザの少なくとも片方の手の第2の動きにより実施され、前記縮小されたサイズのROIは、前記HMDによりキャプチャされたシーンの前記1つまたは複数の画像を表示する表示領域内で定義され、前記縮小されたサイズのROIは前記ROIよりも小さな前記表示領域内の領域である、ステップと、
    前記縮小されたサイズのROIの輪郭を表す第2の形状を前記HMDに表示するステップと、
    前記複数のARオブジェクトから選択すべき特定のARオブジェクトを決定するステップであって、前記特定のARオブジェクトは前記縮小されたサイズのROIを用いて選択されると判定される、ステップと、
    前記特定のARオブジェクトが前記縮小されたサイズのROI内にあることに基づいて、前記特定のARオブジェクトを前記複数のARオブジェクトから選択するステップであって、前記特定のARオブジェクトは前記縮小されたサイズのROI内の前記複数の目標のうち第1の目標に関連付けられる、ステップと、
    前記縮小されたサイズのROIの輪郭を構成する前記表示された第2の形状内の前記特定のARオブジェクトを前記HMDに表示するステップと、
    前記特定のARオブジェクトを選択したことに応答して、前記縮小されたサイズのROIの外部にある1つまたは複数のARオブジェクトを表示しないように、前記複数のARオブジェクトから除去するステップと、
    をさらに含む、請求項1に記載の方法。
  5. 前記表示されたROIの内側のテキストを取り込むステップと、
    前記取り込まれたテキストに基づく翻訳を初期設定するステップとをさらに含む、請求項1に記載の方法。
  6. 前記表示されたROIの内側で視覚的認識探索を行うステップをさらに含む、請求項1に記載の方法。
  7. 解除イベントに基づいて前記表示されたROIを解除するステップをさらに含む、請求項1に記載の方法。
  8. 前記解除イベントは、前記ユーザの前記少なくとも一方の手が前記ROIから離れたとき、前記ユーザの少なくとも1本の指と親指が互いに近付いたとき、またはユーザによって解除のためのボイスコマンドが発せられたときに生じる、請求項7に記載の方法。
  9. 請求項1乃至8の何れか1項に記載の方法を実施するためのコンピュータ実行可能命令を格納する、1つまたは複数のコンピュータ可読記憶媒体。
  10. 拡張現実(AR)オブジェクトを選択するためのヘッドマウントデバイス(HMD)であって、
    関心領域(ROI)の少なくとも部分的な輪郭を構成するユーザの少なくとも一方の手の形状によって形成される第1のジェスチャーに基づいて前記ROIを定義するための手段と、
    前記ユーザに対して前記HMD上に第1の形状を表示するための手段であって、前記第1の形状が前記ROIの輪郭を表し、2次元平面上に表示される、手段と、
    前記ユーザに対して前記表示された第1の形状内の複数のARオブジェクトを表示するための手段であって、前記複数のARオブジェクトが前記第1のROIの内側の1つまたは複数の目標のうちの1つに関連付けられ、前記第1の形状内に表示される第1のARオブジェクトが前記2次元平面に対する第1の深さに関連付けられ、前記第1の形状内に表示された第2のARが前記2次元平面に対する第2の深さに関連付けられる、手段と、
    第2のジェスチャーに基づいて前記第2のARオブジェクトを表示のために選択するための手段であって、前記第2のジェスチャーが、前記2次元平面に対する第3の次元において前記ユーザの前記少なくとも一方の手の第1の動きによって実行される手段と、
    前記第2のARオブジェクトを表示のために選択したことに応答して前記第2のARオブジェクトを表示するための手段と、
    を備えるHMD。
  11. 前記第1のジェスチャーは、前記ユーザの両手によって形成される、請求項10に記載のHMD。
  12. 前記第2のARオブジェクトを表示のために選択するための前記第1の動きは、前記ユーザの両手を前記第3の次元において移動させることを含む、請求項11に記載のHMD。
  13. 前記表示されたROIのサイズを第3のジェスチャーに基づいて縮小して、縮小されたサイズのROIを形成するための手段であって、前記第3のジェスチャーは前記ユーザの少なくとも片方の手の第2の動きにより実施され、前記縮小されたサイズのROIは、前記HMDによりキャプチャされたシーンの前記1つまたは複数の画像を表示する表示領域内で定義され、前記縮小されたサイズのROIは前記ROIよりも小さな前記表示領域内の領域である、手段と、
    前記縮小されたサイズのROIの輪郭を表す第2の形状を前記HMDに表示するための手段と、
    前記複数のARオブジェクトから選択すべき特定のARオブジェクトを決定するための手段であって、前記特定のARオブジェクトは前記縮小されたサイズのROIを用いて選択されると判定される、手段と、
    前記特定のARオブジェクトが前記縮小されたサイズのROI内にあることに基づいて、前記特定のARオブジェクトを前記複数のARオブジェクトから選択するための手段であって、前記特定のARオブジェクトは前記縮小されたサイズのROI内の前記複数の目標のうち第1の目標に関連付けられる、手段と、
    前記縮小されたサイズのROIの輪郭を構成する前記表示された第2の形状内の前記特定のARオブジェクトを前記HMDに表示するための手段と、
    前記特定のARオブジェクトを選択したことに応答して、前記縮小されたサイズのROIの外部にある1つまたは複数のARオブジェクトを表示しないように、前記複数のARオブジェクトから除去するための手段と、
    をさらに備える、請求項10に記載のHMD。
  14. 前記表示されたROIの内側のテキストを取り込むための手段と、
    前記取り込まれたテキストに基づく翻訳を初期設定するための手段と
    をさらに備える、請求項10に記載のHMD。
  15. 前記表示されたサイズのROIの内側で視覚的認識探索を行うための手段をさらに備える、請求項10に記載のHMD。
JP2015558093A 2013-02-14 2014-02-12 Ｈｍｄのための人体ジェスチャーベースの領域および体積の選択 Active JP6356157B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/767,820 US10133342B2 (en) 2013-02-14 2013-02-14 Human-body-gesture-based region and volume selection for HMD
US13/767,820 2013-02-14
PCT/US2014/015946 WO2014126966A1 (en) 2013-02-14 2014-02-12 Human-body-gesture-based region and volume selection for hmd

Publications (3)

Publication Number Publication Date
JP2016514298A JP2016514298A (ja) 2016-05-19
JP2016514298A5 JP2016514298A5 (ja) 2017-03-02
JP6356157B2 true JP6356157B2 (ja) 2018-07-11

Family

ID=50336489

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015558093A Active JP6356157B2 (ja) 2013-02-14 2014-02-12 Ｈｍｄのための人体ジェスチャーベースの領域および体積の選択

Country Status (9)

Country Link
US (2) US10133342B2 (ja)
EP (2) EP2956843B1 (ja)
JP (1) JP6356157B2 (ja)
KR (1) KR102358983B1 (ja)
CN (1) CN105027033B (ja)
ES (1) ES2759054T3 (ja)
HU (1) HUE047027T2 (ja)
TW (1) TWI534654B (ja)
WO (1) WO2014126966A1 (ja)

Families Citing this family (202)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9823737B2 (en) * 2008-04-07 2017-11-21 Mohammad A Mazed Augmented reality personal assistant apparatus
US8908995B2 (en) 2009-01-12 2014-12-09 Intermec Ip Corp. Semi-automatic dimensioning with imager on a portable device
US8810598B2 (en) 2011-04-08 2014-08-19 Nant Holdings Ip, Llc Interference based augmented reality hosting platforms
US11493998B2 (en) 2012-01-17 2022-11-08 Ultrahaptics IP Two Limited Systems and methods for machine control
US9501152B2 (en) 2013-01-15 2016-11-22 Leap Motion, Inc. Free-space user interface and control using virtual constructs
US9779546B2 (en) 2012-05-04 2017-10-03 Intermec Ip Corp. Volume dimensioning systems and methods
US10007858B2 (en) 2012-05-15 2018-06-26 Honeywell International Inc. Terminals and methods for dimensioning objects
US10321127B2 (en) 2012-08-20 2019-06-11 Intermec Ip Corp. Volume dimensioning system calibration systems and methods
US9076033B1 (en) * 2012-09-28 2015-07-07 Google Inc. Hand-triggered head-mounted photography
US9939259B2 (en) 2012-10-04 2018-04-10 Hand Held Products, Inc. Measuring object dimensions using mobile computer
US20140104413A1 (en) 2012-10-16 2014-04-17 Hand Held Products, Inc. Integrated dimensioning and weighing system
US9459697B2 (en) 2013-01-15 2016-10-04 Leap Motion, Inc. Dynamic, free-space user interactions for machine control
US10133342B2 (en) 2013-02-14 2018-11-20 Qualcomm Incorporated Human-body-gesture-based region and volume selection for HMD
WO2014128749A1 (ja) * 2013-02-19 2014-08-28 株式会社ブリリアントサービス 形状認識装置、形状認識プログラム、および形状認識方法
JP6250025B2 (ja) * 2013-02-19 2017-12-20 ミラマ サービス インク 入出力装置、入出力プログラム、および入出力方法
JP6287849B2 (ja) * 2013-02-22 2018-03-07 ソニー株式会社 ヘッドマウントディスプレイ、画像表示装置及び画像表示方法
US9080856B2 (en) 2013-03-13 2015-07-14 Intermec Ip Corp. Systems and methods for enhancing dimensioning, for example volume dimensioning
CN105144768B (zh) 2013-04-26 2019-05-21 英特尔Ip公司 频谱共享情境中的共享频谱重新分配
US9916009B2 (en) 2013-04-26 2018-03-13 Leap Motion, Inc. Non-tactile interface systems and methods
US10228452B2 (en) 2013-06-07 2019-03-12 Hand Held Products, Inc. Method of error correction for 3D imaging device
CN103353667B (zh) 2013-06-28 2015-10-21 北京智谷睿拓技术服务有限公司 成像调整设备及方法
CN103353677B (zh) 2013-06-28 2015-03-11 北京智谷睿拓技术服务有限公司 成像装置及方法
CN103353663B (zh) 2013-06-28 2016-08-10 北京智谷睿拓技术服务有限公司 成像调整装置及方法
CN103431840B (zh) 2013-07-31 2016-01-20 北京智谷睿拓技术服务有限公司 眼睛光学参数检测系统及方法
US9619939B2 (en) * 2013-07-31 2017-04-11 Microsoft Technology Licensing, Llc Mixed reality graduated information delivery
CN103424891B (zh) 2013-07-31 2014-12-17 北京智谷睿拓技术服务有限公司 成像装置及方法
US10281987B1 (en) 2013-08-09 2019-05-07 Leap Motion, Inc. Systems and methods of free-space gestural interaction
CN103431980A (zh) 2013-08-22 2013-12-11 北京智谷睿拓技术服务有限公司 视力保护成像系统及方法
CN103439801B (zh) 2013-08-22 2016-10-26 北京智谷睿拓技术服务有限公司 视力保护成像装置及方法
CN103500331B (zh) 2013-08-30 2017-11-10 北京智谷睿拓技术服务有限公司 提醒方法及装置
US9448689B2 (en) * 2013-08-30 2016-09-20 Paypal, Inc. Wearable user device enhanced display system
CN103605208B (zh) 2013-08-30 2016-09-28 北京智谷睿拓技术服务有限公司 内容投射系统及方法
US20150123966A1 (en) * 2013-10-03 2015-05-07 Compedia - Software And Hardware Development Limited Interactive augmented virtual reality and perceptual computing platform
CN103558909B (zh) * 2013-10-10 2017-03-29 北京智谷睿拓技术服务有限公司 交互投射显示方法及交互投射显示系统
EP3055754B1 (en) 2013-10-11 2023-08-02 InterDigital Patent Holdings, Inc. Gaze-driven augmented reality
US9582516B2 (en) 2013-10-17 2017-02-28 Nant Holdings Ip, Llc Wide area augmented reality location-based services
US9466150B2 (en) * 2013-11-06 2016-10-11 Google Inc. Composite image associated with a head-mountable device
US9740923B2 (en) * 2014-01-15 2017-08-22 Lenovo (Singapore) Pte. Ltd. Image gestures for edge input
US10254843B2 (en) * 2014-02-28 2019-04-09 Vikas Gupta Gesture operated wrist mounted camera system
US20160371888A1 (en) * 2014-03-10 2016-12-22 Bae Systems Plc Interactive information display
US10613642B2 (en) * 2014-03-12 2020-04-07 Microsoft Technology Licensing, Llc Gesture parameter tuning
KR20150110032A (ko) * 2014-03-24 2015-10-02 삼성전자주식회사 영상데이터 처리 전자장치 및 방법
US9741169B1 (en) 2014-05-20 2017-08-22 Leap Motion, Inc. Wearable augmented reality devices with object detection and tracking
US9552074B2 (en) * 2014-05-21 2017-01-24 Facebook, Inc. Method and system for generating user feedback of a gesture capturing device
US20150346932A1 (en) * 2014-06-03 2015-12-03 Praveen Nuthulapati Methods and systems for snapshotting events with mobile devices
KR102303115B1 (ko) * 2014-06-05 2021-09-16 삼성전자 주식회사 웨어러블 디바이스 및 웨어러블 디바이스 의 증강 현실 정보 제공 방법
JP2016004340A (ja) * 2014-06-16 2016-01-12 セイコーエプソン株式会社 情報配信システム、頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム
US10007350B1 (en) 2014-06-26 2018-06-26 Leap Motion, Inc. Integrated gestural interaction and multi-user collaboration in immersive virtual reality environments
US9823059B2 (en) 2014-08-06 2017-11-21 Hand Held Products, Inc. Dimensioning system with guided alignment
DE202014103729U1 (de) 2014-08-08 2014-09-09 Leap Motion, Inc. Augmented-Reality mit Bewegungserfassung
US9696551B2 (en) * 2014-08-13 2017-07-04 Beijing Lenovo Software Ltd. Information processing method and electronic device
US10725533B2 (en) 2014-09-26 2020-07-28 Intel Corporation Systems, apparatuses, and methods for gesture recognition and interaction
US9354711B2 (en) * 2014-09-30 2016-05-31 Xerox Corporation Dynamic hand-gesture-based region of interest localization
US9778750B2 (en) * 2014-09-30 2017-10-03 Xerox Corporation Hand-gesture-based region of interest localization
US20160092726A1 (en) * 2014-09-30 2016-03-31 Xerox Corporation Using gestures to train hand detection in ego-centric video
US10943395B1 (en) 2014-10-03 2021-03-09 Virtex Apps, Llc Dynamic integration of a virtual environment with a physical environment
US9779276B2 (en) 2014-10-10 2017-10-03 Hand Held Products, Inc. Depth sensor based auto-focus system for an indicia scanner
US10775165B2 (en) 2014-10-10 2020-09-15 Hand Held Products, Inc. Methods for improving the accuracy of dimensioning-system measurements
US10810715B2 (en) 2014-10-10 2020-10-20 Hand Held Products, Inc System and method for picking validation
US10060729B2 (en) 2014-10-21 2018-08-28 Hand Held Products, Inc. Handheld dimensioner with data-quality indication
US9752864B2 (en) 2014-10-21 2017-09-05 Hand Held Products, Inc. Handheld dimensioning system with feedback
US9762793B2 (en) 2014-10-21 2017-09-12 Hand Held Products, Inc. System and method for dimensioning
US9897434B2 (en) 2014-10-21 2018-02-20 Hand Held Products, Inc. Handheld dimensioning system with measurement-conformance feedback
US9557166B2 (en) 2014-10-21 2017-01-31 Hand Held Products, Inc. Dimensioning system with multipath interference mitigation
JP2016110177A (ja) 2014-12-02 2016-06-20 株式会社トプコン ３次元入力装置及び入力システム
JP6516464B2 (ja) * 2014-12-15 2019-05-22 Kddi株式会社 ウェアラブル検索システム
US10353532B1 (en) 2014-12-18 2019-07-16 Leap Motion, Inc. User interface for integrated gestural interaction and multi-user collaboration in immersive virtual reality environments
KR20210099163A (ko) * 2014-12-18 2021-08-11 페이스북, 인크. 가상 현실 환경에서의 내비게이션을 위한 방법, 시스템 및 장치
US9778814B2 (en) * 2014-12-19 2017-10-03 Microsoft Technology Licensing, Llc Assisted object placement in a three-dimensional visualization system
US20160178905A1 (en) * 2014-12-19 2016-06-23 Intel Corporation Facilitating improved viewing capabitlies for glass displays
JP2017091433A (ja) * 2015-11-17 2017-05-25 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置を制御する方法、コンピュータープログラム
US10656720B1 (en) 2015-01-16 2020-05-19 Ultrahaptics IP Two Limited Mode switching for integrated gestural interaction and multi-user collaboration in immersive virtual reality environments
US20160224123A1 (en) * 2015-02-02 2016-08-04 Augumenta Ltd Method and system to control electronic devices through gestures
US9696795B2 (en) 2015-02-13 2017-07-04 Leap Motion, Inc. Systems and methods of creating a realistic grab experience in virtual reality/augmented reality environments
US10429923B1 (en) 2015-02-13 2019-10-01 Ultrahaptics IP Two Limited Interaction engine for creating a realistic experience in virtual reality/augmented reality environments
US10921896B2 (en) * 2015-03-16 2021-02-16 Facebook Technologies, Llc Device interaction in augmented reality
GB201504362D0 (en) * 2015-03-16 2015-04-29 Elliptic Laboratories As Touchless user interfaces for electronic devices
US10296086B2 (en) 2015-03-20 2019-05-21 Sony Interactive Entertainment Inc. Dynamic gloves to convey sense of touch and movement for virtual objects in HMD rendered environments
JP6439566B2 (ja) * 2015-04-23 2018-12-19 大日本印刷株式会社 多言語表示装置、多言語表示システム、多言語表示方法及び多言語表示プログラム
KR102357741B1 (ko) * 2015-05-06 2022-02-03 삼성전자주식회사 가스 처리 방법 빛 그 전자 장치
EP3096303B1 (en) * 2015-05-18 2020-04-08 Nokia Technologies Oy Sensor data conveyance
US9786101B2 (en) 2015-05-19 2017-10-10 Hand Held Products, Inc. Evaluating image values
EP3101629B1 (en) * 2015-06-04 2021-03-17 Nokia Technologies Oy Mediated reality
US10066982B2 (en) 2015-06-16 2018-09-04 Hand Held Products, Inc. Calibrating a volume dimensioner
US9857167B2 (en) 2015-06-23 2018-01-02 Hand Held Products, Inc. Dual-projector three-dimensional scanner
US20160377414A1 (en) 2015-06-23 2016-12-29 Hand Held Products, Inc. Optical pattern projector
WO2016209039A1 (ko) * 2015-06-24 2016-12-29 주식회사 브이터치 의사소통을 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
US20160378296A1 (en) * 2015-06-25 2016-12-29 Ashok Mishra Augmented Reality Electronic Book Mechanism
US9835486B2 (en) 2015-07-07 2017-12-05 Hand Held Products, Inc. Mobile dimensioner apparatus for use in commerce
EP3118576B1 (en) 2015-07-15 2018-09-12 Hand Held Products, Inc. Mobile dimensioning device with dynamic accuracy compatible with nist standard
US20170017301A1 (en) 2015-07-16 2017-01-19 Hand Held Products, Inc. Adjusting dimensioning results using augmented reality
US10094650B2 (en) 2015-07-16 2018-10-09 Hand Held Products, Inc. Dimensioning and imaging items
US10705595B2 (en) * 2015-08-06 2020-07-07 Pcms Holdings, Inc. Methods and systems for providing haptic feedback for virtual 3D objects
JP2017041002A (ja) * 2015-08-18 2017-02-23 キヤノン株式会社 表示制御装置、表示制御方法及び表示制御用プログラム
JP6407824B2 (ja) * 2015-09-01 2018-10-17 株式会社東芝 メガネ型ウエアラブル端末およびこの端末を用いる方法
JP2017054185A (ja) * 2015-09-07 2017-03-16 株式会社東芝 情報処理装置、情報処理方法及び情報処理プログラム
US10249030B2 (en) 2015-10-30 2019-04-02 Hand Held Products, Inc. Image transformation for indicia reading
US10225544B2 (en) 2015-11-19 2019-03-05 Hand Held Products, Inc. High resolution dot pattern
JP6766824B2 (ja) * 2015-12-10 2020-10-14 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US10229540B2 (en) * 2015-12-22 2019-03-12 Google Llc Adjusting video rendering rate of virtual reality content and processing of a stereoscopic image
US10133407B2 (en) * 2015-12-28 2018-11-20 Seiko Epson Corporation Display apparatus, display system, method for controlling display apparatus, and program
US10140507B2 (en) * 2015-12-29 2018-11-27 Samsung Electronics Co., Ltd. Apparatus and method for recognizing hand gestures in a virtual reality headset
CN105700684A (zh) * 2016-01-12 2016-06-22 深圳多哚新技术有限责任公司 一种头显设备传感器数据中断的处理方法和装置
US11308704B2 (en) 2016-01-18 2022-04-19 Lg Electronics Inc. Mobile terminal for controlling VR image and control method therefor
US10025314B2 (en) 2016-01-27 2018-07-17 Hand Held Products, Inc. Vehicle positioning and object avoidance
US10168768B1 (en) 2016-03-02 2019-01-01 Meta Company Systems and methods to facilitate interactions in an interactive space
US10133345B2 (en) 2016-03-22 2018-11-20 Microsoft Technology Licensing, Llc Virtual-reality navigation
US10198861B2 (en) * 2016-03-31 2019-02-05 Intel Corporation User interactive controls for a priori path navigation in virtual environment
JP6275185B2 (ja) * 2016-04-06 2018-02-07 株式会社コロプラ 仮想空間を提供する方法、プログラム、および記録媒体
WO2017182315A1 (en) 2016-04-22 2017-10-26 Thomson Licensing Method and device for compositing an image
US10186088B2 (en) 2016-05-13 2019-01-22 Meta Company System and method for managing interactive virtual frames for virtual objects in a virtual environment
US9990779B2 (en) 2016-05-13 2018-06-05 Meta Company System and method for modifying virtual objects in a virtual environment in response to user interactions
US10089071B2 (en) 2016-06-02 2018-10-02 Microsoft Technology Licensing, Llc Automatic audio attenuation on immersive display devices
US10339352B2 (en) 2016-06-03 2019-07-02 Hand Held Products, Inc. Wearable metrological apparatus
US9940721B2 (en) 2016-06-10 2018-04-10 Hand Held Products, Inc. Scene change detection in a dimensioner
US10163216B2 (en) 2016-06-15 2018-12-25 Hand Held Products, Inc. Automatic mode switching in a volume dimensioner
US10268266B2 (en) 2016-06-29 2019-04-23 Microsoft Technology Licensing, Llc Selection of objects in three-dimensional space
CN106155326A (zh) * 2016-07-26 2016-11-23 北京小米移动软件有限公司 虚拟现实通讯中的对象识别方法和装置、虚拟现实设备
CN106249882B (zh) 2016-07-26 2022-07-12 华为技术有限公司 一种应用于vr设备的手势操控方法与装置
US10529135B2 (en) * 2016-07-27 2020-01-07 Google Llc Low-power mode feature identification at a head mounted display
DE112016007015T5 (de) * 2016-07-29 2019-03-21 Mitsubishi Electric Corporation Anzeigevorrichtung, anzeigesteuervorrichtung und anzeigesteuerverfahren
JP6694637B2 (ja) 2016-08-30 2020-05-20 株式会社アルファコード 注目対象物に関する情報提供システムおよび情報提供方法
EP3291531A1 (en) * 2016-09-06 2018-03-07 Thomson Licensing Methods, devices and systems for automatic zoom when playing an augmented reality scene
CN106980362A (zh) 2016-10-09 2017-07-25 阿里巴巴集团控股有限公司 基于虚拟现实场景的输入方法及装置
US20180122134A1 (en) * 2016-11-02 2018-05-03 Htc Corporation Three-dimensional model construction system and three-dimensional model construction method
US20180129254A1 (en) * 2016-11-07 2018-05-10 Toyota Motor Engineering & Manufacturing North Ame rica, Inc. Wearable device programmed to record messages and moments in time
US10869026B2 (en) * 2016-11-18 2020-12-15 Amitabha Gupta Apparatus for augmenting vision
EP4270972A3 (en) * 2016-12-06 2024-01-03 Gurule, Donn M. Systems and methods for a chronological-based search engine
US10909708B2 (en) 2016-12-09 2021-02-02 Hand Held Products, Inc. Calibrating a dimensioner using ratios of measurable parameters of optic ally-perceptible geometric elements
JP2018137505A (ja) * 2017-02-20 2018-08-30 セイコーエプソン株式会社 表示装置およびその制御方法
US20180247712A1 (en) 2017-02-24 2018-08-30 Masimo Corporation System for displaying medical monitoring data
WO2018156809A1 (en) * 2017-02-24 2018-08-30 Masimo Corporation Augmented reality system for displaying patient data
JP2018142168A (ja) * 2017-02-28 2018-09-13 セイコーエプソン株式会社 頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法
US11047672B2 (en) 2017-03-28 2021-06-29 Hand Held Products, Inc. System for optically dimensioning
US10620779B2 (en) 2017-04-24 2020-04-14 Microsoft Technology Licensing, Llc Navigating a holographic image
WO2018208616A1 (en) 2017-05-08 2018-11-15 Masimo Corporation System for pairing a medical system to a network controller by use of a dongle
EP3407296A1 (en) * 2017-05-23 2018-11-28 Thomson Licensing Method and device for determining a characteristic of a display device
EP3432204B1 (en) * 2017-07-20 2024-01-17 Tata Consultancy Services Limited Telepresence framework for region of interest marking using headmount devices
US10733748B2 (en) 2017-07-24 2020-08-04 Hand Held Products, Inc. Dual-pattern optical 3D dimensioning
WO2019032967A1 (en) * 2017-08-10 2019-02-14 Google Llc HAND INTERACTION SENSITIVE TO THE CONTEXT
CN111629653B (zh) 2017-08-23 2024-06-21 神经股份有限公司 具有高速眼睛跟踪特征的大脑-计算机接口
US20190079288A1 (en) * 2017-09-13 2019-03-14 Htc Corporation Head mounted display system and image display method thereof
US10621746B2 (en) * 2017-11-07 2020-04-14 Symbol Technologies, Llc Methods and apparatus for rapidly dimensioning an object
KR20200098524A (ko) 2017-11-13 2020-08-20 뉴레이블 인크. 고속, 정확도 및 직관적 사용자 상호작용을 위한 적응을 갖춘 두뇌-컴퓨터 인터페이스
CN108304075B (zh) * 2018-02-11 2021-08-06 亮风台（上海）信息科技有限公司 一种在增强现实设备进行人机交互的方法与设备
US10584962B2 (en) 2018-05-01 2020-03-10 Hand Held Products, Inc System and method for validating physical-item security
US10948993B2 (en) * 2018-06-07 2021-03-16 Facebook, Inc. Picture-taking within virtual reality
WO2019237085A1 (en) 2018-06-08 2019-12-12 Vulcan Inc. Session-based information exchange
US20190378334A1 (en) * 2018-06-08 2019-12-12 Vulcan Inc. Augmented reality portal-based applications
US11087538B2 (en) * 2018-06-26 2021-08-10 Lenovo (Singapore) Pte. Ltd. Presentation of augmented reality images at display locations that do not obstruct user's view
US10897577B2 (en) * 2018-06-26 2021-01-19 Canon Kabushiki Kaisha Image capturing system, image capturing apparatus, illumination apparatus, and control method
US10996831B2 (en) 2018-06-29 2021-05-04 Vulcan Inc. Augmented reality cursors
CN108882025B (zh) * 2018-08-07 2019-12-10 北京字节跳动网络技术有限公司 视频帧处理方法和装置
US11393170B2 (en) 2018-08-21 2022-07-19 Lenovo (Singapore) Pte. Ltd. Presentation of content based on attention center of user
US10991139B2 (en) 2018-08-30 2021-04-27 Lenovo (Singapore) Pte. Ltd. Presentation of graphical object(s) on display to avoid overlay on another item
US10740918B2 (en) * 2018-09-12 2020-08-11 Dell Products, L.P. Adaptive simultaneous localization and mapping (SLAM) using world-facing cameras in virtual, augmented, and mixed reality (xR) applications
US10664050B2 (en) 2018-09-21 2020-05-26 Neurable Inc. Human-computer interface using high-speed and accurate tracking of user interactions
EP3740849B1 (en) * 2018-10-08 2023-12-20 Google LLC Hybrid placement of objects in an augmented reality environment
US11354787B2 (en) 2018-11-05 2022-06-07 Ultrahaptics IP Two Limited Method and apparatus for correcting geometric and optical aberrations in augmented reality
US11107293B2 (en) 2019-04-23 2021-08-31 XRSpace CO., LTD. Head mounted display system capable of assigning at least one predetermined interactive characteristic to a virtual object in a virtual environment created according to a real object in a real environment, a related method and a related non-transitory computer readable storage medium
CN110276251B (zh) * 2019-05-13 2023-07-25 联想（上海）信息技术有限公司 一种图像识别方法、装置、设备及存储介质
US10620713B1 (en) 2019-06-05 2020-04-14 NEX Team Inc. Methods and systems for touchless control with a mobile device
US11043192B2 (en) * 2019-06-07 2021-06-22 Facebook Technologies, Llc Corner-identifiying gesture-driven user interface element gating for artificial reality systems
DE102019210383A1 (de) * 2019-07-15 2021-01-21 Audi Ag Verfahren zum Betreiben eines mobilen Endgeräts mittels einer Gestenerkennungs- und Steuereinrichtung, Gestenerkennungs- und Steuereinrichtung, Kraftfahrzeug, und am Kopf tragbare Ausgabevorrichtung
EP3792817A1 (en) * 2019-09-10 2021-03-17 XRSpace CO., LTD. Method and system for human behavior identification
US11639846B2 (en) 2019-09-27 2023-05-02 Honeywell International Inc. Dual-pattern optical 3D dimensioning
US11275453B1 (en) 2019-09-30 2022-03-15 Snap Inc. Smart ring for manipulating virtual objects displayed by a wearable device
CN110716646A (zh) * 2019-10-15 2020-01-21 北京市商汤科技开发有限公司 一种增强现实数据呈现方法、装置、设备及存储介质
US11175730B2 (en) * 2019-12-06 2021-11-16 Facebook Technologies, Llc Posture-based virtual space configurations
US11348373B2 (en) * 2020-02-21 2022-05-31 Microsoft Technology Licensing, Llc Extended reality gesture recognition proximate tracked object
JP2021163287A (ja) * 2020-03-31 2021-10-11 エイベックス・テクノロジーズ株式会社 拡張現実システム
US11333892B2 (en) * 2020-04-24 2022-05-17 Hitachi, Ltd. Display apparatus, display system, and display method
US11798429B1 (en) 2020-05-04 2023-10-24 Snap Inc. Virtual tutorials for musical instruments with finger tracking in augmented reality
US11768535B1 (en) * 2020-05-18 2023-09-26 Apple Inc. Presenting computer-generated content based on extremity tracking
US11520399B2 (en) 2020-05-26 2022-12-06 Snap Inc. Interactive augmented reality experiences using positional tracking
US11257280B1 (en) 2020-05-28 2022-02-22 Facebook Technologies, Llc Element-based switching of ray casting rules
JP7057393B2 (ja) 2020-06-24 2022-04-19 株式会社電通 プログラム、ヘッドマウントディスプレイ及び情報処理装置
CN115997154A (zh) * 2020-06-29 2023-04-21 苹果公司 氛围驱动的用户体验
US11256336B2 (en) 2020-06-29 2022-02-22 Facebook Technologies, Llc Integration of artificial reality interaction modes
KR102305403B1 (ko) * 2020-09-02 2021-09-29 주식회사 피앤씨솔루션 깊이 영상을 이용한 착용형 증강현실 장치의 손동작 검출 방법 및 깊이 영상을 이용한 손동작 검출이 가능한 착용형 증강현실 장치
KR102305404B1 (ko) * 2020-09-03 2021-09-29 주식회사 피앤씨솔루션 적외선 영상을 이용한 착용형 증강현실 장치의 손동작 검출 방법 및 적외선 영상을 이용한 손동작 검출이 가능한 착용형 증강현실 장치
US11178376B1 (en) 2020-09-04 2021-11-16 Facebook Technologies, Llc Metering for display modes in artificial reality
US11925863B2 (en) 2020-09-18 2024-03-12 Snap Inc. Tracking hand gestures for interactive game control in augmented reality
US11546505B2 (en) 2020-09-28 2023-01-03 Snap Inc. Touchless photo capture in response to detected hand gestures
US20220100265A1 (en) * 2020-09-30 2022-03-31 Qualcomm Incorporated Dynamic configuration of user interface layouts and inputs for extended reality systems
EP4272064A1 (en) * 2020-12-29 2023-11-08 Snap, Inc. Micro hand gestures for controlling virtual and graphical elements
US11740313B2 (en) * 2020-12-30 2023-08-29 Snap Inc. Augmented reality precision tracking and display
KR102580559B1 (ko) * 2021-01-08 2023-09-21 한국전자통신연구원 시각적 정보를 이용한 통역 결과 제공 방법, 장치 및 시스템
US11294475B1 (en) 2021-02-08 2022-04-05 Facebook Technologies, Llc Artificial reality multi-modal input switching model
US12013985B1 (en) 2021-02-25 2024-06-18 Snap Inc. Single-handed gestures for reviewing virtual content
US11531402B1 (en) * 2021-02-25 2022-12-20 Snap Inc. Bimanual gestures for controlling virtual and graphical elements
US11640700B2 (en) * 2021-02-26 2023-05-02 Huawei Technologies Co., Ltd. Methods and systems for rendering virtual objects in user-defined spatial boundary in extended reality environment
WO2022212144A1 (en) * 2021-03-31 2022-10-06 Snap Inc. User-defined contextual spaces
US20220319125A1 (en) * 2021-03-31 2022-10-06 Snap Inc. User-aligned spatial volumes
US20220326781A1 (en) * 2021-04-08 2022-10-13 Snap Inc. Bimanual interactions between mapped hand regions for controlling virtual and graphical elements
US11861070B2 (en) 2021-04-19 2024-01-02 Snap Inc. Hand gestures for animating and controlling virtual and graphical elements
US11861315B2 (en) * 2021-04-21 2024-01-02 Meta Platforms, Inc. Continuous learning for natural-language understanding models for assistant systems
US11874969B2 (en) * 2021-09-15 2024-01-16 Htc Corporation Method for determining two-handed gesture, host, and computer readable medium
WO2023147281A1 (en) * 2022-01-25 2023-08-03 Google Llc Fool-proofing product identification
WO2024050460A1 (en) * 2022-09-01 2024-03-07 Snap Inc. 3d space carving using hands for object capture
WO2024053405A1 (ja) * 2022-09-07 2024-03-14 ソニーグループ株式会社 情報処理装置および情報処理方法
WO2024122984A1 (ko) * 2022-12-06 2024-06-13 삼성전자주식회사 복수의 어플리케이션들이 그룹핑된 영역을 이용하여 복수의 어플리케이션들을 제어하기 위한 웨어러블 장치 및 그 방법

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2002342067A1 (en) 2001-10-12 2003-04-22 Hrl Laboratories, Llc Vision-based pointer tracking method and apparatus
US20030202683A1 (en) * 2002-04-30 2003-10-30 Yue Ma Vehicle navigation system that automatically translates roadside signs and objects
GB2407635B (en) 2003-10-31 2006-07-12 Hewlett Packard Development Co Improvements in and relating to camera control
JP4408794B2 (ja) * 2004-11-18 2010-02-03 ザイオソフト株式会社 画像処理プログラム
CN1304931C (zh) 2005-01-27 2007-03-14 北京理工大学 一种头戴式立体视觉手势识别装置
WO2008153599A1 (en) 2006-12-07 2008-12-18 Adapx, Inc. Systems and methods for data annotation, recordation, and communication
JP4203863B2 (ja) 2007-07-27 2009-01-07 富士フイルム株式会社 電子カメラ
US8073198B2 (en) 2007-10-26 2011-12-06 Samsung Electronics Co., Ltd. System and method for selection of an object of interest during physical browsing by finger framing
JP5104679B2 (ja) 2008-09-11 2012-12-19 ブラザー工業株式会社 ヘッドマウントディスプレイ
WO2010029553A1 (en) * 2008-09-11 2010-03-18 Netanel Hagbi Method and system for compositing an augmented reality scene
US9569001B2 (en) 2009-02-03 2017-02-14 Massachusetts Institute Of Technology Wearable gestural interface
JP5304329B2 (ja) 2009-03-05 2013-10-02 ブラザー工業株式会社 ヘッドマウントディスプレイ装置、画像制御方法および画像制御プログラム
KR20110054256A (ko) * 2009-11-17 2011-05-25 엘지전자 주식회사 이동 단말기 및 그 제어방법
US8400548B2 (en) * 2010-01-05 2013-03-19 Apple Inc. Synchronized, interactive augmented reality displays for multifunction devices
US20120019557A1 (en) * 2010-07-22 2012-01-26 Sony Ericsson Mobile Communications Ab Displaying augmented reality information
KR101329882B1 (ko) * 2010-08-12 2013-11-15 주식회사 팬택 Ａｒ 정보창 표시를 위한 사용자 장치 및 그 방법
US9710554B2 (en) 2010-09-23 2017-07-18 Nokia Technologies Oy Methods, apparatuses and computer program products for grouping content in augmented reality
US20120092329A1 (en) * 2010-10-13 2012-04-19 Qualcomm Incorporated Text-based 3d augmented reality
KR101266198B1 (ko) * 2010-10-19 2013-05-21 주식회사 팬택 증강현실 객체정보의 가시성을 높이는 디스플레이 장치 및 디스플레이 방법
US9292973B2 (en) 2010-11-08 2016-03-22 Microsoft Technology Licensing, Llc Automatic variable virtual focus for augmented reality displays
US20120139907A1 (en) * 2010-12-06 2012-06-07 Samsung Electronics Co., Ltd. 3 dimensional (3d) display system of responding to user motion and user interface for the 3d display system
US9213405B2 (en) 2010-12-16 2015-12-15 Microsoft Technology Licensing, Llc Comprehension and intent-based content for augmented reality displays
US20130285908A1 (en) 2011-01-06 2013-10-31 Amir Kaplan Computer vision based two hand control of content
KR101252169B1 (ko) 2011-05-27 2013-04-05 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
US9377865B2 (en) * 2011-07-05 2016-06-28 Apple Inc. Zoom-based gesture user interface
US8881051B2 (en) * 2011-07-05 2014-11-04 Primesense Ltd Zoom-based gesture user interface
US8558759B1 (en) * 2011-07-08 2013-10-15 Google Inc. Hand gestures to signify what is important
US20130021374A1 (en) * 2011-07-20 2013-01-24 Google Inc. Manipulating And Displaying An Image On A Wearable Computing System
KR20220032059A (ko) * 2011-09-19 2022-03-15 아이사이트 모빌 테크놀로지 엘티디 증강 현실 시스템용 터치프리 인터페이스
US20130088514A1 (en) * 2011-10-05 2013-04-11 Wikitude GmbH Mobile electronic device, method and webpage for visualizing location-based augmented reality content
JPWO2013121807A1 (ja) * 2012-02-17 2015-05-11 ソニー株式会社 情報処理装置、情報処理方法およびコンピュータプログラム
US9747306B2 (en) * 2012-05-25 2017-08-29 Atheer, Inc. Method and apparatus for identifying input features for later recognition
US20130328925A1 (en) * 2012-06-12 2013-12-12 Stephen G. Latta Object focus in a mixed reality environment
US8837780B2 (en) * 2012-06-22 2014-09-16 Hewlett-Packard Development Company, L.P. Gesture based human interfaces
US9076033B1 (en) * 2012-09-28 2015-07-07 Google Inc. Hand-triggered head-mounted photography
US10133342B2 (en) 2013-02-14 2018-11-20 Qualcomm Incorporated Human-body-gesture-based region and volume selection for HMD
KR20150096948A (ko) * 2014-02-17 2015-08-26 엘지전자 주식회사 증강 현실 사진 촬영 가이드를 디스플레이 하는 헤드 마운티드 디스플레이 디바이스 및 그 제어 방법

Also Published As

Publication number Publication date
TWI534654B (zh) 2016-05-21
CN105027033B (zh) 2017-10-31
US20140225918A1 (en) 2014-08-14
KR102358983B1 (ko) 2022-02-04
ES2759054T3 (es) 2020-05-07
KR20150116871A (ko) 2015-10-16
EP3518080A1 (en) 2019-07-31
EP2956843B1 (en) 2019-08-28
JP2016514298A (ja) 2016-05-19
US11262835B2 (en) 2022-03-01
US20190025909A1 (en) 2019-01-24
TW201502860A (zh) 2015-01-16
HUE047027T2 (hu) 2020-04-28
CN105027033A (zh) 2015-11-04
WO2014126966A1 (en) 2014-08-21
US10133342B2 (en) 2018-11-20
EP2956843A1 (en) 2015-12-23

Similar Documents

Publication Publication Date Title
US11262835B2 (en) Human-body-gesture-based region and volume selection for HMD
US11494000B2 (en) Touch free interface for augmented reality systems
CN114303120B (zh) 虚拟键盘
US11080937B2 (en) Wearable augmented reality devices with object detection and tracking
US10591729B2 (en) Wearable device
KR102473259B1 (ko) 시선 타겟 애플리케이션 런처
US20180120935A1 (en) Visibility improvement method based on eye tracking, machine-readable storage medium and electronic device
US9389420B2 (en) User interface interaction for transparent head-mounted displays
KR101603680B1 (ko) 컴퓨터 비젼 애플리케이션들에서 상호작용 반경을 확대하기 위한 제스쳐-제어 기법
WO2015200406A1 (en) Digital action in response to object interaction
US20180143693A1 (en) Virtual object manipulation
EP4222581A1 (en) Dynamic configuration of user interface layouts and inputs for extended reality systems
KR102561274B1 (ko) 디스플레이 장치 및 디스플레이 장치의 제어 방법
US20220277166A1 (en) Methods and systems for rendering virtual objects in user-defined spatial boundary in extended reality environment
KR20210102210A (ko) 상호 작용을 위한 물리적 인터페이스로서의 모바일 플랫폼
KR20230124363A (ko) 전자 장치 및 전자 장치의 제어 방법
KR20240036582A (ko) 물리적 객체와의 사용자 인터페이스에 대한 상호작용들을 관리하기 위한 방법 및 디바이스

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170127

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170127

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20171023

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171030

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180209

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180509

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180521

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180613

R150 Certificate of patent or registration of utility model

Ref document number: 6356157

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250