JP7589696B2 - 情報処理装置及び情報処理方法、コンピュータプログラム、並びに拡張現実感システム - Google Patents

情報処理装置及び情報処理方法、コンピュータプログラム、並びに拡張現実感システム Download PDF

Info

Publication number
JP7589696B2
JP7589696B2 JP2021570663A JP2021570663A JP7589696B2 JP 7589696 B2 JP7589696 B2 JP 7589696B2 JP 2021570663 A JP2021570663 A JP 2021570663A JP 2021570663 A JP2021570663 A JP 2021570663A JP 7589696 B2 JP7589696 B2 JP 7589696B2
Authority
JP
Japan
Prior art keywords
user
hand
unit
information processing
orientation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021570663A
Other languages
English (en)
Other versions
JPWO2021145067A1 (ja
Inventor
毅 石川
淳 木村
郁男 山野
真一 河野
壮一郎 稲谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2021145067A1 publication Critical patent/JPWO2021145067A1/ja
Application granted granted Critical
Publication of JP7589696B2 publication Critical patent/JP7589696B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating three-dimensional [3D] models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating three-dimensional [3D] models or images for computer graphics
    • G06T19/20—Editing of three-dimensional [3D] images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/11—Hand-related biometrics; Hand pose recognition
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Optics & Photonics (AREA)
  • Architecture (AREA)
  • Geometry (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

本明細書で開示する技術（以下、「本開示」とする）は、拡張現実に関する情報を処理する情報処理装置及び情報処理方法、コンピュータプログラム、並びに拡張現実感システムに関する。
臨場感のある体験を実現する技術として、仮想現実（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ：ＶＲ）や拡張現実（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ：ＡＲ）、ＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）が普及してきている。ＶＲは仮想空間を現実として知覚させる技術である。また、ＡＲは、ユーザを取り巻く現実環境に情報を付加したり、強調又は減衰、削除したりして、ユーザから見た実空間を拡張させる技術である。また、ＭＲは、実空間に対応する仮想の情報を表示して、現実と仮想を交錯させる技術である。ＡＲやＭＲは、例えばシースルー型のヘッドマウントディスプレイ（以下、「ＡＲグラス」とも呼ぶ）を用いて実現される（例えば、特許文献１を参照のこと）。ＡＲ技術によれば、ユーザがＡＲグラス越しに観察する実空間の風景に、デジタル情報を重畳表示したり、特定の実オブジェクトを強調し又は減衰したり、特定の実オブジェクトを削除してあたかも存在しないように見せたりすることができる。
特開２０１４－９３０５０号公報
本開示の目的は、拡張現実に関する情報を処理する情報処理装置及び情報処理方法、コンピュータプログラム、並びに拡張現実感システムを提供することにある。
本開示の第１の側面は、
ユーザの身体上の第１の部位の位置姿勢又は形状を取得する取得部と、
前記第１の部位の位置姿勢又は形状に基づいて、表示装置において実空間に表示する仮想オブジェクトを制御する制御部と、
を具備する情報処理装置である。
前記制御部は、前記取得部が取得した前記第１の部位の位置姿勢又は形状に基づいて、前記第１の部位がユーザの身体上の第２の部位に対して第１の操作を行ったことを認識すると、前記仮想オブジェクトの実行状態を前記第２の部位に紐付けして格納して、前記表示装置による前記仮想オブジェクトの表示を停止させる。
また、前記制御部は、前記取得部が取得した前記第１の部位の位置姿勢又は形状に基づいて、前記第１の部位がユーザの身体上の第２の部位に対して第２の操作を行ったことを認識すると、前記第２の部位に紐付けして格納した実行状態に基づいて前記仮想オブジェクトの表示を復元する。
また、本開示の第２の側面は、
ユーザの身体上の第１の部位の位置姿勢又は形状を取得する取得ステップと、
前記第１の部位の位置姿勢又は形状に基づいて、表示装置において実空間に表示する仮想オブジェクトを制御する制御ステップと、
を有する情報処理方法である。
また、本開示の第３の側面は、
ユーザの身体上の第１の部位の位置姿勢又は形状を取得する取得部、
前記第１の部位の位置姿勢又は形状に基づいて、表示装置において実空間に表示する仮想オブジェクトを制御する制御部、
としてコンピュータが機能するようにコンピュータ可読形式で記述されたコンピュータプログラムである。
本開示の第３の側面に係るコンピュータプログラムは、コンピュータ上で所定の処理を実現するようにコンピュータ可読形式で記述されたコンピュータプログラムを定義したものである。換言すれば、本開示の第３の側面に係るコンピュータプログラムをコンピュータにインストールすることによって、コンピュータ上では協働的作用が発揮され、本開示の第１の側面に係る情報処理装置と同様の作用効果を得ることができる。
また、本開示の第４の側面は、
実空間に仮想オブジェクトを表示する表示装置と、
ユーザの身体上の第１の部位の位置姿勢又は形状を取得する取得部と、
前記第１の部位の位置姿勢又は形状に基づいて仮想オブジェクトの表示を制御する制御部と、
を具備する拡張現実感システムである。
但し、ここで言う「システム」とは、複数の装置（又は特定の機能を実現する機能モジュール）が論理的に集合した物のことを言い、各装置や機能モジュールが単一の筐体内にあるか否かは特に問わない。
本開示によれば、ユーザの手指の位置姿勢に基づいてユーザに表示する仮想オブジェクトの動作を制御する情報処理装置及び情報処理方法、コンピュータプログラム、並びに拡張現実感システムを提供することができる。
なお、本明細書に記載された効果は、あくまでも例示であり、本開示によりもたらされる効果はこれに限定されるものではない。また、本開示が、上記の効果以外に、さらに付加的な効果を奏する場合もある。
本開示のさらに他の目的、特徴や利点は、後述する実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
図１は、ＡＲシステム１００の機能的構成例を示した図である。 図２は、ユーザの頭部にＡＲグラスを装着した様子を示した図である。 図３は、ＡＲシステム３００の構成例を示した図である。 図４は、ＡＲシステム４００の構成例を示した図である。 図５は、コントローラ４００をユーザの手に装着した例を示した図である。 図６は、制御部１４０が備える機能的構成例を示した図である。 図７は、ＡＲグラスを頭部に装着したユーザの周囲に仮想オブジェクトが配置される様子を示した図である。 図８は、ＡＲグラスがユーザの頭部の動きに追従するように仮想オブジェクトを表示させる仕組みを説明するための図である。 図９は、キャリブレーションによりＵＩ設定可能領域を検出する仕組みを説明するための図である。 図１０は、キャリブレーションによりＵＩ設定可能領域を検出する仕組みを説明するための図である。 図１１は、ＡＲアプリのＵＩの格納及び復元動作を示した図である。 図１２は、ＡＲアプリのＵＩの格納及び復元動作を示した図である。 図１３は、ＡＲアプリのＵＩの格納及び復元動作を示した図である。 図１４は、ＡＲアプリのＵＩの格納及び復元動作を示した図である。 図１５は、ＡＲアプリを格納及び復元動作する動作手順を示したフローチャートである。 図１６は、ユーザの身体上にＵＩ設置可能領域のオーラを表示した例を示した図である。 図１７は、ユーザの手元に遠方に配置されたＡＲアプリを操作するための操作ＵＩの仮想オブジェクトを配置した例を示した図である。 図１８は、ユーザの手のひらに操作ＵＩの仮想オブジェクトを表示している例を示した図である。 図１９は、ユーザの手のひらに操作ＵＩの仮想オブジェクトを表示している例を示した図である。 図２０は、ユーザの手の甲にＡＲアプリの機能を割り当てる例を示した図である。 図２１は、座標入力を行う操作ＵＩを手のひらに配置した例を示した図である。 図２２は、座標入力を行う操作ＵＩを手のひらに配置した例を示した図である。 図２３は、座標入力を行う操作ＵＩを手のひらに配置した例を示した図である。 図２４は、座標入力を行う操作ＵＩを手のひらに配置した例を示した図である。 図２５は、座標入力を行う操作ＵＩを手のひらに配置した例を示した図である。 図２６は、座標入力を行う操作ＵＩを手のひらに配置した例を示した図である。
以下、図面を参照しながら本開示の実施形態について詳細に説明する。
ＷｉｎｄｏｗｓやＬｉｎｕｘ（登録商標）などのオペレーティングシステム（ＯＳ）では、スクリーンに配置しておくと邪魔なアプリケーションのウィンドウを最小化して、例えばスクリーンの下端縁のタスクバーに格納するというユーザインターフェース（ＵＩ）が利用されている。複数のアプリケーションを同時に起動している場合、邪魔なアプリケーションのウィンドウを最小化してスクリーンの周辺に退避させることにより、スクリーンが整然とする。
一方、ＡＲグラス上では、例えば動画再生や３Ｄオブジェクトのビューアなどのアプリケーションが起動すると（以下、ＡＲグラス上で起動するアプリケーションを「ＡＲアプリ」とも呼ぶ）、起動中のＡＲアプリはユーザの視界の中に重畳表示されるが、ＡＲアプリを最小化するＵＩはなく、ユーザは邪魔になったＡＲアプリを視界から見えなくするにはＡＲアプリを閉じる処理を行うしかない。ＡＲアプリを閉じると、そのＡＲアプリの実行状態を破棄して初期状態に戻ってしまうため、不便である。例えば動画再生のＡＲアプリを一旦閉じて次回起動したときには、コンテンツの再生位置や再生していたコンテンツの情報が破棄されているため、閉じる直前の実行状態を復元するのが容易でない。
また、ＷｉｎｄｏｗｓやＬｉｎｕｘ（登録商標）などのＯＳでは、キーボードやマウス、タッチパネルなどの入力装置を介して起動中のアプリケーションに対する操作が行われる。ＡＲグラスでも、ユーザがＡＲアプリを操作するためのコントローラを用いてもよい。しかしながら、ユーザはＡＲグラス越しに実空間を見渡すことができ、ユーザは歩行や物（実オブジェクトと仮想オブジェクトを含む）の把持など実空間での日常生活を行いながらＡＲグラスを利用することが好ましい。このため、コントローラを把持することなどにより手指が拘束されず、手指が自由に使える状態であることが好ましい。付言すれば、ＡＲアプリの格納や復元、さらには復元した後のＡＲアプリの操作も手指で行えることが好ましい。さらに言えば、ユーザは、手元を見ながらではなく、正面のＡＲアプリの表示位置に視線を向けながら、よそ見することなく、ＡＲアプリの格納や復元の操作を手指で行えることが好ましい。
ＡＲグラスの中には、実空間を観察するために外向きのカメラを搭載したものもある。外向きカメラの撮影画像の画像認識に基づいて、ユーザの手や指の操作やその他のジェスチャを入力することができる。しかしながら、ユーザの頭部位置にある外向きカメラの視野から外れた位置で行われるユーザの手指の操作を入力することはできない。また、ユーザの手が他の物体の陰に隠れるといったオクルージョンが発生すると、外向きカメラで手や指の操作を捕捉することができない。また、外向きカメラの撮影画像の画像認識から、手や指先と物との接触の有無や、物に接触している手指の形状を正確に取得できない場合がある。
そこで、本開示では、ユーザの手指の位置姿勢を検出するセンサ部を用いて手指の形状に関する情報を取得し、取得した手指の形状に基づいてＡＲアプリの格納や復元を行うようにする。
Ａ．システム構成
図１には、本開示を適用したＡＲシステム１００の機能的構成例を示している。図示のＡＲシステム１００は、ＡＲグラスを装着したユーザの手の位置検出とユーザの手指の形状を検出する第１のセンサ部１１０と、ＡＲグラスに搭載される第２のセンサ部１２０と、ＡＲグラスにＡＲアプリなどの仮想オブジェクトを表示する表示部１３１と、ＡＲシステム１００全体の動作を統括的にコントロールする制御部１４０を備えている。第１のセンサ部１１０は、ジャイロセンサ１１１と、加速度センサ１１２と、方位センサ１１３を備えている。第２のセンサ部１２０は、ＡＲグラスに搭載されるが、外向きカメラ１２１と、内向きカメラ１２２と、マイク１２３と、ジャイロセンサ１２４と、加速度センサ１２５と、方位センサ１２６を含んでいる。
また、ＡＲシステム１００は、仮想オブジェクトに関わる音声などのオーディオ信号を出力するスピーカー１３２や、ユーザの手の甲やその他の身体の部位に振動提示によるフィードバックを行う振動提示部１３３と、ＡＲシステム１００が外部と通信を行うための通信部１３４をさらに備えていてもよい。また、制御部１４０は、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）などからなる大規模な記憶部１５０を装備していてもよい。
ＡＲグラス本体は、一般には眼鏡型又はゴーグル型のデバイスであり、ユーザが頭部に装着して利用され、ユーザの両目又は片目の視野にデジタル情報を重畳表示したり、特定の実オブジェクトを強調し又は減衰したり、特定の実オブジェクトを削除してあたかも存在しないように見せたりすることができる。図２には、ユーザの頭部にＡＲグラスを装着した様子を示している。図示のＡＲグラスは、ユーザの左右の眼の前にそれぞれ左目用の表示部１３１と右目用の表示部１３１が配設されている。表示部１３１は、透明又は半透明で、実空間の風景に仮想オブジェクトを重畳表示したり、特定の実オブジェクトを強調し又は減衰したり、特定の実オブジェクトを削除してあたかも存在しないように見せたりする。左右の表示部１３１は、例えば独立して表示駆動され、視差画像すなわち仮想オブジェクトを３Ｄ表示するようにしてもよい。また、ＡＲグラスのほぼ中央には、ユーザの視線方向に向けられた外向きカメラが配置されている。
ＡＲシステム１００は、例えばユーザが頭部に装着するＡＲグラスと、ユーザの手に装着されるコントローラという２つの装置で構成することができる。図３には、ＡＲグラス３０１とコントローラ３０２からなるＡＲシステム３００の構成例を示している。ＡＲグラス３０１は、制御部１４０と、記憶部１５０と、第２のセンサ部１２０と、表示部１３１と、スピーカー１３２と、通信部１３４を含んでいる。また、コントローラ３０２は、第１のセンサ部１１０と、振動提示部１３３を含んでいる。
他の構成例として、ＡＲシステム１００は、ユーザが頭部に装着するＡＲグラスと、ユーザの手に装着されるコントローラと、スマートフォンやタブレットなどの情報端末という３台の装置で構成される。図４には、ＡＲグラス４０１とコントローラ４０２と情報端末４０３からなるＡＲシステム４００の構成例を示している。ＡＲグラス４０１は、表示部１３１と、スピーカー１３２と、第２のセンサ部１２０を含んでいる。コントローラ４０２は、第１のセンサ部１１０と、振動提示部１３３を含んでいる。また、情報端末４０３は、制御部１４０と、記憶部１５０と、通信部１３４を含んでいる。
なお、ＡＲシステム１００の具体的に装置構成は、図３と図４に限定されるものではない。また、ＡＲシステム１００は、図１に示した以外の構成要素をさらに含んでいてもよい。
ＡＲシステム１００の各構成要素について説明する。
図３及び図４にも示したように、第１のセンサ部１１０と振動提示部１３３は、ユーザの手に装着するコントローラとして構成される。第１のセンサ部１１０は、ジャイロセンサ１１１と、加速度センサ１１２と、方位センサ１１３を備えている。第１のセンサ部１１０は、ジャイロセンサと加速度センサと方位センサを備えたＩＭＵ（Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ）であってもよい。また、振動提示部１３３は、電磁型や圧電型の振動子をアレイ状に配置して構成される。第１のセンサ部１１０のセンサ信号は、制御部１４０に転送される。
図５には、第１のセンサ部１１０及び振動提示部１３３からなるコントローラ５００をユーザの手に装着した例を示している。図５に示す例では、親指と、人差し指の基節及び中節の３箇所に、ＩＭＵ５０１、５０２、５０３がそれぞれバンド５１１、５１２、５１３によって取り付けられている。また、振動提示部１３３は、手の甲に取り付けられている。これによって、親指の姿勢、人差し指の基節及び中節の姿勢（又は、人差し指の第２関節の角度）を計測することができる。振動提示部１３３は、バンド（図示しない）又は粘着パッドなどで手の甲に固定されていてもよい。
但し、図５は第１のセンサ部１１０の一例を示すものであり、親指と人差し指の別の場所にさらに他のＩＭＵを取り付けてもよいし、親指と人差し指以外の指にもＩＭＵを取り付けてもよい。また、ＩＭＵの各指への固定方法はバンドに限定されない。また、図５は右手に第１のセンサ部１１０及び振動提示部１３３を取り付けた例を示しているが、右手ではなく左手に取り付けてもよいし、両手に取り付けてもよい。
また、第１のセンサ部１１０（図５に示す例では、ＩＭＵ５０１、５０２、５０３）によるセンサ信号を制御部１４０に送信するとともに、制御部１４０から振動提示部１３３の駆動信号を受信するための有線又は無線の伝送路があるものとする。制御部１４０は、第１のセンサ部１１０のセンサ信号に基づいて、手指の位置姿勢を検出することができる。図５に示すように、親指と人差し指の基節及び中節の３箇所にＩＭＵ５０１、５０２、５０３が取り付けられている場合には、制御部１４０は、各ＩＭＵ５０１、５０２、５０３の検出信号に基づいて、親指と人差し指の開き角度、人差し指の第２関節の角度、親指と人差し指の指先の接触の有無など、手指の位置姿勢（又は、手指の形状）並びに手指のジェスチャを認識することができる。
再び図１を参照して、ＡＲシステム１００の各構成要素の説明を続ける。
第２のセンサ部１２０は、ＡＲグラスに搭載されるが、外向きカメラ１２１と、内向きカメラ１２２と、マイク１２３と、ジャイロセンサ１２４と、加速度センサ１２５と、方位センサ１２６を含んでいる。
外向きカメラ１２１は、例えばＲＧＢカメラからなり、ＡＲグラスの外側すなわちＡＲグラスを装着したユーザの正面方向を撮影するように設置されている。外向きカメラ１２１は、ユーザの手指の操作を撮影することができるが、障害物の陰にユーザの手指が隠れてしまった場合、手の甲で指先が隠れている場合、ユーザが身体の後ろに手をまわした場合などには、ユーザの手指の操作を撮影することができない。また、外向きカメラ１２１は、ＩＲ発光部及びＩＲ受光部からなるＩＲカメラ、ＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）カメラのうちいずれか１つをさらに備えていてもよい。外向きカメラ１２１にＩＲカメラを用いる場合、手の甲など捕捉の対象となる物体に再帰性反射材を取り付けて、ＩＲカメラは赤外光を発光するとともに再帰性反射材から反射された赤外光を受光する。外向きカメラ１２１で撮影した画像信号は、制御部１４０に転送される。
内向きカメラ１２２は、例えばＲＧＢカメラからなり、ＡＲグラスの内側、具体的にはＡＲグラスを装着したユーザの眼を撮影するように設置されている。内向きカメラ１２２の撮影画像に基づいて、ユーザの視線方向を検出することができる。内向きカメラ１２２で撮影した画像信号は、制御部１４０に転送される。
マイク１２３は、単一の収音素子あるいは複数の収音素子からなるマイクアレイであってもよい。マイク１２３は、ＡＲグラスを装着したユーザの音声やユーザの周囲音を収音する。マイク１２３で収音したオーディオ信号は、制御部１４０に転送される。
ジャイロセンサ１２４と、加速度センサ１２５と、方位センサ１２６は、ＩＭＵで構成されていてもよい。ジャイロセンサ１２４と、加速度センサ１２５と、方位センサ１２６のセンサ信号は、制御部１４０に転送される。制御部１４０は、これらのセンサ信号に基づいて、ＡＲグラスを装着したユーザの頭部の位置姿勢を検出することができる。
表示部１３１は、ＡＲグラスを装着したユーザの両目又は片目の前方に設置される透過型ディスプレイ（メガネレンズなど）で構成され、仮想世界の表示に利用される。具体的には、表示部１３１は、情報（仮想オブジェクト）を表示したり、現実のオブジェクトを強調又は減衰、削除したりして、ユーザから見た実空間を拡張させる。表示部１３１は、制御部１４０からの制御信号に基づいて表示動作を行う。また、表示部１３１で仮想オブジェクトをシースルー表示する仕組みは特に限定されない。
スピーカー１３２は、単一の発音素子、又は複数の発音素子のアレイで構成され、例えばＡＲグラスに設置される。スピーカー１３２からは、例えば表示部１３１で表示される仮想オブジェクトに関する音声が出力されるが、その他のオーディオ信号を出力するようにしてもよい。
通信部１３４は、例えばＷｉ－Ｆｉ（登録商標）やＢｌｕｅｔｏｏｔｈ（登録商標）などの無線通信機能を備えている。通信部１３４は、主に制御部１４０と外部システム（図示しない）とのデータ交換を実現するための通信動作を行う。
制御部１４０は、ＡＲグラス内に設置されるか、又はＡＲグラスとは分離した装置（スマートフォンなど）内に、記憶部１５０やバッテリなどの駆動用電源とともに配置される。制御部１４０は、記憶部１５０から読み出した各種プログラムを実行してさまざまな処理を実施する。
図６には、制御部１４０が備える機能的構成例を模式的に示している。図示の例では、制御部１４０は、アプリケーション実行部６０１と、頭部位置姿勢検出部６０２と、出力制御部６０３と、手指位置姿勢検出部６０４と、手指ジェスチャ検出部６０５と、ＵＩ設置可能領域検出部６０６を備えている。これらの機能モジュールは、制御部１４０が記憶部１５０から読み出した各種プログラムを実行することにより実現される。但し、図６には本開示を実現するための必要最低限の機能モジュールのみを図示しており、制御部１４０はさらに他の機能モジュールを備えていてもよい。
アプリケーション実行部６０１は、ＯＳが提供する実行環境下で、ＡＲアプリを含むアプリケーションプログラムを実行する。アプリケーション実行部６０１は、複数のアプリケーションプログラムを同時に並行して実行してもよい。ＡＲアプリは、例えば動画再生や３Ｄオブジェクトのビューアなどのアプリケーションであるが、ＡＲグラス（図２を参照のこと）を頭部に装着したユーザの視界の中に仮想オブジェクトを重畳表示したり、特定の実オブジェクトを強調し又は減衰したり、特定の実オブジェクトを削除してあたかも存在しないように見せたりする。アプリケーション実行部６０１は、ＡＲアプリ（仮想オブジェクト）の表示動作も制御する。ＡＲアプリが生成する仮想オブジェクトは、ユーザの全周囲にわたって配置される。図７には、ＡＲグラスを頭部に装着したユーザの周囲７００に複数の仮想オブジェクト７０１、７０２、７０３、…が配置される様子を模式的に示している。アプリケーション実行部６０１は、第２のセンサ部１２０からのセンサ情報に基づいて推定されるユーザの頭部の位置又は身体の重心位置を基準にして、ユーザの周囲に各仮想オブジェクト７０１、７０２、７０３、…を配置する。
頭部位置姿勢検出部６０２は、ＡＲグラスに搭載される第２のセンサ部１２０に含まれるジャイロセンサ１２４と、加速度センサ１２５と、方位センサ１２６の各センサ信号に基づいて、ユーザの頭部の位置姿勢を検出し、さらにはユーザの視線方向又は視野範囲を認識する。
出力制御部６０３は、ＡＲアプリなどのアプリケーションプログラムの実行結果に基づいて、表示部１３１、スピーカー１３２、及び振動提示部１３３の出力を制御する。例えば、出力制御部６０３は、頭部位置姿勢検出部６０２の検出結果に基づいてユーザの視野範囲を特定して、視野範囲に配置された仮想オブジェクトがＡＲグラス越しにユーザが観察できるように、すなわちユーザの頭部の動きに追従するように表示部１３１による仮想オブジェクトの表示動作を制御する。
ＡＲグラスがユーザの頭部の動きに追従するように仮想オブジェクトを表示させる仕組みについて、図８を参照しながら説明する。図８では、ユーザの視線の奥行き方向がｚw軸、水平方向がｙw軸、垂直方向がｘw軸であり、ユーザの基準軸ｘwｙwｚwの原点位置はユーザの視点位置とする。ロールθzはユーザの頭部のｚw軸回りの運動、チルトθyはユーザの頭部のｙw軸回りの運動、パンθzはユーザの頭部のｘw軸回りの運動に相当する。頭部位置姿勢検出部６０２は、ジャイロセンサ１２４と、加速度センサ１２５と、方位センサ１２６のセンサ信号に基づいて、ユーザの頭部のロール、チルト、パンの各方向の動き（θz，θy，θz）や頭部の平行移動からなる姿勢情報を検出する。そして、出力制御部６０３は、ユーザの頭部の姿勢に追従するように、仮想オブジェクトが配置された実空間（例えば、図７を参照のこと）上で表示部１３１の表示画角を移動させ、その表示画角に存在する仮想オブジェクトの画像を表示部１３１で表示する。具体的には、ユーザの頭部運動のロール成分に応じて領域８０２－１を回転させたり、ユーザの頭部運動のチルト成分に応じて領域８０２－２を移動させたり、ユーザの頭部運動のパン成分に応じて領域８０２－３を移動させたりして、ユーザの頭部の動きを打ち消すように表示画角を移動させる。したがって、表示部１３１にはユーザの頭部の位置姿勢に追従して移動した表示画角に配置された仮想オブジェクトが表示されるので、ユーザは、ＡＲグラス越しに、仮想オブジェクトが重畳された実空間を観察することができる。
再び図６を参照して、制御部１４０の機能的構成について説明する。
手指位置姿勢検出部６０４は、外向きカメラ１２１で撮影した画像の認識結果、又は第１のセンサ部１１０の検出信号に基づいて、ＡＲグラスを装着したユーザの手及び指の位置姿勢を検出する。また、手指ジェスチャ検出部６０５は、外向きカメラ１２１で撮影した画像の認識結果、又は第１のセンサ部１１０の検出信号に基づいて、ＡＲグラスを装着したユーザの手指のジェスチャを検出する。ここで言う手指のジェスチャは、手指の形状、具体的には人差し指の第３関節及び第２関節の角度や、親指と人差し指の指先の接触の有無などを含む。
本実施形態では、手指位置姿勢検出部６０４及び手指ジェスチャ検出部６０５は、主に、ユーザの手に取り付けた第１のセンサ部１１０（ジャイロセンサ１１１と、加速度センサ１１２と、方位センサ１１３）からの位置姿勢の情報と、指が取り得る位置姿勢の拘束条件を用いて、より高精度に手指の姿勢及び手指のジェスチャを検出する。例えば、ユーザが背中や尻など身体の背面側に手を回した場合、頭部からの画像認識では手指の位置姿勢を検出できないが、手に装着した第１のセンサ部１１０のセンサ信号を用いれば高精度で手指の位置姿勢を検出することができる。他方、外向きカメラ１２１を用いて手指の位置姿勢や手指のジェスチャを検出する方法の場合、オクルージョンなどにより高精度に検出できない場合がある。
ＵＩ設置可能領域検出部６０６は、ユーザの身体上で、ＵＩを設置することが可能な領域を検出する。ここで言うＵＩは、具体的には、アプリケーション実行部６０１が実行しているＡＲアプリを最小化したＵＩのことである。また、ＵＩ設置可能領域は、例えばユーザの背中や腰、腕などである。ＵＩの設置は、ＡＲアプリの実行状態を保持したままＵＩ設置可能領域の場所と紐付けして格納することを意味する。格納されたＡＲアプリの仮想オブジェクトは、ユーザの視界から消える。
なお、ＵＩ設置可能領域検出部６０６は、１つのＵＩ設置可能領域を検出してもよいし、同時に複数のＵＩ設置可能領域を検出してもよい。複数のＵＩ設置可能領域を検出した場合、各ＵＩ設置可能領域にそれぞれ別のＡＲアプリを最小化したＵＩを格納することができる。また、格納及び復元を指示する手指のジェスチャを使い分けることによって、１つのＵＩ設置可能領域に複数のＡＲアプリのＵＩを重複して格納するようにしてもよい。
Ｂ．ＵＩ設置可能領域
従来、ユーザが邪魔になったＡＲアプリを視界から見えなくするにはＡＲアプリを閉じるしかなく、ＡＲアプリを閉じると、そのＡＲアプリの実行状態を破棄して初期状態に戻ってしまう。これに対し、本実施形態では、ユーザは、身体上の部位を手指で指定して、特定の手指のジェスチャ動作により、ＡＲアプリを最小化したＵＩをその指定した部位に格納することができる。格納された後のＡＲアプリの仮想オブジェクトはユーザの視界から消えるが、最小化したＵＩはＡＲアプリの実行状態を保持し続ける。その後、ユーザは、ＵＩが格納されている身体上の部位に対してＵＩを復元するための特定の手指のジェスチャ動作を行うことにより、最小化したＵＩから元のＡＲアプリを格納する前の実行状態で復元して、そのＡＲアプリの仮想オブジェクトをユーザの視界の元の場所に出現させることができる。
このようなＡＲアプリの格納及び復元動作を実現するために、ＵＩ設置可能領域検出部６０６は、ユーザの身体上で、ＵＩを設置することが可能な領域を検出する。また、アプリケーション実行部６０１は、手指位置姿勢検出部６０４の検出結果に基づいて、ユーザが現在手に持っているＡＲアプリ、あるいはユーザが手や指で指定したＡＲアプリを特定する。そして、アプリケーション実行部６０１は、ＵＩ設置可能領域検出部６０６が検出したＵＩ設置可能領域内で、ＡＲアプリの格納又はＡＲアプリの復元を指示する手指のジェスチャをユーザが行ったことを、手指位置姿勢検出部６０４及び手指ジェスチャ検出部６０５の検出結果に基づいて認識すると、手指のジェスチャで指定した身体上の部位にＡＲアプリのＵＩを格納したり、ＵＩを格納した身体上の部位からＡＲアプリを復元したりする。
ＵＩ設置可能領域について、さらに詳しく説明する。頭部位置姿勢検出部６０２は、ＡＲグラスに搭載される第２のセンサ部１２０に含まれるジャイロセンサ１２４と、加速度センサ１２５と、方位センサ１２６の検出信号に基づいて、ユーザの頭部の位置姿勢を高精度に検出することができる。したがって、ＵＩ設置可能領域検出部６０６は、ユーザの頭部の位置を基準としてそこから特定のオフセットを加えた場所やユーザの背中や腰などの部位を、ＵＩ設置可能領域として検出する。
また、ユーザの手にも第１のセンサ部１１０を装着しているので、第１のセンサ部１１０に含まれるジャイロセンサ１１１と、加速度センサ１１２と、方位センサ１１３から手の位置を取得し、手の位置からおおまかに腕の位置を推定することが可能であるから、ＵＩ設置可能領域検出部６０６は、さらに腕もＵＩ設置可能領域として検出する。もちろん、位置を取得したい場所に、トラッキングするセンサ（ＩＭＵなど）を取り付けて、ＵＩ設置可能領域として特定できるようにしてもよい。
また、ＵＩ設置可能領域検出部６０６は、位置を取得したい場所にトラッキングするセンサが直接取り付けられていない場合でも、第１のセンサ部１１０のセンサ情報から検出される手の位置姿勢と第２のセンサ部１２０のセンサ情報から検出される頭部の位置姿勢など、検出可能な身体の部位の位置姿勢情報に基づいて、逆キネマティクス演算技術を用いて推定可能なその他の身体の部位をＵＩ設置可能領域として検出するようにしてもよい。
また、ＵＩ設置可能領域検出部６０６は、検出可能な身体の部位の情報に基づいて、機械学習モデルを用いて位置を推定することが可能なその他の身体の部位をＵＩ設置可能領域として検出するようにしてもよい。ＵＩ設置可能領域検出部６０６は、第１のセンサ部１１０や第２のセンサ部１２０からのセンサ情報に基づいて最適なＵＩ設置可能領域を推定するように深層学習された機械学習モデルを利用するようにしてもよい。この機械学習モデルに対しては、例えば、使用時のユーザの手指操作の失敗回数などに基づく損失関数を定義して、損失関数が最小となるように誤差逆伝播により深層学習が行われる。
また、ＵＩ設置可能領域検出部６０６は、ユーザの身体からＵＩ設置可能領域となる部位を検出するだけでなく、ＵＩ設置可能領域のサイズや形状も決定するようにしてもよい。例えば、ユーザが体性感覚に基づいて精度よく手指で操作することが困難な部位の領域のサイズを拡張したり、ユーザが精度よく手指で操作し易い領域の形状に設定したりするようにしてもよい。ＵＩ設置可能領域検出部６０６は、第１のセンサ部１１０や第２のセンサ部１２０からのセンサ情報に基づいて最適なＵＩ設置可能領域のサイズ及び形状を推定するように深層学習された機械学習モデルを利用するようにしてもよい。この機械学習モデルに対しては、例えば、使用時のユーザの手指操作の失敗回数などに基づく損失関数を定義して、損失関数が最小となるように誤差逆伝播により深層学習が行われる。
また、体格などユーザの個人差によって、頭部の位置から胸、腹、腰、尻などのオフセットは大きく異なる。そこで、ＵＩ設置可能領域検出部６０６は、ＡＲグラスに搭載したＴＯＦカメラなどの深度センサの深度情報に基づいて、ユーザの胴回りなどの大きさを推定して、ユーザの胸、腹、腰、尻などの各部位の位置を推定する（又は、頭部の位置から各部位までのオフセットを推定する）ようにして、これらの部位をＵＩ設置可能領域とみなすようにしてもよい。
また、ＵＩ設定可能領域検出部６０６は、キャリブレーションによって特定することが可能になる場所や身体上の部位を、ＵＩ設置可能領域とみなすようにしてもよい。例えば、キャリブレーション時においてユーザに腰や背中や腕をタッチすることを促すようなガイダンスを表示部１３１の映像やスピーカー１３２の音声によって出力して、ユーザがガイダンスによってタッチした位置をＵＩ設置可能領域とみなすようにする。例えば、キャリブレーション時において、図９に示すようにＡＲグラスを使って「腕を触ってください」とガイダンスを表示する。これに対し、図１０に示すように、ユーザがガイダンスに従って腕を触ったときに、ＵＩ設置可能領域検出部６０６は、第１のセンサ部１１０のセンサ情報に基づいて、腕の位置（又は、頭部の位置からユーザがタッチした位置のオフセット）を検出することができたら、腕をＵＩ設置可能領域として検出する。また、腰や背中は胴体の背面にあり、ユーザは手探りで触ることになるので、腕の位置ほど正確に触ることができない。そこで、ユーザの腰の位置や背中の位置は、ユーザの頭部の位置（又は、ＡＲグラスの位置）からの大まかな相対位置をＵＩ設置可能領域とみなすようにしてもよい。
腕の長さや関節の可動範囲も個人差があるため、ユーザが触ることができる腰や背中の最適な位置にも個人差がある。そこで、ユーザがＡＲシステム１００（又は、ＡＲグラス）を使っている普段の行動や、ユーザに追加で課したタスクの結果などから、ユーザ毎に差異的なＵＩ設置可能領域を設定するようにしてもよい。また、上述したキャリブレーションを部位毎に複数回行った結果から、各部位のＵＩ設置可能領域を設定するようにしてもよい。
なお、ＵＩ設置可能領域の検出などに用いる身体データは、第１のセンサ部１１０や第２のセンサ部１２０などＡＲシステム１００内の計測装置だけではなく、ＡＲシステム１００の外部の計測装置で得られる情報を受け取ったものであってもよい。
また、ＵＩ設置可能領域検出部６０６が自動でＵＩ設置可能領域を検出する以外に、ユーザ毎にカスタマイズできるようにしてもよい。例えば、ＵＩ設置可能領域検出部６０６は、ユーザの頭部の位置（又は、ＡＲグラスの位置）からのオフセットに基づいてＵＩ設置可能領域を検出するが、ユーザが四肢のいずれかを損傷している場合には、自動検出されたＵＩ設置可能領域の中にはユーザが触る、タップするなどの手指のジェスチャを行うことができないことがある。このような場合、ユーザの手元で（又は、マニュアル操作で）、利用できないＵＩ設置可能領域を除外するようにしてもよい。
Ｃ．ＡＲアプリの格納及び復元動作
本実施形態に係るＡＲシステム１００では、ＡＲアプリを閉じることなく実行状態を保持したまま、ＵＩ設置可能領域の場所と紐付けして格納することができる。格納されたＡＲアプリの仮想オブジェクトは、ユーザの視界から消えるが、ユーザが復元動作を行うことでＡＲアプリの仮想オブジェクトが、格納される直前の実行状態のままでユーザの視界に出現する。具体的には、アプリケーション実行部６０１は、手指位置姿勢検出部６０４の検出結果に基づいて、ユーザが現在手に持っているＡＲアプリ、あるいはユーザが手や指で指定したＡＲアプリを特定する。そして、アプリケーション実行部６０１は、ＵＩ設置可能領域検出部６０６が検出したＵＩ設置可能領域内で、ＡＲアプリの格納又はＡＲアプリの復元を指示する手指のジェスチャをユーザが行ったことを、手指位置姿勢検出部６０４及び手指ジェスチャ検出部６０５の検出結果に基づいて認識すると、手指のジェスチャで指定した身体上の部位にＡＲアプリのＵＩを格納したり、ＵＩを格納した身体上の部位からＡＲアプリを復元したりする。
アプリケーション実行部６０１は、手指位置姿勢検出部６０４が検出した手指の位置姿勢に基づいて、ユーザの手指がＵＩ設置可能領域に接近又は進入したことを検出する。第１のセンサ部１１０で使用されるジャイロセンサ１１１、加速度センサ１１２、方位センサ１１３のセンサの精度が十分でないなどの理由によって、ユーザの手指が接近又は触れる身体部位を推定する粒度を細かくできない場合には、手指が接近又は進入したと判定する距離を広げるようにしてもよい。例えば、ＵＩ設置可能領域の近傍で手指のジェスチャが発生したら、ＵＩ設置可能領域内でジェスチャが起きたと判定するようにする。手指のジェスチャが発生した位置が、実は本来の身体部位である可能性もある。したがって、ＵＩ設置可能領域に設定した身体部位の近傍で手指のジェスチャが発生したら、身体部位の位置をそのジェスチャが発生した位置に更新するようにしてもよい。また、外向きカメラ１２１で手指を撮影できる場合には、手指位置姿勢検出部６０４は、外向きカメラ１２１のカメラ映像により手指の位置姿勢を検出するようにしてもよい。
また、アプリケーション実行部６０１は、ＵＩ設置可能領域において手指ジェスチャ検出部６０５が検出した手指のジェスチャに基づいて、ＡＲアプリ又はその仮想オブジェクトに対する指示が行なわれたかどうかを判定する。ここで言う指示は、ＡＲアプリのＵＩの格納や復元を含む。また、手指ジェスチャ検出部６０５は、基本的には、手指の形状、具体的には人差し指の第３関節及び第２関節の角度や、親指と人差し指の指先の接触の有無を検出するが、ＵＩ設置可能領域における手の通過や、ＵＩ設置可能領域となる身体の部位を叩いたり摘まんだりする動作、ＵＩ設置可能領域内でフィンガースナップする動作をさらに検出するようにしてもよい。
本実施形態では、アプリケーション実行部６０１は、ＵＩ設置可能領域において手指ジェスチャ検出部６０５が手指のジェスチャを検出したことを、ＡＲアプリのＵＩの格納及び復元のトリガとして利用する。ＡＲアプリのＵＩの格納と、格納したＡＲアプリの復元にそれぞれ別の手指のジェスチャを割り当ててもよいし、ＡＲアプリのＵＩの格納と復元の両方に同じ手指のジェスチャを割り当ててもよい。後者の場合、例えばＵＩ設置可能領域として検出された身体の部位を手で叩く動作によりその身体の部位にＡＲアプリのＵＩを格納し、ＡＲアプリのＵＩが既に格納されている身体の部位を再び叩くと、その部位からＡＲアプリのＵＩが復元される。
例えば、図１１に示すように、アプリケーション実行部６０１が実行中のＡＲアプリの仮想オブジェクト１１００が、ユーザの手のひらの上に出現しているとする。ユーザは、仮想オブジェクト１１００が邪魔になったとき、その手で自分の身体上のＵＩ設置可能領域に対して所定のジェスチャを行うことで、ＡＲアプリの実行状態を保持したまま、ＡＲアプリのＵＩをそのＵＩ設置可能領域に格納することができる。所定の手指のジェスチャは、例えばＵＩ設置可能領域を叩く動作でよい。また、ＵＩ設置可能領域は背中であってもよい。図１２には、ユーザが手のひらで身体の部位（例えば背中）を叩いて、ＡＲアプリのＵＩを格納する動作例を示している。アプリケーション実行部６０１は、ＡＲアプリのＵＩの格納を指示する所定の手指のジェスチャが行われた身体の部位に紐付けしてそのＡＲアプリの実行状態を保持するとともに、仮想オブジェクト１１００の表示を消滅させる。
図１１及び図１２では省略したが、ユーザの手には図５に示したようなコントローラ５００が装着されているものとする。また、アプリケーション実行部６０１は、ＡＲアプリのＵＩの格納が完了したときに、振動提示部１３３を動作させたり、表示部１３１に完了したことを通知するメッセージを表示したり、スピーカー１３２から警告音を発したりして、ユーザにフィードバックを与えるようにしてもよい。
その後、ユーザは、ＡＲアプリを再び使用したくなったときには、ＡＲアプリの復元を指示するために、そのＡＲアプリのＵＩを格納しておいた身体の部位に対して所定の手指のジェスチャを行う。ＡＲアプリの復元を指示するジェスチャは、ＡＲアプリの格納を指示するジェスチャと同じでも異なっていてもよい。図１３には、ユーザがＡＲアプリのＵＩが格納してある身体の部位（例えば背中）から、親指と人差し指でＡＲアプリのＵＩをつまみ出すジェスチャによりＡＲアプリのＵＩを復元する動作例を示している。あるいは、図１２と同様に、ＡＲアプリのＵＩを格納した身体の部位（例えば背中）を手のひらで叩くジェスチャでＡＲアプリのＵＩを復元するようにしてもよい。アプリケーション実行部６０１は、ＡＲアプリの復元を指示する所定の手指のジェスチャが行われた身体の部位に紐付けして保持しているＡＲアプリを、元の実行状態で復元する。そして、アプリケーション実行部６０１は、図１４に示すように、復元したＡＲアプリの仮想オブジェクトを、ユーザの手のひらの上に再現させる。
図１３及び図１４では省略したが、ユーザの手には図５に示したようなコントローラ５００が装着されているものとする。また、アプリケーション実行部６０１は、ＡＲアプリのＵＩの復元が完了したときに、振動提示部１３３を動作させたり、表示部１３１に完了したことを通知するメッセージを表示したり、スピーカー１３２から完了したことを通知するアナウンスを音声出力したりして、ユーザにフィードバックを与えるようにしてもよい。
なお、図１１～図１２に示した例では、ユーザは、格納しようとするＡＲアプリのＵＩ（仮想オブジェクト）を手に持っている（又は、手のひらの上に置いている）が、対象とする仮想オブジェクトを直接手に持っている必要はない。例えば、ユーザは対象とする仮想オブジェクトを指で指してから、身体の部位に格納するための所定の手指のジェスチャを行うようにしてもよい。
本実施形態においてＡＲアプリのＵＩを身体の部位に格納したり身体の部位から復元したりする動作は、デジタル情報を最小化するという観点からは、一般的なＯＳにおいてスクリーン上のアプリケーションを最小化してタスクバーに格納したりタスクバーに最小化されたアプリケーションを開く動作に類似する。一般的なＯＳのスクリーンでは、一時的に邪魔になったアプリケーションは最小化してタスクバーに格納される。これに対し、本開示では、一時的に邪魔になったＡＲアプリのＵＩは、例えばユーザの身体上のＵＩ設置可能領域として検出された部位に格納される。
また、ＡＲアプリのＵＩを身体の部位に格納したり身体の部位から復元したりする動作は、オブジェクトを身体の部位に格納するという観点からは、作業員が腰に取り付けたツールホルダーから工具を出し入れしたり、理容師が腰に取り付けたシザーケースから鋏を出し入れしたりする動作にも類似する。理容師は、使い終わった鋏を腰位置のシザーケースに戻し、次に使用する鋏をシザーケースから取り出す。これに対し、本開示では、一時的に邪魔になったＡＲアプリのＵＩは、ＵＩ設置可能領域として検出された身体の部位に格納したり、格納しておいたＡＲアプリのＵＩを身体の部位から復元したりすることができる。理容師は、体性感覚があるため、視線を移動させることなく、ほぼ正確にシザーケースに手を伸ばして鋏を出し入れすることができる。本開示においても、ユーザは、ＵＩ設置可能領域となる身体の部位にＡＲアプリのＵＩを格納し、その身体の部位からＡＲアプリのＵＩを取り出して復元する動作を、体性感覚により、視線を移動させることなく行うことができる。
なお、ＵＩ設置可能領域検出部６０６が身体上のどの部位をＵＩ設置可能領域に検出したのか、すなわち身体上のどの部位にＡＲアプリのＵＩを格納することができるのかが、ユーザにとって分かり難い場合がある。ＡＲシステム１００の利用経験があるユーザであれば自分の身体のどの部位がＵＩ設置可能領域であるのかを記憶している場合もあるが、初心者は全く分からない場合もある。そこで、アプリケーション実行部６０１は、ＵＩ設置可能領域にミニチュアアバタやオーラなどの仮想オブジェクトを表示して、ユーザがＵＩ設置可能領域を視覚で理解し易くするようにしてもよい。図１６には、ユーザの身体上にＵＩ設置可能領域のオーラを表示した例を示している。但し、図１６に示すＵＩ設置可能領域は一例であり、これに限定されない。また、ミニチュアアバタやオーラの表示方法は特に限定されない。
アプリケーション実行部６０１は、ユーザの所定の手指のジェスチャに従って、複数のＡＲアプリのＵＩを、それぞれ個別のＵＩ設置可能領域に格納するようにしてもよい。この場合、ＵＩ設置可能領域検出部６０６がユーザの身体から複数のＵＩ設置可能領域を検出したことを前提とする。言い換えれば、各ＵＩ設置可能領域に１つずつＡＲアプリのＵＩを格納することが許容される。ユーザが、既に格納済みのＵＩ設置可能領域に所定の手指のジェスチャを行って、重ねてＡＲアプリのＵＩを格納しようとしたとき、アプリケーション実行部６０１は、振動提示部１３３を動作させたり、表示部１３１に警告メッセージを表示したり、スピーカー１３２から警告音を発したりして、その場所には格納できないことをユーザにフィードバックするようにしてもよい。
また、アプリケーション実行部６０１は、１つのＵＩ設置可能領域に複数のＡＲアプリのＵＩを重複して格納するようにしてもよい。この場合、ＡＲアプリ毎に異なる手指のジェスチャを使用して、ＡＲアプリを特定するようにしてもよい。但し、ユーザが複数の手指のジェスチャを使い分けることは困難である。そこで、複数のＡＲアプリのＵＩを格納した場所に対してユーザが所定の手指のジェスチャを行ったときに、アプリケーション実行部６０１は、その場所に格納されているＡＲアプリの一覧を表示して、ユーザが指差しや音声コマンドなどで選択できるようにしてもよい。あるいは、アプリケーション実行部６０１は、複数のＡＲアプリのＵＩを格納した場所に対してユーザが所定の手指のジェスチャを行ったときに、先入れ先出し方式又は先入れ後出し方式によりＡＲアプリのＵＩの復元を行うようにしてもよい。
図１５には、ＡＲシステム１００においてＡＲアプリを格納及び復元動作する動作手順をフローチャートの形式で示している。
まず、ＵＩ設置可能領域検出部６０６は、ユーザの身体の部位などからＵＩ設置可能領域を検出する（ステップＳ１５０１）。ＵＩ設置可能領域検出部６０６は、例えば、ユーザの頭部の位置を基準としてそこから特定のオフセットを加えた場所やユーザの背中や腰などの部位を、ＵＩ設置可能領域として検出する。ＵＩ設置可能領域の検出方法については既に説明したので、ここでは詳細については省略する。
次いで、手指位置姿勢検出部６０４は、ユーザの手指の位置姿勢を取得する（ステップＳ１５０２）。手指位置姿勢検出部６０４は、基本的には、図５に示したようなコントローラ５００（又は、第１のセンサ部１１０）が装着されたユーザの手指の位置姿勢を取得する。但し、手指位置姿勢検出部６０４は、外向きカメラ１２１のカメラ映像により手指の位置姿勢を検出するようにしてもよい。
アプリケーション実行部６０１は、手指位置姿勢検出部６０４が検出した手指の位置姿勢に基づいて、ユーザの手指がＵＩ設置可能領域に接近又は進入したかどうかを監視する（ステップＳ１５０３）。ステップＳ１５０１で複数のＵＩ設置可能領域が検出されている場合には、アプリケーション実行部６０１は、ユーザの手指がいずれかのＵＩ設置可能領域に接近又は進入したかどうかを監視する。
アプリケーション実行部６０１は、ユーザの手指がＵＩ設置可能領域に接近又は進入したことを検出すると（ステップＳ１５０３のＹｅｓ）、続いて、そのＵＩ設置可能領域において手指ジェスチャ検出部６０５が検出する手指のジェスチャを監視する（ステップＳ１５０４）。手指ジェスチャ検出部６０５は、基本的には、手指の形状、具体的には人差し指の第３関節及び第２関節の角度や、親指と人差し指の指先の接触の有無を検出するが、ＵＩ設置可能領域における手の通過や、ＵＩ設置可能領域となる身体の部位を叩いたり摘まんだりする動作、ＵＩ設置可能領域内でフィンガースナップする動作をさらに検出するようにしてもよい。
そして、アプリケーション実行部６０１は、そのＵＩ設置可能領域において、ＡＲアプリのＵＩの格納又は復元を指示する手指のジェスチャが行われたことを検出すると（ステップＳ１５０４のＹｅｓ）、その手指のジェスチャによる指示に従って、ＡＲアプリのＵＩの格納又は復元を行う（ステップＳ１５０５）。
ここで、ＡＲアプリのＵＩの格納が指示される場合、ユーザは、格納しようとするＡＲアプリのＵＩ（仮想オブジェクト）を手に持っている（又は、手のひらの上に置いている）（例えば、図１１～図１２を参照のこと）。但し、必ずしもユーザが格納するＡＲアプリのＵＩを直接手に持っているとは限らない。例えば、ユーザは格納したいＡＲアプリのＵＩを指で指し、アプリケーション実行部６０１は、手指位置姿勢検出部６０４の検出結果に基づいてユーザが指したＡＲアプリを特定して、ステップＳ１５０３で検出されたＵＩ設置可能領域にそのＡＲアプリのＵＩを格納するようにしてもよい。
Ｄ．ＡＲアプリの分離表示
アプリケーション実行部６０１は、ＯＳが提供する実行環境下で、ＡＲアプリを含むアプリケーションプログラムを実行するとともに、ＡＲアプリ（仮想オブジェクト）の表示動作も制御する。仮想オブジェクトは、実空間上の任意に場所に配置される。図１１や図１４には、説明の便宜上、ユーザの手が届く範囲、すなわちユーザの手のひらにＡＲアプリが載っている例を示したが、ユーザの手が届かない遠方に仮想オブジェクトが配置されることも想定される。
ユーザは、手の届く範囲に配置されたＡＲアプリを手で操作することができる。アプリケーション実行部６０１は、ＡＲアプリを配置した位置と、手指位置姿勢検出部６０４及び手指ジェスチャ検出部６０５の検出結果に基づいて、ユーザがＡＲアプリに対して手で行った操作を推定することができる。一方、手が届かない遠方に配置されたＡＲアプリを直接手で操作することができない。
そこで、本実施形態では、デバイスを遠隔操作するリモコンのような、ＡＲアプリを操作する操作アプリをユーザの手元に配置して、手が届かない遠方に配置されたＡＲアプリを、操作アプリを使って操作を行えるようにする。アプリケーション実行部６０１は、操作アプリを配置した位置と、手指位置姿勢検出部６０４及び手指ジェスチャ検出部６０５の検出結果に基づいて、ユーザが操作アプリに対して行った操作を推定することができる。そして、アプリケーション実行部６０１は、ユーザが操作アプリに対して行った操作の内容に基づいて、遠方に配置されたＡＲアプリの動作を制御する。操作アプリは、対象とするＡＲアプリを操作する操作ＵＩを備えている。
操作アプリは、ＡＲアプリの１つである。アプリケーション実行部６０１は、操作アプリを実行して、操作ＵＩを含んだ仮想オブジェクトをユーザの手元に表示する。ユーザの手元とは、例えばユーザの頭部の位置を基準としてそこから特定のオフセットを加えた場所や、ユーザの手のひらや手の甲などである。
操作アプリは、操作の対象となるＡＲアプリに応じて、操作ＵＩの表示が異なる。例えば動画再生用のＡＲアプリであれば、操作ＵＩは、再生、一時停止、早送り、巻き戻し、繰り返し再生といったコンテンツ再生に関する操作を指示するためのＵＩ部品が必要である。他方、レースゲーム用のＡＲアプリであれば、アクセル、ブレーキ、ハンドルなどの操作を指示するためのＵＩ部品が必要である。図１７には、動画再生用のＡＲアプリ１７０１を観賞中のユーザの手元に、コンテンツ再生操作用のＵＩ部品からなる操作ＵＩ１７０２が表示されている様子を例示している。動画再生用のＡＲアプリ１７０１及び操作ＵＩ１７０２はいずれも実空間に表示される仮想オブジェクトであり、ユーザはＡＲグラス越しにこれらを観察することができる。ユーザは、手の届かない場所に表示されているＡＲアプリ１７０１の動画コンテンツを視聴しているときに、手元の操作ＵＩ１７０２に含まれる再生、一時停止、早送り、巻き戻し、繰り返し再生などのボタンを使って、コンテンツの再生操作を行うことができる。
図１７に示したように、ユーザの近くに操作アプリを配置することで、ユーザは、手が届かない遠方に配置されたＡＲアプリを操作することが可能になる。ところが、近くに操作アプリを配置したとしても、ユーザは手元を見ながらでないと、どのボタンがどこにあるのかが分からず、正確に操作できないという問題がある。そこで、操作の対象となるＡＲアプリを操作する機能（又は、ＵＩ部品）のすべて又は一部を、ユーザの手に直接配置するようにしてもよい。ユーザは、体性感覚によりどのボタンがどこにあるのかが分かるので、ＡＲアプリ（例えば、動画再生）から視線を外さなくても操作ＵＩを正確に操作することができる。もちろん、手以外でも、ユーザが体性感覚によってボタンの位置を正確に把握することができる身体部位に操作ＵＩを配置するようにしてもよい。上記Ｃ項では、ユーザの身体の部位（ＵＩ設定可能領域）にＡＲアプリのＵＩを格納する実施例について説明したが、このＤ項では、ＡＲアプリの機能の一部又は全部をユーザの身体の部位に配置するという訳である。
例えば、ユーザの左の手のひらに操作ＵＩのすべて又は一部を配置して、これを、コントローラ５００（図５を参照のこと）を装着した右手で操作するようにする。アプリケーション実行部６０１は、例えば外向きカメラ１２１の撮影画像から位置及び姿勢が認識されるユーザの左の手のひらに、操作ＵＩを配置する。ユーザはＡＲグラス越しに自分の手のひらに表示された操作ＵＩを見て、所望の操作ＵＩを右手で操作することができる。そして、アプリケーション実行部６０１は、手指位置姿勢検出部６０４の検出結果に基づいて、ユーザの右手が左の手のひらの近傍にあることを認識し、さらに手指ジェスチャ検出部６０５の検出結果に基づいて、左の手のひらに配置されたいずれかのボタンを操作したことを認識すると、そのボタンによって指示されるＡＲアプリの動作を実行する。例えば、アプリケーション実行部６０１は、動画再生用のＡＲアプリを実行中にユーザが再生ボタンを押す操作を認識すると、動画コンテンツの再生を開始し、早送りを押す操作を認識すると、コンテンツを早送りする。
図１８には、ユーザの左の手のひらに、再生、早送り、巻き戻しなどコンテンツ再生用の操作ＵＩの仮想オブジェクト１８０１～１８０３を表示している例を示している。また、図１９には、コンテンツ再生用の操作ＵＩとして、回転により順方向又は逆方向にフレーム送りを指示するジョグコントローラの仮想オブジェクト１９０１をユーザの左の手のひらに表示している例を示している。図１８及び図１９のいずれに示す例においても、アプリケーション実行部６０１は、例えば外向きカメラ１２１の撮影画像から位置及び姿勢が認識されるユーザの左の手のひらに、操作ＵＩ１８０１～１８０３又は１９０１の仮想オブジェクトを配置する。ユーザはＡＲグラス越しに自分の手のひらに表示された操作ＵＩ１８０１～１８０３又は１９０１を見ることができる。そして、アプリケーション実行部６０１は、手指位置姿勢検出部６０４の検出結果に基づいて、ユーザの右手が左の手のひらの近傍にあることを認識し、さらに手指ジェスチャ検出部６０５の検出結果に基づいて、左の手のひらに配置された操作ＵＩに対する操作量を認識すると、その操作量に応じて、再生コンテンツの再生、早送り、巻き戻し、又はフレーム送りなどのＡＲアプリの動作を実行する。
また、ユーザの手のひらではなく、手の甲にＡＲアプリを操作する機能を配置するようにしてもよい。手のひらがほぼ平坦であるのに対し、手の甲は、人差し指、中指、薬指、並びに小指の各指に中手骨頭部による凸部を有するという特徴的な形状である。したがって、図２０に示すように、左手の人差し指、中指、薬指、並びに小指の４つの凸部にそれぞれ、再生、一時停止、早送り、巻き戻しなどのＡＲアプリを操作する機能を個別に割り当てるようにしてもよい。ユーザは、左の手の甲を直接見なくても、体性感覚により、各指の凸部を右手で触ることができる。アプリケーション実行部６０１は、例えば外向きカメラ１２１の撮影画像から位置及び姿勢が認識されるユーザの左の手の甲の４つの凸部に再生、一時停止、早送り、巻き戻しの各機能を割り当てるが、仮想オブジェクトを配置する必要はない。ユーザは、左の手のひらを直接見ることなく、左手の甲のいずれかの凸部を触って、ＡＲアプリに対する操作を行う。そして、アプリケーション実行部６０１は、手指位置姿勢検出部６０４の検出結果に基づいて、ユーザの右手が左の手の甲の近傍にあることを認識し、さらに手指ジェスチャ検出部６０５の検出結果に基づいて、ユーザが右手の指で左の手の甲のいずれかの凸部を触ったことを認識すると、その凸部に割り当てられた機能に応じて、再生コンテンツの再生、早送り、巻き戻し、又はフレーム送りなどのＡＲアプリの動作を実行する。
ＡＲシステム１００において、図１７～図２０に示したように、ＡＲアプリ本体の仮想オブジェクトと分離してＡＲアプリの操作ＵＩを配置できるようにするには、操作ＵＩを分離可能とにするための必要な情報を、ＡＲアプリが保持し又はＡＲアプリに対応付けて保持する。また、ユーザの左の手のひらや手の甲などユーザの手元に操作ＵＩを配置する際に、中手骨頭部など配置可能な個数が制限されている場合がある。このため、複数の操作ＵＩの中で優先順位を決めておくなどユーザの手元に優先的に配置すべき操作ＵＩを判断できるようにする情報も、ＡＲアプリが保持し又はＡＲアプリに対応付けて保持しておく。
また、ＡＲアプリ本体の仮想オブジェクトと分離してＡＲアプリの操作部をユーザの手元に配置する場合、操作部を配置できる領域をＡＲグラス（又は、第２のセンサ部１２０）の位置から一定距離内とするといった規則を確定する。これによって、操作部に対して操作を行うユーザの手指の位置姿勢やジェスチャを手指位置姿勢検出部６０４及び手指ジェスチャ検出部６０５が検出できることが担保され、アプリケーション実行部６０１は、操作部に対するユーザの手指の操作に基づいてＡＲアプリを動作することが可能になる。
ユーザの手元やユーザの手のひら又は手の甲に配置された操作部に対して行うユーザの手指の操作を、外向きカメラ１２１の撮影画像を通じて認識することも可能である。これに対し、本実施形態では、操作を行うユーザの手（右手）には第１のセンサ部１１０が取り付けられているので、外向きカメラ１２１の視野にオクルージョンが発生した場合であっても、第１のセンサ部１１０からのセンサ情報に基づいて、操作部に対して行われるユーザの手指の操作を高い精度で検出することができる。
また、手指位置姿勢検出部６０４の検出精度が十分でない場合には、アプリケーション実行部６０１は、１つの操作を割り当てる領域のサイズを拡張したり（例えば、再生ボタンを大きくする）、仮想オブジェクトとして表示する操作ＵＩの形状を単純化したりして、ユーザが操作部を操作し易くするようにしてもよい。例えば、アプリケーション実行部６０１は、ＡＲアプリに対して操作ＵＩの最適なサイズ及び形状を推定する機械学習モデルを利用して、操作ＵＩのサイズや形状を決定するようにしてもよい。この機械学習モデルに対しては、例えば、使用時のユーザの手指操作の失敗回数などに基づく損失関数を定義して、損失関数が最小となるように誤差逆伝播により深層学習が行われる。
Ｅ．操作ＵＩの配置
上記Ｄ項では、ＡＲアプリ本体の仮想オブジェクトと分離してＡＲアプリの操作ＵＩを配置する実施例に関して説明し、さらに操作ＵＩのサイズや形状を最適化する点についても説明した。
図２０に示したように、中手骨頭部など身体部位の特徴を利用して操作ＵＩを配置する場合、ユーザは自分の身体部位を直接見なくても、体性感覚により正確に操作ＵＩを操作することができる。また、背中や手のひらなど形状に特徴のない身体部位にボタンやメニューなどを配置する場合には、操作ミスが生じないように各ボタンのサイズや形状を最適化することにより、ユーザは正確に操作ＵＩを操作することができる。
これに対し、座標入力を行う操作ＵＩを身体の部位に配置する場合には、操作ＵＩとこれを操作するユーザの手指との相対的な位置によって誤入力が発生することが懸念される。
例えば、図２１に示すように、ユーザの左の手のひらにタッチパネルの操作ＵＩ２１０１を配置して、コントローラ５００（又は第１のセンサ部１１０）を装着した右手の指で操作するような場合、ユーザは右手の人差し指で水平方向のフリック操作を行っているつもりでも、左手の位置姿勢によっては正しく入力されないことがある。具体的には、図２２に示すように、ユーザの左の手のひらに配置されたタッチパネルの座標系がユーザの身体の重心を原点とするローカル座標系（又はユーザが頭でイメージするローカル座標系）と一致する（又は平行となる）ように左手の位置姿勢がとられていれば、ユーザがタッチパネルの操作ＵＩに対して右手で水平方向のフリック操作を行うと、手指ジェスチャ検出部６０５は水平方向のフリック操作の座標入力を検出することができる。他方、図２３に示すように、タッチパネルの座標系がユーザのローカル座標系に対して傾斜するような左手の姿勢の場合には、ユーザは、自身のローカル座標系を基準にして右手で水平方向にフリック操作を行っているつもりであっても、手指ジェスチャ検出部６０５は斜め方向のフリック操作の座標入力を検出することになる。例えば、外向きカメラ１２１の撮影画像などから認識される左手の座標系を基準にしてタッチパネル２１０１を配置すると、右手で同じフリック操作をしても、左手の姿勢に応じて異なる座標入力を行うことになる。
そこで、本実施形態では、座標入力を行う操作ＵＩを配置する身体の部位の姿勢に基づいて、その部位に配置する操作ＵＩの向きを補正するようにする。例えば図２１に示したように、ユーザの左の手のひらにタッチパネルの操作ＵＩ２１０１を配置する場合には、左手の姿勢を取得してタッチパネルの手指位置姿勢検出部６０４が検出する身体の部位の座標系ではなく、ユーザの身体の向き、操作ＵＩが操作対象とするオブジェクトが配置されている方向、又はユーザの視線方向のいずれかを基準にして、座標入力を行う操作ＵＩの向き（座標系）を補正するようにする。
図２４には、ユーザの身体の向きを基準にして、座標入力を行う操作ＵＩの向き（座標系）を補正する例を示している。アプリケーション実行部６０１は、例えば第２のセンサ部１２０からのセンサ情報に基づいて、身体の向きを検出することができる。また、アプリケーション実行部６０１は、例えば外向きカメラ１２１の撮影画像の認識結果に基づいてユーザの左の手のひらの位置姿勢を検出することができる。左手にも第１のセンサ部１１０を装着している場合には、第１のセンサ部１１０からのセンサ情報に基づいて左手の位置姿勢を検出することができる。そして、アプリケーション実行部６０１は、左手の姿勢に拘わらず、操作ＵＩの向きが身体の向きと一致するように（又は、操作ＵＩの座標系とユーザのローカル座標系が平行となるように）、ユーザの左の手のひらの上に、操作ＵＩを配置する。この場合、ユーザがタッチパネルの操作ＵＩに対して右手で水平方向のフリック操作を行うと、手指ジェスチャ検出部６０５は水平方向のフリック操作の座標入力を検出することができる。
図２５には、操作ＵＩが操作対象とするオブジェクトが配置されている方向を基準にして、座標入力を行う操作ＵＩの向き（座標系）を補正する例を示している。図２５において、操作ＵＩの操作対象は、タッチパネルで操作しようとするＡＲアプリの仮想オブジェクトである。アプリケーション実行部６０１は、操作対象となっているＡＲアプリの仮想オブジェクト２５０１を配置した位置を把握している。また、アプリケーション実行部６０１は、例えば外向きカメラ１２１の撮影画像の認識結果に基づいてユーザの左の手のひらの位置姿勢を検出することができる。左手にも第１のセンサ部１１０を装着している場合には、第１のセンサ部１１０からのセンサ情報に基づいて左手の位置姿勢を検出することができる。そして、アプリケーション実行部６０１は、操作ＵＩの向きが操作対象となるＡＲアプリの仮想オブジェクト２５０１の正面の方向と一致するように、ユーザの左の手のひらの上に、操作ＵＩを配置する。この場合、ユーザは、ＡＲアプリの仮想オブジェクト２５０１を見ながら、その仮想オブジェクト２５０１が配置された平面に倣って右手で水平方向のフリック操作を行うと、手指ジェスチャ検出部６０５は仮想オブジェクト２５０１に対する水平方向のフリック操作の座標入力を検出することができる。
図２６には、ユーザの視線方向を基準にして、座標入力を行う操作ＵＩの向き（座標系）を補正する例を示している。アプリケーション実行部６０１は、例えば第２のセンサ部１２０のセンサ情報から得られる頭部の位置姿勢、又は内向きカメラ１２２で撮影したユーザの眼の画像を画像認識して、ユーザの視線方向を検出する。図２６に示す例では、ユーザの視線は、ＡＲアプリの仮想オブジェクト２６０１上を移動している。また、アプリケーション実行部６０１は、例えば外向きカメラ１２１の撮影画像の認識結果に基づいてユーザの左の手のひらの位置姿勢を検出することができる。左手にも第１のセンサ部１１０を装着している場合には、第１のセンサ部１１０からのセンサ情報に基づいて左手の位置姿勢を検出することができる。そして、アプリケーション実行部６０１は、操作ＵＩの向きが操作対象となるユーザの視線方向と一致するように、ユーザの左の手のひらの上に、操作ＵＩを配置する。この場合、ユーザは、任意の方向を眺めながら視線を基準に右手で水平方向のフリック操作を行うと、手指ジェスチャ検出部６０５は仮想オブジェクト２６０１に対する水平方向のフリック操作の座標入力を検出することができる。
図２６に示す例は、ユーザが例えばソファに寝そべってＡＲアプリを操作する場合を想定している。寝そべっているときの手のひらの向きは立位のときと大きく異なるが、ユーザの視線方向を基準に操作ＵＩの向きを補正するというルールに則って手のひらの操作ＵＩの向きを補正することで、ユーザの快適な操作を維持することができる。
図２４～図２６で例示する方法で操作ＵＩの向きを補正することによって、ユーザが意図しない操作がＡＲアプリに行われないようになり、ユーザの会的な操作を実現することができる。
以上、特定の実施形態を参照しながら、本開示について詳細に説明してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。
本明細書では、主に本開示をＡＲシステムに適用した実施形態を中心に説明してきたが、本開示の要旨はこれに限定されるものではない。例えば、仮想空間を現実として知覚させるＶＲシステムや現実と仮想を交錯させるＭＲシステムにも、同様に本開示を適用することができる。
要するに、例示という形態により本開示について説明してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本開示の要旨を判断するためには、特許請求の範囲を参酌すべきである。
なお、本開示は、以下のような構成をとることも可能である。
（１）ユーザの身体上の第１の部位の位置姿勢又は形状を取得する取得部と、
前記第１の部位の位置姿勢又は形状に基づいて、表示装置において実空間に表示する仮想オブジェクトを制御する制御部と、
を具備する情報処理装置。
（２）前記取得部は、前記第１の部位に取り付けたセンサに基づいて前記第１の部位の位置姿勢を取得する、
上記（１）に記載の情報処理装置。
（３）前記第１の部位はユーザの手又は指を含み、
前記取得部は、ユーザの手又は指に取り付けられた位置姿勢センサからのセンサ情報に基づいてユーザの手又は指の位置姿勢又は指の形状を取得する、
上記（１）又は（２）のいずれかに記載の情報処理装置。
（４）前記制御部は、前記第１の部位の位置姿勢又は形状に基づいて、前記第１の部位がユーザの身体上の第２の部位に所定の操作を行ったことを認識する、
上記（１）乃至（３）のいずれかに記載の情報処理装置。
（５）前記制御部は、前記取得部が取得した前記第１の部位の位置姿勢又は形状に基づいて、前記第１の部位がユーザの身体上の第２の部位に対して第１の操作を行ったことを認識すると、前記仮想オブジェクトの実行状態を前記第２の部位に紐付けして格納して、前記表示装置による前記仮想オブジェクトの表示を停止させる、
上記（１）乃至（４）のいずれかに記載の情報処理装置。
（６）前記制御部は、前記取得部が取得した前記第１の部位の位置姿勢又は形状に基づいて、前記第１の部位がユーザの身体上の第２の部位に対して第２の操作を行ったことを認識すると、前記第２の部位に紐付けして格納した実行状態に基づいて前記仮想オブジェクトの表示を復元する、
上記（５）に記載の情報処理装置。
（７）ユーザの身体上で第２の部位を設置することが可能な領域を検出する検出部をさらに備える、
上記（４）乃至（６）のいずれかに記載の情報処理装置。
（８）前記検出部は、ユーザの身体上で位置姿勢を取得可能な第３の部位から所定のオフセットを加えた場所を第２の部位として検出する、
上記（７）に記載の情報処理装置。
（９）前記検出部は、前記第１の部位の位置姿勢に基づいて位置を推定可能な身体上の領域を第２の部位として検出する、
上記（７）又は（８）のいずれかに記載の情報処理装置。
（１０）前記検出部は、位置姿勢を取得可能な前記第１の部位と第３の部位の位置姿勢情報に基づいて逆キネマティクス演算により位置を推定可能な第２の部位を検出する、
上記（７）乃至（９）のいずれかに記載の情報処理装置。
（１１）前記検出部は、前記第１の部位による操作性に基づいて、第２の部位のサイズ又は形状を検出する、
上記（７）乃至（１０）のいずれかに記載の情報処理装置。
（１２）前記検出部は、前記第１の部位で触れるキャリブレーションによって場所を特定可能な第２の部位を検出する、
上記（７）乃至（１１）のいずれかに記載の情報処理装置。
（１３）前記制御部は、ユーザから遠方に配置された仮想オブジェクトに対してユーザが操作を行うための操作部をユーザの手元に配置するように制御する、
上記（１）乃至（１２）のいずれかに記載の情報処理装置。
（１４）前記制御部は、前記操作部をユーザの身体上の第４の部位に配置するように制御する、
上記（１３）に記載の情報処理装置。
（１５）前記制御部は、前記第４の部位に配置する前記操作部の向きを補正する、
上記（１４）に記載の情報処理装置。
（１６）前記制御部は、ユーザの身体の向き、仮想オブジェクトが配置されている方向、又はユーザの視線方向のいずれかを基準にして前記操作部の向きを補正する、
上記（１５）に記載の情報処理装置。
（１７）ユーザの身体上の第１の部位の位置姿勢又は形状を取得する取得ステップと、
前記第１の部位の位置姿勢又は形状に基づいて、表示装置において実空間に表示する仮想オブジェクトを制御する制御ステップと、
を有する情報処理方法。
（１８）ユーザの身体上の第１の部位の位置姿勢又は形状を取得する取得部、
前記第１の部位の位置姿勢又は形状に基づいて、表示装置において実空間に表示する仮想オブジェクトを制御する制御部、
としてコンピュータが機能するようにコンピュータ可読形式で記述されたコンピュータプログラム。
（１９）実空間に仮想オブジェクトを表示する表示装置と、
ユーザの身体上の第１の部位の位置姿勢又は形状を取得する取得部と、
前記第１の部位の位置姿勢又は形状に基づいて仮想オブジェクトの表示を制御する制御部と、
を具備する拡張現実感システム。
１００…ＡＲシステム、１１０…第１のセンサ
１１１…ジャイロセンサ、１１２…加速度センサ、１１３…方位センサ
１２０…第２のセンサ部、１２１…外向きカメラ
１２２…内向きカメラ、１２３…マイク、１２４…ジャイロセンサ
１２５…加速度センサ、１２６…方位センサ
１３１…表示部、１３２…スピーカー、１３３…振動提示部
１３４…通信部、１４０…制御部、１５０…記憶部
３００…ＡＲシステム、３０１…ＡＲグラス、３０２…コントローラ
４００…ＡＲシステム、４０１…ＡＲグラス、４０２…コントローラ
４０３…情報端末
５００…コントローラ、５０１、５０２、５０３…ＩＭＵ
５１１、５１２、５１３…バンド
６０１…アプリケーション実行部、６０２…頭部位置姿勢検出部
６０３…出力制御部、６０４…手指位置姿勢検出部
６０５…手指ジェスチャ検出部、６０６…ＵＩ設定可能領域検出部

Claims (18)

  1. ユーザの手及び指のうち少なくとも一方からなる第１の部位の位置姿勢又は形状を取得する取得部と、
    前記第１の部位の位置姿勢又は形状に基づいて、前記第１の部位がユーザの手及び指以外の身体上の第２の部位に所定の操作を行ったことを認識し、前記所定の操作に応じて表示装置において実空間に表示する仮想オブジェクトを制御する制御部と、
    を具備する情報処理装置。
  2. 前記取得部は、前記第１の部位に取り付けたセンサに基づいて前記第１の部位の位置姿勢を取得する、
    請求項１に記載の情報処理装置。
  3. 前記取得部は、前記第１の部位に取り付けられた位置姿勢センサからのセンサ情報に基づいて前記第１の部位の位置姿勢又は指の形状を取得する、
    請求項１に記載の情報処理装置。
  4. 前記制御部は、前記取得部が取得した前記第１の部位の位置姿勢又は形状に基づいて、前記第１の部位が前記第２の部位に対して第１の操作を行ったことを認識すると、前記仮想オブジェクトの実行状態を前記第２の部位に紐付けして格納して、前記表示装置による前記仮想オブジェクトの表示を停止させる、
    請求項１に記載の情報処理装置。
  5. 前記制御部は、前記取得部が取得した前記第１の部位の位置姿勢又は形状に基づいて、前記第１の部位が前記第２の部位に対して第２の操作を行ったことを認識すると、前記第２の部位に紐付けして格納した実行状態に基づいて前記仮想オブジェクトの表示を復元する、
    請求項４に記載の情報処理装置。
  6. ユーザの身体上で前記第２の部位を設置することが可能な領域を検出する検出部をさらに備える、
    請求項１に記載の情報処理装置。
  7. 前記検出部は、ユーザの身体上で位置姿勢を取得可能な第３の部位から所定のオフセットを加えた場所を前記第２の部位として検出する、
    請求項６に記載の情報処理装置。
  8. 前記検出部は、前記第１の部位の位置姿勢に基づいて位置を推定可能な身体上の領域を前記第２の部位として検出する、
    請求項６に記載の情報処理装置。
  9. 前記検出部は、位置姿勢を取得可能な前記第１の部位と第３の部位の位置姿勢情報に基づいて逆キネマティクス演算により位置を推定可能な前記第２の部位を検出する、
    請求項６に記載の情報処理装置。
  10. 前記検出部は、前記第１の部位による操作性に基づいて、前記第２の部位のサイズ又は形状を検出する、
    請求項６に記載の情報処理装置。
  11. 前記検出部は、前記第１の部位で触れるキャリブレーションによって場所を特定可能な前記第２の部位を検出する、
    請求項６に記載の情報処理装置。
  12. 前記制御部は、ユーザから遠方に配置された仮想オブジェクトに対してユーザが操作を行うための操作部をユーザの手元に配置するように制御する、
    請求項１に記載の情報処理装置。
  13. 前記制御部は、前記操作部をユーザの身体上の第４の部位に配置するように制御する、
    請求項１２に記載の情報処理装置。
  14. 前記制御部は、前記第４の部位に配置する前記操作部の向きを補正する、
    請求項１３に記載の情報処理装置。
  15. 前記制御部は、ユーザの身体の向き、仮想オブジェクトが配置されている方向、又はユーザの視線方向のいずれかを基準にして前記操作部の向きを補正する、
    請求項１４に記載の情報処理装置。
  16. ユーザの手及び指のうち少なくとも一方からなる第１の部位の位置姿勢又は形状を取得する取得ステップと、
    前記第１の部位の位置姿勢又は形状に基づいて、前記第１の部位がユーザの手及び指以外の身体上の第２の部位に所定の操作を行ったことを認識し、前記所定の操作に応じて表示装置において実空間に表示する仮想オブジェクトを制御する制御ステップと、
    を有する情報処理方法。
  17. ユーザの手及び指のうち少なくとも一方からなる第１の部位の位置姿勢又は形状を取得する取得部、
    前記第１の部位の位置姿勢又は形状に基づいて、前記第１の部位がユーザの手及び指以外の身体上の第２の部位に所定の操作を行ったことを認識し、前記所定の操作に応じて表示装置において実空間に表示する仮想オブジェクトを制御する制御部、
    としてコンピュータが機能するようにコンピュータ可読形式で記述されたコンピュータプログラム。
  18. 実空間に仮想オブジェクトを表示する表示装置と、
    ユーザの手及び指のうち少なくとも一方からなる第１の部位の位置姿勢又は形状を取得する取得部と、
    前記第１の部位の位置姿勢又は形状に基づいて、前記第１の部位がユーザの手及び指以外の身体上の第２の部位に所定の操作を行ったことを認識し、前記所定の操作に応じて仮想オブジェクトの表示を制御する制御部と、
    を具備する拡張現実感システム。
JP2021570663A 2020-01-17 2020-11-20 情報処理装置及び情報処理方法、コンピュータプログラム、並びに拡張現実感システム Active JP7589696B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020006411 2020-01-17
JP2020006411 2020-01-17
PCT/JP2020/043516 WO2021145067A1 (ja) 2020-01-17 2020-11-20 情報処理装置及び情報処理方法、コンピュータプログラム、並びに拡張現実感システム

Publications (2)

Publication Number Publication Date
JPWO2021145067A1 JPWO2021145067A1 (ja) 2021-07-22
JP7589696B2 true JP7589696B2 (ja) 2024-11-26

Family

ID=76864583

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021570663A Active JP7589696B2 (ja) 2020-01-17 2020-11-20 情報処理装置及び情報処理方法、コンピュータプログラム、並びに拡張現実感システム

Country Status (3)

Country Link
US (1) US12380655B2 (ja)
JP (1) JP7589696B2 (ja)
WO (1) WO2021145067A1 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12033296B2 (en) 2018-05-07 2024-07-09 Apple Inc. Avatar creation user interface
JP7166813B2 (ja) * 2018-07-06 2022-11-08 株式会社コロプラ 仮想体験を提供するためにコンピュータで実行される方法、プログラム及びコンピュータ
US10890983B2 (en) 2019-06-07 2021-01-12 Facebook Technologies, Llc Artificial reality system having a sliding menu
US20230230333A1 (en) * 2020-08-25 2023-07-20 Maxell, Ltd. 3d virtual-reality display device, head-mounted display, and 3d virtual-reality display method
CN117256024A (zh) * 2021-04-12 2023-12-19 斯纳普公司 使用力反馈为视力障碍者提供ar
JP7658148B2 (ja) * 2021-04-15 2025-04-08 セイコーエプソン株式会社 ロボット画像の表示方法、コンピュータープログラム、及び、ロボット画像の表示システム
US20230171484A1 (en) * 2021-11-29 2023-06-01 Apple Inc. Devices, methods, and graphical user interfaces for generating and displaying a representation of a user
JP2023168840A (ja) * 2022-05-16 2023-11-29 キヤノン株式会社 情報処理装置、情報処理システム、情報処理方法、プログラム
JP2023178548A (ja) * 2022-06-06 2023-12-18 富士電機株式会社 作業支援装置、作業支援方法および作業支援プログラム
US12387449B1 (en) 2023-02-08 2025-08-12 Meta Platforms Technologies, Llc Facilitating system user interface (UI) interactions in an artificial reality (XR) environment
US12400414B2 (en) 2023-02-08 2025-08-26 Meta Platforms Technologies, Llc Facilitating system user interface (UI) interactions in an artificial reality (XR) environment
US20240281070A1 (en) * 2023-02-16 2024-08-22 Meta Platforms Technologies, Llc Simultaneous Controller and Touch Interactions
WO2024203015A1 (ja) * 2023-03-28 2024-10-03 ソニーグループ株式会社 情報処理装置、情報処理方法、およびプログラム
US20260064186A1 (en) * 2024-09-03 2026-03-05 Snap Inc. Dynamically orientated labels for xr user interfaces

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009104249A (ja) 2007-10-19 2009-05-14 Canon Inc 画像処理装置、画像処理方法
JP2016162321A (ja) 2015-03-04 2016-09-05 株式会社メガチップス 画像認識装置
JP2017530452A (ja) 2014-08-22 2017-10-12 株式会社ソニー・インタラクティブエンタテインメント 手袋インタフェースオブジェクト
WO2018008226A1 (ja) 2016-07-05 2018-01-11 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
WO2018146922A1 (ja) 2017-02-13 2018-08-16 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6040715B2 (ja) 2012-11-06 2016-12-07 ソニー株式会社 画像表示装置及び画像表示方法、並びにコンピューター・プログラム
US20180095635A1 (en) * 2016-10-04 2018-04-05 Facebook, Inc. Controls and Interfaces for User Interactions in Virtual Spaces
GB201709199D0 (en) * 2017-06-09 2017-07-26 Delamont Dean Lindsay IR mixed reality and augmented reality gaming system
US10386938B2 (en) * 2017-09-18 2019-08-20 Google Llc Tracking of location and orientation of a virtual controller in a virtual reality system
US11340707B2 (en) * 2020-05-29 2022-05-24 Microsoft Technology Licensing, Llc Hand gesture-based emojis

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009104249A (ja) 2007-10-19 2009-05-14 Canon Inc 画像処理装置、画像処理方法
JP2017530452A (ja) 2014-08-22 2017-10-12 株式会社ソニー・インタラクティブエンタテインメント 手袋インタフェースオブジェクト
JP2016162321A (ja) 2015-03-04 2016-09-05 株式会社メガチップス 画像認識装置
WO2018008226A1 (ja) 2016-07-05 2018-01-11 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
WO2018146922A1 (ja) 2017-02-13 2018-08-16 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム

Also Published As

Publication number Publication date
US20230031913A1 (en) 2023-02-02
US12380655B2 (en) 2025-08-05
JPWO2021145067A1 (ja) 2021-07-22
WO2021145067A1 (ja) 2021-07-22

Similar Documents

Publication Publication Date Title
JP7589696B2 (ja) 情報処理装置及び情報処理方法、コンピュータプログラム、並びに拡張現実感システム
US12164739B2 (en) Methods for interacting with virtual controls and/or an affordance for moving virtual objects in virtual environments
US10776991B2 (en) Method of providing virtual space, method of providing virtual experience, system and medium for implementing the methods
CN108475120B (zh) 用混合现实系统的远程设备进行对象运动跟踪的方法及混合现实系统
JP7798024B2 (ja) 情報処理装置及び情報処理方法、並びに拡張現実感システム
TW202105129A (zh) 具有用於閘控使用者介面元件的個人助理元件之人工實境系統
CN107896508A (zh) 可以作为多个目标/端点（设备）和的整合点的以人为中心的“设备的超ui”体系结构的方法和设备，以及面向“模块化”通用控制器平台以及输入设备虚拟化的具有动态上下文意识的手势输入的相关方法/系统
CN112154047A (zh) 远程操作系统、信息处理方法以及程序
WO2021192589A1 (ja) 情報処理装置及び情報処理方法、コンピュータプログラム、並びに拡張現実感システム
JP2018072604A (ja) Ｖｒ酔いを抑制するための方法、当該方法をコンピュータに実行させるためのプログラムおよび、情報処理装置
US12197652B2 (en) Control device and control method with set priorities for input operations in competitive relationship
JP6779840B2 (ja) 仮想空間における入力を支援するための方法および装置ならびに当該方法をコンピュータに実行させるプログラム
JP6444345B2 (ja) 仮想空間における入力を支援するための方法および装置ならびに当該方法をコンピュータに実行させるプログラム
US20250165078A1 (en) Information processing apparatus and information processing method
WO2021145068A1 (ja) 情報処理装置及び情報処理方法、コンピュータプログラム、並びに拡張現実感システム
JP6776155B2 (ja) 仮想現実を提供するための方法、および当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置
EP4610784A1 (en) Information processing device and information processing method
EP4610785A1 (en) Input device, control apparatus, control method, information processing apparatus, and information processing method
CN111766959B (zh) 虚拟现实交互方法和虚拟现实交互装置
JP2019015972A (ja) Ｖｒ酔いを抑制するための方法、当該方法をコンピュータに実行させるためのプログラムおよび、情報処理装置
KR20250090310A (ko) 정보 처리 장치 및 정보 처리 방법
JP2018014110A (ja) 仮想空間を提供する方法、仮想体験を提供する方法、プログラム、および記録媒体
JP6189496B1 (ja) 仮想空間を提供する方法、仮想体験を提供する方法、プログラム、および記録媒体
JP2024154673A (ja) 処理装置、制御方法、プログラム
WO2024090298A1 (ja) 情報処理装置、情報処理方法、及び、入力デバイス

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230927

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240625

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240627

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240910

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240911

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20241015

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20241028

R150 Certificate of patent or registration of utility model

Ref document number: 7589696

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150