JP6779840B2 - Methods and devices for assisting input in virtual space and programs that allow computers to execute such methods. - Google Patents
Methods and devices for assisting input in virtual space and programs that allow computers to execute such methods. Download PDFInfo
- Publication number
- JP6779840B2 JP6779840B2 JP2017134108A JP2017134108A JP6779840B2 JP 6779840 B2 JP6779840 B2 JP 6779840B2 JP 2017134108 A JP2017134108 A JP 2017134108A JP 2017134108 A JP2017134108 A JP 2017134108A JP 6779840 B2 JP6779840 B2 JP 6779840B2
- Authority
- JP
- Japan
- Prior art keywords
- virtual
- user
- virtual space
- hand
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
Description
本開示は、仮想現実を提供する技術に関し、より特定的には、仮想空間におけるユーザ入力を支援する技術に関する。 The present disclosure relates to a technique for providing virtual reality, and more specifically to a technique for supporting user input in a virtual space.
ヘッドマウントディスプレイ(HMD)装置を用いて仮想現実を提供する技術が知られている。例えば、特開2015−090530号公報(特許文献1)は、「使用者の指の動きで頭部装着型表示装置を操作する技術において、分かり易く、かつ、高度なユーザーインターフェイス」を開示している([要約]参照)。特開2003−091353号公報(特許文献2)は、「HMD上に仮想の入力装置を表示し、ユーザが触れているキーボードのキーを表示する」技術を開示している([要約]参照)。 A technique for providing virtual reality using a head-mounted display (HMD) device is known. For example, Japanese Patent Application Laid-Open No. 2015-090530 (Patent Document 1) discloses "an easy-to-understand and advanced user interface in a technique for operating a head-mounted display device by the movement of a user's finger". (See [Summary]). Japanese Unexamined Patent Publication No. 2003-091353 (Patent Document 2) discloses a technique of "displaying a virtual input device on an HMD and displaying keyboard keys touched by a user" (see [Summary]). ..
特許文献1,2に開示された技術によると、現実空間において入力装置の使用が前提となるため、仮想空間に配置されるオブジェクトとユーザとの相互作用による仮想体験が阻害される。したがって、仮想空間における入力体験の改善が必要とされている。
According to the techniques disclosed in
本開示は上述のような問題点を解決するためになされたものであって、ある局面における目的は、現実空間における入力装置を用いることなく仮想空間における入力を支援するための方法または装置を提供することである。他の局面における目的は、現実空間における入力装置を用いることなく仮想空間における入力を支援する方法をコンピュータに実行させるためのプログラムを提供することである。 The present disclosure has been made to solve the above-mentioned problems, and an object in a certain aspect is to provide a method or device for supporting input in virtual space without using an input device in real space. It is to be. The purpose in the other aspect is to provide a program for causing a computer to execute a method of assisting input in virtual space without using an input device in real space.
ある実施の形態に従うと、仮想空間における入力を支援するためにコンピュータによって実行される方法が提供される。この方法は、仮想空間において入力を受け付けるための入力装置オブジェクトを仮想空間に配置するステップと、コンピュータのユーザの四肢のいずれかの状態を検出するステップと、四肢のいずれかの状態の検出結果に応じて、前記入力装置オブジェクトに対する入力操作を行うための操作オブジェクトを配置するステップと、操作オブジェクトと入力装置オブジェクトとの接触を検出するステップと、接触が予め定められた態様での接触である場合に、当該接触を入力装置オブジェクトに対する入力操作として受け付けるステップとを含む。 According to certain embodiments, a method performed by a computer to assist input in virtual space is provided. In this method, the step of arranging the input device object for receiving the input in the virtual space in the virtual space, the step of detecting the state of one of the limbs of the computer user, and the detection result of the state of one of the limbs Correspondingly, when the step of arranging the operation object for performing the input operation on the input device object, the step of detecting the contact between the operation object and the input device object, and the contact are in a predetermined manner. Includes a step of accepting the contact as an input operation on the input device object.
ある局面において、仮想空間における入力に際してキーボードその他の現実空間における物理的入力装置が不要となるので、仮想空間における入力体験が改善され得る。 In some aspects, the input experience in virtual space can be improved by eliminating the need for a keyboard or other physical input device in real space for input in virtual space.
この発明の上記および他の目的、特徴、局面および利点は、添付の図面と関連して理解されるこの発明に関する次の詳細な説明から明らかとなるであろう。 The above and other objectives, features, aspects and advantages of the invention will become apparent from the following detailed description of the invention as understood in connection with the accompanying drawings.
以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. In the following description, the same parts are designated by the same reference numerals. Their names and functions are the same. Therefore, the detailed description of them will not be repeated.
[HMDシステムの構成]
図1を参照して、HMD(Head Mount Display)システム100の構成について説明する。図1は、ある実施の形態に従うHMDシステム100の構成の概略を表す図である。ある局面において、HMDシステム100は、家庭用のシステムとしてあるいは業務用のシステムとして提供される。
[HMD system configuration]
The configuration of the HMD (Head Mount Display)
HMDシステム100は、HMD装置110と、HMDセンサ120と、コントローラ160と、コンピュータ200とを備える。HMD装置110は、モニタ112と、注視センサ140とを含む。コントローラ160は、モーションセンサ130を含み得る。
The
ある局面において、コンピュータ200は、インターネットその他のネットワーク19に接続可能であり、ネットワーク19に接続されているサーバ150その他のコンピュータと通信可能である。別の局面において、HMD装置110は、HMDセンサ120の代わりに、センサ114を含み得る。
In some aspects, the
HMD装置110は、ユーザの頭部に装着され、動作中に仮想空間をユーザに提供し得る。より具体的には、HMD装置110は、右目用の画像および左目用の画像をモニタ1
12にそれぞれ表示する。ユーザの各目がそれぞれの画像を視認すると、ユーザは、両目の視差に基づき当該画像を3次元の画像として認識し得る。
The
Each is displayed on 12. When each eye of the user visually recognizes the image, the user can recognize the image as a three-dimensional image based on the parallax of both eyes.
モニタ112は、例えば、非透過型の表示装置として実現される。ある局面において、モニタ112は、ユーザの両目の前方に位置するようにHMD装置110の本体に配置されている。したがって、ユーザは、モニタ112に表示される3次元画像を視認すると、仮想空間に没入することができる。ある実施の形態において、仮想空間は、例えば、背景、ユーザが操作可能なオブジェクト、ユーザが選択可能なメニューの画像を含む。ある実施の形態において、モニタ112は、所謂スマートフォンその他の情報表示端末が備える液晶モニタまたは有機EL(Electro Luminescence)モニタとして実現され得る。
The
ある局面において、モニタ112は、右目用の画像を表示するためのサブモニタと、左目用の画像を表示するためのサブモニタとを含み得る。別の局面において、モニタ112は、右目用の画像と左目用の画像とを一体として表示する構成であってもよい。この場合、モニタ112は、高速シャッタを含む。高速シャッタは、画像がいずれか一方の目にのみ認識されるように、右目用の画像と左目用の画像とを交互に表示可能に作動する。
In some aspects, the
HMDセンサ120は、複数の光源(図示しない)を含む。各光源は例えば、赤外線を発するLED(Light Emitting Diode)により実現される。HMDセンサ120は、HMD装置110の動きを検出するためのポジショントラッキング機能を有する。HMDセンサ120は、この機能を用いて、現実空間内におけるHMD装置110の位置および傾きを検出する。
The
なお、別の局面において、HMDセンサ120は、カメラにより実現されてもよい。この場合、HMDセンサ120は、カメラから出力されるHMD装置110の画像情報を用いて、画像解析処理を実行することにより、HMD装置110の位置および傾きを検出することができる。
In another aspect, the
別の局面において、HMD装置110は、位置検出器として、HMDセンサ120の代わりに、センサ114を備えてもよい。HMD装置110は、センサ114を用いて、HMD装置110自身の位置および傾きを検出し得る。例えば、センサ114が角速度センサ、地磁気センサ、加速度センサ、あるいはジャイロセンサ等である場合、HMD装置110は、HMDセンサ120の代わりに、これらの各センサのいずれかを用いて、自身の位置および傾きを検出し得る。一例として、センサ114が角速度センサである場合、角速度センサは、現実空間におけるHMD装置110の3軸周りの角速度を経時的に検出する。HMD装置110は、各角速度に基づいて、HMD装置110の3軸周りの角度の時間的変化を算出し、さらに、角度の時間的変化に基づいて、HMD装置110の傾きを算出する。また、HMD110は、透過型表示装置を備えていても良い。この場合、当該透過型表示装置は、その透過率を調整することにより、一時的に非透過型の表示装置として構成可能であってもよい。また、視野画像は仮想空間を構成する画像の一部に、現実空間を提示する構成を含んでいてもよい。例えば、HMD110に搭載されたカメラで撮影した画像を視野画像の一部に重畳して表示させてもよいし、当該透過型表示装置の一部の透過率を高く設定することにより、視野画像の一部から現実空間を視認可能にしてもよい。
In another aspect, the
注視センサ140は、ユーザ190の右目および左目の視線が向けられる方向(視線方向)を検出する。当該方向の検出は、例えば、公知のアイトラッキング機能によって実現される。注視センサ140は、当該アイトラッキング機能を有するセンサにより実現される。ある局面において、注視センサ140は、右目用のセンサおよび左目用のセンサを含むことが好ましい。注視センサ140は、例えば、ユーザ190の右目および左目に赤外光を照射するとともに、照射光に対する角膜および虹彩からの反射光を受けることにより
各眼球の回転角を検出するセンサであってもよい。注視センサ140は、検出した各回転角に基づいて、ユーザ190の視線方向を検知することができる。
The
サーバ150は、コンピュータ200にプログラムを送信し得る。別の局面において、サーバ150は、他のユーザによって使用されるHMD装置に仮想現実を提供するための他のコンピュータ200と通信し得る。例えば、アミューズメント施設において、複数のユーザが参加型のゲームを行なう場合、各コンピュータ200は、各ユーザの動作に基づく信号を他のコンピュータ200と通信して、同じ仮想空間において複数のユーザが共通のゲームを楽しむことを可能にする。
The
コントローラ160は、ユーザ190からコンピュータ200への命令の入力を受け付ける。ある局面において、コントローラ160は、ユーザ190によって把持可能に構成される。別の局面において、コントローラ160は、ユーザ190の身体あるいは衣類の一部に装着可能に構成される。別の局面において、コントローラ160は、コンピュータ200から送られる信号に基づいて、振動、音、光のうちの少なくともいずれかを出力するように構成されてもよい。別の局面において、コントローラ160は、仮想現実を提供する空間に配置されるオブジェクトの位置や動きを制御するためにユーザ190によって与えられる操作を受け付ける。
The
モーションセンサ130は、ある局面において、ユーザの手に取り付けられて、ユーザの手の動きを検出する。例えば、モーションセンサ130は、手の回転速度、回転数等を検出する。検出された信号は、コンピュータ200に送られる。モーションセンサ130は、例えば、手袋型のコントローラ160に設けられている。ある実施の形態において、現実空間における安全のため、コントローラ160は、手袋型のようにユーザ190の手に装着されることにより容易に飛んで行かないものに装着されるのが望ましい。別の局面において、ユーザ190に装着されないセンサがユーザ190の手の動きを検出してもよい。例えば、ユーザ190を撮影するカメラの信号が、ユーザ190の動作を表わす信号として、コンピュータ200に入力されてもよい。モーションセンサ130とコンピュータ200とは、有線により、または無線により互いに接続される。無線の場合、通信形態は特に限られず、例えば、Bluetooth(登録商標)その他の公知の通信手法が用いられる。
The
[ハードウェア構成]
図2を参照して、本実施の形態に係るコンピュータ200について説明する。図2は、一局面に従うコンピュータ200のハードウェア構成の一例を表すブロック図である。コンピュータ200は、主たる構成要素として、プロセッサ10と、メモリ11と、ストレージ12と、入出力インターフェイス13と、通信インターフェイス14とを備える。各構成要素は、それぞれ、バス15に接続されている。
[Hardware configuration]
The
プロセッサ10は、コンピュータ200に与えられる信号に基づいて、あるいは、予め定められた条件が成立したことに基づいて、メモリ11またはストレージ12に格納されているプログラムに含まれる一連の命令を実行する。ある局面において、プロセッサ10は、CPU(Central Processing Unit)、MPU(Micro Processor Unit)、FP
GA(Field-Programmable Gate Array)その他のデバイスとして実現される。
The
It is realized as a GA (Field-Programmable Gate Array) and other devices.
メモリ11は、プログラムおよびデータを一時的に保存する。プログラムは、例えば、ストレージ12からロードされる。データは、コンピュータ200に入力されたデータと、プロセッサ10によって生成されたデータとを含む。ある局面において、メモリ11は、RAM(Random Access Memory)その他の揮発メモリとして実現される。
The
ストレージ12は、プログラムおよびデータを永続的に保持する。ストレージ12は、例えば、ROM(Read-Only Memory)、ハードディスク装置、フラッシュメモリ、その
他の不揮発記憶装置として実現される。ストレージ12に格納されるプログラムは、HMDシステム100において仮想空間を提供するためのプログラム、シミュレーションプログラム、ゲームプログラム、ユーザ認証プログラム、他のコンピュータ200との通信を実現するためのプログラムを含む。ストレージ12に格納されるデータは、仮想空間を規定するためのデータおよびオブジェクト等を含む。
The
なお、別の局面において、ストレージ12は、メモリカードのように着脱可能な記憶装置として実現されてもよい。さらに別の局面において、コンピュータ200に内蔵されたストレージ12の代わりに、外部の記憶装置に保存されているプログラムおよびデータを使用する構成が使用されてもよい。このような構成によれば、例えば、アミューズメント施設のように複数のHMDシステム100が使用される場面において、プログラムやデータの更新を一括して行なうことが可能になる。
In another aspect, the
ある実施の形態において、入出力インターフェイス13は、HMD装置110、HMDセンサ120またはモーションセンサ130との間で信号を通信する。ある局面において、入出力インターフェイス13は、USB(Universal Serial Bus)インターフェイス、DVI(Digital Visual Interface)、HDMI(登録商標)(High-Definition Multimedia Interface)その他の端子を用いて実現される。なお、入出力インターフェイス13は上述のものに限られない。
In certain embodiments, the input /
ある実施の形態において、入出力インターフェイス13は、さらに、コントローラ160と通信し得る。例えば、入出力インターフェイス13は、モーションセンサ130から出力された信号の入力を受ける。別の局面において、入出力インターフェイス13は、プロセッサ10から出力された命令を、コントローラ160に送る。当該命令は、振動、音声出力、発光等をコントローラ160に指示する。コントローラ160は、当該命令を受信すると、その命令に応じて、振動、音声出力または発光のいずれかを実行する。
In certain embodiments, the input /
通信インターフェイス14は、ネットワーク19に接続されて、ネットワーク19に接続されている他のコンピュータ(例えば、サーバ150)と通信する。ある局面において、通信インターフェイス14は、例えば、LAN(Local Area Network)その他の有線通信インターフェイス、あるいは、WiFi(Wireless Fidelity)、Bluetooth(登録商標)、NFC(Near Field Communication)その他の無線通信インターフェイスとして実現される。なお、通信インターフェイス14は上述のものに限られない。
The
ある局面において、プロセッサ10は、ストレージ12にアクセスし、ストレージ12に格納されている1つ以上のプログラムをメモリ11にロードし、当該プログラムに含まれる一連の命令を実行する。当該1つ以上のプログラムは、コンピュータ200のオペレーティングシステム、仮想空間を提供するためのアプリケーションプログラム、コントローラ160を用いて仮想空間で実行可能なゲームソフトウェア等を含み得る。プロセッサ10は、入出力インターフェイス13を介して、仮想空間を提供するための信号をHMD装置110に送る。HMD装置110は、その信号に基づいてモニタ112に映像を表示する。
In a certain aspect, the
なお、図2に示される例では、コンピュータ200は、HMD装置110の外部に設けられる構成が示されているが、別の局面において、コンピュータ200は、HMD装置110に内蔵されてもよい。一例として、モニタ112を含む携帯型の情報通信端末(例えば、スマートフォン)がコンピュータ200として機能してもよい。
In the example shown in FIG. 2, the
また、コンピュータ200は、複数のHMD装置110に共通して用いられる構成であってもよい。このような構成によれば、例えば、複数のユーザに同一の仮想空間を提供することもできるので、各ユーザは同一の仮想空間で他のユーザと同一のアプリケーションを楽しむことができる。
Further, the
ある実施の形態において、HMDシステム100では、グローバル座標系が予め設定されている。グローバル座標系は、現実空間における鉛直方向、鉛直方向に直交する水平方向、ならびに、鉛直方向および水平方向の双方に直交する前後方向にそれぞれ平行な、3つの基準方向(軸)を有する。本実施の形態では、グローバル座標系は視点座標系の一つである。そこで、グローバル座標系における水平方向、鉛直方向(上下方向)、および前後方向は、それぞれ、x軸、y軸、z軸と規定される。より具体的には、グローバル座標系において、x軸は現実空間の水平方向に平行である。y軸は、現実空間の鉛直方向に平行である。z軸は現実空間の前後方向に平行である。
In one embodiment, the
ある局面において、HMDセンサ120は、赤外線センサを含む。赤外線センサが、HMD装置110の各光源から発せられた赤外線をそれぞれ検出すると、HMD装置110の存在を検出する。HMDセンサ120は、さらに、各点の値(グローバル座標系における各座標値)に基づいて、HMD装置110を装着したユーザ190の動きに応じた、現実空間内におけるHMD装置110の位置および傾きを検出する。より詳しくは、HMDセンサ120は、経時的に検出された各値を用いて、HMD装置110の位置および傾きの時間的変化を検出できる。
In some aspects, the
グローバル座標系は現実空間の座標系と平行である。したがって、HMDセンサ120によって検出されたHMD装置110の各傾きは、グローバル座標系におけるHMD装置110の3軸周りの各傾きに相当する。HMDセンサ120は、グローバル座標系におけるHMD装置110の傾きに基づき、uvw視野座標系をHMD装置110に設定する。HMD装置110に設定されるuvw視野座標系は、HMD装置110を装着したユーザ190が仮想空間において物体を見る際の視点座標系に対応する。
The global coordinate system is parallel to the coordinate system in real space. Therefore, each inclination of the
[uvw視野座標系]
図3を参照して、uvw視野座標系について説明する。図3は、ある実施の形態に従うHMD装置110に設定されるuvw視野座標系を概念的に表す図である。HMDセンサ120は、HMD装置110の起動時に、グローバル座標系におけるHMD装置110の位置および傾きを検出する。プロセッサ10は、検出された値に基づいて、uvw視野座標系をHMD装置110に設定する。
[Uvw field coordinate system]
The uvw field coordinate system will be described with reference to FIG. FIG. 3 is a diagram conceptually representing the uvw field coordinate system set in the
図3に示されるように、HMD装置110は、HMD装置110を装着したユーザの頭部を中心(原点)とした3次元のuvw視野座標系を設定する。より具体的には、HMD装置110は、グローバル座標系を規定する水平方向、鉛直方向、および前後方向(x軸、y軸、z軸)を、グローバル座標系内においてHMD装置110の各軸周りの傾きだけ各軸周りにそれぞれ傾けることによって新たに得られる3つの方向を、HMD装置110におけるuvw視野座標系のピッチ方向(u軸)、ヨー方向(v軸)、およびロール方向(w軸)として設定する。
As shown in FIG. 3, the
ある局面において、HMD装置110を装着したユーザ190が直立し、かつ、正面を視認している場合、プロセッサ10は、グローバル座標系に平行なuvw視野座標系をHMD装置110に設定する。この場合、グローバル座標系における水平方向(x軸)、鉛直方向(y軸)、および前後方向(z軸)は、HMD装置110におけるuvw視野座標系のピッチ方向(u軸)、ヨー方向(v軸)、およびロール方向(w軸)に一致する。
In a certain aspect, when the
uvw視野座標系がHMD装置110に設定された後、HMDセンサ120は、HMD装置110の動きに基づいて、設定されたuvw視野座標系におけるHMD装置110の傾き(傾きの変化量)を検出できる。この場合、HMDセンサ120は、HMD装置110の傾きとして、uvw視野座標系におけるHMD装置110のピッチ角(θu)、ヨー角(θv)、およびロール角(θw)をそれぞれ検出する。ピッチ角(θu)は、uvw視野座標系におけるピッチ方向周りのHMD装置110の傾き角度を表す。ヨー角(θv)は、uvw視野座標系におけるヨー方向周りのHMD装置110の傾き角度を表す。ロール角(θw)は、uvw視野座標系におけるロール方向周りのHMD装置110の傾き角度を表す。
After the uvw field coordinate system is set in the
HMDセンサ120は、検出されたHMD装置110の傾き角度に基づいて、HMD装置110が動いた後のHMD装置110におけるuvw視野座標系を、HMD装置110に設定する。HMD装置110と、HMD装置110のuvw視野座標系との関係は、HMD装置110の位置および傾きに関わらず、常に一定である。HMD装置110の位置および傾きが変わると、当該位置および傾きの変化に連動して、グローバル座標系におけるHMD装置110のuvw視野座標系の位置および傾きが変化する。
The
ある局面において、HMDセンサ120は、赤外線センサからの出力に基づいて取得される赤外線の光強度および複数の点間の相対的な位置関係(例えば、各点間の距離など)に基づいて、HMD装置110の現実空間内における位置を、HMDセンサ120に対する相対位置として特定してもよい。また、プロセッサ10は、特定された相対位置に基づいて、現実空間内(グローバル座標系)におけるHMD装置110のuvw視野座標系の原点を決定してもよい。
In one aspect, the
[仮想空間]
図4を参照して、仮想空間についてさらに説明する。図4は、ある実施の形態に従う仮想空間2を表現する一態様を概念的に表す図である。仮想空間2は、中心21の360度方向の全体を覆う全天球状の構造を有する。図4では、説明を複雑にしないために、仮想空間2のうちの上半分の天球が例示されている。仮想空間2では各メッシュが規定される。各メッシュの位置は、仮想空間2に規定されるXYZ座標系における座標値として予め規定されている。コンピュータ200は、仮想空間2に展開可能なコンテンツ(静止画、動画等)を構成する各部分画像を、仮想空間2において対応する各メッシュにそれぞれ対応付けて、ユーザによって視認可能な仮想空間画像22が展開される仮想空間2をユーザに提供する。
[Virtual space]
The virtual space will be further described with reference to FIG. FIG. 4 is a diagram conceptually representing one aspect of expressing the
ある局面において、仮想空間2では、中心21を原点とするXYZ座標系が規定される。XYZ座標系は、例えば、グローバル座標系に平行である。XYZ座標系は視点座標系の一種であるため、XYZ座標系における水平方向、鉛直方向(上下方向)、および前後方向は、それぞれX軸、Y軸、Z軸として規定される。したがって、XYZ座標系のX軸(水平方向)がグローバル座標系のx軸と平行であり、XYZ座標系のY軸(鉛直方向)がグローバル座標系のy軸と平行であり、XYZ座標系のZ軸(前後方向)がグローバル座標系のz軸と平行である。
In a certain aspect, the
HMD装置110の起動時、すなわちHMD装置110の初期状態において、仮想カメラ1が、仮想空間2の中心21に配置される。仮想カメラ1は、現実空間におけるHMD装置110の動きに連動して、仮想空間2を同様に移動する。これにより、現実空間におけるHMD装置110の位置および向きの変化が、仮想空間2において同様に再現される。
When the
仮想カメラ1には、HMD装置110の場合と同様に、uvw視野座標系が規定される
。仮想空間2における仮想カメラのuvw視野座標系は、現実空間(グローバル座標系)におけるHMD装置110のuvw視野座標系に連動するように規定されている。したがって、HMD装置110の傾きが変化すると、それに応じて、仮想カメラ1の傾きも変化する。また、仮想カメラ1は、HMD装置110を装着したユーザの現実空間における移動に連動して、仮想空間2において移動することもできる。
As in the case of the
仮想カメラ1の向きは、仮想カメラ1の位置および傾きに応じて決まるので、ユーザが仮想空間画像22を視認する際に基準となる視線(基準視線5)は、仮想カメラ1の向きに応じて決まる。コンピュータ200のプロセッサ10は、基準視線5に基づいて、仮想空間2における視界領域23を規定する。視界領域23は、仮想空間2のうち、HMD装置110を装着したユーザの視界に対応する。
Since the orientation of the
注視センサ140によって検出されるユーザ190の視線方向は、ユーザ190が物体を視認する際の視点座標系における方向である。HMD装置110のuvw視野座標系は、ユーザ190がモニタ112を視認する際の視点座標系に等しい。また、仮想カメラ1のuvw視野座標系は、HMD装置110のuvw視野座標系に連動している。したがって、ある局面に従うHMDシステム100は、注視センサ140によって検出されたユーザ190の視線方向を、仮想カメラ1のuvw視野座標系におけるユーザの視線方向とみなすことができる。
The line-of-sight direction of the
[ユーザの視線]
図5を参照して、ユーザの視線方向の決定について説明する。図5は、ある実施の形態に従うHMD装置110を装着するユーザ190の頭部を上から表した図である。
[User's line of sight]
The determination of the line-of-sight direction of the user will be described with reference to FIG. FIG. 5 is a top view of the head of the
ある局面において、注視センサ140は、ユーザ190の右目および左目の各視線を検出する。ある局面において、ユーザ190が近くを見ている場合、注視センサ140は、視線R1およびL1を検出する。別の局面において、ユーザ190が遠くを見ている場合、注視センサ140は、視線R2およびL2を検出する。この場合、ロール方向wに対して視線R2およびL2がなす角度は、ロール方向wに対して視線R1およびL1がなす角度よりも小さい。注視センサ140は、検出結果をコンピュータ200に送信する。
In one aspect, the
コンピュータ200が、視線の検出結果として、視線R1およびL1の検出値を注視センサ140から受信した場合には、その検出値に基づいて、視線R1およびL1の交点である注視点N1を特定する。一方、コンピュータ200は、視線R2およびL2の検出値を注視センサ140から受信した場合には、視線R2およびL2の交点を注視点として特定する。コンピュータ200は、特定した注視点N1の位置に基づき、ユーザ190の視線方向N0を特定する。コンピュータ200は、例えば、ユーザ190の右目Rと左目Lとを結ぶ直線の中点と、注視点N1とを通る直線の延びる方向を、視線方向N0として検出する。視線方向N0は、ユーザ190が両目により実際に視線を向けている方向である。また、視線方向N0は、視界領域23に対してユーザ190が実際に視線を向けている方向に相当する。
When the
別の局面において、HMDシステム100は、HMDシステム100を構成するいずれかのパーツに、マイクおよびスピーカを備えてもよい。ユーザは、マイクに発話することにより、仮想空間2に対して、音声による指示を与えることができる。
In another aspect, the
また、別の局面において、HMDシステム100は、テレビジョン放送受信チューナを備えてもよい。このような構成によれば、HMDシステム100は、仮想空間2においてテレビ番組を表示することができる。
In another aspect, the
さらに別の局面において、HMDシステム100は、インターネットに接続するための通信回路、あるいは、電話回線に接続するための通話機能を備えていてもよい。
In yet another aspect, the
[視界領域]
図6および図7を参照して、視界領域23について説明する。図6は、仮想空間2において視界領域23をX方向から見たYZ断面を表す図である。図7は、仮想空間2において視界領域23をY方向から見たXZ断面を表す図である。
[Visibility area]
The field of
図6に示されるように、YZ断面における視界領域23は、領域24を含む。領域24は、仮想カメラ1の基準視線5と仮想空間2のYZ断面とによって定義される。プロセッサ10は、仮想空間おける基準視線5を中心として極角αを含む範囲を、領域24として規定する。
As shown in FIG. 6, the field of
図7に示されるように、XZ断面における視界領域23は、領域25を含む。領域25は、基準視線5と仮想空間2のXZ断面とによって定義される。プロセッサ10は、仮想空間2における基準視線5を中心とした方位角βを含む範囲を、領域25として規定する。
As shown in FIG. 7, the field of
ある局面において、HMDシステム100は、コンピュータ200からの信号に基づいて、視界画像26をモニタ112に表示させることにより、ユーザ190に仮想空間を提供する。視界画像26は、仮想空間画像22のうち視界領域23に重畳する部分に相当する。ユーザ190が、頭に装着したHMD装置110を動かすと、その動きに連動して仮想カメラ1も動く。その結果、仮想空間2における視界領域23の位置が変化する。これにより、モニタ112に表示される視界画像26は、仮想空間画像22のうち、仮想空間2においてユーザが向いた方向の視界領域23に重畳する画像に更新される。ユーザは、仮想空間2における所望の方向を視認することができる。
In one aspect, the
ユーザ190は、HMD装置110を装着している間、現実世界を視認することなく、仮想空間2に展開される仮想空間画像22のみを視認できる。そのため、HMDシステム100は、仮想空間2への高い没入感覚をユーザに与えることができる。
While wearing the
ある局面において、プロセッサ10は、HMD装置110を装着したユーザ190の現実空間における移動に連動して、仮想空間2において仮想カメラ1を移動し得る。この場合、プロセッサ10は、仮想空間2における仮想カメラ1の位置および向きに基づいて、HMD装置110のモニタ112に投影される画像領域(すなわち、仮想空間2における視界領域23)を特定する。
In a certain aspect, the
ある実施の形態に従うと、仮想カメラ1は、二つの仮想カメラ、すなわち、右目用の画像を提供するための仮想カメラと、左目用の画像を提供するための仮想カメラとを含むことが望ましい。また、ユーザ190が3次元の仮想空間2を認識できるように、適切な視差が、二つの仮想カメラに設定されていることが好ましい。本実施の形態においては、仮想カメラ1が二つの仮想カメラを含み、二つの仮想カメラのロール方向が合成されることによって生成されるロール方向(w)がHMD装置110のロール方向(w)に適合されるように構成されているものとして、本開示に係る技術思想を例示する。
According to certain embodiments, the
[コントローラ]
図8を参照して、コントローラ160の一例について説明する。図8は、ある実施の形態に従うコントローラ160の概略構成を表す図である。
[controller]
An example of the
図8の分図(A)に示されるように、ある局面において、コントローラ160は、右コ
ントローラ800と左コントローラとを含み得る。右コントローラ800は、ユーザ190の右手で操作される。左コントローラは、ユーザ190の左手で操作される。ある局面において、右コントローラ800と左コントローラとは、別個の装置として対称に構成される。したがって、ユーザ190は、右コントローラ800を把持した右手と、左コントローラを把持した左手とをそれぞれ自由に動かすことができる。別の局面において、コントローラ160は両手の操作を受け付ける一体型のコントローラであってもよい。以下、右コントローラ800について説明する。
In one aspect, the
右コントローラ800は、グリップ30と、フレーム31と、天面32とを備える。グリップ30は、ユーザ190の右手によって把持されるように構成されている。例えば、グリップ30は、ユーザ190の右手の掌と3本の指(中指、薬指、小指)とによって保持され得る。
The
グリップ30は、ボタン33,34と、モーションセンサ130とを含む。ボタン33は、グリップ30の側面に配置され、右手の中指による操作を受け付ける。ボタン34は、グリップ30の前面に配置され、右手の人差し指による操作を受け付ける。ある局面において、ボタン33,34は、トリガー式のボタンとして構成される。モーションセンサ130は、グリップ30の筐体に内蔵されている。なお、ユーザ190の動作がカメラその他の装置によってユーザ190の周りから検出可能である場合には、グリップ30は、モーションセンサ130を備えなくてもよい。
The
フレーム31は、その円周方向に沿って配置された複数の赤外線LED35を含む。赤外線LED35は、コントローラ160を使用するプログラムの実行中に、当該プログラムの進行に合わせて赤外線を発光する。赤外線LED35から発せられた赤外線は、右コントローラ800と左コントローラ(図示しない)との各位置や姿勢(傾き、向き)を検出するために使用され得る。図8に示される例では、二列に配置された赤外線LED35が示されているが、配列の数は図8に示されるものに限られない。一列あるいは3列以上の配列が使用されてもよい。
The
天面32は、ボタン36,37と、アナログスティック38とを備える。ボタン36,37は、プッシュ式ボタンとして構成される。ボタン36,37は、ユーザ190の右手の親指による操作を受け付ける。アナログスティック38は、ある局面において、初期位置(ニュートラルの位置)から360度任意の方向への操作を受け付ける。当該操作は、例えば、仮想空間2に配置されるオブジェクトを移動するための操作を含む。
The
ある局面において、右コントローラ800および左コントローラは、赤外線LED35その他の部材を駆動するための電池を含む。電池は、充電式、ボタン型、乾電池型等を含むが、これらに限定されない。別の局面において、右コントローラ800と左コントローラは、例えば、コンピュータ200のUSBインターフェイスに接続され得る。この場合、右コントローラ800および左コントローラは、電池を必要としない。
In one aspect, the
図8の分図(A)および分図(B)に示されるように、例えば、ユーザ190の右手810に対して、ヨー、ロール、ピッチの各方向が規定される。ユーザ190が親指と人差し指とを伸ばした場合に、親指の伸びる方向がヨー方向、人差し指の伸びる方向がロール方向、ヨー方向の軸およびロール方向の軸によって規定される平面に垂直な方向がピッチ方向として規定される。
As shown in the division (A) and the division (B) of FIG. 8, for example, the yaw, roll, and pitch directions are defined for the
[HMD装置の制御装置]
図9を参照して、HMD装置110の制御装置について説明する。ある実施の形態において、制御装置は周知の構成を有するコンピュータ200によって実現される。図9は、
ある実施の形態に従うコンピュータ200をモジュール構成として表わすブロック図である。
[Control device for HMD device]
The control device of the
FIG. 5 is a block diagram showing a
図9に示されるように、コンピュータ200は、表示制御モジュール220と、仮想空間制御モジュール230と、メモリモジュール240と、通信制御モジュール250とを備える。表示制御モジュール220は、サブモジュールとして、仮想カメラ制御モジュール221と、視界領域決定モジュール222と、視界画像生成モジュール223と、基準視線特定モジュール224とを含む。仮想空間制御モジュール230は、サブモジュールとして、仮想空間定義モジュール231と、仮想オブジェクト生成モジュール232と、操作オブジェクト制御モジュール233と、入力装置オブジェクト制御モジュール234とを含む。
As shown in FIG. 9, the
ある実施の形態において、表示制御モジュール220と仮想空間制御モジュール230とは、プロセッサ10によって実現される。別の実施の形態において、複数のプロセッサ10が表示制御モジュール220と仮想空間制御モジュール230として作動してもよい。メモリモジュール240は、メモリ11またはストレージ12によって実現される。通信制御モジュール250は、通信インターフェイス14によって実現される。
In certain embodiments, the
ある局面において、表示制御モジュール220は、HMD装置110のモニタ112における画像表示を制御する。仮想カメラ制御モジュール221は、仮想空間2に仮想カメラ1を配置し、仮想カメラ1の挙動、向き等を制御する。視界領域決定モジュール222は、HMD装置110を装着したユーザの頭の向きに応じて、視界領域23を規定する。視界画像生成モジュール223は、決定された視界領域23に基づいて、モニタ112に表示される視界画像26を生成する。
In a certain aspect, the
基準視線特定モジュール224は、注視センサ140からの信号に基づいて、ユーザ190の視線を特定する。
The reference line-of-
仮想空間制御モジュール230は、ユーザ190に提供される仮想空間2を制御する。仮想空間定義モジュール231は、仮想空間2を表わす仮想空間データを生成することにより、HMDシステム100における仮想空間2を規定する。
The virtual
仮想オブジェクト生成モジュール232は、仮想空間2に配置される対象物を生成する。対象物は、例えば、ゲームのストーリーの進行に従って配置される森、山その他を含む風景、動物等を含み得る。
The virtual
操作オブジェクト制御モジュール233は、仮想空間2に配置されるオブジェクトを操作するための操作オブジェクトを仮想空間2に配置する。ある局面において、操作オブジェクトは、例えば、HMD装置110を装着したユーザの手に相当する手オブジェクト、ユーザの指に相当する指オブジェクト、ユーザが使用するスティックに相当するスティックオブジェクト等を含み得る。操作オブジェクトが指オブジェクトの場合、特に、操作オブジェクトは、当該指が指し示す方向(軸方向)の軸の部分に対応している。
The operation
入力装置オブジェクト制御モジュール234は、仮想空間2において指示を受け付けるための仮想入力装置を仮想空間2に配置する。ある局面において、仮想入力装置は、例えば、仮想キーボード、仮想タッチパネル、仮想スイッチその他の入力装置を含み得る。
The input device
仮想空間制御モジュール230は、仮想空間2に配置されるオブジェクトのそれぞれが、他のオブジェクトと衝突した場合に、当該衝突を検出する。仮想空間制御モジュール230は、例えば、あるオブジェクトと、別のオブジェクトとが触れたタイミングを検出す
ることができ、当該検出がされたときに、予め定められた処理を行う。仮想空間制御モジュール230は、オブジェクトとオブジェクトとが触れている状態から離れたタイミングを検出することができ、当該検出がされたときに、予め定められた処理を行う。仮想空間制御モジュール230は、オブジェクトとオブジェクトとが触れている状態であることを検出することができる。具体的には、操作オブジェクト制御モジュール233は、操作オブジェクトと、他のオブジェクト(例えば、入力装置オブジェクト制御モジュール234によって配置される仮想入力装置)とが触れた時に、これら操作オブジェクトと他のオブジェクトとが触れたことを検出して、予め定められた処理を行う。
When each of the objects arranged in the
メモリモジュール240は、コンピュータ200が仮想空間2をユーザ190に提供するために使用されるデータを保持している。ある局面において、メモリモジュール240は、空間情報241と、オブジェクト情報242と、ユーザ情報243とを保持している。空間情報241は、仮想空間2を提供するために規定された1つ以上のテンプレートを保持している。オブジェクト情報242は、仮想空間2において再生されるコンテンツ、当該コンテンツで使用されるオブジェクトを配置するための情報を保持している。当該コンテンツは、例えば、ゲーム、現実社会と同様の風景を表したコンテンツ等を含み得る。ユーザ情報243は、HMDシステム100の制御装置としてコンピュータ200を機能させるためのプログラム、オブジェクト情報242に保持される各コンテンツを使用するアプリケーションプログラム等を保持している。メモリモジュール240に格納されているデータおよびプログラムは、HMD装置110のユーザによって入力される。あるいは、プロセッサ10が、当該コンテンツを提供する事業者が運営するコンピュータ(例えば、サーバ150)からプログラムあるいはデータをダウンロードして、ダウンロードされたプログラムあるいはデータをメモリモジュール240に格納する。
The
通信制御モジュール250は、ネットワーク19を介して、サーバ150その他の情報通信装置と通信し得る。
The
ある局面において、表示制御モジュール220および仮想空間制御モジュール230は、例えば、ユニティテクノロジーズ社によって提供されるUnity(登録商標)を用いて実現され得る。別の局面において、表示制御モジュール220および仮想空間制御モジュール230は、各処理を実現する回路素子の組み合わせとしても実現され得る。
In certain aspects, the
コンピュータ200における処理は、ハードウェアと、プロセッサ10により実行されるソフトウェアとによって実現される。このようなソフトウェアは、ハードディスクその他のメモリモジュール240に予め格納されている場合がある。また、ソフトウェアは、CD−ROMその他のコンピュータ読み取り可能な不揮発性のデータ記録媒体に格納されて、プログラム製品として流通している場合もある。あるいは、当該ソフトウェアは、インターネットその他のネットワークに接続されている情報提供事業者によってダウンロード可能なプログラム製品として提供される場合もある。このようなソフトウェアは、光ディスク駆動装置その他のデータ読取装置によってデータ記録媒体から読み取られて、あるいは、通信制御モジュール250を介してサーバ150その他のコンピュータからダウンロードされた後、記憶モジュールに一旦格納される。そのソフトウェアは、プロセッサ10によって記憶モジュールから読み出され、実行可能なプログラムの形式でRAMに格納される。プロセッサ10は、そのプログラムを実行する。
The processing in the
図9に示されるコンピュータ200を構成するハードウェアは、一般的なものである。したがって、本実施の形態に係る最も本質的な部分は、コンピュータ200に格納されたプログラムであるともいえる。なお、コンピュータ200のハードウェアの動作は周知であるので、詳細な説明は繰り返さない。
The hardware that constitutes the
なお、データ記録媒体としては、CD−ROM、FD(Flexible Disk)、ハードディスクに限られず、磁気テープ、カセットテープ、光ディスク(MO(Magnetic Optical
Disc)/MD(Mini Disc)/DVD(Digital Versatile Disc))、IC(Integrated Circuit)カード(メモリカードを含む)、光カード、マスクROM、EPROM
(Electronically Programmable Read-Only Memory)、EEPROM(Electronically Erasable Programmable Read-Only Memory)、フラッシュROMなどの半導体メモリ等の固定的にプログラムを担持する不揮発性のデータ記録媒体でもよい。
The data recording medium is not limited to CD-ROM, FD (Flexible Disk), and hard disk, but also magnetic tape, cassette tape, and optical disk (MO (Magnetic Optical).
Disc) / MD (Mini Disc) / DVD (Digital Versatile Disc)), IC (Integrated Circuit) card (including memory card), optical card, mask ROM, EPROM
A non-volatile data recording medium such as (Electronically Programmable Read-Only Memory), EEPROM (Electronically Erasable Programmable Read-Only Memory), or a semiconductor memory such as a flash ROM may be used.
ここでいうプログラムとは、プロセッサ10により直接実行可能なプログラムだけでなく、ソースプログラム形式のプログラム、圧縮処理されたプログラム、暗号化されたプログラム等を含み得る。
The program referred to here may include not only a program that can be directly executed by the
[制御構造]
図10および図11を参照して、本実施の形態に係るコンピュータ200の制御構造について説明する。図10は、HMDシステム100が実行する処理を表わすフローチャートである。図11は、コンピュータ200のプロセッサ10が実行する処理を表わすフローチャートである。
[Control structure]
The control structure of the
図10を参照して、ステップS1010にて、コンピュータ200のプロセッサ10は、仮想空間定義モジュール231として、仮想空間画像データを特定し、仮想空間を定義する。
With reference to FIG. 10, in step S1010, the
ステップS1020にて、プロセッサ10は、仮想カメラ1を初期化する。例えば、プロセッサ10は、メモリのワーク領域において、仮想カメラ1を仮想空間2において予め規定された中心点に配置し、仮想カメラ1の視線をユーザ190が向いている方向に向ける。
In step S1020, the
ステップS1030にて、プロセッサ10は、視界画像生成モジュール223として、初期の視界画像を表示するための視界画像データを生成する。生成された視界画像データは、視界画像生成モジュール223を介して通信制御モジュール250によってHMD装置110に送られる。
In step S1030, the
ステップS1032にて、HMD装置110のモニタ112は、コンピュータ200から受信した信号に基づいて、視界画像を表示する。HMD装置110を装着したユーザ190は、視界画像を視認すると仮想空間2を認識し得る。
In step S1032, the
ステップS1034にて、HMDセンサ120は、HMD装置110から発信される複数の赤外線光に基づいて、HMD装置110の位置と傾きを検知する。検知結果は、動き検知データとして、コンピュータ200に送られる。
In step S1034, the
ステップS1040にて、プロセッサ10は、HMD装置110の位置と傾きとに基づいて、HMD装置110を装着したユーザ190の視界方向を特定する。プロセッサ10は、アプリケーションプログラムを実行し、アプリケーションプログラムに含まれる命令に基づいて、仮想空間2にオブジェクトを配置する。
In step S1040, the
ステップS1042にて、コントローラ160は、現実空間におけるユーザ190の操作を検出する。例えば、ある局面において、コントローラ160は、ユーザ190によってボタンが押下されたことを検出する。別の局面において、コントローラ160は、ユーザ190の両手の動作(たとえば、両手を振る等)を検出する。検出内容を示す信号は、コンピュータ200に送られる。
In step S1042, the
ステップS1050にて、プロセッサ10は、仮想空間に仮想手オブジェクトを配置する。仮想手オブジェクトは、現実空間におけるユーザ190の手に対応する。
In step S1050, the
ステップS1060にて、プロセッサ10は、ユーザ190の手の動きに基づいて、仮想空間に仮想キーボードを配置する。
In step S1060, the
ステップS1070にて、プロセッサ10は、現実空間におけるユーザの動作に基づいて、仮想キーボードへの入力を検知する。
In step S1070, the
ステップS1080にて、プロセッサ10は、仮想キーボードへの入力に応じた処理を実行する。
In step S1080, the
ステップS1090にて、プロセッサ10は、処理の結果に基づく視界画像を表示するための視界画像データを生成し、生成した視界画像データをHMD装置110に出力する。
In step S1090, the
ステップS1092にて、HMD装置110のモニタ112は、受信した視界画像データに基づいて視界画像を更新し、更新後の視界画像を表示する。
In step S1092, the
図11を参照して、ステップS1110にて、プロセッサ10は、仮想空間定義モジュール231として、仮想空間を定義して、コントローラ160を把持しているユーザが装着しているHMD装置110に仮想空間を提供する。
With reference to FIG. 11, in step S1110, the
ステップS1120にて、プロセッサ10は、コントローラ160からの出力に基づいて、現実空間における当該ユーザの手の動作を検知する。手の動作の検知は、例えば、ユーザが把持するコントローラ160に設けられたモーションセンサ130からの出力に基づいて行なわれる。別の局面において、手の動作は、ユーザの動作を撮影するように配置された1つ以上のカメラによって得られる画像データの解析結果によっても検知され得る。
In step S1120, the
ステップS1130にて、プロセッサ10は、操作オブジェクト制御モジュール233として、検知された動作に応じて、ユーザの両手に対応する仮想右手オブジェクトおよび仮想左手オブジェクトを仮想空間に配置する。
In step S1130, the
ステップS1140にて、プロセッサ10は、入力装置オブジェクト制御モジュール234として、現実空間における右手の動きに応じて動く仮想右手オブジェクトの動作に基づいて、入力装置オブジェクト(例えば、仮想タッチパネル)を仮想空間に配置する。
In step S1140, the
ステップS1150にて、プロセッサ10は、操作オブジェクト制御モジュール233として、現実空間における右手の操作に応じて仮想右手オブジェクトが仮想タッチパネルに接近していることを検知する。
In step S1150, the
ステップS1160にて、プロセッサ10は、その検知に応答して、操作オブジェクト制御モジュール233として、仮想空間において、人差し指を伸ばした状態で仮想右手オブジェクトを配置する。より詳しくは、プロセッサ10は、当該仮想右手オブジェクトを仮想空間に配置するためのデータを生成し、表示制御モジュール220を介して、当該データをHMD装置110に送信する。モニタ112が当該データに基づく画像を表示すると、HMD装置110を装着したユーザは、仮想空間において、人差し指を伸ばした状態にある仮想右手オブジェクトを認識する。
In step S1160, in response to the detection, the
ステップS1170にて、プロセッサ10は、操作オブジェクト制御モジュール233として、モーションセンサ130からの出力に基づいて、仮想右手オブジェクトの人差し指が仮想タッチパネルに接触したことを検知する。より詳しくは、現実空間における人差し指の移動がモーションセンサ130によって検出される。その移動を示す信号は、コンピュータ200に入力される。現実空間における右手の人差し指の移動は、操作オブジェクト制御モジュール233によって、仮想空間2における仮想右手オブジェクトの人差し指の移動に置換される。操作オブジェクト制御モジュール233は、仮想空間2における仮想右手オブジェクトの人差し指と仮想タッチパネルとが衝突した場合に、当該衝突を検出する。または、操作オブジェクト制御モジュール233は、仮想空間2における人差し指の移動速度に基づいて、人差し指と仮想タッチパネルとの間隔を算出する。この間隔が0になったとき、操作オブジェクト制御モジュール233は、人差し指が仮想タッチパネルに接触したと判断することとしてもよい。
In step S1170, the
ステップS1180にて、プロセッサ10は、入力装置オブジェクト制御モジュール234として、仮想タッチパネルに接触した位置に関連付けられている処理を実行する。例えば、仮想右手オブジェクトの人差し指が仮想タッチパネルのキーボードのいずれかのキーに触れた場合には、プロセッサ10は、そのキーの入力を受け付ける。
In step S1180, the
ステップS1190にて、プロセッサ10は、仮想タッチパネルへの接触に基づく入力が受け付けられたことを示す信号を、現実空間のコントローラ160に送信する。
In step S1190, the
図12を参照して、仮想空間2における仮想入力装置の配置について説明する。図12は、ユーザがある局面に従う仮想空間2において認識する視野画像1210の変化を表す図である。
The arrangement of the virtual input device in the
図12の状態(A)に示されるように、HMD装置110を装着したユーザがコントローラ160を操作すると、左手オブジェクト1220と右手オブジェクト1230とが仮想空間2に配置される。この状態で、ユーザが、仮想キーボードを仮想空間2に配置するための操作をコントローラ160に対して行うと、左手オブジェクト1220から仮想キーボード1240が現れる。この時、仮想キーボード1240が現れる起点となる場所は、例えば、左手オブジェクト1220の人差し指あるいは手首の近傍であるが、その他の場所が起点となってもよい。仮想空間2に配置される手指の部位に応じて、少なくとも、視野画像1210において認識される左手オブジェクト1220、右手オブジェクト1230その他の操作オブジェクトの近傍に仮想キーボード1240が配置されるのが好ましい。
As shown in the state (A) of FIG. 12, when the user wearing the
ある局面において、仮想キーボード1240が出現する場所を示すアイコンが操作オブジェクトに示されてもよい。例えば、現実空間においてユーザがコントローラ160を操作したことに応答して、仮想空間2に配置される左手オブジェクト1220の人差し指に指輪1250が、当該アイコンとして付加的に表示されてもよい。このようなアイコンが表示されると、ユーザは仮想キーボード1240がどこから出現するかを直感することができる。なお、アイコンとして表示されるものは指輪1250に限られず、腕輪その他の手指に装着し得るアクセサリが左手オブジェクト1220または右手オブジェクト1230に表示されてもよい。
In certain aspects, the operating object may be provided with an icon indicating where the
なお、仮想空間2に配置されるオブジェクトとしては、手首から先の手オブジェクトよりも指オブジェクトが配置されるのが望ましい。仮に、手首から先に相当する手オブジェクトが仮想空間2に配置されている場合、ユーザは現実空間で腕時計を見る仕草が必要になり得る。これに対して、指オブジェクトのみが配置されている場合、現実空間における
ユーザの動作が簡略化され得るので、没入感を損なうことなく操作性が向上し得る。
As the object to be arranged in the
この状態(A)において、ユーザが現実空間において右手を操作して右手オブジェクト1230を仮想キーボード1240に近づけると、状態(B)に示されるように、右手オブジェクト1230は、自動的に指を伸ばしたような形に変化する。
In this state (A), when the user operates his right hand in real space to bring the right-
状態(B)において、視野画像1210に示されるように、ユーザが右手オブジェクト1230の人差し指を、仮想キーボード1240のいずれかのキーに接触させると、コンピュータ200のプロセッサ10は、操作オブジェクト制御モジュール233として右手オブジェクト1230の位置を算出し、入力装置オブジェクト制御モジュール234として、当該キーへの入力を検知する。プロセッサ10は、入力操作が行なわれたキーに割り当てられている処理を実行する。
In state (B), as shown in the
ある実施の形態において、仮想キーボード1240への入力は、文字の入力、アイテムその他の仮想空間2に配置されるオブジェクトの選択を含む。例えば、オブジェクトの選択の場合、ユーザが右手オブジェクト1230でオブジェクトを選択すると、その選択されたオブジェクトは、右手オブジェクト1230に握られる態様で出現される。
In certain embodiments, input to the
ある実施の形態に従う仮想空間2において、左手オブジェクト1220または右手オブジェクト1230と仮想キーボード1240とが接触したら、ユーザ190が右手に把持するコントローラ160は、振動してもよい。これにより、ユーザは、仮想空間2における入力操作が受け付けられたことを、現実空間において物理的に感知できる。
When the left-
本実施の形態によれば、コントローラ160の振動がユーザに入力をフィードバックできるので、現実空間においてキーボード、タッチパッドその他の入力装置を用いなくても仮想空間2における入力を容易に実現できる。
According to the present embodiment, since the vibration of the
図13を参照して、仮想空間2における仮想キーボード1240の表示態様についてさらに説明する。図13は、仮想空間2に配置された仮想キーボード1240の姿勢の変化を表す図である。ある実施の形態において、仮想キーボード1240の操作面は、視認性を維持するために、手の向きが変わっても仮想カメラ1を向くように構成され得る。
The display mode of the
例えば、状態(A)に示されるように、ある局面において、仮想キーボード1240は左手オブジェクト1220の正面を向いている。その後、現実空間におけるユーザの手の向きの変化に応じて、仮想キーボード1240の向きが変わってもよい。
For example, as shown in state (A), in some aspects, the
例えば、状態(B)に示されるように、現実空間におけるユーザの手が傾くと、仮想キーボード1240は、その傾きに応じて傾いてもよい。この場合、ユーザの手の傾きは、コントローラ160が備えるモーションセンサ130からの出力信号によって、あるいは、ユーザの手を撮影するカメラから出力される画像データによって検知され得る。ある局面において、仮想キーボード1240の傾きの度合いは、手のヨー方向の傾きに基づいて算出される。
For example, as shown in the state (B), when the user's hand in the real space is tilted, the
図14を参照して、現実空間における手の傾きと仮想空間2における仮想キーボード1240の傾きとの関係について説明する。図14は、仮想空間2に配置される仮想カメラ1と仮想キーボード1240に現実空間におけるユーザの左手1410を合わせた状態を表す図である。
The relationship between the tilt of the hand in the real space and the tilt of the
状態(A)に示されるように、ある局面において、仮想空間2において、左手1410の姿勢に応じて仮想キーボード1240が配置されている。このとき、仮想キーボード1
240の操作面は、仮想カメラ1を向いている。仮想カメラ1の方向は仮想空間2における仮想ユーザの視線方向になるので、HMD装置110を装着したユーザは、仮想キーボード1240の操作面を正視できる。状態(A)からユーザが左手1410を前傾させると、仮想キーボード1240の操作面も同様に傾く。
As shown in the state (A), in a certain aspect, the
The operation surface of 240 faces the
すなわち、状態(B)に示されるように、左手1410のヨー方向の変化に応じて、仮想キーボードの操作面に垂直な法線がヨー方向に直交するように、仮想キーボード1240も傾くので、仮想キーボード1240の操作性の低下が抑制され得る。
That is, as shown in the state (B), the
図15を参照して、仮想キーボード1240に対する入力についてさらに説明する。図15は、仮想キーボード1240への誤入力を防止する構成を説明するための図である。ユーザが仮想キーボード1240への入力を意図通りに行うために、コンピュータ200は、ユーザが意図しない入力動作を検知しないようにする必要がある。そこで、ある実施の形態において、例えば、以下のような規則が適用され得る。
The input to the
(規則1)入力する際の手の動き方向
コンピュータ200は、左手オブジェクト1220または右手オブジェクト1230が仮想キーボード1240の操作面(タッチ面)に向かう動作のみを検知し、操作面から遠ざかる方向の動作を検知しない。操作面(タッチ面)に向かう方向は、操作面(タッチ面)の法線方向の逆方向に相当し、操作面(タッチ面)から遠ざかる方向は、操作面(タッチ面)の法線方向に相当する。
(Rule 1) Direction of hand movement when inputting The
このような構成によれば、左手オブジェクト1220または右手オブジェクト1230が仮想キーボード1240に接触した後に仮想キーボード1240の背面まで突き抜けてしまった場合において、左手オブジェクト1220または右手オブジェクト1230を手前に戻すための戻り動作が行なわれても、プロセッサ10は、当該動作を仮想キーボード1240への入力とみなさないので、誤入力が防止される。
According to such a configuration, when the left-
また、コンピュータ200は、仮想キーボード1240への入力に用いる仮想手のオブジェクト(左手オブジェクト1220または右手オブジェクト1230)が仮想キーボード1240の操作面(タッチ面)と接触した場合に、仮想手のオブジェクトの指の軸方向(図15の状態(B)に示す右手オブジェクト1230のロール軸方向の加速度)の速度が閾値を超えるときは、当該接触に基づいて仮想キーボード1240への入力とみなし、仮想手のオブジェクトの指の軸方向の速度が閾値以下である場合は、当該接触があったとしても仮想キーボード1240への入力とみなさないようにすることとしてもよい。ここで、閾値は、図15の状態(B)に示す右手オブジェクト1230のロール軸方向の速度と比較するための値であって、ゼロではなくプラスの値であるとする。こうすることで、図15の状態(B)の例において、右手オブジェクト1230が仮想キーボード1240に接触した後に仮想キーボード1240の背面まで突き抜けてしまった場合に、右手オブジェクト1230を手前に戻すために戻り動作が行われても、右手オブジェクト1230のロール軸方向の速度成分がマイナスの値となるため、当該動作を仮想キーボード1240への入力とみなすことがない。そのため誤入力が防止される。右手オブジェクト1230が仮想キーボード1240に接触した後に仮想キーボード1240の背面まで突き抜けた状態で、右手オブジェクト1230がピッチ軸方向に移動したとしても(右手オブジェクト1230が仮想キーボード1240を突き抜けた状態で、仮想キーボード1240の面に平行な方向に右手オブジェクト1230が移動したとしても)、右手オブジェクト1230のロール軸方向の速度成分がゼロまたはゼロに近い状態で、仮想タッチパネルのキーボードのいずれかのキーと右手オブジェクト1230とが接触することとなるため、当該動作を仮想キーボード1240への入力とみなすことがない。そのため誤入力が防止される。
Further, in the
(規則2)入力する際の手の向き
左手オブジェクト1220または右手オブジェクト1230のロール方向が、操作面(タッチ面)に(タッチ面の法線方向の逆方向)に向いていること。ロール方向が平行よりもタッチ面の法線方向に向いている場合には、プロセッサ10は、当該動作を仮想キーボード1240への入力として検知しない。
(Rule 2) Direction of hand when inputting The roll direction of the left-
ある実施の形態において、プロセッサ10は、規則1または規則2のいずれか、または両方の規則を適用することにより、上記「戻り動作」の誤検知を防止できる。
In certain embodiments, the
以上より、本明細書に開示された主題は、例えば、以下のような構成として示される。
[構成1]
ある実施の形態に従うと、仮想空間2における入力を支援するためにコンピュータ200によって実行される方法が提供される。この方法は、
仮想空間2において入力を受け付けるための入力装置オブジェクト(例えば仮想キーボード1240)を仮想空間2に配置するステップと、
コンピュータ200のユーザ190の四肢のいずれかの状態を検出するステップと、
四肢のいずれかの状態の検出結果に応じて、入力装置オブジェクトに対する入力操作を行うための操作オブジェクト(例えば、左手オブジェクト1220、右手オブジェクト1230)を配置するステップと、
操作オブジェクトと入力装置オブジェクトとの接触を検出するステップと、
接触が予め定められた態様での接触である場合に、当該接触を入力装置オブジェクトに対する入力操作として受け付けるステップとを含む。コンピュータ200は、操作オブジェクトを、ユーザ190に対応する仮想ユーザと入力装置オブジェクトとの間に配置する。
From the above, the subject matter disclosed in the present specification is shown, for example, as the following structure.
[Structure 1]
According to certain embodiments, there is provided a method performed by
A step of arranging an input device object (for example, a virtual keyboard 1240) for receiving an input in the
A step of detecting the state of any of the limbs of
A step of arranging an operation object (for example, a left-
Steps to detect contact between the operating object and the input device object,
This includes a step of accepting the contact as an input operation on the input device object when the contact is a contact in a predetermined mode. The
[構成2] 好ましくは、予め定められた態様は、操作オブジェクトが入力装置オブジェクトを貫くこと、または、操作オブジェクトが入力装置オブジェクトを押すことのいずれかを含む。 [Structure 2] Preferably, a predetermined embodiment includes either the operation object penetrating the input device object or the operation object pushing the input device object.
[構成3] 好ましくは、入力操作として受け付けるステップは、操作オブジェクトが入力装置オブジェクトの外部から入力装置オブジェクトに接触した場合に、当該接触を入力操作として受け付けることを含む。 [Structure 3] Preferably, the step of accepting as an input operation includes accepting the contact as an input operation when the operation object contacts the input device object from the outside of the input device object.
[構成4] 好ましくは、外部から入力装置オブジェクトへの接触は、仮想ユーザから入力装置に向かって移動した操作オブジェクトが、入力装置オブジェクトに接触することを含む。 [Structure 4] Preferably, the contact with the input device object from the outside includes the operation object moved from the virtual user toward the input device touching the input device object.
[構成5] 好ましくは、予め定められた態様は、入力装置オブジェクトに対する操作オブジェクトの移動が、予め定められた一方向の移動であることを含む。 [Structure 5] Preferably, the predetermined embodiment includes that the movement of the operation object with respect to the input device object is a predetermined one-way movement.
[構成6] 好ましくは、四肢のいずれかは、ユーザの手を含む。操作オブジェクトは、手に相当する手オブジェクトを含む。 [Structure 6] Preferably, any of the limbs includes the user's hand. The operation object includes a hand object corresponding to a hand.
[構成7] 好ましくは、手オブジェクトは、1つ以上の指オブジェクトを含む。操作オブジェクトを仮想空間に配置するステップは、入力装置オブジェクトと手オブジェクトとが予め定められた距離以下まで接近した場合に、1つ以上の指オブジェクトを伸ばした状態で配置することを含む。 [Structure 7] Preferably, the hand object includes one or more finger objects. The step of arranging the operation object in the virtual space includes arranging one or more finger objects in an extended state when the input device object and the hand object are close to each other by a predetermined distance or less.
[構成8] 好ましくは、上記方法は、入力操作が受け付けられた場合に、コンピュー
タに接続されてユーザに装着されている出力装置に、入力操作が受け付けられたことを通知するための信号を送信するステップをさらに含む。
[Structure 8] Preferably, when the input operation is accepted, the above method transmits a signal for notifying the output device connected to the computer and attached to the user that the input operation has been accepted. Including additional steps to do.
[構成9] 好ましくは、予め定められた態様での接触は、操作オブジェクトと入力装置オブジェクトとが接触することと、操作オブジェクトと入力装置オブジェクトとの接触が維持された状態で、操作オブジェクトが入力装置オブジェクトの表面に平行に移動することとを含む。 [Structure 9] Preferably, in the contact in a predetermined mode, the operation object inputs while the operation object and the input device object are in contact with each other and the contact between the operation object and the input device object is maintained. Includes moving parallel to the surface of the device object.
[構成10] 好ましくは、上記方法は、操作オブジェクトと入力装置オブジェクトとが予め定められた態様で接触した場合に、操作オブジェクトまたは入力装置オブジェクトのいずれかの色を変更して表示するステップをさらに含む。 [Structure 10] Preferably, the above method further steps to change and display the color of either the operation object or the input device object when the operation object and the input device object come into contact with each other in a predetermined manner. Including.
[構成11] 好ましくは、入力装置オブジェクトを仮想空間に配置するステップは、仮想空間に配置される手オブジェクトの上方(例えば、左手オブジェクト1220の指先)に入力装置オブジェクトを配置するステップを含む。 [Structure 11] Preferably, the step of arranging the input device object in the virtual space includes a step of arranging the input device object above the hand object arranged in the virtual space (for example, the fingertip of the left hand object 1220).
[構成12] 好ましくは、上記方法は、入力装置オブジェクトへの入力操作に基づいて、仮想空間を提供するためにユーザが装着しているヘッドマウントディスプレイ装置に表示されている内容を切り換えるステップをさらに含む。 [Structure 12] Preferably, the above method further steps to switch the content displayed on the head-mounted display device worn by the user in order to provide a virtual space based on the input operation to the input device object. Including.
[構成13] 好ましくは、状態を検出するステップは、ユーザの手の傾きを検出することを含む。上記方法は、手の傾きに応じて、入力装置オブジェクトを傾けるステップをさらに含む。 [Structure 13] Preferably, the step of detecting the state includes detecting the inclination of the user's hand. The method further includes a step of tilting the input device object according to the tilt of the hand.
[構成14] 入力装置オブジェクトは、入力操作を受け付けるための1つ以上の仮想キーを含む。 [Configuration 14] The input device object includes one or more virtual keys for accepting input operations.
[構成15] 他の実施の形態に従うと、上記のいずれかの構成に記載の方法を一つ以上のコンピュータに実行させるプログラムが提供される。一つ以上のコンピュータは、インターネットを介して相互に通信可能な複数のコンピュータを含む。 [Structure 15] According to another embodiment, a program is provided that causes one or more computers to execute the method described in any one of the above configurations. One or more computers include a plurality of computers capable of communicating with each other via the Internet.
[構成16] さらに他の実施の形態に従うと、仮想空間において入力を支援するための装置が提供される。この装置は、上記のプログラムを格納したメモリと、当該メモリに結合され、プログラムを実行するためのプロセッサとを備える。 [Structure 16] According to still another embodiment, a device for assisting input in the virtual space is provided. This device includes a memory that stores the above program and a processor that is coupled to the memory and executes the program.
以上詳述したように、本開示によれば、現実空間において入力装置を使用することなく仮想空間2に配置される仮想入力装置を用いて、仮想空間2において文字、記号その他の入力を実現できるので、仮想空間2における入力体験の阻害が防止され得る。
As described in detail above, according to the present disclosure, characters, symbols and other inputs can be realized in the
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。 It should be considered that the embodiments disclosed this time are exemplary in all respects and not restrictive. The scope of the present invention is shown by the scope of claims rather than the above description, and it is intended to include all modifications within the meaning and scope equivalent to the scope of claims.
1 仮想カメラ、2 仮想空間、5 基準視線、10 プロセッサ、11 メモリ、12 ストレージ、13 入出力インターフェイス、14 通信インターフェイス、15 バス、19 ネットワーク、21 中心、22 仮想空間画像、23 視界領域、24,25 領域、26 視界画像、31 フレーム、32 天面、33,34,36,37 ボタン、35 赤外線LED、38 アナログスティック、100 HMDシステム、1
10 HMD装置、112 モニタ、114,120 センサ、130 モーションセンサ、140 注視センサ、150 サーバ、160 コントローラ、190 ユーザ、200 コンピュータ、220 表示制御モジュール、221 仮想カメラ制御モジュール、222 視界領域決定モジュール、223 視界画像生成モジュール、224 基準視線特定モジュール、230 仮想空間制御モジュール、231 仮想空間定義モジュール、232 仮想オブジェクト生成モジュール、233 操作オブジェクト制御モジュール、234 入力装置オブジェクト制御モジュール、240 メモリモジュール、241 空間情報、242 オブジェクト情報、243 ユーザ情報、250 通信制御モジュール、800 右コントローラ、810 右手、1210 視野画像、1220 左手オブジェクト、1230 右手オブジェクト、1240 仮想キーボード、1250 指輪、1410 左手。
1 virtual camera, 2 virtual space, 5 reference line of sight, 10 processors, 11 memory, 12 storage, 13 input / output interfaces, 14 communication interfaces, 15 buses, 19 networks, 21 centers, 22 virtual space images, 23 field of view, 24, 25 areas, 26 field of view images, 31 frames, 32 tops, 33, 34, 36, 37 buttons, 35 infrared LEDs, 38 analog sticks, 100 HMD system, 1
10 HMD device, 112 monitor, 114,120 sensor, 130 motion sensor, 140 gaze sensor, 150 server, 160 controller, 190 user, 200 computer, 220 display control module, 221 virtual camera control module, 222 view area determination module, 223 Visibility image generation module, 224 reference line-of-sight identification module, 230 virtual space control module, 231 virtual space definition module, 232 virtual object generation module, 233 operation object control module, 234 input device object control module, 240 memory module, 241 spatial information, 242 object information, 243 user information, 250 communication control module, 800 right controller, 810 right hand, 1210 field image, 1220 left hand object, 1230 right hand object, 1240 virtual keyboard, 1250 ring, 1410 left hand.
Claims (1)
前記方法は、前記プロセッサに、
ユーザの手の状態を検出するステップと、
前記手に相当し、1つ以上の指オブジェクトを含む手オブジェクトと、入力用オブジェクトと、を含む仮想空間を定義するステップと、
前記手の状態に応じて、前記手オブジェクトを動かすステップと、
前記入力用オブジェクトと前記手オブジェクトとが予め定められた距離以下まで接近した場合に、前記ユーザの手の状態によらず、前記指オブジェクトを伸ばした状態にさせるステップと、
前記指オブジェクトと前記入力用オブジェクトとの位置関係が所定の条件を満たす場合に、入力操作を受け付けるステップと、を実行させ、
前記所定の条件は、前記指オブジェクトに含まれる所定の基準点が前記入力用オブジェクトに所定の第1方向から接触することであり、
前記指オブジェクトに含まれる所定の基準点が前記入力用オブジェクトに所定の第1方向とは反対向きの第2方向から接触した場合には、入力操作を受け付けない、方法。 A method performed by a computer with a processor,
The method applies to the processor.
Steps to detect the condition of the user's hand and
A step of defining a virtual space corresponding to the hand and including a hand object including one or more finger objects and an input object.
The step of moving the hand object according to the state of the hand,
A step of extending the finger object regardless of the state of the user's hand when the input object and the hand object approach each other within a predetermined distance.
When the positional relationship between the finger object and the input object satisfies a predetermined condition, a step of accepting an input operation is executed .
The predetermined condition is that a predetermined reference point included in the finger object comes into contact with the input object from a predetermined first direction.
A method in which an input operation is not accepted when a predetermined reference point included in the finger object contacts the input object from a second direction opposite to the predetermined first direction .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017134108A JP6779840B2 (en) | 2017-07-07 | 2017-07-07 | Methods and devices for assisting input in virtual space and programs that allow computers to execute such methods. |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017134108A JP6779840B2 (en) | 2017-07-07 | 2017-07-07 | Methods and devices for assisting input in virtual space and programs that allow computers to execute such methods. |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016162573A Division JP6444345B2 (en) | 2016-08-23 | 2016-08-23 | Method and apparatus for supporting input in virtual space, and program for causing computer to execute the method |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2018032383A JP2018032383A (en) | 2018-03-01 |
JP2018032383A5 JP2018032383A5 (en) | 2019-07-18 |
JP6779840B2 true JP6779840B2 (en) | 2020-11-04 |
Family
ID=61304752
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017134108A Active JP6779840B2 (en) | 2017-07-07 | 2017-07-07 | Methods and devices for assisting input in virtual space and programs that allow computers to execute such methods. |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6779840B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020031493A1 (en) | 2018-08-08 | 2020-02-13 | 株式会社Nttドコモ | Terminal device and method for controlling terminal device |
US20220129069A1 (en) * | 2019-03-28 | 2022-04-28 | Sony Group Corporation | Information processing apparatus, information processing method, and program |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH086708A (en) * | 1994-04-22 | 1996-01-12 | Canon Inc | Display device |
US5594469A (en) * | 1995-02-21 | 1997-01-14 | Mitsubishi Electric Information Technology Center America Inc. | Hand gesture machine control system |
JP5149043B2 (en) * | 2008-03-10 | 2013-02-20 | 株式会社日立製作所 | Video display method in remote communication |
JP2011258158A (en) * | 2010-06-11 | 2011-12-22 | Namco Bandai Games Inc | Program, information storage medium and image generation system |
JP6355978B2 (en) * | 2014-06-09 | 2018-07-11 | 株式会社バンダイナムコエンターテインメント | Program and image generation apparatus |
-
2017
- 2017-07-07 JP JP2017134108A patent/JP6779840B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2018032383A (en) | 2018-03-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6523233B2 (en) | Information processing method, apparatus, and program for causing a computer to execute the information processing method | |
JP6298523B1 (en) | Method executed by computer to communicate through virtual space, program for causing computer to execute the method, and computer apparatus | |
JP2018072604A (en) | Method for suppressing vr sickness, program for causing computer to execute the method, and information processing device | |
JP6495398B2 (en) | Method and program for providing virtual space, and information processing apparatus for executing the program | |
JP6368404B1 (en) | Information processing method, program, and computer | |
JP2021184272A (en) | Information processing method, program, and computer | |
JP6779840B2 (en) | Methods and devices for assisting input in virtual space and programs that allow computers to execute such methods. | |
JP6306678B1 (en) | Method executed by computer to present object in virtual space, program causing computer to execute the method, and computer apparatus | |
JP6457446B2 (en) | Method and apparatus for supporting communication in virtual space, and program for causing computer to execute the method | |
JP2019133309A (en) | Program, information processor and information processing method | |
JP7005406B2 (en) | Programs, information processing devices, and information processing methods | |
JP6278546B1 (en) | Information processing method, apparatus, and program for causing computer to execute information processing method | |
JP6444345B2 (en) | Method and apparatus for supporting input in virtual space, and program for causing computer to execute the method | |
JP6966336B2 (en) | An information processing method, a device, and a program for causing a computer to execute the information processing method. | |
JP2018032384A (en) | Method and device for assisting communication in virtual space and program enabling computer to execute method | |
JP2022048172A (en) | Program, information processing device, and information processing method | |
JP2018101293A (en) | Method executed by computer to provide head-mounted device with virtual space, program causing computer to execute the same and computer device | |
JP2019020836A (en) | Information processing method, device, and program for causing computer to execute the method | |
JP6965304B2 (en) | Programs, information processing devices, and information processing methods | |
JP6776155B2 (en) | A method for providing virtual reality, a program for causing a computer to execute the method, and an information processing device for executing the program. | |
JP6535641B2 (en) | Method and apparatus for controlling an object displayed in a virtual space, and program for causing a computer to execute the method | |
JP2019015972A (en) | Method for suppressing vr sickness, program for causing computer to execute the method, and information processing device | |
JP2019145120A (en) | Method of providing virtual space, program, and information processing apparatus for executing the program | |
JP2019016358A (en) | Information processing method, program and computer | |
JP6907138B2 (en) | A method performed by a computer to communicate over virtual space, a program to cause the computer to perform the method, and a computer device. |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190612 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190612 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20190612 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200701 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200714 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200911 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200929 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201014 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6779840 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |