JP6854869B2 - ヘッドマウントディスプレイとコントローラとを連動させて画面操作するシステム、プログラム、及び方法 - Google Patents
ヘッドマウントディスプレイとコントローラとを連動させて画面操作するシステム、プログラム、及び方法 Download PDFInfo
- Publication number
- JP6854869B2 JP6854869B2 JP2019212719A JP2019212719A JP6854869B2 JP 6854869 B2 JP6854869 B2 JP 6854869B2 JP 2019212719 A JP2019212719 A JP 2019212719A JP 2019212719 A JP2019212719 A JP 2019212719A JP 6854869 B2 JP6854869 B2 JP 6854869B2
- Authority
- JP
- Japan
- Prior art keywords
- user
- controller
- display
- output data
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title description 8
- 238000001514 detection method Methods 0.000 claims description 31
- 238000004891 communication Methods 0.000 claims description 17
- 230000033001 locomotion Effects 0.000 description 40
- 230000001133 acceleration Effects 0.000 description 39
- 238000006073 displacement reaction Methods 0.000 description 24
- 230000006870 function Effects 0.000 description 17
- 230000005540 biological transmission Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 230000004044 response Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 241000282326 Felis catus Species 0.000 description 2
- 238000010009 beating Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 240000005561 Musa balbisiana Species 0.000 description 1
- 235000021015 bananas Nutrition 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Landscapes
- User Interface Of Digital Computer (AREA)
- Controls And Circuits For Display Device (AREA)
Description
生成画像をヘッドマウントディスプレイへ出力するシステムであって、該システムは、
実行中のアプリケーションの内容に応じて求められるユーザ操作を判定する操作判定部と、
コントローラからの出力データから、前記求められるユーザ操作に対応する出力データを検出する入力検出部と、
検出された前記出力データに基づき表示オブジェクトの動作を判定する動作判定部と、
判定された表示オブジェクトの前記動作、及び前記検出された出力データに基づいて、表示オブジェクトの表示パラメータを演算して、仮想空間上に表示される表示オブジェクトの画像を生成する表示演算部と、
仮想空間上の画像に生成された表示オブジェクトの画像を配置した画像を生成して前記システムに接続されたヘッドマウントディスプレイへ出力する画像生成出力部と、
を備えており、
前記コントローラの通信部がインターネットを介してサーバから受信したコントローラ側インタフェースプログラムと、前記システムのシステム側インタフェースプログラムにより、前記コントローラと前記システムが接続されていることを特徴とする、システムに関係する。
入力検出部は、コントローラからの出力データから、前記求められる複数のユーザ操作に対応する出力データをそれぞれ検出し、
動作判定部は、検出された出力データのうち第1の出力データに基づき表示オブジェクトの動作を判定し、検出された出力データのうち第2の出力データに基づき表示オブジェクトの動作を変換することを特徴とする。
実行中のアプリケーションの内容に応じて求められるユーザ操作を判定する操作判定ステップと、
コントローラからの出力データから、前記求められるユーザ操作に対応する出力データを検出する入力検出ステップと、
検出された前記出力データに基づき表示オブジェクトの動作を判定する動作判定ステップと、
判定された表示オブジェクトの前記動作、及び前記検出された出力データに基づいて、表示オブジェクトの表示パラメータを演算して、仮想空間上に表示される表示オブジェクトの画像を生成する表示演算ステップと、
仮想空間上の画像に生成された表示オブジェクトの画像を配置した画像を生成して前記システムに接続されたヘッドマウントディスプレイへ出力する画像生成出力ステップと、を備えており、
前記コントローラの通信部によりインターネットを介してサーバから受信したコントローラ側インタフェースプログラムと、前記システムのシステム側インタフェースプログラムとにより、前記コントローラと前記システムが接続されていることを特徴とする、プログラムに関係する。
実行中のアプリケーションの内容に応じて求められるユーザ操作を判定する操作判定ステップと、
コントローラからの出力データから、前記求められるユーザ操作に対応する出力データを検出する入力検出ステップと、
検出された前記出力データに基づき表示オブジェクトの動作を判定する動作判定ステップと、
判定された表示オブジェクトの前記動作、及び前記検出された出力データに基づいて、表示オブジェクトの表示パラメータを演算して、仮想空間上に表示される表示オブジェクトの画像を生成する表示演算ステップと、
仮想空間上の画像に生成された表示オブジェクトの画像を配置した画像を生成して前記システムに接続されたヘッドマウントディスプレイへ出力する画像生成出力ステップと、を備えており、
前記コントローラの通信部によりインターネットを介してサーバから受信したコントローラ側インタフェースプログラムと、前記システムのシステム側インタフェースプログラムとにより、前記コントローラと前記システムが接続されていることを特徴とする、方法に関係する。
このシステムでは、コントローラ100と本体装置120がWi−Fi、又はBluetooth(登録商標)などの無線ネットワークを介して接続され、本体装置120とヘッドマウントディスプレイ140はWi−Fi、又はBluetooth(登録商標)などの無線又は有線のネットワークを介して接続される。コントローラ100は、さらに、アンテナ110を備えており、本体装置を介さずにインターネット等のネットワークに接続してサーバ160と通信することができる。サーバ160は、プロセッサ、各種記憶装置及びデータ通信装置を中心として構成された公知のサーバコンピュータによって実現されるものであり、コントローラ100との間でデータの送受信を行う。また、サーバ160は、コントローラが複数ある場合は、コントローラ間で行う通信を管理するものである。
コントローラ100は、少なくとも1つのプロセッサ102、少なくとも1つのインタフェース104、少なくとも1つのメモリ106、少なくとも1つのセンサディスプレイ108、及びアンテナ110を含むことができる。コントローラ100は、例えば、公知のスマートフォン、携帯端末によって実現することができる。コントローラ100は、ユーザ自らが保持、装着しており、ユーザの操作に応じた各種操作入力、及びユーザの動きに応じてユーザの動作入力、音声入力を検出することができる。
カメラにより、ユーザが写真や動画を撮ることができ、撮られた写真や動画はユーザコントローラのメモリに格納される。ユーザにより過去に撮像された画像や動画をヘッドマウントディスプレイに表示された仮想空間に反映することができる。
本体装置120は、ユーザコントローラ100、ヘッドマウントディスプレイ140との間でデータの送受信を行うものであり、少なくとも1つのプロセッサ122、少なくとも1つのインタフェース124、少なくとも1つのメモリ126を含むことができる。
HMD140は、本体装置120に接続されており、本体装置120から出力された生成画像を表示する。HMD140は、ユーザの保持するコントローラのセンサディスプレイ(図6の602)、ボタン、キー等を仮想的に表示するようにしても良い。
図2は、コントローラ100の機能的構成を示す図である。同図に示すように、コントローラ100は、操作部202、送信部204、受信部206、通信部208、撮像部210、又はこれらの機能の一部を備えることができる。これらの機能は、ユーザコントローラ100のメモリ106に格納された所定のプログラムがプロセッサ102によって実行されることにより実現される。ユーザコントローラの送信部、受信部はコントローラ側プロセッサによりコントローラ側インタフェースプログラム106Aを実行することにより実現できる。該インタフェースプログラム106Aはコントローラのアンテナ130を用いてインターネットを介してサーバ160より予めダウンロードされ、コントローラ100にインストールされている。
図3は、本体装置120の機能的構成を示す図である。同図に示すように、本体装置120は、操作判定部302、入力検出部304、動作判定部306、表示演算部308、画像生成出力部310を備える。これらの機能は、本体装置におけるメモリに格納された所定のプログラムがプロセッサによって実行されることにより実現される。
まず、インターネットを介してコントローラ100に備えられたアンテナによりインタフェースプログラム106Aをコントローラ100へダウンロードし、インストールする(ステップ1100)。コントローラは、インタフェースプログラム106Aをインストールすることにより、本体装置に専用のコントローラでなくとも、例えば公知の携帯端末(スマートフォン)によりHMD140の画面操作を行うことができる。
次に、送信部204は、所定の動作に関する各種入力、所定の操作に関する各種入力情報、及び/又はコントローラのメモリに格納されている画像、動画、位置情報、又はこれらの組み合わせを出力データとして、本体装置120へ送信する(ステップ1104)。送信部204は、本体装置の入力検出部304からの要求に従って、出力データのうち実行中のアプリケーションの内容に応じて、求められるユーザ操作に対応する出力データを送信することができる。
本体装置には本体装置側インタフェースプログラム126Aがインストールされている。本体装置は、外部ネットワークに接続してインタフェースプログラム126Aを取得してもよいし、記憶媒体を用いてインタフェースプログラム126Aを取得してもよい(ステップ1200)。
次に、コントローラ100側でインタフェースプログラム106Aを実行して、コントローラ100は本体装置内にインタフェースプログラム126Aを含むアプリケーションが格納されているかを検索する(ステップ1302)。
Claims (1)
- 生成画像を、第1のコンピュータを操作する第1のユーザが装着するヘッドマウントディスプレイ、及び、前記第1のユーザと異なり、かつ、ヘッドマウントディスプレイを装着していない第2のユーザが操作する第2のコンピュータのセンサディスプレイへ出力するシステムであって、該システムは、
実行中のアプリケーションの内容に応じて求められる前記第1のユーザ及び前記第2のユーザによる各々のユーザ操作を判定する操作判定部と、
前記第1のコンピュータによって入力され、かつ、該第1のコンピュータから出力される第1の出力データ、及び、前記第2のコンピュータによって入力され、かつ、インターネットを介して前記第1のコンピュータから出力される第2の出力データから、前記求められる前記第1のユーザ及び前記第2のユーザによる各々のユーザ操作に対応する出力データを検出する入力検出部と、
検出された前記出力データに基づき表示オブジェクトの動作を判定する動作判定部と、
判定された表示オブジェクトの前記動作、及び前記検出された出力データに基づいて、表示オブジェクトの表示パラメータを演算して、仮想空間上に表示される表示オブジェクトの画像を生成する表示演算部と、
仮想空間上の画像に生成された表示オブジェクトの画像を配置した画像を生成して前記システムに接続されたヘッドマウントディスプレイへ出力する画像生成出力部と、
を備えており、
前記コンピュータの通信部がインターネットを介してサーバから受信したコンピュータ側インタフェースプログラムと、前記システムのシステム側インタフェースプログラムにより、前記コンピュータと前記システムが接続されていることを特徴とする、システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019212719A JP6854869B2 (ja) | 2019-11-25 | 2019-11-25 | ヘッドマウントディスプレイとコントローラとを連動させて画面操作するシステム、プログラム、及び方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019212719A JP6854869B2 (ja) | 2019-11-25 | 2019-11-25 | ヘッドマウントディスプレイとコントローラとを連動させて画面操作するシステム、プログラム、及び方法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016152763A Division JP6883394B2 (ja) | 2016-08-03 | 2016-08-03 | プログラム、コンピュータ及び方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020061162A JP2020061162A (ja) | 2020-04-16 |
JP6854869B2 true JP6854869B2 (ja) | 2021-04-07 |
Family
ID=70220203
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019212719A Active JP6854869B2 (ja) | 2019-11-25 | 2019-11-25 | ヘッドマウントディスプレイとコントローラとを連動させて画面操作するシステム、プログラム、及び方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6854869B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023275957A1 (ja) * | 2021-06-28 | 2023-01-05 | マクセル株式会社 | 情報処理システム、情報処理端末、および想起操作認識方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008272123A (ja) * | 2007-04-26 | 2008-11-13 | Namco Bandai Games Inc | プログラム、情報記憶媒体及びゲーム装置 |
JP2009278294A (ja) * | 2008-05-13 | 2009-11-26 | Sony Ericsson Mobilecommunications Japan Inc | 情報処理装置、情報処理方法、情報処理プログラム、及び携帯端末装置 |
JP2013125247A (ja) * | 2011-12-16 | 2013-06-24 | Sony Corp | ヘッドマウントディスプレイ及び情報表示装置 |
US20140168261A1 (en) * | 2012-12-13 | 2014-06-19 | Jeffrey N. Margolis | Direct interaction system mixed reality environments |
JP5996605B2 (ja) * | 2014-10-21 | 2016-09-21 | 株式会社コロプラ | ヘッドマウントディスプレイとコントローラとを連動させて画面操作するシステム、プログラム、及び方法 |
-
2019
- 2019-11-25 JP JP2019212719A patent/JP6854869B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2020061162A (ja) | 2020-04-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5996605B2 (ja) | ヘッドマウントディスプレイとコントローラとを連動させて画面操作するシステム、プログラム、及び方法 | |
KR101315052B1 (ko) | 상호 작용식 오락 시스템과 이의 작동 방법 | |
US11467658B2 (en) | Application processing system, method of processing application, and storage medium storing program for processing application | |
US11534681B2 (en) | Virtual console gaming controller | |
JP5898756B1 (ja) | ディスプレイとネットワークを介して接続される複数のコントローラとを連動させて画面操作するシステム、プログラム、及び方法 | |
US11161047B2 (en) | Game processing system, method of processing game, and storage medium storing program for processing game | |
JP6883394B2 (ja) | プログラム、コンピュータ及び方法 | |
JP7344189B2 (ja) | 視聴プログラム、視聴方法、および情報端末装置 | |
JP6854869B2 (ja) | ヘッドマウントディスプレイとコントローラとを連動させて画面操作するシステム、プログラム、及び方法 | |
JP6869412B1 (ja) | ゲーム制御方法、プログラム、サーバ及び通信装置 | |
US10095266B2 (en) | System and method for interfacing between a display and a controller | |
JP7361736B2 (ja) | ゲームプログラム、ゲーム方法、および端末装置 | |
CN114007707A (zh) | 游戏程序、游戏方法以及信息终端装置 | |
JP7163526B1 (ja) | 情報処理システム、プログラム及び情報処理方法 | |
JP7286857B2 (ja) | 情報処理システム、プログラム及び情報処理方法 | |
JP7286856B2 (ja) | 情報処理システム、プログラム及び情報処理方法 | |
JP6999847B1 (ja) | ゲーム制御方法及びプログラム | |
JP7440401B2 (ja) | ゲームプログラム、ゲーム方法、および情報端末装置 | |
WO2023002907A1 (ja) | 情報処理システム、プログラム及び情報処理方法 | |
JP7470063B2 (ja) | ディスプレイとネットワークを介して接続される複数のコントローラとを連動させて画面操作するシステム、及びプログラム | |
US12029973B2 (en) | Game program, game method, and information terminal device | |
JP2023015979A (ja) | 情報処理システム、プログラム及び情報処理方法 | |
JP2022062578A (ja) | プログラムおよび視野制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191206 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191206 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201026 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A132 Effective date: 20201106 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201216 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210312 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210316 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6854869 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |