JP6246310B1 - 仮想空間を提供するための方法、プログラム、および、装置 - Google Patents

仮想空間を提供するための方法、プログラム、および、装置 Download PDF

Info

Publication number
JP6246310B1
JP6246310B1 JP2016249633A JP2016249633A JP6246310B1 JP 6246310 B1 JP6246310 B1 JP 6246310B1 JP 2016249633 A JP2016249633 A JP 2016249633A JP 2016249633 A JP2016249633 A JP 2016249633A JP 6246310 B1 JP6246310 B1 JP 6246310B1
Authority
JP
Japan
Prior art keywords
user
virtual space
hmd
virtual
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016249633A
Other languages
English (en)
Other versions
JP2018106276A (ja
Inventor
智久 五井
智久 五井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Colopl Inc
Original Assignee
Colopl Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Colopl Inc filed Critical Colopl Inc
Priority to JP2016249633A priority Critical patent/JP6246310B1/ja
Application granted granted Critical
Publication of JP6246310B1 publication Critical patent/JP6246310B1/ja
Priority to US15/851,229 priority patent/US10223064B2/en
Publication of JP2018106276A publication Critical patent/JP2018106276A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/165Management of the audio stream, e.g. setting of volume, audio stream path
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25Output arrangements for video game devices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/163Wearable computers, e.g. on a belt
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014Hand-worn input/output arrangements, e.g. data gloves
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2250/00Miscellaneous game characteristics
    • A63F2250/49Miscellaneous game characteristics with provisions for connecting to a part of the body
    • A63F2250/497Head

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Position Input By Displaying (AREA)

Abstract

【課題】ユーザの操作に応じてユーザに提供される仮想空間の視界画像が更新されるときに生じ得る仮想空間酔いを抑制すること。【解決手段】ある実施の形態では、ユーザAの仮想空間内の移動のための入力に応じて、時間Taの間隔で足音が出力される。ユーザBの仮想空間内の移動のための入力に応じて、時間Tbの間隔で足音が出力される。コンピュータは、ヘッドマウントデバイスに表示される視界画像を更新し、さらに、当該ヘッドマウントデバイスのユーザの体格の設定に従った時間間隔で足音を出力する。【選択図】図1

Description

この開示は仮想空間を提供する技術に関し、より特定的には、提供された仮想空間による酔いを低減する技術に関する。
ヘッドマウントデバイス(HMD:Head-Mounted Device)装置を用いて仮想空間を提供する技術が知られている。さらに、提供される仮想空間を、ユーザの入力に応じて変化させるための技術が種々開示されている。たとえば、特許文献1は、ユーザの腕の長さに基づく距離の位置に仮想操作面を形成し、当該仮想操作面をユーザの一部が横切ることによりユーザの操作を受け付け、受け付けた操作の内容に従って提供される仮想空間を変化させる技術を開示している。
特開2011−39844号公報
しかしながら、仮想空間を提供する際、所謂VR(Virtual Reality)酔いを生じる場合がある。このVR酔いを解消するための技術が求められている。
本開示は、係る実情に鑑み考え出されたものであり、ある局面における目的は、ユーザの操作に応じてユーザに提供される仮想空間の視界画像が更新されるときに生じ得る仮想空間酔いを抑制することである。
ある実施の形態に従うと、ヘッドマウントデバイスを介して仮想空間を提供するためにコンピュータで実行される方法が提供される。当該方法は、仮想空間を定義するステップと、ヘッドマウントデバイスのユーザの体格に関する設定を受け付けるステップと、仮想空間におけるユーザの移動のための入力を受け付けるステップと、入力に従って、ヘッドマウントデバイスに表示させる仮想空間の視界画像を更新するステップと、入力に従って、仮想空間における音声を出力するステップとを備える。音声を出力するステップは、音声の出力態様を体格に関する設定に従って調整することを含む。
ある実施の形態に従うと、ヘッドマウントデバイスを介して仮想空間を提供するためにコンピュータで実行される方法が提供される。当該方法は、仮想空間を定義するステップと、ヘッドマウントデバイスのユーザの体格に関する設定を受け付けるステップと、ユーザからの入力を受け付けるステップと、入力に従って、ヘッドマウントデバイスに表示させる仮想空間の視界画像を更新するステップと、入力に従って、仮想空間における音声を出力するステップとを備える。音声を出力するステップは、音声の出力態様を体格に関する設定に従って調整することを含む。
本開示に従ったコンピュータは、ヘッドマウントデバイスに表示させる仮想空間の視界画像を更新し、さらに、仮想空間における音声を出力する。出力される音声は、音声の出力態様を体格に関する設定に従って調整される。ユーザの操作に応じて提供される音声の出力態様がユーザの体格に関する設定に従って調整される。仮想空間における移動に応じた視界画像の更新の態様と体格に応じて出力される音声の出力態様とが対応するようになるので、ユーザにおいて生じ得る仮想空間酔いが抑制され得る。
本開示に従ったコンピュータによる音声の出力態様の一例を模式的に示す図である。 ある実施の形態に従うHMDシステムの構成の概略を表す図である。 一局面に従うコンピュータのハードウェア構成の一例を表すブロック図である。 ある実施の形態に従うHMDに設定されるuvw視野座標系を概念的に表す図である。 ある実施の形態に従う仮想空間を表現する一態様を概念的に表す図である。 ある実施の形態に従うHMDを装着するユーザの頭部を上から表した図である。 仮想空間において視界領域をX方向から見たYZ断面を表す図である。 仮想空間において視界領域をY方向から見たXZ断面を表す図である。 ある実施の形態に従うコントローラの概略構成を表す図である。 ある実施の形態に従うコンピュータをモジュール構成として表わすブロック図である。 ある実施の形態に従うHMDシステムにおいて実行される処理の一部を表わすシーケンスチャートである。 仮想カメラの移動前の状態を説明する図である。 仮想カメラの移動後の状態を説明する図である。 ある実施の形態におけるユーザの体格に関する設定をコンピュータに入力するための処理のフローチャートである。 設定用画面の一例を示す図である。 仮想空間を提供するためにプロセッサが実行する処理のフローチャートである。 ポジショントラッキングデバイスを含むコントローラの概略構成を表わす図である。 図17に示された右コントローラAを含むコントローラに接続されたコンピュータのハードウェア構成の一例を表わすブロック図である。 図17および図18を参照して説明されたコントローラ(センサ)を用いた、ユーザの体格に関する設定の入力のための処理のフローチャートである。 測定用画面の一例を示す図である。 ユーザにコントローラをユーザの股に位置させることを促す画面の一例を示す図である。 ユーザの体格に関する設定に従った仮想カメラの搖動態様を説明するための図である。 仮想カメラの搖動に従った、視界画像におけるオブジェクトの変位を説明するための図である。
以下に、図面を参照しつつ、仮想空間を提供するコンピュータの実施の形態について説明する。以下の説明では、同一の部品および構成要素には同一の符号を付してある。それらの名称および機能も同じである。したがって、これらの説明は繰り返さない。
[開示の概要]
本開示に従ったコンピュータは、各ユーザが利用するヘッドマウントデバイスに表示させる視界画像を更新するとともに、各ユーザの体格の設定に従った態様で音声を出力する。図1は、本開示に従ったコンピュータによる音声の出力態様の一例を模式的に示す図である。
図1は、二人のユーザについての体格に関する設定の一例として、ユーザAとユーザBの股下の寸法についての設定内容を示す。ユーザAとユーザBのそれぞれの股下の寸法は、長さLaと長さLbで示されている。長さLbは、長さLaより長い。
図1は、さらに、仮想空間が提供されるときの音声の出力態様の具体例として、ユーザAおよびユーザBのそれぞれに対して音声が出力されるタイミングを、複数の矩形で示す。図1の横軸は、時間を表わす。ユーザAに対する音声出力の間隔は、時間Taである。ユーザBに対する音声出力の間隔は、時間Tbである。時間Tbは、時間Taより長い。ある局面において、たとえば、時間Taと時間Tbの比は、長さTaと長さTbの比に等しい場合がある。
出力される音声の一例として足音が採用された場合、ユーザAの仮想空間内の移動のための入力に対応する足音は、時間Taの間隔で出力される。一方、ユーザBの仮想空間内の移動のための入力に対応する足音は、時間Tbごとに出力される。
以上より、図1の例では、コンピュータは、ユーザに提供される仮想空間の視界画像を更新し、さらに、当該ユーザの体格の設定に従った態様で音声を出力する。
ユーザは、仮想空間における音声を聞く場合、当該音声がユーザの体格に従った態様で出力されることを無意識に期待する可能性がある。その要因としては、たとえば、ユーザが現実空間において、ユーザの体格に従って出力される音声を経験していることが考えられる。
本開示によれば、ユーザに提供される音声が、ユーザの体格の設定に従った態様で出力されるように調整される。たとえば、ユーザが仮想空間を移動する際に提供される足音の時間間隔は、ユーザの股下の寸法に従うように調整される。これにより、ユーザにおいて、期待する音声の出力態様とコンピュータによる音声の出力態様との間のズレが低減され得る。したがって、ユーザにおけるVR酔いが低減され得る。
[HMDシステムの構成]
ユーザに仮想空間を提供するためのシステムを、「HMD(Head Mount Display)システム」と称する。HMDとは、モニタを備える所謂ヘッドマウントディスプレイと、スマートフォンその他のモニタを有する端末を装着可能なヘッドマウント機器のいずれをも含み得る。HMDシステムは、ヘッドマウントデバイスを含む。ユーザは、ヘッドマウントデバイスを使用することにより仮想空間を提供される。図2を参照して、HMDシステム100の構成について説明する。
図2は、ある実施の形態に従うHMDシステム100の構成の概略を表す図である。ある局面において、HMDシステム100は、家庭用のシステムとしてあるいは業務用のシステムとして提供される。
図2に示されるように、HMDシステム100は、HMD110と、HMDセンサ120と、スピーカ210と、コンピュータ200とを備える。コンピュータ200は、本開示におけるヘッドマウントデバイスを介して仮想空間を提供するためのコンピュータの一例である。HMD110は、モニタ112と、注視センサ140とを含む。ある局面において、コンピュータ200は、ネットワーク19に接続可能であり、ネットワーク19に接続されているサーバ150と通信可能である。別の局面において、HMD110は、HMDセンサ120の代わりに、センサ114を含み得る。
ある実施の形態に従うHMD110は、ユーザの頭部に装着され、動作中に仮想空間をユーザに提供し得る。より具体的には、HMD110は、右目用の画像および左目用の画像をモニタ112にそれぞれ表示する。ユーザの各目がそれぞれの画像を視認すると、ユーザは、両目の視差に基づき当該画像を3次元の画像として認識し得る。
モニタ112は、例えば、非透過型の表示装置として実現される。ある局面において、モニタ112は、ユーザの両目の前方に位置するようにHMD110の本体に配置されている。したがって、ユーザは、モニタ112に表示される3次元画像を視認すると、仮想空間に没入することができる。ある実施の形態において、仮想空間は、例えば、背景、ユーザが操作可能なオブジェクト、ユーザが選択可能なメニューの画像を含む。ある実施の形態において、モニタ112は、所謂スマートフォンその他の情報表示端末が備える液晶モニタまたは有機EL(Electro Luminescence)モニタとして実現され得る。
ある局面において、モニタ112は、右目用の画像を表示するためのサブモニタと、左目用の画像を表示するためのサブモニタとを含み得る。別の局面において、モニタ112は、右目用の画像と左目用の画像とを一体として表示する構成であってもよい。この場合、モニタ112は、高速シャッタを含む。高速シャッタは、画像がいずれか一方の目にのみ認識されるように、右目用の画像と左目用の画像とを交互に表示可能に作動する。
HMDセンサ120は、複数の光源(図示しない)を含む。各光源は例えば、赤外線を発するLED(Light Emitting Diode)により実現される。HMDセンサ120は、HMD110の動きを検出するためのポジショントラッキング機能を有する。HMDセンサ120は、この機能を用いて、現実空間内におけるHMD110の位置および傾きを検出する。
別の局面において、HMDセンサ120は、カメラにより実現されてもよい。この場合、HMDセンサ120は、カメラから出力されるHMD110の画像情報を用いて、画像解析処理を実行することにより、HMD110の位置および傾きを検出することができる。
別の局面において、HMD110は、位置検出器として、HMDセンサ120の代わりに、センサ114を備えてもよい。HMD110は、センサ114を用いて、HMD110自身の位置および傾きを検出し得る。例えば、センサ114が角速度センサ、地磁気センサ、加速度センサ、あるいはジャイロセンサ等である場合、HMD110は、HMDセンサ120の代わりに、これらの各センサのいずれかを用いて、自身の位置および傾きを検出し得る。一例として、センサ114が角速度センサである場合、角速度センサは、現実空間におけるHMD110の3軸周りの角速度を経時的に検出する。HMD110は、各角速度に基づいて、HMD110の3軸周りの角度の時間的変化を算出し、さらに、角度の時間的変化に基づいて、HMD110の傾きを算出する。
注視センサ140は、ユーザ190の右目および左目の視線が向けられる方向(視線方向)を検出する。当該方向の検出は、例えば、公知のアイトラッキング機能によって実現される。注視センサ140は、当該アイトラッキング機能を有するセンサにより実現される。ある局面において、注視センサ140は、右目用のセンサおよび左目用のセンサを含むことが好ましい。注視センサ140は、例えば、ユーザ190の右目および左目に赤外光を照射するとともに、照射光に対する角膜および虹彩からの反射光を受けることにより各眼球の回転角を検出するセンサであってもよい。注視センサ140は、検出した各回転角に基づいて、ユーザ190の視線方向を検知することができる。
スピーカ210は、コンピュータ200に接続され、コンピュータ200から出力される信号に従って音声を出力する。スピーカ210は、ユーザが装着可能なデバイス(例えば、ヘッドホン、イヤホンなど)であってもよい。
サーバ150は、コンピュータ200にプログラムを送信し得る。別の局面において、サーバ150は、他のユーザによって使用されるHMDに仮想現実を提供するための他のコンピュータ200と通信し得る。例えば、アミューズメント施設において、複数のユーザが参加型のゲームを行なう場合、各コンピュータ200は、各ユーザの動作に基づく信号を他のコンピュータ200と通信して、同じ仮想空間において複数のユーザが共通のゲームを楽しむことを可能にする。
ある実施の形態に従うと、HMDシステム100は、コントローラ160をさらに備えてもよい。コントローラ160はモーションセンサ130を含み得る。
コントローラ160は、ユーザ190からコンピュータ200への命令の入力を受け付ける。ある局面において、コントローラ160は、ユーザ190によって把持可能に構成される。別の局面において、コントローラ160は、ユーザ190の身体あるいは衣類の一部に装着可能に構成される。別の局面において、コントローラ160は、コンピュータ200から送られる信号に基づいて、振動、音、光のうちの少なくともいずれかを出力するように構成されてもよい。
モーションセンサ130は、ある局面において、ユーザの手に取り付けられて、ユーザの手の動きを検出する。例えば、モーションセンサ130は、手の回転速度、回転数等を検出する。検出された信号は、コンピュータ200に送られる。モーションセンサ130は、例えば、手袋型のコントローラ160に設けられている。ある実施の形態において、現実空間における安全のため、コントローラ160は、手袋型のようにユーザ190の手に装着されることにより容易に飛んで行かないものに装着されるのが望ましい。別の局面において、ユーザ190に装着されないセンサがユーザ190の手の動きを検出してもよい。例えば、ユーザ190を撮影するカメラの信号が、ユーザ190の動作を表わす信号として、コンピュータ200に入力されてもよい。モーションセンサ130とコンピュータ200とは、有線により、または無線により互いに接続される。無線の場合、通信形態は特に限られず、例えば、Bluetooth(登録商標)その他の公知の通信手法が用いられる。
[コンピュータのハードウェア構成]
図3を参照して、本実施の形態に係るコンピュータ200について説明する。図3は、一局面に従うコンピュータ200のハードウェア構成の一例を表すブロック図である。コンピュータ200は、主たる構成要素として、プロセッサ10と、メモリ11と、ストレージ12と、入出力インターフェイス13と、通信インターフェイス14とを備える。各構成要素は、それぞれ、バス15に接続されている。
プロセッサ10は、コンピュータ200に与えられる信号に基づいて、あるいは、予め定められた条件が成立したことに基づいて、メモリ11またはストレージ12に格納されているプログラムに含まれる一連の命令を実行する。ある局面において、プロセッサ10は、CPU(Central Processing Unit)、MPU(Micro Processor Unit)、FPGA(Field-Programmable Gate Array)その他のデバイスとして実現される。
メモリ11は、プログラムおよびデータを一時的に保存する。プログラムは、例えば、ストレージ12からロードされる。データは、コンピュータ200に入力されたデータと、プロセッサ10によって生成されたデータとを含む。ある局面において、メモリ11は、RAM(Random Access Memory)その他の揮発メモリとして実現される。
ストレージ12は、プログラムおよびデータを永続的に保持する。ストレージ12は、例えば、ROM(Read-Only Memory)、ハードディスク装置、フラッシュメモリ、その他の不揮発記憶装置として実現される。ストレージ12に格納されるプログラムは、HMDシステム100において仮想空間を提供するためのプログラム、シミュレーションプログラム、ゲームプログラム、ユーザ認証プログラム、他のコンピュータ200との通信を実現するためのプログラムを含む。ストレージ12に格納されるデータは、仮想空間を規定するためのデータおよびオブジェクト等を含む。
別の局面において、ストレージ12は、メモリカードのように着脱可能な記憶装置として実現されてもよい。さらに別の局面において、コンピュータ200に内蔵されたストレージ12の代わりに、外部の記憶装置に保存されているプログラムおよびデータを使用する構成が使用されてもよい。このような構成によれば、例えば、アミューズメント施設のように複数のHMDシステム100が使用される場面において、プログラムやデータの更新を一括して行なうことが可能になる。
ある実施の形態において、入出力インターフェイス13は、HMD110、HMDセンサ120、モーションセンサ130、コントローラ160、および、スピーカ210との間で信号を通信する。ある局面において、入出力インターフェイス13は、USB(Universal Serial Bus)インターフェイス、DVI(Digital Visual Interface)、HDMI(登録商標)(High-Definition Multimedia Interface)その他の端子を用いて実現される。なお、入出力インターフェイス13は上述のものに限られない。
ある実施の形態において、入出力インターフェイス13は、さらに、コントローラ160と通信し得る。例えば、入出力インターフェイス13は、モーションセンサ130から出力された信号の入力を受ける。別の局面において、入出力インターフェイス13は、プロセッサ10から出力された命令を、コントローラ160に送る。当該命令は、振動、音声出力、発光等をコントローラ160に指示する。コントローラ160は、当該命令を受信すると、その命令に応じて、振動、音声出力または発光のいずれかを実行する。
通信インターフェイス14は、ネットワーク19に接続されて、ネットワーク19に接続されている他のコンピュータ(例えば、サーバ150)と通信する。ある局面において、通信インターフェイス14は、例えば、LAN(Local Area Network)その他の有線通信インターフェイス、あるいは、WiFi(Wireless Fidelity)(登録商標)、Bluetooth(登録商標)、NFC(Near Field Communication)その他の無線通信インターフェイスとして実現される。なお、通信インターフェイス14は上述のものに限られない。
ある局面において、プロセッサ10は、ストレージ12に格納されている1つ以上のプログラムをメモリ11にロードし、当該プログラムに含まれる一連の命令を実行する。当該1つ以上のプログラムは、コンピュータ200のオペレーティングシステム、仮想空間を提供するためのアプリケーションプログラム、コントローラ160を用いて仮想空間で実行可能なゲームソフトウェア等を含み得る。プロセッサ10は、入出力インターフェイス13を介して、仮想空間を提供するための信号をHMD110に送る。HMD110は、その信号に基づいてモニタ112に映像を表示する。
図3に示される例では、コンピュータ200は、HMD110の外部に設けられる構成が示されているが、別の局面において、コンピュータ200は、HMD110に内蔵されてもよい。一例として、モニタ112を含む携帯型の情報通信端末(例えば、スマートフォン)がコンピュータ200として機能してもよい。
また、コンピュータ200は、複数のHMD110に共通して用いられる構成であってもよい。このような構成によれば、例えば、複数のユーザに同一の仮想空間を提供することもできるので、各ユーザは同一の仮想空間で他のユーザと同一のアプリケーションを楽しむことができる。
ある実施の形態において、複数のコンピュータ200がネットワーク19上のサーバ150を介してデータを共有することにより、当該複数のコンピュータ200のそれぞれのユーザに同一の仮想空間を提供することができてもよい。
ある実施の形態において、HMDシステム100では、グローバル座標系が予め設定されている。グローバル座標系は、現実空間における鉛直方向、鉛直方向に直交する水平方向、ならびに、鉛直方向および水平方向の双方に直交する前後方向にそれぞれ平行な、3つの基準方向(軸)を有する。本実施の形態では、グローバル座標系は視点座標系の一つである。そこで、グローバル座標系における水平方向、鉛直方向(上下方向)、および前後方向は、それぞれ、x軸、y軸、z軸と規定される。より具体的には、グローバル座標系において、x軸は現実空間の水平方向に平行である。y軸は、現実空間の鉛直方向に平行である。z軸は現実空間の前後方向に平行である。
ある局面において、HMDセンサ120は、赤外線センサを含む。赤外線センサが、HMD110の各光源から発せられた赤外線をそれぞれ検出すると、HMD110の存在を検出する。HMDセンサ120は、さらに、各点の値(グローバル座標系における各座標値)に基づいて、HMD110を装着したユーザ190の動きに応じた、現実空間内におけるHMD110の位置および傾きを検出する。より詳しくは、HMDセンサ120は、経時的に検出された各値を用いて、HMD110の位置および傾きの時間的変化を検出できる。
グローバル座標系は現実空間の座標系と平行である。したがって、HMDセンサ120によって検出されたHMD110の各傾きは、グローバル座標系におけるHMD110の3軸周りの各傾きに相当する。HMDセンサ120は、グローバル座標系におけるHMD110の傾きに基づき、uvw視野座標系をHMD110に設定する。HMD110に設定されるuvw視野座標系は、HMD110を装着したユーザ190が仮想空間において物体を見る際の視点座標系に対応する。
[uvw視野座標系]
図4を参照して、uvw視野座標系について説明する。図4は、ある実施の形態に従うHMD110に設定されるuvw視野座標系を概念的に表す図である。HMDセンサ120は、HMD110の起動時に、グローバル座標系におけるHMD110の位置および傾きを検出する。プロセッサ10は、検出された値に基づいて、uvw視野座標系をHMD110に設定する。
図4に示されるように、HMD110は、HMD110を装着したユーザの頭部を中心(原点)とした3次元のuvw視野座標系を設定する。より具体的には、HMD110は、グローバル座標系を規定する水平方向、鉛直方向、および前後方向(x軸、y軸、z軸)を、グローバル座標系内においてHMD110の各軸周りの傾きだけ各軸周りにそれぞれ傾けることによって新たに得られる3つの方向を、HMD110におけるuvw視野座標系のピッチ方向(u軸)、ヨー方向(v軸)、およびロール方向(w軸)として設定する。
ある局面において、HMD110を装着したユーザ190が直立し、かつ、正面を視認している場合、プロセッサ10は、グローバル座標系に平行なuvw視野座標系をHMD110に設定する。この場合、グローバル座標系における水平方向(x軸)、鉛直方向(y軸)、および前後方向(z軸)は、HMD110におけるuvw視野座標系のピッチ方向(u軸)、ヨー方向(v軸)、およびロール方向(w軸)に一致する。
uvw視野座標系がHMD110に設定された後、HMDセンサ120は、HMD110の動きに基づいて、設定されたuvw視野座標系におけるHMD110の傾き(傾きの変化量)を検出できる。この場合、HMDセンサ120は、HMD110の傾きとして、uvw視野座標系におけるHMD110のピッチ角(θu)、ヨー角(θv)、およびロール角(θw)をそれぞれ検出する。ピッチ角(θu)は、uvw視野座標系におけるピッチ方向周りのHMD110の傾き角度を表す。ヨー角(θv)は、uvw視野座標系におけるヨー方向周りのHMD110の傾き角度を表す。ロール角(θw)は、uvw視野座標系におけるロール方向周りのHMD110の傾き角度を表す。
HMDセンサ120は、検出されたHMD110の傾き角度に基づいて、HMD110が動いた後のHMD110におけるuvw視野座標系を、HMD110に設定する。HMD110と、HMD110のuvw視野座標系との関係は、HMD110の位置および傾きに関わらず、常に一定である。HMD110の位置および傾きが変わると、当該位置および傾きの変化に連動して、グローバル座標系におけるHMD110のuvw視野座標系の位置および傾きが変化する。
ある局面において、HMDセンサ120は、赤外線センサからの出力に基づいて取得される赤外線の光強度および複数の点間の相対的な位置関係(例えば、各点間の距離など)に基づいて、HMD110の現実空間内における位置を、HMDセンサ120に対する相対位置として特定してもよい。また、プロセッサ10は、特定された相対位置に基づいて、現実空間内(グローバル座標系)におけるHMD110のuvw視野座標系の原点を決定してもよい。
[仮想空間]
図5を参照して、仮想空間についてさらに説明する。図5は、ある実施の形態に従う仮想空間2を表現する一態様を概念的に表す図である。仮想空間2は、中心21の360度方向の全体を覆う全天球状の構造を有する。図5では、説明を複雑にしないために、仮想空間2のうちの上半分の天球が例示されている。仮想空間2では各メッシュが規定される。各メッシュの位置は、仮想空間2に規定されるXYZ座標系における座標値として予め規定されている。コンピュータ200は、仮想空間2に展開可能なコンテンツ(静止画、動画等)を構成する各部分画像を、仮想空間2において対応する各メッシュにそれぞれ対応付けて、ユーザによって視認可能な仮想空間画像22が展開される仮想空間2をユーザに提供する。
ある局面において、仮想空間2では、中心21を原点とするXYZ座標系が規定される。XYZ座標系は、例えば、グローバル座標系に平行である。XYZ座標系は視点座標系の一種であるため、XYZ座標系における水平方向、鉛直方向(上下方向)、および前後方向は、それぞれX軸、Y軸、Z軸として規定される。したがって、XYZ座標系のX軸(水平方向)がグローバル座標系のx軸と平行であり、XYZ座標系のY軸(鉛直方向)がグローバル座標系のy軸と平行であり、XYZ座標系のZ軸(前後方向)がグローバル座標系のz軸と平行である。
HMD110の起動時、すなわちHMD110の初期状態において、仮想カメラ1が、仮想空間2の中心21に配置される。仮想カメラ1は、現実空間におけるHMD110の動きに連動して、仮想空間2を同様に移動する。これにより、現実空間におけるHMD110の位置および向きの変化が、仮想空間2において同様に再現される。
仮想カメラ1には、HMD110の場合と同様に、uvw視野座標系が規定される。仮想空間2における仮想カメラのuvw視野座標系は、現実空間(グローバル座標系)におけるHMD110のuvw視野座標系に連動するように規定されている。したがって、HMD110の傾きが変化すると、それに応じて、仮想カメラ1の傾きも変化する。また、仮想カメラ1は、HMD110を装着したユーザの現実空間における移動に連動して、仮想空間2において移動することもできる。
仮想カメラ1の向きは、仮想カメラ1の位置および傾きに応じて決まるので、ユーザが仮想空間画像22を視認する際に基準となる視線(基準視線5)は、仮想カメラ1の向きに応じて決まる。コンピュータ200のプロセッサ10は、基準視線5に基づいて、仮想空間2における視界領域23を規定する。視界領域23は、仮想空間2のうち、HMD110を装着したユーザの視界に対応する。
注視センサ140によって検出されるユーザ190の視線方向は、ユーザ190が物体を視認する際の視点座標系における方向である。HMD110のuvw視野座標系は、ユーザ190がモニタ112を視認する際の視点座標系に等しい。また、仮想カメラ1のuvw視野座標系は、HMD110のuvw視野座標系に連動している。したがって、ある局面に従うHMDシステム100は、注視センサ140によって検出されたユーザ190の視線方向を、仮想カメラ1のuvw視野座標系におけるユーザの視線方向とみなすことができる。
[ユーザの視線]
図6を参照して、ユーザの視線方向の決定について説明する。図6は、ある実施の形態に従うHMD110を装着するユーザ190の頭部を上から表した図である。
ある局面において、注視センサ140は、ユーザ190の右目および左目の各視線を検出する。ある局面において、ユーザ190が近くを見ている場合、注視センサ140は、視線R1およびL1を検出する。別の局面において、ユーザ190が遠くを見ている場合、注視センサ140は、視線R2およびL2を検出する。この場合、ロール方向wに対して視線R2およびL2がなす角度は、ロール方向wに対して視線R1およびL1がなす角度よりも小さい。注視センサ140は、検出結果をコンピュータ200に送信する。
コンピュータ200が、視線の検出結果として、視線R1およびL1の検出値を注視センサ140から受信した場合には、その検出値に基づいて、視線R1およびL1の交点である注視点N1を特定する。一方、コンピュータ200は、視線R2およびL2の検出値を注視センサ140から受信した場合には、視線R2およびL2の交点を注視点として特定する。コンピュータ200は、特定した注視点N1の位置に基づき、ユーザ190の視線方向N0を特定する。コンピュータ200は、例えば、ユーザ190の右目Rと左目Lとを結ぶ直線の中点と、注視点N1とを通る直線の延びる方向を、視線方向N0として検出する。視線方向N0は、ユーザ190が両目により実際に視線を向けている方向である。また、視線方向N0は、視界領域23に対してユーザ190が実際に視線を向けている方向に相当する。
別の局面において、HMDシステム100は、HMDシステム100を構成するいずれかのパーツに、マイクおよびスピーカを備えてもよい。ユーザは、マイクに発話することにより、仮想空間2に対して、音声による指示を与えることができる。
また、別の局面において、HMDシステム100は、テレビジョン放送受信チューナを備えてもよい。このような構成によれば、HMDシステム100は、仮想空間2においてテレビ番組を表示することができる。
さらに別の局面において、HMDシステム100は、インターネットに接続するための通信回路、あるいは、電話回線に接続するための通話機能を備えていてもよい。
[視界領域]
図7および図8を参照して、視界領域23について説明する。図7は、仮想空間2において視界領域23をX方向から見たYZ断面を表す図である。図8は、仮想空間2において視界領域23をY方向から見たXZ断面を表す図である。
図7に示されるように、YZ断面における視界領域23は、領域24を含む。領域24は、仮想カメラ1の基準視線5と仮想空間2のYZ断面とによって定義される。プロセッサ10は、仮想空間における基準視線5を中心として極角αを含む範囲を、領域24として規定する。
図8に示されるように、XZ断面における視界領域23は、領域25を含む。領域25は、基準視線5と仮想空間2のXZ断面とによって定義される。プロセッサ10は、仮想空間2における基準視線5を中心とした方位角βを含む範囲を、領域25として規定する。
ある局面において、HMDシステム100は、コンピュータ200からの信号に基づいて、視界画像26をモニタ112に表示させることにより、ユーザ190に仮想空間を提供する。視界画像26は、仮想空間画像22のうち視界領域23に重畳する部分に相当する。ユーザ190が、頭に装着したHMD110を動かすと、その動きに連動して仮想カメラ1も動く。その結果、仮想空間2における視界領域23の位置が変化する。これにより、モニタ112に表示される視界画像26は、仮想空間画像22のうち、仮想空間2においてユーザが向いた方向の視界領域23に重畳する画像に更新される。ユーザは、仮想空間2における所望の方向を視認することができる。
ユーザ190は、HMD110を装着している間、現実世界を視認することなく、仮想空間2に展開される仮想空間画像22のみを視認できる。そのため、HMDシステム100は、仮想空間2への高い没入感覚をユーザに与えることができる。
ある局面において、プロセッサ10は、HMD110を装着したユーザ190の現実空間における移動に連動して、仮想空間2において仮想カメラ1を移動し得る。この場合、プロセッサ10は、仮想空間2における仮想カメラ1の位置および向きに基づいて、HMD110のモニタ112に投影される画像領域(すなわち、仮想空間2における視界領域23)を特定する。
ある実施の形態に従うと、仮想カメラ1は、二つの仮想カメラ、すなわち、右目用の画像を提供するための仮想カメラと、左目用の画像を提供するための仮想カメラとを含むことが望ましい。また、ユーザ190が3次元の仮想空間2を認識できるように、適切な視差が、二つの仮想カメラに設定されていることが好ましい。本実施の形態においては、仮想カメラ1が二つの仮想カメラを含み、二つの仮想カメラのロール方向が合成されることによって生成されるロール方向(w)がHMD110のロール方向(w)に適合されるように構成されているものとして、本開示に係る技術思想を例示する。
[コントローラ]
図9を参照して、コントローラ160の一例について説明する。図9は、ある実施の形態に従うコントローラ160の概略構成を表す図である。
図9の分図(A)に示されるように、ある局面において、コントローラ160は、右コントローラ800と左コントローラとを含み得る。右コントローラ800は、ユーザ190の右手で操作される。左コントローラは、ユーザ190の左手で操作される。ある局面において、右コントローラ800と左コントローラとは、別個の装置として対称に構成される。したがって、ユーザ190は、右コントローラ800を把持した右手と、左コントローラを把持した左手とをそれぞれ自由に動かすことができる。別の局面において、コントローラ160は両手の操作を受け付ける一体型のコントローラであってもよい。以下、右コントローラ800について説明する。
右コントローラ800は、グリップ30と、プレート31と、天面32とを備える。グリップ30は、ユーザ190の右手によって把持されるように構成されている。例えば、グリップ30は、ユーザ190の右手の掌と3本の指(中指、薬指、小指)とによって保持され得る。
グリップ30は、ボタン33,34と、モーションセンサ130とを含む。ボタン33は、グリップ30の側面に配置され、右手の中指による操作を受け付ける。ボタン34は、グリップ30の前面に配置され、右手の人差し指による操作を受け付ける。ある局面において、ボタン33,34は、トリガー式のボタンとして構成される。モーションセンサ130は、グリップ30の筐体に内蔵されている。なお、ユーザ190の動作がカメラその他の装置によってユーザ190の周りから検出可能である場合には、グリップ30は、モーションセンサ130を備えなくてもよい。
プレート31は、その円周方向に沿って配置された複数の赤外線LED35を含む。赤外線LED35は、コントローラ160を使用するプログラムの実行中に、当該プログラムの進行に合わせて赤外線を発光する。赤外線LED35から発せられた赤外線は、右コントローラ800と左コントローラ(図示しない)との各位置や姿勢(傾き、向き)を検出するために使用され得る。図9に示される例では、二列に配置された赤外線LED35が示されているが、配列の数は図9に示されるものに限られない。一列あるいは3列以上の配列が使用されてもよい。
天面32は、ボタン36,37と、アナログスティック38とを備える。ボタン36,37は、プッシュ式ボタンとして構成される。ボタン36,37は、ユーザ190の右手の親指による操作を受け付ける。アナログスティック38は、ある局面において、初期位置(ニュートラルの位置)から360度任意の方向への操作を受け付ける。当該操作は、例えば、仮想空間2に配置されるオブジェクトを移動するための操作を含む。
ある局面において、右コントローラ800および左コントローラは、赤外線LED35その他の部材を駆動するための電池を含む。電池は、充電式、ボタン型、乾電池型等を含むが、これらに限定されない。別の局面において、右コントローラ800と左コントローラは、例えば、コンピュータ200のUSBインターフェイスに接続され得る。この場合、右コントローラ800および左コントローラは、電池を必要としない。
図9の分図(B)は、右コントローラ800を把持するユーザ190の右手に対応して仮想空間に配置されるハンドオブジェクト810の一例を示す。例えば、ユーザ190の右手に対応するハンドオブジェクト810に対して、ヨー、ロール、ピッチの各方向が規定される。例えば、ユーザが右コントローラ800のボタン34に対して入力操作を行なっている場合には、ハンドオブジェクト810は人差し指を握りこんだ状態となり、ユーザがボタン34に対して入力操作を行っていない場合には、分図(B)に示すようにハンドオブジェクト810の人差し指は伸ばした状態となる。例えば、分図(B)に示すようにハンドオブジェクト810において親指と人差し指とが伸びている場合、親指の伸びる方向がヨー方向として規定され、人差し指の伸びる方向がロール方向として規定され、ヨー方向に沿う軸とロール方向に沿う軸とによって規定される平面に垂直な方向がピッチ方向として規定される。
[HMDの制御装置]
図10を参照して、HMD110の制御装置について説明する。ある実施の形態において、制御装置は周知の構成を有するコンピュータ200によって実現される。図10は、ある実施の形態に従うコンピュータ200をモジュール構成として表わすブロック図である。
図10に示されるように、コンピュータ200は、表示制御モジュール220と、仮想空間制御モジュール230と、メモリモジュール240と、通信制御モジュール250と、出力音声制御モジュール211とを備える。表示制御モジュール220は、サブモジュールとして、仮想カメラ制御モジュール221と、視界領域決定モジュール222と、視界画像生成モジュール223と、基準視線特定モジュール224とを含む。仮想空間制御モジュール230は、サブモジュールとして、仮想空間定義モジュール231と、仮想オブジェクト生成モジュール232と、手オブジェクト管理モジュール233とを含む。
ある実施の形態において、表示制御モジュール220と仮想空間制御モジュール230とは、プロセッサ10によって実現される。別の実施の形態において、複数のプロセッサ10が表示制御モジュール220と仮想空間制御モジュール230として作動してもよい。メモリモジュール240は、メモリ11またはストレージ12によって実現される。通信制御モジュール250は、通信インターフェイス14によって実現される。
ある局面において、表示制御モジュール220は、HMD110のモニタ112における画像表示を制御する。仮想カメラ制御モジュール221は、仮想空間2に仮想カメラ1を配置し、仮想カメラ1の挙動、向き等を制御する。視界領域決定モジュール222は、視界領域23を規定する。視界画像生成モジュール223は、決定された視界領域23に基づいて、モニタ112に表示される視界画像26を生成する。
基準視線特定モジュール224は、注視センサ140からの信号に基づいて、ユーザ190の視線を特定する。
仮想空間制御モジュール230は、ユーザ190に提供される仮想空間2を制御する。仮想空間定義モジュール231は、仮想空間2を表わす仮想空間データを生成することにより、HMDシステム100における仮想空間2を規定する。
仮想オブジェクト生成モジュール232は、仮想空間2に表示される対象物を生成する。対象物は、一例では、ネットワーク19上の他のHMDシステム100のユーザのアバター、ならびに、イベント会場におけるステージおよびスクリーン等の設置物を含む。他の例では、対象物は、ゲームのストーリーの進行に従って表示される森、山その他を含む風景、動物等を含む。さらに他の例では、対象物は、戦闘ゲームにおいて表示される、味方および敵の戦士のアバター、建造物、陣営に設置された屏風および椅子などのオブジェクト、ならびに、戦闘に利用される馬および戦車を含む。さらに他の例では、対象物は、ユーザが操作可能なアバターオブジェクトおよび/またはハンドオブジェクトなどが衝突することによって移動(落下)するように設定された花瓶などのオブジェクト、ならびに、ユーザが操作可能なアバターオブジェクトに向かって移動する敵オブジェクトを含む。ある実施の形態では、当該花瓶などのオブジェクトの移動(落下)態様は、物理演算に従う。さらに他の例では、対象物は、ユーザの入力操作によって仮想空間で投擲されることによって床オブジェクトに衝突し、さらに、当該衝突によって音を発生させるように設定された、オブジェクトを含む。さらに他の例では、対象物は、床オブジェクトとオブジェクトとの衝突によって発生した音に向かって移動するように設定された敵オブジェクトを含む。対象物は、ホラー作品を題材とする仮想空間において比較的光量を抑えられた光源とともに配置される場合、暗闇を移動する恐怖感をユーザに提供することができる。
手オブジェクト管理モジュール233は、手オブジェクトを仮想空間2に配置する。以下の説明において、仮想空間2に配置された手オブジェクトは、「仮想手」とも称する。手オブジェクトは、例えば、コントローラ160を保持したユーザ190の右手あるいは左手に対応する。ある局面において、手オブジェクト管理モジュール233は、左手オブジェクト910または右手オブジェクト920を仮想空間2に配置するためのデータを生成する。別の局面において、手オブジェクト管理モジュール233は、ユーザ190によるコントローラ160の操作に応じて、左手オブジェクト910または右手オブジェクト920が他のオブジェクト(例えば、オブジェクト900またはオブジェクト1000)を回転させる動作を示すためのデータを生成する。当該動作は、例えば、オブジェクト900として示されるハンドルを握る手が、当該ハンドルを回転させることを含む。
メモリモジュール240は、コンピュータ200が仮想空間2をユーザ190に提供するために使用されるデータを保持している。ある局面において、メモリモジュール240は、空間情報241と、オブジェクト情報242と、ユーザ情報243とを保持している。
空間情報241は、仮想空間2を提供するために規定された1つ以上のテンプレートを保持している。
オブジェクト情報242は、仮想空間2において再生されるコンテンツ、当該コンテンツで使用されるオブジェクトを表示するための情報、当該コンテンツにおいて出力される音声データを保持している。当該コンテンツは、例えば、ゲーム、現実社会と同様の風景を表したコンテンツ等を含み得る。
ユーザ情報243は、HMDシステム100の制御装置としてコンピュータ200を機能させるためのプログラム、オブジェクト情報242に保持される各コンテンツを使用するアプリケーションプログラム等を保持している。メモリモジュール240に格納されているデータおよびプログラムは、HMD110のユーザによって入力される。あるいは、プロセッサ10が、当該コンテンツを提供する事業者が運営するコンピュータ(例えば、サーバ150)からプログラムあるいはデータをダウンロードして、ダウンロードされたプログラムあるいはデータをメモリモジュール240に格納する。
通信制御モジュール250は、ネットワーク19を介して、サーバ150その他の情報通信装置と通信し得る。
出力音声制御モジュール211は、スピーカ210による音声の出力を制御する。例えば、出力音声制御モジュール211は、オブジェクト情報242によって保持される音声データに従った音声をスピーカ210に出力させる。
ある局面において、表示制御モジュール220および仮想空間制御モジュール230は、ユニティテクノロジーズ社によって提供されるUnity(登録商標)を用いて実現され得る。
[制御構造]
図11を参照して、HMDシステム100の制御構造について説明する。図11は、ある実施の形態に従うHMDシステム100において実行される処理の一部を表わすシーケンスチャートである。
ステップS1110にて、コンピュータ200のプロセッサ10は、仮想空間定義モジュール231として、仮想空間画像データを特定する。
ステップS1110では、プロセッサ10は、たとえば、サーバ150に対し、イベントへの参加を申請する情報を送信してもよい。これに応じて、サーバ150は、コンピュータ200に、当該イベントの会場を表わす仮想空間の画像データ(仮想空間画像データ)を送信してもよい。
ステップS1120にて、プロセッサ10は、仮想カメラ1を初期化する。例えば、プロセッサ10は、仮想カメラ1を仮想空間2において予め規定された中心点に配置し、仮想カメラ1の視線をユーザ190が向いている方向に向ける。
ステップS1130にて、プロセッサ10は、視界画像生成モジュール223として、初期の視界画像を表示するための視界画像データを生成する。生成された視界画像データは、視界画像生成モジュール223を介して通信制御モジュール250によってHMD110に送られる。
ステップS1132にて、HMD110のモニタ112は、コンピュータ200から受信した信号に基づいて、視界画像を表示する。HMD110を装着したユーザ190は、視界画像を視認すると仮想空間2を認識し得る。
ステップS1134にて、HMDセンサ120は、HMD110から発信される複数の赤外線光に基づいて、HMD110の位置と傾きを検知する。検知結果は、動き検知データとして、コンピュータ200に送られる。
ステップS1140にて、プロセッサ10は、HMD110の位置と傾きとに基づいて、HMD110を装着したユーザ190の視界方向を特定する。プロセッサ10は、アプリケーションプログラムを実行し、アプリケーションプログラムに含まれる命令に基づいて、仮想空間2においてオブジェクトを表示させる。ユーザ190は、そのアプリケーションプログラムの実行により仮想空間2において視認可能なコンテンツを楽しむ。
ある局面において、当該コンテンツは、ユーザにイベント会場を体感させるためのアプリケーション(以下、「イベントアプリケーション」ともいう)を含む。イベントアプリケーションは、ユーザに、仮想空間として、イベント会場内の風景を提供する。プロセッサ10は、HMD110の位置と傾きに応じて、ユーザに視認させる仮想空間画像を変更する。
ステップS1150にて、コントローラ160は、ユーザ190の操作を検出し、検出された操作を示す信号をコンピュータ200に送信する。当該信号は、表示された2つ以上のオブジェクトのうち1つ以上のオブジェクトを指定する操作を含む。より具体的には、当該信号は、仮想手を表示させ、当該仮想手で、表示された2つ以上のオブジェクトのうち1つ以上のオブジェクトに触れる動作を示す操作を示す信号を含む。当該信号は、選択された2以上のメニューから1以上のメニューを選択する操作を示す信号を含む。
ステップS1152にて、プロセッサ10は、コントローラ160から受信した信号に基づいて、ユーザの状態(アプリケーションの状態)を判断する。
ステップS1160にて、プロセッサ10は、HMD110の位置および傾き、ユーザ190の操作、ならびに/または、各オブジェクトの設定に従って、視界画像を更新し、更新された視界画像を表示するためのデータ(視界画像データ)をHMD110に送信する。視界画像の更新は、仮想空間内のオブジェクトの透過度の変更、オブジェクトの消去、および、オブジェクトの移動の中のいずれかを含んでもよい。
ステップS1162にて、HMD110のモニタ112は、受信した視界画像データに基づいて視界画像を更新し、更新後の視界画像を表示する。ステップS1162における視界画像の更新は、図11および図12を参照して後述する。
ステップS1170にて、プロセッサ10は、HMD110の位置および傾き、ユーザ190の操作、ならびに/または、各オブジェクトの設定に従って、視界画像を更新し、更新された視界画像を表示するためのデータ(視界画像データ)をHMD110に送信する。視界画像の更新は、仮想空間内のオブジェクトの透過度の変更、オブジェクトの消去、または、オブジェクトの移動の中のいずれかを含んでもよい。
ステップS1162にて、HMD110のモニタ112は、受信した視界画像データに基づいて視界画像を更新し、更新後の視界画像を表示する。
[視界画像の更新]
次に、図12および図13を参照して、ステップS1162における視界画像の更新について説明する。図12は、仮想カメラ1の移動前の状態を説明する図である。分図(A)に示されるように、ある局面において、HMD110を装着したユーザ190は、仮想空間2における視界画像1100を視認している。視界画像1100には、木オブジェクト1110と山オブジェクト1120とが含まれる。このとき、分図(B)に示されるように、仮想カメラ1は、視界画像1100に対応する視界領域23を撮影している。
図12に示される状態において、ユーザ190は、コントローラ160に移動指示を与える。一例として、ユーザ190は、コントローラ160に含まれるアナログスティックを前方に倒す。これにより、図12に示される状態から図13に示される状態へと移行する。
図13は、仮想カメラ1の移動後の状態を説明する図である。プロセッサ10は、コントローラ160から入力される検出信号に応じて、仮想カメラ1を移動させる。より具体的には、プロセッサ10は、移動前の仮想カメラ1の基準視線5を移動方向として特定し、特定した移動方向に、仮想カメラ1を移動させる。
図13の分図(B)において、仮想カメラ1の配置位置(すなわち、ユーザ190の視点)は、図12の分図(B)に示される状態よりも前方に移動している。ユーザは、移動後の仮想カメラ1が撮影する視界画像1200を視認する。次に、図14〜図16を用いて、仮想カメラ1の移動制御について説明する。
[ユーザの体格に関する設定の入力]
コンピュータ200における、ユーザの体格に関する設定の入力の一例について説明する。以下の説明では、ユーザの体格に関する設定の一例として、股下の寸法が採用される。
図14は、ある実施の形態におけるユーザの体格に関する設定をコンピュータ200に入力するための処理のフローチャートである。ある実施の形態のコンピュータ200において、プロセッサ10(図3)は、仮想空間を提供するためのアプリケーションの実行の際、ユーザの体格に関する設定値を利用する。プロセッサ10は、たとえば、当該設定値を、アプリケーションの実行に先立って、または、アプリケーションの実行中に取得し、ストレージ12に格納する。図14の処理は、たとえば、プロセッサ10が、コントローラ160から、体格に関する設定の命令の入力を受付けたことに応じて開始される。プロセッサ10は、たとえば、ストレージ12に格納された所与のプログラムを実行することにより、図14の処理を実現する。
図14を参照して、ステップS100にて、プロセッサ10は、HMD110に、設定用の画面を表示させる。
図15は、設定用画面の一例を示す図である。図15の画面SCR11は、メッセージ「プレーヤの股下の寸法を入力してください。」を含む。画面SCR11は、さらに、入力欄151、変更ボタン152,153、確定ボタン154を含む。入力欄151は、入力されている股下の寸法を表示する。図15では、一例として「80cm」が表示されている。変更ボタン152,153は、入力欄151に入力された寸法を変更するために操作される。確定ボタン154は、入力欄151に入力された寸法を確定するために操作される。ユーザは、たとえばコントローラ160に命令を入力することにより、変更ボタン152,153および確定ボタン154を操作する。
図14に戻って、ステップS102にて、プロセッサ10は、股下の寸法の設定値を取得する。プロセッサ10は、たとえば、図15の画面SCR11において確定ボタン154が操作されたときに入力欄151に入力されていた寸法を、設定値として取得する。
ステップS104にて、プロセッサ10は、ステップS102において取得した設定値をストレージ12に格納する。
以上、図14を参照して説明された処理により、ユーザの股下の寸法の設定値がストレージ12に格納される。
[仮想空間の提供]
次に、ユーザの股下の寸法の設定値を利用した仮想空間の提供の一例について説明する。図16は、仮想空間を提供するためにプロセッサ10が実行する処理のフローチャートである。ある実施の形態において、図16の処理は、仮想空間を提供するためのアプリケーションプログラムの一部として実行される。プロセッサ10は、たとえばストレージ12に格納された所与のプログラムを実行することにより、図16の処理を実現する。
図16を参照して、ステップS200にて、プロセッサ10は、仮想空間定義モジュール231(図10)として、仮想空間2(図5等)を定義して、ユーザが装着しているHMD110に仮想空間2を提供する。仮想空間2は、たとえば所与のアプリケーションプログラムに従って定義される。
ステップS210にて、プロセッサ10は、コントローラ160からの入力があったか否かを判断する。プロセッサ10は、コントローラ160からの入力があるまでステップS210に制御を留め(ステップS210でNO)、コントローラ160からの入力があったと判断すると(ステップS210でYES)、ステップS220へ制御を進める。
ステップS220にて、プロセッサ10は、コントローラ160からの入力に従ったアプリケーションプログラムの実行結果に従って、仮想カメラ1(図5)を入力前の位置から実行結果に従った位置に移動させる。これにより、ユーザに提供される視界画像が更新される。ステップS220における仮想カメラ1の移動方向は、提供されている仮想空間を利用しているアプリケーションプログラムの状態に従って特定される。
一例では、仮想カメラ1の移動方向として、HMD110の傾き(すなわち、基準視線5(図5等))が適用される。HMD110の傾きは、HMDセンサ120の出力に基づいて特定される。これにより、仮想空間におけるユーザの視界がユーザの向き(ユーザが装着しているHMD110の向き)に沿って移動するように、提供される視界画像が更新される。
他の例では、仮想カメラ1の移動方向は、アプリケーションプログラムによって特定される。これにより、仮想空間におけるユーザの視界が、ユーザの向きに拘わらず、特定の方向に移動する。たとえば、提供されている仮想空間を利用しているアプリケーションプログラムが戦闘ゲームに関するものであり、ユーザが移動中に作戦会議を必要とする状況に置かれた場合、ユーザの向きに拘わらずユーザの視界は作戦会議の会場に向けて移動するように、提供される視界画像が更新される。
なお、プロセッサ10は、アプリケーションプログラムの実行結果によっては、ステップS220における仮想カメラ1のスキップする場合がある。
ステップS230にて、プロセッサ10は、コントローラ160からの入力に従ったアプリケーションプログラムの実行結果に従って、スピーカ210から音声を出力させる。プロセッサ10は、予め定められた種類の音声の出力態様を、ユーザの体格に関する設定に従って調整する。たとえば、出力させる音声がユーザの足音である場合、当該足音の出力間隔を、ユーザの股下の寸法に従って調整する。一例では、股下の寸法が長いほど、足音の出力間隔が長くなる。その後、制御はステップS210に戻る。
なお、プロセッサ10は、アプリケーションプログラムの実行結果によっては、スピーカ210からの音声の出力をスキップする場合がある。
ある実施の形態では、プロセッサ10は、ステップS210にて、コントローラ160からの入力の代わりに、HMD110からの入力があったか否かを判断してもよい。HMD110は、当該HMD110が動きを検出したことに応じてプロセッサ10に情報を出力する。プロセッサ10は、当該情報をHMD110から入力される。プロセッサ10は、ステップS220にて、HMD110からの入力に従ったアプリケーションプログラムの実行結果に従って、仮想カメラ1を入力前の位置から実行結果に従った位置に移動させてもよい。ステップS230にて、プロセッサ10は、HMD110における動作の検出に基づいたアプリケーションプログラムの実行結果に従って、スピーカ210から音声を出力してもよい。
[コントローラを利用したユーザの体格に関する設定の入力]
図17は、ポジショントラッキングデバイスを含むコントローラの概略構成を表わす図である。図17に示された右コントローラ800Aは、コントローラ160(図2等)の変形例を構成する。右コントローラ800Aは、図9に示された右コントローラ800と比較して、ポジショントラッキング機能を有するセンサ161をさらに含む。
図18は、図17に示された右コントローラ800Aを含むコントローラ160に接続されたコンピュータのハードウェア構成の一例を表わすブロック図である。図18の例では、図3に示された例と比較して、プロセッサ10は、さらに、コントローラ160のセンサ161から出力された信号の入力を受ける。
図19は、図17および図18を参照して説明されたコントローラ160(センサ161)を用いた、ユーザの体格に関する設定の入力のための処理のフローチャートである。プロセッサ10は、たとえば、コントローラ160からユーザの体格に関する設定を開始する命令の入力を受け付けると、図19の処理を開始する。プロセッサ10は、たとえば、ストレージ12に格納された所与のプログラムを実行することにより、図19の処理を実現させる。
図19を参照して、ステップS110にて、プロセッサ10は、HMD110に、測定用画面を表示させる。測定用画面とは、ユーザの体格に関する設定値を測定するためにユーザにガイドを与える画面である。
図20は、測定用画面の一例を示す図である。図20において、画面SCR01は、メッセージ「コントローラを足元に置いてください。」と、画像IMG01とを含む。画像IMG01は、ユーザを表わすピクトIUと、コントローラ160を表わすピクトICとを含む。画像IMG01は、コントローラ160が床に置かれている状態を表わす。画像IMG01を視認したユーザは、コントローラ160が床に置かれるべき状況にあることを理解し、当該理解に従ってコントローラ160を現実空間の床に置く。
ステップS120にて、プロセッサ10は、現実空間における床の位置を特定できたか否かを判断する。プロセッサ10は、たとえば、一定時間以上コントローラ160が静止することにより、コントローラ160内のセンサ161の位置を特定できた場合、現実空間における床の位置が特定できたと判断する。プロセッサ10は、現実空間における床の位置が特定できたと判断するまで(ステップS120においてNO)、ステップS120に制御を留める。プロセッサ10は、現実空間における床の位置が特定できたと判断すると(ステップS120においてYES)、ステップS130へ制御を進める。
ステップS130にて、プロセッサ10は、ステップS120において特定した床の位置をストレージ12(図18)に格納する。
ステップS140にて、プロセッサ10は、現実空間におけるユーザの股の位置を特定できたか否かを判断する。プロセッサ10は、ステップS130の制御の後、HMD110に、ユーザにコントローラ160をユーザの股に位置させることを促す画面を表示させてもよい。
図21は、ユーザにコントローラ160をユーザの股に位置させることを促す画面の一例を示す図である。図21において、画面SCR02は、メッセージ「コントローラを股に位置させてください。」と、画像IMG02とを含む。画像IMG02は、ユーザを表わすピクトIUと、コントローラ160を表わすピクトICとを含む。画像IMG02は、コントローラ160がユーザの股の位置に保持されている状態を表わす。画像IMG02を視認したユーザは、コントローラ160が当該ユーザの股に置かれるべき状況にあることを理解し、当該理解に従ってコントローラ160を現実空間のユーザの股の位置で保持する。
ステップS140にて、プロセッサ10は、現実空間におけるユーザの股の位置を特定できたか否かを判断する。プロセッサ10は、たとえば、一定時間以上コントローラ160が静止することにより、コントローラ160内のセンサ161の位置を特定できた場合、股の位置が特定できたと判断する。プロセッサ10は、ユーザの股の位置が特定できたと判断するまで(ステップS140においてNO)、ステップS140に制御を留める。プロセッサ10は、ユーザの股の位置が特定できたと判断すると(ステップS140においてYES)、ステップS150へ制御を進める。
ステップS150にて、プロセッサ10は、ステップS140において特定したユーザの股の位置をストレージ12(図18)に格納する。
ステップS160にて、プロセッサ10は、ユーザの股下の寸法を算出する。一例では、プロセッサ10は、ステップS130において格納された床の位置とステップS150において格納された股の位置の距離を算出することにより、ユーザの股下の寸法を算出する。
ステップS170にて、プロセッサ10は、ステップS160において算出された股下の寸法を、ユーザの体格に関する設定値としてストレージ12に格納する。その後、プロセッサ10は、図19の処理を終了する。
[仮想空間におけるユーザの移動に伴う視覚的および聴覚的な演出の連動]
上記の実施形態で説明したように、プロセッサ10は、仮想カメラ1を移動させる際、HMD110のユーザの体格(股下の長さなど)に従って、当該仮想空間の移動に際して出力される足音等の音声の出力タイミングを調整する。これにより、ユーザは、当該ユーザの体格に従って調整された音声を提供され、プロセッサ10は、当該ユーザの仮想空間の酔いを抑制し得る。
プロセッサ10は、仮想カメラ1をある平面に沿って移動させる際、さらに、当該平面に垂直な軸方向に仮想カメラ1を搖動させてもよい。当該搖動の距離は、ユーザの体格に関する設定に従って決定され得る。ユーザが現実空間で歩行などによって移動する際、1歩を踏み出すなどの単位アクションを実行するタイミングに応じて当該ユーザの頭部が揺れる。ある実施の形態では、プロセッサ10は、上記仮想カメラ1の搖動によって、現実空間における移動に従った頭部の揺れを表現することができる。以下、仮想カメラ1の搖動についてより具体的に説明する。
(仮想カメラのv軸方向の変位)
図22は、ユーザの体格に関する設定に従った仮想カメラ1の搖動態様を説明するための図である。図22のグラフ2201は、股下寸法LaのユーザAによって使用されるHMD110に対応する仮想カメラ1の位置の変化を表わす。図22のグラフ2202は、股下寸法LbのユーザBによって使用されるHMD110に対応する仮想カメラ1の位置の変化を表わす。
ある実施の形態において、仮想カメラ1は、uvw視野座標系における3軸(u軸(ピッチ方向)、v軸(ヨー方向)、および、w軸(ロール方向))のうちu軸とw軸に沿った平面を移動し、かつ、v軸に沿って搖動する。グラフ2201,2202において、縦軸は仮想カメラ1のv軸方向の位置を表わし、横軸は時間を表わす。
グラフ2201は、股下寸法LaのユーザAによって使用されるHMD110が提供する仮想空間についての、仮想カメラ1の位置を表わす。グラフ2201において、線L1は、仮想カメラ1の視界の特定の位置(たとえば、仮想カメラ1から所定距離に位置する面における基準視線上の点)のv軸方向の位置の変化を表わす。グラフ2201では、仮想カメラ1のv軸方向の位置は、位置P1を中心として上下方向のそれぞれにおいて距離D11の範囲で搖動する。位置の変化の周期は時間Ta(図1)である。線L1上の点P11,P12は後述する図23において参照される。
グラフ2202は、股下寸法LbのユーザBによって使用されるHMD110が提供する仮想空間についての、仮想カメラ1の位置を表わす。グラフ2202において、線L2は、仮想カメラ1の視界の特定の位置(たとえば、仮想カメラ1から所定距離に位置する面における基準視線上の点)のv軸方向の位置の変化を表わす。グラフ2202では、仮想カメラ1のv軸方向の位置は、位置P2を中心として上下方向のそれぞれにおいて距離D21の範囲で搖動する。位置の変化の周期は時間Tb(図1)である。線L2上の点P21,P22は後述する図23において参照される。
図22の例では、v軸方向の搖動の周期は、ユーザの体格に関する設定に従って設定される。このことは、図1を参照して説明されたように、股下寸法Lbは股下寸法Laより長く、かつ、時間Tbは時間Taより長いことに対応する。股下寸法は、ユーザの体格に関する設定の一例である。
また、v軸方向の搖動の距離は、ユーザの体格に関する設定に従って設定される。このことは、図22において、股下寸法Lbが股下寸法Laより長く、かつ、距離D21が距離D11より長いことに対応する。
(視界画像におけるオブジェクトの変位)
図23は、仮想カメラ1の搖動に従った、視界画像におけるオブジェクトの変位を説明するための図である。図23の分図(A),分図(B)のそれぞれは、uvw視野座標系における3軸(u軸(ピッチ方向)、v軸(ヨー方向)、および、w軸(ロール方向))とともに、HMD110を装着したユーザによって視認される視界画像2310,2320を示す。
分図(A)の視界画像2310は、股下寸法LaのユーザAによって使用されるHMD110によって表示される。視界画像2310において、位置2311は、図22の線L1上の点P11のタイミングにおける木オブジェクトの位置を表わす。位置2312は、点P12のタイミングにおける木オブジェクトの位置を表わす。分図(A)に示されるように、位置2312は、位置2311に対して、v軸において距離D11(図22参照)だけ変位し、u軸とw軸に沿う平面において距離D12だけ変位している。
分図(B)の視界画像2320は、股下寸法LbのユーザBによって使用されるHMD110によって表示される。視界画像2320において、位置2321は、図22の線L2上の点P21のタイミングにおける木オブジェクトの位置を表わす。位置2322は、点P22のタイミングにおける木オブジェクトの位置を表わす。分図(B)に示されるように、位置2322は、位置2321に対して、v軸において距離D21(図22参照)だけ変位し、u軸とw軸に沿う平面において距離D22だけ変位している。
線L1上の点P11から点P12の期間は、v軸上の搖動周期の4分の一に相当する。また、線L12の点P21から点P22の期間は、v軸上の搖動周期の4分の一に相当する。ある実施の形態では、オブジェクトの搖動周期は、HMD110が予め定められた量の動きを検出したときの仮想カメラ1の移動に対応する。
ある実施の形態では、プロセッサ10は、コントローラ160に対する操作に応じた仮想カメラ1のv軸上の搖動の距離をユーザの体格に関する設定に従って決定する。このことは、図23の例において、ユーザBの股下寸法Lb(分図(B))がユーザAの股下寸法La(分図(A))より長く、かつ、距離D21(分図(B))が距離D11(分図(A))より長いことに対応する。この実施の形態では、プロセッサ10は、仮想空間においてユーザが移動可能な面に直交する軸方向に仮想カメラ1を揺動させることで、仮想空間を移動するユーザの頭部の揺れを表現することができる。仮想カメラ1が搖動する方向の一例は、ある面(u軸とw軸に沿った面)を歩行可能なユーザのアバターオブジェクトの体軸により定まる軸(v軸)である。そして、ユーザの頭部の揺れの大きさが、ユーザの体格に関する設定に従って調整される。
ある実施の形態では、プロセッサ10は、たとえばHMD110が予め定められた量の動きを検出したときの仮想カメラ1のu軸およびw軸に沿う平面における移動距離をユーザの体格に関する設定に従って決定する。このことは、図23の例において、ユーザBの股下寸法Lb(分図(B))がユーザAの股下寸法La(分図(A))より長く、かつ、距離D22(分図(B))が距離D12(分図(A))より長いことに対応する。
[開示の要約]
以上開示された技術的特徴は、例えば、以下のように要約され得る。
(1) ある実施の形態によれば、ヘッドマウントデバイス(HMD110)を介して仮想空間を提供するためにコンピュータ(コンピュータ200)で実行される方法が提供される。コンピュータ200が実行する制御は、仮想空間を定義するステップ(図16のステップS200)と、ヘッドマウントデバイスのユーザの体格に関する設定を受け付けるステップ(図14、図19)と、仮想空間におけるユーザの移動のための入力を受け付けるステップ(図16のステップS210)と、移動のための入力に従ってヘッドマウントデバイスに表示させる仮想空間の視界画像を更新するステップ(図16のステップS220)と、移動のための入力に従って仮想空間における音声を出力するステップ(図16のステップS230)とを含む。出力される音声は、ユーザの体格に関する設定に従って調整される(図1)。仮想空間におけるユーザの移動のための入力の一例は、歩行その他の四肢の動作である。他の例は、四肢に対応するコントローラの動作である。
(2) ユーザの体格に関する設定は、ユーザの股下の長さであってもよい。ユーザの体格に関する設定の他の例は、ユーザの背の高さである。プロセッサ10は、ユーザの背の高さの設定値を予め定められた数式に適用することによって、ユーザの股下の寸法を算出して、出力される音声の調整に用いてもよい。
ユーザの体格に関する設定のさらに他の例は、ユーザの腕の長さである。ある実施の形態において、アプリケーションプログラムは、仮想空間としてプールの中で泳いでいる状況を提供する。ユーザがコントローラ160を所定量操作すると、プロセッサ10は、たとえばクロールで予め定められた数のストローク分を泳いだように仮想カメラ1を移動させる。プロセッサ10は、予め定められた数のストロークの音声を出力する際に、ストローク間の時間間隔を、ユーザの腕の長さに従って調整する。一例では、ユーザの腕が長いほど、ストローク間の時間間隔が長くなる。
ユーザの腕の長さの測定に、コントローラ160が用いられてもよい。一例では、プロセッサ10は、コントローラ160がユーザの指先に位置するときのセンサ161の位置と、コントローラ160がユーザの腕の付け根に位置するときのセンサ161の位置との距離として、ユーザの腕の長さを算出する。
(3) 股下の長さに従った音声の出力タイミングが調整されることによって、音声の出力態様が調整されてもよい。ユーザの体格に関する設定に従って調整される音声の出力態様の他の例は、出力される音声の長さである。たとえば、上記のように仮想空間としてプールの中で泳いでいる状況が提供される場合、ユーザの腕が長いほど一回ストロークにおいて出力される音声(水をかく音)が長くなってもよい。
(4) プロセッサ10は、ユーザの体格に関する設定を、位置検出用のデバイス(図17のコントローラ160)がユーザの身体の所定の場所に配置されたときの当該デバイスの位置を検出することによって受け付けてもよい(図19〜図21)。
(5) ユーザの移動のための入力には、ユーザの体格に関する設定の入力に利用される位置検出用のデバイス(図17のコントローラ160)が兼用されてもよい。これにより、ユーザは、たとえば仮想手の操作用に一般的に利用されるコントローラを、そのまま、当該ユーザの体格に関する設定に利用できる。
(6) プロセッサ10は、仮想空間におけるユーザの移動のための入力として、ヘッドマウントデバイスの動き(HMD110の傾き)を検出してもよい(図16のステップS220)。仮想空間の視界画像の更新は、仮想空間においてヘッドマウントデバイスの動きの検出結果に従った場所に仮想カメラを配置することにより、当該仮想カメラの配置場所に基づく視界画像をヘッドマウントデバイスに表示させることを含んでもよい(図23)。仮想空間の視界画像の更新は、位置検出用のデバイスに対する操作に応じて、仮想空間をなす3軸のうち2軸に沿った平面において仮想カメラを移動させることにより視界画像を更新することを含んでもよい(図23の視界画像2310,2320のそれぞれにおける、u軸およびw軸を含む水平方向のオブジェクトの移動)。平面における仮想カメラの移動量は、体格に関する設定に従って決定される(図23における、股下寸法Laに対応する距離D12、および、股下寸法Lbに対応する距離D22)。
(7) 仮想空間の視界画像の更新は、位置検出用のデバイスに対する操作に応じて仮想空間をなす3軸のうち平面に直交する軸方向に仮想カメラを搖動させることを含んでもよい(図23の視界画像2310,2320のそれぞれにおける、v軸方向のオブジェクトの移動)。平面に直交する軸方向において仮想カメラを搖動させる距離は、体格に関する設定に従って決定されてもよい(図23における、股下寸法Laに対応する距離D11、および、股下寸法Lbに対応する距離D21)。
(8) 仮想空間の視界画像の更新は、ユーザの体格に関する設定に従った周期で平面に直交する軸方向に仮想カメラを搖動させてもよい(図22における、股下寸法Laに対応する時間Ta、および、股下寸法Lbに対応する時間Tb)。
(9) ある実施の形態ヘッドマウントデバイス(HMD110)を介して仮想空間を提供するためにコンピュータ(コンピュータ200)で実行される方法が提供される。コンピュータ200が実行する制御は、仮想空間を定義するステップ(図16のステップS200)と、ヘッドマウントデバイスのユーザの体格に関する設定を受け付けるステップ(図14、図19)と、ユーザの入力を受け付けるステップと(図16のステップS210)、当該入力に従ってヘッドマウントデバイスに表示させる仮想空間の視界画像を更新するステップ(図16のステップS220)と、該入力に従って仮想空間における音声を出力するステップ(図16のステップS230)とを含む。出力される音声は、ユーザの体格に関する設定に従って調整される(図1)。
今回開示された各実施の形態は全ての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内での全ての変更が含まれることが意図される。また、実施の形態および各変形例において説明された発明は、可能な限り、単独でも、組合わせても、実施することが意図される。
1 仮想カメラ、2 仮想空間、5 基準視線、10 プロセッサ、11 メモリ、12 ストレージ、13 入出力インターフェイス、14 通信インターフェイス、19 ネットワーク、21 中心、22 仮想空間画像、23 視界領域、24,25 領域、26,1100,1200 視界画像、30 グリップ、31 プレート、32 天面、100 HMDシステム、112 モニタ、114,161 センサ、120 HMDセンサ、130 モーションセンサ、140 注視センサ、150 サーバ、151 入力欄、152,153 変更ボタン、160 コントローラ、200 コンピュータ、210 スピーカ、800,800A,A 右コントローラ、810 右手、900,1000 オブジェクト、910 左手オブジェクト、920 右手オブジェクト、1410 木オブジェクト、1420 山オブジェクト、IC,IU ピクト、IMG01,IMG02 画像。

Claims (11)

  1. ヘッドマウントデバイスを介して仮想空間を提供するためにコンピュータで実行される方法であって、
    仮想空間を定義するステップと、
    前記ヘッドマウントデバイスのユーザの体格に関する設定を受け付けるステップと、
    前記仮想空間におけるユーザの移動のための入力を受け付けるステップと、
    前記入力に従って、前記ヘッドマウントデバイスに表示させる前記仮想空間の視界画像を更新するステップと、
    前記入力に従って、前記仮想空間における音声を出力するステップとを備え、
    前記音声を出力するステップは、音声の出力タイミングを前記体格に関する設定に従って調整することを含む、方法。
  2. 前記ユーザの体格に関する設定は、ユーザの股下の長さを含む、請求項1に記載の方法。
  3. 前記ユーザの体格に関する設定を受け付けるステップは、位置検出用のデバイスが前記ユーザの身体の所定の場所に配置されたときの当該デバイスの位置を検出することを含む、請求項1または請求項2に記載の方法。
  4. 前記ユーザの移動のための入力を受け付けるステップは、前記位置検出用のデバイスに対する操作を受け付けることを含む、請求項に記載の方法。
  5. 前記仮想空間におけるユーザの移動のための入力を受け付けるステップは、前記ヘッドマウントデバイスの動きを検出することを含み、
    前記仮想空間の視界画像を更新するステップは、
    前記仮想空間において前記ヘッドマウントデバイスの動きの検出結果に従った場所に仮想カメラを配置することにより、当該仮想カメラの配置場所に基づく前記視界画像を前記ヘッドマウントデバイスに表示させることと、
    前記位置検出用のデバイスに対する操作に応じて、前記仮想空間をなす3軸のうち2軸に沿った平面において前記仮想カメラを移動させることにより前記視界画像を更新することとを含み、
    前記平面における前記仮想カメラの移動量は、前記体格に関する設定に従って決定される、請求項または請求項に記載の方法。
  6. 前記仮想空間の視界画像を更新するステップは、前記位置検出用のデバイスに対する操作に応じて前記仮想空間をなす3軸のうち前記平面に直交する軸方向に前記仮想カメラを搖動させることを含み、
    前記平面に直交する軸方向において前記仮想カメラを搖動させる距離は、前記体格に関する設定に従って決定される、請求項に記載の方法。
  7. 前記仮想空間の視界画像を更新するステップは、前記ユーザの体格に関する設定に従った周期で前記平面に直交する軸方向に前記仮想カメラを搖動させることを含む、請求項に記載の方法。
  8. 前記仮想空間におけるユーザの移動のための入力を受け付けるステップは、前記ヘッドマウントデバイスの動きを検出することを含む、請求項1〜請求項のいずれか1項に記載の方法。
  9. 請求項1〜請求項のいずれか1項に記載の方法をコンピュータに実行させる、プログラム。
  10. 請求項に記載のプログラムを格納したメモリと、
    前記プログラムを実行するためのプロセッサとを備える、仮想空間における画像の提供を制御するためのコンピュータ装置。
  11. ヘッドマウントデバイスを介して仮想空間を提供するためにコンピュータで実行される方法であって、
    仮想空間を定義するステップと、
    前記ヘッドマウントデバイスのユーザの体格に関する設定を受け付けるステップと、
    前記ユーザからの入力を受け付けるステップと、
    前記入力に従って、前記ヘッドマウントデバイスに表示させる前記仮想空間の視界画像を更新するステップと、
    前記入力に従って、前記仮想空間における音声を出力するステップとを備え、
    前記音声を出力するステップは、前記仮想空間におけるユーザの移動時の音声の出力タイミングを前記体格に関する設定に従って調整することを含む、方法。
JP2016249633A 2016-12-22 2016-12-22 仮想空間を提供するための方法、プログラム、および、装置 Active JP6246310B1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016249633A JP6246310B1 (ja) 2016-12-22 2016-12-22 仮想空間を提供するための方法、プログラム、および、装置
US15/851,229 US10223064B2 (en) 2016-12-22 2017-12-21 Method for providing virtual space, program and apparatus therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016249633A JP6246310B1 (ja) 2016-12-22 2016-12-22 仮想空間を提供するための方法、プログラム、および、装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2017218651A Division JP2018106697A (ja) 2017-11-13 2017-11-13 仮想空間を提供するための方法、プログラム、および、装置

Publications (2)

Publication Number Publication Date
JP6246310B1 true JP6246310B1 (ja) 2017-12-13
JP2018106276A JP2018106276A (ja) 2018-07-05

Family

ID=60659012

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016249633A Active JP6246310B1 (ja) 2016-12-22 2016-12-22 仮想空間を提供するための方法、プログラム、および、装置

Country Status (2)

Country Link
US (1) US10223064B2 (ja)
JP (1) JP6246310B1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109313506B (zh) * 2016-06-22 2022-03-08 索尼公司 信息处理装置、信息处理方法和程序
KR102395030B1 (ko) * 2017-06-09 2022-05-09 한국전자통신연구원 가상 콘텐츠 원격 제어 방법 및 이를 위한 장치
US10901687B2 (en) 2018-02-27 2021-01-26 Dish Network L.L.C. Apparatus, systems and methods for presenting content reviews in a virtual world
US11538045B2 (en) 2018-09-28 2022-12-27 Dish Network L.L.C. Apparatus, systems and methods for determining a commentary rating
WO2020090477A1 (ja) * 2018-11-01 2020-05-07 株式会社ソニー・インタラクティブエンタテインメント Vr酔い低減システム、ヘッドマウントディスプレイ、vr酔い低減方法及びプログラム
JP6664778B1 (ja) * 2019-03-31 2020-03-13 アヘッド・バイオコンピューティング株式会社 情報処理装置、情報処理方法、および、プログラム
US11397508B1 (en) * 2019-06-11 2022-07-26 Hyper Reality Partners, Llc Virtual experience pillars
US10757528B1 (en) 2019-10-11 2020-08-25 Verizon Patent And Licensing Inc. Methods and systems for simulating spatially-varying acoustics of an extended reality world
US10705597B1 (en) * 2019-12-17 2020-07-07 Liteboxer Technologies, Inc. Interactive exercise and training system and method
US12106433B2 (en) * 2021-04-23 2024-10-01 The Boeing Company Generating equirectangular imagery of a 3D virtual environment

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05282279A (ja) * 1992-03-30 1993-10-29 Toshiba Corp 情報提示装置
JP2005218706A (ja) * 2004-02-06 2005-08-18 Nintendo Co Ltd ゲーム装置およびゲームプログラム
JP2007156642A (ja) * 2005-12-01 2007-06-21 Matsushita Electric Works Ltd 仮想空間体験システム
JP2010022646A (ja) * 2008-07-22 2010-02-04 Namco Bandai Games Inc プログラム、情報記憶媒体および画像生成システム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5999185A (en) * 1992-03-30 1999-12-07 Kabushiki Kaisha Toshiba Virtual reality control using image, model and control data to manipulate interactions
JPH10211358A (ja) * 1997-01-28 1998-08-11 Sega Enterp Ltd ゲーム装置
JP4701424B2 (ja) 2009-08-12 2011-06-15 島根県 画像認識装置および操作判定方法並びにプログラム
JP6355978B2 (ja) * 2014-06-09 2018-07-11 株式会社バンダイナムコエンターテインメント プログラムおよび画像生成装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05282279A (ja) * 1992-03-30 1993-10-29 Toshiba Corp 情報提示装置
JP2005218706A (ja) * 2004-02-06 2005-08-18 Nintendo Co Ltd ゲーム装置およびゲームプログラム
JP2007156642A (ja) * 2005-12-01 2007-06-21 Matsushita Electric Works Ltd 仮想空間体験システム
JP2010022646A (ja) * 2008-07-22 2010-02-04 Namco Bandai Games Inc プログラム、情報記憶媒体および画像生成システム

Also Published As

Publication number Publication date
US10223064B2 (en) 2019-03-05
US20180181367A1 (en) 2018-06-28
JP2018106276A (ja) 2018-07-05

Similar Documents

Publication Publication Date Title
JP6246310B1 (ja) 仮想空間を提供するための方法、プログラム、および、装置
JP6523233B2 (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるプログラム
JP6290467B1 (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるプログラム
JP2018190163A (ja) 情報処理方法、コンピュータ、及びプログラム
JP2018194889A (ja) 情報処理方法、コンピュータ及びプログラム
JP2018125003A (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるプログラム
JP2018147465A (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
JP6495398B2 (ja) 仮想空間を提供するための方法、プログラム、および当該プログラムを実行するための情報処理装置
JP6306678B1 (ja) 仮想空間にオブジェクトを提示するためにコンピュータによって実行される方法、当該方法をコンピュータに実行させるプログラム、および、コンピュータ装置
JP6278546B1 (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
JP6457446B2 (ja) 仮想空間におけるコミュニケーションを支援するための方法および装置ならびに当該方法をコンピュータに実行させるためのプログラム
JP2019168962A (ja) プログラム、情報処理装置、及び情報処理方法
JP2019133309A (ja) プログラム、情報処理装置、及び情報処理方法
JP2019086848A (ja) プログラム、情報処理装置、および方法
JP2019016071A (ja) 情報処理方法、プログラム及びコンピュータ
JP6382928B2 (ja) 仮想空間における画像の表示を制御するためにコンピュータによって実行される方法、当該方法をコンピュータに実現させるためのプログラム、および、コンピュータ装置
JP7192151B2 (ja) プログラム、情報処理装置、及び情報処理方法
JP2018170013A (ja) 仮想空間における画像の表示を制御するためにコンピュータによって実行される方法、当該方法をコンピュータに実現させるためのプログラム、および、コンピュータ装置
JP2018106697A (ja) 仮想空間を提供するための方法、プログラム、および、装置
JP6965304B2 (ja) プログラム、情報処理装置、及び情報処理方法
JP2018032384A (ja) 仮想空間におけるコミュニケーションを支援するための方法および装置ならびに当該方法をコンピュータに実行させるためのプログラム
JP2018147375A (ja) 情報処理方法、コンピュータ、および当該情報処理方法をコンピュータに実行させるためのプログラム
JP6330072B1 (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
JP6535641B2 (ja) 仮想空間に表示されるオブジェクトを制御するための方法および装置、ならびに、当該方法をコンピュータに実行させるためのプログラム
JP2019207714A (ja) 情報処理方法、コンピュータ及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171005

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171017

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171114

R150 Certificate of patent or registration of utility model

Ref document number: 6246310

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D04

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250