JP2024061890A - プログラム、方法および情報処理装置 - Google Patents
プログラム、方法および情報処理装置 Download PDFInfo
- Publication number
- JP2024061890A JP2024061890A JP2024042980A JP2024042980A JP2024061890A JP 2024061890 A JP2024061890 A JP 2024061890A JP 2024042980 A JP2024042980 A JP 2024042980A JP 2024042980 A JP2024042980 A JP 2024042980A JP 2024061890 A JP2024061890 A JP 2024061890A
- Authority
- JP
- Japan
- Prior art keywords
- space
- camera
- image
- user
- hmd
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 41
- 230000010365 information processing Effects 0.000 title claims description 6
- 239000003086 colorant Substances 0.000 claims description 3
- 238000010801 machine learning Methods 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 3
- 238000001514 detection method Methods 0.000 abstract description 34
- 210000001508 eye Anatomy 0.000 description 36
- 238000004891 communication Methods 0.000 description 34
- 230000008569 process Effects 0.000 description 33
- 238000010586 diagram Methods 0.000 description 27
- 238000012545 processing Methods 0.000 description 16
- 210000000056 organ Anatomy 0.000 description 14
- 230000001815 facial effect Effects 0.000 description 12
- 238000009877 rendering Methods 0.000 description 11
- 241001465754 Metazoa Species 0.000 description 9
- 230000006870 function Effects 0.000 description 9
- 210000003128 head Anatomy 0.000 description 9
- 230000008859 change Effects 0.000 description 8
- 210000003811 finger Anatomy 0.000 description 7
- 210000000214 mouth Anatomy 0.000 description 7
- 230000009471 action Effects 0.000 description 4
- 210000004709 eyebrow Anatomy 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 230000006399 behavior Effects 0.000 description 3
- 238000005401 electroluminescence Methods 0.000 description 3
- 210000003813 thumb Anatomy 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000004886 head movement Effects 0.000 description 2
- 208000013057 hereditary mucoepithelial dysplasia Diseases 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 238000002834 transmittance Methods 0.000 description 2
- 241000282326 Felis catus Species 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 210000004087 cornea Anatomy 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 210000004247 hand Anatomy 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 210000004932 little finger Anatomy 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/292—Multi-camera tracking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
- User Interface Of Digital Computer (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
【課題】ユーザの仮想体験を改善することである。【解決手段】プログラムにおいて、プロセッサに、第1の空間を撮影する第1の360度カメラで撮影した画像の入力を受け付けるステップと、第2の空間を撮影する第2の360度カメラで撮影した画像の入力を受け付けるステップと、複数の移動物のうちの追跡対象物が前記第1の空間にいる場合、前記第1の360度カメラで撮影した画像をヘッドマウントデバイスに表示するステップと、前記追跡対象物が前記第2の空間に移動したことを検知するステップと、前記検知するステップで前記追跡対象物が前記第2の空間に移動したことを検知した場合、前記ヘッドマウントデバイスに表示する画像を前記第2の360度カメラで撮影した画像に切替えるステップと、を実行させる。【選択図】図15
Description
本開示は、プログラム、方法および情報処理装置に関する。
従来、360度動画をヘッドマウントディスプレイに表示するプログラムが知られている。特許文献1には、ヘッドマウントディスプレイに表示される360度動画の時間軸を、ヘッドマウントディスプレイの傾きに応じて制御する発明が開示されている。
しかしながら、特許文献1に記載の発明では、ユーザによる360度動画の視聴時の利便性向上において改善の余地がある。
本開示は、ユーザによる360度動画の視聴時の利便性を向上することが可能な、プログラム、方法および情報処理装置を提供することを目的とする。
本開示が示す一態様によれば、プログラムは、プロセッサに、第1の空間を撮影する第1の360度カメラで撮影した画像の入力を受け付けるステップと、第2の空間を撮影する第2の360度カメラで撮影した画像の入力を受け付けるステップと、複数の移動物のうちの追跡対象物が前記第1の空間にいる場合、前記第1の360度カメラで撮影した画像をヘッドマウントデバイスに表示するステップと、前記追跡対象物が前記第2の空間に移動したことを検知するステップと、前記検知するステップで前記追跡対象物が前記第2の空間に移動したことを検知した場合、前記ヘッドマウントデバイスに表示する画像を前記第2の360度カメラで撮影した画像に切替えるステップと、を実行させる。
本開示によれば、ユーザによる360度動画の視聴時の利便性を向上することが可能な、プログラム、方法および情報処理装置を提供することができる。
以下、この技術的思想の実施の形態について図面を参照しながら詳細に説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。本開示において示される1以上の実施形態において、各実施形態が含む要素を互いに組み合わせることができ、かつ、当該組み合わせられた結果物も本開示が示す実施形態の一部をなすものとする。
[HMDシステムの構成]
図1を参照して、HMD(Head-Mounted Device)システム100の構成について説明する。図1は、本実施の形態に従うHMDシステム100の構成の概略を表す図である。HMDシステム100は、家庭用のシステムとしてあるいは業務用のシステムとして提供される。
図1を参照して、HMD(Head-Mounted Device)システム100の構成について説明する。図1は、本実施の形態に従うHMDシステム100の構成の概略を表す図である。HMDシステム100は、家庭用のシステムとしてあるいは業務用のシステムとして提供される。
HMDシステム100は、サーバ600と、HMDセット110A,110B,110C,110Dと、外部機器700と、ネットワーク2とを含む。HMDセット110A,110B,110C,110Dの各々は、ネットワーク2を介してサーバ600や外部機器700と通信可能に構成される。以下、HMDセット110A,110B,110C,110Dを総称して、HMDセット110とも言う。HMDシステム100を構成するHMDセット110の数は、4つに限られず、3つ以下でも、5つ以上でもよい。HMDセット110は、HMD120と、コンピュータ200と、HMDセンサ410と、ディスプレイ430と、コントローラ300とを備える。HMD120は、モニタ130と、注視センサ140と、第1カメラ150と、第2カメラ160と、マイク170と、スピーカ180とを含む。コントローラ300は、モーションセンサ420を含み得る。
ある局面において、コンピュータ200は、インターネットその他のネットワーク2に接続可能であり、ネットワーク2に接続されているサーバ600その他のコンピュータと通信可能である。その他のコンピュータとしては、例えば、他のHMDセット110のコンピュータや外部機器700が挙げられる。別の局面において、HMD120は、HMDセンサ410の代わりに、センサ190を含み得る。
HMD120は、ユーザ5の頭部に装着され、動作中に仮想空間をユーザ5に提供し得る。より具体的には、HMD120は、右目用の画像および左目用の画像をモニタ130にそれぞれ表示する。ユーザ5の各目がそれぞれの画像を視認すると、ユーザ5は、両目の視差に基づき当該画像を3次元画像として認識し得る。HMD120は、モニタを備える所謂ヘッドマウントディスプレイと、スマートフォンその他のモニタを有する端末を装着可能なヘッドマウント機器のいずれをも含み得る。
モニタ130は、例えば、非透過型の表示装置として実現される。ある局面において、モニタ130は、ユーザ5の両目の前方に位置するようにHMD120の本体に配置されている。したがって、ユーザ5は、モニタ130に表示される3次元画像を視認すると、仮想空間に没入することができる。ある局面において、仮想空間は、例えば、背景、ユーザ5が操作可能なオブジェクト、ユーザ5が選択可能なメニューの画像を含む。ある局面において、モニタ130は、所謂スマートフォンその他の情報表示端末が備える液晶モニタまたは有機EL(Electro Luminescence)モニタとして実現され得る。
別の局面において、モニタ130は、透過型の表示装置として実現され得る。この場合、HMD120は、図1に示されるようにユーザ5の目を覆う密閉型ではなく、メガネ型のような開放型であり得る。透過型のモニタ130は、その透過率を調整することにより、一時的に非透過型の表示装置として構成可能であってもよい。モニタ130は、仮想空間を構成する画像の一部と、現実空間とを同時に表示する構成を含んでいてもよい。例えば、モニタ130は、HMD120に搭載されたカメラで撮影した現実空間の画像を表示してもよいし、一部の透過率を高く設定することにより現実空間を視認可能にしてもよい。
ある局面において、モニタ130は、右目用の画像を表示するためのサブモニタと、左目用の画像を表示するためのサブモニタとを含み得る。別の局面において、モニタ130は、右目用の画像と左目用の画像とを一体として表示する構成であってもよい。この場合、モニタ130は、高速シャッタを含む。高速シャッタは、画像がいずれか一方の目にのみ認識されるように、右目用の画像と左目用の画像とを交互に表示可能に作動する。
ある局面において、HMD120は、図示せぬ複数の光源を含む。各光源は例えば、赤外線を発するLED(Light Emitting Diode)により実現される。HMDセンサ410は、HMD120の動きを検出するためのポジショントラッキング機能を有する。より具体的には、HMDセンサ410は、HMD120が発する複数の赤外線を読み取り、現実空間内におけるHMD120の位置および傾きを検出する。
別の局面において、HMDセンサ410は、カメラにより実現されてもよい。この場合、HMDセンサ410は、カメラから出力されるHMD120の画像情報を用いて、画像解析処理を実行することにより、HMD120の位置および傾きを検出することができる。
別の局面において、HMD120は、位置検出器として、HMDセンサ410の代わりに、あるいはHMDセンサ410に加えてセンサ190を備えてもよい。HMD120は、センサ190を用いて、HMD120自身の位置および傾きを検出し得る。例えば、センサ190が角速度センサ、地磁気センサ、あるいは加速度センサである場合、HMD120は、HMDセンサ410の代わりに、これらの各センサのいずれかを用いて、自身の位置および傾きを検出し得る。一例として、センサ190が角速度センサである場合、角速度センサは、現実空間におけるHMD120の3軸周りの角速度を経時的に検出する。HMD120は、各角速度に基づいて、HMD120の3軸周りの角度の時間的変化を算出し、さらに、角度の時間的変化に基づいて、HMD120の傾きを算出する。
注視センサ140は、ユーザ5の右目および左目の視線が向けられる方向を検出する。つまり、注視センサ140は、ユーザ5の視線を検出する。視線の方向の検出は、例えば、公知のアイトラッキング機能によって実現される。注視センサ140は、当該アイトラッキング機能を有するセンサにより実現される。ある局面において、注視センサ140は、右目用のセンサおよび左目用のセンサを含むことが好ましい。注視センサ140は、例えば、ユーザ5の右目および左目に赤外光を照射するとともに、照射光に対する角膜および虹彩からの反射光を受けることにより各眼球の回転角を検出するセンサであってもよい。注視センサ140は、検出した各回転角に基づいて、ユーザ5の視線を検知することができる。
第1カメラ150は、ユーザ5の顔の下部を撮影する。より具体的には、第1カメラ150は、ユーザ5の鼻および口などを撮影する。第2カメラ160は、ユーザ5の目および眉などを撮影する。HMD120のユーザ5側の筐体をHMD120の内側、HMD120のユーザ5とは逆側の筐体をHMD120の外側と定義する。ある局面において、第1カメラ150は、HMD120の外側に配置され、第2カメラ160は、HMD120の内側に配置され得る。第1カメラ150および第2カメラ160が生成した画像は、コンピュータ200に入力される。別の局面において、第1カメラ150と第2カメラ160とを1台のカメラとして実現し、この1台のカメラでユーザ5の顔を撮影するようにしてもよい。
マイク170は、ユーザ5の発話を音声信号(電気信号)に変換してコンピュータ200に出力する。スピーカ180は、音声信号を音声に変換してユーザ5に出力する。別の局面において、HMD120は、スピーカ180に替えてイヤホンを含み得る。
コントローラ300は、有線または無線によりコンピュータ200に接続されている。コントローラ300は、ユーザ5からコンピュータ200への命令の入力を受け付ける。ある局面において、コントローラ300は、ユーザ5によって把持可能に構成される。別の局面において、コントローラ300は、ユーザ5の身体あるいは衣類の一部に装着可能に構成される。さらに別の局面において、コントローラ300は、コンピュータ200から送信される信号に基づいて、振動、音、光のうちの少なくともいずれかを出力するように構成されてもよい。さらに別の局面において、コントローラ300は、ユーザ5から、仮想空間に配置されるオブジェクトの位置や動きを制御するための操作を受け付ける。
ある局面において、コントローラ300は、複数の光源を含む。各光源は例えば、赤外線を発するLEDにより実現される。HMDセンサ410は、ポジショントラッキング機能を有する。この場合、HMDセンサ410は、コントローラ300が発する複数の赤外線を読み取り、現実空間内におけるコントローラ300の位置および傾きを検出する。別の局面において、HMDセンサ410は、カメラにより実現されてもよい。この場合、HMDセンサ410は、カメラから出力されるコントローラ300の画像情報を用いて、画像解析処理を実行することにより、コントローラ300の位置および傾きを検出することができる。
モーションセンサ420は、ある局面において、ユーザ5の手に取り付けられて、ユーザ5の手の動きを検出する。例えば、モーションセンサ420は、手の回転速度、回転数等を検出する。検出された信号は、コンピュータ200に送られる。モーションセンサ420は、例えば、コントローラ300に設けられている。ある局面において、モーションセンサ420は、例えば、ユーザ5に把持可能に構成されたコントローラ300に設けられている。別の局面において、現実空間における安全のため、コントローラ300は、手袋型のようにユーザ5の手に装着されることにより容易に飛んで行かないものに装着される。さらに別の局面において、ユーザ5に装着されないセンサがユーザ5の手の動きを検出してもよい。例えば、ユーザ5を撮影するカメラの信号が、ユーザ5の動作を表す信号として、コンピュータ200に入力されてもよい。モーションセンサ420とコンピュータ200とは、一例として、無線により互いに接続される。無線の場合、通信形態は特に限られず、例えば、Bluetooth(登録商標)その他の公知の通信手法が用いられる。
ディスプレイ430は、モニタ130に表示されている画像と同様の画像を表示する。これにより、HMD120を装着しているユーザ5以外のユーザにも当該ユーザ5と同様の画像を視聴させることができる。ディスプレイ430に表示される画像は、3次元画像である必要はなく、右目用の画像や左目用の画像であってもよい。ディスプレイ430としては、例えば、液晶ディスプレイや有機ELモニタなどが挙げられる。
サーバ600は、コンピュータ200にプログラムを送信し得る。別の局面において、サーバ600は、他のユーザによって使用されるHMD120に仮想現実を提供するための他のコンピュータ200と通信し得る。例えば、アミューズメント施設において、複数のユーザが参加型のゲームを行う場合、各コンピュータ200は、各ユーザの動作に基づく信号をサーバ600を介して他のコンピュータ200と通信して、同じ仮想空間において複数のユーザが共通のゲームを楽しむことを可能にする。各コンピュータ200は、各ユーザの動作に基づく信号をサーバ600を介さずに他のコンピュータ200と通信するようにしてもよい。
外部機器700は、コンピュータ200と通信可能な機器であればどのような機器であってもよい。外部機器700は、例えば、ネットワーク2を介してコンピュータ200と通信可能な機器であってもよいし、近距離無線通信や有線接続によりコンピュータ200と直接通信可能な機器であってもよい。外部機器700としては、例えば、スマートデバイス、PC(Personal Computer)、およびコンピュータ200の周辺機器などが挙げられるが、これらに限定されるものではない。
[コンピュータのハードウェア構成]
図2を参照して、本実施の形態に係るコンピュータ200について説明する。図2は、本実施の形態に従うコンピュータ200のハードウェア構成の一例を表すブロック図である。コンピュータ200は、主たる構成要素として、プロセッサ210と、メモリ220と、ストレージ230と、入出力インターフェイス240と、通信インターフェイス250とを備える。各構成要素は、それぞれ、バス260に接続されている。
図2を参照して、本実施の形態に係るコンピュータ200について説明する。図2は、本実施の形態に従うコンピュータ200のハードウェア構成の一例を表すブロック図である。コンピュータ200は、主たる構成要素として、プロセッサ210と、メモリ220と、ストレージ230と、入出力インターフェイス240と、通信インターフェイス250とを備える。各構成要素は、それぞれ、バス260に接続されている。
プロセッサ210は、コンピュータ200に与えられる信号に基づいて、あるいは、予め定められた条件が成立したことに基づいて、メモリ220またはストレージ230に格納されているプログラムに含まれる一連の命令を実行する。ある局面において、プロセッサ210は、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、MPU(Micro Processor Unit)、FPGA(Field-Programmable Gate Array)その他のデバイスとして実現される。
メモリ220は、プログラムおよびデータを一時的に保存する。プログラムは、例えば、ストレージ230からロードされる。データは、コンピュータ200に入力されたデータと、プロセッサ210によって生成されたデータとを含む。ある局面において、メモリ220は、RAM(Random Access Memory)その他の揮発メモリとして実現される。
ストレージ230は、プログラムおよびデータを永続的に保持する。ストレージ230は、例えば、ROM(Read-Only Memory)、ハードディスク装置、フラッシュメモリ、その他の不揮発記憶装置として実現される。ストレージ230に格納されるプログラムは、HMDシステム100において仮想空間を提供するためのプログラム、シミュレーションプログラム、ゲームプログラム、ユーザ認証プログラム、他のコンピュータ200との通信を実現するためのプログラムを含む。ストレージ230に格納されるデータは、仮想空間を規定するためのデータおよびオブジェクト等を含む。
別の局面において、ストレージ230は、メモリカードのように着脱可能な記憶装置として実現されてもよい。さらに別の局面において、コンピュータ200に内蔵されたストレージ230の代わりに、外部の記憶装置に保存されているプログラムおよびデータを使用する構成が使用されてもよい。このような構成によれば、例えば、アミューズメント施設のように複数のHMDシステム100が使用される場面において、プログラムやデータの更新を一括して行うことが可能になる。
入出力インターフェイス240は、HMD120、HMDセンサ410、モーションセンサ420およびディスプレイ430との間で信号を通信する。HMD120に含まれるモニタ130,注視センサ140,第1カメラ150,第2カメラ160,マイク170およびスピーカ180は、HMD120の入出力インターフェイス240を介してコンピュータ200との通信を行ない得る。ある局面において、入出力インターフェイス240は、USB(Universal Serial Bus)、DVI(Digital Visual Interface)、HDMI(登録商標)(High-Definition Multimedia Interface)その他の端子を用いて実現される。入出力インターフェイス240は上述のものに限られない。
ある局面において、入出力インターフェイス240は、さらに、コントローラ300と通信し得る。例えば、入出力インターフェイス240は、コントローラ300およびモーションセンサ420から出力された信号の入力を受ける。別の局面において、入出力インターフェイス240は、プロセッサ210から出力された命令を、コントローラ300に送る。当該命令は、振動、音声出力、発光等をコントローラ300に指示する。コントローラ300は、当該命令を受信すると、その命令に応じて、振動、音声出力または発光のいずれかを実行する。
通信インターフェイス250は、ネットワーク2に接続されて、ネットワーク2に接続されている他のコンピュータ(例えば、サーバ600)と通信する。ある局面において、通信インターフェイス250は、例えば、LAN(Local Area Network)その他の有線通信インターフェイス、あるいは、WiFi(Wireless Fidelity)、Bluetooth(登録商標)、NFC(Near Field Communication)その他の無線通信インターフェイスとして実現される。通信インターフェイス250は上述のものに限られない。
ある局面において、プロセッサ210は、ストレージ230にアクセスし、ストレージ230に格納されている1つ以上のプログラムをメモリ220にロードし、当該プログラムに含まれる一連の命令を実行する。当該1つ以上のプログラムは、コンピュータ200のオペレーティングシステム、仮想空間を提供するためのアプリケーションプログラム、仮想空間で実行可能なゲームソフトウェア等を含み得る。プロセッサ210は、入出力インターフェイス240を介して、仮想空間を提供するための信号をHMD120に送る。HMD120は、その信号に基づいてモニタ130に映像を表示する。
図2に示される例では、コンピュータ200は、HMD120の外部に設けられる構成が示されているが、別の局面において、コンピュータ200は、HMD120に内蔵されてもよい。一例として、モニタ130を含む携帯型の情報通信端末(例えば、スマートフォン)がコンピュータ200として機能してもよい。
コンピュータ200は、複数のHMD120に共通して用いられる構成であってもよい。このような構成によれば、例えば、複数のユーザに同一の仮想空間を提供することもできるので、各ユーザは同一の仮想空間で他のユーザと同一のアプリケーションを楽しむことができる。
ある実施の形態において、HMDシステム100では、現実空間における座標系である実座標系が予め設定されている。実座標系は、現実空間における鉛直方向、鉛直方向に直交する水平方向、並びに、鉛直方向および水平方向の双方に直交する前後方向にそれぞれ平行な、3つの基準方向(軸)を有する。実座標系における水平方向、鉛直方向(上下方向)、および前後方向は、それぞれ、x軸、y軸、z軸と規定される。より具体的には、実座標系において、x軸は現実空間の水平方向に平行である。y軸は、現実空間の鉛直方向に平行である。z軸は現実空間の前後方向に平行である。
ある局面において、HMDセンサ410は、赤外線センサを含む。赤外線センサが、HMD120の各光源から発せられた赤外線をそれぞれ検出すると、HMD120の存在を検出する。HMDセンサ410は、さらに、各点の値(実座標系における各座標値)に基づいて、HMD120を装着したユーザ5の動きに応じた、現実空間内におけるHMD120の位置および傾き(向き)を検出する。より詳しくは、HMDセンサ410は、経時的に検出された各値を用いて、HMD120の位置および傾きの時間的変化を検出できる。
HMDセンサ410によって検出されたHMD120の各傾きは、実座標系におけるHMD120の3軸周りの各傾きに相当する。HMDセンサ410は、実座標系におけるHMD120の傾きに基づき、uvw視野座標系をHMD120に設定する。HMD120に設定されるuvw視野座標系は、HMD120を装着したユーザ5が仮想空間において物体を見る際の視点座標系に対応する。
[uvw視野座標系]
図3を参照して、uvw視野座標系について説明する。図3は、ある実施の形態に従うHMD120に設定されるuvw視野座標系を概念的に表す図である。HMDセンサ410は、HMD120の起動時に、実座標系におけるHMD120の位置および傾きを検出する。プロセッサ210は、検出された値に基づいて、uvw視野座標系をHMD120に設定する。
図3を参照して、uvw視野座標系について説明する。図3は、ある実施の形態に従うHMD120に設定されるuvw視野座標系を概念的に表す図である。HMDセンサ410は、HMD120の起動時に、実座標系におけるHMD120の位置および傾きを検出する。プロセッサ210は、検出された値に基づいて、uvw視野座標系をHMD120に設定する。
図3に示されるように、HMD120は、HMD120を装着したユーザ5の頭部を中心(原点)とした3次元のuvw視野座標系を設定する。より具体的には、HMD120は、実座標系を規定する水平方向、鉛直方向、および前後方向(x軸、y軸、z軸)を、実座標系内においてHMD120の各軸周りの傾きだけ各軸周りにそれぞれ傾けることによって新たに得られる3つの方向を、HMD120におけるuvw視野座標系のピッチ軸(u軸)、ヨー軸(v軸)、およびロール軸(w軸)として設定する。
ある局面において、HMD120を装着したユーザ5が直立し、かつ、正面を視認している場合、プロセッサ210は、実座標系に平行なuvw視野座標系をHMD120に設定する。この場合、実座標系における水平方向(x軸)、鉛直方向(y軸)、および前後方向(z軸)は、HMD120におけるuvw視野座標系のピッチ軸(u軸)、ヨー軸(v軸)、およびロール軸(w軸)に一致する。
uvw視野座標系がHMD120に設定された後、HMDセンサ410は、HMD120の動きに基づいて、設定されたuvw視野座標系におけるHMD120の傾きを検出できる。この場合、HMDセンサ410は、HMD120の傾きとして、uvw視野座標系におけるHMD120のピッチ角(θu)、ヨー角(θv)、およびロール角(θw)をそれぞれ検出する。ピッチ角(θu)は、uvw視野座標系におけるピッチ軸周りのHMD120の傾き角度を表す。ヨー角(θv)は、uvw視野座標系におけるヨー軸周りのHMD120の傾き角度を表す。ロール角(θw)は、uvw視野座標系におけるロール軸周りのHMD120の傾き角度を表す。
HMDセンサ410は、検出されたHMD120の傾きに基づいて、HMD120が動いた後のHMD120におけるuvw視野座標系を、HMD120に設定する。HMD120と、HMD120のuvw視野座標系との関係は、HMD120の位置および傾きに関わらず、常に一定である。HMD120の位置および傾きが変わると、当該位置および傾きの変化に連動して、実座標系におけるHMD120のuvw視野座標系の位置および傾きが変化する。
ある局面において、HMDセンサ410は、赤外線センサからの出力に基づいて取得される赤外線の光強度および複数の点間の相対的な位置関係(例えば、各点間の距離など)に基づいて、HMD120の現実空間内における位置を、HMDセンサ410に対する相対位置として特定してもよい。プロセッサ210は、特定された相対位置に基づいて、現実空間内(実座標系)におけるHMD120のuvw視野座標系の原点を決定してもよい。
[仮想空間]
図4を参照して、仮想空間についてさらに説明する。図4は、ある実施の形態に従う仮想空間11を表現する一態様を概念的に表す図である。仮想空間11は、中心12の360度方向の全体を覆う全天球状の構造を有する。図4では、説明を複雑にしないために、仮想空間11のうちの上半分の天球が例示されている。仮想空間11では各メッシュが規定される。各メッシュの位置は、仮想空間11に規定されるグローバル座標系であるXYZ座標系における座標値として予め規定されている。コンピュータ200は、仮想空間11に展開可能なパノラマ画像13(静止画、動画等)を構成する各部分画像を、仮想空間11において対応する各メッシュにそれぞれ対応付ける。
図4を参照して、仮想空間についてさらに説明する。図4は、ある実施の形態に従う仮想空間11を表現する一態様を概念的に表す図である。仮想空間11は、中心12の360度方向の全体を覆う全天球状の構造を有する。図4では、説明を複雑にしないために、仮想空間11のうちの上半分の天球が例示されている。仮想空間11では各メッシュが規定される。各メッシュの位置は、仮想空間11に規定されるグローバル座標系であるXYZ座標系における座標値として予め規定されている。コンピュータ200は、仮想空間11に展開可能なパノラマ画像13(静止画、動画等)を構成する各部分画像を、仮想空間11において対応する各メッシュにそれぞれ対応付ける。
ある局面において、仮想空間11では、中心12を原点とするXYZ座標系が規定される。XYZ座標系は、例えば、実座標系に平行である。XYZ座標系における水平方向、鉛直方向(上下方向)、および前後方向は、それぞれX軸、Y軸、Z軸として規定される。したがって、XYZ座標系のX軸(水平方向)が実座標系のx軸と平行であり、XYZ座標系のY軸(鉛直方向)が実座標系のy軸と平行であり、XYZ座標系のZ軸(前後方向)が実座標系のz軸と平行である。
HMD120の起動時、すなわちHMD120の初期状態において、仮想カメラ14が、仮想空間11の中心12に配置される。ある局面において、プロセッサ210は、仮想カメラ14が撮影する画像をHMD120のモニタ130に表示する。仮想カメラ14は、現実空間におけるHMD120の動きに連動して、仮想空間11を同様に移動する。これにより、現実空間におけるHMD120の位置および傾きの変化が、仮想空間11において同様に再現され得る。
仮想カメラ14には、HMD120の場合と同様に、uvw視野座標系が規定される。仮想空間11における仮想カメラ14のuvw視野座標系は、現実空間(実座標系)におけるHMD120のuvw視野座標系に連動するように規定されている。したがって、HMD120の傾きが変化すると、それに応じて、仮想カメラ14の傾きも変化する。仮想カメラ14は、HMD120を装着したユーザ5の現実空間における移動に連動して、仮想空間11において移動することもできる。
コンピュータ200のプロセッサ210は、仮想カメラ14の位置と傾き(基準視線16)とに基づいて、仮想空間11における視界領域15を規定する。視界領域15は、仮想空間11のうち、HMD120を装着したユーザ5が視認する領域に対応する。つまり、仮想カメラ14の位置は、仮想空間11におけるユーザ5の視点と言える。
注視センサ140によって検出されるユーザ5の視線は、ユーザ5が物体を視認する際の視点座標系における方向である。HMD120のuvw視野座標系は、ユーザ5がモニタ130を視認する際の視点座標系に等しい。仮想カメラ14のuvw視野座標系は、HMD120のuvw視野座標系に連動している。したがって、ある局面に従うHMDシステム100は、注視センサ140によって検出されたユーザ5の視線を、仮想カメラ14のuvw視野座標系におけるユーザ5の視線とみなすことができる。
[ユーザの視線]
図5を参照して、ユーザ5の視線の決定について説明する。図5は、ある実施の形態に従うHMD120を装着するユーザ5の頭部を上から表した図である。
図5を参照して、ユーザ5の視線の決定について説明する。図5は、ある実施の形態に従うHMD120を装着するユーザ5の頭部を上から表した図である。
ある局面において、注視センサ140は、ユーザ5の右目および左目の各視線を検出する。ある局面において、ユーザ5が近くを見ている場合、注視センサ140は、視線R1およびL1を検出する。別の局面において、ユーザ5が遠くを見ている場合、注視センサ140は、視線R2およびL2を検出する。この場合、ロール軸wに対して視線R2およびL2が成す角度は、ロール軸wに対して視線R1およびL1が成す角度よりも小さい。注視センサ140は、検出結果をコンピュータ200に送信する。
コンピュータ200が、視線の検出結果として、視線R1およびL1の検出値を注視センサ140から受信した場合には、その検出値に基づいて、視線R1およびL1の交点である注視点N1を特定する。一方、コンピュータ200は、視線R2およびL2の検出値を注視センサ140から受信した場合には、視線R2およびL2の交点を注視点として特定する。コンピュータ200は、特定した注視点N1の位置に基づき、ユーザ5の視線N0を特定する。コンピュータ200は、例えば、ユーザ5の右目Rと左目Lとを結ぶ直線の中点と、注視点N1とを通る直線の延びる方向を、視線N0として検出する。視線N0は、ユーザ5が両目により実際に視線を向けている方向である。視線N0は、視界領域15に対してユーザ5が実際に視線を向けている方向に相当する。
別の局面において、HMDシステム100は、テレビジョン放送受信チューナを備えてもよい。このような構成によれば、HMDシステム100は、仮想空間11においてテレビ番組を表示することができる。
さらに別の局面において、HMDシステム100は、インターネットに接続するための通信回路、あるいは、電話回線に接続するための通話機能を備えていてもよい。
[視界領域]
図6および図7を参照して、視界領域15について説明する。図6は、仮想空間11において視界領域15をX方向から見たYZ断面を表す図である。図7は、仮想空間11において視界領域15をY方向から見たXZ断面を表す図である。
図6および図7を参照して、視界領域15について説明する。図6は、仮想空間11において視界領域15をX方向から見たYZ断面を表す図である。図7は、仮想空間11において視界領域15をY方向から見たXZ断面を表す図である。
図6に示されるように、YZ断面における視界領域15は、領域18を含む。領域18は、仮想カメラ14の位置と基準視線16と仮想空間11のYZ断面とによって定義される。プロセッサ210は、仮想空間における基準視線16を中心として極角αを含む範囲を、領域18として規定する。
図7に示されるように、XZ断面における視界領域15は、領域19を含む。領域19は、仮想カメラ14の位置と基準視線16と仮想空間11のXZ断面とによって定義される。プロセッサ210は、仮想空間11における基準視線16を中心とした方位角βを含む範囲を、領域19として規定する。極角αおよびβは、仮想カメラ14の位置と仮想カメラ14の傾き(向き)とに応じて定まる。
ある局面において、HMDシステム100は、コンピュータ200からの信号に基づいて、視界画像17をモニタ130に表示させることにより、ユーザ5に仮想空間11における視界を提供する。視界画像17は、パノラマ画像13のうち視界領域15に対応する部分に相当する画像である。ユーザ5が、頭に装着したHMD120を動かすと、その動きに連動して仮想カメラ14も動く。その結果、仮想空間11における視界領域15の位置が変化する。これにより、モニタ130に表示される視界画像17は、パノラマ画像13のうち、仮想空間11においてユーザ5が向いた方向の視界領域15に重畳する画像に更新される。ユーザ5は、仮想空間11における所望の方向を視認することができる。
このように、仮想カメラ14の傾きは仮想空間11におけるユーザ5の視線(基準視線16)に相当し、仮想カメラ14が配置される位置は、仮想空間11におけるユーザ5の視点に相当する。したがって、仮想カメラ14の位置または傾きを変更することにより、モニタ130に表示される画像が更新され、ユーザ5の視界が移動される。
ユーザ5は、HMD120を装着している間、現実世界を視認することなく、仮想空間11に展開されるパノラマ画像13のみを視認できる。そのため、HMDシステム100は、仮想空間11への高い没入感覚をユーザ5に与えることができる。
ある局面において、プロセッサ210は、HMD120を装着したユーザ5の現実空間における移動に連動して、仮想空間11において仮想カメラ14を移動し得る。この場合、プロセッサ210は、仮想空間11における仮想カメラ14の位置および傾きに基づいて、HMD120のモニタ130に投影される画像領域(視界領域15)を特定する。
ある局面において、仮想カメラ14は、2つの仮想カメラ、すなわち、右目用の画像を提供するための仮想カメラと、左目用の画像を提供するための仮想カメラとを含み得る。ユーザ5が3次元の仮想空間11を認識できるように、適切な視差が、2つの仮想カメラに設定される。別の局面において、仮想カメラ14を1つの仮想カメラにより実現してもよい。この場合、1つの仮想カメラにより得られた画像から、右目用の画像と左目用の画像とを生成するようにしてもよい。本実施の形態においては、仮想カメラ14が2つの仮想カメラを含み、2つの仮想カメラのロール軸が合成されることによって生成されるロール軸(w)がHMD120のロール軸(w)に適合されるように構成されているものとして、本開示に係る技術思想を例示する。
[コントローラ]
図8を参照して、コントローラ300の一例について説明する。図8は、ある実施の形態に従うコントローラ300の概略構成を表す図である。
図8を参照して、コントローラ300の一例について説明する。図8は、ある実施の形態に従うコントローラ300の概略構成を表す図である。
図8に示されるように、ある局面において、コントローラ300は、右コントローラ300Rと図示せぬ左コントローラとを含み得る。右コントローラ300Rは、ユーザ5の右手で操作される。左コントローラは、ユーザ5の左手で操作される。ある局面において、右コントローラ300Rと左コントローラとは、別個の装置として対称に構成される。したがって、ユーザ5は、右コントローラ300Rを把持した右手と、左コントローラを把持した左手とをそれぞれ自由に動かすことができる。別の局面において、コントローラ300は両手の操作を受け付ける一体型のコントローラであってもよい。以下、右コントローラ300Rについて説明する。
右コントローラ300Rは、グリップ310と、フレーム320と、天面330とを備える。グリップ310は、ユーザ5の右手によって把持されるように構成されている。たとえば、グリップ310は、ユーザ5の右手の掌と3本の指(中指、薬指、小指)とによって保持され得る。
グリップ310は、ボタン340,350と、モーションセンサ420とを含む。ボタン340は、グリップ310の側面に配置され、右手の中指による操作を受け付ける。ボタン350は、グリップ310の前面に配置され、右手の人差し指による操作を受け付ける。ある局面において、ボタン340,350は、トリガー式のボタンとして構成される。モーションセンサ420は、グリップ310の筐体に内蔵されている。ユーザ5の動作がカメラその他の装置によってユーザ5の周りから検出可能である場合には、グリップ310は、モーションセンサ420を備えなくてもよい。
フレーム320は、その円周方向に沿って配置された複数の赤外線LED360を含む。赤外線LED360は、コントローラ300を使用するプログラムの実行中に、当該プログラムの進行に合わせて赤外線を発光する。赤外線LED360から発せられた赤外線は、右コントローラ300Rと左コントローラとの各位置や姿勢(傾き、向き)を検出するために使用され得る。図8に示される例では、二列に配置された赤外線LED360が示されているが、配列の数は図8に示されるものに限られない。一列あるいは3列以上の配列が使用されてもよい。
天面330は、ボタン370,380と、アナログスティック390とを備える。ボタン370,380は、プッシュ式ボタンとして構成される。ボタン370,380は、ユーザ5の右手の親指による操作を受け付ける。アナログスティック390は、ある局面において、初期位置(ニュートラルの位置)から360度任意の方向への操作を受け付ける。当該操作は、たとえば、仮想空間11に配置されるオブジェクトを移動するための操作を含む。
ある局面において、右コントローラ300Rおよび左コントローラは、赤外線LED360その他の部材を駆動するための電池を含む。電池は、充電式、ボタン型、乾電池型などを含むが、これらに限定されない。別の局面において、右コントローラ300Rと左コントローラは、たとえば、コンピュータ200のUSBインターフェースに接続され得る。この場合、右コントローラ300Rおよび左コントローラは、電池を必要としない。
図8の状態(A)および状態(B)に示されるように、例えば、ユーザ5の右手に対して、ヨー、ロール、ピッチの各方向が規定される。ユーザ5が親指と人差し指とを伸ばした場合に、親指の伸びる方向がヨー方向、人差し指の伸びる方向がロール方向、ヨー方向の軸およびロール方向の軸によって規定される平面に垂直な方向がピッチ方向として規定される。
[サーバのハードウェア構成]
図9を参照して、本実施の形態に係るサーバ600について説明する。図9は、ある実施の形態に従うサーバ600のハードウェア構成の一例を表すブロック図である。サーバ600は、主たる構成要素として、プロセッサ610と、メモリ620と、ストレージ630と、入出力インターフェイス640と、通信インターフェイス650とを備える。各構成要素は、それぞれ、バス660に接続されている。
図9を参照して、本実施の形態に係るサーバ600について説明する。図9は、ある実施の形態に従うサーバ600のハードウェア構成の一例を表すブロック図である。サーバ600は、主たる構成要素として、プロセッサ610と、メモリ620と、ストレージ630と、入出力インターフェイス640と、通信インターフェイス650とを備える。各構成要素は、それぞれ、バス660に接続されている。
プロセッサ610は、サーバ600に与えられる信号に基づいて、あるいは、予め定められた条件が成立したことに基づいて、メモリ620またはストレージ630に格納されているプログラムに含まれる一連の命令を実行する。ある局面において、プロセッサ610は、CPU、GPU、MPU、FPGAその他のデバイスとして実現される。
メモリ620は、プログラムおよびデータを一時的に保存する。プログラムは、例えば、ストレージ630からロードされる。データは、サーバ600に入力されたデータと、プロセッサ610によって生成されたデータとを含む。ある局面において、メモリ620は、RAMその他の揮発メモリとして実現される。
ストレージ630は、プログラムおよびデータを永続的に保持する。ストレージ630は、例えば、ROM、ハードディスク装置、フラッシュメモリ、その他の不揮発記憶装置として実現される。ストレージ630に格納されるプログラムは、HMDシステム100において仮想空間を提供するためのプログラム、シミュレーションプログラム、ゲームプログラム、ユーザ認証プログラム、コンピュータ200との通信を実現するためのプログラムを含んでもよい。ストレージ630に格納されるデータは、仮想空間を規定するためのデータおよびオブジェクト等を含んでもよい。
別の局面において、ストレージ630は、メモリカードのように着脱可能な記憶装置として実現されてもよい。さらに別の局面において、サーバ600に内蔵されたストレージ630の代わりに、外部の記憶装置に保存されているプログラムおよびデータを使用する構成が使用されてもよい。このような構成によれば、例えば、アミューズメント施設のように複数のHMDシステム100が使用される場面において、プログラムやデータの更新を一括して行うことが可能になる。
入出力インターフェイス640は、入出力機器との間で信号を通信する。ある局面において、入出力インターフェイス640は、USB、DVI、HDMIその他の端子を用いて実現される。入出力インターフェイス640は上述のものに限られない。
通信インターフェイス650は、ネットワーク2に接続されて、ネットワーク2に接続されているコンピュータ200と通信する。ある局面において、通信インターフェイス650は、例えば、LANその他の有線通信インターフェイス、あるいは、WiFi、Bluetooth、NFCその他の無線通信インターフェイスとして実現される。通信インターフェイス650は上述のものに限られない。
ある局面において、プロセッサ610は、ストレージ630にアクセスし、ストレージ630に格納されている1つ以上のプログラムをメモリ620にロードし、当該プログラムに含まれる一連の命令を実行する。当該1つ以上のプログラムは、サーバ600のオペレーティングシステム、仮想空間を提供するためのアプリケーションプログラム、仮想空間で実行可能なゲームソフトウェア等を含み得る。プロセッサ610は、入出力インターフェイス640を介して、仮想空間を提供するための信号をコンピュータ200に送ってもよい。
[HMDの制御装置]
図10を参照して、HMD120の制御装置について説明する。ある実施の形態において、制御装置は周知の構成を有するコンピュータ200によって実現される。図10は、ある実施の形態に従うコンピュータ200をモジュール構成として表すブロック図である。
図10を参照して、HMD120の制御装置について説明する。ある実施の形態において、制御装置は周知の構成を有するコンピュータ200によって実現される。図10は、ある実施の形態に従うコンピュータ200をモジュール構成として表すブロック図である。
図10に示されるように、コンピュータ200は、コントロールモジュール510と、レンダリングモジュール520と、メモリモジュール530と、通信制御モジュール540とを備える。ある局面において、コントロールモジュール510とレンダリングモジュール520とは、プロセッサ210によって実現される。別の局面において、複数のプロセッサ210がコントロールモジュール510とレンダリングモジュール520として作動してもよい。メモリモジュール530は、メモリ220またはストレージ230によって実現される。通信制御モジュール540は、通信インターフェイス250によって実現される。
コントロールモジュール510は、ユーザ5に提供される仮想空間11を制御する。コントロールモジュール510は、仮想空間11を表す仮想空間データを用いて、HMDシステム100における仮想空間11を規定する。仮想空間データは、例えば、メモリモジュール530に記憶されている。コントロールモジュール510が、仮想空間データを生成したり、サーバ600などから仮想空間データを取得するようにしたりしてもよい。
コントロールモジュール510は、オブジェクトを表すオブジェクトデータを用いて、仮想空間11にオブジェクトを配置する。オブジェクトデータは、例えば、メモリモジュール530に記憶されている。コントロールモジュール510が、オブジェクトデータを生成したり、サーバ600などからオブジェクトデータを取得するようにしたりしてもよい。オブジェクトは、例えば、ユーザ5の分身であるアバターオブジェクト、キャラクタオブジェクト、コントローラ300によって操作される仮想手などの操作オブジェクト、ゲームのストーリーの進行に従って配置される森、山その他を含む風景、街並み、動物等を含み得る。
コントロールモジュール510は、ネットワーク2を介して接続される他のコンピュータ200のユーザ5のアバターオブジェクトを仮想空間11に配置する。ある局面において、コントロールモジュール510は、ユーザ5のアバターオブジェクトを仮想空間11に配置する。ある局面において、コントロールモジュール510は、ユーザ5を含む画像に基づいて、ユーザ5を模したアバターオブジェクトを仮想空間11に配置する。別の局面において、コントロールモジュール510は、複数種類のアバターオブジェクト(例えば、動物を模したオブジェクトや、デフォルメされた人のオブジェクト)の中からユーザ5による選択を受け付けたアバターオブジェクトを仮想空間11に配置する。
コントロールモジュール510は、HMDセンサ410の出力に基づいてHMD120の傾きを特定する。別の局面において、コントロールモジュール510は、モーションセンサとして機能するセンサ190の出力に基づいてHMD120の傾きを特定する。コントロールモジュール510は、第1カメラ150および第2カメラ160が生成するユーザ5の顔の画像から、ユーザ5の顔を構成する器官(例えば、口,目,眉)を検出する。コントロールモジュール510は、検出した各器官の動き(形状)を検出する。
コントロールモジュール510は、注視センサ140からの信号に基づいて、ユーザ5の仮想空間11における視線を検出する。コントロールモジュール510は、検出したユーザ5の視線と仮想空間11の天球とが交わる視点位置(XYZ座標系における座標値)を検出する。より具体的には、コントロールモジュール510は、uvw座標系で規定されるユーザ5の視線と、仮想カメラ14の位置および傾きとに基づいて、視点位置を検出する。コントロールモジュール510は、検出した視点位置をサーバ600に送信する。別の局面において、コントロールモジュール510は、ユーザ5の視線を表す視線情報をサーバ600に送信するように構成されてもよい。係る場合、サーバ600が受信した視線情報に基づいて視点位置を算出し得る。
コントロールモジュール510は、HMDセンサ410が検出するHMD120の動きをアバターオブジェクトに反映する。例えば、コントロールモジュール510は、HMD120が傾いたことを検知して、アバターオブジェクトを傾けて配置する。コントロールモジュール510は、検出した顔器官の動作を、仮想空間11に配置されるアバターオブジェクトの顔に反映させる。コントロールモジュール510は、サーバ600から他のユーザ5の視線情報を受信し、当該他のユーザ5のアバターオブジェクトの視線に反映させる。ある局面において、コントロールモジュール510は、コントローラ300の動きをアバターオブジェクトや操作オブジェクトに反映する。この場合、コントローラ300は、コントローラ300の動きを検知するためのモーションセンサ、加速度センサ、または複数の発光素子(例えば、赤外線LED)などを備える。
コントロールモジュール510は、仮想空間11においてユーザ5の操作を受け付けるための操作オブジェクトを仮想空間11に配置する。ユーザ5は、操作オブジェクトを操作することにより、例えば、仮想空間11に配置されるオブジェクトを操作する。ある局面において、操作オブジェクトは、例えば、ユーザ5の手に相当する仮想手である手オブジェクト等を含み得る。ある局面において、コントロールモジュール510は、モーションセンサ420の出力に基づいて現実空間におけるユーザ5の手の動きに連動するように仮想空間11において手オブジェクトを動かす。ある局面において、操作オブジェクトは、アバターオブジェクトの手の部分に相当し得る。
コントロールモジュール510は、仮想空間11に配置されるオブジェクトのそれぞれが、他のオブジェクトと衝突した場合に、当該衝突を検出する。コントロールモジュール510は、例えば、あるオブジェクトのコリジョンエリアと、別のオブジェクトのコリジョンエリアとが触れたタイミングを検出することができ、当該検出がされたときに、予め定められた処理を行う。コントロールモジュール510は、オブジェクトとオブジェクトとが触れている状態から離れたタイミングを検出することができ、当該検出がされたときに、予め定められた処理を行う。コントロールモジュール510は、オブジェクトとオブジェクトとが触れている状態であることを検出することができる。例えば、コントロールモジュール510は、操作オブジェクトと、他のオブジェクトとが触れたときに、これら操作オブジェクトと他のオブジェクトとが触れたことを検出して、予め定められた処理を行う。
ある局面において、コントロールモジュール510は、HMD120のモニタ130における画像表示を制御する。例えば、コントロールモジュール510は、仮想空間11に仮想カメラ14を配置する。コントロールモジュール510は、仮想空間11における仮想カメラ14の位置と、仮想カメラ14の傾き(向き)を制御する。コントロールモジュール510は、HMD120を装着したユーザ5の頭の傾きと、仮想カメラ14の位置に応じて、視界領域15を規定する。レンダリングモジュール520は、決定された視界領域15に基づいて、モニタ130に表示される視界画像17を生成する。レンダリングモジュール520により生成された視界画像17は、通信制御モジュール540によってHMD120に出力される。
コントロールモジュール510は、HMD120から、ユーザ5のマイク170を用いた発話を検出すると、当該発話に対応する音声データの送信対象のコンピュータ200を特定する。音声データは、コントロールモジュール510によって特定されたコンピュータ200に送信される。コントロールモジュール510は、ネットワーク2を介して他のユーザのコンピュータ200から音声データを受信すると、当該音声データに対応する音声(発話)をスピーカ180から出力する。
メモリモジュール530は、コンピュータ200が仮想空間11をユーザ5に提供するために使用されるデータを保持している。ある局面において、メモリモジュール530は、空間情報と、オブジェクト情報と、ユーザ情報とを保持している。
空間情報は、仮想空間11を提供するために規定された1つ以上のテンプレートを保持している。
オブジェクト情報は、仮想空間11を構成する複数のパノラマ画像13、仮想空間11にオブジェクトを配置するためのオブジェクトデータを含む。パノラマ画像13は、静止画像および動画像を含み得る。パノラマ画像13は、非現実空間の画像と現実空間の画像とを含み得る。非現実空間の画像としては、例えば、コンピュータグラフィックスで生成された画像が挙げられる。
ユーザ情報は、ユーザ5を識別するユーザIDを保持する。ユーザIDは、例えば、ユーザが使用するコンピュータ200に設定されるIP(Internet Protocol)アドレスまたはMAC(Media Access Control)アドレスであり得る。別の局面において、ユーザIDはユーザによって設定され得る。ユーザ情報は、HMDシステム100の制御装置としてコンピュータ200を機能させるためのプログラム等を含む。
メモリモジュール530に格納されているデータおよびプログラムは、HMD120のユーザ5によって入力される。あるいは、プロセッサ210が、当該コンテンツを提供する事業者が運営するコンピュータ(例えば、サーバ600)からプログラムあるいはデータをダウンロードして、ダウンロードされたプログラムあるいはデータをメモリモジュール530に格納する。
通信制御モジュール540は、ネットワーク2を介して、サーバ600その他の情報通信装置と通信し得る。
ある局面において、コントロールモジュール510およびレンダリングモジュール520は、例えば、ユニティテクノロジーズ社によって提供されるUnity(登録商標)を用いて実現され得る。別の局面において、コントロールモジュール510およびレンダリングモジュール520は、各処理を実現する回路素子の組み合わせとしても実現され得る。
コンピュータ200における処理は、ハードウェアと、プロセッサ210により実行されるソフトウェアとによって実現される。このようなソフトウェアは、ハードディスクその他のメモリモジュール530に予め格納されている場合がある。ソフトウェアは、CD-ROMその他のコンピュータ読み取り可能な不揮発性のデータ記録媒体に格納されて、プログラム製品として流通している場合もある。あるいは、当該ソフトウェアは、インターネットその他のネットワークに接続されている情報提供事業者によってダウンロード可能なプログラム製品として提供される場合もある。このようなソフトウェアは、光ディスク駆動装置その他のデータ読取装置によってデータ記録媒体から読み取られて、あるいは、通信制御モジュール540を介してサーバ600その他のコンピュータからダウンロードされた後、記憶モジュールに一旦格納される。そのソフトウェアは、プロセッサ210によって記憶モジュールから読み出され、実行可能なプログラムの形式でRAMに格納される。プロセッサ210は、そのプログラムを実行する。
[HMDシステムの制御構造]
図11を参照して、HMDセット110の制御構造について説明する。図11は、ある実施の形態に従うHMDセット110において実行される処理の一部を表すシーケンスチャートである。
図11を参照して、HMDセット110の制御構造について説明する。図11は、ある実施の形態に従うHMDセット110において実行される処理の一部を表すシーケンスチャートである。
図11に示されるように、ステップS1110にて、コンピュータ200のプロセッサ210は、コントロールモジュール510として、仮想空間データを特定し、仮想空間11を定義する。
ステップS1120にて、プロセッサ210は、仮想カメラ14を初期化する。たとえば、プロセッサ210は、メモリのワーク領域において、仮想カメラ14を仮想空間11において予め規定された中心12に配置し、仮想カメラ14の視線をユーザ5が向いている方向に向ける。
ステップS1130にて、プロセッサ210は、レンダリングモジュール520として、初期の視界画像を表示するための視界画像データを生成する。生成された視界画像データは、通信制御モジュール540によってHMD120に出力される。
ステップS1132にて、HMD120のモニタ130は、コンピュータ200から受信した視界画像データに基づいて、視界画像を表示する。HMD120を装着したユーザ5は、視界画像を視認すると仮想空間11を認識し得る。
ステップS1134にて、HMDセンサ410は、HMD120から発信される複数の赤外線光に基づいて、HMD120の位置と傾きを検知する。検知結果は、動き検知データとして、コンピュータ200に出力される。
ステップS1140にて、プロセッサ210は、HMD120の動き検知データに含まれる位置と傾きとに基づいて、HMD120を装着したユーザ5の視界方向を特定する。
ステップS1150にて、プロセッサ210は、アプリケーションプログラムを実行し、アプリケーションプログラムに含まれる命令に基づいて、仮想空間11にオブジェクトを配置する。
ステップS1160にて、コントローラ300は、モーションセンサ420から出力される信号に基づいて、ユーザ5の操作を検出し、その検出された操作を表す検出データをコンピュータ200に出力する。別の局面において、ユーザ5によるコントローラ300の操作は、ユーザ5の周囲に配置されたカメラからの画像に基づいて検出されてもよい。
ステップS1170にて、プロセッサ210は、コントローラ300から取得した検出データに基づいて、ユーザ5によるコントローラ300の操作を検出する。
ステップS1180にて、プロセッサ210は、ユーザ5によるコントローラ300の操作に基づく視界画像データを生成する。生成された視界画像データは、通信制御モジュール540によってHMD120に出力される。
ステップS1190にて、HMD120は、受信した視界画像データに基づいて視界画像を更新し、更新後の視界画像をモニタ130に表示する。
[アバターオブジェクト]
図12(A)、(B)を参照して、本実施の形態に従うアバターオブジェクトについて説明する。以下、HMDセット110A,110Bの各ユーザ5のアバターオブジェクトを説明する図である。以下、HMDセット110Aのユーザをユーザ5A、HMDセット110Bのユーザをユーザ5B、HMDセット110Cのユーザをユーザ5C、HMDセット110Dのユーザをユーザ5Dと表す。HMDセット110Aに関する各構成要素の参照符号にAが付され、HMDセット110Bに関する各構成要素の参照符号にBが付され、HMDセット110Cに関する各構成要素の参照符号にCが付され、HMDセット110Dに関する各構成要素の参照符号にDが付される。例えば、HMD120Aは、HMDセット110Aに含まれる。
図12(A)、(B)を参照して、本実施の形態に従うアバターオブジェクトについて説明する。以下、HMDセット110A,110Bの各ユーザ5のアバターオブジェクトを説明する図である。以下、HMDセット110Aのユーザをユーザ5A、HMDセット110Bのユーザをユーザ5B、HMDセット110Cのユーザをユーザ5C、HMDセット110Dのユーザをユーザ5Dと表す。HMDセット110Aに関する各構成要素の参照符号にAが付され、HMDセット110Bに関する各構成要素の参照符号にBが付され、HMDセット110Cに関する各構成要素の参照符号にCが付され、HMDセット110Dに関する各構成要素の参照符号にDが付される。例えば、HMD120Aは、HMDセット110Aに含まれる。
図12(A)は、ネットワーク2において、各HMD120がユーザ5に仮想空間11を提供する状況を表す模式図である。コンピュータ200A~200Dは、HMD120A~120Dを介して、ユーザ5A~5Dに、仮想空間11A~11Dをそれぞれ提供する。図12(A)に示される例において、仮想空間11Aおよび仮想空間11Bは同じデータによって構成されている。換言すれば、コンピュータ200Aとコンピュータ200Bとは同じ仮想空間を共有していることになる。仮想空間11Aおよび仮想空間11Bには、ユーザ5Aのアバターオブジェクト6Aと、ユーザ5Bのアバターオブジェクト6Bとが存在する。仮想空間11Aにおけるアバターオブジェクト6Aおよび仮想空間11Bにおけるアバターオブジェクト6BがそれぞれHMD120を装着しているが、これは説明を分かりやすくするためのものであって、実際にはこれらのオブジェクトはHMD120を装着していない。
ある局面において、プロセッサ210Aは、ユーザ5Aの視界画像17Aを撮影する仮想カメラ14Aを、アバターオブジェクト6Aの目の位置に配置し得る。
図12(B)は、図12(A)におけるユーザ5Aの視界画像17Aを示す図である。視界画像17Aは、HMD120Aのモニタ130Aに表示される画像である。この視界画像17Aは、仮想カメラ14Aにより生成された画像である。視界画像17Aには、ユーザ5Bのアバターオブジェクト6Bが表示されている。特に図示はしていないが、ユーザ5Bの視界画像にも同様に、ユーザ5Aのアバターオブジェクト6Aが表示されている。
図12(B)の状態において、ユーザ5Aは仮想空間11Aを介してユーザ5Bと対話による通信(コミュニケーション)を図ることができる。より具体的には、マイク170Aにより取得されたユーザ5Aの音声は、サーバ600を介してユーザ5BのHMD120Bに送信され、HMD120Bに設けられたスピーカ180Bから出力される。ユーザ5Bの音声は、サーバ600を介してユーザ5AのHMD120Aに送信され、HMD120Aに設けられたスピーカ180Aから出力される。
ユーザ5Bの動作(HMD120Bの動作およびコントローラ300Bの動作)は、プロセッサ210Aにより仮想空間11Aに配置されるアバターオブジェクト6Bに反映される。これにより、ユーザ5Aは、ユーザ5Bの動作を、アバターオブジェクト6Bを通じて認識できる。
図13は、本実施の形態に従うHMDシステム100において実行される処理の一部を表すシーケンスチャートである。図13においては、HMDセット110Dを図示していないが、HMDセット110Dについても、HMDセット110A、110B、110Cと同様に動作する。以下の説明でも、HMDセット110Aに関する各構成要素の参照符号にAが付され、HMDセット110Bに関する各構成要素の参照符号にBが付され、HMDセット110Cに関する各構成要素の参照符号にCが付され、HMDセット110Dに関する各構成要素の参照符号にDが付されるものとする。
ステップS1310Aにおいて、HMDセット110Aにおけるプロセッサ210Aは、仮想空間11Aにおけるアバターオブジェクト6Aの動作を決定するためのアバター情報を取得する。このアバター情報は、例えば、動き情報、フェイストラッキングデータ、および音声データ等のアバターに関する情報を含む。動き情報は、HMD120Aの位置および傾きの時間的変化を示す情報や、モーションセンサ420A等により検出されたユーザ5Aの手の動きを示す情報などを含む。フェイストラッキングデータは、ユーザ5Aの顔の各パーツの位置および大きさを特定するデータが挙げられる。フェイストラッキングデータは、ユーザ5Aの顔を構成する各器官の動きを示すデータや視線データが挙げられる。音声データは、HMD120Aのマイク170Aによって取得されたユーザ5Aの音声を示すデータが挙げられる。アバター情報には、アバターオブジェクト6A、あるいはアバターオブジェクト6Aに関連付けられるユーザ5Aを特定する情報や、アバターオブジェクト6Aが存在する仮想空間11Aを特定する情報等が含まれてもよい。アバターオブジェクト6Aやユーザ5Aを特定する情報としては、ユーザIDが挙げられる。アバターオブジェクト6Aが存在する仮想空間11Aを特定する情報としては、ルームIDが挙げられる。プロセッサ210Aは、上述のように取得されたアバター情報を、ネットワーク2を介してサーバ600に送信する。
ステップS1310Bにおいて、HMDセット110Bにおけるプロセッサ210Bは、ステップS1310Aにおける処理と同様に、仮想空間11Bにおけるアバターオブジェクト6Bの動作を決定するためのアバター情報を取得し、サーバ600に送信する。同様に、ステップS1310Cにおいて、HMDセット110Cにおけるプロセッサ210Cは、仮想空間11Cにおけるアバターオブジェクト6Cの動作を決定するためのアバター情報を取得し、サーバ600に送信する。
ステップS1320において、サーバ600は、HMDセット110A、HMDセット110B、およびHMDセット110Cのそれぞれから受信したプレイヤ情報を一旦記憶する。サーバ600は、各アバター情報に含まれるユーザIDおよびルームID等に基づいて、共通の仮想空間11に関連付けられた全ユーザ(この例では、ユーザ5A~5C)のアバター情報を統合する。そして、サーバ600は、予め定められたタイミングで、統合したアバター情報を当該仮想空間11に関連付けられた全ユーザに送信する。これにより、同期処理が実行される。このような同期処理により、HMDセット110A、HMDセット110B、およびHMD110Cは、互いのアバター情報をほぼ同じタイミングで共有することができる。
続いて、サーバ600から各HMDセット110A~110Cに送信されたアバター情報に基づいて、各HMDセット110A~110Cは、ステップS1330A~S1330Cの処理を実行する。ステップS1330Aの処理は、図11におけるステップS1180の処理に相当する。
ステップS1330Aにおいて、HMDセット110Aにおけるプロセッサ210Aは、仮想空間11Aにおける他のユーザ5B,5Cのアバターオブジェクト6B、アバターオブジェクト6Cの情報を更新する。具体的には、プロセッサ210Aは、HMDセット110Bから送信されたアバター情報に含まれる動き情報に基づいて、仮想空間11におけるアバターオブジェクト6Bの位置および向き等を更新する。例えば、プロセッサ210Aは、メモリモジュール530に格納されたオブジェクト情報に含まれるアバターオブジェクト6Bの情報(位置および向き等)を更新する。同様に、プロセッサ210Aは、HMDセット110Cから送信されたアバター情報に含まれる動き情報に基づいて、仮想空間11におけるアバターオブジェクト6Cの情報(位置および向き等)を更新する。
ステップS1330Bにおいて、HMDセット110Bにおけるプロセッサ210Bは、ステップS1330Aにおける処理と同様に、仮想空間11Bにおけるユーザ5A,5Cのアバターオブジェクト6A,6Cの情報を更新する。同様に、ステップS1330Cにおいて、HMDセット110Cにおけるプロセッサ210Cは、仮想空間11Cにおけるユーザ5A,5Bのアバターオブジェクト6A,6Bの情報を更新する。
[モジュールの詳細構成]
図14を参照して、コンピュータ200のモジュール構成の詳細について説明する。図14は、ある実施の形態に従うコンピュータ200のモジュールの詳細構成を表すブロック図である。
図14を参照して、コンピュータ200のモジュール構成の詳細について説明する。図14は、ある実施の形態に従うコンピュータ200のモジュールの詳細構成を表すブロック図である。
図14に示されるように、コントロールモジュール510は、仮想カメラ制御モジュール1421と、視界領域決定モジュール1422と、基準視線特定モジュール1423と、顔器官検出モジュール1424と、動き検出モジュール1425と、仮想空間定義モジュール1426と、仮想オブジェクト生成モジュール1427と、操作オブジェクト制御モジュール1428と、アバター制御モジュール1429と、を備える。レンダリングモジュール520は、視界画像生成モジュール1438を備える。メモリモジュール530は、空間情報1431と、オブジェクト情報1432と、ユーザ情報1433と、顔情報1434と、を保持している。
仮想カメラ制御モジュール1421は、仮想空間11に仮想カメラ14を配置する。仮想カメラ制御モジュール1421は、仮想空間11における仮想カメラ14の配置位置と、仮想カメラ14の向き(傾き)を制御する。視界領域決定モジュール1422は、HMD120を装着したユーザの頭の向きと、仮想カメラ14の配置位置に応じて、視界領域15を規定する。視界画像生成モジュール1438は、決定された視界領域15に基づいて、モニタ130に表示される視界画像17を生成する。
基準視線特定モジュール1423は、注視センサ140からの信号に基づいて、ユーザ5の視線を特定する。顔器官検出モジュール1424は、第1カメラ150および第2カメラ160が生成するユーザ5の顔の画像から、ユーザ5の顔を構成する器官(例えば、口,目,眉)を検出する。動き検出モジュール1425は、顔器官検出モジュール1424が検出した各器官の動き(形状)を検出する。
仮想空間定義モジュール1426は、仮想空間11を表す仮想空間データを生成することにより、HMDシステム100における仮想空間11を規定する。
仮想オブジェクト生成モジュール1427は、仮想空間11に配置されるオブジェクトを生成する。オブジェクトは、例えば、ゲームのストーリーの進行に従って配置される森、山その他を含む風景、動物等を含み得る。
操作オブジェクト制御モジュール1428は、仮想空間11においてユーザの操作を受け付けるための操作オブジェクトを仮想空間11に配置する。ユーザは、操作オブジェクトを操作することにより、例えば、仮想空間11に配置されるオブジェクトを操作する。ある局面において、操作オブジェクトは、例えば、HMD120を装着したユーザの手に相当する手オブジェクト等を含み得る。ある局面において、操作オブジェクトは、後述するアバターオブジェクトの手の部分に相当し得る。
アバター制御モジュール1429は、ネットワーク2を介して接続される他のコンピュータ200のユーザのアバターオブジェクトを仮想空間11に配置するためのデータを生成する。ある局面において、アバター制御モジュール1429は、ユーザ5のアバターオブジェクトを仮想空間11に配置するためのデータを生成する。ある局面において、アバター制御モジュール1429は、ユーザ5を含む画像に基づいて、ユーザ5を模したアバターオブジェクトを生成する。別の局面において、アバター制御モジュール1429は、複数種類のアバターオブジェクト(例えば、動物を模したオブジェクトや、デフォルメされた人のオブジェクト)の中からユーザ5による選択を受け付けたアバターオブジェクトを仮想空間11に配置するためのデータを生成する。
アバター制御モジュール1429は、HMDセンサ410が検出するHMD120の動きをアバターオブジェクトに反映する。例えば、アバター制御モジュール1429は、HMD120が傾いたことを検知して、アバターオブジェクトを傾けて配置するためのデータを生成する。ある局面において、アバター制御モジュール1429は、コントローラ300の動きをアバターオブジェクトに反映する。この場合、コントローラ300は、コントローラ300の動きを検知するためのモーションセンサ、加速度センサ、または複数の発光素子(例えば、赤外線LED)などを備える。アバター制御モジュール1429は、動き検出モジュール1425が検出した顔器官の動作を、仮想空間11に配置されるアバターオブジェクトの顔に反映させる。つまり、アバター制御モジュール1429は、ユーザ5Aの顔の動作をアバターオブジェクトに反映する。
コントロールモジュール510は、仮想空間11に配置されるオブジェクトのそれぞれが、他のオブジェクトと衝突した場合に、当該衝突を検出する。コントロールモジュール510は、例えば、あるオブジェクトと、別のオブジェクトとが触れたタイミングを検出することができ、当該検出がされたときに、予め定められた処理を行う。コントロールモジュール510は、オブジェクトとオブジェクトとが触れている状態から離れたタイミングを検出することができ、当該検出がされたときに、予め定められた処理を行う。コントロールモジュール510は、オブジェクトとオブジェクトとが触れている状態であることを検出することができる。具体的には、操作オブジェクト制御モジュール1428は、操作オブジェクトと、他のオブジェクトとが触れたときに、これら操作オブジェクトと他のオブジェクトとが触れたことを検出して、予め定められた処理を行う。
メモリモジュール530は、コンピュータ200が仮想空間11をユーザ5に提供するために使用されるデータを保持している。ある局面において、メモリモジュール530は、空間情報1431と、オブジェクト情報1432と、ユーザ情報1433と、顔情報1434とを保持している。
空間情報1431は、仮想空間11を提供するために規定された1つ以上のテンプレートを保持している。
オブジェクト情報1432は、仮想空間11において再生されるコンテンツ、当該コンテンツで使用されるオブジェクト、およびオブジェクトを仮想空間11に配置するための情報(たとえば、位置情報)を保持している。当該コンテンツは、例えば、ゲーム、現実社会と同様の風景を表したコンテンツ等を含み得る。
ユーザ情報1433は、HMDシステム100の制御装置としてコンピュータ200を機能させるためのプログラム、オブジェクト情報1432に保持される各コンテンツを使用するアプリケーションプログラム等を保持している。
顔情報1434は、顔器官検出モジュール1424が、ユーザ5の顔器官を検出するために予め記憶されたテンプレートを保持している。ある局面において、顔情報1434は、口テンプレート1435と、目テンプレート1436と、眉テンプレート1437とを保持する。各テンプレートは、顔を構成する器官に対応する画像であり得る。例えば、口テンプレート1435は、口の画像であり得る。各テンプレートは複数の画像を含んでもよい。
[360度動画の撮影]
次に、ある実施の形態に従う360度動画の撮影について説明する。図15は、ある実施の形態に従う360度カメラに係る構成の概略を表す図である。ある実施の形態において、図1に示した外部機器700は、360度カメラ1539A、360度カメラ1539B及び360度カメラ1539Cを含む。360度カメラ1539A、1539B及び1539Cの各々はネットワーク2を介してサーバ600やHMDセット110のコンピュータ200と通信可能に構成される。以下、360度カメラ1539A、1539B及び1539Cを総称して、360度カメラ1539とも言う。360度カメラ1539の数は、3つに限られず、2つであってもよいし、4つ以上であってもよい。360度カメラ1539は、現実空間の設置位置における全方位の映像である全方位動画(360度動画)を撮影する。
次に、ある実施の形態に従う360度動画の撮影について説明する。図15は、ある実施の形態に従う360度カメラに係る構成の概略を表す図である。ある実施の形態において、図1に示した外部機器700は、360度カメラ1539A、360度カメラ1539B及び360度カメラ1539Cを含む。360度カメラ1539A、1539B及び1539Cの各々はネットワーク2を介してサーバ600やHMDセット110のコンピュータ200と通信可能に構成される。以下、360度カメラ1539A、1539B及び1539Cを総称して、360度カメラ1539とも言う。360度カメラ1539の数は、3つに限られず、2つであってもよいし、4つ以上であってもよい。360度カメラ1539は、現実空間の設置位置における全方位の映像である全方位動画(360度動画)を撮影する。
本実施の形態では、360度カメラ1539を現実空間の部屋に設置し、部屋の様子を撮影する。図16は、図15に示した360度カメラを設置する部屋の間取りの一例を示す平面図である。図16に示すシェアハウス1641は、現実空間において複数の人物が共同生活する家である。共同生活する人物は、男性だけでもよいし、女性だけでもよいし、男性と女性の混合であってもよい。シェアハウス1641での共同生活は、脚本のあるドラマであってもよいし、脚本のない自由な生活でもよい。ユーザ5は、頭部にHMD120を装着して、詳しくは後述するように、360度カメラ1539で撮影したシェアハウス1641の様子を視聴する。
シェアハウス1641は、部屋1642、部屋1643、部屋1644、部屋1645及び廊下1646を有する。部屋1642と部屋1643との間には扉1647が設けられており、共同生活する人物は扉1647を開けて部屋1642と部屋1643を行き来することができる。部屋1642と廊下1646との間には扉1648が設けられており、共同生活する人物は扉1648を開けて部屋1642と廊下1646を行き来することができる。部屋1643と廊下1646との間には扉1649が設けられており、共同生活する人物は扉1649を開けて部屋1643と廊下1646を行き来することができる。部屋1644と廊下1646との間には扉1651が設けられており、共同生活する人物は扉1651を開けて部屋1644と廊下1646を行き来することができる。部屋1645と廊下1646との間には扉1652が設けられており、共同生活する人物は扉1652を開けて部屋1645と廊下1646を行き来することができる。
360度カメラ1539は、2つの超広角レンズを用いて全天球が撮影可能なカメラであってもよいし、1つの超広角レンズを用いて半球が撮影可能なカメラであってもよい。360度カメラ1539は、設置された位置において全方向の360度動画を撮影する。なお、360度カメラ1539は、例えば、正六面体の各面に1個ずつカメラを設けて全方向を撮影し、各面に設けた合計6個のカメラによる撮影動画を合成して360度動画を得るようにしてもよい。また、360度カメラ1539は、視差により立体視が可能な3次元の360度動画を撮影するカメラであってもよい。
部屋1642には360度カメラ1539Aを設置し、360度カメラ1539Aによって部屋1642内を撮影する。部屋1643には360度カメラ1539Bを設置し、360度カメラ1539Bによって部屋1643内を撮影する。部屋1644には360度カメラ1539Cを設置し、360度カメラ1539Cによって部屋1644内を撮影する。360度カメラ1539によって撮影した360度動画は、ネットワーク2を介してコンピュータ200に送信される。HMD120には、360度カメラ1539A、1539B及び1539Cのうちのいずれかによる撮影動画が選択されて表示される。
本実施の形態においては、仮想空間11に表示オブジェクトを配置し、360度カメラ1539によって撮影した360度動画をこの表示オブジェクトに表示することで、上述のようにレンダリングモジュール520が視界画像データを生成し、HMD120のモニタ130に360度動画を表示する。ある実施の形態において、360度カメラ1539によって撮影した360度動画は、図11のステップS1180において、視野座標系の視界画像データに重ね合わせることでモニタ130に表示するようにしてもよい。また、ある実施の形態において、360度カメラ1539によって撮影した360度動画は、図11のステップS1180で出力する視界画像データとして用いることでモニタ130に表示するようにしてもよい。
仮想カメラ14は、現実空間におけるHMD120の動きに連動して、仮想空間11において移動する。これにより、現実空間におけるHMD120の位置および傾きの変化が、仮想カメラ14の動きの変化として仮想空間11において再現される。仮想空間11の表示オブジェクトに表示した360度動画は、パノラマ画像13を構成する画像として用いられ、現実空間におけるHMD120の動きに連動して、360度動画のうち仮想カメラ14が撮影する領域が移動する。
[360度動画の表示]
続いて、HMD120のモニタ130における360度動画の表示について説明する。ユーザ5が、HMDセット110を用いて、シェアハウス1641を撮影した360度動画を視聴するとき、シェアハウス1641内の移動物(例えば人物)の中から、目当ての移動物(例えばお気に入りの女の子)の行動に注目し、目当ての移動物を常に見ていたい場合がある。この場合、360度カメラ1539は部屋ごとに360度動画を撮影することから、目当ての移動物が部屋を移動した場合、360度カメラ1539の切替えを行わなければならない。ユーザ5は、360度カメラ1539のうちどのカメラに切替えればよいのか迷うこともあれば、切替操作が面倒と感じる場合もある。そこで、ある実施の形態では、目当ての移動物を追跡対象物とし、ユーザ5が視聴する360度カメラ1539を自動で切替え、ユーザ5による360度動画の視聴時の利便性を向上する。図17は、ある実施の形態に従うHMDセットにおいて実行される処理の一部であって、360度カメラによって撮影した360度動画の表示制御に係る処理を示すフローチャートである。ステップS1753では初期設定を行う。
続いて、HMD120のモニタ130における360度動画の表示について説明する。ユーザ5が、HMDセット110を用いて、シェアハウス1641を撮影した360度動画を視聴するとき、シェアハウス1641内の移動物(例えば人物)の中から、目当ての移動物(例えばお気に入りの女の子)の行動に注目し、目当ての移動物を常に見ていたい場合がある。この場合、360度カメラ1539は部屋ごとに360度動画を撮影することから、目当ての移動物が部屋を移動した場合、360度カメラ1539の切替えを行わなければならない。ユーザ5は、360度カメラ1539のうちどのカメラに切替えればよいのか迷うこともあれば、切替操作が面倒と感じる場合もある。そこで、ある実施の形態では、目当ての移動物を追跡対象物とし、ユーザ5が視聴する360度カメラ1539を自動で切替え、ユーザ5による360度動画の視聴時の利便性を向上する。図17は、ある実施の形態に従うHMDセットにおいて実行される処理の一部であって、360度カメラによって撮影した360度動画の表示制御に係る処理を示すフローチャートである。ステップS1753では初期設定を行う。
HMDセット110のコンピュータ200では、処理開始時に、360度カメラ1539のうちのいずれかを選択し、その選択した360度カメラ1539により撮影した360度動画を、仮想空間11の表示オブジェクトに表示する。ステップS1753の初期設定では、処理開始後、最初に表示する360度動画をどの360度カメラ1539により撮影したものにするかの設定を行う。この設定では、当初表示するカメラとして登録してある360度カメラ1539による360度動画を表示するように動作する。当初表示するカメラの登録は、コンピュータ200に予め登録しておくものであってもよいし、ユーザ5が登録するものであってもよい。ユーザ5による登録は、モニタ130の表示を参照しながらコントローラ300を操作して登録することができる。この当初表示するカメラの登録は、いつでも行うことができるようにしてもよい。
また、ステップS1753の初期設定では、自動切替モードの設定を行うことができる。自動切替モードは、追跡対象物の部屋移動に応じて、360度カメラ1539のうち360度動画を表示するカメラを自動で切替えるモードである。自動切替モードに設定するか否かは、ユーザ5がモニタ130の表示を参照しながらコントローラ300を操作して登録することができる。
また、ステップS1753の初期設定では、追跡対象物の設定を行うことができる。人物を撮影している360度動画を表示している場合には、人物を追跡対象物としてもよいし、犬や猫といった愛玩動物などの動物を撮影している360度動画を表示している場合には、動物を追跡対象物としてもよい。追跡対象物の設定としては、人物が追跡対象物である場合には、例えば、特定の人物を追跡するように設定してもよいし、男性を追跡するように設定してもよいし、女性を追跡するように設定してもよい。また追跡対象物の設定としては、動物が追跡対象物である場合には、例えば、特定の動物を追跡するように設定してもよいし、ある種類の動物を追跡するように設定してもよい。ある実施の形態では、ステップS1753の初期設定において追跡対象物の設定を行わなくてもよい。
ステップS1753に続くステップS1754では、自動切替モードが設定されているか否かを判定する。自動切替モードが設定されていない場合(ステップS1754:No)には、ステップS1755に進む。ステップS1755では、360度カメラ1539のうち360度動画を表示するカメラの自動切替えを行わず、ユーザ5がモニタ130の表示を参照しながらコントローラ300を操作して、360度カメラ1539のうち360度動画を表示するカメラの切替えを行う。例えば、ユーザ5は、コントローラ300を操作して、図16に示した部屋1642、部屋1643及び部屋1644のうち見たい部屋を入力する。コンピュータ200では、このユーザ5の入力を受け付けて、360度カメラ1539のうち、入力された部屋に設置してあるカメラを選択し、この選択した360度カメラ1539により撮影した360度動画を、仮想空間11の表示オブジェクトに表示する。
ステップS1754において自動切替モードが設定されている場合(ステップS1754:Yes)には、ステップS1756に進み、自動切替処理を実行する。なお、ステップS1754において自動切替モードが設定されている場合であっても、ステップS1755と同様に、ユーザ5がコントローラ300を操作して、360度カメラ1539のうち360度動画を表示するカメラを切替えることができるようにしてもよい。ステップS1756の自動切替処理については、以下に、図18を参照しながら説明する。
図18は、図17のステップS1756に示した自動切替処理の一例を示すフローチャートである。まず、ステップS1857では、追跡対象物特定処理を行う。図17のステップS1753の初期設定で追跡対象物の設定をしていた場合には、ステップS1857の追跡対象物特定処理では、ステップS1753で設定した追跡対象物を、追跡対象物として特定する。追跡対象物の特定とは、その追跡対象物を他の移動物と識別可能な識別情報を取得することである。この識別情報としては、例えば、360度カメラ1539で撮影した画像から追跡対象物である人物の顔認識を行い、この顔認識の結果を識別情報とすることができる。この場合、ステップS1753において設定する追跡対象物も顔認識によって他の移動物と識別し、追跡対象物として設定すればよい。
また、ある実施の形態では、追跡対象物を他の移動物と識別可能な識別情報として、追跡対象物の服の色を用いることができる。例えば、360度カメラ1539で撮影した画像において、追跡対象物の顔から30ピクセル下がった位置の画素の色を、追跡対象物の服の色として検出することができる。また、ある実施の形態では、追跡対象物を他の移動物と識別可能な識別情報として、追跡対象物の顔認識の結果及び服の色を用いることができる。この実施の形態によれば、追跡対象物が双子の場合など顔だけでは識別困難なときに双子に予め異なる色の服を着てもらうことで双子の識別も可能となる。
また、ある実施の形態では、追跡対象物を他の移動物と識別可能な識別情報として、追跡対象物が携帯するICカードに記憶された情報を用いることができる。この場合、各部屋の出入り口(扉付近)にICカードに記憶された情報を読み取り可能なカードリーダを設置し、追跡対象物が部屋を出入りするときにはICカードをカードリーダにかざすことで、追跡対象物の所在を特定することができる。この場合、後述するステップS1861のカメラ切替処理では、カードリーダによる読取結果によって判別した追跡対象物の所在に応じ、360度カメラ1539のうち追跡対象物が所在する部屋に設置したカメラによって撮影した360度動画を、仮想空間11の表示オブジェクトに表示する。
ある実施の形態において、シェアハウス1641で共同生活する移動物である人物は、共同生活を公開することで金銭的収入を得ることができるものとしてもよい。この場合、自身が追跡対象物とされた数に応じて収入の額を増減してもよい。このようにすることで、シェアハウス1641で共同生活する人物は、自身が他の人と識別可能となるように積極的に服の色を変えたり、部屋を出入りするときのICカードのかざし忘れをなくしたりすることになり、これにより、追跡対象物の識別精度を向上し、後述する自動切替モードでの切替精度を向上することができる。
なお、ステップS1753で追跡対象物を設定しなかった場合、ステップS1857において、どの移動物を追跡対象物として特定するかは、以下のようにすることができる。上述のようにHMDセット110は注視センサ140によってユーザ5の視線を検出することができる。そこで、ある実施の形態において、ユーザ5の視線が同一の移動物に所定時間(例えば1分)以上向けられていた場合、その移動物を追跡対象物として特定する。また、ある実施の形態において、ある移動物が部屋から出たときに、ユーザ5の視線がその移動物に向けられていた場合、その移動物を追跡対象物として特定する。移動物が部屋から出たことの検出は、例えば、現在表示している360度動画において、部屋ごとの扉(部屋1642であれば扉1647又は1648、部屋1643であれば扉1649、部屋1644であれば扉1651)の近傍でその移動物が消えたことによって検出することができる。
また、ある実施の形態において、移動物が部屋から出たことの検出は、視界画像17の端部以外に移動物が所在しているときに、その移動物が視界画像17から消えたことによって検出することができる。
ステップS1857に続くステップS1858では、追跡対象物追跡処理を行う。ステップS1858の追跡対象物追跡処理では、ステップS1857で特定した追跡対象物を追跡する。すなわち、ステップS1857で取得した識別情報の移動物である追跡対象物が、現在表示している360度動画内のどこに位置しているのかを追跡する。
ステップS1858に続くステップS1859では、ステップS1858で追跡している追跡対象物が、360度カメラ1539のうち現在表示している360度動画を撮影しているカメラが設置されている部屋を出たか否かを判定する。追跡対象物が部屋から出たことの検出は、上述と同様である。なお、追跡対象物が、部屋ごとの扉の近傍以外で、現在表示している360度動画から消えた場合も、追跡対象物が部屋から出たとしてもよいし、この場合は追跡対象物がタンスの裏に隠れているなど追跡対象物が部屋から出ていないとしてもよい。追跡対象物が部屋を出ていない場合(ステップS1859:No)には、ステップS1858に戻って処理を継続する。
ステップS1859において追跡対象物が部屋を出た場合(ステップS1859:Yes)には、ステップS1861に進み、カメラ切替処理を行う。ステップS1861のカメラ切替処理が済んだならば、ステップS1858に戻って処理を継続する。ステップS1861のカメラ切替処理について以下に説明する。
ある実施の形態では、ステップS1861のカメラ切替処理は、追跡対象物が現在の部屋から出たことを契機に、仮想空間11の表示オブジェクトへの表示を、現在まで表示していた360度動画から黒一面の暗転画像に切り替える。その後、すべての360度カメラ1539が撮影した360度動画のいずれかに、追跡対象物が現れたことを契機に、仮想空間11の表示オブジェクトへの表示を、暗転画像から追跡対象物が現れた360度動画に切り替える。図16に示したように、例えば部屋1642と部屋1644とは、扉一つでつながっておらずに廊下1646を介している。このような場合、追跡対象物が廊下1646にいるときに、暗転画像を表示することで、表示している部屋の切替わりを、ユーザ5にはっきりと認識させることができ、ユーザ5が追跡対象物の行動をより認識しやすくなる。
ある実施の形態では、ステップS1861のカメラ切替処理は、追跡対象物が現在の部屋から出た後、すべての360度カメラ1539が撮影した360度動画のいずれかに、追跡対象物が現れたことを契機に、仮想空間11の表示オブジェクトへの表示を、現在まで表示していた360度動画から追跡対象物が現れた360度動画に切り替える。図16に示したように、例えば部屋1642と部屋1643とは、一つの扉1647でつながっている。このような場合、暗転画像を挟まないことで、追跡対象物の行動を少しでも見逃したくないというユーザ5の要望に応えることができる。また、例えば部屋1642と部屋1644とは、扉一つでつながっておらずに廊下1646を介している。このような場合、追跡対象物が廊下1646にいるときに、現在まで表示していた360度動画をそのまま表示し続けることで、ユーザ5は、追跡対象物が部屋から出た後の、他の移動物の態度などの余韻を楽しむことができる。
なお、ある実施の形態では、図18のステップS1858の追跡対象物追跡処理を実施しない。この場合、部屋内で追跡対象物を継続して追跡せずに、追跡対象物の部屋への出入りだけを監視する。例えば、上述のように追跡対象物がICカードを携帯し、各部屋の出入り口(扉付近)に設置されたカードリーダにICカードをかざすことで、追跡対象物の部屋への出入りを監視することができる。
また、ある実施の形態では、追跡対象物の部屋への出入りを監視する場合、各部屋の出入り口(扉付近)に360度カメラ1539よりも解像度が高い固定カメラを設置し、この解像度が高い固定カメラで撮影した画像によって追跡対象物である人物の顔認識を行うことにより、顔認識の精度をより高めることができる。
また、ある実施の形態では、追跡対象物の顔認識において、再帰型などの機械学習を行うことで、データの蓄積とともに顔認識の精度を向上させることができる。
なお、追跡対象物は、仮想空間11に配置したアバターオブジェクトなどのCGであってもよい。
上記実施形態においては、HMDによってユーザが没入する仮想空間(VR空間)を例示して説明したが、HMDとして、透過型のHMDを採用してもよい。この場合、透過型のHMDを介してユーザが視認する現実空間に仮想空間を構成する画像の一部を合成した視界画像を出力することにより、拡張現実(AR:Augmented Reality)空間または複合現実(MR:Mixed Reality)空間における仮想体験をユーザに提供してもよい。この場合、操作オブジェクトに代えて、ユーザの手の動きに基づいて、仮想空間内における対象オブジェクトへの作用を生じさせてもよい。具体的には、プロセッサは、現実空間におけるユーザの手の位置の座標情報を特定するとともに、仮想空間内における対象オブジェクトの位置を現実空間における座標情報との関係で定義してもよい。これにより、プロセッサは、現実空間におけるユーザの手と仮想空間における対象オブジェクトとの位置関係を把握し、ユーザの手と対象オブジェクトとの間で上述したコリジョン制御等に対応する処理を実行可能となる。その結果、ユーザの手の動きに基づいて対象オブジェクトに作用を与えることが可能となる。
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
(構成)
以上に開示された技術的特徴は、以下のように要約され得る。
以上に開示された技術的特徴は、以下のように要約され得る。
(構成1)
ある実施形態によれば、プログラムにおいて、プロセッサに、第1の空間を撮影する第1の360度カメラで撮影した画像の入力を受け付けるステップと、第2の空間を撮影する第2の360度カメラで撮影した画像の入力を受け付けるステップと、複数の移動物のうちの追跡対象物が前記第1の空間にいる場合、前記第1の360度カメラで撮影した画像をヘッドマウントデバイスに表示するステップと、前記追跡対象物が前記第2の空間に移動したことを検知するステップと、前記検知するステップで前記追跡対象物が前記第2の空間に移動したことを検知した場合、前記ヘッドマウントデバイスに表示する画像を前記第2の360度カメラで撮影した画像に切替えるステップと、を実行させる。
(構成2)
ある実施形態によれば、構成1に記載のプログラムにおいて、前記検知するステップは、前記対象物が前記第1の空間を出たことを検知し、前記対象物が前記第2の空間に入ったことを検知し、前記切替えるステップは、前記検知するステップによって前記対象物が前記第1の空間を出たことを検出した後、前記対象物が前記第2の空間に入ったことを検出したタイミングで、前記ヘッドマウントデバイスに表示する画像を前記第1の360度カメラで撮影した画像から前記第2の360度カメラで撮影した画像に切替える。
(構成3)
ある実施形態によれば、構成1に記載のプログラムにおいて、前記検知するステップは、前記対象物が前記第1の空間を出たことを検知し、前記対象物が前記第2の空間に入ったことを検知し、前記切替えるステップは、前記検知するステップによって前記対象物が前記第1の空間を出たことを検出したタイミングで前記ヘッドマウントデバイスに表示する画像を前記第1の360度カメラで撮影した画像から暗転画像に切替え、前記検知するステップによって前記対象物が前記第2の空間に入ったことを検出したタイミングで前記ヘッドマウントデバイスに表示する画像を暗転画像から前記第2の360度カメラで撮影した画像に切替える。
(構成4)
ある実施形態によれば、構成1から3のいずれか一項に記載のプログラムにおいて、前記追跡対象物は、人物であり、前記検知するステップは、前記第1の空間を撮影した画像及び前記第2の空間を撮影した画像を用いて、前記追跡対象物を特定する。
(構成5)
ある実施形態によれば、構成4に記載のプログラムにおいて、前記検知するステップは、前記追跡対象物である人物の顔を認識し、前記認識した顔によって前記追跡対象物を特定する。
(構成6)
ある実施形態によれば、構成5に記載のプログラムにおいて、前記検知するステップは、前記追跡対象物である人物の顔の認識において機械学習を行う。
(構成7)
ある実施形態によれば、構成5又は6に記載のプログラムにおいて、前記検知するステップは、前記追跡対象物である人物の服の色をさらに認識し、前記認識した顔及び服の色によって前記追跡対象物を特定する。
(構成8)
ある実施形態によれば、構成4に記載のプログラムにおいて、前記検知するステップは、前記追跡対象物である人物の服の色を認識し、前記認識した服の色によって前記追跡対象物を特定する。
(構成9)
ある実施形態によれば、構成4から8のいずれか一項に記載のプログラムにおいて、前記検知するステップは、前記第1の360度カメラで前記第1の空間を撮影した画像及び前記第2の360度カメラで前記第2の空間を撮影した画像を用いて、前記追跡対象物を特定する。
(構成10)
ある実施形態によれば、構成4から8のいずれか一項に記載のプログラムにおいて、前記検知するステップは、第1の固定カメラで前記第1の空間を撮影した画像及び第2の固定カメラで前記第2の空間を撮影した画像を用いて、前記追跡対象物を特定する。
(構成11)
ある実施形態によれば、構成1から3のいずれか一項に記載のプログラムにおいて、前記追跡対象物は、人物であり、前記検知するステップは、第1のセンサによって前記対象物が前記第1の空間を出たことを検知し、第2のセンサによって前記対象物が前記第2の空間に入ったことを検知する。
(構成12)
ある実施形態によれば、構成4から11のいずれか一項に記載のプログラムにおいて、プロセッサに、前記表示するステップよりも前に、前記複数の移動物のうちのいずれが前記追跡対象物であるかを事前登録するステップ、をさらに実行させる。
(構成13)
ある実施形態によれば、構成4から11のいずれか一項に記載のプログラムにおいて、プロセッサに、ユーザの注目に基づいて、前記複数の移動物のうちのいずれが前記追跡対象物であるかを登録するステップ、をさらに実行させる。
(構成14)
ある実施形態によれば、構成13に記載のプログラムにおいて、前記登録するステップは、前記複数の移動物のそれぞれが前記第1の空間から出るタイミングにおけるユーザの注目に基づいて、前記複数の移動物のうちのいずれが前記追跡対象物であるかを登録する。
(構成15)
ある実施形態によれば、構成14に記載のプログラムにおいて、前記登録するステップは、前記複数の移動物のうち前記第1の空間から出るタイミングにユーザの視界に含まれていた移動物を、前記追跡対象物であるとして登録する。
(構成16)
ある実施形態によれば、構成15に記載のプログラムにおいて、前記登録するステップは、前記複数の移動物のうち前記第1の空間から出るタイミングにユーザの視界の端部以外に存在した状態から消えた移動物を、前記追跡対象物であるとして登録する。
(構成17)
ある実施形態によれば、構成15に記載のプログラムにおいて、前記登録するステップは、前記複数の移動物のうち前記第1の空間から出るタイミングにユーザの視界の中央に存在する移動物を、前記追跡対象物であるとして登録する。
(構成18)
ある実施形態によれば、構成17に記載のプログラムにおいて、前記登録するステップは、前記複数の移動物のうち前記第1の空間から出るタイミングでユーザの視界の中央に存在する移動物である人物を顔認識で特定する。
(構成19)
ある実施形態によれば、構成17に記載のプログラムにおいて、前記登録するステップは、前記複数の移動物のうち前記第1の空間から出るタイミングでユーザの視界の中央に存在する移動物である人物を顔認識で特定し、特定した人物の特徴点を追跡する。
(構成20)
ある実施形態によれば、ヘッドマウントデバイスによって仮想空間を提供するためにコンピュータで実行されるプログラムであって、前記プログラムは前記コンピュータに、仮想視点と表示オブジェクトとを含む、3次元の仮想空間を定義するステップと、第1の360度カメラで撮影した画像の入力を受け付けるステップと、第2の360度カメラで撮影した画像の入力を受け付けるステップと、前記入力された画像を前記表示オブジェクトに表示するステップと、前記ヘッドマウントデバイスが関連付けられたユーザの頭部の動きを検出するステップと、前記頭部の動きに応じて、前記仮想視点からの視界を制御するステップと、前記視界に対応する視界画像を前記ヘッドマウントデバイスに表示するステップと、を実行させ、前記表示オブジェクトに表示するステップは、追跡対象物が前記第1の360度カメラで撮影した画像にいる場合、前記入力された画像のうち前記第1の360度カメラで撮影した画像を前記表示オブジェクトに表示し、前記追跡対象物が前記第1の360度カメラで撮影した画像から消えて前記第2の360度カメラで撮影した画像に現れた場合、前記表示オブジェクトに表示する画像を、前記入力された画像のうち前記第2の360度カメラで撮影した画像に切替える。
(構成21)
ある実施形態によれば、プロセッサで実行される方法であって、第1の空間を撮影する第1の360度カメラで撮影した画像の入力を受け付けるステップと、第2の空間を撮影する第2の360度カメラで撮影した画像の入力を受け付けるステップと、複数の移動物のうちの追跡対象物が前記第1の空間にいる場合、前記第1の360度カメラで撮影した画像をヘッドマウントデバイスに表示するステップと、前記追跡対象物が前記第2の空間に移動したことを検知するステップと、前記検知するステップで前記追跡対象物が前記第2の空間に移動したことを検知した場合、前記ヘッドマウントデバイスに表示する画像を前記第2の360度カメラで撮影した画像に切替えるステップと、を備える。
(構成22)
ある実施形態によれば、情報処理装置において、プロセッサと、プログラムを格納したメモリと、を備え、前記プログラムは、前記プロセッサに、第1の空間を撮影する第1の360度カメラで撮影した画像の入力を受け付けるステップと、第2の空間を撮影する第2の360度カメラで撮影した画像の入力を受け付けるステップと、複数の移動物のうちの追跡対象物が前記第1の空間にいる場合、前記第1の360度カメラで撮影した画像をヘッドマウントデバイスに表示するステップと、前記追跡対象物が前記第2の空間に移動したことを検知するステップと、前記検知するステップで前記追跡対象物が前記第2の空間に移動したことを検知した場合、前記ヘッドマウントデバイスに表示する画像を前記第2の360度カメラで撮影した画像に切替えるステップと、を実行させる。
(構成23)
ある実施形態によれば、プログラムにおいて、プロセッサに、第1の360度カメラで撮影した画像の入力を受け付けるステップと、第2の360度カメラで撮影した画像の入力を受け付けるステップと、追跡対象物が前記第1の360度カメラで撮影した画像にいる場合、前記入力された画像のうち前記第1の360度カメラで撮影した画像をヘッドマウントデバイスに表示するステップと、前記追跡対象物が前記第1の360度カメラで撮影した画像から消えて前記第2の360度カメラで撮影した画像に現れた場合、前記ヘッドマウントデバイスに表示する画像を、前記入力された画像のうち前記第2の360度カメラで撮影した画像に切替えるステップと、を実行させる。
(構成24)
ある実施形態によれば、プログラムにおいて、前記第1の360度カメラは、第1の空間を撮影するカメラであり、前記第2の360度カメラは、第2の空間を撮影するカメラであり、前記第1の空間と前記第2の空間とは異なる空間である。
(構成25)
ある実施形態によれば、プログラムにおいて、プロセッサに、第1の360度カメラで撮影した画像の入力を受け付けるステップと、第2の360度カメラで撮影した画像の入力を受け付けるステップと、前記入力された画像に写っている追跡対象物を特定するステップと、前記入力された画像のうち前記追跡対象物が写っている画像を選択するステップと、前記選択するステップで選択した画像をヘッドマウントデバイスに表示するステップと、を実行させる。
ある実施形態によれば、プログラムにおいて、プロセッサに、第1の空間を撮影する第1の360度カメラで撮影した画像の入力を受け付けるステップと、第2の空間を撮影する第2の360度カメラで撮影した画像の入力を受け付けるステップと、複数の移動物のうちの追跡対象物が前記第1の空間にいる場合、前記第1の360度カメラで撮影した画像をヘッドマウントデバイスに表示するステップと、前記追跡対象物が前記第2の空間に移動したことを検知するステップと、前記検知するステップで前記追跡対象物が前記第2の空間に移動したことを検知した場合、前記ヘッドマウントデバイスに表示する画像を前記第2の360度カメラで撮影した画像に切替えるステップと、を実行させる。
(構成2)
ある実施形態によれば、構成1に記載のプログラムにおいて、前記検知するステップは、前記対象物が前記第1の空間を出たことを検知し、前記対象物が前記第2の空間に入ったことを検知し、前記切替えるステップは、前記検知するステップによって前記対象物が前記第1の空間を出たことを検出した後、前記対象物が前記第2の空間に入ったことを検出したタイミングで、前記ヘッドマウントデバイスに表示する画像を前記第1の360度カメラで撮影した画像から前記第2の360度カメラで撮影した画像に切替える。
(構成3)
ある実施形態によれば、構成1に記載のプログラムにおいて、前記検知するステップは、前記対象物が前記第1の空間を出たことを検知し、前記対象物が前記第2の空間に入ったことを検知し、前記切替えるステップは、前記検知するステップによって前記対象物が前記第1の空間を出たことを検出したタイミングで前記ヘッドマウントデバイスに表示する画像を前記第1の360度カメラで撮影した画像から暗転画像に切替え、前記検知するステップによって前記対象物が前記第2の空間に入ったことを検出したタイミングで前記ヘッドマウントデバイスに表示する画像を暗転画像から前記第2の360度カメラで撮影した画像に切替える。
(構成4)
ある実施形態によれば、構成1から3のいずれか一項に記載のプログラムにおいて、前記追跡対象物は、人物であり、前記検知するステップは、前記第1の空間を撮影した画像及び前記第2の空間を撮影した画像を用いて、前記追跡対象物を特定する。
(構成5)
ある実施形態によれば、構成4に記載のプログラムにおいて、前記検知するステップは、前記追跡対象物である人物の顔を認識し、前記認識した顔によって前記追跡対象物を特定する。
(構成6)
ある実施形態によれば、構成5に記載のプログラムにおいて、前記検知するステップは、前記追跡対象物である人物の顔の認識において機械学習を行う。
(構成7)
ある実施形態によれば、構成5又は6に記載のプログラムにおいて、前記検知するステップは、前記追跡対象物である人物の服の色をさらに認識し、前記認識した顔及び服の色によって前記追跡対象物を特定する。
(構成8)
ある実施形態によれば、構成4に記載のプログラムにおいて、前記検知するステップは、前記追跡対象物である人物の服の色を認識し、前記認識した服の色によって前記追跡対象物を特定する。
(構成9)
ある実施形態によれば、構成4から8のいずれか一項に記載のプログラムにおいて、前記検知するステップは、前記第1の360度カメラで前記第1の空間を撮影した画像及び前記第2の360度カメラで前記第2の空間を撮影した画像を用いて、前記追跡対象物を特定する。
(構成10)
ある実施形態によれば、構成4から8のいずれか一項に記載のプログラムにおいて、前記検知するステップは、第1の固定カメラで前記第1の空間を撮影した画像及び第2の固定カメラで前記第2の空間を撮影した画像を用いて、前記追跡対象物を特定する。
(構成11)
ある実施形態によれば、構成1から3のいずれか一項に記載のプログラムにおいて、前記追跡対象物は、人物であり、前記検知するステップは、第1のセンサによって前記対象物が前記第1の空間を出たことを検知し、第2のセンサによって前記対象物が前記第2の空間に入ったことを検知する。
(構成12)
ある実施形態によれば、構成4から11のいずれか一項に記載のプログラムにおいて、プロセッサに、前記表示するステップよりも前に、前記複数の移動物のうちのいずれが前記追跡対象物であるかを事前登録するステップ、をさらに実行させる。
(構成13)
ある実施形態によれば、構成4から11のいずれか一項に記載のプログラムにおいて、プロセッサに、ユーザの注目に基づいて、前記複数の移動物のうちのいずれが前記追跡対象物であるかを登録するステップ、をさらに実行させる。
(構成14)
ある実施形態によれば、構成13に記載のプログラムにおいて、前記登録するステップは、前記複数の移動物のそれぞれが前記第1の空間から出るタイミングにおけるユーザの注目に基づいて、前記複数の移動物のうちのいずれが前記追跡対象物であるかを登録する。
(構成15)
ある実施形態によれば、構成14に記載のプログラムにおいて、前記登録するステップは、前記複数の移動物のうち前記第1の空間から出るタイミングにユーザの視界に含まれていた移動物を、前記追跡対象物であるとして登録する。
(構成16)
ある実施形態によれば、構成15に記載のプログラムにおいて、前記登録するステップは、前記複数の移動物のうち前記第1の空間から出るタイミングにユーザの視界の端部以外に存在した状態から消えた移動物を、前記追跡対象物であるとして登録する。
(構成17)
ある実施形態によれば、構成15に記載のプログラムにおいて、前記登録するステップは、前記複数の移動物のうち前記第1の空間から出るタイミングにユーザの視界の中央に存在する移動物を、前記追跡対象物であるとして登録する。
(構成18)
ある実施形態によれば、構成17に記載のプログラムにおいて、前記登録するステップは、前記複数の移動物のうち前記第1の空間から出るタイミングでユーザの視界の中央に存在する移動物である人物を顔認識で特定する。
(構成19)
ある実施形態によれば、構成17に記載のプログラムにおいて、前記登録するステップは、前記複数の移動物のうち前記第1の空間から出るタイミングでユーザの視界の中央に存在する移動物である人物を顔認識で特定し、特定した人物の特徴点を追跡する。
(構成20)
ある実施形態によれば、ヘッドマウントデバイスによって仮想空間を提供するためにコンピュータで実行されるプログラムであって、前記プログラムは前記コンピュータに、仮想視点と表示オブジェクトとを含む、3次元の仮想空間を定義するステップと、第1の360度カメラで撮影した画像の入力を受け付けるステップと、第2の360度カメラで撮影した画像の入力を受け付けるステップと、前記入力された画像を前記表示オブジェクトに表示するステップと、前記ヘッドマウントデバイスが関連付けられたユーザの頭部の動きを検出するステップと、前記頭部の動きに応じて、前記仮想視点からの視界を制御するステップと、前記視界に対応する視界画像を前記ヘッドマウントデバイスに表示するステップと、を実行させ、前記表示オブジェクトに表示するステップは、追跡対象物が前記第1の360度カメラで撮影した画像にいる場合、前記入力された画像のうち前記第1の360度カメラで撮影した画像を前記表示オブジェクトに表示し、前記追跡対象物が前記第1の360度カメラで撮影した画像から消えて前記第2の360度カメラで撮影した画像に現れた場合、前記表示オブジェクトに表示する画像を、前記入力された画像のうち前記第2の360度カメラで撮影した画像に切替える。
(構成21)
ある実施形態によれば、プロセッサで実行される方法であって、第1の空間を撮影する第1の360度カメラで撮影した画像の入力を受け付けるステップと、第2の空間を撮影する第2の360度カメラで撮影した画像の入力を受け付けるステップと、複数の移動物のうちの追跡対象物が前記第1の空間にいる場合、前記第1の360度カメラで撮影した画像をヘッドマウントデバイスに表示するステップと、前記追跡対象物が前記第2の空間に移動したことを検知するステップと、前記検知するステップで前記追跡対象物が前記第2の空間に移動したことを検知した場合、前記ヘッドマウントデバイスに表示する画像を前記第2の360度カメラで撮影した画像に切替えるステップと、を備える。
(構成22)
ある実施形態によれば、情報処理装置において、プロセッサと、プログラムを格納したメモリと、を備え、前記プログラムは、前記プロセッサに、第1の空間を撮影する第1の360度カメラで撮影した画像の入力を受け付けるステップと、第2の空間を撮影する第2の360度カメラで撮影した画像の入力を受け付けるステップと、複数の移動物のうちの追跡対象物が前記第1の空間にいる場合、前記第1の360度カメラで撮影した画像をヘッドマウントデバイスに表示するステップと、前記追跡対象物が前記第2の空間に移動したことを検知するステップと、前記検知するステップで前記追跡対象物が前記第2の空間に移動したことを検知した場合、前記ヘッドマウントデバイスに表示する画像を前記第2の360度カメラで撮影した画像に切替えるステップと、を実行させる。
(構成23)
ある実施形態によれば、プログラムにおいて、プロセッサに、第1の360度カメラで撮影した画像の入力を受け付けるステップと、第2の360度カメラで撮影した画像の入力を受け付けるステップと、追跡対象物が前記第1の360度カメラで撮影した画像にいる場合、前記入力された画像のうち前記第1の360度カメラで撮影した画像をヘッドマウントデバイスに表示するステップと、前記追跡対象物が前記第1の360度カメラで撮影した画像から消えて前記第2の360度カメラで撮影した画像に現れた場合、前記ヘッドマウントデバイスに表示する画像を、前記入力された画像のうち前記第2の360度カメラで撮影した画像に切替えるステップと、を実行させる。
(構成24)
ある実施形態によれば、プログラムにおいて、前記第1の360度カメラは、第1の空間を撮影するカメラであり、前記第2の360度カメラは、第2の空間を撮影するカメラであり、前記第1の空間と前記第2の空間とは異なる空間である。
(構成25)
ある実施形態によれば、プログラムにおいて、プロセッサに、第1の360度カメラで撮影した画像の入力を受け付けるステップと、第2の360度カメラで撮影した画像の入力を受け付けるステップと、前記入力された画像に写っている追跡対象物を特定するステップと、前記入力された画像のうち前記追跡対象物が写っている画像を選択するステップと、前記選択するステップで選択した画像をヘッドマウントデバイスに表示するステップと、を実行させる。
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
2…ネットワーク、5…ユーザ、6…アバターオブジェクト、11…仮想空間、12…中心、14…仮想カメラ、15…視界領域、100…HMDシステム、110…HMDセット、130…モニタ、170…マイク、180…スピーカ、190…センサ、200…コンピュータ、210…プロセッサ、220…メモリ、230…ストレージ、240…入出力インターフェイス、250…通信インターフェイス、300…コントローラ、310…グリップ、320…フレーム、340、350、370、380…ボタン、390…アナログスティック、410…HMDセンサ、420…モーションセンサ、430…ディスプレイ、510…コントロールモジュール、520…レンダリングモジュール、530…メモリモジュール、540…通信制御モジュール、600…サーバ、610…プロセッサ、620…メモリ、630…ストレージ、640…入出力インターフェイス、650…通信インターフェイス、1421…仮想カメラ制御モジュール、1422…視界領域決定モジュール、1423…基準視線特定モジュール、1424…動き検出モジュール、1424…顔器官検出モジュール、1425…動き検出モジュール、1426…仮想空間定義モジュール、1427…仮想オブジェクト生成モジュール、1428…操作オブジェクト制御モジュール、1429…アバター制御モジュール、1431…空間情報、1432…オブジェクト情報、1433…ユーザ情報、1434…顔情報、1435…口テンプレート、1438…視界画像生成モジュール。
Claims (18)
- コンピュータに、
現実世界における第1の空間を撮影する第1のカメラで撮影した情報を受け付けるステップと、
現実世界における第2の空間を撮影する第2のカメラで撮影した情報を受け付けるステップと、
複数の移動物のうちの追跡対象物が前記第1の空間にいる場合、前記第1のカメラで撮影した画像をユーザが装着するデバイスに表示するステップと、
前記追跡対象物が前記第2の空間に移動したことを検知するステップと、
前記検知するステップで前記追跡対象物が前記第2の空間に移動したことを検知した場合、前記デバイスに表示する画像を前記第2のカメラで撮影した画像に切替えるステップと、
を実行させる、
プログラム。 - 前記検知するステップは、
前記追跡対象物が前記第1の空間を出たことを検知し、
前記追跡対象物が前記第2の空間に入ったことを検知し、
前記切替えるステップは、
前記検知するステップによって前記追跡対象物が前記第1の空間を出たことを検出した後、前記追跡対象物が前記第2の空間に入ったことを検出したタイミングで、前記デバイスに表示する画像を前記第1のカメラで撮影した画像から前記第2のカメラで撮影した画像に切替える、
請求項1に記載のプログラム。 - 前記検知するステップは、
前記追跡対象物が前記第1の空間を出たことを検知し、
前記追跡対象物が前記第2の空間に入ったことを検知し、
前記切替えるステップは、
前記検知するステップによって前記追跡対象物が前記第1の空間を出たことを検出したタイミングで前記デバイスに表示する画像を前記第1のカメラで撮影した画像から所定の画像に一旦切替え、
前記検知するステップによって前記追跡対象物が前記第2の空間に入ったことを検出したタイミングで前記デバイスに表示する画像を前記所定の画像から前記第2のカメラで撮影した画像に切替える、
請求項1に記載のプログラム。 - 前記追跡対象物は、人物であり、
前記検知するステップは、
前記第1の空間を撮影した画像及び前記第2の空間を撮影した画像を用いて、前記追跡対象物を特定する、
請求項1から3のいずれか一項に記載のプログラム。 - 前記検知するステップは、
前記追跡対象物である人物の顔を認識し、
前記認識した顔によって前記追跡対象物を特定する、
請求項4に記載のプログラム。 - 前記検知するステップは、
前記追跡対象物である人物の顔の認識において機械学習を行う、
請求項5に記載のプログラム。 - 前記検知するステップは、
前記追跡対象物である人物の服の色をさらに認識し、
前記認識した顔及び服の色によって前記追跡対象物を特定する、
請求項5又は6に記載のプログラム。 - 前記検知するステップは、
前記追跡対象物である人物の服の色を認識し、
前記認識した服の色によって前記追跡対象物を特定する、
請求項4に記載のプログラム。 - 前記検知するステップは、
前記第1のカメラで前記第1の空間を撮影した画像及び前記第2のカメラで前記第2の空間を撮影した画像を用いて、前記追跡対象物を特定する、
請求項4から8のいずれか一項に記載のプログラム。 - 前記追跡対象物は、人物であり、
前記検知するステップは、
第1のセンサによって前記追跡対象物が前記第1の空間を出たことを検知し、
第2のセンサによって前記追跡対象物が前記第2の空間に入ったことを検知する、
請求項1から3のいずれか一項に記載のプログラム。 - プロセッサに、
前記表示するステップよりも前に、前記複数の移動物のうちのいずれが前記追跡対象物であるかを事前登録するステップ、
をさらに実行させる、
請求項4から10のいずれか一項に記載のプログラム。 - プロセッサに、
ユーザの注目に基づいて、前記複数の移動物のうちのいずれが前記追跡対象物であるかを登録するステップ、
をさらに実行させる、
請求項4から10のいずれか一項に記載のプログラム。 - 前記登録するステップは、前記複数の移動物のそれぞれが前記第1の空間から出るタイミングにおけるユーザの注目に基づいて、前記複数の移動物のうちのいずれが前記追跡対象物であるかを登録する、
請求項12に記載のプログラム。 - 前記登録するステップは、前記複数の移動物のうち前記第1の空間から出るタイミングでユーザの視界の中央に存在する移動物である人物を顔認識で特定する、
請求項12に記載のプログラム。 - 前記登録するステップは、前記複数の移動物のうち前記第1の空間から出るタイミングでユーザの視界の中央に存在する移動物である人物を顔認識で特定し、特定した人物の特徴点を追跡する、
請求項12に記載のプログラム。 - ユーザが装着するデバイスによって仮想空間を提供するためにコンピュータで実行されるプログラムであって、前記プログラムは前記コンピュータに、
仮想視点と表示オブジェクトとを含む、3次元の仮想空間を定義するステップと、
第1のカメラで撮影した画像の入力を受け付けるステップと、
第2のカメラで撮影した画像の入力を受け付けるステップと、
入力された画像を前記表示オブジェクトに表示するステップと、
前記デバイスが関連付けられたユーザの動きを検出するステップと、
ユーザの動きに応じて、前記仮想視点からの視界を制御するステップと、
前記視界に対応する視界画像を前記デバイスに表示するステップと、
を実行させ、
前記表示オブジェクトに表示するステップは、追跡対象物が前記第1のカメラで撮影した画像にいる場合、入力された前記画像のうち前記第1のカメラで撮影した画像を前記表示オブジェクトに表示し、前記追跡対象物が前記第1のカメラで撮影した画像から消えて前記第2のカメラで撮影した画像に現れた場合、前記表示オブジェクトに表示する画像を、入力された画像のうち前記第2のカメラで撮影した画像に切替える、
プログラム。 - コンピュータで実行される方法であって、
第1の空間を撮影する第1のカメラで撮影した画像の入力を受け付けるステップと、
第2の空間を撮影する第2のカメラで撮影した画像の入力を受け付けるステップと、
複数の移動物のうちの追跡対象物が前記第1の空間にいる場合、前記第1のカメラで撮影した画像をデバイスに表示するステップと、
前記追跡対象物が前記第2の空間に移動したことを検知するステップと、
前記検知するステップで前記追跡対象物が前記第2の空間に移動したことを検知した場合、前記デバイスに表示する画像を前記第2のカメラで撮影した画像に切替えるステップと、
を備える、方法。 - プロセッサと、
プログラムを格納したメモリと、
を備え、
前記プログラムは、前記プロセッサに、
第1の空間を撮影する第1のカメラで撮影した画像の入力を受け付けるステップと、
第2の空間を撮影する第2のカメラで撮影した画像の入力を受け付けるステップと、
複数の移動物のうちの追跡対象物が前記第1の空間にいる場合、前記第1のカメラで撮影した画像をデバイスに表示するステップと、
前記追跡対象物が前記第2の空間に移動したことを検知するステップと、
前記検知するステップで前記追跡対象物が前記第2の空間に移動したことを検知した場合、前記デバイスに表示する画像を前記第2のカメラで撮影した画像に切替えるステップと、
を実行させる、
情報処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2024042980A JP2024061890A (ja) | 2019-12-26 | 2024-03-19 | プログラム、方法および情報処理装置 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019235610A JP7458779B2 (ja) | 2019-12-26 | 2019-12-26 | プログラム、方法および情報処理装置 |
JP2024042980A JP2024061890A (ja) | 2019-12-26 | 2024-03-19 | プログラム、方法および情報処理装置 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019235610A Division JP7458779B2 (ja) | 2019-12-26 | 2019-12-26 | プログラム、方法および情報処理装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2024061890A true JP2024061890A (ja) | 2024-05-08 |
Family
ID=76575899
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019235610A Active JP7458779B2 (ja) | 2019-12-26 | 2019-12-26 | プログラム、方法および情報処理装置 |
JP2024042980A Pending JP2024061890A (ja) | 2019-12-26 | 2024-03-19 | プログラム、方法および情報処理装置 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019235610A Active JP7458779B2 (ja) | 2019-12-26 | 2019-12-26 | プログラム、方法および情報処理装置 |
Country Status (2)
Country | Link |
---|---|
JP (2) | JP7458779B2 (ja) |
WO (1) | WO2021131938A1 (ja) |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016110319A (ja) | 2014-12-04 | 2016-06-20 | ソニー株式会社 | 表示制御装置、表示制御方法およびプログラム |
JP2017187952A (ja) | 2016-04-06 | 2017-10-12 | 株式会社コロプラ | 表示制御方法及び当該表示制御方法をコンピュータに実行させるためのプログラム |
JP6495398B2 (ja) * | 2017-09-04 | 2019-04-03 | 株式会社コロプラ | 仮想空間を提供するための方法、プログラム、および当該プログラムを実行するための情報処理装置 |
JP6470374B1 (ja) * | 2017-10-03 | 2019-02-13 | 株式会社コロプラ | 仮想現実を提供するためにコンピュータで実行されるプログラムおよび情報処理装置 |
JP2019128721A (ja) | 2018-01-23 | 2019-08-01 | 株式会社コロプラ | ユーザの動きをアバタに反映するためのプログラム、当該プログラムを実行するための情報処理装置、およびアバタを含む映像を配信するための方法 |
JP7005406B2 (ja) | 2018-03-23 | 2022-01-21 | 株式会社コロプラ | プログラム、情報処理装置、及び情報処理方法 |
JP2019211864A (ja) | 2018-05-31 | 2019-12-12 | 株式会社コロプラ | コンピュータプログラム、情報処理装置および情報処理方法 |
-
2019
- 2019-12-26 JP JP2019235610A patent/JP7458779B2/ja active Active
-
2020
- 2020-12-16 WO PCT/JP2020/046876 patent/WO2021131938A1/ja active Application Filing
-
2024
- 2024-03-19 JP JP2024042980A patent/JP2024061890A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
JP2021105763A (ja) | 2021-07-26 |
JP7458779B2 (ja) | 2024-04-01 |
WO2021131938A1 (ja) | 2021-07-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6244593B1 (ja) | 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム | |
US10546407B2 (en) | Information processing method and system for executing the information processing method | |
JP6290467B1 (ja) | 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるプログラム | |
JP2020004284A (ja) | システム、プログラム、方法、および情報処理装置 | |
JP7466034B2 (ja) | プログラム、およびシステム | |
JP7394158B2 (ja) | ヘッドマウントデバイスを介して仮想空間を提供するためにコンピュータで実行されるプログラムおよび方法ならびに情報処理装置 | |
JP7138138B2 (ja) | プログラム、情報処理方法及び情報処理装置 | |
JP2020004388A (ja) | システム、プログラム、方法、および情報処理装置 | |
JP2018125003A (ja) | 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるプログラム | |
JP2018124981A (ja) | 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム | |
JP6513241B1 (ja) | プログラム、情報処理装置、及び情報処理方法 | |
JP2019032844A (ja) | 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム | |
JP7192151B2 (ja) | プログラム、情報処理装置、及び情報処理方法 | |
JP2019030638A (ja) | 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム | |
JP7514076B2 (ja) | プログラム、方法および情報処理装置 | |
JP7458779B2 (ja) | プログラム、方法および情報処理装置 | |
JP7356827B2 (ja) | プログラム、情報処理方法、及び情報処理装置 | |
JP6826082B2 (ja) | プログラム、情報処理装置、および方法 | |
JP6718933B2 (ja) | プログラム、情報処理装置、および方法 | |
JP2019155115A (ja) | プログラム、情報処理装置、及び情報処理方法 | |
JP6722244B2 (ja) | プログラム、情報処理方法及び情報処理装置 | |
WO2024071031A1 (ja) | プログラムおよび情報処理システム | |
JP7295045B2 (ja) | プログラム、コンピュータが実行する方法及びコンピュータ | |
JP7379627B1 (ja) | プログラムおよび情報処理システム | |
JP7313523B1 (ja) | プログラムおよび情報処理システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240319 |