JP7514076B2 - Program, method and information processing device - Google Patents
Program, method and information processing device Download PDFInfo
- Publication number
- JP7514076B2 JP7514076B2 JP2019236150A JP2019236150A JP7514076B2 JP 7514076 B2 JP7514076 B2 JP 7514076B2 JP 2019236150 A JP2019236150 A JP 2019236150A JP 2019236150 A JP2019236150 A JP 2019236150A JP 7514076 B2 JP7514076 B2 JP 7514076B2
- Authority
- JP
- Japan
- Prior art keywords
- virtual space
- hmd
- view
- user
- virtual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims description 6
- 238000000034 method Methods 0.000 title description 39
- 230000001815 facial effect Effects 0.000 claims description 15
- 230000004044 response Effects 0.000 claims description 5
- 238000010801 machine learning Methods 0.000 claims description 3
- 210000001508 eye Anatomy 0.000 description 36
- 238000004891 communication Methods 0.000 description 34
- 238000010586 diagram Methods 0.000 description 34
- 230000008569 process Effects 0.000 description 33
- 238000001514 detection method Methods 0.000 description 25
- 210000000056 organ Anatomy 0.000 description 14
- 210000003128 head Anatomy 0.000 description 13
- 238000009877 rendering Methods 0.000 description 11
- 241001465754 Metazoa Species 0.000 description 9
- 230000006870 function Effects 0.000 description 9
- 230000008859 change Effects 0.000 description 8
- 210000003811 finger Anatomy 0.000 description 7
- 230000004886 head movement Effects 0.000 description 7
- 210000000214 mouth Anatomy 0.000 description 7
- 230000009471 action Effects 0.000 description 4
- 210000004709 eyebrow Anatomy 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 238000005401 electroluminescence Methods 0.000 description 3
- 210000003813 thumb Anatomy 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 208000013057 hereditary mucoepithelial dysplasia Diseases 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 238000002834 transmittance Methods 0.000 description 2
- 241000282326 Felis catus Species 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 210000004087 cornea Anatomy 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 210000004247 hand Anatomy 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 210000004932 little finger Anatomy 0.000 description 1
- 206010025482 malaise Diseases 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
- User Interface Of Digital Computer (AREA)
Description
本開示は、プログラム、方法および情報処理装置に関する。 The present disclosure relates to a program, a method, and an information processing device.
従来、360度動画をヘッドマウントディスプレイに表示するプログラムが知られている。特許文献1には、ヘッドマウントディスプレイに表示される360度動画の時間軸を、ヘッドマウントディスプレイの傾きに応じて制御する発明が開示されている。
Conventionally, there are known programs for displaying 360-degree video on a head-mounted display.
しかしながら、特許文献1に記載の発明では、ユーザによる360度動画の視聴時の利便性向上において改善の余地がある。
However, the invention described in
本開示は、ユーザによる360度動画の視聴時の利便性を向上することが可能な、プログラム、方法および情報処理装置を提供することを目的とする。 The present disclosure aims to provide a program, method, and information processing device that can improve the convenience of users when watching 360-degree videos.
本開示が示す一態様によれば、プログラムは、プロセッサに、仮想空間を定義するステップと、360度カメラで撮影した画像の入力を受け付けるステップと、前記仮想空間に仮想視点を配置するステップと、前記仮想空間に表示オブジェクトを配置するステップと、前記入力された画像を前記表示オブジェクトに表示するステップと、前記仮想空間内で、追跡対象物を特定するステップと、ヘッドマウントデバイスが関連付けられたユーザの頭部の動きを検出するステップと、前記頭部の動きに応じて、前記仮想視点からの視界を制御するステップと、前記仮想視点からの視界内に前記追跡対象物が含まれない場合、前記仮想視点からの視界内に前記追跡対象物が含まれるように前記仮想空間の回転を制御するステップと、前記仮想視点からの視界に対応する視界画像を前記ヘッドマウントデバイスに表示するステップと、を実行させる。 According to one aspect of the present disclosure, the program causes a processor to execute the steps of: defining a virtual space; accepting input of an image captured by a 360-degree camera; arranging a virtual viewpoint in the virtual space; arranging a display object in the virtual space; displaying the input image on the display object; identifying a tracked object in the virtual space; detecting head movement of a user associated with a head-mounted device; controlling a field of view from the virtual viewpoint in response to the head movement; if the tracked object is not included in the field of view from the virtual viewpoint, controlling the rotation of the virtual space so that the tracked object is included in the field of view from the virtual viewpoint; and displaying a field of view image corresponding to the field of view from the virtual viewpoint on the head-mounted device.
本開示によれば、ユーザによる360度動画の視聴時の利便性を向上することが可能な、プログラム、方法および情報処理装置を提供することができる。 According to the present disclosure, it is possible to provide a program, a method, and an information processing device that can improve the convenience of users when watching 360-degree videos.
以下、この技術的思想の実施の形態について図面を参照しながら詳細に説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。本開示において示される1以上の実施形態において、各実施形態が含む要素を互いに組み合わせることができ、かつ、当該組み合わせられた結果物も本開示が示す実施形態の一部をなすものとする。 The following describes in detail an embodiment of this technical idea with reference to the drawings. In the following description, the same components are given the same reference numerals. Their names and functions are also the same. Therefore, detailed descriptions thereof will not be repeated. In one or more embodiments shown in this disclosure, the elements included in each embodiment can be combined with each other, and the result of such combination is also considered to be part of the embodiment shown in this disclosure.
[HMDシステムの構成]
図1を参照して、HMD(Head-Mounted Device)システム100の構成について説明する。図1は、本実施の形態に従うHMDシステム100の構成の概略を表す図である。HMDシステム100は、家庭用のシステムとしてあるいは業務用のシステムとして提供される。
[Configuration of HMD system]
The configuration of an HMD (Head-Mounted Device)
HMDシステム100は、サーバ600と、HMDセット110A,110B,110C,110Dと、外部機器700と、ネットワーク2とを含む。HMDセット110A,110B,110C,110Dの各々は、ネットワーク2を介してサーバ600や外部機器700と通信可能に構成される。以下、HMDセット110A,110B,110C,110Dを総称して、HMDセット110とも言う。HMDシステム100を構成するHMDセット110の数は、4つに限られず、3つ以下でも、5つ以上でもよい。HMDセット110は、HMD120と、コンピュータ200と、HMDセンサ410と、ディスプレイ430と、コントローラ300とを備える。HMD120は、モニタ130と、注視センサ140と、第1カメラ150と、第2カメラ160と、マイク170と、スピーカ180とを含む。コントローラ300は、モーションセンサ420を含み得る。
The
ある局面において、コンピュータ200は、インターネットその他のネットワーク2に接続可能であり、ネットワーク2に接続されているサーバ600その他のコンピュータと通信可能である。その他のコンピュータとしては、例えば、他のHMDセット110のコンピュータや外部機器700が挙げられる。別の局面において、HMD120は、HMDセンサ410の代わりに、センサ190を含み得る。
In one aspect, the
HMD120は、ユーザ5の頭部に装着され、動作中に仮想空間をユーザ5に提供し得る。より具体的には、HMD120は、右目用の画像および左目用の画像をモニタ130にそれぞれ表示する。ユーザ5の各目がそれぞれの画像を視認すると、ユーザ5は、両目の視差に基づき当該画像を3次元画像として認識し得る。HMD120は、モニタを備える所謂ヘッドマウントディスプレイと、スマートフォンその他のモニタを有する端末を装着可能なヘッドマウント機器のいずれをも含み得る。
The HMD 120 is worn on the head of the
モニタ130は、例えば、非透過型の表示装置として実現される。ある局面において、モニタ130は、ユーザ5の両目の前方に位置するようにHMD120の本体に配置されている。したがって、ユーザ5は、モニタ130に表示される3次元画像を視認すると、仮想空間に没入することができる。ある局面において、仮想空間は、例えば、背景、ユーザ5が操作可能なオブジェクト、ユーザ5が選択可能なメニューの画像を含む。ある局面において、モニタ130は、所謂スマートフォンその他の情報表示端末が備える液晶モニタまたは有機EL(Electro Luminescence)モニタとして実現され得る。
The
別の局面において、モニタ130は、透過型の表示装置として実現され得る。この場合、HMD120は、図1に示されるようにユーザ5の目を覆う密閉型ではなく、メガネ型のような開放型であり得る。透過型のモニタ130は、その透過率を調整することにより、一時的に非透過型の表示装置として構成可能であってもよい。モニタ130は、仮想空間を構成する画像の一部と、現実空間とを同時に表示する構成を含んでいてもよい。例えば、モニタ130は、HMD120に搭載されたカメラで撮影した現実空間の画像を表示してもよいし、一部の透過率を高く設定することにより現実空間を視認可能にしてもよい。
In another aspect, the
ある局面において、モニタ130は、右目用の画像を表示するためのサブモニタと、左目用の画像を表示するためのサブモニタとを含み得る。別の局面において、モニタ130は、右目用の画像と左目用の画像とを一体として表示する構成であってもよい。この場合、モニタ130は、高速シャッタを含む。高速シャッタは、画像がいずれか一方の目にのみ認識されるように、右目用の画像と左目用の画像とを交互に表示可能に作動する。
In one aspect, the
ある局面において、HMD120は、図示せぬ複数の光源を含む。各光源は例えば、赤外線を発するLED(Light Emitting Diode)により実現される。HMDセンサ410は、HMD120の動きを検出するためのポジショントラッキング機能を有する。より具体的には、HMDセンサ410は、HMD120が発する複数の赤外線を読み取り、現実空間内におけるHMD120の位置および傾きを検出する。
In one aspect, the
別の局面において、HMDセンサ410は、カメラにより実現されてもよい。この場合、HMDセンサ410は、カメラから出力されるHMD120の画像情報を用いて、画像解析処理を実行することにより、HMD120の位置および傾きを検出することができる。
In another aspect, the
別の局面において、HMD120は、位置検出器として、HMDセンサ410の代わりに、あるいはHMDセンサ410に加えてセンサ190を備えてもよい。HMD120は、センサ190を用いて、HMD120自身の位置および傾きを検出し得る。例えば、センサ190が角速度センサ、地磁気センサ、あるいは加速度センサである場合、HMD120は、HMDセンサ410の代わりに、これらの各センサのいずれかを用いて、自身の位置および傾きを検出し得る。一例として、センサ190が角速度センサである場合、角速度センサは、現実空間におけるHMD120の3軸周りの角速度を経時的に検出する。HMD120は、各角速度に基づいて、HMD120の3軸周りの角度の時間的変化を算出し、さらに、角度の時間的変化に基づいて、HMD120の傾きを算出する。
In another aspect, the
注視センサ140は、ユーザ5の右目および左目の視線が向けられる方向を検出する。つまり、注視センサ140は、ユーザ5の視線を検出する。視線の方向の検出は、例えば、公知のアイトラッキング機能によって実現される。注視センサ140は、当該アイトラッキング機能を有するセンサにより実現される。ある局面において、注視センサ140は、右目用のセンサおよび左目用のセンサを含むことが好ましい。注視センサ140は、例えば、ユーザ5の右目および左目に赤外光を照射するとともに、照射光に対する角膜および虹彩からの反射光を受けることにより各眼球の回転角を検出するセンサであってもよい。注視センサ140は、検出した各回転角に基づいて、ユーザ5の視線を検知することができる。
The
第1カメラ150は、ユーザ5の顔の下部を撮影する。より具体的には、第1カメラ150は、ユーザ5の鼻および口などを撮影する。第2カメラ160は、ユーザ5の目および眉などを撮影する。HMD120のユーザ5側の筐体をHMD120の内側、HMD120のユーザ5とは逆側の筐体をHMD120の外側と定義する。ある局面において、第1カメラ150は、HMD120の外側に配置され、第2カメラ160は、HMD120の内側に配置され得る。第1カメラ150および第2カメラ160が生成した画像は、コンピュータ200に入力される。別の局面において、第1カメラ150と第2カメラ160とを1台のカメラとして実現し、この1台のカメラでユーザ5の顔を撮影するようにしてもよい。
The
マイク170は、ユーザ5の発話を音声信号(電気信号)に変換してコンピュータ200に出力する。スピーカ180は、音声信号を音声に変換してユーザ5に出力する。別の局面において、HMD120は、スピーカ180に替えてイヤホンを含み得る。
The
コントローラ300は、有線または無線によりコンピュータ200に接続されている。コントローラ300は、ユーザ5からコンピュータ200への命令の入力を受け付ける。ある局面において、コントローラ300は、ユーザ5によって把持可能に構成される。別の局面において、コントローラ300は、ユーザ5の身体あるいは衣類の一部に装着可能に構成される。さらに別の局面において、コントローラ300は、コンピュータ200から送信される信号に基づいて、振動、音、光のうちの少なくともいずれかを出力するように構成されてもよい。さらに別の局面において、コントローラ300は、ユーザ5から、仮想空間に配置されるオブジェクトの位置や動きを制御するための操作を受け付ける。
The
ある局面において、コントローラ300は、複数の光源を含む。各光源は例えば、赤外線を発するLEDにより実現される。HMDセンサ410は、ポジショントラッキング機能を有する。この場合、HMDセンサ410は、コントローラ300が発する複数の赤外線を読み取り、現実空間内におけるコントローラ300の位置および傾きを検出する。別の局面において、HMDセンサ410は、カメラにより実現されてもよい。この場合、HMDセンサ410は、カメラから出力されるコントローラ300の画像情報を用いて、画像解析処理を実行することにより、コントローラ300の位置および傾きを検出することができる。
In one aspect, the
モーションセンサ420は、ある局面において、ユーザ5の手に取り付けられて、ユーザ5の手の動きを検出する。例えば、モーションセンサ420は、手の回転速度、回転数等を検出する。検出された信号は、コンピュータ200に送られる。モーションセンサ420は、例えば、コントローラ300に設けられている。ある局面において、モーションセンサ420は、例えば、ユーザ5に把持可能に構成されたコントローラ300に設けられている。別の局面において、現実空間における安全のため、コントローラ300は、手袋型のようにユーザ5の手に装着されることにより容易に飛んで行かないものに装着される。さらに別の局面において、ユーザ5に装着されないセンサがユーザ5の手の動きを検出してもよい。例えば、ユーザ5を撮影するカメラの信号が、ユーザ5の動作を表す信号として、コンピュータ200に入力されてもよい。モーションセンサ420とコンピュータ200とは、一例として、無線により互いに接続される。無線の場合、通信形態は特に限られず、例えば、Bluetooth(登録商標)その他の公知の通信手法が用いられる。
In one aspect, the
ディスプレイ430は、モニタ130に表示されている画像と同様の画像を表示する。これにより、HMD120を装着しているユーザ5以外のユーザにも当該ユーザ5と同様の画像を視聴させることができる。ディスプレイ430に表示される画像は、3次元画像である必要はなく、右目用の画像や左目用の画像であってもよい。ディスプレイ430としては、例えば、液晶ディスプレイや有機ELモニタなどが挙げられる。
The
サーバ600は、コンピュータ200にプログラムを送信し得る。別の局面において、サーバ600は、他のユーザによって使用されるHMD120に仮想現実を提供するための他のコンピュータ200と通信し得る。例えば、アミューズメント施設において、複数のユーザが参加型のゲームを行う場合、各コンピュータ200は、各ユーザの動作に基づく信号をサーバ600を介して他のコンピュータ200と通信して、同じ仮想空間において複数のユーザが共通のゲームを楽しむことを可能にする。各コンピュータ200は、各ユーザの動作に基づく信号をサーバ600を介さずに他のコンピュータ200と通信するようにしてもよい。
The
外部機器700は、コンピュータ200と通信可能な機器であればどのような機器であってもよい。外部機器700は、例えば、ネットワーク2を介してコンピュータ200と通信可能な機器であってもよいし、近距離無線通信や有線接続によりコンピュータ200と直接通信可能な機器であってもよい。外部機器700としては、例えば、スマートデバイス、PC(Personal Computer)、およびコンピュータ200の周辺機器などが挙げられるが、これらに限定されるものではない。
The
[コンピュータのハードウェア構成]
図2を参照して、本実施の形態に係るコンピュータ200について説明する。図2は、本実施の形態に従うコンピュータ200のハードウェア構成の一例を表すブロック図である。コンピュータ200は、主たる構成要素として、プロセッサ210と、メモリ220と、ストレージ230と、入出力インターフェイス240と、通信インターフェイス250とを備える。各構成要素は、それぞれ、バス260に接続されている。
[Computer hardware configuration]
A
プロセッサ210は、コンピュータ200に与えられる信号に基づいて、あるいは、予め定められた条件が成立したことに基づいて、メモリ220またはストレージ230に格納されているプログラムに含まれる一連の命令を実行する。ある局面において、プロセッサ210は、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、MPU(Micro Processor Unit)、FPGA(Field-Programmable Gate Array)その他のデバイスとして実現される。
The
メモリ220は、プログラムおよびデータを一時的に保存する。プログラムは、例えば、ストレージ230からロードされる。データは、コンピュータ200に入力されたデータと、プロセッサ210によって生成されたデータとを含む。ある局面において、メモリ220は、RAM(Random Access Memory)その他の揮発メモリとして実現される。
ストレージ230は、プログラムおよびデータを永続的に保持する。ストレージ230は、例えば、ROM(Read-Only Memory)、ハードディスク装置、フラッシュメモリ、その他の不揮発記憶装置として実現される。ストレージ230に格納されるプログラムは、HMDシステム100において仮想空間を提供するためのプログラム、シミュレーションプログラム、ゲームプログラム、ユーザ認証プログラム、他のコンピュータ200との通信を実現するためのプログラムを含む。ストレージ230に格納されるデータは、仮想空間を規定するためのデータおよびオブジェクト等を含む。
The
別の局面において、ストレージ230は、メモリカードのように着脱可能な記憶装置として実現されてもよい。さらに別の局面において、コンピュータ200に内蔵されたストレージ230の代わりに、外部の記憶装置に保存されているプログラムおよびデータを使用する構成が使用されてもよい。このような構成によれば、例えば、アミューズメント施設のように複数のHMDシステム100が使用される場面において、プログラムやデータの更新を一括して行うことが可能になる。
In another aspect, the
入出力インターフェイス240は、HMD120、HMDセンサ410、モーションセンサ420およびディスプレイ430との間で信号を通信する。HMD120に含まれるモニタ130,注視センサ140,第1カメラ150,第2カメラ160,マイク170およびスピーカ180は、HMD120の入出力インターフェイス240を介してコンピュータ200との通信を行ない得る。ある局面において、入出力インターフェイス240は、USB(Universal Serial Bus)、DVI(Digital Visual Interface)、HDMI(登録商標)(High-Definition Multimedia Interface)その他の端子を用いて実現される。入出力インターフェイス240は上述のものに限られない。
The input/
ある局面において、入出力インターフェイス240は、さらに、コントローラ300と通信し得る。例えば、入出力インターフェイス240は、コントローラ300およびモーションセンサ420から出力された信号の入力を受ける。別の局面において、入出力インターフェイス240は、プロセッサ210から出力された命令を、コントローラ300に送る。当該命令は、振動、音声出力、発光等をコントローラ300に指示する。コントローラ300は、当該命令を受信すると、その命令に応じて、振動、音声出力または発光のいずれかを実行する。
In one aspect, the input/
通信インターフェイス250は、ネットワーク2に接続されて、ネットワーク2に接続されている他のコンピュータ(例えば、サーバ600)と通信する。ある局面において、通信インターフェイス250は、例えば、LAN(Local Area Network)その他の有線通信インターフェイス、あるいは、WiFi(Wireless Fidelity)、Bluetooth(登録商標)、NFC(Near Field Communication)その他の無線通信インターフェイスとして実現される。通信インターフェイス250は上述のものに限られない。
The
ある局面において、プロセッサ210は、ストレージ230にアクセスし、ストレージ230に格納されている1つ以上のプログラムをメモリ220にロードし、当該プログラムに含まれる一連の命令を実行する。当該1つ以上のプログラムは、コンピュータ200のオペレーティングシステム、仮想空間を提供するためのアプリケーションプログラム、仮想空間で実行可能なゲームソフトウェア等を含み得る。プロセッサ210は、入出力インターフェイス240を介して、仮想空間を提供するための信号をHMD120に送る。HMD120は、その信号に基づいてモニタ130に映像を表示する。
In one aspect, the
図2に示される例では、コンピュータ200は、HMD120の外部に設けられる構成が示されているが、別の局面において、コンピュータ200は、HMD120に内蔵されてもよい。一例として、モニタ130を含む携帯型の情報通信端末(例えば、スマートフォン)がコンピュータ200として機能してもよい。
2, the
コンピュータ200は、複数のHMD120に共通して用いられる構成であってもよい。このような構成によれば、例えば、複数のユーザに同一の仮想空間を提供することもできるので、各ユーザは同一の仮想空間で他のユーザと同一のアプリケーションを楽しむことができる。
The
ある実施の形態において、HMDシステム100では、現実空間における座標系である実座標系が予め設定されている。実座標系は、現実空間における鉛直方向、鉛直方向に直交する水平方向、並びに、鉛直方向および水平方向の双方に直交する前後方向にそれぞれ平行な、3つの基準方向(軸)を有する。実座標系における水平方向、鉛直方向(上下方向)、および前後方向は、それぞれ、x軸、y軸、z軸と規定される。より具体的には、実座標系において、x軸は現実空間の水平方向に平行である。y軸は、現実空間の鉛直方向に平行である。z軸は現実空間の前後方向に平行である。
In one embodiment, a real coordinate system, which is a coordinate system in real space, is set in advance in the
ある局面において、HMDセンサ410は、赤外線センサを含む。赤外線センサが、HMD120の各光源から発せられた赤外線をそれぞれ検出すると、HMD120の存在を検出する。HMDセンサ410は、さらに、各点の値(実座標系における各座標値)に基づいて、HMD120を装着したユーザ5の動きに応じた、現実空間内におけるHMD120の位置および傾き(向き)を検出する。より詳しくは、HMDセンサ410は、経時的に検出された各値を用いて、HMD120の位置および傾きの時間的変化を検出できる。
In one aspect, the
HMDセンサ410によって検出されたHMD120の各傾きは、実座標系におけるHMD120の3軸周りの各傾きに相当する。HMDセンサ410は、実座標系におけるHMD120の傾きに基づき、uvw視野座標系をHMD120に設定する。HMD120に設定されるuvw視野座標系は、HMD120を装着したユーザ5が仮想空間において物体を見る際の視点座標系に対応する。
Each tilt of the
[uvw視野座標系]
図3を参照して、uvw視野座標系について説明する。図3は、ある実施の形態に従うHMD120に設定されるuvw視野座標系を概念的に表す図である。HMDセンサ410は、HMD120の起動時に、実座標系におけるHMD120の位置および傾きを検出する。プロセッサ210は、検出された値に基づいて、uvw視野座標系をHMD120に設定する。
[uvw visual coordinate system]
The uvw field of view coordinate system will be described with reference to Fig. 3. Fig. 3 is a diagram conceptually showing the uvw field of view coordinate system set in the
図3に示されるように、HMD120は、HMD120を装着したユーザ5の頭部を中心(原点)とした3次元のuvw視野座標系を設定する。より具体的には、HMD120は、実座標系を規定する水平方向、鉛直方向、および前後方向(x軸、y軸、z軸)を、実座標系内においてHMD120の各軸周りの傾きだけ各軸周りにそれぞれ傾けることによって新たに得られる3つの方向を、HMD120におけるuvw視野座標系のピッチ軸(u軸)、ヨー軸(v軸)、およびロール軸(w軸)として設定する。
As shown in FIG. 3, the
ある局面において、HMD120を装着したユーザ5が直立し、かつ、正面を視認している場合、プロセッサ210は、実座標系に平行なuvw視野座標系をHMD120に設定する。この場合、実座標系における水平方向(x軸)、鉛直方向(y軸)、および前後方向(z軸)は、HMD120におけるuvw視野座標系のピッチ軸(u軸)、ヨー軸(v軸)、およびロール軸(w軸)に一致する。
In a certain situation, when the
uvw視野座標系がHMD120に設定された後、HMDセンサ410は、HMD120の動きに基づいて、設定されたuvw視野座標系におけるHMD120の傾きを検出できる。この場合、HMDセンサ410は、HMD120の傾きとして、uvw視野座標系におけるHMD120のピッチ角(θu)、ヨー角(θv)、およびロール角(θw)をそれぞれ検出する。ピッチ角(θu)は、uvw視野座標系におけるピッチ軸周りのHMD120の傾き角度を表す。ヨー角(θv)は、uvw視野座標系におけるヨー軸周りのHMD120の傾き角度を表す。ロール角(θw)は、uvw視野座標系におけるロール軸周りのHMD120の傾き角度を表す。
After the uvw field of view coordinate system is set in the
HMDセンサ410は、検出されたHMD120の傾きに基づいて、HMD120が動いた後のHMD120におけるuvw視野座標系を、HMD120に設定する。HMD120と、HMD120のuvw視野座標系との関係は、HMD120の位置および傾きに関わらず、常に一定である。HMD120の位置および傾きが変わると、当該位置および傾きの変化に連動して、実座標系におけるHMD120のuvw視野座標系の位置および傾きが変化する。
The
ある局面において、HMDセンサ410は、赤外線センサからの出力に基づいて取得される赤外線の光強度および複数の点間の相対的な位置関係(例えば、各点間の距離など)に基づいて、HMD120の現実空間内における位置を、HMDセンサ410に対する相対位置として特定してもよい。プロセッサ210は、特定された相対位置に基づいて、現実空間内(実座標系)におけるHMD120のuvw視野座標系の原点を決定してもよい。
In one aspect, the
[仮想空間]
図4を参照して、仮想空間についてさらに説明する。図4は、ある実施の形態に従う仮想空間11を表現する一態様を概念的に表す図である。仮想空間11は、中心12の360度方向の全体を覆う全天球状の構造を有する。図4では、説明を複雑にしないために、仮想空間11のうちの上半分の天球が例示されている。仮想空間11では各メッシュが規定される。各メッシュの位置は、仮想空間11に規定されるグローバル座標系であるXYZ座標系における座標値として予め規定されている。コンピュータ200は、仮想空間11に展開可能なパノラマ画像13(静止画、動画等)を構成する各部分画像を、仮想空間11において対応する各メッシュにそれぞれ対応付ける。
[Virtual space]
The virtual space will be further described with reference to FIG. 4. FIG. 4 is a diagram conceptually showing one mode of expressing the
ある局面において、仮想空間11では、中心12を原点とするXYZ座標系が規定される。XYZ座標系は、例えば、実座標系に平行である。XYZ座標系における水平方向、鉛直方向(上下方向)、および前後方向は、それぞれX軸、Y軸、Z軸として規定される。したがって、XYZ座標系のX軸(水平方向)が実座標系のx軸と平行であり、XYZ座標系のY軸(鉛直方向)が実座標系のy軸と平行であり、XYZ座標系のZ軸(前後方向)が実座標系のz軸と平行である。
In a certain aspect, an XYZ coordinate system is defined in the
HMD120の起動時、すなわちHMD120の初期状態において、仮想カメラ14が、仮想空間11の中心12に配置される。ある局面において、プロセッサ210は、仮想カメラ14が撮影する画像をHMD120のモニタ130に表示する。仮想カメラ14は、現実空間におけるHMD120の動きに連動して、仮想空間11を同様に移動する。これにより、現実空間におけるHMD120の位置および傾きの変化が、仮想空間11において同様に再現され得る。
When the
仮想カメラ14には、HMD120の場合と同様に、uvw視野座標系が規定される。仮想空間11における仮想カメラ14のuvw視野座標系は、現実空間(実座標系)におけるHMD120のuvw視野座標系に連動するように規定されている。したがって、HMD120の傾きが変化すると、それに応じて、仮想カメラ14の傾きも変化する。仮想カメラ14は、HMD120を装着したユーザ5の現実空間における移動に連動して、仮想空間11において移動することもできる。
A uvw field of view coordinate system is defined for the
コンピュータ200のプロセッサ210は、仮想カメラ14の位置と傾き(基準視線16)とに基づいて、仮想空間11における視界領域15を規定する。視界領域15は、仮想空間11のうち、HMD120を装着したユーザ5が視認する領域に対応する。つまり、仮想カメラ14の位置は、仮想空間11におけるユーザ5の視点と言える。
The
注視センサ140によって検出されるユーザ5の視線は、ユーザ5が物体を視認する際の視点座標系における方向である。HMD120のuvw視野座標系は、ユーザ5がモニタ130を視認する際の視点座標系に等しい。仮想カメラ14のuvw視野座標系は、HMD120のuvw視野座標系に連動している。したがって、ある局面に従うHMDシステム100は、注視センサ140によって検出されたユーザ5の視線を、仮想カメラ14のuvw視野座標系におけるユーザ5の視線とみなすことができる。
The line of sight of
[ユーザの視線]
図5を参照して、ユーザ5の視線の決定について説明する。図5は、ある実施の形態に従うHMD120を装着するユーザ5の頭部を上から表した図である。
[User's gaze]
Determining the line of sight of the
ある局面において、注視センサ140は、ユーザ5の右目および左目の各視線を検出する。ある局面において、ユーザ5が近くを見ている場合、注視センサ140は、視線R1およびL1を検出する。別の局面において、ユーザ5が遠くを見ている場合、注視センサ140は、視線R2およびL2を検出する。この場合、ロール軸wに対して視線R2およびL2が成す角度は、ロール軸wに対して視線R1およびL1が成す角度よりも小さい。注視センサ140は、検出結果をコンピュータ200に送信する。
In one aspect, the
コンピュータ200が、視線の検出結果として、視線R1およびL1の検出値を注視センサ140から受信した場合には、その検出値に基づいて、視線R1およびL1の交点である注視点N1を特定する。一方、コンピュータ200は、視線R2およびL2の検出値を注視センサ140から受信した場合には、視線R2およびL2の交点を注視点として特定する。コンピュータ200は、特定した注視点N1の位置に基づき、ユーザ5の視線N0を特定する。コンピュータ200は、例えば、ユーザ5の右目Rと左目Lとを結ぶ直線の中点と、注視点N1とを通る直線の延びる方向を、視線N0として検出する。視線N0は、ユーザ5が両目により実際に視線を向けている方向である。視線N0は、視界領域15に対してユーザ5が実際に視線を向けている方向に相当する。
When the
別の局面において、HMDシステム100は、テレビジョン放送受信チューナを備えてもよい。このような構成によれば、HMDシステム100は、仮想空間11においてテレビ番組を表示することができる。
In another aspect, the
さらに別の局面において、HMDシステム100は、インターネットに接続するための通信回路、あるいは、電話回線に接続するための通話機能を備えていてもよい。
In yet another aspect, the
[視界領域]
図6および図7を参照して、視界領域15について説明する。図6は、仮想空間11において視界領域15をX方向から見たYZ断面を表す図である。図7は、仮想空間11において視界領域15をY方向から見たXZ断面を表す図である。
[View Area]
The field of
図6に示されるように、YZ断面における視界領域15は、領域18を含む。領域18は、仮想カメラ14の位置と基準視線16と仮想空間11のYZ断面とによって定義される。プロセッサ210は、仮想空間における基準視線16を中心として極角αを含む範囲を、領域18として規定する。
As shown in FIG. 6, the field of
図7に示されるように、XZ断面における視界領域15は、領域19を含む。領域19は、仮想カメラ14の位置と基準視線16と仮想空間11のXZ断面とによって定義される。プロセッサ210は、仮想空間11における基準視線16を中心とした方位角βを含む範囲を、領域19として規定する。極角αおよびβは、仮想カメラ14の位置と仮想カメラ14の傾き(向き)とに応じて定まる。
As shown in FIG. 7, the field of
ある局面において、HMDシステム100は、コンピュータ200からの信号に基づいて、視界画像17をモニタ130に表示させることにより、ユーザ5に仮想空間11における視界を提供する。視界画像17は、パノラマ画像13のうち視界領域15に対応する部分に相当する画像である。ユーザ5が、頭に装着したHMD120を動かすと、その動きに連動して仮想カメラ14も動く。その結果、仮想空間11における視界領域15の位置が変化する。これにより、モニタ130に表示される視界画像17は、パノラマ画像13のうち、仮想空間11においてユーザ5が向いた方向の視界領域15に重畳する画像に更新される。ユーザ5は、仮想空間11における所望の方向を視認することができる。
In one aspect, the
このように、仮想カメラ14の傾きは仮想空間11におけるユーザ5の視線(基準視線16)に相当し、仮想カメラ14が配置される位置は、仮想空間11におけるユーザ5の視点に相当する。したがって、仮想カメラ14の位置または傾きを変更することにより、モニタ130に表示される画像が更新され、ユーザ5の視界が移動される。
In this way, the inclination of the
ユーザ5は、HMD120を装着している間、現実世界を視認することなく、仮想空間11に展開されるパノラマ画像13のみを視認できる。そのため、HMDシステム100は、仮想空間11への高い没入感覚をユーザ5に与えることができる。
While wearing the
ある局面において、プロセッサ210は、HMD120を装着したユーザ5の現実空間における移動に連動して、仮想空間11において仮想カメラ14を移動し得る。この場合、プロセッサ210は、仮想空間11における仮想カメラ14の位置および傾きに基づいて、HMD120のモニタ130に投影される画像領域(視界領域15)を特定する。
In one aspect, the
ある局面において、仮想カメラ14は、2つの仮想カメラ、すなわち、右目用の画像を提供するための仮想カメラと、左目用の画像を提供するための仮想カメラとを含み得る。ユーザ5が3次元の仮想空間11を認識できるように、適切な視差が、2つの仮想カメラに設定される。別の局面において、仮想カメラ14を1つの仮想カメラにより実現してもよい。この場合、1つの仮想カメラにより得られた画像から、右目用の画像と左目用の画像とを生成するようにしてもよい。本実施の形態においては、仮想カメラ14が2つの仮想カメラを含み、2つの仮想カメラのロール軸が合成されることによって生成されるロール軸(w)がHMD120のロール軸(w)に適合されるように構成されているものとして、本開示に係る技術思想を例示する。
In one aspect, the
[コントローラ]
図8を参照して、コントローラ300の一例について説明する。図8は、ある実施の形態に従うコントローラ300の概略構成を表す図である。
[controller]
An example of the
図8に示されるように、ある局面において、コントローラ300は、右コントローラ300Rと図示せぬ左コントローラとを含み得る。右コントローラ300Rは、ユーザ5の右手で操作される。左コントローラは、ユーザ5の左手で操作される。ある局面において、右コントローラ300Rと左コントローラとは、別個の装置として対称に構成される。したがって、ユーザ5は、右コントローラ300Rを把持した右手と、左コントローラを把持した左手とをそれぞれ自由に動かすことができる。別の局面において、コントローラ300は両手の操作を受け付ける一体型のコントローラであってもよい。以下、右コントローラ300Rについて説明する。
As shown in FIG. 8, in one aspect, the
右コントローラ300Rは、グリップ310と、フレーム320と、天面330とを備える。グリップ310は、ユーザ5の右手によって把持されるように構成されている。たとえば、グリップ310は、ユーザ5の右手の掌と3本の指(中指、薬指、小指)とによって保持され得る。
The
グリップ310は、ボタン340,350と、モーションセンサ420とを含む。ボタン340は、グリップ310の側面に配置され、右手の中指による操作を受け付ける。ボタン350は、グリップ310の前面に配置され、右手の人差し指による操作を受け付ける。ある局面において、ボタン340,350は、トリガー式のボタンとして構成される。モーションセンサ420は、グリップ310の筐体に内蔵されている。ユーザ5の動作がカメラその他の装置によってユーザ5の周りから検出可能である場合には、グリップ310は、モーションセンサ420を備えなくてもよい。
フレーム320は、その円周方向に沿って配置された複数の赤外線LED360を含む。赤外線LED360は、コントローラ300を使用するプログラムの実行中に、当該プログラムの進行に合わせて赤外線を発光する。赤外線LED360から発せられた赤外線は、右コントローラ300Rと左コントローラとの各位置や姿勢(傾き、向き)を検出するために使用され得る。図8に示される例では、二列に配置された赤外線LED360が示されているが、配列の数は図8に示されるものに限られない。一列あるいは3列以上の配列が使用されてもよい。
The
天面330は、ボタン370,380と、アナログスティック390とを備える。ボタン370,380は、プッシュ式ボタンとして構成される。ボタン370,380は、ユーザ5の右手の親指による操作を受け付ける。アナログスティック390は、ある局面において、初期位置(ニュートラルの位置)から360度任意の方向への操作を受け付ける。当該操作は、たとえば、仮想空間11に配置されるオブジェクトを移動するための操作を含む。
The
ある局面において、右コントローラ300Rおよび左コントローラは、赤外線LED360その他の部材を駆動するための電池を含む。電池は、充電式、ボタン型、乾電池型などを含むが、これらに限定されない。別の局面において、右コントローラ300Rと左コントローラは、たとえば、コンピュータ200のUSBインターフェースに接続され得る。この場合、右コントローラ300Rおよび左コントローラは、電池を必要としない。
In one aspect, the
図8の状態(A)および状態(B)に示されるように、例えば、ユーザ5の右手に対して、ヨー、ロール、ピッチの各方向が規定される。ユーザ5が親指と人差し指とを伸ばした場合に、親指の伸びる方向がヨー方向、人差し指の伸びる方向がロール方向、ヨー方向の軸およびロール方向の軸によって規定される平面に垂直な方向がピッチ方向として規定される。
As shown in states (A) and (B) of FIG. 8, for example, the yaw, roll, and pitch directions are defined for the right hand of
[サーバのハードウェア構成]
図9を参照して、本実施の形態に係るサーバ600について説明する。図9は、ある実施の形態に従うサーバ600のハードウェア構成の一例を表すブロック図である。サーバ600は、主たる構成要素として、プロセッサ610と、メモリ620と、ストレージ630と、入出力インターフェイス640と、通信インターフェイス650とを備える。各構成要素は、それぞれ、バス660に接続されている。
[Server hardware configuration]
プロセッサ610は、サーバ600に与えられる信号に基づいて、あるいは、予め定められた条件が成立したことに基づいて、メモリ620またはストレージ630に格納されているプログラムに含まれる一連の命令を実行する。ある局面において、プロセッサ610は、CPU、GPU、MPU、FPGAその他のデバイスとして実現される。
The
メモリ620は、プログラムおよびデータを一時的に保存する。プログラムは、例えば、ストレージ630からロードされる。データは、サーバ600に入力されたデータと、プロセッサ610によって生成されたデータとを含む。ある局面において、メモリ620は、RAMその他の揮発メモリとして実現される。
ストレージ630は、プログラムおよびデータを永続的に保持する。ストレージ630は、例えば、ROM、ハードディスク装置、フラッシュメモリ、その他の不揮発記憶装置として実現される。ストレージ630に格納されるプログラムは、HMDシステム100において仮想空間を提供するためのプログラム、シミュレーションプログラム、ゲームプログラム、ユーザ認証プログラム、コンピュータ200との通信を実現するためのプログラムを含んでもよい。ストレージ630に格納されるデータは、仮想空間を規定するためのデータおよびオブジェクト等を含んでもよい。
別の局面において、ストレージ630は、メモリカードのように着脱可能な記憶装置として実現されてもよい。さらに別の局面において、サーバ600に内蔵されたストレージ630の代わりに、外部の記憶装置に保存されているプログラムおよびデータを使用する構成が使用されてもよい。このような構成によれば、例えば、アミューズメント施設のように複数のHMDシステム100が使用される場面において、プログラムやデータの更新を一括して行うことが可能になる。
In another aspect, the
入出力インターフェイス640は、入出力機器との間で信号を通信する。ある局面において、入出力インターフェイス640は、USB、DVI、HDMIその他の端子を用いて実現される。入出力インターフェイス640は上述のものに限られない。
The input/
通信インターフェイス650は、ネットワーク2に接続されて、ネットワーク2に接続されているコンピュータ200と通信する。ある局面において、通信インターフェイス650は、例えば、LANその他の有線通信インターフェイス、あるいは、WiFi、Bluetooth、NFCその他の無線通信インターフェイスとして実現される。通信インターフェイス650は上述のものに限られない。
The
ある局面において、プロセッサ610は、ストレージ630にアクセスし、ストレージ630に格納されている1つ以上のプログラムをメモリ620にロードし、当該プログラムに含まれる一連の命令を実行する。当該1つ以上のプログラムは、サーバ600のオペレーティングシステム、仮想空間を提供するためのアプリケーションプログラム、仮想空間で実行可能なゲームソフトウェア等を含み得る。プロセッサ610は、入出力インターフェイス640を介して、仮想空間を提供するための信号をコンピュータ200に送ってもよい。
In one aspect, the
[HMDの制御装置]
図10を参照して、HMD120の制御装置について説明する。ある実施の形態において、制御装置は周知の構成を有するコンピュータ200によって実現される。図10は、ある実施の形態に従うコンピュータ200をモジュール構成として表すブロック図である。
[HMD Control Device]
A control device for the
図10に示されるように、コンピュータ200は、コントロールモジュール510と、レンダリングモジュール520と、メモリモジュール530と、通信制御モジュール540とを備える。ある局面において、コントロールモジュール510とレンダリングモジュール520とは、プロセッサ210によって実現される。別の局面において、複数のプロセッサ210がコントロールモジュール510とレンダリングモジュール520として作動してもよい。メモリモジュール530は、メモリ220またはストレージ230によって実現される。通信制御モジュール540は、通信インターフェイス250によって実現される。
As shown in FIG. 10, the
コントロールモジュール510は、ユーザ5に提供される仮想空間11を制御する。コントロールモジュール510は、仮想空間11を表す仮想空間データを用いて、HMDシステム100における仮想空間11を規定する。仮想空間データは、例えば、メモリモジュール530に記憶されている。コントロールモジュール510が、仮想空間データを生成したり、サーバ600などから仮想空間データを取得するようにしたりしてもよい。
The
コントロールモジュール510は、オブジェクトを表すオブジェクトデータを用いて、仮想空間11にオブジェクトを配置する。オブジェクトデータは、例えば、メモリモジュール530に記憶されている。コントロールモジュール510が、オブジェクトデータを生成したり、サーバ600などからオブジェクトデータを取得するようにしたりしてもよい。オブジェクトは、例えば、ユーザ5の分身であるアバターオブジェクト、キャラクタオブジェクト、コントローラ300によって操作される仮想手などの操作オブジェクト、ゲームのストーリーの進行に従って配置される森、山その他を含む風景、街並み、動物等を含み得る。
The
コントロールモジュール510は、ネットワーク2を介して接続される他のコンピュータ200のユーザ5のアバターオブジェクトを仮想空間11に配置する。ある局面において、コントロールモジュール510は、ユーザ5のアバターオブジェクトを仮想空間11に配置する。ある局面において、コントロールモジュール510は、ユーザ5を含む画像に基づいて、ユーザ5を模したアバターオブジェクトを仮想空間11に配置する。別の局面において、コントロールモジュール510は、複数種類のアバターオブジェクト(例えば、動物を模したオブジェクトや、デフォルメされた人のオブジェクト)の中からユーザ5による選択を受け付けたアバターオブジェクトを仮想空間11に配置する。
The
コントロールモジュール510は、HMDセンサ410の出力に基づいてHMD120の傾きを特定する。別の局面において、コントロールモジュール510は、モーションセンサとして機能するセンサ190の出力に基づいてHMD120の傾きを特定する。コントロールモジュール510は、第1カメラ150および第2カメラ160が生成するユーザ5の顔の画像から、ユーザ5の顔を構成する器官(例えば、口,目,眉)を検出する。コントロールモジュール510は、検出した各器官の動き(形状)を検出する。
The
コントロールモジュール510は、注視センサ140からの信号に基づいて、ユーザ5の仮想空間11における視線を検出する。コントロールモジュール510は、検出したユーザ5の視線と仮想空間11の天球とが交わる視点位置(XYZ座標系における座標値)を検出する。より具体的には、コントロールモジュール510は、uvw座標系で規定されるユーザ5の視線と、仮想カメラ14の位置および傾きとに基づいて、視点位置を検出する。コントロールモジュール510は、検出した視点位置をサーバ600に送信する。別の局面において、コントロールモジュール510は、ユーザ5の視線を表す視線情報をサーバ600に送信するように構成されてもよい。係る場合、サーバ600が受信した視線情報に基づいて視点位置を算出し得る。
The
コントロールモジュール510は、HMDセンサ410が検出するHMD120の動きをアバターオブジェクトに反映する。例えば、コントロールモジュール510は、HMD120が傾いたことを検知して、アバターオブジェクトを傾けて配置する。コントロールモジュール510は、検出した顔器官の動作を、仮想空間11に配置されるアバターオブジェクトの顔に反映させる。コントロールモジュール510は、サーバ600から他のユーザ5の視線情報を受信し、当該他のユーザ5のアバターオブジェクトの視線に反映させる。ある局面において、コントロールモジュール510は、コントローラ300の動きをアバターオブジェクトや操作オブジェクトに反映する。この場合、コントローラ300は、コントローラ300の動きを検知するためのモーションセンサ、加速度センサ、または複数の発光素子(例えば、赤外線LED)などを備える。
The
コントロールモジュール510は、仮想空間11においてユーザ5の操作を受け付けるための操作オブジェクトを仮想空間11に配置する。ユーザ5は、操作オブジェクトを操作することにより、例えば、仮想空間11に配置されるオブジェクトを操作する。ある局面において、操作オブジェクトは、例えば、ユーザ5の手に相当する仮想手である手オブジェクト等を含み得る。ある局面において、コントロールモジュール510は、モーションセンサ420の出力に基づいて現実空間におけるユーザ5の手の動きに連動するように仮想空間11において手オブジェクトを動かす。ある局面において、操作オブジェクトは、アバターオブジェクトの手の部分に相当し得る。
The
コントロールモジュール510は、仮想空間11に配置されるオブジェクトのそれぞれが、他のオブジェクトと衝突した場合に、当該衝突を検出する。コントロールモジュール510は、例えば、あるオブジェクトのコリジョンエリアと、別のオブジェクトのコリジョンエリアとが触れたタイミングを検出することができ、当該検出がされたときに、予め定められた処理を行う。コントロールモジュール510は、オブジェクトとオブジェクトとが触れている状態から離れたタイミングを検出することができ、当該検出がされたときに、予め定められた処理を行う。コントロールモジュール510は、オブジェクトとオブジェクトとが触れている状態であることを検出することができる。例えば、コントロールモジュール510は、操作オブジェクトと、他のオブジェクトとが触れたときに、これら操作オブジェクトと他のオブジェクトとが触れたことを検出して、予め定められた処理を行う。
The
ある局面において、コントロールモジュール510は、HMD120のモニタ130における画像表示を制御する。例えば、コントロールモジュール510は、仮想空間11に仮想カメラ14を配置する。コントロールモジュール510は、仮想空間11における仮想カメラ14の位置と、仮想カメラ14の傾き(向き)を制御する。コントロールモジュール510は、HMD120を装着したユーザ5の頭の傾きと、仮想カメラ14の位置に応じて、視界領域15を規定する。レンダリングモジュール520は、決定された視界領域15に基づいて、モニタ130に表示される視界画像17を生成する。レンダリングモジュール520により生成された視界画像17は、通信制御モジュール540によってHMD120に出力される。
In one aspect, the
コントロールモジュール510は、HMD120から、ユーザ5のマイク170を用いた発話を検出すると、当該発話に対応する音声データの送信対象のコンピュータ200を特定する。音声データは、コントロールモジュール510によって特定されたコンピュータ200に送信される。コントロールモジュール510は、ネットワーク2を介して他のユーザのコンピュータ200から音声データを受信すると、当該音声データに対応する音声(発話)をスピーカ180から出力する。
When the
メモリモジュール530は、コンピュータ200が仮想空間11をユーザ5に提供するために使用されるデータを保持している。ある局面において、メモリモジュール530は、空間情報と、オブジェクト情報と、ユーザ情報とを保持している。
The
空間情報は、仮想空間11を提供するために規定された1つ以上のテンプレートを保持している。
The spatial information holds one or more templates defined to provide the
オブジェクト情報は、仮想空間11を構成する複数のパノラマ画像13、仮想空間11にオブジェクトを配置するためのオブジェクトデータを含む。パノラマ画像13は、静止画像および動画像を含み得る。パノラマ画像13は、非現実空間の画像と現実空間の画像とを含み得る。非現実空間の画像としては、例えば、コンピュータグラフィックスで生成された画像が挙げられる。
The object information includes a plurality of
ユーザ情報は、ユーザ5を識別するユーザIDを保持する。ユーザIDは、例えば、ユーザが使用するコンピュータ200に設定されるIP(Internet Protocol)アドレスまたはMAC(Media Access Control)アドレスであり得る。別の局面において、ユーザIDはユーザによって設定され得る。ユーザ情報は、HMDシステム100の制御装置としてコンピュータ200を機能させるためのプログラム等を含む。
The user information holds a user ID that identifies the
メモリモジュール530に格納されているデータおよびプログラムは、HMD120のユーザ5によって入力される。あるいは、プロセッサ210が、当該コンテンツを提供する事業者が運営するコンピュータ(例えば、サーバ600)からプログラムあるいはデータをダウンロードして、ダウンロードされたプログラムあるいはデータをメモリモジュール530に格納する。
The data and programs stored in the
通信制御モジュール540は、ネットワーク2を介して、サーバ600その他の情報通信装置と通信し得る。
The
ある局面において、コントロールモジュール510およびレンダリングモジュール520は、例えば、ユニティテクノロジーズ社によって提供されるUnity(登録商標)を用いて実現され得る。別の局面において、コントロールモジュール510およびレンダリングモジュール520は、各処理を実現する回路素子の組み合わせとしても実現され得る。
In one aspect, the
コンピュータ200における処理は、ハードウェアと、プロセッサ210により実行されるソフトウェアとによって実現される。このようなソフトウェアは、ハードディスクその他のメモリモジュール530に予め格納されている場合がある。ソフトウェアは、CD-ROMその他のコンピュータ読み取り可能な不揮発性のデータ記録媒体に格納されて、プログラム製品として流通している場合もある。あるいは、当該ソフトウェアは、インターネットその他のネットワークに接続されている情報提供事業者によってダウンロード可能なプログラム製品として提供される場合もある。このようなソフトウェアは、光ディスク駆動装置その他のデータ読取装置によってデータ記録媒体から読み取られて、あるいは、通信制御モジュール540を介してサーバ600その他のコンピュータからダウンロードされた後、記憶モジュールに一旦格納される。そのソフトウェアは、プロセッサ210によって記憶モジュールから読み出され、実行可能なプログラムの形式でRAMに格納される。プロセッサ210は、そのプログラムを実行する。
Processing in
[HMDシステムの制御構造]
図11を参照して、HMDセット110の制御構造について説明する。図11は、ある実施の形態に従うHMDセット110において実行される処理の一部を表すシーケンスチャートである。
[Control structure of HMD system]
The control structure of the HMD set 110 will be described with reference to Fig. 11. Fig. 11 is a sequence chart showing a part of the processing executed in the HMD set 110 according to an embodiment.
図11に示されるように、ステップS1110にて、コンピュータ200のプロセッサ210は、コントロールモジュール510として、仮想空間データを特定し、仮想空間11を定義する。
As shown in FIG. 11, in step S1110, the
ステップS1120にて、プロセッサ210は、仮想カメラ14を初期化する。たとえば、プロセッサ210は、メモリのワーク領域において、仮想カメラ14を仮想空間11において予め規定された中心12に配置し、仮想カメラ14の視線をユーザ5が向いている方向に向ける。
In step S1120, the
ステップS1130にて、プロセッサ210は、レンダリングモジュール520として、初期の視界画像を表示するための視界画像データを生成する。生成された視界画像データは、通信制御モジュール540によってHMD120に出力される。
In step S1130, the
ステップS1132にて、HMD120のモニタ130は、コンピュータ200から受信した視界画像データに基づいて、視界画像を表示する。HMD120を装着したユーザ5は、視界画像を視認すると仮想空間11を認識し得る。
In step S1132, the
ステップS1134にて、HMDセンサ410は、HMD120から発信される複数の赤外線光に基づいて、HMD120の位置と傾きを検知する。検知結果は、動き検知データとして、コンピュータ200に出力される。
In step S1134, the
ステップS1140にて、プロセッサ210は、HMD120の動き検知データに含まれる位置と傾きとに基づいて、HMD120を装着したユーザ5の視界方向を特定する。
In step S1140, the
ステップS1150にて、プロセッサ210は、アプリケーションプログラムを実行し、アプリケーションプログラムに含まれる命令に基づいて、仮想空間11にオブジェクトを配置する。
In step S1150, the
ステップS1160にて、コントローラ300は、モーションセンサ420から出力される信号に基づいて、ユーザ5の操作を検出し、その検出された操作を表す検出データをコンピュータ200に出力する。別の局面において、ユーザ5によるコントローラ300の操作は、ユーザ5の周囲に配置されたカメラからの画像に基づいて検出されてもよい。
In step S1160, the
ステップS1170にて、プロセッサ210は、コントローラ300から取得した検出データに基づいて、ユーザ5によるコントローラ300の操作を検出する。
In step S1170, the
ステップS1180にて、プロセッサ210は、ユーザ5によるコントローラ300の操作に基づく視界画像データを生成する。生成された視界画像データは、通信制御モジュール540によってHMD120に出力される。
In step S1180, the
ステップS1190にて、HMD120は、受信した視界画像データに基づいて視界画像を更新し、更新後の視界画像をモニタ130に表示する。
In step S1190, the
[アバターオブジェクト]
図12(A)、(B)を参照して、本実施の形態に従うアバターオブジェクトについて説明する。以下、HMDセット110A,110Bの各ユーザ5のアバターオブジェクトを説明する図である。以下、HMDセット110Aのユーザをユーザ5A、HMDセット110Bのユーザをユーザ5B、HMDセット110Cのユーザをユーザ5C、HMDセット110Dのユーザをユーザ5Dと表す。HMDセット110Aに関する各構成要素の参照符号にAが付され、HMDセット110Bに関する各構成要素の参照符号にBが付され、HMDセット110Cに関する各構成要素の参照符号にCが付され、HMDセット110Dに関する各構成要素の参照符号にDが付される。例えば、HMD120Aは、HMDセット110Aに含まれる。
[Avatar Object]
Avatar objects according to the present embodiment will be described with reference to Figs. 12(A) and (B). Hereinafter, avatar objects of each
図12(A)は、ネットワーク2において、各HMD120がユーザ5に仮想空間11を提供する状況を表す模式図である。コンピュータ200A~200Dは、HMD120A~120Dを介して、ユーザ5A~5Dに、仮想空間11A~11Dをそれぞれ提供する。図12(A)に示される例において、仮想空間11Aおよび仮想空間11Bは同じデータによって構成されている。換言すれば、コンピュータ200Aとコンピュータ200Bとは同じ仮想空間を共有していることになる。仮想空間11Aおよび仮想空間11Bには、ユーザ5Aのアバターオブジェクト6Aと、ユーザ5Bのアバターオブジェクト6Bとが存在する。仮想空間11Aにおけるアバターオブジェクト6Aおよび仮想空間11Bにおけるアバターオブジェクト6BがそれぞれHMD120を装着しているが、これは説明を分かりやすくするためのものであって、実際にはこれらのオブジェクトはHMD120を装着していない。
Figure 12 (A) is a schematic diagram showing a situation in which each
ある局面において、プロセッサ210Aは、ユーザ5Aの視界画像17Aを撮影する仮想カメラ14Aを、アバターオブジェクト6Aの目の位置に配置し得る。
In one aspect, the processor 210A may position a virtual camera 14A that captures a field of
図12(B)は、図12(A)におけるユーザ5Aの視界画像17Aを示す図である。視界画像17Aは、HMD120Aのモニタ130Aに表示される画像である。この視界画像17Aは、仮想カメラ14Aにより生成された画像である。視界画像17Aには、ユーザ5Bのアバターオブジェクト6Bが表示されている。特に図示はしていないが、ユーザ5Bの視界画像にも同様に、ユーザ5Aのアバターオブジェクト6Aが表示されている。
Figure 12 (B) is a diagram showing a field of
図12(B)の状態において、ユーザ5Aは仮想空間11Aを介してユーザ5Bと対話による通信(コミュニケーション)を図ることができる。より具体的には、マイク170Aにより取得されたユーザ5Aの音声は、サーバ600を介してユーザ5BのHMD120Bに送信され、HMD120Bに設けられたスピーカ180Bから出力される。ユーザ5Bの音声は、サーバ600を介してユーザ5AのHMD120Aに送信され、HMD120Aに設けられたスピーカ180Aから出力される。
In the state of FIG. 12(B), user 5A can communicate with user 5B through dialogue via
ユーザ5Bの動作(HMD120Bの動作およびコントローラ300Bの動作)は、プロセッサ210Aにより仮想空間11Aに配置されるアバターオブジェクト6Bに反映される。これにより、ユーザ5Aは、ユーザ5Bの動作を、アバターオブジェクト6Bを通じて認識できる。
The movements of user 5B (the movements of
図13は、本実施の形態に従うHMDシステム100において実行される処理の一部を表すシーケンスチャートである。図13においては、HMDセット110Dを図示していないが、HMDセット110Dについても、HMDセット110A、110B、110Cと同様に動作する。以下の説明でも、HMDセット110Aに関する各構成要素の参照符号にAが付され、HMDセット110Bに関する各構成要素の参照符号にBが付され、HMDセット110Cに関する各構成要素の参照符号にCが付され、HMDセット110Dに関する各構成要素の参照符号にDが付されるものとする。
Figure 13 is a sequence chart showing a part of the processing executed in the
ステップS1310Aにおいて、HMDセット110Aにおけるプロセッサ210Aは、仮想空間11Aにおけるアバターオブジェクト6Aの動作を決定するためのアバター情報を取得する。このアバター情報は、例えば、動き情報、フェイストラッキングデータ、および音声データ等のアバターに関する情報を含む。動き情報は、HMD120Aの位置および傾きの時間的変化を示す情報や、モーションセンサ420A等により検出されたユーザ5Aの手の動きを示す情報などを含む。フェイストラッキングデータは、ユーザ5Aの顔の各パーツの位置および大きさを特定するデータが挙げられる。フェイストラッキングデータは、ユーザ5Aの顔を構成する各器官の動きを示すデータや視線データが挙げられる。音声データは、HMD120Aのマイク170Aによって取得されたユーザ5Aの音声を示すデータが挙げられる。アバター情報には、アバターオブジェクト6A、あるいはアバターオブジェクト6Aに関連付けられるユーザ5Aを特定する情報や、アバターオブジェクト6Aが存在する仮想空間11Aを特定する情報等が含まれてもよい。アバターオブジェクト6Aやユーザ5Aを特定する情報としては、ユーザIDが挙げられる。アバターオブジェクト6Aが存在する仮想空間11Aを特定する情報としては、ルームIDが挙げられる。プロセッサ210Aは、上述のように取得されたアバター情報を、ネットワーク2を介してサーバ600に送信する。
In step S1310A, the processor 210A in the HMD set 110A acquires avatar information for determining the movement of the
ステップS1310Bにおいて、HMDセット110Bにおけるプロセッサ210Bは、ステップS1310Aにおける処理と同様に、仮想空間11Bにおけるアバターオブジェクト6Bの動作を決定するためのアバター情報を取得し、サーバ600に送信する。同様に、ステップS1310Cにおいて、HMDセット110Cにおけるプロセッサ210Cは、仮想空間11Cにおけるアバターオブジェクト6Cの動作を決定するためのアバター情報を取得し、サーバ600に送信する。
In step S1310B, the processor 210B in the HMD set 110B acquires avatar information for determining the movement of the
ステップS1320において、サーバ600は、HMDセット110A、HMDセット110B、およびHMDセット110Cのそれぞれから受信したプレイヤ情報を一旦記憶する。サーバ600は、各アバター情報に含まれるユーザIDおよびルームID等に基づいて、共通の仮想空間11に関連付けられた全ユーザ(この例では、ユーザ5A~5C)のアバター情報を統合する。そして、サーバ600は、予め定められたタイミングで、統合したアバター情報を当該仮想空間11に関連付けられた全ユーザに送信する。これにより、同期処理が実行される。このような同期処理により、HMDセット110A、HMDセット110B、およびHMD110Cは、互いのアバター情報をほぼ同じタイミングで共有することができる。
In step S1320, the
続いて、サーバ600から各HMDセット110A~110Cに送信されたアバター情報に基づいて、各HMDセット110A~110Cは、ステップS1330A~S1330Cの処理を実行する。ステップS1330Aの処理は、図11におけるステップS1180の処理に相当する。
Next, based on the avatar information transmitted from the
ステップS1330Aにおいて、HMDセット110Aにおけるプロセッサ210Aは、仮想空間11Aにおける他のユーザ5B,5Cのアバターオブジェクト6B、アバターオブジェクト6Cの情報を更新する。具体的には、プロセッサ210Aは、HMDセット110Bから送信されたアバター情報に含まれる動き情報に基づいて、仮想空間11におけるアバターオブジェクト6Bの位置および向き等を更新する。例えば、プロセッサ210Aは、メモリモジュール530に格納されたオブジェクト情報に含まれるアバターオブジェクト6Bの情報(位置および向き等)を更新する。同様に、プロセッサ210Aは、HMDセット110Cから送信されたアバター情報に含まれる動き情報に基づいて、仮想空間11におけるアバターオブジェクト6Cの情報(位置および向き等)を更新する。
In step S1330A, the processor 210A in the HMD set 110A updates the information of the avatar objects 6B and avatar objects 6C of the other users 5B and 5C in the
ステップS1330Bにおいて、HMDセット110Bにおけるプロセッサ210Bは、ステップS1330Aにおける処理と同様に、仮想空間11Bにおけるユーザ5A,5Cのアバターオブジェクト6A,6Cの情報を更新する。同様に、ステップS1330Cにおいて、HMDセット110Cにおけるプロセッサ210Cは、仮想空間11Cにおけるユーザ5A,5Bのアバターオブジェクト6A,6Bの情報を更新する。
In step S1330B, the processor 210B in the HMD set 110B updates the information of the avatar objects 6A and 6C of the users 5A and 5C in the
[モジュールの詳細構成]
図14を参照して、コンピュータ200のモジュール構成の詳細について説明する。図14は、ある実施の形態に従うコンピュータ200のモジュールの詳細構成を表すブロック図である。
[Module detailed configuration]
The details of the module configuration of
図14に示されるように、コントロールモジュール510は、仮想カメラ制御モジュール1421と、視界領域決定モジュール1422と、基準視線特定モジュール1423と、顔器官検出モジュール1424と、動き検出モジュール1425と、仮想空間定義モジュール1426と、仮想オブジェクト生成モジュール1427と、操作オブジェクト制御モジュール1428と、アバター制御モジュール1429と、を備える。レンダリングモジュール520は、視界画像生成モジュール1438を備える。メモリモジュール530は、空間情報1431と、オブジェクト情報1432と、ユーザ情報1433と、顔情報1434と、を保持している。
As shown in FIG. 14, the
仮想カメラ制御モジュール1421は、仮想空間11に仮想カメラ14を配置する。仮想カメラ制御モジュール1421は、仮想空間11における仮想カメラ14の配置位置と、仮想カメラ14の向き(傾き)を制御する。視界領域決定モジュール1422は、HMD120を装着したユーザの頭の向きと、仮想カメラ14の配置位置に応じて、視界領域15を規定する。視界画像生成モジュール1438は、決定された視界領域15に基づいて、モニタ130に表示される視界画像17を生成する。
The virtual
基準視線特定モジュール1423は、注視センサ140からの信号に基づいて、ユーザ5の視線を特定する。顔器官検出モジュール1424は、第1カメラ150および第2カメラ160が生成するユーザ5の顔の画像から、ユーザ5の顔を構成する器官(例えば、口,目,眉)を検出する。動き検出モジュール1425は、顔器官検出モジュール1424が検出した各器官の動き(形状)を検出する。
The reference
仮想空間定義モジュール1426は、仮想空間11を表す仮想空間データを生成することにより、HMDシステム100における仮想空間11を規定する。
The virtual
仮想オブジェクト生成モジュール1427は、仮想空間11に配置されるオブジェクトを生成する。オブジェクトは、例えば、ゲームのストーリーの進行に従って配置される森、山その他を含む風景、動物等を含み得る。
The virtual
操作オブジェクト制御モジュール1428は、仮想空間11においてユーザの操作を受け付けるための操作オブジェクトを仮想空間11に配置する。ユーザは、操作オブジェクトを操作することにより、例えば、仮想空間11に配置されるオブジェクトを操作する。ある局面において、操作オブジェクトは、例えば、HMD120を装着したユーザの手に相当する手オブジェクト等を含み得る。ある局面において、操作オブジェクトは、後述するアバターオブジェクトの手の部分に相当し得る。
The operation
アバター制御モジュール1429は、ネットワーク2を介して接続される他のコンピュータ200のユーザのアバターオブジェクトを仮想空間11に配置するためのデータを生成する。ある局面において、アバター制御モジュール1429は、ユーザ5のアバターオブジェクトを仮想空間11に配置するためのデータを生成する。ある局面において、アバター制御モジュール1429は、ユーザ5を含む画像に基づいて、ユーザ5を模したアバターオブジェクトを生成する。別の局面において、アバター制御モジュール1429は、複数種類のアバターオブジェクト(例えば、動物を模したオブジェクトや、デフォルメされた人のオブジェクト)の中からユーザ5による選択を受け付けたアバターオブジェクトを仮想空間11に配置するためのデータを生成する。
The
アバター制御モジュール1429は、HMDセンサ410が検出するHMD120の動きをアバターオブジェクトに反映する。例えば、アバター制御モジュール1429は、HMD120が傾いたことを検知して、アバターオブジェクトを傾けて配置するためのデータを生成する。ある局面において、アバター制御モジュール1429は、コントローラ300の動きをアバターオブジェクトに反映する。この場合、コントローラ300は、コントローラ300の動きを検知するためのモーションセンサ、加速度センサ、または複数の発光素子(例えば、赤外線LED)などを備える。アバター制御モジュール1429は、動き検出モジュール1425が検出した顔器官の動作を、仮想空間11に配置されるアバターオブジェクトの顔に反映させる。つまり、アバター制御モジュール1429は、ユーザ5Aの顔の動作をアバターオブジェクトに反映する。
The
コントロールモジュール510は、仮想空間11に配置されるオブジェクトのそれぞれが、他のオブジェクトと衝突した場合に、当該衝突を検出する。コントロールモジュール510は、例えば、あるオブジェクトと、別のオブジェクトとが触れたタイミングを検出することができ、当該検出がされたときに、予め定められた処理を行う。コントロールモジュール510は、オブジェクトとオブジェクトとが触れている状態から離れたタイミングを検出することができ、当該検出がされたときに、予め定められた処理を行う。コントロールモジュール510は、オブジェクトとオブジェクトとが触れている状態であることを検出することができる。具体的には、操作オブジェクト制御モジュール1428は、操作オブジェクトと、他のオブジェクトとが触れたときに、これら操作オブジェクトと他のオブジェクトとが触れたことを検出して、予め定められた処理を行う。
The
メモリモジュール530は、コンピュータ200が仮想空間11をユーザ5に提供するために使用されるデータを保持している。ある局面において、メモリモジュール530は、空間情報1431と、オブジェクト情報1432と、ユーザ情報1433と、顔情報1434とを保持している。
The
空間情報1431は、仮想空間11を提供するために規定された1つ以上のテンプレートを保持している。
The
オブジェクト情報1432は、仮想空間11において再生されるコンテンツ、当該コンテンツで使用されるオブジェクト、およびオブジェクトを仮想空間11に配置するための情報(たとえば、位置情報)を保持している。当該コンテンツは、例えば、ゲーム、現実社会と同様の風景を表したコンテンツ等を含み得る。
ユーザ情報1433は、HMDシステム100の制御装置としてコンピュータ200を機能させるためのプログラム、オブジェクト情報1432に保持される各コンテンツを使用するアプリケーションプログラム等を保持している。
The
顔情報1434は、顔器官検出モジュール1424が、ユーザ5の顔器官を検出するために予め記憶されたテンプレートを保持している。ある局面において、顔情報1434は、口テンプレート1435と、目テンプレート1436と、眉テンプレート1437とを保持する。各テンプレートは、顔を構成する器官に対応する画像であり得る。例えば、口テンプレート1435は、口の画像であり得る。各テンプレートは複数の画像を含んでもよい。
[360度動画の撮影]
次に、ある実施の形態に従う360度動画の撮影について説明する。図15は、ある実施の形態に従う360度カメラに係る構成の概略を表す図である。ある実施の形態において、図1に示した外部機器700は、360度カメラ1539を含む。360度カメラ1539はネットワーク2を介してサーバ600やHMDセット110のコンピュータ200と通信可能に構成される。360度カメラ1539は複数設けてもよい。360度カメラ1539は、現実空間の設置位置における全方位の映像である全方位動画(360度動画)を撮影する。360度カメラ1539の設置位置は、屋内でもよいし、屋外でもよい。
[360-degree video shooting]
Next, the shooting of a 360-degree video according to an embodiment will be described. FIG. 15 is a diagram showing an outline of a configuration related to a 360-degree camera according to an embodiment. In an embodiment, the
360度カメラ1539は、2つの超広角レンズを用いて全天球が撮影可能なカメラであってもよいし、1つの超広角レンズを用いて半球が撮影可能なカメラであってもよい。360度カメラ1539は、設置された位置において全方向の360度動画を撮影する。なお、360度カメラ1539は、例えば、正六面体の各面に1個ずつカメラを設けて全方向を撮影し、各面に設けた合計6個のカメラによる撮影動画を合成して360度動画を得るようにしてもよい。また、360度カメラ1539は、視差により立体視が可能な3次元の360度動画を撮影するカメラであってもよい。
The 360-
本実施の形態においては、仮想空間11に表示オブジェクトを配置し、360度カメラ1539によって撮影した360度動画をこの表示オブジェクトに表示することで、上述のようにレンダリングモジュール520が視界画像データを生成し、HMD120のモニタ130に360度動画を表示する。ある実施の形態において、360度カメラ1539によって撮影した360度動画は、図11のステップS1180において、視野座標系の視界画像データに重ね合わせることでモニタ130に表示するようにしてもよい。また、ある実施の形態において、360度カメラ1539によって撮影した360度動画は、図11のステップS1180で出力する視界画像データとして用いることでモニタ130に表示するようにしてもよい。
In this embodiment, a display object is placed in the
仮想カメラ14は、現実空間におけるHMD120の動きに連動して、仮想空間11において移動する。これにより、現実空間におけるHMD120の位置および傾きの変化が、仮想カメラ14の動きの変化として仮想空間11において再現される。仮想空間11の表示オブジェクトに表示した360度動画は、パノラマ画像13を構成する画像として用いられ、現実空間におけるHMD120の動きに連動して、360度動画のうち仮想カメラ14が撮影する領域が移動する。
The
[360度動画の表示]
続いて、HMD120のモニタ130における360度動画の表示について説明する。ユーザ5が、HMDセット110を用いて、360度カメラ1539で撮影した360度動画を視聴するとき、360度動画に映っている移動物(例えば人物)の中から、目当ての移動物(例えばお気に入りの女の子)の行動に注目し、目当ての移動物を常に見ていたい場合がある。この場合、ユーザ5は目当ての移動物を追うように頭部を動かし視界領域15を移動させることになるが、例えば、移動物が首の可動域を超えた位置に移動した場合、ユーザ5が座った状態で360度動画を視聴していた場合には敢えて立ち上がって体の向きを変えなければならず、不便である。そこで、ある実施の形態では、目当ての移動物を追跡対象物とし、追跡対象物が視界画像17の中央に来るように仮想空間11を動かし、ユーザ5による360度動画の視聴時の利便性を向上する。ある実施の形態では、目当ての移動物を追跡対象物とし、追跡対象物が視界領域15に含まれるように仮想空間11を動かし、ユーザ5による360度動画の視聴時の利便性を向上する。なお、仮想空間11を動かす制御は、HMD120の動きに連動せずに行うことができる。なお、仮想空間11を動かすということは、仮想カメラ14と仮想空間11との相対的な位置関係を動かすということである。
[360-degree video display]
Next, the display of the 360-degree video on the
図16は、仮想空間11の動かし方の一例を説明する図である。ある実施の形態においては、図16に示すように半球形状である仮想空間11の天頂部分を天頂1641としたとき、この天頂1641と中心12とを結ぶ線を軸として、仮想空間11を回転させる。この実施の形態によれば、仮想空間11を回転させることで、追跡対象物が視界領域15内に所在するように制御することができる。
Figure 16 is a diagram illustrating an example of how to move
図17は、視界領域と追跡対象物との位置関係について示す図であって、視界領域内に追跡対象物が所在している場合を示す図である。図18は、視界領域と追跡対象物との位置関係について示す図であって、視界領域外に追跡対象物が所在している場合を示す図である。図17及び図18は、仮想空間11を上方からすなわちY方向から見た平面図である。図17及び図18において、符号1742は追跡対象物である。ある実施の形態では、図17に示すように追跡対象物1742が視界領域15内に所在するときは、仮想空間11を動かさない。また、図18に示すように追跡対象物1742が視界領域15外に所在するときは、天頂1641と中心12とを結ぶ線を軸として、矢印1843が示す方向に仮想空間11を回転させ、追跡対象物1742が視界画像17の中央に来た時点で仮想空間11の回転を停止する。
Figure 17 is a diagram showing the positional relationship between the field of view and the tracked object, and shows a case where the tracked object is located within the field of view. Figure 18 is a diagram showing the positional relationship between the field of view and the tracked object, and shows a case where the tracked object is located outside the field of view. Figures 17 and 18 are plan views of the
図19は、ある実施の形態に従うHMDセットにおいて実行される処理の一部であって、360度カメラによって撮影した360度動画の表示制御に係る処理を示すフローチャートである。ステップS1944では初期設定を行う。ステップS1944の初期設定では、自動追跡モードの設定を行うことができる。自動追跡モードは、追跡対象物1742が視界領域15から外れるなどの契機で、追跡対象物1742が視界領域15内に所在するように仮想空間11を自動で動かすモードである。自動追跡モードに設定するか否かは、ユーザ5がモニタ130の表示を参照しながらコントローラ300を操作して登録することができる。
Figure 19 is a flow chart showing part of the processing executed in an HMD set according to an embodiment, which is related to display control of a 360-degree video captured by a 360-degree camera. Initial settings are performed in step S1944. In the initial settings in step S1944, the auto-tracking mode can be set. The auto-tracking mode is a mode in which, when the
また、ステップS1944の初期設定では、追跡対象物の設定を行うことができる。人物を撮影している360度動画を表示している場合には、人物を追跡対象物としてもよいし、犬や猫といった愛玩動物などの動物を撮影している360度動画を表示している場合には、動物を追跡対象物としてもよい。追跡対象物の設定としては、人物が追跡対象物である場合には、例えば、特定の人物を追跡するように設定してもよいし、男性を追跡するように設定してもよいし、女性を追跡するように設定してもよい。また追跡対象物の設定としては、動物が追跡対象物である場合には、例えば、特定の動物を追跡するように設定してもよいし、ある種類の動物を追跡するように設定してもよい。ある実施の形態では、ステップS1944の初期設定において追跡対象物の設定を行わなくてもよい。 In addition, in the initial setting of step S1944, the tracking target can be set. When a 360-degree video of a person is displayed, the person may be the tracking target, and when a 360-degree video of an animal such as a pet dog or cat is displayed, the animal may be the tracking target. When a person is the tracking target, the tracking target may be set to track a specific person, or to track a man, or to track a woman. When an animal is the tracking target, the tracking target may be set to track a specific animal, or to track a certain type of animal. In some embodiments, the tracking target does not need to be set in the initial setting of step S1944.
ステップS1944に続くステップS1945では、自動追跡モードが設定されているか否かを判定する。自動追跡モードが設定されていない場合(ステップS1945:No)には、処理を終了する。ステップS1945において自動追跡モードが設定されている場合(ステップS1945:Yes)には、ステップS1946に進み、自動追跡処理を実行する。ステップS1946の自動追跡処理については、以下に、図20を参照しながら説明する。 In step S1945 following step S1944, it is determined whether or not the automatic tracking mode is set. If the automatic tracking mode is not set (step S1945: No), the process ends. If the automatic tracking mode is set in step S1945 (step S1945: Yes), the process proceeds to step S1946, where the automatic tracking process is executed. The automatic tracking process in step S1946 is described below with reference to FIG. 20.
図20は、図17のステップS1946に示した自動追跡処理の一例を示すフローチャートである。まず、ステップS2051では、追跡対象物特定処理を行う。図19のステップS1944の初期設定で追跡対象物の設定をしていた場合には、ステップS2051の追跡対象物特定処理では、ステップS1944で設定した追跡対象物を、追跡対象物として特定する。追跡対象物の特定とは、その追跡対象物を他の移動物と識別可能な識別情報を取得することである。この識別情報としては、例えば、360度カメラ1539で撮影した画像から追跡対象物である人物の顔認識を行い、この顔認識の結果を識別情報とすることができる。この場合、ステップS1944において設定する追跡対象物も顔認識によって他の移動物と識別し、追跡対象物として設定すればよい。
Figure 20 is a flow chart showing an example of the automatic tracking process shown in step S1946 of Figure 17. First, in step S2051, a tracking target identification process is performed. If a tracking target has been set in the initial setting in step S1944 of Figure 19, in the tracking target identification process in step S2051, the tracking target set in step S1944 is identified as the tracking target. Identifying the tracking target means acquiring identification information that can distinguish the tracking target from other moving objects. As this identification information, for example, facial recognition of the person who is the tracking target can be performed from an image captured by the 360-
また、ある実施の形態では、追跡対象物を他の移動物と識別可能な識別情報として、追跡対象物の服の色を用いることができる。例えば、360度カメラ1539で撮影した画像において、追跡対象物の顔から30ピクセル下がった位置の画素の色を、追跡対象物の服の色として検出することができる。また、ある実施の形態では、追跡対象物を他の移動物と識別可能な識別情報として、追跡対象物の顔認識の結果及び服の色を用いることができる。この実施の形態によれば、追跡対象物が双子の場合など顔だけでは識別困難なときに双子に予め異なる色の服を着てもらうことで双子の識別も可能となる。
In one embodiment, the color of the clothes of the tracked object can be used as identification information that allows the tracked object to be distinguished from other moving objects. For example, in an image captured by the 360-
ある実施の形態において、360度カメラ1539で撮影した360度動画に映る移動物である人物は、360度動画に映ることで金銭的収入を得ることができるものとしてもよい。この場合、自身が追跡対象物とされた数に応じて収入の額を増減してもよい。このようにすることで、360度動画に映る人物は、自身が他の人と識別可能となるように積極的に服の色を変えることになり、これにより、追跡対象物の識別精度を向上することができる。
In one embodiment, a person who is a moving object appearing in a 360-degree video captured by a 360-
なお、ステップS1944で追跡対象物を設定しなかった場合、ステップS2051において、どの移動物を追跡対象物として特定するかは、以下のようにすることができる。上述のようにHMDセット110は注視センサ140によってユーザ5の視線を検出することができる。そこで、ある実施の形態において、ユーザ5の視線が同一の移動物に所定時間(例えば1分)以上向けられていた場合、その移動物を追跡対象物として特定する。また、ある実施の形態において、ある移動物が視界領域15から外れたときに、ユーザ5の視線がその移動物に向けられていた場合、その移動物を追跡対象物として特定する。
If no tracking object is set in step S1944, the moving object to be identified as the tracking object in step S2051 can be determined as follows. As described above, the HMD set 110 can detect the gaze of the
ステップS2051に続くステップS2052では、追跡対象物追跡処理を行う。ステップS2052の追跡対象物追跡処理では、ステップS2051で特定した追跡対象物を追跡する。すなわち、ステップS2051で取得した識別情報の移動物である追跡対象物が、視界領域15内のどこに位置しているのかを追跡する。
In step S2052 following step S2051, a tracking object tracking process is performed. In the tracking object tracking process in step S2052, the tracking object identified in step S2051 is tracked. In other words, the tracking object, which is a moving object whose identification information was acquired in step S2051, is tracked to see where it is located within the field of
ステップS2052に続くステップS2053では、ステップS2052で追跡している追跡対象物が視界領域15外であるかを判定する。追跡対象物が視界領域15外ではない、すなわち追跡対象物が視界領域15内に所在している場合(ステップS2053:No)には、ステップS2052に戻って処理を継続する。
In step S2053 following step S2052, it is determined whether the tracking object being tracked in step S2052 is outside the field of
ステップS2053において追跡対象物が視界領域15外である場合(ステップS2053:Yes)には、ステップS2054に進み、仮想空間移動処理を行う。ステップS2054の仮想空間移動処理が済んだならば、ステップS2052に戻って処理を継続する。ステップS2054の仮想空間移動処理について以下に説明する。
If the tracked object is outside the field of
ある実施の形態では、仮想空間11を、中心12と天頂1641とを結ぶ線を中心にして放射状に等分する(放射状に等しい角度で分割する)。図21に、仮想空間11を三等分した例を示す。図21は、仮想空間11を上方からすなわちY方向から見た平面図である。図21の仮想空間11は、中心12と天頂1641とを結ぶ線を中心にして、領域2155と領域2156と領域2157とに、放射状に等分されている。なお、仮想空間11の分割数は四つ以上でもよい。また、仮想空間11の分割は、放射状に異なる角度で分割するものであってもよい。本実施の形態では、ステップS2052の仮想空間移動処理は、図21に示した仮想空間11を分割した領域2155、2156及び2157の位置を入れ替えることで、仮想空間11を移動する。例えば、図21において領域2155がある位置に領域2157を移動させ、図21において領域2157がある位置に領域2156を移動させ、図21において領域2156がある位置に領域2155を移動させる。また例えば、図21において領域2155がある位置に領域2156を移動させ、図21において領域2156がある位置に領域2157を移動させ、図21において領域2157がある位置に領域2155を移動させる。本実施の形態では、追跡対象物が、常に視界領域15内にくるように仮想空間11を移動する。ある実施の形態では、仮想空間11は、領域2155、2156及び2157の大きさを単位に移動するものではなく、例えば、追跡対象物が視界領域15の中央にくるまで、中心12と天頂1641とを結ぶ線を軸に仮想空間11を回転させる。なお、VR酔いなどを防ぐためには、仮想空間11を移動させる時間や回数を減らすことが望ましい。
In one embodiment, the
ある実施の形態では、中心12と天頂1641とを結ぶ線を軸に仮想空間11を回転させる際の回転方向は、現在の追跡対象物の位置と視界領域15の中央との最短距離が縮まる方向である。
In one embodiment, the direction of rotation of the
ある実施の形態では、ステップS2052の仮想空間移動処理は、追跡対象物が視界領域15外に出た後、HMDセンサ410がHMD120の所定角度(例えば45度)以上のヨー角方向の回転を検出しても視界領域15に追跡対象物が含まれないとき(すなわちユーザ5が頭部を左右方向に所定角度以上回転させても視界領域15に追跡対象物が含まれないとき)には、HMDセンサ410が検出したHMD120の回転方向と逆の方向に、中心12と天頂1641とを結ぶ線を軸に仮想空間11を回転させ、追跡対象物が視界領域15内にくるようにする。
In one embodiment, in the virtual space movement process of step S2052, when the tracked object goes outside the field of
ある実施の形態では、ステップS2052の仮想空間移動処理は、ユーザ5が追跡対象物を追うために頭部を回転させている状況で、追跡対象物が視界領域15外に出ると、HMD120のモニタ130に表示するシーンを切替え、その際に追跡対象物が視界領域15内にくるように、中心12と天頂1641とを結ぶ線を軸に仮想空間11を回転させる。
In one embodiment, in the virtual space movement process of step S2052, when the
ある実施の形態では、ステップS2052の仮想空間移動処理は、追跡対象物が視界領域15外に出たことを契機に、仮想空間11の表示オブジェクトへの表示を、現在まで表示していた360度動画から黒一面の暗転画像に切り替える。その後、追跡対象物が視界領域15内にくるように、中心12と天頂1641とを結ぶ線を軸に仮想空間11を回転させ、追跡対象物が視界領域15内にきたこと契機に、仮想空間11の表示オブジェクトへの表示を、暗転画像から360度動画に切り替える。
In one embodiment, the virtual space movement process in step S2052 switches the display of the display object in the
また、ある実施の形態では、追跡対象物の顔認識において、再帰型などの機械学習を行うことで、データの蓄積とともに顔認識の精度を向上させることができる。 In addition, in one embodiment, machine learning such as recursive type is used to recognize the face of the tracked object, so that the accuracy of face recognition can be improved as data is accumulated.
なお、追跡対象物は、仮想空間11に配置したアバターオブジェクトなどのCGであってもよい。
The tracked object may be a CG object such as an avatar object placed in the
上記実施形態においては、HMDによってユーザが没入する仮想空間(VR空間)を例示して説明したが、HMDとして、透過型のHMDを採用してもよい。この場合、透過型のHMDを介してユーザが視認する現実空間に仮想空間を構成する画像の一部を合成した視界画像を出力することにより、拡張現実(AR:Augmented Reality)空間または複合現実(MR:Mixed Reality)空間における仮想体験をユーザに提供してもよい。この場合、操作オブジェクトに代えて、ユーザの手の動きに基づいて、仮想空間内における対象オブジェクトへの作用を生じさせてもよい。具体的には、プロセッサは、現実空間におけるユーザの手の位置の座標情報を特定するとともに、仮想空間内における対象オブジェクトの位置を現実空間における座標情報との関係で定義してもよい。これにより、プロセッサは、現実空間におけるユーザの手と仮想空間における対象オブジェクトとの位置関係を把握し、ユーザの手と対象オブジェクトとの間で上述したコリジョン制御等に対応する処理を実行可能となる。その結果、ユーザの手の動きに基づいて対象オブジェクトに作用を与えることが可能となる。 In the above embodiment, a virtual space (VR space) in which the user is immersed by the HMD has been described as an example, but a see-through HMD may be used as the HMD. In this case, a field of view image in which a part of the image constituting the virtual space is synthesized in the real space visually recognized by the user through the see-through HMD may be output to provide the user with a virtual experience in an augmented reality (AR) space or a mixed reality (MR) space. In this case, an action may be exerted on a target object in the virtual space based on the movement of the user's hand instead of the operation object. Specifically, the processor may specify coordinate information of the position of the user's hand in the real space, and may define the position of the target object in the virtual space in relation to the coordinate information in the real space. This allows the processor to grasp the positional relationship between the user's hand in the real space and the target object in the virtual space, and to execute processing corresponding to the above-mentioned collision control between the user's hand and the target object. As a result, it becomes possible to exert an action on the target object based on the movement of the user's hand.
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。 The present invention is not limited to the above-described embodiments, and various modifications are possible within the scope of the claims. The technical scope of the present invention also includes embodiments obtained by appropriately combining the technical means disclosed in different embodiments.
(構成)
以上に開示された技術的特徴は、以下のように要約され得る。
(composition)
The technical features disclosed above can be summarized as follows.
(構成1)
ある実施形態によれば、プログラムにおいて、プロセッサに、仮想空間を定義するステップと、360度カメラで撮影した画像の入力を受け付けるステップと、前記仮想空間に仮想視点を配置するステップと、前記仮想空間に表示オブジェクトを配置するステップと、前記入力された画像を前記表示オブジェクトに表示するステップと、前記仮想空間内で、追跡対象物を特定するステップと、ヘッドマウントデバイスが関連付けられたユーザの頭部の動きを検出するステップと、前記頭部の動きに応じて、前記仮想視点からの視界を制御するステップと、前記仮想視点からの視界内に前記追跡対象物が含まれない場合、前記仮想視点からの視界内に前記追跡対象物が含まれるように前記仮想空間の回転を制御するステップと、前記仮想視点からの視界に対応する視界画像を前記ヘッドマウントデバイスに表示するステップと、を実行させる。
(構成2)
ある実施形態によれば、構成1に記載のプログラムにおいて、前記仮想空間の回転を制御するステップは、前記追跡対象物が前記仮想視点からの視界の中央に来るように、前記仮想空間の回転を制御する。
(構成3)
ある実施形態によれば、構成1に記載のプログラムにおいて、前記仮想空間の回転を制御するステップは、前記仮想空間を複数の領域に分割し、前記複数の領域のうち前記追跡対象物が存在する領域が、前記仮想視点からの視界内に含まれるように、前記仮想空間の回転を制御する。
(構成4)
ある実施形態によれば、構成1から3のいずれか一項に記載のプログラムにおいて、前記表示するステップは、前記追跡対象物が前記仮想視点からの視界内に含まれない場合に暗転画像を前記ヘッドマウントデバイスに表示し、前記追跡対象物が前記仮想視点からの視界内に含まれる場合に前記仮想視点からの視界に対応する前記視界画像を前記ヘッドマウントデバイスに表示する。
(構成5)
ある実施形態によれば、構成1から4のいずれか一項に記載のプログラムにおいて、前記仮想空間の回転を制御するステップは、前記追跡対象物が前記仮想視点からの視界内に含まれない状態から、ユーザの頭部がヨー角の一方向に所定角度の回転をしても前記追跡対象物が前記仮想視点からの視界内に含まれない状態のままの場合に、前記仮想空間を、前記仮想空間の天頂と中心とを結ぶ線を軸としてヨー角の他方向に回転させる。
(構成6)
ある実施形態によれば、構成1から5のいずれか一項に記載のプログラムにおいて、前記追跡対象物を前記仮想視点からの視界の中央に移動させる方向にユーザの頭部が移動している状態で、前記追跡対象物が前記仮想視点からの視界内に含まれない状態になった場合、前記表示するステップが、前記仮想視点からの視界に対応する前記視界画像とは異なる画像を前記ヘッドマウントデバイスに表示し、前記仮想空間の回転を制御するステップは、前記視界画像とは異なる画像が前記ヘッドマウントデバイスに表示されているときに、前記仮想視点からの視界内に前記追跡対象物が含まれるように前記仮想空間の回転を制御する。
(構成7)
ある実施形態によれば、構成1から6のいずれか一項に記載のプログラムにおいて、前記追跡対象物は、人物であり、前記特定するステップは、前記360度カメラで撮影した画像を用いて、前記追跡対象物を特定する。
(構成8)
ある実施形態によれば、構成7に記載のプログラムにおいて、前記特定するステップは、人物の顔を認識し、認識した顔によって前記追跡対象物を特定する。
(構成9)
ある実施形態によれば、構成8に記載のプログラムにおいて、前記特定するステップは、人物の顔の認識において機械学習を行う。
(構成10)
ある実施形態によれば、構成8又は9に記載のプログラムにおいて、前記特定するステップは、人物の服の色をさらに認識し、認識した顔及び服の色によって前記追跡対象物を特定する。
(構成11)
ある実施形態によれば、構成7に記載のプログラムにおいて、前記特定するステップは、人物の服の色を認識し、認識した服の色によって前記追跡対象物を特定する。
(構成12)
ある実施形態によれば、構成1から6のいずれか一項に記載のプログラムにおいて、前記特定するステップは、前記仮想空間内で動く移動体を前記追跡対象物として特定する。
(構成13)
ある実施形態によれば、構成1から12のいずれか一項に記載のプログラムにおいて、プロセッサに、前記特定するステップで特定した前記追跡対象物を追跡するステップ、をさらに実行させる。
(構成14)
ある実施形態によれば、構成13に記載のプログラムにおいて、前記特定するステップは、前記追跡対象物である人物を顔認識で特定し、前記追跡するステップは、前記特定するステップで特定した人物の特徴点を追跡する。
(構成15)
ある実施形態によれば、プロセッサで実行される方法であって、仮想空間を定義するステップと、360度カメラで撮影した画像の入力を受け付けるステップと、前記仮想空間に仮想視点を配置するステップと、前記仮想空間に表示オブジェクトを配置するステップと、前記入力された画像を前記表示オブジェクトに表示するステップと、前記仮想空間内で、追跡対象物を特定するステップと、ヘッドマウントデバイスが関連付けられたユーザの頭部の動きを検出するステップと、前記頭部の動きに応じて、前記仮想視点からの視界を制御するステップと、前記仮想視点からの視界内に前記追跡対象物が含まれない場合、前記仮想視点からの視界内に前記追跡対象物が含まれるように前記仮想空間の回転を制御するステップと、前記仮想視点からの視界に対応する視界画像を前記ヘッドマウントデバイスに表示するステップと、を備える。
(構成16)
ある実施形態によれば、情報処理装置において、プロセッサと、プログラムを格納したメモリと、を備え、前記プログラムは、前記プロセッサに、仮想空間を定義するステップと、360度カメラで撮影した画像の入力を受け付けるステップと、前記仮想空間に仮想視点を配置するステップと、前記仮想空間に表示オブジェクトを配置するステップと、前記入力された画像を前記表示オブジェクトに表示するステップと、前記仮想空間内で、追跡対象物を特定するステップと、ヘッドマウントデバイスが関連付けられたユーザの頭部の動きを検出するステップと、前記頭部の動きに応じて、前記仮想視点からの視界を制御するステップと、前記仮想視点からの視界内に前記追跡対象物が含まれない場合、前記仮想視点からの視界内に前記追跡対象物が含まれるように前記仮想空間の回転を制御するステップと、前記仮想視点からの視界に対応する視界画像を前記ヘッドマウントデバイスに表示するステップと、を実行させる。
(Configuration 1)
According to one embodiment, a program causes a processor to execute the following steps: defining a virtual space; accepting input of an image captured by a 360-degree camera; placing a virtual viewpoint in the virtual space; placing a display object in the virtual space; displaying the input image on the display object; identifying a tracked object in the virtual space; detecting head movement of a user associated with a head-mounted device; controlling a field of view from the virtual viewpoint in accordance with the head movement; if the tracked object is not included in the field of view from the virtual viewpoint, controlling the rotation of the virtual space so that the tracked object is included in the field of view from the virtual viewpoint; and displaying a field of view image corresponding to the field of view from the virtual viewpoint on the head-mounted device.
(Configuration 2)
According to one embodiment, in the program according to
(Configuration 3)
According to one embodiment, in the program described in
(Configuration 4)
According to one embodiment, in the program described in any one of
(Configuration 5)
According to one embodiment, in the program described in any one of
(Configuration 6)
According to one embodiment, in the program described in any one of
(Configuration 7)
According to one embodiment, in the program described in any one of
(Configuration 8)
According to one embodiment, in the program according to configuration 7, the identifying step includes recognizing a face of a person and identifying the tracking target object based on the recognized face.
(Configuration 9)
According to one embodiment, in the program according to configuration 8, the identifying step performs machine learning in recognizing a person's face.
(Configuration 10)
According to an embodiment, in the program according to configuration 8 or 9, the identifying step further recognizes a color of the person's clothes, and identifies the tracked object based on the recognized face and clothing colors.
(Configuration 11)
According to one embodiment, in the program according to configuration 7, the identifying step recognizes a color of clothing of the person, and identifies the tracked object based on the recognized color of clothing.
(Configuration 12)
According to an embodiment, in the program according to any one of
(Configuration 13)
According to an embodiment, the program according to any one of
(Configuration 14)
According to one embodiment, in the program described in
(Configuration 15)
According to one embodiment, a method executed by a processor includes the steps of: defining a virtual space; accepting input of an image captured by a 360-degree camera; arranging a virtual viewpoint in the virtual space; arranging a display object in the virtual space; displaying the input image on the display object; identifying a tracked object in the virtual space; detecting head movement of a user associated with a head-mounted device; controlling a field of view from the virtual viewpoint in response to the head movement; if the tracked object is not included in the field of view from the virtual viewpoint, controlling the rotation of the virtual space so that the tracked object is included in the field of view from the virtual viewpoint; and displaying a field of view image corresponding to the field of view from the virtual viewpoint on the head-mounted device.
(Configuration 16)
According to one embodiment, an information processing device includes a processor and a memory storing a program, and the program causes the processor to execute the steps of: defining a virtual space; accepting input of an image captured by a 360-degree camera; arranging a virtual viewpoint in the virtual space; arranging a display object in the virtual space; displaying the input image on the display object; identifying a tracked object in the virtual space; detecting head movement of a user associated with a head-mounted device; controlling a field of view from the virtual viewpoint in accordance with the movement of the head; if the tracked object is not included in the field of view from the virtual viewpoint, controlling the rotation of the virtual space so that the tracked object is included in the field of view from the virtual viewpoint; and displaying a field of view image corresponding to the field of view from the virtual viewpoint on the head-mounted device.
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。 The embodiments disclosed herein should be considered to be illustrative and not restrictive in all respects. The scope of the present invention is indicated by the claims, not by the above description, and is intended to include all modifications within the meaning and scope of the claims.
2…ネットワーク、5…ユーザ、6…アバターオブジェクト、11…仮想空間、12…中心、14…仮想カメラ、15…視界領域、100…HMDシステム、110…HMDセット、130…モニタ、170…マイク、180…スピーカ、190…センサ、200…コンピュータ、210…プロセッサ、220…メモリ、230…ストレージ、240…入出力インターフェイス、250…通信インターフェイス、300…コントローラ、310…グリップ、320…フレーム、340、350、370、380…ボタン、390…アナログスティック、410…HMDセンサ、420…モーションセンサ、430…ディスプレイ、510…コントロールモジュール、520…レンダリングモジュール、530…メモリモジュール、540…通信制御モジュール、600…サーバ、610…プロセッサ、620…メモリ、630…ストレージ、640…入出力インターフェイス、650…通信インターフェイス、1421…仮想カメラ制御モジュール、1422…視界領域決定モジュール、1423…基準視線特定モジュール、1424…動き検出モジュール、1424…顔器官検出モジュール、1425…動き検出モジュール、1426…仮想空間定義モジュール、1427…仮想オブジェクト生成モジュール、1428…操作オブジェクト制御モジュール、1429…アバター制御モジュール、1431…空間情報、1432…オブジェクト情報、1433…ユーザ情報、1434…顔情報、1435…口テンプレート、1438…視界画像生成モジュール。
2...Network, 5...User, 6...Avatar object, 11...Virtual space, 12...Center, 14...Virtual camera, 15...Viewing area, 100...HMD system, 110...HMD set, 130...Monitor, 170...Microphone, 180...Speaker, 190...Sensor, 200...Computer, 210...Processor, 220...Memory, 230...Storage, 240...Input/output interface, 250...Communication interface, 300...Controller, 310...Grip, 320...Frame, 340, 350, 370, 380...Button, 390...Analog stick, 410...HMD sensor, 420...Motion sensor, 430...Display, 510...Control module, 520...Rendering module, 530...Memory module, 540...Communication control module, 600...Server, 610...Processor, 620...Memory, 630...Storage, 640...Input/output interface, 650...Communication interface, 1421...Virtual camera control module, 1422...Field of view area determination module, 1423...Reference gaze identification module, 1424...Movement detection module, 1424...Facial organ detection module, 1425...Movement detection module, 1426...Virtual space definition module, 1427...Virtual object generation module, 1428...Operation object control module, 1429...Avatar control module, 1431...Spatial information, 1432...Object information, 1433...User information, 1434...Facial information, 1435...Mouth template, 1438...Field of view image generation module.
Claims (7)
仮想空間を定義するステップと、
現実空間を撮影する所定のカメラで撮影した画像の入力を受け付けるステップと、
前記仮想空間に仮想視点を配置するステップと、
前記仮想空間に表示オブジェクトを配置するステップと、
入力された前記画像を前記表示オブジェクトに表示するステップと、
前記仮想空間内で、追跡対象物を特定するステップと、
ユーザが装着するデバイスに基づきユーザの動きを検出するステップと、
検出されたユーザの動きに応じて、前記仮想視点からの視界を制御するステップと、
前記仮想視点からの視界内に前記追跡対象物が含まれない場合、前記仮想視点からの視界内に前記追跡対象物が含まれるように前記仮想空間の回転を制御するステップと、
前記仮想視点からの視界に対応する視界画像を前記デバイスに表示するステップと、
を実行させ、
前記仮想空間の回転を制御するステップは、前記仮想空間を複数の領域に分割し、前記複数の領域のうち前記追跡対象物が存在する領域が、前記仮想視点からの視界内に含まれるように、前記仮想空間の回転を制御する、
プログラム。 On the computer,
Defining a virtual space;
A step of receiving an input of an image captured by a predetermined camera that captures an image of a real space;
Placing a virtual viewpoint in the virtual space;
Placing a display object in the virtual space;
displaying the input image on the display object;
identifying a tracked object within the virtual space;
Detecting a user's movement based on a device worn by the user;
controlling a view from the virtual viewpoint in response to detected user movement;
If the tracked object is not included within a field of view from the virtual viewpoint, controlling a rotation of the virtual space so that the tracked object is included within a field of view from the virtual viewpoint;
displaying on the device a view image corresponding to a view from the virtual viewpoint;
Run the command,
the step of controlling the rotation of the virtual space includes dividing the virtual space into a plurality of regions, and controlling the rotation of the virtual space so that a region among the plurality of regions in which the tracked object exists is included within a field of view from the virtual viewpoint.
program.
請求項1に記載のプログラム。 The display step includes temporarily displaying a predetermined image on the device when the tracked object is not included in a field of view from the virtual viewpoint, and displaying the field of view image corresponding to the field of view from the virtual viewpoint on the device when the tracked object is included in a field of view from the virtual viewpoint.
The program according to claim 1 .
請求項1または2に記載のプログラム。 The step of controlling the rotation of the virtual space includes, when the tracked object remains out of the field of view from the virtual viewpoint even when the device rotates a predetermined angle in one direction of a yaw angle from a state in which the tracked object is out of the field of view from the virtual viewpoint, rotating the virtual space in the other direction of the yaw angle around an axis of a line connecting the zenith and center of the virtual space.
3. The program according to claim 1 or 2 .
前記特定するステップは、
前記所定のカメラで撮影した画像を用いて、前記追跡対象物を特定する、
請求項1から3のいずれか一項に記載のプログラム。 the tracked object is a person,
The step of identifying includes:
Identifying the tracking target using an image captured by the predetermined camera.
The program according to any one of claims 1 to 3 .
人物の顔を認識し、
認識した顔によって前記追跡対象物を特定する、
請求項4に記載のプログラム。 The step of identifying includes:
Recognize people's faces,
Identifying the tracked object based on the recognized face;
The program according to claim 4 .
人物の顔の認識において機械学習を行う、
請求項5に記載のプログラム。 The step of identifying includes:
Machine learning for facial recognition
The program according to claim 5 .
プログラムを格納したメモリと、
を備え、
前記プログラムは、前記プロセッサに、
仮想空間を定義するステップと、
現実空間を撮影する所定のカメラで撮影した画像の入力を受け付けるステップと、
前記仮想空間に仮想視点を配置するステップと、
前記仮想空間に表示オブジェクトを配置するステップと、
入力された前記画像を前記表示オブジェクトに表示するステップと、
前記仮想空間内で、追跡対象物を特定するステップと、
ユーザが装着するデバイスに基づきユーザの動きを検出するステップと、
検出されたユーザの動きに応じて、前記仮想視点からの視界を制御するステップと、
前記仮想視点からの視界内に前記追跡対象物が含まれない場合、前記仮想視点からの視界内に前記追跡対象物が含まれるように前記仮想空間の回転を制御するステップと、
前記仮想視点からの視界に対応する視界画像を前記デバイスに表示するステップと、
を実行させ、
前記仮想空間の回転を制御するステップは、前記仮想空間を複数の領域に分割し、前記複数の領域のうち前記追跡対象物が存在する領域が、前記仮想視点からの視界内に含まれるように、前記仮想空間の回転を制御する、
情報処理装置。
A processor;
A memory for storing a program;
Equipped with
The program causes the processor to:
Defining a virtual space;
A step of receiving an input of an image captured by a predetermined camera that captures an image of a real space;
Placing a virtual viewpoint in the virtual space;
Placing a display object in the virtual space;
displaying the input image on the display object;
identifying a tracked object within the virtual space;
Detecting a user's movement based on a device worn by the user;
controlling a view from the virtual viewpoint in response to detected user movement;
If the tracked object is not included within a field of view from the virtual viewpoint, controlling a rotation of the virtual space so that the tracked object is included within a field of view from the virtual viewpoint;
displaying on the device a view image corresponding to a view from the virtual viewpoint;
Run the command,
the step of controlling the rotation of the virtual space includes dividing the virtual space into a plurality of regions, and controlling the rotation of the virtual space so that a region among the plurality of regions in which the tracked object exists is included within a field of view from the virtual viewpoint.
Information processing device.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019236150A JP7514076B2 (en) | 2019-12-26 | 2019-12-26 | Program, method and information processing device |
PCT/JP2020/046873 WO2021131935A1 (en) | 2019-12-26 | 2020-12-16 | Program, method, and information processing device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019236150A JP7514076B2 (en) | 2019-12-26 | 2019-12-26 | Program, method and information processing device |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2021105790A JP2021105790A (en) | 2021-07-26 |
JP2021105790A5 JP2021105790A5 (en) | 2023-11-07 |
JP7514076B2 true JP7514076B2 (en) | 2024-07-10 |
Family
ID=76575907
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019236150A Active JP7514076B2 (en) | 2019-12-26 | 2019-12-26 | Program, method and information processing device |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP7514076B2 (en) |
WO (1) | WO2021131935A1 (en) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016147581A1 (en) | 2015-03-17 | 2016-09-22 | 日本電気株式会社 | Monitoring device, monitoring method, monitoring program, and monitoring system |
JP2017187952A (en) | 2016-04-06 | 2017-10-12 | 株式会社コロプラ | Display control method and program for causing computer to execute the method |
JP2017224244A (en) | 2016-06-17 | 2017-12-21 | 株式会社コロプラ | Display control method, and program for causing computer to implement display control method |
JP2018190336A (en) | 2017-05-11 | 2018-11-29 | 株式会社コロプラ | Method for providing virtual space, program for executing method in computer, information processing unit for executing program |
JP2019046248A (en) | 2017-09-04 | 2019-03-22 | 株式会社コロプラ | Method of providing virtual space, program for it, and information processing apparatus for executing said program |
JP2019128721A (en) | 2018-01-23 | 2019-08-01 | 株式会社コロプラ | Program for reflecting user motion on avatar, information processing device for executing the same and method for distributing image containing avatar |
JP2019176378A (en) | 2018-03-29 | 2019-10-10 | 京セラドキュメントソリューションズ株式会社 | Control device, monitoring system, and monitoring camera control method |
-
2019
- 2019-12-26 JP JP2019236150A patent/JP7514076B2/en active Active
-
2020
- 2020-12-16 WO PCT/JP2020/046873 patent/WO2021131935A1/en active Application Filing
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016147581A1 (en) | 2015-03-17 | 2016-09-22 | 日本電気株式会社 | Monitoring device, monitoring method, monitoring program, and monitoring system |
JP2017187952A (en) | 2016-04-06 | 2017-10-12 | 株式会社コロプラ | Display control method and program for causing computer to execute the method |
JP2017224244A (en) | 2016-06-17 | 2017-12-21 | 株式会社コロプラ | Display control method, and program for causing computer to implement display control method |
JP2018190336A (en) | 2017-05-11 | 2018-11-29 | 株式会社コロプラ | Method for providing virtual space, program for executing method in computer, information processing unit for executing program |
JP2019046248A (en) | 2017-09-04 | 2019-03-22 | 株式会社コロプラ | Method of providing virtual space, program for it, and information processing apparatus for executing said program |
JP2019128721A (en) | 2018-01-23 | 2019-08-01 | 株式会社コロプラ | Program for reflecting user motion on avatar, information processing device for executing the same and method for distributing image containing avatar |
JP2019176378A (en) | 2018-03-29 | 2019-10-10 | 京セラドキュメントソリューションズ株式会社 | Control device, monitoring system, and monitoring camera control method |
Also Published As
Publication number | Publication date |
---|---|
JP2021105790A (en) | 2021-07-26 |
WO2021131935A1 (en) | 2021-07-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10546407B2 (en) | Information processing method and system for executing the information processing method | |
JP2018124666A (en) | Information processing method, information processing device and program causing computer to execute information processing method | |
US20180374275A1 (en) | Information processing method and apparatus, and program for executing the information processing method on computer | |
JP7466034B2 (en) | Programs and systems | |
JP7138138B2 (en) | Program, information processing method and information processing apparatus | |
JP2018125003A (en) | Information processing method, apparatus, and program for implementing that information processing method in computer | |
JP6513241B1 (en) | PROGRAM, INFORMATION PROCESSING DEVICE, AND INFORMATION PROCESSING METHOD | |
JP7192151B2 (en) | Program, information processing device, and information processing method | |
JP2018192238A (en) | Information processing method, apparatus, and program for implementing that information processing method in computer | |
JP7514076B2 (en) | Program, method and information processing device | |
JP7356827B2 (en) | Program, information processing method, and information processing device | |
JP6826082B2 (en) | Programs, information processing equipment, and methods | |
JP6965304B2 (en) | Programs, information processing devices, and information processing methods | |
JP6703578B2 (en) | Program, method and information processing apparatus | |
JP6718928B2 (en) | Video output system | |
JP6856572B2 (en) | An information processing method, a device, and a program for causing a computer to execute the information processing method. | |
JP7458779B2 (en) | Program, method and information processing device | |
JP7386948B2 (en) | Program, method and information processing device | |
JP7295045B2 (en) | Programs, computer implemented methods and computers | |
JP6722244B2 (en) | Program, information processing method, and information processing apparatus | |
JP7398222B2 (en) | Program, information processing device, and information processing method | |
JP6718930B2 (en) | Program, information processing apparatus, and method | |
JP2021078132A (en) | Program, information processing device, and method | |
JP2024047119A (en) | Program and information processing system | |
JP2024047588A (en) | Program and information processing system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221223 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231027 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240123 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240319 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240611 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240628 |