JP6228640B1 - 表示制御方法および当該表示制御方法をコンピュータに実行させるためのプログラム - Google Patents

表示制御方法および当該表示制御方法をコンピュータに実行させるためのプログラム Download PDF

Info

Publication number
JP6228640B1
JP6228640B1 JP2016160084A JP2016160084A JP6228640B1 JP 6228640 B1 JP6228640 B1 JP 6228640B1 JP 2016160084 A JP2016160084 A JP 2016160084A JP 2016160084 A JP2016160084 A JP 2016160084A JP 6228640 B1 JP6228640 B1 JP 6228640B1
Authority
JP
Japan
Prior art keywords
visual field
virtual space
virtual camera
virtual
hmd
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016160084A
Other languages
English (en)
Other versions
JP2018028597A (ja
Inventor
健太 菅原
健太 菅原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Colopl Inc
Original Assignee
Colopl Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Colopl Inc filed Critical Colopl Inc
Priority to JP2016160084A priority Critical patent/JP6228640B1/ja
Priority to US15/679,122 priority patent/US10277814B2/en
Application granted granted Critical
Publication of JP6228640B1 publication Critical patent/JP6228640B1/ja
Publication of JP2018028597A publication Critical patent/JP2018028597A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/163Wearable computers, e.g. on a belt
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Computer Hardware Design (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

【課題】視野内に訴求力の高い動画が存在することをユーザが認識可能な表示制御方法を提供する。【解決手段】HMDを備えたシステムの表示制御方法は、第一仮想カメラおよび表示オブジェクトMを含む第一仮想空間を定義する第一仮想空間データを生成するステップと、第一仮想カメラの視野CV1および第一仮想空間データに基づいて、HMDに第一視野画像V1を表示させるステップと、HMDの動きと連動して第一仮想カメラを第一仮想空間内で動かすことにより、第一視野画像V1を更新するステップと、第二仮想カメラを含む第二仮想空間を定義する第二仮想空間データを生成するステップと、第二仮想カメラの視野CV2および第二仮想空間データに基づいて、表示オブジェクトMに第二視野画像V2を表示させるステップと、HMDの動きと連動して第二仮想カメラを第二仮想空間内で動かすことにより、第二視野画像V2を更新するステップと、を含む。【選択図】図8

Description

本開示は、表示制御方法および当該表示制御方法をコンピュータに実行させるためのプログラムに関する。
特許文献1は、ユーザが視認し易いように、広告等が表示された看板の表示位置及び表示方向を変更して仮想空間内に表示する方法を開示している。
特開2003−248844号公報
ユーザの頭部に装着され、仮想現実(VR:Virtual Reality)空間や拡張現実(AR:Augmented Reality)空間等の仮想空間として仮想空間画像を表示可能なヘッドマウントディスプレイ(HMD:Head‐Mounted Display)が知られている。特許文献1には、看板に表示される広告の表示態様についてその詳細は開示されていない。
また、仮想空間においては、例えば360°動画を広告として提供することが考えられる。従来より、ユーザの視野を提供するための仮想カメラとは別のカメラ(サブカメラ)の撮影画像を仮想空間内のオブジェクトにレンダリングするという手法が知られている。しかしながら、この方法により仮想空間内のオブジェクトに動画広告を流したとしても、その動画広告のサムネイルがオブジェクト上に平面的(二次元的)に表示されるだけであって、ユーザはその画像が360°動画広告なのかどうかを容易に把握することができない。
本開示は、視野内に訴求力の高い動画、例えば360°動画が存在することをユーザが容易に認識可能な表示制御方法を提供することを目的とする。また、本開示は、当該表示制御方法をコンピュータに実行させるためのプログラムを提供することを目的とする。
本開示が示す一態様によれば、ヘッドマウントディスプレイを備えたシステムにおける表示制御方法であって、
当該表示制御方法は、
(a)第一仮想カメラおよび表示オブジェクトを含む第一仮想空間を定義する第一仮想空間データを生成するステップと、
(b)前記第一仮想カメラの視野および前記第一仮想空間データに基づいて、前記ヘッドマウントディスプレイに第一視野画像を表示させるステップと、
(c)前記ヘッドマウントディスプレイの動きと連動して前記第一仮想カメラを前記第一仮想空間内で動かすことにより、前記第一視野画像を更新するステップと、
(d)第二仮想カメラを含む第二仮想空間を定義する第二仮想空間データを生成するステップと、
(e)前記第二仮想カメラの視野および前記第二仮想空間データに基づいて、前記表示オブジェクトに第二視野画像を表示させるステップと、
(f)前記ヘッドマウントディスプレイの動きと連動して前記第二仮想カメラを前記第二仮想空間内で動かすことにより、前記第二視野画像を更新するステップと、
を含む。
また、本開示が示す一態様によれば、ヘッドマウントディスプレイを備えたシステムにおける表示制御方法であって、
当該表示制御方法は、
(a)第一仮想カメラおよび表示オブジェクトを含む第一仮想空間を定義する第一仮想空間データを生成するステップと、
(b)前記第一仮想カメラの視野および前記第一仮想空間データに基づいて、前記ヘッドマウントディスプレイに第一視野画像を表示させるステップと、
(c)前記ヘッドマウントディスプレイの動きと連動して前記第一仮想カメラを前記第一仮想空間内で動かすことにより、前記第一視野画像を更新するステップと、
(d)前記第一視野画像とは異なる第二視野画像を、当該第二視野画像が360°動画であることが把握可能な表示態様で前記表示オブジェクトに表示するステップと、
を含む。
本開示によれば、視野内に訴求力の高い動画、例えば360°動画が存在することをユーザが容易に認識可能な表示制御方法を提供することができる。
本実施形態に係るヘッドマウントディスプレイ(HMD)システムを示す概略図である。 HMDを装着したユーザの頭部を示す図である。 制御装置のハードウェア構成を示す図である。 視野画像をHMDに表示する処理を示すフローチャートである。 仮想空間の一例を示すxyz空間図である。 状態(a)は、図5に示す仮想空間のyx平面図であり、状態(b)は、図5に示す仮想空間のzx平面図である。 本実施形態に係る表示制御方法を説明するためのフローチャートである。 本実施形態に係る表示制御方法を説明するための模式図である。 仮想カメラが、図8に示す位置から、視野内にモニタオブジェクトが含まれる位置に移動された状態を示す図である。
[本開示が示す実施形態の説明]
本開示が示す実施形態の概要を説明する。
(1)ヘッドマウントディスプレイを備えたシステムにおける表示制御方法であって、
(a)第一仮想カメラおよび表示オブジェクトを含む第一仮想空間を定義する第一仮想空間データを生成するステップと、
(b)前記第一仮想カメラの視野および前記第一仮想空間データに基づいて、前記ヘッドマウントディスプレイに第一視野画像を表示させるステップと、
(c)前記ヘッドマウントディスプレイの動きと連動して前記第一仮想カメラを前記第一仮想空間内で動かすことにより、前記第一視野画像を更新するステップと、
(d)第二仮想カメラを含む第二仮想空間を定義する第二仮想空間データを生成するステップと、
(e)前記第二仮想カメラの視野および前記第二仮想空間データに基づいて、前記表示オブジェクトに第二視野画像を表示させるステップと、
(f)前記ヘッドマウントディスプレイの動きと連動して前記第二仮想カメラを前記第二仮想空間内で動かすことにより、前記第二視野画像を更新するステップと、を含む。
上記方法によれば、視野内に訴求力の高い動画、例えば360°動画が存在することをユーザが容易に認識することができる。
(2)前記ステップ(d)では、前記表示オブジェクトが前記第一仮想カメラの視野内に入ったときに、前記表示オブジェクトへの前記第二視野画像の表示を開始しても良い。
上記方法によれば、ユーザがモニタオブジェクトを視認できる場合にのみ360°動画である第二視野画像を再生することで、データ処理量を減らすことができる。
(3)前記ステップ(d)では、前記表示オブジェクトが前記第一仮想カメラの視野内に入ったときに、前記第二仮想カメラの視野の正面方向を前記表示オブジェクトに表示される前記第二視野画像に含めても良い。
上記方法によれば、例えばモニタオブジェクト上での360°動画の再生をその動画の正面方向から開始することで、当該360°動画の訴求力をさらに高めることができる。
(4)ヘッドマウントディスプレイを備えたシステムにおける表示制御方法であって、
当該表示制御方法は、
(a)第一仮想カメラおよび表示オブジェクトを含む第一仮想空間を定義する第一仮想空間データを生成するステップと、
(b)前記第一仮想カメラの視野および前記第一仮想空間データに基づいて、前記ヘッドマウントディスプレイに第一視野画像を表示させるステップと、
(c)前記ヘッドマウントディスプレイの動きと連動して前記第一仮想カメラを前記第一仮想空間内で動かすことにより、前記第一視野画像を更新するステップと、
(d)前記第一視野画像とは異なる第二視野画像を、当該第二視野画像が360°動画であることが把握可能な表示態様で前記表示オブジェクトに表示するステップと、
を含む。
上記方法によれば、視野画像内に360°動画が存在することをユーザが容易に認識することができる。
(5)上記(1)から(4)のいずれかに記載の表示制御方法をコンピュータに実行させるためのプログラムである。
この構成によれば、視野内に訴求力の高い動画、例えば360°動画が存在することをユーザが容易に認識することができるプログラムを提供することができる。
[本開示が示す実施形態の詳細]
以下、本開示が示す実施形態について図面を参照しながら説明する。なお、本実施形態の説明において既に説明された部材と同一の参照番号を有する部材については、説明の便宜上、その説明は繰り返さない。
図1は、本開示が示す実施形態(以下、単に本実施形態という。)に係る表示制御方法を実現するヘッドマウントディスプレイ(以下、単にHMDという。)システム1を示す概略図である。図1に示すように、HMDシステム1は、ユーザUの頭部に装着されたHMD110と、位置センサ130と、制御装置120と、外部コントローラ320とを備える。
HMD110は、表示部112と、HMDセンサ114と、ヘッドホン116とを備えている。
表示部112は、HMD110を装着したユーザUの視界(視野)を覆うように構成された非透過型の表示装置を備えている。HMD110は、透過型表示装置を備えており、当該透過型表示装置の透過率を調整することにより、一時的に非透過型の表示装置として構成可能であってもよい。これにより、ユーザUは、表示部112に表示された視野画像のみを見ることで仮想空間に没入することができる。なお、表示部112は、ユーザUの左眼に投影される左眼用の表示部とユーザUの右眼に投影される右眼用の表示部とから構成されてもよい。
HMDセンサ114は、HMD110の表示部112の近傍に搭載される。HMDセンサ114は、地磁気センサ、加速度センサ、傾きセンサ(角速度センサやジャイロセンサ等)のうちの少なくとも1つを含み、ユーザUの頭部に装着されたHMD110の各種動きを検出することができる。
ヘッドホン116は、ユーザUの左耳と右耳にそれぞれ装着されている。ヘッドホン116は、制御装置120から音声データ(電気信号)を受信し、当該受信した音声データに基づいて音声を出力するように構成されている。ヘッドホン116の右耳用のスピーカに出力される音声は、ヘッドホン116の左耳用のスピーカに出力される音声と異なってもよい。例えば、制御装置120は、頭部伝達関数に基づいて、右耳用スピーカに入力される音声データと、左耳用スピーカに入力される音声データを取得し、当該異なる2つの音声データをヘッドホン116の左耳用スピーカと右耳用スピーカのそれぞれに出力してもよい。なお、HMD110にヘッドホン116を設けずに、HMD110とは独立したスピーカ(例えば、2つの据置型スピーカ)やイヤホンを設けてもよい。
位置センサ130は、例えば、ポジション・トラッキング・カメラにより構成され、HMD110の位置を検出するように構成されている。位置センサ130は、制御装置120に無線または有線により通信可能に接続されており、HMD110に設けられた図示しない複数の検知点の位置、傾きまたは発光強度に関する情報を検出するように構成されている。また、位置センサ130は、赤外線センサや複数の光学カメラを含んでもよい。
制御装置120は、位置センサ130から取得された情報に基づいて、HMD110の位置情報を取得し、当該取得された位置情報に基づいて、仮想空間における仮想カメラの位置と、現実空間におけるHMD110を装着したユーザUの位置を正確に対応付けることができる。
次に、図2を参照して、HMD110の位置や傾きに関する情報を取得する方法について説明する。図2は、HMD110を装着したユーザUの頭部を示す図である。HMD110を装着したユーザUの頭部の動きに連動したHMD110の位置や傾きに関する情報は、位置センサ130および/またはHMD110に搭載されたHMDセンサ114により検出可能である。図2に示すように、HMD110を装着したユーザUの頭部を中心として、3次元座標(uvw座標)が規定される。ユーザUが直立する垂直方向をv軸として規定し、v軸と直交し表示部112の中心とユーザUとを結ぶ方向をw軸として規定し、v軸およびw軸と直交する方向をu軸として規定する。位置センサ130および/またはHMDセンサ114は、各uvw軸回りの角度(すなわち、v軸を中心とする回転を示すヨー角、u軸を中心とした回転を示すピッチ角、w軸を中心とした回転を示すロール角で決定される傾き)を検出する。制御装置120は、検出された各uvw軸回りの角度変化に基づいて、視野情報を定義する仮想カメラの視軸を制御するための角度情報を決定する。
次に、図3を参照して、制御装置120のハードウェア構成について説明する。図3に示すように、制御装置120は、制御部121と、記憶部123と、I/O(入出力)インターフェース124と、通信インターフェース125と、バス126とを備える。制御部121と、記憶部123と、I/Oインターフェース124と、通信インターフェース125とは、バス126を介して互いに通信可能に接続されている。
制御装置120は、HMD110とは別体に、パーソナルコンピュータ、タブレットまたはウェアラブルデバイスとして構成されてもよいし、HMD110の内部に搭載されていてもよい。また、制御装置120の一部の機能がHMD110に搭載されると共に、制御装置120の残りの機能がHMD110とは別体の他の装置に搭載されてもよい。
制御部121は、メモリとプロセッサを備えている。メモリは、例えば、各種プログラム等が格納されたROM(Read Only Memory)やプロセッサにより実行される各種プログラム等が格納される複数ワークエリアを有するRAM(Random Access Memory)等から構成される。プロセッサは、例えばCPU(Central Processing Unit)、MPU(Micro Processing Unit)および/またはGPU(Graphics Processing Unit)であって、ROMに組み込まれた各種プログラムから指定されたプログラムをRAM上に展開し、RAMとの協働で各種処理を実行するように構成されている。
特に、プロセッサが本実施形態に係る表示制御方法をコンピュータに実行させるための表示制御プログラム(後述する)をRAM上に展開し、RAMとの協働で当該プログラムを実行することで、制御部121は、制御装置120の各種動作を制御してもよい。制御部121は、メモリや記憶部123に格納された所定のアプリケーション(ゲームプログラム等)を実行することで、HMD110の表示部112に仮想空間の少なくとも一部に対応する視野画像を提供する。これにより、ユーザUは、表示部112に提供された仮想空間に没入することができる。
記憶部(ストレージ)123は、例えば、HDD(Hard Disk Drive)、SSD(Solid State Drive)、USBフラッシュメモリ等の記憶装置であって、プログラムや各種データを格納するように構成されている。記憶部123には、表示制御プログラムが組み込まれてもよい。また、ユーザの認証プログラムや各種画像やオブジェクトに関するデータを含むゲームプログラム等が格納されてもよい。さらに、記憶部123には、各種データを管理するためのテーブルを含むデータベースが構築されてもよい。
I/Oインターフェース124は、位置センサ130と、HMD110と、外部コントローラ320と、をそれぞれ制御装置120に通信可能に接続するように構成されており、例えば、USB(Universal Serial Bus)端子、DVI(Digital Visual Interface)端子、HDMI(登録商標)(High―Definition Multimedia Interface)端子等により構成されている。なお、制御装置120は、位置センサ130と、HMD110と、外部コントローラ320とのそれぞれと無線接続されていてもよい。
通信インターフェース125は、制御装置120をLAN(Local Area Network)、WAN(Wide Area Network)またはインターネット等の通信ネットワーク3に接続させるように構成されている。通信インターフェース125は、通信ネットワーク3を介して外部装置と通信するための各種有線接続端子や、無線接続のための各種処理回路を含んでおり、通信ネットワーク3を介して通信するための通信規格に適合するように構成されている。
次に、図4から図6を参照することで視野画像をHMD110に表示するための処理について説明する。図4は、視野画像をHMD110に表示するための処理を示すフローチャートである。図5は、仮想空間200の一例を示すxyz空間図を示す。図6の状態(a)は、図5に示す仮想空間200のyx平面図であって、図6の状態(b)は、図5に示す仮想空間200のzx平面図である。
図4に示すように、ステップS1において、制御部121(図3参照)は、仮想カメラ300を含む仮想空間200を定義する仮想空間データを生成する。図5および図6に示すように、仮想空間200は、中心位置21を中心とした全天球として規定される(図5および図6では、上半分の天球のみが図示されている)。また、仮想空間200には、中心位置21を原点とするxyz座標系が設定されている。HMDシステム1の初期状態では、仮想カメラ300が仮想空間200の中心位置21に配置されている。
仮想カメラ300の視野を定義するuvw座標系は、現実空間におけるユーザUの頭部を中心として規定されたuvw座標系に連動するように決定される。また、HMD110を装着したユーザUの現実空間における移動に連動して、仮想カメラ300を仮想空間200内で移動させてもよい。
次に、ステップS2において、制御部121は、仮想カメラ300の視野CV(図6参照)を特定する。具体的には、制御部121は、位置センサ130および/またはHMDセンサ114から送信されたHMD110の状態を示すデータに基づいて、HMD110の位置や傾きに関する情報を取得する。次に、制御部121は、HMD110の位置や傾きに関する情報に基づいて、仮想空間200内における仮想カメラ300の位置や向きを決定する。次に、制御部121は、仮想カメラ300の位置や向きから仮想カメラ300の視軸に相当する基準視線Lを決定し、決定された基準視線Lから仮想カメラ300の視野CVを特定する。ここで、仮想カメラ300の視野CVは、HMD110を装着したユーザUが視認可能な仮想空間200の一部の領域と一致する。換言すれば、視野CVは、HMD110に表示される仮想空間200の一部の領域に一致する。また、視野CVは、図6の状態(a)に示すxy平面において、基準視線Lを中心とした極角θαの角度範囲として設定される第1領域CVaと、図6の状態(b)に示すxz平面において、基準視線Lを中心とした方位角θβの角度範囲として設定される第2領域CVbとを有する。
このように、制御部121は、位置センサ130および/またはHMDセンサ114からのデータに基づいて、仮想カメラ300の視野CVを特定することができる。ここで、HMD110を装着したユーザUが動くと、制御部121は、位置センサ130および/またはHMDセンサ114から送信されたHMD110の動きを示すデータに基づいて、仮想カメラ300の視野CVを特定することができる。つまり、制御部121は、HMD110の動きに応じて、視野CVを移動させることができる。
次に、ステップS3において、制御部121は、HMD110の表示部112に表示される視野画像を示す視野画像データを生成する。具体的には、制御部121は、仮想空間200を規定する仮想空間データと、仮想カメラ300の視野CVとに基づいて、視野画像データを生成する。すなわち、仮想カメラ300の視野CVにより、仮想空間データのうち視野画像データとして描画される範囲が定まる。
次に、ステップS4において、制御部121は、視野画像データに基づいて、HMD110の表示部112に視野画像を表示する。このように、HMD110を装着しているユーザUの動きに応じて、仮想カメラ300の視野CVが変化し、HMD110に表示される視野画像Vが変化するので、ユーザUは仮想空間200に没入することができる。
次に、本実施形態に係る表示制御方法について図7から図9を参照して説明する。図7は、本実施形態に係る表示制御方法を説明するためのフローチャートである。図8は、本実施形態に係る表示制御方法を説明するための模式図である。
最初に、図8に示すように、仮想空間200(第一仮想空間の一例)は、HMD110の表示部112に表示される視野画像を生成するための空間であって、仮想カメラ300(第一仮想カメラの一例)と、モニタオブジェクトM(表示オブジェクトの一例)と、を含む。制御部121は、これらのオブジェクトを含む仮想空間200を規定する第一仮想空間データを生成している。
仮想カメラ300は、ユーザUが操作するHMDシステム1に関連付けられている。仮想カメラ300の視野を定義するuvw座標系は、現実空間におけるユーザUの頭部を中心として規定されたuvw座標系に連動する。すなわち、ユーザUが装着するHMD110の動きに応じて、仮想カメラ300の位置や向き(すなわち、仮想カメラ300の視野CV1)が変更される。
モニタオブジェクトMは、仮想空間200内の任意の位置に配置される。なお、ユーザUがモニタオブジェクトMを容易に視認可能となるように、モニタオブジェクトMの表示位置やその方向は変更可能である。図8においては、モニタオブジェクトMを横長矩形状の形態としているが、その形状は図8に示す矩形状に限られない。
本実施形態では、仮想空間200とは別に、仮想空間200内のモニタオブジェクトMに表示される画像V2に関連付けられた第二仮想空間データを生成するための仮想空間400(第二仮想空間の一例)が規定されている。仮想空間400は、360°カメラにより撮像された360°空間画像データにより生成される全天球の空間である(図8では、上半分の天球のみが図示されている)。360°空間画像データは、例えば企業等の宣伝用の360°動画広告であり、記憶部123に構築された広告情報データベースに記憶されている。制御部121は、広告情報データベースから所定の360°空間画像データを読出し、仮想カメラ500を含む仮想空間400を規定する第二仮想空間データを生成している。なお、360°空間画像データは、通信ネットワーク3上のコンピュータから通信インターフェース125を介してダウンロードされてもよい。この場合も同様に、ダウンロードされた360°空間画像データが記憶部123に組み込まれる。
仮想空間400は、仮想カメラ500(第二仮想カメラの一例)を含む。仮想カメラ500は、仮想カメラ300と同様に、ユーザUが操作するHMDシステム1に関連付けられている。仮想カメラ300と同様に、仮想カメラ500の視野を定義するuvw座標系は、現実空間におけるユーザUの頭部を中心として規定されたuvw座標系に連動する。すなわち、ユーザUが装着するHMD110の動きに基づいて、仮想カメラ300の視野CV1と同期しながら、仮想空間400内における仮想カメラ500の視野CV2(仮想カメラ500の位置や向き)が変更される。
まず、図7に示すように、ステップ10において、制御部121は、仮想空間200を規定する第一仮想空間データと、仮想カメラ300の視野CV1とに基づいて、第一視野画像データVD1を生成する(図4のステップS3参照)。そして、ステップS12において、制御部121は、第一視野画像データVD1に基づいて、HMD110の表示部112に第一視野画像V1を表示する。
次に、ステップS14において、制御部121は、仮想空間400を規定する第二仮想空間データと、仮想カメラ500の視野CV2とに基づいて、第二視野画像データVD2を生成する。そして、ステップS16において、制御部121は、第二視野画像データVD2に基づいて、仮想空間200内のモニタオブジェクトMに第二視野画像V2を表示させる。
次に、ステップS18において、制御部121は、HMD110を装着したユーザUが動いたか否か、すなわち、仮想空間200内の仮想カメラ300に対する移動入力があったか否かを判定する。そして、制御部121は、仮想カメラ300に対する移動入力があったと判定した場合には(ステップS18のYes)、ステップS20において、図9に示すように、当該移動入力に基づいて仮想空間200内で仮想カメラ300を動かす。すなわち、図8および図9に示す仮想カメラ300の視野CV1を変更する。そして、ステップS22において、制御部121は、視野CV1の変更に基づいて、表示部112に表示される第一視野画像V1を更新する。なお、図9では、図8に示す状態から、仮想カメラ300の位置を固定したままで、仮想カメラ300の向きを変更しているが、仮想カメラ300に対する移動入力に基づき仮想カメラ300の位置も移動され得る。
次に、ステップS24において、制御部121は、ステップS20での仮想カメラ300の動きに連動して、仮想空間400内の仮想カメラ500を動かす。すなわち、制御部121は、ステップS20での仮想カメラ300の視野CV1の変更と同期して、仮想カメラ500の視野CV2を変更する。そして、ステップS26において、制御部121は、視野CV2の変更に基づいて、モニタオブジェクトMに表示されている第二視野画像V2を更新する。すなわち、仮想カメラ500のuvw座標系の各軸が、HMD110の動きに応じて図8に示す位置から図9に示す位置へと変更されたことに伴い、モニタオブジェクトMに表示されている第二視野画像V2のuvw座標系の各軸の位置も変更される。
そして、ユーザUがモニタオブジェクトM上の第二視野画像V2に視線を送ると、ステップS28において、制御部121は、仮想空間400を全天球(表示部112に表示される視野画像を規定する全天球)に展開して360°動画広告の再生(仮想空間400を規定する第二仮想空間データの再生)を開始する。そして、ステップS30において、制御部121は、HMD110の動きに応じた第二視野画像データVD2を生成して、表示部112に360°動画広告を表示させる。ユーザUによるモニタオブジェクトMの注視は、ユーザUの基準視線L、または、実際の視線方向に基づいて検知し得る。ユーザUの実際の視線方向は、アイトラッキング機能を有する注視センサにより検知し得る。この注視センサは、ユーザUの目に例えば赤外光を照射して、目(特に、角膜や虹彩)から反射された反射光を検出することで、眼球の回転角に関する情報を取得してもよい。このように、既にHMD110を装着しているユーザUに対して、仮想空間200においてモニタオブジェクトM上に360°動画広告をサムネイル画像として効果的に提供することで、ユーザUに360°動画広告を積極的に見てもらう動機づけを与えることができる。
以上説明したように、本実施形態によれば、制御部121は、仮想カメラ300およびモニタオブジェクトMを含む仮想空間200を定義する第一仮想空間データを生成し、仮想カメラ300の視野CV1および第一仮想空間データに基づいて、HMD110に第一視野画像V1を表示させ、HMD110の動きと連動して仮想カメラ300を仮想空間200内で動かすことにより、HMD110に表示されている第一視野画像V1を更新する。それとともに、制御部121は、仮想カメラ500を含む仮想空間400を定義する第二仮想空間データを生成し、仮想カメラ500の視野CV2および第二仮想空間データに基づいて、モニタオブジェクトMに第二視野画像V2を表示させ、HMD110の動きと連動して仮想カメラ500を仮想空間400内で動かすことにより、モニタオブジェクトMに表示されている第二視野画像V2を更新する。第二視野画像V2は、例えば360°映像データから構成される仮想空間400を仮想カメラ500の視野CV2により切り取った映像である。そのため、モニタオブジェクトMに表示される第二視野画像V2は、視野CV2の変更により更新されることで、それが360°動画であることが把握可能な表示態様で表示されている。したがって、HMD110の表示部112に表示される第一視野画像V1内に360°動画(例えば、訴求力の高い360°動画広告)が存在することをユーザUが容易に認識することができる。
なお、制御部121は、モニタオブジェクトMが仮想カメラ300の視野CV1内に入ったときに、モニタオブジェクトMへの第二視野画像V2の表示を開始しても良い。このように、ユーザUがモニタオブジェクトMを視認できる場合にのみ、モニタオブジェクトMで第二視野画像V2を再生することで、データ処理量を減らすことができる。
また、制御部121は、モニタオブジェクトMが仮想カメラ300の視野CV1内に入ったときに、仮想カメラ500の視野CV2の正面方向をモニタオブジェクトMに表示される第二視野画像V2に含めるように制御しても良い。ここで、「視野CV2の正面方向」とは、ユーザUが仮想空間400の中心領域を視認可能な方向、例えば360°動画に出演する出演者のいる方向として定義され得る。このように、モニタオブジェクトM上での360°動画の再生をその動画の正面方向から開始することで、360°動画広告の訴求力をさらに高めることができる。
以上、本開示の実施形態について説明をしたが、本発明の技術的範囲が本実施形態の説明によって限定的に解釈されるべきではない。本実施形態は一例であって、特許請求の範囲に記載された発明の範囲内において、様々な実施形態の変更が可能であることが当業者によって理解されるところである。本発明の技術的範囲は特許請求の範囲に記載された発明の範囲およびその均等の範囲に基づいて定められるべきである。
例えば、HMD110として、透過型HMDを採用してもよい。透過型HMDは、透過型の表示部112を備えており、HMD110を介して現実空間を視認することができる(いわゆる、光学シースルー)。また、現実空間を撮影するカメラをHMD110に搭載し、撮影された現実空間の画像を非透過型の表示部112に表示することによって、HMD110を介して現実空間を視認することとしても良い(いわゆる、ビデオシースルー)。これらの場合には、仮想空間200としては現実空間の視野を採用することができ、現実空間の視野にモニタオブジェクトMに表示される第二視野画像V2を重畳することによって仮想体験をユーザに提供できる。そして、第二視野画像V2を表示可能なモニタオブジェクトMを注視したユーザに仮想空間400を提供することにより、透過型HMD110を使用中のユーザにも、効果的に360°動画広告を提供し得る。
制御部121によって実行される各種処理をソフトウェアによって実現するために、本実施形態に係る表示制御方法をコンピュータ(プロセッサ)に実行させるための表示制御プログラムが記憶部123またはROMに予め組み込まれていてもよい。または、表示制御プログラムは、磁気ディスク(HDD、フロッピーディスク)、光ディスク(CD−ROM,DVD−ROM、Blu−rayディスク等)、光磁気ディスク(MO等)、フラッシュメモリ(SDカード、USBメモリ、SSD等)等のコンピュータ読取可能な記憶媒体に格納されていてもよい。この場合、記憶媒体が制御装置120に接続されることで、当該記憶媒体に格納されたプログラムが、記憶部123に組み込まれる。そして、記憶部123に組み込まれた表示制御プログラムがRAM上にロードされて、プロセッサがロードされた当該プログラムを実行することで、制御部121は本実施形態に係る表示制御方法を実行する。
また、表示制御プログラムは、通信ネットワーク3上のコンピュータから通信インターフェース125を介してダウンロードされてもよい。この場合も同様に、ダウンロードされた当該プログラムが記憶部123に組み込まれる。
1:HMDシステム
3:通信ネットワーク
21:中心位置
110:ヘッドマウントディスプレイ(HMD)
112:表示部
114:HMDセンサ
116:ヘッドホン
120:制御装置
121:制御部
123:記憶部
124:I/Oインターフェース
125:通信インターフェース
126:バス
130:位置センサ
200:仮想空間(第一仮想空間の一例)
300:仮想カメラ(第一仮想カメラの一例)
400:仮想空間(第二仮想空間の一例)
500:仮想カメラ(第二仮想カメラの一例)
CV:視野
CV1:仮想カメラ300の視野
CV2:仮想カメラ500の視野
VD1:第一視野画像データ
VD2:第二視野画像データ
V1:第一視野画像
V2:第二視野画像
M:モニタオブジェクト
U:ユーザ

Claims (4)

  1. ヘッドマウントディスプレイを備えたシステムにおける表示制御方法であって、
    (a)第一仮想カメラおよび表示オブジェクトを含む第一仮想空間を定義する第一仮想空間データを生成するステップと、
    (b)前記第一仮想カメラの視野および前記第一仮想空間データに基づいて、前記ヘッドマウントディスプレイに第一視野画像を表示させるステップと、
    (c)前記ヘッドマウントディスプレイの動きと連動して前記第一仮想カメラを前記第一仮想空間内で動かすことにより、前記第一視野画像を更新するステップと、
    (d)第二仮想カメラを含み、360度空間画像データを特定する第二仮想空間を定義する第二仮想空間データを生成するステップと、
    (e)前記第二仮想カメラの視野および前記第二仮想空間データに基づいて、前記360度空間画像データのうち前記表示オブジェクトの形状に対応する部分として特定された第二視野画像を前記表示オブジェクトに表示させるステップと、
    (f)前記ヘッドマウントディスプレイの動きと連動して前記第二仮想カメラを前記第二仮想空間内で動かすことにより、前記第二視野画像を更新するステップと、
    を含む、表示制御方法。
  2. 前記ステップ()では、前記表示オブジェクトが前記第一仮想カメラの視野内に入ったときに、前記表示オブジェクトへの前記第二視野画像の表示を開始する、請求項1に記載の表示制御方法。
  3. 前記ステップ()では、前記表示オブジェクトが前記第一仮想カメラの視野内に入ったときに、前記第二仮想カメラの視野の正面方向を前記表示オブジェクトに表示される前記第二視野画像に含める、請求項1または2に記載の表示制御方法。
  4. 請求項1からのいずれか一項に記載の表示制御方法をコンピュータに実行させるためのプログラム。
JP2016160084A 2016-08-17 2016-08-17 表示制御方法および当該表示制御方法をコンピュータに実行させるためのプログラム Active JP6228640B1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016160084A JP6228640B1 (ja) 2016-08-17 2016-08-17 表示制御方法および当該表示制御方法をコンピュータに実行させるためのプログラム
US15/679,122 US10277814B2 (en) 2016-08-17 2017-08-16 Display control method and system for executing the display control method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016160084A JP6228640B1 (ja) 2016-08-17 2016-08-17 表示制御方法および当該表示制御方法をコンピュータに実行させるためのプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2017198063A Division JP2018028682A (ja) 2017-10-11 2017-10-11 表示制御方法および当該表示制御方法をコンピュータに実行させるためのプログラム

Publications (2)

Publication Number Publication Date
JP6228640B1 true JP6228640B1 (ja) 2017-11-08
JP2018028597A JP2018028597A (ja) 2018-02-22

Family

ID=60265912

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016160084A Active JP6228640B1 (ja) 2016-08-17 2016-08-17 表示制御方法および当該表示制御方法をコンピュータに実行させるためのプログラム

Country Status (2)

Country Link
US (1) US10277814B2 (ja)
JP (1) JP6228640B1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6853638B2 (ja) * 2016-09-14 2021-03-31 株式会社スクウェア・エニックス 表示システム、表示方法、及び、コンピュータ装置
JP2018101293A (ja) * 2016-12-20 2018-06-28 株式会社コロプラ ヘッドマウントデバイスに仮想空間を提供するためにコンピュータによって実行される方法、当該方法をコンピュータに実行させるプログラム、および、コンピュータ装置
CN110300225A (zh) * 2019-06-28 2019-10-01 联想(北京)有限公司 一种信息处理方法及电子设备
US11061469B2 (en) * 2019-11-20 2021-07-13 XRSpace CO., LTD. Head mounted display system and rotation center correcting method thereof
US11625095B2 (en) * 2021-01-22 2023-04-11 Zinn Labs, Inc. Gaze sensors and display elements for detection of gaze vectors and user control at headset
US11622100B2 (en) * 2021-02-17 2023-04-04 flexxCOACH VR 360-degree virtual-reality system for dynamic events
KR20240084992A (ko) * 2022-12-07 2024-06-14 삼성전자주식회사 가상 공간들로 진입하기 위한 시각적 객체들을 표시하기 위한 웨어러블 장치 및 그 방법

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10240213A (ja) * 1997-03-03 1998-09-11 Olympus Optical Co Ltd 映像表示装置
JP2007086716A (ja) * 2005-08-22 2007-04-05 Ricoh Co Ltd 画像表示システム、画像表示方法、符号化方法及び立体表示用印刷物
JP2014127987A (ja) * 2012-12-27 2014-07-07 Sony Corp 情報処理装置および記録媒体
JP5882517B1 (ja) * 2015-05-29 2016-03-09 株式会社コロプラ ヘッドマウント・ディスプレイを用いたコンテンツ視聴システム
JP5914739B1 (ja) * 2015-08-27 2016-05-11 株式会社コロプラ ヘッドマウントディスプレイシステムを制御するプログラム
JP5961736B1 (ja) * 2015-08-17 2016-08-02 株式会社コロプラ ヘッドマウントディスプレイシステムを制御する方法、および、プログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3732168B2 (ja) 2001-12-18 2006-01-05 株式会社ソニー・コンピュータエンタテインメント 仮想世界におけるオブジェクトの表示装置、表示システム及び表示方法、ならびにそれらを利用可能な仮想世界における地価及び広告料の設定方法
GB201305402D0 (en) * 2013-03-25 2013-05-08 Sony Comp Entertainment Europe Head mountable display
JP6355978B2 (ja) * 2014-06-09 2018-07-11 株式会社バンダイナムコエンターテインメント プログラムおよび画像生成装置
JP5944600B1 (ja) * 2015-08-28 2016-07-05 株式会社タカラトミー 頭部装着型ディスプレイを備えた情報処理装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10240213A (ja) * 1997-03-03 1998-09-11 Olympus Optical Co Ltd 映像表示装置
JP2007086716A (ja) * 2005-08-22 2007-04-05 Ricoh Co Ltd 画像表示システム、画像表示方法、符号化方法及び立体表示用印刷物
JP2014127987A (ja) * 2012-12-27 2014-07-07 Sony Corp 情報処理装置および記録媒体
JP5882517B1 (ja) * 2015-05-29 2016-03-09 株式会社コロプラ ヘッドマウント・ディスプレイを用いたコンテンツ視聴システム
JP5961736B1 (ja) * 2015-08-17 2016-08-02 株式会社コロプラ ヘッドマウントディスプレイシステムを制御する方法、および、プログラム
JP5914739B1 (ja) * 2015-08-27 2016-05-11 株式会社コロプラ ヘッドマウントディスプレイシステムを制御するプログラム

Also Published As

Publication number Publication date
US20180054568A1 (en) 2018-02-22
US10277814B2 (en) 2019-04-30
JP2018028597A (ja) 2018-02-22

Similar Documents

Publication Publication Date Title
JP6228640B1 (ja) 表示制御方法および当該表示制御方法をコンピュータに実行させるためのプログラム
JP6266814B1 (ja) 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
JP6058855B1 (ja) 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
JP6211144B1 (ja) 表示制御方法および当該表示制御方法をコンピュータに実行させるためのプログラム
JP6223533B1 (ja) 情報処理方法および当該情報処理方法をコンピュータに実行させるためのプログラム
JP6212666B1 (ja) 情報処理方法、プログラム、仮想空間配信システム及び装置
JP6207691B1 (ja) 情報処理方法および当該情報処理方法をコンピュータに実行させるためのプログラム
JP6113337B1 (ja) 表示制御方法および当該表示制御方法をコンピュータに実行させるためのプログラム
JP6223614B1 (ja) 情報処理方法、情報処理プログラム、情報処理システム及び情報処理装置
JP2018171455A (ja) 表示制御方法および当該表示制御方法をコンピュータに実行させるためのプログラム
JP6342448B2 (ja) 表示制御方法および当該表示制御方法をコンピュータに実行させるためのプログラム
JP6298874B1 (ja) 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
JP6266823B1 (ja) 情報処理方法、情報処理プログラム、情報処理システム及び情報処理装置
JP6289703B1 (ja) 情報処理方法、情報処理プログラム、情報処理システム及び情報処理装置
JP2018109940A (ja) 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
JP2018147504A (ja) 表示制御方法および当該表示制御方法をコンピュータに実行させるためのプログラム
JP2018120583A (ja) 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
JP2018007227A (ja) 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
JP6275809B1 (ja) 表示制御方法および当該表示制御方法をコンピュータに実行させるためのプログラム
JP2018028682A (ja) 表示制御方法および当該表示制御方法をコンピュータに実行させるためのプログラム
JP6738308B2 (ja) 情報処理方法、プログラム、仮想空間配信システム及び装置
JP6333893B2 (ja) 表示制御方法および当該表示制御方法をコンピュータに実行させるためのプログラム
JP6205047B1 (ja) 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
JP2018000987A (ja) 表示制御方法および当該表示制御方法をコンピュータに実行させるためのプログラム
JP2018163637A (ja) 情報処理方法、情報処理プログラム、情報処理システム及び情報処理装置

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170919

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171013

R150 Certificate of patent or registration of utility model

Ref document number: 6228640

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250