JP6084728B1 - 表示制御方法及び当該表示制御方法をコンピュータに実行させるためのプログラム - Google Patents

Abstract

【課題】ユーザの視線方向の変化に依らずに、テロップ画像をユーザの視野内に表示させることが可能な表示制御方法を提供する。【解決手段】表示制御方法は、（ａ）ユーザの視線方向と３６０度空間画像データに基づいて、視野画像を示す視野画像データを生成するステップと、（ｂ）テロップ画像を示すテロップ画像データを受信するステップと、（ｃ）前記視野画像データと前記テロップ画像データに基づいて、前記視野画像と前記テロップ画像を合成した合成画像をＨＭＤ２７に表示するステップと、を含む。ステップ（ｃ）では、前記ユーザの視線方向の変化に依らずに、前記テロップ画像が前記視野画像内の所定位置に表示されるように、前記合成画像をＨＭＤ２７に表示する。【選択図】図４

Description

本開示は、表示制御方法および当該表示制御方向をコンピュータに実行させるためのプログラムに関する。

ユーザの頭部に装着され、仮想現実（ＶＲ：Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）空間や拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）空間等の仮想空間として仮想空間画像を表示可能なヘッドマウントディスプレイ（ＨＭＤ：Ｈｅａｄ Ｍｏｕｎｔｅｄ‐Ｄｉｓｐｌａｙ）が知られている。特許文献１では、ＨＭＤに表示された仮想オブジェクトがユーザにより一定期間注視されることで、注視された仮想オブジェクトに関するアノテーション情報が表示されることが開示されている。

特開２００５−０３８００８号公報

しかしながら、特許文献１の開示では、ＨＭＤの動きに伴い、当該アノテーション情報が一旦ユーザの視野内から外れてしまうと、ユーザは、当該アノテーション情報を視認することができない。

本開示は、ユーザの視線方向の変化に依らずに、テロップ画像をユーザの視野内に表示させることが可能な表示制御方法を提供することを目的とする。また、本開示は、当該表示制御方法をコンピュータに実行させるためのプログラムを提供することを目的とする。

本開示の一態様に係る表示制御方法は、
（ａ）ユーザの視線方向と３６０度空間画像データに基づいて、視野画像を示す視野画像データを生成するステップと、
（ｂ）テロップ画像を示すテロップ画像データを受信するステップと、
（ｃ）前記視野画像データと前記テロップ画像データに基づいて、前記視野画像と前記テロップ画像を合成した合成画像をヘッドマウントディスプレイに表示するステップと、を含む。
前記ステップ（ｃ）では、前記ユーザの視線方向の変化に依らずに、前記テロップ画像が前記視野画像内の所定位置に表示されるように、前記合成画像を前記ヘッドマウントディスプレイに表示する。

本開示によれば、ユーザの視線方向の変化に依らずに、テロップ画像をユーザの視野内に表示させることが可能な表示制御方法を提供することができる。

映像コンテンツ配信システムの概要図である。 ユーザ端末とコンテンツサーバのハードウェア構成の一例を示す図である。 視野画像と、テロップ画像と、合成画像の一例を示す図である。 第１実施形態に係る表示制御方法を説明するためのフローチャートであって、（ａ）は、コンテンツサーバが視野画像データをユーザ端末に配信する場合における上記フローチャートである。（ｂ）は、コンテンツサーバが３６０度空間画像データをユーザ端末に配信する場合における上記フローチャートである。 第１実施形態に係る表示制御方法を説明するためのタイミングチャートである。 第２実施形態に係る表示制御方法を説明するためのフローチャートであって、（ａ）は、コンテンツサーバが視野画像データをユーザ端末に配信する場合における上記フローチャートである。（ｂ）は、コンテンツサーバが３６０度空間画像データをユーザ端末に配信する場合における上記フローチャートである。 第２実施形態に係る表示制御方法を説明するためのタイミングチャートである。

［本開示に係る実施形態の説明］
本開示に係る実施形態の概要を説明する。
（１）（ａ）ユーザの視線方向と３６０度空間画像データに基づいて、視野画像を示す視野画像データを生成するステップと、
（ｂ）テロップ画像を示すテロップ画像データを受信するステップと、
（ｃ）前記視野画像データと前記テロップ画像データに基づいて、前記視野画像と前記テロップ画像を合成した合成画像をヘッドマウントディスプレイに表示するステップと、を含み、
前記ステップ（ｃ）では、前記ユーザの視線方向の変化に依らずに、前記テロップ画像が前記視野画像内の所定位置に表示されるように、前記合成画像を前記ヘッドマウントディスプレイに表示する、表示制御方法。

上記方法によれば、ユーザの視線方向の変化に依らずに、テロップ画像が視野画像内の所定位置に表示されるように、合成画像がヘッドマウントディスプレイに表示される。このように、ユーザの視線方向の変化に依らずに、テロップ画像をユーザの視野内に表示させることが可能な表示制御方法を提供することができる。

（２）（ｄ）サーバから前記３６０度空間画像データを受信するステップをさらに含み、
前記ステップ（ａ）では、ユーザ端末によって前記視野画像データが生成される、項目（１）に記載の表示制御方法。

上記方法によれば、ユーザ端末によって視野画像データが生成されるので、ユーザの視線方向が変化する度に、視野画像データをサーバから受信する必要がない。このように、ユーザの視線方向が頻繁に変化する場合に、本方法は有利である。

（３）前記ステップ（ａ）では、サーバによって前記視野画像データを生成し、
前記表示制御方法は、
（ｅ）前記サーバから前記視野画像データを受信するステップをさらに含む、項目（１）に記載の表示制御方法。

上記方法によれば、データ量が多い３６０度空間画像データではなく視野画像データがサーバから送信されるので、サーバとユーザ端末間における通信負荷を低減させることができる。

（４）前記ステップ（ｃ）では、前記視野画像の再生開始時刻と前記テロップ画像の再生開始時刻とを同期させることで、前記合成画像を前記ヘッドマウントディスプレイに表示する、項目（１）から（３）のうちいずれか一項に記載の表示制御方法。

上記方法によれば、視野画像データの再生開始時刻とテロップ画像データの再生開始時刻とを同期させることで、合成画像がヘッドマウントディスプレイに表示される。このように、比較的簡単な原理により視野画像内にテロップ画像を表示させることが可能となる。

（５）前記ステップ（ａ）は、前記ステップ（ｂ）の後に行われ、
前記ステップ（ｂ）では、
前記テロップ画像データをまとめて受信し、
前記ステップ（ｂ）では、前記テロップ画像を前記視野画像内に表示するタイミングを示すタイミング情報を受信し、
前記ステップ（ｃ）では、前記タイミング情報と、前記視野画像データと、前記テロップ画像データとに基づいて、前記合成画像を前記ヘッドマウントディスプレイに表示する、項目（１）から（３）のうちいずれか一項に記載の表示制御方法。

上記方法によれば、タイミング情報と、視野画像データと、テロップ画像データとに基づいて、合成画像が表示部に表示される。このように、適切なタイミングで視野画像内にテロップ画像を容易に表示させることが可能となる。

（６）前記ステップ（ｂ）では、時間分割された前記視野画像データまたは前記３６０度空間画像データの各々の受信を開始する時刻を示すスケジュール情報を受信し、
前記表示制御方法は、
（ｄ）前記スケジュール情報に基づいて、サーバから前記３６０度空間画像データを受信するステップ、又は、
（ｅ）前記スケジュール情報に基づいて、前記サーバから前記視野画像データを受信するステップをさらに含み、
前記ステップ（ｃ）では、前記タイミング情報と、前記スケジュール情報と、前記視野画像データと、前記テロップ画像データとに基づいて、前記合成画像を前記ヘッドマウントディスプレイに表示する、項目（５）に記載の表示制御方法。

上記方法によれば、スケジュール情報に基づいて、視野画像データまたは３６０度空間画像データが受信され、タイミング情報と、スケジュール情報と、視野画像データと、テロップ画像データとに基づいて、合成画像がヘッドマウントディスプレイに表示される。これにより、適切なタイミングで視野画像内にテロップ画像を容易に表示させることが可能となる。

（７）項目（１）から（６）のうちいずれか一項に記載の表示制御方法をコンピュータに実行させるためのプログラム。

上記によれば、ユーザの視線方向の変化に依らずに、テロップ画像をユーザの視野内に表示させることが可能なプログラムを提供することができる。

［本開示の実施形態の詳細］
以下、本開示の実施形態について図面を参照しながら説明する。尚、本実施形態の説明において既に説明された部材と同一の参照番号を有する部材については、説明の便宜上、その説明は繰り返さない。

図１は、映像コンテンツ配信システム１００を示す構成図である。図１に示すように、映像コンテンツ配信システム１００は、映像コンテンツを視聴可能な複数のユーザ端末２と、コンテンツサーバ３とを備える。ユーザ端末２とコンテンツサーバ３は、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）又インターネット等の通信ネットワーク１を介して互いに通信可能に接続されている。図１では、説明を簡略化するために、１つのユーザ端末２とコンテンツサーバ３が図示されているが、複数のユーザ端末２と複数のコンテンツサーバ３が通信ネットワーク１に接続されていてもよい。

次に、図２を参照してユーザ端末２とコンテンツサーバ３のハードウェア構成について説明する。最初に、ユーザ端末２のハードウェア構成について説明する。図２に示すように、ユーザ端末２は、制御装置２１と、入力操作部２８と、ヘッドマウントディスプレイ（ＨＭＤ）２７と、センサ２９とを備える。制御装置２１は、通信バス２０と、制御部２２と、記憶部２３と、Ｉ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）インターフェース２４と、通信インターフェース２６とを備える。制御部２２と、記憶部２３と、Ｉ／Ｏインターフェース２４と、通信インターフェース２６は、通信バス２０により互いに通信可能に接続されている。制御装置２１は、例えば、パーソナルコンピュータ、スマートフォン、タブレットまたはウェアラブルデバイスである。

制御部２２は、メモリとプロセッサを備えている。メモリは、例えば、各種プログラムが格納されたＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）及びプロセッサにより実行される各種プログラムやデータが格納される複数のワークエリアを有するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等から構成される。ＲＡＭは、ＨＭＤ２７に表示される視野画像に対応する視野画像データが格納されるＶＲＡＭを含む。プロセッサは、ＣＰＵ（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）、ＭＰＵ（Ｍｉｃｒｏ−Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）及び／又はＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）から構成される。

記憶部（ストレージ）２３は、各種プログラムや映像データ等を格納するように構成されており、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）フラッシュメモリ等により構成されている。Ｉ／Ｏインターフェース２４は、入力操作部２８と、ＨＭＤ２７と、センサ２９をそれぞれ制御装置２１に通信可能に接続するように構成されており、例えば、ＵＳＢ端子、ＨＤＭＩ（登録商標）（Ｈｉｇｈ―Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）等により構成されている。

通信インターフェース２６は、ユーザ端末２を通信ネットワーク１に接続させるように構成されている。通信インターフェース２６は、通信ネットワーク１を介して外部装置と通信するための各種有線接続端子や、無線接続のための各種処理回路を含んでおり、通信ネットワーク１を介して通信するための通信規格に適合するように構成されている。

入力操作部２８は、ユーザ端末２に対するユーザからの入力操作を受付けると共に、当該入力操作に応じて、ユーザの入力操作を示す操作信号を生成するように構成されている。入力操作部２８は、例えば、タッチパネル、外部コントローラ、マウス、キーボード等である。ＨＭＤ２７は、視野画像データに基づいて視野画像を表示するように構成されている。特に、ＨＭＤ２７は、左目用の視野画像データと右目用の視野画像データとに基づいて、左目用の視野画像と右目用の視野画像を表示することで、両目の視差を利用した３次元画像をバーチャルリアリティ（ＶＲ）画像としてユーザに提供することができる。

センサ２９は、ＨＭＤ２７のＸＹＺ方向への移動、および、ＸＹＺ軸周りの回転を検知することにより、ＨＭＤ２７を装着しているユーザの動きを検出する。これにより、ユーザの頭の動きによる視線の変化が検出される。センサ２９は、ＨＭＤ２７に設けられた地磁気センサ、加速度センサ及び／又はジャイロセンサにより構成されていてもよいし、ＨＭＤ２７に設けられた複数の発光点を検知するように構成された外部カメラ等の位置センサであってもよい。

次に、コンテンツサーバ３のハードウェア構成についてそれぞれ説明する。コンテンツサーバ３は、通信バス３０と、制御部３２と、記憶部３３と、通信インターフェース３６とを備える。制御部３２と、記憶部３３と、通信インターフェース３６は、通信バス３０を介して互いに通信可能に接続されている。制御部３２は、メモリとプロセッサを備えており、メモリは、例えば、ＲＯＭ及びＲＡＭ等から構成されるとともに、プロセッサは、例えば、ＣＰＵ、ＭＰＵ及び／又はＧＰＵにより構成される。

記憶部（ストレージ）３３は、各種プログラムや３６０度空間画像データ等を格納するように構成されており、大容量のＨＤＤ等である。３６０度空間画像データは、例えば、コンサート会場等に設置された３６０度カメラによって生成される。通信インターフェース３６は、コンテンツサーバ３を通信ネットワーク１に接続させるように構成されている。

次に、図３を参照することで、視野画像とテロップ画像とを合成することで得られる合成画像の一例について説明する。図３は、視野画像と、テロップ画像と、合成画像の一例を示す図である。尚、本明細書で説明される「画像」とは、時間軸上で連続的に静止画像を切替えることで得られる動画像（映像）を含む点に留意されたい。例えば、合成画像は、所定のフレームレートでＨＭＤ２７に表示される。

視野画像とは、ユーザの視点を中心とした３６０度空間画像のうちユーザの視野内に表示されるバーチャルリアリティ（ＶＲ）画像である。つまり、視野画像とは、ユーザの視点を中心とした３６０度空間画像の一部であって、ユーザの視野によって規定される。また、ユーザの視野は、ユーザの視線方向によって規定される。つまり、ユーザの視線方向が決定されると、ユーザの視野が決定されて、視野画像が決定される。同様に、ユーザの視線方向が変更されると、ユーザの視野が変更されるので、視野画像が変更される。さらに詳しく言えば、ユーザの視線方向が変更されると、３６０度空間画像を表示する仮想空間中に配置された仮想カメラの視軸が変更され、仮想カメラの視野が変更される。視野画像は、３６０度空間画像と仮想カメラの視野に基づいて生成されるので、仮想カメラの視野が変更されると、視野画像が変更される。このように、視野画像は、ユーザの視線方向の変化に連動する。また、視野画像の種類としては、例えば、コンサート映像や、サッカー、野球、相撲、格闘技、テニス等のスポーツ映像や、歌舞伎、能楽、ミュージカル等の舞台映像が挙げられる。

テロップ画像とは、テキスト（文字）と、画像（映像）と、図形のうちの少なくとも一つを含むものであって、何らかの情報（アーティスト情報、野球やサッカー等のスポーツ情報、時間情報、字幕情報、ニュース情報、ワイプ等）を示す。図３に示すように、テロップ画像の表示領域は、視野画像の表示領域よりも小さい。テロップ画像は、ＨＭＤ２７に表示される視野画像内の所定位置（例えば、視野画像の四隅の近辺）に表示されてもよい。また、テロップ画像は、エンドロールのようにＨＭＤ２７に表示された視野画像内を上下方向に移動してもよく、視野画像の表示領域を全て遮らない限りにおいて、その表示形態は特に限定されるものではない。また、テロップ画像は、上記で説明した視野画像とは異なり、ユーザの視線方向の変化には連動しない。

（第１実施形態）
次に、図４及び図５を参照することで第１実施形態に係る表示制御方法について以下に説明する。図４は、第１実施形態に係る表示制御方法を説明するためのフローチャートである。特に、図４（ａ）は、コンテンツサーバ３（以下、単にサーバ３という。）が視野画像データをユーザ端末２にストリーミング形式で配信する場合におけるフローチャートである。図４（ｂ）は、サーバ３が３６０度空間画像データをユーザ端末２にストリーミング形式で配信する場合におけるフローチャートである。

最初に、サーバ３が視野画像データをユーザ端末２にストリーミング形式で配信する場合における第１実施形態に係る表示制御方法について説明する。図４（ａ）に示すように、ステップＳ１０において、ユーザ端末２の制御部２２は、入力操作部２８に対するユーザ入力により生成された操作信号に従って、視野画像データＶ１とテロップ画像データＴＲ１の配信要求を示す配信要求信号を生成し、当該生成された配信要求信号を通信インターフェース２６と通信ネットワーク１を介してサーバ３に送信する。ここで、図５に示すように、視野画像データＶ１は、全体の視野画像データのうちの第１期間に相当する時間分割された視野画像データである。テロップ画像データＴＲ１は、全体のテロップ画像のうちの第１期間に相当する時間分割されたテロップ画像である。このように、サーバ３は、時間分割された視野画像データとテロップ画像データをストリーミング形式で配信する。また、制御部２２は、配信要求信号と共に、ユーザ端末２を使用するユーザのＩＤ情報と、ユーザ端末２のアドレス情報（ＩＰアドレス）と、ユーザの視線方向を示す視線方向情報と、サーバ３のアドレス情報（ＩＰアドレス）をサーバ３に送信する。

ここで、視線方向情報の生成について説明する。最初に、センサ２９がＨＭＤ２７の動きを検出して、ＨＭＤ２７の動きを示すデータを制御部２２に送信する。次に、制御部２２は、センサ２９から送信されたデータに基づいて、ＨＭＤ２７の動き（位置や傾き）に関する情報を取得する。その後、制御部２２は、当該取得された情報に基づいて、ユーザの視線方向を示す視線方向情報を生成する。このように、視線方向情報は制御部２２によって生成される。また、ＨＭＤ２７が動く度に、制御部２２は、視線方向情報を更新するように構成されている。

次に、サーバ３の制御部３２は、通信インターフェース３６を介してユーザ端末２から送信された配信要求信号に従って、テロップ画像データＴＲ１と第１期間に相当する３６０度空間画像データＶＳ１を記憶部３３から読み出す（ステップＳ１１）。次に、制御部３２は、３６０度空間画像データＶＳ１と視線方向情報から、視野画像データＶ１を生成する（ステップＳ１２）。その後、制御部３２は、ユーザ端末２のアドレス情報を参照することで、テロップ画像データＴＲ１と視野画像データＶ１をユーザ端末２に配信する（ステップＳ１３）。

次に、ユーザ端末２の制御部２２は、通信ネットワーク１と通信インターフェース２６を介してテロップ画像データＴＲ１と視野画像データＶ１をサーバ３から受信する（ステップＳ１４）。その後、制御部２２は、視野画像データＶ１とテロップ画像データＴＲ１とに基づいて、視野画像とテロップ画像を合成した合成画像Ｃ１をＨＭＤ２７に表示する（ステップＳ１５）。特に、制御部２２は、図５に示すように、視野画像（視野画像データＶ１）の再生開始時刻とテロップ画像（テロップ画像データＴＲ１）の再生開始時刻とを同期させることで、合成画像Ｃ１をＨＭＤ２７に表示する。ここで、合成画像Ｃ１のうちテロップ画像が表示されない期間では、視野画像のみがＨＭＤ２７に表示される一方、テロップ画像が表示される期間では、視野画像とテロップ画像の両方がＨＭＤ２７に表示される。次に、合成画像Ｃ１がＨＭＤ２７に表示されている間、制御部２２は、第２期間に相当する視野画像データＶ２と第２期間に相当するテロップ画像データＴＲ２の配信要求を示す配信要求信号を生成し、当該生成された配信要求信号をサーバ３に送信する（ステップＳ１０）。その後、ステップＳ１１〜Ｓ１４の処理が実行された後、制御部２２は、図５に示すように、視野画像（視野画像データＶ２）の再生開始時刻とテロップ画像（テロップ画像データＴＲ２）の再生開始時刻とを同期させることで、合成画像Ｃ２をＨＭＤ２７に表示する（ステップＳ１５）。このようにして、合成画像Ｃ１，Ｃ２，Ｃ３・・・がＨＭＤ２７に表示される。

次に、サーバ３が３６０度空間画像データをユーザ端末２にストリーミング形式で配信する場合における第１実施形態に係る表示制御方法について説明する。図４（ｂ）に示すように、ステップＳ２０において、制御部２２は、入力操作部２８に対するユーザ入力により生成された操作信号に従って、３６０度空間画像データＶＳ１とテロップ画像データＴＲ１の配信要求を示す配信要求信号を生成し、当該生成された配信要求信号を通信インターフェース２６と通信ネットワーク１を介してサーバ３に送信する。ここで、３６０度空間画像データＶＳ１は、全体の３６０度空間画像データのうちの第１期間に相当する時間分割された３６０度空間画像データであって、視野画像データＶ１を含む。また、制御部２２は、配信要求信号と共に、ユーザのＩＤ情報と、ユーザ端末２のアドレス情報と、サーバ３のアドレス情報（ＩＰアドレス）をサーバ３に送信する。

次に、制御部３２は、通信インターフェース３６を介してユーザ端末２から送信された配信要求信号に従って、テロップ画像データＴＲ１と３６０度空間画像データＶＳ１を記憶部３３から読み出して（ステップＳ２１）、ユーザ端末２のアドレス情報を参照することで、テロップ画像データＴＲ１と３６０度空間画像データＶＳ１をユーザ端末２に配信する（ステップＳ２２）。

その後、制御部２２は、通信ネットワーク１と通信インターフェース２６を介してテロップ画像データＴＲ１と３６０度空間画像データＶＳ１をサーバ３から受信する（ステップＳ２３）。次に、制御部２２は、３６０度空間画像データと視線方向情報に基づいて、視野画像データＶ１を生成し（ステップＳ２４）、視野画像データＶ１とテロップ画像データＴＲ１とに基づいて、視野画像とテロップ画像を合成した合成画像Ｃ１をＨＭＤ２７に表示する（ステップＳ２５）。合成画像Ｃ１の生成方法は、図４（ａ）で説明したとおりである。

本実施形態によれば、ユーザの視線方向の変化に依らずに、テロップ画像が視野画像内の所定位置に表示されるように、合成画像がＨＭＤ２７に表示される。このように、ユーザの視線方向の変化に依らずに、テロップ画像をユーザの視野内に表示させることが可能な表示制御方法を提供することができる。特に、視野画像データは、視線方向情報と３６０度空間画像データに基づいて生成されるので、ＨＭＤ２７が動く度に、視線方向情報が更新されることで視野画像データが更新される。一方、テロップ画像は視線方向情報に依存せずに視野画像内の所定位置に表示される。

また、本実施形態によれば、視野画像データの再生開始時刻とテロップ画像の再生開始時刻とを同期させることで、合成画像がＨＭＤ２７に表示されるので、比較的簡単な原理により視野画像内にテロップ画像を表示させることが可能となる。

さらに、図４（ａ）に示す表示制御方法では、サーバ３がデータ量が多い３６０度空間画像データではなく視野画像データをユーザ端末２に配信するので、サーバ３とユーザ端末２間における通信負荷を低減させることができる。

また、図４（ｂ）に示す表示制御方法では、ユーザ端末２によって視野画像データが生成されるので、ユーザの視線方向が変化する度に視野画像データをサーバ３から受信する必要がない。このように、ユーザの視線方向が頻繁に変化する場合に、図４（ｂ）に示す方法は有利である。

（第２実施形態）
次に、図６及び図７を参照することで第２実施形態に係る表示制御方法について以下に説明する。図６は、第２実施形態に係る表示制御方法を説明するためのフローチャートである。図６（ａ）は、サーバ３が視野画像データをユーザ端末２にストリーミング形式で配信する場合におけるフローチャートである。図６（ｂ）は、サーバ３が３６０度空間画像データをユーザ端末２にストリーミング形式で配信する場合におけるフローチャートである。図７は、第２実施形態に係る表示制御方法を説明するためのタイミングチャートである。

最初に、サーバ３が視野画像データをユーザ端末２にストリーミング形式で配信する場合における第２実施形態に係る表示制御方法について説明する。図６（ａ）に示すように、ステップＳ３０において、制御部２２は、入力操作部２８に対するユーザ入力により生成された操作信号に従って、全てのテロップ画像データと、タイミング情報と、スケジュール情報の配信要求を示す配信要求信号を生成して、当該生成された配信要求信号を通信インターフェース２６と通信ネットワーク１を介してサーバ３に送信する。ここで、全てのテロップ画像データとは、映像コンテンツを視聴する際に取得される全てのテロップ画像データをいう。また、テロップ画像は、ユーザの視点を中心とした３６０度空間テロップ画像データであってもよい。タイミング情報は、テロップ画像を視野画像内に表示するタイミングを示しており、例えば、図７に示すように、テロップ画像データＴＲ１，ＴＲ２，ＴＲ３の表示を開始する開始時刻ｔ１，ｔ３，ｔ５やテロップ画像データＴＲ１，ＴＲ２，ＴＲ３の表示を終了する終了時刻ｔ２、ｔ４，ｔ６等に関する情報を含む。ここで、テロップ画像データＴＲ１と第１期間に相当する視野画像データＶ１を合成することで合成画像Ｃ１が生成され、テロップ画像データＴＲ２と第２期間に相当する視野画像データＶ２を合成することで合成画像Ｃ２が生成され、テロップ画像ＴＲ３と第３期間に相当する視野画像データＶ３を合成することで合成画像Ｃ３が生成される。

スケジュール情報は、時間分割された視野画像データＶ１，Ｖ２，Ｖ３・・・の各々の受信を開始する時刻を示す。また、制御部２２は、配信要求信号と共に、ユーザ端末２を使用するユーザのＩＤ情報と、ユーザ端末２のアドレス情報（ＩＰアドレス）と、ユーザの視線方向を示す視線方向情報と、サーバ３のアドレス情報（ＩＰアドレス）をサーバ３に送信する。

次に、制御部３２は、通信インターフェース３６を介してユーザ端末２から送信された配信要求信号に従って、全てのテロップ画像データと、タイミング情報と、スケジュール情報を記憶部３３から読み出す（ステップＳ３１）。その後、制御部３２は、ユーザ端末２のアドレス情報を参照することで、全てのテロップ画像データと、タイミング情報と、スケジュール情報をユーザ端末２に配信する（ステップＳ３２）。

次に、制御部２２は、通信ネットワーク１と通信インターフェース２６を介してテロップ画像データと、タイミング情報と、スケジュール情報を受信する（ステップＳ３３）。その後、制御部２２は、テロップ画像データを時間解析する（ステップＳ３４）。例えば、制御部２２は、テロップ画像データを時間解析することで、テロップ画像データの各静止画像（各フレーム）が表示される表示時刻を取得してもよい。また、サーバ３から受信したテロップ画像データが３６０度空間テロップ画像データである場合、制御部２２は、受信した３６０度空間テロップ画像データと仮想カメラによって規定される所定の視野に基づいて、テロップ視野画像データを生成してもよい。ここで、仮想カメラは、３６０度空間テロップ画像を表示する仮想空間中に配置されており、当該仮想カメラの所定の視野は、ユーザの視線方向の変化に連動せず、予め決定されている。

次に、制御部２２は、送信されたスケジュール情報を参照することで、第１期間に相当する視野画像データＶ１の配信要求を示す配信要求信号を生成して、当該生成された配信要求信号をサーバ３に送信する（ステップＳ３５）。その後、制御部３２は、通信インターフェース３６を介してユーザ端末２から送信された配信要求信号に従って、第１期間に相当する３６０度空間画像データＶＳ１を記憶部３３から読み出す（ステップＳ３６）。次に、制御部３２は、３６０度空間画像データＶＳ１と視線方向情報から、視野画像データＶ１を生成して（ステップＳ３７）、ユーザ端末２のアドレス情報を参照することで、視野画像データＶ１をユーザ端末２に配信する（ステップＳ３８）。

次に、制御部２２は、通信ネットワーク１と通信インターフェース２６を介して視野画像データＶ１をサーバ３から受信する（ステップＳ３９）。ステップＳ４０において、制御部２２は、再生時刻が時刻ｔ１となるまでは、視野画像データＶ１に基づいて、視野画像をＨＭＤ２７に表示する。その後、制御部２２は、時刻ｔ１〜ｔ２の間に、タイミング情報と、視野画像データＶ１と、テロップ画像ＴＲ１に基づいて、視野画像とテロップ画像を合成した合成画像Ｃ１をＨＭＤ２７に表示する。その後、再生時刻が時刻ｔ２を経過した後に、制御部２２は、視野画像をＨＭＤ２７に表示する。

合成画像Ｃ１又は視野画像Ｖ１がＨＭＤ２７に表示されている間、制御部２２は、第２期間に相当する視野画像データＶ２の配信要求を示す配信要求信号を生成し、当該生成された配信要求信号をサーバ３に送信する（ステップＳ３５）。その後、ステップＳ３６〜Ｓ３９の処理が実行された後、制御部２２は、視野画像Ｖ２または合成画像Ｃ２をＨＭＤ２７に表示する（ステップＳ４０）。このようにして、合成画像Ｃ１，Ｃ２，Ｃ３・・・がＨＭＤ２７に表示される。

次に、サーバ３が３６０度空間画像データをユーザ端末２にストリーミング形式で配信する場合における第２実施形態に係る表示制御方法について説明する。ここで、図６（ｂ）に示すステップＳ５０〜Ｓ５４は、図６（ａ）に示すステップＳ３０〜Ｓ３４と略同一であるため、その説明は割愛する。ここで、スケジュール情報は、時間分割された３６０度空間画像データＶＳ１，ＶＳ２，ＶＳ３・・・の各々の受信を開始する時刻を示す。

ステップＳ５５において、制御部２２は、送信されたスケジュール情報を参照することで、第１期間に相当する３６０度空間画像データＶＳ１の配信要求を示す配信要求信号を生成して、当該生成された配信要求信号をサーバ３に送信する。その後、制御部３２は、通信インターフェース３６を介してユーザ端末２から送信された配信要求信号に従って、第１期間に相当する３６０度空間画像データＶＳ１を記憶部３３から読み出し（ステップＳ５６）、ユーザ端末２のアドレス情報を参照することで、３６０度空間画像データＶＳ１をユーザ端末２に配信する（ステップＳ５７）。

次に、制御部２２は、通信ネットワーク１と通信インターフェース２６を介して３６０度空間画像データＶＳ１をサーバ３から受信し（ステップＳ５８）、３６０度空間画像データＶＳ１と視線方向情報に基づいて、視野画像データＶ１を生成する（ステップＳ５９）。ステップＳ５９を具体的に説明すると、最初に、制御部２２は、視線方向情報に基づいて、３６０度空間画像を表示する仮想空間中の仮想カメラの視軸を決定する。次に、制御部２２は、決定された仮想カメラの視軸に基づいて仮想カメラの視野を決定し、３６０度空間画像データＶＳ１と、決定された仮想カメラの視野とに基づいて、視野画像データＶ１を生成する。このように、視野画像データＶ１は、ユーザの視線方向の変化に連動する。

ステップＳ６０において、制御部２２は、再生時刻が時刻ｔ１となるまでは、視野画像データＶ１に基づいて、視野画像をＨＭＤ２７に表示する。その後、制御部２２は、時刻ｔ１〜ｔ２の間に、タイミング情報と、視野画像データＶ１と、テロップ画像ＴＲ１に基づいて、視野画像とテロップ画像を合成した合成画像Ｃ１をＨＭＤ２７に表示する。その後、再生時刻が時刻ｔ２を経過した後に、制御部２２は、視野画像をＨＭＤ２７に表示する。

合成画像Ｃ１又は視野画像Ｖ１がＨＭＤ２７に表示されている間、制御部２２は、第２期間に相当する３６０度空間画像データＶＳ２の配信要求を示す配信要求信号を生成し、当該生成された配信要求信号をサーバ３に送信する（ステップＳ５５）。その後、ステップＳ５６〜Ｓ５９の処理が実行された後、制御部２２は、視野画像Ｖ２または合成画像Ｃ２をＨＭＤ２７に表示する（ステップＳ６０）。このようにして、合成画像Ｃ１，Ｃ２，Ｃ３・・・がＨＭＤ２７に表示される。

本実施形態によれば、ユーザの視線方向の変化に連動する視野画像とユーザの視線方向の変化に連動しないテロップ画像を合成することで、合成画像がＨＭＤ２７に表示されるので、ユーザの視線方向の変化に依らずに、テロップ画像を視野画像内の所定位置に表示させることができる。

本実施形態によれば、スケジュール情報に基づいて、視野画像データまたは３６０空間画像データが受信され、タイミング情報と、スケジュール情報と、視野画像データと、テロップ画像データとに基づいて、合成画像がＨＭＤ２７に表示される。このように、適切なタイミングで視野画像内にテロップ画像を容易に表示させることが可能となる。

また、本実施形態では、スケジュール情報に基づいて、各時間分割された視野画像データ又は３６０度空間画像データが受信されているが、スケジュール情報なしに各時間分割された視野画像データ又は３６０度空間画像データが受信されてもよい。

このように本実施形態では、テロップ画像データは、視野画像データ（又は３６０度空間画像データ）よりもデータ量が比較的小さいため、最初にテロップ画像データの全てがダウンロードされる。そして、視野画像データ（又は３６０度空間画像データ）がストリーミング形式でダウンロードされる前に、テロップ画像データに対する時間情報の解析を行う。これによって、視野画像データとテロップ画像データの時刻同期を比較的に比較的容易に行うことができる。

制御部２２によって実行される各種処理をソフトウェアによって実現するために、本実施形態に係る表示制御方法をコンピュータ（プロセッサ）に実行させるための表示制御プログラムが制御装置２１の記憶部２３又はＲＯＭに予め組み込まれていてもよい。または、表示制御プログラムは、磁気ディスク（ＨＤＤ、フロッピーディスク）、光ディスク（ＣＤ−ＲＯＭ，ＤＶＤ−ＲＯＭ、Ｂｌｕ−ｒａｙディスク等）、光磁気ディスク（ＭＯ等）、フラッシュメモリ（ＳＤカード、ＵＳＢメモリ、ＳＳＤ等）等のコンピュータ読取可能な記憶媒体に格納されていてもよい。この場合、記憶媒体が制御装置２１に接続されることで、当該記憶媒体に格納された表示制御プログラムが、記憶部２３に組み込まれる。そして、記憶部２３に組み込まれた表示制御プログラムがＲＡＭ上にロードされて、プロセッサがロードされた当該プログラムを実行することで、制御部２２は本実施形態に係る表示制御方法を実行する。

また、表示制御プログラムの一部（例えば、視野画像データを生成するプログラム）がコンテンツサーバ３の記憶部３３に組み込まれていてもよい。この場合、記憶部３３に組み込まれた表示制御プログラムがＲＡＭ上にロードされて、プロセッサがロードされた当該プログラムを実行することで、制御部３２は本実施形態に係る表示制御方法の一部を実行する。

また、表示制御プログラムは、通信ネットワーク１上のコンピュータから通信インターフェース２６を介してダウンロードされてもよい。この場合も同様に、ダウンロードされた当該プログラムが記憶部２３に組み込まれる。また、表示制御プログラムの一部は、通信ネットワーク１上のコンピュータから通信インターフェース３６を介してダウンロードされてもよい。この場合も同様に、ダウンロードされた当該プログラムが記憶部３３に組み込まれる。

以上、本開示の実施形態について説明をしたが、本発明の技術的範囲が本実施形態の説明によって限定的に解釈されるべきではない。本実施形態は一例であって、特許請求の範囲に記載された発明の範囲内において、様々な実施形態の変更が可能であることが当業者によって理解されるところである。本発明の技術的範囲は特許請求の範囲に記載された発明の範囲及びその均等の範囲に基づいて定められるべきである。

１：通信ネットワーク
２：ユーザ端末
３：コンテンツサーバ
２０：通信バス
２１：制御装置
２２：制御部
２３：記憶部
２４：Ｉ／Ｏインターフェース
２６：通信インターフェース
２７：ヘッドマウントディスプレイ（ＨＭＤ）
２８：入力操作部
２９：センサ
３０：通信バス
３２：制御部
３３：記憶部
３６：通信インターフェース
１００：映像コンテンツ配信システム

Claims (7)

1. （ａ）ユーザの視線方向と３６０度空間画像データに基づいて、視野画像を示す視野画像データを生成するステップと、
   （ｂ）通信ネットワークを介してサーバからテロップ画像を示すテロップ画像データを受信するステップと、
   （ｃ）前記視野画像データと前記テロップ画像データに基づいて、前記視野画像と前記テロップ画像を合成した合成画像をヘッドマウントディスプレイに表示するステップと、
   を含み、
   前記ステップ（ｃ）では、
   前記視野画像の再生開始時刻と前記テロップ画像の再生開始時刻とを同期させることで、前記合成画像が前記ヘッドマウントディスプレイに表示され、
   前記ユーザの視線方向の変化に依らずに、前記テロップ画像が前記視野画像内の所定位置に表示されるように、前記合成画像が前記ヘッドマウントディスプレイに表示される、表示制御方法。
2. （ｄ）前記サーバから前記３６０度空間画像データを受信するステップをさらに含み、
   前記ステップ（ａ）では、ユーザ端末によって前記視野画像データが生成される、請求項１に記載の表示制御方法。
3. 前記ステップ（ａ）では、前記サーバによって前記視野画像データが生成され、
   前記表示制御方法は、
   （ｅ）前記サーバから前記視野画像データを受信するステップをさらに含む、請求項１に記載の表示制御方法。
4. （ａ）ユーザの視線方向と３６０度空間画像データに基づいて、視野画像を示す視野画像データを生成するステップと、
   （ｂ）テロップ画像を示すテロップ画像データと、前記テロップ画像を前記視野画像内に表示するタイミングを示すタイミング情報と、時間分割された前記視野画像データまたは時間分割された前記３６０度空間画像データの各々の受信を開始する時刻を示すスケジュール情報とを受信するステップと、
   （ｃ）前記タイミング情報と、前記スケジュール情報と、前記視野画像データと、前記テロップ画像データとに基づいて、前記視野画像と前記テロップ画像を合成した合成画像をヘッドマウントディスプレイに表示するステップと、
   を含む表示制御方法であって、
   前記ステップ（ａ）は、前記ステップ（ｂ）の後に行われ、
   前記ステップ（ｂ）では、前記テロップ画像データがまとめて受信され、
   前記ステップ（ｃ）では、前記ユーザの視線方向の変化に依らずに、前記テロップ画像が前記視野画像内の所定位置に表示されるように、前記合成画像が前記ヘッドマウントディスプレイに表示され、
   前記表示制御方法は、
   （ｄ）前記スケジュール情報に基づいて、サーバから前記時間分割された３６０度空間画像データを受信するステップ、又は、
   （ｅ）前記スケジュール情報に基づいて、前記サーバから前記時間分割された視野画像データを受信するステップを
   さらに含む、表示制御方法。
5. 前記表示制御方法は、
   （ｄ）前記スケジュール情報に基づいて、前記サーバから前記時間分割された３６０度空間画像データを受信するステップをさらに含み、
   前記ステップ（ａ）では、ユーザ端末によって前記視野画像データが生成される、請求項４に記載の表示制御方法。
6. 前記ステップ（ａ）では、前記サーバによって前記視野画像データが生成され、
   前記表示制御方法は、
   （ｅ）前記スケジュール情報に基づいて、前記サーバから前記時間分割された視野画像データを受信するステップをさらに含む、請求項４に記載の表示制御方法。
7. 請求項１から６のうちいずれか一項に記載の表示制御方法をコンピュータに実行させるためのプログラム。

Images