JP6934052B2 - 表示制御装置、表示制御方法及びプログラム - Google Patents

Description

本発明は、画像配置決定装置、表示制御装置、画像配置決定方法、表示制御方法及びプログラムに関する。

近年、インターネットを介した映像配信が盛んに行われるようになってきている。またこのような映像配信の技術の一例として、複数の映像を１つの映像ストリームにまとめて送信する技術が存在する。例えば特許文献１及び特許文献２には、合成する映像コンテンツを一旦復号し、サイズ変更し、画像合成後に再度符号化することによって、複数の映像コンテンツを含む送信対象の符号化ストリームを生成する技術が記載されている。

特開２０１２−９９８９０号公報 特開２０１３−１７２３７４号公報

複数の映像コンテンツを含む映像ストリームを送信するにあたって、専用の映像配信設備を導入することなく、既存の映像配信設備を使って送信できれば、映像配信設備の導入の手間もかからず余計なコストの発生を抑えることができる。

そこで発明者らは、複数の映像コンテンツのそれぞれのフレーム画像が配置された、既存の映像配信設備が対応可能な規格に従った縦横の長さのフレーム画像を含む映像ストリームを送信することを検討している。

以下、送信される映像ストリームを構成するフレーム画像を合成フレーム画像と呼び、合成フレーム画像に配置される、複数の映像コンテンツのそれぞれのフレーム画像を個別フレーム画像と呼ぶこととする。

ここで所与の規格に従った合成フレーム画像に対して複数の個別フレーム画像が適切に配置されなければ合成フレーム画像内において表示される映像に寄与しない余白が占める面積が広くなってしまう。しかし特許文献１や特許文献２に記載されている技術では、合成フレーム画像に対する個別フレーム画像の適切な配置を決定できなかった。

本発明は上記課題に鑑みてなされたものであって、その目的の１つは、所与の規格に従った合成フレーム画像に対する個別フレーム画像の適切な配置を決定できる画像配置決定装置、表示制御装置、画像配置決定方法、表示制御方法及びプログラムを提供することにある。

上記課題を解決するために、本発明に係る画像配置決定装置は、第１の画像と第２の画像とを含む複数の画像を取得する取得部と、配信対象となる第３の画像が占める領域内に所定の第１の配置方法で前記第１の画像を配置した際における余白を特定する余白特定部と、前記余白の形状と、前記第２の画像の形状と、に基づいて、前記余白に前記第２の画像を配置する配置方法を第２の配置方法として決定する決定部と、を含む。

本発明の一態様では、前記第１の配置方法で前記第１の画像が配置され前記第２の配置方法で前記第２の画像が配置された前記第３の画像を送信する送信部、をさらに含む。

また、本発明の一態様では、前記決定部は、前記第２の画像を前記第１の画像と同じ向きに前記余白に並べて配置した際に前記第２の画像が前記余白をはみだすと判定される場合に、前記第２の画像を前記第１の画像とは異なる向きで前記余白に配置する方法を前記第２の配置方法として決定する。

あるいは、前記決定部は、前記第２の画像を前記第１の画像と異なる向きで前記余白に配置することが可能であると判定される場合に、当該配置の方法を前記第２の配置方法として決定する。

また、本発明の一態様では、前記決定部は、前記第２の画像を分割した画像の並ぶ方向を変更することで前記余白に配置することが可能であると判定される場合に、当該配置の方法を前記第２の配置方法として決定する。

また、本発明の一態様では、前記決定部は、前記余白のサイズが前記第２の画像のサイズ未満である場合に、前記第２の画像を縮小した上で前記余白に配置する配置方法を前記第２の配置方法として決定する。

また、本発明に係る表示制御装置は、第１の画像が占める第１の領域と第２の画像が占める第２の領域とを含む第３の画像を受信する画像受信部と、前記第３の画像における前記第１の画像の配置方法である第１の配置方法、及び、前記第３の画像における前記第２の画像の配置方法である第２の画像の配置方法、が示されているデータを受信するデータ受信部と、前記データが示す前記第１の配置方法及び前記第２の配置方法に基づいて、前記第３の画像から前記第１の画像及び前記第２の画像を抽出する抽出部と、抽出される前記第１の画像及び前記第２の画像の少なくとも一方を表示させる表示制御部と、を含む。

また、本発明に係る画像配置決定方法は、第１の画像と第２の画像とを含む複数の画像を取得するステップと、配信対象となる第３の画像が占める領域内に所定の第１の配置方法で前記第１の画像を配置した際における余白を特定するステップと、前記余白の形状と、前記第２の画像の形状と、に基づいて、前記余白に前記第２の画像を配置する配置方法を第２の配置方法として決定するステップと、を含む。

また、本発明に係る表示制御方法は、第１の画像が占める第１の領域と第２の画像が占める第２の領域とを含む第３の画像を受信するステップと、前記第３の画像における前記第１の画像の配置方法である第１の配置方法、及び、前記第３の画像における前記第２の画像の配置方法である第２の画像の配置方法、が示されているデータを受信するステップと、前記データが示す前記第１の配置方法及び前記第２の配置方法に基づいて、前記第３の画像から前記第１の画像及び前記第２の画像を抽出するステップと、抽出される前記第１の画像及び前記第２の画像の少なくとも一方を表示させるステップと、を含む。

また、本発明に係るプログラムは、第１の画像と第２の画像とを含む複数の画像を取得する手順、配信対象となる第３の画像が占める領域内に所定の第１の配置方法で前記第１の画像を配置した際における余白を特定する手順、前記余白の形状と、前記第２の画像の形状と、に基づいて、前記余白に前記第２の画像を配置する配置方法を第２の配置方法として決定する手順、をコンピュータに実行させる。

また、本発明に係る別のプログラムは、第１の画像が占める第１の領域と第２の画像が占める第２の領域とを含む第３の画像を受信する手順、前記第３の画像における前記第１の画像の配置方法である第１の配置方法、及び、前記第３の画像における前記第２の画像の配置方法である第２の画像の配置方法、が示されているデータを受信する手順、前記データが示す前記第１の配置方法及び前記第２の配置方法に基づいて、前記第３の画像から前記第１の画像及び前記第２の画像を抽出する手順、抽出される前記第１の画像及び前記第２の画像の少なくとも一方を表示させる手順、をコンピュータに実行させる。

本発明の一実施形態に係る映像配信システムの全体構成の一例を示す図である。 本発明の一実施形態に係る映像配信装置の構成の一例を示す図である。 本発明の一実施形態に係るユーザシステムの構成の一例を示す図である。 本発明の一実施形態に係るヘッドマウントディスプレイの構成の一例を示す図である。 テクスチャ画像の一例を示す図である。 テクスチャ画像の一例を示す図である。 仮想空間の一例を示す図である。 画像の配置方法の一例を示す図である。 画像の配置方法の一例を示す図である。 本発明の一実施形態に係る映像配信装置及びヘッドマウントディスプレイサーバで実装される機能の一例を示す機能ブロック図である。 マニフェストファイルの一例を示す図である。 マニフェストファイルの一例を示す図である。 本発明の一実施形態に係る映像配信装置で行われる処理の流れの一例を示すフロー図である。 本発明の一実施形態に係る映像配信装置で行われる処理の流れの一例を示すフロー図である。 本発明の一実施形態に係る映像配信装置で行われる処理の流れの一例を示すフロー図である。 合成フレーム画像に相当する領域の左上隅にＶＲフレーム画像に相当する領域を確保した際の余白に相当する領域の一例を示す図である。 バーチャルスクリーンフレーム画像に相当する領域の一例を示す図である。 本発明の一実施形態に係るヘッドマウントディスプレイで行われる処理の流れの一例を示すフロー図である。 画像の配置方法の一例を示す図である。 マニフェストファイルの一例を示す図である。 画像の配置方法の一例を示す図である。 マニフェストファイルの一例を示す図である。 画像の配置方法の一例を示す図である。 マニフェストファイルの一例を示す図である。

以下、本発明の一実施形態について図面に基づき詳細に説明する。

図１は、本発明の一実施形態に係る映像配信システム１０の全体構成の一例を示す図である。図１に示すように、本実施形態に係る映像配信システム１０は、映像配信装置１２と、ユーザシステム１４と、カメラ１６（カメラ１６ａ及びカメラ１６ｂ）と、を含んでいる。映像配信装置１２及びユーザシステム１４は、インターネット等のコンピュータネットワーク１８に接続されており、映像配信装置１２及びユーザシステム１４は互いに通信可能となっている。またカメラ１６と映像配信装置１２とは通信可能となっており、カメラが撮影した映像は映像配信装置１２に送信される。

図２は、本実施形態に係る映像配信装置１２の構成の一例を示す図である。本実施形態に係る映像配信装置１２は、例えば、映像配信サーバなどのコンピュータである。そして図２に示すように、本実施形態に係る映像配信装置１２には、例えばプロセッサ１２ａ、記憶部１２ｂ、通信部１２ｃ、エンコーダ部１２ｄ、表示部１２ｅ、操作部１２ｆ、などが含まれる。

プロセッサ１２ａは、例えば映像配信装置１２にインストールされるプログラムに従って動作するマイクロプロセッサ等の制御デバイスである。

記憶部１２ｂは、例えばＲＯＭやＲＡＭ等の記憶素子やハードディスクドライブなどである。記憶部１２ｂには、プロセッサ１２ａによって実行されるプログラムなどが記憶される。

通信部１２ｃは、例えばネットワークボードや無線ＬＡＮモジュールなどの通信インタフェースである。

エンコーダ部１２ｄは、例えばプロセッサ１２ａが生成する映像等のコンテンツのデータ、又は、記憶部１２ｂが記憶している映像等のコンテンツのデータをエンコードするハードウェアエンコーダである。

表示部１２ｅは、液晶ディスプレイ等の表示デバイスであって、プロセッサ１２ａの指示に従って各種の画像を表示する。

操作部１２ｆは、キーボード、マウス、ゲームコンソールのコントローラ等のユーザインタフェースであって、ユーザの操作入力を受け付けて、その内容を示す信号をプロセッサ１２ａに出力する。

図３は、本発明の一実施形態に係るユーザシステム１４の構成の一例を示す図である。図４は、本実施形態に係るヘッドマウントディスプレイ（ＨＭＤ）２０の構成の一例を示す図である。

図３に示すように、本実施形態に係るユーザシステム１４は、ＨＭＤ２０とエンタテインメント装置２２と中継装置２４とディスプレイ２６とカメラマイクユニット２８とコントローラ３０とを含んでいる。

本実施形態に係るＨＭＤ２０には、例えば図４に示すように、プロセッサ２０ａ、記憶部２０ｂ、通信部２０ｃ、入出力部２０ｄ、デコーダ部２０ｅ、表示部２０ｆ、センサ部２０ｇ、音声出力部２０ｈ、が含まれる。

プロセッサ２０ａは、例えばＨＭＤ２０にインストールされるプログラムに従って動作するマイクロプロセッサ等のプログラム制御デバイスである。

記憶部２０ｂは、例えばＲＯＭやＲＡＭ等の記憶素子などである。記憶部２０ｂには、プロセッサ２０ａによって実行されるプログラムなどが記憶される。

通信部２０ｃは、例えばネットワークボードや無線ＬＡＮモジュールなどの通信インタフェースである。

入出力部２０ｄは、例えばＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）ポート、ＵＳＢポート、ＡＵＸポートなどの入出力ポートである。

デコーダ部２０ｅは、例えばコンテンツのデータのデコードを行うハードウェアである。デコーダ部２０ｅは、例えば通信部２０ｃや入出力部２０ｄが受信するコンテンツのデータをデコードする。

表示部２０ｆは、ＨＭＤ２０の前側に配置されている、例えば液晶ディスプレイや有機ＥＬディスプレイ等のディスプレイであり、エンタテインメント装置２２が生成する映像やエンタテインメント装置２２が受信する映像などを表示させる。また表示部２０ｆは、ＨＭＤ２０の筐体に収容される。表示部２０ｆは、例えば通信部２０ｃや入出力部２０ｄが受信する、エンタテインメント装置２２が出力して中継装置２４で中継される映像信号が表す映像を出力するようにしてもよい。本実施形態に係る表示部２０ｆは、例えば左目用の画像と右目用の画像を表示することによって三次元画像を表示させることができるようになっている。なお表示部２０ｆは三次元画像の表示ができず二次元画像の表示のみができるものであっても構わない。

センサ部２０ｇは、例えば加速度センサやモーションセンサなどといったセンサである。センサ部２０ｇは、ＨＭＤ２０の回転量、移動量などの計測結果を所定のサンプリングレートで、プロセッサ２０ａに出力する。

音声出力部２０ｈは、例えばヘッドホンやスピーカ等であり、エンタテインメント装置２２が生成する音声データが表す音声やエンタテインメント装置２２が受信する音声データが表す音声などを出力する。音声出力部２０ｈは、例えば通信部２０ｃや入出力部２０ｄが受信する、エンタテインメント装置２２が出力して中継装置２４で中継される音声信号が表す音声を出力する。

本実施形態に係るエンタテインメント装置２２は、例えばゲームコンソール、ＤＶＤプレイヤ、Ｂｌｕ−ｒａｙ（登録商標）プレイヤなどといったコンピュータである。本実施形態に係るエンタテインメント装置２２は、例えば記憶されているゲームプログラムの実行や光ディスクに記録されたコンテンツの再生などによって映像や音声を生成する。そして本実施形態に係るエンタテインメント装置２２は、生成される映像を表す映像信号や生成される音声を表す音声信号を、中継装置２４を経由して、ＨＭＤ２０やディスプレイ２６に出力する。

また本実施形態に係るエンタテインメント装置２２は、映像配信装置１２が送信する映像信号や音声信号を受信して、当該映像信号や当該音声信号を、中継装置２４を経由して、ＨＭＤ２０やディスプレイ２６に出力する。

本実施形態に係る中継装置２４は、エンタテインメント装置２２から出力される映像信号や音声信号を中継してＨＭＤ２０やディスプレイ２６に出力するコンピュータである。

本実施形態に係るカメラマイクユニット２８は、例えば被写体を撮像した画像をエンタテインメント装置２２に出力するカメラ２８ａ及び周囲の音声を取得して当該音声を音声データに変換してエンタテインメント装置２２に出力するマイク２８ｂを含んでいる。また本実施形態に係るカメラ２８ａはステレオカメラである。

ＨＭＤ２０と中継装置２４とは、例えば、ＨＤＭＩケーブルやＵＳＢケーブルなどを介して接続されており、データの送受信が互いに可能になっている。なおＨＭＤ２０は、通信部２０ｃを介して中継装置２４との間でデータの送受信を行ってもよい。エンタテインメント装置２２と中継装置２４とは、例えば、ＨＤＭＩケーブルやＵＳＢケーブルなどを介して接続されており、データの送受信が互いに可能になっている。中継装置２４とディスプレイ２６とは、例えば、ＨＤＭＩケーブルなどを介して接続されている。エンタテインメント装置２２とカメラマイクユニット２８とは、例えば、ＡＵＸケーブルなどを介して接続されている。

本実施形態に係るコントローラ３０は、エンタテインメント装置２２に対する操作入力を行うための操作入力装置である。ユーザは、コントローラ３０が備える方向キーやボタンを押下したり、操作スティックを傾けたりすることで、コントローラ３０を用いて各種の操作入力を行うことができる。そして本実施形態に係るコントローラ３０は、操作入力に対応付けられる入力データをエンタテインメント装置２２に出力する。また本実施形態に係るコントローラ３０は、ＵＳＢポートを備えている。そしてコントローラ３０は、ＵＳＢケーブルでエンタテインメント装置２２と接続することで、有線で入力データをエンタテインメント装置２２に出力することができる。また本実施形態に係るコントローラ３０は、無線通信モジュール等を備えており、無線で入力データをエンタテインメント装置２２に出力することができるようにもなっている。

本実施形態では例えば、コンサート等のイベントが行われているイベント会場の様子を表す映像がカメラ１６によって撮影される。ここでは例えば、カメラ１６ａ及びカメラ１６ｂによって互いに異なる位置から互いに異なる映像が撮影されることとする。例えばカメラ１６ａによってイベント会場の全体の様子が撮影され、カメラ１６ｂによってイベント会場のステージ上の出演者が詳細に撮影されてもよい。またカメラ１６ａは、例えば全方位カメラなどであり、１８０度より広い視野角の映像が撮影可能なカメラであってもよい。

以下、カメラ１６ａによって撮影される映像をＶＲ映像と呼び、カメラ１６ｂによって撮影される映像をバーチャルスクリーン映像と呼ぶこととする。

そして本実施形態に係る映像配信装置１２は、例えばカメラ１６ａやカメラ１６ｂによって撮影される映像を受信する。そして映像配信装置１２において、例えばカメラ１６ａによって撮影されたフレーム画像と当該フレーム画像と同じ時刻にカメラ１６ｂによって撮影されたフレーム画像とが配置されたフレーム画像が生成される。ここで例えば、同じタイムスタンプに関連付けられているカメラ１６ａによって撮影されたフレーム画像とカメラ１６ｂによって撮影されたフレーム画像とが配置されたフレーム画像が生成されてもよい。

以下、カメラ１６ａによって撮影されたフレーム画像、及び、カメラ１６ｂによって撮影されたフレーム画像を個別フレーム画像と呼び、複数の個別フレーム画像が配置されたフレーム画像を合成フレーム画像と呼ぶこととする。またカメラ１６ａによって撮影された個別フレーム画像をＶＲフレーム画像４０と呼び、カメラ１６ｂによって撮影された個別フレーム画像をバーチャルスクリーンフレーム画像４２と呼ぶこととする（図５Ａ及び図５Ｂ参照）。

そして本実施形態では、このようにして生成される合成フレーム画像を含む映像がエンコードされた上で、映像配信装置１２からユーザシステム１４に配信される。そして映像配信装置１２から配信された映像はユーザシステム１４においてデコードされる。そしてユーザシステム１４は、デコードされた映像に含まれる合成フレーム画像から、ＶＲフレーム画像４０とバーチャルスクリーンフレーム画像４２とを抽出する。そして、ユーザシステム１４は、抽出されたＶＲフレーム画像４０及びバーチャルスクリーンフレーム画像４２に基づいて、図５Ａ及び図５Ｂに例示するテクスチャ画像４４（４４ａ，４４ｂ）を生成する。

本実施形態では例えば、生成されるテクスチャ画像４４は、図６に例示する仮想空間４６に配置されている球面状の仮想オブジェクトである背景オブジェクト４８の内側にマッピングされる。

そして背景オブジェクト４８の中心に配置された視点５０から視線方向５２を見た様子を表す画像がＨＭＤ２０の表示部２０ｆに表示される。本実施形態では例えば背景オブジェクト４８の内側にマッピングされているテクスチャ画像４４の一部が表示部２０ｆに表示される。ここで例えば、センサ部２０ｇによって検出される、ＨＭＤ２０を装着したユーザの頭部の位置や向きの変化に応じて、仮想空間４６内における視点５０の位置や視線方向５２が変化するようにしてもよい。こうすればユーザは頭部の向きを変化させることでテクスチャ画像４４の様々な部分を視覚できることとなる。

図５ＡにはＶＲフレーム画像４０がテクスチャ画像４４ａとして示されている。一方、図５ＢにはＶＲフレーム画像４０においてステージの像が配置されている位置にバーチャルスクリーンフレーム画像４２が重畳配置された画像がテクスチャ画像４４ｂとして示されている。なお図５Ｂに示すテクスチャ画像４４ｂにおいて、バーチャルスクリーンフレーム画像４２は長方形の画像として表示部２０ｆに表示されるよう変形された上でＶＲフレーム画像４０に重畳配置されてもよい。またＶＲフレーム画像４０にバーチャルスクリーンフレーム画像４２が重畳配置されたテクスチャ画像４４ｂが背景オブジェクト４８の内側にマッピングされる必要はない。例えば、仮想空間４６内に配置される板状の仮想オブジェクトにバーチャルスクリーンフレーム画像４２がテクスチャ画像４４ｂとしてマッピングされるようにしてもよい。

そして本実施形態では、ＶＲフレーム画像４０がテクスチャ画像４４ａとして用いられる状態とバーチャルスクリーンフレーム画像４２が重畳されたＶＲフレーム画像４０がテクスチャ画像４４ｂとして用いられる状態とが切替可能になっている。ここで例えばユーザがコントローラ３０を操作することにより、上述の２つの状態を切り替えることができるようにしてもよい。

以上のようにして本実施形態によれば、複数のカメラ１６によって撮影された個別フレーム画像を１の合成フレーム画像としてまとめてユーザに提供できることとなる。

ここで本実施形態では、合成フレーム画像の縦横の長さは予め定められていることとする。そして本実施形態では以下のようにして、合成フレーム画像に予め定められた配置方法でＶＲフレーム画像４０を配置した際の余白の形状に基づいて、バーチャルスクリーンフレーム画像４２の配置方法が決定される。そのため本実施形態によれば、所与の規格に従った合成フレーム画像に対する個別フレーム画像の適切な配置を決定できることとなる。

図７Ａ及び図７Ｂには、ＶＲフレーム画像４０及びバーチャルスクリーンフレーム画像４２の配置方法の一例が示されている。図７Ａの例でも図７Ｂの例でも、ＶＲフレーム画像４０は合成フレーム画像の左上隅に配置されることとする。

図７Ａの例では、バーチャルスクリーンフレーム画像４２が、ＶＲフレーム画像４０に対して時計回りに９０度回転された状態でＶＲフレーム画像４０の右に配置されている。また図７Ｂの例では、バーチャルスクリーンフレーム画像４２が横に３分割されて、分割されたバーチャルスクリーンフレーム画像４２の並ぶ方向が縦から横に変更された上で、ＶＲフレーム画像４０の下に配置されている。このように例えば、バーチャルスクリーンフレーム画像４２の配置方法として、回転して配置する方法や分割して配置する方法が決定されてもよい。

以下、本実施形態に係る映像配信装置１２及びＨＭＤ２０の機能、及び、映像配信装置１２及びＨＭＤ２０で実行される処理についてさらに説明する。

図８は、本実施形態に係る映像配信装置１２及びＨＭＤ２０で実装される機能の一例を示す機能ブロック図である。なお、本実施形態に係る映像配信装置１２及びＨＭＤ２０で、図８に示す機能のすべてが実装される必要はなく、また、図８に示す機能以外の機能が実装されていても構わない。

図８に示すように、映像配信装置１２は、機能的には例えば、撮影画像取得部６０、余白特定部６２、配置決定部６４、マニフェストファイル生成部６６、マニフェストファイル記憶部６８、マニフェストファイル送信部７０、映像生成部７２、映像送信部７４、を含んでいる。撮影画像取得部６０は、プロセッサ１２ａ及び通信部１２ｃを主として実装される。余白特定部６２、配置決定部６４、マニフェストファイル生成部６６は、プロセッサ１２ａを主として実装される。マニフェストファイル記憶部６８は、記憶部１２ｂを主として実装される。マニフェストファイル送信部７０、映像送信部７４は、通信部１２ｃを主として実装される。映像生成部７２は、プロセッサ１２ａ及びエンコーダ部１２ｄを主として実装される。本実施形態に係る映像配信装置１２は、合成フレーム画像におけるＶＲフレーム画像４０及びバーチャルスクリーンフレーム画像４２の配置を決定する画像配置決定装置としての役割を担っている。

以上の機能は、コンピュータである映像配信装置１２にインストールされた、以上の機能に対応する指令を含むプログラムをプロセッサ１２ａで実行することにより実装されてもよい。このプログラムは、例えば、光ディスク、磁気ディスク、磁気テープ、光磁気ディスク、フラッシュメモリ等のコンピュータ読み取り可能な情報記憶媒体を介して、あるいは、インターネットなどを介して映像配信装置１２に供給されてもよい。

また図８に示すように、ＨＭＤ２０は、機能的には例えば、マニフェストファイル受信部８０、マニフェストファイル記憶部８２、映像受信部８４、画像抽出部８６、表示制御操作受付部８８、表示制御部９０、を含んでいる。マニフェストファイル受信部８０、映像受信部８４は、入出力部２０ｄ又は通信部２０ｃを主として実装される。マニフェストファイル記憶部８２は、記憶部２０ｂを主として実装される。画像抽出部８６は、プロセッサ２０ａ及びデコーダ部２０ｅを主として実装される。表示制御操作受付部８８は、プロセッサ２０ａ及び入出力部２０ｄを主として実装される。なお表示制御操作受付部８８が、プロセッサ２０ａ及び通信部２０ｃを主として実装されてもよい。表示制御部９０は、プロセッサ２０ａ及び表示部２０ｆを主として実装される。本実施形態に係るＨＭＤ２０は、ＶＲフレーム画像４０及びバーチャルスクリーンフレーム画像４２の少なくとも一方を表示させる表示制御装置としての役割を担っている。

以上の機能は、コンピュータであるＨＭＤ２０にインストールされた、以上の機能に対応する指令を含むプログラムをプロセッサ２０ａで実行することにより実装されてもよい。このプログラムは、例えば、光ディスク、磁気ディスク、磁気テープ、光磁気ディスク、フラッシュメモリ等のコンピュータ読み取り可能な情報記憶媒体を介して、あるいは、インターネットなどを介してＨＭＤ２０に供給されてもよい。

撮影画像取得部６０は、本実施形態では例えば、ＶＲフレーム画像４０とバーチャルスクリーンフレーム画像４２とを含む複数の画像を取得する。撮影画像取得部６０は、例えば、カメラ１６ａが撮影した映像、及び、カメラ１６ｂが撮影した映像を取得する。

余白特定部６２は、本実施形態では例えば、配信対象となる合成フレーム画像が占める領域内に所定の第１の配置方法でＶＲフレーム画像４０を配置した際における余白を特定する。ここで所定の第１の配置方法とは上述の例では、ＶＲフレーム画像４０を合成フレーム画像の左上隅に配置するという方法を指す。

ここで余白特定部６２が、例えば映像配信装置１２のオペレータ（映像配信担当者）により入力される、ＶＲフレーム画像４０、バーチャルスクリーンフレーム画像４２、及び、合成フレーム画像の縦横の長さに基づいて、余白を特定してもよい。また余白特定部６２が例えば、撮影画像取得部６０が取得するＶＲフレーム画像４０とバーチャルスクリーンフレーム画像４２、及び、映像配信装置１２の設定ファイル等に示されている合成フレーム画像の縦横の長さに基づいて、余白を特定してもよい。

配置決定部６４は、本実施形態では例えば、余白特定部６２が特定する余白の形状とバーチャルスクリーンフレーム画像４２の形状とに基づいて、当該余白にバーチャルスクリーンフレーム画像４２を配置する第２の配置方法を決定する。ここで上述のように回転して配置する方法や分割して配置する方法が第２の配置方法として決定されてもよい。また例えば、以下で説明するようにバーチャルスクリーンフレーム画像４２を縮小した上で余白に配置する配置方法が第２の配置方法として決定されてもよい。

マニフェストファイル生成部６６は、本実施形態では例えば、上述の第１の配置方法及び上述の第２の配置方法が少なくとも示されている、個別フレーム画像の属性の値を示すデータを生成する。ここで例えば、個別フレーム画像の属性の値が記述されたマニフェストファイルが生成されてもよい。そして本実施形態では、マニフェストファイル生成部６６は、生成されるマニフェストファイルをマニフェストファイル記憶部６８に記憶させる。

図９Ａには、図７Ａの配置に対応付けられるマニフェストファイルの一例が示されており、図９Ｂには、図７Ｂの配置に対応付けられるマニフェストファイルの一例が示されている。

図９Ａ及び図９Ｂの例では、［ＶＲ＿Ｍｏｖｉｅ＿１］の次の行から［ＶｉｒｔｕａｌＳｃｒｅｅｎ＿１］の手前の行までにＶＲフレーム画像４０の属性の値が示されている。

例えばＶＲフレーム画像４０のプロジェクションの形式が属性Ｐｒｏｊｅｃｔｉｏｎの値として設定される。図９Ａ及び図９Ｂに示すように、例えばプロジェクションの形式が正距円筒図法の場合は値“ＥＱ”が属性Ｐｒｏｊｅｃｔｉｏｎの値として設定される。

また例えばＶＲフレーム画像４０が三次元画像であるか否かが属性３Ｄの値として設定される。ここでＶＲフレーム画像４０が三次元画像である場合はその形式が属性３Ｄの値として設定される。例えばＶＲフレーム画像４０が二次元画像である場合は、値“ＮＯ”が属性３Ｄの値として設定される。また例えばＶＲフレーム画像４０がサイドバイサイド形式の三次元画像である場合は、値“ＳＢＳ”が属性３Ｄの値として設定される。また例えばＶＲフレーム画像４０がトップアンドボトム形式の三次元画像である場合は、値“ＴＢ”が属性３Ｄの値として設定される。

また例えば合成フレーム画像の左上隅を原点とした場合のＶＲフレーム画像４０の左上隅の横方向の座標値及び縦方向の座標値が、それぞれ、属性ｌｅｆｔ＿ｐｏｓｉｔｉｏｎの値、属性ｔｏｐ＿ｐｏｓｉｔｉｏｎの値として設定される。また例えばＶＲフレーム画像４０の横の長さ及び縦の長さが、それぞれ、属性ｘ＿ｓｉｚｅの値、属性ｙ＿ｓｉｚｅの値として設定される。また例えばＶＲフレーム画像４０によってカバーされる水平方向の角度及び鉛直方向の角度が、それぞれ、属性ｈ＿ａｎｇｌｅの値、属性ｖ＿ａｎｇｌｅの値として設定される。なお属性Ｐｒｏｊｅｃｔｉｏｎの値によっては属性ｈ＿ａｎｇｌｅの値及び属性ｖ＿ａｎｇｌｅの値は設定されなくてもよい。その他、プロジェクション形式固有で設定すべき情報が属性Ｅｘｔｅｎｄ＿ｉｎｆｏの値として設定されてもよい。

図９Ａ及び図９Ｂの例では、［ＶｉｒｔｕａｌＳｃｒｅｅｎ＿１］の次の行からバーチャルスクリーンフレーム画像４２の属性の値が示されている。

例えばバーチャルスクリーンフレーム画像４２が三次元画像であるか否かが属性３Ｄの値として設定される。ここでバーチャルスクリーンフレーム画像４２が三次元画像である場合はその形式が属性３Ｄの値として設定される。例えば、バーチャルスクリーンフレーム画像４２が二次元画像である場合は、値“ＮＯ”が属性３Ｄの値として設定される。また例えばバーチャルスクリーンフレーム画像４２がサイドバイサイド形式の三次元画像である場合は、値“ＳＢＳ”が属性３Ｄの値として設定される。また例えばバーチャルスクリーンフレーム画像４２がトップアンドボトム形式の三次元画像である場合は、値“ＴＢ”が属性３Ｄの値として設定される。

また例えばバーチャルスクリーンフレーム画像４２がＶＲフレーム画像４０に対して回転させた向きで配置されるか否かが、属性ｖｉｒｔｕａｌｓｃｒｅｅｎ＿ｒｏｔａｔｅの値として設定される。例えばバーチャルスクリーンフレーム画像４２がＶＲフレーム画像４０と同じ向きに配置される場合は属性ｖｉｒｔｕａｌｓｃｒｅｅｎ＿ｒｏｔａｔｅの値として０が設定される。また例えばバーチャルスクリーンフレーム画像４２がＶＲフレーム画像４０に対して時計回りに９０度回転して配置される場合は属性ｖｉｒｔｕａｌｓｃｒｅｅｎ＿ｒｏｔａｔｅの値として１が設定される。また例えばバーチャルスクリーンフレーム画像４２がＶＲフレーム画像４０に対して反時計回りに９０度回転して配置される場合は属性ｖｉｒｔｕａｌｓｃｒｅｅｎ＿ｒｏｔａｔｅの値として２が設定される。

また例えばバーチャルスクリーンフレーム画像４２の分割数が、属性ｖｉｒｔｕａｌｓｃｒｅｅｎ＿ｄｅｖｉｄｅｄの値として設定される。ここでｎ個に分割される場合は、属性ｖｉｒｔｕａｌｓｃｒｅｅｎ＿ｄｅｖｉｄｅｄの値としてｎが設定される。なおバーチャルスクリーンフレーム画像４２が分割されない場合は属性ｖｉｒｔｕａｌｓｃｒｅｅｎ＿ｄｅｖｉｄｅｄの値として１が設定される。

また例えば分割されたバーチャルスクリーンフレーム画像４２の配置形式が属性ｖｉｒｔｕａｌｓｃｒｅｅｎ＿ｄｅｖｉｄｅｄ＿Ｔｙｐｅの値として設定される。例えば分割されたバーチャルスクリーンフレーム画像４２が横方向に並んで合成フレーム画像に配置される場合には、属性ｖｉｒｔｕａｌｓｃｒｅｅｎ＿ｄｅｖｉｄｅｄ＿Ｔｙｐｅの値として１が設定される。この場合は、横に並んで合成フレーム画像に配置されている分割後のバーチャルスクリーンフレーム画像４２を縦に並び替えることで分割前のバーチャルスクリーンフレーム画像４２が再現されることとなる。また例えば分割されたバーチャルスクリーンフレーム画像４２が縦方向に並んで配置される場合には、属性ｖｉｒｔｕａｌｓｃｒｅｅｎ＿ｄｅｖｉｄｅｄ＿Ｔｙｐｅの値として２が設定される。この場合は、縦に並んで合成フレーム画像に配置されている分割後のバーチャルスクリーンフレーム画像４２を横に並び替えることで分割前のバーチャルスクリーンフレーム画像４２が再現されることとなる。

また例えば合成フレーム画像の左上隅を原点とした場合のバーチャルスクリーンフレーム画像４２の左上隅の横方向の座標値が属性ｌｅｆｔ＿ｐｏｓｉｔｉｏｎ＿ｍの値として設定される（１≦ｍ≦ｎ）。また、合成フレーム画像の左上隅を原点とした場合のバーチャルスクリーンフレーム画像４２の左上隅の縦方向の座標値が属性ｔｏｐ＿ｐｏｓｉｔｉｏｎ＿ｍの値として設定される（１≦ｍ≦ｎ）。またバーチャルスクリーンフレーム画像４２の横の長さ及び縦の長さが、それぞれ、属性ｘ＿ｓｉｚｅ＿ｍの値、属性ｙ＿ｓｉｚｅ＿ｍの値として設定される（１≦ｍ≦ｎ）。なお値ｎは上述のようにバーチャルスクリーンフレーム画像４２の分割数を指す。また値ｍはｎ個に分割されたバーチャルスクリーンフレーム画像４２における順序を示している。なお、バーチャルスクリーンフレーム画像４２を縮小した上で余白に配置する配置方法を第２の配置方法に含むことが決定された場合は、縮小後のサイズが属性ｘ＿ｓｉｚｅ＿ｍの値、属性ｙ＿ｓｉｚｅ＿ｍの値として設定されてもよい。

例えば図７Ｂに示すように、バーチャルスクリーンフレーム画像４２が３個に分割されることとする。この場合図９Ｂに示すように、分割されたバーチャルスクリーンフレーム画像４２のうち１番目のものにつき、属性ｌｅｆｔ＿ｐｏｓｉｔｉｏｎ＿１の値、属性ｔｏｐ＿ｐｏｓｉｔｉｏｎ＿１の値、属性ｘ＿ｓｉｚｅ＿１の値、属性ｙ＿ｓｉｚｅ＿１の値が設定される。同様に、分割されたバーチャルスクリーンフレーム画像４２のうち２番目のものにつき、属性ｌｅｆｔ＿ｐｏｓｉｔｉｏｎ＿２の値、属性ｔｏｐ＿ｐｏｓｉｔｉｏｎ＿２の値、属性ｘ＿ｓｉｚｅ＿２の値、属性ｙ＿ｓｉｚｅ＿２の値が設定される。同様に分割されたバーチャルスクリーンフレーム画像４２のうち３番目のものにつき、属性ｌｅｆｔ＿ｐｏｓｉｔｉｏｎ＿３の値、属性ｔｏｐ＿ｐｏｓｉｔｉｏｎ＿３の値、属性ｘ＿ｓｉｚｅ＿３の値、属性ｙ＿ｓｉｚｅ＿３の値が設定される。

この例では、分割されたバーチャルスクリーンフレーム画像４２のうち１番目のもの、２番目のもの、３番目のもの、が左から順に横に並んで配置される。そしてこの場合は、左に配置されているもの、真ん中に配置されているもの、右に配置されているもの、の順に分割後のバーチャルスクリーンフレーム画像４２を上から縦に並べて配置することで元のバーチャルスクリーンフレーム画像４２が再現される。

また例えばテクスチャ画像４４においてＶＲフレーム画像４０に対してバーチャルスクリーンフレーム画像４２を重畳させる大きさが属性ｏｖｅｒｌａｙ＿ｓｉｚｅ＿ｄｅｇｒｅｅ＿ｐの値として設定される。そしてテクスチャ画像４４においてＶＲフレーム画像４０に対してバーチャルスクリーンフレーム画像４２を重畳させる水平方向における位置が属性ｏｖｅｒｌａｙ＿ｓｉｚｅ＿ｐｏｓｉｔｉｏｎ＿ｘ＿ｄｅｇｒｅｅ＿ｐの値として設定される。またテクスチャ画像４４においてＶＲフレーム画像４０に対してバーチャルスクリーンフレーム画像４２を重畳させる垂直方向における位置が属性ｏｖｅｒｌａｙ＿ｓｉｚｅ＿ｐｏｓｉｔｉｏｎ＿ｙ＿ｄｅｇｒｅｅ＿ｐの値として設定される。

なお、属性ｏｖｅｒｌａｙ＿ｓｉｚｅ＿ｄｅｇｒｅｅ＿ｐの値、属性ｏｖｅｒｌａｙ＿ｓｉｚｅ＿ｐｏｓｉｔｉｏｎ＿ｘ＿ｄｅｇｒｅｅ＿ｐの値、属性ｏｖｅｒｌａｙ＿ｓｉｚｅ＿ｐｏｓｉｔｉｏｎ＿ｙ＿ｄｅｇｒｅｅ＿ｐの値は、例えば角度により表現されてもよい。ここで値ｐは、ＶＲフレーム画像４０の順序を表す数である。例えば合成フレーム画像に複数のＶＲフレーム画像４０が含まれることがある。この場合は、それぞれのＶＲフレーム画像４０に対応する、属性ｏｖｅｒｌａｙ＿ｓｉｚｅ＿ｄｅｇｒｅｅ＿ｐの値、属性ｏｖｅｒｌａｙ＿ｓｉｚｅ＿ｐｏｓｉｔｉｏｎ＿ｘ＿ｄｅｇｒｅｅ＿ｐの値、及び、属性ｏｖｅｒｌａｙ＿ｓｉｚｅ＿ｐｏｓｉｔｉｏｎ＿ｙ＿ｄｅｇｒｅｅ＿ｐの値が設定される。

図７Ａ及び図７Ｂに示す例では合成フレーム画像に１個のＶＲフレーム画像４０が含まれている。そのため図９Ａ及び図９Ｂに示すマニフェストファイルには、属性ｏｖｅｒｌａｙ＿ｓｉｚｅ＿ｄｅｇｒｅｅ＿１の値、属性ｏｖｅｒｌａｙ＿ｓｉｚｅ＿ｐｏｓｉｔｉｏｎ＿ｘ＿ｄｅｇｒｅｅ＿１の値、及び、属性ｏｖｅｒｌａｙ＿ｓｉｚｅ＿ｐｏｓｉｔｉｏｎ＿ｙ＿ｄｅｇｒｅｅ＿１の値が設定されている。

なおマニフェストファイルに示される属性の値は、相対値で表現されてもよい。例えば、属性ｌｅｆｔ＿ｐｏｓｉｔｉｏｎの値や属性ｘ＿ｓｉｚｅの値として、合成フレーム画像の横の長さに対する割合がパーセント表示により表現されてもよい。また例えば、属性ｔｏｐ＿ｐｏｓｉｔｉｏｎの値や属性ｙ＿ｓｉｚｅの値として、合成フレーム画像の縦の長さに対する割合がパーセント表示により表現されてもよい。

マニフェストファイル生成部６６は、映像配信担当者により入力された属性の値が設定されたマニフェストファイルを生成してもよい。また例えば、マニフェストファイル生成部６６は、ＶＲフレーム画像４０、バーチャルスクリーンフレーム画像４２、又は、合成フレーム画像に関連付けられているメタ情報に基づいて属性の値が設定されたマニフェストファイルを生成してもよい。

また例えば、マニフェストファイル生成部６６は、配置決定部６４が決定した配置に応じた属性の値が設定されたマニフェストファイルを生成してもよい。またこのようにして設定された属性の値は、例えば映像配信担当者によって操作部１２ｆを操作することで変更可能であってもよい。

マニフェストファイル記憶部６８は、本実施形態では例えば、マニフェストファイル生成部６６が生成するマニフェストファイル等の、個別フレーム画像の属性の値を示すデータを記憶する。

マニフェストファイル送信部７０は、本実施形態では例えば、マニフェストファイル生成部６６が生成するマニフェストファイル等の、個別フレーム画像の属性の値を示すデータを送信する。ここでは例えば、エンタテインメント装置２２及び中継装置２４を経由してＨＭＤ２０にマニフェストファイルが送信されてもよい。

映像生成部７２は、本実施形態では例えば、第１の画像（例えばＶＲフレーム画像４０）及び第２の画像（例えばバーチャルスクリーンフレーム画像４２）に基づいて、第３の画像（例えば合成フレーム画像）を生成する。ここで例えば、マニフェストファイルが示す第１の配置方法でＶＲフレーム画像４０が配置されマニフェストファイルが示す第２の配置方法でバーチャルスクリーンフレーム画像４２が配置された合成フレーム画像が生成されてもよい。ここでは例えば図７Ａや図７Ｂに示すようにしてＶＲフレーム画像４０及びバーチャルスクリーンフレーム画像４２が配置された合成フレーム画像が生成される。そして映像生成部７２は、本実施形態では例えば、複数の合成フレーム画像やメタ情報をエンコードして配信対象の映像を生成する。

映像送信部７４は、本実施形態では例えば、第１の配置方法でＶＲフレーム画像４０が配置され第２の配置方法でバーチャルスクリーンフレーム画像４２が配置された合成フレーム画像を送信する。例えば映像送信部７４は、映像生成部７２が生成するエンコード済の配信対象の映像を送信する。ここでは例えばエンタテインメント装置２２及び中継装置２４を経由してＨＭＤ２０に映像が送信されてもよい。

マニフェストファイル受信部８０は、本実施形態では例えば、マニフェストファイル送信部７０が送信するマニフェストファイル等の、個別フレーム画像の属性の値を示すデータを受信する。そしてマニフェストファイル受信部８０は、個別フレーム画像の属性の値を示すマニフェストファイル等のデータを、マニフェストファイル記憶部８２に記憶させる。

マニフェストファイル記憶部８２は、本実施形態では例えば、マニフェストファイル受信部８０が受信するマニフェストファイル等の、個別フレーム画像の属性の値を示すデータを記憶する。

映像受信部８４は、本実施形態では例えば、映像送信部７４が送信する映像を受信する。

画像抽出部８６は、本実施形態では例えば、映像送信部７４が送信する映像をデコードして、合成フレーム画像を抽出する。そして画像抽出部８６は、本実施形態では例えば、個別フレーム画像の属性の値を示すマニフェストファイル等のデータ、及び、合成フレーム画像に基づいて、ＶＲフレーム画像４０及びバーチャルスクリーンフレーム画像４２を抽出する。ここで例えば画像抽出部８６は、マニフェストファイルに示されている第１の配置方法及び第２の配置方法に基づいて、合成フレーム画像からＶＲフレーム画像４０及びバーチャルスクリーンフレーム画像４２を抽出してもよい。また例えば、合成フレーム画像に配置されている回転後のバーチャルスクリーンフレーム画像４２を回転させることで、回転前のバーチャルスクリーンフレーム画像４２を再現してもよい。また例えば、合成フレーム画像に配置されている分割後のバーチャルスクリーンフレーム画像４２の並ぶ方向を変更することで、分割前のバーチャルスクリーンフレーム画像４２を再現してもよい。

表示制御操作受付部８８は、本実施形態では例えば、ユーザが頭部を回転させる操作等の視線方向５２を変化させる操作や、テクスチャ画像４４を切り替える操作などといった、表示部２０ｆに表示される画像を制御する操作を受け付ける。

表示制御部９０は、本実施形態では例えば、表示制御操作受付部８８が受け付ける操作、及び、画像抽出部８６が抽出するＶＲフレーム画像４０及びバーチャルスクリーンフレーム画像４２に基づくテクスチャ画像４４を生成する。そして表示制御部９０は、生成されるテクスチャ画像４４を表示部２０ｆに表示させる。

ここで例えば表示制御部９０は、抽出されるＶＲフレーム画像４０及びバーチャルスクリーンフレーム画像４２の少なくとも一方を表示させてもよい。

例えば表示制御部９０が、視点５０の位置を示す視点位置データ、視線方向５２を示す視線方向データ、及び、バーチャルスクリーンフレーム画像４２を表示させるか否かを示す表示制御フラグ、を保持してもよい。ここで視点位置データの値、視線方向データの値、及び、表示制御フラグの値は、表示制御操作受付部８８が受け付ける操作に応じて設定されてもよい。そして表示制御フラグの値に応じたテクスチャ画像４４が仮想空間４６内に配置されるようにしてもよい。そして視点位置データの値が示す位置に配置された視点５０から視線方向データの値が示す視線方向５２を見た様子を表す画像が表示部２０ｆに表示されてもよい。ここで例えば、表示制御フラグの値が０である場合は、バーチャルスクリーンフレーム画像４２が表示されないよう制御され、表示制御フラグの値が１である場合は、バーチャルスクリーンフレーム画像４２が表示されるよう制御されてもよい。

例えばイベント会場で行われるイベントをライブ中継する場合においては、所定のサンプリングレートでカメラ１６ａによるＶＲフレーム画像４０の撮影及びカメラ１６ｂによるバーチャルスクリーンフレーム画像４２の撮影が行われてもよい。そして、上述の所定のサンプリングレートで、マニフェストファイルが表す属性の値に従って、ＶＲフレーム画像４０とバーチャルスクリーンフレーム画像４２とに基づく合成フレーム画像の生成が行われてもよい。そしてこのようにして所定のサンプリングレートで生成される合成フレーム画像やメタ情報がエンコードされた映像がリアルタイムでユーザシステム１４に配信されてもよい。そしてイベント会場のライブ中継の映像がリアルタイムで表示部２０ｆに表示されるようにしてもよい。

ここで本実施形態に係る映像配信装置１２で行われる、バーチャルスクリーンフレーム画像４２の配置方法を決定する処理の流れの一例を、図１０Ａ〜図１０Ｃに例示するフロー図を参照しながら説明する。なお本処理例では、合成フレーム画像の縦横の長さは予め定められていることとする。

まず、余白特定部６２が、合成フレーム画像の左上隅にＶＲフレーム画像４０を配置した際の余白を特定する（Ｓ１０１）。図１１に、合成フレーム画像に相当する領域Ｒ１の左上隅にＶＲフレーム画像４０に相当する領域Ｒ２を確保した際の余白に相当する領域Ｒ３の一例を示す。ここで図１１に示すように、逆Ｌ字形状をしている領域Ｒ３における細い部分の横の長さをＬ１とし、細い部分の縦の長さをＬ２とする。

そして配置決定部６４が、撮影画像取得部６０が取得するバーチャルスクリーンフレーム画像４２の縦横の長さを特定する（Ｓ１０２）。

そして配置決定部６４は、Ｓ１０１に示す処理で特定された余白のサイズが、Ｓ１０２に示す処理で縦横の長さが特定されたバーチャルスクリーンフレーム画像４２のサイズ以上であるか否かを判定する（Ｓ１０３）。

余白のサイズがバーチャルスクリーンフレーム画像４２のサイズ以上でないと判定された場合は（Ｓ１０３：Ｎ）、配置決定部６４は、バーチャルスクリーンフレーム画像４２を縮小した上で余白に配置する配置方法（縮小後配置）を、バーチャルスクリーンフレーム画像４２の配置方法に含むことを決定する（Ｓ１０４）。ここで例えば、余白のサイズと同じになるようバーチャルスクリーンフレーム画像４２を縮小した上で余白に配置する配置方法をバーチャルスクリーンフレーム画像４２の配置方法に含むことが決定されてもよい。この場合は、縮小後のバーチャルスクリーンフレーム画像４２のサイズを示すマニフェストファイルが生成されることとなる。

図１２には、バーチャルスクリーンフレーム画像４２に相当する領域Ｒ４が示されている。そして以下、図１２に示すように、バーチャルスクリーンフレーム画像４２の横の長さをＬ３とし、縦の長さをＬ４とする。なおＳ１０４に示す処理で、バーチャルスクリーンフレーム画像４２の配置方法に縮小した上で配置する配置方法を含むことが決定された場合は、縮小後のバーチャルスクリーンフレーム画像４２の横の長さをＬ３とし、縦の長さをＬ４とする。

Ｓ１０３に示す処理で余白のサイズがバーチャルスクリーンフレーム画像４２のサイズ以上であると判定された場合（Ｓ１０３：Ｙ）、又は、Ｓ１０４に示す処理が終了した場合は、配置決定部６４は、長さＬ１が長さＬ２以上であるか否かを判定する（Ｓ１０５）。ここで長さＬ１が長さＬ２以上であることは、ＶＲフレーム画像４０の右がＶＲフレーム画像４０の下よりも余裕があることに相当する。逆に長さＬ１が長さＬ２未満であることは、ＶＲフレーム画像４０の下がＶＲフレーム画像４０の右よりも余裕があることに相当する。

長さＬ１が長さＬ２以上であると判定された場合は（Ｓ１０５：Ｙ）、配置決定部６４は、長さＬ１が長さＬ３以上であるか否かを判定する（Ｓ１０６）。長さＬ１が長さＬ３以上であることは、ＶＲフレーム画像４０と同じ向きでＶＲフレーム画像４０の右にバーチャルスクリーンフレーム画像４２を配置できることに相当する。逆に長さＬ１が長さＬ３以上でないことは、バーチャルスクリーンフレーム画像４２をＶＲフレーム画像４０と同じ向きに余白に並べて配置した際にバーチャルスクリーンフレーム画像４２が余白をはみだすことに相当する。

ここで長さＬ１が長さＬ３以上であると判定されたとする（Ｓ１０６：Ｙ）。この場合、配置決定部６４は、ＶＲフレーム画像４０と同じ向きでＶＲフレーム画像４０の右に配置すること（通常配置（左右））を、バーチャルスクリーンフレーム画像４２の配置方法に含むことを決定する（Ｓ１０７）。そして本処理例に示す処理は終了される。この場合は、バーチャルスクリーンフレーム画像４２はＶＲフレーム画像４０と同じ向きで横に並べて配置されることを示すマニフェストファイルが生成されることとなる。

Ｓ１０６に示す処理において長さＬ１が長さＬ３未満であると判定された場合は（Ｓ１０６：Ｎ）、配置決定部６４は、長さＬ１が長さＬ４以上であるか否かを判定する（Ｓ１０８）。長さＬ１が長さＬ４以上であることは、バーチャルスクリーンフレーム画像４２をＶＲフレーム画像４０と異なる向きで余白に配置することが可能であることに相当する。

ここで長さＬ１が長さＬ４以上であると判定されたとする（Ｓ１０８：Ｙ）。この場合、配置決定部６４は、バーチャルスクリーンフレーム画像４２をＶＲフレーム画像４０と異なる向きで余白に配置することを、バーチャルスクリーンフレーム画像４２の配置方法に含むことを決定する（Ｓ１０９）。ここでは例えば、ＶＲフレーム画像４０に対して９０度回転させた向きでＶＲフレーム画像４０の右に配置すること（回転配置（左右））を、バーチャルスクリーンフレーム画像４２の配置方法に含むことが決定される。そして本処理例に示す処理は終了される。なおバーチャルスクリーンフレーム画像４２がＶＲフレーム画像４０に対して時計回りに９０度回転させた向きで配置されることが決定されても、反時計回りに９０度回転させた向きで配置されることが決定されてもよい。この場合は、バーチャルスクリーンフレーム画像４２はＶＲフレーム画像４０と異なる向きで横に並べて配置されることを示すマニフェストファイルが生成されることとなる。

Ｓ１０８に示す処理において長さＬ１が長さＬ４未満であると判定された場合は（Ｓ１０８：Ｎ）、配置決定部６４は、バーチャルスクリーンフレーム画像４２を分割した画像の並ぶ方向を変更することで余白に配置することが可能であるか否かを判定する（Ｓ１１０）。ここで例えば１から所定数Ｎまでの整数ｎについて順に、縦にｎ個に分割したバーチャルスクリーンフレーム画像４２の並ぶ方向を横から縦に変更することで余白に入るか否かが確認されてもよい。そしていずれかの整数ｎで余白に入ることが確認された場合は、分割すれば配置可能であると判定されるようにしてもよい。また１から所定数Ｎまでの整数ｎのいずれについても余白に入らないことが確認された場合は、分割しても配置可能でないと判定されるようにしてもよい。

バーチャルスクリーンフレーム画像４２を分割した画像の並ぶ方向を変更することで余白に配置することが可能であると判定されたとする（Ｓ１１０：Ｙ）。この場合、配置決定部６４は、バーチャルスクリーンフレーム画像４２を分割した画像の並ぶ方向を変更することで余白に配置することをバーチャルスクリーンフレーム画像４２の配置方法に含むことを決定する（Ｓ１１１）。ここでは例えば、縦にｎ個に分割して並ぶ方向を横から縦に変更してＶＲフレーム画像４０の右に配置すること（分割配置（左右））を、バーチャルスクリーンフレーム画像４２の配置方法に含むことが決定される。そして本処理例に示す処理は終了される。この場合は、縦に並んで配置された分割されたバーチャルスクリーンフレーム画像４２が、ＶＲフレーム画像４０の右に配置されることを示すマニフェストファイルが生成されることとなる。

一方、バーチャルスクリーンフレーム画像４２を分割した画像の並ぶ方向を変更しても余白に配置することが可能でないと判定されたとする（Ｓ１１０：Ｎ）。この場合、配置決定部６４は、映像配信担当者に配置方法の決定を促す通知を行う（Ｓ１１２）。ここで例えば表示出力や音声出力などにより映像配信担当者への通知が行われてもよい。そして本処理例に示す処理は終了される。この場合は例えば、映像配信担当者が操作部１２ｆを操作することでバーチャルスクリーンフレーム画像４２の配置方法を表す属性の値をマニフェストファイルに設定すればよい。

Ｓ１０５に示す処理で長さＬ１が長さＬ２未満であると判定された場合は（Ｓ１０５：Ｎ）、配置決定部６４は、長さＬ２が長さＬ４以上であるか否かを判定する（Ｓ１１３）。長さＬ２が長さＬ４以上であることは、ＶＲフレーム画像４０と同じ向きでＶＲフレーム画像４０の下にバーチャルスクリーンフレーム画像４２を配置できることに相当する。逆に長さＬ２が長さＬ４以上でないことは、バーチャルスクリーンフレーム画像４２をＶＲフレーム画像４０と同じ向きに余白に並べて配置した際にバーチャルスクリーンフレーム画像４２が余白をはみだすことに相当する。

ここで長さＬ２が長さＬ４以上であると判定されたとする（Ｓ１１３：Ｙ）。この場合、配置決定部６４は、ＶＲフレーム画像４０と同じ向きでＶＲフレーム画像４０の下に配置すること（通常配置（上下））を、バーチャルスクリーンフレーム画像４２の配置方法に含むことを決定する（Ｓ１１４）。そして本処理例に示す処理は終了される。この場合は、バーチャルスクリーンフレーム画像４２はＶＲフレーム画像４０と同じ向きで横に並べて配置されることを示すマニフェストファイルが生成されることとなる。

Ｓ１１３に示す処理において長さＬ２が長さＬ４未満であると判定された場合は（Ｓ１１３：Ｎ）、配置決定部６４は、長さＬ２が長さＬ３以上であるか否かを判定する（Ｓ１１５）。長さＬ２が長さＬ３以上であることは、バーチャルスクリーンフレーム画像４２をＶＲフレーム画像４０と異なる向きで余白に配置することが可能であることに相当する。

ここで長さＬ２が長さＬ３以上であると判定されたとする（Ｓ１１５：Ｙ）。この場合、配置決定部６４は、バーチャルスクリーンフレーム画像４２をＶＲフレーム画像４０と異なる向きで余白に配置することを、バーチャルスクリーンフレーム画像４２の配置方法に含むことを決定する（Ｓ１１６）。ここでは例えば、ＶＲフレーム画像４０に対して９０度回転させた向きでＶＲフレーム画像４０の下に配置すること（回転配置（上下））を、バーチャルスクリーンフレーム画像４２の配置方法に含むことが決定される。そして本処理例に示す処理は終了される。なおバーチャルスクリーンフレーム画像４２がＶＲフレーム画像４０に対して時計回りに９０度回転させた向きで配置されることが決定されても、反時計回りに９０度回転させた向きで配置されることが決定されてもよい。この場合は、バーチャルスクリーンフレーム画像４２はＶＲフレーム画像４０と異なる向きで縦に並べて配置されることを示すマニフェストファイルが生成されることとなる。

Ｓ１１５に示す処理において長さＬ２が長さＬ３未満であると判定された場合は（Ｓ１１５：Ｎ）、配置決定部６４は、バーチャルスクリーンフレーム画像４２を分割した画像の並ぶ方向を変更することで余白に配置することが可能であるか否かを判定する（Ｓ１１７）。ここで例えば１から所定数Ｎまでの整数ｎについて順に、横にｎ個に分割したバーチャルスクリーンフレーム画像４２の並ぶ方向を縦から横に変更することで余白に入るか否かが確認されてもよい。そしていずれかの整数ｎで余白に入ることが確認された場合は、分割すれば配置可能であると判定されるようにしてもよい。また１から所定数Ｎまでの整数ｎのいずれについても余白に入らないことが確認された場合は、分割しても配置可能でないと判定されるようにしてもよい。

バーチャルスクリーンフレーム画像４２を分割した画像の並ぶ方向を変更することで余白に配置することが可能であると判定されたとする（Ｓ１１７：Ｙ）。この場合、配置決定部６４は、バーチャルスクリーンフレーム画像４２を分割した画像の並ぶ方向を変更することで余白に配置することを、バーチャルスクリーンフレーム画像４２の配置方法に含むことを決定する（Ｓ１１８）。ここでは例えば、横にｎ個に分割して並ぶ方向を縦から横に変更してＶＲフレーム画像４０の下に配置すること（分割配置（上下））を、バーチャルスクリーンフレーム画像４２の配置方法に含むことが決定される。そして本処理例に示す処理は終了される。この場合は、横に並んで配置された分割されたバーチャルスクリーンフレーム画像４２が、ＶＲフレーム画像４０の下に配置されることを示すマニフェストファイルが生成されることとなる。

一方、バーチャルスクリーンフレーム画像４２を分割した画像の並ぶ方向を変更しても余白に配置することが可能でないと判定されたとする（Ｓ１１７：Ｎ）。この場合、配置決定部６４は、映像配信担当者に配置方法の決定を促す通知を行う（Ｓ１１９）。そして本処理例に示す処理は終了される。この場合は例えば、映像配信担当者が操作部１２ｆを操作することでバーチャルスクリーンフレーム画像４２の配置方法を表す属性の値をマニフェストファイルに設定すればよい。

例えば、合成フレーム画像の横の長さが３８４０ピクセルで縦の長さが１９２０ピクセルであるとする。そしてＶＲフレーム画像４０の横の長さが２７６０ピクセルであり縦の長さが１９２０ピクセルであるとする。またバーチャルスクリーンフレーム画像４２の横の長さが１９２０ピクセルであり縦の長さが１０８０ピクセルであることとする。

この場合、余白のサイズは２０７３６００平方ピクセルであり、バーチャルスクリーンフレーム画像４２のサイズと同じである（Ｓ１０３：Ｙ）。

そしてこの場合、長さＬ１は１０８０ピクセルであり、長さＬ２は０ピクセルである。また長さＬ３は１９２０ピクセルであり、長さＬ４は１０８０ピクセルである。

この例では、長さＬ１は長さＬ２以上で（Ｓ１０５：Ｙ）、長さＬ１は長さＬ３未満で（Ｓ１０５：Ｎ）、長さＬ１は長さＬ４以上となる（Ｓ１０８：Ｙ）。よって、ＶＲフレーム画像４０に対して９０度回転させた向きでＶＲフレーム画像４０の右に配置すること（回転配置（左右））を、バーチャルスクリーンフレーム画像４２の配置方法に含むことが決定される（Ｓ１１０）。

また例えば、合成フレーム画像の横の長さが３８４０ピクセルで縦の長さが２１６０ピクセルであるとする。そしてＶＲフレーム画像４０の横の長さが３８４０ピクセルであり縦の長さが１９２０ピクセルであるとする。またバーチャルスクリーンフレーム画像４２の横の長さが１９２０ピクセルであり縦の長さが１０８０ピクセルであることとする。

この場合、余白のサイズは９２１６００平方ピクセルであり、バーチャルスクリーンフレーム画像４２のサイズよりも小さい（Ｓ１０３：Ｎ）。よってこの場合は縮小後配置をバーチャルスクリーンフレーム画像４２の配置方法に含むことが決定される（Ｓ１０４）。ここで例えば縦横比を変えずに余白のサイズと同じサイズとなるように縮小することを、バーチャルスクリーンフレーム画像４２の配置方法に含むことが決定されてもよい。例えばバーチャルスクリーンフレーム画像４２の横の長さを１２８０ピクセルに縮小し、縦の長さを７２０ピクセルに縮小することを、バーチャルスクリーンフレーム画像４２の配置方法に含むことが決定されてもよい。

この場合、長さＬ１は０ピクセルであり、長さＬ２は２４０ピクセルである。また長さＬ３は１２８０ピクセルであり、長さＬ４は７２０ピクセルである。

この例では、長さＬ１は長さＬ２未満で（Ｓ１０５：Ｎ）、長さＬ２は長さＬ４未満で（Ｓ１１２：Ｎ）、長さＬ２は長さＬ３未満となる（Ｓ１１４：Ｎ）。そしてこの場合はバーチャルスクリーンフレーム画像４２を横方向に３個に分割して横に並べた際に余白に入る（Ｓ１１５：Ｙ）。よって、分割配置（上下）を、バーチャルスクリーンフレーム画像４２の配置方法に含むことが決定される（Ｓ１１６）。

なお、以上の説明において、マニフェストファイルが生成されるタイミングは特に問わない。例えばライブ中継が開始される前にマニフェストファイルの生成及び送信が行われてもよい。また例えば、個別フレーム画像の属性の値を示すデータが合成フレーム画像に関連付けて映像配信装置１２からユーザシステム１４に送信されてもよい。例えばこのようにすればライブ中継の途中でも個別フレーム画像の属性の値をスムーズに変更できることとなる。

次に、本実施形態に係るＨＭＤ２０で行われる、デコードされた合成フレーム画像から抽出される画像を表示させる処理の流れの一例を、図１３に例示するフロー図を参照しながら説明する。

まず、画像抽出部８６が、デコードされた合成フレーム画像内におけるＶＲフレーム画像４０が占める領域、及び、バーチャルスクリーンフレーム画像４２が占める領域を特定する（Ｓ２０１）。ここでは例えば、マニフェストファイル記憶部８２に記憶されているマニフェストファイルが示す属性の値に基づいて、これらの領域は特定されてもよい。

そして画像抽出部８６は、Ｓ２０１に示す処理で特定された、ＶＲフレーム画像４０が占める領域に配置されているＶＲフレーム画像４０を抽出する（Ｓ２０２）。

そして画像抽出部８６は、Ｓ２０１に示す処理で特定された、バーチャルスクリーンフレーム画像４２が占める領域に配置されているバーチャルスクリーンフレーム画像４２を抽出する（Ｓ２０３）。ここで例えば、バーチャルスクリーンフレーム画像４２が回転して配置されていることがマニフェストファイルに示されていることがある。この場合は、Ｓ２０３に示す処理で、回転後のバーチャルスクリーンフレーム画像４２を回転させることで回転前のバーチャルスクリーンフレーム画像４２を再現する処理が行われる。また例えば、バーチャルスクリーンフレーム画像４２が分割して配置されていることがマニフェストファイルに示されていることがある。この場合は、Ｓ２０３に示す処理で、分割後のバーチャルスクリーンフレーム画像４２を並び替えることで分割前のバーチャルスクリーンフレーム画像４２を再現する処理が行われる。

そして、表示制御部９０は、今回のループにおいて表示制御操作受付部８８が受け付けた操作に基づいて、保持している視点位置データの値、視線方向データの値、及び、表示制御フラグの値を設定する（Ｓ２０４）。ここで例えば、コントローラ３０に対する所定の操作を受け付けた際には、表示制御フラグの値が１から０に、又は、０から１に更新されてもよい。

そして表示制御部９０は、テクスチャ画像４４を生成して、背景オブジェクト４８の内側にマッピングさせる（Ｓ２０５）。ここでは例えば、Ｓ２０２に示す処理で抽出されたＶＲフレーム画像４０、Ｓ２０３に示す処理で抽出されたバーチャルスクリーンフレーム画像４２、及び、Ｓ２０４に示す処理で設定された表示制御フラグの値に基づいて、テクスチャ画像４４が生成される。ここで例えばマニフェストファイルが示す属性の値に基づいて、ＶＲフレーム画像４０に対するバーチャルスクリーンフレーム画像４２の位置やサイズが決定されてもよい。そして決定された位置及びサイズでバーチャルスクリーンフレーム画像４２が配置されたテクスチャ画像４４が生成されてもよい。

また例えば表示制御フラグの値が０である場合は、図５Ａに示すようなバーチャルスクリーンフレーム画像４２を含まないテクスチャ画像４４ａが生成されてもよい。また例えば表示制御フラグの値が１である場合は、図５Ｂに示すようなＶＲフレーム画像４０にバーチャルスクリーンフレーム画像４２が重畳配置されたテクスチャ画像４４ｂが生成されてもよい。この場合、上述のように、バーチャルスクリーンフレーム画像４２は長方形の画像として表示部２０ｆに表示されるよう変形された上でＶＲフレーム画像４０に重畳配置されてもよい。また上述のように、仮想空間４６内に配置される板状の仮想オブジェクトにバーチャルスクリーンフレーム画像４２がテクスチャ画像４４ｂとしてマッピングされるようにしてもよい。このように、バーチャルスクリーンフレーム画像４２がＶＲフレーム画像４０とは独立したテクスチャ画像４４ｂとして仮想空間４６内に配置されるようにしてもよい。

そして表示制御部９０は、Ｓ２０４に示す処理で設定された視点位置データの値が示す位置に配置された視点５０から、Ｓ２０４に示す処理で設定された視線方向データの値が示す視線方向５２を見た様子を表す画像を表示部２０ｆに表示させる（Ｓ２０６）。

そしてＳ２０１に示す処理に戻り、次のフレームにおける合成フレーム画像に対してＳ２０１以降の処理が実行される。

なお、ＶＲフレーム画像４０やバーチャルスクリーンフレーム画像４２の配置方法は上述のものに限定されない。

例えば図１４には、ＶＲフレーム画像４０の右にバーチャルスクリーンフレーム画像４２（１）及びバーチャルスクリーンフレーム画像４２（２）が２個縦に並んで配置されている配置例が示されている。そして図１５には、図１４に対応するマニフェストファイルが示されている。図１５に示すマニフェストファイルにおいて［ＶＲ＿Ｍｏｖｉｅ＿１］の次の行から［ＶｉｒｔｕａｌＳｃｒｅｅｎ＿１］の手前の行までに、ＶＲフレーム画像４０の属性の値が示されている。また、［ＶｉｒｔｕａｌＳｃｒｅｅｎ＿１］の次の行から［ＶｉｒｔｕａｌＳｃｒｅｅｎ＿２］の手前の行までに、バーチャルスクリーンフレーム画像４２（１）の属性の値が示されている。また、［ＶｉｒｔｕａｌＳｃｒｅｅｎ＿２］の次の行からバーチャルスクリーンフレーム画像４２（２）の属性の値が示されている。

また例えば図１６には、横に並んで配置されているＶＲフレーム画像４０（１）及びＶＲフレーム画像４０（２）の下に、３個に分割されたバーチャルスクリーンフレーム画像４２が横に並んで配置されている配置例が示されている。そして図１７には、図１６に対応するマニフェストファイルが示されている。図１７に示すマニフェストファイルにおいて［ＶＲ＿Ｍｏｖｉｅ＿１］の次の行から［ＶＲ＿Ｍｏｖｉｅ＿２］の手前の行までに、ＶＲフレーム画像４０（１）の属性の値が示されている。また、［ＶＲ＿Ｍｏｖｉｅ＿２］の次の行から［ＶｉｒｔｕａｌＳｃｒｅｅｎ＿１］の手前の行までに、ＶＲフレーム画像４０（２）の属性の値が示されている。また、［ＶｉｒｔｕａｌＳｃｒｅｅｎ＿１］の次の行からバーチャルスクリーンフレーム画像４２の属性の値が示されている。

図１４及び図１６に示すように、３個以上のカメラ１６によって撮影された個別フレーム画像を合成することで合成フレーム画像が生成されてもよい。例えば２個のカメラ１６のそれぞれがＶＲフレーム画像４０を生成してもよい。この場合に例えば、ユーザがコントローラ３０を操作することで、ＶＲフレーム画像４０（１）を表示させるかＶＲフレーム画像４０（２）を表示させるかが切替可能であってもよい。また例えば２個のカメラ１６のそれぞれがバーチャルスクリーンフレーム画像４２を生成してもよい。この場合に例えば、ユーザがコントローラ３０を操作することで、バーチャルスクリーンフレーム画像４２（１）を表示させるかバーチャルスクリーンフレーム画像４２（２）を表示させるかが切替可能であってもよい。

また例えば図１８には、三次元画像であるＶＲフレーム画像４０（左目用）及びＶＲフレーム画像４０（右目用）の下に、３個に分割されたバーチャルスクリーンフレーム画像４２が横に並んで配置されている配置例が示されている。図１８の例では、三次元画像であるＶＲフレーム画像４０はサイドバイサイド形式で配置されている。そして図１９には、図１８に対応するマニフェストファイルが示されている。図１９に示すマニフェストファイルにおいて［ＶＲ＿Ｍｏｖｉｅ＿１］の次の行から［ＶｉｒｔｕａｌＳｃｒｅｅｎ＿１］の手前の行までに、ＶＲフレーム画像４０（左目用）及びＶＲフレーム画像４０（右目用）の属性の値が示されている。また、［ＶｉｒｔｕａｌＳｃｒｅｅｎ＿１］の次の行からバーチャルスクリーンフレーム画像４２の属性の値が示されている。

図１８に示すようにＶＲフレーム画像４０として三次元画像が用いられてもよい。この場合に例えばカメラ１６ａがステレオカメラであってもよい。

なお、マニフェストファイルに配信対象の映像のＵＲＬが含まれていてもよい。そして例えばユーザがユーザシステム１４にインストールされている映像表示アプリケーションを実行した際にユーザシステム１４がマニフェストファイルに含まれるＵＲＬにアクセスするようにしてもよい。そしてこのようにしてＵＲＬにアクセスされることで映像配信装置１２からユーザシステム１４に映像が配信されるようにしてもよい。

なお、本発明は上述の実施形態に限定されるものではない。

例えばユーザシステム１４は、例えば、図３に示すものに限定されず、例えばパーソナルコンピュータなどであってもよい。

また、上記の具体的な文字列や数値及び図面中の具体的な文字列や数値は例示であり、これらの文字列や数値には限定されない。

Claims (5)

1. 仮想空間に配置されている球面状の仮想オブジェクトである背景オブジェクトの内側にマッピングされる第１の画像が占める第１の領域と、前記仮想空間内に配置される第２の画像が占める第２の領域と、を含む第３の画像を受信する画像受信部と、
   前記第３の画像における前記第１の画像の配置方法である第１の配置方法、前記第３の画像における前記第２の画像の配置方法である第２の配置方法、及び、前記仮想空間における角度で表現された、前記第１の画像に対して前記第２の画像を重畳させる位置及び大きさが示されているデータを受信するデータ受信部と、
   前記データが示す前記第１の配置方法及び前記第２の配置方法に基づいて、前記第３の画像から前記第１の画像及び前記第２の画像を抽出する抽出部と、
   前記データが示す位置及び大きさに従って、抽出された前記第１の画像内に抽出された前記第２の画像を重畳させた、前記背景オブジェクトの中心に配置された視点から視線方向を見た様子を表すテクスチャ画像を表示させる表示制御部と、
   を含むことを特徴とする表示制御装置。
2. 前記表示制御部は、ユーザの操作に従って、抽出された前記第１の画像が前記テクスチャ画像として表示される状態と、抽出された前記第１の画像内に抽出された前記第２の画像が重畳配置された前記テクスチャ画像が表示される状態と、を切り替える、
   ことを特徴とする請求項１に記載の表示制御装置。
3. 前記第２の画像は、前記第１の画像とは縦横比が異なる画像である、
   ことを特徴とする請求項１又は２に記載の表示制御装置。
4. 仮想空間に配置されている球面状の仮想オブジェクトである背景オブジェクトの内側にマッピングされる第１の画像が占める第１の領域と、前記仮想空間内に配置される第２の画像が占める第２の領域と、を含む第３の画像を受信するステップと、
   前記第３の画像における前記第１の画像の配置方法である第１の配置方法、前記第３の画像における前記第２の画像の配置方法である第２の配置方法、及び、前記仮想空間における角度で表現された、前記第１の画像に対して前記第２の画像を重畳させる位置及び大きさが示されているデータを受信するステップと、
   前記データが示す前記第１の配置方法及び前記第２の配置方法に基づいて、前記第３の画像から前記第１の画像及び前記第２の画像を抽出するステップと、
   前記データが示す位置及び大きさに従って、抽出された前記第１の画像内に抽出された前記第２の画像を重畳させた、前記背景オブジェクトの中心に配置された視点から視線方向を見た様子を表すテクスチャ画像を表示させるステップと、
   を含むことを特徴とする表示制御方法。
5. 仮想空間に配置されている球面状の仮想オブジェクトである背景オブジェクトの内側にマッピングされる第１の画像が占める第１の領域と、前記仮想空間内に配置される第２の画像が占める第２の領域と、を含む第３の画像を受信する手順、
   前記第３の画像における前記第１の画像の配置方法である第１の配置方法、前記第３の画像における前記第２の画像の配置方法である第２の配置方法、及び、前記仮想空間における角度で表現された、前記第１の画像に対して前記第２の画像を重畳させる位置及び大きさが示されているデータを受信する手順、
   前記データが示す前記第１の配置方法及び前記第２の配置方法に基づいて、前記第３の画像から前記第１の画像及び前記第２の画像を抽出する手順、
   前記データが示す位置及び大きさに従って、抽出された前記第１の画像内に抽出された前記第２の画像を重畳させた、前記背景オブジェクトの中心に配置された視点から視線方向を見た様子を表すテクスチャ画像を表示させる手順、
   をコンピュータに実行させることを特徴とするプログラム。

Images