JP6648061B2 - クライアント状態に応じた映像を配信する映像配信装置、システム、プログラム及び方法 - Google Patents

Description

本発明は、大容量のデータをサーバから取得するクライアントにおける受信制御技術に関する。

次世代における高い臨場感を提供可能なメディアの一つとして、ＶＲ（Virtual reality）映像が注目されている。ＶＲ映像とは、例えば、ＨＭＤ（Head Mounted Display，頭部装着ディスプレイ）を装着したユーザに対し、頭部の向きに合わせて仮想空間における３６０度の視野範囲の動画像を一挙に提供可能な映像である。

ＶＲ映像を表示するためには、ＨＭＤ等のクライアントにおいて、３６０度の視野範囲に展開された２次元映像であるパノラマ映像を用意する必要がある。このパノラマ映像は、３６０度の視野範囲の撮影に対応したカメラ群によるカメラ映像や、３次元のＣＧ（Computer Graphics）技術を用いて生成されたＶＲコンテンツを、ＥＲＰ（Equi-Rectangular Projection）形式（正距円筒図法）等のマッピング手法により２次元映像に展開することによって生成される。ちなみに、クライアントは、受信したパノラマ映像を所定の変換式によってフレーム毎に変換し、例えば両眼で仮想空間を視認できる形のＶＲ映像を生成して表示するのである。

ここで、パノラマ映像は一般に、既存の符号化方式でエンコードされており圧縮された形でクライアントに配信されるが、ＥＲＰ形式によれば４Ｋや８Ｋ等の高解像度表示に対応した２次元映像に展開されたものとなる。したがって、そのビットレートは高くなり、特に通信ネットワークを経由して配信する場合、配信遅延が増大する。

この配信遅延の問題に対し、例えば特許文献１は、パノラマ映像のビットレートを、可視領域を考慮して節約するという解決策を提案している。具体的には、パノラマ映像をスライス分割し、スライス毎に異なる解像度及びビットレートを設定して、ユーザの可視領域の品質を高く設定する一方、非可視領域の品質を低くすることにより、全体のビットレートの低減を図っている。

また従来、配信遅延への対処が可能な配信方式として、ＨＬＳ（HTTP Live Streaming）というプロトコルが利用されている。本方式では、予め映像ストリームを数〜１０秒程度の再生時間長を有するセグメントファイルに分割しておき、クライアント側がこのセグメント単位で受信及び再生開始を行うことによって、映像ストリームを受信しながら再生する擬似ストリーミングが実現される。

さらに、映像ストリームに異なる品質（ビットレート）のものを用意し、セグメント毎に互いに異なるビットレートのセグメントファイルを揃えておくことによって、セグメント単位でビットレートを選択する。これにより、通信ネットワークの通信状況に応じ、クライアント側が要求するコンテンツの品質を変更し、配信遅延に対処するのである。なお、同様の公知の配信プロトコルとして、ＭＰＥＧ−ＤＡＳＨ（Dynamic Adaptive Streaming over Hyper transfer protocol）等が挙げられる。

特開２０１６−１０５５９３号公報

たしかに、特許文献１に記載された技術を含む従来技術では、セグメントファイル等の分割された画像ファイルのビットレートを調整することで配信遅延への対処を図っている。しかしながら、ＶＲコンテンツのパノラマ映像の配信等を考えると、依然として配信遅延の問題が残ってしまう。

ここで具体的に、次のような配信形態を考察する。すなわち、現実世界における自動車の移動と連動させる形でＶＲコンテンツの視点位置を移動させたパノラマ映像を、乗車したユーザの装着したＨＭＤに対し配信する。これにより、このユーザにＶＲコンテンツの仮想空間内を移動するような体験を提供するのである。

この場合、自動車位置を送信元としたコンテンツ要求が配信サーバへ送信されてから、乗車したユーザのＨＭＤでＶＲ映像の再生が開始するまでの間にも、自動車は、移動したり進行向きを変えたりして現実世界での状態を刻々と変化させている。したがって、上述したような従来技術を用い、コンテンツ要求に合わせて配信サーバによって生成されたパノラマ映像を、ＨＭＤが受信しＶＲ映像として再生しても、ＶＲ映像が提供する仮想空間での状態と、その時点での自動車の状態との間にずれが生じてしまう。その結果、仮想体験のリアル性が低下してユーザは十分な没入感を得られない、という問題が生じてしまうのである。

このように、配信遅延の結果、クライアントの状態の変化に対して配信映像にズレが生じてしまう問題は、例えば特許文献１に記載されたビットレートの調整技術では解決することはできない。

そこで、本発明は、クライアントの状態に応じた映像が再生可能となる映像データを、当該クライアントに配信することができる映像配信装置、システム、プログラム及び方法を提供することを目的とする。

本発明によれば、仮想空間の視点映像をクライアントに配信する映像配信装置であって、
当該クライアントの１つの時点又は時間区間での状態に係る情報を取得し、他の時点又は時間区間での当該クライアントの状態を予測する状態予測手段と、
予測された当該他の時点又は時間区間での状態に対応する当該仮想空間内での仮想状態を決定する仮想状態決定手段と、
決定された仮想状態に基づいて、当該仮想空間内での視点に係る情報である視点情報を決定し、決定した視点情報に基づいて、配信すべき視点映像を生成する映像生成手段と、
生成された視点映像を、当該他の時点又は時間区間での再生に合わせて当該クライアントに配信する映像配信制御手段と
を有する映像配信装置が提供される。

この本発明による映像配信装置の一実施形態として、状態予測手段は、当該クライアントの状態として、１つの時点又は時間区間での位置、速度、加速度及び向きのうちの少なくとも１つに係る状態情報を取得して、他の時点又は時間区間での位置、速度、加速度及び向きのうちの少なくとも１つに係る状態情報を予測し、
仮想状態決定手段は、予測された当該他の時点又は時間区間での状態情報に対応する当該仮想空間内での位置、速度、加速度及び向きのうちの少なくとも１つに係る仮想状態情報を決定し、
映像生成手段は、決定された仮想状態情報に基づいて当該仮想空間内での視点の位置、速度、加速度及び向きのうちの少なくとも１つに係る視点情報を決定し、決定した視点情報に基づいて視点映像を生成することも好ましい。

また、上記の実施形態において、状態予測手段は、当該クライアントの所在位置を含む経路地図情報に基づいて、当該他の時点又は時間区間での向きに係る状態情報を予測することも好ましい。さらに、状態予測手段は、当該１つの時点又は時間区間での向きに係る情報である角加速度の情報を取得して、当該他の時点又は時間区間での向きに係る状態情報を予測することも好ましい。

さらに、本発明による映像配信装置において、取得された配信遅延時間に係る情報に基づいて、当該他の時点又は時間区間を決定する予測時間決定手段を更に有することも好ましい。

本発明によれば、また、クライアントと、仮想空間の視点映像を当該クライアントに配信する映像配信装置とを有する映像配信システムであって、当該クライアントは、
１つの時点又は時間区間において検出、測定又は決定された自らの状態に係る情報を生成する状態情報生成手段と、
生成された自らの状態に係る情報を、当該１つの時点又は時間区間と紐づけて映像配信装置に送信するクライアント通信制御手段と
を有し、上記の映像配信装置は、
当該クライアントの１つの時点又は時間区間での状態に係る情報を取得し、他の時点又は時間区間での当該クライアントの状態を予測する状態予測手段と、
予測された当該他の時点又は時間区間での状態に対応する当該仮想空間内での仮想状態を決定する仮想状態決定手段と、
決定された仮想状態に基づいて、当該仮想空間内での視点に係る情報である視点情報を決定し、決定した視点情報に基づいて、配信すべき視点映像を生成する映像生成手段と、
生成された視点映像を、当該他の時点又は時間区間での再生に合わせて当該クライアントに配信する映像配信制御手段と
を有する映像配信システムが提供される。

この本発明による映像配信システムの一実施形態として、映像配信装置は、予測した当該他の時点又は時間区間での状態を当該クライアントに送信する装置通信制御手段を更に有し、
当該クライアントは、受信した当該他の時点又は時間区間での状態と、検出、測定又は決定された当該他の時点又は時間区間での自らの状態との間の相違の度合いに基づき、再生される視点映像に表れる仮想状態を当該クライアントの状態に合わせるように、当該他の時点又は時間区間に係る視点映像の再生速度を調整する再生制御手段を更に有することも好ましい。

本発明によれば、さらに、仮想空間の視点映像をクライアントに配信する映像配信装置に搭載されたコンピュータを機能させる映像配信プログラムであって、
当該クライアントの１つの時点又は時間区間での状態に係る情報を取得し、他の時点又は時間区間での当該クライアントの状態を予測する状態予測手段と、
予測された当該他の時点又は時間区間での状態に対応する当該仮想空間内での仮想状態を決定する仮想状態決定手段と、
決定された仮想状態に基づいて、当該仮想空間内での視点に係る情報である視点情報を決定し、決定した視点情報に基づいて、配信すべき視点映像を生成する映像生成手段と、
生成された視点映像を、当該他の時点又は時間区間での再生に合わせて当該クライアントに配信する映像配信制御手段と
してコンピュータを機能させる映像配信プログラムが提供される。

本発明によれば、さらにまた、仮想空間の視点映像をクライアントに配信する映像配信装置に搭載されたコンピュータにおける映像配信方法であって、
当該クライアントの１つの時点又は時間区間での状態に係る情報を取得し、他の時点又は時間区間での当該クライアントの状態を予測するステップと、
予測された当該他の時点又は時間区間での状態に対応する当該仮想空間内での仮想状態を決定するステップと、
決定された仮想状態に基づいて、当該仮想空間内での視点に係る情報である視点情報を決定し、決定した視点情報に基づいて、配信すべき視点映像を生成する映像生成手段と、
生成された視点映像を、当該他の時点又は時間区間での再生に合わせて当該クライアントに配信するステップと
を有する映像配信方法が提供される。

本発明の映像配信装置、システム、プログラム及び方法によれば、クライアントの状態に応じた映像が再生可能となる映像データを、当該クライアントに配信することができる。

本発明による映像配信装置の一実施形態における機能構成を示す機能ブロック図である。 本発明に係るクライアントの一実施形態における機能構成を示す機能ブロック図である。 本発明による映像配信方法の一実施形態を概略的に示すシーケンス図である。 配信サーバにおいてクライアント状態の進展を考慮せずに配信を行う一比較例を説明するための模式図である。 本発明による映像配信装置においてクライアント状態を予測して配信処理を行う一実施例を説明するための模式図である。 本発明による映像配信装置においてクライアント状態を予測して配信処理を行う他の実施例を説明するための模式図である。 本発明に係るクライアントにおける再生制御処理の一実施形態を説明するための模式図である。

以下、本発明の実施形態について、図面を用いて詳細に説明する。

［映像配信システム］
図１は、本発明による映像配信装置の一実施形態における機能構成を示す機能ブロック図である。

図１に示した本発明による映像配信装置の一実施形態としての配信サーバ１は、ＶＲ（Virtual reality）コンテンツに基づくパノラマ映像を、クライアントであるＨＭＤ（Head Mounted Display）２に対しリアルタイムで配信して、ＨＭＤ２を装着したユーザに仮想空間（ＶＲ空間、仮想世界）の映像であるＶＲ映像を享受させるサーバである。

ここで、本実施形態において、ＨＭＤ２を装着したユーザは走行中のバスに乗車しており、ＨＭＤ２（ユーザ）はバスとともに、位置、速度、加速度や、進行向きといった現実世界での「状態」を刻々と変化させている。また、本実施形態において、バス若しくはＨＭＤ２は、ＧＰＳ（Global Positioning System）による測位機能を備えており、自らの測定位置を測位時刻と紐づけた測位情報（状態情報）を、配信サーバ１に送信することができる。

同じく図１に示すように、配信サーバ１は、その顕著な特徴として、
（Ａ）ＨＭＤ２の１つの時点又は時間区間での状態に係る情報を取得し、ＨＭＤ２の「他の時点又は時間区間での状態」を予測する状態予測部１１１と、
（Ｂ）予測された「他の時点又は時間区間での状態」に対応する仮想空間内での「仮想状態」を決定する仮想状態決定部１１３と、
（Ｃ）決定された「仮想状態」に基づいて、配信すべき映像を生成する映像生成部１１４と、
（Ｄ）生成された映像を、この他の時点又は時間区間での再生に合わせてＨＭＤ２に配信する映像配信制御部１１５と
を有している。

このように、配信サーバ１は、取得したクライアントの「状態」から、将来のクライアントにおける再生時間に合わせた仮想空間での「仮想状態」を予測し、これに基づいて配信映像を生成する。このような特徴的な状態予測機能を備えているが故に、クライアントの状態に応じた映像が再生可能となる映像データを、クライアントに配信することができるのである。

ちなみに、典型的な一実施形態として、現実世界での「状態」を、現実空間における位置、速度、加速度及び進行向きのうちの少なくとも１つとすることができる。本実施形態のように、バス若しくはＨＭＤ２がＧＰＳによる測位情報を配信サーバ１に送信するのであれば、「状態」として少なくとも位置を用いることになる。この場合、配信サーバ１の状態予測部１１１は、ＨＭＤ２の状態として、１つの時点又は時間区間での少なくとも位置情報を取得して、他の時点又は時間区間での少なくとも位置情報を予測する。

さらに、配信サーバ１の仮想状態決定部１１３は、予測された他の時点又は時間区間での位置情報に対応する仮想空間内での少なくとも位置に係る仮想位置情報を決定する。次いで、映像生成部１１４は、決定された仮想位置情報に基づいて、仮想空間内での視点の少なくとも位置に係る視点情報を決定し、決定した視点情報に基づいて、仮想空間における視点映像を生成するのである。

ここで、ＨＭＤ２（又はバス）がパノラマ映像配信のリクエストに合わせて測位情報（状態情報）を送信してから、ＨＭＤ２が応答としてのパノラマ映像を受信してＶＲ映像の再生を開始するまでの間には当然に、
（ａ）通信路遅延、すなわち、ＲＴＴ（Round-Trip Time）＋（サーバ１での配信に要する時間と、
（ｂ）ＨＭＤ２側での受信後のバッファリング時間と
が介在し、遅延が発生する。その結果、従来の映像配信技術では、再生時における現実世界系での位置から異なった（ズレた）位置に対応したＶＲ映像が提供されてしまうことになる。

これに対し、本実施形態の配信サーバ１は、上述したように、ＨＭＤ２での再生時間に合わせた配信映像（パノラマ映像）を配信するので、これにより、再生されたＶＲ映像を見たユーザにおける仮想体験のリアル性が向上し、ユーザは十分な没入感を享受することができるのである。

なお、当然に、配信サーバ１の配信先となるクライアントは、バスに乗車したユーザのＨＭＤに限定されるものではない。このクライアントとしては、仮想空間の映像を再生可能であれば、グラス（眼鏡）型ウェアラブル端末等種々のものが採用可能である。また、クライアントが乗車するものは、自動車、鉄道車両、船舶等の交通手段や、自転車等とすることもできる。さらに、このクライアントとして、徒歩状態やランニング状態にあるユーザによって装着・携帯された端末であってもよい。この場合、移動経路がある程度固定されていて、位置、速度や加速度に急激な変化が生じ難く、移動の予測が比較的容易であるクライアントであることが好ましい。

［装置の機能構成、映像配信方法］
同じく、図１に示した機能ブロック図によれば、本発明の映像配信装置である配信サーバ１は、通信インタフェース部１０１と、ＶＲ（Virtual Reality）コンテンツ蓄積部１０２と、パノラマ画像蓄積部１０３と、パノラマ映像蓄積部１０４と、プロセッサ・メモリとを有する。ここで、プロセッサ・メモリは、配信サーバ１のコンピュータを機能させるプログラムを実行することによって、本発明に係る状態予測・映像生成・映像配信制御機能を実現させる。

さらに、このプロセッサ・メモリは、機能構成部として、位置予測部１１１ａ、速度・加速度予測部１１１ｂ及び向き予測部１１１ｃを含む状態予測部１１１と、予測時間決定部１１２と、仮想状態決定部１１３と、パノラマ画像生成部１１４ａ及びパノラマ映像生成部１１４ｂを含む映像生成部１１４と、映像配信制御部１１５と、通信制御部１１６とを有する。ここで、図１における配信サーバ１の機能構成部間を矢印で接続して示した処理の流れは、本発明による映像配信方法の一実施形態としても理解される。

最初に、通信制御部１１６は、通信インタフェース部１０１を介して、ＨＭＤ２から、ＶＲコンテンツのパノラマ画像の配信を要求するリクエストを受信する。また一方で、ＨＭＤ２又はＨＭＤ２のユーザが乗車しているバスから、ＨＭＤ２又はバスで計測された位置、速度及び加速度に係る情報（状態情報）を受信する。ここで、この状態情報は、配信要求のリクエストとともに送信され、通信制御部１６によって受信されることも好ましいが、例えば定期的に、又は状態に所定以上の変化が生じた際に、ＨＭＤ２又はバスから送信されることも可能である。

また、通信制御部１１６は、上記のリクエストや状態情報等のＨＭＤ２（又はバス）との間の送受信状況に基づき、通信路遅延時間（ＲＴＴ＋(サーバ１での配信に要する時間)）を決定し、さらに適宜取得した又は予め設定されていたＨＭＤ２側での受信後のバッファリング時間を合わせて、配信遅延時間τ、すなわちＨＭＤ２がパノラマ映像配信のリクエストを送信してから、ＨＭＤ２が応答としてのパノラマ映像を受信してＶＲ映像の再生を開始するまでにかかる時間を算出する。

予測時間決定部１１２は、通信制御部１１６から入力した配信遅延時間τに係る情報に基づいて、次に説明する状態予測部１１１において状態を予測すべき予測時点又は時間区間を決定する。例えば、時刻t＝0の状態情報（位置、速度及び加速度に係る情報）が受信されている場合には、予測すべき予測時刻としてt＝τを決定する。または、（映像配信単位である）１ファイル分を再生するのに要する時間（再生時間）をsとして、予測すべき予測時間区間としてt＝τ〜τ+sを決定してもよい。ちなみに、配信遅延時間τは、通信路遅延時間（ＲＴＴ＋(サーバ１での配信に要する時間)）の過去の実績値を統計処理して決定することができる。

状態予測部１１１は、通信制御部１１６から入力した、ＨＭＤ２（又はバス）の１つの時点又は時間区間での状態情報（位置、速度及び加速度に係る情報）に基づいて、予測時間決定部１１２で決定された予測時点又は予測時間区間でのＨＭＤ２（又はバス）の状態を予測する。特に、１つの時点又は時間区間での位置、速度、加速度及び向きのうちの少なくとも１つに係る状態情報を取得して、この予測時点又は予測時間区間での位置、速度、加速度及び向きのうちの少なくとも１つに係る状態情報を予測することも好ましい。

本実施形態では、状態予測部１１１は、状態予測部１１１の位置予測部１１１ａ、速度・加速度予測部１１１ｂ及び向き予測部１１１ｃがそれぞれ、位置、速度及び加速度、並びに進行向きを予測する。なお、このような状態予測の具体的態様は、後に図４、図５及び図６を用いて詳細に説明する。

同じく図１において、仮想状態決定部１１３は、予測時点又は予測時間区間での状態に対応する仮想空間内での仮想状態を決定する。ここで、仮想空間は、配信対象のＶＲコンテンツにおいて設定されたＶＲ空間であり、通常、人間が認識できる現実世界（空間）に対応した３次元ＶＲ世界を表す空間である。具体的に、仮想状態決定部１１３は、予測時点又は予測時間区間での状態情報に対応する仮想空間内での位置、速度、加速度及び向きのうちの少なくとも１つに係る仮想状態情報を決定することも好ましい。

映像生成部１１４は、仮想状態決定部１１３で決定された仮想状態に基づいて配信すべき映像を生成する。本実施形態では、決定された仮想状態情報に基づいて、仮想空間内での視点の位置、速度、加速度及び向きのうちの少なくとも１つに係る視点情報を決定し、決定した視点情報に基づいて視点映像を生成する。

具体的に、映像生成部１１４のパノラマ画像生成部１１４ａは、３次元のＣＧ（Computer Graphics）技術を用いて生成されたＶＲコンテンツであって、ＶＲコンテンツ蓄積部１０２に保存されているＶＲコンテンツを、ＥＲＰ（Equi-Rectangular Projection）形式等のマッピング手法によって、２次元の展開画像としてのパノラマ画像に展開し、このようにして生成したパノラマ画像をパノラマ画像蓄積部１０３に保存する。

次いで、映像生成部１１４のパノラマ映像生成部１１４ｂは、生成され保存されたパノラマ画像を、配信単位の１ファイル（例えば.tsや.m4s等のファイル）に相当するフレーム分だけ読み出し、合算してエンコードし、２次元映像としてのパノラマ映像を生成する。ここで、生成されたパノラマ映像は、例えば配信までのバッファリングとして、パノラマ映像蓄積部１０４に適宜保存されてもよい。

通信制御部１１６は、通信インタフェース部１０１を介して、生成されたパノラマ映像を映像要求元のＨＭＤ２に送信する。この際、配信プロトコルとして、ＨＬＳ、ＭＰＥＧ−ＤＡＳＨ、SmoothStreaming、ＲＴＰ、ＲＴＳＰ、ＲＴＭＰ、ｗｅｂＲＴＣ又はＨＴＴＰプログレッシブダウンロード等が利用される。

映像配信制御部１１５は、生成された映像（視点映像としてのパノラマ映像）を、予測時点又は予測時間区間での再生に合わせてＨＭＤ２に配信すべく、通信制御部１１６及び通信インタフェース部１０１を制御する。例えば、時刻t＝0の状態情報が受信された状況において予測時間区間としてt＝τ〜τ+s（τ：配信遅延時間，s：１ファイル分の再生時間）を決定した場合、ＨＭＤ２でのt＝τからの再生に合わせたタイミング（再生に間に合うタイミング）で、１ファイル分のパノラマ映像をＨＭＤ２に配信するように制御することも好ましい。

図２は、本発明に係るクライアントの一実施形態における機能構成を示す機能ブロック図である。

図２によれば、本発明に係るクライアントの一実施形態としてのＨＭＤ２は、通信インタフェース部２０１と、ディスプレイ２０６と、通信制御部２１１と、再生制御部２１２とを有している。

また、ＨＭＤ２は、本実施形態において、測位部２０２と、加速度センサ２０３と、ジャイロセンサ２０４と、地磁気センサ２０５と、状態情報生成部２１３とを更に有している。ここで、これらの構成部がＨＭＤ２に含まれるのではなく、ＨＭＤ２を装着したユーザの乗車しているバスに備えられている、といった実施形態も可能である。なお、この場合、バスは、生成した状態情報を配信サーバ２に送信可能な通信制御・インタフェース部を更に備えていることも好ましい。ちなみに、現在、乗用車やバス等の移動手段の多くが、ＧＰＳ測位機能を有していて測位情報を外部のサーバに発信可能となっている。さらにまた、バスには、自己診断機能であるＯＢＤ（On-Board Diagnositics）２が装備されていて、この機能による診断情報がバスの状態情報として配信サーバ２に送信されてもよい。

測位部２０２は、ＧＰＳ衛星３からの測位電波を捕捉して測位処理を行い、ＨＭＤ２（又はバス）の測位時点での緯度、経度、及び（ジオイド高情報が有る場合、）標高を出力する。

加速度センサ２０３は、ＨＭＤ２（又はバス）の測定時点での加速度をベクトル量として測定し出力する加速度測定計である。測定した加速度を積算して速度情報を出力してもよい。また、変更態様として、歩行者ユーザに装着されたクライアントの例となるが、加速度センサ２０３は、重力加速度を計測して、ＨＭＤ２を装着したユーザの歩数をカウントし、予め設定された歩幅から歩行距離を算出して出力するものであってもよい。

ジャイロセンサ２０４は、ＨＭＤ２（又はバス）の検出時点での角速度を検出し出力するジャイロスコープである。向きの転換（変化）を検知し向き転換情報を出力するものであってもよい。

地磁気センサ２０５は、ＨＭＤ２（又はバス）位置の計測時点での地磁気の向き及び強度を計測し出力する磁気計測計である。この地磁気センサ２０５と加速度センサ２０３とを組み合わせて、ＨＭＤ２（又はバス）の向いている（又は進行している）方位を測定し出力する方位測定部とすることもできる。

なお当然に、装備されるセンサの種類及び組合せは、上述した形態に限定されるものではなく、ＨＭＤ２（又はバス）の現実世界（現実空間）での状態を検出、測定又は決定できるものならば種々のセンサが単独で又は組み合わせて採用可能である。

状態情報生成部２１３は、測位部２０２、加速度センサ２０３、ジャイロセンサ２０４及び地磁気センサ２０５から出力されたセンサ出力情報に基づいて、１つの時点又は時間区間において検出、測定又は決定されたＨＭＤ２（又はバス）の状態情報、例えば位置、速度、加速度に係る情報を生成する。

通信制御部２１１は、状態情報生成部２１３で生成された状態情報を当該１つの時点又は時間区間と紐づけて、通信インタフェース部２０１を介し配信サーバ１に送信する。また、ＶＲコンテンツのＶＲ映像をユーザに提供すべく、対応するパノラマ映像の配信を要求するリクエストを配信サーバ１に送信する。さらに、通信制御部２１１は、配信サーバ１から、リクエストに応じて配信されたパノラマ映像を受信し、再生制御部２１２に出力する。

再生制御部２１２は、入力したパノラマ映像に対しデコード処理を行い、サーバ１側でマッピングに使用されたＥＲＰ等の形式に対応した変換式を用いて各フレームを変換し、ディスプレイ２０６においてＶＲ映像として再生を行わせる。この際、例えば、時刻t＝0の状態情報をサーバ１に送信した状況において、時間区間t＝τ〜τ+s（τ：配信遅延時間，s：１ファイル分の再生時間）での再生に対応したパノラマ映像を受信した場合、再生制御部２１２は、時刻t＝τからの再生に合わせるように（間に合うように）ＶＲ映像を生成してバッファリングし、時刻t＝τから、生成したＶＲ映像をディスプレイ２０６に表示させることができる。

これにより、現実世界でのバス（及びＨＭＤ２）の位置等の状態と、表示される仮想空間での仮想状態とが時間的にずれることなく一致し、その結果、ユーザの仮想体験のリアル性が向上して、ユーザは十分な没入感を享受することができるのである。

図３は、本発明による映像配信方法の一実施形態を概略的に示すシーケンス図である。本実施形態では、クライアント（ＨＭＤ２）の状態情報として、その位置、速度及び加速度の値が採用されている。

（Ｓ１０１）ＨＭＤ２は、この時点における自らの位置、速度及び加速度を測定する。
（Ｓ１０２）ＨＭＤ２は、測定した位置、速度及び加速度の値を測定時刻に対応付けた状態情報を生成する。
（Ｓ１０３）ＨＭＤ２は、生成した状態情報を配信サーバ１へ送信する。

（Ｓ１０４）配信サーバ１は、受信した状態情報に基づいて、将来の再生時刻に相当する予測時刻での（現実空間での）位置、速度及び加速度の値を予測する。
（Ｓ１０５）配信サーバ１は、予測した（現実空間での）位置、速度及び加速度の値に基づき、仮想状態として、仮想空間における予測時刻での位置、速度及び加速度の値を決定する。

（Ｓ１０６）配信サーバ１は、決定した仮想状態に基づいて、ＶＲコンテンツからパノラマ画像を切り出す。
（Ｓ１０７）配信サーバ１は、切り出したパノラマ画像をまとめてエンコード処理しパノラマ映像を生成する。
（Ｓ１０８）配信サーバ１は、生成したパノラマ映像と、予測した予測時刻での位置、速度及び加速度の値とを、ＨＭＤ２へ送信する。

（Ｓ１０９）ＨＭＤ２は、受信したパノラマ映像を、ユーザが視聴可能なＶＲ映像に変換する。
（Ｓ１１０）ＨＭＤ２は、（これから行う再生処理の）再生開始時刻における自らの位置、速度、加速度を測定する。
（Ｓ１１１）ＨＭＤ２は、受信した予測時刻での位置、速度、加速度と、ステップＳ１１０で測定した位置、速度、加速度の値との比較に基づいて、再生速度を制御しつつＶＲ映像を再生する。

以下、上記のステップＳ１０４〜Ｓ１０７における、クライアント状態に合わせたパノラマ映像の生成処理を、図４及び図５を用いて詳細に説明する。また、上記のステップＳ１１０及びＳ１１１におけるパノラマ映像の再生制御処理を、図７を用いて詳細に説明する。さらに、図６を用いて、クライアントの向きの予測処理についても詳細に説明を行う。

図４は、配信サーバにおいてクライアント状態の進展を考慮せずに配信を行う一比較例を説明するための模式図である。また、図５は、本発明による映像配信装置においてクライアント状態を予測して配信処理を行う一実施例を説明するための模式図である。なお、これら比較例及び実施例では、ＨＭＤ２を装着したユーザはバス車内で移動しないものとし、ＨＭＤ２から発信される位置、速度及び加速度の値は、バスのそれらと一致しているものとする。

最初に、クライアント状態の進展を考慮しない図４の比較例によれば、バスは、現実世界（現実空間）において道路を走行し、この道路内の位置1から位置2を経て、時刻t＝0では位置3に至っている。ＨＭＤ２は、時刻t＝0において、これらの位置1〜3の座標を時刻情報（t＝0）に紐づけた位置情報を、配信サーバへ送信する。

この位置情報を受信した配信サーバは、受信した位置情報によって現実空間におけるＨＭＤ２（バス）の位置を把握し、その位置をそのまま仮想空間での仮想位置に変換する。具体的には、配信サーバは、現実空間での位置1〜3に対応する仮想空間での仮想位置1〜3の座標を算出する。次いで、これらの座標を仮想空間内での視点の移動に係る情報として、この視点情報に基づき、ＶＲコンテンツからパノラマ画像（図４ではパノラマ画像1〜3）を切り出し、エンコード処理によってパノラマ映像を生成する。ここで、複数の（仮想）位置を処理するのは、エンコード処理のために所定数のフレームを切り出す必要があるためである。

その後、配信サーバは、生成したパノラマ映像をＨＭＤ２に配信するのであるが、ＨＭＤ２（バス）は、このパノラマ映像を受信した時点、すなわち時刻t＝τ（τ：配信遅延時間）では、すでに位置4へ移動している。その結果、ＨＭＤ２は、この後位置4から位置5を経て位置6に至る間に、位置1〜3に対応するパノラマ映像を変換したＶＲ映像を、ユーザに対して表示する。その結果、現実世界におけるＨＭＤ２（バス）の位置状態と、その時点で表示されるＶＲ映像（仮想空間）内での位置状態とが異なってしまう（ずれてしまう）問題が生じるのである。

これに対し、図５に示した実施例では、ＨＭＤ２（バス）の将来位置を予測し、この予測結果に対応したパノラマ映像を配信することでこの問題を解決する。

図５に示す本実施例においても、バスは、現実世界（現実空間）において道路を走行し、この道路内の位置1から位置2を経て、時刻t＝0では位置3に至っている。ＨＭＤ２は、時刻t＝0において、これらの位置1〜3の座標と、ＨＭＤ２（バス）の速度及び加速度とを時刻情報（t＝0）に紐づけた状態情報を、配信サーバ１へ送信する。

この状態情報を受信した配信サーバ１の状態予測部１１１（図１）は、受信した状態情報によって現実空間におけるＨＭＤ２（バス）の位置、速度及び加速度を把握し、これに基づいて予測時間決定部１１２（図１）で決定した予測時間区間t＝τ〜τ+s（τ：配信遅延時間，s：１ファイル分の再生時間）における位置、速度及び加速度を予測する。

具体的には、時刻t＝0における現実空間での位置をx(0)とし、速度をv(0)とし、加速度をa(0)とすると、時刻t＝τにおける位置x(τ)、速度v(τ)及び加速度a(τ)は、急激な速度変動は発生しないと仮定した場合に、次式
（１） x(τ)＝x(0)＋∫v(t)dt
v(τ)＝v(0)＋∫a(t)dt
a(τ)＝a(0)
によって算出される。ここで、∫はt＝0〜τの定積分である。上式（１）によって予測時間区間t＝τ〜τ+sにおける位置及び速度も算出することができるのである。本実施例では、t＝τ〜τ+sでの位置として、位置4、位置5及び位置6を算出する。

次に、配信サーバ１の仮想状態決定部１１３（図１）は、算出された予測時刻間隔t＝τ〜τ+sにおける位置及び速度を、仮想空間での仮想位置及び仮想速度に変換する。具体的に、配信サーバ１は、予測された現実空間での位置4〜6に対応する仮想空間での仮想位置4〜6の座標を算出する。さらに、t＝τ〜τ+sにおける仮想空間での仮想速度値を算出する。

次いで、これらの仮想空間での座標及び仮想速度値を仮想空間内での視点の移動に係る情報として、この視点情報に基づき、ＶＲコンテンツからパノラマ画像（図５ではパノラマ画像4〜6）を切り出し、エンコード処理によってパノラマ映像を生成する。これは、現実世界での位置がx(τ)〜x(τ+s)となり、速度がv(τ)〜v(τ+s)となるように、先んじてＶＲコンテンツからパノラマ画像を切り出し、パノラマ映像を生成することになっている。具体的には、最初に、位置x(τ)〜x(τ+s)を、後段のエンコード処理におけるfps（frame per second）に従って等間隔に分割し、分割点を複数の離散的な座標として表現する。次いで、これらの分割点を、対応するＶＲコンテンツ内の仮想空間の座標に変換し、その視点位置における３６０度の視野をパノラマ画像に変換する。最後に、このようにして得られたパノラマ画像列をパノラマ映像へリアルタイムにエンコードするのである。

その後、配信サーバ１は、生成したパノラマ映像を、対応ＶＲ映像の再生に合わせてＨＭＤ２に配信する。ここで、ＨＭＤ２（バス）は、このパノラマ映像を受信した時点、すなわち時刻t＝τでは、すでに位置4へ移動している。その結果、ＨＭＤ２は、この後位置4から位置5を経て位置6に至る間に、位置4〜6に対応するパノラマ映像を変換したＶＲ映像を、ユーザに対して表示する。すなわち、現実世界におけるＨＭＤ２（バス）の位置、速度及び加速度状態と、その時点で表示されるＶＲ映像（仮想空間）内での位置、速度及び加速度状態とが一致し、このＶＲ映像を見たユーザは十分なリアル感や没入感を享受することができるのである。

ちなみに、ＶＲコンテンツの内容にもよるが、ＨＭＤ２（バス）から送信される状態情報は、例えば測位された各時刻における位置情報（例えば緯度及び経度）としてもよい。すなわち、速度や加速度情報がなくても、複数時刻における位置情報によって速度や加速度を決定することが可能である。さらに、基準時刻における位置が分かっていれば、状態情報に位置情報が含まれていなくても、速度情報や加速度情報から上式（１）を用いて位置を予測することも可能である。

図６は、本発明による映像配信装置においてクライアント状態を予測して配信処理を行う他の実施例を説明するための模式図である。

図６に示した実施例では、配信サーバ１の状態予測部１１１（図１）は、予測時刻t＝τ又は予測時間区間t＝τ〜τ+sでの向きに係る状態情報（例えば、方位や、t＝τでの向きを基準とした向きの変化量）を予測する。この際、ＨＭＤ２（バス）の所在位置を含む経路地図（道路地図）情報に基づいて向きの予測を行うことができる。また、ＨＭＤ２（バス）の状態情報として、例えば時刻t＝0での角加速度情報を取得し、この情報に基づいて進行向きの予測を行うことも可能である。

具体的に、図６に示した実施例では、配信サーバ１は、ＨＭＤ２（バス）から、位置3、位置4を経て時刻t＝0での位置x(0)が位置5であるとの状態情報を受信する。ここで、配信サーバ１は、受信した状態情報に基づいて、保持する道路地図情報から、「ＨＭＤ２（バス）はこの先、時刻t＝τにおいて位置6に至り、この位置6において進行向きを左に（反時計回りに）90°だけ変更し、時刻t＝τ+sにおいて位置8に至る」旨の情報を決定する。

次いで、配信サーバ１は、予測された現実空間での位置6〜8に対応する仮想空間での仮想位置6〜8を算出し、さらに、これらの位置6〜8における（対応ＶＲ映像再生時の）正面向きを、位置4から位置6に向かう際の進行向きではなく、位置6〜8に向かう際の進行向きに決定する。さらに、これらの仮想位置6〜8及びその際の正面向きの情報から仮想空間内での視点の移動に係る視点情報を決定し、この視点情報に基づき、決定した進行向きを（ＨＭＤ２での再生時に）正面に表示するように指定した上で、ＶＲコンテンツからパノラマ画像（パノラマ画像6〜8）を切り出す。次いで、切り出したパノラマ画像に対しエンコード処理を施してパノラマ映像を生成する。その後、配信サーバ１は、生成したパノラマ映像を、対応ＶＲ映像の再生に合わせてＨＭＤ２に配信するのである。

また、例えば、ＨＭＤ２（バス）が、この先（３つの進行向きに分かれる）交差点が存在する道路を走行している場合に、この交差点の直前で、角速度情報を含む状態情報を配信サーバ１へ送信するとする。この場合、配信サーバ１は、保持する道路地図情報を参照し、受信した状態情報における角速度の向き及び／又は大きさから、ＨＭＤ２（バス）が３つの進行向きのいずれに向かうのか（例えば、右折するのか、左折するのか又は直進するのか）を決定することができる。この際、この向きのより確実な予測のため、予め角速度ω値と曲り角の大きさとの関係を調べておき、状態情報として取得した角速度ω値から、この先の曲り角の大きさを予測することも好ましい。

さらに、配信サーバ１は、ＨＭＤ２（バス）がこの先走行する道路の曲がり具合を、同じく保持する道路地図情報から抽出し、将来の時点でのＨＭＤ２（バス）の進行向きの変化を予測することもできる。以上、説明したように、ＨＭＤ２（バス）の進行向きを適切に予測することによって、現実の進行向きに合致した正面向きを有する再生映像を提供するような配信映像を、確実に生成することも可能となるのである。

図７は、本発明に係るクライアントにおける再生制御処理の一実施形態を説明するための模式図である。

図７に示した実施例では、最初に、ＨＭＤ２の状態情報生成部２１３（図２）は、再生開示時点（t＝τ）におけるセンサ出力情報に基づいて、再生開示時点（t＝τ）での状態（例えば位置及び／又は速度）情報を取得する。次いで、ＨＭＤ２の再生制御部２１２（図２）は、
（ａ）受信した予測時刻（t＝τ）又は予測時間区間（t＝τ〜τ+s）での状態と、
（ｂ）検出、測定又は決定された予測時刻（t＝τ）又は予測時間区間（t＝τ〜τ+s）での自らの状態と
の間の相違の度合い（例えば位置間の距離や、速度値の差又は比）に基づき、再生される映像に表れる仮想状態をＨＭＤ２（バス）の状態に合わせるように、予測時刻（t＝τ）又は予測時間区間（t＝τ〜τ+s）に係る映像の再生速度を調整する。

具体的に、図７において、配信サーバ１は、時刻t＝0に係る状態情報を受信した時点で、ＨＭＤ２（バス）が時刻t＝τで位置4にあり、その後位置5を経て、時刻t＝τ+sには位置6に至ると予測し、この予測に基づいたパノラマ映像を生成し配信している。しかしながら、ＨＭＤ２（バス）は実際には、時刻t＝τで位置4にあったものの、時刻t＝τ+sでもまだ位置5にあり、配信サーバ１での予測とは異なった状態となっている。

この予測の異なったパノラマ映像を受信したＨＭＤ２は、配信サーバ１から併せて受信した、
（ａ１）予測時間区間（t＝τ〜τ+s）での位置4〜6の情報、又は
（ａ２）予測時点（t＝τ）での位置4の情報及び予測時間区間（t＝τ〜τ+s）での速度v'(τ〜τ+s)の情報と、
自らのセンサによるセンサ出力情報に基づいて生成した、
（ｂ）再生開始時刻（t＝τ）での位置4の情報及び速度値v(τ)の情報と
を比較し、予測時間区間での予測速度v'(τ〜τ+s)とv(τ)とが（所定の判定条件下で）相違していることから、受信したパノラマ映像を再生したＶＲ映像においては、現実世界での状態の推移とは異なった仮想状態の推移が行われることを認識する。そこで、ＨＭＤ２は、（実際に位置4から位置５へ至るとされる）時間範囲t＝τ〜τ+sにおいて再生されるＶＲ映像の動画位置範囲を、位置4及び5の範囲に限定する。

具体的には、配信サーバ１から受信された速度値v'(τ)の平均値が30m/sであり、一方、自ら取得・生成した速度値v(τ)が20m/sであれば、時刻t＝τからのＶＲ映像の再生速度を、基準の0.67（＝20／30）倍、すなわち0.67倍速とする。これにより、再生されたＶＲ映像における予測誤差に起因するズレの発生を防止し、再生映像のリアル感を確保することが可能となるのである。

次に、上記の実施例とは逆に、配信サーバ１での予測よりもＨＭＤ２（バス）がより先に進行する場合を考える。この場合、配信サーバ１は、時刻t＝0に係る状態情報を受信した時点で、ＨＭＤ２（バス）が時刻t＝τで位置4にあり、時刻t＝τ+sには位置5に至ると予測し、この予測に基づいたパノラマ映像を配信する。

ところが、実際には、ＨＭＤ２（バス）は結局、t＝τ〜τ+sの間に位置4〜6に進んだとする。このような場合に備えて、配信サーバ１では、予測結果から必要とされる位置4及び5に対応したパノラマ映像に加え、さらに進行する可能性のある位置、例えば位置6、7及び8に対応したパノラマ映像を作成し、配信する。

このようなパノラマ映像を受信したＨＭＤ２は、例えば、配信サーバ１から受信された速度値v'(τ)の平均値が30m/sであり、一方、自ら取得・生成した速度値v(τ)が40m/sであれば、時刻t＝τからのＶＲ映像の再生速度を、基準の1.3（＝40／30）倍、すなわち1.3倍速とする。これにより、ＨＭＤ２（バス）は、位置4〜6に進む間に、位置4及び5、並びに位置6に対応したパノラマ映像から生成したＶＲ映像を再生することが可能となるのである。

ちなみに、配信サーバ１において、（到達する可能性のある）追加の位置（位置6〜8）に対応したパノラマ映像を生成し配信するタイミングとしては、ＶＲ映像の再生が（１ファイル分の）全再生時間sのx％の動画位置に達した時点で、ＨＭＤ２（バス）の予測進行区間（この場合、位置4から位置5の区間）における実際の進行度合い（y％）がx％を越える（y＞xとなる）タイミングとすることができる。

以上、図７を用いて説明したように、本実施形態のＨＭＤ２を含む映像配信システムは、ＶＲ映像の再生速度を制御して、再生されたＶＲ映像における予測誤差に起因するズレの発生を防止することができる。これにより、再生映像のリアル感を確保し、ユーザに対しより好ましいＶＲ世界の体験を提供することも可能となるのである。

以上、詳細に説明したように、本発明の映像配信装置、システム、プログラム及び方法によれば、取得したクライアントの状態から、将来のクライアントにおける再生時間に合わせた仮想空間での仮想状態を予測し、これに基づいて配信映像を生成する。このような特徴的な状態予測機能を備えているが故に、クライアントの状態に応じた映像が再生可能となる映像データを、クライアントに配信することができる。また、これにより、再生された映像を見たユーザにおける仮想体験のリアル性が向上し、ユーザは十分な没入感を享受することも可能となるのである。

特に、ユーザが移動しながら映像を視聴する状況において、通信路遅延やエンコード遅延等、原理的にゼロにはできない遅延を仮想的に除去した配信が可能となる。このように、本発明は、例えば、膨大な量のＶＲ関連データの通信が予測される、来る５Ｇ（第５世代移動通信システム）においても、ユーザ位置連動型のＶＲコンテンツ配信サービスを実現するための重要な技術を提供するものとなっている。

以上に述べた本発明の種々の実施形態について、本発明の技術思想及び見地の範囲内での種々の変更、修正及び省略は、当業者によれば容易に行うことができる。以上に述べた説明はあくまで例示であって、何ら制約を意図するものではない。本発明は、特許請求の範囲及びその均等物によってのみ制約される。

１ 配信サーバ（映像配信装置）
１０１ 通信インタフェース部
１０２ ＶＲコンテンツ蓄積部
１０３ パノラマ画像蓄積部
１０４ パノラマ映像蓄積部
１１１ 状態予測部
１１１ａ 位置予測部
１１１ｂ 速度・加速度予測部
１１１ｃ 向き予測部
１１２ 予測時間決定部
１１３ 仮想状態決定部
１１４ 映像生成部
１１４ａ パノラマ画像生成部
１１４ｂ パノラマ映像生成部
１１５ 映像配信制御部
１１６ 通信制御部
２ ＨＭＤ（クライアント）
２０１ 通信インタフェース部
２０２ 測位部
２０３ 加速度センサ
２０４ ジャイロセンサ
２０５ 地磁気センサ
２０６ ディスプレイ
２１１ 通信制御部
２１２ 再生制御部
２１３ 状態情報生成部
３ ＧＰＳ衛星

Claims (9)

1. 仮想空間の視点映像をクライアントに配信する映像配信装置であって、
   当該クライアントの１つの時点又は時間区間での状態に係る情報を取得し、他の時点又は時間区間での当該クライアントの状態を予測する状態予測手段と、
   予測された当該他の時点又は時間区間での状態に対応する当該仮想空間内での仮想状態を決定する仮想状態決定手段と、
   決定された仮想状態に基づいて、当該仮想空間内での視点に係る情報である視点情報を決定し、決定した視点情報に基づいて、配信すべき視点映像を生成する映像生成手段と、
   生成された視点映像を、当該他の時点又は時間区間での再生に合わせて当該クライアントに配信する映像配信制御手段と
   を有することを特徴とする映像配信装置。
2. 前記状態予測手段は、当該クライアントの状態として、１つの時点又は時間区間での位置、速度、加速度及び向きのうちの少なくとも１つに係る状態情報を取得して、他の時点又は時間区間での位置、速度、加速度及び向きのうちの少なくとも１つに係る状態情報を予測し、
   前記仮想状態決定手段は、予測された当該他の時点又は時間区間での状態情報に対応する当該仮想空間内での位置、速度、加速度及び向きのうちの少なくとも１つに係る仮想状態情報を決定し、
   前記映像生成手段は、決定された仮想状態情報に基づいて当該仮想空間内での視点の位置、速度、加速度及び向きのうちの少なくとも１つに係る視点情報を決定し、決定した視点情報に基づいて視点映像を生成する
   ことを特徴とする請求項１に記載の映像配信装置。
3. 前記状態予測手段は、当該クライアントの所在位置を含む経路地図情報に基づいて、当該他の時点又は時間区間での向きに係る状態情報を予測することを特徴とする請求項２に記載の映像配信装置。
4. 前記状態予測手段は、当該１つの時点又は時間区間での向きに係る情報である角加速度の情報を取得して、当該他の時点又は時間区間での向きに係る状態情報を予測することを特徴とする請求項２又は３に記載の映像配信装置。
5. 取得された配信遅延時間に係る情報に基づいて、当該他の時点又は時間区間を決定する予測時間決定手段を更に有することを特徴とする請求項１から４のいずれか１項に記載の映像配信装置。
6. クライアントと、仮想空間の視点映像を当該クライアントに配信する映像配信装置とを有する映像配信システムであって、当該クライアントは、
   １つの時点又は時間区間において検出、測定又は決定された自らの状態に係る情報を生成する状態情報生成手段と、
   生成された自らの状態に係る情報を、当該１つの時点又は時間区間と紐づけて前記映像配信装置に送信するクライアント通信制御手段と
   を有し、前記映像配信装置は、
   当該クライアントの１つの時点又は時間区間での状態に係る情報を取得し、他の時点又は時間区間での当該クライアントの状態を予測する状態予測手段と、
   予測された当該他の時点又は時間区間での状態に対応する当該仮想空間内での仮想状態を決定する仮想状態決定手段と、
   決定された仮想状態に基づいて、当該仮想空間内での視点に係る情報である視点情報を決定し、決定した視点情報に基づいて、配信すべき視点映像を生成する映像生成手段と、
   生成された視点映像を、当該他の時点又は時間区間での再生に合わせて当該クライアントに配信する映像配信制御手段と
   を有することを特徴とする映像配信システム。
7. 前記映像配信装置は、予測した当該他の時点又は時間区間での状態を当該クライアントに送信する装置通信制御手段を更に有し、
   当該クライアントは、受信した当該他の時点又は時間区間での状態と、検出、測定又は決定された当該他の時点又は時間区間での自らの状態との間の相違の度合いに基づき、再生される視点映像に表れる仮想状態を当該クライアントの状態に合わせるように、当該他の時点又は時間区間に係る視点映像の再生速度を調整する再生制御手段を更に有する
   ことを特徴とする請求項６に記載の映像配信システム。
8. 仮想空間の視点映像をクライアントに配信する映像配信装置に搭載されたコンピュータを機能させる映像配信プログラムであって、
   当該クライアントの１つの時点又は時間区間での状態に係る情報を取得し、他の時点又は時間区間での当該クライアントの状態を予測する状態予測手段と、
   予測された当該他の時点又は時間区間での状態に対応する当該仮想空間内での仮想状態を決定する仮想状態決定手段と、
   決定された仮想状態に基づいて、当該仮想空間内での視点に係る情報である視点情報を決定し、決定した視点情報に基づいて、配信すべき視点映像を生成する映像生成手段と、
   生成された視点映像を、当該他の時点又は時間区間での再生に合わせて当該クライアントに配信する映像配信制御手段と
   してコンピュータを機能させることを特徴とする映像配信プログラム。
9. 仮想空間の視点映像をクライアントに配信する映像配信装置に搭載されたコンピュータにおける映像配信方法であって、
   当該クライアントの１つの時点又は時間区間での状態に係る情報を取得し、他の時点又は時間区間での当該クライアントの状態を予測するステップと、
   予測された当該他の時点又は時間区間での状態に対応する当該仮想空間内での仮想状態を決定するステップと、
   決定された仮想状態に基づいて、当該仮想空間内での視点に係る情報である視点情報を決定し、決定した視点情報に基づいて、配信すべき視点映像を生成する映像生成手段と、
   生成された視点映像を、当該他の時点又は時間区間での再生に合わせて当該クライアントに配信するステップと
   を有することを特徴とする映像配信方法。

Images