JP6851278B2 - ユーザ状態及び複雑度によってビットレートを決定するコンテンツ配信装置、システム、プログラム及び方法 - Google Patents
ユーザ状態及び複雑度によってビットレートを決定するコンテンツ配信装置、システム、プログラム及び方法 Download PDFInfo
- Publication number
- JP6851278B2 JP6851278B2 JP2017141705A JP2017141705A JP6851278B2 JP 6851278 B2 JP6851278 B2 JP 6851278B2 JP 2017141705 A JP2017141705 A JP 2017141705A JP 2017141705 A JP2017141705 A JP 2017141705A JP 6851278 B2 JP6851278 B2 JP 6851278B2
- Authority
- JP
- Japan
- Prior art keywords
- content
- bit rate
- user
- determined
- physical state
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Processing Or Creating Images (AREA)
Description
本発明は、大容量のコンテンツをサーバから配信する際の配信制御技術に関する。
次世代における高い臨場感を提供可能なメディアの１つとして、ＶＲ（Virtual reality）映像が注目されている。このＶＲ映像は、例えば、ＨＭＤ（Head Mounted Display，頭部装着ディスプレイ）を装着したユーザに対し、頭部の向きに合わせて仮想空間における３６０度の視野範囲の動画像を一挙に提示することができる映像である。
ＶＲ映像を再生するためには、ＨＭＤ等のクライアントにおいて、３６０度の視野範囲に展開された２次元映像であるパノラマ映像を用意する必要がある。このパノラマ映像は、３６０度の視野範囲の撮影に対応したカメラ群によるカメラ映像や、３次元のＣＧ（Computer Graphics）技術を用いて生成されたＶＲコンテンツを、ＥＲＰ（Equi-Rectangular Projection）形式（正距円筒図法）等の射影形式により２次元映像に展開することによって生成される。
ちなみに、クライアントは、受信したパノラマ映像をデコードした後、各フレームを所定の変換式によって球面に射影変換し、例えば両眼で仮想空間を視認できる形の視野映像を切り出してＶＲ映像として再生するのである。なお、この射影変換として、球面にではなく立方体や正八面体等に射影する、より簡易なモデルを利用した形式のものも存在する。
サーバで生成されるパノラマ映像は一般に、H.264やH.265等の符号化方式でエンコードされており、圧縮された形でクライアントに配信される。また、上述したようなＥＲＰ形式に基づくパノラマ映像は、４Ｋや８Ｋ等の高解像度表示に対応した２次元映像に展開されたものとなる。したがって、そのビットレートは相当に高くなるので、とりわけ通信ネットワークを経由して配信する場合、配信遅延が増大し、ネットワーク資源が過大に消費されてしまう可能性も高くなる。
このような配信遅延の問題に対し、例えば特許文献１は、パノラマ映像のビットレートを、可視領域を考慮して節約するという解決策を提案している。具体的には、パノラマ映像をスライス分割し、スライス毎に異なる解像度及びビットレートを設定して、ユーザの可視領域の品質を高く設定する一方、非可視領域の品質を抑えることにより、全体のビットレートの低減を図っている。
また、この特許文献１に記載された技術では、配信方式として、ＨＬＳ（HTTP Live Streaming）というプロトコルが利用されている。本方式によれば、予め映像ストリームを数〜１０秒程度の再生時間長を有するセグメントファイルに分割しておき、クライアント側がこのセグメント単位で受信及び再生開始を行うことによって、映像ストリームを受信しながら再生する擬似ストリーミングが実現される。
さらに、このＨＬＳを用いた配信方式では、映像ストリームに異なる品質（ビットレート）のものを用意し、セグメント毎に互いに異なるビットレートのセグメントファイルを揃えておくことによって、セグメント単位でビットレートを選択することができる。具体的には、セグメント長間隔の要求時点で、ビットレートと直近に計測されたスループット値とを比較し、このスループット値を超えない範囲のビットレートを持つセグメントを要求することができる。このように、通信ネットワークの通信状況に応じ、クライアント側が要求するコンテンツの品質を変更して、配信遅延に対処しているのである。なお、同様の公知の配信プロトコルとして、ＭＰＥＧ−ＤＡＳＨ（Dynamic Adaptive Streaming over Hyper transfer protocol）等が挙げられる。
たしかに、特許文献１に記載された技術のような従来技術では、セグメントファイル等の分割された画像ファイルのビットレートを調整することで配信遅延への対処を図っている。しかしながら、ＶＲコンテンツのパノラマ映像といった大容量の映像を配信する場合、依然として配信遅延の問題が残ってしまう。
ここで具体的に、次のような配信形態を考察する。例えば、現実世界における自動車の移動と連動させる形でＶＲコンテンツの視点位置を移動させたパノラマ映像を、この自動車に乗車したユーザの装着したＨＭＤに対して配信する。すなわち、現実世界系でのユーザの実位置と連動させてＶＲコンテンツの視点位置を移動させ配信することによって、ＨＭＤを装着したユーザにとって、ＶＲコンテンツの仮想空間内を移動するような体験を提供することを考えるのである。
さらに、ユーザは１人とは限らず、ネットワーク資源を共用して複数ユーザへ同時に配信を行う場合もあるとする。以下、以上に述べたような配信形態を、特許文献１に記載されたような従来技術によって適切に実現することができるか否かを考察する。
特許文献１に記載されたような従来技術では、１人のユーザの顔の向きによってのみビットレートを制御しており、例えばＶＲコンテンツ内の視点位置毎のシーンの複雑度をも考慮してビットレートを決定する、といったことは何ら行われていない。したがって、配信されるＶＲ映像の品質を、所定レベルに維持したり保証したりすることは困難である。
また特に、ブロードキャスト等、ネットワーク資産が共用されていて複数ユーザへ同時に配信を行う場合、特許文献１に記載されたような従来技術を採用したとしても、例えば各ユーザへの品質配分については考慮されるべくもなく、また、各ユーザが独立でビットレートを決定し要求するので、結局ユーザ数の増加に比例して、配信される映像ストリームのトラヒックも単純に増加してしまう。
その結果、全ユーザ分として必要なスループットがその時点のネットワークでの上限を超えてしまう場合、各配信のためのスループットが不足し、結果としてＶＲ映像の品質低下を招くことになるのである。このように、特許文献１に記載されたような従来技術は、限られたスループットを利用するための配信制御手法としては全く不十分である。
そこで、本発明は、クライアントのユーザ状態によって見える内容が決まるコンテンツを、当該内容に応じた適切なビットレートで当該クライアントに配信することができるコンテンツ配信装置、システム、プログラム及び方法を提供することを目的とする。
本発明によれば、クライアントのユーザの現実空間での物理的状態によって見える内容が決まるコンテンツを配信するコンテンツ配信装置であって、
当該ユーザの現実空間での物理的状態毎に、当該物理的状態によって決定される当該見える内容における見え方の複雑度を、予め設定された複数のビットレートの各々の下で当該物理的状態によって決定される当該見える内容に基づき算出しておく複雑度算出手段と、
取得された当該ユーザの現実空間での物理的状態から、予め設定された複雑度に基づき、その下で該複雑度が該物理的状態に対応して算出されることになるビットレートを求め、該ビットレートを、配信する当該コンテンツのビットレートに決定するビットレート決定手段と、
決定されたビットレートに該当するコンテンツを、取得された当該物理的状態に係るユーザのクライアントへ配信させる配信制御手段と
を有するコンテンツ配信装置が提供される。
当該ユーザの現実空間での物理的状態毎に、当該物理的状態によって決定される当該見える内容における見え方の複雑度を、予め設定された複数のビットレートの各々の下で当該物理的状態によって決定される当該見える内容に基づき算出しておく複雑度算出手段と、
取得された当該ユーザの現実空間での物理的状態から、予め設定された複雑度に基づき、その下で該複雑度が該物理的状態に対応して算出されることになるビットレートを求め、該ビットレートを、配信する当該コンテンツのビットレートに決定するビットレート決定手段と、
決定されたビットレートに該当するコンテンツを、取得された当該物理的状態に係るユーザのクライアントへ配信させる配信制御手段と
を有するコンテンツ配信装置が提供される。
この本発明によるコンテンツ配信装置の一実施形態として、
当該コンテンツの配信される形態は、仮想空間における視点映像に係るデータであり、
当該ユーザの現実空間での物理的状態は、ユーザの位置情報を含み、
複雑度算出手段は、当該複雑度として、当該ユーザの位置情報に対応する当該仮想空間での位置における当該視点映像についての画質指標を算出する
ことも好ましい。
当該コンテンツの配信される形態は、仮想空間における視点映像に係るデータであり、
当該ユーザの現実空間での物理的状態は、ユーザの位置情報を含み、
複雑度算出手段は、当該複雑度として、当該ユーザの位置情報に対応する当該仮想空間での位置における当該視点映像についての画質指標を算出する
ことも好ましい。
また、上記の画質指標を利用する実施形態において、
本コンテンツ配信装置は、当該仮想空間における３次元映像情報を２次元の視点画像群へ展開し、当該２次元の視点画像群を所定のビットレート条件下でエンコードして２次元の当該視点映像を生成する視点映像生成手段を更に有し、
配信制御手段は、決定されたビットレートに該当する当該２次元の視点映像を、取得された当該ユーザの位置情報に係るクライアントへ配信する
ことも好ましい。
本コンテンツ配信装置は、当該仮想空間における３次元映像情報を２次元の視点画像群へ展開し、当該２次元の視点画像群を所定のビットレート条件下でエンコードして２次元の当該視点映像を生成する視点映像生成手段を更に有し、
配信制御手段は、決定されたビットレートに該当する当該２次元の視点映像を、取得された当該ユーザの位置情報に係るクライアントへ配信する
ことも好ましい。
さらに、上記の画質指標を利用する実施形態において、
本コンテンツ配信装置は、予め設定されたビットレート条件毎に生成された視点映像であって当該仮想空間での１つの位置における視点映像についての画質指標から、当該ユーザの位置情報若しくは当該仮想空間での位置及び画質指標と、ビットレートとの関係を決定する画質・ビットレートマッピング手段を更に有し、
ビットレート決定手段は、決定された当該関係に基づいて、取得された当該ユーザの位置情報から、配信する当該コンテンツのビットレートを決定する
ことも好ましい。
本コンテンツ配信装置は、予め設定されたビットレート条件毎に生成された視点映像であって当該仮想空間での１つの位置における視点映像についての画質指標から、当該ユーザの位置情報若しくは当該仮想空間での位置及び画質指標と、ビットレートとの関係を決定する画質・ビットレートマッピング手段を更に有し、
ビットレート決定手段は、決定された当該関係に基づいて、取得された当該ユーザの位置情報から、配信する当該コンテンツのビットレートを決定する
ことも好ましい。
また、上記の画質・ビットレートマッピング手段を有する実施形態において、
当該クライアント及びユーザは、本コンテンツ配信装置から当該コンテンツを配信される複数のクライアント及びユーザであり、
ビットレート決定手段は、決定された当該関係に基づいて、取得された各ユーザの位置情報と、取得された各クライアントに係るスループット情報とから、各クライアントへ配信する当該コンテンツのビットレートを決定する
ことも好ましい。
当該クライアント及びユーザは、本コンテンツ配信装置から当該コンテンツを配信される複数のクライアント及びユーザであり、
ビットレート決定手段は、決定された当該関係に基づいて、取得された各ユーザの位置情報と、取得された各クライアントに係るスループット情報とから、各クライアントへ配信する当該コンテンツのビットレートを決定する
ことも好ましい。
さらに、上記のビットレート決定手段は、決定された当該関係に基づいて、取得された各ユーザの位置情報と、取得された各クライアントに係るスループット情報と、そこから導出された全クライアントで利用できる全体のスループット情報とから、配信の際のスループット条件が満たされるように当該コンテンツの画質指標を決定し、決定された画質指標から、各クライアントへ配信する当該コンテンツのビットレートを決定することも好ましい。
また、本発明によるコンテンツ配信装置の他の実施形態として、
当該コンテンツはコンピュータグラフィックスデータを含み、
複雑度算出手段は、当該コンピュータグラフィックスデータにおけるポリゴン数及び／又はテクスチャ指標に基づいて、当該複雑度を算出する
ことも好ましい。
当該コンテンツはコンピュータグラフィックスデータを含み、
複雑度算出手段は、当該コンピュータグラフィックスデータにおけるポリゴン数及び／又はテクスチャ指標に基づいて、当該複雑度を算出する
ことも好ましい。
本発明によれば、また、クライアントと、当該クライアントのユーザの現実空間での物理的状態によって見える内容が決まるコンテンツを配信するコンテンツ配信装置とを有するコンテンツ配信システムであって、本クライアントは、
１つの時点又は時間区間において検出、測定又は決定された当該ユーザの現実空間での物理的状態に係る情報を生成する状態情報生成手段と、
生成された当該ユーザの現実空間での物理的状態に係る情報を、当該１つの時点又は時間区間と紐づけて前記コンテンツ配信装置に送信するクライアント通信制御手段と
を有し、本コンテンツ配信装置は、
当該ユーザの現実空間での物理的状態毎に、当該物理的状態によって決定される当該見える内容における見え方の複雑度を、予め設定された複数のビットレートの各々の下で当該物理的状態によって決定される当該見える内容に基づき算出しておく複雑度算出手段と、
受信された当該ユーザの現実空間での物理的状態から、予め設定された複雑度に基づき、その下で該複雑度が該物理的状態に対応して算出されることになるビットレートを求め、該ビットレートを、配信する当該コンテンツのビットレートに決定するビットレート決定手段と、
決定されたビットレートに該当するコンテンツを、受信された当該物理的状態に係るユーザのクライアントへ配信させる配信制御手段と
を有するコンテンツ配信システムが提供される。
１つの時点又は時間区間において検出、測定又は決定された当該ユーザの現実空間での物理的状態に係る情報を生成する状態情報生成手段と、
生成された当該ユーザの現実空間での物理的状態に係る情報を、当該１つの時点又は時間区間と紐づけて前記コンテンツ配信装置に送信するクライアント通信制御手段と
を有し、本コンテンツ配信装置は、
当該ユーザの現実空間での物理的状態毎に、当該物理的状態によって決定される当該見える内容における見え方の複雑度を、予め設定された複数のビットレートの各々の下で当該物理的状態によって決定される当該見える内容に基づき算出しておく複雑度算出手段と、
受信された当該ユーザの現実空間での物理的状態から、予め設定された複雑度に基づき、その下で該複雑度が該物理的状態に対応して算出されることになるビットレートを求め、該ビットレートを、配信する当該コンテンツのビットレートに決定するビットレート決定手段と、
決定されたビットレートに該当するコンテンツを、受信された当該物理的状態に係るユーザのクライアントへ配信させる配信制御手段と
を有するコンテンツ配信システムが提供される。
本発明によれば、さらに、クライアントのユーザの現実空間での物理的状態によって見える内容が決まるコンテンツを配信する装置に搭載されたコンピュータを機能させるコンテンツ配信プログラムであって、
当該ユーザの現実空間での物理的状態毎に、当該物理的状態によって決定される当該見える内容における見え方の複雑度を、予め設定された複数のビットレートの各々の下で当該物理的状態によって決定される当該見える内容に基づき算出しておく複雑度算出手段と、
取得された当該ユーザの現実空間での物理的状態から、予め設定された複雑度に基づき、その下で該複雑度が該物理的状態に対応して算出されることになるビットレートを求め、該ビットレートを、配信する当該コンテンツのビットレートに決定するビットレート決定手段と、
決定されたビットレートに該当するコンテンツを、取得された当該物理的状態に係るユーザのクライアントへ配信させる配信制御手段と
してコンピュータを機能させるコンテンツ配信プログラムが提供される。
当該ユーザの現実空間での物理的状態毎に、当該物理的状態によって決定される当該見える内容における見え方の複雑度を、予め設定された複数のビットレートの各々の下で当該物理的状態によって決定される当該見える内容に基づき算出しておく複雑度算出手段と、
取得された当該ユーザの現実空間での物理的状態から、予め設定された複雑度に基づき、その下で該複雑度が該物理的状態に対応して算出されることになるビットレートを求め、該ビットレートを、配信する当該コンテンツのビットレートに決定するビットレート決定手段と、
決定されたビットレートに該当するコンテンツを、取得された当該物理的状態に係るユーザのクライアントへ配信させる配信制御手段と
してコンピュータを機能させるコンテンツ配信プログラムが提供される。
本発明によれば、さらにまた、クライアントのユーザの現実空間での物理的状態によって見える内容が決まるコンテンツを配信する装置に搭載されたコンピュータにおけるコンテンツ配信方法であって、
当該ユーザの現実空間での物理的状態毎に、当該物理的状態によって決定される当該見える内容における見え方の複雑度を、予め設定された複数のビットレートの各々の下で当該物理的状態によって決定される当該見える内容に基づき算出しておくステップと、
取得された当該ユーザの現実空間での物理的状態から、予め設定された複雑度に基づき、その下で該複雑度が該物理的状態に対応して算出されることになるビットレートを求め、該ビットレートを、配信する当該コンテンツのビットレートに決定するステップと、
決定されたビットレートに該当するコンテンツを、取得された当該物理的状態に係るユーザのクライアントへ配信させるステップと
を有するコンテンツ配信方法が提供される。
当該ユーザの現実空間での物理的状態毎に、当該物理的状態によって決定される当該見える内容における見え方の複雑度を、予め設定された複数のビットレートの各々の下で当該物理的状態によって決定される当該見える内容に基づき算出しておくステップと、
取得された当該ユーザの現実空間での物理的状態から、予め設定された複雑度に基づき、その下で該複雑度が該物理的状態に対応して算出されることになるビットレートを求め、該ビットレートを、配信する当該コンテンツのビットレートに決定するステップと、
決定されたビットレートに該当するコンテンツを、取得された当該物理的状態に係るユーザのクライアントへ配信させるステップと
を有するコンテンツ配信方法が提供される。
本発明のコンテンツ配信装置、システム、プログラム及び方法によれば、クライアントのユーザ状態によって見える内容が決まるコンテンツを、当該内容に応じた適切なビットレートで当該クライアントに配信することができる。
以下、本発明の実施形態について、図面を用いて詳細に説明する。
［コンテンツ配信システム］
図１は、本発明によるコンテンツ配信装置の一実施形態における機能構成を示す機能ブロック図である。
図１は、本発明によるコンテンツ配信装置の一実施形態における機能構成を示す機能ブロック図である。
図１に示した、本発明によるコンテンツ配信装置の一実施形態としての配信サーバ１は、配信対象であるＶＲコンテンツから生成したパノラマ映像を、クライアントであるＨＭＤ２に対しリアルタイムで配信して、ＨＭＤ２を装着したユーザに、仮想空間（ＶＲ空間、仮想世界）の映像であるＶＲ映像を享受させるサーバである。
また、本実施形態において、ＨＭＤ２を装着したユーザは走行中のバスに乗車しており、ユーザ（ＨＭＤ２）はバスとともに、位置、速度、加速度や、進行向きといった現実世界での状態である「ユーザ状態」を刻々と変化させている。また、本実施形態において、バス若しくはＨＭＤ２は、ＧＰＳ（Global Positioning System）による測位機能を備えており、自らの測定位置を測位時刻と紐づけた測位情報を、「ユーザ状態」として配信サーバ１へ送信することができる。
ここで、配信されるＶＲコンテンツは、この「ユーザ状態」によって（ユーザに）見える内容が決まるコンテンツである。例えば、ユーザの位置情報に連動して、仮想空間での位置における視点映像を生成し、配信することで、ユーザは仮想空間内を移動するような体験ができる。本発明のコンテンツ配信装置・方法は、「ユーザ状態」によって見える内容が決まるコンテンツであれば、その配信の制御に対して適用可能となっているが、以下、最も理解し易いＶＲコンテンツ配信の実施形態を説明する。
同じく図１に示すように、配信サーバ１は、その特徴として、
（Ａ）「ユーザ状態」毎に決定される、見える内容における見え方の「複雑度」を算出する複雑度算出手段としての画像算出部１２と、
（Ｂ）取得された「ユーザ状態」と算出された「複雑度」とに基づいて、配信するコンテンツの「ビットレート」を決定するビットレート決定部１４と、
（Ｃ）決定された「ビットレート」に該当するコンテンツを、取得された「ユーザ状態」に係るクライアントへ配信させる映像配信制御部１５と
を有している。
（Ａ）「ユーザ状態」毎に決定される、見える内容における見え方の「複雑度」を算出する複雑度算出手段としての画像算出部１２と、
（Ｂ）取得された「ユーザ状態」と算出された「複雑度」とに基づいて、配信するコンテンツの「ビットレート」を決定するビットレート決定部１４と、
（Ｃ）決定された「ビットレート」に該当するコンテンツを、取得された「ユーザ状態」に係るクライアントへ配信させる映像配信制御部１５と
を有している。
このように、配信サーバ１は、取得したクライアントの「ユーザ状態」と、このユーザ状態について算出された「複雑度」とに基づいて、配信の「ビットレート」を決定している。配信サーバ１は、このような配信ビットレート制御機能を備えているが故に、「ユーザ状態」によって見える内容が決まるＶＲコンテンツのようなコンテンツを、当該内容に応じた適切な「ビットレート」でクライアントに配信することができるのである。
また例えば、ＶＲコンテンツの内容（見え方）に応じて柔軟にビットレートを調整し、適応的ビットレートをもって配信することができるので、スループットが常時変動し得る（配信に使用する）通信ネットワークにおいて、トラヒックの増大を抑制することも可能となる。
ここで、典型的な一実施形態として、クライアントの「ユーザ状態」を、現実空間における位置、速度、加速度、進行向き、及びＨＭＤ２の向き（ユーザの顔の向き）のうちの少なくとも１つに設定することができる。本実施形態のように、バス若しくはＨＭＤ２がＧＰＳによる測位情報を配信サーバ１に送信するのであれば、「ユーザ状態」として少なくとも位置を用いることになる。
さらに、ＶＲコンテンツから生成されるパノラマ映像のように、配信されるコンテンツの形態が仮想空間における視点映像にかかわるものの場合、算出される「複雑度」として、「ユーザ状態（位置情報）」に対応する仮想空間での位置における視点映像についての「画質指標」を採用することができる。
この場合具体的に、配信サーバ１は、
（ａ）ＶＲコンテンツ内の視点位置毎に作成されるパノラマ映像について、複数のビットレートでエンコードした場合の「画質指標」を予め算出して、画質・ＢＲ（Bit Rate）テーブルを生成しておき、
（ｂ）この画質・ＢＲテーブルを参照して、「ユーザ状態（位置情報）」や「画質指標」の設定に応じてビットレートを決定する
ことも好ましい。
（ａ）ＶＲコンテンツ内の視点位置毎に作成されるパノラマ映像について、複数のビットレートでエンコードした場合の「画質指標」を予め算出して、画質・ＢＲ（Bit Rate）テーブルを生成しておき、
（ｂ）この画質・ＢＲテーブルを参照して、「ユーザ状態（位置情報）」や「画質指標」の設定に応じてビットレートを決定する
ことも好ましい。
ちなみに、このような実施形態であれば、複数のユーザがマルチキャスト等で通信ネットワークを共用してコンテンツ配信を同時に受信する場合であっても、配信サーバ１は、各ユーザの「ユーザ状態（位置情報）」や「画質指標」の設定に応じて、各ユーザへビットレートを適切に配分することができるのである。
なお当然に、配信サーバ１の配信先となるクライアントは、バスに乗車したユーザのＨＭＤに限定されるものではない。このクライアントとしては、仮想空間の映像を再生可能であれば、グラス（眼鏡）型ウェアラブル端末等種々のものが採用可能である。また、クライアントが乗車するものは、自動車、鉄道車両、船舶等の交通手段や、自転車等とすることもできる。さらに、このクライアントとして、徒歩状態やランニング状態にあるユーザによって装着・携帯された端末であってもよい。この場合、移動経路がある程度固定されていて、位置、速度や加速度に急激な変化が生じ難く、移動の予測が比較的容易であるクライアントであることが好ましい。
［クライアントの機能構成］
図２は、本発明に係るクライアントの一実施形態における機能構成を示す機能ブロック図である。
図２は、本発明に係るクライアントの一実施形態における機能構成を示す機能ブロック図である。
図２によれば、本発明に係るクライアントの一実施形態としてのＨＭＤ２は、通信インタフェース部２０１と、ディスプレイ２０６と、通信制御部２１１と、再生制御部２１２とを有している。
また、ＨＭＤ２は、本実施形態において、測位部２０２と、加速度センサ２０３と、ジャイロセンサ２０４と、地磁気センサ２０５と、ユーザ情報生成部２１３とを更に有している。ここで、これらの構成部の全部又は一部が、ＨＭＤ２にではなく、ＨＭＤ２を装着したユーザの乗車しているバスに備えられていてもよい。またこの場合、バスは、生成したユーザ状態の情報を配信サーバ２に送信可能な通信制御・インタフェース部を更に備えていることも好ましい。
ちなみに、現在、乗用車やバス等の移動手段の多くが、ＧＰＳ測位機能を有していて測位情報を外部のサーバに発信可能となっている。さらにまた、バスには、自己診断機能であるＯＢＤ（On-Board Diagnositics）２が装備されていて、この機能による診断情報がバスによるユーザ状態情報として配信サーバ２に送信されるようにしてもよい。
測位部２０２は、ＧＰＳ衛星３からの測位電波を捕捉して測位処理を行い、ＨＭＤ２（又はバス）の測位時点での緯度、経度、及び（ジオイド高情報が有る場合には）標高を出力する。なお、変更態様として、測位部２０２は、ＧＰＳによる測位ではなく、例えば携帯電話通信網を構成する複数の基地局や、Wi-Fi（登録商標）等の無線ＬＡＮを構成する複数のアクセスポイントからの信号電波強度を用いて、位置の測位を行うものであってもよい。この場合、後述するユーザ情報生成部２１３は、基地局やアクセスポイントの設置位置を明示した地図情報を予め保持し、測位結果から当該地図上での位置を決定することも好ましい。
加速度センサ２０３は、ＨＭＤ２（又はバス）の測定時点での加速度をベクトル量として測定し出力する加速度測定計である。測定した加速度を積算して速度情報を出力してもよい。また、変更態様として、歩行者ユーザに装着されたクライアントの例となるが、加速度センサ２０３は、重力加速度を計測して、ＨＭＤ２を装着したユーザの歩数をカウントし、予め設定された歩幅から歩行距離を算出して出力するものであってもよい。
ジャイロセンサ２０４は、ＨＭＤ２（又はバス）の検出時点での角速度を検出し出力するジャイロスコープである。これは例えば、向きの転換（変化）を検知し向き転換情報を出力するものであってもよい。
地磁気センサ２０５は、ＨＭＤ２（又はバス）位置の計測時点での地磁気の向き及び強度を計測し出力する磁気計測計である。この地磁気センサ２０５と加速度センサ２０３とを組み合わせて、ＨＭＤ２（又はバス）の向いている（又は進行している）方位を測定し出力する方位測定部とすることもできる。
なお当然に、装備されるセンサの種類及び組合せは、上述した形態に限定されるものではなく、ＨＭＤ２（又はバス）の現実世界（現実空間）での状態を検出、測定又は決定できるものならば、種々のセンサが単独で又は組み合わせて採用可能となっている。
ユーザ情報生成部２１３は、測位部２０２、加速度センサ２０３、ジャイロセンサ２０４及び地磁気センサ２０５から出力されたセンサ出力情報に基づいて、１つの時点又は時間区間において検出、測定又は決定されたＨＭＤ２（又はバス）のユーザ状態の情報、例えば位置、速度、加速度に係る情報を生成する。
通信制御部２１１は、ユーザ情報生成部２１３で生成されたユーザ状態情報を当該１つの時点又は時間区間と紐づけて、通信インタフェース部２０１を介し配信サーバ１に送信する。また、ＶＲコンテンツのＶＲ映像をユーザに提供すべく、対応するパノラマ映像の配信を要求するリクエストを配信サーバ１に送信してもよい。さらに、通信制御部２１１は、配信サーバ１から配信されたパノラマ映像を受信し、再生制御部２１２に出力する。
再生制御部２１２は、入力したパノラマ映像をバッファリングし、所定のタイミングでデコード処理を行ってパノラマ画像列へ復号し、ここで得られた各フレームに対し、サーバ１側でマッピングに使用されたＥＲＰ等の形式に対応した変換式を用いて（例えば球面への）射影変換を実施し、さらに、視野映像を切り出しＶＲ映像としてディスプレイ２０６に再生させる。
［コンテンツ配信装置の機能構成］
以下、図１に戻って、配信サーバ１の機能構成を説明する。同図に示した機能ブロック図によれば、本発明のコンテンツ配信装置である配信サーバ１は、通信インタフェース部１０１と、ＶＲコンテンツ蓄積部１０２と、パノラマ画像蓄積部１０３と、パノラマ映像蓄積部１０４と、画像・ＢＲテーブル保存部１０５と、プロセッサ・メモリとを有する。ここで、プロセッサ・メモリは、配信サーバ１のコンピュータを機能させるプログラムを実行することによって、本発明に係る映像生成・コンテンツ配信制御機能を実現させる。
以下、図１に戻って、配信サーバ１の機能構成を説明する。同図に示した機能ブロック図によれば、本発明のコンテンツ配信装置である配信サーバ１は、通信インタフェース部１０１と、ＶＲコンテンツ蓄積部１０２と、パノラマ画像蓄積部１０３と、パノラマ映像蓄積部１０４と、画像・ＢＲテーブル保存部１０５と、プロセッサ・メモリとを有する。ここで、プロセッサ・メモリは、配信サーバ１のコンピュータを機能させるプログラムを実行することによって、本発明に係る映像生成・コンテンツ配信制御機能を実現させる。
さらに、このプロセッサ・メモリは、機能構成部として、視点映像生成部１１と、画質算出部１２と、画像・ＢＲマッピング部１３と、ビットレート決定部１４と、映像配信制御部１５と、通信制御部１６とを有する。また、このうち視点映像生成部１１は、パノラマ画像生成部１１１と、エンコード部１１２ａを含むパノラマ映像生成部１１２とを有していることも好ましい。ここで、図１における配信サーバ１の機能構成部間を矢印で接続して示した処理の流れは、本発明によるコンテンツ配信方法の一実施形態としても理解される。
最初に、通信制御部１６は、通信インタフェース部１０１を介して、ＶＲコンテンツのパノラマ映像を配信するように要求するリクエストを、ＨＭＤ２から受信する。また一方で、ＨＭＤ２又はＨＭＤ２のユーザが乗車しているバスから、ＨＭＤ２又はバスで計測された位置等のユーザ状態に係る情報を、通信インタフェース部１０１を介して受信する。ここで、このユーザ状態情報は、配信要求のリクエストとともに送信され、通信制御部１６によって受信されてもよいが、例えば定期的に、又はユーザ状態に所定以上の変化が生じた際に、ＨＭＤ２又はバスから送信されるようにすることも可能である。
視点映像生成部１１は、ＶＲコンテンツの仮想空間における３次元映像情報を２次元の視点画像（例えばパノラマ画像）群へ展開し、この２次元の視点画像群を所定のビットレート条件下でエンコードして２次元の視点映像（例えばパノラマ映像）を生成する。
１つの実施形態として、視点映像生成部１１のパノラマ画像生成部１１１は、最初に、ＶＲコンテンツ蓄積部１０２に保存された配信対象のＶＲコンテンツを読み出し、このＶＲコンテンツにおける２次元座標(u,v)で表される空間を所定のメッシュに分割し、画質・ＢＲテーブルを予め生成する処理段階においては、当該メッシュの代表点（本実施形態では中心点）(ui, vi)毎に、当該中心点を視点位置としてパノラマ画像を切り出す。一方、実際にユーザ位置に対応して配信する段階においては、ユーザ位置に対応する２次元座標（u, v）毎に切り出しを行う。
ちなみに、このＶＲコンテンツからパノラマ画像を切り出す際の視点位置としては、高さ方向を含む３次元座標で表される空間内の位置とすることも可能であるが、以下、内容理解の容易さから、視点位置が２次元の位置である場合を説明する。
図３は、パノラマ画像生成部１１１におけるパノラマ画像生成処理の一実施形態を説明するための模式図である。また、図４は、パノラマ画像を生成する際に使用するＥＰＲ射影形式を説明するための模式図である。
図３によれば、パノラマ画像生成部１１１（図１）は、最初に、
（ア）ＶＲコンテンツにおける１つのメッシュの中心点(ui, vi)を視点位置に設定する。
ここで、１つのメッシュの中心点は、図３ではユーザ（ＨＭＤ２）の現実世界（U-V座標系）での位置に対応するメッシュの点となっているが、後述するように、画質・ＢＲテーブルを予め生成する処理段階では、このテーブル生成のために必要となる一連の複数中心点のうちの１つとなる。
（ア）ＶＲコンテンツにおける１つのメッシュの中心点(ui, vi)を視点位置に設定する。
ここで、１つのメッシュの中心点は、図３ではユーザ（ＨＭＤ２）の現実世界（U-V座標系）での位置に対応するメッシュの点となっているが、後述するように、画質・ＢＲテーブルを予め生成する処理段階では、このテーブル生成のために必要となる一連の複数中心点のうちの１つとなる。
次いで、パノラマ画像生成部１１１は、
（イ）視点位置(ui, vi)を中心とした適当な半径を持つ球面を設定し、視点位置(ui, vi)から見えるＶＲコンテンツの内容をこの球面上に射影し、
（ウ）射影された結果としての球面上の画像データを、円筒に投影するように展開して、パノラマ画像を生成する。
（イ）視点位置(ui, vi)を中心とした適当な半径を持つ球面を設定し、視点位置(ui, vi)から見えるＶＲコンテンツの内容をこの球面上に射影し、
（ウ）射影された結果としての球面上の画像データを、円筒に投影するように展開して、パノラマ画像を生成する。
ここで、この円筒に投影する展開形式はＥＰＲ射影形式であり、図４に示したように、面から円筒側面への写像に係る形式となっている。図４において、この円筒側面における横軸の−πは、例えば地球面の西経180度に対応し、＋πは東経180度に対応し、また縦軸の−π／２は地球面の北緯90度に対応し、＋π／２は地球面の南緯90度に対応するものとなっている。このようなＥＰＲ射影形式によれば、結局、球面の極に存在する画素が、パノラマ画像上では上辺又は下辺の１辺分に引き伸ばされることになる。
パノラマ画像生成部１１１は、最後に、
（エ）生成したパノラマ画像を所定時間Δt分だけ切り出してとりまとめ、パノラマ画像群とする。
ここで、このパノラマ画像群は、次に説明するパノラマ映像生成の際に実行されるエンコード処理における一単位分の画像の集合であり、例えば１つのＧＯＰ（Group Of Pictures）とすることができる。なお、生成されたパノラマ画像（群）は、一旦パノラマ画像蓄積部１０３に保存され、適宜読み出されてもよい。
（エ）生成したパノラマ画像を所定時間Δt分だけ切り出してとりまとめ、パノラマ画像群とする。
ここで、このパノラマ画像群は、次に説明するパノラマ映像生成の際に実行されるエンコード処理における一単位分の画像の集合であり、例えば１つのＧＯＰ（Group Of Pictures）とすることができる。なお、生成されたパノラマ画像（群）は、一旦パノラマ画像蓄積部１０３に保存され、適宜読み出されてもよい。
図５は、パノラマ映像生成部１１２におけるパノラマ映像生成処理の一実施形態を説明するための模式図である。
図５に示すように、視点映像生成部１１のパノラマ映像生成部１１２（図１）は、
（オ）生成されたパノラマ画像群を入力し、エンコード部１１２ａにおいて当該パノラマ画像群に対して、設定されたビットレート条件下でエンコード（符号化）処理を行い、パノラマ映像を生成する。
（オ）生成されたパノラマ画像群を入力し、エンコード部１１２ａにおいて当該パノラマ画像群に対して、設定されたビットレート条件下でエンコード（符号化）処理を行い、パノラマ映像を生成する。
ここで、エンコードの際の設定されたビットレートは、後述するように、画質・ＢＲテーブルを生成する際には、このテーブル生成のために必要となる、予め取り決められた複数のビットレート値のうちの１つとなる。また、同じく後に詳述するように、配信するパノラマ映像を生成する際には、ビットレート決定部１４で決定されたビットレート値に設定される。なお、生成されたパノラマ映像は、例えば配信までのバッファリングとして、パノラマ映像蓄積部１０４に適宜保存されてもよい。
また、パノラマ映像生成部１１２は、この後に説明するように、複雑度としての画質指標を算出するために、エンコード対象のパノラマ画像群の各フレームであるパノラマ画像について、各画素(x, y)における符号化誤差e(x, y)を算出し、画質算出部１２へ出力する。ここで、符号化誤差e(x, y)は、誤差算出対象の原画像フレームをエンコードした結果としての（圧縮した後の）画像フレームにおける画素(x, y)の画素値と、当該原画像フレームにおける対応する画素(x, y)の画素値との差とすることができる。
図１に戻って、画質算出部１２は、ユーザ状態であるユーザ（ＨＭＤ２）の現実空間での位置毎に決定される、ユーザの当該位置に対応する仮想空間での位置における視点映像（パノラマ映像）についての画質指標を、複雑度として算出する。
ここで、画質算出部１２は、パノラマ映像そのものの画質を計算するのではなく、（パノラマ画像生成時とは逆に）球面上に画素が存在すると仮定して、画質指標を算出してもよい。具体的には、最初に、
（カ）パノラマ画像における各画素(x, y)の面積と符号化誤差e(x, y)とを球面に射影し、表面で積分して、AW-MSE（Average-Weighted Mean Squared Error, 重み付け平均二乗誤差）を、次式
（１） AW-MSE＝{Σx,y∈X,Y w(x, y)・e(x, y)2}／{Σx,y∈X,Y w(x, y)}
（２） w(x, y)＝sin{(2y＋1)・π／2Y}
を用いて算出する。
（カ）パノラマ画像における各画素(x, y)の面積と符号化誤差e(x, y)とを球面に射影し、表面で積分して、AW-MSE（Average-Weighted Mean Squared Error, 重み付け平均二乗誤差）を、次式
（１） AW-MSE＝{Σx,y∈X,Y w(x, y)・e(x, y)2}／{Σx,y∈X,Y w(x, y)}
（２） w(x, y)＝sin{(2y＋1)・π／2Y}
を用いて算出する。
ここで、x及びyはＥＲＰ射影形式における座標、X及びYはそれぞれＥＲＰ射影形式における横及び縦の画素数であり、Σx,y∈X,Yは、パノラマ画像内のすべての画素についての総和（summation）である。上式（１）は、ＥＲＰ形式における各画素(x, y)の符号化誤差e(x, y)を、球面における面積比で重み付け加算して平均し、AW-MSE を導出した形となっている。またこの際、球面における画素の形状は矩形であると近似し、画素中心(x, y)における画素幅をこの矩形の横幅としている。
画質算出部１２は、次いで、
（キ）算出したAW-MSEから、複雑度に相当する客観画質指標（以下、画質指標と略称）としてのPSNR（Peak Signal-to-Noise Ratio, ピーク信号対雑音比）を、次式
（３） PSNR＝10・log10 (MAX2／AW-MSE)
によって算出する。上式（３）において、MAX＝255（基準となる画素最大値）である。なお、画質算出部１２は、エンコード単位として取りまとめたパノラマ画像群における上記PSNRの代表値、例えば平均値を、このパノラマ画像群の画質指標に決定してもよい。
（キ）算出したAW-MSEから、複雑度に相当する客観画質指標（以下、画質指標と略称）としてのPSNR（Peak Signal-to-Noise Ratio, ピーク信号対雑音比）を、次式
（３） PSNR＝10・log10 (MAX2／AW-MSE)
によって算出する。上式（３）において、MAX＝255（基準となる画素最大値）である。なお、画質算出部１２は、エンコード単位として取りまとめたパノラマ画像群における上記PSNRの代表値、例えば平均値を、このパノラマ画像群の画質指標に決定してもよい。
次に、画像・ＢＲテーブルの生成処理について説明する。最初に、パノラマ映像生成部１１２は、ＶＲコンテンツにおけるメッシュ（視点位置）毎に、以上に説明したパノラマ画像生成処理（ア）〜（エ）によってパノラマ画像群を生成し、これらのパノラマ画像群の各々に対し、例えば予め設定された複数のビットレート条件下で上記処理（オ）によって、複数のパノラマ映像を生成する。次いで、画質算出部１２は、各ビットレートに対応する各パノラマ映像に対し上記処理（カ）及び（キ）を行い、メッシュ毎（視点位置毎）に画質指標を算出する。
この後、画像・ＢＲマッピング部１３は、算出された画質指標を含む上記情報を入力してとりまとめ、メッシュ（視点位置）毎に、ビットレートと画質指標とが対応付けられた画像・ＢＲテーブルを生成する。ここで、後に説明する図６（Ｂ）には、生成された画像・ＢＲテーブルの一実施例が示されている。また、以上述べたように生成された画像・ＢＲテーブルは適宜、画像・ＢＲテーブル保存部１０５に保存されることも好ましく、さらに、同保存部１０５に保存された画像・ＢＲテーブルが適宜、更新されることも好ましい。
なお以下、このような画像・ＢＲテーブルの生成されることが前提となっている実施形態について説明を行っていくが、本発明については、画像・ＢＲテーブルを生成しない実施形態をとることも可能である。例えば、配信するパノラマ映像を生成する際に、複数のビットレート条件下でエンコード処理を行って複数の配信候補映像を生成し、その都度それらの画質指標を算出して、これらの候補画像のうちから配信ポリシーに沿った画質指標のものを選択してもよい。
いずれにしても画像・ＢＲマッピング部１３は、予め設定されたビットレート条件毎に生成された視点映像（パノラマ映像）であって仮想空間での１つの位置における視点映像（パノラマ映像）についての画質指標から、仮想空間での位置情報（若しくはユーザの現実空間での位置情報）及び画質指標と、ビットレートとの関係を決定するものであればよいのである。
ちなみに、画像・ＢＲテーブルの生成の際、仮想空間内に各々一定の大きさを有するメッシュ（視点位置）を設定することになるが、ここで、（所定範囲内の）全てのメッシュについて予め画質指標を算出しておくことも好ましい。また、連なるメッシュの対角線上を移動した場合として、これらの連なるメッシュ毎に予め画質指標を算出しておいてもよい。さらに、１つの移動経路（例えば現実世界の道路に対応する仮想空間内での経路）の通過箇所となる一連のメッシュの各々について、画質指標を予め算出しておくことも好ましい。
また、配信されたコンテンツのＶＲ映像の画質は、実際には同一ビットレート条件のものであっても、ユーザ（クライアント）の移動速度によって変化してしまう。しかしながら、画像・ＢＲテーブルの生成にあたっては、仮想空間内での位置による差異を推し測ってビットレート配分を適切に行うことが目的であるため、一定の大きさを有する一連のメッシュ毎に算出された画質指標を、移動速度一定で走査した場合に相当する典型値として使用することができるのである。
さらに、本発明に係る複雑度も、画質指標に限定されるものではない。例えば、ＶＲコンテンツがコンピュータグラフィックス（ＣＧ）データを含む場合、複雑度として、このＣＧデータから生成された視点位置毎の所定範囲に対応するシーンにおけるポリゴン数及びテクスチャ指標のうちのいずれか一方又は両方に依存する値（例えばポリゴン数が大きいほど、さらにテクスチャの空間周波数（度合い）が高いほど大きくなる値）を採用することができる。この場合、パノラマ映像に展開することなく、ＣＧデータの段階で複雑度を決定することが可能となる。
同じく図１において、ビットレート決定部１４は、取得されたユーザ状態（ユーザの現実空間での位置）と、算出された画像指標（複雑度）とに基づいて、配信するコンテンツのビットレートを決定する。具体的には、生成された画像・ＢＲテーブルに基づいて、取得されたユーザ状態（位置情報）から、配信するコンテンツのビットレートを決定する。
特に、複数のＨＭＤ２（とそれらの複数のユーザ）が、通信ネットワークを共用して配信サーバ１からコンテンツを配信される状況では、ビットレート決定部１４は、生成された画像・ＢＲテーブルに基づいて、取得された各ユーザのユーザ状態（位置情報）と、取得された各ＨＭＤ２に係るスループット情報とから、各ＨＭＤ２へ配信するコンテンツのビットレートを決定する。
より具体的には、ビットレート決定部１４は、画像・ＢＲテーブルに基づいて、各ユーザのユーザ状態（位置情報）と、各ＨＭＤ２に係るスループット情報と、これらスループット情報の合計とから、配信の際のスループット条件が満たされるようにコンテンツの画質指標を決定し、決定された画質指標から、各ＨＭＤ２へ配信するコンテンツのビットレートの配分を決定するのである。
ここで、ＨＭＤ２の通信制御部２１１（図２）は、例えば、映像ファイルの配信要求（リクエスト）を行い当該映像ファイルの受信を行うことによってスループットを算出し、算出されたスループットの情報を配信サーバ１へ送信してもよい。この際、スループット値は、例えば、当該映像ファイルのサイズを、要求から受信完了までの時間で割り算して算出することができる。
図６は、画像・ＢＲテーブルを用いたビットレート決定処理の一実施例を示す模式図及びテーブルである。
図６（Ａ）に示すように本実施例では、ＶＲコンテンツの配信対象として２つのクライアントであるＨＭＤ２１及び２２が、現実世界（U-V座標系）を移動している。ＨＭＤ２１及び２２はそれぞれ、ある時刻に現実世界（U-V座標系）における２つの位置RA及びRBに存在しており、このユーザ状態（位置RA及びRB）を配信サーバ１へ送信する。
次いで、配信サーバ１のパノラマ画像生成部１１１（図１）は、受信されたＨＭＤ２１の位置RA及びＨＭＤ２２の位置RBをそれぞれ、ＶＲコンテンツの仮想空間における位置A及び位置Bに変換した上で、上記処理（ア）〜（ウ）を行い、位置A及び位置Bのそれぞれを視点位置としたパノラマ画像を切り出す。ちなみに、このような処理は、パノラマ映像のフレームレート、例えば1秒間に30フレーム等、に従って順次実施される。
ここで、現実空間の位置（例えば位置RA）から仮想空間の位置（例えば位置A）への変換における設定について説明する。具体的には例えば、スケールについて、位置情報（ユーザ状態）としての緯度及び経度の値における変位0.03秒（概ね1ｍに相当）を、仮想空間のu-v座標系における変位1に対応付け、また、基準位置について、所定の緯度及び経度の値(35.xxxx, 139.xxxx)を、仮想空間のu-v座標系の原点(0, 0)に対応付け、さらに、座標軸については、東向きを仮想空間のu軸のプラス方向に対応付けることとしてもよい。
次いで、ビットレート決定部１４（図１）は、図６（Ｂ）に示すような予め生成された画質・ＢＲテーブルを用い、導出された位置A及び位置Bの各々について、切り出されたパノラマ画像をエンコードする際のビットレートを決定する。
ここで、導出された位置A及び位置Bの各々に対し、同位置が含まれるメッシュの中心点(ui, vi)を視点位置とするのであるが、図６に示した実施例においては理解を容易にするため、位置A及び位置Bは、いずれかのメッシュの中心点（代表点）に一致しており、画質・ＢＲテーブルの位置欄に存在する位置となっている。
図６（Ｂ）の画質・ＢＲテーブルによれば、画質指標として40db（decibel）が設定されているとすると、位置Aについては、ビットレートは4Mbps（bits per second）となる。したがって、ＨＭＤ２１へ配信するパノラマ映像に係るビットレートを4Mbpsとすることができる。一方、位置Bについては、ビットレート10Mbpsとなっており、ＨＭＤ２２へ配信するパノラマ映像のビットレートは10Mbpsとすることができる。
ただし、ＨＭＤ２１及び２２への配信に使用される通信ネットワークのスループットが全体で例えば10Mbpsまでであって、上記のように、割り出されたビットレートではこのスループット上限を超えてしまう場合、画質・ＢＲテーブルに基づき、画質指標の設定を下げて対応することも好ましい。具体的には、例えば画質指標を35dbに設定し、位置A（ＨＭＤ２１）への配信のビットレートを3Mbpsとし、一方、位置B（ＨＭＤ２２）への配信のビットレートを5Mbpsとすることによって、全体のスループットとして8(=3+5)Mbpsで配信できるように調整することができる。
以上に述べた、複数の配信先クライアントが存在する場合でのビットレート決定方針をまとめると、例えば１つの実施形態として、
（ａ）第１条件として、各クライアントのビットレートの合計が全体のスループット内に収まり、
（ｂ）第２条件として、クライアント間で画質を同等とし、この画質指標ができるだけ大きくなる
ように、各クライアントのビットレートを、画質・ＢＲテーブルを用いて決定することも好ましい。
（ａ）第１条件として、各クライアントのビットレートの合計が全体のスループット内に収まり、
（ｂ）第２条件として、クライアント間で画質を同等とし、この画質指標ができるだけ大きくなる
ように、各クライアントのビットレートを、画質・ＢＲテーブルを用いて決定することも好ましい。
また、１つのクライアントへの配信に係るビットレートを、当該クライアントに対する画質指標が所定時間の経過について一定、若しくは所定画質変動幅内となるように決定することも可能である。これにより、ユーザは配信されたＶＲコンテンツを安定した画質で視聴することができる。さらに、事業者の配信ポリシーに基づいた、その他の様々なビットレート決定方針が考えられるが、予め画質・ＢＲテーブルを準備しておくことによって、種々のビットレート決定方針を採用したビットレート決定処理を、適宜実施することも可能となるのである。
図１に戻って、パノラマ映像生成部１１２（のエンコード部１１２ａ）は、以上に説明したように決定されたビットレートの条件の下、仮想空間の各位置（例えば図６の位置Aや位置B）について生成された各パノラマ画像群をエンコードし、リアルタイムでクライアント毎の（例えば図６のＨＭＤ２１及びＨＭＤ２２への）パノラマ映像を生成する。
映像配信制御部１５は、決定されたビットレートに該当するコンテンツ（エンコードされた視点映像，パノラマ映像）を、取得されたユーザ状態（位置情報）に係るクライアントへ配信するように配信制御を行う。ここで、配信プロトコルとして例えば、ＨＬＳ、ＭＰＥＧ−ＤＡＳＨ、SmoothStreaming、ＲＴＰ、ＲＴＳＰ、ＲＴＭＰ、ｗｅｂＲＴＣ、又はＨＴＴＰプログレッシブダウンロード等を使用することができる。
［コンテンツ配信方法］
図７は、本発明によるコンテンツ配信方法の一実施形態を概略的に示すシーケンス図である。本実施形態では、配信先のクライアントとして、ＨＭＤ２１及びＨＭＤ２２の２つが存在している。
図７は、本発明によるコンテンツ配信方法の一実施形態を概略的に示すシーケンス図である。本実施形態では、配信先のクライアントとして、ＨＭＤ２１及びＨＭＤ２２の２つが存在している。
（Ｓ１０１）配信サーバ１は、予め画質・ＢＲテーブルを生成する。
（Ｓ１０２ａ，Ｓ１０２ｂ）ＨＭＤ２１及び２２はそれぞれ、配信の際に使用される通信ネットワークのスループットを測定し、このスループット測定値を配信サーバ１へ通知する。
（Ｓ１０３ａ，Ｓ１０３ｂ）ＨＭＤ２１及び２２はそれぞれ、（例えばＧＰＳによる測位によって）自らの位置情報を取得し、この位置情報をユーザ状態として配信サーバ１へ通知する。
（Ｓ１０２ａ，Ｓ１０２ｂ）ＨＭＤ２１及び２２はそれぞれ、配信の際に使用される通信ネットワークのスループットを測定し、このスループット測定値を配信サーバ１へ通知する。
（Ｓ１０３ａ，Ｓ１０３ｂ）ＨＭＤ２１及び２２はそれぞれ、（例えばＧＰＳによる測位によって）自らの位置情報を取得し、この位置情報をユーザ状態として配信サーバ１へ通知する。
（Ｓ１０４）配信サーバ１は、クライアント毎に（ＨＭＤ２１及び２２のそれぞれについて）、当該クライアントから通知された位置情報に係る位置について、ＶＲコンテンツからパノラマ画像を切り出す。
ここで、配信サーバ１は、通知された現実世界の位置に対応する仮想空間での位置を算出し、この位置を視点位置としてパノラマ画像を切り出すのであるが、変更態様として、この仮想空間位置への変換の際、実際にクライアント側で再生される時点での現実世界での位置を推測した上で、視点位置を決定してもよい。
ここで、配信サーバ１は、通知された現実世界の位置に対応する仮想空間での位置を算出し、この位置を視点位置としてパノラマ画像を切り出すのであるが、変更態様として、この仮想空間位置への変換の際、実際にクライアント側で再生される時点での現実世界での位置を推測した上で、視点位置を決定してもよい。
具体的には、まず、配信サーバ１は、クライアントからユーザ状態として位置情報のみならず速度情報（や加速度情報）をも取得する。次いで、クライアントが位置情報を送信してから、パノラマ映像を受信してＶＲ映像の再生を開始するまでの時間、すなわち、
（ａ）ＲＴＴ（Round-Trip Time）＋（サーバ１での配信に要する時間、及び
（ｂ）クライアント側での受信後のバッファリング時間
の経過した時点で、移動するクライアントが到達する地点を予測する。次いで、この予測到達地点に対応する仮想空間での位置を、視点位置に決定する。
（ａ）ＲＴＴ（Round-Trip Time）＋（サーバ１での配信に要する時間、及び
（ｂ）クライアント側での受信後のバッファリング時間
の経過した時点で、移動するクライアントが到達する地点を予測する。次いで、この予測到達地点に対応する仮想空間での位置を、視点位置に決定する。
これにより、クライアント側で再生されたＶＲ映像が、例えばこの再生時点での現実世界の景色と良好に合致したものとなるので、このＶＲ映像を見たユーザにおける仮想体験のリアル性が向上し、ユーザは十分な没入感を享受することができるのである。
（Ｓ１０５）配信サーバ１は、予め生成した画質・ＢＲテーブルに基づき、クライアント毎に（ＨＭＤ２１及び２２のそれぞれについて）、当該クライアントの位置及びスループット並びに画質指標設定に応じて、ビットレートを決定する。
（Ｓ１０６）配信サーバ１は、クライアント毎に（ＨＭＤ２１及び２２のそれぞれについて）、当該クライアントについて決定したビットレートの条件下でパノラマ画像をエンコードし、当該クライアントへ配信するパノラマ映像を生成する。
（Ｓ１０７）配信サーバ１は、生成したパノラマ映像を、該当する各クライアントへ（ＨＭＤ２１及び２２へ）配信する。
（Ｓ１０８ａ，Ｓ１０８ｂ）ＨＭＤ２１及び２２はそれぞれ、自ら宛てに配信されたパノラマ映像を受信する。
（Ｓ１０９ａ，Ｓ１０９ｂ）ＨＭＤ２１及び２２はそれぞれ、受信したパノラマ映像をＶＲ映像に変換して再生を行う。
（Ｓ１０７）配信サーバ１は、生成したパノラマ映像を、該当する各クライアントへ（ＨＭＤ２１及び２２へ）配信する。
（Ｓ１０８ａ，Ｓ１０８ｂ）ＨＭＤ２１及び２２はそれぞれ、自ら宛てに配信されたパノラマ映像を受信する。
（Ｓ１０９ａ，Ｓ１０９ｂ）ＨＭＤ２１及び２２はそれぞれ、受信したパノラマ映像をＶＲ映像に変換して再生を行う。
ちなみに、以上簡潔に説明した実施形態は、配信サーバ１側でビットレート（配分）を決定してパノラマ映像を生成するサーバ契機の配信方法となっている。すなわち、本実施形態においては、ビットレートを指定したパノラマ映像について、クライアント側から要求を行うことはない。
図８は、本発明によるコンテンツ配信方法の他の実施形態を概略的に示すシーケンス図である。本実施形態でも図７の実施形態と同じく、配信先のクライアントとして、ＨＭＤ２１及びＨＭＤ２２の２つが存在している。
図８に示した配信方法の実施形態は、最終的にクライアント側でビットレートを決定して要求を行うクライアント契機の配信方法となっている。以下、図７に示したサーバ契機の配信方法と異なっているステップについてのみ説明を行う。実際、ＶＲコンテンツからパノラマ画像を切り出すステップＳ２０４までの処理、及びパノラマ映像を配信するステップＳ２０９以後の処理については、図７に同様の処理ステップが存在していて説明済みであるので、その説明を省略する。
（Ｓ２０５）配信サーバ１は、予め生成した画質・ＢＲテーブルに基づき、クライアント毎に（ＨＭＤ２１及び２２のそれぞれについて）、当該クライアントの位置及びスループット並びに画質指標設定に応じて、ビットレートを決定する。また、ここで、決定したビットレートを、配信先クライアント（（ＨＭＤ２１及び２２）へ通知する。
ここで、この通知は、映像配信とは別のプロトコル、例えばＴＣＰ等のセッションによって実施することができる。
ここで、この通知は、映像配信とは別のプロトコル、例えばＴＣＰ等のセッションによって実施することができる。
（Ｓ２０６ａ，Ｓ２０６ｂ）ＨＭＤ２１及び２２はそれぞれ、自ら宛てに通知されたビットレートに基づいて、要求に係るビットレートを設定する。
（Ｓ２０７ａ，Ｓ２０７ｂ）ＨＭＤ２１及び２２はそれぞれ、設定したビットレートに係るパノラマ映像を要求（リクエスト）する。
ここで、この要求は、例えばＨＬＳやＭＰＥＧ−ＤＡＳＨ等の配信プロトコルを利用して実施されてもよい。
（Ｓ２０７ａ，Ｓ２０７ｂ）ＨＭＤ２１及び２２はそれぞれ、設定したビットレートに係るパノラマ映像を要求（リクエスト）する。
ここで、この要求は、例えばＨＬＳやＭＰＥＧ−ＤＡＳＨ等の配信プロトコルを利用して実施されてもよい。
（Ｓ２０８）配信サーバ１は、クライアント毎に（ＨＭＤ２１及び２２のそれぞれについて）、当該クライアントから受け付けた要求に係るビットレートの条件下でパノラマ画像をエンコードし、当該クライアントへ配信するパノラマ映像を生成する。
以上説明したようなクライアント契機（駆動）の実施形態を用いることによって、クライアントは、要求に係るビットレートを、通知されたビットレートそのままに設定してもよいが、自らの周囲の環境・状況に合わせた値に調整して設定することも可能となる。例えば、使用する通信ネットワークの基地局やアクセスポイントとの距離を計測し、この計測値に応じた係数（例えば距離が近いほど大きくなる係数）を、通知されたビットレート値に乗じて、この乗じた値を要求に係るビットレートとすることも可能となる。
以上、詳細に説明したように、本発明のコンテンツ配信装置、システム、プログラム及び方法によれば、取得したクライアントのユーザ状態と、このユーザ状態について算出された複雑度（例えば画質指標）とに基づいて、配信のビットレートを決定することができる。これにより、ユーザ状態によって見える内容が決まるＶＲコンテンツのようなコンテンツを、当該内容に応じた適切なビットレートでクライアントに配信することが可能となる。
例えば、ＶＲコンテンツの内容（見え方）に応じて柔軟にビットレートを調整し、適応的ビットレートをもって配信することができるので、スループットが常時変動し得る通信ネットワークにおいて、トラヒックの増大を抑制することもできるのである。
また特に、ユーザが移動しながら映像を視聴する状況において、ビットレートを適切に調整して、例えば画質を所定レベル以上に保証したＶＲコンテンツを配信することも可能となる。このように、本発明は、例えば、膨大な量のＶＲ関連データの通信が予測される、来る５Ｇ（第５世代移動通信システム）においても、ユーザ位置連動型のＶＲコンテンツ配信サービスを好適に実現するための重要な技術を提供するものとなっている。
以上に述べた本発明の種々の実施形態について、本発明の技術思想及び見地の範囲内での種々の変更、修正及び省略は、当業者によれば容易に行うことができる。以上に述べた説明はあくまで例示であって、何ら制約を意図するものではない。本発明は、特許請求の範囲及びその均等物によってのみ制約される。
１ 配信サーバ（コンテンツ配信装置）
１０１ 通信インタフェース部
１０２ ＶＲコンテンツ蓄積部
１０３ パノラマ画像蓄積部
１０４ パノラマ映像蓄積部
１０５ 画像・ＢＲテーブル保存部
１１ 視点映像生成部
１１１ パノラマ画像生成部
１１２ パノラマ映像生成部
１１２ａ エンコード部１１２ａ
１２ 画質算出部
１３ 画像・ＢＲマッピング部
１４ ビットレート決定部
１５ 映像配信制御部
１６ 通信制御部
２、２１、２２ ＨＭＤ（クライアント）
２０１ 通信インタフェース部
２０２ 測位部
２０３ 加速度センサ
２０４ ジャイロセンサ
２０５ 地磁気センサ
２０６ ディスプレイ
２１１ 通信制御部
２１２ 再生制御部
２１３ ユーザ情報生成部
３ ＧＰＳ衛星
１０１ 通信インタフェース部
１０２ ＶＲコンテンツ蓄積部
１０３ パノラマ画像蓄積部
１０４ パノラマ映像蓄積部
１０５ 画像・ＢＲテーブル保存部
１１ 視点映像生成部
１１１ パノラマ画像生成部
１１２ パノラマ映像生成部
１１２ａ エンコード部１１２ａ
１２ 画質算出部
１３ 画像・ＢＲマッピング部
１４ ビットレート決定部
１５ 映像配信制御部
１６ 通信制御部
２、２１、２２ ＨＭＤ（クライアント）
２０１ 通信インタフェース部
２０２ 測位部
２０３ 加速度センサ
２０４ ジャイロセンサ
２０５ 地磁気センサ
２０６ ディスプレイ
２１１ 通信制御部
２１２ 再生制御部
２１３ ユーザ情報生成部
３ ＧＰＳ衛星
Claims (10)
- クライアントのユーザの現実空間での物理的状態によって見える内容が決まるコンテンツを配信するコンテンツ配信装置であって、
当該ユーザの現実空間での物理的状態毎に、当該物理的状態によって決定される当該見える内容における見え方の複雑度を、予め設定された複数のビットレートの各々の下で当該物理的状態によって決定される当該見える内容に基づき算出しておく複雑度算出手段と、
取得された当該ユーザの現実空間での物理的状態から、予め設定された複雑度に基づき、その下で該複雑度が該物理的状態に対応して算出されることになるビットレートを求め、該ビットレートを、配信する当該コンテンツのビットレートに決定するビットレート決定手段と、
決定されたビットレートに該当するコンテンツを、取得された当該物理的状態に係るユーザのクライアントへ配信させる配信制御手段と
を有することを特徴とするコンテンツ配信装置。 - 当該コンテンツの配信される形態は、仮想空間における視点映像に係るデータであり、
当該ユーザの現実空間での物理的状態は、ユーザの位置情報を含み、
前記複雑度算出手段は、当該複雑度として、当該ユーザの位置情報に対応する当該仮想空間での位置における当該視点映像についての画質指標を算出する
ことを特徴とする請求項１に記載のコンテンツ配信装置。 - 当該仮想空間における３次元映像情報を２次元の視点画像群へ展開し、当該２次元の視点画像群を所定のビットレート条件下でエンコードして２次元の当該視点映像を生成する視点映像生成手段を更に有し、
前記配信制御手段は、決定されたビットレートに該当する当該２次元の視点映像を、取得された当該ユーザの位置情報に係るクライアントへ配信する
ことを特徴とする請求項２に記載のコンテンツ配信装置。 - 予め設定されたビットレート条件毎に生成された視点映像であって当該仮想空間での１つの位置における視点映像についての画質指標から、当該ユーザの位置情報若しくは当該仮想空間での位置及び画質指標と、ビットレートとの関係を決定する画質・ビットレートマッピング手段を更に有し、
前記ビットレート決定手段は、決定された当該関係に基づいて、取得された当該ユーザの位置情報から、配信する当該コンテンツのビットレートを決定する
ことを特徴とする請求項２又は３に記載のコンテンツ配信装置。 - 当該クライアント及びユーザは、前記コンテンツ配信装置から当該コンテンツを配信される複数のクライアント及びユーザであり、
前記ビットレート決定手段は、決定された当該関係に基づいて、取得された各ユーザの位置情報と、取得された各クライアントに係るスループット情報とから、各クライアントへ配信する当該コンテンツのビットレートを決定する
ことを特徴とする請求項４に記載のコンテンツ配信装置。 - 前記ビットレート決定手段は、決定された当該関係に基づいて、取得された各ユーザの位置情報と、取得された各クライアントに係るスループット情報と、当該スループット情報の合計とから、配信の際のスループット条件が満たされるように当該コンテンツの画質指標を決定し、決定された画質指標から、各クライアントへ配信する当該コンテンツのビットレートを決定することを特徴とする請求項５に記載のコンテンツ配信装置。
- 当該コンテンツはコンピュータグラフィックスデータを含み、
前記複雑度算出手段は、当該コンピュータグラフィックスデータにおけるポリゴン数及び／又はテクスチャ指標に基づいて、当該複雑度を算出する
ことを特徴とする請求項１に記載のコンテンツ配信装置。 - クライアントと、当該クライアントのユーザの現実空間での物理的状態によって見える内容が決まるコンテンツを配信するコンテンツ配信装置とを有するコンテンツ配信システムであって、当該クライアントは、
１つの時点又は時間区間において検出、測定又は決定された当該ユーザの現実空間での物理的状態に係る情報を生成する状態情報生成手段と、
生成された当該ユーザの現実空間での物理的状態に係る情報を、当該１つの時点又は時間区間と紐づけて前記コンテンツ配信装置に送信するクライアント通信制御手段と
を有し、前記コンテンツ配信装置は、
当該ユーザの現実空間での物理的状態毎に、当該物理的状態によって決定される当該見える内容における見え方の複雑度を、予め設定された複数のビットレートの各々の下で当該物理的状態によって決定される当該見える内容に基づき算出しておく複雑度算出手段と、
受信された当該ユーザの現実空間での物理的状態から、予め設定された複雑度に基づき、その下で該複雑度が該物理的状態に対応して算出されることになるビットレートを求め、該ビットレートを、配信する当該コンテンツのビットレートに決定するビットレート決定手段と、
決定されたビットレートに該当するコンテンツを、受信された当該物理的状態に係るユーザのクライアントへ配信させる配信制御手段と
を有することを特徴とするコンテンツ配信システム。 - クライアントのユーザの現実空間での物理的状態によって見える内容が決まるコンテンツを配信する装置に搭載されたコンピュータを機能させるコンテンツ配信プログラムであって、
当該ユーザの現実空間での物理的状態毎に、当該物理的状態によって決定される当該見える内容における見え方の複雑度を、予め設定された複数のビットレートの各々の下で当該物理的状態によって決定される当該見える内容に基づき算出しておく複雑度算出手段と、
取得された当該ユーザの現実空間での物理的状態から、予め設定された複雑度に基づき、その下で該複雑度が該物理的状態に対応して算出されることになるビットレートを求め、該ビットレートを、配信する当該コンテンツのビットレートに決定するビットレート決定手段と、
決定されたビットレートに該当するコンテンツを、取得された当該物理的状態に係るユーザのクライアントへ配信させる配信制御手段と
してコンピュータを機能させることを特徴とするコンテンツ配信プログラム。 - クライアントのユーザの現実空間での物理的状態によって見える内容が決まるコンテンツを配信する装置に搭載されたコンピュータにおけるコンテンツ配信方法であって、
当該ユーザの現実空間での物理的状態毎に、当該物理的状態によって決定される当該見える内容における見え方の複雑度を、予め設定された複数のビットレートの各々の下で当該物理的状態によって決定される当該見える内容に基づき算出しておくステップと、
取得された当該ユーザの現実空間での物理的状態から、予め設定された複雑度に基づき、その下で該複雑度が該物理的状態に対応して算出されることになるビットレートを求め、該ビットレートを、配信する当該コンテンツのビットレートに決定するステップと、
決定されたビットレートに該当するコンテンツを、取得された当該物理的状態に係るユーザのクライアントへ配信させるステップと
を有することを特徴とするコンテンツ配信方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017141705A JP6851278B2 (ja) | 2017-07-21 | 2017-07-21 | ユーザ状態及び複雑度によってビットレートを決定するコンテンツ配信装置、システム、プログラム及び方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017141705A JP6851278B2 (ja) | 2017-07-21 | 2017-07-21 | ユーザ状態及び複雑度によってビットレートを決定するコンテンツ配信装置、システム、プログラム及び方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019022176A JP2019022176A (ja) | 2019-02-07 |
| JP6851278B2 true JP6851278B2 (ja) | 2021-03-31 |
Family
ID=65355799
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017141705A Active JP6851278B2 (ja) | 2017-07-21 | 2017-07-21 | ユーザ状態及び複雑度によってビットレートを決定するコンテンツ配信装置、システム、プログラム及び方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6851278B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11981363B1 (en) | 2023-11-20 | 2024-05-14 | Parallel Systems, Inc. | System and/or method for remote operation of a rail vehicle |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7322510B2 (ja) * | 2019-05-27 | 2023-08-08 | 沖電気工業株式会社 | 情報処理装置、情報処理方法およびプログラム |
| WO2021130355A1 (en) * | 2019-12-24 | 2021-07-01 | Koninklijke Kpn N.V. | Video processing device and manifest file for video streaming |
| WO2021201307A1 (ko) * | 2020-03-30 | 2021-10-07 | 엘지전자 주식회사 | 차량에 의해 기록되는 비디오를 전송하는 방법 및 장치 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4108640B2 (ja) * | 2004-04-27 | 2008-06-25 | 三菱電機株式会社 | 映像伝送システム |
| FR2903259A1 (fr) * | 2006-06-29 | 2008-01-04 | Thomson Licensing Sa | Procede de gestion de demandes d'acces a distance a des contenus multimedia |
| US9125073B2 (en) * | 2012-08-03 | 2015-09-01 | Intel Corporation | Quality-aware adaptive streaming over hypertext transfer protocol using quality attributes in manifest file |
| US20150350300A1 (en) * | 2013-01-18 | 2015-12-03 | Sony Corporation | Content server and content distribution method |
| US20150026358A1 (en) * | 2013-07-19 | 2015-01-22 | Futurewei Technologies, Inc. | Metadata Information Signaling And Carriage In Dynamic Adaptive Streaming Over Hypertext Transfer Protocol |
| JP6224516B2 (ja) * | 2014-05-07 | 2017-11-01 | 日本電信電話株式会社 | エンコード方法およびエンコードプログラム |
| JP6216398B2 (ja) * | 2016-02-22 | 2017-10-18 | 株式会社ソニー・インタラクティブエンタテインメント | 画像生成装置および画像生成方法 |
-
2017
- 2017-07-21 JP JP2017141705A patent/JP6851278B2/ja active Active
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11981363B1 (en) | 2023-11-20 | 2024-05-14 | Parallel Systems, Inc. | System and/or method for remote operation of a rail vehicle |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2019022176A (ja) | 2019-02-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7307259B2 (ja) | 三次元情報処理方法及び三次元情報処理装置 | |
| US11223821B2 (en) | Video display method and video display device including a selection of a viewpoint from a plurality of viewpoints | |
| US10469820B2 (en) | Streaming volumetric video for six degrees of freedom virtual reality | |
| CN111567052B (zh) | 用于将vr 360视频下发给远程终端用户的可缩放fov+ | |
| KR102343651B1 (ko) | 생성 장치 및 생성 방법, 그리고, 재생 장치 및 재생 방법 | |
| US10687050B2 (en) | Methods and systems of reducing latency in communication of image data between devices | |
| KR102420290B1 (ko) | 공간적으로 불균등한 스트리밍 | |
| JP6851278B2 (ja) | ユーザ状態及び複雑度によってビットレートを決定するコンテンツ配信装置、システム、プログラム及び方法 | |
| JP6944138B2 (ja) | 画像処理装置および画像処理方法 | |
| US11159823B2 (en) | Multi-viewport transcoding for volumetric video streaming | |
| US20200137417A1 (en) | Generation device and generation method, and reproduction device and reproduction method | |
| US20200404241A1 (en) | Processing system for streaming volumetric video to a client device | |
| US9283349B2 (en) | Methods and apparatus for device based prevention of kinetosis | |
| JP6648061B2 (ja) | クライアント状態に応じた映像を配信する映像配信装置、システム、プログラム及び方法 | |
| JP6859286B2 (ja) | Ｖｒ映像配信装置および方法、ｖｒ映像再生装置および方法ならびにｖｒ映像システム | |
| CN113992996A (zh) | 传输数据的方法和装置 | |
| JP2022032838A (ja) | 送信装置、受信装置、ネットワークノード、及びプログラム | |
| CN116105756A (zh) | 在线实景导航系统、方法和移动终端 | |
| CN112673634A (zh) | 用于支持渐进式视频比特流切换的系统和方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190701 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200327 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200403 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200526 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20201021 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201224 |
|
| C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20201224 |
|
| A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20210107 |
|
| C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20210108 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210224 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210309 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6851278 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |