JP2024079939A - 画像生成装置 - Google Patents

Abstract

【課題】ボリュメトリックビデオの品質の低下を抑えしつつ、データ量を削減できる画像生成装置を提供する。【解決手段】本開示の一態様の画像生成装置は、被写体Ｂを撮像することによって得られる１又は複数の撮像画像を取得する撮像画像取得部１０３０と、１又は複数の撮像画像に基づいて、被写体Ｂの３Ｄモデルを生成する３Ｄモデル生成部１０３２と、被写体Ｂにおける注目部分Ｋを決定する注目部分決定部１０３４と、３Ｄモデルに対し注目部分Ｋに対応する部分以外を圧縮する圧縮部１０３６と、圧縮部１０３６によって圧縮された３Ｄモデルに基づいて、ボリュメトリックビデオを構成する画像を生成するレンダリング部１０３８と、を備える。【選択図】図２

Description

本開示は、画像生成装置に関する。

立体映像の１つとして、視聴時の視点を任意に変更可能な映像であるボリュメトリックビデオが知られている（例えば、特許文献１参照）。近年では、スポーツ、及びコンサートなどの映像をボリュメトリックビデオによって配信するサービス、及び、仮想空間にボリュメトリックビデオを合成したＶＲ（Virtual Reality）コンテンツを配信するサービスなどが提供されている。

また、特許文献１には、ボリュメトリックビデオのデータをトランスコードすることにより、ボリュメトリックビデオのストリーミング配信におけるビットレートを低減することが示されている。

特開２０２１－１１１９６１号公報

しかしながら、特許文献１のトランスコードなどの信号処理により、ボリュメトリックビデオの全体のデータ量を削減した場合、ボリュメトリックビデオの画質が劣化する。このため、ボリュメトリックビデオの品質が低下することになる。

本開示は、ボリュメトリックビデオの品質の低下を抑えしつつ、データ量を削減できる画像生成装置を提供することを目的とする。

本開示の１つの態様に係る画像生成装置は、被写体を撮像することによって得られる１又は複数の撮像画像を取得する撮像画像取得部と、前記１又は複数の撮像画像に基づいて、前記被写体の３Ｄモデルを生成する３Ｄモデル生成部と、前記被写体における注目部分を決定する注目部分決定部と、前記３Ｄモデルに対し、前記注目部分に対応する部分以外を圧縮する圧縮部と、前記圧縮部によって圧縮された３Ｄモデルに基づいて、ボリュメトリックビデオを構成する画像を生成するレンダリング部と、を備える。

本開示の1つの態様によれば、ボリュメトリックビデオの品質の低下を抑えしつつ、データ量を削減できる。

本開示の実施形態に係る映像コンテンツ配信システムの構成の一例を示す図である。 配信サーバの電気的な構成の一例を示すブロック図である。 ユーザ装置の電気的な構成の一例を示すブロック図である。 配信サーバにおける映像コンテンツの配信処理の一例を示す図である。 配信サーバにおける３Ｄ画像生成処理の一例を示す図である。 ３Ｄ画像生成処理によって得られる３Ｄ画像の一例を示す図である。 被写体が互いに独立して存在する複数の人物を含む場合の映像コンテンツの一例を示す図である。 被写体が互いに独立して存在する複数の人物を含む場合の３Ｄ画像の一例を示す図である。

１．実施形態
図１は、本実施形態に係る映像コンテンツ配信システム１の構成の一例を示す図である。
映像コンテンツ配信システム１は、ボリュメトリックビデオを含む映像コンテンツＡを、ネットワークＮＷを通じて配信するシステムであり、映像コンテンツＡを配信するための配信サーバシステム２と、映像コンテンツＡを表示するためのユーザ装置４と、を含む。
ボリュメトリックビデオは、観察者から立体的に視える立体映像によって構成された動画の一態様であり、かつ、観察者が視点を任意に変更できる自由視点映像によって構成された動画の一態様でもある。なお、立体映像は３Ｄ（three-dimensional）映像とも呼ばれる。

また、ボリュメトリックビデオの映像は、現実空間、又は、現実空間内の実在の物体の映像である。
本実施形態では、ボリュメトリックビデオの映像が、実在の一人の人物の映像であり、映像コンテンツＡが、この人物のボリュメトリックビデオを仮想空間ＶＳに合成したＶＲコンテンツである場合を例示する。なお、映像コンテンツＡは、ボリュメトリックビデオと現実空間の像とを重ねて表示する、いわゆるＡＲ（Augmented Reality）コンテンツ、及びＭＲ（Mixed Reality）コンテンツでもよい。

配信サーバシステム２は、配信サーバ１０と、撮像システム１２と、を含む。
撮像システム１２は、被写体Ｂの３Ｄモデルの生成のための複数の第１撮像画像Ｇ１を得るシステムであり、複数の第１撮像画像Ｇ１を配信サーバ１０へ入力する。３Ｄモデルは、被写体Ｂの３Ｄ形状を示すデータである。本実施形態において、被写体Ｂは一人の人物である。なお、撮像システム１２は、ネットワークＮＷを介して配信サーバ１０へ複数の第１撮像画像Ｇ１を入力してもよい。

本実施形態の撮像システム１２は、被写体Ｂの周囲に配置された複数の撮像装置１２Ａを含み、複数の撮像装置１２Ａがそれぞれ互いに同期して被写体Ｂを繰り返し撮像する。この構成により、同一のタイミングで同一の被写体Ｂを複数の位置から撮像装置１２Ａによって撮像した複数の第１撮像画像Ｇ１が順次に得られる。なお、複数の撮像装置１２Ａは多視点撮像装置とも呼ばれ、複数の第１撮像画像Ｇ１は多視点撮像画像とも呼ばれる。
なお、撮像システム１２は、１台の撮像装置１２Ａと、被写体Ｂまでの距離を光走査により測定するＬｉＤＡＲ（Light Detection and Ranging）スキャナと、を含み、撮像装置１２Ａが、ＬｉＤＡＲスキャナの走査周期と同期して撮像することにより、第１撮像画像Ｇ１と被写体Ｂまでの距離とを順次に得るシステムでもよい。

図２は、配信サーバ１０の電気的な構成の一例を示すブロック図である。
配信サーバ１０は、被写体Ｂのボリュメトリックビデオを生成する機能、仮想空間ＶＳを生成する機能、及び映像コンテンツＡを生成する機能、及び、映像コンテンツＡをユーザ装置４へ配信する機能を含むコンピュータである。
具体的には、配信サーバ１０は、第１処理装置１００と、第１記憶装置１２０と、第１通信装置１４０と、入出力インターフェース装置１６０と、を備え、それぞれが相互にデータ送受可能にバスに接続される。

第１処理装置１００は、１又は複数のＣＰＵ（Central Processing Unit）を含む。ＣＰＵは、周辺装置とのインターフェース、演算装置及びレジスタ等を含む。１又は複数のＣＰＵは、１又は複数のプロセッサの一例である。プロセッサ、及びＣＰＵの各々を含む装置はコンピュータの一例である。第１処理装置１００は、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）、及びＦＰＧＡ（Field Programmable Gate Array）等の回路がＣＰＵに代えて、又はＣＰＵと併せて用いられてもよい。

第１記憶装置１２０は、第１処理装置１００が読み取り可能な記録媒体である。第１記憶装置１２０は、不揮発性メモリと揮発性メモリとを含む。不揮発性メモリは、例えば、ＲＯＭ（Read Only Memory）、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、及びＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）である。揮発性メモリは、例えば、ＲＡＭ（Random Access Memory）である。本実施形態の第１記憶装置１２０は、第１プログラムＰＲ１と、仮想空間データＥとを記憶する。第１プログラムＰＲ１は、配信サーバ１０を制御するためのプログラムであり、仮想空間データＥは、仮想空間ＶＳの画像を生成するためのデータである。具体的には、仮想空間データＥは、仮想空間ＶＳを３次元的に再現し、この仮想空間ＶＳの中の任意の視点位置から当該仮想空間ＶＳの任意の方向を視た画像を生成するためのデータを含む。この仮想空間ＶＳの中の任意の位置に、被写体Ｂのボリュメトリックビデオの画像が配置される。ボリュメトリックビデオの画像は、ボリュメトリックビデオを構成する各フレームの画像に相当し、以下の説明では、ボリュメトリックの画像を「３Ｄ画像ＧＶ」と称する。

第１通信装置１４０は、ネットワークＮＷにアクセスし、このネットワークＮＷを介して他の装置と通信する、送受信デバイスとしてのハードウェアである。第１通信装置１４０は、例えば、ネットワークデバイス、ネットワークコントローラ、ネットワークカード、及び、通信モジュールとも呼ばれる。第１通信装置１４０は、有線接続用のコネクターを備え、上記コネクターに対応するインターフェース回路を備えてもよい。また、第１通信装置１４０は、無線通信インターフェースを備えてもよい。

入出力インターフェース装置１６０は、撮像システム１２との間で信号を送受するためのインターフェース回路を含む装置である。入出力インターフェース装置１６０と、撮像システム１２との間の信号の送受に用いられる規格は任意である。

本実施形態の配信サーバ１０は、第１処理装置１００が第１プログラムＰＲ１を実行することによって、第１受信制御部１０１、位置管理部１０２、３Ｄ画像生成部１０３、仮想空間画像生成部１０４、コンテンツ生成部１０５、及び第１送信制御部１０６として機能する。

第１受信制御部１０１は、第１通信装置１４０を制御することによって、ユーザ装置４から送信されたデータを受信する。ユーザ装置４から送信されるデータの１つには、ユーザ装置４の位置、動き、及び視線方向の特定に用いられる検出情報データＣがある。本実施形態において、この検出情報データＣは、第２撮像画像Ｃ１、ユーザ装置４の動き情報Ｃ２、方位情報Ｃ３、及び視線情報Ｃ４を含む。
第２撮像画像Ｃ１は、ユーザＵＡにユーザ装置４が装着された状態において、ユーザ装置４がユーザＵＡの正面方向を撮像することによって取得された画像である。この第２撮像画像Ｃ１は、ユーザ装置４の位置情報、及び、正面方向に対応する指向方向の特定に用いられる。また、動き情報Ｃ２、方位情報Ｃ３、及び視線情報Ｃ４は、ユーザ装置４を装着したユーザＵＡの動きに基づく状態を示す情報である。動き情報Ｃ２、及び方位情報Ｃ３は、ユーザＵＡの動きに合わせて仮想空間ＶＳの画像を変化させるために用いられる。視線情報Ｃ４は、仮想空間ＶＳに配置された３Ｄ画像ＧＶにおいて、ユーザＵＡが注目している注目部分Ｋの検出に用いられる。

位置管理部１０２は、上記検出情報データＣの第２撮像画像Ｃ１に基づいて、ユーザ装置４の位置情報、及び方向情報を特定する。本実施形態の位置管理部１０２は、現実空間における位置を規定するグローバル座標系によって複数の特徴点を表現した特徴点マップを参照することにより、ユーザ装置４の位置情報、及び方向情報を特定する。すなわち、位置管理部１０２は、第２撮像画像Ｃ１から複数の特徴点を抽出し、抽出した複数の特徴点を特徴点マップ内の複数の特徴点と照合することによって、第２撮像画像Ｃ１が撮像された位置と撮像の方向とを特定する。特徴点マップは、例えば、ステレオカメラを用いて撮像した画像から複数の特徴点を抽出することによって生成され、例えば、第１記憶装置１２０に記憶される。

また、本実施形態の位置管理部１０２は、上記検出情報データＣの動き情報Ｃ２、及び方位情報Ｃ３に基づいて、ユーザ装置４の位置情報、及び方向情報を補正する。この補正により、ユーザＵＡの動きに応じた位置情報、及び方向情報が得られる。

配信サーバ１０において、第１受信制御部１０１がユーザ装置４から検出情報データＣを周期的に受信することにより、位置管理部１０２がユーザ装置４の位置情報及び方向情報を検出情報データＣに基づいて逐次に特定する。

３Ｄ画像生成部１０３は、撮像システム１２の撮像によって得られる第１撮像画像Ｇ１に基づいて、被写体Ｂのボリュメトリックビデオを構成する上記３Ｄ画像ＧＶを順次に生成する。この３Ｄ画像生成部１０３の機能を有する配信サーバ１０が本開示における画像生成装置の一例に相当する。なお、３Ｄ画像生成部１０３の詳細については後述する。

仮想空間画像生成部１０４は、仮想空間データＥに基づいて仮想空間ＶＳの画像を生成する。具体的には、仮想空間画像生成部１０４は、位置管理部１０２によって特定された位置情報に基づいて、仮想空間ＶＳの中に仮想的な視点位置を設定する。仮想的な視点位置は、仮想空間ＶＳにけるユーザＵＡの視点位置である。そして、仮想空間画像生成部１０４は、位置管理部１０２によって特定された方向情報が示す方向を、当該仮想的な視点位置から視た仮想空間ＶＳの画像を生成する。
仮想空間画像生成部１０４は、仮想空間ＶＳの画像を周期的に生成し、仮想空間ＶＳの一群の画像によって、ユーザＵＡの動きに合わせて変化する態様の仮想空間ＶＳが表現される。

コンテンツ生成部１０５は、３Ｄ画像生成部１０３によって順次に生成される３Ｄ画像ＧＶを、仮想空間画像生成部１０４によって順次に生成される仮想空間ＶＳの画像に重畳することによって、仮想空間ＶＳの中に被写体Ｂのボリュメトリックビデオが配置された映像コンテンツＡを生成する。

第１送信制御部１０６は、コンテンツ生成部１０５によって生成される映像コンテンツＡを、第１通信装置１４０を制御することによって、ネットワークＮＷを介してユーザ装置４に配信する。

なお、映像コンテンツＡがＡＲコンテンツ、又はＭＲコンテンツである場合、配信サーバ１０は、仮想空間ＶＳの画像を生成する必要はない。

図３は、ユーザ装置４の電気的な構成の一例を示すブロック図である。
ユーザ装置４は、映像コンテンツＡを表示する機能を備える装置である。本実施形態のユーザ装置４は、ユーザＵＡの頭部に装着される、例えばヘッドマウントディスプレイなどの頭部装着型の装置であり、ユーザＵＡの眼前に映像コンテンツＡを表示するとともに、ユーザＵＡの動きに合わせて、映像コンテンツＡにおける仮想空間ＶＳの画像、及び、被写体Ｂの３Ｄ画像ＧＶを変化させる機能を更に備える。
かかるユーザ装置４は、第２処理装置４００と、第２記憶装置４２０と、検出装置４３０と、撮像装置４４０と、第２通信装置４５０と、表示装置４６０と、を備え、それぞれが相互にデータ送受可能にバスに接続される。

第２処理装置４００は、１、又は複数のＣＰＵを含む。ＣＰＵは、周辺装置とのインターフェース、演算装置及びレジスタ等を含む。１又は複数のＣＰＵは、１又は複数のプロセッサの一例である。プロセッサ、及びＣＰＵの各々は、コンピュータの一例である。第２処理装置４００は、ＤＳＰ、ＡＳＩＣ、ＰＬＤ、及びＦＰＧＡ等の回路がＣＰＵに代えて、又はＣＰＵと併せて用いられてもよい。

第２記憶装置４２０は、第２処理装置４００が読み取り可能な記録媒体である。第２記憶装置４２０は、不揮発性メモリと揮発性メモリとを含む。不揮発性メモリは、例えば、ＲＯＭ、ＥＰＲＯＭ、及びＥＥＰＲＯＭである。揮発性メモリは、例えば、ＲＡＭである。第２記憶装置４２０は、制御プログラムＰＲ２を記憶する。制御プログラムＰＲ２は、ユーザ装置４の動作を制御するプログラムである。

検出装置４３０は、ユーザ装置４の状態を検出する。より具体的には、検出装置４３０は、ユーザ装置４を装着したユーザＵＡの動きに基づく状態を検出する。検出装置４３０は、例えば、加速度を検出する加速度センサ、角加速度を検出するジャイロセンサなどの慣性センサ、及び、地磁気を検出する地磁気センサが該当する。
加速度センサは、直交するＸ軸、Ｙ軸、及びＺ軸の加速度を検出する。加速度センサによって、図１に示すように、Ｘ軸、Ｙ軸、及びＺ軸の各軸方向へのユーザＵＡの移動を含む並進運動が検出される。慣性センサは、Ｘ軸、Ｙ軸、及びＺ軸を回転の中心軸とする角加速度を検出する。慣性センサによって、図１に示すように、Ｘ軸の周りの回転Ｘｒ、Ｙ軸の周りの回転Ｙｒ、及びＺ軸の周りの回転Ｚｒを含む回転運動が検出される。すなわち、検出装置４３０が備える加速度センサ、及び慣性センサによって、３軸の並進運動、及び３軸の回転運動を含む６ＤｏＦ(Degree of Freedom)の動きが検出される。そして、検出装置４３０は、この動きの検出結果に基づいて、ユーザ装置４の動きに関する上述の動き情報Ｃ２を第２処理装置４００に出力する。
また、地磁気センサは、Ｘ軸、Ｙ軸、及びＺ軸の各軸方向の地磁気を検出し、検出装置４３０は地磁気センサの検出結果に基づいて、ユーザ装置４の方位を示す上述の方位情報Ｃ３を第２処理装置４００に出力する。本実施形態の検出装置４３０は、この地磁気センサを備えることにより、上記並進運動、及び回転運動と、方位とを含む９ＤｏＦを検出する。

本実施形態の検出装置４３０は、ユーザＵＡの動きに基づく状態の１つとして、更に、ユーザＵＡの視線方向を検出する。
具体的には、検出装置４３０は、ユーザＵＡの視線に相関する物理量を検出する視線センサ４３２を更に備え、視線センサ４３２の検出結果に基づいてユーザＵＡの視線方向に関する上述の視線情報Ｃ４を第２処理装置４００に出力する。視線センサ４３２は、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ、及びＣＣＤ（Charge Coupled Device）イメージセンサ等の撮像素子を有し、ユーザＵＡの眼球を撮像して、ユーザの視線が指す方向に相関する物理量を検出する。この物理量としては、例えば、眼の部位の不動点の一例である目頭と、眼球内の動点である虹彩との相対的な位置の変位量などが用いられる。この変位量に基づいて虹彩の移動、すなわち視線方向の移動が検出される。

撮像装置４４０は、ユーザＵＡの装着状態において、ユーザＵＡの正面方向を撮像することによって取得された上述の第２撮像画像Ｃ１を第２処理装置４００に出力する装置であり、撮像光学系、及び撮像素子を含む。撮像光学系は、少なくとも１つの撮像レンズを含む光学系である。撮像光学系は、プリズム等の各種の光学素子を撮像レンズの他に有してもよいし、ズームレンズ、又はフォーカスレンズ等を有してもよい。撮像素子は、ＣＣＤイメージセンサ、及びＣＭＯＳイメージセンサ等である。

第２処理装置４００は、撮像装置４４０から出力される第２撮像画像Ｃ１と、検出装置４３０から出力される動き情報Ｃ２、方位情報Ｃ３、及び視線情報Ｃ４とを含む上述の検出情報データＣを、第２通信装置４５０を制御することによって、配信サーバ１０へ周期的に出力する。

第２通信装置４５０は、ユーザ装置４が他の装置と通信を行うための通信インターフェースを備える。ネットワークＮＷにアクセスし、このネットワークＮＷを介して他の装置と通信する、送受信デバイスとしてのハードウェアである。第２通信装置４５０は、例えば、ネットワークデバイス、ネットワークコントローラ、ネットワークカード、及び、通信モジュールとも呼ばれる。第２通信装置４５０の通信インターフェースは、無線通信インターフェース回路を備えてもよいし、有線接続用のコネクターを含み、かつ上記コネクターに対応するインターフェース回路を備えてもよい。

表示装置４６０は、ユーザ装置４の装着状態において、ユーザＵＡの眼前に配置され表示パネルを含む、当該表示パネルに映像コンテンツＡを表示する装置である。なお、映像コンテンツＡがＡＲコンテンツ又はＭＲコンテンツである場合、表示装置４６０の表示パネルには、透過型の表示パネルが用いられ、映像コンテンツＡを示す光と、現実空間の光とが重畳してユーザＵＡの眼に入ることによって、ユーザＵＡが現実空間の中に、ボリュメトリックビデオの３Ｄ画像ＧＶといった映像コンテンツＡの画像が位置しているように知覚する。

上述の通り、本実施形態の映像コンテンツＡにおける仮想空間ＶＳの画像、及び被写体Ｂの３Ｄ画像ＧＶは、ユーザＵＡの並進運動、及び、回転運動によって変化する。例えば、ユーザＵＡが並進運動によって被写体Ｂの背後に移動し、また、回転運動により当該被写体Ｂの方向を向いた場合、ユーザＵＡの移動に伴って仮想空間ＶＳの画像、及び被写体Ｂの３Ｄ画像ＧＶが変化し、最終的には、被写体Ｂの背後から当該被写体Ｂの方向を視た仮想空間ＶＳの画像、及び被写体Ｂの３Ｄ画像ＧＶが表示される。したがって、ユーザＵＡは、仮想空間ＶＳの中を自由に移動し、また、自由に移動した先から被写体Ｂを視ることができ、仮想空間ＶＳへの没入感が高められる。

なお、ユーザ装置４において、表示装置４６０を別体に備えてもよい。この場合、表示装置４６０以外の構成部の一部、又は全部を、例えば、スマートフォン、タブレット型パーソナルコンピュータ、ラップトップ型パーソナルコンピュータ、及び据置型パーソナルコンピュータなどのコンピュータが備えてもよい。

次に、配信サーバ１０が備える上記３Ｄ画像生成部１０３について詳述する。
３Ｄ画像生成部１０３は、図２に示す通り、撮像画像取得部１０３０と、３Ｄモデル生成部１０３２と、注目部分決定部１０３４と、圧縮部１０３６と、レンダリング部１０３８と、を備える。

撮像画像取得部１０３０は、撮像システム１２の撮像によって得られる複数の第１撮像画像Ｇ１を取得する。上述の通り、複数の第１撮像画像Ｇ１は、それぞれ同一のタイミングで複数の位置から被写体Ｂを撮像することによって得られた画像である。

３Ｄモデル生成部１０３２は、複数の第１撮像画像Ｇ１に基づいて、被写体Ｂの３Ｄモデルを生成する。この３Ｄモデルの生成には、例えば、視体積交差法、及びステレオマッチング法などが用いられる。また、本実施形態の３Ｄモデルは、被写体Ｂの立体的な情報をボクセルによって表現するデータである。

注目部分決定部１０３４は、被写体Ｂにおける注目部分Ｋを決定する。注目部分Ｋは、被写体Ｂの中で品質の低下を防止する部分を指し、本実施形態では、映像コンテンツＡを視聴しているユーザＵＡが注視している箇所に基づいて決定される。具体的には、注目部分決定部１０３４は、上記検出情報データＣに含まれる視線情報Ｃ４に基づいて、ユーザＵＡの視線が向けられた頻度が相対的に大きい箇所を特定することによって、注目部分Ｋを決定する。このように決定された注目部分Ｋは、被写体Ｂの３Ｄモデルのうち、ユーザＵＡの位置から視える部位の範囲から決定される。

圧縮部１０３６は、３Ｄモデル生成部１０３２によって生成された３Ｄモデルに対し、注目部分決定部１０３４によって決定された注目部分Ｋに対応する部分以外を圧縮することにより、３Ｄモデルのデータ量を削減する。より具体的には、本実施形態の圧縮部１０３６は、３Ｄモデルの各ボクセルのうち、注目部分Ｋに対応する部分以外の各ボクセルを圧縮する。この圧縮には、ボクセルデータを圧縮する公知の手法が用いられる。

レンダリング部１０３８は、圧縮部１０３６によって圧縮された３Ｄモデルと、位置管理部１０２によって特定された位置情報、及び方向情報に基づいて選択された１以上の第１撮像画像Ｇ１と、に基づいて３Ｄ画像ＧＶを生成する。
具体的には、レンダリング部１０３８は、圧縮後の３Ｄモデルに対し、１以上の第１撮像画像Ｇ１を適用することによって、色付け、及びテクスチャ貼り付けなどのレンダリングを行う。このレンダリングは、位置管理部１０２によって特定された位置情報、及び方向情報に基づいて行われる。この結果、仮想空間ＶＳにおいて、位置情報によって示されるユーザＵＡの位置から方向情報によって示される方向を視たときの被写体Ｂを表す３Ｄ画像ＧＶが得られる。
そして、３Ｄ画像ＧＶは、圧縮後の３Ｄモデルのレンダリングによって生成されるため、圧縮が施されていない３Ｄモデルのレンダリングによって得られる３Ｄ画像ＧＶよりもデータ量が削減されることとなる。
なお、レンダリングは、圧縮後の３Ｄモデルにおける３６０度の全ての面に対して行われてもよい。この場合、レンダリング後の３Ｄモデルに基づいて３Ｄ画像ＧＶが生成される。

次いで、本実施形態の動作について説明する。

図４は、配信サーバ１０における映像コンテンツＡの配信処理の一例を示す図である。
同図に示すように、配信サーバ１０において、３Ｄ画像生成部１０３が３Ｄ画像生成処理を実行し、被写体Ｂのボリュメトリックビデオを構成する３Ｄ画像ＧＶを生成する（ステップＳａ１）。この３Ｄ画像ＧＶは、上述の通り、仮想空間ＶＳにおいて、位置情報によって示されるユーザＵＡの位置から方向情報によって示される方向を視たときの被写体Ｂを立体的に表す画像である。このステップＳａ１の３Ｄ画像生成処理については後に詳述する。

次いで、仮想空間画像生成部１０４が、仮想空間データＥと、位置管理部１０２によって特定された位置情報、及び方向情報とに基づいて、仮想空間ＶＳの画像を生成する（ステップＳａ２）。この仮想空間ＶＳの画像は、仮想空間ＶＳにおいて、位置情報によって示されるユーザＵＡの視点位置から、方向情報によって示される方向を視た画像である。

次に、コンテンツ生成部１０５が、仮想空間ＶＳの画像に、被写体Ｂの３Ｄ画像ＧＶを順次に重畳することにより、仮想空間ＶＳの中に被写体Ｂの３Ｄ画像ＧＶが配置された画像を含む映像コンテンツＡを生成する（ステップＳａ３）。
そして、第１送信制御部１０６が第１通信装置１４０を制御することにより、映像コンテンツＡをユーザ装置４に配信する（ステップＳａ４）。

配信サーバ１０の第１処理装置１００が、ステップＳａ１からステップＳａ４の処理を周期的に行うことにより、ユーザＵＡの動き、すなわち、位置管理部１０２によって特定される位置情報、及び方向情報の変化に応じて、仮想空間ＶＳの画像、及び被写体Ｂの３Ｄ画像ＧＶが動的に変化する映像コンテンツＡがユーザ装置４に提供される。

図５は、配信サーバ１０における３Ｄ画像生成処理の一例を示す図である。
配信サーバ１０において、先ず、撮像画像取得部１０３０が、撮像システム１２の撮像によって得られる複数の第１撮像画像Ｇ１を取得し（ステップＳｂ１）、３Ｄモデル生成部１０３２が、複数の第１撮像画像Ｇ１に基づいて、被写体Ｂの３Ｄモデルを生成する（ステップＳｂ２）。

次いで、注目部分決定部１０３４が被写体Ｂにおける注目部分Ｋを決定する（ステップＳｂ３）。本実施形態では、注目部分決定部１０３４は、検出情報データＣに含まれる視線情報Ｃ４に基づいて、被写体Ｂの中でユーザＵＡが注視している箇所を注目部分Ｋに決定する。
次に、圧縮部１０３６が３Ｄモデルに対し、注目部分Ｋに対応する部分以外を圧縮する（ステップＳｂ４）。
そして、レンダリング部１０３８が、圧縮後の３Ｄモデルと、位置管理部１０２によって特定された位置情報、及び方向情報に基づいて選択された１以上の第１撮像画像Ｇ１と、に基づいて３Ｄ画像ＧＶを生成する（ステップＳｂ５）。

本実施形態では、配信サーバ１０の第１処理装置１００が、ステップＳｂ１からステップＳｂ５の処理を周期的に行うことにより、周期的な撮像によって得られる被写体Ｂの第１撮像画像Ｇ１に基づいて３Ｄモデルが逐次に生成され、また、ユーザＵＡが注視している被写体Ｂの箇所に応じて動的に注目部分Ｋが決定される。
そして、逐次に生成された３Ｄモデルは、注目部分Ｋに対応する部分を除き逐次に圧縮され、圧縮後の３Ｄモデルに基づいて、仮想空間ＶＳにおけるユーザＵＡの位置から被写体Ｂを視た３Ｄ画像ＧＶが逐次に生成される。この逐次に得られる３Ｄ画像ＧＶによって、被写体Ｂのボリュメトリックビデオが構成され、３Ｄ画像ＧＶのデータ量が削減されることにより、ボリュメトリックビデオのデータ量も削減される。

図６は、本実施形態の３Ｄ画像生成処理によって得られる３Ｄ画像ＧＶの一例を示す図である。なお、図６において、被写体Ｂのうち圧縮される部位がハッチングによって示されている。
例えば、仮想空間ＶＳにおいて、ユーザＵＡの位置から被写体Ｂの正面の３Ｄ画像ＧＶが視認され、また、ユーザＵＡが注視している部分が被写体Ｂの顏である場合、図６に示すように、被写体Ｂの顏が注目部分決定部１０３４によって注目部分Ｋに決定され、この注目部分Ｋに相当する部分以外が圧縮部１０３６によって圧縮される。この場合、仮想空間ＶＳにおいてユーザＵＡから視えない被写体Ｂの背面においては、顏の裏側に相当する部分である後頭部も含め、被写体Ｂの全ての部分が圧縮される。
したがって、ユーザＵＡが注視している注目部分Ｋ以外の部分が圧縮されることにより、注目部分Ｋについての画質等の低下を抑えつつ、ボリュメトリックビデオを構成する３Ｄ画像ＧＶのデータ量が削減される。

なお、本開示において、被写体Ｂが互いに独立して存在する複数の物体を含む場合、いずれか１以上の物体の全体が注目部分Ｋに決定されてもよいし、いずれか１以上の物体のそれぞれの部分が注目部分Ｋに決定されてもよい。「互いに独立して存在する複数の物体」とは、それぞれが非破壊的に分離可能な物体を含み、また、物体は生物、及び無生物を含む。
図７に示すように、例えば、被写体Ｂが互いに独立して存在する物体の一例として複数の人物を含む場合、ボリュメトリックビデオの３Ｄ画像ＧＶにも、これらの人物が含まれる。この場合において、図８に示すように、いずれか一方の人物の全体が注目部分Ｋとして決定されてもよい。この場合、他方の人物の全体が圧縮されることとなる。

また、本開示において、複数のユーザＵＡが同じ映像コンテンツＡを視聴している場合、注目部分決定部１０３４は、各ユーザＵＡの視線情報Ｃ４のそれぞれに基づいて、最も多くのユーザＵＡに注視されている箇所を注目部分Ｋに決定してもよい。この構成によれば、より多くのユーザＵＡが注視している箇所が注目部分Ｋに決定され、その部分の画質の劣化が抑えられる。

以上説明したように、本実施形態の配信サーバ１０は、ボリュメトリックビデオを構成する３Ｄ画像ＧＶを生成するための３Ｄ画像生成部１０３を備える。
この３Ｄ画像生成部１０３は、被写体Ｂを撮像することによって得られる１又は複数の第１撮像画像Ｇ１を取得する撮像画像取得部１０３０と、１又は複数の第１撮像画像Ｇ１に基づいて、被写体Ｂの３Ｄモデルを生成する３Ｄモデル生成部１０３２と、被写体Ｂにおける注目部分Ｋを決定する注目部分決定部１０３４と、３Ｄモデルに対し、注目部分Ｋに対応する部分以外を圧縮する圧縮部１０３６と、圧縮部１０３６によって圧縮された３Ｄモデルに基づいて、ボリュメトリックビデオを構成する３Ｄ画像ＧＶを生成するレンダリング部１０３８と、を備える。
この構成によれば、被写体Ｂにおける注目部分Ｋに対応する部分以外が圧縮された３Ｄモデルに基づいて生成された３Ｄ画像ＧＶが得られる。したがって、注目部分Ｋにおける画質等の劣化を抑えつつ、ボリュメトリックビデオの全体のデータ量を削減できる。

本実施形態において、被写体Ｂは、互いに独立して存在する複数の物体を含み、注目部分決定部１０３４は、複数の物体の中から１以上の物体の全部、又は一部を注目部分Ｋに決定する。
この構成によれば、例えば、被写体Ｂが複数の物体を含む場合でも、画質等の低下を抑える物体、又は、物体の部分を選択的に注目部分Ｋとして決定できる。

本実施形態の注目部分決定部１０３４は、ボリュメトリックビデオの画像である３Ｄ画像ＧＶを視たユーザＵＡの視線情報Ｃ４に基づいて注目部分を決定する。
この構成によれば、被写体Ｂの中でユーザＵＡが注視する部分の画質を維持しつつ、ボリュメトリックビデオのデータ量を削減できる。

本実施形態のレンダリング部１０３８は、ボリュメトリックビデオの画像である３Ｄ画像ＧＶを視るユーザＵＡの動きに基づいて、当該３Ｄ画像ＧＶを生成する。
この構成によれば、ユーザＵＡは、自身の動きに応じた方向から視たときの被写体Ｂの３Ｄ画像ＧＶを楽しむことができる。

本実施形態の配信サーバ１０は、仮想空間ＶＳの画像を生成する仮想空間画像生成部１０４と、ボリュメトリックビデオを構成する３Ｄ画像ＧＶを、仮想空間ＶＳの画像に重畳した画像を含む映像コンテンツＡを生成するコンテンツ生成部１０５と、を備える。
この構成によれば、仮想空間ＶＳの中にボリュメトリックビデオの３Ｄ画像ＧＶを配置した映像コンテンツＡをユーザＵＡなどに提供できる。

２．変形例
以上に例示した各態様に付加される具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２以上の態様を、相互に矛盾しない範囲で適宜に併合してもよい。

（１）上述した実施形態において、注目部分決定部１０３４は、被写体Ｂの中の予め指定された部分を注目部分Ｋに決定してもよい。この場合において、注目部分Ｋは、例えば、映像コンテンツＡのクリエイター、及び被写体Ｂとなった人物、映像コンテンツＡのスポンサーなどによって指定さてもよい。この構成によれば、映像コンテンツＡの配信者、及び配信者の関係者が所望する部分についての画質の低下を抑えつつ、ボリュメトリックビデオのデータ量を削減できる。

（２）上述した実施形態において、配信サーバ１０の第１処理装置１００が有する機能部のうち、映像コンテンツＡを配信する機能を他のコンピュータが備えてもよい。この場合、配信サーバ１０は、映像コンテンツＡを生成するコンテンツ生成装置として機能する。
また、配信サーバ１０の第１処理装置１００が有する機能部のうち、３Ｄ画像生成部１０３以外の機能部を他のコンピュータが備えてもよい。この場合、配信サーバ１０は、３Ｄ画像ＧＶを生成する画像生成装置として機能する。

３：その他
（１－１）上記実施形態の説明に用いたブロック図は、機能単位のブロックを示している。これらの機能ブロック（構成部）は、ハードウェア及びソフトウェアの少なくとも一方の任意の組み合わせによって実現される。また、各機能ブロックの実現方法は特に限定されない。すなわち、各機能ブロックは、物理的又は論理的に結合した１つの装置を用いて実現されてもよいし、物理的又は論理的に分離した２つ以上の装置を直接的又は間接的に（例えば、有線、無線などを用いて）接続し、これら複数の装置を用いて実現されてもよい。機能ブロックは、上記１つの装置又は上記複数の装置にソフトウェアを組み合わせて実現されてもよい。機能には、判断、決定、判定、計算、算出、処理、導出、調査、探索、確認、受信、送信、出力、アクセス、解決、選択、選定、確立、比較、想定、期待、見做し、報知（ｂｒｏａｄｃａｓｔｉｎｇ）、通知（ｎｏｔｉｆｙｉｎｇ）、通信（ｃｏｍｍｕｎｉｃａｔｉｎｇ）、転送（ｆｏｒｗａｒｄｉｎｇ）、構成（ｃｏｎｆｉｇｕｒｉｎｇ）、再構成（ｒｅｃｏｎｆｉｇｕｒｉｎｇ）、割り当て（ａｌｌｏｃａｔｉｎｇ、ｍａｐｐｉｎｇ）、割り振り（ａｓｓｉｇｎｉｎｇ）などがあるが、これらに限られない。たとえば、送信を機能させる機能ブロック（構成部）は、送信部（ｔｒａｎｓｍｉｔｔｉｎｇ ｕｎｉｔ）または送信機（ｔｒａｎｓｍｉｔｔｅｒ）と呼称される。いずれも、上述したとおり、実現方法は特に限定されない。

（１－２）情報の通知は、本開示において説明した態様／実施形態に限られず、他の方法を用いて行われてもよい。例えば、情報の通知は、物理レイヤシグナリング（例えば、ＤＣＩ（Ｄｏｗｎｌｉｎｋ Ｃｏｎｔｒｏｌ Ｉｎｆｏｒｍａｔｉｏｎ）、ＵＣＩ（Ｕｐｌｉｎｋ Ｃｏｎｔｒｏｌ Ｉｎｆｏｒｍａｔｉｏｎ））、上位レイヤシグナリング（例えば、ＲＲＣ（Ｒａｄｉｏ Ｒｅｓｏｕｒｃｅ Ｃｏｎｔｒｏｌ）シグナリング、ＭＡＣ（Ｍｅｄｉｕｍ Ａｃｃｅｓｓ Ｃｏｎｔｒｏｌ）シグナリング、報知情報（ＭＩＢ（Ｍａｓｔｅｒ Ｉｎｆｏｒｍａｔｉｏｎ Ｂｌｏｃｋ）、ＳＩＢ（Ｓｙｓｔｅｍ Ｉｎｆｏｒｍａｔｉｏｎ Ｂｌｏｃｋ）））、その他の信号又はこれらの組み合わせによって実施されてもよい。また、ＲＲＣシグナリングは、ＲＲＣメッセージと呼ばれてもよく、例えば、ＲＲＣ接続セットアップ（ＲＲＣ Ｃｏｎｎｅｃｔｉｏｎ Ｓｅｔｕｐ）メッセージ、ＲＲＣ接続再構成（ＲＲＣ Ｃｏｎｎｅｃｔｉｏｎ Ｒｅｃｏｎｆｉｇｕｒａｔｉｏｎ）メッセージなどであってもよい。

（１－３）本開示において説明した各態様／実施形態は、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）、ＬＴＥ－Ａ（ＬＴＥ－Ａｄｖａｎｃｅｄ）、ＳＵＰＥＲ ３Ｇ、ＩＭＴ－Ａｄｖａｎｃｅｄ、４Ｇ（４ｔｈ ｇｅｎｅｒａｔｉｏｎ ｍｏｂｉｌｅ ｃｏｍｍｕｎｉｃａｔｉｏｎ ｓｙｓｔｅｍ）、５Ｇ（５ｔｈ ｇｅｎｅｒａｔｉｏｎ ｍｏｂｉｌｅ ｃｏｍｍｕｎｉｃａｔｉｏｎ ｓｙｓｔｅｍ）、６ｔｈ ｇｅｎｅｒａｔｉｏｎ ｍｏｂｉｌｅ ｃｏｍｍｕｎｉｃａｔｉｏｎ ｓｙｓｔｅｍ（６Ｇ）、ｘｔｈ ｇｅｎｅｒａｔｉｏｎ ｍｏｂｉｌｅ ｃｏｍｍｕｎｉｃａｔｉｏｎ ｓｙｓｔｅｍ（ｘＧ）（ｘＧ（ｘは、例えば整数、小数））、ＦＲＡ（Ｆｕｔｕｒｅ Ｒａｄｉｏ Ａｃｃｅｓｓ）、ＮＲ（ｎｅｗ Ｒａｄｉｏ）、Ｎｅｗ ｒａｄｉｏ ａｃｃｅｓｓ（ＮＸ）、Ｆｕｔｕｒｅ ｇｅｎｅｒａｔｉｏｎ ｒａｄｉｏ ａｃｃｅｓｓ（ＦＸ）、Ｗ－ＣＤＭＡ（登録商標）、ＧＳＭ（登録商標）、ＣＤＭＡ２０００、ＵＭＢ（Ｕｌｔｒａ Ｍｏｂｉｌｅ Ｂｒｏａｄｂａｎｄ）、ＩＥＥＥ ８０２．１１（Ｗｉ－Ｆｉ（登録商標））、ＩＥＥＥ ８０２．１６（ＷｉＭＡＸ（登録商標））、ＩＥＥＥ ８０２．２０、ＵＷＢ（Ｕｌｔｒａ－Ｗｉｄｅ Ｂａｎｄ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、その他の適切なシステムを利用するシステム及びこれらに基づいて拡張、修正、作成、規定された次世代システムの少なくとも一つに適用されてもよい。また、複数のシステムが組み合わされて（例えば、ＬＴＥ及びＬＴＥ－Ａの少なくとも一方と５Ｇとの組み合わせ等）適用されてもよい。

（１－４）本開示において説明した各態様／実施形態の処理手順、シーケンス、フローチャートなどは、矛盾の無い限り、順序を入れ替えてもよい。例えば、本開示において説明した方法については、例示的な順序を用いて様々なステップの要素を提示しており、提示した特定の順序に限定されない。

（１－５）本開示において基地局によって行われるとした特定動作は、場合によってはその上位ノード（ｕｐｐｅｒ ｎｏｄｅ）によって行われることもある。基地局を有する１つ又は複数のネットワークノード（ｎｅｔｗｏｒｋ ｎｏｄｅｓ）からなるネットワークにおいて、端末との通信のために行われる様々な動作は、基地局及び基地局以外の他のネットワークノード（例えば、ＭＭＥ又はＳ－ＧＷなどが考えられるが、これらに限られない）の少なくとも１つによって行われ得ることは明らかである。上記において基地局以外の他のネットワークノードが１つである場合を例示したが、複数の他のネットワークノードの組み合わせ（例えば、ＭＭＥ及びＳ－ＧＷ）であってもよい。

（１－６）情報等（※「情報、信号」の項目参照）は、上位レイヤ（又は下位レイヤ）から下位レイヤ（又は上位レイヤ）へ出力され得る。複数のネットワークノードを介して入出力されてもよい。

（１－７）入出力された情報等は特定の場所（例えば、メモリ）に保存されてもよいし、管理テーブルを用いて管理してもよい。入出力される情報等は、上書き、更新、又は追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。

（１－８）判定は、１ビットで表される値（０か１か）によって行われてもよいし、真偽値（Ｂｏｏｌｅａｎ：ｔｒｕｅ又はｆａｌｓｅ）によって行われてもよいし、数値の比較（例えば、所定の値との比較）によって行われてもよい。

（１－９）本開示において説明した各態様／実施形態は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。また、所定の情報の通知（例えば、「Ｘであること」の通知）は、明示的に行うものに限られず、暗黙的（例えば、当該所定の情報の通知を行わない）ことによって行われてもよい。

以上、本開示について詳細に説明したが、当業者にとっては、本開示が本開示中に説明した実施形態に限定されるものではないということは明らかである。本開示は、請求の範囲の記載により定まる本開示の趣旨及び範囲を逸脱することなく修正及び変更態様として実施することができる。したがって、本開示の記載は、例示説明を目的とするものであり、本開示に対して何ら制限的な意味を有するものではない。

（２－１）ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語と呼ばれるか、他の名称で呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順、機能などを意味するよう広く解釈されるべきである。
また、ソフトウェア、命令、情報などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、有線技術（同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ：Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）など）及び無線技術（赤外線、マイクロ波など）の少なくとも一方を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び無線技術の少なくとも一方は、伝送媒体の定義内に含まれる。

（２－２）本開示において説明した情報、信号などは、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップなどは、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、又はこれらの任意の組み合わせによって表されてもよい。なお、本開示において説明した用語及び本開示の理解に必要な用語については、同一の又は類似する意味を有する用語と置き換えてもよい。例えば、チャネル及びシンボルの少なくとも一方は信号（シグナリング）であってもよい。また、信号はメッセージであってもよい。また、コンポーネントキャリア（ＣＣ：Ｃｏｍｐｏｎｅｎｔ Ｃａｒｒｉｅｒ）は、キャリア周波数、セル、周波数キャリアなどと呼ばれてもよい。

（２－３）本開示において使用する「システム」及び「ネットワーク」という用語は、互換的に使用される。

（２－４）また、本開示において説明した情報、パラメータなどは、絶対値を用いて表されてもよいし、所定の値からの相対値を用いて表されてもよいし、対応する別の情報を用いて表されてもよい。例えば、無線リソースはインデックスによって指示されるものであってもよい。上述したパラメータに使用する名称はいかなる点においても限定的な名称ではない。さらに、これらのパラメータを使用する数式等は、本開示で明示的に開示したものと異なる場合もある。様々なチャネル（例えば、ＰＵＣＣＨ、ＰＤＣＣＨなど）及び情報要素は、あらゆる好適な名称によって識別できるので、これらの様々なチャネル及び情報要素に割り当てている様々な名称は、いかなる点においても限定的な名称ではない。

（２－５）本開示においては、「基地局（ＢＳ：Ｂａｓｅ Ｓｔａｔｉｏｎ）」、「無線基地局」、「固定局（ｆｉｘｅｄ ｓｔａｔｉｏｎ）」、「ＮｏｄｅＢ」、「ｅＮｏｄｅＢ（ｅＮＢ）」、「ｇＮｏｄｅＢ（ｇＮＢ）」、「アクセスポイント（ａｃｃｅｓｓ ｐｏｉｎｔ）」、「送信ポイント（ｔｒａｎｓｍｉｓｓｉｏｎ ｐｏｉｎｔ）」、「受信ポイント（ｒｅｃｅｐｔｉｏｎ ｐｏｉｎｔ）、「送受信ポイント（ｔｒａｎｓｍｉｓｓｉｏｎ／ｒｅｃｅｐｔｉｏｎ ｐｏｉｎｔ）」、「セル」、「セクタ」、「セルグループ」、「キャリア」、「コンポーネントキャリア」などの用語は、互換的に使用され得る。基地局は、マクロセル、スモールセル、フェムトセル、ピコセルなどの用語で呼ばれる場合もある。基地局は、１つ又は複数（例えば、３つ）のセルを収容することができる。基地局が複数のセルを収容する場合、基地局のカバレッジエリア全体は複数のより小さいエリアに区分でき、各々のより小さいエリアは、基地局サブシステム（例えば、屋内用の小型基地局（ＲＲＨ：Ｒｅｍｏｔｅ Ｒａｄｉｏ Ｈｅａｄ）によって通信サービスを提供することもできる。「セル」又は「セクタ」という用語は、このカバレッジにおいて通信サービスを行う基地局及び基地局サブシステムの少なくとも一方のカバレッジエリアの一部又は全体を指す。本開示において、基地局が端末に情報を送信することは、基地局が端末に対して、情報に基づく制御・動作を指示することと読み替えられてもよい。

（２－６）本開示においては、「移動局（ＭＳ：Ｍｏｂｉｌｅ Ｓｔａｔｉｏｎ）」、「ユーザ端末（ｕｓｅｒ ｔｅｒｍｉｎａｌ）」、「ユーザ装置（ＵＥ：Ｕｓｅｒ Ｅｑｕｉｐｍｅｎｔ）」、「端末」などの用語は、互換的に使用され得る。移動局は、当業者によって、加入者局、モバイルユニット、加入者ユニット、ワイヤレスユニット、リモートユニット、モバイルデバイス、ワイヤレスデバイス、ワイヤレス通信デバイス、リモートデバイス、モバイル加入者局、アクセス端末、モバイル端末、ワイヤレス端末、リモート端末、ハンドセット、ユーザエージェント、モバイルクライアント、クライアント、又はいくつかの他の適切な用語で呼ばれる場合もある。

（２－７）基地局及び移動局の少なくとも一方は、送信装置、受信装置、通信装置などと呼ばれてもよい。なお、基地局及び移動局の少なくとも一方は、移動体に搭載されたデバイス、移動体自体などであってもよい。当該移動体は、移動可能な物体をいい、移動速度は任意である。また移動体が停止している場合も当然含む。当該移動体は、例えば、車両、輸送車両、自動車、自動二輪車、自転車、コネクテッドカー、ショベルカー、ブルドーザー、ホイールローダー、ダンプトラック、フォークリフト、列車、バス、リヤカー、人力車、船舶（ｓｈｉｐ ａｎｄ ｏｔｈｅｒ ｗａｔｅｒｃｒａｆｔ）、飛行機、ロケット、人工衛星、ドローン（登録商標）、マルチコプター、クアッドコプター、気球、およびこれらに搭載される物を含み、またこれらに限らない。また、当該移動体は、運行指令に基づいて自律走行する移動体であってもよい。乗り物（例えば、車、飛行機など）であってもよいし、無人で動く移動体（例えば、ドローン、自動運転車など）であってもよいし、ロボット（有人型又は無人型）であってもよい。なお、基地局及び移動局の少なくとも一方は、必ずしも通信動作時に移動しない装置も含む。例えば、基地局及び移動局の少なくとも一方は、センサなどのＩｏＴ（Ｉｎｔｅｒｎｅｔ ｏｆ Ｔｈｉｎｇｓ）機器であってもよい。また、本開示における基地局は、ユーザ端末で読み替えてもよい。例えば、基地局及びユーザ端末間の通信を、複数のユーザ端末間の通信（例えば、Ｄ２Ｄ（Ｄｅｖｉｃｅ－ｔｏ－Ｄｅｖｉｃｅ）、Ｖ２Ｘ（Ｖｅｈｉｃｌｅ－ｔｏ－Ｅｖｅｒｙｔｈｉｎｇ）などと呼ばれてもよい）に置き換えた構成について、本開示の各態様／実施形態を適用してもよい。この場合、上述の基地局が有する機能をユーザ端末が有する構成としてもよい。また、「上り」及び「下り」などの文言は、端末間通信に対応する文言（例えば、「サイド（ｓｉｄｅ）」）で読み替えられてもよい。例えば、上りチャネル、下りチャネルなどは、サイドチャネルで読み替えられてもよい。同様に、本開示におけるユーザ端末は、基地局で読み替えてもよい。この場合、上述のユーザ端末が有する機能を基地局が有する構成としてもよい。

（３－１）本開示で使用する「判断（ｄｅｔｅｒｍｉｎｉｎｇ）」、「決定（ｄｅｔｅｒｍｉｎｉｎｇ）」という用語は、多種多様な動作を包含する場合がある。「判断」、「決定」は、例えば、判定（ｊｕｄｇｉｎｇ）、計算（ｃａｌｃｕｌａｔｉｎｇ）、算出（ｃｏｍｐｕｔｉｎｇ）、処理（ｐｒｏｃｅｓｓｉｎｇ）、導出（ｄｅｒｉｖｉｎｇ）、調査（ｉｎｖｅｓｔｉｇａｔｉｎｇ）、探索（ｌｏｏｋｉｎｇ ｕｐ、ｓｅａｒｃｈ、ｉｎｑｕｉｒｙ）（例えば、テーブル、データベース又は別のデータ構造での探索）、確認（ａｓｃｅｒｔａｉｎｉｎｇ）した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、受信（ｒｅｃｅｉｖｉｎｇ）（例えば、情報を受信すること）、送信（ｔｒａｎｓｍｉｔｔｉｎｇ）（例えば、情報を送信すること）、入力（ｉｎｐｕｔ）、出力（ｏｕｔｐｕｔ）、アクセス（ａｃｃｅｓｓｉｎｇ）（例えば、メモリ中のデータにアクセスすること）した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、解決（ｒｅｓｏｌｖｉｎｇ）、選択（ｓｅｌｅｃｔｉｎｇ）、選定（ｃｈｏｏｓｉｎｇ）、確立（ｅｓｔａｂｌｉｓｈｉｎｇ）、比較（ｃｏｍｐａｒｉｎｇ）などした事を「判断」「決定」したとみなす事を含み得る。つまり、「判断」「決定」は、何らかの動作を「判断」「決定」したとみなす事を含み得る。また、「判断（決定）」は、「想定する（ａｓｓｕｍｉｎｇ）」、「期待する（ｅｘｐｅｃｔｉｎｇ）」、「みなす（ｃｏｎｓｉｄｅｒｉｎｇ）」などで読み替えられてもよい。

（３－２）「接続された（ｃｏｎｎｅｃｔｅｄ）」、「結合された（ｃｏｕｐｌｅｄ）」という用語、又はこれらのあらゆる変形は、２又はそれ以上の要素間の直接的又は間接的なあらゆる接続又は結合を意味し、互いに「接続」又は「結合」された２つの要素間に１又はそれ以上の中間要素が存在することを含むことができる。要素間の結合又は接続は、物理的なものであっても、論理的なものであっても、或いはこれらの組み合わせであってもよい。例えば、「接続」は「アクセス」で読み替えられてもよい。本開示で使用する場合、２つの要素は、１又はそれ以上の電線、ケーブル及びプリント電気接続の少なくとも一つを用いて、並びにいくつかの非限定的かつ非包括的な例として、無線周波数領域、マイクロ波領域及び光（可視及び不可視の両方）領域の波長を有する電磁エネルギーなどを用いて、互いに「接続」又は「結合」されると考えることができる。

（３－３）参照信号は、ＲＳ（Ｒｅｆｅｒｅｎｃｅ Ｓｉｇｎａｌ）と略称することもでき、適用される標準によってパイロット（Ｐｉｌｏｔ）と呼ばれてもよい。

（３－４）本開示において使用する「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。

（３－５）本開示において使用する「第１の」、「第２の」などの呼称を使用した要素へのいかなる参照も、それらの要素の量又は順序を全般的に限定しない。これらの呼称は、２つ以上の要素間を区別する便利な方法として本開示において使用され得る。したがって、第１及び第２の要素への参照は、２つの要素のみが採用され得ること、又は何らかの形で第１の要素が第２の要素に先行しなければならないことを意味しない。

（３－６）上記の各装置の構成における「手段」を、「部」、「回路」、「デバイス」等に置き換えてもよい。

（３－７）本開示において、「含む（ｉｎｃｌｕｄｅ）」、「含んでいる（ｉｎｃｌｕｄｉｎｇ）」及びそれらの変形が使用されている場合、これらの用語は、用語「備える（ｃｏｍｐｒｉｓｉｎｇ）」と同様に、包括的であることが意図される。さらに、本開示において使用されている用語「又は（ｏｒ）」は、排他的論理和ではないことが意図される。

（３－８）本開示において、例えば、英語でのａ， ａｎ及びｔｈｅのように、翻訳により冠詞が追加された場合、本開示は、これらの冠詞の後に続く名詞が複数形であることを含んでもよい。

（３－９）本開示において、「ＡとＢが異なる」という用語は、「ＡとＢが互いに異なる」ことを意味してもよい。なお、当該用語は、「ＡとＢがそれぞれＣと異なる」ことを意味してもよい。「離れる」、「結合される」などの用語も、「異なる」と同様に解釈されてもよい。

（４）本発明が本明細書中に説明した実施形態に限定されないことは当業者にとって明白である。本発明は、特許請求の範囲の記載に基づいて定まる本発明の趣旨および範囲を逸脱することなく修正および変更態様として実施できる。したがって、本明細書の記載は、例示的な説明を目的とし、本発明に対して何ら制限的な意味を有さない。また、本明細書に例示した態様から選択された複数の態様を組み合わせてもよい。

１…映像コンテンツ配信システム、２…配信サーバシステム、４…ユーザ装置、１０…配信サーバ（画像生成装置）、１２…撮像システム、１２Ａ…撮像装置、１００…第１処理装置、１０２…位置管理部、１０３…３Ｄ画像生成部、１０４…仮想空間画像生成部、１０５…コンテンツ生成部、４３２…視線センサ、１０３０…撮像画像取得部、１０３２…３Ｄモデル生成部、１０３４…注目部分決定部、１０３６…圧縮部、１０３８…レンダリング部、Ａ…映像コンテンツ、Ｂ…被写体、Ｃ４…視線情報、Ｇ１…第１撮像画像（撮像画像）、ＧＶ…３Ｄ画像（ボリュメトリックビデオを構成する画像）、Ｋ…注目部分、ＵＡ…ユーザ、ＶＳ…仮想空間。

Claims (6)

1. 被写体を撮像することによって得られる１又は複数の撮像画像を取得する撮像画像取得部と、
   前記１又は複数の撮像画像に基づいて、前記被写体の３Ｄモデルを生成する３Ｄモデル生成部と、
   前記被写体における注目部分を決定する注目部分決定部と、
   前記３Ｄモデルに対し、前記注目部分に対応する部分以外を圧縮する圧縮部と、
   前記圧縮部によって圧縮された３Ｄモデルに基づいて、ボリュメトリックビデオを構成する画像を生成するレンダリング部と、
   を備える、画像生成装置。
2. 前記被写体が互いに独立した複数の物体を含み、
   前記注目部分決定部は、
   前記複数の物体の中から１以上の物体を前記注目部分に決定する
   請求項１に記載の画像生成装置。
3. 前記注目部分決定部は、
   前記ボリュメトリックビデオの画像を視た１又は複数のユーザの視線に基づいて、前記注目部分を決定する
   請求項１に記載の画像生成装置。
4. 前記注目部分決定部は、
   前記被写体の中の予め指定された部分を前記注目部分に決定する
   請求項１に記載の画像生成装置。
5. 前記レンダリング部は、
   前記ボリュメトリックビデオの画像を視るユーザの動きに応じた方向に基づいて、前記ボリュメトリックビデオを構成する画像を生成する
   請求項１に記載の画像生成装置。
6. 仮想空間の画像を生成する仮想空間画像生成部と、
   前記ボリュメトリックビデオを構成する画像を、前記仮想空間の画像に重畳した画像を含むコンテンツを生成するコンテンツ生成部と、
   を備える請求項１に記載の画像生成装置。

Images