JP7414483B2 - ３次元モデルデータ変換装置及びプログラム - Google Patents

Description

本発明は、ＡＲ（Augmented Reality：拡張現実）、ＶＲ（Virtual Reality：仮想現実）等に用いる３次元コンテンツのモデルデータを変換することで、データ量を削減する３次元モデルデータ変換装置及びプログラムに関する。

近年、ＡＲ、ＶＲ等の３次元コンテンツ技術の普及が進んでいる。ＡＲ及びＶＲでは、コンテンツデータとして、３次元モデルデータを取り扱う。

３次元モデルデータは、一般に、３次元オブジェクトの形状を近似表現する３角形または４角形からなる多面体の頂点及び面の集合であるジオメトリによって記述される。尚、４角形は必ず２つの３角形に分解できることから、３角形によるジオメトリの定義がより一般的である。ジオメトリは主に、３次元モデルデータの各頂点について、３次元座標（ＸＹＺ座標）、法線ベクトル、及び、テクスチャのマッピングに使用する２次元座標（ＵＶ座標）が記述される。ジオメトリでは、これらに加えて、各面について面を構成する頂点の番号のセットが記述され、多面体のメッシュ構造が定義される。ジオメトリの記録フォーマットの例としては、ＯＢＪ形式（例えば非特許文献１を参照）、Ａｌｅｍｂｉｃ形式（例えば非特許文献２を参照）、ｇｌＴＦ２．０形式（例えば非特許文献３を参照）がある。

テクスチャは、ジオメトリの多面体の各面に対応する部分テクスチャを２次元の矩形領域内にマッピングした、ジオメトリの各面の柄を定める矩形画像であり、静止画符号化技術または映像符号化技術により符号化される。３次元モデルデータをレンダリングする際には、ジオメトリの各面について、その面を構成する各頂点が保持するＵＶ座標に従ってテクスチャから部分テクスチャを切り出し、面の柄として貼り付ける。

時系列の静止画フレームのシーケンスを連続再生することにより、動画として再生される。これと同様に、時系列の３次元モデルデータのシーケンスを連続再生し、例えば被写体の３次元の動きをＡＲまたはＶＲにて空間的に提示することにより、視聴者は、被写体を自由な視点から見ることができる。このような３次元モデルデータの時系列シーケンスを、３次元ビデオまたはボリューメトリックビデオと呼ぶことがある。

一般に、３次元ビデオを構成する各フレームの３次元モデルデータは、プロダクションの段階では高解像度・大容量のデータ（高解像度ジオメトリ及び高解像度テクスチャ）である。一方、コンテンツの視聴者向けに伝送及び配信（伝送・配信）する段階では、コンテンツを視聴する端末で受信可能なファイルサイズ及び伝送路の伝送容量の制限により、データ量を削減したデータ（低解像度ジオメトリ及び低解像度テクスチャ）への変換が必要となる。また、サービス環境において、受信端末の性能やコンテンツの伝送路品質が均一ではない場合には、さまざまな処理性能や伝送路品質に適したデータサイズに変換した複数パターンのコンテンツデータを用意する必要も想定される。

高解像度ジオメトリ及び高解像度テクスチャから低解像度ジオメトリ及び低解像度テクスチャへの変換においては、映像・音声等の符号化処理と同様に、主観的な視覚品質を保ちつつデータ量を削減することが課題となる。３次元モデルデータのデータ量を削減するために、ジオメトリに関しては頂点の間引き、及びテクスチャに関しては解像度の縮小が行われる。ジオメトリにおいては、頂点数の削減により、結果として面の数も削減される。

ジオメトリの頂点の間引きによりデータ量を削減する一般的な手法としては、オブジェクト形状の特徴を用いることなく、全領域において一様の比率で頂点数の削減を行うものがある。例えば、単位体積あたりの頂点数を制限して頂点の間引きを行う。他の手法としては、高解像度ジオメトリにおける周波数的な特徴を利用して、エッジ部分等の高周波成分の多い領域について頂点削減の比率を低めに設定することで、低解像度ジオメトリのディテールを残すように制御を行うものもある。

ジオメトリの各面に対応する部分テクスチャのテクスチャへの配置（マッピング）の状態は、ジオメトリの各頂点に関連付けられるＵＶ座標によって定義されることから、ＵＶマップとも呼ばれる。ジオメトリとＵＶマップの関係は多面体と展開図の関係に近いが、あくまで頂点と頂点の対応であり、多面体の展開図とは異なり各面の形状（３角形の各頂点の内角の角度及び各辺の長さ）はマッピングによって変形され得る。一般に、複雑なジオメトリのＵＶマップを作成する場合、全ての面を単一の集合（面と面が辺を共有して連結した集合）に展開することは難しく、それぞれ独立した複数の集合としてマッピングされる。これらの面の集合は、テクスチャの中に浮かぶ島の様に見えることから、ＵＶアイランドと呼ばれることがある。一般に、テクスチャ上には１または複数のＵＶアイランドが配置される。

テクスチャの解像度の縮小を行う手法としては、単純な画像縮小処理により、テクスチャの全領域の解像度を一様に削減することが簡単である。しかし、この場合には、ジオメトリの頂点削減において、ＵＶアイランドの境界線上の頂点を維持する制約が必要である。一方、ジオメトリの頂点削減において、ＵＶアイランドの境界線上の頂点を維持する制約を設けない場合には、テクスチャの解像度を変更しない場合であってもＵＶマップの再構成（再マッピング）が必要である。テクスチャの解像度の縮小を行う場合、ＵＶマップの再構成をするかしないかによらず、ジオメトリの各面に対応する部分テクスチャの解像度の削減比率は一様であることが一般的である。尚、一般にＵＶ座標の値は、例えばテクスチャの左下を（０，０）、テクスチャの右上を（１，１）のように正規化された値で記述されるため、ＵＶマップの変更を伴わない単純な画像縮小においては、ジオメトリの頂点に関連付けられるＵＶ座標の変更は不要である。

また、３次元モデルデータのデータ量を削減する手法ではないが、２次元データのデータ量を削減する手法において、その画像の品質を損ねることなく、適切な処理サイズに削減する手法が提案されている（例えば特許文献１を参照）。

この手法は、2次元データの動画像に対して画像解析を行い、視聴者が注視する可能性の少ない非注視領域を設定し、非注視領域に対して画素の列または行の間引き等を行い、所定サイズに縮小するものである。

特許第５６９０１６３号公報

"Object Files (.obj)"、［online］、the University of Utah、［令和１年７月１９日検索］、インターネット＜ＵＲＬ：http://www.cs.utah.edu/～boulos/cs3505/obj_spec.pdf＞ "Alembic"、［online］、［令和１年７月１９日検索］、インターネット＜ＵＲＬ：http://www.alembic.io/＞ "glTF2.0"、［online］、［令和１年９月２５日検索］、インターネット＜ＵＲＬ：https://github.com/KhronosGroup/glTF/tree/master/specification/2.0/＞

前述のとおり、３次元モデルデータは、プロダクションの段階から伝送・配信の段階へ移行するにあたり、ジオメトリの頂点の間引き、及びテクスチャの解像度の縮小が行われる。

しかしながら、３次元モデルデータのデータ量を削減することにより、コンテンツの視覚品質が低下してしまう。

また、前述のとおり、高解像度ジオメトリにおいて、エッジ部分等の高周波成分の多い領域について頂点削減の比率を低く設定することで、低解像度ジオメトリのディテールを残すように制御を行う手法がある。つまり、空間周波数が低い滑らかな形状ほど高い比率で頂点を削減し、空間周波数が高い凹凸のある形状ほど低い比率で頂点を削減する。人物の顔を例にすると、頬、額等の滑らかな曲面の部位は比較的高い比率で頂点を削減してもディテールが失われ難いが、目、鼻、耳等の凹凸のある部位の頂点を同じように高い比率で削減してしまうと細部の形状が潰れてディテールが失われてしまう。

しかしながら、これと同種の手法では、コンテンツの主観品質の保持の観点で、必要のない領域の頂点について間引きを抑制する可能性があり、視覚品質に対して必ずしも効果的なデータ削減とならない場合がある。例えば、視点の異なる複数カメラから実写画像を撮影し、この実写画像を元に３次元モデルデータを生成するフォトグラメトリによって制作された３次元モデルデータでは、ノイズの発生が避けられない。一般に、フォトグラメトリによるノイズに起因するジオメトリには高周波成分が多く含まれており、高周波成分を維持するデータ削減手法ではノイズ成分が保持されてしまい、視覚品質に対して不利な結果となり得る。

このように、３次元モデルデータのデータ量を削減するための従来の手法では、主観的な視覚品質が低下してしまうという問題があった。また、前述の特許文献１の手法は、画像の品質の低下を抑えるものであるが、２次元データを対象としており、３次元モデルデータにそのまま適用することができない。

そこで、本発明は前記課題を解決するためになされたものであり、その目的は、主観的な視覚品質が低下しないように、３次元モデルデータのデータ量を削減可能な３次元モデルデータ変換装置及びプログラムを提供することにある。

前記課題を解決するために、請求項１の３次元モデルデータ変換装置は、３次元コンテンツの高解像度のモデルデータを低解像度のモデルデータに変換する３次元モデルデータ変換装置において、前記高解像度のモデルデータを構成するジオメトリ及びテクスチャを、それぞれ高解像度ジオメトリ及び高解像度テクスチャとして、各頂点の情報からなる前記高解像度ジオメトリ、及び当該高解像度ジオメトリの前記頂点から構成される各面に対応する部分テクスチャをＵＶ座標により矩形画像へマッピングした前記高解像度テクスチャを、複数角度の視点からレンダリングし、複数の２次元画像を生成するレンダラと、前記レンダラにより生成された前記複数の２次元画像のそれぞれについて、所定の特徴を有する２次元注目領域を検出し、前記複数の２次元画像の前記２次元注目領域を、前記高解像度ジオメトリの３次元注目領域に変換する注目領域検出部と、前記高解像度ジオメトリにおける全体の前記頂点の削減比率に対して、前記注目領域検出部により変換された前記３次元注目領域の前記頂点の削減比率が抑制されるように、前記高解像度ジオメトリにおける前記３次元注目領域の前記頂点を削減すると共に、前記高解像度ジオメトリにおける前記３次元注目領域を除く領域の前記頂点を削減し、前記高解像度ジオメトリを、前記低解像度のモデルデータを構成する低解像度ジオメトリに変換するジオメトリ変換部と、前記高解像度テクスチャにおける全体の縮小率に対して、前記注目領域検出部により変換された前記３次元注目領域に対応する前記高解像度テクスチャのテクスチャ注目領域の部分テクスチャの縮小率が抑制されるように、前記高解像度テクスチャにおける前記テクスチャ注目領域の部分テクスチャの解像度を削減すると共に、前記高解像度テクスチャにおける前記テクスチャ注目領域を除く領域の部分テクスチャの解像度を削減し、前記高解像度テクスチャを、前記低解像度のモデルデータを構成する低解像度テクスチャに変換し、前記ジオメトリ変換部により変換された前記低解像度ジオメトリに含まれる前記頂点の前記ＵＶ座標を変更し、新たな前記低解像度ジオメトリを生成するテクスチャ変換部と、を備えたことを特徴とする。

また、請求項２の３次元モデルデータ変換装置は、３次元コンテンツの高解像度のモデルデータを低解像度のモデルデータに変換する３次元モデルデータ変換装置において、前記高解像度のモデルデータを構成するジオメトリ及びテクスチャを、それぞれ高解像度ジオメトリ及び高解像度テクスチャとして、各頂点の情報からなる前記高解像度ジオメトリ、及び当該高解像度ジオメトリの前記頂点から構成される各面に対応する部分テクスチャをＵＶ座標により矩形画像へマッピングした前記高解像度テクスチャを、複数角度の視点からレンダリングし、複数の２次元画像を生成するレンダラと、前記レンダラにより生成された前記複数の２次元画像のそれぞれについて、所定の特徴を有する２次元注目領域を検出し、前記複数の２次元画像の前記２次元注目領域を、前記高解像度ジオメトリの３次元注目領域に変換する注目領域検出部と、前記高解像度ジオメトリにおける全体の前記頂点の削減比率に対して、前記注目領域検出部により変換された前記３次元注目領域の前記頂点の削減比率が抑制されるように、前記高解像度ジオメトリにおける前記３次元注目領域の前記頂点を削減すると共に、前記高解像度ジオメトリにおける前記３次元注目領域を除く領域の前記頂点を削減し、前記高解像度ジオメトリを、前記低解像度のモデルデータを構成する低解像度ジオメトリに変換するジオメトリ変換部と、前記ジオメトリ変換部により変換された前記低解像度ジオメトリからその各面に対応する前記部分テクスチャを抽出し、前記部分テクスチャを前記矩形画像に再マッピングし、前記高解像度テクスチャと同じ解像度のテクスチャを、前記低解像度のモデルデータを構成する低解像度テクスチャとして生成するテクスチャ変換部と、を備えたことを特徴とする。

また、請求項３の３次元モデルデータ変換装置は、請求項１に記載の３次元モデルデータ変換装置において、前記低解像度のモデルデータが伝送される際の実際に伝送可能な単位時間あたりの最大のデータ量を実効伝送容量Ｒとし、前記低解像度ジオメトリの単位時間あたりのデータ量をデータ量Ｇ_oとし、前記低解像度テクスチャの単位時間あたりのデータ量をデータ量Ｔ_oとし、前記高解像度テクスチャの単位時間あたりのデータ量をデータ量Ｔ_iとし、前記３次元注目領域の前記頂点を削減する比率を削減比率αとし、前記高解像度ジオメトリにおける前記３次元注目領域を除く前記領域の前記頂点を削減する比率を削減比率βとし、前記テクスチャ注目領域の前記部分テクスチャの前記解像度を削減する比率を削減比率γとし、前記高解像度テクスチャにおける前記テクスチャ注目領域を除く前記領域の前記部分テクスチャの前記解像度を削減する比率を削減比率δとして、さらに、前記低解像度ジオメトリの前記データ量Ｇ_oに前記低解像度テクスチャの前記データ量Ｔ_oを加算した結果（Ｇ_o＋Ｔ_o）が前記実効伝送容量Ｒ以下となり、かつ前記削減比率αが前記削減比率βよりも小さくなるように、前記削減比率α及び前記削減比率βを決定し、前記高解像度テクスチャの前記データ量Ｔ_i及び前記低解像度テクスチャの前記データ量Ｔ_oにおける比率Ｔ_o／Ｔ_iを算出し、１から前記比率Ｔ_o／Ｔ_iを減算し、前記削減比率δを決定し、前記削減比率γが前記削減比率δよりも小さくなるように、予め設定された係数ａ（０≦ａ＜１）を前記削減比率δに乗算し、前記削減比率γを決定する削減比率決定部を備え、前記ジオメトリ変換部が、前記削減比率決定部により決定された前記削減比率αを用いて、前記高解像度ジオメトリにおける前記３次元注目領域の前記頂点を削減すると共に、前記削減比率決定部により決定された前記削減比率βを用いて、前記高解像度ジオメトリにおける前記３次元注目領域を除く前記領域の前記頂点を削減し、前記高解像度ジオメトリを前記低解像度ジオメトリに変換し、前記テクスチャ変換部が、前記削減比率決定部により決定された前記削減比率γを用いて、前記高解像度テクスチャにおける前記テクスチャ注目領域の前記部分テクスチャの前記解像度を削減すると共に、前記削減比率決定部により決定された前記削減比率δを用いて、前記高解像度テクスチャにおける前記テクスチャ注目領域を除く前記領域の前記部分テクスチャの前記解像度を削減し、前記高解像度テクスチャを前記低解像度テクスチャに変換する、ことを特徴とする。

また、請求項４の３次元モデルデータ変換装置は、３次元コンテンツの高解像度のモデルデータを低解像度のモデルデータに変換する３次元モデルデータ変換装置において、前記高解像度のモデルデータを構成するジオメトリ及びテクスチャを、それぞれ高解像度ジオメトリ及び高解像度テクスチャとして、各頂点の情報からなる前記高解像度ジオメトリ、及び当該高解像度ジオメトリの前記頂点から構成される各面に対応する部分テクスチャをマッピングした前記高解像度テクスチャを、複数角度の視点からレンダリングし、複数の２次元画像を生成するレンダラと、前記レンダラにより生成された前記複数の２次元画像のそれぞれについて、所定の特徴を有する２次元注目領域を検出し、前記複数の２次元画像の前記２次元注目領域を、前記高解像度ジオメトリの３次元注目領域に変換する注目領域検出部と、前記高解像度ジオメトリにおける全体の前記頂点の削減比率に対して、前記注目領域検出部により変換された前記３次元注目領域の前記頂点の削減比率が抑制されるように、前記高解像度ジオメトリにおける前記３次元注目領域の前記頂点を削減すると共に、前記高解像度ジオメトリにおける前記３次元注目領域を除く領域の前記頂点を削減し、前記高解像度ジオメトリを、前記低解像度のモデルデータを構成する低解像度ジオメトリに変換するジオメトリ変換部と、を備えたことを特徴とする。

また、請求項５の３次元モデルデータ変換装置は、請求項４に記載の３次元モデルデータ変換装置において、前記低解像度のモデルデータが伝送される際の実際に伝送可能な単位時間あたりの最大のデータ量を実効伝送容量Ｒとし、前記低解像度ジオメトリの単位時間あたりのデータ量をデータ量Ｇ_oとし、前記３次元注目領域の前記頂点を削減する比率を削減比率αとし、前記高解像度ジオメトリにおける前記３次元注目領域を除く前記領域の前記頂点を削減する比率を削減比率βとして、さらに、前記低解像度ジオメトリの前記データ量Ｇ _o が前記実効伝送容量Ｒ以下となり、かつ前記削減比率αが前記削減比率βよりも小さくなるように、前記削減比率α及び前記削減比率βを決定する削減比率決定部を備え、前記ジオメトリ変換部が、前記削減比率決定部により決定された前記削減比率αを用いて、前記高解像度ジオメトリにおける前記３次元注目領域の前記頂点を削減すると共に、前記削減比率決定部により決定された前記削減比率βを用いて、前記高解像度ジオメトリにおける前記３次元注目領域を除く前記領域の前記頂点を削減し、前記高解像度ジオメトリを前記低解像度ジオメトリに変換する、ことを特徴とする。

また、請求項６の３次元モデルデータ変換装置は、請求項３に記載の３次元モデルデータ変換装置において、前記削減比率決定部が、前記削減比率α及び前記削減比率βを決定する際に、前記高解像度ジオメトリの単位時間あたりのデータ量をデータ量Ｇ_iとし、前記高解像度ジオメトリの全体の頂点群に占める前記３次元注目領域に属する頂点群の比率を頂点群比率ｒとして、式：β≧１－（Ｒ－Ｔ_o－Ｇ_iｒ（１－α））／Ｇ_i（１－ｒ）を満たすように、かつ前記削減比率βが前記削減比率αよりも大きくなるように、前記削減比率α、または前記低解像度テクスチャの前記データ量Ｔ_o、または前記削減比率α及び前記低解像度テクスチャの前記データ量Ｔ_oを変化させて、前記削減比率βを求めることで、前記削減比率α及び前記削減比率βを決定する、ことを特徴とする。

また、請求項７の３次元モデルデータ変換装置は、請求項１から６までのいずれか一項に記載の３次元モデルデータ変換装置において、前記注目領域検出部が、前記複数の２次元画像のそれぞれについて、予め設定された特徴学習モデルを用いて、前記２次元注目領域、及び当該２次元注目領域における前記所定の特徴を有する度合いを示すスコアを求め、所定の閾値以上の前記スコアを有する前記２次元注目領域を、複数角度の視点との空間的位置関係から前記３次元注目領域に変換する、ことを特徴とする。

また、請求項８の３次元モデルデータ変換装置は、３次元コンテンツの高解像度のモデルデータを低解像度のモデルデータに変換する３次元モデルデータ変換装置において、前記高解像度のモデルデータを構成するジオメトリを高解像度ジオメトリとして、各頂点の情報にカラー情報を含む前記高解像度ジオメトリを、複数角度の視点からレンダリングし、複数の２次元画像を生成するレンダラと、前記レンダラにより生成された前記複数の２次元画像のそれぞれについて、所定の特徴を有する２次元注目領域を検出し、前記複数の２次元画像の前記２次元注目領域を、前記高解像度ジオメトリの３次元注目領域に変換する注目領域検出部と、前記高解像度ジオメトリにおける全体の前記頂点の削減比率に対して、前記注目領域検出部により変換された前記３次元注目領域の前記頂点の削減比率が抑制されるように、前記高解像度ジオメトリにおける前記３次元注目領域の前記頂点を削減すると共に、前記高解像度ジオメトリにおける前記３次元注目領域を除く領域の前記頂点を削減し、前記高解像度ジオメトリを、前記低解像度のモデルデータを構成する低解像度ジオメトリに変換するジオメトリ変換部と、を備えたことを特徴とする。

さらに、請求項９のプログラムは、コンピュータを、請求項１から８までのいずれか一項に記載の３次元モデルデータ変換装置として機能させることを特徴とする。

以上のように、本発明によれば、主観的な視覚品質が低下しないように、３次元モデルデータのデータ量を削減することができる。

３次元映像伝送システムの全体構成例を示す概略図である。 本発明の実施形態による３次元モデルデータ変換部の構成例を示すブロック図である。 人物の３次元モデルデータにおいて、レンダラにより生成された２次元画像群の例、及び注目領域検出部により検出された２次元注目領域の例を説明する図である。 注目領域検出部の処理例を示すフローチャートである。 （１）は、高解像度ジオメトリの例を示す図であり、（２）は、従来技術による低解像度ジオメトリの例を示す図であり、（３）は、本発明の実施形態による低解像度ジオメトリの例を示す図である。 （１）は、高解像度テクスチャの例を示す図であり、（２）は、従来技術による低解像度テクスチャの例を示す図であり、（３）は、本発明の実施形態による低解像度テクスチャの例を示す図である。 削減比率決定部による削減比率α，βの決定処理例を示すフローチャートである。 削減比率決定部による削減比率γ，δの決定処理例を示すフローチャートである。 本発明の他の第１実施形態による３次元モデルデータ変換部の構成例を示すブロック図である。 本発明の他の第２実施形態による３次元モデルデータ変換部の構成例を示すブロック図である。

以下、本発明を実施するための形態について図面を用いて詳細に説明する。
〔３次元映像伝送システム〕
まず、３次元映像伝送システムについて説明する。図１は、３次元映像伝送システムの全体構成例を示す概略図である。この３次元映像伝送システム１は、人物等の被写体から３次元モデルデータを制作し、制作された３次元コンテンツの高解像度のモデルデータを低解像度のモデルデータに変換して視聴者の端末へ伝送するシステムであり、制作処理装置９、送信処理装置３及び受信端末７を備えて構成される。

制作処理装置９は、複数のカメラ２及び３次元モデルデータ生成部４を備えている。送信処理装置３は、３次元モデルデータ変換部（３次元モデルデータ変換装置）５及び配信装置６を備えている。伝送路８が配信装置６から受信端末７への片方向の通路である場合、受信端末７は、配信装置６から送信されたデータを、伝送路８を介して受信する。また、伝送路８が配信装置６と受信端末７との間における両方向の通路である場合、受信端末７は、配信装置６から送信されたデータを、伝送路８を介して受信し、配信装置６は、受信端末７から送信されたデータを、伝送路８を介して受信する。

図１に示す３次元映像伝送システム１は、人物の３次元モデルデータの制作から受信までの全体の処理ブロック図を示している。

３次元モデルデータ生成部４は、複数のカメラ２のそれぞれにより撮影された人物の２次元の画像データを入力する。そして、３次元モデルデータ生成部４は、複数の２次元の画像データに基づいて、高解像度のモデルデータを構成する高解像度ジオメトリ及び高解像度テクスチャからなるコンテンツデータを生成する。このように実写画像から３次元モデルデータを生成する処理は、一般にフォトグラメトリと呼ばれる。

具体的には、３次元モデルデータ生成部４は、複数の２次元の画像データに基づいて、３次元モデルデータの各頂点についての３次元座標（ＸＹＺ座標）及び法線ベクトル等からなる、ＵＶ座標を含まないジオメトリを生成する。そして、３次元モデルデータ生成部４は、ＵＶ座標を含まないジオメトリから３角形の各面に対応する部分テクスチャを抽出し、部分テクスチャをＵＶ座標により矩形画像へマッピングする。３次元モデルデータ生成部４は、ＵＶ座標を含むジオメトリである高解像度ジオメトリ、及び高解像度テクスチャからなるコンテンツデータを生成する。

３次元モデルデータ生成部４は、高解像度ジオメトリ及び高解像度テクスチャからなるコンテンツデータを、プロダクション過程（制作過程）の出力データとして３次元モデルデータ変換部５に出力する。３次元モデルデータ生成部４と３次元モデルデータ変換部５との間の３次元モデルデータの受け渡しは、図示しない記録装置または伝送装置を介して行われるようにしてもよい。

一般に、プロダクション過程の出力データであるコンテンツデータは、主観的及び定量的にできる限り高い品質を保持したデータとして生成される。３次元モデルデータ生成部４は、前述のとおり、コンテンツデータを生成するプロダクション過程の装置である。後段の配信装置６及び受信端末７は、コンテンツデータを配信装置６から伝送路８を介して受信端末７へ届けるデリバリー過程（伝送・配信過程）の装置である。

ここで、伝送路８には、使用されている伝送方式及びパラメータによる理論的な上限帯域があり、さらに、当該伝送路８の品質または輻輳状態により実用可能な帯域に制約が生じる。実用可能な伝送帯域に応じて、コンテンツデータのデータサイズを調整するためには、高解像度ジオメトリ及び高解像度テクスチャを、伝送に適したデータ量の低解像度ジオメトリ及び低解像度テクスチャに変換する必要がある。本発明の実施形態では、このような変換を行うことで、主観的な視覚品質をできるだけ保ちながら、定量的なデータ量を削減する。

３次元モデルデータ変換部５は、３次元モデルデータ生成部４から高解像度ジオメトリ及び高解像度テクスチャを入力すると共に、配信装置６から実効伝送帯域情報を入力し、さらに、図示しない学習装置からニューラルネットワーク等の特徴学習モデルのデータを入力する。実効伝送帯域情報は、伝送路８においてデータを伝送可能な帯域を示す情報である。特徴学習モデルは、図示しない学習装置により生成され、予め設定されたデータとして入力される。例えば、人物の顔領域を検出するための特徴学習モデルは、事前に教師データとして様々な人物の顔写真と、顔写真ではない写真を、正解ラベルを付けてニューラルネットワーク等に読み込ませることによって訓練された学習モデルである。

３次元モデルデータ変換部５は、特徴学習モデルを用いて、高解像度ジオメトリ及び高解像度テクスチャにおける３次元モデルデータの注目領域を特定する。そして、３次元モデルデータ変換部５は、高解像度ジオメトリのデータ量及び高解像度テクスチャのデータ量が実効伝送帯域情報の示す帯域の容量以下に減少するように、注目領域及び注目領域外（高解像度ジオメトリの全領域のうち注目領域を除く領域）のそれぞれについて、高解像度のモデルデータを構成する高解像度ジオメトリ及び高解像度テクスチャを、低解像度のモデルデータを構成する低解像度ジオメトリ及び低解像度テクスチャに変換する。

３次元モデルデータ変換部５は、低解像度ジオメトリ及び低解像度テクスチャを配信装置６に出力する。３次元モデルデータ変換部５の詳細については後述する。

配信装置６は、３次元モデルデータ変換部５から低解像度ジオメトリ及び低解像度テクスチャを入力し、これらのデータを伝送用のパケット等に格納して、伝送路８を介して受信端末７へ送信する。例えば、配信装置６は、低解像度ジオメトリ及び低解像度テクスチャをＩＰ（Internet Protocol）パケットに格納し、ＩＰパケットを、インターネット回線を介して送信する。

また、配信装置６は、例えば図示しない伝送路監視装置から実効伝送帯域情報を入力し、これを３次元モデルデータ変換部５に出力する。図示しない伝送路監視装置は、テストデータを送受信する等して、伝送路８の帯域を監視し、配信装置６から受信端末７へデータが伝送される際の伝送可能な帯域を測定する。伝送路監視装置は、例えば、配信装置６から受信端末７へデータが伝送される際の実際に伝送可能な単位時間あたりの最大のデータ量を実効伝送容量Ｒとして測定し、これを含む実効伝送帯域情報を生成し、実効伝送帯域情報を配信装置６へ出力する。

尚、伝送路８が配信装置６と受信端末７との間における一対一の両方向の通路である場合、配信装置６は、受信端末７から受信状況に関する情報（例えば、パケットの正受信率、ジッタの程度を表すデータ）を受信するようにしてもよい。この場合、配信装置６は、受信状況に関する情報に基づいて、単位時間あたりの実効伝送容量Ｒを算出し、これを含む実効伝送帯域情報を生成する。

また、配信装置６が常に一定のビットレートで伝送路８に対してデータを送信する装置である場合には、配信装置６に実効伝送容量Ｒが予め設定されている場合もあり得る。この場合、配信装置６は、予め設定された一定値の実効伝送容量Ｒを含む実効伝送帯域情報を３次元モデルデータ変換部５に出力する。例えば、放送用の送信装置がこのような場合に該当する。

また、配信装置６は、当該配信装置６に備えた出力バッファの残量を反映させた動的な実効伝送容量Ｒを求め、これを含む実効伝送帯域情報を出力するようにしてもよい。つまり、配信装置６は、出力バッファに余裕がある場合には実効伝送容量Ｒを大きな値に設定し、出力バッファに余裕がない場合には実効伝送容量Ｒを小さな値に設定し、実効伝送帯域情報を出力する。このような制御により、配信装置６に備えた出力バッファのオーバーフローを防ぐと共に、伝送帯域の空きを削減し伝送効率を向上することができる。

受信端末７は、配信装置６から伝送路８を介して低解像度ジオメトリ及び低解像度テクスチャを受信する。そして、受信端末７は、時系列の低解像度ジオメトリ及び低解像度テクスチャを連続再生し、被写体である人物等の３次元の動きをＡＲまたはＶＲにて空間的に提示する。これにより、視聴者は、被写体である人物等を自由な視点から見ることができる。

尚、３次元モデルデータ変換部５と配信装置６の間には、図示しないデータ圧縮装置が存在してもよい。データ圧縮装置は、例えばジオメトリの量子化処理、テクスチャの不可逆圧縮処理等の既知の手法によるデータサイズの削減を行う。ジオメトリの量子化の例として、３２ビット浮動小数点データから１６ビット浮動小数点への量子化等、ジオメトリの不可逆圧縮の例として、ＪＰＥＧ形式での圧縮符号化等が挙げられる。このような場合には、伝送路８の実際の実効伝送容量に対してデータ圧縮装置による削減率を加味した値を実効伝送容量Ｒとし、配信装置６が３次元モデルデータ変換部５に出力してもよい。例えば、伝送路８の実際の実効伝送容量が１００Ｍｂｐｓである場合、データ圧縮装置による圧縮率が１／２であれば、実効伝送容量Ｒ＝２００Ｍｂｐｓとなる。

〔３次元モデルデータ変換部５〕
次に、図１に示した３次元モデルデータ変換部５について詳細に説明する。図２は、本発明の実施形態による３次元モデルデータ変換部５の構成例を示すブロック図である。この３次元モデルデータ変換部５は、レンダラ１０、注目領域検出部１１、ジオメトリ変換部１２、テクスチャ変換部１３、データ量計測部１４及び削減比率決定部１５を備えている。

（レンダラ１０）
レンダラ１０は、３次元モデルデータ生成部４から高解像度ジオメトリ及び高解像度テクスチャを入力する。そして、レンダラ１０は、高解像度ジオメトリ及び高解像度テクスチャを用いて、全周囲の複数角度の視点からレンダリングし、複数の２次元画像を生成する。高解像度ジオメトリ及び高解像度テクスチャを用いてレンダリングし、２次元画像を生成する処理は既知であるため、ここでは説明を省略する。レンダラ１０は、生成した複数の２次元画像である２次元画像群を注目領域検出部１１に出力する。

高解像度ジオメトリは、前述のとおり、３次元モデルデータの各頂点について、３次元座標（ＸＹＺ座標）、法線ベクトル、テクスチャのマッピングに使用する２次元座標（ＵＶ座標）等が記述されている。後述する低解像度ジオメトリも同様である。

高解像度テクスチャは、前述のとおり、高解像度ジオメトリの多面体の各面に対応する部分テクスチャを２次元の矩形領域内にマッピングした、高解像度ジオメトリの各面の柄を定める矩形画像である。後述する低解像度テクスチャも同様に、低解像度ジオメトリの多面体の各面に対応する部分テクスチャを２次元の矩形領域内にマッピングした、低解像度ジオメトリの各面の柄を定める矩形画像である。

図３は、人物の３次元モデルデータにおいて、レンダラ１０により生成された２次元画像群の例、及び注目領域検出部１１により検出された２次元注目領域の例を説明する図である。図３に示す人物の２次元画像は、所定の高解像度ジオメトリ及び高解像度テクスチャに対し、被写体の重心の周りを取り囲む３０度毎の視点位置ｓ１，ｓ２，・・・，ｓ１２からレンダリングすることにより得られた１２個の画像群である。レンダリング手法としては、例えば、視点位置から被写体の重心方向を向く並行投影が使用される。

例えば視点位置ｓ１の２次元画像は、人物を後ろの所定位置からレンダリングすることにより得られた画像であり、視点位置ｓ７の２次元画像は、人物を正前の所定位置からレンダリングすることにより得られた画像である。このように、レンダラ１０により、図３に示す２次元画像群が生成される。尚、被写体の人物は動くため、注目領域が検出される視点は、時間方向の各フレームによって変化し得る。

（注目領域検出部１１）
図２に戻って、注目領域検出部１１は、事前に、図示しない学習装置から特徴学習モデルのデータを入力する。

図示しない学習装置は、２次元画像を入力データとし、所定の特徴との適合度合いを示すスコアを出力データとする学習モデルに対し、所定の特徴を有する複数の２次元画像と所定の特徴を有しない複数の２次元画像、及び各２次元画像が所定の特徴を有するかどうかを示す正解ラベルを教師データとして与えることで、学習モデルを訓練する装置である。学習装置は、訓練した学習モデルを特徴学習モデルのデータとして出力する。学習モデルとしては、例えばニューラルネットワークが用いられる。ニューラルネットワークによる特徴学習モデルのデータは、例えば、学習モデルのネットワーク構造を定義するデータと、各ネットワークノードの重み係数等を記述したデータからなる。

注目領域検出部１１は、特徴学習モデルを用いることにより、レンダリングされた２次元画像から、所定の特徴を有する２次元注目領域及びスコアを得る。スコアは、２次元注目領域の特徴度合いを示すデータであり、スコアが高いほど、当該２次元注目領域は所定の特徴を有している度合いが高いことを示し、スコアが低いほど、当該２次元注目領域は所定の特徴を有している度合いが低いことを示している。尚、特徴学習モデルが特定の解像度（例えば、教師データと同じ解像度）の２次元画像のみを入力とする場合には、注目領域検出部１１は、注目領域検出処理において、レンダリング画像の一部を特定の解像度に切り出してスコアを求める処理を繰り返すことで、２次元注目領域を探索してもよい。

特徴学習モデルは、コンテンツ（番組）及びシーン（カット）に合わせて事前に制作され、コンテンツに紐づいたメタデータ等によって関連付けられてもよい。この場合、学習モデル及びメタデータは、コンテンツの完成データの一部として扱ってもよい。また、代表的な特徴学習モデルは、注目領域検出部１１において汎用的なモデルとして事前に用意されていてもよい。この場合、特徴学習モデルはコンテンツの完成データの一部には含まれず、コンテンツのメタデータにより、汎用的な特徴学習モデルが指定される。

注目領域検出部１１は、与えられた特徴学習モデルを用いて、２次元画像群のそれぞれに対し注目領域検出処理を行い、最も注目部位らしい領域を、２次元画像の注目領域として検出する。そして、注目領域検出部１１は、２次元画像の注目領域である２次元注目領域を、高解像度ジオメトリの注目領域である３次元注目領域に変換し、３次元注目領域に関する情報を３次元注目領域情報としてジオメトリ変換部１２及び削減比率決定部１５に出力する。

図４は、注目領域検出部１１の処理例を示すフローチャートである。注目領域検出部１１は、制作者が意図する注目領域が変更されるコンテンツ先頭またはシーン先頭のタイミングで、図示しない学習装置から特徴学習モデルを入力する。この処理は、後述するステップＳ４０１～Ｓ４０５の事前処理として行われる。注目領域検出部１１は、レンダラ１０から、フレーム毎に２次元画像群を入力する（ステップＳ４０１）。

注目領域検出部１１は、特徴学習モデルを用いて、複数視点の２次元画像毎に、２次元注目領域及びスコアを求める（ステップＳ４０２）。具体的には、注目領域検出部１１は、特徴学習モデルを用いて、２次元画像を入力データとして演算を行い、２次元画像から特徴部分が抽出された２次元注目領域、及び当該２次元注目領域のスコアを求める。

注目領域検出部１１は、所定の閾値以上のスコアを有する２次元注目領域を検出する（ステップＳ４０３）。所定の閾値として、例えば予め設定された値が用いられる。

図３に示した例において、２次元注目領域を、人物の顔の特徴を有する領域とする。視点位置ｓ１の２次元画像における２次元注目領域（図示せず）及びそのスコアをＳｃ＝０とし、視点位置ｓ２の２次元画像における２次元注目領域（図示せず）及びそのスコアをＳｃ＝５とし、・・・、視点位置ｓ６の２次元画像における２次元注目領域（点線の四角の枠内）及びそのスコアをＳｃ＝５０とし、視点位置ｓ７の２次元画像における２次元注目領域（点線の四角の枠内）及びそのスコアをＳｃ＝９９とし、視点位置ｓ８の２次元画像における２次元注目領域（点線の四角の枠内）及びそのスコアをＳｃ＝５０とし、・・・、視点位置ｓ１２の２次元画像における２次元注目領域（図示せず）及びそのスコアをＳｃ＝５とする。

注目領域検出部１１により、視点位置ｓ１～ｓ１２の２次元画像のそれぞれについて、図３に示したスコアＳｃ及び２次元注目領域が求められる。尚、図３には、視点位置ｓ６～ｓ８の２次元画像における２次元注目領域が点線の四角の枠で示しており、視点位置ｓ１～ｓ５，ｓ９～ｓ１２の２次元画像における２次元注目領域は省略してある。

そして、注目領域検出部１１により、スコアＳｃが所定の閾値＝５０以上の２次元注目領域が検出される。図３の例では、点線の四角の枠で示した、視点位置ｓ６～ｓ８の２次元画像におけるそれぞれの２次元注目領域が検出される。

図４に戻って、注目領域検出部１１は、検出した２次元注目領域（図３の例では、視点位置ｓ６～ｓ８の２次元画像におけるそれぞれの２次元注目領域）を、３次元注目領域に変換する（ステップＳ４０４）。３次元注目領域は、高解像度ジオメトリにおいて、２次元注目領域が検出された複数の２次元画像とそれをレンダリングしたときの視点位置との間の空間的位置関係を用いて求められ、２次元注目領域に対応する頂点群を含む領域を示す。

具体的には、レンダラ１０において並行投影によるレンダリングが行われ、複数の２次元画像が生成された場合に、注目領域検出部１１は、２次元画像群の中で２次元注目領域が検出された各画像について、２次元注目領域の中心を通り、視点位置と被写体の重心とを結ぶ直線に平行な直線を、３次元空間内に配置する。並行投影によるレンダリングでは、２次元から３次元への変換において、このような直線は１つに特定することができる。

注目領域検出部１１は、この処理を、２次元注目領域が検出された視点位置ｓ６～ｓ８の２次元画像について繰り返すことで、これらの直線が３次元空間内のある点において交わる場合、その交点を求めるか、または完全に交わらない場合であっても、その近い位置で交点を求める。注目領域検出部１１は、この交点を、３次元注目領域の中心点に設定し、中心点からの半径を、２次元注目領域の大きさに基づいて決定する。

注目領域検出部１１は、ステップＳ４０４にて変換した３次元注目領域を示す情報を３次元注目領域情報（例えば、中心点の座標（中心座標）及び半径）としてジオメトリ変換部１２に出力する（ステップＳ４０５）。

尚、図３の例では、注目領域検出部１１は、人物の周りを３０度毎の視点位置ｓ１，ｓ２，・・・，ｓ１２からレンダリングして得られた１２個の２次元画像群を用いて、２次元注目領域を特定し、これを３次元注目領域に変換するようにした。

これに対し、注目領域検出部１１は、例えば１回目の試行で、スコアＳｃが所定値を超える最も顔らしい領域を１つの２次元画像のみから検出した場合、その視点を中心に、周辺角度で徐々に角度分解能を上げて同様の試行を行い、注目部位検出の精度を上げるようにしてもよい。また、注目領域検出部１１は、スコアＳｃが所定値を超える領域を全ての２次元画像から検出できなかった場合、最もスコアＳｃの高い領域を検出した２次元画像の視点を中心に、周辺角度で徐々に角度分解能を上げて同様の試行を行い、注目部位検出の精度を上げるようにしてもよい。

具体的には、レンダラ１０は、所定の視点位置におけるレンダリングにより、２次元画像を生成する。注目領域検出部１１は、レンダラ１０から２次元画像を入力し、当該２次元画像について、１つの視点の２次元画像のみから、２次元注目領域の要件である所定値（例えば５０）以上のスコアＳｃを得ることができたものとする。しかし、２次元注目領域を３次元注目領域に変換するためには、最低２つの視点の２次元画像における２次元注目領域を検出する必要がある。

この場合、注目領域検出部１１は、当該スコアＳｃの２次元注目領域を最も顔らしい領域として視点位置の角度を特定し、当該角度を中心角度としてレンダラ１０に出力する。レンダラ１０は、注目領域検出部１１から中心角度を入力し、中心角度を基準とした所定の周辺角度について角度分解能を上げて、レンダリングにより２次元画像群を生成する。そして、注目領域検出部１１は、レンダラ１０から２次元画像群を入力し、前述の処理を行い、複数の視点から２次元注目領域を特定し、これを３次元注目領域に変換する。

尚、所定回数だけ上記の試行を繰り返しても、２次元注目領域が２以上の視点の２次元画像から検出されなかった場合には、予め設定された２次元注目領域の要件である所定値に対応する３次元注目領域が存在しないと判断してよい。

（ジオメトリ変換部１２）
図２に戻って、ジオメトリ変換部１２は、３次元モデルデータ生成部４から高解像度ジオメトリを入力すると共に、注目領域検出部１１から３次元注目領域情報を入力する。また、ジオメトリ変換部１２は、削減比率決定部１５から注目領域（ここでは３次元注目領域）の削減比率α及び注目領域外（高解像度ジオメトリの全領域のうち注目領域を除く領域）の削減比率βを入力する。

ジオメトリ変換部１２は、高解像度ジオメトリの全体の頂点数削減の比率に対して、高解像度ジオメトリの全領域のうちの３次元注目領域情報の示す３次元注目領域の頂点数削減の比率が抑制されるように（３次元注目領域の頂点数削減の比率が全体よりも低くなるように）、３次元注目領域の頂点を削減比率αにて削減すると共に、３次元注目領域以外の領域の頂点を削減比率βにて削減し、高解像度ジオメトリを低解像度ジオメトリに変換する。

ここで、頂点数削減の比率は、頂点数を削減する度合いを示し、頂点数削減の比率を抑制するとは、頂点数を削減する度合いを低くする（さほど削減しない）ことを意味する。頂点数削減の比率は、後述する削減比率α，βに相当する。

ジオメトリ変換部１２は、低解像度ジオメトリをテクスチャ変換部１３に出力すると共に、配信装置６に出力する。また、ジオメトリ変換部１２は、注目領域検出部１１から入力した３次元注目領域情報をテクスチャ変換部１３に出力する。

低解像度ジオメトリは、高解像度ジオメトリと同様に、各頂点について、３次元座標（ＸＹＺ座標）、法線ベクトル、テクスチャのマッピングに使用する２次元座標（ＵＶ座標）、及び、各面について面を構成する頂点の番号のセットが記述された情報である。ここで、ジオメトリ変換部１２は、高解像度ジオメトリを低解像度ジオメトリに変換する際に、高解像度ジオメトリから所定の頂点が削減された低解像度ジオメトリの各面について、残存する面を構成する頂点の番号のセットを再構成する。例えば、隣接する４つの三角形の面が１つの頂点を共有しており、頂点数削減によりその共有した頂点が削除された場合、隣接する４つの三角形の面の数は２つに削減され、残存する２つの三角形の面についても、面を構成する頂点の番号のセットが変更される。

尚、ジオメトリ変換部１２は、高解像度ジオメトリの３次元注目領域の頂点を、削減比率αにて削減する際に、３次元注目領域内の全ての頂点を対象として、一様に（均一に）削減するようにしてもよい。また、ジオメトリ変換部１２は、３次元注目領域において、エッジ部分等の高周波成分の多い領域については削減比率をαよりも低くし、高周波成分の多い領域以外については削減比率をαよりも高くすることで、高解像度ジオメトリの３次元注目領域の頂点を、全体として削減比率αにて削減するようにしてもよい。これにより、さらに低解像度ジオメトリのディテールを残すことができる。ジオメトリ変換部１２が、高解像度ジオメトリの３次元注目領域以外の領域について、その頂点を削減比率βにて削減する場合も同様である。

図５（１）は、高解像度ジオメトリの例を示す図である。図５（２）は、従来技術による低解像度ジオメトリの例を示す図であり、高解像度ジオメトリに対して一様に頂点を削減した場合の例である。図５（３）は、本発明の実施形態による低解像度ジオメトリの例を示す図であり、高解像度ジオメトリに対して３次元注目領域の頂点数の削減比率を抑制した場合の例である。図５（１）は頂点のみを示しているが、図５（２）（３）は、頂点に加え、面を表すための頂点間の線も示している。

従来技術では、高解像度ジオメトリに対して一様に頂点が削減されることから、図５（２）のとおり、低解像度ジオメトリの頂点は、全体として一様に分布している。

これに対し、本発明の実施形態では、ジオメトリ変換部１２により、高解像度ジオメトリの全体の頂点数削減の比率に対して、３次元注目領域の頂点数削減の比率が抑制されるように、高解像度ジオメトリが低解像度ジオメトリに変換される。このため、図５（３）のとおり、低解像度ジオメトリにおける顔領域である３次元注目領域の頂点は、３次元注目領域外よりも高い密度で分布している。

（テクスチャ変換部１３）
図２に戻って、テクスチャ変換部１３は、３次元モデルデータ生成部４から高解像度ジオメトリ及び高解像度テクスチャを入力すると共に、ジオメトリ変換部１２から低解像度ジオメトリを入力し、さらに、ジオメトリ変換部１２から３次元注目領域情報を入力する。また、テクスチャ変換部１３は、削減比率決定部１５から注目領域（ここではテクスチャ注目領域）の削減比率γ及び注目領域外（高解像度テクスチャの全領域のうちテクスチャ注目領域を除く領域）の削減比率δを入力する。

テクスチャ変換部１３は、高解像度ジオメトリ（及び低解像度ジオメトリ）の注目領域である３次元注目領域を、高解像度テクスチャの注目領域であるテクスチャ注目領域に変換する。高解像度テクスチャの全領域のうちテクスチャ注目領域以外の領域（テクスチャ注目領域を除く領域）を、テクスチャ注目領域外とする。

具体的には、テクスチャ変換部１３は、高解像度ジオメトリの全領域のうち、３次元注目領域情報の示す３次元注目領域の頂点群を注目頂点群とし、それ以外の領域の頂点群を注目外頂点群とする。そして、テクスチャ変換部１３は、高解像度ジオメトリの注目頂点群についてそれぞれ関連付けられているＵＶの２次元座標の領域を、テクスチャ注目領域に設定する。すなわち、テクスチャ注目領域とは、注目頂点群に属する頂点により構成される面の各柄を決めている部分テクスチャの集合領域である。また、テクスチャ変換部１３は、注目外頂点群についてそれぞれ記述されているＵＶの２次元座標の領域を、テクスチャ注目領域外に設定する。

テクスチャ変換部１３は、高解像度テクスチャの全体の縮小率（解像度の削減度合い）に対して、高解像度テクスチャの全領域のうちのテクスチャ注目領域の部分テクスチャの縮小率が抑制されるように、テクスチャ注目領域の部分テクスチャを低解像テクスチャへマッピングする際の解像度を削減比率γにて削減すると共に、テクスチャ注目領域外の部分テクスチャの解像度を削減比率δにて削減する。これにより、テクスチャ注目領域及びテクスチャ注目領域外のそれぞれについて、縮小された部分テクスチャの集合が得られる。

ここで、縮小率が抑制されるとは、縮小する度合いを低くする（さほど縮小しない）ことを意味する。縮小率である解像度の削減度合いは、後述する削減比率γ，δに相当する。

そして、テクスチャ変換部１３は、解像度が削減されたテクスチャ注目領域の（縮小された）部分テクスチャ及びテクスチャ注目領域外の（縮小された）部分テクスチャについて、低解像度の矩形画像への再マッピングを行い、低解像度テクスチャを生成することで、高解像度テクスチャを低解像度テクスチャに変換する。この場合、テクスチャ変換部１３は、この再マッピングに伴い、ジオメトリ変換部１２から入力した低解像度ジオメトリに含まれる各頂点のＵＶ座標を、低解像度テクスチャに対応するように変更し、再マッピング後の低解像度ジオメトリを生成する。

テクスチャ変換部１３は、低解像度ジオメトリ（再マッピング後の低解像度ジオメトリ）及び低解像度テクスチャを配信装置６に出力する。

尚、テクスチャ変換部１３は、低解像度テクスチャへの再マッピングの際に、当該低解像度テクスチャの規定のサイズ（解像度）の矩形画像の中に、全ての部分テクスチャを収めることができない場合があり得る。この場合、テクスチャ変換部１３は、高解像度テクスチャよりも小さく、かつ低解像度テクスチャよりも大きいサイズの中間解像度の矩形画像に再マッピングし、当該中間解像度の矩形画像の全体を低解像度テクスチャの規定のサイズに縮小する。中間解像度の矩形画像から低解像度テクスチャへ変換する際の縮小率は、テクスチャ注目領域及びテクスチャ注目領域外を問わず一定とする（ＵＶマップは変更されない）。

図６（１）は、高解像度テクスチャの例を示す図である。図６（２）は、従来技術による低解像度テクスチャの例を示す図であり、高解像度テクスチャに対して一様に解像度を削減した場合の例である。図６（３）は、本発明の実施形態による低解像度テクスチャの例を示す図であり、高解像度テクスチャに対してテクスチャ注目領域の縮小率を抑制した場合の例である。

図６（１）～（３）のテクスチャの座標は、ＵＶ座標系で表される。このＵＶ座標は、高解像度ジオメトリ及び低解像度ジオメトリを構成する各面の部分テクスチャが矩形画像であるテクスチャにマッピングされた状態を示す２次元座標であり、ジオメトリの各頂点がＵＶ座標を保持する。

従来技術では、高解像度テクスチャに対して一様に解像度が削減されることから、図６（２）のとおり、低解像度テクスチャの解像度は、全体として同じである。

これに対し、本発明の実施形態では、テクスチャ変換部１３により、高解像度テクスチャの全体領域の縮小率に対して、テクスチャ注目領域の部分テクスチャの縮小率が抑制されるように、高解像度テクスチャが低解像度テクスチャに変換される。このため、図６（３）のとおり、低解像度テクスチャにおける顔領域であるテクスチャ注目領域の解像度は、テクスチャ注目領域外よりも高い。つまり、テクスチャ注目領域の縮小率は全体に対して抑制される。

（データ量計測部１４）
図２に戻って、データ量計測部１４は、３次元モデルデータ生成部４から高解像度ジオメトリ及び高解像度テクスチャを入力する。高解像度ジオメトリ及び高解像度テクスチャがファイルシステム上で管理されている場合等、ファイルサイズを参照できる場合には、データ量計測部１４は、データ本体ではなく、ファイルサイズのみの情報をファイルシステムから入力してよい。

ここで、３次元モデルデータ変換部５が３次元モデルデータ生成部４から入力する高解像度ジオメトリ及び高解像度テクスチャについて、単位時間あたりの最大データ量をＬとする。また、高解像度ジオメトリの単位時間あたりのデータ量をＧ_iとし、高解像度テクスチャの単位時間あたりのデータ量をＴ_iとする。つまり、Ｌ＝Ｇ_i＋Ｔ_iである。

データ量計測部１４は、入力した高解像度ジオメトリの単位時間あたりのデータ量Ｇ_iを計測すると共に、入力した高解像度テクスチャの単位時間あたりのデータ量Ｔ_iを計測する。そして、データ量計測部１４は、データ量Ｇ_i，Ｔ_iを削減比率決定部１５に出力する。

（削減比率決定部１５）
削減比率決定部１５は、データ量計測部１４から高解像度ジオメトリの単位時間あたりのデータ量Ｇ_i（以下、高解像度ジオメトリのデータ量Ｇ_iという。）、及び高解像度テクスチャの単位時間あたりのデータ量Ｔ_i（以下、高解像度テクスチャのデータ量Ｔ_iという。）を入力すると共に、配信装置６から実効伝送容量Ｒを含む実効伝送帯域情報を入力する。また、削減比率決定部１５は、３次元モデルデータ生成部４から高解像度ジオメトリを入力すると共に、注目領域検出部１１から３次元注目領域情報（例えば、中心座標及び半径）を入力する。

実効伝送容量Ｒは、前述のとおり、配信装置６から受信端末７へデータが伝送される際の実際に伝送可能な単位時間あたりの最大のデータ量である。

この場合、配信装置６がデータの損失なくコンテンツを伝送するためには、３次元モデルデータ変換部５において、平均でＲ／Ｌの比率にてデータ量の変換が必要である。言い換えると、平均で（１－Ｒ／Ｌ）の比率にてデータ量の削減が必要である。前述のとおり、Ｌ＝Ｇ_i＋Ｔ_iである。

高解像度テクスチャに関しては、ＵＶマップが再構成されるか否かに関わらず、低解像度テクスチャの出力解像度と圧縮率により平均的なデータ量（ビットレート）が決まり、低解像度テクスチャは、実効伝送容量Ｒのうち必ず一定割合を占める。このため、最初に、低解像度テクスチャのデータ量を決めることとする。このデータ量をＴ_oとする。すなわち、低解像度ジオメトリの伝送に使用可能なデータ量は、Ｒ－Ｔ_oとなる。

（削減比率α，β）
まず、高解像度ジオメトリに対する注目領域の削減比率α及び注目領域外の削減比率βの決定手法について説明する。高解像度ジオメトリにおける３次元注目領域情報の示す３次元注目領域により、高解像度ジオメトリの全体の頂点群に占める３次元注目領域に属する頂点群の比率が算出され、これを頂点群比率ｒとする。そうすると、高解像度ジオメトリの３次元注目領域のデータ量及び３次元注目領域外のデータ量は、以下のとおりである。
［数１］
（高解像度ジオメトリの３次元注目領域のデータ量）＝Ｇ_iｒ ・・・（１）
［数２］
（高解像度ジオメトリの３次元注目領域外のデータ量）＝Ｇ_i（１－ｒ）
・・・（２）

低解像度ジオメトリのデータ量Ｇ_oは、注目領域の削減比率α（０≦α＜１）及び注目領域外の削減比率β（０≦α＜β＜１）を用いると、以下のとおりである。
［数３］
低解像度ジオメトリのデータ量Ｇ_o＝Ｇ_iｒ（１－α）＋Ｇ_i（１－ｒ）（１－β）
＝Ｒ－Ｔ_o ・・・（３）
前記式（３）の右辺の第一項は、低解像度ジオメトリの３次元注目領域のデータ量であり、第二項は、低解像度ジオメトリの３次元注目領域外のデータ量である。Ｔ_oは、低解像度テクスチャのデータ量である。

ここで、一例として３次元注目領域の頂点を全く削減しないで、３次元注目領域外の頂点のみを削減するものとする。この場合、注目領域の削減比率α＝０が設定される。そうすると、前記式（３）は、以下の式で表される。
［数４］
低解像度ジオメトリのデータ量Ｇ_o＝Ｇ_iｒ＋Ｇ_i（１－ｒ）（１－β）＝Ｒ－Ｔ_o
・・・（４）

前記式（４）から以下の式が導出される。
［数５］
実効伝送容量Ｒ＝Ｇ_i－Ｇ_i（１－ｒ）β＋Ｔ_o ・・・（５）

そして、配信装置６から受信端末７への伝送において、実効伝送容量Ｒ以下の伝送を実現するためには、以下の式を満たす必要がある。
［数６］
実効伝送容量Ｒ≧Ｇ_i－Ｇ_i（１－ｒ）β＋Ｔ_o ・・・（６）

前記式（６）から以下の式が導出される。
［数７］
注目領域外の削減比率β≧１－（Ｒ－Ｔ_o－Ｇ_iｒ）／Ｇ_i（１－ｒ） ・・・（７）

このように、削減比率決定部１５は、注目領域の削減比率α＝０を決定すると共に、前記式（７）の条件を満たす注目領域外の削減比率βを決定する。そして、削減比率決定部１５は、決定した注目領域の削減比率α＝０及び注目領域外の削減比率βをジオメトリ変換部１２に出力する。

これにより、低解像度ジオメトリ及び低解像度テクスチャは、実効伝送容量Ｒ以下にて、配信装置６から受信端末７へ伝送することができる。

図７は、削減比率決定部１５による削減比率α，βの決定処理例を示すフローチャートである。削減比率決定部１５は、高解像度ジオメトリ及び３次元注目領域情報に基づいて、頂点群比率ｒを算出する（ステップＳ７０１）。

具体的には、削減比率決定部１５は、高解像度ジオメトリの全体の頂点群の数を求め、高解像度ジオメトリの全体の頂点群の数のうち、３次元注目領域情報の示す３次元注目領域に含まれる頂点群の数を求める。そして、削減比率決定部１５は、これらの頂点群の数の比率を、高解像度ジオメトリの頂点群に占める３次元注目領域に属する頂点群の比率（頂点群比率ｒ）として算出する。

削減比率決定部１５は、注目領域の削減比率αを初期設定する（ステップＳ７０２）。削減比率αは０であってもよいし、後述するステップＳ７０５において削減比率αが増加することを考慮して、０を超える実数であってもよい。削減比率αは初期値が予め設定される。

削減比率決定部１５は、以下の式を満たすように、注目領域外の削減比率βを算出する（ステップＳ７０３）。
［数８］
注目領域外の削減比率β≧１－（Ｒ－Ｔ_o－Ｇ_iｒ（１－α））／Ｇ_i（１－ｒ）
・・・（８）
この式は、前記式（３）を、α≠０として前記式（４）から前記式（７）へと同じ手順で展開して得られたものである。ここで、実効伝送容量Ｒは配信装置６から入力され、低解像度テクスチャのデータ量Ｔ_oは予め設定される。また、高解像度ジオメトリのデータ量Ｇ_iはデータ量計測部１４から入力され、頂点群比率ｒはステップＳ７０１の処理にて算出される。さらに、注目領域の削減比率αは、ステップＳ７０２（または後述するステップＳ７０５）にて設定される。

尚、注目領域検出部１１において、２次元注目領域が検出されなかった場合には、頂点群比率ｒ＝０となることから、削減比率βはβ＝１－（Ｒ－Ｔ_o）／Ｇ_iにより定まり、ジオメトリの全領域の頂点が一様に削減される。

削減比率決定部１５は、ステップＳ７０３にて算出した注目領域外の削減比率βが予め設定された閾値以上であるか否かを判定する（ステップＳ７０４）。そして、削減比率決定部１５は、ステップＳ７０４において、注目領域外の削減比率βが閾値以上であると判定した場合（ステップＳ７０４：Ｙ）、注目領域の削減比率αに予め設定された増分Δ１を加算し、α＜βとなる範囲にて新たな削減比率αを設定する（ステップＳ７０５、α←α＋Δ１）。削減比率決定部１５は、ステップＳ７０３へ移行し、新たな削減比率αを用いて、前記式（８）を満たすように、注目領域外の削減比率βを算出する。

削減比率決定部１５は、ステップＳ７０５において、α＜βとなる範囲にて新たな削減比率αを設定することができない場合、すなわち、新たな削減比率αが削減比率β以上となる場合、異常が発生したとして処理を中止する。

一方、削減比率決定部１５は、ステップＳ７０４において、注目領域外の削減比率βが閾値以上でないと判定した場合（ステップＳ７０４：Ｎ）、ステップＳ７０２またはステップＳ７０５にて設定した注目領域の削減比率α及びステップＳ７０３にて算出した注目領域外の削減比率βを、ジオメトリ変換部１２にて用いる削減比率α，βとして決定し、これらをジオメトリ変換部１２に出力する（ステップＳ７０６）。

尚、削減比率決定部１５は、ステップＳ７０５において、注目領域の削減比率αの代わりに、低解像度テクスチャのデータ量Ｔ_oを変化させるようにしてもよい。具体的には、削減比率決定部１５は、ステップＳ７０５において、低解像度テクスチャのデータ量Ｔ_oから予め設定された減分Δ２を減算し、新たな低解像度テクスチャのデータ量Ｔ_oを設定する。そして、削減比率決定部１５は、ステップＳ７０３へ移行し、新たな低解像度テクスチャのデータ量Ｔ_oを用いて、前記式（８）を満たすように、注目領域外の削減比率βを算出する。この場合の注目領域の削減比率αは、予め設定された初期値から変化しない。

また、削減比率決定部１５は、ステップＳ７０５において、注目領域の削減比率αに加えて、低解像度テクスチャのデータ量Ｔ_oを変化させるようにしてもよい。具体的には、削減比率決定部１５は、ステップＳ７０５において、注目領域の削減比率αに予め設定された増分Δ１を加算し、α＜βとなる範囲にて新たな削減比率αを設定すると共に、低解像度テクスチャのデータ量Ｔ_oから予め設定された減分Δ２を減算し、新たな低解像度テクスチャのデータ量Ｔ_oを設定する。そして、削減比率決定部１５は、ステップＳ７０３へ移行し、新たな削減比率α及び新たな低解像度テクスチャのデータ量Ｔ_oを用いて、前記式（８）を満たすように、注目領域外の削減比率βを算出する。

このように、削減比率決定部１５は、注目領域の削減比率αを設定し、前記式（８）の条件を満たす注目領域外の削減比率βを設定し、削減比率βが閾値以上である場合、注目領域の削減比率αを変化させることで、新たな削減比率βを設定し、削減比率βが閾値未満である場合、設定した削減比率α，βをジオメトリ変換部１２にて用いる削減比率α，βに決定する。

これにより、低解像度ジオメトリ及び低解像度テクスチャは、実効伝送容量Ｒ以下にて、配信装置６から受信端末７へ伝送することができる。

また、削減比率決定部１５は、前記式（３）から導出した以下の式を満たすように、注目領域の削減比率α、注目領域外の削減比率β及び低解像度テクスチャのデータ量Ｔ_oの３つのパラメータを変化させ、これらのパラメータを決定するようにしてもよい。
［数９］
Ｒ≧Ｇ_iｒ（１－α）＋Ｇ_i（１－ｒ）（１－β）＋Ｔ_o ・・・（９）

前記式（９）は、低解像度ジオメトリの３次元注目領域のデータ量（Ｇ_iｒ（１－α））、低解像度ジオメトリの３次元注目領域外のデータ量（Ｇ_i（１－ｒ）（１－β））及び低解像度テクスチャのデータ量Ｔ_oの加算結果が、実効伝送容量Ｒ以下であることを示す式である。

前記式（９）と、式：実効伝送容量Ｒ≧Ｇ_o＋Ｔ_oとは、数学的に等価である。削減比率決定部１５は、実効伝送容量Ｒと、低解像度ジオメトリのデータ量Ｇ_oに低解像度テクスチャのデータ量Ｔ_oを加算して得られた結果である３次元モデルデータ変換後のデータ量（Ｇ_o＋Ｔ_o）との間の関係が、前記式を満たすように（（Ｇ_o＋Ｔ_o）がＲ以下となるように）、すなわち、前記式（８）を満たすように、かつ注目領域の削減比率α及び注目領域外の削減比率βの関係がα＜βとなるように、注目領域の削減比率α、または低解像度テクスチャのデータ量Ｔ_o、または注目領域の削減比率α及び低解像度テクスチャのデータ量Ｔ_oを変化させて、注目領域外の削減比率βを求めることで、注目領域の削減比率α及び注目領域外の削減比率βを決定する。

これにより、注目領域の削減比率α、注目領域外の削減比率β及び低解像度テクスチャのデータ量Ｔ_oの３つのパラメータが調整されることで、低解像度ジオメトリ及び低解像度テクスチャが、実効伝送容量Ｒ以下にて、配信装置６から受信端末７へ伝送されることとなる。

（削減比率γ，δ）
次に、高解像度テクスチャに対する注目領域の削減比率γ及び注目領域外の削減比率δの決定手法について説明する。図８は、削減比率決定部１５による削減比率γ，δの決定処理例を示すフローチャートである。

削減比率決定部１５は、データ量計測部１４から入力した高解像度テクスチャのデータ量Ｔ_i、及び例えば予め設定された低解像度テクスチャのデータ量Ｔ_oから、その比率Ｔ_o／Ｔ_iを算出する（ステップＳ８０１）。具体的には、削減比率決定部１５は、低解像度テクスチャのデータ量Ｔ_oを高解像度テクスチャのデータ量Ｔ_iで除算することで、比率Ｔ_o／Ｔ_iを求める。

削減比率決定部１５は、以下の式により、１から比率Ｔ_o／Ｔ_iを減算して注目領域外の削減比率δを求め、これを、テクスチャ変換部１３にて用いる削減比率δとして決定する（ステップＳ８０２）。
［数１０］
δ＝１－Ｔ_o／Ｔ_i ・・・（１０）

削減比率決定部１５は、以下の式により、削減比率γが削減比率δよりも小さくなるように、所定の係数ａを削減比率δに乗算して注目領域の削減比率γを求め、これを、テクスチャ変換部１３にて用いる削減比率γとして決定する（ステップＳ８０３）。係数ａは、０≦ａ＜１までの範囲で予め設定される。すなわち、γ＜δである。
［数１１］
γ＝ａδ ・・・（１１）

削減比率決定部１５は、注目領域の削減比率γ及び注目領域外の削減比率δをテクスチャ変換部１３に出力する（ステップＳ８０４）。

このように、削減比率決定部１５により決定された削減比率α，βはジオメトリ変換部１２に出力され、削減比率γ，δはテクスチャ変換部１３へ出力される。そして、ジオメトリ変換部１２により、削減比率α，βを用いて高解像度ジオメトリが低解像度ジオメトリに変換され、テクスチャ変換部１３により、削減比率γ，δを用いて高解像度テクスチャが低解像度テクスチャに変換される。

以上のように、本発明の実施形態の３次元モデルデータ変換部５によれば、レンダラ１０は、高解像度ジオメトリ及び高解像度テクスチャを用いて、全周囲の複数角度の視点からレンダリングし、２次元画像群を生成する。

注目領域検出部１１は、特徴学習モデルを用いて、２次元画像毎に、２次元注目領域及びスコアを求め、所定の閾値以上のスコアを有する２次元注目領域を検出し、検出した２次元注目領域を３次元注目領域に変換する。

削減比率決定部１５は、実効伝送容量Ｒと、低解像度ジオメトリのデータ量Ｇ_oに低解像度テクスチャのデータ量Ｔ_oを加算して得られた結果である３次元モデルデータ変換後のデータ量（Ｇ_o＋Ｔ_o）との間の関係が、Ｒ≧Ｇ_o＋Ｔ_oを満たすように、すなわち、前記式（８）を満たすように、かつ注目領域の削減比率α及び注目領域外の削減比率βの関係がα＜βとなるように、注目領域の削減比率α、または低解像度テクスチャのデータ量Ｔ_o、または注目領域の削減比率α及び低解像度テクスチャのデータ量Ｔ_oを変化させて、注目領域外の削減比率βを求めることで、注目領域の削減比率α及び注目領域外の削減比率βを決定する。

これにより、ジオメトリ変換部１２において、高解像度ジオメトリの全体の頂点数削減の比率に対して、３次元注目領域の頂点数削減の比率を抑制するように（３次元注目領域の頂点数削減の比率が、高解像度ジオメトリの全体の頂点数削減の比率よりも低くなるように）、注目領域の削減比率α及び注目領域外の削減比率βが決定される。

また、削減比率決定部１５は、高解像度テクスチャのデータ量Ｔ_i及び低解像度テクスチャのデータ量Ｔ_oから比率Ｔ_o／Ｔ_iを算出し、１から比率Ｔ_o／Ｔ_iを減算して注目領域外の削減比率δを決定する。そして、削減比率決定部１５は、削減比率δが削減比率γよりも大きくなるように、予め設定された係数ａ（０≦ａ＜１）を削減比率δに乗算して注目領域の削減比率γを決定する。

これにより、テクスチャ変換部１３において、高解像度テクスチャの全体の縮小率（解像度削減の比率）に対して、テクスチャ注目領域の縮小率を抑制するように（テクスチャ注目領域の縮小率が、高解像度テクスチャの全体の縮小率よりも低くなるように）、注目領域の削減比率γ及び注目領域外の削減比率δが決定される。

ジオメトリ変換部１２は、高解像度ジオメトリの３次元注目領域の頂点を削減比率αにて削減すると共に、３次元注目領域以外の領域の頂点を削減比率βにて削減し、高解像度ジオメトリを低解像度ジオメトリに変換する。

これにより、高解像度ジオメトリの全体の頂点数削減の比率に対して、３次元注目領域の頂点数削減の比率が抑制されるように、低解像度ジオメトリが生成されることとなる。

テクスチャ変換部１３は、高解像度テクスチャにおけるテクスチャ注目領域の部分テクスチャの解像度を削減比率γにて削減すると共に、テクスチャ注目領域外の部分テクスチャの解像度を削減比率δにて削減し、解像度が削減されたテクスチャ注目領域の部分テクスチャ及びテクスチャ注目領域外の部分テクスチャについて、低解像度の矩形画像への再マッピングを行い、低解像度テクスチャを生成することで、高解像度テクスチャを低解像度テクスチャに変換する。また、テクスチャ変換部１３は、再マッピングに伴い、低解像度ジオメトリに含まれる各頂点のＵＶ座標を変更し、再マッピング後の低解像度ジオメトリを生成する。

これにより、高解像度テクスチャの全体の縮小率に対して、テクスチャ注目領域の部分テクスチャの縮小率が抑制されるように、低解像度テクスチャが生成されることとなる。

一般に、視聴者は、人物３次元モデルデータを含む３次元コンテンツを視聴する際に、人物の顔の表情、手指の動き等、無意識に目に入りやすい領域に注目する。本発明の実施形態では、これらの注目領域の品質劣化を抑制することができ、３次元コンテンツ全体としての主観的な視覚品質の低下を抑えることができる。

また、３次元モデルデータ上での周波数特徴ではなく、コンテンツ制作者の意図により品質を保持したい注目領域に対応した特徴学習モデルを与え、２次元にレンダリングした画像特徴を用いて注目領域を抽出し、的確に主観品質に影響を与える領域を限定するようにした。これにより、主観的な視覚品質が低下しないように、３次元モデルデータのデータ量を削減することができる。

〔他の例１〕
次に、本発明の他の第１実施形態について説明する。図９は、本発明の他の第１実施形態による３次元モデルデータ変換部の構成例を示すブロック図である。３次元オブジェクトの表現方法としては、図２に示した３次元のジオメトリと２次元のテクスチャとを組み合わせた３次元モデルデータによる方式の他に、３次元のジオメトリの各頂点にカラー情報（ＲＧＢ、ＹＣbＣr等）を持たせる３次元点群データによる方式がある。図９では、このカラー情報を持たせる３次元点群データによる方式を実現する。

この３次元モデルデータ変換部５’は、レンダラ１０’、注目領域検出部１１、ジオメトリ変換部１２、データ量計測部１４’及び削減比率決定部１５’を備えている。

レンダラ１０’は、３次元モデルデータ生成部４からカラー情報を含む高解像度ジオメトリを入力し、高解像度ジオメトリを、全周囲の複数角度の視点からレンダリングし、複数の２次元画像を生成する。そして、レンダラ１０’は、生成した複数の２次元画像である２次元画像群を注目領域検出部１１に出力する。

レンダラ１０’が入力する高解像度ジオメトリは、各頂点について、３次元座標（ＸＹＺ座標）、法線ベクトル等に加え、カラー情報が記述されている。ジオメトリ変換部１２が出力する低解像度ジオメトリも同様である。

注目領域検出部１１は、レンダラ１０’から２次元画像群を入力し、図２に示した注目領域検出部１１と同様の処理を行い、３次元注目領域情報をジオメトリ変換部１２及び削減比率決定部１５’に出力する。

ジオメトリ変換部１２は、３次元モデルデータ生成部４から、カラー情報を含む高解像度ジオメトリを入力すると共に、注目領域検出部１１から３次元注目領域情報を入力する。また、ジオメトリ変換部１２は、削減比率決定部１５’から注目領域の削減比率α及び注目領域外の削減比率βを入力する。

ジオメトリ変換部１２は、図２に示したジオメトリ変換部１２と同様の処理を行い、カラー情報を含む高解像度ジオメトリを低解像度ジオメトリに変換し、カラー情報を含む低解像度ジオメトリを配信装置６に出力する。

データ量計測部１４’は、３次元モデルデータ生成部４からカラー情報を含む高解像度ジオメトリを入力し、入力した高解像度ジオメトリのデータ量Ｇ_iを計測する。そして、データ量計測部１４’は、高解像度ジオメトリのデータ量Ｇ_iを削減比率決定部１５’に出力する。

削減比率決定部１５’は、データ量計測部１４’から高解像度ジオメトリのデータ量Ｇ_iを入力すると共に、配信装置６から実効伝送容量Ｒを含む実効伝送帯域情報を入力する。また、削減比率決定部１５’は、３次元モデルデータ生成部４からカラー情報を含む高解像度ジオメトリを入力すると共に、注目領域検出部１１から３次元注目領域情報（例えば、中心座標及び半径）を入力する。

削減比率決定部１５’は、図２に示した削減比率決定部１５と同様の処理を行う。すなわち、削減比率決定部１５’は、実効伝送容量Ｒと、低解像度ジオメトリのデータ量Ｇ_oとの間の関係が、以下の式を満たすように（Ｇ_oがＲ以下となるように）（式（１２）は前記式：実効伝送容量Ｒ≧Ｇ_o＋Ｔ_oに対応する。）、
［数１２］
実効伝送容量Ｒ≧Ｇ_o ・・・（１２）
すなわち、以下の式を満たすように、
［数１３］
注目領域外の削減比率β≧１－（Ｒ－Ｇ_iｒ（１－α））／Ｇ_i（１－ｒ）
・・・（１３）
注目領域の削減比率α及び注目領域外の削減比率βの関係がα＜βの範囲内で、注目領域の削減比率αを変化させて、注目領域外の削減比率βを求めることで、注目領域の削減比率α及び注目領域外の削減比率βを決定する。

これにより、ジオメトリ変換部１２において、高解像度ジオメトリの全体の頂点数削減の比率に対して、３次元注目領域の頂点数削減の比率を抑制するように（３次元注目領域の頂点数削減の比率が、高解像度ジオメトリの全体の頂点数削減の比率よりも低くなるように）、注目領域の削減比率α及び注目領域外の削減比率βが決定される。

以上のように、本発明の他の第１実施形態の３次元モデルデータ変換部５’によれば、ジオメトリ変換部１２は、高解像度ジオメトリの頂点の削減と同時に、カラー情報も削減する。

これにより、図２に示したテクスチャ変換部１３による高解像度テクスチャを低解像度テクスチャに変換する処理及びテクスチャ再マッピング処理、低解像度ジオメトリの頂点が保持するＵＶ座標を変更する処理が不要となる。このように、主観的な視覚品質が低下しないように、３次元モデルデータのデータ量を削減することができ、さらに、図２に比べて処理負荷を低減することができる。

〔他の例２〕
次に、本発明の他の第２実施形態について説明する。図１０は、本発明の他の第２実施形態による３次元モデルデータ変換部の構成例を示すブロック図である。図２に示した本発明の実施形態による３次元モデルデータ変換部５は、高解像度ジオメトリを低解像度ジオメトリに変換すると共に、高解像度テクスチャを低解像度テクスチャに変換する。これに対し、本発明の他の第２実施形態による３次元モデルデータ変換部は、高解像度ジオメトリを低解像度ジオメトリに変換するが、高解像度テクスチャの解像度を変換しないで、高解像度テクスチャと同じ解像度の矩形画像を低解像度テクスチャとして出力する。

この３次元モデルデータ変換部５”は、レンダラ１０、注目領域検出部１１、ジオメトリ変換部１２、データ量計測部１４’及び削減比率決定部１５’を備えており、図２に示したテクスチャ変換部１３を備えていない。３次元モデルデータ変換部５”は、ジオメトリの頂点削減において、ＵＶマップを保持するため、ＵＶアイランドの境界線上の頂点は削減しない。

レンダラ１０、注目領域検出部１１及びジオメトリ変換部１２は、図２に示した構成部と同じであるため、ここでは説明を省略する。データ量計測部１４’及び削減比率決定部１５’は、図９に示した構成部と同じであるため、ここでは説明を省略する。ここで、ジオメトリ変換部１２は、高解像度テクスチャにおけるＵＶアイランドの境界線のＵＶ座標に対応する高解像度ジオメトリの頂点を削減しないように（頂点を維持する制約の下で）、高解像度ジオメトリを低解像度ジオメトリに変換する。

以上のように、本発明の他の第２実施形態の３次元モデルデータ変換部５”によれば、図２に示したテクスチャ変換部１３による高解像度テクスチャを低解像度テクスチャに変換する処理及びテクスチャ再マッピング処理、低解像度ジオメトリの頂点が保持するＵＶ座標を変更する処理が不要となる。このように、主観的な視覚品質が低下しないように、３次元モデルデータのデータ量を削減することができ、さらに、図２に比べて処理負荷を低減することができる。

以上、実施形態を挙げて本発明を説明したが、本発明は前記実施形態に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。

例えば図２に示した３次元モデルデータ変換部５において、テクスチャ変換部１３は、高解像度テクスチャにおけるテクスチャ注目領域の部分テクスチャの解像度を削減比率γにて削減すると共に、テクスチャ注目領域外の部分テクスチャの解像度を削減比率δにて削減し、解像度が削減されたテクスチャ注目領域の部分テクスチャ及びテクスチャ注目領域外の部分テクスチャについて、低解像度の矩形画像への再マッピングを行い、低解像度テクスチャを生成することで、高解像度テクスチャを低解像度テクスチャに変換するようにした。

これに対し、ジオメトリ変換部１２により、高解像度テクスチャにおけるＵＶアイランドの境界線のＵＶ座標に対応する高解像度ジオメトリの頂点が削減され、ＵＶマップを保持することができない場合には、テクスチャ変換部１３は、高解像度テクスチャの解像度を変更することなく、低解像度ジオメトリを構成する各面の部分テクスチャを矩形画像に再マッピングし、高解像度テクスチャと同じ解像度の矩形画像を低解像度テクスチャとして生成するようにしてもよい。すなわち、テクスチャ変換部１３は、低解像度ジオメトリから部分テクスチャを抽出し、部分テクスチャの解像度を縮小することなく矩形画像に再マッピングし、低解像度テクスチャを生成する。

つまり、高解像度テクスチャと低解像度テクスチャとが同じ解像度であってもよい。この場合、低解像度テクスチャの単位時間あたりのデータ量Ｔ_o及び高解像度テクスチャの単位時間あたりのデータ量Ｔ_iは、Ｔ_o＝Ｔ_iの関係となり、注目領域の削減比率γ＝０、及び注目領域外の削減比率δ＝０である。

また、例えば３次元モデルデータ変換部５の注目領域検出部１１は、顔の特徴を有する注目領域に着目し、特徴学習モデルを用いて、２次元画像群のそれぞれに対し注目領域検出処理を行い、顔の特徴を有する２次元注目領域を検出するようにした。

これに対し、注目領域検出部１１は、顔以外の手指の特徴を有する注目領域に着目するようにしてもよい。この場合、図示しない学習装置は、人物等の２次元画像を入力データとし、手指の特徴を有する２次元注目領域及び当該２次元注目領域のスコアを出力データとする学習モデルを訓練し、特徴学習モデルとして出力する。注目領域検出部１１は、この特徴学習モデルを用いて、２次元画像群のそれぞれに対し注目領域検出処理を行い、手指の特徴を有する２次元注目領域を検出する。

また、コンテンツの特性に応じて、顔に加えて手指など複数の特徴量を検出可能な特徴学習モデルを用い、高解像度ジオメトリの各領域に対して品質維持の優先順位を設定するようにしてもよい。例えば、楽器演奏家の３次元モデルデータを演奏指導用のコンテンツとして配信する場合には、演奏家の細かい手指の動きが見えるように、ユーザは、手指領域の品質保持を第一優先とするように設定し、顔領域の品質保持は第二優先とするように設定する。

この場合、図示しない学習装置は、人物の２次元画像を入力データとし、手指の特徴を有する第１の２次元注目領域及び顔の特徴を有する第２の２次元注目領域、並びに当該第１の２次元注目領域のスコア及び当該第２の２次元注目領域のスコアを出力データとする学習モデルを訓練し、特徴学習モデルとして出力する。注目領域検出部１１は、この特徴学習モデルを用いて、２次元画像群のそれぞれに対し、注目領域検出処理を行い、手指の特徴を有する第１の２次元注目領域及び顔の特徴を有する第２の２次元注目領域を検出する。削減比率決定部１５は、前述と同様の処理にて、手指の特徴を有する第１の注目領域の削減比率α１，γ１、顔の特徴を有する第２の注目領域の削減比率α２，γ２及び注目領域外の削減比率β，δを決定する。

また、配信装置６は、低解像度ジオメトリ及び低解像度テクスチャを含むＩＰパケット等を直ちに後段のネットワーク等に送出せず、低解像度ジオメトリ及び低解像度テクスチャのデータをＨＤＤやＳＳＤ等の記録媒体に保存する記録装置と、記録媒体に記録された低解像度ジオメトリ及び低解像度テクスチャを読み出して再生する再生装置とに分離しても良い。この場合、３次元モデルデータ変換部５は、コンテンツの時間尺による再生時の出力データ量に従ったデータ変換処理を行う必要があるが、データ変換処理は必ずしも再生時と同じ速度でリアルタイムに実行する必要はない。

尚、本発明の実施形態による３次元モデルデータ変換部５のハードウェア構成としては、通常のコンピュータを使用することができる。３次元モデルデータ変換部５は、ＣＰＵ、ＲＡＭ等の揮発性の記憶媒体、ＲＯＭ等の不揮発性の記憶媒体、及びインターフェース等を備えたコンピュータによって構成される。

３次元モデルデータ変換部５に備えたレンダラ１０、注目領域検出部１１、ジオメトリ変換部１２、テクスチャ変換部１３、データ量計測部１４及び削減比率決定部１５の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。

これらのプログラムは、前記記憶媒体に格納されており、ＣＰＵに読み出されて実行される。また、これらのプログラムは、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ－ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記憶媒体に格納して頒布することもでき、ネットワークを介して送受信することもできる。

本発明の実施形態による３次元モデルデータ変換部５は、３次元ＣＧ編集ソフトウェアにおけるデータ量削減機能として実装することができ、ジオメトリ及びテクスチャの符号化装置の前処理装置として実装することもできる。また、ＡＲまたはＶＲコンテンツのプロダクション及び配信サービスに用いることができる。

１ ３次元映像伝送システム
２ カメラ
３ 送信処理装置
４ ３次元モデルデータ生成部
５，５’，５” ３次元モデルデータ変換部
６ 配信装置
７ 受信端末
８ 伝送路
９ 制作処理装置
１０，１０’ レンダラ
１１ 注目領域検出部
１２ ジオメトリ変換部
１３ テクスチャ変換部
１４，１４’ データ量計測部
１５，１５’ 削減比率決定部
α，α１，α２，γ，γ１，γ２ 注目領域の削減比率
β，δ 注目領域外の削減比率
Ｇ_i 高解像度ジオメトリの単位時間あたりのデータ量
Ｇ_o 低解像度ジオメトリの単位時間あたりのデータ量
Ｔ_i 高解像度テクスチャの単位時間あたりのデータ量
Ｔ_o 低解像度テクスチャの単位時間あたりのデータ量
Ｒ 実効伝送容量
ｓ１，ｓ２，・・・，ｓ１２ 視点位置
Ｓｃ スコア
ｒ 頂点群比率
Δ１ 増分
Δ２ 減分
ａ 係数

Claims (9)

1. ３次元コンテンツの高解像度のモデルデータを低解像度のモデルデータに変換する３次元モデルデータ変換装置において、
   前記高解像度のモデルデータを構成するジオメトリ及びテクスチャを、それぞれ高解像度ジオメトリ及び高解像度テクスチャとして、各頂点の情報からなる前記高解像度ジオメトリ、及び当該高解像度ジオメトリの前記頂点から構成される各面に対応する部分テクスチャをＵＶ座標により矩形画像へマッピングした前記高解像度テクスチャを、複数角度の視点からレンダリングし、複数の２次元画像を生成するレンダラと、
   前記レンダラにより生成された前記複数の２次元画像のそれぞれについて、所定の特徴を有する２次元注目領域を検出し、前記複数の２次元画像の前記２次元注目領域を、前記高解像度ジオメトリの３次元注目領域に変換する注目領域検出部と、
   前記高解像度ジオメトリにおける全体の前記頂点の削減比率に対して、前記注目領域検出部により変換された前記３次元注目領域の前記頂点の削減比率が抑制されるように、前記高解像度ジオメトリにおける前記３次元注目領域の前記頂点を削減すると共に、前記高解像度ジオメトリにおける前記３次元注目領域を除く領域の前記頂点を削減し、前記高解像度ジオメトリを、前記低解像度のモデルデータを構成する低解像度ジオメトリに変換するジオメトリ変換部と、
   前記高解像度テクスチャにおける全体の縮小率に対して、前記注目領域検出部により変換された前記３次元注目領域に対応する前記高解像度テクスチャのテクスチャ注目領域の部分テクスチャの縮小率が抑制されるように、前記高解像度テクスチャにおける前記テクスチャ注目領域の部分テクスチャの解像度を削減すると共に、前記高解像度テクスチャにおける前記テクスチャ注目領域を除く領域の部分テクスチャの解像度を削減し、前記高解像度テクスチャを、前記低解像度のモデルデータを構成する低解像度テクスチャに変換し、前記ジオメトリ変換部により変換された前記低解像度ジオメトリに含まれる前記頂点の前記ＵＶ座標を変更し、新たな前記低解像度ジオメトリを生成するテクスチャ変換部と、
   を備えたことを特徴とする３次元モデルデータ変換装置。
2. ３次元コンテンツの高解像度のモデルデータを低解像度のモデルデータに変換する３次元モデルデータ変換装置において、
   前記高解像度のモデルデータを構成するジオメトリ及びテクスチャを、それぞれ高解像度ジオメトリ及び高解像度テクスチャとして、各頂点の情報からなる前記高解像度ジオメトリ、及び当該高解像度ジオメトリの前記頂点から構成される各面に対応する部分テクスチャをＵＶ座標により矩形画像へマッピングした前記高解像度テクスチャを、複数角度の視点からレンダリングし、複数の２次元画像を生成するレンダラと、
   前記レンダラにより生成された前記複数の２次元画像のそれぞれについて、所定の特徴を有する２次元注目領域を検出し、前記複数の２次元画像の前記２次元注目領域を、前記高解像度ジオメトリの３次元注目領域に変換する注目領域検出部と、
   前記高解像度ジオメトリにおける全体の前記頂点の削減比率に対して、前記注目領域検出部により変換された前記３次元注目領域の前記頂点の削減比率が抑制されるように、前記高解像度ジオメトリにおける前記３次元注目領域の前記頂点を削減すると共に、前記高解像度ジオメトリにおける前記３次元注目領域を除く領域の前記頂点を削減し、前記高解像度ジオメトリを、前記低解像度のモデルデータを構成する低解像度ジオメトリに変換するジオメトリ変換部と、
   前記ジオメトリ変換部により変換された前記低解像度ジオメトリからその各面に対応する前記部分テクスチャを抽出し、前記部分テクスチャを前記矩形画像に再マッピングし、前記高解像度テクスチャと同じ解像度のテクスチャを、前記低解像度のモデルデータを構成する低解像度テクスチャとして生成するテクスチャ変換部と、
   を備えたことを特徴とする３次元モデルデータ変換装置。
3. 請求項１に記載の３次元モデルデータ変換装置において、
   前記低解像度のモデルデータが伝送される際の実際に伝送可能な単位時間あたりの最大のデータ量を実効伝送容量Ｒとし、前記低解像度ジオメトリの単位時間あたりのデータ量をデータ量Ｇ_oとし、前記低解像度テクスチャの単位時間あたりのデータ量をデータ量Ｔ_oとし、前記高解像度テクスチャの単位時間あたりのデータ量をデータ量Ｔ_iとし、前記３次元注目領域の前記頂点を削減する比率を削減比率αとし、前記高解像度ジオメトリにおける前記３次元注目領域を除く前記領域の前記頂点を削減する比率を削減比率βとし、前記テクスチャ注目領域の前記部分テクスチャの前記解像度を削減する比率を削減比率γとし、前記高解像度テクスチャにおける前記テクスチャ注目領域を除く前記領域の前記部分テクスチャの前記解像度を削減する比率を削減比率δとして、
   さらに、前記低解像度ジオメトリの前記データ量Ｇ_oに前記低解像度テクスチャの前記データ量Ｔ_oを加算した結果（Ｇ_o＋Ｔ_o）が前記実効伝送容量Ｒ以下となり、かつ前記削減比率αが前記削減比率βよりも小さくなるように、前記削減比率α及び前記削減比率βを決定し、
   前記高解像度テクスチャの前記データ量Ｔ_i及び前記低解像度テクスチャの前記データ量Ｔ_oにおける比率Ｔ_o／Ｔ_iを算出し、１から前記比率Ｔ_o／Ｔ_iを減算し、前記削減比率δを決定し、前記削減比率γが前記削減比率δよりも小さくなるように、予め設定された係数ａ（０≦ａ＜１）を前記削減比率δに乗算し、前記削減比率γを決定する削減比率決定部を備え、
   前記ジオメトリ変換部は、
   前記削減比率決定部により決定された前記削減比率αを用いて、前記高解像度ジオメトリにおける前記３次元注目領域の前記頂点を削減すると共に、前記削減比率決定部により決定された前記削減比率βを用いて、前記高解像度ジオメトリにおける前記３次元注目領域を除く前記領域の前記頂点を削減し、前記高解像度ジオメトリを前記低解像度ジオメトリに変換し、
   前記テクスチャ変換部は、
   前記削減比率決定部により決定された前記削減比率γを用いて、前記高解像度テクスチャにおける前記テクスチャ注目領域の前記部分テクスチャの前記解像度を削減すると共に、前記削減比率決定部により決定された前記削減比率δを用いて、前記高解像度テクスチャにおける前記テクスチャ注目領域を除く前記領域の前記部分テクスチャの前記解像度を削減し、前記高解像度テクスチャを前記低解像度テクスチャに変換する、ことを特徴とする３次元モデルデータ変換装置。
4. ３次元コンテンツの高解像度のモデルデータを低解像度のモデルデータに変換する３次元モデルデータ変換装置において、
   前記高解像度のモデルデータを構成するジオメトリ及びテクスチャを、それぞれ高解像度ジオメトリ及び高解像度テクスチャとして、各頂点の情報からなる前記高解像度ジオメトリ、及び当該高解像度ジオメトリの前記頂点から構成される各面に対応する部分テクスチャをマッピングした前記高解像度テクスチャを、複数角度の視点からレンダリングし、複数の２次元画像を生成するレンダラと、
   前記レンダラにより生成された前記複数の２次元画像のそれぞれについて、所定の特徴を有する２次元注目領域を検出し、前記複数の２次元画像の前記２次元注目領域を、前記高解像度ジオメトリの３次元注目領域に変換する注目領域検出部と、
   前記高解像度ジオメトリにおける全体の前記頂点の削減比率に対して、前記注目領域検出部により変換された前記３次元注目領域の前記頂点の削減比率が抑制されるように、前記高解像度ジオメトリにおける前記３次元注目領域の前記頂点を削減すると共に、前記高解像度ジオメトリにおける前記３次元注目領域を除く領域の前記頂点を削減し、前記高解像度ジオメトリを、前記低解像度のモデルデータを構成する低解像度ジオメトリに変換するジオメトリ変換部と、
   を備えたことを特徴とする３次元モデルデータ変換装置。
5. 請求項４に記載の３次元モデルデータ変換装置において、
   前記低解像度のモデルデータが伝送される際の実際に伝送可能な単位時間あたりの最大のデータ量を実効伝送容量Ｒとし、前記低解像度ジオメトリの単位時間あたりのデータ量をデータ量Ｇ_oとし、前記３次元注目領域の前記頂点を削減する比率を削減比率αとし、前記高解像度ジオメトリにおける前記３次元注目領域を除く前記領域の前記頂点を削減する比率を削減比率βとして、
   さらに、前記低解像度ジオメトリの前記データ量Ｇ _o が前記実効伝送容量Ｒ以下となり、かつ前記削減比率αが前記削減比率βよりも小さくなるように、前記削減比率α及び前記削減比率βを決定する削減比率決定部を備え、
   前記ジオメトリ変換部は、
   前記削減比率決定部により決定された前記削減比率αを用いて、前記高解像度ジオメトリにおける前記３次元注目領域の前記頂点を削減すると共に、前記削減比率決定部により決定された前記削減比率βを用いて、前記高解像度ジオメトリにおける前記３次元注目領域を除く前記領域の前記頂点を削減し、前記高解像度ジオメトリを前記低解像度ジオメトリに変換する、ことを特徴とする３次元モデルデータ変換装置。
6. 請求項３に記載の３次元モデルデータ変換装置において、
   前記削減比率決定部は、
   前記削減比率α及び前記削減比率βを決定する際に、前記高解像度ジオメトリの単位時間あたりのデータ量をデータ量Ｇ_iとし、前記高解像度ジオメトリの全体の頂点群に占める前記３次元注目領域に属する頂点群の比率を頂点群比率ｒとして、
   式：β≧１－（Ｒ－Ｔ_o－Ｇ_iｒ（１－α））／Ｇ_i（１－ｒ）
   を満たすように、かつ前記削減比率βが前記削減比率αよりも大きくなるように、前記削減比率α、または前記低解像度テクスチャの前記データ量Ｔ_o、または前記削減比率α及び前記低解像度テクスチャの前記データ量Ｔ_oを変化させて、前記削減比率βを求めることで、前記削減比率α及び前記削減比率βを決定する、ことを特徴とする３次元モデルデータ変換装置。
7. 請求項１から６までのいずれか一項に記載の３次元モデルデータ変換装置において、
   前記注目領域検出部は、
   前記複数の２次元画像のそれぞれについて、予め設定された特徴学習モデルを用いて、前記２次元注目領域、及び当該２次元注目領域における前記所定の特徴を有する度合いを示すスコアを求め、所定の閾値以上の前記スコアを有する前記２次元注目領域を、複数角度の視点との空間的位置関係から前記３次元注目領域に変換する、ことを特徴とする３次元モデルデータ変換装置。
8. ３次元コンテンツの高解像度のモデルデータを低解像度のモデルデータに変換する３次元モデルデータ変換装置において、
   前記高解像度のモデルデータを構成するジオメトリを高解像度ジオメトリとして、各頂点の情報にカラー情報を含む前記高解像度ジオメトリを、複数角度の視点からレンダリングし、複数の２次元画像を生成するレンダラと、
   前記レンダラにより生成された前記複数の２次元画像のそれぞれについて、所定の特徴を有する２次元注目領域を検出し、前記複数の２次元画像の前記２次元注目領域を、前記高解像度ジオメトリの３次元注目領域に変換する注目領域検出部と、
   前記高解像度ジオメトリにおける全体の前記頂点の削減比率に対して、前記注目領域検出部により変換された前記３次元注目領域の前記頂点の削減比率が抑制されるように、前記高解像度ジオメトリにおける前記３次元注目領域の前記頂点を削減すると共に、前記高解像度ジオメトリにおける前記３次元注目領域を除く領域の前記頂点を削減し、前記高解像度ジオメトリを、前記低解像度のモデルデータを構成する低解像度ジオメトリに変換するジオメトリ変換部と、
   を備えたことを特徴とする３次元モデルデータ変換装置。
9. コンピュータを、請求項１から８までのいずれか一項に記載の３次元モデルデータ変換装置として機能させるためのプログラム。

Images