JP2024095239A - メッシュ復号装置、メッシュ復号方法及びプログラム - Google Patents

Abstract

【課題】効率的に変位量の符号化を実現すること。
【解決手段】本発明に係るメッシュ復号装置２００は、基本メッシュを細分割して初期細分割メッシュを出力する基本面分割部２０３Ａ５と、初期細分割メッシュを構成する頂点ごとに法線を計算する細分割頂点法線計算部２０３Ｃと、初期細分割メッシュの面を構成する頂点の位置を移動した後に、細分割面を分割することで、細分割メッシュを調整する細分割メッシュ調整部２０３Ｂとを備える。
【選択図】図７

Description

本発明は、メッシュ復号装置、メッシュ復号方法及びプログラムに関する。

非特許文献１では、メッシュを大まかな基本メッシュと詳細な変位量とに分けて復号しており、かかる変位量は、映像コーデックによって復号されている。かかる変位量は、頂点ごとに定義されている法線に基づき計算されるが、かかる法線の方向が、頂点ごとに異なっている。

また、非特許文献１では、パッチごとに設定されているパラメータによって各パッチに対して、復号方法を定義している。

Khaled Mammou, Jungsun Kim, Alexis Tourapis, Dimitri Podborski, Krasimir Kolarov, "[V-CG] Apple’s Dynamic Mesh Coding CfP Response," ISO/IEC JTC 1/SC 29/WG 7 m5928, April 2022.

しかしながら、非特許文献１では、上述の法線の方向が頂点ごとに異なっているため、効率的に変位量を圧縮することができないという問題点があった。 そこで、本発明は、上述の課題に鑑みてなされたものであり、効率的に変位量の符号化を実現することができるメッシュ復号装置、メッシュ符号化装置、メッシュ復号方法及びプログラムを提供することを目的とする。

本発明の第１の特徴は、メッシュ復号装置であって、基本メッシュを細分割して初期細分割メッシュを出力するように構成されている基本面分割部と、前記初期細分割メッシュを構成する頂点ごとに法線を計算するように構成されている細分割頂点法線計算部と、前記初期細分割メッシュの面を構成する頂点の位置を移動した後に、細分割面を分割することで、細分割メッシュを調整するように構成されている細分割メッシュ調整部とを備えることを要旨とする。

本発明の第２の特徴は、メッシュ復号方法であって、基本メッシュを細分割して初期細分割メッシュを出力する工程と、前記初期細分割メッシュを構成する頂点ごとに法線を計算する工程と、前記初期細分割メッシュの面を構成する頂点の位置を移動した後に、細分割面を分割することで、細分割メッシュを調整する工程とを有することを要旨とする。

本発明の第３の特徴は、コンピュータを、メッシュ復号装置として機能させるプログラムであって、前記メッシュ復号装置は、基本メッシュを細分割して初期細分割メッシュを出力するように構成されている基本面分割部と、前記初期細分割メッシュを構成する頂点ごとに法線を計算するように構成されている細分割頂点法線計算部と、前記初期細分割メッシュの面を構成する頂点の位置を移動した後に、細分割面を分割することで、細分割メッシュを調整するように構成されている細分割メッシュ調整部とを備えることを要旨とする。

本発明によれば、効率的に変位量の符号化を実現することができるメッシュ復号装置、メッシュ符号化装置、メッシュ復号方法及びプログラムを提供することができる。

図１は、一実施形態に係るメッシュ処理システム１の構成の一例を示す図である。 図２は、一実施形態に係るメッシュ復号装置２００の機能ブロックの一例を示す図である。 図３は、アトラスビットストリームのシンタックス構成の一例を示す図である。 図４は、ＰＤＵのシンタックス構成の一例を示す図である。 図５は、ＦＰＳのシンタックス構成の一例を示す図である。 図６Ａは、基本メッシュ及び細分割メッシュの一例を示す図である。 図６Ｂは、基本メッシュ及び細分割メッシュの一例を示す図である。 図７は、一実施形態に係るメッシュ復号装置２００の細分割部２０３の機能ブロックの一例について示す図である。 図８は、一実施形態に係るメッシュ復号装置２００の細分割部２０３の基本メッシュ細分割部２０３Ａの機能ブロックの一例を示す図である。 図９は、一実施形態に係るメッシュ復号装置２００の細分割部２０３の基本メッシュ細分割部２０３Ａの基本面分割部２０３Ａ５による基本面の分割方法の一例について説明するための図である。 図１０は、一実施形態に係るメッシュ復号装置２００の細分割部２０３の基本メッシュ細分割部２０３Ａの動作の一例を示すフローチャートである。 図１１は、一実施形態に係るメッシュ復号装置２００の細分割部２０３の細分割メッシュ調整部２０３Ｂの機能ブロックの一例を示す図である。 図１２は、一実施形態に係るメッシュ復号装置２００の細分割部２０３の細分割メッシュ調整部２０３Ｂの辺分割点移動部７０１によって基本面ＡＢＣ上の辺分割点が移動されたケースの一例を示す図である。 図１３は、一実施形態に係るメッシュ復号装置２００の細分割部２０３の細分割メッシュ調整部２０３Ｂの細分割面分割部７０２によって基本面内の細分割面Ｘに対して再度細分割が行われたケースの一例を示す図である。 図１４は、一実施形態に係るメッシュ復号装置２００の細分割部２０３の細分割メッシュ調整部２０３Ｂの細分割面分割部７０２によって全ての細分割面に対して再度細分割が行われたケースの一例を示す図である。 図１５は、一実施形態に係るメッシュ復号装置２００の細分割部２０３の細分割頂点法線部計算部２０３Ｃの動作の一例を示すフローチャートである。 図１６Ａは、細分割頂点法線部計算部２０３Ｃによる細分割頂点法線の計算方法の一例について説明するための図である。 図１６Ｂは、細分割頂点法線部計算部２０３Ｃによる細分割頂点法線の計算方法の一例について説明するための図である。 図１７は、一実施形態に係るメッシュ復号装置２００の変位量復号部２０６の機能ブロックの一例について示す図である。 図１８は、一実施形態に係るメッシュ復号装置２００の変位量復号部２０６の逆量子化部２０６Ｊの動作の一例について示すフローチャートである。

以下、本発明の実施の形態について、図面を参照しながら説明する。なお、以下の実施形態における構成要素は、適宜、既存の構成要素等との置き換えが可能であり、また、他の既存の構成要素との組み合わせを含む様々なバリエーションが可能である。したがって、以下の実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。

＜第１実施形態＞
以下、図１～図１８を参照して、本実施形態に係るメッシュ処理システム１について説明する。

図１は、本実施形態に係るメッシュ処理システム１の構成の一例を示す図である。図１に示すように、メッシュ処理システム１は、メッシュ符号化装置１００及びメッシュ復号装置２００を備えている。

図２は、本実施形態に係るメッシュ復号装置２００の機能ブロックの一例を示す図である。

図２に示すように、メッシュ復号装置２００は、多重分離部２０１と、基本メッシュ復号部２０２と、細分割部２０３と、メッシュ復号部２０４と、パッチ統合部２０５と、変位量復号部２０６と、映像復号部２０７と、アトラスデータ復号部２０８とを有する。

多重分離部２０１は、多重化されたビットストリームを、基本メッシュビットストリームと変位量ビットストリームとテクスチャビットストリームとアトラスビットストリームとに分離するように構成されている。

基本メッシュ復号部２０２は、基本メッシュビットストリームを復号して基本メッシュを生成して出力するように構成されている。

細分割部２０３は、パッチ情報によって示された細分割手法により、基本メッシュ復号部２０２によって復号された基本メッシュから、追加された細分割頂点及びそれらの接続情報を生成して出力するように構成されている。

ここで、基本メッシュ、追加された細分割頂点、及び、それらの接続情報を、併せて「細分割メッシュ」と呼ぶ。

メッシュ復号部２０４は、細分割部２０３で生成された細分割メッシュ及び変位量復号部２０６で復号された変位量を用いて、復号メッシュを生成して出力するように構成されている。

パッチ統合部２０５は、メッシュ復号部２０６で生成された復号メッシュを、複数のパッチ分だけ統合して出力するように構成されている。

変位量復号部２０６は、変位量ビットストリームを復号して変位量を生成して出力するように構成されている。

映像復号部２０７は、映像符号化によってテクスチャを復号して出力するように構成されている。例えば、映像復号部２０７は、参考文献１「Information technology - High efficiency coding and media delivery in heterogeneous environments - Part 2: High efficiency video coding, ISO/IEC 23008-2:2013．」に開示されているＨＥＶＣを用いてもよい。

アトラスデータ復号部２０８は、アトラスビットストリームを復号してフレーム情報及びパッチ情報を出力するように構成されている。

（アトラスデータ復号部２０８）
上述のように、アトラスデータ復号部２０８は、アトラスビットストリームを復号してフレーム情報及びパッチ情報を出力するように構成されている。

以下、図３～図５を参照して、アトラスデータ復号部２０８で復号されるフレーム情報及びパッチ情報について説明する。

図３は、アトラスビットストリームのシンタックス構成の一例を示す図である。

図３に示すように、 第１に、アトラスビットストリームは、パッチに対応する制御情報の集合であるＰＤＵ（Ｐａｔｃｈ ｄａｔａ ｕｎｉｔ：パッチデータユニット）を含む。

パッチ情報は、ＰＤＵを復号して得られるパッチごとに定義される制御信号の集合である。

以上のように、アトラスビットストリームは、各パッチに、１つずつＰＤＵが対応する構成となる。

また、図３に示すように、フレームに対応する制御情報の集合であるＦＰＳ（Ｆｒａｍｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ：フレームパラメータセット）を含む。

フレーム情報は、ＦＰＳを復号して得られるフレームごとに定義される制御信号の集合である。

なお、図３の構成は、あくまで一例であり、各パッチデータに、ＰＤＵが対応する構成となっていれば、アトラスビットストリームの構成要素として、上述以外の要素が追加されてもよい。

例えば、図３に示すように、アトラスビットストリームは、ＳＰＳ（シーケンスパラメータセット：Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）を含んでいてもよい。

以下、図４を参照して、ＰＤＵのシンタックス構成について説明する。

図４は、ＰＤＵのシンタックス構成の一例を示す図である。ここで、シンタックスの機能が同様であれば、図４に示すシンタックスメイト異なるシンタックス名が用いられても差し支えない。

図４に示すＰＤＵのシンタックス構成において、Ｄｅｓｃｒｉｐｔｉｏｎ欄は、各シンタックスが、どのように符号化されているかを意味している。また、ｕｅ（ｖ）は、符号無し０次指数ゴロム符号であることを意味し、ｕ（ｎ）は、ｎビットのフラグであることを意味する。

ＰＤＵは、パッチごとに含まれる基本面の数を指定する制御信号ｍｄｕ_ｔｒｉａｎｇｌｅ_ｃｏｕｎｔ_ｍｉｎｕｓ１を含む。

ＰＤＵは、パッチごとに細分割を行うかどうかを指定するフラグｍｄｕ_ｓｕｂｄｉｖｉｓｉｏｎ_ｅｎａｂｌｅ_ｆｌａｇを含む。

ＰＤＵは、パッチごとの変位量の細分割レベルごとに変位量の量子化値を変更するか否かを指定するフラグｍｄｕ_ｌｏｄ_ｃｈａｎｇｅ_ｆｌａｇを含んでもよい。

ＰＤＵは、パッチごとに基本メッシュの細分割手法の種別を指定する制御信号（ｍｄｕ_ｓｕｂｄｉｖｉｓｉｏｎ_ｍｅｔｈｏｄ）を含んでもよい。

例えば、ｍｄｕ_ｓｕｂｄｉｖｉｓｉｏｎ_ｍｅｔｈｏｄ＝０のとき、Ｍｉｄ－ｅｄｇｅ分割法を用いて初期細分割メッシュを生成するように定義し、ｍｄｕ_ｓｕｂｄｉｖｉｓｉｏｎ_ｍｅｔｈｏｄ＝１のとき、Ｎ２分割法を用いて初期細分割メッシュを生成するように定義してもよい。

ＰＤＵは、パッチごとに細分割数生成手法の種別を指定する制御信号（ｍｄｕ_ｓｕｂｄｉｖｉｓｉｏｎ_ｎｕｍ_ｍｅｔｈｏｄ）を含んでもよい。

ＰＤＵは、パッチごとに細分割数の予測値の誤差を指定する制御信号（ｍｄｕ_ｓｕｂｄｉｖｉｓｉｏｎ_ｒｅｓｉｄｕａｌｓ）を含んでもよい。

ＰＤＵは、パッチごとに細分割処理回数を表す制御信号（ｍｄｕ_ｍａｘ_ｓｕｂｄｉｖｉｓｉｏｎ_ｉｔｅｒａｔｉｏｎ_ｃｏｕｎｔ）を含んでもよい。

ＰＤＵは、インデックスｉ（ｉ＝０，…，ｍｄｕ_ｔｒｉａｎｇｌｅ_ｃｏｕｎｔ_ｍｉｎｕｓ１）及びｊ（ｊ＝０，…，ｍｄｕ_ｓｕｂｄｉｖｉｓｉｏｎ_ｉｔｅｒａｔｉｏｎ_ｃｏｕｎｔ）ごとに、基本面を再帰的に細分割するか否かを指定する制御信号（ｍｄｕ_ｓｕｂｄｉｖｉｓｉｏｎ_ｆｌａｇ）を含んでもよい。

ＰＤＵは、パッチごとに一回の細分割処理での基本面の分割数を指定する制御信号（ｍｄｕ_ｓｕｂｄｉｖｉｓｉｏｎ_ｎｕｍ）を含んでもよい。

ＰＤＵは、パッチごとに細分割頂点法線の計算方法の種別を指定する制御信号（ｍｄｕ_ｎｏｒｍａｌ_ｍｅｔｈｏｄ）を含んでもよい。

ＰＤＵは、パッチごとに細分割レベルごとの変位量の量子化値を指定する制御信号（ｍｄｕ_ｌｏｄ_ｑｐ）を含んでもよい。

細分割レベルは、現在の段階の細分割処理回数である。例えば、細分割レベルが１のとき、基本面に対して一度細分割処理を行ったことを意味している。

以下、図５を参照して、ＦＰＳのシンタックス構成について説明する。

図５は、ＦＰＳのシンタックス構成の一例を示す図である。ここで、シンタックスの機能が同様であれば、図５に示すシンタックスメイト異なるシンタックス名が用いられても差し支えない。

図５に示すＦＰＳのシンタックス構成において、Ｄｅｓｃｒｉｐｔｉｏｎ欄は、ＰＤＵと同様である。

ＦＰＳは、フレームごとに細分割調整を行うかどうかを表すフラグ（ｍｄｕ_ｂｏｒｄｅｒ_ａｄａｐｔｉｏｎ_ｆｌａｇ）を含んでもよい。

ＦＰＳは、フレームごとに細分割調整方法を指定する制御信号（ｍｄｕ_ｂｏｒｄｅｒ_ａｄａｐｔｉｏｎ_ｍｅｔｈｏｄ）を含んでもよい。

ＦＰＳは、フレームごとに細分割メッシュ調整部において、辺分割点を移動するかどうかを表すフラグ（ｍｄｕ_ｖｅｒｔｅｘ_ａｄａｐｔｉｏｎ_ｆｌａｇ）を含んでもよい。

（細分割部２０３）
上述のように、細分割部２０３は、制御情報によって示された細分割手法により、基本メッシュ復号部２０２によって復号された基本メッシュから、追加された細分割頂点及びそれらの接続情報を生成して出力するように構成されている。

ここで、基本メッシュ、追加された細分割頂点、及び、それらの接続情報を、併せて「細分割メッシュ」と呼ぶ。

細分割部２０２は、アトラスビットストリームを復号して生成した制御情報であるｓｕｂｄｉｖｉｓｉｏｎ_ｍｅｔｈｏｄから、細分割手法の種別を特定するように構成されている。

以下、図６Ａ及び図６Ｂを参照して、細分割部２０２について説明する。

図６Ａ及び図６Ｂは、基本メッシュから細分割頂点を生成する動作の一例について説明するための図である。

図６Ａは、５つの頂点で構成された基本メッシュの一例について示す図である。

ここで、細分割には、例えば、各基本面において各辺の中点同士を接続するＭｉｄ-ｅｄｇｅ分割法を用いてもよい。これによって、ある基本面は、４つの面に分割されることになる。

図６Ｂは、５つの頂点で構成された基本メッシュを分割した細分割メッシュの一例を示す。図６Ｂに示す細分割メッシュでは、元の５つの頂点（黒丸）に加えて８つの細分割頂点（白丸）が生成されている。

変位量復号部２０６が、このように生成した細分割頂点ごとに、変位量を復号することによって、符号化性能の向上が期待できる。

また、細分割部２０２は、各パッチで異なる細分割方法を適用してもよい。これによって、変位量復号部２０６で復号される変位量をパッチごとに適応的に変化させ、符号化性能の向上が期待できる。分割したパッチの情報は、制御情報であるｐａｔｃｈ_ｉｄとして受け取られる。

以下、図７～図９を参照して、細分割部２０３について説明する。図７は、細分割部２０３の機能ブロックの一例について示す図である。

図７に示すように、細分割部２０３は、基本メッシュ細分割部２０３Ａと、細分割メッシュ調整部２０Ｂと、細分割頂点法線計算部２０３Ｃと、を有する。

（基本メッシュ細分割部２０３Ａ）
基本メッシュ細分割部２０３Ａは、入力された基本メッシュ及び基本メッシュの分割情報に基づき、基本面及び基本パッチごとの分割数（細分割数）を算出し、かかる分割数に基づいて基本メッシュを細分割し、初期細分割メッシュを出力するように構成されている。

ここで、細分割面は、細分割メッシュを構成する面であり、細分割メッシュは、基本面に対して少なくとも一度は細分割を行ったメッシュである。

すなわち、基本メッシュ細分割部２０３Ａは、基本面及び基本パッチ単位で、上述の分割数を変えることができるように構成されていてもよい。

ここで、基本面は、基本メッシュを構成する面であり、基本パッチは、いくつかの基本面の集合である。

また、基本メッシュ細分割部２０３Ａは、基本面の細分割数を予測し、予測した基本面の細分割数に対して予測分割数残差を加算することで、基本面の細分割数を算出するように構成されていてもよい。

また、基本メッシュ細分割部２０３Ａは、基本面の隣接基本面の細分割数に基づいて、基本面の細分割数を算出するように構成されていてもよい。

また、基本メッシュ細分割部２０３Ａは、直前に蓄積された基本面の細分割数に基づき、基本面の細分割数を算出するように構成されていてもよい。

また、基本メッシュ細分割部２０３Ａは、パッチごとに定義された細分割数ｍｄｕ_ｓｕｂｄｉｖｉｓｉｏｎ_ｎｕｍに基づき、基本面の細分割数を算出するように構成されていてもよい。

また、基本メッシュ細分割部２０３Ａは、基本面を構成する３辺を分割する頂点を生成し、生成した頂点を接続することで、基本面を細分割するように構成されていてもよい。

図７に示すように、基本メッシュ細分割部２０３Ａの後段に、後述の細分割メッシュ調整部を備える２０３Ｂ及び細分割頂点法線計算部２０３Ｃを備えている。

以下、図８～図１０を用いて、基本メッシュ細分割部２０３Ａの処理の一例について説明する。

図８は、基本メッシュ細分割部２０３Ａの機能ブロックの一例を示す図であり、図１０は、基本メッシュ細分割部２０３Ａの動作の一例を示すフローチャートである。

図８に示すように、基本メッシュ細分割部２０３Ａは、基本面分割数バッファ部２０３Ａ１と、基本面分割数参照部２０３Ａ２と、基本面分割数予測部２０３Ａ３と、加算部２０３Ａ４と、基本面分割部２０３Ａ５とを有する。

基本面分割数バッファ部２０３Ａ１は、基本面の分割数を含む基本面の分割情報を格納しており、基本面分割数参照部２０３Ａ２に対して基本面の分割情報を出力するように構成されている。

ここで、基本面分割数バッファ部２０３Ａ１のサイズを１とし、基本面分割数バッファ部２０３Ａ１は、基本面分割数参照部２０３Ａ２に対して、直前に蓄積された基本面の分割数を出力するように構成されていてもよい。

すなわち、基本面分割数バッファ部２０３Ａ１のサイズを１にすることで、最後に復号した細かい分割数（直前に復号した細分割数）のみを参照するように構成されていてもよい。

基本面分割数参照部２０３Ａ２は、復号対象の基本面に対して隣接する基本面が存在していない場合、或いは、復号対象の基本面に対して隣接する基本面が存在しているが分割数が確定していない場合は、基本面分割数予測部２０３Ａ３に対して、参照不可を出力するように構成されている。

一方、基本面分割数参照部２０３Ａ２は、復号対象の基本面に対して隣接する基本面が存在し且つ分割数が確定している場合は、基本面分割数予測部２０３Ａ３に対して、かかる分割数を出力するように構成されている。

基本面分割数予測部２０３Ａ３は、入力された１つ以上の分割数に基づいて基本面の分割数（細分割数）を予測し、加算部２０３Ａ４に対して、予測した分割数（予測分割数）を出力するように構成されている。

ここで、基本面分割数予測部２０３Ａ３は、基本面分割数参照部２０３Ａ２から参照不可のみが入力された場合は、加算部２０３Ａ４に対して、予測分割数として０を出力するように構成されている。

なお、基本面分割数予測部２０３Ａ３は、１つ以上の分割数が入力された場合、入力された分割数の平均値や最大値や最小値や最頻値等の統計値のいずれかを用いて、予測分割数を生成するように構成されていてもよい。

なお、基本面分割数予測部２０３Ａ３は、１つ以上の分割数が入力された場合、最も隣接する面の分割数を予測分割数として生成するように構成されていてもよい。

加算部２０３Ａ４は、予測残差ビットストリームから復号した予測分割数残差と基本面分割数予測部２０３Ａ３から取得した予測分割数とを加算することによって得られた分割数を、基本メッシュ分割数バッファ部２０３Ａ１及び基本面分割部２０３Ａ５に対して出力するように構成されている。

基本面分割部２０３Ａ５は、加算部２０３Ａ４から入力された分割数に基づき、基本面を細分割するように構成されている。

図９は、基本面を９分割したケースの一例である。図９を参照して、基本面分割部２０３Ａ５による基本面の分割方法について説明する。

図９に示すように、基本面分割部２０３Ａ５は、基本面を構成する辺ＡＢに対してＮ等分（Ｎ＝３）する点Ａ_１，…，Ａ_（Ｎ-１）を生成する。

同様に、基本面分割部２０３Ａ５は、辺ＢＣや辺ＣＡについてもＮ等分し、それぞれ点Ｂ_１，…，Ｂ_（Ｎ-１）、Ｃ_１，…，Ｃ_（Ｎ-１）を生成する。

以降、辺ＡＢ、辺ＢＣ及び辺ＣＡ上の点を「辺分割点」と呼ぶ。

基本面分割部２０３Ａ５は、全てのｉ（ｉ＝１，２，…，Ｎ-１）に対して、辺Ａ_ｉ Ｂ_（Ｎ-ｉ），Ｂ_ｉ Ｃ_（Ｎ-ｉ），Ｃ_ｉ Ａ_（Ｎ-ｉ）を生成し、Ｎ２個の細分割面を生成する。この分割方法を、以降、Ｎ２分割法と呼ぶ。Ｎ２分割法は、Ｎ＝２のときＭｉｄ-ｅｄｇｅ分割法と等価となる。

次に、図１０を参照して、基本メッシュ細分割部２０３Ａの動作の一例について説明する。

図１０に示すように、ステップＳ２２０１において、基本メッシュ細分割部２０３Ａは、最後の基本面に対して細分割処理が完了したか否かを判定する。全ての細分割処理が完了している場合、本動作は、終了し、そうでない場合は、本動作は、ステップＳ２２０２に進む。

ステップＳ２２０２において、基本メッシュ細分割部２０３Ａは、Ｄｅｐｔｈ＜ｍｄｕ_ｍａｘ_ｓｕｂｄｉｖｉｓｉｏｎ_ｉｔｅｒａｔｉｏｎ_ｃｏｕｎｔの判定を行う。

ここで、Ｄｅｐｔｈは、現在の深度を表す変数で、初期値は０であり、ｍｄｕ_ｍａｘ_ｓｕｂｄｉｖｉｓｉｏｎ_ｉｔｅｒａｔｉｏｎ_ｃｏｕｎｔは、基本面ごとに決められた最大深度を表す。

ステップＳ２２０２における条件を満たす場合は、本動作は、ステップＳ２２０３に進み、かかる条件を満たさない場合は、本動作は、ステップＳ２２０１に戻る。

ステップＳ２２０３において、基本メッシュ細分割部２０３Ａは、現在の深度におけるｍｄｕ_ｓｕｂｄｉｖｉｓｉｏｎ_ｆｌａｇが１であるか否かについて判定する。

Ｙｅｓの場合、本動作は、ステップＳ２２０１に戻り、Ｎｏの場合、本動作は、ステップＳ２２０４に進む。

ステップＳ２２０４において、基本メッシュ細分割部２０３Ａは、基本面内の全ての細分割面をさらに細分割する。

ここで、基本メッシュ細分割部２０３Ａは、基本面に対して一度も細分割処理が行われていない場合は、基本面を細分割する。

なお、細分割の方法については、図９を参照して説明した方法と同様である。

具体的には、基本メッシュ細分割部２０３Ａは、基本面が一度も細分割されていない場合は、基本面に対して図９のように細分割を行う。

一方、基本メッシュ細分割部２０３Ａは、少なくとも１回は細分割されている場合は、細分割面をＮ２個に細分割する。

図９を例にすると、頂点Ａ＿２と頂点Ｂと頂点Ｂ＿１とからなる面を、基本面の分割のときと同様にＮ２分割法を用いて、Ｎ２個の面を生成する。

細分割処理が終了したとき、本動作は、ステップＳ２２０５に進む。

ステップＳ２２０５において、基本メッシュ細分割部２０３Ａは、Ｄｅｐｔｈに１を加算し、本動作は、ステップＳ２２０２に戻る。

また、基本メッシュ細分割部２０３Ａは、全ての基本面に対して同じ上限細分割回数ｍｄｕ_ｍａｘ_ｓｕｂｄｉｖｉｓｉｏｎ_ｉｔｅｒａｔｉｏｎ_ｃｏｕｎｔだけ細分割するように細分割処理を行ってもよい。このとき、一回あたりの細分割処理は、細分割数ｍｄｕ_ｓｕｂｄｉｖｉｓｉｏｎ_ｎｕｍに基づき、Ｎ２分割法を用いて細分割を行うように構成されていてもよいし、Ｍｉｄ-ｅｄｇｅ分割法を用いて細分割を行うように構成されていてもよい。

（細分割メッシュ調整部２０３Ｂ）
次に、細分割メッシュ調整部２０３Ｂによって行われる処理の具体例について説明する。以下、図１１～図１４を用いて細分割メッシュ調整部２０３Ｂによって行われる処理の一例について説明する。

図１１は、細分割メッシュ調整部２０３Ｂの機能ブロックの一例を示す図である。

細分割メッシュ調整部２０３Ｂは、アトラスデータ復号部２０８で出力されるフレーム情報に指定された細分割調整方法に基づき、細分割メッシュを調整するように構成されていてもよい。

ここで、調整とは、メッシュ復号部２０４によってメッシュを復号するときに、メッシュに穴が空かないような細分割メッシュを生成する操作である。

図１１の例では、細分割メッシュ調整部２０３Ｂは、細分割調整方法として、初期細分割メッシュの細分割面の頂点を移動し、細分割面をさらに分割することで、メッシュを調整する方法を使用している。

図１１に示すように、細分割メッシュ調整部２０３Ｂは、辺分割点移動部７０１と、細分割面分割部７０２とを有する。

（辺分割点移動部７０１）
辺分割点移動部７０１は、入力された初期細分割面に対して、基本面の辺分割点を隣接基本面の辺分割点のいずれかに移動し、細分割面を出力するように構成されている。

辺分割点移動部７０１は、ｍｄｕ_ｖｅｒｔｅｘ_ａｄａｐｔｉｏｎ_ｆｌａｇが１のとき、辺分割点の移動を行わず、初期細分割メッシュをそのまま細分割面分割部７０２に出力するように構成されていてもよい。

図１２は、基本面ＡＢＣ上の辺分割点を移動したケースの一例である。例えば、図１２に示すように、辺分割点移動部７０１は、基本面ＡＢＣの辺分割点を最も近い隣接基本面の辺分割点に移動するように構成されていてもよい。

（細分割面分割部７０２）
細分割面分割部７０２は、入力された細分割面を再度細分割し、復号細分割面を出力するように構成されている。

図１３は、基本面内の細分割面Ｘに対して再度細分割が行われたケースの一例を示す図である。

図１３に示すように、細分割面分割部７０２は、細分割面Ｘを構成する頂点と隣接基本面の辺分割点とを接続することで、基本面内に新たな細分割面を生成するように構成されていてもよい。

図１４は、全ての細分割面に対して、上述の細分割処理を行ったケースの一例を示す図である。

（細分割頂点法線部計算部２０３Ｃ）
細分割頂点法線計算部２０３Ｃは入力された細分割面を構成する細分割頂点に対して、細分割頂点ごとに定義される法線（細分割頂点法線）を出力するように構成されている。

以下、図１５～図１６を用いて細分割頂点法線部計算部２０３Ｃによって行われる処理の一例について説明する。

図１５は、細分割頂点法線部計算部２０３Ｃの動作の一例を示すフローチャートである。

図１５に示すように、ステップＳ２０３Ｂ-１において、細分割頂点法線部計算部２０３Ｃは、全てのパッチに対して細分割頂点法線の計算が完了しているかどうかを判定する。

Ｙｅｓの場合、本動作は、終了し、Ｎｏの場合、本動作は、ステップＳ２０３Ｂ-２に進む。

ステップＳ２０３Ｂ-２において、細分割頂点法線部計算部２０３Ｃは、ｍｄｕ_ｎｏｒｍａｌ_ｍｅｔｈｏｄに基づき、細分割頂点法線の計算方法を決定し、ステップＳ２０３Ｂ-３に進む。

ステップＳ２０３Ｂ-３において、細分割頂点法線部計算部２０３Ｃは、パッチ内の全ての基本面に対して、細分割頂点法線の計算が完了しているかを判定する。

Ｙｅｓの場合、本動作は、ステップＳ２０３Ｂ-１に進み、Ｎｏの場合、本動作は、ステップＳ２０３Ｂ-４に進む。

ステップＳ２０３Ｂ-４において、細分割頂点法線部計算部２０３Ｃは、基本面内の全ての細分割頂点に対して、細分割頂点法線の計算が完了しているかを判定する。

Ｙｅｓのとき、本動作は、ステップＳ２０３Ｂ-３に進み、Ｎｏのとき、本動作は、ステップＳ２０３Ｂ-５に進む。

ステップＳ２０３Ｂ-５において、細分割頂点法線部計算部２０３Ｃは、未処理の細分割頂点の細分割頂点法線を計算し、本動作は、ステップＳ２０３Ｂ-４に進む。

図１６Ａ及び図１６Ｂは、細分割頂点法線部計算部２０３Ｃが、ステップＳ２０３Ｂ-５において、基本面ＡＢＣ内の細分割頂点Ｘに対して、細分割頂点法線を計算したものである。

図１６Ａを参照して、細分割頂点法線の計算方法の一例について説明する。

細分割頂点法線部計算部２０３Ｃは、以下の（式１）に示すように、基本点法線の合計値に基づいて、基本面ＡＢＣ上の細分割頂点Ｘの法線ｎ（ベクトル）を計算するように構成されていてもよい。

このとき、ａ，ｂ，ｃ（ベクトル）は、基本点（基本面を構成する頂点）ごとに定義されている法線（基本点法線）である。

また、図１６Ｂを参照して、細分割頂点法線の計算方法の他の一例について説明する。

細分割頂点法線部計算部２０３Ｃは、以下の（式２）に示すように、基本面ＡＢＣに隣接する基本面の法線の合計値に基づいて、基本面ＡＢＣ上の細分割頂点Ｘの法線ｎ（ベクトル）を計算するように構成されていてもよい。

このとき、ａ，ｂ，ｃ，ｄ，ｅ（ベクトル）は、基本面ＡＢＣに隣接する基本面の面法線（ベクトル）である。

また、細分割頂点法線部計算部２０３Ｃは、単純に基本面ＡＢＣの面法線を細分割頂点Ｘの法線（細分割点法線）として使用してもよい。

このように計算することで、同一基本面上に存在する細分割点法線は、基本的には同一の法線が使用される。

細分割頂点法線部計算部２０３Ｃは、細分割頂点法線が既に計算されている場合は、細分割頂点法線の計算処理を行わなくてもよい。

また、細分割頂点法線部計算部２０３Ｃは、基本点法線についても同様に、上述の細分割頂点法線の計算手法を用いて、計算してもよい。

このとき、同一基本面上に存在する細分割点法線及び基本点法線としては、基本的には、同一の法線が使用される。

（変位量復号部２０６）
図１７に示すように、変位量復号部２０６は、復号省略判定部２０６Ａと、算術復号部２０６Ｂと、コンテキスト値更新部２０６Ｃと、コンテキストバッファ２０６Ｄと、コンテキスト選択部２０６Ｅと、多値化部２０６Ｆと、インター予測部２０６Ｇと、フレームバッファ２０６Ｈと、加算器２０６Ｉと、逆量子化部２０６Ｊと、変位量予測加算部２０６Ｋとを備えている。

制御情報復号部２０６Ａは、受信した変位量ビットストリームに対して可変長復号を行うことで、制御情報を出力するように構成されている。

算術復号部２０６Ｂは、受信した変位量ビットストリームに対して算術復号を行うことで、２値化係数レベル値を出力するように構成されている。

コンテキスト値更新部２０６Ｃは、２値化係数レベル値を用いて、コンテキスト値を更新し、コンテキストバッファ２０６Ｄに出力するように構成されている。

コンテキスト選択部２０６Ｅは、コンテキストバッファ２０６Ｄから読み出されたコンテキスト値、ビット位置及びシンタックスを用いて、コンテキスト値（出力用コンテキスト値）を生成して出力するように構成されている。

多値化部２０６Ｆは、２値化係数レベル値を多値化することによって係数レベル値を生成して出力するように構成されている。生成（算出）された係数レベル値は、ビット位置及びシンタックスとしてコンテキストバッファ２０６Ｄにも出力される。

インター予測部Ｇは、フレームバッファ２０６Ｈから読み出された参照フレームを用いて、予測変位量を生成して出力するように構成されている。

フレームバッファＨは、復号変位量を取得して蓄積するように構成されている。フレームバッファＨは、図示しない制御情報に応じて、参照フレームにおいて対応する頂点における復号変位量を出力するように構成されている。

加算器２０６Ｉは、インター予測部２０６Ｇから、インター予測残差及びインター予測変位量を取得するように構成されている。加算器２０６Ｉは、これらを加算して、量子化イントラ予測残差を生成して出力するように構成されている。生成（算出）された量子化イントラ予測残差は、フレームバッファ２０６Ｈにも出力される。

逆量子化部２０６Ｊは、加算部２０６Ｉから取得した量子化イントラ予測残差に対して逆量子化を行い、イントラ予測残差を出力するように構成されている。詳細については、後述する。

変位量予測加算部２０６Ｋは、基本メッシュ復号部２０２から出力された基本メッシュに基づき細分割頂点の変位量をイントラ予測してイントラ予測値を算出し、算出したイントラ予測値と逆量子化部２０６Ｊから出力されたイントラ予測残差とを加算することで、変位量を復号するように構成されている。

（逆量子化部２０６Ｊ）
図１８は、逆量子化部２０６Ｊの動作の一例を示すフローチャートの一例を示す図である。以下、図１８を参照して、逆量子化部２０６Ｊの動作の一例について説明する。

図１８に示すように、ステップＳ２０３Ｊ-１において、逆量子化部２０６Ｊは、ｍｄｕ_ｌｏｄ_ｃｈａｎｇｅ_ｆｌａｇ［ｔｉｌｅＩＤ］［ｐａｔｃｈＩｄｘ］！＝０かどうかを判定する。

Ｙｅｓのとき、本動作は、ステップＳ２０３Ｊ-３に進み、Ｎｏのとき、本動作は、ステップＳ２０３Ｊ-２に進む。

ステップＳ２０３Ｊ-２において、逆量子化部２０６Ｊは、全ての変位量に対して逆量子化を行い、処理を終了する。

このとき、逆量子化部２０６Ｊは、参考文献２「Jinhua Yu, “Advantages of uniform scalar dead-zone quantization in image coding system,” in 2004 International Conference on Communications, Circuits and Systems (IEEE Cat. No. 04EX914). IEEE, 2004, vol. 2, pp. 805-808」に開示されている均一量子化を用いて逆量子化を行ってもよいし、その他既知の逆量子化手法を用いて逆量子化を行ってもよい。

ステップＳ２０３Ｊ-３において、逆量子化部２０６Ｊは、全てのパッチに対して処理が完了したかどうかを判定する。

Ｙｅｓのとき、本動作は、終了し、Ｎｏのとき、本動作は、ステップＳ２０３Ｊ-４に進む。

ステップＳ２０３Ｊ-４において、逆量子化部２０６Ｊは、パッチ内の全てのレベルに対して処理が完了したかどうかを判定する。

Ｙｅｓのとき、本動作は、ステップＳ２０３Ｊ-３に進み、Ｎｏのとき、本動作は、ステップＳ２０３Ｊ-５に進む。

ステップＳ２０３Ｊ-５において、逆量子化部２０６Ｊは、ｍｄｕ_ｌｏｄ_ｑｐ［ｔｉｌｅＩＤ］［ｐａｔｃｈＩｄｘ］［ｉ］に基づき、現在のレベルの量子化値を決定し、ステップＳ２０３Ｊ-６に進む。

ステップＳ２０３Ｊ-６において、逆量子化部２０６Ｊは、現在のレベルの全ての変位量に対して逆量子化処理が完了したかどうかを判定する。

Ｙｅｓのとき、本動作は、ステップＳ２０３Ｊ-４に進み、Ｎｏのとき、本動作は、ステップＳ２０３Ｊ-７に進む。

ステップＳ２０３Ｊ-７において、逆量子化部２０６Ｊは、ステップＳ２０３Ｊ-５で求めた量子化値を用いて変位量の逆量子化を行い、ステップＳ２０３Ｊ-６に進む。

このとき、逆量子化部２０６Ｊは、上述の参考文献２に開示されている均一量子化を用いて逆量子化を行ってもよいし、その他既知の逆量子化手法を用いて逆量子化を行ってもよい。

本実施形態によれば、同一基本面内の細分割頂点法線として同一のものを使用することで、効率的に変位量を符号化することが可能となる。

また、本実施形態によれば、パッチ内のメッシュの特性に応じた復号方法の設定が可能となるため、変位量のビット数を削減することができる。

上述のメッシュ符号化装置１００及びメッシュ復号装置２００は、コンピュータに各機能（各工程）を実行させるプログラムであって実現されていてもよい。

なお、本実施形態によれば、例えば、動画像通信において総合的なサービス品質の向上を実現できることから、国連が主導する持続可能な開発目標（ＳＤＧｓ）の目標９「レジリエントなインフラを整備し、持続可能な産業化を推進するとともに、イノベーションの拡大を図る」に貢献することが可能となる。

１…メッシュ処理システム
１００…メッシュ符号化装置
２００…メッシュ復号装置
２０１…多重分離部
２０２…基本メッシュ復号部
２０３…細分割部
２０３Ａ…基本メッシュ細分割部
２０３Ａ１…基本面分割数バッファ部
２０３Ａ２…基本面分割数参照部
２０３Ａ３…基本面分割数予測部
２０３Ａ４…加算部
２０３Ａ５…基本面分割部
２０３Ｂ…細分割メッシュ調整部
７０１…辺分割点移動部
７０２…細分割面分割部
２０３Ｃ…細分割頂点法線計算部
２０４…メッシュ復号部
２０５…パッチ統合部
２０６…変位量復号部
２０６Ａ…制御情報復号部
２０６Ｂ…算術復号部
２０６Ｃ…コンテキスト値更新部
２０６Ｄ…コンテキストバッファ
２０６Ｅ…コンテキスト選択部
２０６Ｆ…多値化部
２０６Ｆ２…係数レベル値復号部
２０６Ｇ…インター予測部
２０６Ｈ…フレームバッファ
２０６Ｉ…加算器
２０６Ｊ…逆量子化部
２０６Ｋ…変位量予測加算部
２０７…映像復号部
２０８…アトラスデータ復号部

Claims (7)

1. メッシュ復号装置であって、
   基本メッシュを細分割して初期細分割メッシュを出力するように構成されている基本面分割部と、
   前記初期細分割メッシュを構成する頂点ごとに法線を計算するように構成されている細分割頂点法線計算部と、
   前記初期細分割メッシュの面を構成する頂点の位置を移動した後に、細分割面を分割することで、細分割メッシュを調整するように構成されている細分割メッシュ調整部とを備えることを特徴とするメッシュ復号装置。
2. 前記細分割頂点法線計算部は、前記初期細分割メッシュ内の基本面を構成する頂点である基本点ごとに定義されている基本点法線の合計値に基づき、前記基本面内の細分割頂点法線を計算するように構成されていることを特徴とする請求項１に記載のメッシュ復号装置。
3. 前記細分割頂点法線計算部は、前記初期細分割メッシュ内の基本面に隣接する基本面の法線の合計値に基づき、前記基本面内の細分割頂点法線を計算するように構成されていることを特徴とする請求項１に記載のメッシュ復号装置。
4. 前記細分割頂点法線計算部は、前記初期細分割メッシュ内の基本面内の頂点である基本点及び細分割点の法線として同一のものを使用するように構成されていることを特徴とする請求項１に記載のメッシュ復号装置。
5. 前記細分割頂点法線計算部は、前記初期細分割メッシュ内の基本面内の基本点及び細分割点の法線が復号順番において既に計算されている場合、前記基本点及び前記細分割点の法線として、前記既に計算されている法線を使用するように構成されていることを特徴とする請求項１に記載のメッシュ復号装置。
6. メッシュ復号方法であって、
   基本メッシュを細分割して初期細分割メッシュを出力する工程と、
   前記初期細分割メッシュを構成する頂点ごとに法線を計算する工程と、
   前記初期細分割メッシュの面を構成する頂点の位置を移動した後に、細分割面を分割することで、細分割メッシュを調整する工程とを有することを特徴とするメッシュ復号方法。
7. コンピュータを、メッシュ復号装置として機能させるプログラムであって、
   前記メッシュ復号装置は、
   基本メッシュを細分割して初期細分割メッシュを出力するように構成されている基本面分割部と、
   前記初期細分割メッシュを構成する頂点ごとに法線を計算するように構成されている細分割頂点法線計算部と、
   前記初期細分割メッシュの面を構成する頂点の位置を移動した後に、細分割面を分割することで、細分割メッシュを調整するように構成されている細分割メッシュ調整部とを備えることを特徴とするプログラム。

Images