JP7734112B2 - メッシュ復号装置、メッシュ符号化装置、メッシュ復号方法及びプログラム - Google Patents

メッシュ復号装置、メッシュ符号化装置、メッシュ復号方法及びプログラム

Info

Publication number
JP7734112B2
JP7734112B2 JP2022067446A JP2022067446A JP7734112B2 JP 7734112 B2 JP7734112 B2 JP 7734112B2 JP 2022067446 A JP2022067446 A JP 2022067446A JP 2022067446 A JP2022067446 A JP 2022067446A JP 7734112 B2 JP7734112 B2 JP 7734112B2
Authority
JP
Japan
Prior art keywords
mesh
point cloud
polygons
conversion unit
decoded
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022067446A
Other languages
English (en)
Other versions
JP2023157502A (ja
Inventor
建鋒 徐
賢史 小森田
恭平 海野
圭 河村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDDI Corp filed Critical KDDI Corp
Priority to JP2022067446A priority Critical patent/JP7734112B2/ja
Publication of JP2023157502A publication Critical patent/JP2023157502A/ja
Application granted granted Critical
Publication of JP7734112B2 publication Critical patent/JP7734112B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Generation (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、メッシュ復号装置、メッシュ符号化装置、メッシュ復号方法及びプログラムに関する。
非特許文献１には、ビデオベースの点群を符号化するという非特許文献２の技術を拡張し、非特許文献３で定義したＤｙｎａｍｉｃ ｍｅｓｈを符号化する技術が開示されている。
Graziosi, Danillo Bracco. "Video-Based Dynamic Mesh Coding." 2021 IEEE International Conference on Image Processing (ICIP). IEEE, 2021. ISO/IEC FDIS 23090-5:2020, Information technology -Coded representation of immersive media - Part 5: Visual Volumetric Video-based Coding (V3C) and Video-based Point Cloud Compression (V-PCC). CfP for Dynamic Mesh Coding，ISO/IEC JTC1/SC29/WG7 N00231, MPEG136 - OnLine. ISO/IEC 23008-2:2020, Information technology - High efficiency coding and media delivery in heterogeneous environments - Part 2: High efficiency video coding. Preliminary metrics for Mesh Coding, ISO/IEC JTC1/SC29/WG7 N00113, MPEG133 - OnLine. Sun, Yiyong, et al. "Triangle mesh-based edge detection and its application to surface segmentation and adaptive surface smoothing." Proceedings. International Conference on Image Processing. Vol. 3. IEEE, 2002. [V-PCC] Generation of mesh connectivity for point clouds, ISO/IEC JTC1/SC29/WG11 MPEG2020/m53533, MPEG130 - Alpbach.
しかしながら、非特許文献１に開示されているビデオベースのメッシュ符号化技術では、メッシュのポリゴン数が単一であるので、低ビットレートから高ビットレートまで幅広いビットレート範囲に最適化が困難であるという問題点があった。 そこで、本発明は、上述の課題に鑑みてなされたものであり、メッシュの符号化効率を向上させることができるメッシュ復号装置、メッシュ符号化装置、メッシュ復号方法及びプログラムを提供することを目的とする。
本発明の第１の特徴は、メッシュ復号装置であって、符号化されたビットストリームから、テキスチャー情報を含む点群及びメッシュの統計データを復号するように構成されている点群復号部と、復号された前記統計データにより、復号された前記点群を前記メッシュに変換するように構成されているメッシュ変換部とを備えることを要旨とする。
本発明の第２の特徴は、メッシュ符号化装置であって、点群のパッチを符号化するパッチ順でポリゴン数を符号化し、前記ポリゴン数を送らないパッチにおいて前記ポリゴン数を０にした上で符号化するように構成されていることを要旨とする。
本発明の第３の特徴は、メッシュ復号方法であって、符号化されたビットストリームから、テキスチャー情報を含む点群及びメッシュの統計データを復号する工程と、復号された前記統計データにより、復号された前記点群を前記メッシュに変換する工程とを有することを要旨とする。
本発明の第４の特徴は、コンピュータを、メッシュ復号装置として機能させるプログラムであって、前記メッシュ復号装置は、符号化されたビットストリームから、テキスチャー情報を含む点群及びメッシュの統計データを復号するように構成されている点群復号部と、復号された前記統計データにより、復号された前記点群を前記メッシュに変換するように構成されているメッシュ変換部とを具備することを要旨とする。
本発明によれば、メッシュの符号化効率を向上させることができるメッシュ復号装置、メッシュ符号化装置、メッシュ復号方法及びプログラムを提供することができる。
図１は、一実施形態に係るメッシュ符号化装置１００の機能ブロックの一例を示す図である。 図２Ａは、一実施形態に係るメッシュ符号化装置１００の点群変換部１０１によってポリゴンＡが分割される様子の一例を示す図である。図２Ｂは、一実施形態に係るメッシュ符号化装置１００の点群変換部１０１によってポリゴンＡが分割される様子の一例を示す図である。 図３は、一実施形態に係るメッシュ符号化装置１００の点群変換部１０１によってテキスチャー特徴を考慮して点群の点が生成される様子の一例を示す図である。 図４は、一実施形態に係るメッシュ符号化装置１００の点群変換部１０１によって点ｐの色Ｃ（ｐ）について算出される様子の一例を示す図である。 図５は、一実施形態に係るメッシュ復号装置２００の機能ブロックの一例を示す図である。 図６は、一実施形態に係るメッシュ復号装置２００のメッシュ変換部２０２によってＳｃｒｅｅｎｅｄ Ｐｏｉｓｓｏｎ法によりポリゴンが生成される様子の一例を示す図である。 図７は、一実施形態に係るメッシュ復号装置２００のメッシュ変換部２０２によって指示関数からポリゴンが生成される様子の一例を示す図である。 図８は、一実施形態に係るメッシュ復号装置２００のメッシュ変換部２０２によってメッシュが簡略化されテキスチャー画像及びＵＶ座標が修正される様子の一例を示す図である。 図９は、一実施形態に係るメッシュ復号装置２００のメッシュ変換部２０２によってｅｄｇｅ ｃｏｌｌａｐｓｅ用いてエッジが削減される様子の一例を示す図である。 図１０は、一実施形態に係るメッシュ復号装置２００のメッシュ変換部２０２によって隣接するパッチ間におけるエッジ不足の問題が解決される様子の一例を示す図である。 図１１は、一実施形態に係るメッシュ復号装置２００のメッシュ変換部２０２によってｚｉｐｐｅｒｉｎｇ ａｌｇｏｒｉｔｈｍを用いて境界Ｌ１におけるギャップが埋められる様子の一例を示す図である。
以下、本発明の実施の形態について、図面を参照しながら説明する。なお、以下の実施形態における構成要素は、適宜、既存の構成要素等との置き換えが可能であり、また、他の既存の構成要素との組み合わせを含む様々なバリエーションが可能である。したがって、以下の実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。
＜第１実施形態＞
以下、図１～図１１を参照して、本実施形態に係るメッシュ符号化装置１００及びメッシュ復号装置２００について説明する。図１は、本実施形態に係るメッシュ符号化装置１００の機能ブロックの一例について示す図であり、図２は、本実施形態に係るメッシュ復号装置２００の機能ブロックの一例について示す図である。
図１に示すように、メッシュ符号化装置１００は、点群変換部１０１と、点群符号化部１０２とを有する。
点群変換部１０１は、メッシュのテキスチャー特徴又は幾何学的な特徴を考慮して、メッシュを、色情報を含む点群（Ｐｏｉｎｔ ｃｌｏｕｄ）に変換するように構成されている。
ここで、メッシュのテキスチャー特徴は、非特許文献３に規定されている「Ｔｅｘｔｕｒｅ ｍａｐ ＰＮＧ」に対応し、メッシュの幾何学的な特徴は、非特許文献３に規定されている「Ｍｅｓｈ ＯＢＪ」に対応する。
なお、「Ｔｅｘｔｕｒｅ ｍａｐ ＰＮＧ」は、非特許文献３に規定されている「Ａｔｔｒｉｂｕｔｅ ｍａｐｓ」を含み、「Ｍｅｓｈ ＯＢＪ」は、非特許文献３に規定されている「Ｃｏｎｎｅｃｔｉｖｉｔｙ Ｉｎｆｏｒｍａｔｉｏｎ」、「Ｇｅｏｍｅｔｒｙ Ｉｎｆｏｒｍａｔｉｏｎ」及び「Ｍａｐｐｉｎｇ Ｉｎｆｏｒｍａｔｉｏｎ」を含む。
具体的には、ステップ１として、点群変換部１０１は、メッシュの幾何学的な特徴（「Ｇｅｏｍｅｔｒｙ Ｉｎｆｏｒｍａｔｉｏｎ」）に基づいて、ポリゴンの頂点自身を点群の点として利用するように構成されている。ただし、隣のポリゴンで共通の頂点は、点群の中に重複しないように削除する。
ステップ２として、点群変換部１０１は、メッシュの幾何学的な特徴（「Ｇｅｏｍｅｔｒｙ Ｉｎｆｏｒｍａｔｉｏｎ」）に基づいて、ポリゴンの内部における点群の点を生成するように構成されている。
例えば、点群変換部１０１は、図２Ａに示すように、Ｓｕｂｄｉｖｉｓｉｏｎを用いてポリゴンＡを分割し、その後、図２Ｂに示すように、Ｓｕｂｄｉｖｉｓｉｏｎを用いてポリゴンＡを再度分割するように構成されている。
ここで、点群変換部１０１は、Ｓｕｂｄｉｖｉｓｉｏｎを用いて分割された各ポリゴンで最短エッジの長さが閾値より長いと、かかるポリゴンをＳｕｂｄｉｖｉｓｉｏｎで再度分割するように構成されていてもよい。
点群変換部１０１は、最短エッジの長さが閾値より長いポリゴンがなくなるまで、ステップ２における処理を繰り返すように構成されていてもよい。
そして、点群変換部１０１は、このように分割したポリゴンの全ての頂点を点群の点として利用するように構成されている。ただし、上述と同様に、隣のポリゴンのエッジで共通の頂点は、点群の中に重複しないように削除する。
なお、このようにして生成されたポリゴンＡの内部における点群の点（例えば、図２Ｂにおける点Ｘ）は、ポリゴンＡと同じ平面内に存在する。
ここで、点群変換部１０１は、非特許文献６を用いて、よりスムーズに変化できるように、点群の点の位置座標を微調整するように構成されていてもよい。
なお、上述の閾値は、事前に設定されるものであり、メッシュ全体ではなく領域毎に設定されてもよい。かかる閾値の大きさは、点群の点の数に影響を及ぼし、更に符号化効率に影響を及ぼす。
また、点群変換部１０１は、非特許文献５に記載されているｇｒｉｄ ｓａｍｐｌｉｎｇやｆａｃｅ ｓａｍｐｌｉｎｇ等を使って、ポリゴンの内部における点群の点を生成するように構成されていてもよい。
また、点群変換部１０１は、上述の幾何的な特徴を考慮して、上述の閾値を調整するように構成されていてもよい。
例えば、点群変換部１０１は、非特許文献６を用いて、メッシュから幾何的なエッジを検出し、かかるエッジと繋がるポリゴンに対して、上述の閾値を低くし（例えば、半分にし）、ポリゴンの内部における点群の点を、より多く生成するように構成されていてもよい。
ステップ３として、点群変換部１０１は、テキスチャー特徴を考慮して、点群の点を生成するように構成されている。
例えば、図３に示すように、点群変換部１０１は、１つのポリゴンＡをテキスチャー画像Ｔにマッピングすると、ポリゴンＡの中に、テキスチャー画像Ｔのエッジがある時に、かかるエッジに沿って一定距離ずつに点Ｂを生成するように構成されている。
点群変換部１０１は、このようにして生成した点Ｂを、元のポリゴンＡに逆マッピングし、３次元座標を求めて、点群の点として利用するように構成されている。ただし、上述のステップ１及びステップ２で生成した点と共通する点は、点群の中に重複しないように削除する。
また、上述のようにして生成された点群の各点は、色情報を持っていないため、点群変換部１０１は、点群の各点に対して色情報を付与するように構成されている。
具体的には、点群変換部１０１は、ポリゴンの頂点の色は、ＵＶマッピングの座標で取ったテキスチャー画像のピクセルのＲＢＧ値とするように構成されている。
例えば、点群変換部１０１は、ポリゴン内部の点に対して、以下の手順で色を付ける。
図４に示すように、テキスチャー画像にマッピングした点は、点pであり、かかる点ｐの周りのピクセルは、ａ、ｂ、ｃ、ｄである。
かかる場合、点群変換部１０１は、点ｐの色Ｃ（ｐ）について、以下の式（１）～（５）によって算出するように構成されている。
すなわち、点群変換部１０１は、テキスチャー画像において点群の点の周りのピクセルのＲＧＢ値を重み付け平均することによって、かかる点の色を算出するように構成されている。
点群変換部１０１は、点群の各点に対して、テキスチャー情報によって、このようにして算出した色情報を付与するように構成されている。
点群符号化部１０２は、例えば、非特許文献２に規定されている技術と同様に、点群変換部１０１によって変換された点群を符号化すると共に、メッシュの統計データを符号化するように構成されている。
ここで、非特許文献２に規定されているＶ-ＰＣＣとの違いは、メッシュの統計データを符号化する点である。
なお、統計データは、例えば、ポリゴン数を含んでもよいし、頂点数やエッジ数を含んでもよい。点群符号化部１０２は、ポリゴン数Ｆが存在しない場合、頂点数Ｖやエッジ数Ｅに基づいて、以下の式で、ポリゴン数Ｆを算出するように構成されていてもよい。
Ｆ＝２Ｖ
Ｆ＝２Ｅ/３
非特許文献２は、点群を複数のパッチにセグメンテーションし、それぞれを適当な平面に射影し、点群の色及び位置座標を２次元のテキスチャーパッチ及びデプスパッチの集合に変換するように規定されている。
点群符号化部１０２は、これらのパッチを１枚の大きなテキスチャー画像及びデプス画像に統合して、非特許文献４に示すような通常の動画像符号化方式によって符号化するように構成されていてもよい。
なお、非特許文献２に規定されているＶ-ＰＣＣとの違いは、点群符号化部１０２がパッチ毎又はメッシュ全体でメッシュの統計データを符号化する点にある。
点群符号化部１０２は、符号化した統計データについてＲＡＷパッチとしてビットストリームに入れるように構成されている。
点群符号化部１０２は、パッチ毎でポリゴン数を符号化する場合、パッチを符号化する順でポリゴン数を符号化し、ポリゴン数を送らないパッチにおいてポリゴン数を０にした上で符号化するように構成されている。
ここで、点群符号化部１０２は、ポリゴン数の符号化において、Ｐｒｅｄｉｃｔｉｖｅ ｃｏｄｉｎｇを用いるように構成されていてもよい。
Predictive codingを使う。
図５に示すように、メッシュ復号装置２００は、点群復号部２０１と、メッシュ変換部２０２とを有する。
点群復号部２０１は、非特許文献２を用いて、メッシュ符号化装置１００から受信したビットストリームからテキスチャー情報を含む点群を復号すると共に、メッシュの統計データを復号するように構成されている。
具体的には、点群復号部２０１は、非特許文献２に規定されている技術と同様に、ビットストリームから各パッチの２次元のテキスチャーパッチ及びデプスパッチを復号し、３次元の点群を再建し、後処理を行って最終的な点群を出力するように構成されていてもよい。
また、点群復号部２０１は、ビットストリーム内のＲＡＷパッチからメッシュ全体又は各パッチでメッシュのポリゴン数を復号するように構成されていてもよい。
ここで、点群復号部２０１は、Ｐｒｅｄｉｃｔｉｖｅ ｃｏｄｉｎｇで符号化されたメッシュ全体及びパッチ毎のポリゴン数を点群のパッチ順で復号し、各パッチに対応する点のインデックスを記録するように構成されていてもよい。
メッシュ変換部２０２は、点群復号部２０１によって復号された統計データにより、点群復号部２０１によって復号された点群をメッシュに変換するように構成されている。
具体的には、メッシュ変換部２０２は、パッチ毎又はメッシュ全体で復号された統計データにより、非特許文献７を用いて、点群復号部２０１によって復号された点群をメッシュ（テキスチャー情報を含む）に変換するように構成されていてもよい。
例えば、メッシュ変換部２０２は、以下の手順で、点群をメッシュに変換するように構成されていてもよい。ここで、統計データに含まれるポリゴン数がパッチ毎に指定されていてもメッシュ全体に指定されていても、以下の手順が変わらない。
ステップ１として、メッシュ変換部２０２は、点群で各点の法線を算出するように構成されている。
ここで、メッシュ変換部２０２は、ある点ｐｉに対してｍ個の近傍点（点ｐｉを含む）を見つけて、以下の式（６）によって、重心ｃを算出するように構成されている。
メッシュ変換部２０２は、算出した重心ｃ及びｍ個の近傍点から、以下の式（７）によって、共分散行列（ｃｏｖａｒｉａｎｃｅ ｍａｔｒｉｘ）を算出し、固有値分解で共分散行列から算出した最小固有値に対応する固有ベクトル（ｅｉｇｅｎｖｅｃｔｏｒ）を、各点の法線とするように構成されている。
ステップ２として、メッシュ変換部２０２は、図６に示すように、Ｓｃｒｅｅｎｅｄ Ｐｏｉｓｓｏｎ法により、各点の法線を用いてポリゴンを生成し、テキスチャー画像及びＵＶ座標を生成するように構成されている。
具体的には、メッシュ変換部２０２は、生成したポリゴンをモニターに描画する際に、ポリゴンの２次元画像をテキスチャー画像に埋め、各ポリゴンのテキスチャー画像を組み合わせ、一枚の大きいテキスチャー画像を生成する。
ここで、かかる大きいテキスチャー画像が、上述の「テキスチャー画像」である。また、かかる大きいテキスチャー画像の中の各ポリゴンのテキスチャー画像の位置が、ＵＶ座標である。
ここで、図６（ａ）～図６（ｄ）は、それぞれ、上述の点群及び法線から算出されたベクトル場（Ｖｅｃｔｏｒ Ｆｉｅｌｄ）、指示関数の勾配（Ｉｎｄｉｃａｔｏｒ ｇｒａｄｉｅｎｔ）、指示関数（Ｉｎｄｉｃａｔｏｒ ｆｕｎｃｔｉｏｎ）及びＳｕｒｆａｃｅである。ここで、Ｓｕｒｆａｃｅは、既に、ポリゴンである。
具体的には、メッシュ変換部２０２は、図７に示すように、指示関数から、ポリゴン（Ｓｕｒｆａｃｅ）を生成するように構成されていてもよい。
例えば、図７に示すように、メッシュ変換部２０２は、指示関数によって離散化した３次元空間を、ポリゴンＧの内部ＧＩと外部ＧＯとに分割することができる。ここで、図７に示すように、メッシュ変換部２０２は、ポリゴンＧの内部ＧＩと外部ＧＯとの境界ＢにおいてポリゴンＧを作るように構成されていてもよい。
すなわち、メッシュ変換部２０２は、Ｓｕｒｆａｃｅから離散化したＶｏｘｅｌ（図７のＶ）でメッシュ（図７のＭ）を生成するように構成されていてもよい。
ステップ３として、メッシュ変換部２０２は、指定されたポリゴン数までメッシュを簡略化し、テキスチャー画像及びＵＶ座標を修正するように構成されている。
ただし、ここで指定されたポリゴン数が、ステップ２で生成したポリゴン数より多い場合は、メッシュ変換部２０２は、ステップ３をスキップするように構成されている。ステップ３の具体的なプロセスは、以下の通りである。
第１に、メッシュ変換部２０２は、メッシュから、削除すべきエッジを選定するように構成されている。
図８に示すように、メッシュ変換部２０２は、あるエッジｕｖ（三角形の一辺）のコストを算出し、対象エッジの中からコストが最も小さいエッジを選定するように構成されている。
ここで、コストの定義は、エッジを削除した場合の視覚的な変化の大きさである。つまり、平坦な領域のポリゴンのエッジ又は短くて細かいエッジのコストが低い。
具体的に、メッシュ変換部２０２は、式（８）で、エッジのコストを算出するように構成されている。
ここで、Ｔｕは、頂点ｕを含むポリゴンの集合であり、Ｔｕｖは、頂点ｕ及び頂点ｖを含むポリゴンの集合であり、||ｕ－ｖ||は、頂点ｕと頂点ｖとの間の距離（エッジｕｖの長さ）である。
第２に、メッシュ変換部２０２は、図９に示すように、ｅｄｇｅ ｃｏｌｌａｐｓｅという操作を用いて、選定したエッジを削減することで、メッシュ（ポリゴン）の簡略化を行うように構成されている。
ここで、ｅｄｇｅ ｃｏｌｌａｐｓｅは、図９（ａ）における頂点Ｖｔと頂点Ｖｓとの間のエッジを消去の対象とし、図９（ｂ）に示すように、頂点Ｖｔと頂点Ｖｓとを結合する（頂点Ｖｔを削除する）操作である。このように、ｅｄｇｅ ｃｏｌｌａｐｓｅを１回実施すると、ポリゴン数が２つ減ることになる。
なお、図９（ｂ）の状態を図９（ａ）の状態に変更することでメッシュ（ポリゴン）詳細化する操作を、ｖｅｔｒｅｘ ｓｐｌｉｔと呼ぶ。
メッシュ変換部２０２は、指定されたポリゴン数になるまで、図８及び図９に示す操作を繰り返して行うように構成されていてもよい。
上述の操作が、メッシュ全体で実施された場合は、後処理が不要であるが、上述の操作が、パッチ毎で実施された場合、メッシュ変換部２０２は、隣接するパッチのメッシュに対して後処理を実施するように構成されていてもよい。
例えば、メッシュ変換部２０２は、以下のステップを実施するように構成されていてもよい。
第１に、パッチの境界のポリゴンは、エッジ不足が発生するため、メッシュ変換部２０２は、境界のエッジ毎で、以下のような処理を実施するように構成されている。
図１０に示すパッチＰ１の境界であるＬ１が、処理対象のエッジであるものとする。ここで、実際には、パッチＰ１とパッチＰ２/Ｐ３とは接しているものとする。
ここで、メッシュ変換部２０２は、境界Ｌ１から隣のパッチＰ２/Ｐ３のポリゴンの頂点Ｖ１～Ｖ３と最も近い頂点Ｄ１～Ｄ３を見つけるように構成されている。
次に、メッシュ変換部２０２は、頂点Ｄ１～Ｄ３と最も近い頂点Ｖ１～Ｖ３の距離が閾値以内であれば、点線Ｌ１１～Ｌ１３を新しいエッジとして追加するように構成されている。
なお、メッシュ変換部２０２は、全ての境界のエッジに対する本操作が終わったら、隣接するパッチ間におけるエッジ不足の問題を解決することできる。
ここで、Ｌｏｓｓｙ ｃｏｍｐｒｅｓｓｉｏｎのため、図１０に示すように、パッチＰ１とパッチＰ２/Ｐ３との境界Ｌ１でギャップ発生している場合、メッシュ変換部２０２は、非特許文献１に規定されている技術と同様に、ｚｉｐｐｅｒｉｎｇ ａｌｇｏｒｉｔｈｍを用いて、かかるギャップを埋めるように構成されていてもよい。
かかる場合、メッシュ変換部２０２は、図１１に示すように、ギャップが生じる頂点のペア（図１１の例では、頂点Ｖ１と頂点Ｄ１とのペア、頂点Ｖ２と頂点Ｄ２とのペア及び頂点Ｖ３と頂点Ｄ３とのペア）を見つけて、かかるペア同士の頂点を平均してマージするように構成されていてもよい。
本発明によれば、映像符号化チップや点群符号化チップの再利用ができるようになり、メッシュの符号化効率を向上できる。
上述のメッシュ符号化装置１００及びメッシュ復号装置２００は、コンピュータに各機能（各工程）を実行させるプログラムであって実現されていてもよい。
なお、本実施形態によれば、例えば、動画像通信において総合的なサービス品質の向上を実現できることから、国連が主導する持続可能な開発目標（ＳＤＧｓ）の目標９「レジリエントなインフラを整備し、持続可能な産業化を推進するとともに、イノベーションの拡大を図る」に貢献することが可能となる。
１００…メッシュ符号化装置
１０１…点群変換部
１０２…点群符号化部
２００…メッシュ復号装置
２０１…点群復号部
２０２…メッシュ変換部
Ａ…ポリゴン
Ｔ…テキスチャー画像

Claims (11)

  1. メッシュ復号装置であって、
    符号化されたビットストリームから、テキスチャー情報を含む点群及びメッシュの統計データを復号するように構成されている点群復号部と、
    復号された前記統計データにより、復号された前記点群を前記メッシュに変換するように構成されているメッシュ変換部とを備え、
    前記メッシュ変換部は、前記点群から法線を算出し、前記法線によりポリゴンを生成し、前記メッシュ全体又は一部のポリゴン数まで前記メッシュを簡略化し、テキスチャー画像及びＵＶ座標を生成するように構成されていることを特徴とするメッシュ復号装置。
  2. メッシュ復号装置であって、
    符号化されたビットストリームから、テキスチャー情報を含む点群及びメッシュの統計データを復号するように構成されている点群復号部と、
    復号された前記統計データにより、復号された前記点群を前記メッシュに変換するように構成されているメッシュ変換部とを備え、
    前記メッシュ変換部は、前記メッシュ内のポリゴンのエッジのコストを算出し、前記コストが最も小さいエッジから前記ポリゴンを簡略化する操作を繰り返すように構成されていることを特徴とするメッシュ復号装置。
  3. 前記統計データは、ポリゴン数及び前記ポリゴンの頂点数の少なくとも一方を含むことを特徴とする請求項１又は２に記載のメッシュ復号装置。
  4. 前記点群復号部は、前記ビットストリーム内のＲＡＷパッチからメッシュ全体又はパッチ毎で前記統計データを復号するように構成されている請求項１又は２に記載のメッシュ復号装置。
  5. 前記メッシュ変換部は、目標のポリゴン数までｅｄｇｅ ｃｏｌｌａｐｓｅを繰り返して、前記ポリゴンを簡略化するように構成されていることを特徴とする請求項２に記載のメッシュ復号装置。
  6. 前記メッシュ変換部では、パッチの境界で前記エッジが不足している前記ポリゴンに対して新しいエッジを作るように構成されていることを特徴とする請求項５に記載のメッシュ復号装置。
  7. 前記メッシュ変換部では、前記パッチの境界でｚｉｐｐｅｒｉｎｇ ａｌｇｏｒｉｔｈｍを用いてギャップが生じる頂点のペアを見つけて、前記ペア同士の頂点を平均してマージすることで前記ギャップを埋めるように構成されていることを特徴とする請求項６に記載のメッシュ復号装置。
  8. メッシュ復号方法であって、
    符号化されたビットストリームから、テキスチャー情報を含む点群及びメッシュの統計データを復号する工程Ａと、
    復号された前記統計データにより、復号された前記点群を前記メッシュに変換する工程Ｂとを有し、
    前記工程Ｂにおいて、前記点群から法線を算出し、前記法線によりポリゴンを生成し、前記メッシュ全体又は一部のポリゴン数まで前記メッシュを簡略化し、テキスチャー画像及びＵＶ座標を生成することを特徴とするメッシュ復号方法。
  9. メッシュ復号方法であって、
    符号化されたビットストリームから、テキスチャー情報を含む点群及びメッシュの統計データを復号する工程Ａと、
    復号された前記統計データにより、復号された前記点群を前記メッシュに変換する工程Ｂとを有し、
    前記工程Ｂにおいて、前記メッシュ内のポリゴンのエッジのコストを算出し、前記コストが最も小さいエッジから前記ポリゴンを簡略化する操作を繰り返すことを特徴とするメッシュ復号方法。
  10. コンピュータを、メッシュ復号装置として機能させるプログラムであって、
    前記メッシュ復号装置は、
    符号化されたビットストリームから、テキスチャー情報を含む点群及びメッシュの統計データを復号するように構成されている点群復号部と、
    復号された前記統計データにより、復号された前記点群を前記メッシュに変換するように構成されているメッシュ変換部とを具備し、
    前記メッシュ変換部は、前記点群から法線を算出し、前記法線によりポリゴンを生成し、前記メッシュ全体又は一部のポリゴン数まで前記メッシュを簡略化し、テキスチャー画像及びＵＶ座標を生成するように構成されていることを特徴とするプログラム。
  11. コンピュータを、メッシュ復号装置として機能させるプログラムであって、
    前記メッシュ復号装置は、
    符号化されたビットストリームから、テキスチャー情報を含む点群及びメッシュの統計データを復号するように構成されている点群復号部と、
    復号された前記統計データにより、復号された前記点群を前記メッシュに変換するように構成されているメッシュ変換部とを具備し、
    前記メッシュ変換部は、前記メッシュ内のポリゴンのエッジのコストを算出し、前記コストが最も小さいエッジから前記ポリゴンを簡略化する操作を繰り返すように構成されていることを特徴とするプログラム。
JP2022067446A 2022-04-15 2022-04-15 メッシュ復号装置、メッシュ符号化装置、メッシュ復号方法及びプログラム Active JP7734112B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022067446A JP7734112B2 (ja) 2022-04-15 2022-04-15 メッシュ復号装置、メッシュ符号化装置、メッシュ復号方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022067446A JP7734112B2 (ja) 2022-04-15 2022-04-15 メッシュ復号装置、メッシュ符号化装置、メッシュ復号方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2023157502A JP2023157502A (ja) 2023-10-26
JP7734112B2 true JP7734112B2 (ja) 2025-09-04

Family

ID=88469083

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022067446A Active JP7734112B2 (ja) 2022-04-15 2022-04-15 メッシュ復号装置、メッシュ符号化装置、メッシュ復号方法及びプログラム

Country Status (1)

Country Link
JP (1) JP7734112B2 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012221319A (ja) 2011-04-11 2012-11-12 Canon Inc 画像処理装置、画像処理方法
JP2013507701A (ja) 2009-10-15 2013-03-04 トムソン ライセンシング メッシュ・モデルを符号化する方法及び装置、符号化されたメッシュ・モデル、並びに、メッシュ・モデルを復号化する方法及び装置
US20200286261A1 (en) 2019-03-07 2020-09-10 Samsung Electronics Co., Ltd. Mesh compression
WO2021261237A1 (ja) 2020-06-22 2021-12-30 ソニーグループ株式会社 情報処理装置および方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013507701A (ja) 2009-10-15 2013-03-04 トムソン ライセンシング メッシュ・モデルを符号化する方法及び装置、符号化されたメッシュ・モデル、並びに、メッシュ・モデルを復号化する方法及び装置
JP2012221319A (ja) 2011-04-11 2012-11-12 Canon Inc 画像処理装置、画像処理方法
US20200286261A1 (en) 2019-03-07 2020-09-10 Samsung Electronics Co., Ltd. Mesh compression
WO2021261237A1 (ja) 2020-06-22 2021-12-30 ソニーグループ株式会社 情報処理装置および方法

Also Published As

Publication number Publication date
JP2023157502A (ja) 2023-10-26

Similar Documents

Publication Publication Date Title
CN113892235B (zh) 用于点云解码的方法和装置
CN115152225B (zh) 点云译码的方法、计算机装置、设备及计算机可读介质
CN116997935A (zh) 用于网格压缩的块压缩
CN116711305A (zh) 用于解码器执行网格压缩的自适应采样方法和装置
JP7537033B2 (ja) メッシュ展開のための方法、装置、およびコンピュータプログラム
JP7651728B2 (ja) メッシュ圧縮のための境界ジオメトリ情報の予測コーディング
TW202348035A (zh) 在基於幾何形狀的點雲壓縮中使用訊框間預測利用基於動態的具有即時更新的最優二進位譯碼器（ｏｂｕｆ）的八叉樹佔用譯碼進行佔用譯碼
CN116888631A (zh) 基于点云压缩的动态网格压缩
CN117157671A (zh) 用于编码及解码3d点云的方法、编码器及解码器
CN116368523A (zh) Uv坐标编码
KR20240112296A (ko) 인스턴스 기반 메시 코딩을 위한 적응적 양자화
CN119678499A (zh) 用于点云编解码的方法、装置和介质
US20240346707A1 (en) Attribute coding and upscaling for point cloud compression
CN116848553A (zh) 基于二维uv地图集采样的用于动态网格压缩的方法
CN117461054A (zh) 具有推导的纹理坐标的网格压缩
CN113240788B (zh) 三维数据的传输和接收方法、设备和计算机可读存储介质
KR20240101612A (ko) 인스턴스 기반 메시 코딩을 위한 방법
JP7734112B2 (ja) メッシュ復号装置、メッシュ符号化装置、メッシュ復号方法及びプログラム
JP7589904B2 (ja) メッシュ圧縮のためのパッチ時間的位置合わせの符号化
JP7712890B2 (ja) メッシュ復号装置、メッシュ符号化装置、メッシュ復号方法及びプログラム
CN117242480A (zh) 使用几何信息和语义信息的曼哈顿布局估计
WO2025213425A1 (en) Method and apparatus for decoding a geometry of a point cloud and improving an edge-based vertices refinement
US20250247560A1 (en) Angular prediction in mesh prediction
CN119605179A (zh) 用于编码及解码3d点云的方法、编码器及解码器
US20240331205A1 (en) Attribute coding for point cloud compression

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240628

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20250516

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20250603

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20250702

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20250812

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20250825

R150 Certificate of patent or registration of utility model

Ref document number: 7734112

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150