WO2026009478A1 - メッシュ復号装置、メッシュ復号方法及びプログラム - Google Patents

メッシュ復号装置、メッシュ復号方法及びプログラム

Info

Publication number
WO2026009478A1
WO2026009478A1 PCT/JP2025/002847 JP2025002847W WO2026009478A1 WO 2026009478 A1 WO2026009478 A1 WO 2026009478A1 JP 2025002847 W JP2025002847 W JP 2025002847W WO 2026009478 A1 WO2026009478 A1 WO 2026009478A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
bitstream
level value
decoding
mesh
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/JP2025/002847
Other languages
English (en)
French (fr)
Inventor
仁志 西村
恭平 海野
圭 河村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDDI Corp filed Critical KDDI Corp
Publication of WO2026009478A1 publication Critical patent/WO2026009478A1/ja
Pending legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding

Definitions

  • the present invention relates to a mesh decoding device, a mesh decoding method, and a program.
  • Non-Patent Document 1 discloses a technology for decoding point clouds using video information and additional information called an atlas.
  • Non-Patent Document 2 discloses technology that extends Non-Patent Document 1 to mesh decoding applications.
  • Non-Patent Document 2 first decodes a rough base mesh and detailed displacement amounts, and then reconstructs a mesh from both.
  • the level values are decoded from the syntax, and then the displacement amounts are decoded.
  • V3C Visual Volumetric Video-based Codi ng
  • V-PCC Video-based Point Cloud Compression
  • ISO/IEC JTC 1/SC 29/WG 7 ISO/IEC 23090-5:2021(2E).
  • WD 6.0 of V-DMC ISO/IEC JTC 1/SC 29/WG 7 N00822.
  • Non-Patent Document 2 has the problem that when decoding the displacement amount using arithmetic decoding, the amount of calculation required to decode the level value is large.
  • the present invention was made in consideration of the above-mentioned problems, and aims to provide a mesh decoding device, mesh decoding method, and program that can reduce the amount of calculation required to decode level values.
  • a first feature of the present invention is a mesh decoding device comprising: a V3C unit separation unit configured to separate a bitstream into an atlas bitstream, a basic mesh bitstream, and a displacement bitstream; and a displacement decoding unit configured to decode and output a level value image or a first coefficient sequence from the displacement bitstream
  • the displacement decoding unit comprises: a video decoding unit configured to decode and output a level value image from the displacement bitstream using a video codec; an arithmetic decoding unit configured to decode and output a level value sequence from the displacement bitstream using arithmetic decoding; and a first inverse quantization unit configured to generate and output a first coefficient sequence by inverse quantizing the level value sequence, wherein the arithmetic decoding unit is configured to initially initialize all level values to 0.
  • a second feature of the present invention is a mesh decoding method comprising: step A of separating a bitstream into an atlas bitstream, a base mesh bitstream, and a displacement bitstream; and step B of decoding and outputting a level value image or a first coefficient sequence from the displacement bitstream, wherein step B comprises step B1 of decoding and outputting a level value image from the displacement bitstream using a video codec; step B2 of decoding and outputting a level value sequence from the displacement bitstream using arithmetic decoding; and step B3 of generating and outputting a first coefficient sequence by inverse quantizing the level value sequence, wherein step B1 initially initializes all level values to 0.
  • a third feature of the present invention is a program that causes a computer to function as a mesh decoding device, the mesh decoding device comprising: a V3C unit separation unit configured to separate a bitstream into an atlas bitstream, a basic mesh bitstream, and a displacement bitstream; and a displacement decoding unit configured to decode and output a level value image or a first coefficient sequence from the displacement bitstream, the displacement decoding unit comprising: a video decoding unit configured to decode and output a level value image from the displacement bitstream using a video codec; an arithmetic decoding unit configured to decode and output a level value sequence from the displacement bitstream using arithmetic decoding; and a first inverse quantization unit configured to generate and output a first coefficient sequence by inverse quantizing the level value sequence, and the arithmetic decoding unit is configured to initially initialize all level values to 0.
  • the present invention provides a mesh decoding device, mesh decoding method, and program that can reduce the amount of calculation required to decode level values.
  • FIG. 1 is a diagram showing an example of the configuration of a mesh processing system 1 according to an embodiment.
  • FIG. 2 is a diagram illustrating an example of functional blocks of a mesh decoding device 200 according to an embodiment.
  • FIG. 3 is a diagram showing an example of the configuration of a V3C unit.
  • FIG. 4 is a diagram showing an example of the syntax configuration of a V3C unit header.
  • FIG. 5 is a diagram showing an example of the structure of a bit stream.
  • FIG. 6 is a diagram showing an example of the configuration of a displacement amount bit stream.
  • FIG. 7 is a diagram illustrating an example of the syntax configuration of the display_nal_unit_header.
  • FIG. 8 is a diagram showing an example of the correspondence between the display_nal_unit_type and the contents of the payload.
  • FIG. 9 is a diagram showing an example of the syntax configuration of display_layer_rbsp.
  • FIG. 10 is a diagram illustrating an example of the syntax configuration of display_layer_rbsp.
  • FIG. 11 is a diagram showing an example of functional blocks of the displacement amount decoding unit 204 of the mesh decoding device 200 according to an embodiment.
  • FIG. 12 is a diagram showing an example of functional blocks of the mesh reconstruction unit 206 of the mesh decoding device 200 according to an embodiment.
  • FIG. 13 is a diagram showing an example of the configuration of the sub-mesh reconstructing unit 206A of the mesh reconstructing unit 206 of the mesh decoding device 200 according to an embodiment.
  • FIG. 14 is a flowchart showing an example of processing by the arithmetic decoding unit 204B of the displacement amount decoding unit 204 of the mesh decoding device 200 according to an embodiment.
  • FIG. 15 is a flowchart showing an example of processing by the submesh reconstruction unit 206A of the mesh reconstruction unit 206 of the mesh decoding device 200 according to an embodiment.
  • V3C is a collection of rectangular regions and related information arranged on a frame, and corresponds to a three-dimensional space.
  • FIG. 1 is a diagram showing an example of the configuration of a mesh processing system 1 according to this embodiment.
  • the mesh processing system 1 includes a mesh encoding device 100 and a mesh decoding device 200.
  • Figure 2 is a diagram showing an example of functional blocks of a mesh decoding device 200 according to this embodiment.
  • the mesh decoding device 200 includes a V3C unit separation unit 201, an atlas decoding unit 202, a basic mesh decoding unit 203, a displacement amount decoding unit 204, a texture decoding unit 205, and a mesh reconstruction unit 206.
  • the V3C unit separation unit 201 is configured to separate the bitstream into an atlas bitstream, a base mesh bitstream, a displacement amount bitstream, and a texture bitstream.
  • the atlas decoding unit 202 is configured to decode and output the atlas from the atlas bitstream.
  • the base mesh decoding unit 203 is configured to decode and output a base mesh from the base mesh bitstream.
  • the displacement amount decoding unit 204 is configured to decode and output a level value image or a first coefficient sequence from the displacement amount bitstream.
  • the texture decoding unit 205 is configured to decode and output texture from the texture bitstream.
  • the texture decoding unit 205 may decode the texture using HEVC.
  • the mesh reconstruction unit 206 is configured to reconstruct and output a mesh using the atlas decoded by the atlas decoding unit 201, the basic mesh decoded by the basic mesh decoding unit 203, and the level value image or first coefficient sequence decoded by the displacement amount decoding unit 204.
  • bitstream structure A bitstream may be composed of a combination of multiple V3C units.
  • FIG. 3 shows an example of the configuration of a V3C unit.
  • a V3C unit may be composed of a V3C unit header and a V3C unit payload.
  • FIG. 4 shows an example of the syntax configuration of a V3C unit header.
  • the V3C unit header may include vuh_unit_type, which indicates the type of V3C unit.
  • Figure 5 shows an example of the configuration of a bitstream.
  • the bitstream may be composed of a V3C parameter set, an atlas bitstream, a base mesh bitstream, a displacement bitstream, and a texture bitstream.
  • vuh_unit_type may store any of the following: V3C_VPS indicating a V3C parameter set, V3C_AD indicating an atlas bitstream, V3C_BMD indicating a base mesh bitstream, V3C_GVD indicating a displacement bitstream, or V3C_AVD indicating a texture bitstream.
  • (Configuration of displacement bitstream) 6 is a diagram showing an example of the configuration of a displacement amount bitstream.
  • the displacement amount bitstream may configure a V3C unit payload with displ_nal_unit indicating a NAL unit.
  • displ_nal_unit may consist of displ_nal_unit_header, which indicates the header of the NAL unit in the displacement amount bitstream, and the payload of the NAL unit in the displacement amount bitstream.
  • Figure 7 shows an example of the syntax configuration of display_nal_unit_header.
  • the display_nal_unit_header may consist of a display_nal_forbidden_zero_bit indicating the first write-protected section, and a display_nal_unit_type indicating the type of payload data.
  • Figure 8 shows an example of the correspondence between displ_nal_unit_type and the contents of the payload.
  • the contents of the payload may be defined as: if displ_nal_unit_type is 0, it is displ_sequence_parameter_set_rbsp, which indicates the sequence parameter set of the displacement amount; if displ_nal_unit_type is 1, it is displ_frame_parameter_set_rbsp, which indicates the frame parameter set of the displacement amount; and if displ_nal_unit_type is 2, it is displ_layer_rbsp, which indicates the displacement amount data.
  • Figure 9 shows an example of the syntax configuration of displ_layer_rbsp.
  • displ_layer_rbsp may include displ_header, which indicates the displacement amount header, and displ_data_unit, which indicates the displacement amount data.
  • Figure 10 shows an example of the syntax configuration of displ_data_unit.
  • displ_data_unit may include ddu_lod_count, which indicates the number of subdivisions.
  • displ_data_unit may include ddu_vertex_count_lod, which indicates the number of displacements.
  • displ_data_unit may include ddu_num_subblock_lod, which indicates the number of subblocks.
  • displ_data_unit may include ddu_nz_subBlock, which indicates whether the subblock has at least one non-zero level value.
  • displ_data_unit may include ddu_coeff_abs_level_gt0, which indicates whether the absolute value of the level value is 1 or greater.
  • displ_data_unit may include ddu_coeff_abs_level_gt1, which indicates whether the absolute value of the level value is 2 or greater.
  • displ_data_unit may include ddu_coeff_abs_level_gtn, which indicates whether the absolute value of the level value is greater than or equal to n.
  • displ_data_unit may also include ddu_coeff_sign, which indicates the sign of the level value.
  • displ_data_unit may also include ddu_coeff_abs_level_rem, which indicates the absolute value of the level value.
  • Fig. 11 is a diagram showing an example of the configuration of the displacement decoding unit 204.
  • the displacement decoding unit 204 includes a video decoding unit 204A, an arithmetic decoding unit 204B, a first inverse quantization unit 204C, an adder 204D, an inter prediction unit 204E, and a frame buffer 204F.
  • the video decoding unit 204A is configured to decode and output a level value image from the displacement amount bit stream using a video codec.
  • the arithmetic decoding unit 204B is configured to decode and output a level value sequence from the displacement amount bit stream using arithmetic decoding.
  • the arithmetic decoding unit 204B first initializes all level values to 0.
  • the arithmetic decoding unit 204B omits determining the level value by arithmetic decoding. Details will be described later in the "Arithmetic Decoding Unit Processing" section. This makes it possible to reduce the amount of calculation required to decode the level value.
  • the first inverse quantization unit 204C is configured to generate and output a first coefficient sequence by inverse quantizing the level value sequence.
  • the adder 204D is configured to obtain a prediction coefficient sequence from the inter prediction unit 204E and a first coefficient sequence (actually, a prediction residual sequence) from the first inverse quantization unit 204C, and add them together to generate a coefficient sequence.
  • the generated coefficient sequence is output to the frame buffer 204F.
  • the inter prediction unit 204E is configured to read the reference frame indicated by the reference list from the frame buffer 204F, and perform inter prediction using the first coefficient sequence of that reference frame, thereby generating and outputting a prediction coefficient sequence.
  • the inter prediction unit 204E may determine the prediction coefficients for each frequency in the frame to be decoded by directly referencing the coefficients for the corresponding frequency in the reference frame.
  • the frame buffer 204F is configured to acquire and store the prediction residual sequence or prediction coefficient sequence from the first inverse quantization unit 204C or the adder 204D, respectively.
  • the frame buffer 204F is configured to output the first coefficient sequence of the reference frame in accordance with control information (not shown).
  • Fig. 12 is a diagram showing an example of the configuration of the mesh reconstruction unit 206. As shown in Fig. 12, the mesh reconstruction unit 206 includes a submesh reconstruction unit 206A and a submesh connection unit 206B.
  • the submesh reconstruction unit 206A is configured to generate and output a submesh sequence using the basic mesh and the level value image or the first coefficient sequence.
  • the submesh combining unit 206B is configured to combine submesh rows to generate and output a single mesh.
  • FIG. 13 is a diagram showing an example of the configuration of the submesh reconstruction unit 206A.
  • the submesh reconstruction unit 206A includes a subdivision unit 206A1, a displacement decoding method determination unit 206A2, a displacement sequence generation unit 206A3, a level value image processing unit 206A4, a coefficient sequence processing unit 206A5, an image expansion unit 206A6, a second inverse quantization unit 206A7, an inverse transformation unit 206A8, and a displacement addition unit 206A9.
  • the subdivision unit 206A1 is configured to generate added subdivision vertices and their connection information from the matching base mesh using the subdivision method indicated by the control information.
  • the subdivision unit 206A1 outputs a subdivision mesh that combines the base mesh, the added subdivision vertices, and their connection information.
  • the displacement amount decoding method determination unit 206A2 is configured to output a level value image or a first coefficient sequence by determining the displacement amount decoding method from the information indicated by the control information.
  • the displacement amount sequence generation unit 206A3 is configured to generate and output a displacement amount sequence by generating an N-dimensional zero vector using the number N of displacement amounts indicated by the control information.
  • the level value image processing unit 206A4 is configured to process the level value image to generate and output a processed level value image.
  • the coefficient sequence processing unit 206A5 is configured to process the first coefficient sequence to generate and output a processed coefficient sequence.
  • the image development unit 206A6 is configured to develop the processing level value image to generate and output a level value sequence.
  • the second inverse quantization unit 206A7 is configured to inverse quantize the level value sequence to generate and output a second coefficient sequence.
  • the inverse transform unit 206A8 is configured to generate and output a displacement sequence by inversely transforming the second coefficient sequence or the processed coefficient sequence.
  • the inverse transform unit 206A8 may inversely transform the processed coefficient sequence using an inverse DCT or an inverse wavelet transform.
  • the displacement amount addition unit 206A9 is configured to generate and output sub-meshes by adding a displacement amount sequence to a finely divided mesh.
  • the configuration of the submesh reconstruction unit 206A described above determines the method for decoding the displacement amount, and performs appropriate branching and processing accordingly, making it possible to correctly reconstruct the mesh.
  • FIG. 14 is a flowchart showing an example of the process of the arithmetic decoding unit 204B.
  • step S101 the arithmetic decoding unit 204B initializes all level values to 0. This makes it possible to reduce the amount of calculation required to decode the level values in the subsequent steps.
  • step S102 the arithmetic decoding unit 204B decodes ddu_nz_subBlock.
  • step S103 the arithmetic decoding unit 204B determines whether ddu_nz_subBlock is 0 or 1.
  • step S104 the arithmetic decoding unit 204B determines the level value.
  • step S105 the arithmetic decoding unit 204B determines whether the level value currently being processed is the last within the sub-block.
  • step S107 If the answer is Yes, the operation proceeds to step S107; if the answer is No, the operation proceeds to step S106.
  • step S106 the arithmetic decoding unit 204B proceeds to process the next level value.
  • step S107 the arithmetic decoding unit 204B determines whether the sub-block currently being processed is the final sub-block.
  • step S106 If the answer is Yes, the operation proceeds to step S106; if the answer is No, the operation proceeds to step S113.
  • step S108 the arithmetic decoding unit 204B proceeds to process the next sub-block.
  • step S109 the arithmetic decoding unit 204B determines whether the block currently being processed is the final block.
  • step S111 If the answer is Yes, the operation proceeds to step S111; if the answer is No, the operation proceeds to step S110.
  • step S110 the arithmetic decoding unit 204B proceeds to process the next block.
  • step S111 the arithmetic decoding unit 204B determines whether the dimension currently being processed is the final dimension.
  • step S107 If the answer is Yes, this operation ends; if the answer is No, this operation proceeds to step S107.
  • step S112 the arithmetic decoding unit 204B proceeds to processing the next dimension.
  • FIG. 15 is a flowchart showing an example of the processing of the submesh reconstruction unit 206A.
  • step S201 the submesh reconstruction unit 206A determines the displacement amount decoding method.
  • step S202 If the displacement amount decoding method is no displacement amount, this operation proceeds to step S202; if the displacement amount decoding method is video codec, this operation proceeds to step S203; and if the displacement amount decoding method is arithmetic decoding, this operation proceeds to step S204.
  • step S202 the submesh reconstruction unit 206A generates a coefficient sequence.
  • step S203 the submesh reconstruction unit 206A processes the level value image.
  • step S204 the submesh reconstruction unit 206A processes the coefficient sequence.
  • step S205 the submesh reconstruction unit 206A performs image unfolding.
  • step S206 the submesh reconstruction unit 206A performs inverse quantization.
  • step S207 the submesh reconstruction unit 206A adds the displacement amount, and this operation ends.
  • the method for decoding the displacement amount is determined when reconstructing the mesh, and appropriate branching and processing is performed accordingly, making it possible to reconstruct the mesh correctly.
  • the mesh encoding device 100 and mesh decoding device 200 described above may be realized as a program that causes a computer to execute each function (each process).

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

レベル値の復号に掛かる計算量を削減すること。本発明に係るメッシュ復号装置200の変位量復号部204は、 映像コーデックによって変位量ビットストリームからレベル値画像を復号して出力する映像復号部204Aと、算術復号によって変位量ビットストリームからレベル値列を復号して出力する算術復号部204Bと、レベル値列を逆量子化することによって第1係数列を生成して出力する第1逆量子化部204Cとを備え、算術復号部204Bは、初めに全てのレベル値を0で初期化する。

Description

メッシュ復号装置、メッシュ復号方法及びプログラム
 本発明は、メッシュ復号装置、メッシュ復号方法及びプログラムに関する。
 非特許文献1では、映像情報とアトラスと呼ばれる付加情報とを用いて、点群を復号する技術が開示されている。
 非特許文献2では、非特許文献1をメッシュ復号の用途に拡張した技術が開示されている。
 具体的には、非特許文献2は、第1に、大まかな基本メッシュ及び詳細な変位量を復号し、第2に、両者からメッシュを再構成する。ここで、変位量の復号方法には、映像コーデックを用いる方法及び算術復号を用いる方法の2種類がある。また、変位量の復号は、省略されてもよい。算術復号を用いる方法では、シンタックスからレベル値を復号した後、変位量を復号する。
 しかしながら、非特許文献2の方法では、算術復号を用いて変位量を復号する際、レベル値の復号に掛かる計算量が大きいという問題点があった。
 そこで、本発明は、上述の課題に鑑みてなされたものであり、レベル値の復号に掛かる計算量を削減することができるメッシュ復号装置、メッシュ復号方法及びプログラムを提供することを目的とする。 
 本発明の第1の特徴は、メッシュ復号装置であって、ビットストリームをアトラスビットストリームと基本メッシュビットストリームと変位量ビットストリームとに分離するように構成されているV3Cユニット分離部と、前記変位量ビットストリームからレベル値画像或いは第1係数列を復号して出力するように構成されている変位量復号部と、を備え、前記変位量復号部は、映像コーデックによって前記変位量ビットストリームからレベル値画像を復号して出力するように構成されている映像復号部と、算術復号によって前記変位量ビットストリームからレベル値列を復号して出力するように構成されている算術復号部と、前記レベル値列を逆量子化することによって第1係数列を生成して出力するように構成されている第1逆量子化部と、を備え、前記算術復号部は、初めに全てのレベル値を0で初期化するように構成されていることを要旨とする。
 本発明の第2の特徴は、メッシュ復号方法であって、ビットストリームをアトラスビットストリームと基本メッシュビットストリームと変位量ビットストリームとに分離する工程Aと、前記変位量ビットストリームからレベル値画像或いは第1係数列を復号して出力する工程Bと、を有し、前記工程Bは、映像コーデックによって前記変位量ビットストリームからレベル値画像を復号して出力する工程B1と、算術復号によって前記変位量ビットストリームからレベル値列を復号して出力する工程B2と、前記レベル値列を逆量子化することによって第1係数列を生成して出力する工程B3と、を有し、前記工程B1において、初めに全てのレベル値を0で初期化することを要旨とする。
 本発明の第3の特徴は、コンピュータを、メッシュ復号装置として機能させるプログラムであって、前記メッシュ復号装置は、ビットストリームをアトラスビットストリームと基本メッシュビットストリームと変位量ビットストリームとに分離するように構成されているV3Cユニット分離部と、前記変位量ビットストリームからレベル値画像或いは第1係数列を復号して出力するように構成されている変位量復号部と、を備え、前記変位量復号部は、映像コーデックによって前記変位量ビットストリームからレベル値画像を復号して出力するように構成されている映像復号部と、算術復号によって前記変位量ビットストリームからレベル値列を復号して出力するように構成されている算術復号部と、前記レベル値列を逆量子化することによって第1係数列を生成して出力するように構成されている第1逆量子化部と、を備え、前記算術復号部は、初めに全てのレベル値を0で初期化するように構成されていることを要旨とする。
 本発明によれば、レベル値の復号に掛かる計算量を削減することができるメッシュ復号装置、メッシュ復号方法及びプログラムを提供することができる。
図1は、一実施形態に係るメッシュ処理システム1の構成の一例を示す図である。 図2は、一実施形態に係るメッシュ復号装置200の機能ブロックの一例を示す図である。 図3は、V3Cユニットの構成の一例について示す図である。 図4は、V3Cユニットヘッダのシンタックス構成の一例について示す図である。 図5は、ビットストリームの構成の一例について示す図である。 図6は、変位量ビットストリームの構成の一例について示す図である。 図7は、displ_nal_unit_headerのシンタックス構成の一例について示す図である。 図8は、displ_nal_unit_typeとペイロードの中身との対応の一例について示す図である。 図9は、displ_layer_rbspのシンタックス構成の一例について示す図である。 図10は、displ_layer_rbspのシンタックス構成の一例について示す図である。 図11は、一実施形態に係るメッシュ復号装置200の変位量復号部204の機能ブロックの一例を示す図である。 図12は、一実施形態に係るメッシュ復号装置200のメッシュ再構成部206の機能ブロックの一例を示す図である。 図13は、一実施形態に係るメッシュ復号装置200のメッシュ再構成部206のサブメッシュ再構成部206Aの構成の一例を示す図である。 図14は、一実施形態に係るメッシュ復号装置200の変位量復号部204の算術復号部204Bの処理の一例について示すフローチャートである。 図15は、一実施形態に係るメッシュ復号装置200のメッシュ再構成部206のサブメッシュ再構成部206Aの処理の一例について示すフローチャートである。
 以下、本発明の実施の形態について、図面を参照しながら説明する。なお、以下の実施形態における構成要素は、適宜、既存の構成要素等との置き換えが可能であり、また、他の既存の構成要素との組み合わせを含む様々なバリエーションが可能である。したがって、以下の実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。
<第1実施形態>
 本実施形態は、非特許文献1に記載のV3Cに基づいている。V3Cにおけるアトラスは、フレーム上に配置される矩形領域及び関連情報の集合であり、3次元空間に対応する。
 以下、図1~図15を参照して、本実施形態に係るメッシュ処理システム1について説明する。
 図1は、本実施形態に係るメッシュ処理システム1の構成の一例を示す図である。図1に示すように、メッシュ処理システム1は、メッシュ符号化装置100及びメッシュ復号装置200を備えている。
 図2は、本実施形態に係るメッシュ復号装置200の機能ブロックの一例を示す図である。
 図2に示すように、メッシュ復号装置200は、V3Cユニット分離部201と、アトラス復号部202と、基本メッシュ復号部203と、変位量復号部204と、テクスチャ復号部205と、メッシュ再構成部206とを有する。
 V3Cユニット分離部201は、ビットストリームを、アトラスビットストリームと基本メッシュビットストリームと変位量ビットストリームとテクスチャビットストリームとに分離するように構成されている。
 アトラス復号部202は、アトラスビットストリームからアトラスを復号して出力するように構成されている。
 基本メッシュ復号部203は、基本メッシュビットストリームから基本メッシュを復号して出力するように構成されている。
 変位量復号部204は、変位量ビットストリームからレベル値画像或いは第1係数列を復号して出力するように構成されている。
 テクスチャ復号部205は、テクスチャビットストリームからテクスチャを復号して出力するように構成されている。テクスチャ復号部205は、HEVCを用いてテクスチャを復号してもよい。
 メッシュ再構成部206は、アトラス復号部201で復号されたアトラス、基本メッシュ復号部203で復号された基本メッシュ、及び、変位量復号部204で復号されたレベル値画像或いは第1係数列を用いて、メッシュを再構成して出力するように構成されている。
(ビットストリームの構成)
 ビットストリームは、V3Cユニットを複数組み合わせることによって構成されていてもよい。
 図3は、V3Cユニットの構成の一例について示す図である。V3Cユニットは、V3CユニットヘッダとV3Cユニットペイロードとで構成されていてもよい。
 図4は、V3Cユニットヘッダのシンタックス構成の一例について示す図である。V3Cユニットヘッダは、V3Cユニットの種類を示すvuh_unit_typeを含んでいてもよい。
 図5は、ビットストリームの構成の一例について示す図である。ビットストリームは、V3Cパラメータセットと、アトラスビットストリームと、基本メッシュビットストリームと、変位量ビットストリームと、テクスチャビットストリームとで構成されていてもよい。
 vuh_unit_typeには、V3Cパラメータセットを示すV3C_VPS、アトラスビットストリームを示すV3C_AD、基本メッシュビットストリームを示すV3C_BMD、変位量ビットストリームを示すV3C_GVD、テクスチャビットストリームを示すV3C_AVDのうちいずれかが格納されてもよい。
(変位量ビットストリームの構成)
 図6は、変位量ビットストリームの構成の一例について示す図である。変位量ビットストリームは、NALユニットを示すdispl_nal_unitでV3Cユニットペイロードを構成してもよい。
 displ_nal_unitは、変位量ビットストリームにおけるNALユニットのヘッダを示すdispl_nal_unit_headerと、変位量ビットストリームにおけるNALユニットのペイロードとで構成されていてもよい。
 図7は、displ_nal_unit_headerのシンタックス構成の一例について示す図である。
 displ_nal_unit_headerは、先頭の書き込み禁止区間を示すdispl_nal_forbidden_zero_bitと、ペイロードのデータの種類を示すdispl_nal_unit_typeとで構成されていてもよい。
 図8は、displ_nal_unit_typeとペイロードの中身との対応の一例について示す図である。
 ペイロードの中身は、displ_nal_unit_typeが0の場合は、変位量のシーケンスパラメータセットを示すdispl_sequence_parameter_set_rbspであり、displ_nal_unit_typeが1の場合は、変位量のフレームパラメータセットを示すdispl_frame_parameter_set_rbspであり、displ_nal_unit_typeが2の場合は変位量データを示すdispl_layer_rbspであると定義してもよい。
 図9は、displ_layer_rbspのシンタックス構成の一例について示す図である。displ_layer_rbspは、変位量ヘッダを示すdispl_headerと、変位量データを示すdispl_data_unitとを含んでいてもよい。
 図10は、displ_data_unitのシンタックス構成の一例について示す図である。
 displ_data_unitは、細分割回数を示すddu_lod_countを含んでいてもよい。
 displ_data_unitは、変位量の数を示すddu_vertex_count_lodを含んでいてもよい。
 displ_data_unitは、サブブロックの数を示すddu_num_subblock_lodを含んでいてもよい。
 displ_data_unitは、サブブロックが少なくとも1つ以上の非零レベル値を持つかどうかを示すddu_nz_subBlockを含んでいてもよい。
 displ_data_unitは、レベル値の絶対値が1以上であるかどうかを示すddu_coeff_abs_level_gt0を含んでいてもよい。
 displ_data_unitは、レベル値の絶対値が2以上であるかどうかを示すddu_coeff_abs_level_gt1を含んでいてもよい。
 displ_data_unitは、レベル値の絶対値がn以上であるかどうかを示すddu_coeff_abs_level_gtnを含んでいてもよい。
 displ_data_unitは、レベル値の正負符号を示すddu_coeff_signを含んでいてもよい。
 displ_data_unitは、レベル値の絶対値を示すddu_coeff_abs_level_remを含んでいてもよい。
(変位量復号部204)
 図11は、変位量復号部204の構成の一例を示す図である。図11に示すように、変位量復号部204は、映像復号部204Aと、算術復号部204Bと、第1逆量子化部204Cと、加算器204Dと、インター予測部204Eと、フレームバッファ204Fとを備えている。
 映像復号部204Aは、映像コーデックによって前記変位量ビットストリームからレベル値画像を復号して出力するように構成されている
 算術復号部204Bは、算術復号によって変位量ビットストリームからレベル値列を復号して出力するように構成されている。ここで、算術復号部204Bは、初めに全てのレベル値を0で初期化する。
 算術復号部204Bは、ddu_nz_subBlock=0の場合は、算術復号によるレベル値の決定を省略する。詳細は、後述の「算術復号部の処理」で述べる。これによって、レベル値の復号にかかる計算量を削減することが可能となる。
 第1逆量子化部204Cは、レベル値列を逆量子化することによって第1係数列を生成して出力するように構成されている。
 加算器204Dは、インター予測部204Eから予測係数列を取得し、第1逆量子化部204Cから第1係数列(実際には、予測残差列)を取得し、それらを加算して係数列を生成するように構成されている。生成された係数列は、フレームバッファ204Fに出力される。
 インター予測部204Eは、参照リストによって指示された参照フレームをフレームバッファ204Fから読み出し、かかる参照フレームの第1係数列を用いてインター予測を行うことによって、予測係数列を生成して出力するように構成されている。
 インター予測部204Eは、参照フレームにおいて対応する周波数の係数をそのまま参照して、復号対象フレームにおいて各周波数の予測係数を決定してもよい。
 フレームバッファ204Fは、第1逆量子化部204C或いは加算器204Dからそれぞれ予測残差列或いは予測係数列を取得して蓄積するように構成されている。
 フレームバッファ204Fは、図示しない制御情報に応じて、参照フレームの第1係数列を出力するように構成されている。
(メッシュ再構成部206)
 図12は、メッシュ再構成部206の構成の一例を示す図である。図12に示すように、メッシュ再構成部206は、サブメッシュ再構成部206Aと、サブメッシュ結合部206Bとを備えている。
 サブメッシュ再構成部206Aは、基本メッシュとレベル値画像或いは第1係数列とを用いて、サブメッシュ列を生成して出力するように構成されている。
 サブメッシュ結合部206Bは、サブメッシュ列を結合することによって単一のメッシュを生成して出力するように構成されている。
 図13は、サブメッシュ再構成部206Aの構成の一例を示す図である。図13に示すように、サブメッシュ再構成部206Aは、細分割部206A1と、変位量復号方法判定部206A2と、変位量列生成部206A3と、レベル値画像加工部206A4と、係数列加工部206A5と、画像展開部206A6と、第2逆量子化部206A7と、逆変換部206A8と、変位量加算部206A9とを備えている。
 細分割部206A1は、制御情報によって示された細分割手法により、整合基本メッシュから、追加された細分割頂点及びそれらの接続情報を生成するように構成されている。
 細分割部206A1は、基本メッシュ、追加された細分割頂点及びそれらの接続情報をあわせた細分割メッシュを出力する。
 変位量復号方法判定部206A2は、制御情報によって示された情報から変位量の復号方法を判定することによって、レベル値画像或いは第1係数列を出力するように構成されている。
 変位量列生成部206A3は、制御情報によって示された変位量の個数Nを用いて、N次元のゼロベクトルを生成することによって、変位量列を生成して出力するように構成されている。
 レベル値画像加工部206A4は、レベル値画像を加工することによって、加工レベル値画像を生成して出力するように構成されている。
 係数列加工部206A5は、第1係数列を加工することによって、加工係数列を生成して出力するように構成されている。
 画像展開部206A6は、加工レベル値画像を展開することによって、レベル値列を生成して出力するように構成されている。
 第2逆量子化部206A7は、レベル値列を逆量子化することによって、第2係数列を生成して出力するように構成されている。
 逆変換部206A8は、第2係数列或いは加工係数列を逆変換することによって、変位量列を生成して出力するように構成されている。ここで、逆変換部206A8は、逆DCT或いはは逆ウェーブレット変換を用いて加工係数列を逆変換してもよい。
 変位量加算部206A9は、細分割メッシュに変位量列を加算することによって、サブメッシュを生成して出力するように構成されている。
 以上で述べたサブメッシュ再構成部206Aの構成によって、変位量の復号方法を判定し、それに合わせて適切な分岐及び処理を行うことで、正しくメッシュを再構成することが可能となる。
(算術復号部204Bの処理)
 図14は、算術復号部204Bの処理の一例について示すフローチャートである。
 図14に示すように、ステップS101において、算術復号部204Bは、全てのレベル値を0で初期化する。これによって、これ以降のステップにおいて、レベル値の復号に掛かる計算量を削減することが可能となる。
 ステップS102において、算術復号部204Bは、ddu_nz_subBlockを復号する。
 ステップS103において、算術復号部204Bは、ddu_nz_subBlockが0であるか1であるかの判定を行う。
 ddu_nz_subBlock=0の場合は、本動作は、ステップS111に進み、ddu_nz_subBlock=1の場合は、本動作は、ステップS107に進む。
 ステップS104において、算術復号部204Bは、レベル値の決定を行う。
 ステップS105において、算術復号部204Bは、現在処理しているレベル値がサブブロック内で最後であるか否かについて判定する。
 Yesの場合、本動作は、ステップS107に進み、Noの場合、本動作は、ステップS106に進む。
 ステップS106において、算術復号部204Bは、次のレベル値の処理に進む。
 ステップS107において、算術復号部204Bは、現在処理しているサブブロックが最終サブブロックであるか否かについて判定する。
 Yesの場合、本動作は、ステップS106に進み、Noの場合、本動作は、ステップS113に進む。
 ステップS108において、算術復号部204Bは、次のサブブロックの処理に進む。
 ステップS109において、算術復号部204Bは、現在処理しているブロックが最終ブロックであるか否かについて判定する。
 Yesの場合、本動作は、ステップS111に進み、Noの場合、本動作は、ステップS110に進む。
 ステップS110において、算術復号部204Bは、次のブロックの処理に進む。
 ステップS111において、算術復号部204Bは、現在処理している次元が最終次元であるか否かについて判定する。
 Yesの場合、本動作は、終了し、Noの場合、本動作は、ステップS107に進む。
 ステップS112において、算術復号部204Bは、次の次元の処理に進む。
(サブメッシュ再構成部206Aの処理)
 図15は、サブメッシュ再構成部206Aの処理の一例について示すフローチャートである。
 図15に示すように、ステップS201において、サブメッシュ再構成部206Aは、変位量復号方法の判定を行う。
 変位量復号方法が変位量なしの場合は、本動作は、ステップS202に進み、変位量復号方法が映像コーデックの場合は、本動作は、ステップS203に進み、変位量復号方法が算術復号の場合は、本動作は、ステップS204に進む。
 ステップS202において、サブメッシュ再構成部206Aは、係数列を生成する。
 ステップS203において、サブメッシュ再構成部206Aは、レベル値画像を加工する。
 ステップS204において、サブメッシュ再構成部206Aは、係数列を加工する。
 ステップS205において、サブメッシュ再構成部206Aは、画像展開を行う。
 ステップS206において、サブメッシュ再構成部206Aは、逆量子化を行う。
 ステップS207において、サブメッシュ再構成部206Aは、変位量加算を行い、本動作は、終了する。
 本実施形態によれば、算術復号を用いて変位量を復号する際に初めに全てのレベル値を0で初期化することで、レベル値の復号に掛かる計算量を削減することが可能となる。
 本実施形態によれば、メッシュ再構成の際に変位量の復号方法を判定し、それに合わせて適切な分岐及び処理を行うことで、正しくメッシュを再構成することが可能となる。
 上述のメッシュ符号化装置100及びメッシュ復号装置200は、コンピュータに各機能(各工程)を実行させるプログラムであって実現されていてもよい。
 なお、本実施形態によれば、例えば、動画像通信において総合的なサービス品質の向上を実現できることから、国連が主導する持続可能な開発目標(SDGs)の目標9「レジリエントなインフラを整備し、持続可能な産業化を推進するとともに、イノベーションの拡大を図る」に貢献することが可能となる。
1…メッシュ処理システム
100…メッシュ符号化装置
200…メッシュ復号装置
201…V3Cユニット分離部
202…アトラス復号部
203…基本メッシュ復号部
204…変位量復号部
204A…映像復号部
204B…算術復号部
204C…第1逆量子化部
204D…加算器
204E…インター予測部
204F…フレームバッファ
205…テクスチャ復号部
206…メッシュ再構成部
206A…サブメッシュ再構成部
206A…サブメッシュ結合部
206A1…細分割部
206A2…変位量復号方法判定部
206A3…変位量列生成部
206A4…レベル値画像加工部
206A5…係数列加工部
206A6…画像展開部
206A7…第2逆量子化部
206A8…逆変換部
206A9…変位量加算部
 

Claims (4)

  1.  メッシュ復号装置であって、
     ビットストリームをアトラスビットストリームと基本メッシュビットストリームと変位量ビットストリームとに分離するように構成されているV3Cユニット分離部と、
     前記変位量ビットストリームからレベル値画像或いは第1係数列を復号して出力するように構成されている変位量復号部と、を備え、
     前記変位量復号部は、
      映像コーデックによって前記変位量ビットストリームからレベル値画像を復号して出力するように構成されている映像復号部と、
      算術復号によって前記変位量ビットストリームからレベル値列を復号して出力するように構成されている算術復号部と、
      前記レベル値列を逆量子化することによって第1係数列を生成して出力するように構成されている第1逆量子化部と、を備え、
     前記算術復号部は、初めに全てのレベル値を0で初期化するように構成されていることを特徴とするメッシュ復号装置。
  2.  前記算術復号部は、サブブロックが少なくとも1つ以上の非零レベル値を持つかどうかを示すシンタックスが0の場合は、前記算術復号によるレベル値の決定を省略することを特徴とする請求項1に記載のメッシュ復号装置。
  3.  メッシュ復号方法であって、
     ビットストリームをアトラスビットストリームと基本メッシュビットストリームと変位量ビットストリームとに分離する工程Aと、
     前記変位量ビットストリームからレベル値画像或いは第1係数列を復号して出力する工程Bと、を有し、
     前記工程Bは、
      映像コーデックによって前記変位量ビットストリームからレベル値画像を復号して出力する工程B1と、
      算術復号によって前記変位量ビットストリームからレベル値列を復号して出力する工程B2と、
      前記レベル値列を逆量子化することによって第1係数列を生成して出力する工程B3と、を有し、
     前記工程B1において、初めに全てのレベル値を0で初期化することを特徴とするメッシュ復号方法。
  4.  コンピュータを、メッシュ復号装置として機能させるプログラムであって、
     前記メッシュ復号装置は、
      ビットストリームをアトラスビットストリームと基本メッシュビットストリームと変位量ビットストリームとに分離するように構成されているV3Cユニット分離部と、
      前記変位量ビットストリームからレベル値画像或いは第1係数列を復号して出力するように構成されている変位量復号部と、を備え、
     前記変位量復号部は、
      映像コーデックによって前記変位量ビットストリームからレベル値画像を復号して出力するように構成されている映像復号部と、
      算術復号によって前記変位量ビットストリームからレベル値列を復号して出力するように構成されている算術復号部と、
      前記レベル値列を逆量子化することによって第1係数列を生成して出力するように構成されている第1逆量子化部と、を備え、
     前記算術復号部は、初めに全てのレベル値を0で初期化するように構成されていることを特徴とするプログラム。
     
PCT/JP2025/002847 2024-07-05 2025-01-29 メッシュ復号装置、メッシュ復号方法及びプログラム Pending WO2026009478A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2024-109214 2024-07-05
JP2024109214A JP2026008477A (ja) 2024-07-05 2024-07-05 メッシュ復号装置、メッシュ復号方法及びプログラム

Publications (1)

Publication Number Publication Date
WO2026009478A1 true WO2026009478A1 (ja) 2026-01-08

Family

ID=98318144

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2025/002847 Pending WO2026009478A1 (ja) 2024-07-05 2025-01-29 メッシュ復号装置、メッシュ復号方法及びプログラム

Country Status (2)

Country Link
JP (1) JP2026008477A (ja)
WO (1) WO2026009478A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230290008A1 (en) * 2022-03-11 2023-09-14 Apple Inc. Image/video-based mesh compression
US20230388544A1 (en) * 2022-05-27 2023-11-30 Tencent America LLC Dynamic mesh compression using inter and intra prediction
WO2024014042A1 (ja) * 2022-07-09 2024-01-18 Kddi株式会社 メッシュ復号装置、メッシュ符号化装置、メッシュ復号方法及びプログラム
WO2024143056A1 (ja) * 2022-12-28 2024-07-04 Kddi株式会社 メッシュ復号装置、メッシュ復号方法及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230290008A1 (en) * 2022-03-11 2023-09-14 Apple Inc. Image/video-based mesh compression
US20230388544A1 (en) * 2022-05-27 2023-11-30 Tencent America LLC Dynamic mesh compression using inter and intra prediction
WO2024014042A1 (ja) * 2022-07-09 2024-01-18 Kddi株式会社 メッシュ復号装置、メッシュ符号化装置、メッシュ復号方法及びプログラム
WO2024143056A1 (ja) * 2022-12-28 2024-07-04 Kddi株式会社 メッシュ復号装置、メッシュ復号方法及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"V-DMC codec description", 142. MPEG MEETING; 20230424 - 20230428; ANTALYA; (MOTION PICTURE EXPERT GROUP OR ISO/IEC JTC1/SC29/WG11), 17 July 2023 (2023-07-17), XP030311127 *

Also Published As

Publication number Publication date
JP2026008477A (ja) 2026-01-19

Similar Documents

Publication Publication Date Title
CN113796014B (zh) 一种对视频数据进行解码的方法和装置
JP6841807B2 (ja) マルチコンポーネント画像またはビデオ符号化のコンセプト
JP5648183B2 (ja) 高い効率の動画符号化のためのコンテンツアダプティブ動き補償フィルタリング
KR101334173B1 (ko) 그래픽 데이터 부호화 및 복호화 방법과 장치
CN102396229B (zh) 图像编码装置、方法以及图像解码装置、方法
US20170347122A1 (en) Scalable point cloud compression with transform, and corresponding decompression
CN108432248A (zh) 用于对视频信号进行熵编码和解码的方法和设备
CN112956205B (zh) 变换系数编码方法及其装置
JP7586078B2 (ja) 情報処理装置および方法
US10003794B2 (en) Terminable spatial tree-based position coding and decoding
CN117461059A (zh) 网格压缩中的顶点位置预测
WO2025009217A1 (ja) メッシュ復号装置、メッシュ復号方法及びプログラム
CN113170131B (zh) 变换系数编码方法及其装置
US10805623B2 (en) Method for encoding and decoding data, device for encoding and decoding data, and corresponding computer programs
CN112806017B (zh) 用于编码变换系数的方法和设备
WO2026009478A1 (ja) メッシュ復号装置、メッシュ復号方法及びプログラム
WO2026009479A1 (ja) メッシュ復号装置、メッシュ復号方法及びプログラム
US10869030B2 (en) Method of coding and decoding images, a coding and decoding device, and corresponding computer programs
Chen et al. Reversible DCT-based lossy-to-lossless still image compression
WO2025197201A1 (ja) メッシュ復号装置、メッシュ復号方法及びプログラム
WO2025197202A1 (ja) メッシュ復号装置、メッシュ復号方法及びプログラム
WO2025215923A1 (ja) メッシュ復号装置、メッシュ復号方法及びプログラム
JP2025161658A (ja) メッシュ復号装置、メッシュ復号方法及びプログラム
CN120019660A (zh) 均匀位深度缩放
CN120019653A (zh) 网格压缩中的量化

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 25832592

Country of ref document: EP

Kind code of ref document: A1