WO2024079983A1 - メッシュ復号装置、メッシュ復号方法及びプログラム - Google Patents

メッシュ復号装置、メッシュ復号方法及びプログラム Download PDF

Info

Publication number
WO2024079983A1
WO2024079983A1 PCT/JP2023/029763 JP2023029763W WO2024079983A1 WO 2024079983 A1 WO2024079983 A1 WO 2024079983A1 JP 2023029763 W JP2023029763 W JP 2023029763W WO 2024079983 A1 WO2024079983 A1 WO 2024079983A1
Authority
WO
WIPO (PCT)
Prior art keywords
mesh
unit
vertices
subdivision
decoded
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2023/029763
Other languages
English (en)
French (fr)
Inventor
建鋒 徐
圭 河村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDDI Corp filed Critical KDDI Corp
Priority to CN202380062906.3A priority Critical patent/CN119816867A/zh
Publication of WO2024079983A1 publication Critical patent/WO2024079983A1/ja
Priority to US19/059,564 priority patent/US20250193428A1/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three-dimensional [3D] modelling for computer graphics
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/001—Model-based coding, e.g. wire frame
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H04N19/54—Motion estimation other than block-based using feature points or meshes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/88—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving rearrangement of data among different coding units, e.g. shuffling, interleaving, scrambling or permutation of pixel data or permutation of transform coefficient data among different blocks

Definitions

  • the present invention relates to a mesh decoding device, a mesh encoding device, a mesh decoding method, and a program.
  • Non-Patent Document 1 discloses a technique for encoding meshes using Non-Patent Document 2.
  • the conventional technology has a problem in that the efficiency of motion vector encoding is low due to overlapping vertices that exist in the decoded base mesh.
  • the present invention has been made in consideration of the above-mentioned problems, and aims to provide a mesh decoding device, mesh encoding device, mesh decoding method, and program that can improve the efficiency of mesh encoding.
  • the first feature of the present invention is that it is a mesh decoding device that includes an alignment unit that combines overlapping vertices, which are multiple vertices with the same coordinates in a decoded base mesh, into a single vertex and then rearranges them in a predetermined order.
  • the second feature of the present invention is a mesh decoding method that includes a step of combining overlapping vertices, which are multiple vertices that have the same coordinates for the decoded base mesh, into a single vertex and then rearranging them in a predetermined order.
  • the third feature of the present invention is a program that causes a computer to function as a mesh decoding device, the mesh decoding device being provided with an alignment unit that combines overlapping vertices, which are multiple vertices whose coordinates are the same for a decoded base mesh, into a single vertex and then rearranges them in a predetermined order.
  • the present invention provides a mesh decoding device, a mesh encoding device, a mesh decoding method, and a program that can improve mesh encoding efficiency.
  • FIG. 1 is a diagram showing an example of the configuration of a mesh processing system 1 according to an embodiment.
  • FIG. 2 is a diagram showing an example of functional blocks of a mesh decoding device 200 according to an embodiment.
  • FIG. 3A is a diagram showing an example of a base mesh and a subdivision mesh.
  • FIG. 3B is a diagram showing an example of a base mesh and a subdivision mesh.
  • FIG. 4 is a diagram showing an example of a syntax configuration of a basic mesh bit stream.
  • FIG. 5 is a diagram showing an example of a syntax configuration of the BPH.
  • FIG. 6 is a diagram showing an example of functional blocks of the basic mesh decoding unit 202 of the mesh decoding device 200 according to an embodiment.
  • FIG. 7 is a diagram showing an example of functional blocks of the intra-decoding unit 202B of the basic mesh decoding unit 202 of the mesh decoding device 200 according to an embodiment.
  • FIG. 8 is a flowchart showing an example of the operation of the arrangement unit 202B2 of the intra-decoding unit 202B of the basic mesh decoding unit 202 of the mesh decoding device 200 according to an embodiment.
  • FIG. 9 is a diagram for explaining an example of the operation of the arrangement unit 202B2 of the intra-decoding unit 202B of the basic mesh decoding unit 202 of the mesh decoding device 200 according to one embodiment.
  • FIG. 10 is a diagram showing an example of the correspondence between the vertices of the basic mesh of a P frame and the vertices of the basic mesh of an I frame.
  • FIG. 11 is a diagram showing an example of functional blocks of the inter decoding unit 202E of the basic mesh decoding unit 202 of the mesh decoding device 200 according to an embodiment.
  • FIG. 12 is a diagram showing an example of functional blocks of the basic mesh decoding unit 202 of the mesh decoding device 200 according to an embodiment.
  • FIG. 13 is a diagram showing vertices of a base mesh in a reference frame having multiple motion vectors.
  • FIG. 14 is a diagram illustrating an example of a method for calculating the MVP of a vertex to be decoded by the motion vector prediction unit 202E3 of the inter decoding unit 202E of the basic mesh decoding unit 202 of the mesh decoding device 200 according to one embodiment.
  • FIG. 15 shows a flowchart showing an example of the operation of the motion vector prediction unit 202E3 of the inter decoding unit 202E of the basic mesh decoding unit 202 of the mesh decoding device 200 according to one embodiment.
  • FIG. 16 is a diagram showing an example of functional blocks of the subdivision unit 203 of the mesh decoding device 200 according to an embodiment.
  • FIG. 17 is a diagram showing an example of functional blocks of a basic mesh subdivision unit 203A of the subdivision unit 203 of the mesh decoding device 200 according to an embodiment.
  • FIG. 18 is a diagram illustrating an example of a method for dividing a basic surface by the basic surface dividing unit 203A5 of the basic mesh subdivision unit 203A of the subdivision unit 203 in the mesh decoding device 200 according to an embodiment.
  • FIG. 19 is a flowchart showing an example of the operation of the basic mesh subdivision unit 203A of the subdivision unit 203 of the mesh decoding device 200 according to an embodiment.
  • FIG. 20 is a diagram showing an example of functional blocks of a subdivision mesh adjustment unit 203B of the subdivision unit 203 of the mesh decoding device 200 according to an embodiment.
  • FIG. 21 is a diagram showing an example of a case in which an edge division point on a basic surface ABC is moved by the edge division point moving unit 701 of the subdivision mesh adjustment unit 203B of the subdivision unit 203 of the mesh decoding device 200 according to one embodiment.
  • Figure 22 is a diagram showing an example of a case in which subdivision surface X within a base surface is re-subdivided by the subdivision surface division unit 702 of the subdivision mesh adjustment unit 203B of the subdivision unit 203 of the mesh decoding device 200 according to one embodiment.
  • Figure 23 is a diagram showing an example of a case in which all subdivision surfaces are re-subdivided by the subdivision surface division unit 702 of the subdivision mesh adjustment unit 203B of the subdivision unit 203 of the mesh decoding device 200 according to one embodiment.
  • FIG. 24 is a diagram showing an example of functional blocks of the displacement amount decoding unit 206 of the mesh decoding device 200 according to one embodiment (when inter prediction is performed in the spatial domain).
  • FIG. 25 is a diagram showing an example of the configuration of a displacement amount bit stream.
  • FIG. 26 is a diagram showing an example of a syntax configuration of a DPS.
  • FIG. 27 is a diagram showing an example of a syntax configuration of the DPH.
  • FIG. 28 is a diagram illustrating an example of a correspondence relationship between subdivision vertices between a reference frame and a current frame to be decoded when inter prediction is performed in the spatial domain.
  • FIG. 29 is a diagram showing an example of functional blocks of the displacement amount decoding unit 206 of the mesh decoding device 200 according to one embodiment (when inter prediction is performed in the frequency domain).
  • FIG. 30 is a diagram illustrating an example of a frequency correspondence relationship between a reference frame and a current frame to be decoded when inter prediction is performed in the frequency domain.
  • FIG. 31 is a flowchart showing an example of the operation of the displacement amount decoding unit 206 of the mesh decoding device 200 according to an embodiment.
  • FIG. 32 is a diagram showing an example of functional blocks of the displacement amount decoding unit 206 according to the first modification.
  • FIG. 33 is a diagram showing an example of functional blocks of the displacement amount decoding unit 206 according to the second modification.
  • FIG. 1 is a diagram showing an example of the configuration of a mesh processing system 1 according to this embodiment.
  • the mesh processing system 1 includes a mesh encoding device 100 and a mesh decoding device 200.
  • the mesh decoding device 200 includes a demultiplexing unit 201, a basic mesh decoding unit 202, a subdivision unit 203, a mesh decoding unit 204, a patch integration unit 205, a displacement amount decoding unit 206, and an image decoding unit 207.
  • the basic mesh decoding unit 202, the subdivision unit 203, the mesh decoding unit 204, and the displacement amount decoding unit 206 are configured to perform processing in units of patches into which the mesh is divided, and the results of this processing may then be integrated by the patch integration unit 205.
  • the mesh is divided into patch 1, which is made up of base faces 1 and 2, and patch 2, which is made up of base faces 3 and 4.
  • the demultiplexing unit 201 is configured to separate the multiplexed bit stream into a basic mesh bit stream, a displacement amount bit stream, and a texture bit stream.
  • the base mesh decoding unit 202 is configured to decode the base mesh bitstream and generate and output base meshes.
  • the base mesh is composed of multiple vertices in three-dimensional space and edges connecting these multiple vertices.
  • the basic mesh is constructed by combining basic faces represented by three vertices.
  • the base mesh decoding unit 202 may be configured to decode the base mesh bitstream using, for example, Draco as shown in Non-Patent Document 2.
  • the base mesh decoding unit 202 may also be configured to generate "subdivision_method_id" (described below) as control information that controls the type of subdivision method.
  • control information decoded by the basic mesh decoding unit 202 will be explained with reference to Figures 4 and 5.
  • Figure 4 shows an example of the syntax configuration of a basic mesh bitstream.
  • the base mesh bitstream may include a base patch header (BPH), which is a collection of control information corresponding to a base mesh patch.
  • BPH base patch header
  • the base mesh bitstream may include, following the BPH, base mesh patch data that encodes the base mesh patch.
  • the basic mesh bitstream is configured so that one BPH corresponds to each patch data.
  • the configuration in FIG. 4 is merely an example, and elements other than those described above may be added as components of the basic mesh bitstream, as long as each patch data corresponds to a BPH.
  • the basic mesh bit stream may include an SPS (Sequence Parameter Set), an FH (Frame Header) which is a collection of control information corresponding to a frame, or an MH (Mesh Header) which is control information corresponding to a mesh.
  • SPS Sequence Parameter Set
  • FH Fram Header
  • MH Mesh Header
  • Figure 5 shows an example of the syntax configuration of a BPH.
  • the syntax functions are similar, different syntax names may be used in addition to the syntax mates shown in Figure 5.
  • the Description column indicates how each syntax is coded. Also, ue(v) indicates an unsigned zeroth-order exponential Golomb code, and u(n) indicates an n-bit flag.
  • the BPH includes at least a control signal (mdu_face_count_minus1) that specifies the number of base faces contained in the base mesh patch.
  • the BPH also includes at least a control signal (mdu_subdivision_method_id) that specifies the type of subdivision method for the base mesh for each base patch.
  • the BPH may include a control signal (mdu_max_depth) for identifying an upper limit on the number of recursive subdivisions to be performed for each base mesh patch when recursively generating the number of subdivisions of the base surface.
  • mdu_max_depth a control signal for identifying an upper limit on the number of recursive subdivisions to be performed for each base mesh patch when recursively generating the number of subdivisions of the base surface.
  • the basic mesh decoding unit 202 includes a separation unit 202A, an intra decoding unit 202B, a mesh buffer unit 202C, a connection information decoding unit 202D, and an inter decoding unit 202E.
  • the separation unit 202A is configured to classify the basic mesh bit stream into an I frame (reference frame) bit stream and a P frame bit stream.
  • the intra decoder 202B is configured to decode the vertex coordinates and connection information of the I frame from the bit stream of the I frame using, for example, Draco described in Non-Patent Document 2.
  • FIG. 7 shows an example of the functional blocks of the intra decoder 202B.
  • the intra decoding unit 202B has an arbitrary intra decoding unit 202B1 and an alignment unit 202B2.
  • the arbitrary intra-decoding unit 202B1 is configured to decode the coordinates and connection information of the unordered vertices of the I-frame from the bit stream of the I-frame using any method including Draco described in Non-Patent Document 2.
  • the sorting unit 202B2 is configured to output vertices by sorting the unordered vertices into a predetermined order.
  • the predetermined order may be, for example, the Morton code order or the raster scan order.
  • the alignment unit 202B2 may also group together overlapping vertices, which are multiple vertices with the same coordinates in the decoded base mesh, into a single vertex and then rearrange them in a predetermined order.
  • step S101 the sorting unit 202B2 determines the list of overlapping vertices described above. That is, the sorting unit 202B2 determines the list of overlapping vertices that exist in the decoded base mesh.
  • the sorting unit 202B2 determines the list of overlapping vertices that exist in the decoded base mesh.
  • at least two methods for determining such a list of overlapping vertices are assumed.
  • Determination method 1 For example, in determination method 1, the organizing unit 202B2 is configured to decode the above-mentioned list of overlapping vertices from the bitstream of an I frame.
  • the sorting unit 202B2 decodes a flag indicating whether or not there is a duplicate vertex from the bit stream of the I frame.
  • the sorting unit 202B2 decodes the number D of duplicate vertices.
  • the sorting unit 202B2 decodes pairs of vertex indexes A(k) and B(k) that exist as overlapping vertices one by one from the I frame bit stream and stores them in a specific buffer.
  • the list of such pairs is stored in the above-mentioned specific buffer in the order of A(k) ⁇ B(k).
  • the sorting unit 202B2 empties the above specific buffer.
  • Determination method 1 is expected to have the effect of avoiding an increase in the amount of calculations because no calculations are performed.
  • the organizing unit 202B2 is configured to calculate a list of overlapping vertices by searching for overlapping vertices in the decoded base mesh.
  • the sorting unit 202B2 searches for the indexes of vertices with matching coordinates (duplicate vertices) from the geometric information of the decoded base mesh and stores them in a buffer.
  • the input to the sorting unit 202B2 is the index (in decoding order) and position coordinates of each vertex of the decoded base mesh
  • the output from the sorting unit 202B2 is a list of pairs of vertex indices A(k) and B(k) that exist as overlapping vertices.
  • this list of pairs is saved in the above-mentioned specific buffer in the order A(k) ⁇ B(k).
  • Decision method 2 is expected to have the effect of avoiding an increase in the bit rate because no data is taken from the bitstream.
  • step S102 the sorting unit 202B2 updates the mesh based on the overlapping vertices.
  • the sorting unit 202B2 merges all or part of the overlapping vertices and updates the Connectivity, as shown in FIG. 9.
  • Method 1 For example, in the implementation method 1, the organizing unit 202B2 processes all overlapping vertices stored in the specific buffer in the above-mentioned step S101.
  • the sorting unit 202B2 sequentially switches the index of the vertex A(k) to B(k) in the Connectivity. However, if there is an index of the UV coordinates in the Connectivity, the sorting unit 202B2 does not need to change that index.
  • Method 2 the sorting unit 202B2 decodes from the bit stream information relating to duplicate vertices that are not to be processed (vertices that do not need to be processed) among the duplicate vertices stored in the specific buffer in the above-mentioned step S101, integrates the duplicate vertices other than the duplicate vertices that are not to be processed, and updates the Connectivity.
  • the sorting unit 202B2 decodes a flag indicating the presence or absence of vertices that will not be processed (duplicate vertices) from the bit stream.
  • the sorting unit 202B2 decodes the number N of vertices that do not need to be processed.
  • the sorting unit 202B2 deletes the pair containing A(k) or the kth pair from among the pairs of overlapping vertices stored in the specific buffer in step S101 described above.
  • the sorting unit 202B2 implements the above-mentioned implementation method 1 using the specific buffer that was last updated.
  • the mesh buffer unit 202C is configured to accumulate the coordinates and connection information of the vertices of the I frame decoded by the intra-decoding unit 202B.
  • a specific buffer may be provided to store pairs of vertex indexes A(k) and B(k) of overlapping vertices in a predetermined order.
  • connection information decoding unit 202D is configured to convert the connection information of the I frame extracted from the mesh buffer unit 202C into connection information of the P frame.
  • the inter-decoding unit 202E is configured to decode the coordinates of the vertices of the P frame by adding the coordinates of the vertices of the I frame extracted from the mesh buffer unit 202C to the motion vectors decoded from the bit stream of the P frame.
  • the inter-decoding unit 202E can adjust the index of the vertex of the P frame using the pair of vertex indexes A(k) and B(k) that exist as overlapping vertices stored in the specific buffer.
  • the motion vector decoded by the inter decoding unit 202E is a difference vector between the coordinates of the vertices of the base mesh of the P frame and the coordinates of the vertices of the base mesh of the I frame.
  • the inter decoding unit 202E may be configured to calculate the index or coordinate of a vertex to be increased in the base mesh of the inter frame to be decoded, based on the vertices of the base mesh of a reference frame having multiple motion vectors.
  • FIG. 11 is a diagram showing an example of functional blocks of the inter decoding unit 202E.
  • the inter-decoding unit 202E has a motion vector residual decoding unit 202E1, a motion vector buffer unit 202E2, a motion vector prediction unit 202E3, a motion vector calculation unit 202E4, and an adder 202E5.
  • the base mesh decoding unit 202 may have an additional vertex calculation unit 202E10 before the inter decoding unit 202E, as shown in FIG. 12.
  • the additional vertex calculation unit 202E10 is configured to calculate the index of a vertex to be increased in the basic mesh of the inter frame to be decoded, based on the vertices of the basic mesh of the reference frame having multiple motion vectors.
  • FIG. 13 also shows the vertices of a base mesh in a reference frame with multiple motion vectors as described above.
  • the additional vertex calculation unit 202E10 decodes from the bitstream the index of the vertex to be increased in the base mesh of the interframe to be decoded, based on the vertices of the base mesh of the reference frame having multiple motion vectors.
  • the additional vertex calculation unit 202E10 decodes a flag from the bitstream that indicates whether or not there is a vertex of the base mesh of a reference frame that has multiple motion vectors that do not require processing.
  • the additional vertex calculation unit 202E10 decodes the number N of vertices to be increased in the basic mesh of the interframe to be decoded, using the vertices of the basic mesh of the reference frame that has multiple motion vectors and does not require processing.
  • the additional vertex calculation unit 202E10 adds one vertex to the basic mesh of the interframe to be decoded using a vertex of the basic mesh of the reference frame having two motion vectors, and adds two vertices to the basic mesh of the interframe to be decoded using a vertex of the basic mesh of the reference frame having three motion vectors.
  • the additional vertex calculation unit 202E10 decodes pairs of the index A(k) of the vertex to be added in the base mesh of the interframe to be decoded and the corresponding index B(k) of the vertex of the base mesh of the reference frame that does not require processing or the order k of the index B(k) one by one, and stores them in the above-mentioned specific buffer.
  • k 1, 2, ..., N.
  • the additional vertex calculation unit 202E10 empties the specific buffer.
  • the additional vertex calculation unit 202E10 deletes the pair including A(k) or the kth pair from among the pairs of overlapping vertices stored in the specific buffer in the above-mentioned step S101.
  • the motion vector residual decoding unit 202E1 is configured to generate a motion vector residual (MVR) from the P frame bitstream.
  • MVR motion vector residual
  • MVR is the motion vector residual indicating the difference between MV (Motion Vector) and MVP (Motion Vector Prediction).
  • MV is the difference vector (motion vector) between the coordinates of the corresponding vertex in the I frame and the coordinates of the vertex in the P frame.
  • MVP is the predicted value of the MV of the target vertex using MV (motion vector prediction value).
  • the motion vector buffer unit 202E2 is configured to sequentially store the MVs output by the motion vector calculation unit 202E4.
  • the motion vector prediction unit 202E3 is configured to obtain the decoded MVs from the motion vector buffer unit 202E2 for the vertices connected to the vertex to be decoded, and output the MVP of the vertex to be decoded using all or part of the obtained decoded MVs, as shown in FIG. 14.
  • the motion vector calculation unit 202E4 is configured to add the MVR generated by the motion vector residual decoding unit 202E1 and the MVP output from the motion vector prediction unit 202E3, and output the MV of the vertex to be decoded.
  • the adder 202E5 is configured to add the coordinates of the vertex corresponding to the vertex to be decoded, which is obtained from the decoded base mesh of the corresponding I frame (reference frame), to the motion vector MV output from the motion vector calculation unit 202E3, and output the coordinates of the vertex to be decoded.
  • FIG. 15 shows a flowchart illustrating an example of the operation of the motion vector prediction unit 202E3.
  • step S1001 the motion vector prediction unit 202E3 sets MVP and N to 0.
  • step S1002 the motion vector prediction unit 202E3 obtains a set of MVs of vertices around the vertex to be decoded from the motion vector buffer unit 202E2, identifies vertices for which subsequent processing has not been completed, and transitions to No. If subsequent processing has been completed for all vertices, transitions to Yes.
  • step S1003 if the MV of the vertex to be processed has not been decoded, the motion vector prediction unit 202E3 transitions to No, and if the MV of the vertex to be processed has been decoded, the motion vector prediction unit 202E3 transitions to Yes.
  • step S1004 the motion vector prediction unit 202E3 adds MV to MVP and adds 1 to N.
  • step S1005 if N is greater than 0, the motion vector prediction unit 202E3 outputs the result of dividing MVP by N, and if N is 0, it outputs 0 and ends the process.
  • the motion vector prediction unit 202E3 is configured to output the MVP to be decoded by averaging the decoded motion vectors of the vertices around the vertex to be decoded.
  • the motion vector prediction unit 202E3 may be configured to set the MVP to 0 if the set of decoded motion vectors is an empty set.
  • the motion vector calculation unit 202E4 may be configured to calculate the MV of the vertex to be decoded from the MVP output by the motion vector prediction unit 202E3 and the MVR generated by the motion vector residual decoding unit 202E1 using equation (1).
  • MV(k) MVP(k)+MVR(k) ... (1) where k is the index of the vertex.
  • MV, MVR and MVP are vectors with x, y and z components.
  • MVP is used to encode only MVR instead of MV, which is expected to improve encoding efficiency.
  • the adder 202E5 is configured to calculate the coordinates of a vertex by adding the MV of the vertex calculated by the motion vector calculation unit 202E4 to the coordinates of the vertex in the reference frame corresponding to the vertex, and to keep the connectivity information (Connectivity) in the reference frame.
  • the adder 202E5 may be configured to calculate the coordinate v' i (k) of the k-th vertex using equation (2).
  • v'i (k) v'j (k)+MV(k)... (2)
  • v'i (k) is the coordinate of the kth vertex to be decoded in the frame to be decoded
  • v'j (k) is the coordinate of the kth vertex decoded in the reference frame
  • the adder 202E5 uses formula (2) for the first motion vector, but uses formula (3) instead of formula (2) for the second and subsequent u-th motion vectors.
  • connection information of the frame to be decoded is made the same as the connection information of the reference frame.
  • the motion vector prediction unit 202E3 calculates the MVP using decoded MVs, so the order of decoding affects the MVP.
  • the order of such decoding is the order in which the vertices of the base mesh in the reference frame are decoded.
  • the decoding method uses a fixed repeating pattern to increase the number of base faces one by one from the starting edge, the order of the vertices of the decoded base mesh is determined during the decoding process.
  • the motion vector prediction unit 202E3 may use an edgebreaker to determine the order in which vertices are decoded in the base mesh of the reference frame.
  • MVs from a reference frame are encoded instead of vertex coordinates, which is expected to improve encoding efficiency.
  • the subdivision unit 203 is configured to generate and output added subdivision vertices and their connection information from the basic mesh decoded by the basic mesh decoding unit 202 using a subdivision method indicated by the control information.
  • the base mesh the added subdivision vertices, and their connection information are collectively referred to as the "subdivision mesh.”
  • the subdivision unit 202 is configured to identify the type of subdivision method from the subdivision_method_id, which is control information generated by decoding the basic mesh bitstream.
  • the subdivision unit 202 will be described below with reference to Figures 3A and 3B.
  • Figures 3A and 3B are diagrams for explaining an example of the operation of generating subdivision vertices from a base mesh.
  • Figure 3A shows an example of a base mesh consisting of five vertices.
  • the subdivision may be performed, for example, using the mid-edge division method, which connects the midpoints of each edge of each basic face. This results in a basic face being divided into four faces.
  • Figure 3B shows an example of a subdivision mesh that is generated by dividing a base mesh consisting of five vertices.
  • eight subdivision vertices (white circles) have been generated in addition to the original five vertices (black circles).
  • a different subdivision method may be applied to each patch. This allows the displacement amount decoded by the displacement amount decoding unit 206 to be adaptively changed for each patch, which is expected to improve coding performance.
  • Information on the divided patch is received as patch_id, which is control information.
  • FIG. 16 is a diagram showing an example of the functional blocks of the subdivision unit 203.
  • the subdivision unit 203 has a basic mesh subdivision unit 203A and a subdivision mesh adjustment unit 203B.
  • the basic mesh subdivision unit 203A is configured to calculate the number of divisions (number of subdivisions) for each basic surface and basic patch based on the input basic mesh and division information of the basic mesh, subdivide the basic mesh based on the number of divisions, and output the subdivision surface.
  • the basic mesh subdivision unit 203A may be configured to be able to change the above-mentioned number of divisions on a basic surface and basic patch basis.
  • a base face is a face that makes up a base mesh
  • a base patch is a collection of several base faces.
  • the base mesh subdivision unit 203A may also be configured to predict the number of fine subdivisions of the base surface and calculate the number of subdivisions of the base surface by adding the predicted subdivision number residual to the predicted number of subdivisions of the base surface.
  • the base mesh subdivision unit 203A may also be configured to calculate the number of subdivisions of a base surface based on the number of subdivisions of adjacent base surfaces of the base surface.
  • the base mesh subdivision unit 203A may also be configured to calculate the number of subdivisions of a base surface based on the number of subdivisions of the base surface that was previously accumulated.
  • the basic mesh subdivision unit 203A may also be configured to generate vertices that divide the three sides that make up the basic surface, and to subdivide the basic surface by connecting the generated vertices.
  • the basic mesh subdivision unit 203A is followed by 203B, which includes a subdivision mesh adjustment unit, as described below.
  • FIG. 17 shows an example of the functional blocks of the basic mesh subdivision unit 203A
  • FIG. 19 is a flowchart showing an example of the operation of the basic mesh subdivision unit 203A.
  • the basic mesh subdivision unit 203A has a basic surface division number buffer unit 203A1, a basic surface division number reference unit 203A2, a basic surface division number prediction unit 203A3, an addition unit 203A4, and a basic surface division unit 203A5.
  • the basic surface division number buffer unit 203A1 stores division information of basic surfaces, including the division number of the basic surface, and is configured to output the division information of the basic surface to the basic surface division number reference unit 203A2.
  • the size of the basic surface division number buffer unit 203A1 may be set to 1, and the unit may be configured to output the most recently accumulated basic surface division number to the basic surface division number reference unit 203A2.
  • the size of the basic surface division number buffer unit 203A1 may be configured to refer only to the last decoded fine division number (the subdivision number decoded immediately before).
  • the basic surface division number reference unit 203A2 is configured to output a reference not possible to the basic surface division number prediction unit 203A3 if there is no adjacent basic surface to the basic surface to be decoded, or if there is an adjacent basic surface to the basic surface to be decoded but the division number has not been determined.
  • the basic face division number reference unit 203A2 is configured to output the number of divisions to the basic face division number prediction unit 203A3.
  • the basic surface division number prediction unit 203A3 is configured to predict the division number (number of subdivisions) of a basic surface based on one or more input division numbers, and output the predicted division number (predicted division number) to the addition unit 203A4.
  • the basic surface division number prediction unit 203A3 is configured to output 0 to the addition unit 203A4 if only reference impossible is input from the basic surface division number reference unit 203A2.
  • the basic surface division number prediction unit 203A3 may be configured to generate a predicted division number using any of the statistical values such as the average value, maximum value, minimum value, or mode of the input division numbers.
  • the basic face division number prediction unit 203A3 may be configured to generate the division number of the most adjacent face as the predicted division number when one or more division numbers are input.
  • the addition unit 203A4 is configured to output the division number obtained by adding the prediction division number residual decoded from the prediction residual bit stream and the prediction division number obtained from the basic surface division number prediction unit 203A3 to the basic surface division unit 203A5.
  • the basic surface division unit 203A5 is configured to subdivide the basic surface based on the division number input from the addition unit 203A4.
  • FIG. 18 shows an example of a case where a basic surface is divided into nine parts. The method of dividing a basic surface by the basic surface division unit 203A5 will be explained with reference to FIG. 18.
  • the basic surface division unit 203A5 divides sides BC and CA into N equal parts, generating points B_1, ..., B_(N-1), C_1, ..., C_(N-1), respectively.
  • step S2201 it is determined whether the subdivision process for the last base face is complete. If the process is complete, the process ends. If not, the process proceeds to step S2202.
  • step S2202 the basic mesh subdivision unit 203A determines whether Depth ⁇ mdu_max_depth.
  • Depth is a variable that represents the current depth, with an initial value of 0, and mdu_max_depth represents the maximum depth determined for each base surface.
  • step S2202 If the condition in step S2202 is met, the process proceeds to step S2203; if the condition is not met, the process returns to step S2201.
  • step S2203 the base mesh subdivision unit 203A determines whether mdu_subdivision_flag at the current depth is 1 or not.
  • step S2204 the base mesh subdivision unit 203A further subdivides all subdivision surfaces within the base surface.
  • the base mesh subdivision unit 203A subdivides the base surface.
  • the subdivision method is the same as that described in step S2204.
  • a basic face has never been subdivided, the basic face is subdivided as shown in Fig. 18. If the basic face has been subdivided at least once, the subdivision face is subdivided into N2 faces. Taking Fig. 18 as an example, a face consisting of vertices A_2, B, and B_1 is further divided in the same way as when dividing the basic face to generate N2 faces.
  • step S2205 the base mesh subdivision unit 203A adds 1 to Depth, and the process returns to step S2202.
  • Figure 20 shows an example of the functional blocks of the fine division mesh adjustment unit 203B.
  • the subdivision mesh adjustment unit 203B has an edge division point moving unit 701 and a subdivision surface division unit 702.
  • the edge division point moving unit 701 is configured to move an edge division point of a basic face to any of the edge division points of an adjacent basic face for an input initial subdivision face, and output a subdivision face.
  • FIG. 21 shows an example of moving an edge division point on base face ABC.
  • the edge division point moving unit 701 may be configured to move the edge division point of base face ABC to the edge division point of the nearest adjacent base face.
  • the subdivision surface division unit 702 is configured to re-subdivide the input subdivision surface and output a composite subdivision surface.
  • Figure 22 shows an example of a case where subdivision is performed again on subdivision surface X within a base surface.
  • the subdivision surface division unit 702 may be configured to generate new subdivision surfaces within a base surface by connecting the vertices that make up the subdivision surface to the edge division points of an adjacent base surface.
  • Figure 23 shows an example of a case where the above-mentioned subdivision process has been performed on all subdivision surfaces.
  • the mesh decoding unit 204 is configured to generate and output a decoded mesh using the subdivision mesh generated by the subdivision unit 203 and the displacement amount decoded by the displacement amount decoding unit 206.
  • the mesh decoding unit 204 is configured to generate a decoded mesh by adding the corresponding displacement amount to each subdivision vertex.
  • information regarding which subdivision vertex each displacement amount corresponds to is indicated by control information.
  • the patch integration unit 205 is configured to integrate and output the decoded mesh generated by the mesh decoding unit 206 for multiple patches.
  • the method of dividing the patch is defined by the mesh encoding device 100.
  • the method of dividing the patch may be configured to calculate a normal vector for each base face, select the base face with the most similar normal vector among the adjacent base faces, combine both base faces into the same patch, and repeat this procedure sequentially for the next base face.
  • the video decoding unit 207 is configured to decode and output the texture by video encoding.
  • the video decoding unit 207 may use HEVC in Non-Patent Document 1.
  • the displacement amount decoding unit 206 is configured to decode the displacement amount bitstream to generate and output the displacement amount.
  • FIG. 3B is a diagram showing an example of the displacement amount for a certain subdivision vertex.
  • the displacement amount decoding unit 206 is configured to define eight displacement amounts expressed as scalars or vectors for each subdivision vertex.
  • FIG. 24 is a diagram showing an example of a functional block of the displacement amount decoding unit 206.
  • the displacement amount decoding unit 206 has a decoding unit 206A, an inverse quantization unit 206B, an inverse wavelet transform unit 206C, an adder 206D, an inter prediction unit 206E, and a frame buffer 206F.
  • the decoding unit 206A is configured to decode and output level values and control information by performing variable length decoding on the received displacement amount bit stream.
  • the level values obtained by variable length decoding are output to the inverse quantization unit 206B, and the control information is output to the inter prediction unit 206E.
  • FIG. 25 is a diagram showing an example of the configuration of a displacement amount bit stream.
  • the displacement bit stream may include a DPS (Displacement Parameter Set), which is a collection of control information related to the decoding of the displacement.
  • DPS Displayment Parameter Set
  • the displacement bitstream may include a DPH (Displacement Patch Header), which is a collection of control information corresponding to a patch.
  • DPH Displayment Patch Header
  • the displacement bitstream may contain, next to the DPH, the encoded displacements that make up the patch.
  • the displacement bitstream is structured so that each encoded displacement corresponds to one DPH and one DPS.
  • the displacement bit stream may include a sequence parameter set (SPS).
  • SPS sequence parameter set
  • Figure 26 shows an example of the syntax configuration of a DPS.
  • ue(v) means an unsigned zeroth-order exponential Golomb code
  • u(n) means an n-bit flag
  • the DPS includes at least DPS id information (dps_displacement_parameter_set_id) for identifying each DPS.
  • the DPS may also include a flag (interprediction_enabled_flag) that controls whether or not inter prediction is performed.
  • interprediction_enabled_flag when interprediction_enabled_flag is 0, it may be defined that inter prediction is not performed, and when interprediction_enabled_flag is 1, it may be defined that inter prediction is performed. When interprediction_enabled_flag is not included, it may be defined that inter prediction is not performed.
  • the DPS may include a flag (dct_enabled_flag) that controls whether or not to perform inverse DCT.
  • dct_enabled_flag when dct_enabled_flag is 0, it may be defined that inverse DCT is not performed, and when dct_enabled_flag is 1, it may be defined that inverse DCT is performed. When dct_enabled_flag is not included, it may be defined that inverse DCT is not performed.
  • Figure 27 shows an example of the syntax configuration of DPH.
  • the DPH includes at least DPS id information for specifying the DPS corresponding to each DPH.
  • the inverse quantization unit 206B is configured to generate and output transform coefficients by inverse quantizing the level values decoded by the decoding unit 206A.
  • the inverse wavelet transform unit 206C is configured to generate and output a prediction residual by performing an inverse wavelet transform on the transform coefficients generated by the inverse quantization unit 206B.
  • the inter prediction unit 206E is configured to perform inter prediction using the decoded displacement amount of the reference frame read out from the frame buffer 206F, thereby generating and outputting a predicted displacement amount.
  • the inter prediction unit 206E is configured to perform such inter prediction only when interprediction_enabled_flag is 1.
  • the inter prediction unit 206E may perform inter prediction in the spatial domain, or may perform inter prediction in the frequency domain. Inter prediction may be bidirectional prediction using a past reference frame and a future reference frame in time.
  • FIG. 24 shows an example of a functional block of the inter prediction unit 206E when performing inter prediction in the spatial domain.
  • the inter prediction unit 206E may determine the predicted displacement amount of a subdivision vertex in the target frame by directly referring to the decoded displacement amount of the corresponding subdivision vertex in the reference frame.
  • the predicted displacement of a certain subdivision vertex in the target frame may be determined probabilistically according to a normal distribution with estimated mean and variance, using the decoded displacements of corresponding subdivision vertices in multiple reference frames.
  • the variance may be set to zero and the predicted displacement may be determined uniquely using only the mean.
  • the predicted displacement of a subdivision vertex in the target frame may be determined based on a regression curve estimated using the decoded displacements of corresponding subdivision vertices in multiple reference frames, with time as the explanatory variable and displacement as the objective variable.
  • the order of the decoded displacement amounts may be rearranged to improve coding efficiency for each frame.
  • the inter prediction unit 206E may be configured to perform inter prediction on the rearranged decoding displacement amounts.
  • the correspondence between the subdivision vertices between the reference frame and the frame to be decoded is indicated by the control information.
  • FIG. 28 is a diagram illustrating an example of the correspondence between subdivision vertices between a reference frame and a frame to be decoded when inter prediction is performed in the spatial domain.
  • FIG. 29 shows an example of a functional block of the inter prediction unit 206E when performing inter prediction in the frequency domain.
  • the inter prediction unit 206E may determine the predicted wavelet transform coefficients of a frequency in the frame to be decoded by directly referring to the decoded wavelet transform coefficients of the corresponding frequency in the reference frame.
  • the inter prediction unit 206E may perform probabilistic inter prediction according to a normal distribution with estimated mean and variance, using the decoded displacement amounts or decoded wavelet transform coefficients of the subdivision vertices in multiple reference frames.
  • the inter prediction unit 206E may perform inter prediction based on a regression curve estimated using the decoded displacement amounts or decoded wavelet transform coefficients of the subdivision vertices in multiple reference frames, with time as the explanatory variable and the displacement amount as the objective variable.
  • the inter prediction unit 206E may be configured to perform bidirectional inter prediction using a past reference frame and a future reference frame in time.
  • the order of the decoded wavelet transform coefficients may be rearranged to improve coding efficiency for each frame.
  • the frequency correspondence between the reference frame and the frame to be decoded is indicated by control information.
  • FIG. 30 is a diagram illustrating an example of the frequency correspondence between a reference frame and a frame to be decoded when inter prediction is performed in the frequency domain.
  • the inter prediction unit 206E is also configured to perform inter prediction for each divided patch. This increases the time correlation between frames, and is expected to improve coding performance.
  • the adder 206D receives the prediction residual from the inverse wavelet transform unit 206C and the predicted displacement from the inter prediction unit 206E.
  • the adder 206D is configured to calculate and output the decoded displacement amount by adding the prediction residual and the predicted displacement amount.
  • the decoded displacement calculated by the adder 206D is also output to the frame buffer 206F.
  • the frame buffer 206F is configured to obtain and store the decoded displacement amount from the adder 206D.
  • the frame buffer 206F outputs the decoded displacement amount at the corresponding vertex in the reference frame according to control information (not shown).
  • FIG. 31 is a flowchart showing an example of the operation of the displacement amount decoding unit 206.
  • step S3501 the displacement amount decoding unit 206 determines whether this process has been completed for all patches.
  • step S3502 the displacement decoding unit 206 performs inverse DCT on the patch to be decoded, and then performs inverse quantization and inverse wavelet transform.
  • step S3503 the displacement amount decoding unit 206 determines whether or not interpretation_enabled_flag is 1.
  • step S3504 If the answer is Yes, the operation proceeds to step S3504; if the answer is No, the operation returns to step S3501.
  • step S3504 the displacement decoding unit 206 performs the above-mentioned inter prediction and addition.
  • FIG. 32 shows an example of a functional block of the displacement amount decoding unit 206 in this modification example 1.
  • the displacement decoding unit 206 includes an inverse DCT unit 206G after the decoding unit 206A, that is, between the decoding unit 206A and the inverse quantization unit 206B.
  • the inverse quantization unit 206B is configured to generate a prediction residual by performing an inverse wavelet transform on the level values output from the inverse DCT unit 202G.
  • the displacement amount decoding unit 206 in this modification example 2 has a video decoding unit 2061, an image expansion unit 2062, an inverse quantization unit 2063, and an inverse wavelet transformation unit 2064.
  • the video decoding unit 2061 is configured to output video by decoding the received displacement amount bit stream using video coding.
  • the video decoding unit 2061 may use HEVC as described in Non-Patent Document 1.
  • the video decoding unit 2061 may also use a video encoding method in which the motion vector is always set to zero.
  • the video decoding unit 2061 may always set the motion vector of HEVC to zero and always use inter prediction at the same position.
  • the video decoding unit 2061 may also use a video encoding method in which conversion is always skipped.
  • the video decoding unit 2061 may always set HEVC conversion to conversion skip mode and use a video encoding method without conversion.
  • the image expansion unit 2062 is configured to expand and output the video decoded by the video decoding unit 2061 as level values for each image (frame).
  • the image expansion unit 2062 can determine the level by calculating backwards from the arrangement of the level values in the image indicated by the control information.
  • the image expansion unit 2062 may arrange the level values in the image in the order of raster operations, for example, from high-frequency components to low-frequency components.
  • the inverse quantization unit 2063 is configured to generate and output transformation coefficients by inverse quantizing the level values generated by the image expansion unit 2062.
  • the inverse wavelet transform unit 2064 is configured to generate and output a decoded displacement amount by performing an inverse wavelet transform on the transform coefficients generated by the inverse quantization unit 2063.
  • the above-mentioned mesh encoding device 100 and mesh decoding device 200 may be realized as a program that causes a computer to execute each function (each process).

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)

Abstract

本発明に係るメッシュ復号装置２００は、復号された基本メッシュにおいて座標が一致する複数の頂点である重複頂点をまとめて単一頂点としてから、所定の順序に並び替える整列部２０２Ｂ２を備える。

Description

メッシュ復号装置、メッシュ復号方法及びプログラム
　本発明は、メッシュ復号装置、メッシュ符号化装置、メッシュ復号方法及びプログラムに関する。
　非特許文献１には、非特許文献２を用いてメッシュを符号化する技術が開示されている。
Ｃｆｐ　ｆｏｒ　Ｄｙｎａｍｉｃ　Ｍｅｓｈ　Ｃｏｄｉｎｇ、ＩＳＯ/ＩＥＣ　ＪＴＣ１/ＳＣ２９/ＷＧ７　Ｎ００２３１、ＭＰＥＧ１３６　-　Ｏｎｌｉｎｅ Ｇｏｏｇｌｅ　Ｄｒａｃｏ、２０２２年５月２６日アクセス［Ｏｎｌｉｎｅ］、https://google.github.io/draco
　しかしながら、従来技術では、動的メッシュを構成する全ての頂点の座標や接続情報を可逆符号化するため、損失が許容される条件下であっても情報量を削減できず、符号化効率が低いという問題点があった。
　また、従来技術では、復号した基本メッシュに存在する重複頂点により動きベクトル符号化効率が低いという問題点があった。　そこで、本発明は、上述の課題に鑑みてなされたものであり、メッシュの符号化効率を向上させることができるメッシュ復号装置、メッシュ符号化装置、メッシュ復号方法及びプログラムを提供することを目的とする。
　本発明の第１の特徴は、メッシュ復号装置であって、復号された基本メッシュにおいて座標が一致する複数の頂点である重複頂点をまとめて単一頂点としてから、所定の順序に並び替える整列部を備えることを要旨とする。
　本発明の第２の特徴は、メッシュ復号方法であって、復号された基本メッシュに対する座標が一致する複数の頂点である重複頂点をまとめて単一頂点としてから、所定の順序に並び替える工程を有することを要旨とする。
　本発明の第３の特徴は、コンピュータを、メッシュ復号装置として機能させるプログラムであって、前記メッシュ復号装置は、復号された基本メッシュに対する座標が一致する複数の頂点である重複頂点をまとめて単一頂点としてから、所定の順序に並び替える整列部を備えることを要旨とする。
　本発明によれば、メッシュの符号化効率を向上させることができるメッシュ復号装置、メッシュ符号化装置、メッシュ復号方法及びプログラムを提供することができる。
図１は、一実施形態に係るメッシュ処理システム１の構成の一例を示す図である。 図２は、一実施形態に係るメッシュ復号装置２００の機能ブロックの一例を示す図である。 図３Ａは、基本メッシュ及び細分割メッシュの一例を示す図である。 図３Ｂは、基本メッシュ及び細分割メッシュの一例を示す図である。 図４は、基本メッシュビットストリームのシンタックス構成の一例を示す図である。 図５は、図５は、ＢＰＨのシンタックス構成の一例を示す図である。 図６は、一実施形態に係るメッシュ復号装置２００の基本メッシュ復号部２０２の機能ブロックの一例を示す図である。 図７は、一実施形態に係るメッシュ復号装置２００の基本メッシュ復号部２０２のイントラ復号部２０２Ｂの機能ブロックの一例を示す図である。 図８は、一実施形態に係るメッシュ復号装置２００の基本メッシュ復号部２０２のイントラ復号部２０２Ｂの整理部２０２Ｂ２の動作の一例について示すフローチャートである。 図９は、一実施形態に係るメッシュ復号装置２００の基本メッシュ復号部２０２のイントラ復号部２０２Ｂの整理部２０２Ｂ２の動作の一例について説明するための図である。 図１０は、Ｐフレームの基本メッシュの頂点とＩフレームの基本メッシュの頂点との間の対応関係の一例を示す図である。 図１１は、一実施形態に係るメッシュ復号装置２００の基本メッシュ復号部２０２のインター復号部２０２Ｅの機能ブロックの一例を示す図である。 図１２は、一実施形態に係るメッシュ復号装置２００の基本メッシュ復号部２０２の機能ブロックの一例を示す図である。 図１３は、複数の動きベクトルを持つ参照フレームの基本メッシュの頂点を示す図である。 図１４は、一実施形態に係るメッシュ復号装置２００の基本メッシュ復号部２０２のインター復号部２０２Ｅの動きベクトル予測部２０２Ｅ３による復号対象の頂点のＭＶＰの算出方法の一例を説明するための図である。 図１５は、一実施形態に係るメッシュ復号装置２００の基本メッシュ復号部２０２のインター復号部２０２Ｅの動きベクトル予測部２０２Ｅ３の動作の一例を示すフローチャートを示す。 図１６は、一実施形態に係るメッシュ復号装置２００の細分割部２０３の機能ブロックの一例について示す図である。 図１７は、一実施形態に係るメッシュ復号装置２００の細分割部２０３の基本メッシュ細分割部２０３Ａの機能ブロックの一例を示す図である。 図１８は、一実施形態に係るメッシュ復号装置２００の細分割部２０３の基本メッシュ細分割部２０３Ａの基本面分割部２０３Ａ５による基本面の分割方法の一例について説明するための図である。 図１９は、一実施形態に係るメッシュ復号装置２００の細分割部２０３の基本メッシュ細分割部２０３Ａの動作の一例を示すフローチャートである。 図２０は、一実施形態に係るメッシュ復号装置２００の細分割部２０３の細分割メッシュ調整部２０３Ｂの機能ブロックの一例を示す図である。 図２１は、一実施形態に係るメッシュ復号装置２００の細分割部２０３の細分割メッシュ調整部２０３Ｂの辺分割点移動部７０１によって基本面ＡＢＣ上の辺分割点が移動されたケースの一例を示す図である。 図２２は、一実施形態に係るメッシュ復号装置２００の細分割部２０３の細分割メッシュ調整部２０３Ｂの細分割面分割部７０２によって基本面内の細分割面Ｘに対して再度細分割が行われたケースの一例を示す図である。 図２３は、一実施形態に係るメッシュ復号装置２００の細分割部２０３の細分割メッシュ調整部２０３Ｂの細分割面分割部７０２によって全ての細分割面に対して再度細分割が行われたケースの一例を示す図である。 図２４は、一実施形態に係るメッシュ復号装置２００の変位量復号部２０６の機能ブロックの一例について示す図である（空間領域でインター予測が行われる場合）。 図２５は、変位量ビットストリームの構成の一例について示す図である。 図２６は、ＤＰＳのシンタックス構成の一例について示す図である。 図２７は、ＤＰＨのシンタックス構成の一例について示す図である。 図２８は、空間領域でインター予測が行われる場合の参照フレームと復号対象フレームとの間の細分割頂点の対応関係の一例について説明するための図である。 図２９は、一実施形態に係るメッシュ復号装置２００の変位量復号部２０６の機能ブロックの一例について示す図である（周波数領域でインター予測が行われる場合）。 図３０は、周波数領域でインター予測が行われる場合の参照フレームと復号対象フレームとの間の周波数の対応関係の一例について説明するための図である。 図３１は、一実施形態に係るメッシュ復号装置２００の変位量復号部２０６の動作の一例を示すフローチャートである。 図３２は、変形例１に係る変位量復号部２０６の機能ブロックの一例を示す図である。 図３３は、変形例２に係る変位量復号部２０６の機能ブロックの一例を示す図である。
　以下、本発明の実施の形態について、図面を参照しながら説明する。なお、以下の実施形態における構成要素は、適宜、既存の構成要素等との置き換えが可能であり、また、他の既存の構成要素との組み合わせを含む様々なバリエーションが可能である。したがって、以下の実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。
＜第１実施形態＞
　以下、図１～図３１を参照して、本実施形態に係るメッシュ処理システムについて説明する。
　図１は、本実施形態に係るメッシュ処理システム１の構成の一例を示す図である。図１に示すように、メッシュ処理システム１は、メッシュ符号化装置１００及びメッシュ復号装置２００を備えている。
　図２は、本実施形態に係るメッシュ復号装置２００の機能ブロックの一例を示す図である。
　図２に示すように、メッシュ復号装置２００は、多重分離部２０１と、基本メッシュ復号部２０２と、細分割部２０３と、メッシュ復号部２０４と、パッチ統合部２０５と、変位量復号部２０６と、映像復号部２０７とを有する。
　ここで、基本メッシュ復号部２０２、細分割部２０３、メッシュ復号部２０４及び変位量復号部２０６は、メッシュを分割したパッチ単位で処理を行うように構成されており、その後、これの処理結果についてパッチ統合部２０５で統合されるように構成されていてもよい。
　図３Ａの例では、メッシュが、基本面１及び２で構成されるパッチ１と、基本面３及び４で構成されるパッチ２とに分割されている。
　多重分離部２０１は、多重化されたビットストリームを、基本メッシュビットストリームと変位量ビットストリームとテクスチャビットストリームとに分離するように構成されている。
＜基本メッシュ復号部２０２＞
　基本メッシュ復号部２０２は、基本メッシュビットストリームを復号し、基本メッシュを生成して出力するように構成されている。
　ここで、基本メッシュは、３次元空間における複数の頂点と、かかる複数の頂点を接続する辺とで構成される。
　なお、図３Ａに示すように、基本メッシュは、３つの頂点で表現される基本面を組み合わせて構成される。
　基本メッシュ復号部２０２は、例えば、非特許文献２に示すＤｒａｃｏを用いて、基本メッシュビットストリームを復号するように構成されていてもよい。
　また、基本メッシュ復号部２０２は、細分割手法の種別を制御する制御情報として、後述の「ｓｕｂｄｉｖｉｓｉｏｎ_ｍｅｔｈｏｄ_ｉｄ」を生成するように構成されていてもよい。
　以下、図４～図５を参照して、基本メッシュ復号部２０２で復号される制御情報について説明する。
　図４は、基本メッシュビットストリームのシンタックス構成の一例を示す図である。
　図４に示すように、第１に、基本メッシュビットストリームは、基本メッシュパッチに対応する制御情報の集合であるＢＰＨ（Ｂａｓｅ　Ｐａｔｃｈ　ｈｅａｄｅｒ：ベースパッチヘッダ）を含んでいてもよい。第２に、基本メッシュビットストリームは、ＢＰＨの次に、基本メッシュパッチを符号化した基本メッシュパッチデータを含んでいてもよい。
　以上のように、基本メッシュビットストリームは、各パッチデータに、１つずつＢＰＨが対応する構成となる。なお、図４の構成は、あくまで一例であり、各パッチデータに、ＢＰＨが対応する構成となっていれば、基本メッシュビットストリームの構成要素として、上述以外の要素が追加されてもよい。
　例えば、図４に示すように、基本メッシュビットストリームは、ＳＰＳ（シーケンスパラメータセット：Ｓｅｑｕｅｎｃｅ　Ｐａｒａｍｅｔｅｒ　Ｓｅｔ）を含んでいてもよいし、フレームに対応する制御情報の集合であるＦＨ（Ｆｒａｍｅ　Ｈｅａｄｅｒ：フレームヘッダ）を含んでもよいし、メッシュに対応する制御情報であるＭＨ（Ｍｅｓｈ　Ｈｅａｄｅｒ：メッシュヘッダ）を含んでもよい。
　図５は、ＢＰＨのシンタックス構成の一例を示す図である。ここで、シンタックスの機能が同様であれば、図５に示すシンタックスメイト異なるシンタックス名が用いられても差し支えない。
　図５に示すＢＰＨのシンタックス構成において、Ｄｅｓｃｒｉｐｔｉｏｎ欄は、各シンタックスが、どのように符号化されているかを意味している。また、ｕｅ（ｖ）は、符号無し０次指数ゴロム符号であることを意味し、ｕ（ｎ）は、ｎビットのフラグであることを意味する。
　ＢＰＨは、基本メッシュパッチに含まれる基本面の個数を指定する制御信号（ｍｄｕ_ｆａｃｅ_ｃｏｕｎｔ_ｍｉｎｕｓ１）を少なくとも含む。
　また、ＢＰＨは、基本パッチごとに基本メッシュの細分割手法の種別を指定する制御信号（ｍｄｕ_ｓｕｂｄｉｖｉｓｉｏｎ_ｍｅｔｈｏｄ_ｉｄ）を少なくとも含む。
　また、ＢＰＨは、基本メッシュパッチごとに細分割数生成手法の種別を指定する制御信号（ｍｄｕ_ｓｕｂｄｉｖｉｓｉｏｎ_ｎｕｍ_ｍｅｔｈｏｄ_ｉｄ）を含んでもよい。例えば、ｍｄｕ_ｓｕｂｄｉｖｉｓｉｏｎ_ｎｕｍ_ｍｅｔｈｏｄ_ｉｄ＝０のとき、予測分割残差により基本面の細分割数を生成することと定義し、ｍｄｕ_ｓｕｂｄｉｖｉｓｉｏｎ_ｎｕｍ_ｍｅｔｈｏｄ_ｉｄ＝１のとき、再帰的に基本面の細分割数を生成することと定義してもよい。
　ＢＰＨは、予測分割残差により基本面の細分割数を生成するとき、インデックスｉ（ｉ＝０，…，ｍｄｕ_ｆａｃｅ_ｃｏｕｎｔ_ｍｉｎｕｓ１）ごとに基本面の予測分割残差を指定する制御信号（ｍｄｕ_ｓｕｂｄｉｖｉｓｉｏｎ_ｒｅｓｕｉｄｕａｌｓ）を含んでもよい。
　ＢＰＨは、再帰的に基本面の細分割数を生成するとき、基本メッシュパッチごとに再帰的に行う細分割回数の上限を識別するための制御信号（ｍｄｕ_ｍａｘ_ｄｅｐｔｈ）を含んでもよい。
　ＢＰＨは、インデックスｉ（ｉ＝０，…，ｍｄｕ_ｆａｃｅ_ｃｏｕｎｔ_ｍｉｎｕｓ１）及びｊ（ｊ＝０，…，ｍｄｕ_ｓｕｂｄｉｖｉｓｉｏｎ_ｄｅｐｔｈ_ｉｎｄｅｘ）ごとに、基本面を再帰的に細分割するか否かを指定する制御信号（ｍｄｕ_ｓｕｂｄｉｖｉｓｉｏｎ_ｆｌａｇ）を含んでもよい。
　図６に示すように、基本メッシュ復号部２０２は、分離部２０２Ａと、イントラ復号部２０２Ｂと、メッシュバッファ部２０２Ｃと、接続情報復号部２０２Ｄと、インター復号部２０２Ｅとを備える。
　分離部２０２Ａは、基本メッシュビットストリームを、Ｉフレーム（参照フレーム）のビットストリームとＰフレームのビットストリームとに分類するように構成されている。
（イントラ復号部２０２Ｂ）
　イントラ復号部２０２Ｂは、例えば、非特許文献２に示すＤｒａｃｏを用いて、Ｉフレームのビットストリームから、Ｉフレームの頂点の座標及び接続情報を復号するように構成されている。
　図７は、イントラ復号部２０２Ｂの機能ブロックの一例を示す図である。
　図７に示すように、イントラ復号部２０２Ｂは、任意イントラ復号部２０２Ｂ１と、整列部２０２Ｂ２とを有する。
　任意イントラ復号部２０２Ｂ１は、非特許文献２に示すＤｒａｃｏを含む任意の方式を用いて、Ｉフレームのビットストリームから、Ｉフレームの順序無し頂点の座標及び接続情報を復号するように構成されている。
　整列部２０２Ｂ２は、順序無し頂点を所定の順序に並び替えることによって頂点を出力するように構成されている。
　所定の順序として、例えば、モートンコード順を用いてもよく、ラスタスキャン順を用いてもよい。
　また、整列部２０２Ｂ２は、復号された基本メッシュにおいて座標が一致する複数の頂点である重複頂点をまとめて、単一頂点としてから、所定の順序に並び替えてもよい。
　ここで、図８を参照して、整理部２０２Ｂ２の動作の一例について説明する。
　図８に示すように、ステップＳ１０１において、整理部２０２Ｂ２は、上述の重複頂点のリストを決定する。すなわち、整理部２０２Ｂ２は、復号された基本メッシュの中に存在する重複頂点のリストを決定する。ここで、かかる重複頂点のリストの決定方法としては、少なくとも２つが想定される。
（決定方法１）
　例えば、整理部２０２Ｂ２は、決定方法１では、Ｉフレームのビットストリームから、上述の重複頂点のリストを復号するように構成されている。
　具体的には、第１に、整理部２０２Ｂ２は、Ｉフレームのビットストリームから重複頂点の有無を示すフラグを復号する。
　第２に、整理部２０２Ｂ２は、かかるフラグがＴＲＵＥであれば、重複頂点の数Ｄを復号する。
　第３に、整理部２０２Ｂ２は、重複頂点として存在する頂点のインデックスＡ（ｋ）及びインデックスＢ（ｋ）のペアをＩフレームのビットストリーム  から１つずつ復号して特定バッファに保存する。但し、Ａ（ｋ）、Ｂ（ｋ）及びｋ（ｋ＝１，２，…，Ｄ）は、整数である。ここで、かかるペアのリストは、Ａ（ｋ）→Ｂ（ｋ）の順で、上述の特定バッファに保存される。
　なお、整理部２０２Ｂ２は、上述のフラグがＦＡＬＳＥであれば、上述の特定バッファを空にする。
　かかる決定方法１によれば、計算を実行しないため、計算量の増加を回避することができるという効果が期待できる。
（決定方法２）
　整理部２０２Ｂ２は、決定方法２では、復号された基本メッシュにおいて重複頂点を探索することによって、重複頂点のリストを算出するように構成されている。
　具体的には、第１に、整理部２０２Ｂ２は、復号された基本メッシュの幾何情報から、座標が一致する頂点（重複頂点）のインデックスを探索してバッファに保存する。
　なお、整理部２０２Ｂ２への入力は、復号した基本メッシュの各頂点のインデックス（復号順）及び位置座標であり、整理部２０２Ｂ２からの出力は、重複頂点として存在する頂点のインデックスＡ（ｋ）及びＢ（ｋ）のペアのリストである。但し、Ａ（ｋ）、Ｂ（ｋ）及びｋ（ｋ＝１，２，…，Ｄ）は、整数である。ここで、かかるペアのリストは、Ａ（ｋ）→Ｂ（ｋ）の順で、上述の特定バッファに保存される。
　また、整理部２０２Ｂ２は、上述の探索で座標が一致する頂点がない時に、特定バッファを空にする（すなわち、Ｄ＝０とする）。
　かかる決定方法２によれば、ビットストリームからデータを取らないため、ビットレートの増加を回避することができるという効果が期待できる。
　なお、上述の決定方法１及び決定方法２のいずれのケースでも、Ｂ（ｋ）が、Ａ（ｋ）の前に復号されるため、Ａ（ｋ）＞Ｂ（ｋ）の関係となる。
　ステップＳ１０２において、整理部２０２Ｂ２は、重複頂点に基づいてメッシュを更新する。
　整理部２０２Ｂ２は、ステップＳ１０１において重複頂点のリストを決めた後、図９に示すように、重複頂点の全部又は一部を統合して、Ｃｏｎｎｅｃｔｉｖｉｔｙを更新する。
　かかるＣｏｎｎｅｃｔｉｖｉｔｙを更新するという動作の実現方法としては、少なくとも２つが想定される。
（実現方法１）
　例えば、整理部２０２Ｂ２は、実現方法１では、上述のステップＳ１０１において特定バッファに保存した全ての重複頂点について処理する。
　具体的には、実現方法１では、第１に、整理部２０２Ｂ２は、基本メッシュの頂点の集合から、Ａ（ｋ）（ｋ＝１，２，…，Ｄ）というＤ個の頂点を削除する。
　第２に、整理部２０２Ｂ２は、Ｃｏｎｎｅｃｔｉｖｉｔｙの中において、Ａ（ｋ）という頂点のインデックスをＢ（ｋ）に順次に切り替える。但し、整理部２０２Ｂ２は、Ｃｏｎｎｅｃｔｉｖｉｔｙの中にＵＶ座標のインデックスがあれば、そのインデックスについては変更しなくてもよい。
　第３に、整理部２０２Ｂ２は、不連続のインデックスを無くすように、インデックスを再設定する。例えば、整理部２０２Ｂ２は、削除されたＡ（ｋ）の後ろの全てのインデックスを１つ繰り上げる。整理部２０２Ｂ２は、かかる繰り上げる操作についてｋ＝１～Ｄまで繰り返す。
　実現方法１で、頂点の数が減るが、面の数及びＵＶ座標の数が変わらなくてもよい。
（実現方法２）
　整理部２０２Ｂ２は、実現方法２では、ビットストリームから、上述のステップＳ１０１において特定バッファに保存した重複頂点のうち、処理しない重複頂点（処理不要な頂点）に係る情報を復号し、処理しない重複頂点以外の重複頂点を統合して、Ｃｏｎｎｅｃｔｉｖｉｔｙを更新する。
　具体的には、実現方法２では、第１に、整理部２０２Ｂ２は、ビットストリームから、処理しない頂点（重複頂点）の有無を示すフラグを復号する。
　第２に、整理部２０２Ｂ２は、かかるフラグがＴＲＵＥであれば、処理不要な頂点の数Ｎを復号する。
　第３に、整理部２０２Ｂ２は、処理不要な頂点のインデックスＡ（ｋ）又はインデックスＡ（ｋ）の順番ｋを１つずつ復号する。但し、ｋ＝１，２，…，Ｎである。
　第４に、整理部２０２Ｂ２は、上述のステップＳ１０１において特定バッファに保存した重複頂点のペアのうち、Ａ（ｋ）を含むペア又は第ｋ番目のペアを削除する。
　第５に、整理部２０２Ｂ２は、最後に更新した特定バッファを用いて、上述の実現方法１を実施する。
　実現方法２では、頂点の数が減るが、面の数及びＵＶ座標の数が変わらなくてもよい。
　メッシュバッファ部２０２Ｃは、イントラ復号部２０２Ｂによって復号されたＩフレームの頂点の座標及び接続情報を蓄積するように構成されている。ここで、重複頂点として存在する頂点のインデックスＡ（ｋ）及びＢ（ｋ）のペアを所定順で保存する特定バッファが設けられていてもよい。
　接続情報復号部２０２Ｄは、メッシュバッファ部２０２Ｃから取り出したＩフレームの接続情報をＰフレームの接続情報にするように構成されている。
　インター復号部２０２Ｅは、メッシュバッファ部２０２Ｃから取り出したＩフレームの頂点の座標とＰフレームのビットストリームから復号した動きベクトルとを加算することによって、Ｐフレームの頂点の座標を復号するように構成されている。
　更に、インター復号部２０２Ｅは、かかる特定バッファに保存されている重複頂点として存在する頂点のインデックスＡ（ｋ）及びＢ（ｋ）のペアにより、Ｐフレームの頂点のインデックスを調整することが可能である。
　本実施形態では、図１０に示すように、Ｐフレームの基本メッシュの頂点とＩフレーム（参照フレーム）の基本メッシュの頂点との間で対応関係が存在する。ここで、インター復号部２０２Ｅによって復号される動きベクトルは、Ｐフレームの基本メッシュの頂点の座標とＩフレームの基本メッシュの頂点の座標との差分ベクトルである。
　なお、後述のように、インター復号部２０２Ｅは、複数の動きベクトルを持つ参照フレームの基本メッシュの頂点により、復号対象のインターフレームの基本メッシュにおいて増加させる頂点のインデックス又は座標を算出するように構成されていてもよい。
（インター復号部２０２Ｅ）
　図１１は、インター復号部２０２Ｅの機能ブロックの一例を示す図である。
　図１１に示すように、インター復号部２０２Ｅは、動きベクトル残差復号部２０２Ｅ１と、動きベクトルバッファ部２０２Ｅ２と、動きベクトル予測部２０２Ｅ３と、動きベクトル算出部２０２Ｅ４と、加算器２０２Ｅ５とを有する。
　更に、整理部２０２Ｂ２が、実現方法１を実施した場合（つまり、全部の重複頂点を統合した場合）は、図１２に示すように、基本メッシュ復号部２０２は、インター復号部２０２Ｅの前に、増設頂点算出部２０２Ｅ１０を有していてもよい。
　ここで、増設頂点算出部２０２Ｅ１０は、複数の動きベクトルを持つ参照フレームの基本メッシュの頂点により、復号対象のインターフレームの基本メッシュにおいて増加させる頂点のインデックスを算出するように構成されている。
　また、図１３は、上述の複数の動きベクトルを持つ参照フレームの基本メッシュの頂点を示す。
　増設頂点算出部２０２Ｅ１０は、複数の動きベクトルを持つ参照フレームの基本メッシュの頂点により、復号対象のインターフレームの基本メッシュにおいて増加させる頂点のインデックスを、ビットストリームから復号する。
　第１に、増設頂点算出部２０２Ｅ１０は、ビットストリームから、処理不要な複数の動きベクトルを持つ参照フレームの基本メッシュの頂点の有無を示すフラグを復号する。
　第２に、増設頂点算出部２０２Ｅ１０は、かかるフラグがＴＲＵＥであれば、複数の動きベクトルを持つ処理不要な参照フレームの基本メッシュの頂点により、復号対象のインターフレームの基本メッシュにおいて増加させる頂点の数Ｎを復号する。
　すなわち、増設頂点算出部２０２Ｅ１０は、２つの動きベクトルを持つ参照フレームの基本メッシュの頂点により、復号対象のインターフレームの基本メッシュにおいて１つの頂点を増加させ、３つの動きベクトルを持つ参照フレームの基本メッシュの頂点により、復号対象のインターフレームの基本メッシュにおいて２つの頂点を増加させる。
　第３に、増設頂点算出部２０２Ｅ１０は、復号対象のインターフレームの基本メッシュにおいて増加させる頂点のインデックスＡ（ｋ）と対応する処理不要な参照フレームの基本メッシュの頂点のインデックスのＢ（ｋ）又はインデックスＢ（ｋ）の順番ｋとのペアを１つずつ復号し、上述の特定バッファに保存する。但し、ｋ＝１，２，…，Ｎである。
　なお、増設頂点算出部２０２Ｅ１０は、上述の複数の動きベクトルを持つ参照フレームの基本メッシュの頂点の有無を示すフラグがＦＡＬＳＥであれば、特定バッファを空にする。
　更に、増設頂点算出部２０２Ｅ１０は、上述のステップＳ１０１において特定バッファに保存した重複頂点のペアのうちＡ（ｋ）を含むペア又は第ｋ番目のペアを削除する。
　動きベクトル残差復号部２０２Ｅ１は、ＰフレームのビットストリームからＭＶＲ（Ｍｏｔｉｏｎ　Ｖｅｃｔｏｒ　Ｒｅｓｉｄｕａｌ）を生成するように構成されている。
　ここで、ＭＶＲは、ＭＶ（Ｍｏｔｉｏｎ　Ｖｅｃｔｏｒ）とＭＶＰ（Ｍｏｔｉｏｎ　Ｖｅｃｔｏｒ　Ｐｒｅｄｉｃｔｉｏｎ）との差分を示す動きベクトル残差である。ＭＶは、対応するＩフレームの頂点の座標とＰフレームの頂点の座標との間の差分ベクトル（動きベクトル）である。ＭＶＰは、ＭＶを用いて対象の頂点のＭＶの予測した値（動きベクトルの予測値）である。
　動きベクトルバッファ部２０２Ｅ２は、動きベクトル算出部２０２Ｅ４によって出力されたＭＶを順次に保存するように構成されている。
　動きベクトル予測部２０２Ｅ３は、復号対象の頂点と接続している頂点について、動きベクトルバッファ部２０２Ｅ２から復号済みのＭＶを取得し、図１４に示すように、取得された復号済みのＭＶの全部又は一部を用いて、復号対象の頂点のＭＶＰを出力するように構成されている。
　動きベクトル算出部２０２Ｅ４は、動きベクトル残差復号部２０２Ｅ１で生成されたＭＶＲと動きベクトル予測部２０２Ｅ３から出力されたＭＶＰとを加算し、復号対象の頂点のＭＶを出力するように構成されている。
　加算器２０２Ｅ５は、対応関係を持つＩフレーム（参照フレーム）の復号済みの基本メッシュから得られた復号対象の頂点に対応する頂点の座標と、動きベクトル算出部２０２Ｅ３から出力された動きベクトルＭＶとを加算し、復号対象の頂点の座標を出力するように構成されている。
　以下、インター復号部２０２Ｅの各部の詳細について説明する。
　図１５に、動きベクトル予測部２０２Ｅ３の動作の一例を示すフローチャートを示す。
　図１５に示すように、ステップＳ１００１において、動きベクトル予測部２０２Ｅ３は、ＭＶＰ及びＮに０を設定する。
　ステップＳ１００２において、動きベクトル予測部２０２Ｅ３は、動きベクトルバッファ部２０２Ｅ２から、復号対象の頂点の周りの頂点のＭＶの集合を取得し、後続の処理が終わっていない頂点を特定し、Ｎｏに遷移し、全ての頂点について後続の処理が終わっている場合は、Ｙｅｓに遷移する。
　ステップＳ１００３において、動きベクトル予測部２０２Ｅ３は、処理対象の頂点のＭＶが、復号済みでなければ、Ｎｏに遷移し、処理対象の頂点のＭＶが、復号済みであれば、Ｙｅｓに遷移する。
　ステップＳ１００４において、動きベクトル予測部２０２Ｅ３は、ＭＶＰにＭＶを加算し、Ｎに１を加算する。
　ステップＳ１００５において、動きベクトル予測部２０２Ｅ３は、Ｎが０より大きければ、ＭＶＰをＮで除した結果を出力し、Ｎが０であれば、０を出力し、処理を終了する。
　すなわち、動きベクトル予測部２０２Ｅ３は、復号対象の頂点の周りにある頂点の復号済みの動きベクトルを平均することによって、復号対象のＭＶＰを出力するように構成されている。
　なお、動きベクトル予測部２０２Ｅ３は、かかる復号済みの動きベクトルの集合が空集合の場合、ＭＶＰを０とするように構成されていてもよい。
　動きベクトル算出部２０２Ｅ４は、式（１）によって、動きベクトル予測部２０２Ｅ３によって出力されたＭＶＰ及び動きベクトル残差復号部２０２Ｅ１によって生成されたＭＶＲから、復号対象の頂点のＭＶを算出するように構成されていてもよい。
　ＭＶ（ｋ）＝ＭＶＰ（ｋ）＋ＭＶＲ（ｋ）　…　（１）
　ここで、ｋは、頂点のインデックスである。ＭＶ、ＭＶＲ及びＭＶＰは、ｘ成分、ｙ成分及びｚ成分を有するベクターである。
　かかる構成によれば、ＭＶＰを用いて、ＭＶの代わりにＭＶＲのみを符号化するため、符号化効率を高める効果が期待できる。
　加算器２０２Ｅ５は、動きベクトル算出部２０２Ｅ４によって算出された頂点のＭＶと、かかる頂点に対応する参照フレームの頂点の座標とを加算することによって、かかる頂点の座標を算出し、接続情報（Ｃｏｎｎｅｃｔｉｖｉｔｙ）を参照フレームのままにするように構成されている。
　具体的には、加算器２０２Ｅ５は、式（２）を用いて、ｋ番目の頂点の座標ｖ’ｉ（ｋ）を算出するように構成されていてもよい。
　ｖ’ｉ（ｋ）＝ｖ’ｊ（ｋ）＋ＭＶ（ｋ）　…　（２）
　ここで、ｖ’ｉ（ｋ）は、復号対象のフレームで復号するｋ番目の頂点の座標であり、ｖ’ｊ（ｋ）は、参照フレームの復号したｋ番目の頂点の座標であり、ＭＶ（ｋ）は、復号対象のフレームのｋ番目のＭＶであり、ｋ＝１，２…，Ｋである。
　但し、整理部２０２Ｂ２が、実現方法１を実施した場合、増設頂点算出部２０２Ｅ１０で復号された復号対象のインターフレームの基本メッシュにおいて増設された頂点に対して動きベクトルが復号される。
　例えば、加算器２０２Ｅ５は、式（２）のｋが、特定バッファに保存されたペアＡ（ｋ）及びＢ（ｋ）のうちのＢ（ｋ）と一致すると、１番目の動きベクトルについて、式（２）を利用するが、２番目以後のｕ番目の動きベクトルについて、式（２）の代わりに式（３）を利用する。
　ｖ’ｉ（Ａ（ｋ））＝ｖ’ｊ（Ｂ（ｋ））＋ＭＶｕ（B（ｋ））　…　（３）
　また、復号対象のフレームの接続情報は、参照フレームの接続情報と同一にされる。
　なお、動きベクトル予測部２０２Ｅ３は、復号済みのＭＶを用いてＭＶＰを算出するため、復号の順番がＭＶＰに影響を及ぼす。
　かかる復号の順番は、参照フレームの基本メッシュの頂点の復号の順番にする。一般的に、一定の繰り返しパターンを用いて、起点となるエッジから基本面を１つずつ増やす復号手法であれば、復号した基本メッシュの頂点の順番が復号の過程で決められる。
　例えば、動きベクトル予測部２０２Ｅ３は、参照フレームの基本メッシュにおいて、Ｅｄｇｅｂｒｅａｋｅｒを用いて、頂点の復号の順番を決めてもよい。
　かかる構成によれば、頂点の座標の代わりに参照フレームからのＭＶを符号化するため、符号化効率を高める効果が期待できる。
＜細分割部２０３＞
　細分割部２０３は、制御情報によって示された細分割手法により、基本メッシュ復号部２０２によって復号された基本メッシュから、追加された細分割頂点及びそれらの接続情報を生成して出力するように構成されている。
　ここで、基本メッシュ、追加された細分割頂点、及び、それらの接続情報を、併せて「細分割メッシュ」と呼ぶ。
　細分割部２０２は、基本メッシュビットストリームを復号して生成した制御情報であるｓｕｂｄｉｖｉｓｉｏｎ_ｍｅｔｈｏｄ_ｉｄから、細分割手法の種別を特定するように構成されている。
　以下、図３Ａ及び図３Ｂを参照して、細分割部２０２について説明する。
　図３Ａ及び図３Ｂは、基本メッシュから細分割頂点を生成する動作の一例について説明するための図である。
　図３Ａは、５つの頂点で構成された基本メッシュの一例について示す図である。
　ここで、細分割には、例えば、各基本面において各辺の中点同士を接続するＭｉｄ-ｅｄｇｅ分割法を用いてもよい。これによって、ある基本面は、４つの面に分割されることになる。
　図３Ｂは、５つの頂点で構成された基本メッシュを分割した細分割メッシュの一例を示す。図３Ｂに示す細分割メッシュでは、元の５つの頂点（黒丸）に加えて８つの細分割頂点（白丸）が生成されている。
　このように生成した細分割頂点ごとに、変位量復号部２０６で変位量を復号することによって、符号化性能の向上が期待できる。
　また、各パッチで異なる細分割方法を適用してもよい。これによって、変位量復号部２０６で復号される変位量をパッチごとに適応的に変化させ、符号化性能の向上が期待できる。分割したパッチの情報は、制御情報であるｐａｔｃｈ_ｉｄとして受け取られる。
　以下、図１６を参照して、細分割部２０３について説明する。図１６は、細分割部２０３の機能ブロックの一例について示す図である。
　図１６に示すように、細分割部２０３は、基本メッシュ細分割部２０３Ａと細分割メッシュ調整部２０３Ｂとを有する。
（基本メッシュ細分割部２０３Ａ）
　基本メッシュ細分割部２０３Ａは、入力された基本メッシュ及び基本メッシュの分割情報に基づき、基本面及び基本パッチごとの分割数（細分割数）を算出し、かかる分割数に基づいて基本メッシュを細分割し、細分割面を出力するように構成されている。
　すなわち、基本メッシュ細分割部２０３Ａは、基本面及び基本パッチ単位で、上述の分割数を変えることができるように構成されていてもよい。
　ここで、基本面は、基本メッシュを構成する面であり、基本パッチは、いくつかの基本面の集合である。
　また、基本メッシュ細分割部２０３Ａは、基本面の細再分割数を予測し、予測した基本面の細分割数に対して予測分割数残差を加算することで、基本面の細分割数を算出するように構成されていてもよい。
　また、基本メッシュ細分割部２０３Ａは、基本面の隣接基本面の細分割数に基づいて、基本面の細分割数を算出するように構成されていてもよい。
　また、基本メッシュ細分割部２０３Ａは、直前に蓄積された基本面の細分割数に基づき、基本面の細分割数を算出するように構成されていてもよい。
　また、基本メッシュ細分割部２０３Ａは、基本面を構成する３辺を分割する頂点を生成し、生成した頂点を接続することで、基本面を細分割するように構成されていてもよい。
　図１６に示すように、基本メッシュ細分割部２０３Ａの後段に、後述の細分割メッシュ調整部を備える２０３Ｂを備えている。
　以下、図１７～図１９を用いて、基本メッシュ細分割部２０３Ａの処理の一例について説明する。
　図１７は、基本メッシュ細分割部２０３Ａの機能ブロックの一例を示す図であり、図１９は、基本メッシュ細分割部２０３Ａの動作の一例を示すフローチャートである。
　図１７に示すように、基本メッシュ細分割部２０３Ａは、基本面分割数バッファ部２０３Ａ１と、基本面分割数参照部２０３Ａ２と、基本面分割数予測部２０３Ａ３と、加算部２０３Ａ４と、基本面分割部２０３Ａ５とを有する。
　基本面分割数バッファ部２０３Ａ１は、基本面の分割数を含む基本面の分割情報を格納しており、基本面分割数参照部２０３Ａ２に対して基本面の分割情報を出力するように構成されている。
　ここで、基本面分割数バッファ部２０３Ａ１のサイズは、１とし、基本面分割数参照部２０３Ａ２に対して、直前に蓄積された基本面の分割数を出力するように構成されていてもよい。
　すなわち、基本面分割数バッファ部２０３Ａ１のサイズを１にすることで、最後に復号した細かい分割数（直前に復号した細分割数）のみを参照するように構成されていてもよい。
　基本面分割数参照部２０３Ａ２は、復号対象の基本面に対して隣接する基本面が存在していない場合、或いは、復号対象の基本面に対して隣接する基本面が存在しているが分割数が確定していない場合は、基本面分割数予測部２０３Ａ３に対して、参照不可を出力するように構成されている。
　一方、基本面分割数参照部２０３Ａ２は、復号対象の基本面に対して隣接する基本面が存在し且つ分割数が確定している場合は、基本面分割数予測部２０３Ａ３に対して、かかる分割数を出力するように構成されている。
　基本面分割数予測部２０３Ａ３は、入力された１つ以上の分割数に基づいて基本面の分割数（細分割数）を予測し、加算部２０３Ａ４に対して、予測した分割数（予測分割数）を出力するように構成されている。
　ここで、基本面分割数予測部２０３Ａ３は、基本面分割数参照部２０３Ａ２から参照不可のみが入力された場合は、加算部２０３Ａ４に対して、０を出力するように構成されている。
　なお、基本面分割数予測部２０３Ａ３は、１つ以上の分割数が入力された場合、入力された分割数の平均値や最大値や最小値や最頻値等の統計値のいずれかを用いて、予測分割数を生成するように構成されていてもよい。
　なお、基本面分割数予測部２０３Ａ３は、１つ以上の分割数が入力された場合、最も隣接する面の分割数を予測分割数として生成するように構成されていてもよい。
　加算部２０３Ａ４は、予測残差ビットストリームから復号した予測分割数残差と基本面分割数予測部２０３Ａ３から取得した予測分割数とを加算することによって得られた分割数を、基本面分割部２０３Ａ５に対して出力するように構成されている。
　基本面分割部２０３Ａ５は、加算部２０３Ａ４から入力された分割数に基づき、基本面を細分割するように構成されている。
　図１８は、基本面を９分割したケースの一例である。図１８を参照して、基本面分割部２０３Ａ５による基本面の分割方法について説明する。
　基本面分割部２０３Ａ５は、基本面を構成する辺ＡＢに対してＮ等分（Ｎ＝３）する点Ａ_１，…，Ａ_（Ｎ－１）を生成する。
　同様に、基本面分割部２０３Ａ５は、辺ＢＣや辺ＣＡについてもＮ等分し、それぞれ点Ｂ_１，…，Ｂ_（Ｎ－１）、Ｃ_１，…，Ｃ_（Ｎ－１）を生成する。
　以降、辺ＡＢ、辺ＢＣ及び辺ＣＡ上の点を「辺分割点」と呼ぶ。
　基本面分割部２０３Ａ５は、全てのｉ（ｉ＝１，２，…，Ｎ－１）に対して、辺Ａ_ｉ Ｂ_（Ｎ-ｉ），Ｂ_ｉ Ｃ_（Ｎ－ｉ），Ｃ_ｉ Ａ_（Ｎ－ｉ）を生成し、Ｎ２個の細分割面を生成する。
　次に、図１９を参照して、基本メッシュ細分割部２０３Ａの処理手順について説明する。
　ステップＳ２２０１において、最後の基本面に対して再分割処理が完了したか否かを判定する。処理が完了した場合終了し、そうでない場合はステップS２２０２に進む。
　ステップＳ２２０２において、基本メッシュ細分割部２０３Ａは、Ｄｅｐｔｈ＜ｍｄｕ_ｍａｘ_ｄｅｐｔｈの判定を行う。
　ここで、Ｄｅｐｔｈは、現在の深度を表す変数で、初期値は０であり、ｍｄｕ_ｍａｘ_ｄｅｐｔｈは、基本面ごとに決められた最大深度を表す。
　ステップＳ２２０２における条件を満たす場合は、本処理手順は、ステップＳ２２０３に進み、かかる条件を満たさない場合は、本処理手順は、ステップＳ２２０１に戻る。
　ステップＳ２２０３において、基本メッシュ細分割部２０３Ａは、現在の深度におけるｍｄｕ_ｓｕｂｄｉｖｉｓｉｏｎ_ｆｌａｇが１であるか否かについて判定する。
　Ｙｅｓの場合、本処理手順は、ステップＳ２２０１に戻り、Ｎｏの場合、本処理手順は、ステップＳ２２０４に進む。
　ステップＳ２２０４において、基本メッシュ細分割部２０３Ａは、基本面内の全ての細分割面をさらに細分割する。
　ここで、基本メッシュ細分割部２０３Ａは、基本面に対して一度も細分割処理が行われていない場合は、基本面を細分割する。
　なお、細分割の方法については、ステップＳ２２０４で説明した方法と同様である。
　具体的には、基本面が一度も細分割されていない場合は、基本面に対して図１８のように細分割を行う。少なくとも１回は細分割されている場合は、細分割面をＮ２個に細分割する。図１８を例にすると、頂点Ａ_２と頂点Ｂと頂点Ｂ_１とからなる面を、基本面の分割のときと同様の方法で、更に分割してＮ２個の面を生成する。
　細分割処理が終了したとき、本処理手順は、ステップＳ２２０５に進む。
　ステップＳ２２０５において、基本メッシュ細分割部２０３Ａは、Ｄｅｐｔｈに１を加算し、本処理手順は、ステップＳ２２０２に戻る。
（細分割メッシュ調整部２０３Ｂ）
　次に、細分割メッシュ調整部２０３Ｂによって行われる処理の具体例について説明する。以下、図２０～図２４を用いて細分割メッシュ調整部２０３Ｂよって行われる処理の一例について説明する。
　図２０は、細分割メッシュ調整部２０３Ｂの機能ブロックの一例を示す図である。
　図２０に示すように、細分割メッシュ調整部２０３Ｂは、辺分割点移動部７０１と、細分割面分割部７０２とを有する。
（辺分割点移動部７０１）
　辺分割点移動部７０１は、入力された初期細分割面に対して、基本面の辺分割点を隣接基本面の辺分割点のいずれかに移動し、細分割面を出力するように構成されている。
　図２１は、基本面ＡＢＣ上の辺分割点を移動した例である。例えば、図２１に示すように、辺分割点移動部７０１は、基本面ＡＢＣの辺分割点を最も近い隣接基本面の辺分割点に移動するように構成されていてもよい。
（細分割面分割部７０２）
　細分割面分割部７０２は、入力された細分割面を再度細分割し、復号細分割面を出力するように構成されている。
　図２２は、基本面内の細分割面Ｘに対して再度細分割が行われたケースの一例を示す図である。
　図２２に示すように、細分割面分割部７０２は、細分割面を構成する頂点と隣接基本面の辺分割点とを接続することで、基本面内に新たな細分割面を生成するように構成されていてもよい。
　図２３は、全ての細分割面に対して、上述の細分割処理を行ったケースの一例を示す図である。
　メッシュ復号部２０４は、細分割部２０３で生成された細分割メッシュ及び変位量復号部２０６で復号された変位量を用いて、復号メッシュを生成して出力するように構成されている。
　具体的には、メッシュ復号部２０４は、各細分割頂点に対して、対応する変位量を加算することによって、復号メッシュを生成するように構成されている。ここで、各変位量がどの細分割頂点に対応するかについての情報は、制御情報によって示される。
　パッチ統合部２０５は、メッシュ復号部２０６で生成された復号メッシュを、複数のパッチ分だけ統合して出力するように構成されている。
　ここで、パッチの分割方法は、メッシュ符号化装置１００によって定義される。例えば、パッチの分割方法は、各基本面に対して法線ベクトルを算出しておき、隣接する基本面の中で最も法線ベクトルが類似した基本面を選択し、両基本面を同じパッチとしてまとめ、かかる手順を、次の基本面に対して順次繰り返すように構成されていてもよい。
　映像復号部２０７は、映像符号化によってテクスチャを復号して出力するように構成されている。例えば、映像復号部２０７は、非特許文献１のＨＥＶＣを用いてもよい。
＜変位量復号部２０６＞
　変位量復号部２０６は、変位量ビットストリームを復号して変位量を生成して出力するように構成されている。
　図３Ｂは、ある細分割頂点に対する変位量の一例について示す図である。図３Ｂの例では、８個の細分割頂点が存在するため、変位量復号部２０６は、各細分割頂点に対してスカラー或いはベクトルで表現される変位量を８個定義するように構成されている。
　以下、図２４を参照して、変位量復号部２０６について説明する。図２４は、変位量復号部２０６の機能ブロックの一例について示す図である。
　図２４に示すように、変位量復号部２０６は、復号部２０６Ａと、逆量子化部２０６Ｂと、逆ウェーブレット変換部２０６Ｃと、加算器２０６Ｄと、インター予測部２０６Ｅと、フレームバッファ２０６Ｆとを有する。
　復号部２０６Ａは、受信した変位量ビットストリームに対して可変長復号を行うことでレベル値及び制御情報を復号して出力するように構成されている。ここで、可変長復号によって得られたレベル値は、逆量子化部２０６Ｂに出力され、制御情報は、インター予測部２０６Ｅに出力される。
　以下、図２５を参照して、変位量ビットストリームの構成の一例について説明する。図２５は、変位量ビットストリームの構成の一例について示す図である。
　図２５に示すように、第１に、変位量ビットストリームは、変位量の復号に関する制御情報の集合であるＤＰＳ（Ｄｉｓｐｌａｃｅｍｅｎｔ　Ｐａｒａｍｅｔｅｒ　Ｓｅｔ：ディスプレイスメントパラメータセット）を含んでいてもよい。
　第２に、変位量ビットストリームは、パッチに対応する制御情報の集合であるＤＰＨ（Ｄｉｓｐｌａｃｅｍｅｎｔ　Ｐａｔｃｈ　Ｈｅａｄｅｒ：ディスプレイスメントパッチヘッダ）を含んでいてもよい。
　第３に、変位量ビットストリームは、ＤＰＨの次に、パッチを構成する符号化された変位量を含んでいてもよい。
　以上のように、変位量ビットストリームは、各符号化された変位量に、１つずつＤＰＨ及びＤＰＳが対応する構成となる。
　なお、図２５の構成は、あくまで一例である。各符号化された変位量に、ＤＰＨ及びＤＰＳが対応する構成となっていれば、変位量ビットストリームの構成要素として、上述以外の要素が追加されてもよい。
　例えば、図２５に示すように、変位量ビットストリームは、ＳＰＳ（Ｓｅｑｕｅｎｃｅ　Ｐａｒａｍｅｔｅｒ　Ｓｅｔ：シーケンスパラメータセット）を含んでいてもよい。
　図２６は、ＤＰＳのシンタックス構成の一例について示す図である。
　図２６において、Ｄｅｓｃｒｉｐｔｏｒ欄は、各シンタックスが、どのように符号化されているかを意味している。
　また、図２６において、ｕｅ（ｖ）は、符号無し０次指数ゴロム符号であることを意味し、ｕ（ｎ）は、ｎビットのフラグであることを意味する。
　ＤＰＳは、複数のＤＰＳが存在する場合に、各ＤＰＳを識別するためのＤＰＳ ｉｄ情報（ｄｐｓ_ｄｉｓｐｌａｃｅｍｅｎｔ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄ）を少なくとも含む。
　また、ＤＰＳは、インター予測を行うか否かを制御するフラグ（ｉｎｔｅｒｐｒｅｄｉｃｔｉｏｎ_ｅｎａｂｌｅｄ_ｆｌａｇ）を含んでもよい。
　例えば、ｉｎｔｅｒｐｒｅｄｉｃｔｉｏｎ_ｅｎａｂｌｅｄ_ｆｌａｇが０のときは、インター予測を行わないと定義し、ｉｎｔｅｒｐｒｅｄｉｃｔｉｏｎ_ｅｎａｂｌｅｄ_ｆｌａｇが１のときは、インター予測を行うと定義してもよい。ｉｎｔｅｒｐｒｅｄｉｃｔｉｏｎ_ｅｎａｂｌｅｄ_ｆｌａｇが含まれないときは、インター予測を行わないと定義してもよい。
　ＤＰＳは、逆ＤＣＴを行うか否かを制御するフラグ（ｄｃｔ_ｅｎａｂｌｅｄ_ｆｌａｇ）を含んでもよい。
　例えば、ｄｃｔ_ｅｎａｂｌｅｄ_ｆｌａｇが０のときは、逆ＤＣＴを行わないと定義し、ｄｃｔ_ｅｎａｂｌｅｄ_ｆｌａｇが１のときは、逆ＤＣＴを行うと定義してもよい。ｄｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇが含まれないときは、逆ＤＣＴを行わないと定義してもよい。
　図２７は、ＤＰＨのシンタックス構成の一例について示す図である。
　図２７に示すように、ＤＰＨは、各ＤＰＨに対応するＤＰＳを指定するためのＤＰＳ ｉｄ情報を少なくとも含む。
　逆量子化部２０６Ｂは、復号部２０６Ａによって復号されたレベル値を逆量子化することによって変換係数を生成して出力するように構成されている。
　逆ウェーブレット変換部２０６Ｃは、逆量子化部２０６Ｂによって生成された変換係数に対して逆ウェーブレット変換を施すことによって予測残差を生成して出力するように構成されている。
（インター予測部２０６Ｅ）
　インター予測部２０６Ｅは、フレームバッファ２０６Ｆから読み出された参照フレームの復号変位量を用いてインター予測を行うことによって、予測変位量を生成して出力するように構成されている。
　インター予測部２０６Ｅは、ｉｎｔｅｒｐｒｅｄｉｃｔｉｏｎ_ｅｎａｂｌｅｄ_ｆｌａｇが１の場合のみ、かかるインター予測を行うように構成されている。
　インター予測部２０６Ｅは、空間領域でインター予測を行ってもよいし、周波数領域でインター予測を行ってもよい。インター予測は、時間的に過去の参照フレームと未来の参照フレームとを用いて、双方向予測を行ってもよい。
　図２４は、空間領域でインター予測を行う場合のインター予測部２０６Ｅの機能ブロックの一例である。
　インター予測部２０６Ｅは、空間領域でインター予測を行う場合は、対象フレームにおける細分割頂点の予測変位量について、参照フレームにおける対応する細分割頂点の復号変位量をそのまま参照して決定してもよい。
　或いは、対象フレームにおけるある細分割頂点の予測変位量は、複数の参照フレームにおける対応する細分割頂点の復号変位量を用いて、平均と分散を推定した正規分布に従って確率的に決定してもよい。その際は、分散はゼロとして一意的に平均のみで決定してもよい。
　或いは、対象フレームにおけるある細分割頂点の予測変位量は、複数の参照フレームにおける対応する細分割頂点の復号変位量を用いて、時間を説明変数、変位量を目的変数として推定した回帰曲線に基づいて決定してもよい。
　メッシュ符号化装置１００において、フレームごとに符号化効率向上のために、かかる復号変位量の順番が並び替えられていてもよい。
　かかる場合、インター予測部２０６Ｅは、並び替えられた復号変位量に対してインター予測を行うように構成されていてもよい。
　参照フレームと復号対象フレームとの間の細分割頂点の対応関係は、制御情報によって示される。
　図２８は、空間領域でインター予測が行われる場合の参照フレームと復号対象フレームとの間の細分割頂点の対応関係の一例について説明するための図である。
　図２９は、周波数領域でインター予測を行う場合のインター予測部２０６Ｅの機能ブロックの一例である。
　インター予測部２０６Ｅは、周波数領域でインター予測を行う場合は、復号対象フレームにおける周波数の予測ウェーブレット変換係数について、参照フレームにおける対応する周波数の復号ウェーブレット変換係数をそのまま参照して決定してもよい。
　インター予測部２０６Ｅは、複数の参照フレームにおける細分割頂点の復号変位量或いは復号ウェーブレット変換係数を用いて、平均と分散を推定した正規分布に従って確率的にインター予測してもよい。
　インター予測部２０６Ｅは、複数の参照フレームにおける細分割頂点の復号変位量あるいは復号ウェーブレット変換係数を用いて、時間を説明変数、変位量を目的変数として推定した回帰曲線をもとにインター予測してもよい。
　インター予測部２０６Ｅは、時間的に過去の参照フレームと未来の参照フレームとを用いて双方向でインター予測するように構成されていてもよい。
　メッシュ符号化装置１００において、フレームごとに符号化効率向上のために、かかる復号ウェーブレット変換係数の順番が並び替えられていてもよい。
　参照フレームと復号対象フレームとの間の周波数の対応関係は、制御情報によって示される。
　図３０は、周波数領域でインター予測が行われる場合の参照フレームと復号対象フレームとの間の周波数の対応関係の一例について説明するための図である。
　また、細分割部２０３が、基本メッシュを複数のパッチに分割した場合は、インター予測部２０６Ｅも、分割したパッチごとにインター予測を行うように構成されている。これによって、フレーム間の時間相関が高くなり、符号化性能の向上が期待できる。
　加算器２０６Ｄには、逆ウェーブレット変換部２０６Ｃから予測残差が入力され、インター予測部２０６Ｅから予測変位量が入力される。
　加算器２０６Ｄは、かかる予測残差と予測変位量とを加算することによって、復号変位量を算出して出力するように構成されている。
　加算器２０６Ｄによって算出された復号変位量は、フレームバッファ２０６Ｆにも出力される。
　フレームバッファ２０６Ｆは、加算器２０６Ｄから復号変位量を取得して蓄積するように構成されている。
　ここで、フレームバッファ２０６Ｆは、図示しない制御情報に応じて、参照フレームにおいて対応する頂点における復号変位量を出力する。
　図３１は、変位量復号部２０６の動作の一例を示すフローチャートである。
　図３１に示すように、ステップＳ３５０１において、変位量復号部２０６は、全てのパッチに対して、本処理が完了しているか否かについて判定する。
　Ｙｅｓの場合、本動作は、終了し、Ｎｏの場合、本動作は、ステップＳ３５０２に進む。
　ステップＳ３５０２において、変位量復号部２０６は、復号対象のパッチに対して、逆ＤＣＴを行ってから逆量子化及び逆ウェーブレット変換を行う。
　ステップＳ３５０３において、変位量復号部２０６は、ｉｎｔｅｒｐｒｅｄｉｃｔｉｏｎ_ｅｎａｂｌｅｄ_ｆｌａｇが１であるか否かについて判定する。
　Ｙｅｓの場合、本動作は、ステップＳ３５０４に進み、Ｎｏの場合、本動作は、ステップＳ３５０１に戻る。
　ステップＳ３５０４において、変位量復号部２０６は、上述のインター予測及び加算を行う。
＜変形例1＞
　以下、図３２を参照して、上述の第１実施形態の変形例１について、上述の第１実施形態との相違点に着目して説明する。
　図３２は、本変形例１に係る変位量復号部２０６の機能ブロックの一例を示す図である。
　図３２に示すように、本変形例１に係る変位量復号部２０６は、復号部２０６Ａの後段に、すなわち、復号部２０６Ａと逆量子化部２０６Ｂとの間に、逆ＤＣＴ部２０６Ｇを備えている。
　すなわち、本変形例１では、逆量子化部２０６Ｂは、逆ＤＣＴ部２０２Ｇから出力されたレベル値に対して逆ウェーブレット変換を施すことによって予測残差を生成するように構成されている。
＜変形例２＞
　以下、図３３を参照して、上述の第１実施形態の変形例２について、上述の第１実施形態との相違点に着目して説明する。
　図３３に示すように、本変形例２に係る変位量復号部２０６は、映像復号部２０６１と、画像展開部２０６２と、逆量子化部２０６３と、逆ウェーブレット変換部２０６４と有する。
　映像復号部２０６１は、受信した変位量ビットストリームを、映像符号化によって復号することで映像を出力するように構成されている。
　例えば、映像復号部２０６１は、非特許文献１のＨＥＶＣを用いてもよい。
　また、映像復号部２０６１は、動きベクトルを常にゼロとした映像符号化方式を用いてもよい。例えば、映像復号部２０６１は、ＨＥＶＣの動きベクトルを常にゼロとし、常に同一位置でのインター予測を用いてもよい。
　また、映像復号部２０６１は、変換を常にスキップするとした映像符号化方式を用いてもよい。例えば、映像復号部２０６１は、ＨＥＶＣの変換を常に変換スキップモードとし、変換せずに映像符号化方式を用いてもよい。
　画像展開部２０６２は、映像復号部２０６１で復号された映像を、画像（フレーム）ごとにレベル値として展開して出力するように構成されている。
　かかる展開方法において、画像展開部２０６２は、制御情報によって示された画像へのレベル値の並べ方から、逆算して特定できる。
　画像展開部２０６２は、レベル値の並べ方として、例えば、高周波成分から低周波成分のレベル値が画像中にラスタ操作順に並べてもよい。
　逆量子化部２０６３は、画像展開部２０６２で生成されたレベル値を逆量子化することによって変換係数を生成して出力するように構成されている。
　逆ウェーブレット変換部２０６４は、逆量子化部２０６３で生成された変換係数に対して逆ウェーブレット変換を施すことによって復号変位量を生成して出力するように構成されている。
　上述のメッシュ符号化装置１００及びメッシュ復号装置２００は、コンピュータに各機能（各工程）を実行させるプログラムであって実現されていてもよい。
　なお、本実施形態によれば、例えば、動画像通信において総合的なサービス品質の向上を実現できることから、国連が主導する持続可能な開発目標（ＳＤＧｓ）の目標９「レジリエントなインフラを整備し、持続可能な産業化を推進するとともに、イノベーションの拡大を図る」に貢献することが可能となる。
１…メッシュ処理システム
１００…メッシュ符号化装置
２００…メッシュ復号部
２０１…多重分離部
２０２…基本メッシュ復号部
２０２Ａ…分離部
２０２Ｂ…イントラ復号部
２０２Ｂ１…任意イントラ復号部
２０２Ｂ２…整列部
２０２Ｃ…メッシュバッファ部
２０２Ｄ…接続情報復号部
２０２Ｅ…インター復号部
２０２Ｅ１…動きベクトル復号部
２０２Ｅ２…動きベクトルバッファ部
２０２Ｅ３…動きベクトル予測部
２０２Ｅ４…動きベクトル算出部
２０２Ｅ５…加算器
２０２Ｅ１０…増設頂点算出部
２０３…細分割部
２０３Ａ…基本メッシュ細分割部
２０３Ａ１…基本面分割数バッファ部
２０３Ａ２…基本面分割数参照部
２０３Ａ３…基本面分割数予測部
２０３Ａ４…加算部
２０３Ａ５…基本面分割部
２０３Ｂ…細分割メッシュ調整部
７０１…辺分割点移動部
７０２…細分割面分割部
２０４…メッシュ復号部
２０５…パッチ統合部
２０６…変位量復号部
２０６Ａ…復号部
２０６Ｂ、２０６３…逆量子化部
２０６Ｃ、２０６４…逆ウェーブレット変換部
２０６Ｄ…加算器
２０６Ｅ…インター予測部
２０６Ｆ…フレームバッファ
２０６Ｇ…逆ＤＣＴ部
２０６２…画像展開部
２０７、２０６１…映像復号部
 
 
 

Claims (10)

  1. 　メッシュ復号装置であって、
    　復号された基本メッシュにおいて座標が一致する複数の頂点である重複頂点をまとめて単一頂点としてから、所定の順序に並び替える整列部を備えることを特徴とするメッシュ復号装置。
  2. 　複数の動きベクトルを持つ参照フレームの基本メッシュの頂点により、復号対象のインターフレームの基本メッシュにおいて増加させる頂点のインデックス又は座標を算出するインター復号部を備えることを特徴とする請求項１に記載のメッシュ復号装置。
  3. 　前記整列部は、Ｉフレームのビットストリームから、前記重複頂点のリストを復号すること特徴とする請求項１又は２に記載のメッシュ復号装置。
  4. 　前記整列部は、前記基本メッシュから前記重複頂点を探索することによって、前記重複頂点のリストを算出することを特徴とする請求項１又は２に記載のメッシュ復号装置。
  5. 　前記整列部は、前記重複頂点のリストを決めた後、前記重複頂点の全部又は一部を統合して、Ｃｏｎｎｅｃｔｉｖｉｔｙを更新することを特徴とする請求項１又は２に記載のメッシュ復号装置。
  6. 　前記整列部は、前記重複頂点のリストを決めた後、ビットストリームから、処理しない重複頂点の情報を復号し、前記処理しない重複頂点以外の重複頂点を統合して、Ｃｏｎｎｅｃｔｉｖｉｔｙを更新することを特徴とする請求項５に記載のメッシュ復号装置。
  7. 　前記インター復号部は、前記整列部で全部の重複頂点を統合した場合、複数の動きベクトルを持つ参照フレームの基本メッシュの頂点により復号対象のインターフレームの基本メッシュにおいて増加させる頂点のインデックスを、ビットストリームから復号することを特徴とする請求項２に記載のメッシュ復号装置。
  8. 　前記インター復号部は、前記整列部で全部の重複頂点を統合した場合、復号された復号対象のインターフレームの基本メッシュの増設頂点に対して動きベクトルを復号することを特徴とする請求項２に記載のメッシュ復号装置。
  9. 　メッシュ復号方法であって、
    　復号された基本メッシュに対する座標が一致する複数の頂点である重複頂点をまとめて単一頂点としてから、所定の順序に並び替える工程を有することを特徴とするメッシュ復号方法。
  10. 　コンピュータを、メッシュ復号装置として機能させるプログラムであって、
    　前記メッシュ復号装置は、復号された基本メッシュに対する座標が一致する複数の頂点である重複頂点をまとめて単一頂点としてから、所定の順序に並び替える整列部を備えることを特徴とするプログラム。
PCT/JP2023/029763 2022-10-13 2023-08-17 メッシュ復号装置、メッシュ復号方法及びプログラム Ceased WO2024079983A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202380062906.3A CN119816867A (zh) 2022-10-13 2023-08-17 网格解码装置、网格解码方法及程序产品
US19/059,564 US20250193428A1 (en) 2022-10-13 2025-02-21 Mesh decoding device, mesh decoding method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022165085A JP7769597B2 (ja) 2022-10-13 2022-10-13 メッシュ復号装置、メッシュ符号化装置、メッシュ復号方法及びプログラム
JP2022-165085 2022-10-13

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US19/059,564 Continuation US20250193428A1 (en) 2022-10-13 2025-02-21 Mesh decoding device, mesh decoding method, and program

Publications (1)

Publication Number Publication Date
WO2024079983A1 true WO2024079983A1 (ja) 2024-04-18

Family

ID=90669533

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/029763 Ceased WO2024079983A1 (ja) 2022-10-13 2023-08-17 メッシュ復号装置、メッシュ復号方法及びプログラム

Country Status (4)

Country Link
US (1) US20250193428A1 (ja)
JP (1) JP7769597B2 (ja)
CN (1) CN119816867A (ja)
WO (1) WO2024079983A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101551741B1 (ko) * 2015-04-07 2015-09-10 (주)이지스 3차원 객체 모델의 정점 구성 방법
US20150332487A1 (en) * 2014-05-19 2015-11-19 Google Inc. Encoding polygon data for fast retrieval and rendering
US20200211230A1 (en) * 2017-05-06 2020-07-02 Beijing Dajia Internet Information Technology Co., Ltd. Processing 3d video content
US20200286261A1 (en) * 2019-03-07 2020-09-10 Samsung Electronics Co., Ltd. Mesh compression

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6148072A (ja) * 1984-08-13 1986-03-08 Fujitsu Ltd 図形の論理演算方式

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150332487A1 (en) * 2014-05-19 2015-11-19 Google Inc. Encoding polygon data for fast retrieval and rendering
KR101551741B1 (ko) * 2015-04-07 2015-09-10 (주)이지스 3차원 객체 모델의 정점 구성 방법
US20200211230A1 (en) * 2017-05-06 2020-07-02 Beijing Dajia Internet Information Technology Co., Ltd. Processing 3d video content
US20200286261A1 (en) * 2019-03-07 2020-09-10 Samsung Electronics Co., Ltd. Mesh compression

Also Published As

Publication number Publication date
JP2024058009A (ja) 2024-04-25
US20250193428A1 (en) 2025-06-12
JP7769597B2 (ja) 2025-11-13
CN119816867A (zh) 2025-04-11

Similar Documents

Publication Publication Date Title
JP7745577B2 (ja) メッシュ復号装置、メッシュ復号方法及びプログラム
WO2024014042A1 (ja) メッシュ復号装置、メッシュ符号化装置、メッシュ復号方法及びプログラム
JP7763727B2 (ja) メッシュ復号装置、メッシュ符号化装置、メッシュ復号方法及びプログラム
JP7727597B2 (ja) メッシュ復号装置、メッシュ符号化装置、メッシュ復号方法及びプログラム
JP7781042B2 (ja) メッシュ復号装置、メッシュ符号化装置、メッシュ復号方法及びプログラム
WO2025009221A1 (ja) メッシュ復号装置、メッシュ復号方法及びプログラム
JP7680399B2 (ja) メッシュ復号装置、メッシュ符号化装置、メッシュ復号方法及びプログラム
WO2024014196A1 (ja) メッシュ復号装置、メッシュ符号化装置、メッシュ復号方法及びプログラム
WO2024079982A1 (ja) メッシュ復号装置、メッシュ符号化装置、メッシュ復号方法及びプログラム
JP2024152168A (ja) メッシュ復号装置、メッシュ復号方法及びプログラム
JP2024152167A (ja) メッシュ復号装置、メッシュ復号方法及びプログラム
JP7769597B2 (ja) メッシュ復号装置、メッシュ符号化装置、メッシュ復号方法及びプログラム
JP7701898B2 (ja) メッシュ復号装置、メッシュ符号化装置、メッシュ復号方法及びプログラム
JP2025009036A (ja) メッシュ復号装置、メッシュ復号方法及びプログラム
WO2025074663A1 (ja) メッシュ復号装置、メッシュ復号方法及びプログラム
WO2025009222A1 (ja) メッシュ復号装置、メッシュ復号方法及びプログラム
WO2025074662A1 (ja) メッシュ復号装置、メッシュ復号方法及びプログラム
JP2025064207A (ja) メッシュ復号装置、メッシュ復号方法及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23876991

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 202380062906.3

Country of ref document: CN

WWP Wipo information: published in national office

Ref document number: 202380062906.3

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 23876991

Country of ref document: EP

Kind code of ref document: A1