WO2024014196A1 - メッシュ復号装置、メッシュ符号化装置、メッシュ復号方法及びプログラム - Google Patents

メッシュ復号装置、メッシュ符号化装置、メッシュ復号方法及びプログラム Download PDF

Info

Publication number
WO2024014196A1
WO2024014196A1 PCT/JP2023/021270 JP2023021270W WO2024014196A1 WO 2024014196 A1 WO2024014196 A1 WO 2024014196A1 JP 2023021270 W JP2023021270 W JP 2023021270W WO 2024014196 A1 WO2024014196 A1 WO 2024014196A1
Authority
WO
WIPO (PCT)
Prior art keywords
mesh
unit
decoding
basic
vertices
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2023/021270
Other languages
English (en)
French (fr)
Inventor
圭 河村
恭平 海野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDDI Corp filed Critical KDDI Corp
Priority to CN202380052528.0A priority Critical patent/CN119522441A/zh
Publication of WO2024014196A1 publication Critical patent/WO2024014196A1/ja
Priority to US19/013,440 priority patent/US20260122268A1/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H04N19/54—Motion estimation other than block-based using feature points or meshes

Definitions

  • the present invention relates to a mesh decoding device, a mesh encoding device, a mesh decoding method, and a program.
  • Non-Patent Document 1 discloses a technique for encoding a mesh using Non-Patent Document 2.
  • the present invention has been made in view of the above-mentioned problems, and provides a mesh decoding device, a mesh encoding device, a mesh decoding method, and a program that can select an appropriate basic mesh decoding method depending on the usage. The purpose is to provide.
  • a first feature of the present invention is a mesh decoding device, comprising a basic mesh decoding unit configured to decode a basic mesh bitstream and output a basic mesh, the basic mesh decoding unit a demultiplexer that outputs an I-frame stream by demultiplexing the elementary mesh bitstream; an intra-decoder configured to generate unordered vertices of the elementary mesh by decoding the I-frame stream;
  • the present invention further comprises: an arrangement unit configured to output vertices by rearranging unordered vertices into a predetermined order.
  • a second feature of the present invention is a mesh decoding method comprising: separating an I-frame stream from a base mesh bitstream; generating unordered vertices of a base mesh from said I-frame stream; and said unordered vertices of a base mesh.
  • the gist of the present invention is to include an arrangement step of outputting vertices rearranged in a predetermined order starting from the vertices.
  • a third feature of the present invention is a program that causes a computer to function as a mesh decoding device, wherein the mesh decoding device is configured to decode a basic mesh bitstream and output a basic mesh.
  • the basic mesh decoding unit includes a demultiplexing unit that outputs an I-frame stream by demultiplexing the basic mesh bitstream, and a decoding unit that generates unordered vertices of the basic mesh by decoding the I-frame stream.
  • the gist of the present invention is to include an intra decoding unit configured to perform the above operations, and an alignment unit configured to output vertices by rearranging the unordered vertices into a predetermined order.
  • a mesh decoding device it is possible to provide a mesh decoding device, a mesh encoding device, a mesh decoding method, and a program that can select an appropriate basic mesh decoding method depending on the intended use.
  • FIG. 1 is a diagram showing an example of the configuration of a mesh processing system 1 according to an embodiment.
  • FIG. 2 is a diagram illustrating an example of functional blocks of the mesh decoding device 200 according to an embodiment.
  • FIG. 3A is a diagram illustrating an example of a basic mesh and a subdivision mesh.
  • FIG. 3B is a diagram illustrating an example of a basic mesh and a subdivision mesh.
  • FIG. 4 is a diagram illustrating an example of the syntax structure of a basic mesh bitstream.
  • FIG. 5 is a diagram showing an example of the syntax structure of BPH.
  • FIG. 6 is a diagram illustrating an example of functional blocks of the basic mesh decoding unit 202 of the mesh decoding device 200 according to one embodiment.
  • FIG. 7 is a diagram showing an example of the correspondence between the vertices of the basic mesh of the P frame and the vertices of the basic mesh of the I frame.
  • FIG. 8 is a diagram illustrating an example of functional blocks of the inter decoding unit 202E of the basic mesh decoding unit 202 of the mesh decoding device 200 according to an embodiment.
  • FIG. 9 is a diagram for explaining an example of a method for calculating MVP of a vertex to be decoded by the motion vector prediction unit 202E3 of the inter decoding unit 202E of the basic mesh decoding unit 202 of the mesh decoding device 200 according to an embodiment. .
  • FIG. 10 shows a flowchart illustrating an example of the operation of the motion vector prediction unit 202E3 of the inter decoding unit 202E of the basic mesh decoding unit 202 of the mesh decoding device 200 according to one embodiment.
  • FIG. 11 is an example of an operation in which the motion vector prediction unit 202E3 of the inter decoding unit 202E of the basic mesh decoding unit 202 of the mesh decoding device 200 according to an embodiment calculates the sum Total_D of distances to surrounding decoded vertices. A flowchart showing this is shown.
  • FIG. 11 is an example of an operation in which the motion vector prediction unit 202E3 of the inter decoding unit 202E of the basic mesh decoding unit 202 of the mesh decoding device 200 according to an embodiment calculates the sum Total_D of distances to surrounding decoded vertices. A flowchart showing this is shown.
  • FIG. 11 is an example of an operation in which the motion vector prediction unit 202E3 of the inter decoding unit 202E of the basic mesh decoding unit
  • FIG. 12 is a flowchart illustrating an example of an operation in which the motion vector prediction unit 202E3 of the inter decoding unit 202E of the basic mesh decoding unit 202 of the mesh decoding device 200 according to an embodiment calculates MVP using a weighted average.
  • FIG. 13 is a flowchart showing an example of an operation in which the motion vector prediction unit 202E3 of the inter decoding unit 202E of the basic mesh decoding unit 202 of the mesh decoding device 200 according to an embodiment selects an MV from a set of candidate MVs as an MVP. be.
  • FIG. 12 is a flowchart illustrating an example of an operation in which the motion vector prediction unit 202E3 of the inter decoding unit 202E of the basic mesh decoding unit 202 of the mesh decoding device 200 according to an embodiment calculates MVP using a weighted average.
  • FIG. 13 is a flowchart showing an example of an operation in which the motion vector prediction unit 202E3 of the inter decoding unit 202E of the basic mesh
  • FIG. 14 is a flowchart illustrating an example of an operation in which the motion vector prediction unit 202E3 of the inter decoding unit 202E of the basic mesh decoding unit 202 of the mesh decoding device 200 according to an embodiment creates a set of candidate MVs.
  • FIG. 15 is a diagram for explaining an example of parallelogram prediction.
  • FIG. 16 is a flowchart illustrating an example of an operation for returning the MVR accuracy to the original bit accuracy from the adaptive_mesh_flag, adaptive_bit_flag, which are control information generated by decoding the basic mesh bitstream, and the accuracy control parameter.
  • FIG. 17 is intended to illustrate an example of MVR encoding.
  • FIG. 18 is a diagram illustrating an example of functional blocks of the inter decoding unit 202E of the basic mesh decoding unit 202 of the mesh decoding device 200 according to an embodiment.
  • FIG. 19 is a diagram illustrating an example of an operation for determining connection information and the order of vertices using Edgebreaker.
  • FIG. 20 is a diagram illustrating an example of functional blocks of the subdivision unit 203 of the mesh decoding device 200 according to an embodiment.
  • FIG. 21 is a diagram illustrating an example of functional blocks of the basic mesh subdivision unit 203A of the subdivision unit 203 of the mesh decoding device 200 according to an embodiment.
  • FIG. 22 is a diagram for explaining an example of a basic plane division method by the basic plane division unit 203A5 of the basic mesh subdivision unit 203A of the subdivision unit 203 of the mesh decoding device 200 according to one embodiment.
  • FIG. 23 is a flowchart illustrating an example of the operation of the basic mesh subdivision unit 203A of the subdivision unit 203 of the mesh decoding device 200 according to an embodiment.
  • FIG. 24 is a diagram illustrating an example of functional blocks of the subdivision mesh adjustment unit 203B of the subdivision unit 203 of the mesh decoding device 200 according to an embodiment.
  • FIG. 25 shows an example of a case in which the edge division point on the basic plane ABC is moved by the edge division point moving unit 701 of the subdivision mesh adjustment unit 203B of the subdivision unit 203 of the mesh decoding device 200 according to an embodiment. It is a diagram.
  • FIG. 26 shows that the subdivision plane X in the basic plane is subdivided again by the subdivision plane division unit 702 of the subdivision mesh adjustment unit 203B of the subdivision unit 203 of the mesh decoding device 200 according to one embodiment. It is a figure which shows an example of the case.
  • FIG. 27 shows a case where all subdivision planes are subdivided again by the subdivision plane division unit 702 of the subdivision mesh adjustment unit 203B of the subdivision unit 203 of the mesh decoding device 200 according to one embodiment.
  • FIG. 28 is a diagram illustrating an example of functional blocks of the displacement decoding unit 206 of the mesh decoding device 200 according to an embodiment (when inter prediction is performed in the spatial domain).
  • FIG. 29 is a diagram illustrating an example of the configuration of a displacement amount bitstream.
  • FIG. 30 is a diagram illustrating an example of the syntax configuration of DPS.
  • FIG. 31 is a diagram illustrating an example of the syntax configuration of DPH.
  • FIG. 32 is a diagram for explaining an example of the correspondence of subdivision vertices between a reference frame and a decoding target frame when inter prediction is performed in the spatial domain.
  • FIG. 28 is a diagram illustrating an example of functional blocks of the displacement decoding unit 206 of the mesh decoding device 200 according to an embodiment (when inter prediction is performed in the spatial domain).
  • FIG. 29 is a diagram illustrating an example of the configuration of a displacement amount bitstream.
  • FIG. 30 is a diagram illustrating an example of the syntax configuration of DPS.
  • FIG. 31 is a diagram
  • FIG. 33 is a diagram illustrating an example of functional blocks of the displacement decoding unit 206 of the mesh decoding device 200 according to an embodiment (when inter prediction is performed in the frequency domain).
  • FIG. 34 is a diagram for explaining an example of a frequency correspondence relationship between a reference frame and a decoding target frame when inter prediction is performed in the frequency domain.
  • FIG. 35 is a flowchart illustrating an example of the operation of the displacement decoding unit 206 of the mesh decoding device 200 according to an embodiment.
  • FIG. 36 is a diagram illustrating an example of functional blocks of the displacement decoding unit 206 according to Modification 1.
  • FIG. 37 is a diagram illustrating an example of functional blocks of the displacement decoding section 206 according to the second modification.
  • FIG. 38 is a diagram illustrating an example of functional blocks of the inter decoding unit 202E of the basic mesh decoding unit 202 of the mesh decoding device 200 according to an embodiment.
  • FIG. 39 is a diagram illustrating an example of functional blocks of the intra decoding unit 202B of the basic mesh decoding unit 202 of the mesh decoding device 200 according to an embodiment.
  • FIG. 1 is a diagram showing an example of the configuration of a mesh processing system 1 according to the present embodiment.
  • the mesh processing system 1 includes a mesh encoding device 100 and a mesh decoding device 200.
  • FIG. 2 is a diagram showing an example of functional blocks of the mesh decoding device 200 according to the present embodiment.
  • the mesh decoding device 200 includes a demultiplexing section 201, a basic mesh decoding section 202, a subdivision section 203, a mesh decoding section 204, a patch integration section 205, and a displacement decoding section 206. , and a video decoding unit 207.
  • the basic mesh decoding unit 202, subdivision unit 203, mesh decoding unit 204, and displacement amount decoding unit 206 are configured to perform processing in units of patches obtained by dividing the mesh, and then perform processing on the processing results. They may be configured to be integrated by the patch integration unit 205.
  • the mesh is divided into patch 1 made up of basic planes 1 and 2 and patch 2 made up of basic planes 3 and 4.
  • the demultiplexer 201 is configured to separate the multiplexed bitstream into a basic mesh bitstream, a displacement bitstream, and a texture bitstream.
  • the basic mesh decoding unit 202 is configured to decode the basic mesh bitstream, generate and output a basic mesh.
  • the basic mesh is composed of a plurality of vertices in a three-dimensional space and edges connecting the plurality of vertices.
  • the basic mesh is constructed by combining basic surfaces expressed by three vertices.
  • the basic mesh decoding unit 202 may be configured to decode the basic mesh bitstream using, for example, Draco described in Non-Patent Document 2.
  • the basic mesh decoding unit 202 may be configured to generate "subdivision_method_id", which will be described later, as control information for controlling the type of subdivision method.
  • control information decoded by the basic mesh decoding section 202 will be described below with reference to FIGS. 4 and 5.
  • FIG. 4 is a diagram showing an example of the syntax structure of a basic mesh bitstream.
  • the basic mesh bitstream may include a BPH (Base Patch header), which is a set of control information corresponding to the basic mesh patch.
  • BPH Basic Patch header
  • the basic mesh bitstream may include basic mesh patch data that encodes basic mesh patches next to the BPH.
  • the basic mesh bitstream has a configuration in which each patch data corresponds to one BPH.
  • the configuration in FIG. 4 is just an example, and elements other than those described above may be added as constituent elements of the basic mesh bitstream as long as each patch data corresponds to a BPH.
  • the basic mesh bitstream may include SPS (Sequence Parameter Set), or FH (Frame Header), which is a set of control information corresponding to the frame. ), or may include MH (Mesh Header), which is control information corresponding to the mesh.
  • SPS Sequence Parameter Set
  • FH Fram Header
  • MH Mesh Header
  • FIG. 5 is a diagram showing an example of the syntax structure of BPH.
  • a syntax name different from the syntax mate shown in FIG. 5 may be used.
  • the Description column indicates how each syntax is encoded. Further, ue(v) means an unsigned zero-order exponential Golomb code, and u(n) means an n-bit flag.
  • the BPH includes at least a control signal (mdu_face_count_minus1) that specifies the number of basic faces included in the basic mesh patch.
  • the BPH includes at least a control signal (mdu_subdivision_method_id) that specifies the type of subdivision method of the basic mesh for each basic patch.
  • the BPH may include a control signal (mdu_max_depth) for identifying the upper limit of the number of subdivisions performed recursively for each basic mesh patch when recursively generating the number of subdivisions of the basic surface.
  • mdu_max_depth a control signal for identifying the upper limit of the number of subdivisions performed recursively for each basic mesh patch when recursively generating the number of subdivisions of the basic surface.
  • the basic mesh decoding section 202 includes a separating section 202A, an intra decoding section 202B, a mesh buffer section 202C, a connection information decoding section 202D, and an inter decoding section 202E.
  • the separation unit 202A is configured to classify the basic mesh bitstream into an I frame (reference frame) bitstream and a P frame bitstream.
  • the intra decoding unit 202B is configured to decode the coordinates and connection information of the vertices of the I frame from the bit stream of the I frame using, for example, Draco described in Non-Patent Document 2.
  • FIG. 39 is a diagram showing an example of functional blocks of the intra decoding section 202B.
  • the intra decoding section 202B includes a separating section 202A, an arbitrary intra decoding section 202B1, and an alignment section 202B2.
  • the arbitrary intra decoding unit 202B1 is configured to decode the coordinates and connection information of the unordered vertices of the I frame from the bit stream of the I frame using any method including the Draco described in Non-Patent Document 2. .
  • the sorting unit 202B2 is configured to output vertices by rearranging unordered vertices into a predetermined order.
  • the predetermined order for example, Morton code order or raster scan order may be used.
  • a plurality of vertices with matching coordinates may be grouped together to form a single vertex, and then rearranged in a predetermined order.
  • the mesh buffer section 202C is configured to accumulate the coordinates and connection information of the vertices of the I frame decoded by the intra decoding section 202B.
  • the connection information decoding unit 202D is configured to convert the I frame connection information extracted from the mesh buffer unit 202C into P frame connection information.
  • the inter decoding unit 202E is configured to decode the coordinates of the vertices of the P frame by adding the coordinates of the vertices of the I frame taken out from the mesh buffer unit 202C and the motion vector decoded from the bitstream of the P frame. ing.
  • the motion vector decoded by the inter decoding unit 202E is a difference vector between the coordinates of the vertices of the basic mesh of the P frame and the coordinates of the vertices of the basic mesh of the I frame.
  • FIG. 8 is a diagram showing an example of functional blocks of the inter decoding section 202E.
  • the inter decoding unit 202E includes a motion vector residual decoding unit 202E1, a motion vector buffer unit 202E2, a motion vector prediction unit 202E3, a motion vector calculation unit 202E4, and an adder 202E5.
  • the motion vector residual decoding unit 202E1 is configured to generate an MVR (Motion Vector Residual) from a P frame bitstream.
  • MVR Motion Vector Residual
  • MVR is a motion vector residual indicating the difference between MV (Motion Vector) and MVP (Motion Vector Prediction).
  • MV is a difference vector (motion vector) between the coordinates of the vertices of the corresponding I frame and the coordinates of the vertices of the P frame.
  • MVP is a value (predicted value of a motion vector) predicted by the MV of the target vertex using the MV.
  • the motion vector buffer section 202E2 is configured to sequentially store the MVs output by the motion vector calculation section 202E4.
  • the motion vector prediction unit 202E3 acquires decoded MVs from the motion vector buffer unit 202E2 for vertices connected to the decoding target vertex, and as shown in FIG. It is configured to output the MVP of the vertex to be decoded by using a part of it.
  • the motion vector calculation unit 202E4 is configured to add the MVR generated by the motion vector residual decoding unit 202E1 and the MVP output from the motion vector prediction unit 202E3, and output the MV of the vertex to be decoded. .
  • the adder 202E5 calculates the coordinates of the vertex corresponding to the decoding target vertex obtained from the decoded basic mesh of the I frame (reference frame) having a correspondence relationship, and the motion vector MV output from the motion vector calculation unit 202E3. It is configured to add the coordinates of the vertex to be decoded and output the coordinates of the vertex to be decoded.
  • FIG. 10 shows a flowchart illustrating an example of the operation of the motion vector prediction unit 202E3.
  • step S1001 the motion vector prediction unit 202E3 sets MVP and N to 0.
  • step S1002 the motion vector prediction unit 202E3 obtains a set of MVs of vertices around the decoding target vertex from the motion vector buffer unit 202E2, identifies vertices for which subsequent processing has not been completed, and transitions to No. , if the subsequent processing has been completed for all vertices, the transition is made to Yes.
  • step S1003 the motion vector prediction unit 202E3 transitions to No if the MV of the vertex to be processed has not been decoded, and transitions to Yes if the MV of the vertex to be processed has been decoded.
  • step S1004 the motion vector prediction unit 202E3 adds MV to MVP and adds 1 to N.
  • step S1005 the motion vector prediction unit 202E3 outputs the result of dividing MVP by N if N is greater than 0, and if N is 0, outputs 0 and ends the process.
  • the motion vector prediction unit 202E3 is configured to output the MVP to be decoded by averaging the decoded motion vectors of vertices around the vertex to be decoded.
  • the motion vector prediction unit 202E3 may be configured to set the MVP to 0 when the set of decoded motion vectors is an empty set.
  • the motion vector calculation unit 202E4 is configured to calculate the MV of the vertex to be decoded from the MVP output by the motion vector prediction unit 202E3 and the MVR generated by the motion vector residual decoding unit 202E1, using equation (1). may have been done.
  • MV(k) MVP(k)+MVR(k)...(1)
  • k is the index of the vertex.
  • MV, MVR and MVP are vectors that have x, y and z components.
  • the adder 202E5 calculates the coordinates of the vertex by adding the MV of the vertex calculated by the motion vector calculation unit 202E4 and the coordinates of the vertex of the reference frame corresponding to the vertex, and adds connection information remains the reference frame.
  • the adder 202E5 may be configured to calculate the coordinates v' i (k) of the k-th vertex using equation (2).
  • v' i (k) v' j (k)+MV(k)... (2)
  • v' i (k) is the coordinate of the k-th vertex to be decoded in the frame to be decoded
  • v' j (k) is the coordinate of the k-th vertex decoded in the reference frame
  • MV (k) is the k-th MV of the frame to be decoded
  • k 1, 2...,K.
  • connection information of the frame to be decoded is made the same as the connection information of the reference frame.
  • the motion vector prediction unit 202E3 calculates MVP using decoded MVs, the order of decoding affects MVP.
  • the order of such decoding is the order of decoding the vertices of the basic mesh of the reference frame.
  • a decoding method uses a constant repeating pattern to increase basic faces one by one from an edge serving as a starting point, the order of the vertices of the decoded basic mesh is determined during the decoding process.
  • the motion vector prediction unit 202E3 may use Edgebreaker to determine the decoding order of vertices in the basic mesh of the reference frame.
  • Example 1 of modification of inter decoding unit 202E Although the MVP calculated in the flowchart shown in FIG. 10 is calculated by a simple average of surrounding decoded MVs, it may be calculated by a weighted average.
  • the motion vector prediction unit 202E3 calculates the motion vectors between the vertices of the reference frame corresponding to the vertices to be decoded and the vertices around the vertices to be decoded, based on the decoded motion vectors of vertices around the vertices to be decoded.
  • the configuration may be such that the predicted value of the motion vector to be decoded is output by weighted averaging using a weight corresponding to the distance between the motion vectors.
  • the motion vector prediction unit 202E3 calculates a reference frame corresponding to the decoding target vertex and the vertices around the decoding target vertex, for a part of the decoded motion vectors of the vertices around the decoding target vertex.
  • the predicted value of the motion vector to be decoded may be output by performing weighted averaging using a weight corresponding to the distance between the vertices of .
  • the motion vector prediction unit 202E3 of the inter decoding unit 202E is configured to calculate MVP using the following procedure.
  • the motion vector prediction unit 202E3 is configured to calculate weights.
  • FIG. 11 shows a flowchart illustrating an example of the operation of calculating the sum Total_D of distances to surrounding decoded vertices.
  • step S1101 the motion vector prediction unit 202E3 sets Total_D to 0.
  • Step S1102 is the same as step S1002.
  • Step S1103 is the same as step S1003.
  • step S1104 the motion vector prediction unit 202E3 adds e(k) to Total_D.
  • the motion vector prediction unit 202E3 refers to a set of vertices around the vertex to be decoded and adds the distances of the decoded vertices.
  • the motion vector prediction unit 202E3 is configured to calculate weights using distances in a reference frame in which the correspondence between vertices is known.
  • e(k) in step S1104 in FIG. 11 is the distance between corresponding vertices in the reference frame.
  • the motion vector prediction unit 202E3 may be configured to calculate the weight w(k) using equations (3) and (4).
  • ⁇ is the set of decoded vertices on the surface of the mesh that includes the vertex to be decoded
  • e(p/k) corresponds to the vertex to be decoded and the vertex p/k in the reference frame
  • w(k) is the weight at vertex k.
  • the motion vector prediction unit 202E3 may be configured to set the weight according to a rule determined in advance according to the distance.
  • the motion vector prediction unit 202E3 sets the weight to 1 when e(k) is smaller than the threshold TH1, and sets the weight to 0.5 when e(k) is smaller than the threshold TH2, In other cases, the configuration may be such that the weight is set to 0 (the weight is not used).
  • the motion vector prediction unit 202E3 is configured to refer to MVP.
  • FIG. 12 shows a flowchart illustrating an example of the operation of calculating MVP using a weighted average.
  • step S1201 the motion vector prediction unit 202E3 sets MVP and N to 0.
  • Step S1202 is the same as step S1002.
  • Step S1203 is the same as step S1003.
  • step S1204 the motion vector prediction unit 202E3 adds w(k) ⁇ MV(k) to MVP and adds 1 to N.
  • Step S1205 is the same as step S1005.
  • the motion vector prediction unit 202E3 may be configured to calculate MVP using equation (5).
  • ⁇ is a set of decoded vertices on the surface of the mesh that includes the vertices to be decoded.
  • the motion vector prediction unit 202E3 is configured to select one MV instead of calculating MVP using a plurality of surrounding MVs.
  • the motion vector prediction unit 202E3 selects the MV of the nearest vertex among the decoded MVs stored in the motion vector buffer unit 202E2 as the MV of the vertex connected to the vertex to be decoded. may be configured.
  • the motion vector prediction unit 202E3 constructs a candidate list consisting of MVs of vertices connected to the vertex to be decoded from among the decoded MVs stored in the motion vector buffer unit 202E2, and The motion vector may be selected from the candidate list based on the index decoded from the bitstream of (frame to be decoded).
  • FIG. 13 shows a flowchart illustrating an example of the operation of selecting an MV from a set of candidate MVs as an MVP.
  • step S1301 the motion vector prediction unit 202E3 decodes the list ID from the bitstream of the P frame.
  • step S1302 the motion vector prediction unit 202E3 selects the MV to which the list ID is attached as the MVP from among the candidate MVs.
  • surrounding decoded MVs and MVs calculated by their combinations are arranged in a fixed order.
  • FIG. 14 shows a flowchart illustrating an example of the operation of creating such a set of candidate MVs.
  • step S1401 the motion vector prediction unit 202E3 refers to a set of MVs of vertices around the decoding target vertex, and determines whether processing for all vertices around the decoding target vertex is completed. It is determined whether the
  • step S1402 the motion vector prediction unit 202E3 determines whether the MV of the target vertex has been decoded.
  • step S1403 If such MV has been decoded, the operation proceeds to step S1403; if such MV has not been decoded, the operation returns to step S1401.
  • step S1403 the motion vector prediction unit 202E3 determines whether the MV overlaps with another decoded MV.
  • step S1401 If there is overlap, the operation returns to step S1401; if there is no overlap, the operation proceeds to step S1404.
  • the motion vector prediction unit 202E3 determines a list ID to be given to this MV in step S1404, and includes it in the set of candidate MVs in step S1405.
  • the motion vector prediction unit 202E3 may increase the list ID one by one in order, or select the vertex corresponding to the decoding target vertex and vertex k in the reference frame.
  • the list IDs may be determined in the order of the distance between them (e(k) in equation (3)).
  • selecting one of the candidate MVs as the MVP may be closer to the MV than the average in some cases, and in that case, the effect of increasing encoding efficiency can be expected.
  • the motion vector prediction unit 202E3 may be configured to add an MV obtained by averaging consecutive MV0 and MV1 from among the above-mentioned candidate MVs to the list as a new candidate MV.
  • the motion vector prediction unit 202E3 adds the MV after MV0 and MV1, as shown in Table 1.
  • the motion vector prediction unit 202E3 may be configured to select the MV of the nearest vertex from the set of candidate MVs without encoding the list ID. According to this configuration, the effect of further increasing the encoding efficiency can be expected.
  • the surrounding vertices are vertices that are connected to the vertex to be decoded.
  • the motion vector prediction unit 202E3 is configured to calculate MVP by parallelogram prediction, that is, by also using vertices that are not directly connected to the vertex to be decoded. has been done.
  • parallelogram prediction also uses the vertex D to be decoded and the vertex D on the opposite side of the decoded surface that has a shared edge BC.
  • the shared edges of the vertex A to be decoded include CE and BG. Therefore, in parallelogram prediction, vertices F and H can be used as well.
  • the motion vector prediction unit 202E3 may be configured to calculate MVP using equation (6) using the plane BCD shown in FIG.
  • MVP MV(B)+MV(C)-MV(D)...(6)
  • MV(X) is the motion vector of vertex X
  • MVP is the motion vector predicted value of vertex A to be decoded.
  • the motion vector prediction unit 202E3 may average the respective MVPs, or may select the surface whose center of gravity is closest.
  • Modification example 4 of inter decoding unit 202E the MVR generated by the motion vector residual decoding unit 202E1 is not maintained as is, but is configured such that the quantization width when expressing the MVR as an integer is controlled.
  • the motion vector residual decoding unit 202E1 is configured to decode adaptive_mesh_flag, adaptive_bit_flag, and precision control parameter as control information for controlling the quantization width of MVR.
  • the motion vector residual decoding unit 202E1 is configured to decode the adaptive_mesh_flag of the entire basic mesh and the adaptive_bit_flag of each basic patch.
  • adaptive_mesh_flag and adaptive_bit_flag are flags indicating whether or not to adjust the quantization width of the above-mentioned MVR, and take a value of either 0 or 1.
  • the motion vector residual decoding unit 202E1 decodes the adaptive_bit_flag only when the adaptive_mesh_flag is valid (that is, 1).
  • the motion vector residual decoding unit 202E1 considers the adaptive_bit_flag to be invalid (ie, 0).
  • FIG. 16 shows a flowchart illustrating an example of an operation for controlling the quantization width of the decoded MVR from the adaptive_mesh_flag, adaptive_bit_flag, which are control information generated by decoding the basic mesh bitstream, and the accuracy control parameter.
  • step S1601 the motion vector prediction unit 202E3 determines whether adaptive_mesh_flag is 0.
  • step S1602 the motion vector prediction unit 202E3 determines whether or not there is an unprocessed patch within the frame.
  • step S1603 the motion vector prediction unit 202E3 determines whether the adaptive_mesh_flag decoded for each patch is 0.
  • adaptive_mesh_flag 1
  • step S1604 the motion vector prediction unit 202E3 controls the quantization width of MVR based on the accuracy control parameter described below.
  • MVRQ Motion Vector Residual Quantization
  • the motion vector prediction unit 202E3 is configured to refer to a table such as Table 2, for example, and use the MVR quantization width corresponding to the quantization width control parameter generated by decoding the basic mesh bitstream. may have been done.
  • the hierarchical structure of the mesh level adaptive_mesh_flag and the patch level adaptive_mesh_flag can be expected to have the effect of minimizing wasted bits when the MVR quantization width is not controlled.
  • Modification example 5 of inter decoding unit 202E If the MVR generated by the motion vector residual decoding unit 202E1 is not encoded, an error will occur. In Modification Example 5, in order to correct such errors, discrete motion vector differences are encoded.
  • the MVR can take sizes of 1, 2, 4, and 8 in the six directions of the x-axis, y-axis, and z-axis. Examples of such encoding are shown in Tables 3 and 4.
  • MVR encoding may be performed using a combination of multiple directions.
  • the correction may be made in the order of 2 in the + direction of the x-axis and 1 in the + direction of the y-axis.
  • a further modification of the inter decoding unit 202E described above is configured to add the following functional blocks before implementing the inter decoding unit 202E described above.
  • the inter decoding unit 202E includes a duplicate vertex search unit 202E6, a duplicate vertex determination unit 202E7, a motion vector acquisition unit 202E8, and an All skip mode Features single, skip mode single.
  • the All skip mode signal is at the beginning of the bit stream of the P frame, has at least two values, and is one bit or more than one bit.
  • One of them (when the All skip mode signal indicates Yes, e.g., 1) is to not decode the motion vectors of all duplicate vertices of the P frame from the bitstream, but to decode the motion vectors of the duplicated vertices from the bitstream. This is the signal to copy.
  • the other signal (when the All skip mode signal indicates No, for example, 0) is a signal that performs different processing on each vertex of the P frame. Furthermore, the other one may have other values.
  • the other is a single mode in which the motion vector acquisition unit 202E8 does not process the motion vectors of all overlapping vertices, but performs the same process as the inter decoding unit 202E shown in FIG. 8.
  • the Skip mode signal has a binary value for each duplicate vertex and is 1 bit.
  • the Skip mode signal is a signal that, when the All skip mode signal indicates Yes (for example, 1), does not decode the motion vector of the corresponding vertex from the bitstream, but copies the motion vector of the duplicated vertex.
  • the skip mode signal does not perform the processing in the motion vector acquisition unit 202E8 for the motion vector of the vertex, and the inter decoding unit 202E shown in FIG. This is a single that performs similar processing.
  • the above-mentioned Skip mode signal may be decoded directly from the bitstream, or it may be decoded directly from the bitstream, or it may be decoded from the bitstream by data specifying the duplicated vertices (for example, The Skip mode signal may be calculated from such data.
  • the Skip mode signal is not calculated, and the same processing as the inter decoding unit 202E shown in FIG. , similarly to the above case, a motion vector decoding method for the vertex may be determined.
  • the duplicate vertex search unit 202E6 is configured to search for indices of vertices with matching coordinates (hereinafter referred to as duplicate vertices) from the geometric information of the basic mesh of the decoded reference frame, and store the index in a buffer (not shown). has been done.
  • the input to the duplicate vertex search unit 202E6 is the index (decoding order) and position coordinates of each vertex of the basic mesh of the decoded reference frame.
  • the output of the duplicate vertex search unit 202E6 is a list of pairs of the index (vindex0) of the vertex where the duplicate vertex exists and the index (vindex1) of the duplicate vertex.
  • the list of such pairs is stored in the buffer repVert in the order of index0.
  • a special signal is used to decode the index of the duplicate vertex instead of the position coordinates. With such a special signal, pairs of the index of the corresponding vertex and the index of the duplicate vertex can be stored in decoding order.
  • the duplicate vertex determination unit 202E7 is configured to determine whether there is a duplicate vertex among the vertices decoded by the corresponding vertex.
  • the duplicate vertex determination unit 202E7 determines that there is a duplicate vertex among the decoded vertices, if the index of the corresponding vertex is among the indexes of vertices where duplicate vertices exist. Note that the above-mentioned search is not necessary because the corresponding vertices come in the decoding order.
  • the duplicate vertex determining unit 202E7 determines that there is no duplicate vertex for the corresponding vertex, the same process as the inter decoding unit 202E shown in FIG. 8 is performed.
  • the motion vector acquisition unit 202E8 determines that when there is a duplicate vertex of the corresponding vertex and the All skip mode signal indicates Yes, or if the All skip mode signal indicates No, the Skip mode signal of the corresponding vertex indicates Yes. In this case, the motion vector of the vertex having the same index as the duplicate vertex is obtained from the motion vector buffer unit 202E2 that stores the decoded motion vector, and is set as the motion vector of the corresponding vertex.
  • the inter decoding unit 202E obtains the correspondence between the vertices of the reference frame and the vertices of the frame to be decoded from the decoded basic mesh of the reference frame.
  • the inter decoding unit 202E is configured to make the connection information of the vertices of the frame to be decoded the same as the connection information of the decoded vertices of the reference frame without encoding it. .
  • the inter decoding unit 202E divides the basic mesh of the frame to be decoded into two types of regions based on the signal in the decoding order of the vertices of the reference frame. In the first region, decoding is performed using inter processing, and in the second region, decoding is performed using intra processing.
  • the above-mentioned area is defined as an area formed by a plurality of vertices that are consecutive in the decoding order when decoding the basic mesh of the reference frame.
  • vertex_idx1 and vertex_idx2 are indices of the decoding order of vertices (vertex indexes), and intra_flag is a flag indicating whether the above-mentioned inter decoding method or intra decoding method is used. There may be more than one such signal.
  • vertex_idx1 and vertex_idx2 are vertex indexes that define the start position and end position of some of the areas (the first area and the second area) described above.
  • (Means 2) Means 2 is based on the premise that Edgebreaker decodes the connection information of the basic mesh of the reference frame, and the order in which the coordinates of vertices are decoded is determined by Edgebreaker.
  • FIG. 19 is a diagram illustrating an example of an operation for determining connection information and the order of vertices using Edgebreaker.
  • arrows indicate the decoding order of connection information
  • numbers indicate the decoding order of vertices
  • arrows of the same line type define the same area.
  • intra_flag is a flag indicating whether the inter decoding method or the intra decoding method is used.
  • the inter decoding unit 202E is configured to divide into a first area and a second area using Edgebreaker.
  • the subdivision unit 203 is configured to generate and output added subdivision vertices and their connection information from the basic mesh decoded by the basic mesh decoding unit 202 using the subdivision method indicated by the control information. has been done.
  • the basic mesh the added subdivision vertices, and their connection information are collectively referred to as a "subdivision mesh.”
  • the subdivision unit 202 is configured to identify the type of subdivision method from subdivision_method_id, which is control information generated by decoding the basic mesh bitstream.
  • FIGS. 3A and 3B are diagrams for explaining an example of the operation of generating subdivision vertices from a basic mesh.
  • FIG. 3A is a diagram showing an example of a basic mesh composed of five vertices.
  • a mid-edge division method may be used in which the midpoints of each side of each basic plane are connected. As a result, a certain basic surface is divided into four surfaces.
  • FIG. 3B shows an example of a subdivision mesh obtained by dividing a basic mesh composed of five vertices.
  • eight subdivision vertices (white circles) are generated in addition to the original five vertices (black circles).
  • patch_id which is control information.
  • FIG. 21 is a diagram illustrating an example of functional blocks of the subdivision unit 203.
  • the subdivision section 203 includes a basic mesh subdivision section 203A and a subdivision mesh adjustment section 203B.
  • the basic mesh subdivision unit 203A calculates the number of divisions (subdivision number) for each basic surface and basic patch based on the input basic mesh and basic mesh division information, and refines the basic mesh based on the number of divisions. It is configured to divide and output subdivided surfaces.
  • the basic mesh subdivision unit 203A may be configured to be able to change the above-mentioned number of divisions in units of basic planes and basic patches.
  • a basic surface is a surface that constitutes a basic mesh
  • a basic patch is a collection of several basic surfaces.
  • the basic mesh subdivision unit 203A predicts the number of subdivisions of the basic surface, and adds the predicted subdivision number residual to the predicted subdivision number of the basic surface, thereby calculating the number of subdivisions of the basic surface. It may be configured to calculate.
  • the basic mesh subdivision unit 203A may be configured to calculate the number of subdivisions of the basic plane based on the number of subdivisions of the basic planes adjacent to the basic plane.
  • the basic mesh subdivision unit 203A may be configured to calculate the number of subdivisions of the basic plane based on the number of subdivisions of the basic plane accumulated immediately before.
  • the basic mesh subdivision unit 203A may be configured to subdivide the basic surface by generating vertices that divide the three sides forming the basic surface and connecting the generated vertices.
  • a subdivision mesh adjusting section 203B which will be described later, is provided after the basic mesh subdivision section 203A.
  • FIG. 21 is a diagram illustrating an example of functional blocks of the basic mesh subdivision unit 203A
  • FIG. 23 is a flowchart illustrating an example of the operation of the basic mesh subdivision unit 203A.
  • the basic mesh subdivision unit 203A includes a basic plane division number buffer unit 203A1, a basic plane division number reference unit 203A2, a basic plane division number prediction unit 203A3, an addition unit 203A4, a basic plane division 203A5.
  • the basic plane division number buffer unit 203A1 stores basic plane division information including the division number of the basic plane, and is configured to output the basic plane division information to the basic plane division number reference unit 203A2. There is.
  • the size of the basic plane division number buffer section 203A1 may be set to 1, and it may be configured to output the most recently accumulated basic plane division number to the basic plane division number reference section 203A2.
  • the size of the basic surface division number buffer section 203A1 it may be configured to refer only to the last decoded fine division number (the most recently decoded fine division number).
  • the basic plane division number reference unit 203A2 determines the number of divisions when there is no basic plane adjacent to the basic plane to be decoded, or when there is a basic plane adjacent to the basic plane to be decoded. If it has not been determined, the basic plane division number prediction unit 203A3 is configured to output an indication that reference is not possible.
  • the basic plane division number reference unit 203A2 instructs the basic plane division number prediction unit 203A3 to It is configured to output a number.
  • the basic plane division number prediction unit 203A3 predicts the division number (subdivision number) of the basic plane based on one or more input division numbers, and sends the predicted division number (predicted division number) to the addition unit 203A4. ) is configured to output.
  • the basic plane division number prediction unit 203A3 is configured to output 0 to the addition unit 203A4 when only reference is not possible is input from the basic plane division number reference unit 203A2.
  • the basic surface division number prediction unit 203A3 uses one of the statistical values such as the average value, maximum value, minimum value, mode, etc. of the input number of divisions. may be configured to generate the predicted number of divisions.
  • the basic plane division number prediction unit 203A3 may be configured to generate the division number of the most adjacent plane as the predicted division number when one or more division numbers are input.
  • the addition unit 203A4 adds the number of divisions obtained by adding the predicted division number residual decoded from the prediction residual bitstream and the predicted division number obtained from the basic plane division number prediction unit 203A3 to the basic plane division unit 203A5. It is configured to output to.
  • the basic surface dividing section 203A5 is configured to subdivide the basic surface based on the number of divisions input from the adding section 203A4.
  • FIG. 22 is an example of a case where the basic surface is divided into nine parts. Referring to FIG. 22, a method of dividing a basic plane by the basic plane dividing unit 203A5 will be described.
  • the basic surface dividing unit 203A5 divides side BC and side CA into N equal parts, and generates points B_1, ..., B_(N-1), C_1, ..., C_(N-1), respectively.
  • side dividing points the points on sides AB, BC, and CA will be referred to as "side dividing points.”
  • the basic surface dividing unit 203A5 calculates sides A_i B_(N-i), B_i C_(N-i), C_i A_(N-i ) and generate N2 subdivision planes.
  • step S2201 it is determined whether the re-division process has been completed for the last basic surface. If the process is completed, the process ends; if not, the process advances to step S2202.
  • step S2202 the basic mesh subdivision unit 203A determines that Depth ⁇ mdu_max_depth.
  • Depth is a variable that represents the current depth, and its initial value is 0, and mdu_max_depth represents the maximum depth determined for each basic surface.
  • step S2202 If the conditions in step S2202 are met, the process proceeds to step S2203; if the conditions are not met, the process returns to step S2201.
  • step S2203 the basic mesh subdivision unit 203A determines whether mdu_subdivision_flag at the current depth is 1.
  • step S2204 the basic mesh subdivision unit 203A further subdivides all subdivision planes within the basic plane.
  • the basic mesh subdivision unit 203A subdivides the basic surface if no subdivision processing has been performed on the basic surface.
  • the basic surface is subdivided as shown in FIG. If it has been subdivided at least once, the subdivision plane is subdivided into N 2 pieces.
  • a surface consisting of vertex A_2, vertex B, and vertex B_1 is further divided into N2 surfaces in the same manner as when dividing the basic surface.
  • step S2205 the basic mesh subdivision unit 203A adds 1 to Depth, and the processing procedure returns to step S2202.
  • FIG. 24 is a diagram showing an example of functional blocks of the subdivision mesh adjustment section 203B.
  • the subdivision mesh adjustment section 203B includes an edge division point moving section 701 and a subdivision surface division section 702.
  • the edge division point moving unit 701 is configured to move the edge division point of the basic plane to any of the edge division points of the adjacent basic plane with respect to the input initial subdivision plane, and output the subdivision plane. ing.
  • FIG. 25 is an example in which the edge dividing points on the basic plane ABC are moved.
  • the edge dividing point moving unit 701 may be configured to move the edge dividing point of the basic plane ABC to the edge dividing point of the nearest adjacent basic plane.
  • the subdivision plane division unit 702 is configured to subdivide the input subdivision plane again and output a decoded subdivision plane.
  • FIG. 26 is a diagram showing an example of a case where the subdivision plane X within the basic plane is subdivided again.
  • the subdivision plane division unit 702 generates a new subdivision plane within the basic plane by connecting the vertices forming the subdivision plane and the edge division points of the adjacent basic plane. It may be configured as follows.
  • FIG. 27 is a diagram showing an example of a case in which the above subdivision process is performed on all subdivision planes.
  • the mesh decoding unit 204 is configured to generate and output a decoded mesh using the subdivision mesh generated by the subdivision unit 203 and the displacement decoded by the displacement decoding unit 206.
  • the mesh decoding unit 204 is configured to generate a decoded mesh by adding a corresponding displacement amount to each subdivision vertex.
  • information about which subdivision vertex each displacement corresponds to is indicated by control information.
  • the patch integration unit 205 is configured to integrate and output the decoded mesh generated by the mesh decoding unit 206 for a plurality of patches.
  • the patch division method is defined by the mesh encoding device 100. For example, to divide a patch, calculate the normal vector for each basic surface, select the basic surface with the most similar normal vector among the adjacent basic surfaces, and treat both basic surfaces as the same patch. In summary, the procedure may be configured to be repeated sequentially for the next basic surface.
  • the video decoding unit 207 is configured to decode the texture by video encoding and output it.
  • the video decoding unit 207 may use HEVC of Non-Patent Document 1.
  • the displacement amount decoding unit 206 is configured to decode the displacement amount bitstream to generate and output a displacement amount.
  • FIG. 28 is a diagram showing an example of the amount of displacement for a certain subdivision vertex.
  • the displacement decoding unit 206 is configured to define eight displacements expressed as scalars or vectors for each subdivision vertex. There is.
  • FIG. 28 is a diagram illustrating an example of functional blocks of the displacement decoding section 206.
  • the displacement decoding unit 206 includes a decoding unit 206A, an inverse quantization unit 206B, an inverse wavelet transform unit 206C, an adder 206D, an inter prediction unit 206E, and a frame buffer 206F. .
  • the decoding unit 206A is configured to decode and output the level value and control information by performing variable length decoding on the received displacement bitstream.
  • the level value obtained by variable length decoding is output to the inverse quantization unit 206B, and the control information is output to the inter prediction unit 206E.
  • FIG. 29 is a diagram illustrating an example of the configuration of a displacement amount bitstream.
  • the displacement bitstream may include a DPS (Displacement Parameter Set), which is a set of control information regarding decoding of the displacement amount.
  • DPS Displayment Parameter Set
  • the displacement bitstream may include a DPH (Displacement Patch Header), which is a collection of control information corresponding to a patch.
  • DPH Displayment Patch Header
  • the displacement amount bitstream may include, next to the DPH, encoded displacement amounts that constitute a patch.
  • the displacement bitstream has a configuration in which one DPH and one DPS correspond to each encoded displacement amount.
  • the displacement bitstream may include SPS (Sequence Parameter Set).
  • FIG. 30 is a diagram illustrating an example of the syntax configuration of DPS.
  • the Descriptor column indicates how each syntax is encoded.
  • ue(v) means an unsigned zero-order exponential Golomb code
  • u(n) means an n-bit flag
  • the DPS includes at least DPS id information (dps_displacement_parameter_set_id) for identifying each DPS.
  • the DPS may include a flag (interprediction_enabled_flag) that controls whether or not to perform inter prediction.
  • interprediction_enabled_flag when interprediction_enabled_flag is 0, it may be defined that inter prediction is not performed, and when interprediction_enabled_flag is 1, it may be defined that inter prediction is performed. If the interprediction_enabled_flag is not included, it may be defined that inter prediction is not performed.
  • the DPS may include a flag (dct_enabled_flag) that controls whether to perform inverse DCT.
  • dct_enabled_flag when dct_enabled_flag is 0, it may be defined that inverse DCT is not performed, and when dct_enabled_flag is 1, it may be defined that inverse DCT is performed. If dct_enabled_flag is not included, it may be defined that inverse DCT is not performed.
  • FIG. 31 is a diagram illustrating an example of the syntax configuration of DPH.
  • each DPH includes at least DPS id information for specifying the DPS corresponding to each DPH.
  • the dequantization unit 206B is configured to generate and output transform coefficients by dequantizing the level values decoded by the decoding unit 206A.
  • the inverse wavelet transform unit 206C is configured to perform inverse wavelet transform on the transform coefficients generated by the inverse quantization unit 206B to generate and output a prediction residual.
  • the inter prediction unit 206E is configured to generate and output a predicted displacement amount by performing inter prediction using the decoded displacement amount of the reference frame read from the frame buffer 206F.
  • the inter prediction unit 206E is configured to perform such inter prediction only when the interprediction_enabled_flag is 1.
  • the inter prediction unit 206E may perform inter prediction in the spatial domain or may perform inter prediction in the frequency domain.
  • inter prediction bidirectional prediction may be performed using a temporally past reference frame and a future reference frame.
  • FIG. 28 is an example of functional blocks of the inter prediction unit 206E when performing inter prediction in the spatial domain.
  • the inter prediction unit 206E may determine the predicted displacement amount of the subdivision vertex in the target frame by directly referring to the decoded displacement amount of the corresponding subdivision vertex in the reference frame. .
  • the predicted displacement amount of a certain subdivision vertex in the target frame may be stochastically determined using the decoded displacement amount of the corresponding subdivision vertex in a plurality of reference frames according to a normal distribution with an estimated mean and variance.
  • the variance may be set to zero and it may be determined uniquely only by the average.
  • the predicted displacement amount of a certain subdivision vertex in the target frame is based on a regression curve estimated using the decoded displacement amount of the corresponding subdivision vertex in multiple reference frames, with time as an explanatory variable and displacement as the objective variable. It may be determined by
  • the order of the decoding displacement amounts may be rearranged for each frame in order to improve encoding efficiency.
  • the inter prediction unit 206E may be configured to perform inter prediction on the rearranged decoding displacement amounts.
  • the correspondence of subdivision vertices between the reference frame and the decoding target frame is indicated by control information.
  • FIG. 32 is a diagram for explaining an example of the correspondence of subdivision vertices between the reference frame and the decoding target frame when inter prediction is performed in the spatial domain.
  • FIG. 33 is an example of functional blocks of the inter prediction unit 206E when performing inter prediction in the frequency domain.
  • the inter prediction unit 206E may determine the predicted wavelet transform coefficient of the frequency in the decoding target frame by directly referring to the decoded wavelet transform coefficient of the corresponding frequency in the reference frame.
  • the inter prediction unit 206E may use the decoded displacement amounts or decoded wavelet transform coefficients of subdivision vertices in a plurality of reference frames to perform inter prediction probabilistically according to a normal distribution whose mean and variance are estimated.
  • the inter prediction unit 206E performs inter prediction based on a regression curve estimated using time as an explanatory variable and displacement as an objective variable, using decoded displacement amounts or decoded wavelet transform coefficients of subdivided vertices in a plurality of reference frames. Good too.
  • the inter prediction unit 206E may be configured to bidirectionally perform inter prediction using temporally past reference frames and future reference frames.
  • the order of the decoded wavelet transform coefficients may be rearranged for each frame in order to improve encoding efficiency.
  • the frequency correspondence between the reference frame and the decoding target frame is indicated by control information.
  • FIG. 34 is a diagram for explaining an example of the frequency correspondence relationship between the reference frame and the decoding target frame when inter prediction is performed in the frequency domain.
  • the inter prediction unit 206E is also configured to perform inter prediction for each divided patch. This increases the time correlation between frames, and can be expected to improve encoding performance.
  • the adder 206D receives the prediction residual from the inverse wavelet transform unit 206C and the predicted displacement amount from the inter prediction unit 206E.
  • the adder 206D is configured to calculate and output the decoded displacement amount by adding the prediction residual and the predicted displacement amount.
  • the decoded displacement amount calculated by the adder 206D is also output to the frame buffer 206F.
  • the frame buffer 206F is configured to obtain and accumulate the decoded displacement amount from the adder 206D.
  • the frame buffer 206F outputs the decoding displacement amount at the corresponding vertex in the reference frame according to control information (not shown).
  • FIG. 35 is a flowchart illustrating an example of the operation of the displacement decoding section 206.
  • step S3501 the displacement decoding unit 206 determines whether this processing has been completed for all patches.
  • step S3502 the displacement decoding unit 206 performs inverse DCT on the patch to be decoded, and then performs inverse quantization and inverse wavelet transform.
  • step S3503 the displacement decoding unit 206 determines whether or not interprediction_enabled_flag is 1.
  • step S3504 If Yes, the operation proceeds to step S3504; if No, the operation returns to step S3501.
  • step S3504 the displacement decoding unit 206 performs the above-mentioned inter prediction and addition.
  • FIG. 36 is a diagram illustrating an example of functional blocks of the displacement decoding section 206 according to the first modification.
  • the displacement decoding unit 206 includes an inverse DCT unit 206G after the decoding unit 206A, that is, between the decoding unit 206A and the inverse quantization unit 206B. There is.
  • the inverse quantization unit 206B is configured to generate a prediction residual by performing inverse wavelet transform on the level value output from the inverse DCT unit 202G.
  • the displacement decoding section 206 includes a video decoding section 2061, an image expansion section 2062, an inverse quantization section 2063, and an inverse wavelet transform section 2064.
  • the video decoding unit 2061 is configured to output a video by decoding the received displacement bitstream using video encoding.
  • the video decoding unit 2061 may use HEVC of Non-Patent Document 1.
  • the video decoding unit 2061 may use a video encoding method in which the motion vector is always zero.
  • the video decoding unit 2061 may always set the HEVC motion vector to zero and always use inter prediction at the same position.
  • the video decoding unit 2061 may use a video encoding method that always skips conversion.
  • the video decoding unit 2061 may always perform HEVC conversion in conversion skip mode and use the video encoding method without conversion.
  • the image expansion unit 2062 is configured to expand and output the video decoded by the video decoding unit 2061 as a level value for each image (frame).
  • the image development unit 2062 can perform backward calculation and specification based on how the level values are arranged in the image indicated by the control information.
  • the image development unit 2062 may arrange the level values from the high frequency component to the low frequency component in the order of raster operation in the image.
  • the dequantization unit 2063 is configured to generate and output transform coefficients by dequantizing the level values generated by the image expansion unit 2062.
  • the inverse wavelet transform unit 2064 is configured to perform inverse wavelet transform on the transform coefficients generated by the inverse quantization unit 2063 to generate and output a decoding displacement amount.
  • the mesh encoding device 100 and mesh decoding device 200 described above may be implemented as programs that cause a computer to execute each function (each step).
  • Basic surface division unit 203B ...Subdivision mesh adjustment unit 204...Mesh decoding unit 205...Patch integration unit 206...Displacement amount decoding unit 206A...Decoding units 206B, 2063...Dequantization unit 206C, 2064...Inverse wavelet transformation unit 206D.Addition unit 206E...Inter prediction unit 206F...Frame buffer 206G...Inverse DCT unit 2062...Image expansion unit 207, 2061...Video decoding unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本発明に係るメッシュ復号装置２０２は、基本メッシュビットストリームを復号して基本メッシュを出力するように構成されている基本メッシュ復号部２０２を備え、基本メッシュ復号部２０２は、基本メッシュビットストリームを多重分離することによってＩフレームストリームを出力する分離部２０２Ａと、Ｉフレームストリームを復号することによって基本メッシュの順序無し頂点を生成するように構成されているイントラ復号部２０２Ｂと、順序無し頂点を所定の順序に並び替えることによって頂点を出力するように構成されている整列部２０２Ｂ２とを備える。

Description

メッシュ復号装置、メッシュ符号化装置、メッシュ復号方法及びプログラム
　本発明は、メッシュ復号装置、メッシュ符号化装置、メッシュ復号方法及びプログラムに関する。
　非特許文献１には、非特許文献２を用いてメッシュを符号化する技術が開示されている。
Ｃｆｐ　ｆｏｒ　Ｄｙｎａｍｉｃ　Ｍｅｓｈ　Ｃｏｄｉｎｇ、ＩＳＯ/ＩＥＣ　ＪＴＣ１/ＳＣ２９/ＷＧ７　Ｎ００２３１、ＭＰＥＧ１３６　-　Ｏｎｌｉｎｅ Ｇｏｏｇｌｅ　Ｄｒａｃｏ、２０２２年５月２６日アクセス［Ｏｎｌｉｎｅ］、https://google.github.io/draco
　しかしながら、従来技術では、メッシュ復号装置を構成する基本メッシュ復号部を、異なる方式で切り替えることができず、利用用途に応じた基本メッシュ復号方式を選択できないという問題点があった。　そこで、本発明は、上述の課題に鑑みてなされたものであり、利用用途に応じて適切な基本メッシュ復号方式を選択することができるメッシュ復号装置、メッシュ符号化装置、メッシュ復号方法及びプログラムを提供することを目的とする。
　本発明の第１の特徴は、メッシュ復号装置であって、基本メッシュビットストリームを復号して基本メッシュを出力するように構成されている基本メッシュ復号部を備え、前記基本メッシュ復号部は、前記基本メッシュビットストリームを多重分離することによってＩフレームストリームを出力する分離部と、　前記Ｉフレームストリームを復号することによって基本メッシュの順序無し頂点を生成するように構成されているイントラ復号部と、前記順序無し頂点を所定の順序に並び替えることによって頂点を出力するように構成されている整列部と、を備えることを要旨とする。
　本発明の第２の特徴は、メッシュ復号方法であって、基本メッシュビットストリームからＩフレームストリームを分離する工程と、前記Ｉフレームストリームから基本メッシュの順序無し頂点を生成する工程と、前記順序無し頂点から所定の順序に並び替えた頂点を出力する整列工程と、を有することを要旨とする。
　本発明の第３の特徴は、コンピュータを、メッシュ復号装置として機能させるプログラムであって、前記メッシュ復号装置は、基本メッシュビットストリームを復号して基本メッシュを出力するように構成されている基本メッシュ復号部を備え、前記基本メッシュ復号部は、前記基本メッシュビットストリームを多重分離することによってＩフレームストリームを出力する分離部と、前記Ｉフレームストリームを復号することによって基本メッシュの順序無し頂点を生成するように構成されているイントラ復号部と、前記順序無し頂点を所定の順序に並び替えることによって頂点を出力するように構成されている整列部と、を備えることを要旨とする。
　本発明によれば、利用用途に応じて適切な基本メッシュ復号方式を選択することができるメッシュ復号装置、メッシュ符号化装置、メッシュ復号方法及びプログラムを提供することができる。
図１は、一実施形態に係るメッシュ処理システム１の構成の一例を示す図である。 図２は、一実施形態に係るメッシュ復号装置２００の機能ブロックの一例を示す図である。 図３Ａは、基本メッシュ及び細分割メッシュの一例を示す図である。 図３Ｂは、基本メッシュ及び細分割メッシュの一例を示す図である。 図４は、基本メッシュビットストリームのシンタックス構成の一例を示す図である。 図５は、図５は、ＢＰＨのシンタックス構成の一例を示す図である。 図６は、一実施形態に係るメッシュ復号装置２００の基本メッシュ復号部２０２の機能ブロックの一例を示す図である。 図７は、Ｐフレームの基本メッシュの頂点とＩフレームの基本メッシュの頂点との間の対応関係の一例を示す図である。 図８は、一実施形態に係るメッシュ復号装置２００の基本メッシュ復号部２０２のインター復号部２０２Ｅの機能ブロックの一例を示す図である。 図９は、一実施形態に係るメッシュ復号装置２００の基本メッシュ復号部２０２のインター復号部２０２Ｅの動きベクトル予測部２０２Ｅ３による復号対象の頂点のＭＶＰの算出方法の一例を説明するための図である。 図１０は、一実施形態に係るメッシュ復号装置２００の基本メッシュ復号部２０２のインター復号部２０２Ｅの動きベクトル予測部２０２Ｅ３の動作の一例を示すフローチャートを示す。 図１１は、一実施形態に係るメッシュ復号装置２００の基本メッシュ復号部２０２のインター復号部２０２Ｅの動きベクトル予測部２０２Ｅ３が、復号済みの周りの頂点との距離の和Ｔｏｔａｌ_Ｄを算出する動作の一例を示すフローチャートを示す。 図１２は、一実施形態に係るメッシュ復号装置２００の基本メッシュ復号部２０２のインター復号部２０２Ｅの動きベクトル予測部２０２Ｅ３が、重み付け平均を用いてＭＶＰを算出する動作の一例を示すフローチャートである。 図１３は、一実施形態に係るメッシュ復号装置２００の基本メッシュ復号部２０２のインター復号部２０２Ｅの動きベクトル予測部２０２Ｅ３が、ＭＶＰとして候補ＭＶの集合からＭＶを選択する動作の一例を示すフローチャートである。 図１４は、一実施形態に係るメッシュ復号装置２００の基本メッシュ復号部２０２のインター復号部２０２Ｅの動きベクトル予測部２０２Ｅ３が、候補ＭＶの集合を作成する動作の一例を示すフローチャートである。 図１５は、平行四辺形予測の一例について説明するための図である。 図１６は、基本メッシュビットストリームを復号して生成した制御情報であるａｄａｐｔｉｖｅ_ｍｅｓｈ_ｆｌａｇ、ａｄａｐｔｉｖｅ_ｂｉｔ_ｆｌａｇ及び精度制御パラメータから、ＭＶＲの精度を元のビット精度に戻す動作の一例を示すフローチャートである。 図１７は、ＭＶＲの符号化の一例を説明するための意図である。 図１８は、一実施形態に係るメッシュ復号装置２００の基本メッシュ復号部２０２のインター復号部２０２Ｅの機能ブロックの一例を示す図である。 図１９は、Ｅｄｇｅｂｒｅａｋｅｒを用いて、接続情報及び頂点の順番を決める動作の一例を示す図である。 図２０は、一実施形態に係るメッシュ復号装置２００の細分割部２０３の機能ブロックの一例について示す図である。 図２１は、一実施形態に係るメッシュ復号装置２００の細分割部２０３の基本メッシュ細分割部２０３Ａの機能ブロックの一例を示す図である。 図２２は、一実施形態に係るメッシュ復号装置２００の細分割部２０３の基本メッシュ細分割部２０３Ａの基本面分割部２０３Ａ５による基本面の分割方法の一例について説明するための図である。 図２３は、一実施形態に係るメッシュ復号装置２００の細分割部２０３の基本メッシュ細分割部２０３Ａの動作の一例を示すフローチャートである。 図２４は、一実施形態に係るメッシュ復号装置２００の細分割部２０３の細分割メッシュ調整部２０３Ｂの機能ブロックの一例を示す図である。 図２５は、一実施形態に係るメッシュ復号装置２００の細分割部２０３の細分割メッシュ調整部２０３Ｂの辺分割点移動部７０１によって基本面ＡＢＣ上の辺分割点が移動されたケースの一例を示す図である。 図２６は、一実施形態に係るメッシュ復号装置２００の細分割部２０３の細分割メッシュ調整部２０３Ｂの細分割面分割部７０２によって基本面内の細分割面Ｘに対して再度細分割が行われたケースの一例を示す図である。 図２７は、一実施形態に係るメッシュ復号装置２００の細分割部２０３の細分割メッシュ調整部２０３Ｂの細分割面分割部７０２によって全ての細分割面に対して再度細分割が行われたケースの一例を示す図である。 図２８は、一実施形態に係るメッシュ復号装置２００の変位量復号部２０６の機能ブロックの一例について示す図である（空間領域でインター予測が行われる場合）。 図２９は、変位量ビットストリームの構成の一例について示す図である。 図３０は、ＤＰＳのシンタックス構成の一例について示す図である。 図３１は、ＤＰＨのシンタックス構成の一例について示す図である。 図３２は、空間領域でインター予測が行われる場合の参照フレームと復号対象フレームとの間の細分割頂点の対応関係の一例について説明するための図である。 図３３は、一実施形態に係るメッシュ復号装置２００の変位量復号部２０６の機能ブロックの一例について示す図である（周波数領域でインター予測が行われる場合）。 図３４は、周波数領域でインター予測が行われる場合の参照フレームと復号対象フレームとの間の周波数の対応関係の一例について説明するための図である。 図３５は、一実施形態に係るメッシュ復号装置２００の変位量復号部２０６の動作の一例を示すフローチャートである。 図３６は、変形例１に係る変位量復号部２０６の機能ブロックの一例を示す図である。 図３７は、変形例２に係る変位量復号部２０６の機能ブロックの一例を示す図である。 図３８は、一実施形態に係るメッシュ復号装置２００の基本メッシュ復号部２０２のインター復号部２０２Ｅの機能ブロックの一例を示す図である。 図３９は、一実施形態に係るメッシュ復号装置２００の基本メッシュ復号部２０２のイントラ復号部２０２Ｂの機能ブロックの一例を示す図である。
　以下、本発明の実施の形態について、図面を参照しながら説明する。なお、以下の実施形態における構成要素は、適宜、既存の構成要素等との置き換えが可能であり、また、他の既存の構成要素との組み合わせを含む様々なバリエーションが可能である。したがって、以下の実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。
＜第１実施形態＞
　以下、図１～図３５を参照して、本実施形態に係るメッシュ処理システムについて説明する。
　図１は、本実施形態に係るメッシュ処理システム１の構成の一例を示す図である。図１に示すように、メッシュ処理システム１は、メッシュ符号化装置１００及びメッシュ復号装置２００を備えている。
　図２は、本実施形態に係るメッシュ復号装置２００の機能ブロックの一例を示す図である。
　図２に示すように、メッシュ復号装置２００は、多重分離部２０１と、基本メッシュ復号部２０２と、細分割部２０３と、メッシュ復号部２０４と、パッチ統合部２０５と、変位量復号部２０６と、映像復号部２０７とを有する。
　ここで、基本メッシュ復号部２０２、細分割部２０３、メッシュ復号部２０４及び変位量復号部２０６は、メッシュを分割したパッチ単位で処理を行うように構成されており、その後、これの処理結果についてパッチ統合部２０５で統合されるように構成されていてもよい。
　図３Ａの例では、メッシュが、基本面１及び２で構成されるパッチ１と、基本面３及び４で構成されるパッチ２とに分割されている。
　多重分離部２０１は、多重化されたビットストリームを、基本メッシュビットストリームと変位量ビットストリームとテクスチャビットストリームとに分離するように構成されている。
＜基本メッシュ復号部２０２＞
　基本メッシュ復号部２０２は、基本メッシュビットストリームを復号し、基本メッシュを生成して出力するように構成されている。
　ここで、基本メッシュは、３次元空間における複数の頂点と、かかる複数の頂点を接続する辺とで構成される。
　なお、図３Ａに示すように、基本メッシュは、３つの頂点で表現される基本面を組み合わせて構成される。
　基本メッシュ復号部２０２は、例えば、非特許文献２に示すＤｒａｃｏを用いて、基本メッシュビットストリームを復号するように構成されていてもよい。
　また、基本メッシュ復号部２０２は、細分割手法の種別を制御する制御情報として、後述の「ｓｕｂｄｉｖｉｓｉｏｎ_ｍｅｔｈｏｄ_ｉｄ」を生成するように構成されていてもよい。
　以下、図４～図５を参照して、基本メッシュ復号部２０２で復号される制御情報について説明する。
　図４は、基本メッシュビットストリームのシンタックス構成の一例を示す図である。
　図４に示すように、第１に、基本メッシュビットストリームは、基本メッシュパッチに対応する制御情報の集合であるＢＰＨ（Ｂａｓｅ　Ｐａｔｃｈ　ｈｅａｄｅｒ：ベースパッチヘッダ）を含んでいてもよい。第２に、基本メッシュビットストリームは、ＢＰＨの次に、基本メッシュパッチを符号化した基本メッシュパッチデータを含んでいてもよい。
　以上のように、基本メッシュビットストリームは、各パッチデータに、１つずつＢＰＨが対応する構成となる。なお、図４の構成は、あくまで一例であり、各パッチデータに、ＢＰＨが対応する構成となっていれば、基本メッシュビットストリームの構成要素として、上述以外の要素が追加されてもよい。
　例えば、図４に示すように、基本メッシュビットストリームは、ＳＰＳ（シーケンスパラメータセット：Ｓｅｑｕｅｎｃｅ　Ｐａｒａｍｅｔｅｒ　Ｓｅｔ）を含んでいてもよいし、フレームに対応する制御情報の集合であるＦＨ（Ｆｒａｍｅ　Ｈｅａｄｅｒ：フレームヘッダ）を含んでもよいし、メッシュに対応する制御情報であるＭＨ（Ｍｅｓｈ　Ｈｅａｄｅｒ：メッシュヘッダ）を含んでもよい。
　図５は、ＢＰＨのシンタックス構成の一例を示す図である。ここで、シンタックスの機能が同様であれば、図５に示すシンタックスメイト異なるシンタックス名が用いられても差し支えない。
　図５に示すＢＰＨのシンタックス構成において、Ｄｅｓｃｒｉｐｔｉｏｎ欄は、各シンタックスが、どのように符号化されているかを意味している。また、ｕｅ（ｖ）は、符号無し０次指数ゴロム符号であることを意味し、ｕ（ｎ）は、ｎビットのフラグであることを意味する。
　ＢＰＨは、基本メッシュパッチに含まれる基本面の個数を指定する制御信号（ｍｄｕ_ｆａｃｅ_ｃｏｕｎｔ_ｍｉｎｕｓ１）を少なくとも含む。
　また、ＢＰＨは、基本パッチごとに基本メッシュの細分割手法の種別を指定する制御信号（ｍｄｕ_ｓｕｂｄｉｖｉｓｉｏｎ_ｍｅｔｈｏｄ_ｉｄ）を少なくとも含む。
　また、ＢＰＨは、基本メッシュパッチごとに細分割数生成手法の種別を指定する制御信号（ｍｄｕ_ｓｕｂｄｉｖｉｓｉｏｎ_ｎｕｍ_ｍｅｔｈｏｄ_ｉｄ）を含んでもよい。例えば、ｍｄｕ_ｓｕｂｄｉｖｉｓｉｏｎ_ｎｕｍ_ｍｅｔｈｏｄ_ｉｄ＝０のとき、予測分割残差により基本面の細分割数を生成することと定義し、ｍｄｕ_ｓｕｂｄｉｖｉｓｉｏｎ_ｎｕｍ_ｍｅｔｈｏｄ_ｉｄ＝１のとき、再帰的に基本面の細分割数を生成することと定義してもよい。
　ＢＰＨは、予測分割残差により基本面の細分割数を生成するとき、インデックスｉ（ｉ＝０，…，ｍｄｕ_ｆａｃｅ_ｃｏｕｎｔ_ｍｉｎｕｓ１）ごとに基本面の予測分割残差を指定する制御信号（ｍｄｕ_ｓｕｂｄｉｖｉｓｉｏｎ_ｒｅｓｕｉｄｕａｌｓ）を含んでもよい。
　ＢＰＨは、再帰的に基本面の細分割数を生成するとき、基本メッシュパッチごとに再帰的に行う細分割回数の上限を識別するための制御信号（ｍｄｕ_ｍａｘ_ｄｅｐｔｈ）を含んでもよい。
　ＢＰＨは、インデックスｉ（ｉ＝０，…，ｍｄｕ_ｆａｃｅ_ｃｏｕｎｔ_ｍｉｎｕｓ１）及びｊ（ｊ＝０，…，ｍｄｕ_ｓｕｂｄｉｖｉｓｉｏｎ_ｄｅｐｔｈ_ｉｎｄｅｘ）ごとに、基本面を再帰的に細分割するか否かを指定する制御信号（ｍｄｕ_ｓｕｂｄｉｖｉｓｉｏｎ_ｆｌａｇ）を含んでもよい。
　図６に示すように、基本メッシュ復号部２０２は、分離部２０２Ａと、イントラ復号部２０２Ｂと、メッシュバッファ部２０２Ｃと、接続情報復号部２０２Ｄと、インター復号部２０２Ｅとを備える。
　分離部２０２Ａは、基本メッシュビットストリームを、Ｉフレーム（参照フレーム）のビットストリームとＰフレームのビットストリームとに分類するように構成されている。
（イントラ復号部２０２Ｂ）
　イントラ復号部２０２Ｂは、例えば、非特許文献２に示すＤｒａｃｏを用いて、Ｉフレームのビットストリームから、Ｉフレームの頂点の座標及び接続情報を復号するように構成されている。
　図３９は、イントラ復号部２０２Ｂの機能ブロックの一例を示す図である。
　図３９に示すように、イントラ復号部２０２Ｂは、分離部２０２Ａと、任意イントラ復号部２０２Ｂ１と、整列部２０２Ｂ２とを有する。
　任意イントラ復号部２０２Ｂ１は、非特許文献２に示すＤｒａｃｏを含む任意の方式を用いて、Ｉフレームのビットストリームから、Ｉフレームの順序無し頂点の座標及び接続情報を復号するように構成されている。
　整列部２０２Ｂ２は、順序無し頂点を所定の順序に並び替えることによって頂点を出力するように構成されている。
　所定の順序として、例えば、モートンコード順を用いてもよく、ラスタスキャン順を用いてもよい。
　また、座標が一致する複数の頂点、すなわち重複頂点をまとめて、単一頂点としてから、所定の順序に並び替えてもよい。
　メッシュバッファ部２０２Ｃは、イントラ復号部２０２Ｂによって復号されたＩフレームの頂点の座標及び接続情報を蓄積するように構成されている。
　接続情報復号部２０２Ｄは、メッシュバッファ部２０２Ｃから取り出したＩフレームの接続情報をＰフレームの接続情報にするように構成されている。
　インター復号部２０２Ｅは、メッシュバッファ部２０２Ｃから取り出したＩフレームの頂点の座標とＰフレームのビットストリームから復号した動きベクトルとを加算することによって、Ｐフレームの頂点の座標を復号するように構成されている。
　本実施形態では、図７に示すように、Ｐフレームの基本メッシュの頂点とＩフレーム（参照フレーム）の基本メッシュの頂点との間で対応関係が存在する。ここで、インター復号部２０２Ｅによって復号される動きベクトルは、Ｐフレームの基本メッシュの頂点の座標とＩフレームの基本メッシュの頂点の座標との差分ベクトルである。
（インター復号部２０２Ｅ）
　図８は、インター復号部２０２Ｅの機能ブロックの一例を示す図である。
　図８に示すように、インター復号部２０２Ｅは、動きベクトル残差復号部２０２Ｅ１と、動きベクトルバッファ部２０２Ｅ２と、動きベクトル予測部２０２Ｅ３と、動きベクトル算出部２０２Ｅ４と、加算器２０２Ｅ５とを有する。
　動きベクトル残差復号部２０２Ｅ１は、ＰフレームのビットストリームからＭＶＲ（Ｍｏｔｉｏｎ　Ｖｅｃｔｏｒ　Ｒｅｓｉｄｕａｌ）を生成するように構成されている。
　ここで、ＭＶＲは、ＭＶ（Ｍｏｔｉｏｎ　Ｖｅｃｔｏｒ）とＭＶＰ（Ｍｏｔｉｏｎ　Ｖｅｃｔｏｒ　Ｐｒｅｄｉｃｔｉｏｎ）との差分を示す動きベクトル残差である。ＭＶは、対応するＩフレームの頂点の座標とＰフレームの頂点の座標との間の差分ベクトル（動きベクトル）である。ＭＶＰは、ＭＶを用いて対象の頂点のＭＶの予測した値（動きベクトルの予測値）である。
　動きベクトルバッファ部２０２Ｅ２は、動きベクトル算出部２０２Ｅ４によって出力されたＭＶを順次に保存するように構成されている。
　動きベクトル予測部２０２Ｅ３は、復号対象の頂点と接続している頂点について、動きベクトルバッファ部２０２Ｅ２から復号済みのＭＶを取得し、図９に示すように、取得された復号済みのＭＶの全部又は一部を用いて、復号対象の頂点のＭＶＰを出力するように構成されている。
　動きベクトル算出部２０２Ｅ４は、動きベクトル残差復号部２０２Ｅ１で生成されたＭＶＲと動きベクトル予測部２０２Ｅ３から出力されたＭＶＰとを加算し、復号対象の頂点のＭＶを出力するように構成されている。
　加算器２０２Ｅ５は、対応関係を持つＩフレーム（参照フレーム）の復号済みの基本メッシュから得られた復号対象の頂点に対応する頂点の座標と、動きベクトル算出部２０２Ｅ３から出力された動きベクトルＭＶとを加算し、復号対象の頂点の座標を出力するように構成されている。
　以下、インター復号部２０２Ｅの各部の詳細について説明する。
　図１０に、動きベクトル予測部２０２Ｅ３の動作の一例を示すフローチャートを示す。
　図１０に示すように、ステップＳ１００１において、動きベクトル予測部２０２Ｅ３は、ＭＶＰ及びＮに０を設定する。
　ステップＳ１００２において、動きベクトル予測部２０２Ｅ３は、動きベクトルバッファ部２０２Ｅ２から、復号対象の頂点の周りの頂点のＭＶの集合を取得し、後続の処理が終わっていない頂点を特定し、Ｎｏに遷移し、全ての頂点について後続の処理が終わっている場合は、Ｙｅｓに遷移する。
　ステップＳ１００３において、動きベクトル予測部２０２Ｅ３は、処理対象の頂点のＭＶが、復号済みでなければ、Ｎｏに遷移し、処理対象の頂点のＭＶが、復号済みであれば、Ｙｅｓに遷移する。
　ステップＳ１００４において、動きベクトル予測部２０２Ｅ３は、ＭＶＰにＭＶを加算し、Ｎに１を加算する。
　ステップＳ１００５において、動きベクトル予測部２０２Ｅ３は、Ｎが０より大きければ、ＭＶＰをＮで除した結果を出力し、Ｎが０であれば、０を出力し、処理を終了する。
　すなわち、動きベクトル予測部２０２Ｅ３は、復号対象の頂点の周りにある頂点の復号済みの動きベクトルを平均することによって、復号対象のＭＶＰを出力するように構成されている。
　なお、動きベクトル予測部２０２Ｅ３は、かかる復号済みの動きベクトルの集合が空集合の場合、ＭＶＰを０とするように構成されていてもよい。
　動きベクトル算出部２０２Ｅ４は、式（１）によって、動きベクトル予測部２０２Ｅ３によって出力されたＭＶＰ及び動きベクトル残差復号部２０２Ｅ１によって生成されたＭＶＲから、復号対象の頂点のＭＶを算出するように構成されていてもよい。
　ＭＶ（ｋ）＝ＭＶＰ（ｋ）＋ＭＶＲ（ｋ）　…　（１）
　ここで、ｋは、頂点のインデックスである。ＭＶ、ＭＶＲ及びＭＶＰは、ｘ成分、ｙ成分及びｚ成分を有するベクターである。
　かかる構成によれば、ＭＶＰを用いて、ＭＶの代わりにＭＶＲのみを符号化するため、符号化効率を高める効果が期待できる。
　加算器２０２Ｅ５は、動きベクトル算出部２０２Ｅ４によって算出された頂点のＭＶと、かかる頂点に対応する参照フレームの頂点の座標とを加算することによって、かかる頂点の座標を算出し、接続情報（Ｃｏｎｎｅｃｔｉｖｉｔｙ）を参照フレームのままにするように構成されている。
　具体的には、加算器２０２Ｅ５は、式（２）を用いて、ｋ番目の頂点の座標ｖ’ｉ（ｋ）を算出するように構成されていてもよい。
　ｖ’ｉ（ｋ）＝ｖ’ｊ（ｋ）＋ＭＶ（ｋ）　…　（２）
　ここで、ｖ’ｉ（ｋ）は、復号対象のフレームで復号するｋ番目の頂点の座標であり、ｖ’ｊ（ｋ）は、参照フレームの復号したｋ番目の頂点の座標であり、ＭＶ（ｋ）は、復号対象のフレームのｋ番目のＭＶであり、ｋ＝１，２…，Ｋである。
　また、復号対象のフレームの接続情報は、参照フレームの接続情報と同一にされる。
　なお、動きベクトル予測部２０２Ｅ３は、復号済みのＭＶを用いてＭＶＰを算出するため、復号の順番がＭＶＰに影響を及ぼす。
　かかる復号の順番は、参照フレームの基本メッシュの頂点の復号の順番にする。一般的に、一定の繰り返しパターンを用いて、起点となるエッジから基本面を１つずつ増やす復号手法であれば、復号した基本メッシュの頂点の順番が復号の過程で決められる。
　例えば、動きベクトル予測部２０２Ｅ３は、参照フレームの基本メッシュにおいて、Ｅｄｇｅｂｒｅａｋｅｒを用いて、頂点の復号の順番を決めてもよい。
　かかる構成によれば、頂点の座標の代わりに参照フレームからのＭＶを符号化するため、符号化効率を高める効果が期待できる。
（インター復号部２０２Ｅの変更例１）
　図１０に示すフローチャートで算出したＭＶＰは、復号済みの周りのＭＶの単純平均によって算出されているがが、重み付け平均によって算出されてもよい。
　すなわち、動きベクトル予測部２０２Ｅ３は、復号対象の頂点の周りにある頂点の復号済みの動きベクトルに対して、復号対象の頂点及び復号対象の頂点の周りにある頂点に対応する参照フレームの頂点間の距離に応じた重みで加重平均することで、復号対象の動きベクトルの予測値を出力するように構成されていてもよい。
　なお、動きベクトル予測部２０２Ｅ３は、復号対象の頂点の周りにある頂点の復号済みの動きベクトルの一部に対して、復号対象の頂点及び復号対象の頂点の周りにある頂点に対応する参照フレームの頂点間の距離に応じた重みで加重平均することで、復号対象の動きベクトルの予測値を出力するように構成されていてもよい。
　本変更例１では、インター復号部２０２Ｅの動きベクトル予測部２０２Ｅ３は、以下の手順で、ＭＶＰを算出するように構成されている。
　第１に、動きベクトル予測部２０２Ｅ３は、重みを算出するように構成されている。
　図１１に、復号済みの周りの頂点との距離の和Ｔｏｔａｌ_Ｄを算出する動作の一例を示すフローチャートを示す。
　図１１に示すように、ステップＳ１１０１において、動きベクトル予測部２０２Ｅ３は、Ｔｏｔａｌ_Ｄに０を設定する。
　ステップＳ１１０２は、ステップＳ１００２と同じである。
　ステップＳ１１０３は、ステップＳ１００３と同じである。
　ステップＳ１１０４において、動きベクトル予測部２０２Ｅ３は、Ｔｏｔａｌ_Ｄに対してｅ（ｋ）を加算する。
　すなわち、動きベクトル予測部２０２Ｅ３は、復号対象の頂点の周りにある頂点の集合を参照して、復号済みの頂点の距離を加算する。
　本変更例１では、動きベクトル予測部２０２Ｅ３は、頂点間の対応関係が既知である参照フレームにおける距離を利用して重みを算出するように構成されている。
　つまり、図１１のステップＳ１１０４におけるｅ（ｋ）は、参照フレームにおける対応する頂点間の距離である。
　そして、動きベクトル予測部２０２Ｅ３は、式（３）及び（４）によって、重みｗ（ｋ）を算出するように構成されていてもよい。
Figure JPOXMLDOC01-appb-M000001
 　ここで、Θは、復号対象の頂点を含んでいるメッシュの面における復号済みの各頂点の集合であり、ｅ（ｐ/ｋ）は、参照フレームで復号対象の頂点と頂点ｐ/ｋと対応する頂点との間の距離であり、ｗ（ｋ）は、頂点ｋにおける重みである。
　なお、動きベクトル予測部２０２Ｅ３は、距離に応じて事前に決めたルールで、重みを設定するように構成されていてもよい。
　例えば、動きベクトル予測部２０２Ｅ３は、ｅ（ｋ）が閾値ＴＨ１よりも小さい場合、重みを１に設定し、ｅ（ｋ）が閾値ＴＨ２よりも小さい場合、重みを０.５に設定しし、それ以外の場合、重みを０に設定する（重みを利用しない）ように構成されていてもよい。
　かかる構成によれば、復号対象の頂点との距離が近い場合に重みを大きくすることで、より高い精度でＭＶＰを算出することができるという効果が期待できる。
　第２に、動きベクトル予測部２０２Ｅ３は、ＭＶＰを参照するように構成されている。
　図１２に、重み付け平均を用いてＭＶＰを算出する動作の一例を示すフローチャートを示す。
　図１２に示すように、ステップＳ１２０１において、動きベクトル予測部２０２Ｅ３は、ＭＶＰ及びＮに０を設定する。
　ステップＳ１２０２は、ステップＳ１００２と同じである。
　ステップＳ１２０３は、ステップＳ１００３と同じである。
　ステップＳ１２０４において、動きベクトル予測部２０２Ｅ３は、ＭＶＰにｗ（ｋ）×ＭＶ（ｋ）を加算し、Ｎに１を加算する。
　ステップＳ１２０５は、ステップＳ１００５と同じである。
　或いは、動きベクトル予測部２０２Ｅ３は、式（５）によって、ＭＶＰを算出するように構成されていてもよい。
Figure JPOXMLDOC01-appb-M000002
 　ここで、Θは、復号対象の頂点を含んでいるメッシュの面における復号済みの各頂点の集合である。
　かかる構成によれば、重み付け平均で、より高い精度のＭＶＰを算出することができるため、ＭＶＲの値を小さくしてゼロ付近に集中させることにより、符号化効率を高めるという効果が期待できる。
（インター復号部２０２Ｅの変更例２）
　本変更例２では、動きベクトル予測部２０２Ｅ３は、周りの複数のＭＶを用いてＭＶＰを算出するのではなく、１つのＭＶを選択するように構成されている。
　すなわち、動きベクトル予測部２０２Ｅ３は、復号対象の頂点と接続している頂点のＭＶとして、動きベクトルバッファ部２０２Ｅ２に蓄積されている復号済みのＭＶのうち最近傍の頂点のＭＶを選択するように構成されていてもよい。
　ここで、動きベクトル予測部２０２Ｅ３は、動きベクトルバッファ部２０２Ｅ２に蓄積されている復号済みのＭＶの中から、復号対象の頂点と接続している頂点のＭＶから成る候補リストを構築し、Ｐフレーム（復号対象のフレーム）のビットストリームから復号したインデックスに基づいて、候補リストから動きベクトルを選択するように構成されていてもよい。
　図１３に、ＭＶＰとして候補ＭＶの集合からＭＶを選択する動作の一例を示すフローチャートを示す。
　図１３に示すように、ステップＳ１３０１において、動きベクトル予測部２０２Ｅ３は、ＰフレームのビットストリームからリストＩＤを復号する。
　ステップＳ１３０２において、動きベクトル予測部２０２Ｅ３は、候補ＭＶの中から、リストＩＤを付けるＭＶをＭＶＰとして選択する。
　なお、図１３における候補ＭＶの集合では、復号済みの周りのＭＶ及びその組み合わせで算出されたＭＶが一定の順番で並んでいる。
　図１４に、かかる候補ＭＶの集合を作成する動作の一例を示すフローチャートを示す。
　図１４に示すように、ステップＳ１４０１において、動きベクトル予測部２０２Ｅ３は、復号対象の頂点の周りの頂点のＭＶの集合を参照して、復号対象の頂点の周りの全ての頂点に対する処理が完了しているか否かについて判定する。
　かかる処理が完了している場合、本動作は、終了し、かかる処理が完了していない場合、本動作は、ステップＳ１４０２に進む。
　ステップＳ１４０２において、動きベクトル予測部２０２Ｅ３は、対象の頂点のＭＶが復号されているか否かについて判定する。
　かかるＭＶが復号されている場合、本動作は、ステップＳ１４０３に進み、かかるＭＶが復号されていない場合、本動作は、ステップＳ１４０１に戻る。
　ステップＳ１４０３において、動きベクトル予測部２０２Ｅ３は、かかるＭＶが他の復号済みのＭＶと重複するか否かについて判定する。
　重複する場合、本動作は、ステップＳ１４０１に戻り、重複していない場合、本動作は、ステップS１４０４に進む。
　動きベクトル予測部２０２Ｅ３は、ステップＳ１４０４において、かかるＭＶに対して付与するリストＩＤを決定し、ステップＳ１４０５において、候補ＭＶの集合に含める。
　なお、図１４において、動きベクトル予測部２０２Ｅ３は、リストＩＤを決定する際に、リストＩＤを順番に１つずつ増やしてもよいし、参照フレームで復号対象の頂点と頂点ｋに対応する頂点との間の距離（式（３）のｅ（ｋ））の順でリストＩＤを決定してもよい。
　かかる構成によれば、候補ＭＶの１つをＭＶＰとして選択することが、場合によって平均よりＭＶと近いことがあるため、その場合には、符号化効率を高めるという効果が期待できる。
　更に、動きベクトル予測部２０２Ｅ３は、上述の候補ＭＶの中から、連続するＭＶ０及びＭＶ１を平均したＭＶを、新たな候補ＭＶとしてリストの中に追加するように構成されていてもよい。動きベクトル予測部２０２Ｅ３は、かかるＭＶの追加先としては、表１に示すように、ＭＶ０及びＭＶ１の後にする。
Figure JPOXMLDOC01-appb-T000003
 　　　
　かかる構成によれば、選択した候補ＭＶが、復号対象の頂点のＭＶとより近い可能性を高めるという効果が期待できる。
　更に、動きベクトル予測部２０２Ｅ３は、リストＩＤを符号化せず、候補ＭＶの集合から最も近傍の頂点のＭＶを選択するように構成されていてもよい。かかる構成によれば、符号化効率を更に高めるという効果が期待できる。
（インター復号部２０２Ｅの変更例３）
　上述の実施例及び変更例１～２では、周りの頂点は、復号対象の頂点と接続している頂点であった。
　これに対して、本変更例３では、動きベクトル予測部２０２Ｅ３は、平行四辺形予測によって、すなわち、復号対象の頂点と直接に接続していない頂点も利用して、ＭＶＰを算出するように構成されている。
　図１５に示すように、平行四辺形予測では、復号対象の頂点Ａと共有エッジＢＣを持つ復号済みの面の反対側の頂点Ｄも利用する。
　また、復号対象の頂点Ａの共有エッジは、ＡＢ以外に、ＣＥ及びＢＧがある。したがって、平行四辺形予測では、同様に、頂点Ｆ及びＨも利用できる。
　例えば、動きベクトル予測部２０２Ｅ３は、図１５に示す面ＢＣＤを用いて、式（６）で、ＭＶＰを算出するように構成されていてもよい。
　ＭＶＰ＝ＭＶ（Ｂ）＋ＭＶ（Ｃ）－ＭＶ（Ｄ）　…　（６）
　ここで、ＭＶ（Ｘ）は、頂点Ｘの動きベクトルであり、ＭＶＰは、復号対象の頂点Ａの動きベクトル予測値である。
　また、上述の共有エッジが複数ある時に、動きベクトル予測部２０２Ｅ３は、それぞれのＭＶＰを平均してもよいし、面の重心が最も近い面を選択してもよい。
（インター復号部２０２Ｅの変更例４）
　本変更例では、動きベクトル残差復号部２０２Ｅ１によって生成されたＭＶＲは、そのままではなく、ＭＶＲを整数表現する際の量子化幅が制御されるように構成されている。
　本変更例では、動きベクトル残差復号部２０２Ｅ１は、ＭＶＲの量子化幅を制御する制御情報として、ａｄａｐｔｉｖｅ_ｍｅｓｈ_ｆｌａｇ、ａｄａｐｔｉｖｅ_ｂｉｔ_ｆｌａｇ及び精度制御パラメータを復号するように構成されている。
　すなわち、動きベクトル残差復号部２０２Ｅ１は、基本メッシュ全体のａｄａｐｔｉｖｅ_ｍｅｓｈ_ｆｌａｇ及び基本パッチ毎のａｄａｐｔｉｖｅ_ｂｉｔ_ｆｌａｇを復号するように構成されている。
　ここで、ａｄａｐｔｉｖｅ_ｍｅｓｈ_ｆｌａｇ及びａｄａｐｔｉｖｅ_ｂｉｔ_ｆｌａｇは、上述のＭＶＲの量子化幅の調整を行うか否かについて示すフラグであり、０又は１のいずれかの値を採る。
　ここで、動きベクトル残差復号部２０２Ｅ１は、ａｄａｐｔｉｖｅ_ｍｅｓｈ_ｆｌａｇが有効（すなわち、１）である場合のみ、ａｄａｐｔｉｖｅ_ｂｉｔ_ｆｌａｇを復号する。
　また、動きベクトル残差復号部２０２Ｅ１は、ａｄａｐｔｉｖｅ_ｍｅｓｈ_ｆｌａｇが無効（すなわち、０）である場合、ａｄａｐｔｉｖｅ_ｂｉｔ_ｆｌａｇは無効（すなわち、０）とみなす。
　図１６に、に基本メッシュビットストリームを復号して生成した制御情報であるａｄａｐｔｉｖｅ_ｍｅｓｈ_ｆｌａｇ、ａｄａｐｔｉｖｅ_ｂｉｔ_ｆｌａｇ及び精度制御パラメータから、復号されたＭＶＲの量子化幅を制御する動作の一例を示すフローチャートを示す。
　図１６に示すように、ステップＳ１６０１において、動きベクトル予測部２０２Ｅ３は、ａｄａｐｔｉｖｅ_ｍｅｓｈ_ｆｌａｇが０であるか否かについて判定する。
　メッシュ全体のａｄａｐｔｉｖｅ_ｍｅｓｈ_ｆｌａｇが０であると判定された場合、本動作は、終了する。
　一方、メッシュ全体のａｄａｐｔｉｖｅ_ｍｅｓｈ_ｆｌａｇが１であると判定された場合、本動作は、ステップＳ１６０２に進む。
　ステップＳ１６０２において、動きベクトル予測部２０２Ｅ３は、フレーム内に未処理のパッチが存在するか否かについて判定する。
　ステップＳ１６０３において、動きベクトル予測部２０２Ｅ３は、パッチごとに復号されるａｄａｐｔｉｖｅ_ｍｅｓｈ_ｆｌａｇが０であるか否かについて判定する。
　ａｄａｐｔｉｖｅ_ｍｅｓｈ_ｆｌａｇが０であると判定された場合、本動作は、ステップＳ１６０１に戻る。
　一方、ａｄａｐｔｉｖｅ_ｍｅｓｈ_ｆｌａｇが１であると判定された場合、本動作は、ステップＳ１６０４に進む。
　ステップＳ１６０４において、動きベクトル予測部２０２Ｅ３は、後述の精度制御パラメータに基づいて、ＭＶＲの量子化幅を制御する。
　なお、このように量子化幅を制御されたＭＶＲの値を「ＭＶＲＱ（Ｍｏｔｉｏｎ　Ｖｅｃｔｏｒ　Ｒｅｓｉｄｕａｌ　Ｑｕａｎｔｉｚａｔｉｏｎ）」と呼ぶ。
　ここで、動きベクトル予測部２０２Ｅ３は、例えば、表２のような表を参照して、基本メッシュビットストリーム復号して生成した量子化幅制御パラメータに対応するＭＶＲの量子化幅を用いるように構成されていてもよい。
Figure JPOXMLDOC01-appb-T000004
 　　　
　かかる構成によれば、ＭＶＲの量子化幅の制御により、符号化効率を高めることができるという効果が期待できる。更に、メッシュレベルのａｄａｐｔｉｖｅ_ｍｅｓｈ_ｆｌａｇ及びパッチレベルのａｄａｐｔｉｖｅ_ｍｅｓｈ_ｆｌａｇの階層的な仕組みにより、ＭＶＲの量子化幅の制御をしない時に無駄なビットを最小化することができるという効果が期待できる。
（インター復号部２０２Ｅの変更例５）
　動きベクトル残差復号部２０２Ｅ１によって生成されたＭＶＲを符号化しない場合、誤差が生じる。本変更例５では、かかる誤差を補正するため、離散的な動きベクトル差分を符号化する。
　具体的には、図１７に示すように、ＭＶＲは、ｘ軸、ｙ軸及びｚ軸の６方向において、１、２、４及び８の大きさを採り得る。かかる符号化の一例について、表３及び表４に示す。
　また、複数の方向の組み合わせで、ＭＶＲの符号化を行ってもよい。例えば、ｘ軸の＋方向の２、ｙ軸の＋方向の１の順番で補正してもよい。
Figure JPOXMLDOC01-appb-T000005
Figure JPOXMLDOC01-appb-T000006
 　かかる構成によれば、ＭＶＲの符号化よりも離散的な動きベクトル差分の符号化効率が高いという効果が期待できる。
　以降で、インター復号部２０２Ｅの更なる変更例について説明する。
　上述のインター復号部２０２Ｅの更なる変更例では、上述のインター復号部２０２Ｅを実施する前に、以下の機能ブロックを追加するように構成されている。
　具体的には、図１８に示すように、インター復号部２０２Ｅは、図８に示す構成に加えて、重複頂点探索部２０２Ｅ６と、重複頂点判別部２０２Ｅ７と、動きベクトル取得部２０２Ｅ８とAll skip modeシングル、skip modeシングルを備えている。
　ここで、Ａｌｌ　ｓｋｉｐ　ｍｏｄｅシグナルが、Ｐフレームのビットストリームの最初にあり、少なくとも２値を持ち、１ビット又は１ビット以上である。
　その１つ（Ａｌｌ　ｓｋｉｐ　ｍｏｄｅシグナルが、Ｙｅｓを示す場合、例えば、１である場合）は、Ｐフレームの全ての重複頂点の動きベクトルをビットストリームから復号せず、重複された頂点の動きベクトルをコピーするシグナルである。
　もう１つ（Ａｌｌ　ｓｋｉｐ　ｍｏｄｅシグナルが、Ｎｏを示す場合、例えば、０である場合）は、Ｐフレームの各頂点で異なる処理を行うシグナルである。更に、もう１つは、他の値を持ってもよい。例えば、もう１つは、全ての重複頂点の動きベクトルについて、動きベクトル取得部２０２Ｅ８における処理を実施せず、図８に示すインター復号部２０２Ｅと同様の処理を行うシングルである。
　ここで、Ｓｋｉｐ　ｍｏｄｅシグナルは、Ａｌｌ　ｓｋｉｐ　ｍｏｄｅシグナルがＮｏを示す場合、重複頂点毎に２値を持ち、１ビットである。
　Ｓｋｉｐ　ｍｏｄｅシグナルは、Ａｌｌ　ｓｋｉｐ　ｍｏｄｅシグナルがＹｅｓを示す場合（例えば、１である場合）、当該頂点の動きベクトルをビットストリームから復号せず、重複された頂点の動きベクトルをコピーするシグナルルである。
　Ｓｋｉｐ　ｍｏｄｅシグナルは、Ａｌｌ　ｓｋｉｐ　ｍｏｄｅシグナルがＮｏを示す場合（例えば、０である場合）、当該頂点の動きベクトルについて動きベクトル取得部２０２Ｅ８における処理を実施せず、図８に示すインター復号部２０２Ｅと同様の処理を行うシングルである。
　なお、上述のＳｋｉｐ　ｍｏｄｅシグナルは、ビットストリームから直接に復号されてもよいし、ビットストリームから図８に示すインター復号部２０２Ｅと同様の処理を行う重複頂点を特定するデータ（例えば、当該重複頂点のインデックス）を復号し、かかるデータからＳｋｉｐ　ｍｏｄｅシグナルを算出してもよい。
　更に、図３８に示すように、Ｓｋｉｐ　ｍｏｄｅシグナルを算出せず、上述の図８に示すインター復号部２０２Ｅと同様の処理を行う重複頂点を特定するデータ（例えば、重複頂点のインデックス）を用いて、上述の場合と同様に、当該頂点の動きベクトル復号方法を決めてもよい。
　重複頂点探索部２０２Ｅ６は、復号した参照フレームの基本メッシュの幾何情報から、座標が一致する頂点（以下、重複頂点と呼ぶ）のインデックスを探索してバッファ（図示せず）に保存するように構成されている。
　具体的には、重複頂点探索部２０２Ｅ６の入力は、復号した参照フレームの基本メッシュの各頂点のインデックス（復号順）及び位置座標である。
　また、重複頂点探索部２０２Ｅ６の出力は、重複頂点が存在する頂点のインデックス（ｖｉｎｄｅｘ０）及びかかる重複頂点のインデックス（ｖｉｎｄｅｘ１）のペアのリストである。ここで、かかるペアのリストは、ｉｎｄｅｘ０の順で、バッファｒｅｐＶｅｒｔに保存される。
　また、ｖｉｎｄｅｘ１の頂点が、ｖｉｎｄｅｘ０の前に復号されたため、ｖｉｎｄｅｘ０＞ｖｉｎｄｅｘ１の関係となる。
　なお、参照フレームの基本メッシュで重複頂点が分かる方法として、重複頂点が存在する頂点に対して、特別なシグナルにより、位置座標ではなく、重複頂点のインデックスを復号する。かかる特別なシグナルにより、該当頂点のインデックス及び重複頂点のインデックスのペアを復号順で保存できる。
　重複頂点判別部２０２Ｅ７は、該当頂点が復号した頂点の中に重複頂点があるかどうかを判別するように構成されている。
　ここで、重複頂点判別部２０２Ｅ７は、該当頂点のインデックスが、重複頂点が存在する頂点のインデックスの中のものであれば、復号した頂点の中に重複頂点があると判別する。なお、復号順で該当頂点が来るので、上述の探索が不要である。
　ここで、重複頂点判別部２０２Ｅ７が、該当頂点の重複頂点が存在しないと判断する場合は、図８に示すインター復号部２０２Ｅと同様の処理が行われる。
　動きベクトル取得部２０２Ｅ８は、該当頂点の重複頂点が存在する場合に、Ａｌｌ　ｓｋｉｐ　ｍｏｄｅシグナルがＹｅｓを示す場合、或いは、Ａｌｌ　ｓｋｉｐ　ｍｏｄｅシグナルがＮｏを示す場合、該当頂点のＳｋｉｐ　ｍｏｄｅシグナルがＹｅｓを示す場合、復号した動きベクトルを保存する動きベクトルバッファ部２０２Ｅ２から重複頂点と同じインデックスを持つ頂点の動きベクトルを取得し、該当頂点の動きベクトルにするように構成されている。
　ここで、Ａｌｌ　ｓｋｉｐ　ｍｏｄｅシグナルがＮｏを示し、該当頂点のＳｋｉｐ　ｍｏｄｅシグナルがＮｏを示す場合は、動きベクトル取得部２０２Ｅ８の代わりに、図８に示すインター復号部２０２Ｅと同様の処理が行われる。
　かかる構成によれば、重複頂点が存在する頂点に対して動きベクトルの復号計算及び符号量の削減効果が期待できる。
　上述のインター復号部２０２Ｅの更なる変更例では、インター復号部２０２Ｅは、参照フレームの復号済みの基本メッシュから、参照フレームの頂点と復号対象のフレームの頂点との間の対応関係を取得する。
　そして、インター復号部２０２Ｅは、かかる対応関係に基づいて、復号対象のフレームの頂点の接続情報について符号化せずに参照フレームの復号済みの頂点の接続情報と同一とするように構成されている。
　また、インター復号部２０２Ｅは、参照フレームの頂点の復号順で、復号対象のフレームの基本メッシュをシグナルに基づいて２種類の領域に分割する。第１領域では、インター処理を用いて復号し、第２領域では、イントラ処理を用いて復号する。
　なお、上述の領域は、参考フレームの基本メッシュを復号する際に、復号順上に連続する複数の頂点によって形成される領域であると定義する。
　また、シグナルを用いて、復号対象のフレームの基本メッシュの頂点の座標を復号する手段は、以下の２つの実装が想定される。
（手段１）
　手段１では、シグナルは、ｖｅｒｔｅｘ_ｉｄｘ１、ｖｅｒｔｅｘ_ｉｄｘ２及びｉｎｔｒａ_ｆｌａｇになる。
　ここで、ｖｅｒｔｅｘ_ｉｄｘ１及びｖｅｒｔｅｘ_ｉｄｘ２は、頂点の復号順のインデックス（頂点インデックス）であり、ｉｎｔｒａ_ｆｌａｇは、上述のインター復号手法であるかイントラ復号手法であるかについて示すフラグである。かかるシグナルは、複数あってもよい。
　すなわち、ｖｅｒｔｅｘ_ｉｄｘ１及びｖｅｒｔｅｘ_ｉｄｘ２は、上述の一部の領域（第１領域及び第２領域）の開始位置及び終了位置を規定する頂点インデックスである。
（手段２）
　手段２では、Ｅｄｇｅｂｒｅａｋｅｒで参照フレームの基本メッシュの接続情報を復号し、頂点の座標の復号順をＥｄｇｅｂｒｅａｋｅｒで決めた順番にするという前提がある。
　図１９は、Ｅｄｇｅｂｒｅａｋｅｒを用いて、接続情報及び頂点の順番を決める動作の一例を示す図である。
　図１９において、矢印は、接続情報の復号順を示し、数字は、頂点の復号順を示し、同じ線種の矢印によって同じ領域を規定している。
　手段２では、シグナルは、インター復号手法であるかイントラ復号手法であるかについて示すフラグであるｉｎｔｒａ_ｆｌａｇのみになる。
　すなわち、手段２では、インター復号部２０２Ｅは、Ｅｄｇｅｂｒｅａｋｅｒを用いて、第１領域及び第２領域に分割するように構成されている。
＜細分割部２０３＞
　細分割部２０３は、制御情報によって示された細分割手法により、基本メッシュ復号部２０２によって復号された基本メッシュから、追加された細分割頂点及びそれらの接続情報を生成して出力するように構成されている。
　ここで、基本メッシュ、追加された細分割頂点、及び、それらの接続情報を、併せて「細分割メッシュ」と呼ぶ。
　細分割部２０２は、基本メッシュビットストリームを復号して生成した制御情報であるｓｕｂｄｉｖｉｓｉｏｎ_ｍｅｔｈｏｄ_ｉｄから、細分割手法の種別を特定するように構成されている。
　以下、図３Ａ及び図３Ｂを参照して、細分割部２０２について説明する。
　図３Ａ及び図３Ｂは、基本メッシュから細分割頂点を生成する動作の一例について説明するための図である。
　図３Ａは、５つの頂点で構成された基本メッシュの一例について示す図である。
　ここで、細分割には、例えば、各基本面において各辺の中点同士を接続するＭｉｄ-ｅｄｇｅ分割法を用いてもよい。これによって、ある基本面は、４つの面に分割されることになる。
　図３Ｂは、５つの頂点で構成された基本メッシュを分割した細分割メッシュの一例を示す。図３Ｂに示す細分割メッシュでは、元の５つの頂点（黒丸）に加えて８つの細分割頂点（白丸）が生成されている。
　このように生成した細分割頂点ごとに、変位量復号部２０６で変位量を復号することによって、符号化性能の向上が期待できる。
　また、各パッチで異なる細分割方法を適用してもよい。これによって、変位量復号部２０６で復号される変位量をパッチごとに適応的に変化させ、符号化性能の向上が期待できる。分割したパッチの情報は、制御情報であるｐａｔｃｈ_ｉｄとして受け取られる。
　以下、図２０を参照して、細分割部２０３について説明する。図２１は、細分割部２０３の機能ブロックの一例について示す図である。
　図２１に示すように、細分割部２０３は、基本メッシュ細分割部２０３Ａと細分割メッシュ調整部２０３Ｂとを有する。
（基本メッシュ細分割部２０３Ａ）
　基本メッシュ細分割部２０３Ａは、入力された基本メッシュ及び基本メッシュの分割情報に基づき、基本面及び基本パッチごとの分割数（細分割数）を算出し、かかる分割数に基づいて基本メッシュを細分割し、細分割面を出力するように構成されている。
　すなわち、基本メッシュ細分割部２０３Ａは、基本面及び基本パッチ単位で、上述の分割数を変えることができるように構成されていてもよい。
　ここで、基本面は、基本メッシュを構成する面であり、基本パッチは、いくつかの基本面の集合である。
　また、基本メッシュ細分割部２０３Ａは、基本面の細再分割数を予測し、予測した基本面の細分割数に対して予測分割数残差を加算することで、基本面の細分割数を算出するように構成されていてもよい。
　また、基本メッシュ細分割部２０３Ａは、基本面の隣接基本面の細分割数に基づいて、基本面の細分割数を算出するように構成されていてもよい。
　また、基本メッシュ細分割部２０３Ａは、直前に蓄積された基本面の細分割数に基づき、基本面の細分割数を算出するように構成されていてもよい。
　また、基本メッシュ細分割部２０３Ａは、基本面を構成する３辺を分割する頂点を生成し、生成した頂点を接続することで、基本面を細分割するように構成されていてもよい。
　図２１に示すように、基本メッシュ細分割部２０３Ａの後段に、後述の細分割メッシュ調整部を備える２０３Ｂを備えている。
　以下、図２１～図２３を用いて、基本メッシュ細分割部２０３Ａの処理の一例について説明する。
　図２１は、基本メッシュ細分割部２０３Ａの機能ブロックの一例を示す図であり、図２３は、基本メッシュ細分割部２０３Ａの動作の一例を示すフローチャートである。
　図２１に示すように、基本メッシュ細分割部２０３Ａは、基本面分割数バッファ部２０３Ａ１と、基本面分割数参照部２０３Ａ２と、基本面分割数予測部２０３Ａ３と、加算部２０３Ａ４と、基本面分割部２０３Ａ５とを有する。
　基本面分割数バッファ部２０３Ａ１は、基本面の分割数を含む基本面の分割情報を格納しており、基本面分割数参照部２０３Ａ２に対して基本面の分割情報を出力するように構成されている。
　ここで、基本面分割数バッファ部２０３Ａ１のサイズは、１とし、基本面分割数参照部２０３Ａ２に対して、直前に蓄積された基本面の分割数を出力するように構成されていてもよい。
　すなわち、基本面分割数バッファ部２０３Ａ１のサイズを１にすることで、最後に復号した細かい分割数（直前に復号した細分割数）のみを参照するように構成されていてもよい。
　基本面分割数参照部２０３Ａ２は、復号対象の基本面に対して隣接する基本面が存在していない場合、或いは、復号対象の基本面に対して隣接する基本面が存在しているが分割数が確定していない場合は、基本面分割数予測部２０３Ａ３に対して、参照不可を出力するように構成されている。
　一方、基本面分割数参照部２０３Ａ２は、復号対象の基本面に対して隣接する基本面が存在し且つ分割数が確定している場合は、基本面分割数予測部２０３Ａ３に対して、かかる分割数を出力するように構成されている。
　基本面分割数予測部２０３Ａ３は、入力された１つ以上の分割数に基づいて基本面の分割数（細分割数）を予測し、加算部２０３Ａ４に対して、予測した分割数（予測分割数）を出力するように構成されている。
　ここで、基本面分割数予測部２０３Ａ３は、基本面分割数参照部２０３Ａ２から参照不可のみが入力された場合は、加算部２０３Ａ４に対して、０を出力するように構成されている。
　なお、基本面分割数予測部２０３Ａ３は、１つ以上の分割数が入力された場合、入力された分割数の平均値や最大値や最小値や最頻値等の統計値のいずれかを用いて、予測分割数を生成するように構成されていてもよい。
　なお、基本面分割数予測部２０３Ａ３は、１つ以上の分割数が入力された場合、最も隣接する面の分割数を予測分割数として生成するように構成されていてもよい。
　加算部２０３Ａ４は、予測残差ビットストリームから復号した予測分割数残差と基本面分割数予測部２０３Ａ３から取得した予測分割数とを加算することによって得られた分割数を、基本面分割部２０３Ａ５に対して出力するように構成されている。
　基本面分割部２０３Ａ５は、加算部２０３Ａ４から入力された分割数に基づき、基本面を細分割するように構成されている。
　図２２は、基本面を９分割したケースの一例である。図２２を参照して、基本面分割部２０３Ａ５による基本面の分割方法について説明する。
　基本面分割部２０３Ａ５は、基本面を構成する辺ＡＢに対してＮ等分（Ｎ＝３）する点Ａ_１，…，Ａ_（Ｎ－１）を生成する。
　同様に、基本面分割部２０３Ａ５は、辺ＢＣや辺ＣＡについてもＮ等分し、それぞれ点Ｂ_１，…，Ｂ_（Ｎ－１）、Ｃ_１，…，Ｃ_（Ｎ－１）を生成する。
　以降、辺ＡＢ、辺ＢＣ及び辺ＣＡ上の点を「辺分割点」と呼ぶ。
　基本面分割部２０３Ａ５は、全てのｉ（ｉ＝１，２，…，Ｎ－１）に対して、辺Ａ_ｉ Ｂ_（Ｎ-ｉ），Ｂ_ｉ Ｃ_（Ｎ－ｉ），Ｃ_ｉ Ａ_（Ｎ－ｉ）を生成し、Ｎ２個の細分割面を生成する。
　次に、図２３を参照して、基本メッシュ細分割部２０３Ａの処理手順について説明する。
　ステップＳ２２０１において、最後の基本面に対して再分割処理が完了したか否かを判定する。処理が完了した場合終了し、そうでない場合はステップS２２０２に進む。
　ステップＳ２２０２において、基本メッシュ細分割部２０３Ａは、Ｄｅｐｔｈ＜ｍｄｕ_ｍａｘ_ｄｅｐｔｈの判定を行う。
　ここで、Ｄｅｐｔｈは、現在の深度を表す変数で、初期値は０であり、ｍｄｕ_ｍａｘ_ｄｅｐｔｈは、基本面ごとに決められた最大深度を表す。
　ステップＳ２２０２における条件を満たす場合は、本処理手順は、ステップＳ２２０３に進み、かかる条件を満たさない場合は、本処理手順は、ステップＳ２２０１に戻る。
　ステップＳ２２０３において、基本メッシュ細分割部２０３Ａは、現在の深度におけるｍｄｕ_ｓｕｂｄｉｖｉｓｉｏｎ_ｆｌａｇが１であるか否かについて判定する。
　Ｙｅｓの場合、本処理手順は、ステップＳ２２０１に戻り、Ｎｏの場合、本処理手順は、ステップＳ２２０４に進む。
　ステップＳ２２０４において、基本メッシュ細分割部２０３Ａは、基本面内の全ての細分割面をさらに細分割する。
　ここで、基本メッシュ細分割部２０３Ａは、基本面に対して一度も細分割処理が行われていない場合は、基本面を細分割する。
　なお、細分割の方法については、ステップＳ２２０４で説明した方法と同様である。
　具体的には、基本面が一度も細分割されていない場合は、基本面に対して図２２のように細分割を行う。少なくとも１回は細分割されている場合は、細分割面をＮ２個に細分割する。図２２を例にすると、頂点Ａ_２と頂点Ｂと頂点Ｂ_１とからなる面を、基本面の分割のときと同様の方法で、更に分割してＮ２個の面を生成する。
　細分割処理が終了したとき、本処理手順は、ステップＳ２２０５に進む。
　ステップＳ２２０５において、基本メッシュ細分割部２０３Ａは、Ｄｅｐｔｈに１を加算し、本処理手順は、ステップＳ２２０２に戻る。
（細分割メッシュ調整部２０３Ｂ）
　次に、細分割メッシュ調整部２０３Ｂによって行われる処理の具体例について説明する。以下、図２４～２８を用いて細分割メッシュ調整部２０３Ｂによって行われる処理の一例について説明する。
　図２４は、細分割メッシュ調整部２０３Ｂの機能ブロックの一例を示す図である。
　図２４に示すように、細分割メッシュ調整部２０３Ｂは、辺分割点移動部７０１と、細分割面分割部７０２とを有する。
（辺分割点移動部７０１）
　辺分割点移動部７０１は、入力された初期細分割面に対して、基本面の辺分割点を隣接基本面の辺分割点のいずれかに移動し、細分割面を出力するように構成されている。
　図２５は、基本面ＡＢＣ上の辺分割点を移動した例である。例えば、図２５に示すように、辺分割点移動部７０１は、基本面ＡＢＣの辺分割点を最も近い隣接基本面の辺分割点に移動するように構成されていてもよい。
（細分割面分割部７０２）
　細分割面分割部７０２は、入力された細分割面を再度細分割し、復号細分割面を出力するように構成されている。
　図２６は、基本面内の細分割面Ｘに対して再度細分割が行われたケースの一例を示す図である。
　図２６に示すように、細分割面分割部７０２は、細分割面を構成する頂点と隣接基本面の辺分割点とを接続することで、基本面内に新たな細分割面を生成するように構成されていてもよい。
　図２７は、全ての細分割面に対して、上述の細分割処理を行ったケースの一例を示す図である。
　メッシュ復号部２０４は、細分割部２０３で生成された細分割メッシュ及び変位量復号部２０６で復号された変位量を用いて、復号メッシュを生成して出力するように構成されている。
　具体的には、メッシュ復号部２０４は、各細分割頂点に対して、対応する変位量を加算することによって、復号メッシュを生成するように構成されている。ここで、各変位量がどの細分割頂点に対応するかについての情報は、制御情報によって示される。
　パッチ統合部２０５は、メッシュ復号部２０６で生成された復号メッシュを、複数のパッチ分だけ統合して出力するように構成されている。
　ここで、パッチの分割方法は、メッシュ符号化装置１００によって定義される。例えば、パッチの分割方法は、各基本面に対して法線ベクトルを算出しておき、隣接する基本面の中で最も法線ベクトルが類似した基本面を選択し、両基本面を同じパッチとしてまとめ、かかる手順を、次の基本面に対して順次繰り返すように構成されていてもよい。
　映像復号部２０７は、映像符号化によってテクスチャを復号して出力するように構成されている。例えば、映像復号部２０７は、非特許文献１のＨＥＶＣを用いてもよい。
＜変位量復号部２０６＞
　変位量復号部２０６は、変位量ビットストリームを復号して変位量を生成して出力するように構成されている。
　図２８は、ある細分割頂点に対する変位量の一例について示す図である。
　図３Ｂの例では、８個の細分割頂点が存在するため、変位量復号部２０６は、各細分割頂点に対してスカラー或いはベクトルで表現される変位量を８個定義するように構成されている。
　以下、図２８を参照して、変位量復号部２０６について説明する。図２８は、変位量復号部２０６の機能ブロックの一例について示す図である。
　図２８に示すように、変位量復号部２０６は、復号部２０６Ａと、逆量子化部２０６Ｂと、逆ウェーブレット変換部２０６Ｃと、加算器２０６Ｄと、インター予測部２０６Ｅと、フレームバッファ２０６Ｆとを有する。
　復号部２０６Ａは、受信した変位量ビットストリームに対して可変長復号を行うことでレベル値及び制御情報を復号して出力するように構成されている。ここで、可変長復号によって得られたレベル値は、逆量子化部２０６Ｂに出力され、制御情報は、インター予測部２０６Ｅに出力される。
　以下、図２９を参照して、変位量ビットストリームの構成の一例について説明する。図２９は、変位量ビットストリームの構成の一例について示す図である。
　図２９に示すように、第１に、変位量ビットストリームは、変位量の復号に関する制御情報の集合であるＤＰＳ（Ｄｉｓｐｌａｃｅｍｅｎｔ　Ｐａｒａｍｅｔｅｒ　Ｓｅｔ：ディスプレイスメントパラメータセット）を含んでいてもよい。
　第２に、変位量ビットストリームは、パッチに対応する制御情報の集合であるＤＰＨ（Ｄｉｓｐｌａｃｅｍｅｎｔ　Ｐａｔｃｈ　Ｈｅａｄｅｒ：ディスプレイスメントパッチヘッダ）を含んでいてもよい。
　第３に、変位量ビットストリームは、ＤＰＨの次に、パッチを構成する符号化された変位量を含んでいてもよい。
　以上のように、変位量ビットストリームは、各符号化された変位量に、１つずつＤＰＨ及びＤＰＳが対応する構成となる。
　なお、図２９の構成は、あくまで一例である。各符号化された変位量に、ＤＰＨ及びＤＰＳが対応する構成となっていれば、変位量ビットストリームの構成要素として、上述以外の要素が追加されてもよい。
　例えば、図２９に示すように、変位量ビットストリームは、ＳＰＳ（Ｓｅｑｕｅｎｃｅ　Ｐａｒａｍｅｔｅｒ　Ｓｅｔ：シーケンスパラメータセット）を含んでいてもよい。
　図３０は、ＤＰＳのシンタックス構成の一例について示す図である。
　図３０において、Ｄｅｓｃｒｉｐｔｏｒ欄は、各シンタックスが、どのように符号化されているかを意味している。
　また、図３０において、ｕｅ（ｖ）は、符号無し０次指数ゴロム符号であることを意味し、ｕ（ｎ）は、ｎビットのフラグであることを意味する。
　ＤＰＳは、複数のＤＰＳが存在する場合に、各ＤＰＳを識別するためのＤＰＳ ｉｄ情報（ｄｐｓ_ｄｉｓｐｌａｃｅｍｅｎｔ_ｐａｒａｍｅｔｅｒ_ｓｅｔ_ｉｄ）を少なくとも含む。
　また、ＤＰＳは、インター予測を行うか否かを制御するフラグ（ｉｎｔｅｒｐｒｅｄｉｃｔｉｏｎ_ｅｎａｂｌｅｄ_ｆｌａｇ）を含んでもよい。
　例えば、ｉｎｔｅｒｐｒｅｄｉｃｔｉｏｎ_ｅｎａｂｌｅｄ_ｆｌａｇが０のときは、インター予測を行わないと定義し、ｉｎｔｅｒｐｒｅｄｉｃｔｉｏｎ_ｅｎａｂｌｅｄ_ｆｌａｇが１のときは、インター予測を行うと定義してもよい。ｉｎｔｅｒｐｒｅｄｉｃｔｉｏｎ_ｅｎａｂｌｅｄ_ｆｌａｇが含まれないときは、インター予測を行わないと定義してもよい。
　ＤＰＳは、逆ＤＣＴを行うか否かを制御するフラグ（ｄｃｔ_ｅｎａｂｌｅｄ_ｆｌａｇ）を含んでもよい。
　例えば、ｄｃｔ_ｅｎａｂｌｅｄ_ｆｌａｇが０のときは、逆ＤＣＴを行わないと定義し、ｄｃｔ_ｅｎａｂｌｅｄ_ｆｌａｇが１のときは、逆ＤＣＴを行うと定義してもよい。ｄｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇが含まれないときは、逆ＤＣＴを行わないと定義してもよい。
　図３１は、ＤＰＨのシンタックス構成の一例について示す図である。
　図３１に示すように、ＤＰＨは、各ＤＰＨに対応するＤＰＳを指定するためのＤＰＳ ｉｄ情報を少なくとも含む。
　逆量子化部２０６Ｂは、復号部２０６Ａによって復号されたレベル値を逆量子化することによって変換係数を生成して出力するように構成されている。
　逆ウェーブレット変換部２０６Ｃは、逆量子化部２０６Ｂによって生成された変換係数に対して逆ウェーブレット変換を施すことによって予測残差を生成して出力するように構成されている。
（インター予測部２０６Ｅ）
　インター予測部２０６Ｅは、フレームバッファ２０６Ｆから読み出された参照フレームの復号変位量を用いてインター予測を行うことによって、予測変位量を生成して出力するように構成されている。
　インター予測部２０６Ｅは、ｉｎｔｅｒｐｒｅｄｉｃｔｉｏｎ_ｅｎａｂｌｅｄ_ｆｌａｇが１の場合のみ、かかるインター予測を行うように構成されている。
　インター予測部２０６Ｅは、空間領域でインター予測を行ってもよいし、周波数領域でインター予測を行ってもよい。インター予測は、時間的に過去の参照フレームと未来の参照フレームとを用いて、双方向予測を行ってもよい。
　図２８は、空間領域でインター予測を行う場合のインター予測部２０６Ｅの機能ブロックの一例である。
　インター予測部２０６Ｅは、空間領域でインター予測を行う場合は、対象フレームにおける細分割頂点の予測変位量について、参照フレームにおける対応する細分割頂点の復号変位量をそのまま参照して決定してもよい。
　或いは、対象フレームにおけるある細分割頂点の予測変位量は、複数の参照フレームにおける対応する細分割頂点の復号変位量を用いて、平均と分散を推定した正規分布に従って確率的に決定してもよい。その際は、分散はゼロとして一意的に平均のみで決定してもよい。
　或いは、対象フレームにおけるある細分割頂点の予測変位量は、複数の参照フレームにおける対応する細分割頂点の復号変位量を用いて、時間を説明変数、変位量を目的変数として推定した回帰曲線に基づいて決定してもよい。
　メッシュ符号化装置１００において、フレームごとに符号化効率向上のために、かかる復号変位量の順番が並び替えられていてもよい。
　かかる場合、インター予測部２０６Ｅは、並び替えられた復号変位量に対してインター予測を行うように構成されていてもよい。
　参照フレームと復号対象フレームとの間の細分割頂点の対応関係は、制御情報によって示される。
　図３２は、空間領域でインター予測が行われる場合の参照フレームと復号対象フレームとの間の細分割頂点の対応関係の一例について説明するための図である。
　図３３は、周波数領域でインター予測を行う場合のインター予測部２０６Ｅの機能ブロックの一例である。
　インター予測部２０６Ｅは、周波数領域でインター予測を行う場合は、復号対象フレームにおける周波数の予測ウェーブレット変換係数について、参照フレームにおける対応する周波数の復号ウェーブレット変換係数をそのまま参照して決定してもよい。
　インター予測部２０６Ｅは、複数の参照フレームにおける細分割頂点の復号変位量或いは復号ウェーブレット変換係数を用いて、平均と分散を推定した正規分布に従って確率的にインター予測してもよい。
　インター予測部２０６Ｅは、複数の参照フレームにおける細分割頂点の復号変位量あるいは復号ウェーブレット変換係数を用いて、時間を説明変数、変位量を目的変数として推定した回帰曲線をもとにインター予測してもよい。
　インター予測部２０６Ｅは、時間的に過去の参照フレームと未来の参照フレームとを用いて双方向でインター予測するように構成されていてもよい。
　メッシュ符号化装置１００において、フレームごとに符号化効率向上のために、かかる復号ウェーブレット変換係数の順番が並び替えられていてもよい。
　参照フレームと復号対象フレームとの間の周波数の対応関係は、制御情報によって示される。
　図３４は、周波数領域でインター予測が行われる場合の参照フレームと復号対象フレームとの間の周波数の対応関係の一例について説明するための図である。
　また、細分割部２０３が、基本メッシュを複数のパッチに分割した場合は、インター予測部２０６Ｅも、分割したパッチごとにインター予測を行うように構成されている。これによって、フレーム間の時間相関が高くなり、符号化性能の向上が期待できる。
　加算器２０６Ｄには、逆ウェーブレット変換部２０６Ｃから予測残差が入力され、インター予測部２０６Ｅから予測変位量が入力される。
　加算器２０６Ｄは、かかる予測残差と予測変位量とを加算することによって、復号変位量を算出して出力するように構成されている。
　加算器２０６Ｄによって算出された復号変位量は、フレームバッファ２０６Ｆにも出力される。
　フレームバッファ２０６Ｆは、加算器２０６Ｄから復号変位量を取得して蓄積するように構成されている。
　ここで、フレームバッファ２０６Ｆは、図示しない制御情報に応じて、参照フレームにおいて対応する頂点における復号変位量を出力する。
　図３５は、変位量復号部２０６の動作の一例を示すフローチャートである。
　図３５に示すように、ステップＳ３５０１において、変位量復号部２０６は、全てのパッチに対して、本処理が完了しているか否かについて判定する。
　Ｙｅｓの場合、本動作は、終了し、Ｎｏの場合、本動作は、ステップＳ３５０２に進む。
　ステップＳ３５０２において、変位量復号部２０６は、復号対象のパッチに対して、逆ＤＣＴを行ってから逆量子化及び逆ウェーブレット変換を行う。
　ステップＳ３５０３において、変位量復号部２０６は、ｉｎｔｅｒｐｒｅｄｉｃｔｉｏｎ_ｅｎａｂｌｅｄ_ｆｌａｇが１であるか否かについて判定する。
　Ｙｅｓの場合、本動作は、ステップＳ３５０４に進み、Ｎｏの場合、本動作は、ステップＳ３５０１に戻る。
　ステップＳ３５０４において、変位量復号部２０６は、上述のインター予測及び加算を行う。
＜変形例1＞
　以下、図３６を参照して、上述の第１実施形態の変形例１について、上述の第１実施形態との相違点に着目して説明する。
　図３６は、本変形例１に係る変位量復号部２０６の機能ブロックの一例を示す図である。
　図３６に示すように、本変形例１に係る変位量復号部２０６は、復号部２０６Ａの後段に、すなわち、復号部２０６Ａと逆量子化部２０６Ｂとの間に、逆ＤＣＴ部２０６Ｇを備えている。
　すなわち、本変形例１では、逆量子化部２０６Ｂは、逆ＤＣＴ部２０２Ｇから出力されたレベル値に対して逆ウェーブレット変換を施すことによって予測残差を生成するように構成されている。
＜変形例２＞
　以下、図３７を参照して、上述の第１実施形態の変形例２について、上述の第１実施形態との相違点に着目して説明する。
　図３７に示すように、本変形例２に係る変位量復号部２０６は、映像復号部２０６１と、画像展開部２０６２と、逆量子化部２０６３と、逆ウェーブレット変換部２０６４と有する。
　映像復号部２０６１は、受信した変位量ビットストリームを、映像符号化によって復号することで映像を出力するように構成されている。
　例えば、映像復号部２０６１は、非特許文献１のＨＥＶＣを用いてもよい。
　また、映像復号部２０６１は、動きベクトルを常にゼロとした映像符号化方式を用いてもよい。例えば、映像復号部２０６１は、ＨＥＶＣの動きベクトルを常にゼロとし、常に同一位置でのインター予測を用いてもよい。
　また、映像復号部２０６１は、変換を常にスキップするとした映像符号化方式を用いてもよい。例えば、映像復号部２０６１は、ＨＥＶＣの変換を常に変換スキップモードとし、変換せずに映像符号化方式を用いてもよい。
　画像展開部２０６２は、映像復号部２０６１で復号された映像を、画像（フレーム）ごとにレベル値として展開して出力するように構成されている。
　かかる展開方法において、画像展開部２０６２は、制御情報によって示された画像へのレベル値の並べ方から、逆算して特定できる。
　画像展開部２０６２は、レベル値の並べ方として、例えば、高周波成分から低周波成分のレベル値が画像中にラスタ操作順に並べてもよい。
　逆量子化部２０６３は、画像展開部２０６２で生成されたレベル値を逆量子化することによって変換係数を生成して出力するように構成されている。
　逆ウェーブレット変換部２０６４は、逆量子化部２０６３で生成された変換係数に対して逆ウェーブレット変換を施すことによって復号変位量を生成して出力するように構成されている。
　上述のメッシュ符号化装置１００及びメッシュ復号装置２００は、コンピュータに各機能（各工程）を実行させるプログラムであって実現されていてもよい。
　なお、本実施形態によれば、例えば、動画像通信において総合的なサービス品質の向上を実現できることから、国連が主導する持続可能な開発目標（ＳＤＧｓ）の目標９「レジリエントなインフラを整備し、持続可能な産業化を推進するとともに、イノベーションの拡大を図る」に貢献することが可能となる。
１…メッシュ処理システム
１００…メッシュ符号化装置
２００…メッシュ復号部
２０１…多重分離部
２０２…基本メッシュ復号部
２０２Ａ…分離部
２０２Ｂ…イントラ復号部
２０２Ｂ１…任意イントラ復号部
２０２Ｂ２…整列部
２０２Ｃ…メッシュバッファ部
２０２Ｄ…接続情報復号部
２０２Ｅ…インター復号部
２０２Ｅ１…動きベクトル復号部
２０２Ｅ２…動きベクトルバッファ部
２０２Ｅ３…動きベクトル予測部
２０２Ｅ４…動きベクトル算出部
２０２Ｅ５…加算器
２０２Ｅ６…重複頂点探索部
２０２Ｅ７…重複頂点判別部
２０２Ｅ８…動きベクトル取得部
２０３…細分割部
２０３Ａ…基本メッシュ細分割部
２０３Ａ１…基本面分割数バッファ部
２０３Ａ２…基本面分割数参照部
２０３Ａ３…基本面分割数予測部
２０３Ａ４…加算部
２０３Ａ５…基本面分割部
２０３Ｂ…細分割メッシュ調整部
２０４…メッシュ復号部
２０５…パッチ統合部
２０６…変位量復号部
２０６Ａ…復号部
２０６Ｂ、２０６３…逆量子化部
２０６Ｃ、２０６４…逆ウェーブレット変換部
２０６Ｄ…加算器
２０６Ｅ…インター予測部
２０６Ｆ…フレームバッファ
２０６Ｇ…逆ＤＣＴ部
２０６２…画像展開部
２０７、２０６１…映像復号部
 

Claims (5)

  1. 　メッシュ復号装置であって、
    　基本メッシュビットストリームを復号して基本メッシュを出力するように構成されている基本メッシュ復号部を備え、
    　前記基本メッシュ復号部は、
    　　前記基本メッシュビットストリームを多重分離することによってＩフレームストリームを出力する分離部と、
    　　前記Ｉフレームストリームを復号することによって基本メッシュの順序無し頂点を生成するように構成されているイントラ復号部と、
    　　前記順序無し頂点を所定の順序に並び替えることによって頂点を出力するように構成されている整列部と、を備えることを特徴とするメッシュ復号装置。
  2. 　前記整列部は、モートンコード順に並び替えることによって前記頂点を出力するように構成されていることを特徴とする請求項１に記載のメッシュ復号装置。
  3. 　前記整列部は、頂点座標が同一である重複頂点を含まない頂点を出力するように構成されていることを特徴とする請求項１に記載のメッシュ復号装置。
  4. 　メッシュ復号方法であって、
    　基本メッシュビットストリームからＩフレームストリームを分離する工程と、
    　前記Ｉフレームストリームから基本メッシュの順序無し頂点を生成する工程と、
    　前記順序無し頂点から所定の順序に並び替えた頂点を出力する整列工程と、を有することを特徴とするメッシュ復号方法。
  5. 　コンピュータを、メッシュ復号装置として機能させるプログラムであって、
    　前記メッシュ復号装置は、
    　基本メッシュビットストリームを復号して基本メッシュを出力するように構成されている基本メッシュ復号部を備え、
    　前記基本メッシュ復号部は、
    　　前記基本メッシュビットストリームを多重分離することによってＩフレームストリームを出力する分離部と、
    　　前記Ｉフレームストリームを復号することによって基本メッシュの順序無し頂点を生成するように構成されているイントラ復号部と、
    　　前記順序無し頂点を所定の順序に並び替えることによって頂点を出力するように構成されている整列部と、を備えることを特徴とするプログラム。
PCT/JP2023/021270 2022-07-09 2023-06-07 メッシュ復号装置、メッシュ符号化装置、メッシュ復号方法及びプログラム Ceased WO2024014196A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202380052528.0A CN119522441A (zh) 2022-07-09 2023-06-07 网格解码装置、网格编码装置、网格解码方法及程序产品
US19/013,440 US20260122268A1 (en) 2022-07-09 2025-01-08 Mesh decoding device, mesh encoding device, mesh decoding method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022110867A JP2024008746A (ja) 2022-07-09 2022-07-09 メッシュ復号装置、メッシュ符号化装置、メッシュ復号方法及びプログラム
JP2022-110867 2022-07-09

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US19/013,440 Continuation US20260122268A1 (en) 2022-07-09 2025-01-08 Mesh decoding device, mesh encoding device, mesh decoding method, and program

Publications (1)

Publication Number Publication Date
WO2024014196A1 true WO2024014196A1 (ja) 2024-01-18

Family

ID=89536629

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/021270 Ceased WO2024014196A1 (ja) 2022-07-09 2023-06-07 メッシュ復号装置、メッシュ符号化装置、メッシュ復号方法及びプログラム

Country Status (4)

Country Link
US (1) US20260122268A1 (ja)
JP (1) JP2024008746A (ja)
CN (1) CN119522441A (ja)
WO (1) WO2024014196A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2025215923A1 (ja) * 2024-04-12 2025-10-16 Kddi株式会社 メッシュ復号装置、メッシュ復号方法及びプログラム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12542926B2 (en) * 2022-08-12 2026-02-03 Tencent America LLC Motion field coding in dynamic mesh compression

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160063737A1 (en) * 2014-08-29 2016-03-03 Ati Technologies Ulc Extension of the mpeg/sc3dmc standard to polygon meshes
WO2019107181A1 (ja) * 2017-12-01 2019-06-06 ソニー株式会社 送信装置、送信方法、および受信装置
JP2020119292A (ja) * 2019-01-24 2020-08-06 キヤノン株式会社 情報処理装置、情報処理方法、データ構造、及びプログラム
WO2021116838A1 (en) * 2019-12-10 2021-06-17 Sony Group Corporation Mesh compression via point cloud representation

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8830235B1 (en) * 1999-09-13 2014-09-09 Alcatel Lucent Non-uniform relaxation procedure for multiresolution mesh processing
EP2216750A1 (en) * 2009-02-06 2010-08-11 Thomson Licensing Method and apparatus for encoding 3D mesh models, and method and apparatus for decoding encoded 3D mesh models
US10389994B2 (en) * 2016-11-28 2019-08-20 Sony Corporation Decoder-centric UV codec for free-viewpoint video streaming
GB2558314B (en) * 2017-01-02 2020-07-29 Canon Kk Improved attribute mapping to encode and decode 3D models
US11450030B2 (en) * 2019-09-24 2022-09-20 Apple Inc. Three-dimensional mesh compression using a video encoder
US11836953B2 (en) * 2020-10-06 2023-12-05 Sony Group Corporation Video based mesh compression
US12361643B2 (en) * 2022-03-11 2025-07-15 Apple Inc. Image/video-based mesh compression

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160063737A1 (en) * 2014-08-29 2016-03-03 Ati Technologies Ulc Extension of the mpeg/sc3dmc standard to polygon meshes
WO2019107181A1 (ja) * 2017-12-01 2019-06-06 ソニー株式会社 送信装置、送信方法、および受信装置
JP2020119292A (ja) * 2019-01-24 2020-08-06 キヤノン株式会社 情報処理装置、情報処理方法、データ構造、及びプログラム
WO2021116838A1 (en) * 2019-12-10 2021-06-17 Sony Group Corporation Mesh compression via point cloud representation

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YANG J-H, KIM C-S, LEE S-U: "COMPRESSION OF 3-D TRIANGLE MESH SEQUENCES BASED ON VERTEX-WISE MOTION VECTOR PREDICTION", IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY, IEEE, USA, vol. 12, no. 12, 1 December 2002 (2002-12-01), USA, pages 1178 - 1184, XP001141949, ISSN: 1051-8215, DOI: 10.1109/TCSVT.2002.806814 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2025215923A1 (ja) * 2024-04-12 2025-10-16 Kddi株式会社 メッシュ復号装置、メッシュ復号方法及びプログラム

Also Published As

Publication number Publication date
CN119522441A (zh) 2025-02-25
JP2024008746A (ja) 2024-01-19
US20260122268A1 (en) 2026-04-30

Similar Documents

Publication Publication Date Title
WO2024014042A1 (ja) メッシュ復号装置、メッシュ符号化装置、メッシュ復号方法及びプログラム
WO2024014045A1 (ja) メッシュ復号装置、メッシュ符号化装置、メッシュ復号方法及びプログラム
WO2024014044A1 (ja) メッシュ復号装置、メッシュ符号化装置、メッシュ復号方法及びプログラム
JP7745577B2 (ja) メッシュ復号装置、メッシュ復号方法及びプログラム
JP7781042B2 (ja) メッシュ復号装置、メッシュ符号化装置、メッシュ復号方法及びプログラム
US20260122268A1 (en) Mesh decoding device, mesh encoding device, mesh decoding method, and program
US20250148646A1 (en) Mesh decoding device, mesh encoding device, mesh decoding method, and program
WO2025009221A1 (ja) メッシュ復号装置、メッシュ復号方法及びプログラム
WO2024079982A1 (ja) メッシュ復号装置、メッシュ符号化装置、メッシュ復号方法及びプログラム
JP2024152168A (ja) メッシュ復号装置、メッシュ復号方法及びプログラム
JP2024152167A (ja) メッシュ復号装置、メッシュ復号方法及びプログラム
JP7701898B2 (ja) メッシュ復号装置、メッシュ符号化装置、メッシュ復号方法及びプログラム
JP7769597B2 (ja) メッシュ復号装置、メッシュ符号化装置、メッシュ復号方法及びプログラム
JP2025009036A (ja) メッシュ復号装置、メッシュ復号方法及びプログラム
WO2025009222A1 (ja) メッシュ復号装置、メッシュ復号方法及びプログラム
JP2025064207A (ja) メッシュ復号装置、メッシュ復号方法及びプログラム
JP2025064208A (ja) メッシュ復号装置、メッシュ復号方法及びプログラム
WO2025074662A1 (ja) メッシュ復号装置、メッシュ復号方法及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23839372

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 202380052528.0

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE

WWP Wipo information: published in national office

Ref document number: 202380052528.0

Country of ref document: CN

122 Ep: pct application non-entry in european phase

Ref document number: 23839372

Country of ref document: EP

Kind code of ref document: A1