WO2024057903A1 - 情報処理装置および方法 - Google Patents

情報処理装置および方法 Download PDF

Info

Publication number
WO2024057903A1
WO2024057903A1 PCT/JP2023/031089 JP2023031089W WO2024057903A1 WO 2024057903 A1 WO2024057903 A1 WO 2024057903A1 JP 2023031089 W JP2023031089 W JP 2023031089W WO 2024057903 A1 WO2024057903 A1 WO 2024057903A1
Authority
WO
WIPO (PCT)
Prior art keywords
mesh
displacement
base mesh
vertex
unit
Prior art date
Application number
PCT/JP2023/031089
Other languages
English (en)
French (fr)
Inventor
華央 林
智 隈
毅 加藤
央二 中神
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Publication of WO2024057903A1 publication Critical patent/WO2024057903A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets

Definitions

  • the present disclosure relates to an information processing device and method, and particularly relates to an information processing device and method that can improve encoding/decoding performance.
  • V-DMC Video-based Dynamic Mesh Coding
  • meshes which are 3D data that express the three-dimensional structure of an object through vertices and connections
  • Non-Patent Document 1 a mesh to be encoded is expressed by a coarse base mesh and displacement values at dividing points obtained by subdividing the base mesh, and the base mesh and displacement values are encoded.
  • the displacement values are stored (packed) in a two-dimensional image and encoded as an image. Since objects can change in time (they are dynamic), meshes (ie, base meshes and displacement values) are also dynamic. Therefore, the displacement value is encoded as a moving image (displacement video) using the two-dimensional image as a frame.
  • displacement videos are used simply to pack displacement values, and in recent years, there has been a demand for further utilization of displacement videos.
  • the present disclosure has been made in view of this situation, and makes it possible to improve encoding/decoding performance by expanding the method of using displacement video.
  • An information processing device hierarchizes displacement values of division points obtained by subdividing a base mesh for each degree of definition, and divides the displacement values of the hierarchical division points into 2D images for each partial region of an object.
  • the base mesh includes a packing unit that packs images, and a displacement video encoding unit that encodes a displacement video using the 2D image as a frame, and the base mesh is composed of vertices and connections that express a three-dimensional structure of the object.
  • the mesh is generated by thinning out the vertices from the original mesh to be encoded, and is coarser than the original mesh, and the displacement value is the difference in position between the dividing point and the vertex of the original mesh. This is an information processing device.
  • An information processing method is to hierarchize the displacement values of dividing points obtained by subdividing a base mesh for each fineness level, and to divide the displacement values of the hierarchical dividing points into 2D images for each partial region of an object. packing into images and encoding a displacement video with the 2D image as a frame, the base mesh thinning out the vertices from the original mesh to be encoded consisting of vertices and connections representing the three-dimensional structure of the object.
  • the method is an information processing method in which the mesh is coarser than the original mesh, and the displacement value is a difference in position between the dividing point and the vertex of the original mesh.
  • the information processing device decodes the bitstream and subdivides the base mesh, and the displacement values of the division points obtained are hierarchized for each fineness level and packed for each partial area of the object.
  • a displacement video decoding unit that generates a displacement video using an image as a frame, and unpacks the displacement value of the division point of a desired layer of a desired partial region packed into the 2D image of the current frame of the displacement video; an unpacking section, a subdivision section that subdivides the base mesh of the current frame, and a displacement value application section that applies a displacement value of the division point to the division point of the subdivided base mesh.
  • the base mesh is generated by thinning out the vertices from the original mesh to be encoded, which is composed of vertices and connections representing the three-dimensional structure of the object, and is coarser than the original mesh;
  • the value is an information processing device that is a positional difference between the dividing point and the vertex of the original mesh.
  • the information processing method is a 2D data processing method in which the displacement values of the division points obtained by decoding the bitstream and subdividing the base mesh are hierarchized for each fineness level and packed for each subregion of the object.
  • Generate a displacement video with an image as a frame unpack the displacement value of the dividing point of a desired layer of a desired partial region packed into the 2D image of the current frame of the displacement video, and
  • the base mesh is subdivided, the displacement value of the division point is applied to the division point of the subdivided base mesh, and the base mesh is composed of vertices and connections representing a three-dimensional structure of the object.
  • the mesh is generated by thinning out the vertices from the original mesh to be encoded, and is coarser than the original mesh, and the displacement value is the difference in position between the dividing point and the vertex of the original mesh. It is a certain information processing method.
  • An information processing device includes a base mesh vertex displacement value deriving unit that derives a base mesh vertex displacement value that is a displacement value of a vertex of a base mesh, and a dividing point obtained by subdividing the base mesh. a packing unit that hierarchizes the displacement values of for each degree of definition and packs the base mesh vertex displacement values and the hierarchized displacement values of the division points into a 2D image; and a packing unit that encodes a displacement video using the 2D image as a frame.
  • the base mesh is generated by thinning out the vertices from an original mesh to be encoded consisting of vertices and connections representing the three-dimensional structure of the object;
  • the displacement value of the division point is the difference in position between the division point and the vertex of the original mesh, and the base mesh vertex displacement value is the difference in position between the division point and the vertex of the original mesh.
  • the information processing device is a positional difference between the vertex and the original mesh.
  • An information processing method derives base mesh vertex displacement values, which are displacement values of vertices of the base mesh, and calculates displacement values of division points obtained by subdividing the base mesh for each fineness level.
  • the base mesh vertex displacement values and the hierarchical division point displacement values are packed into a 2D image, and a displacement video using the 2D image as a frame is encoded;
  • the mesh is generated by thinning out the vertices from the original mesh to be encoded, which is composed of vertices and connections representing a structure, and is coarser than the original mesh, and the displacement value of the dividing point is the same as the dividing point and the
  • the information processing method is a positional difference between the vertex of the original mesh and the base mesh vertex displacement value
  • the base mesh vertex displacement value is a positional difference between the vertex of the base mesh and the vertex of the original mesh.
  • An information processing device decodes a bitstream, and obtains base mesh vertex displacement values that are displacement values of vertices of a base mesh, and displacement values of dividing points obtained by subdividing the base mesh.
  • a displacement video decoding unit that generates a displacement video whose frame is a 2D image packed with an unpacking unit that unpacks;
  • a base mesh vertex position application unit that applies the base mesh vertex displacement value to the vertices of the base mesh; and subdivides the base mesh to which the base mesh vertex displacement value is applied to the vertices.
  • the mesh is generated by thinning out the vertices from the original mesh to be encoded, which is composed of vertices and connections, and is coarser than the original mesh, and the displacement value of the dividing point is the same as that of the dividing point and the original mesh.
  • the base mesh vertex displacement value is the difference in position between the vertex of the base mesh and the vertex of the original mesh.
  • An information processing method decodes a bitstream, and obtains base mesh vertex displacement values that are displacement values of vertices of a base mesh, and displacement values of dividing points obtained by subdividing the base mesh. generates a displacement video whose frame is a 2D image packed with The base mesh vertex displacement value is applied to the vertices of the base mesh, the base mesh to which the base mesh vertex displacement value is applied to the vertices is subdivided, and the dividing point of the subdivided base mesh is The base mesh is generated by thinning out the vertices from the original mesh to be encoded, which is composed of vertices and connections representing the three-dimensional structure of the object, by applying the displacement values of the dividing points, and is smaller than the original mesh.
  • the displacement value of the dividing point is the difference in position between the dividing point and the vertex of the original mesh
  • the base mesh vertex displacement value is the difference in position between the vertex of the base mesh and the original mesh.
  • displacement values of division points obtained by subdividing a base mesh are hierarchized for each degree of fineness, and displacement values of the hierarchized division points are used as part of an object.
  • Each region is packed into 2D images, and a displacement video using the 2D images as frames is encoded.
  • displacement values of dividing points obtained by subdividing a base mesh are layered for each fineness level, and a 2D image is formed into a frame in which the displacement values are packed for each subregion of an object.
  • a displacement video with , the displacement value of the dividing point is applied to the dividing point of the subdivided base mesh.
  • a base mesh vertex displacement value that is a displacement value of a vertex of a base mesh is derived, and a displacement value of a dividing point obtained by subdividing the base mesh is finely divided.
  • the base mesh vertex displacement values and the displacement values of the hierarchical division points are packed into a 2D image, and a displacement video using the 2D images as frames is encoded.
  • the bitstream is decoded, and base mesh vertex displacement values, which are displacement values of vertices of the base mesh, and division points obtained by subdividing the base mesh are obtained.
  • a displacement video whose frames are 2D images packed with displacement values is generated, and the base mesh vertex displacement values packed into the 2D image of the current frame of the displacement video and the displacement values of its division points are unpacked,
  • the base mesh vertex displacement value is applied to the vertices of the base mesh, the base mesh to which the base mesh vertex displacement value is applied to the vertex is subdivided, and the division point of the subdivided base mesh is Quantiles are applied.
  • FIG. 2 is a diagram for explaining V-DMC.
  • FIG. 3 is a diagram for explaining an example of packing.
  • FIG. 3 is a diagram for explaining an example of packing.
  • FIG. 3 is a diagram illustrating an example of an encoding method.
  • FIG. 3 is a diagram for explaining an example of packing.
  • FIG. 2 is a block diagram showing an example of the main configuration of an encoding device. 3 is a flowchart illustrating an example of the flow of encoding processing.
  • FIG. 2 is a block diagram showing an example of the main configuration of a decoding device.
  • FIG. 3 is a flowchart illustrating an example of the flow of decoding processing.
  • FIG. 2 is a block diagram showing an example of the main configuration of a decoding device.
  • 3 is a flowchart illustrating an example of the flow of decoding processing.
  • FIG. 3 is a diagram for explaining an example of a decoding procedure.
  • FIG. 3 is a diagram illustrating an example of an encoding method.
  • FIG. 3 is a diagram for explaining an example of a decoding procedure.
  • FIG. 3 is a diagram for explaining an example of packing.
  • FIG. 2 is a block diagram showing an example of the main configuration of an encoding device.
  • 3 is a flowchart illustrating an example of the flow of encoding processing.
  • FIG. 2 is a block diagram showing an example of the main configuration of an encoding device.
  • FIG. 3 is a flowchart illustrating an example of the flow of encoding processing.
  • FIG. 2 is a block diagram showing an example of the main configuration of a decoding device. 3 is a flowchart illustrating an example of the flow of decoding processing.
  • FIG. 2 is a block diagram showing an example of the main configuration of a decoding device. 3 is a flowchart illustrating an example of the flow of decoding processing.
  • 1 is a block diagram showing an example of the main configuration of a computer.
  • Non-patent document 1 (mentioned above)
  • the contents described in the above-mentioned non-patent documents and the contents of other documents referred to in the above-mentioned non-patent documents are also the basis for determining support requirements.
  • V-DMC Video-based Dynamic Mesh Coding
  • the mesh to be encoded is expressed by a coarse base mesh and displacement values at dividing points obtained by subdividing the base mesh, and the base mesh and displacement values are encoded.
  • a mesh originally forms a polygon by connecting vertices, but for convenience of explanation, it is described here as a group of vertices connected linearly (in series).
  • connections are updated when the vertices of the original mesh are thinned out, and the dividing points are formed on these updated connections, so the shape of this divided base mesh is different from the shape of the original mesh. More specifically, the positions of the division points are different from the original mesh. Since the original mesh is known, the displacement of this dividing point can be found.
  • the original mesh can be expressed by the base mesh and the displacement values of the division points.
  • the encoder encodes the original mesh by dividing it into the base mesh and the displacement values of the dividing points.
  • the displacement values of the division points are stored in a two-dimensional image and encoded as an image. In this specification, storing data in a two-dimensional image is also referred to as packing.
  • V-DMC supports scalable decoding.
  • the displacement values of the dividing points are hierarchized for each level of fineness and packed as data for each hierarchal.
  • the LoD0 packed into the two-dimensional image 11 is data of the displacement value of the division point in the highest layer (lowest definition) among the displacement values of division points hierarchized by definition. shows.
  • LoD1 indicates displacement value data of a dividing point in a layer one higher than LoD0.
  • LoD2 indicates displacement value data of a dividing point in the layer one above LoD1. In this way, the displacement values of the dividing points are divided into layers (collected into data for each layer) and packed.
  • the displacement values of the dividing points may be packed into a two-dimensional image as transform coefficients by coefficient transform such as wavelet transform, for example.
  • the displacement value of the dividing point may be quantized.
  • the displacement values of the dividing points may be converted into transform coefficients by wavelet transform, the transform coefficients may be quantized, and the quantized transform coefficients (quantized coefficients) may be packed.
  • the mesh that is, the base mesh and displacement values of division points
  • the displacement value is encoded as a moving image using the two-dimensional image as a frame.
  • this moving image is also referred to as a displacement video.
  • Base mesh encoding methods include intra encoding and inter encoding.
  • intra-coding the base mesh is encoded for each frame.
  • inter encoding the base mesh is encoded as a motion vector based on the vertices of the base mesh of the reference frame. That is, in this case, on the decoding side, the base mesh of the processing target frame can be reconstructed by adding the motion vector to the vertices of the base mesh of the reference frame.
  • the base mesh of the reference frame is also referred to as a reference base mesh.
  • the frame to be processed is also referred to as the current frame.
  • the base mesh of the current frame is also referred to as the current base mesh.
  • a decoder is required to have a function that can decode each partial area (so-called partial access function). For example, when reproducing an image of the field of view seen from the viewpoint position, a higher-definition mesh is required for a subjectively noticeable part near the viewpoint position of the object. On the other hand, a low-definition mesh is sufficient for parts far from the viewpoint or parts that are subjectively inconspicuous. Furthermore, there is no need to create meshes for areas that are obstructed by objects and cannot be seen from the viewpoint position. In this way, during reproduction, the required definition may change for each partial area, or information on some areas may become unnecessary.
  • V-DMC If there is a partial function, it is possible to control playback for each partial area. Therefore, by providing the V-DMC with a partial function, even in the case of reproduction as described above, it is possible to reproduce each partial area at a desired resolution or to reproduce only a part of the area. Therefore, it is possible to suppress an increase in the amount of decoding processing.
  • Non-Patent Document 1 the displacement values of the entire object are packed together as shown in FIG. Even when changing the resolution for each partial region, it was necessary to reconstruct the entire mesh. In other words, it is necessary to perform complicated operations such as reconstructing the base mesh of the entire mesh, subdividing the entire base mesh, and applying displacement values to each division point. Therefore, there was a risk that the amount of decoding processing would increase unnecessarily.
  • a method can be considered that separates the two-dimensional image to be packed into each partial region (that is, generates a displacement video for each partial region).
  • the displacement values of the dividing points of area A are packed into the two-dimensional image 21
  • the displacement values of the dividing points of area B are packed into the two-dimensional image 22
  • the displacement values of the dividing points of area C are packed into the two-dimensional image 22. It is packed into a two-dimensional image 23.
  • the displacement values may be packed for each partial area of the object (method 1).
  • the displacement value of the dividing point of each layer of area A the displacement value of the dividing point of each layer of area B, and the displacement value of the dividing point of each layer of area C.
  • the displacement values of the division points of each hierarchy are packed together. These areas A to C are partial areas of the object. In other words, the displacement values of the division points of each hierarchy are separated and packed for each partial area of the object.
  • the decoder can extract the displacement value of the dividing point from the two-dimensional image 51 for each partial region of the object. Additionally, the decoder can extract data of a desired partial region and desired definition from the two-dimensional image 51.
  • a partial access function can be realized. Therefore, it is possible to suppress an increase in the amount of decoding processing.
  • the displacement values of the dividing points of all regions can be packed into one displacement video, so the encoding efficiency can be reduced compared to the case where displacement videos are generated for each partial region. Can be suppressed. Further, it is possible to suppress an increase in the processing amount of decoding processing. In other words, encoding/decoding performance can be improved.
  • an information processing device may include a packing unit that hierarchizes the displacement values of division points obtained by subdividing a base mesh for each level of resolution, and packs the hierarchical displacement values of the division points into a 2D image for each partial region of an object, and a displacement video encoding unit that encodes a displacement video with the 2D images as frames.
  • the base mesh may be generated by thinning out vertices from an original mesh to be encoded, which is composed of vertices and connections that represent the three-dimensional structure of an object. In other words, this base mesh may be a mesh that is coarser than the original mesh.
  • the displacement value of a division point may be the difference in position between the division point and a vertex of the original mesh (corresponding to the division point).
  • the information processing device including the above-described packing unit and displacement video encoding unit may further include a base mesh encoding unit that encodes the base mesh of the current frame.
  • the information processing device including the above-described packing unit and displacement video encoding unit further includes a motion vector encoding unit that encodes a motion vector of a vertex of a base mesh of a current frame with respect to a base mesh of a reference frame. You may prepare.
  • the displacement values of division points obtained by subdividing a base mesh are hierarchized for each degree of definition, and the displacement values of the hierarchical division points are packed into a 2D image for each subregion of an object.
  • a displacement video using the 2D image as a frame may be encoded.
  • the base mesh may be generated by thinning out vertices from the original mesh to be encoded, which is composed of vertices and connections that express the three-dimensional structure of the object. In other words, this base mesh may be coarser than the original mesh.
  • the displacement value of a division point may be the difference in position between the division point and the vertex of the original mesh (corresponding to the division point).
  • extracting data packed into a two-dimensional image from the two-dimensional image is also referred to as unpacking.
  • the decoder unpacks the displacement values of the division points from the two-dimensional image.
  • the encoder performs coefficient transformation (for example, wavelet transformation) on the displacement values of the division points and packs the transformation coefficients
  • the decoder unpacks the transformation coefficients from the two-dimensional image and performs inverse coefficient transformation (for example, inverse wavelet transformation). transform) to derive the displacement value of the dividing point.
  • the decoder unpacks the quantized coefficients from the two-dimensional image, dequantizes them, and stores the displacement values of the dividing points. Derive. Furthermore, when the encoder performs coefficient transformation (for example, wavelet transformation) on the displacement values of the division points, quantizes the transformation coefficients, and packs the quantized coefficients, the decoder unpacks the quantized coefficients from the two-dimensional image. Packing and inverse quantization are performed to derive transform coefficients, and the transform coefficients are subjected to inverse coefficient transform (for example, inverse wavelet transform) to derive displacement values at division points.
  • coefficient transformation for example, wavelet transformation
  • the displacement values of the division points may be subjected to wavelet transformation for each partial region (method 1-1).
  • coefficient transformation such as wavelet transformation
  • the decoder can unpack the data of a desired partial area (and perform inverse wavelet transform on the unpacked data) without requiring data of other partial areas.
  • a partial access function can be realized. Therefore, the same effect as in method 1 described above can be obtained.
  • the packing section performs wavelet transform on the displacement values of the division points for each partial region, and packs the obtained transform coefficients into a 2D image. You can.
  • partial area information may be transmitted as shown at the bottom of the table in FIG.
  • the decoder can determine whether the desired partial region in the mesh is the same as the displacement value of the division points in the two-dimensional image. It is necessary to understand which partial area it corresponds to. Therefore, for each partial region of displacement values of division points packed into a two-dimensional image, information indicating the range corresponding to that partial region in the mesh (hereinafter also referred to as mesh range specification information) is transmitted from the encoder to the decoder. You can. By doing so, the decoder can more easily grasp which partial region of the displacement values of the dividing points in the two-dimensional image corresponds to a desired partial region in the mesh.
  • the mesh range designation information for example, if a mesh is formed independently for each patch, the mesh range corresponding to each partial region may be indicated using its patch ID. Further, when a single mesh is formed in the entire region, the range of the mesh corresponding to each partial region may be indicated using the index of the vertex or the index of the face of the mesh. That is, the mesh range designation information may be a list of patch IDs, vertex indexes, face indexes, etc. corresponding to each partial region. Note that if the decoding order is a default and the number of faces corresponding to each partial area is the same, the number of faces may be transmitted as mesh range designation information. The decoder can establish correspondence with each partial area by grouping each face according to the number of faces in decoding order.
  • the decoder needs to know where in the two-dimensional image 51 the data of a desired partial region corresponding to a desired range in the mesh is packed. Therefore, information indicating the range of each partial region of the displacement value of the division point in the two-dimensional image (hereinafter also referred to as displacement video range designation information) may be transmitted from the encoder to the decoder. By doing so, the decoder can more easily grasp where in the two-dimensional image the desired partial region of the displacement value of the dividing point in the two-dimensional image is packed.
  • a pixel index may be used to indicate the starting position of a partial area. Further, the range in which the data of each partial area is packed may be indicated by the number of pixels. Further, the processing may be performed in block units instead of pixels. For example, a block index may be used to indicate the starting position of a partial area. Further, the range in which the data of each partial area is packed may be indicated by the number of blocks. In other words, the displacement video range designation information may be a list of pixel indexes, number of pixels, block indexes, number of blocks, etc., corresponding to each partial area.
  • the transmission of the displacement video range designation information may be omitted. Further, if the fixed value is unknown to the decoder, the fixed value may be transmitted as the displacement video range designation information.
  • these mesh range designation information and displacement video range designation information are transmitted from the encoder to the decoder as information regarding each partial region of the displacement value of the dividing point in the two-dimensional image (hereinafter also referred to as partial region information). Good too. By doing so, the decoder can more easily unpack the displacement values of the division points of the desired partial area.
  • the mesh range designation information and displacement video range designation information are each shown as a list of information corresponding to each partial region as follows.
  • the decoder can easily establish a correspondence between mesh range designation information and displacement video range designation information depending on the number of elements. For example, in the case of the above list, it is shown that the displacement values of the dividing points in the range indicated by "index 3" in the mesh are packed into the region indicated by "index 7" in the two-dimensional image.
  • the displacement video encoding unit may further encode partial region information.
  • the partial region information may include mesh range designation information that indicates the range of the partial region in the mesh, and intra-displacement video range designation information that indicates the range of the partial region in the 2D image of the displacement video.
  • the encoding method for partial region information is arbitrary. Either differential encoding or entropy encoding may be used. Furthermore, the partial region information does not need to be encoded.
  • partial region information may be stored in encoded data of a displacement video for each frame.
  • partial region information may be stored in header information of a bitstream that stores not only displacement videos but also attributes and the like.
  • FIG. 6 is a block diagram illustrating an example of the configuration of an encoding device that is one aspect of an information processing device to which the present technology is applied.
  • the encoding device 100 shown in FIG. 6 is a device that encodes a mesh.
  • the encoding device 100 encodes a mesh using a method basically similar to the V-DMC described in Non-Patent Document 1.
  • the encoding device 100 intra-encodes the base mesh.
  • the encoding device 100 encodes the mesh by applying method 1 described above. Furthermore, the encoding device 100 may also apply method 1-1 or method 1-2 described above.
  • FIG. 6 shows the main things such as the processing unit and the flow of data, and not all of the things shown in FIG. 6 are shown. That is, in the encoding device 100, there may be a processing unit that is not shown as a block in FIG. 6, or there may be a process or a data flow that is not shown as an arrow or the like in FIG.
  • the encoding device 100 includes a base mesh encoding section 111, a base mesh decoding section 112, a displacement value correction section 113, a packing section 114, a displacement video encoding section 115, a mesh reconstruction section 116, It includes an attribute map correction section 117, an attribute video encoding section 118, and a composition section 119.
  • the base mesh, displacement values of division points, and attribute maps are supplied to the encoding device 100 for each frame.
  • the base mesh may be generated by thinning out vertices from the original mesh to be encoded, which is composed of vertices and connections that express the three-dimensional structure of the object. In other words, this base mesh may be coarser than the original mesh.
  • the displacement value of a division point may be the difference in position between the division point and the vertex of the original mesh (corresponding to the division point). These data may be generated from the original mesh in preprocessing, for example.
  • the base mesh encoding unit 111 encodes the current base mesh and supplies the encoded data to the base mesh decoding unit 112 and the combining unit 119.
  • the base mesh decoding unit 112 decodes the supplied encoded data of the current base mesh and generates (restores) the current base mesh. This generated current base mesh includes coding distortion.
  • the base mesh decoding unit 112 supplies the current base mesh to the displacement value correction unit 113 and the mesh reconstruction unit 116.
  • the displacement value correction unit 113 corrects the displacement values of the division points using the supplied current base mesh (including encoding distortion). More specifically, the displacement value correction unit 113 subdivides the supplied current base mesh (including encoding distortion) and derives division points. Then, the displacement value correction unit 113 uses the derived division points to correct the displacement values of the division points supplied to the encoding device 100. The displacement value correction unit 113 supplies the corrected displacement value of the division point to the packing unit 114 .
  • the packing unit 114 packs the supplied displacement values of the dividing points into a two-dimensional image (also referred to as a frame image) of the current frame.
  • the packing unit 114 may perform coefficient transformation (for example, wavelet transformation) on the displacement values of the dividing points, and may pack the transformation coefficients into a two-dimensional image.
  • the packing unit 114 may also quantize the displacement values (or transformation coefficients) of the division points and pack the quantized coefficients into a two-dimensional image.
  • the packing unit 114 applies method 1 in this packing. That is, the packing unit 114 packs the displacement values of the division points for each partial region of the object. For example, the packing unit 114 hierarchizes the displacement values of division points obtained by subdividing the base mesh for each degree of definition, and packs the displacement values of the hierarchical division points into a two-dimensional image for each partial region of the object. You may.
  • the packing unit 114 may apply method 1-1. That is, the packing unit 114 may perform wavelet transform on the displacement values of the dividing points for each partial region, and may pack the obtained transform coefficients into a two-dimensional image.
  • the packing unit 114 may apply method 1-2. That is, the packing unit 114 may further generate partial region information including mesh range designation information and displacement video range designation information.
  • the packing unit 114 supplies the two-dimensional image packed with the displacement values of the dividing points (or information equivalent thereto) to the displacement video encoding unit 115. Furthermore, the packing unit 114 supplies the generated partial region information to the displacement video encoding unit 115.
  • the displacement video encoding unit 115 uses the supplied two-dimensional image as a frame image and encodes it as a moving image (displacement video). Displacement video encoding section 115 supplies encoded data of the generated displacement video to mesh reconstruction section 116 and composition section 119.
  • the displacement video encoding unit 115 may apply method 1-2. That is, the displacement video encoding unit 115 may further encode partial region information including mesh range designation information and displacement video internal range designation information. In that case, the displacement video encoding unit 115 supplies the generated encoded data of the partial area information to the combining unit 119.
  • the mesh reconstruction unit 116 decodes the encoded data of the supplied displacement video, unpacks it from the two-dimensional image, etc., and derives the displacement values of the division points. Furthermore, the mesh reconstruction unit 116 subdivides the supplied current base mesh and reconstructs the mesh by applying the displacement values of the derived division points. This mesh contains coding distortion. The mesh reconstruction unit 116 supplies the reconstructed mesh to the attribute map correction unit 117.
  • the attribute map correction unit 117 corrects an attribute map such as a texture using the supplied mesh (including encoding distortion), and supplies the corrected attribute map to the attribute video encoding unit 118.
  • the attribute video encoding unit 118 uses the supplied attribute map as a frame image and encodes it as a moving image (attribute video).
  • the attribute video encoding unit 118 supplies encoded data of the generated attribute video to the combining unit 119.
  • the synthesizing unit 119 synthesizes (multiplexes) the supplied encoded data of the base mesh, encoded data of the displacement video, and encoded data of the attribute video, and generates one bit stream. Note that when encoded data of the partial area information is supplied, the combining unit 119 also stores the encoded data of the partial area information in the bitstream. The combining unit 119 outputs the generated bitstream to the outside of the encoding device 100. This bitstream is transmitted to the decoding device via any transmission medium or any recording medium.
  • the encoding device 100 can realize a partial access function. Therefore, the encoding device 100 can suppress an increase in the processing amount of decoding processing and suppress a decrease in encoding efficiency. In other words, the encoding device 100 can improve encoding/decoding performance.
  • the base mesh encoding unit 111 encodes the current base mesh in step S101.
  • step S102 the base mesh decoding unit 112 decodes the encoded data of the base mesh.
  • step S103 the displacement value correction unit 113 corrects the displacement value of the dividing point using the base mesh (including encoding distortion) generated in step S102.
  • step S104 the packing unit 114 packs the displacement values of the division points for each LoD into a frame (two-dimensional image) for each partial region of the object.
  • the packing unit 114 may perform coefficient transformation (for example, wavelet transformation) on the displacement values of the division points for each partial region.
  • the packing unit 114 may generate partial area information.
  • step S105 the displacement video encoding unit 115 uses the packed two-dimensional image as a frame image and encodes it as a displacement video. Furthermore, the displacement video encoding unit 115 may further encode partial region information.
  • step S106 the mesh reconstruction unit 116 reconstructs the mesh using the base mesh (including coding distortion) generated in step S102 and the encoded data of the displacement video generated in step S105.
  • step S107 the attribute map correction unit 117 uses the reconstructed mesh to correct the attribute map.
  • step S108 the attribute video encoding unit 118 uses the corrected attribute map as a frame image and encodes it as an attribute video.
  • step S109 the synthesis unit 119 multiplexes the encoded data of the base mesh generated in step S101, the encoded data of the displacement video generated in step S105, and the encoded data of the attribute video generated in step S108. and generates one bitstream. Note that if encoded data of partial region information is further generated in step S105, the combining unit 119 may store the encoded data in the bitstream.
  • the encoding process ends when the process of step S109 ends.
  • the encoding device 100 can realize a partial access function. Therefore, the encoding device 100 can suppress an increase in the processing amount of decoding processing and suppress a decrease in encoding efficiency. In other words, the encoding device 100 can improve encoding/decoding performance.
  • FIG. 8 is a block diagram illustrating an example of the configuration of an encoding device that is one aspect of an information processing device to which the present technology is applied.
  • the encoding device 150 shown in FIG. 8 is a device that encodes a mesh.
  • the encoding device 150 encodes the mesh using basically the same method as the V-DMC described in Non-Patent Document 1.
  • Encoding device 150 inter-encodes the base mesh.
  • the encoding device 150 encodes the mesh by applying method 1 described above. Furthermore, the encoding device 150 may also apply method 1-1 or method 1-2 described above.
  • FIG. 8 shows the main things such as the processing unit and the flow of data, and not all of the things shown in FIG. 8 are shown. That is, in the encoding device 150, there may be a processing unit that is not shown as a block in FIG. 8, or there may be a process or a data flow that is not shown as an arrow or the like in FIG.
  • the encoding device 150 includes a motion vector encoding section 161, a base mesh reconstruction section 162, a displacement value correction section 163, a packing section 164, a displacement video encoding section 165, and a mesh reconstruction section 166. , an attribute map correction section 167, an attribute video encoding section 168, and a synthesis section 169.
  • the current base mesh, displacement values of division points, and attribute maps are supplied to the encoding device 150 for each frame.
  • the (current) base mesh may be generated by thinning out vertices from the original mesh to be encoded, which is composed of vertices and connections that express the three-dimensional structure of the object. In other words, this base mesh may be coarser than the original mesh.
  • the displacement value of a division point may be the difference in position between the division point and the vertex of the original mesh (corresponding to the division point). These data may be generated from the original mesh, for example in pre-processing.
  • the encoding device 150 can obtain a base mesh of a reference frame (reference base mesh).
  • the reference frame is a previously processed frame that can be referenced from the current frame.
  • the motion vector encoding unit 161 uses the current base mesh and the reference base mesh to generate a motion vector based on the vertices of the reference base mesh. That is, the motion vector encoding unit 161 generates a motion vector indicating the displacement of each vertex between the current base mesh and the reference base mesh. Motion vector encoding section 161 encodes the generated motion vector and supplies the encoded data to base mesh reconstruction section 162 and synthesis section 169.
  • the base mesh reconstruction unit 162 decodes the supplied motion vector encoded data and generates (restores) a motion vector. Then, the base mesh reconstruction unit 162 reconstructs the current base mesh using the reference base mesh and its motion vector. This reconstructed current base mesh contains coding distortion. The base mesh reconstruction unit 162 supplies the current base mesh to the displacement value correction unit 163 and the mesh reconstruction unit 166.
  • the displacement value correction unit 163 corrects the displacement values of the division points using the supplied current base mesh (including encoding distortion). More specifically, the displacement value correction unit 163 subdivides the supplied current base mesh (including encoding distortion) and derives division points. Then, the displacement value correction unit 163 uses the derived division points to correct the displacement values of the division points supplied to the encoding device 150. The displacement value correction unit 163 supplies the corrected displacement value of the dividing point to the packing unit 164.
  • the packing unit 164 packs the supplied displacement values of the dividing points into a two-dimensional image (also referred to as a frame image) of the current frame.
  • the packing unit 164 may perform coefficient transformation (for example, wavelet transformation) on the displacement values of the dividing points, and may pack the transformation coefficients into a two-dimensional image.
  • the packing unit 164 may also quantize the displacement values (or transformation coefficients) of the division points and pack the quantized coefficients into a two-dimensional image.
  • the packing unit 164 applies method 1 in this packing. That is, the packing unit 164 packs the displacement values of the division points for each partial area of the object. For example, the packing unit 164 hierarchizes the displacement values of division points obtained by subdividing the base mesh for each degree of definition, and packs the displacement values of the hierarchical division points into a two-dimensional image for each partial region of the object. You may.
  • the packing unit 164 may apply method 1-1. That is, the packing unit 164 may perform wavelet transform on the displacement values of the dividing points for each partial region, and may pack the obtained transform coefficients into a two-dimensional image.
  • the packing unit 164 may apply method 1-2. That is, the packing unit 164 may further generate partial region information including mesh range designation information and displacement video range designation information.
  • the packing unit 164 supplies the two-dimensional image packed with the displacement values of the division points (or information equivalent thereto) to the displacement video encoding unit 165. Furthermore, the packing unit 164 supplies the generated partial region information to the displacement video encoding unit 165.
  • the displacement video encoding unit 165 uses the supplied two-dimensional image as a frame image and encodes it as a moving image (displacement video). Displacement video encoding section 165 supplies encoded data of the generated displacement video to mesh reconstruction section 166 and composition section 169.
  • the displacement video encoding unit 165 may apply method 1-2. That is, the displacement video encoding unit 165 may further encode partial region information including mesh range designation information and displacement video internal range designation information. In that case, the displacement video encoding unit 165 supplies the generated encoded data of the partial area information to the combining unit 169.
  • the mesh reconstruction unit 166 decodes the encoded data of the supplied displacement video, unpacks it from the two-dimensional image, etc., and derives the displacement values of the dividing points. Furthermore, the mesh reconstruction unit 166 subdivides the supplied current base mesh and reconstructs the mesh by applying the displacement values of the derived division points. This mesh contains coding distortion. The mesh reconstruction unit 166 supplies the reconstructed mesh to the attribute map correction unit 167.
  • the attribute map correction unit 167 corrects an attribute map such as a texture using the supplied mesh (including encoding distortion), and supplies the corrected attribute map to the attribute video encoding unit 168.
  • the attribute video encoding unit 168 uses the supplied attribute map as a frame image and encodes it as a moving image (attribute video).
  • the attribute video encoding unit 168 supplies encoded data of the generated attribute video to the combining unit 169.
  • the synthesis unit 169 synthesizes (multiplexes) the supplied motion vector encoded data, displacement video encoded data, and attribute video encoded data to generate one bitstream. Note that when encoded data of the partial area information is supplied, the combining unit 169 also stores the encoded data of the partial area information in the bitstream. Combining section 169 outputs the generated bitstream to the outside of encoding device 150. This bitstream is transmitted to the decoding device via any transmission medium or any recording medium.
  • the encoding device 150 can realize a partial access function. Therefore, the encoding device 150 can suppress an increase in the processing amount of decoding processing or suppress a decrease in encoding efficiency. In other words, the encoding device 150 can improve encoding/decoding performance.
  • the motion vector encoding unit 161 When the encoding process is started, the motion vector encoding unit 161 generates a motion vector using the reference base mesh and the current base mesh in step S151, and encodes the motion vector.
  • step S152 the base mesh reconstruction unit 162 decodes the encoded data of the motion vector and reconstructs the base mesh using the generated (restored) motion vector and the reference base mesh.
  • step S153 the displacement value correction unit 163 corrects the displacement value of the dividing point using the base mesh (including encoding distortion) reconstructed in step S152.
  • step S154 the packing unit 164 packs the displacement values of the division points for each LoD into a frame (two-dimensional image) for each partial region of the object.
  • the packing unit 164 may perform coefficient transformation (for example, wavelet transformation) on the displacement values of the dividing points for each partial region.
  • the packing unit 164 may generate partial area information.
  • step S155 the displacement video encoding unit 165 uses the packed two-dimensional image as a frame image and encodes it as a displacement video. Furthermore, the displacement video encoding unit 165 may further encode partial region information.
  • step S156 the mesh reconstruction unit 166 reconstructs the mesh using the base mesh (including coding distortion) reconstructed in step S152 and the encoded data of the displacement video generated in step S155.
  • step S157 the attribute map correction unit 167 uses the reconstructed mesh to correct the attribute map.
  • step S158 the attribute video encoding unit 168 uses the corrected attribute map as a frame image and encodes it as an attribute video.
  • step S159 the synthesis unit 169 multiplexes the encoded data of the motion vector generated in step S151, the encoded data of the displacement video generated in step S155, and the encoded data of the attribute video generated in step S158. and generates one bitstream. Note that if encoded data of partial region information is further generated in step S155, the combining unit 169 may store the encoded data in the bitstream.
  • the encoding process ends when the process of step S169 ends.
  • the encoding device 150 can realize a partial access function. Therefore, the encoding device 150 can suppress an increase in the processing amount of decoding processing or suppress a decrease in encoding efficiency. In other words, the encoding device 150 can improve encoding/decoding performance.
  • Method 1, Method 1-1, and Method 1-2 described above can also be applied to a decoding device.
  • the information processing device decodes the bitstream, subdivides the base mesh, and creates a frame with a 2D image in which the displacement values of the division points obtained are layered by definition and packed for each partial region of the object.
  • a displacement video decoding unit that generates a displacement video
  • an unpacking unit that unpacks the displacement value of a division point of a desired layer of a desired partial region packed into a 2D image of the current frame of the displacement video
  • the subdividing unit may subdivide the base mesh of the subdivided base mesh, and a displacement value application unit may apply a displacement value of the dividing point to the dividing point of the subdivided base mesh.
  • the base mesh may be generated by thinning out vertices from the original mesh to be encoded, which is composed of vertices and connections that express the three-dimensional structure of the object. That is, the base mesh may be coarser than the original mesh. Further, the displacement value of a division point may be the difference in position between the division point and the vertex of the original mesh (corresponding to the division point).
  • the information processing device including the above-described displacement video decoding unit, unpacking unit, and displacement value application unit may further include a base mesh decoding unit that decodes the bitstream and generates a base mesh of the current frame. good.
  • an information processing apparatus including the above-mentioned displacement video decoding unit, unpacking unit, and displacement value application unit includes a motion vector generation unit that decodes a bitstream and generates a motion vector, and a motion vector generation unit that generates a motion vector by decoding a bitstream.
  • the image forming apparatus may further include a base mesh reconstruction unit that applies the motion vector to the vertices and reconstructs the base mesh of the current frame.
  • the unpacking section unpacks the transform coefficients of a desired layer of a desired partial region, and
  • the transform coefficients may be subjected to inverse wavelet transform to generate displacement values at the dividing points.
  • an information processing device including the above-mentioned displacement video decoding unit, unpacking unit, and displacement value application unit decodes a bitstream and generates mesh range designation information indicating the range of a partial region in a mesh, and a displacement video decoding unit.
  • the image processing apparatus may further include a header decoding unit that generates partial region information including displacement video range designation information indicating the range of the partial region in the 2D image.
  • the unpacking unit may unpack the displacement value of the dividing point of the desired layer of the desired partial region based on the displacement video range designation information.
  • the subdivision unit may subdivide a desired partial region of the base mesh based on the mesh range designation information.
  • a frame is a 2D image in which displacement values of division points obtained by decoding a bitstream and subdividing a base mesh are layered for each level of definition and packed for each subregion of an object.
  • Generate a displacement video unpack the displacement values of the division points of the desired hierarchy of the desired subregion, packed into the 2D image of the current frame of the displacement video, subdivide the base mesh of the current frame, and subdivide the base mesh of the current frame.
  • the displacement value of the dividing point may be applied to the dividing point of the converted base mesh.
  • the base mesh may be generated by thinning out vertices from the original mesh to be encoded, which is composed of vertices and connections that express the three-dimensional structure of the object. In other words, this base mesh may be coarser than the original mesh.
  • the displacement value of a division point may be the difference in position between the division point and the vertex of the original mesh (corresponding to the division point).
  • FIG. 10 is a block diagram illustrating an example of the configuration of a decoding device that is one aspect of an information processing device to which the present technology is applied.
  • a decoding device 200 shown in FIG. 10 is a device that decodes mesh encoded data.
  • the decoding device 200 decodes mesh encoded data using basically the same method as the V-DMC described in Non-Patent Document 1.
  • the decoding device 200 decodes (intra-decodes) encoded data in which the base mesh is intra-encoded.
  • the decoding device 200 decodes the mesh encoded data by applying method 1 described above. Furthermore, the decoding device 200 may also apply method 1-1 or method 1-2 described above.
  • the decoding device 200 is a decoding device corresponding to the encoding device 100 in FIG. 6, and can decode the bitstream generated by the encoding device 100 and reconstruct a mesh.
  • FIG. 10 shows the main things such as the processing unit and the flow of data, and not all of the things shown in FIG. 10 are shown. That is, in the decoding device 200, there may be a processing unit that is not shown as a block in FIG. 10, or there may be a process or a data flow that is not shown as an arrow or the like in FIG.
  • the decoding device 200 includes a demultiplexing section 211, a header decoding section 212, a base mesh decoding section 213, a subdividing section 214, a displacement video decoding section 215, an unpacking section 216, a displacement value applying section 217, and an attribute video decoding unit 218.
  • the decoding device 200 is supplied with a bitstream generated by an encoding device (for example, the encoding device 100) that intra-encodes the base mesh.
  • an encoding device for example, the encoding device 100
  • the demultiplexer 211 demultiplexes the bitstream and extracts each encoded data included in the bitstream. For example, the demultiplexer 211 extracts header information of the bitstream from the bitstream and supplies it to the header decoder 212. It is assumed that encoded data of partial area information is stored in this header information. Further, the demultiplexer 211 extracts base mesh encoded data from the bitstream and supplies it to the base mesh decoder 213. Furthermore, the demultiplexer 211 extracts encoded data of the displacement video from the bitstream and supplies it to the displacement video decoder 215. Further, the demultiplexer 211 extracts encoded data of the attribute video from the bitstream and supplies it to the attribute video decoder 218.
  • the header decoding unit 212 decodes the supplied encoded data of header information and generates (restores) header information. Header decoding section 212 supplies the generated header information to base mesh decoding section 213, subdividing section 214, displacement video decoding section 215, unpacking section 216, and attribute video decoding section 218.
  • the base mesh decoding unit 213 decodes the supplied coded data of the base mesh based on the supplied header information, and generates (restores) a current base mesh.
  • the base mesh decoding unit 213 supplies the generated current base mesh to the subdivision unit 214.
  • the subdivision unit 214 subdivides the supplied base mesh based on the supplied header information, and supplies the subdivided base mesh to the displacement value application unit 217.
  • the subdivision unit 214 applies method 1 in this subdivision. That is, the subdivision unit 214 subdivides a desired partial region of the base mesh. In this case, the subdivision unit 214 may apply method 1-2. In other words, the subdivision unit 214 identifies a partial region corresponding to a desired range in the mesh to be reconstructed based on the partial region information (mesh range designation information) included in the header information, and specifies the partial region in the base mesh. The partial area may be subdivided.
  • the displacement video decoding unit 215 decodes the encoded data of the supplied displacement video based on the supplied header information, and generates (restores) (the current frame of) the displacement video.
  • the displacement video decoding unit 215 supplies (the current frame of) the generated displacement video to the unpacking unit 216.
  • the unpacking unit 216 unpacks the displacement value of the dividing point from the current frame of the supplied displacement video based on the supplied header information.
  • the unpacking unit 216 may unpack the transform coefficients, perform coefficient transform (for example, wavelet transform) on the transform coefficients, and derive displacement values of the division points.
  • the unpacking unit 216 may unpack the quantized coefficients, dequantize the quantized coefficients, and derive the displacement values of the division points.
  • the unpacking unit 216 unpacks the quantized coefficients, dequantizes the quantized coefficients to derive transform coefficients, performs coefficient transform (for example, wavelet transform) on the transform coefficients, and calculates the displacement values of the division points. May be derived.
  • the unpacking unit 216 applies method 1 in this unpacking. That is, the unpacking unit 216 unpacks the displacement values of the division points of the desired partial region. For example, the unpacking unit 216 may unpack the displacement value of the division point of the desired hierarchy of the desired partial region.
  • the unpacking unit 216 may apply method 1-1. That is, the unpacking unit 216 may unpack the transform coefficients of a desired hierarchy of a desired partial region, perform inverse wavelet transform on the transform coefficients, and generate displacement values of division points.
  • the unpacking unit 216 may apply method 1-2. That is, the unpacking unit 216 specifies where in the two-dimensional image the data of the desired partial area is stored based on the partial area information (displacement video range specification information) included in the header information, The displacement values of the division points of the desired hierarchy may be unpacked from the identified area.
  • the unpacking unit 216 supplies the unpacked displacement values of the division points to the displacement value application unit 217.
  • the displacement value application unit 217 applies the supplied displacement values of the division points to the division points of the supplied base mesh (subdivided base mesh), and reconstructs the mesh.
  • this mesh is also referred to as a decoding mesh.
  • the displacement value application unit 217 generates a decoded mesh.
  • the displacement value application unit 217 outputs the generated decoding mesh to the outside of the decoding device 200.
  • the attribute video decoding unit 218 decodes the encoded data of the supplied attribute video based on the supplied header information, and generates (the current frame of) the attribute video.
  • the attribute video decoding unit 218 outputs the current frame of the generated attribute video, that is, the attribute map corresponding to the decoding mesh, to the outside of the decoding device 200.
  • the decoding device 200 can realize a partial access function. Therefore, the decoding device 200 can suppress an increase in the processing amount of decoding processing and suppress a decrease in encoding efficiency. In other words, the decoding device 200 can improve encoding/decoding performance.
  • the demultiplexer 211 demultiplexes the bitstream and extracts various encoded data in step S201.
  • step S202 the header decoding unit 212 decodes the encoded data of the header information extracted in step S201, and generates (restores) header information.
  • step S203 the base mesh decoding unit 213 decodes the encoded data of the base mesh extracted in step S201, and generates (restores) the current base mesh.
  • step S204 the subdivision unit 214 subdivides a desired partial region of the current base mesh.
  • the subdivision unit 214 identifies a partial area corresponding to the desired range in the mesh based on the partial area information (mesh range designation information) included in the header information, and specifies the specified partial area of the base mesh. may be subdivided.
  • step S205 the displacement video decoding unit 215 decodes the encoded data of the displacement video extracted in step S201, and generates (restores) (the current frame of) the displacement video.
  • the unpacking unit 216 unpacks the desired LoD displacement value of the desired partial region from the current frame (two-dimensional image). At this time, the unpacking unit 216 unpacks the transform coefficients that have been subjected to coefficient transformation (for example, wavelet transform) for each partial region, and performs inverse coefficient transformation (for example, inverse wavelet transform) on the transform coefficients for each partial region to The displacement value of may be derived. Furthermore, the unpacking unit 216 specifies where in the two-dimensional image the data of the desired partial area is stored based on the partial area information (displacement video range specification information) included in the header information, The displacement values of the division points of the desired hierarchy may be unpacked from the identified area.
  • coefficient transformation for example, wavelet transform
  • inverse coefficient transformation for example, inverse wavelet transform
  • step S207 the displacement value application unit 217 applies the displacement values of the division points unpacked in step S206 to the division points of the base mesh subdivided in step S204, and generates a decoded mesh.
  • step S208 the attribute video decoding unit 218 decodes the encoded data of the attribute video extracted in step S201, and generates (restores) the current frame of the attribute video, that is, the attribute map.
  • step S208 ends, the decoding process ends.
  • the decoding device 200 can realize a partial access function. Therefore, the decoding device 200 can suppress an increase in the processing amount of decoding processing and suppress a decrease in encoding efficiency. In other words, the decoding device 200 can improve encoding/decoding performance.
  • FIG. 12 is a block diagram illustrating an example of the configuration of an encoding device that is one aspect of an information processing device to which the present technology is applied.
  • a decoding device 250 shown in FIG. 12 is a device that decodes mesh encoded data.
  • the decoding device 250 decodes mesh encoded data using basically the same method as the V-DMC described in Non-Patent Document 1.
  • the decoding device 250 decodes (inter-decodes) encoded data in which the base mesh is inter-encoded.
  • the decoding device 250 decodes the mesh encoded data by applying method 1 described above. Further, the decoding device 250 may also apply method 1-1 or method 1-2 described above.
  • the decoding device 250 is a decoding device corresponding to the encoding device 150 in FIG. 8, and can decode the bitstream generated by the encoding device 150 and reconstruct a mesh.
  • FIG. 12 shows the main things such as the processing unit and the flow of data, and not all of the things shown in FIG. 12 are shown. That is, in the decoding device 250, there may be a processing unit that is not shown as a block in FIG. 12, or there may be a process or a data flow that is not shown as an arrow or the like in FIG.
  • the decoding device 250 includes a demultiplexing section 261, a header decoding section 262, a motion vector decoding section 263, a base mesh reconstruction section 264, a subdivision section 265, a displacement video decoding section 266, an unpacking section 267, a displacement value application section 268, and an attribute video decoding section 269.
  • the decoding device 250 is supplied with a bitstream generated by an encoding device (for example, the encoding device 150) that inter-encodes the base mesh.
  • an encoding device for example, the encoding device 150
  • the demultiplexer 261 demultiplexes the bitstream and extracts each encoded data included in the bitstream. For example, the demultiplexer 261 extracts header information of the bitstream from the bitstream and supplies it to the header decoder 262. It is assumed that encoded data of partial area information is stored in this header information. Furthermore, the demultiplexer 261 extracts motion vector encoded data from the bitstream and supplies it to the motion vector decoder 263. Furthermore, the demultiplexer 261 extracts encoded data of the displacement video from the bitstream and supplies it to the displacement video decoder 266. Furthermore, the demultiplexer 261 extracts encoded data of the attribute video from the bitstream and supplies it to the attribute video decoder 269.
  • the header decoding unit 262 decodes the supplied encoded data of header information and generates (restores) header information.
  • Header decoding section 262 supplies the generated header information to motion vector decoding section 263, subdividing section 265, displacement video decoding section 266, unpacking section 267, and attribute video decoding section 269.
  • the motion vector decoding unit 263 decodes the supplied motion vector encoded data based on the supplied header information, and generates (restores) a motion vector.
  • the motion vector decoding unit 263 supplies the generated motion vector to the base mesh reconstruction unit 264.
  • the base mesh reconstruction unit 264 applies the supplied motion vector to the reference base mesh and reconstructs the current base mesh.
  • the base mesh reconstruction unit 264 supplies the reconstructed current base mesh to the subdivision unit 265.
  • the base mesh reconstruction unit 264 may supply the current base mesh to an external device such as the decoding device 250 and store it so that it can be reused as a reference base mesh in a subsequent frame.
  • the reference base mesh may be generated from the decoded mesh.
  • the subdivision unit 265 subdivides the supplied base mesh based on the supplied header information, and supplies the subdivided base mesh to the displacement value application unit 268.
  • the subdivision unit 265 applies method 1 in this subdivision. That is, the subdivision unit 265 subdivides a desired partial region of the base mesh. In this case, the subdivision unit 265 may apply method 1-2. In other words, the subdivision unit 265 identifies a partial area corresponding to a desired range in the mesh based on the partial area information (mesh range designation information) included in the header information, and divides the specified partial area of the base mesh into May be subdivided.
  • the displacement video decoding unit 266 decodes the encoded data of the supplied displacement video based on the supplied header information, and generates (restores) (the current frame of) the displacement video.
  • the displacement video decoding unit 266 supplies (the current frame of) the generated displacement video to the unpacking unit 267.
  • the unpacking unit 267 unpacks the displacement value of the division point from the current frame of the supplied displacement video based on the supplied header information.
  • the unpacking unit 267 may unpack the transform coefficient and perform coefficient transformation (e.g., wavelet transformation) on the transform coefficient to derive the displacement value of the division point.
  • the unpacking unit 267 may also unpack the quantized coefficient and dequantize the quantized coefficient to derive the displacement value of the division point.
  • the unpacking unit 267 may also unpack the quantized coefficient and dequantize the quantized coefficient to derive the transform coefficient, and perform coefficient transformation (e.g., wavelet transformation) on the transform coefficient to derive the displacement value of the division point.
  • the unpacking unit 267 also applies method 1 in this unpacking. That is, the unpacking unit 267 unpacks the displacement values of the division points of the desired subregion. For example, the unpacking unit 267 may unpack the displacement values of the division points of the desired hierarchical level of the desired subregion.
  • the unpacking unit 267 may apply method 1-1. That is, the unpacking unit 267 may unpack the transform coefficients of a desired hierarchy of a desired partial region, perform inverse wavelet transform on the transform coefficients, and generate displacement values of division points.
  • the unpacking unit 267 may apply method 1-2. That is, the unpacking unit 267 specifies where in the two-dimensional image the data of the desired partial area is stored based on the partial area information (displacement video range specification information) included in the header information, The displacement values of the division points of the desired hierarchy may be unpacked from the identified area.
  • the unpacking unit 267 supplies the unpacked displacement values of the division points to the displacement value application unit 268.
  • the displacement value application unit 268 applies the supplied displacement values of the division points to the division points of the supplied base mesh (subdivided base mesh), and reconstructs the mesh (generates a decoded mesh). Displacement value application unit 268 outputs the generated decoding mesh to the outside of decoding device 250.
  • the attribute video decoding unit 269 decodes the encoded data of the supplied attribute video based on the supplied header information, and generates (the current frame of) the attribute video.
  • the attribute video decoding unit 269 outputs the current frame of the generated attribute video, that is, the attribute map corresponding to the decoding mesh, to the outside of the decoding device 250.
  • the decoding device 250 can realize a partial access function. Therefore, decoding device 250 can suppress an increase in the processing amount of decoding processing and suppress a decrease in encoding efficiency. In other words, decoding device 250 can improve encoding/decoding performance.
  • the demultiplexer 261 demultiplexes the bitstream and extracts various encoded data in step S251.
  • step S252 the header decoding unit 262 decodes the encoded data of the header information extracted in step S251, and generates (restores) header information.
  • step S253 the motion vector decoding unit 263 decodes the encoded data of the motion vector extracted in step S251, and generates (restores) a motion vector.
  • step S254 the base mesh reconstruction unit 264 reconstructs the current base mesh using the motion vector and the reference base mesh.
  • step S255 the subdivision unit 265 subdivides the desired partial region of the current base mesh.
  • the subdivision unit 265 identifies a partial area corresponding to the desired range in the mesh based on the partial area information (mesh range designation information) included in the header information, and specifies the specified partial area of the base mesh. may be subdivided.
  • step S256 the displacement video decoding unit 266 decodes the encoded data of the displacement video extracted in step S251, and generates (restores) (the current frame of) the displacement video.
  • the unpacking unit 267 unpacks the displacement value of the desired LoD of the desired partial region from the current frame (two-dimensional image).
  • the unpacking unit 267 unpacks the transform coefficients that have been subjected to coefficient transformation (for example, wavelet transform) for each partial region, and performs inverse coefficient transform (for example, inverse wavelet transform) on the transform coefficients for each partial region to The displacement value of may be derived.
  • the unpacking unit 267 specifies where in the two-dimensional image the data of the desired partial area is stored based on the partial area information (displacement video range specification information) included in the header information, The displacement values of the division points of the desired hierarchy may be unpacked from the identified area.
  • step S258 the displacement value application unit 268 applies the displacement values of the division points unpacked in step S257 to the division points of the base mesh subdivided in step S255, and generates a decoded mesh.
  • step S259 the attribute video decoding unit 269 decodes the encoded data of the attribute video extracted in step S251, and generates (restores) the current frame of the attribute video, that is, the attribute map.
  • step S259 ends, the decoding process ends.
  • the decoding device 250 can realize a partial access function. Therefore, decoding device 250 can suppress an increase in the processing amount of decoding processing and suppress a decrease in encoding efficiency. In other words, decoding device 250 can improve encoding/decoding performance.
  • the decoding process is performed as shown in FIG. 14.
  • the decoder decodes the bitstream to generate a base mesh, subdivides the base mesh, and generates the subdivided base mesh, as shown in the upper part of FIG. Apply displacement values to the split points.
  • the decoder decodes the bitstream to generate an Ubuki vector, applies the motion vector to the reference base mesh, and encodes the current Reconstruct the base mesh, subdivide the current base mesh, and apply displacement values to the division points of the subdivided base mesh.
  • this method involves subdivision of the base mesh that includes encoding distortion, which increases the displacement of division points and may reduce encoding efficiency.
  • the information processing device includes a base mesh vertex displacement value derivation unit that derives a base mesh vertex displacement value that is a displacement value of the vertices of the base mesh, and a base mesh vertex displacement value derivation unit that derives a base mesh vertex displacement value that is a displacement value of the vertices of the base mesh, and a fineness
  • a packing unit that packs the base mesh vertex displacement values and the displacement values of the hierarchical division points into a 2D image, and a displacement video encoding unit that encodes a displacement video using the 2D image as a frame. It may also include a section.
  • the base mesh may be generated by thinning out vertices from the original mesh to be encoded, which is composed of vertices and connections that express the three-dimensional structure of the object. That is, the base mesh may be coarser than the original mesh.
  • the displacement value of a division point may be the difference in position between the division point and the vertex of the original mesh (corresponding to the division point).
  • the base mesh vertex displacement value may be the difference in position between the vertices of the base mesh and the vertices of the original mesh.
  • the base mesh vertex displacement value which is the displacement value of the vertex of the base mesh
  • the displacement value of the dividing point obtained by subdividing the base mesh is hierarchized by fineness
  • the base mesh The vertex displacement values and the displacement values of their hierarchical division points may be packed into a 2D image, and a displacement video using the 2D image as a frame may be encoded.
  • the base mesh may be generated by thinning out vertices from the original mesh to be encoded, which is composed of vertices and connections that express the three-dimensional structure of the object. That is, the base mesh may be coarser than the original mesh.
  • the displacement value of a division point may be the difference in position between the division point and the vertex of the original mesh (corresponding to the division point).
  • the base mesh vertex displacement value may be the difference in position between the vertices of the base mesh and the vertices of the original mesh.
  • the base mesh can be corrected using the base mesh vertex displacement values. Thereby, reduction in encoding efficiency can be suppressed.
  • Method 2-1 When applying this method 2, the displacement values of the vertices of the current base mesh may be transmitted as shown in the second row from the top of the table in FIG. 15 (method 2-1). In other words, method 2 may be applied when intra-encoding the base mesh.
  • an information processing device including a base mesh vertex displacement value deriving unit, a packing unit, and a displacement video encoding unit includes a base mesh encoding unit that encodes the base mesh of the current frame, and a base mesh encoding unit that encodes the base mesh of the current frame.
  • the base mesh decoding unit decodes the encoded data
  • the base mesh vertex displacement value deriving unit operates between the base mesh of the current frame before encoding and the base mesh of the encoded and decoded current frame.
  • the displacement of the vertices of may be derived as the base mesh vertex displacement value. In other words, the displacement of a vertex due to encoding distortion may be used as the base mesh vertex displacement value.
  • the decoder decodes the bitstream to generate a base mesh, applies base mesh vertex displacement values to the base mesh, subdivides the base mesh, and subdivides the base mesh, as shown in the upper part of FIG. Apply displacement values to the division points of the base mesh.
  • Method 2 when applying Method 2, the displacement values of the vertices of the reference base mesh may be transmitted as shown at the bottom of the table in FIG. 15 (Method 2-2). In other words, method 2 may be applied when inter-coding the base mesh.
  • the base mesh vertex displacement value deriving unit is configured to combine a base mesh of a reference frame and a base mesh of a current frame.
  • the displacement of the vertices between them may be derived as the base mesh vertex displacement value. That is, a displacement of a vertex between frames (that is, a motion vector) may be used as a base mesh vertex displacement value.
  • the decoder applies the base mesh vertex displacement values to the reference base mesh to reconstruct the current base mesh, subdivides the current base mesh, and subdivides the subdivided Apply displacement values to the division points of the base mesh.
  • motion vector information can be packed into a two-dimensional image and encoded.
  • the encoder packs the base mesh vertex displacement values into the two-dimensional image separately from the displacement values of the division points.
  • the base mesh vertex displacement value 311 may be packed at the position before the displacement value of the dividing point for each fineness level.
  • the location where the base mesh vertex displacement values are packed may be predetermined or may be any location.
  • FIG. 18 is a block diagram illustrating an example of the configuration of an encoding device that is one aspect of an information processing device to which the present technology is applied.
  • the encoding device 100 shown in FIG. 18 is a device that encodes a mesh, as in the case of FIG. 6.
  • the encoding device 100 in this case encodes the mesh by applying method 2, method 2-1, or method 2-2 described above.
  • FIG. 18 shows the main things such as the processing unit and the flow of data, and not all of the things shown in FIG. 18 are shown. That is, in the encoding device 100, there may be a processing unit that is not shown as a block in FIG. 18, or there may be a process or a data flow that is not shown as an arrow or the like in FIG.
  • the encoding device 100 has a base mesh vertex displacement value deriving unit 411 and a packing unit 412 instead of the packing unit 114, compared to the configuration shown in FIG.
  • the base mesh vertex displacement value deriving unit 411 generates a base mesh based on the current base mesh supplied to the encoding device 100 and the base mesh (including encoding distortion) generated (restored) by the base mesh decoding unit 112. Derive vertex displacement values. That is, the base mesh vertex displacement value deriving unit 411 derives the displacement of a vertex due to encoding distortion as a base mesh vertex displacement value. The base mesh vertex displacement value deriving unit 411 supplies the derived base mesh vertex displacement value to the packing unit 412.
  • the packing unit 412 packs the displacement values of the dividing points supplied from the displacement value correction unit 113 and the base mesh vertex displacement values supplied from the base mesh vertex displacement value deriving unit 411 into a two-dimensional image.
  • the packing unit 412 may perform coefficient transformation (for example, wavelet transformation) on the displacement values of the dividing points and the base mesh vertex displacement values, and may pack the transformation coefficients into a two-dimensional image. Furthermore, the packing unit 412 may quantize the displacement values of division points and base mesh vertex displacement values (or transformation coefficients corresponding thereto), and pack the quantized coefficients into a two-dimensional image.
  • coefficient transformation for example, wavelet transformation
  • the packing unit 412 supplies the two-dimensional image packed with the displacement values of the division points and the base mesh vertex displacement values (or information equivalent thereto) to the displacement video encoding unit 115.
  • the other processing units are executed in the same way as in the example of FIG.
  • the encoding device 100 can suppress an increase in the displacement of the dividing point due to encoding distortion, and can suppress a decrease in encoding efficiency. In other words, the encoding device 100 can improve encoding/decoding performance.
  • each process from step S401 to step S403 is executed in the same way as each process from step S101 to step S103 in FIG.
  • step S404 the base mesh vertex displacement value deriving unit 411 derives a base mesh vertex displacement value based on the current base mesh before and after encoding. That is, the base mesh vertex displacement value deriving unit 411 derives the displacement of a vertex due to encoding distortion as a base mesh vertex displacement value.
  • step S405 the packing unit 114 packs the base mesh vertex displacement value derived in step S404 and the displacement value of the dividing point for each LoD into a frame (two-dimensional image).
  • step S406 to step S410 is executed in the same manner as each process from step S105 to step S109 in FIG.
  • the encoding process ends when the process of step S410 ends.
  • the encoding device 100 can suppress an increase in displacement of division points due to encoding distortion, and can suppress a decrease in encoding efficiency. In other words, the encoding device 100 can improve encoding/decoding performance.
  • FIG. 20 is a block diagram illustrating an example of the configuration of an encoding device that is one aspect of an information processing device to which the present technology is applied.
  • the encoding device 150 shown in FIG. 20 is a device that encodes a mesh, as in the case of FIG. 8.
  • the encoding device 150 encodes the mesh using basically the same method as the V-DMC described in Non-Patent Document 1. However, the encoding device 150 encodes the mesh by applying method 2, method 2-1, or method 2-2 described above.
  • FIG. 20 shows the main things such as the processing unit and the flow of data, and not all of the things shown in FIG. 20 are shown. That is, in the encoding device 150, there may be a processing unit that is not shown as a block in FIG. 20, or there may be a process or a data flow that is not shown as an arrow or the like in FIG.
  • the encoding device 150 uses base mesh vertex displacement values instead of the motion vector encoding section 161, base mesh reconstruction section 162, and packing section 164. It includes a deriving section 461, a current base mesh encoding section 462, a current base mesh decoding section 463, and a packing section 464.
  • the base mesh vertex displacement value deriving unit 461 derives a base mesh vertex displacement value based on the current base mesh supplied to the encoding device 150 and the reference base mesh. That is, the base mesh vertex displacement value deriving unit 461 derives the frame-to-frame displacement of the vertices of the base mesh as the base mesh vertex displacement value. The base mesh vertex displacement value deriving unit 461 supplies the derived base mesh vertex displacement value to the packing unit 464.
  • the current base mesh encoding unit 462 encodes the current base mesh supplied to the encoding device 150 and supplies the encoded data to the current base mesh decoding unit 463.
  • the current base mesh decoding unit 463 decodes the supplied current base mesh encoded data and generates (restores) a current base mesh. This generated current base mesh includes coding distortion.
  • the current base mesh decoding unit 463 supplies the generated current base mesh (including encoding distortion) to the displacement value correction unit 163.
  • the packing unit 464 packs the displacement values of the dividing points supplied from the displacement value correction unit 163 and the base mesh vertex displacement values supplied from the base mesh vertex displacement value deriving unit 461 into a two-dimensional image.
  • the packing unit 464 may perform coefficient transformation (for example, wavelet transformation) on the displacement values of the dividing points and base mesh vertex displacement values, and may pack the transformation coefficients into a two-dimensional image.
  • the packing unit 464 may also quantize the displacement values of the division points and the base mesh vertex displacement values (or the transformation coefficients corresponding thereto), and pack the quantized coefficients into a two-dimensional image.
  • the packing unit 464 supplies the two-dimensional image packed with the displacement values of the division points and base mesh vertex displacement values (or information equivalent thereto) to the displacement video encoding unit 165.
  • the other processing units are executed in the same way as in the example of FIG.
  • the encoding device 150 can pack motion vector information into a two-dimensional image and encode it. In other words, the encoding device 150 can apply two-dimensional inter encoding to the motion vector. Therefore, encoding device 150 can suppress reduction in encoding efficiency. In other words, the encoding device 150 can improve encoding/decoding performance.
  • step S451 the base mesh vertex displacement value deriving unit 461 derives the base mesh vertex displacement value based on the current base mesh and the reference base mesh. That is, the base mesh vertex displacement value deriving unit 461 derives the frame-to-frame displacement of the vertices of the base mesh as the base mesh vertex displacement value.
  • step S452 the current base mesh encoding unit 462 encodes the current base mesh.
  • step S453 the current base mesh decoding unit 463 decodes the encoded data of the current base mesh generated in step S452, and generates (restores) the current base mesh.
  • step S454 the displacement value correction unit 163 corrects the displacement value of the division point using the base mesh (including encoding distortion) generated (restored) in step S453.
  • step S455 the packing unit 464 packs the displacement values of the dividing points and base mesh vertex displacement values for each LoD into a two-dimensional image.
  • step S456 to step S460 is executed in the same manner as each process from step S155 to step S159 in FIG.
  • the encoding process ends when the process of step S460 ends.
  • the encoding device 150 can pack motion vector information into a two-dimensional image and encode it. In other words, the encoding device 150 can apply two-dimensional inter encoding to the motion vector. Therefore, encoding device 150 can suppress reduction in encoding efficiency. In other words, the encoding device 150 can improve encoding/decoding performance.
  • Method 2-1, Method 2-2 ⁇ Method 2, Method 2-1, Method 2-2>
  • the above-mentioned methods 2, 2-1, and 2-2 can also be applied to a decoding device.
  • an information processing device decodes a bitstream and generates a 2D image in which base mesh vertex displacement values, which are displacement values of vertices of a base mesh, and displacement values of dividing points obtained by subdividing the base mesh are packed.
  • a displacement video decoding unit that generates a displacement video with a frame of A base mesh vertex position application section that applies base mesh vertex displacement values to the vertices of the mesh, a subdivision section that subdivides the base mesh to which the base mesh vertex displacement values are applied to the vertices, and a subdivision section that applies the base mesh vertex displacement values to the vertices of the mesh.
  • the dividing point may be provided with a displacement value application unit that applies a displacement value of the dividing point.
  • the base mesh may be generated by thinning out vertices from the original mesh to be encoded, which is composed of vertices and connections that express the three-dimensional structure of the object.
  • this base mesh may be coarser than the original mesh.
  • the displacement value of a division point may be the difference in position between the division point and the vertex of the original mesh (corresponding to the division point).
  • the base mesh vertex displacement value may be the difference in position between the vertices of the base mesh and the vertices of the original mesh.
  • a 2D image is obtained by decoding a bitstream and packing base mesh vertex displacement values, which are displacement values of vertices of a base mesh, and displacement values of dividing points obtained by subdividing the base mesh.
  • Generate a displacement video with frames as unpack the base mesh vertex displacement values packed into the 2D image of the current frame of the displacement video and the displacement values of the division points, and add the base mesh vertex displacement values to the vertices of the base mesh. may be applied to subdivide the base mesh to which the base mesh vertex displacement value is applied to the vertices, and apply the displacement value of the division point to the division point of the subdivided base mesh.
  • the base mesh may be generated by thinning out vertices from the original mesh to be encoded, which is composed of vertices and connections that express the three-dimensional structure of the object.
  • this base mesh may be coarser than the original mesh.
  • the displacement value of a division point may be the difference in position between the division point and the vertex of the original mesh (corresponding to the division point).
  • the base mesh vertex displacement value may be the difference in position between the vertices of the base mesh and the vertices of the original mesh.
  • the base mesh can be corrected using the base mesh vertex displacement values. Thereby, reduction in encoding efficiency can be suppressed.
  • an information processing device having a displacement video decoding unit, an unpacking unit, a base mesh vertex position application unit, a subdivision unit, and a displacement value application unit may further include a base mesh decoding unit that decodes the bit stream and generates a base mesh for the current frame, and the base mesh vertex position application unit may apply the base mesh vertex displacement values to the vertices of the generated base mesh for the current frame.
  • the base mesh vertex position application unit Base mesh vertex displacement values may be applied to the vertices of the frame's base mesh.
  • the motion vector information can be packed into a two-dimensional image and coded.
  • FIG. 22 is a block diagram illustrating an example of the configuration of a decoding device that is one aspect of an information processing device to which the present technology is applied.
  • a decoding device 200 shown in FIG. 22 is a device that decodes mesh encoded data, as in the case of FIG. 10. However, the decoding device 200 in this case decodes the mesh encoded data by applying method 2, method 2-1, or method 2-2 described above.
  • FIG. 22 shows the main things such as the processing unit and the flow of data, and not all of the things shown in FIG. 22 are shown. That is, in the decoding device 200, there may be a processing unit that is not shown as a block in FIG. 22, or there may be a process or a data flow that is not shown as an arrow or the like in FIG.
  • the decoding device 200 has an unpacking section 511 and a base mesh vertex displacement value application section 512 instead of the unpacking section 216, compared to the configuration shown in FIG.
  • the unpacking unit 511 unpacks the base mesh vertex displacement values and the displacement values of the division points from the current frame of the displacement video supplied from the displacement video decoding unit 215. At this time, the unpacking unit 511 may unpack the transformation coefficients, perform coefficient transformation (for example, wavelet transformation) on the transformation coefficients, and derive displacement values of division points and base mesh vertex displacement values. Further, the unpacking unit 511 may unpack the quantized coefficients, dequantize the quantized coefficients, and derive displacement values of division points and base mesh vertex displacement values.
  • coefficient transformation for example, wavelet transformation
  • the unpacking unit 511 unpacks the quantized coefficients, dequantizes the quantized coefficients to derive transform coefficients, performs coefficient transform (for example, wavelet transform) on the transform coefficients, and calculates the displacement value of the dividing point.
  • Base mesh vertex displacement values may be derived.
  • the unpacking unit 511 supplies the unpacked base mesh vertex displacement value to the base mesh vertex displacement value application unit 512. Further, the unpacking unit 511 supplies the displacement value of the unpacked division point to the displacement value application unit 217.
  • the base mesh vertex displacement value applying unit 512 applies the base mesh vertex displacement value supplied from the unpacking unit 511 to the vertices of the current base mesh supplied from the base mesh decoding unit 213. This reduces encoding distortion.
  • the base mesh vertex displacement value application unit 512 supplies the processed base mesh to the subdivision unit 214.
  • the other processing units are executed in the same way as in the example of FIG.
  • the decoding device 200 can suppress an increase in displacement of division points due to coding distortion, and suppress a reduction in coding efficiency. In other words, the decoding device 200 can improve encoding/decoding performance.
  • each process from step S501 to step S503 is executed in the same way as each process from step S201 to step S203 in FIG. 11.
  • step S504 the unpacking unit 511 unpacks the vertex positions of the base mesh.
  • step S505 the base mesh vertex displacement value application unit 512 applies the base mesh vertex displacement value to the vertices of the base mesh.
  • step S506 to step S510 is executed in the same way as each process from step S204 to step S208 in FIG.
  • step S510 Upon completion of the process in step S510, the decoding process ends.
  • the decoding device 200 can suppress an increase in displacement of division points due to coding distortion, and suppress a reduction in coding efficiency. In other words, the decoding device 200 can improve encoding/decoding performance.
  • FIG. 24 is a block diagram illustrating an example of the configuration of an encoding device that is one aspect of an information processing device to which the present technology is applied.
  • a decoding device 250 shown in FIG. 24 is a device that decodes mesh encoded data, as in the case of FIG. 12. However, the decoding device 250 decodes the mesh encoded data by applying method 2, method 2-1, or method 2-2 described above.
  • FIG. 24 shows the main things such as the processing unit and the flow of data, and not all of the things shown in FIG. 24 are shown. That is, in the decoding device 250, there may be a processing unit that is not shown as a block in FIG. 24, or there may be a process or a data flow that is not shown as an arrow or the like in FIG.
  • the decoding device 250 includes an unpacking unit 561 and a base It has a mesh reconstruction unit 562.
  • the unpacking unit 561 unpacks the base mesh vertex displacement values and the displacement values of the division points from the current frame of the displacement video supplied from the displacement video decoding unit 266. At this time, the unpacking unit 561 may unpack the transformation coefficients, perform coefficient transformation (for example, wavelet transformation) on the transformation coefficients, and derive displacement values of division points and base mesh vertex displacement values. Further, the unpacking unit 561 may unpack the quantized coefficients, dequantize the quantized coefficients, and derive displacement values of division points and base mesh vertex displacement values.
  • coefficient transformation for example, wavelet transformation
  • the unpacking unit 561 unpacks the quantized coefficients, dequantizes the quantized coefficients to derive transform coefficients, performs coefficient transform (for example, wavelet transform) on the transform coefficients, and calculates the displacement values of the division points.
  • Base mesh vertex displacement values may be derived.
  • the unpacking unit 561 supplies the unpacked base mesh vertex displacement values to the base mesh reconstruction unit 562. Further, the unpacking unit 561 supplies the displacement value of the unpacked division point to the displacement value application unit 268.
  • the base mesh reconstruction unit 562 applies the base mesh vertex displacement values supplied from the unpacking unit 561 to the vertices of the reference base mesh. This reconstructs the current base mesh.
  • the base mesh reconstruction unit 562 supplies the reconstructed current base mesh to the subdivision unit 265.
  • the other processing units are executed in the same way as in the example of FIG.
  • the decoding device 250 can pack and encode motion vector information into a two-dimensional image. In other words, the decoding device 250 can apply two-dimensional inter encoding to the motion vector. Therefore, decoding device 250 can suppress reduction in encoding efficiency. In other words, decoding device 250 can improve encoding/decoding performance.
  • steps S551 to S553 are executed in the same way as steps S251, S252, and S256 in FIG. 13.
  • step S554 the unpacking unit 561 unpacks the vertex positions of the base mesh.
  • step S555 the base mesh reconstruction unit 562 applies the base mesh vertex displacement values to the vertices of the reference base mesh to reconstruct the current base mesh.
  • step S556 to step S559 is executed in the same manner as each process from step S255 and step S257 to step S259 in FIG.
  • step S560 Upon completion of the process in step S560, the decoding process ends.
  • the decoding device 250 can pack and encode motion vector information into a two-dimensional image. In other words, the decoding device 250 can apply two-dimensional inter encoding to the motion vector. Therefore, decoding device 250 can suppress reduction in encoding efficiency. In other words, decoding device 250 can improve encoding/decoding performance.
  • the series of processes described above can be executed by hardware or software.
  • the programs that make up the software are installed on the computer.
  • the computer includes a computer built into dedicated hardware and, for example, a general-purpose personal computer that can execute various functions by installing various programs.
  • FIG. 26 is a block diagram showing an example of the hardware configuration of a computer that executes the above-described series of processes using a program.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • An input/output interface 910 is also connected to the bus 904.
  • An input section 911 , an output section 912 , a storage section 913 , a communication section 914 , and a drive 915 are connected to the input/output interface 910 .
  • the input unit 911 includes, for example, a keyboard, a mouse, a microphone, a touch panel, an input terminal, and the like.
  • the output unit 912 includes, for example, a display, a speaker, an output terminal, and the like.
  • the storage unit 913 includes, for example, a hard disk, a RAM disk, a nonvolatile memory, and the like.
  • the communication unit 914 includes, for example, a network interface.
  • the drive 915 drives a removable medium 921 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 901 executes the above-described series by, for example, loading a program stored in the storage unit 913 into the RAM 903 via the input/output interface 910 and the bus 904 and executing it. processing is performed.
  • the RAM 903 also appropriately stores data necessary for the CPU 901 to execute various processes.
  • a program executed by a computer can be applied by being recorded on a removable medium 921 such as a package medium, for example.
  • the program can be installed in the storage unit 913 via the input/output interface 910 by attaching the removable medium 921 to the drive 915.
  • the program may also be provided via wired or wireless transmission media, such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be received by the communication unit 914 and installed in the storage unit 913.
  • this program can also be installed in the ROM 902 or storage unit 913 in advance.
  • the present technology can be applied to any configuration.
  • the present technology can be applied to various electronic devices.
  • the present technology can be applied to a processor (e.g., video processor) as a system LSI (Large Scale Integration), a module (e.g., video module) that uses multiple processors, etc., a unit (e.g., video unit) that uses multiple modules, etc.
  • a processor e.g., video processor
  • the present invention can be implemented as a part of a device, such as a set (for example, a video set), which is a unit with additional functions.
  • the present technology can also be applied to a network system configured by a plurality of devices.
  • the present technology may be implemented as cloud computing in which multiple devices share and jointly perform processing via a network.
  • this technology will be implemented in a cloud service that provides services related to images (moving images) to any terminal such as a computer, AV (Audio Visual) equipment, mobile information processing terminal, IoT (Internet of Things) device, etc. You may also do so.
  • a system refers to a collection of multiple components (devices, modules (components), etc.), and it does not matter whether all the components are in the same housing or not. Therefore, multiple devices housed in separate casings and connected via a network, and one device with multiple modules housed in one casing are both systems. .
  • Systems, devices, processing units, etc. to which this technology is applied can be used in any field, such as transportation, medical care, crime prevention, agriculture, livestock farming, mining, beauty, factories, home appliances, weather, and nature monitoring. . Moreover, its use is also arbitrary.
  • the term “flag” refers to information for identifying multiple states, and includes not only information used to identify two states, true (1) or false (0), but also information for identifying three or more states. Information that can identify the state is also included. Therefore, the value that this "flag” can take may be, for example, a binary value of 1/0, or a value of three or more. That is, the number of bits constituting this "flag" is arbitrary, and may be 1 bit or multiple bits.
  • identification information can be assumed not only to be included in the bitstream, but also to include differential information of the identification information with respect to certain reference information, so this specification
  • flags can be assumed not only to be included in the bitstream, but also to include differential information of the identification information with respect to certain reference information, so this specification
  • flags and “identification information” include not only that information but also difference information with respect to reference information.
  • various information (metadata, etc.) regarding encoded data may be transmitted or recorded in any form as long as it is associated with encoded data.
  • the term "associate" means, for example, that when processing one data, the data of the other can be used (linked). In other words, data that are associated with each other may be combined into one piece of data, or may be made into individual pieces of data.
  • information associated with encoded data (image) may be transmitted on a transmission path different from that of the encoded data (image).
  • information associated with encoded data (image) may be recorded on a different recording medium (or in a different recording area of the same recording medium) than the encoded data (image). good.
  • this "association" may be a part of the data instead of the entire data.
  • an image and information corresponding to the image may be associated with each other in arbitrary units such as multiple frames, one frame, or a portion within a frame.
  • embodiments of the present technology are not limited to the embodiments described above, and various changes can be made without departing from the gist of the present technology.
  • the configuration described as one device (or processing section) may be divided and configured as a plurality of devices (or processing sections).
  • the configurations described above as a plurality of devices (or processing units) may be configured as one device (or processing unit).
  • part of the configuration of one device (or processing unit) may be included in the configuration of another device (or other processing unit) as long as the configuration and operation of the entire system are substantially the same. .
  • the above-mentioned program may be executed on any device.
  • the device has the necessary functions (functional blocks, etc.) and can obtain the necessary information.
  • each step of one flowchart may be executed by one device, or may be executed by multiple devices.
  • the multiple processes may be executed by one device, or may be shared and executed by multiple devices.
  • multiple processes included in one step can be executed as multiple steps.
  • processes described as multiple steps can also be executed together as one step.
  • the processing of the steps described in the program may be executed chronologically in the order described in this specification, or may be executed in parallel, or may be executed in parallel. It may also be configured to be executed individually at necessary timings, such as when a request is made. In other words, the processing of each step may be executed in a different order from the order described above, unless a contradiction occurs. Furthermore, the processing of the step of writing this program may be executed in parallel with the processing of other programs, or may be executed in combination with the processing of other programs.
  • the present technology can also have the following configuration.
  • the base mesh is generated by thinning out the vertices from the original mesh to be encoded, which is composed of vertices and connections that express the three-dimensional structure of the object, and is a mesh that is coarser than the original mesh,
  • the displacement value is a difference in position between the dividing point and the vertex of the original mesh.
  • the information processing device performs wavelet transform on the displacement value of the dividing point for each of the partial regions, and packs the obtained transform coefficients into the 2D image.
  • the displacement video encoding unit further encodes partial region information,
  • the partial region information includes mesh range designation information indicating the range of the partial region in the mesh, and displacement video range designation information indicating the range of the partial region in the 2D image of the displacement video.
  • the information processing device according to 2).
  • (4) The information processing device according to any one of (1) to (3), further comprising: a base mesh encoding unit that encodes the base mesh of the current frame.
  • the motion vector encoding unit according to any one of (1) to (3), further comprising: a motion vector encoding unit that encodes a motion vector of the vertex of the base mesh of the current frame based on the base mesh of the reference frame.
  • Information processing device (6) Hierarchize the displacement values of division points obtained by subdividing the base mesh for each degree of fineness, pack the displacement values of the hierarchical division points into a 2D image for each partial area of the object, and process the 2D image.
  • the base mesh is generated by thinning out the vertices from the original mesh to be encoded, which is composed of vertices and connections that express the three-dimensional structure of the object, and is a mesh that is coarser than the original mesh,
  • the displacement value is a positional difference between the dividing point and the vertex of the original mesh.
  • (11) Decode the bitstream and subdivide the base mesh to create a displacement video whose frames are 2D images in which the displacement values of the division points obtained are layered for each level of definition and packed for each subregion of the object.
  • a displacement video decoding unit an unpacking unit that unpacks the displacement value of the division point of a desired layer of a desired partial region packed into the 2D image of the current frame of the displacement video; a subdivision unit that subdivides the base mesh of the current frame; a displacement value application unit that applies a displacement value of the division point to the division point of the subdivided base mesh
  • the base mesh is generated by thinning out the vertices from the original mesh to be encoded, which is composed of vertices and connections that express the three-dimensional structure of the object, and is a mesh that is coarser than the original mesh,
  • the displacement value is a difference in position between the dividing point and the vertex of the original mesh.
  • Transform coefficients obtained by wavelet transforming the displacement values of the division points for each of the partial regions are packed into the 2D image,
  • the information processing device wherein the unpacking unit unpacks the transform coefficients of a desired hierarchy of a desired partial region, performs inverse wavelet transform on the transform coefficients, and generates displacement values of the division points.
  • a motion vector generation unit that decodes the bitstream and generates a motion vector; The method according to any one of (11) to (13), further comprising: a base mesh reconstruction unit that applies the motion vector to the vertices of the base mesh of the reference frame and reconstructs the base mesh of the current frame.
  • Information processing device (16) Decode the bitstream and subdivide the base mesh to create a displacement video whose frames are 2D images in which the displacement values of the division points obtained are layered for each level of definition and packed for each subregion of the object.
  • the base mesh is generated by thinning out the vertices from the original mesh to be encoded, which is composed of vertices and connections that express the three-dimensional structure of the object, and is a mesh that is coarser than the original mesh,
  • the displacement value is a positional difference between the dividing point and the vertex of the original mesh.
  • a base mesh vertex displacement value deriving unit that derives a base mesh vertex displacement value that is a displacement value of the vertices of the base mesh; a packing unit that hierarchizes displacement values of division points obtained by subdividing the base mesh for each degree of fineness, and packs the base mesh vertex displacement values and the hierarchized displacement values of the division points into a 2D image; a displacement video encoding unit that encodes a displacement video using the 2D image as a frame,
  • the base mesh is generated by thinning out the vertices from the original mesh to be encoded, which is composed of vertices and connections that express the three-dimensional structure of the object, and is a mesh that is coarser than the original mesh,
  • the displacement value of the division point is the difference in position between the division point and the vertex of the original mesh
  • the base mesh vertex displacement value is a positional difference between the vertex of the base mesh and the vertex of the original mesh.
  • a base mesh encoding unit that encodes the base mesh of the current frame; further comprising: a base mesh decoding unit that decodes encoded data of the base mesh of the current frame;
  • the base mesh vertex displacement value deriving unit calculates the displacement of the vertices between the base mesh of the current frame before encoding and the base mesh of the encoded and decoded current frame into the base mesh.
  • the information processing device in which the vertex displacement value is derived.
  • the base mesh vertex displacement value deriving unit derives the displacement of the vertex between the base mesh of the reference frame and the base mesh of the current frame as the base mesh vertex displacement value.
  • the base mesh is generated by thinning out the vertices from the original mesh to be encoded, which is composed of vertices and connections that express the three-dimensional structure of the object, and is a mesh that is coarser than the original mesh,
  • the displacement value of the division point is the difference in position between the division point and the vertex of the original mesh,
  • the information processing method wherein the base mesh vertex displacement value is a positional difference between the vertex of the base mesh and the vertex of the original mesh.
  • (31) Decode the bitstream and use a 2D image as a frame in which the base mesh vertex displacement values, which are the displacement values of the vertices of the base mesh, and the displacement values of division points obtained by subdividing the base mesh are packed.
  • a displacement video decoder that generates a displacement video; an unpacking unit that unpacks the base mesh vertex displacement values and the division point displacement values packed into the 2D image of the current frame of the displacement video; a base mesh vertex position application unit that applies the base mesh vertex displacement value to the vertices of the base mesh; a subdivision unit that subdivides the base mesh to which the base mesh vertex displacement value is applied to the vertices; a displacement value application unit that applies a displacement value of the division point to the division point of the subdivided base mesh,
  • the base mesh is generated by thinning out the vertices from the original mesh to be encoded, which is composed of vertices and connections that express the three-dimensional structure of the object, and is a mesh
  • (32) further comprising: a base mesh decoding unit that decodes a bitstream and generates the base mesh of the current frame; The information processing device according to (31), wherein the base mesh vertex position application unit applies the base mesh vertex displacement value to the vertices of the base mesh of the generated current frame. (33) The information processing device according to (31), wherein the base mesh vertex position application unit applies the base mesh vertex displacement value to the vertices of the base mesh of a reference frame. (34) Decode the bitstream and create a frame as a 2D image in which base mesh vertex displacement values, which are displacement values of vertices of the base mesh, and displacement values of dividing points obtained by subdividing the base mesh are packed.
  • the base mesh is generated by thinning out the vertices from the original mesh to be encoded, which is composed of vertices and connections that express the three-dimensional structure of the object, and is a mesh that is coarser than the original mesh,
  • the displacement value of the division point is the difference in position between the division point and the vertex of the original mesh,
  • the information processing method wherein the base mesh vertex displacement value is a positional difference between the vertex of the base mesh and the vertex of the original mesh.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本開示は、符号化・復号の性能を向上させることができるようにする情報処理装置および方法に関する。 オブジェクトの３次元構造を表現する頂点および接続により構成されるベースメッシュを細分化して得られる分割点の変位値を精細度毎に階層化し、階層化された分割点の変位値をオブジェクトの部分領域毎に2D画像にパッキングし、その2D画像をフレームとする変位ビデオを符号化する。本開示は、例えば、情報処理装置、電子機器、情報処理方法、またはプログラム等に適用することができる。

Description

情報処理装置および方法
　本開示は、情報処理装置および方法に関し、特に、符号化・復号の性能を向上させることができるようにした情報処理装置および方法に関する。
　従来、頂点と接続によりオブジェクトの３次元構造を表現する3Dデータであるメッシュの符号化方法として、V-DMC（Video-based Dynamic Mesh Coding）があった（例えば、非特許文献１参照）。V-DMCでは、符号化対象のメッシュを、粗いベースメッシュと、そのベースメッシュを細分化して得られる分割点の変位値とで表現し、そのベースメッシュと変位値を符号化する。変位値は、２次元画像に格納（パッキング）され、画像として符号化される。オブジェクトは、時間方向に変化し得る（動的である）ので、メッシュ（つまり、ベースメッシュや変位値）も動的である。したがって、変位値は、その２次元画像をフレームとする動画像（変位ビデオ）として符号化される。
Khaled Mammou, Jungsun Kim, Alexis Tourapis, Dimitri Podborski, Krasimir Kolarov, "[V-CG] Apple’s Dynamic Mesh Coding CfP Response", ISO/IEC JTC 1/SC 29/WG 7 m59281, April 2022
　しかしながら、この方法では、単純に変位値をパッキングするためだけに変位ビデオが使用されており、近年、変位ビデオのさらなる活用が求められていた。
　本開示は、このような状況に鑑みてなされたものであり、変位ビデオの利用方法を拡張することにより、符号化・復号の性能を向上させることができるようにするものである。
　本技術の一側面の情報処理装置は、ベースメッシュを細分化して得られる分割点の変位値を精細度毎に階層化し、階層化された前記分割点の変位値をオブジェクトの部分領域毎に2D画像にパッキングするパッキング部と、前記2D画像をフレームとする変位ビデオを符号化する変位ビデオ符号化部とを備え、前記ベースメッシュは、前記オブジェクトの３次元構造を表現する頂点および接続により構成される符号化対象のオリジナルメッシュから前記頂点を間引くことにより生成され、前記オリジナルメッシュよりも粗いメッシュであり、前記変位値は、前記分割点と前記オリジナルメッシュの前記頂点との間の位置の差である情報処理装置である。
　本技術の一側面の情報処理方法は、ベースメッシュを細分化して得られる分割点の変位値を精細度毎に階層化し、階層化された前記分割点の変位値をオブジェクトの部分領域毎に2D画像にパッキングし、前記2D画像をフレームとする変位ビデオを符号化し、前記ベースメッシュは、前記オブジェクトの３次元構造を表現する頂点および接続により構成される符号化対象のオリジナルメッシュから前記頂点を間引くことにより生成され、前記オリジナルメッシュよりも粗いメッシュであり、前記変位値は、前記分割点と前記オリジナルメッシュの前記頂点との間の位置の差である情報処理方法である。
　本技術の他の側面の情報処理装置は、ビットストリームを復号し、ベースメッシュを細分化して得られる分割点の変位値が精細度毎に階層化されてオブジェクトの部分領域毎にパッキングされた2D画像をフレームとする変位ビデオを生成する変位ビデオ復号部と、前記変位ビデオのカレントフレームの前記2D画像にパッキングされた、所望の部分領域の所望の階層の前記分割点の変位値をアンパッキングするアンパッキング部と、前記カレントフレームの前記ベースメッシュを細分化する細分化部と、細分化された前記ベースメッシュの前記分割点に、前記分割点の変位値を適用する変位値適用部とを備え、前記ベースメッシュは、前記オブジェクトの３次元構造を表現する頂点および接続により構成される符号化対象のオリジナルメッシュから前記頂点を間引くことにより生成され、前記オリジナルメッシュよりも粗いメッシュであり、前記変位値は、前記分割点と前記オリジナルメッシュの前記頂点との間の位置の差である情報処理装置である。
　本技術の他の側面の情報処理方法は、ビットストリームを復号し、ベースメッシュを細分化して得られる分割点の変位値が精細度毎に階層化されてオブジェクトの部分領域毎にパッキングされた2D画像をフレームとする変位ビデオを生成し、前記変位ビデオのカレントフレームの前記2D画像にパッキングされた、所望の部分領域の所望の階層の前記分割点の変位値をアンパッキングし、前記カレントフレームの前記ベースメッシュを細分化し、細分化された前記ベースメッシュの前記分割点に、前記分割点の変位値を適用し、前記ベースメッシュは、前記オブジェクトの３次元構造を表現する頂点および接続により構成される符号化対象のオリジナルメッシュから前記頂点を間引くことにより生成され、前記オリジナルメッシュよりも粗いメッシュであり、前記変位値は、前記分割点と前記オリジナルメッシュの前記頂点との間の位置の差である情報処理方法である。
　本技術のさらに他の側面の情報処理装置は、ベースメッシュの頂点の変位値であるベースメッシュ頂点変位値を導出するベースメッシュ頂点変位値導出部と、前記ベースメッシュを細分化して得られる分割点の変位値を精細度毎に階層化し、前記ベースメッシュ頂点変位値と階層化された前記分割点の変位値とを2D画像にパッキングするパッキング部と、前記2D画像をフレームとする変位ビデオを符号化する変位ビデオ符号化部とを備え、前記ベースメッシュは、オブジェクトの３次元構造を表現する頂点および接続により構成される符号化対象のオリジナルメッシュから前記頂点を間引くことにより生成され、前記オリジナルメッシュよりも粗いメッシュであり、前記分割点の変位値は、前記分割点と前記オリジナルメッシュの前記頂点との間の位置の差であり、前記ベースメッシュ頂点変位値は、前記ベースメッシュの前記頂点と前記オリジナルメッシュの前記頂点との間の位置の差である情報処理装置である。
　本技術のさらに他の側面の情報処理方法は、ベースメッシュの頂点の変位値であるベースメッシュ頂点変位値を導出し、前記ベースメッシュを細分化して得られる分割点の変位値を精細度毎に階層化し、前記ベースメッシュ頂点変位値と階層化された前記分割点の変位値とを2D画像にパッキングし、前記2D画像をフレームとする変位ビデオを符号化し、前記ベースメッシュは、オブジェクトの３次元構造を表現する頂点および接続により構成される符号化対象のオリジナルメッシュから前記頂点を間引くことにより生成され、前記オリジナルメッシュよりも粗いメッシュであり、前記分割点の変位値は、前記分割点と前記オリジナルメッシュの前記頂点との間の位置の差であり、前記ベースメッシュ頂点変位値は、前記ベースメッシュの前記頂点と前記オリジナルメッシュの前記頂点との間の位置の差である情報処理方法である。
　本技術のさらに他の側面の情報処理装置は、ビットストリームを復号し、ベースメッシュの頂点の変位値であるベースメッシュ頂点変位値と、前記ベースメッシュを細分化して得られる分割点の変位値とがパッキングされた2D画像をフレームとする変位ビデオを生成する変位ビデオ復号部と、前記変位ビデオのカレントフレームの前記2D画像にパッキングされた前記ベースメッシュ頂点変位値と前記分割点の変位値とをアンパッキングするアンパッキング部と、前記ベースメッシュの前記頂点に前記ベースメッシュ頂点変位値を適用するベースメッシュ頂点位置適用部と、前記頂点に前記ベースメッシュ頂点変位値が適用された前記ベースメッシュを細分化する細分化部と、細分化された前記ベースメッシュの前記分割点に、前記分割点の変位値を適用する変位値適用部とを備え、前記ベースメッシュは、オブジェクトの３次元構造を表現する頂点および接続により構成される符号化対象のオリジナルメッシュから前記頂点を間引くことにより生成され、前記オリジナルメッシュよりも粗いメッシュであり、前記分割点の変位値は、前記分割点と前記オリジナルメッシュの前記頂点との間の位置の差であり、前記ベースメッシュ頂点変位値は、前記ベースメッシュの前記頂点と前記オリジナルメッシュの前記頂点との間の位置の差である情報処理装置である。
　本技術のさらに他の側面の情報処理方法は、ビットストリームを復号し、ベースメッシュの頂点の変位値であるベースメッシュ頂点変位値と、前記ベースメッシュを細分化して得られる分割点の変位値とがパッキングされた2D画像をフレームとする変位ビデオを生成し、前記変位ビデオのカレントフレームの前記2D画像にパッキングされた前記ベースメッシュ頂点変位値と前記分割点の変位値とをアンパッキングし、前記ベースメッシュの前記頂点に前記ベースメッシュ頂点変位値を適用し、前記頂点に前記ベースメッシュ頂点変位値が適用された前記ベースメッシュを細分化し、細分化された前記ベースメッシュの前記分割点に、前記分割点の変位値を適用し、前記ベースメッシュは、オブジェクトの３次元構造を表現する頂点および接続により構成される符号化対象のオリジナルメッシュから前記頂点を間引くことにより生成され、前記オリジナルメッシュよりも粗いメッシュであり、前記分割点の変位値は、前記分割点と前記オリジナルメッシュの前記頂点との間の位置の差であり、前記ベースメッシュ頂点変位値は、前記ベースメッシュの前記頂点と前記オリジナルメッシュの前記頂点との間の位置の差である情報処理方法である。
　本技術の一側面の情報処理装置および方法においては、ベースメッシュを細分化して得られる分割点の変位値が精細度毎に階層化され、その階層化された分割点の変位値がオブジェクトの部分領域毎に2D画像にパッキングされ、その2D画像をフレームとする変位ビデオが符号化される。
　本技術の他の側面の情報処理装置および方法においては、ベースメッシュを細分化して得られる分割点の変位値が精細度毎に階層化されてオブジェクトの部分領域毎にパッキングされた2D画像をフレームとする変位ビデオが生成され、その変位ビデオのカレントフレームの2D画像にパッキングされた、所望の部分領域の所望の階層の分割点の変位値がアンパッキングされ、カレントフレームのベースメッシュが細分化され、細分化されたベースメッシュの分割点に、その分割点の変位値が適用される。
　本技術のさらに他の側面の情報処理装置および方法においては、ベースメッシュの頂点の変位値であるベースメッシュ頂点変位値が導出され、そのベースメッシュを細分化して得られる分割点の変位値が精細度毎に階層化され、そのベースメッシュ頂点変位値とその階層化された分割点の変位値とが2D画像にパッキングされ、2D画像をフレームとする変位ビデオが符号化される。
　本技術のさらに他の側面の情報処理装置および方法においては、ビットストリームが復号され、ベースメッシュの頂点の変位値であるベースメッシュ頂点変位値と、そのベースメッシュを細分化して得られる分割点の変位値とがパッキングされた2D画像をフレームとする変位ビデオが生成され、その変位ビデオのカレントフレームの2D画像にパッキングされたベースメッシュ頂点変位値とその分割点の変位値とがアンパッキングされ、そのベースメッシュの頂点にベースメッシュ頂点変位値が適用され、その頂点にベースメッシュ頂点変位値が適用されたベースメッシュが細分化され、その細分化されたベースメッシュの分割点に、その分割点の変位値が適用される。
V-DMCについて説明するための図である。 パッキングの例について説明するための図である。 パッキングの例について説明するための図である。 符号化方法の例を示す図である。 パッキングの例について説明するための図である。 符号化装置の主な構成例を示すブロック図である。 符号化処理の流れの例を説明するフローチャートである。 符号化装置の主な構成例を示すブロック図である。 符号化処理の流れの例を説明するフローチャートである。 復号装置の主な構成例を示すブロック図である。 復号処理の流れの例を説明するフローチャートである。 復号装置の主な構成例を示すブロック図である。 復号処理の流れの例を説明するフローチャートである。 復号手順の例について説明するための図である。 符号化方法の例を示す図である。 復号手順の例について説明するための図である。 パッキングの例について説明するための図である。 符号化装置の主な構成例を示すブロック図である。 符号化処理の流れの例を説明するフローチャートである。 符号化装置の主な構成例を示すブロック図である。 符号化処理の流れの例を説明するフローチャートである。 復号装置の主な構成例を示すブロック図である。 復号処理の流れの例を説明するフローチャートである。 復号装置の主な構成例を示すブロック図である。 復号処理の流れの例を説明するフローチャートである。 コンピュータの主な構成例を示すブロック図である。
　以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
　１．技術内容・技術用語をサポートする文献等
　２．メッシュの符号化
　３．部分領域毎のパッキング
　４．ベースメッシュ頂点変位値のパッキング
　５．付記
　＜１．技術内容・技術用語をサポートする文献等＞
　本技術で開示される範囲は、実施の形態に記載されている内容だけではなく、出願当時において公知となっている以下の非特許文献等に記載されている内容や以下の非特許文献において参照されている他の文献の内容等も含まれる。
　非特許文献１：（上述）
　つまり、上述の非特許文献に記載されている内容や、上述の非特許文献において参照されている他の文献の内容等も、サポート要件を判断する際の根拠となる。
　＜２．メッシュの符号化＞
　　＜V-DMC＞
　従来、立体構造物（３次元形状のオブジェクト）の３次元構造を表す3Dデータとして、頂点および接続によりポリゴンを形成することによりオブジェクト表面の３次元形状を表現するメッシュ（Mesh）があった。このメッシュの符号化方法として、例えば、非特許文献１に開示されているようなV-DMC（Video-based Dynamic Mesh Coding）があった。
　V-DMCでは、符号化対象のメッシュを、粗いベースメッシュと、そのベースメッシュを細分化して得られる分割点の変位値とで表現され、そのベースメッシュと変位値が符号化される。
　例えば、図１の最上段に示されるようなオリジナルメッシュが存在するとする。図１において、黒点が頂点を示し、黒点を結ぶ線が接続を示す。上述のようにメッシュは、本来、頂点と接続によりポリゴンを形成するが、ここでは、説明の便宜上、線状に（直列に）接続される頂点群として説明している。
　オリジナルメッシュの一部の頂点を間引く（Decimate）ことにより、図1の上から２段目に示されるような粗いメッシュが形成される。これをベースメッシュとする。
　このベースメッシュの各メッシュを分割（Subdivide）することにより、図１の上から３段目に示されるように、頂点が追加される。ここでは、この分割により、オリジナルメッシュから間引いた数だけ頂点を追加するものとする。これにより、頂点数がオリジナルメッシュと同数のメッシュが得られる。本明細書において、この追加された頂点を分割点とも称する。
　しかしながら、オリジナルメッシュの頂点を間引く際に接続が更新されており、分割点はこの更新された接続上に形成されるため、この分割されたベースメッシュの形状は、オリジナルメッシュの形状と異なる。より具体的には、分割点の位置がオリジナルメッシュと異なる。オリジナルメッシュが既知であるので、この分割点の変位を求めることができる。
　つまり、上述の間引きの方法と分割の方法が既知であれば、オリジナルメッシュは、ベースメッシュと、この分割点の変位値とで表現することができる。V-DMCの場合、エンコーダは、このようにオリジナルメッシュをベースメッシュと分割点の変位値とに分けて符号化する。分割点の変位値は、２次元画像に格納され、画像として符号化される。本明細書において、２次元画像にデータを格納することをパッキングとも称する。
　なお、V-DMCはスケーラブルな復号に対応している。分割点の変位値は、例えば図２に示されるように、精細度毎に階層化され、階層毎のデータとしてパッキングされる。図２の例において、２次元画像１１にパッキングされたLoD0は、精細度毎に階層化された分割点の変位値の内の、最上位層（最低精細度）の分割点の変位値のデータを示す。同様に、LoD1は、LoD0の１つ上位層の分割点の変位値のデータを示す。LoD2は、LoD1の１つ上位層の分割点の変位値のデータを示す。このように分割点の変位値は、階層毎に分けられて（階層毎のデータにまとめられて）パッキングされる。
　なお、分割点の変位値は、例えばウェーブレット変換等の係数変換により変換係数として２次元画像にパッキングされてもよい。また、分割点の変位値は、量子化されてもよい。例えば、分割点の変位値がウェーブレット変換により変換係数に変換され、その変換係数が量子化され、その量子化された変換係数（量子化係数）がパッキングされてもよい。
　また、オブジェクトは、時間方向に変化し得る。本明細書において、時間方向に可変であることを「動的である」とも称する。そのため、メッシュ（つまり、ベースメッシュや分割点の変位値）も動的である。したがって、変位値は、その２次元画像をフレームとする動画像として符号化される。本明細書においてこの動画像を変位ビデオとも称する。
　ベースメッシュの符号化方法には、イントラ符号化と、インター符号化がある。イントラ符号化の場合、フレーム毎にベースメッシュが符号化される。これに対して、インター符号化の場合、ベースメッシュは、参照フレームのベースメッシュの頂点を基準とする動きベクトルとして符号化される。つまり、この場合、復号側では、参照フレームのベースメッシュの頂点に動きベクトルを加算することにより、処理対象フレームのベースメッシュを再構成することができる。なお、本明細書においては、参照フレームのベースメッシュのことを参照ベースメッシュとも称する。また、処理対象フレームのことをカレントフレームとも称する。また、カレントフレームのベースメッシュのことをカレントベースメッシュとも称する。
　　＜パーシャルアクセス＞
　しかしながら、非特許文献１に記載の方法では、単純に変位値をパッキングするためだけに変位ビデオが使用されており、近年、変位ビデオのさらなる活用が求められていた。
　例えば、デコーダにおいて部分領域毎に復号することができる機能（所謂パーシャルアクセス機能）が求められている。例えば、視点位置から見える視界の画像を再生する場合、オブジェクトの視点位置に近く、主観的に目立つ部分は、より高精細なメッシュが必要である。これに対して、視点位置から遠い部分や、主観的に目立たない部分は低精細なメッシュで十分である。また、オブジェクトにより視界が遮られ、視点位置から見えない部分のメッシュは不要である。このように、再生の際には、部分領域毎に必要な精細度が変化したり、一部の領域の情報が不要になったりし得る。
　パーシャル機能があれば、部分領域毎に再生制御が可能である。したがって、V-DMCがパーシャル機能を備えることにより、上述のような再生の場合も、部分領域毎に所望の解像度で再生したり、一部の領域のみを再生したりすることができる。したがって、復号処理の処理量の増大を抑制することができる。
　しかしながら、非特許文献１に記載の方法では、図２に示されるように、オブジェクト全体の変位値がまとめてパッキングされているため、上述のように一部の領域のメッシュのみを再生したり、部分領域毎に精細度を変更したりする場合も、メッシュ全体を再構成する必要があった。つまり、メッシュ全体のベースメッシュを再構成し、そのベースメッシュ全体を細分化し、各分割点に対して変位値を適用する等の煩雑な作業が必要であった。したがって、復号処理の処理量が不要に増大するおそれがあった。
　このようなパーシャルアクセス機能を実現するために、例えば、図３に示されるように、部分領域毎にパッキングする２次元画像を分ける（つまり、部分領域毎に変位ビデオを生成する）方法が考えられる。図３の例においては、領域Ａの分割点の変位値を２次元画像２１にパッキングし、領域Ｂの分割点の変位値を２次元画像２２にパッキングし、領域Ｃの分割点の変位値を２次元画像２３にパッキングしている。このようにすることにより、所望の領域がパッキングされた変位ビデオのみを復号することができるので、パーシャルアクセス機能を実現することができる。
　しかしながら、この方法では、変位ビデオのビットストリームを複数生成する必要があるため、変位ビデオのビットストリームが１本の場合に比べて情報量が不要に増大し、符号化効率が低減するおそれがあった。より細かい領域毎にパーシャルアクセス機能を実現させるほど利便性は向上するが、そのためには、変位ビデオのビットストリームの本数増増大させる必要があり、符号化効率がさらに低減するおそれがあった。
　また、変位ビデオの符号化データを復号する2Dデコーダは、変位ビデオ毎にインスタンスを立ち上げる必要があった。そのため、複数の領域のビットストリームを復号する場合、変位ビデオのビットストリームが１本の場合に比べて復号の処理量が不要に増大するおそれがあった。より細かい領域毎にパーシャルアクセス機能を実現させるほど利便性は向上するが、そのためには、変位ビデオのビットストリームの本数増増大させる必要があり、その場合、より多数のビットストリームを復号する可能性が高くなり、復号の処理量がさらに増大するおそれがあった。
　＜３．部分領域毎のパッキング＞
　　＜方法１＞
　そこで、図４の表の最上段に示されるように、変位値をオブジェクトの部分領域毎にパッキングしてもよい（方法１）。例えば、図５に示される２次元画像５１の場合、太線枠で示されるように、領域Ａの各階層の分割点の変位値、領域Ｂの各階層の分割点の変位値、および、領域Ｃの各階層の分割点の変位値が、それぞれ、まとめてパッキングされている。この領域Ａ乃至領域Ｃは、オブジェクトの部分領域である。換言するに、各階層の分割点の変位値がオブジェクトの部分領域毎に分けられてパッキングされている。このようにすることにより、デコーダは、分割点の変位値をオブジェクトの部分領域毎に２次元画像５１から抽出することができる。付言するに、デコーダは、所望の部分領域の、所望の精細度のデータを、２次元画像５１から抽出することができる。
　つまり、方法１を適用することにより、パーシャルアクセス機能を実現することができる。したがって、復号処理の処理量の増大を抑制することができる。また、この方法１の場合、全領域の分割点の変位値を１本の変位ビデオにパッキングすることができるので、部分領域毎に変位ビデオを生成する場合に比べて、符号化効率の低減を抑制することができる。また、復号処理の処理量の増大を抑制することができる。つまり、符号化・復号の性能を向上させることができる。
　例えば、情報処理装置が、ベースメッシュを細分化して得られる分割点の変位値を精細度毎に階層化し、階層化された分割点の変位値をオブジェクトの部分領域毎に2D画像にパッキングするパッキング部と、その2D画像をフレームとする変位ビデオを符号化する変位ビデオ符号化部とを備えていてもよい。なお、ベースメッシュは、オブジェクトの３次元構造を表現する頂点および接続により構成される符号化対象のオリジナルメッシュから頂点を間引くことにより生成されてもよい。つまり、このベースメッシュは、オリジナルメッシュよりも粗いメッシュであってもよい。また、分割点の変位値は、その分割点と（その分割点に対応する）オリジナルメッシュの頂点との間の位置の差であってもよい。
　例えば、上述のパッキング部と変位ビデオ符号化部とを備える情報処理装置が、カレントフレームのベースメッシュを符号化するベースメッシュ符号化部をさらに備えてもよい。また、上述のパッキング部と変位ビデオ符号化部とを備える情報処理装置が、参照フレームのベースメッシュを基準とするカレントフレームのベースメッシュの頂点の動きベクトルを符号化する動きベクトル符号化部をさらに備えてもよい。
　例えば、情報処理方法において、ベースメッシュを細分化して得られる分割点の変位値を精細度毎に階層化し、階層化された分割点の変位値をオブジェクトの部分領域毎に2D画像にパッキングし、その2D画像をフレームとする変位ビデオを符号化してもよい。なお、ベースメッシュは、オブジェクトの３次元構造を表現する頂点および接続により構成される符号化対象のオリジナルメッシュから頂点を間引くことにより生成されてもよい。つまり、このベースメッシュは、オリジナルメッシュよりも粗いメッシュであってもよい。また、分割点の変位値は、その分割点と（その分割点に対応する）オリジナルメッシュの頂点との間の位置の差であってもよい。
　なお、本明細書において、２次元画像にパッキングされたデータをその２次元画像から抽出することをアンパッキングとも称する。例えば、エンコーダにより分割点の変位値が２次元画像にパッキングされた場合、デコーダは、その２次元画像から分割点の変位値をアンパッキングする。また、エンコーダにより分割点の変位値が係数変換（例えばウェーブレット変換）されてその変換係数がパッキングされた場合、デコーダは、その２次元画像から変換係数をアンパッキングし、逆係数変換（例えば逆ウェーブレット変換）して分割点の変位値を導出する。また、エンコーダにより分割点の変位値が量子化されてその量子化係数がパッキングされた場合、デコーダは、その２次元画像から量子化係数をアンパッキングし、逆量子化して分割点の変位値を導出する。また、エンコーダにより分割点の変位値が係数変換（例えばウェーブレット変換）されてその変換係数が量子化されてその量子化係数がパッキングされた場合、デコーダは、その２次元画像から量子化係数をアンパッキングし、逆量子化して変換係数を導出し、その変換係数を逆係数変換（例えば逆ウェーブレット変換）して分割点の変位値を導出する。
　　＜方法１－１＞
　この方法１を適用する場合において、図４の表の上から２段目に示されるように、分割点の変位値に対して部分領域毎にウェーブレット変換してもよい（方法１－１）。分割点の変位値に対するウェーブレット変換等の係数変換を部分領域毎に行うことにより、部分領域毎のデータの独立性を維持することができる。つまり、デコーダは、他の部分領域のデータを必要とせずに所望の部分領域のデータをアンパッキングする（さらにそのアンパッキングしたデータを逆ウェーブレット変換する）ことができる。つまり、パーシャルアクセス機能を実現することができる。したがって、上述した方法１の場合と同様の効果を得ることができる。
　例えば、上述のパッキング部と変位ビデオ符号化部とを備える情報処理装置において、そのパッキング部が、分割点の変位値を部分領域毎にウェーブレット変換し、得られた変換係数を2D画像にパッキングしてもよい。
　　＜方法１－２＞
　この方法１を適用する場合において、図４の表の最下段に示されるように、部分領域情報を伝送してもよい。図５の２次元画像５１の例のように、分割点の変位値を部分領域毎に分けてパッキングする場合、デコーダは、メッシュにおける所望の部分領域が、２次元画像における分割点の変位値のどの部分領域に対応するかを把握する必要がある。そこで、２次元画像にパッキングされた分割点の変位値の各部分領域について、メッシュにおけるその部分領域に対応する範囲を示す情報（以下、メッシュ範囲指定情報とも称する）を、エンコーダからデコーダへ伝送してもよい。このようにすることにより、デコーダは、より容易に、メッシュにおける所望の部分領域が２次元画像における分割点の変位値のどの部分領域に対応するかを把握することができる。
　メッシュ範囲指定情報においては、例えば、メッシュがパッチ毎に独立して形成される場合、各部分領域に対応するメッシュの範囲が、そのパッチIDを用いて示されてもよい。また、メッシュが全体領域で１つとして形成される場合、各部分領域に対応するメッシュの範囲が、頂点のインデックスやメッシュのフェースのインデックスを用いて示されてもよい。つまり、メッシュ範囲指定情報は、各部分領域に対応する、パッチID、頂点のインデックス、フェースのインデックス等のリストであってもよい。なお、デコード順が既定であり、各部分領域に対応するフェース数が互いに同一である場合、そのフェース数をメッシュ範囲指定情報として伝送してもよい。デコーダは、各フェースをデコード順にそのフェース数毎にグループ化することにより、各部分領域との対応をとることができる。
　また、デコーダは、メッシュにおける所望の範囲に対応する所望の部分領域のデータが、２次元画像５１のどこにパッキングされているかを把握する必要がある。そこで、２次元画像における分割点の変位値の各部分領域の範囲を示す情報（以下、変位ビデオ内範囲指定情報とも称する）を、エンコーダからデコーダへ伝送してもよい。このようにすることにより、デコーダは、より容易に、２次元画像における分割点の変位値の所望の部分領域が２次元画像のどこにパッキングされているかを把握することができる。
　変位ビデオ内範囲指定情報においては、画素インデックスを用いて部分領域の開始位置を示してもよい。また、各部分領域のデータがパッキングされている範囲を画素数により示してもよい。また、画素の代わりにブロック単位で行ってもよい。例えば、ブロックインデックスを用いて部分領域の開始位置を示してもよい。また、各部分領域のデータがパッキングされている範囲をブロック数により示してもよい。つまり、変位ビデオ内範囲指定情報は、各部分領域に対応する、画素インデックス、画素数、ブロックインデックス、ブロック数等のリストであってもよい。なお、各部分領域のデータがパッキングされている範囲の大きさが互いに同一（デコーダが既知の固定値）の場合、変位ビデオ内範囲指定情報の伝送を省略してもよい。また、その固定値がデコーダにとって未知の場合、変位ビデオ内範囲指定情報としてその固定値を伝送してもよい。
　すなわち、２次元画像における分割点の変位値の各部分領域に関する情報（以下、部分領域情報とも称する）として、これらのメッシュ範囲指定情報および変位ビデオ内範囲指定情報を、エンコーダからデコーダへ伝送してもよい。このようにすることにより、デコーダは、所望の部分領域の分割点の変位値を、より容易にアンパッキングすることができる。
　例えば、メッシュ範囲指定情報および変位ビデオ内範囲指定情報は、それぞれ、各部分領域に対応する情報のリストとして以下のように示される。
メッシュ範囲指定　　［　１，　３，　４，　６］
変位ビデオ内範囲指定［　０，　７，１５，３０］
　どちらの情報も要素は部分領域の順に整列されている。したがって、デコーダは、何番目の要素かによって、容易に、メッシュ範囲指定情報と変位ビデオ内範囲指定情報とで対応をとることができる。例えば、上述のリストの場合、メッシュにおいて「インデックス３」で示される範囲の分割点の変位値が、２次元画像の「インデックス７」で示される領域にパッキングされていることが示されている。
　例えば、上述のパッキング部と変位ビデオ符号化部とを備える情報処理装置において、その変位ビデオ符号化部は、さらに、部分領域情報を符号化してもよい。その部分領域情報が、メッシュにおける部分領域の範囲を示すメッシュ範囲指定情報と、変位ビデオの2D画像における部分領域の範囲を示す変位ビデオ内範囲指定情報とを含んでもよい。
　なお、部分領域情報の符号化方法は任意である。差分符号化でもよいし、エントロピ符号化でもよい。また、部分領域情報は符号化しなくてもよい。
　また、部分領域情報の伝送方法は任意である。例えば、部分領域情報を変位ビデオの符号化データにフレーム毎に格納してもよい。また、部分領域情報を、変位ビデオだけでなくアトリビュート等も格納するビットストリームのヘッダ情報に格納してもよい。
　　＜符号化装置（イントラ）＞
　本技術は、メッシュを符号化する符号化装置に適用することができる。図６は、本技術を適用した情報処理装置の一態様である符号化装置の構成の一例を示すブロック図である。図６に示される符号化装置１００は、メッシュを符号化する装置である。符号化装置１００は、非特許文献１に記載のV-DMCと基本的に同様の方法でメッシュを符号化する。符号化装置１００は、ベースメッシュをイントラ符号化する。
　ただし、符号化装置１００は、上述した方法１を適用してメッシュを符号化する。また、符号化装置１００は、上述した方法１－１や方法１－２も適用してもよい。
　なお、図６においては、処理部やデータの流れ等の主なものを示しており、図６に示されるものが全てとは限らない。つまり、符号化装置１００において、図６においてブロックとして示されていない処理部が存在したり、図６において矢印等として示されていない処理やデータの流れが存在したりしてもよい。
　図６に示されるように、符号化装置１００は、ベースメッシュ符号化部１１１、ベースメッシュ復号部１１２、変位値補正部１１３、パッキング部１１４、変位ビデオ符号化部１１５、メッシュ再構成部１１６、アトリビュートマップ補正部１１７、アトリビュートビデオ符号化部１１８、および合成部１１９を有する。
　符号化装置１００には、ベースメッシュ、分割点の変位値、およびアトリビュートマップがフレーム毎に供給される。なお、ベースメッシュは、オブジェクトの３次元構造を表現する頂点および接続により構成される符号化対象のオリジナルメッシュから頂点を間引くことにより生成されてもよい。つまり、このベースメッシュは、オリジナルメッシュよりも粗いメッシュであってもよい。また、分割点の変位値は、その分割点と（その分割点に対応する）オリジナルメッシュの頂点との間の位置の差であってもよい。これらのデータは、例えば前処理においてオリジナルメッシュから生成されてもよい。
　ベースメッシュ符号化部１１１は、カレントベースメッシュを符号化し、その符号化データをベースメッシュ復号部１１２および合成部１１９へ供給する。
　ベースメッシュ復号部１１２は、供給されたカレントベースメッシュの符号化データを復号し、カレントベースメッシュを生成（復元）する。この生成されたカレントベースメッシュは、符号化歪を含む。ベースメッシュ復号部１１２は、そのカレントベースメッシュを変位値補正部１１３およびメッシュ再構成部１１６へ供給する。
　変位値補正部１１３は、供給されたカレントベースメッシュ（符号化歪を含む）を用いて、分割点の変位値を補正する。より具体的には、変位値補正部１１３は、供給されたカレントベースメッシュ（符号化歪を含む）を細分化して分割点を導出する。そして、変位値補正部１１３は、この導出した分割点を用いて、符号化装置１００に供給された分割点の変位値を補正する。変位値補正部１１３は、その補正後の分割点の変位値をパッキング部１１４へ供給する。
　パッキング部１１４は、供給された分割点の変位値をカレントフレームの２次元画像（フレーム画像とも称する）にパッキングする。その際、パッキング部１１４は、分割点の変位値を係数変換（例えばウェーブレット変換）し、変換係数を２次元画像にパッキングしてもよい。また、パッキング部１１４は、分割点の変位値（または変換係数）を量子化し、量子化係数を２次元画像にパッキングしてもよい。
　また、パッキング部１１４は、このパッキングにおいて方法１を適用する。すなわち、パッキング部１１４は、分割点の変位値をオブジェクトの部分領域毎にパッキングする。例えば、パッキング部１１４は、ベースメッシュを細分化して得られる分割点の変位値を精細度毎に階層化し、その階層化された分割点の変位値をオブジェクトの部分領域毎に２次元画像にパッキングしてもよい。
　また、パッキング部１１４は、方法１－１を適用してもよい。つまり、パッキング部１１４は、分割点の変位値を部分領域毎にウェーブレット変換し、得られた変換係数を２次元画像にパッキングしてもよい。
　また、パッキング部１１４は、方法１－２を適用してもよい。つまり、パッキング部１１４は、さらに、メッシュ範囲指定情報と変位ビデオ内範囲指定情報とを含む部分領域情報を生成してもよい。
　パッキング部１１４は、分割点の変位値（または、それに相当する情報）がパッキングされた２次元画像を変位ビデオ符号化部１１５へ供給する。また、パッキング部１１４は、生成した部分領域情報を変位ビデオ符号化部１１５へ供給する。
　変位ビデオ符号化部１１５は、供給された２次元画像をフレーム画像とし、動画像（変位ビデオ）として符号化する。変位ビデオ符号化部１１５は、生成した変位ビデオの符号化データをメッシュ再構成部１１６および合成部１１９へ供給する。
　また、変位ビデオ符号化部１１５は、方法１－２を適用してもよい。つまり、変位ビデオ符号化部１１５は、さらに、メッシュ範囲指定情報と変位ビデオ内範囲指定情報とを含む部分領域情報を符号化してもよい。その場合、変位ビデオ符号化部１１５は、生成した部分領域情報の符号化データを合成部１１９へ供給する。
　メッシュ再構成部１１６は、供給された変位ビデオの符号化データを復号し、２次元画像からアンパッキングする等して分割点の変位値を導出する。また、メッシュ再構成部１１６は、供給されたカレントベースメッシュを細分化し、導出した分割点の変位値を適用してメッシュを再構成する。このメッシュは符号化歪を含む。メッシュ再構成部１１６は、再構成したメッシュをアトリビュートマップ補正部１１７へ供給する。
　アトリビュートマップ補正部１１７は、テクスチャ等のアトリビュートマップを、供給されたメッシュ（符号化歪を含む）を用いて補正し、補正後のアトリビュートマップをアトリビュートビデオ符号化部１１８へ供給する。
　アトリビュートビデオ符号化部１１８は、供給されたアトリビュートマップをフレーム画像とし、動画像（アトリビュートビデオ）として符号化する。アトリビュートビデオ符号化部１１８は、生成したアトリビュートビデオの符号化データを合成部１１９へ供給する。
　合成部１１９は、供給された、ベースメッシュの符号化データ、変位ビデオの符号化データ、およびアトリビュートビデオの符号化データを合成（多重化）し、１本のビットストリームを生成する。なお、部分領域情報の符号化データが供給される場合、合成部１１９は、その部分領域情報の符号化データもそのビットストリームに格納する。合成部１１９は、生成したビットストリームを符号化装置１００の外部に出力する。このビットストリームは、任意の伝送媒体または任意の記録媒体を介して、復号装置へ伝送される。
　このような構成を有することにより、符号化装置１００は、パーシャルアクセス機能を実現することができる。したがって、符号化装置１００は、復号処理の処理量の増大を抑制したり、符号化効率の低減を抑制したりすることができる。つまり、符号化装置１００は、符号化・復号の性能を向上させることができる。
　　＜符号化処理の流れ＞
　この符号化装置１００により実行される符号化処理の流れの例を、図７のフローチャートを参照して説明する。
　符号化処理が開始されると、ベースメッシュ符号化部１１１は、ステップＳ１０１において、カレントベースメッシュを符号化する。
　ステップＳ１０２において、ベースメッシュ復号部１１２は、そのベースメッシュの符号化データを復号する。
　ステップＳ１０３において、変位値補正部１１３は、分割点の変位値を、ステップＳ１０２において生成されたベースメッシュ（符号化歪を含む）を用いて補正する。
　ステップＳ１０４において、パッキング部１１４は、LoD毎の分割点の変位値を、オブジェクトの部分領域毎にフレーム（２次元画像）にパッキングする。その際、パッキング部１１４は、分割点の変位値を、部分領域毎に係数変換（例えばウェーブレット変換）してもよい。また、パッキング部１１４は、部分領域情報を生成してもよい。
　ステップＳ１０５において、変位ビデオ符号化部１１５は、パッキングされた２次元画像をフレーム画像とし、変位ビデオとして符号化する。また、変位ビデオ符号化部１１５は、さらに、部分領域情報を符号化してもよい。
　ステップＳ１０６において、メッシュ再構成部１１６は、ステップＳ１０２において生成されたベースメッシュ（符号化歪を含む）と、ステップＳ１０５において生成された変位ビデオの符号化データを用いてメッシュを再構成する。
　ステップＳ１０７において、アトリビュートマップ補正部１１７は、その再構成されたメッシュを用いて、アトリビュートマップを補正する。
　ステップＳ１０８において、アトリビュートビデオ符号化部１１８は、補正されたアトリビュートマップをフレーム画像とし、アトリビュートビデオとして符号化する。
　ステップＳ１０９において、合成部１１９は、ステップＳ１０１において生成されたベースメッシュの符号化データ、ステップＳ１０５において生成された変位ビデオの符号化データ、およびステップＳ１０８において生成されたアトリビュートビデオの符号化データを多重化し、１本のビットストリームを生成する。なお、ステップＳ１０５において、さらに部分領域情報の符号化データが生成された場合、合成部１１９は、その符号化データをビットストリームに格納してもよい。
　ステップＳ１０９の処理が終了すると符号化処理が終了する。
　以上のように各処理を実行することにより、符号化装置１００は、パーシャルアクセス機能を実現することができる。したがって、符号化装置１００は、復号処理の処理量の増大を抑制したり、符号化効率の低減を抑制したりすることができる。つまり、符号化装置１００は、符号化・復号の性能を向上させることができる。
　　＜符号化装置（インター）＞
　図８は、本技術を適用した情報処理装置の一態様である符号化装置の構成の一例を示すブロック図である。図８に示される符号化装置１５０は、メッシュを符号化する装置である。符号化装置１５０は、非特許文献１に記載のV-DMCと基本的に同様の方法でメッシュを符号化する。符号化装置１５０は、ベースメッシュをインター符号化する。
　ただし、符号化装置１５０は、上述した方法１を適用してメッシュを符号化する。また、符号化装置１５０は、上述した方法１－１や方法１－２も適用してもよい。
　なお、図８においては、処理部やデータの流れ等の主なものを示しており、図８に示されるものが全てとは限らない。つまり、符号化装置１５０において、図８においてブロックとして示されていない処理部が存在したり、図８において矢印等として示されていない処理やデータの流れが存在したりしてもよい。
　図８に示されるように、符号化装置１５０は、動きベクトル符号化部１６１、ベースメッシュ再構成部１６２、変位値補正部１６３、パッキング部１６４、変位ビデオ符号化部１６５、メッシュ再構成部１６６、アトリビュートマップ補正部１６７、アトリビュートビデオ符号化部１６８、および合成部１６９を有する。
　符号化装置１５０には、カレントベースメッシュ、分割点の変位値、およびアトリビュートマップがフレーム毎に供給される。なお、（カレント）ベースメッシュは、オブジェクトの３次元構造を表現する頂点および接続により構成される符号化対象のオリジナルメッシュから頂点を間引くことにより生成されてもよい。つまり、このベースメッシュは、オリジナルメッシュよりも粗いメッシュであってもよい。また、分割点の変位値は、その分割点と（その分割点に対応する）オリジナルメッシュの頂点との間の位置の差であってもよい。これらのデータは、例えば前処理においてオリジナルメッシュから生成されてもよい。また、符号化装置１５０は、参照フレームのベースメッシュ（参照ベースメッシュ）を取得し得る。参照フレームは、カレントフレームから参照可能な、過去に処理されたフレームである。
　動きベクトル符号化部１６１は、カレントベースメッシュと参照ベースメッシュとを用いて、参照ベースメッシュの頂点を基準とする動きベクトルを生成する。つまり、動きベクトル符号化部１６１は、カレントベースメッシュと参照ベースメッシュとの間の各頂点の変位を示す動きベクトルを生成する。動きベクトル符号化部１６１は、生成した動きベクトルを符号し、その符号化データをベースメッシュ再構成部１６２および合成部１６９へ供給する。
　ベースメッシュ再構成部１６２は、供給された動きベクトルの符号化データを復号し、動きベクトルを生成（復元）する。そして、ベースメッシュ再構成部１６２は、参照ベースメッシュとその動きベクトルを用いてカレントベースメッシュを再構成する。この再構成されたカレントベースメッシュは、符号化歪を含む。ベースメッシュ再構成部１６２は、そのカレントベースメッシュを変位値補正部１６３およびメッシュ再構成部１６６へ供給する。
　変位値補正部１６３は、供給されたカレントベースメッシュ（符号化歪を含む）を用いて、分割点の変位値を補正する。より具体的には、変位値補正部１６３は、供給されたカレントベースメッシュ（符号化歪を含む）を細分化して分割点を導出する。そして、変位値補正部１６３は、この導出した分割点を用いて、符号化装置１５０に供給された分割点の変位値を補正する。変位値補正部１６３は、その補正後の分割点の変位値をパッキング部１６４へ供給する。
　パッキング部１６４は、供給された分割点の変位値をカレントフレームの２次元画像（フレーム画像とも称する）にパッキングする。その際、パッキング部１６４は、分割点の変位値を係数変換（例えばウェーブレット変換）し、変換係数を２次元画像にパッキングしてもよい。また、パッキング部１６４は、分割点の変位値（または変換係数）を量子化し、量子化係数を２次元画像にパッキングしてもよい。
　また、パッキング部１６４は、このパッキングにおいて方法１を適用する。すなわち、パッキング部１６４は、分割点の変位値をオブジェクトの部分領域毎にパッキングする。例えば、パッキング部１６４は、ベースメッシュを細分化して得られる分割点の変位値を精細度毎に階層化し、その階層化された分割点の変位値をオブジェクトの部分領域毎に２次元画像にパッキングしてもよい。
　また、パッキング部１６４は、方法１－１を適用してもよい。つまり、パッキング部１６４は、分割点の変位値を部分領域毎にウェーブレット変換し、得られた変換係数を２次元画像にパッキングしてもよい。
　また、パッキング部１６４は、方法１－２を適用してもよい。つまり、パッキング部１６４は、さらに、メッシュ範囲指定情報と変位ビデオ内範囲指定情報とを含む部分領域情報を生成してもよい。
　パッキング部１６４は、分割点の変位値（または、それに相当する情報）がパッキングされた２次元画像を変位ビデオ符号化部１６５へ供給する。また、パッキング部１６４は、生成した部分領域情報を変位ビデオ符号化部１６５へ供給する。
　変位ビデオ符号化部１６５は、供給された２次元画像をフレーム画像とし、動画像（変位ビデオ）として符号化する。変位ビデオ符号化部１６５は、生成した変位ビデオの符号化データをメッシュ再構成部１６６および合成部１６９へ供給する。
　また、変位ビデオ符号化部１６５は、方法１－２を適用してもよい。つまり、変位ビデオ符号化部１６５は、さらに、メッシュ範囲指定情報と変位ビデオ内範囲指定情報とを含む部分領域情報を符号化してもよい。その場合、変位ビデオ符号化部１６５は、生成した部分領域情報の符号化データを合成部１６９へ供給する。
　メッシュ再構成部１６６は、供給された変位ビデオの符号化データを復号し、２次元画像からアンパッキングする等して分割点の変位値を導出する。また、メッシュ再構成部１６６は、供給されたカレントベースメッシュを細分化し、導出した分割点の変位値を適用してメッシュを再構成する。このメッシュは符号化歪を含む。メッシュ再構成部１６６は、再構成したメッシュをアトリビュートマップ補正部１６７へ供給する。
　アトリビュートマップ補正部１６７は、テクスチャ等のアトリビュートマップを、供給されたメッシュ（符号化歪を含む）を用いて補正し、補正後のアトリビュートマップをアトリビュートビデオ符号化部１６８へ供給する。
　アトリビュートビデオ符号化部１６８は、供給されたアトリビュートマップをフレーム画像とし、動画像（アトリビュートビデオ）として符号化する。アトリビュートビデオ符号化部１６８は、生成したアトリビュートビデオの符号化データを合成部１６９へ供給する。
　合成部１６９は、供給された、動きベクトルの符号化データ、変位ビデオの符号化データ、およびアトリビュートビデオの符号化データを合成（多重化）し、１本のビットストリームを生成する。なお、部分領域情報の符号化データが供給される場合、合成部１６９は、その部分領域情報の符号化データもそのビットストリームに格納する。合成部１６９は、生成したビットストリームを符号化装置１５０の外部に出力する。このビットストリームは、任意の伝送媒体または任意の記録媒体を介して、復号装置へ伝送される。
　このような構成を有することにより、符号化装置１５０は、パーシャルアクセス機能を実現することができる。したがって、符号化装置１５０は、復号処理の処理量の増大を抑制したり、符号化効率の低減を抑制したりすることができる。つまり、符号化装置１５０は、符号化・復号の性能を向上させることができる。
　　＜符号化処理の流れ＞
　この符号化装置１５０により実行される符号化処理の流れの例を、図９のフローチャートを参照して説明する。
　符号化処理が開始されると、動きベクトル符号化部１６１は、ステップＳ１５１において、参照ベースメッシュとカレントベースメッシュを用いて動きベクトルを生成し、その動きベクトルを符号化する。
　ステップＳ１５２において、ベースメッシュ再構成部１６２は、その動きベクトルの符号化データを復号し、生成（復元）した動きベクトルと参照ベースメッシュとを用いて、ベースメッシュを再構成する。
　ステップＳ１５３において、変位値補正部１６３は、分割点の変位値を、ステップＳ１５２において再構成されたベースメッシュ（符号化歪を含む）を用いて補正する。
　ステップＳ１５４において、パッキング部１６４は、LoD毎の分割点の変位値を、オブジェクトの部分領域毎にフレーム（２次元画像）にパッキングする。その際、パッキング部１６４は、分割点の変位値を、部分領域毎に係数変換（例えばウェーブレット変換）してもよい。また、パッキング部１６４は、部分領域情報を生成してもよい。
　ステップＳ１５５において、変位ビデオ符号化部１６５は、パッキングされた２次元画像をフレーム画像とし、変位ビデオとして符号化する。また、変位ビデオ符号化部１６５は、さらに、部分領域情報を符号化してもよい。
　ステップＳ１５６において、メッシュ再構成部１６６は、ステップＳ１５２において再構成されたベースメッシュ（符号化歪を含む）と、ステップＳ１５５において生成された変位ビデオの符号化データを用いてメッシュを再構成する。
　ステップＳ１５７において、アトリビュートマップ補正部１６７は、その再構成されたメッシュを用いて、アトリビュートマップを補正する。
　ステップＳ１５８において、アトリビュートビデオ符号化部１６８は、補正されたアトリビュートマップをフレーム画像とし、アトリビュートビデオとして符号化する。
　ステップＳ１５９において、合成部１６９は、ステップＳ１５１において生成された動きベクトルの符号化データ、ステップＳ１５５において生成された変位ビデオの符号化データ、およびステップＳ１５８において生成されたアトリビュートビデオの符号化データを多重化し、１本のビットストリームを生成する。なお、ステップＳ１５５において、さらに部分領域情報の符号化データが生成された場合、合成部１６９は、その符号化データをビットストリームに格納してもよい。
　ステップＳ１６９の処理が終了すると符号化処理が終了する。
　以上のように各処理を実行することにより、符号化装置１５０は、パーシャルアクセス機能を実現することができる。したがって、符号化装置１５０は、復号処理の処理量の増大を抑制したり、符号化効率の低減を抑制したりすることができる。つまり、符号化装置１５０は、符号化・復号の性能を向上させることができる。
　　＜方法１、方法１－１、方法１－２＞
　なお、上述した方法１、方法１－１、方法１－２は、復号装置にも適用し得る。
　例えば、情報処理装置が、ビットストリームを復号し、ベースメッシュを細分化して得られる分割点の変位値が精細度毎に階層化されてオブジェクトの部分領域毎にパッキングされた2D画像をフレームとする変位ビデオを生成する変位ビデオ復号部と、その変位ビデオのカレントフレームの2D画像にパッキングされた、所望の部分領域の所望の階層の分割点の変位値をアンパッキングするアンパッキング部と、カレントフレームのベースメッシュを細分化する細分化部と、その細分化されたベースメッシュの分割点に、分割点の変位値を適用する変位値適用部とを備えていてもよい。なお、ベースメッシュは、オブジェクトの３次元構造を表現する頂点および接続により構成される符号化対象のオリジナルメッシュから頂点を間引くことにより生成されてもよい。つまり、ベースメッシュは、オリジナルメッシュよりも粗いメッシュであってもよい。また、分割点の変位値は、その分割点と（その分割点に対応する）オリジナルメッシュの頂点との間の位置の差であってもよい。
　例えば、上述の変位ビデオ復号部と、アンパッキング部と、変位値適用部とを備える情報処理装置が、ビットストリームを復号し、カレントフレームのベースメッシュを生成するベースメッシュ復号部をさらに備えてもよい。また、上述の変位ビデオ復号部と、アンパッキング部と、変位値適用部とを備える情報処理装置が、ビットストリームを復号し、動きベクトルを生成する動きベクトル生成部と、参照フレームのベースメッシュの頂点にその動きベクトルを適用し、カレントフレームのベースメッシュを再構成するベースメッシュ再構成部とをさらに備えてもよい。
　例えば、上述の変位ビデオ復号部と、アンパッキング部と、変位値適用部とを備える情報処理装置において、そのアンパッキング部が、所望の部分領域の所望の階層の変換係数をアンパッキングし、その変換係数を逆ウェーブレット変換し、分割点の変位値を生成してもよい。
　例えば、上述の変位ビデオ復号部と、アンパッキング部と、変位値適用部とを備える情報処理装置が、ビットストリームを復号し、メッシュにおける部分領域の範囲を示すメッシュ範囲指定情報と、変位ビデオの2D画像における部分領域の範囲を示す変位ビデオ内範囲指定情報とを含む部分領域情報を生成するヘッダ復号部をさらに備えてもよい。そして、アンパッキング部が、変位ビデオ内範囲指定情報に基づいて、所望の部分領域の所望の階層の分割点の変位値をアンパッキングしてもよい。また、細分化部が、メッシュ範囲指定情報に基づいて、ベースメッシュの所望の部分領域を細分化してもよい。
　例えば、情報処理方法において、ビットストリームを復号し、ベースメッシュを細分化して得られる分割点の変位値が精細度毎に階層化されてオブジェクトの部分領域毎にパッキングされた2D画像をフレームとする変位ビデオを生成し、その変位ビデオのカレントフレームの2D画像にパッキングされた、所望の部分領域の所望の階層の分割点の変位値をアンパッキングし、カレントフレームのベースメッシュを細分化し、その細分化されたベースメッシュの分割点に、分割点の変位値を適用してもよい。なお、ベースメッシュは、オブジェクトの３次元構造を表現する頂点および接続により構成される符号化対象のオリジナルメッシュから頂点を間引くことにより生成されてもよい。つまり、このベースメッシュは、オリジナルメッシュよりも粗いメッシュであってもよい。また、分割点の変位値は、その分割点と（その分割点に対応する）オリジナルメッシュの頂点との間の位置の差であってもよい。
　　＜復号装置（イントラ）＞
　本技術は、メッシュの符号化データを復号する復号装置に適用することができる。図１０は、本技術を適用した情報処理装置の一態様である復号装置の構成の一例を示すブロック図である。図１０に示される復号装置２００は、メッシュの符号化データを復号する装置である。復号装置２００は、非特許文献１に記載のV-DMCと基本的に同様の方法でメッシュの符号化データを復号する。復号装置２００は、ベースメッシュがイントラ符号化された符号化データを復号（イントラ復号）する。
　ただし、復号装置２００は、上述した方法１を適用してメッシュの符号化データを復号する。また、復号装置２００は、上述した方法１－１や方法１－２も適用してもよい。
　つまり、復号装置２００は、図６の符号化装置１００に対応する復号装置であり、符号化装置１００が生成したビットストリームを復号し、メッシュを再構成し得る。
　なお、図１０においては、処理部やデータの流れ等の主なものを示しており、図１０に示されるものが全てとは限らない。つまり、復号装置２００において、図１０においてブロックとして示されていない処理部が存在したり、図１０において矢印等として示されていない処理やデータの流れが存在したりしてもよい。
　図１０に示されるように、復号装置２００は、逆多重化部２１１、ヘッダ復号部２１２、ベースメッシュ復号部２１３、細分化部２１４、変位ビデオ復号部２１５、アンパッキング部２１６、変位値適用部２１７、およびアトリビュートビデオ復号部２１８を有する。
　復号装置２００には、ベースメッシュをイントラ符号化する符号化装置（例えば、符号化装置１００）により生成されたビットストリームが供給される。
　逆多重化部２１１は、そのビットストリームを逆多重化し、そのビットストリームに含まれる各符号化データを抽出する。例えば、逆多重化部２１１は、ビットストリームからそのビットストリームのヘッダ情報を抽出し、ヘッダ復号部２１２へ供給する。なお、このヘッダ情報には、部分領域情報の符号化データが格納されているものとする。また、逆多重化部２１１は、ビットストリームからベースメッシュの符号化データを抽出し、ベースメッシュ復号部２１３へ供給する。また、逆多重化部２１１は、ビットストリームから変位ビデオの符号化データを抽出し、変位ビデオ復号部２１５へ供給する。また、逆多重化部２１１は、ビットストリームからアトリビュートビデオの符号化データを抽出し、アトリビュートビデオ復号部２１８へ供給する。
　ヘッダ復号部２１２は、供給されたヘッダ情報の符号化データを復号し、ヘッダ情報を生成（復元）する。ヘッダ復号部２１２は、生成したヘッダ情報をベースメッシュ復号部２１３、細分化部２１４、変位ビデオ復号部２１５、アンパッキング部２１６、およびアトリビュートビデオ復号部２１８へ供給する。
　ベースメッシュ復号部２１３は、供給されたベースメッシュの符号化データを、供給されたヘッダ情報に基づいて復号し、カレントベースメッシュを生成（復元）する。ベースメッシュ復号部２１３は、生成したカレントベースメッシュを細分化部２１４へ供給する。
　細分化部２１４は、供給されたベースメッシュを、供給されたヘッダ情報に基づいて細分化し、その細分化したベースメッシュを変位値適用部２１７へ供給する。
　細分化部２１４は、この細分化において方法１を適用する。すなわち、細分化部２１４は、ベースメッシュの所望の部分領域を細分化する。その際、細分化部２１４は、方法１－２を適用してもよい。つまり、細分化部２１４は、ヘッダ情報に含まれる部分領域情報（のメッシュ範囲指定情報）に基づいて、再構成されるメッシュにおける所望の範囲に対応する部分領域を特定し、ベースメッシュのその特定した部分領域を細分化してもよい。
　変位ビデオ復号部２１５は、供給された変位ビデオの符号化データを、供給されたヘッダ情報に基づいて復号し、変位ビデオ（のカレントフレーム）を生成（復元）する。変位ビデオ復号部２１５は、生成した変位ビデオ（のカレントフレーム）をアンパッキング部２１６へ供給する。
　アンパッキング部２１６は、供給されたヘッダ情報に基づいて、供給された変位ビデオのカレントフレームから分割点の変位値をアンパッキングする。その際、アンパッキング部２１６は、変換係数をアンパッキングし、その変換係数を係数変換（例えばウェーブレット変換）して分割点の変位値を導出してもよい。また、アンパッキング部２１６は、量子化係数をアンパッキングし、その量子化係数を逆量子化して分割点の変位値を導出してもよい。また、アンパッキング部２１６は、量子化係数をアンパッキングし、その量子化係数を逆量子化して変換係数を導出し、その変換係数を係数変換（例えばウェーブレット変換）して分割点の変位値を導出してもよい。
　また、アンパッキング部２１６は、このアンパッキングにおいて方法１を適用する。すなわち、アンパッキング部２１６は、所望の部分領域の分割点の変位値をアンパッキングする。例えば、アンパッキング部２１６は、所望の部分領域の所望の階層の分割点の変位値をアンパッキングしてもよい。
　また、アンパッキング部２１６は、方法１－１を適用してもよい。つまり、アンパッキング部２１６は、所望の部分領域の所望の階層の変換係数をアンパッキングし、その変換係数を逆ウェーブレット変換し、分割点の変位値を生成してもよい。
　また、アンパッキング部２１６は、方法１－２を適用してもよい。つまり、アンパッキング部２１６は、ヘッダ情報に含まれる部分領域情報（の変位ビデオ内範囲指定情報）に基づいて、所望の部分領域のデータが２次元画像の何処に格納されているかを特定し、その特定した領域から、所望の階層の分割点の変位値をアンパッキングしてもよい。
　アンパッキング部２１６は、アンパッキングした分割点の変位値を変位値適用部２１７へ供給する。
　変位値適用部２１７は、供給されたベースメッシュ（細分化されたベースメッシュ）の分割点に、供給された分割点の変位値を適用し、メッシュを再構成する。本明細書においてこのメッシュを復号メッシュとも称する。すなわち、変位値適用部２１７は、復号メッシュを生成するとも言える。変位値適用部２１７は、生成した復号メッシュを復号装置２００の外部に出力する。
　アトリビュートビデオ復号部２１８は、供給されたアトリビュートビデオの符号化データを、供給されたヘッダ情報に基づいて復号し、アトリビュートビデオ（のカレントフレーム）を生成する。アトリビュートビデオ復号部２１８は、生成したアトリビュートビデオのカレントフレーム、すなわち、復号メッシュに対応するアトリビュートマップを復号装置２００の外部に出力する。
　このような構成を有することにより、復号装置２００は、パーシャルアクセス機能を実現することができる。したがって、復号装置２００は、復号処理の処理量の増大を抑制したり、符号化効率の低減を抑制したりすることができる。つまり、復号装置２００は、符号化・復号の性能を向上させることができる。
　　＜復号処理の流れ＞
　この復号装置２００により実行される復号処理の流れの例を、図１１のフローチャートを参照して説明する。
　復号処理が開始されると、逆多重化部２１１は、ステップＳ２０１において、ビットストリームを逆多重化し、各種符号化データを抽出する。
　ステップＳ２０２において、ヘッダ復号部２１２は、ステップＳ２０１において抽出されたヘッダ情報の符号化データを復号し、ヘッダ情報を生成（復元）する。
　ステップＳ２０３において、ベースメッシュ復号部２１３は、ステップＳ２０１において抽出されたベースメッシュの符号化データを復号し、カレントベースメッシュを生成（復元）する。
　ステップＳ２０４において、細分化部２１４は、そのカレントベースメッシュの所望の部分領域を細分化する。その際、細分化部２１４は、ヘッダ情報に含まれる部分領域情報（のメッシュ範囲指定情報）に基づいて、メッシュにおける所望の範囲に対応する部分領域を特定し、ベースメッシュのその特定した部分領域を細分化してもよい。
　ステップＳ２０５において、変位ビデオ復号部２１５は、ステップＳ２０１において抽出された変位ビデオの符号化データを復号し、変位ビデオ（のカレントフレーム）を生成（復元）する。
　ステップＳ２０６において、アンパッキング部２１６は、そのカレントフレーム（２次元画像）から、所望の部分領域の所望のLoDの変位値をアンパッキングする。その際、アンパッキング部２１６は、部分領域毎に係数変換（例えばウェーブレット変換）された変換係数をアンパッキングし、その変換係数を部分領域毎に逆係数変換（例えば逆ウェーブレット変換）して分割点の変位値を導出してもよい。また、アンパッキング部２１６は、ヘッダ情報に含まれる部分領域情報（の変位ビデオ内範囲指定情報）に基づいて、所望の部分領域のデータが２次元画像の何処に格納されているかを特定し、その特定した領域から、所望の階層の分割点の変位値をアンパッキングしてもよい。
　ステップＳ２０７において、変位値適用部２１７は、ステップＳ２０４において細分化されたベースメッシュの分割点に、ステップＳ２０６においてアンパッキングされた分割点の変位値を適用し、復号メッシュを生成する。
　ステップＳ２０８において、アトリビュートビデオ復号部２１８は、ステップＳ２０１において抽出されたアトリビュートビデオの符号化データを復号し、アトリビュートビデオのカレントフレーム、すなわちアトリビュートマップを生成（復元）する。
　ステップＳ２０８の処理が終了すると、復号処理が終了する。
　以上のように各処理を実行することにより、復号装置２００は、パーシャルアクセス機能を実現することができる。したがって、復号装置２００は、復号処理の処理量の増大を抑制したり、符号化効率の低減を抑制したりすることができる。つまり、復号装置２００は、符号化・復号の性能を向上させることができる。
　　＜復号装置（インター）＞
　図１２は、本技術を適用した情報処理装置の一態様である符号化装置の構成の一例を示すブロック図である。図１２に示される復号装置２５０は、メッシュの符号化データを復号する装置である。復号装置２５０は、非特許文献１に記載のV-DMCと基本的に同様の方法でメッシュの符号化データを復号する。復号装置２５０は、ベースメッシュがインター符号化された符号化データを復号（インター復号）する。
　ただし、復号装置２５０は、上述した方法１を適用してメッシュの符号化データを復号する。また、復号装置２５０は、上述した方法１－１や方法１－２も適用してもよい。
　つまり、復号装置２５０は、図８の符号化装置１５０に対応する復号装置であり、符号化装置１５０が生成したビットストリームを復号し、メッシュを再構成し得る。
　なお、図１２においては、処理部やデータの流れ等の主なものを示しており、図１２に示されるものが全てとは限らない。つまり、復号装置２５０において、図１２においてブロックとして示されていない処理部が存在したり、図１２において矢印等として示されていない処理やデータの流れが存在したりしてもよい。
　図１２に示されるように、復号装置２５０は、逆多重化部２６１、ヘッダ復号部２６２、動きベクトル復号部２６３、ベースメッシュ再構成部２６４、細分化部２６５、変位ビデオ復号部２６６、アンパッキング部２６７、変位値適用部２６８、およびアトリビュートビデオ復号部２６９を有する。
　復号装置２５０には、ベースメッシュをインター符号化する符号化装置（例えば、符号化装置１５０）により生成されたビットストリームが供給される。
　逆多重化部２６１は、そのビットストリームを逆多重化し、そのビットストリームに含まれる各符号化データを抽出する。例えば、逆多重化部２６１は、ビットストリームからそのビットストリームのヘッダ情報を抽出し、ヘッダ復号部２６２へ供給する。なお、このヘッダ情報には、部分領域情報の符号化データが格納されているものとする。また、逆多重化部２６１は、ビットストリームから動きベクトルの符号化データを抽出し、動きベクトル復号部２６３へ供給する。また、逆多重化部２６１は、ビットストリームから変位ビデオの符号化データを抽出し、変位ビデオ復号部２６６へ供給する。また、逆多重化部２６１は、ビットストリームからアトリビュートビデオの符号化データを抽出し、アトリビュートビデオ復号部２６９へ供給する。
　ヘッダ復号部２６２は、供給されたヘッダ情報の符号化データを復号し、ヘッダ情報を生成（復元）する。ヘッダ復号部２６２は、生成したヘッダ情報を動きベクトル復号部２６３、細分化部２６５、変位ビデオ復号部２６６、アンパッキング部２６７、およびアトリビュートビデオ復号部２６９へ供給する。
　動きベクトル復号部２６３は、供給された動きベクトルの符号化データを、供給されたヘッダ情報に基づいて復号し、動きベクトルを生成（復元）する。動きベクトル復号部２６３は、生成した動きベクトルをベースメッシュ再構成部２６４へ供給する。
　ベースメッシュ再構成部２６４は、供給された動きベクトルを参照ベースメッシュに適用し、カレントベースメッシュを再構成する。ベースメッシュ再構成部２６４は、再構成したカレントベースメッシュを細分化部２６５へ供給する。なお、ベースメッシュ再構成部２６４は、そのカレントベースメッシュを復号装置２５０の外部等に供給し、記憶させ、後のフレームにおいて参照ベースメッシュとして再利用できるようにしてもよい。なお、参照ベースメッシュは、復号メッシュから生成してもよい。
　細分化部２６５は、供給されたベースメッシュを、供給されたヘッダ情報に基づいて細分化し、その細分化したベースメッシュを変位値適用部２６８へ供給する。
　細分化部２６５は、この細分化において方法１を適用する。すなわち、細分化部２６５は、ベースメッシュの所望の部分領域を細分化する。その際、細分化部２６５は、方法１－２を適用してもよい。つまり、細分化部２６５は、ヘッダ情報に含まれる部分領域情報（のメッシュ範囲指定情報）に基づいて、メッシュにおける所望の範囲に対応する部分領域を特定し、ベースメッシュのその特定した部分領域を細分化してもよい。
　変位ビデオ復号部２６６は、供給された変位ビデオの符号化データを、供給されたヘッダ情報に基づいて復号し、変位ビデオ（のカレントフレーム）を生成（復元）する。変位ビデオ復号部２６６は、生成した変位ビデオ（のカレントフレーム）をアンパッキング部２６７へ供給する。
　アンパッキング部２６７は、供給されたヘッダ情報に基づいて、供給された変位ビデオのカレントフレームから分割点の変位値をアンパッキングする。その際、アンパッキング部２６７は、変換係数をアンパッキングし、その変換係数を係数変換（例えばウェーブレット変換）して分割点の変位値を導出してもよい。また、アンパッキング部２６７は、量子化係数をアンパッキングし、その量子化係数を逆量子化して分割点の変位値を導出してもよい。また、アンパッキング部２６７は、量子化係数をアンパッキングし、その量子化係数を逆量子化して変換係数を導出し、その変換係数を係数変換（例えばウェーブレット変換）して分割点の変位値を導出してもよい。
　また、アンパッキング部２６７は、このアンパッキングにおいて方法１を適用する。すなわち、アンパッキング部２６７は、所望の部分領域の分割点の変位値をアンパッキングする。例えば、アンパッキング部２６７は、所望の部分領域の所望の階層の分割点の変位値をアンパッキングしてもよい。
　また、アンパッキング部２６７は、方法１－１を適用してもよい。つまり、アンパッキング部２６７は、所望の部分領域の所望の階層の変換係数をアンパッキングし、その変換係数を逆ウェーブレット変換し、分割点の変位値を生成してもよい。
　また、アンパッキング部２６７は、方法１－２を適用してもよい。つまり、アンパッキング部２６７は、ヘッダ情報に含まれる部分領域情報（の変位ビデオ内範囲指定情報）に基づいて、所望の部分領域のデータが２次元画像の何処に格納されているかを特定し、その特定した領域から、所望の階層の分割点の変位値をアンパッキングしてもよい。
　アンパッキング部２６７は、アンパッキングした分割点の変位値を変位値適用部２６８へ供給する。
　変位値適用部２６８は、供給されたベースメッシュ（細分化されたベースメッシュ）の分割点に、供給された分割点の変位値を適用し、メッシュを再構成する（復号メッシュを生成する）。変位値適用部２６８は、生成した復号メッシュを復号装置２５０の外部に出力する。
　アトリビュートビデオ復号部２６９は、供給されたアトリビュートビデオの符号化データを、供給されたヘッダ情報に基づいて復号し、アトリビュートビデオ（のカレントフレーム）を生成する。アトリビュートビデオ復号部２６９は、生成したアトリビュートビデオのカレントフレーム、すなわち、復号メッシュに対応するアトリビュートマップを復号装置２５０の外部に出力する。
　このような構成を有することにより、復号装置２５０は、パーシャルアクセス機能を実現することができる。したがって、復号装置２５０は、復号処理の処理量の増大を抑制したり、符号化効率の低減を抑制したりすることができる。つまり、復号装置２５０は、符号化・復号の性能を向上させることができる。
　　＜復号処理の流れ＞
　この復号装置２５０により実行される復号処理の流れの例を、図１３のフローチャートを参照して説明する。
　復号処理が開始されると、逆多重化部２６１は、ステップＳ２５１において、ビットストリームを逆多重化し、各種符号化データを抽出する。
　ステップＳ２５２において、ヘッダ復号部２６２は、ステップＳ２５１において抽出されたヘッダ情報の符号化データを復号し、ヘッダ情報を生成（復元）する。
　ステップＳ２５３において、動きベクトル復号部２６３は、ステップＳ２５１において抽出された動きベクトルの符号化データを復号し、動きベクトルを生成（復元）する。
　ステップＳ２５４において、ベースメッシュ再構成部２６４は、その動きベクトルと参照ベースメッシュを用いてカレントベースメッシュを再構成する。
　ステップＳ２５５において、細分化部２６５は、そのカレントベースメッシュの所望の部分領域を細分化する。その際、細分化部２６５は、ヘッダ情報に含まれる部分領域情報（のメッシュ範囲指定情報）に基づいて、メッシュにおける所望の範囲に対応する部分領域を特定し、ベースメッシュのその特定した部分領域を細分化してもよい。
　ステップＳ２５６において、変位ビデオ復号部２６６は、ステップＳ２５１において抽出された変位ビデオの符号化データを復号し、変位ビデオ（のカレントフレーム）を生成（復元）する。
　ステップＳ２５７において、アンパッキング部２６７は、そのカレントフレーム（２次元画像）から、所望の部分領域の所望のLoDの変位値をアンパッキングする。その際、アンパッキング部２６７は、部分領域毎に係数変換（例えばウェーブレット変換）された変換係数をアンパッキングし、その変換係数を部分領域毎に逆係数変換（例えば逆ウェーブレット変換）して分割点の変位値を導出してもよい。また、アンパッキング部２６７は、ヘッダ情報に含まれる部分領域情報（の変位ビデオ内範囲指定情報）に基づいて、所望の部分領域のデータが２次元画像の何処に格納されているかを特定し、その特定した領域から、所望の階層の分割点の変位値をアンパッキングしてもよい。
　ステップＳ２５８において、変位値適用部２６８は、ステップＳ２５５において細分化されたベースメッシュの分割点に、ステップＳ２５７においてアンパッキングされた分割点の変位値を適用し、復号メッシュを生成する。
　ステップＳ２５９において、アトリビュートビデオ復号部２６９は、ステップＳ２５１において抽出されたアトリビュートビデオの符号化データを復号し、アトリビュートビデオのカレントフレーム、すなわちアトリビュートマップを生成（復元）する。
　ステップＳ２５９の処理が終了すると、復号処理が終了する。
　以上のように各処理を実行することにより、復号装置２５０は、パーシャルアクセス機能を実現することができる。したがって、復号装置２５０は、復号処理の処理量の増大を抑制したり、符号化効率の低減を抑制したりすることができる。つまり、復号装置２５０は、符号化・復号の性能を向上させることができる。
　＜４．ベースメッシュ頂点変位値のパッキング＞
　　＜復号処理の概要＞
　非特許文献１に記載の方法の場合、復号処理は、図１４のような流れで行われる。例えば、ベースメッシュをイントラ符号化する場合、デコーダは、図１４の上側に示されるように、ビットストリームを復号してベースメッシュを生成し、そのベースメッシュを細分化し、細分化されたベースメッシュの分割点に変位値を適用する。また、ベースメッシュをインター符号化する場合、デコーダは、図１４の下側に示されるように、ビットストリームを復号して卯木機ベクトルを生成し、その動きベクトルを参照ベースメッシュに適用してカレントベースメッシュを再構成し、そのカレントベースメッシュを細分化し、細分化されたベースメッシュの分割点に変位値を適用する。
　しかしながら、ベースメッシュをイントラ符号化する場合、このような方法では、符号化歪を含むベースメッシュにおいて細分化が行われるため、分割点の変位が増大し、符号化効率が低減するおそれがあった。
　また、ベースメッシュをインター符号化する場合、このような方法では、動きベクトルは、フレーム毎にエントロピ符号化され、インター符号化を適用することが困難であった。これにより、符号化効率が低減するおそれがあった。
　　＜方法２＞
　そこで、図１５の表の最上段に示されるように、ベースメッシュの頂点の変位値を伝送し、分割の前に適用してもよい（方法２）。
　例えば、情報処理装置が、ベースメッシュの頂点の変位値であるベースメッシュ頂点変位値を導出するベースメッシュ頂点変位値導出部と、そのベースメッシュを細分化して得られる分割点の変位値を精細度毎に階層化し、そのベースメッシュ頂点変位値とその階層化された分割点の変位値とを2D画像にパッキングするパッキング部と、その2D画像をフレームとする変位ビデオを符号化する変位ビデオ符号化部とを備えてもよい。なお、ベースメッシュは、オブジェクトの３次元構造を表現する頂点および接続により構成される符号化対象のオリジナルメッシュから頂点を間引くことにより生成されてもよい。つまり、そのベースメッシュは、オリジナルメッシュよりも粗いメッシュであってもよい。また、分割点の変位値は、その分割点と（その分割点に対応する）オリジナルメッシュの頂点との間の位置の差であってもよい。また、ベースメッシュ頂点変位値は、ベースメッシュの頂点とオリジナルメッシュの頂点との間の位置の差であってもよい。
　また、情報処理方法において、ベースメッシュの頂点の変位値であるベースメッシュ頂点変位値を導出し、そのベースメッシュを細分化して得られる分割点の変位値を精細度毎に階層化し、そのベースメッシュ頂点変位値とその階層化された分割点の変位値とを2D画像にパッキングし、その2D画像をフレームとする変位ビデオを符号化してもよい。なお、ベースメッシュは、オブジェクトの３次元構造を表現する頂点および接続により構成される符号化対象のオリジナルメッシュから頂点を間引くことにより生成されてもよい。つまり、ベースメッシュは、オリジナルメッシュよりも粗いメッシュであってもよい。また、分割点の変位値は、その分割点と（その分割点に対応する）オリジナルメッシュの頂点との間の位置の差であってもよい。また、ベースメッシュ頂点変位値は、ベースメッシュの頂点とオリジナルメッシュの頂点との間の位置の差であってもよい。
　このようにすることにより、ベースメッシュを、ベースメッシュ頂点変位値を用いて補正することができる。これにより符号化効率の低減を抑制することができる。
　　＜方法２－１＞
　この方法２を適用する場合、図１５の表の上から２段目に示されるように、カレントベースメッシュの頂点の変位値を伝送してもよい（方法２－１）。つまり、ベースメッシュをイントラ符号化する場合において、方法２を適用してもよい。
　例えば、ベースメッシュ頂点変位値導出部と、パッキング部と、変位ビデオ符号化部とを備える情報処理装置が、カレントフレームのベースメッシュを符号化するベースメッシュ符号化部と、カレントフレームのベースメッシュの符号化データを復号するベースメッシュ復号部とをさらに備え、ベースメッシュ頂点変位値導出部が、符号化前のカレントフレームのベースメッシュと、符号化されて復号されたカレントフレームのベースメッシュとの間の頂点の変位を、ベースメッシュ頂点変位値として導出してもよい。つまり、符号化歪による頂点の変位をベースメッシュ頂点変位値としてもよい。
　この場合、デコーダは、図１６の上側に示されるように、ビットストリームを復号してベースメッシュを生成し、そのベースメッシュにベースメッシュ頂点変位値を適用し、そのベースメッシュを細分化し、細分化されたベースメッシュの分割点に変位値を適用する。
　このようにすることにより、符号化歪による分割点の変位の増大を抑制し、符号化効率の低減を抑制することができる。
　　＜方法２－２＞
　また、方法２を適用する場合、図１５の表の最下段に示されるように、参照ベースメッシュの頂点の変位値を伝送してもよい（方法２－２）。つまり、ベースメッシュをインター符号化する場合において、方法２を適用してもよい。
　例えば、ベースメッシュ頂点変位値導出部と、パッキング部と、変位ビデオ符号化部とを備える情報処理装置において、そのベースメッシュ頂点変位値導出部が、参照フレームのベースメッシュとカレントフレームのベースメッシュとの間の頂点の変位を、ベースメッシュ頂点変位値として導出してもよい。すなわち、フレーム間の頂点の変位（つまり、動きベクトル）を、ベースメッシュ頂点変位値としてもよい。
　この場合、デコーダは、図１６の下側に示されるように、参照ベースメッシュにベースメッシュ頂点変位値を適用してカレントベースメッシュを再構成し、そのカレントベースメッシュを細分化し、細分化されたベースメッシュの分割点に変位値を適用する。
　このようにすることにより、動きベクトルの情報を２次元画像にパッキングして符号化することができる。つまり、動きベクトルに対して２次元符号化のインター符号化を適用することができ、符号化効率の低減を抑制することができる。
　なお、この場合、エンコーダは、分割点の変位値とは別に、ベースメッシュ頂点変位値を２次元画像にパッキングする。例えば、図１７に示される２次元画像３１０のように、精細度毎の分割点の変位値の前の位置に、ベースメッシュ頂点変位値３１１をパッキングしてもよい。このベースメッシュ頂点変位値がパッキングされる場所は、予め定められていてもよいし、任意の位置でもよい。２次元画像の任意の位置にベースメッシュ頂点変位値をパッキングする場合、エンコーダは、その位置を示す情報をデコーダ側へ提供すればよい。
　　＜符号化装置（イントラ）＞
　本技術は、メッシュを符号化する符号化装置に適用することができる。図１８は、本技術を適用した情報処理装置の一態様である符号化装置の構成の一例を示すブロック図である。図１８に示される符号化装置１００は、図６の場合と同様に、メッシュを符号化する装置である。ただし、この場合の符号化装置１００は、上述した方法２、方法２－１、または方法２－２を適用してメッシュを符号化する。
　なお、図１８においては、処理部やデータの流れ等の主なものを示しており、図１８に示されるものが全てとは限らない。つまり、符号化装置１００において、図１８においてブロックとして示されていない処理部が存在したり、図１８において矢印等として示されていない処理やデータの流れが存在したりしてもよい。
　図１８に示されるように、符号化装置１００は、図６に示される構成と比べて、パッキング部１１４の代わりに、ベースメッシュ頂点変位値導出部４１１およびパッキング部４１２を有する。
　ベースメッシュ頂点変位値導出部４１１は、符号化装置１００に供給されるカレントベースメッシュと、ベースメッシュ復号部１１２により生成（復元）されたベースメッシュ（符号化歪を含む）とに基づいてベースメッシュ頂点変位値を導出する。つまり、ベースメッシュ頂点変位値導出部４１１は、符号化歪による頂点の変位をベースメッシュ頂点変位値として導出する。ベースメッシュ頂点変位値導出部４１１は、導出したベースメッシュ頂点変位値をパッキング部４１２へ供給する。
　パッキング部４１２は、変位値補正部１１３から供給される分割点の変位値と、ベースメッシュ頂点変位値導出部４１１から供給されるベースメッシュ頂点変位値を、２次元画像にパッキングする。
　その際、パッキング部４１２は、分割点の変位値やベースメッシュ頂点変位値を係数変換（例えばウェーブレット変換）し、変換係数を２次元画像にパッキングしてもよい。また、パッキング部４１２は、分割点の変位値やベースメッシュ頂点変位値（またはそれらに対応する変換係数）を量子化し、量子化係数を２次元画像にパッキングしてもよい。
　パッキング部４１２は、分割点の変位値やベースメッシュ頂点変位値（または、それに相当する情報）がパッキングされた２次元画像を変位ビデオ符号化部１１５へ供給する。
　その他の処理部は、図６の例の場合と同様に実行する。
　このような構成を有することにより、符号化装置１００は、符号化歪による分割点の変位の増大を抑制し、符号化効率の低減を抑制することができる。つまり、符号化装置１００は、符号化・復号の性能を向上させることができる。
　　＜符号化処理の流れ＞
　この場合の符号化装置１００により実行される符号化処理の流れの例を、図１９のフローチャートを参照して説明する。
　符号化処理が開始されると、ステップＳ４０１乃至ステップＳ４０３の各処理が、図７のステップＳ１０１乃至ステップＳ１０３の各処理と同様に実行される。
　ステップＳ４０４において、ベースメッシュ頂点変位値導出部４１１は、符号化前後のカレントベースメッシュに基づいてベースメッシュ頂点変位値を導出する。つまり、ベースメッシュ頂点変位値導出部４１１は、符号化歪による頂点の変位をベースメッシュ頂点変位値として導出する。
　ステップＳ４０５において、パッキング部１１４は、ステップＳ４０４において導出されたベースメッシュ頂点変位値と、LoD毎の分割点の変位値をフレーム（２次元画像）にパッキングする。
　ステップＳ４０６乃至ステップＳ４１０の各処理は、図７のステップＳ１０５乃至ステップＳ１０９の各処理と同様に実行される。
　ステップＳ４１０の処理が終了すると符号化処理が終了する。
　以上のように各処理を実行することにより、符号化装置１００は、符号化歪による分割点の変位の増大を抑制し、符号化効率の低減を抑制することができる。つまり、符号化装置１００は、符号化・復号の性能を向上させることができる。
　　＜符号化装置（インター）＞
　図２０は、本技術を適用した情報処理装置の一態様である符号化装置の構成の一例を示すブロック図である。図２０に示される符号化装置１５０は、図８の場合と同様に、メッシュを符号化する装置である。符号化装置１５０は、非特許文献１に記載のV-DMCと基本的に同様の方法でメッシュを符号化する。ただし、符号化装置１５０は、上述した方法２、方法２－１、または方法２－２を適用してメッシュを符号化する。
　なお、図２０においては、処理部やデータの流れ等の主なものを示しており、図２０に示されるものが全てとは限らない。つまり、符号化装置１５０において、図２０においてブロックとして示されていない処理部が存在したり、図２０において矢印等として示されていない処理やデータの流れが存在したりしてもよい。
　図２０に示されるように、符号化装置１５０は、図８に示される構成と比べて、動きベクトル符号化部１６１、ベースメッシュ再構成部１６２、パッキング部１６４の代わりに、ベースメッシュ頂点変位値導出部４６１、カレントベースメッシュ符号化部４６２、カレントベースメッシュ復号部４６３、およびパッキング部４６４を有する。
　ベースメッシュ頂点変位値導出部４６１は、符号化装置１５０に供給されるカレントベースメッシュと、参照ベースメッシュとに基づいてベースメッシュ頂点変位値を導出する。つまり、ベースメッシュ頂点変位値導出部４６１は、ベースメッシュの頂点のフレーム間の変位をベースメッシュ頂点変位値として導出する。ベースメッシュ頂点変位値導出部４６１は、導出したベースメッシュ頂点変位値をパッキング部４６４へ供給する。
　カレントベースメッシュ符号化部４６２は、符号化装置１５０に供給されるカレントベースメッシュを符号化し、その符号化データをカレントベースメッシュ復号部４６３へ供給する。
　カレントベースメッシュ復号部４６３は、供給されたカレントベースメッシュの符号化データを復号し、カレントベースメッシュを生成（復元）する。この生成されたカレントベースメッシュは符号化歪を含む。カレントベースメッシュ復号部４６３は、生成したカレントベースメッシュ（符号化歪を含む）を変位値補正部１６３へ供給する。
　パッキング部４６４は、変位値補正部１６３から供給される分割点の変位値と、ベースメッシュ頂点変位値導出部４６１から供給されるベースメッシュ頂点変位値を、２次元画像にパッキングする。
　その際、パッキング部４６４は、分割点の変位値やベースメッシュ頂点変位値を係数変換（例えばウェーブレット変換）し、変換係数を２次元画像にパッキングしてもよい。また、パッキング部４６４は、分割点の変位値やベースメッシュ頂点変位値（またはそれらに対応する変換係数）を量子化し、量子化係数を２次元画像にパッキングしてもよい。
　パッキング部４６４は、分割点の変位値やベースメッシュ頂点変位値（または、それに相当する情報）がパッキングされた２次元画像を変位ビデオ符号化部１６５へ供給する。
　その他の処理部は、図６の例の場合と同様に実行する。
　このような構成を有することにより、符号化装置１５０は、動きベクトルの情報を２次元画像にパッキングして符号化することができる。つまり、符号化装置１５０は、動きベクトルに対して２次元符号化のインター符号化を適用することができる。したがって、符号化装置１５０は、符号化効率の低減を抑制することができる。つまり、符号化装置１５０は、符号化・復号の性能を向上させることができる。
　　＜符号化処理の流れ＞
　この場合の符号化装置１５０により実行される符号化処理の流れの例を、図２１のフローチャートを参照して説明する。
　符号化処理が開始されると、ステップＳ４５１において、ベースメッシュ頂点変位値導出部４６１は、カレントベースメッシュと参照ベースメッシュとに基づいてベースメッシュ頂点変位値を導出する。つまり、ベースメッシュ頂点変位値導出部４６１は、ベースメッシュの頂点のフレーム間の変位をベースメッシュ頂点変位値として導出する。
　ステップＳ４５２において、カレントベースメッシュ符号化部４６２は、カレントベースメッシュを符号化する。
　ステップＳ４５３において、カレントベースメッシュ復号部４６３は、ステップＳ４５２において生成されたカレントベースメッシュの符号化データを復号し、カレントベースメッシュを生成（復元）する。
　ステップＳ４５４において、変位値補正部１６３は、分割点の変位値を、ステップＳ４５３において生成（復元）されたベースメッシュ（符号化歪を含む）を用いて補正する。
　ステップＳ４５５において、パッキング部４６４は、LoD毎の分割点の変位値とベースメッシュ頂点変位値を、２次元画像にパッキングする。
　ステップＳ４５６乃至ステップＳ４６０の各処理は、図９のステップＳ１５５乃至ステップＳ１５９の各処理と同様に実行される。
　ステップＳ４６０の処理が終了すると符号化処理が終了する。
　以上のように各処理を実行することにより、符号化装置１５０は、動きベクトルの情報を２次元画像にパッキングして符号化することができる。つまり、符号化装置１５０は、動きベクトルに対して２次元符号化のインター符号化を適用することができる。したがって、符号化装置１５０は、符号化効率の低減を抑制することができる。つまり、符号化装置１５０は、符号化・復号の性能を向上させることができる。
　　＜方法２、方法２－１、方法２－２＞
　なお、上述した方法２、方法２－１、方法２－２は、復号装置にも適用し得る。
　例えば、情報処理装置が、ビットストリームを復号し、ベースメッシュの頂点の変位値であるベースメッシュ頂点変位値と、そのベースメッシュを細分化して得られる分割点の変位値とがパッキングされた2D画像をフレームとする変位ビデオを生成する変位ビデオ復号部と、その変位ビデオのカレントフレームの2D画像にパッキングされたベースメッシュ頂点変位値と分割点の変位値とをアンパッキングするアンパッキング部と、ベースメッシュの頂点にベースメッシュ頂点変位値を適用するベースメッシュ頂点位置適用部と、頂点にベースメッシュ頂点変位値が適用されたベースメッシュを細分化する細分化部と、その細分化されたベースメッシュの分割点に、分割点の変位値を適用する変位値適用部とを備えてもよい。なお、ベースメッシュは、オブジェクトの３次元構造を表現する頂点および接続により構成される符号化対象のオリジナルメッシュから頂点を間引くことにより生成されてもよい。つまり、このベースメッシュは、オリジナルメッシュよりも粗いメッシュであってもよい。また、分割点の変位値は、その分割点と（その分割点に対応する）オリジナルメッシュの頂点との間の位置の差であってもよい。また、ベースメッシュ頂点変位値は、ベースメッシュの頂点とオリジナルメッシュの頂点との間の位置の差であってもよい。
　また、情報処理方法において、ビットストリームを復号し、ベースメッシュの頂点の変位値であるベースメッシュ頂点変位値と、そのベースメッシュを細分化して得られる分割点の変位値とがパッキングされた2D画像をフレームとする変位ビデオを生成し、その変位ビデオのカレントフレームの2D画像にパッキングされたベースメッシュ頂点変位値と分割点の変位値とをアンパッキングし、ベースメッシュの頂点にベースメッシュ頂点変位値を適用し、頂点にベースメッシュ頂点変位値が適用されたベースメッシュを細分化し、その細分化されたベースメッシュの分割点に、分割点の変位値を適用してもよい。なお、ベースメッシュは、オブジェクトの３次元構造を表現する頂点および接続により構成される符号化対象のオリジナルメッシュから頂点を間引くことにより生成されてもよい。つまり、このベースメッシュは、オリジナルメッシュよりも粗いメッシュであってもよい。また、分割点の変位値は、その分割点と（その分割点に対応する）オリジナルメッシュの頂点との間の位置の差であってもよい。また、ベースメッシュ頂点変位値は、ベースメッシュの頂点とオリジナルメッシュの頂点との間の位置の差であってもよい。
　このようにすることにより、ベースメッシュを、ベースメッシュ頂点変位値を用いて補正することができる。これにより符号化効率の低減を抑制することができる。
　また、例えば、変位ビデオ復号部と、アンパッキング部と、ベースメッシュ頂点位置適用部と、細分化部と、変位値適用部とを備える情報処理装置が、ビットストリームを復号し、カレントフレームのベースメッシュを生成するベースメッシュ復号部をさらに備え、ベースメッシュ頂点位置適用部が、その生成されたカレントフレームのベースメッシュの頂点にベースメッシュ頂点変位値を適用してもよい。
　このようにすることにより、符号化歪による分割点の変位の増大を抑制し、符号化効率の低減を抑制することができる。
　また、例えば、変位ビデオ復号部と、アンパッキング部と、ベースメッシュ頂点位置適用部と、細分化部と、変位値適用部とを備える情報処理装置において、そのベースメッシュ頂点位置適用部が、参照フレームのベースメッシュの頂点にベースメッシュ頂点変位値を適用してもよい。
　このようにすることにより、動きベクトルの情報を２次元画像にパッキングして符号化することができる。つまり、動きベクトルに対して２次元符号化のインター符号化を適用することができ、符号化効率の低減を抑制することができる。
　　＜復号装置（イントラ）＞
　本技術は、メッシュの符号化データを復号する復号装置に適用することができる。図２２は、本技術を適用した情報処理装置の一態様である復号装置の構成の一例を示すブロック図である。図２２に示される復号装置２００は、図１０の場合と同様に、メッシュの符号化データを復号する装置である。ただし、この場合の復号装置２００は、上述した方法２、方法２－１、または方法２－２を適用してメッシュの符号化データを復号する。
　なお、図２２においては、処理部やデータの流れ等の主なものを示しており、図２２に示されるものが全てとは限らない。つまり、復号装置２００において、図２２においてブロックとして示されていない処理部が存在したり、図２２において矢印等として示されていない処理やデータの流れが存在したりしてもよい。
　図２２に示されるように、復号装置２００は、図１０に示される構成と比べて、アンパッキング部２１６の代わりに、アンパッキング部５１１およびベースメッシュ頂点変位値適用部５１２を有する。
　アンパッキング部５１１は、変位ビデオ復号部２１５から供給された変位ビデオのカレントフレームから、ベースメッシュ頂点変位値と分割点の変位値をアンパッキングする。その際、アンパッキング部５１１は、変換係数をアンパッキングし、その変換係数を係数変換（例えばウェーブレット変換）して分割点の変位値やベースメッシュ頂点変位値を導出してもよい。また、アンパッキング部５１１は、量子化係数をアンパッキングし、その量子化係数を逆量子化して分割点の変位値やベースメッシュ頂点変位値を導出してもよい。また、アンパッキング部５１１は、量子化係数をアンパッキングし、その量子化係数を逆量子化して変換係数を導出し、その変換係数を係数変換（例えばウェーブレット変換）して分割点の変位値やベースメッシュ頂点変位値を導出してもよい。
　アンパッキング部５１１は、アンパッキングしたベースメッシュ頂点変位値をベースメッシュ頂点変位値適用部５１２へ供給する。また、アンパッキング部５１１は、アンパッキングした分割点の変位値を変位値適用部２１７へ供給する。
　ベースメッシュ頂点変位値適用部５１２は、ベースメッシュ復号部２１３から供給されるカレントベースメッシュの頂点に、アンパッキング部５１１から供給されるベースメッシュ頂点変位値を適用する。これにより符号化歪が低減される。ベースメッシュ頂点変位値適用部５１２は、処理後のベースメッシュを細分化部２１４へ供給する。
　その他の処理部は、図１０の例の場合と同様に実行する。
　このような構成を有することにより、復号装置２００は、符号化歪による分割点の変位の増大を抑制し、符号化効率の低減を抑制することができる。つまり、復号装置２００は、符号化・復号の性能を向上させることができる。
　　＜復号処理の流れ＞
　この場合の復号装置２００により実行される復号処理の流れの例を、図２３のフローチャートを参照して説明する。
　符号化処理が開始されると、ステップＳ５０１乃至ステップＳ５０３の各処理が、図１１のステップＳ２０１乃至ステップＳ２０３の各処理と同様に実行される。
　ステップＳ５０４において、アンパッキング部５１１は、ベースメッシュの頂点位置をアンパッキングする。
　ステップＳ５０５において、ベースメッシュ頂点変位値適用部５１２は、ベースメッシュの頂点にベースメッシュ頂点変位値を適用する。
　ステップＳ５０６乃至ステップＳ５１０の各処理は、図７のステップＳ２０４乃至ステップＳ２０８の各処理と同様に実行される。
　ステップＳ５１０の処理が終了すると復号処理が終了する。
　以上のように各処理を実行することにより、復号装置２００は、符号化歪による分割点の変位の増大を抑制し、符号化効率の低減を抑制することができる。つまり、復号装置２００は、符号化・復号の性能を向上させることができる。
　　＜復号装置（インター）＞
　図２４は、本技術を適用した情報処理装置の一態様である符号化装置の構成の一例を示すブロック図である。図２４に示される復号装置２５０は、図１２の場合と同様に、メッシュの符号化データを復号する装置である。ただし、復号装置２５０は、上述した方法２、方法２－１、または方法２－２を適用してメッシュの符号化データを復号する。
　なお、図２４においては、処理部やデータの流れ等の主なものを示しており、図２４に示されるものが全てとは限らない。つまり、復号装置２５０において、図２４においてブロックとして示されていない処理部が存在したり、図２４において矢印等として示されていない処理やデータの流れが存在したりしてもよい。
　図２４に示されるように、復号装置２５０は、図１２に示される構成と比べて、動きベクトル復号部２６３、ベースメッシュ再構成部２６４、アンパッキング部２６７の代わりに、アンパッキング部５６１およびベースメッシュ再構成部５６２を有する。
　アンパッキング部５６１は、変位ビデオ復号部２６６から供給された変位ビデオのカレントフレームから、ベースメッシュ頂点変位値と分割点の変位値をアンパッキングする。その際、アンパッキング部５６１は、変換係数をアンパッキングし、その変換係数を係数変換（例えばウェーブレット変換）して分割点の変位値やベースメッシュ頂点変位値を導出してもよい。また、アンパッキング部５６１は、量子化係数をアンパッキングし、その量子化係数を逆量子化して分割点の変位値やベースメッシュ頂点変位値を導出してもよい。また、アンパッキング部５６１は、量子化係数をアンパッキングし、その量子化係数を逆量子化して変換係数を導出し、その変換係数を係数変換（例えばウェーブレット変換）して分割点の変位値やベースメッシュ頂点変位値を導出してもよい。
　アンパッキング部５６１は、アンパッキングしたベースメッシュ頂点変位値をベースメッシュ再構成部５６２へ供給する。また、アンパッキング部５６１は、アンパッキングした分割点の変位値を変位値適用部２６８へ供給する。
　ベースメッシュ再構成部５６２は、参照ベースメッシュの頂点に、アンパッキング部５６１から供給されるベースメッシュ頂点変位値を適用する。これによりカレントベースメッシュが再構成される。ベースメッシュ再構成部５６２は、再構成したカレントベースメッシュを細分化部２６５へ供給する。
　その他の処理部は、図１２の例の場合と同様に実行する。
　このような構成を有することにより、復号装置２５０は、動きベクトルの情報を２次元画像にパッキングして符号化することができる。つまり、復号装置２５０は、動きベクトルに対して２次元符号化のインター符号化を適用することができる。したがって、復号装置２５０は、符号化効率の低減を抑制することができる。つまり、復号装置２５０は、符号化・復号の性能を向上させることができる。
　　＜復号処理の流れ＞
　この場合の復号装置２５０により実行される復号処理の流れの例を、図２５のフローチャートを参照して説明する。
　復号処理が開始されると、ステップＳ５５１乃至ステップＳ５５３の各処理が、図１３のステップＳ２５１、ステップＳ２５２、ステップＳ２５６の各処理と同様に実行される。
　ステップＳ５５４において、アンパッキング部５６１は、ベースメッシュの頂点位置をアンパッキングする。
　ステップＳ５５５において、ベースメッシュ再構成部５６２は、参照ベースメッシュの頂点にベースメッシュ頂点変位値を適用し、カレントベースメッシュを再構成する。
　ステップＳ５５６乃至ステップＳ５５９の各処理は、図１３のステップＳ２５５、ステップＳ２５７乃至ステップＳ２５９の各処理と同様に実行される。
　ステップＳ５６０の処理が終了すると復号処理が終了する。
　以上のように各処理を実行することにより、復号装置２５０は、動きベクトルの情報を２次元画像にパッキングして符号化することができる。つまり、復号装置２５０は、動きベクトルに対して２次元符号化のインター符号化を適用することができる。したがって、復号装置２５０は、符号化効率の低減を抑制することができる。つまり、復号装置２５０は、符号化・復号の性能を向上させることができる。
　＜５．付記＞
　　＜コンピュータ＞
　上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。
　図２６は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
　図２６に示されるコンピュータ９００において、CPU（Central Processing Unit）９０１、ROM（Read Only Memory）９０２、RAM（Random Access Memory）９０３は、バス９０４を介して相互に接続されている。
　バス９０４にはまた、入出力インタフェース９１０も接続されている。入出力インタフェース９１０には、入力部９１１、出力部９１２、記憶部９１３、通信部９１４、およびドライブ９１５が接続されている。
　入力部９１１は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部９１２は、例えば、ディスプレイ、スピーカ、出力端子などよりなる。記憶部９１３は、例えば、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部９１４は、例えば、ネットワークインタフェースよりなる。ドライブ９１５は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア９２１を駆動する。
　以上のように構成されるコンピュータでは、CPU９０１が、例えば、記憶部９１３に記憶されているプログラムを、入出力インタフェース９１０およびバス９０４を介して、RAM９０３にロードして実行することにより、上述した一連の処理が行われる。RAM９０３にはまた、CPU９０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
　コンピュータが実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア９２１に記録して適用することができる。その場合、プログラムは、リムーバブルメディア９２１をドライブ９１５に装着することにより、入出力インタフェース９１０を介して、記憶部９１３にインストールすることができる。
　また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、プログラムは、通信部９１４で受信し、記憶部９１３にインストールすることができる。
　その他、このプログラムは、ROM９０２や記憶部９１３に、あらかじめインストールしておくこともできる。
　　＜本技術の適用対象＞
　本技術は、任意の構成に適用することができる。例えば、本技術は、様々な電子機器に適用され得る。
　また、例えば、本技術は、システムLSI（Large Scale Integration）等としてのプロセッサ（例えばビデオプロセッサ）、複数のプロセッサ等を用いるモジュール（例えばビデオモジュール）、複数のモジュール等を用いるユニット（例えばビデオユニット）、または、ユニットにさらにその他の機能を付加したセット（例えばビデオセット）等、装置の一部の構成として実施することもできる。
　また、例えば、本技術は、複数の装置により構成されるネットワークシステムにも適用することもできる。例えば、本技術を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングとして実施するようにしてもよい。例えば、コンピュータ、AV（Audio Visual）機器、携帯型情報処理端末、IoT（Internet of Things）デバイス等の任意の端末に対して、画像（動画像）に関するサービスを提供するクラウドサービスにおいて本技術を実施するようにしてもよい。
　なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、および、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　　＜本技術を適用可能な分野・用途＞
　本技術を適用したシステム、装置、処理部等は、例えば、交通、医療、防犯、農業、畜産業、鉱業、美容、工場、家電、気象、自然監視等、任意の分野に利用することができる。また、その用途も任意である。
　　＜その他＞
　なお、本明細書において「フラグ」とは、複数の状態を識別するための情報であり、真(1)または偽(0)の２状態を識別する際に用いる情報だけでなく、３以上の状態を識別することが可能な情報も含まれる。したがって、この「フラグ」が取り得る値は、例えば1/0の２値であってもよいし、３値以上であってもよい。すなわち、この「フラグ」を構成するbit数は任意であり、1bitでも複数bitでもよい。また、識別情報（フラグも含む）は、その識別情報をビットストリームに含める形だけでなく、ある基準となる情報に対する識別情報の差分情報をビットストリームに含める形も想定されるため、本明細書においては、「フラグ」や「識別情報」は、その情報だけではなく、基準となる情報に対する差分情報も包含する。
　また、符号化データ（ビットストリーム）に関する各種情報（メタデータ等）は、符号化データに関連付けられていれば、どのような形態で伝送または記録されるようにしてもよい。ここで、「関連付ける」という用語は、例えば、一方のデータを処理する際に他方のデータを利用し得る（リンクさせ得る）ようにすることを意味する。つまり、互いに関連付けられたデータは、１つのデータとしてまとめられてもよいし、それぞれ個別のデータとしてもよい。例えば、符号化データ（画像）に関連付けられた情報は、その符号化データ（画像）とは別の伝送路上で伝送されるようにしてもよい。また、例えば、符号化データ（画像）に関連付けられた情報は、その符号化データ（画像）とは別の記録媒体（または同一の記録媒体の別の記録エリア）に記録されるようにしてもよい。なお、この「関連付け」は、データ全体でなく、データの一部であってもよい。例えば、画像とその画像に対応する情報とが、複数フレーム、１フレーム、またはフレーム内の一部分などの任意の単位で互いに関連付けられるようにしてもよい。
　なお、本明細書において、「合成する」、「多重化する」、「付加する」、「一体化する」、「含める」、「格納する」、「入れ込む」、「差し込む」、「挿入する」等の用語は、例えば符号化データとメタデータとを１つのデータにまとめるといった、複数の物を１つにまとめることを意味し、上述の「関連付ける」の１つの方法を意味する。
　また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。
　また、例えば、上述したプログラムは、任意の装置において実行されるようにしてもよい。その場合、その装置が、必要な機能（機能ブロック等）を有し、必要な情報を得ることができるようにすればよい。
　また、例えば、１つのフローチャートの各ステップを、１つの装置が実行するようにしてもよいし、複数の装置が分担して実行するようにしてもよい。さらに、１つのステップに複数の処理が含まれる場合、その複数の処理を、１つの装置が実行するようにしてもよいし、複数の装置が分担して実行するようにしてもよい。換言するに、１つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を１つのステップとしてまとめて実行することもできる。
　また、例えば、コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。
　また、例えば、本技術に関する複数の技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。
　なお、本技術は以下のような構成も取ることができる。
　（１）　ベースメッシュを細分化して得られる分割点の変位値を精細度毎に階層化し、階層化された前記分割点の変位値をオブジェクトの部分領域毎に2D画像にパッキングするパッキング部と、
　前記2D画像をフレームとする変位ビデオを符号化する変位ビデオ符号化部と
　を備え、
　前記ベースメッシュは、前記オブジェクトの３次元構造を表現する頂点および接続により構成される符号化対象のオリジナルメッシュから前記頂点を間引くことにより生成され、前記オリジナルメッシュよりも粗いメッシュであり、
　前記変位値は、前記分割点と前記オリジナルメッシュの前記頂点との間の位置の差である
　情報処理装置。
　（２）　前記パッキング部は、前記分割点の変位値を前記部分領域毎にウェーブレット変換し、得られた変換係数を前記2D画像にパッキングする
　（１）に記載の情報処理装置。
　（３）　前記変位ビデオ符号化部は、さらに、部分領域情報を符号化し、
　前記部分領域情報は、メッシュにおける前記部分領域の範囲を示すメッシュ範囲指定情報と、前記変位ビデオの前記2D画像における前記部分領域の範囲を示す変位ビデオ内範囲指定情報とを含む
　（１）または（２）に記載の情報処理装置。
　（４）　カレントフレームの前記ベースメッシュを符号化するベースメッシュ符号化部
　をさらに備える（１）乃至（３）のいずれかに記載の情報処理装置。
　（５）　参照フレームの前記ベースメッシュを基準とするカレントフレームの前記ベースメッシュの前記頂点の動きベクトルを符号化する動きベクトル符号化部
　をさらに備える（１）乃至（３）のいずれかに記載の情報処理装置。
　（６）　ベースメッシュを細分化して得られる分割点の変位値を精細度毎に階層化し、階層化された前記分割点の変位値をオブジェクトの部分領域毎に2D画像にパッキングし、　前記2D画像をフレームとする変位ビデオを符号化し、
　前記ベースメッシュは、前記オブジェクトの３次元構造を表現する頂点および接続により構成される符号化対象のオリジナルメッシュから前記頂点を間引くことにより生成され、前記オリジナルメッシュよりも粗いメッシュであり、
　前記変位値は、前記分割点と前記オリジナルメッシュの前記頂点との間の位置の差である
　情報処理方法。
　（１１）　ビットストリームを復号し、ベースメッシュを細分化して得られる分割点の変位値が精細度毎に階層化されてオブジェクトの部分領域毎にパッキングされた2D画像をフレームとする変位ビデオを生成する変位ビデオ復号部と、
　前記変位ビデオのカレントフレームの前記2D画像にパッキングされた、所望の部分領域の所望の階層の前記分割点の変位値をアンパッキングするアンパッキング部と、
　前記カレントフレームの前記ベースメッシュを細分化する細分化部と、
　細分化された前記ベースメッシュの前記分割点に、前記分割点の変位値を適用する変位値適用部と
　を備え、
　前記ベースメッシュは、前記オブジェクトの３次元構造を表現する頂点および接続により構成される符号化対象のオリジナルメッシュから前記頂点を間引くことにより生成され、前記オリジナルメッシュよりも粗いメッシュであり、
　前記変位値は、前記分割点と前記オリジナルメッシュの前記頂点との間の位置の差である
　情報処理装置。
　（１２）　前記分割点の変位値が前記部分領域毎にウェーブレット変換された変換係数が前記2D画像にパッキングされており、
　前記アンパッキング部は、所望の部分領域の所望の階層の前記変換係数をアンパッキングし、前記変換係数を逆ウェーブレット変換し、前記分割点の変位値を生成する
　（１１）に記載の情報処理装置。
　（１３）　ビットストリームを復号し、メッシュにおける前記部分領域の範囲を示すメッシュ範囲指定情報と、前記変位ビデオの前記2D画像における前記部分領域の範囲を示す変位ビデオ内範囲指定情報とを含む部分領域情報を生成するヘッダ復号部
　をさらに備え、
　前記アンパッキング部は、前記変位ビデオ内範囲指定情報に基づいて、所望の部分領域の所望の階層の前記分割点の変位値をアンパッキングし、
　前記細分化部は、前記メッシュ範囲指定情報に基づいて、前記ベースメッシュの所望の部分領域を細分化する
　（１１）または（１２）に記載の情報処理装置。
　（１４）　ビットストリームを復号し、前記カレントフレームの前記ベースメッシュを生成するベースメッシュ復号部
　をさらに備える（１１）乃至（１３）のいずれかに記載の情報処理装置。
　（１５）　ビットストリームを復号し、動きベクトルを生成する動きベクトル生成部と、
　参照フレームの前記ベースメッシュの前記頂点に前記動きベクトルを適用し、前記カレントフレームの前記ベースメッシュを再構成するベースメッシュ再構成部と
　をさらに備える（１１）乃至（１３）のいずれかに記載の情報処理装置。
　（１６）　ビットストリームを復号し、ベースメッシュを細分化して得られる分割点の変位値が精細度毎に階層化されてオブジェクトの部分領域毎にパッキングされた2D画像をフレームとする変位ビデオを生成し、
　前記変位ビデオのカレントフレームの前記2D画像にパッキングされた、所望の部分領域の所望の階層の前記分割点の変位値をアンパッキングし、
　前記カレントフレームの前記ベースメッシュを細分化し、
　細分化された前記ベースメッシュの前記分割点に、前記分割点の変位値を適用し、
　前記ベースメッシュは、前記オブジェクトの３次元構造を表現する頂点および接続により構成される符号化対象のオリジナルメッシュから前記頂点を間引くことにより生成され、前記オリジナルメッシュよりも粗いメッシュであり、
　前記変位値は、前記分割点と前記オリジナルメッシュの前記頂点との間の位置の差である
　情報処理方法。
　（２１）　ベースメッシュの頂点の変位値であるベースメッシュ頂点変位値を導出するベースメッシュ頂点変位値導出部と、
　前記ベースメッシュを細分化して得られる分割点の変位値を精細度毎に階層化し、前記ベースメッシュ頂点変位値と階層化された前記分割点の変位値とを2D画像にパッキングするパッキング部と、
　前記2D画像をフレームとする変位ビデオを符号化する変位ビデオ符号化部と
　を備え、
　前記ベースメッシュは、オブジェクトの３次元構造を表現する頂点および接続により構成される符号化対象のオリジナルメッシュから前記頂点を間引くことにより生成され、前記オリジナルメッシュよりも粗いメッシュであり、
　前記分割点の変位値は、前記分割点と前記オリジナルメッシュの前記頂点との間の位置の差であり、
　前記ベースメッシュ頂点変位値は、前記ベースメッシュの前記頂点と前記オリジナルメッシュの前記頂点との間の位置の差である
　情報処理装置。
　（２２）　カレントフレームの前記ベースメッシュを符号化するベースメッシュ符号化部と、
　前記カレントフレームの前記ベースメッシュの符号化データを復号するベースメッシュ復号部と
　をさらに備え、
　前記ベースメッシュ頂点変位値導出部は、符号化前の前記カレントフレームの前記ベースメッシュと、符号化されて復号された前記カレントフレームの前記ベースメッシュとの間の前記頂点の変位を、前記ベースメッシュ頂点変位値として導出する
　（２１）に記載の情報処理装置。
　（２３）　前記ベースメッシュ頂点変位値導出部は、参照フレームの前記ベースメッシュとカレントフレームの前記ベースメッシュとの間の前記頂点の変位を、前記ベースメッシュ頂点変位値として導出する
　（２１）に記載の情報処理装置。
　（２４）　ベースメッシュの頂点の変位値であるベースメッシュ頂点変位値を導出し、　前記ベースメッシュを細分化して得られる分割点の変位値を精細度毎に階層化し、前記ベースメッシュ頂点変位値と階層化された前記分割点の変位値とを2D画像にパッキングし、
　前記2D画像をフレームとする変位ビデオを符号化し、
　前記ベースメッシュは、オブジェクトの３次元構造を表現する頂点および接続により構成される符号化対象のオリジナルメッシュから前記頂点を間引くことにより生成され、前記オリジナルメッシュよりも粗いメッシュであり、
　前記分割点の変位値は、前記分割点と前記オリジナルメッシュの前記頂点との間の位置の差であり、
　前記ベースメッシュ頂点変位値は、前記ベースメッシュの前記頂点と前記オリジナルメッシュの前記頂点との間の位置の差である
　情報処理方法。
　（３１）　ビットストリームを復号し、ベースメッシュの頂点の変位値であるベースメッシュ頂点変位値と、前記ベースメッシュを細分化して得られる分割点の変位値とがパッキングされた2D画像をフレームとする変位ビデオを生成する変位ビデオ復号部と、
　前記変位ビデオのカレントフレームの前記2D画像にパッキングされた前記ベースメッシュ頂点変位値と前記分割点の変位値とをアンパッキングするアンパッキング部と、
　前記ベースメッシュの前記頂点に前記ベースメッシュ頂点変位値を適用するベースメッシュ頂点位置適用部と、
　前記頂点に前記ベースメッシュ頂点変位値が適用された前記ベースメッシュを細分化する細分化部と、
　細分化された前記ベースメッシュの前記分割点に、前記分割点の変位値を適用する変位値適用部と
　を備え、
　前記ベースメッシュは、オブジェクトの３次元構造を表現する頂点および接続により構成される符号化対象のオリジナルメッシュから前記頂点を間引くことにより生成され、前記オリジナルメッシュよりも粗いメッシュであり、
　前記分割点の変位値は、前記分割点と前記オリジナルメッシュの前記頂点との間の位置の差であり、
　前記ベースメッシュ頂点変位値は、前記ベースメッシュの前記頂点と前記オリジナルメッシュの前記頂点との間の位置の差である
　情報処理装置。
　（３２）　ビットストリームを復号し、前記カレントフレームの前記ベースメッシュを生成するベースメッシュ復号部
　をさらに備え、
　前記ベースメッシュ頂点位置適用部は、生成された前記カレントフレームの前記ベースメッシュの前記頂点に前記ベースメッシュ頂点変位値を適用する
　（３１）に記載の情報処理装置。
　（３３）　前記ベースメッシュ頂点位置適用部は、参照フレームの前記ベースメッシュの前記頂点に前記ベースメッシュ頂点変位値を適用する
　（３１）に記載の情報処理装置。
　（３４）　ビットストリームを復号し、ベースメッシュの頂点の変位値であるベースメッシュ頂点変位値と、前記ベースメッシュを細分化して得られる分割点の変位値とがパッキングされた2D画像をフレームとする変位ビデオを生成し、
　前記変位ビデオのカレントフレームの前記2D画像にパッキングされた前記ベースメッシュ頂点変位値と前記分割点の変位値とをアンパッキングし、
　前記ベースメッシュの前記頂点に前記ベースメッシュ頂点変位値を適用し、
　前記頂点に前記ベースメッシュ頂点変位値が適用された前記ベースメッシュを細分化し、
　細分化された前記ベースメッシュの前記分割点に、前記分割点の変位値を適用し、
　前記ベースメッシュは、オブジェクトの３次元構造を表現する頂点および接続により構成される符号化対象のオリジナルメッシュから前記頂点を間引くことにより生成され、前記オリジナルメッシュよりも粗いメッシュであり、
　前記分割点の変位値は、前記分割点と前記オリジナルメッシュの前記頂点との間の位置の差であり、
　前記ベースメッシュ頂点変位値は、前記ベースメッシュの前記頂点と前記オリジナルメッシュの前記頂点との間の位置の差である
　情報処理方法。
　１００　符号化装置，　１１１　ベースメッシュ符号化部，　１１２　ベースメッシュ復号部，　１１３　変位値補正部，　１１４　パッキング部，　１１５　変位ビデオ符号化部，　１１６　メッシュ再構成部，　１１７　アトリビュートマップ補正部，　１１８　アトリビュートビデオ符号化部，　１１９　合成部，　１５０　符号化装置、　１６１　動きベクトル符号化部，　１６２　ベースメッシュ再構成部，　１６３　変位値補正部，　１６４　パッキング部，　１６５　変位ビデオ符号化部，　１６６　メッシュ再構成部，　１６７　アトリビュートマップ補正部，　１６８　アトリビュートビデオ符号化部，　１６９　合成部，　２００　復号装置，　２１１　逆多重化部，　２１２　ヘッダ復号部，　２１３　ベースメッシュ復号部，　２１４　細分化部，　２１５　変位ビデオ復号部，　２１６　アンパッキング部，　２１７　変位値適用部，　２１８　アトリビュートビデオ復号部，　２５０　復号装置，　２６１　逆多重化部，　２６２　ヘッダ復号部，　２６３　動きベクトル復号部，　２６４　ベースメッシュ再構成部，　２６５　細分化部，　２６６　変位ビデオ復号部，　２６７　アンパッキング部，　２６８　変位値適用部，　２６９　アトリビュートビデオ復号部，　４１１　ベースメッシュ頂点変位値導出部，　４１２　パッキング部，　４６１　ベースメッシュ頂点変位値導出部，　４６２　カレントベースメッシュ符号化部，　４６３　カレントベースメッシュ復号部，　４６４　パッキング部，　５１１　アンパッキング部，　５１２　ベースメッシュ頂点変位値適用部，　５６１　アンパッキング部，　５６２　ベースメッシュ再構成部，　９００　コンピュータ

Claims (20)

  1. 　ベースメッシュを細分化して得られる分割点の変位値を精細度毎に階層化し、階層化された前記分割点の変位値をオブジェクトの部分領域毎に2D画像にパッキングするパッキング部と、
    　前記2D画像をフレームとする変位ビデオを符号化する変位ビデオ符号化部と
    　を備え、
    　前記ベースメッシュは、前記オブジェクトの３次元構造を表現する頂点および接続により構成される符号化対象のオリジナルメッシュから前記頂点を間引くことにより生成され、前記オリジナルメッシュよりも粗いメッシュであり、
    　前記変位値は、前記分割点と前記オリジナルメッシュの前記頂点との間の位置の差である
    　情報処理装置。
  2. 　前記パッキング部は、前記分割点の変位値を前記部分領域毎にウェーブレット変換し、得られた変換係数を前記2D画像にパッキングする
    　請求項１に記載の情報処理装置。
  3. 　前記変位ビデオ符号化部は、さらに、部分領域情報を符号化し、
    　前記部分領域情報は、メッシュにおける前記部分領域の範囲を示すメッシュ範囲指定情報と、前記変位ビデオの前記2D画像における前記部分領域の範囲を示す変位ビデオ内範囲指定情報とを含む
    　請求項１に記載の情報処理装置。
  4. 　カレントフレームの前記ベースメッシュを符号化するベースメッシュ符号化部
    　をさらに備える請求項１に記載の情報処理装置。
  5. 　参照フレームの前記ベースメッシュを基準とするカレントフレームの前記ベースメッシュの前記頂点の動きベクトルを符号化する動きベクトル符号化部
    　をさらに備える請求項１に記載の情報処理装置。
  6. 　ベースメッシュを細分化して得られる分割点の変位値を精細度毎に階層化し、階層化された前記分割点の変位値をオブジェクトの部分領域毎に2D画像にパッキングし、
    　前記2D画像をフレームとする変位ビデオを符号化し、
    　前記ベースメッシュは、前記オブジェクトの３次元構造を表現する頂点および接続により構成される符号化対象のオリジナルメッシュから前記頂点を間引くことにより生成され、前記オリジナルメッシュよりも粗いメッシュであり、
    　前記変位値は、前記分割点と前記オリジナルメッシュの前記頂点との間の位置の差である
    　情報処理方法。
  7. 　ビットストリームを復号し、ベースメッシュを細分化して得られる分割点の変位値が精細度毎に階層化されてオブジェクトの部分領域毎にパッキングされた2D画像をフレームとする変位ビデオを生成する変位ビデオ復号部と、
    　前記変位ビデオのカレントフレームの前記2D画像にパッキングされた、所望の部分領域の所望の階層の前記分割点の変位値をアンパッキングするアンパッキング部と、
    　前記カレントフレームの前記ベースメッシュを細分化する細分化部と、
    　細分化された前記ベースメッシュの前記分割点に、前記分割点の変位値を適用する変位値適用部と
    　を備え、
    　前記ベースメッシュは、前記オブジェクトの３次元構造を表現する頂点および接続により構成される符号化対象のオリジナルメッシュから前記頂点を間引くことにより生成され、前記オリジナルメッシュよりも粗いメッシュであり、
    　前記変位値は、前記分割点と前記オリジナルメッシュの前記頂点との間の位置の差である
    　情報処理装置。
  8. 　前記分割点の変位値が前記部分領域毎にウェーブレット変換された変換係数が前記2D画像にパッキングされており、
    　前記アンパッキング部は、所望の部分領域の所望の階層の前記変換係数をアンパッキングし、前記変換係数を逆ウェーブレット変換し、前記分割点の変位値を生成する
    　請求項７に記載の情報処理装置。
  9. 　ビットストリームを復号し、メッシュにおける前記部分領域の範囲を示すメッシュ範囲指定情報と、前記変位ビデオの前記2D画像における前記部分領域の範囲を示す変位ビデオ内範囲指定情報とを含む部分領域情報を生成するヘッダ復号部
    　をさらに備え、
    　前記アンパッキング部は、前記変位ビデオ内範囲指定情報に基づいて、所望の部分領域の所望の階層の前記分割点の変位値をアンパッキングし、
    　前記細分化部は、前記メッシュ範囲指定情報に基づいて、前記ベースメッシュの所望の部分領域を細分化する
    　請求項７に記載の情報処理装置。
  10. 　ビットストリームを復号し、前記カレントフレームの前記ベースメッシュを生成するベースメッシュ復号部
    　をさらに備える請求項７に記載の情報処理装置。
  11. 　ビットストリームを復号し、動きベクトルを生成する動きベクトル生成部と、
    　参照フレームの前記ベースメッシュの前記頂点に前記動きベクトルを適用し、前記カレントフレームの前記ベースメッシュを再構成するベースメッシュ再構成部と
    　をさらに備える請求項７に記載の情報処理装置。
  12. 　ビットストリームを復号し、ベースメッシュを細分化して得られる分割点の変位値が精細度毎に階層化されてオブジェクトの部分領域毎にパッキングされた2D画像をフレームとする変位ビデオを生成し、
    　前記変位ビデオのカレントフレームの前記2D画像にパッキングされた、所望の部分領域の所望の階層の前記分割点の変位値をアンパッキングし、
    　前記カレントフレームの前記ベースメッシュを細分化し、
    　細分化された前記ベースメッシュの前記分割点に、前記分割点の変位値を適用し、
    　前記ベースメッシュは、前記オブジェクトの３次元構造を表現する頂点および接続により構成される符号化対象のオリジナルメッシュから前記頂点を間引くことにより生成され、前記オリジナルメッシュよりも粗いメッシュであり、
    　前記変位値は、前記分割点と前記オリジナルメッシュの前記頂点との間の位置の差である
    　情報処理方法。
  13. 　ベースメッシュの頂点の変位値であるベースメッシュ頂点変位値を導出するベースメッシュ頂点変位値導出部と、
    　前記ベースメッシュを細分化して得られる分割点の変位値を精細度毎に階層化し、前記ベースメッシュ頂点変位値と階層化された前記分割点の変位値とを2D画像にパッキングするパッキング部と、
    　前記2D画像をフレームとする変位ビデオを符号化する変位ビデオ符号化部と
    　を備え、
    　前記ベースメッシュは、オブジェクトの３次元構造を表現する頂点および接続により構成される符号化対象のオリジナルメッシュから前記頂点を間引くことにより生成され、前記オリジナルメッシュよりも粗いメッシュであり、
    　前記分割点の変位値は、前記分割点と前記オリジナルメッシュの前記頂点との間の位置の差であり、
    　前記ベースメッシュ頂点変位値は、前記ベースメッシュの前記頂点と前記オリジナルメッシュの前記頂点との間の位置の差である
    　情報処理装置。
  14. 　カレントフレームの前記ベースメッシュを符号化するベースメッシュ符号化部と、
    　前記カレントフレームの前記ベースメッシュの符号化データを復号するベースメッシュ復号部と
    　をさらに備え、
    　前記ベースメッシュ頂点変位値導出部は、符号化前の前記カレントフレームの前記ベースメッシュと、符号化されて復号された前記カレントフレームの前記ベースメッシュとの間の前記頂点の変位を、前記ベースメッシュ頂点変位値として導出する
    　請求項１３に記載の情報処理装置。
  15. 　前記ベースメッシュ頂点変位値導出部は、参照フレームの前記ベースメッシュとカレントフレームの前記ベースメッシュとの間の前記頂点の変位を、前記ベースメッシュ頂点変位値として導出する
    　請求項１３に記載の情報処理装置。
  16. 　ベースメッシュの頂点の変位値であるベースメッシュ頂点変位値を導出し、
    　前記ベースメッシュを細分化して得られる分割点の変位値を精細度毎に階層化し、前記ベースメッシュ頂点変位値と階層化された前記分割点の変位値とを2D画像にパッキングし、
    　前記2D画像をフレームとする変位ビデオを符号化し、
    　前記ベースメッシュは、オブジェクトの３次元構造を表現する頂点および接続により構成される符号化対象のオリジナルメッシュから前記頂点を間引くことにより生成され、前記オリジナルメッシュよりも粗いメッシュであり、
    　前記分割点の変位値は、前記分割点と前記オリジナルメッシュの前記頂点との間の位置の差であり、
    　前記ベースメッシュ頂点変位値は、前記ベースメッシュの前記頂点と前記オリジナルメッシュの前記頂点との間の位置の差である
    　情報処理方法。
  17. 　ビットストリームを復号し、ベースメッシュの頂点の変位値であるベースメッシュ頂点変位値と、前記ベースメッシュを細分化して得られる分割点の変位値とがパッキングされた2D画像をフレームとする変位ビデオを生成する変位ビデオ復号部と、
    　前記変位ビデオのカレントフレームの前記2D画像にパッキングされた前記ベースメッシュ頂点変位値と前記分割点の変位値とをアンパッキングするアンパッキング部と、
    　前記ベースメッシュの前記頂点に前記ベースメッシュ頂点変位値を適用するベースメッシュ頂点位置適用部と、
    　前記頂点に前記ベースメッシュ頂点変位値が適用された前記ベースメッシュを細分化する細分化部と、
    　細分化された前記ベースメッシュの前記分割点に、前記分割点の変位値を適用する変位値適用部と
    　を備え、
    　前記ベースメッシュは、オブジェクトの３次元構造を表現する頂点および接続により構成される符号化対象のオリジナルメッシュから前記頂点を間引くことにより生成され、前記オリジナルメッシュよりも粗いメッシュであり、
    　前記分割点の変位値は、前記分割点と前記オリジナルメッシュの前記頂点との間の位置の差であり、
    　前記ベースメッシュ頂点変位値は、前記ベースメッシュの前記頂点と前記オリジナルメッシュの前記頂点との間の位置の差である
    　情報処理装置。
  18. 　ビットストリームを復号し、前記カレントフレームの前記ベースメッシュを生成するベースメッシュ復号部
    　をさらに備え、
    　前記ベースメッシュ頂点位置適用部は、生成された前記カレントフレームの前記ベースメッシュの前記頂点に前記ベースメッシュ頂点変位値を適用する
    　請求項１７に記載の情報処理装置。
  19. 　前記ベースメッシュ頂点位置適用部は、参照フレームの前記ベースメッシュの前記頂点に前記ベースメッシュ頂点変位値を適用する
    　請求項１７に記載の情報処理装置。
  20. 　ビットストリームを復号し、ベースメッシュの頂点の変位値であるベースメッシュ頂点変位値と、前記ベースメッシュを細分化して得られる分割点の変位値とがパッキングされた2D画像をフレームとする変位ビデオを生成し、
    　前記変位ビデオのカレントフレームの前記2D画像にパッキングされた前記ベースメッシュ頂点変位値と前記分割点の変位値とをアンパッキングし、
    　前記ベースメッシュの前記頂点に前記ベースメッシュ頂点変位値を適用し、
    　前記頂点に前記ベースメッシュ頂点変位値が適用された前記ベースメッシュを細分化し、
    　細分化された前記ベースメッシュの前記分割点に、前記分割点の変位値を適用し、
    　前記ベースメッシュは、オブジェクトの３次元構造を表現する頂点および接続により構成される符号化対象のオリジナルメッシュから前記頂点を間引くことにより生成され、前記オリジナルメッシュよりも粗いメッシュであり、
    　前記分割点の変位値は、前記分割点と前記オリジナルメッシュの前記頂点との間の位置の差であり、
    　前記ベースメッシュ頂点変位値は、前記ベースメッシュの前記頂点と前記オリジナルメッシュの前記頂点との間の位置の差である
    　情報処理方法。
PCT/JP2023/031089 2022-09-12 2023-08-29 情報処理装置および方法 WO2024057903A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-144745 2022-09-12
JP2022144745 2022-09-12

Publications (1)

Publication Number Publication Date
WO2024057903A1 true WO2024057903A1 (ja) 2024-03-21

Family

ID=90275091

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/031089 WO2024057903A1 (ja) 2022-09-12 2023-08-29 情報処理装置および方法

Country Status (1)

Country Link
WO (1) WO2024057903A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120188241A1 (en) * 2011-01-21 2012-07-26 Samsung Electronics Co., Ltd. Apparatus and method for encoding three-dimensional (3d) mesh, and apparatus and method for decoding 3d mesh
JP2013533529A (ja) * 2010-05-21 2013-08-22 インターナショナル・ビジネス・マシーンズ・コーポレーション 仮想世界のシーン・データを提供するための方法、システム、およびコンピュータ・プログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013533529A (ja) * 2010-05-21 2013-08-22 インターナショナル・ビジネス・マシーンズ・コーポレーション 仮想世界のシーン・データを提供するための方法、システム、およびコンピュータ・プログラム
US20120188241A1 (en) * 2011-01-21 2012-07-26 Samsung Electronics Co., Ltd. Apparatus and method for encoding three-dimensional (3d) mesh, and apparatus and method for decoding 3d mesh

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
CHOI YIHYUN; JEONG JONG-BEOM; LEE SOONBIN; RYU EUN-SEOK: "Overview of the Video-based Dynamic Mesh Coding (V-DMC) Standard Work", 2022 13TH INTERNATIONAL CONFERENCE ON INFORMATION AND COMMUNICATION TECHNOLOGY CONVERGENCE (ICTC), IEEE, 19 October 2022 (2022-10-19), pages 578 - 581, XP034233613, DOI: 10.1109/ICTC55196.2022.9952734 *

Similar Documents

Publication Publication Date Title
JP7384159B2 (ja) 画像処理装置および方法
US11657539B2 (en) Information processing apparatus and information processing method
WO2019198523A1 (ja) 画像処理装置および方法
JP7327166B2 (ja) 画像処理装置および方法
JP7327399B2 (ja) 画像処理装置および方法
JP7331852B2 (ja) 画像処理装置および方法
EP4124032A1 (en) Device for transmitting point cloud data, method for transmitting point cloud data, device for receiving point cloud data, and method for receiving point cloud data
EP4171038A1 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
US11948337B2 (en) Image processing apparatus and method
WO2024057903A1 (ja) 情報処理装置および方法
KR20220035041A (ko) 정보 처리 장치 및 방법
WO2020071115A1 (ja) 画像処理装置および方法
WO2022145214A1 (ja) 情報処理装置および方法
JP2022047546A (ja) 情報処理装置および方法
WO2020175176A1 (ja) 情報処理装置および方法、並びに、再生装置および方法
WO2024084931A1 (ja) 情報処理装置および方法
WO2024084952A1 (ja) 情報処理装置および方法
WO2021090701A1 (ja) 情報処理装置および方法
WO2022075074A1 (ja) 画像処理装置および方法
WO2022138231A1 (ja) 画像処理装置および方法
WO2021060229A1 (ja) 三次元表現変換装置、および、三次元表現逆変換装置
WO2023054156A1 (ja) 情報処理装置および方法
WO2022230941A1 (ja) 情報処理装置および方法
CN116018618A (zh) 图像处理装置和方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23865260

Country of ref document: EP

Kind code of ref document: A1