WO2021060229A1 - 三次元表現変換装置、および、三次元表現逆変換装置 - Google Patents
三次元表現変換装置、および、三次元表現逆変換装置 Download PDFInfo
- Publication number
- WO2021060229A1 WO2021060229A1 PCT/JP2020/035662 JP2020035662W WO2021060229A1 WO 2021060229 A1 WO2021060229 A1 WO 2021060229A1 JP 2020035662 W JP2020035662 W JP 2020035662W WO 2021060229 A1 WO2021060229 A1 WO 2021060229A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- patch
- information
- unit
- conversion
- dimensional
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
Definitions
- One aspect of the present invention relates to a three-dimensional object represented by a three-dimensional representation represented by a three-dimensional point cloud, and relates to a conversion device that converts a first three-dimensional representation to a second three-dimensional representation.
- One of the expression formats (three-dimensional expression) of a three-dimensional object is a three-dimensional point cloud (point cloud).
- a three-dimensional object is represented as a set of points.
- Each point constituting the point cloud is defined by the position of the point and the attribute information (for example, color).
- V-PCC Video-based Point Cloud Compression
- a point cloud which is one of the three-dimensional representations, as an image.
- a method can be mentioned (Non-Patent Document 1).
- V-PCC the input point cloud is clustered and divided into a predetermined unit (point cloud cluster).
- a two-dimensional image (patch) corresponding to the point cloud cluster is generated by projecting the point cloud cluster onto any of the specified projection planes. Patches corresponding to all point cloud clusters are collected and packed to generate a two-dimensional image (integrated image).
- the integrated image is compressed by the video coding method and transmitted.
- V-PCC two types of patches are generated from one point cloud cluster. Specifically, a geometry patch representing the three-dimensional shape of the point cloud cluster and an attribute patch representing the attributes (for example, color) of the point cloud cluster are generated. Therefore, there are two types of integrated images: a geometry integrated image that collects geometry patches and an attribute integrated image that collects attribute patches. In the following, when the term “integrated image” is used, it means both the geometry integrated image and the attribute integrated image unless otherwise noted.
- the conventional V-PCC has a problem that the resolution of the integrated image expressing the point cloud changes according to the nature of the point cloud. Therefore, there is a problem that the resolution of the integrated image becomes high, and the calculation resource is insufficient, which makes transmission and processing difficult.
- V-PCC when a high-density point cloud is input, there arises a problem that the resolution of the integrated image to be video-encoded may become too high.
- the video decoding process is designed to target an image having a resolution lower than a specific resolution, and there arises a problem that an image exceeding the resolution cannot be decoded, and as a result, a point cloud cannot be restored.
- V-PCC when the surface area of the three-dimensional object represented by the input point group is large, the total area of the patch obtained as a result of clustering increases. As a result, the resolution of the integrated image becomes high, and there arises a problem that the point cloud cannot be restored.
- One aspect of the present invention has been made in view of the above problems, and regardless of the type and nature of the three-dimensional representation (input point cloud) of the input, the third order of the output that can be processed by the assumed subsequent processing device. Realize a three-dimensional expression conversion device that generates the original expression. Further, a three-dimensional expression inverse conversion device that restores the original three-dimensional expression from the three-dimensional expression converted by such a three-dimensional expression conversion device is realized.
- the three-dimensional representation conversion device, the three-dimensional representation inverse conversion device, the coding device, the decoding device, and the processing device for the three-dimensional object provide the following means.
- (First means) It is a three-dimensional expression conversion means that generates a second three-dimensional expression representing the above three-dimensional object by inputting the first three-dimensional expression representing the three-dimensional object.
- a representation conversion means for converting the first three-dimensional representation into the second three-dimensional representation is provided.
- the expression conversion unit provides a three-dimensional expression conversion means that performs conversion based on post-conversion characteristics specified directly or indirectly.
- this three-dimensional expression conversion means by designating the post-conversion characteristics that can be processed by the assumed processing device, the processing device can process the first three-dimensional representation that cannot be processed by the processing device. It can be converted into a possible second three-dimensional representation.
- (Second means) It is a three-dimensional expression inverse conversion means that generates a third three-dimensional expression representing the above three-dimensional object by inputting a second three-dimensional expression representing the three-dimensional object.
- the expression inverse conversion means provides a three-dimensional expression inverse conversion means that applies a conversion to a second three-dimensional representation based on the expression conversion information.
- this three-dimensional expression inverse conversion means from the second three-dimensional expression generated by conversion by the three-dimensional expression conversion means, a third three-dimensional expression close to the first three-dimensional expression before conversion is obtained. Can be restored.
- the method of inverse conversion can be determined in consideration of the content of the conversion, so that the third three-dimensional expression closer to the first three-dimensional expression can be restored.
- a patch projection means that generates a patch from the above cluster and generates projection information related to projection
- a patch conversion means that applies conversion to the patch based on the resolution specification and generates adjustment information related to the conversion
- a patch integration means that combines patches to which the above conversions have been applied to generate an integrated image and generate integrated information related to integration.
- a patch information coding means for generating the projection information, the adjustment information, and the patch information including the integrated information
- a video coding means that applies video coding to the integrated image to generate 2D data
- a three-dimensional object coding means including a 3D data multiplexing means for configuring the 3D data by multiplexing the 2D data and the patch information.
- patches can be converted so as to satisfy the resolution designation, and an integrated image composed of the converted patches can be encoded to generate 3D data. Therefore, regardless of the nature of the input three-dimensional object, it is possible to generate 3D data including 2D data corresponding to an integrated image having a resolution that can be decoded by a desired calculation resource.
- a 3D data demultiplexing unit that extracts patch information and 2D data from the above 3D data, A patch information decoding means for deriving integrated information, adjustment information, and projection information from the above patch information, A video decoding means that decodes the integrated image from the above 2D data, A patch dividing means for dividing the integrated image into a plurality of patches based on the integrated information, and A patch restoration means that converts each divided patch based on the above adjustment information, A patch back projection means that generates a cluster from the patch based on the projection information, Provided is a three-dimensional object decoding means including a three-dimensional object restoration means for connecting a plurality of clusters.
- the patch can be converted so as to satisfy the resolution designation, and the three-dimensional object can be restored by decoding the 3D data in which the integrated image configured including the converted patch is encoded. Therefore, regardless of the nature of the input three-dimensional object, it is possible to decode 3D data including 2D data corresponding to an integrated image having a resolution that can be decoded by a desired calculation resource.
- An integrated image processing means that applies conversion processing to the above integrated image and outputs the converted integrated image
- a three-dimensional object processing means including the integrated image after the conversion and the three-dimensional object reproducing means for generating the three-dimensional object by inputting the patch information.
- the patch can be converted so as to satisfy the resolution specification, and the integrated image composed including the converted patch can be processed to convert the three-dimensional object. Therefore, regardless of the nature of the input 3D object, the desired processing can be applied to the 3D object with a desired computational resource.
- an image generation device that generates an integrated image that can be processed by a target computational resource regardless of the nature of the input three-dimensional object.
- a three-dimensional object reproduction device that reproduces a three-dimensional object based on an integrated image generated so that it can be processed by a target calculation resource regardless of the nature of the input point group. realizable.
- the configuration of the image generator 100 according to the present embodiment will be described with reference to FIG.
- the image generation device 100 includes a cluster division unit 101, a patch projection unit 102, a patch conversion unit 103, a patch integration unit 104, and a patch information coding unit 105.
- the image generation device 100 generates and outputs an integrated image expressing the point cloud from the input point cloud.
- the output integrated image has a resolution according to the input resolution specification. Further, the image generation device 100 generates and outputs patch information used for reproducing the point cloud from the integrated image.
- the cluster division unit 101 divides the input point cloud into a plurality of point cloud clusters and outputs them.
- the division of a point cloud into a point cloud cluster is performed by applying clustering to the point cloud. Clustering is performed so that the point cloud clusters form a continuous surface and the normals of the points on the surface are in similar directions.
- a desired point cloud cluster can be obtained by constructing an initial cluster in which neighboring point clouds are collected based on the spatial position of points, and dividing and integrating each initial cluster based on the normal estimation result of each point.
- FIG. 3 (a) An example of the relationship between a point cloud and a point cloud cluster will be described with reference to FIG. 3 (a).
- 3A illustrates the relationship between the point cloud corresponding to the object of the rectangular parallelepiped and the point cloud cluster obtained by dividing the point cloud by clustering.
- the rectangular parallelepiped is divided into point cloud clusters corresponding to 6 faces according to the normal direction. That is, it is decomposed into a point cloud cluster (FT) corresponding to the upper surface, a point cloud cluster (FB) corresponding to the lower surface, and a point cloud cluster (FS1, FS2, FS3, FS4) corresponding to each side surface.
- FT point cloud cluster
- FB point cloud cluster
- FS1, FS2, FS3, FS4 point cloud cluster
- the patch projection unit 102 generates and outputs a corresponding patch from each input point cloud cluster.
- the patch projection unit 102 outputs projection information indicating a patch generation method.
- Patch generation is generated by projecting a point cloud cluster onto a predetermined projection plane by a predetermined projection method.
- one projection plane is selected from a set of default projection planes, and an image obtained by orthographically projecting a point cloud cluster onto the projection plane is used as a patch.
- a set of defined projection planes for example, using a coordinate system (XYZ coordinate system) set in 3D space, planes parallel to the XY plane, YZ plane, and ZX plane are used as a set of default projection planes.
- the patch corresponding to the point cloud cluster obtained by dividing the rectangular parallelepiped illustrated in Fig. 3 (a) is illustrated in Fig. 3 (b).
- a patch as shown in Fig. 3 (b) is obtained.
- the patches (FS1, FS2, FS3, FS4) obtained from the point cloud cluster corresponding to one side surface have a resolution of 1U x 2U.
- the patches (FT, FB) corresponding to the top and bottom surfaces have a resolution of 1U x 1U.
- “AxB" is used in the notation of the resolution of the image, it represents the resolution of the width A and the height B. The same notation is used in the following explanations.
- Projection information includes information that identifies the projection plane and projection method used to project each patch.
- the projection method is orthographic projection, and the identification information of the projection method can be omitted.
- the identification information of the projection plane is the information for selecting the XY plane, the YZ plane, or the ZX plane. Other information may be used as long as the projection method and projection plane can be determined.
- projection can be rephrased as shooting with a virtual camera. Therefore, the camera parameters (focal length, focal position, shooting resolution, distortion parameter, etc.) of the virtual camera can be used as projection information.
- the patch conversion unit 103 adjusts a plurality of input patches by conversion so that they fit in the image of the resolution (specified resolution) indicated by the input resolution specification, and outputs the resulting patch. For example, select some patches and output a reduced patch. Further, the patch conversion unit 103 outputs information for identifying the conversion applied to the patch as adjustment information. For example, the information indicating whether or not the above-mentioned reduction conversion is applied is the adjustment information. The details of the patch conversion process in the patch conversion unit 103 will be described later.
- the patch integration unit 104 generates an integrated image by packing the input patch and constructing an image, and outputs the integrated image.
- the patch integration unit 104 outputs integration information.
- the integrated information is information indicating the correspondence between the position of the patch in the integrated image and the position of the point cloud cluster corresponding to the patch in the 3D space.
- the integration information includes the upper left coordinates and size of the area on the integration image that corresponds to the patch.
- the integration information includes the relative position of the point cloud cluster corresponding to the patch in 3D space.
- Fig. 3 (c) shows an example of the integrated image obtained by packing the patch set shown in Fig. 3 (b).
- One integrated image is composed of 6 patches (FS1, FS2, FS3, FS4, FT, FB).
- the resolution of the integrated image is 4U ⁇ 3U, and no conversion has been applied to any of the patches included in the integrated image.
- the patch information coding unit 105 collectively outputs the above-mentioned projection information, adjustment information, and integrated information as patch information.
- Each piece of information may be in a compressed form using lossless or lossy variable length coding, if desired.
- (S101) Select an unprocessed patch from the patch set and use it as the target patch. Then execute S102. It should be noted that the desired operation can be realized even if the target patch is selected in any order. However, it is more preferable to select the selection order from the patch with the highest resolution (larger size). As a result, the number of patch conversions required to keep the resolution of the integrated image within the specified resolution can be suppressed, which is effective from the viewpoint of the amount of processing.
- (S102) Pack the patch set and generate an integrated image.
- the function provided by the patch integration unit 104 can be used for packing.
- S103 is executed.
- (S103) Determine whether the resolution of the integrated image generated in S102 is within the specified resolution. If the resolution is within the specified resolution (YES in S103), execute S105. Otherwise (NO in S103), execute S104.
- (S104) Reduce the target patch and update the patch set. Then execute S100.
- the reduction of the target patch for example, the reduction of halving the resolution of the target patch in each of the vertical and horizontal directions is used. Alternatively, reduction may be used that halves either the vertical or horizontal resolution.
- the patch conversion unit 103 outputs the patch set obtained by converting the input patch set based on the specified resolution.
- the output patch set is a patch set in which the resolution of the integrated image obtained by packing is within the specified resolution by reducing the patch in S103.
- the procedure of the patch conversion process is not limited to the above procedure described with reference to FIG. 14, and another procedure may be used in which the integrated image generated from the output patch set satisfies the specified resolution condition. For example, for each combination of different patches in a patch set, an integrated image is generated when each is reduced. A patch set satisfying the above conditions can be output even in the procedure of selecting a patch set having a resolution of the specified resolution or less and the maximum resolution among all the integrated images subsequently generated.
- reduction is mentioned as an example of conversion, but other conversions may be used.
- patch rotation and patch split recombining can be used as conversions.
- patch split recombination one patch is split into multiple subpatches and placed in different areas of the image.
- the divided subpatches are recombined to restore the patch.
- a combination of each transformation that is, a combination of reduction and rotation, reduction and division recombination, rotation and division recombination, and reduction and rotation and division recombination may be applied as conversions.
- Figure 4 (a) illustrates the relationship between the patch set and the integrated image when the specified resolution is 2U x 3U.
- the integrated image cannot be reduced to the specified resolution or less with the original patch size shown in Fig. 3 (b). Therefore, the resolution of the integrated image is kept within the specified resolution by reducing the width of some patches (FS1, FS2, FS3, FS4) from the original 1U to 0.5U.
- Figure 4 (b) illustrates the relationship between the patch set and the integrated image when the specified resolution is 4U x 2U.
- the height of the patches (FS1, FS2) corresponding to some sides is reduced (reduced from the original 2U to 1.5U).
- the height and width of the patches (FT, FB) corresponding to the upper and lower surfaces have been reduced (reduced from the original 1U to 0.5U).
- Figure 4 (c) illustrates the relationship between the patch set and the integrated image when the specified resolution is 5U x 1U.
- the patch (FS1, FS2, FS3, FS4) corresponding to the side surface is rotated and then reduced. That is, the 2U ⁇ 1U patch is rotated 90 degrees to convert it into a 1U ⁇ 2U patch, and further reduced in half in the vertical direction to convert it into a 0.5U ⁇ 2U patch.
- the top and bottom patches (FT, FB) are reduced in half in the vertical direction and converted from 1U x 1U patches to 0.5U x 1U patches.
- the resolution of the integrated image is kept within the specified resolution.
- the image generation process can execute the image generation process of generating and outputting the integrated image and the patch information from the input point cloud based on the resolution specification.
- the image generation process in the image generation device 100 is executed by the following procedure.
- the cluster division unit 101 applies clustering to the input point cloud to generate a plurality of point cloud clusters and outputs them to the patch projection unit 102.
- the patch projection unit 102 generates a patch set by projecting each of a plurality of input point cloud clusters and outputs the patch set to the patch conversion unit 103. In addition, the patch projection unit 102 generates projection information and outputs it to the patch information coding unit 105.
- the patch conversion unit 103 converts the input patch set based on the input resolution specification, and outputs the converted patch set to the patch integration unit 104. In addition, the patch conversion unit 103 generates adjustment information and outputs it to the patch information coding unit 105.
- the patch integration unit 104 packs the input patch set, generates an integrated image, and outputs it to the outside as the output of the image generation device 100.
- the patch information coding unit 105 generates patch information based on the input projection information, adjustment information, and integrated information, and outputs the patch information to the outside as the output of the image generator 100.
- integrated images and patch information can be generated and output from the input point cloud based on the resolution specification.
- an integrated image is generated by integrating the patch set converted by the patch conversion unit 103 so as to satisfy the restriction of the resolution specification by the patch integration unit 104. Therefore, by using the image generation device 100, it is possible to generate and output an integrated image expressing the point cloud at a resolution that satisfies the desired memory consumption and image processing restrictions regardless of the nature of the input point cloud.
- the integrated image generated by the image generation device 100 can reproduce the original point cloud by using the patch information also generated in combination. An example of reproduction will be described separately as the point cloud reproduction device 200.
- ⁇ Appendix 1 regarding Embodiment 1> In the description of the image generator 100 in the first embodiment, an example in which a rectangular parallelepiped point cloud is input is described with reference to FIG. 3, but the processing of the image generator 100 is performed when the input is an arbitrary point cloud. Can also be applied. For example, after setting a rectangular parallelepiped (bounding box) containing the target point group, the point group close to the normal direction of each surface of the rectangular parallelepiped is formed as a point group cluster, which is similar to the method described in the first embodiment. Depending on the method, patch set conversion and integrated image generation can be performed.
- ⁇ Appendix 2 regarding Embodiment 1> In the description of the image generation device 100 in the first embodiment, a method of generating an integrated image based on the input resolution designation has been described.
- the type of the integrated image that is, whether the integrated image is the geometry integrated image or the attribute integrated image is not distinguished, and the same method can be applied to both of them.
- the resolution requirements for the geometry integrated image and the attribute integrated image may differ. Therefore, it may be configured to input different resolution specifications depending on the type of the integrated image for the image generation device 1. With such a configuration, it is possible to output a combination of integrated images that meet more flexible application requirements.
- the configuration of the point cloud reproduction device 200 according to the present embodiment will be described with reference to FIG.
- the point cloud reproduction device 200 includes a patch information decoding unit 201, a patch division unit 202, a patch restoration unit 203, a patch back projection unit 204, and a point cloud restoration unit 205.
- the point cloud playback device 200 restores and outputs the point cloud corresponding to the integrated image based on the input integrated image and patch information.
- the point cloud reproduction device 200 receives the integrated image and patch information output from the image generation device 100 described in the first embodiment as input, and restores and outputs the original point cloud.
- the patch information decoding unit 201 processes the input patch information, extracts the integrated information, the adjustment information, and the projection information, and outputs them respectively.
- the patch information, the integrated information, the adjustment information, and the projection information are the same as those described in the image generator 100, detailed description thereof will be omitted.
- the patch division unit 202 generates and outputs a patch set based on the input integrated image and the input integrated information.
- the integrated information includes information corresponding to the position and size of each patch on the integrated image. A set of patches cut out from the integrated image using that information is used as a patch set.
- the patch restoration unit 203 restores the patch set based on the input patch set and the input adjustment information, and outputs the restored patch set.
- the patch restoration unit 203 is a component corresponding to the patch conversion unit 103 included in the image generation device 100. That is, it has a function of restoring the original patch set by inputting the patch set converted by the patch conversion unit 103 and the adjustment information. The details of the patch set restoration process will be described later.
- the patch back projection unit 204 generates and outputs a set of point cloud clusters corresponding to the patch set based on the input patch set and the input projection information.
- the patch back projection unit 204 is a component corresponding to the patch projection unit 102 included in the image generation device 100. That is, the point cloud cluster projected on the patch by the patch projection unit 102 is restored by back-projecting the patch based on the projection information.
- the projection information indicates that the orthographic projection is applied with the xy plane as the projection plane will be described. It is assumed that the depth value z0 is recorded in the pixel at the pixel position (x0, y0) on the integrated image.
- the three-dimensional position of the point where the pixel is back-projected is (x0, y0, z0).
- the information corresponding to the depth value may not be recorded in the pixels.
- the depth value obtained by referring to the geometry integrated image corresponding to the attribute integrated image is used.
- the point cloud restoration unit 205 restores and outputs a point cloud based on the set of input point cloud clusters. If the coordinate system of the point cloud cluster is common, the output point cloud can be generated by a simple combination of the set of point cloud clusters. On the other hand, when the coordinates of the point cloud clusters are different, the output point cloud can be generated by converting each point cloud cluster into a point cloud of a common coordinate system and then combining them.
- ⁇ Patch restoration process> The patch restoration process in the patch restoration unit 203 will be described with reference to FIG.
- the patch set input in the procedure of S201 to S204 shown in FIG. 6 is converted to generate an output patch set.
- S202 Refer to the adjustment information to determine whether the target patch is the adjustment target patch (the patch to which the conversion has been applied). If the patch is to be adjusted (YES in S202), then S203 is executed. If it is not the batch to be adjusted (NO in S202), execute S205.
- (S203) Restore the target patch based on the adjustment information. That is, the target patch is restored by applying the process corresponding to the inverse conversion of the conversion applied to the target patch indicated by the adjustment information. For example, when the adjustment information indicates that the reduction conversion of half the height and width is applied to the target patch, the target patch is restored by applying the expansion conversion of twice the height and width to the target patch. Also, for example, when the adjustment information indicates that the conversion of 90 degree rotation clockwise is applied to the target patch, the target patch is applied by applying the conversion of 90 degree rotation counterclockwise to the target patch. Restore.
- the patch restoration unit 203 applies conversion to the patch set and restores it based on the input patch set and the input adjustment information.
- ⁇ Operation of point cloud playback device 200> By linking the constituent functional elements included in the point cloud reproduction device 200 described above, it is possible to execute the point cloud reproduction process of restoring and outputting the point cloud from the input integrated image and the input patch information.
- the point cloud reproduction process in the point cloud reproduction device 200 is executed by the following procedure.
- the patch information decoding unit 201 decodes the input patch information and extracts the integrated information, the adjustment information, and the projection information.
- the integrated information is output to the patch division unit 202, the adjustment information is output to the patch restoration unit 203, and the projection information is output to the patch back projection unit 204.
- the patch dividing unit 202 derives a patch set based on the input integrated image and the input integrated information and outputs the patch set to the patch restoration unit 203.
- the patch restoration unit 203 converts the patch set based on the input patch set and the input adjustment information, and outputs the converted patch set to the patch back projection unit 204.
- the patch back projection unit 204 generates a set of point cloud clusters based on the input patch set and outputs it to the point cloud restoration unit 205.
- the point cloud restoration unit 205 outputs the point cloud derived based on the set of input point cloud clusters to the outside as the output of the point cloud reproduction device 200.
- the point cloud can be reproduced from the integrated image and the patch information generated so as to meet the desired resolution specification.
- the point cloud reproduction device 200 includes a patch restoration unit 203 that converts a patch set based on the adjustment information included in the patch information.
- the patch restoration unit 203 the patch conversion unit 103 included in the image generation device 100 can apply the inverse conversion to the patch converted so as to conform to the desired resolution specification, and return the patch to the corresponding state before the conversion. Therefore, the quality of the reproduced point cloud can be maintained high as compared with the case where the inverse transformation is not applied.
- the configuration of the image generator 300 according to the present embodiment will be described with reference to FIG. 7.
- the image generation device 300 includes a primary division unit 301, a cluster division unit 101, a patch projection unit 102, a patch conversion unit 103, a patch integration unit 104, and a patch information coding unit 105.
- the image generation device 300 generally has a configuration in which a primary division unit 301 is added to the image generation device 100.
- the same reference numerals are given to the components common to the image generator 100, and the description thereof will be omitted.
- the image generation device 300 generates and outputs one or a plurality of integrated images representing the point cloud from the input point cloud. Each integrated image of the output has a resolution according to the input resolution specification.
- the primary division unit 301 determines the point cloud division method based on the input point cloud and the resolution designation, and sequentially outputs the point cloud divided based on the division method. In addition, the primary division unit 301 outputs information regarding the point cloud division method as primary division information.
- the patch information coding unit 105 basically has the same function as the patch information coding 105 described in the first embodiment. In the present embodiment, an additional function of including the primary division information as input in the output patch information is provided.
- FIG. Figure 8 (a) illustrates how a rectangular parallelepiped point cloud OBJ is divided into two sub-point clouds OBJa and OBJb.
- the primary division unit 301 divides the input point group so that the point cloud becomes an integrated image having a resolution satisfying the resolution specification after referring to the number of points constituting the point cloud OBJ and the resolution specification. Since there is a correlation between the number of points constituting the input point cloud and the resolution of the integrated image, the number of divisions can be determined based on a preset description. For example, suppose it is based on the observation that a 1920 x 1080 integrated image is generated from a point cloud of 1 million points.
- the input point group is 2 million points and the resolution specification is 1920 ⁇ 1080, it is determined that the input point group is divided into two sub point groups.
- the resolution is specified as 1920 x 540, it is decided that the input point cloud is divided into four sub point clouds.
- Any method can be applied to the point cloud division method as long as the surface area does not increase. For example, the center of gravity and distribution of the point cloud are examined, and the point cloud is divided by a plane passing through the center of gravity. In the example of FIG. 8A, the sub-point cloud is derived by dividing the point cloud through the center of gravity of the rectangular parallelepiped and the plane parallel to the upper surface and the lower surface of the rectangular parallelepiped.
- the primary division information includes at least information on the number of divisions.
- the primary division information includes the number of divisions 2 as information.
- FIG. 8B illustrates a patch set generated from the subpoint cloud OBJa and OBJb divided as shown in FIG. 8A.
- a patch set including patches FS1a, FS2a, FS3a, FS4a, and FT is derived from the sub-point cloud OBJa.
- a patch set including patches FS1b, FS2b, FS3b, FS4b, and FB is derived from the sub-point cloud OBJb.
- Figure 9 (a) shows an example of an integrated image consisting of a patch set corresponding to the sub-point group OBJa when the resolution is specified as 3U x 2U.
- the integrated image is composed by including the patches FS1a, FS2a, FS3a, FS4a, and FT included in the patch set as they are. Since the point cloud is divided in the primary division unit 301 in consideration of the resolution designation, each patch can be included in the integrated image as it is without applying conversion such as reduction. Therefore, it is possible to suppress a decrease in the accuracy of the point cloud due to the application of the conversion. Similarly, FIG.
- FIG. 9 (b) shows an example of an integrated image composed of a patch set corresponding to the sub-point group OBJb when the resolution designation is 3U ⁇ 2U.
- FIG. 9 (c) shows an example of an integrated image composed of a patch set corresponding to the entire point cloud OBJ when the resolution is specified as 3U ⁇ 2U.
- Patch FS1 in FIG. 9 (c) corresponds to a combination of patch FS1a in FIG. 9 (a) and patch FS1b in FIG. 9 (b). It can be confirmed that the width of FS1 is reduced to half of the case where FS1a and FS1b are combined.
- the image generation process can execute the image generation process of generating and outputting the integrated image and the patch information from the input point cloud based on the resolution specification.
- the image generation process in the image generation device 100 is executed by the following procedure.
- the primary division unit 301 divides the input point cloud based on the input resolution specification, and outputs the division result point cloud to the cluster division unit 101 in order. In addition, the primary division information is output to the patch information coding unit 105. Then execute S32.
- the cluster division unit 101 applies clustering to the input point cloud to generate a plurality of point cloud clusters and outputs them to the patch projection unit 102. Then execute S33.
- the patch projection unit 102 generates a patch set by projecting each of a plurality of input point cloud clusters, and outputs the patch set to the patch conversion unit 103. In addition, the patch projection unit 102 generates projection information and outputs it to the patch information coding unit 105. Then execute S34.
- the patch conversion unit 103 converts the input patch set based on the input resolution specification, and outputs the converted patch set to the patch integration unit 104. In addition, the patch conversion unit 103 generates adjustment information and outputs it to the patch information coding unit 105. Then execute S35.
- the patch integration unit 104 packs the input patch set, generates an integrated image, and outputs it to the outside as the output of the image generation device 100. If the processing of all the point clouds divided by S31 is completed, the process proceeds to S35, and if not, the process proceeds to S32 for the unprocessed point cloud.
- the patch information coding unit 105 generates patch information based on the input primary division information, projection information, adjustment information, and integrated information, and outputs the patch information to the outside as the output of the image generation device 300.
- integrated images and patch information can be generated and output from the input point cloud based on the resolution specification.
- the image generation device 300 can generate an integrated image that satisfies the restriction of specifying the resolution by providing the primary division unit 301. Therefore, by using the image generation device 300, it is possible to generate and output an integrated image expressing the point cloud at a resolution that satisfies the desired memory consumption and image processing restrictions regardless of the nature of the input point cloud.
- the integrated image generated by the image generation device 300 can reproduce the original point cloud by using the patch information also generated in combination. An example of reproduction will be described separately as the point cloud reproduction device 400.
- the configuration of the image generation device 300 shown in FIG. 7 in the third embodiment includes the patch conversion unit 103, but the patch conversion unit 103 may be omitted.
- the purpose can be achieved even if the patch change unit 103 is omitted, and the processing amount and circuit scale of the image generator can be reduced.
- the degree of freedom of division in the primary division unit 301 is increased. For example, when the number of points in the input point group is extremely large, it is necessary to divide into a large number of sub-point groups if only the primary division unit 301 is used, and the overhead due to the division may become a problem. Even in such a case, by using the patch conversion unit 103 together, the input point cloud can be expressed by the integrated image having a desired resolution while suppressing the number of divisions.
- the image generation device 300 may be configured to output corresponding integrated images for a plurality of division methods. For example, when the rectangular parallelepiped of FIG. 8 is input, two integrated images corresponding to each sub-point group when the rectangular parallelepiped is divided into two, and one integrated image corresponding to the point group when the rectangular parallelepiped is not divided into two. Is configured to output.
- the primary division information the number of division methods to be output and the map information of the integrated image corresponding to each division method are included. As a result, it is possible to realize a function of selecting and processing an integrated image corresponding to an appropriate division method in consideration of calculation resources on the side that processes the integrated image.
- ⁇ Modification 3 of Embodiment 3> Although the method of dividing the input point group has been introduced in the above description of the primary division unit 301 in the third embodiment, other division methods may be applied.
- a default viewpoint set may be defined and the target may be divided based on both the resolution specification and the viewpoint set.
- a sub-point cloud is composed of points observed from the vicinity of the viewpoint included in the viewpoint set. If the obtained sub-point cloud is too large in consideration of the requirements for specifying the resolution, the final sub-point cloud is obtained by further dividing the sub-point cloud.
- another sub-point cloud is constructed from points that are not included in the sub-point cloud corresponding to any viewpoint.
- the viewpoint set may be additionally input to the image generator, and then the viewpoint set may be input to the primary division unit 301.
- the user of the image generation device can generate an integrated image after setting a desired viewpoint. For example, the average amount of processing can be reduced by including a viewpoint with a high probability in the input viewpoint set by using the statistics of the user's viewpoint at the time of point cloud observation.
- the configuration of the point cloud reproduction device 400 according to the present embodiment will be described with reference to FIG.
- the point cloud reproduction device 400 includes an integrated image selection unit 401, a patch information decoding unit 201, a patch division unit 202, a patch restoration unit 203, a patch back projection unit 204, and a point cloud restoration unit 205.
- the point cloud reproduction device 400 is roughly configured by adding an integrated image selection unit 401 to the point cloud reproduction device 200.
- the same reference numerals are given to the components common to the point cloud reproduction device 200, and the description thereof will be omitted.
- the point cloud playback device 400 restores and outputs the point cloud corresponding to the integrated image based on the input integrated image, patch information, and viewpoint information.
- the point cloud reproduction device 400 receives a plurality of integrated images and patch information output from the image generation device 400 described in the third modification of the third embodiment as input, and restores and outputs the original point cloud.
- the integrated image selection unit 401 selects and outputs an integrated image to be processed from a plurality of input integrated images based on the input patch information and viewpoint information. In addition, patch information is output.
- FIG. 11 is a diagram showing the relationship between the rectangular parallelepiped target OBJ and the viewpoints VP1, VP2, and VP3.
- the rectangular parallelepiped OBJ and its divided OBJa and OBJb are the same as those described in FIG.
- the input integrated image includes the three integrated images shown in FIG.
- the number of integrated images included in the input integrated image is included in the input patch information.
- the integrated image selection unit 401 when the viewpoint VP1 is specified as the viewpoint information, the integrated image corresponding to OBJa, that is, the integrated image shown in FIG. 9 (a) is selected. Since the viewpoint VP1 is located above the rectangular parallelepiped, the upper side of the rectangular parallelepiped is mainly observed from the viewpoint VP1. Therefore, by reproducing the point cloud from the integrated image corresponding to OBJa corresponding to the upper half of the rectangular parallelepiped, it is possible to reproduce the point cloud sufficient for observation from the viewpoint VP1 while suppressing the amount of restoration processing. Similarly, when the viewpoint VP2 is specified as the viewpoint information, the integrated image corresponding to OBJb, that is, the integrated image shown in FIG.
- the integrated image corresponding to the entire OBJ that is, the integrated image shown in FIG. 9 (c) is selected. Since the entire rectangular parallelepiped OBJ is observed from the viewpoint VP3, the integrated image representing the point cloud of the entire rectangular parallelepiped is preferable to the integrated image representing a part of the rectangular parallelepiped. Regardless of which integrated image is selected, the resolution is suppressed below a certain level, so processing is possible even with limited computational resources.
- the integrated image selection unit 401 selects an integrated image based on a criterion that includes a large number of point clouds that can be observed from the viewpoint indicated by the viewpoint information and a small number of point clouds that cannot be observed from the viewpoint.
- ⁇ Operation of point cloud playback device 400> By linking the constituent functional elements included in the point cloud playback device 400 described above, it is possible to execute the point cloud playback process that restores and outputs the point cloud from the integrated image selected based on the input viewpoint information and the input patch information. ..
- the point cloud reproduction process in the point cloud reproduction device 400 is executed by the following procedure.
- the integrated image selection unit 401 outputs the integrated image selected based on the input patch information and the input viewpoint information to the patch division unit 202.
- the patch information is output to the patch information decoding unit 201.
- the patch information decoding unit 201 decodes the input patch information and extracts the integrated information, the adjustment information, and the projection information.
- the integrated information is output to the patch division unit 202, the adjustment information is output to the patch restoration unit 203, and the projection information is output to the patch back projection unit 204.
- the patch dividing unit 202 derives a patch set based on the input integrated image and the input integrated information and outputs the patch set to the patch restoration unit 203.
- the patch restoration unit 203 converts the patch set based on the input patch set and the input adjustment information, and outputs the converted patch set to the patch back projection unit 204.
- the patch back projection unit 204 generates a set of point cloud clusters based on the input patch set and outputs it to the point cloud restoration unit 205.
- the point cloud restoration unit 205 outputs the point cloud derived based on the set of input point cloud clusters to the outside as the output of the point cloud reproduction setting 400.
- the point cloud can be reproduced from the integrated image and the patch information generated so as to meet the desired resolution specification.
- the point cloud playback device 400 includes an integrated image selection unit 401, and by selecting an integrated image according to the viewpoint information, the calculation resources required for point cloud restoration are suppressed to a certain level or less, and the vicinity of the viewpoint is suppressed. The quality of the point cloud observed from can be restored in a better state.
- the point cloud coding device 1000 includes an image generation unit 100, a video coding unit 1001, a 3D data multiplexing unit 1002, and a processing resolution setting unit 1003.
- the point cloud coding device 1000 compresses and encodes the input point cloud, generates 3D data, and outputs the data.
- the image generation unit 100 is a functional block having the same function as the image generation device 100 described in the first embodiment.
- the video coding unit 1001 compresses and encodes time-series images as input, generates the corresponding 2D data, and outputs it.
- a generally popular video coding method can be used. For example, AVC (Advanced Video Coding) and HEVC (High Efficiency Video Coding) methods can be applied.
- AVC Advanced Video Coding
- HEVC High Efficiency Video Coding
- the 3D data multiplexing unit 1002 outputs 3D data generated by multiplexing at least 2D data and patch information.
- the processing resolution setting unit 1003 determines and outputs the processing resolution based on the processing performance assumed in the video decoding unit included in the point cloud decoding device. For example, in many video coding schemes, the processing performance required for video decoding can be described by profile and level. For example, level 4.1 in HEVC indicates that video decoding can process data corresponding to an image of about 1920 ⁇ 1080. Therefore, when generating 3D data intended to be processed by a video decoding unit corresponding to HEVC level 4.1, the processing resolution setting unit 1003 sets a resolution of 1920 ⁇ 1080 as the processing resolution and outputs the data.
- the processing performance of the video decoding unit may be received by some communication means, and the processing resolution may be set based on the received processing performance.
- ⁇ Operation of point cloud coding device 1000 By linking the constituent functional elements included in the point cloud coding device 1000 described above, it is possible to generate and output 3D data in which the input point cloud is compressed and coded.
- the point cloud reproduction process in the point cloud encoding device 1000 is executed by the following procedure.
- the processing resolution setting unit 1003 determines the processing resolution based on the processing performance of the device that performs the decoding processing of 3D data, and outputs it to the image generation unit 100 as a resolution specification.
- the image generation unit 100 generates integrated images and patch information based on the input point cloud and resolution specification.
- the integrated image is output to the video coding unit 1001, and the patch information is output to the 3D data multiplexing unit 1002.
- the video coding unit 1001 outputs the 2D data generated by compressing and encoding the input integrated image to the 3D data multiplexing device 1002.
- the 3D data multiplexing unit 1002 uses the 3D data generated by multiplexing the input 2D data and the patch information as the output of the point cloud encoding device 1000.
- 3D data targeting a point cloud decoding device provided with a video decoding unit assuming a predetermined calculation resource regardless of the number and properties of the points of the input 3D data. can be generated.
- the point cloud encoding device 1000 includes an image generation unit 100, an integrated image is generated from 3D data by designating a resolution that can be processed by the calculation resource of the video decoding unit, and the integrated image is encoded.
- 3D data can be constructed by including the 2D data.
- the configuration of the point cloud decoding device 2000 according to the present embodiment will be described with reference to FIG. 12B.
- the point cloud decoding device 2000 includes a point cloud reproduction unit 200, a video decoding unit 2001, and a 3D data demultiplexing unit 2002.
- the point cloud decoding device 2000 takes the 3D data generated by the point cloud coding device 1000 as an input, restores the original point cloud, and outputs the data.
- the point cloud reproduction unit 200 is a functional block having the same function as the point cloud reproduction device 200 described in the second embodiment.
- the video decoding unit 2001 restores the original image from the 2D data compressed and encoded by a specific method and outputs it.
- the compression coding method the same method as that of the video coding unit 1001 is used.
- AVC or HEVC is used. It is necessary to use the same method as that used to generate 2D data.
- the 3D data demultiplexing unit 2002 demultiplexes the input 3D data, divides it into 2D data and patch information, and outputs each.
- ⁇ Operation of point cloud decoding device 2000> By linking the constituent functional elements included in the point cloud decoding device 2000 described above, the original point cloud can be restored and output from the 3D data obtained by compressing and encoding the input point cloud.
- the point cloud reproduction process in the point cloud decoding device 2000 is executed by the following procedure.
- the processing resolution setting unit 1003 determines the processing resolution based on the processing performance of the device that performs the decoding processing of 3D data, and outputs it to the image generation unit 100 as a resolution specification.
- the image generation unit 100 generates integrated images and patch information based on the input point cloud and resolution specification.
- the integrated image is output to the video coding unit 1001, and the patch information is output to the 3D data multiplexing unit.
- the video coding unit 1001 outputs the 2D data generated by compressing and encoding the input integrated image to the 3D data multiplexing device 1002.
- the 3D data multiplexing unit 1002 outputs the 3D data generated by multiplexing the input 2D data and the patch information to the point cloud encoding device 1000.
- the original point cloud is reproduced by decoding the 3D data generated assuming a predetermined calculation resource regardless of the number and properties of the input 3D data points. it can.
- the point cloud decoding device 2000 includes the point cloud reproduction unit 200, the original point cloud can be reproduced from the integrated image generated under the constraint of the specified resolution.
- the configuration of the point cloud processing device 3000 according to the present embodiment will be described with reference to FIG.
- the point cloud processing device 3000 includes an image generation unit 100, a point cloud reproduction unit 200, an integrated image processing unit 3001, and a processing resolution setting unit 3002.
- the point cloud processing device 3000 applies a predetermined image process to the input point cloud to correct it, and outputs the point cloud of the correction result.
- the image generation unit 100 is a functional block having the same function as the image generation device 100 described in the first embodiment.
- the point cloud reproduction unit 200 is a functional block having the same function as the point cloud reproduction device 200 described in the second embodiment.
- the integrated image processing unit 3001 applies the processing two-dimensional image processing to the input image and outputs the image of the application result.
- a noise removal filter As the two-dimensional image processing, a noise removal filter, a smoothing filter, a high frequency enhancement filter, a color adjustment filter, and the like can be applied.
- image conversion processing using a neural network can be applied as two-dimensional image processing. As an example of such an image conversion process, there is a style transfer that reflects the style of the learned image.
- the processing resolution setting unit 3002 determines and outputs the processing resolution based on the processing performance expected by the integrated image processing unit 3001.
- ⁇ Operation of point cloud processing device 3000> By linking the constituent functional elements included in the point cloud processing device 3000 described above, it is possible to generate and output a point cloud obtained by applying processing of a specific effect to an input point cloud.
- the point cloud conversion process in the point cloud processing device 3000 is executed by the following procedure.
- the processing resolution setting unit 3002 determines the processing resolution based on the performance requirements of the image processing applied by the integrated image processing unit 3001 and outputs it to the image generation unit 100 as a resolution specification.
- the image generation unit 100 generates integrated images and patch information based on the input point cloud and resolution specification.
- the integrated image is output to the integrated image processing unit 3001, and the patch information is output to the point cloud reproduction unit 200.
- the integrated image processing unit 3001 applies a predetermined two-dimensional image processing to the input integrated image, and outputs the converted image to the point cloud reproduction unit 200 as an integrated image.
- the point cloud reproduction unit 200 reproduces the point cloud based on the input integrated image and patch information, and outputs the point cloud of the reproduction result as the output of the point cloud processing device 3000.
- the point cloud can be converted by using image processing that can be executed by a predetermined calculation resource regardless of the number and properties of the input point cloud points. For example, by applying a noise removal filter in the integrated image processing unit 3001, it is possible to convert the input point cloud into a point cloud obtained by removing the point cloud.
- the point cloud processing device 3000 since the point cloud processing device 3000 includes an image generation unit 100 and a point cloud reproduction unit 200, an integrated image to be processed in two dimensions is generated under the constraint of a specified resolution, and the converted integrated image is generated. The point cloud can be restored from.
- the integrated image processing unit 3001 may select and apply a plurality of types of image processing. Generally, when the types of image processing are different, the required computational resources are different, and the resolution of the image that can be processed is different. Therefore, in the case of such a configuration, the processing resolution setting unit 3002 sets a different resolution as a designated resolution according to the type of image processing applied by the integrated image processing unit 3001 and inputs it to the image generation unit 100. To do. With the above configuration, the point cloud processing device 3000 can switch and execute conversion of various effects on the point cloud according to the application.
- the resolution of the image that can be processed by the integrated image processing unit 3001 depends not only on the image processing method but also on the calculation resources such as the memory and the CPU.
- the point cloud processing device 3000 may share computing resources such as memory and CPU with other devices.
- the processing resolution setting unit 3002 acquires the usage status of the calculation resources such as the memory and the CPU, and sets the designated resolution according to the usage status. That is, a lower resolution is set when the utilization rate of the calculation resource is high, and conversely, a higher resolution is set when the utilization rate of the calculation resource is low.
- the point cloud processing apparatus 3000 can apply the transformation to the point cloud even when the available computing resources change.
- ⁇ Appendix 1 common to Embodiments 1 to 6> In each description of the first to sixth embodiments, a configuration in which a point cloud is input or output has been described.
- the present invention can also be applied to a representation form of a three-dimensional object other than a point cloud.
- it can be applied to a format (mesh format) in which a three-dimensional object is expressed by a mesh and a texture.
- the cluster division unit 101 outputs a cluster expressed in a mesh format instead of a point cloud cluster.
- the function of the patch projection unit 102 may be changed from the function of projecting a point cloud to derive a patch to the function of projecting a mesh-type cluster to derive a patch.
- the function of the patch back projection unit 204 is changed from the function of deriving the point cloud from the patch to the function of deriving the mesh format cluster by back projection of the patch.
- the point cloud restoration unit 205 is a mesh restoration unit that outputs a mesh-type cluster. Point cloud clusters and mesh-type clusters are collectively referred to as clusters.
- the point cloud restoration unit and the mesh restoration unit are collectively referred to as a three-dimensional object restoration unit.
- the present invention can be applied as another expression format, for example, when a three-dimensional object is expressed in a volume expression format.
- the volume representation the space is divided into a grid pattern, and the voxels obtained by the division are represented by describing the information indicating the inside and outside of the object, the distance to the surface, the attribute information such as the color, and the like to express the three-dimensional object.
- the voxel as a point with the voxel center as the position, the method described in each embodiment can be applied.
- the image generation device 100 and the image generation device 300 generate an integrated image based on three-dimensional objects expressed in various formats.
- the point group reproduction device 200 and the point group reproduction device 400 are a three-dimensional object reproduction device
- the point group coding device 1000 is a three-dimensional object coding device
- the point group decoding device 2000 is a three-dimensional object decoding device and a point group processing device.
- the 3000 can also be called a three-dimensional object processing device.
- FIG. 1A is a block diagram showing a three-dimensional expression conversion device 500 realized based on the present invention.
- the three-dimensional expression conversion device 500 includes an expression conversion unit 501 and an expression conversion information generation unit 502.
- the three-dimensional conversion device 500 generates and outputs output three-dimensional representation and expression conversion information based on the input three-dimensional representation and conversion instruction information.
- the three-dimensional expression is a general term for various expression forms that express a three-dimensional object.
- the three-dimensional representation may include at least the following representation formats.
- Point cloud format A format that expresses a three-dimensional object as a set of points in a three-dimensional space. It is further classified into a dense point cloud format that limits the position of points on the grid, and a sparse point cloud format that arranges points at arbitrary positions in space.
- (Form 2) Mesh format A format in which a three-dimensional object is represented by a mesh, which is a set of faces in a three-dimensional space. Each face constituting the mesh is defined by the position of the point of the vertex and the connection information of the vertex.
- Form 3 Volume format: A format that expresses a three-dimensional object as a set of voxels obtained by grid-like division of a three-dimensional space. It is further classified into a voxel occupancy expression format that uses attribute information indicating whether or not the voxel is a space within a three-dimensional object, and a TSDF (Truncated Signed Distance) format that uses the distance between the voxel and the three-dimensional object surface as attribute information.
- a voxel occupancy expression format that uses attribute information indicating whether or not the voxel is a space within a three-dimensional object
- TSDF Trusted Distance
- Image format A format in which a three-dimensional object is converted into one or more images and expressed.
- the conversion to an image generally uses projection based on a given camera or viewpoint, but other conversions can also be used.
- the integrated image in the first to sixth embodiments can be said to be one of the three-dimensional representations in the image format.
- Compression format A format that compresses each of the above formats.
- the 3D data described in the fifth embodiment is a compressed representation of the image format and is an example of the compressed format.
- (Format 7) Composite format Expression by combining each of the above formats.
- the expression by the combination of different forms is included. This is an example when the entire three-dimensional object is expressed in the mesh format and a part is expressed in the point cloud format.
- the above classification includes expressions by combinations of the same format. For example, this is an example when the three-dimensional object as described in the third embodiment is divided into a plurality of parts and each part is expressed in a point cloud format.
- the expression conversion unit 501 converts the three-dimensional expression based on the input three-dimensional expression (first three-dimensional expression) and the specified post-conversion characteristic, and the converted three-dimensional expression (second three-dimensional expression). Is output.
- the converted characteristics are input to the three-dimensional expression conversion device 500, a configuration may be used in which the default conversion characteristics are used or the characteristics are derived inside the three-dimensional expression conversion device 500.
- the expression conversion information generation unit 502 is not an indispensable component. However, by generating the expression conversion information through the expression conversion information generation unit 502, accurate restoration can be realized when the three-dimensional expression before the conversion is restored from the three-dimensional expression after the conversion.
- the conversions applied by the expression conversion unit 501 include the following various conversions.
- Reduction of data amount in 3D representation Reduce the amount of data by resampling in the spatial or temporal direction and discarding specific types of data. For example, when the three-dimensional representation is in the point cloud format, the amount of data is reduced by resampling at intervals sparser than the original data in the spatial dimension. Further, for example, when the three-dimensional representation is in an image format, the amount of data is reduced by reducing the entire or a part of the image. Also, when the 3D representation is in point cloud format, mesh format, volume format, or image format, the amount of data is reduced by reducing the type and accuracy of attribute information associated with points, vertices, voxels, or pixels. To do.
- Division of three-dimensional representation Divide in the spatial or temporal direction. For example, when the three-dimensional representation is in the point cloud format, one point cloud is divided into a plurality of point clouds by dividing the three-dimensional space into a plurality of spaces. Further, for example, when the three-dimensional representation is in an image format, one image is divided into a plurality of images.
- 3D representation format conversion Convert from one 3D representation format to another 3D representation format.
- the point cloud format is converted to the image format using projection.
- a coding process is applied to a three-dimensional representation of an image format to convert it into a compressed format.
- the converted characteristic is information that specifies the characteristic of the output three-dimensional representation.
- the converted characteristic is the computational resource specification information.
- the calculation resource designation information is at least information that explicitly or indirectly indicates various calculation resources required for processing the three-dimensional representation after conversion.
- Computational resources include quantities that directly or indirectly represent the amount of data in a three-dimensional representation. For example, when the three-dimensional representation is in an image format, the resolution of the image, the total number of pixels constituting the image, and the type and amount of information associated with each pixel of the image can be mentioned.
- the three-dimensional representation when the three-dimensional representation is in the point cloud format, the number of points, the density of the points, the volume occupied by the point cloud, the volume of the bounding box containing the point cloud, the type of information associated with each point, and the like.
- the amount can be mentioned.
- the three-dimensional representation when the three-dimensional representation is in the mesh format, the number of vertices constituting the mesh, the number of faces, the resolution of the texture, and the type and amount of information associated with each vertex can be mentioned.
- the three-dimensional representation when the three-dimensional representation is in the volume format, the number of valid voxels, the voxel interval, the occupied volume of the volume, and the type and amount of information associated with each voxel can be mentioned.
- the three-dimensional representation when the three-dimensional representation is in a compressed format or an encrypted format, the total amount of data, the amount of data in time or frame units can be mentioned.
- the calculation resource includes information that directly or indirectly indicates the amount of calculation and memory required for processing the three-dimensional representation. For example, if the three-dimensional representation is in compressed or cryptographic format, the type of algorithm applied and the parameters of the algorithm can be mentioned.
- the converted characteristic is information that directly or indirectly indicates the assumed use of the three-dimensional information (assumed use information).
- the assumed use information include an observation viewpoint position, an observation distance, a display resolution, and a display frame rate.
- the expression conversion information generation unit 502 outputs information related to the conversion applied by the expression conversion unit 501 as expression conversion information.
- the expression conversion information includes the reduction method, the degree of reduction, the applicable range of reduction, and the like.
- the expression conversion information when the conversion is division, information indicating the division method, the number of divisions, and the correspondence between before and after division can be mentioned.
- the expression conversion information when the conversion is a format conversion, information indicating the format before and after the conversion can be mentioned.
- FIG. 1B is a block diagram showing a three-dimensional representation inverse conversion device 600 realized based on the present invention.
- the three-dimensional expression inverse conversion device 600 includes an expression inverse conversion unit 601 and an expression conversion information interpretation unit 602.
- the three-dimensional inverse conversion device 600 uses the three-dimensional representation generated by the above-mentioned three-dimensional conversion device 600 as the input three-dimensional representation, and also refers to the input representation conversion information to generate and output the output three-dimensional representation. ..
- the expression conversion information interpretation unit 602 interprets and outputs the input expression conversion information. It is also possible to configure the system so that the expression conversion information is not used as an input. When the expression conversion information is used as an input, there is an advantage that the reproduction of the three-dimensional expression can be performed more accurately. When the expression conversion information is not used as an input, the expression conversion information interpretation unit 602 becomes unnecessary, and therefore the configuration may be omitted.
- the expression inverse conversion unit 601 restores the input three-dimensional expression (second three-dimensional expression) based on the expression conversion information, generates the output three-dimensional expression (third three-dimensional expression), and outputs it.
- the expression inverse conversion unit 601 applies a process corresponding to the inverse conversion of the conversion applied by the expression conversion unit 600.
- the transformation is a data volume reduction
- the inverse transformation is a restoration by estimating the reduced data volume.
- upsampling of point clouds can be applied to the inverse conversion.
- the combination of the divided three-dimensional representations can be applied to the inverse transformation.
- the image generation device 100 of the first embodiment described with reference to FIG. 2 corresponds to a specific embodiment of the three-dimensional expression conversion device 500.
- the correspondence will be described below.
- the first 3D representation of the input is a point cloud
- the second 3D representation of the output corresponds to the integrated image.
- Resolution specification corresponds to the converted characteristics
- patch information corresponds to the expression conversion information.
- the expression conversion unit 501 corresponds to a combination of the cluster division unit 101, the patch projection unit 102, the patch conversion unit 103, and the patch integration unit 104.
- the image generator 100 converts the point cloud format into an image format (patch set) by conversion, and further reduces and integrates some patches to generate an image format (integrated image) which is a three-dimensional expression format of output. ..
- the patch information coding unit 105 corresponds to the expression conversion information conversion unit 502.
- the point cloud reproduction device 200 of the second embodiment described with reference to FIG. 5 corresponds to a specific embodiment of the three-dimensional representation inverse conversion device 600.
- the correspondence will be described below.
- the second 3D representation of the input corresponds to the integrated image
- the third 3D representation of the output corresponds to the point cloud.
- Patch information corresponds to the expression conversion information.
- the expression reverse conversion unit 602 corresponds to a combination of the patch division unit 202, the patch restoration unit 203, the patch back projection unit 204, the patch back projection unit 204, and the point cloud restoration unit 205.
- the image format (integrated image) is converted to the image format (patch set) by reverse conversion, some patches are further enlarged, and the patches are back-projected to represent the three-dimensional point cloud format. Generate a shape.
- the patch information decoding unit 201 corresponds to the expression conversion information interpretation unit 602.
- the image generation device 300 of the third embodiment described with reference to FIG. 7 corresponds to a specific embodiment of the three-dimensional expression conversion device 500.
- the correspondence will be described below.
- the first 3D representation of the input is a point cloud
- the second 3D representation of the output corresponds to the integrated image.
- Resolution specification corresponds to the converted characteristics
- patch information corresponds to the expression conversion information.
- the expression conversion unit 501 corresponds to a combination of the primary division unit 301, the cluster division unit 101, the patch projection unit 102, the patch conversion unit 103, and the patch integration unit 104.
- the three-dimensional representation of the point cloud format is first divided into a plurality of points, then each point cloud is converted into an image format (patch set), and some patches are further reduced and integrated. Generates an image format (integrated image), which is a three-dimensional representation format of output.
- the patch information coding unit 105 corresponds to the expression conversion information conversion unit 502.
- the point cloud reproduction device 400 of the fourth embodiment described with reference to FIG. 10 corresponds to a specific embodiment of the three-dimensional representation inverse conversion device 600.
- the correspondence will be described below.
- the second 3D representation of the input corresponds to the integrated image
- the third 3D representation of the output corresponds to the point cloud.
- Patch information corresponds to the expression conversion information.
- the expression reverse conversion unit 602 corresponds to a combination of the patch division unit 202, the patch restoration unit 203, the patch back projection unit 204, the patch back projection unit 204, and the point cloud restoration unit 205.
- a three-dimensional expression suitable for the specified viewpoint information is selected from a plurality of three-dimensional expressions generated by conversion from one three-dimensional expression, and an image format (integrated image) is performed by inverse conversion. ) Is converted to an image format (patch set), some patches are enlarged, and the patches are back-projected to generate a three-dimensional representation of a point cloud format suitable for the specified viewpoint purification method.
- the patch information decoding unit 201 corresponds to the expression conversion information interpretation unit 602.
- the image coding apparatus 1000 of the fifth embodiment described with reference to FIG. 12A corresponds to a specific embodiment of the three-dimensional representation conversion apparatus 500.
- the correspondence will be described below.
- the first 3D representation of the input is a point cloud
- the second 3D representation of the output corresponds to 3D data.
- the converted characteristics correspond to the resolution specification derived by the processing resolution setting unit 1003, and the expression conversion information corresponds to the patch information included in the 3D data.
- the expression conversion unit 501 corresponds to the image generation unit 100 and the video coding unit 1001.
- the three-dimensional representation in the point cloud format is first converted into the image format (integrated image), and the integrated image is further compressed to generate the three-dimensional representation in the compressed format.
- the point cloud decoding device 2000 of the fifth embodiment described with reference to FIG. 12B corresponds to a specific embodiment of the three-dimensional representation inverse conversion device 600.
- the correspondence will be described below.
- the second 3D representation of the input corresponds to the 3D data
- the third 3D representation of the output corresponds to the point cloud.
- Patch information corresponds to the expression conversion information.
- the combination of the video decoding unit 2001 and the point cloud reproduction unit 200 corresponds to the expression inverse conversion unit 602.
- the three-dimensional representation of the compressed format is converted into an image format (integrated image), and the integrated image is converted into a point cloud.
- the image processing apparatus 3000 of the sixth embodiment described with reference to FIG. 13 corresponds to a specific embodiment of the three-dimensional representation conversion apparatus 500.
- the correspondence will be described below.
- the first three-dimensional representation of the input is a point cloud
- the second three-dimensional representation of the output also corresponds to the point cloud.
- the expression conversion unit 501 corresponds to the image generation unit 100, the integrated image processing unit 3001, and the point cloud reproduction unit 200.
- the point cloud processing device 3000 in the process of conversion, the three-dimensional representation of the point cloud format is first converted to the image format (integrated image). Subsequently, the integrated image is processed and converted, and finally the integrated image is inversely converted to generate a three-dimensional representation in the point cloud format.
- the three-dimensional expression conversion device 500 described above converts the first three-dimensional expression based on the specified post-conversion characteristic, and outputs the second three-dimensional expression obtained by the conversion.
- the output second 3D representation satisfies the specified post-conversion characteristics. Therefore, even if the input first three-dimensional representation cannot be processed by a device designed to process the three-dimensional representation of a predetermined characteristic, the three-dimensional representation conversion device 500 is used to correspond to the characteristic.
- the three-dimensional expression inverse conversion device 600 described above has a third property similar to that of the first three-dimensional expression before conversion from the second three-dimensional expression obtained by conversion by the three-dimensional expression conversion device 500.
- the three-dimensional representation can be restored.
- the effect that the third three-dimensional expression can be restored more accurately can be obtained.
- the apparatus group disclosed in the present specification image generation apparatus 100, point group reproduction apparatus 200, image generation apparatus 300, point group reproduction apparatus 400, point group coding apparatus 1000, point group decoding apparatus 2000, point group processing apparatus 3000,
- the control block of the three-dimensional representation conversion device 500 and the three-dimensional representation inverse conversion device 600 may be realized by a logic circuit (hardware) formed in an integrated circuit (IC chip) or the like, or by software. You may.
- the device group disclosed in the present specification includes a computer that executes a program instruction, which is software that realizes each function.
- This computer includes, for example, at least one processor (control device) and at least one computer-readable recording medium that stores the program. Then, in the computer, the processor reads the program from the recording medium and executes it, thereby achieving the object of the present invention.
- the processor for example, a CPU (Central Processing Unit) can be used.
- the recording medium in addition to a “non-temporary tangible medium” such as ROM (Read Only Memory), a tape, a disk, a card, a semiconductor memory, a programmable logic circuit, or the like can be used.
- RAM RandomAccessMemory
- the program may be supplied to the computer via an arbitrary transmission medium (communication network, broadcast wave, etc.) capable of transmitting the program.
- arbitrary transmission medium communication network, broadcast wave, etc.
- one aspect of the present invention can also be realized in the form of a data signal embedded in a carrier wave, in which the above program is embodied by electronic transmission.
- the device group disclosed in the present invention may be realized by a computer.
- the above devices are operated by operating the computer as each part (software element) included in each device included in the device group disclosed in the present invention.
- the control program of each of the above-mentioned devices and the computer-readable recording medium on which the control program is recorded are also included in the scope of the present invention.
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Generation (AREA)
- Image Processing (AREA)
Abstract
入力される三次元表現の性質によらず、所望の特性の三次元表現を想定した処理装置で処理可能な三次元表現に変換する。三次元対象を表す第一の三次元表現を入力として、上記三次元対象を表す第二の三次元表現を生成する三次元表現変換装置(500)であって、第一の三次元表現を、直接または間接的に指定された変換後特性に基づいて第二の三次元表現に変換する表現変換部(501)を備えることを特徴とする。
Description
本発明の一態様は、三次元点群に代表される三次元表現で表現された三次元対象に係り、第一の三次元表現から第二の三次元表現に変換する変換装置に関する。
三次元対象の全体や一部を表現するデジタルデータ(3Dデータ)を伝送や処理することで、三次元対象の記録再生や、テレイグジスタンスに代表される様々なアプリケーションが実現できる。三次元対象の表現形式(三次元表現)の一つに三次元点群(点群)がある。点群では、三次元対象を点の集合として表現する。点群を構成する各点は、点の位置および属性情報(例えば色)により定義される。その他、三次元対象の表現形式には、メッシュ形式、ボリューム形式、画像形式がある。
一般に三次元表現のデータはデータ量が多い。そのため、特定の三次元表現の形式のまま伝送や処理するには多量のストレージおよび計算リソースが要求される。
三次元表現の一つである点群を画像により表現し伝送することで帯域および再生時の計算リソースを抑制する従来技術として、国際標準として策定中のV-PCC(Video-based Point Cloud Compression)方式が挙げられる(非特許文献1)。V-PCCでは、入力された点群をクラスタリングして所定の単位(点群クラスタ)に分割する。続いて、点群クラスタを規定の投影面の何れかに投影することで点群クラスタに相当する二次元画像(パッチ)を生成する。全ての点群クラスタに対応するパッチを集めてパッキングして二次元画像(統合画像)を生成する。最後に統合画像をビデオ符号化方式で圧縮して伝送する。なお、V-PCCにおいて、1個の点群クラスタから2種類のパッチが生成される。具体的には、点群クラスタの三次元形状を表すジオメトリパッチと点群クラスタの属性(例えば色)を表す属性パッチが生成される。そのため、統合画像も、ジオメトリパッチを集めたジオメトリ統合画像と属性パッチを集めた属性統合画像の2種類がある。なお、以下では統合画像と記載した場合、特に注釈がなければ、ジオメトリ統合画像と属性統合画像のいずれも意味する。
Euee et al., "Video-Based Point-Cloud-Compression Standard in MPEG: From Evidence Collection to Committee Draft [Standards in a Nutshell]", IEEE Signal Processing Magazine Volume:36, Issue: 3, pp: 118-123, May 2019
しかしながら、従来技術では、特定の特性の三次元表現を処理するよう設計された処理装置により処理可能な三次元表現によるデータが必ずしも生成できないという課題があった。例えば、従来技術のV-PCCでは、点群の性質に応じて、当該点群を表現する統合画像の解像度が変化するという問題があった。そのため、統合画像の解像度が高くなる状況が生じ、計算リソースが不足して伝送や処理が困難な場合が生じる問題があった。
例えば、V-PCCにおいて、高密度の点群を入力とした場合、ビデオ符号化の対象となる統合画像の解像度が高くなりすぎる場合があるとの問題が生じる。一般にビデオ復号処理は特定以下の解像度の画像を対象とするよう設計されており、当該解像度を超える画像は復号できず、結果として点群も復元できないという問題が生じる。
また、例えば、V-PCCにおいて、入力点群が表現する三次元対象の表面積が広い場合、クラスタリングの結果得られるパッチの総面積が増加する。その結果、統合画像の解像度も高くなり、点群が復元できない問題が生じる。
以上、三次元対象の表現形式の一つである点群を挙げて課題を説明したが、他の表現形式であるメッシュ形式やボリューム形式に対してもV-PCC類似のアプローチを採用する場合には同様の問題がある。
本発明の一態様は、上記の問題に鑑みてなされたものであり、入力の三次元表現(入力点群)の種別や性質によらず、想定する後段の処理装置で処理可能な出力の三次元表現を生成する三次元表現変換装置を実現する。また、そのような三次元表現変換装置で変換された三次元表現から元の三次元表現を復元する三次元表現逆変換装置を実現する。
上記の課題を解決するために、本発明の一態様に係る三次元対象に関する三次元表現変換装置、三次元表現逆変換装置、符号化装置、復号装置、および、処理装置は以下の手段を提供する。
(第1の手段)
三次元対象を表す第一の三次元表現を入力として、上記三次元対象を表す第二の三次元表現を生成する三次元表現変換手段であって、
上記第一の三次元表現を上記第二の三次元表現に変換する表現変換手段を備え、
上記表現変換部は、直接または間接的に指定される変換後特性に基づいて変換を行う三次元表現変換手段を提供する。
(第1の手段)
三次元対象を表す第一の三次元表現を入力として、上記三次元対象を表す第二の三次元表現を生成する三次元表現変換手段であって、
上記第一の三次元表現を上記第二の三次元表現に変換する表現変換手段を備え、
上記表現変換部は、直接または間接的に指定される変換後特性に基づいて変換を行う三次元表現変換手段を提供する。
この三次元表現変換手段によれば、想定する処理装置で処理可能な変換後特性を指定することで、当該処理装置では処理が不可能な第一の三次元表現を、当該処理装置で処理が可能な第二の三次元表現に変換できる。
(第2の手段)
三次元対象を表す第二の三次元表現を入力として、上記三次元対象を表す第三の三次元表現を生成する三次元表現逆変換手段であって、
上記第二の三次元表現を上記第三の三次元表現に変換する表現逆変換手段と、
入力される表現変換情報を解釈する表現変換情報解釈手段を備え、
上記表現逆変換手段は、表現変換情報に基づいて第二の三次元表現に変換を適用する三次元表現逆変換手段を提供する。
(第2の手段)
三次元対象を表す第二の三次元表現を入力として、上記三次元対象を表す第三の三次元表現を生成する三次元表現逆変換手段であって、
上記第二の三次元表現を上記第三の三次元表現に変換する表現逆変換手段と、
入力される表現変換情報を解釈する表現変換情報解釈手段を備え、
上記表現逆変換手段は、表現変換情報に基づいて第二の三次元表現に変換を適用する三次元表現逆変換手段を提供する。
この三次元表現逆変換手段によれば、前記三次元表現変換手段により変換しえ生成された第二の三次元表現から、変換前の第一の三次元表現に近い第三の三次元表現を復元できる。特に、表現変換情報を用いることで、変換の内容を考慮して逆変換の方法を決定できるため、より第一の三次元表現に近い第三の三次元表現を復元できる。
(第3の手段)
三次元対象を入力として、上記三次元対象に対応する3Dデータを生成する三次元対象符号化手段であって、
解像度指定を決定する処理解像度設定手段と、
上記三次元対象をクラスタに分割するクラスタ分割手段と、
上記クラスタからパッチを生成し、投影に係る投影情報を生成するパッチ投影手段と、
上記解像度指定に基づいて上記パッチに変換を適用し、変換に係る調整情報を生成するパッチ変換手段と、
上記変換を適用したパッチを結合して統合画像を生成し、統合に係る統合情報を生成するパッチ統合手段と、
上記投影情報、上記調整情報、および、上記統合情報を含むパッチ情報を生成するパッチ情報符号化手段と、
上記統合画像にビデオ符号化を適用し2Dデータを生成するビデオ符号化手段と、
上記2Dデータと上記パッチ情報を多重化して3Dデータを構成する3Dデータ多重化手段を備える三次元対象符号化手段を提供する。
(第3の手段)
三次元対象を入力として、上記三次元対象に対応する3Dデータを生成する三次元対象符号化手段であって、
解像度指定を決定する処理解像度設定手段と、
上記三次元対象をクラスタに分割するクラスタ分割手段と、
上記クラスタからパッチを生成し、投影に係る投影情報を生成するパッチ投影手段と、
上記解像度指定に基づいて上記パッチに変換を適用し、変換に係る調整情報を生成するパッチ変換手段と、
上記変換を適用したパッチを結合して統合画像を生成し、統合に係る統合情報を生成するパッチ統合手段と、
上記投影情報、上記調整情報、および、上記統合情報を含むパッチ情報を生成するパッチ情報符号化手段と、
上記統合画像にビデオ符号化を適用し2Dデータを生成するビデオ符号化手段と、
上記2Dデータと上記パッチ情報を多重化して3Dデータを構成する3Dデータ多重化手段を備える三次元対象符号化手段を提供する。
この三次元対象符号化手段によれば、解像度指定を満たすようパッチを変換し、変換したパッチを含んで構成された統合画像を符号化して3Dデータを生成できる。そのため、入力の三次元対象の性質によらず、所望の計算リソースで復号可能な解像度を有する統合画像に相当する2Dデータを含んだ3Dデータを生成できる。
(第4の手段)
三次元対象を符号化して生成された3Dデータを入力として上記三次元対象を復元する三次元対象復号手段であって、
上記3Dデータからパッチ情報と2Dデータを抽出する3Dデータ逆多重化部と、
上記パッチ情報から統合情報、調整情報、および、投影情報を導出するパッチ情報復号手段と、
上記2Dデータから統合画像を復号するビデオ復号手段と、
上記統合画像を上記統合情報に基づいて複数のパッチに分割するパッチ分割手段と、
分割された各パッチを上記調整情報に基づいて変換するパッチ復元手段と、
上記パッチから上記投影情報に基づいてクラスタを生成するパッチ逆投影手段と、
複数のクラスタを結合する三次元対象復元手段を備える三次元対象復号手段を提供する。
(第4の手段)
三次元対象を符号化して生成された3Dデータを入力として上記三次元対象を復元する三次元対象復号手段であって、
上記3Dデータからパッチ情報と2Dデータを抽出する3Dデータ逆多重化部と、
上記パッチ情報から統合情報、調整情報、および、投影情報を導出するパッチ情報復号手段と、
上記2Dデータから統合画像を復号するビデオ復号手段と、
上記統合画像を上記統合情報に基づいて複数のパッチに分割するパッチ分割手段と、
分割された各パッチを上記調整情報に基づいて変換するパッチ復元手段と、
上記パッチから上記投影情報に基づいてクラスタを生成するパッチ逆投影手段と、
複数のクラスタを結合する三次元対象復元手段を備える三次元対象復号手段を提供する。
この三次元対象復号手段によれば、解像度指定を満たすようパッチを変換し、変換したパッチを含んで構成された統合画像を符号化した3Dデータを復号して三次元対象を復元できる。そのため、入力の三次元対象の性質によらず、所望の計算リソースで復号可能な解像度を有する統合画像に相当する2Dデータを含んだ3Dデータを復号できる。
(第5の手段)
入力された三次元対象を変換して出力する三次元対象処理手段であって、
解像度指定を決定する処理解像度設定手段と、
上記解像度指定と上記三次元対象に基づいて統合画像とパッチ情報を生成する画像生成手段と、
上記統合画像に変換処理を適用して変換後の統合画像を出力する統合画像処理手段と、
上記変換後の統合画像と上記パッチ情報を入力として三次元対象を生成する三次元対象再生手段とを備える三次元対象処理手段を提供する。
(第5の手段)
入力された三次元対象を変換して出力する三次元対象処理手段であって、
解像度指定を決定する処理解像度設定手段と、
上記解像度指定と上記三次元対象に基づいて統合画像とパッチ情報を生成する画像生成手段と、
上記統合画像に変換処理を適用して変換後の統合画像を出力する統合画像処理手段と、
上記変換後の統合画像と上記パッチ情報を入力として三次元対象を生成する三次元対象再生手段とを備える三次元対象処理手段を提供する。
この三次元対象処理手段によれば、解像度指定を満たすようパッチを変換し、変換したパッチを含んで構成された統合画像を処理して三次元対象を変換できる。そのため、入力の三次元対象の性質によらず、所望の計算リソースで三次元対象に所望の処理を適用できる。
本発明の一態様によれば、入力三次元対象の性質によらず、目標とする計算リソースで処理可能な統合画像を生成する画像生成装置を実現できる。
また、本発明の一態様によれば、入力点群の性質によらず、目標とする計算リソースで処理可能なよう生成された統合画像に基づいて三次元対象を再生する三次元対象再生装置を実現できる。
〔実施形態1〕
以下、本発明の一実施形態について、図2~図4と図14に基づいて説明する。
以下、本発明の一実施形態について、図2~図4と図14に基づいて説明する。
<画像生成装置1の構成>
図2に基づいて本実施形態に係る画像生成装置100の構成を説明する。画像生成装置100は、クラスタ分割部101、パッチ投影部102、パッチ変換部103、パッチ統合部104、および、パッチ情報符号化部105を備えている。
図2に基づいて本実施形態に係る画像生成装置100の構成を説明する。画像生成装置100は、クラスタ分割部101、パッチ投影部102、パッチ変換部103、パッチ統合部104、および、パッチ情報符号化部105を備えている。
画像生成装置100は、入力される点群から当該点群を表現する統合画像を生成して出力する。出力の統合画像は、入力される解像度指定に従った解像度となる。また、画像生成装置100は、統合画像から点群を再生するために利用するパッチ情報を生成して出力する。
クラスタ分割部101は、入力の点群を複数の点群クラスタに分割して出力する。点群の点群クラスタへの分割は、点群にクラスタリングを適用することで実行される。クラスタリングは、点群クラスタが連続した面を形成し、かつ、その面上の各点の法線が類似の方向となるよう実行される。例えば、点の空間位置に基づき近傍点群を集めた初期クラスタを構成し、各点の法線推定結果に基づいて各初期クラスタを分割・統合することで所望の点群クラスタが得られる。図3(a)を参照して、点群と点群クラスタの関係の例を説明する。図3(a)では、直方体の対象に相当する点群と、当該点群をクラスタリングにより分割して得られる点群クラスタの関係を例示している。直方体は法線方向により6個の面に相当する点群クラスタに分割される。すなわち、上面に対応する点群クラスタ(FT)、下面に対応する点群クラスタ(FB)、各側面に対応する点群クラスタ(FS1、FS2、FS3、FS4)に分解される。
パッチ投影部102は、入力される各点群クラスタから対応するパッチを生成して出力する。パッチ投影部102は、加えて、パッチの生成方法を表す投影情報を出力する。パッチの生成は、点群クラスタを所定の投影方法により所定の投影面に投影することで生成される。例えば、既定の投影面のセットから1つの投影面を選択し、当該投影面に対して点群クラスタを正投影して得られる画像をパッチとする。規定の投影面のセットとして、例えば、3D空間に設定した座標系(XYZ座標系)を使って、XY平面、YZ平面、ZX平面にそれぞれ平行な面を規定の投影面のセットとして用いる。
図3(a)で例示した直方体を分割した点群クラスタに対応するパッチを図3(b)に例示する。各点群クラスタの法線方向と直交する投影面に正投影で投影した場合、図3(b)に示すようなパッチが得られる。なお、直方体のサイズを高さ2U、幅1U、奥行き1Uとする場合、一つの側面に対応する点群クラスタから得られるパッチ(FS1、FS2、FS3、FS4)は1U×2Uの解像度となる。同様に上面と下面に対応するパッチ(FT、FB)は1U×1Uの解像度となる。なお、画像の解像度の表記で「A×B」とした場合、幅A、高さBの解像度を表す。以降の説明でも同様の表記を用いる。
投影情報は各パッチの投影に使用される投影面と投影方法を識別する情報を含む。前述の例の場合、投影方法は正投影であり投影方法の識別情報を省略できる。投影面の識別情報はXY平面、YZ平面、または、ZX平面を選択する情報となる。投影方法と投影面を決定できれば別の情報を用いてもよい。例えば、投影は仮想カメラによる撮影と言い換えることができる。そのため、仮想カメラのカメラパラメータ(焦点距離、焦点位置、撮影解像度、歪パラメータ等)を投影情報とすることもできる。
パッチ変換部103は、入力される複数のパッチを入力される解像度指定の示す解像度(指定解像度)の画像に収まるよう変換により調整し、結果のパッチを出力する。例えば、一部のパッチを選択し縮小したパッチを出力する。また、パッチ変換部103は、パッチに適用された変換を識別する情報を調整情報として出力する。例えば、前述の縮小変換の適用有無を示す情報が調整情報となる。パッチ変換部103におけるパッチ変換処理の詳細は後述する。
パッチ統合部104は、入力されるパッチをパッキングして画像を構成することで統合画像を生成して出力する。パッチ統合部104は、加えて、統合情報を出力する。統合情報は、パッチの統合画像内での位置と、当該パッチに相当する点群クラスタの3D空間内での位置の対応関係を示す情報である。例えば、統合情報は、パッチに対応する統合画像上の領域の左上座標とサイズを含む。また、例えば、統合情報は、パッチに対応する点群クラスタの3D空間内での相対位置を含む。
図3(b)に示したパッチセットをパッキングして得られる統合画像の例を図3(c)に示す。6枚のパッチ(FS1、FS2、FS3、FS4、FT、FB)を含んで1枚の統合画像が構成されている。この例の場合、統合画像の解像度は4U×3Uであり、統合画像に含まれる何れのパッチにも変換は適用されていない。
パッチ情報符号化部105は、前述の投影情報、調整情報、および、統合情報をまとめてパッチ情報として出力する。各情報は、必要に応じて可逆または非可逆の可変長符号化を用いて圧縮した形式としてもよい。
<パッチ変換処理>
パッチ変換部103におけるパッチ変換処理について図14を参照して説明する。パッチ変換処理では図14に示したS100~S105の手順で入力される複数のパッチ(パッチセット)から出力パッチセットを生成する。
パッチ変換部103におけるパッチ変換処理について図14を参照して説明する。パッチ変換処理では図14に示したS100~S105の手順で入力される複数のパッチ(パッチセット)から出力パッチセットを生成する。
(S100)パッチセットに未処理のパッチが含まれるか判定し、未処理パッチが存在する場合(S100でYES)はS101を実行する。未処理パッチが存在しない場合(S100でNO)はS105を実行する。
(S101)パッチセットの中から未処理のパッチを選択し対象パッチとする。続いてS102を実行する。なお、対象パッチの選択順は任意順でも所望の動作を実現可能である。しかしながら、選択順を解像度が高い(サイズが大きい)パッチから順に選択する方がより好ましい。これにより指定解像度内に統合画像の解像度を収めるために必要なパッチ変換の回数が抑制できるため処理量の観点で有効である。
(S102)パッチセットをパッキングして統合画像を生成する。ここでパッキングにはパッチ統合部104が提供する機能を利用できる。続いてS103を実行する。
(S103)S102で生成された統合画像の解像度が指定解像度内か否かを判定する。指定解像度以内(S103でYES)の場合S105を実行する。それ以外(S103でNO)の場合S104を実行する。
(S104)対象パッチを縮小してパッチセットを更新する。続いてS100を実行する。対象パッチの縮小は、例えば、対象パッチの解像度を縦横それぞれ半分にする縮小を用いる。もしくは、縦または横何れかの解像度を半分にする縮小を用いてもよい。
(S105)パッチセットを出力して処理を終了する。
以上の手順により、パッチ変換部103は入力されるパッチセットを指定解像度に基づいて変換したパッチセットを出力する。ここで、出力されるパッチセットは、S103でパッチを縮小することで、パッキングして得られる統合画像の解像度が指定解像度以内となるようなパッチセットとなっている。
なお、パッチ変換処理の手順は図14を参照して説明した上記手順に限定されず、出力されるパッチセットから生成される統合画像が指定解像度の条件を満たす別の手順を用いてもよい。例えば、パッチセット中の異なるパッチの組み合わせについて、それぞれ縮小した場合の統合画像を生成する。続いて生成した全ての統合画像のうち、解像度が指定解像度以下であり、かつ、解像度が最大となるようなパッチセットを選択する手順でも前記条件を満たしたパッチセットを出力できる。
また、上記の例では変換の例として縮小を挙げたが、それ以外の変換を用いてもよい。例えば、パッチの回転、パッチの分割再結合を変換として用いることができる。パッチの分割再結合では、一つのパッチを複数のサブパッチに分割し、画像上の別の領域に配置する。パッチの復元時には分割されたサブパッチを再結合してパッチを復元する。また、各変換の組み合わせ、すなわち、縮小と回転、縮小と分割再結合、回転と分割再結合、および、縮小と回転と分割再結合の組み合わせを変換として適用してもよい。
続いて、図4を参照して、異なる解像度指定に対して決定されるパッチセットおよび統合画像の例を説明する。なお、この例の前提として図3に示した直方体の対象に対するパッチセットがパッチ変換部103に入力されることを想定している。
図4(a)は、指定解像度が2U×3Uの場合のパッチセットと統合画像の関係を例示している。この場合、図3(b)に示した元のパッチサイズでは統合画像を指定解像度以下にできない。そのため、一部のパッチ(FS1、FS2、FS3、FS4)の幅を元の1Uから0.5Uに縮小することで統合画像の解像度を指定解像度以内に収めている。
図4(b)は、指定解像度が4U×2Uの場合のパッチセットと統合画像の関係を例示している。この場合、一部の側面に相当するパッチ(FS1、FS2)の高さを縮小(元の2Uから1.5Uに縮小)している。加えて、上面と下面に相当するパッチ(FT、FB)の高さおよび幅を縮小(元の1Uから0.5Uに縮小)している。変換されたパッチセットを使用することで統合画像の解像度を指定解像度以内に収めている。
図4(c)は、指定解像度が5U×1Uの場合のパッチセットと統合画像の関係を例示している。この場合、側面に相当するパッチ(FS1、FS2、FS3、FS4)に回転した上で縮小している。すなわち、2U×1Uのパッチを90度回転して1U×2Uのパッチに変換し、さらに縦方向に半分に縮小することで0.5U×2Uのパッチに変換している。上面と下面のパッチ(FT、FB)については縦方向に半分に縮小して1U×1Uのパッチから0.5U×1Uのパッチに変換している。変換されたパッチセットを使用することで統合画像の解像度を指定解像度以内に収めている。
<画像生成装置100の動作>
以上説明した画像生成装置100に含まれる構成機能要素を連携することで、画像生成処理は入力点群から解像度指定に基づいて統合画像とパッチ情報を生成して出力する画像生成処理を実行できる。画像生成装置100における画像生成処理は以下の手順で実行される。
以上説明した画像生成装置100に含まれる構成機能要素を連携することで、画像生成処理は入力点群から解像度指定に基づいて統合画像とパッチ情報を生成して出力する画像生成処理を実行できる。画像生成装置100における画像生成処理は以下の手順で実行される。
(S11)クラスタ分割部101は、入力された点群にクラスタリングを適用して複数の点群クラスタを生成してパッチ投影部102に出力する。
(S12)パッチ投影部102は、入力された複数の点群クラスタをそれぞれ投影することでパッチセットを生成してパッチ変換部103に出力する。パッチ投影部102は、加えて、投影情報を生成してパッチ情報符号化部105に出力する。
(S13)パッチ変換部103は、入力されたパッチセットを、入力された解像度指定に基づいて変換し、変換後のパッチセットをパッチ統合部104に出力する。パッチ変換部103は、加えて、調整情報を生成してパッチ情報符号化部105に出力する。
(S14)パッチ統合部104は、入力されたパッチセットをパッキングして統合画像を生成して画像生成装置100の出力として外部に出力する。
(S15)パッチ情報符号化部105は、入力された投影情報、調整情報、および、統合情報に基づいてパッチ情報を生成して画像生成装置100の出力として外部に出力する。
以上説明した画像生成装置100によれば、入力点群から解像度指定に基づいて統合画像とパッチ情報を生成して出力できる。画像生成装置100では、パッチ変換部103により解像度指定の制約を満たすよう変換されたパッチセットをパッチ統合部104により統合することで統合画像が生成される。従って、画像生成装置100を用いることで、入力される点群の性質によらず所望のメモリ消費や画像処理の制約を満たす解像度で点群を表現する統合画像を生成して出力できる。また、画像生成装置100で生成した統合画像は、同じく生成されるパッチ情報を併用することで、元の点群を再生することができる。再生の例については、点群再生装置200として別途記載する。
<実施形態1に関する付記事項1>
上記の実施形態1における画像生成装置100の説明では、図3を参照して直方体の点群を入力とする例を説明したが、画像生成装置100の処理は入力が任意の点群の場合にも適用できる。例えば、対象の点群を内包する直方体(バウンディングボックス)を設定した上で、直方体の各面の法線方向に近い点群を点群クラスタとすることにより実施形態1で説明した方法と類似の方法によりパッチセットの変換と統合画像の生成が実行できる。
上記の実施形態1における画像生成装置100の説明では、図3を参照して直方体の点群を入力とする例を説明したが、画像生成装置100の処理は入力が任意の点群の場合にも適用できる。例えば、対象の点群を内包する直方体(バウンディングボックス)を設定した上で、直方体の各面の法線方向に近い点群を点群クラスタとすることにより実施形態1で説明した方法と類似の方法によりパッチセットの変換と統合画像の生成が実行できる。
<実施形態1に関する付記事項2>
上記の実施形態1における画像生成装置100の説明では、入力される解像度指定に基づいて統合画像を生成する方法を説明した。説明において、統合画像の種別、すなわち、統合画像がジオメトリ統合画像であるか、属性統合画像であるかは区別せず、いずれにも同じ方法を適用できる前提で説明した。アプリケーションによってはジオメトリ統合画像と属性統合画像それぞれに対する解像度要求が異なる場合がある。そのため、画像生成装置1を対象とする統合画像の種別に応じて異なる解像度指定を入力するよう構成してもよい。そのような構成により、より柔軟なアプリケーション要求を満たす統合画像の組み合わせを出力できる。
上記の実施形態1における画像生成装置100の説明では、入力される解像度指定に基づいて統合画像を生成する方法を説明した。説明において、統合画像の種別、すなわち、統合画像がジオメトリ統合画像であるか、属性統合画像であるかは区別せず、いずれにも同じ方法を適用できる前提で説明した。アプリケーションによってはジオメトリ統合画像と属性統合画像それぞれに対する解像度要求が異なる場合がある。そのため、画像生成装置1を対象とする統合画像の種別に応じて異なる解像度指定を入力するよう構成してもよい。そのような構成により、より柔軟なアプリケーション要求を満たす統合画像の組み合わせを出力できる。
〔実施形態2〕
以下、本発明の一実施形態について、図5と図6に基づいて説明する。
以下、本発明の一実施形態について、図5と図6に基づいて説明する。
<点群再生装置200の構成>
図5に基づいて本実施形態に係る点群再生装置200の構成を説明する。点群再生装置200は、パッチ情報復号部201、パッチ分割部202、パッチ復元部203、パッチ逆投影部204、および、点群復元部205を備えている。点群再生装置200は、入力される統合画像とパッチ情報に基づいて、統合画像に対応する点群を復元して出力する。例えば、点群再生装置200は、実施形態1で説明した画像生成装置100から出力された統合画像とパッチ情報を入力として、元の点群を復元して出力する。
図5に基づいて本実施形態に係る点群再生装置200の構成を説明する。点群再生装置200は、パッチ情報復号部201、パッチ分割部202、パッチ復元部203、パッチ逆投影部204、および、点群復元部205を備えている。点群再生装置200は、入力される統合画像とパッチ情報に基づいて、統合画像に対応する点群を復元して出力する。例えば、点群再生装置200は、実施形態1で説明した画像生成装置100から出力された統合画像とパッチ情報を入力として、元の点群を復元して出力する。
パッチ情報復号部201は、入力されるパッチ情報を処理して統合情報、調整情報、および、投影情報を抽出してそれぞれ出力する。ここで、パッチ情報、統合情報、調整情報、および、投影情報は画像生成装置100において説明したものと同一であるため、詳細説明は省略する。
パッチ分割部202は、入力される統合画像と入力される統合情報に基づいてパッチセットを生成して出力する。統合情報には各パッチの統合画像上の位置とサイズに相当する情報が含まれる。その情報を利用して統合画像から切り出した各パッチの集合をパッチセットとする。
パッチ復元部203は、入力されるパッチセットと入力される調整情報に基づいてパッチセットを復元し、復元後のパッチセットを出力する。なお、パッチ復元部203は、画像生成装置100が備えるパッチ変換部103に対応する構成要素である。すなわち、パッチ変換部103により変換されたパッチセットと調整情報を入力として、元のパッチセットを復元する機能を有する。パッチセット復元処理の詳細は後述する。
パッチ逆投影部204は、入力されるパッチセットと入力される投影情報に基づいてパッチセットに対応する点群クラスタの集合を生成して出力する。なお、パッチ逆投影部204は、画像生成装置100が備えるパッチ投影部102に対応する構成要素である。すなわち、パッチ投影部102によりパッチに投影された点群クラスタを、投影情報に基づいてパッチを逆投影することで復元する。例えば、xy平面を投影面として正投影が適用されていることを投影情報が場合について説明する。統合画像上の画素位置(x0、y0)の画素にデプス値z0が記録されているとする。この場合、当該画素を逆投影した点の三次元位置は(x0、y0、z0)となる。なお、属性統合画像の場合は画素にデプス値に相当する情報が記録されていない場合がある。その場合は、属性統合画像に対応するジオメトリ統合画像を参照して得られるデプス値を使用する。
点群復元部205は、入力される点群クラスタの集合に基づいて点群を復元して出力する。点群クラスタの座標系が共通である場合には、出力点群は点群クラスタの集合の単純な結合により生成できる。一方、点群クラスタの座標が異なる場合には、各点群クラスタを共通の座標系の点群に変換した上で結合することで出力点群を生成できる。
<パッチ復元処理>
パッチ復元部203におけるパッチ復元処理について図6を参照して説明する。パッチ復元処理では図6に示したS201~S204の手順で入力されるパッチセットを変換して出力パッチセットを生成する。
パッチ復元部203におけるパッチ復元処理について図6を参照して説明する。パッチ復元処理では図6に示したS201~S204の手順で入力されるパッチセットを変換して出力パッチセットを生成する。
(S201)パッチセットの中から未処理のパッチを選択し対象パッチとする。続いてS202を実行する。
(S202)調整情報を参照して対象パッチが調整対象パッチ(変換が適用されたパッチ)か否かを判定する。調整対象パッチである(S202でYES)の場合、続いてS203を実行する。調整対象バッチではない(S202でNO)の場合、S205を実行する。
(S203)調整情報に基づき対象パッチを復元する。すなわち、調整情報が示す対象パッチに適用された変換の逆変換に相当する処理を適用することで対象パッチを復元する。例えば、調整情報が対象パッチに対し縦横半分の縮小変換が適用されていることを示す場合、対象パッチを縦横2倍の拡大変換を適用することで対象パッチを復元する。また、例えば、調整情報が対象パッチに対し時計周りに90度回転の変換が適用されていることを示す場合、対象パッチに対し反時計周りの90度回転の変換を適用することで対象パッチを復元する。
(S204)パッチセットに未処理のパッチが存在するかを判定し、未処理パッチが存在する場合(S204でYES)はS201を実行する。未処理パッチが存在しない場合(S204でNO)は現在のパッチセットを出力して処理を終了する。
以上の手順により、パッチ復元部203は入力されるパッチセットと入力される調整情報に基づいてパッチセットに変換を適用して復元する。
<点群再生装置200の動作>
以上説明した点群再生装置200に含まれる構成機能要素を連携することで、入力統合画像と入力パッチ情報から点群を復元して出力する点群再生処理を実行できる。点群再生装置200における点群再生処理は以下の手順で実行される。
以上説明した点群再生装置200に含まれる構成機能要素を連携することで、入力統合画像と入力パッチ情報から点群を復元して出力する点群再生処理を実行できる。点群再生装置200における点群再生処理は以下の手順で実行される。
(S21)パッチ情報復号部201は、入力されるパッチ情報を復号して統合情報、調整情報、および、投影情報を抽出する。統合情報はパッチ分割部202へ、調整情報はパッチ復元部203へ、投影情報はパッチ逆投影部204へそれぞれ出力される。
(S22)パッチ分割部202は、入力される統合画像と入力される統合情報に基づいてパッチセットを導出してパッチ復元部203へ出力する。
(S23)パッチ復元部203は、入力されるパッチセットと、入力される調整情報に基づいてパッチセットを変換し、変換後のパッチセットをパッチ逆投影部204へ出力する。
(S24)パッチ逆投影部204は、入力されるパッチセットに基づいて点群クラスタの集合を生成して点群復元部205へ出力する。
(S25)点群復元部205は、入力される点群クラスタの集合に基づいて導出した点群を点群再生装置200の出力として外部へ出力する。
以上説明した点群再生装置200によれば、所望の解像度指定に適合するよう生成された統合画像とパッチ情報から点群を再生できる。特に、点群再生装置200は、パッチ情報に含まれる調整情報に基づいてパッチセットを変換するパッチ復元部203を備えている。パッチ復元部203により、画像生成装置100の備えるパッチ変換部103において、所望の解像度指定に適合するよう変換されたパッチに逆変換を適用し、変換前に相当する状態に戻すことができる。したがって、当該逆変換を適用しない場合に較べて、再生される点群の品質を高く維持できる。例えば、縦横半分に縮小したパッチをそのまま逆投影して点群クラスタを導出した場合、点群クラスタに含まれる点の数は、元の点群クラスタに含まれる点の数の四分の一になる。一方、縮小したパッチに逆変換の拡大を適用して得られるパッチを逆投影して得られる点群クラスタではそのような点の数の減少は発生しない。
〔実施形態3〕
以下、本発明の一実施形態について、図7~図9に基づいて説明する。
以下、本発明の一実施形態について、図7~図9に基づいて説明する。
<画像生成装置300の構成>
図7に基づいて本実施形態に係る画像生成装置300の構成を説明する。画像生成装置300は、一次分割部301、クラスタ分割部101、パッチ投影部102、パッチ変換部103、パッチ統合部104、および、パッチ情報符号化部105を備えている。画像生成装置300は、概略的には、画像生成装置100に一次分割部301を追加した構成である。画像生成装置100と共通の構成要素には同一の符号を付与して説明を省略する。
図7に基づいて本実施形態に係る画像生成装置300の構成を説明する。画像生成装置300は、一次分割部301、クラスタ分割部101、パッチ投影部102、パッチ変換部103、パッチ統合部104、および、パッチ情報符号化部105を備えている。画像生成装置300は、概略的には、画像生成装置100に一次分割部301を追加した構成である。画像生成装置100と共通の構成要素には同一の符号を付与して説明を省略する。
画像生成装置300は、入力される点群から当該点群を表現する1または複数の統合画像を生成して出力する。出力の各統合画像は、入力される解像度指定に従った解像度となる。
一次分割部301は、入力される点群と解像度指定に基づいて点群分割方法を決定し、当該分割方法に基づいて分割した点群を順次出力する。一次分割部301は、加えて点群分割方法に関する情報を一次分割情報として出力する。
パッチ情報符号化部105は、基本的には実施形態1で説明したパッチ情報符号化105と同等の機能を有する。本実施形態においては、追加で、一次分割情報を入力として出力のパッチ情報に含める機能を提供する。
一次分割部301における点群分割例について図8を参照して説明する。図8(a)は直方体形状の点群OBJを2個のサブ点群OBJaとOBJbに分割する様子を例示している。一次分割部301は、点群OBJを構成する点の数と解像度指定を参照した上で、解像度指定を満たす解像度の統合画像となるような点群となるよう入力点群を分割する。入力点群を構成する点の数と統合画像の解像度には相関関係があるため、事前に設定した記述に基づき分割数を決定できる。例えば、100万点の点群から1920×1080の統合画像が生成されるという観測に基づくとする。その場合、入力点群が200万点、解像度指定が1920×1080の場合は入力点群を2個のサブ点群に分割すると決定する。解像度指定が1920×540の場合は入力点群を4個のサブ点群に分割すると決定する。点群の分割方法には表面積が増加しない限りにおいて任意の方法を適用できる。例えば、点群の重心と分布を調べ、重心を通過する平面で点群を分割する。図8(a)の例では、直方体の重心を通り直方体の上面と下面に平行な面で点群を分割することでサブ点群を導出している。
一次分割情報は、少なくとも分割数の情報を含む。図8(a)の例の場合は、一次分割情報は分割数2を情報として含む。
分割された各サブ点群はクラスタ分割部101とパッチ投影部102で順に処理され、既に記載した方法でパッチセットに変換される。図8(b)は、図8(a)に示す通り分割されたサブ点群OBJaとOBJbから生成されるパッチセットを図示している。サブ点群OBJaからパッチFS1a、FS2a、FS3a、FS4a、FTを含むパッチセットが導出される。サブ点群OBJbからパッチFS1b、FS2b、FS3b、FS4b、FBを含むパッチセットが導出される。
解像度指定が3U×2Uの場合にサブ点群OBJaに対応するパッチセットから構成される統合画像の例を図9(a)に示す。パッチセットに含まれるパッチFS1a、FS2a、FS3a、FS4a、FTをそのまま含んで統合画像が構成される。解像度指定を考慮して一次分割部301において点群を分割しているため、各パッチは縮小等の変換を適用することなくそのまま統合画像に収めることができる。したがって、変換の適用による点群の精度低下を抑制できる。同様に、解像度指定が3U×2Uの場合にサブ点群OBJbに対応するパッチセットから構成される統合画像の例を図9(b)に図示する。また、比較のため、解像度指定3U×2Uの場合に点群OBJ全体に対応するパッチセットから構成される統合画像の例を図9(c)に示す。図9(c)のパッチFS1は図9(a)のパッチFS1aと図9(b)のパッチFS1bを結合したものに相当する。FS1の幅はFS1aとFS1bの結合した場合の半分に縮小されていることが確認できる。
点群全体を再生するためには全ての統合画像を処理する必要があり、トータルの処理量の観点では削減はできない。しかしながら、一度に処理すべき統合画像の解像度は解像度指定以下に抑制されているため、処理に必要なフレームメモリ等の計算リソース要求を低減できる。
<画像生成装置300の動作>
以上説明した画像生成装置300に含まれる構成機能要素を連携することで、画像生成処理は入力点群から解像度指定に基づいて統合画像とパッチ情報を生成して出力する画像生成処理を実行できる。画像生成装置100における画像生成処理は以下の手順で実行される。
以上説明した画像生成装置300に含まれる構成機能要素を連携することで、画像生成処理は入力点群から解像度指定に基づいて統合画像とパッチ情報を生成して出力する画像生成処理を実行できる。画像生成装置100における画像生成処理は以下の手順で実行される。
(S31)一次分割部301は、入力された点群を入力の解像度指定に基づき分割し、分割結果の点群を順にクラスタ分割部101に出力する。加えて一次分割情報をパッチ情報符号化部105へ出力する。続いてS32を実行する。
(S32)クラスタ分割部101は、入力された点群にクラスタリングを適用して複数の点群クラスタを生成してパッチ投影部102に出力する。続いてS33を実行する。
(S33)パッチ投影部102は、入力された複数の点群クラスタをそれぞれ投影することでパッチセットを生成してパッチ変換部103に出力する。パッチ投影部102は、加えて、投影情報を生成してパッチ情報符号化部105に出力する。続いてS34を実行する。
(S34)パッチ変換部103は、入力されたパッチセットを、入力された解像度指定に基づいて変換し、変換後のパッチセットをパッチ統合部104に出力する。パッチ変換部103は、加えて、調整情報を生成してパッチ情報符号化部105に出力する。続いてS35を実行する。
(S34)パッチ統合部104は、入力されたパッチセットをパッキングして統合画像を生成して画像生成装置100の出力として外部に出力する。S31で分割された全ての点群の処理が完了していればS35へ進み、そうでなければ未処理の点群を対象としてS32へ進む。
(S35)パッチ情報符号化部105は、入力された一次分割情報、投影情報、調整情報、および、統合情報に基づいてパッチ情報を生成して画像生成装置300の出力として外部に出力する。
以上説明した画像生成装置300によれば、入力点群から解像度指定に基づいて統合画像とパッチ情報を生成して出力できる。画像生成装置300では、一次分割部301を備えることで解像度指定の制約を満たす統合画像を生成できる。従って、画像生成装置300を用いることで、入力される点群の性質によらず所望のメモリ消費や画像処理の制約を満たす解像度で点群を表現する統合画像を生成して出力できる。また、画像生成装置300で生成した統合画像は、同じく生成されるパッチ情報を併用することで、元の点群を再生することができる。再生の例については、点群再生装置400として別途記載する。
<実施形態3の変形例1>
上記の実施形態3における図7に示した画像生成装置300の構成はパッチ変換部103を含んでいたが、パッチ変換部103を省略した構成でもよい。一次分割部301において統合画像が解像度指定以下であることを担保する場合には、パッチ変化部103を省略しても目的を達成でき、かつ画像生成装置の処理量および回路規模を低減できる。
上記の実施形態3における図7に示した画像生成装置300の構成はパッチ変換部103を含んでいたが、パッチ変換部103を省略した構成でもよい。一次分割部301において統合画像が解像度指定以下であることを担保する場合には、パッチ変化部103を省略しても目的を達成でき、かつ画像生成装置の処理量および回路規模を低減できる。
なお、パッチ変換部103を含んだ構成の場合は、一次分割部301における分割の自由度が増す利点がある。例えば入力点群の点の数が極端に多い場合、一次分割部301だけで対応すると多数のサブ点群に分割する必要が生じ、分割によるオーバヘッドが問題となる場合がある。そのような場合でもパッチ変換部103を併用することで、分割数を抑えつつ所望の解像度の統合画像により入力点群を表現できる。
<実施形態3の変形例2>
上記の実施形態3における画像生成装置300の説明では、一次分割部301で決定した一つの分割方法で入力点群を分割し、各分割点群に対応する統合画像を出力する手順を説明した。それに限らず、画像生成装置300は複数の分割方法について対応する統合画像を出力するよう構成してもよい。例えば、図8の直方体を入力とする場合、直方体を二分割した場合の各サブ点群に対応する2枚の統合画像、および、直方体を分割しない場合の点群に対応する1枚の統合画像を出力するよう構成する。加えて、一次分割情報として、出力する分割方法の数と、各分割方法に対応する統合画像のマップ情報を含める。これにより、統合画像を処理する側で計算リソースを考慮して適切な分割方法に対応する統合画像を選択して処理する機能が実現できる。
上記の実施形態3における画像生成装置300の説明では、一次分割部301で決定した一つの分割方法で入力点群を分割し、各分割点群に対応する統合画像を出力する手順を説明した。それに限らず、画像生成装置300は複数の分割方法について対応する統合画像を出力するよう構成してもよい。例えば、図8の直方体を入力とする場合、直方体を二分割した場合の各サブ点群に対応する2枚の統合画像、および、直方体を分割しない場合の点群に対応する1枚の統合画像を出力するよう構成する。加えて、一次分割情報として、出力する分割方法の数と、各分割方法に対応する統合画像のマップ情報を含める。これにより、統合画像を処理する側で計算リソースを考慮して適切な分割方法に対応する統合画像を選択して処理する機能が実現できる。
<実施形態3の変形例3>
上記の実施形態3における一次分割部301の説明で入力点群の分割方法を紹介したが、他の分割方法を適用してもよい。例えば、既定の視点セットを定義し、解像度指定と当該視点セットの両方に基づいて対象を分割してもよい。具体的には、視点セットに含まれる視点の近傍から観察される点を含んでサブ点群を構成する。得られたサブ点群が解像度指定の要件を考慮して大きすぎる場合には、当該サブ点群をさらに分割することで最終的なサブ点群を得る。加えて、いずれの視点に対応するサブ点群にも含まれない点から別のサブ点群を構成する。このような構成により、統合画像から再生される点群の観察時の視点が、上記視点セットに含まれる視点の近傍である場合に、全てのサブ点群を処理せず、当該視点に対応するサブ点群のみを処理すればよいため処理量を低減できる。
上記の実施形態3における一次分割部301の説明で入力点群の分割方法を紹介したが、他の分割方法を適用してもよい。例えば、既定の視点セットを定義し、解像度指定と当該視点セットの両方に基づいて対象を分割してもよい。具体的には、視点セットに含まれる視点の近傍から観察される点を含んでサブ点群を構成する。得られたサブ点群が解像度指定の要件を考慮して大きすぎる場合には、当該サブ点群をさらに分割することで最終的なサブ点群を得る。加えて、いずれの視点に対応するサブ点群にも含まれない点から別のサブ点群を構成する。このような構成により、統合画像から再生される点群の観察時の視点が、上記視点セットに含まれる視点の近傍である場合に、全てのサブ点群を処理せず、当該視点に対応するサブ点群のみを処理すればよいため処理量を低減できる。
なお、既定の視点セットではなく、画像生成装置に視点セットを追加の入力とした上で、一次分割部301に視点セットが入力されるような構成としてもよい。その場合、画像生成装置の利用者が所望の視点を設定した上で統合画像を生成できる。例えば、点群観察時のユーザの視点の統計を用いて確立が高い視点を入力視点セットに含めることで、平均的な処理量を低減できる。
〔実施形態4〕
以下、本発明の一実施形態について、図10~図11に基づいて説明する。
以下、本発明の一実施形態について、図10~図11に基づいて説明する。
<点群再生装置400の構成>
図10に基づいて本実施形態に係る点群再生装置400の構成を説明する。点群再生装置400は、統合画像選択部401、パッチ情報復号部201、パッチ分割部202、パッチ復元部203、パッチ逆投影部204、および、点群復元部205を備えている。点群再生装置400は、概略的には、点群再生装置200に統合画像選択部401を追加した構成である。点群再生装置200と共通の構成要素については同一の符号を付与して説明を省略する。
図10に基づいて本実施形態に係る点群再生装置400の構成を説明する。点群再生装置400は、統合画像選択部401、パッチ情報復号部201、パッチ分割部202、パッチ復元部203、パッチ逆投影部204、および、点群復元部205を備えている。点群再生装置400は、概略的には、点群再生装置200に統合画像選択部401を追加した構成である。点群再生装置200と共通の構成要素については同一の符号を付与して説明を省略する。
点群再生装置400は、入力される統合画像、パッチ情報、および、視点情報に基づいて、統合画像に対応する点群を復元して出力する。例えば、点群再生装置400は、実施形態3の変形例3で説明した画像生成装置400から出力された複数の統合画像とパッチ情報を入力として、元の点群を復元して出力する。
統合画像選択部401は、入力されるパッチ情報と視点情報に基づいて複数の入力統合画像から処理対象の統合画像を選択して出力する。加えて、パッチ情報を出力する。
統合画像選択部401における選択の例について図11を参照して説明する。図11は直方体の対象OBJと視点VP1、VP2、VP3の関係を表した図である。なお、直方体OBJとその分割OBJa、OBJbは図8で説明したものと同じである。統合画像としては、実施形態3の変形例3で説明した方法により生成された3枚の統合画像が入力されると仮定して説明する。すなわち、入力統合画像は図9に示す3枚の統合画像を含む。入力統合画像に含まれる統合画像の枚数は入力されるパッチ情報に含まれる。
統合画像選択部401の動作例として、視点情報として視点VP1が指定された場合、OBJaに対応する統合画像、すなわち図9(a)の統合画像を選択する。視点VP1は直方体の上方に位置するため、視点VP1からは直方体の上側が主に観察される。そのため、直方体の上半分に相当するOBJaに対応する統合画像から点群を再生することで、復元の処理量を抑制しつつ視点VP1からの観察に十分な点群を再生できる。同様に、視点情報として視点VP2が指定された場合、OBJbに対応する統合画像、すなわち図9(b)の統合画像を選択する。また、視点情報として視点VP3が指定された場合、OBJ全体に対応する統合画像、すなわち図9(c)の統合画像を選択する。視点VP3からは直方体OBJの全体が観察されるため、直方体全体の点群を表現する統合画像の方が、直方体の一部を表現する統合画像よりも好ましい。いずれの統合画像を選択した場合でも、解像度は一定以下に抑制されているため制限された計算リソースでも処理が可能となる。
上記の内容を言い換えると、統合画像選択部401は、視点情報が示す視点から観察可能な点群を多数含み、かつ、視点から観察不可能な点群を少数含む基準で統合画像を選択する。
<点群再生装置400の動作>
以上説明した点群再生装置400に含まれる構成機能要素を連携することで、入力視点情報に基づき選択された統合画像と入力パッチ情報から点群を復元して出力する点群再生処理を実行できる。点群再生装置400における点群再生処理は以下の手順で実行される。
以上説明した点群再生装置400に含まれる構成機能要素を連携することで、入力視点情報に基づき選択された統合画像と入力パッチ情報から点群を復元して出力する点群再生処理を実行できる。点群再生装置400における点群再生処理は以下の手順で実行される。
(S41)統合画像選択部401は、入力されるパッチ情報と入力される視点情報に基づいて選択した統合画像をパッチ分割部202へ出力する。加えて、パッチ情報をパッチ情報復号部201へ出力する。
(S42)パッチ情報復号部201は、入力されるパッチ情報を復号して統合情報、調整情報、および、投影情報を抽出する。統合情報はパッチ分割部202へ、調整情報はパッチ復元部203へ、投影情報はパッチ逆投影部204へそれぞれ出力される。
(S43)パッチ分割部202は、入力される統合画像と入力される統合情報に基づいてパッチセットを導出してパッチ復元部203へ出力する。
(S44)パッチ復元部203は、入力されるパッチセットと、入力される調整情報に基づいてパッチセットを変換し、変換後のパッチセットをパッチ逆投影部204へ出力する。
(S45)パッチ逆投影部204は、入力されるパッチセットに基づいて点群クラスタの集合を生成して点群復元部205へ出力する。
(S46)点群復元部205は、入力される点群クラスタの集合に基づいて導出した点群を点群再生置400の出力として外部へ出力する。
以上説明した点群再生装置400によれば、所望の解像度指定に適合するよう生成された統合画像とパッチ情報から点群を再生できる。特に、点群再生装置400は、統合画像選択部401を備えており、視点情報に応じて統合画像を選択することで、点群復元に必要な計算リソースを一定以下に抑制しつつ、視点近傍から観察した点群の品質をより良い状態で復元できる。
〔実施形態5〕
以下、本発明の一実施形態について、図12に基づいて説明する。
以下、本発明の一実施形態について、図12に基づいて説明する。
<点群符号化装置1000の構成>
図12(a)に基づいて本実施形態に係る点群符号化装置1000の構成を説明する。点群符号化装置1000は、画像生成部100、ビデオ符号化部1001、3Dデータ多重化部1002、および、処理解像度設定部1003を備えている。点群符号化装置1000は、入力された点群を圧縮および符号化して3Dデータを生成して出力する。
図12(a)に基づいて本実施形態に係る点群符号化装置1000の構成を説明する。点群符号化装置1000は、画像生成部100、ビデオ符号化部1001、3Dデータ多重化部1002、および、処理解像度設定部1003を備えている。点群符号化装置1000は、入力された点群を圧縮および符号化して3Dデータを生成して出力する。
画像生成部100は、実施形態1で説明した画像生成装置100と同一の機能を有する機能ブロックである。
ビデオ符号化部1001は、時系列の画像を入力として圧縮・符号化して対応する2Dデータを生成して出力する。ビデオ符号化部1001としては、一般的に普及したビデオ符号化方式を用いることができる。例えば、AVC(Advanced Video Coding)やHEVC(High Efficiency Video Coding)の方式を適用可能である。なお、画像生成部100の出力は統合画像であるが、統合画像であっても通常の画像として処理することが可能である。
3Dデータ多重化部1002は、少なくとも2Dデータとパッチ情報を多重化することで生成した3Dデータを出力する。
処理解像度設定部1003は、点群復号装置が備えるビデオ復号部に想定される処理性能に基づいて処理解像度を決定して出力する。例えば、多くのビデオ符号化方式では、プロファイルやレベルによりビデオ復号に要求される処理性能を記述することができる。例えば、HEVCにおけるレベル4.1はビデオ復号が1920×1080程度の画像に相当するデータが処理できることを示す。したがって、HEVCレベル4.1に対応したビデオ復号部で処理されることを意図した3Dデータを生成する場合、処理解像度設定部1003は1920×1080の解像度を処理解像度に設定して出力する。なお、ビデオ復号部の処理性能を何らかの通信手段により受信し、受信した処理性能に基づいて処理解像度を設定する構成としてもよい。
<点群符号化装置1000の動作>
以上説明した点群符号化装置1000に含まれる構成機能要素を連携することで、入力点群を圧縮符号化した3Dデータを生成して出力できる。点群符号化装置1000における点群再生処理は以下の手順で実行される。
以上説明した点群符号化装置1000に含まれる構成機能要素を連携することで、入力点群を圧縮符号化した3Dデータを生成して出力できる。点群符号化装置1000における点群再生処理は以下の手順で実行される。
(S51)処理解像度設定部1003は、3Dデータの復号処理を行う装置の処理性能に基づいて処理解像度を決定し画像生成部100へ解像度指定として出力する。
(S52)画像生成部100は、入力される点群と解像度指定に基づいて統合画像とパッチ情報を生成する。統合画像はビデオ符号化部1001へ出力され、パッチ情報は3Dデータ多重化部1002へ出力される。
(S53)ビデオ符号化部1001は、入力される統合画像を圧縮および符号化して生成された2Dデータを3Dデータ多重化装置1002へ出力する。
(S54)3Dデータ多重化部1002は、入力される2Dデータとパッチ情報を多重化して生成された3Dデータを点群符号化装置1000の出力とする。
以上説明した点群符号化装置1000によれば、入力される3Dデータの点の数や性質によらず、所定の計算リソースを想定したビデオ復号部を備える点群復号装置をターゲットとした3Dデータを生成できる。特に、点群符号化装置1000は、画像生成部100を備えているため、ビデオ復号部の計算リソースで処理可能な解像度を指定して3Dデータから統合画像を生成し、当該統合画像を符号化した2Dデータを含んで3Dデータを構成できる。
<点群復号装置2000の構成>
図12(b)に基づいて本実施形態に係る点群復号装置2000の構成を説明する。点群復号装置2000は、点群再生部200、ビデオ復号部2001、および、3Dデータ逆多重化部2002を備えている。点群復号装置2000は、点群符号化装置1000で生成された3Dデータを入力として、元の点群を復元して出力する。
図12(b)に基づいて本実施形態に係る点群復号装置2000の構成を説明する。点群復号装置2000は、点群再生部200、ビデオ復号部2001、および、3Dデータ逆多重化部2002を備えている。点群復号装置2000は、点群符号化装置1000で生成された3Dデータを入力として、元の点群を復元して出力する。
点群再生部200は、実施形態2で説明した点群再生装置200と同一の機能を有する機能ブロックである。
ビデオ復号部2001は、特定の方式で圧縮符号化された2Dデータから元の画像を復元して出力する。圧縮符号化の方式としては、ビデオ符号化部1001と同様の方式を用いる。例えばAVCやHEVCを用いる。なお、2Dデータの生成に用いられた方式と同一の方式を用いる必要がある。
3Dデータ逆多重化部2002は、入力される3Dデータを逆多重化して2Dデータとパッチ情報に分割してそれぞれ出力する。
<点群復号装置2000の動作>
以上説明した点群復号装置2000に含まれる構成機能要素を連携することで、入力点群を圧縮符号化した3Dデータから元の点群を復元して出力できる。点群復号装置2000における点群再生処理は以下の手順で実行される。
以上説明した点群復号装置2000に含まれる構成機能要素を連携することで、入力点群を圧縮符号化した3Dデータから元の点群を復元して出力できる。点群復号装置2000における点群再生処理は以下の手順で実行される。
(S61)処理解像度設定部1003は、3Dデータの復号処理を行う装置の処理性能に基づいて処理解像度を決定し画像生成部100へ解像度指定として出力する。
(S62)画像生成部100は、入力される点群と解像度指定に基づいて統合画像とパッチ情報を生成する。統合画像はビデオ符号化部1001へ出力され、パッチ情報は3Dデータ多重化部へ出力される。
(S63)ビデオ符号化部1001は、入力される統合画像を圧縮および符号化して生成された2Dデータを3Dデータ多重化装置1002へ出力する。
(S64)3Dデータ多重化部1002は、入力される2Dデータとパッチ情報を多重化して生成された3Dデータを点群符号化装置1000の出力とする。
以上説明した点群復号装置2000によれば、入力される3Dデータの点の数や性質によらず、所定の計算リソースを想定して生成された3Dデータを復号して元の点群を再生できる。特に、点群復号装置2000は、点群再生部200を備えているため、指定解像度の制約下で生成された統合画像から元の点群を再生できる。
〔実施形態6〕
以下、本発明の一実施形態について、図13に基づいて説明する。
以下、本発明の一実施形態について、図13に基づいて説明する。
<点群処理装置3000の構成>
図13に基づいて本実施形態に係る点群処理装置3000の構成を説明する。点群処理装置3000は、画像生成部100、点群再生部200、統合画像処理部3001、および、処理解像度設定部3002を備えている。点群処理装置3000は、入力された点群に所定の画像処理を適用して修正し、修正結果の点群を出力する。
図13に基づいて本実施形態に係る点群処理装置3000の構成を説明する。点群処理装置3000は、画像生成部100、点群再生部200、統合画像処理部3001、および、処理解像度設定部3002を備えている。点群処理装置3000は、入力された点群に所定の画像処理を適用して修正し、修正結果の点群を出力する。
画像生成部100は、実施形態1で説明した画像生成装置100と同一の機能を有する機能ブロックである。
点群再生部200は、実施形態2で説明した点群再生装置200と同一の機能を有する機能ブロックである。
統合画像処理部3001は、入力される画像に処理の二次元画像処理を適用し、適用結果の画像を出力する。なお、二次元画像処理として、ノイズ除去フィルタ、平滑化フィルタ、高域強調フィルタ、カラー調整フィルタ等が適用できる。また、二次元画像処理としてニューラルネットワークを用いる画像変換処理が適用できる。そのような画像変換処理の例として学習した画像のスタイルを反映するスタイルトランスファーがある。
処理解像度設定部3002は、統合画像処理部3001で想定される処理性能に基づいて処理解像度を決定して出力する。
<点群処理装置3000の動作>
以上説明した点群処理装置3000に含まれる構成機能要素を連携することで、入力点群に特定の効果の処理を適用して得られる点群を生成して出力できる。点群処理装置3000における点群変換処理は以下の手順で実行される。
以上説明した点群処理装置3000に含まれる構成機能要素を連携することで、入力点群に特定の効果の処理を適用して得られる点群を生成して出力できる。点群処理装置3000における点群変換処理は以下の手順で実行される。
(S61)処理解像度設定部3002は、統合画像処理部3001において適用する画像処理の性能要求に基づいて処理解像度を決定し画像生成部100へ解像度指定として出力する。
(S62)画像生成部100は、入力される点群と解像度指定に基づいて統合画像とパッチ情報を生成する。統合画像は統合画像処理部3001へ出力され、パッチ情報は点群再生部200へ出力される。
(S63)統合画像処理部3001は、入力される統合画像に所定の二次元画像処理を適用し、変換結果の画像を点群再生部200へ統合画像として出力する。
(S64)点群再生部200は、入力される統合画像とパッチ情報に基づいて点群を再生し、再生結果の点群を点群処理装置3000の出力とする。
以上説明した点群処理装置3000によれば、入力される点群の点の数や性質によらず、所定の計算リソースで実行可能な画像処理を利用して点群を変換できる。例えば統合画像処理部3001でノイズ除去フィルタを適用することで、入力点群から点群を除去した点群に変換できる。特に、点群処理装置3000は、画像生成部100と点群再生部200を備えているため、指定解像度の制約下で二次元画像処理の対象となる統合画像を生成し、変換された統合画像から点群を復元できる。
<実施形態6の変形例1>
実施形態6で説明した点群処理装置3000において、統合画像処理部3001が複数種類の画像処理を選択して適用可能な構成としてもよい。一般的に画像処理の種類が異なる場合、要求される計算リソースが異なり、処理可能な画像の解像度が異なる。そこで、そのような構成の場合、処理解像度設定部3002は、統合画像処理部3001で適用される画像処理の種類に応じて異なる解像度を指定解像度として設定して画像生成部100へ入力する構成とする。以上の構成により、点群処理装置3000は、点群に対して多様な効果の変換を用途に応じて切り替えて実行できる。
実施形態6で説明した点群処理装置3000において、統合画像処理部3001が複数種類の画像処理を選択して適用可能な構成としてもよい。一般的に画像処理の種類が異なる場合、要求される計算リソースが異なり、処理可能な画像の解像度が異なる。そこで、そのような構成の場合、処理解像度設定部3002は、統合画像処理部3001で適用される画像処理の種類に応じて異なる解像度を指定解像度として設定して画像生成部100へ入力する構成とする。以上の構成により、点群処理装置3000は、点群に対して多様な効果の変換を用途に応じて切り替えて実行できる。
<実施形態6の変形例2>
実施形態6で説明した点群処理装置3000において、統合画像処理部3001で処理可能な画像の解像度は画像処理の方式だけではなくメモリやCPU等の計算リソースにも依存する。実装によっては点群処理装置3000がメモリやCPU等の計算リソースを他の装置と共有する場合がある。そのような場合、処理解像度設定部3002は、メモリやCPU等の計算リソースの利用状況を取得し、利用状況に応じて指定解像度を設定するような構成とすることが好ましい。すなわち、計算リソースの利用率が高い場合により低い解像度を設定し、逆に計算リソースの利用率が低い場合により高い解像度を設定する。以上の構成により、点群処理装置3000は、利用可能な計算リソースが変化する場合であっても、点群に対して変換を適用することができる。
実施形態6で説明した点群処理装置3000において、統合画像処理部3001で処理可能な画像の解像度は画像処理の方式だけではなくメモリやCPU等の計算リソースにも依存する。実装によっては点群処理装置3000がメモリやCPU等の計算リソースを他の装置と共有する場合がある。そのような場合、処理解像度設定部3002は、メモリやCPU等の計算リソースの利用状況を取得し、利用状況に応じて指定解像度を設定するような構成とすることが好ましい。すなわち、計算リソースの利用率が高い場合により低い解像度を設定し、逆に計算リソースの利用率が低い場合により高い解像度を設定する。以上の構成により、点群処理装置3000は、利用可能な計算リソースが変化する場合であっても、点群に対して変換を適用することができる。
<実施形態1~実施形態6共通の付記事項1>
実施形態1から実施形態6の各説明では点群を入力または出力とする構成について説明した。しかしながら、本発明は点群以外の三次元対象の表現形式にも適用可能である。例えば、三次元対象をメッシュとテクスチャで表現した形式(メッシュ形式)に対しても適用できる。その場合、例えばクラスタ分割部101では、点群クラスタではなく、メッシュ形式で表現されたクラスタを出力する。また、パッチ投影部102の機能を、点群を投影してパッチを導出する機能から、メッシュ形式のクラスタを投影してパッチを導出する機能に変更すればよい。また、例えば点群再生装置200では、パッチ逆投影部204の機能を、パッチから点群を導出する機能から、パッチを逆投影してメッシュ形式のクラスタを導出する機能に変更する。加えて、点群復元部205は、メッシュ形式のクラスタを出力するメッシュ復元部とする。点群クラスタとメッシュ形式のクラスタを総称して、単にクラスタと呼称する。また、点群復元部とメッシュ復元部を総称して三次元対象復元部と呼称する。
実施形態1から実施形態6の各説明では点群を入力または出力とする構成について説明した。しかしながら、本発明は点群以外の三次元対象の表現形式にも適用可能である。例えば、三次元対象をメッシュとテクスチャで表現した形式(メッシュ形式)に対しても適用できる。その場合、例えばクラスタ分割部101では、点群クラスタではなく、メッシュ形式で表現されたクラスタを出力する。また、パッチ投影部102の機能を、点群を投影してパッチを導出する機能から、メッシュ形式のクラスタを投影してパッチを導出する機能に変更すればよい。また、例えば点群再生装置200では、パッチ逆投影部204の機能を、パッチから点群を導出する機能から、パッチを逆投影してメッシュ形式のクラスタを導出する機能に変更する。加えて、点群復元部205は、メッシュ形式のクラスタを出力するメッシュ復元部とする。点群クラスタとメッシュ形式のクラスタを総称して、単にクラスタと呼称する。また、点群復元部とメッシュ復元部を総称して三次元対象復元部と呼称する。
他の表現形式として、例えば、三次元対象をボリューム表現の形式で表現した場合にも本発明を適用できる。ボリューム表現では、空間を格子状に分割し、分割により得られるボクセルに対して、オブジェクトの内外を示す情報、表面への距離、カラー等の属性情報を記述することで三次元対象を表現する。ボクセルを、ボクセル中心を位置とした点とみなすことで、各実施形態にて説明した方法が適用できる。
以上の事実から、画像生成装置100と画像生成装置300は各種の形式で表現された三次元対象に基づき統合画像を生成するといえる。また、点群再生装置200と点群再生装置400は三次元対象再生装置、点群符号化装置1000は三次元対象符号化装置、点群復号装置2000は三次元対象復号装置、点群処理装置3000は、三次元対象処理装置とも呼べる。
〔実施形態7〕
実施形態1~実施形態6の説明では、主に指定解像度で処理可能な統合画像を扱う装置や処理について説明した。しかしながら指定解像度や統合画像を扱うことは本発明において必須の要素ではなく、より全ての実施形態を包含する一般化した装置を定義できる。以下では、そのような装置として、図1に示す三次元表現変換装置500および三次元表現逆変換装置を説明する。
実施形態1~実施形態6の説明では、主に指定解像度で処理可能な統合画像を扱う装置や処理について説明した。しかしながら指定解像度や統合画像を扱うことは本発明において必須の要素ではなく、より全ての実施形態を包含する一般化した装置を定義できる。以下では、そのような装置として、図1に示す三次元表現変換装置500および三次元表現逆変換装置を説明する。
図1(a)は、本発明に基づき実現される三次元表現変換装置500を示すブロック図である。三次元表現変換装置500は、表現変換部501および表現変換情報生成部502を含んで構成される。三次元変換装置500は、入力三次元表現と変換指示情報に基づいて出力三次元表現と表現変換情報を生成して出力する。
<三次元表現の定義>
ここで、三次元表現とは、三次元対象を表現する様々な表現形式の総称である。具体的には、三次元表現には少なくとも以下の表現形式が含まれ得る。
ここで、三次元表現とは、三次元対象を表現する様々な表現形式の総称である。具体的には、三次元表現には少なくとも以下の表現形式が含まれ得る。
(形式1)点群形式:三次元対象を三次元空間中の点の集合で表現する形式。格子上に点の位置を制限する密点群形式、空間中の任意の位置に点を配置する疎点群形式にさらなに分類される。
(形式2)メッシュ形式:三次元対象を三次元空間中の面の集合であるメッシュで表現する形式。メッシュを構成する各面は、頂点の点の位置と頂点の接続情報により定義される。
(形式3)ボリューム形式:三次元対象を三次元空間の格子状分割により得られるボクセルの集合として表現する形式。ボクセルが三次元対象内の空間か否かを示す属性情報を用いるボクセル占有表現形式、ボクセルと三次元対象表面との距離を属性情報とするTSDF(Truncated Signed Distance)形式などにさらに分類される。
(形式4)画像形式:三次元対象を1枚または複数枚の画像に変換して表現する形式。画像への変換は一般的には所定のカメラまたは視点に基づく投影が用いられるが、他の変換を用いることもできる。実施形態1から実施形態6における統合画像は画像形式による三次元表現の一つといえる。
(形式5)圧縮形式:上記の各形式を圧縮した形式。実施形態5で説明した3Dデータは画像形式を圧縮した表現であり圧縮形式の一例である。
(形式6)暗号形式:上記の各形式を暗号化した形式。
(形式7)複合形式:上記の各形式の組み合わせによる表現。例えば上の分類で別形式の組み合わせによる表現を含む。三次元対象の全体をメッシュ形式、一部を点群形式で表現する場合はこの一例となる。また、上の分類で同形式の組み合わせによる表現を含む。例えば、実施形態3で説明したような三次元対象を複数の部分に分けて、各部分を点群形式で表現する場合はこの一例となる。
<表現変換部501>
表現変換部501は、入力の三次元表現(第一の三次元表現)と指定される変換後特性に基づいて三次元表現を変換し、変換後の三次元表現(第二の三次元表現)を出力する。なお、変換後特性を三次元表現変換装置500への入力としているが、既定の変換特性の利用や三次元表現変換装置500の内部で導出する構成でもよい。また、表現変換情報生成部502は必須の構成要素ではない。しかしながら、表現変換情報生成部502を通じて表現変換情報を生成することで、変換後の三次元表現から変換前の三次元表現を復元する場合に正確な復元が実現できる。
表現変換部501は、入力の三次元表現(第一の三次元表現)と指定される変換後特性に基づいて三次元表現を変換し、変換後の三次元表現(第二の三次元表現)を出力する。なお、変換後特性を三次元表現変換装置500への入力としているが、既定の変換特性の利用や三次元表現変換装置500の内部で導出する構成でもよい。また、表現変換情報生成部502は必須の構成要素ではない。しかしながら、表現変換情報生成部502を通じて表現変換情報を生成することで、変換後の三次元表現から変換前の三次元表現を復元する場合に正確な復元が実現できる。
表現変換部501において適用される変換には以下に示す各種変換が含まれる。
三次元表現のデータ量削減:空間または時間方向のリサンプリング、特定種別のデータ破棄によりデータ量を削減する。例えば、三次元表現が点群形式である場合、空間次元で元データより疎な間隔でリサンプリングすることでデータ量を削減する。また、例えば、三次元表現が画像形式である場合、画像の全体または一部領域を縮小することでデータ量を削減する。また、三次元表現が点群形式、メッシュ形式、ボリューム形式、画像形式である場合、点、頂点、ボクセル、または、画素に関連付けられた属性情報の種類や精度を削減することでデータ量を削減する。
三次元表現の分割:空間または時間方向に分割する。例えば、三次元表現が点群形式である場合、三次元空間を複数の空間に分割することで、一つの点群を複数の点群に分割する。また、例えば、三次元表現が画像形式である場合、一つの画像を複数の画像に分割する。
三次元表現の形式変換:一つの三次元表現の形式から別の三次元表現の形式へ変換する。例えば、実施形態1で説明したように、点群形式から投影を用いて画像形式へ変換する。また、例えば、画像形式の三次元表現に符号化処理を適用して圧縮形式へ変換する。
<変換後特性の定義と具体例>
変換後特性は、出力される三次元表現の特性を指定する情報である。一つの例として、変換後特性は計算リソース指定情報である。計算リソース指定情報は、少なくとも、変換後の三次元表現の処理に要する各種計算リソースを明示的または間接的に示す情報である。計算リソースには、三次元表現のデータ量を直接または間接的に表す量が含まれる。例えば、三次元表現が画像形式である場合、画像の解像度、画像を構成する画素数の総和、画像の各画素に関連付けられた情報の種類と量が挙げられる。また、例えば、三次元表現が点群形式である場合、点の数、点の密度、点群の占有する体積、点群を内包するバウンディングボックスの体積、各点に関連付けられた情報の種類や量が挙げられる。また、例えば、三次元表現がメッシュ形式である場合、メッシュを構成する頂点の数、面の数、テクスチャの解像度、各頂点に関連付けられた情報の種類や量が挙げられる。また、例えば、三次元表現がボリューム形式である場合、有効なボクセル数、ボクセル間隔、ボリュームの占有体積、各ボクセルに関連付けられた情報の種類や量が挙げられる。また、例えば、三次元表現が圧縮形式または暗号形式の場合、データ総量、時間やフレーム単位のデータ量が挙げられる。
変換後特性は、出力される三次元表現の特性を指定する情報である。一つの例として、変換後特性は計算リソース指定情報である。計算リソース指定情報は、少なくとも、変換後の三次元表現の処理に要する各種計算リソースを明示的または間接的に示す情報である。計算リソースには、三次元表現のデータ量を直接または間接的に表す量が含まれる。例えば、三次元表現が画像形式である場合、画像の解像度、画像を構成する画素数の総和、画像の各画素に関連付けられた情報の種類と量が挙げられる。また、例えば、三次元表現が点群形式である場合、点の数、点の密度、点群の占有する体積、点群を内包するバウンディングボックスの体積、各点に関連付けられた情報の種類や量が挙げられる。また、例えば、三次元表現がメッシュ形式である場合、メッシュを構成する頂点の数、面の数、テクスチャの解像度、各頂点に関連付けられた情報の種類や量が挙げられる。また、例えば、三次元表現がボリューム形式である場合、有効なボクセル数、ボクセル間隔、ボリュームの占有体積、各ボクセルに関連付けられた情報の種類や量が挙げられる。また、例えば、三次元表現が圧縮形式または暗号形式の場合、データ総量、時間やフレーム単位のデータ量が挙げられる。
また、計算リソースには、三次元表現の処理に必要な計算量やメモリを直接または間接的に示す情報が含まれる。例えば、三次元表現が圧縮形式または暗号形式の場合、適用されるアルゴリズムの種類やアルゴリズムのパラメータが挙げられる。
別の例として、変換後特性は三次元情報の想定用途を直接または間接的に示す情報(想定用途情報)である。想定用途情報として、例えば、観察視点位置、観察距離、表示解像度、表示フレームレートが挙げられる。
<表現変換情報生成部502>
表現変換情報生成部502は、表現変換部501において適用された変換に関する情報を表現変換情報として出力する。表現変換情報として、変換が削減である場合、削減の方法、削減の程度、削減の適用範囲等が挙げられる。また、表現変換情報として、変換が分割である場合、分割の方法、分割数、分割前と分割後の対応関係を示す情報が挙げられる。また、表現変換情報として、変換が形式変換である場合、変換前後の形式を示す情報が挙げられる。
表現変換情報生成部502は、表現変換部501において適用された変換に関する情報を表現変換情報として出力する。表現変換情報として、変換が削減である場合、削減の方法、削減の程度、削減の適用範囲等が挙げられる。また、表現変換情報として、変換が分割である場合、分割の方法、分割数、分割前と分割後の対応関係を示す情報が挙げられる。また、表現変換情報として、変換が形式変換である場合、変換前後の形式を示す情報が挙げられる。
<三次元表現逆変換装置600の構成>
図1(b)は、本発明に基づき実現される三次元表現逆変換装置600を示すブロック図である。三次元表現逆変換装置600は、表現逆変換部601および表現変換情報解釈部602を含んで構成される。三次元逆変換装置600は、前述の三次元変換装置600で生成された三次元表現を入力三次元表現とし、入力の表現変換情報を合わせて参照して出力三次元表現を生成して出力する。
図1(b)は、本発明に基づき実現される三次元表現逆変換装置600を示すブロック図である。三次元表現逆変換装置600は、表現逆変換部601および表現変換情報解釈部602を含んで構成される。三次元逆変換装置600は、前述の三次元変換装置600で生成された三次元表現を入力三次元表現とし、入力の表現変換情報を合わせて参照して出力三次元表現を生成して出力する。
表現変換情報解釈部602は、入力される表現変換情報を解釈して出力する。なお、表現変換情報を入力として用いない構成も可能である。表現変換情報を入力として用いる場合、三次元表現の再現をより正確に実行できる利点がある。表現変換情報を入力として用いない場合、表現変換情報解釈部602は不要となるため、省略した構成としてもよい。
表現逆変換部601は、入力の三次元表現(第二の三次元表現)を表現変換情報に基づいて復元して出力の三次元表現(第三の三次元表現)を生成して出力する。概略的には表現逆変換部601は、表現変換部600で適用された変換の逆変換に相当する処理を適用する。例えば、変換がデータ量削減である場合には、逆変換は削減したデータ量の推定による復元となる。データ量削減として点群や画像のダウンサンプリングが適用された場合、逆変換には点群のアップサンプリングを適用できる。また、例えば、変換が分割である場合、逆変換には分割された三次元表現の結合が適用できる。
<実施形態7と実施形態1の対応関係>
図2を参照して説明した実施形態1の画像生成装置100は、三次元表現変換装置500の具体的な実施例に相当する。以下、対応関係を説明する。入力の第一の三次元表現は点群であり、出力の第二の三次元表現は統合画像が対応する。変換後特性には解像度指定が対応し、表現変換情報にはパッチ情報が対応する。表現変換部501には、クラスタ分割部101、パッチ投影部102、パッチ変換部103、および、パッチ統合部104の組み合わせが対応する。画像生成装置100では、変換により点群形式から画像形式(パッチセット)に変換し、さらに一部のパッチを縮小、統合して出力の三次元表現形式である画像形式(統合画像)を生成する。表現変換情報変換部502には、パッチ情報符号化部105が対応する。
図2を参照して説明した実施形態1の画像生成装置100は、三次元表現変換装置500の具体的な実施例に相当する。以下、対応関係を説明する。入力の第一の三次元表現は点群であり、出力の第二の三次元表現は統合画像が対応する。変換後特性には解像度指定が対応し、表現変換情報にはパッチ情報が対応する。表現変換部501には、クラスタ分割部101、パッチ投影部102、パッチ変換部103、および、パッチ統合部104の組み合わせが対応する。画像生成装置100では、変換により点群形式から画像形式(パッチセット)に変換し、さらに一部のパッチを縮小、統合して出力の三次元表現形式である画像形式(統合画像)を生成する。表現変換情報変換部502には、パッチ情報符号化部105が対応する。
<実施形態7と実施形態2の対応関係>
図5を参照して説明した実施形態2の点群再生装置200は、三次元表現逆変換装置600の具体的な実施例に相当する。以下、対応関係を説明する。入力の第二の三次元表現は統合画像に対応し、出力の第三の三次元表現には点群が対応する。表現変換情報にはパッチ情報が対応する。表現逆変換部602には、パッチ分割部202、パッチ復元部203、パッチ逆投影部204、パッチ逆投影部204、および、点群復元部205の組み合わせが対応する。点群再生装置200では、逆変換により画像形式(統合画像)から画像形式(パッチセット)に変換し、さらに一部のパッチを拡大し、パッチを逆投影することで点群形式の三次元表現形を生成する。表現変換情報解釈部602には、パッチ情報復号部201が対応する。
図5を参照して説明した実施形態2の点群再生装置200は、三次元表現逆変換装置600の具体的な実施例に相当する。以下、対応関係を説明する。入力の第二の三次元表現は統合画像に対応し、出力の第三の三次元表現には点群が対応する。表現変換情報にはパッチ情報が対応する。表現逆変換部602には、パッチ分割部202、パッチ復元部203、パッチ逆投影部204、パッチ逆投影部204、および、点群復元部205の組み合わせが対応する。点群再生装置200では、逆変換により画像形式(統合画像)から画像形式(パッチセット)に変換し、さらに一部のパッチを拡大し、パッチを逆投影することで点群形式の三次元表現形を生成する。表現変換情報解釈部602には、パッチ情報復号部201が対応する。
<実施形態7と実施形態3の対応関係>
図7を参照して説明した実施形態3の画像生成装置300は、三次元表現変換装置500の具体的な実施例に相当する。以下、対応関係を説明する。入力の第一の三次元表現は点群であり、出力の第二の三次元表現は統合画像が対応する。変換後特性には解像度指定が対応し、表現変換情報にはパッチ情報が対応する。表現変換部501には、一次分割部301、クラスタ分割部101、パッチ投影部102、パッチ変換部103、および、パッチ統合部104の組み合わせが対応する。画像生成装置300では、変換の過程でまず点群形式の三次元表現を複数に分割し、続いて各点群を画像形式(パッチセット)に変換し、さらに一部のパッチを縮小、統合して出力の三次元表現形式である画像形式(統合画像)を生成する。表現変換情報変換部502には、パッチ情報符号化部105が対応する。
図7を参照して説明した実施形態3の画像生成装置300は、三次元表現変換装置500の具体的な実施例に相当する。以下、対応関係を説明する。入力の第一の三次元表現は点群であり、出力の第二の三次元表現は統合画像が対応する。変換後特性には解像度指定が対応し、表現変換情報にはパッチ情報が対応する。表現変換部501には、一次分割部301、クラスタ分割部101、パッチ投影部102、パッチ変換部103、および、パッチ統合部104の組み合わせが対応する。画像生成装置300では、変換の過程でまず点群形式の三次元表現を複数に分割し、続いて各点群を画像形式(パッチセット)に変換し、さらに一部のパッチを縮小、統合して出力の三次元表現形式である画像形式(統合画像)を生成する。表現変換情報変換部502には、パッチ情報符号化部105が対応する。
<実施形態7と実施形態4の対応関係>
図10を参照して説明した実施形態4の点群再生装置400は、三次元表現逆変換装置600の具体的な実施例に相当する。以下、対応関係を説明する。入力の第二の三次元表現は統合画像に対応し、出力の第三の三次元表現には点群が対応する。表現変換情報にはパッチ情報が対応する。表現逆変換部602には、パッチ分割部202、パッチ復元部203、パッチ逆投影部204、パッチ逆投影部204、および、点群復元部205の組み合わせが対応する。点群再生装置400では、一つの三次元表現から変換により生成された複数の三次元表現の中から、指定された視点情報に適した三次元表現を選択し、逆変換により画像形式(統合画像)から画像形式(パッチセット)に変換し、さらに一部のパッチを拡大し、パッチを逆投影することで指定した視点浄法に適した点群形式の三次元表現形を生成する。表現変換情報解釈部602には、パッチ情報復号部201が対応する。
図10を参照して説明した実施形態4の点群再生装置400は、三次元表現逆変換装置600の具体的な実施例に相当する。以下、対応関係を説明する。入力の第二の三次元表現は統合画像に対応し、出力の第三の三次元表現には点群が対応する。表現変換情報にはパッチ情報が対応する。表現逆変換部602には、パッチ分割部202、パッチ復元部203、パッチ逆投影部204、パッチ逆投影部204、および、点群復元部205の組み合わせが対応する。点群再生装置400では、一つの三次元表現から変換により生成された複数の三次元表現の中から、指定された視点情報に適した三次元表現を選択し、逆変換により画像形式(統合画像)から画像形式(パッチセット)に変換し、さらに一部のパッチを拡大し、パッチを逆投影することで指定した視点浄法に適した点群形式の三次元表現形を生成する。表現変換情報解釈部602には、パッチ情報復号部201が対応する。
<実施形態7と実施形態5の対応関係>
図12(a)を参照して説明した実施形態5の画像符号化装置1000は、三次元表現変換装置500の具体的な実施例に相当する。以下、対応関係を説明する。入力の第一の三次元表現は点群であり、出力の第二の三次元表現は3Dデータが対応する。変換後特性には処理解像度設定部1003で導出される解像度指定が対応し、表現変換情報には3Dデータに含まれるパッチ情報が対応する。表現変換部501には、画像生成部100およびビデオ符号化部1001が対応する。画像符号化装置500では、変換の過程でまず点群形式の三次元表現から画像形式(統合画像)に変換し、さらに統合画像を圧縮して圧縮形式の三次元表現を生成する。
図12(a)を参照して説明した実施形態5の画像符号化装置1000は、三次元表現変換装置500の具体的な実施例に相当する。以下、対応関係を説明する。入力の第一の三次元表現は点群であり、出力の第二の三次元表現は3Dデータが対応する。変換後特性には処理解像度設定部1003で導出される解像度指定が対応し、表現変換情報には3Dデータに含まれるパッチ情報が対応する。表現変換部501には、画像生成部100およびビデオ符号化部1001が対応する。画像符号化装置500では、変換の過程でまず点群形式の三次元表現から画像形式(統合画像)に変換し、さらに統合画像を圧縮して圧縮形式の三次元表現を生成する。
図12(b)を参照して説明した実施形態5の点群復号装置2000は、三次元表現逆変換装置600の具体的な実施例に相当する。以下、対応関係を説明する。入力の第二の三次元表現は3Dデータに対応し、出力の第三の三次元表現には点群が対応する。表現変換情報にはパッチ情報が対応する。表現逆変換部602には、ビデオ復号部2001および点群再生部200の組み合わせが対応する。点群復号装置600では、圧縮形式の三次元表現から画像形式(統合画像)に変換し、統合画像から点群に変換する。
<実施形態7と実施形態6の対応関係>
図13を参照して説明した実施形態6の画像処理装置3000は、三次元表現変換装置500の具体的な実施例に相当する。以下、対応関係を説明する。入力の第一の三次元表現は点群であり、出力の第二の三次元表現にも点群が対応する。表現変換部501には、画像生成部100、統合画像処理部3001、および、点群再生部200が対応する。点群処理装置3000では、変換の過程でまず点群形式の三次元表現から画像形式(統合画像)に変換する。続いて統合画像を処理して変換し、最後に統合画像を逆変換して点群形式の三次元表現を生成する。
図13を参照して説明した実施形態6の画像処理装置3000は、三次元表現変換装置500の具体的な実施例に相当する。以下、対応関係を説明する。入力の第一の三次元表現は点群であり、出力の第二の三次元表現にも点群が対応する。表現変換部501には、画像生成部100、統合画像処理部3001、および、点群再生部200が対応する。点群処理装置3000では、変換の過程でまず点群形式の三次元表現から画像形式(統合画像)に変換する。続いて統合画像を処理して変換し、最後に統合画像を逆変換して点群形式の三次元表現を生成する。
<三次元表現変換装置500の効果>
以上説明した三次元表現変換装置500は、指定された変換後特性に基づいて第一の三次元表現を変換し、変換により得られる第二の三次元表現を出力する。出力される第二の三次元表現は指定した変換後特性を満たす。したがって、入力される第一の三次元表現が、所定の特性の三次元表現を処理するよう設計された装置で処理できない場合であっても、三次元表現変換装置500を用いて当該特性に相当する変換後特性を指定して第二の三次元表現に変換することで処理が可能となる効果を奏する。
以上説明した三次元表現変換装置500は、指定された変換後特性に基づいて第一の三次元表現を変換し、変換により得られる第二の三次元表現を出力する。出力される第二の三次元表現は指定した変換後特性を満たす。したがって、入力される第一の三次元表現が、所定の特性の三次元表現を処理するよう設計された装置で処理できない場合であっても、三次元表現変換装置500を用いて当該特性に相当する変換後特性を指定して第二の三次元表現に変換することで処理が可能となる効果を奏する。
以上説明した三次元表現逆変換装置600は、上記三次元表現変換装置500で変換して得られた第二の三次元表現から、変換前の第一の三次元表現に近い性質の第三の三次元表現を復元できる。加えて、表現変換情報解釈部602を備えることで、前記第三の三次元表現の復元がより正確にできるという効果を奏する。
〔ソフトウェアによる実現例〕
本明細書で開示した装置群(画像生成装置100、点群再生装置200、画像生成装置300、点群再生装置400、点群符号化装置1000、点群復号装置2000、点群処理装置3000、三次元表現変換装置500、及び、三次元表現逆変換装置600)の制御ブロックは、集積回路(ICチップ)等に形成された論理回路(ハードウェア)によって実現してもよいし、ソフトウェアによって実現してもよい。
本明細書で開示した装置群(画像生成装置100、点群再生装置200、画像生成装置300、点群再生装置400、点群符号化装置1000、点群復号装置2000、点群処理装置3000、三次元表現変換装置500、及び、三次元表現逆変換装置600)の制御ブロックは、集積回路(ICチップ)等に形成された論理回路(ハードウェア)によって実現してもよいし、ソフトウェアによって実現してもよい。
後者の場合、本明細書で開示した装置群は、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば少なくとも1つのプロセッサ(制御装置)を備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な少なくとも1つの記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記プロセッサとしては、例えばCPU(CentralProcessing Unit)を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ROM(Read Only Memory)等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するRAM(Random Access Memory)などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体(通信ネットワークや放送波等)を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
本発明で開示した装置群はコンピュータによって実現してもよく、この場合には、コンピュータを本発明で開示した装置群に含まれる各装置が備える各部(ソフトウェア要素)として動作させることにより上記各装置をコンピュータにて実現させる上記各装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。
(関連出願の相互参照)
本出願は、2019年9月26日に出願された日本国特許出願:特願2019-175249に対して優先権の利益を主張するものであり、それを参照することにより、その内容の全てが本書に含まれる。
(関連出願の相互参照)
本出願は、2019年9月26日に出願された日本国特許出願:特願2019-175249に対して優先権の利益を主張するものであり、それを参照することにより、その内容の全てが本書に含まれる。
100、300 画像生成装置、画像生成部
101 クラスタ分割部
102 パッチ投影部
103 パッチ変換部
104 パッチ統合部
105 パッチ情報符号化部
200、400 点群再生装置、点群再生部
201 パッチ情報復号部
202 パッチ分割部
203 パッチ復元部
204 パッチ逆投影部
205 点群復元部
301 一次分割部
401 統合画像選択部
500 三次元表現変換装置
501 表現変換部
502 表現変換情報生成部
600 三次元表現逆変換装置
601 表現逆変換部
602 表現変換情報解釈部
1000 点群符号化装置
1001 ビデオ符号化部
1002 3Dデータ多重化部
2000 点群復号装置
2001 ビデオ復号部
2002 3Dデータ逆多重化部
2003、3002 処理解像度設定部
3000 点群処理装置
3001 統合画像処理部
101 クラスタ分割部
102 パッチ投影部
103 パッチ変換部
104 パッチ統合部
105 パッチ情報符号化部
200、400 点群再生装置、点群再生部
201 パッチ情報復号部
202 パッチ分割部
203 パッチ復元部
204 パッチ逆投影部
205 点群復元部
301 一次分割部
401 統合画像選択部
500 三次元表現変換装置
501 表現変換部
502 表現変換情報生成部
600 三次元表現逆変換装置
601 表現逆変換部
602 表現変換情報解釈部
1000 点群符号化装置
1001 ビデオ符号化部
1002 3Dデータ多重化部
2000 点群復号装置
2001 ビデオ復号部
2002 3Dデータ逆多重化部
2003、3002 処理解像度設定部
3000 点群処理装置
3001 統合画像処理部
Claims (18)
- 三次元対象を表す第一の三次元表現を入力として、上記三次元対象を表す第二の三次元表現を生成する三次元表現変換装置であって、
上記第一の三次元表現を上記第二の三次元表現に変換する表現変換部を備え、
上記表現変換部は、直接または間接的に指定される変換後特性に基づいて変換を行うことを特徴とする三次元表現変換装置。 - 上記表現変換部における変換は、三次元情報のデータ量削減、三次元情報の分割、または、三次元情報の形式変換のいずれかを含む変換であることを特徴とする請求項1に記載の三次元表現変換装置。
- 上記変換後特性は、計算リソース指定情報、および、想定用途情報の少なくとも何れかを含むことを特徴とする請求項1または請求項2に記載の三次元表現変換装置。
- 上記表現変換部で適用された変換に関する表現変換情報を生成して出力する表現変換情報生成部を備えることを特徴とする請求項1から請求項3に記載の三次元表現変換装置。
- 上記第一の三次元表現は点群形式、メッシュ形式、および、ボリューム形式の何れかであり、
上記第二の三次元表現は画像形式であり、
上記変換後特性は、計算リソース指定情報の一形態である解像度指定であり、
上記表現変換部は、
上記第一の三次元表現をクラスタに分割するクラスタ分割部と、
上記クラスタからパッチを生成し、投影に係る投影情報を生成するパッチ投影部と、
上記解像度指定に基づいて上記パッチに変換を適用し、変換に係る調整情報を生成するパッチ変換部と、
上記変換を適用したパッチを結合して統合画像を生成し、統合に係る統合情報を生成するパッチ統合部を備え、
上記表現変換情報生成部は、投影情報、上記調整情報、および、上記統合情報を含むパッチ情報を生成するパッチ情報符号化部であることを特徴とする請求項4に記載の三次元表現変換装置。 - 上記第一の三次元表現は点群であり、上記クラスタは点群クラスタであることを特徴とする請求項5に記載の三次元表現変換装置。
- 上記解像度指定に基づいて上記点群をサブ点群に分割する一次分割部を追加で備えることを特徴とする請求項5に記載の三次元表現変換装置。
- 上記一次分割部は複数の分割方法により上記点群をサブ点群に分割し、
上記複数の分割方法に対応する複数の統合画像を生成することを特徴とする請求項7に記載の画像生成装置。 - 上記変換後特性は、想定用途情報の一形態である視点情報を含み、
上記一次分割部は上記視点情報に含まれる視点に基づいて上記点群をサブ点群に分割することを特徴とする請求項8に記載の画像生成装置。 - 上記統合画像はジオメトリ統合画像および属性統合画像を含み、
上記解像度指定はジオメトリ統合画像と属性統合画像それぞれに対して異なる解像度を指定可能であることを特徴とする請求項5から請求項9に記載の画像生成装置。 - 上記パッチ変換部における変換は、パッチの縮小、パッチの回転、および、パッチの分割再結合の何れかの変換、および、前記変換の組み合わせの何れかであることを特徴とする請求項5から請求項10に記載の画像生成装置。
- 三次元対象を表す第二の三次元表現を入力として、上記三次元対象を表す第三の三次元表現を生成する三次元表現逆変換装置であって、
上記第二の三次元表現を上記第三の三次元表現に変換する表現逆変換部と、
入力される表現変換情報を解釈する表現変換情報解釈部を備え、
上記表現逆変換部は、表現変換情報に基づいて第二の三次元表現に変換を適用することを特徴とする三次元表現変換装置。 - 上記第二の三次元表現は画像形式である統合画像であり、
上記第三の三次元表現は点群形式、メッシュ形式、および、ボリューム形式の何れかであり、
上記表現変換情報はパッチ情報であって、
上記パッチ情報から統合情報、調整情報、および、投影情報を導出するパッチ情報復号部と、
上記統合画像を上記統合情報に基づいて複数のパッチに分割するパッチ分割部と、
分割された各パッチを上記調整情報に基づいて変換するパッチ復元部と、
上記パッチから上記投影情報に基づいてクラスタを生成するパッチ逆投影部と、
複数のクラスタを結合する三次元対象復元部を備えることを特徴とする請求項12に記載の三次元逆変換装置。 - 追加の入力として視点情報を受け取り、
上記パッチ情報および上記視点情報に基づいて複数の上記統合画像の一部を対象の統合画像として選択して出力する統合画像選択部を備えることを特徴とする請求項13に記載の三次元逆変換装置。 - 三次元対象を入力として、上記三次元対象に対応する3Dデータを生成する三次元対象符号化装置であって、
解像度指定を決定する処理解像度設定部と、
上記三次元対象をクラスタに分割するクラスタ分割部と、
上記クラスタからパッチを生成し、投影に係る投影情報を生成するパッチ投影部と、
上記解像度指定に基づいて上記パッチに変換を適用し、変換に係る調整情報を生成するパッチ変換部と、
上記変換を適用したパッチを結合して統合画像を生成し、統合に係る統合情報を生成するパッチ統合部と、
上記投影情報、上記調整情報、および、上記統合情報を含むパッチ情報を生成するパッチ情報符号化部と、
上記統合画像にビデオ符号化を適用し2Dデータを生成するビデオ符号化部と、
上記2Dデータと上記パッチ情報を多重化して3Dデータを構成する3Dデータ多重化部を備えることを特徴とする三次元対象符号化装置。 - 三次元対象を符号化して生成された3Dデータを入力として上記三次元対象を復元する三次元対象復号装置であって、
上記3Dデータからパッチ情報と2Dデータを抽出する3Dデータ逆多重化部と、
上記パッチ情報から統合情報、調整情報、および、投影情報を導出するパッチ情報復号部と、
上記2Dデータから統合画像を復号するビデオ復号部と、
上記統合画像を上記統合情報に基づいて複数のパッチに分割するパッチ分割部と、
分割された各パッチを上記調整情報に基づいて変換するパッチ復元部と、
上記パッチから上記投影情報に基づいてクラスタを生成するパッチ逆投影部と、
複数のクラスタを結合する三次元対象復元部を備えることを特徴とする三次元対象復号装置。 - 入力された三次元対象を変換して出力する三次元対象処理装置であって、
解像度指定を決定する処理解像度設定部と、
上記解像度指定と上記三次元対象に基づいて統合画像とパッチ情報を生成する画像生成部と、
上記統合画像に変換処理を適用して変換後の統合画像を出力する統合画像処理部と、
上記変換後の統合画像と上記パッチ情報を入力として三次元対象を生成する三次元対象再生部とを備えることを特徴とする三次元対象処理装置。 - 上記統合画像処理部は、複数の変換処理から選択した変換処理を適用して上記統合画像を変換し、
上記処理解像度設定部は、上記統合画像処理部で適用される変換処理の種類に応じて異なる解像度を上記解像度指定とすることを特徴とする請求項17に記載の三次元対象処理装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019-175249 | 2019-09-26 | ||
JP2019175249A JP2022172413A (ja) | 2019-09-26 | 2019-09-26 | 三次元表現変換装置、および、三次元表現逆変換装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2021060229A1 true WO2021060229A1 (ja) | 2021-04-01 |
Family
ID=75165967
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2020/035662 WO2021060229A1 (ja) | 2019-09-26 | 2020-09-23 | 三次元表現変換装置、および、三次元表現逆変換装置 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2022172413A (ja) |
WO (1) | WO2021060229A1 (ja) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140089834A1 (en) * | 2012-03-07 | 2014-03-27 | Willow Garage Inc. | Point cloud data hierarchy |
WO2018037976A1 (ja) * | 2016-08-22 | 2018-03-01 | 株式会社ソニー・インタラクティブエンタテインメント | データ処理装置、データ処理方法およびコンピュータプログラム |
WO2018215134A1 (en) * | 2017-05-24 | 2018-11-29 | Interdigital Vc Holdings, Inc. | Methods and devices for encoding and reconstructing a point cloud |
WO2019078000A1 (ja) * | 2017-10-16 | 2019-04-25 | ソニー株式会社 | 情報処理装置および方法 |
WO2019142164A1 (en) * | 2018-01-19 | 2019-07-25 | Interdigital Vc Holdings, Inc. | Processing a point cloud |
WO2019140510A1 (en) * | 2018-01-18 | 2019-07-25 | Blackberry Limited | Methods and devices for entropy coding point clouds |
WO2019142667A1 (ja) * | 2018-01-17 | 2019-07-25 | ソニー株式会社 | 画像処理装置および方法 |
-
2019
- 2019-09-26 JP JP2019175249A patent/JP2022172413A/ja active Pending
-
2020
- 2020-09-23 WO PCT/JP2020/035662 patent/WO2021060229A1/ja active Application Filing
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140089834A1 (en) * | 2012-03-07 | 2014-03-27 | Willow Garage Inc. | Point cloud data hierarchy |
WO2018037976A1 (ja) * | 2016-08-22 | 2018-03-01 | 株式会社ソニー・インタラクティブエンタテインメント | データ処理装置、データ処理方法およびコンピュータプログラム |
WO2018215134A1 (en) * | 2017-05-24 | 2018-11-29 | Interdigital Vc Holdings, Inc. | Methods and devices for encoding and reconstructing a point cloud |
WO2019078000A1 (ja) * | 2017-10-16 | 2019-04-25 | ソニー株式会社 | 情報処理装置および方法 |
WO2019142667A1 (ja) * | 2018-01-17 | 2019-07-25 | ソニー株式会社 | 画像処理装置および方法 |
WO2019140510A1 (en) * | 2018-01-18 | 2019-07-25 | Blackberry Limited | Methods and devices for entropy coding point clouds |
WO2019142164A1 (en) * | 2018-01-19 | 2019-07-25 | Interdigital Vc Holdings, Inc. | Processing a point cloud |
Also Published As
Publication number | Publication date |
---|---|
JP2022172413A (ja) | 2022-11-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108810571B (zh) | 编码和解码二维点云的方法和设备 | |
JP7384159B2 (ja) | 画像処理装置および方法 | |
EP3751857A1 (en) | A method, an apparatus and a computer program product for volumetric video encoding and decoding | |
JP7327166B2 (ja) | 画像処理装置および方法 | |
WO2019198523A1 (ja) | 画像処理装置および方法 | |
TWI696378B (zh) | 用於全視差光場顯示系統之方法及裝置 | |
US20230068178A1 (en) | A method, an apparatus and a computer program product for volumetric video encoding and decoding | |
US20210233278A1 (en) | Image processing apparatus and method | |
KR20200140824A (ko) | 3d 객체를 나타내는 포인트 클라우드를 인코딩/디코딩하기 위한 방법 및 장치 | |
JP7424299B2 (ja) | 画像処理装置および方法 | |
JP7389751B2 (ja) | 三次元物体を表すポイントクラウドを符号化/復号する方法及び装置 | |
WO2016172994A1 (zh) | 图像编码、解码方法及装置 | |
JP2022531110A (ja) | 点群符号化のための方法および装置 | |
KR20190013379A (ko) | 360 영상을 부호화 또는 복호화하기 위한 방법 및 장치 | |
Yang et al. | Real-time 3d video compression for tele-immersive environments | |
US11974026B2 (en) | Apparatus, a method and a computer program for volumetric video | |
WO2021060229A1 (ja) | 三次元表現変換装置、および、三次元表現逆変換装置 | |
WO2012128209A1 (ja) | 画像符号化装置、画像復号装置、プログラムおよび符号化データ | |
WO2020175176A1 (ja) | 情報処理装置および方法、並びに、再生装置および方法 | |
WO2022230941A1 (ja) | 情報処理装置および方法 | |
KR20210069647A (ko) | 3d 포인트들을 인코딩/재구성하기 위한 방법 및 디바이스 | |
Tohidi et al. | Video-Based Point Cloud Compression Using Density-Based Variable Size Hexahedrons | |
WO2024057903A1 (ja) | 情報処理装置および方法 | |
WO2022201787A1 (ja) | 画像処理装置および方法 | |
WO2023127513A1 (ja) | 情報処理装置および方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 20870411 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 20870411 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: JP |