WO2019142666A1 - 画像処理装置および方法 - Google Patents

画像処理装置および方法 Download PDF

Info

Publication number
WO2019142666A1
WO2019142666A1 PCT/JP2019/000051 JP2019000051W WO2019142666A1 WO 2019142666 A1 WO2019142666 A1 WO 2019142666A1 JP 2019000051 W JP2019000051 W JP 2019000051W WO 2019142666 A1 WO2019142666 A1 WO 2019142666A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
dimensional
unit
image processing
processing apparatus
Prior art date
Application number
PCT/JP2019/000051
Other languages
English (en)
French (fr)
Inventor
央二 中神
幸司 矢野
智 隈
加藤　毅
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2019566411A priority Critical patent/JP7327166B2/ja
Priority to BR112020013599-2A priority patent/BR112020013599A2/pt
Priority to CN201980007870.2A priority patent/CN111566702B/zh
Priority to US16/960,910 priority patent/US11721048B2/en
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to EP19741709.0A priority patent/EP3742401A4/en
Priority to AU2019210233A priority patent/AU2019210233B2/en
Priority to KR1020237037047A priority patent/KR20230155019A/ko
Priority to SG11202005374UA priority patent/SG11202005374UA/en
Priority to CA3087980A priority patent/CA3087980A1/en
Priority to MX2020007416A priority patent/MX2020007416A/es
Priority to RU2020122782A priority patent/RU2020122782A/ru
Priority to KR1020207019305A priority patent/KR102596507B1/ko
Publication of WO2019142666A1 publication Critical patent/WO2019142666A1/ja
Priority to PH12020500587A priority patent/PH12020500587A1/en
Priority to ZA2020/05038A priority patent/ZA202005038B/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/001—Model-based coding, e.g. wire frame
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Definitions

  • the present disclosure relates to an image processing apparatus and method, and more particularly to an image processing apparatus and method capable of suppressing reduction in quality due to two-dimensional projection of 3D data.
  • the projection onto a two-dimensional plane may be difficult in some cases, and there is a possibility that the quality may be reduced by the encoding accompanied by the projection onto the two-dimensional plane.
  • This indication is made in view of such a situation, and enables it to control quality reduction by two-dimensional projection of 3D data.
  • An image processing apparatus is an image processing apparatus including a two-dimensional projection unit that projects data at every position included in 3D data representing a three-dimensional structure on a two-dimensional plane of a plurality of layers.
  • An image processing method is an image processing method for projecting data at every position included in 3D data representing a three-dimensional structure on a two-dimensional plane of a plurality of layers.
  • An image processing apparatus includes a three-dimensional projection unit that projects, to a three-dimensional space, data at every position of 3D data projected onto a two-dimensional plane with the number of layers indicated by the layer number information. It is an image processing device.
  • An image processing method is an image processing method of projecting data of every position of 3D data projected onto a two-dimensional plane of the number of layers indicated by the layer number information into a three-dimensional space.
  • data for every position included in 3D data representing a three-dimensional structure is projected onto a two-dimensional plane of a plurality of layers.
  • data for every position of 3D data projected on a two-dimensional plane of the number of layers indicated by the layer number information is projected on a three-dimensional space.
  • information can be processed.
  • it is possible to suppress the reduction in quality due to two-dimensional projection of 3D data.
  • Non-Patent Document 1 (described above)
  • Non-Patent Document 2 (described above)
  • Non-Patent Document 3 (described above)
  • Non-patent document 4 TELECOM MUNICATION STANDARDIZATION SECTOR OF ITU (International Telecommunication Union), "Advanced video coding for generic audiovisual services", H.264, 04/2017
  • Non-Patent Document 5 TELECOM MUNICATION STANDARDIZATION SECTOR OF ITU (International Telecommunication Union), "High efficiency video coding", H. 265, 12/2016
  • Non-Patent Document 6 Jianle Chen, Maria Alshina, Gary J.
  • Non-Patent Document 5 the Quad Tree Plus Binary Tree (QTBT) Block Structure described in Non-Patent Document 6
  • this embodiment is not limited thereto. It shall be within the scope of disclosure of technology and shall meet the support requirements of the scope of claims. Also, technical terms such as, for example, Parsing, Syntax, Semantics, etc. are also within the disclosure scope of the present technology, even if they are not directly described in the embodiments. To meet the support requirements of the range.
  • ⁇ Point cloud> Conventionally, there has been data such as a point cloud representing a three-dimensional structure based on position information and attribute information of a point group, and data such as meshes that define a three-dimensional shape using polygons, composed of vertices, edges, and faces. .
  • a three-dimensional structure as shown in A of FIG. 1 is expressed as a set of many points (point group) as shown in B of FIG. That is, the data of the point cloud is composed of position information and attribute information (for example, color etc.) of each point of this point group. Therefore, while the data structure is relatively simple, an arbitrary three-dimensional structure can be represented with sufficient accuracy by using a sufficiently large number of points.
  • a video-based approach has been proposed in which the position and color information of such a point cloud are projected on a two-dimensional plane for each small area and encoded by an encoding method for a two-dimensional image. .
  • an input Point cloud is divided into a plurality of segmentations (also referred to as regions or patches), and projected into a two-dimensional plane for each region.
  • the data for each position of the point cloud (that is, the data for each point) is composed of position information (also referred to as geometry (also referred to as depth)) and attribute information (texture) as described above. Projected onto a dimensional plane.
  • 3D data (point cloud) projected on a two-dimensional plane is encoded by a coding method for a two-dimensional plane image, such as AVC (Advanced Video Coding) or HEVC (High Efficiency Video Coding), for example.
  • AVC Advanced Video Coding
  • HEVC High Efficiency Video Coding
  • FIG. 3 is a list of the present technology described in each embodiment.
  • the first row from the top of this table (except for the item name row) describes the video-based approach in the conventional (TMC2). That is, in the conventional video based approach, two-dimensional projection of 3D data is performed on a two-dimensional (two-layer) plane. This specification was common to the whole screen (the same projection was performed for every segment). Therefore, projection control information used to control such projection is signaled from the encoding side to the decoding side as information in units of frames.
  • the point cloud to be encoded, there are also points other than the object surface due to noise and the characteristics of the imaging system. Therefore, the projection onto a two-dimensional plane of two layers as in the above-described conventional method may be difficult. Therefore, there are points that can not be projected on a two-dimensional plane, and there is a possibility that the quality of data may be reduced by encoding with the projection on the two-dimensional plane.
  • the second row from the top of the table in FIG. 3 (except for the row of item names) describes the present technology described in the first embodiment (Example 1).
  • the number of layers in the two-dimensional plane on which 3D data is projected can be made variable, and the number of layers can be projected so that all data (data at each position) of all points overlapping in the depth direction can be projected. It is a method to set.
  • information indicating the number of layers may be signaled from the encoding side to the decoding side for each area.
  • the third row from the top of the table in FIG. 3 (excluding the row of item names) describes the present technology described in the second embodiment (Example 2).
  • This method is a method of adding the definition of "absent point" when projecting 3D data onto a two-dimensional plane.
  • the definition of the pixel value of the point to be deleted on the decoding side may be signaled from the encoding side to the decoding side.
  • the fourth row from the top of the table in FIG. 3 (excluding the row of item names) describes the present technology described in the third embodiment (Example 3).
  • This method is a method for enabling setting of depth parameters for controlling the depth range of 3D data projected onto a two-dimensional plane for each area.
  • the depth parameter may be signaled from the encoding side to the decoding side.
  • FIG. 4 is a block diagram showing an example of a configuration of an encoding apparatus which is an aspect of an image processing apparatus to which the present technology is applied.
  • the encoding apparatus 100 shown in FIG. 4 is an apparatus that projects 3D data such as a point cloud onto a two-dimensional plane and performs encoding using a two-dimensional image encoding method.
  • the encoding apparatus 100 implements the techniques described in Non-Patent Document 1 to Non-Patent Document 6, and encodes 3D data in a method according to the standard described in any of those documents. .
  • FIG. 4 shows main processing units, data flows, etc., and the one shown in FIG. 4 is not limited to all. That is, in the encoding device 100, there may be a processing unit not shown as a block in FIG. 4, or there may be processing or data flow not shown as an arrow or the like in FIG. The same applies to the other drawings for explaining the processing unit and the like in the encoding device 100.
  • the encoding apparatus 100 includes a patch decomposing unit 111, a packing unit 112, an auxiliary patch information compression unit 113, a video encoding unit 114, a video encoding unit 115, an OMap encoding unit 116, and a multiplexer 117.
  • a patch decomposing unit 111 the encoding apparatus 100 includes a patch decomposing unit 111, a packing unit 112, an auxiliary patch information compression unit 113, a video encoding unit 114, a video encoding unit 115, an OMap encoding unit 116, and a multiplexer 117.
  • the patch disassembly unit 111 performs a process related to the disassembly of 3D data. For example, the patch decomposition unit 111 acquires 3D data (for example, point cloud) representing a three-dimensional structure, which is input to the encoding device 100 (arrow 121). Also, the patch disassembly unit 111 resolves the acquired 3D data into a plurality of patches, and projects the 3D data onto a two-dimensional plane for each of the patches.
  • 3D data for example, point cloud
  • the patch disassembly unit 111 supplies 3D data projected on a two-dimensional plane for each patch to the packing unit 112 (arrow 122). Also, the patch disassembling unit 111 supplies auxiliary patch information, which is information related to the disassembly, to the auxiliary patch information compression unit 113 (arrow 123).
  • the packing unit 112 performs processing related to data packing. For example, the packing unit 112 acquires data of a two-dimensional plane on which 3D data is projected for each patch supplied from the patch disassembly unit 111 (arrow 122). Also, the packing unit 112 packs the acquired layers of the two-dimensional plane as different video frames. For example, the packing unit 112 may include position information (Gepmetry) indicating the position of the point, attribute information (Texture) such as color information added to the position information, and an occupancy map (Occupancy Map) indicating the presence or absence of the point. ), Each packed as a video frame.
  • position information indicating the position of the point
  • attribute information such as color information added to the position information
  • Occupancy Map occupancy map
  • the packing unit 112 supplies the generated video frame to the downstream processing unit (arrow 124). For example, the packing unit 112 supplies the video frame of the generated location information (Geometry) to the video encoding unit 114. Also, for example, the packing unit 112 supplies the generated video frame of the attribute information (Texture) to the video encoding unit 115. Furthermore, for example, the packing unit 112 supplies the generated Ocupancy map video frame to the OMap encoding unit 116.
  • the packing unit 112 supplies the generated video frame to the downstream processing unit (arrow 124). For example, the packing unit 112 supplies the video frame of the generated location information (Geometry) to the video encoding unit 114. Also, for example, the packing unit 112 supplies the generated video frame of the attribute information (Texture) to the video encoding unit 115. Furthermore, for example, the packing unit 112 supplies the generated Ocupancy map video frame to the OMap encoding unit 116.
  • the packing unit 112 also supplies control information on the packing to the multiplexer 117 (arrow 125).
  • the auxiliary patch information compression unit 113 performs processing relating to compression of auxiliary patch information. For example, the auxiliary patch information compression unit 113 acquires data supplied from the patch decomposition unit 111 (arrow 123). The auxiliary patch information compression unit 113 encodes (compresses) auxiliary patch information included in the acquired data. The auxiliary patch information compression unit 113 supplies the encoded data of the obtained auxiliary patch information to the multiplexer 117 (arrow 126).
  • the video encoding unit 114 performs processing relating to encoding of a video frame of location information (Geometry). For example, the video encoding unit 114 obtains a video frame of location information (Geometry) supplied from the packing unit 112 (arrow 124). Also, the video encoding unit 114 encodes the obtained video frame of the position information (Geometry) by an encoding method for an arbitrary two-dimensional image such as AVC or HEVC. The video encoding unit 114 supplies the encoded data (encoded data of a video frame of position information (Geometry)) obtained by the encoding to the multiplexer 117 (arrow 127).
  • the video encoding unit 115 performs processing regarding encoding of a video frame of attribute information (Texture). For example, the video encoding unit 115 obtains a video frame of attribute information (Texture) supplied from the packing unit 112 (arrow 124). Also, the video encoding unit 115 encodes the obtained video frame of the attribute information (Texture) according to an arbitrary two-dimensional image encoding method such as AVC or HEVC. The video encoding unit 115 supplies the encoded data (encoded data of a video frame of attribute information (Texture)) obtained by the encoding to the multiplexer 117 (arrow 128).
  • a video frame of attribute information (Texture) supplied from the packing unit 112 (arrow 124).
  • the video encoding unit 115 encodes the obtained video frame of the attribute information (Texture) according to an arbitrary two-dimensional image encoding method such as AVC or HEVC.
  • the video encoding unit 115 supplies the encoded data (encoded data of a video frame
  • the OMap encoding unit 116 performs processing relating to encoding of a video frame of an occupancy map. For example, the OMap encoding unit 116 obtains a video frame of the occupancy map supplied from the packing unit 112 (arrow 124). In addition, the OMap encoding unit 116 encodes the video frame of the acquired occupancy map according to an arbitrary two-dimensional image encoding method such as AVC or HEVC. The OMap encoding unit 116 supplies the encoded data (encoded data of the video frame of the occupancy map) obtained by the encoding to the multiplexer 117 (arrow 129).
  • the multiplexer 117 performs processing related to multiplexing. For example, the multiplexer 117 obtains encoded data of the auxiliary patch information supplied from the auxiliary patch information compression unit 113 (arrow 126). Also, for example, the multiplexer 117 obtains control information on packing supplied from the packing unit 112 (arrow 125). Also, for example, the multiplexer 117 obtains encoded data of a video frame of position information (Geometry) supplied from the video encoding unit 114 (arrow 127). Also, for example, the multiplexer 117 obtains encoded data of a video frame of attribute information (Texture) supplied from the video encoding unit 115 (arrow 128). Also, for example, the multiplexer 117 acquires encoded data of the video frame of the occupancy map supplied from the OMap encoding unit 116 (arrow 129).
  • the multiplexer 117 obtains encoded data of the video frame of the occupancy map supplied from the OMap encoding unit 116 (arrow 129).
  • the multiplexer 117 multiplexes the acquired pieces of information to generate a bit stream.
  • the multiplexer 117 outputs the generated bit stream to the outside of the coding apparatus 100 (arrow 130).
  • FIG. 5 is a block diagram showing a main configuration example of the patch disassembly unit 111.
  • the patch decomposing unit 111 in this case includes a normal direction estimation unit 151, a segmentation initial setting unit 152, a segmentation updating unit 153, a two-dimensional projection unit 154, and a pixel distribution analysis unit 155.
  • the normal direction estimation unit 151 performs processing regarding estimation of the normal direction of the surface of the 3D data. For example, the normal direction estimation unit 151 acquires input 3D data. Further, the normal direction estimation unit 151 estimates the normal direction of the surface of the object represented by the acquired 3D data. For example, the normal direction estimation unit 151 constructs a kd-tree, searches for a neighborhood, and calculates an optimal approximate tangent plane to estimate the normal direction. The normal direction estimation unit 151 supplies the estimation result of the normal direction to the segmentation initial setting unit 152 along with other data.
  • the segmentation initialization unit 152 performs processing related to the segmentation initialization. For example, the segmentation initial setting unit 152 acquires data supplied from the normal direction estimation unit 151. Also, for example, the segmentation initial setting unit 152 sets the plane corresponding to the normal direction of the 3D data based on the component of each of the six axes in the normal direction estimated by the normal direction estimation unit 151. Classify. The segmentation initial setting unit 152 supplies the classification result together with other data to the segmentation update unit 153.
  • the segmentation update unit 153 performs processing related to segmentation update. For example, the segmentation update unit 153 acquires data supplied from the segmentation initial setting unit 152. Then, the segmentation update unit 153 collects too small regions in the initial setting segmentation set by the segmentation initial setting unit 152 so as to be a sufficiently large region. The segmentation update unit 153 supplies the updated information on the segmentation to the two-dimensional projection unit 154 along with other information.
  • the two-dimensional projection unit 154 performs processing relating to two-dimensional projection of 3D data. For example, the two-dimensional projection unit 154 acquires data supplied from the segmentation update unit 153. Further, the two-dimensional projection unit 154 generates an occupancy map of 3D data included in the acquired data using the pixel distribution analysis unit 155, or generates a two-dimensional plane of the 3D data and the occupancy data for each area. Project to The two-dimensional projection unit 154 supplies the 3D data projected on the two-dimensional plane to the packing unit 112 along with other data.
  • the pixel distribution analysis unit 155 performs processing regarding analysis of pixel distribution of 3D data to be processed by the two-dimensional projection unit 154.
  • FIG. 6 is a block diagram illustrating an example of a configuration of a decoding device which is an aspect of an image processing device to which the present technology is applied.
  • the decoding apparatus 200 shown in FIG. 6 decodes encoded data obtained by projecting and encoding 3D data such as a point cloud on a two-dimensional plane by a decoding method for a two-dimensional image, and projecting the data in a three-dimensional space Device.
  • the decoding apparatus 200 implements the techniques described in Non-Patent Document 1 to Non-Patent Document 6, and decodes encoded data of 3D data in a method compliant with the standard described in any of those documents. I do.
  • FIG. 6 shows main processing units, data flows, etc., and the one shown in FIG. 6 is not limited to all. That is, in the decoding apparatus 200, there may be a processing unit not shown as a block in FIG. 6, or there may be a process or data flow not shown as an arrow or the like in FIG. The same applies to the other drawings for explaining the processing unit and the like in the decoding apparatus 200.
  • the decoding apparatus 200 includes a demultiplexer 211, an auxiliary patch information decoding unit 212, a video decoding unit 213, a video decoding unit 214, an OMap decoding unit 215, an unpacking unit 216, and a 3D reconstruction unit 217.
  • a demultiplexer 211 the demultiplexer 211
  • an auxiliary patch information decoding unit 212 the decoding apparatus 200
  • a video decoding unit 213, a video decoding unit 214 includes a video decoding unit 214, an OMap decoding unit 215, an unpacking unit 216, and a 3D reconstruction unit 217.
  • the demultiplexer 211 performs processing related to data demultiplexing. For example, the demultiplexer 211 obtains a bit stream input to the decoding device 200. This bit stream is supplied from, for example, the coding apparatus 100. The demultiplexer 211 demultiplexes this bit stream, extracts the encoded data of the auxiliary patch information, and supplies it to the auxiliary patch information decoding unit 212. Further, the demultiplexer 211 extracts encoded data of a video frame of position information (Geometory) from the bit stream by demultiplexing, and supplies it to the video decoding unit 213.
  • a video frame of position information GPU
  • the demultiplexer 211 extracts encoded data of the video frame of the attribute information (Texture) from the bit stream by demultiplexing, and supplies it to the video decoding unit 214. Also, the demultiplexer 211 extracts the encoded data of the video frame of the occupancy map from the bit stream by demultiplexing, and supplies this to the OMap decoding unit 215.
  • the auxiliary patch information decoding unit 212 performs processing regarding decoding of encoded data of auxiliary patch information. For example, the auxiliary patch information decoding unit 212 acquires encoded data of the auxiliary patch information supplied from the demultiplexer 211. In addition, the auxiliary patch information decoding unit 212 decodes encoded data of auxiliary patch information included in the acquired data. The auxiliary patch information decoding unit 212 supplies the auxiliary patch information obtained by the decoding to the 3D reconstruction unit 217.
  • the video decoding unit 213 performs processing relating to decoding of encoded data of a video frame of position information (Geometory). For example, the video decoding unit 213 acquires encoded data of a video frame of position information (Geometory) supplied from the demultiplexer 211. Also, for example, the video decoding unit 213 decodes the acquired encoded data to obtain a video frame of position information (Geometory). The video decoding unit 213 supplies the video frame of the position information (Geometory) to the unpacking unit 216.
  • the video decoding unit 214 performs processing related to decoding of encoded data of a video frame of attribute information (Texture). For example, the video decoding unit 214 acquires encoded data of a video frame of attribute information (Texture) supplied from the demultiplexer 211. Also, for example, the video decoding unit 214 decodes the acquired encoded data to obtain a video frame of attribute information (Texture). The video decoding unit 214 supplies the video frame of the attribute information (Texture) to the unpacking unit 216.
  • a video frame of attribute information (Texture) supplied from the demultiplexer 211.
  • the video decoding unit 214 decodes the acquired encoded data to obtain a video frame of attribute information (Texture).
  • the video decoding unit 214 supplies the video frame of the attribute information (Texture) to the unpacking unit 216.
  • the OMap decoding unit 215 performs processing regarding decoding of encoded data of a video frame of an occupancy map. For example, the OMap decoding unit 215 acquires encoded data of a video frame of the occupancy map supplied from the demultiplexer 211. Also, for example, the OMap decoding unit 215 decodes the acquired encoded data to obtain a video frame of an occupancy map. The OMap decoding unit 215 supplies the video frame of the occupancy map to the unpacking unit 216.
  • the unpacking unit 216 performs processing related to unpacking. For example, the unpacking unit 216 acquires a video frame of position information (Geometory) from the video decoding unit 213, acquires a video frame of attribute information (Texture) from the video decoding unit 214, and an occupancy map from the OMap decoding unit 215. Get the video frame of. The unpacking unit 216 unpacks these video frames. The unpacking unit 216 supplies the data of the location information (Geometory), the data of the attribute information (Texture), and the data of the occupancy map obtained by the unpacking to the 3D reconstruction unit 217.
  • the 3D reconstruction unit 217 performs processing regarding reconstruction of 3D data.
  • the 3D reconstruction unit 217 may use auxiliary patch information supplied from the auxiliary patch information decoding unit 212, data of location information (Geometory) supplied from the unpacking unit 216, data of attribute information (Texture), Reconstruct 3D data based on data of Pancy map etc.
  • the 3D reconstruction unit 217 outputs the 3D data obtained by such processing to the outside of the decoding device 200.
  • the 3D data is, for example, supplied to the display unit and the image is displayed, recorded on a recording medium, or supplied to another apparatus via communication.
  • FIG. 7 is a block diagram showing an example of the main configuration of the 3D reconstruction unit 217 of FIG.
  • the 3D reconstruction unit 217 includes a three-dimensional projection unit 251, a pixel distribution analysis unit 252, a reverse segmentation update unit 253, a reverse segmentation initial setting unit 254, and a reverse normal direction estimation unit 255. .
  • the three-dimensional projection unit 251 projects, onto a three-dimensional space, 3D data projected on a two-dimensional plane for each area.
  • the pixel distribution analysis unit 252 performs processing such as analysis of the pixel distribution when projecting the three-dimensional projection unit 251 to the three-dimensional space.
  • the reverse segmentation update unit 253 performs reverse processing of the segmentation update unit 153.
  • the reverse segmentation initial setting unit 254 performs reverse processing of the segmentation initial setting unit 152.
  • the reverse normal direction estimation unit 255 performs reverse processing of the normal direction estimation unit 151.
  • First embodiment> ⁇ Variable number of layers in 2D plane to project 3D data>
  • 3D data is projected on a two-dimensional plane of two layers (layer 0 and layer 1) as in the example shown in FIG.
  • Layer 0 (Layer 0) is projected with data of points on the surface viewed from the projection plane of 3D data.
  • Layer 1 Layer 1
  • the difference value of the distance from the layer 0 is the pixel value.
  • the number of layers in a two-dimensional plane on which 3D data is projected may be variable. For example, data at every position included in 3D data representing a three-dimensional structure is projected onto a two-dimensional plane of a plurality of layers.
  • the image processing apparatus is provided with a two-dimensional projection unit that projects data for every position included in 3D data representing a three-dimensional structure on a two-dimensional plane of a plurality of layers.
  • the two-dimensional projection unit 154 may project data of each 3D data at each position where the position overlaps in the depth direction as viewed from the projection plane onto different layers of the two-dimensional plane of the plurality of layers. .
  • the two-dimensional projection unit 154 may generate the same number of layers as the maximum number of data at each position where the position overlaps in the depth direction when viewed from the projection plane of the 3D data on this two-dimensional plane. .
  • the maximum number of data overlapping in the depth direction is 4 in the 3D data of the region (Local Bounding Box). Therefore, this 3D data is projected onto a two-dimensional plane of four layers (layer 0 to layer 3).
  • information indicating the number of layers in the two-dimensional plane on which the three-dimensional data is projected by the two-dimensional projection unit 154 may be signaled to the bit stream. That is, the multiplexer 117 functioning as a bit stream generation unit has information indicating the number of layers of the two-dimensional plane on which the 3D data is projected by the two-dimensional projection unit 154, and the two-dimensional plane is encoded by the video encoding unit 114 or the like. A bit stream including the encoded data obtained as a result is generated.
  • the 3D data projected onto all the layers of the two-dimensional plane can be easily projected to the three-dimensional space by referring to the information indicating the number of layers of this two-dimensional plane. be able to.
  • the patch deconstructing unit 111 of the encoding device 100 deconstructs 3D data into patches and projects the data of each patch on a two-dimensional plane in step S101.
  • the auxiliary patch information compression unit 113 compresses the auxiliary patch information obtained by the process of step S101.
  • step S103 the packing unit 112 packs the 3D data projected on the two-dimensional plane for each patch by the patch disassembly unit 111 as a video frame.
  • step S104 the video encoding unit 114 encodes a geometry video frame, which is a video frame of the position information obtained by the process of step S103, using the encoding method for a two-dimensional image.
  • step S105 the video encoding unit 114 encodes a color video frame, which is a video frame of the attribute information obtained by the process of step S103, using the encoding method for a two-dimensional image.
  • step S106 the video encoding unit 114 encodes the occupancy map obtained by the process of step S103 according to the encoding method for a two-dimensional image.
  • step S107 the multiplexer 117 multiplexes the various information generated as described above, and generates a bit stream including the information.
  • step S108 the multiplexer 117 outputs the bit stream generated by the process of step S107 to the outside of the encoding apparatus 100.
  • step S108 ends, the encoding process ends.
  • the normal direction estimation unit 151 estimates the normal direction in step S121.
  • the segmentation initialization unit 152 performs segmentation initialization.
  • the segmentation update unit 153 updates the segmentation of the initial state set in step S122 as necessary.
  • the two-dimensional projection unit 154 projects the 3D data onto a two-dimensional plane.
  • step S124 ends, the patch disassembly process ends, and the process returns to FIG.
  • step S143 the pixel distribution analysis unit 155 determines whether or not there are unprojected pixels (data for each position of 3D data not projected on a two-dimensional plane). If it is determined that there is an unprojected pixel, the process proceeds to step S144.
  • step S144 the two-dimensional projection unit 154 projects the area onto the layer i to be processed.
  • step S145 the two-dimensional projection unit 154 increments the variable i (i ++).
  • step S143 If it is determined in step S143 that there are no unprojected pixels (all the pixels in the area have been projected), the process proceeds to step S146.
  • step S146 the two-dimensional projection unit 154 supplies and encodes information indicating the number of layers i. Also, in step S147, the two-dimensional projection unit 154 encodes the geometry image for the corresponding i frame. That is, the two-dimensional projection unit 154 supplies the two-dimensional plane on which the 3D data is projected to the packing unit 112, and packs the layers as different frames.
  • step S147 ends, the two-dimensional projection process ends, and the process returns to FIG.
  • the image processing apparatus is provided with a three-dimensional projection unit that projects, on a three-dimensional space, data of every position of 3D data projected onto a two-dimensional plane with the number of layers indicated by the layer number information.
  • the demultiplexer 211 of the decoding apparatus 200 demultiplexes the bit stream in step S201.
  • step S202 the auxiliary patch information decoding unit 212 decodes the auxiliary patch information extracted from the bit stream in the process of step S201.
  • step S203 the video decoding unit 213 decodes the encoded data of the geometry video frame (video frame of position information) extracted from the bit stream in the process of step S201.
  • step S204 the video decoding unit 214 decodes the encoded data of the color video frame (video frame of attribute information) extracted from the bit stream in the process of step S201.
  • step S205 the OMap decoding unit 215 decodes the encoded data of the occupancy map extracted from the bit stream in the process of step S201.
  • step S206 the unpacking unit 216 unpacks the geometry video frame, the color video frame, and the occupancy map decoded in steps S203 to S205, respectively.
  • step S207 the 3D reconstruction unit 217 reconstructs 3D data, such as a point cloud, based on the auxiliary patch information obtained in step S202 and the various information obtained in step S206.
  • step S207 ends, the decoding process ends.
  • the three-dimensional projection unit 251 projects a two-dimensional image on the three-dimensional space in step S221.
  • step S222 the reverse segmentation update unit 253 reversely updates the segmentation, and separates the summarized segmentation.
  • step S223 the reverse segmentation initial setting unit 254 performs reverse processing of the initial setting of segmentation, and collects classified points.
  • step S224 the antinormal direction estimation unit 255 performs inverse processing of normal direction estimation to reconstruct a point cloud.
  • step S224 ends, the point cloud reconstruction process ends, and the process returns to FIG.
  • the three-dimensional projection unit 251 decodes information indicating the number of layers i in step S241.
  • step S242 the three-dimensional projection unit 251 decodes the geometry image for the corresponding i frame.
  • step S243 the pixel distribution analysis unit 252 initializes the variable k to 0.
  • step S244 the pixel distribution analysis unit 252 determines whether or not the variable k ⁇ i. If it is determined that k ⁇ i, the process proceeds to step S245.
  • step S245 the three-dimensional projection unit 251 projects the 3D data of the layer k (Layer k) onto the three-dimensional space.
  • step S246 the pixel distribution analysis unit 252 increments the variable k (k ++).
  • step S246 ends, the process returns to step S244.
  • step S244 If it is determined in step S244 that the variable k is not less than i, the three-dimensional projection process ends, and the process returns to FIG.
  • Second embodiment> ⁇ Signal of a value indicating "non-pixel">
  • pixels where the 3D data is not projected on the two-dimensional plane that is, pixels where pixel values are not set (also referred to as absent pixels).
  • pixel values are complemented with respect to such “missing pixels”.
  • the pixel value is copied from the pixel on the left thereof (pixel complementation is performed).
  • pixel complementation is performed because the encoding method for two-dimensional images (for example, AVC, HEVC, etc.) has no concept of no data (blank).
  • the data for each position included in the 3D data representing the three-dimensional structure is projected onto a two-dimensional plane, and it is indicated that the data for each position does not exist at the position where the data for each position of the two-dimensional plane does not exist.
  • Set a predetermined value For example, in an image processing apparatus, data for each position included in 3D data representing a three-dimensional structure is projected on a two-dimensional plane, and data for each position is not available at each position of the two-dimensional plane.
  • a two-dimensional projection unit is provided which sets a predetermined value indicating absence.
  • a specified value X is used as a pixel value indicating “non-pixel” on a two-dimensional plane on which 3D data is projected.
  • the value of X may be, for example, a predetermined fixed value.
  • X may be set to 255 (upper limit of 8 bits).
  • an arbitrary value of X> D may be used as the value of X.
  • D indicates the maximum value of the depth of the bounding box.
  • a pixel value of a two-dimensional plane can not be set to a value greater than or equal to the maximum value of the depth of the bounding box. Therefore, the unused value may be used as X.
  • the encoding device 100 can express “non-pixel” without requiring data complementation, so that deterioration of 3D data can be suppressed. That is, it is possible to suppress the reduction in quality due to two-dimensional projection of 3D data.
  • the encoding device 100 can reduce the number of “non-encoding pixels” in the two-dimensional plane, so the region is set larger compared to the case where the complementing process is not performed. be able to. Therefore, the projection in a minute area (Point) unit becomes unnecessary, and it is possible to suppress an increase in processing amount and a reduction in encoding efficiency.
  • the two-dimensional projection unit 154 When the two-dimensional projection processing is started, the two-dimensional projection unit 154 performs region extraction by segmentation in step S301. In step S302, the pixel distribution analysis unit 155 determines whether the area includes a sparse point cloud. If it is determined that the area includes a sparse point cloud, the process proceeds to step S303.
  • step S303 the two-dimensional projection unit 154 signals information defining “non-pixel” in the area. That is, the above-described X is set, and the “non-existent point” projected on the two-dimensional plane is expressed using the X.
  • step S305 the process proceeds to step S305.
  • step S302 If it is determined in step S302 that the area does not include the sparse point cloud, the process proceeds to step S304.
  • step S304 the two-dimensional projection unit 154 projects the region on each layer of the two-dimensional plane.
  • step S305 the process proceeds to step S305.
  • step S305 the two-dimensional projection unit 154 encodes the geometry image of the area.
  • step S305 ends, the two-dimensional projection process ends, and the process returns to FIG.
  • the encoding device 100 can express “non-pixel” without requiring data complementation. Therefore, deterioration of 3D data can be suppressed. That is, it is possible to suppress the reduction in quality due to two-dimensional projection of 3D data.
  • the encoding device 100 can reduce the number of “non-encoding pixels” in the two-dimensional plane, so the region is set larger compared to the case where the complementing process is not performed. be able to. Therefore, the projection in a minute area (Point) unit becomes unnecessary, and it is possible to suppress an increase in processing amount and a reduction in encoding efficiency.
  • data other than data of a predetermined value indicating that data at each position does not exist in three-dimensional space Project to For example, in the image processing apparatus, among data of each position included in 3D data representing a three-dimensional structure projected on a two-dimensional plane, data other than data of a predetermined value indicating that data at each position does not exist Is provided with a three-dimensional projection unit that projects into three-dimensional space.
  • the number of “non-codeable pixels” in the two-dimensional plane can be reduced, so the area can be set larger compared to the case where the complementing process is not performed. Therefore, the projection in a minute area (Point) unit becomes unnecessary, and it is possible to suppress an increase in processing amount and a reduction in encoding efficiency.
  • the three-dimensional projection unit 251 decodes the geometry image of the area to be processed in step S321.
  • step S322 the pixel distribution analysis unit 252 determines whether or not information (a pixel value indicating “non-pixel”) defining “non-pixel” is present in the geometry image. If it is determined that there is, the process proceeds to step S323.
  • step S323 the three-dimensional projection unit 251 deletes the pixel of the pixel value indicating the detected “non-pixel” (setting so as not to be projected in the three-dimensional space).
  • step S323 ends, the process proceeds to step S324.
  • step S322 If it is determined in step S322 that there is no pixel value indicating "non-existent pixel", the process of step S323 is omitted, and the process proceeds to step S324.
  • detection of a pixel value indicating “a non-pixel” is performed on the geometry image of the area to be processed, and if it is detected, the pixel is deleted.
  • step S324 the three-dimensional projection unit 251 projects the geometry image of the processing target area onto the three-dimensional space.
  • step S324 ends, the three-dimensional projection process ends, and the process returns to FIG.
  • the decoding device 200 can express “no pixels” without requiring data complementation, so that deterioration of 3D data can be suppressed. . That is, it is possible to suppress the reduction in quality due to two-dimensional projection of 3D data.
  • the decoding device 200 can reduce the number of “non-coding pixels” in the two-dimensional plane, so setting the area larger compared to the case where only the complementing process is not performed. Can. Therefore, the projection in a minute area (Point) unit becomes unnecessary, and it is possible to suppress an increase in processing amount and a reduction in encoding efficiency.
  • a depth parameter th that controls the range in the depth direction of the 3D data projected onto the two-dimensional plane is used. Since the points in the range specified by the depth parameter th are to be projected onto the two-dimensional plane, the value of the depth parameter th is related to the length in the depth direction of the region (Local bounding box). For example, when the value of the depth parameter th is larger than the length in the depth direction of the area, points in other areas may be projection targets. That is, the length in the depth direction of the area needs to be longer than the depth parameter th.
  • this depth parameter th is controlled on a frame basis.
  • all depth parameters th in a frame have a common value.
  • the value of the depth parameter th is not always optimal, and there is a possibility that the coding efficiency may be reduced. For example, there may be a case where the coding efficiency is better by dividing the area in the depth direction, but the value of the depth parameter th is large and the division can not be performed.
  • the image processing apparatus when data for each position of 3D data representing a three-dimensional structure is projected on a two-dimensional plane for each predetermined area in three-dimensional space, it can be projected on one layer set for each area A two-dimensional projection unit that projects, on a two-dimensional plane, data at each position within a range in the depth direction indicated by a depth parameter that limits the range in the depth direction of data at each position of 3D data representing a three-dimensional structure. To do.
  • the depth parameter is expanded so as to be able to be transmitted for each patch, and the position (TH) of a pixel to be projected onto a layer is transmitted for each area.
  • the depth parameter th can be set for the area 1 and the depth parameter th ′ can be set for the area 2. Therefore, the efficiency (Geometry coding efficiency) of layer 1 (Layer 1) is improved.
  • the pixel distribution analysis unit 155 initializes the area number i to 0 in step S401.
  • step S402 the pixel distribution analysis unit 155 determines whether there is an unprocessed pixel. If it is determined that there is an unprocessed pixel, the process proceeds to step S403.
  • step S403 the two-dimensional projection unit 154 extracts the area i by segmentation.
  • step S404 the two-dimensional projection unit 154 performs adjustment of the depth parameter and encoding (RD determination). That is, the setting of the optimum depth parameter th and the range of the area is performed by the RD determination.
  • step S405 the two-dimensional projection unit 154 projects the geometry image of the processing target area i on the two-dimensional surface based on the setting performed in step S404.
  • step S406 the two-dimensional projection unit 154 encodes the geometry image projected on the two-dimensional plane.
  • step S407 the pixel distribution analysis unit 155 increments the variable i (i ++).
  • the process of step S407 ends, the process returns to step S402, and the subsequent processes are repeated.
  • step S402 When it is determined in step S402 that there is no unprocessed pixel, the process proceeds to step S408.
  • step S408 the two-dimensional projection unit 154 encodes an occlusion map.
  • the encoding device 100 can obtain the depth parameter th more suitable for each area, and can suppress the reduction in encoding efficiency.
  • the data for each position included in the 3D data representing the three-dimensional structure projected on the two-dimensional plane is projected on the three-dimensional space for each predetermined region of the three-dimensional space
  • the data for each position is To project within the range in the depth direction indicated by the depth parameter that limits the range in the depth direction of the data of each position of the 3D data that can be projected onto one layer set for each region in the three-dimensional space Do.
  • the image processing apparatus when the data for each position included in the 3D data representing the three-dimensional structure projected on the two-dimensional plane is projected onto the three-dimensional space for each predetermined region of the three-dimensional space Within the range in the depth direction indicated by the depth parameter that limits the range in the depth direction of the data for each position of 3D data that can be projected to one layer set for each region in the three-dimensional space to provide a three-dimensional projection unit that projects onto
  • the three-dimensional projection unit 251 decodes the occlusion map in step S421.
  • step S422 the pixel distribution analysis unit 252 initializes the region number k to 0.
  • step S423 the pixel distribution analysis unit 252 determines whether the variable k ⁇ i. If it is determined that k ⁇ i, the process proceeds to step S424.
  • step S424 the three-dimensional projection unit 251 decodes the depth parameter th.
  • step S425 the three-dimensional projection unit 251 decodes the geometry image.
  • step S426 the three-dimensional projection unit 251 projects the image of the area onto a three-dimensional space.
  • step S427 the pixel distribution analysis unit 252 increments the variable k (k ++).
  • step S427 ends, the process returns to step S423, and the subsequent processes are repeated.
  • step S423 If it is determined in step S423 that k does not satisfy i ⁇ i, the three-dimensional projection process ends, and the process returns to FIG.
  • the decoding apparatus 200 can perform projection of 3D data into the three-dimensional space by using the depth parameter th set for each area. The reduction of the efficiency can be suppressed.
  • control information related to the present technology described in each of the above embodiments may be transmitted from the encoding side to the decoding side.
  • control information for example, enabled_flag
  • control for specifying a range for example, upper limit or lower limit of block size, or both, slice, picture, sequence, component, view, layer, etc.
  • a range for example, upper limit or lower limit of block size, or both, slice, picture, sequence, component, view, layer, etc.
  • the series of processes described above can be performed by hardware or software.
  • a program that configures the software is installed on a computer.
  • the computer includes, for example, a general-purpose personal computer that can execute various functions by installing a computer incorporated in dedicated hardware and various programs.
  • FIG. 24 is a block diagram showing an example of a hardware configuration of a computer that executes the series of processes described above according to a program.
  • a central processing unit (CPU) 901, a read only memory (ROM) 902, and a random access memory (RAM) 903 are mutually connected via a bus 904.
  • An input / output interface 910 Also connected to the bus 904 is an input / output interface 910.
  • An input unit 911, an output unit 912, a storage unit 913, a communication unit 914, and a drive 915 are connected to the input / output interface 910.
  • the input unit 911 includes, for example, a keyboard, a mouse, a microphone, a touch panel, an input terminal, and the like.
  • the output unit 912 includes, for example, a display, a speaker, and an output terminal.
  • the storage unit 913 is formed of, for example, a hard disk, a RAM disk, a non-volatile memory, or the like.
  • the communication unit 914 includes, for example, a network interface.
  • the drive 915 drives removable media 921 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 901 loads the program stored in the storage unit 913 into the RAM 903 via the input / output interface 910 and the bus 904 and executes the program. Processing is performed.
  • the RAM 903 also stores data necessary for the CPU 901 to execute various processes.
  • the program executed by the computer can be recorded and applied to, for example, a removable medium 921 as a package medium or the like.
  • the program can be installed in the storage unit 913 via the input / output interface 910 by attaching the removable media 921 to the drive 915.
  • the program can also be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting. In that case, the program can be received by the communication unit 914 and installed in the storage unit 913.
  • a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be received by the communication unit 914 and installed in the storage unit 913.
  • this program can be installed in advance in the ROM 902 or the storage unit 913.
  • the encoding apparatus 100 and the decoding apparatus 200 have been described above as application examples of the present technology, the present technology can be applied to any configuration.
  • the present technology includes a transmitter or a receiver (for example, a television receiver or a mobile phone) in satellite broadcasting, cable broadcasting such as cable TV, distribution over the Internet, and distribution to terminals by cellular communication, or
  • a transmitter or a receiver for example, a television receiver or a mobile phone
  • satellite broadcasting for example, cable TV
  • cable broadcasting such as cable TV
  • distribution over the Internet distribution to terminals by cellular communication
  • the present invention can be applied to various electronic devices such as devices for recording an image on a medium such as an optical disk, a magnetic disk, and a flash memory and reproducing an image from these storage media (for example, a hard disk recorder and a camera).
  • the present technology includes a processor (for example, a video processor) as a system LSI (Large Scale Integration) or the like, a module (for example, a video module) using a plurality of processors or the like, a unit (for example, a video unit) using a plurality of modules Or, it may be implemented as part of the configuration of the device, such as a set (for example, a video set) in which other functions are added to the unit.
  • a processor for example, a video processor
  • LSI Large Scale Integration
  • module for example, a video module
  • a unit for example, a video unit
  • it may be implemented as part of the configuration of the device, such as a set (for example, a video set) in which other functions are added to the unit.
  • the present technology can also be applied to a network system configured by a plurality of devices.
  • the present technology may be implemented as cloud computing in which multiple devices share and process jointly via a network.
  • the present technology is implemented in a cloud service that provides services related to images (moving images) to arbitrary terminals such as computers, AV (Audio Visual) devices, portable information processing terminals, and IoT (Internet of Things) devices. You may do it.
  • the system means a set of a plurality of components (apparatus, modules (parts), etc.), and it does not matter whether all the components are in the same case. Therefore, a plurality of devices housed in separate housings and connected via a network and one device housing a plurality of modules in one housing are all systems. .
  • the system, apparatus, processing unit, etc. to which the present technology is applied can be used in any field such as traffic, medical care, crime prevention, agriculture, animal husbandry, mining, beauty, factory, home appliance, weather, nature monitoring, etc. . Moreover, the use is also arbitrary.
  • the present technology can be applied to systems and devices provided for provision of ornamental content and the like.
  • the present technology can be applied to systems and devices provided for traffic, such as traffic condition supervision and automatic operation control.
  • the present technology can be applied to systems and devices provided for security.
  • the present technology can be applied to a system or device provided for automatic control of a machine or the like.
  • the present technology can be applied to systems and devices provided for use in agriculture and livestock.
  • the present technology can also be applied to systems and devices that monitor natural conditions such as, for example, volcanoes, forests, and oceans, and wildlife.
  • the present technology can be applied to systems and devices provided for sports.
  • “flag” is information for identifying a plurality of states, and is not limited to information used to identify two states of true (1) or false (0), and may be three or more. Information that can identify the state is also included. Therefore, the possible value of this "flag” may be, for example, a binary value of 1/0 or a ternary value or more. That is, the number of bits constituting this "flag” is arbitrary, and may be one bit or plural bits. Further, not only the identification information (including the flag) is included in the bitstream, but also the difference information of the identification information with respect to a certain reference information is assumed to be included in the bitstream. In the above, “flag” and “identification information” include not only the information but also difference information with respect to the reference information.
  • association means, for example, that one data can be processed (linked) in processing the other data. That is, the data associated with each other may be collected as one data or may be individual data.
  • the information associated with the coded data (image) may be transmitted on a transmission path different from that of the coded data (image).
  • information associated with encoded data (image) may be recorded on a recording medium (or another recording area of the same recording medium) different from the encoded data (image). Good.
  • this “association” may not be the entire data but a part of the data. For example, an image and information corresponding to the image may be associated with each other in an arbitrary unit such as a plurality of frames, one frame, or a part in a frame.
  • the configuration described as one device (or processing unit) may be divided and configured as a plurality of devices (or processing units).
  • the configuration described as a plurality of devices (or processing units) in the above may be collectively configured as one device (or processing unit).
  • configurations other than those described above may be added to the configuration of each device (or each processing unit).
  • part of the configuration of one device (or processing unit) may be included in the configuration of another device (or other processing unit) if the configuration or operation of the entire system is substantially the same. .
  • the above-described program may be executed on any device.
  • the device may have necessary functions (functional blocks and the like) so that necessary information can be obtained.
  • one apparatus may execute each step of one flowchart, or a plurality of apparatuses may share and execute. Furthermore, when a plurality of processes are included in one step, one apparatus may execute the plurality of processes, or a plurality of apparatuses may share and execute the processes. In other words, a plurality of processes included in one step can be executed as a process of a plurality of steps. Conversely, the processes described as a plurality of steps can be collectively performed as one step.
  • processing of steps for writing a program may be performed in chronological order according to the order described in this specification, in parallel, or in a call. It may be individually executed at necessary timing such as when it is received. That is, as long as no contradiction arises, the processing of each step may be performed in an order different from the order described above. Furthermore, the process of the step of writing this program may be executed in parallel with the process of another program, or may be executed in combination with the process of another program.
  • a plurality of techniques relating to the present technology can be independently implemented as long as no contradiction arises.
  • any number of the present techniques may be used in combination.
  • part or all of the present technology described in any of the embodiments can be implemented in combination with part or all of the present technology described in the other embodiments.
  • some or all of the above-described optional present techniques may be implemented in combination with other techniques not described above.
  • An image processing apparatus comprising: a two-dimensional projection unit configured to project data at every position included in 3D data representing a three-dimensional structure on a two-dimensional plane of a plurality of layers.
  • the two-dimensional projection unit projects the data for each of the positions of the 3D data, the positions of which overlap in the depth direction when viewed from the projection plane, on mutually different layers of the two-dimensional plane of the plurality of layers.
  • the image processing apparatus according to (1).
  • the two-dimensional projection unit generates, on the two-dimensional plane, the same number of layers as the maximum number of data for each position where the position overlaps in the depth direction when viewed from the projection plane of the 3D data. Image processing apparatus as described.
  • the image processing apparatus according to any one of (1) to (3), further including: an encoding unit that encodes the 3D data projected onto the two-dimensional plane by the two-dimensional projection unit.
  • an encoding unit that encodes the 3D data projected onto the two-dimensional plane by the two-dimensional projection unit.
  • the encoding unit encodes position information, attribute information, and an occupancy map of the 3D data projected onto each layer of the two-dimensional plane.
  • the image processing apparatus according to (4) or (5), further including: a bitstream generation unit that generates a bitstream including the image.
  • the video camera further includes a packing unit packing the two-dimensional plane on which the 3D data is projected by the two-dimensional projection unit as a video frame,
  • the image processing apparatus according to any one of (4) to (6), wherein the encoding unit is configured to encode the video frame in which the two-dimensional plane is packed by the packing unit.
  • the image processing apparatus according to any one of (1) to (7), wherein the two-dimensional projection unit projects the 3D data onto the two-dimensional plane for each predetermined area.
  • An image processing apparatus comprising: a three-dimensional projection unit configured to project, onto a three-dimensional space, data of all positions of 3D data projected onto a two-dimensional plane of the number of layers indicated by the layer number information.
  • the information processing apparatus further comprises an extraction unit for extracting the layer number information contained in the bit stream, The three-dimensional projection unit projects, to the three-dimensional space, data at every position of the 3D data projected onto the two-dimensional plane in the number of layers indicated by the layer number information extracted by the extraction unit.
  • the image processing apparatus which is configured to: (13)
  • the information processing apparatus further includes a decoding unit that decodes encoded data of the 3D data projected onto the two-dimensional plane included in the bit stream,
  • the three-dimensional projection unit projects, to the three-dimensional space, the data at every position of the 3D data projected on the two-dimensional plane, obtained by decoding the encoded data by the decoding unit.
  • the image processing apparatus which is configured to: (14)
  • the decoding unit decodes each piece of encoded data of position information, attribute information, and occupancy map of the 3D data projected on each layer of the two-dimensional plane.
  • the image according to (13) Processing unit is configured to:
  • the video decoding apparatus further comprises an unpacking unit for unpacking a video frame obtained by decoding the encoded data by the decoding unit and obtained by packing the 3D data projected onto the two-dimensional plane.
  • the three-dimensional projection unit projects, to the three-dimensional space, the data at every position of the 3D data projected on the two-dimensional plane, obtained by unpacking a video frame by the unpacking unit.
  • the image processing apparatus according to (13) or (14), which is configured to: (16) The three-dimensional projection unit projects, onto the three-dimensional space, the 3D data projected onto the two-dimensional plane for each predetermined area.
  • the data for each position included in the 3D data representing the three-dimensional structure is projected on a two-dimensional plane, and the data for each position does not exist at a position where the data for each position on the two-dimensional plane does not exist
  • An image processing apparatus comprising: a two-dimensional projection unit that sets a predetermined value indicating.
  • the image processing apparatus according to (21), wherein the predetermined value is a predetermined fixed value.
  • the image processing apparatus according to (21), wherein the predetermined value is a value larger than a maximum value of depth of the 3D data.
  • the image processing apparatus according to (24), wherein the encoding unit encodes position information, attribute information, and an occupancy map of the 3D data projected on the two-dimensional plane.
  • a bitstream generation unit configured to generate a bitstream including information indicating the predetermined value and encoded data obtained by encoding the two-dimensional plane by the encoding unit.
  • the video camera further includes a packing unit packing the two-dimensional plane on which the 3D data is projected by the two-dimensional projection unit as a video frame, The image processing apparatus according to any one of (24) to (26), wherein the encoding unit is configured to encode the video frame in which the two-dimensional plane is packed by the packing unit.
  • the information processing apparatus further comprises an extraction unit for extracting information indicating the predetermined value included in the bit stream,
  • the three-dimensional projection unit projects, to a three-dimensional space, data other than the data of the predetermined value indicated in the information extracted by the extraction unit among the data at each position included in the 3D data.
  • the image processing apparatus according to any one of (31) to (33).
  • the image processing apparatus further comprises a decoding unit that decodes encoded data of the 3D data projected onto the two-dimensional plane included in the bit stream, The three-dimensional projection unit is extracted by the extraction unit among the data for each position included in the 3D data projected on the two-dimensional plane, obtained by decoding the encoded data by the decoding unit.
  • the image processing apparatus configured to project data other than the data of the predetermined value indicated in the received information into a three-dimensional space.
  • the decoding unit decodes the encoded data of the position information, the attribute information, and the occupancy map of the 3D data projected onto each layer of the two-dimensional plane.
  • the video decoding apparatus further comprises an unpacking unit for unpacking a video frame obtained by decoding the encoded data by the decoding unit and obtained by packing the 3D data projected onto the two-dimensional plane.
  • the three-dimensional projection unit is extracted by the extraction unit among the data for each position included in the 3D data projected on the two-dimensional plane, obtained by unpacking a video frame by the unpacking unit.
  • the image processing apparatus configured to project data other than the data of the predetermined value indicated in the received information into a three-dimensional space.
  • the image processing apparatus according to any one of (31) to (38), wherein the 3D data is a point cloud. (40) Of the data at each position included in the 3D data representing the three-dimensional structure projected on the two-dimensional plane, the data other than the data of the predetermined value indicating that the data at each position does not exist is An image processing method that projects to space.
  • Image processing comprising a two-dimensional projection unit for projecting the data at each position within the range in the depth direction indicated by the depth parameter that limits the range in the depth direction of the data at each position of 3D data representing apparatus.
  • the image processing apparatus according to (41), further including: an encoding unit that encodes the 3D data projected onto the two-dimensional plane by the two-dimensional projection unit.
  • the image processing device according to (42), wherein the encoding unit encodes position information, attribute information, and an occupancy map of the 3D data projected onto the two-dimensional plane.
  • a bit stream generating unit is further provided which generates a bit stream including the depth parameter set for each of the regions and encoded data obtained by encoding the two-dimensional plane by the encoding unit.
  • the image processing apparatus according to (42) or (43).
  • the image processing apparatus further comprises a packing unit packing the two-dimensional plane on which the 3D data is projected by the two-dimensional projection unit as a video frame,
  • the image processing apparatus according to any one of (42) to (44), wherein the encoding unit is configured to encode the video frame in which the two-dimensional plane is packed by the packing unit.
  • a three-dimensional structure that can be projected on one layer set for each area when projecting data for each position of 3D data representing a three-dimensional structure on a two-dimensional plane for each predetermined area in three-dimensional space An image processing method for projecting, on the two-dimensional plane, data at each position within the range in the depth direction indicated by a depth parameter that limits the range in the depth direction of data at each position of 3D data representing.
  • An image processing apparatus comprising: a three-dimensional projection unit.
  • the method further comprises an extraction unit for extracting the depth parameter included in the bit stream,
  • the three-dimensional projection unit is configured to project the data for each position included in the 3D data within a range in the depth direction indicated by the depth parameter extracted by the extraction unit (51). Image processing apparatus as described.
  • the information processing apparatus further comprising a decoding unit that decodes encoded data of the 3D data projected onto the two-dimensional plane included in the bit stream,
  • the three-dimensional projection unit extracts the data for each position of the 3D data projected on the two-dimensional plane, obtained by decoding the encoded data by the decoding unit, extracted by the extraction unit.
  • the image processing apparatus according to (52), configured to project within a range in the depth direction indicated by a depth parameter.
  • the decoding unit decodes the encoded data of the position information, the attribute information, and the occupancy map of the 3D data projected onto each layer of the two-dimensional plane.
  • the video decoding apparatus further comprises an unpacking unit for unpacking a video frame obtained by decoding the encoded data by the decoding unit and obtained by packing the 3D data projected onto the two-dimensional plane.
  • the three-dimensional projection unit extracts data of the 3D data projected on the two-dimensional plane at each position, obtained by the video frame being unpacked by the unpacking unit, by the extraction unit.
  • the image processing apparatus according to (53) or (54), configured to project within a range in the depth direction indicated by a depth parameter.
  • the image processing apparatus according to any one of (51) to (55), wherein the 3D data is a point cloud.
  • 100 encoding device 111 patch decomposing unit, 112 packing unit, 113 auxiliary patch information compression unit, 114 video encoding unit, 115 video encoding unit, 116 OMap encoding unit, 117 multiplexer, 151 normal direction estimation unit, 152 Segmentation initial setting unit, 153 segmentation update unit, 154 two-dimensional projection unit, 155 pixel distribution analysis unit, 200 decoding device, 211 demultiplexer, 212 auxiliary patch information decoding unit, 213 video decoding unit, 214 video decoding unit, 215 OMap decoding Unit, 216 Unpacking Unit, 217 3D Reconstruction Unit, 251 3D Projection Unit, 252 Pixel Distribution Analysis Unit, 253 Reverse Segmentation Update Unit, 254 Reverse Segmentation Unit Initial setting unit, 255 reverse normal direction estimation unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)
  • Image Generation (AREA)
  • Computer Graphics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Analysis (AREA)

Abstract

本開示は、３Ｄデータの２次元投影による品質の低減を抑制することができるようにする画像処理装置および方法に関する。 ３次元構造を表す３Ｄデータに含まれる全ての位置毎のデータを、複数レイヤの２次元平面に投影する。また、レイヤ数情報が示すレイヤ数の２次元平面に投影された３Ｄデータの全ての位置毎のデータを、３次元空間に投影する。本開示は、例えば、情報処理装置、画像処理装置、電子機器、情報処理方法、またはプログラム等に適用することができる。

Description

画像処理装置および方法
　本開示は、画像処理装置および方法に関し、特に、３Ｄデータの２次元投影による品質の低減を抑制することができるようにした画像処理装置および方法に関する。
　従来、例えばポイントクラウド（Point cloud）のような３次元構造を表す３Ｄデータの符号化方法として、ポイントクラウドの位置と色情報それぞれを、小領域毎に２次元平面に投影し、２次元画像用の符号化方法で符号化するアプローチ（以下、ビデオベースドアプローチ（Video-based approach）とも称する）が提案されている（例えば、非特許文献１乃至非特許文献３参照）。
Tim Golla and Reinhard Klein, "Real-time Point Cloud Compression ", IEEE, 2015 K. Mammou, "Video-based and Hierarchical Approaches Point Cloud Compression", MPEG m41649, Oct. 2017 "PCC Test Model Category 2 v0", N17248 MPEG output document, October 2017
　しかしながら、符号化対象となるポイントクラウドは、ノイズや撮像システムの特性により、オブジェクト表面以外にもPointが存在する。そのため、２次元平面への投影が困難な場合があり、この２次元平面への投影を伴う符号化により、品質が低減するおそれがあった。
　本開示は、このような状況に鑑みてなされたものであり、３Ｄデータの２次元投影による品質の低減を抑制することができるようにするものである。
　本技術の一側面の画像処理装置は、３次元構造を表す３Ｄデータに含まれる全ての位置毎のデータを、複数レイヤの２次元平面に投影する２次元投影部を備える画像処理装置である。
　本技術の一側面の画像処理方法は、３次元構造を表す３Ｄデータに含まれる全ての位置毎のデータを、複数レイヤの２次元平面に投影する画像処理方法である。
　本技術の他の側面の画像処理装置は、レイヤ数情報が示すレイヤ数の２次元平面に投影された３Ｄデータの全ての位置毎のデータを、３次元空間に投影する３次元投影部を備える画像処理装置である。
　本技術の他の側面の画像処理方法は、レイヤ数情報が示すレイヤ数の２次元平面に投影された３Ｄデータの全ての位置毎のデータを、３次元空間に投影する画像処理方法である。
　本技術の一側面の画像処理装置および方法においては、３次元構造を表す３Ｄデータに含まれる全ての位置毎のデータが、複数レイヤの２次元平面に投影される。
　本技術の他の側面の画像処理装置および方法においては、レイヤ数情報が示すレイヤ数の２次元平面に投影された３Ｄデータの全ての位置毎のデータが、３次元空間に投影される。
　本開示によれば、情報を処理することができる。特に、３Ｄデータの２次元投影による品質の低減を抑制することができる。
ポイントクラウドの例を説明する図である。 ビデオベースドアプローチの概要の例を説明する図である。 各実施の形態において説明する本技術をまとめた図である。 符号化装置の主な構成例を示すブロック図である。 パッチ分解部の主な構成例を説明する図である。 復号装置の主な構成例を示すブロック図である。 ３Ｄ再構築部の主な構成例を示すブロック図である。 従来の２次元投影の様子の例を示す図である。 本技術を適用した２次元投影の様子の例を示す図である。 符号化処理の流れの例を説明するフローチャートである。 パッチ分解処理の流れの例を説明するフローチャートである。 ２次元投影処理の流れの例を説明するフローチャートである。 復号処理の流れの例を説明するフローチャートである。 ポイントクラウド再構築処理の流れの例を説明するフローチャートである。 ３次元投影処理の流れの例を説明するフローチャートである。 従来の２次元投影の様子の例を示す図である。 本技術を適用した２次元投影の様子の例を示す図である。 ２次元投影処理の流れの例を説明するフローチャートである。 ３次元投影処理の流れの例を説明するフローチャートである。 従来の２次元投影の様子の例を示す図である。 本技術を適用した２次元投影の様子の例を示す図である。 ２次元投影処理の流れの例を説明するフローチャートである。 ３次元投影処理の流れの例を説明するフローチャートである。 コンピュータの主な構成例を示すブロック図である。
　以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
　１．ビデオベースドアプローチ
　２．第１の実施の形態（可変レイヤ数）
　３．第２の実施の形態（無いポイントの定義）
　４．第３の実施の形態（可変奥行パラメータ）
　５．付記
　＜１．ビデオベースドアプローチ＞
　　＜技術内容・技術用語をサポートする文献等＞
　本技術で開示される範囲は、実施例に記載されている内容だけではなく、出願当時において公知となっている以下の非特許文献に記載されている内容も含まれる。
　非特許文献１：（上述）
　非特許文献２：（上述）
　非特許文献３：（上述）
　非特許文献４：TELECOMMUNICATION STANDARDIZATION SECTOR OF ITU（International Telecommunication Union）, "Advanced video coding for generic audiovisual services", H.264, 04/2017
　非特許文献５：TELECOMMUNICATION STANDARDIZATION SECTOR OF ITU（International Telecommunication Union）, "High efficiency video coding", H.265, 12/2016
　非特許文献６：Jianle Chen, Elena Alshina, Gary J. Sullivan, Jens-Rainer, Jill Boyce, "Algorithm Description of Joint Exploration Test Model 4", JVET-G1001_v1, Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 7th Meeting: Torino, IT, 13-21 July 2017
　つまり、上述の非特許文献に記載されている内容もサポート要件を判断する際の根拠となる。例えば、非特許文献５に記載されているQuad-Tree Block Structure、非特許文献６に記載されているQTBT（Quad Tree Plus Binary Tree） Block Structureが実施例において直接的な記載がない場合でも、本技術の開示範囲内であり、請求の範囲のサポート要件を満たすものとする。また、例えば、パース（Parsing）、シンタックス（Syntax）、セマンティクス（Semantics）等の技術用語についても同様に、実施例において直接的な記載がない場合でも、本技術の開示範囲内であり、請求の範囲のサポート要件を満たすものとする。
　　＜ポイントクラウド＞
　従来、点群の位置情報や属性情報等により３次元構造を表すポイントクラウドや、頂点、エッジ、面で構成され、多角形表現を使用して３次元形状を定義するメッシュ等のデータが存在した。
　例えばポイントクラウドの場合、図１のＡに示されるような立体構造物を、図１のＢに示されるような多数の点の集合（点群）として表現する。つまり、ポイントクラウドのデータは、この点群の各点の位置情報や属性情報（例えば色等）により構成される。したがってデータ構造が比較的単純であるとともに、十分に多くの点を用いることにより任意の立体構造を十分な精度で表現することができる。
　　＜ビデオベースドアプローチの概要＞
　このようなポイントクラウドの位置と色情報それぞれを、小領域毎に２次元平面に投影し、２次元画像用の符号化方法で符号化するビデオベースドアプローチ（Video-based approach）が提案されている。
　このビデオベースドアプローチでは、例えば図２に示されるように、入力されたポイントクラウド（Point cloud）が複数のセグメンテーション（領域またはパッチとも称する）に分割され、領域毎に２次元平面に投影される。なお、ポイントクラウドの位置毎のデータ（すなわち、各ポイントのデータ）は、上述のように位置情報（Geometry（Depthとも称する））と属性情報（Texture）とにより構成され、それぞれ、領域毎に２次元平面に投影される。
　そして、２次元平面に投影された３Ｄデータ（ポイントクラウド）は、例えば、AVC（Advanced Video Coding）やHEVC（High Efficiency Video Coding）等といった、２次元平面画像用の符号化方式により符号化される。
　　＜ビデオベースドアプローチに関する本技術＞
　以上に説明したようなビデオベースドアプローチに関する本技術について説明する。図３は、各実施の形態において説明する本技術の一覧である。
　この表の上から１段目（項目名の段は除く）には、従来（TMC2）におけるビデオベースドアプローチについて記載されている。つまり、従来のビデオベースドアプローチにおいては、３Ｄデータの２次元投影は、２レイヤ（２層）の２次元平面に対して行われていた。この仕様は画面全体において共通であった（どのセグメントについても同様の投影が行われていた）。したがって、このような投影の制御に用いられる投影制御情報は、フレーム単位の情報として、符号化側から復号側へのシグナルされていた。
　しかしながら、符号化対象となるポイントクラウドは、ノイズや撮像システムの特性により、オブジェクト表面以外にもPointが存在する。そのため、上述のような従来の方法のような、２レイヤの２次元平面への投影は困難であるおそれがあった。したがって、２次元平面に投影できないポイントが発生し、２次元平面への投影を伴う符号化により、データの品質が低減するおそれがあった。
　また、例えば、圧縮対象がSparse（疎でまばら）な性質を持つ場合、微小領域（Point）単位の投影が必要になり、たくさんの小領域を符号化するため、処理量、符号化効率ともに悪くなるおそれがあった。
　図３の表の上から２段目（項目名の段は除く）には、第１の実施の形態（実施例１）において説明する本技術について記載されている。この方法は、３Ｄデータを投影する２次元平面のレイヤ（Layer）数を可変とし、奥行方向に重なる全てのポイントのデータ（位置毎のデータ）を、全て投影することができるようにレイヤ数を設定する方法である。
　この場合、例えば、レイヤ数を示す情報が、領域毎に、符号化側から復号側へのシグナルされるようにしてもよい。
　このようにすることにより、オブジェクト表面に厚みのあるポイントクラウドをより正確に再現することができる。つまり、３Ｄデータの２次元投影による品質の低減を抑制することができる。
　図３の表の上から３段目（項目名の段は除く）には、第２の実施の形態（実施例２）において説明する本技術について記載されている。この方法は、３Ｄデータを２次元平面に投影する際に、「無いポイント」の定義を追加する方法である。
　この場合、例えば、復号側において削除するポイントの画素値の定義が、符号化側から復号側にシグナルされるようにしてもよい。
　このようにすることにより、Sparseなポイントクラウドをより正確に再現することができる。つまり、微小領域（Point）単位の投影が不要になり、処理量の増大や符号化効率の低減を抑制することができる。
　図３の表の上から４段目（項目名の段は除く）には、第３の実施の形態（実施例３）において説明する本技術について記載されている。この方法は、２次元平面に投影する３Ｄデータの奥行の範囲を制御する奥行パラメータを領域毎に設定することができるようにする方法である。
　この場合、例えば、その奥行パラメータが、符号化側から復号側にシグナルされるようにしてもよい。
　このようにすることにより、領域毎の画質制御が可能になり、位置情報（Geometry）の効率の低減を抑制することができる。
　　＜符号化装置＞
　次に、以上のような各手法を実現する構成について説明する。図４は、本技術を適用した画像処理装置の一態様である符号化装置の構成の一例を示すブロック図である。図４に示される符号化装置１００は、ポイントクラウドのような３Ｄデータを２次元平面に投影して２次元画像用の符号化方法により符号化を行う装置である。
　例えば、符号化装置１００は、非特許文献１乃至非特許文献６に記載されている技術を実装し、それらの文献のいずれかに記載された規格に準拠した方法で３Ｄデータの符号化を行う。
　なお、図４においては、処理部やデータの流れ等の主なものを示しており、図４に示されるものが全てとは限らない。つまり、符号化装置１００において、図４においてブロックとして示されていない処理部が存在したり、図４において矢印等として示されていない処理やデータの流れが存在したりしてもよい。これは、符号化装置１００内の処理部等を説明する他の図においても同様である。
　図４に示されるように符号化装置１００は、パッチ分解部１１１、パッキング部１１２、補助パッチ情報圧縮部１１３、ビデオ符号化部１１４、ビデオ符号化部１１５、OMap符号化部１１６、およびマルチプレクサ１１７を有する。
　パッチ分解部１１１は、３Ｄデータの分解に関する処理を行う。例えば、パッチ分解部１１１は、符号化装置１００に入力される、３次元構造を表す３Ｄデータ（例えばポイントクラウド）を取得する（矢印１２１）。また、パッチ分解部１１１は、取得したその３Ｄデータを複数のパッチに分解し、そのパッチ毎に３Ｄデータを２次元平面に投影する。
　パッチ分解部１１１は、パッチ毎に２次元平面に投影された３Ｄデータをパッキング部１１２に供給する（矢印１２２）。また、パッチ分解部１１１は、その分解に関する情報である補助パッチ情報を、補助パッチ情報圧縮部１１３に供給する（矢印１２３）。
　パッキング部１１２は、データのパッキングに関する処理を行う。例えば、パッキング部１１２は、パッチ分解部１１１から供給されるパッチ毎に３Ｄデータが投影された２次元平面のデータを取得する（矢印１２２）。また、パッキング部１１２は、取得したその２次元平面の各レイヤを互いに異なるビデオフレームとしてパッキングする。例えば、パッキング部１１２は、ポイントの位置を示す位置情報（Gepmetry）、その位置情報に付加される色情報等の属性情報（Texture）、および、ポイントの存在の有無を示すオキュパンシーマップ（Occupancy Map）を、それぞれ、ビデオフレームとしてパッキングする。
　パッキング部１１２は、生成したビデオフレームを後段の処理部に供給する（矢印１２４）。例えば、パッキング部１１２は、生成した位置情報（Geometry）のビデオフレームをビデオ符号化部１１４に供給する。また、例えば、パッキング部１１２は、生成した属性情報（Texture）のビデオフレームをビデオ符号化部１１５に供給する。さらに、例えば、パッキング部１１２は、生成したオキュパンシーマップのビデオフレームをOMap符号化部１１６に供給する。
　また、パッキング部１１２は、そのパッキングに関する制御情報をマルチプレクサ１１７に供給する（矢印１２５）。
　補助パッチ情報圧縮部１１３は、補助パッチ情報の圧縮に関する処理を行う。例えば、補助パッチ情報圧縮部１１３は、パッチ分解部１１１から供給されるデータを取得する（矢印１２３）。補助パッチ情報圧縮部１１３は、取得したデータに含まれる補助パッチ情報を符号化（圧縮）する。補助パッチ情報圧縮部１１３は、得られた補助パッチ情報の符号化データをマルチプレクサ１１７に供給する（矢印１２６）。
　ビデオ符号化部１１４は、位置情報（Geometry）のビデオフレームの符号化に関する処理を行う。例えば、ビデオ符号化部１１４は、パッキング部１１２から供給される位置情報（Geometry）のビデオフレームを取得する（矢印１２４）。また、ビデオ符号化部１１４は、その取得した位置情報（Geometry）のビデオフレームを、例えばAVCやHEVC等の任意の２次元画像用の符号化方法により符号化する。ビデオ符号化部１１４は、その符号化により得られた符号化データ（位置情報（Geometry）のビデオフレームの符号化データ）をマルチプレクサ１１７に供給する（矢印１２７）。
　ビデオ符号化部１１５は、属性情報（Texture）のビデオフレームの符号化に関する処理を行う。例えば、ビデオ符号化部１１５は、パッキング部１１２から供給される属性情報（Texture）のビデオフレームを取得する（矢印１２４）。また、ビデオ符号化部１１５は、その取得した属性情報（Texture）のビデオフレームを、例えばAVCやHEVC等の任意の２次元画像用の符号化方法により符号化する。ビデオ符号化部１１５は、その符号化により得られた符号化データ（属性情報（Texture）のビデオフレームの符号化データ）をマルチプレクサ１１７に供給する（矢印１２８）。
　OMap符号化部１１６は、オキュパンシーマップのビデオフレームの符号化に関する処理を行う。例えば、OMap符号化部１１６は、パッキング部１１２から供給されるオキュパンシーマップのビデオフレームを取得する（矢印１２４）。また、OMap符号化部１１６は、その取得したオキュパンシーマップのビデオフレームを、例えばAVCやHEVC等の任意の２次元画像用の符号化方法により符号化する。OMap符号化部１１６は、その符号化により得られた符号化データ（オキュパンシーマップのビデオフレームの符号化データ）をマルチプレクサ１１７に供給する（矢印１２９）。
　マルチプレクサ１１７は、多重化に関する処理を行う。例えば、マルチプレクサ１１７は、補助パッチ情報圧縮部１１３から供給される補助パッチ情報の符号化データを取得する（矢印１２６）。また、例えば、マルチプレクサ１１７は、パッキング部１１２から供給されるパッキングに関する制御情報を取得する（矢印１２５）。また、例えば、マルチプレクサ１１７は、ビデオ符号化部１１４から供給される位置情報（Geometry）のビデオフレームの符号化データを取得する（矢印１２７）。また、例えば、マルチプレクサ１１７は、ビデオ符号化部１１５から供給される属性情報（Texture）のビデオフレームの符号化データを取得する（矢印１２８）。また、例えば、マルチプレクサ１１７は、OMap符号化部１１６から供給されるオキュパンシーマップのビデオフレームの符号化データを取得する（矢印１２９）。
　マルチプレクサ１１７は、取得したそれらの情報を多重化して、ビットストリームを生成する。マルチプレクサ１１７は、その生成したビットストリームを符号化装置１００の外部に出力する（矢印１３０）。
　　＜パッチ分解部＞
　図５は、パッチ分解部１１１の主な構成例を示すブロック図である。図５に示されるように、この場合のパッチ分解部１１１は、法線方向推定部１５１、セグメンテーション初期設定部１５２、セグメンテーション更新部１５３、２次元投影部１５４、および画素分布解析部１５５を有する。
　法線方向推定部１５１は、３Ｄデータの表面の法線方向の推定に関する処理を行う。例えば、法線方向推定部１５１は、入力される３Ｄデータを取得する。また、法線方向推定部１５１は、その取得した３Ｄデータが表すオブジェクトの表面の法線方向を推定する。例えば、法線方向推定部１５１は、kd-treeを構築し、近傍を探索し、最適近似接平面を算出する等して法線方向を推定する。法線方向推定部１５１は、その法線方向の推定結果をその他のデータとともに、セグメンテーション初期設定部１５２に供給する。
　セグメンテーション初期設定部１５２は、セグメンテーションの初期設定に関する処理を行う。例えば、セグメンテーション初期設定部１５２は、法線方向推定部１５１から供給されるデータを取得する。また、例えば、セグメンテーション初期設定部１５２は、法線方向推定部１５１により推定された法線方向の、６軸の各方向の成分に基づいて、３Ｄデータの、その法線方向に対応する面を分類する。セグメンテーション初期設定部１５２は、その分類結果を、他のデータとともにセグメンテーション更新部１５３に供給する。
　セグメンテーション更新部１５３は、セグメンテーションの更新に関する処理を行う。例えば、セグメンテーション更新部１５３は、セグメンテーション初期設定部１５２から供給されるデータを取得する。そして、セグメンテーション更新部１５３は、セグメンテーション初期設定部１５２により設定された初期設定のセグメンテーションにおける小さすぎる領域をまとめ、十分に大きな領域となるようにする。セグメンテーション更新部１５３は、更新したセグメンテーションに関する情報を、その他の情報とともに、２次元投影部１５４に供給する。
　２次元投影部１５４は、３Ｄデータの２次元投影に関する処理を行う。例えば、２次元投影部１５４は、セグメンテーション更新部１５３から供給されるデータを取得する。また、２次元投影部１５４は、画素分布解析部１５５を利用して、取得したデータに含まれる３Ｄデータのオキュパンシーマップを生成したり、その３Ｄデータやオキュパンシーデータを領域毎に２次元平面に投影したりする。２次元投影部１５４は、２次元平面に投影した３Ｄデータを、その他のデータとともに、パッキング部１１２に供給する。
　画素分布解析部１５５は、２次元投影部１５４が処理対象とする３Ｄデータの画素分布の解析に関する処理を行う。
　　＜復号装置＞
　図６は、本技術を適用した画像処理装置の一態様である復号装置の構成の一例を示すブロック図である。図６に示される復号装置２００は、ポイントクラウドのような３Ｄデータが２次元平面に投影されて符号化された符号化データを、２次元画像用の復号方法により復号し、３次元空間に投影する装置である。
　例えば、復号装置２００は、非特許文献１乃至非特許文献６に記載されている技術を実装し、それらの文献のいずれかに記載された規格に準拠した方法で３Ｄデータの符号化データの復号を行う。
　なお、図６においては、処理部やデータの流れ等の主なものを示しており、図６に示されるものが全てとは限らない。つまり、復号装置２００において、図６においてブロックとして示されていない処理部が存在したり、図６において矢印等として示されていない処理やデータの流れが存在したりしてもよい。これは、復号装置２００内の処理部等を説明する他の図においても同様である。
　図６に示されるように復号装置２００は、デマルチプレクサ２１１、補助パッチ情報復号部２１２、ビデオ復号部２１３、ビデオ復号部２１４、OMap復号部２１５、アンパッキング部２１６、および３Ｄ再構築部２１７を有する。
　デマルチプレクサ２１１は、データの逆多重化に関する処理を行う。例えば、デマルチプレクサ２１１は、復号装置２００に入力されるビットストリームを取得する。このビットストリームは、例えば、符号化装置１００より供給される。デマルチプレクサ２１１は、このビットストリームを逆多重化し、補助パッチ情報の符号化データを抽出し、それを補助パッチ情報復号部２１２に供給する。また、デマルチプレクサ２１１は、逆多重化により、ビットストリームから、位置情報（Geometory）のビデオフレームの符号化データを抽出し、それをビデオ復号部２１３に供給する。さらに、デマルチプレクサ２１１は、逆多重化により、ビットストリームから、属性情報（Texture）のビデオフレームの符号化データを抽出し、それをビデオ復号部２１４に供給する。また、デマルチプレクサ２１１は、逆多重化により、ビットストリームから、オキュパンシーマップのビデオフレームの符号化データを抽出し、それをOMap復号部２１５に供給する。
　補助パッチ情報復号部２１２は、補助パッチ情報の符号化データの復号に関する処理を行う。例えば、補助パッチ情報復号部２１２は、デマルチプレクサ２１１から供給される補助パッチ情報の符号化データを取得する。また、補助パッチ情報復号部２１２は、その取得したデータに含まれる補助パッチ情報の符号化データを復号する。補助パッチ情報復号部２１２は、その復号により得られた補助パッチ情報を３Ｄ再構築部２１７に供給する。
　ビデオ復号部２１３は、位置情報（Geometory）のビデオフレームの符号化データの復号に関する処理を行う。例えば、ビデオ復号部２１３は、デマルチプレクサ２１１から供給される位置情報（Geometory）のビデオフレームの符号化データを取得する。また、例えば、ビデオ復号部２１３は、その取得した符号化データを復号し、位置情報（Geometory）のビデオフレームを得る。ビデオ復号部２１３は、その位置情報（Geometory）のビデオフレームを、アンパッキング部２１６に供給する。
　ビデオ復号部２１４は、属性情報（Texture）のビデオフレームの符号化データの復号に関する処理を行う。例えば、ビデオ復号部２１４は、デマルチプレクサ２１１から供給される属性情報（Texture）のビデオフレームの符号化データを取得する。また、例えば、ビデオ復号部２１４は、その取得した符号化データを復号し、属性情報（Texture）のビデオフレームを得る。ビデオ復号部２１４は、その属性情報（Texture）のビデオフレームを、アンパッキング部２１６に供給する。
　OMap復号部２１５は、オキュパンシーマップのビデオフレームの符号化データの復号に関する処理を行う。例えば、OMap復号部２１５は、デマルチプレクサ２１１から供給されるオキュパンシーマップのビデオフレームの符号化データを取得する。また、例えば、OMap復号部２１５は、その取得した符号化データを復号し、オキュパンシーマップのビデオフレームを得る。OMap復号部２１５は、そのオキュパンシーマップのビデオフレームを、アンパッキング部２１６に供給する。
　アンパッキング部２１６は、アンパッキングに関する処理を行う。例えば、アンパッキング部２１６は、ビデオ復号部２１３から位置情報（Geometory）のビデオフレームを取得し、ビデオ復号部２１４から属性情報（Texture）のビデオフレームを取得し、OMap復号部２１５からオキュパンシーマップのビデオフレームを取得する。アンパッキング部２１６は、これらのビデオフレームをアンパッキングする。アンパッキング部２１６は、アンパッキングして得られた、位置情報（Geometory）のデータ、属性情報（Texture）のデータ、およびオキュパンシーマップのデータを、３Ｄ再構築部２１７に供給する。
　３Ｄ再構築部２１７は、３Ｄデータの再構築に関する処理を行う。例えば、３Ｄ再構築部２１７は、補助パッチ情報復号部２１２から供給される補助パッチ情報や、アンパッキング部２１６から供給される位置情報（Geometory）のデータ、属性情報（Texture）のデータ、およびオキュパンシーマップのデータ等に基づいて、３Ｄデータを再構築する。３Ｄ再構築部２１７は、このような処理により得られた３Ｄデータを復号装置２００の外部に出力する。
　この３Ｄデータは、例えば、表示部に供給されてその画像が表示されたり、記録媒体に記録されたり、通信を介して他の装置に供給されたりする。
　　＜３Ｄ再構築部＞
　図７は、図６の３Ｄ再構築部２１７の主な構成例を示すブロック図である。図７に示されるように、３Ｄ再構築部２１７は、３次元投影部２５１、画素分布解析部２５２、逆セグメンテーション更新部２５３、逆セグメンテーション初期設定部２５４、および逆法線方向推定部２５５を有する。
　３次元投影部２５１は、領域毎に２次元平面に投影された３Ｄデータの３次元空間への投影を行う。画素分布解析部２５２は、３次元投影部２５１による３次元空間への投影の際に、画素分布の解析等の処理を行う。
　逆セグメンテーション更新部２５３は、セグメンテーション更新部１５３の逆処理を行う。逆セグメンテーション初期設定部２５４は、セグメンテーション初期設定部１５２の逆処理を行う。逆法線方向推定部２５５は、法線方向推定部１５１の逆処理を行う。
　＜２．第１の実施の形態＞
　　＜３Ｄデータを投影する２次元平面のレイヤ数可変＞
　従来の方法では、３Ｄデータは、図８に示される例のように、２つのレイヤ（レイヤ０およびレイヤ１）の２次元平面に投影されていた。
　レイヤ０（Layer0）には、３Ｄデータの投影面から見て表面のポイントのデータが投影される。レイヤ１（Layer1）には、レイヤ０から所定の閾値（Default Th = 4Voxel）以内で最も離れているポイントのデータが投影される。この所定の閾値Th以上離れているものはドロップ（Drop）される。なお、レイヤ１においては、レイヤ０からの距離の差分値が画素値なる。
　このように２枚の固定のレイヤだけで、オブジェクト表面を表現するアルゴリズムの為、その他のポイントの情報は失われる（再現することができない）。したがって、２次元平面に投影できないポイントが発生し、２次元平面への投影を伴う符号化により、データの品質が低減するおそれがあった。
　そこで、３Ｄデータを投影する２次元平面のレイヤ数を可変としてもよい。例えば、３次元構造を表す３Ｄデータに含まれる全ての位置毎のデータを、複数レイヤの２次元平面に投影するようにする。例えば、画像処理装置において、３次元構造を表す３Ｄデータに含まれる全ての位置毎のデータを、複数レイヤの２次元平面に投影する２次元投影部を備えるようにする。
　例えば図９の場合、レイヤ０（Layer0）乃至レイヤ３（Layer3）の２次元平面（２レイヤより多いレイヤの２次元平面）が設定され、それらのレイヤに３Ｄデータが投影されている。このようにすることにより、オブジェクト表面に厚みのあるポイントクラウドをより正確に再現することができる。つまり、３Ｄデータの２次元投影による品質の低減を抑制することができる。
　例えば、２次元投影部１５４が、３Ｄデータの、投影面から見て位置が奥行方向に重なる位置毎のデータを、複数のレイヤの２次元平面の、互いに異なるレイヤに投影するようにしてもよい。
　図９の例の場合、奥行方向に重なるデータは、レイヤ０乃至レイヤ３の内の互いに異なるレイヤに投影されている。このようにすることにより、３Ｄデータの、投影面から見て位置が奥行方向に重なる位置毎のデータを全て２次元平面に投影することができる。つまり、情報の損失を抑制することができる。したがって、３Ｄデータの２次元投影による品質の低減を抑制することができる。
　また、例えば、２次元投影部１５４が、この２次元平面について、３Ｄデータの投影面から見て位置が奥行方向に重なる位置毎のデータの最大数と同数のレイヤを生成するようにしてもよい。
　図９の例の場合、当該領域（Local Bounding Box）の３Ｄデータにおいて、奥行方向に重なるデータの最大数は４である。したがって、この３Ｄデータは、４レイヤ（レイヤ０乃至レイヤ３）の２次元平面に投影される。
　このようにすることにより、３Ｄデータの全ての位置毎のデータを、２次元平面に投影することができる。したがって、情報の損失を抑制することができるので、３Ｄデータの２次元投影による品質の低減を抑制することができる。
　なお、この場合、２次元投影部１５４により３Ｄデータが投影された２次元平面のレイヤ数を示す情報を、ビットストリームにシグナルするようにしてもよい。つまり、ビットストリーム生成部として機能するマルチプレクサ１１７が、２次元投影部１５４により３Ｄデータが投影された２次元平面のレイヤ数を示す情報と、ビデオ符号化部１１４等により２次元平面が符号化されて得られた符号化データとを含むビットストリームを生成する。
　このようにすることにより、復号側において、この２次元平面のレイヤ数を示す情報を参照することにより、容易に、２次元平面の全てのレイヤに投影された３Ｄデータを３次元空間に投影することができる。
　　＜符号化処理の流れ＞
　符号化装置１００により実行される符号化処理の流れの例を、図１０のフローチャートを参照して説明する。
　符号化処理が開始されると、符号化装置１００のパッチ分解部１１１は、ステップＳ１０１において、３Ｄデータをパッチに分解し、各パッチのデータを２次元平面に投影する。ステップＳ１０２において、補助パッチ情報圧縮部１１３は、ステップＳ１０１の処理により得られた補助パッチ情報を圧縮する。
　ステップＳ１０３において、パッキング部１１２は、パッチ分解部１１１によりパッチ毎に２次元平面に投影された３Ｄデータを、ビデオフレームとしてパッキングする。ステップＳ１０４において、ビデオ符号化部１１４は、ステップＳ１０３の処理により得られた位置情報のビデオフレームであるジオメトリビデオフレームを、２次元画像用の符号化方法により符号化する。
　ステップＳ１０５において、ビデオ符号化部１１４は、ステップＳ１０３の処理により得られた属性情報のビデオフレームであるカラービデオフレームを、２次元画像用の符号化方法により符号化する。ステップＳ１０６において、ビデオ符号化部１１４は、ステップＳ１０３の処理により得られたオキュパンシーマップを、２次元画像用の符号化方法により符号化する。
　ステップＳ１０７において、マルチプレクサ１１７は、以上のように生成された各種情報を多重化し、これらの情報を含むビットストリームを生成する。
　ステップＳ１０８において、マルチプレクサ１１７は、ステップＳ１０７の処理により生成したビットストリームを符号化装置１００の外部に出力する。
　ステップＳ１０８の処理が終了すると、符号化処理が終了する。
　　＜パッチ分解処理の流れ＞
　次に、図１１のフローチャートを参照して、図１０のステップＳ１０１において実行されるパッチ分解処理の流れの例を説明する。
　パッチ分解処理が開始されると、法線方向推定部１５１は、ステップＳ１２１において、法線方向を推定する。ステップＳ１２２において、セグメンテーション初期設定部１５２は、セグメンテーションの初期設定を行う。ステップＳ１２３において、セグメンテーション更新部１５３は、ステップＳ１２２において設定された初期状態のセグメンテーションを、必要に応じて更新する。ステップＳ１２４において、２次元投影部１５４は、３Ｄデータを２次元平面に投影する。
　ステップＳ１２４の処理が終了すると、パッチ分解処理が終了し、処理は図１０に戻る。
　　＜２次元投影処理の流れ＞
　次に、図１２のフローチャートを参照して、図１１のステップＳ１２４において実行される２次元投影処理の流れの例を説明する。
　２次元投影処理が開始されると、２次元投影部１５４は、ステップＳ１４１において、セグメンテーションによる領域抽出を行う。ステップＳ１４２において、２次元投影部１５４は、レイヤ（Layer）番号i=0に初期化する。
　ステップＳ１４３において、画素分布解析部１５５は、未投影画素（２次元平面に投影されていない３Ｄデータの位置毎のデータ）が存在するか否かを判定する。未投影画素が存在すると判定された場合、処理はステップＳ１４４に進む。
　ステップＳ１４４において、２次元投影部１５４は、領域を処理対象のレイヤi（Layer i）に投影する。ステップＳ１４５において、２次元投影部１５４は、変数iをインクリメントする（i++）。ステップＳ１４５の処理が終了すると処理はステップＳ１４３に戻り、それ以降の処理が繰り返される。
　ステップＳ１４３において、未投影画素が存在しない（領域内の全ての画素が投影された）と判定された場合、処理はステップＳ１４６に進む。
　ステップＳ１４６において、２次元投影部１５４は、レイヤ枚数iを示す情報を供給し、符号化させる。また、ステップＳ１４７において、２次元投影部１５４は、対応するiフレーム分のジオメトリ画像を符号化させる。つまり、２次元投影部１５４は、３Ｄデータを投影した２次元平面をパッキング部１１２に供給し、その各レイヤを互いに異なるフレームとしてパッキングさせる。
　ステップＳ１４７の処理が終了すると、２次元投影処理が終了し、処理は図１１に戻る。
　以上のように各処理を実行することにより、オブジェクト表面に厚みのあるポイントクラウドをより正確に再現することができる。つまり、３Ｄデータの２次元投影による品質の低減を抑制することができる。
　　＜レイヤ数可変な２次元平面に投影された３Ｄデータの再構築＞
　復号側においては、符号化側より提供される２次元平面のレイヤ数を示す情報を用いることにより、上述のようにレイヤ数が可変の２次元平面に投影された３Ｄデータの再構築を実現することができる。
　つまり、レイヤ数情報が示すレイヤ数の２次元平面に投影された３Ｄデータの全ての位置毎のデータを、３次元空間に投影するようにする。例えば、画像処理装置において、レイヤ数情報が示すレイヤ数の２次元平面に投影された３Ｄデータの全ての位置毎のデータを、３次元空間に投影する３次元投影部を備えるようにする。
　このようにすることにより、レイヤ数が可変の２次元平面に投影された３Ｄデータの再構築を実現することができる。つまり、オブジェクト表面に厚みのあるポイントクラウドをより正確に再現することができる。すなわち、３Ｄデータの２次元投影による品質の低減を抑制することができる。
　　＜復号処理の流れ＞
　復号装置２００により実行される復号処理の流れの例を、図１３のフローチャートを参照して説明する。
　復号処理が開始されると、復号装置２００のデマルチプレクサ２１１は、ステップＳ２０１において、ビットストリームを逆多重化する。
　ステップＳ２０２において、補助パッチ情報復号部２１２は、ステップＳ２０１の処理によりビットストリームから抽出された補助パッチ情報を復号する。ステップＳ２０３において、ビデオ復号部２１３は、ステップＳ２０１の処理によりビットストリームから抽出されたジオメトリビデオフレーム（位置情報のビデオフレーム）の符号化データを復号する。
　ステップＳ２０４において、ビデオ復号部２１４は、ステップＳ２０１の処理によりビットストリームから抽出されたカラービデオフレーム（属性情報のビデオフレーム）の符号化データを復号する。ステップＳ２０５において、OMap復号部２１５は、ステップＳ２０１の処理によりビットストリームから抽出されたオキュパンシーマップの符号化データを復号する。
　ステップＳ２０６において、アンパッキング部２１６は、ステップＳ２０３乃至ステップＳ２０５において復号された、ジオメトリビデオフレーム、カラービデオフレーム、およびオキュパンシーマップをそれぞれアンパッキングする。
　ステップＳ２０７において、３Ｄ再構築部２１７は、ステップＳ２０２において得られた補助パッチ情報と、ステップＳ２０６において得られた各種情報とに基づいて、例えばポイントクラウド等の３Ｄデータを再構築する。
　ステップＳ２０７の処理が終了すると復号処理が終了する。
　　＜ポイントクラウド再構築処理の流れ＞
　次に、図１４のフローチャートを参照して、図１３のステップＳ２０７において実行されるポイントクラウド再構築処理の流れの例を説明する。
　ポイントクラウド再構築処理が開始されると、３次元投影部２５１は、ステップＳ２２１において、２次元画像を３次元空間に投影する。
　ステップＳ２２２において、逆セグメンテーション更新部２５３は、セグメンテーションを逆向きに更新し、まとめたセグメンテーションを分ける。
　ステップＳ２２３において、逆セグメンテーション初期設定部２５４は、セグメンテーションの初期設定の逆処理を行い、分類されたポイントをまとめる。
　ステップＳ２２４において、逆法線方向推定部２５５は、法線方向推定の逆処理を行い、ポイントクラウドを再構築する。
　ステップＳ２２４の処理が終了すると、ポイントクラウド再構築処理が終了し、処理は図１３に戻る。
　　＜３次元投影処理の流れ＞
　次に、図１５のフローチャートを参照して、図１４のステップＳ２２１において実行される３次元投影処理の流れの例を説明する。
　３次元投影処理が開始されると、３次元投影部２５１は、ステップＳ２４１において、レイヤ枚数ｉを示す情報を復号させる。
　ステップＳ２４２において、３次元投影部２５１は、対応するiフレーム分のジオメトリ画像を復号させる。
　ステップＳ２４３において、画素分布解析部２５２は、変数k=0に初期化する。
　ステップＳ２４４において、画素分布解析部２５２は、変数ｋ<iであるか否かを判定する。k<iであると判定された場合、処理はステップＳ２４５に進む。
　ステップＳ２４５において、３次元投影部２５１は、レイヤk（Layer k）の３Ｄデータを、３次元空間に投影する。
　ステップＳ２４６において、画素分布解析部２５２は、変数kをインクリメントする（k++）。
　ステップＳ２４６の処理が終了すると、処理は、ステップＳ２４４に戻る。
　また、ステップＳ２４４において変数ｋ<iでないと判定された場合、３次元投影処理が終了し、処理は図１４に戻る。
　以上のように各処理を実行することにより、レイヤ数が可変の２次元平面に投影された３Ｄデータの再構築を実現することができる。つまり、オブジェクト表面に厚みのあるポイントクラウドをより正確に再現することができる。すなわち、３Ｄデータの２次元投影による品質の低減を抑制することができる。
　＜３．第２の実施の形態＞
　　＜「無い画素」を示す値のシグナル＞
　疎（Sparse）な３Ｄデータを２次元平面に投影すると、その２次元平面上において３Ｄデータが投影されない画素、すなわち、画素値が設定されない画素（無い画素とも称する）が生じる場合がある。
　従来の方法では、３Ｄデータが疎（Sparse）な場合、図１６に示されるように、そのような「無い画素」に対して画素値が補完された。例えば図１６の場合、レイヤ０（Layer0）の「無い画素」に対して、その左隣の画素から画素値がコピーされる（画素補完が行われる）。このような補完処理を行うのは、２次元画像用の符号化方法（例えばAVCやHEVC等）は、データが存在しない（空白）という概念が存在しないためである。
　しかしながら、このような補完処理を行うと、３Ｄデータに本来存在しないポイントを付加することになる。そのため、３Ｄデータが劣化するおそれがあった。すなわち、３Ｄデータの２次元投影による品質が低減するおそれがあった。
　なお、このような補完処理を行わない場合、３Ｄデータが投影される２次元平面上において「無い画素」が生じないように、領域を設定する必要がある。そのため、微小領域（Point）単位の投影が必要になり、処理量が増大したり、符号化効率が低減したりするおそれがあった。
　そこで、３次元構造を表す３Ｄデータに含まれる位置毎のデータを２次元平面に投影し、その２次元平面の位置毎のデータが存在しない位置に、その位置毎のデータが存在しないことを示す所定の値をセットするようにする。例えば、画像処理装置において、３次元構造を表す３Ｄデータに含まれる位置毎のデータを２次元平面に投影し、その２次元平面の位置毎のデータが存在しない位置に、その位置毎のデータが存在しないことを示す所定の値をセットする２次元投影部を備えるようにする。
　例えば図１７に示されるように、３Ｄデータが投影された２次元平面上における「無い画素」を示す画素値として、規定の値Ｘを用いる。このＸの値は、例えば、予め定められた所定の固定値としてもよい。例えば、Ｘ＝２５５（８bitの上限）としてもよい。
　この場合、ビットストリーム中に、Ｘの値をシグナルする必要がある（復号側に通知する必要がある）。
　また、例えば、Ｘの値は、Ｘ＞Ｄとなる任意の値を利用することができるようにしてもよい。ここでＤは、当該バウンディングボックスの奥行の最大値を示す。２次元平面の画素値に、そのバウンディングボックスの奥行の最大値以上の値がセットされることはあり得ない。したがって、その未使用の値をＸとして用いるようにしてもよい。
　この場合、復号側において、バウンディングボックスのサイズに関する情報から、２次元平面にセットされた画素値が未使用の値であるか否かを判別することができる。したがって、このＸの値をビットストリームにシグナルする（つまり、このＸの値を復号側に通知する）必要はない。ただし、Ｘの値を復号側に通知するようにしても、もちろんよい。
　このようにすることにより、符号化装置１００は、データの補完を必要とせずに、「無い画素」を表現することができるので、３Ｄデータの劣化を抑制することができる。つまり、３Ｄデータの２次元投影による品質の低減を抑制することができる。
　また、このようにすることにより、符号化装置１００は、２次元平面における「符号化できない画素」の数を低減させることができるので、単に補完処理を行わない場合と比べて領域を大きく設定することができる。したがって、微小領域（Point）単位の投影が不要になり、処理量の増大や、符号化効率の低減を抑制することができる。
　　＜２次元投影処理の流れ＞
　この場合も、符号化処理およびパッチ分解処理は、第１の実施の形態において説明した場合と同様に行われる。したがってそれらの説明は省略する。
　図１１のステップＳ１２４において実行される、この場合の２次元投影処理の流れの例を、図１８のフローチャートを参照して説明する。
　２次元投影処理が開始されると、２次元投影部１５４は、ステップＳ３０１において、セグメンテーションによる領域抽出を行う。ステップＳ３０２において、画素分布解析部１５５は、疎なポイントクラウドを含む領域であるか否かを判定する。疎なポイントクラウドを含む領域であると判定された場合、処理はステップＳ３０３に進む。
　ステップＳ３０３において、２次元投影部１５４は、当該領域に対して「無い画素」を定義する情報をシグナルする。つまり、上述のＸを設定し、そのＸを利用して、２次元平面に投影された「存在しないポイント」を表現する。ステップＳ３０３の処理が終了すると、処理はステップＳ３０５に進む。
　また、ステップＳ３０２において、疎なポイントクラウドを含まない領域であると判定された場合、処理はステップＳ３０４に進む。
　ステップＳ３０４において、２次元投影部１５４は、当該領域を２次元平面の各レイヤに投影する。ステップＳ３０４の処理が終了すると処理はステップＳ３０５に進む。
　ステップＳ３０５において、２次元投影部１５４は、当該領域のジオメトリ画像を符号化させる。
　ステップＳ３０５の処理が終了すると、２次元投影処理が終了し、処理は図１１に戻る。
　以上のように、２次元投影処理を行うことにより、符号化装置１００は、データの補完を必要とせずに、「無い画素」を表現することができる。したがって、３Ｄデータの劣化を抑制することができる。つまり、３Ｄデータの２次元投影による品質の低減を抑制することができる。
　また、このようにすることにより、符号化装置１００は、２次元平面における「符号化できない画素」の数を低減させることができるので、単に補完処理を行わない場合と比べて領域を大きく設定することができる。したがって、微小領域（Point）単位の投影が不要になり、処理量の増大や、符号化効率の低減を抑制することができる。
　　＜シグナルされた「無い画素」を示す値の利用＞
　復号側においては、２次元平面に投影された３Ｄデータを３次元空間に投影する際に、以上のようにしてシグナルされた２次元平面上の「無い画素」を示す画素値（上述のＸ）を検出し、削除する（投影しないようにする）。
　つまり、２次元平面に投影された３次元構造を表す３Ｄデータに含まれる位置毎のデータの内、その位置毎のデータが存在しないことを示す所定の値のデータ以外のデータを、３次元空間に投影するようにする。例えば、画像処理装置において、２次元平面に投影された３次元構造を表す３Ｄデータに含まれる位置毎のデータの内、その位置毎のデータが存在しないことを示す所定の値のデータ以外のデータを、３次元空間に投影する３次元投影部を備えるようにする。
　このようにすることにより、データの補完を必要とせずに、「無い画素」を表現することができるので、３Ｄデータの劣化を抑制することができる。つまり、３Ｄデータの２次元投影による品質の低減を抑制することができる。
　また、このようにすることにより、２次元平面における「符号化できない画素」の数を低減させることができるので、単に補完処理を行わない場合と比べて領域を大きく設定することができる。したがって、微小領域（Point）単位の投影が不要になり、処理量の増大や、符号化効率の低減を抑制することができる。
　　＜３次元投影処理の流れ＞
　この場合も、復号処理およびポイントクラウド再構築処理は、第１の実施の形態において説明した場合と同様に行われる。したがってそれらの説明は省略する。
　図１４のステップＳ２２１において実行される、この場合の３次元投影処理の流れの例を、図１９のフローチャートを参照して説明する。
　３次元投影処理が開始されると、３次元投影部２５１は、ステップＳ３２１において、処理対象の領域のジオメトリ画像を復号させる。
　ステップＳ３２２において、画素分布解析部２５２は、そのジオメトリ画像に、「無い画素」を定義する情報（「無い画素」を示す画素値）が存在するか否かを判定する。存在すると判定された場合、処理はステップＳ３２３に進む。
　ステップＳ３２３において、３次元投影部２５１は、その検出された「無い画素」を示す画素値の画素を削除する（３次元空間に投影しないように設定する）。ステップＳ３２３の処理が終了すると、処理はステップＳ３２４に進む。
　また、ステップＳ３２２において、「無い画素」を示す画素値が存在しないと判定された場合、ステップＳ３２３の処理が省略され、処理はステップＳ３２４に進む。
　つまり、処理対象の領域のジオメトリ画像に対して、「無い画素」を示す画素値の検出が行われ、検出された場合、その画素が削除される。
　ステップＳ３２４において、３次元投影部２５１は、処理対象の領域のジオメトリ画像を３次元空間に投影する。
　ステップＳ３２４の処理が終了すると、３次元投影処理が終了し、処理は図１４に戻る。
　以上のように３次元投影処理を実行することにより、復号装置２００は、データの補完を必要とせずに、「無い画素」を表現することができるので、３Ｄデータの劣化を抑制することができる。つまり、３Ｄデータの２次元投影による品質の低減を抑制することができる。
　また、このようにすることにより、復号装置２００は、２次元平面における「符号化できない画素」の数を低減させることができるので、単に補完処理を行わない場合と比べて領域を大きく設定することができる。したがって、微小領域（Point）単位の投影が不要になり、処理量の増大や、符号化効率の低減を抑制することができる。
　＜４．第３の実施の形態＞
　　＜奥行パラメータの制御＞
　３Ｄデータを２次元平面に投影する際に、その２次元平面に投影する３Ｄデータの奥行方向の範囲を制御する奥行パラメータthが利用される。この奥行パラメータthにより指定される範囲内のポイントが２次元平面への投影対象となるため、この奥行パラメータthの値は、領域（Local bounding box）の奥行方向の長さに関係する。例えば、領域の奥行方向の長さよりも奥行パラメータthの値が大きいと、他の領域のポイントも投影対象になり得る。つまり、領域の奥行方向の長さは、奥行パラメータthよりも長くする必要がある。
　従来の方法では、図２０に示されるように、この奥行パラメータthは、フレーム単位で制御される。したがって、フレーム内の全ての奥行パラメータthは、共通の値を持つ。
　しかしながら、例えば、顔と足、中心部と周辺部のように、フレーム内においてポイントクラウドの表面密度が一定でない場合もあり得る。そのため、奥行パラメータthの値が常に最適とならず、符号化効率が低減するおそれがあった。例えば、奥行方向に領域を分割した方が符号化効率が良いのに、奥行パラメータthの値が大きく、分割できないといったケースが起こり得る。
　そこで、３次元構造を表す３Ｄデータの位置毎のデータを３次元空間の所定の領域毎に２次元平面に投影する際に、その領域毎に設定された１レイヤに投影可能な３次元構造を表す３Ｄデータの位置毎のデータの奥行方向の範囲を制限する奥行パラメータが示す奥行方向の範囲内の位置毎のデータを、その２次元平面に投影するようにする。例えば、画像処理装置において、３次元構造を表す３Ｄデータの位置毎のデータを３次元空間の所定の領域毎に２次元平面に投影する際に、その領域毎に設定された１レイヤに投影可能な３次元構造を表す３Ｄデータの位置毎のデータの奥行方向の範囲を制限する奥行パラメータが示す奥行方向の範囲内の位置毎のデータを、その２次元平面に投影する２次元投影部を備えるようにする。
　例えば、図２１に示されるように、奥行パラメータをパッチ毎に伝送できるよう拡張し、領域毎に、レイヤ（Layer）に投影する画素の位置（TH)を伝送するようにする。このようにすることにより、例えば、領域１に対しては、奥行パラメータthを設定し、領域２に対しては、奥行パラメータth’を設定することができるようになる。したがって、レイヤ１（Layer1）の効率（Geometry符号化効率）が改善する。
　　＜２次元投影処理の流れ＞
　この場合も、符号化処理およびパッチ分解処理は、第１の実施の形態において説明した場合と同様に行われる。したがってそれらの説明は省略する。
　図１１のステップＳ１２４において実行される、この場合の２次元投影処理の流れの例を、図２２のフローチャートを参照して説明する。
　２次元投影処理が開始されると、画素分布解析部１５５は、ステップＳ４０１において、領域番号i=0に初期化する。
　ステップＳ４０２において、画素分布解析部１５５は、未処理画素が存在するか否かを判定する。未処理画素が存在すると判定された場合、処理はステップＳ４０３に進む。
　ステップＳ４０３において、２次元投影部１５４は、セグメンテーションによる領域iの抽出を行う。
　ステップＳ４０４において、２次元投影部１５４は、奥行パラメータの調整と符号化（ＲＤ判定）を行う。つまり、最適な奥行パラメータthと領域の範囲の設定がＲＤ判定により行われる。
　ステップＳ４０５において、２次元投影部１５４は、ステップＳ４０４において行われた設定に基づいて、処理対象領域iのジオメトリ画像を２次元表面に投影する。
　ステップＳ４０６において、２次元投影部１５４は、その２次元平面に投影されたジオメトリ画像を符号化させる。
　ステップＳ４０７において、画素分布解析部１５５は、変数iをインクリメントする（i++）。ステップＳ４０７の処理が終了すると、処理はステップＳ４０２に戻り、それ以降の処理を繰り返す。
　また、ステップＳ４０２において、未処理画素が存在しないと判定された場合、処理はステップＳ４０８に進む。
　ステップＳ４０８において、２次元投影部１５４は、オクルージョンマップ（Occulusion Map）を符号化させる。ステップＳ４０８の処理が終了すると２次元投影処理が終了し、処理は図１１に戻る。
　以上のように２次元投影処理を行うことにより、符号化装置１００は、各領域により適した奥行パラメータthを得ることができ、符号化効率の低減を抑制することができる。
　　＜制御された奥行パラメータの利用＞
　復号側においては、２次元平面に投影された３Ｄデータを３次元空間に投影する際に、以上のように制御された奥行パラメータthに示される範囲に３Ｄデータを投影するようにする。
　つまり、３次元空間の所定の領域毎に、２次元平面に投影された３次元構造を表す３Ｄデータに含まれる位置毎のデータをその３次元空間に投影する際に、その位置毎のデータを、その３次元空間の、その領域毎に設定された１レイヤに投影可能な３Ｄデータの位置毎のデータの奥行方向の範囲を制限する奥行パラメータが示すその奥行方向の範囲内に投影するようにする。例えば、画像処理装置において、３次元空間の所定の領域毎に、２次元平面に投影された３次元構造を表す３Ｄデータに含まれる位置毎のデータをその３次元空間に投影する際に、その位置毎のデータを、その３次元空間の、その領域毎に設定された１レイヤに投影可能な３Ｄデータの位置毎のデータの奥行方向の範囲を制限する奥行パラメータが示すその奥行方向の範囲内に投影する３次元投影部を備えるようにする。
　このようにすることにより、領域毎に設定された奥行パラメータthを利用して３Ｄデータの３次元空間への投影を行うことができるので、符号化効率の低減を抑制することができる。
　　＜３次元投影処理の流れ＞
　この場合も、復号処理およびポイントクラウド再構築処理は、第１の実施の形態において説明した場合と同様に行われる。したがってそれらの説明は省略する。
　図１４のステップＳ２２１において実行される、この場合の３次元投影処理の流れの例を、図２３のフローチャートを参照して説明する。
　３次元投影処理が開始されると、３次元投影部２５１は、ステップＳ４２１において、Occlusionマップを復号させる。
　ステップＳ４２２において、画素分布解析部２５２は、領域番号k=0に初期化する。
　ステップＳ４２３において、画素分布解析部２５２は、変数k<iであるか否かを判定する。k<iであると判定された場合、処理はステップＳ４２４に進む。
　ステップＳ４２４において、３次元投影部２５１は、奥行パラメータthを復号させる。ステップＳ４２５において、３次元投影部２５１は、ジオメトリ画像を復号させる。ステップＳ４２６において、３次元投影部２５１は、当該領域の画像を３次元空間に投影する。
　ステップＳ４２７において、画素分布解析部２５２は、変数kをインクリメントする（k++）。ステップＳ４２７の処理が終了すると、処理はステップＳ４２３に戻り、それ以降の処理を繰り返す。
　また、ステップＳ４２３において、k<iでないと判定された場合、３次元投影処理が終了し、処理は図１４に戻る。
　以上のように３次元投影処理を実行することにより、復号装置２００は、領域毎に設定された奥行パラメータthを利用して３Ｄデータの３次元空間への投影を行うことができるので、符号化効率の低減を抑制することができる。
　＜５．付記＞
　　＜制御情報＞
　以上の各実施の形態において説明した本技術に関する制御情報を符号化側から復号側に伝送するようにしてもよい。例えば、上述した本技術を適用することを許可（または禁止）するか否かを制御する制御情報（例えばenabled_flag）を伝送するようにしてもよい。また、例えば、上述した本技術を適用することを許可（または禁止）する範囲（例えばブロックサイズの上限若しくは下限、またはその両方、スライス、ピクチャ、シーケンス、コンポーネント、ビュー、レイヤ等）を指定する制御情報を伝送するようにしてもよい。
　　＜コンピュータ＞
　上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。
　図２４は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
　図２４に示されるコンピュータ９００において、CPU（Central Processing Unit）９０１、ROM（Read Only Memory）９０２、RAM（Random Access Memory）９０３は、バス９０４を介して相互に接続されている。
　バス９０４にはまた、入出力インタフェース９１０も接続されている。入出力インタフェース９１０には、入力部９１１、出力部９１２、記憶部９１３、通信部９１４、およびドライブ９１５が接続されている。
　入力部９１１は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部９１２は、例えば、ディスプレイ、スピーカ、出力端子などよりなる。記憶部９１３は、例えば、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部９１４は、例えば、ネットワークインタフェースよりなる。ドライブ９１５は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア９２１を駆動する。
　以上のように構成されるコンピュータでは、CPU９０１が、例えば、記憶部９１３に記憶されているプログラムを、入出力インタフェース９１０およびバス９０４を介して、RAM９０３にロードして実行することにより、上述した一連の処理が行われる。RAM９０３にはまた、CPU９０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
　コンピュータ（CPU９０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア９２１に記録して適用することができる。その場合、プログラムは、リムーバブルメディア９２１をドライブ９１５に装着することにより、入出力インタフェース９１０を介して、記憶部９１３にインストールすることができる。
　また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、プログラムは、通信部９１４で受信し、記憶部９１３にインストールすることができる。
　その他、このプログラムは、ROM９０２や記憶部９１３に、あらかじめインストールしておくこともできる。
　　＜本技術の適用対象＞
　以上においては、ポイントクラウドデータのVoxel化に本技術を適用する場合について説明したが、本技術は、これらの例に限らず、任意の規格の３ＤデータのVoxel化に対して適用することができる。つまり、上述した本技術と矛盾しない限り、符号化・復号方式等の各種処理、並びに、３Ｄデータやメタデータ等の各種データの仕様は任意である。また、本技術と矛盾しない限り、上述した一部の処理や仕様を省略してもよい。
　また、以上においては、本技術の適用例として符号化装置１００および復号装置２００について説明したが、本技術は、任意の構成に適用することができる。
　例えば、本技術は、衛星放送、ケーブルＴＶなどの有線放送、インターネット上での配信、およびセルラー通信による端末への配信などにおける送信機や受信機（例えばテレビジョン受像機や携帯電話機）、または、光ディスク、磁気ディスクおよびフラッシュメモリなどの媒体に画像を記録したり、これら記憶媒体から画像を再生したりする装置（例えばハードディスクレコーダやカメラ）などの、様々な電子機器に適用され得る。
　また、例えば、本技術は、システムLSI（Large Scale Integration）等としてのプロセッサ（例えばビデオプロセッサ）、複数のプロセッサ等を用いるモジュール（例えばビデオモジュール）、複数のモジュール等を用いるユニット（例えばビデオユニット）、または、ユニットにさらにその他の機能を付加したセット（例えばビデオセット）等、装置の一部の構成として実施することもできる。
　また、例えば、本技術は、複数の装置により構成されるネットワークシステムにも適用することもできる。例えば、本技術を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングとして実施するようにしてもよい。例えば、コンピュータ、AV（Audio Visual）機器、携帯型情報処理端末、IoT（Internet of Things）デバイス等の任意の端末に対して、画像（動画像）に関するサービスを提供するクラウドサービスにおいて本技術を実施するようにしてもよい。
　なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、および、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　　＜本技術を適用可能な分野・用途＞
　本技術を適用したシステム、装置、処理部等は、例えば、交通、医療、防犯、農業、畜産業、鉱業、美容、工場、家電、気象、自然監視等、任意の分野に利用することができる。また、その用途も任意である。
　例えば、本技術は、観賞用コンテンツ等の提供の用に供されるシステムやデバイスに適用することができる。また、例えば、本技術は、交通状況の監理や自動運転制御等、交通の用に供されるシステムやデバイスにも適用することができる。さらに、例えば、本技術は、セキュリティの用に供されるシステムやデバイスにも適用することができる。また、例えば、本技術は、機械等の自動制御の用に供されるシステムやデバイスに適用することができる。さらに、例えば、本技術は、農業や畜産業の用に供されるシステムやデバイスにも適用することができる。また、本技術は、例えば火山、森林、海洋等の自然の状態や野生生物等を監視するシステムやデバイスにも適用することができる。さらに、例えば、本技術は、スポーツの用に供されるシステムやデバイスにも適用することができる。
　　＜その他＞
　なお、本明細書において「フラグ」とは、複数の状態を識別するための情報であり、真(1)または偽(0)の２状態を識別する際に用いる情報だけでなく、３以上の状態を識別することが可能な情報も含まれる。したがって、この「フラグ」が取り得る値は、例えば1/0の２値であってもよいし、３値以上であってもよい。すなわち、この「フラグ」を構成するbit数は任意であり、1bitでも複数bitでもよい。また、識別情報（フラグも含む）は、その識別情報をビットストリームに含める形だけでなく、ある基準となる情報に対する識別情報の差分情報をビットストリームに含める形も想定されるため、本明細書においては、「フラグ」や「識別情報」は、その情報だけではなく、基準となる情報に対する差分情報も包含する。
　また、符号化データ（ビットストリーム）に関する各種情報（メタデータ等）は、符号化データに関連づけられていれば、どのような形態で伝送または記録されるようにしてもよい。ここで、「関連付ける」という用語は、例えば、一方のデータを処理する際に他方のデータを利用し得る（リンクさせ得る）ようにすることを意味する。つまり、互いに関連付けられたデータは、１つのデータとしてまとめられてもよいし、それぞれ個別のデータとしてもよい。例えば、符号化データ（画像）に関連付けられた情報は、その符号化データ（画像）とは別の伝送路上で伝送されるようにしてもよい。また、例えば、符号化データ（画像）に関連付けられた情報は、その符号化データ（画像）とは別の記録媒体（または同一の記録媒体の別の記録エリア）に記録されるようにしてもよい。なお、この「関連付け」は、データ全体でなく、データの一部であってもよい。例えば、画像とその画像に対応する情報とが、複数フレーム、１フレーム、またはフレーム内の一部分などの任意の単位で互いに関連付けられるようにしてもよい。
　なお、本明細書において、「合成する」、「多重化する」、「付加する」、「一体化する」、「含める」、「格納する」、「入れ込む」、「差し込む」、「挿入する」等の用語は、例えば符号化データとメタデータとを１つのデータにまとめるといった、複数の物を１つにまとめることを意味し、上述の「関連付ける」の１つの方法を意味する。
　また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。
　また、例えば、上述したプログラムは、任意の装置において実行されるようにしてもよい。その場合、その装置が、必要な機能（機能ブロック等）を有し、必要な情報を得ることができるようにすればよい。
　また、例えば、１つのフローチャートの各ステップを、１つの装置が実行するようにしてもよいし、複数の装置が分担して実行するようにしてもよい。さらに、１つのステップに複数の処理が含まれる場合、その複数の処理を、１つの装置が実行するようにしてもよいし、複数の装置が分担して実行するようにしてもよい。換言するに、１つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を１つのステップとしてまとめて実行することもできる。
　また、例えば、コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。
　また、例えば、本技術に関する複数の技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。
　なお、本技術は以下のような構成も取ることができる。
　（１）　３次元構造を表す３Ｄデータに含まれる全ての位置毎のデータを、複数レイヤの２次元平面に投影する２次元投影部
　を備える画像処理装置。
　（２）　前記２次元投影部は、前記３Ｄデータの、投影面から見て位置が奥行方向に重なる前記位置毎のデータを、前記複数のレイヤの前記２次元平面の、互いに異なるレイヤに投影する
　（１）に記載の画像処理装置。
　（３）　前記２次元投影部は、前記２次元平面について、前記３Ｄデータの投影面から見て位置が奥行方向に重なる前記位置毎のデータの最大数と同数のレイヤを生成する
　（２）に記載の画像処理装置。
　（４）　前記２次元投影部により前記２次元平面に投影された前記３Ｄデータを、符号化する符号化部をさらに備える
　（１）乃至（３）のいずれかに記載の画像処理装置。
　（５）　前記符号化部は、前記２次元平面の各レイヤに投影された前記３Ｄデータの、位置情報、属性情報、およびオキュパンシーマップをそれぞれ符号化する
　（４）に記載の画像処理装置。
　（６）　前記２次元投影部により前記３Ｄデータが投影された前記２次元平面のレイヤ数を示す情報と、前記符号化部により前記２次元平面が符号化されて得られた符号化データとを含むビットストリームを生成するビットストリーム生成部をさらに備える
　（４）または（５）に記載の画像処理装置。
　（７）　前記２次元投影部により前記３Ｄデータが投影された前記２次元平面を、ビデオフレームとしてパッキングするパッキング部をさらに備え、
　前記符号化部は、前記パッキング部により前記２次元平面がパッキングされた前記ビデオフレームを符号化するように構成される
　（４）乃至（６）のいずれかに記載の画像処理装置。
　（８）　前記２次元投影部は、前記３Ｄデータを、所定の領域毎に前記２次元平面に投影する
　（１）乃至（７）のいずれかに記載の画像処理装置。
　（９）　前記３Ｄデータは、ポイントクラウドである
　（１）乃至（８）のいずれかに記載の画像処理装置。
　（１０）　３次元構造を表す３Ｄデータに含まれる全ての位置毎のデータを、複数レイヤの２次元平面に投影する
　画像処理方法。
　（１１）　レイヤ数情報が示すレイヤ数の２次元平面に投影された３Ｄデータの全ての位置毎のデータを、３次元空間に投影する３次元投影部
　を備える画像処理装置。
　（１２）　ビットストリームに含まれる前記レイヤ数情報を抽出する抽出部をさらに備え、
　前記３次元投影部は、前記抽出部により抽出された前記レイヤ数情報が示すレイヤ数の前記２次元平面に投影された前記３Ｄデータの全ての前記位置毎のデータを、前記３次元空間に投影するように構成される
　（１１）に記載の画像処理装置。
　（１３）　前記ビットストリームに含まれる前記２次元平面に投影された前記３Ｄデータの符号化データを復号する復号部をさらに備え、
　前記３次元投影部は、前記復号部により前記符号化データが復号されて得られた、前記２次元平面に投影された前記３Ｄデータの全ての前記位置毎のデータを、前記３次元空間に投影するように構成される
　（１２）に記載の画像処理装置。
　（１４）　前記復号部は、前記２次元平面の各レイヤに投影された前記３Ｄデータの、位置情報、属性情報、およびオキュパンシーマップのそれぞれの符号化データを復号する
　（１３）に記載の画像処理装置。
　（１５）　前記復号部により前記符号化データが復号されて得られた、前記２次元平面に投影された前記３Ｄデータがパッキングされたビデオフレームをアンパッキングするアンパッキング部をさらに備え、
　前記３次元投影部は、前記アンパッキング部によりビデオフレームがアンパッキングされて得られた、前記２次元平面に投影された前記３Ｄデータの全ての前記位置毎のデータを、前記３次元空間に投影するように構成される
　（１３）または（１４）に記載の画像処理装置。
　（１６）　前記３次元投影部は、所定の領域毎に前記２次元平面に投影された前記３Ｄデータを、前記３次元空間に投影する
　（１１）乃至（１５）のいずれかに記載の画像処理装置。
　（１７）　前記３Ｄデータは、ポイントクラウドである
　（１１）乃至（１６）のいずれかに記載の画像処理装置。
　（１８）　レイヤ数情報が示すレイヤ数の２次元平面に投影された３Ｄデータの全ての位置毎のデータを、３次元空間に投影する
　画像処理方法。
　（２１）　３次元構造を表す３Ｄデータに含まれる位置毎のデータを２次元平面に投影し、前記２次元平面の前記位置毎のデータが存在しない位置に、前記位置毎のデータが存在しないことを示す所定の値をセットする２次元投影部
　を備える画像処理装置。
　（２２）　前記所定の値は、予め定められた固定値である
　（２１）に記載の画像処理装置。
　（２３）　前記所定の値は、前記３Ｄデータの奥行の最大値より大きな値である
　（２１）に記載の画像処理装置。
　（２４）　前記２次元投影部により前記２次元平面に投影された前記３Ｄデータを、符号化する符号化部をさらに備える
　（２１）乃至（２３）のいずれかに記載の画像処理装置。
　（２５）　前記符号化部は、前記２次元平面に投影された前記３Ｄデータの、位置情報、属性情報、およびオキュパンシーマップをそれぞれ符号化する
　（２４）に記載の画像処理装置。
　（２６）　前記所定の値を示す情報と、前記符号化部により前記２次元平面が符号化されて得られた符号化データとを含むビットストリームを生成するビットストリーム生成部をさらに備える
　（２４）または（２５）に記載の画像処理装置。
　（２７）　前記２次元投影部により前記３Ｄデータが投影された前記２次元平面を、ビデオフレームとしてパッキングするパッキング部をさらに備え、
　前記符号化部は、前記パッキング部により前記２次元平面がパッキングされた前記ビデオフレームを符号化するように構成される
　（２４）乃至（２６）のいずれかに記載の画像処理装置。
　（２８）　前記２次元投影部は、前記３Ｄデータを、所定の領域毎に前記２次元平面に投影する
　（２１）乃至（２７）のいずれかに記載の画像処理装置。
　（２９）　前記３Ｄデータは、ポイントクラウドである
　（２１）乃至（２８）のいずれかに記載の画像処理装置。
　（３０）　３次元構造を表す３Ｄデータに含まれる位置毎のデータを２次元平面に投影し、前記２次元平面の前記位置毎のデータが存在しない位置に、前記位置毎のデータが存在しないことを示す所定の値をセットする
　画像処理方法。
　（３１）　２次元平面に投影された３次元構造を表す３Ｄデータに含まれる位置毎のデータの内、前記位置毎のデータが存在しないことを示す所定の値のデータ以外のデータを、３次元空間に投影する３次元投影部
　を備える画像処理装置。
　（３２）　前記所定の値は、予め定められた固定値である
　（３１）に記載の画像処理装置。
　（３３）　前記所定の値は、前記３Ｄデータの奥行の最大値より大きな値である
　（３１）に記載の画像処理装置。
　（３４）　ビットストリームに含まれる前記所定の値を示す情報を抽出する抽出部をさらに備え、
　前記３次元投影部は、前記３Ｄデータに含まれる前記位置毎のデータの内、前記抽出部により抽出された前記情報に示される前記所定の値のデータ以外のデータを、３次元空間に投影するように構成される
　（３１）乃至（３３）のいずれかに記載の画像処理装置。
　（３５）　前記ビットストリームに含まれる前記２次元平面に投影された前記３Ｄデータの符号化データを復号する復号部をさらに備え、
　前記３次元投影部は、前記復号部により前記符号化データが復号されて得られた、前記２次元平面に投影された前記３Ｄデータに含まれる前記位置毎のデータの内、前記抽出部により抽出された前記情報に示される前記所定の値のデータ以外のデータを、３次元空間に投影するように構成される
　（３４）に記載の画像処理装置。
　（３６）　前記復号部は、前記２次元平面の各レイヤに投影された前記３Ｄデータの、位置情報、属性情報、およびオキュパンシーマップのそれぞれの符号化データを復号する
　（３５）に記載の画像処理装置。
　（３７）　前記復号部により前記符号化データが復号されて得られた、前記２次元平面に投影された前記３Ｄデータがパッキングされたビデオフレームをアンパッキングするアンパッキング部をさらに備え、
　前記３次元投影部は、前記アンパッキング部によりビデオフレームがアンパッキングされて得られた、前記２次元平面に投影された前記３Ｄデータに含まれる前記位置毎のデータの内、前記抽出部により抽出された前記情報に示される前記所定の値のデータ以外のデータを、３次元空間に投影するように構成される
　（３５）または（３６）に記載の画像処理装置。
　（３８）　前記３次元投影部は、所定の領域毎に前記２次元平面に投影された前記３Ｄデータを、前記３次元空間に投影する
　（３１）乃至（３７）のいずれかに記載の画像処理装置。
　（３９）　前記３Ｄデータは、ポイントクラウドである
　（３１）乃至（３８）のいずれかに記載の画像処理装置。
　（４０）　２次元平面に投影された３次元構造を表す３Ｄデータに含まれる位置毎のデータの内、前記位置毎のデータが存在しないことを示す所定の値のデータ以外のデータを、３次元空間に投影する
　画像処理方法。
　（４１）　３次元構造を表す３Ｄデータの位置毎のデータを３次元空間の所定の領域毎に２次元平面に投影する際に、前記領域毎に設定された１レイヤに投影可能な３次元構造を表す３Ｄデータの位置毎のデータの奥行方向の範囲を制限する奥行パラメータが示す前記奥行方向の範囲内の前記位置毎のデータを、前記２次元平面に投影する２次元投影部
　を備える画像処理装置。
　（４２）　前記２次元投影部により前記２次元平面に投影された前記３Ｄデータを、符号化する符号化部をさらに備える
　（４１）に記載の画像処理装置。
　（４３）　前記符号化部は、前記２次元平面に投影された前記３Ｄデータの、位置情報、属性情報、およびオキュパンシーマップをそれぞれ符号化する
　（４２）に記載の画像処理装置。
　（４４）　前記領域毎に設定された前記奥行パラメータと、前記符号化部により前記２次元平面が符号化されて得られた符号化データとを含むビットストリームを生成するビットストリーム生成部をさらに備える
　（４２）または（４３）に記載の画像処理装置。
　（４５）　前記２次元投影部により前記３Ｄデータが投影された前記２次元平面を、ビデオフレームとしてパッキングするパッキング部をさらに備え、
　前記符号化部は、前記パッキング部により前記２次元平面がパッキングされた前記ビデオフレームを符号化するように構成される
　（４２）乃至（４４）のいずれかに記載の画像処理装置。
　（４６）　前記３Ｄデータは、ポイントクラウドである
　（４１）乃至（４５）のいずれかに記載の画像処理装置。
　（４７）　３次元構造を表す３Ｄデータの位置毎のデータを３次元空間の所定の領域毎に２次元平面に投影する際に、前記領域毎に設定された１レイヤに投影可能な３次元構造を表す３Ｄデータの位置毎のデータの奥行方向の範囲を制限する奥行パラメータが示す前記奥行方向の範囲内の前記位置毎のデータを、前記２次元平面に投影する
　画像処理方法。
　（５１）　３次元空間の所定の領域毎に、２次元平面に投影された３次元構造を表す３Ｄデータに含まれる位置毎のデータを前記３次元空間に投影する際に、前記位置毎のデータを、前記３次元空間の、前記領域毎に設定された１レイヤに投影可能な前記３Ｄデータの前記位置毎のデータの奥行方向の範囲を制限する奥行パラメータが示す前記奥行方向の範囲内に投影する３次元投影部
　を備える画像処理装置。
　（５２）　ビットストリームに含まれる前記奥行パラメータを抽出する抽出部をさらに備え、
　前記３次元投影部は、前記３Ｄデータに含まれる前記位置毎のデータを、前記抽出部により抽出された前記奥行パラメータが示す前記奥行方向の範囲内に投影するように構成される
　（５１）に記載の画像処理装置。
　（５３）　前記ビットストリームに含まれる前記２次元平面に投影された前記３Ｄデータの符号化データを復号する復号部をさらに備え、
　前記３次元投影部は、前記復号部により前記符号化データが復号されて得られた、前記２次元平面に投影された前記３Ｄデータの前記位置毎のデータを、前記抽出部により抽出された前記奥行パラメータが示す前記奥行方向の範囲内に投影するように構成される
　（５２）に記載の画像処理装置。
　（５４）　前記復号部は、前記２次元平面の各レイヤに投影された前記３Ｄデータの、位置情報、属性情報、およびオキュパンシーマップのそれぞれの符号化データを復号する
　（５３）に記載の画像処理装置。
　（５５）　前記復号部により前記符号化データが復号されて得られた、前記２次元平面に投影された前記３Ｄデータがパッキングされたビデオフレームをアンパッキングするアンパッキング部をさらに備え、
　前記３次元投影部は、前記アンパッキング部によりビデオフレームがアンパッキングされて得られた、前記２次元平面に投影された前記３Ｄデータの前記位置毎のデータを、前記抽出部により抽出された前記奥行パラメータが示す前記奥行方向の範囲内に投影するように構成される
　（５３）または（５４）に記載の画像処理装置。
　（５６）　前記３Ｄデータは、ポイントクラウドである
　（５１）乃至（５５）のいずれかに記載の画像処理装置。
　（５７）　３次元空間の所定の領域毎に、２次元平面に投影された３次元構造を表す３Ｄデータに含まれる位置毎のデータを前記３次元空間に投影する際に、前記位置毎のデータを、前記３次元空間の、前記領域毎に設定された１レイヤに投影可能な前記３Ｄデータの前記位置毎のデータの奥行方向の範囲を制限する奥行パラメータが示す前記奥行方向の範囲内に投影する
　画像処理方法。
　１００　符号化装置，　１１１　パッチ分解部，　１１２　パッキング部，　１１３　補助パッチ情報圧縮部，　１１４　ビデオ符号化部，　１１５　ビデオ符号化部，　１１６　OMap符号化部，　１１７　マルチプレクサ，　１５１　法線方向推定部，　１５２　セグメンテーション初期設定部，　１５３　セグメンテーション更新部，　１５４　２次元投影部，　１５５　画素分布解析部，　２００　復号装置，　２１１　デマルチプレクサ，　２１２　補助パッチ情報復号部，　２１３　ビデオ復号部，　２１４　ビデオ復号部，　２１５　OMap復号部，　２１６　アンパッキング部，　２１７　3D再構築部，　２５１　３次元投影部，　２５２　画素分布解析部，　２５３　逆セグメンテーション更新部，　２５４　逆セグメンテーション初期設定部，　２５５　逆法線方向推定部

Claims (20)

  1. 　３次元構造を表す３Ｄデータに含まれる全ての位置毎のデータを、複数レイヤの２次元平面に投影する２次元投影部
    　を備える画像処理装置。
  2. 　前記２次元投影部は、前記３Ｄデータの、投影面から見て位置が奥行方向に重なる前記位置毎のデータを、前記複数のレイヤの前記２次元平面の、互いに異なるレイヤに投影する
    　請求項１に記載の画像処理装置。
  3. 　前記２次元投影部は、前記２次元平面について、前記３Ｄデータの投影面から見て位置が奥行方向に重なる前記位置毎のデータの最大数と同数のレイヤを生成する
    　請求項２に記載の画像処理装置。
  4. 　前記２次元投影部は、前記２次元平面の前記位置毎のデータが存在しない位置に、前記位置毎のデータが存在しないことを示す所定の値をセットする
    　請求項１に記載の画像処理装置。
  5. 　前記所定の値は、予め定められた固定値である
    　請求項４に記載の画像処理装置。
  6. 　前記所定の値は、前記３Ｄデータの奥行の最大値より大きな値である
    　請求項４に記載の画像処理装置。
  7. 　前記２次元投影部は、前記３Ｄデータの前記位置毎のデータを、３次元空間の所定の領域毎に２次元平面に投影する際に、前記領域毎に設定された１レイヤに投影可能な前記３Ｄデータの前記位置毎のデータの奥行方向の範囲を制限する奥行パラメータが示す前記奥行方向の範囲内の前記位置毎のデータを、前記２次元平面に投影する
    　請求項１に記載の画像処理装置。
  8. 　前記２次元投影部により前記２次元平面に投影された前記３Ｄデータを、符号化する符号化部をさらに備える
    　請求項１に記載の画像処理装置。
  9. 　前記２次元投影部により前記３Ｄデータが投影された前記２次元平面のレイヤ数を示す情報と、前記符号化部により前記２次元平面が符号化されて得られた符号化データとを含むビットストリームを生成するビットストリーム生成部をさらに備える
    　請求項８に記載の画像処理装置。
  10. 　前記３Ｄデータは、ポイントクラウドである
    　請求項１に記載の画像処理装置。
  11. 　３次元構造を表す３Ｄデータに含まれる全ての位置毎のデータを、複数レイヤの２次元平面に投影する
    　画像処理方法。
  12. 　レイヤ数情報が示すレイヤ数の２次元平面に投影された３Ｄデータの全ての位置毎のデータを、３次元空間に投影する３次元投影部
    　を備える画像処理装置。
  13. 　前記３次元投影部は、前記３Ｄデータに含まれる前記位置毎のデータの内、前記位置毎のデータが存在しないことを示す所定の値のデータ以外のデータを、前記３次元空間に投影する
    　請求項１２に記載の画像処理装置。
  14. 　前記所定の値は、予め定められた固定値である
    　請求項１３に記載の画像処理装置。
  15. 　前記所定の値は、前記３Ｄデータの奥行の最大値より大きな値である
    　請求項１３に記載の画像処理装置。
  16. 　前記３次元投影部は、前記３次元空間の所定の領域毎に、前記３Ｄデータに含まれる前記位置毎のデータを前記３次元空間に投影する際に、前記位置毎のデータを、前記３次元空間の、前記領域毎に設定された１レイヤに投影可能な３次元構造を表す３Ｄデータの位置毎のデータの奥行方向の範囲を制限する奥行パラメータが示す前記奥行方向の範囲内に投影する
    　請求項１２に記載の画像処理装置。
  17. 　ビットストリームに含まれる前記レイヤ数情報を抽出する抽出部をさらに備え、
    　前記３次元投影部は、前記抽出部により抽出された前記レイヤ数情報が示すレイヤ数の前記２次元平面に投影された前記３Ｄデータの全ての前記位置毎のデータを、前記３次元空間に投影するように構成される
    　請求項１２に記載の画像処理装置。
  18. 　前記ビットストリームに含まれる前記２次元平面に投影された前記３Ｄデータの符号化データを復号する復号部をさらに備え、
    　前記３次元投影部は、前記復号部により前記符号化データが復号されて得られた、前記２次元平面に投影された前記３Ｄデータの全ての前記位置毎のデータを、前記３次元空間に投影するように構成される
    　請求項１７に記載の画像処理装置。
  19. 　前記３Ｄデータは、ポイントクラウドである
    　請求項１２に記載の画像処理装置。
  20. 　レイヤ数情報が示すレイヤ数の２次元平面に投影された３Ｄデータの全ての位置毎のデータを、３次元空間に投影する
    　画像処理方法。
PCT/JP2019/000051 2018-01-16 2019-01-07 画像処理装置および方法 WO2019142666A1 (ja)

Priority Applications (14)

Application Number Priority Date Filing Date Title
AU2019210233A AU2019210233B2 (en) 2018-01-16 2019-01-07 Image processing device and method
CN201980007870.2A CN111566702B (zh) 2018-01-16 2019-01-07 图像处理装置和方法
US16/960,910 US11721048B2 (en) 2018-01-16 2019-01-07 Image processing apparatus and method
SG11202005374UA SG11202005374UA (en) 2018-01-16 2019-01-07 Image processing apparatus and method
EP19741709.0A EP3742401A4 (en) 2018-01-16 2019-01-07 IMAGE PROCESSING DEVICE AND METHOD
BR112020013599-2A BR112020013599A2 (pt) 2018-01-16 2019-01-07 aparelho e método de processamento de imagem.
KR1020237037047A KR20230155019A (ko) 2018-01-16 2019-01-07 화상 처리 장치 및 방법
JP2019566411A JP7327166B2 (ja) 2018-01-16 2019-01-07 画像処理装置および方法
CA3087980A CA3087980A1 (en) 2018-01-16 2019-01-07 Image processing apparatus and method
MX2020007416A MX2020007416A (es) 2018-01-16 2019-01-07 Aparato y metodo de procesamiento de imagenes.
RU2020122782A RU2020122782A (ru) 2018-01-16 2019-01-07 Устройство и способ обработки изображения
KR1020207019305A KR102596507B1 (ko) 2018-01-16 2019-01-07 화상 처리 장치 및 방법
PH12020500587A PH12020500587A1 (en) 2018-01-16 2020-07-09 Image processing apparatus and method
ZA2020/05038A ZA202005038B (en) 2018-01-16 2020-08-14 Image processing device and method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018004983 2018-01-16
JP2018-004983 2018-01-16

Publications (1)

Publication Number Publication Date
WO2019142666A1 true WO2019142666A1 (ja) 2019-07-25

Family

ID=67301752

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/000051 WO2019142666A1 (ja) 2018-01-16 2019-01-07 画像処理装置および方法

Country Status (15)

Country Link
US (1) US11721048B2 (ja)
EP (1) EP3742401A4 (ja)
JP (1) JP7327166B2 (ja)
KR (2) KR20230155019A (ja)
CN (1) CN111566702B (ja)
AU (1) AU2019210233B2 (ja)
BR (1) BR112020013599A2 (ja)
CA (1) CA3087980A1 (ja)
MX (1) MX2020007416A (ja)
PH (1) PH12020500587A1 (ja)
RU (1) RU2020122782A (ja)
SG (1) SG11202005374UA (ja)
TW (1) TWI815842B (ja)
WO (1) WO2019142666A1 (ja)
ZA (1) ZA202005038B (ja)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020012968A1 (ja) * 2018-07-11 2020-01-16 ソニー株式会社 画像処理装置および方法
WO2020017359A1 (ja) * 2018-07-20 2020-01-23 ソニー株式会社 画像処理装置および方法
JP2021511712A (ja) * 2018-01-19 2021-05-06 インターデジタル ヴイシー ホールディングス， インコーポレイテッド 点群処理
WO2021095565A1 (ja) * 2019-11-13 2021-05-20 ソニーグループ株式会社 画像処理装置および方法
JP2021518681A (ja) * 2018-04-11 2021-08-02 インターデジタル ヴイシー ホールディングス， インコーポレイテッド 三次元物体を表すポイントクラウドを符号化／復号する方法及び装置
JP2021518694A (ja) * 2018-04-11 2021-08-02 インターデジタル ヴイシー ホールディングス， インコーポレイテッド 三次元物体を表すポイントクラウドを符号化／復号する方法及び装置
JP2021518689A (ja) * 2018-04-11 2021-08-02 インターデジタル ヴイシー ホールディングス， インコーポレイテッド 点群の幾何学的形状をコーディングする方法およびデバイス
JP2021519533A (ja) * 2018-04-11 2021-08-10 インターデジタル ヴイシー ホールディングス， インコーポレイテッド 投影平面の少なくとも１つの画像領域に一度直交投影された３ｄ点のセットの深度値を符号化するための方法
WO2021193088A1 (ja) * 2020-03-25 2021-09-30 ソニーグループ株式会社 画像処理装置および方法
JP2021531542A (ja) * 2018-07-11 2021-11-18 インターデジタル ヴイシー ホールディングス， インコーポレイテッド 点群の点のテクスチャを符号化／復号する方法
JP2022525599A (ja) * 2019-03-12 2022-05-18 ホアウェイ・テクノロジーズ・カンパニー・リミテッド 点群コーディングのためのパッチデータユニットのコーディングおよび復号
JP2022550150A (ja) * 2019-09-30 2022-11-30 中興通訊股▲ふん▼有限公司 点群データのためのファイルフォーマット
US12002243B2 (en) 2021-09-03 2024-06-04 Huawei Technologies Co., Ltd. Patch data unit coding and decoding for point-cloud coding

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11463681B2 (en) * 2018-02-23 2022-10-04 Nokia Technologies Oy Encoding and decoding of volumetric video
EP3780613A4 (en) * 2018-04-11 2021-05-19 Sony Corporation IMAGE PROCESSING DEVICE AND METHOD
JP7100523B2 (ja) * 2018-07-27 2022-07-13 京セラ株式会社 表示装置、表示システムおよび移動体
US11956478B2 (en) * 2019-01-09 2024-04-09 Tencent America LLC Method and apparatus for point cloud chunking for improved patch packing and coding efficiency
US20220159261A1 (en) * 2019-03-21 2022-05-19 Lg Electronics Inc. Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
KR102533985B1 (ko) * 2021-05-21 2023-05-17 한국항공대학교산학협력단 포인트 클라우드 복원 시스템 및 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012506573A (ja) * 2008-10-21 2012-03-15 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ シーンの階層化深さモデルを提供するための方法及び装置並びにシーンの階層化深さモデルを有する信号
JP2016511457A (ja) * 2013-01-18 2016-04-14 マイクロソフト テクノロジー ライセンシング，エルエルシー 深度マップ上への再投影を使用するサーフェスコーデック

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100446635B1 (ko) * 2001-11-27 2004-09-04 삼성전자주식회사 깊이 이미지 기반 3차원 객체 표현 장치 및 방법
JP3957620B2 (ja) * 2001-11-27 2007-08-15 三星電子株式会社 深さイメージ基盤３次元客体を表現するための装置及び方法
JP5480914B2 (ja) * 2009-12-11 2014-04-23 株式会社トプコン 点群データ処理装置、点群データ処理方法、および点群データ処理プログラム
JP5522367B2 (ja) 2009-12-13 2014-06-18 国立大学法人 千葉大学 表面再現方法及び表面再現プログラム
JP5161991B2 (ja) * 2011-03-25 2013-03-13 株式会社東芝 画像処理装置
WO2012141235A1 (ja) * 2011-04-13 2012-10-18 株式会社トプコン 三次元点群位置データ処理装置、三次元点群位置データ処理システム、三次元点群位置データ処理方法およびプログラム
CN103959342A (zh) * 2011-11-25 2014-07-30 汤姆逊许可公司 基于具有复制点的空间树的位置编码
US9075933B2 (en) * 2012-10-11 2015-07-07 Adobe Systems Incorporated 3D transformation of objects using 2D controls projected in 3D space and contextual face selections of a three dimensional bounding box
WO2015006224A1 (en) * 2013-07-08 2015-01-15 Vangogh Imaging, Inc. Real-time 3d computer vision processing engine for object recognition, reconstruction, and analysis
WO2015055607A2 (en) * 2013-10-14 2015-04-23 Koninklijke Philips N.V. Remapping a depth map for 3d viewing
US9465361B2 (en) 2014-03-31 2016-10-11 Disney Enterprises, Inc. Image based multiview multilayer holographic rendering algorithm
CA2948903C (en) * 2014-05-13 2020-09-22 Pcp Vr Inc. Method, system and apparatus for generation and playback of virtual reality multimedia
US10142608B2 (en) * 2014-07-08 2018-11-27 Samsung Electronics Co., Ltd. Electronic apparatus and method for processing three-dimensional information using image
US20170214943A1 (en) * 2016-01-22 2017-07-27 Mitsubishi Electric Research Laboratories, Inc. Point Cloud Compression using Prediction and Shape-Adaptive Transforms
CN106934861B (zh) * 2017-02-09 2020-06-26 深圳先进技术研究院 物体三维重建方法及装置
CN107481313A (zh) * 2017-08-18 2017-12-15 深圳市唯特视科技有限公司 一种基于学习有效点云生成的密集三维物体重建方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012506573A (ja) * 2008-10-21 2012-03-15 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ シーンの階層化深さモデルを提供するための方法及び装置並びにシーンの階層化深さモデルを有する信号
JP2016511457A (ja) * 2013-01-18 2016-04-14 マイクロソフト テクノロジー ライセンシング，エルエルシー 深度マップ上への再投影を使用するサーフェスコーデック

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
"PCC Test Model Category 2 vO", N17248 MPEG OUTPUT DOCUMENT, October 2017 (2017-10-01)
GOLLA, TIM ET AL.: "Real-time Point Cloud Compression", IEEE /RSJ INTERNATIONAL CONFERENCE ON INTELLIGENT ROBOTS AND SYSTEMS (IROS, 2015, pages 5087 - 5092, XP032832361, doi:10.1109/IROS.2015.7354093 *
JIANLE CHENELENA ALSHINAGARY J. SULLIVANJENS-RAINERJILL BOYCE: "Algorithm Description of Joint Exploration Test Model 4", JVET-G1001_V1, JOINT VIDEO EXPLORATION TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 7TH MEETING, 13 July 2017 (2017-07-13)
K. MAMMOU: "Video-based and Hierarchical Approaches Point Cloud Compression", MPEG M41649, October 2017 (2017-10-01)
TIM GOLLAREINHARD KLEIN: "Real-time Point Cloud Compression", 2015, IEEE

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11949889B2 (en) 2018-01-19 2024-04-02 Interdigital Vc Holdings, Inc. Processing a point cloud
JP7476104B2 (ja) 2018-01-19 2024-04-30 インターデジタル ヴイシー ホールディングス， インコーポレイテッド 点群処理
JP2021511712A (ja) * 2018-01-19 2021-05-06 インターデジタル ヴイシー ホールディングス， インコーポレイテッド 点群処理
US11856222B2 (en) 2018-04-11 2023-12-26 Interdigital Vc Holdings, Inc. Method and apparatus for encoding/decoding a point cloud representing a 3D object
JP7389751B2 (ja) 2018-04-11 2023-11-30 インターデジタル ヴイシー ホールディングス， インコーポレイテッド 三次元物体を表すポイントクラウドを符号化／復号する方法及び装置
JP2021518694A (ja) * 2018-04-11 2021-08-02 インターデジタル ヴイシー ホールディングス， インコーポレイテッド 三次元物体を表すポイントクラウドを符号化／復号する方法及び装置
JP7488189B2 (ja) 2018-04-11 2024-05-21 インターデジタル ヴイシー ホールディングス， インコーポレイテッド 点群の幾何学的形状をコーディングする方法およびデバイス
JP2021518689A (ja) * 2018-04-11 2021-08-02 インターデジタル ヴイシー ホールディングス， インコーポレイテッド 点群の幾何学的形状をコーディングする方法およびデバイス
JP2021519533A (ja) * 2018-04-11 2021-08-10 インターデジタル ヴイシー ホールディングス， インコーポレイテッド 投影平面の少なくとも１つの画像領域に一度直交投影された３ｄ点のセットの深度値を符号化するための方法
JP7446234B2 (ja) 2018-04-11 2024-03-08 インターデジタル ヴイシー ホールディングス， インコーポレイテッド 投影平面の少なくとも１つの画像領域に一度直交投影された３ｄ点のセットの深度値を符号化するための方法
JP2021518681A (ja) * 2018-04-11 2021-08-02 インターデジタル ヴイシー ホールディングス， インコーポレイテッド 三次元物体を表すポイントクラウドを符号化／復号する方法及び装置
JP7431742B2 (ja) 2018-04-11 2024-02-15 インターデジタル ヴイシー ホールディングス， インコーポレイテッド 三次元物体を表すポイントクラウドを符号化／復号する方法及び装置
US11838547B2 (en) 2018-04-11 2023-12-05 Interdigital Vc Holdings, Inc. Method and device for encoding the geometry of a point cloud
JP2021531542A (ja) * 2018-07-11 2021-11-18 インターデジタル ヴイシー ホールディングス， インコーポレイテッド 点群の点のテクスチャを符号化／復号する方法
US11699248B2 (en) 2018-07-11 2023-07-11 Sony Corporation Image processing apparatus and method
JP7327399B2 (ja) 2018-07-11 2023-08-16 ソニーグループ株式会社 画像処理装置および方法
JP7351858B2 (ja) 2018-07-11 2023-09-27 インターデジタル ヴイシー ホールディングス， インコーポレイテッド 点群の点のテクスチャを符号化／復号する方法
JPWO2020012968A1 (ja) * 2018-07-11 2021-08-02 ソニーグループ株式会社 画像処理装置および方法
WO2020012968A1 (ja) * 2018-07-11 2020-01-16 ソニー株式会社 画像処理装置および方法
WO2020017359A1 (ja) * 2018-07-20 2020-01-23 ソニー株式会社 画像処理装置および方法
US11356690B2 (en) 2018-07-20 2022-06-07 Sony Corporation Image processing apparatus and method
JP7267447B2 (ja) 2019-03-12 2023-05-01 ホアウェイ・テクノロジーズ・カンパニー・リミテッド 点群コーディングのためのパッチデータユニットのコーディングおよび復号
JP2022525599A (ja) * 2019-03-12 2022-05-18 ホアウェイ・テクノロジーズ・カンパニー・リミテッド 点群コーディングのためのパッチデータユニットのコーディングおよび復号
JP7402976B2 (ja) 2019-09-30 2023-12-21 中興通訊股▲ふん▼有限公司 点群データのためのファイルフォーマット
JP2022550150A (ja) * 2019-09-30 2022-11-30 中興通訊股▲ふん▼有限公司 点群データのためのファイルフォーマット
WO2021095565A1 (ja) * 2019-11-13 2021-05-20 ソニーグループ株式会社 画像処理装置および方法
WO2021193088A1 (ja) * 2020-03-25 2021-09-30 ソニーグループ株式会社 画像処理装置および方法
US12002243B2 (en) 2021-09-03 2024-06-04 Huawei Technologies Co., Ltd. Patch data unit coding and decoding for point-cloud coding

Also Published As

Publication number Publication date
PH12020500587A1 (en) 2021-06-14
TWI815842B (zh) 2023-09-21
CN111566702B (zh) 2024-03-26
RU2020122782A (ru) 2022-01-10
MX2020007416A (es) 2020-09-14
EP3742401A1 (en) 2020-11-25
CA3087980A1 (en) 2019-07-25
US11721048B2 (en) 2023-08-08
TW201933284A (zh) 2019-08-16
KR20230155019A (ko) 2023-11-09
EP3742401A4 (en) 2020-12-09
KR20200108833A (ko) 2020-09-21
AU2019210233A1 (en) 2020-07-23
CN111566702A (zh) 2020-08-21
BR112020013599A2 (pt) 2020-12-01
ZA202005038B (en) 2021-05-26
JP7327166B2 (ja) 2023-08-16
US20210174559A1 (en) 2021-06-10
JPWO2019142666A1 (ja) 2021-01-28
SG11202005374UA (en) 2020-07-29
AU2019210233B2 (en) 2023-10-19
KR102596507B1 (ko) 2023-11-01

Similar Documents

Publication Publication Date Title
WO2019142666A1 (ja) 画像処理装置および方法
JP7384159B2 (ja) 画像処理装置および方法
WO2019198523A1 (ja) 画像処理装置および方法
WO2019142667A1 (ja) 画像処理装置および方法
US11699248B2 (en) Image processing apparatus and method
JP7331852B2 (ja) 画像処理装置および方法
KR20200140256A (ko) 화상 처리 장치 및 방법
US11399189B2 (en) Image processing apparatus and method
WO2020188932A1 (ja) 情報処理装置および情報生成方法
JP7396302B2 (ja) 画像処理装置および方法
WO2022145214A1 (ja) 情報処理装置および方法
WO2020137603A1 (ja) 画像処理装置および方法
WO2022201787A1 (ja) 画像処理装置および方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19741709

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019566411

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 3087980

Country of ref document: CA

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019210233

Country of ref document: AU

Date of ref document: 20190107

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2019741709

Country of ref document: EP

Effective date: 20200817

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: 112020013599

Country of ref document: BR

ENP Entry into the national phase

Ref document number: 112020013599

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20200702