WO2020032004A1 - 三次元データ格納方法、三次元データ取得方法、三次元データ格納装置、及び三次元データ取得装置 - Google Patents

三次元データ格納方法、三次元データ取得方法、三次元データ格納装置、及び三次元データ取得装置 Download PDF

Info

Publication number
WO2020032004A1
WO2020032004A1 PCT/JP2019/030842 JP2019030842W WO2020032004A1 WO 2020032004 A1 WO2020032004 A1 WO 2020032004A1 JP 2019030842 W JP2019030842 W JP 2019030842W WO 2020032004 A1 WO2020032004 A1 WO 2020032004A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
data
encoding
encoding method
information
Prior art date
Application number
PCT/JP2019/030842
Other languages
English (en)
French (fr)
Inventor
賀敬 井口
敏康 杉尾
Original Assignee
パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ filed Critical パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ
Priority to CN201980051434.5A priority Critical patent/CN112513938A/zh
Priority to JP2020535779A priority patent/JPWO2020032004A1/ja
Priority to KR1020247000719A priority patent/KR20240010535A/ko
Priority to KR1020217003077A priority patent/KR102624513B1/ko
Priority to EP19846402.6A priority patent/EP3836087A4/en
Publication of WO2020032004A1 publication Critical patent/WO2020032004A1/ja
Priority to US17/132,619 priority patent/US11477482B2/en
Priority to US17/942,274 priority patent/US11856154B2/en
Priority to US18/378,311 priority patent/US20240040149A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/001—Model-based coding, e.g. wire frame
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/188—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a video data packet, e.g. a network abstraction layer [NAL] unit

Definitions

  • the present disclosure relates to a three-dimensional data storage method, a three-dimensional data acquisition method, a three-dimensional data storage device, and a three-dimensional data acquisition device.
  • ⁇ In a wide range of fields, such as computer vision, map information, monitoring, infrastructure inspection, and video distribution for autonomous operation of automobiles or robots, devices or services utilizing three-dimensional data are expected to spread in the future.
  • the three-dimensional data is acquired by various methods such as a distance sensor such as a range finder, a stereo camera, or a combination of a plurality of monocular cameras.
  • One of the three-dimensional data representation methods is a representation method called a point cloud that represents the shape of a three-dimensional structure by a point group in a three-dimensional space.
  • the position and color of the point cloud are stored.
  • Point clouds are expected to become mainstream as a method of expressing three-dimensional data, but point clouds have a very large data volume. Therefore, in the storage or transmission of three-dimensional data, it is necessary to compress the amount of data by encoding, as in the case of two-dimensional video (for example, MPEG-4 @ AVC or HEVC standardized by MPEG). Become.
  • ⁇ Point cloud compression ⁇ is partially supported by a public library (Point ⁇ Cloud ⁇ Library) that performs point cloud related processing.
  • Patent Document 1 a technique for searching for and displaying facilities located around the vehicle using three-dimensional map data is known (for example, see Patent Document 1).
  • the present disclosure relates to a three-dimensional data storage method, a three-dimensional data acquisition method, a three-dimensional data storage device, or a three-dimensional data acquisition device that can realize a reduction in processing amount or a high-speed processing in a device that processes three-dimensional data.
  • the purpose is to provide.
  • the three-dimensional data storage method includes acquiring one or more units storing an encoded stream in which point cloud data is encoded, storing the one or more units in a file, and storing the one or more units in a file. Then, information indicating that the data stored in the file is data obtained by encoding point cloud data is stored in the control information of the file.
  • the three-dimensional data acquisition method obtains a file storing one or more units storing an encoded stream in which point cloud data is encoded, and from the file, A unit is obtained, and the control information of the file includes information indicating that data stored in the file is data obtained by encoding point cloud data.
  • the present disclosure relates to a three-dimensional data storage method, a three-dimensional data acquisition method, a three-dimensional data storage device, or a three-dimensional data acquisition device that can realize a reduction in processing amount or a high-speed processing in a device that processes three-dimensional data. Can be provided.
  • FIG. 1 is a diagram showing a configuration of a three-dimensional data encoding / decoding system according to Embodiment 1.
  • FIG. 2 is a diagram illustrating a configuration example of the point cloud data according to the first embodiment.
  • FIG. 3 is a diagram illustrating a configuration example of a data file in which point cloud data information according to the first embodiment is described.
  • FIG. 4 is a diagram showing types of point cloud data according to the first embodiment.
  • FIG. 5 is a diagram illustrating a configuration of a first encoding unit according to Embodiment 1.
  • FIG. 6 is a block diagram of a first encoding unit according to Embodiment 1.
  • FIG. 7 is a diagram illustrating a configuration of the first decoding unit according to Embodiment 1.
  • FIG. 1 is a diagram showing a configuration of a three-dimensional data encoding / decoding system according to Embodiment 1.
  • FIG. 2 is a diagram illustrating a configuration example of the point cloud data according to the first
  • FIG. 8 is a block diagram of a first decoding unit according to Embodiment 1.
  • FIG. 9 is a diagram illustrating a configuration of a second encoding unit according to Embodiment 1.
  • FIG. 10 is a block diagram of a second encoding unit according to Embodiment 1.
  • FIG. 11 is a diagram illustrating a configuration of the second decoding unit according to Embodiment 1.
  • FIG. 12 is a block diagram of the second decoding unit according to Embodiment 1.
  • FIG. 13 is a diagram showing a protocol stack related to PCC encoded data according to the first embodiment.
  • FIG. 14 is a diagram illustrating a protocol stack according to the first embodiment.
  • FIG. 15 is a diagram illustrating a syntax example of the NAL unit according to the first embodiment.
  • FIG. 16 is a diagram illustrating a syntax example of the NAL unit header according to the first embodiment.
  • FIG. 17 is a diagram illustrating an example of the semantics of pcc_codec_type according to the first embodiment.
  • FIG. 18 is a diagram illustrating an example of the semantics of pcc_nal_unit_type according to the first embodiment.
  • FIG. 19 is a flowchart of the encoding process according to Embodiment 1.
  • FIG. 20 is a flowchart of a decoding process performed by the second decoding unit according to Embodiment 1.
  • FIG. 21 is a flowchart of a decoding process performed by the first decoding unit according to Embodiment 1.
  • FIG. 22 is a diagram illustrating a protocol stack according to the second embodiment.
  • FIG. 23 is a diagram illustrating a syntax example of a NAL unit for the codec 2 according to Embodiment 2.
  • FIG. 24 is a diagram illustrating a syntax example of a NAL unit header for the codec 2 according to the second embodiment.
  • FIG. 25 is a diagram illustrating an example of the semantics of codec2_nal_unit_type according to the second embodiment.
  • FIG. 26 is a diagram illustrating a syntax example of a NAL unit for the codec 1 according to Embodiment 2.
  • FIG. 27 is a diagram illustrating a syntax example of a NAL unit header for the codec 1 according to Embodiment 2.
  • FIG. 28 is a diagram illustrating an example of the semantics of codec1_nal_unit_type according to the second embodiment.
  • FIG. 29 is a flowchart of an encoding process according to Embodiment 2.
  • FIG. 30 is a flowchart of a decoding process according to Embodiment 2.
  • FIG. 31 is a diagram illustrating a protocol stack according to the third embodiment.
  • FIG. 32 is a diagram illustrating a syntax example of the NAL unit according to the third embodiment.
  • FIG. 33 is a diagram illustrating a syntax example of a NAL unit header according to the third embodiment.
  • FIG. 34 is a diagram illustrating an example of the semantics of pcc_nal_unit_type according to the third embodiment.
  • FIG. 35 is a flowchart of an encoding process according to Embodiment 3.
  • FIG. 36 is a flowchart of a decoding process according to Embodiment 3.
  • FIG. 37 is a flowchart of an encoding process according to a modification of the embodiment.
  • FIG. 38 is a flowchart of a decoding process according to a modification of the embodiment.
  • FIG. 39 is a block diagram of an encoding unit according to Embodiment 4.
  • FIG. 40 is a block diagram of a decoding unit according to Embodiment 4.
  • FIG. 41 is a flowchart of an encoding process according to Embodiment 4.
  • FIG. 42 is a flowchart of a decoding process according to Embodiment 4.
  • FIG. 43 is a diagram showing a basic structure of the ISOBMFF according to the fifth embodiment.
  • FIG. 44 is a diagram illustrating a protocol stack according to the fifth embodiment.
  • FIG. 45 is a diagram illustrating an example in which the NAL unit according to the fifth embodiment is stored in a file for codec 1.
  • FIG. 46 is a diagram illustrating an example in which the NAL unit according to the fifth embodiment is stored in a file for codec 2.
  • FIG. 47 is a diagram illustrating a configuration of a first multiplexing unit according to Embodiment 5.
  • FIG. 48 is a diagram illustrating a configuration of a first demultiplexing unit according to Embodiment 5.
  • FIG. 49 is a diagram illustrating a configuration of a second multiplexing unit according to Embodiment 5.
  • FIG. 50 is a diagram illustrating a configuration of a second demultiplexing unit according to Embodiment 5.
  • FIG. 51 is a flowchart of a process performed by the first multiplexing unit according to Embodiment 5.
  • FIG. 52 is a flowchart of processing by the second multiplexing unit according to Embodiment 5.
  • FIG. 53 is a flowchart of a process performed by the first demultiplexing unit and the first decoding unit according to Embodiment 5.
  • FIG. 54 is a flowchart of a process performed by the second demultiplexing unit and the second decoding unit according to Embodiment 5.
  • FIG. 55 is a diagram illustrating configurations of an encoding unit and a third multiplexing unit according to Embodiment 6.
  • FIG. 56 is a diagram illustrating a configuration of a third demultiplexing unit and a decoding unit according to Embodiment 6.
  • FIG. 57 is a flowchart of processing by the third multiplexing unit according to Embodiment 6.
  • FIG. 58 is a flowchart of processing by the third demultiplexing unit and the decoding unit according to Embodiment 6.
  • FIG. 59 is a flowchart of a process performed by the three-dimensional data storage device according to the sixth embodiment.
  • FIG. 60 is a flowchart of a process performed by the three-dimensional data acquisition device according to the sixth embodiment.
  • the three-dimensional data storage method includes acquiring one or more units storing an encoded stream in which point cloud data is encoded, storing the one or more units in a file, and storing the one or more units in a file. Then, information indicating that the data stored in the file is data obtained by encoding point cloud data is stored in the control information of the file.
  • the data stored in the file is encoded data of the point cloud data by referring to the control information of the file. It can be determined early whether or not. Therefore, it is possible to reduce the processing amount of the apparatus or increase the processing speed.
  • the information may further indicate an encoding method used for encoding the point cloud data, of the first encoding method and the second encoding method.
  • the apparatus that processes the file generated by the three-dimensional data storage method can early determine the codec used for the data stored in the file with reference to the control information of the file. Therefore, it is possible to reduce the processing amount of the apparatus or increase the processing speed.
  • the first encoding method encodes position information in which the position of point cloud data is represented by an N (N is an integer of 2 or more) binary tree, and encodes attribute information using the position information.
  • the second encoding method may be a method of generating a two-dimensional image from point cloud data and encoding the two-dimensional image using a video encoding method.
  • the file may conform to ISOBMFF (ISO based media file format).
  • the three-dimensional data acquisition method obtains a file storing one or more units storing an encoded stream in which point cloud data is encoded, and from the file, A unit is obtained, and the control information of the file includes information indicating that data stored in the file is data obtained by encoding point cloud data.
  • the three-dimensional data acquisition method can early determine whether or not the data stored in the file is the encoded data of the point cloud data. Therefore, it is possible to reduce the amount of processing or increase the processing speed of the device that performs the three-dimensional data acquisition method or the subsequent device.
  • the information may further indicate an encoding method used for the encoding, of the first encoding method and the second encoding method.
  • the three-dimensional data acquisition method can early determine the codec used for the data stored in the file with reference to the control information of the file. Therefore, it is possible to reduce the amount of processing or increase the processing speed of the device that performs the three-dimensional data acquisition method or the subsequent device.
  • one of the encoded point cloud data including the data encoded by the first encoding method and the data encoded by the second encoding method may be obtained.
  • the first encoding method encodes position information in which the position of point cloud data is represented by an N (N is an integer of 2 or more) binary tree, and encodes attribute information using the position information.
  • the second encoding method may be a method of generating a two-dimensional image from point cloud data and encoding the two-dimensional image using a video encoding method.
  • the file may conform to ISOBMFF (ISO based media file format).
  • a three-dimensional data storage device includes a processor and a memory, and the processor uses the memory to store an encoded stream in which point cloud data is encoded. Obtaining the above units, storing the one or more units in a file, and storing the information indicating that the data stored in the file is data obtained by encoding point cloud data. Store in file control information.
  • the data stored in the file is encoded data of the point cloud data with reference to the control information of the file. It can be determined early whether or not. Therefore, it is possible to reduce the processing amount of the apparatus or increase the processing speed.
  • a three-dimensional data acquisition device includes a processor and a memory, wherein the processor uses the memory to store an encoded stream in which point cloud data is encoded.
  • the above-mentioned unit obtains a file stored therein, the file obtains the one or more units, and the control information of the file is such that the data stored in the file is the point cloud data encoded. Contains information that indicates data.
  • the three-dimensional data acquisition device can early determine whether or not the data stored in the file is the encoded data of the point cloud data. Therefore, it is possible to reduce the processing amount or increase the processing speed of the three-dimensional data acquisition device or the subsequent device.
  • a recording medium such as a system, a method, an integrated circuit, a computer program or a computer-readable CD-ROM, and the system, the method, the integrated circuit, and the computer program. And any combination of recording media.
  • a three-dimensional data encoding method and a three-dimensional data encoding device for providing a function of transmitting and receiving necessary information according to a use in encoded data of a three-dimensional point cloud
  • the code Data decoding method and three-dimensional data decoding device for decoding encoded data, three-dimensional data multiplexing method for multiplexing the encoded data, and three-dimensional data transmission method for transmitting the encoded data are described. I do.
  • a first encoding method and a second encoding method are being studied as an encoding method (encoding method) of the point cloud data, but a configuration of the encoded data and a system for encoding the encoded data are described.
  • a method of storing data in a format is not defined, and MUX processing (multiplexing), or transmission or storage in the encoding unit cannot be performed as it is.
  • FIG. 1 is a diagram illustrating a configuration example of a three-dimensional data encoding / decoding system according to the present embodiment.
  • the three-dimensional data encoding / decoding system includes a three-dimensional data encoding system 4601, a three-dimensional data decoding system 4602, a sensor terminal 4603, and an external connection unit 4604.
  • the three-dimensional data encoding system 4601 generates encoded data or multiplexed data by encoding point cloud data that is three-dimensional data.
  • the three-dimensional data encoding system 4601 may be a three-dimensional data encoding device realized by a single device, or may be a system realized by a plurality of devices. Further, the three-dimensional data encoding device may include a part of a plurality of processing units included in the three-dimensional data encoding system 4601.
  • the three-dimensional data encoding system 4601 includes a point cloud data generation system 4611, a presentation unit 4612, an encoding unit 4613, a multiplexing unit 4614, an input / output unit 4615, and a control unit 4616.
  • the point cloud data generation system 4611 includes a sensor information acquisition unit 4617 and a point cloud data generation unit 4618.
  • the sensor information acquisition unit 4617 acquires sensor information from the sensor terminal 4603 and outputs the sensor information to the point cloud data generation unit 4618.
  • the point cloud data generation unit 4618 generates point cloud data from the sensor information, and outputs the point cloud data to the encoding unit 4613.
  • the presenting unit 4612 presents the sensor information or the point cloud data to the user. For example, the presentation unit 4612 displays information or an image based on the sensor information or the point cloud data.
  • the encoding unit 4613 encodes (compresses) the point cloud data, and outputs the obtained encoded data, the control information obtained in the encoding process, and other additional information to the multiplexing unit 4614.
  • the additional information includes, for example, sensor information.
  • the multiplexing unit 4614 generates multiplexed data by multiplexing the encoded data input from the encoding unit 4613, control information, and additional information.
  • the format of the multiplexed data is, for example, a file format for storage or a packet format for transmission.
  • the input / output unit 4615 (for example, a communication unit or an interface) outputs multiplexed data to the outside.
  • the multiplexed data is stored in a storage unit such as an internal memory.
  • the control unit 4616 (or the application execution unit) controls each processing unit. That is, the control unit 4616 performs control such as encoding and multiplexing.
  • the sensor information may be input to the encoding unit 4613 or the multiplexing unit 4614. Further, the input / output unit 4615 may output the point cloud data or the encoded data to the outside as it is.
  • the transmission signal (multiplexed data) output from the three-dimensional data encoding system 4601 is input to the three-dimensional data decoding system 4602 via the external connection unit 4604.
  • the three-dimensional data decoding system 4602 generates point cloud data as three-dimensional data by decoding encoded data or multiplexed data.
  • the three-dimensional data decoding system 4602 may be a three-dimensional data decoding device realized by a single device, or may be a system realized by a plurality of devices. Further, the three-dimensional data decoding device may include a part of a plurality of processing units included in the three-dimensional data decoding system 4602.
  • the three-dimensional data decoding system 4602 includes a sensor information acquisition unit 4621, an input / output unit 4622, a demultiplexing unit 4623, a decoding unit 4624, a presentation unit 4625, a user interface 4626, and a control unit 4627.
  • the sensor information acquisition unit 4621 acquires sensor information from the sensor terminal 4603.
  • the input / output unit 4622 acquires the transmission signal, decodes the multiplexed data (file format or packet) from the transmission signal, and outputs the multiplexed data to the demultiplexing unit 4623.
  • Demultiplexing section 4623 acquires encoded data, control information, and additional information from the multiplexed data, and outputs the encoded data, control information, and additional information to decoding section 4624.
  • the decoding unit 4624 reconstructs the point cloud data by decoding the encoded data.
  • the presentation unit 4625 presents the point cloud data to the user. For example, the presentation unit 4625 displays information or an image based on the point cloud data.
  • the user interface 4626 acquires an instruction based on a user operation.
  • the control unit 4627 (or the application execution unit) controls each processing unit. That is, the control unit 4627 performs control such as demultiplexing, decoding, and presentation.
  • the input / output unit 4622 may acquire the point cloud data or the encoded data from outside as it is.
  • the presentation unit 4625 may acquire additional information such as sensor information and present information based on the additional information. Further, the presentation unit 4625 may perform the presentation based on the user's instruction acquired by the user interface 4626.
  • the sensor terminal 4603 generates sensor information which is information obtained by the sensor.
  • the sensor terminal 4603 is a terminal equipped with a sensor or a camera, and includes, for example, a moving object such as a car, a flying object such as an airplane, a mobile terminal, or a camera.
  • the sensor information that can be acquired by the sensor terminal 4603 includes, for example, (1) the distance between the sensor terminal 4603 and the target, or the reflectance of the target obtained from a LIDAR, a millimeter wave radar, or an infrared sensor; The distance between the camera and the object obtained from the monocular camera image or the stereo camera image of the object or the reflectance of the object.
  • the sensor information may include a posture, an orientation, a gyro (angular velocity), a position (GPS information or altitude), a speed, an acceleration, and the like of the sensor.
  • the sensor information may include temperature, pressure, humidity, magnetism, and the like.
  • the external connection unit 4604 is realized by communication with an integrated circuit (LSI or IC), an external storage unit, a cloud server via the Internet, or broadcasting.
  • LSI or IC integrated circuit
  • IC integrated circuit
  • cloud server via the Internet
  • FIG. 2 is a diagram illustrating a configuration of the point cloud data.
  • FIG. 3 is a diagram illustrating a configuration example of a data file in which information of point cloud data is described.
  • Point cloud data includes data of a plurality of points.
  • the data of each point includes position information (three-dimensional coordinates) and attribute information for the position information.
  • a collection of multiple points is called a point group.
  • a point cloud indicates a three-dimensional shape of an object.
  • Position information such as three-dimensional coordinates may be referred to as geometry.
  • the data of each point may include attribute information (attributes) of a plurality of attribute types.
  • the attribute type is, for example, color or reflectance.
  • One piece of attribute information may be associated with one piece of location information, or attribute information having a plurality of different attribute types may be associated with one piece of location information. Further, a plurality of pieces of attribute information of the same attribute type may be associated with one piece of position information.
  • the configuration example of the data file shown in FIG. 3 is an example in which the position information and the attribute information correspond one-to-one, and shows the position information and the attribute information of N points constituting the point group data. I have.
  • the position information is, for example, information on three axes of x, y, and z.
  • the attribute information is, for example, RGB color information.
  • a typical data file is a ply file.
  • FIG. 4 is a diagram illustrating types of point cloud data.
  • the point cloud data includes a static object and a dynamic object.
  • a static object is three-dimensional point cloud data at an arbitrary time (a certain time).
  • a dynamic object is three-dimensional point cloud data that changes over time.
  • the three-dimensional point cloud data at a certain time is referred to as a PCC frame or a frame.
  • the object may be a point cloud whose area is restricted to some extent like ordinary video data, or a large-scale point cloud whose area is not restricted like map information.
  • point cloud data having various densities
  • sparse point cloud data and dense point cloud data may exist.
  • the sensor information is obtained by various methods such as a distance sensor such as a LIDAR or a range finder, a stereo camera, or a combination of a plurality of monocular cameras.
  • the point cloud data generation unit 4618 generates point cloud data based on the sensor information obtained by the sensor information acquisition unit 4617.
  • the point group data generation unit 4618 generates position information as point group data, and adds attribute information to the position information to the position information.
  • the point cloud data generation unit 4618 may process the point cloud data when generating position information or adding attribute information. For example, the point cloud data generation unit 4618 may reduce the data amount by deleting the point cloud whose position is duplicated. In addition, the point cloud data generation unit 4618 may convert the position information (position shift, rotation, normalization, or the like), or may render attribute information.
  • the point cloud data generation system 4611 is included in the three-dimensional data encoding system 4601, but may be provided independently outside the three-dimensional data encoding system 4601.
  • the coding unit 4613 generates coded data by coding the point cloud data based on a predetermined coding method.
  • a predetermined coding method There are roughly the following two types of encoding methods. The first is an encoding method using position information, and this encoding method is hereinafter referred to as a first encoding method.
  • the second is an encoding method using a video codec, and this encoding method is hereinafter referred to as a second encoding method.
  • the decoding unit 4624 decodes the point cloud data by decoding the coded data based on a predetermined coding method.
  • the multiplexing unit 4614 generates multiplexed data by multiplexing the coded data using an existing multiplexing method.
  • the generated multiplexed data is transmitted or stored.
  • the multiplexing unit 4614 multiplexes other media such as video, audio, subtitles, applications, and files, or reference time information, in addition to the PCC encoded data. Further, the multiplexing unit 4614 may further multiplex attribute information related to sensor information or point cloud data.
  • ISOBMFF As a multiplexing method or a file format, there are ISOBMFF, MPEG-DASH, MMT, MPEG-2 TS Systems, RMP and the like which are transmission methods based on ISOBMFF.
  • the demultiplexer 4623 extracts PCC encoded data, other media, time information, and the like from the multiplexed data.
  • the input / output unit 4615 transmits the multiplexed data using a method suitable for a transmission medium or a storage medium, such as broadcast or communication.
  • the input / output unit 4615 may communicate with another device via the Internet, or may communicate with a storage unit such as a cloud server.
  • http As a communication protocol, http, ftp, TCP, UDP, or the like is used.
  • a PULL type communication system may be used, or a PUSH type communication system may be used.
  • Either wired transmission or wireless transmission may be used.
  • Ethernet registered trademark
  • USB registered trademark
  • RS-232C HDMI
  • coaxial cable or the like
  • wireless transmission wireless LAN, Wi-Fi (registered trademark), Bluetooth (registered trademark), millimeter wave, or the like is used.
  • DVB-T2 DVB-S2, DVB-C2, ATSC3.0, ISDB-S3, or the like is used.
  • FIG. 5 is a diagram illustrating a configuration of a first encoding unit 4630 which is an example of the encoding unit 4613 that performs encoding according to the first encoding method.
  • FIG. 6 is a block diagram of the first encoding unit 4630.
  • the first encoding unit 4630 generates encoded data (encoded stream) by encoding the point cloud data using the first encoding method.
  • This first encoding section 4630 includes a position information encoding section 4631, an attribute information encoding section 4632, an additional information encoding section 4633, and a multiplexing section 4634.
  • the first encoding unit 4630 has a feature that encoding is performed with consideration for a three-dimensional structure. Further, the first encoding unit 4630 has a feature that the attribute information encoding unit 4632 performs encoding using information obtained from the position information encoding unit 4631.
  • the first encoding method is also called GPCC (Geometry @ based @ PCC).
  • the point cloud data is PCC point cloud data such as a PLY file or PCC point cloud data generated from sensor information, and includes position information (Position), attribute information (Attribute), and other additional information (MetaData). including.
  • the position information is input to the position information encoding unit 4631, the attribute information is input to the attribute information encoding unit 4632, and the additional information is input to the additional information encoding unit 4633.
  • the position information coding unit 4631 generates coded position information (compressed Geometry), which is coded data, by coding the position information.
  • the position information encoding unit 4631 encodes the position information using an N-ary tree structure such as an octant tree.
  • the target space is divided into eight nodes (subspaces), and 8-bit information (occupancy code) indicating whether or not each node includes a point cloud is generated.
  • the node including the point group is further divided into eight nodes, and 8-bit information indicating whether or not each of the eight nodes includes the point group is generated. This process is repeated until the number of point groups included in the predetermined hierarchy or node becomes equal to or less than the threshold value.
  • the attribute information coding unit 4632 generates coded attribute information (Compressed Attribute) which is coded data by coding using the configuration information generated by the position information coding unit 4631. For example, the attribute information encoding unit 4632 determines a reference point (reference node) to be referred to in encoding the processing target point (target node) based on the octree structure generated by the position information encoding unit 4631. I do. For example, the attribute information encoding unit 4632 refers to a node whose parent node in the octree is the same as the target node, among the neighboring nodes or adjacent nodes. The method for determining the reference relationship is not limited to this.
  • the encoding process of the attribute information may include at least one of a quantization process, a prediction process, and an arithmetic encoding process.
  • the reference refers to using the reference node for calculating the predicted value of the attribute information, or the state of the reference node for determining the encoding parameter (for example, occupancy indicating whether or not the reference node includes a point cloud). Information).
  • the encoding parameter is a quantization parameter in a quantization process, a context in arithmetic encoding, or the like.
  • the additional information encoding unit 4633 generates encoded additional information (Compressed MetaData), which is encoded data, by encoding compressible data in the additional information.
  • Compressed MetaData encoded additional information
  • the multiplexing unit 4634 multiplexes the coding position information, the coding attribute information, the coded additional information, and other additional information to generate a coded stream (Compressed $ Stream) that is coded data.
  • the generated encoded stream is output to a processing unit of a system layer (not shown).
  • FIG. 7 is a diagram illustrating a configuration of the first decoding unit 4640.
  • FIG. 8 is a block diagram of the first decoding unit 4640.
  • the first decoding unit 4640 generates point cloud data by decoding the coded data (coded stream) coded by the first coding method by the first coding method.
  • the first decoding unit 4640 includes a demultiplexing unit 4641, a position information decoding unit 4642, an attribute information decoding unit 4643, and an additional information decoding unit 4644.
  • a coded stream (CompressedmStream), which is coded data, is input to a first decoding unit 4640 from a processing unit of a system layer (not shown).
  • the demultiplexing unit 4641 separates coded position information (Compressed Geometry), coded attribute information (Compressed Attributes), coded additional information (Compressed MetaData), and other additional information from the coded data.
  • coded position information Compressed Geometry
  • coded attribute information Compressed Attributes
  • coded additional information Compressed MetaData
  • the position information decoding unit 4642 generates position information by decoding the encoded position information. For example, the position information decoding unit 4642 restores position information of a point group represented by three-dimensional coordinates from encoded position information represented by an N-ary tree structure such as an octant tree.
  • the attribute information decoding unit 4643 decodes the encoded attribute information based on the configuration information generated by the position information decoding unit 4642. For example, the attribute information decoding unit 4643 determines a reference point (reference node) to be referred to in decoding the target point (target node) to be processed based on the octree structure obtained by the position information decoding unit 4642. For example, the attribute information decoding unit 4643 refers to a node whose parent node in the octree is the same as the target node among the peripheral nodes and the adjacent nodes. The method for determining the reference relationship is not limited to this.
  • the decoding process of the attribute information may include at least one of an inverse quantization process, a prediction process, and an arithmetic decoding process.
  • the reference means that the reference node is used for calculating the predicted value of the attribute information, or the state of the reference node (for example, occupancy information indicating whether or not the reference node includes a point cloud) in determining the decoding parameter.
  • the decoding parameter is a quantization parameter in the inverse quantization process, a context in the arithmetic decoding, or the like.
  • the additional information decoding unit 4644 generates additional information by decoding the encoded additional information. Further, first decoding section 4640 uses additional information necessary for decoding position information and attribute information at the time of decoding, and outputs additional information necessary for an application to the outside.
  • FIG. 9 is a diagram illustrating a configuration of the second encoding unit 4650.
  • FIG. 10 is a block diagram of the second encoding unit 4650.
  • the second encoding unit 4650 generates encoded data (encoded stream) by encoding the point cloud data by the second encoding method.
  • the second encoding unit 4650 includes an additional information generation unit 4651, a position image generation unit 4652, an attribute image generation unit 4653, a video encoding unit 4654, an additional information encoding unit 4655, and a multiplexing unit 4656.
  • the second encoding unit 4650 generates a position image and an attribute image by projecting a three-dimensional structure onto a two-dimensional image, and encodes the generated position image and the attribute image using an existing video encoding method. It has the feature of.
  • the second encoding method is also called VPCC (Video based PCC).
  • the point cloud data is PCC point cloud data such as a PLY file or PCC point cloud data generated from sensor information, and includes position information (Position), attribute information (Attribute), and other additional information MetaData. Including.
  • the additional information generation unit 4651 generates map information of a plurality of two-dimensional images by projecting a three-dimensional structure onto a two-dimensional image.
  • the position image generation unit 4652 generates a position image (Geometry @ Image) based on the position information and the map information generated by the additional information generation unit 4651.
  • This position image is, for example, a distance image in which a distance (Depth) is indicated as a pixel value.
  • the distance image may be an image in which a plurality of point groups are viewed from one viewpoint (an image in which a plurality of point groups are projected on one two-dimensional plane), or a plurality of point groups may be viewed from a plurality of viewpoints. Or a single image obtained by integrating the plurality of images.
  • the attribute image generation unit 4653 generates an attribute image based on the attribute information and the map information generated by the additional information generation unit 4651.
  • the attribute image is, for example, an image in which attribute information (for example, color (RGB)) is indicated as a pixel value.
  • RGB color
  • This image may be an image in which a plurality of point groups are viewed from one viewpoint (an image in which a plurality of point groups are projected on one two-dimensional plane), or a plurality of point groups may be viewed from a plurality of viewpoints. It may be a plurality of viewed images or a single image obtained by integrating these plurality of images.
  • the video encoding unit 4654 encodes the position image and the attribute image using the video encoding method, so that the encoded position image (Compressed Geometry Image) and the encoded attribute image (Compressed Attribute Image) are encoded data. ).
  • the video encoding method is AVC or HEVC.
  • the additional information encoding unit 4655 generates encoded additional information (Compressed @ MetaData) by encoding additional information, map information, and the like included in the point cloud data.
  • the multiplexing unit 4656 multiplexes the coded position image, the coded attribute image, the coded additional information, and other additional information to generate a coded stream (Compressed $ Stream) that is coded data.
  • the generated encoded stream is output to a processing unit of a system layer (not shown).
  • FIG. 11 is a diagram illustrating a configuration of the second decoding unit 4660.
  • FIG. 12 is a block diagram of the second decoding unit 4660.
  • the second decoding unit 4660 generates point cloud data by decoding the coded data (coded stream) coded by the second coding method by the second coding method.
  • the second decoding unit 4660 includes a demultiplexing unit 4661, a video decoding unit 4662, an additional information decoding unit 4663, a position information generation unit 4664, and an attribute information generation unit 4665.
  • the encoded stream (Compressed @ Stream), which is encoded data, is input to the second decoding unit 4660 from a processing unit of a system layer (not shown).
  • the demultiplexing unit 4661 separates the encoded position image (Compressed @ Geometry @ Image), the encoded attribute image (Compressed @ Attribute @ Image), the encoded additional information (Compressed @ MetaData), and other additional information from the encoded data. .
  • the video decoding unit 4662 generates the position image and the attribute image by decoding the encoded position image and the encoded attribute image using the video encoding method. It should be noted that any known encoding scheme may be used as the video encoding scheme. For example, the video encoding method is AVC or HEVC.
  • the additional information decoding unit 4663 generates additional information including map information and the like by decoding the encoded additional information.
  • the position information generation unit 4664 generates position information using the position image and the map information.
  • the attribute information generation unit 4665 generates attribute information using the attribute image and the map information.
  • the second decoding unit 4660 uses the additional information necessary for decoding at the time of decoding, and outputs the additional information necessary for the application to the outside.
  • FIG. 13 is a diagram showing a protocol stack related to PCC encoded data.
  • FIG. 13 shows an example in which data of another medium such as video (for example, HEVC) or audio is multiplexed on PCC encoded data and transmitted or stored.
  • video for example, HEVC
  • audio is multiplexed on PCC encoded data and transmitted or stored.
  • the multiplexing method and the file format have a function of multiplexing various coded data and transmitting or storing the coded data.
  • the encoded data In order to transmit or store the encoded data, the encoded data must be converted to a multiplex format.
  • HEVC a technique is defined in which encoded data is stored in a data structure called a NAL unit, and the NAL unit is stored in ISOBMFF.
  • the first encoding method (Codec1) and the second encoding method (Codec2) are being studied as the encoding method of the point cloud data.
  • a method of storing data in the system format is not defined, and MUX processing (multiplexing), transmission, and storage in the encoding unit cannot be performed as it is.
  • one format NAL unit is defined for one codec.
  • PCC codec two codecs of a first encoding method and a second encoding method
  • FIG. 14 is a diagram showing a protocol stack in this case.
  • FIGS. 15 to 17 are diagrams showing examples of NAL unit formats common to codecs.
  • FIG. 15 is a diagram illustrating a syntax example of a common PCC @ NAL unit (Common @ PCC @ NAL @ Unit).
  • FIG. 16 is a diagram illustrating a syntax example of a common PCC ⁇ NAL unit header (Common ⁇ PCC ⁇ NAL ⁇ Unit ⁇ Header).
  • FIG. 17 is a diagram illustrating an example of the semantics of pcc_codec_type.
  • FIG. 18 is a diagram illustrating an example of a codec-dependent NAL unit type definition, and is a diagram illustrating an example of the semantics of pcc_nal_unit_type.
  • NAA NAL unit format common to PCC codecs is defined as the NAL unit format.
  • the NAL unit (pcc_nal_unit) includes a header (pcc_nal_unit_header), a payload (pcc_nal_unit_payload), and a trailing bit (trailing_bits).
  • the same format is used when data of any of the codecs of the first encoding method and the second encoding method is stored.
  • the NAL unit header (pcc_nal_unit_header) stores the codec type (pcc_codec_type) and the NAL unit type (pcc_nal_unit_type).
  • the codec type indicates whether the PCC codec of the encoded data stored in the NAL unit is the first encoding method or the second encoding method.
  • NAL unit type indicates the type of NAL unit that depends on the codec, and the type is defined for each codec. If the codec type is the first encoding method, the NAL unit type indicates a NAL unit type defined for the first encoding method. If the codec type is the second encoding method, the NAL unit type indicates a NAL unit type defined for the second encoding method. That is, the NAL unit type defined for the first encoding method and the NAL unit type defined for the second encoding method have different meanings associated with the same value.
  • the function of the codec type may be merged with the NAL unit type.
  • the codec type may be indicated using a part of the information of the NAL unit type.
  • FIG. 19 is a flowchart of the encoding process according to the present embodiment.
  • the process of FIG. 11 shows the process of the first encoding unit 4630 or the second encoding unit 4650 when the above definition is used.
  • the first encoding unit 4630 or the second encoding unit 4650 is also referred to as an encoding unit 4613 without distinction.
  • 10 is mainly performed by the multiplexing unit 4634 shown in FIG. 6 or the multiplexing unit 4656 shown in FIG.
  • FIG. 3 shows an example in which PCC data is encoded by one of the first encoding method and the second encoding method, and it is known which PCC codec to encode. It is assumed that For example, which PCC codec to use may be specified by a user or an external device.
  • the encoding unit 4613 encodes the PCC data using any one of the codecs of the first encoding method and the second encoding method (S4601).
  • the encoding unit 4613 sets the pcc_codec_type included in the NAL unit header to the data included in the payload of the NAL unit in the second.
  • the value is set to a value indicating that the data is encoded by the encoding method (S4603).
  • the coding unit 4613 sets the identifier of the NAL unit for the second coding method in pcc_nal_unit_type of the NAL unit header (S4604).
  • the encoding unit 4613 has the set NAL unit header, and generates a NAL unit including encoded data in the payload.
  • the encoding unit 4613 transmits the generated NAL unit (S4605).
  • the encoding unit 4613 sets the pcc_codec_type of the NAL unit header to the data included in the payload of the NAL unit as the first.
  • the value is set to a value indicating that the data is encoded by the encoding method (S4606).
  • the coding unit 4613 sets the identifier of the NAL unit for the first coding method in pcc_nal_unit_type of the NAL unit header (S4607).
  • the encoding unit 4613 has the set NAL unit header, and generates a NAL unit including encoded data in the payload. Then, the encoding unit 4613 transmits the generated NAL unit (S4605).
  • the coding unit 4613 indicates whether the NAL unit is the first coding method or the second coding method in pcc_nal_unit_type. You may.
  • FIG. 20 is a flowchart illustrating a decoding process performed by the second decoding unit 4660. 12 is mainly performed by the demultiplexer 4661 shown in FIG.
  • the processing in the figure shows an example in which PCC data is encoded by one of the second encoding method and the first encoding method.
  • the demultiplexing unit 4661 included in the second decoding unit 4660 can identify the codec type of the NAL unit with reference to the information included in the NAL unit header. Therefore, the demultiplexing unit 4661 can output necessary information to the video decoding unit 4662 according to the codec type.
  • the second decoding unit 4660 receives the NAL unit (S4611).
  • this NAL unit is generated by the above-described processing in the encoding unit 4613. That is, the header of this NAL unit includes pcc_codec_type and pcc_nal_unit_type.
  • the second decoding unit 4660 determines whether pcc_codec_type included in the NAL unit header indicates the first encoding method or the second encoding method (S4612).
  • the second decoding unit 4660 encodes the data included in the payload of the NAL unit using the second encoding method. It is determined that the data is coded (S4613). Then, the second decoding unit 4660 identifies data as pcc_nal_unit_type included in the NAL unit header as an identifier of the NAL unit for the second encoding method (S4614). Then, the second decoding unit 4660 decodes the PCC data using the decoding process of the second encoding method (S4615).
  • second decoding section 4660 encodes the data included in the payload of the NAL unit using the first encoding method. It is determined that the data is coded (S4616). In this case, the second decoding unit 4660 does not process the NAL unit (S4617).
  • the second decoding unit 4660 refers to pcc_nal_unit_type and determines the codec used for the data included in the NAL unit by the first encoding method. It may be determined whether there is a coding method or the second coding method.
  • FIG. 21 is a flowchart showing a decoding process by the first decoding unit 4640. 8 is mainly performed by the demultiplexer 4641 shown in FIG.
  • the processing in the figure shows an example in which PCC data is encoded by one of the first encoding method and the second encoding method.
  • the demultiplexing unit 4641 included in the first decoding unit 4640 can identify the codec type of the NAL unit with reference to the information included in the NAL unit header. Therefore, the demultiplexer 4641 can output necessary information to the position information decoder 4642 and the attribute information decoder 4643 according to the codec type.
  • the first decoding unit 4640 receives the NAL unit (S4621).
  • this NAL unit is generated by the above-described processing in the encoding unit 4613. That is, the header of this NAL unit includes pcc_codec_type and pcc_nal_unit_type.
  • the first decoding unit 4640 determines whether pcc_codec_type included in the NAL unit header indicates the first coding method or the second coding method (S4622).
  • the first decoding unit 4640 encodes the data included in the payload of the NAL unit using the second encoding method. It is determined that the data is coded (S4623). In this case, the first decoding unit 4640 does not process the NAL unit (S4624).
  • first decoding section 4640 encodes the data included in the payload of the NAL unit by the first encoding method. It is determined that the data has been obtained (S4625). Then, the first decoding unit 4640 identifies the data assuming that pcc_nal_unit_type included in the NAL unit header is the identifier of the NAL unit for the first encoding method (S4626). Then, the first decoding unit 4640 decodes the PCC data using the decoding process of the first encoding method (S4627).
  • FIG. 22 is a diagram showing a protocol stack in this case.
  • FIG. 23 is a diagram illustrating a syntax example of a NAL unit (codec2_nal_unit) for codec 2.
  • FIG. 24 is a diagram illustrating a syntax example of a NAL unit header (codec2_nal_unit_header) for the codec 2.
  • FIG. 25 is a diagram illustrating an example of the semantics of codec2_nal_unit_type.
  • FIG. 26 is a diagram illustrating an example of the syntax of a NAL unit (codec1_nal_unit) for codec 1.
  • FIG. 27 is a diagram illustrating a syntax example of a NAL unit header (codec1_nal_unit_header) for the codec 1.
  • FIG. 28 is a diagram illustrating an example of the semantics of codec1_nal_unit_type.
  • the NAL unit (codec1_nal_unit, codec2_nal_unit) includes a header (codec1_nal_unit_header, codec2_nal_unit_header), a payload (codec1_nal_unit_payload, a codec2_nal_unit_laying, and a bit including a codec2_nal_unit_laying, tray, and a payload).
  • the NAL unit (codec1_nal_unit) for the first encoding method and the NAL unit (codec2_nal_unit) for the second encoding method may have the same configuration or different configurations.
  • the size of the NAL unit for the first encoding method and the size of the NAL unit for the second encoding method may be different.
  • the data encoded by the first encoding method is stored in the NAL unit for the first encoding method.
  • the data encoded by the second encoding method is stored in the NAL unit for the second encoding method.
  • NAL unit headers (codec1_nal_unit_header, codec2_nal_unit_header) store NAL unit types (codec1_nal_unit_type, codec2_nal_unit_type).
  • the NAL unit type is independent for each codec, and the type is defined for each codec. That is, the NAL unit for the first encoding method describes the NAL unit type defined for the first encoding method.
  • the NAL unit for the second encoding method describes a NAL unit type defined for the second encoding method.
  • the first encoding method and the second encoding method can be treated as different codecs.
  • FIG. 29 is a flowchart of the encoding process according to the present embodiment.
  • the process of FIG. 14 shows the process of the first encoding unit 4630 or the second encoding unit 4650 when the above definition is used. 10 is mainly performed by the multiplexing unit 4634 shown in FIG. 6 or the multiplexing unit 4656 shown in FIG.
  • FIG. 3 shows an example in which PCC data is encoded by one of the first encoding method and the second encoding method, and it is known which PCC codec to encode. It is assumed that For example, which PCC codec to use may be specified by a user or an external device.
  • the encoding unit 4613 encodes the PCC data using one of the codecs of the first encoding method and the second encoding method (S4631).
  • the encoding unit 4613 If the used codec is the second encoding method (the second encoding method in S4632), the encoding unit 4613 generates a NAL unit in the NAL unit format for the second encoding method (S4633). . Next, the encoding unit 4613 sets the identifier of the NAL unit for the second encoding method to codec2_nal_unit_type included in the NAL unit header (S4634). Then, the encoding unit 4613 has the set NAL unit header, and generates a NAL unit including encoded data in the payload. Then, the encoding unit 4613 transmits the generated NAL unit (S4635).
  • the encoding unit 4613 determines whether the used codec is the first encoding method (the first encoding method in S4632). If the used codec is the first encoding method (the first encoding method in S4632), the encoding unit 4613 generates a NAL unit in the NAL unit format for the first encoding method ( S4636). Next, the encoding unit 4613 sets the identifier of the NAL unit for the first encoding method in codec1_nal_unit_type of the NAL unit header (S4637). Then, the encoding unit 4613 has the set NAL unit header, and generates a NAL unit including encoded data in the payload. Then, the encoding unit 4613 transmits the generated NAL unit (S4635).
  • FIG. 30 is a flowchart of the decoding process according to the present embodiment.
  • the processing of FIG. 14 shows the processing of the first decoding unit 4640 or the second decoding unit 4660 when the above definition is used.
  • the first decoding unit 4640 or the second decoding unit 4660 is also referred to as a decoding unit 4624 without distinction.
  • the processing in the figure is mainly performed by the demultiplexing unit 4641 shown in FIG. 8 or the demultiplexing unit 4661 shown in FIG.
  • FIG. 2 shows an example in which PCC data is encoded by one of the first encoding method and the second encoding method. It shall be known. For example, information indicating the used codec is included in the transmission signal, the multiplexed data, or the encoded data, and the decoding unit 4624 determines the used codec with reference to the information. Note that the decoding unit 4624 may determine the codec used based on signals obtained separately from these signals.
  • the decoding unit 4624 receives the NAL unit of the second encoding format (S4642). Next, the decoding unit 4624 determines that the NAL unit is for the second encoding method, and identifies data using the NAL unit format for the second encoding method and codec2_nal_unit_type for the second encoding method. (S4643). Next, the decoding unit 4624 decodes the PCC data using the decoding process of the second encoding method (S4644).
  • the decoding unit 4624 receives the NAL unit in the format for the first encoding method (S4645). .
  • decoding section 4624 determines that the NAL unit is for the first encoding method, and identifies data using NAL unit format for the first encoding method and codec1_nal_unit_type for the first encoding method. (S4646).
  • the decoding unit 4624 decodes the PCC data using the decoding process of the first encoding method (S4747).
  • a format common to PCC codecs is defined as a NAL unit.
  • an identifier of the NAL unit common to the PCC codecs is defined.
  • FIG. 31 is a diagram showing a protocol stack in this case.
  • FIGS. 32 to 34 are diagrams illustrating examples of the NAL unit format common to the codecs.
  • FIG. 32 is a diagram illustrating a syntax example of a common PCC @ NAL unit (Common @ PCC @ NAL @ Unit).
  • FIG. 33 is a diagram illustrating a syntax example of a common PCC ⁇ NAL unit header (Common ⁇ PCC ⁇ NAL ⁇ Unit ⁇ Header).
  • FIG. 34 is a diagram illustrating an example of the semantics of pcc_codec_type.
  • NAA NAL unit format common to PCC codecs is defined as the NAL unit format.
  • the NAL unit (pcc_nal_unit) includes a header (pcc_nal_unit_header), a payload (pcc_nal_unit_payload), and a trailing bit (trailing_bits).
  • the same format is used when data of any of the codecs of the first encoding method and the second encoding method is stored.
  • the NAL unit header (pcc_nal_unit_header) stores a NAL unit type (pcc_nal_unit_type).
  • the NAL unit type is common to codecs, and a type common to codecs is defined. In other words, both the NAL unit for the first encoding method and the NAL unit for the second encoding method describe a commonly defined NAL unit type.
  • PCC @ DataA is coded data of codec 1
  • PCC @ DataB is coded data of codec 2
  • PCC @ MetaDataA is additional information of codec 1
  • PCC @ MetaDataB is , Codec2.
  • the first encoding method and the second encoding method can be treated as the same codec.
  • FIG. 35 is a flowchart of the encoding process according to the present embodiment.
  • the process of FIG. 11 shows the process of the first encoding unit 4630 or the second encoding unit 4650 when the above definition is used. 10 is mainly performed by the multiplexing unit 4634 shown in FIG. 6 or the multiplexing unit 4656 shown in FIG.
  • processing in the figure shows an example in which PCC data is encoded by either the second encoding method or the first encoding method, and it is known which PCC codec to encode. It is assumed that For example, which PCC codec to use may be specified by a user or an external device.
  • the encoding unit 4613 encodes the PCC data using a codec of either the second encoding method or the first encoding method (S4651).
  • the encoding unit 4613 generates a NAL unit in the PCC common NAL unit format (S4652).
  • the encoding unit 4613 sets the PCC-common NAL unit identifier in pcc_nal_unit_type included in the NAL unit header (S4653).
  • the NAL unit having the set NAL unit header and including the encoded data in the payload is transmitted (S4654).
  • FIG. 36 is a flowchart of the decoding process according to the present embodiment.
  • the processing of FIG. 14 shows the processing of the first decoding unit 4640 or the second decoding unit 4660 when the above definition is used. Also, the processing in the figure is mainly performed by the demultiplexing unit 4641 shown in FIG. 8 or the demultiplexing unit 4661 shown in FIG.
  • processing in the figure shows an example in which PCC data is encoded by one of the second encoding method and the first encoding method.
  • the decoding unit 4624 determines the codec used for encoding the data included in the NAL unit (S4661). For example, the decoding unit 4624 determines the codec being used by referring to pcc_nal_unit_type included in the NAL unit header.
  • the decoding unit 4624 receives the NAL unit of the PCC common format (S4662). Next, the decoding unit 4624 determines that the NAL unit is common, and identifies data using a common NAL unit format and a common pcc_nal_unit_type (S4663). Next, the decoding unit 4624 decodes the PCC data by using the decoding process of the second encoding method (S4664).
  • the decoding unit 4624 receives the NAL unit of the PCC common format (S4665). Next, the decoding unit 4624 determines that the NAL unit is common, and identifies data using a common NAL unit format and a common pcc_nal_unit_type (S4666). Next, the decoding unit 4624 decodes the PCC data using the decoding process of the first encoding method (S4667).
  • the following method may be used as another method for indicating the PCC codec type.
  • first, second, and third embodiments have described the case where two codecs of the first encoding method and the second encoding method are mixed, three or more PCC codecs are used. The above method is also applicable when
  • the identification information of the PCC codec (pcc_codec_type in Embodiment 1 and pcc_nal_unit_type in Embodiment 3b) is described in the NAL unit header. It may be stored in another location.
  • the first encoding method and the second encoding method are not limited to the above example, and may be any codec.
  • the first encoding method and the second encoding method may be a plurality of codecs obtained by subdividing GPCC or a plurality of codecs obtained by subdividing VPCC.
  • the first encoding method and the second encoding method are both VPCC, and different video encoding methods may be used.
  • the video coding method may be, for example, AVC or HEVC.
  • one or both of the first encoding method and the second encoding method may be an encoding method including another encoding method such as video, audio, and text application.
  • the identification information of the codec may be included in the control information included in the PCC encoded stream.
  • the control information is, for example, a parameter set or metadata such as SEI (Supplemental Enhancement Information).
  • FIG. 37 is a flowchart of an encoding process performed by the encoding unit 4613 in this case.
  • the encoding unit 4613 encodes the PCC data (S4671), and describes the identification information of the PCC codec at a predetermined position (for example, a parameter set) in the encoded data (S4672).
  • the encoding unit 4613 generates a NAL unit including the encoded data, and transmits the generated NAL unit (S4673).
  • the identification information of the PCC codec may be defined as profile, and the identification information of the PCC codec may be indicated in the metadata. If the same codec is used for the entire sequence, the sequence parameter set may include identification information of the PCC codec. Further, when encoding is performed using a different codec for each PCC frame, the parameter set describing information for each frame may include identification information of the PCC codec. For example, when a different codec is used for each piece of PCC data, such as when different codecs are used for the location information and the attribute information, the parameter set describing information for each piece of data may include the identification information of the PCC codec. . That is, information indicating the codec of the position information may be included in the control information of the position information (such as a parameter set), and information indicating the codec of the attribute information may be included in the control information of the attribute information (such as a parameter set).
  • codec identification information may be stored in any of the above, or may be stored in a plurality of locations.
  • the identification information of the codec may be stored both in the encoded stream and in the NAL unit header.
  • codec identification information is stored at a plurality of positions, the same information may be stored at a plurality of positions, or different information may be stored.
  • the different information is, for example, information indicating GPCC or VPCC and information indicating one of a plurality of codecs obtained by subdividing GPCC or VPCC.
  • the demultiplexing unit 4641 or 4661 included in the decoding unit 4624 analyzes the description in the parameter set, so that the data included in the payload of the NAL unit is converted to the first data. It is possible to determine whether the data is data encoded by the encoding method of the above or data encoded by the second encoding method. Accordingly, decoding section 4624 can quickly filter NAL units that are not necessary for decoding.
  • FIG. 38 is a flowchart of a decoding process performed by the decoding unit 4624 in this case.
  • the decoding unit 4624 receives the NAL unit (S4675), and identifies predetermined data (for example, the parameter set) in which the identification information of the PCC codec is described using pcc_nal_unit_type included in the NAL unit header (S4676).
  • the decoding unit 4624 identifies a PCC codec indicated in the predetermined data by analyzing the predetermined data (for example, a parameter set) (S4677).
  • the decoding unit 4624 decodes the encoded data using the identified PCC codec (S4678).
  • encoding section 4670 having both functions of first encoding section 4630 and second encoding section 4650 described above, and first decoding section 4640 and second decoding section 4660 have the same functions.
  • the decoding unit 4680 having both functions will be described.
  • FIG. 39 is a block diagram of encoding section 4670 according to the present embodiment.
  • This encoding section 4670 includes the above-described first encoding section 4630 and second encoding section 4650, and multiplexing section 4671.
  • Multiplexing section 4671 multiplexes the encoded data generated by first encoding section 4630 and the encoded data generated by second encoding section 4650, and outputs the resulting encoded data.
  • FIG. 40 is a block diagram of decoding section 4680 according to the present embodiment.
  • This decoding section 4680 includes the above-described first decoding section 4640 and second decoding section 4660, and demultiplexing section 4681.
  • the demultiplexing unit 4681 extracts, from the input encoded data, encoded data using the first encoding method and encoded data using the second encoding method.
  • the demultiplexing unit 4681 outputs the encoded data using the first encoding method to the first decoding unit 4640, and outputs the encoded data using the second encoding method to the second decoding unit 4640. Output to decoding section 4660.
  • the encoding unit 4670 can encode the point cloud data by selectively using the first encoding method and the second encoding method.
  • the decoding unit 4680 is configured to encode the encoded data using the first encoding method, the encoded data encoded using the second encoding method, and the first encoding method. Encoded data encoded using both the second encoding method and the second encoding method can be decoded.
  • the encoding unit 4670 may switch the encoding method (the first encoding method and the second encoding method) in units of point cloud data or in units of frames. Further, encoding section 4670 may switch the encoding method in units that can be encoded.
  • the encoding unit 4670 generates encoded data (encoded stream) including the identification information of the PCC codec described in, for example, Embodiment 1 or Embodiment 3.
  • the demultiplexing unit 4681 included in the decoding unit 4680 identifies data using, for example, the identification information of the PCC codec described in the first or third embodiment.
  • the demultiplexing unit 4681 outputs the data to the first decoding unit 4640, and outputs the data to the second encoding method.
  • the data is output to the second decoding unit 4660.
  • the encoding unit 4670 may transmit, as control information, information indicating whether both encoding methods are used or whether one of the encoding methods is used, in addition to the identification information of the PCC codec.
  • FIG. 41 is a flowchart of the encoding process according to the present embodiment.
  • encoding processing corresponding to a plurality of codecs can be performed.
  • FIG. 41 shows an example in which the method of the first embodiment is used, but the same processing can be applied to other methods.
  • the encoding unit 4670 encodes the PCC data using one or both codecs of the first encoding method and the second encoding method (S4681).
  • the encoding unit 4670 When the used codec is the second encoding method (the second encoding method in S4682), the encoding unit 4670 replaces the pcc_codec_type included in the NAL unit header with the data included in the payload of the NAL unit in the second. The value is set to a value indicating that the data is encoded by the encoding method (S4683). Next, the encoding unit 4670 sets the identifier of the NAL unit for the second encoding method to pcc_nal_unit_type of the NAL unit header (S4684). Then, encoding section 4670 has a set NAL unit header, and generates a NAL unit including encoded data in the payload. Then, encoding section 4670 transmits the generated NAL unit (S4685).
  • the encoding unit 4670 replaces the pcc_codec_type included in the NAL unit header with the data included in the payload of the NAL unit.
  • the value is set to a value indicating that the data is encoded by the encoding method 1 (S4686).
  • the encoding unit 4670 sets the identifier of the NAL unit for the first encoding method to pcc_nal_unit_type included in the NAL unit header (S4687).
  • encoding section 4670 has a set NAL unit header, and generates a NAL unit including encoded data in the payload. Then, encoding section 4670 transmits the generated NAL unit (S4685).
  • FIG. 42 is a flowchart of the decoding process according to the present embodiment.
  • decoding processing corresponding to a plurality of codecs can be performed.
  • FIG. 42 shows an example in which the method of Embodiment 1 is used, but the same processing can be applied to other methods.
  • the decoding unit 4680 receives the NAL unit (S4691).
  • this NAL unit is generated by the above-described processing in the encoding unit 4670.
  • the decoding unit 4680 determines whether pcc_codec_type included in the NAL unit header indicates the first coding method or the second coding method (S4692).
  • the decoding unit 4680 determines that the data included in the payload of the NAL unit is the data encoded by the second encoding method. Is determined (S4693). Then, the second decoding unit 4660 identifies the data as pcc_nal_unit_type included in the NAL unit header as an identifier of the NAL unit for the second encoding method (S4694). Then, the decoding unit 4680 decodes the PCC data using the decoding process of the second encoding method (S4695).
  • decoding section 4680 determines that the data included in the payload of the NAL unit is the data encoded by the first encoding method. Is determined (S4696). Then, the decoding unit 4680 identifies the data as pcc_nal_unit_type included in the NAL unit header as an identifier of the NAL unit for the first encoding method (S4697). Then, the decoding unit 4680 decodes the PCC data using the decoding process of the first encoding method (S4698).
  • the three-dimensional data encoding device generates an encoded stream by encoding three-dimensional data (for example, point cloud data) (for example, S4671 in FIG. 37).
  • three-dimensional data for example, point cloud data
  • information for example, codec identification information
  • It is stored (for example, S4672 in FIG. 37).
  • the three-dimensional data decoding device uses the information stored in the control information to perform the encoding used for the encoding.
  • the method can be determined. Therefore, the three-dimensional data decoding device can correctly decode the encoded stream even when a plurality of encoding methods are used.
  • the three-dimensional data includes position information.
  • the three-dimensional data encoding device encodes the position information in the encoding.
  • the three-dimensional data encoding device in the storing, indicates, in the control information of the position information, an encoding method used for encoding the position information among the first encoding method and the second encoding method. Stores information.
  • the three-dimensional data includes position information and attribute information.
  • the three-dimensional data encoding device encodes the position information and the attribute information.
  • the three-dimensional data encoding device in the storing, indicates, in the control information of the position information, an encoding method used for encoding the position information among the first encoding method and the second encoding method.
  • Information is stored, and information indicating the encoding method used for encoding the attribute information, out of the first encoding method and the second encoding method, is stored in the control information of the attribute information.
  • the three-dimensional data encoding method further stores the encoded stream in one or more units (for example, NAL units) (for example, S4673 in FIG. 37).
  • NAL units for example, S4673 in FIG. 37.
  • the unit has a format common to the first encoding method and the second encoding method, and includes data included in the unit. And information having a definition independent of the first encoding method and the second encoding method (for example, pcc_nal_unit_type).
  • the unit has a format independent of the first encoding method and the second encoding method, and includes data included in the unit. And information having independent definitions for the first encoding method and the second encoding method (for example, codec1_nal_unit_type or codec2_nal_unit_type).
  • the unit has a format common to the first encoding method and the second encoding method, and includes data included in the unit. And information having a definition common to the first encoding method and the second encoding method (for example, pcc_nal_unit_type).
  • the three-dimensional data encoding device includes a processor and a memory, and the processor performs the above-described processing using the memory.
  • the three-dimensional data decoding apparatus includes a first encoding method and a first encoding method included in control information (for example, a parameter set) of an encoded stream generated by encoding three-dimensional data.
  • control information for example, a parameter set
  • the encoding method used for encoding the encoded stream is determined based on information (eg, codec identification information) indicating the encoding method used for encoding the three-dimensional data. Then, the encoded stream is decoded using the determined encoding method (for example, S4678 in FIG. 38).
  • the three-dimensional data decoding device when decoding the encoded stream, can determine the encoding method used for encoding using the information stored in the control information. Therefore, the three-dimensional data decoding device can correctly decode the encoded stream even when a plurality of encoding methods are used.
  • the three-dimensional data includes position information
  • the encoded stream includes encoded data of the position information.
  • the three-dimensional data decoding apparatus may include, among the first encoding method and the second encoding method, encoding of the position information included in control information of the position information included in the encoded stream.
  • the encoding method used for encoding the position information is determined based on the information indicating the encoding method used for (1).
  • the three-dimensional data decoding device decodes the encoded data of the position information using an encoding method used for encoding the determined position information.
  • the three-dimensional data includes position information and attribute information
  • the encoded stream includes encoded data of the position information and encoded data of the attribute information.
  • the three-dimensional data decoding apparatus may include, among the first encoding method and the second encoding method, encoding of the position information included in control information of the position information included in the encoded stream. Determining the encoding method used for encoding the position information based on information indicating the encoding method used for the first method, and determining the first method included in the control information of the attribute information included in the encoded stream.
  • the encoding method used for encoding the attribute information is determined based on information indicating the encoding method used for encoding the attribute information.
  • the three-dimensional data decoding apparatus decodes the encoded data of the position information using the encoding method used for encoding the determined position information, and uses the encoded data of the determined attribute information for encoding.
  • the encoded data of the attribute information is decoded by using the obtained encoding method.
  • the encoded stream is stored in one or more units (for example, NAL units), and the three-dimensional data decoding device further acquires the encoded stream from the one or more units.
  • units for example, NAL units
  • the unit has a format common to the first encoding method and the second encoding method, and includes data included in the unit. And information having a definition independent of the first encoding method and the second encoding method (for example, pcc_nal_unit_type).
  • the unit has a format independent of the first encoding method and the second encoding method, and includes data included in the unit. And information having independent definitions for the first encoding method and the second encoding method (for example, codec1_nal_unit_type or codec2_nal_unit_type).
  • the unit has a format common to the first encoding method and the second encoding method, and includes data included in the unit. And information having a definition common to the first encoding method and the second encoding method (for example, pcc_nal_unit_type).
  • the three-dimensional data decoding device includes a processor and a memory, and the processor performs the above-described processing using the memory.
  • ISOBMFF ISO based media file format
  • ISOBMFF ISO based media file format
  • ISOBMFF specifies a format in which various media such as video, audio, and text can be multiplexed and stored, and is a media-independent standard.
  • the basic structure (file) of ISOBMFF will be described.
  • the basic unit in ISOBMFF is a box.
  • a box is composed of type, length, and data, and a set obtained by combining various types of boxes is a file.
  • FIG. 43 is a diagram showing the basic structure (file) of ISOBMFF.
  • the ISOBMFF file mainly includes boxes such as ftyp indicating the brand of the file in 4CC (four character code), moov for storing metadata such as control information, and mdat for storing data.
  • the storage method for each medium in the ISOBMFF file is separately defined.
  • the storage method of AVC video and HEVC video is specified in ISO / IEC14496-15.
  • the function of the ISOBMFF is extended and used.
  • FIG. 44 is a diagram showing a protocol stack when a NAL unit common to PCC codecs is stored in an ISOBMFF file.
  • the NAL unit common to the PCC codecs described in the first embodiment is stored in the ISOBMFF file.
  • the NAL unit is common to the PCC codec, but since a plurality of PCC codecs are stored in the NAL unit, it is desirable to define a storage method (Carrier of codec1, Carrier of codec2) corresponding to each codec.
  • FIG. 45 is a diagram illustrating an example in which a common PCC @ NAL unit is stored in an ISOBMFF file in a storage method (Carrier @ of @ Codec1) of the codec 1.
  • FIG. 46 is a diagram illustrating an example in which a common PCC @ NAL unit is stored in an ISOBMFF file according to a storage method of the codec 2 (Carriage of Codec2).
  • ftyp is important information for identifying a file format, and a different identifier is defined for each codec for ftyp.
  • ftyp pcc1
  • pcc1 indicates that Codec 1 (first encoding method) of PCC is used.
  • pcc2 indicates that Codec 2 (second encoding method) of PCC is used. That is, pcc1 and pcc2 indicate that the data is PCC (code data of three-dimensional data (point cloud data)) and indicate the PCC codec (first encoding method and second encoding method). .
  • the multiplexing unit stores the NAL unit in, for example, moov or mdat by a predetermined method.
  • the multiplexing unit stores the NAL unit in, for example, moov or mdat by a predetermined method.
  • the multiplexing unit may store the NAL unit size in the NAL unit as in the case of HEVC.
  • PCC encoded data is encoded by the first encoding method or encoded by the second encoding method. It is possible to determine whether the data has been converted. Further, as described above, by determining whether the PCC encoded data has been encoded by the first encoding method or the second encoding method, the PCC encoded data has been encoded by both encoding methods. Encoded data encoded by one of the encoding methods can be extracted from data in which encoded data is mixed. This makes it possible to suppress the amount of data to be transmitted when transmitting encoded data. Further, according to this storage method, a common data format can be used between the first encoding method and the second encoding method without setting different data (file) formats.
  • the multiplexing unit may store the NAL unit from which pcc_nal_unit_type is deleted in the file of ISOBMFF.
  • the multiplexing unit included in the three-dimensional data encoding system (three-dimensional data encoding device) according to the present embodiment and the three-dimensional data decoding system (three-dimensional data decoding device) according to the present embodiment include The configuration and operation of the demultiplexer provided will be described.
  • FIG. 47 is a diagram showing a configuration of the first multiplexing unit 4710.
  • the first multiplexing unit 4710 stores the encoded data and the control information (NAL unit) generated by the first encoding unit 4630 in an ISOBMFF file to generate multiplexed data (file).
  • a part 4711 is provided.
  • the first multiplexing section 4710 is included in, for example, the multiplexing section 4614 shown in FIG.
  • FIG. 48 is a diagram showing a configuration of the first demultiplexer 4720.
  • First demultiplexing section 4720 acquires encoded data and control information (NAL unit) from multiplexed data (file), and outputs the acquired encoded data and control information to first decoding section 4640
  • An inverse conversion unit 4721 is provided.
  • the first demultiplexer 4720 is included in, for example, the demultiplexer 4623 shown in FIG.
  • FIG. 49 is a diagram showing a configuration of the second multiplexing section 4730.
  • the second multiplexing unit 4730 stores the encoded data and control information (NAL unit) generated by the second encoding unit 4650 in an ISOBMFF file to generate multiplexed data (file).
  • NAL unit encoded data and control information
  • a part 4731 is provided.
  • This second multiplexing section 4730 is included in, for example, multiplexing section 4614 shown in FIG.
  • FIG. 50 is a diagram showing a configuration of the second demultiplexing section 4740.
  • the second demultiplexing unit 4740 obtains encoded data and control information (NAL unit) from the multiplexed data (file), and outputs the obtained encoded data and control information to the second decoding unit 4660.
  • An inverse conversion section 4741 is provided.
  • the second demultiplexer 4740 is included in, for example, the demultiplexer 4623 shown in FIG.
  • FIG. 51 is a flowchart of the multiplexing process by the first multiplexing unit 4710.
  • first multiplexing section 4710 analyzes pcc_codec_type included in the NAL unit header to determine whether the used codec is the first encoding method or the second encoding method. A determination is made (S4701).
  • first multiplexing section 4710 does not process the NAL unit (S4703).
  • first multiplexing section 4710 describes pccc1 in ftyp (S4704). That is, the first multiplexing unit 4710 describes, in ftyp, information indicating that data encoded by the first encoding method is stored in the file.
  • the first multiplexing unit 4710 analyzes pcc_nal_unit_type included in the NAL unit header, and stores the data in a box (moov or mdat or the like) by a predetermined method according to the data type indicated by pcc_nal_unit_type (S4705). ). Then, the first multiplexing unit 4710 creates an ISOBMFF file including the ftyp and the box (S4706).
  • FIG. 52 is a flowchart of the multiplexing process by the second multiplexing unit 4730.
  • second multiplexing section 4730 analyzes pcc_codec_type included in the NAL unit header to determine whether the used codec is the first encoding method or the second encoding method. A determination is made (S4711).
  • second multiplexing section 4730 describes pcc2 in ftype (S4713). That is, the second multiplexing unit 4730 describes, in ftyp, information indicating that data encoded by the second encoding method is stored in the file.
  • the second multiplexing unit 4730 analyzes pcc_nal_unit_type included in the NAL unit header, and stores the data in a box (moov or mdat or the like) by a predetermined method according to the data type indicated by pcc_nal_unit_type (S4714). ). Then, the second multiplexing unit 4730 creates an ISOBMFF file including the ftyp and the box (S4715).
  • second multiplexing section 4730 does not process the NAL unit (S4716).
  • the above process shows an example in which PCC data is encoded by one of the first encoding method and the second encoding method.
  • the first multiplexing unit 4710 and the second multiplexing unit 4730 store a desired NAL unit in a file by identifying the codec type of the NAL unit. If identification information of the PCC codec is included in addition to the NAL unit header, the first multiplexing unit 4710 and the second multiplexing unit 4730 are included in steps S4701 and S4711 other than the NAL unit header.
  • the codec type (the first encoding method or the second encoding method) may be identified using the identification information of the PCC codec.
  • first multiplexing unit 4710 and the second multiplexing unit 4730 may delete pcc_nal_unit_type from the NAL unit header and store the data in the file when storing the data in the file in steps S4706 and S4714. Good.
  • FIG. 53 is a flowchart showing processing by the first demultiplexing unit 4720 and the first decoding unit 4640.
  • the first demultiplexing unit 4720 analyzes ftyp included in the ISOBMFF file (S4721). If the codec indicated by ftyp is the second encoding method (pcc2) (second encoding method in S4722), first demultiplexing section 4720 determines that the data included in the payload of the NAL unit is the second encoding method. (S 4723). Also, first demultiplexing section 4720 transmits the result of the determination to first decoding section 4640. The first decoding unit 4640 does not process the NAL unit (S4724).
  • first demultiplexing section 4720 determines whether the data included in the payload of the NAL unit is It is determined that the data is data encoded by the first encoding method (S4725). Also, first demultiplexing section 4720 transmits the result of the determination to first decoding section 4640.
  • the first decoding unit 4640 identifies data as pcc_nal_unit_type included in the NAL unit header as an identifier of the NAL unit for the first encoding method (S4726). Then, the first decoding unit 4640 decodes the PCC data using the decoding process of the first encoding method (S4727).
  • FIG. 54 is a flowchart showing processing by the second demultiplexer 4740 and the second decoder 4660.
  • the second demultiplexer 4740 analyzes ftyp included in the ISOBMFF file (S4731). If the codec indicated by ftyp is the second encoding method (pcc2) (the second encoding method in S4732), the second demultiplexing unit 4740 determines that the data included in the payload of the NAL unit is the second encoding method. It is determined that the data is encoded by the encoding method (S4733). Also, second demultiplexing section 4740 transmits the result of the determination to second decoding section 4660.
  • ⁇ Second decoding unit 4660 identifies data as pcc_nal_unit_type included in the NAL unit header as an identifier of the NAL unit for the second encoding method (S4734). Then, second decoding section 4660 decodes the PCC data using the decoding processing of the second encoding method (S4735).
  • second demultiplexing section 4740 determines that the data included in the payload of the NAL unit is It is determined that the data is data encoded by the first encoding method (S4736). Also, second demultiplexing section 4740 transmits the result of the determination to second decoding section 4660. The second decoding unit 4660 does not process the NAL unit (S4737).
  • the codec type of the NAL unit can be identified at an early stage by identifying the codec type of the NAL unit. Further, a desired NAL unit can be input to the first decoding unit 4640 or the second decoding unit 4660, and unnecessary NAL units can be removed. In this case, the process of analyzing the identification information of the codec in the first decoding unit 4640 or the second decoding unit 4660 may become unnecessary. Note that the first decoding unit 4640 or the second decoding unit 4660 may execute a process of analyzing the codec identification information with reference to the NAL unit type again.
  • pcc_nal_unit_type is deleted from the NAL unit header in the first multiplexing unit 4710 or the second multiplexing unit 4730, the first demultiplexing unit 4720 or the second demultiplexing unit 4740 , To the first decoding unit 4640 or the second decoding unit 4660 after adding pcc_nal_unit_type to the NAL unit.
  • FIG. 55 is a diagram illustrating configurations of encoding section 4670 and third multiplexing section 4750 according to the present embodiment.
  • the encoding unit 4670 encodes the point cloud data using one or both of the first encoding method and the second encoding method.
  • the encoding unit 4670 may switch the encoding method (the first encoding method and the second encoding method) in units of point cloud data or in units of frames. Further, encoding section 4670 may switch the encoding method in units that can be encoded.
  • Encoding section 4670 generates encoded data (encoded stream) including PCC codec identification information described in the first to fourth embodiments.
  • the third multiplexing unit 4750 includes a file conversion unit 4751.
  • File conversion section 4751 converts the NAL unit output from encoding section 4670 into a PCC data file.
  • the file conversion unit 4751 analyzes the codec identification information included in the NAL unit header, and determines whether the PCC encoded data is data encoded by the first encoding method or encoded by the second encoding method. It is determined whether the data is encoded data or data encoded by both methods.
  • the file conversion unit 4751 describes a brand name that can identify the codec in ftyp. For example, when it is indicated that the encoding is performed by both methods, pcc3 is described in ftyp.
  • file conversion section 4751 may determine the PCC codec (encoding method) using the identification information. .
  • FIG. 56 is a diagram showing the configuration of third demultiplexing section 4760 and decoding section 4680 according to the present embodiment.
  • the third demultiplexing unit 4760 includes a file reverse conversion unit 4761.
  • the file inverse conversion unit 4761 analyzes the ftyp included in the file, and determines whether the PCC encoded data is data encoded by the first encoding method or data encoded by the second encoding method. , Or data encoded by both methods.
  • the data is input to the corresponding one of the first decoding unit 4640 and the second decoding unit 4660, and the other is decoded. No data is input to the section.
  • the data is input to the decoding unit 4680 corresponding to both methods.
  • Decoding section 4680 decodes PCC encoded data using one or both of the first encoding method and the second encoding method.
  • FIG. 57 is a flowchart showing processing by third multiplexing section 4750 according to the present embodiment.
  • the third multiplexing unit 4750 analyzes pcc_codec_type included in the NAL unit header to determine whether the codec used is the first encoding method or the second encoding method. It is determined whether both are the first encoding method and the second encoding method (S4741).
  • third multiplexing section 4750 describes pcc2 in ftyp (S4744). That is, the third multiplexing unit 4750 describes information indicating that the data encoded by the second encoding method is stored in the file in ftyp.
  • the third multiplexing unit 4750 analyzes pcc_nal_unit_type included in the NAL unit header, and stores the data in a box (moov or mdat or the like) by a predetermined method according to the data type indicated by pcc_unit_type (S4745). ). Then, the third multiplexing unit 4750 creates an ISOBMFF file including the ftyp and the box (S4746).
  • the third multiplexing unit 4750 describes pccc1 in ftyp (S4747). That is, third multiplexing section 4750 describes information indicating that data encoded by the first encoding method is stored in the file in ftyp.
  • the third multiplexing unit 4750 analyzes pcc_nal_unit_type included in the NAL unit header, and stores the data in a box (moov or mdat or the like) by a predetermined method according to the data type indicated by pcc_unit_type (S4748). ). Then, the third multiplexing unit 4750 creates an ISOBMFF file including the ftyp and the box (S4746).
  • third multiplexing section 4750 describes pcc3 in ftyp ( S4749). That is, third multiplexing section 4750 describes information indicating that data encoded by both encoding methods is stored in the file in ftyp.
  • the third multiplexing unit 4750 analyzes pcc_nal_unit_type included in the NAL unit header, and stores the data in a box (moov or mdat or the like) by a predetermined method according to the data type indicated by pcc_unit_type (S4750). ). Then, the third multiplexing unit 4750 creates an ISOBMFF file including the ftyp and the box (S4746).
  • FIG. 58 is a flowchart showing processing by the third demultiplexing unit 4760 and the decoding unit 4680.
  • the third demultiplexing unit 4760 analyzes ftyp included in the ISOBMFF file (S4761). If the codec indicated by ftyp is the second encoding method (pcc2) (Yes in S4762 and the second encoding method in S4763), the third demultiplexer 4760 includes the codec in the payload of the NAL unit. It is determined that the data to be encoded is the data encoded by the second encoding method (S4764). Also, third demultiplexing section 4760 transmits the result of the determination to decoding section 4680.
  • the decoding unit 4680 identifies data as pcc_nal_unit_type included in the NAL unit header as an identifier of the NAL unit for the second encoding method (S4765). Then, the decoding unit 4680 decodes the PCC data using the decoding process of the second encoding method (S4766).
  • the third demultiplexer 4760 outputs the payload of the NAL unit. Is determined to be data encoded by the first encoding method (S4767). Also, third demultiplexing section 4760 transmits the result of the determination to decoding section 4680.
  • the decoding unit 4680 identifies data as pcc_nal_unit_type included in the NAL unit header as an identifier of the NAL unit for the first encoding method (S4768). Then, the decoding unit 4680 decodes the PCC data by using the decoding process of the first encoding method (S4769).
  • third demultiplexing section 4760 determines that the data included in the payload of the NAL unit is the first data. It is determined that the data is encoded by both the encoding method and the second encoding method (S4770). Also, third demultiplexing section 4760 transmits the result of the determination to decoding section 4680.
  • the decoding unit 4680 identifies data as pcc_nal_unit_type included in the NAL unit header as an identifier of a codec NAL unit described in pcc_codec_type (S 4771). Then, decoding section 4680 decodes the PCC data using the decoding processing of both encoding methods (S 4772). That is, the decoding unit 4680 decodes the data encoded by the first encoding method using the decoding process of the first encoding method, and decodes the data encoded by the second encoding method. Decoding is performed using the decoding processing of the second encoding method.
  • identification information may be indicated by identification information as the types of brands indicated by ftyp. Further, a plurality of types of combinations described below may be indicated by the identification information.
  • the identification information may indicate whether the object of the original data before PCC encoding is a point cloud whose area is restricted or a large-scale point cloud whose area is not restricted like map information. .
  • the identification information may indicate whether the original data before PCC encoding is a static object or a dynamic object.
  • the identification information may indicate whether the PCC encoded data is data encoded by the first encoding method or data encoded by the second encoding method. Good.
  • the identification information may indicate an algorithm used in PCC encoding.
  • the algorithm is, for example, an encoding method that can be used in the first encoding method or the second encoding method.
  • the identification information may indicate a difference in a method of storing the PCC encoded data in the ISOBMFF file.
  • the identification information may indicate whether the storage method used is a storage method for storage or a storage method for real-time transmission such as dynamic streaming.
  • the method of storing the NAL unit described in the first embodiment is described.
  • the method of storing the NAL unit described in the fourth embodiment is described.
  • the identification information of the PCC codec may be stored in the ISOBMFF file.
  • Metadata such as identification information is stored in ftyp.
  • these metadata may be stored in addition to ftyp.
  • these metadata may be stored in moov.
  • the three-dimensional data storage device (or three-dimensional data multiplexing device or three-dimensional data encoding device) performs the processing shown in FIG.
  • the three-dimensional data storage device (including, for example, the first multiplexing unit 4710, the second multiplexing unit 4730, or the third multiplexing unit 4750) transmits a coded stream in which point cloud data is coded.
  • One or more stored units (for example, NAL units) are acquired (S4781).
  • the three-dimensional data storage device stores one or more units in a file (for example, an ISOBMFF file) (S4782).
  • the three-dimensional data storage device stores information (for example, pcc1, pcc2, or pcc3) indicating that the data stored in the file is data obtained by encoding point cloud data. It is stored in the control information (for example, ftyp) of the file.
  • the data stored in the file is encoded data of the point cloud data with reference to the control information of the file. It can be determined early whether or not. Therefore, it is possible to reduce the processing amount of the apparatus or increase the processing speed.
  • the information further indicates an encoding method used for encoding the point cloud data, out of the first encoding method and the second encoding method.
  • the data stored in the file is the data obtained by encoding the point cloud data, and the code used for encoding the point cloud data among the first encoding method and the second encoding method.
  • the conversion method may be indicated by single information or may be indicated by different information.
  • the codec used for the data stored in the file can be determined early by referring to the control information of the file. Therefore, it is possible to reduce the processing amount of the apparatus or increase the processing speed.
  • the first encoding method encodes position information in which the position of point cloud data is represented by an N (N is an integer of 2 or more) binary tree, and encodes attribute information using the position information (GPCC), and the second encoding method is a method (VPCC) of generating a two-dimensional image from point cloud data and encoding the two-dimensional image using a video encoding method.
  • N is an integer of 2 or more
  • GPCC position information
  • the file conforms to ISOBMFF (ISO based media file format).
  • the three-dimensional data storage device includes a processor and a memory, and the processor performs the above-described processing using the memory.
  • the three-dimensional data acquisition device (or the three-dimensional data demultiplexing device or the three-dimensional data decoding device) performs the processing illustrated in FIG.
  • the three-dimensional data acquisition device (for example, including the first demultiplexing unit 4720, the second demultiplexing unit 4740, or the third demultiplexing unit 4760) outputs a coded stream in which the point cloud data is coded.
  • a file for example, an ISOBMFF file
  • units for example, a NAL unit
  • the three-dimensional data acquisition device acquires one or more units from the file (S4792).
  • the file control information (for example, ftyp) includes information (for example, pcc1, pcc2, or pcc3) indicating that the data stored in the file is data obtained by encoding point cloud data.
  • the three-dimensional data acquisition device refers to the information and determines whether the data stored in the file is the data obtained by encoding the point cloud data. Further, when the three-dimensional data acquisition device determines that the data stored in the file is the encoded data of the point cloud data, the encoded data of the point cloud data included in the one or more units is obtained. Is generated to generate point cloud data. Alternatively, when the three-dimensional data acquisition device determines that the data stored in the file is the data obtained by encoding the point cloud data, the data included in one or more units is converted to the point cloud data. The information indicating that the data is the output data is output (notified) to a subsequent processing unit (for example, the first decoding unit 4640, the second decoding unit 4660, or the decoding unit 4680).
  • a subsequent processing unit for example, the first decoding unit 4640, the second decoding unit 4660, or the decoding unit 4680.
  • the three-dimensional data acquisition device can early determine whether or not the data stored in the file is encoded data of the point cloud data with reference to the control information of the file. Therefore, it is possible to reduce the processing amount or increase the processing speed of the three-dimensional data acquisition device or the subsequent device.
  • the information further indicates the encoding method used for the encoding, of the first encoding method and the second encoding method.
  • the data stored in the file is the data obtained by encoding the point cloud data, and the code used for encoding the point cloud data among the first encoding method and the second encoding method.
  • the conversion method may be indicated by single information or may be indicated by different information.
  • the three-dimensional data acquisition device can early determine the codec used for the data stored in the file with reference to the control information of the file. Therefore, it is possible to reduce the processing amount or increase the processing speed of the three-dimensional data acquisition device or the subsequent device.
  • the three-dimensional data acquisition device may select any of the encoded point cloud data including the data encoded by the first encoding method and the data encoded by the second encoding method.
  • the data encoded by one of the encoding methods is acquired.
  • the first encoding method encodes position information in which the position of point cloud data is represented by an N (N is an integer of 2 or more) binary tree, and encodes attribute information using the position information (GPCC), and the second encoding method is a method (VPCC) of generating a two-dimensional image from point cloud data and encoding the two-dimensional image using a video encoding method.
  • N is an integer of 2 or more
  • GPCC position information
  • the file conforms to ISOBMFF (ISO based media file format).
  • the three-dimensional data acquisition device includes a processor and a memory, and the processor performs the above-described processing using the memory.
  • the present disclosure is not limited to this embodiment.
  • Each processing unit included in the three-dimensional data storage device and the three-dimensional data acquisition device according to the above-described embodiment is typically realized as an LSI that is an integrated circuit. These may be individually formed into one chip, or may be formed into one chip so as to include some or all of them.
  • the integrated circuit is not limited to the LSI, and may be realized by a dedicated circuit or a general-purpose processor.
  • An FPGA Field Programmable Gate Array
  • a reconfigurable processor that can reconfigure the connection and setting of circuit cells inside the LSI may be used.
  • each component may be configured by dedicated hardware, or may be realized by executing a software program suitable for each component.
  • Each component may be realized by a program execution unit such as a CPU or a processor reading and executing a software program recorded on a recording medium such as a hard disk or a semiconductor memory.
  • the present disclosure may be realized as a three-dimensional data storage method, a three-dimensional data acquisition method, or the like executed by a three-dimensional data storage device, a three-dimensional data acquisition device, or the like.
  • the division of functional blocks in the block diagram is merely an example, and a plurality of functional blocks can be implemented as one functional block, one functional block can be divided into a plurality of functional blocks, and some functions can be transferred to other functional blocks. You may. Also, the functions of a plurality of functional blocks having similar functions may be processed by a single piece of hardware or software in parallel or time division.
  • the present disclosure is not limited to these embodiments. Unless departing from the spirit of the present disclosure, various modifications conceivable to those skilled in the art may be applied to the present embodiment, and a configuration constructed by combining components in different embodiments may be in the range of one or more aspects. May be included within.
  • the present disclosure is applicable to a three-dimensional data storage device and a three-dimensional data acquisition device.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Library & Information Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)

Abstract

三次元データ格納方法は、点群データが符号化された符号化ストリームが格納された１以上のユニットを取得し（Ｓ４７８１）、１以上のユニットをファイルに格納し（Ｓ４７８２）、前記格納（Ｓ４７８２）では、ファイルに格納されているデータが、点群データが符号化されたデータであることを示す情報を、ファイルの制御情報に格納する。例えば、前記情報は、さらに、第１符号化方法と第２符号化方法のうち、点群データの符号化に用いられた符号化方法を示してもよい。

Description

三次元データ格納方法、三次元データ取得方法、三次元データ格納装置、及び三次元データ取得装置
　本開示は、三次元データ格納方法、三次元データ取得方法、三次元データ格納装置、及び三次元データ取得装置に関する。
　自動車或いはロボットが自律的に動作するためのコンピュータビジョン、マップ情報、監視、インフラ点検、又は、映像配信など、幅広い分野において、今後、三次元データを活用した装置又はサービスの普及が見込まれる。三次元データは、レンジファインダなどの距離センサ、ステレオカメラ、又は複数の単眼カメラの組み合わせなど様々な方法で取得される。
　三次元データの表現方法の１つとして、三次元空間内の点群によって三次元構造の形状を表すポイントクラウドと呼ばれる表現方法がある。ポイントクラウドでは、点群の位置と色とが格納される。ポイントクラウドは三次元データの表現方法として主流になると予想されるが、点群はデータ量が非常に大きい。よって、三次元データの蓄積又は伝送においては二次元の動画像（一例として、ＭＰＥＧで規格化されたＭＰＥＧ－４　ＡＶＣ又はＨＥＶＣなどがある）と同様に、符号化によるデータ量の圧縮が必須となる。
　また、ポイントクラウドの圧縮については、ポイントクラウド関連の処理を行う公開のライブラリ（Ｐｏｉｎｔ　Ｃｌｏｕｄ　Ｌｉｂｒａｒｙ）などによって一部サポートされている。
　また、三次元の地図データを用いて、車両周辺に位置する施設を検索し、表示する技術が知られている（例えば、特許文献１参照）。
国際公開第２０１４／０２０６６３号
　三次元データを処理する装置において、処理量の低減又は処理の高速化が望まれている。
　本開示は、三次元データを処理する装置において、処理量の低減又は処理の高速化を実現できる三次元データ格納方法、三次元データ取得方法、三次元データ格納装置、又は三次元データ取得装置を提供することを目的とする。
　本開示の一態様に係る三次元データ格納方法は、点群データが符号化された符号化ストリームが格納された１以上のユニットを取得し、前記１以上のユニットをファイルに格納し、前記格納では、前記ファイルに格納されているデータが、点群データが符号化されたデータであることを示す情報を、前記ファイルの制御情報に格納する。
　本開示の一態様に係る三次元データ取得方法は、点群データが符号化された符号化ストリームが格納された１以上のユニットが格納されたファイルを取得し、前記ファイルから、前記１以上のユニットを取得し、前記ファイルの制御情報は、前記ファイルに格納されているデータが、点群データが符号化されたデータであることを示す情報を含む。
　本開示は、三次元データを処理する装置において、処理量の低減又は処理の高速化を実現できる三次元データ格納方法、三次元データ取得方法、三次元データ格納装置、又は三次元データ取得装置を提供できる。
図１は、実施の形態１に係る三次元データ符号化復号システムの構成を示す図である。 図２は、実施の形態１に係る点群データの構成例を示す図である。 図３は、実施の形態１に係る点群データ情報が記述されたデータファイルの構成例を示す図である。 図４は、実施の形態１に係る点群データの種類を示す図である。 図５は、実施の形態１に係る第１の符号化部の構成を示す図である。 図６は、実施の形態１に係る第１の符号化部のブロック図である。 図７は、実施の形態１に係る第１の復号部の構成を示す図である。 図８は、実施の形態１に係る第１の復号部のブロック図である。 図９は、実施の形態１に係る第２の符号化部の構成を示す図である。 図１０は、実施の形態１に係る第２の符号化部のブロック図である。 図１１は、実施の形態１に係る第２の復号部の構成を示す図である。 図１２は、実施の形態１に係る第２の復号部のブロック図である。 図１３は、実施の形態１に係るＰＣＣ符号化データに関わるプロトコルスタックを示す図である。 図１４は、実施の形態１に係るプロトコルスタックを示す図である。 図１５は、実施の形態１に係るＮＡＬユニットのシンタックス例を示す図である。 図１６は、実施の形態１に係るＮＡＬユニットヘッダのシンタックス例を示す図である。 図１７は、実施の形態１に係るｐｃｃ＿ｃｏｄｅｃ＿ｔｙｐｅのセマンティクス例を示す図である。 図１８は、実施の形態１に係るｐｃｃ＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅのセマンティクス例を示す図である。 図１９は、実施の形態１に係る符号化処理のフローチャートである。 図２０は、実施の形態１に係る第２の復号部による復号処理のフローチャートである。 図２１は、実施の形態１に係る第１の復号部による復号処理のフローチャートである。 図２２は、実施の形態２に係るプロトコルスタックを示す図である。 図２３は、実施の形態２に係るコーデック２用のＮＡＬユニットのシンタックス例を示す図である。 図２４は、実施の形態２に係るコーデック２用のＮＡＬユニットヘッダのシンタックス例を示す図である。 図２５は、実施の形態２に係るｃｏｄｅｃ２＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅのセマンティクス例を示す図である。 図２６は、実施の形態２に係るコーデック１用のＮＡＬユニットのシンタックス例を示す図である。 図２７は、実施の形態２に係るコーデック１用のＮＡＬユニットヘッダのシンタックス例を示す図である。 図２８は、実施の形態２に係るｃｏｄｅｃ１＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅのセマンティクス例を示す図である。 図２９は、実施の形態２に係る符号化処理のフローチャートである。 図３０は、実施の形態２に係る復号処理のフローチャートである。 図３１は、実施の形態３に係るプロトコルスタックを示す図である。 図３２は、実施の形態３に係るＮＡＬユニットのシンタックス例を示す図である。 図３３は、実施の形態３に係るＮＡＬユニットヘッダのシンタックス例を示す図である。 図３４は、実施の形態３に係るｐｃｃ＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅのセマンティクス例を示す図である。 図３５は、実施の形態３に係る符号化処理のフローチャートである。 図３６は、実施の形態３に係る復号処理のフローチャートである。 図３７は、実施の形態の変形例に係る符号化処理のフローチャートである。 図３８は、実施の形態の変形例に係る復号処理のフローチャートである。 図３９は、実施の形態４に係る符号化部のブロック図である。 図４０は、実施の形態４に係る復号部のブロック図である。 図４１は、実施の形態４に係る符号化処理のフローチャートである。 図４２は、実施の形態４に係る復号処理のフローチャートである。 図４３は、実施の形態５に係るＩＳＯＢＭＦＦの基本構造を示す図である。 図４４は、実施の形態５に係るプロトコルスタックを示す図である。 図４５は、実施の形態５に係るＮＡＬユニットをコーデック１用のファイルに格納する例を示す図である。 図４６は、実施の形態５に係るＮＡＬユニットをコーデック２用のファイルに格納する例を示す図である。 図４７は、実施の形態５に係る第１の多重化部の構成を示す図である。 図４８は、実施の形態５に係る第１の逆多重化部の構成を示す図である。 図４９は、実施の形態５に係る第２の多重化部の構成を示す図である。 図５０は、実施の形態５に係る第２の逆多重化部の構成を示す図である。 図５１は、実施の形態５に係る第１の多重化部による処理のフローチャートである。 図５２は、実施の形態５に係る第２の多重化部による処理のフローチャートである。 図５３は、実施の形態５に係る第１の逆多重化部及び第１の復号部による処理のフローチャートである。 図５４は、実施の形態５に係る第２の逆多重化部及び第２の復号部による処理のフローチャートである。 図５５は、実施の形態６に係る符号化部及び第３の多重化部の構成を示す図である。 図５６は、実施の形態６に係る第３の逆多重化部及び復号部の構成を示す図である。 図５７は、実施の形態６に係る第３の多重化部による処理のフローチャートである。 図５８は、実施の形態６に係る第３の逆多重化部及び復号部による処理のフローチャートである。 図５９は、実施の形態６に係る三次元データ格納装置による処理のフローチャートである。 図６０は、実施の形態６に係る三次元データ取得装置による処理のフローチャートである。
　本開示の一態様に係る三次元データ格納方法は、点群データが符号化された符号化ストリームが格納された１以上のユニットを取得し、前記１以上のユニットをファイルに格納し、前記格納では、前記ファイルに格納されているデータが、点群データが符号化されたデータであることを示す情報を、前記ファイルの制御情報に格納する。
　これによれば、当該三次元データ格納方法で生成されたファイルを処理する装置では、ファイルの制御情報を参照して、当該ファイルに格納されているデータが点群データの符号化データであるか否かを早期に判定できる。よって、当該装置の処理量の低減又は処理の高速化を実現できる。
　例えば、前記情報は、さらに、第１符号化方法と第２符号化方法のうち、前記点群データの符号化に用いられた符号化方法を示してもよい。
　これによれば、当該三次元データ格納方法で生成されたファイルを処理する装置では、ファイルの制御情報を参照して、当該ファイルに格納されているデータに使用されたコーデックを早期に判定できる。よって、当該装置の処理量の低減又は処理の高速化を実現できる。
　例えば、前記第１符号化方法は、点群データの位置をＮ（Ｎは２以上の整数）分木で表した位置情報を符号化し、前記位置情報を用いて属性情報を符号化する方式であり、前記第２符号化方法は、点群データから二次元画像を生成し、前記二次元画像を映像符号化方法を用いて符号化する方式であってもよい。
　例えば、前記ファイルは、ＩＳＯＢＭＦＦ（ＩＳＯ　ｂａｓｅｄ　ｍｅｄｉａ　ｆｉｌｅ　ｆｏｒｍａｔ）に準拠してもよい。
　本開示の一態様に係る三次元データ取得方法は、点群データが符号化された符号化ストリームが格納された１以上のユニットが格納されたファイルを取得し、前記ファイルから、前記１以上のユニットを取得し、前記ファイルの制御情報は、前記ファイルに格納されているデータが、点群データが符号化されたデータであることを示す情報を含む。
　これによれば、当該三次元データ取得方法は、ファイルに格納されているデータが点群データの符号化データであるか否かを早期に判定できる。よって、当該三次元データ取得方法を行う装置又はその後段の装置の処理量の低減又は処理の高速化を実現できる。
　例えば、前記情報は、さらに、第１符号化方法と第２符号化方法のうち、前記符号化に用いた符号化方法を示してもよい。
　これによれば、当該三次元データ取得方法は、ファイルの制御情報を参照して、当該ファイルに格納されているデータに使用されたコーデックを早期に判定できる。よって、当該三次元データ取得方法を行う装置又はその後段の装置の処理量の低減又は処理の高速化を実現できる。
　例えば、前記情報に基づき、前記第１符号化方法で符号化された前記データと前記第２符号化方法で符号化された前記データとを含む符号化された前記点群データから、いずれか一方の符号化方法で符号化された前記データを取得してもよい。
　例えば、前記第１符号化方法は、点群データの位置をＮ（Ｎは２以上の整数）分木で表した位置情報を符号化し、前記位置情報を用いて属性情報を符号化する方式であり、前記第２符号化方法は、点群データから二次元画像を生成し、前記二次元画像を映像符号化方法を用いて符号化する方式であってもよい。
　例えば、前記ファイルは、ＩＳＯＢＭＦＦ（ＩＳＯ　ｂａｓｅｄ　ｍｅｄｉａ　ｆｉｌｅ　ｆｏｒｍａｔ）に準拠してもよい。
　また、本開示の一態様に係る三次元データ格納装置は、プロセッサと、メモリとを備え、前記プロセッサは、前記メモリを用いて、点群データが符号化された符号化ストリームが格納された１以上のユニットを取得し、前記１以上のユニットをファイルに格納し、前記格納では、前記ファイルに格納されているデータが、点群データが符号化されたデータであることを示す情報を、前記ファイルの制御情報に格納する。
　これによれば、当該三次元データ格納装置で生成されたファイルを処理する装置では、ファイルの制御情報を参照して、当該ファイルに格納されているデータが点群データの符号化データであるか否かを早期に判定できる。よって、当該装置の処理量の低減又は処理の高速化を実現できる。
　また、本開示の一態様に係る三次元データ取得装置は、プロセッサと、メモリとを備え、前記プロセッサは、前記メモリを用いて、点群データが符号化された符号化ストリームが格納された１以上のユニットが格納されたファイルを取得し、前記ファイルから、前記１以上のユニットを取得し、前記ファイルの制御情報は、前記ファイルに格納されているデータが、点群データが符号化されたデータであることを示す情報を含む。
　これによれば、当該三次元データ取得装置は、ファイルに格納されているデータが点群データの符号化データであるか否かを早期に判定できる。よって、当該三次元データ取得装置又は後段の装置の処理量の低減又は処理の高速化を実現できる。
　なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
　以下、実施の形態について、図面を参照しながら具体的に説明する。なお、以下で説明する実施の形態は、いずれも本開示の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
　（実施の形態１）
　ポイントクラウドの符号化データを実際の装置又はサービスにおいて使用する際には、ネットワーク帯域を抑制するために用途に応じて必要な情報を送受信することが望ましい。しかしながら、これまで、三次元データの符号化構造にはそのような機能が存在せず、そのための符号化方法も存在しなかった。
　本実施の形態では、三次元のポイントクラウドの符号化データにおいて用途に応じて必要な情報を送受信する機能を提供するための三次元データ符号化方法及び三次元データ符号化装置、並びに、当該符号化データを復号する三次元データ復号方法及び三次元データ復号装置、並びに、当該符号化データを多重化する三次元データ多重化方法、並びに、当該符号化データを伝送する三次元データ伝送方法について説明する。
　特に、現在、点群データの符号化方法（符号化方式）として第１の符号化方法、及び第２の符号化方法が検討されているが、符号化データの構成、及び符号化データをシステムフォーマットへ格納する方法が定義されておらず、このままでは符号化部におけるＭＵＸ処理（多重化）、又は、伝送或いは蓄積ができないという課題がある。
　また、ＰＣＣ（Ｐｏｉｎｔ　Ｃｌｏｕｄ　Ｃｏｍｐｒｅｓｓｉｏｎ）のように、第１の符号化方法と第２の符号化方法の２つのコーデックが混在するフォーマットをサポートする方法はこれまで存在しない。
　本実施の形態では、第１の符号化方法と第２の符号化方法の２つのコーデックが混在するＰＣＣ符号化データの構成、及び符号化データをシステムフォーマットへ格納する方法について説明する。
　まず、本実施の形態に係る三次元データ（点群データ）符号化復号システムの構成を説明する。図１は、本実施の形態に係る三次元データ符号化復号システムの構成例を示す図である。図１に示すように、三次元データ符号化復号システムは、三次元データ符号化システム４６０１と、三次元データ復号システム４６０２と、センサ端末４６０３と、外部接続部４６０４とを含む。
　三次元データ符号化システム４６０１は、三次元データである点群データを符号化することで符号化データ又は多重化データを生成する。なお、三次元データ符号化システム４６０１は、単一の装置により実現される三次元データ符号化装置であってもよいし、複数の装置により実現されるシステムであってもよい。また、三次元データ符号化装置は、三次元データ符号化システム４６０１に含まれる複数の処理部のうち一部を含んでもよい。
　三次元データ符号化システム４６０１は、点群データ生成システム４６１１と、提示部４６１２と、符号化部４６１３と、多重化部４６１４と、入出力部４６１５と、制御部４６１６とを含む。点群データ生成システム４６１１は、センサ情報取得部４６１７と、点群データ生成部４６１８とを含む。
　センサ情報取得部４６１７は、センサ端末４６０３からセンサ情報を取得し、センサ情報を点群データ生成部４６１８に出力する。点群データ生成部４６１８は、センサ情報から点群データを生成し、点群データを符号化部４６１３へ出力する。
　提示部４６１２は、センサ情報又は点群データをユーザに提示する。例えば、提示部４６１２は、センサ情報又は点群データに基づく情報又は画像を表示する。
　符号化部４６１３は、点群データを符号化（圧縮）し、得られた符号化データと、符号化過程において得られた制御情報と、その他の付加情報とを多重化部４６１４へ出力する。付加情報は、例えば、センサ情報を含む。
　多重化部４６１４は、符号化部４６１３から入力された符号化データと、制御情報と、付加情報とを多重することで多重化データを生成する。多重化データのフォーマットは、例えば蓄積のためのファイルフォーマット、又は伝送のためのパケットフォーマットである。
　入出力部４６１５（例えば、通信部又はインタフェース）は、多重化データを外部へ出力する。または、多重化データは、内部メモリ等の蓄積部に蓄積される。制御部４６１６（またはアプリ実行部）は、各処理部を制御する。つまり、制御部４６１６は、符号化及び多重化等の制御を行う。
　なお、センサ情報が符号化部４６１３又は多重化部４６１４へ入力されてもよい。また、入出力部４６１５は、点群データ又は符号化データをそのまま外部へ出力してもよい。
　三次元データ符号化システム４６０１から出力された伝送信号（多重化データ）は、外部接続部４６０４を介して、三次元データ復号システム４６０２に入力される。
　三次元データ復号システム４６０２は、符号化データ又は多重化データを復号することで三次元データである点群データを生成する。なお、三次元データ復号システム４６０２は、単一の装置により実現される三次元データ復号装置であってもよいし、複数の装置により実現されるシステムであってもよい。また、三次元データ復号装置は、三次元データ復号システム４６０２に含まれる複数の処理部のうち一部を含んでもよい。
　三次元データ復号システム４６０２は、センサ情報取得部４６２１と、入出力部４６２２と、逆多重化部４６２３と、復号部４６２４と、提示部４６２５と、ユーザインタフェース４６２６と、制御部４６２７とを含む。
　センサ情報取得部４６２１は、センサ端末４６０３からセンサ情報を取得する。
　入出力部４６２２は、伝送信号を取得し、伝送信号から多重化データ（ファイルフォーマット又はパケット）を復号し、多重化データを逆多重化部４６２３へ出力する。
　逆多重化部４６２３は、多重化データから符号化データ、制御情報及び付加情報を取得し、符号化データ、制御情報及び付加情報を復号部４６２４へ出力する。
　復号部４６２４は、符号化データを復号することで点群データを再構成する。
　提示部４６２５は、点群データをユーザに提示する。例えば、提示部４６２５は、点群データに基づく情報又は画像を表示する。ユーザインタフェース４６２６は、ユーザの操作に基づく指示を取得する。制御部４６２７（またはアプリ実行部）は、各処理部を制御する。つまり、制御部４６２７は、逆多重化、復号及び提示等の制御を行う。
　なお、入出力部４６２２は、点群データ又は符号化データをそのまま外部から取得してもよい。また、提示部４６２５は、センサ情報などの付加情報を取得し、付加情報に基づいた情報を提示してもよい。また、提示部４６２５は、ユーザインタフェース４６２６で取得されたユーザの指示に基づき、提示を行ってもよい。
　センサ端末４６０３は、センサで得られた情報であるセンサ情報を生成する。センサ端末４６０３は、センサ又はカメラを搭載した端末であり、例えば、自動車などの移動体、飛行機などの飛行物体、携帯端末、又はカメラなどがある。
　センサ端末４６０３で取得可能なセンサ情報は、例えば、（１）ＬＩＤＡＲ、ミリ波レーダ、又は赤外線センサから得られる、センサ端末４６０３と対象物との距離、又は対象物の反射率、（２）複数の単眼カメラ画像又はステレオカメラ画像から得られるカメラと対象物との距離又は対象物の反射率等である。また、センサ情報は、センサの姿勢、向き、ジャイロ（角速度）、位置（ＧＰＳ情報又は高度）、速度、又は加速度等を含んでもよい。また、センサ情報は、気温、気圧、湿度、又は磁気等を含んでもよい。
　外部接続部４６０４は、集積回路（ＬＳＩ又はＩＣ）、外部蓄積部、インターネットを介したクラウドサーバとの通信、又は、放送等により実現される。
　次に、点群データについて説明する。図２は、点群データの構成を示す図である。図３は、点群データの情報が記述されたデータファイルの構成例を示す図である。
　点群データは、複数の点のデータを含む。各点のデータは、位置情報（三次元座標）、及びその位置情報に対する属性情報とを含む。この点が複数集まったものを点群と呼ぶ。例えば、点群は対象物（オブジェクト）の三次元形状を示す。
　三次元座標等の位置情報（Ｐｏｓｉｔｉｏｎ）をジオメトリ（ｇｅｏｍｅｔｒｙ）と呼ぶこともある。また、各点のデータは、複数の属性種別の属性情報（ａｔｔｒｉｂｕｔｅ）を含んでもよい。属性種別は、例えば色又は反射率などである。
　１つの位置情報に対して１つの属性情報が対応付けられてもよいし、１つの位置情報に対して複数の異なる属性種別を持つ属性情報が対応付けられてもよい。また、１つの位置情報に対して同じ属性種別の属性情報が複数対応付けられてもよい。
　図３に示すデータファイルの構成例は、位置情報と属性情報とが１対１に対応する場合の例であり、点群データを構成するＮ個の点の位置情報と属性情報とを示している。
　位置情報は、例えば、ｘ、ｙ、ｚの３軸の情報である。属性情報は、例えば、ＲＧＢの色情報である。代表的なデータファイルとしてｐｌｙファイルなどがある。
　次に、点群データの種類について説明する。図４は、点群データの種類を示す図である。図４に示すように、点群データには、静的オブジェクトと、動的オブジェクトとがある。
　静的オブジェクトは、任意の時間（ある時刻）の三次元点群データである。動的オブジェクトは、時間的に変化する三次元点群データである。以降、ある時刻の三次元点群データをＰＣＣフレーム、又はフレームと呼ぶ。
　オブジェクトは、通常の映像データのように、ある程度領域が制限されている点群であってもよいし、地図情報のように領域が制限されていない大規模点群であってもよい。
　また、様々な密度の点群データがあり、疎な点群データと、密な点群データとが存在してもよい。
　以下、各処理部の詳細について説明する。センサ情報は、ＬＩＤＡＲ或いはレンジファインダなどの距離センサ、ステレオカメラ、又は、複数の単眼カメラの組合せなど様々な方法で取得される。点群データ生成部４６１８は、センサ情報取得部４６１７で得られたセンサ情報に基づき点群データを生成する。点群データ生成部４６１８は、点群データとして、位置情報を生成し、位置情報に、当該位置情報に対する属性情報を付加する。
　点群データ生成部４６１８は、位置情報の生成又は属性情報の付加の際に、点群データを加工してもよい。例えば、点群データ生成部４６１８は、位置が重複する点群を削除することでデータ量を減らしてもよい。また、点群データ生成部４６１８は、位置情報を変換（位置シフト、回転又は正規化など）してもよいし、属性情報をレンダリングしてもよい。
　なお、図１では、点群データ生成システム４６１１は、三次元データ符号化システム４６０１に含まれるが、三次元データ符号化システム４６０１の外部に独立して設けられてもよい。
　符号化部４６１３は、点群データを予め規定された符号化方法に基づき符号化することで符号化データを生成する。符号化方法には大きく以下の２種類がある。一つ目は、位置情報を用いた符号化方法であり、この符号化方法を、以降、第１の符号化方法と記載する。二つ目は、ビデオコーデックを用いた符号化方法であり、この符号化方法を、以降、第２の符号化方法と記載する。
　復号部４６２４は、符号化データを予め規定された符号化方法に基づき復号することで点群データを復号する。
　多重化部４６１４は、符号化データを、既存の多重化方式を用いて多重化することで多重化データを生成する。生成された多重化データは、伝送又は蓄積される。多重化部４６１４は、ＰＣＣ符号化データの他に、映像、音声、字幕、アプリケーション、ファイルなどの他のメディア、又は基準時刻情報を多重化する。また、多重化部４６１４は、さらに、センサ情報又は点群データに関連する属性情報を多重してもよい。
　多重化方式又はファイルフォーマットとしては、ＩＳＯＢＭＦＦ、ＩＳＯＢＭＦＦベースの伝送方式であるＭＰＥＧ－ＤＡＳＨ、ＭＭＴ、ＭＰＥＧ－２　ＴＳ　Ｓｙｓｔｅｍｓ、ＲＭＰなどがある。
　逆多重化部４６２３は、多重化データからＰＣＣ符号化データ、その他のメディア、及び時刻情報などを抽出する。
　入出力部４６１５は、多重化データを、放送又は通信など、伝送する媒体又は蓄積する媒体にあわせた方法を用いて伝送する。入出力部４６１５は、インターネット経由で他のデバイスと通信してもよいし、クラウドサーバなどの蓄積部と通信してもよい。
　通信プロトコルとしては、ｈｔｔｐ、ｆｔｐ、ＴＣＰ又はＵＤＰなどが用いられる。ＰＵＬＬ型の通信方式が用いられてもよいし、ＰＵＳＨ型の通信方式が用いられてもよい。
　有線伝送及び無線伝送のいずれが用いられてもよい。有線伝送としては、Ｅｔｈｅｒｎｅｔ（登録商標）、ＵＳＢ、ＲＳ－２３２Ｃ、ＨＤＭＩ（登録商標）、又は同軸ケーブルなどが用いられる。無線伝送としては、無線ＬＡＮ、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はミリ波などが用いられる。
　また、放送方式としては、例えばＤＶＢ－Ｔ２、ＤＶＢ－Ｓ２、ＤＶＢ－Ｃ２、ＡＴＳＣ３．０、又はＩＳＤＢ－Ｓ３などが用いられる。
　図５は、第１の符号化方法の符号化を行う符号化部４６１３の例である第１の符号化部４６３０の構成を示す図である。図６は、第１の符号化部４６３０のブロック図である。第１の符号化部４６３０は、点群データを第１の符号化方法で符号化することで符号化データ（符号化ストリーム）を生成する。この第１の符号化部４６３０は、位置情報符号化部４６３１と、属性情報符号化部４６３２と、付加情報符号化部４６３３と、多重化部４６３４とを含む。
　第１の符号化部４６３０は、三次元構造を意識して符号化を行うという特徴を有する。また、第１の符号化部４６３０は、属性情報符号化部４６３２が、位置情報符号化部４６３１から得られる情報を用いて符号を行うという特徴を有する。第１の符号化方法は、ＧＰＣＣ（Ｇｅｏｍｅｔｒｙ　ｂａｓｅｄ　ＰＣＣ）とも呼ばれる。
　点群データは、ＰＬＹファイルのようなＰＣＣ点群データ、又は、センサ情報から生成されたＰＣＣ点群データであり、位置情報（Ｐｏｓｉｔｉｏｎ）、属性情報（Ａｔｔｒｉｂｕｔｅ）、及びその他の付加情報（ＭｅｔａＤａｔａ）を含む。位置情報は位置情報符号化部４６３１に入力され、属性情報は属性情報符号化部４６３２に入力され、付加情報は付加情報符号化部４６３３に入力される。
　位置情報符号化部４６３１は、位置情報を符号化することで符号化データである符号化位置情報（Ｃｏｍｐｒｅｓｓｅｄ　Ｇｅｏｍｅｔｒｙ）を生成する。例えば、位置情報符号化部４６３１は、８分木等のＮ分木構造を用いて位置情報を符号化する。具体的には、８分木では、対象空間が８個のノード（サブ空間）に分割され、各ノードに点群が含まれるか否かを示す８ビットの情報（オキュパンシー符号）が生成される。また、点群が含まれるノードは、さらに、８個のノードに分割され、当該８個のノードの各々に点群が含まれるか否かを示す８ビットの情報が生成される。この処理が、予め定められた階層又はノードに含まれる点群の数の閾値以下になるまで繰り返される。
　属性情報符号化部４６３２は、位置情報符号化部４６３１で生成された構成情報を用いて符号化することで符号化データである符号化属性情報（Ｃｏｍｐｒｅｓｓｅｄ　Ａｔｔｒｉｂｕｔｅ）を生成する。例えば、属性情報符号化部４６３２は、位置情報符号化部４６３１で生成された８分木構造に基づき、処理対象の対象点（対象ノード）の符号化において参照する参照点（参照ノード）を決定する。例えば、属性情報符号化部４６３２は、周辺ノード又は隣接ノードのうち、８分木における親ノードが対象ノードと同一のノードを参照する。なお、参照関係の決定方法はこれに限らない。
　また、属性情報の符号化処理は、量子化処理、予測処理、及び算術符号化処理のうち少なくとも一つを含んでもよい。この場合、参照とは、属性情報の予測値の算出に参照ノードを用いること、又は、符号化のパラメータの決定に参照ノードの状態（例えば、参照ノードに点群が含まれる否かを示す占有情報）を用いること、である。例えば、符号化のパラメータとは、量子化処理における量子化パラメータ、又は算術符号化におけるコンテキスト等である。
　付加情報符号化部４６３３は、付加情報のうち、圧縮可能なデータを符号化することで符号化データである符号化付加情報（Ｃｏｍｐｒｅｓｓｅｄ　ＭｅｔａＤａｔａ）を生成する。
　多重化部４６３４は、符号化位置情報、符号化属性情報、符号化付加情報及びその他の付加情報を多重化することで符号化データである符号化ストリーム（Ｃｏｍｐｒｅｓｓｅｄ　Ｓｔｒｅａｍ）を生成する。生成された符号化ストリームは、図示しないシステムレイヤの処理部へ出力される。
　次に、第１の符号化方法の復号を行う復号部４６２４の例である第１の復号部４６４０について説明する。図７は、第１の復号部４６４０の構成を示す図である。図８は、第１の復号部４６４０のブロック図である。第１の復号部４６４０は、第１の符号化方法で符号化された符号化データ（符号化ストリーム）を、第１の符号化方法で復号することで点群データを生成する。この第１の復号部４６４０は、逆多重化部４６４１と、位置情報復号部４６４２と、属性情報復号部４６４３と、付加情報復号部４６４４とを含む。
　図示しないシステムレイヤの処理部から符号化データである符号化ストリーム（Ｃｏｍｐｒｅｓｓｅｄ　Ｓｔｒｅａｍ）が第１の復号部４６４０に入力される。
　逆多重化部４６４１は、符号化データから、符号化位置情報（Ｃｏｍｐｒｅｓｓｅｄ　Ｇｅｏｍｅｔｒｙ）、符号化属性情報（Ｃｏｍｐｒｅｓｓｅｄ　Ａｔｔｒｉｂｕｔｅ）、符号化付加情報（Ｃｏｍｐｒｅｓｓｅｄ　ＭｅｔａＤａｔａ）、及び、その他の付加情報を分離する。
　位置情報復号部４６４２は、符号化位置情報を復号することで位置情報を生成する。例えば、位置情報復号部４６４２は、８分木等のＮ分木構造で表される符号化位置情報から三次元座標で表される点群の位置情報を復元する。
　属性情報復号部４６４３は、位置情報復号部４６４２で生成された構成情報に基づき、符号化属性情報を復号する。例えば、属性情報復号部４６４３は、位置情報復号部４６４２で得られた８分木構造に基づき、処理対象の対象点（対象ノード）の復号において参照する参照点（参照ノード）を決定する。例えば、属性情報復号部４６４３は、周辺ノード又は隣接ノードのうち、８分木における親ノードが対象ノードと同一のノードを参照する。なお、参照関係の決定方法はこれに限らない。
　また、属性情報の復号処理は、逆量子化処理、予測処理、及び算術復号処理のうち少なくとも一つを含んでもよい。この場合、参照とは、属性情報の予測値の算出に参照ノードを用いること、又は、復号のパラメータの決定に参照ノードの状態（例えば、参照ノードに点群が含まれる否かを示す占有情報）を用いること、である。例えば、復号のパラメータとは、逆量子化処理における量子化パラメータ、又は算術復号におけるコンテキスト等である。
　付加情報復号部４６４４は、符号化付加情報を復号することで付加情報を生成する。また、第１の復号部４６４０は、位置情報及び属性情報の復号処理に必要な付加情報を復号時に使用し、アプリケーションに必要な付加情報を外部に出力する。
　次に、第２の符号化方法の符号化を行う符号化部４６１３の例である第２の符号化部４６５０について説明する。図９は、第２の符号化部４６５０の構成を示す図である。図１０は、第２の符号化部４６５０のブロック図である。
　第２の符号化部４６５０は、点群データを第２の符号化方法で符号化することで符号化データ（符号化ストリーム）を生成する。この第２の符号化部４６５０は、付加情報生成部４６５１と、位置画像生成部４６５２と、属性画像生成部４６５３と、映像符号化部４６５４と、付加情報符号化部４６５５と、多重化部４６５６とを含む。
　第２の符号化部４６５０は、三次元構造を二次元画像に投影することで位置画像及び属性画像を生成し、生成した位置画像及び属性画像を既存の映像符号化方式を用いて符号化するという特徴を有する。第２の符号化方法は、ＶＰＣＣ（Ｖｉｄｅｏ　ｂａｓｅｄ　ＰＣＣ）とも呼ばれる。
　点群データは、ＰＬＹファイルのようなＰＣＣ点群データ、又は、センサ情報から生成されたＰＣＣ点群データであり、位置情報（Ｐｏｓｉｔｉｏｎ）、属性情報（Ａｔｔｒｉｂｕｔｅ）、及びその他の付加情報ＭｅｔａＤａｔａ）を含む。
　付加情報生成部４６５１は、三次元構造を二次元画像に投影することで、複数の二次元画像のマップ情報を生成する。
　位置画像生成部４６５２は、位置情報と、付加情報生成部４６５１で生成されたマップ情報とに基づき、位置画像（Ｇｅｏｍｅｔｒｙ　Ｉｍａｇｅ）を生成する。この位置画像は、例えば、画素値として距離（Ｄｅｐｔｈ）が示される距離画像である。なお、この距離画像は、一つの視点から複数の点群を見た画像（一つの二次元平面に複数の点群を投影した画像）であってもよいし、複数の視点から複数の点群を見た複数の画像であってもよいし、これらの複数の画像を統合した一つの画像であってもよい。
　属性画像生成部４６５３は、属性情報と、付加情報生成部４６５１で生成されたマップ情報とに基づき、属性画像を生成する。この属性画像は、例えば、画素値として属性情報（例えば色（ＲＧＢ））が示される画像である。なお、この画像は、一つの視点から複数の点群を見た画像（一つの二次元平面に複数の点群を投影した画像）であってもよいし、複数の視点から複数の点群を見た複数の画像であってもよいし、これらの複数の画像を統合した一つの画像であってもよい。
　映像符号化部４６５４は、位置画像及び属性画像を、映像符号化方式を用いて符号化することで、符号化データである符号化位置画像（Ｃｏｍｐｒｅｓｓｅｄ　Ｇｅｏｍｅｔｒｙ　Ｉｍａｇｅ）及び符号化属性画像（Ｃｏｍｐｒｅｓｓｅｄ　Ａｔｔｒｉｂｕｔｅ　Ｉｍａｇｅ）を生成する。なお、映像符号化方式として、公知の任意の符号化方法が用いられてよい。例えば、映像符号化方式は、ＡＶＣ又はＨＥＶＣ等である。
　付加情報符号化部４６５５は、点群データに含まれる付加情報、及びマップ情報等を符号化することで符号化付加情報（Ｃｏｍｐｒｅｓｓｅｄ　ＭｅｔａＤａｔａ）を生成する。
　多重化部４６５６は、符号化位置画像、符号化属性画像、符号化付加情報、及び、その他の付加情報を多重化することで符号化データである符号化ストリーム（Ｃｏｍｐｒｅｓｓｅｄ　Ｓｔｒｅａｍ）を生成する。生成された符号化ストリームは、図示しないシステムレイヤの処理部へ出力される。
　次に、第２の符号化方法の復号を行う復号部４６２４の例である第２の復号部４６６０について説明する。図１１は、第２の復号部４６６０の構成を示す図である。図１２は、第２の復号部４６６０のブロック図である。第２の復号部４６６０は、第２の符号化方法で符号化された符号化データ（符号化ストリーム）を、第２の符号化方法で復号することで点群データを生成する。この第２の復号部４６６０は、逆多重化部４６６１と、映像復号部４６６２と、付加情報復号部４６６３と、位置情報生成部４６６４と、属性情報生成部４６６５とを含む。
　図示しないシステムレイヤの処理部から符号化データである符号化ストリーム（Ｃｏｍｐｒｅｓｓｅｄ　Ｓｔｒｅａｍ）が第２の復号部４６６０に入力される。
　逆多重化部４６６１は、符号化データから、符号化位置画像（Ｃｏｍｐｒｅｓｓｅｄ　Ｇｅｏｍｅｔｒｙ　Ｉｍａｇｅ）、符号化属性画像（Ｃｏｍｐｒｅｓｓｅｄ　Ａｔｔｒｉｂｕｔｅ　Ｉｍａｇｅ）、符号化付加情報（Ｃｏｍｐｒｅｓｓｅｄ　ＭｅｔａＤａｔａ）、及び、その他の付加情報を分離する。
　映像復号部４６６２は、符号化位置画像及び符号化属性画像を、映像符号化方式を用いて復号することで、位置画像及び属性画像を生成する。なお、映像符号化方式として、公知の任意の符号化方式が用いられてよい。例えば、映像符号化方式は、ＡＶＣ又はＨＥＶＣ等である。
　付加情報復号部４６６３は、符号化付加情報を復号することで、マップ情報等を含む付加情報を生成する。
　位置情報生成部４６６４は、位置画像とマップ情報とを用いて位置情報を生成する。属性情報生成部４６６５は、属性画像とマップ情報とを用いて属性情報を生成する。
　第２の復号部４６６０は、復号に必要な付加情報を復号時に使用し、アプリケーションに必要な付加情報を外部に出力する。
　以下、ＰＣＣ符号化方式における課題を説明する。図１３は、ＰＣＣ符号化データに関わるプロトコルスタックを示す図である。図１３には、ＰＣＣ符号化データに、映像（例えばＨＥＶＣ）又は音声などの他のメディアのデータを多重し、伝送又は蓄積する例を示す。
　多重化方式及びファイルフォーマットは、様々な符号化データを多重し、伝送又は蓄積するための機能を有している。符号化データを伝送又は蓄積するためには、符号化データを多重化方式のフォーマットに変換しなければならない。例えば、ＨＥＶＣでは、ＮＡＬユニットと呼ばれるデータ構造に符号化データを格納し、ＮＡＬユニットをＩＳＯＢＭＦＦに格納する技術が規定されている。
　一方、現在、点群データの符号化方法として第１の符号化方法（Ｃｏｄｅｃ１）、及び第２の符号化方法（Ｃｏｄｅｃ２）が検討されているが、符号化データの構成、及び符号化データをシステムフォーマットへ格納する方法が定義されておらず、このままでは符号化部におけるＭＵＸ処理（多重化）、伝送及び蓄積ができないという課題がある。
　なお、以降において、特定の符号化方法の記載がなければ、第１の符号化方法、及び第２の符号化方法のいずれかを示すものとする。
　以下、本実施の形態に係るＮＡＬユニットの定義方法について説明する。例えば、ＨＥＶＣなどの、これまでのコーデックでは、１つのコーデックに対して、１つのフォーマットのＮＡＬユニットが定義されている。しかし、ＰＣＣのように、第１の符号化方法と第２の符号化方法との２つのコーデック（以降、ＰＣＣコーデックと称する）が混在するフォーマットをサポートする方法はこれまで存在しない。
　本実施の形態では、ＮＡＬユニットとしてＰＣＣコーデック共通のフォーマットを定義し、さらに、ＰＣＣコーデックに依存するＮＡＬユニットの識別子を定義する。図１４は、この場合のプロトコルスタックを示す図である。図１５～図１７は、コーデック共通のＮＡＬユニットフォーマットの例を示す図である。図１５は、共通ＰＣＣ　ＮＡＬユニット（Ｃｏｍｍｏｎ　ＰＣＣ　ＮＡＬ　Ｕｎｉｔ）のシンタックス例を示す図である。図１６は、共通ＰＣＣ　ＮＡＬユニットヘッダ（Ｃｏｍｍｏｎ　ＰＣＣ　ＮＡＬ　Ｕｎｉｔ　Ｈｅａｄｅｒ）のシンタックス例を示す図である。図１７は、ｐｃｃ＿ｃｏｄｅｃ＿ｔｙｐｅのセマンティクス例を示す図である。図１８は、コーデック依存のＮＡＬユニットタイプ定義の例を示す図であり、ｐｃｃ＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅのセマンティクス例を示す図である。
　ＮＡＬユニットフォーマットとして、ＰＣＣコーデック共通のＮＡＬユニットフォーマットが定義される。ＮＡＬユニット（ｐｃｃ＿ｎａｌ＿ｕｎｉｔ）は、ヘッダ（ｐｃｃ＿ｎａｌ＿ｕｎｉｔ＿ｈｅａｄｅｒ）、ペイロード（ｐｃｃ＿ｎａｌ＿ｕｎｉｔ＿ｐａｙｌｏａｄ）、及びトレイリングビット（ｔｒａｉｌｉｎｇ＿ｂｉｔｓ）を含む。第１の符号化方法及び第２の符号化方法のいずれのコーデックのデータが格納される場合にも、同じフォーマットが使用される。
　ＮＡＬユニットヘッダ（ｐｃｃ＿ｎａｌ＿ｕｎｉｔ＿ｈｅａｄｅｒ）には、コーデックタイプ（ｐｃｃ＿ｃｏｄｅｃ＿ｔｙｅ）、及びＮＡＬユニットタイプ（ｐｃｃ＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ）が格納される。コーデックタイプは、ＮＡＬユニットに格納される符号化データのＰＣＣコーデックが、第１の符号化方法であるか、第２の符号化方法であるかを示す。
　ＮＡＬユニットタイプは、コーデックに依存するＮＡＬユニットのタイプを示し、コーデック毎にタイプが定義される。コーデックタイプが第１の符号化方法である場合には、ＮＡＬユニットタイプは、第１の符号化方法用に定義されたＮＡＬユニットタイプを示す。コーデックタイプが第２の符号化方法である場合には、ＮＡＬユニットタイプは、第２の符号化方法用に定義されたＮＡＬユニットタイプを示す。つまり、第１の符号化方法用に定義されたＮＡＬユニットタイプと、第２の符号化方法用に定義されたＮＡＬユニットタイプとには、同一の値に対して異なる意味が対応づけられる。
　なお、ヘッダにおいて、コーデックタイプの機能をＮＡＬユニットタイプにマージしてもよい。例えば、ＮＡＬユニットタイプの一部の情報を用いてコーデックタイプを示してもよい。
　次に、本実施の形態に係る符号化処理について説明する。図１９は、本実施の形態に係る符号化処理のフローチャートである。同図の処理は、上記の定義を用いた場合の第１の符号化部４６３０又は第２の符号化部４６５０の処理を示す。なお、以下では第１の符号化部４６３０又は第２の符号化部４６５０を区別せずに符号化部４６１３とも記す。また、同図の処理は、主に、図６に示す多重化部４６３４又は図１０に示す多重化部４６５６により行われる。
　なお、同図の処理は、ＰＣＣデータを第１の符号化方法、及び第２の符号化方法のいずれか一方で符号化する例を示しており、どちらのＰＣＣコーデックで符号化するかは既知であるものとする。例えば、いずれのＰＣＣコーデックを用いるかはユーザ又は外部装置等により指定されてもよい。
　まず、符号化部４６１３は、ＰＣＣデータを第１の符号化方法、及び第２の符号化方法のいずれかのコーデックを用いて符号化する（Ｓ４６０１）。
　使用したコーデックが第２の符号化方法である場合（Ｓ４６０２で第２の符号化方法）、符号化部４６１３は、ＮＡＬユニットヘッダに含まれるｐｃｃ＿ｃｏｄｅｃ＿ｔｙｐｅをＮＡＬユニットのペイロードに含まれるデータが第２の符号化方法で符号化されたデータであることを示す値に設定する（Ｓ４６０３）。また、符号化部４６１３は、ＮＡＬユニットヘッダのｐｃｃ＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅに第２の符号化方法用のＮＡＬユニットの識別子を設定する（Ｓ４６０４）。そして、符号化部４６１３は、設定したＮＡＬユニットヘッダを有し、ペイロードに符号化データを含むＮＡＬユニットを生成する。そして、符号化部４６１３は、生成したＮＡＬユニットを送信する（Ｓ４６０５）。
　一方、使用したコーデックが第１の符号化方法である場合（Ｓ４６０２で第１の符号化方法）、符号化部４６１３は、ＮＡＬユニットヘッダのｐｃｃ＿ｃｏｄｅｃ＿ｔｙｐｅをＮＡＬユニットのペイロードに含まれるデータが第１の符号化方法で符号化されたデータであることを示す値に設定する（Ｓ４６０６）。また、符号化部４６１３は、ＮＡＬユニットヘッダのｐｃｃ＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅに第１の符号化方法用のＮＡＬユニットの識別子を設定する（Ｓ４６０７）。そして、符号化部４６１３は、設定したＮＡＬユニットヘッダを有し、ペイロードに符号化データを含むＮＡＬユニットを生成する。そして、符号化部４６１３は、生成したＮＡＬユニットを送信する（Ｓ４６０５）。
　なお、符号化部４６１３は、ステップＳ４６０３及びＳ４６０６において、ｐｃｃ＿ｃｏｄｅ＿ｔｙｐｅの機能がｐｃｃ＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅに含まれる場合、ｐｃｃ＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅに、ＮＡＬユニットが第１の符号化方法であるか第２の符号化方法であるかを示してもよい。
　次に、本実施の形態に係る第１の復号部４６４０及び第２の復号部４６６０による復号処理について説明する。図２０は、第２の復号部４６６０による復号処理を示すフローチャートである。また、同図の処理は、主に、図１２に示す逆多重化部４６６１により行われる。
　なお、同図の処理は、ＰＣＣデータを第２の符号化方法、及び第１の符号化方法のいずれか一方で符号化する例を示している。また、この方式では、第２の復号部４６６０に含まれる逆多重化部４６６１は、ＮＡＬユニットヘッダに含まれる情報を参照して、ＮＡＬユニットのコーデックタイプを識別できる。よって、逆多重化部４６６１は、コーデックタイプに応じて必要な情報を映像復号部４６６２に出力できる。
　まず、第２の復号部４６６０は、ＮＡＬユニットを受信する（Ｓ４６１１）。例えば、このＮＡＬユニットは、上述した符号化部４６１３における処理で生成されたものである。つまり、このＮＡＬユニットのヘッダは、ｐｃｃ＿ｃｏｄｅｃ＿ｔｙｐｅ及びｐｃｃ＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを含む。
　次に、第２の復号部４６６０は、ＮＡＬユニットヘッダに含まれるｐｃｃ＿ｃｏｄｅｃ＿ｔｙｐｅが第１の符号化方法を示すか、第２の符号化方法を示すかを判定する（Ｓ４６１２）。
　ｐｃｃ＿ｃｏｄｅｃ＿ｔｙｐｅが第２の符号化方法を示す場合（Ｓ４６１２で第２の符号化方法）、第２の復号部４６６０は、ＮＡＬユニットのペイロードに含まれるデータが、第２の符号化方法を用いて符号化されたデータであると判断する（Ｓ４６１３）。そして、第２の復号部４６６０は、ＮＡＬユニットヘッダに含まれるｐｃｃ＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅが、第２の符号化方法用のＮＡＬユニットの識別子であるとしてデータを識別する（Ｓ４６１４）。そして、第２の復号部４６６０は、第２の符号化方法の復号処理を用いてＰＣＣデータを復号する（Ｓ４６１５）。
　一方、ｐｃｃ＿ｃｏｄｅｃ＿ｔｙｐｅが第１の符号化方法を示す場合（Ｓ４６１２で第１の符号化方法）、第２の復号部４６６０は、ＮＡＬユニットのペイロードに含まれるデータが、第１の符号化方法で符号化されたデータであると判断する（Ｓ４６１６）。この場合、第２の復号部４６６０は、当該ＮＡＬユニットを処理しない（Ｓ４６１７）。
　なお、ステップＳ４６１２において、ｐｃｃ＿ｃｏｄｅ＿ｔｙｐｅの機能がｐｃｃ＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅに含まれる場合、第２の復号部４６６０は、ｐｃｃ＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを参照して、ＮＡＬユニットに含まれるデータに使用されているコーデックが第１の符号化方法であるか第２の符号化方法であるかを判定してもよい。
　図２１は、第１の復号部４６４０による復号処理を示すフローチャートである。また、同図の処理は、主に、図８に示す逆多重化部４６４１により行われる。
　なお、同図の処理は、ＰＣＣデータを第１の符号化方法、及び第２の符号化方法のいずれか一方で符号化する例を示している。また、この方式では、第１の復号部４６４０に含まれる逆多重化部４６４１は、ＮＡＬユニットヘッダに含まれる情報を参照して、ＮＡＬユニットのコーデックタイプを識別できる。よって、逆多重化部４６４１は、コーデックタイプに応じて必要な情報を位置情報復号部４６４２及び属性情報復号部４６４３に出力できる。
　まず、第１の復号部４６４０は、ＮＡＬユニットを受信する（Ｓ４６２１）。例えば、このＮＡＬユニットは、上述した符号化部４６１３における処理で生成されたものである。つまり、このＮＡＬユニットのヘッダは、ｐｃｃ＿ｃｏｄｅｃ＿ｔｙｐｅ及びｐｃｃ＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを含む。
　次に、第１の復号部４６４０は、ＮＡＬユニットヘッダに含まれるｐｃｃ＿ｃｏｄｅｃ＿ｔｙｐｅが第１の符号化方法を示すか、第２の符号化方法を示すかを判定する（Ｓ４６２２）。
　ｐｃｃ＿ｃｏｄｅｃ＿ｔｙｐｅが第２の符号化方法を示す場合（Ｓ４６２２で第２の符号化方法）、第１の復号部４６４０は、ＮＡＬユニットのペイロードに含まれるデータが、第２の符号化方法を用いて符号化されたデータであると判断する（Ｓ４６２３）。この場合、第１の復号部４６４０は、当該ＮＡＬユニットは処理しない（Ｓ４６２４）。
　一方、ｐｃｃ＿ｃｏｄｅｃ＿ｔｙｐｅが第１の符号化方法を示す場合（Ｓ４６２２で第１の符号化方法）、第１の復号部４６４０は、ＮＡＬユニットのペイロードに含まれるデータが第１の符号化方法で符号化されたデータであると判断する（Ｓ４６２５）。そして、第１の復号部４６４０は、ＮＡＬユニットヘッダに含まれるｐｃｃ＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅが、第１の符号化方法用のＮＡＬユニットの識別子であるとしてデータを識別する（Ｓ４６２６）。そして、第１の復号部４６４０は、第１の符号化方法の復号処理を用いてＰＣＣデータを復号する（Ｓ４６２７）。
　（実施の形態２）
　本実施の形態では、ＮＡＬユニットの定義の別の手法について説明する。本実施の形態では、ＮＡＬユニットとしてＰＣＣコーデック毎に異なるフォーマットを定義する。さらに、ＰＣＣコーデック毎に独立にＮＡＬユニットの識別子を定義する。
　図２２は、この場合のプロトコルスタックを示す図である。図２３は、コーデック２用のＮＡＬユニット（ｃｏｄｅｃ２＿ｎａｌ＿ｕｎｉｔ）のシンタックス例を示す図である。図２４は、コーデック２用のＮＡＬユニットヘッダ（ｃｏｄｅｃ２＿ｎａｌ＿ｕｎｉｔ＿ｈｅａｄｅｒ）のシンタックス例を示す図である。図２５は、ｃｏｄｅｃ２＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅのセマンティクス例を示す図である。
　図２６は、コーデック１用のＮＡＬユニット（ｃｏｄｅｃ１＿ｎａｌ＿ｕｎｉｔ）のシンタックス例を示す図である。図２７は、コーデック１用のＮＡＬユニットヘッダ（ｃｏｄｅｃ１＿ｎａｌ＿ｕｎｉｔ＿ｈｅａｄｅｒ）のシンタックス例を示す図である。図２８は、ｃｏｄｅｃ１＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅのセマンティクス例を示す図である。
　ＮＡＬユニットフォーマットとして、ＰＣＣコーデック毎に独立にＮＡＬユニットフォーマットが定義される。ＮＡＬユニット（ｃｏｄｅｃ１＿ｎａｌ＿ｕｎｉｔ、ｃｏｄｅｃ２＿ｎａｌ＿ｕｎｉｔ）は、ヘッダ（ｃｏｄｅｃ１＿ｎａｌ＿ｕｎｉｔ＿ｈｅａｄｅｒ、ｃｏｄｅｃ２＿ｎａｌ＿ｕｎｉｔ＿ｈｅａｄｅｒ）、ペイロード（ｃｏｄｅｃ１＿ｎａｌ＿ｕｎｉｔ＿ｐａｙｌｏａｄ、ｃｏｄｅｃ２＿ｎａｌ＿ｕｎｉｔ＿ｐａｙｌｏａｄ）、及びトレイリングビット（ｔｒａｉｌｉｎｇ＿ｂｉｔｓ）を含む。第１の符号化方法用のＮＡＬユニット（ｃｏｄｅｃ１＿ｎａｌ＿ｕｎｉｔ）と第２の符号化方法用のＮＡＬユニット（ｃｏｄｅｃ２＿ｎａｌ＿ｕｎｉｔ）は、同じ構成でもよいし、異なる構成でもよい。第１の符号化方法用のＮＡＬユニットと第２の符号化方法用のＮＡＬユニットとのサイズが異なってもよい。
　第１の符号化方法で符号化されたデータは第１の符号化方法用のＮＡＬユニットに格納される。第２の符号化方法で符号化されたデータは第２の符号化方法用のＮＡＬユニットに格納される。
　ＮＡＬユニットヘッダ（ｃｏｄｅｃ１＿ｎａｌ＿ｕｎｉｔ＿ｈｅａｄｅｒ、ｃｏｄｅｃ２＿ｎａｌ＿ｕｎｉｔ＿ｈｅａｄｅｒ）には、ＮＡＬユニットタイプ（ｃｏｄｅｃ１＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ、ｃｏｄｅｃ２＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ）が格納される。ＮＡＬユニットタイプは、コーデック毎に独立であり、コーデック毎にタイプが定義される。つまり、第１の符号化方法用のＮＡＬユニットには、第１の符号化方法用に定義されたＮＡＬユニットタイプが記載される。第２の符号化方法用のＮＡＬユニットには、第２の符号化方法用に定義されたＮＡＬユニットタイプが記載される。
　本方式を用いることで、第１の符号化方法と第２の符号化方法とを、異なるコーデックとして扱うことができる。
　次に、本実施の形態に係る符号化処理について説明する。図２９は、本実施の形態に係る符号化処理のフローチャートである。同図の処理は、上記定義を用いた場合の第１の符号化部４６３０又は第２の符号化部４６５０の処理を示す。また、同図の処理は、主に、図６に示す多重化部４６３４又は図１０に示す多重化部４６５６により行われる。
　なお、同図の処理は、ＰＣＣデータを第１の符号化方法、及び第２の符号化方法のいずれか一方で符号化する例を示しており、どちらのＰＣＣコーデックで符号化するかは既知であるものとする。例えば、いずれのＰＣＣコーデックを用いるかはユーザ又は外部装置等により指定されてもよい。
　まず、符号化部４６１３は、ＰＣＣデータを第１の符号化方法、及び第２の符号化方法のいずれかのコーデックを用いて符号化する（Ｓ４６３１）。
　使用したコーデックが第２の符号化方法である場合（Ｓ４６３２で第２の符号化方法）、符号化部４６１３は、第２の符号化方法用のＮＡＬユニットフォーマットでＮＡＬユニットを生成する（Ｓ４６３３）。次に、符号化部４６１３は、ＮＡＬユニットヘッダに含まれるｃｏｄｅｃ２＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅに第２の符号化方法用のＮＡＬユニットの識別子を設定する（Ｓ４６３４）。そして、符号化部４６１３は、設定したＮＡＬユニットヘッダを有し、ペイロードに符号化データを含むＮＡＬユニットを生成する。そして、符号化部４６１３は、生成したＮＡＬユニットを送信する（Ｓ４６３５）。
　一方、使用したコーデックが第１の符号化方法である場合（Ｓ４６３２で第１の符号化方法）、符号化部４６１３は、第１の符号化方法用のＮＡＬユニットフォーマットでＮＡＬユニットを生成する（Ｓ４６３６）。次に、符号化部４６１３は、ＮＡＬユニットヘッダのｃｏｄｅｃ１＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅに第１の符号化方法用のＮＡＬユニットの識別子を設定する（Ｓ４６３７）。そして、符号化部４６１３は、設定したＮＡＬユニットヘッダを有し、ペイロードに符号化データを含むＮＡＬユニットを生成する。そして、符号化部４６１３は、生成したＮＡＬユニットを送信する（Ｓ４６３５）。
　次に、本実施の形態に係る復号処理について説明する。図３０は、本実施の形態に係る復号処理のフローチャートである。同図の処理は、上記定義を用いた場合の第１の復号部４６４０又は第２の復号部４６６０の処理を示す。なお、以下では第１の復号部４６４０又は第２の復号部４６６０を区別せずに復号部４６２４とも記す。また、同図の処理は、主に、図８に示す逆多重化部４６４１又は図１２に示す逆多重化部４６６１により行われる。
　なお、同図の処理は、ＰＣＣデータを第１の符号化方法、及び第２の符号化方法のいずれか一方で符号化する例を示しており、どちらのＰＣＣコーデックで符号化されているかは既知であるものとする。例えば、使用されているコーデックを示す情報が伝送信号、多重化データ、又は符号化データに含まれており、復号部４６２４は、当該情報を参照して使用されているコーデックを判定する。なお、復号部４６２４は、これらの信号とは別に取得した信号に基づき、使用されているコーデックを判定してもよい。
　使用されているコーデックが第２の符号化方法である場合（Ｓ４６４１で第２の符号化方法）、復号部４６２４は、第２の符号化方法用フォーマットのＮＡＬユニットを受信する（Ｓ４６４２）。次に、復号部４６２４は、ＮＡＬユニットが第２の符号化方法用であるとして、第２の符号化方法用のＮＡＬユニットフォーマット及び第２の符号化方法用のｃｏｄｅｃ２＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを用いてデータを識別する（Ｓ４６４３）。次に、復号部４６２４は、第２の符号化方法の復号処理を用いてＰＣＣデータを復号する（Ｓ４６４４）。
　一方、使用されているコーデックが第１の符号化方法である場合（Ｓ４６４１で第１の符号化方法）、復号部４６２４は、第１の符号化方法用フォーマットのＮＡＬユニットを受信する（Ｓ４６４５）。次に、復号部４６２４は、ＮＡＬユニットが第１の符号化方法用であるとして、第１の符号化方法用のＮＡＬユニットフォーマット及び第１の符号化方法用のｃｏｄｅｃ１＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを用いてデータを識別する（Ｓ４６４６）。次に、復号部４６２４は、第１の符号化方法の復号処理を用いてＰＣＣデータを復号する（Ｓ４７４７）。
　（実施の形態３）
　本実施の形態では、ＮＡＬユニットの定義の別の手法について説明する。本実施の形態では、ＮＡＬユニットとしてＰＣＣコーデック共通のフォーマットを定義する。また、ＰＣＣコーデック共通のＮＡＬユニットの識別子を定義する。
　図３１は、この場合のプロトコルスタックを示す図である。図３２～図３４は、コーデック共通のＮＡＬユニットフォーマットの例を示す図である。図３２は、共通ＰＣＣ　ＮＡＬユニット（Ｃｏｍｍｏｎ　ＰＣＣ　ＮＡＬ　Ｕｎｉｔ）のシンタックス例を示す図である。図３３は、共通ＰＣＣ　ＮＡＬユニットヘッダ（Ｃｏｍｍｏｎ　ＰＣＣ　ＮＡＬ　Ｕｎｉｔ　Ｈｅａｄｅｒ）のシンタックス例を示す図である。図３４は、ｐｃｃ＿ｃｏｄｅｃ＿ｔｙｐｅのセマンティクス例を示す図である。
　ＮＡＬユニットフォーマットとして、ＰＣＣコーデック共通のＮＡＬユニットフォーマットが定義される。ＮＡＬユニット（ｐｃｃ＿ｎａｌ＿ｕｎｉｔ）は、ヘッダ（ｐｃｃ＿ｎａｌ＿ｕｎｉｔ＿ｈｅａｄｅｒ）、ペイロード（ｐｃｃ＿ｎａｌ＿ｕｎｉｔ＿ｐａｙｌｏａｄ）、及びトレイリングビット（ｔｒａｉｌｉｎｇ＿ｂｉｔｓ）を含む。第１の符号化方法と第２の符号化方法のいずれのコーデックのデータが格納される場合にも、同じフォーマットが使用される。
　ＮＡＬユニットヘッダ（ｐｃｃ＿ｎａｌ＿ｕｎｉｔ＿ｈｅａｄｅｒ）には、ＮＡＬユニットタイプ（ｐｃｃ＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ）が格納される。ＮＡＬユニットタイプは、コーデック共通であり、コーデック共通のタイプが定義される。つまり、第１の符号化方法用のＮＡＬユニット、第２の符号化方法用のＮＡＬユニットともに、共通に定義されたＮＡＬユニットタイプが記載される。図３４に示す例において、例えば、ＰＣＣ　ＤａｔａＡは、コーデック１の符号化データであり、ＰＣＣ　ＤａｔａＢは、コーデック２の符号化データであり、ＰＣＣ　ＭｅｔａＤａｔａＡは、コーデック１の付加情報であり、ＰＣＣ　ＭｅｔａＤａｔａＢは、コーデック２の付加情報である。
　本方式を用いることで、第１の符号化方法と第２の符号化方法とを、同じコーデックとして扱うことができる。
　次に、本実施の形態に係る符号化処理について説明する。図３５は、本実施の形態に係る符号化処理のフローチャートである。同図の処理は、上記の定義を用いた場合の第１の符号化部４６３０又は第２の符号化部４６５０の処理を示す。また、同図の処理は、主に、図６に示す多重化部４６３４又は図１０に示す多重化部４６５６により行われる。
　なお、同図の処理は、ＰＣＣデータを第２の符号化方法、及び第１の符号化方法のいずれか一方で符号化する例を示しており、どちらのＰＣＣコーデックで符号化するかは既知であるものとする。例えば、いずれのＰＣＣコーデックを用いるかはユーザ又は外部装置等により指定されてもよい。
　まず、符号化部４６１３は、ＰＣＣデータを第２の符号化方法、及び第１の符号化方法のいずれかのコーデックを用いて符号化する（Ｓ４６５１）。次に、符号化部４６１３は、ＰＣＣ共通のＮＡＬユニットフォーマットでＮＡＬユニットを生成する（Ｓ４６５２）。
　次に、符号化部４６１３は、ＮＡＬユニットヘッダに含まれるｐｃｃ＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅにＰＣＣ共通のＮＡＬユニットの識別子を設定する（Ｓ４６５３）。次に、設定したＮＡＬユニットヘッダを有し、ペイロードに符号化データを含むＮＡＬユニットを送信する（Ｓ４６５４）。
　次に、本実施の形態に係る復号処理について説明する。図３６は、本実施の形態に係る復号処理のフローチャートである。同図の処理は、上記定義を用いた場合の第１の復号部４６４０又は第２の復号部４６６０の処理を示す。また、同図の処理は、主に、図８に示す逆多重化部４６４１又は図１２に示す逆多重化部４６６１により行われる。
　なお、同図の処理は、ＰＣＣデータを第２の符号化方法、及び第１の符号化方法のいずれか一方で符号化する例を示している。
　まず、復号部４６２４は、ＮＡＬユニットに含まれるデータの符号化に使用されているコーデックを判定する（Ｓ４６６１）。例えば、復号部４６２４は、ＮＡＬユニットヘッダに含まれるｐｃｃ＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを参照することで、使用されているコーデックを判定する。
　使用されているコーデックが第２の符号化方法である場合（Ｓ４６６１で第２の符号化方法）、復号部４６２４は、ＰＣＣ共通のフォーマットのＮＡＬユニットを受信する（Ｓ４６６２）。次に、復号部４６２４は、ＮＡＬユニットは共通であるとして、共通のＮＡＬユニットフォーマット及び共通のｐｃｃ＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを用いてデータを識別する（Ｓ４６６３）。次に、復号部４６２４は、第２の符号化方法の復号処理を用いてＰＣＣデータを復号する（Ｓ４６６４）。
　一方、使用されているコーデックが第１の符号化方法である場合（Ｓ４６６１で第１の符号化方法）、復号部４６２４は、ＰＣＣ共通のフォーマットのＮＡＬユニットを受信する（Ｓ４６６５）。次に、復号部４６２４は、ＮＡＬユニットは共通であるとして、共通のＮＡＬユニットフォーマット及び共通のｐｃｃ＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを用いてデータを識別する（Ｓ４６６６）。次に、復号部４６２４は、第１の符号化方法の復号処理を用いてＰＣＣデータを復号する（Ｓ４６６７）。
　以下、上記の実施の形態１～実施の形態３の変形例について説明する。ＰＣＣコーデックタイプを示すその他の方法として以下の方法を用いてもよい。
　実施の形態１、実施の形態２、及び実施の形態３では、第１の符号化方法と第２の符号化方法との２つのコーデックが混在する場合を説明したが、ＰＣＣコーデックが３つ以上である場合も上記の手法を適用可能である。
　また、実施の形態１及び実施の形態３では、ＮＡＬユニットヘッダ内でＰＣＣコーデックの識別情報（実施の形態１におけるｐｃｃ＿ｃｏｄｅｃ＿ｔｙｐｅ、及び、実施の形態３ｂにおけるｐｃｃ＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ）を記載したが、コーデックの識別情報を他の場所に格納してもよい。
　また、第１の符号化方法及び第２の符号化方法は、上記の例に限定されず、任意のコーデックであってもよい。例えば、第１の符号化方法及び第２の符号化方法は、ＧＰＣＣを細分化した複数のコーデックであってもよいし、ＶＰＣＣを細分化した複数のコーデックであってもよい。例えば、第１の符号化方法及び第２の符号化方法は、共にＶＰＣＣであり、用いられる映像符号化方式が異なってもよい。映像符号化方式は、例えば、ＡＶＣ又はＨＥＶＣであってもよい。また、第１の符号化方法及び第２の符号化方法のいずれか一方またはその両方は、映像、音声、テキストアプリケーションなど、その他の符号化方式を含む符号化方法であってもよい。
　例えば、コーデックの識別情報は、ＰＣＣ符号化ストリームに含まれる制御情報に含まれてもよい。ここで制御情報とは、例えば、パラメータセット、又はＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ　Ｅｎｈａｎｃｅｍｅｎｔ　Ｉｎｆｏｒｍａｔｉｏｎ）などのメタデータ等である。
　図３７は、この場合における符号化部４６１３による符号化処理のフローチャートである。まず、符号化部４６１３は、ＰＣＣデータを符号化し（Ｓ４６７１）、符号化データ内の所定の位置（例えばパラメータセット）にＰＣＣコーデックの識別情報を記載する（Ｓ４６７２）。次に、符号化部４６１３は、符号化データを含むＮＡＬユニットを生成し、生成したＮＡＬユニットを送信する（Ｓ４６７３）。
　また、ＰＣＣコーデックの識別情報がｐｒｏｆｉｌｅと定義しされ、ＰＣＣコーデックの識別情報がメタデータに示されてもよい。また、シーケンス全体に同一のコーデックが用いられている場合、シーケンスパラメータセットに、ＰＣＣコーデックの識別情報が含まれてもよい。また、ＰＣＣフレーム毎に異なるコーデックで符号化されている場合、フレーム毎の情報を記載するパラメータセットに、ＰＣＣコーデックの識別情報が含まれてもよい。例えば、位置情報と属性情報とでコーデックが違う場合のようにＰＣＣのデータ毎に異なるコーデックが用いられる場合、データ毎の情報を記載するパラメータセットに、ＰＣＣコーデックの識別情報が含まれてもよい。つまり、位置情報のコーデックを示す情報が位置情報の制御情報（パラメータセット等）に含まれ、属性情報のコーデックを示す情報が属性情報の制御情報（パラメータセット等）に含まれてもよい。
　なお、コーデックの識別情報は、上記のいずれかに格納されてもよいし、複数の位置に格納されてもよい。例えば、コーデックの識別情報は、符号化ストリーム内と、ＮＡＬユニットヘッダとの両方に格納されてもよい。また、複数の位置にコーデックの識別情報が格納される場合、複数の位置に、同一の情報が格納されてもよいし、異なる情報が格納されてもよい。異なる情報とは、例えば、ＧＰＣＣ又はＶＰＣＣを示す情報と、ＧＰＣＣ又はＶＰＣＣを細分化した複数のコーデックのいずれかを示す情報とである。
　復号部４６２４に含まれる逆多重化部４６４１又は４６６１は、ＮＡＬユニットにパラメータセットが含まれる場合には、パラメータセットの中の記載を解析することにより、ＮＡＬユニットのペイロードに含まれるデータが第１の符号化方法で符号化されたデータであるか第２の符号化方法で符号化されたデータであるかを判断できる。これにより、復号部４６２４は、復号に必要のないＮＡＬユニットを早くフィルタリングできる。
　図３８は、この場合の復号部４６２４による復号処理のフローチャートである。まず、復号部４６２４は、ＮＡＬユニットを受信し（Ｓ４６７５）、ＮＡＬユニットヘッダに含まれるｐｃｃ＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを用いてＰＣＣコーデックの識別情報が記載される所定のデータ（例えば上記パラメータセット）を識別する（Ｓ４６７６）。次に、復号部４６２４は、所定のデータ（例えばパラメータセット）を解析することで所定のデータ内に示されるＰＣＣコーデックを識別する（Ｓ４６７７）。次に、復号部４６２４は、識別したＰＣＣコーデックを用いて符号化データを復号する（Ｓ４６７８）。
　また、上記では、符号化ストリームがＮＡＬユニットに格納される例を示したが、ＮＡＬユニットの代わりに予め定められた方式の単位（ユニット）が用いられてもよい。
　（実施の形態４）
　本実施の形態では、上述した第１の符号化部４６３０及び第２の符号化部４６５０の両方の機能を持つ符号化部４６７０、並びに、第１の復号部４６４０及び第２の復号部４６６０の両方の機能を持つ復号部４６８０について説明する。
　図３９は、本実施の形態に係る符号化部４６７０のブロック図である。この符号化部４６７０は、上述した第１の符号化部４６３０及び第２の符号化部４６５０と、多重化部４６７１とを含む。多重化部４６７１は、第１の符号化部４６３０で生成された符号化データと第２の符号化部４６５０で生成された符号化データとを多重化し、得られた符号化データを出力する。
　図４０は、本実施の形態に係る復号部４６８０のブロック図である。この復号部４６８０は、上述した第１の復号部４６４０及び第２の復号部４６６０と、逆多重化部４６８１とを含む。逆多重化部４６８１は、入力された符号化データから、第１の符号化方法が用いられている符号化データと、第２の符号化方法が用いられている符号化データとを抽出する。逆多重化部４６８１は、第１の符号化方法が用いられている符号化データを第１の復号部４６４０に出力し、第２の符号化方法が用いられている符号化データを第２の復号部４６６０に出力する。
　上記の構成により、符号化部４６７０は、第１の符号化方法及び第２の符号化方法を選択的に用いて点群データを符号化することができる。また、復号部４６８０は、第１の符号化方法を用いて符号化された符号化データ、第２の符号化方法を用いて符号化された符号化データ、及び、第１の符号化方法と第２の符号化方法との両方を用いて符号化された符号化データを復号できる。
　例えば、符号化部４６７０は、点群データ単位、又はフレーム単位で符号化方法（第１の符号化方法及び第２の符号化方法）を切り替えてもよい。また、符号化部４６７０は、符号化可能な単位で符号化方法を切り替えてもよい。
　符号化部４６７０は、例えば、上記実施の形態１又は実施の形態３で説明した、ＰＣＣコーデックの識別情報を含む符号化データ（符号化ストリーム）を生成する。
　復号部４６８０に含まれる逆多重化部４６８１は、例えば、実施の形態１又は実施の形態３で説明した、ＰＣＣコーデックの識別情報を用いて、データを識別する。逆多重化部４６８１は、当該データが第１の符号化方法で符号化されたデータである場合には、第１の復号部４６４０に当該データを出力し、当該データが第２の符号化方法で符号化されたデータである場合には、当該データを第２の復号部４６６０に出力する。
　なお、符号化部４６７０は、ＰＣＣコーデックの識別情報以外にも、両方の符号化方法を用いたか、いずれか一方の符号化方法を用いたかを示す情報を制御情報として送出してもよい。
　次に、本実施の形態に係る符号化処理について説明する。図４１は、本実施の形態に係る符号化処理のフローチャートである。実施の形態１、実施の形態２、実施の形態３、及び変形例で説明した、ＰＣＣコーデックの識別情報を用いることにより、複数コーデックに対応した符号化処理が可能となる。なお、図４１は、実施の形態１の手法を用いた場合の例を示すが、他の手法に対しても同様の処理が適用できる。
　まず、符号化部４６７０は、ＰＣＣデータを第１の符号化方法、第２の符号化方法のいずれか一方又は両方のコーデックで符号化する（Ｓ４６８１）。
　使用したコーデックが第２の符号化方法である場合（Ｓ４６８２で第２の符号化方法）、符号化部４６７０は、ＮＡＬユニットヘッダに含まれるｐｃｃ＿ｃｏｄｅｃ＿ｔｙｐｅをＮＡＬユニットのペイロードに含まれるデータが第２の符号化方法で符号化されたデータであることを示す値に設定する（Ｓ４６８３）。次に、符号化部４６７０は、ＮＡＬユニットヘッダのｐｃｃ＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅに第２の符号化方法用のＮＡＬユニットの識別子を設定する（Ｓ４６８４）。そして、符号化部４６７０は、設定したＮＡＬユニットヘッダを有し、ペイロードに符号化データを含むＮＡＬユニットを生成する。そして、符号化部４６７０は、生成したＮＡＬユニットを送信する（Ｓ４６８５）。
　一方、使用したコーデックが第１の符号化方法である場合（Ｓ４６８２で第１の符号化方法）、符号化部４６７０は、ＮＡＬユニットヘッダに含まれるｐｃｃ＿ｃｏｄｅｃ＿ｔｙｐｅをＮＡＬユニットのペイロードに含まれるデータが第１の符号化方法で符号化されたデータであることを示す値に設定する（Ｓ４６８６）。次に、符号化部４６７０は、ＮＡＬユニットヘッダに含まれるｐｃｃ＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅに第１の符号化方法用のＮＡＬユニットの識別子を設定する（Ｓ４６８７）。次に、符号化部４６７０は、設定したＮＡＬユニットヘッダを有し、ペイロードに符号化データを含むＮＡＬユニットを生成する。そして、符号化部４６７０は、生成したＮＡＬユニットを送信する（Ｓ４６８５）。
　次に、本実施の形態に係る復号処理について説明する。図４２は、本実施の形態に係る復号処理のフローチャートである。実施の形態１、実施の形態２、実施の形態３、及び変形例で説明した、ＰＣＣコーデックの識別情報を用いることにより、複数コーデックに対応した復号処理が可能となる。なお、図４２は、実施の形態１の手法を用いた場合の例を示すが、他の手法に対しても同様の処理が適用できる。
　まず、復号部４６８０は、ＮＡＬユニットを受信する（Ｓ４６９１）。例えば、このＮＡＬユニットは、上述した符号化部４６７０における処理で生成されたものである。
　次に、復号部４６８０は、ＮＡＬユニットヘッダに含まれるｐｃｃ＿ｃｏｄｅｃ＿ｔｙｐｅが第１の符号化方法を示すか、第２の符号化方法を示すかを判定する（Ｓ４６９２）。
　ｐｃｃ＿ｃｏｄｅｃ＿ｔｙｐｅが第２の符号化方法を示す場合（Ｓ４６９２で第２の符号化方法）、復号部４６８０は、ＮＡＬユニットのペイロードに含まれるデータが第２の符号化方法で符号化されたデータであると判断する（Ｓ４６９３）。そして、第２の復号部４６６０は、ＮＡＬユニットヘッダに含まれるｐｃｃ＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅが、第２の符号化方法用のＮＡＬユニットの識別子であるとしてデータを識別する（Ｓ４６９４）。そして、復号部４６８０は、第２の符号化方法の復号処理を用いてＰＣＣデータを復号する（Ｓ４６９５）。
　一方、ｐｃｃ＿ｃｏｄｅｃ＿ｔｙｐｅが第１の符号化方法を示す場合（Ｓ４６９２で第１の符号化方法）、復号部４６８０は、ＮＡＬユニットのペイロードに含まれるデータが第１の符号化方法で符号化されたデータであると判断する（Ｓ４６９６）。そして、復号部４６８０は、ＮＡＬユニットヘッダに含まれるｐｃｃ＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅが、第１の符号化方法用のＮＡＬユニットの識別子であるとしてデータを識別する（Ｓ４６９７）。そして、復号部４６８０は、第１の符号化方法の復号処理を用いてＰＣＣデータを復号する（Ｓ４６９８）。
　以上のように、本開示の一態様に係る三次元データ符号化装置は、三次元データ（例えば点群データ）を符号化することで符号化ストリームを生成し（例えば、図３７のＳ４６７１）、前記符号化ストリームの制御情報（例えば、パラメータセット）に、第１符号化方法と第２符号化方法のうち、前記符号化に用いた符号化方法を示す情報（例えば、コーデックの識別情報）を格納する（例えば、図３７のＳ４６７２）。
　これによれば、三次元データ復号装置は、当該三次元データ符号化装置で生成された符号化ストリームを復号する際に、制御情報に格納された情報を用いて符号化に用いられた符号化方法を判定できる。よって、三次元データ復号装置は、複数の符号化方法が用いられる場合においても正しく符号化ストリームを復号できる。
　例えば、前記三次元データは、位置情報を含む。三次元データ符号化装置は、前記符号化では、前記位置情報を符号化する。三次元データ符号化装置は、前記格納では、前記位置情報の制御情報に、前記第１符号化方法と前記第２符号化方法のうち、前記位置情報の符号化に用いた符号化方法を示す情報を格納する。
　例えば、前記三次元データは、位置情報と属性情報とを含む。三次元データ符号化装置は、前記符号化では、前記位置情報と前記属性情報とを符号化する。三次元データ符号化装置は、前記格納では、前記位置情報の制御情報に、前記第１符号化方法と前記第２符号化方法のうち、前記位置情報の符号化に用いた符号化方法を示す情報を格納し、前記属性情報の制御情報に、前記第１符号化方法と前記第２符号化方法のうち、前記属性情報の符号化に用いた符号化方法を示す情報を格納する。
　これによれば、位置情報と属性情報とに異なる符号化方法を用いることができるので、符号化効率を向上できる。
　例えば、前記三次元データ符号化方法は、さらに、前記符号化ストリームを１以上のユニット（例えば、ＮＡＬユニット）に格納する（例えば、図３７のＳ４６７３）。
　例えば、実施の形態１の図１５～図１８で説明したように、前記ユニットは、前記第１符号化方法と前記第２符号化方法とで共通したフォーマットを有し、前記ユニットに含まれるデータの種別を示す情報であって、前記第１符号化方法と前記第２符号化方法とで独立した定義を有する情報（例えば、ｐｃｃ＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ）を含む。
　例えば、実施の形態２の図２３～図２８で説明したように、前記ユニットは、前記第１符号化方法と前記第２符号化方法とで独立したフォーマットを有し、前記ユニットに含まれるデータの種別を示す情報であって、前記第１符号化方法と前記第２符号化方法とで独立した定義を有する情報（例えば、ｃｏｄｅｃ１＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ又はｃｏｄｅｃ２＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ）を含む。
　例えば、実施の形態３の図３２～図３４で説明したように、前記ユニットは、前記第１符号化方法と前記第２符号化方法とで共通したフォーマットを有し、前記ユニットに含まれるデータの種別を示す情報であって、前記第１符号化方法と前記第２符号化方法とで共通した定義を有する情報（例えば、ｐｃｃ＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ）を含む。
　例えば、三次元データ符号化装置は、プロセッサと、メモリとを備え、プロセッサは、メモリを用いて、上記の処理を行う。
　また、本実施の形態に係る三次元データ復号装置は、三次元データを符号化することで生成された符号化ストリームの制御情報（例えば、パラメータセット）に含まれる、第１符号化方法と第２符号化方法のうち、前記三次元データの符号化に用いられた符号化方法を示す情報（例えば、コーデックの識別情報）に基づき、符号化ストリームの符号化に用いられた符号化方法を判定し（例えば、図３８のＳ４６７７）、判定した前記符号化方法を用いて前記符号化ストリームを復号する（例えば、図３８のＳ４６７８）。
　これによれば、三次元データ復号装置は、符号化ストリームを復号する際に、制御情報に格納された情報を用いて符号化に用いられた符号化方法を判定できる。よって、三次元データ復号装置は、複数の符号化方法が用いられる場合においても正しく符号化ストリームを復号できる。
　例えば、前記三次元データは、位置情報を含み、前記符号化ストリームは、前記位置情報の符号化データを含む。三次元データ復号装置は、前記判定では、前記符号化ストリームに含まれる前記位置情報の制御情報に含まれる、前記第１符号化方法と前記第２符号化方法のうち、前記位置情報の符号化に用いられた符号化方法を示す情報に基づき、前記位置情報の符号化に用いられた符号化方法を判定する。三次元データ復号装置は、前記復号では、判定した前記位置情報の符号化に用いられた符号化方法を用いて前記位置情報の符号化データを復号する。
　例えば、前記三次元データは、位置情報と属性情報とを含み、前記符号化ストリームは、前記位置情報の符号化データと前記属性情報の符号化データとを含む。三次元データ復号装置は、前記判定では、前記符号化ストリームに含まれる前記位置情報の制御情報に含まれる、前記第１符号化方法と前記第２符号化方法のうち、前記位置情報の符号化に用いられた符号化方法を示す情報に基づき、前記位置情報の符号化に用いられた符号化方法を判定し、前記符号化ストリームに含まれる前記属性情報の制御情報に含まれる、前記第１符号化方法と前記第２符号化方法のうち、前記属性情報の符号化に用いられた符号化方法を示す情報に基づき、前記属性情報の符号化に用いられた符号化方法を判定する。三次元データ復号装置は、前記復号では、判定した前記位置情報の符号化に用いられた符号化方法を用いて前記位置情報の符号化データを復号し、判定した前記属性情報の符号化に用いられた符号化方法を用いて前記属性情報の符号化データを復号する。
　これによれば、位置情報と属性情報とに異なる符号化方法を用いることができるので、符号化効率を向上できる。
　例えば、前記符号化ストリームは１以上のユニット（例えば、ＮＡＬユニット）に格納されており、三次元データ復号装置は、さらに、前記１以上のユニットから前記符号化ストリームを取得する。
　例えば、実施の形態１の図１５～図１８で説明したように、前記ユニットは、前記第１符号化方法と前記第２符号化方法とで共通したフォーマットを有し、前記ユニットに含まれるデータの種別を示す情報であって、前記第１符号化方法と前記第２符号化方法とで独立した定義を有する情報（例えば、ｐｃｃ＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ）を含む。
　例えば、実施の形態２の図２３～図２８で説明したように、前記ユニットは、前記第１符号化方法と前記第２符号化方法とで独立したフォーマットを有し、前記ユニットに含まれるデータの種別を示す情報であって、前記第１符号化方法と前記第２符号化方法とで独立した定義を有する情報（例えば、ｃｏｄｅｃ１＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ又はｃｏｄｅｃ２＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ）を含む。
　例えば、実施の形態３の図３２～図３４で説明したように、前記ユニットは、前記第１符号化方法と前記第２符号化方法とで共通したフォーマットを有し、前記ユニットに含まれるデータの種別を示す情報であって、前記第１符号化方法と前記第２符号化方法とで共通した定義を有する情報（例えば、ｐｃｃ＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ）を含む。
　例えば、三次元データ復号装置は、プロセッサと、メモリとを備え、プロセッサは、メモリを用いて、上記の処理を行う。
　（実施の形態５）
　本実施の形態では、実施の形態１で説明したＮＡＬユニットをＩＳＯＢＭＦＦのファイルに格納する方法について説明する。
　ＩＳＯＢＭＦＦ（ＩＳＯ　ｂａｓｅｄ　ｍｅｄｉａ　ｆｉｌｅ　ｆｏｒｍａｔ）は、ＩＳＯ／ＩＥＣ１４４９６－１２に規定されるファイルフォーマット規格である。ＩＳＯＢＭＦＦは、ビデオ、オーディオ、及びテキストなど様々なメディアを多重して格納できるフォーマットを規定しており、メディアに依存しない規格である。
　ＩＳＯＢＭＦＦの基本構造（ファイル）について説明する。ＩＳＯＢＭＦＦにおける基本単位はボックスである。ボックスはｔｙｐｅ、ｌｅｎｇｔｈ、ｄａｔａで構成され、様々なｔｙｐｅのボックスを組み合わせた集合がファイルである。
　図４３は、ＩＳＯＢＭＦＦの基本構造（ファイル）を示す図である。ＩＳＯＢＭＦＦのファイルは、主に、ファイルのブランドを４ＣＣ（４文字コード）で示すｆｔｙｐ、制御情報などのメタデータを格納するｍｏｏｖ、及び、データを格納するｍｄａｔなどのボックスを含む。
　ＩＳＯＢＭＦＦのファイルへのメディア毎の格納方法は別途規定されており、例えば、ＡＶＣビデオ及びＨＥＶＣビデオの格納方法は、ＩＳＯ／ＩＥＣ１４４９６－１５に規定される。ここで、ＰＣＣ符号化データを蓄積又は伝送するために、ＩＳＯＢＭＦＦの機能を拡張して使用することが考えられるが、ＰＣＣ符号化データをＩＳＯＢＭＦＦのファイルに格納する規定はまだない。そこで、本実施の形態では、ＰＣＣ符号化データをＩＳＯＢＭＦＦのファイルに格納する方法について説明する。
　図４４は、ＰＣＣコーデック共通のＮＡＬユニットをＩＳＯＢＭＦＦのファイルに格納する場合のプロトコルスタックを示す図である。ここでは、実施の形態１で説明したＰＣＣコーデック共通のＮＡＬユニットがＩＳＯＢＭＦＦのファイルに格納される。ＮＡＬユニットはＰＣＣコーデック共通であるが、ＮＡＬユニットには複数のＰＣＣコーデックが格納されるため、それぞれのコーデックに応じた格納方法（Ｃａｒｒｉａｇｅ　ｏｆ　Ｃｏｄｅｃ１、Ｃａｒｒｉａｇｅ　ｏｆ　Ｃｏｄｅｃ２）を規定することが望ましい。
　次に、複数のＰＣＣコーデックをサポートする共通のＰＣＣ　ＮＡＬユニットをＩＳＯＢＭＦＦのファイルへ格納する方法について説明する。図４５は、共通のＰＣＣ　ＮＡＬユニットをコーデック１の格納方法（Ｃａｒｒｉａｇｅ　ｏｆ　Ｃｏｄｅｃ１）のＩＳＯＢＭＦＦのファイルに格納する例を示す図である。図４６は、共通のＰＣＣ　ＮＡＬユニットをコーデック２の格納方法（Ｃａｒｒｉａｇｅ　ｏｆ　Ｃｏｄｅｃ２）のＩＳＯＢＭＦＦのファイルに格納する例を示す図である。
　ここで、ｆｔｙｐは、ファイルフォーマットを識別するための重要な情報であり、ｆｔｙｐ用に、コーデック毎に異なる識別子が定義される。第１の符号化方法（符号化方式）で符号化されたＰＣＣ符号化データがファイルに格納される場合は、ｆｔｙｐ＝ｐｃｃ１に設定される。第２の符号化方法で符号化されたＰＣＣ符号化データがファイルに格納される場合は、ｆｔｙｐ＝ｐｃｃ２に設定される。
　ここで、ｐｃｃ１は、ＰＣＣのコーデック１（第１の符号化方法）が用いられることを示す。ｐｃｃ２は、ＰＣＣのコーデック２（第２の符号化方法）が用いられることを示す。つまり、ｐｃｃ１及びｐｃｃ２は、データがＰＣＣ（三次元データ（点群データ）の符号データ）であることを示し、かつ、ＰＣＣコーデック（第１の符号化方法及び第２の符号化方法）を示す。
　以下、ＮＡＬユニットをＩＳＯＢＭＦＦのファイルへ格納する方法について説明する。多重化部は、ＮＡＬユニットヘッダを解析し、ｐｃｃ＿ｃｏｄｅｃ＿ｔｙｐｅ＝Ｃｏｄｅｃ１である場合にはＩＳＯＢＭＦＦのｆｔｙｐにｐｃｃ１を記載する。
　また、多重化部は、ＮＡＬユニットヘッダを解析し、ｐｃｃ＿ｃｏｄｅｃ＿ｔｙｐｅ＝Ｃｏｄｅｃ２である場合にはＩＳＯＢＭＦＦのｆｔｙｐにｐｃｃ２を記載する。
　また、多重化部は、ｐｃｃ＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅがメタデータである場合は、ＮＡＬユニットを所定の方法で、例えばｍｏｏｖ又はｍｄａｔに格納する。多重化部は、ｐｃｃ＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅがデータである場合は、ＮＡＬユニットを所定の方法で、例えばｍｏｏｖ又はｍｄａｔに格納する。
　例えば、多重化部は、ＨＥＶＣと同様にＮＡＬユニットにＮＡＬユニットサイズを格納してもよい。
　本格納方法により、逆多重化部（システムレイヤ）においてファイルに含まれるｆｔｙｐを解析することで、ＰＣＣ符号化データが第１の符号化方法で符号化されたか、第２の符号化方法で符号化されたかを判定することが可能となる。さらに、上記の通り、ＰＣＣ符号化データが第１の符号化方法で符号化されたか、第２の符号化方法で符号化されたかを判定することで、両方の符号化方法で符号化された符号化データが混在するデータからいずれか一方の符号化方法で符号化された符号化データを抽出することができる。これにより、符号化データを伝送する際に、伝送されるデータ量を抑制することができる。また、本格納方法により、第１の符号化方法と第２の符号化方法とで、異なるデータ（ファイル）フォーマットを設定することなく、共通のデータフォーマットを用いることができる。
　なお、ＩＳＯＢＭＦＦにおけるｆｔｙｐなど、システムレイヤのメタデータにコーデックの識別情報が示される場合は、多重化部は、ｐｃｃ＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを削除したＮＡＬユニットをＩＳＯＢＭＦＦのファイルに格納してもよい。
　次に、本実施の形態に係る三次元データ符号化システム（三次元データ符号化装置）が備える多重化部、及び、本実施の形態に係る三次元データ復号システム（三次元データ復号装置）が備える逆多重化部の構成及び動作について説明する。
　図４７は、第１の多重化部４７１０の構成を示す図である。第１の多重化部４７１０は、第１の符号化部４６３０で生成された符号化データ及び制御情報（ＮＡＬユニット）をＩＳＯＢＭＦＦのファイルに格納することで多重化データ（ファイル）を生成するファイル変換部４７１１を備える。この第１の多重化部４７１０は、例えば、図１に示す多重化部４６１４に含まれる。
　図４８は、第１の逆多重化部４７２０の構成を示す図である。第１の逆多重化部４７２０は、多重化データ（ファイル）から符号化データ及び制御情報（ＮＡＬユニット）を取得し、取得した符号化データ及び制御情報を第１の復号部４６４０に出力するファイル逆変換部４７２１を備える。この第１の逆多重化部４７２０は、例えば、図１に示す逆多重化部４６２３に含まれる。
　図４９は、第２の多重化部４７３０の構成を示す図である。第２の多重化部４７３０は、第２の符号化部４６５０で生成された符号化データ及び制御情報（ＮＡＬユニット）をＩＳＯＢＭＦＦのファイルに格納することで多重化データ（ファイル）を生成するファイル変換部４７３１を備える。この第２の多重化部４７３０は、例えば、図１に示す多重化部４６１４に含まれる。
　図５０は、第２の逆多重化部４７４０の構成を示す図である。第２の逆多重化部４７４０は、多重化データ（ファイル）から符号化データ及び制御情報（ＮＡＬユニット）を取得し、取得した符号化データ及び制御情報を第２の復号部４６６０に出力するファイル逆変換部４７４１を備える。この第２の逆多重化部４７４０は、例えば、図１に示す逆多重化部４６２３に含まれる。
　図５１は、第１の多重化部４７１０による多重化処理のフローチャートである。まず、第１の多重化部４７１０は、ＮＡＬユニットヘッダに含まれるｐｃｃ＿ｃｏｄｅｃ＿ｔｙｐｅを解析することで、使用されているコーデックが第１の符号化方法であるか、第２の符号化方法であるかを判定する（Ｓ４７０１）。
　ｐｃｃ＿ｃｏｄｅｃ＿ｔｙｐｅが第２の符号化方法を示す場合（Ｓ４７０２で第２の符号化方法）、第１の多重化部４７１０は、当該ＮＡＬユニットを処理しない（Ｓ４７０３）。
　一方、ｐｃｃ＿ｃｏｄｅｃ＿ｔｙｐｅが第２の符号化方法を示す場合（Ｓ４７０２で第１の符号化方法）、第１の多重化部４７１０は、ｆｔｙｐにｐｃｃ１を記載する（Ｓ４７０４）。つまり、第１の多重化部４７１０は、第１の符号化方法で符号化されたデータがファイルに格納されていることを示す情報をｆｔｙｐに記載する。
　次に、第１の多重化部４７１０は、ＮＡＬユニットヘッダに含まれるｐｃｃ＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを解析し、ｐｃｃ＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅで示されるデータタイプに応じた所定の方法でデータをボックス（ｍｏｏｖ又はｍｄａｔ等）に格納する（Ｓ４７０５）。そして、第１の多重化部４７１０は、上記ｆｔｙｐ及び上記ボックスを含むＩＳＯＢＭＦＦのファイルを作成する（Ｓ４７０６）。
　図５２は、第２の多重化部４７３０による多重化処理のフローチャートである。まず、第２の多重化部４７３０は、ＮＡＬユニットヘッダに含まれるｐｃｃ＿ｃｏｄｅｃ＿ｔｙｐｅを解析することで、使用されているコーデックが第１の符号化方法であるか、第２の符号化方法であるかを判定する（Ｓ４７１１）。
　ｐｃｃ＿ｕｎｉｔ＿ｔｙｐｅが第２の符号化方法を示す場合（Ｓ４７１２で第２の符号化方法）、第２の多重化部４７３０は、ｆｔｙｐにｐｃｃ２を記載する（Ｓ４７１３）。つまり、第２の多重化部４７３０は、第２の符号化方法で符号化されたデータがファイルに格納されていることを示す情報をｆｔｙｐに記載する。
　次に、第２の多重化部４７３０は、ＮＡＬユニットヘッダに含まれるｐｃｃ＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを解析し、ｐｃｃ＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅで示されるデータタイプに応じた所定の方法でデータをボックス（ｍｏｏｖ又はｍｄａｔ等）に格納する（Ｓ４７１４）。そして、第２の多重化部４７３０は、上記ｆｔｙｐ及び上記ボックスを含むＩＳＯＢＭＦＦのファイルを作成する（Ｓ４７１５）。
　一方、ｐｃｃ＿ｕｎｉｔ＿ｔｙｐｅが第１の符号化方法を示す場合（Ｓ４７１２で第１の符号化方法）、第２の多重化部４７３０は、当該ＮＡＬユニットを処理しない（Ｓ４７１６）。
　なお、上記処理は、ＰＣＣデータを第１の符号化方法、及び第２の符号化方法のいずれか一方で符号化する例を示している。第１の多重化部４７１０及び第２の多重化部４７３０は、ＮＡＬユニットのコーデックタイプを識別することにより、所望のＮＡＬユニットをファイルに格納する。なお、ＮＡＬユニットヘッダ以外に、ＰＣＣコーデックの識別情報が含まれる場合には、第１の多重化部４７１０及び第２の多重化部４７３０は、ステップＳ４７０１及びＳ４７１１において、ＮＡＬユニットヘッダ以外に含まれるＰＣＣコーデックの識別情報を用いて、コーデックタイプ（第１の符号化方法又は第２の符号化方法）を識別してもよい。
　また、第１の多重化部４７１０及び第２の多重化部４７３０は、ステップＳ４７０６及びＳ４７１４において、データをファイルに格納する際に、ＮＡＬユニットヘッダからｐｃｃ＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを削除したうえでファイルに格納してもよい。
　図５３は、第１の逆多重化部４７２０及び第１の復号部４６４０による処理を示すフローチャートである。まず、第１の逆多重化部４７２０は、ＩＳＯＢＭＦＦのファイルに含まれるｆｔｙｐを解析する（Ｓ４７２１）。ｆｔｙｐで示されるコーデックが第２の符号化方法（ｐｃｃ２）である場合（Ｓ４７２２で第２の符号化方法）、第１の逆多重化部４７２０は、ＮＡＬユニットのペイロードに含まれるデータが第２の符号化方法で符号化されたデータであると判断する（Ｓ４７２３）。また、第１の逆多重化部４７２０は、判断の結果を第１の復号部４６４０に伝達する。第１の復号部４６４０は、当該ＮＡＬユニットを処理しない（Ｓ４７２４）。
　一方、ｆｔｙｐで示されるコーデックが第１の符号化方法（ｐｃｃ１）である場合（Ｓ４７２２で第１の符号化方法）、第１の逆多重化部４７２０は、ＮＡＬユニットのペイロードに含まれるデータが第１の符号化方法で符号化されたデータであると判断する（Ｓ４７２５）。また、第１の逆多重化部４７２０は、判断の結果を第１の復号部４６４０に伝達する。
　第１の復号部４６４０は、ＮＡＬユニットヘッダに含まれるｐｃｃ＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅが、第１の符号化方法用のＮＡＬユニットの識別子であるとしてデータを識別する（Ｓ４７２６）。そして、第１の復号部４６４０は、第１の符号化方法の復号処理を用いてＰＣＣデータを復号する（Ｓ４７２７）。
　図５４は、第２の逆多重化部４７４０及び第２の復号部４６６０による処理を示すフローチャートである。まず、第２の逆多重化部４７４０は、ＩＳＯＢＭＦＦのファイルに含まれるｆｔｙｐを解析する（Ｓ４７３１）。ｆｔｙｐで示されるコーデックが第２の符号化方法（ｐｃｃ２）である場合（Ｓ４７３２で第２の符号化方法）、第２の逆多重化部４７４０は、ＮＡＬユニットのペイロードに含まれるデータが第２の符号化方法で符号化されたデータであると判断する（Ｓ４７３３）。また、第２の逆多重化部４７４０は、判断の結果を第２の復号部４６６０に伝達する。
　第２の復号部４６６０は、ＮＡＬユニットヘッダに含まれるｐｃｃ＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅが、第２の符号化方法用のＮＡＬユニットの識別子であるとしてデータを識別する（Ｓ４７３４）。そして、第２の復号部４６６０は、第２の符号化方法の復号処理を用いてＰＣＣデータを復号する（Ｓ４７３５）。
　一方、ｆｔｙｐで示されるコーデックが第１の符号化方法（ｐｃｃ１）である場合（Ｓ４７３２で第１の符号化方法）、第２の逆多重化部４７４０は、ＮＡＬユニットのペイロードに含まれるデータが第１の符号化方法で符号化されたデータであると判断する（Ｓ４７３６）。また、第２の逆多重化部４７４０は、判断の結果を第２の復号部４６６０に伝達する。第２の復号部４６６０は、当該ＮＡＬユニットを処理しない（Ｓ４７３７）。
　このように、例えば、第１の逆多重化部４７２０又は第２の逆多重化部４７４０において、ＮＡＬユニットのコーデックタイプを識別することにより、早い段階でコーデックタイプを識別できる。さらに、所望のＮＡＬユニットを第１の復号部４６４０又は第２の復号部４６６０に入力し、不要なＮＡＬユニットを取り除くことができる。この場合、第１の復号部４６４０又は第２の復号部４６６０において、コーデックの識別情報を解析する処理は不要になる可能性がある。なお、第１の復号部４６４０又は第２の復号部４６６０で再度ＮＡＬユニットタイプを参照してコーデックの識別情報を解析する処理を実施してもよい。
　また、第１の多重化部４７１０又は第２の多重化部４７３０においてＮＡＬユニットヘッダからｐｃｃ＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを削除されている場合には、第１の逆多重化部４７２０又は第２の逆多重化部４７４０は、ＮＡＬユニットにｐｃｃ＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを付与したうえで第１の復号部４６４０又は第２の復号部４６６０へ出力してもよい。
　（実施の形態６）
　本実施の形態では、実施の形態４で説明した、複数のコーデックに対応した符号化部４６７０及び復号部４６８０に対応する、多重化部および逆多重化部について説明する。図５５は、本実施の形態に係る符号化部４６７０及び第３の多重化部４７５０の構成を示す図である。
　符号化部４６７０は、点群データを、第１の符号化方法、及び第２の符号化方法のいずれか一方又は両方の方式を用いて符号化する。符号化部４６７０は、点群データ単位、又はフレーム単位で符号化方法（第１の符号化方法及び第２の符号化方法）を切り替えてもよい。また、符号化部４６７０は、符号化可能な単位で符号化方法を切り替えてもよい。
　符号化部４６７０は、実施の形態１～４で説明した、ＰＣＣコーデックの識別情報を含む符号化データ（符号化ストリーム）を生成する。
　第３の多重化部４７５０は、ファイル変換部４７５１を備える。ファイル変換部４７５１は、符号化部４６７０から出力されたＮＡＬユニットをＰＣＣデータのファイルに変換する。ファイル変換部４７５１は、ＮＡＬユニットヘッダに含まれるコーデック識別情報を解析し、ＰＣＣ符号化データが、第１の符号化方法で符号化されたデータであるか、第２の符号化方法で符号化されたデータであるか、両方の方式で符号化されたデータであるかを判定する。ファイル変換部４７５１は、ｆｔｙｐにコーデックを識別可能なブランド名を記載する。例えば、両方の方式で符号化されたことを示す場合、ｆｔｙｐにｐｃｃ３が記載される。
　なお、符号化部４６７０が、ＮＡＬユニット以外にＰＣＣコーデックの識別情報を記載している場合、ファイル変換部４７５１は、当該識別情報を用いて、ＰＣＣコーデック（符号化方法）を判定してもよい。
　図５６は、本実施の形態に係る第３の逆多重化部４７６０及び復号部４６８０の構成を示す図である。
　第３の逆多重化部４７６０は、ファイル逆変換部４７６１を備える。ファイル逆変換部４７６１は、ファイルに含まれるｆｔｙｐを解析し、ＰＣＣ符号化データが、第１の符号化方法で符号化されたデータであるか、第２の符号化方法で符号化されたデータであるか、両方の方式で符号化されたデータであるかを判定する。
　ＰＣＣ符号化データがいずれか一方の符号化方法で符号化されている場合、第１の復号部４６４０及び第２の復号部４６６０のうち、対応する復号部にデータが入力され、もう一方の復号部にはデータが入力されない。ＰＣＣ符号化データが両方の符号化方法で符号化されている場合、両方式に対応する復号部４６８０にデータが入力される。
　復号部４６８０は、ＰＣＣ符号化データを、第１の符号化方法及び第２の符号化方法のいずれか一方又は両方の方式を用いて復号する。
　図５７は、本実施の形態に係る第３の多重化部４７５０による処理を示すフローチャートである。
　まず、第３の多重化部４７５０は、ＮＡＬユニットヘッダに含まれるｐｃｃ＿ｃｏｄｅｃ＿ｔｙｐｅを解析することで、使用されているコーデックが第１の符号化方法であるか、第２の符号化方法であるか、第１の符号化方法及び第２の符号化方法の両方であるかを判定する（Ｓ４７４１）。
　第２の符号化方法が使用されている場合（Ｓ４７４２でＹｅｓ、かつ、Ｓ４７４３で第２の符号化方法）、第３の多重化部４７５０は、ｆｔｙｐにｐｃｃ２を記載する（Ｓ４７４４）。つまり、第３の多重化部４７５０は、第２の符号化方法で符号化されたデータがファイルに格納されていることを示す情報をｆｔｙｐに記載する。
　次に、第３の多重化部４７５０は、ＮＡＬユニットヘッダに含まれるｐｃｃ＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを解析し、ｐｃｃ＿ｕｎｉｔ＿ｔｙｐｅで示されるデータタイプに応じた所定の方法でデータをボックス（ｍｏｏｖ又はｍｄａｔ等）に格納する（Ｓ４７４５）。そして、第３の多重化部４７５０は、上記ｆｔｙｐ及び上記ボックスを含むＩＳＯＢＭＦＦのファイルを作成する（Ｓ４７４６）。
　一方、第１の符号化方法が使用されている場合（Ｓ４７４２でＹｅｓ、かつ、Ｓ４７４３で第１の符号化方法）、第３の多重化部４７５０は、ｆｔｙｐにｐｃｃ１を記載する（Ｓ４７４７）。つまり、第３の多重化部４７５０は、第１の符号化方法で符号化されたデータがファイルに格納されていることを示す情報をｆｔｙｐに記載する。
　次に、第３の多重化部４７５０は、ＮＡＬユニットヘッダに含まれるｐｃｃ＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを解析し、ｐｃｃ＿ｕｎｉｔ＿ｔｙｐｅで示されるデータタイプに応じた所定の方法でデータをボックス（ｍｏｏｖ又はｍｄａｔ等）に格納する（Ｓ４７４８）。そして、第３の多重化部４７５０は、上記ｆｔｙｐ及び上記ボックスを含むＩＳＯＢＭＦＦのファイルを作成する（Ｓ４７４６）。
　一方、第１の符号化方法と第２の符号化方法との両方の符号化方法が使用されている場合（Ｓ４７４２でＮｏ）、第３の多重化部４７５０は、ｆｔｙｐにｐｃｃ３を記載する（Ｓ４７４９）。つまり、第３の多重化部４７５０は、両方の符号化方法で符号化されたデータがファイルに格納されていることを示す情報をｆｔｙｐに記載する。
　次に、第３の多重化部４７５０は、ＮＡＬユニットヘッダに含まれるｐｃｃ＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを解析し、ｐｃｃ＿ｕｎｉｔ＿ｔｙｐｅで示されるデータタイプに応じた所定の方法でデータをボックス（ｍｏｏｖ又はｍｄａｔ等）に格納する（Ｓ４７５０）。そして、第３の多重化部４７５０は、上記ｆｔｙｐ及び上記ボックスを含むＩＳＯＢＭＦＦのファイルを作成する（Ｓ４７４６）。
　図５８は、第３の逆多重化部４７６０及び復号部４６８０による処理を示すフローチャートである。まず、第３の逆多重化部４７６０は、ＩＳＯＢＭＦＦのファイルに含まれるｆｔｙｐを解析する（Ｓ４７６１）。ｆｔｙｐで示されるコーデックが第２の符号化方法（ｐｃｃ２）である場合（Ｓ４７６２でＹｅｓ、かつＳ４７６３で第２の符号化方法）、第３の逆多重化部４７６０は、ＮＡＬユニットのペイロードに含まれるデータが第２の符号化方法で符号化されたデータであると判断する（Ｓ４７６４）。また、第３の逆多重化部４７６０は、判断の結果を復号部４６８０に伝達する。
　復号部４６８０は、ＮＡＬユニットヘッダに含まれるｐｃｃ＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅが、第２の符号化方法用のＮＡＬユニットの識別子であるとしてデータを識別する（Ｓ４７６５）。そして、復号部４６８０は、第２の符号化方法の復号処理を用いてＰＣＣデータを復号する（Ｓ４７６６）。
　一方、ｆｔｙｐで示されるコーデックが第１の符号化方法（ｐｃｃ１）である場合（Ｓ４７６２でＹｅｓ、かつＳ４７６３で第１の符号化方法）、第３の逆多重化部４７６０は、ＮＡＬユニットのペイロードに含まれるデータが第１の符号化方法で符号化されたデータであると判断する（Ｓ４７６７）。また、第３の逆多重化部４７６０は、判断の結果を復号部４６８０に伝達する。
　復号部４６８０は、ＮＡＬユニットヘッダに含まれるｐｃｃ＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅが、第１の符号化方法用のＮＡＬユニットの識別子であるとしてデータを識別する（Ｓ４７６８）。そして、復号部４６８０は、第１の符号化方法の復号処理を用いてＰＣＣデータを復号する（Ｓ４７６９）。
　一方、ｆｔｙｐで両方の符号化方法が用いられていること（ｐｃｃ３）が示される場合（Ｓ４７６２でＮｏ）、第３の逆多重化部４７６０は、ＮＡＬユニットのペイロードに含まれるデータが、第１の符号化方法と第２符号化方法との両方の符号化方法で符号化されたデータであると判断する（Ｓ４７７０）。また、第３の逆多重化部４７６０は、判断の結果を復号部４６８０に伝達する。
　復号部４６８０は、ＮＡＬユニットヘッダに含まれるｐｃｃ＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅが、ｐｃｃ＿ｃｏｄｅｃ＿ｔｙｐｅに記載されるコーデック用のＮＡＬユニットの識別子であるとしてデータを識別する（Ｓ４７７１）。そして、復号部４６８０は、両方の符号化方法の復号処理を用いてＰＣＣデータを復号する（Ｓ４７７２）。つまり、復号部４６８０は、第１の符号化方法で符号化されたデータを、第１の符号化方法の復号処理を用いて復号し、第２の符号化方法で符号化されたデータを、第２の符号化方法の復号処理を用いて復号する。
　以下、本実施の形態の変形例を説明する。ｆｔｙｐに示されるブランドの種類として、以下の種類が識別情報で示されてもよい。また、以下に示す複数の種類の組み合わせが識別情報で示されてもよい。
　識別情報は、ＰＣＣ符号化前の元データのオブジェクトが、領域が制限されている点群であるか、地図情報のように領域が制限されていない大規模点群であるかを示してもよい。
　識別情報は、ＰＣＣ符号化前の元データが、静的オブジェクトであるか、動的オブジェクトであるかを示してもよい。
　上述のように、識別情報は、ＰＣＣ符号化データが、第１の符号化方法で符号化されたデータであるか、第２の符号化方法で符号化されたデータであるかを示してもよい。
　識別情報は、ＰＣＣ符号化において用いたアルゴリズムを示してもよい。ここで、アルゴリズムとは、例えば、第１の符号化方法又は第２の符号化方法において使用可能な符号化方法である。
　識別情報は、ＰＣＣ符号化データのＩＳＯＢＭＦＦのファイルへの格納方法の違いを示してもよい。例えば、識別情報は、使用された格納方法が、蓄積用の格納方法であるか、ダイナミックストリーミングのようなリアルタイム送出用の格納方法であるかを示してもよい。
　なお、実施の形態５では、実施の形態１で説明したＮＡＬユニットの格納方法について説明し、実施の形態６では、実施の形態４で説明したＮＡＬユニット格納方法について説明したが、実施の形態２及び実施の形態３で説明したＮＡＬユニットに対しても同様の格納方法を適用することで、ＰＣＣコーデックの識別情報をＩＳＯＢＭＦＦのファイルに格納してもよい。
　また、実施の形態５及び実施の形態６では、ファイルフォーマットとしてＩＳＯＢＭＦＦが用いられる例に説明したが、その他の方式が用いられてもよい。例えば、ＭＰＥＧ－２　ＴＳ　Ｓｙｓｔｅｍｓ、ＭＰＥＧ－ＤＡＳＨ、ＭＭＴ、又はＲＭＰにＰＣＣ符号化データを格納する際にも本実施の形態と同様の方法を用いてもよい。
　また、上記では、ｆｔｙｐに識別情報等のメタデータを格納する例を示したが、ｆｔｙｐ以外にこれらのメタデータが格納されてもよい。例えば、これらのメタデータがｍｏｏｖに格納されてもよい。
　以上のように、三次元データ格納装置（又は三次元データ多重化装置、又は三次元データ符号化装置）は、図５９に示す処理を行う。
　まず、三次元データ格納装置（例えば、第１の多重化部４７１０、第２の多重化部４７３０又は第３の多重化部４７５０を含む）は、点群データが符号化された符号化ストリームが格納された１以上のユニット（例えばＮＡＬユニット）を取得する（Ｓ４７８１）。次に、三次元データ格納装置は、１以上のユニットをファイル（例えばＩＳＯＢＭＦＦのファイル）に格納する（Ｓ４７８２）。また、三次元データ格納装置は、前記格納（Ｓ４７８２）では、ファイルに格納されているデータが、点群データが符号化されたデータであることを示す情報（例えばｐｃｃ１、ｐｃｃ２又はｐｃｃ３）を、前記ファイルの制御情報（例えばｆｔｙｐ）に格納する。
　これによれば、当該三次元データ格納装置で生成されたファイルを処理する装置では、ファイルの制御情報を参照して、当該ファイルに格納されているデータが点群データの符号化データであるか否かを早期に判定できる。よって、当該装置の処理量の低減又は処理の高速化を実現できる。
　例えば、前記情報は、さらに、第１符号化方法と第２符号化方法のうち、前記点群データの符号化に用いられた符号化方法を示す。なお、ファイルに格納されているデータが、点群データが符号化されたデータであることと、第１符号化方法と第２符号化方法のうち、点群データの符号化に用いられた符号化方法とは、単一の情報で示されてもよいし、異なる情報で示されてもよい。
　これによれば、当該三次元データ格納装置で生成されたファイルを処理する装置では、ファイルの制御情報を参照して、当該ファイルに格納されているデータに使用されたコーデックを早期に判定できる。よって、当該装置の処理量の低減又は処理の高速化を実現できる。
　例えば、前記第１符号化方法は、点群データの位置をＮ（Ｎは２以上の整数）分木で表した位置情報を符号化し、前記位置情報を用いて属性情報を符号化する方式（ＧＰＣＣ）であり、前記第２符号化方法は、点群データから二次元画像を生成し、前記二次元画像を映像符号化方法を用いて符号化する方式（ＶＰＣＣ）である。
　例えば、前記ファイルは、ＩＳＯＢＭＦＦ（ＩＳＯ　ｂａｓｅｄ　ｍｅｄｉａ　ｆｉｌｅ　ｆｏｒｍａｔ）に準拠する。
　例えば、三次元データ格納装置は、プロセッサと、メモリとを備え、プロセッサは、メモリを用いて、上記の処理を行う。
　また、以上のように、三次元データ取得装置（又は三次元データ逆多重化装置、又は三次元データ復号装置）は、図６０に示す処理を行う。
　三次元データ取得装置（例えば、第１の逆多重化部４７２０、第２の逆多重化部４７４０又は第３の逆多重化部４７６０を含む）は、点群データが符号化された符号化ストリームが格納された１以上のユニット（例えばＮＡＬユニット）が格納されたファイル（例えばＩＳＯＢＭＦＦのファイル）を取得する（Ｓ４７９１）。次に、三次元データ取得装置は、ファイルから、１以上のユニットを取得する（Ｓ４７９２）。また、ファイルの制御情報（例えばｆｔｙｐ）は、ファイルに格納されているデータが、点群データが符号化されたデータであることを示す情報（例えばｐｃｃ１、ｐｃｃ２又はｐｃｃ３）を含む。
　例えば、三次元データ取得装置は、前記情報を参照して、ファイルに格納されているデータが、点群データが符号化されたデータであるか否かを判定する。また、三次元データ取得装置は、ファイルに格納されているデータが、点群データが符号化されたデータであると判定した場合、１以上のユニットに含まれる点群データが符号化されたデータを復号することで点群データを生成する。または、三次元データ取得装置は、ファイルに格納されているデータが、点群データが符号化されたデータであると判定した場合、１以上のユニットに含まれるデータが、点群データが符号化されたデータであることを示す情報を、後段の処理部（例えば、第１の復号部４６４０、第２の復号部４６６０又は復号部４６８０）に出力（通知）する。
　これによれば、当該三次元データ取得装置は、ファイルの制御情報を参照して、当該ファイルに格納されているデータが点群データの符号化データであるか否かを早期に判定できる。よって、当該三次元データ取得装置又は後段の装置の処理量の低減又は処理の高速化を実現できる。
　例えば、前記情報は、さらに、第１符号化方法と第２符号化方法のうち、前記符号化に用いた符号化方法を示す。なお、ファイルに格納されているデータが、点群データが符号化されたデータであることと、第１符号化方法と第２符号化方法のうち、点群データの符号化に用いられた符号化方法とは、単一の情報で示されてもよいし、異なる情報で示されてもよい。
　これによれば、当該三次元データ取得装置は、ファイルの制御情報を参照して、当該ファイルに格納されているデータに使用されたコーデックを早期に判定できる。よって、当該三次元データ取得装置又は後段の装置の処理量の低減又は処理の高速化を実現できる。
　例えば、三次元データ取得装置は、前記情報に基づき、第１符号化方法で符号化されたデータと第２符号化方法で符号化されたデータとを含む符号化された点群データから、いずれか一方の符号化方法で符号化されたデータを取得する。
　例えば、前記第１符号化方法は、点群データの位置をＮ（Ｎは２以上の整数）分木で表した位置情報を符号化し、前記位置情報を用いて属性情報を符号化する方式（ＧＰＣＣ）であり、前記第２符号化方法は、点群データから二次元画像を生成し、前記二次元画像を映像符号化方法を用いて符号化する方式（ＶＰＣＣ）である。
　例えば、前記ファイルは、ＩＳＯＢＭＦＦ（ＩＳＯ　ｂａｓｅｄ　ｍｅｄｉａ　ｆｉｌｅ　ｆｏｒｍａｔ）に準拠する。
　例えば、三次元データ取得装置は、プロセッサと、メモリとを備え、プロセッサは、メモリを用いて、上記の処理を行う。
　以上、本開示の実施の形態に係る三次元データ格納装置及び三次元データ取得装置等について説明したが、本開示は、この実施の形態に限定されるものではない。
　また、上記実施の形態に係る三次元データ格納装置及び三次元データ取得装置等に含まれる各処理部は典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。
　また、集積回路化はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）、又はＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
　また、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
　また、本開示は、三次元データ格納装置及び三次元データ取得装置等により実行される三次元データ格納方法又は三次元データ取得方法等として実現されてもよい。
　また、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを一つの機能ブロックとして実現したり、一つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。
　また、フローチャートにおける各ステップが実行される順序は、本開示を具体的に説明するために例示するためのものであり、上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時（並列）に実行されてもよい。
　以上、一つまたは複数の態様に係る三次元データ格納装置及び三次元データ取得装置等について、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つまたは複数の態様の範囲内に含まれてもよい。
　本開示は、三次元データ格納装置及び三次元データ取得装置に適用できる。
　４６０１　三次元データ符号化システム
　４６０２　三次元データ復号システム
　４６０３　センサ端末
　４６０４　外部接続部
　４６１１　点群データ生成システム
　４６１２　提示部
　４６１３　符号化部
　４６１４　多重化部
　４６１５　入出力部
　４６１６　制御部
　４６１７　センサ情報取得部
　４６１８　点群データ生成部
　４６２１　センサ情報取得部
　４６２２　入出力部
　４６２３　逆多重化部
　４６２４　復号部
　４６２５　提示部
　４６２６　ユーザインタフェース
　４６２７　制御部
　４６３０　第１の符号化部
　４６３１　位置情報符号化部
　４６３２　属性情報符号化部
　４６３３　付加情報符号化部
　４６３４　多重化部
　４６４０　第１の復号部
　４６４１　逆多重化部
　４６４２　位置情報復号部
　４６４３　属性情報復号部
　４６４４　付加情報復号部
　４６５０　第２の符号化部
　４６５１　付加情報生成部
　４６５２　位置画像生成部
　４６５３　属性画像生成部
　４６５４　映像符号化部
　４６５５　付加情報符号化部
　４６５６　多重化部
　４６６０　第２の復号部
　４６６１　逆多重化部
　４６６２　映像復号部
　４６６３　付加情報復号部
　４６６４　位置情報生成部
　４６６５　属性情報生成部
　４６７０　符号化部
　４６７１　多重化部
　４６８０　復号部
　４６８１　逆多重化部
　４７１０　第１の多重化部
　４７１１　ファイル変換部
　４７２０　第１の逆多重化部
　４７２１　ファイル逆変換部
　４７３０　第２の多重化部
　４７３１　ファイル変換部
　４７４０　第２の逆多重化部
　４７４１　ファイル逆変換部
　４７５０　第３の多重化部
　４７５１　ファイル変換部
　４７６０　第３の逆多重化部
　４７６１　ファイル逆変換部

Claims (11)

  1. 　点群データが符号化された符号化ストリームが格納された１以上のユニットを取得し、
    　前記１以上のユニットをファイルに格納し、
    　前記格納では、前記ファイルに格納されているデータが、点群データが符号化されたデータであることを示す情報を、前記ファイルの制御情報に格納する
    　三次元データ格納方法。
  2. 　前記情報は、さらに、第１符号化方法と第２符号化方法のうち、前記点群データの符号化に用いられた符号化方法を示す
    　請求項１記載の三次元データ格納方法。
  3. 　前記第１符号化方法は、点群データの位置をＮ（Ｎは２以上の整数）分木で表した位置情報を符号化し、前記位置情報を用いて属性情報を符号化する方式であり、
    　前記第２符号化方法は、点群データから二次元画像を生成し、前記二次元画像を映像符号化方法を用いて符号化する方式である
    　請求項２記載の三次元データ格納方法。
  4. 　前記ファイルは、ＩＳＯＢＭＦＦ（ＩＳＯ　ｂａｓｅｄ　ｍｅｄｉａ　ｆｉｌｅ　ｆｏｒｍａｔ）に準拠する
    　請求項１～３のいずれか１項に記載の三次元データ格納方法。
  5. 　点群データが符号化された符号化ストリームが格納された１以上のユニットが格納されたファイルを取得し、
    　前記ファイルから、前記１以上のユニットを取得し、
    　前記ファイルの制御情報は、前記ファイルに格納されているデータが、点群データが符号化されたデータであることを示す情報を含む
    　三次元データ取得方法。
  6. 　前記情報は、さらに、第１符号化方法と第２符号化方法のうち、前記符号化に用いた符号化方法を示す
    　請求項５記載の三次元データ取得方法。
  7. 　前記情報に基づき、前記第１符号化方法で符号化された前記データと前記第２符号化方法で符号化された前記データとを含む符号化された前記点群データから、いずれか一方の符号化方法で符号化された前記データを取得する
    　請求項６記載の三次元データ取得方法。
  8. 　前記第１符号化方法は、点群データの位置をＮ（Ｎは２以上の整数）分木で表した位置情報を符号化し、前記位置情報を用いて属性情報を符号化する方式であり、
    　前記第２符号化方法は、点群データから二次元画像を生成し、前記二次元画像を映像符号化方法を用いて符号化する方式である
    　請求項６記載の三次元データ取得方法。
  9. 　前記ファイルは、ＩＳＯＢＭＦＦ（ＩＳＯ　ｂａｓｅｄ　ｍｅｄｉａ　ｆｉｌｅ　ｆｏｒｍａｔ）に準拠する
    　請求項５～８のいずれか１項に記載の三次元データ取得方法。
  10. 　プロセッサと、
    　メモリとを備え、
    　前記プロセッサは、前記メモリを用いて、
    　点群データが符号化された符号化ストリームが格納された１以上のユニットを取得し、
    　前記１以上のユニットをファイルに格納し、
    　前記格納では、前記ファイルに格納されているデータが、点群データが符号化されたデータであることを示す情報を、前記ファイルの制御情報に格納する
    　三次元データ格納装置。
  11. 　プロセッサと、
    　メモリとを備え、
    　前記プロセッサは、前記メモリを用いて、
    　点群データが符号化された符号化ストリームが格納された１以上のユニットが格納されたファイルを取得し、
    　前記ファイルから、前記１以上のユニットを取得し、
    　前記ファイルの制御情報は、前記ファイルに格納されているデータが、点群データが符号化されたデータであることを示す情報を含む
    　三次元データ取得装置。
PCT/JP2019/030842 2018-08-06 2019-08-06 三次元データ格納方法、三次元データ取得方法、三次元データ格納装置、及び三次元データ取得装置 WO2020032004A1 (ja)

Priority Applications (8)

Application Number Priority Date Filing Date Title
CN201980051434.5A CN112513938A (zh) 2018-08-06 2019-08-06 三维数据保存方法、三维数据获得方法、三维数据保存装置以及三维数据获得装置
JP2020535779A JPWO2020032004A1 (ja) 2018-08-06 2019-08-06 三次元データ格納方法、三次元データ取得方法、三次元データ格納装置、及び三次元データ取得装置
KR1020247000719A KR20240010535A (ko) 2018-08-06 2019-08-06 3차원 데이터 저장 방법, 3차원 데이터 취득 방법, 3차원 데이터 저장 장치, 및 3차원 데이터 취득 장치
KR1020217003077A KR102624513B1 (ko) 2018-08-06 2019-08-06 3차원 데이터 저장 방법, 3차원 데이터 취득 방법, 3차원 데이터 저장 장치, 및 3차원 데이터 취득 장치
EP19846402.6A EP3836087A4 (en) 2018-08-06 2019-08-06 METHOD FOR STORING THREE-DIMENSIONAL DATA, METHOD FOR COLLECTING THREE-DIMENSIONAL DATA, DEVICE FOR STORING THREE-DIMENSIONAL DATA AND DEVICE FOR COLLECTING THREE-DIMENSIONAL DATA
US17/132,619 US11477482B2 (en) 2018-08-06 2020-12-23 Three-dimensional data storage method including acquiring one or more units in which an encoded stream generated by encoding point cloud data is stored
US17/942,274 US11856154B2 (en) 2018-08-06 2022-09-12 Three-dimensional data storage method, three-dimensional data acquisition method, three-dimensional data storage device, and three-dimensional data acquisition device
US18/378,311 US20240040149A1 (en) 2018-08-06 2023-10-10 Three-dimensional data storage method, three-dimensional data acquisition method, three-dimensional data storage device, and three-dimensional data acquisition device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201862714973P 2018-08-06 2018-08-06
US62/714,973 2018-08-06

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/132,619 Continuation US11477482B2 (en) 2018-08-06 2020-12-23 Three-dimensional data storage method including acquiring one or more units in which an encoded stream generated by encoding point cloud data is stored

Publications (1)

Publication Number Publication Date
WO2020032004A1 true WO2020032004A1 (ja) 2020-02-13

Family

ID=69414778

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/030842 WO2020032004A1 (ja) 2018-08-06 2019-08-06 三次元データ格納方法、三次元データ取得方法、三次元データ格納装置、及び三次元データ取得装置

Country Status (6)

Country Link
US (3) US11477482B2 (ja)
EP (1) EP3836087A4 (ja)
JP (1) JPWO2020032004A1 (ja)
KR (2) KR20240010535A (ja)
CN (1) CN112513938A (ja)
WO (1) WO2020032004A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4231609A4 (en) * 2020-10-14 2024-03-13 Tencent Tech Shenzhen Co Ltd METHOD FOR ENCAPSULATING MEDIA FILES, METHOD FOR ENCAPSULATING MEDIA FILES AND ASSOCIATED APPARATUS

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014020663A1 (ja) 2012-07-30 2014-02-06 三菱電機株式会社 地図表示装置
JP2016506693A (ja) * 2013-01-04 2016-03-03 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ マルチビューコード化プラス深度のためのトラックにおけるテクスチャビューと深度ビューの存在の指示
JP2017220703A (ja) * 2016-06-03 2017-12-14 キヤノン株式会社 通信装置、通信制御方法および通信システム
WO2018038131A1 (ja) * 2016-08-26 2018-03-01 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元情報処理方法及び三次元情報処理装置

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009134356A (ja) * 2007-11-28 2009-06-18 National Institute Of Information & Communication Technology ３次元形状モデル形成装置、３次元形状モデル形成方法、および３次元形状モデル形成プログラム
JP2010117886A (ja) * 2008-11-13 2010-05-27 Kanto Auto Works Ltd 仮想試作システム及び仮想試作における動作情報の処理方法並びに該処理方法を記録した記録媒体
US8731313B2 (en) * 2009-03-23 2014-05-20 Level Set Systems, Inc. Method and apparatus for accurate compression and decompression of three-dimensional point cloud data
JP2011228862A (ja) 2010-04-16 2011-11-10 Sony Corp データ構造、画像処理装置、画像処理方法、およびプログラム
BR112013031367A2 (pt) * 2011-07-08 2017-03-01 Thomson Licensing sistema e processo para codificação e decodificação de um fluxo de bits para um modelo 3d tendo estrutura repetitiva.
KR101883532B1 (ko) * 2011-11-25 2018-07-30 톰슨 라이센싱 반복적인 구조 발견 기반 3d 모델 압축의 비트스트림을 생성하기 위한 방법 및 장치
US9390110B2 (en) * 2012-05-02 2016-07-12 Level Set Systems Inc. Method and apparatus for compressing three-dimensional point cloud data
US20170212712A1 (en) * 2014-07-08 2017-07-27 Braxton Carter Dynamic collection, control and conveyance of 3-dimensional data in a network
US9734595B2 (en) * 2014-09-24 2017-08-15 University of Maribor Method and apparatus for near-lossless compression and decompression of 3D meshes and point clouds
WO2016108188A1 (en) * 2014-12-31 2016-07-07 Nokia Technologies Oy Inter-layer prediction for scalable video coding and decoding
US9972125B2 (en) * 2015-12-16 2018-05-15 Google Inc. Split tile map rendering
US10694210B2 (en) * 2016-05-28 2020-06-23 Microsoft Technology Licensing, Llc Scalable point cloud compression with transform, and corresponding decompression
US9787321B1 (en) * 2016-11-17 2017-10-10 Google Inc. Point cloud data compression using a space-filling curve
US11514613B2 (en) * 2017-03-16 2022-11-29 Samsung Electronics Co., Ltd. Point cloud and mesh compression using image/video codecs
EP3429208A1 (en) * 2017-07-13 2019-01-16 Thomson Licensing A method and apparatus for encoding/decoding a colored point cloud representing the geometry and colors of a 3d object
EP3429212A1 (en) * 2017-07-13 2019-01-16 Thomson Licensing A method and apparatus for encoding/decoding the geometry of a point cloud representing a 3d object
EP3429211A1 (en) * 2017-07-13 2019-01-16 Thomson Licensing A method and apparatus for encoding/decoding the colors of a colored point cloud whose geometry is represented by an octree-based structure
EP3429209A1 (en) * 2017-07-13 2019-01-16 Thomson Licensing A method and apparatus for encoding/decoding a point cloud representing a 3d object
EP3429207A1 (en) * 2017-07-13 2019-01-16 Thomson Licensing A method and apparatus for encoding/decoding a colored point cloud representing the geometry and colors of a 3d object
EP3428887A1 (en) * 2017-07-13 2019-01-16 Thomson Licensing Method and device for encoding a point cloud
US10499054B2 (en) * 2017-10-12 2019-12-03 Mitsubishi Electric Research Laboratories, Inc. System and method for inter-frame predictive compression for point clouds
US20190116372A1 (en) * 2017-10-16 2019-04-18 Mitsubishi Electric Research Laboratories, Inc. Systems and Methods for Compressing, Representing and Processing Point Clouds
US10735826B2 (en) * 2017-12-20 2020-08-04 Intel Corporation Free dimension format and codec
EP4213096A1 (en) * 2018-01-18 2023-07-19 BlackBerry Limited Methods and devices for entropy coding point clouds
US10796457B2 (en) * 2018-06-26 2020-10-06 Intel Corporation Image-based compression of LIDAR sensor data with point re-ordering
US20200045288A1 (en) * 2018-07-31 2020-02-06 Intel Corporation Six degree of freedom video transcoding mechanism

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014020663A1 (ja) 2012-07-30 2014-02-06 三菱電機株式会社 地図表示装置
JP2016506693A (ja) * 2013-01-04 2016-03-03 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ マルチビューコード化プラス深度のためのトラックにおけるテクスチャビューと深度ビューの存在の指示
JP2017220703A (ja) * 2016-06-03 2017-12-14 キヤノン株式会社 通信装置、通信制御方法および通信システム
WO2018038131A1 (ja) * 2016-08-26 2018-03-01 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元情報処理方法及び三次元情報処理装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SATO KAZUYA, KAMIKURA KAZUTO: "Layered Video Coding Using H.265/HEVC for Point Cloud Data", BULLETIN OF FACULTY OF ENGINEERING, TOKYO POLYTECHNIC UNIVERSITY, TOKYO KOGEI DAIGAKU. KOGAKUBU, ATSUGI, JP, vol. 40, no. 1, 25 December 2017 (2017-12-25), JP, pages 47 - 51, XP055833641, ISSN: 0387-6055 *
See also references of EP3836087A4

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4231609A4 (en) * 2020-10-14 2024-03-13 Tencent Tech Shenzhen Co Ltd METHOD FOR ENCAPSULATING MEDIA FILES, METHOD FOR ENCAPSULATING MEDIA FILES AND ASSOCIATED APPARATUS

Also Published As

Publication number Publication date
KR20240010535A (ko) 2024-01-23
CN112513938A (zh) 2021-03-16
EP3836087A1 (en) 2021-06-16
US20240040149A1 (en) 2024-02-01
JPWO2020032004A1 (ja) 2021-08-10
EP3836087A4 (en) 2021-09-29
US20230007301A1 (en) 2023-01-05
US20210120267A1 (en) 2021-04-22
US11477482B2 (en) 2022-10-18
KR20210040960A (ko) 2021-04-14
US11856154B2 (en) 2023-12-26
KR102624513B1 (ko) 2024-01-12

Similar Documents

Publication Publication Date Title
WO2020071416A1 (ja) 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
WO2020100866A1 (ja) 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
WO2020116563A1 (ja) 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
WO2020075780A1 (ja) 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
US20240107064A1 (en) Three-dimensional data encoding method, three-dimensional data decoding method, three-dimensional data encoding device, and three-dimensional data decoding device
WO2020032248A1 (ja) 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
US11936919B2 (en) Three-dimensional data encoding method, three-dimensional data decoding method, three-dimensional data encoding device, and three-dimensional data decoding device
KR20240058994A (ko) 삼차원 데이터 부호화 방법, 삼차원 데이터 복호 방법, 삼차원 데이터 부호화 장치, 및 삼차원 데이터 복호 장치
US11750844B2 (en) Three-dimensional data encoding method, three-dimensional data decoding method, three-dimensional data encoding device, and three-dimensional data decoding device
JP2024040321A (ja) 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
US20240040149A1 (en) Three-dimensional data storage method, three-dimensional data acquisition method, three-dimensional data storage device, and three-dimensional data acquisition device
JP7490555B2 (ja) 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19846402

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020535779

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019846402

Country of ref document: EP

Effective date: 20210309