WO2020166612A1 - 三次元データ多重化方法、三次元データ逆多重化方法、三次元データ多重化装置、及び三次元データ逆多重化装置 - Google Patents

三次元データ多重化方法、三次元データ逆多重化方法、三次元データ多重化装置、及び三次元データ逆多重化装置 Download PDF

Info

Publication number
WO2020166612A1
WO2020166612A1 PCT/JP2020/005363 JP2020005363W WO2020166612A1 WO 2020166612 A1 WO2020166612 A1 WO 2020166612A1 JP 2020005363 W JP2020005363 W JP 2020005363W WO 2020166612 A1 WO2020166612 A1 WO 2020166612A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
information
unit
point cloud
encoding
Prior art date
Application number
PCT/JP2020/005363
Other languages
English (en)
French (fr)
Inventor
賀敬 井口
敏康 杉尾
Original Assignee
パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ filed Critical パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ
Priority to JP2020572277A priority Critical patent/JP7511488B2/ja
Priority to CN202080012977.9A priority patent/CN113396595A/zh
Publication of WO2020166612A1 publication Critical patent/WO2020166612A1/ja
Priority to US17/386,194 priority patent/US20210358175A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/001—Model-based coding, e.g. wire frame
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348—Demultiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding

Definitions

  • the present disclosure relates to a three-dimensional data multiplexing method, a three-dimensional data demultiplexing method, a three-dimensional data multiplexing device, and a three-dimensional data demultiplexing device.
  • the three-dimensional data is acquired by various methods such as a distance sensor such as a range finder, a stereo camera, or a combination of a plurality of monocular cameras.
  • a representation method As one of the representation methods of 3D data, there is a representation method called a point cloud that represents the shape of a 3D structure by a point cloud in a 3D space.
  • the position and color of the point cloud are stored. It is expected that point clouds will become the mainstream method of expressing three-dimensional data, but the amount of data in point clouds is extremely large. Therefore, in the storage or transmission of three-dimensional data, it is necessary to compress the amount of data by encoding, as in two-dimensional moving images (for example, MPEG-4 AVC or HEVC standardized by MPEG). Become.
  • compression of the point cloud is partially supported by the public library (Point Cloud Library) that performs processing related to the point cloud.
  • Point Cloud Library performs processing related to the point cloud.
  • the present disclosure provides a three-dimensional data multiplexing method, a three-dimensional data demultiplexing method, a three-dimensional data demultiplexing apparatus, or a three-dimensional data demultiplexing apparatus that can appropriately multiplex and transmit point cloud data. To aim.
  • a three-dimensional data multiplexing method generates an output signal of a predetermined file structure by multiplexing a plurality of types of data including point cloud data, and outputs the output signal to metadata in the file structure. Information indicating the type of each of the plurality of data included in the signal is stored.
  • a three-dimensional data demultiplexing method stores an output signal of a predetermined file structure in which a plurality of types of data including point cloud data are multiplexed, and stores the metadata in the file structure. , Acquiring information indicating the type of each of the plurality of data included in the output signal, and using the information, acquiring the plurality of data from the output signal.
  • the present disclosure can provide a three-dimensional data multiplexing method, a three-dimensional data demultiplexing method, a three-dimensional data multiplexing apparatus, or a three-dimensional data demultiplexing apparatus that can appropriately multiplex and transmit point cloud data.
  • FIG. 1 is a diagram showing a configuration of a three-dimensional data encoding/decoding system according to an embodiment.
  • FIG. 2 is a diagram showing a configuration example of point cloud data according to the embodiment.
  • FIG. 3 is a diagram showing a configuration example of a data file in which point cloud data information according to the embodiment is described.
  • FIG. 4 is a diagram showing types of point cloud data according to the embodiment.
  • FIG. 5 is a diagram showing the configuration of the first encoding unit according to the embodiment.
  • FIG. 6 is a block diagram of the first encoding unit according to the embodiment.
  • FIG. 7 is a diagram showing the configuration of the first decoding unit according to the embodiment.
  • FIG. 8 is a block diagram of the first decoding unit according to the embodiment.
  • FIG. 1 is a diagram showing a configuration of a three-dimensional data encoding/decoding system according to an embodiment.
  • FIG. 2 is a diagram showing a configuration example of point cloud data according to the embodiment.
  • FIG. 9 is a diagram showing the configuration of the second encoding unit according to the embodiment.
  • FIG. 10 is a block diagram of the second encoding unit according to the embodiment.
  • FIG. 11 is a diagram showing the configuration of the second decoding unit according to the embodiment.
  • FIG. 12 is a block diagram of the second decoding unit according to the embodiment.
  • FIG. 13 is a diagram showing a protocol stack related to PCC encoded data according to the embodiment.
  • FIG. 14 is a diagram illustrating a configuration example of the point cloud data generation device according to the embodiment.
  • FIG. 15 is a diagram illustrating a configuration example of the point cloud data generation device according to the embodiment.
  • FIG. 16 is a diagram showing a configuration example of the point cloud data generation device according to the embodiment.
  • FIG. 17 is a diagram showing a configuration example of the point cloud data encoding system according to the embodiment.
  • FIG. 18 is a diagram showing a configuration example of the three-dimensional data multiplexing apparatus according to the embodiment.
  • FIG. 19 is a diagram showing a specific example of the three-dimensional data multiplexing apparatus according to the embodiment.
  • FIG. 20 is a diagram showing sensor ranges of various sensors according to the embodiment.
  • FIG. 21 is a diagram showing another configuration example of the three-dimensional data multiplexing device according to the embodiment.
  • FIG. 22 is a diagram showing a protocol for storing a plurality of information in a file format according to the embodiment.
  • FIG. 23 is a diagram showing a configuration example of input data according to the embodiment.
  • FIG. 24 is a diagram showing a configuration example of the NAL unit according to the embodiment.
  • FIG. 25 is a diagram showing a configuration example of the ISOBMFF according to the embodiment.
  • FIG. 26 is a diagram showing a configuration example of moov and mdat according to the embodiment.
  • FIG. 27 is a diagram showing a configuration example of the configuration information according to the embodiment.
  • FIG. 28 is a diagram showing a syntax example of the configuration information according to the embodiment.
  • FIG. 29 is a diagram showing a configuration example of mdat according to the embodiment.
  • FIG. 30 is a flowchart showing an example of application processing according to the embodiment.
  • FIG. 31 is a diagram showing sensor ranges of various sensors according to the embodiment.
  • FIG. 32 is a diagram showing a configuration example of the automatic driving system according to the embodiment.
  • FIG. 33 is a flowchart of the three-dimensional data multiplexing process according to the embodiment.
  • FIG. 34 is a flowchart of the three-dimensional data demultiplexing process according to the embodiment.
  • a three-dimensional data multiplexing method generates an output signal of a predetermined file structure by multiplexing a plurality of types of data including point cloud data, and outputs the output signal to metadata in the file structure. Information indicating the type of each of the plurality of data included in the signal is stored.
  • the three-dimensional data multiplexing method stores the information indicating the type of each of the plurality of data included in the output signal in the metadata in the file structure. This makes it possible to easily determine the type of each data in the three-dimensional data demultiplexing device that receives the output signal.
  • the three-dimensional data multiplexing method can appropriately multiplex and transmit point cloud data.
  • the information may indicate (1) the encoding method applied to the data, (2) the configuration of the data, (3) the type of sensor that generated the data, or (4) the data format.
  • the metadata may include synchronization information for synchronizing the times of the plurality of data included in the output signal.
  • the synchronization information may indicate a time stamp difference between the plurality of data.
  • the data amount of the output signal can be reduced.
  • a three-dimensional data demultiplexing method stores an output signal of a predetermined file structure in which a plurality of types of data including point cloud data are multiplexed, and stores the metadata in the file structure. , Acquiring information indicating the type of each of the plurality of data included in the output signal, and using the information, acquiring the plurality of data from the output signal.
  • the three-dimensional data demultiplexing method can easily determine the type of each data.
  • the information may indicate (1) the encoding method applied to the data, (2) the configuration of the data, (3) the type of sensor that generated the data, or (4) the data format.
  • the metadata may include synchronization information for synchronizing the times of the plurality of data included in the output signal.
  • the three-dimensional data demultiplexing method can synchronize a plurality of data.
  • the synchronization information may indicate a time stamp difference between the plurality of data.
  • the data amount of the output signal can be reduced.
  • a three-dimensional data multiplexing apparatus includes a processor and a memory, and the processor multiplexes multiple types of data including point cloud data using the memory.
  • An output signal having a predetermined file structure is generated, and information indicating each type of a plurality of data included in the output signal is stored in the metadata in the file structure.
  • the three-dimensional data multiplexing apparatus stores the information indicating the type of each of the plurality of data included in the output signal in the metadata in the file structure. This makes it possible to easily determine the type of each data in the three-dimensional data demultiplexing device that receives the output signal. As described above, the three-dimensional data multiplexing apparatus can appropriately multiplex and transmit the point cloud data.
  • a three-dimensional data demultiplexing device includes a processor and a memory, and the processor uses the memory to multiplex multiple types of data including point cloud data. From the output signal of the predetermined file structure, information indicating the type of each of the plurality of data included in the output signal, which is stored in the metadata in the file structure, is obtained, and the output signal is obtained using the information. From the plurality of data.
  • the three-dimensional data demultiplexer can easily determine the type of each data.
  • a recording medium such as a system, a method, an integrated circuit, a computer program or a computer-readable CD-ROM, and the system, the method, the integrated circuit, the computer program. And may be realized by any combination of recording media.
  • FIG. 1 is a diagram showing a configuration example of a three-dimensional data encoding/decoding system according to the present embodiment.
  • the 3D data encoding/decoding system includes a 3D data encoding system 4601, a 3D data decoding system 4602, a sensor terminal 4603, and an external connection unit 4604.
  • the three-dimensional data encoding system 4601 generates encoded data or multiplexed data by encoding the point group data that is three-dimensional data.
  • the three-dimensional data encoding system 4601 may be a three-dimensional data encoding device realized by a single device or a system realized by a plurality of devices. Further, the three-dimensional data encoding device may include a part of a plurality of processing units included in the three-dimensional data encoding system 4601.
  • the three-dimensional data encoding system 4601 includes a point cloud data generation system 4611, a presentation unit 4612, an encoding unit 4613, a multiplexing unit 4614, an input/output unit 4615, and a control unit 4616.
  • the point cloud data generation system 4611 includes a sensor information acquisition unit 4617 and a point cloud data generation unit 4618.
  • the sensor information acquisition unit 4617 acquires sensor information from the sensor terminal 4603 and outputs the sensor information to the point cloud data generation unit 4618.
  • the point cloud data generation unit 4618 generates point cloud data from the sensor information and outputs the point cloud data to the encoding unit 4613.
  • the presentation unit 4612 presents sensor information or point cloud data to the user. For example, the presentation unit 4612 displays information or images based on sensor information or point cloud data.
  • the encoding unit 4613 encodes (compresses) the point cloud data, and outputs the obtained encoded data, the control information obtained in the encoding process, and other additional information to the multiplexing unit 4614.
  • the additional information includes, for example, sensor information.
  • the multiplexing unit 4614 generates multiplexed data by multiplexing the encoded data input from the encoding unit 4613, the control information, and the additional information.
  • the format of the multiplexed data is, for example, a file format for storage or a packet format for transmission.
  • the input/output unit 4615 (eg, communication unit or interface) outputs the multiplexed data to the outside.
  • the multiplexed data is stored in a storage unit such as an internal memory.
  • the control unit 4616 (or the application execution unit) controls each processing unit. That is, the control unit 4616 performs control such as encoding and multiplexing.
  • the sensor information may be input to the encoding unit 4613 or the multiplexing unit 4614.
  • the input/output unit 4615 may output the point cloud data or the encoded data as it is to the outside.
  • the transmission signal (multiplexed data) output from the three-dimensional data encoding system 4601 is input to the three-dimensional data decoding system 4602 via the external connection unit 4604.
  • the three-dimensional data decoding system 4602 generates point cloud data that is three-dimensional data by decoding encoded data or multiplexed data.
  • the three-dimensional data decoding system 4602 may be a three-dimensional data decoding device realized by a single device or may be a system realized by a plurality of devices.
  • the three-dimensional data decoding device may include a part of the plurality of processing units included in the three-dimensional data decoding system 4602.
  • the three-dimensional data decoding system 4602 includes a sensor information acquisition unit 4621, an input/output unit 4622, a demultiplexing unit 4623, a decoding unit 4624, a presentation unit 4625, a user interface 4626, and a control unit 4627.
  • the sensor information acquisition unit 4621 acquires sensor information from the sensor terminal 4603.
  • the input/output unit 4622 acquires the transmission signal, decodes the multiplexed data (file format or packet) from the transmission signal, and outputs the multiplexed data to the demultiplexing unit 4623.
  • the demultiplexing unit 4623 acquires encoded data, control information, and additional information from the multiplexed data, and outputs the encoded data, control information, and additional information to the decoding unit 4624.
  • the decoding unit 4624 reconstructs the point cloud data by decoding the encoded data.
  • the presentation unit 4625 presents the point cloud data to the user. For example, the presentation unit 4625 displays information or an image based on the point cloud data.
  • the user interface 4626 acquires an instruction based on a user operation.
  • the control unit 4627 (or the application execution unit) controls each processing unit. That is, the control unit 4627 performs control such as demultiplexing, decoding and presentation.
  • the input/output unit 4622 may directly acquire the point cloud data or the encoded data from the outside. Further, the presentation unit 4625 may acquire additional information such as sensor information and present the information based on the additional information. Further, the presentation unit 4625 may perform the presentation based on the user's instruction acquired by the user interface 4626.
  • the sensor terminal 4603 generates sensor information that is information obtained by the sensor.
  • the sensor terminal 4603 is a terminal equipped with a sensor or a camera, and includes, for example, a moving object such as an automobile, a flying object such as an airplane, a mobile terminal, or a camera.
  • the sensor information that can be acquired by the sensor terminal 4603 is, for example, (1) LIDAR, a millimeter wave radar, or an infrared sensor, and the distance (positional information) between the sensor terminal 4603 and the object, color, or reflection of the object. Rate, (2) distance (positional information) between a camera and an object obtained from a plurality of monocular camera images or stereo camera images, color, or reflectance of the object.
  • the sensor information may include the attitude, orientation, gyro (angular velocity), position (GPS information or altitude), velocity, acceleration, acquisition time of the sensor information, or the like of the sensor.
  • the sensor information may include temperature, atmospheric pressure, humidity, magnetism, or the like.
  • the external connection unit 4604 is realized by an integrated circuit (LSI or IC), an external storage unit, communication with a cloud server via the Internet, broadcasting, or the like.
  • LSI integrated circuit
  • IC integrated circuit
  • FIG. 2 is a diagram showing the structure of point cloud data.
  • FIG. 3 is a diagram showing a configuration example of a data file in which information of point cloud data is described.
  • ⁇ Point cloud data includes data of multiple points.
  • the data of each point includes position information (three-dimensional coordinates) and attribute information for the position information.
  • a set of multiple points is called a point cloud.
  • the point cloud indicates a three-dimensional shape of an object (object).
  • Positional information such as three-dimensional coordinates is sometimes called geometry.
  • the data of each point may include attribute information (attribute) of a plurality of attribute types.
  • the attribute type is, for example, color or reflectance.
  • One piece of attribute information may be associated with one piece of location information, or one piece of location information may be associated with pieces of attribute information having a plurality of different attribute types. Further, a plurality of pieces of attribute information of the same attribute type may be associated with one piece of position information.
  • the configuration example of the data file shown in FIG. 3 is an example in which the position information and the attribute information have a one-to-one correspondence, and shows the position information and the attribute information of N points forming the point cloud data. There is.
  • the position information is, for example, information on three axes of x, y, and z.
  • the attribute information is, for example, RGB color information.
  • a typical file is a ply file.
  • FIG. 4 is a diagram showing types of point cloud data. As shown in FIG. 4, the point cloud data includes static objects and dynamic objects.
  • Statistic object is 3D point cloud data at any time (at a certain time).
  • a dynamic object is three-dimensional point cloud data that changes with time.
  • the three-dimensional point cloud data at a certain time will be referred to as a PCC frame or a frame.
  • the object may be a point cloud whose area is limited to some extent like normal video data, or a large-scale point cloud whose area is not limited like map information.
  • point cloud data of various densities there may be point cloud data of various densities, and sparse point cloud data and dense point cloud data may exist.
  • the sensor information is acquired by various methods such as a distance sensor such as a LIDAR or a range finder, a stereo camera, or a combination of a plurality of monocular cameras.
  • the point cloud data generation unit 4618 generates point cloud data based on the sensor information obtained by the sensor information acquisition unit 4617.
  • the point cloud data generation unit 4618 generates position information as point cloud data and adds attribute information for the position information to the position information.
  • the point cloud data generation unit 4618 may process the point cloud data when generating the position information or adding the attribute information. For example, the point cloud data generation unit 4618 may reduce the data amount by deleting the point cloud whose positions overlap. Further, the point cloud data generation unit 4618 may convert the position information (position shift, rotation or normalization), or may render the attribute information.
  • point cloud data generation system 4611 is included in the three-dimensional data encoding system 4601 in FIG. 1, it may be independently provided outside the three-dimensional data encoding system 4601.
  • the coding unit 4613 generates coded data by coding the point cloud data based on a coding method defined in advance.
  • a coding method There are the following two types of encoding methods.
  • the first is a coding method using position information, and this coding method will be hereinafter referred to as a first coding method.
  • the second is a coding method using a video codec, and this coding method is hereinafter referred to as a second coding method.
  • the decoding unit 4624 decodes the point cloud data by decoding the coded data based on the coding method defined in advance.
  • the multiplexing unit 4614 generates multiplexed data by multiplexing encoded data using an existing multiplexing method.
  • the generated multiplexed data is transmitted or stored.
  • the multiplexing unit 4614 multiplexes other media such as video, audio, subtitles, applications, files, or reference time information, in addition to the PCC encoded data.
  • the multiplexing unit 4614 may further multiplex attribute information related to the sensor information or the point cloud data.
  • ISOBMFF ISOBMFF-based transmission methods such as MPEG-DASH, MMT, MPEG-2 TS Systems, and RMP.
  • the demultiplexing unit 4623 extracts PCC encoded data, other media, time information, etc. from the multiplexed data.
  • the input/output unit 4615 transmits the multiplexed data using a method suitable for the medium to be transmitted or the medium to be stored, such as broadcasting or communication.
  • the input/output unit 4615 may communicate with another device via the Internet, or may communicate with a storage unit such as a cloud server.
  • http http, ftp, TCP, UDP or IP is used.
  • the PULL type communication method may be used, or the PUSH type communication method may be used.
  • Either wired transmission or wireless transmission may be used.
  • Ethernet registered trademark
  • USB registered trademark
  • RS-232C HDMI
  • coaxial cable or the like is used.
  • wireless transmission 3G/4G/5G, wireless LAN, Wi-Fi (registered trademark), Bluetooth (registered trademark), millimeter wave, or the like defined by the IEEE of 3GPP is used.
  • DVB-T2, DVB-S2, DVB-C2, ATSC3.0, ISDB-S3, etc. are used as the broadcasting system.
  • FIG. 5 is a diagram showing a configuration of a first encoding unit 4630, which is an example of an encoding unit 4613 that performs encoding of the first encoding method.
  • FIG. 6 is a block diagram of the first encoding unit 4630.
  • the first coding unit 4630 generates coded data (coded stream) by coding the point cloud data by the first coding method.
  • the first coding unit 4630 includes a position information coding unit 4631, an attribute information coding unit 4632, an additional information coding unit 4633, and a multiplexing unit 4634.
  • the first encoding unit 4630 has a feature of performing encoding while being aware of the three-dimensional structure.
  • the first encoding unit 4630 has a characteristic that the attribute information encoding unit 4632 performs encoding using the information obtained from the position information encoding unit 4631.
  • the first encoding method is also called GPCC (Geometry based PCC).
  • the point cloud data is PCC point cloud data such as a PLY file, or PCC point cloud data generated from sensor information, and includes position information (Position), attribute information (Attribute), and other additional information (MetaData). including.
  • the position information is input to the position information encoding unit 4631, the attribute information is input to the attribute information encoding unit 4632, and the additional information is input to the additional information encoding unit 4633.
  • the position information encoding unit 4631 generates encoded position information (Compressed Geometry) that is encoded data by encoding the position information.
  • the position information encoding unit 4631 encodes position information using an N-ary tree structure such as an octree. Specifically, in the octree, the target space is divided into eight nodes (subspaces), and 8-bit information (occupancy code) indicating whether or not each node includes a point cloud is generated. .. The node including the point cloud is further divided into eight nodes, and 8-bit information indicating whether or not each of the eight nodes includes the point cloud is generated. This process is repeated until the number of points included in a predetermined layer or node is equal to or less than the threshold value.
  • the attribute information encoding unit 4632 generates encoded attribute information (Compressed Attribute) that is encoded data by performing encoding using the configuration information generated by the position information encoding unit 4631. For example, the attribute information encoding unit 4632 determines a reference point (reference node) to be referred to in encoding the target point (target node) to be processed, based on the octree structure generated by the position information encoding unit 4631. To do. For example, the attribute information encoding unit 4632 refers to, among the peripheral nodes or the adjacent nodes, the node whose parent node in the octree is the same as the target node. The method of determining the reference relationship is not limited to this.
  • the attribute information encoding process may include at least one of a quantization process, a prediction process, and an arithmetic encoding process.
  • the reference refers to using the reference node to calculate the predicted value of the attribute information, or the state of the reference node in determining the coding parameter (for example, an occupancy indicating whether or not the point node is included in the reference node).
  • Information for example, the encoding parameter is a quantization parameter in quantization processing, a context in arithmetic encoding, or the like.
  • the additional information encoding unit 4633 generates encoded additional information (Compressed MetaData) that is encoded data by encoding compressible data in the additional information.
  • compressed MetaData encoded additional information
  • the multiplexing unit 4634 multiplexes the coding position information, the coding attribute information, the coding additional information, and other additional information to generate a coded stream (Compressed Stream) that is coded data.
  • the generated encoded stream is output to the processing unit of the system layer (not shown).
  • FIG. 7 is a diagram showing the configuration of the first decoding unit 4640.
  • FIG. 8 is a block diagram of the first decoding unit 4640.
  • the first decoding unit 4640 generates point cloud data by decoding the coded data (coded stream) coded by the first coding method by the first coding method.
  • the first decoding unit 4640 includes a demultiplexing unit 4641, a position information decoding unit 4642, an attribute information decoding unit 4643, and an additional information decoding unit 4644.
  • An encoded stream (Compressed Stream) that is encoded data is input to the first decoding unit 4640 from a processing unit of a system layer (not shown).
  • the demultiplexing unit 4641 separates encoded position information (Compressed Geometry), encoded attribute information (Compressed Attribute), encoded additional information (Compressed MetaData), and other additional information from the encoded data.
  • the position information decoding unit 4642 generates position information by decoding the coded position information. For example, the position information decoding unit 4642 restores the position information of the point group represented by the three-dimensional coordinates from the encoded position information represented by the N-tree structure such as an octree.
  • the attribute information decoding unit 4643 decodes the encoded attribute information based on the configuration information generated by the position information decoding unit 4642. For example, the attribute information decoding unit 4643 determines a reference point (reference node) to be referred in decoding the target point (target node) to be processed, based on the octree structure obtained by the position information decoding unit 4642. For example, the attribute information decoding unit 4643 refers to, among the peripheral nodes or the adjacent nodes, the node whose parent node in the octree is the same as the target node. The method of determining the reference relationship is not limited to this.
  • the attribute information decoding process may include at least one of a dequantization process, a prediction process, and an arithmetic decoding process.
  • the reference refers to using the reference node to calculate the prediction value of the attribute information, or the state of the reference node in determining the decoding parameter (for example, occupancy information indicating whether the reference node includes a point cloud). ) Is used.
  • the decoding parameter is a quantization parameter in inverse quantization processing, a context in arithmetic decoding, or the like.
  • the additional information decoding unit 4644 generates additional information by decoding the encoded additional information. Also, the first decoding unit 4640 uses the additional information necessary for the decoding process of the position information and the attribute information at the time of decoding, and outputs the additional information necessary for the application to the outside.
  • FIG. 9 is a diagram showing the configuration of the second encoding unit 4650.
  • FIG. 10 is a block diagram of the second encoding unit 4650.
  • the second coding unit 4650 generates coded data (coded stream) by coding the point cloud data by the second coding method.
  • the second encoding unit 4650 includes an additional information generating unit 4651, a position image generating unit 4652, an attribute image generating unit 4653, a video encoding unit 4654, an additional information encoding unit 4655, and a multiplexing unit 4656. Including and
  • the second encoding unit 4650 generates a position image and an attribute image by projecting a three-dimensional structure on a two-dimensional image, and encodes the generated position image and the attribute image using an existing video encoding method. It has the feature.
  • the second encoding method is also called VPCC (Video based PCC).
  • the point cloud data is PCC point cloud data such as a PLY file, or PCC point cloud data generated from sensor information, and includes position information (Position), attribute information (Attribute), and other additional information MetaData). Including.
  • the additional information generation unit 4651 generates map information of a plurality of two-dimensional images by projecting the three-dimensional structure on a two-dimensional image.
  • the position image generation unit 4652 generates a position image (Geometry Image) based on the position information and the map information generated by the additional information generation unit 4651.
  • This position image is, for example, a distance image in which a distance (Depth) is shown as a pixel value.
  • this range image may be an image in which a plurality of point groups are viewed from one viewpoint (an image obtained by projecting a plurality of point groups on one two-dimensional plane), or a plurality of point groups from a plurality of viewpoints. It may be a plurality of images viewed, or may be a single image obtained by integrating these plurality of images.
  • the attribute image generation unit 4653 generates an attribute image based on the attribute information and the map information generated by the additional information generation unit 4651.
  • This attribute image is, for example, an image in which attribute information (for example, color (RGB)) is shown as a pixel value.
  • RGB color
  • this image may be an image in which a plurality of point clouds are viewed from one viewpoint (an image in which a plurality of point clouds are projected on one two-dimensional plane), or a plurality of point clouds are viewed from a plurality of viewpoints. It may be a plurality of viewed images or one image obtained by integrating these plurality of images.
  • the video encoding unit 4654 encodes the position image and the attribute image by using the video encoding method, so that the encoded position image (Compressed Geometry Image) and the encoded attribute image (Compressed Attribute Image) are encoded data. ) Is generated.
  • Any known encoding method may be used as the video encoding method.
  • the video encoding method is AVC, HEVC, or the like.
  • the additional information encoding unit 4655 generates encoded additional information (Compressed MetaData) by encoding the additional information included in the point cloud data, the map information, and the like.
  • the multiplexing unit 4656 generates a coded stream (Compressed Stream) that is coded data by multiplexing the coded position image, the coded attribute image, the coded additional information, and other additional information.
  • the generated encoded stream is output to the processing unit of the system layer (not shown).
  • FIG. 11 is a diagram showing the configuration of the second decoding unit 4660.
  • FIG. 12 is a block diagram of the second decoding unit 4660.
  • the second decoding unit 4660 generates point cloud data by decoding the coded data (coded stream) coded by the second coding method by the second coding method.
  • the second decoding unit 4660 includes a demultiplexing unit 4661, a video decoding unit 4662, an additional information decoding unit 4663, a position information generation unit 4664, and an attribute information generation unit 4665.
  • An encoded stream (Compressed Stream), which is encoded data, is input to the second decoding unit 4660 from the processing unit of the system layer (not shown).
  • the demultiplexing unit 4661 separates the encoded position image (Compressed Geometry Image), the encoded attribute image (Compressed Attribute Image), the encoded additional information (Compressed MetaData), and other additional information from the encoded data. ..
  • the video decoding unit 4662 generates a position image and an attribute image by decoding the encoded position image and the encoded attribute image using the video encoding method.
  • Any known encoding method may be used as the video encoding method.
  • the video encoding method is AVC, HEVC, or the like.
  • the additional information decoding unit 4663 generates additional information including map information by decoding the encoded additional information.
  • the position information generation unit 4664 generates position information using the position image and map information.
  • the attribute information generation unit 4665 generates attribute information using the attribute image and map information.
  • the second decryption unit 4660 uses the additional information required for the decryption at the time of decryption, and outputs the additional information required for the application to the outside.
  • FIG. 13 is a diagram showing a protocol stack related to PCC encoded data.
  • FIG. 13 shows an example in which PCC encoded data is multiplexed with data of other media such as video (for example, HEVC) or audio, or sensor information, and transmitted or stored.
  • the multiplexing method and file format have the function to multiplex various encoded data and transmit or store them.
  • the encoded data is converted into a multiplexing format.
  • HEVC defines a technique of storing encoded data in a data structure called a NAL unit and storing the NAL unit in ISOBMFF.
  • the sensor information may be PCC-coded together with the point cloud data, may be coded using another coding method, and may be directly stored in a multi-layer without being coded. Can also be combined.
  • the other encoding method is specifically another three-dimensional encoding method or an encoding method for encoding data obtained by converting point cloud data into two-dimensional or one-dimensional data.
  • 14 to 16 are diagrams each showing a configuration example of a point cloud data generation device that generates point cloud data from sensor signals.
  • the point cloud data generation device shown in FIG. 14 generates point cloud data from sensor signals obtained from one sensing device 7301.
  • the point cloud data generation device shown in FIG. 14 includes a sensing device 7301, a sensor information input unit 7302, and a point cloud data generation unit 7303.
  • the sensor information input unit 7302 acquires the sensor signal obtained by the sensing device 7301.
  • the point cloud data generation unit 7303 generates point cloud data from the sensor signal acquired by the sensor information input unit 7302. For the generated point cloud data, for example, the point cloud data in the subsequent stage is output to the encoding unit (not shown).
  • point cloud data may be generated based on sensor signals obtained from two or more sensing devices.
  • the point cloud data generation device shown in FIG. 15 includes sensing devices 7301A and 7301B, sensor information input units 7302A and 7302B, and a point cloud data generation unit 7303A.
  • the sensor information input unit 7302A acquires the first sensor signal obtained by the sensing device 7301A.
  • the sensor information input unit 7302B acquires the second sensor signal obtained by the sensing device 7301B.
  • the point cloud data generation unit 7303A generates point cloud data from the two sensor signals acquired by the sensor information input units 7302A and 7302B. For the generated point cloud data, for example, the point cloud data in the subsequent stage is output to the encoding unit (not shown).
  • the point cloud data generation device shown in FIG. 16 includes a sensing device 7301C, a sensor information input unit 7302C, and a point cloud data generation unit 7303C.
  • the sensing device 7301C generates a sensor signal by merging two pieces of information sensed using two or more sensing methods by a predetermined method.
  • the sensing device 7301C includes sensing units 7304A and 7304B and a merge unit 7305.
  • the sensing unit 7304A generates a first sensor signal by the first sensing method.
  • the sensing unit 7304B generates a second sensor signal by the second sensing method.
  • the merging unit 7305 merges the first sensor signal and the second sensor signal and outputs the generated sensor signal to the sensor information input unit 7302C.
  • the merge unit 7305 may select one of the first sensor signal and the second sensor signal based on a predetermined condition and output the selected sensor signal. When merging two sensor signals, the merging unit 7305 may change the weighting coefficient used for merging.
  • the merging unit 7305 may determine which sensor signal to select, based on the acquired sensor signal, or based on another sensor signal.
  • the first sensing method and the second sensing method may have different sensor parameters, or different sensing frequencies or mechanisms.
  • the center signal may include information indicating a sensing method or a parameter at the time of sensing.
  • the merging unit 7305 may include information indicating which sensing method is used or data of a determination criterion for switching in the sensor signal.
  • the merging unit 7305 may include information for identifying the merged sensing method, merge determination reference data, or a merge coefficient in the sensor signal.
  • the sensing device 7301C may output a plurality of sensor signals. Further, the sensing device 7301C may output the absolute value of the first sensor signal and the difference value between the first sensor signal and the second sensor signal as the plurality of sensor signals.
  • the sensor signal may include information indicating the relationship between the first sensing method and the second sensing method.
  • the sensor signal may include the absolute value or the relative value of the reference position information of the first sensing method and the second sensing method, or the acquisition time of the sensor signal, the reference time information, or the angle of the sensor.
  • the information may be included.
  • the sensor information input unit 7302C acquires the sensor signal obtained by the sensing device 7301C.
  • the point cloud data generation unit 7303C generates point cloud data from the sensor signal acquired by the sensor information input unit 7302C.
  • the point cloud data in the subsequent stage is output to the encoding unit (not shown).
  • the point cloud data generation device generates the point cloud data based on any one or two or more of the above various sensor signals.
  • the point cloud data generation device may correct the position information or the attribute information of the points in the process of generating the point cloud data.
  • the point cloud data generation device may have the configuration shown in any of FIGS. 14 to 16 or a combination of a plurality of these.
  • the point cloud data generation device may use a fixed method, or may adaptively change the method to be used depending on the purpose or use case of sensing, for example.
  • FIG. 17 is a diagram showing a configuration example of the point cloud data encoding system according to the present embodiment.
  • the point cloud data encoding system shown in FIG. 17 includes a first device 7310 and a second device 7320.
  • the first device 7310 includes a sensing unit 7311 and an output I/F (interface) 7312.
  • the second device 7320 includes a sensing unit 7321, an output I/F 7322, an input I/F 7323, and a processing unit 7324.
  • the processing unit 7324 includes a point cloud data generation unit 7325 and an encoding unit 7326.
  • the sensing unit 7311 or 7321 may be included in the same hardware or device as the processing unit 7324 configured by a CPU or the like, or may be included in different hardware or device.
  • the sensing unit 7321 is included in the same device (second device 7320) as the processing unit 7324.
  • the output signal of the sensing unit 7321 (referred to as RAW data) is directly input to the point cloud data generation unit 7325.
  • the sensing unit 7311 is included in a device (first device 7310) different from the processing unit 7324.
  • the RAW data output from the sensing unit 7311 is converted into an input/output format (external output format) at the output I/F 7312, and the formatted signal is input to the second device 7320.
  • the input I/F 7323 included in the second device 7320 converts the formatted signal into RAW data, and outputs the obtained RAW data to the point cloud data generation unit 7325.
  • the output I/F 7312 and the input I/F 7323 have, for example, the functions of the multiplexing unit 4614 and the input/output unit 4615 shown in FIG.
  • an output signal (RAW data) from a sensing unit 7321 included in the same device as the processing unit 7324 is converted into an input/output format by an output I/F7322, and a signal formatted by the input I/F7323 is converted into RAW data. Then, the obtained RAW data may be input to the point cloud data generation unit 7325.
  • each signal when transmission is performed using UDP (User Datagram Protocol), each signal may be identified by an IP (Internet Protocol) or a UDP source address or a source port number.
  • UDP User Datagram Protocol
  • IP Internet Protocol
  • the point cloud data generation unit 7325 generates point cloud data using the input RAW data.
  • the encoding unit 7326 encodes the generated point cloud data.
  • FIG. 18 is a diagram showing a configuration example of the three-dimensional data multiplexing apparatus according to this embodiment.
  • the three-dimensional data multiplexing device generates an output signal by encoding and multiplexing various sensor signals, and stores or transmits the generated output signal.
  • the three-dimensional data multiplexing apparatus includes sensing units 7331A, 7331B and 7331C, sensor information input units 7332A, 7332B and 7332C, point cloud data generation units 7333A and 7333B, and coding units 7334A and 7334B.
  • a synchronization unit 7335 and a multiplexing unit 7336 are shown, but the number of sensing units is not limited to this. Further, as a method of processing the sensor signal from each sensing unit, any combination of the following processing methods can be used.
  • the sensor information input unit 7332A acquires the first sensor signal generated by sensing by the sensing unit 7331A.
  • the sensor information input unit 7332B acquires the second sensor signal generated by sensing by the sensing unit 7331B.
  • the sensor information input unit 7332C acquires the third sensor signal generated by sensing by the sensing unit 7331C.
  • the point cloud data generation unit 7333A generates first point cloud data from the first sensor signal.
  • the point cloud data generation unit 7333B generates second point cloud data from the second sensor signal.
  • the points in the point cloud data generated by the difference in the sensing method used by the sensing unit 7331A and the sensing unit 7331B for example, direction, range, acquirable attribute, frequency, resolution, etc., method or means.
  • the range of points, and the attribute information may differ.
  • the encoding unit 7334A generates the first encoded data by encoding the first point cloud data.
  • the encoding unit 7334B generates second encoded data by encoding the second point cloud data.
  • the encoding units 7334A and 7334B apply different encoding methods.
  • the coding unit 7334A may use the first coding system and the coding unit 7334B may use the second coding system different from the first coding system.
  • the encoding units 7334A and 7334B may use the same encoding method.
  • the encoding units 7334A and 7334B may compress position information or attribute information of points in the point cloud data by using entropy encoding or the like.
  • the encoding units 7334A and 7334B may store the sensor signal, sensor position information or angle information, time information, or the like as metadata.
  • the encoding units 7334A and 7334B use an encoding method suitable for the point cloud data.
  • the first encoding method is an encoding method that can expect a high encoding rate for map information or still content
  • the second encoding method has a high encoding rate for contents such as AR or VR. This is a promising coding method.
  • the encoding units 7334A and 7334B may use an encoding method suitable for the content.
  • the first coding scheme is a coding scheme that can expect a high coding rate for a point cloud based on information sensed by a sensing unit such as beam LiDAR
  • the second coding scheme Is a coding method that can expect a high coding rate for a point cloud based on information sensed by a sensing unit such as FLASH LiDAR.
  • the coding units 7334A and 7334B may use a coding method suitable for the sensing unit.
  • the encoding units 7334A and 7334B may use the encoding tool suitable for the content or the sensing unit or the parameter relating to the encoding in the same encoding system, instead of changing the encoding system.
  • the generated first coded data and second coded data are input to the multiplexing unit 7336.
  • the third sensor signal sensed by the sensing unit 7331C is data that does not need to be encoded.
  • the point cloud data is not generated and encoded, and the third sensor signal is directly input to the multiplexing unit 7336. Note that encoding may not be performed for the purpose of low-delay transmission.
  • the synchronization unit 7335 has a function of synchronizing a plurality of sensing units.
  • the synchronization unit 7335 uses sensing time information, time stamp information, angle information, and the like as information related to synchronization. These pieces of information related to synchronization may be multiplexed into the output signal as a common signal, which is a synchronization signal. Alternatively, information related to these synchronizations may be included in each sensor signal.
  • the multiplexing unit 7336 generates an output signal by multiplexing one or more pieces of encoded data, metadata, RAW data of sensor signals, and a synchronization signal. Also, the multiplexing unit 7336 stores information for identifying each data and information indicating the correspondence relationship of each data in the output signal.
  • FIG. 19 is a diagram showing a specific example of the three-dimensional data multiplexing device.
  • a beam LiDAR is used as the sensing unit 7331A
  • a FLASH LiDAR is used as the sensing unit 7331B.
  • the range and distance of the point cloud, the resolution, and the like differ depending on the characteristics of LiDAR.
  • FIG. 20 is a diagram showing an example of the sensor ranges of the beam LiDAR and the FLASH LiDAR.
  • the beam LiDAR detects all directions around the vehicle (sensor)
  • the FLASH LiDAR detects a range in one direction (for example, the front) of the vehicle.
  • the point cloud data generation unit 7333A generates first point cloud data based on the distance information and the reflectance information for the beam irradiation angle acquired from the beam LiDAR.
  • the point cloud data generation unit 7333B generates second point cloud data based on the two-dimensional distance information and reflectance obtained from FLASH LiDAR. Note that the point cloud data generation units 7333A and 7333B may further use the two-dimensional color information acquired by the camera and the like to generate point cloud data having both color information and reflectance.
  • an on-vehicle sensor that is a position information sensor such as a 3-axis gyro sensor, a 3-axis acceleration sensor, or GPS is used.
  • These pieces of sensor information are sensor information that represents the state of the entire vehicle, and can also be referred to as common information related to the first sensor signal and the second sensor signal.
  • These common sensor information may be coded and multiplexed, or may be coded and multiplexed. Further, these pieces of information may be stored and encoded in the first sensor signal or the second sensor signal as additional information common to the point cloud data.
  • the common sensor information may be stored in one of the first sensor signal and the second sensor signal. In this case, information indicating in which sensor signal the common sensor information is stored may be indicated in, for example, another sensor signal or a synchronization signal.
  • a time stamp based on reference time information such as NTP (Network Time Protocol) or PTP (Precision Time Protocol) is the first point cloud data based on the beam LiDAR and FLASH And the second point cloud data based on LiDAR.
  • the time stamps of the respective sensors are synchronized with a common reference time, and are encoded by the encoding units 7334A and 7334B.
  • the reference time information indicating the common reference time may be multiplexed as a synchronization signal.
  • the reference time information may not be multiplexed.
  • a three-dimensional data demultiplexing device acquires respective time stamps from encoded data of a plurality of sensor signals. Since the time stamps are synchronized with a common reference time, the three-dimensional data demultiplexing device operates the decoded data of the plurality of sensor signals based on the respective time stamps to synchronize the plurality of sensors. Can be taken.
  • time information corresponding to each of the beam LiDAR and FLASH LiDAR may be set.
  • a 3-axis sensor may be provided for each of the beams LiDAR and FLASH LiDAR.
  • a common time such as the Internet time is used as each NTP.
  • each of the three-axis sensors is pre-calibrated and a plurality of pre-synchronized three-axis sensors are used.
  • FIG. 21 is a diagram showing another configuration example of the three-dimensional data multiplexing device.
  • the three-dimensional data multiplexing apparatus synchronizes with the sensing units 7341A, 7341B and 7341C, the input/output units 7342A, 7342B and 7342C, the point cloud data generation unit 7343, the coding units 7344A and 7344B.
  • the unit 7345 and the multiplexing unit 7346 are provided.
  • the input/output unit 7342A acquires the first sensor signal generated by sensing by the sensing unit 7341A.
  • the input/output unit 7342B acquires the second sensor signal generated by sensing by the sensing unit 7341B.
  • the input/output unit 7342C acquires the third sensor signal generated by sensing by the sensing unit 7341C. Note that the input/output units 7342A, 7342B, and 7342C may each include a memory that stores the acquired sensor signal.
  • the point cloud data generation unit 7343 generates first point cloud data from the first sensor signal.
  • the encoding unit 7344A generates the first encoded data by encoding the first point cloud data.
  • the encoding unit 7344B encodes the second sensor information to generate second encoded data.
  • the synchronization unit 7345 has a function of synchronizing a plurality of sensing units.
  • the multiplexing unit 7346 multiplexes one or more pieces of encoded data, metadata, RAW data of sensor signals, and a synchronization signal to generate an output signal.
  • point cloud data is not generated from the sensor signal (RAW data) obtained by the sensing unit 7341B, and the sensor signal is encoded as RAW data.
  • the encoding unit 7344B uses the moving image codec such as AVC or HEVC to detect the second sensor signal. Is encoded. As a result, encoding with high encoding efficiency can be realized. Also, by utilizing the existing codec, it becomes possible to construct a system with low cost.
  • the three-dimensional data multiplexing apparatus uses both the means for encoding the point cloud data after conversion and the means for encoding the raw data as it is without converting it to the point cloud data, depending on the sensing unit. , Multiplex each encoded data.
  • the predetermined file format is ISOBMFF (ISO based media file format)
  • ISOBMFF ISO based media file format
  • the file format is not limited to ISOBMFF, and other file formats may be used.
  • ISOBMFF is a file format standard defined in ISO/IEC 14496-12.
  • ISOBMFF defines a format in which data of various media such as video, audio, and text can be multiplexed and stored, and is a standard independent of media.
  • the storage method for each media in ISOBMFF is specified separately.
  • the storage method of AVC video and HEVC video is specified in ISO/IEC 14496-15.
  • FIG. 22 is a diagram showing a protocol in which a plurality of pieces of sensor information are encoded by various encoding methods and stored in ISOBMFF.
  • Data1 to Data5 are sensor data (sensor signals) acquired from various types of sensors, for example, RAW data.
  • Data1 and Data2 are converted into a 3D point cloud format and coded using the coding method Codec1 or Codec2 for the 3D point cloud format.
  • Data3 and Data4 are converted into a format of 2D data such as an image, and are encoded using the encoding method Codec3 or Codec4 for the 2D data format.
  • Each encoded data is converted into NAL unit by a predetermined method and stored in ISOBMFF.
  • the NAL unit may have a common format in 3D Format and 2D Format, or may have a different format. Further, the NAL units of different encoding methods may have a common format or different formats.
  • the format of the sensor data may be a 1D format or another format other than the 3D and 2D formats mentioned here.
  • Data5 is a case where the sensor data acquired from the sensor is directly stored in ISOBMFF without being encoded.
  • the three-dimensional data multiplexing device stores a plurality of sensor data in ISOBMFF.
  • FIG. 23 is a diagram showing a configuration example of input data to be multiplexed.
  • FIG. 24 is a diagram showing a configuration example of the NAL unit.
  • FIG. 25 is a diagram showing a configuration example of ISOBMFF.
  • FIG. 26 is a diagram showing a configuration example of moov and mdat.
  • the encoded data included in the input data is roughly classified into encoded data (Data) and metadata (Meta).
  • the metadata includes metadata indicated by a header for each encoded data and metadata stored in an independent NAL unit as a parameter set.
  • the metadata may be included in the encoded data.
  • the three-dimensional data multiplexer stores the NAL unit and RAW data for each of the plurality of different codecs in one ISOBMFF.
  • ISOBMFF has a box structure.
  • the ISOBMFF boxes mainly include “moov” and “meta” for storing metadata and “mdat” for storing data.
  • Encoded data and RAW data are stored in "mdat” in ISOBMFF in sample units. Further, the metadata in the input data is stored in a predetermined format in “trak” of “moov” in ISOMBFF for each encoded data. The metadata and synchronization information included in the encoded data is also stored in “moov”.
  • Information for obtaining data from "mdat” (address information (offset information) of data from the beginning of the file, data size, etc.) is stored in the metadata for each encoded data. Further, “ftyp” indicates a file type of subsequent data.
  • units such as “moov” and “mdat” that are divided boxes may be divided and transmitted in time. Further, the divided data units may be interleaved.
  • the three-dimensional data multiplexing device defines a box indicating configuration information (hereinafter simply referred to as configuration information), and stores identification information of a plurality of data included in a file in the configuration information. Also, the three-dimensional data multiplexing device stores identification information that can access the metadata of each data in the configuration information.
  • FIG. 27 is a diagram showing a configuration example of the configuration information.
  • FIG. 28 is a diagram illustrating a syntax example of the configuration information.
  • the configuration information indicates information on the contents and components that make up the ISOBMFF file, sensor information when the original data of the component is acquired, format information, and an encoding method.
  • the configuration information includes overall configuration information and configuration information for each encoded data.
  • the plurality of pieces of configuration information may have the same data structure or box, or may have different data structures or boxes.
  • the type in the mp4 box indicates that it is a configuration information box, for example, by 4CC such as “msuc”.
  • the overall configuration information (data()) indicates the configuration of a plurality of data with different encoding methods.
  • data() includes num_of_data, data_type and data_configuration.
  • Num_of_data indicates the number of encoded data and RAW data that make up a file.
  • data_type indicates identification information for each data. That is, data_type indicates the type of a plurality of data.
  • data_type indicates whether the data is point cloud data or a sensor signal (for example, RAW data). Further, data_type may indicate whether or not the data is encoded. Further, data_type may indicate the encoding method (encoding method) used for encoding the encoded data. The encoding method is, for example, GPPC or VPPC. Further, the coding method may be Codecs 1 to 4 and the like shown in FIG. Also, data_type may indicate information for identifying the configuration information.
  • data_type may indicate the type of original data of the point cloud data.
  • the type of original data is, for example, the type of sensor that generated the sensor signal (for example, 2D sensor or 3D sensor) when the original data is a sensor signal.
  • the data_type may also include information indicating the data format of the sensor signal (for example, 1D information, 2D information, 3D information, or the like).
  • data_configuration indicates the configuration information for each data.
  • the data_configuration() is configuration information for each encoded data, and includes num_of_component, component_type, and component_id.
  • Num_of_component indicates the number of components in the encoded data.
  • component_type indicates the type of the component. For example, in the case of PCC encoding, component_type indicates whether the component is a geometry, an attribute, or metadata.
  • Component_id indicates a unique identifier for associating the component with other metadata and data.
  • the encoding method may be an encoding method used for audio, text, an application, a 360-degree image, etc., in addition to the video codec and the PCC codec.
  • the data may be processed data such as mesh or CAD.
  • the coding method may be the same codec, or different coding methods of profiles, levels, or tools, and any coding method can be handled in an integrated manner. is there.
  • FIG. 29 is a diagram showing a configuration example of the data box “mdat”. Each coded data or RAW data is individually stored in the sample which is the minimum unit of the data box.
  • the synchronization information such as the time stamp for each encoded data included in the file is set based on the overall synchronization information such as the common reference time.
  • the synchronization information is information that is synchronized with each other.
  • the reference time, the time resolution and the time interval in the time stamps of a plurality of encoded data may be aligned, and the synchronization information may be shared by a plurality of encoded data.
  • the synchronization information may be stored in any one or more of the synchronization information for each encoded data and the common synchronization information.
  • the metadata includes at least one of information indicating a place where the common time information is stored and information indicating that the synchronization information is common.
  • the three-dimensional data multiplexing device may store a plurality of synchronized encoded data as one sample.
  • the three-dimensional data multiplexing apparatus separately provides difference information indicating the difference between the time stamps of the encoded data.
  • the derived difference information may be stored in the output signal.
  • the three-dimensional data multiplexing device may store a flag indicating whether or not synchronization is achieved in the output signal.
  • the three-dimensional data demultiplexing apparatus encodes each sample by processing the respective samples at the time indicated by the time stamp indicated in the metadata by using the synchronization information of the respective encoded data and the overall synchronization information. Synchronize data.
  • FIG. 30 is a flowchart showing an example of application processing.
  • the three-dimensional data demultiplexing apparatus acquires an ISOBMFF file including point cloud data and a plurality of encoded data (S7301).
  • the three-dimensional data demultiplexing device may obtain the ISOBMFF file by communication or read it from the stored data.
  • the three-dimensional data demultiplexing apparatus analyzes the entire configuration information in the ISOBMFF file and specifies the data used for the application (S7302). For example, the three-dimensional data demultiplexing apparatus acquires data used for processing and does not acquire data not used for processing.
  • the three-dimensional data demultiplexing apparatus extracts one or more data used for the application and analyzes the configuration information of the data (S7303).
  • the three-dimensional data demultiplexing device converts ISOBMFF into an encoded stream and extracts a time stamp (S7305). In addition, the three-dimensional data demultiplexing device determines whether or not the data is synchronized with each other, for example, by referring to a flag indicating whether or not the data is synchronized with each other. Processing may be performed.
  • the three-dimensional data demultiplexing apparatus decodes the data by a predetermined method according to the time stamp and other instructions, and processes the decoded data (S7306).
  • the three-dimensional data demultiplexing device extracts data and a time stamp (S7307). In addition, the three-dimensional data demultiplexing device determines whether or not the data is synchronized with each other, for example, by referring to a flag indicating whether or not the data is synchronized with each other. Processing may be performed. Next, the three-dimensional data demultiplexer processes the data according to the time stamp and other instructions (S7308).
  • FIG. 31 is a diagram showing an example of the beam LiDAR, FLASH LiDAR, and the sensor range of the camera.
  • the beam LiDAR detects all directions around the vehicle (sensor), and the FLASH LiDAR and the camera detect a range in one direction (for example, the front) of the vehicle.
  • the three-dimensional data demultiplexer refers to the overall configuration information and extracts and decodes the coded data of beam LiDAR and FLASH LiDAR. Also, the three-dimensional data demultiplexer does not extract camera images.
  • the three-dimensional data demultiplexer simultaneously processes the encoded data of the same time stamp according to the LiDAR and FLASH LiDAR time stamps.
  • the three-dimensional data demultiplexing device may present the processed data with a presentation device, combine the beam cloud data of the beam LiDAR and FLASH LiDAR, and perform processing such as rendering.
  • the three-dimensional data demultiplexing device may extract sensor position information and use it in the application.
  • the three-dimensional data demultiplexer may select whether to use the beam LiDAR information or FLASH LiDAR in the application and switch the processing according to the selection result.
  • the data acquisition and code processing can be changed adaptively according to the processing of the application, so the processing amount and power consumption can be reduced.
  • FIG. 32 is a diagram showing a configuration example of the automatic driving system.
  • This automatic driving system includes a cloud server 7350 and an edge 7360 such as an in-vehicle device or a mobile device.
  • the cloud server 7350 includes a demultiplexing unit 7351, decoding units 7352A, 7352B and 7355, a point cloud data combining unit 7353, a large-scale data storage unit 7354, a comparing unit 7356, and an encoding unit 7357.
  • the edge 7360 includes sensors 7361A and 7361B, point cloud data generation units 7362A and 7362B, a synchronization unit 7363, encoding units 7364A and 7364B, a multiplexing unit 7365, an update data storage unit 7366, and a demultiplexing unit. 7367, the decoding part 7368, the filter 7369, the self-position estimation part 7370, and the driving control part 7371.
  • the edge 7360 downloads large-scale data that is large-scale point cloud map data accumulated in the cloud server 7350.
  • the edge 7360 performs self-position estimation processing of the edge 7360 (vehicle or terminal) by matching the large-scale data with the sensor information obtained by the edge 7360.
  • the edge 7360 also uploads the acquired sensor information to the cloud server 7350 and updates the large-scale data with the latest map data.
  • point cloud data with different encoding methods are handled in various applications that handle point cloud data in the system.
  • the cloud server 7350 encodes and multiplexes large-scale data. Specifically, the encoding unit 7357 performs encoding using the third encoding method suitable for encoding the large scale point cloud. Also, the encoding unit 7357 multiplexes the encoded data.
  • the large-scale data storage unit 7354 stores the data encoded and multiplexed by the encoding unit 7357.
  • Edge 7360 performs sensing.
  • the point cloud data generation unit 7362A uses the sensing information acquired by the sensor 7361A to generate the first point cloud data (position information (geometry) and attribute information).
  • the point cloud data generation unit 7362B uses the sensing information acquired by the sensor 7361B to generate second point cloud data (position information and attribute information).
  • the generated first point cloud data and second point cloud data are used for self-position estimation in automatic driving, vehicle control, or map update. In each processing, a part of the information of the first point cloud data and the second point cloud data may be used.
  • Edge 7360 performs self-position estimation. Specifically, the edge 7360 downloads large-scale data from the cloud server 7350.
  • the demultiplexing unit 7367 obtains encoded data by demultiplexing large-scale data in the file format.
  • the decoding unit 7368 acquires large-scale data that is large-scale point cloud map data by decoding the acquired encoded data.
  • the self-position estimation unit 7370 matches the acquired large-scale data with the first point cloud data and the second point cloud data generated by the point cloud data generation units 7362A and 7362B, to thereby map the vehicle map. Estimate the self-position at.
  • the driving control unit 7371 uses the matching result or the self-position estimation result for driving control.
  • the self-position estimation unit 7370 and the operation control unit 7371 may extract specific information such as position information from the large-scale data and perform processing using the extracted information. Further, the filter 7369 performs processing such as correction or thinning on the first point cloud data and the second point cloud data.
  • the self-position estimation unit 7370 and the operation control unit 7371 may use the first point cloud data and the second point cloud data after the processing is performed.
  • the self-position estimation unit 7370 and the operation control unit 7371 may use the sensor signals obtained by the sensors 7361A and 7361B.
  • the synchronization unit 7363 performs time synchronization and position correction between data of a plurality of sensor signals or a plurality of point cloud data.
  • the synchronization unit 7363 corrects the position information of the sensor signal or the point cloud data so as to match the large-scale data, based on the position correction information of the large-scale data and the sensor data generated by the self-position estimation process. Good.
  • the synchronization and position correction may be performed by the cloud server 7350 instead of the edge 7360.
  • the edge 7360 may multiplex the synchronization information and the position information and transmit the multiplexed information to the cloud server 7350.
  • Edge 7360 is. Encode and multiplex sensor signals or point cloud data.
  • the sensor signal or the point cloud data is encoded using the first encoding method or the second encoding method suitable for encoding the respective signals.
  • the encoding unit 7364A generates the first encoded data by encoding the first point cloud data using the first encoding method.
  • the encoding unit 7364B generates the second encoded data by encoding the second point cloud data using the second encoding method.
  • the multiplexing unit 7365 generates a multiplexed signal by multiplexing the first coded data, the second coded data, the synchronization information and the like.
  • the update data storage unit 7366 stores the generated multiplexed signal. Also, the update data storage unit 7366 uploads the multiplexed signal to the cloud server 7350.
  • the cloud server 7350 synthesizes the point cloud data. Specifically, the demultiplexing unit 7351 obtains the first coded data and the second coded data by demultiplexing the multiplexed signal uploaded to the cloud server 7350.
  • the decoding unit 7352A acquires the first point cloud data (or the sensor signal) by decoding the first encoded data.
  • the decoding unit 7352B acquires the second point cloud data (or the sensor signal) by decoding the second encoded data.
  • the point cloud data synthesis unit 7353 synthesizes the first point cloud data and the second point cloud data by a predetermined method.
  • the point cloud data combination unit 7353 may perform the combination using the information.
  • the decryption unit 7355 demultiplexes and decrypts the large-scale data stored in the large-scale data storage unit 7354.
  • the comparison unit 7356 compares the point cloud data generated based on the sensor signal obtained at the edge 7360 and the large-scale data included in the cloud server 7350, and determines the point cloud data that needs to be updated.
  • the comparing unit 7356 updates the point cloud data determined to be necessary to be updated from the large-scale data to the point cloud data obtained from the edge 7360.
  • the encoding unit 7357 encodes and multiplexes the updated large-scale data, and stores the obtained data in the large-scale data storage unit 7354.
  • the signals to be handled may differ, and the signals to be multiplexed or the encoding method may differ, depending on the intended use or application. Even in such a case, flexible decoding and application processing can be performed by multiplexing data of various encoding methods using the present embodiment. Even if the signal encoding method is different, various applications and systems can be constructed by converting the appropriate encoding method by demultiplexing, decoding, data conversion, encoding, and multiplexing processing. It will be possible to provide flexible services.
  • the three-dimensional data multiplexing apparatus performs the processing shown in FIG.
  • the three-dimensional data multiplexing device generates an output signal having a predetermined file structure (for example, ISOBMFF) by multiplexing a plurality of types of data including point cloud data (S7311).
  • the three-dimensional data multiplexing device stores information (for example, data_type) indicating the type of each of the plurality of data included in the output signal in the metadata (control information) in the file configuration (S7312).
  • the 3D data multiplexing device stores information indicating the type of each of the plurality of data included in the output signal in the metadata in the file configuration. This makes it possible to easily determine the type of each data in the three-dimensional data demultiplexing device that receives the output signal.
  • the three-dimensional data multiplexing method can appropriately multiplex and transmit point cloud data.
  • the information indicating the type of each of the plurality of data includes (1) the encoding method applied to the data, (2) the structure of the data, (3) the type of sensor that generated the data, or (4) the data format. Indicates.
  • the metadata in the file structure includes synchronization information for synchronizing the times of a plurality of data included in the output signal.
  • a plurality of data can be synchronized in the three-dimensional data demultiplexing device that receives the output signal.
  • the synchronization information indicates the time stamp difference between a plurality of data. According to this, the data amount of the output signal can be reduced.
  • the three-dimensional data multiplexing device includes a processor and a memory, and the processor uses the memory to perform the above processing.
  • the three-dimensional data demultiplexing apparatus performs the processing shown in FIG.
  • the three-dimensional data demultiplexer converts an output signal of a predetermined file structure (for example, ISOBMFF) in which a plurality of types of data including point cloud data are multiplexed into an output signal stored in metadata in the file structure.
  • Information for example, data_type
  • the three-dimensional data demultiplexer acquires a plurality of data from the output signal by using the information indicating the type of each of the plurality of data (S7322).
  • the three-dimensional data demultiplexing apparatus selectively acquires the necessary data from the output signal using the information indicating the type of each of the plurality of data. According to this, the three-dimensional data demultiplexing device can easily determine the type of each data.
  • the information indicating the type of each of the plurality of data includes (1) the encoding method applied to the data, (2) the structure of the data, (3) the type of sensor that generated the data, or (4) the data format. Indicates.
  • the metadata in the file structure includes synchronization information for synchronizing the times of a plurality of data included in the output signal.
  • a three-dimensional data demultiplexer synchronizes a plurality of data using synchronization information.
  • the synchronization information indicates the time stamp difference between a plurality of data.
  • the synchronization information includes information indicating a time stamp of any of the plurality of data, and the three-dimensional data demultiplexer adds the difference indicated by the synchronization information to any time stamp of the plurality of data. Then, the time stamp of the other data of the plurality of data is restored. As a result, the data amount of the output signal can be reduced.
  • the three-dimensional data demultiplexing device includes a processor and a memory, and the processor uses the memory to perform the above processing.
  • the three-dimensional data multiplexing device, the three-dimensional data demultiplexing device, the three-dimensional data encoding device, the three-dimensional data decoding device, and the like according to the embodiments of the present disclosure have been described above. It is not limited to the form.
  • each processing unit included in the three-dimensional data multiplexing device, the three-dimensional data demultiplexing device, the three-dimensional data encoding device, the three-dimensional data decoding device, and the like according to the above embodiments is typically an integrated circuit. It is realized as a certain LSI. These may be individually made into one chip, or may be made into one chip so as to include a part or all of them.
  • the integrated circuit is not limited to the LSI, and it may be realized by a dedicated circuit or a general-purpose processor.
  • An FPGA Field Programmable Gate Array
  • a reconfigurable processor that can reconfigure connection and settings of circuit cells inside the LSI may be used.
  • each component may be configured by dedicated hardware, or may be realized by executing a software program suitable for each component.
  • Each component may be realized by a program execution unit such as a CPU or a processor reading and executing a software program recorded in a recording medium such as a hard disk or a semiconductor memory.
  • the present disclosure also discloses a three-dimensional data multiplexing method, a three-dimensional data demultiplexing apparatus, a three-dimensional data demultiplexing apparatus, a three-dimensional data encoding apparatus, a three-dimensional data decoding apparatus, and the like. It may be realized as an encoding method, a three-dimensional data encoding method, a three-dimensional data decoding method, or the like.
  • the division of functional blocks in the block diagram is an example, and multiple functional blocks can be implemented as one functional block, one functional block can be divided into multiple, and some functions can be transferred to other functional blocks. May be. Further, the functions of a plurality of functional blocks having similar functions may be processed in parallel or in time division by a single piece of hardware or software.
  • the order in which the steps in the flowchart are executed is an example for specifically describing the present disclosure, and may be an order other than the above.
  • some of the above steps may be executed simultaneously (in parallel) with other steps.
  • the three-dimensional data multiplexing device, the three-dimensional data demultiplexing device, the three-dimensional data encoding device, the three-dimensional data decoding device, and the like have been described above based on the embodiments.
  • the present disclosure is not limited to this embodiment. As long as it does not depart from the gist of the present disclosure, various modifications that can be conceived by those skilled in the art are made to the present embodiment, and forms constructed by combining components in different embodiments are also within the scope of one or more aspects. May be included within.
  • the present disclosure can be applied to a three-dimensional data multiplexing device, a three-dimensional data demultiplexing device, a three-dimensional data encoding device, and a three-dimensional data decoding device.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)

Abstract

三次元データ符号化方法は、点群データを含む複数種類のデータを多重化することで所定のファイル構成の出力信号を生成し（Ｓ７３１１）、前記ファイル構成におけるメタデータに出力信号に含まれる複数のデータの各々の種別を示す情報を格納する（Ｓ７３１２）。例えば、前記情報は、（１）データに適用された符号化方式、（２）データの構成、（３）データを生成したセンサの種類、又は（４）データフォーマットを示してもよい。

Description

三次元データ多重化方法、三次元データ逆多重化方法、三次元データ多重化装置、及び三次元データ逆多重化装置
　本開示は、三次元データ多重化方法、三次元データ逆多重化方法、三次元データ多重化装置、及び三次元データ逆多重化装置に関する。
　自動車或いはロボットが自律的に動作するためのコンピュータビジョン、マップ情報、監視、インフラ点検、又は、映像配信など、幅広い分野において、今後、三次元データを活用した装置又はサービスの普及が見込まれる。三次元データは、レンジファインダなどの距離センサ、ステレオカメラ、又は複数の単眼カメラの組み合わせなど様々な方法で取得される。
　三次元データの表現方法の１つとして、三次元空間内の点群によって三次元構造の形状を表すポイントクラウドと呼ばれる表現方法がある。ポイントクラウドでは、点群の位置と色とが格納される。ポイントクラウドは三次元データの表現方法として主流になると予想されるが、点群はデータ量が非常に大きい。よって、三次元データの蓄積又は伝送においては二次元の動画像（一例として、ＭＰＥＧで規格化されたＭＰＥＧ－４　ＡＶＣ又はＨＥＶＣなどがある）と同様に、符号化によるデータ量の圧縮が必須となる。
　また、ポイントクラウドの圧縮については、ポイントクラウド関連の処理を行う公開のライブラリ（Ｐｏｉｎｔ　Ｃｌｏｕｄ　Ｌｉｂｒａｒｙ）などによって一部サポートされている。
　また、三次元の地図データを用いて、車両周辺に位置する施設を検索し、表示する技術が知られている（例えば、特許文献１参照）。
国際公開第２０１４／０２０６６３号
　また、点群（ポイントクラウド）データを多重化して送信する手法が求められている。
　本開示は、適切に点群データを多重化して送信できる三次元データ多重化方法、三次元データ逆多重化方法、三次元データ多重化装置、又は三次元データ逆多重化装置を提供することを目的とする。
　本開示の一態様に係る三次元データ多重化方法は、点群データを含む複数種類のデータを多重化することで所定のファイル構成の出力信号を生成し、前記ファイル構成におけるメタデータに前記出力信号に含まれる複数のデータの各々の種別を示す情報を格納する。
　本開示の一態様に係る三次元データ逆多重化方法は、点群データを含む複数種類のデータが多重化された所定のファイル構成の出力信号から、前記ファイル構成におけるメタデータに格納されている、前記出力信号に含まれる複数のデータの各々の種別を示す情報を取得し、前記情報を用いて、前記出力信号から前記複数のデータを取得する。
　本開示は、適切に点群データを多重化して送信できる三次元データ多重化方法、三次元データ逆多重化方法、三次元データ多重化装置、又は三次元データ逆多重化装置を提供できる。
図１は、実施の形態に係る三次元データ符号化復号システムの構成を示す図である。 図２は、実施の形態に係る点群データの構成例を示す図である。 図３は、実施の形態に係る点群データ情報が記述されたデータファイルの構成例を示す図である。 図４は、実施の形態に係る点群データの種類を示す図である。 図５は、実施の形態に係る第１の符号化部の構成を示す図である。 図６は、実施の形態に係る第１の符号化部のブロック図である。 図７は、実施の形態に係る第１の復号部の構成を示す図である。 図８は、実施の形態に係る第１の復号部のブロック図である。 図９は、実施の形態に係る第２の符号化部の構成を示す図である。 図１０は、実施の形態に係る第２の符号化部のブロック図である。 図１１は、実施の形態に係る第２の復号部の構成を示す図である。 図１２は、実施の形態に係る第２の復号部のブロック図である。 図１３は、実施の形態に係るＰＣＣ符号化データに関わるプロトコルスタックを示す図である。 図１４は、実施の形態に係る点群データ生成装置の構成例を示す図である。 図１５は、実施の形態に係る点群データ生成装置の構成例を示す図である。 図１６は、実施の形態に係る点群データ生成装置の構成例を示す図である。 図１７は、実施の形態に係る点群データ符号化システムの構成例を示す図である。 図１８は、実施の形態に係る三次元データ多重化装置の構成例を示す図である。 図１９は、実施の形態に係る三次元データ多重化装置の具体例を示す図である。 図２０は、実施の形態に係る各種センサのセンサ範囲を示す図である。 図２１は、実施の形態に係る三次元データ多重化装置の別の構成例を示す図である。 図２２は、実施の形態に係る複数の情報をファイルフォーマットに格納するためのプロトコルを示す図である。 図２３は、実施の形態に係る入力データの構成例を示す図である。 図２４は、実施の形態に係るＮＡＬユニットの構成例を示す図である。 図２５は、実施の形態に係るＩＳＯＢＭＦＦの構成例を示す図である。 図２６は、実施の形態に係るｍｏｏｖ及びｍｄａｔの構成例を示す図である。 図２７は、実施の形態に係る構成情報の構成例を示す図である。 図２８は、実施の形態に係る構成情報のシンタックス例を示す図である。 図２９は、実施の形態に係るｍｄａｔの構成例を示す図である。 図３０は、実施の形態に係るアプリケーション処理の例を示すフローチャートである。 図３１は、実施の形態に係る各種センサのセンサ範囲を示す図である。 図３２は、実施の形態に係る自動運転システムの構成例を示す図である。 図３３は、実施の形態に係る三次元データ多重化処理のフローチャートである。 図３４は、実施の形態に係る三次元データ逆多重化処理のフローチャートである。
　本開示の一態様に係る三次元データ多重化方法は、点群データを含む複数種類のデータを多重化することで所定のファイル構成の出力信号を生成し、前記ファイル構成におけるメタデータに前記出力信号に含まれる複数のデータの各々の種別を示す情報を格納する。
　これによれば、当該三次元データ多重化方法は、ファイル構成におけるメタデータに出力信号に含まれる複数のデータの各々の種別を示す情報を格納する。これにより、当該出力信号を受信する三次元データ逆多重化装置において、容易に各データの種別を判定できる。このように、当該三次元データ多重化方法は、適切に点群データを多重化して送信できる。
　例えば、前記情報は、（１）データに適用された符号化方式、（２）データの構成、（３）データを生成したセンサの種類、又は（４）データフォーマットを示してもよい。
　例えば、前記メタデータは、前記出力信号に含まれる前記複数のデータの時刻を同期させるための同期情報を含んでもよい。
　これによれば、当該出力信号を受信する三次元データ逆多重化装置において、複数のデータを同期させることができる。
　例えば、前記同期情報は、前記複数のデータ間におけるタイムスタンプの差分を示してもよい。
　これによれば、出力信号のデータ量を削減できる。
　本開示の一態様に係る三次元データ逆多重化方法は、点群データを含む複数種類のデータが多重化された所定のファイル構成の出力信号から、前記ファイル構成におけるメタデータに格納されている、前記出力信号に含まれる複数のデータの各々の種別を示す情報を取得し、前記情報を用いて、前記出力信号から前記複数のデータを取得する。
　これによれば、当該三次元データ逆多重化方法は、容易に各データの種別を判定できる。
　例えば、前記情報は、（１）データに適用された符号化方式、（２）データの構成、（３）データを生成したセンサの種類、又は（４）データフォーマットを示してもよい。
　例えば、前記メタデータは、前記出力信号に含まれる前記複数のデータの時刻を同期させるための同期情報を含んでもよい。
　これによれば、当該三次元データ逆多重化方法は、複数のデータを同期させることができる。
　例えば、前記同期情報は、前記複数のデータ間におけるタイムスタンプの差分を示してもよい。
　これによれば、出力信号のデータ量を削減できる。
　また、本開示の一態様に係る三次元データ多重化装置は、プロセッサと、メモリとを備え、前記プロセッサは、前記メモリを用いて、点群データを含む複数種類のデータを多重化することで所定のファイル構成の出力信号を生成し、前記ファイル構成におけるメタデータに前記出力信号に含まれる複数のデータの各々の種別を示す情報を格納する。
　これによれば、当該三次元データ多重化装置は、ファイル構成におけるメタデータに出力信号に含まれる複数のデータの各々の種別を示す情報を格納する。これにより、当該出力信号を受信する三次元データ逆多重化装置において、容易に各データの種別を判定できる。このように、当該三次元データ多重化装置は、適切に点群データを多重化して送信できる。
　また、本開示の一態様に係る三次元データ逆多重化装置は、プロセッサと、メモリとを備え、前記プロセッサは、前記メモリを用いて、点群データを含む複数種類のデータが多重化された所定のファイル構成の出力信号から、前記ファイル構成におけるメタデータに格納されている、前記出力信号に含まれる複数のデータの各々の種別を示す情報を取得し、前記情報を用いて、前記出力信号から前記複数のデータを取得する。
　これによれば、当該三次元データ逆多重化装置は、容易に各データの種別を判定できる。
　なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
　以下、実施の形態について、図面を参照しながら具体的に説明する。なお、以下で説明する実施の形態は、いずれも本開示の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
　（実施の形態）
　まず、本実施の形態に係る三次元データ（点群データ）符号化復号システムの構成を説明する。図１は、本実施の形態に係る三次元データ符号化復号システムの構成例を示す図である。図１に示すように、三次元データ符号化復号システムは、三次元データ符号化システム４６０１と、三次元データ復号システム４６０２と、センサ端末４６０３と、外部接続部４６０４とを含む。
　三次元データ符号化システム４６０１は、三次元データである点群データを符号化することで符号化データ又は多重化データを生成する。なお、三次元データ符号化システム４６０１は、単一の装置により実現される三次元データ符号化装置であってもよいし、複数の装置により実現されるシステムであってもよい。また、三次元データ符号化装置は、三次元データ符号化システム４６０１に含まれる複数の処理部のうち一部を含んでもよい。
　三次元データ符号化システム４６０１は、点群データ生成システム４６１１と、提示部４６１２と、符号化部４６１３と、多重化部４６１４と、入出力部４６１５と、制御部４６１６とを含む。点群データ生成システム４６１１は、センサ情報取得部４６１７と、点群データ生成部４６１８とを含む。
　センサ情報取得部４６１７は、センサ端末４６０３からセンサ情報を取得し、センサ情報を点群データ生成部４６１８に出力する。点群データ生成部４６１８は、センサ情報から点群データを生成し、点群データを符号化部４６１３へ出力する。
　提示部４６１２は、センサ情報又は点群データをユーザに提示する。例えば、提示部４６１２は、センサ情報又は点群データに基づく情報又は画像を表示する。
　符号化部４６１３は、点群データを符号化（圧縮）し、得られた符号化データと、符号化過程において得られた制御情報と、その他の付加情報とを多重化部４６１４へ出力する。付加情報は、例えば、センサ情報を含む。
　多重化部４６１４は、符号化部４６１３から入力された符号化データと、制御情報と、付加情報とを多重することで多重化データを生成する。多重化データのフォーマットは、例えば蓄積のためのファイルフォーマット、又は伝送のためのパケットフォーマットである。
　入出力部４６１５（例えば、通信部又はインタフェース）は、多重化データを外部へ出力する。または、多重化データは、内部メモリ等の蓄積部に蓄積される。制御部４６１６（またはアプリ実行部）は、各処理部を制御する。つまり、制御部４６１６は、符号化及び多重化等の制御を行う。
　なお、センサ情報が符号化部４６１３又は多重化部４６１４へ入力されてもよい。また、入出力部４６１５は、点群データ又は符号化データをそのまま外部へ出力してもよい。
　三次元データ符号化システム４６０１から出力された伝送信号（多重化データ）は、外部接続部４６０４を介して、三次元データ復号システム４６０２に入力される。
　三次元データ復号システム４６０２は、符号化データ又は多重化データを復号することで三次元データである点群データを生成する。なお、三次元データ復号システム４６０２は、単一の装置により実現される三次元データ復号装置であってもよいし、複数の装置により実現されるシステムであってもよい。また、三次元データ復号装置は、三次元データ復号システム４６０２に含まれる複数の処理部のうち一部を含んでもよい。
　三次元データ復号システム４６０２は、センサ情報取得部４６２１と、入出力部４６２２と、逆多重化部４６２３と、復号部４６２４と、提示部４６２５と、ユーザインタフェース４６２６と、制御部４６２７とを含む。
　センサ情報取得部４６２１は、センサ端末４６０３からセンサ情報を取得する。
　入出力部４６２２は、伝送信号を取得し、伝送信号から多重化データ（ファイルフォーマット又はパケット）を復号し、多重化データを逆多重化部４６２３へ出力する。
　逆多重化部４６２３は、多重化データから符号化データ、制御情報及び付加情報を取得し、符号化データ、制御情報及び付加情報を復号部４６２４へ出力する。
　復号部４６２４は、符号化データを復号することで点群データを再構成する。
　提示部４６２５は、点群データをユーザに提示する。例えば、提示部４６２５は、点群データに基づく情報又は画像を表示する。ユーザインタフェース４６２６は、ユーザの操作に基づく指示を取得する。制御部４６２７（またはアプリ実行部）は、各処理部を制御する。つまり、制御部４６２７は、逆多重化、復号及び提示等の制御を行う。
　なお、入出力部４６２２は、点群データ又は符号化データをそのまま外部から取得してもよい。また、提示部４６２５は、センサ情報などの付加情報を取得し、付加情報に基づいた情報を提示してもよい。また、提示部４６２５は、ユーザインタフェース４６２６で取得されたユーザの指示に基づき、提示を行ってもよい。
　センサ端末４６０３は、センサで得られた情報であるセンサ情報を生成する。センサ端末４６０３は、センサ又はカメラを搭載した端末であり、例えば、自動車などの移動体、飛行機などの飛行物体、携帯端末、又はカメラなどがある。
　センサ端末４６０３で取得可能なセンサ情報は、例えば、（１）ＬＩＤＡＲ、ミリ波レーダ、又は赤外線センサから得られる、センサ端末４６０３と対象物との距離（位置情報）、色、又は対象物の反射率、（２）複数の単眼カメラ画像又はステレオカメラ画像から得られるカメラと対象物との距離（位置情報）、色又は対象物の反射率等である。また、センサ情報は、センサの姿勢、向き、ジャイロ（角速度）、位置（ＧＰＳ情報又は高度）、速度、加速度、又はセンサ情報の取得時刻等を含んでもよい。また、センサ情報は、気温、気圧、湿度、又は磁気等を含んでもよい。
　外部接続部４６０４は、集積回路（ＬＳＩ又はＩＣ）、外部蓄積部、インターネットを介したクラウドサーバとの通信、又は、放送等により実現される。
　次に、点群データについて説明する。図２は、点群データの構成を示す図である。図３は、点群データの情報が記述されたデータファイルの構成例を示す図である。
　点群データは、複数の点のデータを含む。各点のデータは、位置情報（三次元座標）、及びその位置情報に対する属性情報とを含む。この点が複数集まったものを点群と呼ぶ。例えば、点群は対象物（オブジェクト）の三次元形状を示す。
　三次元座標等の位置情報（Ｐｏｓｉｔｉｏｎ）をジオメトリ（ｇｅｏｍｅｔｒｙ）と呼ぶこともある。また、各点のデータは、複数の属性種別の属性情報（ａｔｔｒｉｂｕｔｅ）を含んでもよい。属性種別は、例えば色又は反射率などである。
　１つの位置情報に対して１つの属性情報が対応付けられてもよいし、１つの位置情報に対して複数の異なる属性種別を持つ属性情報が対応付けられてもよい。また、１つの位置情報に対して同じ属性種別の属性情報が複数対応付けられてもよい。
　図３に示すデータファイルの構成例は、位置情報と属性情報とが１対１に対応する場合の例であり、点群データを構成するＮ個の点の位置情報と属性情報とを示している。
　位置情報は、例えば、ｘ、ｙ、ｚの３軸の情報である。属性情報は、例えば、ＲＧＢの色情報である。代表的なデータファイルとしてｐｌｙファイルなどがある。
　次に、点群データの種類について説明する。図４は、点群データの種類を示す図である。図４に示すように、点群データには、静的オブジェクトと、動的オブジェクトとがある。
　静的オブジェクトは、任意の時間（ある時刻）の三次元点群データである。動的オブジェクトは、時間的に変化する三次元点群データである。以降、ある時刻の三次元点群データをＰＣＣフレーム、又はフレームと呼ぶ。
　オブジェクトは、通常の映像データのように、ある程度領域が制限されている点群であってもよいし、地図情報のように領域が制限されていない大規模点群であってもよい。
　また、様々な密度の点群データがあり、疎な点群データと、密な点群データとが存在してもよい。
　以下、各処理部の詳細について説明する。センサ情報は、ＬＩＤＡＲ或いはレンジファインダなどの距離センサ、ステレオカメラ、又は、複数の単眼カメラの組合せなど様々な方法で取得される。点群データ生成部４６１８は、センサ情報取得部４６１７で得られたセンサ情報に基づき点群データを生成する。点群データ生成部４６１８は、点群データとして、位置情報を生成し、位置情報に、当該位置情報に対する属性情報を付加する。
　点群データ生成部４６１８は、位置情報の生成又は属性情報の付加の際に、点群データを加工してもよい。例えば、点群データ生成部４６１８は、位置が重複する点群を削除することでデータ量を減らしてもよい。また、点群データ生成部４６１８は、位置情報を変換（位置シフト、回転又は正規化など）してもよいし、属性情報をレンダリングしてもよい。
　なお、図１では、点群データ生成システム４６１１は、三次元データ符号化システム４６０１に含まれるが、三次元データ符号化システム４６０１の外部に独立して設けられてもよい。
　符号化部４６１３は、点群データを予め規定された符号化方法に基づき符号化することで符号化データを生成する。符号化方法には大きく以下の２種類がある。一つ目は、位置情報を用いた符号化方法であり、この符号化方法を、以降、第１の符号化方法と記載する。二つ目は、ビデオコーデックを用いた符号化方法であり、この符号化方法を、以降、第２の符号化方法と記載する。
　復号部４６２４は、符号化データを予め規定された符号化方法に基づき復号することで点群データを復号する。
　多重化部４６１４は、符号化データを、既存の多重化方式を用いて多重化することで多重化データを生成する。生成された多重化データは、伝送又は蓄積される。多重化部４６１４は、ＰＣＣ符号化データの他に、映像、音声、字幕、アプリケーション、ファイルなどの他のメディア、又は基準時刻情報を多重化する。また、多重化部４６１４は、さらに、センサ情報又は点群データに関連する属性情報を多重してもよい。
　多重化方式又はファイルフォーマットとしては、ＩＳＯＢＭＦＦ、ＩＳＯＢＭＦＦベースの伝送方式であるＭＰＥＧ－ＤＡＳＨ、ＭＭＴ、ＭＰＥＧ－２　ＴＳ　Ｓｙｓｔｅｍｓ、ＲＭＰなどがある。
　逆多重化部４６２３は、多重化データからＰＣＣ符号化データ、その他のメディア、及び時刻情報などを抽出する。
　入出力部４６１５は、多重化データを、放送又は通信など、伝送する媒体又は蓄積する媒体にあわせた方法を用いて伝送する。入出力部４６１５は、インターネット経由で他のデバイスと通信してもよいし、クラウドサーバなどの蓄積部と通信してもよい。
　通信プロトコルとしては、ｈｔｔｐ、ｆｔｐ、ＴＣＰ、ＵＤＰ又はＩＰなどが用いられる。ＰＵＬＬ型の通信方式が用いられてもよいし、ＰＵＳＨ型の通信方式が用いられてもよい。
　有線伝送及び無線伝送のいずれが用いられてもよい。有線伝送としては、Ｅｔｈｅｒｎｅｔ（登録商標）、ＵＳＢ、ＲＳ－２３２Ｃ、ＨＤＭＩ（登録商標）、又は同軸ケーブルなどが用いられる。無線伝送としては、３ＧＰＰのＩＥＥＥで規定される３Ｇ／４Ｇ／５Ｇ、無線ＬＡＮ、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はミリ波などが用いられる。
　また、放送方式としては、例えばＤＶＢ－Ｔ２、ＤＶＢ－Ｓ２、ＤＶＢ－Ｃ２、ＡＴＳＣ３．０、又はＩＳＤＢ－Ｓ３などが用いられる。
　図５は、第１の符号化方法の符号化を行う符号化部４６１３の例である第１の符号化部４６３０の構成を示す図である。図６は、第１の符号化部４６３０のブロック図である。第１の符号化部４６３０は、点群データを第１の符号化方法で符号化することで符号化データ（符号化ストリーム）を生成する。この第１の符号化部４６３０は、位置情報符号化部４６３１と、属性情報符号化部４６３２と、付加情報符号化部４６３３と、多重化部４６３４とを含む。
　第１の符号化部４６３０は、三次元構造を意識して符号化を行うという特徴を有する。また、第１の符号化部４６３０は、属性情報符号化部４６３２が、位置情報符号化部４６３１から得られる情報を用いて符号を行うという特徴を有する。第１の符号化方法は、ＧＰＣＣ（Ｇｅｏｍｅｔｒｙ　ｂａｓｅｄ　ＰＣＣ）とも呼ばれる。
　点群データは、ＰＬＹファイルのようなＰＣＣ点群データ、又は、センサ情報から生成されたＰＣＣ点群データであり、位置情報（Ｐｏｓｉｔｉｏｎ）、属性情報（Ａｔｔｒｉｂｕｔｅ）、及びその他の付加情報（ＭｅｔａＤａｔａ）を含む。位置情報は位置情報符号化部４６３１に入力され、属性情報は属性情報符号化部４６３２に入力され、付加情報は付加情報符号化部４６３３に入力される。
　位置情報符号化部４６３１は、位置情報を符号化することで符号化データである符号化位置情報（Ｃｏｍｐｒｅｓｓｅｄ　Ｇｅｏｍｅｔｒｙ）を生成する。例えば、位置情報符号化部４６３１は、８分木等のＮ分木構造を用いて位置情報を符号化する。具体的には、８分木では、対象空間が８個のノード（サブ空間）に分割され、各ノードに点群が含まれるか否かを示す８ビットの情報（オキュパンシー符号）が生成される。また、点群が含まれるノードは、さらに、８個のノードに分割され、当該８個のノードの各々に点群が含まれるか否かを示す８ビットの情報が生成される。この処理が、予め定められた階層又はノードに含まれる点群の数の閾値以下になるまで繰り返される。
　属性情報符号化部４６３２は、位置情報符号化部４６３１で生成された構成情報を用いて符号化することで符号化データである符号化属性情報（Ｃｏｍｐｒｅｓｓｅｄ　Ａｔｔｒｉｂｕｔｅ）を生成する。例えば、属性情報符号化部４６３２は、位置情報符号化部４６３１で生成された８分木構造に基づき、処理対象の対象点（対象ノード）の符号化において参照する参照点（参照ノード）を決定する。例えば、属性情報符号化部４６３２は、周辺ノード又は隣接ノードのうち、８分木における親ノードが対象ノードと同一のノードを参照する。なお、参照関係の決定方法はこれに限らない。
　また、属性情報の符号化処理は、量子化処理、予測処理、及び算術符号化処理のうち少なくとも一つを含んでもよい。この場合、参照とは、属性情報の予測値の算出に参照ノードを用いること、又は、符号化のパラメータの決定に参照ノードの状態（例えば、参照ノードに点群が含まれる否かを示す占有情報）を用いること、である。例えば、符号化のパラメータとは、量子化処理における量子化パラメータ、又は算術符号化におけるコンテキスト等である。
　付加情報符号化部４６３３は、付加情報のうち、圧縮可能なデータを符号化することで符号化データである符号化付加情報（Ｃｏｍｐｒｅｓｓｅｄ　ＭｅｔａＤａｔａ）を生成する。
　多重化部４６３４は、符号化位置情報、符号化属性情報、符号化付加情報及びその他の付加情報を多重化することで符号化データである符号化ストリーム（Ｃｏｍｐｒｅｓｓｅｄ　Ｓｔｒｅａｍ）を生成する。生成された符号化ストリームは、図示しないシステムレイヤの処理部へ出力される。
　次に、第１の符号化方法の復号を行う復号部４６２４の例である第１の復号部４６４０について説明する。図７は、第１の復号部４６４０の構成を示す図である。図８は、第１の復号部４６４０のブロック図である。第１の復号部４６４０は、第１の符号化方法で符号化された符号化データ（符号化ストリーム）を、第１の符号化方法で復号することで点群データを生成する。この第１の復号部４６４０は、逆多重化部４６４１と、位置情報復号部４６４２と、属性情報復号部４６４３と、付加情報復号部４６４４とを含む。
　図示しないシステムレイヤの処理部から符号化データである符号化ストリーム（Ｃｏｍｐｒｅｓｓｅｄ　Ｓｔｒｅａｍ）が第１の復号部４６４０に入力される。
　逆多重化部４６４１は、符号化データから、符号化位置情報（Ｃｏｍｐｒｅｓｓｅｄ　Ｇｅｏｍｅｔｒｙ）、符号化属性情報（Ｃｏｍｐｒｅｓｓｅｄ　Ａｔｔｒｉｂｕｔｅ）、符号化付加情報（Ｃｏｍｐｒｅｓｓｅｄ　ＭｅｔａＤａｔａ）、及び、その他の付加情報を分離する。
　位置情報復号部４６４２は、符号化位置情報を復号することで位置情報を生成する。例えば、位置情報復号部４６４２は、８分木等のＮ分木構造で表される符号化位置情報から三次元座標で表される点群の位置情報を復元する。
　属性情報復号部４６４３は、位置情報復号部４６４２で生成された構成情報に基づき、符号化属性情報を復号する。例えば、属性情報復号部４６４３は、位置情報復号部４６４２で得られた８分木構造に基づき、処理対象の対象点（対象ノード）の復号において参照する参照点（参照ノード）を決定する。例えば、属性情報復号部４６４３は、周辺ノード又は隣接ノードのうち、８分木における親ノードが対象ノードと同一のノードを参照する。なお、参照関係の決定方法はこれに限らない。
　また、属性情報の復号処理は、逆量子化処理、予測処理、及び算術復号処理のうち少なくとも一つを含んでもよい。この場合、参照とは、属性情報の予測値の算出に参照ノードを用いること、又は、復号のパラメータの決定に参照ノードの状態（例えば、参照ノードに点群が含まれる否かを示す占有情報）を用いること、である。例えば、復号のパラメータとは、逆量子化処理における量子化パラメータ、又は算術復号におけるコンテキスト等である。
　付加情報復号部４６４４は、符号化付加情報を復号することで付加情報を生成する。また、第１の復号部４６４０は、位置情報及び属性情報の復号処理に必要な付加情報を復号時に使用し、アプリケーションに必要な付加情報を外部に出力する。
　次に、第２の符号化方法の符号化を行う符号化部４６１３の例である第２の符号化部４６５０について説明する。図９は、第２の符号化部４６５０の構成を示す図である。図１０は、第２の符号化部４６５０のブロック図である。
　第２の符号化部４６５０は、点群データを第２の符号化方法で符号化することで符号化データ（符号化ストリーム）を生成する。この第２の符号化部４６５０は、付加情報生成部４６５１と、位置画像生成部４６５２と、属性画像生成部４６５３と、映像符号化部４６５４と、付加情報符号化部４６５５と、多重化部４６５６とを含む。
　第２の符号化部４６５０は、三次元構造を二次元画像に投影することで位置画像及び属性画像を生成し、生成した位置画像及び属性画像を既存の映像符号化方式を用いて符号化するという特徴を有する。第２の符号化方法は、ＶＰＣＣ（Ｖｉｄｅｏ　ｂａｓｅｄ　ＰＣＣ）とも呼ばれる。
　点群データは、ＰＬＹファイルのようなＰＣＣ点群データ、又は、センサ情報から生成されたＰＣＣ点群データであり、位置情報（Ｐｏｓｉｔｉｏｎ）、属性情報（Ａｔｔｒｉｂｕｔｅ）、及びその他の付加情報ＭｅｔａＤａｔａ）を含む。
　付加情報生成部４６５１は、三次元構造を二次元画像に投影することで、複数の二次元画像のマップ情報を生成する。
　位置画像生成部４６５２は、位置情報と、付加情報生成部４６５１で生成されたマップ情報とに基づき、位置画像（Ｇｅｏｍｅｔｒｙ　Ｉｍａｇｅ）を生成する。この位置画像は、例えば、画素値として距離（Ｄｅｐｔｈ）が示される距離画像である。なお、この距離画像は、一つの視点から複数の点群を見た画像（一つの二次元平面に複数の点群を投影した画像）であってもよいし、複数の視点から複数の点群を見た複数の画像であってもよいし、これらの複数の画像を統合した一つの画像であってもよい。
　属性画像生成部４６５３は、属性情報と、付加情報生成部４６５１で生成されたマップ情報とに基づき、属性画像を生成する。この属性画像は、例えば、画素値として属性情報（例えば色（ＲＧＢ））が示される画像である。なお、この画像は、一つの視点から複数の点群を見た画像（一つの二次元平面に複数の点群を投影した画像）であってもよいし、複数の視点から複数の点群を見た複数の画像であってもよいし、これらの複数の画像を統合した一つの画像であってもよい。
　映像符号化部４６５４は、位置画像及び属性画像を、映像符号化方式を用いて符号化することで、符号化データである符号化位置画像（Ｃｏｍｐｒｅｓｓｅｄ　Ｇｅｏｍｅｔｒｙ　Ｉｍａｇｅ）及び符号化属性画像（Ｃｏｍｐｒｅｓｓｅｄ　Ａｔｔｒｉｂｕｔｅ　Ｉｍａｇｅ）を生成する。なお、映像符号化方式として、公知の任意の符号化方法が用いられてよい。例えば、映像符号化方式は、ＡＶＣ又はＨＥＶＣ等である。
　付加情報符号化部４６５５は、点群データに含まれる付加情報、及びマップ情報等を符号化することで符号化付加情報（Ｃｏｍｐｒｅｓｓｅｄ　ＭｅｔａＤａｔａ）を生成する。
　多重化部４６５６は、符号化位置画像、符号化属性画像、符号化付加情報、及び、その他の付加情報を多重化することで符号化データである符号化ストリーム（Ｃｏｍｐｒｅｓｓｅｄ　Ｓｔｒｅａｍ）を生成する。生成された符号化ストリームは、図示しないシステムレイヤの処理部へ出力される。
　次に、第２の符号化方法の復号を行う復号部４６２４の例である第２の復号部４６６０について説明する。図１１は、第２の復号部４６６０の構成を示す図である。図１２は、第２の復号部４６６０のブロック図である。第２の復号部４６６０は、第２の符号化方法で符号化された符号化データ（符号化ストリーム）を、第２の符号化方法で復号することで点群データを生成する。この第２の復号部４６６０は、逆多重化部４６６１と、映像復号部４６６２と、付加情報復号部４６６３と、位置情報生成部４６６４と、属性情報生成部４６６５とを含む。
　図示しないシステムレイヤの処理部から符号化データである符号化ストリーム（Ｃｏｍｐｒｅｓｓｅｄ　Ｓｔｒｅａｍ）が第２の復号部４６６０に入力される。
　逆多重化部４６６１は、符号化データから、符号化位置画像（Ｃｏｍｐｒｅｓｓｅｄ　Ｇｅｏｍｅｔｒｙ　Ｉｍａｇｅ）、符号化属性画像（Ｃｏｍｐｒｅｓｓｅｄ　Ａｔｔｒｉｂｕｔｅ　Ｉｍａｇｅ）、符号化付加情報（Ｃｏｍｐｒｅｓｓｅｄ　ＭｅｔａＤａｔａ）、及び、その他の付加情報を分離する。
　映像復号部４６６２は、符号化位置画像及び符号化属性画像を、映像符号化方式を用いて復号することで、位置画像及び属性画像を生成する。なお、映像符号化方式として、公知の任意の符号化方式が用いられてよい。例えば、映像符号化方式は、ＡＶＣ又はＨＥＶＣ等である。
　付加情報復号部４６６３は、符号化付加情報を復号することで、マップ情報等を含む付加情報を生成する。
　位置情報生成部４６６４は、位置画像とマップ情報とを用いて位置情報を生成する。属性情報生成部４６６５は、属性画像とマップ情報とを用いて属性情報を生成する。
　第２の復号部４６６０は、復号に必要な付加情報を復号時に使用し、アプリケーションに必要な付加情報を外部に出力する。
　以下、ＰＣＣ符号化方式について説明する。図１３は、ＰＣＣ符号化データに関わるプロトコルスタックを示す図である。図１３には、ＰＣＣ符号化データに、映像（例えばＨＥＶＣ）或いは音声などの他のメディアのデータ、又はセンサ情報を多重し、伝送又は蓄積する例を示す。
　多重化方式及びファイルフォーマットは、様々な符号化データを多重し、伝送又は蓄積するための機能を有している。符号化データを伝送又は蓄積するために、符号化データを多重化方式のフォーマットに変換する。例えば、ＨＥＶＣでは、ＮＡＬユニットと呼ばれるデータ構造に符号化データを格納し、ＮＡＬユニットをＩＳＯＢＭＦＦに格納する技術が規定されている。
　ＰＣＣにおいても同様の構成が想定される。センサ情報は、点群データとともに、ＰＣＣ符号化される場合もあれば、別の符号化方法をもちいて符号化される場合、符号化されずに直接多重レイヤに格納される場合があり、それらを組み合わせることもできる。別の符号化方法とは、具体的には、別の三次元符号化方法、又は、点群データを二次元或いは一次元データに変換したデータを符号化する符号化方法である。
　以下、センサ信号（センサ情報とも呼ぶ）から点群データを生成する構成の例を説明する。図１４～図１６は、それぞれセンサ信号から点群データを生成する点群データ生成装置の構成例を示す図である。
　図１４に示す点群データ生成装置は、１つのセンシングデバイス７３０１から得られるセンサ信号から点群データを生成する。図１４に示す点群データ生成装置は、センシングデバイス７３０１と、センサ情報入力部７３０２と、点群データ生成部７３０３とを備える。センサ情報入力部７３０２は、センシングデバイス７３０１で得られたセンサ信号を取得する。点群データ生成部７３０３は、センサ情報入力部７３０２が取得したセンサ信号から点群データを生成する。生成された点群データは、例えば、後段の点群データを符号化部（図示せず）に出力される。
　図１５に示すように、２以上のセンシングデバイスから得られるセンサ信号に基づき点群データが生成されてもよい。図１５に示す点群データ生成装置は、センシングデバイス７３０１Ａ及び７３０１Ｂと、センサ情報入力部７３０２Ａ及び７３０２Ｂと、点群データ生成部７３０３Ａとを備える。センサ情報入力部７３０２Ａは、センシングデバイス７３０１Ａで得られた第１のセンサ信号を取得する。センサ情報入力部７３０２Ｂは、センシングデバイス７３０１Ｂで得られた第２のセンサ信号を取得する。点群データ生成部７３０３Ａは、センサ情報入力部７３０２Ａ及び７３０２Ｂが取得した２つのセンサ信号から点群データを生成する。生成された点群データは、例えば、後段の点群データを符号化部（図示せず）に出力される。
　図１６に示す点群データ生成装置は、センシングデバイス７３０１Ｃと、センサ情報入力部７３０２Ｃと、点群データ生成部７３０３Ｃとを備える。センシングデバイス７３０１Ｃは、２以上のセンシング方法を用いてセンシングされた２つの情報を所定の方法でマージしたセンサ信号を生成する。センシングデバイス７３０１Ｃは、センシング部７３０４Ａ及び７３０４Ｂと、マージ部７３０５とを備える。
　センシング部７３０４Ａは、第１のセンシング方法により第１のセンサ信号を生成する。センシング部７３０４Ｂは、第２のセンシング方法により第２のセンサ信号を生成する。マージ部７３０５は、第１のセンサ信号と第２のセンサ信号とをマージし、生成したセンサ信号をセンサ情報入力部７３０２Ｃに出力する。
　なお、マージ部７３０５は、所定の条件に基づき第１のセンサ信号と第２のセンサ信号との一方を選択し、選択したセンサ信号を出力してもよい。また、マージ部７３０５は、２つのセンサ信号をマージする場合は、マージに使用する重み係数を変化させてもよい。
　例えば、マージ部７３０５は、いずれのセンサ信号を選択するかの判定を、取得したセンサ信号に基づき行ってもよいし、別のセンサ信号に基づき行ってもよい。
　例えば、第１のセンシング方法と第２のセンシング方法とは、センサのパラメータが異なってもよいし、センシングの周波数又は機構が異なってもよい。また、センタ信号は、センシング方法又はセンシングの際のパラメータなどを示す情報を含んでもよい。
　マージ部７３０５は、複数のセンシング方法を切り替える場合には、どのセンシング方法を用いたかを示す情報、又は切り替えの判定基準のデータをセンサ信号に含めてもよい。マージ部７３０５は、センサ信号をマージする場合には、マージしたセンシング方法を識別するための情報、マージの判定基準のデータ、又はマージ係数をセンサ信号に含めてもよい。
　また、センシングデバイス７３０１Ｃは、複数のセンサ信号を出力してもよい。また、センシングデバイス７３０１Ｃは、複数のセンサ信号として、第１のセンサ信号の絶対値と、第１のセンサ信号と第２のセンサ信号との差分値とを出力してもよい。
　また、センサ信号は、第１のセンシング方法と第２のセンシング方法との関係を示す情報を含んでもよい。例えば、センサ信号は、第１のセンシング方法と第２のセンシング方法との基準位置情報の絶対値、又は相対値を含んでもよいし、センサ信号の取得時間、基準時刻情報、又はセンサの角度を示す情報を含んでもよい。これらの情報がセンサ信号に含まれることで、後段の処理においてこれらの情報に基づき２つのセンサ信号の関係の補正又は合成が可能となる。
　センサ情報入力部７３０２Ｃは、センシングデバイス７３０１Ｃで得られたセンサ信号を取得する。点群データ生成部７３０３Ｃは、センサ情報入力部７３０２Ｃが取得したセンサ信号から点群データを生成する。生成された点群データは、例えば、後段の点群データを符号化部（図示せず）に出力される。
　このように、点群データ生成装置は、上記の様々なセンサ信号のうち、いずれか一つ又は２以上のセンサ信号に基づき点群データを生成する。なお、点群データ生成装置は、点群データの生成過程において点の位置情報又は属性情報を補正してもよい。
　なお、点群データ生成装置は、図１４～図１６のいずれかに示す構成でもよいし、これらのうちの複数を組み合わせた構成であってもよい。また、点群データ生成装置は、固定的な方法を用いてもよいし、例えば、センシングの目的又はユースケースに応じて、用いる方法を適応的に変化させてもよい。
　次に、本実施の形態に係る点群データ符号化システムの構成例を説明する。図１７は、本実施の形態に係る点群データ符号化システムの構成例を示す図である。図１７に示す点群データ符号化システムは、第１のデバイス７３１０と、第２のデバイス７３２０とを含む。
　第１のデバイス７３１０は、センシング部７３１１と出力Ｉ／Ｆ（インタフェース）７３１２とを含む。第２のデバイス７３２０は、センシング部７３２１と、出力Ｉ／Ｆ７３２２と、入力Ｉ／Ｆ７３２３と、処理部７３２４とを含む。処理部７３２４は、点群データ生成部７３２５と、符号化部７３２６とを含む。
　センシング部７３１１又は７３２１は、ＣＰＵなどで構成される処理部７３２４と同一のハードウェア又はデバイスに含まれてもよいし、異なるハードウェア又はデバイスに含まれてもよい。
　センシング部７３２１は、処理部７３２４と同一のデバイス（第２のデバイス７３２０）に含まれる。この場合、センシング部７３２１の出力信号（ＲＡＷデータと呼ぶ）はそのまま点群データ生成部７３２５に入力される。
　センシング部７３１１は、処理部７３２４と異なるデバイス（第１のデバイス７３１０）に含まれる。この場合、センシング部７３１１から出力されるＲＡＷデータは、出力Ｉ／Ｆ７３１２において入出力フォーマット（外部出力フォーマット）に変換され、フォーマット化された信号が第２のデバイス７３２０へ入力される。第２のデバイス７３２０に含まれる入力Ｉ／Ｆ７３２３は、フォーマット化された信号をＲＡＷデータに変換し、得られたＲＡＷデータを点群データ生成部７３２５へ出力する。出力Ｉ／Ｆ７３１２及び入力Ｉ／Ｆ７３２３は、例えば、図１に示す多重化部４６１４及び入出力部４６１５の機能を有する。
　また、処理部７３２４と同一デバイスに含まれるセンシング部７３２１からの出力信号（ＲＡＷデータ）を出力Ｉ／Ｆ７３２２で入出力フォーマットに変換し、入力Ｉ／Ｆ７３２３においてフォーマット化された信号をＲＡＷデータに変換し、得られたＲＡＷデータが点群データ生成部７３２５へ入力されてもよい。
　また、複数のセンサ信号が入力される場合において、例えば、他のデバイスから入力されるセンサ信号と同一デバイスから入力されるセンサ信号とが混在する場合は、これらのセンサ信号が同一のフォーマットに変換されてもよい。また、変換の際、それぞれの信号には信号を特定できる識別子が付与されてもよい。例えば、ＵＤＰ（Ｕｓｅｒ　Ｄａｔａｇｒａｍ　Ｐｒｏｔｏｃｏｌ）を用いて送信が行われる場合、各信号は、ＩＰ（Ｉｎｔｅｒｎｅｔ　Ｐｒｏｔｏｃｏｌ）又はＵＤＰの送信元アドレス又は送信元ポート番号で識別されてもよい。これにより、点群データ生成部７３２５へ入力されるフォーマットを統一できるので、信号の制御が容易となる。
　点群データ生成部７３２５は、入力されたＲＡＷデータを用いて点群データを生成する。符号化部７３２６は、生成された点群データを符号化する。
　次に、本実施の形態に係る三次元データ多重化装置（三次元データ多重化システム）の構成例を説明する。図１８は、本実施の形態に係る三次元データ多重化装置の構成例を示す図である。三次元データ多重化装置は、様々なセンサ信号を符号化及び多重化することで出力信号を生成し、生成された出力信号を蓄積又は伝送する。
　図１８に示すように三次元データ多重化装置は、センシング部７３３１Ａ、７３３１Ｂ及び７３３１Ｃと、センサ情報入力部７３３２Ａ、７３３２Ｂ及び７３３２Ｃと、点群データ生成部７３３３Ａ及び７３３３Ｂと、符号化部７３３４Ａ及び７３３４Ｂと、同期部７３３５と、多重化部７３３６とを備える。ここでは３つのセンシング部が用いられる例を示すが、センシング部の数はこれに限定されない。また、各センシング部からセンサ信号の処理方法についても下記の処理方法の任意の組み合わせを用いることができる。
　センサ情報入力部７３３２Ａは、センシング部７３３１Ａでセンシングにより生成された第１のセンサ信号を取得する。センサ情報入力部７３３２Ｂは、センシング部７３３１Ｂでセンシングにより生成された第２のセンサ信号を取得する。センサ情報入力部７３３２Ｃは、センシング部７３３１Ｃでセンシングにより生成された第３のセンサ信号を取得する。
　点群データ生成部７３３３Ａは、第１のセンサ信号から第１の点群データを生成する。点群データ生成部７３３３Ｂは、第２のセンサ信号から第２の点群データを生成する。このとき、センシング部７３３１Ａとセンシング部７３３１Ｂとで用いられるセンシング方法の違い（例えば、方向、範囲、取得可能な属性、周波数、分解能等、方法、又は手段）により、生成される点群データにおける点の数、点の範囲、属性情報が異なる場合がある。
　符号化部７３３４Ａは、第１の点群データを符号化することで第１の符号化データを生成する。符号化部７３３４Ｂは、第２の点群データを符号化することで第２の符号化データを生成する。例えば、符号化部７３３４Ａと符号化部７３３４Ｂとは、互いに異なる符号化方法を適用する。例えば、符号化部７３３４Ａは第１の符号化方式を用い、符号化部７３３４Ｂは第１の符号化方式と異なる第２の符号化方式を用いてもよい。なお、符号化部７３３４Ａと符号化部７３３４Ｂとは、同一の符号化方式を用いてもよい。
　符号化部７３３４Ａ及び７３３４Ｂは、点群データにおける点の位置情報又は属性情報をエントロピー符号化などを用いて圧縮してもよい。また、符号化部７３３４Ａ及び７３３４Ｂは、センサ信号、センサの位置情報或いは角度情報、又は時刻情報などをメタデータとして格納してもよい。
　符号化部７３３４Ａ及び７３３４Ｂは、点群データに適した符号化方式を用いる。例えば、第１の符号化方式は、地図情報又は静止コンテンツで高い符号化率を期待できる符号化方式であり、第２の符号化方式は、ＡＲ又はＶＲのようなコンテンツで高い符号化率を期待できる符号化方式である。この場合、符号化部７３３４Ａ及び７３３４Ｂは、コンテンツに適した符号化方式を用いてもよい。
　あるいは、例えば、第１の符号化方式は、ビームＬｉＤＡＲのようなセンシング部でセンシングされた情報に基づく点群に対して高い符号化率を期待できる符号化方式であり、第２の符号化方式は、ＦＬＡＳＨ　ＬｉＤＡＲのようなセンシング部でセンシングされた情報に基づく点群に対して高い符号化率を期待できる符号化方式である。この場合、符号化部７３３４Ａ及び７３３４Ｂは、センシング部に適した符号化方式を用いてもよい。
　また、符号化部７３３４Ａ及び７３３４Ｂは、符号化方式を変更するのではなく、同一の符号化方式においてコンテンツ又はセンシング部に適した符号化ツール又は符号化に関わるパラメータを用いてもよい。
　生成された第１の符号化データ及び第２の符号化データは、多重化部７３３６に入力される。例えば、センシング部７３３１Ｃでセンシングされた第３のセンサ信号は、符号化の必要がないデータである。この場合、点群データの生成及び符号化は行われず、第３のセンサ信号がそのまま多重化部７３３６に入力される。なお、低遅延な伝送を目的として符号化が行われなくてもよい。
　同期部７３３５は、複数のセンシング部を同期させるための機能を持つ。例えば、同期部７３３５は、同期に関わる情報として、センシングの時刻情報、タイムスタンプ情報、及び角度情報などを用いる。これらの同期に関わる情報は、共通の情報である同期信号として出力信号に多重化されてもよい。または、これらの同期に関わる情報は、各センサ信号に含まれてもよい。
　多重化部７３３６は、１以上の符号化データ、メタデータ、センサ信号のＲＡＷデータ、及び同期信号を多重化することで出力信号を生成する。また、多重化部７３３６は、それぞれのデータを識別するための情報、及び各データの対応関係を示す情報を出力信号に格納する。
　図１９は、三次元データ多重化装置の具体例を示す図である。図１９に示すように、センシング部７３３１ＡとしてビームＬｉＤＡＲが用いられ、センシング部７３３１ＢとしてＦＬＡＳＨ　ＬｉＤＡＲが用いられる。ＬｉＤＡＲの特性に応じて、点群の範囲及び距離、並びに解像度などが異なる。図２０は、ビームＬｉＤＡＲ及びＦＬＡＳＨ　ＬｉＤＡＲのセンサ範囲の例を示す図である。例えば、ビームＬｉＤＡＲは、車両（センサ）の周囲の全方向を検知し、ＦＬＡＳＨ　ＬｉＤＡＲは、車両の一方向（例えば前方）の範囲を検知する。
　点群データ生成部７３３３Ａは、ビームＬｉＤＡＲから取得されるビーム照射角に対する距離情報及び反射率情報に基づき第１の点群データを生成する。点群データ生成部７３３３Ｂは、ＦＬＡＳＨ　ＬｉＤＡＲから得られる二次元の距離情報及び反射率に基づき第２の点群データを生成する。なお、点群データ生成部７３３３Ａ及び７３３３Ｂは、さらにカメラで取得される二次元の色情報などを併用し、色情報と反射率との両方を持つ点群データを生成してもよい。
　また、センシング部７３３１Ｃとして、３軸ジャイロセンサ、３軸加速度センサ又はＧＰＳなどの位置情報センサである車載センサが用いられる。これらのセンサ情報は、車全体の状態を表すセンサ情報であり、第１のセンサ信号及び第２のセンサ信号に関連する共通の情報ということもできる。これらの共通のセンサ情報は、符号化されて多重化されてもよいし、符号されずに多重化されてもよい。また、これらの情報は、点群データに共通の付加情報として第１のセンサ信号や第２のセンサ信号に格納され符号化されてもよい。または、共通のセンサ情報は、第１のセンサ信号と第２のセンサ信号との一方のセンサ信号に格納されてもよい。この場合、共通のセンサ情報がいずれのセンサ信号に格納されているかを示す情報が、例えばその他のセンサ信号又は同期信号に示されてもよい。
　また、センサを取得する時刻に関する情報として、例えばＮＴＰ（Ｎｅｔｗｏｒｋ　Ｔｉｍｅ　Ｐｒｏｔｏｃｏｌ）又はＰＴＰ（Ｐｒｅｃｉｓｉｏｎ　Ｔｉｍｅ　Ｐｒｏｔｏｃｏｌ）などの基準時刻情報に基づいたタイムスタンプが、ビームＬｉＤＡＲに基づく第１の点群データと、ＦＬＡＳＨ　ＬｉＤＡＲに基づく第２の点群データとに付与される。それぞれセンサのタイムスタンプは、共通の基準時刻に同期するものであり、符号化部７３３４Ａ及び７３３４Ｂで符号化される。
　また、共通の基準時刻を示す基準時刻情報は、同期信号として多重化されてもよい。基準時刻情報は多重されなくてもよい。三次元データ逆多重化装置（三次元データ復号装置）は、複数のセンサ信号の符号化データからそれぞれのタイムスタンプを取得する。タイムスタンプは共通の基準時刻に同期しているため、三次元データ逆多重化装置は、複数のセンサ信号の復号データを、それぞれのタイムスタンプに基づき動作させることで、複数のセンサ間の同期をとることができる。
　なお、ビームＬｉＤＡＲ及びＦＬＡＳＨ　ＬｉＤＡＲ毎にそれぞれ対応する時刻情報が設定されてもよい。また、ビームＬｉＤＡＲ及びＦＬＡＳＨ　ＬｉＤＡＲ毎にそれぞれ３軸センサが設けられてもよい。その場合、それぞれのＮＴＰとしてインターネット時刻などの共通の時刻が用いられる。また、それぞれの３軸センサが、予めキャリブレーションされ、予め同期された複数の３軸センサが用いられる。
　図２１は、三次元データ多重化装置の別の構成例を示す図である。図２１に示すように三次元データ多重化装置は、センシング部７３４１Ａ、７３４１Ｂ及び７３４１Ｃと、入出力部７３４２Ａ、７３４２Ｂ及び７３４２Ｃと、点群データ生成部７３４３と、符号化部７３４４Ａ及び７３４４Ｂと、同期部７３４５と、多重化部７３４６とを備える。
　入出力部７３４２Ａは、センシング部７３４１Ａでセンシングにより生成された第１のセンサ信号を取得する。入出力部７３４２Ｂは、センシング部７３４１Ｂでセンシングにより生成された第２のセンサ信号を取得する。入出力部７３４２Ｃは、センシング部７３４１Ｃでセンシングにより生成された第３のセンサ信号を取得する。なお、入出力部７３４２Ａ、７３４２Ｂ及び７３４２Ｃは、取得したセンサ信号を蓄積するメモリを有してもよい。
　点群データ生成部７３４３は、第１のセンサ信号から第１の点群データを生成する。符号化部７３４４Ａは、第１の点群データを符号化することで第１の符号化データを生成する。符号化部７３４４Ｂは、第２のセンサ情報を符号化することで第２の符号化データを生成する。
　同期部７３４５は、複数のセンシング部を同期させるための機能を持つ。多重化部７３４６は、１以上の符号化データ、メタデータ、センサ信号のＲＡＷデータ、及び同期信号を多重化することで出力信号を生成する。
　このように、図２１に示す構成では、センシング部７３４１Ｂで得られるセンサ信号（ＲＡＷデータ）から点群データは生成されず、センサ信号はＲＡＷデータのまま符号化される。例えば、第２のセンサ信号が、ＦＬＡＳＨ　ＬｉＤＡＲ、又はカメラなどＣＭＯＳセンサで得られる二次元の情報である場合、符号化部７３４４Ｂは、ＡＶＣ又はＨＥＶＣなどの動画像コーデックを用いて第２のセンサ信号を符号化する。これにより、符号化効率の高い符号化を実現できる。また、既存コーデックを活用することでコストの安いシステム構築が可能となる。
　このように、三次元データ多重化装置は、センシング部に応じて、点群データを変換後に符号化する手段と、点群データに変換せずにＲＡＷデータのまま符号化する手段とを併用し、それぞれの符号化データを多重化する。
　次に、多重化により所定のファイルフォーマットの出力信号を生成する手法の例を説明する。以下では、所定のファイルフォーマットがＩＳＯＢＭＦＦ（ＩＳＯ　ｂａｓｅｄ　ｍｅｄｉａ　ｆｉｌｅ　ｆｏｒｍａｔ）である場合の例を説明する。なお、ファイルフォーマットはＩＳＯＢＭＦＦに限定されず、他のファイルフォーマットが用いられてもよい。
　ＩＳＯＢＭＦＦは、ＩＳＯ／ＩＥＣ１４４９６－１２に規定されるファイルフォーマット規格である。ＩＳＯＢＭＦＦは、ビデオ、オーディオ、及びテキストなど様々なメディアのデータを多重して格納できるフォーマットを規定しており、メディアに依存しない規格である。
　ＩＳＯＢＭＦＦへのメディア毎の格納方法は別途規定されている。例えば、ＡＶＣビデオ及びＨＥＶＣビデオの格納方法は、ＩＳＯ／ＩＥＣ１４４９６－１５に規定される。
　一方で、複数のセンサ情報（センサ信号）から取得されたデータの符号化データをＩＳＯＢＭＦＦに格納する方法が必要である。図２２は、複数のセンサ情報を、様々な符号化方法でそれぞれ符号化し、ＩＳＯＢＭＦＦへ格納するプロトコルを示す図である。
　Ｄａｔａ１～Ｄａｔａ５は、それぞれ様々な種類のセンサから取得されたセンサデータ（センサ信号）であり、例えばＲＡＷデータ等である。Ｄａｔａ１とＤａｔａ２は３Ｄ点群フォーマットに変換され、３Ｄ点群フォーマット用の符号化方法Ｃｏｄｅｃ１又はＣｏｄｅｃ２を用いて符号化される。また、Ｄａｔａ３とＤａｔａ４は画像などの２Ｄデータのフォーマットに変換され、２Ｄデータフォーマット用の符号化方法Ｃｏｄｅｃ３又はＣｏｄｅｃ４を用いて符号化される。
　それぞれの符号化データは、所定の方法でＮＡＬユニットに変換されてＩＳＯＢＭＦＦに格納される。なお、ＮＡＬユニットは、３ＤＦｏｒｍａｔ及び２ＤＦｏｒｍａｔで共通の形式であってもよいし、異なる形式であってもよい。また、異なる符号化方法のＮＡＬユニットは共通の形式であってもよいし、異なる形式であってもよい。なお、センサデータのフォーマットは、ここにあげる３Ｄ及び２Ｄフォーマット以外にも、１Ｄのフォーマット、又はその他のフォーマットであってもよい。
　Ｄａｔａ５は、センサから取得されたセンサデータを符号化せずに直接ＩＳＯＢＭＦＦに格納する場合である。
　これらのデータの任意の組み合わせのデータを統合的に格納するフォーマットを提供することにより、複数のセンサを扱うシステムのデータの管理が容易となり、様々な機能を実現することが可能となる。
　次に、ＩＳＯＢＭＦＦの構成を説明する。三次元データ多重化装置は、複数のセンサデータをＩＳＯＢＭＦＦへ格納する。図２３は、多重化対象の入力データの構成例を示す図である。図２４は、ＮＡＬユニットの構成例を示す図である。図２５は、ＩＳＯＢＭＦＦの構成例を示す図である。図２６は、ｍｏｏｖ及びｍｄａｔの構成例を示す図である。
　入力データに含まれる符号化データは、主に符号化データ（Ｄａｔａ）とメタデータ（Ｍｅｔａ）に大別される。メタデータとしては、符号化データ毎のヘッダで示されるメタデータと、パラメータセットとして独立のＮＡＬユニットに格納されるメタデータとがある。また、メタデータが符号化データに含まれる場合もある。三次元データ多重化装置は、これらの複数の異なるコーデック毎のＮＡＬユニット及びＲＡＷデータを一つのＩＳＯＢＭＦＦへ格納する。
　ＩＳＯＢＭＦＦはボックス構造で構成される。ＩＳＯＢＭＦＦのボックスとして、主にメタデータを格納する「ｍｏｏｖ」及び「ｍｅｔａ」と、データを格納する「ｍｄａｔ」とがある。
　符号化データ及びＲＡＷデータはＩＳＯＢＭＦＦにおける「ｍｄａｔ」にサンプル単位で格納される。また、入力データにおけるメタデータは、符号化データ毎に、ＩＳＯＭＢＦＦにおける「ｍｏｏｖ」の「ｔｒａｋ」に所定のフォーマットで格納される。符号化データ内に含まれるメタデータ及び同期情報も「ｍｏｏｖ」内に格納される。
　「ｍｄａｔ」からデータを取得するための情報（ファイル先頭からのデータのアドレス情報（オフセット情報）及びデータのサイズなど）は、符号化データ毎のメタデータに格納される。また、「ｆｔｙｐ」には後続のデータのファイルタイプ等が示される。
　なお、フォーマットおよびボックス名は、ここに挙げたもの以外でもよく、同じ機能を有するものであればよい。
　また、リアルタイム通信などのユースケースにおいては、「ｍｏｏｖ」及び「ｍｄａｔ」のようなボックスを分割した単位が時間的に分けて送信されてもよい。また、分割した単位のデータがインターリーブされてもよい。
　三次元データ多重化装置は、構成情報を示すボックス（以下単に構成情報と記す）を定義し、ファイルに含まれる複数のデータの識別情報を構成情報に格納する。また、三次元データ多重化装置は、それぞれのデータのメタデータにアクセス可能な識別情報を構成情報に格納する。
　図２７は、構成情報の構成例を示す図である。図２８は、構成情報のシンタックス例を示す図である。
　構成情報は、ＩＳＯＢＭＦＦファイルを構成するコンテンツ及びコンポーネントの情報、コンポーネントの元データを取得した際のセンサ情報、フォーマット情報、並びに、符号化方法などを示す。
　図２７に示すように、構成情報は、全体構成情報と、符号化データ毎の構成情報とを含む。複数の構成情報は、同一のデータ構造又はボックスであってもよいし、異なるデータ構造又はボックスであってもよい。
　ｍｐ４ボックスにおけるｔｙｐｅには、構成情報ボックスであることが、例えば「ｍｓｕｃ」などの４ＣＣで示される。全体構成情報（ｄａｔａ（））には、符号化方式の異なる複数のデータの構成が示される。ｄａｔａ（）は、ｎｕｍ＿ｏｆ＿ｄａｔａ、ｄａｔａ＿ｔｙｐｅ及びｄａｔａ＿ｃｏｎｆｉｇｕｒａｔｉｏｎを含む。
　ｎｕｍ＿ｏｆ＿ｄａｔａは、ファイルを構成する符号化データ及びＲＡＷデータの数を示す。ｄａｔａ＿ｔｙｐｅは、データ毎の識別情報を示す。つまり、ｄａｔａ＿ｔｙｐｅは、複数のデータの種別を示す。
　具体的には、ｄａｔａ＿ｔｙｐｅは、データが点群データであるか、センサ信号（例えばＲＡＷデータ）であるかを示す。また、ｄａｔａ＿ｔｙｐｅは、データが符号化されているか否かを示してもよい。また、ｄａｔａ＿ｔｙｐｅは、符号化データの符号化に用いられた符号化方法（符号化方式）を示してもよい。符号化方法とは、例えば、ＧＰＰＣ又はＶＰＰＣ等である。また、符号化方法は、図２２に示すＣｏｄｅｃ１～４等であってもよい。また、ｄａｔａ＿ｔｙｐｅは、構成情報を識別するための情報を示してもよい。
　また、ｄａｔａ＿ｔｙｐｅは、点群データの元データの種別を示してもよい。元データの種別とは、元データがセンサ信号である場合の、センサ信号を生成したセンサの種類（例えば２Ｄセンサか３Ｄセンサかなど）等である。また、ｄａｔａ＿ｔｙｐｅは、センサ信号のデータフォーマット（例えば１Ｄ情報か２Ｄ情報か３Ｄ情報かなど）を示す情報を含んでもよい。
　例えば、ｄａｔａ＿ｔｙｐｅ＝０はＰＣＣ　Ｃｏｄｅｃ１を示し、ｄａｔａ＿ｔｙｐｅ＝１はＰＣＣ　Ｃｏｄｅｃ２を示し、ｄａｔａ＿ｔｙｐｅ＝２はＶｉｄｅｏ　Ｃｏｄｅｃ３を示し、ｄａｔａ＿ｔｙｐｅ＝４は、３Ｄ軸センサ　ＲＡＷデータを示す。ｄａｔａ＿ｃｏｎｆｉｇｕｒａｔｉｏｎは、データ毎の構成情報を示す。
　ｄａｔａ＿ｃｏｎｆｉｇｕｒａｔｉｏｎ（）は、符号化データ毎の構成情報であり、ｎｕｍ＿ｏｆ＿ｃｏｍｐｏｎｅｎｔと、ｃｏｍｐｏｎｅｎｔ＿ｔｙｐｅと、ｃｏｍｐｏｎｅｎｔ＿ｉｄとを含む。
　ｎｕｍ＿ｏｆ＿ｃｏｍｐｏｎｅｎｔは、符号化データ内のコンポーネントの数を示す。ｃｏｍｐｏｎｅｎｔ＿ｔｙｐｅは、コンポーネントのタイプを示す。例えばＰＣＣ符号化の場合は、ｃｏｍｐｏｎｅｎｔ＿ｔｙｐｅは、コンポーネントが、ジオメトリであるか属性であるかメタデータであるかを示す。
　ｃｏｍｐｏｎｅｎｔ＿ｉｄは、コンポーネントを他のメタデータ及びデータと紐付けるための一意の識別子を示す。
　なお、符号化の方法は、ビデオコーデック及びＰＣＣコーデック以外にも、オーディオ、テキスト、アプリケーション、又は３６０度画像などに用いられる符号化方法であってもよい。また、データは、メッシュ又はＣＡＤなどの加工されたデータであってもよい。また、符号化の方法は、同一のコーデックであってもよいし、プロファイル、レベル又はツールの異なる符号化方法であってもよく、いかなる符号化方法であっても統合的に扱うことが可能である。
　このように、三次元データ逆多重化装置において復号した点群データをアプリケーションで活用するために必要なデータを一つのファイルに多重することで、アプリケーションで取り扱うファイル管理及び同期管理を容易化できる。
　図２９は、データボックス「ｍｄａｔ」の構成例を示す図である。データボックスの最小単位であるサンプルに、それぞれの符号化データ又はＲＡＷデータが個別に格納される。
　また、ファイルに含まれる符号化データ毎のタイムスタンプなどの同期情報は、共通の基準時刻などの全体同期情報に基づき設定される。また、同期情報は、それぞれ同期がとれている情報とする。
　また、例えば、複数の符号化データのタイムスタンプにおける基準時刻、時間分解能及び時間間隔を揃え、同期情報を複数の符号化データで共通化してもよい。その場合、同期情報は、符号化データ毎の同期情報と共通の同期情報のいずれか１以上に格納すればよい。その場合、メタデータは、共通の時刻情報が格納されている場所を示す情報、及び同期情報が共通であることを示す情報の少なくとも一方を含む。
　また、符号化データ間で同期がとれている場合には、三次元データ多重化装置は、同期がとれている複数の符号化データを一つのサンプルとして格納してもよい。一方、複数の符号化データで、基準時刻、時間分解能及び時間間隔の少なくとも一つが揃っていない場合は、三次元データ多重化装置は、別途符号化データ間のタイムスタンプの差分を示す差分情報を導出し、導出した差分情報を出力信号に格納してもよい。また、三次元データ多重化装置は、同期がとれているか否かを示すフラグを出力信号に格納してもよい。
　三次元データ逆多重化装置は、それぞれの符号化データの同期情報と全体同期情報とを用いて、それぞれのサンプルを、メタデータに示されるタイムスタンプに示される時刻に処理することにより、符号化データ間の同期をとる。
　以下、アプリケーション処理の例を説明する。図３０は、アプリケーション処理の例を示すフローチャートである。アプリ操作が開始されると、三次元データ逆多重化装置は、点群データ及び複数の符号化データを含むＩＳＯＢＭＦＦファイルを取得する（Ｓ７３０１）。例えば、三次元データ逆多重化装置は、ＩＳＯＢＭＦＦファイルを、通信により取得してもよいし、蓄積しているデータから読み込んでもよい。
　次に、三次元データ逆多重化装置は、ＩＳＯＢＭＦＦファイルにおける全体構成情報を解析し、アプリケーションに使用するデータを特定する（Ｓ７３０２）。例えば、三次元データ逆多重化装置は、処理に用いるデータを取得し、処理に用いないデータは取得しない。
　次に、三次元データ逆多重化装置は、アプリケーションに使用する１以上のデータを抽出し、当該データの構成情報を解析する（Ｓ７３０３）。
　データの種別が符号化データである場合（Ｓ７３０４で符号化データ）、三次元データ逆多重化装置は、ＩＳＯＢＭＦＦを符号化ストリームに変換し、タイムスタンプを抽出する（Ｓ７３０５）。また、三次元データ逆多重化装置は、データ間の同期がそろっているか否かを、例えば、データ間の同期がそろっているか否かを示すフラグを参照して判定し、揃っていなければ同期処理を行ってもよい。
　次に、三次元データ逆多重化装置は、タイムスタンプ及びその他の指示に従い、所定の方法でデータを復号し、復号したデータを処理する（Ｓ７３０６）。
　一方、データの種別が符号化データである場合（Ｓ７３０４でＲＡＷデータ）、三次元データ逆多重化装置は、データ及びタイムスタンプを抽出する（Ｓ７３０７）。また、三次元データ逆多重化装置は、データ間の同期がそろっているか否かを、例えば、データ間の同期がそろっているか否かを示すフラグを参照して判定し、揃っていなければ同期処理を行ってもよい。次に、三次元データ逆多重化装置は、タイムスタンプ及びその他の指示に従い、データを処理する（Ｓ７３０８）。
　例えば、ビームＬｉＤＡＲ、ＦＬＡＳＨ　ＬｉＤＡＲ、及びカメラで取得されたセンサ信号が、それぞれ異なる符号化方式で符号化及び多重化されている場合の例を説明する。図３１は、ビームＬｉＤＡＲ、ＦＬＡＳＨ　ＬｉＤＡＲ及びカメラのセンサ範囲の例を示す図である。例えば、ビームＬｉＤＡＲは、車両（センサ）の周囲の全方向を検知し、ＦＬＡＳＨ　ＬｉＤＡＲ及びカメラは、車両の一方向（例えば前方）の範囲を検知する。
　ＬｉＤＡＲ点群を統合的に扱うアプリケーションの場合、三次元データ逆多重化装置は、全体構成情報を参照して、ビームＬｉＤＡＲとＦＬＡＳＨ　ＬｉＤＡＲの符号化データを抽出して復号する。また、三次元データ逆多重化装置は、カメラ映像は抽出しない。
　三次元データ逆多重化装置は、ＬｉＤＡＲとＦＬＡＳＨ　ＬｉＤＡＲのタイムスタンプに従い、同一のタイムスタンプの時刻のそれぞれの符号化データを同時に処理する。
　例えば、三次元データ逆多重化装置は、処理したデータを提示装置で提示したり、ビームＬｉＤＡＲとＦＬＡＳＨ　ＬｉＤＡＲの点群データを合成したり、レンダリングなどの処理を行ってもよい。
　また、データ間でキャリブレーションをするアプリケーションの場合には、三次元データ逆多重化装置は、センサ位置情報を抽出してアプリケーションで用いてもよい。
　例えば、三次元データ逆多重化装置は、アプリケーションにおいて、ビームＬｉＤＡＲ情報を使用するか、ＦＬＡＳＨ　ＬｉＤＡＲを使用するかを選択し、選択結果に応じて処理を切り替えてもよい。
　このように、アプリケーションの処理に応じて適応的にデータの取得及び符号処理を変えることができるので、処理量及び消費電力を削減できる。
　以下、自動運転におけるユースケースについて説明する。図３２は、自動運転システムの構成例を示す図である。この自動運転システムは、クラウドサーバ７３５０と、車載装置又はモバイル装置等のエッジ７３６０とを含む。クラウドサーバ７３５０は、逆多重化部７３５１と、復号部７３５２Ａ、７３５２Ｂ及び７３５５と、点群データ合成部７３５３と、大規模データ蓄積部７３５４と、比較部７３５６と、符号化部７３５７とを備える。エッジ７３６０は、センサ７３６１Ａ及び７３６１Ｂと、点群データ生成部７３６２Ａ及び７３６２Ｂと、同期部７３６３と、符号化部７３６４Ａ及び７３６４Ｂと、多重化部７３６５と、更新データ蓄積部７３６６と、逆多重化部７３６７と、復号部７３６８と、フィルタ７３６９と、自己位置推定部７３７０と、運転制御部７３７１とを備える。
　このシステムでは、エッジ７３６０は、クラウドサーバ７３５０に蓄積されている大規模点群地図データである大規模データをダウンロードする。エッジ７３６０は、大規模データとエッジ７３６０で得られたセンサ情報とをマッチングすることで、エッジ７３６０（車両又は端末）の自己位置推定処理を行う。また、エッジ７３６０は、取得したセンサ情報をクラウドサーバ７３５０へアップロードし、大規模データを最新の地図データに更新する。
　また、システム内における点群データを扱う様々なアプリケーションにおいて、符号化方法の異なる点群データが扱われる。
　クラウドサーバ７３５０は、大規模データを符号化及び多重化する。具体的には、符号化部７３５７は、大規模点群を符号化するために適した第３の符号化方法を用いて符号化を行う。また、符号化部７３５７は、符号化データを多重化する。大規模データ蓄積部７３５４は、符号化部７３５７で符号化及び多重化されたデータを蓄積する。
　エッジ７３６０は、センシングを行う。具体的には、点群データ生成部７３６２Ａは、センサ７３６１Ａで取得されるセンシング情報を用いて、第１の点群データ（位置情報（ジオメトリ）及び属性情報）を生成する。点群データ生成部７３６２Ｂは、センサ７３６１Ｂで取得されるセンシング情報を用いて、第２の点群データ（位置情報及び属性情報）を生成する。生成された第１の点群データ及び第２の点群データは、自動運転の自己位置推定或いは車両制御、又は地図更新に用いられる。それぞれの処理において、第１の点群データ及び第２の点群データのうちの一部の情報が用いられてもよい。
　エッジ７３６０は、自己位置推定を行う。具体的には、エッジ７３６０は、大規模データをクラウドサーバ７３５０からダウンロードする。逆多重化部７３６７は、ファイルフォーマットの大規模データを逆多重化することで符号化データを取得する。復号部７３６８は、取得された符号化データを復号することで大規模点群地図データである大規模データを取得する。
　自己位置推定部７３７０は、取得された大規模データと、点群データ生成部７３６２Ａ及び７３６２Ｂで生成された第１の点群データ及び第２の点群データとをマッチングすることで、車両の地図における自己位置を推定する。また、運転制御部７３７１は、当該マッチング結果又は自己位置推定結果を運転制御に用いる。
　なお、自己位置推定部７３７０及び運転制御部７３７１は、大規模データのうち、位置情報などの特定の情報を抽出し、抽出した情報を用いて処理を行ってもよい。また、フィルタ７３６９は、第１の点群データ及び第２の点群データに補正又は間引き等の処理を行う。自己位置推定部７３７０及び運転制御部７３７１は、当該処理が行われた後の第１の点群データ及び第２の点群データを用いてもよい。また、自己位置推定部７３７０及び運転制御部７３７１は、センサ７３６１Ａ及び７３６１Ｂで得られたセンサ信号を用いてもよい。
　同期部７３６３は、複数のセンサ信号又は複数の点群データのデータ間の時間同期及び位置補正を行う。また、同期部７３６３は、自己位置推定処理によって生成された、大規模データとセンサデータとの位置補正情報に基づき、センサ信号又は点群データの位置情報を大規模データに合わせるように補正してもよい。
　なお、同期及び位置補正はエッジ７３６０でなく、クラウドサーバ７３５０で行われてもよい。この場合、エッジ７３６０は、同期情報及び位置情報を多重化してクラウドサーバ７３５０へ送信してもよい。
　エッジ７３６０は．センサ信号又は点群データを符号化及び多重化する。具体的には、センサ信号又は点群データは、それぞれの信号を符号化するために適した第１の符号化方法又は第２の符号化方法を用いて符号化される。例えば、符号化部７３６４Ａは、第１の符号化方法を用いて第１の点群データを符号化することで第１の符号化データを生成する。符号化部７３６４Ｂは、第２の符号化方法を用いて第２の点群データを符号化することで第２の符号化データを生成する。
　多重化部７３６５は、第１の符号化データ、第２の符号化データ、及び同期情報などを多重化することで多重化信号を生成する。更新データ蓄積部７３６６は、生成された多重化信号を蓄積する。また、更新データ蓄積部７３６６は、多重化信号をクラウドサーバ７３５０へアップロードする。
　クラウドサーバ７３５０は、点群データを合成する。具体的には、逆多重化部７３５１は、クラウドサーバ７３５０にアップロードされた多重化信号を逆多重化することで第１の符号化データ及び第２の符号化データを取得する。復号部７３５２Ａは、第１の符号化データを復号することで第１の点群データ（又はセンサ信号）を取得する。復号部７３５２Ｂは、第２の符号化データを復号することで第２の点群データ（又はセンサ信号）を取得する。
　点群データ合成部７３５３は、第１の点群データと第２の点群データとを所定の方法で合成する。多重化信号に同期情報及び位置補正情報が多重化されている場合には、点群データ合成部７３５３は、それらの情報を用いて合成を行ってもよい。
　復号部７３５５は、大規模データ蓄積部７３５４に蓄積されている大規模データを逆多重化及び復号する。比較部７３５６は、エッジ７３６０で得られたセンサ信号に基づき生成された点群データとクラウドサーバ７３５０が有する大規模データとを比較し、更新が必要な点群データを判断する。比較部７３５６は、大規模データのうち、更新が必要と判断された点群データを、エッジ７３６０から得られた点群データに更新する。
　符号化部７３５７は、更新された大規模データを符号化及び多重化し、得られたデータを大規模データ蓄積部７３５４に蓄積する。
　以上のように、使用する用途又はアプリケーションに応じて、取り扱う信号が異なり、多重化する信号又は符号化方法が異なる場合がある。このような場合であっても、本実施の形態を用いて様々な符号化方式のデータを多重化することで、柔軟な復号及びアプリケーション処理が可能となる。また、信号の符号化方式が異なる場合であっても、逆多重化、復号、データ変換、符号化、多重の処理により適した符号化方式を変換することで、様々なアプリケーションやシステムを構築し、柔軟なサービスの提供が可能となる。
　以上のように、本実施の形態に係る三次元データ多重化装置は、図３３に示す処理を行う。三次元データ多重化装置は、点群データを含む複数種類のデータを多重化することで所定のファイル構成（例えばＩＳＯＢＭＦＦ）の出力信号を生成する（Ｓ７３１１）。次に、三次元データ多重化装置は、ファイル構成におけるメタデータ（制御情報）に出力信号に含まれる複数のデータの各々の種別を示す情報（例えばｄａｔａ＿ｔｙｐｅ）を格納する（Ｓ７３１２）。
　これによれば、三次元データ多重化装置は、ファイル構成におけるメタデータに出力信号に含まれる複数のデータの各々の種別を示す情報を格納する。これにより、当該出力信号を受信する三次元データ逆多重化装置において、容易に各データの種別を判定できる。このように、当該三次元データ多重化方法は、適切に点群データを多重化して送信できる。
　例えば、複数のデータの各々の種別を示す情報は、（１）データに適用された符号化方式、（２）データの構成、（３）データを生成したセンサの種類、又は（４）データフォーマットを示す。
　例えば、ファイル構成におけるメタデータは、出力信号に含まれる複数のデータの時刻を同期させるための同期情報を含む。これによれば、当該出力信号を受信する三次元データ逆多重化装置において、複数のデータを同期させることができる。
　例えば、同期情報は、複数のデータ間におけるタイムスタンプの差分を示す。これによれば、出力信号のデータ量を削減できる。
　例えば、三次元データ多重化装置は、プロセッサと、メモリとを備え、プロセッサは、メモリを用いて、上記の処理を行う。
　また、本実施の形態に係る三次元データ逆多重化装置は、図３４に示す処理を行う。三次元データ逆多重化装置は、点群データを含む複数種類のデータが多重化された所定のファイル構成（例えばＩＳＯＢＭＦＦ）の出力信号から、ファイル構成におけるメタデータに格納されている、出力信号に含まれる複数のデータの各々の種別を示す情報（例えばｄａｔａ＿ｔｙｐｅ）を取得する（Ｓ７３２１）。三次元データ逆多重化装置は、複数のデータの各々の種別を示す情報を用いて、出力信号から複数のデータを取得する（Ｓ７３２２）。例えば、三次元データ逆多重化装置は、複数のデータの各々の種別を示す情報を用いて、出力信号から必要なデータを選択的に取得する。これによれば、三次元データ逆多重化装置は、容易に各データの種別を判定できる。
　例えば、複数のデータの各々の種別を示す情報は、（１）データに適用された符号化方式、（２）データの構成、（３）データを生成したセンサの種類、又は（４）データフォーマットを示す。
　例えば、ファイル構成におけるメタデータは、出力信号に含まれる複数のデータの時刻を同期させるための同期情報を含む。例えば、三次元データ逆多重化装置は、同期情報を用いて複数のデータを同期させる。
　例えば、同期情報は、複数のデータ間におけるタイムスタンプの差分を示す。例えば、同期情報は、複数のデータのいずれかのタイムスタンプを示す情報を含み、三次元データ逆多重化装置は、複数のデータのいずれかのタイムスタンプに、同期情報で示される差分を加えることで、複数のデータのうちの他のデータのタイムスタンプを復元する。これにより、出力信号のデータ量を削減できる。
　例えば、三次元データ逆多重化装置は、プロセッサと、メモリとを備え、プロセッサは、メモリを用いて、上記の処理を行う。
　以上、本開示の実施の形態に係る三次元データ多重化装置、三次元データ逆多重化装置、三次元データ符号化装置及び三次元データ復号装置等について説明したが、本開示は、この実施の形態に限定されるものではない。
　また、上記実施の形態に係る三次元データ多重化装置、三次元データ逆多重化装置、三次元データ符号化装置及び三次元データ復号装置等に含まれる各処理部は典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。
　また、集積回路化はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）、又はＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
　また、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
　また、本開示は、三次元データ多重化装置、三次元データ逆多重化装置、三次元データ符号化装置及び三次元データ復号装置等により実行される三次元データ多重化方法、三次元データ逆多重化方法、三次元データ符号化方法又は三次元データ復号方法等として実現されてもよい。
　また、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを一つの機能ブロックとして実現したり、一つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。
　また、フローチャートにおける各ステップが実行される順序は、本開示を具体的に説明するために例示するためのものであり、上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時（並列）に実行されてもよい。
　以上、一つまたは複数の態様に係る三次元データ多重化装置、三次元データ逆多重化装置、三次元データ符号化装置及び三次元データ復号装置等について、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つまたは複数の態様の範囲内に含まれてもよい。
　本開示は、三次元データ多重化装置、三次元データ逆多重化装置、三次元データ符号化装置及び三次元データ復号装置に適用できる。
　４６０１　三次元データ符号化システム
　４６０２　三次元データ復号システム
　４６０３　センサ端末
　４６０４　外部接続部
　４６１１　点群データ生成システム
　４６１２　提示部
　４６１３　符号化部
　４６１４　多重化部
　４６１５　入出力部
　４６１６　制御部
　４６１７　センサ情報取得部
　４６１８　点群データ生成部
　４６２１　センサ情報取得部
　４６２２　入出力部
　４６２３　逆多重化部
　４６２４　復号部
　４６２５　提示部
　４６２６　ユーザインタフェース
　４６２７　制御部
　４６３０　第１の符号化部
　４６３１　位置情報符号化部
　４６３２　属性情報符号化部
　４６３３　付加情報符号化部
　４６３４　多重化部
　４６４０　第１の復号部
　４６４１　逆多重化部
　４６４２　位置情報復号部
　４６４３　属性情報復号部
　４６４４　付加情報復号部
　４６５０　第２の符号化部
　４６５１　付加情報生成部
　４６５２　位置画像生成部
　４６５３　属性画像生成部
　４６５４　映像符号化部
　４６５５　付加情報符号化部
　４６５６　多重化部
　４６６０　第２の復号部
　４６６１　逆多重化部
　４６６２　映像復号部
　４６６３　付加情報復号部
　４６６４　位置情報生成部
　４６６５　属性情報生成部
　７３０１、７３０１Ａ、７３０１Ｂ、７３０１Ｃ　センシングデバイス
　７３０２、７３０２Ａ、７３０２Ｂ、７３０２Ｃ　センサ情報入力部
　７３０３、７３０３Ａ、７３０３Ｃ　点群データ生成部
　７３０４Ａ、７３０４Ｂ　センシング部
　７３０５　マージ部
　７３１０　第１のデバイス
　７３１１、７３２１　センシング部
　７３１２、７３２２　出力Ｉ／Ｆ
　７３２０　第２のデバイス
　７３２３　入力Ｉ／Ｆ
　７３２４　処理部
　７３２５　点群データ生成部
　７３２６　符号化部
　７３３１Ａ、７３３１Ｂ、７３３１Ｃ　センシング部
　７３３２Ａ、７３３２Ｂ、７３３２Ｃ　センサ情報入力部
　７３３３Ａ、７３３３Ｂ　点群データ生成部
　７３３４Ａ、７３３４Ｂ　符号化部
　７３３５　同期部
　７３３６　多重化部
　７３４１Ａ、７３４１Ｂ、７３４１Ｃ　センシング部
　７３４２Ａ、７３４２Ｂ、７３４２Ｃ　入出力部
　７３４３　点群データ生成部
　７３４４Ａ、７３４４Ｂ　符号化部
　７３４５　同期部
　７３４６　多重化部
　７３５０　クラウドサーバ
　７３５１　逆多重化部
　７３５２Ａ、７３５２Ｂ　復号部
　７３５３　点群データ合成部
　７３５４　大規模データ蓄積部
　７３５５　復号部
　７３５６　比較部
　７３５７　符号化部
　７３６０　エッジ
　７３６１Ａ、７３６１Ｂ　センサ
　７３６２Ａ、７３６２Ｂ　点群データ生成部
　７３６３　同期部
　７３６４Ａ、７３６４Ｂ　符号化部
　７３６５　多重化部
　７３６６　更新データ蓄積部
　７３６７　逆多重化部
　７３６８　復号部
　７３６９　フィルタ
　７３７０　自己位置推定部
　７３７１　運転制御部

Claims (10)

  1. 　点群データを含む複数種類のデータを多重化することで所定のファイル構成の出力信号を生成し、
    　前記ファイル構成におけるメタデータに前記出力信号に含まれる複数のデータの各々の種別を示す情報を格納する
    　三次元データ多重化方法。
  2. 　前記情報は、（１）データに適用された符号化方式、（２）データの構成、（３）データを生成したセンサの種類、又は（４）データフォーマットを示す
    　請求項１記載の三次元データ多重化方法。
  3. 　前記メタデータは、前記出力信号に含まれる前記複数のデータの時刻を同期させるための同期情報を含む
    　請求項１又は２記載の三次元データ多重化方法。
  4. 　前記同期情報は、前記複数のデータ間におけるタイムスタンプの差分を示す
    　請求項３記載の三次元データ多重化方法。
  5. 　点群データを含む複数種類のデータが多重化された所定のファイル構成の出力信号から、前記ファイル構成におけるメタデータに格納されている、前記出力信号に含まれる複数のデータの各々の種別を示す情報を取得し、
    　前記情報を用いて、前記出力信号から前記複数のデータを取得する
    　三次元データ逆多重化方法。
  6. 　前記情報は、（１）データに適用された符号化方式、（２）データの構成、（３）データを生成したセンサの種類、又は（４）データフォーマットを示す
    　請求項５記載の三次元データ逆多重化方法。
  7. 　前記メタデータは、前記出力信号に含まれる前記複数のデータの時刻を同期させるための同期情報を含む
    　請求項５又は６記載の三次元データ逆多重化方法。
  8. 　前記同期情報は、前記複数のデータ間におけるタイムスタンプの差分を示す
    　請求項７記載の三次元データ逆多重化方法。
  9. 　プロセッサと、
    　メモリとを備え、
    　前記プロセッサは、前記メモリを用いて、
    　点群データを含む複数種類のデータを多重化することで所定のファイル構成の出力信号を生成し、
    　前記ファイル構成におけるメタデータに前記出力信号に含まれる複数のデータの各々の種別を示す情報を格納する
    　三次元データ多重化装置。
  10. 　プロセッサと、
    　メモリとを備え、
    　前記プロセッサは、前記メモリを用いて、
    　点群データを含む複数種類のデータが多重化された所定のファイル構成の出力信号から、前記ファイル構成におけるメタデータに格納されている、前記出力信号に含まれる複数のデータの各々の種別を示す情報を取得し、
    　前記情報を用いて、前記出力信号から前記複数のデータを取得する
    　三次元データ逆多重化装置。
PCT/JP2020/005363 2019-02-12 2020-02-12 三次元データ多重化方法、三次元データ逆多重化方法、三次元データ多重化装置、及び三次元データ逆多重化装置 WO2020166612A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020572277A JP7511488B2 (ja) 2019-02-12 2020-02-12 三次元データ多重化方法、三次元データ逆多重化方法、三次元データ多重化装置、及び三次元データ逆多重化装置
CN202080012977.9A CN113396595A (zh) 2019-02-12 2020-02-12 三维数据复用方法、三维数据逆复用方法、三维数据复用装置及三维数据逆复用装置
US17/386,194 US20210358175A1 (en) 2019-02-12 2021-07-27 Three-dimensional data multiplexing method, three-dimensional data demultiplexing method, three-dimensional data multiplexing device, and three-dimensional data demultiplexing device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201962804453P 2019-02-12 2019-02-12
US62/804,453 2019-02-12

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/386,194 Continuation US20210358175A1 (en) 2019-02-12 2021-07-27 Three-dimensional data multiplexing method, three-dimensional data demultiplexing method, three-dimensional data multiplexing device, and three-dimensional data demultiplexing device

Publications (1)

Publication Number Publication Date
WO2020166612A1 true WO2020166612A1 (ja) 2020-08-20

Family

ID=72043853

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/005363 WO2020166612A1 (ja) 2019-02-12 2020-02-12 三次元データ多重化方法、三次元データ逆多重化方法、三次元データ多重化装置、及び三次元データ逆多重化装置

Country Status (3)

Country Link
US (1) US20210358175A1 (ja)
CN (1) CN113396595A (ja)
WO (1) WO2020166612A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023194762A1 (ja) * 2022-04-08 2023-10-12 日産自動車株式会社 情報処理方法及び情報処理装置
JP7471731B2 (ja) 2020-10-14 2024-04-22 ▲騰▼▲訊▼科技（深▲セン▼）有限公司 メディアファイルのカプセル化方法、メディアファイルのカプセル化解除方法及び関連機器

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017082078A1 (ja) * 2015-11-11 2017-05-18 ソニー株式会社 画像処理装置および画像処理方法
JP2018522345A (ja) * 2015-04-10 2018-08-09 ザ ヨーロピアン アトミック エナジー コミュニティ（ユーラトム）、リプリゼンテッド バイ ザ ヨーロピアン コミッションＴＨＥ ＥＵＲＯＰＥＡＮ ＡＴＯＭＩＣ ＥＮＥＲＧＹ ＣＯＭＭＵＮＩＴＹ（ＥＵＲＡＴＯＭ） ｒｅｐｒｅｓｅｎｔｅｄ ｂｙ Ｔｈｅ ＥＵＲＯＰＥＡＮ ＣＯＭＭＩＳＳＩＯＮ リアルタイムのマッピングと位置確認のための方法及び装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4524582B2 (ja) * 2004-06-11 2010-08-18 ソニー株式会社 データ処理装置およびデータ処理方法、プログラムおよびプログラム記録媒体、並びにデータ記録媒体
US10992185B2 (en) * 2012-07-06 2021-04-27 Energous Corporation Systems and methods of using electromagnetic waves to wirelessly deliver power to game controllers
JP2015173312A (ja) * 2014-03-11 2015-10-01 ソニー株式会社 画像符号化装置および方法、並びに画像復号装置および方法
US9996976B2 (en) * 2014-05-05 2018-06-12 Avigilon Fortress Corporation System and method for real-time overlay of map features onto a video feed
WO2015172227A1 (en) * 2014-05-13 2015-11-19 Pcp Vr Inc. Method, system and apparatus for generation and playback of virtual reality multimedia
EP3021257A1 (en) * 2014-11-14 2016-05-18 Soundisplay Limited A sensor utilising overlapping signals and method thereof
US10535161B2 (en) * 2017-11-09 2020-01-14 Samsung Electronics Co., Ltd. Point cloud compression using non-orthogonal projection

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018522345A (ja) * 2015-04-10 2018-08-09 ザ ヨーロピアン アトミック エナジー コミュニティ（ユーラトム）、リプリゼンテッド バイ ザ ヨーロピアン コミッションＴＨＥ ＥＵＲＯＰＥＡＮ ＡＴＯＭＩＣ ＥＮＥＲＧＹ ＣＯＭＭＵＮＩＴＹ（ＥＵＲＡＴＯＭ） ｒｅｐｒｅｓｅｎｔｅｄ ｂｙ Ｔｈｅ ＥＵＲＯＰＥＡＮ ＣＯＭＭＩＳＳＩＯＮ リアルタイムのマッピングと位置確認のための方法及び装置
WO2017082078A1 (ja) * 2015-11-11 2017-05-18 ソニー株式会社 画像処理装置および画像処理方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
CHAMPEL, MARY-LUC ET AL.: "Proposed Draft 1. 0 of TR : Technical Report on Architectures for Immersive Media", INTERNATIONAL ORGANIZATION FOR STANDARDIZATION ORGANISATION INTERNATIONALE DE NORMALISATION ISO/IEC JTC 1/SC 29/WG 11 CODEING OF MOVING PICTURES AND AUDIO, 25 April 2018 (2018-04-25), pages 1 - 13, XP055732711, Retrieved from the Internet <URL:https://mpeg.chiariglione.org/standards/mpeg-i/technical-report-immersive-media/text-pdtr-isoiec-23090-1-immersive-media> *
CUI, LI ET AL.: "HYBRID COLOR ATTRIBUTE COMPRESSION FOR POINT CLOUD DATA", 2017 IEEE INTERNATIONAL CONFERENCE ON MULTIMEDIA AND EXPO (ICME), 10 July 2017 (2017-07-10), pages 1273 - 1278, XP033146600, DOI: 10.1109/ICME.2017.8019426 *
SCHWARZ, SEBASTIAN ET AL., EMERGING MPEG STANDARDS FOR POINT CLOUD COMPRESSION, vol. 9, no. 1, 10 December 2018 (2018-12-10), pages 133 - 148, XP011714044 *
TU, CHENXI ET AL.: "Compressing Continuous Point Cloud Data Using Image Compression Methods", 2016 IEEE 19TH INTERNATIONAL CONFERENCE ON INTELLIGENT TRANSPORTATION SYSTEMS (ITSC, 1 November 2016 (2016-11-01), pages 1712 - 1719, XP033028570, DOI: 10.1109/ITSC.2016.7795789 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7471731B2 (ja) 2020-10-14 2024-04-22 ▲騰▼▲訊▼科技（深▲セン▼）有限公司 メディアファイルのカプセル化方法、メディアファイルのカプセル化解除方法及び関連機器
WO2023194762A1 (ja) * 2022-04-08 2023-10-12 日産自動車株式会社 情報処理方法及び情報処理装置

Also Published As

Publication number Publication date
US20210358175A1 (en) 2021-11-18
JPWO2020166612A1 (ja) 2021-12-16
CN113396595A (zh) 2021-09-14

Similar Documents

Publication Publication Date Title
US11423581B2 (en) Three-dimensional data encoding method, three-dimensional data decoding method, three-dimensional data encoding device, and three-dimensional data decoding device
EP3883246A1 (en) Three-dimensional data encoding method, three-dimensional data decoding method, three-dimensional data encoding device, and three-dimensional data decoding device
US20240107064A1 (en) Three-dimensional data encoding method, three-dimensional data decoding method, three-dimensional data encoding device, and three-dimensional data decoding device
US11750840B2 (en) Three-dimensional data encoding method, three-dimensional data decoding method, three-dimensional data encoding device, and three-dimensional data decoding device
US11936919B2 (en) Three-dimensional data encoding method, three-dimensional data decoding method, three-dimensional data encoding device, and three-dimensional data decoding device
US11750844B2 (en) Three-dimensional data encoding method, three-dimensional data decoding method, three-dimensional data encoding device, and three-dimensional data decoding device
US20220046280A1 (en) Three-dimensional data encoding method, three-dimensional data decoding method, three-dimensional data encoding device, and three-dimensional data decoding device
US20210358175A1 (en) Three-dimensional data multiplexing method, three-dimensional data demultiplexing method, three-dimensional data multiplexing device, and three-dimensional data demultiplexing device
JP2024040321A (ja) 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
US20240040149A1 (en) Three-dimensional data storage method, three-dimensional data acquisition method, three-dimensional data storage device, and three-dimensional data acquisition device
US20230030392A1 (en) Three-dimensional data encoding method, three-dimensional data decoding method, three-dimensional data encoding device, and three-dimensional data decoding device
JP7511488B2 (ja) 三次元データ多重化方法、三次元データ逆多重化方法、三次元データ多重化装置、及び三次元データ逆多重化装置
US20230017612A1 (en) Three-dimensional data encoding method, three-dimensional data decoding method, three-dimensional data encoding device, and three-dimensional data decoding device
JP7512201B2 (ja) 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
US20230154056A1 (en) Three-dimensional data encoding method, three-dimensional data decoding method, three-dimensional data encoding device, and three-dimensional data decoding device

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20755573

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020572277

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20755573

Country of ref document: EP

Kind code of ref document: A1