WO2022220291A1 - 情報処理装置および方法 - Google Patents

情報処理装置および方法 Download PDF

Info

Publication number
WO2022220291A1
WO2022220291A1 PCT/JP2022/017890 JP2022017890W WO2022220291A1 WO 2022220291 A1 WO2022220291 A1 WO 2022220291A1 JP 2022017890 W JP2022017890 W JP 2022017890W WO 2022220291 A1 WO2022220291 A1 WO 2022220291A1
Authority
WO
WIPO (PCT)
Prior art keywords
extension
data
properties
reproduction method
file
Prior art date
Application number
PCT/JP2022/017890
Other languages
English (en)
French (fr)
Inventor
由佳 木山
遼平 高橋
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to CN202280027068.1A priority Critical patent/CN117121495A/zh
Priority to JP2023514685A priority patent/JPWO2022220291A1/ja
Priority to EP22788214.9A priority patent/EP4325871A1/en
Publication of WO2022220291A1 publication Critical patent/WO2022220291A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/816Monomedia components thereof involving special video data, e.g 3D video
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234318Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into objects, e.g. MPEG-4 objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44012Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/85406Content authoring involving a specific file format, e.g. MP4 format

Definitions

  • the present disclosure relates to an information processing device and method, and more particularly to an information processing device and method that enable content to be played back using scene descriptions corresponding to multiple playback methods.
  • glTF The GL Transmission Format
  • 3D three-dimensional objects in a three-dimensional space
  • MPEG Motion Picture Experts Group
  • Scene Description extended glTF2.0 proposed a method for handling dynamic content in the time direction (see, for example, Non-Patent Document 2).
  • V-PCC Video based Point Cloud Compression
  • a point cloud is 3D data that expresses the 3D structure of an object by a set of points with position information and attribute information (color, reflection, etc.) in a 3D space.
  • Non-Patent Document 4 a method of storing a V3C bitstream composed of point cloud encoded data encoded with this V-PCC in ISOBMFF was studied (see, for example, Non-Patent Document 4).
  • the structure of the scene description differs between when 3D data reconstruction is performed with MAF and when it is performed with PE. Therefore, one scene description could not be used for both playback methods. Therefore, in order to support both playback methods, it was necessary to prepare a scene description file for each piece of content.
  • the present disclosure has been made in view of this situation, and enables content to be played back using scene descriptions that support multiple playback methods.
  • An information processing device selects a property corresponding to a 3D data reproduction method based on an extension specified in a scene description, and uses the selected property to perform the reproduction in the reproduction method.
  • An information processing device including a file processing unit that processes 3D data.
  • An information processing method selects a property corresponding to a 3D data reproduction method based on an extension specified in a scene description, uses the selected property, and uses the reproduction method to perform the It is an information processing method for processing 3D data.
  • An information processing apparatus selects the alternatives array according to a 3D data reproduction method from among the alternatives arrays defined in the scene description, and uses the elements of the selected alternatives array.
  • the information processing device includes a file processing unit that processes the 3D data by the reproduction method using a certain property.
  • An information processing method selects the alternatives array corresponding to the 3D data reproduction method from among the alternatives arrays defined in the scene description, and uses the elements of the selected alternatives array.
  • An information processing apparatus is an information processing apparatus including a file generation unit that generates a scene description file that stores extensions for identifying properties for each 3D data reproduction method.
  • An information processing method is an information processing method for generating a scene description file that stores extensions for identifying properties for each 3D data reproduction method.
  • An information processing apparatus includes a file generation unit that generates a scene description file that stores a plurality of alternatives arrays having properties corresponding to the same reproduction method of 3D data as elements. It is a device.
  • An information processing method is an information processing method for generating a scene description file that stores a plurality of alternative arrays whose elements are properties corresponding to the same reproduction method of 3D data.
  • properties corresponding to the 3D data reproduction method are selected based on the extension specified in the scene description, and the selected properties are used to 3D data is processed in a playback method.
  • an alternative arrangement corresponding to a 3D data reproduction method is selected from the alternative arrangement specified in the scene description, and the selected alternative arrangement is selected.
  • 3D data is processed in that playback method using properties that are elements of the .
  • a scene description file is generated that stores extensions for identifying properties for each 3D data reproduction method.
  • a scene description file is generated that stores a plurality of alternative arrays whose elements are properties corresponding to the same reproduction method of 3D data.
  • FIG. 3 is a diagram showing an example of glTF objects and reference relationships
  • FIG. 4 is a diagram showing a description example of a scene description
  • It is a figure explaining the access method to binary data.
  • FIG. 4 is a diagram showing a description example of a scene description
  • FIG. 10 is a diagram illustrating the relationship among a buffer object, a buffer view object, and an accessor object
  • FIG. 10 is a diagram showing description examples of a buffer object, a buffer view object, and an accessor object
  • FIG. 4 is a diagram illustrating a configuration example of an object of a scene description
  • FIG. 4 is a diagram showing a description example of a scene description
  • FIG. 10 is a diagram illustrating an object extension method;
  • FIG. 4 is a diagram for explaining the configuration of client processing;
  • FIG. 10 is a diagram showing a configuration example of an extension for handling timed metadata;
  • FIG. 4 is a diagram showing a description example of a scene description;
  • FIG. 4 is a diagram showing a description example of a scene description;
  • FIG. 10 is a diagram showing a configuration example of an extension for handling timed metadata; It is a figure which shows the main structural examples of a client.
  • FIG. 11 is a flowchart illustrating an example of the flow of client processing;
  • FIG. FIG. 2 is a diagram explaining an overview of V-PCC;
  • FIG. 4 is a diagram showing a main configuration example of a V-PCC bitstream;
  • FIG. 10 is a diagram showing an example of track configuration of ISOBMFF in the case of a multi-track structure;
  • FIG. 10 is a diagram showing an example of MPD description in the case of a multi-track structure;
  • FIG. 10 illustrates an example of client processing;
  • FIG. 10 is a diagram showing a configuration example of objects in a scene description when 3D data is reconstructed by MAF;
  • FIG. 10 is a diagram showing a configuration example of objects in a scene description when 3D data is reconstructed by PE;
  • FIG. 10 is a diagram showing a configuration example of objects in a scene description when 3D data is reconstructed by PE;
  • FIG. 10 is a diagram showing an example of scene descriptions corresponding to a plurality of reproduction methods;
  • FIG. 10 is a diagram showing an example object configuration of a scene description;
  • FIG. 4 is a diagram showing a description example of a scene description;
  • FIG. 10 is a diagram showing an example object configuration of a scene description;
  • FIG. 4 is a diagram showing a description example of a scene description;
  • FIG. 10 is a diagram showing an example object configuration of a scene description;
  • FIG. 4 is a diagram showing a description example of a scene description;
  • FIG. 10 is a diagram showing an example object configuration of a scene description;
  • FIG. 4 is a diagram showing a description example of a scene description;
  • FIG. 10 is a diagram showing an example of scene descriptions corresponding to a plurality of reproduction methods;
  • FIG. 10 is a diagram showing an example object configuration of a scene description;
  • FIG. 10 is a diagram showing an example object configuration of a scene description;
  • FIG. 10 is a diagram showing an example object configuration of a scene description;
  • FIG. 10 is a diagram showing
  • FIG. 10 is a diagram showing an example of scene descriptions corresponding to a plurality of reproduction methods;
  • FIG. 10 is a diagram showing an example object configuration of a scene description;
  • 1 is a block diagram showing a main configuration example of a file generation device;
  • FIG. 7 is a flowchart showing an example of the flow of file generation processing;
  • 7 is a flowchart showing an example of the flow of file generation processing;
  • 2 is a block diagram showing a main configuration example of a client device;
  • FIG. 4 is a flowchart showing an example of the flow of reproduction processing; It is a block diagram which shows the main structural examples of a computer.
  • Non-Patent Document 1 (above)
  • Non-Patent Document 2 (above)
  • Non-Patent Document 3 (above)
  • Non-Patent Document 4 (above)
  • the content described in the above non-patent document and the content of other documents referenced in the above non-patent document are also the basis for determining the support requirements.
  • the syntax and terms such as glTF2.0 and its extension described in Non-Patent Documents 1 to 3 are not directly defined in the present disclosure, they are within the scope of the present disclosure and can be claimed. shall meet the support requirements to the extent of
  • technical terms such as, for example, Parsing, Syntax, Semantics, etc., are within the scope of the present disclosure even if they are not directly defined in the present disclosure, and can be claimed. shall meet the support requirements to the extent of
  • glTF The GL Transmission Format
  • glTF2.0 is a format for arranging a 3D (three-dimensional) object in a three-dimensional space, as described in Non-Patent Document 1, for example.
  • glTF2.0 for example, as shown in FIG. 1, it is composed of a JSON format file (.glTF), a binary file (.bin), and an image file (.png, .jpg, etc.).
  • Binary files store binary data such as geometry and animation.
  • Image files store data such as textures.
  • a JSON format file is a scene description file written in JSON (JavaScript (registered trademark) Object Notation).
  • a scene description is metadata that describes (a description of) a scene of 3D content. The description of this scene description defines what kind of scene it is.
  • a scene description file is a file that stores such scene descriptions.
  • a scene description file is also referred to as a scene description file in this disclosure.
  • JSON format file consists of a list of key (KEY) and value (VALUE) pairs.
  • KEY key
  • VALUE value
  • a key consists of a character string. Values consist of numbers, strings, booleans, arrays, objects, or nulls.
  • JSON object that summarizes the "id”: 1 pair and the "name”: “tanaka” pair is defined as the value corresponding to the key (user).
  • zero or more values can be arrayed using [] (square brackets).
  • This array is also called a JSON array.
  • a JSON object for example, can also be applied as an element of this JSON array.
  • An example of the format is shown below.
  • Fig. 2 shows the glTF objects (glTF objects) that can be written at the top level of a JSON format file and the reference relationships they can have.
  • Oblong circles in the tree structure shown in FIG. 2 indicate objects, and arrows between the objects indicate reference relationships.
  • objects such as "scene”, “node”, “mesh”, “camera”, “skin”, “material”, and “texture” are described at the top of the JSON format file.
  • Fig. 3 shows a description example of such a JSON format file (scene description).
  • the JSON format file 20 in FIG. 3 shows a description example of a part of the highest level.
  • the top-level objects 21 used are all described at the top level.
  • This top level object 21 is the glTF object shown in FIG.
  • reference relationships between objects are indicated. More specifically, the reference relationship is indicated by specifying the index of the array element of the referenced object in the property of the higher-level object.
  • FIG. 4 is a diagram explaining how to access binary data.
  • binary data is stored in a buffer object.
  • information for accessing binary data for example, URI (Uniform Resource Identifier), etc.
  • URI Uniform Resource Identifier
  • objects such as meshes, cameras, skins, etc., accessor objects and buffer views It can be accessed through an object (bufferView object).
  • FIG. 5 shows a description example of a mesh object (mesh) in a JSON format file.
  • vertex attributes such as NORMAL, POSITION, TANGENT, and TEXCORD_0 are defined as keys, and for each attribute, an accessor object to be referenced is specified as a value.
  • Figure 6 shows the relationship between buffer objects, buffer view objects, and accessor objects.
  • FIG. 7 shows a description example of those objects in a JSON format file.
  • the buffer object 41 is an object that stores information (such as URI) for accessing binary data, which is actual data, and information indicating the data length (for example, byte length) of the binary data.
  • a of FIG. 7 shows a description example of the buffer object 41 .
  • ""bytelength”:102040" shown in A of FIG. 7 indicates that the byte length of the buffer object 41 is 102040 bytes (bytes), as shown in FIG.
  • ""uri”:"duck.bin”” shown in A of FIG. 7 indicates that the URI of the buffer object 41 is "duck.bin” as shown in FIG.
  • the buffer view object 42 is an object that stores information about a subset area of binary data specified in the buffer object 41 (that is, information about a partial area of the buffer object 41).
  • B of FIG. 7 shows a description example of the buffer view object 42 .
  • the buffer view object 42 indicates, for example, identification information of the buffer object 41 to which the buffer view object 42 belongs, and the position of the buffer view object 42 within the buffer object 41.
  • Information such as an offset (eg, byte offset) and a length (eg, byte length) indicating the data length (eg, byte length) of the buffer view object 42 is stored.
  • each buffer view object that is, for each subset area.
  • information such as “"buffer”: 0", “"bytelength”: 25272", and “"byteOffset”: 0" shown on the upper side in B of Fig. 7 is shown in the buffer object 41 in Fig. 6.
  • Information such as ""buffer”: 0”, “"bytelength”: 76768", and ""byteOffset”: 25272" shown on the lower side in B of Fig. 7 is shown in the buffer object 41 in Fig. 6.
  • the accessor object 43 is an object that stores information on how to interpret the data of the buffer view object 42.
  • C of FIG. 7 shows a description example of the accessor object 43 .
  • the accessor object 43 includes, for example, identification information of the buffer view object 42 to which the accessor object 43 belongs, an offset indicating the position of the buffer view object 42 within the buffer object 41. (eg, byte offset), the component type of the buffer view object 42, the number of data stored in the buffer view object 42, the type of data stored in the buffer view object 42, and other information. These pieces of information are described for each buffer view object.
  • bufferView[0] indicates that 2106 data are stored in the buffer view object 42 (bufferView[0]).
  • ""type”:"VEC3" indicates that (the type of) data stored in the buffer view object 42 (bufferView[0]) is a three-dimensional vector.
  • a point cloud is 3D content that expresses a three-dimensional structure (three-dimensional object) as a set of many points.
  • the point cloud data consists of position information (also referred to as geometry) and attribute information (also referred to as attributes) of each point. Attributes can contain arbitrary information. For example, the attributes may include color information, reflectance information, normal line information, etc. of each point.
  • the point cloud has a relatively simple data structure and can represent any three-dimensional structure with sufficient accuracy by using a sufficiently large number of points.
  • FIG. 8 is a diagram showing a configuration example of objects in a scene description when the point cloud is static.
  • FIG. 9 is a diagram showing a description example of the scene description.
  • the mode of the primitives object is set to 0, which indicates that the data is treated as points of a point cloud.
  • the POSITION property of the attributes object in mesh.primitives specifies an accessor to the buffer that stores the position information of the point. be.
  • the color property (COLOR property) of the attributes object an accessor to the buffer that stores the color information of the point (Point) is specified. There may be one buffer and one buffer view (data may be stored in one file).
  • Each glTF2.0 object can store newly defined objects in an extension object.
  • FIG. 10 shows a description example when defining a newly defined object (ExtensionExample). As shown in FIG. 10, when using a newly defined extension, the extension object name (ExtensionExample in the example of FIG. 10) is described in "extensionUsed” and “extensionRequired”. This indicates that this extension is an extension that should not be used, or that it is an extension that is required for loading.
  • the client device acquires the scene description, acquires data of the 3D object based on the scene description, and generates a display image using the scene description and the data of the 3D object.
  • the presentation engine, media access function, etc. perform processing on the client device.
  • the presentation engine 51 of the client device 50 acquires the initial value of the scene description and information for updating the scene description (hereinafter also referred to as update information). and generate a scene description for the processing target time.
  • the presentation engine 51 analyzes the scene description and specifies media to be reproduced (video, audio, etc.).
  • the presentation engine 51 requests the media access function (Media Access Function) 52 to acquire the media via the media access API (Media Access API (Application Program Interface)).
  • Media Access Function Media Access Function
  • the presentation engine 51 also sets pipeline processing, specifies buffers, and the like.
  • the media access function 52 acquires various media data requested by the presentation engine 51 from the cloud, local storage, or the like.
  • the media access function 52 supplies various data (encoded data) of the acquired media to the pipeline (Pipeline) 53 .
  • the pipeline 53 decodes various data (encoded data) of the supplied media by pipeline processing, and supplies the decoded result to the buffer (Buffer) 54 .
  • the buffer 54 holds various data of the supplied media.
  • the presentation engine 51 performs rendering and the like using various media data held in the buffer 54 .
  • Timed media is media data that changes along the time axis, like moving images in two-dimensional images.
  • glTF was only applicable to still image data as media data (3D object content). In other words, glTF did not support moving image media data.
  • animation a method of switching between still images along the time axis
  • glTF2.0 is applied, JSON format file is applied as scene description, and glTF is extended to handle timed media (e.g. video data) as media data. is being considered. For example, the following extensions are made to handle timed media.
  • FIG. 12 is a diagram explaining extensions for handling timed media.
  • an MPEG media object (MPEG_media) is an extension of glTF, and is an object that specifies attributes of MPEG media such as video data, such as uri, track, renderingRate, and startTime.
  • an MPEG texture video object (MPEG_texture_video) is provided as an extension object (extensions) of the texture object (texture).
  • the MPEG texture video object stores information of the accessor corresponding to the buffer object to be accessed. That is, the MPEG texture video object is an object that specifies the index of the accessor corresponding to the buffer in which the texture media specified by the MPEG media object (MPEG_media) is decoded and stored. .
  • FIG. 13 is a diagram showing a description example of an MPEG media object (MPEG_media) and MPEG texture video object (MPEG_texture_video) in a scene description for explaining extensions for handling timed media.
  • MPEG texture video object MPEG_texture_video
  • MPEG_texture_video is set as extension objects (extensions) of the texture object (texture) in the second line from the top as follows.
  • An accessor index (“2" in this example) is specified as the value of the MPEG video texture object.
  • MPEG media objects are set as glTF extension objects (extensions) in the 7th to 16th lines from the top as follows.
  • Various information related to the MPEG media object such as the encoding and URI of the MPEG media object, are stored as the value of the MPEG media object.
  • an MPEG buffer circular object (MPEG_buffer_circular) is provided as an extension object (extensions) of the buffer object (buffer).
  • MPEG_buffer_circular an MPEG buffer circular object
  • the MPEG buffer circular object contains information for dynamically storing data within the buffer object. For example, information such as information indicating the data length of the buffer header (bufferHeader) and information indicating the number of frames is stored in this MPEG buffer circular object.
  • the buffer header stores information such as an index, a time stamp of frame data to be stored, a data length, and the like.
  • an MPEG accessor timed object (MPEG_timed_accessor) is provided as an extension object (extensions) of the accessor object (accessor).
  • the buffer view object (bufferView) referred to in the time direction may change (the position may change). Therefore, information indicating the referenced buffer view object is stored in this MPEG accessor timed object.
  • the MPEG accessor timed object stores information indicating a reference to a buffer view object (bufferView) in which a timed accessor information header (timedAccessor information header) is described.
  • the timed accessor information header is, for example, header information that stores information in dynamically changing accessor objects and buffer view objects.
  • FIG. 14 is a diagram showing a description example of an MPEG buffer circular object (MPEG_buffer_circular) and an MPEG accessor timed object (MPEG_accessor_timed) in a scene description for explaining extensions for handling timed media.
  • the MPEG accessor timed object MPEG_accessor_timed
  • MPEG_accessor_timed is set as the extension object (extensions) of the accessor object (accessors) in the fifth line from the top as follows.
  • parameters such as the buffer view object index ("1" in this example), update rate (updateRate), and immutable information (immutable) and their values are specified.
  • an MPEG buffer circular object (MPEG_buffer_circular) is set as an extension object (extensions) of the buffer object (buffer) on the 13th line from the top as follows.
  • Parameters such as buffer frame count (count), header length (headerLength), update rate (updateRate) and their values are designated as values of the MPEG buffer circular object.
  • FIG. 15 is a diagram for explaining extensions for handling timed media.
  • FIG. 15 shows an example of the relationship between MPEG accessor timed objects and MPEG buffer circular objects, accessor objects, buffer view objects, and buffer objects.
  • the MPEG buffer circular object of the buffer object stores time-varying data in the buffer area indicated by the buffer object, such as the buffer frame count (count), header length (headerLength), update rate (updateRate), etc. It stores the information needed to A buffer header, which is the header of the buffer area, stores parameters such as an index, a time stamp, and a data length.
  • the MPEG accessor timed object of the accessor object stores information about the buffer view object to be referenced, such as the index of the buffer view object (bufferView), update rate (updateRate), immutable information (immutable), etc., as described above. be.
  • This MPEG accessor timed object also stores information about the buffer view object in which the referenced timed accessor information header is stored.
  • the timed accessor information header may store a timestamp delta (timestamp_delta), accessor object update data, buffer view object update data, and the like.
  • a scene description is spatial arrangement information for arranging one or more 3D objects in a 3D space. This scene description can update its contents along the time axis. In other words, the placement of 3D objects can be updated over time. The client processing performed in the client device at that time will be described.
  • FIG. 16 shows a main configuration example of the client processing of the client device
  • FIG. 17 is a flow chart showing an example of the flow of the client processing.
  • the client device includes a presentation engine (hereinafter also referred to as PE) 51, a media access function (hereinafter also referred to as MAF) 52, and a pipeline 53. , and a buffer 54 .
  • a presentation engine (PE) 51 has a glTF analysis unit 63 and a rendering processing unit 64 .
  • the presentation engine (PE) 51 causes the media access function 52 to acquire media, acquires the data via the buffer 54, and performs display-related processing. Specifically, for example, the processing is performed in the following flow.
  • the glTF analysis unit 63 of the presentation engine (PE) 51 starts PE processing as shown in the example of FIG. and parse its scene description.
  • step S22 the glTF analysis unit 63 confirms the media associated with the 3D object (texture), the buffer that stores the media after processing, and the accessor.
  • step S23 the glTF analysis unit 63 notifies the information to the media access function 52 as a file acquisition request.
  • the media access function (MAF) 52 starts MAF processing as in the example of FIG. 17, and acquires the notification in step S11.
  • the media access function 52 acquires the media (3D object file (mp4)) based on the notification.
  • step S13 the media access function 52 decodes the acquired media (3D object file (mp4)).
  • step S14 the media access function 52 stores the decoded media data in the buffer 54 based on the notification from the presentation engine (PE 51).
  • step S24 the rendering processing unit 64 of the presentation engine 51 reads (obtains) the data from the buffer 54 at an appropriate timing.
  • step S25 the rendering processing unit 64 performs rendering using the acquired data to generate a display image.
  • the media access function 52 executes these processes for each time (each frame) by repeating the processes of steps S13 and S14. Also, the rendering processing unit 64 of the presentation engine 51 repeats the processing of steps S24 and S25, thereby performing these processing for each time (each frame). When all frames have been processed, the media access function 52 ends the MAF processing, and the presentation engine 51 ends the PE processing. That is, the client processing ends.
  • V-PCC Video based Point Cloud Compression
  • V-PCC the point cloud geometry and attributes are projected onto a two-dimensional plane for each small area.
  • this small area may be referred to as a partial area.
  • An image obtained by projecting the geometry and attributes onto a two-dimensional plane is also called a projected image.
  • a projection image for each small area (partial area) is called a patch.
  • an object 71 (3D data) in FIG. 18A is decomposed into patches 72 (2D data) as shown in FIG. 18B.
  • each pixel value indicates the location information of the point.
  • the position information of the point is expressed as position information (depth value (Depth)) in the direction perpendicular to the projection plane (depth direction).
  • each patch generated in this way is placed within a frame image (also called a video frame) of the video sequence.
  • a frame image in which geometry patches are arranged is also called a geometry video frame.
  • a frame image in which attribute patches are arranged is also called an attribute video frame.
  • a geometry video frame 81 in which a geometry patch 73 as shown in FIG. 18C and an attribute patch 74 as shown in FIG. 18D are arranged.
  • a combined attribute video frame 82 is generated.
  • each pixel value of geometry video frame 81 indicates the depth value described above.
  • these video frames are encoded by a two-dimensional image encoding method such as AVC (Advanced Video Coding) or HEVC (High Efficiency Video Coding). That is, point cloud data, which is 3D data representing a 3D structure, can be encoded using a codec for 2D images.
  • AVC Advanced Video Coding
  • HEVC High Efficiency Video Coding
  • An occupancy map (also called an occupancy image) can also be used.
  • the occupancy map is map information indicating the presence or absence of a projected image (patch) for each NxN pixels of a geometry video frame or attribute video frame.
  • the occupancy map indicates areas of a geometry video frame or attribute video frame where patches exist (NxN pixels) with a value of "1" and areas where patches do not exist (NxN pixels) with a value of "0".
  • the decoder can determine whether or not there is a patch in an area. 3D data can be restored to For example, even if the depth value changes due to encoding/decoding, the decoder can ignore the depth value in areas where no patch exists by referring to the occupancy map. In other words, the decoder can avoid processing as position information of 3D data by referring to the occupancy map.
  • an occupancy map 83 as shown in E of FIG. 18 may be generated for the geometry video frame 11 and the attribute video frame 12 .
  • the white portion indicates the value "1" and the black portion indicates the value "0".
  • Such an occupancy map can be encoded as data (video frame) separate from geometry video frames and attribute video frames and transmitted to the decoding side. That is, the occupancy map can be encoded by a two-dimensional image encoding method such as AVC or HEVC, like the geometry video frame and the attribute video frame.
  • the encoded data (bitstream) generated by encoding the geometry video frame is also called geometry video sub-bitstream.
  • the encoded data (bitstream) generated by encoding the attribute video frame is also called an attribute video sub-bitstream.
  • the encoded data (bitstream) generated by encoding the occupancy map is also called an occupancy map video sub-bitstream.
  • Geometry video sub-bitstreams, attribute video sub-bitstreams, and occupancy map video sub-bitstreams are referred to as video sub-bitstreams when there is no need to distinguish them from one another.
  • Atlas information which is information for reconstructing point clouds (3D data) from patches (2D data)
  • the encoding method (and decoding method) of the atlas information is arbitrary.
  • the encoded data (bitstream) generated by encoding the atlas information is also called an atlas sub-bitstream.
  • the object of the point cloud can change in the time direction (also referred to as being dynamic), like a moving image of a two-dimensional image.
  • geometry data and attribute data have the concept of time direction, and are data sampled at predetermined time intervals like two-dimensional moving images. Data at each sampling time is called a frame like a video frame of a two-dimensional image.
  • the point cloud data (geometry data and attribute data) is composed of multiple frames like a two-dimensional moving image.
  • this point cloud frame is also referred to as a point cloud frame.
  • V-PCC even if it is a point cloud of such moving images (multiple frames), by converting each point cloud frame into a video frame and making it into a video sequence, it is possible to achieve high efficiency using the moving image coding method. can be encoded into
  • V-PCC bitstream structure The encoder multiplexes the coded data of geometry video frames, attribute video frames, occupancy maps, and atlas information as described above to produce one bitstream. This bitstream is also called a V-PCC Bitstream.
  • FIG. 19 is a diagram showing a main configuration example of a V-PCC bitstream.
  • a V-PCC bitstream 91 includes a plurality of V-PCC units (V-PCC Units) 92 .
  • the V-PCC unit 92 includes a V-PCC unit header 93 and a V-PCC unit payload 94.
  • the V-PCC unit header 93 contains information indicating the type of information stored in the V-PCC unit payload 94 .
  • the V-PCC unit payload 94 consists of V-PCC Parameter Set 95, Geometry Video Data 96, Geometry Video Data, depending on the type signaled in its V-PCC Unit Header 93.
  • An attribute video sub-bitstream 97 (Attribute Video Data), an occupancy map video sub-bitstream 98 (Occupancy Video Data), an atlas sub-bitstream 99 (Atlas Data), etc. may be stored.
  • a V-PCC Parameter Set 95 stores parameters relating to the V-PCC unit 92 .
  • Non-Patent Document 4 a method of storing a V-PCC bitstream (also referred to as a V3C bitstream) composed of coded data of a point cloud encoded with this V-PCC in ISOBMFF. was considered.
  • Non-Patent Document 4 defines two types of methods for storing a V3C bitstream in ISOBMFF: a single track structure and a multi-track structure.
  • a single track structure is a method of storing a V3C bitstream in one track. That is, in this case, the geometry video sub-bitstream, attribute video sub-bitstream, occupancy map video sub-bitstream, and atlas sub-bitstream are stored in the same track.
  • a multi-track structure is a method of storing geometry video sub-bitstreams, attribute video sub-bitstreams, occupancy video sub-bitstreams, and atlas sub-bitstreams in separate tracks. Since each video sub-bitstream is a conventional 2D video stream, it can be stored (managed) in a manner similar to the 2D case.
  • FIG. 20 shows an example of file configuration when applying the multi-track structure. As shown in Figure 20, for a multi-track structure, one track (V3C atlas track) stores the V3C bitstreams in another track (V3C video component track). Track References, which are information for accessing Track References, are stored. In other words, each V3C video component track is linked to a V3C atlas track by this track reference.
  • MPD Media Presentation Description
  • FIG. 21 shows an example of the description. In other words, in this case, these pieces of information in the MPD associate the bitstreams that make up the V3C bitstream with each other.
  • a client device that reproduces content (3D data) decodes the V3C bitstream and reconstructs 3D data (eg, point cloud) from the resulting 2D data.
  • the client device can reconstruct the 3D data using MAF (Media Access Function) or PE (Presentation Engine).
  • MAF Media Access Function
  • PE Presentation Engine
  • V-PCC file that constitutes a 3D object
  • decoding processing of that V-PCC file V3C bitstream
  • 3D data is reconstructed in MAF, after decoding processing, reconstruction processing is performed as indicated by the upper solid line arrow in FIG. 22, and the processing result, ie, 3D data, is stored in the buffer.
  • the PE processing executed by the PE the 3D data stored in the buffer is read out and a display image is generated by performing rendering processing.
  • the decoding processing result that is, 2D data, etc. is stored in the buffer as indicated by the dotted line arrows on the lower side of FIG.
  • 2D data and the like stored in the buffer are read out, 3D data is reconstructed by reconstruction processing, and a display image is generated by performing rendering processing.
  • V3C decoded V3C component stream V3C component stream
  • 2D data and the like are stored in the buffer. Therefore, the scene description stores attributes for V3C components (2D data).
  • V3C component data stored in the buffer there are two ways to associate the V3C component data stored in the buffer with the track indicated by MPEG_media. That is, for example, as shown in FIG. 24, buffers and V3C component tracks may be linked on a one-to-one basis. Also, as shown in FIG. 25, a V3C atlas track that collects all component data may be referenced from each buffer.
  • a scene description file is generated for each playback method, and there is a risk that the load associated with generating the scene description file will increase. Also, in this case, each scene description file differs only in the corresponding playback method, and the arranged 3D objects are the same. Therefore, it can be said that generating a scene description file for each reproduction method is a redundant process.
  • the management becomes complicated, and there is a risk that the management load will increase.
  • the load associated with selecting and acquiring the scene description file used for reproduction will increase. For example, there is a possibility that processing unnecessary for reproduction such as confirmation of the reproduction method and transfer of unnecessary information are necessary just to acquire the scene description file.
  • an information processing device for example, a client device
  • select a property corresponding to the 3D data playback method use the selected property, and use the playback method
  • a file processing unit for processing 3D data is provided.
  • a property corresponding to the 3D data playback method is selected based on the extension specified in the scene description, and the selected property is used to process the 3D data in that playback method.
  • an information processing device may include a file generation unit that generates a scene description file that stores extensions for identifying properties for each 3D data reproduction method.
  • a scene description file that stores extensions for identifying properties for each 3D data reproduction method is generated.
  • the structure of the scene description can be set to a state in which properties can be identified for each playback method. Therefore, one scene description can correspond to a plurality of reproduction methods.
  • the device that manages the generated content files and scene description files it is possible to suppress an increase in the load related to the management of the scene description files, such as making the management of the scene description files easier.
  • this extension may be stored in one primitive of the scene description, as shown in the second row from the top of the table shown in FIG. #1-1).
  • a first extension and a second extension are defined, and within the first extension, one or more first extensions corresponding to a first reproduction method of 3D data are provided.
  • One attribute property may be stored and in its second extension one or more second attribute properties corresponding to a second reproduction method of 3D data.
  • a file processing unit selects a single or a plurality of first attribute properties stored in a first extension, or A second attribute property or properties may be selected to be stored in the second extension.
  • the file generation unit may define the first extension and the second extension within one primitive of the scene description file. Then, the file generator may store, in the first extension, one or more first attribute properties corresponding to the first reproduction method of the 3D data. Then, the file generator may store, in the second extension, one or more second attribute properties corresponding to the second reproduction method of the 3D data.
  • Fig. 27 shows an example of the main configuration of objects in the scene description in this case.
  • FIG. 28 shows an example of the description.
  • primitives define an extension (MPEG_VPCC_reconstructMAF), and within that extension, MAF reconstruction attribute properties (POSITION, COLOR etc.) are stored (inside the rectangular frame 202 in FIG. 28).
  • MAF reconstruction attribute properties POSITION, COLOR etc.
  • the file processing unit of an information processing device for example, a client device
  • Post-composition data can be fed from the MAF to the PE.
  • An extension (MPEG_VPCC_reconstructPE) is specified in the primitives, and the PE reconstruction attribute properties (POSITION, _MPEG_ATLAS, _MPEG_ATTR, _MPEG_OCCU, etc.) are stored in the extension (Fig. 28 in square frame 201).
  • the file processing unit of the information processing device (for example, the client device) uses the accessors associated with these PE reconstruction attribute properties to reconstruct the 3D data via the buffer.
  • Pre-configuration data can be supplied from the MAF to the PE.
  • the configuration of the scene description can be in a state in which properties can be identified for each playback method. Therefore, one scene description can correspond to a plurality of reproduction methods.
  • each extension name (eg, MPEG_VPCC_reconstructMAF, MPEG_VPCC_reconstructPE) may be used as identification information.
  • the file processing unit of an information processing device for example, a client device
  • the file processing unit of an information processing device is an extension that stores MAF reconstruction attribute properties or stores PE reconstruction attribute properties based on this extension name. It is possible to identify whether it is an extension to be stored. Therefore, the file processing unit can correctly select the extension in which the desired attribute property is stored and use the desired attribute property.
  • an extension may be defined within one primitive of the scene description. Then, within the primitives, one or more first attribute properties corresponding to the first reproduction method of 3D data may be stored. Also stored in the extension is one or more second attribute properties corresponding to a second reproduction method of the 3D data. Then, in the information processing device (for example, the client device), the file processing unit stores one or more first attribute properties stored in the primitives, or in the extension, according to the 3D data reproduction method A second attribute property or properties to be stored may be selected.
  • a file generation unit may define an extension within one primitive of a scene description file. Then, the file generator may store, in the primitives, one or more first attribute properties corresponding to the first reproduction method of the 3D data. Then, the file generator may store, in the extension, one or more second attribute properties corresponding to the second reproduction method of 3D data.
  • Fig. 29 shows an example of the main configuration of objects in the scene description in this case.
  • FIG. 30 shows an example of the description.
  • primitives define an extension (MPEG_VPCC_reconstructPE), and within that extension, PE reconstruction attributes properties (POSITION, _MPEG_ATLAS). , _MPEG_ATTR, _MPEG_OCCU, etc.) are stored (inside the rectangular frame 221 in FIG. 30).
  • the file processing unit of the information processing device uses the accessors associated with these PE reconstruction attribute properties to reconstruct the 3D data via the buffer.
  • Pre-configuration data can be supplied from the MAF to the PE.
  • MAF reconstruction attribute properties are stored in the primitives.
  • the file processing unit of an information processing device for example, a client device
  • Post-composition data can be fed from the MAF to the PE.
  • the configuration of the scene description can be in a state in which properties can be identified for each playback method. Therefore, one scene description can correspond to a plurality of reproduction methods.
  • the presence or absence of extensions may be used as identification information. That is, for example, the file processing unit of the information processing device (for example, the client device) determines whether the attribute property for MAF reconstruction or the attribute property for PE reconstruction is stored in the extension or not. can be identified. Therefore, the file processor can correctly select and utilize the desired attribute properties.
  • a new property for each V-PCC attribute may be defined and used without using the attribute property.
  • a reproduction method for reconstructing 3D data in MAF in one primitive of the scene description A first extension that stores a property for MAF reconstruction (also called a property for MAF reconstruction) and a property for a playback method that reconstructs 3D data in a PE (also called a property for PE reconstruction).
  • a second extension to be stored may be stored (#1-1-3).
  • a first extension and a second extension may be defined within one primitive of the scene description. Then, in the first extension, one or more first properties corresponding to the first reproduction method of 3D data may be stored. Also stored in the second extension is one or more second properties corresponding to a second reproduction method of the 3D data. Then, in an information processing device (for example, a client device), a file processing unit stores a single or a plurality of first properties stored in the first extension, or a second extension, according to the 3D data reproduction method A second property or properties stored within may be selected.
  • an information processing device for example, a client device
  • the file generation unit may define the first extension and the second extension within one primitive of the scene description file. Then, the file generator may store, in the first extension, one or more first properties corresponding to the first reproduction method of 3D data. Then, the file generator may store, in the second extension, one or more second properties corresponding to the second reproduction method of the 3D data.
  • Fig. 31 shows an example of the main configuration of objects in the scene description in this case.
  • FIG. 32 shows an example of the description.
  • an extension MPEG_VPCC_reconstructPE
  • MPEG_VPCC_GEO a newly defined property for PE reconstruction
  • MPEG_VPCC_ATL a newly defined property for PE reconstruction
  • MPEG_VPCC_ATT a newly defined property for PE reconstruction
  • MPEG_VPCC_OCU a newly defined property for PE reconstruction
  • the file processing unit of the information processing device uses accessors associated with these PE reconstruction properties to reconstruct the pre-reconstruction data via the buffer. Data can be fed from the MAF to the PE.
  • An extension (MPEG_VPCC_reconstructMAF) is defined in the primitives, and newly defined MAF reconstruction properties (MPEG_VPCC_POS, MPEG_VPCC_COL, etc.) are stored in the extension (see FIG. 32). inside the square frame 242).
  • MAF reconstruction properties MPEG_VPCC_POS, MPEG_VPCC_COL, etc.
  • the file processing unit of the information processing device uses the accessors associated with these MAF reconstruction properties to reconstruct the Data can be fed from the MAF to the PE.
  • the configuration of the scene description can be in a state in which properties can be identified for each playback method. Therefore, one scene description can correspond to a plurality of reproduction methods.
  • each extension name (eg, MPEG_VPCC_reconstructMAF, MPEG_VPCC_reconstructPE) may be used as identification information.
  • the file processing unit of the information processing device for example, client device
  • the file processing unit is based on this extension name whether it is an extension that stores properties for MAF reconfiguration or an extension that stores properties for PE reconfiguration. can be identified. Therefore, the file processing unit can correctly select the extension in which the desired property is stored and use the desired property.
  • This method of newly defining and using properties for each attribute of V-PCC without using the attribute properties uses the presence or absence of extensions as identification information, as described with reference to FIGS. 29 and 30. may be applied in some cases.
  • one primitive of the scene description includes properties for MAF reconstruction and PE reconstruction
  • An extension that stores properties for use may be stored (#1-1-4).
  • an extension may be defined within one primitive of the scene description.
  • a first property or properties corresponding to a first reproduction method of 3D data may be stored in the primitives.
  • Also stored in the extension is one or more second properties corresponding to a second reproduction method of the 3D data.
  • the file processing unit is stored in one or more first properties stored in the primitives or in the extension, depending on the method of reproducing the 3D data.
  • One or more second properties may be selected.
  • a file generation unit may define an extension within one primitive of a scene description file. Then, the file generator may store, in the primitives, one or more first properties corresponding to the first reproduction method of 3D data. Then, the file generator may store, in the extension, one or more second properties corresponding to the second reproduction method of 3D data.
  • the configuration of the scene description can be in a state in which properties can be identified for each playback method. Therefore, one scene description can correspond to a plurality of reproduction methods.
  • the presence or absence of extensions may be used as identification information. That is, for example, the file processing unit of an information processing device (for example, a client device) identifies whether it is a property for MAF reconfiguration or a property for PE reconfiguration based on whether or not it is stored in an extension. be able to. Therefore, the file processing unit can correctly select and use desired properties.
  • an information processing device for example, a client device
  • the extension stored in one primitive of the scene description includes the first alternatives having the MAF reconstruction attribute property as an element.
  • An array and a second alternatives array whose elements are PE reconstruction attribute properties may be stored (#2). Then, the MAF reconstruction attribute properties and the PE reconstruction attribute properties may be identified based on these alternatives arrays, and the properties may be selected according to the reproduction method.
  • an alternatives array corresponding to a 3D data reproduction method is selected from among the alternatives arrays defined in the scene description, and the elements of the selected alternatives array are The property is used to provide a file processing unit that processes 3D data in that reproduction method.
  • an alternatives array corresponding to the 3D data playback method is selected from among the alternatives arrays defined in the scene description, and properties that are elements of the selected alternatives array are used. , to process the 3D data in its playback method.
  • an information processing device may include a file generation unit that generates a scene description file that stores a plurality of alternatives arrays having properties corresponding to the same reproduction method of 3D data as elements. do.
  • a scene description file is generated that stores a plurality of alternative arrays whose elements are properties corresponding to the same reproduction method of 3D data.
  • the configuration of the scene description can be put in a state in which properties can be identified for each playback method. Therefore, one scene description can correspond to a plurality of reproduction methods.
  • the device that manages the generated content files and scene description files it is possible to suppress an increase in the load related to the management of the scene description files, such as making the management of the scene description files easier.
  • the location of the alternatives array is arbitrary.
  • this alternatives array may be stored in one primitive of the scene description.
  • an extension may be defined within one primitive of the scene description. Then, within the extension, a first alternative sequence and a second alternative sequence may be defined. Then, the first alternatives array may have as elements each of the single or plural first properties corresponding to the first reproduction method of the 3D data. Also, the second alternatives array may have as elements each of the single or multiple second properties corresponding to the second reproduction method of the 3D data. Then, in the information processing device (for example, the client device), when the first reproduction method is applied, the file processing unit selects the first alternatives array and uses one or more first properties to perform the first reproduction. 3D data may be processed in one reproduction method. Also, when the file processing unit applies the second reproduction method, it selects the second alternatives array and processes the 3D data by the second reproduction method using one or more second properties. may
  • a file generation unit may define an extension within one primitive of a scene description file. Then, the file generation unit may store, in the extension, a first alternatives array whose elements are each of the single or plurality of first properties corresponding to the first reproduction method of 3D data. Also, the file generation unit may further store, in the extension, a second alternatives array whose elements are each of the single or plural second properties corresponding to the second reproduction method of the 3D data. good.
  • Fig. 33 shows an example of the main configuration of objects in the scene description in this case.
  • FIG. 34 shows an example of the description.
  • primitives define an extension (MPEG_VPCC_ClientInfo), and within that extension, attributes for PE reconstruction (POSITION, _MPEG_ATLAS) , _MPEG_ATTR, _MPEG_OCCU, etc.) are stored (inside the rectangular frame 261 in FIG. 34).
  • the extension also stores an alternatives array whose elements are MAF reconstruction attribute properties (POSITION, COLOR, etc.) (inside the rectangular frame 262 in FIG. 34).
  • An alternatives array is an array that indicates that the elements of that array are used alternatively. That is, the attribute properties for each reproduction method are selected by selecting the alternatives array to apply.
  • a client type (ClientType) is defined in each alternative array element, and attributes corresponding to any reproduction method (reconstruction method) are stored by this parameter. is indicated.
  • Extensions such as those described above in examples (#1) and (#2) may be defined within the mesh object of the scene description. For example, to identify MAF reconstruction (attributes) properties and PE reconstruction (attributes) properties within one mesh object in the scene description, as shown at the top of the table shown in FIG. may be stored (#3).
  • a first extension and a second extension may be defined within one mesh object of the scene description. Then, in the first extension, one or more first attribute properties corresponding to the first reproduction method of 3D data may be stored. Also stored in the second extension is one or more second attribute properties corresponding to a second reproduction method of the 3D data. Then, in an information processing device (for example, a client device), a file processing unit selects a single or a plurality of first attribute properties stored in the first extension, or a first One or more second attribute properties stored in extension 2 may be selected.
  • an information processing device for example, a client device
  • the file generation unit may define the first extension and the second extension within one mesh object of the scene description file. Then, the file generator may store, in the first extension, one or more first attribute properties corresponding to the first reproduction method of the 3D data. Also, the file generator may store in the second extension one or more second attribute properties corresponding to the second reproduction method of the 3D data.
  • Fig. 36 shows an example of part of the configuration of objects in the scene description in this case.
  • an extension MPEG_VPCC_reconstructPE
  • MPEG_VPCC_reconstructMAF An extension
  • MAF reconstruction attribute properties are stored in the extension.
  • the file processing unit of the information processing device selects MPEG_VPCC_reconstructPE and uses the accessor associated with the PE reconstruction attribute property to retrieve the pre-reconstruction data via the buffer. It can be fed from MAF to PE.
  • the file processing unit of the information processing device selects MPEG_VPCC_reconstructMAF and uses the accessor associated with the MAF reconstruction attribute property to retrieve the reconstructed data via the buffer. It can be fed from MAF to PE.
  • composition of the scene description can be set to a state in which properties can be identified for each playback method. Therefore, one scene description can correspond to a plurality of reproduction methods.
  • each extension name (eg, MPEG_VPCC_reconstructMAF, MPEG_VPCC_reconstructPE) may be used as identification information.
  • the file processing unit of an information processing device for example, a client device
  • the file processing unit of an information processing device is an extension that stores MAF reconstruction attribute properties or stores PE reconstruction attribute properties based on this extension name. It is possible to identify whether it is an extension to be stored. Therefore, the file processing unit can correctly select the extension in which the desired attribute property is stored and use the desired attribute property.
  • an extension may be defined within one mesh object of the scene description.
  • a first attribute property or properties corresponding to a first reproduction method of 3D data may then be stored within the mesh object.
  • Also stored in the extension is one or more second attribute properties corresponding to a second reproduction method of the 3D data.
  • the file processing unit stores the single or multiple first attribute properties stored in the mesh object, or in the extension, according to the 3D data reproduction method.
  • a second attribute property or properties to be stored may be selected.
  • the file generation unit may define an extension within one mesh object of the scene description file. Then, the file generator may store, in the primitives, one or more first attribute properties corresponding to the first reproduction method of the 3D data. Also, the file generator may store in the extension one or more second attribute properties corresponding to the second reproduction method of the 3D data.
  • the configuration of the scene description can be in a state in which properties can be identified for each playback method. Therefore, one scene description can correspond to a plurality of reproduction methods.
  • the presence or absence of extensions may be used as identification information. That is, for example, the file processing unit of the information processing device (for example, the client device) determines whether the attribute property for MAF reconstruction or the attribute property for PE reconstruction is stored in the extension or not. can be identified. Therefore, the file processor can correctly select and utilize the desired attribute properties.
  • a new property for each V-PCC attribute may be defined and used without using the attribute property.
  • (#3) as shown in the fourth row from the top of the table shown in FIG.
  • a first extension storing properties for PE reconstruction and a second extension storing second primitives storing properties for PE reconstruction may be stored (#3-3).
  • a first extension and a second extension may be defined within one mesh object of the scene description. Then, in the first extension, one or more first properties corresponding to the first reproduction method of 3D data may be stored. Also stored in the second extension is one or more second properties corresponding to a second reproduction method of the 3D data. Then, in an information processing device (for example, a client device), a file processing unit stores a single or a plurality of first properties stored in the first extension, or a second extension, according to the 3D data reproduction method A second property or properties stored within may be selected.
  • an information processing device for example, a client device
  • the file generation unit may define the first extension and the second extension within one mesh object of the scene description file. Then, the file generator may store, in the first extension, one or more first properties corresponding to the first reproduction method of 3D data. Also, the file generator may store, in the second extension, one or more second properties corresponding to the second reproduction method of the 3D data.
  • the configuration of the scene description can be in a state in which properties can be identified for each playback method. Therefore, one scene description can correspond to a plurality of reproduction methods.
  • each extension name (eg, MPEG_VPCC_reconstructMAF, MPEG_VPCC_reconstructPE) may be used as identification information.
  • the file processing unit of the information processing device for example, client device
  • the file processing unit is based on this extension name whether it is an extension that stores properties for MAF reconfiguration or an extension that stores properties for PE reconfiguration. can be identified. Therefore, the file processing unit can correctly select the extension in which the desired property is stored and use the desired property.
  • the extension may be defined within one mesh object of the scene description.
  • a first property or properties corresponding to a first reproduction method of 3D data may be stored in the mesh object.
  • Also stored in the extension is one or more second properties corresponding to a second reproduction method of the 3D data.
  • the file processing unit is stored in one or more first properties stored in the mesh object or in the extension according to the 3D data reproduction method.
  • One or more second properties may be selected.
  • the file generation unit may define an extension within one mesh object of the scene description file. Then, the file generator may store in the mesh object one or more first properties corresponding to the first reproduction method of the 3D data. Also, in the extension, one or more second properties corresponding to a second reproduction method of 3D data may be stored.
  • the configuration of the scene description can be in a state in which properties can be identified for each playback method. Therefore, one scene description can correspond to a plurality of reproduction methods.
  • the presence or absence of extensions may be used as identification information. That is, for example, the file processing unit of an information processing device (for example, a client device) identifies whether it is a property for MAF reconfiguration or a property for PE reconfiguration based on whether or not it is stored in an extension. be able to. Therefore, the file processing unit can correctly select and use desired properties.
  • an information processing device for example, a client device
  • an extension may be defined within one mesh object of the scene description. Then, within the extension, a first alternative sequence and a second alternative sequence may be defined. Then, the first alternatives array may include, as elements, each of the single or multiple first properties corresponding to the first reproduction method of 3D data. Also, the second alternatives array may have as elements each of the single or multiple second properties corresponding to the second reproduction method of the 3D data. Then, in an information processing device (for example, a client device), when the file processing unit applies the first reproduction method, it selects the first alternatives array, uses one or more first properties, The 3D data may be processed with the first reproduction method. Also, when the file processing unit applies the second playback method, it selects the second alternatives array and uses the second property or properties to process the 3D data in the second playback method. You may
  • the file generation unit may define an extension within one mesh object of the scene description file. Then, the file generation unit may store, in the extension, a first alternatives array whose elements are each of the single or plurality of first properties corresponding to the first reproduction method of 3D data. Also, the extension may further store a second alternatives array whose elements are each of the one or more second properties corresponding to the second reproduction method of the 3D data.
  • a client type (ClientType) is specified in each alternatives array element, and this parameter indicates which playback method (reconstruction method) the property corresponding to is stored. It is
  • the configuration of the scene description can be put in a state in which properties can be identified for each playback method. Therefore, one scene description can correspond to a plurality of reproduction methods.
  • Extensions such as those described above in examples (#1) to (#3) may be defined within a node of the scene description. For example, as shown at the top of the table shown in FIG. 37, in one node of the scene description, for identifying the MAF reconstruction (attributes) property and the PE reconstruction (attributes) property Extensions may be stored (#4).
  • Extensions for each playback method In the case of (#4), for example, as shown in the second row from the top of the table shown in FIG. A first extension associated with a first mesh object storing primitives of and a second extension associated with a second mesh object storing second primitives storing attributes properties for PE reconstruction. 2 extensions may be stored (#4-1).
  • a first extension and a second extension may be defined within one node of the scene description.
  • the first extension may then be associated with one or more first attribute properties corresponding to a first reproduction method of 3D data.
  • the second extension may also be associated with one or more second attribute properties corresponding to a second reproduction method of 3D data.
  • a file processing unit according to a method of reproducing 3D data, is a single or a plurality of first attribute properties associated with the first extension, or a second A second attribute property or properties associated with the extension may be selected.
  • the file generation unit may define the first extension and the second extension within one node of the scene description file.
  • the file generator may then associate the first extension with one or more first attribute properties corresponding to the first reproduction method of the 3D data.
  • the file generator may associate, within the second extension, one or more second attribute properties corresponding to the second reproduction method of the 3D data.
  • Fig. 38 shows an example of part of the configuration of objects in the scene description in this case.
  • an extension MPEG_VPCC_reconstructPE
  • the node node
  • the PE reconstruction attribute properties primaryitives that store the properties
  • a mesh object mesh object
  • MPEG_VPCC_reconstructMAF MPEG_VPCC_reconstructMAF
  • a file processing unit of an information processing device selects MPEG_VPCC_reconstructPE, and by using the accessor associated with (PE reconstruction attribute property associated with) MPEG_VPCC_reconstructPE, Pre-reconstruction data can be supplied from the MAF to the PE via a buffer.
  • the file processing unit of the information processing device selects MPEG_VPCC_reconstructMAF and uses the accessor associated with the MPEG_VPCC_reconstructMAF (MAF reconstruction attribute property associated with) to create a buffer.
  • the reconstructed data can be supplied from the MAF to the PE via the MAF.
  • composition of the scene description can be set to a state in which properties can be identified for each playback method. Therefore, one scene description can correspond to a plurality of reproduction methods.
  • each extension name (eg, MPEG_VPCC_reconstructMAF, MPEG_VPCC_reconstructPE) may be used as identification information.
  • the file processing unit of an information processing device for example, a client device
  • the file processing unit of an information processing device is an extension that stores MAF reconstruction attribute properties or stores PE reconstruction attribute properties based on this extension name. It is possible to identify whether it is an extension to be stored. Therefore, the file processing unit can correctly select the extension in which the desired attribute property is stored and use the desired attribute property.
  • an extension may be defined within one node of the scene description.
  • the node may then be associated with one or more first attribute properties corresponding to the first reproduction method of the 3D data.
  • the extension may also be associated with one or more second attribute properties corresponding to a second reproduction method of 3D data.
  • an information processing device for example, a client device
  • a file processing unit is associated with one or more first attribute properties associated with the node, or with extensions thereof, according to the 3D data reproduction method.
  • One or more second attribute properties may be selected.
  • the file generation unit may define an extension within one node of the scene description file.
  • the file generator may then associate the node with one or more first attribute properties corresponding to the first reproduction method of the 3D data.
  • the file generator may associate the extension with one or more second attribute properties corresponding to the second reproduction method of the 3D data.
  • the configuration of the scene description can be in a state in which properties can be identified for each playback method. Therefore, one scene description can correspond to a plurality of reproduction methods.
  • the presence or absence of extensions may be used as identification information. That is, for example, the file processing unit of the information processing device (for example, the client device) determines whether the attribute property for MAF reconstruction or the attribute property for PE reconstruction is stored in the extension or not. can be identified. Therefore, the file processor can correctly select and utilize the desired attribute properties.
  • a new property for each V-PCC attribute may be defined and used without using the attribute property.
  • (#4) as shown in the fourth row from the top of the table shown in FIG. and a second extension associated with a second mesh object that stores second primitives that store properties for PE reconstruction. (#4-3).
  • a first extension and a second extension may be defined within one node of the scene description. Then, the first extension may be associated with one or more first properties corresponding to the first reproduction method of 3D data. The second extension may also be associated with one or more second properties corresponding to a second reproduction method of 3D data. Then, in an information processing device (for example, a client device), a file processing unit selects one or more first properties associated with the first extension, or the second extension, depending on the 3D data reproduction method. may select one or more second properties associated with .
  • the file generation unit may define the first extension and the second extension within one node of the scene description file. Then, the file generation unit may associate the first extension with one or more first properties corresponding to the first reproduction method of 3D data. Also, the file generator may associate the second extension with one or more second properties corresponding to the second reproduction method of the 3D data.
  • the configuration of the scene description can be in a state in which properties can be identified for each playback method. Therefore, one scene description can correspond to a plurality of reproduction methods.
  • each extension name (eg, MPEG_VPCC_reconstructMAF, MPEG_VPCC_reconstructPE) may be used as identification information.
  • the file processing unit of the information processing device for example, client device
  • the file processing unit is based on this extension name whether it is an extension that stores properties for MAF reconfiguration or an extension that stores properties for PE reconfiguration. can be identified. Therefore, the file processing unit can correctly select the extension in which the desired property is stored and use the desired property.
  • an extension may be defined within one node of the scene description.
  • the node may then be associated with one or more first properties corresponding to the first reproduction method of the 3D data.
  • the extension may then be associated with one or more second properties corresponding to a second reproduction method of 3D data.
  • an information processing device for example, a client device
  • a file processing unit selects one or more first properties associated with the node, or one or more properties associated with the extension, according to the 3D data reproduction method.
  • a second property of may be selected.
  • the file generation unit may define an extension within one node of the scene description file.
  • the file generator may then associate the node with one or more first properties corresponding to the first reproduction method of the 3D data.
  • the file generator may associate the extension with one or more second properties corresponding to the second reproduction method of the 3D data.
  • the configuration of the scene description can be in a state in which properties can be identified for each playback method. Therefore, one scene description can correspond to a plurality of reproduction methods.
  • the presence or absence of extensions may be used as identification information. That is, for example, the file processing unit of an information processing device (for example, a client device) identifies whether it is a property for MAF reconfiguration or a property for PE reconfiguration based on whether or not it is stored in an extension. be able to. Therefore, the file processing unit can correctly select and use desired properties.
  • an information processing device for example, a client device
  • a second alternatives array having elements with associated objects may be stored (#4-5). Then, the MAF reconstruction attribute properties and the PE reconstruction attribute properties may be identified based on these alternatives arrays, and the properties may be selected according to the reproduction method.
  • an extension may be defined within one node of the scene description. Then, within the extension, a first alternative sequence and a second alternative sequence may be defined.
  • the first alternatives array may then have elements associated with each of the one or more first properties corresponding to the first reproduction method of the 3D data.
  • the second alternatives array may also have elements associated with each of the second property or properties corresponding to the second reproduction method of the 3D data.
  • an information processing device for example, a client device
  • the file processing unit applies the first reproduction method it selects the first alternatives array, uses one or more first properties
  • the 3D data may be processed with the first reproduction method.
  • the file processing unit applies the second playback method it selects the second alternatives array and uses the second property or properties to process the 3D data in the second playback method. You may
  • the file generation unit may define an extension within one node of the scene description file. Then, the file generation unit stores, in the extension, a first alternatives array having elements each associated with one or more first properties corresponding to the first reproduction method of the 3D data. good too. Also, the file generator further stores in the extension a second alternatives array having elements associated with each of the one or more second properties corresponding to the second reproduction method of the 3D data. You may
  • a client type (ClientType) is specified in each alternatives array element, and this parameter indicates which playback method (reconstruction method) the property corresponding to is stored. It is
  • the configuration of the scene description can be put in a state in which properties can be identified for each playback method. Therefore, one scene description can correspond to a plurality of reproduction methods.
  • This technology may be applied by appropriately combining the multiple elements described above.
  • FIG. 39 is a block diagram showing an example of a configuration of a file generation device which is one aspect of an information processing device to which the present technology is applied.
  • a file generation device 300 shown in FIG. 39 is a device that encodes 3D object content (eg, 3D data such as point cloud) and stores it in a file container such as ISOBMFF.
  • the file generation device 300 also generates a scene description file for the 3D object content.
  • FIG. 39 shows main items such as the processing unit and data flow, and what is shown in FIG. 39 is not necessarily all. That is, in the file generation device 300, there may be processing units not shown as blocks in FIG. 39, or processes and data flows not shown as arrows or the like in FIG.
  • file generation device 300 has control unit 301 and file generation processing unit 302 .
  • a control unit 301 controls a file generation processing unit 302 .
  • the file generation processing unit 302 is controlled by the control unit 301 to perform processing related to file generation.
  • the file generation processing unit 302 may acquire 3D object content data to be stored in a file.
  • the file generation processing unit 302 may also generate a content file by storing the acquired 3D object content data in a file container.
  • the file generation processing unit 302 may generate a scene description corresponding to the 3D object content and store it in the scene description file.
  • the file generation processing unit 302 may output the generated file to the outside of the file generation device 300 .
  • the file generation processing unit 302 may upload the generated file to a distribution server or the like.
  • the file generation processing unit 302 has an input unit 311, a preprocessing unit 312, an encoding unit 313, a file generation unit 314, a recording unit 315, and an output unit 316.
  • the input unit 311 performs processing related to acquisition of 3D object content data.
  • the input unit 311 may acquire 3D object content data from outside the file generation device 300 .
  • This 3D object content data may be any 3D data representing the three-dimensional structure of the object.
  • it may be point cloud data.
  • the input unit 311 may supply the acquired 3D object content data to the preprocessing unit 312 .
  • the preprocessing unit 312 executes processing related to preprocessing to be performed on the data of the 3D object content before encoding.
  • the preprocessing unit 312 may acquire 3D object content data supplied from the input unit 311 .
  • the preprocessing unit 312 may acquire information necessary for generating a scene description from the acquired 3D object content data or the like.
  • the preprocessing unit 312 may also supply the acquired information to the file generation unit 314 .
  • the preprocessing unit 312 may also supply the data of the 3D object content to the encoding unit 313 .
  • the encoding unit 313 executes processing related to encoding of 3D object content data. For example, the encoding unit 313 may acquire 3D object content data supplied from the preprocessing unit 312 . Also, the encoding unit 313 may encode data of the acquired 3D object content to generate the encoded data. The encoding unit 313 may also supply the encoded data of the generated 3D object content to the file generation unit 314 as a V3C bitstream.
  • the file generation unit 314 performs processing related to generation of files and the like.
  • the file generator 314 may obtain the V3C bitstream supplied from the encoder 313 .
  • the file generation unit 314 may acquire information supplied from the preprocessing unit 312 .
  • the file generation unit 314 may also generate a file container (content file) that stores the V3C bitstream supplied from the encoding unit 313 .
  • the specification of this content file (file container) is arbitrary, and any file can be used as long as it can store a V3C bitstream. For example, it may be ISOBMFF.
  • the file generation unit 314 may use the information supplied from the preprocessing unit 312 to generate a scene description corresponding to the V3C bitstream.
  • the file generator 314 may then generate a scene description file and store the generated scene description.
  • the file generation unit 314 may generate an MPD corresponding to the V3C bitstream.
  • the file generation unit 314 may also supply the generated files (ISOBMFF, scene description file, MPD, etc.) to the recording unit 315 .
  • the recording unit 315 has an arbitrary recording medium such as a hard disk or a semiconductor memory, and executes processing related to data recording.
  • the recording unit 315 may record the file or the like supplied from the file generation unit 314 on the recording medium.
  • the recording unit 315 may read a file or the like recorded on the recording medium in accordance with a request from the control unit 301 or the output unit 316 or at a predetermined timing, and supply the file to the output unit 316 .
  • the output unit 316 may acquire files and the like supplied from the recording unit 315 and output the files and the like to the outside of the file generation device 300 (for example, a distribution server, a reproduction device, etc.).
  • the file generation device 300 for example, a distribution server, a reproduction device, etc.
  • the file generation unit 314 may generate a scene description file that stores extensions for identifying properties for each 3D data reproduction method.
  • the file generation unit 314 may define the first extension and the second extension within one primitive of the scene description file. Then, the file generation unit 314 may store, in the first extension, one or more first attribute properties corresponding to the first reproduction method of 3D data. Also, the file generator 314 may store, in the second extension, one or more second attribute properties corresponding to the second reproduction method of 3D data.
  • the file generation unit 314 may define extensions within one primitive of the scene description file. Then, the file generator 314 may store, in the primitives, one or more first attribute properties corresponding to the first reproduction method of 3D data. Also, the file generator 314 may store, in the extension, one or more second attribute properties corresponding to the second reproduction method of 3D data.
  • the file generation unit 314 may define the first extension and the second extension within one primitive of the scene description file. Then, the file generation unit 314 may store, in the first extension, one or more first properties corresponding to the first reproduction method of 3D data. Also, the file generation unit 314 may store, in the second extension, one or more second properties corresponding to the second reproduction method of 3D data.
  • the file generation unit 314 may define extensions within one primitive of the scene description file. Then, the file generation unit 314 may store, in the primitives, one or more first properties corresponding to the first reproduction method of 3D data. Also, the file generation unit 314 may store, in the extension, one or more second properties corresponding to the second reproduction method of 3D data.
  • the file generation unit 314 may define the first extension and the second extension within one mesh object of the scene description file. Then, the file generation unit 314 may store, in the first extension, one or more first attribute properties corresponding to the first reproduction method of 3D data. Also, the file generator 314 may store, in the second extension, one or more second attribute properties corresponding to the second reproduction method of 3D data.
  • the file generation unit 314 may define extensions within one mesh object of the scene description file. Then, the file generator 314 may store in the mesh object one or more first attribute properties corresponding to the first reproduction method of the 3D data. Also, the file generator 314 may store, in the extension, one or more second attribute properties corresponding to the second reproduction method of 3D data.
  • the file generation unit 314 may define the first extension and the second extension within one mesh object of the scene description file. Then, the file generation unit 314 may store, in the first extension, one or more first properties corresponding to the first reproduction method of 3D data. Also, the file generation unit 314 may store, in the second extension, one or more second properties corresponding to the second reproduction method of 3D data.
  • the file generation unit 314 may define extensions within one mesh object of the scene description file. Then, the file generation unit 314 may store in the mesh object one or more first properties corresponding to the first reproduction method of 3D data. Also, the file generation unit 314 may store, in the extension, one or more second properties corresponding to the second reproduction method of 3D data.
  • the file generation unit 314 may define the first extension and the second extension within one node of the scene description file. Then, the file generation unit 314 may associate the first extension with one or more first attribute properties corresponding to the first reproduction method of 3D data. Also, the file generator 314 may associate one or more second attribute properties corresponding to the second reproduction method of the 3D data in the second extension.
  • the file generation unit 314 may define an extension within one node of the scene description file. The file generator 314 may then associate the node with one or more first attribute properties corresponding to the first reproduction method of the 3D data. Also, the file generator 314 may associate the extension with one or more second attribute properties corresponding to the second reproduction method of 3D data.
  • the file generation unit 314 may define the first extension and the second extension within one node of the scene description file. Then, the file generation unit 314 may associate the first extension with one or more first properties corresponding to the first reproduction method of 3D data. Also, the file generation unit 314 may associate the second extension with one or more second properties corresponding to the second reproduction method of 3D data.
  • the file generation unit 314 may define an extension within one node of the scene description file. Then, the file generation unit 314 may associate the node with one or more first properties corresponding to the first reproduction method of 3D data. Also, the file generation unit 314 may associate the extension with one or more second properties corresponding to the second reproduction method of 3D data.
  • the file generation unit 314 may generate a scene description file that stores a plurality of alternative arrays whose elements are properties corresponding to the same reproduction method of 3D data.
  • the file generation unit 314 may define the extension within one primitive of the scene description file. Then, the file generation unit 314 may store, in the extension, a first alternatives array whose elements are each of the single or plural first properties corresponding to the first reproduction method of 3D data. . In addition, the file generation unit 314 further stores in the extension a second alternatives array whose elements are each of the single or plural second properties corresponding to the second reproduction method of the 3D data. good too.
  • the file generation unit 314 may define extensions within one mesh object of the scene description file. Then, the file generation unit 314 may store, in the extension, a first alternatives array whose elements are each of the single or plural first properties corresponding to the first reproduction method of 3D data. . In addition, the file generation unit 314 further stores in the extension a second alternatives array whose elements are each of the single or plural second properties corresponding to the second reproduction method of the 3D data. good too.
  • the file generation unit 314 may define an extension within one node of the scene description file. Then, the file generation unit 314 stores, in the extension, a first alternatives array having elements each associated with one or more first properties corresponding to the first reproduction method of 3D data. may In addition, the file generation unit 314 further creates, within the extension, a second alternatives array having elements each associated with one or more second properties corresponding to the second reproduction method of 3D data. may be stored.
  • the file generation device 300 can make the configuration of the scene description a state in which properties can be identified for each reproduction method. Therefore, one scene description can correspond to a plurality of reproduction methods.
  • FIG. 40 shows an example of the flow of file generation processing when properties for each reproduction method are identified using extensions.
  • the input unit 311 of the file generation device 300 acquires 3D object data (3D data) in step S301.
  • the input unit 311 acquires point cloud data as the 3D data.
  • step S302 the preprocessing unit 312 performs preprocessing on the 3D object data acquired in step S301.
  • the preprocessing unit 312 acquires information used for generating a scene description, which is spatial arrangement information for arranging one or more 3D objects in a 3D space, from the 3D object data.
  • step S303 the file generation unit 314 uses the information to generate a scene description file that stores extensions for identifying MAF reconstruction (attributes) properties and PE reconstruction (attributes) properties. . That is, the file generation unit 314 generates a scene description file that stores extensions for identifying (attributes) properties for each 3D data reproduction method.
  • step S304 the encoding unit 313 encodes the point cloud data (3D data) acquired in step S301 to generate the encoded data (V3C bitstream).
  • step S305 the file generation unit 314 generates a content file (ISOBMFF) that stores the V3C bitstream generated in step S304.
  • ISOBMFF content file
  • step S306 the recording unit 315 records the generated scene description file and content file on the recording medium.
  • the output unit 316 reads the file recorded in step S306 from the recording medium, and outputs the read file to the outside of the file generation device 300 at a predetermined timing.
  • the output unit 316 may transmit (upload) a file read from a recording medium to another device such as a distribution server or a playback device via a communication medium such as a network.
  • the output unit 316 may record a file or the like read from a recording medium to an external recording medium such as a removable medium. In that case, the output file may be supplied to another device (distribution server, playback device, etc.) via the external recording medium, for example.
  • step S307 ends, the file generation process ends.
  • the structure of the scene description can be made into a state in which properties can be identified for each playback method. Therefore, one scene description can correspond to a plurality of reproduction methods.
  • the file generation unit 314 may define the first extension and the second extension within one primitive of the scene description file. Then, the file generation unit 314 may store, in the first extension, one or more first attribute properties corresponding to the first reproduction method of 3D data. Also, the file generator 314 may store, in the second extension, one or more second attribute properties corresponding to the second reproduction method of 3D data.
  • the file generation unit 314 may define an extension within one primitive of the scene description file. Then, the file generator 314 may store, in the primitives, one or more first attribute properties corresponding to the first reproduction method of 3D data. Also, the file generator 314 may store, in the extension, one or more second attribute properties corresponding to the second reproduction method of 3D data.
  • the file generation unit 314 may define the first extension and the second extension within one primitive of the scene description file. Then, the file generation unit 314 may store, in the first extension, one or more first properties corresponding to the first reproduction method of 3D data. Also, the file generation unit 314 may store, in the second extension, one or more second properties corresponding to the second reproduction method of 3D data.
  • the file generation unit 314 may define an extension within one primitive of the scene description file. Then, the file generation unit 314 may store, in the primitives, one or more first properties corresponding to the first reproduction method of 3D data. Also, the file generation unit 314 may store, in the extension, one or more second properties corresponding to the second reproduction method of 3D data.
  • the file generation unit 314 may define the first extension and the second extension within one mesh object of the scene description file. Then, the file generation unit 314 may store, in the first extension, one or more first attribute properties corresponding to the first reproduction method of 3D data. Also, the file generator 314 may store, in the second extension, one or more second attribute properties corresponding to the second reproduction method of 3D data.
  • the file generation unit 314 may define extensions within one mesh object of the scene description file. Then, the file generator 314 may store in the mesh object one or more first attribute properties corresponding to the first reproduction method of the 3D data. Also, the file generator 314 may store, in the extension, one or more second attribute properties corresponding to the second reproduction method of 3D data.
  • the file generation unit 314 may define the first extension and the second extension within one mesh object of the scene description file. Then, the file generation unit 314 may store, in the first extension, one or more first properties corresponding to the first reproduction method of 3D data. Also, the file generation unit 314 may store, in the second extension, one or more second properties corresponding to the second reproduction method of 3D data.
  • the file generation unit 314 may define extensions within one mesh object of the scene description file. Then, the file generation unit 314 may store in the mesh object one or more first properties corresponding to the first reproduction method of 3D data. Also, the file generation unit 314 may store, in the extension, one or more second properties corresponding to the second reproduction method of 3D data.
  • the file generation unit 314 may define the first extension and the second extension within one node of the scene description file. Then, the file generation unit 314 may associate the first extension with one or more first attribute properties corresponding to the first reproduction method of 3D data. Also, the file generator 314 may associate one or more second attribute properties corresponding to the second reproduction method of the 3D data in the second extension.
  • the file generation unit 314 may define an extension within one node of the scene description file.
  • the file generator 314 may then associate the node with one or more first attribute properties corresponding to the first reproduction method of the 3D data.
  • the file generator 314 may associate the extension with one or more second attribute properties corresponding to the second reproduction method of 3D data.
  • the file generation unit 314 may define the first extension and the second extension within one node of the scene description file. Then, the file generation unit 314 may associate the first extension with one or more first properties corresponding to the first reproduction method of 3D data. Also, the file generation unit 314 may associate the second extension with one or more second properties corresponding to the second reproduction method of 3D data.
  • the file generation unit 314 may define an extension within one node of the scene description file. Then, the file generation unit 314 may associate the node with one or more first properties corresponding to the first reproduction method of 3D data. Also, the file generation unit 314 may associate the extension with one or more second properties corresponding to the second reproduction method of 3D data.
  • step S353 the file generation unit 314 generates a scene description file that stores an alternatives array whose elements are the attribute properties for MAF reconstruction and the attribute properties for PE reconstruction. That is, the file generation unit 314 generates a scene description file that stores a plurality of alternatives arrays whose elements are properties corresponding to the same reproduction method of 3D data.
  • step S353 ends, the processes of steps S354 to S357 are executed in the same manner as the processes of steps S304 to S307 in FIG.
  • step S357 ends, the file generation process ends.
  • the structure of the scene description can be made into a state in which properties can be identified for each playback method. Therefore, one scene description can correspond to a plurality of reproduction methods.
  • the file generation unit 314 may define extensions within one primitive of the scene description file. Then, the file generation unit 314 may store, in the extension, a first alternatives array whose elements are each of the single or plural first properties corresponding to the first reproduction method of 3D data. . In addition, the file generation unit 314 further stores in the extension a second alternatives array whose elements are each of the single or plural second properties corresponding to the second reproduction method of the 3D data. good too.
  • the file generation unit 314 may define an extension within one mesh object of the scene description file. Then, the file generation unit 314 may store, in the extension, a first alternatives array whose elements are each of the single or plural first properties corresponding to the first reproduction method of 3D data. . In addition, the file generation unit 314 further stores in the extension a second alternatives array whose elements are each of the single or plural second properties corresponding to the second reproduction method of the 3D data. good too.
  • the file generation unit 314 may define an extension within one node of the scene description file. Then, the file generation unit 314 stores, in the extension, a first alternatives array having elements each associated with one or more first properties corresponding to the first reproduction method of 3D data. may In addition, the file generation unit 314 further creates, within the extension, a second alternatives array having elements each associated with one or more second properties corresponding to the second reproduction method of 3D data. may be stored.
  • FIG. 42 is a block diagram showing an example of a configuration of a client device, which is one aspect of an information processing device to which the present technology is applied.
  • a client device 400 shown in FIG. 42 is a playback device that performs playback processing of 3D object content based on scene descriptions.
  • the client device 400 reproduces 3D object data stored in the content file generated by the file generation device 300 .
  • the client device 400 performs processing related to the reproduction based on the scene description.
  • FIG. 42 shows main elements such as processing units and data flow, and what is shown in FIG. 42 is not necessarily all. That is, in the client device 400, there may exist processing units not shown as blocks in FIG. 42, or processes and data flows not shown as arrows or the like in FIG.
  • the client device 400 has a control unit 401 and a reproduction processing unit 402 as shown in FIG.
  • the control unit 401 performs processing related to control of the reproduction processing unit 402 .
  • the reproduction processing unit 402 performs processing related to reproduction of 3D object data.
  • the reproduction processing unit 402 has a file acquisition unit 411 , a file processing unit 412 , a decoding unit 413 , a display information generation unit 414 , a display unit 415 and a display control unit 416 .
  • the file acquisition unit 411 performs processing related to file acquisition.
  • the file acquisition unit 411 may acquire a file or the like supplied from outside the client device 400 such as the distribution server or the file generation device 300 .
  • the file acquisition unit 411 may acquire a file or the like stored in a local storage (not shown).
  • the file acquisition unit 411 may acquire a scene description file.
  • the file acquisition unit 411 may acquire a content file.
  • the file acquisition section 411 may supply the acquired file to the file processing section 412 .
  • the file acquisition unit 411 may perform processing related to this file acquisition under the control of the file processing unit 412 .
  • the file acquisition unit 411 may acquire the file requested by the file processing unit 412 from an external or local storage and supply it to the file processing unit 412 .
  • the file processing unit 412 performs processing related to processing of files and the like.
  • the file processing unit 412 may have the configuration described with reference to FIG. 16 (eg, MAF 52, buffer 54, PE 51, etc.).
  • the file processing unit 412 may control the file acquisition unit 411 to acquire the scene description file from the outside of the client device 400, local storage, or the like.
  • the file processing unit 412 may also control the file acquisition unit 411 based on the scene description file to acquire the V3C bitstream from the content file stored outside the client device 400 or in local storage.
  • the file processing unit 412 may control the decoding unit 413 to decode the V3C bitstream. Then, the file processing unit 412 may reconstruct the 3D data using the data obtained by the decoding. At that time, the file processing unit 412 may reconstruct the 3D data in the MAF 52 or may reconstruct the 3D data in the PE 51 .
  • the file processing unit 412 may also control the display information generation unit 414 to render the reconstructed 3D data and generate a display image. Also, the file processing unit 412 may control the display unit 415 to display the display image.
  • the decoding unit 413 performs processing related to decoding.
  • the decoding unit 413 may be controlled by the file processing unit 412 and decode the V3C bitstream supplied from the file processing unit 412 .
  • the decryption unit 413 may supply the data obtained by the decryption to the file processing unit 412 .
  • the display information generation unit 414 performs processing related to display. For example, the display information generation unit 414 may render the 3D data supplied from the file processing unit 412 under the control of the file processing unit 412 to generate a display image or the like. At that time, the display information generation unit 414 may follow the control of the display control unit 416 as appropriate. The display information generation unit 414 may also supply the generated display image and the like to the file processing unit 412 .
  • the display unit 415 has a display device and performs processing related to image display. For example, the display unit 415 displays the display image supplied from the file processing unit 412 (the display image generated by the display information generation unit 414) using the display device under the control of the file processing unit 412. may
  • the display control unit 416 executes processing related to image display control. For example, the display control unit 416 may acquire information such as scene descriptions supplied from the file processing unit 412 . Also, the display control unit 416 may control the display information generation unit 414 based on the information.
  • the file processing unit 412 selects a property corresponding to the 3D data playback method based on the extension specified in the scene description, and uses the selected property to process the 3D data with that playback method. You may
  • the first extension and the second extension may be defined within one primitive of the scene description. Then, in the first extension, one or more first attribute properties corresponding to the first reproduction method of 3D data may be stored. Also stored in the second extension is one or more second attribute properties corresponding to a second reproduction method of the 3D data. Then, the file processing unit 412 selects one or more first attribute properties stored in the first extension, or the property stored in the second extension, depending on the 3D data reproduction method. may select one or more second attribute properties that
  • an extension may be defined within one primitive of the scene description. Then, within the primitives, one or more first attribute properties corresponding to the first reproduction method of 3D data may be stored. Also stored in the extension is one or more second attribute properties corresponding to a second reproduction method of the 3D data. Then, the file processing unit 412 selects one or more first attribute properties stored in the primitives, or one or more properties stored in the extension, depending on the 3D data reproduction method. A second attribute property may be selected.
  • first extension and the second extension may be defined within one primitive of the scene description. Then, in the first extension, one or more first properties corresponding to the first reproduction method of 3D data may be stored. Also stored in the second extension is one or more second properties corresponding to a second reproduction method of the 3D data. Then, the file processing unit 412 selects one or more first properties stored in the first extension, or one or more properties stored in the second extension, depending on the 3D data reproduction method. Multiple second properties may be selected.
  • an extension may be defined within one primitive of the scene description.
  • a first property or properties corresponding to a first reproduction method of 3D data may be stored in the primitives.
  • Also stored in the extension is one or more second properties corresponding to a second reproduction method of the 3D data. Then, the file processing unit 412 selects one or more first properties stored in the primitives, or one or more second properties stored in the extension, depending on the 3D data reproduction method. You can choose properties.
  • first extension and the second extension may be defined within one mesh object of the scene description. Then, in the first extension, one or more first attribute properties corresponding to the first reproduction method of 3D data may be stored. Also stored in the second extension is one or more second attribute properties corresponding to a second reproduction method of the 3D data. Then, the file processing unit 412 selects one or more first attribute properties stored in the first extension, or the property stored in the second extension, depending on the 3D data reproduction method. may select one or more second attribute properties that
  • an extension may be defined within one mesh object of the scene description.
  • a first attribute property or properties corresponding to a first reproduction method of 3D data may then be stored within the mesh object.
  • Also stored in the extension is one or more second attribute properties corresponding to a second reproduction method of the 3D data.
  • the file processing unit 412 selects one or more first attribute properties stored in the mesh object or one or more properties stored in the extension according to the 3D data reproduction method.
  • a second attribute property may be selected.
  • first extension and the second extension may be defined within one mesh object of the scene description. Then, in the first extension, one or more first properties corresponding to the first reproduction method of 3D data may be stored. Also stored in the second extension is one or more second properties corresponding to a second reproduction method of the 3D data. Then, the file processing unit 412 selects one or more first properties stored in the first extension, or one or more properties stored in the second extension, depending on the 3D data reproduction method. Multiple second properties may be selected.
  • an extension may be defined within one mesh object of the scene description.
  • a first property or properties corresponding to a first reproduction method of 3D data may be stored in the mesh object.
  • Also stored in the extension is one or more second properties corresponding to a second reproduction method of the 3D data. Then, the file processing unit 412 selects one or more first properties stored in the mesh object or one or more second properties stored in the extension according to the 3D data reproduction method. You can choose properties.
  • first extension and the second extension may be defined within one node of the scene description.
  • the first extension may then be associated with one or more first attribute properties corresponding to a first reproduction method of 3D data.
  • the second extension may also be associated with one or more second attribute properties corresponding to a second reproduction method of 3D data.
  • the file processing unit 412 selects one or more first attribute properties associated with the first extension, or one or more properties associated with the second extension, depending on the 3D data reproduction method. may select a second attribute property of .
  • an extension may be defined within one node of the scene description.
  • the node may then be associated with one or more first attribute properties corresponding to the first reproduction method of the 3D data.
  • the extension may also be associated with one or more second attribute properties corresponding to a second reproduction method of 3D data.
  • the file processing unit 412 selects one or more first attribute properties associated with the node, or one or more second attributes associated with the extension, depending on the 3D data reproduction method. properties.
  • first extension and the second extension may be defined within one node of the scene description. Then, the first extension may be associated with one or more first properties corresponding to the first reproduction method of 3D data. The second extension may also be associated with one or more second properties corresponding to a second reproduction method of 3D data. Then, the file processing unit 412 selects one or more first properties associated with the first extension, or one or more second properties associated with the second extension, depending on the 3D data reproduction method. properties can be selected.
  • an extension may be defined within one node of the scene description.
  • the node may then be associated with one or more first properties corresponding to the first reproduction method of the 3D data.
  • the extension may also be associated with one or more second properties corresponding to a second reproduction method of 3D data.
  • the file processing unit 412 selects one or more first properties associated with the node or one or more second properties associated with the extension according to the 3D data reproduction method. good too.
  • the file processing unit 412 selects an alternatives array corresponding to the 3D data reproduction method from among the alternatives arrays defined in the scene description, and uses properties that are elements of the selected alternatives array. and process the 3D data with that playback method.
  • an extension may be defined within one primitive of the scene description.
  • a first alternative sequence and a second alternative sequence may be defined.
  • the first alternatives array may include, as elements, each of the single or multiple first properties corresponding to the first reproduction method of 3D data.
  • the second alternatives array may have as elements each of the single or multiple second properties corresponding to the second reproduction method of the 3D data.
  • an extension may be defined within one mesh object of the scene description. Then, within the extension, a first alternative sequence and a second alternative sequence may be defined. Then, the first alternatives array may include, as elements, each of the single or multiple first properties corresponding to the first reproduction method of 3D data. Also, the second alternatives array may have as elements each of the single or multiple second properties corresponding to the second reproduction method of the 3D data. Then, when the file processing unit 412 applies the first reproduction method, it selects the first alternatives array, utilizes one or more first properties, and reproduces the 3D data with the first reproduction method. Data may be processed. Also, when the file processing unit 412 applies the second reproduction method, it selects the second alternative array, uses the single or plural second properties, and reproduces the 3D data by the second reproduction method. may be processed.
  • an extension may be defined within one node of the scene description. Then, within the extension, a first alternative sequence and a second alternative sequence may be defined.
  • the first alternatives array may then have elements associated with each of the one or more first properties corresponding to the first reproduction method of the 3D data.
  • the second alternatives array may also have elements associated with each of the second property or properties corresponding to the second reproduction method of the 3D data.
  • the file processing unit 412 applies the first reproduction method
  • it selects the first alternatives array utilizes one or more first properties, and reproduces the 3D data with the first reproduction method.
  • Data may be processed.
  • the file processing unit 412 applies the second reproduction method, it selects the second alternatives arrangement, uses the single or plural second properties, and reproduces the 3D data in the second reproduction method. Data may be processed.
  • the client device 400 can identify properties for each reproduction method in the scene description. Therefore, one scene description can correspond to a plurality of reproduction methods.
  • the file processing unit 412 of the client device 400 controls the file acquisition unit 411 in step S401 to acquire the scene description file.
  • the file processing unit 412 analyzes the scene description file acquired in step S401, and (attributes) properties (for example, MAF Select the properties for reconstruction (attributes) or the properties for PE reconstruction (attributes).
  • (attributes) properties for example, MAF Select the properties for reconstruction (attributes) or the properties for PE reconstruction (attributes).
  • the file processing unit 412 selects a property corresponding to the 3D data reproduction method based on the extension specified in the scene description, and uses the selected property to reproduce the 3D data by the reproduction method. may be processed.
  • the file processing unit 412 selects an alternatives array corresponding to the 3D data reproduction method from among the alternatives arrays defined in the scene description, and uses properties that are elements of the selected alternatives array. and process the 3D data with that playback method.
  • step S403 the file processing unit 412 analyzes the scene description file obtained in step S401, controls the file obtaining unit 411 according to the analysis result, and obtains encoded 3D data (V3C bitstream). .
  • step S404 the file processing unit 412 controls the decoding unit 413 to decode the V3C bitstream obtained by the processing in step S402.
  • step S405 the file processing unit 412 reconstructs 3D data using the data obtained by the processing in step S403 according to the analysis result of the scene description file.
  • step S406 the file processing unit 412 controls the display information generation unit 414 to perform rendering using the 3D data reconstructed in step S405 to generate a display image.
  • step S407 the file processing unit 412 controls the display unit 415 to display the display image generated in step S406.
  • the reproduction process ends.
  • the client device 400 can identify properties for each playback method in the scene description. Therefore, one scene description can correspond to a plurality of reproduction methods.
  • first extension and the second extension may be defined within one primitive of the scene description. Then, in the first extension, one or more first attribute properties corresponding to the first reproduction method of 3D data may be stored. Also stored in the second extension is one or more second attribute properties corresponding to a second reproduction method of the 3D data. Then, in step S402, the file processing unit 412 selects one or more first attribute properties stored in the first extension or the second extension according to the 3D data reproduction method. A second attribute property or properties may be selected to be stored within.
  • an extension may be defined within one primitive of the scene description. Then, within the primitives, one or more first attribute properties corresponding to the first reproduction method of 3D data may be stored. Also stored in the extension is one or more second attribute properties corresponding to a second reproduction method of the 3D data. Then, in step S402, the file processing unit 412 selects one or more first attribute properties stored in the primitives, or stored in the extension, depending on the 3D data reproduction method. One or more second attribute properties may be selected.
  • first extension and the second extension may be defined within one primitive of the scene description. Then, in the first extension, one or more first properties corresponding to the first reproduction method of 3D data may be stored. Also stored in the second extension is one or more second properties corresponding to a second reproduction method of the 3D data. Then, in step S402, the file processing unit 412 selects one or more first properties stored in the first extension or stored in the second extension according to the 3D data reproduction method. may select one or more second properties to be used.
  • an extension may be defined within one primitive of the scene description.
  • a first property or properties corresponding to a first reproduction method of 3D data may be stored in the primitives.
  • Also stored in the extension is one or more second properties corresponding to a second reproduction method of the 3D data.
  • the file processing unit 412 selects one or more first properties stored in the primitive or one or more properties stored in the extension according to the 3D data reproduction method.
  • a second property of may be selected.
  • first extension and the second extension may be defined within one mesh object of the scene description. Then, in the first extension, one or more first attribute properties corresponding to the first reproduction method of 3D data may be stored. Also stored in the second extension is one or more second attribute properties corresponding to a second reproduction method of the 3D data. Then, in step S402, the file processing unit 412 selects one or more first attribute properties stored in the first extension or the second extension according to the 3D data reproduction method. A second attribute property or properties may be selected to be stored within.
  • an extension may be defined within one mesh object of the scene description.
  • a first attribute property or properties corresponding to a first reproduction method of 3D data may then be stored within the mesh object.
  • Also stored in the extension is one or more second attribute properties corresponding to a second reproduction method of the 3D data.
  • the file processing unit 412 selects one or more first attribute properties stored in the mesh object or stored in the extension according to the 3D data reproduction method.
  • One or more second attribute properties may be selected.
  • first extension and the second extension may be defined within one mesh object of the scene description. Then, in the first extension, one or more first properties corresponding to the first reproduction method of 3D data may be stored. Also stored in the second extension is one or more second properties corresponding to a second reproduction method of the 3D data. Then, in step S402, the file processing unit 412 selects one or more first properties stored in the first extension or stored in the second extension according to the 3D data reproduction method. may select one or more second properties to be used.
  • an extension may be defined within one mesh object of the scene description.
  • a first property or properties corresponding to a first reproduction method of 3D data may be stored in the mesh object.
  • Also stored in the extension is one or more second properties corresponding to a second reproduction method of the 3D data.
  • the file processing unit 412 selects one or more first properties stored in the mesh object or one or more properties stored in the extension according to the 3D data reproduction method.
  • a second property of may be selected.
  • first extension and the second extension may be defined within one node of the scene description.
  • the first extension may then be associated with one or more first attribute properties corresponding to a first reproduction method of 3D data.
  • the second extension may also be associated with one or more second attribute properties corresponding to a second reproduction method of 3D data.
  • the file processing unit 412 selects one or a plurality of first attribute properties associated with the first extension or associated with the second extension according to the 3D data reproduction method.
  • One or more second attribute properties may be selected.
  • an extension may be defined within one node of the scene description.
  • the node may then be associated with one or more first attribute properties corresponding to the first reproduction method of the 3D data.
  • the extension may also be associated with one or more second attribute properties corresponding to a second reproduction method of 3D data.
  • the file processing unit 412 selects one or more first attribute properties associated with the node, or one or more first attribute properties associated with the extension, depending on the 3D data reproduction method. 2 attributes properties may be selected.
  • first extension and the second extension may be defined within one node of the scene description. Then, the first extension may be associated with one or more first properties corresponding to the first reproduction method of 3D data. The second extension may also be associated with one or more second properties corresponding to a second reproduction method of 3D data. Then, in step S402, the file processing unit 412 selects one or more first properties associated with the first extension, or one or more properties associated with the second extension, depending on the 3D data reproduction method. Multiple second properties may be selected.
  • an extension may be defined within one node of the scene description.
  • the node may then be associated with one or more first properties corresponding to the first reproduction method of the 3D data.
  • the extension may also be associated with one or more second properties corresponding to a second reproduction method of 3D data.
  • the file processing unit 412 selects one or more first properties associated with the node, or one or more second properties associated with the extension, depending on the 3D data reproduction method. may be selected.
  • an extension may be defined within one primitive of the scene description. Then, within the extension, a first alternative sequence and a second alternative sequence may be defined. Then, the first alternatives array may include, as elements, each of the single or multiple first properties corresponding to the first reproduction method of 3D data. Also, the second alternatives array may have as elements each of the single or multiple second properties corresponding to the second reproduction method of the 3D data. Then, in step S402, when the file processing unit 412 applies the first reproduction method, it selects the first alternative array, uses one or more first properties, and converts the first The 3D data may be processed in a reproduction manner. Also, when the file processing unit 412 applies the second reproduction method, it selects the second alternatives arrangement, uses the single or plural second properties, and reproduces the 3D data in the second reproduction method. Data may be processed.
  • an extension may be defined within one mesh object of the scene description. Then, within the extension, a first alternative sequence and a second alternative sequence may be defined. Then, the first alternatives array may include, as elements, each of the single or multiple first properties corresponding to the first reproduction method of 3D data. Also, the second alternatives array may have as elements each of the single or multiple second properties corresponding to the second reproduction method of the 3D data. Then, in step S402, when the file processing unit 412 applies the first reproduction method, it selects the first alternative array, uses one or more first properties, and converts the first The 3D data may be processed in a reproduction manner. Also, when the file processing unit 412 applies the second reproduction method, it selects the second alternative array, uses the single or plural second properties, and reproduces the 3D data by the second reproduction method. may be processed.
  • an extension may be defined within one node of the scene description. Then, within the extension, a first alternative sequence and a second alternative sequence may be defined.
  • the first alternatives array may then have elements associated with each of the one or more first properties corresponding to the first reproduction method of the 3D data.
  • the second alternatives array may also have elements associated with each of the second property or properties corresponding to the second reproduction method of the 3D data.
  • step S402 when the file processing unit 412 applies the first reproduction method, it selects the first alternative array, uses one or more first properties, and converts the first
  • the 3D data may be processed in a reproduction manner. Also, when the file processing unit 412 applies the second reproduction method, it selects the second alternatives arrangement, uses the single or plural second properties, and reproduces the 3D data in the second reproduction method. Data may be processed.
  • the series of processes described above can be executed by hardware or by software.
  • a program that constitutes the software is installed in the computer.
  • the computer includes, for example, a computer built into dedicated hardware and a general-purpose personal computer capable of executing various functions by installing various programs.
  • FIG. 44 is a block diagram showing an example of the hardware configuration of a computer that executes the series of processes described above by means of a program.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • An input/output interface 910 is also connected to the bus 904 .
  • An input unit 911 , an output unit 912 , a storage unit 913 , a communication unit 914 and a drive 915 are connected to the input/output interface 910 .
  • the input unit 911 consists of, for example, a keyboard, mouse, microphone, touch panel, input terminal, and the like.
  • the output unit 912 includes, for example, a display, a speaker, an output terminal, and the like.
  • the storage unit 913 is composed of, for example, a hard disk, a RAM disk, a nonvolatile memory, or the like.
  • the communication unit 914 is composed of, for example, a network interface.
  • Drive 915 drives removable media 921 such as a magnetic disk, optical disk, magneto-optical disk, or semiconductor memory.
  • the CPU 901 loads, for example, a program stored in the storage unit 913 into the RAM 903 via the input/output interface 910 and the bus 904, and executes the above-described series of programs. is processed.
  • the RAM 903 also appropriately stores data necessary for the CPU 901 to execute various processes.
  • a program executed by a computer can be applied by being recorded on removable media 921 such as package media, for example.
  • the program can be installed in the storage unit 913 via the input/output interface 910 by loading the removable medium 921 into the drive 915 .
  • This program can also be provided via wired or wireless transmission media such as local area networks, the Internet, and digital satellite broadcasting.
  • the program can be received by the communication unit 914 and installed in the storage unit 913 .
  • this program can be installed in the ROM 902 or the storage unit 913 in advance.
  • This technology can be applied to any encoding/decoding scheme.
  • this technology can be applied to any configuration.
  • the present technology can be applied to various electronic devices.
  • the present technology includes a processor (e.g., video processor) as a system LSI (Large Scale Integration), etc., a module (e.g., video module) using a plurality of processors, etc., a unit (e.g., video unit) using a plurality of modules, etc.
  • a processor e.g., video processor
  • LSI Large Scale Integration
  • module e.g., video module
  • a unit e.g., video unit
  • it can be implemented as a part of the configuration of the device, such as a set (for example, a video set) in which other functions are added to the unit.
  • the present technology can also be applied to a network system configured by a plurality of devices.
  • the present technology may be implemented as cloud computing in which a plurality of devices share and jointly process via a network.
  • this technology is implemented in cloud services that provide image (moving image) services to arbitrary terminals such as computers, AV (Audio Visual) equipment, portable information processing terminals, and IoT (Internet of Things) devices. You may make it
  • a system means a set of multiple components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and a single device housing a plurality of modules in one housing, are both systems. .
  • Systems, devices, processing units, etc. to which this technology is applied can be used in any field, such as transportation, medical care, crime prevention, agriculture, livestock industry, mining, beauty, factories, home appliances, weather, and nature monitoring. . Moreover, its use is arbitrary.
  • this technology can be applied to systems and devices used to provide viewing content. Further, for example, the present technology can also be applied to systems and devices used for traffic, such as traffic condition supervision and automatic driving control. Further, for example, the technology can be applied to systems and devices that serve security purposes. Also, for example, the present technology can be applied to systems and devices used for automatic control of machines and the like. Furthermore, for example, the technology can be applied to systems and devices used in agriculture and animal husbandry. The present technology can also be applied to systems and devices that monitor natural conditions such as volcanoes, forests, oceans, and wildlife. Further, for example, the technology can be applied to systems and devices used for sports.
  • “flag” is information for identifying a plurality of states, not only information used for identifying two states of true (1) or false (0), Information that can identify the state is also included. Therefore, the value that this "flag” can take may be, for example, two values of 1/0, or three or more values. That is, the number of bits constituting this "flag” is arbitrary, and may be 1 bit or multiple bits.
  • the identification information (including the flag) is assumed not only to include the identification information in the bitstream, but also to include the difference information of the identification information with respect to certain reference information in the bitstream.
  • the "flag” and “identification information” include not only that information but also difference information with respect to reference information.
  • various types of information (metadata, etc.) related to the encoded data may be transmitted or recorded in any form as long as they are associated with the encoded data.
  • the term "associating" means, for example, making it possible to use (link) data of one side while processing the other data. That is, the data associated with each other may be collected as one piece of data, or may be individual pieces of data.
  • information associated with coded data (image) may be transmitted on a transmission path different from that of the coded data (image).
  • the information associated with the encoded data (image) may be recorded on a different recording medium (or another recording area of the same recording medium) than the encoded data (image). good.
  • this "association" may be a part of the data instead of the entire data. For example, an image and information corresponding to the image may be associated with each other in arbitrary units such as multiple frames, one frame, or a portion within a frame.
  • a configuration described as one device may be divided and configured as a plurality of devices (or processing units).
  • the configuration described above as a plurality of devices (or processing units) may be collectively configured as one device (or processing unit).
  • part of the configuration of one device (or processing unit) may be included in the configuration of another device (or other processing unit) as long as the configuration and operation of the system as a whole are substantially the same. .
  • the above-described program may be executed on any device.
  • the device should have the necessary functions (functional blocks, etc.) and be able to obtain the necessary information.
  • each step of one flowchart may be executed by one device, or may be executed by a plurality of devices.
  • the plurality of processes may be executed by one device, or may be shared by a plurality of devices.
  • a plurality of processes included in one step can also be executed as processes of a plurality of steps.
  • the processing described as multiple steps can also be collectively executed as one step.
  • a computer-executed program may be configured such that the processing of the steps described in the program is executed in chronological order according to the order described in this specification, in parallel, or when calls are executed. It may also be executed individually at necessary timings such as when it is interrupted. That is, as long as there is no contradiction, the processing of each step may be executed in an order different from the order described above. Furthermore, the processing of the steps describing this program may be executed in parallel with the processing of other programs, or may be executed in combination with the processing of other programs.
  • a file processing unit that selects a property corresponding to a 3D data reproduction method based on an extension specified in a scene description, and uses the selected property to process the 3D data by the reproduction method.
  • Information processing device (2) within one primitive of the scene description, a first extension and a second extension are defined; Stored in the first extension is one or more first attribute properties corresponding to a first reproduction method of the 3D data; storing one or more second attribute properties corresponding to a second reproduction method of the 3D data in the second extension; The file processing unit stores one or more of the first attribute properties stored in the first extension or stored in the second extension, depending on the playback method of the 3D data.
  • the information processing apparatus wherein one or more of the second attribute properties are selected.
  • the extension is defined within one primitive of the scene description; Stored within the primitives are one or more first attribute properties corresponding to a first reproduction method of the 3D data; Stored within the extension is one or more second attribute properties corresponding to a second reproduction method of the 3D data;
  • the file processing unit according to the reproduction method of the 3D data, performs one or more of the first attribute properties stored in the primitives, or one or more of the first attribute properties stored in the extension.
  • the second attribute property is selected.
  • a first extension and a second extension are defined;
  • Stored in the first extension is one or more first properties corresponding to a first reproduction method of the 3D data; one or more second properties corresponding to a second reproduction method of the 3D data are stored in the second extension;
  • the file processing unit according to the reproduction method of the 3D data, stores one or more of the first properties stored in the first extension, or one or more properties stored in the second extension.
  • the information processing apparatus according to (1), wherein a plurality of the second properties are selected.
  • the extension is defined within one primitive of the scene description; Stored within the primitives is one or more first properties corresponding to a first reproduction method of the 3D data; one or more second properties corresponding to a second reproduction method of the 3D data are stored in the extension; The file processing unit, according to the reproduction method of the 3D data, selects one or more of the first properties stored in the primitives, or one or more of the second properties stored in the extension.
  • the information processing apparatus according to (1).
  • (6) defining a first extension and a second extension within one mesh object of the scene description;
  • Stored in the first extension is one or more first attribute properties corresponding to a first reproduction method of the 3D data; storing one or more second attribute properties corresponding to a second reproduction method of the 3D data in the second extension;
  • the file processing unit stores one or more of the first attribute properties stored in the first extension or stored in the second extension, depending on the playback method of the 3D data.
  • the information processing apparatus according to (1), wherein one or more of the second attribute properties are selected.
  • the extension is defined within one mesh object of the scene description; Stored within the mesh object is one or more first attribute properties corresponding to a first reproduction method of the 3D data; Stored within the extension is one or more second attribute properties corresponding to a second reproduction method of the 3D data;
  • the file processing unit according to the reproduction method of the 3D data, performs one or more of the first attribute properties stored in the mesh object, or one or more of the first attribute properties stored in the extension.
  • the information processing apparatus according to (1), wherein the second attribute property is selected.
  • (8) defining a first extension and a second extension within one mesh object of the scene description;
  • Stored in the first extension is one or more first properties corresponding to a first reproduction method of the 3D data; one or more second properties corresponding to a second reproduction method of the 3D data are stored in the second extension;
  • the file processing unit according to the reproduction method of the 3D data, stores one or more of the first properties stored in the first extension, or one or more properties stored in the second extension.
  • the information processing apparatus according to (1), wherein a plurality of the second properties are selected.
  • the extension is defined within one mesh object of the scene description; Stored within the mesh object is one or more first properties corresponding to a first reproduction method of the 3D data; one or more second properties corresponding to a second reproduction method of the 3D data are stored in the extension; The file processing unit, according to the reproduction method of the 3D data, selects one or more of the first properties stored in the mesh object, or one or more of the second properties stored in the extension.
  • the information processing apparatus according to (1).
  • a first extension and a second extension are defined; Associated with the first extension is one or more first attribute properties corresponding to a first reproduction method of the 3D data; associated with the second extension is one or more second attribute properties corresponding to a second reproduction method of the 3D data;
  • the file processing unit according to the reproduction method of the 3D data, performs one or more of the first attribute properties associated with the first extension, or one or more of the first attributes associated with the second extension.
  • the information processing apparatus according to (1), wherein the second attribute property of is selected.
  • the extension is defined within one node of the scene description; associated with the node is one or more first attribute properties corresponding to a first reproduction method of the 3D data; associated with the extension is one or more second attribute properties corresponding to a second reproduction method of the 3D data;
  • the file processing unit selects one or more of the first attribute properties associated with the node, or one or more of the second attributes associated with the extension, according to the method of reproducing the 3D data.
  • the information processing apparatus according to (1), wherein a Views property is selected.
  • a first extension and a second extension are defined; Associated with the first extension is one or more first properties corresponding to a first reproduction method of the 3D data; Associated with the second extension is one or more second properties corresponding to a second reproduction method of the 3D data;
  • the file processing unit according to the reproduction method of the 3D data, selects one or more of the first properties associated with the first extension, or one or more of the first properties associated with the second extension.
  • the information processing apparatus according to (1), wherein the property of 2 is selected.
  • the extension is defined within one node of the scene description; associated with the node is one or more first properties corresponding to a first reproduction method of the 3D data; Associated with the extension is one or more second properties corresponding to a second reproduction method of the 3D data;
  • the file processing unit selects one or more of the first properties associated with the node or one or more of the second properties associated with the extension, according to the method of reproducing the 3D data.
  • the information processing device according to (1).
  • (14) Selecting a property corresponding to a 3D data reproduction method based on an extension specified in a scene description, and processing the 3D data by the reproduction method using the selected property. .
  • An information processing device comprising: a file processing unit that processes the 3D data by a method.
  • an extension is defined within one primitive of the scene description; defining within the extension a first alternative sequence and a second alternative sequence; the first alternatives array has as elements each of a single or a plurality of first properties corresponding to the first reproduction method of the 3D data; The second alternatives array has as elements each of a single or a plurality of second properties corresponding to the second reproduction method of the 3D data,
  • the file processing unit when applying the first rendering method, selecting the first alternatives array and utilizing the first property or properties to process the 3D data with the first rendering method; If the second rendering method is applied, select the second alternatives array and process the 3D data with the second rendering method using the second property or properties.
  • an extension is defined within one mesh object of the scene description; defining within the extension a first alternative sequence and a second alternative sequence; the first alternatives array has as elements each of a single or a plurality of first properties corresponding to the first reproduction method of the 3D data; The second alternatives array has as elements each of a single or a plurality of second properties corresponding to the second reproduction method of the 3D data,
  • the file processing unit when applying the first rendering method, selecting the first alternatives array and utilizing the first property or properties to process the 3D data with the first rendering method; If the second rendering method is applied, select the second alternatives array and process the 3D data with the second rendering method using the second property or properties.
  • an extension is defined within one node of the scene description; defining within the extension a first alternative sequence and a second alternative sequence; the first alternatives array has elements associated with each of the one or more first properties corresponding to the first reproduction method of the 3D data; the second alternatives array has an element associated with each of one or more second properties corresponding to a second reproduction method of the 3D data;
  • the file processing unit when applying the first rendering method, selecting the first alternatives array and utilizing the first property or properties to process the 3D data with the first rendering method; If the second rendering method is applied, select the second alternatives array and process the 3D data with the second rendering method using the second property or properties. 21)
  • the information processing apparatus described in 21). (25) Selecting the alternatives array corresponding to the method of reproducing 3D data from among the alternatives arrays defined in the scene description, and using properties that are elements of the selected alternatives array to perform the reproduction. An information processing method for processing said 3D data in a method.
  • An information processing apparatus comprising a file generation unit that generates a scene description file that stores extensions for identifying properties for each 3D data reproduction method.
  • the file generation unit defining a first extension and a second extension within one primitive of the scene description file; storing in the first extension one or more first attribute properties corresponding to a first reproduction method of the 3D data; (31), wherein the second extension stores a single or a plurality of second attribute properties corresponding to a second reproduction method of the 3D data.
  • the file generation unit defining the extension within one primitive of the scene description file; storing within the primitives one or more first attribute properties corresponding to a first reproduction method of the 3D data; (31), wherein one or more second attribute properties corresponding to a second reproduction method of the 3D data are stored in the extension.
  • the file generation unit defining a first extension and a second extension within one primitive of the scene description file; storing in the first extension one or more first properties corresponding to a first reproduction method of the 3D data; (31), wherein the second extension stores a single or a plurality of second properties corresponding to a second reproduction method of the 3D data.
  • the file generation unit defining the extension within one primitive of the scene description file; storing in the primitives one or more first properties corresponding to a first reproduction method of the 3D data; The information processing device according to (31), wherein the extension stores a single or a plurality of second properties corresponding to a second reproduction method of the 3D data.
  • the file generation unit defining a first extension and a second extension within one mesh object of the scene description file; storing in the first extension one or more first attribute properties corresponding to a first reproduction method of the 3D data; (31), wherein the second extension stores a single or a plurality of second attribute properties corresponding to a second reproduction method of the 3D data.
  • the file generation unit defining the extension within one mesh object of the scene description file; storing within the mesh object one or more first attribute properties corresponding to a first reproduction method of the 3D data; (31), wherein one or more second attribute properties corresponding to a second reproduction method of the 3D data are stored in the extension.
  • the file generation unit defining a first extension and a second extension within one mesh object of the scene description file; storing in the first extension one or more first properties corresponding to a first reproduction method of the 3D data; (31), wherein the second extension stores a single or a plurality of second properties corresponding to a second reproduction method of the 3D data.
  • the file generation unit defining the extension within one mesh object of the scene description file; storing in the mesh object one or more first properties corresponding to a first reproduction method of the 3D data;
  • the information processing device according to (31), wherein the extension stores a single or a plurality of second properties corresponding to a second reproduction method of the 3D data.
  • the file generation unit defining a first extension and a second extension within one node of the scene description file; associating with the first extension one or more first attribute properties corresponding to a first reproduction method of the 3D data; (31), wherein the second extension is associated with one or more second attribute properties corresponding to the second reproduction method of the 3D data.
  • the file generation unit defining the extension within a node of the scene description file; associating with the node a first attribute property or properties corresponding to a first reproduction method of the 3D data; (31), wherein the extension is associated with one or more second attribute properties corresponding to a second reproduction method of the 3D data.
  • the file generation unit defining a first extension and a second extension within one node of the scene description file; Associating the first extension with one or more first properties corresponding to a first reproduction method of the 3D data; (31), wherein the second extension is associated with one or more second properties corresponding to the second reproduction method of the 3D data.
  • the file generation unit defining the extension within a node of the scene description file; associating with the node a first property or properties corresponding to a first reproduction method of the 3D data; (31), wherein the extension is associated with one or more second properties corresponding to the second reproduction method of the 3D data.
  • An information processing method for generating a scene description file that stores extensions for identifying properties for each 3D data reproduction method.
  • An information processing apparatus comprising a file generation unit that generates a scene description file that stores a plurality of alternatives arrays having properties corresponding to the same reproduction method of 3D data as elements.
  • the file generation unit defining an extension within one primitive of the scene description file; storing in the extension a first alternatives array whose elements are each of one or more first properties corresponding to the first reproduction method of the 3D data;
  • the information processing according to (51) further storing in the extension a second alternatives array whose elements are each of a single or a plurality of second properties corresponding to the second reproduction method of the 3D data.
  • the file generation unit defining an extension within one mesh object of the scene description file; storing in the extension a first alternatives array whose elements are each of one or more first properties corresponding to the first reproduction method of the 3D data; The information processing according to (51), further storing in the extension a second alternatives array whose elements are each of a single or a plurality of second properties corresponding to the second reproduction method of the 3D data.
  • the information processing according to (51) further storing in the extension a second alternatives array whose elements are each of a single or a plurality of second properties corresponding to the second reproduction method of the 3D data.
  • the file generation unit defining an extension within one node of the scene description file; storing within the extension a first alternatives array having elements each associated with one or more first properties corresponding to a first reproduction method of the 3D data; (51) further storing in the extension a second alternatives array having elements associated with each of the one or more second properties corresponding to the second reproduction method of the 3D data information processing equipment. (55) An information processing device that generates a scene description file that stores a plurality of alternatives arrays whose elements are properties corresponding to the same reproduction method of 3D data.
  • 300 file generation device 301 control unit, 302 file generation processing unit, 311 input unit, 312 preprocessing unit, 313 encoding unit, 314 file generation unit, 315 recording unit, 316 output unit, 400 client device, 401 control unit, 402 client processing unit, 411 file acquisition unit, 412 file processing unit, 413 decryption unit, 414 display information generation unit, 415 display unit, 416 display control unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本開示は、複数の再生方法に対応するシーンディスクリプションを利用してコンテンツを再生することができるようにする情報処理装置および方法に関する。 シーンディスクリプションにおいて、エクステンションに基づいて3Dデータの再生方法に対応するプロパティを選択し、再生に利用する。また、シーンディスクリプションにおいて、3Dデータの再生方法に応じたオルタナティブス配列を選択し、その配列の要素であるプロパティを再生に利用する。また、3Dデータの再生方法毎にプロパティを識別するためのエクステンションを格納するシーンディスクリプションファイルを生成する。また、3Dデータの互いに同一の再生方法に対応するプロパティを要素とするオルタナティブス配列を複数格納するシーンディスクリプションファイルを生成する。本開示は、例えば、情報処理装置、または情報処理方法等に適用することができる。

Description

情報処理装置および方法
 本開示は、情報処理装置および方法に関し、特に、複数の再生方法に対応するシーンディスクリプションを利用してコンテンツを再生することができるようにした情報処理装置および方法に関する。
 従来、3D(3次元)オブジェクトを3次元空間内に配置し、レンダリングするためのシーンディスクリプション(Scene Description)のフォーマットであるglTF(The GL Transmission Format)(登録商標)2.0があった(例えば非特許文献1参照)。
 また、MPEG(Moving Picture Experts Group)-I Scene Descriptionにおいて、glTF2.0を拡張し、時間方向に動的なコンテンツを扱う方法が提案された(例えば非特許文献2参照)。
 ところで、ポイントクラウド(point cloud)の符号化方式として、ポイントクラウドをセグメンテーションして領域を形成し、その領域毎に平面投影して動画コーデックにより符号化するV-PCC(Video based Point Cloud Compression)が提案された(例えば、非特許文献3参照)。ポイントクラウドは、3次元空間上に位置情報と属性情報(色や反射等)を持つ点の集合によりオブジェクトの3次元構造を表現する3Dデータである。
 また、このV-PCCで符号化されたポイントクラウドの符号化データにより構成されるV3CビットストリームをISOBMFFに格納する方法が検討された(例えば、非特許文献4参照)。
 近年、シーン内に配置される3Dオブジェクトの実データとして、ISOBMFFに格納されたV3Cビットストリームを使用するための方法が検討された。このようなコンテンツの再生方法として、3Dデータの再構成をMAF(Media Access Function)で行う方法とPE(Presentation Engine)で行う方法が検討された。
Saurabh Bhatia, Patrick Cozzi, Alexey Knyazev, Tony Parisi, "Khronos glTF2.0", https://github.com/KhronosGroup/glTF/tree/master/specification/2.0, June 9, 2017 "Text of ISO/IEC CD 23090-14 Scene Description for MPEG Media", ISO/IEC JTC 1/SC 29/WG 3 N00026, 2020-11-30 "ISO/IEC FDIS 23090-5 Visual Volumetric Video-based Coding and Video-based Point Cloud Compression", ISO/IEC JTC 1/SC 29/ WG 11 N19579, 2020-09-21 "Draft text of ISO/IEC FDIS 23090-10 Carriage of Visual Volumetric Video-based Coding Data",INTERNATIONAL ORGANIZATION FOR STANDARDIZATION ORGANISATION INTERNATIONALE DE NORMALISATION ISO/IEC JTC 1/SC 29/WG 03 MPEG SYSTEMS, ISO/IEC JTC 1/SC 29/WG 03 N0163, 19995, 2021-03-25
 しかしながら、3Dデータの再構成がMAFで行われる場合と、PEで行われる場合とでは、シーンディスクリプションの構成が互いに異なる。そのため、1つのシーンディスクリプションを両方の再生方法で利用することができなかった。そのため、両方の再生方法に対応するためには、1つのコンテンツに対して、それぞれ、シーンディスクリプションファイルを用意する必要があった。
 本開示は、このような状況に鑑みてなされたものであり、複数の再生方法に対応するシーンディスクリプションを利用してコンテンツを再生することができるようにするものである。
 本技術の一側面の情報処理装置は、シーンディスクリプションに規定されるエクステンションに基づいて、3Dデータの再生方法に対応するプロパティを選択し、選択した前記プロパティを利用して、前記再生方法で前記3Dデータを処理するファイル処理部を備える情報処理装置である。
 本技術の一側面の情報処理方法は、シーンディスクリプションに規定されるエクステンションに基づいて、3Dデータの再生方法に対応するプロパティを選択し、選択した前記プロパティを利用して、前記再生方法で前記3Dデータを処理する情報処理方法である。
 本技術の他の側面の情報処理装置は、シーンディスクリプションに規定されるオルタナティブス配列の中から3Dデータの再生方法に応じた前記オルタナティブス配列を選択し、選択した前記オルタナティブス配列の要素であるプロパティを利用して、前記再生方法で前記3Dデータを処理するファイル処理部を備える情報処理装置である。
 本技術の他の側面の情報処理方法は、シーンディスクリプションに規定されるオルタナティブス配列の中から3Dデータの再生方法に応じた前記オルタナティブス配列を選択し、選択した前記オルタナティブス配列の要素であるプロパティを利用して、前記再生方法で前記3Dデータを処理する情報処理方法である。
 本技術のさらに他の側面の情報処理装置は、3Dデータの再生方法毎にプロパティを識別するためのエクステンションを格納するシーンディスクリプションファイルを生成するファイル生成部を備える情報処理装置である。
 本技術のさらに他の側面の情報処理方法は、3Dデータの再生方法毎にプロパティを識別するためのエクステンションを格納するシーンディスクリプションファイルを生成する情報処理方法である。
 本技術のさらに他の側面の情報処理装置は、3Dデータの互いに同一の再生方法に対応するプロパティを要素とするオルタナティブス配列を複数格納するシーンディスクリプションファイルを生成するファイル生成部を備える情報処理装置である。
 本技術のさらに他の側面の情報処理方法は、3Dデータの互いに同一の再生方法に対応するプロパティを要素とするオルタナティブス配列を複数格納するシーンディスクリプションファイルを生成する情報処理方法である。
 本技術の一側面の情報処理装置および方法においては、シーンディスクリプションに規定されるエクステンションに基づいて、3Dデータの再生方法に対応するプロパティが選択され、その選択されたプロパティが利用されて、その再生方法で3Dデータが処理される。
 本技術の他の側面の情報処理装置および方法においては、シーンディスクリプションに規定されるオルタナティブス配列の中から3Dデータの再生方法に応じたオルタナティブス配列が選択され、その選択されたオルタナティブス配列の要素であるプロパティが利用されて、その再生方法で3Dデータが処理される。
 本技術のさらに他の側面の情報処理装置および方法においては、3Dデータの再生方法毎にプロパティを識別するためのエクステンションを格納するシーンディスクリプションファイルが生成される。
 本技術のさらに他の側面の情報処理装置および方法においては、3Dデータの互いに同一の再生方法に対応するプロパティを要素とするオルタナティブス配列を複数格納するシーンディスクリプションファイルが生成される。
glTF2.0の主な構成例を示す図である。 glTFオブジェクトと参照関係の例を示す図である。 シーンディスクリプションの記述例を示す図である。 バイナリデータへのアクセス方法について説明する図である。 シーンディスクリプションの記述例を示す図である。 buffer object、buffer view object、accessor objectの関係を説明する図である。 buffer object、buffer view object、accessor objectの記述例を示す図である。 シーンディスクリプションのオブジェクトの構成例を説明する図である。 シーンディスクリプションの記述例を示す図である。 オブジェクトの拡張方法について説明する図である。 クライアント処理の構成について説明する図である。 タイムドメタデータを扱うためのextensionの構成例を示す図である。 シーンディスクリプションの記述例を示す図である。 シーンディスクリプションの記述例を示す図である。 タイムドメタデータを扱うためのextensionの構成例を示す図である。 クライアントの主な構成例を示す図である。 クライアント処理の流れの例を説明するフローチャートである。 V-PCCの概要を説明する図である。 V-PCCビットストリームの主な構成例を示す図である。 マルチトラックストラクチャの場合のISOBMFFのトラックの構成例を示す図である。 マルチトラックストラクチャの場合のMPDの記述例を示す図である。 クライアント処理の例を示す図である。 3Dデータの再構成をMAFで行う場合の、シーンディスクリプションにおけるオブジェクトの構成例を示す図である。 3Dデータの再構成をPEで行う場合の、シーンディスクリプションにおけるオブジェクトの構成例を示す図である。 3Dデータの再構成をPEで行う場合の、シーンディスクリプションにおけるオブジェクトの構成例を示す図である。 複数の再生方法に対応するシーンディスクリプションの例を示す図である。 シーンディスクリプションのオブジェクト構成例を示す図である。 シーンディスクリプションの記述例を示す図である。 シーンディスクリプションのオブジェクト構成例を示す図である。 シーンディスクリプションの記述例を示す図である。 シーンディスクリプションのオブジェクト構成例を示す図である。 シーンディスクリプションの記述例を示す図である。 シーンディスクリプションのオブジェクト構成例を示す図である。 シーンディスクリプションの記述例を示す図である。 複数の再生方法に対応するシーンディスクリプションの例を示す図である。 シーンディスクリプションのオブジェクト構成例を示す図である。 複数の再生方法に対応するシーンディスクリプションの例を示す図である。 シーンディスクリプションのオブジェクト構成例を示す図である。 ファイル生成装置の主な構成例を示すブロック図である。 ファイル生成処理の流れの例を示すフローチャートである。 ファイル生成処理の流れの例を示すフローチャートである。 クライアント装置の主な構成例を示すブロック図である。 再生処理の流れの例を示すフローチャートである。 コンピュータの主な構成例を示すブロック図である。
 以下、本開示を実施するための形態(以下実施の形態とする)について説明する。なお、説明は以下の順序で行う。
 1.技術内容・技術用語をサポートする文献等
 2.MPEG-Iシーンディスクリプション
 3.複数の再生方法に対応するシーンディスクリプション
 4.第1の実施の形態(ファイル生成装置)
 5.第2の実施の形態(クライアント装置)
 6.付記
 <1.技術内容・技術用語をサポートする文献等>
 本技術で開示される範囲は、実施の形態に記載されている内容だけではなく、出願当時において公知となっている以下の非特許文献等に記載されている内容や以下の非特許文献において参照されている他の文献の内容等も含まれる。
 非特許文献1:(上述)
 非特許文献2:(上述)
 非特許文献3:(上述)
 非特許文献4:(上述)
 つまり、上述の非特許文献に記載されている内容や、上述の非特許文献において参照されている他の文献の内容等も、サポート要件を判断する際の根拠となる。例えば、非特許文献1乃至非特許文献3に記載されるglTF2.0やそのextensionなどのシンタックスや用語が本開示において直接的に定義されていない場合でも、本開示の範囲内であり、請求の範囲のサポート要件を満たすものとする。また、例えば、パース(Parsing)、シンタックス(Syntax)、セマンティクス(Semantics)等の技術用語についても同様に、本開示において直接的に定義されていない場合でも、本開示の範囲内であり、請求の範囲のサポート要件を満たすものとする。
 <2.MPEG-Iシーンディスクリプション>
  <gltf2.0>
 従来、例えば、非特許文献1に記載のように、3D(3次元)オブジェクトを3次元空間内に配置するためのフォーマットであるglTF(The GL Transmission Format)(登録商標)2.0があった。glTF2.0では、例えば図1に示されるように、JSONフォーマットファイル(.glTF)と、バイナリファイル(.bin)と、イメージファイル(.pngや.jpg等)とにより構成される。バイナリファイルは、ジオメトリやアニメーション等のバイナリデータを格納する。イメージファイルは、テクスチャ等のデータを格納する。
 JSONフォーマットファイルは、JSON(JavaScript(登録商標) Object Notation)で記述されたシーンディスクリプションファイル(scene description file)である。シーンディスクリプションとは、3Dコンテンツのシーン(の説明)を記述するメタデータである。このシーンディスクリプションの記述により、どのようなシーンであるかが定義される。シーンディスクリプションファイルは、そのようなシーンディスクリプションを格納するファイルである。本開示においては、シーンディスクリプションファイルのことをシーン記述ファイルとも称する。
 JSONフォーマットファイルの記述は、キー(KEY)とバリュー(VALUE)のペアの羅列により構成される。以下にその書式の例を示す。
 “KEY”:”VALUE”
 キーは文字列により構成される。バリューは数値、文字列、真偽値、配列、オブジェクト、またはnull等により構成される。
 また、複数のキーとバリューのペア(“KEY”:”VALUE”)を、{}(中かっこ)を用いてまとめることができる。この中かっこでまとめたものをJSONオブジェクトとも称する。以下にその書式の例を示す。
 “user”:{"id":1, "name":"tanaka”}
 この例の場合、キー(user)に対応するバリューとして、"id":1のペアと"name":"tanaka”のペアをまとめたJSONオブジェクトが定義されている。
 また、0個以上のバリューを、[](大かっこ)を用いて配列化することもできる。この配列をJSON配列とも称する。このJSON配列の要素として、例えば、JSONオブジェクトを適用することもできる。以下にその書式の例を示す。
 test":["hoge", "fuga", "bar"]
 "users":[{"id":1, "name":"tanaka"},{"id":2,"name":"yamada"},{"id":3, "name":"sato"}]
 JSONフォーマットファイルの最上位に記載できるglTFオブジェクト(glTF object)と、それらが持てる参照関係を図2に示す。図2に示されるツリー構造の長丸がオブジェクトを示し、そのオブジェクト間の矢印が参照関係を示している。図2に示されるように、"scene"、"node"、"mesh"、"camera"、"skin"、"material"、"texture"等のオブジェクトがJSONフォーマットファイルの最上位に記述される。
 このようなJSONフォーマットファイル(シーンディスクリプション)の記述例を図3に示す。図3のJSONフォーマットファイル20は、最上位の一部の記述例を示している。このJSONフォーマットファイル20において、使用されるトップレベルオブジェクト(top-level object)21は、全て最上位に記述される。このトップレベルオブジェクト21は、図2に示されるglTFオブジェクトである。また、JSONフォーマットファイル20においては、矢印22として示されるように、オブジェクト(object)間の参照関係が示される。より具体的には、上位オブジェクトのプロパティ(property)で、参照するオブジェクトの配列の要素のインデックス(index)を指定することによりその参照関係が示される。
 図4は、バイナリデータへのアクセス方法について説明する図である。図4に示されるように、バイナリデータは、バッファオブジェクト(buffer object)に格納される。つまり、バッファオブジェクトにおいてバイナリデータにアクセスするための情報(例えばURI(Uniform Resource Identifier)等)が示される。JSONフォーマットファイルにおいては、図4に示されるように、例えばメッシュ(mesh)、カメラ(camera)、スキン(skin)等のオブジェクトから、そのバッファオブジェクトに対して、アクセサオブジェクト(accessor object)とバッファビューオブジェクト(bufferView object)を介してアクセスすることができる。
 つまり、メッシュ(mesh)、カメラ(camera)、スキン(skin)等のオブジェクトにおいては、参照するアクセサオブジェクトが指定される。JSONフォーマットファイルにおけるメッシュオブジェクト(mesh)の記述例を図5に示す。例えば、図5のように、メッシュオブジェクトにおいては、NORMAL、POSITION、TANGENT、TEXCORD_0等の頂点の属性(アトリビュート(attribute))がキーとして定義され、その属性毎に、参照するアクセサオブジェクトがバリューとして指定されている。
 バッファオブジェクト、バッファビューオブジェクト、アクセサオブジェクトの関係を図6に示す。また、JSONフォーマットファイルにおけるそれらのオブジェクトの記述例を図7に示す。
 図6において、バッファオブジェクト41は、実データであるバイナリデータにアクセスするための情報(URI等)と、そのバイナリデータのデータ長(例えばバイト長)を示す情報とを格納するオブジェクトである。図7のAは、そのバッファオブジェクト41の記述例を示している。図7のAに示される「"bytelength":102040」は、図6に示されるように、バッファオブジェクト41のバイト長が102040バイト(bytes)であることを示している。また、図7のAに示される「"uri":"duck.bin"」は、図6に示されるように、バッファオブジェクト41のURIが"duck.bin"であることを示している。
 図6において、バッファビューオブジェクト42は、バッファオブジェクト41において指定されたバイナリデータのサブセット(subset)領域に関する情報(つまりバッファオブジェクト41の一部の領域に関する情報)を格納するオブジェクトである。図7のBは、そのバッファビューオブジェクト42の記述例を示している。図6や図7のBに示されるように、バッファビューオブジェクト42は、例えば、そのバッファビューオブジェクト42が属するバッファオブジェクト41の識別情報、そのバッファオブジェクト41内におけるそのバッファビューオブジェクト42の位置を示すオフセット(例えばバイトオフセット)、そのバッファビューオブジェクト42のデータ長(例えばバイト長)を示すレングス(例えばバイトレングス)等の情報を格納する。
 図7のBに示されるように、バッファビューオブジェクトが複数存在する場合、そのバッファビューオブジェクト毎(つまりサブセット領域毎)に情報が記述される。例えば、図7のBにおいて上側に示される、「"buffer":0」、「"bytelength":25272」、「"byteOffset":0」等の情報は、図6においてバッファオブジェクト41内に示される1つ目のバッファビューオブジェクト42(bufferView[0])の情報である。また、図7のBにおいて下側に示される、「"buffer":0」、「"bytelength":76768」、「"byteOffset":25272」等の情報は、図6においてバッファオブジェクト41内に示される2つ目のバッファビューオブジェクト42(bufferView[1])の情報である。
 図7のBに示される1つ目のバッファビューオブジェクト42(bufferView[0])の「"buffer":0」は、図6に示されるように、そのバッファビューオブジェクト42(bufferView[0])が属するバッファオブジェクト41の識別情報が「0」(Buffer[0])であることを示している。また、「"bytelength":25272」は、そのバッファビューオブジェクト42(bufferView[0])のバイト長が25272バイトであることを示している。さらに、「"byteOffset":0」は、そのバッファビューオブジェクト42(bufferView[0])のバイトオフセットが0バイトであることを示している。
 図7のBに示される2つ目のバッファビューオブジェクト42(bufferView[1])の「"buffer":0」は、図6に示されるように、そのバッファビューオブジェクト42(bufferView[0])が属するバッファオブジェクト41の識別情報が「0」(Buffer[0])であることを示している。また、「"bytelength":76768」は、そのバッファビューオブジェクト42(bufferView[0])のバイト長が76768バイトであることを示している。さらに、「"byteOffset":25272」は、そのバッファビューオブジェクト42(bufferView[0])のバイトオフセットが25272バイトであることを示している。
 図6において、アクセサオブジェクト43は、バッファビューオブジェクト42のデータの解釈方法に関する情報を格納するオブジェクトである。図7のCは、そのアクセサオブジェクト43の記述例を示している。図6や図7のCに示されるように、アクセサオブジェクト43は、例えば、そのアクセサオブジェクト43が属するバッファビューオブジェクト42の識別情報、そのバッファビューオブジェクト42の、バッファオブジェクト41内における位置を示すオフセット(例えばバイトオフセット)、そのバッファビューオブジェクト42のコンポーネントタイプ、そのバッファビューオブジェクト42に格納されるデータ数、そのバッファビューオブジェクト42に格納されるデータのタイプ等の情報を格納する。これらの情報は、バッファビューオブジェクト毎に記述される。
 図7のCの例では、「"bufferView":0」、「"byteOffset":0」、「"componentType":5126」、「"count":2106」、「"type":"VEC3"」等の情報が示されている。「"bufferView":0」は、図6に示されるように、そのアクセサオブジェクト43が属するバッファビューオブジェクト42の識別情報が「0」(bufferView[0])であることを示している。また、「"byteOffset":0」は、そのバッファビューオブジェクト42(bufferView[0])のバイトオフセットが0バイトであることを示している。さらに、「"componentType":5126」は、コンポーネントタイプが、FLOAT型(OpenGLマクロ定数)であることを示している。また、「"count":2106」は、そのバッファビューオブジェクト42(bufferView[0])に格納されるデータが2106個であることを示している。さらに、「"type":"VEC3"」は、そのバッファビューオブジェクト42(bufferView[0])に格納されるデータ(のタイプ)が3次元ベクトルであることを示している。
 イメージ(image)以外のデータへのアクセスは、全てこのアクセサオブジェクト43への参照により(アクセサのインデックスを指定することにより)定義される。
 次に、このようなglTF2.0に準拠するシーンディスクリプション(JSONフォーマットファイル)において、ポイントクラウドの3Dオブジェクトを指定する方法について説明する。ポイントクラウドは、立体構造物(3次元形状のオブジェクト)を多数の点の集合として表現する3Dコンテンツである。ポイントクラウドのデータは、各点の位置情報(ジオメトリ(geometry)とも称する)と属性情報(アトリビュート(attribute)とも称する)とにより構成される。アトリビュートは任意の情報を含むことができる。例えば、各ポイントの色情報、反射率情報、法線情報等がアトリビュートに含まれるようにしてもよい。このようにポイントクラウドは、データ構造が比較的単純であるとともに、十分に多くの点を用いることにより任意の立体構造物を十分な精度で表現することができる。
 ポイントクラウドが時間方向に変化しない(静的であるとも称する)場合、glTF2.0のmesh.primitives objectを用いて3Dオブジェクトを指定する。図8は、ポイントクラウドが静的な場合の、シーンディスクリプションにおけるオブジェクトの構成例を示す図である。図9は、そのシーンディスクリプションの記述例を示す図である。
 図9に示されるように、primitives objectのmodeは、データ(data)がポイントクラウドの点(point)として扱われることを示す0に指定される。図8や図9に示されるように、mesh.primitives内のattributesオブジェクトのポジションプロパティ(POSITION property)において、点(Point)の位置情報を格納するバッファ(buffer)へのアクセサ(accessor)が指定される。同様に、attributesオブジェクトのカラープロパティ(COLOR property)において、点(Point)の色情報を格納するバッファ(buffer)へのアクセサ(accessor)が指定される。バッファ(buffer)とバッファビュー(bufferView)は1つであってもよい(1つのファイル(file)にデータ(data)が格納されてもよい)。
 次に、このようなシーンディスクリプションのオブジェクトの拡張について説明する。glTF2.0の各オブジェクトは、拡張オブジェクト(extension object)内に新たに定義されたオブジェクトを格納することができる。図10は、新たに定義されたオブジェクト(ExtensionExample)を規定する場合の記述例を示す。図10に示されるように、新たに定義されたextensionを使用する場合、“extensionUsed”と”extensionRequired”にそのextension object名(図10の例の場合、ExtensionExample)が記述される。これにより、このextensionが、使用されるなextensionであること、または、ロード(load)に必要なextensionであることが示される。
  <クライアント処理>
 次に、MPEG-I Scene Descriptionにおけるクライアント装置の処理について説明する。クライアント装置は、シーンディスクリプションを取得し、そのシーンディスクリプションに基づいて3Dオブジェクトのデータを取得し、そのシーンディスクリプションや3Dオブジェクトのデータを用いて表示画像を生成する。
 非特許文献2に記載のように、クライアント装置では、プレゼンテーションエンジンやメディアアクセスファンクション等が処理を行う。例えば、図11に示されるように、クライアント装置50のプレゼンテーションエンジン(Presentation Engine)51が、シーンディスクリプションの初期値やそのシーンディスクリプションを更新するための情報(以下、更新情報とも称する)を取得し、処理対象時刻のシーンディスクリプションを生成する。そして、プレゼンテーションエンジン51は、そのシーンディスクリプションを解析し、再生するメディア(動画や音声等)を特定する。そして、プレゼンテーションエンジン51は、メディアアクセスAPI(Media Access API(Application Program Interface))経由で、メディアアクセスファンクション(Media Access Function)52に対してそのメディアの取得を要求する。また、プレゼンテーションエンジン51は、パイプライン処理の設定やバッファの指定等も行う。
 メディアアクセスファンクション52は、プレゼンテーションエンジン51から要求されたメディアの各種データをクラウド(Cloud)やローカルストレージ(Local Storage)等から取得する。メディアアクセスファンクション52は、取得したメディアの各種データ(符号化データ)をパイプライン(Pipeline)53に供給する。
 パイプライン53は、供給されたメディアの各種データ(符号化データ)を、パイプライン処理により復号し、その復号結果をバッファ(Buffer)54に供給する。バッファ54は、供給されたメディアの各種データを保持する。
 プレゼンテーションエンジン51は、バッファ54に保持されているメディアの各種データを用いてレンダリング(Rendering)等を行う。
  <Timed mediaの適用>
 近年、例えば、非特許文献2に示されるように、MPEG-I Scene Descriptionにおいて、glTF2.0を拡張し、3Dオブジェクトコンテンツとしてタイムドメディア(Timed media)を適用することが検討されている。タイムドメディアとは、2次元画像における動画像のように、時間軸方向に変化するメディアデータである。
 glTFは、メディアデータ(3Dオブジェクトコンテンツ)として、静止画データのみ適用可能であった。つまり、glTFは、動画像のメディアデータには対応していなかった。3Dオブジェクトを動かす場合は、アニメーション(時間軸に沿って静止画を切り替える方法)が適用されていた。
 MPEG-I Scene Descriptionでは、そのglTF2.0を適用し、シーンディスクリプションとしてJSONフォーマットファイルを適用し、さらに、メディアデータとして、タイムドメディア(例えばビデオデータ)を扱うことができるようにglTFを拡張することが検討されている。タイムドメディアを扱うために、例えば以下のような拡張が行われる。
 図12は、タイムドメディアを扱うための拡張について説明する図である。図12の例において、MPEGメディアオブジェクト(MPEG_media)は、glTFのextensionであり、例えば、uri, track, renderingRate, startTime等、ビデオデータ等のMPEGメディアの属性を指定するオブジェクトである。
 また、図12に示されるように、テクスチャオブジェクト(texture)の拡張オブジェクト(extensions)として、MPEGテクスチャビデオオブジェクト(MPEG_texture_video)が設けられる。そのMPEGテクスチャビデオオブジェクトには、アクセスするバッファオブジェクトに対応するアクセサの情報が格納される。すなわち、MPEGテクスチャビデオオブジェクトは、MPEGメディアオブジェクト(MPEG_media)で指定されたテクスチャメディア(texture media)が復号されて格納されるバッファ(buffer)に対応するアクセサ(accessor)のインデックスを指定するオブジェクトである。
 図13は、タイムドメディアを扱うための拡張について説明するための、シーンディスクリプションにおけるMPEGメディアオブジェクト(MPEG_media)およびMPEGテクスチャビデオオブジェクト(MPEG_texture_video)の記述例を示す図である。図13の例の場合、上から2行目において下記のように、テクスチャオブジェクト(texture)の拡張オブジェクト(extensions)として、MPEGテクスチャビデオオブジェクト(MPEG_texture_video)が設定されている。そして、そのMPEGビデオテクスチャオブジェクトのバリューとして、アクセサのインデックス(この例では「2」)が指定されている。
"texture":[{"sampler":0, "source":1, "extensions":{"MPEG_texture_video ":"accessor":2}}],
 また、図13の例の場合、上から7行目乃至16行目において下記のように、glTFの拡張オブジェクト(extensions)として、MPEGメディアオブジェクト(MPEG_media)が設定されている。そして、そのMPEGメディアオブジェクトのバリューとして、例えば、そのMPEGメディアオブジェクトの符号化やURI等といった、MPEGメディアオブジェクトに関する様々な情報が格納されている。
"MPEG_media":{
  "media":[
        {"name":"source_1", "renderingRate":30.0, "startTime":9.0, "timeOffset":0.0,
          "loop":"true", "controls":"false",
          "alternatives":[{"mimeType":"video/mp4;codecs=\"avc1.42E01E\"", "uri":"video1.mp4",
                                     "tracks":[{"track":""#track_ID=1"}]
                         }]
        }
  ]
}
 また、各フレームデータはデコードされ順次バッファに格納されるが、その位置などが変動するため、シーンディスクリプションには、その変動する情報を格納して、レンダラ(renderer)がデータを読みだせるようにする仕組みが設けられる。例えば、図12に示されるように、バッファオブジェクト(buffer)の拡張オブジェクト(extensions)として、MPEGバッファサーキュラオブジェクト(MPEG_buffer_circular)が設けられる。そのMPEGバッファサーキュラオブジェクトには、バッファオブジェクト内にデータを動的に格納するための情報が格納される。例えば、バッファヘッダ(bufferHeader)のデータ長を示す情報や、フレーム数を示す情報等といった情報がこのMPEGバッファサーキュラオブジェクトに格納される。なお、バッファヘッダは、例えば、インデックス(index)、格納されるフレームデータのタイムスタンプやデータ長等といった情報を格納する。
 また、図12に示されるように、アクセサオブジェクト(accessor)の拡張オブジェクト(extensions)として、MPEGアクセサタイムドオブジェクト(MPEG_timed_accessor)が設けられる。この場合、メディアデータは動画なので時間方向に参照するバッファビューオブジェクト(bufferView)が変化し得る(位置が変動し得る)。そこで、その参照するバッファビューオブジェクトを示す情報が、このMPEGアクセサタイムドオブジェクトに格納される。例えば、MPEGアクセサタイムドオブジェクトには、タイムドアクセサインフォメーションヘッダ(timedAccessor information header)が記述されるバッファビューオブジェクト(bufferView)への参照を示す情報が格納される。なお、タイムドアクセサインフォメーションヘッダは、例えば、動的に変化するアクセサオブジェクトとバッファビューオブジェクト内の情報を格納するヘッダ情報である。
 図14は、タイムドメディアを扱うための拡張について説明するための、シーンディスクリプションにおけるMPEGバッファサーキュラオブジェクト(MPEG_buffer_circular)およびMPEGアクセサタイムドオブジェクト(MPEG_accessor_timed)の記述例を示す図である。図14の例の場合、上から5行目において下記のように、アクセサオブジェクト(accessors)の拡張オブジェクト(extensions)として、MPEGアクセサタイムドオブジェクト(MPEG_accessor_timed)が設定されている。そして、そのMPEGアクセサタイムドオブジェクトのバリューとして、バッファビューオブジェクトのインデックス(この例では「1」)、アップデートレート(updateRate)、不変の情報(immutable)等のパラメータとその値が指定されている。
"MPEG_accessor_timed":{"bufferView":1, "updateRate":25.0, "immutable":1,"}
 また、図14の例の場合、上から13行目において下記のように、バッファオブジェクト(buffer)の拡張オブジェクト(extensions)として、MPEGバッファサーキュラオブジェクト(MPEG_buffer_circular)が設定されている。そして、そのMPEGバッファサーキュラオブジェクトのバリューとして、バッファフレームカウント(count)、ヘッダ長(headerLength)、アップデートレート(updateRate)等のパラメータとその値が指定されている。
"MPEG_buffer_circular":{"count":5, "headerLength":12, "updateRate":25.0}
 図15は、タイムドメディアを扱うための拡張について説明するための図である。図15において、MPEGアクセサタイムドオブジェクトやMPEGバッファサーキュラオブジェクトと、アクセサオブジェクト、バッファビューオブジェクト、およびバッファオブジェクトとの関係の例を示す。
 バッファオブジェクトのMPEGバッファサーキュラオブジェクトには、上述したように、バッファフレームカウント(count)、ヘッダ長(headerLength)、アップデートレート(updateRate)等といった、バッファオブジェクトによって示されるバッファ領域に時間変化するdataを格納するのに必要な情報が格納される。また、そのバッファ領域のヘッダであるバッファヘッダ(bufferHeader)には、インデックス(index)、タイムスタンプ(timestamp)、データ長(length)等のパラメータが格納される。
 アクセサオブジェクトのMPEGアクセサタイムドオブジェクトには、上述したように、バッファビューオブジェクトのインデックス(bufferView)、アップデートレート(updateRate)、不変の情報(immutable)等といった、参照するバッファビューオブジェクトに関する情報が格納される。また、このMPEGアクセサタイムドオブジェクトには、参照するタイムドアクセサインフォメーションヘッダが格納されるバッファビューオブジェクトに関する情報が格納される。タイムドアクセサインフォメーションヘッダには、タイムスタンプデルタ(timestamp_delta)、アクセサオブジェクトの更新データ、バッファビューオブジェクトの更新データ等が格納され得る。
  <MPEG_texture_video使用時のクライアント処理>
 シーンディスクリプションは、1つ以上の3Dオブジェクトを3D空間に配置するための空間配置情報である。このシーンディスクリプションは、時間軸に沿ってその内容を更新することができる。つまり、時間の経過とともに、3Dオブジェクトの配置を更新することができる。その際のクライアント装置において行われるクライアント処理について説明する。
 図16は、クライアント装置の、クライアント処理に関する主な構成例を示し、図17は、そのクライアント処理の流れの例を示すフローチャートである。図16に示されるように、クライアント装置は、プレゼンテーションエンジン(Presentation Engine(以下、PEとも称する))51、メディアアクセスファンクション(Media Access Function(以下、MAFとも称する))52、パイプライン(Pipeline)53、およびバッファ(Buffer)54を有する。プレゼンテーションエンジン(PE)51は、glTF解析部63およびレンダリング(Rendering)処理部64を有する。
 プレゼンテーションエンジン(PE)51は、メディアアクセスファンクション52にメディアを取得させ、バッファ54を介してそのデータを取得し、表示に関する処理等を行う。具体的には例えば以下のような流れで処理が行われる。
 クライアント処理が開始されると、プレゼンテーションエンジン(PE)51のglTF解析部63は、図17の例のようにPE処理を開始し、ステップS21において、シーンディスクリプションファイルであるSD(glTF)ファイル62を取得し、そのシーンディスクリプションを解析(parse)する。
 ステップS22において、glTF解析部63は、3Dオブジェクト(texture)に紐づくメディア(media)と、そのメディアを処理後に格納するバッファ(buffer)と、アクセサ(accessor)を確認する。ステップS23において、glTF解析部63は、ファイル取得要求として、メディアアクセスファンクション52にその情報を通知する。
 メディアアクセスファンクション(MAF)52は、図17の例のようにMAF処理を開始し、ステップS11において、その通知を取得する。ステップS12において、メディアアクセスファンクション52は、その通知に基づいてメディア(3Dオブジェクトファイル(mp4))を取得する。
 ステップS13において、メディアアクセスファンクション52は、取得したメディア(3Dオブジェクトファイル(mp4))を復号する。ステップS14において、メディアアクセスファンクション52は、復号して得られたメディアのデータを、プレゼンテーションエンジン(PE51)からの通知に基づいて、バッファ54に格納する。
 ステップS24において、プレゼンテーションエンジン51のレンダリング処理部64は、そのデータを適切なタイミングにおいてバッファ54から読み出す(取得する)。ステップS25において、レンダリング処理部64は、取得したデータを用いてレンダリングを行い、表示用画像を生成する。
 メディアアクセスファンクション52は、ステップS13およびステップS14の処理を繰り返すことにより、各時刻(各フレーム)についてこれらの処理を実行する。また、プレゼンテーションエンジン51のレンダリング処理部64は、ステップS24およびステップS25の処理を繰り返すことにより、各時刻(各フレーム)についてこれらの処理を実行する。全てのフレームについて処理が終了すると、メディアアクセスファンクション52はMAF処理を終了し、プレゼンテーションエンジン51はPE処理を終了する。つまり、クライアント処理が終了する。
  <V-PCCの概要>
 ところで、例えば非特許文献3に記載のように、3次元空間上に位置情報と属性情報(色や反射等)を同時に持つ点の集合であるポイントクラウド(point cloud)の符号化方式として、ポイントクラウドをセグメンテーションして領域を形成し、その領域毎に平面投影して動画コーデックにより符号化するV-PCC(Video based Point Cloud Compression)が提案された。
 V-PCCでは、ポイントクラウドのジオメトリやアトリビュートが、小領域毎に2次元平面に投影される。本開示において、この小領域を部分領域という場合がある。このジオメトリやアトリビュートが2次元平面に投影された画像を投影画像とも称する。また、この小領域(部分領域)毎の投影画像をパッチ(patch)と称する。例えば、図18のAのオブジェクト71(3Dデータ)が、図18のBに示されるようなパッチ72(2Dデータ)に分解される。ジオメトリのパッチの場合、各画素値は、ポイントの位置情報を示す。ただし、その場合、ポイントの位置情報は、その投影面に対して垂直方向(奥行方向)の位置情報(デプス値(Depth))として表現される。
 そして、このように生成された各パッチがビデオシーケンスのフレーム画像(ビデオフレームとも称する)内に配置される。ジオメトリのパッチが配置されたフレーム画像をジオメトリビデオフレーム(Geometry video frame)とも称する。また、アトリビュートのパッチが配置されたフレーム画像をアトリビュートビデオフレーム(Attribute video frame)とも称する。例えば、図18のAのオブジェクト71から、図18のCに示されるようなジオメトリのパッチ73が配置されたジオメトリビデオフレーム81と、図18のDに示されるようなアトリビュートのパッチ74が配置されたアトリビュートビデオフレーム82が生成される。例えば、ジオメトリビデオフレーム81の各画素値は、上述のデプス値を示す。
 そして、これらのビデオフレームが、例えばAVC(Advanced Video Coding)やHEVC(High Efficiency Video Coding)等といった2次元画像用の符号化方法で符号化される。つまり、3次元構造を表す3Dデータであるポイントクラウドデータを、2次元画像用のコーデックを用いて符号化することができる。
 なお、オキュパンシーマップ(オキュパンシー画像とも称する)を用いることもできる。オキュパンシーマップは、ジオメトリビデオフレームやアトリビュートビデオフレームのNxN画素毎に、投影画像(パッチ)の有無を示すマップ情報である。例えば、オキュパンシーマップは、ジオメトリビデオフレームやアトリビュートビデオフレームの、パッチが存在する領域(NxN画素)を値「1」で示し、パッチが存在しない領域(NxN画素)を値「0」で示す。
 デコーダは、このオキュパンシーマップを参照することにより、パッチが存在する領域であるか否かを把握することができるので、符号化・復号により生じるノイズ等の影響を抑制することができ、より正確に3Dデータを復元することができる。例えば、符号化・復号によりデプス値が変化しても、デコーダは、オキュパンシーマップを参照することにより、パッチが存在しない領域のデプス値を無視することができる。つまり、デコーダは、オキュパンシーマップを参照することにより、3Dデータの位置情報として処理しないようにすることができる。
 例えば、ジオメトリビデオフレーム11およびアトリビュートビデオフレーム12に対して、図18のEに示されるようなオキュパンシーマップ83を生成してもよい。オキュパンシーマップ83において、白の部分が値「1」を示し、黒の部分が値「0」を示している。
 このようなオキュパンシーマップが、ジオメトリビデオフレームやアトリビュートビデオフレームとは別のデータ(ビデオフレーム)として符号化され、復号側に伝送され得る。つまり、オキュパンシーマップも、ジオメトリビデオフレームやアトリビュートビデオフレームと同様に、AVCやHEVC等の2次元画像用の符号化方法で符号化することができる。
 ジオメトリビデオフレームを符号化して生成される符号化データ(ビットストリーム)をジオメトリビデオサブビットストリーム(geometry video sub-bitstream)とも称する。アトリビュートビデオフレームを符号化して生成される符号化データ(ビットストリーム)をアトリビュートビデオサブビットストリーム(attribute video sub-bitstream)とも称する。オキュパンシーマップを符号化して生成される符号化データ(ビットストリーム)をオキュパンシーマップビデオサブビットストリーム(occupancy map video sub-bitstream)とも称する。なお、ジオメトリビデオサブビットストリーム、アトリビュートビデオサブビットストリーム、オキュパンシーマップビデオサブビットストリームを互いに区別して説明する必要が無い場合、ビデオサブビットストリーム(video sub-bitstream)と称する。
 さらに、パッチ(2Dデータ)からポイントクラウド(3Dデータ)を再構成するための情報であるアトラス情報(atlas)が符号化され、復号側に伝送される。アトラス情報の符号化方法(および復号方法)は任意である。アトラス情報を符号化して生成される符号化データ(ビットストリーム)をアトラスサブビットストリーム(atlas sub-bitstream)とも称する。
 なお、以下において、ポイントクラウド(のオブジェクト)は、2次元画像の動画像のように、時間方向に変化し得る(動的であるとも称する)ものとする。つまり、ジオメトリデータやアトリビュートデータは、時間方向の概念を有し、2次元画像の動画像のように、所定の時間毎にサンプリングされたデータとする。なお、2次元画像のビデオフレームのように、各サンプリング時刻のデータをフレームと称する。つまり、ポイントクラウドデータ(ジオメトリデータやアトリビュートデータ)は、2次元画像の動画像のように、複数フレームにより構成されるものとする。本開示において、このポイントクラウドのフレームのことを、ポイントクラウドフレームとも称する。V-PCCの場合、このような動画像(複数フレーム)のポイントクラウドであっても、各ポイントクラウドフレームをビデオフレーム化してビデオシーケンスとすることで、動画像の符号化方式を用いて高効率に符号化することができる。
  <V-PCCビットストリームの構造>
 エンコーダは、上述したようなジオメトリビデオフレーム、アトリビュートビデオフレーム、オキュパンシーマップ、およびアトラス情報の符号化データを多重化し、1つのビットストリームを生成する。このビットストリームをV-PCCビットストリーム(V-PCC Bitstream)とも称する。
 図19は、V-PCCビットストリームの主な構成例を示す図である。図19に示されるようにV-PCCビットストリーム91は、複数のV-PCCユニット(V-PCC Unit)92を含む。
 V-PCCユニット92は、V-PCCユニットヘッダ(V-PCC unit header)93とV-PCCユニットペイロード(V-PCC unit payload)94を含む。V-PCCユニットヘッダ93は、V-PCCユニットペイロード94に格納される情報の種類(タイプ)を示す情報を含む。V-PCCユニットペイロード94は、そのV-PCCユニットヘッダ93でシグナルされるタイプに応じて、V-PCCパラメータセット(V-PCC Parameter Set)95、ジオメトリビデオサブビットストリーム96(Geometry Video Data)、アトリビュートビデオサブビットストリーム97(Attribute Video Data)、オキュパンシーマップビデオサブビットストリーム98(Occupancy Video Data)、アトラスサブビットストリーム99(Atlas Data)等が格納され得る。V-PCCパラメータセット(V-PCC Parameter Set)95には、V-PCCユニット92に関するパラメータが格納される。
  <ISOBMFFへの格納方法>
 また、例えば非特許文献4に記載のように、このV-PCCで符号化されたポイントクラウドの符号化データにより構成されるV-PCCビットストリーム(V3Cビットストリームとも称する)をISOBMFFに格納する方法が検討された。非特許文献4には、V3CビットストリームをISOBMFFに格納する方法として、シングルトラックストラクチャ(single track structure)とマルチトラックストラクチャ(multi-track structure)との2種類が規定されている。
 シングルトラックストラクチャは、V3Cビットストリームを1つのトラックに格納する方法である。つまりこの場合、ジオメトリビデオサブビットストリーム、アトリビュートビデオサブビットストリーム、オキュパンシーマップビデオサブビットストリーム、およびアトラスサブビットストリームが互いに同一のトラックに格納される。
 マルチトラックストラクチャは、ジオメトリビデオサブビットストリーム、アトリビュートビデオサブビットストリーム、オキュパンシービデオサブビットストリーム、およびアトラスサブビットストリームをそれぞれ個別のトラック(track)に格納する方法である。各ビデオサブビットストリームは、従来の2Dビデオストリームであるので、2Dの場合と同様の手法で格納(管理)することができる。マルチトラックストラクチャを適用する場合のファイルの構成例を図20に示す。図20に示されるように、マルチトラックストラクチャの場合、1つのトラック(V3Cアトラストラック(V3C atlas track))に、V3Cビットストリームを格納する他のトラック(V3Cビデオコンポーネントトラック(V3C video component track)とも称する)にアクセスするための情報であるトラックリファレンス(Track References)が格納される。つまり、各V3Cビデオコンポーネントトラックは、このトラックリファレンスによりV3Cアトラストラックに紐づけられている。
 なお、MPEG-DASH(Moving Picture Experts Group Dynamic Adaptive Streaming over HTTP(Hypertext Transfer Protocol))を適用して3Dオブジェクトコンテンツを配信する場合、その配信を制御するための制御ファイルであるMPD(Media Presentation Description)に、V-PCCを構成するAdaptationSetを取りまとめるための情報として、preselection elementやpreselection Descriptorを格納してもよい。図21にその記述例を示す。つまり、この場合、MPDのこれらの情報により、V3Cビットストリームを構成する各ビットストリームが互いに関連付けられる。
  <クライアント処理のパタン>
 コンテンツ(3Dデータ)を再生するクライアント装置は、V3Cビットストリームを復号し、得られた2Dデータから3Dデータ(例えばポイントクラウド)を再構成する。その場合、クライアント装置は、その3Dデータの再構成をMAF(Media Access Function)で行うこともできるし、PE(Presentation Engine)で行うこともできる。それぞれの場合でバッファに格納されるデータが異なる。
 例えば、図22に示されるように、MAFが実行するMAF処理においては、3Dオブジェクトを構成するV-PCCファイルの取得処理と、そのV-PCCファイル(V3Cビットストリーム)の復号処理が行われる。MAFにおいて3Dデータが再構成される場合、復号処理の後、図22の上側の実線矢印のように、再構成処理が行われ、その処理結果、すなわち3Dデータがバッファに格納される。この場合、PEが実行するPE処理では、そのバッファに格納された3Dデータが読み出され、レンダリング処理が行われることにより表示用画像が生成される。
 これに対して、PEにおいて3Dデータが再構成される場合、MAF処理では、図22の下側の点線矢印のように、復号処理結果、すなわち2Dデータ等がバッファに格納される。この場合、PE処理では、そのバッファに格納された2Dデータ等が読み出され、再構成処理により3Dデータが再構成され、レンダリング処理が行われることにより表示用画像が生成される。
 したがって、MAFにおいて3Dデータ(ポイントクラウドデータ)が再構成される場合、シーンディスクリプションには、図23に示されるように、3Dデータ用のアトリビュート(attribute)が格納される。ただし、バッファに格納されるデータは再構成されたものである。これに対して、MPEG_mediaで指定されるデータは再構成される前のものである。つまり、属性がトラックと1対1では紐づかない。したがって各バッファから参照するMPEG_mediaは、全てのコンポーネントデータを取りまとめるV3Cアトラストラック(V3C atlas track)とされる。
 これに対して、PEにおいて3Dデータ(ポイントクラウドデータ)が再構成される場合、バッファにはV3C復号されたV3Cコンポーネントストリーム(V3C component stream)が格納される。つまり、2Dデータ等がバッファに格納される。したがって、シーンディスクリプションには、V3Cコンポーネント(2Dデータ)用のアトリビュート(attribute)が格納される。
 この場合、バッファに格納されるV3CコンポーネントデータとMPEG_mediaで示されるトラックとの紐づけ方法には、以下の2通りがある。すなわち、例えば、図24に示されるように、バッファとV3Cコンポーネントトラックとを1対1で紐づけてもよい。また、図25に示されるように、全てのコンポーネントデータを取りまとめるV3Cアトラストラック(V3C atlas track)を各バッファから参照してもよい。
  <シーンディスクリプションの適用>
 以上のように、3Dデータの再構成をMAFで行う再生方法と、3Dデータの再構成をPEで行う再生方法とでは、シーンディスクリプションの構成が互いに異なる。そのため、1つのシーンディスクリプションを両方の再生方法で利用することができなかった。そのため、1つのコンテンツを両方の再生方法に対応させるためには、1つのコンテンツに対して、再生方法毎にシーンディスクリプションファイルを用意する必要があった。
 そのため、例えば、シーンディスクリプションファイルを生成する装置においては、再生方法毎にシーンディスクリプションファイルを生成することになり、シーンディスクリプションファイルの生成に関する負荷が増大するおそれがった。また、この場合、各シーンディスクリプションファイルは、対応する再生方法が異なるだけで、配置する3Dオブジェクトは互いに同一である。したがって、再生方法毎にシーンディスクリプションファイルを生成するのは、冗長な処理とも言える。
 また、生成されたコンテンツファイルやシーンディスクリプションファイルを管理する装置においては、その管理が煩雑になり、その管理に関する負荷が増大するおそれがった。また、シーンディスクリプションファイルを用いて3Dコンテンツを再生する装置においては、その再生に利用するシーンディスクリプションファイルの選択や取得等に関する負荷が増大するおそれがあった。例えば、シーンディスクリプションファイルを取得するためだけに、再生方法の確認等、再生に不要な処理や不要な情報の授受が必要になるおそれがあった。
 <3.複数の再生方法に対応するシーンディスクリプション>
  <エクステンションを利用した識別(#1)>
 そこで、図26に示される表の最上段に示されるように、3DデータをMAFにおいて再構成する再生方法用のプロパティ(MAF再構成用プロパティとも称する)と、3DデータをPEにおいて再構成する再生方法用のプロパティ(PE再構成用プロパティとも称する)とを識別するためのエクステンション(extension)がシーンディスクリプション(以下、SDとも称する)に格納されてもよい(#1)。そして、そのエクステンションに基づいてMAF再構成用プロパティおよびPE再構成用プロパティが識別され、再生方法に応じたプロパティが選択されてもよい。
 例えば、情報処理装置(例えばクライアント装置)において、シーンディスクリプションに規定されるエクステンションに基づいて、3Dデータの再生方法に対応するプロパティを選択し、その選択したプロパティを利用して、その再生方法で3Dデータを処理するファイル処理部を備えるようにする。
 例えば、情報処理方法において、シーンディスクリプションに規定されるエクステンションに基づいて、3Dデータの再生方法に対応するプロパティを選択し、その選択したプロパティを利用して、その再生方法で3Dデータを処理するようにする。
 例えば、情報処理装置(例えばファイル生成装置)において、3Dデータの再生方法毎にプロパティを識別するためのエクステンションを格納するシーンディスクリプションファイルを生成するファイル生成部を備えるようにする。
 例えば、情報処理方法において、3Dデータの再生方法毎にプロパティを識別するためのエクステンションを格納するシーンディスクリプションファイルを生成するようにする。
 各再生方法に対応するシーンディスクリプションを1つにまとめることにより、複数の再生方法に関する情報を含むシーンディスクリプションが形成される。しかしながら、単純に複数のシーンディスクリプションファイルを1つにまとめた(例えば直列に繋げた)だけでは、シーンディスクリプションのどの部分がどの再生方法に対応するかを識別することが困難であった。つまり、複数の再生方法に対応するシーンディスクリプションファイルを実現することは困難であった。
 これに対して、上述のようにエクステンションを用いることにより、シーンディスクリプションの構成を、プロパティが再生方法毎に識別可能な状態とすることができる。したがって、1つのシーンディスクリプションを複数の再生方法に対応させることができる。
 つまり、シーンディスクリプションを複数用意しなくても、1つのシーンディスクリプションによって、コンテンツを複数の再生方法に対応させることができる。したがって、シーンディスクリプションファイルの生成、管理、利用等、シーンディスクリプションに関する処理の負荷の増大を抑制することができる。
 例えば、シーンディスクリプションファイルを生成する装置においては、1つのコンテンツに対して再生方法毎にシーンディスクリプションファイルを生成する必要がないので、冗長な処理の増大を抑制する等、シーンディスクリプションファイルの生成に関する負荷の増大を抑制することができる。
 また、生成されたコンテンツファイルやシーンディスクリプションファイルを管理する装置においては、そのシーンディスクリプションファイルの管理をより容易化する等、シーンディスクリプションファイルの管理に関する負荷の増大を抑制することができる。
 また、シーンディスクリプションファイルを用いて3Dコンテンツを再生する装置においては、再生方法の確認やシーンディスクリプションファイルの選択等の、再生に不要な処理や不要な情報の授受の増大を抑制することができる。したがって、シーンディスクリプションファイルの利用に関する負荷の増大を抑制することができる。
  <プリミティブス内のエクステンション>
 なお、このエクステンションの配置場所は任意である。例えば、(#1)の場合、図26に示される表の上から2段目に示されるように、このエクステンションが、シーンディスクリプションの1つのプリミティブス(primitives)内に格納されてもよい(#1-1)。
   <再生方法毎のエクステンション>
 (#1-1)の場合、例えば、図26に示される表の上から3段目に示されるように、シーンディスクリプションの1つのプリミティブス内に、3DデータをMAFにおいて再構成する再生方法用のアトリビューツプロパティ(attributes property)(MAF再構成用アトリビューツプロパティとも称する)を格納する第1のエクステンションと、3DデータをPEにおいて再構成する再生方法用のアトリビューツプロパティ(PE再構成用アトリビューツプロパティとも称する)を格納する第2のエクステンションとが格納されてもよい(#1-1-1)。
 例えば、シーンディスクリプションの1つのプリミティブス内において、第1のエクステンションおよび第2のエクステンションが規定され、その第1のエクステンション内に、3Dデータの第1の再生方法に対応する単数または複数の第1のアトリビューツプロパティが格納され、その第2のエクステンション内に、3Dデータの第2の再生方法に対応する単数または複数の第2のアトリビューツプロパティが格納されてもよい。そして、情報処理装置(例えばクライアント装置)において、ファイル処理部が、その3Dデータの再生方法に応じて、第1のエクステンション内に格納される単数若しくは複数の第1のアトリビューツプロパティ、または、第2のエクステンション内に格納される単数若しくは複数の第2のアトリビューツプロパティを選択してもよい。
 例えば、情報処理装置(例えばファイル生成装置)において、ファイル生成部が、シーンディスクリプションファイルの1つのプリミティブス内において、第1のエクステンションおよび第2のエクステンションを規定してもよい。そして、ファイル生成部が、その第1のエクステンション内に、3Dデータの第1の再生方法に対応する単数または複数の第1のアトリビューツプロパティを格納してもよい。そして、ファイル生成部が、その第2のエクステンション内に、3Dデータの第2の再生方法に対応する単数または複数の第2のアトリビューツプロパティを格納してもよい。
 この場合のシーンディスクリプションにおけるオブジェクトの主な構成例を図27に示す。また、その記述例を図28に示す。図27および図28に示されるように、この例の場合、プリミティブス(primitives)内には、エクステンション(MPEG_VPCC_reconstructMAF)が規定され、そのエクステンション内に、MAF再構成用アトリビューツプロパティ(POSITION、COLOR等)が格納されている(図28の四角枠202内)。3DデータをMAFにおいて再構成する場合、情報処理装置(例えばクライアント装置)のファイル処理部は、これらのMAF再構成用アトリビューツプロパティに関連付けられたアクセサを利用することにより、バッファを介して再構成後のデータをMAFからPEに供給することができる。
 また、そのプリミティブス(primitives)内には、エクステンション(MPEG_VPCC_reconstructPE)が規定され、そのエクステンション内に、PE再構成用アトリビューツプロパティ(POSITION、_MPEG_ATLAS、_MPEG_ATTR、_MPEG_OCCU等)が格納されている(図28の四角枠201内)。3DデータをPEにおいて再構成する場合、情報処理装置(例えばクライアント装置)のファイル処理部は、これらのPE再構成用アトリビューツプロパティに関連付けられたアクセサを利用することにより、バッファを介して再構成前のデータをMAFからPEに供給することができる。
 このようにすることにより、シーンディスクリプションの構成を、プロパティが再生方法毎に識別可能な状態とすることができる。したがって、1つのシーンディスクリプションを複数の再生方法に対応させることができる。
 つまり、シーンディスクリプションを複数用意しなくても、1つのシーンディスクリプションによって、コンテンツを複数の再生方法に対応させることができる。したがって、シーンディスクリプションファイルの生成、管理、利用等、シーンディスクリプションに関する処理の負荷の増大を抑制することができる。
 なお、この例の場合、各エクステンション名(例えば、MPEG_VPCC_reconstructMAF、MPEG_VPCC_reconstructPE)を識別情報としてもよい。つまり、例えば、情報処理装置(例えばクライアント装置)のファイル処理部は、このエクステンション名に基づいて、MAF再構成用アトリビューツプロパティを格納するエクステンションであるか、PE再構成用アトリビューツプロパティを格納するエクステンションであるかを識別することができる。したがって、ファイル処理部は、所望のアトリビューツプロパティが格納されるエクステンションを正しく選択し、その所望のアトリビューツプロパティを利用することができる。
   <エクステンションの有無>
 また、(#1-1)の場合、例えば、図26に示される表の上から4段目に示されるように、シーンディスクリプションの1つのプリミティブス内に、MAF再構成用アトリビューツプロパティと、PE再構成用アトリビューツプロパティを格納するエクステンションとが格納されてもよい(#1-1-2)。
 例えば、シーンディスクリプションの1つのプリミティブス内においてエクステンションが規定されてもよい。そして、そのプリミティブス内に、3Dデータの第1の再生方法に対応する単数または複数の第1のアトリビューツプロパティが格納されてもよい。また、そのエクステンション内に、3Dデータの第2の再生方法に対応する単数または複数の第2のアトリビューツプロパティが格納されてもよい。そして、情報処理装置(例えばクライアント装置)において、ファイル処理部が、3Dデータの再生方法に応じて、プリミティブス内に格納される単数若しくは複数の第1のアトリビューツプロパティ、または、エクステンション内に格納される単数若しくは複数の第2のアトリビューツプロパティを選択してもよい。
 例えば、情報処理装置(例えばファイル生成装置)において、ファイル生成部が、シーンディスクリプションファイルの1つのプリミティブス内においてエクステンションを規定してもよい。そして、ファイル生成部が、そのプリミティブス内に、3Dデータの第1の再生方法に対応する単数または複数の第1のアトリビューツプロパティを格納してもよい。そして、ファイル生成部が、そのエクステンション内に、3Dデータの第2の再生方法に対応する単数または複数の第2のアトリビューツプロパティを格納してもよい。
 この場合のシーンディスクリプションにおけるオブジェクトの主な構成例を図29に示す。また、その記述例を図30に示す。図29および図30に示されるように、この例の場合、プリミティブス(primitives)内には、エクステンション(MPEG_VPCC_reconstructPE)が規定され、そのエクステンション内に、PE再構成用アトリビューツプロパティ(POSITION、_MPEG_ATLAS、_MPEG_ATTR、_MPEG_OCCU等)が格納されている(図30の四角枠221内)。3DデータをPEにおいて再構成する場合、情報処理装置(例えばクライアント装置)のファイル処理部は、これらのPE再構成用アトリビューツプロパティに関連付けられたアクセサを利用することにより、バッファを介して再構成前のデータをMAFからPEに供給することができる。
 また、そのプリミティブス(primitives)内には、MAF再構成用アトリビューツプロパティ(POSITION、COLOR等)が格納されている。3DデータをMAFにおいて再構成する場合、情報処理装置(例えばクライアント装置)のファイル処理部は、これらのMAF再構成用アトリビューツプロパティに関連付けられたアクセサを利用することにより、バッファを介して再構成後のデータをMAFからPEに供給することができる。
 このようにすることにより、シーンディスクリプションの構成を、プロパティが再生方法毎に識別可能な状態とすることができる。したがって、1つのシーンディスクリプションを複数の再生方法に対応させることができる。
 つまり、シーンディスクリプションを複数用意しなくても、1つのシーンディスクリプションによって、コンテンツを複数の再生方法に対応させることができる。したがって、シーンディスクリプションファイルの生成、管理、利用等、シーンディスクリプションに関する処理の負荷の増大を抑制することができる。
 なお、この例の場合、エクステンションの有無を識別情報としてもよい。つまり、例えば、情報処理装置(例えばクライアント装置)のファイル処理部は、エクステンションに格納されているか否かに基づいて、MAF再構成用アトリビューツプロパティであるか、PE再構成用アトリビューツプロパティであるかを識別することができる。したがって、ファイル処理部は、所望のアトリビューツプロパティを正しく選択し、利用することができる。
   <プロパティの規定>
 なお、アトリビューツプロパティを使用せず、V-PCCの属性毎のプロパティを新たに規定し、利用してもよい。例えば、(#1-1)の場合、図26に示される表の上から5段目に示されるように、シーンディスクリプションの1つのプリミティブス内に、3DデータをMAFにおいて再構成する再生方法用のプロパティ(property)(MAF再構成用プロパティとも称する)を格納する第1のエクステンションと、3DデータをPEにおいて再構成する再生方法用のプロパティ(property)(PE再構成用プロパティとも称する)を格納する第2のエクステンションとが格納されてもよい(#1-1-3)。
 例えば、シーンディスクリプションの1つのプリミティブス内において、第1のエクステンションおよび第2のエクステンションが規定されてもよい。そして、その第1のエクステンション内に、3Dデータの第1の再生方法に対応する単数または複数の第1のプロパティが格納されてもよい。また、その第2のエクステンション内に、3Dデータの第2の再生方法に対応する単数または複数の第2のプロパティが格納されてもよい。そして、情報処理装置(例えばクライアント装置)において、ファイル処理部が、3Dデータの再生方法に応じて、第1のエクステンション内に格納される単数若しくは複数の第1のプロパティ、または、第2のエクステンション内に格納される単数若しくは複数の第2のプロパティを選択してもよい。
 例えば、情報処理装置(例えばファイル生成装置)において、ファイル生成部が、シーンディスクリプションファイルの1つのプリミティブス内において、第1のエクステンションおよび第2のエクステンションを規定してもよい。そして、ファイル生成部が、その第1のエクステンション内に、3Dデータの第1の再生方法に対応する単数または複数の第1のプロパティを格納してもよい。そして、ファイル生成部が、その第2のエクステンション内に、3Dデータの第2の再生方法に対応する単数または複数の第2のプロパティを格納してもよい。
 この場合のシーンディスクリプションにおけるオブジェクトの主な構成例を図31に示す。また、その記述例を図32に示す。図31および図32に示されるように、この例の場合、プリミティブス(primitives)内には、エクステンション(MPEG_VPCC_reconstructPE)が規定され、そのエクステンション内に、新たに規定されたPE再構成用プロパティ(MPEG_VPCC_GEO、MPEG_VPCC_ATL、MPEG_VPCC_ATT、_ MPEG_VPCC_OCU等)が格納されている(図32の四角枠241内)。3DデータをPEにおいて再構成する場合、情報処理装置(例えばクライアント装置)のファイル処理部は、これらのPE再構成用プロパティに関連付けられたアクセサを利用することにより、バッファを介して再構成前のデータをMAFからPEに供給することができる。
 また、そのプリミティブス(primitives)内には、エクステンション(MPEG_VPCC_reconstructMAF)が規定され、そのエクステンション内に、新たに規定されたMAF再構成用プロパティ(MPEG_VPCC_POS、MPEG_VPCC_COL等)が格納されている(図32の四角枠242内)。3DデータをMAFにおいて再構成する場合、情報処理装置(例えばクライアント装置)のファイル処理部は、これらのMAF再構成用プロパティに関連付けられたアクセサを利用することにより、バッファを介して再構成後のデータをMAFからPEに供給することができる。
 このようにすることにより、シーンディスクリプションの構成を、プロパティが再生方法毎に識別可能な状態とすることができる。したがって、1つのシーンディスクリプションを複数の再生方法に対応させることができる。
 つまり、シーンディスクリプションを複数用意しなくても、1つのシーンディスクリプションによって、コンテンツを複数の再生方法に対応させることができる。したがって、シーンディスクリプションファイルの生成、管理、利用等、シーンディスクリプションに関する処理の負荷の増大を抑制することができる。
 なお、この例の場合、各エクステンション名(例えば、MPEG_VPCC_reconstructMAF、MPEG_VPCC_reconstructPE)を識別情報としてもよい。つまり、例えば、情報処理装置(例えばクライアント装置)のファイル処理部は、このエクステンション名に基づいて、MAF再構成用プロパティを格納するエクステンションであるか、PE再構成用プロパティを格納するエクステンションであるかを識別することができる。したがって、ファイル処理部は、所望のプロパティが格納されるエクステンションを正しく選択し、その所望のプロパティを利用することができる。
 この、アトリビューツプロパティを使用せず、V-PCCの属性毎のプロパティを新たに規定し、利用する方法は、図29および図30を参照して説明した、エクステンションの有無を識別情報とする場合に適用してもよい。
 例えば、(#1-1)の場合、図26に示される表の上から6段目に示されるように、シーンディスクリプションの1つのプリミティブス内に、MAF再構成用プロパティと、PE再構成用プロパティを格納するエクステンションとが格納されてもよい(#1-1-4)。
 例えば、シーンディスクリプションの1つのプリミティブス内においてエクステンションが規定されてもよい。そして、そのプリミティブス内に、3Dデータの第1の再生方法に対応する単数または複数の第1のプロパティが格納されてもよい。また、そのエクステンション内に、3Dデータの第2の再生方法に対応する単数または複数の第2のプロパティが格納されてもよい。そして、情報処理装置(例えばクライアント装置)において、ファイル処理部が、3Dデータの再生方法に応じて、プリミティブス内に格納される単数若しくは複数の第1のプロパティ、または、エクステンション内に格納される単数若しくは複数の第2のプロパティを選択してもよい。
 例えば、情報処理装置(例えばファイル生成装置)において、ファイル生成部が、シーンディスクリプションファイルの1つのプリミティブス内においてエクステンションを規定してもよい。そして、ファイル生成部が、そのプリミティブス内に、3Dデータの第1の再生方法に対応する単数または複数の第1のプロパティを格納してもよい。そして、ファイル生成部が、そのエクステンション内に、3Dデータの第2の再生方法に対応する単数または複数の第2のプロパティを格納してもよい。
 このようにすることにより、シーンディスクリプションの構成を、プロパティが再生方法毎に識別可能な状態とすることができる。したがって、1つのシーンディスクリプションを複数の再生方法に対応させることができる。
 つまり、シーンディスクリプションを複数用意しなくても、1つのシーンディスクリプションによって、コンテンツを複数の再生方法に対応させることができる。したがって、シーンディスクリプションファイルの生成、管理、利用等、シーンディスクリプションに関する処理の負荷の増大を抑制することができる。
 なお、この例の場合、エクステンションの有無を識別情報としてもよい。つまり、例えば、情報処理装置(例えばクライアント装置)のファイル処理部は、エクステンションに格納されているか否かに基づいて、MAF再構成用プロパティであるか、PE再構成用プロパティであるかを識別することができる。したがって、ファイル処理部は、所望のプロパティを正しく選択し、利用することができる。
  <オルタナティブス配列を利用した識別(#2)>
 以上においてはエクステンションを利用して、再生方法毎のプロパティを識別する例を説明したが、再生方法毎のプロパティを識別する方法は任意であり、この例に限定されない。例えば、配列の要素がオルタナティブ(alternative)に使用されることを示すためのオルタナティブス(alternatives)配列を用いて、再生方法毎のプロパティが識別されてもよい。
 例えば、図26に示される表の最下段に示されるように、シーンディスクリプションの1つのプリミティブス内に格納されるエクステンションに、MAF再構成用アトリビューツプロパティを要素とする第1のオルタナティブス配列と、PE再構成用アトリビューツプロパティを要素とする第2のオルタナティブス配列とが格納されてもよい(#2)。そして、これらのオルタナティブス配列に基づいてMAF再構成用アトリビューツプロパティおよびPE再構成用アトリビューツプロパティを識別し、再生方法に応じたプロパティを選択してもよい。
 例えば、情報処理装置(例えばクライアント装置)において、シーンディスクリプションに規定されるオルタナティブス配列の中から3Dデータの再生方法に応じたオルタナティブス配列を選択し、その選択したオルタナティブス配列の要素であるプロパティを利用して、その再生方法で3Dデータを処理するファイル処理部を備えるようにする。
 例えば、情報処理方法において、シーンディスクリプションに規定されるオルタナティブス配列の中から3Dデータの再生方法に応じたオルタナティブス配列を選択し、その選択したオルタナティブス配列の要素であるプロパティを利用して、その再生方法で3Dデータを処理するようにする。
 例えば、情報処理装置(例えばファイル生成装置)において、3Dデータの互いに同一の再生方法に対応するプロパティを要素とするオルタナティブス配列を複数格納するシーンディスクリプションファイルを生成するファイル生成部を備えるようにする。
 例えば、情報処理方法において、3Dデータの互いに同一の再生方法に対応するプロパティを要素とするオルタナティブス配列を複数格納するシーンディスクリプションファイルを生成するようにする。
 このように、オルタナティブス配列を用いることにより、シーンディスクリプションの構成を、プロパティが再生方法毎に識別可能な状態とすることができる。したがって、1つのシーンディスクリプションを複数の再生方法に対応させることができる。
 つまり、シーンディスクリプションを複数用意しなくても、1つのシーンディスクリプションによって、コンテンツを複数の再生方法に対応させることができる。したがって、シーンディスクリプションファイルの生成、管理、利用等、シーンディスクリプションに関する処理の負荷の増大を抑制することができる。
 例えば、シーンディスクリプションファイルを生成する装置においては、1つのコンテンツに対して再生方法毎にシーンディスクリプションファイルを生成する必要がないので、冗長な処理の増大を抑制する等、シーンディスクリプションファイルの生成に関する負荷の増大を抑制することができる。
 また、生成されたコンテンツファイルやシーンディスクリプションファイルを管理する装置においては、そのシーンディスクリプションファイルの管理をより容易化する等、シーンディスクリプションファイルの管理に関する負荷の増大を抑制することができる。
 また、シーンディスクリプションファイルを用いて3Dコンテンツを再生する装置においては、再生方法の確認やシーンディスクリプションファイルの選択等の、再生に不要な処理や不要な情報の授受の増大を抑制することができる。したがって、シーンディスクリプションファイルの利用に関する負荷の増大を抑制することができる。
 なお、この場合もオルタナティブス配列(を格納するエクステンション)の配置場所は任意である。例えば、このオルタナティブス配列(を格納するエクステンション)が、シーンディスクリプションの1つのプリミティブス(primitives)内に格納されてもよい。
 例えば、シーンディスクリプションの1つのプリミティブス内においてエクステンションが規定されてもよい。そして、そのエクステンション内に、第1のオルタナティブス配列および第2のオルタナティブス配列が規定されてもよい。そして、その第1のオルタナティブス配列は、3Dデータの第1の再生方法に対応する単数または複数の第1のプロパティのそれぞれを要素としてもよい。また、その第2のオルタナティブス配列は、3Dデータの第2の再生方法に対応する単数または複数の第2のプロパティのそれぞれを要素としてもよい。そして、情報処理装置(例えばクライアント装置)において、ファイル処理部が、第1の再生方法を適用する場合、第1のオルタナティブス配列を選択し、単数または複数の第1のプロパティを利用して第1の再生方法で3Dデータを処理してもよい。また、ファイル処理部が、第2の再生方法を適用する場合、第2のオルタナティブス配列を選択し、単数または複数の第2のプロパティを利用して第2の再生方法で3Dデータを処理してもよい。
 例えば、情報処理装置(例えばファイル生成装置)において、ファイル生成部が、シーンディスクリプションファイルの1つのプリミティブス内においてエクステンションを規定してもよい。そして、ファイル生成部が、そのエクステンション内に、3Dデータの第1の再生方法に対応する単数または複数の第1のプロパティのそれぞれを要素とする第1のオルタナティブス配列を格納してもよい。また、ファイル生成部が、そのエクステンション内に、さらに、3Dデータの第2の再生方法に対応する単数または複数の第2のプロパティのそれぞれを要素とする第2のオルタナティブス配列を格納してもよい。
 この場合のシーンディスクリプションにおけるオブジェクトの主な構成例を図33に示す。また、その記述例を図34に示す。図33および図34に示されるように、この例の場合、プリミティブス(primitives)内には、エクステンション(MPEG_VPCC_ClientInfo)が規定され、そのエクステンション内に、PE再構成用アトリビューツプロパティ(POSITION、_MPEG_ATLAS、_MPEG_ATTR、_MPEG_OCCU等)を要素とするオルタナティブス配列が格納されている(図34の四角枠261内)。また、そのエクステンション内には、MAF再構成用アトリビューツプロパティ(POSITION、COLOR等)を要素とするオルタナティブス配列も格納されている(図34の四角枠262内)。オルタナティブス配列は、その配列の要素がオルタナティブに使用されることを示す配列である。つまり、適用するオルタナティブス配列を選択することにより、再生方法毎のアトリビューツプロパティが選択される。
 なお、図34に示されるように、各オルタナティブス配列の要素内にはクライアントタイプ(ClientType)が規定されており、このパラメータにより、いずれの再生方法(再構成方法)に対応したアトリビューツが格納されているかが示されている。
  <メッシュオブジェクト内のエクステンション(#3)>
 (#1)や(#2)の例において上述したようなエクステンションは、シーンディスクリプションのメッシュオブジェクト内に規定されてもよい。例えば、図35に示される表の最上段に示されるように、シーンディスクリプションの1つのメッシュオブジェクト内に、MAF再構成用(アトリビューツ)プロパティとPE再構成用(アトリビューツ)プロパティとを識別するためのエクステンションが格納されてもよい(#3)。
   <再生方法毎のエクステンション>
 (#3)の場合、例えば、図35に示される表の上から2段目に示されるように、シーンディスクリプションの1つのメッシュオブジェクト内に、MAF再構成用アトリビューツプロパティを格納する第1のプリミティブスを格納する第1のエクステンションと、PE再構成用アトリビューツプロパティを格納する第2のプリミティブスを格納する第2のエクステンションとが格納されてもよい(#3-1)。
 例えば、シーンディスクリプションの1つのメッシュオブジェクト内において、第1のエクステンションおよび第2のエクステンションが規定されてもよい。そして、その第1のエクステンション内に、3Dデータの第1の再生方法に対応する単数または複数の第1のアトリビューツプロパティが格納されてもよい。また、その第2のエクステンション内に、3Dデータの第2の再生方法に対応する単数または複数の第2のアトリビューツプロパティが格納されてもよい。そして、情報処理装置(例えばクライアント装置)において、ファイル処理部が、3Dデータの再生方法に応じて、第1のエクステンション内に格納される単数若しくは複数の第1のアトリビューツプロパティ、または、第2のエクステンション内に格納される単数若しくは複数の第2のアトリビューツプロパティを選択してもよい。
 例えば、情報処理装置(例えばファイル生成装置)において、ファイル生成部が、シーンディスクリプションファイルの1つのメッシュオブジェクト内において、第1のエクステンションおよび第2のエクステンションを規定してもよい。そして、ファイル生成部が、その第1のエクステンション内に、3Dデータの第1の再生方法に対応する単数または複数の第1のアトリビューツプロパティを格納してもよい。また、ファイル生成部が、その第2のエクステンション内に、3Dデータの第2の再生方法に対応する単数または複数の第2のアトリビューツプロパティを格納してもよい。
 この場合のシーンディスクリプションにおけるオブジェクトの構成の一部の例を図36に示す。図36に示されるように、この例の場合、メッシュオブジェクト(mesh)内に、エクステンション(MPEG_VPCC_reconstructPE)が規定され、そのエクステンション内に、PE再構成用アトリビューツプロパティが格納されるプリミティブスが格納されている。また、そのメッシュオブジェクト(mesh)内に、エクステンション(MPEG_VPCC_reconstructMAF)が規定され、そのエクステンション内に、MAF再構成用アトリビューツプロパティが格納されるプリミティブスが格納されている。
 例えば、情報処理装置(例えばクライアント装置)のファイル処理部は、MPEG_VPCC_reconstructPEを選択し、PE再構成用アトリビューツプロパティに関連付けられたアクセサを利用することにより、バッファを介して再構成前のデータをMAFからPEに供給することができる。また、情報処理装置(例えばクライアント装置)のファイル処理部は、MPEG_VPCC_reconstructMAFを選択し、MAF再構成用アトリビューツプロパティに関連付けられたアクセサを利用することにより、バッファを介して再構成後のデータをMAFからPEに供給することができる。
 つまり、シーンディスクリプションの構成を、プロパティが再生方法毎に識別可能な状態とすることができる。したがって、1つのシーンディスクリプションを複数の再生方法に対応させることができる。
 つまり、シーンディスクリプションを複数用意しなくても、1つのシーンディスクリプションによって、コンテンツを複数の再生方法に対応させることができる。したがって、シーンディスクリプションファイルの生成、管理、利用等、シーンディスクリプションに関する処理の負荷の増大を抑制することができる。
 なお、この例の場合、各エクステンション名(例えば、MPEG_VPCC_reconstructMAF、MPEG_VPCC_reconstructPE)を識別情報としてもよい。つまり、例えば、情報処理装置(例えばクライアント装置)のファイル処理部は、このエクステンション名に基づいて、MAF再構成用アトリビューツプロパティを格納するエクステンションであるか、PE再構成用アトリビューツプロパティを格納するエクステンションであるかを識別することができる。したがって、ファイル処理部は、所望のアトリビューツプロパティが格納されるエクステンションを正しく選択し、その所望のアトリビューツプロパティを利用することができる。
   <エクステンションの有無>
 また、(#3)の場合、例えば、図35に示される表の上から3段目に示されるように、シーンディスクリプションの1つのメッシュオブジェクト内に、MAF再構成用アトリビューツプロパティを格納する第1のプリミティブスと、PE再構成用アトリビューツプロパティを格納する第2のプリミティブスを格納するエクステンションとを格納してもよい(#3-2)。
 例えば、シーンディスクリプションの1つのメッシュオブジェクト内においてエクステンションが規定されてもよい。そして、そのメッシュオブジェクト内に、3Dデータの第1の再生方法に対応する単数または複数の第1のアトリビューツプロパティが格納されてもよい。また、そのエクステンション内に、3Dデータの第2の再生方法に対応する単数または複数の第2のアトリビューツプロパティが格納されてもよい。そして、情報処理装置(例えばクライアント装置)において、ファイル処理部が、3Dデータの再生方法に応じて、メッシュオブジェクト内に格納される単数若しくは複数の第1のアトリビューツプロパティ、または、エクステンション内に格納される単数若しくは複数の第2のアトリビューツプロパティを選択してもよい。
 例えば、情報処理装置(例えばファイル生成装置)において、ファイル生成部が、シーンディスクリプションファイルの1つのメッシュオブジェクト内においてエクステンションを規定してもよい。そして、ファイル生成部が、そのプリミティブス内に、3Dデータの第1の再生方法に対応する単数または複数の第1のアトリビューツプロパティを格納してもよい。また、ファイル生成部が、そのエクステンション内に、3Dデータの第2の再生方法に対応する単数または複数の第2のアトリビューツプロパティを格納してもよい。
 このようにすることにより、シーンディスクリプションの構成を、プロパティが再生方法毎に識別可能な状態とすることができる。したがって、1つのシーンディスクリプションを複数の再生方法に対応させることができる。
 つまり、シーンディスクリプションを複数用意しなくても、1つのシーンディスクリプションによって、コンテンツを複数の再生方法に対応させることができる。したがって、シーンディスクリプションファイルの生成、管理、利用等、シーンディスクリプションに関する処理の負荷の増大を抑制することができる。
 なお、この例の場合、エクステンションの有無を識別情報としてもよい。つまり、例えば、情報処理装置(例えばクライアント装置)のファイル処理部は、エクステンションに格納されているか否かに基づいて、MAF再構成用アトリビューツプロパティであるか、PE再構成用アトリビューツプロパティであるかを識別することができる。したがって、ファイル処理部は、所望のアトリビューツプロパティを正しく選択し、利用することができる。
   <プロパティの規定>
 なお、アトリビューツプロパティを使用せず、V-PCCの属性毎のプロパティを新たに規定し、利用してもよい。例えば、(#3)の場合、図35に示される表の上から4段目に示されるように、シーンディスクリプションの1つのメッシュオブジェクト内に、MAF再構成用プロパティを格納する第1のプリミティブスを格納する第1のエクステンションと、PE再構成用プロパティを格納する第2のプリミティブスを格納する第2のエクステンションとが格納されてもよい(#3-3)。
 例えば、シーンディスクリプションの1つのメッシュオブジェクト内において、第1のエクステンションおよび第2のエクステンションが規定されてもよい。そして、その第1のエクステンション内に、3Dデータの第1の再生方法に対応する単数または複数の第1のプロパティが格納されてもよい。また、その第2のエクステンション内に、3Dデータの第2の再生方法に対応する単数または複数の第2のプロパティが格納されてもよい。そして、情報処理装置(例えばクライアント装置)において、ファイル処理部が、3Dデータの再生方法に応じて、第1のエクステンション内に格納される単数若しくは複数の第1のプロパティ、または、第2のエクステンション内に格納される単数若しくは複数の第2のプロパティを選択してもよい。
 例えば、情報処理装置(例えばファイル生成装置)において、ファイル生成部が、シーンディスクリプションファイルの1つのメッシュオブジェクト内において、第1のエクステンションおよび第2のエクステンションを規定してもよい。そして、ファイル生成部が、その第1のエクステンション内に、3Dデータの第1の再生方法に対応する単数または複数の第1のプロパティを格納してもよい。また、ファイル生成部が、その第2のエクステンション内に、3Dデータの第2の再生方法に対応する単数または複数の第2のプロパティを格納してもよい。
 このようにすることにより、シーンディスクリプションの構成を、プロパティが再生方法毎に識別可能な状態とすることができる。したがって、1つのシーンディスクリプションを複数の再生方法に対応させることができる。
 つまり、シーンディスクリプションを複数用意しなくても、1つのシーンディスクリプションによって、コンテンツを複数の再生方法に対応させることができる。したがって、シーンディスクリプションファイルの生成、管理、利用等、シーンディスクリプションに関する処理の負荷の増大を抑制することができる。
 なお、この例の場合、各エクステンション名(例えば、MPEG_VPCC_reconstructMAF、MPEG_VPCC_reconstructPE)を識別情報としてもよい。つまり、例えば、情報処理装置(例えばクライアント装置)のファイル処理部は、このエクステンション名に基づいて、MAF再構成用プロパティを格納するエクステンションであるか、PE再構成用プロパティを格納するエクステンションであるかを識別することができる。したがって、ファイル処理部は、所望のプロパティが格納されるエクステンションを正しく選択し、その所望のプロパティを利用することができる。
 また、例えば、(#3)の場合、図35に示される表の上から5段目に示されるように、シーンディスクリプションの1つのメッシュオブジェクト内に、MAF再構成用プロパティを格納する第1のプリミティブスと、PE再構成用プロパティを格納する第2のプリミティブスを格納するエクステンションとが格納されてもよい(#3-4)。
 例えば、シーンディスクリプションの1つのメッシュオブジェクト内において前記エクステンションが規定されてもよい。そして、そのメッシュオブジェクト内に、3Dデータの第1の再生方法に対応する単数または複数の第1のプロパティが格納されてもよい。また、そのエクステンション内に、3Dデータの第2の再生方法に対応する単数または複数の第2のプロパティが格納されてもよい。そして、情報処理装置(例えばクライアント装置)において、ファイル処理部が、3Dデータの再生方法に応じて、メッシュオブジェクト内に格納される単数若しくは複数の第1のプロパティ、または、エクステンション内に格納される単数若しくは複数の第2のプロパティを選択してもよい。
 例えば、情報処理装置(例えばファイル生成装置)において、ファイル生成部が、シーンディスクリプションファイルの1つのメッシュオブジェクト内においてエクステンションを規定してもよい。そして、ファイル生成部が、そのメッシュオブジェクト内に、3Dデータの第1の再生方法に対応する単数または複数の第1のプロパティを格納してもよい。また、そのエクステンション内に、3Dデータの第2の再生方法に対応する単数または複数の第2のプロパティを格納してもよい。
 このようにすることにより、シーンディスクリプションの構成を、プロパティが再生方法毎に識別可能な状態とすることができる。したがって、1つのシーンディスクリプションを複数の再生方法に対応させることができる。
 つまり、シーンディスクリプションを複数用意しなくても、1つのシーンディスクリプションによって、コンテンツを複数の再生方法に対応させることができる。したがって、シーンディスクリプションファイルの生成、管理、利用等、シーンディスクリプションに関する処理の負荷の増大を抑制することができる。
 なお、この例の場合、エクステンションの有無を識別情報としてもよい。つまり、例えば、情報処理装置(例えばクライアント装置)のファイル処理部は、エクステンションに格納されているか否かに基づいて、MAF再構成用プロパティであるか、PE再構成用プロパティであるかを識別することができる。したがって、ファイル処理部は、所望のプロパティを正しく選択し、利用することができる。
   <オルタナティブス配列を利用した識別>
 また、例えば、(#3)の場合、図35に示される表の最下段に示されるように、シーンディスクリプションの1つのメッシュオブジェクト内に格納されるエクステンションにおいて、MAF再構成用アトリビューツプロパティを格納する第1のプリミティブスを要素とする第1のオルタナティブス配列と、PE再構成用アトリビューツプロパティを格納する第2のプリミティブスを要素とする第2のオルタナティブス配列とが格納されてもよい(#3-5)。そして、これらのオルタナティブス配列に基づいてMAF再構成用アトリビューツプロパティおよびPE再構成用アトリビューツプロパティが識別され、再生方法に応じたプロパティが選択されてもよい。
 例えば、シーンディスクリプションの1つのメッシュオブジェクト内においてエクステンションが規定されてもよい。そして、そのエクステンション内に、第1のオルタナティブス配列および第2のオルタナティブス配列が規定されてもよい。そして、その第1のオルタナティブス配列が、3Dデータの第1の再生方法に対応する単数または複数の第1のプロパティのそれぞれを要素としてもよい。また、その第2のオルタナティブス配列が、3Dデータの第2の再生方法に対応する単数または複数の第2のプロパティのそれぞれを要素としてもよい。そして、情報処理装置(例えばクライアント装置)において、ファイル処理部が、第1の再生方法を適用する場合、第1のオルタナティブス配列を選択し、単数または複数の第1のプロパティを利用して、第1の再生方法で3Dデータを処理してもよい。また、ファイル処理部が、第2の再生方法を適用する場合、第2のオルタナティブス配列を選択し、単数または複数の第2のプロパティを利用して、第2の再生方法で3Dデータを処理してもよい。
 例えば、情報処理装置(例えばファイル生成装置)において、ファイル生成部が、シーンディスクリプションファイルの1つのメッシュオブジェクト内においてエクステンションを規定してもよい。そして、ファイル生成部が、そのエクステンション内に、3Dデータの第1の再生方法に対応する単数または複数の第1のプロパティのそれぞれを要素とする第1のオルタナティブス配列を格納してもよい。また、そのエクステンション内に、さらに、3Dデータの第2の再生方法に対応する単数または複数の第2のプロパティのそれぞれを要素とする第2のオルタナティブス配列を格納してもよい。
 なお、この場合も、各オルタナティブス配列の要素内にはクライアントタイプ(ClientType)が規定されており、このパラメータにより、いずれの再生方法(再構成方法)に対応したプロパティが格納されているかが示されている。
 このように、オルタナティブス配列を用いることにより、シーンディスクリプションの構成を、プロパティが再生方法毎に識別可能な状態とすることができる。したがって、1つのシーンディスクリプションを複数の再生方法に対応させることができる。
 つまり、シーンディスクリプションを複数用意しなくても、1つのシーンディスクリプションによって、コンテンツを複数の再生方法に対応させることができる。したがって、シーンディスクリプションファイルの生成、管理、利用等、シーンディスクリプションに関する処理の負荷の増大を抑制することができる。
  <ノード内のエクステンション(#4)>
 (#1)乃至(#3)の例において上述したようなエクステンションは、シーンディスクリプションのノード内に規定されてもよい。例えば、図37に示される表の最上段に示されるように、シーンディスクリプションの1つのノード内に、MAF再構成用(アトリビューツ)プロパティとPE再構成用(アトリビューツ)プロパティとを識別するためのエクステンションが格納されてもよい(#4)。
   <再生方法毎のエクステンション>
 (#4)の場合、例えば、図37に示される表の上から2段目に示されるように、シーンディスクリプションの1つのノード内に、MAF再構成用アトリビューツプロパティを格納する第1のプリミティブスを格納する第1のメッシュオブジェクトが関連付けられた第1のエクステンションと、PE再構成用アトリビューツプロパティを格納する第2のプリミティブスを格納する第2のメッシュオブジェクトが関連付けられた第2のエクステンションとが格納されてもよい(#4-1)。
 例えば、シーンディスクリプションの1つのノード内において、第1のエクステンションおよび第2のエクステンションが規定されてもよい。そして、その第1のエクステンションに、3Dデータの第1の再生方法に対応する単数または複数の第1のアトリビューツプロパティが関連付けられてもよい。また、その第2のエクステンションに、3Dデータの第2の再生方法に対応する単数または複数の第2のアトリビューツプロパティが関連付けられてもよい。そして、情報処理装置(例えばクライアント装置)において、ファイル処理部が、3Dデータの再生方法に応じて、第1のエクステンションに関連付けられる単数若しくは複数の第1のアトリビューツプロパティ、または、第2のエクステンションに関連付けられる単数若しくは複数の第2のアトリビューツプロパティを選択してもよい。
 例えば、情報処理装置(例えばファイル生成装置)において、ファイル生成部が、シーンディスクリプションファイルの1つのノード内において、第1のエクステンションおよび第2のエクステンションを規定してもよい。そして、ファイル生成部が、その第1のエクステンションに、3Dデータの第1の再生方法に対応する単数または複数の第1のアトリビューツプロパティを関連付けてもよい。また、ファイル生成部が、その第2のエクステンション内に、3Dデータの第2の再生方法に対応する単数または複数の第2のアトリビューツプロパティを関連付けてもよい。
 この場合のシーンディスクリプションにおけるオブジェクトの構成の一部の例を図38に示す。図38に示されるように、この例の場合、ノード(node)内に、エクステンション(MPEG_VPCC_reconstructPE)が規定され、そのエクステンションに、PE再構成用アトリビューツプロパティ(を格納するプリミティブス)を格納するメッシュオブジェクト(mesh)が関連付けられている。また、そのノード(node)内に、エクステンション(MPEG_VPCC_reconstructMAF)が規定され、そのエクステンションに、MAF再構成用アトリビューツプロパティ(を格納するプリミティブス)を格納するメッシュオブジェクト(mesh)が関連付けられている。
 したがって、例えば、情報処理装置(例えばクライアント装置)のファイル処理部は、MPEG_VPCC_reconstructPEを選択し、そのMPEG_VPCC_reconstructPE(に関連付けられたPE再構成用アトリビューツプロパティ)に関連付けられたアクセサを利用することにより、バッファを介して再構成前のデータをMAFからPEに供給することができる。また、情報処理装置(例えばクライアント装置)のファイル処理部は、MPEG_VPCC_reconstructMAFを選択し、そのMPEG_VPCC_reconstructMAF(に関連付けられたMAF再構成用アトリビューツプロパティ)に関連付けられたアクセサを利用することにより、バッファを介して再構成後のデータをMAFからPEに供給することができる。
 つまり、シーンディスクリプションの構成を、プロパティが再生方法毎に識別可能な状態とすることができる。したがって、1つのシーンディスクリプションを複数の再生方法に対応させることができる。
 つまり、シーンディスクリプションを複数用意しなくても、1つのシーンディスクリプションによって、コンテンツを複数の再生方法に対応させることができる。したがって、シーンディスクリプションファイルの生成、管理、利用等、シーンディスクリプションに関する処理の負荷の増大を抑制することができる。
 なお、この例の場合、各エクステンション名(例えば、MPEG_VPCC_reconstructMAF、MPEG_VPCC_reconstructPE)を識別情報としてもよい。つまり、例えば、情報処理装置(例えばクライアント装置)のファイル処理部は、このエクステンション名に基づいて、MAF再構成用アトリビューツプロパティを格納するエクステンションであるか、PE再構成用アトリビューツプロパティを格納するエクステンションであるかを識別することができる。したがって、ファイル処理部は、所望のアトリビューツプロパティが格納されるエクステンションを正しく選択し、その所望のアトリビューツプロパティを利用することができる。
   <エクステンションの有無>
 また、(#4)の場合、例えば、図37に示される表の上から3段目に示されるように、シーンディスクリプションの1つのノード内に、MAF再構成用アトリビューツプロパティを格納する第1のプリミティブスを格納する第1のメッシュオブジェクトを関連付け、PE再構成用アトリビューツプロパティを格納する第2のプリミティブスを格納する第2のメッシュオブジェクトが関連付けられたエクステンションを格納してもよい(#4-2)。
 例えば、シーンディスクリプションの1つのノード内においてエクステンションが規定されてもよい。そして、そのノードに、3Dデータの第1の再生方法に対応する単数または複数の第1のアトリビューツプロパティが関連付けられてもよい。また、そのエクステンションに、3Dデータの第2の再生方法に対応する単数または複数の第2のアトリビューツプロパティが関連付けられてもよい。そして、情報処理装置(例えばクライアント装置)において、ファイル処理部が、3Dデータの再生方法に応じて、そのノードに関連付けられる単数若しくは複数の第1のアトリビューツプロパティ、または、そのエクステンションに関連付けられる単数若しくは複数の第2のアトリビューツプロパティを選択してもよい。
 例えば、情報処理装置(例えばファイル生成装置)において、ファイル生成部が、シーンディスクリプションファイルの1つのノード内においてエクステンションを規定してもよい。そして、ファイル生成部が、そのノードに、3Dデータの第1の再生方法に対応する単数または複数の第1のアトリビューツプロパティを関連付けてもよい。また、ファイル生成部が、そのエクステンションに、3Dデータの第2の再生方法に対応する単数または複数の第2のアトリビューツプロパティを関連付けてもよい。
 このようにすることにより、シーンディスクリプションの構成を、プロパティが再生方法毎に識別可能な状態とすることができる。したがって、1つのシーンディスクリプションを複数の再生方法に対応させることができる。
 つまり、シーンディスクリプションを複数用意しなくても、1つのシーンディスクリプションによって、コンテンツを複数の再生方法に対応させることができる。したがって、シーンディスクリプションファイルの生成、管理、利用等、シーンディスクリプションに関する処理の負荷の増大を抑制することができる。
 なお、この例の場合、エクステンションの有無を識別情報としてもよい。つまり、例えば、情報処理装置(例えばクライアント装置)のファイル処理部は、エクステンションに格納されているか否かに基づいて、MAF再構成用アトリビューツプロパティであるか、PE再構成用アトリビューツプロパティであるかを識別することができる。したがって、ファイル処理部は、所望のアトリビューツプロパティを正しく選択し、利用することができる。
   <プロパティの規定>
 なお、アトリビューツプロパティを使用せず、V-PCCの属性毎のプロパティを新たに規定し、利用してもよい。例えば、(#4)の場合、図37に示される表の上から4段目に示されるように、シーンディスクリプションの1つのノード内に、MAF再構成用プロパティを格納する第1のプリミティブスを格納する第1のメッシュオブジェクトが関連付けられた第1のエクステンションと、PE再構成用プロパティを格納する第2のプリミティブスを格納する第2のメッシュオブジェクトが関連付けられた第2のエクステンションとが格納されてもよい(#4-3)。
 例えば、シーンディスクリプションの1つのノード内において、第1のエクステンションおよび第2のエクステンションが規定されてもよい。そして、その第1のエクステンションに、3Dデータの第1の再生方法に対応する単数または複数の第1のプロパティが関連付けられてもよい。また、その第2のエクステンションに、3Dデータの第2の再生方法に対応する単数または複数の第2のプロパティが関連付けられてもよい。そして、情報処理装置(例えばクライアント装置)において、ファイル処理部が、3Dデータの再生方法に応じて、その第1のエクステンションに関連付けられる単数若しくは複数の第1のプロパティ、または、その第2のエクステンションに関連付けられる単数若しくは複数の第2のプロパティを選択してもよい。
 例えば、情報処理装置(例えばファイル生成装置)において、ファイル生成部が、シーンディスクリプションファイルの1つのノード内において、第1のエクステンションおよび第2のエクステンションを規定してもよい。そして、ファイル生成部が、その第1のエクステンションに、3Dデータの第1の再生方法に対応する単数または複数の第1のプロパティを関連付けてもよい。また、ファイル生成部が、その第2のエクステンションに、3Dデータの第2の再生方法に対応する単数または複数の第2のプロパティを関連付けてもよい。
 このようにすることにより、シーンディスクリプションの構成を、プロパティが再生方法毎に識別可能な状態とすることができる。したがって、1つのシーンディスクリプションを複数の再生方法に対応させることができる。
 つまり、シーンディスクリプションを複数用意しなくても、1つのシーンディスクリプションによって、コンテンツを複数の再生方法に対応させることができる。したがって、シーンディスクリプションファイルの生成、管理、利用等、シーンディスクリプションに関する処理の負荷の増大を抑制することができる。
 なお、この例の場合、各エクステンション名(例えば、MPEG_VPCC_reconstructMAF、MPEG_VPCC_reconstructPE)を識別情報としてもよい。つまり、例えば、情報処理装置(例えばクライアント装置)のファイル処理部は、このエクステンション名に基づいて、MAF再構成用プロパティを格納するエクステンションであるか、PE再構成用プロパティを格納するエクステンションであるかを識別することができる。したがって、ファイル処理部は、所望のプロパティが格納されるエクステンションを正しく選択し、その所望のプロパティを利用することができる。
 また、例えば、(#4)の場合、図37に示される表の上から5段目に示されるように、シーンディスクリプションの1つのノード内に、MAF再構成用プロパティを格納する第1のプリミティブスを格納する第1のメッシュオブジェクトが関連付けられ、PE再構成用プロパティを格納する第2のプリミティブスを格納する第2のメッシュオブジェクトが関連付けられたエクステンションが格納されてもよい(#4-4)。
 例えば、シーンディスクリプションの1つのノード内においてエクステンションが規定されてもよい。そして、そのノードに、3Dデータの第1の再生方法に対応する単数または複数の第1のプロパティが関連付けられてもよい。そして、そのエクステンションに、3Dデータの第2の再生方法に対応する単数または複数の第2のプロパティが関連付けられてもよい。そして、情報処理装置(例えばクライアント装置)において、ファイル処理部が、3Dデータの再生方法に応じて、そのノードに関連付けられる単数若しくは複数の第1のプロパティ、または、そのエクステンションに関連付けられる単数若しくは複数の第2のプロパティを選択してもよい。
 例えば、情報処理装置(例えばファイル生成装置)において、ファイル生成部が、シーンディスクリプションファイルの1つのノード内においてエクステンションを規定してもよい。そして、ファイル生成部が、そのノードに、3Dデータの第1の再生方法に対応する単数または複数の第1のプロパティを関連付けてもよい。また、ファイル生成部が、そのエクステンションに、3Dデータの第2の再生方法に対応する単数または複数の第2のプロパティを関連付けてもよい。
 このようにすることにより、シーンディスクリプションの構成を、プロパティが再生方法毎に識別可能な状態とすることができる。したがって、1つのシーンディスクリプションを複数の再生方法に対応させることができる。
 つまり、シーンディスクリプションを複数用意しなくても、1つのシーンディスクリプションによって、コンテンツを複数の再生方法に対応させることができる。したがって、シーンディスクリプションファイルの生成、管理、利用等、シーンディスクリプションに関する処理の負荷の増大を抑制することができる。
 なお、この例の場合、エクステンションの有無を識別情報としてもよい。つまり、例えば、情報処理装置(例えばクライアント装置)のファイル処理部は、エクステンションに格納されているか否かに基づいて、MAF再構成用プロパティであるか、PE再構成用プロパティであるかを識別することができる。したがって、ファイル処理部は、所望のプロパティを正しく選択し、利用することができる。
   <オルタナティブス配列を利用した識別>
 また、例えば、(#4)の場合、図35に示される表の最下段に示されるように、シーンディスクリプションの1つのノードのエクステンション内に、MAF再構成用アトリビューツプロパティを格納する第1のプリミティブスを格納する第1のメッシュオブジェクトが関連付けられた要素を有する第1のオルタナティブス配列と、PE再構成用アトリビューツプロパティを格納する第2のプリミティブスを格納する第2のメッシュオブジェクトが関連付けられた要素を有する第2のオルタナティブス配列とが格納されてもよい(#4-5)。そして、これらのオルタナティブス配列に基づいてMAF再構成用アトリビューツプロパティおよびPE再構成用アトリビューツプロパティが識別され、再生方法に応じたプロパティが選択されてもよい。
 例えば、シーンディスクリプションの1つのノード内においてエクステンションが規定されてもよい。そして、そのエクステンション内に、第1のオルタナティブス配列および第2のオルタナティブス配列が規定されてもよい。そしてその第1のオルタナティブス配列が、3Dデータの第1の再生方法に対応する単数または複数の第1のプロパティのそれぞれが関連付けられた要素を有してもよい。また、その第2のオルタナティブス配列は、3Dデータの第2の再生方法に対応する単数または複数の第2のプロパティのそれぞれが関連付けられた要素を有してもよい。そして、情報処理装置(例えばクライアント装置)において、ファイル処理部が、第1の再生方法を適用する場合、第1のオルタナティブス配列を選択し、単数または複数の第1のプロパティを利用して、第1の再生方法で3Dデータを処理してもよい。また、ファイル処理部が、第2の再生方法を適用する場合、第2のオルタナティブス配列を選択し、単数または複数の第2のプロパティを利用して、第2の再生方法で3Dデータを処理してもよい。
 例えば、情報処理装置(例えばファイル生成装置)において、ファイル生成部が、シーンディスクリプションファイルの1つのノード内においてエクステンションを規定してもよい。そして、ファイル生成部が、そのエクステンション内に、3Dデータの第1の再生方法に対応する単数または複数の第1のプロパティのそれぞれが関連付けられた要素を有する第1のオルタナティブス配列を格納してもよい。また、ファイル生成部が、そのエクステンション内に、さらに、3Dデータの第2の再生方法に対応する単数または複数の第2のプロパティのそれぞれが関連付けられた要素を有する第2のオルタナティブス配列を格納してもよい。
 なお、この場合も、各オルタナティブス配列の要素内にはクライアントタイプ(ClientType)が規定されており、このパラメータにより、いずれの再生方法(再構成方法)に対応したプロパティが格納されているかが示されている。
 このように、オルタナティブス配列を用いることにより、シーンディスクリプションの構成を、プロパティが再生方法毎に識別可能な状態とすることができる。したがって、1つのシーンディスクリプションを複数の再生方法に対応させることができる。
 つまり、シーンディスクリプションを複数用意しなくても、1つのシーンディスクリプションによって、コンテンツを複数の再生方法に対応させることができる。したがって、シーンディスクリプションファイルの生成、管理、利用等、シーンディスクリプションに関する処理の負荷の増大を抑制することができる。
 本技術は、上述した複数の要素を適宜組み合わせて適用してもよい。
 <4.第1の実施の形態>
  <ファイル生成装置>
 上述した本技術は、任意の装置に適用し得る。図39は、本技術を適用した情報処理装置の一態様であるファイル生成装置の構成の一例を示すブロック図である。図39に示されるファイル生成装置300は、3Dオブジェクトコンテンツ(例えばポイントクラウド等の3Dデータ)を符号化し、例えばISOBMFF等のファイルコンテナに格納する装置である。また、ファイル生成装置300は、その3Dオブジェクトコンテンツのシーンディスクリプションファイルを生成する。
 なお、図39においては、処理部やデータの流れ等の主なものを示しており、図39に示されるものが全てとは限らない。つまり、ファイル生成装置300において、図39においてブロックとして示されていない処理部が存在したり、図39において矢印等として示されていない処理やデータの流れが存在したりしてもよい。
 図39に示されるようにファイル生成装置300は、制御部301およびファイル生成処理部302を有する。制御部301は、ファイル生成処理部302を制御する。ファイル生成処理部302は、制御部301により制御されて、ファイルの生成に関する処理を行う。例えば、ファイル生成処理部302は、ファイルに格納する3Dオブジェクトコンテンツのデータを取得してもよい。また、ファイル生成処理部302は、その取得した3Dオブジェクトコンテンツのデータをファイルコンテナに格納することにより、コンテンツファイルを生成してもよい。また、ファイル生成処理部302は、その3Dオブジェクトコンテンツに対応するシーンディスクリプションを生成し、シーンディスクリプションファイルに格納してもよい。ファイル生成処理部302は、生成したファイルをファイル生成装置300の外部に出力してもよい。例えば、ファイル生成処理部302は、生成したファイルを配信サーバ等にアップロードしてもよい。
 ファイル生成処理部302は、入力部311、前処理部312、符号化部313、ファイル生成部314、記録部315、および出力部316を有する。
 入力部311は、3Dオブジェクトコンテンツのデータの取得に関する処理を行う。例えば、入力部311は、3Dオブジェクトコンテンツのデータをファイル生成装置300の外部から取得してもよい。この3Dオブジェクトコンテンツのデータは、オブジェクトの3次元構造を表現する3Dデータであればどのようなデータであってもよい。例えば、ポイントクラウドのデータであってもよい。入力部311は、取得した3Dオブジェクトコンテンツのデータを前処理部312へ供給してもよい。
 前処理部312は、3Dオブジェクトコンテンツのデータに対して符号化前に行う前処理に関する処理を実行する。例えば、前処理部312は、入力部311から供給される3Dオブジェクトコンテンツのデータを取得してもよい。また、前処理部312は、取得した3Dオブジェクトコンテンツのデータ等から、シーンディスクリプションの生成に必要な情報を取得してもよい。また、前処理部312は、その取得した情報をファイル生成部314へ供給してもよい。また、前処理部312は、3Dオブジェクトコンテンツのデータを符号化部313へ供給してもよい。
 符号化部313は、3Dオブジェクトコンテンツのデータの符号化に関する処理を実行する。例えば、符号化部313は、前処理部312から供給される3Dオブジェクトコンテンツのデータを取得してもよい。また、符号化部313は、取得した3Dオブジェクトコンテンツのデータを符号化し、その符号化データを生成してもよい。また、符号化部313は、生成した3Dオブジェクトコンテンツの符号化データをV3Cビットストリームとしてファイル生成部314に供給してもよい。
 ファイル生成部314は、ファイル等の生成に関する処理を行う。例えば、ファイル生成部314は、符号化部313から供給されたV3Cビットストリームを取得してもよい。また、ファイル生成部314は、前処理部312から供給された情報を取得してもよい。また、ファイル生成部314は、符号化部313から供給されたV3Cビットストリームを格納するファイルコンテナ(コンテンツファイル)を生成してもよい。このコンテンツファイル(ファイルコンテナ)の仕様等は任意であり、V3Cビットストリームを格納することができればどのようなファイルであってもよい。例えば、ISOBMFFであってもよい。
 また、ファイル生成部314は、前処理部312から供給された情報を用いて、そのV3Cビットストリームに対応するシーンディスクリプションを生成してもよい。そして、ファイル生成部314は、シーンディスクリプションファイルを生成し、生成したシーンディスクリプションを格納してもよい。また、V3CビットストリームがMPEG-DASHに準拠する方式で配信される場合、ファイル生成部314は、そのV3Cビットストリームに対応するMPDを生成してもよい。また、ファイル生成部314は、生成したファイル等(ISOBMFF、シーンディスクリプションファイル、MPD等)を記録部315へ供給してもよい。
 記録部315は、例えば、ハードディスクや半導体メモリ等、任意の記録媒体を有し、データの記録に関する処理を実行する。例えば、記録部315は、ファイル生成部314から供給されるファイル等をその記録媒体に記録してもよい。また、記録部315は、制御部301若しくは出力部316の要求に従って、または所定のタイミングにおいて、記録媒体に記録されているファイル等を読み出し、出力部316に供給してもよい。
 出力部316は、記録部315から供給されるファイル等を取得し、そのファイル等をファイル生成装置300の外部(例えば配信サーバや再生装置等)に出力してもよい。
 以上のような構成のファイル生成装置300において、<3.複数の再生方法に対応するシーンディスクリプション>において上述した本技術を適用してもよい。
 例えば、ファイル生成部314が、3Dデータの再生方法毎にプロパティを識別するためのエクステンションを格納するシーンディスクリプションファイルを生成してもよい。
 また、その場合、ファイル生成部314が、シーンディスクリプションファイルの1つのプリミティブス内において、第1のエクステンションおよび第2のエクステンションを規定してもよい。そして、ファイル生成部314が、その第1のエクステンション内に、3Dデータの第1の再生方法に対応する単数または複数の第1のアトリビューツプロパティを格納してもよい。また、ファイル生成部314が、その第2のエクステンション内に、3Dデータの第2の再生方法に対応する単数または複数の第2のアトリビューツプロパティを格納してもよい。
 また、ファイル生成部314が、シーンディスクリプションファイルの1つのプリミティブス内においてエクステンションを規定してもよい。そして、ファイル生成部314が、そのプリミティブス内に、3Dデータの第1の再生方法に対応する単数または複数の第1のアトリビューツプロパティを格納してもよい。また、ファイル生成部314が、そのエクステンション内に、3Dデータの第2の再生方法に対応する単数または複数の第2のアトリビューツプロパティを格納してもよい。
 また、ファイル生成部314が、シーンディスクリプションファイルの1つのプリミティブス内において、第1のエクステンションおよび第2のエクステンションを規定してもよい。そして、ファイル生成部314が、その第1のエクステンション内に、3Dデータの第1の再生方法に対応する単数または複数の第1のプロパティを格納してもよい。また、ファイル生成部314が、その第2のエクステンション内に、3Dデータの第2の再生方法に対応する単数または複数の第2のプロパティを格納してもよい。
 また、ファイル生成部314が、シーンディスクリプションファイルの1つのプリミティブス内においてエクステンションを規定してもよい。そして、ファイル生成部314が、そのプリミティブス内に、3Dデータの第1の再生方法に対応する単数または複数の第1のプロパティを格納してもよい。また、ファイル生成部314が、そのエクステンション内に、3Dデータの第2の再生方法に対応する単数または複数の第2のプロパティを格納してもよい。
 また、ファイル生成部314が、シーンディスクリプションファイルの1つのメッシュオブジェクト内において、第1のエクステンションおよび第2のエクステンションを規定してもよい。そして、ファイル生成部314が、その第1のエクステンション内に、3Dデータの第1の再生方法に対応する単数または複数の第1のアトリビューツプロパティを格納してもよい。また、ファイル生成部314が、その第2のエクステンション内に、3Dデータの第2の再生方法に対応する単数または複数の第2のアトリビューツプロパティを格納してもよい。
 また、ファイル生成部314が、シーンディスクリプションファイルの1つのメッシュオブジェクト内においてエクステンションを規定してもよい。そして、ファイル生成部314が、そのメッシュオブジェクト内に、3Dデータの第1の再生方法に対応する単数または複数の第1のアトリビューツプロパティを格納してもよい。また、ファイル生成部314が、そのエクステンション内に、3Dデータの第2の再生方法に対応する単数または複数の第2のアトリビューツプロパティを格納してもよい。
 また、ファイル生成部314が、シーンディスクリプションファイルの1つのメッシュオブジェクト内において、第1のエクステンションおよび第2のエクステンションを規定してもよい。そして、ファイル生成部314が、その第1のエクステンション内に、3Dデータの第1の再生方法に対応する単数または複数の第1のプロパティを格納してもよい。また、ファイル生成部314が、その第2のエクステンション内に、3Dデータの第2の再生方法に対応する単数または複数の第2のプロパティを格納してもよい。
 また、ファイル生成部314が、シーンディスクリプションファイルの1つのメッシュオブジェクト内においてエクステンションを規定してもよい。そして、ファイル生成部314が、そのメッシュオブジェクト内に、3Dデータの第1の再生方法に対応する単数または複数の第1のプロパティを格納してもよい。また、ファイル生成部314が、そのエクステンション内に、3Dデータの第2の再生方法に対応する単数または複数の第2のプロパティを格納してもよい。
 また、ファイル生成部314が、シーンディスクリプションファイルの1つのノード内において、第1のエクステンションおよび第2のエクステンションを規定してもよい。そして、ファイル生成部314が、その第1のエクステンションに、3Dデータの第1の再生方法に対応する単数または複数の第1のアトリビューツプロパティを関連付けてもよい。また、ファイル生成部314が、その第2のエクステンション内に、3Dデータの第2の再生方法に対応する単数または複数の第2のアトリビューツプロパティを関連付けてもよい。
 また、ファイル生成部314が、シーンディスクリプションファイルの1つのノード内においてエクステンションを規定してもよい。そして、ファイル生成部314が、そのノードに、3Dデータの第1の再生方法に対応する単数または複数の第1のアトリビューツプロパティを関連付けてもよい。また、ファイル生成部314が、そのエクステンションに、3Dデータの第2の再生方法に対応する単数または複数の第2のアトリビューツプロパティを関連付けてもよい。
 また、ファイル生成部314が、シーンディスクリプションファイルの1つのノード内において、第1のエクステンションおよび第2のエクステンションを規定してもよい。そして、ファイル生成部314が、その第1のエクステンションに、3Dデータの第1の再生方法に対応する単数または複数の第1のプロパティを関連付けてもよい。また、ファイル生成部314が、その第2のエクステンションに、3Dデータの第2の再生方法に対応する単数または複数の第2のプロパティを関連付けてもよい。
 また、ファイル生成部314が、シーンディスクリプションファイルの1つのノード内においてエクステンションを規定してもよい。そして、ファイル生成部314が、そのノードに、3Dデータの第1の再生方法に対応する単数または複数の第1のプロパティを関連付けてもよい。また、ファイル生成部314が、そのエクステンションに、3Dデータの第2の再生方法に対応する単数または複数の第2のプロパティを関連付けてもよい。
 また、ファイル生成部314が、3Dデータの互いに同一の再生方法に対応するプロパティを要素とするオルタナティブス配列を複数格納するシーンディスクリプションファイルを生成してもよい。
 その場合、ファイル生成部314が、シーンディスクリプションファイルの1つのプリミティブス内においてエクステンションを規定してもよい。そして、ファイル生成部314が、そのエクステンション内に、3Dデータの第1の再生方法に対応する単数または複数の第1のプロパティのそれぞれを要素とする第1のオルタナティブス配列を格納してもよい。また、ファイル生成部314が、そのエクステンション内に、さらに、3Dデータの第2の再生方法に対応する単数または複数の第2のプロパティのそれぞれを要素とする第2のオルタナティブス配列を格納してもよい。
 また、ファイル生成部314が、シーンディスクリプションファイルの1つのメッシュオブジェクト内においてエクステンションを規定してもよい。そして、ファイル生成部314が、そのエクステンション内に、3Dデータの第1の再生方法に対応する単数または複数の第1のプロパティのそれぞれを要素とする第1のオルタナティブス配列を格納してもよい。また、ファイル生成部314が、そのエクステンション内に、さらに、3Dデータの第2の再生方法に対応する単数または複数の第2のプロパティのそれぞれを要素とする第2のオルタナティブス配列を格納してもよい。
 また、ファイル生成部314が、シーンディスクリプションファイルの1つのノード内においてエクステンションを規定してもよい。そして、ファイル生成部314が、そのエクステンション内に、3Dデータの第1の再生方法に対応する単数または複数の第1のプロパティのそれぞれが関連付けられた要素を有する第1のオルタナティブス配列を格納してもよい。また、ファイル生成部314が、そのエクステンション内に、さらに、3Dデータの第2の再生方法に対応する単数または複数の第2のプロパティのそれぞれが関連付けられた要素を有する第2のオルタナティブス配列を格納してもよい。
 もちろん、<3.複数の再生方法に対応するシーンディスクリプション>において上述したその他の本技術を適用してもよい。また、複数の本技術を適宜組み合わせて適用してもよい。
 ファイル生成装置300が、このような構成を有することにより、シーンディスクリプションの構成を、プロパティが再生方法毎に識別可能な状態とすることができる。したがって、1つのシーンディスクリプションを複数の再生方法に対応させることができる。
 つまり、シーンディスクリプションを複数用意しなくても、1つのシーンディスクリプションによって、コンテンツを複数の再生方法に対応させることができる。したがって、シーンディスクリプションファイルの生成、管理、利用等、シーンディスクリプションに関する処理の負荷の増大を抑制することができる。
  <ファイル生成処理の流れ1>
 このような構成のファイル生成装置300が実行するファイル生成処理の流れの例を、図40のフローチャートを参照して説明する。図40の例は、再生方法毎のプロパティを、エクステンションを利用して識別する場合の、ファイル生成処理の流れの例を示している。
 この場合、ファイル生成処理が開始されると、ファイル生成装置300の入力部311は、ステップS301において、3Dオブジェクトのデータ(3Dデータ)を取得する。例えば、入力部311は、この3Dデータとして、ポイントクラウドのデータを取得する。
 ステップS302において、前処理部312は、ステップS301において取得された3Dオブジェクトのデータに対して前処理を実行する。例えば、前処理部312は、その3Dオブジェクトのデータから、1つ以上の3Dオブジェクトを3D空間に配置するための空間配置情報であるシーンディスクリプションの生成に用いられる情報を取得する。
 ステップS303において、ファイル生成部314は、その情報を用いて、MAF再構成用(アトリビューツ)プロパティとPE再構成用(アトリビューツ)プロパティとを識別するためのエクステンションを格納するシーンディスクリプションファイルを生成する。つまり、ファイル生成部314は、3Dデータの再生方法毎に(アトリビューツ)プロパティを識別するためのエクステンションを格納するシーンディスクリプションファイルを生成する。
 ステップS304において、符号化部313は、ステップS301において取得されたポイントクラウドのデータ(3Dデータ)を符号化し、その符号化データ(V3Cビットストリーム)を生成する。
 ステップS305において、ファイル生成部314は、ステップS304において生成されたV3Cビットストリームを格納するコンテンツファイル(ISOBMFF)を生成する。
 ステップS306において、記録部315は、生成されたシーンディスクリプションファイルおよびコンテンツファイルを記録媒体に記録する。
 ステップS307において、出力部316は、ステップS306において記録されたファイル等を記録媒体より読み出し、所定のタイミングにおいて、その読み出したファイルをファイル生成装置300の外部に出力する。例えば、出力部316は、記録媒体より読み出したファイルを、ネットワーク等の通信媒体を介して、配信サーバや再生装置等の他の装置へ送信(アップロード)してもよい。また、出力部316は、記録媒体より読み出したファイル等を、リムーバブルメディア等の外部記録媒体に記録してもよい。その場合、その出力されたファイルは、例えば、その外部記録媒体を介して他の装置(配信サーバや再生装置等)に供給されてもよい。
 ステップS307の処理が終了すると、ファイル生成処理が終了する。
 このようにファイル生成処理を実行することにより、シーンディスクリプションの構成を、プロパティが再生方法毎に識別可能な状態とすることができる。したがって、1つのシーンディスクリプションを複数の再生方法に対応させることができる。
 つまり、シーンディスクリプションを複数用意しなくても、1つのシーンディスクリプションによって、コンテンツを複数の再生方法に対応させることができる。したがって、シーンディスクリプションファイルの生成、管理、利用等、シーンディスクリプションに関する処理の負荷の増大を抑制することができる。
 なお、ステップS303において、ファイル生成部314が、シーンディスクリプションファイルの1つのプリミティブス内において、第1のエクステンションおよび第2のエクステンションを規定してもよい。そして、ファイル生成部314が、その第1のエクステンション内に、3Dデータの第1の再生方法に対応する単数または複数の第1のアトリビューツプロパティを格納してもよい。また、ファイル生成部314が、その第2のエクステンション内に、3Dデータの第2の再生方法に対応する単数または複数の第2のアトリビューツプロパティを格納してもよい。
 また、ステップS303において、ファイル生成部314が、シーンディスクリプションファイルの1つのプリミティブス内においてエクステンションを規定してもよい。そして、ファイル生成部314が、そのプリミティブス内に、3Dデータの第1の再生方法に対応する単数または複数の第1のアトリビューツプロパティを格納してもよい。また、ファイル生成部314が、そのエクステンション内に、3Dデータの第2の再生方法に対応する単数または複数の第2のアトリビューツプロパティを格納してもよい。
 また、ステップS303において、ファイル生成部314が、シーンディスクリプションファイルの1つのプリミティブス内において、第1のエクステンションおよび第2のエクステンションを規定してもよい。そして、ファイル生成部314が、その第1のエクステンション内に、3Dデータの第1の再生方法に対応する単数または複数の第1のプロパティを格納してもよい。また、ファイル生成部314が、その第2のエクステンション内に、3Dデータの第2の再生方法に対応する単数または複数の第2のプロパティを格納してもよい。
 また、ステップS303において、ファイル生成部314が、シーンディスクリプションファイルの1つのプリミティブス内においてエクステンションを規定してもよい。そして、ファイル生成部314が、そのプリミティブス内に、3Dデータの第1の再生方法に対応する単数または複数の第1のプロパティを格納してもよい。また、ファイル生成部314が、そのエクステンション内に、3Dデータの第2の再生方法に対応する単数または複数の第2のプロパティを格納してもよい。
 また、ステップS303において、ファイル生成部314が、シーンディスクリプションファイルの1つのメッシュオブジェクト内において、第1のエクステンションおよび第2のエクステンションを規定してもよい。そして、ファイル生成部314が、その第1のエクステンション内に、3Dデータの第1の再生方法に対応する単数または複数の第1のアトリビューツプロパティを格納してもよい。また、ファイル生成部314が、その第2のエクステンション内に、3Dデータの第2の再生方法に対応する単数または複数の第2のアトリビューツプロパティを格納してもよい。
 また、ステップS303において、ファイル生成部314が、シーンディスクリプションファイルの1つのメッシュオブジェクト内においてエクステンションを規定してもよい。そして、ファイル生成部314が、そのメッシュオブジェクト内に、3Dデータの第1の再生方法に対応する単数または複数の第1のアトリビューツプロパティを格納してもよい。また、ファイル生成部314が、そのエクステンション内に、3Dデータの第2の再生方法に対応する単数または複数の第2のアトリビューツプロパティを格納してもよい。
 また、ステップS303において、ファイル生成部314が、シーンディスクリプションファイルの1つのメッシュオブジェクト内において、第1のエクステンションおよび第2のエクステンションを規定してもよい。そして、ファイル生成部314が、その第1のエクステンション内に、3Dデータの第1の再生方法に対応する単数または複数の第1のプロパティを格納してもよい。また、ファイル生成部314が、その第2のエクステンション内に、3Dデータの第2の再生方法に対応する単数または複数の第2のプロパティを格納してもよい。
 また、ファイル生成部314が、シーンディスクリプションファイルの1つのメッシュオブジェクト内においてエクステンションを規定してもよい。そして、ファイル生成部314が、そのメッシュオブジェクト内に、3Dデータの第1の再生方法に対応する単数または複数の第1のプロパティを格納してもよい。また、ファイル生成部314が、そのエクステンション内に、3Dデータの第2の再生方法に対応する単数または複数の第2のプロパティを格納してもよい。
 また、ステップS303において、ファイル生成部314が、シーンディスクリプションファイルの1つのノード内において、第1のエクステンションおよび第2のエクステンションを規定してもよい。そして、ファイル生成部314が、その第1のエクステンションに、3Dデータの第1の再生方法に対応する単数または複数の第1のアトリビューツプロパティを関連付けてもよい。また、ファイル生成部314が、その第2のエクステンション内に、3Dデータの第2の再生方法に対応する単数または複数の第2のアトリビューツプロパティを関連付けてもよい。
 また、ステップS303において、ファイル生成部314が、シーンディスクリプションファイルの1つのノード内においてエクステンションを規定してもよい。そして、ファイル生成部314が、そのノードに、3Dデータの第1の再生方法に対応する単数または複数の第1のアトリビューツプロパティを関連付けてもよい。また、ファイル生成部314が、そのエクステンションに、3Dデータの第2の再生方法に対応する単数または複数の第2のアトリビューツプロパティを関連付けてもよい。
 また、ステップS303において、ファイル生成部314が、シーンディスクリプションファイルの1つのノード内において、第1のエクステンションおよび第2のエクステンションを規定してもよい。そして、ファイル生成部314が、その第1のエクステンションに、3Dデータの第1の再生方法に対応する単数または複数の第1のプロパティを関連付けてもよい。また、ファイル生成部314が、その第2のエクステンションに、3Dデータの第2の再生方法に対応する単数または複数の第2のプロパティを関連付けてもよい。
 また、ステップS303において、ファイル生成部314が、シーンディスクリプションファイルの1つのノード内においてエクステンションを規定してもよい。そして、ファイル生成部314が、そのノードに、3Dデータの第1の再生方法に対応する単数または複数の第1のプロパティを関連付けてもよい。また、ファイル生成部314が、そのエクステンションに、3Dデータの第2の再生方法に対応する単数または複数の第2のプロパティを関連付けてもよい。
 もちろん、<3.複数の再生方法に対応するシーンディスクリプション>において上述したその他の本技術を適用してもよい。また、複数の本技術を適宜組み合わせて適用してもよい。
  <ファイル生成処理の流れ2>
 次に、再生方法毎のプロパティを、オルタナティブス配列を利用して識別する場合の、ファイル生成処理の流れの例を、図41のフローチャートを参照して説明する。
 この場合、ファイル生成処理が開始されると、ステップS351およびステップS352の各処理が、図40のステップS301およびステップS302の各処理と同様に実行される。
 ステップS353において、ファイル生成部314は、MAF再構成用アトリビューツプロパティおよびPE再構成用アトリビューツプロパティをそれぞれ要素とするオルタナティブス配列を格納するシーンディスクリプションファイルを生成する。つまり、ファイル生成部314は、3Dデータの互いに同一の再生方法に対応するプロパティを要素とするオルタナティブス配列を複数格納するシーンディスクリプションファイルを生成する。
 ステップS353の処理が終了すると、ステップS354乃至ステップS357の各処理が、図40のステップS304乃至ステップS307の各処理と同様に実行される。
 ステップS357の処理が終了すると、ファイル生成処理が終了する。
 このようにファイル生成処理を実行することにより、シーンディスクリプションの構成を、プロパティが再生方法毎に識別可能な状態とすることができる。したがって、1つのシーンディスクリプションを複数の再生方法に対応させることができる。
 つまり、シーンディスクリプションを複数用意しなくても、1つのシーンディスクリプションによって、コンテンツを複数の再生方法に対応させることができる。したがって、シーンディスクリプションファイルの生成、管理、利用等、シーンディスクリプションに関する処理の負荷の増大を抑制することができる。
 なお、ステップS353において、ファイル生成部314が、シーンディスクリプションファイルの1つのプリミティブス内においてエクステンションを規定してもよい。そして、ファイル生成部314が、そのエクステンション内に、3Dデータの第1の再生方法に対応する単数または複数の第1のプロパティのそれぞれを要素とする第1のオルタナティブス配列を格納してもよい。また、ファイル生成部314が、そのエクステンション内に、さらに、3Dデータの第2の再生方法に対応する単数または複数の第2のプロパティのそれぞれを要素とする第2のオルタナティブス配列を格納してもよい。
 また、ステップS353において、ファイル生成部314が、シーンディスクリプションファイルの1つのメッシュオブジェクト内においてエクステンションを規定してもよい。そして、ファイル生成部314が、そのエクステンション内に、3Dデータの第1の再生方法に対応する単数または複数の第1のプロパティのそれぞれを要素とする第1のオルタナティブス配列を格納してもよい。また、ファイル生成部314が、そのエクステンション内に、さらに、3Dデータの第2の再生方法に対応する単数または複数の第2のプロパティのそれぞれを要素とする第2のオルタナティブス配列を格納してもよい。
 また、ステップS353において、ファイル生成部314が、シーンディスクリプションファイルの1つのノード内においてエクステンションを規定してもよい。そして、ファイル生成部314が、そのエクステンション内に、3Dデータの第1の再生方法に対応する単数または複数の第1のプロパティのそれぞれが関連付けられた要素を有する第1のオルタナティブス配列を格納してもよい。また、ファイル生成部314が、そのエクステンション内に、さらに、3Dデータの第2の再生方法に対応する単数または複数の第2のプロパティのそれぞれが関連付けられた要素を有する第2のオルタナティブス配列を格納してもよい。
 もちろん、<3.複数の再生方法に対応するシーンディスクリプション>において上述したその他の本技術を適用してもよい。また、複数の本技術を適宜組み合わせて適用してもよい。
 <5.第2の実施の形態>
  <クライアント装置>
 図42は、本技術を適用した情報処理装置の一態様であるクライアント装置の構成の一例を示すブロック図である。図42に示されるクライアント装置400は、シーンディスクリプションに基づいて、3Dオブジェクトコンテンツの再生処理を行う再生装置である。例えば、クライアント装置400は、ファイル生成装置300により生成されたコンテンツファイルに格納される3Dオブジェクトのデータを再生する。その際、クライアント装置400は、シーンディスクリプションに基づいて、その再生に関する処理を行う。
 なお、図42においては、処理部やデータの流れ等の主なものを示しており、図42に示されるものが全てとは限らない。つまり、クライアント装置400において、図42においてブロックとして示されていない処理部が存在したり、図42において矢印等として示されていない処理やデータの流れが存在したりしてもよい。
 図42に示されるようにクライアント装置400は、制御部401および再生処理部402を有する。制御部401は、再生処理部402の制御に関する処理を行う。再生処理部402は、3Dオブジェクトのデータの再生に関する処理を行う。
 再生処理部402は、ファイル取得部411、ファイル処理部412、復号部413、表示情報生成部414、表示部415、および表示制御部416を有する。
 ファイル取得部411は、ファイルの取得に関する処理を行う。例えば、ファイル取得部411は、配信サーバやファイル生成装置300等、クライアント装置400の外部から供給されるファイル等を取得してもよい。また、ファイル取得部411は、図示せぬローカルストレージに記憶されているファイル等を取得してもよい。例えば、ファイル取得部411は、シーンディスクリプションファイルを取得してもよい。また、ファイル取得部411は、コンテンツファイルを取得してもよい。例えば、ファイル取得部411は、取得したファイルをファイル処理部412へ供給してもよい。ファイル取得部411は、ファイル処理部412の制御に従ってこのファイルの取得に関する処理を行ってもよい。例えば、ファイル取得部411は、ファイル処理部412により要求されたファイルを外部またはローカルストレージから取得し、ファイル処理部412へ供給してもよい。
 ファイル処理部412は、ファイル等に対する処理に関する処理を行う。例えば、ファイル処理部412は、図16を参照して説明したような構成(例えば、MAF52、バッファ54、PE51等)を有してもよい。
 ファイル処理部412は、ファイル取得部411を制御し、クライアント装置400の外部やローカルストレージ等からシーンディスクリプションファイルを取得させてもよい。また、ファイル処理部412は、そのシーンディスクリプションファイルに基づいてファイル取得部411を制御し、クライアント装置400の外部やローカルストレージ等のコンテンツファイルからV3Cビットストリームを取得させてもよい。
 また、ファイル処理部412は、復号部413を制御し、そのV3Cビットストリームを復号させてもよい。そして、ファイル処理部412は、その復号により得られたデータを用いて、3Dデータを再構成してもよい。その際、ファイル処理部412は、MAF52において3Dデータを再構成してもよいし、PE51において3Dデータを再構成してもよい。
 また、ファイル処理部412は、表示情報生成部414を制御して、再構成した3Dデータをレンダリングさせ、表示用画像を生成させてもよい。また、ファイル処理部412は、表示部415を制御して、その表示用画像を表示させてもよい。
 復号部413は、復号に関する処理を行う。例えば、復号部413は、ファイル処理部412により制御され、ファイル処理部412から供給されるV3Cビットストリームを復号してもよい。また、復号部413は、その復号により得られたデータをファイル処理部412に供給してもよい。
 表示情報生成部414は、表示に関する処理を行う。例えば、表示情報生成部414は、ファイル処理部412の制御に従って、ファイル処理部412から供給される3Dデータをレンダリングし、表示用画像等を生成してもよい。その際、表示情報生成部414は、適宜、表示制御部416の制御にも従ってもよい。また、表示情報生成部414は、生成した表示用画像等をファイル処理部412に供給してもよい。
 表示部415は、表示デバイスを有し、画像表示に関する処理を行う。例えば、表示部415は、ファイル処理部412の制御に従って、ファイル処理部412から供給される表示用画像(表示情報生成部414により生成された表示用画像)を、その表示デバイスを用いて表示してもよい。
 表示制御部416は、画像表示の制御に関する処理を実行する。例えば、表示制御部416は、ファイル処理部412から供給されるシーンディスクリプション等の情報を取得してもよい。また、表示制御部416はその情報に基づいて表示情報生成部414を制御してもよい。
 以上のような構成のクライアント装置400において、<3.複数の再生方法に対応するシーンディスクリプション>において上述した本技術を適用してもよい。
 例えば、ファイル処理部412が、シーンディスクリプションに規定されるエクステンションに基づいて、3Dデータの再生方法に対応するプロパティを選択し、その選択したプロパティを利用して、その再生方法で3Dデータを処理してもよい。
 また、その場合、シーンディスクリプションの1つのプリミティブス内において、第1のエクステンションおよび第2のエクステンションが規定されてもよい。そして、その第1のエクステンション内に、3Dデータの第1の再生方法に対応する単数または複数の第1のアトリビューツプロパティが格納されてもよい。また、その第2のエクステンション内に、3Dデータの第2の再生方法に対応する単数または複数の第2のアトリビューツプロパティが格納されてもよい。そして、ファイル処理部412が、3Dデータの再生方法に応じて、その第1のエクステンション内に格納される単数若しくは複数の第1のアトリビューツプロパティ、または、その第2のエクステンション内に格納される単数若しくは複数の第2のアトリビューツプロパティを選択してもよい。
 また、シーンディスクリプションの1つのプリミティブス内においてエクステンションが規定されてもよい。そして、そのプリミティブス内に、3Dデータの第1の再生方法に対応する単数または複数の第1のアトリビューツプロパティが格納されてもよい。また、そのエクステンション内に、3Dデータの第2の再生方法に対応する単数または複数の第2のアトリビューツプロパティが格納されてもよい。そして、ファイル処理部412が、3Dデータの再生方法に応じて、そのプリミティブス内に格納される単数若しくは複数の第1のアトリビューツプロパティ、または、そのエクステンション内に格納される単数若しくは複数の第2のアトリビューツプロパティを選択してもよい。
 また、シーンディスクリプションの1つのプリミティブス内において、第1のエクステンションおよび第2のエクステンションが規定されてもよい。そして、その第1のエクステンション内に、3Dデータの第1の再生方法に対応する単数または複数の第1のプロパティが格納されてもよい。また、その第2のエクステンション内に、3Dデータの第2の再生方法に対応する単数または複数の第2のプロパティが格納されてもよい。そして、ファイル処理部412が、3Dデータの再生方法に応じて、その第1のエクステンション内に格納される単数若しくは複数の第1のプロパティ、または、その第2のエクステンション内に格納される単数若しくは複数の第2のプロパティを選択してもよい。
 また、シーンディスクリプションの1つのプリミティブス内においてエクステンションが規定されてもよい。そして、そのプリミティブス内に、3Dデータの第1の再生方法に対応する単数または複数の第1のプロパティが格納されてもよい。また、そのエクステンション内に、3Dデータの第2の再生方法に対応する単数または複数の第2のプロパティが格納されてもよい。そして、ファイル処理部412が、3Dデータの再生方法に応じて、そのプリミティブス内に格納される単数若しくは複数の第1のプロパティ、または、そのエクステンション内に格納される単数若しくは複数の第2のプロパティを選択してもよい。
 また、シーンディスクリプションの1つのメッシュオブジェクト内において、第1のエクステンションおよび第2のエクステンションが規定されてもよい。そして、その第1のエクステンション内に、3Dデータの第1の再生方法に対応する単数または複数の第1のアトリビューツプロパティが格納されてもよい。また、その第2のエクステンション内に、3Dデータの第2の再生方法に対応する単数または複数の第2のアトリビューツプロパティが格納されてもよい。そして、ファイル処理部412が、3Dデータの再生方法に応じて、その第1のエクステンション内に格納される単数若しくは複数の第1のアトリビューツプロパティ、または、その第2のエクステンション内に格納される単数若しくは複数の第2のアトリビューツプロパティを選択してもよい。
 また、シーンディスクリプションの1つのメッシュオブジェクト内においてエクステンションが規定されてもよい。そして、そのメッシュオブジェクト内に、3Dデータの第1の再生方法に対応する単数または複数の第1のアトリビューツプロパティが格納されてもよい。また、そのエクステンション内に、3Dデータの第2の再生方法に対応する単数または複数の第2のアトリビューツプロパティが格納されてもよい。そして、ファイル処理部412が、3Dデータの再生方法に応じて、そのメッシュオブジェクト内に格納される単数若しくは複数の第1のアトリビューツプロパティ、または、そのエクステンション内に格納される単数若しくは複数の第2のアトリビューツプロパティを選択してもよい。
 また、シーンディスクリプションの1つのメッシュオブジェクト内において、第1のエクステンションおよび第2のエクステンションが規定されてもよい。そして、その第1のエクステンション内に、3Dデータの第1の再生方法に対応する単数または複数の第1のプロパティが格納されてもよい。また、その第2のエクステンション内に、3Dデータの第2の再生方法に対応する単数または複数の第2のプロパティが格納されてもよい。そして、ファイル処理部412は、3Dデータの再生方法に応じて、その第1のエクステンション内に格納される単数若しくは複数の第1のプロパティ、または、その第2のエクステンション内に格納される単数若しくは複数の第2のプロパティを選択してもよい。
 また、シーンディスクリプションの1つのメッシュオブジェクト内においてエクステンションが規定されてもよい。そして、そのメッシュオブジェクト内に、3Dデータの第1の再生方法に対応する単数または複数の第1のプロパティが格納されてもよい。また、そのエクステンション内に、3Dデータの第2の再生方法に対応する単数または複数の第2のプロパティが格納されてもよい。そして、ファイル処理部412が、3Dデータの再生方法に応じて、そのメッシュオブジェクト内に格納される単数若しくは複数の第1のプロパティ、または、そのエクステンション内に格納される単数若しくは複数の第2のプロパティを選択してもよい。
 また、シーンディスクリプションの1つのノード内において、第1のエクステンションおよび第2のエクステンションが規定されてもよい。そして、その第1のエクステンションに、3Dデータの第1の再生方法に対応する単数または複数の第1のアトリビューツプロパティが関連付けられてもよい。また、その第2のエクステンションに、3Dデータの第2の再生方法に対応する単数または複数の第2のアトリビューツプロパティが関連付けられてもよい。そして、ファイル処理部412が、3Dデータの再生方法に応じて、その第1のエクステンションに関連付けられる単数若しくは複数の第1のアトリビューツプロパティ、または、その第2のエクステンションに関連付けられる単数若しくは複数の第2のアトリビューツプロパティを選択してもよい。
 また、シーンディスクリプションの1つのノード内においてエクステンションが規定されてもよい。そして、そのノードに、3Dデータの第1の再生方法に対応する単数または複数の第1のアトリビューツプロパティが関連付けられてもよい。また、そのエクステンションに、3Dデータの第2の再生方法に対応する単数または複数の第2のアトリビューツプロパティが関連付けられてもよい。そして、ファイル処理部412は、3Dデータの再生方法に応じて、そのノードに関連付けられる単数若しくは複数の第1のアトリビューツプロパティ、または、そのエクステンションに関連付けられる単数若しくは複数の第2のアトリビューツプロパティを選択してもよい。
 また、シーンディスクリプションの1つのノード内において、第1のエクステンションおよび第2のエクステンションが規定されてもよい。そして、その第1のエクステンションに、3Dデータの第1の再生方法に対応する単数または複数の第1のプロパティが関連付けられてもよい。また、その第2のエクステンションに、3Dデータの第2の再生方法に対応する単数または複数の第2のプロパティが関連付けられてもよい。そして、ファイル処理部412は、3Dデータの再生方法に応じて、その第1のエクステンションに関連付けられる単数若しくは複数の第1のプロパティ、または、その第2のエクステンションに関連付けられる単数若しくは複数の第2のプロパティを選択してもよい。
 また、シーンディスクリプションの1つのノード内においてエクステンションが規定されてもよい。そして、そのノードに、3Dデータの第1の再生方法に対応する単数または複数の第1のプロパティが関連付けられてもよい。また、そのエクステンションに、3Dデータの第2の再生方法に対応する単数または複数の第2のプロパティが関連付けられてもよい。そして、ファイル処理部412は、3Dデータの再生方法に応じて、そのノードに関連付けられる単数若しくは複数の第1のプロパティ、または、そのエクステンションに関連付けられる単数若しくは複数の第2のプロパティを選択してもよい。
 また、ファイル処理部412が、シーンディスクリプションに規定されるオルタナティブス配列の中から3Dデータの再生方法に応じたオルタナティブス配列を選択し、その選択したオルタナティブス配列の要素であるプロパティを利用して、その再生方法で3Dデータを処理してもよい。
 また、その場合、シーンディスクリプションの1つのプリミティブス内においてエクステンションが規定されてもよい。そして、そのエクステンション内に、第1のオルタナティブス配列および第2のオルタナティブス配列が規定されてもよい。そして、その第1のオルタナティブス配列が、3Dデータの第1の再生方法に対応する単数または複数の第1のプロパティのそれぞれを要素としてもよい。また、その第2のオルタナティブス配列が、3Dデータの第2の再生方法に対応する単数または複数の第2のプロパティのそれぞれを要素としてもよい。そして、ファイル処理部412が、第1の再生方法を適用する場合、その第1のオルタナティブス配列を選択し、単数または複数の第1のプロパティを利用して、その第1の再生方法で3Dデータを処理してもよい。また、ファイル処理部412が、第2の再生方法を適用する場合、その第2のオルタナティブス配列を選択し、単数または複数の第2のプロパティを利用して、その第2の再生方法で3Dデータを処理してもよい。
 また、シーンディスクリプションの1つのメッシュオブジェクト内においてエクステンションが規定されてもよい。そして、そのエクステンション内に、第1のオルタナティブス配列および第2のオルタナティブス配列が規定されてもよい。そして、その第1のオルタナティブス配列が、3Dデータの第1の再生方法に対応する単数または複数の第1のプロパティのそれぞれを要素としてもよい。また、その第2のオルタナティブス配列が、3Dデータの第2の再生方法に対応する単数または複数の第2のプロパティのそれぞれを要素としてもよい。そして、ファイル処理部412が、第1の再生方法を適用する場合、その第1のオルタナティブス配列を選択し、単数または複数の第1のプロパティを利用して、その第1の再生方法で3Dデータを処理してもよい。また、ファイル処理部412が、第2の再生方法を適用する場合、その第2のオルタナティブス配列を選択し、単数または複数の第2のプロパティを利用して、第2の再生方法で3Dデータを処理してもよい。
 また、シーンディスクリプションの1つのノード内においてエクステンションが規定されてもよい。そして、そのエクステンション内に、第1のオルタナティブス配列および第2のオルタナティブス配列が規定されてもよい。そして、その第1のオルタナティブス配列が、3Dデータの第1の再生方法に対応する単数または複数の第1のプロパティのそれぞれが関連付けられた要素を有してもよい。また、その第2のオルタナティブス配列が、3Dデータの第2の再生方法に対応する単数または複数の第2のプロパティのそれぞれが関連付けられた要素を有してもよい。そして、ファイル処理部412が、第1の再生方法を適用する場合、その第1のオルタナティブス配列を選択し、単数または複数の第1のプロパティを利用して、その第1の再生方法で3Dデータを処理してもよい。また、ファイル処理部412が、第2の再生方法を適用する場合、その第2のオルタナティブス配列を選択し、単数または複数の第2のプロパティを利用して、その第2の再生方法で3Dデータを処理してもよい。
 もちろん、<3.複数の再生方法に対応するシーンディスクリプション>において上述したその他の本技術を適用してもよい。また、複数の本技術を適宜組み合わせて適用してもよい。
 クライアント装置400が、このような構成を有することにより、クライアント装置400は、シーンディスクリプションにおいて、プロパティを再生方法毎に識別することができる。したがって、1つのシーンディスクリプションを複数の再生方法に対応させることができる。
 つまり、シーンディスクリプションを複数用意しなくても、1つのシーンディスクリプションによって、コンテンツを複数の再生方法に対応させることができる。したがって、シーンディスクリプションファイルの生成、管理、利用等、シーンディスクリプションに関する処理の負荷の増大を抑制することができる。
  <再生処理の流れ>
 このような構成のクライアント装置400が実行する再生処理の流れの例を、図43のフローチャートを参照して説明する。
 再生処理が開始されると、クライアント装置400のファイル処理部412は、ステップS401においてファイル取得部411を制御し、シーンディスクリプションファイルを取得する。
 ステップS402において、ファイル処理部412は、ステップS401において取得したシーンディスクリプションファイルを解析し、自身の3Dオブジェクトコンテンツの再生方法(3Dデータの再構成方法)に対応する(アトリビューツ)プロパティ(例えば、MAF再構成用(アトリビューツ)プロパティまたはPE再構成用(アトリビューツ)プロパティ)を選択する。
 その際、ファイル処理部412は、シーンディスクリプションに規定されるエクステンションに基づいて、3Dデータの再生方法に対応するプロパティを選択し、その選択したプロパティを利用して、その再生方法で3Dデータを処理してもよい。
 また、ファイル処理部412は、シーンディスクリプションに規定されるオルタナティブス配列の中から3Dデータの再生方法に応じたオルタナティブス配列を選択し、その選択したオルタナティブス配列の要素であるプロパティを利用して、その再生方法で3Dデータを処理してもよい。
 ステップS403において、ファイル処理部412は、ステップS401において取得したシーンディスクリプションファイルを解析し、その解析結果に従って、ファイル取得部411を制御し、3Dデータの符号化データ(V3Cビットストリーム)を取得する。
 ステップS404において、ファイル処理部412は、復号部413を制御し、ステップS402の処理により得られたV3Cビットストリームを復号させる。
 ステップS405において、ファイル処理部412は、シーンディスクリプションファイルの解析結果に従って、ステップS403の処理により得られたデータを用いて、3Dデータを再構成する。
 ステップS406において、ファイル処理部412は、表示情報生成部414を制御し、ステップS405において再構成された3Dデータを用いてレンダリングを行わせ、表示用画像を生成させる。
 ステップS407において、ファイル処理部412は、表示部415を制御し、ステップS406において生成された表示用画像を表示させる。ステップS407の処理が終了すると、再生処理が終了する。
 このように再生処理を実行することにより、クライアント装置400は、シーンディスクリプションにおいて、プロパティを再生方法毎に識別することができる。したがって、1つのシーンディスクリプションを、複数の再生方法に対応させることができる。
 つまり、シーンディスクリプションを複数用意しなくても、1つのシーンディスクリプションによって、コンテンツを複数の再生方法に対応させることができる。したがって、シーンディスクリプションファイルの生成、管理、利用等、シーンディスクリプションに関する処理の負荷の増大を抑制することができる。
 なお、シーンディスクリプションの1つのプリミティブス内において、第1のエクステンションおよび第2のエクステンションが規定されてもよい。そして、その第1のエクステンション内に、3Dデータの第1の再生方法に対応する単数または複数の第1のアトリビューツプロパティが格納されてもよい。また、その第2のエクステンション内に、3Dデータの第2の再生方法に対応する単数または複数の第2のアトリビューツプロパティが格納されてもよい。そして、ステップS402において、ファイル処理部412が、3Dデータの再生方法に応じて、その第1のエクステンション内に格納される単数若しくは複数の第1のアトリビューツプロパティ、または、その第2のエクステンション内に格納される単数若しくは複数の第2のアトリビューツプロパティを選択してもよい。
 また、シーンディスクリプションの1つのプリミティブス内においてエクステンションが規定されてもよい。そして、そのプリミティブス内に、3Dデータの第1の再生方法に対応する単数または複数の第1のアトリビューツプロパティが格納されてもよい。また、そのエクステンション内に、3Dデータの第2の再生方法に対応する単数または複数の第2のアトリビューツプロパティが格納されてもよい。そして、ステップS402において、ファイル処理部412が、3Dデータの再生方法に応じて、そのプリミティブス内に格納される単数若しくは複数の第1のアトリビューツプロパティ、または、そのエクステンション内に格納される単数若しくは複数の第2のアトリビューツプロパティを選択してもよい。
 また、シーンディスクリプションの1つのプリミティブス内において、第1のエクステンションおよび第2のエクステンションが規定されてもよい。そして、その第1のエクステンション内に、3Dデータの第1の再生方法に対応する単数または複数の第1のプロパティが格納されてもよい。また、その第2のエクステンション内に、3Dデータの第2の再生方法に対応する単数または複数の第2のプロパティが格納されてもよい。そして、ステップS402において、ファイル処理部412が、3Dデータの再生方法に応じて、その第1のエクステンション内に格納される単数若しくは複数の第1のプロパティ、または、その第2のエクステンション内に格納される単数若しくは複数の第2のプロパティを選択してもよい。
 また、シーンディスクリプションの1つのプリミティブス内においてエクステンションが規定されてもよい。そして、そのプリミティブス内に、3Dデータの第1の再生方法に対応する単数または複数の第1のプロパティが格納されてもよい。また、そのエクステンション内に、3Dデータの第2の再生方法に対応する単数または複数の第2のプロパティが格納されてもよい。そして、ステップS402において、ファイル処理部412が、3Dデータの再生方法に応じて、そのプリミティブス内に格納される単数若しくは複数の第1のプロパティ、または、そのエクステンション内に格納される単数若しくは複数の第2のプロパティを選択してもよい。
 また、シーンディスクリプションの1つのメッシュオブジェクト内において、第1のエクステンションおよび第2のエクステンションが規定されてもよい。そして、その第1のエクステンション内に、3Dデータの第1の再生方法に対応する単数または複数の第1のアトリビューツプロパティが格納されてもよい。また、その第2のエクステンション内に、3Dデータの第2の再生方法に対応する単数または複数の第2のアトリビューツプロパティが格納されてもよい。そして、ステップS402において、ファイル処理部412が、3Dデータの再生方法に応じて、その第1のエクステンション内に格納される単数若しくは複数の第1のアトリビューツプロパティ、または、その第2のエクステンション内に格納される単数若しくは複数の第2のアトリビューツプロパティを選択してもよい。
 また、シーンディスクリプションの1つのメッシュオブジェクト内においてエクステンションが規定されてもよい。そして、そのメッシュオブジェクト内に、3Dデータの第1の再生方法に対応する単数または複数の第1のアトリビューツプロパティが格納されてもよい。また、そのエクステンション内に、3Dデータの第2の再生方法に対応する単数または複数の第2のアトリビューツプロパティが格納されてもよい。そして、ステップS402において、ファイル処理部412が、3Dデータの再生方法に応じて、そのメッシュオブジェクト内に格納される単数若しくは複数の第1のアトリビューツプロパティ、または、そのエクステンション内に格納される単数若しくは複数の第2のアトリビューツプロパティを選択してもよい。
 また、シーンディスクリプションの1つのメッシュオブジェクト内において、第1のエクステンションおよび第2のエクステンションが規定されてもよい。そして、その第1のエクステンション内に、3Dデータの第1の再生方法に対応する単数または複数の第1のプロパティが格納されてもよい。また、その第2のエクステンション内に、3Dデータの第2の再生方法に対応する単数または複数の第2のプロパティが格納されてもよい。そして、ステップS402において、ファイル処理部412は、3Dデータの再生方法に応じて、その第1のエクステンション内に格納される単数若しくは複数の第1のプロパティ、または、その第2のエクステンション内に格納される単数若しくは複数の第2のプロパティを選択してもよい。
 また、シーンディスクリプションの1つのメッシュオブジェクト内においてエクステンションが規定されてもよい。そして、そのメッシュオブジェクト内に、3Dデータの第1の再生方法に対応する単数または複数の第1のプロパティが格納されてもよい。また、そのエクステンション内に、3Dデータの第2の再生方法に対応する単数または複数の第2のプロパティが格納されてもよい。そして、ステップS402において、ファイル処理部412が、3Dデータの再生方法に応じて、そのメッシュオブジェクト内に格納される単数若しくは複数の第1のプロパティ、または、そのエクステンション内に格納される単数若しくは複数の第2のプロパティを選択してもよい。
 また、シーンディスクリプションの1つのノード内において、第1のエクステンションおよび第2のエクステンションが規定されてもよい。そして、その第1のエクステンションに、3Dデータの第1の再生方法に対応する単数または複数の第1のアトリビューツプロパティが関連付けられてもよい。また、その第2のエクステンションに、3Dデータの第2の再生方法に対応する単数または複数の第2のアトリビューツプロパティが関連付けられてもよい。そして、ステップS402において、ファイル処理部412が、3Dデータの再生方法に応じて、その第1のエクステンションに関連付けられる単数若しくは複数の第1のアトリビューツプロパティ、または、その第2のエクステンションに関連付けられる単数若しくは複数の第2のアトリビューツプロパティを選択してもよい。
 また、シーンディスクリプションの1つのノード内においてエクステンションが規定されてもよい。そして、そのノードに、3Dデータの第1の再生方法に対応する単数または複数の第1のアトリビューツプロパティが関連付けられてもよい。また、そのエクステンションに、3Dデータの第2の再生方法に対応する単数または複数の第2のアトリビューツプロパティが関連付けられてもよい。そして、ステップS402において、ファイル処理部412は、3Dデータの再生方法に応じて、そのノードに関連付けられる単数若しくは複数の第1のアトリビューツプロパティ、または、そのエクステンションに関連付けられる単数若しくは複数の第2のアトリビューツプロパティを選択してもよい。
 また、シーンディスクリプションの1つのノード内において、第1のエクステンションおよび第2のエクステンションが規定されてもよい。そして、その第1のエクステンションに、3Dデータの第1の再生方法に対応する単数または複数の第1のプロパティが関連付けられてもよい。また、その第2のエクステンションに、3Dデータの第2の再生方法に対応する単数または複数の第2のプロパティが関連付けられてもよい。そして、ステップS402において、ファイル処理部412は、3Dデータの再生方法に応じて、その第1のエクステンションに関連付けられる単数若しくは複数の第1のプロパティ、または、その第2のエクステンションに関連付けられる単数若しくは複数の第2のプロパティを選択してもよい。
 また、シーンディスクリプションの1つのノード内においてエクステンションが規定されてもよい。そして、そのノードに、3Dデータの第1の再生方法に対応する単数または複数の第1のプロパティが関連付けられてもよい。また、そのエクステンションに、3Dデータの第2の再生方法に対応する単数または複数の第2のプロパティが関連付けられてもよい。そして、ステップS402において、ファイル処理部412は、3Dデータの再生方法に応じて、そのノードに関連付けられる単数若しくは複数の第1のプロパティ、または、そのエクステンションに関連付けられる単数若しくは複数の第2のプロパティを選択してもよい。
 また、シーンディスクリプションの1つのプリミティブス内においてエクステンションが規定されてもよい。そして、そのエクステンション内に、第1のオルタナティブス配列および第2のオルタナティブス配列が規定されてもよい。そして、その第1のオルタナティブス配列が、3Dデータの第1の再生方法に対応する単数または複数の第1のプロパティのそれぞれを要素としてもよい。また、その第2のオルタナティブス配列が、3Dデータの第2の再生方法に対応する単数または複数の第2のプロパティのそれぞれを要素としてもよい。そして、ステップS402において、ファイル処理部412が、第1の再生方法を適用する場合、その第1のオルタナティブス配列を選択し、単数または複数の第1のプロパティを利用して、その第1の再生方法で3Dデータを処理してもよい。また、ファイル処理部412が、第2の再生方法を適用する場合、その第2のオルタナティブス配列を選択し、単数または複数の第2のプロパティを利用して、その第2の再生方法で3Dデータを処理してもよい。
 また、シーンディスクリプションの1つのメッシュオブジェクト内においてエクステンションが規定されてもよい。そして、そのエクステンション内に、第1のオルタナティブス配列および第2のオルタナティブス配列が規定されてもよい。そして、その第1のオルタナティブス配列が、3Dデータの第1の再生方法に対応する単数または複数の第1のプロパティのそれぞれを要素としてもよい。また、その第2のオルタナティブス配列が、3Dデータの第2の再生方法に対応する単数または複数の第2のプロパティのそれぞれを要素としてもよい。そして、ステップS402において、ファイル処理部412が、第1の再生方法を適用する場合、その第1のオルタナティブス配列を選択し、単数または複数の第1のプロパティを利用して、その第1の再生方法で3Dデータを処理してもよい。また、ファイル処理部412が、第2の再生方法を適用する場合、その第2のオルタナティブス配列を選択し、単数または複数の第2のプロパティを利用して、第2の再生方法で3Dデータを処理してもよい。
 また、シーンディスクリプションの1つのノード内においてエクステンションが規定されてもよい。そして、そのエクステンション内に、第1のオルタナティブス配列および第2のオルタナティブス配列が規定されてもよい。そして、その第1のオルタナティブス配列が、3Dデータの第1の再生方法に対応する単数または複数の第1のプロパティのそれぞれが関連付けられた要素を有してもよい。また、その第2のオルタナティブス配列が、3Dデータの第2の再生方法に対応する単数または複数の第2のプロパティのそれぞれが関連付けられた要素を有してもよい。そして、ステップS402において、ファイル処理部412が、第1の再生方法を適用する場合、その第1のオルタナティブス配列を選択し、単数または複数の第1のプロパティを利用して、その第1の再生方法で3Dデータを処理してもよい。また、ファイル処理部412が、第2の再生方法を適用する場合、その第2のオルタナティブス配列を選択し、単数または複数の第2のプロパティを利用して、その第2の再生方法で3Dデータを処理してもよい。
 もちろん、<3.複数の再生方法に対応するシーンディスクリプション>において上述したその他の本技術を適用してもよい。また、複数の本技術を適宜組み合わせて適用してもよい。
 <6.付記>
  <組み合わせ>
 上述した本技術の各例は、矛盾が生じない限り、他の例と適宜組み合わせて適用してもよい。また、上述した本技術の各例を、上述した以外の他の技術と組み合わせて適用してもよい。
  <コンピュータ>
 上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。
 図44は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
 図44に示されるコンピュータ900において、CPU(Central Processing Unit)901、ROM(Read Only Memory)902、RAM(Random Access Memory)903は、バス904を介して相互に接続されている。
 バス904にはまた、入出力インタフェース910も接続されている。入出力インタフェース910には、入力部911、出力部912、記憶部913、通信部914、およびドライブ915が接続されている。
 入力部911は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部912は、例えば、ディスプレイ、スピーカ、出力端子などよりなる。記憶部913は、例えば、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部914は、例えば、ネットワークインタフェースよりなる。ドライブ915は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア921を駆動する。
 以上のように構成されるコンピュータでは、CPU901が、例えば、記憶部913に記憶されているプログラムを、入出力インタフェース910およびバス904を介して、RAM903にロードして実行することにより、上述した一連の処理が行われる。RAM903にはまた、CPU901が各種の処理を実行する上において必要なデータなども適宜記憶される。
 コンピュータが実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア921に記録して適用することができる。その場合、プログラムは、リムーバブルメディア921をドライブ915に装着することにより、入出力インタフェース910を介して、記憶部913にインストールすることができる。
 また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、プログラムは、通信部914で受信し、記憶部913にインストールすることができる。
 その他、このプログラムは、ROM902や記憶部913に、あらかじめインストールしておくこともできる。
  <本技術の適用可能な対象>
 本技術は、任意の符号化・復号方式に適用することができる。
 また、本技術は、任意の構成に適用することができる。例えば、本技術は、様々な電子機器に応用され得る。
 また、例えば、本技術は、システムLSI(Large Scale Integration)等としてのプロセッサ(例えばビデオプロセッサ)、複数のプロセッサ等を用いるモジュール(例えばビデオモジュール)、複数のモジュール等を用いるユニット(例えばビデオユニット)、または、ユニットにさらにその他の機能を付加したセット(例えばビデオセット)等、装置の一部の構成として実施することもできる。
 また、例えば、本技術は、複数の装置により構成されるネットワークシステムにも適用することもできる。例えば、本技術を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングとして実施するようにしてもよい。例えば、コンピュータ、AV(Audio Visual)機器、携帯型情報処理端末、IoT(Internet of Things)デバイス等の任意の端末に対して、画像(動画像)に関するサービスを提供するクラウドサービスにおいて本技術を実施するようにしてもよい。
 なお、本明細書において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、および、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれも、システムである。
  <本技術を適用可能な分野・用途>
 本技術を適用したシステム、装置、処理部等は、例えば、交通、医療、防犯、農業、畜産業、鉱業、美容、工場、家電、気象、自然監視等、任意の分野に利用することができる。また、その用途も任意である。
 例えば、本技術は、観賞用コンテンツ等の提供の用に供されるシステムやデバイスに適用することができる。また、例えば、本技術は、交通状況の監理や自動運転制御等、交通の用に供されるシステムやデバイスにも適用することができる。さらに、例えば、本技術は、セキュリティの用に供されるシステムやデバイスにも適用することができる。また、例えば、本技術は、機械等の自動制御の用に供されるシステムやデバイスに適用することができる。さらに、例えば、本技術は、農業や畜産業の用に供されるシステムやデバイスにも適用することができる。また、本技術は、例えば火山、森林、海洋等の自然の状態や野生生物等を監視するシステムやデバイスにも適用することができる。さらに、例えば、本技術は、スポーツの用に供されるシステムやデバイスにも適用することができる。
  <その他>
 なお、本明細書において「フラグ」とは、複数の状態を識別するための情報であり、真(1)または偽(0)の2状態を識別する際に用いる情報だけでなく、3以上の状態を識別することが可能な情報も含まれる。したがって、この「フラグ」が取り得る値は、例えば1/0の2値であってもよいし、3値以上であってもよい。すなわち、この「フラグ」を構成するbit数は任意であり、1bitでも複数bitでもよい。また、識別情報(フラグも含む)は、その識別情報をビットストリームに含める形だけでなく、ある基準となる情報に対する識別情報の差分情報をビットストリームに含める形も想定されるため、本明細書においては、「フラグ」や「識別情報」は、その情報だけではなく、基準となる情報に対する差分情報も包含する。
 また、符号化データ(ビットストリーム)に関する各種情報(メタデータ等)は、符号化データに関連づけられていれば、どのような形態で伝送または記録されるようにしてもよい。ここで、「関連付ける」という用語は、例えば、一方のデータを処理する際に他方のデータを利用し得る(リンクさせ得る)ようにすることを意味する。つまり、互いに関連付けられたデータは、1つのデータとしてまとめられてもよいし、それぞれ個別のデータとしてもよい。例えば、符号化データ(画像)に関連付けられた情報は、その符号化データ(画像)とは別の伝送路上で伝送されるようにしてもよい。また、例えば、符号化データ(画像)に関連付けられた情報は、その符号化データ(画像)とは別の記録媒体(または同一の記録媒体の別の記録エリア)に記録されるようにしてもよい。なお、この「関連付け」は、データ全体でなく、データの一部であってもよい。例えば、画像とその画像に対応する情報とが、複数フレーム、1フレーム、またはフレーム内の一部分などの任意の単位で互いに関連付けられるようにしてもよい。
 なお、本明細書において、「合成する」、「多重化する」、「付加する」、「一体化する」、「含める」、「格納する」、「入れ込む」、「差し込む」、「挿入する」等の用語は、例えば符号化データとメタデータとを1つのデータにまとめるといった、複数の物を1つにまとめることを意味し、上述の「関連付ける」の1つの方法を意味する。
 また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
 例えば、1つの装置(または処理部)として説明した構成を分割し、複数の装置(または処理部)として構成するようにしてもよい。逆に、以上において複数の装置(または処理部)として説明した構成をまとめて1つの装置(または処理部)として構成されるようにしてもよい。また、各装置(または各処理部)の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置(または処理部)の構成の一部を他の装置(または他の処理部)の構成に含めるようにしてもよい。
 また、例えば、上述したプログラムは、任意の装置において実行されるようにしてもよい。その場合、その装置が、必要な機能(機能ブロック等)を有し、必要な情報を得ることができるようにすればよい。
 また、例えば、1つのフローチャートの各ステップを、1つの装置が実行するようにしてもよいし、複数の装置が分担して実行するようにしてもよい。さらに、1つのステップに複数の処理が含まれる場合、その複数の処理を、1つの装置が実行するようにしてもよいし、複数の装置が分担して実行するようにしてもよい。換言するに、1つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を1つのステップとしてまとめて実行することもできる。
 また、例えば、コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。
 また、例えば、本技術に関する複数の技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。
 なお、本技術は以下のような構成も取ることができる。
 (1) シーンディスクリプションに規定されるエクステンションに基づいて、3Dデータの再生方法に対応するプロパティを選択し、選択した前記プロパティを利用して、前記再生方法で前記3Dデータを処理するファイル処理部
 を備える情報処理装置。
 (2) 前記シーンディスクリプションの1つのプリミティブス内において、第1のエクステンションおよび第2のエクステンションが規定され、
 前記第1のエクステンション内に、前記3Dデータの第1の再生方法に対応する単数または複数の第1のアトリビューツプロパティが格納され、
 前記第2のエクステンション内に、前記3Dデータの第2の再生方法に対応する単数または複数の第2のアトリビューツプロパティが格納されており、
 前記ファイル処理部は、前記3Dデータの再生方法に応じて、前記第1のエクステンション内に格納される単数若しくは複数の前記第1のアトリビューツプロパティ、または、前記第2のエクステンション内に格納される単数若しくは複数の前記第2のアトリビューツプロパティを選択する
 (1)に記載の情報処理装置。
 (3) 前記シーンディスクリプションの1つのプリミティブス内において前記エクステンションが規定され、
 前記プリミティブス内に、前記3Dデータの第1の再生方法に対応する単数または複数の第1のアトリビューツプロパティが格納され、
 前記エクステンション内に、前記3Dデータの第2の再生方法に対応する単数または複数の第2のアトリビューツプロパティが格納されており、
 前記ファイル処理部は、前記3Dデータの再生方法に応じて、前記プリミティブス内に格納される単数若しくは複数の前記第1のアトリビューツプロパティ、または、前記エクステンション内に格納される単数若しくは複数の前記第2のアトリビューツプロパティを選択する
 (1)に記載の情報処理装置。
 (4) 前記シーンディスクリプションの1つのプリミティブス内において、第1のエクステンションおよび第2のエクステンションが規定され、
 前記第1のエクステンション内に、前記3Dデータの第1の再生方法に対応する単数または複数の第1のプロパティが格納され、
 前記第2のエクステンション内に、前記3Dデータの第2の再生方法に対応する単数または複数の第2のプロパティが格納されており、
 前記ファイル処理部は、前記3Dデータの再生方法に応じて、前記第1のエクステンション内に格納される単数若しくは複数の前記第1のプロパティ、または、前記第2のエクステンション内に格納される単数若しくは複数の前記第2のプロパティを選択する
 (1)に記載の情報処理装置。
 (5) 前記シーンディスクリプションの1つのプリミティブス内において前記エクステンションが規定され、
 前記プリミティブス内に、前記3Dデータの第1の再生方法に対応する単数または複数の第1のプロパティが格納され、
 前記エクステンション内に、前記3Dデータの第2の再生方法に対応する単数または複数の第2のプロパティが格納されており、
 前記ファイル処理部は、前記3Dデータの再生方法に応じて、前記プリミティブス内に格納される単数若しくは複数の前記第1のプロパティ、または、前記エクステンション内に格納される単数若しくは複数の前記第2のプロパティを選択する
 (1)に記載の情報処理装置。
 (6) 前記シーンディスクリプションの1つのメッシュオブジェクト内において、第1のエクステンションおよび第2のエクステンションが規定され、
 前記第1のエクステンション内に、前記3Dデータの第1の再生方法に対応する単数または複数の第1のアトリビューツプロパティが格納され、
 前記第2のエクステンション内に、前記3Dデータの第2の再生方法に対応する単数または複数の第2のアトリビューツプロパティが格納されており、
 前記ファイル処理部は、前記3Dデータの再生方法に応じて、前記第1のエクステンション内に格納される単数若しくは複数の前記第1のアトリビューツプロパティ、または、前記第2のエクステンション内に格納される単数若しくは複数の前記第2のアトリビューツプロパティを選択する
 (1)に記載の情報処理装置。
 (7) 前記シーンディスクリプションの1つのメッシュオブジェクト内において前記エクステンションが規定され、
 前記メッシュオブジェクト内に、前記3Dデータの第1の再生方法に対応する単数または複数の第1のアトリビューツプロパティが格納され、
 前記エクステンション内に、前記3Dデータの第2の再生方法に対応する単数または複数の第2のアトリビューツプロパティが格納されており、
 前記ファイル処理部は、前記3Dデータの再生方法に応じて、前記メッシュオブジェクト内に格納される単数若しくは複数の前記第1のアトリビューツプロパティ、または、前記エクステンション内に格納される単数若しくは複数の前記第2のアトリビューツプロパティを選択する
 (1)に記載の情報処理装置。
 (8) 前記シーンディスクリプションの1つのメッシュオブジェクト内において、第1のエクステンションおよび第2のエクステンションが規定され、
 前記第1のエクステンション内に、前記3Dデータの第1の再生方法に対応する単数または複数の第1のプロパティが格納され、
 前記第2のエクステンション内に、前記3Dデータの第2の再生方法に対応する単数または複数の第2のプロパティが格納されており、
 前記ファイル処理部は、前記3Dデータの再生方法に応じて、前記第1のエクステンション内に格納される単数若しくは複数の前記第1のプロパティ、または、前記第2のエクステンション内に格納される単数若しくは複数の前記第2のプロパティを選択する
 (1)に記載の情報処理装置。
 (9) 前記シーンディスクリプションの1つのメッシュオブジェクト内において前記エクステンションが規定され、
 前記メッシュオブジェクト内に、前記3Dデータの第1の再生方法に対応する単数または複数の第1のプロパティが格納され、
 前記エクステンション内に、前記3Dデータの第2の再生方法に対応する単数または複数の第2のプロパティが格納されており、
 前記ファイル処理部は、前記3Dデータの再生方法に応じて、前記メッシュオブジェクト内に格納される単数若しくは複数の前記第1のプロパティ、または、前記エクステンション内に格納される単数若しくは複数の前記第2のプロパティを選択する
 (1)に記載の情報処理装置。
 (10) 前記シーンディスクリプションの1つのノード内において、第1のエクステンションおよび第2のエクステンションが規定され、
 前記第1のエクステンションに、前記3Dデータの第1の再生方法に対応する単数または複数の第1のアトリビューツプロパティが関連付けられ、
 前記第2のエクステンションに、前記3Dデータの第2の再生方法に対応する単数または複数の第2のアトリビューツプロパティが関連付けられており、
 前記ファイル処理部は、前記3Dデータの再生方法に応じて、前記第1のエクステンションに関連付けられる単数若しくは複数の前記第1のアトリビューツプロパティ、または、前記第2のエクステンションに関連付けられる単数若しくは複数の前記第2のアトリビューツプロパティを選択する
 (1)に記載の情報処理装置。
 (11) 前記シーンディスクリプションの1つのノード内において前記エクステンションが規定され、
 前記ノードに、前記3Dデータの第1の再生方法に対応する単数または複数の第1のアトリビューツプロパティが関連付けられ、
 前記エクステンションに、前記3Dデータの第2の再生方法に対応する単数または複数の第2のアトリビューツプロパティが関連付けられており、
 前記ファイル処理部は、前記3Dデータの再生方法に応じて、前記ノードに関連付けられる単数若しくは複数の前記第1のアトリビューツプロパティ、または、前記エクステンションに関連付けられる単数若しくは複数の前記第2のアトリビューツプロパティを選択する
 (1)に記載の情報処理装置。
 (12) 前記シーンディスクリプションの1つのノード内において、第1のエクステンションおよび第2のエクステンションが規定され、
 前記第1のエクステンションに、前記3Dデータの第1の再生方法に対応する単数または複数の第1のプロパティが関連付けられ、
 前記第2のエクステンションに、前記3Dデータの第2の再生方法に対応する単数または複数の第2のプロパティが関連付けられており、
 前記ファイル処理部は、前記3Dデータの再生方法に応じて、前記第1のエクステンションに関連付けられる単数若しくは複数の前記第1のプロパティ、または、前記第2のエクステンションに関連付けられる単数若しくは複数の前記第2のプロパティを選択する
 (1)に記載の情報処理装置。
 (13) 前記シーンディスクリプションの1つのノード内において前記エクステンションが規定され、
 前記ノードに、前記3Dデータの第1の再生方法に対応する単数または複数の第1のプロパティが関連付けられ、
 前記エクステンションに、前記3Dデータの第2の再生方法に対応する単数または複数の第2のプロパティが関連付けられており、
 前記ファイル処理部は、前記3Dデータの再生方法に応じて、前記ノードに関連付けられる単数若しくは複数の前記第1のプロパティ、または、前記エクステンションに関連付けられる単数若しくは複数の前記第2のプロパティを選択する
 (1)に記載の情報処理装置。
 (14) シーンディスクリプションに規定されるエクステンションに基づいて、3Dデータの再生方法に対応するプロパティを選択し、選択した前記プロパティを利用して、前記再生方法で前記3Dデータを処理する
 情報処理方法。
 (21) シーンディスクリプションに規定されるオルタナティブス配列の中から3Dデータの再生方法に応じた前記オルタナティブス配列を選択し、選択した前記オルタナティブス配列の要素であるプロパティを利用して、前記再生方法で前記3Dデータを処理するファイル処理部
 を備える情報処理装置。
 (22) 前記シーンディスクリプションの1つのプリミティブス内においてエクステンションが規定され、
 前記エクステンション内に、第1のオルタナティブス配列および第2のオルタナティブス配列が規定され、
 前記第1のオルタナティブス配列は、前記3Dデータの第1の再生方法に対応する単数または複数の第1のプロパティのそれぞれを要素とし、
 前記第2のオルタナティブス配列は、前記3Dデータの第2の再生方法に対応する単数または複数の第2のプロパティのそれぞれを要素としており、
 前記ファイル処理部は、
  前記第1の再生方法を適用する場合、前記第1のオルタナティブス配列を選択し、単数または複数の前記第1のプロパティを利用して、前記第1の再生方法で前記3Dデータを処理し、
  前記第2の再生方法を適用する場合、前記第2のオルタナティブス配列を選択し、単数または複数の前記第2のプロパティを利用して、前記第2の再生方法で前記3Dデータを処理する
 (21)に記載の情報処理装置。
 (23) 前記シーンディスクリプションの1つのメッシュオブジェクト内においてエクステンションが規定され、
 前記エクステンション内に、第1のオルタナティブス配列および第2のオルタナティブス配列が規定され、
 前記第1のオルタナティブス配列は、前記3Dデータの第1の再生方法に対応する単数または複数の第1のプロパティのそれぞれを要素とし、
 前記第2のオルタナティブス配列は、前記3Dデータの第2の再生方法に対応する単数または複数の第2のプロパティのそれぞれを要素としており、
 前記ファイル処理部は、
  前記第1の再生方法を適用する場合、前記第1のオルタナティブス配列を選択し、単数または複数の前記第1のプロパティを利用して、前記第1の再生方法で前記3Dデータを処理し、
  前記第2の再生方法を適用する場合、前記第2のオルタナティブス配列を選択し、単数または複数の前記第2のプロパティを利用して、前記第2の再生方法で前記3Dデータを処理する
 (21)に記載の情報処理装置。
 (24) 前記シーンディスクリプションの1つのノード内においてエクステンションが規定され、
 前記エクステンション内に、第1のオルタナティブス配列および第2のオルタナティブス配列が規定され、
 前記第1のオルタナティブス配列は、前記3Dデータの第1の再生方法に対応する単数または複数の第1のプロパティのそれぞれが関連付けられた要素を有し、
 前記第2のオルタナティブス配列は、前記3Dデータの第2の再生方法に対応する単数または複数の第2のプロパティのそれぞれが関連付けられた要素を有しており、
 前記ファイル処理部は、
  前記第1の再生方法を適用する場合、前記第1のオルタナティブス配列を選択し、単数または複数の前記第1のプロパティを利用して、前記第1の再生方法で前記3Dデータを処理し、
  前記第2の再生方法を適用する場合、前記第2のオルタナティブス配列を選択し、単数または複数の前記第2のプロパティを利用して、前記第2の再生方法で前記3Dデータを処理する
 (21)に記載の情報処理装置。
 (25) シーンディスクリプションに規定されるオルタナティブス配列の中から3Dデータの再生方法に応じた前記オルタナティブス配列を選択し、選択した前記オルタナティブス配列の要素であるプロパティを利用して、前記再生方法で前記3Dデータを処理する
 情報処理方法。
 (31) 3Dデータの再生方法毎にプロパティを識別するためのエクステンションを格納するシーンディスクリプションファイルを生成するファイル生成部
 を備える情報処理装置。
 (32) 前記ファイル生成部は、
  前記シーンディスクリプションファイルの1つのプリミティブス内において、第1のエクステンションおよび第2のエクステンションを規定し、
  前記第1のエクステンション内に、前記3Dデータの第1の再生方法に対応する単数または複数の第1のアトリビューツプロパティを格納し、
  前記第2のエクステンション内に、前記3Dデータの第2の再生方法に対応する単数または複数の第2のアトリビューツプロパティを格納する
 (31)に記載の情報処理装置。
 (33) 前記ファイル生成部は、
  前記シーンディスクリプションファイルの1つのプリミティブス内において前記エクステンションを規定し、
  前記プリミティブス内に、前記3Dデータの第1の再生方法に対応する単数または複数の第1のアトリビューツプロパティを格納し、
  前記エクステンション内に、前記3Dデータの第2の再生方法に対応する単数または複数の第2のアトリビューツプロパティを格納する
 (31)に記載の情報処理装置。
 (34) 前記ファイル生成部は、
  前記シーンディスクリプションファイルの1つのプリミティブス内において、第1のエクステンションおよび第2のエクステンションを規定し、
  前記第1のエクステンション内に、前記3Dデータの第1の再生方法に対応する単数または複数の第1のプロパティを格納し、
  前記第2のエクステンション内に、前記3Dデータの第2の再生方法に対応する単数または複数の第2のプロパティを格納する
 (31)に記載の情報処理装置。
 (35) 前記ファイル生成部は、
  前記シーンディスクリプションファイルの1つのプリミティブス内において前記エクステンションを規定し、
  前記プリミティブス内に、前記3Dデータの第1の再生方法に対応する単数または複数の第1のプロパティを格納し、
  前記エクステンション内に、前記3Dデータの第2の再生方法に対応する単数または複数の第2のプロパティを格納する
 (31)に記載の情報処理装置。
 (36) 前記ファイル生成部は、
  前記シーンディスクリプションファイルの1つのメッシュオブジェクト内において、第1のエクステンションおよび第2のエクステンションを規定し、
  前記第1のエクステンション内に、前記3Dデータの第1の再生方法に対応する単数または複数の第1のアトリビューツプロパティを格納し、
  前記第2のエクステンション内に、前記3Dデータの第2の再生方法に対応する単数または複数の第2のアトリビューツプロパティを格納する
 (31)に記載の情報処理装置。
 (37) 前記ファイル生成部は、
  前記シーンディスクリプションファイルの1つのメッシュオブジェクト内において前記エクステンションを規定し、
  前記メッシュオブジェクト内に、前記3Dデータの第1の再生方法に対応する単数または複数の第1のアトリビューツプロパティを格納し、
  前記エクステンション内に、前記3Dデータの第2の再生方法に対応する単数または複数の第2のアトリビューツプロパティを格納する
 (31)に記載の情報処理装置。
 (38) 前記ファイル生成部は、
  前記シーンディスクリプションファイルの1つのメッシュオブジェクト内において、第1のエクステンションおよび第2のエクステンションを規定し、
  前記第1のエクステンション内に、前記3Dデータの第1の再生方法に対応する単数または複数の第1のプロパティを格納し、
  前記第2のエクステンション内に、前記3Dデータの第2の再生方法に対応する単数または複数の第2のプロパティを格納する
 (31)に記載の情報処理装置。
 (39) 前記ファイル生成部は、
  前記シーンディスクリプションファイルの1つのメッシュオブジェクト内において前記エクステンションを規定し、
  前記メッシュオブジェクト内に、前記3Dデータの第1の再生方法に対応する単数または複数の第1のプロパティを格納し、
  前記エクステンション内に、前記3Dデータの第2の再生方法に対応する単数または複数の第2のプロパティを格納する
 (31)に記載の情報処理装置。
 (40) 前記ファイル生成部は、
  前記シーンディスクリプションファイルの1つのノード内において、第1のエクステンションおよび第2のエクステンションを規定し、
  前記第1のエクステンションに、前記3Dデータの第1の再生方法に対応する単数または複数の第1のアトリビューツプロパティを関連付け、
  前記第2のエクステンション内に、前記3Dデータの第2の再生方法に対応する単数または複数の第2のアトリビューツプロパティを関連付ける
 (31)に記載の情報処理装置。
 (41) 前記ファイル生成部は、
  前記シーンディスクリプションファイルの1つのノード内において前記エクステンションを規定し、
  前記ノードに、前記3Dデータの第1の再生方法に対応する単数または複数の第1のアトリビューツプロパティを関連付け、
  前記エクステンションに、前記3Dデータの第2の再生方法に対応する単数または複数の第2のアトリビューツプロパティを関連付ける
 (31)に記載の情報処理装置。
 (42) 前記ファイル生成部は、
  前記シーンディスクリプションファイルの1つのノード内において、第1のエクステンションおよび第2のエクステンションを規定し、
  前記第1のエクステンションに、前記3Dデータの第1の再生方法に対応する単数または複数の第1のプロパティを関連付け、
  前記第2のエクステンションに、前記3Dデータの第2の再生方法に対応する単数または複数の第2のプロパティを関連付ける
 (31)に記載の情報処理装置。
 (43) 前記ファイル生成部は、
  前記シーンディスクリプションファイルの1つのノード内において前記エクステンションを規定し、
  前記ノードに、前記3Dデータの第1の再生方法に対応する単数または複数の第1のプロパティを関連付け、
  前記エクステンションに、前記3Dデータの第2の再生方法に対応する単数または複数の第2のプロパティを関連付ける
 (31)に記載の情報処理装置。
 (44) 3Dデータの再生方法毎にプロパティを識別するためのエクステンションを格納するシーンディスクリプションファイルを生成する
 情報処理方法。
 (51) 3Dデータの互いに同一の再生方法に対応するプロパティを要素とするオルタナティブス配列を複数格納するシーンディスクリプションファイルを生成するファイル生成部
 を備える情報処理装置。
 (52) 前記ファイル生成部は、
  前記シーンディスクリプションファイルの1つのプリミティブス内においてエクステンションを規定し、
  前記エクステンション内に、前記3Dデータの第1の再生方法に対応する単数または複数の第1のプロパティのそれぞれを要素とする第1のオルタナティブス配列を格納し、
  前記エクステンション内に、さらに、前記3Dデータの第2の再生方法に対応する単数または複数の第2のプロパティのそれぞれを要素とする第2のオルタナティブス配列を格納する
 (51)に記載の情報処理装置。
 (53) 前記ファイル生成部は、
  前記シーンディスクリプションファイルの1つのメッシュオブジェクト内においてエクステンションを規定し、
  前記エクステンション内に、前記3Dデータの第1の再生方法に対応する単数または複数の第1のプロパティのそれぞれを要素とする第1のオルタナティブス配列を格納し、
  前記エクステンション内に、さらに、前記3Dデータの第2の再生方法に対応する単数または複数の第2のプロパティのそれぞれを要素とする第2のオルタナティブス配列を格納する
 (51)に記載の情報処理装置。
 (54) 前記ファイル生成部は、
  前記シーンディスクリプションファイルの1つのノード内においてエクステンションを規定し、
  前記エクステンション内に、前記3Dデータの第1の再生方法に対応する単数または複数の第1のプロパティのそれぞれが関連付けられた要素を有する第1のオルタナティブス配列を格納し、
  前記エクステンション内に、さらに、前記3Dデータの第2の再生方法に対応する単数または複数の第2のプロパティのそれぞれが関連付けられた要素を有する第2のオルタナティブス配列を格納する
 (51)に記載の情報処理装置。
 (55) 3Dデータの互いに同一の再生方法に対応するプロパティを要素とするオルタナティブス配列を複数格納するシーンディスクリプションファイルを生成する
 情報処理装置。
 300 ファイル生成装置, 301 制御部, 302 ファイル生成処理部, 311 入力部, 312 前処理部, 313 符号化部, 314 ファイル生成部, 315 記録部, 316 出力部, 400 クライアント装置, 401 制御部, 402 クライアント処理部, 411 ファイル取得部, 412 ファイル処理部, 413 復号部, 414 表示情報生成部, 415 表示部, 416 表示制御部

Claims (20)

  1.  シーンディスクリプションに規定されるエクステンションに基づいて、3Dデータの再生方法に対応するプロパティを選択し、選択した前記プロパティを利用して、前記再生方法で前記3Dデータを処理するファイル処理部
     を備える情報処理装置。
  2.  前記シーンディスクリプションの1つのプリミティブス内において、第1のエクステンションおよび第2のエクステンションが規定され、
     前記第1のエクステンション内に、前記3Dデータの第1の再生方法に対応する単数または複数の第1のアトリビューツプロパティが格納され、
     前記第2のエクステンション内に、前記3Dデータの第2の再生方法に対応する単数または複数の第2のアトリビューツプロパティが格納されており、
     前記ファイル処理部は、前記3Dデータの再生方法に応じて、前記第1のエクステンション内に格納される単数若しくは複数の前記第1のアトリビューツプロパティ、または、前記第2のエクステンション内に格納される単数若しくは複数の前記第2のアトリビューツプロパティを選択する
     請求項1に記載の情報処理装置。
  3.  前記シーンディスクリプションの1つのプリミティブス内において前記エクステンションが規定され、
     前記プリミティブス内に、前記3Dデータの第1の再生方法に対応する単数または複数の第1のアトリビューツプロパティが格納され、
     前記エクステンション内に、前記3Dデータの第2の再生方法に対応する単数または複数の第2のアトリビューツプロパティが格納されており、
     前記ファイル処理部は、前記3Dデータの再生方法に応じて、前記プリミティブス内に格納される単数若しくは複数の前記第1のアトリビューツプロパティ、または、前記エクステンション内に格納される単数若しくは複数の前記第2のアトリビューツプロパティを選択する
     請求項1に記載の情報処理装置。
  4.  前記シーンディスクリプションの1つのプリミティブス内において、第1のエクステンションおよび第2のエクステンションが規定され、
     前記第1のエクステンション内に、前記3Dデータの第1の再生方法に対応する単数または複数の第1のプロパティが格納され、
     前記第2のエクステンション内に、前記3Dデータの第2の再生方法に対応する単数または複数の第2のプロパティが格納されており、
     前記ファイル処理部は、前記3Dデータの再生方法に応じて、前記第1のエクステンション内に格納される単数若しくは複数の前記第1のプロパティ、または、前記第2のエクステンション内に格納される単数若しくは複数の前記第2のプロパティを選択する
     請求項1に記載の情報処理装置。
  5.  前記シーンディスクリプションの1つのプリミティブス内において前記エクステンションが規定され、
     前記プリミティブス内に、前記3Dデータの第1の再生方法に対応する単数または複数の第1のプロパティが格納され、
     前記エクステンション内に、前記3Dデータの第2の再生方法に対応する単数または複数の第2のプロパティが格納されており、
     前記ファイル処理部は、前記3Dデータの再生方法に応じて、前記プリミティブス内に格納される単数若しくは複数の前記第1のプロパティ、または、前記エクステンション内に格納される単数若しくは複数の前記第2のプロパティを選択する
     請求項1に記載の情報処理装置。
  6.  前記シーンディスクリプションの1つのメッシュオブジェクト内において、第1のエクステンションおよび第2のエクステンションが規定され、
     前記第1のエクステンション内に、前記3Dデータの第1の再生方法に対応する単数または複数の第1のアトリビューツプロパティが格納され、
     前記第2のエクステンション内に、前記3Dデータの第2の再生方法に対応する単数または複数の第2のアトリビューツプロパティが格納されており、
     前記ファイル処理部は、前記3Dデータの再生方法に応じて、前記第1のエクステンション内に格納される単数若しくは複数の前記第1のアトリビューツプロパティ、または、前記第2のエクステンション内に格納される単数若しくは複数の前記第2のアトリビューツプロパティを選択する
     請求項1に記載の情報処理装置。
  7.  前記シーンディスクリプションの1つのメッシュオブジェクト内において前記エクステンションが規定され、
     前記メッシュオブジェクト内に、前記3Dデータの第1の再生方法に対応する単数または複数の第1のアトリビューツプロパティが格納され、
     前記エクステンション内に、前記3Dデータの第2の再生方法に対応する単数または複数の第2のアトリビューツプロパティが格納されており、
     前記ファイル処理部は、前記3Dデータの再生方法に応じて、前記メッシュオブジェクト内に格納される単数若しくは複数の前記第1のアトリビューツプロパティ、または、前記エクステンション内に格納される単数若しくは複数の前記第2のアトリビューツプロパティを選択する
     請求項1に記載の情報処理装置。
  8.  前記シーンディスクリプションの1つのメッシュオブジェクト内において、第1のエクステンションおよび第2のエクステンションが規定され、
     前記第1のエクステンション内に、前記3Dデータの第1の再生方法に対応する単数または複数の第1のプロパティが格納され、
     前記第2のエクステンション内に、前記3Dデータの第2の再生方法に対応する単数または複数の第2のプロパティが格納されており、
     前記ファイル処理部は、前記3Dデータの再生方法に応じて、前記第1のエクステンション内に格納される単数若しくは複数の前記第1のプロパティ、または、前記第2のエクステンション内に格納される単数若しくは複数の前記第2のプロパティを選択する
     請求項1に記載の情報処理装置。
  9.  前記シーンディスクリプションの1つのメッシュオブジェクト内において前記エクステンションが規定され、
     前記メッシュオブジェクト内に、前記3Dデータの第1の再生方法に対応する単数または複数の第1のプロパティが格納され、
     前記エクステンション内に、前記3Dデータの第2の再生方法に対応する単数または複数の第2のプロパティが格納されており、
     前記ファイル処理部は、前記3Dデータの再生方法に応じて、前記メッシュオブジェクト内に格納される単数若しくは複数の前記第1のプロパティ、または、前記エクステンション内に格納される単数若しくは複数の前記第2のプロパティを選択する
     請求項1に記載の情報処理装置。
  10.  前記シーンディスクリプションの1つのノード内において、第1のエクステンションおよび第2のエクステンションが規定され、
     前記第1のエクステンションに、前記3Dデータの第1の再生方法に対応する単数または複数の第1のアトリビューツプロパティが関連付けられ、
     前記第2のエクステンションに、前記3Dデータの第2の再生方法に対応する単数または複数の第2のアトリビューツプロパティが関連付けられており、
     前記ファイル処理部は、前記3Dデータの再生方法に応じて、前記第1のエクステンションに関連付けられる単数若しくは複数の前記第1のアトリビューツプロパティ、または、前記第2のエクステンションに関連付けられる単数若しくは複数の前記第2のアトリビューツプロパティを選択する
     請求項1に記載の情報処理装置。
  11.  前記シーンディスクリプションの1つのノード内において前記エクステンションが規定され、
     前記ノードに、前記3Dデータの第1の再生方法に対応する単数または複数の第1のアトリビューツプロパティが関連付けられ、
     前記エクステンションに、前記3Dデータの第2の再生方法に対応する単数または複数の第2のアトリビューツプロパティが関連付けられており、
     前記ファイル処理部は、前記3Dデータの再生方法に応じて、前記ノードに関連付けられる単数若しくは複数の前記第1のアトリビューツプロパティ、または、前記エクステンションに関連付けられる単数若しくは複数の前記第2のアトリビューツプロパティを選択する
     請求項1に記載の情報処理装置。
  12.  前記シーンディスクリプションの1つのノード内において、第1のエクステンションおよび第2のエクステンションが規定され、
     前記第1のエクステンションに、前記3Dデータの第1の再生方法に対応する単数または複数の第1のプロパティが関連付けられ、
     前記第2のエクステンションに、前記3Dデータの第2の再生方法に対応する単数または複数の第2のプロパティが関連付けられており、
     前記ファイル処理部は、前記3Dデータの再生方法に応じて、前記第1のエクステンションに関連付けられる単数若しくは複数の前記第1のプロパティ、または、前記第2のエクステンションに関連付けられる単数若しくは複数の前記第2のプロパティを選択する
     請求項1に記載の情報処理装置。
  13.  前記シーンディスクリプションの1つのノード内において前記エクステンションが規定され、
     前記ノードに、前記3Dデータの第1の再生方法に対応する単数または複数の第1のプロパティが関連付けられ、
     前記エクステンションに、前記3Dデータの第2の再生方法に対応する単数または複数の第2のプロパティが関連付けられており、
     前記ファイル処理部は、前記3Dデータの再生方法に応じて、前記ノードに関連付けられる単数若しくは複数の前記第1のプロパティ、または、前記エクステンションに関連付けられる単数若しくは複数の前記第2のプロパティを選択する
     請求項1に記載の情報処理装置。
  14.  シーンディスクリプションに規定されるエクステンションに基づいて、3Dデータの再生方法に対応するプロパティを選択し、選択した前記プロパティを利用して、前記再生方法で前記3Dデータを処理する
     情報処理方法。
  15.  シーンディスクリプションに規定されるオルタナティブス配列の中から3Dデータの再生方法に応じた前記オルタナティブス配列を選択し、選択した前記オルタナティブス配列の要素であるプロパティを利用して、前記再生方法で前記3Dデータを処理するファイル処理部
     を備える情報処理装置。
  16.  前記シーンディスクリプションの1つのプリミティブス内においてエクステンションが規定され、
     前記エクステンション内に、第1のオルタナティブス配列および第2のオルタナティブス配列が規定され、
     前記第1のオルタナティブス配列は、前記3Dデータの第1の再生方法に対応する単数または複数の第1のプロパティのそれぞれを要素とし、
     前記第2のオルタナティブス配列は、前記3Dデータの第2の再生方法に対応する単数または複数の第2のプロパティのそれぞれを要素としており、
     前記ファイル処理部は、
      前記第1の再生方法を適用する場合、前記第1のオルタナティブス配列を選択し、単数または複数の前記第1のプロパティを利用して、前記第1の再生方法で前記3Dデータを処理し、
      前記第2の再生方法を適用する場合、前記第2のオルタナティブス配列を選択し、単数または複数の前記第2のプロパティを利用して、前記第2の再生方法で前記3Dデータを処理する
     請求項15に記載の情報処理装置。
  17.  シーンディスクリプションに規定されるオルタナティブス配列の中から3Dデータの再生方法に応じた前記オルタナティブス配列を選択し、選択した前記オルタナティブス配列の要素であるプロパティを利用して、前記再生方法で前記3Dデータを処理する
     情報処理方法。
  18.  3Dデータの再生方法毎にプロパティを識別するためのエクステンションを格納するシーンディスクリプションファイルを生成するファイル生成部
     を備える情報処理装置。
  19.  前記ファイル生成部は、
      前記シーンディスクリプションファイルの1つのプリミティブス内において、第1のエクステンションおよび第2のエクステンションを規定し、
      前記第1のエクステンション内に、前記3Dデータの第1の再生方法に対応する単数または複数の第1のアトリビューツプロパティを格納し、
      前記第2のエクステンション内に、前記3Dデータの第2の再生方法に対応する単数または複数の第2のアトリビューツプロパティを格納する
     請求項18に記載の情報処理装置。
  20.  3Dデータの再生方法毎にプロパティを識別するためのエクステンションを格納するシーンディスクリプションファイルを生成する
     情報処理方法。
PCT/JP2022/017890 2021-04-15 2022-04-15 情報処理装置および方法 WO2022220291A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202280027068.1A CN117121495A (zh) 2021-04-15 2022-04-15 信息处理装置及方法
JP2023514685A JPWO2022220291A1 (ja) 2021-04-15 2022-04-15
EP22788214.9A EP4325871A1 (en) 2021-04-15 2022-04-15 Information processing device and method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US202163175149P 2021-04-15 2021-04-15
US63/175,149 2021-04-15

Publications (1)

Publication Number Publication Date
WO2022220291A1 true WO2022220291A1 (ja) 2022-10-20

Family

ID=83640749

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/017890 WO2022220291A1 (ja) 2021-04-15 2022-04-15 情報処理装置および方法

Country Status (4)

Country Link
EP (1) EP4325871A1 (ja)
JP (1) JPWO2022220291A1 (ja)
CN (1) CN117121495A (ja)
WO (1) WO2022220291A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020189038A1 (ja) * 2019-03-20 2020-09-24 ソニー株式会社 情報処理装置、情報処理方法、再生処理装置及び再生処理方法
WO2020261689A1 (ja) * 2019-06-25 2020-12-30 ソニー株式会社 情報処理装置、情報処理方法、再生処理装置及び再生処理方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020189038A1 (ja) * 2019-03-20 2020-09-24 ソニー株式会社 情報処理装置、情報処理方法、再生処理装置及び再生処理方法
WO2020261689A1 (ja) * 2019-06-25 2020-12-30 ソニー株式会社 情報処理装置、情報処理方法、再生処理装置及び再生処理方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
"Draft text of ISO/IEC FDIS 23090-10 Carriage of Visual Volumetric Video-based Coding Data ORGANISATION INTERNATIONALE DE NORMALISATION ISO/IEC JTC 1/SC 29/WG 03 MPEG SYSTEMS, ISO/IEC JTC 1/SC 29/WG 03 N0163 ", 1/SC 29/WG 03 MPEG SYSTEMS, ISO/IEC JTC 1/SC 29/WG 03 N0163, 25 March 2021 (2021-03-25), pages 19995
"ISO/IEC FDIS 23090-5 Visual Volumetric Video-based Coding and Video-based Point Cloud Compression", ISO/IEC JTC 1/SC 29/ WG 11 N19579, 21 September 2020 (2020-09-21)
"Text of ISO/IEC CD 23090-14 Scene Description for MPEG Media", ISO/IEC JTC 1/SC 29/WG 3 N00026, 30 November 2020 (2020-11-30)
SAURABH BHATIAPATRICK COZZIALEXEY KNYAZEVTONY PARISI, KHRONOS GLTF2.0, 9 June 2017 (2017-06-09), Retrieved from the Internet <URL:https://github.com/KhronosGroup/glTF/tree/master/specification/2.0>

Also Published As

Publication number Publication date
JPWO2022220291A1 (ja) 2022-10-20
EP4325871A1 (en) 2024-02-21
CN117121495A (zh) 2023-11-24

Similar Documents

Publication Publication Date Title
KR102027410B1 (ko) 계층화된 신호 품질 계층에서의 재구성 데이터의 송신
EP3905532A1 (en) Information processing device and information processing method
WO2021251185A1 (ja) 情報処理装置および方法
US11825135B2 (en) Information processing apparatus, information processing method, reproduction processing apparatus, and reproduction processing method
JP7238948B2 (ja) 情報処理装置および情報処理方法
WO2021251173A1 (ja) 情報処理装置および方法
WO2021065277A1 (ja) 情報処理装置、再生処理装置及び情報処理方法
JP7287454B2 (ja) 情報処理装置、再生処理装置、情報処理方法及び再生処理方法
JPWO2020137854A1 (ja) 情報処理装置および情報処理方法
WO2022145357A1 (ja) 情報処理装置および方法
WO2022070903A1 (ja) 情報処理装置および方法
WO2022220291A1 (ja) 情報処理装置および方法
WO2022075342A1 (ja) 情報処理装置および方法
WO2022220255A1 (ja) 情報処理装置および方法
WO2022220278A1 (ja) 情報処理装置および方法
WO2023054156A1 (ja) 情報処理装置および方法
CN114026875A (zh) 信息处理装置、信息处理方法、再现处理装置和再现处理方法
WO2023277062A1 (ja) 情報処理装置および方法
WO2023176928A1 (ja) 情報処理装置および方法
WO2022075079A1 (ja) 情報処理装置および方法
WO2023204289A1 (ja) 情報処理装置および方法
WO2022220207A1 (ja) 情報処理装置および方法
JP2019125865A (ja) 情報処理装置および方法
WO2022151370A1 (en) Multi-track based immersive media playout
CN118118694A (zh) 点云封装与解封装方法、装置、介质及电子设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22788214

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023514685

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 18554253

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2022788214

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2022788214

Country of ref document: EP

Effective date: 20231115