WO2021140956A1 - 情報処理装置および方法 - Google Patents

情報処理装置および方法 Download PDF

Info

Publication number
WO2021140956A1
WO2021140956A1 PCT/JP2020/048726 JP2020048726W WO2021140956A1 WO 2021140956 A1 WO2021140956 A1 WO 2021140956A1 JP 2020048726 W JP2020048726 W JP 2020048726W WO 2021140956 A1 WO2021140956 A1 WO 2021140956A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
comparison
display
objects
unit
Prior art date
Application number
PCT/JP2020/048726
Other languages
English (en)
French (fr)
Inventor
由佳 木山
遼平 高橋
石川　毅
平林　光浩
木村　淳
久野　浩
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to US17/790,680 priority Critical patent/US20230043591A1/en
Priority to JP2021570018A priority patent/JPWO2021140956A1/ja
Publication of WO2021140956A1 publication Critical patent/WO2021140956A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23412—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs for generating or manipulating the scene composition of objects, e.g. MPEG-4 objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/61—Scene description
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/028—Multiple view windows (top-side-front-sagittal-orthogonal)

Definitions

  • the present disclosure relates to information processing devices and methods, and more particularly to information processing devices and methods that make it easier to compare 3D objects.
  • 3D content also referred to as 3D content
  • 3D space also referred to as 3D space
  • 3D content for example, a 6DoF content that represents a three-dimensional object in a three-dimensional space and can freely set the line-of-sight direction and the viewpoint position during reproduction has been proposed.
  • Non-Patent Document 1 As a method of delivering 6DoF content, for example, a method of composing a 3D space with a plurality of 3D objects and transmitting it as a plurality of object streams has been proposed. Then, at that time, for example, it was proposed to use a description method called a scene description (see, for example, Non-Patent Document 1).
  • this description method describes a method in which two 3D objects (3D objects) included in each of a plurality of 6DoF contents are arranged side by side or overlapped and played back at the same timing, and both objects are displayed in a comparable manner.
  • 3D objects 3D objects
  • This disclosure was made in view of such a situation, and makes it easier to compare 3D objects.
  • the information processing device on one aspect of the present technology is an image processing device including a comparison information generation unit that generates comparison information, which is information for displaying a plurality of 3D objects of 6DoF contents in a comparable manner.
  • the information processing method of one aspect of the present technology is an image processing method that generates comparative information, which is information for displaying a plurality of 3D objects of 6DoF contents in a comparable manner.
  • comparison information which is information for displaying a plurality of 3D objects of 6DoF contents in a comparable manner is generated.
  • Non-Patent Document 1 (above)
  • Non-Patent Document 2 ISO / IEC 14496-12: 2015, Information technology. Coding of audio-visual objects. Part 12, ISO base media file format
  • Non-Patent Document 3 ISO / IEC 23009-1: 2014, Information technology, Dynamic adaptive streaming over HTTP (DASH), Part 1, Media presentation description and segment formats
  • Non-Patent Document 4 Khronos glTF2.0, Khronos glTF2.0, https://github.com/KhronosGroup/glTF/tree/master/specification/2.0
  • Non-Patent Document 2 terms used in the MPEG-DASH standard described in Non-Patent Document 3, and "camera” object and “animation” described in Non-Patent Document 4.
  • Structures / terms used in objects, etc. are within the scope of this disclosure and meet the support requirements of the claims, even if they are not directly defined herein.
  • technical terms such as Parsing, Syntax, and Semantics are also within the scope of the present disclosure even if they are not directly defined in the present specification. It shall meet the support requirements of the claims.
  • 6DoF content can be looked around in all directions in a three-dimensional space (also called 3D space) (the line-of-sight direction can be set freely), and can be moved in the space (viewpoint position can be set freely). ) Content.
  • the video included in the 6DoF content that can freely set the viewpoint position and line-of-sight direction as described above is also called a 6DoF video.
  • 6DoF content it is possible to focus on a certain 3D object (3D object) included in the content and change the viewpoint position and the line-of-sight direction so that the 3D object is viewed from the surroundings.
  • a 3D object contained in a certain 6DoF content and a 3D object contained in another 6DoF content are displayed side by side or overlapped, and are played back at the same timing, and the movements of both objects are moved from the surroundings. It is possible to realize a viewing experience such as seeing and comparing. For example, in sports content, it is possible to have a viewing experience in which the movements of two famous athletes (pitching form, batting form, etc.) are compared from the surroundings.
  • Non-Patent Document 1 a description method called a scene description.
  • this description method could not describe the information on how to display the 3D objects in a comparable manner as described above. Therefore, when displaying such multiple objects in a comparable manner, select two comparable contents, match the playback timing of those contents, and make adjustments so that the appearance of each content is the same. It was necessary to perform complicated work for playback control by the user or the like. In particular, in the case of 6DoF content, there is a possibility that more complicated work may be required for adjustment for comparison due to the high degree of freedom that the content can be viewed from any position.
  • Multivideo https://dotapps.jp/products/com-tattin-multivideo-0002
  • two videos are selected from the existing content and overlapped. It can be played side by side at the same time.
  • the content to be compared in this application is a two-dimensional image, and it is not possible to compare 3D objects of 6DoF content.
  • it is necessary for the user to perform complicated work such as selecting the content to be compared and specifying the reproduction timing, the area and size of each video, and the like.
  • Non-Patent Document 1 to Non-Patent Document 4 described above disclosed a method for describing a method for displaying 3D objects in a comparable manner.
  • comparison information which is information for displaying multiple 3D objects of 6DoF content in a comparable manner.
  • FIG. 1 is a block diagram showing an example of a configuration of a distribution system, which is an aspect of an information processing system to which the present technology is applied.
  • the distribution system 100 shown in FIG. 1 is a system that distributes 6DoF contents.
  • the distribution system 100 includes a generation device 101, a server 102, and a client device 103.
  • the generation device 101, the server 102, and the client device 103 are communicably connected to each other via the network 104.
  • the distribution system 100 can have an arbitrary number of each device. That is, the generation device 101, the server 102, and the client device 103 may each have a plurality of units.
  • the generation device 101 performs processing related to the generation of 6DoF content.
  • the generator 101 uses media data such as 6DoF video, scene description (SceneDescription) which is the metadata thereof, and MPD (ISO / IEC 23009-1) of DASH (Dynamic Adaptive Streaming over HTTP, ISO / IEC 23009-1). MediaPresentationDescription) etc. can be generated.
  • the generation device 101 may supply (upload) the generated data to the server 102 via the network 104.
  • Server 102 performs processing related to distribution of 6DoF content.
  • the server 102 may acquire the data of the 6DoF content described above supplied by the generation device 101.
  • the server 102 can manage the acquired data and provide a service for delivering 6DoF content.
  • the server 102 may distribute 6DoF content data (MPD, scene description, media data, etc.) to the client device 103 or the like via the network 104 in response to a request from the client device 103 or the like.
  • 6DoF content data MPD, scene description, media data, etc.
  • the client device 103 performs processing related to playback of 6DoF content.
  • the client device 103 may request the server 102 to provide 6DoF content via the network 104.
  • the client device 103 can acquire 6DoF content data (MPD, scene description, media data, etc.) distributed from the server 102 in response to the request via the network 104.
  • the client device 103 can reproduce the acquired 6DoF content.
  • the client device 103 can perform rendering to generate an image in a desired viewpoint position and line-of-sight direction, and display the image on a monitor.
  • the network 104 is a communication network composed of an arbitrary communication medium.
  • the communication performed via the network 104 may be wired communication, wireless communication, or both. That is, the network 104 may be a communication network for wired communication, a communication network for wireless communication, or a communication network composed of both of them. Further, the network 104 may be composed of a single communication network or may be composed of a plurality of communication networks.
  • the Internet may be included in this network 104.
  • the public telephone line network may be included in this network 104.
  • a wide area communication network for wireless mobiles such as a so-called 3G line or 4G line may be included in the network 104.
  • WAN Wide Area Network
  • LAN Local Area Network
  • the network 104 may include a wireless communication network that performs communication conforming to the Bluetooth (registered trademark) standard.
  • a communication path for short-range wireless communication such as NFC (Near Field Communication) may be included in the network 104.
  • the communication path for infrared communication may be included in the network 104.
  • the network 104 may include a communication network for wired communication conforming to standards such as HDMI (registered trademark) (High-Definition Multimedia Interface) and USB (registered trademark) (Universal Serial Bus). In this way, the network 104 may include a communication network or a communication path of any communication standard.
  • HDMI registered trademark
  • USB registered trademark
  • the client device 103 can arrange and overlap 3D objects of a plurality of 6DoF contents to reproduce and display them in a comparable manner. Then, the generation device 101 generates and signals comparison information which is information for performing a comparable display of such a 3D object. The client device 103 performs the above-mentioned reproduction / display based on the comparison information. As a result, the user of the client device 103 can more easily compare 3D objects without requiring complicated work.
  • FIG. 2 is a block diagram showing a main configuration example of the generation device 101. It should be noted that FIG. 2 shows the main things such as the processing unit and the data flow, and not all of them are shown in FIG. That is, in the generation device 101, there may be a processing unit that is not shown as a block in FIG. 2, or there may be a processing or data flow that is not shown as an arrow or the like in FIG. As shown in FIG. 2, the generation device 101 has a control unit 111 and a generation processing unit 112.
  • the control unit 111 performs processing related to the control of the generation processing unit 112.
  • the generation processing unit 112 is controlled by the control unit 111 to perform processing related to data generation of 6DoF contents.
  • the generation processing unit 112 includes a data input unit 121, a preprocessing unit 122, an encoding unit 123, a comparison information generation unit 124, a file generation unit 125, an MPD generation unit 126, a storage unit 127, and It has an upload unit 128.
  • the data input unit 121 performs processing related to media data input.
  • the data input unit 121 can receive media data and scene descriptions input from the outside (for example, another device) and supply them to the preprocessing unit 122.
  • the data input unit 121 may generate media data or a scene description of 6DoF content.
  • the data input unit 121 may have a camera or the like, image a subject with the camera or the like, generate media data from the captured image, and further generate a scene description corresponding to the media data.
  • the pre-processing unit 122 performs processing related to pre-processing for media data.
  • the preprocessing unit 122 can acquire the media data and the scene description supplied from the data input unit 121.
  • the pre-processing unit 122 can appropriately perform image processing or the like on the acquired media data, and can appropriately edit the scene description.
  • the data input unit 121 may supply the media data to the preprocessing unit 122, and the preprocessing unit 122 may generate a scene description corresponding to the media data.
  • the preprocessing unit 122 can supply the media data and the scene description to the coding unit 123 and the comparison information generation unit 124.
  • the coding unit 123 performs processing related to coding. For example, the coding unit 123 can acquire the media data and the scene description supplied from the preprocessing unit 122. In addition, the coding unit 123 can encode the media data and generate the coded data. The coding method is arbitrary. Further, the coding unit 123 can supply the coded data and the scene description of the generated media data to the file generation unit 125.
  • the comparison information generation unit 124 performs processing related to generation of comparison information, which is information for reproducing and displaying 3D objects in a comparable manner.
  • the comparison information generation unit 124 can acquire the media data and the scene description supplied from the preprocessing unit 122. Further, the comparison information generation unit 124 can generate comparison information based on the data. Further, the comparison information generation unit 124 can supply the generated comparison information to the file generation unit 125.
  • the file generation unit 125 performs processing related to the generation of a file that summarizes the data of 6DoF contents. For example, the file generation unit 125 can acquire the coded data and the scene description of the media data supplied from the coding unit 123. Further, the file generation unit 125 can acquire the comparison information supplied from the comparison information generation unit 124. Further, the file generation unit 125 can file the data, that is, generate a file containing the data. At that time, the file generation unit 125 may include the comparison information in the scene description. That is, the file generation unit 125 may generate a file including the encoded data of the media data and the scene description including the comparison information. Further, the file generation unit 125 can supply the generated file to the MPD generation unit 126 and the storage unit 127.
  • the MPD generation unit 126 performs processing related to MPD generation. For example, the MPD generation unit 126 can acquire the file supplied from the file generation unit 125. Further, the MPD generation unit 126 corresponds to the file (media data, scene description, comparison information, etc. stored in the file) based on the media data, scene description, comparison information, etc. stored in the file. MPD can be generated. For example, the MPD generation unit 126 can generate an MPD including comparative information. Further, the MPD generation unit 126 can supply the generated MPD to the storage unit 127.
  • the storage unit 127 performs processing related to storage of 6DoF contents. For example, the storage unit 127 can acquire the file supplied from the file generation unit 125. In addition, the storage unit 127 can store the acquired file. Further, the storage unit 127 can acquire the MPD supplied from the MPD generation unit 126. In addition, the storage unit 127 can store the acquired MPD. Further, the storage unit 127 can supply the stored file or MPD to the upload unit 128 at a predetermined timing or in response to a predetermined event, request, or the like.
  • the upload unit 128 performs processing related to uploading 6DoF content.
  • the upload unit 128 can acquire a file or MPD supplied from the storage unit 127.
  • the upload unit 128 can communicate with the server 102 via the network 104 and transmit (upload) the acquired file or MPD to the server 102.
  • the comparison information generation unit 124 generates comparison information.
  • the file generation unit 125 can file the comparison information.
  • the MPD generation unit 126 can generate an MPD that reflects the comparison information.
  • the upload unit 128 can upload a file including the comparison information and an MPD reflecting the comparison information. That is, comparison information can be signaled. Therefore, the user of the client device 103 can make the comparison of 3D objects easier.
  • each of these processing units has an arbitrary configuration.
  • each processing unit may be configured by a logic circuit that realizes the above-mentioned processing.
  • each processing unit has, for example, a CPU (Central Processing Unit), a ROM (Read Only Memory), a RAM (Random Access Memory), and the like, and the above-mentioned processing is realized by executing a program using them. You may do so.
  • each processing unit may have both configurations, and a part of the above-mentioned processing may be realized by a logic circuit, and the other may be realized by executing a program.
  • the configurations of the respective processing units may be independent of each other. For example, some processing units realize a part of the above-mentioned processing by a logic circuit, and some other processing units execute a program.
  • the above-mentioned processing may be realized by the other processing unit by both the logic circuit and the execution of the program.
  • FIG. 3 is a block diagram showing a main configuration example of the client device 103. It should be noted that FIG. 3 shows the main things such as the processing unit and the data flow, and not all of them are shown in FIG. That is, in the client device 103, there may be a processing unit that is not shown as a block in FIG. 3, or there may be a processing or data flow that is not shown as an arrow or the like in FIG. As shown in FIG. 3, the client device 103 has a control unit 151 and a reproduction processing unit 152. The control unit 151 performs processing related to the control of the reproduction processing unit 152. The playback processing unit 152 is controlled by the control unit 151 to perform processing related to playback of 6DoF content.
  • the reproduction processing unit 152 includes an MPD processing unit 161, a data acquisition control unit 162, a comparison information acquisition unit 163, a display control unit 164, a coded data acquisition unit 165, a decoding unit 166, and a buffer 167. It has a display information generation unit 168 and a display unit 169.
  • MPD processing unit 161 performs processing related to MPD.
  • the MPD processing unit 161 can acquire an MPD corresponding to a desired 6DoF content specified by a user, an application, or the like.
  • the MPD processing unit 161 communicates with the server 102 via the network 104, requests the server 102 for the MPD corresponding to the desired 6DoF content, and acquires the MPD supplied in response to the request. Can be done. Further, the MPD processing unit 161 can parse the acquired MPD and supply the result to the data acquisition control unit 162.
  • the data acquisition control unit 162 performs processing related to control of 6DoF content acquisition.
  • the data acquisition control unit 162 can acquire the parse result of the MPD supplied from the MPD processing unit 161. Further, the data acquisition control unit 162 can control the acquisition of comparison information and scene description and the acquisition of encoded data of media data based on the parsing result (that is, the content of MPD).
  • the data acquisition control unit 162 can control the comparison information acquisition unit 163 to control which comparison information and scene description are to be acquired. Further, the data acquisition control unit 162 can acquire the comparison information acquired by the comparison information acquisition unit 163.
  • the data acquisition control unit 162 controls the coded data acquisition unit 165 based on the MPD parsing result (that is, the content of the MPD) and the comparison information, and determines which 6DoF content coded data is to be acquired. Can be controlled.
  • the comparison information acquisition unit 163 performs processing related to acquisition of comparison information.
  • the comparison information acquisition unit 163 can acquire the comparison information corresponding to the MPD acquired by the MPD processing unit 161 under the control of the data acquisition control unit 162.
  • the comparison information acquisition unit 163 communicates with the server 102 via the network 104, requests the server 102 for the desired comparison information specified by the data acquisition control unit 162, and is supplied in response to the request. Comparison information can be obtained.
  • the comparison information acquisition unit 163 can also acquire the scene description corresponding to the comparison information in the same manner. For example, when the comparison information is included in the scene description, the comparison information acquisition unit 163 can acquire the scene description including the comparison information in the same manner. Further, the comparison information acquisition unit 163 can supply the acquired comparison information (or scene description) to the data acquisition control unit 162 and the display control unit 164.
  • the display control unit 164 performs processing related to controlling the display of 6DoF content. For example, the display control unit 164 can acquire the comparison information (or the scene description) supplied from the comparison information acquisition unit 163. In addition, the display control unit 164 generates display control information that controls the playback / display of 6DoF content so that the 3D object can be reproduced and displayed in a comparable manner based on the comparison information (or scene description). , It can be supplied to buffer 167.
  • the coded data acquisition unit 165 performs processing related to the acquisition of coded data.
  • the coded data acquisition unit 165 is a medium corresponding to the MPD acquired by the MPD processing unit 161 and the comparison information (or scene description) acquired by the comparison information acquisition unit 163 under the control of the data acquisition control unit 162.
  • Data encoding Data can be acquired. That is, the coded data acquisition unit 165 can acquire the coded data of the media data of the 3D object to be compared, for example.
  • the coded data acquisition unit 165 communicates with the server 102 via the network 104, requests the data of the desired 6DoF content specified by the data acquisition control unit 162 from the server 102, and responds to the request. The coded data supplied in the above can be obtained. Further, the coded data acquisition unit 165 can supply the acquired coded data to the decoding unit 166.
  • the decoding unit 166 performs processing related to decoding the coded data. For example, the decoding unit 166 can acquire the coded data of the media data supplied from the coded data acquisition unit 165. Further, the decoding unit 166 decodes the coded data and generates (restores) the media data. It should be noted that this decoding method is arbitrary and may correspond to the coding method of the coding unit 123. Further, the decoding unit 166 can supply the generated (restored) media data to the buffer 167.
  • Buffer 167 performs processing related to data retention.
  • the buffer 167 can acquire and hold the media data supplied from the decoding unit 166.
  • the buffer 167 can acquire and hold the display control information supplied from the display control unit 164.
  • the buffer 167 can supply the retained information to the display information generation unit 168 at a predetermined timing or in response to a predetermined event, request, or the like.
  • the display information generation unit 168 performs processing related to the generation of display information such as image data to be displayed and its metadata. For example, the display information generation unit 168 can read and acquire media data, display control information, and the like held in the buffer 167. Further, the display information generation unit 168 can generate display information based on the data read from the buffer 167. Further, the display information generation unit 168 can supply the generated display information to the display unit 169.
  • the display unit 169 has a monitor, and performs processing related to display using the monitor. For example, the display unit 169 can acquire the display information supplied from the display information generation unit 168. In addition, the display unit 169 can display the display information on the monitor.
  • the comparison information acquisition unit 163 acquires the comparison information, and the display control unit 164 generates the display control information based on the comparison information. That is, the display control unit 164 controls the display of the 6DoF content so that a plurality of 3D objects of the 6DoF content are displayed in a comparable manner.
  • the display information generation unit 168 generates display information for displaying a plurality of 3D objects of 6DoF contents in a comparable manner based on the display control information, and displays the display information on the display unit 169.
  • the display unit 169 can display a plurality of 3D objects of 6DoF contents in a comparable manner. In this way, the client device 103 can more easily reproduce and display a plurality of 3D objects in a comparable manner based on the signaled comparison information. That is, the user can more easily compare 3D objects.
  • Each of these processing units (MPD processing unit 161 to display unit 169) of the client device 103 has an arbitrary configuration.
  • each processing unit may be configured by a logic circuit that realizes the above-mentioned processing.
  • each processing unit may have, for example, a CPU, ROM, RAM, etc., and execute a program using them to realize the above-mentioned processing.
  • each processing unit may have both configurations, and a part of the above-mentioned processing may be realized by a logic circuit, and the other may be realized by executing a program.
  • the configurations of the respective processing units may be independent of each other. For example, some processing units realize a part of the above-mentioned processing by a logic circuit, and some other processing units execute a program.
  • the above-mentioned processing may be realized by the other processing unit by both the logic circuit and the execution of the program.
  • the generation device 101 generates, for example, data as shown in FIG. 4 as 6DoF content data.
  • FIG. 4 is a diagram showing an example of distribution data distributed as 6DoF content.
  • the distribution data is 18 3D objects (OBJ1-1 to OBJ1-3, OBJ2-1 to OBJ2-3, OBJ3-1 to OBJ3-3, OBJ4-1 to OBJ4-3, OBJ5. -1 to OBJ5-3, OBJ6-1 to OBJ6-3) media data is included.
  • 3D objects are different 3D objects from each other.
  • the distribution data includes 6 scene descriptions (SD1 to SD6).
  • SD1 is a scene description corresponding to the media data of three 3D objects (OBJ1-1, OBJ1-2, OBJ1-3).
  • SD2 is a scene description corresponding to the media data of three 3D objects (OBJ2-1, OBJ2-2, OBJ2-3).
  • SD3 is a scene description corresponding to the media data of three 3D objects (OBJ3-1, OBJ3-2, OBJ3-3).
  • SD4 is a scene description corresponding to the media data of three 3D objects (OBJ4-1, OBJ4-2, OBJ4-3).
  • SD5 is a scene description corresponding to the media data of three 3D objects (OBJ5-1, OBJ5-2, OBJ5-3).
  • SD6 is a scene description corresponding to the media data of three 3D objects (OBJ6-1, OBJ6-2, OBJ6-3).
  • the distribution data includes comparison information for each scene description.
  • Compare_data_ext1 is the comparison information corresponding to SD1.
  • Compare_data_ext2 is the comparison information corresponding to SD2.
  • Compare_data_ext3 is the comparison information corresponding to SD3.
  • Compare_data_ext4 is the comparison information corresponding to SD4.
  • Compare_data_ext5 is the comparison information corresponding to SD5.
  • Compare_data_ext6 is the comparison information corresponding to SD6.
  • the distribution data includes the MPD corresponding to these data. That is, the MPD includes information for accessing each scene description (SD1 access information, SD2 access information, SD3 access information, SD4 access information, SD5 access information, and SD6 access information).
  • SD1 access information SD2 access information
  • SD3 access information SD4 access information
  • SD5 access information SD6 access information
  • MPD is information for accessing the media data of each 3D object (OBJ1-1 access information, OBJ1-2 access information, OBJ1-3 access information, OBJ2-1 access information, OBJ2-2 access information, OBJ2- 3 Access information, OBJ3-1 access information, OBJ3-2 access information, OBJ3-3 access information, OBJ4-1 access information, OBJ4-2 access information, OBJ4-3 access information, OBJ5-1 access information, OBJ5-2 access Information, OBJ5-3 access information, OBJ6-1 access information, OBJ6-2 access information, and OBJ6-3 access information).
  • This comparison information may include comparison identification information which is information about the 3D object to be compared.
  • the comparison information includes media data of a comparable 3D object and identification information (compare id) of a group of scene descriptions (also referred to as a comparable group) corresponding to the 3D object as the comparison identification information. That is, "compare id" is information indicating a comparable group.
  • the generation device 101 If there is no such comparison identification information, it is necessary for the user or the like to perform complicated work such as specifying which of the 18 3D objects in FIG. 4 can be compared. As described above, the generation device 101 generates and signals this comparative identification information, so that the client device 103 can compare which 3D object can be compared with which 3D object. It becomes possible to easily identify based on the identification information.
  • this comparative identification information can also be described in the MPD.
  • the comparative identification information corresponding to the scene description may be described in association with the access information to each scene description.
  • the comparison information may include comparison display information which is information regarding the display of comparable 3D objects. That is, the comparison display information is information on how to reproduce and display the 3D object when the 3D object is reproduced and displayed in a comparable manner.
  • the configuration of the distribution data is arbitrary and is not limited to the example of FIG.
  • the number of 3D objects and scene descriptions is arbitrary.
  • the number of 3D objects corresponding to each scene description is arbitrary.
  • the comparison information is generated for each scene description, the number is not limited to the example of FIG.
  • comparable 3D objects are also optional. That is, the comparable group composed of the distribution data is not limited to the example of FIG. Further, the value of compare id is also arbitrary and is not limited to x, y, and z in FIG.
  • the comparable display of 3D objects is arbitrary.
  • a plurality of 6DoF images including a 3D object to be compared may be displayed side by side. That is, in this case, the comparison information includes information for performing such a display.
  • the 6DoF video 201 including the object 201A which is the 3D object to be compared and the 6DoF video 202 including the object 202A which is also the 3D object to be compared are displayed side by side.
  • the state of the bat swing by the object 201A and the state of the bat swing by the object 202A can be compared.
  • one 3D object placed in one scene description (6DoF scene description) can be compared with a 3D object placed in another scene description (6DoF scene description).
  • Each 6DoF image is displayed side by side with its viewpoint position, line-of-sight direction, angle of view, etc. adjusted appropriately.
  • viewpoint position information indicating the viewpoint position in each 6DoF scene description for viewing comparable 3D objects from the same angle to the same size
  • Line-of-sight direction information indicating the line-of-sight direction at the viewpoint position
  • angle of view information indicating the display area
  • start time information indicating the start time of the 3D object comparison target operation
  • end time indicating the start time of the 3D object comparison target operation
  • FIG. 6 shows an example of signaling of comparative information when such a display is performed.
  • This example is described in glTF2.0 (see Non-Patent Document 4), which is a format for arranging 3D still image contents, animation data, etc. in 6DoF space. Due to its extensibility and the fact that various tools are already supported, glTF2.0 is expected to be adopted as a scene description of MPEG-I, so that 3D video content and 3D Audio content can also be described. Consideration of standard extension in Japan has begun.
  • an extension "CompareDataExtension” for signaling comparison information is defined in a glTF object called "scene”, and in that extension, comparison identification information and comparison display information are signaled.
  • “Compare_sub_info” is information indicating the subcategory of "compare_id”. For example, as this "compare_sub_info”, it is possible to signal arbitrary information regarding the comparison target such as date and time, player name, ball type (for example, straight, curve, fork, etc.), ball speed, rotation speed, and the like.
  • the usage of this "compare_sub_info” information is arbitrary. For example, this "compare_sub_info” information may be used for sorting and searching content. Further, for example, “compare_sub_info.type” may signal the category information, and “compare_sub_info.data” may signal the actual value in the category.
  • Object_id is information indicating the 3D object to be compared. That is, "object_id” is identification information indicating which 3D object is the comparison target among the 3D objects corresponding to this scene description. In other words, this "object_id” is signaled to associate the scene description with the 3D object to be compared.
  • Viewpoint_position is information indicating the initial viewpoint position for viewing this 3D object (also referred to as initial viewpoint position information, for example, a three-dimensional array) for comparison.
  • view_orientation is information indicating an initial line-of-sight method at this initial viewpoint position (also referred to as initial line-of-sight method information, for example, a three-dimensional array) for comparison.
  • view_window is information indicating the vertical and horizontal angles of view (also referred to as angle of view information, for example, a two-dimensional array) for cutting out a 6DoF image including a 3D object for comparison.
  • “window_arrangement_type” is information (also referred to as arrangement method information) indicating an arrangement method (for example, whether to arrange horizontally or vertically) of 6DoF images at the time of comparative display.
  • "compareStartTime” is information indicating the time when the comparison is started (also referred to as the comparison start time, for example, the elapsed time from the beginning of the content).
  • “compareEndTime” is information indicating the time when the comparison ends (also referred to as the comparison end time, for example, the elapsed time from the beginning of the content).
  • “compare_time_type” is information about the playback speed of each content to be compared.
  • the content is played back at a fast-forward playback speed (that is, a playback speed faster than the normal speed) so as to match the comparison end times of the two. )
  • slow playback that is, playback at a playback speed slower than the normal speed
  • "compare_time_type” is information indicating the type of such playback speed (that is, information indicating what type of playback speed the content is played back).
  • window_arrangement_type and “compare_time_type” should have the same information for those that make the same comparison, so they are signaled to have the same value for those with the same "compare_id”.
  • ComparisonData Extension is an array that can have comparison information for each 3D object, assuming that one 6DoF video contains multiple comparable 3D objects. That is, the comparison information may be configured for each 3D object.
  • the above “CompareDataExtension” can be signaled in, for example, a scene description. That is, the comparison information can be included in the scene description.
  • the comparative identification information may be signaled to the MPD. That is, the comparative identification information can be included in the MPD.
  • the client device 103 can know which data can be compared before acquiring the 6DoF scene description including the comparison information. Therefore, the client device 103 can, for example, create list information of the comparison target from the comparison identification information of the MPD and present it to the user as a UI (User Interface).
  • UI User Interface
  • FIG. 7 is a diagram showing an example of MPD in that case.
  • the comparative identification information "compare_id" and “compare_sub_info” are signaled to the supplemental property (supplementalProperty) of the adaptation set (AdaptationSet) including the 3D object to be compared.
  • supplementalProperty the supplemental property of the adaptation set (AdaptationSet) including the 3D object to be compared.
  • the position for signaling the comparative identification information is arbitrary and is not limited to the example of FIG.
  • the generation device 101 can generate and signal such comparison information by executing the file generation process.
  • An example of the flow of the file generation process in this case will be described with reference to the flowchart of FIG.
  • the data input unit 121 of the generation device 101 acquires the media data and the scene description of the 6DoF content to be distributed in step S101.
  • step S102 the preprocessing unit 122 appropriately preprocesses the media data and the scene description.
  • step S103 the comparison information generation unit 124 generates comparison information based on media data, a scene description, settings by the user, and the like. At that time, the comparison information generation unit 124 generates comparison information for each scene description.
  • step S104 the coding unit 123 encodes the media data and generates the coded data.
  • step S105 the file generation unit 125 generates a file including the comparison information generated in step S103, the scene description, the coded data of the media data in step S104, and the like.
  • step S106 the storage unit 127 stores the file generated in step S105.
  • step S107 the upload unit 128 reads the file stored in the storage unit 127 at a predetermined timing or in response to a predetermined event, request, or the like, and uploads the file to the server 102.
  • the generation device 101 can signal the comparison information.
  • the client device 103 can grasp the comparable contents based on the comparison information.
  • the client device 103 can display the 3D object to be compared based on the comparison information so that the user can easily compare the objects. Therefore, the user of the client device 103 can more easily compare the 3D objects. For example, the user can more easily compare the behavior of the 3D object to be compared from all perspectives.
  • the client device 103 can reproduce and display a plurality of 3D objects of 6DoF contents in a comparable manner.
  • An example of the flow of the reproduction process in this case will be described with reference to the flowchart of FIG.
  • the MPD processing unit 161 of the client device 103 accesses the server 102 in step S121 and acquires the MPD of the desired 6DoF content.
  • the MPD processing unit 161 parses the acquired MPD.
  • step S122 the comparison information acquisition unit 163 acquires the comparison identification information signaled to the MPD based on the parsing result.
  • the display unit 169 presents the user with list information of 3D objects that can be compared based on the comparison identification information.
  • the display control unit 164 identifies 3D objects belonging to the same comparable group with each other based on "compare_id”, generates display control information for displaying the list, and supplies the display control information to the buffer 167. ..
  • the display information generation unit 168 acquires the display control information via the buffer 167 and generates display information including a list of comparable 3D objects.
  • the display unit 169 presents a list of comparable 3D objects to the user by displaying the display information on the monitor.
  • the user inputs a selection of 3D objects to compare based on the presented list of comparable 3D objects.
  • the input unit (not shown) of the client device 103 accepts an input operation by the user or the like. That is, the selection input of the 3D object to be compared by the user or the like is accepted.
  • step S124 the coded data acquisition unit 165 acquires the coded data corresponding to the 3D object to be compared selected by the user, that is, the coded data of the media data of the 3D object.
  • the comparison information acquisition unit 163 acquires the comparison display information corresponding to the 3D object to be compared.
  • the comparison information acquisition unit 163 acquires the comparison display information corresponding to the 3D object to be compared selected by the user based on "compare_sub_info", "object_id", and the like.
  • the comparison information acquisition unit 163 acquires the scene description including the comparison display information corresponding to the 3D object to be compared selected by the user, and the scene. Get comparison display information from the description.
  • step S126 the decoding unit 166 decodes the coded data acquired in step S124 and generates (restores) the media data of the 3D object to be compared.
  • step S127 the display information generation unit 168 and the like reproduce and display the 3D object and the scene description (6DoF scene description) to be compared based on the comparison display information and the like acquired in step S125.
  • the display control unit 164 reproduces and displays a 3D object or a scene description (6DoF scene description) to be compared in a comparable manner based on the comparison display information or the like.
  • the display control unit 164 can specify the initial viewpoint position from "viewpoint_position”. Further, the display control unit 164 can specify the initial line-of-sight direction from "view_orientation”. Further, the display control unit 164 can specify the vertical and horizontal angles of view for cutting the 6DoF image from the "view_window”. That is, the display control unit 164 can set each 6DoF video to be compared based on this information.
  • the display control unit 164 can specify the arrangement method of the 6DoF video from "window_arrangement_type”. Further, the display control unit 164 can specify the comparison start time from “compareStartTime”, specify the comparison end time from “compareEndTime”, and specify the playback speed from "compare_time_type”. That is, the display control unit 164 can set how to display each 6DoF video to be compared based on the information.
  • the display information generation unit 168 generates display information as shown in FIG. 5, for example, according to the display control, and the display unit 169 displays the display information on the monitor. By doing so, multiple 3D objects are played and displayed in a comparable manner.
  • step S127 When the process of step S127 is completed, the reproduction process is completed.
  • the client device 103 can grasp the comparable contents based on the signaled comparison information. Further, the client device 103 can reproduce and display a plurality of 3D objects in a comparable manner based on the comparison information. At that time, the client device 103 can display the 3D object to be compared based on the comparison information so that the user can easily compare the objects. Therefore, the user of the client device 103 can more easily compare the 3D objects. For example, the user can more easily compare the behavior of the 3D object to be compared from all perspectives.
  • FIG. 6 is an example of a scene description, and the description of the scene description is not limited to the example of FIG.
  • a scene description other than glTF2.0 for example, a scene description described in Non-Patent Document 1 may be extended to signal similar information.
  • the comparison of 6DoF video including the 3D object to be compared is not limited to two, and the comparison of two or more can be realized with the same signal.
  • "view_window” as an array, it is possible to signal the angle of view information in the case of three comparisons and the angle of view information in the case of four comparisons. The same applies to the following examples.
  • the comparable display method of the 3D object is arbitrary and is not limited to the example of FIG.
  • one of the 6DoF contents to be compared utilizes both the 6DoF scene description and the 3D object, the other utilizes only the 3D object, and in one scene description the 3D object and the other. It may be displayed by superimposing it on the 3D object of. That is, for example, as shown in FIG. 10, another 3D object is superimposed and displayed on the 6DoF content corresponding to one of the plurality of 3D objects to be compared so that the 3D objects are superimposed and displayed. You may. That is, in this case, the comparison information includes information for performing such a display.
  • the object 202A is arranged and displayed so as to be superimposed on the 6DoF video 201 including the object 201A in a state suitable for comparison with the object 201A. That is, one 3D object and the background are superimposed on the other 3D object.
  • this display for example, the state of the bat swing by the object 201A and the state of the bat swing by the object 202A can be superimposed and compared.
  • the viewpoint position information in each 6DoF scene description and the position information (line of sight) for indicating the center position of the 3D object are shown.
  • Comparison display information such as angle of freedom information indicating the display area, start time information and end time information of the operation to be compared with the 3D object, and information indicating how to use the time information is required.
  • FIG. 11 shows an example of signaling of comparative information when such a display is performed. This example is also described in glTF 2.0, as in FIG. The description of the same parts as in the example of FIG. 6 will be omitted. In the case of this example, "object_centre_position”, “priority”, “overlay_scene_transparency”, and “overlay_object_type” are signaled as comparison display information.
  • Object_centre_position is information (for example, a three-dimensional array) indicating the center point of a 3D object (the center point of a bounding box that is a cube that stores a 3D object). This information can be used not only to superimpose two 3D objects, but also to derive the line-of-sight direction. That is, this information includes line-of-sight direction information.
  • Priority is information about priority. For example, this information may indicate the content on which the overlay is based (ie, content that utilizes not only 3D objects but also scene descriptions). That is, the client device 103 may determine which content is to be based on the priority indicated in this "priority".
  • priority may indicate the priority directly or indirectly.
  • priority may indicate what to use as a priority.
  • "priority” signals that the date and time information when the content was created is based on the oldest content
  • "compare_sub_info” signals the date and time information when the content was created. May be good.
  • the client device 103 grasps that the date and time information in which the content was created is based on the oldest content based on the "priority", and the date and time information signaled as "compare_sub_info". You can select the content to base on.
  • “Overlay_scene_transparency” signals the transparency of the 6DoF video that contains the 3D object overlaid. By setting this transparency to 100%, it is possible to superimpose only 3D objects without superimposing scene descriptions.
  • the transmittance may be less than 100%. That is, a plurality of 3D objects and a background may be superimposed. That is, one of the base scene descriptions (including the 3D object to be compared) may be superimposed on the other scene description (including the 3D object to be compared) to be displayed.
  • the object 202A is superimposed on the 6DoF image 201, but the 6DoF image 202 may be superimposed on the 6DoF image 201 with a predetermined transparency. By doing so, it is possible to superimpose the backgrounds of a plurality of 6DoF images.
  • “Overlay_object_type” signals how to display 3D objects to be overlaid.
  • this "overlay_object_type” specifies the display method such as skeleton, difference information, bone, and line. For example, make the transparency of the superimposed 3D object larger than 0%, set the pixel value of the superimposed part as the difference value of both 3D objects, display the superimposed 3D object as a line, or display the superimposed 3D object as a line.
  • a display method such as displaying only the outer shape (outer frame) can be specified by this information.
  • the display control unit 164 can specify the center point of each 3D object to be compared from "object_centre_position". Therefore, the display control unit 164 can superimpose each 3D object by arranging each 3D object so that the center points are aligned (same position). The display control unit 164 can also specify the initial line-of-sight direction from this "object_centre_position".
  • the display control unit 164 can determine which content is to be based on the "priority”. That is, the display control unit 164 can specify the base 6DoF video based on the "priority".
  • the display control unit 164 can specify the transparency of the 6DoF image including the 3D object superimposed on the "overlay_scene_transparency”. That is, the display control unit 164 can set the transparency of the 6DoF image including the 3D object to be superimposed on the transparency to the transparency specified by "overlay_scene_transparency".
  • the display control unit 164 can specify the display method of the 3D object to be superimposed from "overlay_object_type”. That is, the display control unit 164 can set the display method of the 3D objects to be superimposed to the type specified by "overlay_object_type".
  • the display information generation unit 168 generates the display information as shown in FIG. 10, for example, according to the display control as described above, and the display unit 169 displays the display information on the monitor. By doing so, multiple 3D objects are played and displayed in a comparable manner.
  • the "CompareDataExtension” can be signaled, for example, in the scene description. That is, the comparison information can be included in the scene description.
  • ⁇ Comparison example> In such a 6DoF image displayed in a comparable manner, it is desirable that the 3D objects to be compared stay at substantially the same position and operate. For example, when a 3D object such as swimming or sprinting moves in a 6DoF scene description, the viewpoint position, line-of-sight direction, etc. are set according to the movement so that the 3D object to be compared stays at approximately the same position in the 6DoF video. You can change it.
  • the above-mentioned signal indicates the initial value of information for comparison. If the initial values are matched, even if the position of the 3D object changes with the passage of time, the comparison display can be performed in the same way.
  • one of the 6DoF contents to be compared uses both the 6DoF scene description and the 3D object, the other uses only the 3D object, and in one scene description, with that 3D object. It may be displayed side by side with the other 3D object. That is, for example, as shown in FIG. 12, the other 3D objects are superimposed and displayed on the 6DoF content corresponding to one of the plurality of 3D objects to be compared so that the 3D objects are displayed side by side. May be good. That is, in this case, the comparison information includes information for performing such a display.
  • the object 202A is arranged so as to be displayed side by side in the 6DoF video 201 including the object 201A in a state suitable for comparison with the object 201A. That is, one 3D object and the background are superimposed on the other 3D object.
  • this display for example, in the 6DoF video 201, the state of the bat swing by the object 201A and the state of the bat swing by the object 202A can be compared side by side.
  • the viewpoint position information in each 6DoF scene description and the position information (line of sight) for indicating the center position of the 3D object are shown.
  • FIG. 13 shows an example of signaling of comparative information when such a display is performed. This example is also described in glTF 2.0, like the examples in FIGS. 6 and 10. The description of the same parts as those in the examples of FIGS. 6 and 10 will be omitted. In the case of this example, "other_object_position" is signaled as the comparison display information.
  • “Other_object_position” is position information indicating the location of the center point of the 3D object to be superimposed. This position information may be signaled as an array according to the number of 3D objects to be arranged. That is, when comparing N 3D objects, (N-1) position information may be signaled as an array. For example, in the case of FIG. 12, since it is a comparison of two 3D objects, one position information is signaled.
  • These comparative display information is used, for example, in the reproduction process executed by the client device 103.
  • the display control unit 164 can specify the location of the center point of the 3D object superimposed from "other_object_position". Therefore, the display control unit 164 can set the position of the center point of each 3D object to a position where the 3D objects do not overlap each other based on this information.
  • the display information generation unit 168 generates the display information as shown in FIG. 12, for example, according to the display control as described above, and the display unit 169 displays the display information on the monitor. By doing so, multiple 3D objects are played and displayed in a comparable manner.
  • the "CompareDataExtension” can be signaled, for example, in the scene description. That is, the comparison information can be included in the scene description.
  • the client device 103 views one 6DoF image from two different viewpoints when displaying it. It is necessary to provide a display that looks like it is. If this process is not performed, two 3D objects are placed in one 6DoF image, so the 3D objects may be hidden behind the other depending on the angle, or the size of the two 3D objects may increase due to perspective.
  • the display may be different.
  • Second Embodiment> ⁇ Signaling of comparison information corresponding to multiple scene descriptions>
  • a method of signaling comparative information corresponding to a plurality of scene descriptions will be described.
  • the configuration of the distribution system 100 and each device (for example, the generation device 101 and the client device 103) constituting the distribution system 100 is the same as in the case of the first embodiment described above. That is, unless otherwise specified, the description of the configuration of the distribution system 100 and each device made in the first embodiment can be applied to the second embodiment as well.
  • FIG. 14 is a diagram showing an example of distribution data distributed as 6DoF content.
  • the comparison information (comparison identification information and comparison display information) that was distributed and signaled for each scene description in the example of FIG. 4 is listed and put together into one, and each scene disk. Placed at the same level as the description. That is, a Compare List, which is a list of comparison information, is generated and signaled separately from the scene description (SD1 to SD6). That is, this CompareList includes comparison information (Compare_data1 to Compare_data6) corresponding to each scene description. Such a Compare List makes it easier to access comparison information. When an MPD is generated, the MPD may include information for accessing this CompareList (CompareList access information). This access information makes it easier to access the comparison information.
  • This comparison information may include comparison control information which is information for listing comparison information about a plurality of 3D objects.
  • FIG. 15 shows an example of signaling of comparative information when such a display is performed. This example is written in binary data. The description of the parts similar to the parameters described in the first embodiment will be omitted.
  • the comparison information may include "number_of_compare”, “number_of_compare_data”, “Scene_description_file_name”, etc. as the comparison control information.
  • “Number_of_compare” is information indicating the number of “compare_id” to be signaled.
  • “number_of_compare_data” is information indicating the number of 3D objects to be compared grouped by this "compare_id”.
  • "Scene_description_file_name” is information indicating a 6DoF image associated with each 3D object. For example, the number of "compare_id” is signaled by "number_of_compare” in order to summarize the comparison information for each "compare_id”.
  • the MPD may be signaled with access information to the comparison information (Compare List).
  • the client device 103 can acquire the compare_list at the beginning of the process. That is, the comparison information (Compare List) can be easily acquired. Then, the client device 103 can also create list information of the comparison target based on the comparison information (Compare List) and present it to the user as a UI (User Interface).
  • FIG. 16 is a diagram showing an example of MPD in that case.
  • the information indicating that the comparison information is listed that is, it is a CompareList
  • AdaptationSet adaptation set
  • the position where the information indicating that the Compare List is signaled is arbitrary, and is not limited to the example of FIG.
  • step S103 the comparison information generation unit 124 lists and summarizes the comparison information corresponding to each of the plurality of scene descriptions, that is, the comparison information corresponding to the plurality of scene descriptions. To generate. Other processing is performed in the same manner as in the case of FIG.
  • the MPD processing unit 161 of the client device 103 accesses the server 102 in step S141 and acquires the MPD of the desired 6DoF content.
  • the MPD processing unit 161 parses the acquired MPD.
  • step S142 the comparison information acquisition unit 163 acquires a file including the compareList signaled to the MPD based on the parsing result. That is, the comparison information acquisition unit 163 acquires the compareList shown in the MPD.
  • step S143 the comparison information acquisition unit 163 acquires the comparison identification information from the compareList acquired in step S142.
  • the display unit 169 presents the user with list information of 3D objects that can be compared based on the comparison identification information.
  • the display control unit 164 identifies 3D objects belonging to the same comparable group with each other based on "compare_id”, generates display control information for displaying the list, and supplies the display control information to the buffer 167. ..
  • the display information generation unit 168 acquires the display control information via the buffer 167 and generates display information including a list of comparable 3D objects.
  • the display unit 169 presents a list of comparable 3D objects to the user by displaying the display information on the monitor.
  • the user inputs a selection of 3D objects to compare based on the presented list of comparable 3D objects.
  • the input unit (not shown) of the client device 103 accepts an input operation by the user or the like. That is, the selection input of the 3D object to be compared by the user or the like is accepted.
  • step S145 the coded data acquisition unit 165 acquires the coded data corresponding to the 3D object to be compared selected by the user, that is, the coded data of the media data of the 3D object.
  • the comparison information acquisition unit 163 acquires the scene description corresponding to the 3D object.
  • the comparison information acquisition unit 163 acquires the comparison display information corresponding to the 3D object to be compared. For example, the comparison information acquisition unit 163 acquires the comparison display information corresponding to the 3D object to be compared selected by the user based on "compare_sub_info", "object_id", and the like.
  • step S146 the decoding unit 166 decodes the coded data acquired in step S145 and generates (restores) the media data of the 3D object to be compared.
  • step S147 the display information generation unit 168 and the like reproduce and display the 3D object and the scene description (6DoF scene description) to be compared based on the comparison display information and the like acquired in step S145.
  • the display control unit 164 reproduces and displays a 3D object or a scene description (6DoF scene description) to be compared in a comparable manner based on the comparison display information or the like.
  • the display control unit 164 controls the display based on each parameter of the comparative display information.
  • the display information generation unit 168 generates display information capable of comparing a plurality of 3D objects according to the display control, and the display unit 169 displays the display information on the monitor. By doing so, multiple 3D objects are played and displayed in a comparable manner.
  • step S147 When the process of step S147 is completed, the reproduction process is completed.
  • the client device 103 can more easily reproduce and display a plurality of 3D objects in a comparable manner based on the signaled comparison information. Therefore, the user can more easily compare 3D objects.
  • compare_sub_info may be used to signal the number of times it has been distributed (displayed) or the number of times it has been liked. For example, this information may be updated each time an update is made to realize sort display in the order of popular contents.
  • comparison information corresponding to each scene description is collected as one as described above, the comparison information is dispersed for each scene description as in the case of the first embodiment. , Such updating of comparison information can be realized more easily.
  • priority it may be indicated that the number of impressions (number of distributions) and the like are used as the priority.
  • scene descriptions for comparison scene descriptions for comparison between 3D objects OBJ2 and OBJ4 (ComareSD1-2), scene descriptions for comparison between 3D objects OBJ2 and OBJ9 (ComareSD1-3), and 3D objects
  • Scene description for comparison between OBJ2 and OBJ11 ComareSD1-4
  • scene description for comparison between 3D object OBJ4 and OBJ9 ComareSD2-3
  • scene description for comparison between 3D objects OBJ4 and OBJ11 ComareSD2-4
  • a scene description ComareSD3-1) for comparison between 3D objects OBJ9 and OBJ11 is included.
  • comparison information comparison information (Compare_data_ext1-2) corresponding to the scene description for comparison (ComareSD1-2), comparison information (Compare_data_ext1-3) corresponding to the scene description for comparison (ComareSD1-3), Comparison information (Compare_data_ext1-4) corresponding to the comparison scene description (ComareSD1-4), comparison information (Compare_data_ext1-5) corresponding to the comparison scene description (ComareSD1-5), comparison scene description Comparison information (Compare_data_ext2-3) corresponding to (ComareSD2-3), comparison information (Compare_data_ext2-4) corresponding to the scene description for comparison (ComareSD2-4), and scene description for comparison (ComareSD3-4). ) Corresponds to the comparison information (Compare_data_ext3-4).
  • the distribution data includes the MPD corresponding to these data. That is, the MPD contains information for accessing the scene description for comparison.
  • FIG. 19 shows an example of signaling of comparative information when such a display is performed. This example is also described in glTF 2.0, as in FIG. The description of the same parts as those of the above-described examples will be omitted with reference to FIG. 6 and the like.
  • This example is a signal example when realizing a case where two 3D objects are arranged side by side on one background and compared as in the example of FIG.
  • the "scene” described in the scene description for comparison has three “nodes”. Two of these "nodes” are information for arranging a 3D object in association with a "scene”, and have "translation”, “rotation”, “scale”, etc. as the arrangement information. These placement information is signaled so that the placement is suitable for comparison.
  • the remaining one "node” is a "camera” and has information corresponding to the viewpoint position information and the angle of view information. Up to this point, the existing glTF 2.0 functions have been used.
  • comparison_id which is comparative identification information
  • compare_time_type which indicates the temporal reproduction method of the two 3D objects at the time of comparison
  • step S103 the comparison information generation unit 124 generates a scene description for comparison, and generates comparison information corresponding to the scene description.
  • the comparison information generation unit 124 generates a scene description for comparison including comparison information corresponding to a plurality of 3D objects to be compared.
  • Other processing is performed in the same manner as in the case of FIG.
  • the MPD processing unit 161 of the client device 103 accesses the server 102 in step S161 and acquires the MPD of the desired 6DoF content.
  • the MPD processing unit 161 parses the acquired MPD.
  • step S162 the comparison information acquisition unit 163 acquires the information of the comparison scene description (compareSD) signaled to the MPD based on the parsing result.
  • the display unit 169 presents the comparison scene description (compareSD) list information to the user based on the comparison scene description (compareSD) information.
  • the display control unit 164 identifies scene descriptions (compareSD) for comparison belonging to the same comparable group with each other based on the "compare_id" shown in the MPD, and generates display control information for displaying the list.
  • the display control information is supplied to the buffer 167.
  • the display information generation unit 168 acquires the display control information via the buffer 167, and generates display information including a list of scene descriptions (compareSD) for comparison.
  • the display unit 169 presents a list of scene descriptions (compareSD) for comparison to the user by displaying the display information on the monitor.
  • the user inputs the selection of the scene description (compareSD) for comparison based on the presented list of scene descriptions (compareSD) for comparison.
  • the scene description (compareSD) for comparison the 3D object to be compared can be selected.
  • the input unit (not shown) of the client device 103 accepts an input operation by the user or the like. That is, the user or the like accepts the selection input of the 3D object to be compared.
  • step S164 the comparison information acquisition unit 163 acquires the comparison scene description (compareSD) selected by the user, and acquires the comparison information from the scene description (compareSD) for comparison.
  • step S165 the coded data acquisition unit 165 acquires the coded data corresponding to the 3D object to be compared selected by the user, that is, the coded data of the media data of the 3D object.
  • the comparison information acquisition unit 163 acquires the scene description corresponding to the 3D object. Then, the comparison information acquisition unit 163 acquires the comparison display information from the scene description.
  • step S166 the decoding unit 166 decodes the coded data acquired in step S165 and generates (restores) the media data of the 3D object to be compared.
  • step S167 the display information generation unit 168 and the like reproduce and display the 3D object and the scene description (6DoF scene description) to be compared based on the comparison information and the like acquired in step S164 and step S165.
  • the display control unit 164 reproduces and displays a 3D object or a scene description (6DoF scene description) to be compared in a comparable manner based on the comparison display information or the like.
  • the display control unit 164 controls the display based on each parameter of the comparative display information.
  • the display information generation unit 168 generates display information capable of comparing a plurality of 3D objects according to the display control, and the display unit 169 displays the display information on the monitor. By doing so, multiple 3D objects are played and displayed in a comparable manner.
  • step S167 When the process of step S167 is completed, the reproduction process is completed.
  • the client device 103 can more easily reproduce and display a plurality of 3D objects in a comparable manner based on the signaled comparison information. Therefore, the user can more easily compare 3D objects.
  • comparison information (Compare_data_ext_x) corresponding to the comparison scene description (ComareSD_for_ext_x
  • comparison information (Compare_data_ext_y) corresponding to the comparison scene description (ComareSD_for_ext_x)
  • comparison scene description (ComareSD_for_ext_z)
  • Generate comparison information (Compare_data_ext_z) corresponding to.
  • the 3D object to be linked is not specified at this point, and will be linked after being specified by the user.
  • FIG. 23 shows an example of signaling of comparative information when such a display is performed. This example is also described in glTF 2.0, as in FIG. The description of the same parts as those of the above-described examples will be omitted with reference to FIG. 6 and the like.
  • the "scene” described in the scene description for comparison has three “nodes”. Two of these "nodes” are information for arranging a 3D object in association with a "scene”, and have "translation”, “rotation”, “scale”, etc. as the arrangement information. These placement information is signaled so that the placement is suitable for comparison.
  • the remaining one "node” is a "camera” and has information corresponding to the viewpoint position information and the angle of view information. Up to this point, the existing glTF 2.0 functions have been used.
  • comparison_id which is comparative identification information
  • compare_time_type which indicates the temporal reproduction method of the two 3D objects at the time of comparison
  • object_overlay_type which indicates the shape of the overlapping objects
  • step S103 the comparison information generation unit 124 creates only one scene description for comparison for each comparison group (compare_id). At this point, the 3D object is not linked to the scene description for comparison, and the link is made during playback. For example, the comparison information generation unit 124 generates a scene description for comparison including comparison information corresponding to a group of scene descriptions including a comparable 3D object. Other processing is performed in the same manner as in the case of FIG.
  • the MPD processing unit 161 of the client device 103 accesses the server 102 in step S181 and acquires the MPD of the desired 6DoF content.
  • the MPD processing unit 161 parses the acquired MPD.
  • step S182 the comparison information acquisition unit 163 acquires the file information of the comparison scene description (compareSD) signaled to the MPD based on the parsing result.
  • step S183 the comparison information acquisition unit 163 acquires comparison information from the comparison scene description (compareSD).
  • step S184 the display control unit 164 acquires information on comparable objects from the comparison information.
  • step S185 the display unit 169 and the like display the list information of the comparable objects on the monitor and present it to the user.
  • the display control unit 164 identifies comparable 3D objects belonging to the same comparable group to each other based on the "compare_id" shown in the comparison scene description (compareSD), and displays a list thereof.
  • Information is generated and the display control information is supplied to the buffer 167.
  • the display information generation unit 168 acquires the display control information via the buffer 167, and generates display information including a list of scene descriptions (compareSD) for comparison.
  • the display unit 169 presents a list of comparable 3D objects to the user by displaying the display information on the monitor.
  • the user inputs the selection of the 3D object to be compared based on the presented list. That is, the user selects the 3D object to be compared from the 3D objects that can be compared.
  • the input unit (not shown) of the client device 103 accepts an input operation by the user or the like. That is, the user or the like accepts the selection input of the 3D object to be compared.
  • step S186 the coded data acquisition unit 165 acquires the coded data corresponding to the 3D object to be compared selected by the user, that is, the coded data of the media data of the 3D object.
  • step S187 the decoding unit 166 decodes the coded data acquired in step S186 and generates (restores) the media data of the 3D object to be compared.
  • step S188 the display information generation unit 168 and the like associate the media data of the 3D object to be compared with the scene description (compareSD) for comparison based on the comparison information and the like, and display the image appropriately. Play back at the right time.
  • the display information generation unit 168 generates display information capable of comparing a plurality of 3D objects according to the display control, and the display unit 169 displays the display information on the monitor. By doing so, multiple 3D objects are played and displayed in a comparable manner.
  • step S188 When the process of step S188 is completed, the reproduction process is completed.
  • the client device 103 can more easily reproduce and display a plurality of 3D objects in a comparable manner based on the signaled comparison information. Therefore, the user can more easily compare 3D objects.
  • the background used here may be newly prepared, or the same background as the scene description (6DoF scene description) including the base 3D object to be compared may be used. good.
  • the comparison information may include comparative viewing method information, which is information that specifies a viewing method for the content in which the 3D object is displayed in a comparable manner. In the present embodiment, a method of signaling this comparative viewing method information will be described.
  • the content author indicates whether or not comparison is recommended as the intention of the content author, and when it is further recommended, a comparison scenario (for example, a comparison target is selected from the list display for the user). Signal information indicating that (the client selects the comparison content according to the priority).
  • the list is displayed, and the user selects the comparison target from the list and displays the comparison.
  • the content is viewed from the beginning (normal viewing) and comparative display is performed during the playback will be described.
  • Comparison is not recommended 2.
  • the comparison display is based on the priority.
  • the comparison display may be such that the user can select from the list display. Therefore, such comparative viewing method information is signaled.
  • the comparison display list shall be displayed at the "alert timing for comparison" in FIG. 26.
  • the comparison display is performed according to the comparison target time of the content being viewed.
  • a viewing experience such as returning to normal viewing is provided.
  • FIG. 27 shows an example of signaling of comparative information when such a display is performed. This example is also described in glTF 2.0 as in FIG. The description of the same parts as those of the above-described examples will be omitted with reference to FIG.
  • FIG. 27 the same signal method as in the example of FIG. 11 (as shown in FIG. 10, 6DoF corresponding to one of the plurality of 3D objects to be compared so that the 3D objects are displayed in an overlapping manner).
  • An example of signaling the above-mentioned comparative viewing method information in the case where another 3D object is superimposed and displayed on the content is shown.
  • "compare_method" is signaled.
  • “Compare_method” is comparative viewing method information, and is information that specifies a viewing method for content in which 3D objects are displayed in a comparable manner.
  • the value of "compare_method” and the viewing method specified by “compare_method” are arbitrary. An example is shown below.
  • FIG. 28 is a diagram showing an example of MPD in that case.
  • "compare_method” is signaled to the supplemental property (supplementalProperty) of the adaptation set (AdaptationSet) including the scene description of the viewing content as the comparative viewing method information.
  • supplementalProperty the supplemental property of the adaptation set
  • AdaptationSet adaptation set
  • the position where the comparative viewing method information is signaled is arbitrary, and is not limited to the example of FIG. 28.
  • the comparison information generation unit 124 can generate the above-mentioned comparative viewing method information as the comparison information. Other processing is performed in the same manner as in other cases such as FIG. By doing so, the generation device 101 can indicate whether or not the comparison is recommended as the intention of the content author, and can signal information indicating a comparison scenario when the comparison is recommended. By doing so, it is possible to provide the playback side (client device 103, etc.) with a comparison scenario when there is a comparison target during normal viewing.
  • the MPD processing unit 161 of the client device 103 accesses the server 102 in step S201 and acquires the MPD of the desired 6DoF content.
  • the MPD processing unit 161 parses the acquired MPD.
  • step S202 the comparison information acquisition unit 163 acquires the scene description signaled to the MPD based on the parsing result, and reproduces the normal viewing.
  • the comparison information acquisition unit 163 acquires the comparison viewing method information corresponding to the content. For example, when the scene description includes the comparative viewing method information, the comparison information acquisition unit 163 acquires the comparative viewing method information from the scene description.
  • step S203 the display control unit 164 controls the viewing method based on the comparative viewing method information. For example, the display control unit 164 determines whether or not the value of "compare_method" is "0". If it is determined that the value of "compare_method” is "0", the process proceeds to step S205.
  • step S205 the display control unit 164 controls the display so as to continue normal viewing.
  • the display information generation unit 168 generates display information according to the control thereof, and the display unit 169 displays the display information on the monitor. That is, in this case, normal viewing is continued, and playback / display capable of comparing a plurality of 3D objects as described in the first embodiment or the like is not performed.
  • step S205 When the process of step S205 is completed, the reproduction process is completed. If it is determined in step S204 that the value of "compare_method" is not "0", the process proceeds to FIG.
  • step S211 of FIG. 30 the display control unit 164 determines whether or not the value of "compare_method” is "1". If it is determined that the value of "compare_method” is "1", the process proceeds to step S212.
  • step S212 the comparison information acquisition unit 163 obtains the information of the scene description including the comparable 3D object from the MPD, and acquires the scene description.
  • step S213 the data acquisition control unit 162 acquires priority information from each scene description acquired in step S212.
  • step S214 the coded data acquisition unit 165 sets the 3D object having the highest priority as the 3D object to be compared based on the priority information, and acquires the coded data of the 3D object to be compared.
  • step S215 the decoding unit 166 decodes the acquired coded data.
  • the comparison information acquisition unit 163 acquires the comparison display information. For example, when the scene description includes the comparison display information, the comparison display information is acquired from the scene description.
  • the display control unit 164 reproduces the 3D object to be compared and the scene description (6DoF scene description) based on the comparison display information.
  • the display information generation unit 168 generates display information according to the control thereof, and the display unit 169 displays the display information on the monitor. That is, in this case, when the comparison target time is reached, the reproduction / display in which a plurality of 3D objects can be compared is performed as described in the first embodiment and the like.
  • step S217 the display control unit 164 controls the display so as to continue the normal viewing.
  • the display information generation unit 168 generates display information according to the control thereof, and the display unit 169 displays the display information on the monitor.
  • step S217 the process returns to FIG. 29, and the reproduction process is completed. That is, normal viewing is continued until the end of the content.
  • step S211 If it is determined in step S211 that the value of "compare_method" is not "1", the process proceeds to step S221.
  • step S221 the comparison information acquisition unit 163 obtains the comparison information information corresponding to the scene description including the comparable 3D object from the MPD, and acquires the comparison information. For example, when the scene description includes comparison information, the comparison information acquisition unit 163 acquires the scene description including the comparable 3D object, and acquires the comparison information from the scene description.
  • step S222 the display control unit 164 identifies a comparable 3D object based on the comparison information, and displays a list of the comparable 3D objects.
  • the display information generation unit 168 generates display information according to the control thereof, and the display unit 169 displays the display information on the monitor. That is, a list of comparable 3D objects is presented to the user and the like.
  • the user or the like selects a 3D object to be compared based on the presentation, and inputs the selection.
  • the input unit (not shown) of the client device 103 accepts the input, that is, the selection of the 3D object to be compared by the user or the like.
  • step S223 the coded data acquisition unit 165 acquires the coded data of the 3D object to be compared selected by the user or the like.
  • step S224 the decoding unit 166 decodes the acquired encoded data.
  • the comparison information acquisition unit 163 acquires the comparison display information. For example, when the scene description includes the comparison display information, the comparison display information is acquired from the scene description.
  • the display control unit 164 reproduces the 3D object to be compared and the scene description (6DoF scene description) based on the comparison display information.
  • the display information generation unit 168 generates display information according to the control thereof, and the display unit 169 displays the display information on the monitor. That is, in this case, when the comparison target time is reached, the reproduction / display in which a plurality of 3D objects can be compared is performed as described in the first embodiment and the like.
  • step S226 the display control unit 164 controls the display so as to continue the normal viewing.
  • the display information generation unit 168 generates display information according to the control thereof, and the display unit 169 displays the display information on the monitor.
  • step S226 the process returns to FIG. 29, and the reproduction process is completed. That is, normal viewing is continued until the end of the content.
  • the client device 103 can more easily reproduce and display a plurality of 3D objects in a comparable manner based on the signaled comparison information. Further, the client device 103 can realize a wider variety of viewing methods based on the comparative viewing method information. For example, the client device 103 can grasp a comparison scenario when there is a comparison target during normal viewing and provide it to the user. Therefore, the user can more easily compare 3D objects.
  • FIG. 31 shows a configuration example of ISOBMFF showing the reference relationship.
  • thumbnail display information information such as the first viewpoint position, line-of-sight direction, and angle of view information of the thumbnail and display rule information (information that signals a change in position information with time)
  • ItemProperty information that signals a change in position information with time
  • the information related to thumbnails may be any information as long as it is related to thumbnails.
  • the above-mentioned thumbnail display information included in ISOBMFF, information indicating that the comparison display information included in the comparison information is diverted, and the like may be included.
  • FIG. 32 shows an example of signaling information regarding thumbnails in such a display. This example is described by binary data as in the case of FIG. The description of the parts similar to the parameters described with reference to FIG. 15 will be omitted.
  • "thumbnail_type”, "use_object_data_for_thumbnail_view_flag”, and "use_compare_view_for_thumbnail_view_flag" are signaled as information about thumbnails.
  • “Thumbnail_type” is information indicating which type of thumbnail is used among the stored thumbnails. For example, in the case of FIG. 31, "vthm”, which is a 3D object of a low-resolution moving image, and "3dst”, which is a 3D object of a still image, are stored ("iinf" BOX). Therefore, one of these is signaled to "thumbnail_type".
  • the type of thumbnail is arbitrary and is not limited to the example of FIG.
  • “Use_object_data_for_thumbnail_view_flag” is flag information indicating whether to divert the thumbnail display information stored in the 3D object of the thumbnail when displaying the thumbnail. If this "use_object_data_for_thumbnail_view_flag” is "true”, the thumbnail display information stored in the 3D object will be used. On the other hand, if this "use_object_data_for_thumbnail_view_flag” is "false", the thumbnail display information is not diverted, and "use_compare_view_for_thumbnail_view_flag” is signaled.
  • "Use_compare_view_for_thumbnail_view_flag” is flag information indicating whether to divert the information for comparison display.
  • "use_compare_view_for_thumbnail_view_flag” is "true”
  • the above-mentioned comparison display information “viewpoint_position”, “view_orientation”, “view_window”, etc. are diverted.
  • "use_compare_view_for_thumbnail_view_flag” is "false”
  • this information will be signaled separately.
  • the client device 103 By signaling information about thumbnails such as these, it is possible to provide the client device 103 with information such as specifying a thumbnail when displaying a list and diverting the display method of the thumbnail included in the thumbnail 3D object. it can. As a result, the client device 103 can easily display thumbnails of 3D objects and the like corresponding to each scene description and the like based on the information about the thumbnails when displaying the list of the scene descriptions and the like.
  • the above-mentioned comparison display information can be dynamically changed in the time direction, for example.
  • a signal method for dynamically changing the comparative display information in this way will be described.
  • FIG. 33 shows an example of signaling information that dynamically changes the comparative display information. This example is also described by binary data as in FIGS. 15 and 32. This example is an extension of the compare_list so that it can store information that changes with time when the compare_list is signaled as described in the second embodiment. In this example, "num_of_change_data”, “time_scale”, and “applicable_time” are signaled as information that changes compare_list over time.
  • “Num_of_change_data” is information indicating the number of time-changing data
  • “time_scale” is time scale information used for time information.
  • "applicable_time” is information indicating the time when the data is applied. Then, "viewpoint_position”, “view_orientation”, and “view_window” are signaled as the time comparison display information indicated by the "applicable_time”. That is, these comparative display information is applied at the time indicated by “applicable_time” (the time on the time scale indicated by “time_scale”). This process is looped "num_of_change_data” times.
  • the client device 103 can dynamically change the comparison display information.
  • the storage method of timed metadata in ISOBMFF may be used.
  • the signal method for dynamically changing the comparative display information is not limited to the above example. Other methods will be described based on the example of signaling of the first embodiment.
  • FIGS. 34 and 35 are diagrams showing an example of a concept when signaling time-changing comparative display information using the mechanism of glTF2.0.
  • the comparison identification information and the static data (static) of the comparison display information are signaled by defining an extension in the "scene” as in the case of the first embodiment (FIG. 34).
  • the initial value information of the dynamic data (dynamic) of the comparison information is signaled using the "node” having the "camera” of glTF2.0.
  • the "channel” belonging to the “animation” in FIG. 35 contains information (channel.target.node) of the target “node” and information (channel.target.path) indicating what kind of change is used. It is possible to specify the type of linking with “node” and how to move it.
  • “Sampler” has reference information to "accessor” which has access information to the file that stores animation data.
  • FIG. An example of signaling such dynamically changing comparative display information is shown in FIG. This example is also described in glTF 2.0 as in FIG.
  • the initial information of the dynamic comparison display information is that "Obj1-2" has “camera” as a child node, and “translation” and “rotation” of "node” associated with “camera” object. It is shown. This information is used as an initial value in the viewpoint position and the line-of-sight direction.
  • the angle of view information is signaled by specifying "perspective.yfov” and “perspective.aspectRatio" of "camera”.
  • the client device 103 By performing such signaling, it is possible to provide dynamically changing comparative display information to the playback side (client device 103, etc.). As a result, the client device 103 can dynamically change the comparison display information.
  • FIG. 37 is a block diagram showing a configuration example of computer hardware that executes the above-mentioned series of processes programmatically.
  • the CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the input / output interface 910 is also connected to the bus 904.
  • An input unit 911, an output unit 912, a storage unit 913, a communication unit 914, and a drive 915 are connected to the input / output interface 910.
  • the input unit 911 includes, for example, a keyboard, a mouse, a microphone, a touch panel, an input terminal, and the like.
  • the output unit 912 includes, for example, a display, a speaker, an output terminal, and the like.
  • the storage unit 913 is composed of, for example, a hard disk, a RAM disk, a non-volatile memory, or the like.
  • the communication unit 914 includes, for example, a network interface.
  • the drive 915 drives a removable medium 921 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 901 loads the program stored in the storage unit 913 into the RAM 903 via the input / output interface 910 and the bus 904 and executes the above-described series. Is processed.
  • the RAM 903 also appropriately stores data and the like necessary for the CPU 901 to execute various processes.
  • the program executed by the computer can be recorded and applied to the removable media 921 as a package media or the like, for example.
  • the program can be installed in the storage unit 913 via the input / output interface 910 by mounting the removable media 921 in the drive 915.
  • This program can also be provided via wired or wireless transmission media such as local area networks, the Internet, and digital satellite broadcasting. In that case, the program can be received by the communication unit 914 and installed in the storage unit 913.
  • this program can be installed in advance in ROM 902 or storage unit 913.
  • control information related to the present technology described in each of the above embodiments may be transmitted from the coding side to the decoding side.
  • control information for example, enabled_flag
  • control information for example, present_flag
  • control information indicating an object to which the present technology is applied (or an object to which the present technology is not applied) may be transmitted.
  • control information may be transmitted that specifies the block size (upper limit, / lower limit, or both) to which the present technology is applied (or permission or prohibition of application), a frame, a component, a layer, or the like.
  • This technique can be applied to any image coding / decoding method. That is, as long as it does not contradict the above-mentioned technology, the specifications of various processes related to image coding / decoding such as conversion (inverse transformation), quantization (inverse quantization), coding (decoding), and prediction are arbitrary. It is not limited to the example. In addition, some of these processes may be omitted as long as they do not contradict the present technology described above.
  • this technology can be applied to a multi-viewpoint image coding / decoding system that encodes / decodes a multi-viewpoint image including images of a plurality of viewpoints (views).
  • the present technology may be applied to the coding / decoding of each viewpoint (view).
  • this technology is applied to a hierarchical image coding (scalable coding) / decoding system that encodes / decodes a hierarchical image that is layered (layered) so as to have a scalability function for a predetermined parameter. can do.
  • the present technology may be applied in the coding / decoding of each layer.
  • the generation device 101 and the client device 103 have been described as application examples of the present technology, but the present technology can be applied to any configuration.
  • this technology is a transmitter or receiver (for example, a television receiver or mobile phone) for satellite broadcasting, cable broadcasting such as cable TV, distribution on the Internet, and distribution to terminals by cellular communication, or It can be applied to various electronic devices such as devices (for example, hard disk recorders and cameras) that record images on media such as optical disks, magnetic disks, and flash memories, and reproduce images from these storage media.
  • devices for example, hard disk recorders and cameras
  • a processor as a system LSI (Large Scale Integration) or the like (for example, a video processor), a module using a plurality of processors (for example, a video module), a unit using a plurality of modules (for example, a video unit)
  • a processor as a system LSI (Large Scale Integration) or the like
  • a module using a plurality of processors for example, a video module
  • a unit using a plurality of modules for example, a video unit
  • it can be implemented as a configuration of a part of the device, such as a set (for example, a video set) in which other functions are added to the unit.
  • this technology can be applied to a network system composed of a plurality of devices.
  • the present technology may be implemented as cloud computing that is shared and jointly processed by a plurality of devices via a network.
  • this technology is implemented in a cloud service that provides services related to images (moving images) to arbitrary terminals such as computers, AV (AudioVisual) devices, portable information processing terminals, and IoT (Internet of Things) devices. You may try to do it.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and a device in which a plurality of modules are housed in one housing are both systems. ..
  • Systems, devices, processing units, etc. to which this technology is applied can be used in any field such as transportation, medical care, crime prevention, agriculture, livestock industry, mining, beauty, factories, home appliances, weather, nature monitoring, etc. .. Moreover, the use is arbitrary.
  • this technology can be applied to systems and devices used for providing ornamental contents and the like.
  • the present technology can be applied to systems and devices used for traffic such as traffic condition supervision and automatic driving control.
  • the present technology can be applied to systems and devices used for security purposes.
  • the present technology can be applied to a system or device used for automatic control of a machine or the like.
  • the present technology can be applied to systems and devices used for agriculture and livestock industry.
  • the present technology can also be applied to systems and devices for monitoring natural conditions such as volcanoes, forests and oceans, and wildlife. Further, for example, the present technology can be applied to systems and devices used for sports.
  • the "flag” is information for identifying a plurality of states, and is not only information used for identifying two states of true (1) or false (0), but also three or more states. It also contains information that can identify the state. Therefore, the value that this "flag” can take may be, for example, 2 values of 1/0 or 3 or more values. That is, the number of bits constituting this "flag” is arbitrary, and may be 1 bit or a plurality of bits.
  • the identification information (including the flag) is assumed to include not only the identification information in the bitstream but also the difference information of the identification information with respect to a certain reference information in the bitstream. In, the "flag” and “identification information” include not only the information but also the difference information with respect to the reference information.
  • various information (metadata, etc.) related to the coded data may be transmitted or recorded in any form as long as it is associated with the coded data.
  • the term "associate" means, for example, to make the other data available (linkable) when processing one data. That is, the data associated with each other may be combined as one data or may be individual data.
  • the information associated with the coded data (image) may be transmitted on a transmission path different from the coded data (image).
  • the information associated with the coded data (image) may be recorded on a recording medium (or another recording area of the same recording medium) different from the coded data (image). Good.
  • this "association" may be a part of the data, not the entire data. For example, an image and information corresponding to the image may be associated with each other in an arbitrary unit such as a plurality of frames, one frame, or a part within the frame.
  • the embodiment of the present technology is not limited to the above-described embodiment, and various changes can be made without departing from the gist of the present technology.
  • the configuration described as one device (or processing unit) may be divided and configured as a plurality of devices (or processing units).
  • the configurations described above as a plurality of devices (or processing units) may be collectively configured as one device (or processing unit).
  • a configuration other than the above may be added to the configuration of each device (or each processing unit).
  • a part of the configuration of one device (or processing unit) may be included in the configuration of another device (or other processing unit). ..
  • the above-mentioned program may be executed in any device.
  • the device may have necessary functions (functional blocks, etc.) so that necessary information can be obtained.
  • each step of one flowchart may be executed by one device, or may be shared and executed by a plurality of devices.
  • the plurality of processes may be executed by one device, or may be shared and executed by a plurality of devices.
  • a plurality of processes included in one step can be executed as processes of a plurality of steps.
  • the processes described as a plurality of steps can be collectively executed as one step.
  • the processing of the steps for writing the program may be executed in chronological order in the order described in the present specification, and the calls may be made in parallel or in parallel. It may be executed individually at the required timing such as when it is broken. That is, as long as there is no contradiction, the processing of each step may be executed in an order different from the above-mentioned order. Further, the processing of the step for writing this program may be executed in parallel with the processing of another program, or may be executed in combination with the processing of another program.
  • a plurality of technologies related to this technology can be independently implemented independently as long as there is no contradiction.
  • any plurality of the present technologies can be used in combination.
  • some or all of the techniques described in any of the embodiments may be combined with some or all of the techniques described in other embodiments. It is also possible to carry out a part or all of any of the above-mentioned techniques in combination with other techniques not described above.
  • the present technology can also have the following configurations.
  • An information processing device including a comparison information generator that generates comparison information, which is information for displaying a plurality of 3D objects of 6DoF contents in a comparable manner.
  • the comparison information includes comparative identification information which is information about the 3D object to be compared.
  • the comparison information includes comparative display information which is information related to the display of the 3D object.
  • the comparison information includes comparison control information which is information for listing the comparison information regarding a plurality of the 3D objects.
  • the information processing device includes comparative viewing method information which is information on a viewing method of the 6DoF content.
  • the information processing apparatus wherein the comparison information is configured for each of the 3D objects.
  • the comparison information includes information for displaying the 6DoF contents corresponding to each of the plurality of 3D objects to be compared side by side.
  • the other 3D objects are superimposed on the 6DoF content corresponding to one of the plurality of 3D objects to be compared so that the 3D objects are superimposed and displayed.
  • the information processing apparatus which includes information for causing the information to be processed.
  • the comparison information is for superimposing another 3D object on the 6DoF content corresponding to one of the plurality of 3D objects to be compared so that the 3D objects are displayed side by side.
  • the information processing apparatus (1) The information processing apparatus according to (1). (10) The information processing device according to (1), wherein the comparison information generation unit generates a scene description including the comparison information. (11) The information processing device according to (1), wherein the comparison information generation unit generates the comparison information corresponding to a plurality of scene descriptions. (12) The information processing apparatus according to (1), wherein the comparison information generation unit generates a scene description for comparison including the comparison information corresponding to the plurality of 3D objects to be compared. (13) The information processing apparatus according to (1), wherein the comparison information generation unit generates a comparison scene description including the comparison information corresponding to a group of scene descriptions including the comparable 3D object. (14) The information processing apparatus according to (1), further comprising an MPD generation unit that generates an MPD (Media Presentation Description) including the comparison information. (15) An information processing method for generating comparative information, which is information for displaying a plurality of 3D objects of 6DoF contents in a comparable manner.
  • 100 distribution system 101 generator, 102 server, 103 client device, 111 control unit, 112 generation processing unit, 121 data input unit, 122 preprocessing unit, 123 coding unit, 124 comparison information generation unit, 125 file generation unit, 126 MPD generation unit, 127 storage unit, 128 upload unit, 151 control unit, 152 playback processing unit, 161 MPD processing unit, 162 data acquisition control unit, 163 comparison information acquisition unit, 164 display control unit, 165 coded data acquisition unit. , 166 decoding unit, 167 buffer, 168 display information generation unit, 169 display unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本開示は、3Dオブジェクトの比較をより容易に行うことができるようにする情報処理装置および方法に関する。 6DoFコンテンツの複数の3Dオブジェクトを比較可能に表示するための情報である比較情報を生成する。また、6DoFコンテンツの複数の3Dオブジェクトを比較可能に表示するための情報である比較情報に基づいて、その複数の3Dオブジェクトを比較可能に表示する。本開示は、例えば、情報処理装置、情報処理方法、情報処理システム等に適用することができる。

Description

情報処理装置および方法
　本開示は、情報処理装置および方法に関し、特に、3Dオブジェクトの比較をより容易に行うことができるようにした情報処理装置および方法に関する。
　従来、３次元空間（3D空間とも称する）の３次元オブジェクト（3Dオブジェクトとも称する）を表現する３次元コンテンツ（3Dコンテンツとも称する）の配信が提案された。また、この3Dコンテンツとしては、例えば、３次元空間の３次元オブジェクトを表現し、再生の際に視線方向および視点位置を自由に設定可能な6DoFコンテンツが提案された。
　6DoFコンテンツの配信方法として、例えば、3D空間を複数の3Dオブジェクトで構成し複数のオブジェクトストリームとして伝送する方法が提案された。そして、その際、例えば、シーンディスクリプション（Scene Description）という記述法を用いることが提案された（例えば、非特許文献１参照）。
"ISO/IEC 14496-11", Second Edition, 2015-05-29
　しかしながら、この記述法には、複数の6DoFコンテンツのそれぞれに含まれている3Dオブジェクト（3D object）を２つ並べて、あるいは重ねて、同じタイミングで再生し、両オブジェクトを比較可能に表示する方法についての情報を記述することができなかった。そのため、そのような複数のオブジェクトを比較可能に表示する場合、ユーザ等による再生制御のための煩雑な作業が必要であった。
　本開示は、このような状況に鑑みてなされたものであり、3Dオブジェクトの比較をより容易に行うことができるようにするものである。
　本技術の一側面の情報処理装置は、6DoFコンテンツの複数の3Dオブジェクトを比較可能に表示するための情報である比較情報を生成する比較情報生成部を備える画像処理装置である。
　本技術の一側面の情報処理方法は、6DoFコンテンツの複数の3Dオブジェクトを比較可能に表示するための情報である比較情報を生成する画像処理方法である。
　本技術の一側面の情報処理装置および方法においては、6DoFコンテンツの複数の3Dオブジェクトを比較可能に表示するための情報である比較情報が生成される。
情報処理システムの主な構成例を示すブロック図である。 生成装置の主な構成例を示すブロック図である。 クライアント装置の主な構成例を示すブロック図である。 6DoFコンテンツの配信用データの主な構成例を示す図である。 3Dオブジェクトの比較可能な表示例を示す図である。 比較情報のシグナル例を示す図である。 比較情報を含むMPDの例を示す図である。 ファイル生成処理の流れの例を示すフローチャートである。 再生処理の流れの例を説明するフローチャートである。 3Dオブジェクトの比較可能な表示例を示す図である。 比較情報のシグナル例を示す図である。 3Dオブジェクトの比較可能な表示例を示す図である。 比較情報のシグナル例を示す図である。 6DoFコンテンツの配信用データの主な構成例を示す図である。 比較情報のシグナル例を示す図である。 比較情報を含むMPDの例を示す図である。 再生処理の流れの例を説明するフローチャートである。 6DoFコンテンツの配信用データの主な構成例を示す図である。 比較情報のシグナル例を示す図である。 比較情報を含むMPDの例を示す図である。 再生処理の流れの例を説明するフローチャートである。 6DoFコンテンツの配信用データの主な構成例を示す図である。 比較情報のシグナル例を示す図である。 比較情報を含むMPDの例を示す図である。 再生処理の流れの例を説明するフローチャートである。 通常視聴時の比較シナリオの例を説明する図である。 比較情報のシグナル例を示す図である。 比較情報を含むMPDの例を示す図である。 再生処理の流れの例を説明するフローチャートである。 再生処理の流れの例を説明する図２９に続くフローチャートである。 ISOBMFFの主な構成例を示す図である。 比較情報のシグナル例を示す図である。 比較情報のシグナル例を示す図である。 時間変化する比較表示情報のシグナル例を説明する概念図である。 時間変化する比較表示情報のシグナル例を説明する概念図である。 比較情報のシグナル例を示す図である。 コンピュータの主な構成例を示すブロック図である。
　以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．技術内容・技術用語をサポートする文献等
２．比較情報のシグナリング
３．第１の実施の形態（シーンディスクリプション毎の比較情報のシグナリング）
４．第２の実施の形態（複数のシーンディスクリプションに対応する比較情報のシグナリング）
５．第３の実施の形態（比較視聴方法情報のシグナリング）
６．第４の実施の形態（サムネイルに関する情報のシグナリング）
７．第５の実施の形態（動的に変化する比較表示情報のシグナリング）
８．付記
　＜１．技術内容・技術用語をサポートする文献等＞
　本技術で開示される範囲は、実施例に記載されている内容だけではなく、出願当時において公知となっている以下の非特許文献に記載されている内容も含まれる。
　非特許文献１：（上述）
　非特許文献２：ISO/IEC 14496-12:2015, Information technology. Coding of audio-visual objects. Part 12, ISO base media file format
　非特許文献３：ISO/IEC 23009-1：2014, Information technology, Dynamic adaptive streaming over HTTP (DASH), Part 1, Media presentation description and segment formats
　非特許文献４：Khronos glTF2.0, Khronos glTF2.0, https://github.com/KhronosGroup/glTF/tree/master/specification/2.0
　つまり、上述の非特許文献に記載されている内容もサポート要件を判断する際の根拠となる。例えば、非特許文献２に記載されているFile Structure、非特許文献３に記載されているMPEG-DASH規格で用いられている用語、非特許文献４に記載される"camera" objectや"animation" object等で用いられる構造／用語は、本明細書において直接的に定義されていなくても、本開示の範囲内であり、請求の範囲のサポート要件を満たすものとする。また、例えば、パース（Parsing）、シンタックス（Syntax）、セマンティクス（Semantics）等の技術用語についても同様に、本明細書において直接的に定義されていない場合でも、本開示の範囲内であり、請求の範囲のサポート要件を満たすものとする。
　＜２．比較情報のシグナリング＞
　現在の映像配信においては、映画などの配信で利用されている２次元映像を含むコンテンツ（2Dコンテンツとも称する）の配信が主流である。さらに、全方位が見まわし可能である360度映像（3DoF（Degree of Freedom）映像とも称する）を含むコンテンツ（3DoFコンテンツとも称する）の配信も行われている。2Dコンテンツおよび3DoFコンテンツのどちらも、基本は２次元にエンコードされた映像が配信され、クライアントで表示される。また、3DoF+コンテンツは、上述の3DoFコンテンツのように全方位の見回しが可能であり、さらに、視点位置を少し動かすことが可能であるコンテンツである。視点位置の動かせる範囲は、座っている状態で頭を動かせる程度が想定されている。この3DoF+コンテンツでは、２次元にエンコードされた単数または複数の映像を使うことにより、視点位置の移動が実現される。
　6DoFコンテンツは、３次元空間（3D空間とも称する）内で、全方位見回し可能であり（視線方向を自由に設定可能な）、さらに空間の中を移動可能な（視点位置を自由に設定可能な）コンテンツである。6DoFコンテンツに含まれる、上述のような視点位置や視線方向を自由に設定可能な映像を6DoF映像とも称する。例えば、このような6DoFコンテンツの場合、そのコンテンツに含まれているある3Dオブジェクト（3D object）に着目し、その3Dオブジェクトを周囲から見るように視点位置や視線方向を変化させることができる。
　また、例えば、ある6DoFコンテンツに含まれている3Dオブジェクトと、他の6DoFコンテンツに含まれる3Dオブジェクトとを並べて、あるいは重ねて表示し、互いに同一のタイミングで再生させ、両オブジェクトの動きを周囲から見て比較するといった視聴体験を実現することができる。例えばスポーツのコンテンツなどにおいて、２人の有名選手の動作（ピッチングフォームやバッティングフォームなど）を周囲から見る形で比較するといった視聴体験が可能である。
　ところで、6DoFコンテンツの配信方法として、例えば、3D空間を複数の3Dオブジェクトで構成し複数のオブジェクトストリームとして伝送する方法が提案された。そして、例えば非特許文献１においては、シーンディスクリプション（Scene Description）という記述法を用いることが提案された。
　しかしながら、この記述法には、上述のような3Dオブジェクト比較可能に表示する方法についての情報を記述することができなかった。そのため、そのような複数のオブジェクトを比較可能に表示する場合、比較可能な２つのコンテンツを選択したり、それらのコンテンツの再生タイミングを合わせたり、各コンテンツの見え方が同じになるように調整を行ったりといった、ユーザ等による再生制御のための煩雑な作業が必要であった。特に、6DoFコンテンツの場合、どのような位置からも視聴可能であるという自由度の高さにより、比較のための調整にはより煩雑な作業が必要になるおそれがあった。
　例えば、Multivideo（https://dotapps.jp/products/com-tattin-multivideo-0002）の場合、２つの動作やフォームの変化を比べるために、既存のコンテンツから２つの動画を選択し重ねてあるいは並べて同時に再生することができる。しかしながら、このアプリケーションで比較の対象となるコンテンツは２次元画像であり、6DoFコンテンツの3Dオブジェクトを比較することはできない。また、この比較対象のコンテンツを同時再生するために、比較するコンテンツを選び出し、再生タイミングや各映像の領域や大きさなどを指定する等の、ユーザによる煩雑な作業が必要である。
　上述の非特許文献１乃至非特許文献４のいずれにも、3Dオブジェクト比較可能に表示する方法についての情報を記述する方法について開示されていなかった。
　そこで、6DoFコンテンツの複数の3Dオブジェクトを比較可能に表示するための情報である比較情報を生成するようにする。このような比較情報をシグナリングする（つまり、コンテンツの再生側に伝送する）ことにより、上述のような比較のための煩雑な作業を必要とせずに、3Dオブジェクトの比較をより容易に行うことができる。
　＜３．第１の実施の形態＞
　　＜シーンディスクリプション毎の比較情報のシグナリング＞
　本実施の形態においては、この比較情報をシーンディスクリプション毎にシグナリングする方法について説明する。
　　＜情報処理システム＞
　図１は、本技術を適用した情報処理システムの一態様である配信システムの構成の一例を示すブロック図である。図１に示される配信システム１００は、6DoFコンテンツを配信するシステムである。
　図１に示されるように、この配信システム１００は、生成装置１０１、サーバ１０２、およびクライアント装置１０３を有する。生成装置１０１、サーバ１０２、およびクライアント装置１０３は、ネットワーク１０４を介して互いに通信可能に接続される。なお、図１においては、各装置を１台ずつ示しているが、配信システム１００は、各装置を任意の台数有することができる。つまり、生成装置１０１、サーバ１０２、およびクライアント装置１０３は、それぞれ、複数台であってもよい。
　生成装置１０１は、6DoFコンテンツの生成に関する処理を行う。例えば、生成装置１０１は、6DoF映像等のデータであるメディアデータや、そのメタデータであるシーンディスクリプション（Scene Description）や、DASH（Dynamic Adaptive Streaming over HTTP、ISO/IEC 23009-1）のMPD（Media Presentation Description）等を生成し得る。また、生成装置１０１は、生成したそれらのデータを、ネットワーク１０４を介してサーバ１０２に供給（アップロード）し得る。
　サーバ１０２は、6DoFコンテンツの配信に関する処理を行う。例えば、サーバ１０２は、生成装置１０１より供給される、上述した6DoFコンテンツのデータを取得し得る。また、サーバ１０２は、その取得したデータを管理し、6DoFコンテンツを配信するサービスを提供し得る。例えば、サーバ１０２は、クライアント装置１０３等からの要求に応じて、6DoFコンテンツのデータ（MPD、シーンディスクリプション、メディアデータ等）を、ネットワーク１０４を介してクライアント装置１０３等に配信し得る。
　クライアント装置１０３は、6DoFコンテンツの再生に関する処理を行う。例えば、クライアント装置１０３は、ネットワーク１０４を介してサーバ１０２に6DoFコンテンツの提供を要求し得る。また、クライアント装置１０３は、その要求に応じてサーバ１０２から配信される6DoFコンテンツのデータ（MPD、シーンディスクリプション、メディアデータ等）を、ネットワーク１０４を介して取得し得る。さらに、クライアント装置１０３は、取得した6DoFコンテンツを再生しうる。例えば、クライアント装置１０３は、レンダリングを行って所望の視点位置・視線方向の画像を生成し、その画像をモニタに表示させることができる。
　ネットワーク１０４は、任意の通信媒体により構成される通信網である。ネットワーク１０４を介して行われる通信は、有線通信であってもよいし、無線通信であってもよいし、その両方であってもよい。つまり、ネットワーク１０４が、有線通信用の通信網であってもよいし、無線通信用の通信網であってもよいし、それらの両方により構成される通信網であってもよい。また、ネットワーク１０４が、単数の通信網により構成されるようにしてもよいし、複数の通信網により構成されるようにしてもよい。
　例えば、インターネットがこのネットワーク１０４に含まれるようにしてもよい。また、公衆電話回線網がこのネットワーク１０４に含まれるようにしてもよい。さらに、所謂3G回線や4G回線等の無線移動体用の広域通信網がこのネットワーク１０４に含まれるようにしてもよい。また、WAN（Wide Area Network）やLAN（Local Area Network）等がこのネットワーク１０４に含まれるようにしてもよい。さらに、Bluetooth（登録商標）規格に準拠した通信を行う無線通信網がこのネットワーク１０４に含まれるようにしてもよい。また、NFC（Near Field Communication）等の近距離無線通信の通信路がこのネットワーク１０４に含まれるようにしてもよい。さらに、赤外線通信の通信路がこのネットワーク１０４に含まれるようにしてもよい。また、HDMI（登録商標）（High-Definition Multimedia Interface）やUSB（登録商標）（Universal Serial Bus）等の規格に準拠した有線通信の通信網がこのネットワーク１０４に含まれるようにしてもよい。このようにネットワーク１０４は、任意の通信規格の通信網や通信路を含み得る。
　このような6DoFコンテンツの配信を行う配信システム１００において、クライアント装置１０３は、複数の6DoFコンテンツの3Dオブジェクトを並べたり重ねたりして比較可能に再生し、表示することができる。そして、生成装置１０１は、そのような3Dオブジェクトの比較可能な表示を行うための情報である比較情報を生成し、シグナリングする。クライアント装置１０３は、その比較情報に基づいて上述の再生・表示を行う。これにより、クライアント装置１０３のユーザは、煩雑な作業を必要とせずに、3Dオブジェクトの比較をより容易に行うことができる。
　　＜生成装置＞
　図２は、生成装置１０１の主な構成例を示すブロック図である。なお、図２においては、処理部やデータの流れ等の主なものを示しており、図２に示されるものが全てとは限らない。つまり、生成装置１０１において、図２においてブロックとして示されていない処理部が存在したり、図２において矢印等として示されていない処理やデータの流れが存在したりしてもよい。図２に示されるように、生成装置１０１は、制御部１１１および生成処理部１１２を有する。
　制御部１１１は、生成処理部１１２の制御に関する処理を行う。生成処理部１１２は、制御部１１１に制御されて、6DoFコンテンツのデータの生成に関する処理を行う。図２に示されるように、生成処理部１１２は、データ入力部１２１、前処理部１２２、符号化部１２３、比較情報生成部１２４、ファイル生成部１２５、MPD生成部１２６、記憶部１２７、およびアップロード部１２８を有する。
　データ入力部１２１は、メディアデータの入力に関する処理を行う。例えば、データ入力部１２１は、外部（例えば他の装置）から入力されるメディアデータやシーンディスクリプションを受け付け、それを前処理部１２２に供給することができる。なお、データ入力部１２１が6DoFコンテンツのメディアデータやシーンディスクリプションを生成してもよい。例えば、データ入力部１２１がカメラ等を有し、そのカメラ等により被写体を撮像し、その撮像画像からメディアデータを生成し、さらにそのメディアデータに対応するシーンディスクリプションを生成してもよい。
　前処理部１２２は、メディアデータに対する前処理に関する処理を行う。例えば、前処理部１２２は、データ入力部１２１から供給されるメディアデータやシーンディスクリプションを取得することができる。また、前処理部１２２は、その取得したメディアデータに対して画像処理等を適宜行ったり、シーンディスクリプションを適宜編集したりすることができる。なお、データ入力部１２１がメディアデータを前処理部１２２に供給し、前処理部１２２がそのメディアデータに対応するシーンディスクリプションを生成してもよい。さらに、前処理部１２２は、メディアデータやシーンディスクリプションを符号化部１２３や比較情報生成部１２４に供給することができる。
　符号化部１２３は、符号化に関する処理を行う。例えば、符号化部１２３は、前処理部１２２から供給されるメディアデータやシーンディスクリプションを取得することができる。また、符号化部１２３は、そのメディアデータを符号化し、符号化データを生成することができる。なお、この符号化の方法は任意である。さらに、符号化部１２３は、生成したメディアデータの符号化データやシーンディスクリプションをファイル生成部１２５に供給することができる。
　比較情報生成部１２４は、3Dオブジェクトを比較可能に再生・表示するための情報である比較情報の生成に関する処理を行う。例えば、比較情報生成部１２４は、前処理部１２２から供給されるメディアデータやシーンディスクリプションを取得することができる。また、比較情報生成部１２４は、それらのデータに基づいて、比較情報を生成することができる。さらに、比較情報生成部１２４は、生成した比較情報をファイル生成部１２５に供給することができる。
　ファイル生成部１２５は、6DoFコンテンツのデータをまとめるファイルの生成に関する処理を行う。例えば、ファイル生成部１２５は、符号化部１２３から供給されるメディアデータの符号化データやシーンディスクリプションを取得することができる。また、ファイル生成部１２５は、比較情報生成部１２４から供給される比較情報を取得することができる。さらに、ファイル生成部１２５は、それらのデータをファイル化する、すなわち、それらのデータを含むファイルを生成することができる。その際、ファイル生成部１２５は、比較情報をシーンディスクリプションに含めてもよい。つまり、ファイル生成部１２５は、メディアデータの符号化データと、比較情報を含むシーンディスクリプションとを含むファイルを生成してもよい。また、ファイル生成部１２５は、その生成したファイルをMPD生成部１２６や記憶部１２７に供給することができる。
　MPD生成部１２６は、MPDの生成に関する処理を行う。例えば、MPD生成部１２６は、ファイル生成部１２５から供給されるファイルを取得することができる。また、MPD生成部１２６は、そのファイルに格納されるメディアデータ、シーンディスクリプション、比較情報等に基づいて、そのファイル（そのファイルに格納されるメディアデータ、シーンディスクリプション、比較情報等）に対応するMPDを生成することができる。例えば、MPD生成部１２６は、比較情報を含むMPDを生成することができる。さらに、MPD生成部１２６は、生成したMPDを記憶部１２７に供給することができる。
　記憶部１２７は、6DoFコンテンツの記憶に関する処理を行う。例えば、記憶部１２７は、ファイル生成部１２５から供給されるファイルを取得することができる。また、記憶部１２７は、その取得したファイルを記憶することができる。さらに、記憶部１２７は、MPD生成部１２６から供給されるMPDを取得することができる。また、記憶部１２７は、その取得したMPDを記憶することができる。さらに、記憶部１２７は、所定のタイミングにおいて、または、所定のイベントや要求等に応じて、記憶しているファイルやMPDをアップロード部１２８に供給することができる。
　アップロード部１２８は、6DoFコンテンツのアップロードに関する処理を行う。例えば、アップロード部１２８は、記憶部１２７から供給されるファイルやMPDを取得することができる。また、アップロード部１２８は、ネットワーク１０４を介してサーバ１０２と通信を行い、その取得したファイルやMPDをサーバ１０２に送信する（アップロードする）ことができる。
　以上のように、生成装置１０１においては、比較情報生成部１２４が比較情報を生成する。このようにすることにより、ファイル生成部１２５はその比較情報をファイル化することができる。また、MPD生成部１２６は、その比較情報を反映したMPDを生成することができる。さらに、アップロード部１２８は、その比較情報を含むファイルや、その比較情報が反映されたMPDをアップロードすることができる。つまり、比較情報をシグナリングすることができる。したがって、クライアント装置１０３のユーザが、3Dオブジェクトの比較をより容易に行うことができるようにすることができる。
　なお、生成装置１０１のこれらの処理部（データ入力部１２１乃至アップロード部１２８）は、それぞれ、任意の構成を有する。例えば、各処理部が、上述の処理を実現する論理回路により構成されるようにしてもよい。また、各処理部が、例えばCPU（Central Processing Unit）、ROM（Read Only Memory）、RAM（Random Access Memory）等を有し、それらを用いてプログラムを実行することにより、上述の処理を実現するようにしてもよい。もちろん、各処理部が、その両方の構成を有し、上述の処理の一部を論理回路により実現し、他を、プログラムを実行することにより実現するようにしてもよい。各処理部の構成は互いに独立していてもよく、例えば、一部の処理部が上述の処理の一部を論理回路により実現し、他の一部の処理部がプログラムを実行することにより上述の処理を実現し、さらに他の処理部が論理回路とプログラムの実行の両方により上述の処理を実現するようにしてもよい。
　　＜クライアント装置＞
　図３は、クライアント装置１０３の主な構成例を示すブロック図である。なお、図３においては、処理部やデータの流れ等の主なものを示しており、図３に示されるものが全てとは限らない。つまり、クライアント装置１０３において、図３においてブロックとして示されていない処理部が存在したり、図３において矢印等として示されていない処理やデータの流れが存在したりしてもよい。図３に示されるように、クライアント装置１０３は、制御部１５１および再生処理部１５２を有する。制御部１５１は、再生処理部１５２の制御に関する処理を行う。再生処理部１５２は、制御部１５１に制御されて、6DoFコンテンツの再生に関する処理を行う。図３に示されるように、再生処理部１５２は、MPD処理部１６１、データ取得制御部１６２、比較情報取得部１６３、表示制御部１６４、符号化データ取得部１６５、復号部１６６、バッファ１６７、表示情報生成部１６８、および表示部１６９を有する。
　MPD処理部１６１は、MPDに関する処理を行う。例えば、MPD処理部１６１は、ユーザやアプリケーション等により指定される所望の6DoFコンテンツに対応するMPDを取得することができる。例えば、MPD処理部１６１は、ネットワーク１０４を介してサーバ１０２と通信を行い、サーバ１０２に対して所望の6DoFコンテンツに対応するMPDを要求し、その要求に応じて供給されるMPDを取得することができる。また、MPD処理部１６１は、その取得したMPDをパースし、その結果をデータ取得制御部１６２に供給することができる。
　データ取得制御部１６２は、6DoFコンテンツ取得の制御に関する処理を行う。例えば、データ取得制御部１６２は、MPD処理部１６１から供給されるMPDのパース結果を取得することができる。また、データ取得制御部１６２は、そのパース結果（つまり、MPDの内容）に基づいて、比較情報やシーンディスクリプションの取得や、メディアデータの符号化データの取得を制御することができる。例えば、データ取得制御部１６２は、比較情報取得部１６３を制御し、どの比較情報やシーンディスクリプションを取得するか等を制御することができる。また、データ取得制御部１６２は、その比較情報取得部１６３により取得された比較情報を取得することができる。さらに、データ取得制御部１６２は、MPDのパース結果（つまり、MPDの内容）や比較情報に基づいて、符号化データ取得部１６５を制御し、どの6DoFコンテンツの符号化データを取得するか等を制御することができる。
　比較情報取得部１６３は、比較情報の取得に関する処理を行う。例えば、比較情報取得部１６３は、データ取得制御部１６２の制御に従って、MPD処理部１６１により取得されたMPDに対応する比較情報を取得することができる。例えば、比較情報取得部１６３は、ネットワーク１０４を介してサーバ１０２と通信を行い、データ取得制御部１６２により指定される所望の比較情報をサーバ１０２に対して要求し、その要求に応じて供給される比較情報を取得することができる。なお、比較情報取得部１６３は、その比較情報に対応するシーンディスクリプションも同様に取得することができる。例えば、比較情報がシーンディスクリプションに含まれている場合、比較情報取得部１６３は、同様にして、その比較情報を含むシーンディスクリプションを取得することができる。また、比較情報取得部１６３は、その取得した比較情報（やシーンディスクリプション）をデータ取得制御部１６２や表示制御部１６４に供給することができる。
　表示制御部１６４は、6DoFコンテンツの表示の制御に関する処理を行う。例えば、表示制御部１６４は、比較情報取得部１６３から供給される比較情報（やシーンディスクリプション）を取得することができる。また、表示制御部１６４は、その比較情報（やシーンディスクリプション）に基づいて、3Dオブジェクトを比較可能に再生し、表示するように、6DoFコンテンツの再生・表示を制御する表示制御情報を生成し、それをバッファ１６７に供給することができる。
　符号化データ取得部１６５は、符号化データの取得に関する処理を行う。例えば、符号化データ取得部１６５は、データ取得制御部１６２の制御に従って、MPD処理部１６１により取得されたMPDや比較情報取得部１６３により取得された比較情報（やシーンディスクリプション）に対応するメディアデータの符号化データを取得することができる。つまり、符号化データ取得部１６５は、例えば、比較対象の3Dオブジェクトのメディアデータの符号化データを取得することができる。例えば、符号化データ取得部１６５は、ネットワーク１０４を介してサーバ１０２と通信を行い、データ取得制御部１６２により指定される所望の6DoFコンテンツのデータをサーバ１０２に対して要求し、その要求に応じて供給される符号化データを取得することができる。また、符号化データ取得部１６５は、その取得した符号化データを復号部１６６に供給することができる。
　復号部１６６は、符号化データの復号に関する処理を行う。例えば、復号部１６６は、符号化データ取得部１６５から供給されるメディアデータの符号化データを取得することができる。また、復号部１６６は、その符号化データを復号し、メディアデータを生成する（復元する）。なお、この復号方法は、任意であり、符号化部１２３の符号化方法に対応していればよい。さらに、復号部１６６は、生成（復元）したメディアデータをバッファ１６７に供給することができる。
　バッファ１６７は、データの保持に関する処理を行う。例えば、バッファ１６７は、復号部１６６から供給されるメディアデータを取得し、保持することができる。また、バッファ１６７は、表示制御部１６４から供給される表示制御情報を取得し、保持することができる。さらに、バッファ１６７は、保持しているそれらの情報を、所定のタイミングにおいて、または、所定のイベントや要求等に応じて、表示情報生成部１６８に供給することができる。
　表示情報生成部１６８は、表示させる画像のデータやそのメタデータ等である表示情報の生成に関する処理を行う。例えば、表示情報生成部１６８は、バッファ１６７に保持されているメディアデータや表示制御情報等を読み出し、取得することができる。また、表示情報生成部１６８は、バッファ１６７から読み出したそれらのデータに基づいて、表示情報を生成することができる。さらに、表示情報生成部１６８は、その生成した表示情報を表示部１６９に供給することができる。
　表示部１６９は、モニタを有し、そのモニタを用いて表示に関する処理を行う。例えば、表示部１６９は、表示情報生成部１６８から供給される表示情報を取得することができる。また、表示部１６９は、その表示情報をモニタに表示させることができる。
　以上のように、クライアント装置１０３においては、比較情報取得部１６３が比較情報を取得し、表示制御部１６４がその比較情報に基づいて表示制御情報を生成する。つまり、表示制御部１６４が、6DoFコンテンツの複数の3Dオブジェクトを比較可能に表示するように、6DoFコンテンツの表示を制御する。このようにすることにより、表示情報生成部１６８は、その表示制御情報に基づいて、6DoFコンテンツの複数の3Dオブジェクトを比較可能に表示させる表示情報を生成し、その表示情報を表示部１６９に表示させることができる。つまり、表示部１６９は、6DoFコンテンツの複数の3Dオブジェクトを比較可能に表示することができる。このように、クライアント装置１０３は、シグナリングされた比較情報に基づいてより容易に、複数の3Dオブジェクトを比較可能に再生し、表示することができる。つまり、ユーザは、3Dオブジェクトの比較をより容易に行うことができる。
　なお、クライアント装置１０３のこれらの処理部（MPD処理部１６１乃至表示部１６９）は、それぞれ、任意の構成を有する。例えば、各処理部が、上述の処理を実現する論理回路により構成されるようにしてもよい。また、各処理部が、例えばCPU、ROM、RAM等を有し、それらを用いてプログラムを実行することにより、上述の処理を実現するようにしてもよい。もちろん、各処理部が、その両方の構成を有し、上述の処理の一部を論理回路により実現し、他を、プログラムを実行することにより実現するようにしてもよい。各処理部の構成は互いに独立していてもよく、例えば、一部の処理部が上述の処理の一部を論理回路により実現し、他の一部の処理部がプログラムを実行することにより上述の処理を実現し、さらに他の処理部が論理回路とプログラムの実行の両方により上述の処理を実現するようにしてもよい。
　　＜配信用データ＞
　次に、6DoFコンテンツのデータについて説明する。生成装置１０１は、6DoFコンテンツのデータとして、例えば、図４に示されるようなデータを生成する。図４は、6DoFコンテンツとして配信される配信用データの例を示す図である。
　図４の例の場合、配信用データは、１８の3Dオブジェクト（OBJ1-1乃至OBJ1-3、OBJ2-1乃至OBJ2-3、OBJ3-1乃至OBJ3-3、OBJ4-1乃至OBJ4-3、OBJ5-1乃至OBJ5-3、OBJ6-1乃至OBJ6-3）のメディアデータを含む。これらの3Dオブジェクトは互いに異なる3Dオブジェクトである。
　また、図４の例の場合、配信用データは、６つのシーンディスクリプション（SD1乃至SD6）を含む。SD1は、３つの3Dオブジェクト（OBJ1-1,OBJ1-2,OBJ1-3）のメディアデータに対応するシーンディスクリプションである。SD2は、３つの3Dオブジェクト（OBJ2-1,OBJ2-2,OBJ2-3）のメディアデータに対応するシーンディスクリプションである。SD3は、３つの3Dオブジェクト（OBJ3-1,OBJ3-2,OBJ3-3）のメディアデータに対応するシーンディスクリプションである。SD4は、３つの3Dオブジェクト（OBJ4-1,OBJ4-2,OBJ4-3）のメディアデータに対応するシーンディスクリプションである。SD5は、３つの3Dオブジェクト（OBJ5-1,OBJ5-2,OBJ5-3）のメディアデータに対応するシーンディスクリプションである。SD6は、３つの3Dオブジェクト（OBJ6-1,OBJ6-2,OBJ6-3）のメディアデータに対応するシーンディスクリプションである。
　さらに、図４の例の場合、配信用データは、シーンディスクリプション毎の比較情報を含む。Compare_data_ext1は、SD1に対応する比較情報である。Compare_data_ext2は、SD2に対応する比較情報である。Compare_data_ext3は、SD3に対応する比較情報である。Compare_data_ext4は、SD4に対応する比較情報である。Compare_data_ext5は、SD5に対応する比較情報である。Compare_data_ext6は、SD6に対応する比較情報である。
　また、図４の例の場合、配信用データは、これらのデータに対応するMPDを含む。つまり、MPDは、各シーンディスクリプションにアクセスするための情報（SD1アクセス情報、SD2アクセス情報、SD3アクセス情報、SD4アクセス情報、SD5アクセス情報、およびSD6アクセス情報）を含む。また、MPDは、各3Dオブジェクトのメディアデータにアクセスするための情報（OBJ1-1アクセス情報、OBJ1-2アクセス情報、OBJ1-3アクセス情報、OBJ2-1アクセス情報、OBJ2-2アクセス情報、OBJ2-3アクセス情報、OBJ3-1アクセス情報、OBJ3-2アクセス情報、OBJ3-3アクセス情報、OBJ4-1アクセス情報、OBJ4-2アクセス情報、OBJ4-3アクセス情報、OBJ5-1アクセス情報、OBJ5-2アクセス情報、OBJ5-3アクセス情報、OBJ6-1アクセス情報、OBJ6-2アクセス情報、およびOBJ6-3アクセス情報）を含む。
　　＜比較識別情報＞
　この比較情報（Compare_data_ext1乃至Compare_data_ext6）が、比較対象の3Dオブジェクトに関する情報である比較識別情報を含むようにしてもよい。例えば、比較情報は、この比較識別情報として、比較可能な3Dオブジェクトのメディアデータや、その3Dオブジェクトに対応するシーンディスクリプションのグループ（比較可能グループとも称する）の識別情報（compare id）を含む。つまり、”compare id”は、比較可能グループを示す情報である。
　例えば図４の例において、図中右上左下の斜線模様で示される3Dオブジェクトは、互いに比較可能なオブジェクトを示す。つまり、OBJ1-2、OBJ3-2、およびOBJ5-2は、互いに比較可能に再生・表示することができる。したがって、点線枠で示されるように、SD1、SD3、SD5、OBJ1-2、OBJ3-2、およびOBJ5-2は、比較可能グループｘとされ、compare idとして”ｘ”が割り当てられている（Compare_id = x）。つまり、それらのシーンディスクリプションに対応する比較情報、すなわち、Compare_data_ext1、Compare_data_ext3、およびCompare_data_ext5は、比較識別情報として、比較可能グループｘを示す「Compare_id = x」を含む。
　また、図４の例において、図中右下左上の斜線模様で示される3Dオブジェクトは、互いに比較可能なオブジェクトを示す。つまり、OBJ2-3、OBJ4-3、およびOBJ6-3は、互いに比較可能に再生・表示することができる。したがって、一点鎖線枠で示されるように、SD2、SD4、SD6、OBJ2-3、OBJ4-3、およびOBJ6-3は、比較可能グループｙとされ、compare idとして”ｙ”が割り当てられている（Compare_id = y）。つまり、それらのシーンディスクリプションに対応する比較情報、すなわち、Compare_data_ext2、Compare_data_ext4、およびCompare_data_ext6は、比較識別情報として、比較可能グループｙを示す「Compare_id = y」を含む。
　また、図４の例において、グレーで示される3Dオブジェクトは、互いに比較可能なオブジェクトを示す。つまり、OBJ3-1、OBJ4-1、OBJ5-1、およびOBJ6-1は、互いに比較可能に再生・表示することができる。したがって、二点鎖線枠で示されるように、SD3、SD4、SD5、SD6、OBJ3-1、OBJ4-1、OBJ5-1、およびOBJ6-1は、比較可能グループｚとされ、compare idとして”ｚ”が割り当てられている（Compare_id = z）。つまり、それらのシーンディスクリプションに対応する比較情報、すなわち、Compare_data_ext3、Compare_data_ext4、Compare_data_ext5、およびCompare_data_ext6は、比較識別情報として、比較可能グループｚを示す「Compare_id = z」を含む。
　このような比較識別情報が無い場合、ユーザ等が、例えば図４の、１８の3Dオブジェクトのいずれが比較可能であるかを特定する等の煩雑な作業が必要になる。上述のように、生成装置１０１がこの比較識別情報を生成し、シグナリングすることで、クライアント装置１０３は、どの3Dオブジェクトがどの3Dオブジェクトと比較可能であるかを比較対象となり得るかを、この比較識別情報に基づいて容易に特定することができるようになる。
　なお、この比較識別情報は、MPDに記述することもできる。例えば、図４に示されるように、各シーンディスクリプションへのアクセス情報に紐づけて、そのシーンディスクリプションに対応する比較識別情報を記述するようにしてもよい。
　　＜比較表示情報＞
　また、この比較情報（Compare_data_ext1乃至Compare_data_ext6）が、比較可能な3Dオブジェクトの表示に関する情報である比較表示情報を含むようにしてもよい。つまり、比較表示情報は、3Dオブジェクトを比較可能に再生・表示する際の、その再生や表示の仕方等に関する情報である。
　　＜その他＞
　なお、配信用データの構成は任意であり、図４の例に限定されない。例えば、3Dオブジェクトやシーンディスクリプションの数は任意である。また、各シーンディスクリプションに対応する3Dオブジェクトの数も任意である。さらに、比較情報はシーンディスクリプション毎に生成されるので、その数は図４の例に限定されない。当然、比較可能な3Dオブジェクトも任意である。つまり、配信用データに構成される比較可能グループも図４の例に限定されない。また、compare idの値も任意であり、図４のｘ、ｙ、ｚに限定されない。
　　＜比較可能な表示１＞
　次に、3Dオブジェクトの比較可能な表示方法について説明する。3Dオブジェクトの比較可能な表示の仕方は任意である。例えば、図５のように、比較対象の3Dオブジェクトを含む複数の6DoF映像を並べて表示してもよい。つまり、この場合、比較情報は、このような表示を行うための情報を含む。
　図５の例の場合、比較対象の3Dオブジェクトであるオブジェクト２０１Ａを含む6DoF映像２０１と、同じく比較対象の3Dオブジェクトであるオブジェクト２０２Ａを含む6DoF映像２０２とが並べて表示されている。この表示により、例えば、オブジェクト２０１Ａによるバットのスイングの様子と、オブジェクト２０２Ａによるバットのスイングの様子とを比較することができる。つまり、あるシーンディスクリプション（6DoF scene description）内に配置されている１つの3Dオブジェクトと、他のシーンディスクリプション（6DoF scene description）内に配置されている3Dオブジェクトとを比較することができるように、それぞれの6DoF映像が、その視点位置、視線方向、画角等を適切に合わせ、並べて表示されている。
　異なる6DoF scene descriptionに配置された3Dオブジェクトを比較表示するためには、比較可能な3Dオブジェクトを同じ角度から同じ大きさに見るための、それぞれの6DoF scene description内における視点位置を示す視点位置情報、その視点位置における視線方向を示す視線方向情報、表示領域を示す画角情報、表示の際の6DoF映像の並べ方の情報、3Dオブジェクトの比較対象動作の開始時刻を示す開始時刻情報、その終了時刻を示す終了時刻情報、それらの時刻情報をどのように使用するかを示す情報等の比較表示情報が必要である。
　　＜比較情報のシグナル例＞
　このような表示を行う場合の比較情報のシグナリングの例を図６に示す。この例は、3D静止画コンテンツやアニメーションデータなどを6DoF空間に配置するためのフォーマットであるglTF2.0（非特許文献４参照）で記述されている。glTF2.0はその拡張性や、既に色々なツールが対応しているという状況から、MPEG-Iのscene descriptionとして採用が見込まれ、3D動画コンテンツや3D Audioコンテンツなども記述できるようにMPEG-Iにおける規格拡張の検討が始まっている。
　この例では、"scene"と呼ばれるglTF objectに、比較情報をシグナルするための拡張"CompareDataExtension"が定義され、その拡張において、比較識別情報と比較表示情報とがシグナルされている。
　比較識別情報としては、上述の"compare_id"に加え、"compare_sub_info"や"object_id"がシグナルされている。
　"compare_sub_info"は、"compare_id"のサブカテゴリを示す情報である。例えば、この"compare_sub_info"として、日時、選手名、球種（例えばストレート、カーブ、フォーク等）、球速、回転数等、比較対象に関する任意の情報をシグナルすることができる。この"compare_sub_info"の情報の利用方法は任意である。例えば、この"compare_sub_info"の情報をコンテンツのソートや検索に利用することができるようにしてもよい。また、例えば、"compare_sub_info.type"にてカテゴリ情報をシグナルし、"compare_sub_info.data"にてそのカテゴリにおける実際の値をシグナルするようにしてもよい。
　"object_id"は、比較対象の3Dオブジェクトを示す情報である。つまり、"object_id"は、このシーンディスクリプションに対応する3Dオブジェクトの内、いずれの3Dオブジェクトが比較対象であるかを示す識別情報である。つまり、シーンディスクリプションと比較対象の3Dオブジェクトとを紐づけるためにこの"object_id"がシグナルされる。
　比較表示情報としては、"viewpoint_position"、"view_orientation"、"view_window"、"window_arrangement_type"、"compareStartTime"、"compareEndTime"、および"compare_time_type"がシグナルされている。
　"viewpoint_position"は、比較のための、この3Dオブジェクトを見る初期視点位置を示す情報（初期視点位置情報とも称する。例えば３次元配列）である。"view_orientation"は、比較のための、この初期視点位置における初期視線方法を示す情報（初期視線方法情報とも称する。例えば３次元配列）である。"view_window"は、比較のために3Dオブジェクトを含む6DoF映像を切り取る縦横の画角を示す情報（画角情報とも称する。例えば２次元配列）である。"window_arrangement_type"は、比較表示する際の6DoF映像の配置方法（例えば横に並べるか、縦に並べるか等）を示す情報（配置方法情報とも称する）である。"compareStartTime"は、比較を開始する時刻（比較開始時刻とも称する。例えばコンテンツ先頭からの経過時間等）を示す情報である。"compareEndTime"は、比較を終了する時刻（比較終了時刻とも称する。例えばコンテンツ先頭からの経過時間等）を示す情報である。"compare_time_type"は、比較対象の各コンテンツの再生速度に関する情報である。
　例えば、比較対象同士でコンテンツの時間の長さ（比較対象時間長とも称する）が互いに異なる場合、両者の比較終了時刻を合わせるようにコンテンツを、早送り再生（つまり通常速度よりも速い再生速度で再生）したり、スロー再生（つまり通常速度よりも遅い再生速度で再生）したりする方法が考えられる。また、比較終了時刻を合わせずに、両者を通常速度で再生する方法も考えられる。"compare_time_type"は、このような再生速度のタイプを示す情報（つまり、どのようなタイプの再生速度でコンテンツを再生するかを示す情報）である。
　これらのシグナルのうち、"window_arrangement_type"および"compare_time_type"は、同じ比較を行うものについては同じ情報となるべきものであるため、同じ"compare_id"のものについては同じ値を持つようにシグナルされる。
　以上のような"CompareDataExtension"は、１つの6DoF映像に複数の比較可能な3Dオブジェクトが含まれることを想定し、3Dオブジェクト毎に比較情報を持てるような配列とされている。つまり、比較情報は、3Dオブジェクト毎に構成されるようにしてもよい。
　また、以上のような"CompareDataExtension"は、例えば、シーンディスクリプションにおいてシグナルすることができる。つまり、比較情報は、シーンディスクリプションに含めることができる。
　　＜MPD＞
　DASH配信されることが前提の場合、MPDに比較識別情報をシグナルしてもよい。つまり、比較識別情報は、MPDに含めることができる。このようにすることで、クライアント装置１０３は、比較情報を含む6DoF scene descriptionを取得する前に、比較が可能なデータがいずれであるかを知ることができる。したがって、クライアント装置１０３は、例えば、このMPDの比較識別情報から比較対象の一覧情報を作成し、UI（User Interface）としてユーザに提示することもできる。
　図７は、その場合のMPDの例を示す図である。図７の例の場合、比較識別情報である"compare_id"および"compare_sub_info"が、比較対象3Dオブジェクトを含むアダプテーションセット（AdaptationSet）のサプリメンタルプロパティ（supplementalProperty）にシグナルされている。もちろん、比較識別情報をシグナルする位置は任意であり、図７の例に限定されない。
　　＜ファイル生成処理の流れ＞
　このような比較情報を、生成装置１０１は、ファイル生成処理を実行することにより、生成し、シグナルすることができる。この場合のファイル生成処理の流れの例を、図８のフローチャートを参照して説明する。
　ファイル生成処理が開始されると、生成装置１０１のデータ入力部１２１は、ステップＳ１０１において、配信する6DoFコンテンツのメディアデータとシーンディスクリプションを取得する。
　ステップＳ１０２において、前処理部１２２は、メディアデータやシーンディスクリプションに対して、適宜、前処理を行う。
　ステップＳ１０３において、比較情報生成部１２４は、メディアデータやシーンディスクリプション、ユーザ等による設定等に基づいて、比較情報を生成する。その際、比較情報生成部１２４は、シーンディスクリプション毎に比較情報を生成する。
　ステップＳ１０４において、符号化部１２３は、メディアデータを符号化し、その符号化データを生成する。
　ステップＳ１０５において、ファイル生成部１２５は、ステップＳ１０３において生成された比較情報、シーンディスクリプション、ステップＳ１０４においてメディアデータの符号化データ等を含むファイルを生成する。
　ステップＳ１０６において、記憶部１２７は、ステップＳ１０５において生成されたファイルを記憶する。
　ステップＳ１０７において、アップロード部１２８は、所定のタイミングにおいて、または、所定のイベントや要求等に応じて、記憶部１２７に記憶されているファイルを読み出し、それをサーバ１０２にアップロードする。
　ファイルのアップロードが完了すると、ファイル生成処理が終了する。
　以上のようにファイル生成処理を行うことにより、生成装置１０１は、比較情報をシグナリングすることができる。これにより、クライアント装置１０３は、その比較情報に基づいて、比較可能なコンテンツを把握することができる。また、クライアント装置１０３は、その比較情報に基づいて、比較対象の3Dオブジェクトを、ユーザが比較しやすいように表示することができる。したがって、クライアント装置１０３のユーザは、3Dオブジェクトの比較をより容易に行うことができる。例えば、ユーザは、より容易に、比較対象の3Dオブジェクトの動作を、あらゆる視点から比較することができる。
　　＜再生処理の流れ＞
　クライアント装置１０３は、再生処理を実行することにより、6DoFコンテンツの複数の3Dオブジェクトを比較可能に再生し、表示することができる。この場合の再生処理の流れの例を、図９のフローチャートを参照して説明する。
　再生処理が開始されると、クライアント装置１０３のMPD処理部１６１は、ステップＳ１２１において、サーバ１０２にアクセスし、所望の6DoFコンテンツのMPDを取得する。MPD処理部１６１は、取得したMPDをパースする。
　ステップＳ１２２において、比較情報取得部１６３は、そのパースの結果に基づいて、そのMPDにシグナルされる比較識別情報を取得する。
　ステップＳ１２３において、表示部１６９は、その比較識別情報に基づいて比較可能な3Dオブジェクトの一覧情報をユーザに対して提示する。例えば、表示制御部１６４は、"compare_id"に基づいて互いに同一の比較可能グループに属する3Dオブジェクトを特定し、その一覧を表示させる表示制御情報を生成し、その表示制御情報をバッファ１６７に供給する。表示情報生成部１６８は、バッファ１６７を介して、その表示制御情報を取得し、比較可能な3Dオブジェクトの一覧を含む表示情報を生成する。表示部１６９は、その表示情報をモニタに表示することにより、比較可能な3Dオブジェクトの一覧をユーザに対して提示する。
　ユーザは、その提示された比較可能な3Dオブジェクトの一覧に基づいて、比較する3Dオブジェクトの選択を入力する。クライアント装置１０３の入力部（図示せず）は、そのユーザ等による入力操作を受け付ける。つまり、ユーザ等による比較対象とする3Dオブジェクトの選択入力が受け付けられる。
　ステップＳ１２４において、符号化データ取得部１６５は、ユーザにより選択された比較対象の3Dオブジェクトに対応する符号化データ、つまり、その3Dオブジェクトのメディアデータの符号化データを取得する。
　ステップＳ１２５において、比較情報取得部１６３は、その比較対象の3Dオブジェクトに対応する比較表示情報を取得する。例えば、比較情報取得部１６３は、"compare_sub_info"や"object_id"等に基づいて、ユーザにより選択された比較対象の3Dオブジェクトに対応する比較表示情報を取得する。例えば、比較表示情報がシーンディスクリプションにシグナルされている場合、比較情報取得部１６３は、ユーザにより選択された比較対象の3Dオブジェクトに対応する比較表示情報を含むシーンディスクリプションを取得し、そのシーンディスクリプションから比較表示情報を取得する。
　ステップＳ１２６において、復号部１６６は、ステップＳ１２４において取得された符号化データを復号し、比較対象の3Dオブジェクトのメディアデータを生成（復元）する。
　ステップＳ１２７において、表示情報生成部１６８等は、ステップＳ１２５において取得された比較表示情報等に基づいて、比較対象の3Dオブジェクトやシーンディスクリプション（6DoF scene description）を再生し、表示する。例えば、表示制御部１６４が、比較表示情報等に基づいて、比較対象の3Dオブジェクトやシーンディスクリプション（6DoF scene description）を比較可能に再生させ表示させる。
　その場合、例えば、表示制御部１６４は、"viewpoint_position"から初期視点位置を特定することができる。また、表示制御部１６４は、"view_orientation"から初期視線方向を特定することができる。さらに、表示制御部１６４は、"view_window"から6DoF映像を切り取る縦横の画角を特定することができる。つまり、表示制御部１６４は、これらの情報に基づいて、比較する各6DoF映像を設定することができる。
　また、表示制御部１６４は、"window_arrangement_type"から6DoF映像の配置方法を特定することができる。さらに、表示制御部１６４は、"compareStartTime"から、比較開始時刻を特定し、"compareEndTime"から比較終了時刻を特定し、"compare_time_type"から、再生速度を特定することができる。つまり、表示制御部１６４は、これらの情報に基づいて、比較する各6DoF映像をどのように表示するかを設定することができる。
　そして、表示情報生成部１６８が、その表示制御に従って、例えば図５のような表示情報を生成し、表示部１６９がその表示情報をモニタに表示する。このようにすることにより、複数の3Dオブジェクトが比較可能に再生され、表示される。
　ステップＳ１２７の処理が終了すると、再生処理が終了する。
　以上のように再生処理を行うことにより、クライアント装置１０３は、シグナリングされた比較情報に基づいて、比較可能なコンテンツを把握することができる。また、クライアント装置１０３は、その比較情報に基づいて、複数の3Dオブジェクトを比較可能に再生し、表示することができる。その際、クライアント装置１０３は、その比較情報に基づいて、比較対象の3Dオブジェクトを、ユーザが比較しやすいように表示することができる。したがって、クライアント装置１０３のユーザは、3Dオブジェクトの比較をより容易に行うことができる。例えば、ユーザは、より容易に、比較対象の3Dオブジェクトの動作を、あらゆる視点から比較することができる。
　　＜その他＞
　図６は、シーンディスクリプションの一例であり、シーンディスクリプションの記述は、図６の例に限定されない。例えば、glTF2.0以外のシーンディスクリプション（例えば非特許文献１に記載のシーンディスクリプション）で同様の情報をシグナルするための拡張を行って実現しても良い。
　また、比較対象の3Dオブジェクトを含む6DoF映像の比較は２つに制約されるものではなく、２つ以上の比較も同様なシグナルで実現可能である。２つより多い6DoF映像の比較においては、表示する領域を示す"view_window"を変えて表示することも考えられる。その場合には"view_window"を配列とすることで、３つの比較の場合の画角情報、４つの比較の場合の画角情報などとシグナルする事が可能である。これらについては、以降の実施例でも同様である。
　　＜比較可能な表示２＞
　なお、3Dオブジェクトの比較可能な表示方法は、任意であり、図５の例に限定されない。例えば、比較する6DoFコンテンツの一方においては、シーンディスクリプション（6DoF scene description）および3Dオブジェクトの両方を利用し、他方においては3Dオブジェクトのみを利用し、一方のシーンディスクリプションにおいて、その3Dオブジェクトと他方の3Dオブジェクトとを重畳して表示してもよい。つまり、例えば図１０のように、3Dオブジェクト同士が重畳して表示されるように、比較対象の複数の3Dオブジェクトの内の１つに対応する6DoFコンテンツに、他の3Dオブジェクトを重畳させて表示してもよい。つまり、この場合、比較情報は、このような表示を行うための情報を含む。
　図１０の例の場合、オブジェクト２０１Ａを含む6DoF映像２０１に、オブジェクト２０２Ａが、オブジェクト２０１Ａと比較に適する状態で重畳するように配置され、表示されている。つまり、一方の3Dオブジェクトと背景に対して、他方の3Dオブジェクトが重畳されている。この表示により、例えば、オブジェクト２０１Ａによるバットのスイングの様子と、オブジェクト２０２Ａによるバットのスイングの様子とを重畳して比較することができる。
　このような表示を実現するためには、比較可能な3Dオブジェクトが比較できるように配置されるために、それぞれの6DoF scene descriptionにおける視点位置情報、3Dオブジェクトの中心位置を示すための位置情報（視線方向となる情報が得られ、さらに3Dオブジェクトを重ねるための情報として利用される情報）、表示する際にどちらをベースとするか（どちらのシーンディスクリプションを適用するか）を示す優先順位情報、表示領域を示す画角情報、3Dオブジェクトの比較対象動作の開始時刻情報と終了時刻情報、並びに、その時刻情報をどのように使用するかを示す情報等の比較表示情報が必要である。
　　＜比較情報のシグナル例＞
　このような表示を行う場合の比較情報のシグナリングの例を図１１に示す。この例も、図６と同様に、glTF2.0で記述されている。図６の例と同様の部分については説明を省略する。この例の場合、比較表示情報として、"object_centre_position"、"priority"、"overlay_scene_transparency"、および"overlay_object_type"がシグナルされている。
　"object_centre_position"は、3Dオブジェクトの中心点（3Dオブジェクトを格納する立方体であるバウンディングボックス（bounding box）の中心点）を示す情報（例えば３次元配列）である。この情報は、２つの3Dオブジェクトを重ね合わせるために利用されるだけでなく、視線方向の導出にも利用することができる。つまり、この情報は、視線方向情報を含む。
　"priority"は、優先順位に関する情報である。例えば、この情報が、重ねる際のベースとなるコンテンツ（つまり、3Dオブジェクトだけでなくシーンディスクリプションも利用するコンテンツ）を示してもよい。つまり、クライアント装置１０３が、この"priority"に示される優先順位に基づいて、どのコンテンツをベースとするかを判断するようにしてもよい。
　なお、"priority"が優先順位を直接的に示すようにしてもよいし、間接的に示すようにしてもよい。例えば、"priority"が、何を優先順位として使用するかを示してもよい。例えばコンテンツが作成された日時情報を使用して、古いものをベースとするなどといったことも考えられる。その場合、例えば、"priority"が、コンテンツが作成された日時情報が最も古いコンテンツをベースとする旨をシグナルし、"compare_sub_info"により、そのコンテンツが作成された日時情報がシグナルされるようにしてもよい。このようにすることにより、例えば、クライアント装置１０３は、"priority"に基づいて、コンテンツが作成された日時情報が最も古いコンテンツをベースとすることを把握し、"compare_sub_info"としてシグナルされる日時情報に基づいて、ベースとするコンテンツを選択することができる。
　"overlay_scene_transparency"は、上に重ねる3Dオブジェクトが含まれる6DoF映像の透過度をシグナルする。この透過度を100％にすることにより、シーンディスクリプションを重畳させずに3Dオブジェクトのみを重畳させることができる。なお、この透過度を100％未満としてもよい。つまり、複数の3Dオブジェクトと背景を重畳させてもよい。すなわち、ベースとなる一方のシーンディスクリプション（比較対象の3Dオブジェクトを含む）に、他方のシーンディスクリプション（比較対象の3Dオブジェクトを含む）を重畳させて表示させてもよい。例えば、図１０の場合、6DoF映像２０１にオブジェクト２０２Ａが重畳されているが、6DoF映像２０１に対して6DoF映像２０２を所定の透過度で重畳させてもよい。このようにすることにより、複数の6DoF映像の背景を重畳させることができる。
　"overlay_object_type"は、重ね合わせる3Dオブジェクトの表示方法をシグナルする。例えば、この"overlay_object_type"により、スケルトンや差分情報、ボーン、ラインといった表示の方法が指定される。例えば、重畳する3Dオブジェクトの透過度を0％より大きくしたり、重畳する部分の画素値を両3Dオブジェクトの差分値としたり、重畳する3Dオブジェクトを線状として表示したり、重畳する3Dオブジェクトの外形（外枠）だけを表示したり等の表示方法が、この情報により指定され得る。
　図１０の例のうち、"compare_time_type"、"overlay_scene_transparency"、および"overlay_object_type"は、同じ比較を行うものについては同じ情報となるべきものであるため、同じ"compare_id"のものについては同じ値を持つようにシグナルされる。また、"priority"が比較優先順位をタイプで示す場合、この"priority"も同様に、同じ"compare_id"のものについては同じ値を持つようにシグナルされる。
　これらの比較表示情報は、例えば、クライアント装置１０３により実行される再生処理において利用される。例えば、再生処理（図９）のステップＳ１２７において、表示制御部１６４は、"object_centre_position"から比較対象の各3Dオブジェクトの中心点を特定することができる。したがって、表示制御部１６４は、この中心点を揃える（同位置とする）ように各3Dオブジェクトを配置させることにより、各3Dオブジェクトを重畳させることができる。なお、表示制御部１６４は、この"object_centre_position"から初期視線方向を特定することもできる。
　また、表示制御部１６４は、"priority"に基づいて、どのコンテンツをベースとするかを判断することができる。つまり、表示制御部１６４は、"priority"に基づいて、ベースとする6DoF映像を指定することができる。
　また、表示制御部１６４は、"overlay_scene_transparency"から上に重ねる3Dオブジェクトが含まれる6DoF映像の透過度を特定することができる。つまり、表示制御部１６４は、上に重ねる3Dオブジェクトが含まれる6DoF映像の透過度を、"overlay_scene_transparency"により指定される透過度に設定することができる。
　さらに、表示制御部１６４は、"overlay_object_type"から重ね合わせる3Dオブジェクトの表示方法を特定することができる。つまり、表示制御部１６４は、重ね合わせる3Dオブジェクトの表示方法を、"overlay_object_type"により指定されるタイプに設定することができる。
　そして、表示情報生成部１６８が、以上のような表示制御に従って、例えば図１０のような表示情報を生成し、表示部１６９がその表示情報をモニタに表示する。このようにすることにより、複数の3Dオブジェクトが比較可能に再生され、表示される。
　この場合も"CompareDataExtension"は、例えば、シーンディスクリプションにおいてシグナルすることができる。つまり、比較情報は、シーンディスクリプションに含めることができる。
　　＜比較例＞
　このような比較可能に表示された6DoF映像において、比較対象の3Dオブジェクトは、略同じ位置にとどまって動作をすることが望ましい。例えば、水泳や短距離走といった3Dオブジェクトが6DoF scene descriptionの中で移動する場合、6DoF映像において比較対象の3Dオブジェクトが略同じ位置にとどまるように、その移動に合わせて視点位置や視線方向等を変化させればよい。
　上述したシグナルは、比較のための情報の初期値を示すものである。初期値を合わせておけば、時間の経過とともに3Dオブジェクトの位置が変化する場合においても、同様に比較表示が可能である。
　例えば、"compare_time_type"において、比較終了時刻を合わせずに再生するものを指定することで、スピードの差を比較するといった、動作の比較以外の比較方法も実現可能である。
　　＜比較可能な表示３＞
　また例えば、比較する6DoFコンテンツの一方においては、シーンディスクリプション（6DoF scene description）および3Dオブジェクトの両方を利用し、他方においては3Dオブジェクトのみを利用し、一方のシーンディスクリプションにおいて、その3Dオブジェクトと他方の3Dオブジェクトとを並べて表示してもよい。つまり、例えば図１２のように、3Dオブジェクト同士を並べて表示されるように、比較対象の複数の3Dオブジェクトの内の１つに対応する6DoFコンテンツに、他の3Dオブジェクトを重畳させて表示してもよい。つまり、この場合、比較情報は、このような表示を行うための情報を含む。
　図１２の例の場合、オブジェクト２０１Ａを含む6DoF映像２０１に、オブジェクト２０２Ａが、オブジェクト２０１Ａと比較に適する状態で並べて表示されるように配置されている。つまり、一方の3Dオブジェクトと背景に対して、他方の3Dオブジェクトが重畳されている。この表示により、例えば、6DoF映像２０１において、オブジェクト２０１Ａによるバットのスイングの様子と、オブジェクト２０２Ａによるバットのスイングの様子とを並べて比較することができる。
　このような表示を実現するためには、比較可能な3Dオブジェクトが比較できるように配置されるために、それぞれの6DoF scene descriptionにおける視点位置情報、3Dオブジェクトの中心位置を示すための位置情報（視線方向となる情報が得られ、さらに3Dオブジェクトを重ねるための情報として利用される情報）、表示する際にどちらをベースとするか（どちらのシーンディスクリプションを適用するか）を示す優先順位情報、表示領域を示す画角情報、重畳する3Dオブジェクトをどこに配置するかを示すは位置情報、3Dオブジェクトの比較対象動作の開始時刻情報と終了時刻情報、並びに、その時刻情報をどのように使用するかを示す情報等の比較表示情報が必要である。
　　＜比較情報のシグナル例＞
　このような表示を行う場合の比較情報のシグナリングの例を図１３に示す。この例も、図６や図１０の例と同様に、glTF2.0で記述されている。図６や図１０の例と同様の部分については説明を省略する。この例の場合、比較表示情報として、"other_object_position"がシグナルされている。
　"other_object_position"は、重畳する3Dオブジェクトの中心点の配置場所を示す位置情報である。この位置情報は、配置する3Dオブジェクトの数に応じた配列としてシグナルすればよい。つまり、N個の3Dオブジェクトを比較する場合、（N-1）個の位置情報を配列としてシグナルすればよい。例えば、図１２の場合、２つの3Dオブジェクトの比較であるので、１つの位置情報がシグナルされている。
　なお、図１３の例のうち、"compare_time_type"は、同じ比較を行うものについては同じ情報となるべきものであるため、同じ"compare_id"のものについては同じ値を持つようにシグナルされる。また、"priority"が比較優先順位をタイプで示す場合、この"priority"も同様に、同じ"compare_id"のものについては同じ値を持つようにシグナルされる。
　これらの比較表示情報は、例えば、クライアント装置１０３により実行される再生処理において利用される。例えば、再生処理（図９）のステップＳ１２７において、表示制御部１６４は、"other_object_position"から重畳する3Dオブジェクトの中心点の配置場所を特定することができる。したがって、表示制御部１６４は、この情報に基づいて、各3Dオブジェクトの中心点の位置を、3Dオブジェクト同士が重ならないような位置に設定することができる。
　そして、表示情報生成部１６８が、以上のような表示制御に従って、例えば図１２のような表示情報を生成し、表示部１６９がその表示情報をモニタに表示する。このようにすることにより、複数の3Dオブジェクトが比較可能に再生され、表示される。
　この場合も"CompareDataExtension"は、例えば、シーンディスクリプションにおいてシグナルすることができる。つまり、比較情報は、シーンディスクリプションに含めることができる。
　この例の場合、比較のために視点位置を移動させて3Dオブジェクトを周囲から見ることを実現するために、クライアント装置１０３は、表示する際に１つの6DoF映像を２つの別の視点から見ているような表示を提供する必要が有る。このような処理を行わない場合、１つの6DoF映像に２つの3Dオブジェクトが配置されているため、角度によっては3Dオブジェクトが他方に隠れて見えなくなったり、遠近法により２つの3Dオブジェクトの大きさが異なる表示となったりするおそれがある。比較表示情報等に基づいて上述のような視点位置や視点方向等の調整を適切に行うことにより、このような現象の発生を抑制し、ユーザが3Dオブジェクトの比較をより容易に行うことができるようにすることができる。
　＜４．第２の実施の形態＞
　　＜複数のシーンディスクリプションに対応する比較情報のシグナリング＞
　本実施の形態においては、複数のシーンディスクリプションに対応する比較情報をシグナリングする方法について説明する。
　この場合も、配信システム１００や、その配信システム１００を構成する各装置（例えば生成装置１０１やクライアント装置１０３）の構成は、上述した第１の実施の形態の場合と同様である。つまり、特に言及しない限り、第１の実施の形態において行った配信システム１００や各装置の構成についての説明は、第２の実施の形態においても適用され得る。
　　＜配信用データ＞
　次に、この場合の6DoFコンテンツのデータについて説明する。この場合、生成装置１０１は、6DoFコンテンツのデータとして、例えば、図１４に示されるようなデータを生成する。図１４は、6DoFコンテンツとして配信される配信用データの例を示す図である。
　図１４の例の場合、図４の例においてシーンディスクリプション毎に分散してシグナルしていた比較情報（比較識別情報や比較表示情報）が、リスト化されて１つにまとめられ、各シーンディスクリプションと同じレベルに配置される。つまり、比較情報のリストであるCompare Listが生成され、シーンディスクリプション（SD1乃至SD6）とは別にシグナルされる。すなわち、このCompare Listには、各シーンディスクリプションに対応する比較情報（Compare_data1乃至Compare_data6）が含まれる。このようなCompare Listにより、比較情報へのアクセスがより容易になる。なお、MPDが生成される場合、このMPDには、このCompare Listにアクセスするための情報（CompareListアクセス情報）が含まれてもよい。このアクセス情報により、比較情報へのアクセスがより容易になる。
　　＜比較制御情報＞
　この比較情報（Compare List）が、複数の3Dオブジェクトに関する比較情報をリスト化するための情報である比較制御情報を含むようにしてもよい。
　　＜比較情報のシグナル例＞
　このような表示を行う場合の比較情報のシグナリングの例を図１５に示す。この例はbinarydataで記述するものである。第１の実施例で説明したパラメータと同様の部分の説明は省略する。
　例えば、比較情報（Compare List）は、この比較制御情報として、"number_of_compare"、"number_of_compare_data"、"Scene_description_file_name"等を含むようにしてもよい。
　"number_of_compare"は、シグナルされる"compare_id"の数を示す情報である。また、"number_of_compare_data"は、この"compare_id"でグループ化される比較対象3Dオブジェクトの数を示す情報である。さらに、"Scene_description_file_name"は、各3Dオブジェクトに紐づけられた6DoF映像を示す情報である。例えば、"compare_id"毎に比較情報をまとめるために、"compare_id"の数が"number_of_compare"によりシグナルされる。また、この"compare_id"でグループ化される比較対象3Dオブジェクトの数が"number_of_compare_data"によりシグナルされ、各比較情報が"number_of_compare_data"数分だけシグナルされる。この際、各3Dオブジェクトに紐づけられた6DoF映像の情報として、"Scene_description_file_name"がシグナルされる。
　なお、"compare_time_type"、"overlay_scene_transparency"、"overlay_object_type"は、同じ比較を行うものについては同じ情報となるべきものであるため、同じ"compare_id"のものについては同じ値を持つように"compare_id"とともにシグナルされる。
　　＜MPD＞
　DASH配信されることが前提の場合、MPDに比較情報（Compare List）へのアクセス情報をシグナルしてもよい。このようにすることで、クライアント装置１０３は、処理の最初にcompare_listを取得させることが可能となる。つまり、容易に比較情報（Compare List）を取得することができる。そして、クライアント装置１０３は、その比較情報（Compare List）に基づいて比較対象の一覧情報を作成し、UI（User Interface）としてユーザに提示することもできる。
　図１６は、その場合のMPDの例を示す図である。図１６の例の場合、比較情報がリスト化されている（つまりCompare Listである）旨を示す情報が、MPDの、Compare Listを含むアダプテーションセット（AdaptationSet）のサプリメンタルプロパティ（supplementalProperty）にシグナルされている。もちろん、このCompare Listである旨を示す情報をシグナルする位置は任意であり、図１６の例に限定されない。
　　＜ファイル生成処理の流れ＞
　この場合のファイル生成処理の流れは、基本的に図８の例と同様である。ただし、ステップＳ１０３において、比較情報生成部１２４は、複数のシーンディスクリプションのそれぞれに対応する比較情報をリスト化してまとめた比較情報（Compare List）、すなわち、複数のシーンディスクリプションに対応する比較情報を生成する。それ以外の処理は、図８の場合と同様に行われる。
　　＜再生処理の流れ＞
　次に、この場合の再生処理の流れの例を、図１７のフローチャートを参照して説明する。
　再生処理が開始されると、クライアント装置１０３のMPD処理部１６１は、ステップＳ１４１において、サーバ１０２にアクセスし、所望の6DoFコンテンツのMPDを取得する。MPD処理部１６１は、取得したMPDをパースする。
　ステップＳ１４２において、比較情報取得部１６３は、そのパースの結果に基づいて、そのMPDにシグナルされるcompare Listを含むファイルを取得する。つまり、比較情報取得部１６３は、MPDに示されるcompare Listを取得する。
　ステップＳ１４３において、比較情報取得部１６３は、ステップＳ１４２において取得されたcompare Listから比較識別情報を取得する。
　ステップＳ１４４において、表示部１６９は、その比較識別情報に基づいて比較可能な3Dオブジェクトの一覧情報をユーザに対して提示する。例えば、表示制御部１６４は、"compare_id"に基づいて互いに同一の比較可能グループに属する3Dオブジェクトを特定し、その一覧を表示させる表示制御情報を生成し、その表示制御情報をバッファ１６７に供給する。表示情報生成部１６８は、バッファ１６７を介して、その表示制御情報を取得し、比較可能な3Dオブジェクトの一覧を含む表示情報を生成する。表示部１６９は、その表示情報をモニタに表示することにより、比較可能な3Dオブジェクトの一覧をユーザに対して提示する。
　ユーザは、その提示された比較可能な3Dオブジェクトの一覧に基づいて、比較する3Dオブジェクトの選択を入力する。クライアント装置１０３の入力部（図示せず）は、そのユーザ等による入力操作を受け付ける。つまり、ユーザ等による比較対象とする3Dオブジェクトの選択入力が受け付けられる。
　ステップＳ１４５において、符号化データ取得部１６５は、ユーザにより選択された比較対象の3Dオブジェクトに対応する符号化データ、つまり、その3Dオブジェクトのメディアデータの符号化データを取得する。また、比較情報取得部１６３は、その3Dオブジェクトに対応するシーンディスクリプションを取得する。比較情報取得部１６３は、その比較対象の3Dオブジェクトに対応する比較表示情報を取得する。例えば、比較情報取得部１６３は、"compare_sub_info"や"object_id"等に基づいて、ユーザにより選択された比較対象の3Dオブジェクトに対応する比較表示情報を取得する。
　ステップＳ１４６において、復号部１６６は、ステップＳ１４５において取得された符号化データを復号し、比較対象の3Dオブジェクトのメディアデータを生成（復元）する。
　ステップＳ１４７において、表示情報生成部１６８等は、ステップＳ１４５において取得された比較表示情報等に基づいて、比較対象の3Dオブジェクトやシーンディスクリプション（6DoF scene description）を再生し、表示する。例えば、表示制御部１６４が、比較表示情報等に基づいて、比較対象の3Dオブジェクトやシーンディスクリプション（6DoF scene description）を比較可能に再生させ表示させる。表示制御部１６４は、第１の実施の形態において説明したように、比較表示情報の各パラメータに基づいて表示を制御する。表示情報生成部１６８が、その表示制御に従って、複数の3Dオブジェクトを比較可能な表示情報を生成し、表示部１６９がその表示情報をモニタに表示する。このようにすることにより、複数の3Dオブジェクトが比較可能に再生され、表示される。
　ステップＳ１４７の処理が終了すると、再生処理が終了する。
　以上のように再生処理を行うことにより、クライアント装置１０３は、シグナリングされた比較情報に基づいてより容易に、複数の3Dオブジェクトを比較可能に再生し、表示することができる。したがって、ユーザは、3Dオブジェクトの比較をより容易に行うことができる。
　　＜その他＞
　例えば、"compare_sub_info"として、配信（表示）された回数や、いいねをもらった回数などをシグナルしてもよい。例えば、アップデートの都度この情報を更新する等して、人気のあるコンテンツ順にソート表示などを実現してもよい。上述したように各シーンディスクリプションに対応する比較情報が１つにまとめられている場合、第１の実施の形態の場合のようにシーンディスクリプション毎に比較情報が分散している場合に比べて、このような比較情報の更新をより容易に実現することができる。
　また、"priority"において、表示回数（配信回数）等を優先度として利用することを示してもよい。
　　＜配信用データ＞
　また、例えば、図１８に示されるように、比較情報を含む新たな比較用のシーンディスクリプションを比較の組み合わせの分だけ作成するようにしてもよい。図１８の例において、グレーで示される3DオブジェクトOBJ2、OBJ4、OBJ9、およびOBJ11が互いに比較可能な3Dオブジェクトであるとする。この場合、比較の組み合わせは６通りとなる。したがって、比較用のシーンディスクリプションとして、3DオブジェクトOBJ2とOBJ4との比較用のシーンディスクリプション（ComareSD1-2）、3DオブジェクトOBJ2とOBJ9との比較用のシーンディスクリプション（ComareSD1-3）、3DオブジェクトOBJ2とOBJ11との比較用のシーンディスクリプション（ComareSD1-4）、3DオブジェクトOBJ4とOBJ9との比較用のシーンディスクリプション（ComareSD2-3）、3DオブジェクトOBJ4とOBJ11との比較用のシーンディスクリプション（ComareSD2-4）、3DオブジェクトOBJ9とOBJ11との比較用のシーンディスクリプション（ComareSD3-1）が含まれる。
　また、比較情報として、比較用のシーンディスクリプション（ComareSD1-2）に対応する比較情報（Compare_data_ext1-2）、比較用のシーンディスクリプション（ComareSD1-3）に対応する比較情報（Compare_data_ext1-3）、比較用のシーンディスクリプション（ComareSD1-4）に対応する比較情報（Compare_data_ext1-4）、比較用のシーンディスクリプション（ComareSD1-5）に対応する比較情報（Compare_data_ext1-5）、比較用のシーンディスクリプション（ComareSD2-3）に対応する比較情報（Compare_data_ext2-3）、比較用のシーンディスクリプション（ComareSD2-4）に対応する比較情報（Compare_data_ext2-4）、および、比較用のシーンディスクリプション（ComareSD3-4）に対応する比較情報（Compare_data_ext3-4）が含まれる。
　また、図１８の例の場合、配信用データは、これらのデータに対応するMPDを含む。つまり、MPDは、比較用のシーンディスクリプションにアクセスするための情報を含む。
　　＜比較情報のシグナル例＞
　このような表示を行う場合の比較情報のシグナリングの例を図１９に示す。この例も、図６と同様に、glTF2.0で記述されている。図６等を参照して上述した各例と同様の部分については説明を省略する。本例は、図１２の例のように、２つの3Dオブジェクトを１つの背景に並べて比較するケースを実現する際のシグナル例となっている。
　比較用のシーンディスクリプション（scene description）に記載される"scene"は３つの"node"を持つ。この"node"のうち２つは3Dオブジェクトを"scene"に紐づけて配置するための情報であり、配置情報として"translation","rotation","scale"等をもつ。これらの配置情報は、比較に適する配置になるようにシグナルされる。残る１つの"node"は"camera"として、視点位置情報と画角情報に相当する情報を持つ。ここまでは既存のglTF2.0の機能を使用したものである。
　残る比較情報のシグナルは、glTF2.0のextension機能を利用し、"scene"に、"CompareDataExtension"を定義して行う。ここには、比較識別情報である"compare_id"と、比較時の２つの3Dオブジェクトの時間的な再生方法を示す"compare_time_type"をシグナルし、さらに２つの3Dオブジェクトの比較情報として、その3Dオブジェクトがどのシーンディスクリプションに紐づくものであるかを識別するための情報である"scene_file_name"や、"object_id"をシグナルするとともに、比較対象時刻情報である"compareStartTime"や"compareEndTime"をシグナルする。
　DASH配信されることが前提の場合、MPDに比較用のシーンディスクリプションであることを示す情報をシグナルすることで、処理の最初に比較用のシーンディスクリプションを取得させることが可能となる。そのシグナル例を図２０に示す。比較用のシーンディスクリプションであることを示す情報としてcompare_id等を、比較用シーンディスクリプションを含むAdaptationSetのsupplementalPropertyなどにシグナルしてもよい。
　　＜ファイル生成処理の流れ＞
　この場合のファイル生成処理の流れは、基本的に図８の例と同様である。ただし、ステップＳ１０３において、比較情報生成部１２４は、比較用のシーンディスクリプションを生成し、そのシーンディスクリプションに対応する比較情報を生成する。例えば、比較情報生成部１２４は、比較対象の複数の3Dオブジェクトに対応する比較情報を含む比較用のシーンディスクリプションを生成する。それ以外の処理は、図８の場合と同様に行われる。
　　＜再生処理の流れ＞
　次に、この場合の再生処理の流れの例を、図２１のフローチャートを参照して説明する。
　再生処理が開始されると、クライアント装置１０３のMPD処理部１６１は、ステップＳ１６１において、サーバ１０２にアクセスし、所望の6DoFコンテンツのMPDを取得する。MPD処理部１６１は、取得したMPDをパースする。
　ステップＳ１６２において、比較情報取得部１６３は、そのパースの結果に基づいて、そのMPDにシグナルされる比較用のシーンディスクリプション（compareSD）の情報を取得する。
　ステップＳ１６３において、表示部１６９は、その比較用のシーンディスクリプション（compareSD）の情報に基づいて、その比較用のシーンディスクリプション（compareSD）の一覧情報をユーザに対して提示する。例えば、表示制御部１６４は、MPDに示される"compare_id"に基づいて互いに同一の比較可能グループに属する比較用のシーンディスクリプション（compareSD）を特定し、その一覧を表示させる表示制御情報を生成し、その表示制御情報をバッファ１６７に供給する。表示情報生成部１６８は、バッファ１６７を介して、その表示制御情報を取得し、比較用のシーンディスクリプション（compareSD）の一覧を含む表示情報を生成する。表示部１６９は、その表示情報をモニタに表示することにより、比較用のシーンディスクリプション（compareSD）の一覧をユーザに対して提示する。
　ユーザは、その提示された比較用のシーンディスクリプション（compareSD）の一覧に基づいて、比較用のシーンディスクリプション（compareSD）の選択を入力する。このように、比較用のシーンディスクリプション（compareSD）を選択することにより、比較対象となる3Dオブジェクトを選択することができる。クライアント装置１０３の入力部（図示せず）は、そのユーザ等による入力操作を受け付ける。つまり、ユーザ等による比較対象の3Dオブジェクトの選択入力が受け付けられる。
　ステップＳ１６４において、比較情報取得部１６３は、ユーザにより選択された比較用のシーンディスクリプション（compareSD）を取得し、そこから比較情報を取得する。
　ステップＳ１６５において、符号化データ取得部１６５は、ユーザにより選択された比較対象の3Dオブジェクトに対応する符号化データ、つまり、その3Dオブジェクトのメディアデータの符号化データを取得する。また、比較情報取得部１６３は、その3Dオブジェクトに対応するシーンディスクリプションを取得する。そして、比較情報取得部１６３は、そのシーンディスクリプションから比較表示情報を取得する。
　ステップＳ１６６において、復号部１６６は、ステップＳ１６５において取得された符号化データを復号し、比較対象の3Dオブジェクトのメディアデータを生成（復元）する。
　ステップＳ１６７において、表示情報生成部１６８等は、ステップＳ１６４やステップＳ１６５において取得された比較情報等に基づいて、比較対象の3Dオブジェクトやシーンディスクリプション（6DoF scene description）を再生し、表示する。例えば、表示制御部１６４が、比較表示情報等に基づいて、比較対象の3Dオブジェクトやシーンディスクリプション（6DoF scene description）を比較可能に再生させ表示させる。表示制御部１６４は、第１の実施の形態において説明したように、比較表示情報の各パラメータに基づいて表示を制御する。表示情報生成部１６８が、その表示制御に従って、複数の3Dオブジェクトを比較可能な表示情報を生成し、表示部１６９がその表示情報をモニタに表示する。このようにすることにより、複数の3Dオブジェクトが比較可能に再生され、表示される。
　ステップＳ１６７の処理が終了すると、再生処理が終了する。
　以上のように再生処理を行うことにより、クライアント装置１０３は、シグナリングされた比較情報に基づいてより容易に、複数の3Dオブジェクトを比較可能に再生し、表示することができる。したがって、ユーザは、3Dオブジェクトの比較をより容易に行うことができる。
　　＜配信用データ＞
　例えば、図１８乃至図２１を参照して説明した比較の組み合わせ分の比較用シーンディスクリプションを作成する場合、すべての組み合わせ分の比較用のシーンディスクリプションを作成する必要があり、重複する情報が非常に多くなってしまうおそれがあった。そこで、図２２に示されるように、比較用のシーンディスクリプションを１つの比較グループ（compare_id）につき１つだけ作成し、ユーザが比較対象3Dオブジェクトを選択したのちに、その3D オブジェクトを比較用のシーンディスクリプションに紐づけるようにしてもよい。
　図２２においては、３つの比較グループ（compare_id）のいずれかに（あるいは複数に）所属する3Dオブジェクトがあることが示されている。つまり、compare_id = xの比較グループに対応する比較用のシーンディスクリプション（Comare SD_for_ext_x）、compare_id = yの比較グループに対応する比較用のシーンディスクリプション（Comare SD_for_ext_y）、および、compare_id =zの比較グループに対応する比較用のシーンディスクリプション（Comare SD_for_ext_ｚ）が生成されている。そしてそれぞれに対応する比較情報が生成されている。例えば、比較用のシーンディスクリプション（Comare SD_for_ext_x）に対応する比較情報（Compare_data_ext_x）、比較用のシーンディスクリプション（Comare SD_for_ext_x）に対応する比較情報（Compare_data_ext_y）、比較用のシーンディスクリプション（Comare SD_for_ext_z）に対応する比較情報（Compare_data_ext_ｚ）を生成する。
　紐づけられる3Dオブジェクトはこの時点では指定せず、ユーザが指定したのちにリンクする。
　　＜比較情報のシグナル例＞
　このような表示を行う場合の比較情報のシグナリングの例を図２３に示す。この例も、図６と同様に、glTF2.0で記述されている。図６等を参照して上述した各例と同様の部分については説明を省略する。
　比較用のシーンディスクリプション（scene description）に記載される"scene"は３つの"node"を持つ。この"node"のうち２つは3Dオブジェクトを"scene"に紐づけて配置するための情報であり、配置情報として"translation","rotation","scale"等をもつ。これらの配置情報は、比較に適する配置になるようにシグナルされる。残る１つの"node"は"camera"として、視点位置情報と画角情報に相当する情報を持つ。ここまでは既存のglTF2.0の機能を使用したものである。
　残る比較情報のシグナルは、glTF2.0のextension機能を利用し、"scene"に、"CompareDataExtension"を定義して行う。ここには、比較識別情報である"compare_id"と、比較時の２つの3Dオブジェクトの時間的な再生方法を示す"compare_time_type"をシグナルし、重ねるobjectの形状を示す"object_overlay_type"をシグナルする。さらに3D オブジェクト毎の情報として、図１８乃至図２１を参照して説明したのと同様の比較表示情報をシグナルする。
　　＜MPD＞
　DASH配信されることが前提の場合、MPDに比較用のシーンディスクリプションであることを示す情報をシグナルすることで、処理の最初に比較用のシーンディスクリプションを取得させることが可能となる。そのシグナル例を図２４に示す。比較用のシーンディスクリプションであることを示す情報として"compare_id"等を、比較用のシーンディスクリプションを含むアダプテーションセット（AdaptationSet）のサプリメンタルプロパティ（supplementalProperty）などにシグナルしてもよい。
　　＜ファイル生成処理の流れ＞
　この場合のファイル生成処理の流れは、基本的に図８の例と同様である。ただし、ステップＳ１０３において、比較情報生成部１２４は、比較用のシーンディスクリプションを１つの比較グループ（compare_id）につき１つだけ作成する。この時点で、3Dオブジェクトと比較用のシーンディスクリプションとの紐づけは行わず、再生時にその紐づけが行われるようにする。例えば、比較情報生成部１２４は、比較可能な3Dオブジェクトを含むシーンディスクリプションのグループに対応する比較情報を含む比較用のシーンディスクリプションを生成する。それ以外の処理は、図８の場合と同様に行われる。
　　＜再生処理の流れ＞
　次に、この場合の再生処理の流れの例を、図２５のフローチャートを参照して説明する。
　再生処理が開始されると、クライアント装置１０３のMPD処理部１６１は、ステップＳ１８１において、サーバ１０２にアクセスし、所望の6DoFコンテンツのMPDを取得する。MPD処理部１６１は、取得したMPDをパースする。
　ステップＳ１８２において、比較情報取得部１６３は、そのパースの結果に基づいて、そのMPDにシグナルされる比較用のシーンディスクリプション（compareSD）のファイル情報を取得する。
　ステップＳ１８３において、比較情報取得部１６３は、その比較用のシーンディスクリプション（compareSD）から比較情報を取得する。
　ステップＳ１８４において、表示制御部１６４は、その比較情報から、比較可能なオブジェクトの情報を取得する。
　ステップＳ１８５において、表示部１６９等は、その比較可能なオブジェクトの一覧情報をモニタに表示し、ユーザに提示する。例えば、表示制御部１６４は、比較用のシーンディスクリプション（compareSD）に示される"compare_id"に基づいて互いに同一の比較可能グループに属する比較可能な3Dオブジェクトを特定し、その一覧を表示させる表示制御情報を生成し、その表示制御情報をバッファ１６７に供給する。表示情報生成部１６８は、バッファ１６７を介して、その表示制御情報を取得し、比較用のシーンディスクリプション（compareSD）の一覧を含む表示情報を生成する。表示部１６９は、その表示情報をモニタに表示することにより、比較可能な3Dオブジェクトの一覧をユーザに対して提示する。
　ユーザは、その提示された一覧に基づいて、比較対象とする3Dオブジェクトの選択を入力する。つまり、ユーザは、比較可能な3Dオブジェクトの中から比較対象とする3Dオブジェクトを選択する。クライアント装置１０３の入力部（図示せず）は、そのユーザ等による入力操作を受け付ける。つまり、ユーザ等による比較対象の3Dオブジェクトの選択入力が受け付けられる。
　ステップＳ１８６において、符号化データ取得部１６５は、ユーザにより選択された比較対象の3Dオブジェクトに対応する符号化データ、つまり、その3Dオブジェクトのメディアデータの符号化データを取得する。
　ステップＳ１８７において、復号部１６６は、ステップＳ１８６において取得された符号化データを復号し、比較対象の3Dオブジェクトのメディアデータを生成（復元）する。
　ステップＳ１８８において、表示情報生成部１６８等は、比較情報等に基づいて、その比較対象の3Dオブジェクトのメディアデータと、比較用のシーンディスクリプション（compareSD）との紐づけを行い、適切な表示で適切なタイミングで再生を行う。表示情報生成部１６８が、その表示制御に従って、複数の3Dオブジェクトを比較可能な表示情報を生成し、表示部１６９がその表示情報をモニタに表示する。このようにすることにより、複数の3Dオブジェクトが比較可能に再生され、表示される。
　ステップＳ１８８の処理が終了すると、再生処理が終了する。
　以上のように再生処理を行うことにより、クライアント装置１０３は、シグナリングされた比較情報に基づいてより容易に、複数の3Dオブジェクトを比較可能に再生し、表示することができる。したがって、ユーザは、3Dオブジェクトの比較をより容易に行うことができる。
　なお、ここで使用する背景は、新たに用意しても良いし、比較対象の3Dオブジェクトのうちベースとしているものが含まれるシーンディスクリプション（6DoF scene description）の背景と同じものを使用しても良い。
　＜５．第３の実施の形態＞
　　＜比較視聴方法情報のシグナリング＞
　比較情報が、3Dオブジェクトが比較可能に表示されるコンテンツの視聴方法を指定する情報である比較視聴方法情報含むようにしてもよい。本実施の形態においては、この比較視聴方法情報をシグナリングする方法について説明する。
　コンテンツをその先頭から視聴する通常視聴中において、そのコンテンツに、コンテンツオーサの意図として比較の推奨の有無を示し、さらに推奨されている場合の比較シナリオ（例えば、一覧表示から比較対象をユーザに選択させる、あるいは優先度に応じて比較コンテンツをクライアントが選択する）を示す情報をシグナルする。
　これまでの実施例においては、複数の比較対象がある場合に、その一覧が表示され、そこからユーザが比較対象を選択して比較表示させるシナリオを前提として考えていた。本実施の形態においては、コンテンツを先頭から視聴（通常視聴）し、その再生中において比較表示を行う場合について説明する。
　例えば図２６において、コンテンツ（A）を通常視聴しているものとする。（A）の、あるタイミングに、ある3Dオブジェクトの比較対象時刻が存在するものとする。また、（A）と比較可能な3Dオブジェクトを含むコンテンツ（B）およびコンテンツ（C）が存在するものとする。
　コンテンツ（A）と比較可能な3Dオブジェクトを識別するための情報（比較識別情報）や、比較表示情報は、各実施の形態において説明した各方法でシグナルすることが可能である。しかしながら、これらのシグナルには、この通常視聴コンテンツの比較視聴方法としてコンテンツオーサの意図をシグナルする方法が無かった。
　比較視聴方法としては、例えば、１．比較を推奨しない、２．比較表示は優先順位に基づく、３．比較表示は一覧表示からユーザに選択させるといったものが考えられる。そこで、このような比較視聴方法情報をシグナルするようにする。なお、比較表示一覧は、図２６の"比較のためのアラートタイミング"において表示するものとする。
　比較対象が選択された後に、視聴中コンテンツの比較対象時刻に合わせて、比較表示を行う。比較対象時刻が終了した場合には通常視聴に戻るなどという視聴体験が提供される。
　　＜比較情報のシグナル例＞
　このような表示を行う場合の比較情報のシグナリングの例を図２７に示す。この例も、図６等と同様に、glTF2.0で記述されている。図６等を参照して上述した各例と同様の部分については説明を省略する。
　この図２７では、図１１の例と同様のシグナル方法（図１０のように、3Dオブジェクト同士が重畳して表示されるように、比較対象の複数の3Dオブジェクトの内の１つに対応する6DoFコンテンツに、他の3Dオブジェクトを重畳させて表示させる場合）において、上述の比較視聴方法情報をシグナルする例を示している。図２７に示されるように、この例においては、"compare_method"をシグナルしている。
　"compare_method"は、比較視聴方法情報であり、3Dオブジェクトが比較可能に表示されるコンテンツの視聴方法を指定する情報である。"compare_method"の値や"compare_method"が指定する視聴方法は任意である。以下にその一例を示す。
　0：比較なしでそのまま視聴する
　1：優先順位が１番高いものとの比較する
　2：比較可能な3Dオブジェクトの一覧を提示し、ユーザ等に選択させて比較する
　　＜MPD＞
　DASH配信されることが前提の場合、MPDに通常視聴中の比較視聴方法情報をシグナルすることで、比較のために必要な他の情報の取得の有無をクライアントに伝えることが可能となる。図２８は、その場合のMPDの例を示す図である。図２８の例の場合、比較視聴方法情報として"compare_method"が、視聴コンテンツのシーンディスクリプションを含むアダプテーションセット（AdaptationSet）のサプリメンタルプロパティ（supplementalProperty）等にシグナルされている。もちろん、この比較視聴方法情報をシグナルする位置は任意であり、図２８の例に限定されない。
　　＜ファイル生成処理の流れ＞
　この場合のファイル生成処理の流れは、基本的に図８等の他の例と同様である。ただし、ステップＳ１０３において、比較情報生成部１２４は、比較情報として、上述の比較視聴方法情報を生成することができる。それ以外の処理は、図８等の他の場合と同様に行われる。このようにすることにより、生成装置１０１は、コンテンツオーサの意図として比較の推奨の有無を示し、さらに推奨されている場合の比較シナリオを示す情報をシグナルすることができる。このようにすることにより、通常視聴中に、比較対象がある際の比較のシナリオを再生側（クライアント装置１０３等）に提供することができる。
　　＜再生処理の流れ＞
　次に、この場合の再生処理の流れの例を、図２９および図３０のフローチャートを参照して説明する。
　再生処理が開始されると、クライアント装置１０３のMPD処理部１６１は、ステップＳ２０１において、サーバ１０２にアクセスし、所望の6DoFコンテンツのMPDを取得する。MPD処理部１６１は、取得したMPDをパースする。
　ステップＳ２０２において、比較情報取得部１６３は、そのパースの結果に基づいて、そのMPDにシグナルされるシーンディスクリプションを取得し、通常視聴の再生を行う。また、比較情報取得部１６３は、そのコンテンツに対応する比較視聴方法情報を取得する。例えば、シーンディスクリプションに比較視聴方法情報が含まれている場合、比較情報取得部１６３は、そのシーンディスクリプションから比較視聴方法情報を取得する。
　ステップＳ２０３において、表示制御部１６４は、その比較視聴方法情報に基づいて視聴方法を制御する。例えば、表示制御部１６４は、"compare_method"の値が「０」であるか否かを判定する。"compare_method"の値が「０」であると判定された場合、処理はステップＳ２０５に進む。
　ステップＳ２０５において、表示制御部１６４は、通常視聴を継続するように表示を制御する。表示情報生成部１６８は、その制御に従って表示情報を生成し、表示部１６９は、その表示情報をモニタに表示する。つまり、この場合、通常視聴が継続され、第１の実施の形態等において説明したような、複数の3Dオブジェクトを比較可能な再生・表示は行われない。
　ステップＳ２０５の処理が終了すると再生処理が終了する。また、ステップＳ２０４において、"compare_method"の値が「０」でないと判定された場合、処理は図３０に進む。
　図３０のステップＳ２１１において、表示制御部１６４は、"compare_method"の値が「１」であるか否かを判定する。"compare_method"の値が「１」であると判定された場合、処理はステップＳ２１２に進む。
　ステップＳ２１２において、比較情報取得部１６３は、比較可能な3Dオブジェクトを含むシーンディスクリプションの情報をMPDから得て、そのシーンディスクリプションを取得する。
　ステップＳ２１３において、データ取得制御部１６２は、ステップＳ２１２において取得された各シーンディスクリプションから優先順位情報を取得する。
　ステップＳ２１４において、符号化データ取得部１６５は、その優先順位情報に基づいて、一番優先順位の高い3Dオブジェクトを比較対象の3Dオブジェクトとし、その比較対象の3Dオブジェクトの符号化データを取得する。
　ステップＳ２１５において、復号部１６６は、その取得された符号化データを復号する。
　ステップＳ２１６において、比較情報取得部１６３は、比較表示情報を取得する。例えば、シーンディスクリプションに比較表示情報が含まれている場合、そのシーンディスクリプションから比較表示情報を取得する。表示制御部１６４は、その比較表示情報に基づいて、比較対象の3Dオブジェクトおよびシーンディスクリプション（6DoF scene description）を再生させる。表示情報生成部１６８は、その制御に従って、表示情報を生成し、表示部１６９は、その表示情報をモニタに表示する。つまり、この場合、比較対象時刻になった際に、第１の実施の形態等において説明したような、複数の3Dオブジェクトを比較可能な再生・表示が行われる。
　そして、比較対象時刻が終了したら通常再生に戻る。通常再生に戻ると、ステップＳ２１７において、表示制御部１６４は、通常視聴を継続するように表示を制御する。表示情報生成部１６８は、その制御に従って表示情報を生成し、表示部１６９は、その表示情報をモニタに表示する。
　そして、ステップＳ２１７の処理が終了すると処理は図２９に戻り、再生処理が終了する。つまり、コンテンツの最後まで通常視聴が継続される。
　また、ステップＳ２１１において、"compare_method"の値が「１」でないと判定された場合、処理はステップＳ２２１に進む。
　ステップＳ２２１において、比較情報取得部１６３は、比較可能な3Dオブジェクトを含むシーンディスクリプションに対応する比較情報の情報をMPDから得て、その比較情報を取得する。例えば、シーンディスクリプションに比較情報が含まれている場合、比較情報取得部１６３は、比較可能な3Dオブジェクトを含むシーンディスクリプションを取得し、そのシーンディスクリプションから比較情報を取得する。
　ステップＳ２２２において、表示制御部１６４は、その比較情報に基づいて、比較可能な3Dオブジェクトを特定し、その比較可能な3Dオブジェクトの一覧を表示させる。表示情報生成部１６８は、その制御に従って、表示情報を生成し、表示部１６９は、その表示情報をモニタに表示する。つまり、比較可能な3Dオブジェクトの一覧がユーザ等に提示される。ユーザ等は、その提示に基づいて比較対象とする3Dオブジェクトを選択し、その選択を入力する。クライアント装置１０３の入力部（図示せず）は、その入力、すなわち、ユーザ等による比較対象の3Dオブジェクトの選択を受け付ける。
　ステップＳ２２３において、符号化データ取得部１６５は、ユーザ等により選択された比較対象の3Dオブジェクトの符号化データを取得する。
　ステップＳ２２４において、復号部１６６は、その取得された符号化データを復号する。
　ステップＳ２２５において、比較情報取得部１６３は、比較表示情報を取得する。例えば、シーンディスクリプションに比較表示情報が含まれている場合、そのシーンディスクリプションから比較表示情報を取得する。表示制御部１６４は、その比較表示情報に基づいて、比較対象の3Dオブジェクトおよびシーンディスクリプション（6DoF scene description）を再生させる。表示情報生成部１６８は、その制御に従って、表示情報を生成し、表示部１６９は、その表示情報をモニタに表示する。つまり、この場合、比較対象時刻になった際に、第１の実施の形態等において説明したような、複数の3Dオブジェクトを比較可能な再生・表示が行われる。
　そして、比較対象時刻が終了したら通常再生に戻る。通常再生に戻ると、ステップＳ２２６において、表示制御部１６４は、通常視聴を継続するように表示を制御する。表示情報生成部１６８は、その制御に従って表示情報を生成し、表示部１６９は、その表示情報をモニタに表示する。
　そして、ステップＳ２２６の処理が終了すると処理は図２９に戻り、再生処理が終了する。つまり、コンテンツの最後まで通常視聴が継続される。
　以上のように再生処理を行うことにより、クライアント装置１０３は、シグナリングされた比較情報に基づいてより容易に、複数の3Dオブジェクトを比較可能に再生し、表示することができる。また、クライアント装置１０３は、比較視聴方法情報に基づいて、より多様な視聴方法を実現することができる。例えば、クライアント装置１０３は、通常視聴中に、比較対象がある際の比較のシナリオを把握し、ユーザに提供することができる。したがって、ユーザは、3Dオブジェクトの比較をより容易に行うことができる。
　なお、視聴中のコンテンツの比較対象時刻の途中で比較を開始するケースなどにおいては、"compareStartTime"と"compareEndTime"の情報を使用し、比較対象3Dオブジェクトを途中からタイミングを合わせて再生することなども可能である
　＜６．第４の実施の形態＞
　　＜サムネイルに関する情報のシグナリング＞
　例えば、上述したシーンディスクリプション等の一覧を表示する場合、各シーンディスクリプション等（つまり各選択肢）に対応する3Dオブジェクト等の低解像度の動画像または静止画像を、サムネイルとして表示してもよい。クライアント装置１０３においてこのようなサムネイル表示を容易に実現するために、サムネイルに関する情報をシグナリングしてもよい。本実施の形態においては、このサムネイルに関する情報をシグナリングする方法について説明する。
　ISOBMFFの"meta" Boxで、高解像度3Dオブジェクトと、その3Dオブジェクトのサムネイルとして使用する3Dオブジェクト（低解像度3D videoや静止画像の3Dオブジェクト）の参照関係を示す技術がある。その参照関係を示すISOBMFFの構成例を図３１に示す。
　図３１の例において、"moov" BOX内には、シーンディスクリプション、高解像度3Dオブジェクト（元映像）、サムネイルとして使用する低解像度の3Dオブジェクトを含む各trackの情報をシグナルする３つの"trak" BOXと、サムネイルとして使用する静止画像の3Dオブジェクトの情報を示す"iinf" BOXを含む"meta" BOXがシグナルされている。
　"iref" BOXにおいては、サムネイルをふくむtrackやitemと元画像との参照関係が示されている。さらに、サムネイルの最初の視点位置、視線方向、および画角情報や、表示ルール情報（時間に伴い位置情報の変化をシグナルする情報）等の情報（サムネイル表示情報とも称する）がItemProperty（"intd"等）として格納され、サムネイルを含むtrackやitemと紐づけられる。
　このようなISOBMFFにおいて、比較対象の3Dオブジェクトをサムネイルで一覧表示させる際に、そのサムネイルに関する情報をシグナルするようにする。サムネイルに関する情報は、サムネイルに関するものであればどのような情報であってもよい。例えば、ISOBMFFに含まれる上述のサムネイル表示情報や、比較情報に含まれる比較表示情報を流用することを示す情報等が含まれていてもよい。
　　＜サムネイルに関する情報のシグナル例＞
　このような表示を行う場合のサムネイルに関する情報のシグナリングの例を図３２に示す。この例は、図１５の場合と同様に、binarydataで記述するものである。図１５で説明したパラメータと同様の部分の説明は省略する。この例の場合、サムネイルに関する情報として、"thumbnail_type"、"use_object_data_for_thumbnail_view_flag"、および"use_compare_view_for_thumbnail_view_flag"がシグナルされている。
　"thumbnail_type"は、格納されているサムネイルのうちどのタイプのサムネイルを使用するかを示す情報である。例えば、図３１の場合、低解像度動画像の3Dオブジェクトである"vthm"と、静止画像の3Dオブジェクトである"3dst"が格納されている（"iinf" BOX）。したがって、"thumbnail_type"には、これらの内のいずれかがシグナルされる。もちろん、サムネイルのタイプは任意であり、図３１の例に限定されない。
　"use_object_data_for_thumbnail_view_flag"は、サムネイルを表示する際に、そのサムネイルの3Dオブジェクトに格納されているサムネイル表示情報を流用するかどうかを示すフラグ情報である。この"use_object_data_for_thumbnail_view_flag"が"true"の場合、3Dオブジェクトに格納されているサムネイル表示情報を流用する。これに対して、この"use_object_data_for_thumbnail_view_flag"が"false"の場合、そのサムネイル表示情報が流用されず、さらに、"use_compare_view_for_thumbnail_view_flag"がシグナルされる。
　"use_compare_view_for_thumbnail_view_flag"は、比較表示用の情報を流用するどうかを示すフラグ情報である。"use_compare_view_for_thumbnail_view_flag"が"true"の場合、上述した比較表示情報の"viewpoint_position"、"view_orientation"、"view_window"等が流用される。また、"use_compare_view_for_thumbnail_view_flag"が"false"の場合、別途これらの情報がシグナルされる。
　これらのようなサムネイルに関する情報をシグナルすることにより、例えば、一覧表示の際のサムネイルの指定や、サムネイル3Dオブジェクトに含まれるサムネイルの表示方法を流用する等の情報をクライアント装置１０３に提供することができる。これにより、クライアント装置１０３は、シーンディスクリプション等の一覧表示の際に、このサムネイルに関する情報に基づいて、容易に、各シーンディスクリプション等に対応する3Dオブジェクト等のサムネイルを表示させることができる。
　＜７．第５の実施の形態＞
　　＜動的に変化する比較表示情報のシグナリング＞
　上述した比較表示情報は、例えば時間方向に動的に変化させることができる。本実施の形態においては、このように比較表示情報を動的に変化させる際のシグナル方法について説明する。
　　＜比較情報のシグナル例＞
　比較表示情報を動的に変化させる情報のシグナリングの例を図３３に示す。この例も、図１５や図３２と同様に、binarydataで記述するものである。この例は、第２の実施の形態において説明したようなcompare_listがシグナルされている場合に、compare_listを時間変化させる情報を格納できるように拡張したものである。この例の場合、compare_listを時間変化させる情報として、"num_of_change_data"、"time_scale"、"applicable_time"がシグナルされている。
　"num_of_change_data"は、時間変化するデータの個数を示す情報であり、"time_scale"は、時刻情報に使用する時間スケール情報である。"applicable_time"は、データが適用される時刻を示す情報である。そしてその"applicable_time"により示される時刻の比較表示情報として"viewpoint_position"、"view_orientation"、および"view_window"がシグナルされている。つまり、"applicable_time"により示される時刻（"time_scale"で示される時間スケールにおける時刻）において、これらの比較表示情報が適用される。この処理は、"num_of_change_data"回分、loopされる。
　このようなシグナリングを行うことにより、クライアント装置１０３は、比較表示情報を動的に変化させることができる。
　なお、このような時間変化するデータは、ISOBMFFにおけるtimed meta dataの格納方法を利用してもよい。
　　＜動的に変化する比較表示情報のシグナリングの他の例＞
　比較表示情報を動的に変化させる際のシグナル方法は、上述の例に限定されない。他の方法について、第１の実施の形態のシグナリングの例をベースにして説明する。
　図３４および図３５は、時間変化する比較表示情報をglTF2.0の仕組みを使ってシグナルする際の概念の例を示す図である。
　比較識別情報と、比較表示情報の静的なデータ（static）は、第１の実施の形態の場合と同様に、"scene"にextensionを規定してシグナルされる（図３４）。これに対して、比較情報の動的なデータ（dynamic）の初期値情報は、glTF2.0の"camera"を持つ"node"を使用してシグナルされる。その"camera"を、比較対象の3Dオブジェクト（この図ではObj1-2）に紐づけることで、比較表示情報と3Dオブジェクトとが対応づけられる（図３４）。
　初期値以降の変化するデータは、"camera"を持つ"node"に紐づけられたglTF2.0の"animation"によりシグナルされる。図３５の"animation"からの点線矢印は、図３４の"camera1"に向かう点線矢印に対応する。
　図３５の"animation"に属する"channel"は、targetとなる"node"の情報（channel.target.node）や、どのような変化に使用されるかを示す情報（channel.target.path）を持ち、"node"との紐づけと動かし方の種別を指定可能である。
　現行のglTF2.0のchannel.target.pathにおいて指定可能なparameterは、"transration","rotation","scale","weight"のみである。cameraのFOV（Field of View）を変化させるために、このパラメータにおいて"fov"が指定できるようにする等の拡張を行ってもよい。
　"sampler"は、アニメーションデータを格納するファイルへのアクセス情報を持った"accessor"への参照情報を持つ。
　　＜比較情報のシグナル例＞
　このような動的に変化する比較表示情報のシグナリングの例を図３６に示す。この例も、図６等と同様に、glTF2.0で記述されている。この例の場合、動的な比較表示情報の初期情報は、"Obj1-2"に子nodeとして"camera"をもたせ、"camera"オブジェクトに紐づく"node"の"translation"と"rotation"により示されている。これらの情報は、視点位置や視線方向の初期値として利用される。また、画角情報は、"camera"の"perspective.yfov"、"perspective.aspectRatio"を指定することでシグナルされる。
　初期情報以降の動的な情報は、"animation"に３つの"channel"を持たせ、それぞれのchannel.target.pathとして"translation","rotation","fov"を指定して、それらの項目の動的な情報へアクセスできるようにシグナルされている。
　このようなシグナリングを行うことにより、動的に変化する比較表示情報を再生側（クライアント装置１０３等）に提供することができる。これにより、クライアント装置１０３は、比較表示情報を動的に変化させることができる。
　＜８．付記＞
　　＜コンピュータ＞
　上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。
　図３７は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
　図３７に示されるコンピュータ９００において、CPU（Central Processing Unit）９０１、ROM（Read Only Memory）９０２、RAM（Random Access Memory）９０３は、バス９０４を介して相互に接続されている。
　バス９０４にはまた、入出力インタフェース９１０も接続されている。入出力インタフェース９１０には、入力部９１１、出力部９１２、記憶部９１３、通信部９１４、およびドライブ９１５が接続されている。
　入力部９１１は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部９１２は、例えば、ディスプレイ、スピーカ、出力端子などよりなる。記憶部９１３は、例えば、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部９１４は、例えば、ネットワークインタフェースよりなる。ドライブ９１５は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア９２１を駆動する。
　以上のように構成されるコンピュータでは、CPU９０１が、例えば、記憶部９１３に記憶されているプログラムを、入出力インタフェース９１０およびバス９０４を介して、RAM９０３にロードして実行することにより、上述した一連の処理が行われる。RAM９０３にはまた、CPU９０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
　コンピュータが実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア９２１に記録して適用することができる。その場合、プログラムは、リムーバブルメディア９２１をドライブ９１５に装着することにより、入出力インタフェース９１０を介して、記憶部９１３にインストールすることができる。
　また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、プログラムは、通信部９１４で受信し、記憶部９１３にインストールすることができる。
　その他、このプログラムは、ROM９０２や記憶部９１３に、あらかじめインストールしておくこともできる。
　　＜制御情報＞
　以上の各実施の形態において説明した本技術に関する制御情報を符号化側から復号側に伝送するようにしてもよい。例えば、上述した本技術を適用することを許可（または禁止）するか否かを制御する制御情報（例えばenabled_flag）を伝送するようにしてもよい。また、例えば、上述した本技術を適用する対象（または適用しない対象）を示す制御情報（例えばpresent_flag）を伝送するようにしてもよい。例えば、本技術を適用する（または、適用を許可若しくは禁止する）ブロックサイズ（上限若しくは下限、またはその両方）、フレーム、コンポーネント、またはレイヤ等を指定する制御情報を伝送するようにしてもよい。
　　＜本技術の適用対象＞
　本技術は、任意の画像符号化・復号方式に適用することができる。つまり、上述した本技術と矛盾しない限り、変換（逆変換）、量子化（逆量子化）、符号化（復号）、予測等、画像符号化・復号に関する各種処理の仕様は任意であり、上述した例に限定されない。また、上述した本技術と矛盾しない限り、これらの処理の内の一部を省略してもよい。
　また本技術は、複数の視点（ビュー（view））の画像を含む多視点画像の符号化・復号を行う多視点画像符号化・復号システムに適用することができる。その場合、各視点（ビュー（view））の符号化・復号において、本技術を適用するようにすればよい。
　さらに本技術は、所定のパラメータについてスケーラビリティ（scalability）機能を有するように複数レイヤ化（階層化）された階層画像の符号化・復号を行う階層画像符号化（スケーラブル符号化）・復号システムに適用することができる。その場合、各階層（レイヤ）の符号化・復号において、本技術を適用するようにすればよい。
　また、以上においては、本技術の適用例として生成装置１０１およびクライアント装置１０３について説明したが、本技術は、任意の構成に適用することができる。
　例えば、本技術は、衛星放送、ケーブルＴＶなどの有線放送、インターネット上での配信、およびセルラー通信による端末への配信などにおける送信機や受信機（例えばテレビジョン受像機や携帯電話機）、または、光ディスク、磁気ディスクおよびフラッシュメモリなどの媒体に画像を記録したり、これら記憶媒体から画像を再生したりする装置（例えばハードディスクレコーダやカメラ）などの、様々な電子機器に応用され得る。
　また、例えば、本技術は、システムLSI（Large Scale Integration）等としてのプロセッサ（例えばビデオプロセッサ）、複数のプロセッサ等を用いるモジュール（例えばビデオモジュール）、複数のモジュール等を用いるユニット（例えばビデオユニット）、または、ユニットにさらにその他の機能を付加したセット（例えばビデオセット）等、装置の一部の構成として実施することもできる。
　また、例えば、本技術は、複数の装置により構成されるネットワークシステムにも適用することもできる。例えば、本技術を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングとして実施するようにしてもよい。例えば、コンピュータ、AV（Audio Visual）機器、携帯型情報処理端末、IoT（Internet of Things）デバイス等の任意の端末に対して、画像（動画像）に関するサービスを提供するクラウドサービスにおいて本技術を実施するようにしてもよい。
　なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、および、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　　＜本技術を適用可能な分野・用途＞
　本技術を適用したシステム、装置、処理部等は、例えば、交通、医療、防犯、農業、畜産業、鉱業、美容、工場、家電、気象、自然監視等、任意の分野に利用することができる。また、その用途も任意である。
　例えば、本技術は、観賞用コンテンツ等の提供の用に供されるシステムやデバイスに適用することができる。また、例えば、本技術は、交通状況の監理や自動運転制御等、交通の用に供されるシステムやデバイスにも適用することができる。さらに、例えば、本技術は、セキュリティの用に供されるシステムやデバイスにも適用することができる。また、例えば、本技術は、機械等の自動制御の用に供されるシステムやデバイスに適用することができる。さらに、例えば、本技術は、農業や畜産業の用に供されるシステムやデバイスにも適用することができる。また、本技術は、例えば火山、森林、海洋等の自然の状態や野生生物等を監視するシステムやデバイスにも適用することができる。さらに、例えば、本技術は、スポーツの用に供されるシステムやデバイスにも適用することができる。
　　＜その他＞
　なお、本明細書において「フラグ」とは、複数の状態を識別するための情報であり、真（1）または偽（0）の２状態を識別する際に用いる情報だけでなく、３以上の状態を識別することが可能な情報も含まれる。したがって、この「フラグ」が取り得る値は、例えば1/0の２値であってもよいし、３値以上であってもよい。すなわち、この「フラグ」を構成するbit数は任意であり、1bitでも複数bitでもよい。また、識別情報（フラグも含む）は、その識別情報をビットストリームに含める形だけでなく、ある基準となる情報に対する識別情報の差分情報をビットストリームに含める形も想定されるため、本明細書においては、「フラグ」や「識別情報」は、その情報だけではなく、基準となる情報に対する差分情報も包含する。
　また、符号化データ（ビットストリーム）に関する各種情報（メタデータ等）は、符号化データに関連づけられていれば、どのような形態で伝送または記録されるようにしてもよい。ここで、「関連付ける」という用語は、例えば、一方のデータを処理する際に他方のデータを利用し得る（リンクさせ得る）ようにすることを意味する。つまり、互いに関連付けられたデータは、１つのデータとしてまとめられてもよいし、それぞれ個別のデータとしてもよい。例えば、符号化データ（画像）に関連付けられた情報は、その符号化データ（画像）とは別の伝送路上で伝送されるようにしてもよい。また、例えば、符号化データ（画像）に関連付けられた情報は、その符号化データ（画像）とは別の記録媒体（または同一の記録媒体の別の記録エリア）に記録されるようにしてもよい。なお、この「関連付け」は、データ全体でなく、データの一部であってもよい。例えば、画像とその画像に対応する情報とが、複数フレーム、１フレーム、またはフレーム内の一部分などの任意の単位で互いに関連付けられるようにしてもよい。
　なお、本明細書において、「合成する」、「多重化する」、「付加する」、「一体化する」、「含める」、「格納する」、「入れ込む」、「差し込む」、「挿入する」等の用語は、例えば符号化データとメタデータとを１つのデータにまとめるといった、複数の物を１つにまとめることを意味し、上述の「関連付ける」の１つの方法を意味する。
　また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。
　また、例えば、上述したプログラムは、任意の装置において実行されるようにしてもよい。その場合、その装置が、必要な機能（機能ブロック等）を有し、必要な情報を得ることができるようにすればよい。
　また、例えば、１つのフローチャートの各ステップを、１つの装置が実行するようにしてもよいし、複数の装置が分担して実行するようにしてもよい。さらに、１つのステップに複数の処理が含まれる場合、その複数の処理を、１つの装置が実行するようにしてもよいし、複数の装置が分担して実行するようにしてもよい。換言するに、１つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を１つのステップとしてまとめて実行することもできる。
　また、例えば、コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。
　また、例えば、本技術に関する複数の技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。
　なお、本技術は以下のような構成も取ることができる。
　（１）　6DoFコンテンツの複数の3Dオブジェクトを比較可能に表示するための情報である比較情報を生成する比較情報生成部
　を備える情報処理装置。
　（２）　前記比較情報は、比較対象の前記3Dオブジェクトに関する情報である比較識別情報を含む
　（１）に記載の情報処理装置。
　（３）　前記比較情報は、前記3Dオブジェクトの表示に関する情報である比較表示情報を含む
　（１）に記載の情報処理装置。
　（４）　前記比較情報は、複数の前記3Dオブジェクトに関する前記比較情報をリスト化するための情報である比較制御情報を含む
　（１）に記載の情報処理装置。
　（５）　前記比較情報は、前記6DoFコンテンツの視聴方法に関する情報である比較視聴方法情報を含む
　（１）に記載の情報処理装置。
　（６）　前記比較情報は、前記3Dオブジェクト毎に構成される
　（１）に記載の情報処理装置。
　（７）　前記比較情報は、比較対象の複数の前記3Dオブジェクトのそれぞれに対応する前記6DoFコンテンツを並べて表示するための情報を含む
　（１）に記載の情報処理装置。
　（８）　前記比較情報は、前記3Dオブジェクト同士が重畳して表示されるように、比較対象の複数の前記3Dオブジェクトの内の１つに対応する前記6DoFコンテンツに、他の前記3Dオブジェクトを重畳させるための情報を含む
　（１）に記載の情報処理装置。
　（９）　前記比較情報は、前記3Dオブジェクト同士が並べて表示されるように、比較対象の複数の前記3Dオブジェクトの内の１つに対応する前記6DoFコンテンツに、他の前記3Dオブジェクトを重畳させるための情報を含む
　（１）に記載の情報処理装置。
　（１０）　前記比較情報生成部は、前記比較情報を含むシーンディスクリプションを生成する
　（１）に記載の情報処理装置。
　（１１）　前記比較情報生成部は、複数のシーンディスクリプションに対応する前記比較情報を生成する
　（１）に記載の情報処理装置。
　（１２）　前記比較情報生成部は、比較対象の複数の前記3Dオブジェクトに対応する前記比較情報を含む比較用のシーンディスクリプションを生成する
　（１）に記載の情報処理装置。
　（１３）　前記比較情報生成部は、比較可能な前記3Dオブジェクトを含むシーンディスクリプションのグループに対応する前記比較情報を含む比較用のシーンディスクリプションを生成する
　（１）に記載の情報処理装置。
　（１４）　前記比較情報を含むMPD（Media Presentation Description）を生成するMPD生成部をさらに備える
　（１）に記載の情報処理装置。
　（１５）　6DoFコンテンツの複数の3Dオブジェクトを比較可能に表示するための情報である比較情報を生成する
　情報処理方法。
　１００　配信システム，　１０１　生成装置，　１０２　サーバ，　１０３　クライアント装置，　１１１　制御部，　１１２　生成処理部，　１２１　データ入力部，　１２２　前処理部，　１２３　符号化部，　１２４　比較情報生成部，　１２５　ファイル生成部，　１２６　MPD生成部，　１２７　記憶部，　１２８　アップロード部，　１５１　制御部，　１５２　再生処理部，　１６１　MPD処理部，　１６２　データ取得制御部，　１６３　比較情報取得部，　１６４　表示制御部，　１６５　符号化データ取得部，　１６６　復号部，　１６７　バッファ，　１６８　表示情報生成部，　１６９　表示部

Claims (15)

  1. 　6DoFコンテンツの複数の3Dオブジェクトを比較可能に表示するための情報である比較情報を生成する比較情報生成部
    　を備える情報処理装置。
  2. 　前記比較情報は、比較対象の前記3Dオブジェクトに関する情報である比較識別情報を含む
    　請求項１に記載の情報処理装置。
  3. 　前記比較情報は、前記3Dオブジェクトの表示に関する情報である比較表示情報を含む
    　請求項１に記載の情報処理装置。
  4. 　前記比較情報は、複数の前記3Dオブジェクトに関する前記比較情報をリスト化するための情報である比較制御情報を含む
    　請求項１に記載の情報処理装置。
  5. 　前記比較情報は、前記6DoFコンテンツの視聴方法に関する情報である比較視聴方法情報を含む
    　請求項１に記載の情報処理装置。
  6. 　前記比較情報は、前記3Dオブジェクト毎に構成される
    　請求項１に記載の情報処理装置。
  7. 　前記比較情報は、比較対象の複数の前記3Dオブジェクトのそれぞれに対応する前記6DoFコンテンツを並べて表示するための情報を含む
    　請求項１に記載の情報処理装置。
  8. 　前記比較情報は、前記3Dオブジェクト同士が重畳して表示されるように、比較対象の複数の前記3Dオブジェクトの内の１つに対応する前記6DoFコンテンツに、他の前記3Dオブジェクトを重畳させるための情報を含む
    　請求項１に記載の情報処理装置。
  9. 　前記比較情報は、前記3Dオブジェクト同士が並べて表示されるように、比較対象の複数の前記3Dオブジェクトの内の１つに対応する前記6DoFコンテンツに、他の前記3Dオブジェクトを重畳させるための情報を含む
    　請求項１に記載の情報処理装置。
  10. 　前記比較情報生成部は、前記比較情報を含むシーンディスクリプションを生成する
    　請求項１に記載の情報処理装置。
  11. 　前記比較情報生成部は、複数のシーンディスクリプションに対応する前記比較情報を生成する
    　請求項１に記載の情報処理装置。
  12. 　前記比較情報生成部は、比較対象の複数の前記3Dオブジェクトに対応する前記比較情報を含む比較用のシーンディスクリプションを生成する
    　請求項１に記載の情報処理装置。
  13. 　前記比較情報生成部は、比較可能な前記3Dオブジェクトを含むシーンディスクリプションのグループに対応する前記比較情報を含む比較用のシーンディスクリプションを生成する
    　請求項１に記載の情報処理装置。
  14. 　前記比較情報を含むMPD（Media Presentation Description）を生成するMPD生成部をさらに備える
    　請求項１に記載の情報処理装置。
  15. 　6DoFコンテンツの複数の3Dオブジェクトを比較可能に表示するための情報である比較情報を生成する
    　情報処理方法。
PCT/JP2020/048726 2020-01-08 2020-12-25 情報処理装置および方法 WO2021140956A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US17/790,680 US20230043591A1 (en) 2020-01-08 2020-12-25 Information processing apparatus and method
JP2021570018A JPWO2021140956A1 (ja) 2020-01-08 2020-12-25

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020001412 2020-01-08
JP2020-001412 2020-01-08

Publications (1)

Publication Number Publication Date
WO2021140956A1 true WO2021140956A1 (ja) 2021-07-15

Family

ID=76788453

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/048726 WO2021140956A1 (ja) 2020-01-08 2020-12-25 情報処理装置および方法

Country Status (3)

Country Link
US (1) US20230043591A1 (ja)
JP (1) JPWO2021140956A1 (ja)
WO (1) WO2021140956A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016524262A (ja) * 2013-07-10 2016-08-12 リアル ビュー イメージング リミテッド ３次元ユーザインタフェース
JP2016177037A (ja) * 2015-03-19 2016-10-06 株式会社ニコン 観察装置、観察方法、及びプログラム
JP2019030492A (ja) * 2017-08-08 2019-02-28 コニカミノルタ株式会社 Ｘ線画像処理装置及びｘ線画像処理方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011185650A (ja) * 2010-03-05 2011-09-22 Omron Corp モデル作成装置およびモデル作成プログラム
US20190096135A1 (en) * 2017-09-26 2019-03-28 Aquifi, Inc. Systems and methods for visual inspection based on augmented reality
US10311646B1 (en) * 2018-02-26 2019-06-04 Capital One Services, Llc Dynamic configuration of an augmented reality overlay

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016524262A (ja) * 2013-07-10 2016-08-12 リアル ビュー イメージング リミテッド ３次元ユーザインタフェース
JP2016177037A (ja) * 2015-03-19 2016-10-06 株式会社ニコン 観察装置、観察方法、及びプログラム
JP2019030492A (ja) * 2017-08-08 2019-02-28 コニカミノルタ株式会社 Ｘ線画像処理装置及びｘ線画像処理方法

Also Published As

Publication number Publication date
US20230043591A1 (en) 2023-02-09
JPWO2021140956A1 (ja) 2021-07-15

Similar Documents

Publication Publication Date Title
JP7399224B2 (ja) メディアコンテンツを送信するための方法、装置及びコンピュータプログラム
KR102258448B1 (ko) 핫스팟 및 roi 관련 메타데이터를 이용한 360도 비디오를 송수신하는 방법 및 그 장치
KR102559862B1 (ko) 미디어 콘텐츠 전송을 위한 방법, 디바이스, 및 컴퓨터 프로그램
WO2019202207A1 (en) Processing video patches for three-dimensional content
KR20190008901A (ko) 가상 현실 미디어 콘텐트의 스트리밍을 개선하는 방법, 디바이스, 및 컴퓨터 프로그램
KR20200032230A (ko) 스티칭 및 리프로젝션 관련 메타데이터를 이용한 6dof 비디오를 송수신하는 방법 및 그 장치
US10931930B2 (en) Methods and apparatus for immersive media content overlays
CN107851425B (zh) 信息处理设备、信息处理方法和程序
CN112219403B (zh) 沉浸式媒体的渲染视角度量
JP7035401B2 (ja) 画像処理装置およびファイル生成装置
KR20190103102A (ko) Vr 디바이스 및 vr 디바이스 제어 방법
GB2506911A (en) Streaming data corresponding to divided image portions (tiles) via a description file including spatial and URL data
WO2021251173A1 (ja) 情報処理装置および方法
US20220239994A1 (en) Information processing apparatus, information processing method, reproduction processing apparatus, and reproduction processing method
WO2021065605A1 (ja) 情報処理装置および情報処理方法
KR101944601B1 (ko) 기간들에 걸쳐 오브젝트들을 식별하기 위한 방법 및 이에 대응하는 디바이스
WO2021140956A1 (ja) 情報処理装置および方法
KR102243666B1 (ko) 360도 비디오를 전송하는 방법, 360도 비디오를 수신하는 방법, 360도 비디오 전송 장치, 360도 비디오 수신 장치
CN114930869A (zh) 用于视频编码和视频解码的方法、装置和计算机程序产品
TW201939964A (zh) 資訊處理裝置及方法
VRT et al. First Version of Playout Clients

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20912605

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021570018

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20912605

Country of ref document: EP

Kind code of ref document: A1