WO2023058258A1 - 画像処理システム、並びに、画像処理装置および方法 - Google Patents

画像処理システム、並びに、画像処理装置および方法 Download PDF

Info

Publication number
WO2023058258A1
WO2023058258A1 PCT/JP2022/003345 JP2022003345W WO2023058258A1 WO 2023058258 A1 WO2023058258 A1 WO 2023058258A1 JP 2022003345 W JP2022003345 W JP 2022003345W WO 2023058258 A1 WO2023058258 A1 WO 2023058258A1
Authority
WO
WIPO (PCT)
Prior art keywords
partial area
bitstream
picture
file
sub
Prior art date
Application number
PCT/JP2022/003345
Other languages
English (en)
French (fr)
Inventor
充 勝股
光浩 平林
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Publication of WO2023058258A1 publication Critical patent/WO2023058258A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region

Definitions

  • the present disclosure relates to an image processing system, an image processing apparatus, and a method, and in particular, an image processing system capable of suppressing an increase in processing load on a client while suppressing an increase in processing load on a server, and , an image processing apparatus and method.
  • VVC Very Video Coding
  • MPEG-4 Moving Picture Experts Group - 4
  • a VVC File Format that utilizes has been established (see, for example, Non-Patent Documents 2 to 4).
  • the server distributes the data of the entire picture, and the client device cuts out a partial area from the picture and displays it. I thought of a way to do it.
  • the client device extracts a partial area from a picture
  • the amount of data transmitted from the server to the client may increase unnecessarily, increasing the processing load on the client device such as reception and decoding.
  • a process for extracting a partial area from a picture is also required, there is a possibility that the processing load on the client apparatus will be further increased.
  • the client device receives and decodes image data that is smaller than the picture, so the processing load on the client device does not increase. can be suppressed.
  • the server has to perform processing such as decoding, clipping, re-encoding, etc., which may increase the processing load of the server.
  • the present disclosure has been made in view of such circumstances, and it is possible to suppress an increase in processing load on a client that reproduces the content while suppressing an increase in the processing load on the server that distributes the content. It is intended to be
  • An image processing system includes a server and a client device, wherein the client device generates a file storing a bitstream of a partial region of a picture included in a control file that controls delivery of a content file. requesting the server for the bitstream of the partial area based on the partial area file generation information for the sub-picture included in the picture, based on the request from the client device, generating a bitstream of the partial area composed of some of the subpictures, transmitting the bitstream of the partial area to the client device, and allowing the client device to receive the bitstream of the partial area transmitted from the server; It is an image processing system that receives a stream and cuts out a cut-out area from the bit stream of the partial area.
  • An image processing device is a generation unit that generates a bitstream of a partial area configured by part of sub-pictures among sub-pictures included in a picture, based on a request from another device. and a transmitting unit configured to transmit the bitstream of the partial area to the other device.
  • An image processing method generates a bitstream of a partial area configured by some subpictures among subpictures included in a picture based on a request from another device, and An image processing method for transmitting a bitstream of regions to the other device.
  • An image processing apparatus generates partial area file generation information for generating a file storing a bitstream of a partial area of a picture based on content data. and a file generating unit that generates a control file for controlling distribution of a content file and stores the partial area file generation information.
  • An image processing method generates partial area file generation information for generating a file storing a bitstream of a partial area of a picture based on content data, and distributes the content file.
  • a control file to be controlled is generated and the partial area file generation information is stored.
  • An image processing device is based on partial area file generation information for generating a file storing a bitstream of a partial area of a picture, which is included in a control file for controlling distribution of a content file. and a request processing unit for requesting a bitstream of the partial area, an obtaining unit for obtaining the bitstream of the partial area, and a clipping unit for clipping a clipped area from the bitstream of the partial area.
  • An image processing method is based on partial area file generation information for generating a file storing a bitstream of a partial area of a picture, included in a control file for controlling delivery of a content file. 1.
  • partial area file generation information for generating a file storing a bitstream of a partial area of a picture included in a control file for controlling delivery of a content file in a client device
  • a bit stream of the partial area is requested to the server based on the above, and the server requests the partial area from the partial sub-pictures of the sub-pictures included in the picture based on the request from the client device.
  • the bitstream of the partial area is transmitted to the client device, the bitstream of the partial area transmitted from the server is received by the client device, and the cut-out area is cut out from the bitstream of the partial area.
  • a bitstream of a partial region configured by some of sub-pictures included in a picture is generated based on a request from another device. , the bitstream of that subregion is sent to the other device.
  • partial area file generation information for generating a file for storing a bitstream of a partial area of a picture is generated based on content data, and a content file is generated.
  • a control file for controlling the distribution of the is generated, and the partial area file generation information is stored.
  • partial area file generation information for generating a file storing a bitstream of a partial area of a picture included in a control file for controlling distribution of a content file , a bitstream for the partial area is requested, a bitstream for the partial area is obtained, and a clipping area is extracted from the bitstream for the partial area.
  • FIG. 2 is a diagram showing an example of a method of distributing content
  • FIG. 2 is a diagram showing an example of a method of distributing content
  • It is a figure explaining the distribution method of content.
  • It is a figure which shows the main structural examples of a content distribution system.
  • 1 is a block diagram showing a main configuration example of a file generation device
  • FIG. 4 is a block diagram showing a main configuration example of a distribution server
  • FIG. 2 is a block diagram showing a main configuration example of a client device
  • FIG. FIG. 11 is a flowchart illustrating an example of the flow of file generation processing
  • FIG. FIG. 11 is a flowchart illustrating an example of the flow of content distribution processing
  • FIG. 11 is a flowchart for explaining an example of the flow of request processing;
  • FIG. FIG. 10 is a diagram showing an example of partial area file generation information;
  • FIG. 10 is a diagram showing an example of partial area file generation information;
  • 4 is a flowchart showing an example of the flow of track generation processing;
  • 4 is a flowchart showing an example of the flow of track generation processing;
  • FIG. 10 is a diagram showing an example of partial area file generation information; 4 is a flowchart showing an example of the flow of track generation processing;
  • FIG. 10 is a diagram showing an example of partial area file generation information;
  • 4 is a flowchart showing an example of the flow of track generation processing; It is a figure explaining the distribution method of content.
  • 4 is a block diagram showing a main configuration example of a distribution server;
  • FIG. 4 is a flowchart showing an example of the flow of track generation processing; 4 is a flowchart showing an example of the flow of track generation processing; 4 is a flowchart showing an example of the flow of track generation processing;
  • FIG. 10 is a diagram showing an example of partial area file generation information; 4 is a flowchart showing an example of the flow of track generation processing;
  • FIG. 4 is a diagram for explaining partial area information;
  • FIG. 10 is a diagram showing a description example of MPD;
  • FIG. 3 is a diagram showing a configuration example of a picture and partial regions;
  • FIG. 11 is a flowchart illustrating an example of the flow of file generation processing;
  • FIG. FIG. 11 is a flowchart illustrating an example of the flow of content distribution processing;
  • FIG. 10 is a diagram showing a description example of MPD
  • FIG. 11 is a flowchart illustrating an example of the flow of file generation processing
  • FIG. 10 is a diagram showing a description example of MPD
  • FIG. 11 is a flowchart illustrating an example of the flow of file generation processing
  • FIG. 10 is a diagram showing a description example of MPD
  • FIG. 10 is a diagram showing an example of sample groups
  • FIG. 10 is a diagram showing an example of RegionWisePackingStruct
  • FIG. 11 is a flowchart illustrating an example of the flow of file generation processing
  • FIG. It is a block diagram which shows the main structural examples of a computer.
  • Non-Patent Document 1 (above)
  • Non-Patent Document 2 (above)
  • Non-Patent Document 3 (above)
  • Non-Patent Document 4 (above)
  • the content described in the above non-patent document and the content of other documents referenced in the above non-patent document are also the basis for determining the support requirements.
  • VVC Very Video Coding
  • a bitstream of a picture can be divided into one or more subpictures without being decoded. It is possible. For example, as shown in FIG. 1, a bitstream for picture 10 can be split into bitstreams for each subpicture 11 without decoding. For example, for 360-degree video, the bitstream of picture 10 is configured so that it can be divided into bitstreams of six subpictures 11 .
  • MPEG-4 Moving Picture Experts Group - 4
  • ISOBMFF International Organization for Standardization Base Media File Format
  • the server transmits the bitstream of the entire picture 10 to the client device, and the client device cuts out and displays the cutout region 12 from the picture 10. is cut out and a bit stream of the cut-out area 12 is transmitted to the client device.
  • an MPD (Media Presentation Description) file is transmitted from the server to the client device as indicated by arrow 21 .
  • the MPD file is a control file that stores control information regarding content distribution.
  • the server supplies the content file (VVC track) of the requested content to the client device as indicated by arrow 22 .
  • This VVC track stores the bitstream of the entire VVC-encoded picture 10 .
  • the client device extracts the bitstream of the picture 10 from the VVC track, decodes it, cuts out a desired clipping area 12 from the picture 10 as a display area (Viewport), and displays it.
  • content distribution is performed according to the procedure shown in FIG. 3, for example.
  • the client device requests delivery of content based on its own rules (for example, a query request using the Get method of HTTP (HyperText Transfer Protocol))
  • the server makes a request as shown by arrow 32.
  • decode the bitstream of the entire picture 10 stored in the VVC track of the requested content cut out the requested clipping area 12 from the picture 10, and further encode the data of the clipping area 12. , to generate a bitstream of the segmented region 12 .
  • the server then stores the bitstream in a new content file (VVC track) and transmits it to the client device as indicated by arrow 33 .
  • the client device decodes the bitstream of the cutout area 12 from the VVC track and displays the cutout area 12 as a display area (Viewport).
  • the server since the bitstream of the clipping area 12 is transmitted, an increase in the amount of data transmitted from the server to the client device is suppressed.
  • the server must perform processing such as decoding the bit stream of the picture 10, cutting out the cutout region 12, and encoding the data in the cutout region 12, increasing the processing load on the server. I was afraid. If the processing load for each client access increases, there is a risk that the number of clients that can be delivered simultaneously by the server will decrease. In other words, there is a possibility that the distribution performance of the server will be reduced and the maximum number of simultaneous connections will be reduced.
  • the increased processing load on the server may increase the delay time until the content is delivered to the client device.
  • the request from the client to the server is not standardized, so it must be specified independently, and there is no versatility.
  • the server generates a VVC track made up of some sub-pictures and transmits it to the client device.
  • partial region file generation for the client device to generate a file storing a bitstream of a partial region of a picture included in a control file for controlling distribution of a content file.
  • a request is made to the server for the bitstream of the partial area, and the server requests a portion composed of some of the sub-pictures included in the picture based on the request from the client device.
  • a bitstream of the region is generated, the bitstream of the partial region is transmitted to the client device, the client device receives the bitstream of the partial region transmitted from the server, and cuts out a segmented region from the bitstream of the partial region. make it
  • FIG. 5 is a diagram showing an example of the configuration of a content distribution system, which is one aspect of an image processing system to which the present technology is applied.
  • a content delivery system 100 shown in FIG. 5 is a system for delivering content including images, and includes a file generation device 111, a delivery server 112, and a client device 113, as shown in FIG.
  • a network 110 is a communication network serving as a communication medium between devices.
  • the network 110 may be a wired communication network, a wireless communication network, or both.
  • it may be a wired LAN (Local Area Network), a wireless LAN, a public telephone network, a wide area communication network for wireless mobiles such as the so-called 4G line or 5G line, or the Internet, etc., or a combination thereof.
  • the network 110 may be a single communication network or a plurality of communication networks.
  • the network 110 is partly or wholly of a predetermined standard such as a USB (Universal Serial Bus) (registered trademark) cable or HDMI (High-Definition Multimedia Interface) (registered trademark) cable. It may be configured by a communication cable.
  • a predetermined standard such as a USB (Universal Serial Bus) (registered trademark) cable or HDMI (High-Definition Multimedia Interface) (registered trademark) cable. It may be configured by a communication cable.
  • file generation device 111 Although one file generation device 111, one distribution server 112, and one client device 113 are shown in FIG. 5, the number of these devices is arbitrary.
  • the file generation device 111 generates a content file (VVC track) that stores content distributed by the content distribution system 100 .
  • the file generation device 111 also generates an MPD file as a control file that stores control information for controlling distribution of the content.
  • the file generation device 111 transmits (uploads) the generated content files and MPD files to the distribution server 112 .
  • the distribution server 112 performs processing related to content distribution. For example, the distribution server 112 acquires, stores, and manages content files and MPD files supplied (uploaded) from the file generation device 111 . Also, the distribution server 112 distributes files under its management to the client device 113 . For example, the distribution server 112 transmits the MPD file to the client device 113 based on the request from the client device 113 . When the client device 113 requests distribution of the content file based on the MPD file, the distribution server 112 transmits the content file (VVC track) to the client device 113 according to the request.
  • VVC track content file
  • the client device 113 performs processing related to reproduction of content distributed by the distribution server 112 .
  • the client device 113 requests an MPD file of desired content from the distribution server 112, and receives the MPD file transmitted in response to the request.
  • the client device 113 requests the distribution server 112 to distribute the content file based on the MPD file.
  • the client device 113 receives the content file (VVC track) transmitted in response to the request, extracts a bitstream from the content file, decodes it, and generates and displays a display image.
  • the client device 113 displays the clipping area 12, which is part of the picture 10, as the display area, as in the example shown in FIG. In other words, it is assumed that the client device 113 displays the image of the cutout area 12 cut out from the picture 10 .
  • the file generation device 111 generates a bitstream of the picture 10 by encoding the moving image (the entire picture 10) with VVC.
  • the file generation device 111 stores the bitstream in a content file (VVC track).
  • File generation device 111 uploads the content file to distribution server 112 .
  • the distribution server 112 sends the bitstream of the partial area including some subpictures including the cutout area 12.
  • a stream is generated, stored in a new content file (VVC track), and transmitted to the client device 113 .
  • VVC track a new content file
  • the distribution server 112 distributes the bitstream of the partial region 121 to store the bitstream in a new content file (VVC track) and send it to the client device 113 .
  • the client device 113 receives the VVC track in which the bitstream of the partial area 121 is stored.
  • the client device 113 extracts the bitstream of the partial area 121 from the VVC track.
  • the client device 113 decodes the extracted bitstream.
  • the client device 113 cuts out the image of the clipping area 12 from the image of the partial area 121 obtained by the decoding, and displays it as a display area.
  • the bitstream of the partial area 121 is transmitted from the distribution server 112 to the client device 113 . That is, compared to the case where the bitstream of picture 10 is distributed, an increase in the amount of transmission data can be suppressed. Therefore, an increase in the processing load on the client device can be suppressed more than when the client device cuts out the cut-out region 12 from the picture 10 .
  • picture 10 is encoded with VVC, its bitstream can be divided into subpictures 11 without decoding. Therefore, the distribution server 112 can generate the bitstream of the partial area 121 more easily than the bitstream of the cutout area 12 . In other words, an increase in processing load on the server can be suppressed more than in the case where the server cuts out the cut-out region 12 from the picture 10 . Therefore, it is possible to reduce the maximum number of simultaneous connections and suppress an increase in delay time.
  • a bit stream of a partial area configured by some sub-pictures among the sub-pictures included in the picture is received based on a request from another device (for example, the client device 113). and a transmitter for transmitting the bitstream of the partial region to another device.
  • a bitstream of a partial area composed of some of the subpictures included in the picture is generated, and the bitstream of the partial area is generated. Send to another device.
  • the distribution server 112 may generate the bitstream of the partial area 121 made up of subpictures based on the metadata for generating the bitstream of the partial area made up of subpictures.
  • the file generation device 111 generates the metadata, stores the metadata in a metadata file that stores the metadata, and distributes the metadata file to the distribution server 112 together with the above-described content file (VVC track). You can upload to .
  • the client device 113 may request a bitstream of an area including at least the cutout area 12 based on the partial area file generation information for generating a file storing the bitstream of the partial area of the picture 10 .
  • the client device 113 may grasp the functions of the distribution server 112 based on the partial area file generation information included in the MPD file, and make a request in a manner that the distribution server 112 can handle. By doing so, the distribution server 112 can more reliably respond to the request.
  • this partial area file generation information may be generated by the file generation device 111 , stored in the MPD file, and uploaded to the distribution server 112 .
  • the partial area 121 may be one partial area within the picture 10 , an area including the cutout area 12 , and an area configured by the subpicture 11 .
  • the number and arrangement of the subpictures 11 forming the partial area 121 are arbitrary.
  • the partial area 121 is composed of two subpictures 11 (subpicture 11-1 and subpicture 11-2), but the partial area 121 may be composed of one subpicture 11. However, it may be composed of three or more subpictures 11 .
  • two sub-pictures 11 forming the partial area 121 are arranged horizontally, but a plurality of sub-pictures 11 forming the partial area may be arranged vertically. They can be arranged horizontally.
  • it is desirable that the partial area 121 is composed of as few subpictures 11 as possible.
  • FIG. 6 is a block diagram showing an example of the configuration of the file generation device 111, which is one aspect of the image processing device to which the present technology is applied.
  • FIG. 6 shows main components such as the processing unit and data flow, and what is shown in FIG. 6 is not necessarily all. That is, in the file generation device 111, there may be processing units not shown as blocks in FIG. 6, or there may be processes or data flows not shown as arrows or the like in FIG.
  • the file generation device 111 has a control section 131 and a file generation processing section 132 .
  • the control unit 131 controls the file generation processing unit 132 .
  • the file generation processing unit 132 is controlled by the control unit 131 to perform processing related to file generation.
  • the file generation processing unit 132 has an input unit 141, a preprocessing unit 142, an encoding unit 143, a file generation unit 144, a recording unit 145, and an output unit 146.
  • the input unit 141 acquires content data including moving images and supplies it to the preprocessing unit 142 .
  • the preprocessing unit 142 Based on the content data, the preprocessing unit 142 generates partial area file generation information for generating a file for storing a bitstream of a partial area of the picture 10 of the moving image.
  • the preprocessing unit 142 supplies the generated partial area file generation information to the file generation unit 144 .
  • the preprocessing unit 142 can also be said to be a partial area file generation information generation unit.
  • the preprocessing unit 142 generates metadata for generating a bitstream of a partial area composed of sub-pictures based on the content data.
  • the preprocessing unit 142 supplies the generated metadata to the file generation unit 144 . Further, the preprocessing unit 142 supplies content data to the encoding unit 143 .
  • the encoding unit 143 encodes the content data supplied from the preprocessing unit 142 and generates a bitstream. For example, the encoding unit 143 encodes moving image data using VVC to generate a bitstream. That is, the encoding unit 143 generates a bitstream of picture 10 . The encoding unit 143 supplies the generated bitstream of the picture 10 to the file generation unit 144 .
  • the file generation unit 144 acquires the bitstream of picture 10 supplied from the encoding unit 143 . Then, the file generation unit 144 generates an ISOBMFF content file (VVC track) that stores the bitstream of the picture 10 . That is, the file generator 144 generates a VVC track and stores the bitstream of the picture 10 there. Also, the file generation unit 144 acquires metadata supplied from the preprocessing unit 142 . The file generator 144 generates a metadata file and stores the metadata therein. Furthermore, the file generation unit 144 acquires partial area file generation information supplied from the preprocessing unit 142 . Then, the file generation unit 144 generates an MPD file as a control file that stores control information for controlling content distribution, and stores the partial area file generation information in the MPD file. The file generation unit 144 supplies these generated files to the recording unit 145 .
  • VVC track ISOBMFF content file
  • the recording unit 145 has an arbitrary recording medium such as a hard disk or a semiconductor memory, and records the files supplied from the file generation unit 144 on the recording medium.
  • the recording unit 145 also reads the files recorded on the recording medium according to a request from the control unit 131 or the output unit 146 or at a predetermined timing, and supplies the files to the output unit 146 .
  • the output unit 146 transmits (uploads) those files read from the recording unit 145 to the distribution server 112 via the network 110 .
  • FIG. 7 is a block diagram showing an example of the configuration of the distribution server 112, which is one aspect of the image processing apparatus to which the present technology is applied.
  • FIG. 7 shows main elements such as the processing unit and data flow, and what is shown in FIG. 7 is not necessarily all.
  • the distribution server 112 there may be processing units not shown as blocks in FIG. 7, or there may be processes or data flows not shown as arrows or the like in FIG.
  • the distribution server 112 has a communication unit 151, a storage unit 152, and a generation unit 153.
  • the communication unit 151 communicates with other devices via the network 110.
  • the communication unit 151 communicates with another device and acquires information from the other device.
  • the communication unit 151 receives a content file (VVC track), a metadata file, an MPD file, etc. transmitted from the file generation device 111 .
  • the communication unit 151 also receives requests for MPD files and content files from the client device 113 .
  • the communication unit 151 supplies the received content file (VVC track), metadata file, MPD file, etc. to the storage unit 152 .
  • the communication unit 151 also supplies the received request to the generation unit 153 .
  • the communication unit 151 can also be said to be a receiving unit.
  • the communication unit 151 communicates with other devices and supplies information to the other devices.
  • the communication unit 151 reads the MPD file from the storage unit 152 and transmits it to the client device 113 .
  • the communication unit 151 also acquires the content file (VVC track) storing the bitstream of the partial area 121 supplied from the generation unit 153, and transmits the content file to the client device 113, which is another device.
  • the communication unit 151 can also be said to be a transmission unit.
  • the storage unit 152 has an arbitrary storage medium such as a hard disk or semiconductor memory, and stores various information.
  • the storage unit 152 stores content files (VVC tracks), metadata files, MPD files, etc. supplied from the communication unit 151 in its storage medium.
  • the storage unit 152 also reads the requested information from the storage medium and supplies it to the requester.
  • the storage unit 152 reads out the requested MPD file from the storage medium and supplies it to the communication unit 151 which is the source of the request.
  • the storage unit 152 reads out the requested content file and metadata file from the storage medium, and supplies them to the generation unit 153 that is the source of the request.
  • the generation unit 153 generates a bitstream of the partial area 121 including the clipped area 12 requested by the client device 113, which is another device. In other words, the generation unit 153 generates a bitstream of a partial area configured by some subpictures 11 of the subpictures 11 included in the picture 10 based on a request from another device.
  • the generation unit 153 reads necessary information such as a content file and a metadata file from the storage unit 152 and generates a bitstream for the partial area 121 thereof.
  • the generation unit 153 newly generates a content file (VVC track) and stores the bitstream of the partial area 121 thereof.
  • the generation unit 153 supplies the content file to the communication unit 151 .
  • FIG. 8 is a block diagram showing an example of the configuration of the client device 113, which is one aspect of the image processing device to which the present technology is applied.
  • FIG. 8 shows main elements such as processing units and data flow, and what is shown in FIG. 8 is not necessarily all.
  • processing units not shown as blocks in FIG. 8
  • processes or data flows not shown as arrows or the like in FIG.
  • the client device 113 has a control unit 171 and a reproduction processing unit 172.
  • the control unit 171 performs processing related to control of the reproduction processing unit 172 .
  • the reproduction processing unit 172 performs processing related to reproduction of content data.
  • the reproduction processing unit 172 has a file acquisition unit 181 , a file processing unit 182 , a decoding unit 183 , a display information generation unit 184 , a display unit 185 and a display control unit 186 .
  • the file acquisition unit 181 communicates with other devices via the network 110 and acquires information. For example, the file acquisition unit 181 requests an MPD file of desired content from the distribution server 112, and receives the MPD file transmitted in response to the request. The file acquisition section 181 supplies the received MPD file to the file processing section 182 . In other words, the file acquisition unit 181 can also be called an acquisition unit or a control file acquisition unit.
  • the file acquisition unit 181 requests the distribution server 112 for the content file specified by the file processing unit 182 based on the MPD file. At this time, the file acquisition unit 181 requests a bitstream of an area including at least the clipping area 12 specified by the file processing unit 182 or the display control unit 186 (that is, the partial area 121 of the picture 10). In other words, the file acquisition unit 181 can also be said to be a request processing unit.
  • the file acquisition unit 181 acquires (receives) the content file (VVC track) storing the bitstream of the partial area 121 distributed in response to the request.
  • the file acquisition section 181 supplies the content file to the file processing section 182 .
  • the file acquisition unit 181 can also be called an acquisition unit or a content file acquisition unit.
  • the file processing unit 182 performs processing related to the files supplied from the file acquisition unit 181. For example, the file processing section 182 acquires the MPD file supplied from the file acquisition section 181 . The file processing unit 182 selects the requested content file based on the MPD file, and requests the file acquisition unit 181 to distribute the content file. At that time, if a display area is specified by the display control unit 186, the file processing unit 182 sets the display area as the clipping area 12, and sends the bitstream of the area including at least the clipping area 12 to the file acquisition unit 181. to request the delivery of
  • the file processing unit 182 acquires the content file supplied from the file acquisition unit 181 .
  • This content file contains the bitstream of the partial area 121 .
  • the file processing unit 182 extracts the bitstream of the partial area 121 from the content file and supplies it to the decoding unit 183 .
  • the decoding unit 183 decodes the bitstream of the partial area 121 supplied from the file processing unit 182 using VVC to generate image data of the partial area 121 .
  • the decoding unit 183 supplies the image data of the partial area 121 to the display information generating unit 184 .
  • the display information generation unit 184 acquires the image data of the partial area 121 supplied from the decoding unit 183 .
  • the display information generation unit 184 uses the display area specified by the display control unit 186 as the cutout area 12, cuts out the cutout area 12 from the partial area 121, and generates display information (display image, etc.). In other words, the display information generation unit 184 can also be said to be a clipping unit.
  • the display information generating section 184 supplies the display information to the display section 185 .
  • the display unit 185 has a display device, and displays the display information supplied from the display information generation unit 184 using the display device.
  • the display control unit 186 performs processing related to control of generation of display information. For example, the display control unit 186 receives specification of a display area from a user or an application via the control unit 171 and supplies the specification of the display area to the file processing unit 182 and the display information generation unit 184 . Further, the display control unit 186 can set the display area as the cutout area 12 and request the file acquisition unit 181 to distribute the bitstream of the area including at least the cutout area 12 .
  • the input unit 141 of the file generation device 111 acquires content data including moving images in step S101.
  • the preprocessing unit 142 generates partial area file generation information for generating a file for storing the bitstream of the partial area 121 of the picture 10 based on the moving image data.
  • the preprocessing unit 142 generates metadata for generating a bitstream of a partial area composed of sub-pictures based on the moving image data.
  • the file generation unit 144 generates an MPD file, which is a control file for controlling distribution of content files, and stores the partial area file generation information generated in step S102 in the MPD file.
  • the file generation unit 144 also generates a metadata file and stores the metadata generated in step S102 in the metadata file.
  • step S104 the encoding unit 143 encodes the content data acquired in step S101 to generate a bitstream.
  • the encoding unit 143 encodes moving image data using VVC to generate a bitstream of picture 10 .
  • step S105 the file generation unit 144 generates a content file and stores the bitstream of the content generated in step S104.
  • the file generator 144 stores the bitstream of picture 10 in the content file (VVC track).
  • step S106 the recording unit 145 records the MPD file and metadata generated in step S103 and the content file generated in step S105.
  • output unit 146 reads these files from recording unit 145 and uploads them to distribution server 112 via network 110 .
  • the communication unit 151 of the distribution server 112 receives those files transmitted from the file generation device 111 in step S111.
  • the storage unit 152 stores the received files (that is, MPD files, content files, metadata files, etc.).
  • the process starts when the client device 113 requests the distribution server 112 for the MPD file of the desired content.
  • the communication unit 151 of the distribution server 112 reads the requested MPD file from the storage unit 152 and transmits the MPD file to the client device 113 in step S121.
  • the file acquisition unit 181 of the client device 113 receives the MPD file.
  • step S132 the file processing unit 182 analyzes the MPD file.
  • the file acquisition unit 181 generates a content file request based on the analysis result.
  • File acquisition unit 181 transmits the request to distribution server 112 . That is, the file acquisition unit 181 acquires the partial area based on the partial area file generation information for generating the file storing the bitstream of the partial area of the picture, which is included in the control file for controlling the distribution of the content file.
  • Request a bitstream.
  • communication unit 151 of distribution server 112 receives the request.
  • step S123 the generation unit 153 reads necessary information from the storage unit 152 based on the request, and extracts a portion of the sub-pictures 11 included in the picture 10 that is configured by a part of the sub-pictures 11.
  • a bitstream of the area 121 is generated, a new content file (VVC track) is generated, and the bitstream of the partial area 121 is stored.
  • step S124 the communication unit 151 transmits the content file (VVC track) generated in step S123 to the client device 113.
  • step S133 the file acquisition unit 181 of the client device 113 receives the content file.
  • step S134 the file processing unit 182 extracts the bitstream of the partial area 121 from the content file.
  • the decoding unit 183 decodes the bitstream of the partial area 121 and generates image data of the partial area 121 .
  • the display information generator 184 cuts out the cutout region 12 from the partial region 121 .
  • the display unit 185 displays the cutout area 12 as a display area.
  • the file processing unit 182 of the client device 113 selects an adaptation set corresponding to the desired content file from the description of the MPD file in step S141, and Select an appropriate Representation.
  • step S142 the file acquisition unit 181 appropriately adds URL parameters to the URL information of the representation selected in step S141 to generate a request.
  • step S143 the file acquisition unit 181 transmits the request generated in step S142 to the distribution server 112.
  • the request process ends and the process returns to FIG.
  • the content distribution system 100 can suppress an increase in the amount of data transmitted from the distribution server 112 to the client device 113 . Also, an increase in processing load on the distribution server 112 can be suppressed. In other words, the content distribution system 100 can suppress an increase in the processing load on the client device 113 while suppressing an increase in the processing load on the distribution server 112 .
  • the method of generating the partial area 121 by the distribution server 112 is arbitrary. For example, as shown on the second row from the top of the table shown in FIG. (Method 1). Since the partial area 121 is an area configured by the subpicture 11 as described above, the distribution server 112 can extract the bitstream of the partial area 121 without decoding the bitstream of the picture 10 .
  • the storage unit 152 of the distribution server 112 stores the VVC track 162, which is the content file storing the bitstream of the MPD file 161 and the picture 10, as shown in FIG. Further, the storage unit 152 stores metadata files VVC extraction base track 163-1, VVC extraction base track 163-2, . . . memorize When there is no need to distinguish and explain each metadata file, it is also called VVC extraction base track 163.
  • the storage unit 152 can store any number of VVC extraction base tracks 163 .
  • the VVC extraction base track 163 is metadata used for the sub-picture 11 extraction process, and is prepared for each number of sub-pictures 11 to be extracted.
  • VVC extraction base track 163-1 is metadata that applies to the process of extracting any one sub-picture.
  • VVC extraction base track 163-2 is metadata applied to the process of extracting any two subpictures.
  • a VVC extraction base track 163 that applies to the process of extracting any three subpictures may be prepared, and a VVC extraction base track 163 that applies to the process of extracting more subpictures may be prepared.
  • Each VVC extraction base track 163 is generated by the file generation device 111 and uploaded to the distribution server 112 together with the MPD file 161 and VVC track 162.
  • the storage unit 152 stores these uploaded files.
  • the generation unit 153 identifies the subpicture 11 corresponding to the request from the client device 113 .
  • the generator 153 selects a VVC extraction base track 163 from which the identified subpicture 11 can be extracted.
  • the generation unit 153 reads the selected VVC extraction base track 163 together with the VVC track 162 from the storage unit 152 . Then, using the read VVC extraction base track 163, the generation unit 153 selects the sub-picture 11 from the bitstream of the picture 10 stored in the VVC track 162 (that is, the sub-picture 11 corresponding to the request from the client device 113). ) to extract the bitstream of the partial area 121 .
  • the generation unit 153 then generates a new VVC track and stores the bitstream of the partial area 121 thereof. Then, the generation unit 153 supplies the VVC track to the communication unit 151 and causes it to be transmitted to the client device 113 .
  • the distribution server 112 can generate the bitstream of the partial area 121 without decoding the bitstream of the picture 10 (that is, easily). Therefore, an increase in the load on distribution server 112 can be suppressed.
  • the process of extracting the bitstream of the partial area 121 from the bitstream of the picture 10 may be performed in the client device 113 .
  • the distribution server 112 will transmit the content file containing the bitstream of the picture 10 to the client device 113 . Therefore, as described above, the distribution server 112 extracts the bitstream of the partial area 121 from the bitstream of the picture 10, thereby suppressing an increase in the amount of data transmission. That is, it is possible to suppress an increase in the processing load of the client device 113 .
  • a partial Area file creation information may be stored (method 1-1).
  • the partial area file generation information may include information indicating that the distribution server 112 can apply method 1 described above to generate a bitstream of the partial area.
  • the preprocessing unit 142 of the file generation device 111 may generate partial area file generation information including information indicating that the bitstream of the partial area 121 can be generated in the distribution server 112 .
  • the file processing unit 182 of the client device 113 that analyzes the MPD file can grasp that the distribution server 112 can generate the bitstream of the partial area 121 based on this description. .
  • the file acquisition unit 181 can request the distribution server 112 for a bitstream of an area including at least the cutout area 12 . In other words, the file acquisition unit 181 can make a request that the distribution server 112 can handle. Therefore, the distribution server 112 can more reliably perform processing according to the request from the client device 113 .
  • the type of metadata that can be processed by the distribution server 112 may be specified.
  • the preprocessing unit 142 of the file generation device 111 may generate partial area file generation information including information designating the type of information that the distribution server 112 can process.
  • “***” describes metadata indicating the request method that can be used in the above-described content file request (request from the client device 113 to the distribution server 112).
  • metadata such as region, priority_size_req, viewport360, group_id, subpic_id, source_id, track_id may be described.
  • region indicates that a method of specifying the clipping region 12 by coordinates or the like can be used.
  • priority_size_req indicates that a method of selecting whether to give priority to the bitstream distribution of the clipping area 12 or the partial area 121 bitstream is available.
  • the viewport360 indicates that the method of specifying the clipping area 12 by the display area (viewport) of the 360-degree video can be used in requesting the content file.
  • group_id indicates that the method of specifying the region of the trif sample group by identification information can be used.
  • subpic_id indicates that the method of specifying the subpicture 11 by identification information can be used.
  • source_id indicates that it is possible to specify the region defined in the MPD file.
  • track_id indicates that a method of specifying mergeable tracks by identification information can be used.
  • the clipping area 12 to be acquired may be specified by coordinates or the like (method 1-1-1).
  • the file acquisition unit 181 of the client device 113 may generate a request for a content file including parameters specifying the clipping area 12 to be acquired by coordinates or the like.
  • the generation unit 153 of the distribution server 112 identifies the sub-picture 11 including the clipping region 12 specified by using the coordinates in the request for the content file, and generates metadata that allows the identified sub-picture 11 to be extracted.
  • the selected metadata may be used to extract the bitstream of the partial region 121 composed of the identified subpictures 11 from the bitstream of the picture 10 .
  • the file acquisition unit 181 of the client device 113 adds a URL parameter to the URL specifying the requested content file, as described below.
  • region_top is a URL parameter indicating the top coordinate of the clipping region 12 (that is, the Y coordinate of the upper left corner of the clipping region 12).
  • region_left is a URL parameter indicating the left coordinate of the clipping region 12 (that is, the X coordinate of the upper left corner of the clipping region 12).
  • region_width is a URL parameter indicating the width (length in the X direction) of the cutout region 12 .
  • region_height is a URL parameter indicating the height (length in the Y direction) of the cutout region 12 .
  • the generation unit 153 of the distribution server 112 identifies the area specified by these parameters as the clipping area 12 requested by the client device 113 .
  • step S201 the generation unit 153 of the distribution server 112 identifies the sub-picture 11 including the clipping area 12 specified in the request in the trif sample group of the VVC track 162 storing the bitstream of the picture 10 read from the storage unit 152. do.
  • step S ⁇ b>202 the generation unit 153 selects metadata (VVC extraction base track 163 ) from which the sub-picture identified in step S ⁇ b>201 can be extracted from the VVC track 162 and reads it from the storage unit 152 .
  • step S ⁇ b>203 the generation unit 153 reconstructs samples using the read VVC extraction base track 163 and VVC track 162 to generate a bitstream of the partial area 121 including the cutout area 12 .
  • the generator 153 extracts the bitstream of the partial region 121 from the bitstream of the picture 10 based on the VVC extraction base track 163 .
  • the generating unit 153 then generates a new content file (VVC track) and stores the bitstream of the partial area 121 therein.
  • the client device 113 can more directly specify the clipping region 12 to be acquired, so that processing such as interpretation of other information is not required, and the request for the content file can be made more easily. It can be carried out.
  • the distribution server 112 that receives the request is more directly designated the clipping area 12, the requested clipping area 12 can be specified more reliably.
  • the distribution server 112 may distribute not only the bitstream of the partial area 121 but also the bitstream of the cutout area 12 .
  • the distribution server 112 can generate a bitstream of the clipped region 12 by decoding the bitstream of the picture 10, extracting the clipped region 12, and encoding the clipped region 12, and can distribute the bitstream of the clipped region 12. You may make it possible.
  • the bitstream of the clipping area 12 should be given priority over the bitstream of the partial area 121 .
  • the file acquisition unit 181 of the client device 113 may add "priority_size_req" to the URL parameter. Then, if the "priority_size_req" is added to the request, the generation unit 153 of the distribution server 112 may generate a bitstream of the cutout area 12 instead of generating a bitstream of the partial area 121 depending on the situation.
  • the generation unit 153 when the processing load of the distribution server 112 is sufficient, the generation unit 153 generates a bitstream of the requested cutout region 12, and when the load is not sufficient, the partial region including the requested cutout region 12 is generated. 121 bitstreams may be generated.
  • the generation unit 153 does not generate the clipped region 12, and only generates the bitstream of the partial region 121.
  • the file acquisition unit 181 of the client device 113 may generate a request for a content file that includes a parameter specifying that priority is given to delivering the bitstream of the cutout area 12 to be acquired.
  • the generation unit 153 when a sub-picture bitstream is requested, the generation unit 153 generates a partial area bitstream, and when a cut-out area bitstream is requested, decodes the picture bitstream, and decodes the picture.
  • a bitstream of the cut-out region may be generated by cutting out the cut-out region from and encoding the cut-out region.
  • the clipping area 12 to be acquired may be specified using a parameter related to the display area (Viewport) in the request for the content file.
  • Parameters related to the display area are arbitrary. For example, parameters such as center_azimuth, center_elevation, center_tilt, azimuth_range, elevation_range may be applied.
  • center_azimuth is a parameter indicating the azimuth angle of the center of the display area.
  • center_elevation is a parameter indicating the elevation angle of the center of the display area.
  • center_tilt is a parameter indicating the rotation of the center of the display area.
  • azimuth_range is a parameter indicating the horizontal angle of view of the display area.
  • elevation_range is a parameter that indicates the length of the display area in the height direction.
  • the file acquisition unit 181 of the client device 113 may generate a request for a content file that specifies the clipping area 12 to be acquired and includes parameters related to the display area (Viewport).
  • the generation unit 153 of the distribution server 112 can identify the sub-picture 11 including the clipping area 12 specified using the information about the display area in the content file request, and extract the identified sub-picture 11. selecting metadata, extracting the identified sub-picture 11 from the bitstream of the picture 10 using the selected metadata, and generating a bitstream of the partial region 121 configured by the extracted sub-picture 11; good too.
  • a group id of a region including a necessary part may be specified from the trif sample group in the VVC track (method 1-1-2).
  • the file acquisition unit 181 of the client device 113 may generate a request for a content file including identification information (group_id) that identifies the region of the trif sample group.
  • the generation unit 153 of the distribution server 112 selects metadata (VVC extraction base track 163) that can extract the partial region 121 configured by the region specified using the identification information (group_id) in the request,
  • the selected metadata may be used to extract the bitstream of the subregion 121 from the bitstream of picture 10 .
  • step S221 the generation unit 153 of the distribution server 112 selects metadata (VVC extraction base track 163) that can extract the partial region 121 including the region indicated by the group_id of the URL parameter included in the request for the content file, and stores the metadata. read out from the unit 152;
  • step S222 the generation unit 153 reconstructs samples using the read VVC extraction base track 163 and VVC track 162, and generates a bitstream of the partial area 121 including the cutout area 12. That is, the generator 153 extracts the bitstream of the partial region 121 from the bitstream of the picture 10 based on the VVC extraction base track 163 .
  • the generating unit 153 then generates a new content file (VVC track) and stores the bitstream of the partial area 121 therein.
  • the distribution server 112 can omit the identification of the sub-picture 11 including the cutout region 12, and can further suppress an increase in the processing load.
  • subpic_id of the spid sample group may be used to specify the region containing the necessary part.
  • subpic_id is identification information for identifying the subpicture 11 .
  • the file acquisition unit 181 of the client device 113 may generate a request for a content file containing identification information (subpic_id) indicating the subpicture 11 .
  • the generation unit 153 of the distribution server 112 selects metadata (VVC extraction base track 163) that can extract the sub-picture 11 specified using the identification information (subpic_id) in the request, and extracts the selected metadata may be used to extract the sub-picture 11 from the bitstream of the picture 10 and generate a bitstream of the partial region 121 composed of the extracted sub-picture 11 .
  • regionInfo may be added (method 1-1-3).
  • http://hoge.com/vvc.mp4 is an example of a URL specifying the requested content file.
  • the preprocessing unit 142 of the file generation device 111 generates a description as shown in FIG. 16 as partial area file generation information, and the file generation unit 144 converts the description into a control file ( MPD file).
  • the file acquisition unit 181 of the client device 113 may generate a request for a content file including identification information (region id) defined in a control file (MPD file) that controls delivery of the content file. That is, the file acquisition unit 181 may specify the region id of the region including the cutout region 12 in the content file request.
  • the generation unit 153 of the distribution server 112 generates a sub-region 121 that includes the region specified using the identification information (region id) defined in the control file (MPD file) that controls the distribution of the content file. Metadata from which picture 11 can be extracted (VVC extraction base track 163) may be selected, and the bitstream of partial region 121 may be extracted from the bitstream of picture 10 using the selected metadata.
  • step S241 the generating unit 153 of the distribution server 112 selects and stores metadata (VVC extraction base track 163) that can extract the partial region 121 including the region indicated by the id of the URL parameter included in the request for the content file. read out from the unit 152;
  • step S242 the generation unit 153 reconstructs samples using the read VVC extraction base track 163 and VVC track 162, and generates a bitstream of the partial area 121 including the region. That is, the generator 153 extracts the bitstream of the partial region 121 from the bitstream of the picture 10 based on the VVC extraction base track 163 .
  • the generating unit 153 then generates a new content file (VVC track) and stores the bitstream of the partial area 121 therein.
  • the client device 113 can more reliably specify the partial area 121 that the distribution server 112 can extract.
  • region information defined in the MPD may be described instead of the identification information defined in the MPD when requesting the content file.
  • the MPD file describes an adaptation set for each combination of partial areas that can be acquired.
  • An adaptation set is defined for each combination of partial areas, for example, an adaptation set for partial areas A+B and an adaptation set for partial areas A+C. Therefore, when requesting a content file, the partial area to be requested is specified by the URL. No URL parameters are added.
  • the generation unit 153 of the distribution server 112 generates VVC track including all regions of regionInfo corresponding to the specified URL.
  • the generation unit 153 of the distribution server 112 generates a partial region 121 including the region specified in the request for the content file, among the regions defined as the adaptation set in the control file (MPD file) that controls distribution of the content file. It is also possible to select metadata (VVC extraction base track 163) from which constituent subpictures 11 can be extracted, and extract the bitstream of partial region 121 from the bitstream of picture 10 using the selected metadata.
  • MPD file adaptation set in the control file
  • partial region file generation information may be stored in the VVC extraction base track as shown at the bottom of the table shown in FIG. 4 (method 1-2).
  • the partial area file generation information may include information indicating that the distribution server 112 can apply method 1 described above to generate a bitstream of the partial area.
  • the preprocessing unit 142 of the file generation device 111 may generate partial area file generation information including information indicating that the bitstream of the partial area 121 can be generated in the distribution server 112 .
  • the file acquisition unit 181 can request the distribution server 112 for a bitstream of an area including at least the cutout area 12 .
  • the file acquisition unit 181 can make a request that the distribution server 112 can handle. Therefore, the distribution server 112 can more reliably perform processing according to the request from the client device 113 .
  • the file acquisition unit 181 of the client device 113 specifies the requested partial area 121 by specifying the metadata (VVC extraction base track 163) used by the distribution server 112 in the content file request.
  • the file acquisition unit 181 of the client device 113 specifies metadata (VVC extraction base track 163) used by the distribution server 112 using a URL as described below, and Add a URL parameter like the one below.
  • http://hoge.com/vvc_extraction_base_track.mp4 is an example of a URL that specifies metadata (VVC extraction base track 163) for extracting subpictures.
  • “ServerExtraction” is a URL parameter requesting extraction of the partial area 121 .
  • the generation unit 153 of the distribution server 112 extracts the partial area 121 using the metadata (VVC extraction base track 163) specified by the URL. For example, the generation unit 153 of the distribution server 112 extracts the partial region 121 from the bitstream of the picture 10 using the metadata (VVC extraction base track 163) for extracting the sub-picture 11 specified in the content file request. You may extract the bitstream.
  • step S261 the generation unit 153 of the distribution server 112 reads the VVC extraction base track 163 and the VVC track 162 specified in the content file request from the storage unit 152, and reproduces the sample using the read information. and generate a bitstream of the partial area 121 containing the segmented area 12 . That is, the generation unit 153 extracts the bitstream of the partial region 121 from the bitstream of the picture 10 using the VVC extraction base track 163 specified in the content file request. The generating unit 153 then generates a new content file (VVC track) and stores the bitstream of the partial area 121 therein.
  • the group_id may be specified in the content file request.
  • the VVC extraction base track 163 may be able to select extractable subregions. In that case, a partial region to be extracted from among the extractable candidates may be specified using group_id. In that case, the content file request is the same as in method 1-1-2.
  • the addition of the URL parameter (ServerExtraction) described above in Method 1-2 can be omitted.
  • the distribution server 112 performs merge processing for merging the subpictures 11, thereby generating a bitstream of the partial area 121. (Method 2). Since the partial area 121 is an area composed of the sub-picture 11 as described above, the distribution server 112 can generate the bitstream of the partial area 121 without decoding the bitstream of the sub-picture 11 .
  • the storage unit 152 of the distribution server 112 stores the MPD file 311 as shown in FIG.
  • the storage unit 152 also stores a VVC merge base track 312 that is a metadata file that stores metadata for merging the subpictures 11 .
  • the storage unit 152 stores VVC subpicture track 313-1, which is a content file storing the bitstream of subpicture #1, VVC subpicture track 313-2, which is a content file storing the bitstream of subpicture #2, .
  • Content files storing bitstreams of subpictures 11 are referred to as VVC subpicture tracks 313 when there is no need to distinguish them from each other. That is, the storage unit 152 stores the VVC subpicture track 313 for each subpicture forming the picture 10 .
  • VVC merge base track 312 is a metadata file for merging any two VVC subpicture tracks 313.
  • the number of merged VVC subpicture tracks 313 is arbitrary.
  • a VVC merge base track should be prepared for each number of VVC subpicture tracks 313 to be merged. In other words, although only the VVC merge base track 312 is shown in FIG. good too.
  • the VVC merge base track 312 is generated by the file generation device 111 and uploaded to the distribution server 112 together with the MPD file 311 and VVC subpicture track 313.
  • the storage unit 152 stores these uploaded files.
  • the generation unit 153 identifies the sub-picture 11 corresponding to the request from the client device 113 (the sub-picture 11 forming the partial area 121 including the requested cut-out area 12).
  • the generator 153 selects a VVC merge base track 312 with which the identified subpicture 11 can be merged.
  • the generation unit 153 reads the selected VVC merge base track 312 and the VVC subpicture track 313 of the identified subpicture 11 from the storage unit 152 .
  • the generation unit 153 then merges each read VVC subpicture track 313 (bitstream of the subpicture 11 stored in each VVC subpicture track 313) using the read VVC merge base track 312 to obtain the requested partial area.
  • 121 bitstreams are generated.
  • the generation unit 153 then generates a new VVC track and stores the bitstream of the partial area 121 thereof. Then, the generation unit 153 supplies the VVC track to the communication unit 151 and causes it to be transmitted to the client device 113 .
  • the distribution server 112 can generate the bitstream of the partial area 121 without decoding the bitstream of the picture 10 (that is, easily). Therefore, an increase in the load on distribution server 112 can be suppressed.
  • the process of merging the subpictures 11 to generate the bitstream of the partial area 121 may be performed in the client device 113, but by performing this merging process in the distribution server 112, the client device 113 An increase in processing load can be further suppressed.
  • a partial Area file generation information may be stored (method 2-1).
  • the partial area file generation information may include information indicating that the distribution server 112 can apply the method 2 described above to generate a bitstream of the partial area.
  • the preprocessing unit 142 of the file generation device 111 may generate partial area file generation information including information indicating that the bitstream of the partial area 121 can be generated in the distribution server 112 .
  • the file processing unit 182 of the client device 113 that analyzes the MPD file can grasp that the distribution server 112 can generate the bitstream of the partial area 121 based on this description. .
  • the file acquisition unit 181 can request the distribution server 112 for a bitstream of an area including at least the cutout area 12 . In other words, the file acquisition unit 181 can make a request that the distribution server 112 can handle. Therefore, the distribution server 112 can more reliably perform processing according to the request from the client device 113 .
  • the type of metadata that can be processed by the distribution server 112 may be specified.
  • the preprocessing unit 142 of the file generation device 111 may generate partial area file generation information including information designating the type of information that the distribution server 112 can process.
  • the distribution server 112 processes the supplemental property (SupplementalProperty) of the adaptation set corresponding to the content file (VVC track) storing the bitstream of the entire picture 10 of the MPD file.
  • the clipping area 12 to be acquired may be specified by coordinates or the like (method 2-1-1).
  • the file acquisition unit 181 of the client device 113 may generate a request for a content file including parameters specifying the clipping area 12 to be acquired by coordinates or the like.
  • the generation unit 153 of the distribution server 112 identifies the sub-picture 11 including the clipping region 12 specified using the coordinates in the request for the content file, and extracts metadata (
  • a bitstream for the partial region 121 may be generated by selecting a VVC merge base track 312) and using the selected metadata to merge the bitstreams of the identified subpictures 11 (VVC subpicture track 313).
  • the file acquisition unit 181 of the client device 113 adds a URL parameter as described above in ⁇ Method 2-1-1> to the URL specifying the requested content file. .
  • the generation unit 153 of the distribution server 112 identifies the area specified by these parameters as the clipping area 12 requested by the client device 113 .
  • step S301 the generating unit 153 of the distribution server 112 uses the trif sample group and sulm sample group of the VVC subpicture track 313 to generate the subpicture 11 including the requested clipping area 12 (that is, the bitstream of the subpicture 11). Identify the VVC subpicture track 313) that stores the .
  • step S 302 the generation unit 153 selects metadata (VVC merge base track 312 ) necessary for merging the bitstream (VVC subpicture track 313 ) of the identified subpicture 11 and reads it from the storage unit 152 .
  • step S303 the generating unit 153 reconstructs the sample using the read VVC merge base track 312 and the identified VVC subpicture track 313, and generates a bitstream of the partial area 121 including the cutout area 12. That is, the generating unit 153 generates the bitstream of the partial area 121 by merging the bitstreams of the identified subpictures 11 based on the VVC merge base track 312 . The generating unit 153 then generates a new content file (VVC track) and stores the bitstream of the partial area 121 therein.
  • VVC track new content file
  • the client device 113 can more directly specify the clipping region 12 to be acquired, so that processing such as interpretation of other information is not required, and the request for the content file can be made more easily. It can be carried out.
  • the distribution server 112 that receives the request is more directly designated the clipping area 12, the requested clipping area 12 can be specified more reliably.
  • the distribution server 112 may distribute not only the bitstream of the partial area 121 but also the bitstream of the cutout area 12 .
  • the distribution server 112 can generate a bitstream of the clipped region 12 by decoding the bitstream of the picture 10, extracting the clipped region 12, and encoding the clipped region 12, and can distribute the bitstream of the clipped region 12. You may make it possible.
  • the bitstream of the clipping area 12 should be given priority over the bitstream of the partial area 121 .
  • the file acquisition unit 181 of the client device 113 may add "priority_size_req" to the URL parameter. Then, if the "priority_size_req" is added to the request, the generation unit 153 of the distribution server 112 may generate a bitstream of the cutout area 12 instead of generating a bitstream of the partial area 121 depending on the situation.
  • the generation unit 153 when the processing load of the distribution server 112 is sufficient, the generation unit 153 generates a bitstream of the requested cutout region 12, and when the load is not sufficient, the partial region including the requested cutout region 12 is generated. 121 bitstreams may be generated.
  • the generation unit 153 does not generate the clipped region 12, and only generates the bitstream of the partial region 121.
  • the file acquisition unit 181 of the client device 113 may generate a request for a content file that includes a parameter specifying that priority is given to delivering the bitstream of the cutout area 12 to be acquired.
  • the generation unit 153 when a sub-picture bitstream is requested, the generation unit 153 generates a partial area bitstream, and when a cut-out area bitstream is requested, decodes the picture bitstream, and decodes the picture.
  • a bitstream of the cut-out region may be generated by cutting out the cut-out region from and encoding the cut-out region.
  • the clipping area 12 to be acquired may be specified using a parameter related to the display area (Viewport) in the request for the content file.
  • Parameters related to the display area are arbitrary, as in Method 1-1-1.
  • the file acquisition unit 181 of the client device 113 may generate a request for a content file that specifies the clipping area 12 to be acquired and includes parameters related to the display area (Viewport).
  • the generating unit 153 of the distribution server 112 identifies the sub-picture 11 including the clipping region 12 specified using the information about the display region in the request for the content file, and merges the identified sub-picture 11. Metadata may be selected and the selected metadata may be used to merge the bitstreams of the identified subpictures 11 to generate the bitstream of the partial region 121 composed of the merged subpictures 11 .
  • Method 2-1-2 When the above-described method 2-1 is applied, as shown in the fifth row from the top of the table shown in FIG. A group id of a region including a necessary part may be specified from the trif sample group in the VVC track (method 2-1-2). As in method 1-1-2, group_id indicating the region containing the required part is added as a URL parameter.
  • the file acquisition unit 181 of the client device 113 may generate a request for a content file including identification information (group_id) that identifies the region of the trif sample group.
  • the generation unit 153 of the distribution server 112 selects metadata (VVC merge base track 312) that can merge the region specified using the identification information (group_id) in the request, and uses the selected metadata.
  • a bitstream of the subregion 121 may be generated by merging the regions (VVC subpicture track 313).
  • step S321 the generation unit 153 of the distribution server 112 selects the content file (VVC subpicture track 313) storing the bitstream of the region information of the group_id of the URL parameter included in the content file request, and reads it from the storage unit 152. That is, the subpicture 11 is selected by the region indicated by group_id, and the VVC subpicture track 313 storing the bitstream is selected.
  • step S322 the generation unit 153 of the distribution server 112 selects metadata (VVC merge base track 312) that can merge the selected subpicture 11 (VVC subpicture track 313), and reads it from the storage unit 152.
  • step S ⁇ b>323 the generation unit 153 reconstructs samples using the read VVC merge base track 312 and VVC subpicture track 313 to generate a bitstream of the partial area 121 including the cutout area 12 . That is, the generation unit 153 generates the bitstream of the partial area 121 by merging the bitstreams of the selected subpictures 11 based on the VVC merge base track 312 .
  • the generating unit 153 then generates a new content file (VVC track) and stores the bitstream of the partial area 121 therein.
  • the distribution server 112 can suppress an increase in processing load.
  • subpic_id of the spid sample group may be used to specify the region containing the necessary part.
  • subpic_id is identification information for identifying the subpicture 11 .
  • the file acquisition unit 181 of the client device 113 may generate a request for a content file containing identification information (subpic_id) indicating the subpicture 11 .
  • the generation unit 153 of the distribution server 112 selects metadata (VVC merge base track 312) that can merge the subpicture 11 (VVC subpicture track 313) specified using the identification information (subpic_id) in the request, Using the selected metadata, the designated subpicture 11 (VVC subpicture track 313) may be merged to generate the bitstream of the partial area 121.
  • regionInfo may be added (Method 2-1-3).
  • region id region and its identification information
  • region id region including the clipping area 12 is specified using the identification information in the content file request.
  • the preprocessing unit 142 of the file generation device 111 generates a description as shown in FIG. 16 as partial area file generation information, and the file generation unit 144 converts the description into a control file ( MPD file).
  • the file acquisition unit 181 of the client device 113 may generate a request for a content file including identification information (region id) defined in a control file (MPD file) that controls delivery of the content file. That is, the file acquisition unit 181 may specify the region id of the region including the cutout region 12 in the request.
  • the generation unit 153 of the distribution server 112 generates a sub-region 121 that includes the region specified using the identification information (region id) defined in the control file (MPD file) that controls the distribution of the content file.
  • a bitstream of partial area 121 is generated. good too.
  • step S341 the generation unit 153 of the distribution server 112 selects the region (VVC subpicture track 313) indicated by the id of the URL parameter included in the content file request, and reads it from the storage unit 152.
  • step S ⁇ b>342 the generating unit 153 selects metadata (VVC merge base track 312 ) that can merge the selected subpicture 11 and reads it from the storage unit 152 .
  • step S343 the generation unit 153 reconstructs samples using the read VVC merge base track 312 and VVC subpicture track 313, and generates a bitstream of the partial area 121 including the cutout area 12.
  • the generating unit 153 generates the bitstream of the partial region 121 by merging the bitstream of the subpicture 11 indicated by region based on the VVC merge base track 312 .
  • the generating unit 153 then generates a new content file (VVC track) and stores the bitstream of the partial area 121 therein.
  • the client device 113 can more reliably specify the partial area 121 that the distribution server 112 can extract.
  • the MPD file describes an adaptation set for each combination of partial areas that can be acquired.
  • An adaptation set is defined for each combination of partial areas, for example, an adaptation set for partial areas A+B and an adaptation set for partial areas A+C. Therefore, when requesting a content file, the partial area to be requested is specified by the URL. No URL parameters are added.
  • the generation unit 153 of the distribution server 112 generates VVC track including all regions of regionInfo corresponding to the specified URL.
  • the generating unit 153 of the distribution server 112 generates sub-areas that form the partial area specified in the content file request, among the partial areas defined as the adaptation set in the control file (MPD file) that controls the distribution of the content file.
  • Metadata VVC merge base track 312 that allows picture 11 to be merged may be selected, subpicture 11 (VVC subpicture track 313) may be merged using the selected metadata, and a bitstream of partial area 121 may be generated. .
  • partial area file generation information may be stored in the VVC merge base track as shown at the bottom of the table shown in FIG. 20 (method 2-2).
  • the partial area file generation information may include information indicating that the distribution server 112 can apply the method 2 described above to generate a bitstream of the partial area.
  • the preprocessing unit 142 of the file generation device 111 may generate partial area file generation information including information indicating that the bitstream of the partial area 121 can be generated in the distribution server 112 .
  • the file processing unit 182 of the client device 113 that analyzes the MPD file is based on this description, and the distribution server 112 uses this metadata (VVC merge base track 312). It can be seen that a bitstream can be generated.
  • the file acquisition unit 181 can request the distribution server 112 for a bitstream of an area including at least the cutout area 12 .
  • the file acquisition unit 181 can make a request that the distribution server 112 can handle. Therefore, the distribution server 112 can more reliably perform processing according to the request from the client device 113 .
  • the file acquisition unit 181 of the client device 113 specifies the requested partial area 121 by specifying the metadata (VVC merge base track 312) used by the distribution server 112 in the content file request.
  • the file acquisition unit 181 of the client device 113 specifies metadata (VVC merge base track 312) used by the distribution server 112 using a URL as described below. Add a URL parameter like the one below.
  • http://hoge.com/vvc_merge_base_track.mp4 shows an example of a URL that specifies metadata (VVC merge base track 312) for merging subpictures.
  • “ServerMerge” is a URL parameter requesting merging of subpictures 11 .
  • the generation unit 153 of the distribution server 112 merges the subpicture 11 using the metadata (VVC merge base track 312) specified by the URL. For example, the generation unit 153 of the distribution server 112 merges the sub-picture 11 using the metadata (VVC merge base track 312) for merging the sub-picture 11 specified in the request for the content file.
  • a bitstream for region 121 may be generated.
  • step S361 the generation unit 153 of the distribution server 112 identifies the subpicture 11 (VVC subpicture track 313) to be used from the metadata (VVC merge base track 312) specified in the content file request.
  • step S ⁇ b>362 the generation unit 153 reconstructs samples using the identified subpicture 11 (VVC subpicture track 313 ) and generates a bitstream of the partial area 121 including the cutout area 12 . That is, the generation unit 153 extracts the bitstream of the partial area 121 by merging the subpictures 11 using the VVC merge base track 312 specified in the content file request.
  • the generating unit 153 then generates a new content file (VVC track) and stores the bitstream of the partial area 121 therein. That is, the generator 153 merges the specified subpicture 11 (VVC subpicture track 313).
  • the track_id may be specified in the content file request.
  • VVC extraction base track 163 may be able to select mergeable tracks.
  • "http://hoge.com/vvc_merge_base_track.mp4" is an example of a URL specifying the requested content file.
  • “ServerMerge” is a URL parameter that requests the distribution server 112 to perform merge processing.
  • adding the URL parameter (ServerMerge) described above in method 2-2 can be omitted.
  • the track_id may be specified in the content file request.
  • Partial Area Information> Information indicating the position in the original picture 10 of the partial area 121 distributed from the distribution server 112 to the client device 113 may be stored in the MPD file as partial area information. For example, as shown in the second row from the top of the table in FIG. 27, information indicating the position in the picture 10 of the sub-picture 11 forming the partial area 121 may be stored in the MPD file (Method 3). .
  • the distribution server 112 may apply method 1 described above to generate a VVC track by extracting the partial area 121 from the picture 10 (extraction process), or apply method 2 described above. , and subpictures 11 may be merged to generate a VVC track. That is, Method 3 can be applied to both Method 1 (including the methods described with reference to FIG. 4) and Method 2 (including the methods described with reference to FIG. 20).
  • the preprocessing unit 142 (partial region file generation information generating unit) of the file generation device 111 further generates partial region information indicating the position of the sub-picture 11 forming the partial region 121 in the picture 10 of the moving image. good too. Then, the file generation unit 144 may store the partial area information in the MPD file (control file).
  • the display information generation unit 184 (cutout unit) of the client device 113 cuts out the cutout region 12 from the partial region 121 distributed from the distribution server 112 based on the partial region information included in the MPD file (control file). , to generate display information (display image, etc.).
  • the positional relationship of each sub-picture in the partial region 121 is the same as that of the original picture. 10 may differ from each other. Since the clipped region 12 is formed according to the positional relationship in the original picture 10 , when the positional relationships are different from each other, if the display information generation unit 184 of the client device 113 follows the positional relationship in the partial region 121 , the clipped region 12 could not be cut out correctly.
  • the display information generation unit 184 of the client device 113 can reproduce the original picture of the sub-picture 11 forming the partial area 121 based on the partial area information. 10 can be grasped. Therefore, the display information generator 184 can correctly cut out the cutout region 12 regardless of the positional relationship of the subpicture 11 in the partial region 121 . In other words, the display information generation unit 184 can correctly cut out the cutout region 12 regardless of the positional relationship of the subpictures forming the partial region in the original picture 10 .
  • the partial area information may include information indicating the position in the picture 10 of the top edge of the sub-picture 11 .
  • the partial area information may also include information indicating the position of the left edge of the sub-picture 11 in the picture 10 .
  • the partial area information may further include information indicating the size of the sub-picture 11 .
  • the partial area information may further include information indicating the size of the sub-picture 11 in the vertical direction.
  • the partial area information may further include information indicating the horizontal size of the sub-picture 11 .
  • the partial area information may further include information indicating the position of the sub-picture 11 in the partial area 121 .
  • the partial area information may further include information indicating the position of the top edge of the sub-picture 11 in the partial area 121 .
  • the partial area information may further include information indicating the position of the left edge of the sub-picture 11 in the partial area 121 .
  • Method 3 When Method 3 is applied, as shown in the third row from the top of the table shown in FIG. may be shown. Also, the partial area information may further include information indicating the position in the partial area of the sub-pictures forming the partial area 121 (method 3-1).
  • the file generation unit 144 of the file generation device 111 may store the partial area information of each candidate for the partial area 121 in different adaptation sets of the MPD file.
  • FIG. 28 is a diagram showing a description example of part of the MPD file in that case.
  • the picture 10 is composed of a plurality of sub-pictures 11, there are a plurality of possible combinations of the sub-pictures 11 as the partial regions 121 (including the case where a single sub-picture 11 is the partial region 121).
  • Each combination is used as a candidate for the partial area 121, and the MPD file stores partial area information for each candidate. That is, in the MPD file, the position of each subpicture 11 in the partial area 121 is indicated for each combination of subpictures 11 that can be selected as the partial area 121 .
  • a description example shown inside a rectangular frame 401 in FIG. 28 shows a description example of partial area information of one candidate.
  • the description example shown inside the square frame 402 shows the description example of other candidate partial area information.
  • Method 3-1 is applied. Therefore, the partial area information shown inside the rectangular frame 401 and the partial area information shown inside the rectangular frame 402 are stored in different adaptation sets. That is, in the case of this description example, the partial area information of each candidate for the partial area 121 is stored in different adaptation sets of the MPD file.
  • the value of region_top is the position (vertical coordinate (y coordinate) ).
  • the value of region_left indicates the position (horizontal coordinate (x coordinate)) of the left edge of the sub-picture 11 in the picture 10 .
  • the value of region_height indicates the size (height) of the sub-picture 11 in the picture 10 in the vertical direction.
  • the value of region_width indicates the horizontal size (width) of the sub-picture 11 in the picture 10 .
  • the value of packed_top indicates the position (vertical coordinate (y coordinate)) in the partial area 121 of the top end of the subpicture 11 .
  • the value of packed_left indicates the position (horizontal coordinate (x coordinate)) in the leftmost partial area 121 of the subpicture 11 .
  • the value of packed_height indicates the vertical size (height) of the partial area 121 of the subpicture 11 .
  • the value of packed_width indicates the horizontal size (width) of the partial area 121 of the subpicture 11 .
  • a picture 410 is composed of subpictures 411-1 to 411-6.
  • the subpictures 411-1 to 411-6 are referred to as subpictures 411 when there is no need to distinguish them from each other.
  • the size of each subpicture 411 is 512 height ⁇ 512 width.
  • region 421 composed of subpictures 411-1 and 411-2 and a portion composed of subpictures 411-1 and 411-4 It is shown that region 422 can be generated. That is, the partial area 421 and the partial area 422 are set as candidates, and the partial area information is shown for each of them.
  • this candidate (partial region 421) is composed of sub-pictures 411-1 and 411-2 arranged side by side in the horizontal direction, as shown in the upper right of FIG. .
  • this candidate (partial region 422) is composed of subpictures 411-1 and 411-4 arranged side by side in the horizontal direction, as shown in the upper right of FIG. .
  • the client device 113 does not know how to cut out the cutout region 12 from the partial region 121 (it is difficult to cut out the cutout region 12 correctly).
  • the client device 113 requests the distribution server 112 to distribute the partial area 121 selected from the above candidates. That is, the partial area information indicates the position in the picture 10 of the sub-picture 11 forming the partial area 121 supplied from the distribution server 112 to the client device 113 .
  • the client device 113 can grasp the position in the picture 10 of each sub-picture 11 forming the partial area 121 by referring to this partial area information. For example, in the case of FIG. 28, the client device 113 determines, based on this partial area information, that the partial area 121 is the sub-picture 11 (that is, the sub-picture 411-1 and the sub-picture 411-2 in FIG. 29) arranged horizontally in the picture 10. ) or vertically aligned subpictures 11 (that is, subpictures 411-1 and 411-4 in FIG. 29).
  • the client device 113 can correctly cut out the cut-out region from the partial region 121 even when the cut-out region relates to a plurality of sub-pictures 11 of the picture 10 .
  • the file generation device 111 generates the partial region information as described above, stores it in the MPD file, and provides it to the client device 113. It is possible to correctly extract the clipping region from .
  • this method 3-1 is applied when any of the above-described methods 1-1-2, 1-1-3, 2-1-2, and 2-1-3 is applied. can do.
  • the input unit 141 of the file generation device 111 acquires content data including moving images in step S401.
  • step S402 the preprocessing unit 142 generates partial area file generation information for generating a file for storing the bitstream of the partial area 121 of the picture 10 based on the moving image data. Also, the preprocessing unit 142 generates metadata for generating a bitstream of a partial area composed of sub-pictures based on the moving image data. Furthermore, the preprocessing unit 142 applies the method 3-1 described above to generate partial region information indicating the position in the picture 10 of the sub-picture 11 forming the partial region 121 .
  • step S403 the file generation unit 144 generates an MPD file, which is a control file for controlling distribution of content files, and stores the partial area file generation information generated in step S402 in the MPD file.
  • the file generation unit 144 also stores the partial area information generated in step S402 in the MPD file by applying method 3-1 described above.
  • the file generation unit 144 stores the partial area information of each candidate for the partial area 121 in different adaptation sets of the MPD file.
  • the file generation unit 144 also generates a metadata file and stores the metadata generated in step S402 in the metadata file.
  • step S404 to step S407 is executed in the same manner as each process from step S104 to step S107 in FIG. Moreover, each process of step S411 and step S412 is performed similarly to each process of step S111 and step S112 of FIG.
  • ⁇ Flow of content distribution processing> Refer to the flowchart of FIG. 31 for an example of the flow of processing (content distribution processing) in which the distribution server 112 of the content distribution system 100 distributes content to the client device 113 when method 3-1 described above is applied. to explain.
  • steps S421 to S424 are executed in the distribution server 112 in the same manner as the processing of steps S121 to S124 in FIG. Further, in the client device 113, the processes of steps S431 to S433 are executed in the same manner as the processes of steps S131 to S133 in FIG.
  • step S434 the file processing unit 182 extracts the bitstream of the partial area 121 from the received content file.
  • the decoding unit 183 decodes the bitstream of the partial area 121 and generates image data of the partial area 121 .
  • the display information generation unit 184 applies the method 3-1 described above to cut out the cutout region 12 from the partial region 121 based on the partial region information stored in the MPD file.
  • step S435 the display unit 185 displays the cutout area 12 as a display area.
  • the file generation device 111 can generate partial area information, store it in an MPD file, and provide the MPD file to the client device 113 .
  • the client device 113 can obtain and store the MPD file. That is, the file generation device 111 can provide partial area information to the client device 113 .
  • the client device 113 can receive and decode the bitstream of the partial area 121 distributed from the distribution server 112 . Then, the client device 113 can cut out the cutout region 12 from the partial region based on the partial region information stored in the stored MPD file.
  • the client device 113 can correctly clip out the clipping region 12 based on the partial region information.
  • the position and size in picture 10 of subpicture 11 that constitutes each candidate for partial area 121 is determined using group_id of trif sample group. may be shown. In other words, this group_id may be used instead of parameters such as region_top, region_left, region_height, region_width. Also, the position and size in the picture 10 of the subpicture 11 that constitutes each candidate for the partial region 121 may be indicated using the subpic_id of the spid sample group. In other words, this subpic_id may be used instead of parameters such as region_top, region_left, region_height, region_width.
  • the partial area information may further include information indicating the position in the partial area 121 of the sub-picture 11 forming the partial area 121 (method 3-2).
  • the file generation unit 144 of the file generation device 111 may store the partial area information of each candidate for the partial area 121 in one adaptation set of the MPD file.
  • FIG. 32 is a diagram showing a description example of part of the MPD file in that case.
  • a description example shown inside the square frame 451 indicates a description example of one candidate partial area information.
  • the description example shown inside the square frame 452 shows the description example of other candidate partial area information.
  • Method 3-2 is applied in the description example of FIG. Therefore, the partial area information shown inside the rectangular frame 451 and the partial area information shown inside the rectangular frame 452 are stored in the same adaptation set. That is, in the case of this description example, the partial area information of each candidate for the partial area 121 is stored in one adaptation set of the MPD file.
  • a picture 410 is composed of six subpictures 411 (subpictures 411-1 to 411-6), and each subpicture 411 has a size of 512 (height) ⁇ 512 (width).
  • the sub-pictures 411-411-1 and 411-421-1 are arranged in the horizontal direction in the same way as in the description example shown inside the rectangular frame 401 in FIG. 1 and a sub-picture 411-2 (upper right example in FIG. 29).
  • the partial regions 422 are subpictures arranged horizontally in the same manner as in the description example shown inside the rectangular frame 402 in FIG. 411-1 and sub-picture 411-4 (lower right example in FIG. 29).
  • the client device 113 selects any combination of packedpictures and requests it. At that time, the client device 113 may make the request as in Method 1-1-3 or Method 2-1-3. In this case the packed_id may be used in the request.
  • the client device 113 refers to this partial area information to determine the position of each sub-picture 11 forming the partial area 121 in the picture 10, as in the case of applying method 3-1. you can figure out if there is. Therefore, (the display information generating unit 184 of) the client device 113 can correctly cut out the cutout region from the partial region 121 even when the cutout region relates to a plurality of subpictures 11 of the picture 10 .
  • the file generation device 111 generates the partial region information as described above, stores it in the MPD file, and provides it to the client device 113. It is possible to correctly extract the clipping region from .
  • partial area information can be stored in one adaptation set even when the partial area 121 changes along the time axis.
  • this method 3-2 is applied when any of the above-described methods 1-1-2, 1-1-3, 2-1-2, and 2-1-3 is applied. can do.
  • the input unit 141 of the file generation device 111 acquires content data including moving images in step S451.
  • step S452 the preprocessing unit 142 generates partial area file generation information for generating a file for storing the bitstream of the partial area 121 of the picture 10 based on the moving image data. Also, the preprocessing unit 142 generates metadata for generating a bitstream of a partial area composed of sub-pictures based on the moving image data. Further, the preprocessing unit 142 applies the method 3-2 described above to generate partial region information indicating the position in the picture 10 of the sub-picture 11 forming the partial region 121 .
  • step S453 the file generation unit 144 generates an MPD file, which is a control file for controlling distribution of content files, and stores the partial area file generation information generated in step S452 in the MPD file.
  • the file generation unit 144 also stores the partial area information generated in step S452 in the MPD file by applying method 3-2 described above. At that time, the file generation unit 144 stores the partial area information of each candidate of the partial area 121 in one adaptation set of the MPD file.
  • the file generation unit 144 also generates a metadata file and stores the metadata generated in step S452 in the metadata file.
  • step S454 to step S457 is executed in the same manner as each process from step S104 to step S107 in FIG. Moreover, each process of step S461 and step S462 is performed similarly to each process of step S111 and step S112 of FIG.
  • the file generation device 111 can generate partial area information, store it in an MPD file, and provide the MPD file to the client device 113 .
  • the client device 113 can obtain and store the MPD file. That is, the file generation device 111 can provide partial area information to the client device 113 .
  • the client device 113 can receive and decode the bitstream of the partial area 121 distributed from the distribution server 112 . Then, the client device 113 can cut out the cutout region 12 from the partial region based on the partial region information stored in the stored MPD file.
  • the client device 113 can correctly clip out the clipping region 12 based on the partial region information.
  • the position and size in picture 10 of subpicture 11 that constitutes each candidate for partial area 121 is determined using group_id of trif sample group. may be shown. In other words, this group_id may be used instead of parameters such as region_top, region_left, region_height, region_width. Also, the position and size in the picture 10 of the subpicture 11 that constitutes each candidate for the partial region 121 may be indicated using the subpic_id of the spid sample group. In other words, this subpic_id may be used instead of parameters such as region_top, region_left, region_height, region_width.
  • Method 3 When method 3 is applied, as shown in the fifth row from the top of the table shown in FIG. For example, it may be stored in a movie box sample entry in an MP4 file). Then, the partial area information stored in the control file (MPD file) is linked to the link information (information stored in the content file indicating the position of the sub-picture 11 forming the partial area 121 in the partial area 121). information) (Method 3-3).
  • the file generation unit 144 of the file generation device 111 may further generate a content file and store information indicating the position of the sub-picture 11 in the partial area 121 in the content file.
  • the file generator 144 may store information indicating the position of the sub-picture 11 in the partial area 121 in the movie box sample entry of the content file (MP4 file).
  • the partial area information may further include link information to information indicating the position of the sub-picture 11 in the partial area 121 .
  • FIG. 34 is a diagram showing a description example of part of the MPD file in that case.
  • the partial area information is stored inside the square frames 501 and 502 .
  • information region_top, region_left, region_height, region_width
  • the information indicated by the values of these parameters is the same as in the description example shown in FIG.
  • link information to information (information indicating the position of the sub-picture 11 in the partial area 121) stored in the content file (sample entry of the movie box of the MP4 file) is stored.
  • a Region-wise packing box defined by OMAF in an MP4 file may be stored below the sample entry below the Movie box ('moov').
  • the client device 113 configures the partial area 121 by referring to the partial area information as in the case of applying the method 3-1.
  • the position of each sub-picture 11 in the picture 10 can be grasped. Therefore, (the display information generating unit 184 of) the client device 113 can correctly cut out the cutout region 12 from the partial region 121 even when the cutout region 12 relates to a plurality of subpictures 11 of the picture 10 .
  • the file generation device 111 generates the partial region information as described above, stores it in the MPD file, and provides it to the client device 113.
  • the clipping area 12 can be correctly clipped from.
  • the input unit 141 of the file generation device 111 acquires content data including moving images in step S501.
  • step S502 the preprocessing unit 142 generates partial area file generation information for generating a file for storing the bitstream of the partial area 121 of the picture 10 based on the moving image data. Also, the preprocessing unit 142 generates metadata for generating a bitstream of a partial area composed of sub-pictures based on the moving image data. Furthermore, the preprocessing unit 142 applies the method 3-3 described above to generate partial region information indicating the position in the picture 10 of the sub-picture 11 forming the partial region 121 .
  • step S503 the file generation unit 144 generates an MPD file, which is a control file for controlling distribution of content files, and stores the partial area file generation information generated in step S502 in the MPD file.
  • File generation unit 144 also stores the partial area information generated in step S502 in the MPD file by applying method 3-3 described above.
  • This partial area information includes information indicating the position in the picture 10 of the sub-picture 11 forming the candidate for the partial area 121, as in the description example shown in FIG.
  • This partial area information may also include link information to information indicating the position of the sub-picture 11 in the partial area 121 (Region-wise packing box) stored in the content file.
  • the file generation unit 144 generates a metadata file and stores the metadata generated in step S502 in the metadata file.
  • step S504 the encoding unit 143 encodes the content data acquired in step S501 to generate a bitstream.
  • the encoding unit 143 encodes moving image data using VVC to generate a bitstream of picture 10 .
  • step S505 the file generation unit 144 generates a content file and stores the bitstream of the content generated in step S504.
  • the file generator 144 stores the bitstream of picture 10 in the content file (VVC track).
  • the file generation unit 144 may apply the method 3-3 described above to store information indicating the position of the sub-picture 11 in the partial area 121 in the content file.
  • the file generation unit 144 generates an MP4 file as a content file, and adds a Region-wise packing box defined by OMAF to the MP4 file as a sample entry (sample entry).
  • steps S506 and S507 are executed in the same manner as the processes of steps S106 and S107 in FIG. Moreover, each process of step S511 and step S512 is performed similarly to each process of step S111 and step S112 of FIG.
  • the file generation device 111 can generate partial area information, store it in an MPD file, and provide the MPD file to the client device 113 .
  • the client device 113 can obtain and store the MPD file. That is, the file generation device 111 can provide partial area information to the client device 113 .
  • the client device 113 can receive and decode the bitstream of the partial area 121 distributed from the distribution server 112 . Then, the client device 113 can cut out the cutout region 12 from the partial region 121 based on the partial region information stored in the stored MPD file.
  • the client device 113 can correctly clip out the clipping region 12 based on the partial region information.
  • the position and size in picture 10 of sub-pictures 11 that make up each candidate for partial region 121 are determined using group_id of trif sample group. may be shown. In other words, this group_id may be used instead of parameters such as region_top, region_left, region_height, region_width. Also, the position and size in the picture 10 of the subpicture 11 that constitutes each candidate for the partial region 121 may be indicated using the subpic_id of the spid sample group. In other words, this subpic_id may be used instead of parameters such as region_top, region_left, region_height, region_width.
  • Multiple Sample Entries may be stored, and different Region-wise packing boxes may be stored in advance. By doing so, it is possible to cope with the case where the partial area 121 changes in the time direction.
  • Method 3-4> When Method 3 is applied, as shown in the bottom of the table shown in FIG. 27, the position (or size) of the sub-picture 11 forming the partial area 121 in the picture 10 and the position in the partial area 121 ( and size) may be stored in the content file (VVC track).
  • the partial area information stored in the control file (MPD file) may include the link information (method 3-4).
  • This sample group can be stored in Movie box ('moov') and Movie fragment box ('moof'). Also, in the sample group, meta information can be added to each sample. For this reason, dynamic change for each time is possible.
  • the file generation unit 144 of the file generation device 111 may further generate a content file and store the partial area information as a sample group in the content file.
  • the file generation unit 144 stores, as a sample group, information indicating the position of each sub-picture 11 in the picture 10 forming the partial area 121 in the movie box and movie fragment box of the content file (MP4 file). good too.
  • the partial area information stored in the MPD file may further include link information to the sample group.
  • FIG. 36 is a diagram showing a description example of part of the MPD file in that case.
  • information region_top, region_left, region_height, region_width, etc.
  • link information to the sample group stored in the content file is stored in the MPD file.
  • the MP4 file contains a sample group of partial region information (e.g. sub-picture 11, picture 10 A sample group indicating the correspondence between the position (or size) and the position (or size) in the partial area 121 is stored.
  • FIG. 37 shows an example of the syntax. As shown in Figure 37, in this case the visual sample group entry may store RegionWisePackingStruct(). A syntax example of RegionWisePackingStruct( ) is shown in FIG.
  • the client device 113 constructs the partial area 121 by referring to the partial area information as in the case of applying the method 3-1.
  • the position of each sub-picture 11 in the picture 10 can be grasped. Therefore, (the display information generating unit 184 of) the client device 113 can correctly cut out the cutout region 12 from the partial region 121 even when the cutout region 12 relates to a plurality of subpictures 11 of the picture 10 .
  • the file generation device 111 generates the partial region information as described above, stores it in the MPD file, and provides it to the client device 113.
  • the clipping area 12 can be correctly clipped from.
  • partial area information can be stored in one adaptation set even when the partial area 121 changes along the time axis.
  • this method 3-4 is applied when any of the above-described methods 1-1-1 to 1-1-3 and methods 2-1-1 to 2-1-3 is applied. can be applied.
  • the input unit 141 of the file generation device 111 acquires content data including moving images in step S551.
  • step S552 the preprocessing unit 142 generates partial area file generation information for generating a file for storing the bitstream of the partial area 121 of the picture 10 based on the moving image data. Also, the preprocessing unit 142 generates metadata for generating a bitstream of a partial area composed of sub-pictures based on the moving image data. Furthermore, the preprocessing unit 142 generates partial area information by applying the method 3-4 described above.
  • step S553 the file generation unit 144 generates an MPD file, which is a control file for controlling distribution of content files, and stores the partial area file generation information generated in step S552 in the MPD file.
  • the file generation unit 144 also stores the partial area information generated in step S552 in the MPD file by applying method 3-4 described above.
  • This partial area information includes information indicating the position in the picture 10 of the sub-picture 11 forming the candidate for the partial area 121 .
  • the partial area information also includes link information to sample groups stored in the content file, as will be described later.
  • the file generation unit 144 generates a metadata file and stores the metadata generated in step S552 in the metadata file.
  • step S554 the encoding unit 143 encodes the content data acquired in step S551 to generate a bitstream.
  • the encoding unit 143 encodes moving image data using VVC to generate a bitstream of picture 10 .
  • step S555 the file generation unit 144 generates a content file and stores the bitstream of the content generated in step S554.
  • the file generator 144 stores the bitstream of picture 10 in the content file (VVC track).
  • the file generation unit 144 applies the method 3-4 described above to determine the position (and size) of the sub-picture 11 forming the partial area 121 in the picture 10 and the position (and size) in the partial area 121.
  • a sample group showing correspondence with is stored in the content file.
  • the file generation unit 144 generates an MP4 file as a content file, and puts the sample Stores groups.
  • steps S556 and S557 are executed in the same manner as the processes of steps S106 and S107 in FIG. Moreover, each process of step S561 and step S562 is performed similarly to each process of step S111 and step S112 of FIG.
  • the file generation device 111 can generate partial area information, store it in an MPD file, and provide the MPD file to the client device 113 .
  • the client device 113 can obtain and store the MPD file. That is, the file generation device 111 can provide partial area information to the client device 113 .
  • the client device 113 can receive and decode the bitstream of the partial area 121 distributed from the distribution server 112 . Then, the client device 113 can cut out the cutout region 12 from the partial region 121 based on the partial region information stored in the stored MPD file.
  • the client device 113 can correctly clip out the clipping region 12 based on the partial region information.
  • RegionWisePackingStruct may be stored in the SEI message of VVC. In that case, to parse the sample, the client device 113 parses the structure of the VVC stream.
  • the series of processes described above can be executed by hardware or by software.
  • a program that constitutes the software is installed in the computer.
  • the computer includes, for example, a computer built into dedicated hardware and a general-purpose personal computer capable of executing various functions by installing various programs.
  • FIG. 40 is a block diagram showing an example of the hardware configuration of a computer that executes the series of processes described above by a program.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • An input/output interface 910 is also connected to the bus 904 .
  • An input unit 911 , an output unit 912 , a storage unit 913 , a communication unit 914 and a drive 915 are connected to the input/output interface 910 .
  • the input unit 911 consists of, for example, a keyboard, mouse, microphone, touch panel, input terminal, and the like.
  • the output unit 912 includes, for example, a display, a speaker, an output terminal, and the like.
  • the storage unit 913 is composed of, for example, a hard disk, a RAM disk, a nonvolatile memory, or the like.
  • the communication unit 914 is composed of, for example, a network interface.
  • Drive 915 drives removable media 921 such as a magnetic disk, optical disk, magneto-optical disk, or semiconductor memory.
  • the CPU 901 loads, for example, a program stored in the storage unit 913 into the RAM 903 via the input/output interface 910 and the bus 904, and executes the above-described series of programs. process is executed.
  • the RAM 903 also appropriately stores data necessary for the CPU 901 to execute various processes.
  • a program executed by a computer can be applied by being recorded on removable media 921 such as package media, for example.
  • the program can be installed in the storage unit 913 via the input/output interface 910 by loading the removable medium 921 into the drive 915 .
  • This program can also be provided via wired or wireless transmission media such as local area networks, the Internet, and digital satellite broadcasting.
  • the program can be received by the communication unit 914 and installed in the storage unit 913 .
  • this program can be installed in the ROM 902 or the storage unit 913 in advance.
  • the present technology can be applied to transmitters and receivers (for example, television receivers and mobile phones) in cable broadcasting such as satellite broadcasting, cable TV, distribution on the Internet, and distribution to terminals by cellular communication, or It can be applied to various electronic devices such as devices (for example, hard disk recorders and cameras) that record images on media such as optical disks, magnetic disks, and flash memories, and reproduce images from these storage media.
  • transmitters and receivers for example, television receivers and mobile phones
  • cable broadcasting such as satellite broadcasting, cable TV, distribution on the Internet, and distribution to terminals by cellular communication
  • various electronic devices such as devices (for example, hard disk recorders and cameras) that record images on media such as optical disks, magnetic disks, and flash memories, and reproduce images from these storage media.
  • the present technology includes a processor (e.g., video processor) as a system LSI (Large Scale Integration), etc., a module (e.g., video module) using a plurality of processors, etc., a unit (e.g., video unit) using a plurality of modules, etc.
  • a processor e.g., video processor
  • LSI Large Scale Integration
  • module e.g., video module
  • a unit e.g., video unit
  • it can be implemented as a part of the configuration of the device, such as a set (for example, a video set) in which other functions are added to the unit.
  • the present technology can also be applied to a network system configured by a plurality of devices.
  • the present technology may be implemented as cloud computing in which a plurality of devices share and jointly process via a network.
  • this technology is implemented in cloud services that provide image (moving image) services to arbitrary terminals such as computers, AV (Audio Visual) equipment, portable information processing terminals, and IoT (Internet of Things) devices. You may make it
  • a system means a set of multiple components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and a single device housing a plurality of modules in one housing, are both systems. .
  • Systems, devices, processing units, etc. to which this technology is applied can be used in any field, such as transportation, medical care, crime prevention, agriculture, livestock industry, mining, beauty, factories, home appliances, weather, and nature monitoring. . Moreover, its use is arbitrary.
  • this technology can be applied to systems and devices used to provide viewing content. Further, for example, the present technology can also be applied to systems and devices used for traffic, such as traffic condition supervision and automatic driving control. Further, for example, the technology can be applied to systems and devices that serve security purposes. Also, for example, the present technology can be applied to systems and devices used for automatic control of machines and the like. Furthermore, for example, the technology can be applied to systems and devices used in agriculture and animal husbandry. The present technology can also be applied to systems and devices that monitor natural conditions such as volcanoes, forests, oceans, and wildlife. Further, for example, the technology can be applied to systems and devices used for sports.
  • “flag” is information for identifying a plurality of states, not only information used for identifying two states of true (1) or false (0), Information that can identify the state is also included. Therefore, the value that this "flag” can take may be, for example, two values of 1/0, or three or more values. That is, the number of bits constituting this "flag” is arbitrary, and may be 1 bit or multiple bits.
  • the identification information (including the flag) is assumed not only to include the identification information in the bitstream, but also to include the difference information of the identification information with respect to certain reference information in the bitstream.
  • the "flag” and “identification information” include not only that information but also difference information with respect to reference information.
  • various types of information (metadata, etc.) related to the encoded data may be transmitted or recorded in any form as long as they are associated with the encoded data.
  • the term "associating" means, for example, making it possible to use (link) data of one side while processing the other data. That is, the data associated with each other may be collected as one piece of data, or may be individual pieces of data.
  • information associated with coded data (image) may be transmitted on a transmission path different from that of the coded data (image).
  • the information associated with the encoded data (image) may be recorded on a different recording medium (or another recording area of the same recording medium) than the encoded data (image). good.
  • this "association" may be a part of the data instead of the entire data. For example, an image and information corresponding to the image may be associated with each other in arbitrary units such as multiple frames, one frame, or a portion within a frame.
  • a configuration described as one device may be divided and configured as a plurality of devices (or processing units).
  • the configuration described above as a plurality of devices (or processing units) may be collectively configured as one device (or processing unit).
  • part of the configuration of one device (or processing unit) may be included in the configuration of another device (or other processing unit) as long as the configuration and operation of the system as a whole are substantially the same. .
  • the above-described program may be executed on any device.
  • the device should have the necessary functions (functional blocks, etc.) and be able to obtain the necessary information.
  • each step of one flowchart may be executed by one device, or may be executed by a plurality of devices.
  • the plurality of processes may be executed by one device, or may be shared by a plurality of devices.
  • a plurality of processes included in one step can also be executed as processes of a plurality of steps.
  • the processing described as multiple steps can also be collectively executed as one step.
  • the program executed by the computer may have the following characteristics.
  • the processing of the steps described in the program may be executed in chronological order according to the order described in this specification.
  • the processing of the step of writing the program may be executed in parallel.
  • the processing of the step of writing the program may be individually executed at necessary timing such as when called. That is, as long as there is no contradiction, the processing of each step may be executed in an order different from the order described above.
  • the processing of steps describing this program may be executed in parallel with the processing of other programs.
  • the processing of steps describing this program may be executed in combination with the processing of another program.
  • the present technology can also take the following configuration.
  • (1) comprising a server and a client device; the client device sending the bitstream of the partial area to the server based on partial area file generation information for generating a file storing the bitstream of the partial area of the picture, which is included in a control file for controlling distribution of the content file; request and the server generating a bitstream of the partial area composed of some of the sub-pictures included in the picture, based on the request from the client device; transmitting a bitstream of the partial region to the client device; the client device receiving a bitstream of the partial area transmitted from the server; An image processing system that cuts out a cut-out area from the bitstream of the partial area.
  • a generation unit that generates a bitstream of a partial area configured by some of the sub-pictures included in the picture based on a request from another device; and a transmission unit configured to transmit the bitstream of the partial area to the other device.
  • the generation unit extracts the sub-pictures forming the partial area from the bitstream of the picture based on the request, and generates a bitstream of the partial area.
  • the generating unit identifies a sub-picture containing the extraction region specified by using the coordinates in the request, selects metadata from which the identified sub-picture can be extracted, and uses the selected metadata.
  • the generating unit generating a bitstream of the partial region when a bitstream of the sub-picture is requested; (4), wherein when the bitstream of the clipped region is requested, the bitstream of the picture is decoded, and the bitstream of the clipped region is generated by clipping and encoding the clipped region from the picture.
  • Image processing device identifies a sub-picture including the cut-out region specified by using information about the display region in the request, selects metadata from which the identified sub-picture can be extracted, and extracts the selected metadata.
  • the generation unit selects metadata from which sub-pictures forming the partial area specified by the identification information in the request can be extracted, and uses the selected metadata to extract bits of the picture.
  • the image processing device according to (3), wherein the sub-picture is extracted from the stream, and a bitstream of the partial area configured by the extracted sub-picture is generated.
  • the generating unit selects metadata from which the sub-picture specified in the request can be extracted using the identification information, and extracts the sub-picture from the bitstream of the picture using the selected metadata.
  • the image processing device further extracting and generating a bitstream of the partial area composed of the extracted sub-pictures.
  • the generation unit selects metadata from which sub-pictures forming a specified partial area can be extracted using identification information defined in a control file that controls distribution of the content file, The image processing device according to (3), wherein the sub-picture is extracted from the bitstream of the picture using data to generate the bitstream of the partial area.
  • the generating unit generates metadata from which sub-pictures forming the partial area specified in the request can be extracted from the partial area defined as the adaptation set in the control file that controls distribution of the content file.
  • the image processing apparatus wherein the sub-picture is extracted from the bitstream of the picture using the selected metadata to generate the bitstream of the designated partial area.
  • the generator extracts the sub-picture from the bitstream of the picture using the metadata for extracting the sub-picture specified in the request, and the extracted sub-picture consists of the extracted sub-picture.
  • the image processing device wherein a bitstream of the partial area is generated.
  • the generating unit merges the bitstreams of the sub-pictures forming the partial area based on the request to generate the bitstream of the partial area.
  • the generation unit identifies a sub-picture containing the clipping region specified by using the coordinates in the request, selects metadata capable of merging the identified sub-picture, and uses the selected metadata. (12), the image processing device according to (12), further merging the identified subpictures and generating a bitstream of the partial area configured by the merged subpictures. (14) The generating unit generating a bitstream of the partial region when a bitstream of the sub-picture is requested; The image according to (13), wherein when the bitstream of the clipped region is requested, the bitstream of the picture is decoded, and the bitstream of the clipped region is generated by clipping and encoding the clipped region from the picture. processing equipment.
  • the generating unit identifies a sub-picture including a cut-out region specified by using the display region-related information in the request, selects metadata capable of merging the identified sub-picture, (12), wherein the data is used to merge the bitstreams of the identified sub-pictures to generate the bitstream of the partial area composed of the merged sub-pictures.
  • the generation unit selects metadata capable of merging the sub-pictures forming the partial area specified using the identification information in the request, and merges the sub-pictures using the selected metadata. (12), wherein a bitstream of the partial area configured by the merged subpictures is generated.
  • the generation unit selects metadata capable of merging sub-pictures forming a specified partial area using identification information defined in a control file that controls distribution of the content file, The image processing device according to (12), wherein data is used to merge the sub-pictures to generate a bitstream of the partial area.
  • the generation unit generates metadata capable of merging sub-pictures forming the partial area specified in the request, among partial areas defined as an adaptation set in a control file that controls delivery of the content file.
  • the image processing apparatus according to (12) wherein the sub-pictures are selected and the selected metadata is used to merge the sub-pictures to generate a bitstream of the designated partial area.
  • the generation unit merges the sub-pictures using metadata for merging the sub-pictures specified in the request, and generates a bitstream of the partial region configured by the merged sub-pictures.
  • the image processing device according to (12). (20) generating a bitstream of a partial area composed of some sub-pictures of the sub-pictures included in the picture, based on a request from another device; An image processing method, wherein the bitstream of the partial area is transmitted to the other device.
  • a partial area file generation information generation unit for generating partial area file generation information for generating a file storing a bitstream of a partial area of a picture based on content data;
  • An image processing apparatus comprising: a file generation unit that generates a control file that controls delivery of a content file, and that stores the partial area file generation information.
  • the partial area file generation information includes information indicating that a server that distributes the content file can generate a bitstream for the partial area.
  • the partial area file generation information includes information designating the type of information that can be processed by the server.
  • the partial area file generation information generating unit further generates partial area information indicating a position in the picture of a sub-picture that constitutes the partial area,
  • the image processing device according to (37) or (38), wherein the partial area information further includes information indicating a position of the sub-picture in the partial area.
  • the image processing apparatus according to any one of (37) to (40), wherein the file generation unit stores the partial area information of each candidate for the partial area in one adaptation set of the control file.
  • the file generation unit stores the partial area information of each candidate for the partial area in one adaptation set of the control file.
  • the partial area information further includes link information to information indicating the position of the sub-picture in the partial area.
  • the file generation unit further generates the content file, and stores information indicating the position of the sub-picture in the partial area in a movie box sample entry of the content file. processing equipment.
  • the image processing apparatus according to any one of (37) to (43), wherein the partial area information further includes link information to the partial area information.
  • 100 content distribution system 110 network, 111 file generation device, 112 distribution server, 113 client device, 131 control unit, 132 file generation processing unit, 141 input unit, 142 preprocessing unit, 143 encoding unit, 144 file generation unit, 145 Recording unit 146 Output unit 151 Communication unit 152 Storage unit 153 Generation unit 171 Control unit 172 Client processing unit 181 File acquisition unit 182 File processing unit 183 Decryption unit 184 Display information generation unit 185 display unit, 186 display control unit, 900 computer

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本開示は、サーバの処理負荷の増大を抑制しながら、クライアントの処理負荷の増大を抑制することができるようにする画像処理システム、並びに、画像処理装置および方法に関する。 クライアント装置が、制御ファイルに含まれる部分領域ファイル生成情報に基づいて、部分領域のビットストリームをサーバに対して要求し、そのサーバが、クライアント装置による要求に基づいて、ピクチャに含まれる一部のサブピクチャにより構成される部分領域のビットストリームを生成してクライアント装置に送信し、そのクライアント装置が、その部分領域のビットストリームを受信し、切り出し領域を切り出す。本開示は、例えば、画像処理システム、画像処理装置、電子機器、画像処理方法、またはプログラム等に適用することができる。

Description

画像処理システム、並びに、画像処理装置および方法
　本開示は、画像処理システム、並びに、画像処理装置および方法に関し、特に、サーバの処理負荷の増大を抑制しながら、クライアントの処理負荷の増大を抑制することができるようにした画像処理システム、並びに、画像処理装置および方法に関する。
　従来、画像符号化方式の標準仕様のVVC（Versatile Video Coding）では、各ピクチャを１つ以上のサブピクチャに分割することが可能であった（例えば、非特許文献１参照）。また、VVCで符号化されたピクチャのファイル格納の方式として、動画圧縮の国際標準技術MPEG-4（Moving Picture Experts Group - 4）のファイルコンテナ仕様であるISOBMFF（International Organization for Standardization Base Media File Format）を利用したVVC File Formatが策定された（例えば、非特許文献２乃至非特許文献４参照）。
　ところで、例えば見回し視聴が可能な360度映像のように、大きなピクチャから一部の領域を切り出し、再生（表示）するコンテンツがあった。その場合、サーバがピクチャ全体のデータを配信し、クライアント装置がそのピクチャから一部の領域を切り出して表示する方法と、サーバがピクチャから一部の領域を切り出し、切り出した画像をクライアント装置に配信する方法が考えられた。
Benjamin Bross, Jianle Chen, Shan Liu, Ye-Kui Wang, "Versatile Video Coding (Draft 10)", JVET-S2001-vH, Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 19th Meeting: by teleconference, 22 June - 1 July 2020 "Text of ISO/IEC FDIS 14496-15 6th edition Carriage of NAL unit structured video in the ISO Base Media File Format", ISO/IEC JTC 1/SC 29/WG 11, N00234, 2021 May 31st "Information technology - Coding of audio-visual objects - Part 12:ISO base media file format", ISO/IEC JTC 1/SC 29/WG 11,2015 Dec "Information technology - Dynamic adaptive streaming over HTTP (DASH) - Part 1: Media presentation description and segment formats", ISO/IEC JTC 1/SC 29/WG 11,2019 Dec
　しかしながら、クライアント装置がピクチャから部分領域を切り出す方法の場合、サーバからクライアントに伝送されるデータ量が不要に増大し、受信や復号等、クライアント装置の処理の負荷が増大するおそれがあった。また、ピクチャから部分領域を切り出す処理も必要になるので、クライアント装置の処理の負荷はさらに増大するおそれがあった。
　これに対して、サーバがピクチャから部分領域を切り出して配信する方法の場合、クライアント装置はピクチャよりも小さい画像のデータを受信し、復号することになるので、クライアント装置の処理の負荷の増大は抑制することができる。しかしながら、サーバは、復号、切り出し、再符号化等の処理を行わなければならず、サーバの処理の負荷が増大するおそれがあった。
　本開示は、このような状況に鑑みてなされたものであり、コンテンツを配信するサーバの処理負荷の増大を抑制しながら、そのコンテンツを再生するクライアントの処理負荷の増大を抑制することができるようにするものである。
　本技術の一側面の画像処理システムは、サーバおよびクライアント装置を備え、前記クライアント装置が、コンテンツファイルの配信を制御する制御ファイルに含まれる、ピクチャの部分領域のビットストリームを格納するファイルを生成するための部分領域ファイル生成情報に基づいて、前記部分領域のビットストリームを前記サーバに対して要求し、前記サーバが、前記クライアント装置による前記要求に基づいて、前記ピクチャに含まれるサブピクチャの内、一部の前記サブピクチャにより構成される前記部分領域のビットストリームを生成し、前記部分領域のビットストリームを前記クライアント装置に送信し、前記クライアント装置が、前記サーバから送信された前記部分領域のビットストリームを受信し、前記部分領域のビットストリームから切り出し領域を切り出す画像処理システムである。
　本技術の他の側面の画像処理装置は、他の装置による要求に基づいて、ピクチャに含まれるサブピクチャの内、一部の前記サブピクチャにより構成される部分領域のビットストリームを生成する生成部と、前記部分領域のビットストリームを前記他の装置に送信する送信部とを備える画像処理装置である。
　本技術の他の側面の画像処理方法は、他の装置による要求に基づいて、ピクチャに含まれるサブピクチャの内、一部のサブピクチャにより構成される部分領域のビットストリームを生成し、前記部分領域のビットストリームを前記他の装置に送信する画像処理方法である。
　本技術のさらに他の側面の画像処理装置は、コンテンツのデータに基づいて、ピクチャの部分領域のビットストリームを格納するファイルを生成するための部分領域ファイル生成情報を生成する部分領域ファイル生成情報生成部と、コンテンツファイルの配信を制御する制御ファイルを生成し、前記部分領域ファイル生成情報を格納するファイル生成部とを備える画像処理装置である。
　本技術のさらに他の側面の画像処理方法は、コンテンツのデータに基づいて、ピクチャの部分領域のビットストリームを格納するファイルを生成するための部分領域ファイル生成情報を生成し、コンテンツファイルの配信を制御する制御ファイルを生成し、前記部分領域ファイル生成情報を格納する画像処理方法である。
　本技術のさらに他の側面の画像処理装置は、コンテンツファイルの配信を制御する制御ファイルに含まれる、ピクチャの部分領域のビットストリームを格納するファイルを生成するための部分領域ファイル生成情報に基づいて、前記部分領域のビットストリームを要求する要求処理部と、前記部分領域のビットストリームを取得する取得部と、前記部分領域のビットストリームから切り出し領域を切り出す切り出し部とを備える画像処理装置である。
　本技術のさらに他の側面の画像処理方法は、コンテンツファイルの配信を制御する制御ファイルに含まれる、ピクチャの部分領域のビットストリームを格納するファイルを生成するための部分領域ファイル生成情報に基づいて、前記部分領域のビットストリームを要求し、前記部分領域のビットストリームを取得し、前記部分領域のビットストリームから切り出し領域を切り出す画像処理方法である。
　本技術の一側面の画像処理システムにおいては、クライアント装置において、コンテンツファイルの配信を制御する制御ファイルに含まれる、ピクチャの部分領域のビットストリームを格納するファイルを生成するための部分領域ファイル生成情報に基づいて、その部分領域のビットストリームがサーバに対して要求され、そのサーバにおいて、クライアント装置による要求に基づいて、ピクチャに含まれるサブピクチャの内、一部のサブピクチャにより構成される部分領域のビットストリームが生成され、その部分領域のビットストリームがクライアント装置に送信され、そのクライアント装置において、サーバから送信された部分領域のビットストリームが受信され、その部分領域のビットストリームから切り出し領域が切り出される。
　本技術の他の側面の画像処理装置および方法においては、他の装置による要求に基づいて、ピクチャに含まれるサブピクチャの内、一部のサブピクチャにより構成される部分領域のビットストリームが生成され、その部分領域のビットストリームが他の装置に送信される。
　本技術のさらに他の側面の画像処理装置および方法においては、コンテンツのデータに基づいて、ピクチャの部分領域のビットストリームを格納するファイルを生成するための部分領域ファイル生成情報が生成され、コンテンツファイルの配信を制御する制御ファイルが生成され、その部分領域ファイル生成情報が格納される。
　本技術のさらに他の側面の画像処理装置および方法においては、コンテンツファイルの配信を制御する制御ファイルに含まれる、ピクチャの部分領域のビットストリームを格納するファイルを生成するための部分領域ファイル生成情報に基づいて、その部分領域のビットストリームが要求され、その部分領域のビットストリームが取得され、その部分領域のビットストリームから切り出し領域が切り出される。
画像の切り出しについて説明する図である。 コンテンツの配信方法の例を示す図である。 コンテンツの配信方法の例を示す図である。 コンテンツの配信方法について説明する図である。 コンテンツ配信システムの主な構成例を示す図である。 ファイル生成装置の主な構成例を示すブロック図である。 配信サーバの主な構成例を示すブロック図である。 クライアント装置の主な構成例を示すブロック図である。 ファイルの生成処理の流れの例を説明するフローチャートである。 コンテンツの配信処理の流れの例を説明するフローチャートである。 リクエスト処理の流れの例を説明するフローチャートである。 部分領域ファイル生成情報の例を示す図である。 部分領域ファイル生成情報の例を示す図である。 トラック生成処理の流れの例を示すフローチャートである。 トラック生成処理の流れの例を示すフローチャートである。 部分領域ファイル生成情報の例を示す図である。 トラック生成処理の流れの例を示すフローチャートである。 部分領域ファイル生成情報の例を示す図である。 トラック生成処理の流れの例を示すフローチャートである。 コンテンツの配信方法について説明する図である。 配信サーバの主な構成例を示すブロック図である。 トラック生成処理の流れの例を示すフローチャートである。 トラック生成処理の流れの例を示すフローチャートである。 トラック生成処理の流れの例を示すフローチャートである。 部分領域ファイル生成情報の例を示す図である。 トラック生成処理の流れの例を示すフローチャートである。 部分領域情報について説明する図である。 MPDの記述例を示す図である。 ピクチャおよび部分領域の構成例を示す図である。 ファイルの生成処理の流れの例を説明するフローチャートである。 コンテンツの配信処理の流れの例を説明するフローチャートである。 MPDの記述例を示す図である。 ファイルの生成処理の流れの例を説明するフローチャートである。 MPDの記述例を示す図である。 ファイルの生成処理の流れの例を説明するフローチャートである。 MPDの記述例を示す図である。 サンプルグループの例を示す図である。 RegionWisePackingStructの例を示す図である。 ファイルの生成処理の流れの例を説明するフローチャートである。 コンピュータの主な構成例を示すブロック図である。
　以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
　１．切り出し領域の再生
　２．部分領域の配信
　３．部分領域の抽出
　４．サブピクチャのマージ
　５．部分領域情報
　６．付記
　＜１．切り出し領域の再生＞
　　＜技術内容・技術用語をサポートする文献等＞
　本技術で開示される範囲は、実施の形態に記載されている内容だけではなく、出願当時において公知となっている以下の非特許文献等に記載されている内容や以下の非特許文献において参照されている他の文献の内容等も含まれる。
　非特許文献１：（上述）
　非特許文献２：（上述）
　非特許文献３：（上述）
　非特許文献４：（上述）
　つまり、上述の非特許文献に記載されている内容や、上述の非特許文献において参照されている他の文献の内容等も、サポート要件を判断する際の根拠となる。
　　＜VVCデータの配信＞
　従来、非特許文献１に記載のように、画像符号化方式の標準仕様のVVC（Versatile Video Coding）では、ピクチャのビットストリームは、復号せずに、１つ以上のサブピクチャに分割することが可能である。例えば、図１に示されるように、ピクチャ１０のビットストリームは、復号せずに、サブピクチャ１１毎のビットストリームに分割することができる。例えば、360度映像の場合、ピクチャ１０のビットストリームは、６つのサブピクチャ１１のビットストリームに分割することができるように構成されている。
　また、非特許文献２乃至非特許文献４に記載のように、そのVVCで符号化されたピクチャのファイル格納の方式として、動画圧縮の国際標準技術MPEG-4（Moving Picture Experts Group - 4）のファイルコンテナ仕様であるISOBMFF（International Organization for Standardization Base Media File Format）を利用したVVC File Formatが策定された。また、DASHを利用したAdaptive streamingが可能である。
　ところで、例えば見回し視聴が可能な360度映像のように、大きなピクチャから一部の領域を切り出し、再生（表示）するコンテンツがあった。例えば、図１に示されるように、ピクチャ１０からその部分領域である切り出し領域１２が切り出され、その切り出し領域１２が表示画像として表示されるようなコンテンツがあった。
　このようなコンテンツを配信する場合、サーバがピクチャ１０全体のビットストリームをクライアント装置に送信し、クライアント装置がそのピクチャ１０から切り出し領域１２を切り出して表示する方法と、サーバがピクチャ１０から切り出し領域１２を切り出し、その切り出し領域１２のビットストリームをクライアント装置に送信する方法とが考えられた。
　クライアント装置がピクチャ１０から切り出し領域１２を切り出す方法の場合、コンテンツの配信は、例えば図２に示されるような手順で行われる。まず、矢印２１のようにMPD（Media Presentation Description）ファイルがサーバからクライアント装置に伝送される。MPDファイルは、コンテンツの配信に関する制御情報を格納する制御ファイルである。クライアント装置がそのMPDファイルに基づいてコンテンツの配信をサーバに要求すると、サーバは、矢印２２のように、要求されたコンテンツのコンテンツファイル（VVC track）をクライアント装置に供給する。このVVC trackには、VVCで符号化されたピクチャ１０全体のビットストリームが格納される。クライアント装置は、そのVVC trackからピクチャ１０のビットストリームを抽出して復号し、そのピクチャ１０から所望の切り出し領域１２を表示領域（Viewport）として切り出して表示する。
　つまり、この方法の場合、ピクチャ１０全体のビットストリームがサーバからクライアント装置へ伝送されるので、その伝送データ量が不要に増大するおそれがあった。すなわち、ピクチャ１０内の再生されない領域のデータも送信されるので非効率であった。そのため、クライアント装置の処理の負荷が増大するおそれがあった。例えば、クライアント装置はピクチャ１０全体のビットストリームを受信することになるので、受信処理の処理量やバッファ量が増大するおそれがあった。また、クライアント装置はピクチャ１０全体のビットストリームを復号することになるので、その復号処理の処理量やバッファ量が増大するおそれがあった。また、ピクチャ１０から切り出し領域１２を切り出す処理が必要になるので、クライアント装置の処理の負荷はさらに増大するおそれがあった。
　これに対して、サーバがピクチャ１０から切り出し領域１２を切り出す方法の場合、コンテンツの配信は、例えば図３に示されるような手順で行われる。矢印３１のように、クライアント装置が独自に規定したルール（例えば、HTTP（HyperText Transfer Protocol）のGetメソッドを利用したクエリリクエストなど）に基づいてコンテンツの配信をリクエストすると、サーバは、矢印３２のように、その要求されたコンテンツのVVC trackに格納されるピクチャ１０全体のビットストリームを復号し、そのピクチャ１０から要求された切り出し領域１２を切り出し、さらにその切り出し領域１２のデータを符号化することにより、切り出し領域１２のビットストリームを生成する。そして、サーバは、そのビットストリームを新たなコンテンツファイル（VVC track）に格納し、矢印３３のようにクライアント装置に送信する。クライアント装置は、そのVVC trackから切り出し領域１２のビットストリームを復号し、切り出し領域１２を表示領域（Viewport）として表示する。
　つまり、この方法の場合、切り出し領域１２のビットストリームが伝送されるので、サーバからクライアント装置への伝送データ量の増大は抑制される。しかしながら、この方法の場合、サーバは、ピクチャ１０のビットストリームの復号、切り出し領域１２の切り出し、切り出し領域１２のデータの符号化等の処理を行わなければならず、サーバの処理の負荷が増大するおそれがあった。クライアントのアクセス毎の処理負荷が増大すると、サーバが同時に配信できるクライアントの数が低減するおそれがあった。すなわち、サーバの配信性能が低減し、最大同時接続数が低減するおそれがあった。また、サーバの処理負荷が増大することにより、コンテンツがクライアント装置に配信されるまでの遅延時間が増大するおそれがあった。さらに、クライアントからサーバへのリクエストは標準化されていないため独自で規定する必要があり、汎用性がない。
　＜２．部分領域の配信＞
　　＜サブピクチャからなる部分領域の配信＞
　そこで、図４の表の最上段に示されるように、サーバにおいて一部のサブピクチャからなるVVC trackを生成し、それをクライアント装置に送信するようにする。
　例えば、サーバおよびクライアント装置を備える画像処理システムにおいて、クライアント装置が、コンテンツファイルの配信を制御する制御ファイルに含まれる、ピクチャの部分領域のビットストリームを格納するファイルを生成するための部分領域ファイル生成情報に基づいて、その部分領域のビットストリームをサーバに対して要求し、そのサーバが、クライアント装置による要求に基づいて、ピクチャに含まれるサブピクチャの内、一部のサブピクチャにより構成される部分領域のビットストリームを生成し、その部分領域のビットストリームをクライアント装置に送信し、クライアント装置が、サーバから送信された部分領域のビットストリームを受信し、その部分領域のビットストリームから切り出し領域を切り出すようにする。
　このようにすることにより、コンテンツを配信するサーバの処理負荷の増大を抑制しながら、そのコンテンツを再生するクライアントの処理負荷の増大を抑制することができる。
　　＜コンテンツ配信システム＞
　図５は、本技術を適用した画像処理システムの一態様であるコンテンツ配信システムの構成の一例を示す図である。この図５に示されるコンテンツ配信システム１００は、画像を含むコンテンツを配信するためのシステムであり、図５に示されるように、ファイル生成装置１１１、配信サーバ１１２、およびクライアント装置１１３を有する。
　ファイル生成装置１１１、配信サーバ１１２、およびクライアント装置１１３は、ネットワーク１１０を介して互いに通信可能に接続されている。ネットワーク１１０は、各装置間の通信媒体となる通信網である。ネットワーク１１０は、有線通信の通信網であってもよいし、無線通信の通信網であってもよいし、それらの両方を含んでもよい。例えば、有線LAN（Local Area Network）、無線LAN、公衆電話回線網、所謂4G回線や5G回線等の無線移動体用の広域通信網、またはインターネット等であってもよいし、それらの組み合わせであってもよい。また、ネットワーク１１０は、単数の通信網であってもよいし、複数の通信網であってもよい。また、例えば、ネットワーク１１０は、その一部若しくは全部が、例えばUSB（Universal Serial Bus）（登録商標）ケーブルやHDMI（High-Definition Multimedia Interface）（登録商標）ケーブル等のような、所定の規格の通信ケーブルにより構成されるようにしてもよい。
　図５においては、ファイル生成装置１１１、配信サーバ１１２、およびクライアント装置１１３が１台ずつ示されているが、これらの装置の数は、それぞれ任意である。
　ファイル生成装置１１１は、コンテンツ配信システム１００において配信されるコンテンツを格納するコンテンツファイル（VVC track）を生成する。また、ファイル生成装置１１１は、そのコンテンツの配信を制御する制御情報を格納する制御ファイルとしてMPDファイルを生成する。ファイル生成装置１１１は、生成したコンテンツファイルやMPDファイルを配信サーバ１１２へ送信（アップロード）する。
　配信サーバ１１２は、コンテンツの配信に関する処理を行う。例えば、配信サーバ１１２は、ファイル生成装置１１１から供給された（アップロードされた）コンテンツファイルやMPDファイルを取得し、記憶し、管理する。また、配信サーバ１１２は、その管理しているファイルをクライアント装置１１３に配信する。例えば、配信サーバ１１２は、クライアント装置１１３の要求に基づいてMPDファイルをクライアント装置１１３に送信する。クライアント装置１１３がそのMPDファイルに基づいてコンテンツファイルの配信を要求すると、配信サーバ１１２は、その要求に従って、コンテンツファイル（VVC track）をクライアント装置１１３に送信する。
　クライアント装置１１３は、配信サーバ１１２が配信するコンテンツの再生に関する処理を行う。例えば、クライアント装置１１３は、配信サーバ１１２に対して所望のコンテンツのMPDファイルを要求し、その要求に応じて送信されたMPDファイルを受信する。また、クライアント装置１１３は、そのMPDファイルに基づいて、コンテンツファイルの配信を配信サーバ１１２に対して要求する。そして、クライアント装置１１３は、その要求に応じて送信されたコンテンツファイル（VVC track）を受信し、そのコンテンツファイルからビットストリームを抽出し、復号する等して、表示画像を生成して表示する。
　このようなコンテンツ配信システム１００において、クライアント装置１１３が、図１に示される例のように、ピクチャ１０の一部である切り出し領域１２を表示領域として表示するとする。つまり、クライアント装置１１３がピクチャ１０から切り出された切り出し領域１２の画像を表示するとする。
　図５に戻り、ファイル生成装置１１１は、動画像（ピクチャ１０全体）をVVCで符号化することによりピクチャ１０のビットストリームを生成する。ファイル生成装置１１１は、そのビットストリームをコンテンツファイル（VVC track）に格納する。ファイル生成装置１１１は、そのコンテンツファイルを配信サーバ１１２にアップロードする。
　そして、クライアント装置１１３が配信サーバ１１２に対して、少なくとも切り出し領域１２を含む領域のビットストリームを要求すると、配信サーバ１１２は、切り出し領域１２を含む一部のサブピクチャで構成される部分領域のビットストリームを生成し、それを新たなコンテンツファイル（VVC track）に格納し、クライアント装置１１３に送信する。例えば、図５に示されるように、切り出し領域１２がサブピクチャ１１－１およびサブピクチャ１１－２で構成される部分領域１２１に含まれる場合、配信サーバ１１２は、その部分領域１２１のビットストリームを生成し、そのビットストリームを新たなコンテンツファイル（VVC track）に格納し、クライアント装置１１３に送信する。
　クライアント装置１１３は、その部分領域１２１のビットストリームが格納されるVVC trackを受信する。クライアント装置１１３は、そのVVC trackから部分領域１２１のビットストリームを抽出する。クライアント装置１１３は、抽出したビットストリームを復号する。そしてクライアント装置１１３は、その復号により得られた部分領域１２１の画像から切り出し領域１２の画像を切り出し、表示領域として表示する。
　このようにすることにより、配信サーバ１１２からクライアント装置１１３へは部分領域１２１のビットストリームが伝送されることになる。つまり、ピクチャ１０のビットストリームが配信される場合に比べて、伝送データ量の増大を抑制することができる。したがって、クライアント装置がピクチャ１０から切り出し領域１２を切り出す方法の場合よりも、クライアント装置の処理の負荷の増大を抑制することができる。
　また、ピクチャ１０はVVCで符号化されているため、そのビットストリームは復号せずにサブピクチャ１１に分割することができる。そのため配信サーバ１１２は、切り出し領域１２のビットストリームを生成する場合よりも容易に、部分領域１２１のビットストリームを生成することができる。つまり、サーバがピクチャ１０から切り出し領域１２を切り出す方法の場合よりも、サーバの処理の負荷の増大を抑制することができる。したがって、最大同時接続数の低減や、遅延時間の増大を抑制することができる。
　つまり、画像処理装置である配信サーバ１１２において、他の装置（例えばクライアント装置１１３）による要求に基づいて、ピクチャに含まれるサブピクチャの内、一部のサブピクチャにより構成される部分領域のビットストリームを生成する生成部と、その部分領域のビットストリームを他の装置に送信する送信部とを備えるようにする。
　また、画像処理方法において、他の装置による要求に基づいて、ピクチャに含まれるサブピクチャの内、一部のサブピクチャにより構成される部分領域のビットストリームを生成し、その部分領域のビットストリームを他の装置に送信するようにする。
　このようにすることにより、サーバの処理負荷の増大を抑制しながら、クライアントの処理負荷の増大を抑制することができる。
　なお、配信サーバ１１２は、サブピクチャで構成される部分領域のビットストリームの生成のためのメタデータに基づいて、サブピクチャで構成される部分領域１２１のビットストリームを生成してもよい。その場合、ファイル生成装置１１１が、そのメタデータを生成し、メタデータを格納するメタデータファイルにそのメタデータを格納し、そのメタデータファイルを上述のコンテンツファイル（VVC track）とともに、配信サーバ１１２へアップロードしてもよい。
　また、クライアント装置１１３が、ピクチャ１０の部分領域のビットストリームを格納するファイルを生成するための部分領域ファイル生成情報に基づいて、少なくとも切り出し領域１２を含む領域のビットストリームを要求してもよい。例えば、クライアント装置１１３が、MPDファイルに含まれるその部分領域ファイル生成情報に基づいて、配信サーバ１１２が有する機能を把握し、配信サーバ１１２が対応可能な方法で要求を行ってもよい。このようにすることにより、配信サーバ１１２は、より確実にその要求に応じることができる。なお、この部分領域ファイル生成情報は、ファイル生成装置１１１により生成され、MPDファイルに格納され、配信サーバ１１２へアップロードされてもよい。
　なお、部分領域１２１は、ピクチャ１０内の１つの部分領域であり、切り出し領域１２を含む領域であり、かつ、サブピクチャ１１により構成される領域であればよい。つまり、部分領域１２１を構成するサブピクチャ１１の数や配置は任意である。例えば、図５の場合、部分領域１２１が２つのサブピクチャ１１（サブピクチャ１１－１およびサブピクチャ１１－２）により構成されるが、部分領域１２１が１つのサブピクチャ１１により構成されてもよいし、３以上のサブピクチャ１１により構成されてもよい。また、図５の例では、部分領域１２１を構成する２つのサブピクチャ１１が横方向に並んでいるが、部分領域を構成する複数のサブピクチャ１１が縦方向に並んでもよいし、縦方向および横方向に並んでもよい。ただし、データ伝送量の増大をより抑制するために、部分領域１２１は、より少ないサブピクチャ１１により構成されるのが望ましい。
　　＜ファイル生成装置＞
　次に、コンテンツ配信システム１００の各装置について説明する。図６は、本技術を適用した画像処理装置の一態様であるファイル生成装置１１１の構成の一例を示すブロック図である。
　なお、図６においては、処理部やデータの流れ等の主なものを示しており、図６に示されるものが全てとは限らない。つまり、ファイル生成装置１１１において、図６においてブロックとして示されていない処理部が存在したり、図６において矢印等として示されていない処理やデータの流れが存在したりしてもよい。
　図６に示されるようにファイル生成装置１１１は、制御部１３１およびファイル生成処理部１３２を有する。制御部１３１は、ファイル生成処理部１３２を制御する。ファイル生成処理部１３２は、制御部１３１により制御されて、ファイルの生成に関する処理を行う。
　ファイル生成処理部１３２は、入力部１４１、前処理部１４２、符号化部１４３、ファイル生成部１４４、記録部１４５、および出力部１４６を有する。
　入力部１４１は、動画像を含むコンテンツのデータを取得し、それを前処理部１４２に供給する。
　前処理部１４２は、そのコンテンツのデータに基づいて、動画像のピクチャ１０の部分領域のビットストリームを格納するファイルを生成するための部分領域ファイル生成情報を生成する。前処理部１４２は、生成した部分領域ファイル生成情報をファイル生成部１４４に供給する。つまり、前処理部１４２は、部分領域ファイル生成情報生成部とも言える。また、前処理部１４２は、コンテンツのデータに基づいて、サブピクチャで構成される部分領域のビットストリームを生成するためのメタデータを生成する。前処理部１４２は、生成したメタデータをファイル生成部１４４に供給する。さらに、前処理部１４２は、コンテンツのデータを符号化部１４３に供給する。
　符号化部１４３は、前処理部１４２から供給されるコンテンツのデータを符号化し、ビットストリームを生成する。例えば、符号化部１４３は、動画像のデータをVVCで符号化し、ビットストリームを生成する。つまり、符号化部１４３は、ピクチャ１０のビットストリームを生成する。符号化部１４３は、生成したピクチャ１０のビットストリームをファイル生成部１４４に供給する。
　ファイル生成部１４４は、符号化部１４３から供給されるピクチャ１０のビットストリームを取得する。そしてファイル生成部１４４は、そのピクチャ１０のビットストリームを格納するISOBMFFのコンテンツファイル（VVC track）を生成する。つまり、ファイル生成部１４４は、VVC trackを生成し、そこにピクチャ１０のビットストリームを格納する。また、ファイル生成部１４４は、前処理部１４２から供給されるメタデータを取得する。ファイル生成部１４４は、メタデータファイルを生成し、そこにそのメタデータを格納する。さらに、ファイル生成部１４４は、前処理部１４２から供給される部分領域ファイル生成情報を取得する。そして、ファイル生成部１４４は、コンテンツの配信を制御する制御情報を格納する制御ファイルとしてMPDファイルを生成し、そのMPDファイルに部分領域ファイル生成情報を格納する。ファイル生成部１４４は、生成したこれらのファイルを記録部１４５に供給する。
　記録部１４５は、例えば、ハードディスクや半導体メモリ等、任意の記録媒体を有し、ファイル生成部１４４から供給されるそれらのファイルをその記録媒体に記録する。また、記録部１４５は、制御部１３１若しくは出力部１４６の要求に従って、または所定のタイミングにおいて、記録媒体に記録されているそれらのファイルを読み出し、出力部１４６に供給する。
　出力部１４６は、記録部１４５から読みだされたそれらのファイルを、ネットワーク１１０を介して配信サーバ１１２へ送信（アップロード）する。
　　＜配信サーバ＞
　図７は、本技術を適用した画像処理装置の一態様である配信サーバ１１２の構成の一例を示すブロック図である。
　なお、図７においては、処理部やデータの流れ等の主なものを示しており、図７に示されるものが全てとは限らない。つまり、配信サーバ１１２において、図７においてブロックとして示されていない処理部が存在したり、図７において矢印等として示されていない処理やデータの流れが存在したりしてもよい。
　図７に示されるように配信サーバ１１２は、通信部１５１、記憶部１５２、生成部１５３を有する。
　通信部１５１は、ネットワーク１１０を介して他の装置と通信する。例えば、通信部１５１は、他の装置と通信を行い、他の装置から情報を取得する。例えば、通信部１５１は、ファイル生成装置１１１から送信されたコンテンツファイル（VVC track）、メタデータファイル、MPDファイル等を受信する。また、通信部１５１は、クライアント装置１１３からMPDファイルやコンテンツファイルの要求（リクエスト）を受信する。通信部１５１は、受信したコンテンツファイル（VVC track）、メタデータファイル、MPDファイル等を記憶部１５２に供給する。また、通信部１５１は、受信した要求を生成部１５３に供給する。つまり、通信部１５１は、受信部とも言える。
　また、例えば、通信部１５１は、他の装置と通信を行い、他の装置へ情報を供給する。例えば、通信部１５１は、記憶部１５２からMPDファイルを読み出してクライアント装置１１３に送信する。また、通信部１５１は、生成部１５３から供給される部分領域１２１のビットストリームを格納するコンテンツファイル（VVC track）を取得し、そのコンテンツファイルを、他の装置であるクライアント装置１１３に送信する。つまり、通信部１５１は、送信部とも言える。
　記憶部１５２は、例えば、ハードディスクや半導体メモリ等、任意の記憶媒体を有し、各種情報を記憶する。例えば、記憶部１５２は、通信部１５１から供給されるコンテンツファイル（VVC track）、メタデータファイル、MPDファイル等をその記憶媒体に記憶する。また、記憶部１５２は、要求された情報をその記憶媒体から読み出し、要求元に供給する。例えば、記憶部１５２は、要求されたMPDファイルをその記憶媒体から読み出し、要求元である通信部１５１へ供給する。また、記憶部１５２は、要求されたコンテンツファイルやメタデータファイルをその記憶媒体から読み出し、要求元である生成部１５３へ供給する。
　生成部１５３は、他の装置であるクライアント装置１１３に要求された切り出し領域１２を含む部分領域１２１のビットストリームを生成する。つまり、生成部１５３は、他の装置による要求に基づいて、ピクチャ１０に含まれるサブピクチャ１１の内、一部のサブピクチャ１１により構成される部分領域のビットストリームを生成する。生成部１５３は、コンテンツファイルやメタデータファイル等、記憶部１５２から必要な情報を読み出し、その部分領域１２１のビットストリームを生成する。生成部１５３は、新たにコンテンツファイル（VVC track）を生成し、その部分領域１２１のビットストリームを格納する。生成部１５３は、そのコンテンツファイルを通信部１５１に供給する。
　　＜クライアント装置＞
　図８は、本技術を適用した画像処理装置の一態様であるクライアント装置１１３の構成の一例を示すブロック図である。
　なお、図８においては、処理部やデータの流れ等の主なものを示しており、図８に示されるものが全てとは限らない。つまり、クライアント装置１１３において、図８においてブロックとして示されていない処理部が存在したり、図８において矢印等として示されていない処理やデータの流れが存在したりしてもよい。
　図８に示されるようにクライアント装置１１３は、制御部１７１および再生処理部１７２を有する。制御部１７１は、再生処理部１７２の制御に関する処理を行う。再生処理部１７２は、コンテンツのデータの再生に関する処理を行う。
　再生処理部１７２は、ファイル取得部１８１、ファイル処理部１８２、復号部１８３、表示情報生成部１８４、表示部１８５、および表示制御部１８６を有する。
　ファイル取得部１８１は、ネットワーク１１０を介して他の装置と通信し、情報を取得する。例えば、ファイル取得部１８１は、配信サーバ１１２に対して所望のコンテンツのMPDファイルを要求し、その要求に応じて送信されたMPDファイルを受信する。ファイル取得部１８１は、受信したMPDファイルをファイル処理部１８２へ供給する。つまり、ファイル取得部１８１は、取得部または制御ファイル取得部とも言える。
　また、ファイル取得部１８１は、そのMPDファイルに基づいてファイル処理部１８２から指定されたコンテンツファイルを配信サーバ１１２に対して要求する。その際、ファイル取得部１８１は、ファイル処理部１８２または表示制御部１８６から指定された切り出し領域１２を少なくとも含む領域（すなわち、ピクチャ１０の部分領域１２１）のビットストリームを要求する。つまり、ファイル取得部１８１は、要求処理部とも言える。
　ファイル取得部１８１は、その要求に応じて配信された部分領域１２１のビットストリームを格納するコンテンツファイル（VVC track）を取得（受信）する。ファイル取得部１８１は、そのコンテンツファイルをファイル処理部１８２へ供給する。つまり、ファイル取得部１８１は、取得部またはコンテンツファイル取得部とも言える。
　ファイル処理部１８２は、ファイル取得部１８１から供給されたファイルに関する処理を行う。例えば、ファイル処理部１８２は、ファイル取得部１８１から供給されるMPDファイルを取得する。ファイル処理部１８２は、そのMPDファイルに基づいて要求するコンテンツファイルを選択し、ファイル取得部１８１に対してそのコンテンツファイルの配信を要求させる。その際、表示制御部１８６から表示領域の指定がある場合、ファイル処理部１８２は、その表示領域を切り出し領域１２とし、ファイル取得部１８１に対して、少なくともその切り出し領域１２を含む領域のビットストリームの配信を要求させる。
　また、ファイル処理部１８２は、ファイル取得部１８１から供給されるコンテンツファイルを取得する。このコンテンツファイルには部分領域１２１のビットストリームが含まれる。ファイル処理部１８２は、そのコンテンツファイルから部分領域１２１のビットストリームを抽出し、復号部１８３へ供給する。
　復号部１８３は、ファイル処理部１８２から供給される部分領域１２１のビットストリームをVVCで復号し、部分領域１２１の画像データを生成する。復号部１８３は、その部分領域１２１の画像データを表示情報生成部１８４へ供給する。
　表示情報生成部１８４は、復号部１８３から供給される部分領域１２１の画像データを取得する。表示情報生成部１８４は、表示制御部１８６により指定された表示領域を切り出し領域１２とし、その部分領域１２１から切り出し領域１２を切り出し、表示情報（表示画像等）を生成する。つまり、表示情報生成部１８４は、切り出し部とも言える。表示情報生成部１８４は、その表示情報を表示部１８５へ供給する。
　表示部１８５は、表示デバイスを有し、表示情報生成部１８４から供給された表示情報をその表示デバイスを用いて表示する。
　表示制御部１８６は、表示情報の生成の制御に関する処理を行う。例えば、表示制御部１８６は、制御部１７１を介して、ユーザやアプリケーションから表示領域の指定を受け付け、その表示領域の指定をファイル処理部１８２や表示情報生成部１８４へ供給する。また、表示制御部１８６は、その表示領域を切り出し領域１２とし、ファイル取得部１８１に対して、少なくともその切り出し領域１２を含む領域のビットストリームの配信を要求させることもできる。
　　＜ファイル生成処理の流れ＞
　このようなコンテンツ配信システム１００のファイル生成装置１１１がファイルを生成し、配信サーバ１１２にアップロードするまでの処理の流れの例を、図９のフローチャートを参照して説明する。
　処理が開始されると、ファイル生成装置１１１の入力部１４１は、ステップＳ１０１において、動画像を含むコンテンツのデータを取得する。ステップＳ１０２において、前処理部１４２は、その動画像のデータに基づいて、ピクチャ１０の部分領域１２１のビットストリームを格納するファイルを生成するための部分領域ファイル生成情報を生成する。また、前処理部１４２は、その動画像のデータに基づいて、サブピクチャで構成される部分領域のビットストリームを生成するためのメタデータを生成する。ステップＳ１０３において、ファイル生成部１４４は、コンテンツファイルの配信を制御する制御ファイルであるMPDファイルを生成し、ステップＳ１０２において生成された部分領域ファイル生成情報をそのMPDファイルに格納する。また、ファイル生成部１４４は、メタデータファイルを生成し、ステップＳ１０２において生成されたメタデータをそのメタデータファイルに格納する。
　ステップＳ１０４において、符号化部１４３は、ステップＳ１０１において取得されたコンテンツのデータを符号化し、ビットストリームを生成する。例えば、符号化部１４３は、動画像のデータをVVCで符号化し、ピクチャ１０のビットストリームを生成する。ステップＳ１０５において、ファイル生成部１４４は、コンテンツファイルを生成し、ステップＳ１０４において生成されたコンテンツのビットストリームを格納する。例えば、ファイル生成部１４４は、ピクチャ１０のビットストリームをコンテンツファイル（VVC track）に格納する。
　ステップＳ１０６において、記録部１４５は、ステップＳ１０３において生成されたMPDファイルやメタデータ、並びに、ステップＳ１０５において生成されたコンテンツファイルを記録する。ステップＳ１０７において、出力部１４６は、それらのファイルを記録部１４５から読み出し、ネットワーク１１０を介して配信サーバ１１２へアップロードする。
　配信サーバ１１２の通信部１５１は、ステップＳ１１１において、ファイル生成装置１１１から送信されたそれらのファイルを受信する。ステップＳ１１２において、記憶部１５２は、それらの受信したファイル（すなわち、MPDファイル、コンテンツファイル、メタデータファイル等）を記憶する。
　　＜コンテンツ配信処理の流れ＞
　このようなコンテンツ配信システム１００の配信サーバ１１２がクライアント装置１１３に対してコンテンツを配信する処理の流れの例を、図１０のフローチャートを参照して説明する。
　クライアント装置１１３が所望のコンテンツのMPDファイルを配信サーバ１１２に対して要求すると処理が開始される。配信サーバ１１２の通信部１５１は、ステップＳ１２１において、要求されたMPDファイルを記憶部１５２から読み出し、そのMPDファイルをクライアント装置１１３へ送信する。ステップＳ１３１において、クライアント装置１１３のファイル取得部１８１は、そのMPDファイルを受信する。
　ステップＳ１３２において、ファイル処理部１８２は、そのMPDファイルを解析する。ファイル取得部１８１は、その解析結果に基づいてコンテンツファイルの要求（リクエスト）を生成する。ファイル取得部１８１は、その要求を配信サーバ１１２へ送信する。つまり、ファイル取得部１８１は、コンテンツファイルの配信を制御する制御ファイルに含まれる、ピクチャの部分領域のビットストリームを格納するファイルを生成するための部分領域ファイル生成情報に基づいて、その部分領域のビットストリームを要求する。ステップＳ１２２において、配信サーバ１１２の通信部１５１は、その要求を受信する。
　ステップＳ１２３において、生成部１５３は、その要求（リクエスト）に基づいて、記憶部１５２から必要な情報を読み出し、ピクチャ１０に含まれるサブピクチャ１１の内、一部のサブピクチャ１１により構成される部分領域１２１のビットストリームを生成し、新たなコンテンツファイル（VVC track）を生成し、その部分領域１２１のビットストリームを格納する。
　ステップＳ１２４において、通信部１５１は、ステップＳ１２３において生成されたコンテンツファイル（VVC track）をクライアント装置１１３へ送信する。ステップＳ１３３において、クライアント装置１１３のファイル取得部１８１は、そのコンテンツファイルを受信する。
　ステップＳ１３４において、ファイル処理部１８２は、そのコンテンツファイルから部分領域１２１のビットストリームを抽出する。復号部１８３は、その部分領域１２１のビットストリームを復号し、部分領域１２１の画像データを生成する。表示情報生成部１８４は、その部分領域１２１から切り出し領域１２を切り出す。ステップＳ１３５において、表示部１８５は、その切り出し領域１２を表示領域として表示する。
　　＜リクエスト処理の流れ＞
　次に、図１０のステップＳ１３２において実行されるリクエスト処理の流れの例を、図１１のフローチャートを参照して説明する。
　処理が開始されると、クライアント装置１１３のファイル処理部１８２は、ステップＳ１４１において、MPDファイルの記述の中から、所望のコンテンツファイルに対応するアダプテーションセット（AdaptationSet）を選択し、さらに、その中で適切なリプレゼンテーション（Representation）を選択する。
　ステップＳ１４２において、ファイル取得部１８１は、ステップＳ１４１において選択されたリプレゼンテーションのURL情報に、適宜URLパラメータを付加し、要求（リクエスト）を生成する。
　ステップＳ１４３において、ファイル取得部１８１は、ステップＳ１４２において生成された要求を配信サーバ１１２へ送信する。ステップＳ１４３の処理が終了すると、リクエスト処理が終了し、処理は図１０に戻る。
　以上のように各処理を実行することにより、コンテンツ配信システム１００は、配信サーバ１１２からクライアント装置１１３への伝送データ量の増大を抑制することができる。また、配信サーバ１１２の処理の負荷の増大を抑制することができる。つまり、コンテンツ配信システム１００は、配信サーバ１１２の処理負荷の増大を抑制しながら、クライアント装置１１３の処理負荷の増大を抑制することができる。
　＜３．部分領域の抽出＞
　　＜方法１＞
　以上のようなコンテンツ配信において、配信サーバ１１２による部分領域１２１の生成方法は任意である。例えば、図４に示される表の上から２段目に示されるように、配信サーバ１１２がピクチャ１０から部分領域１２１を抽出（extraction）する処理を行うことにより、部分領域１２１のビットストリームを生成してもよい（方法１）。上述のように部分領域１２１はサブピクチャ１１により構成される領域であるので、配信サーバ１１２は、ピクチャ１０のビットストリームを復号せずに、部分領域１２１のビットストリームを抽出することができる。
　この場合、配信サーバ１１２の記憶部１５２は、図７に示されるように、MPDファイル１６１およびピクチャ１０のビットストリームを格納するコンテンツファイルであるVVC track１６２を記憶する。さらに記憶部１５２は、ピクチャ１０から部分領域１２１を構成するサブピクチャ１１を抽出するためのメタデータを格納するメタデータファイルであるVVC extraction base track１６３－１、VVC extraction base track１６３－２、・・・を記憶する。各メタデータファイルを区別して説明する必要が無い場合、VVC extraction base track１６３とも称する。記憶部１５２は、任意の数のVVC extraction base track１６３を記憶し得る。
　VVC extraction base track１６３は、サブピクチャ１１の抽出処理に用いられるメタデータであり、抽出するサブピクチャ１１の数毎に用意される。例えば、VVC extraction base track１６３－１は、任意の１つのサブピクチャを抽出する処理に適用されるメタデータである。また、VVC extraction base track１６３－２は、任意の２つのサブピクチャを抽出する処理に適用されるメタデータである。同様に、任意の３つのサブピクチャを抽出する処理に適用されるVVC extraction base track１６３が用意されてもよいし、それ以上の数のサブピクチャを抽出する処理に適用されるVVC extraction base track１６３が用意されてもよい。
　なお、各VVC extraction base track１６３は、ファイル生成装置１１１により生成され、MPDファイル１６１やVVC track１６２とともに配信サーバ１１２へアップロードされる。記憶部１５２は、アップロードされたこれらのファイルを記憶する。
　生成部１５３は、クライアント装置１１３からの要求に対応するサブピクチャ１１を同定する。生成部１５３は、その同定したサブピクチャ１１を抽出可能なVVC extraction base track１６３を選択する。生成部１５３は、その選択したVVC extraction base track１６３をVVC track１６２とともに記憶部１５２から読み出す。そして、生成部１５３は、読み出したVVC extraction base track１６３を用いて、VVC track１６２に格納されるピクチャ１０のビットストリームから、選択したサブピクチャ１１（つまり、クライアント装置１１３からの要求に対応するサブピクチャ１１）により構成される部分領域１２１のビットストリームを抽出する。そして、生成部１５３は、新たなVVC trackを生成し、その部分領域１２１のビットストリームを格納する。そして、生成部１５３は、そのVVC trackを通信部１５１に供給し、クライアント装置１１３へ送信させる。
　このようにすることにより、配信サーバ１１２は、ピクチャ１０のビットストリームを復号せずに（すなわち容易に）、部分領域１２１のビットストリームを生成することができる。したがって、配信サーバ１１２の負荷の増大を抑制することができる。
　なお、ピクチャ１０のビットストリームから部分領域１２１のビットストリームを抽出する処理は、クライアント装置１１３において行われるようにしてもよい。その場合、配信サーバ１１２は、ピクチャ１０のビットストリームを含むコンテンツファイルをクライアント装置１１３へ送信することになる。したがって、上述のように、配信サーバ１１２が、ピクチャ１０のビットストリームから部分領域１２１のビットストリームを抽出することにより、データ伝送量の増大を抑制することができる。すなわち、クライアント装置１１３の処理の負荷の増大を抑制することができる。
　　＜方法１－１＞
　方法１が適用される場合、図４に示される表の上から３段目に示されるように、MPDファイルのピクチャ１０全体のビットストリームを格納するコンテンツファイル（VVC track）のアダプテーションセットに、部分領域ファイル生成情報が格納されるようにしてもよい（方法１－１）。例えば、その部分領域ファイル生成情報が、配信サーバ１１２が上述の方法１を適用し、部分領域のビットストリームの生成が可能であることを示す情報を含むようにしてもよい。換言するに、ファイル生成装置１１１の前処理部１４２が、配信サーバ１１２において部分領域１２１のビットストリームの生成が可能であることを示す情報を含む部分領域ファイル生成情報を生成してもよい。
　例えば、MPDファイルのピクチャ１０全体のビットストリームを格納するコンテンツファイル（VVC track）に対応するアダプテーションセットに、図１２に示されるような記述を格納してもよい。つまり、サプリメントプロパティ（SupplementalProperty）において、配信サーバ１１２において部分領域１２１のビットストリームの生成が可能であることを示すメタデータ（schemeType＝“RegionRepresentationRemux”）を記述してもよい。このような記述により、MPDファイルを解析するクライアント装置１１３のファイル処理部１８２は、この記述に基づいて、配信サーバ１１２において部分領域１２１のビットストリームの生成が可能であることを把握することができる。そして、ファイル取得部１８１は、その把握を前提として、配信サーバ１１２に対して、少なくとも切り出し領域１２を含む領域のビットストリームを要求することができる。つまり、ファイル取得部１８１は、配信サーバ１１２が対応可能な要求を行うことができる。したがって、配信サーバ１１２は、より確実に、クライアント装置１１３からの要求に応じた処理を行うことができる。
　さらに、この部分領域ファイル生成情報において、配信サーバ１１２が処理可能なメタデータの種類を指定してもよい。換言するに、ファイル生成装置１１１の前処理部１４２が、配信サーバ１１２が処理することができる情報の種類を指定する情報を含む部分領域ファイル生成情報を生成してもよい。
　例えば、MPDファイルのピクチャ１０全体のビットストリームを格納するコンテンツファイル（VVC track）に対応するアダプテーションセットに、図１３に示されるような記述を格納してもよい。つまり、サプリメントプロパティ（SupplementalProperty）において、配信サーバ１１２において配信サーバ１１２が処理可能なメタデータの種類（value＝“＊＊＊”）を指定してもよい。
　「＊＊＊」には、上述のコンテンツファイルの要求（クライアント装置１１３から配信サーバ１１２への要求）において利用可能な要求方法を示すメタデータが記述される。例えば、region、priority_size_req、viewport360、group_id、subpic_id、source_id、track_id等のメタデータが記述されてもよい。regionは、座標等により切り出し領域１２を指定する方法が利用可能であることを示す。priority_size_reqは、切り出し領域１２のビットストリームの配信を優先させるか部分領域１２１のビットストリームの配信を優先させるかを選択する方法が利用可能であることを示す。viewport360は、コンテンツファイルの要求において、360度映像の表示領域（Viewport）により切り出し領域１２を指定する方法が利用可能であることを示す。group_idは、識別情報によりtrif sample groupのregionを指定する方法が利用可能であることを示す。subpic_idは、識別情報によりサブピクチャ１１を指定する方法が利用可能であることを示す。source_idは、MPDファイルにおいて定義されるregionを指定する方法が利用可能であることを示す。track_idは、識別情報によりマージ可能なトラック（track）を指定する方法が利用可能であることを示す。
　　＜方法１－１－１＞
　上述の方法１－１が適用される場合、図４に示される表の上から４段目に示されるように、上述のコンテンツファイルの要求（クライアント装置１１３から配信サーバ１１２への要求）において、取得したい切り出し領域１２が座標等で指定されてもよい（方法１－１－１）。つまり、クライアント装置１１３のファイル取得部１８１が、取得したい切り出し領域１２を座標等で指定するパラメータを含むコンテンツファイルの要求を生成してもよい。換言するに、配信サーバ１１２の生成部１５３は、コンテンツファイルの要求において座標を用いて指定された切り出し領域１２を含むサブピクチャ１１を同定し、その同定したサブピクチャ１１を抽出可能なメタデータを選択し、その選択したメタデータを用いて、ピクチャ１０のビットストリームから、同定したサブピクチャ１１により構成される部分領域１２１のビットストリームを抽出してもよい。
　例えば、クライアント装置１１３のファイル取得部１８１は、コンテンツファイルの要求において、例えば以下の記述のように、要求するコンテンツファイルを指定するURLにURLパラメータ（URL parameter）を付加する。
　http://hoge.com/vvc.mp4 ? region_top＝100 & region_left＝200 & region_width＝1024 & region_height＝512
　この記述において、「http://hoge.com/vvc.mp4」は、要求するコンテンツファイルを指定するURLの例を示す。「region_top」は、切り出し領域１２の上の座標（つまり、切り出し領域１２の左上端のＹ座標）を示すURLパラメータである。「region_left」は、切り出し領域１２の左の座標（つまり、切り出し領域１２の左上端のＸ座標）を示すURLパラメータである。「region_width」は、切り出し領域１２の幅（Ｘ方向の長さ）を示すURLパラメータである。「region_height」は、切り出し領域１２の高さ（Ｙ方向の長さ）を示すURLパラメータである。
　配信サーバ１１２の生成部１５３は、これらのパラメータにより指定される領域を、クライアント装置１１３が要求する切り出し領域１２として特定する。
　この場合に図１０のステップＳ１２３において配信サーバ１１２の生成部１５３により実行されるトラック生成処理の流れの例を、図１４のフローチャートを参照して説明する。
　ステップＳ２０１において、配信サーバ１１２の生成部１５３は、記憶部１５２から読み出したピクチャ１０のビットストリームを格納するVVC track１６２のtrif sample groupで、要求において指定される切り出し領域１２を含むサブピクチャ１１を同定する。ステップＳ２０２において、生成部１５３は、VVC track１６２からステップＳ２０１において同定したサブピクチャを抽出することができるメタデータ（VVC extraction base track１６３）を選択し、記憶部１５２から読み出す。ステップＳ２０３において、生成部１５３は、その読み出したVVC extraction base track１６３とVVC track１６２とを用いてサンプル（sample）を再構成し、切り出し領域１２を含む部分領域１２１のビットストリームを生成する。つまり、生成部１５３は、VVC extraction base track１６３に基づいて、ピクチャ１０のビットストリームから部分領域１２１のビットストリームを抽出する。そして、生成部１５３は、新たにコンテンツファイル（VVC track）を生成し、そこに部分領域１２１のビットストリームを格納する。ステップＳ２０３の処理が終了すると、トラック生成処理が終了し、処理は図１０に戻る。
　このようにすることにより、クライアント装置１１３は、取得したい切り出し領域１２をより直接的に指定することができるので、他の情報を解釈する等の処理が必要なく、より容易にコンテンツファイルの要求を行うことができる。また、その要求を受ける配信サーバ１１２は、より直接的に切り出し領域１２を指定されるので、要求された切り出し領域１２をより確実に特定することができる。
　なお、この場合、配信サーバ１１２が、部分領域１２１のビットストリームの配信だけでなく、切り出し領域１２のビットストリームの配信も行うことができるようにしてもよい。つまり、配信サーバ１１２が、ピクチャ１０のビットストリームを復号し、切り出し領域１２を抽出し、符号化することにより切り出し領域１２のビットストリームを生成し、その切り出し領域１２のビットストリームを配信することができるようにしてもよい。
　その場合、コンテンツファイルの要求において、部分領域１２１のビットストリームの配信に対して切り出し領域１２のビットストリームの配信を優先させることが指定されてもよい。例えば、データサイズ優先（リクエストした切り出し領域１２のみ）で生成することをリクエストする場合、クライアント装置１１３のファイル取得部１８１が、URLパラメータに「priority_size_req」を付加してもよい。そして、リクエストにその「priority_size_req」が付加されている場合、配信サーバ１１２の生成部１５３が、状況に応じて、部分領域１２１のビットストリームを生成する代わりに切り出し領域１２のビットストリームを生成するようにしてもよい。例えば、生成部１５３が、配信サーバ１１２の処理の負荷に余裕がある場合、要求された切り出し領域１２のビットストリームを生成し、負荷に余裕がない場合、要求された切り出し領域１２を含む部分領域１２１のビットストリームを生成してもよい。
　なお、このURLパラメータに「priority_size_req」が付加されていない場合、生成部１５３は、切り出し領域１２の生成は行わずに、部分領域１２１のビットストリームの生成のみを行う。
　例えば、クライアント装置１１３のファイル取得部１８１は、取得したい切り出し領域１２のビットストリームの配信を優先させることを指定するパラメータを含むコンテンツファイルの要求を生成してもよい。
　そして、例えば、生成部１５３は、サブピクチャのビットストリームを要求された場合、部分領域のビットストリームを生成し、切り出し領域のビットストリームを要求された場合、ピクチャのビットストリームを復号し、そのピクチャから切り出し領域を切り出して符号化することにより切り出し領域のビットストリームを生成してもよい。
　このようにすることにより、配信サーバ１１２からクライアント装置１１３へのデータ伝送量の増大をより抑制することができる。
　また、配信されるコンテンツが360度映像の場合は、コンテンツファイルの要求において、取得したい切り出し領域１２が表示領域（Viewport）に関するパラメータを用いて指定されてもよい。表示領域に関するパラメータは、任意である。例えば、centre_azimuth、centre_elevation、centre_tilt、azimuth_range、elevation_range等のパラメータが適用されてもよい。centre_azimuthは、表示領域の中心の方位角を示すパラメータである。centre_elevationは、表示領域の中心の仰角を示すパラメータである。centre_tiltは、表示領域の中心の回転を示すパラメータである。azimuth_rangeは、表示領域の水平方向の画角を示すパラメータである。elevation_rangeは、表示領域の高さ方向の長さを示すパラメータである。
　例えば、クライアント装置１１３のファイル取得部１８１は、取得したい切り出し領域１２を指定する、表示領域（Viewport）に関するパラメータを含むコンテンツファイルの要求を生成してもよい。換言するに、配信サーバ１１２の生成部１５３は、コンテンツファイルの要求において表示領域に関する情報を用いて指定された切り出し領域１２を含むサブピクチャ１１を同定し、その同定したサブピクチャ１１を抽出可能なメタデータを選択し、選択したメタデータを用いて、ピクチャ１０のビットストリームから、同定したサブピクチャ１１を抽出し、その抽出したサブピクチャ１１により構成される部分領域１２１のビットストリームを生成してもよい。
　　＜方法１－１－２＞
　上述の方法１－１が適用される場合、図４に示される表の上から５段目に示されるように、上述のコンテンツファイルの要求（クライアント装置１１３から配信サーバ１１２への要求）において、VVC track内のtrif sample groupから必要な部分を含む領域（region）のgroup idを指定してもよい（方法１－１－２）。trifは、pictureの位置情報と大きさ情報をregion情報として持ち、それぞれをgroup_idで識別することができる。そこで、必要とする部分を含むregionを示すgroup_idをURLパラメータとして付加するようにする。例えば、group_id＝1と2を取得する場合、以下のように記述する。
　http://hoge.com/vvc.mp4?group_id＝1& group_id＝2
　この記述において、「http://hoge.com/vvc.mp4」は、要求するコンテンツファイルを指定するURLの例を示す。「group_id＝1& group_id＝2」は、group id＝1に対応するregionとgroup id＝2に対応するregionを指定するURLパラメータである。
　例えば、クライアント装置１１３のファイル取得部１８１は、trif sample groupのregionを識別する識別情報（group_id）を含むコンテンツファイルの要求を生成してもよい。換言するに、配信サーバ１１２の生成部１５３は、要求において識別情報（group_id）を用いて指定されたregionにより構成される部分領域１２１を抽出可能なメタデータ（VVC extraction base track１６３）を選択し、その選択したメタデータを用いて、ピクチャ１０のビットストリームからその部分領域１２１のビットストリームを抽出してもよい。
　その場合に図１０のステップＳ１２３において配信サーバ１１２の生成部１５３により実行されるトラック生成処理の流れの例を、図１５のフローチャートを参照して説明する。
　ステップＳ２２１において、配信サーバ１１２の生成部１５３は、コンテンツファイルの要求に含まれるURLパラメータのgroup_idで示されるregionを含む部分領域１２１を抽出可能なメタデータ（VVC extraction base track１６３）を選択し、記憶部１５２から読み出す。ステップＳ２２２において、生成部１５３は、その読み出したVVC extraction base track１６３とVVC track１６２とを用いてサンプル（sample）を再構成し、切り出し領域１２を含む部分領域１２１のビットストリームを生成する。つまり、生成部１５３は、VVC extraction base track１６３に基づいて、ピクチャ１０のビットストリームから部分領域１２１のビットストリームを抽出する。そして、生成部１５３は、新たにコンテンツファイル（VVC track）を生成し、そこに部分領域１２１のビットストリームを格納する。ステップＳ２２２の処理が終了すると、トラック生成処理が終了し、処理は図１０に戻る。
　このようにすることにより、配信サーバ１１２は、切り出し領域１２を含むサブピクチャ１１の同定を省略することができ、処理の負荷の増大をより抑制することができる。
　なお、上述のgroup idの代わりに、spid sample groupのsubpic_idを用いて必要な部分を含むregionが指定されるようにしてもよい。subpic_idは、サブピクチャ１１を識別する識別情報である。
　例えば、クライアント装置１１３のファイル取得部１８１は、サブピクチャ１１を示す識別情報（subpic_id）を含むコンテンツファイルの要求を生成してもよい。換言するに、配信サーバ１１２の生成部１５３は、要求において識別情報（subpic_id）を用いて指定されたサブピクチャ１１を抽出可能なメタデータ（VVC extraction base track１６３）を選択し、その選択したメタデータを用いて、ピクチャ１０のビットストリームからサブピクチャ１１を抽出し、その抽出したサブピクチャ１１により構成される部分領域１２１のビットストリームを生成してもよい。
　　＜方法１－１－３＞
　上述の方法１－１が適用される場合、図４に示される表の上から６段目に示されるように、MPDファイルにコンテンツファイル（VVC track）のアダプテーションセットに、region情報を示すサプリメントプロパティ（Supplemental property）のregionInfoを付加してもよい（方法１－１－３）。例えば、図１６に示されるような記述をMPDファイルに格納する。つまり、MPDファイルにおいて、regionとその識別情報（region id）が定義され、コンテンツファイルの要求において、その識別情報を用いて、切り出し領域１２を含むregionが指定されるようにする。例えば、id(region id)＝1と2を取得する場合、以下のように記述する。
　http://hoge.com/vvc.mp4?id＝1&id＝2
　この記述において、「http://hoge.com/vvc.mp4」は、要求するコンテンツファイルを指定するURLの例を示す。「id＝1&id＝2」は、region id＝1に対応するregionとregion id＝2に対応するregionを指定するURLパラメータである。
　例えば、ファイル生成装置１１１の前処理部１４２は、部分領域ファイル生成情報として図１６に示されるような記述を生成し、ファイル生成部１４４は、その記述をコンテンツファイルの配信を制御する制御ファイル（MPDファイル）に格納してもよい。また、クライアント装置１１３のファイル取得部１８１は、コンテンツファイルの配信を制御する制御ファイル（MPDファイル）において定義される識別情報（region id）を含むコンテンツファイルの要求を生成してもよい。つまり、ファイル取得部１８１は、コンテンツファイルの要求において、切り出し領域１２を含むregionのregion idを指定してもよい。さらに、配信サーバ１１２の生成部１５３は、コンテンツファイルの配信を制御する制御ファイル（MPDファイル）において定義される識別情報（region id）を用いて指定されたregionを含む部分領域１２１を構成するサブピクチャ１１を抽出可能なメタデータ（VVC extraction base track１６３）を選択し、その選択したメタデータを用いてピクチャ１０のビットストリームから部分領域１２１のビットストリームを抽出してもよい。
　その場合に図１０のステップＳ１２３において配信サーバ１１２の生成部１５３により実行されるトラック生成処理の流れの例を、図１７のフローチャートを参照して説明する。
　ステップＳ２４１において、配信サーバ１１２の生成部１５３は、コンテンツファイルの要求に含まれるURLパラメータのidで示されるregionを含む部分領域１２１を抽出可能なメタデータ（VVC extraction base track１６３）を選択し、記憶部１５２から読み出す。ステップＳ２４２において、生成部１５３は、その読み出したVVC extraction base track１６３とVVC track１６２とを用いてサンプル（sample）を再構成し、regionを含む部分領域１２１のビットストリームを生成する。つまり、生成部１５３は、VVC extraction base track１６３に基づいて、ピクチャ１０のビットストリームから部分領域１２１のビットストリームを抽出する。そして、生成部１５３は、新たにコンテンツファイル（VVC track）を生成し、そこに部分領域１２１のビットストリームを格納する。ステップＳ２４２の処理が終了すると、トラック生成処理が終了し、処理は図１０に戻る。
　このようにすることにより、クライアント装置１１３は、より確実に、配信サーバ１１２が抽出可能な部分領域１２１を指定することができる。
　なお、コンテンツファイルの要求において、MPDにおいて定義される識別情報の代わりに、MPDにおいて定義されるregion情報（regionの位置や大きさ等）が記述されるようにしてもよい。この場合、MPDファイルには、取得可能な部分領域の組合せそれぞれでアダプテーションセットが記述される。例えば部分領域A+Bのアダプテーションセット、部分領域A+Cのアダプテーションセットといったように、部分領域の組み合わせ毎にアダプテーションセットが定義される。したがって、コンテンツファイルの要求においては、URLによって、要求する部分領域が指定される。つまり、URLパラメータは付加されない。配信サーバ１１２の生成部１５３は、指定されたURLに対応するregionInfoのregionをすべて含むVVC trackを生成する。
　例えば、配信サーバ１１２の生成部１５３は、コンテンツファイルの配信を制御する制御ファイル（MPDファイル）においてアダプテーションセットとして定義されるregionの内、コンテンツファイルの要求において指定されたregionを含む部分領域１２１を構成するサブピクチャ１１を抽出可能なメタデータ（VVC extraction base track１６３）を選択し、その選択したメタデータを用いてピクチャ１０のビットストリームから部分領域１２１のビットストリームを抽出してもよい。
　　＜方法１－２＞
　方法１が適用される場合、図４に示される表の最下段に示されるように、VVC extraction base trackに、部分領域ファイル生成情報が格納されるようにしてもよい（方法１－２）。例えば、その部分領域ファイル生成情報が、配信サーバ１１２が上述の方法１を適用し、部分領域のビットストリームの生成が可能であることを示す情報を含むようにしてもよい。換言するに、ファイル生成装置１１１の前処理部１４２が、配信サーバ１１２において部分領域１２１のビットストリームの生成が可能であることを示す情報を含む部分領域ファイル生成情報を生成してもよい。
　例えば、MPDファイルの、サブピクチャ１１を抽出するためのメタデータ（VVC extraction base track１６３）に対応するアダプテーションセットに、図１８に示されるような記述を格納してもよい。つまり、サプリメントプロパティ（SupplementalProperty）において、配信サーバ１１２において部分領域１２１のビットストリームの生成が可能であることを示すメタデータ（schemeType＝“ServerExtraction”）を記述してもよい。このような記述により、MPDファイルを解析するクライアント装置１１３のファイル処理部１８２は、この記述に基づいて、配信サーバ１１２が、このメタデータ（VVC extraction base track１６３）を用いることにより、部分領域１２１のビットストリームを生成することができることを把握することができる。そして、ファイル取得部１８１は、その把握を前提として、配信サーバ１１２に対して、少なくとも切り出し領域１２を含む領域のビットストリームを要求することができる。つまり、ファイル取得部１８１は、配信サーバ１１２が対応可能な要求を行うことができる。したがって、配信サーバ１１２は、より確実に、クライアント装置１１３からの要求に応じた処理を行うことができる。
　つまり、この場合、クライアント装置１１３のファイル取得部１８１は、コンテンツファイルの要求において、配信サーバ１１２が使用するメタデータ（VVC extraction base track１６３）を指定することにより、要求する部分領域１２１を指定する。例えば、クライアント装置１１３のファイル取得部１８１は、コンテンツファイルの要求において、以下の記述のように、配信サーバ１１２が使用するメタデータ（VVC extraction base track１６３）を、URLを用いて指定し、そのURLに下記のようなURLパラメータ（URL parameter）を付加する。
　http://hoge.com/vvc_extraction_base_track.mp4?ServerExtraction
　この記述において、「http://hoge.com/vvc_extraction_base_track.mp4」は、サブピクチャを抽出するためのメタデータ（VVC extraction base track１６３）を指定するURLの例を示す。「ServerExtraction」は、部分領域１２１の抽出を要求するURLパラメータである。
　そして、配信サーバ１１２の生成部１５３は、そのURLパラメータが付加されている場合、そのURLにより指定されたメタデータ（VVC extraction base track１６３）を用いて、部分領域１２１の抽出を行う。例えば、配信サーバ１１２の生成部１５３は、コンテンツファイルの要求において指定された、サブピクチャ１１を抽出するためのメタデータ（VVC extraction base track１６３）を用いて、ピクチャ１０のビットストリームから部分領域１２１のビットストリームを抽出してもよい。
　この場合に図１０のステップＳ１２３において配信サーバ１１２の生成部１５３により実行されるトラック生成処理の流れの例を、図１９のフローチャートを参照して説明する。
　ステップＳ２６１において、配信サーバ１１２の生成部１５３は、コンテンツファイルの要求において指定されたVVC extraction base track１６３とVVC track１６２とを記憶部１５２から読み出し、それらの読み出した情報を用いてサンプル（sample）を再構成し、切り出し領域１２を含む部分領域１２１のビットストリームを生成する。つまり、生成部１５３は、コンテンツファイルの要求において指定されたVVC extraction base track１６３を用いて、ピクチャ１０のビットストリームから部分領域１２１のビットストリームを抽出する。そして、生成部１５３は、新たにコンテンツファイル（VVC track）を生成し、そこに部分領域１２１のビットストリームを格納する。ステップＳ２６１の処理が終了すると、トラック生成処理が終了し、処理は図１０に戻る。
　このようにすることにより、配信サーバ１１２が生成可能な領域のVVC trackをクライアント装置１１３に対して明示することができる。
　なお、コンテンツファイルの要求においてgroup_idを指定してもよい。VVC extraction base track１６３は抽出可能な部分領域を選択可能な場合がある。その場合、その抽出可能な候補の中から抽出する部分領域を、group_idを用いて指定してもよい。その場合、コンテンツファイルの要求は、方法１－１－２の場合と同様である。方法１－２において上述したURLパラメータ（ServerExtraction）の付加は省略することができる。
　また、MPDファイルにおいて、ServerExtraction専用のアダプテーションセットを記述してもよい。その場合は、下記のように、サンプルプロパティ（Supplemental property）ではなくエッセンシャルプロパティ（EssentialProperty）により指定する。URLはServerExtraction用を指定する。
　＜EssentialProperty schemeType＝“ServerExtraction” /＞
　この場合、方法１－２において上述したURLパラメータ（ServerExtraction）の付加は省略することができる。また、コンテンツファイルの要求においてgroup_idを指定してもよい。このアダプテーションセットで示されるファイルにアクセスされた場合、そのファイルが配信サーバ１１２にあるかのように扱われる。
　＜４．サブピクチャのマージ＞
　　＜方法２＞
　また、例えば、図２０に示される表の上から２段目に示されるように、配信サーバ１１２がサブピクチャ１１をマージ（merge）するマージ処理を行うことにより、部分領域１２１のビットストリームを生成してもよい（方法２）。上述のように部分領域１２１はサブピクチャ１１により構成される領域であるので、配信サーバ１１２は、サブピクチャ１１のビットストリームを復号せずに、部分領域１２１のビットストリームを生成することができる。
　この場合、配信サーバ１１２の記憶部１５２は、図２１に示されるように、MPDファイル３１１を記憶する。また、記憶部１５２は、サブピクチャ１１をマージするためのメタデータを格納するメタデータファイルであるVVC merge base track３１２を記憶する。さらに、記憶部１５２は、サブピクチャ#1のビットストリームを格納するコンテンツファイルであるVVC subpicture track３１３－１、サブピクチャ#2のビットストリームを格納するコンテンツファイルであるVVC subpicture track３１３－２、・・・を記憶する。各サブピクチャ１１のビットストリームを格納するコンテンツファイルを互いに区別して説明する必要が無い場合、VVC subpicture track３１３と称する。つまり、記憶部１５２は、ピクチャ１０を構成する各サブピクチャについてのVVC subpicture track３１３を記憶する。
　なお、VVC merge base track３１２は、任意の２つのVVC subpicture track３１３をマージするためのメタデータファイルである。マージされるVVC subpicture track３１３の数は任意である。マージされるVVC subpicture track３１３の数毎にVVC merge base trackを用意すればよい。つまり、図２１においては、VVC merge base track３１２のみが示されているが、記憶部１５２は、VVC merge base track３１２以外にも、３以上のVVC subpicture track３１３をマージするためのメタデータファイルを記憶してもよい。
　なお、VVC merge base track３１２は、ファイル生成装置１１１により生成され、MPDファイル３１１やVVC subpicture track３１３とともに配信サーバ１１２へアップロードされる。記憶部１５２は、アップロードされたこれらのファイルを記憶する。
　生成部１５３は、クライアント装置１１３からの要求に対応するサブピクチャ１１（要求された切り出し領域１２を含む部分領域１２１を構成するサブピクチャ１１）を同定する。生成部１５３は、その同定したサブピクチャ１１をマージ可能なVVC merge base track３１２を選択する。生成部１５３は、その選択したVVC merge base track３１２と、同定したサブピクチャ１１のVVC subpicture track３１３とを記憶部１５２から読み出す。そして、生成部１５３は、読み出したVVC merge base track３１２を用いて、読み出した各VVC subpicture track３１３（各VVC subpicture track３１３に格納されるサブピクチャ１１のビットストリーム）をマージすることにより、要求された部分領域１２１のビットストリームを生成する。そして、生成部１５３は、新たなVVC trackを生成し、その部分領域１２１のビットストリームを格納する。そして、生成部１５３は、そのVVC trackを通信部１５１に供給し、クライアント装置１１３へ送信させる。
　このようにすることにより、配信サーバ１１２は、ピクチャ１０のビットストリームを復号せずに（すなわち容易に）、部分領域１２１のビットストリームを生成することができる。したがって、配信サーバ１１２の負荷の増大を抑制することができる。
　なお、サブピクチャ１１をマージして部分領域１２１のビットストリームを生成する処理は、クライアント装置１１３において行われるようにしてもよいが、配信サーバ１１２においてこのマージ処理を行うことにより、クライアント装置１１３の処理の負荷の増大をより抑制することができる。
　　＜方法２－１＞
　方法２が適用される場合、図２０に示される表の上から３段目に示されるように、MPDファイルのピクチャ１０全体のビットストリームを格納するコンテンツファイル（VVC track）のアダプテーションセットに、部分領域ファイル生成情報が格納されるようにしてもよい（方法２－１）。例えば、その部分領域ファイル生成情報が、配信サーバ１１２が上述の方法２を適用し、部分領域のビットストリームの生成が可能であることを示す情報を含むようにしてもよい。換言するに、ファイル生成装置１１１の前処理部１４２が、配信サーバ１１２において部分領域１２１のビットストリームの生成が可能であることを示す情報を含む部分領域ファイル生成情報を生成してもよい。
　例えば、図１２に示されるように、MPDファイルのピクチャ１０全体のビットストリームを格納するコンテンツファイル（VVC track）に対応するアダプテーションセットのサプリメントプロパティ（SupplementalProperty）において、配信サーバ１１２において部分領域１２１のビットストリームの生成が可能であることを示すメタデータ（schemeType＝"RegionRepresentationRemux"）を記述してもよい。このような記述により、MPDファイルを解析するクライアント装置１１３のファイル処理部１８２は、この記述に基づいて、配信サーバ１１２において部分領域１２１のビットストリームの生成が可能であることを把握することができる。そして、ファイル取得部１８１は、その把握を前提として、配信サーバ１１２に対して、少なくとも切り出し領域１２を含む領域のビットストリームを要求することができる。つまり、ファイル取得部１８１は、配信サーバ１１２が対応可能な要求を行うことができる。したがって、配信サーバ１１２は、より確実に、クライアント装置１１３からの要求に応じた処理を行うことができる。
　さらに、この部分領域ファイル生成情報において、配信サーバ１１２が処理可能なメタデータの種類を指定してもよい。換言するに、ファイル生成装置１１１の前処理部１４２が、配信サーバ１１２が処理することができる情報の種類を指定する情報を含む部分領域ファイル生成情報を生成してもよい。
　例えば、図１３に示されるように、MPDファイルのピクチャ１０全体のビットストリームを格納するコンテンツファイル（VVC track）に対応するアダプテーションセットのサプリメントプロパティ（SupplementalProperty）において、配信サーバ１１２において配信サーバ１１２が処理可能なメタデータの種類（value＝"＊＊＊"）を指定してもよい。「＊＊＊」には、＜方法１－１＞において説明したのと同様のメタデータが記述される。
　　＜方法２－１－１＞
　上述の方法２－１が適用される場合、図２０に示される表の上から４段目に示されるように、上述のコンテンツファイルの要求（クライアント装置１１３から配信サーバ１１２への要求）において、取得したい切り出し領域１２が座標等で指定されてもよい（方法２－１－１）。つまり、クライアント装置１１３のファイル取得部１８１が、取得したい切り出し領域１２を座標等で指定するパラメータを含むコンテンツファイルの要求を生成してもよい。換言するに、配信サーバ１１２の生成部１５３は、コンテンツファイルの要求において座標を用いて指定された切り出し領域１２を含むサブピクチャ１１を同定し、その同定したサブピクチャ１１を抽出可能なメタデータ（VVC merge base track３１２）を選択し、その選択したメタデータを用いて、同定したサブピクチャ１１のビットストリーム（VVC subpicture track３１３）をマージすることにより、部分領域１２１のビットストリームを生成してもよい。
　例えば、クライアント装置１１３のファイル取得部１８１は、コンテンツファイルの要求において、要求するコンテンツファイルを指定するURLに、＜方法２－１－１＞において上述したようなURLパラメータ（URL parameter）を付加する。配信サーバ１１２の生成部１５３は、これらのパラメータにより指定される領域を、クライアント装置１１３が要求する切り出し領域１２として特定する。
　この場合に図１０のステップＳ１２３において配信サーバ１１２の生成部１５３により実行されるトラック生成処理の流れの例を、図２２のフローチャートを参照して説明する。
　ステップＳ３０１において、配信サーバ１１２の生成部１５３は、VVC subpicture track３１３のtrif sample groupおよびsulm sample groupを利用して、要求された切り出し領域１２を含むサブピクチャ１１（つまり、そのサブピクチャ１１のビットストリームを格納するVVC subpicture track３１３）を同定する。ステップＳ３０２において、生成部１５３は、同定したサブピクチャ１１のビットストリーム（VVC subpicture track３１３）をマージするのに必要なメタデータ（VVC merge base track３１２）を選択し、記憶部１５２から読み出す。ステップＳ３０３において、生成部１５３は、その読み出したVVC merge base track３１２と同定したVVC subpicture track３１３とを用いてサンプル（sample）を再構成し、切り出し領域１２を含む部分領域１２１のビットストリームを生成する。つまり、生成部１５３は、VVC merge base track３１２に基づいて、同定したサブピクチャ１１のビットストリームをマージすることにより、部分領域１２１のビットストリームを生成する。そして、生成部１５３は、新たにコンテンツファイル（VVC track）を生成し、そこに部分領域１２１のビットストリームを格納する。ステップＳ３０３の処理が終了すると、トラック生成処理が終了し、処理は図１０に戻る。
　このようにすることにより、クライアント装置１１３は、取得したい切り出し領域１２をより直接的に指定することができるので、他の情報を解釈する等の処理が必要なく、より容易にコンテンツファイルの要求を行うことができる。また、その要求を受ける配信サーバ１１２は、より直接的に切り出し領域１２を指定されるので、要求された切り出し領域１２をより確実に特定することができる。
　なお、この場合、配信サーバ１１２が、部分領域１２１のビットストリームの配信だけでなく、切り出し領域１２のビットストリームの配信も行うことができるようにしてもよい。つまり、配信サーバ１１２が、ピクチャ１０のビットストリームを復号し、切り出し領域１２を抽出し、符号化することにより切り出し領域１２のビットストリームを生成し、その切り出し領域１２のビットストリームを配信することができるようにしてもよい。
　その場合、コンテンツファイルの要求において、部分領域１２１のビットストリームの配信に対して切り出し領域１２のビットストリームの配信を優先させることが指定されてもよい。例えば、データサイズ優先（リクエストした切り出し領域１２のみ）で生成することをリクエストする場合、クライアント装置１１３のファイル取得部１８１が、URLパラメータに「priority_size_req」を付加してもよい。そして、リクエストにその「priority_size_req」が付加されている場合、配信サーバ１１２の生成部１５３が、状況に応じて、部分領域１２１のビットストリームを生成する代わりに切り出し領域１２のビットストリームを生成するようにしてもよい。例えば、生成部１５３が、配信サーバ１１２の処理の負荷に余裕がある場合、要求された切り出し領域１２のビットストリームを生成し、負荷に余裕がない場合、要求された切り出し領域１２を含む部分領域１２１のビットストリームを生成してもよい。
　なお、このURLパラメータに「priority_size_req」が付加されていない場合、生成部１５３は、切り出し領域１２の生成は行わずに、部分領域１２１のビットストリームの生成のみを行う。
　例えば、クライアント装置１１３のファイル取得部１８１は、取得したい切り出し領域１２のビットストリームの配信を優先させることを指定するパラメータを含むコンテンツファイルの要求を生成してもよい。
　そして、例えば、生成部１５３は、サブピクチャのビットストリームを要求された場合、部分領域のビットストリームを生成し、切り出し領域のビットストリームを要求された場合、ピクチャのビットストリームを復号し、そのピクチャから切り出し領域を切り出して符号化することにより切り出し領域のビットストリームを生成してもよい。
　このようにすることにより、配信サーバ１１２からクライアント装置１１３へのデータ伝送量の増大をより抑制することができる。
　また、配信されるコンテンツが360度映像の場合は、コンテンツファイルの要求において、取得したい切り出し領域１２が表示領域（Viewport）に関するパラメータを用いて指定されてもよい。表示領域に関するパラメータは、方法１－１－１の場合と同様、任意である。
　例えば、クライアント装置１１３のファイル取得部１８１は、取得したい切り出し領域１２を指定する、表示領域（Viewport）に関するパラメータを含むコンテンツファイルの要求を生成してもよい。換言するに、配信サーバ１１２の生成部１５３は、コンテンツファイルの要求において表示領域に関する情報を用いて指定された切り出し領域１２を含むサブピクチャ１１を同定し、その同定したサブピクチャ１１をマージ可能なメタデータを選択し、選択したメタデータを用いて、同定したサブピクチャ１１のビットストリームをマージし、マージしたサブピクチャ１１により構成される部分領域１２１のビットストリームを生成してもよい。
　　＜方法２－１－２＞
　上述の方法２－１が適用される場合、図２０に示される表の上から５段目に示されるように、上述のコンテンツファイルの要求（クライアント装置１１３から配信サーバ１１２への要求）において、VVC track内のtrif sample groupから必要な部分を含む領域（region）のgroup idを指定してもよい（方法２－１－２）。方法１－１－２の場合と同様に、必要とする部分を含むregionを示すgroup_idをURLパラメータとして付加するようにする。
　例えば、クライアント装置１１３のファイル取得部１８１は、trif sample groupのregionを識別する識別情報（group_id）を含むコンテンツファイルの要求を生成してもよい。換言するに、配信サーバ１１２の生成部１５３は、要求において識別情報（group_id）を用いて指定されたregionをマージ可能なメタデータ（VVC merge base track３１２）を選択し、その選択したメタデータを用いて、region（VVC subpicture track３１３）をマージすることにより、部分領域１２１のビットストリームを生成してもよい。
　その場合に図１０のステップＳ１２３において配信サーバ１１２の生成部１５３により実行されるトラック生成処理の流れの例を、図２３のフローチャートを参照して説明する。
　ステップＳ３２１において、配信サーバ１１２の生成部１５３は、コンテンツファイルの要求に含まれるURLパラメータのgroup_idのregion情報のビットストリームを格納するコンテンツファイル（VVC subpicture track３１３）を選択し、記憶部１５２から読み出す。つまり、group_idで示されるregionによってサブピクチャ１１が選択され、そのビットストリームを格納するVVC subpicture track３１３が選択される。
　ステップＳ３２２において、配信サーバ１１２の生成部１５３は、選択したサブピクチャ１１（VVC subpicture track３１３）をマージ可能なメタデータ（VVC merge base track３１２）を選択し、記憶部１５２から読み出す。ステップＳ３２３において、生成部１５３は、その読み出したVVC merge base track３１２とVVC subpicture track３１３とを用いてサンプル（sample）を再構成し、切り出し領域１２を含む部分領域１２１のビットストリームを生成する。つまり、生成部１５３は、VVC merge base track３１２に基づいて、選択したサブピクチャ１１のビットストリームをマージすることにより部分領域１２１のビットストリームを生成する。そして、生成部１５３は、新たにコンテンツファイル（VVC track）を生成し、そこに部分領域１２１のビットストリームを格納する。ステップＳ３２３の処理が終了すると、トラック生成処理が終了し、処理は図１０に戻る。
　このようにすることにより、配信サーバ１１２は、処理の負荷の増大を抑制することができる。
　なお、上述のgroup idの代わりに、spid sample groupのsubpic_idを用いて必要な部分を含むregionが指定されるようにしてもよい。subpic_idは、サブピクチャ１１を識別する識別情報である。
　例えば、クライアント装置１１３のファイル取得部１８１は、サブピクチャ１１を示す識別情報（subpic_id）を含むコンテンツファイルの要求を生成してもよい。換言するに、配信サーバ１１２の生成部１５３は、要求において識別情報（subpic_id）を用いて指定されたサブピクチャ１１（VVC subpicture track３１３）をマージ可能なメタデータ（VVC merge base track３１２）を選択し、その選択したメタデータを用いて、指定されたサブピクチャ１１（VVC subpicture track３１３）をマージし、部分領域１２１のビットストリームを生成してもよい。
　　＜方法２－１－３＞
　上述の方法２－１が適用される場合、図２０に示される表の上から６段目に示されるように、MPDファイルにコンテンツファイル（VVC track）のアダプテーションセットに、region情報を示すサプリメントプロパティ（Supplemental property）のregionInfoを付加してもよい（方法２－１－３）。例えば、図１６に示されるように、MPDファイルにおいて、regionとその識別情報（region id）が定義され、コンテンツファイルの要求において、その識別情報を用いて切り出し領域１２を含むregionが指定されるようにする。
　例えば、ファイル生成装置１１１の前処理部１４２は、部分領域ファイル生成情報として図１６に示されるような記述を生成し、ファイル生成部１４４は、その記述をコンテンツファイルの配信を制御する制御ファイル（MPDファイル）に格納してもよい。また、クライアント装置１１３のファイル取得部１８１は、コンテンツファイルの配信を制御する制御ファイル（MPDファイル）において定義される識別情報（region id）を含むコンテンツファイルの要求を生成してもよい。つまり、ファイル取得部１８１は、その要求において、切り出し領域１２を含むregionのregion idを指定してもよい。さらに、配信サーバ１１２の生成部１５３は、コンテンツファイルの配信を制御する制御ファイル（MPDファイル）において定義される識別情報（region id）を用いて指定されたregionを含む部分領域１２１を構成するサブピクチャ１１をマージ可能なメタデータ（VVC merge base track３１２）を選択し、その選択したメタデータを用いてサブピクチャ１１（VVC subpicture track３１３）をマージすることにより、部分領域１２１のビットストリームを生成してもよい。
　その場合に図１０のステップＳ１２３において配信サーバ１１２の生成部１５３により実行されるトラック生成処理の流れの例を、図２４のフローチャートを参照して説明する。
　ステップＳ３４１において、配信サーバ１１２の生成部１５３は、コンテンツファイルの要求に含まれるURLパラメータのidで示されるregion（VVC subpicture track３１３）を選択し、記憶部１５２から読み出す。ステップＳ３４２において、生成部１５３は、その選択したサブピクチャ１１をマージ可能なメタデータ（VVC merge base track３１２）を選択し、記憶部１５２から読み出す。ステップＳ３４３において、生成部１５３は、その読み出したVVC merge base track３１２とVVC subpicture track３１３とを用いてサンプル（sample）を再構成し、切り出し領域１２を含む部分領域１２１のビットストリームを生成する。つまり、生成部１５３は、VVC merge base track３１２に基づいて、regionにより示されるサブピクチャ１１のビットストリームをマージすることにより、部分領域１２１のビットストリームを生成する。そして、生成部１５３は、新たにコンテンツファイル（VVC track）を生成し、そこに部分領域１２１のビットストリームを格納する。ステップＳ３４３の処理が終了すると、トラック生成処理が終了し、処理は図１０に戻る。
　このようにすることにより、クライアント装置１１３は、より確実に、配信サーバ１１２が抽出可能な部分領域１２１を指定することができる。
　なお、コンテンツファイルの要求において、MPDにおいて定義される識別情報の代わりに、MPDにおいて定義される取得可能な部分領域１２１の情報が記述されるようにしてもよい。この場合、MPDファイルには、取得可能な部分領域の組合せそれぞれでアダプテーションセットが記述される。例えば部分領域A+Bのアダプテーションセット、部分領域A+Cのアダプテーションセットといったように、部分領域の組み合わせ毎にアダプテーションセットが定義される。したがって、コンテンツファイルの要求においては、URLによって、要求する部分領域が指定される。つまり、URLパラメータは付加されない。配信サーバ１１２の生成部１５３は、指定されたURLに対応するregionInfoのregionをすべて含むVVC trackを生成する。
　例えば、配信サーバ１１２の生成部１５３は、コンテンツファイルの配信を制御する制御ファイル（MPDファイル）においてアダプテーションセットとして定義される部分領域の内、コンテンツファイルの要求において指定された部分領域を構成するサブピクチャ１１をマージ可能なメタデータ（VVC merge base track３１２）を選択し、その選択したメタデータを用いてサブピクチャ１１（VVC subpicture track３１３）をマージし、部分領域１２１のビットストリームを生成してもよい。
　　＜方法２－２＞
　方法２が適用される場合、図２０に示される表の最下段に示されるように、VVC merge base trackに、部分領域ファイル生成情報が格納されるようにしてもよい（方法２－２）。例えば、その部分領域ファイル生成情報が、配信サーバ１１２が上述の方法２を適用し、部分領域のビットストリームの生成が可能であることを示す情報を含むようにしてもよい。換言するに、ファイル生成装置１１１の前処理部１４２が、配信サーバ１１２において部分領域１２１のビットストリームの生成が可能であることを示す情報を含む部分領域ファイル生成情報を生成してもよい。
　例えば、MPDファイルの、サブピクチャ１１を抽出するためのメタデータ（VVC merge base track３１２）に対応するアダプテーションセットに、図２５に示されるような記述を格納してもよい。つまり、サプリメントプロパティ（SupplementalProperty）において、配信サーバ１１２において部分領域１２１のビットストリームの生成が可能であることを示すメタデータ（schemeType＝“ServerMerge”）を記述してもよい。このような記述により、MPDファイルを解析するクライアント装置１１３のファイル処理部１８２は、この記述に基づいて、配信サーバ１１２が、このメタデータ（VVC merge base track３１２）を用いることにより、部分領域１２１のビットストリームを生成することができることを把握することができる。そして、ファイル取得部１８１は、その把握を前提として、配信サーバ１１２に対して、少なくとも切り出し領域１２を含む領域のビットストリームを要求することができる。つまり、ファイル取得部１８１は、配信サーバ１１２が対応可能な要求を行うことができる。したがって、配信サーバ１１２は、より確実に、クライアント装置１１３からの要求に応じた処理を行うことができる。
　つまり、この場合、クライアント装置１１３のファイル取得部１８１は、コンテンツファイルの要求において、配信サーバ１１２が使用するメタデータ（VVC merge base track３１２）を指定することにより、要求する部分領域１２１を指定する。例えば、クライアント装置１１３のファイル取得部１８１は、コンテンツファイルの要求において、以下の記述のように、配信サーバ１１２が使用するメタデータ（VVC merge base track３１２）を、URLを用いて指定し、そのURLに下記のようなURLパラメータ（URL parameter）を付加する。
　http://hoge.com/vvc_merge_base_track.mp4?ServerMerge
　この記述において、「http://hoge.com/vvc_merge_base_track.mp4」は、サブピクチャをマージするためのメタデータ（VVC merge base track３１２）を指定するURLの例を示す。「ServerMerge」は、サブピクチャ１１のマージを要求するURLパラメータである。
　そして、配信サーバ１１２の生成部１５３は、そのURLパラメータが付加されている場合、そのURLにより指定されたメタデータ（VVC merge base track３１２）を用いて、サブピクチャ１１のマージを行う。例えば、配信サーバ１１２の生成部１５３は、コンテンツファイルの要求において指定された、サブピクチャ１１をマージするためのメタデータ（VVC merge base track３１２）を用いて、サブピクチャ１１をマージすることにより、部分領域１２１のビットストリームを生成してもよい。
　この場合に図１０のステップＳ１２３において配信サーバ１１２の生成部１５３により実行されるトラック生成処理の流れの例を、図２６のフローチャートを参照して説明する。
　ステップＳ３６１において、配信サーバ１１２の生成部１５３は、コンテンツファイルの要求において指定されたメタデータ（VVC merge base track３１２）から、利用するサブピクチャ１１（VVC subpicture track３１３）を特定する。ステップＳ３６２において、生成部１５３は、特定したサブピクチャ１１（VVC subpicture track３１３）を用いて、サンプル（sample）を再構成し、切り出し領域１２を含む部分領域１２１のビットストリームを生成する。つまり、生成部１５３は、コンテンツファイルの要求において指定されたVVC merge base track３１２を用いてサブピクチャ１１をマージすることにより、部分領域１２１のビットストリームを抽出する。そして、生成部１５３は、新たにコンテンツファイル（VVC track）を生成し、そこに部分領域１２１のビットストリームを格納する。つまり、生成部１５３は、特定したサブピクチャ１１（VVC subpicture track３１３）をマージする。ステップＳ３６２の処理が終了すると、トラック生成処理が終了し、処理は図１０に戻る。
　このようにすることにより、配信サーバ１１２が生成可能な領域のVVC trackをクライアント装置１１３に対して明示することができる。
　なお、コンテンツファイルの要求においてtrack_idを指定してもよい。VVC extraction base track１６３はマージ可能なトラック（track）を選択可能な場合がある。その場合、マージするトラック（track）を、track_idを用いて指定してもよい。例えば、track_id＝1と2を取得する場合、以下のように記述する。
　http://hoge.com/vvc_merge_base_track.mp4?ServerMerge&track_id＝1&track_id＝2
　この記述において、「http://hoge.com/vvc_merge_base_track.mp4」は、要求するコンテンツファイルを指定するURLの例を示す。「ServerMerge」は、配信サーバ１１２に対してマージ処理を要求するURLパラメータである。「track_id＝1&track_id＝2」は、track_id＝1に対応する部分領域とtrack_id＝2に対応する部分領域を示すURLパラメータである。なお、URLパラメータ「ServerMerge」は省略してもよい。
　また、MPDファイルにおいて、ServerMerge専用のアダプテーションセットを記述してもよい。その場合は、下記のように、サンプルプロパティ（Supplemental property）ではなくエッセンシャルプロパティ（EssentialProperty）により指定する。URLはServerMerge用を指定する。
　＜EssentialProperty schemeType＝“ServerMerge” /＞
　この場合、方法２－２において上述したURLパラメータ（ServerMerge）の付加は省略することができる。また、コンテンツファイルの要求においてtrack_idを指定してもよい。このアダプテーションセットで示されるファイルにアクセスされた場合、そのファイルが配信サーバ１１２にあるかのように扱われる。
　＜５．部分領域情報＞
　　＜方法３＞
　配信サーバ１１２からクライアント装置１１３に配信される部分領域１２１が元のピクチャ１０における位置を示す情報を部分領域情報としてMPDファイルに格納してもよい。例えば、図２７の表の上から２段目に示されるように、その部分領域１２１を構成するサブピクチャ１１の、ピクチャ１０における位置を示す情報をMPDファイルに格納してもよい（方法３）。なお、この場合、配信サーバ１１２は、上述した方法１を適用し、ピクチャ１０から部分領域１２１を抽出する処理（extraction処理）によりVVC trackを生成してもよいし、上述した方法２を適用し、サブピクチャ１１をマージするマージ処理（merge処理）によりVVC trackを生成してもよい。つまり、方法３は、方法１（図４を参照して説明した各方法を含む）および方法２（図２０を参照して説明した各方法を含む）の両方に適用し得る。
　例えば、ファイル生成装置１１１の前処理部１４２（部分領域ファイル生成情報生成部）は、部分領域１２１を構成するサブピクチャ１１の、動画像のピクチャ１０における位置を示す部分領域情報をさらに生成してもよい。そして、ファイル生成部１４４は、その部分領域情報をMPDファイル（制御ファイル）に格納してもよい。
　また、クライアント装置１１３の表示情報生成部１８４（切り出し部）は、そのMPDファイル（制御ファイル）に含まれる部分領域情報に基づいて、配信サーバ１１２から配信された部分領域１２１から切り出し領域１２を切り出し、表示情報（表示画像等）を生成する。
　例えば図１に示されるように、切り出し領域１２が複数のサブピクチャ１１に係り、部分領域１２１が複数のサブピクチャで構成される場合、各サブピクチャの部分領域１２１における位置関係が、元のピクチャ１０における位置関係が互いに異なることがあり得る。切り出し領域１２は、元のピクチャ１０における位置関係に従って形成されているので、それらの位置関係が互いに異なる場合、クライアント装置１１３の表示情報生成部１８４が部分領域１２１における位置関係に従うと、切り出し領域１２を正しく切り出せない可能性があった。
　上述のように部分領域情報をクライアント装置１１３に提供することにより、クライアント装置１１３の表示情報生成部１８４は、その部分領域情報に基づいて、部分領域１２１を構成するサブピクチャ１１の、元のピクチャ１０における位置を把握することができる。したがって、表示情報生成部１８４は、そのサブピクチャ１１が部分領域１２１においてどのような位置関係で構成されていても、切り出し領域１２を正しく切り出すことができる。換言するに、表示情報生成部１８４は、部分領域を構成するサブピクチャが元のピクチャ１０においてどのような位置関係であっても、切り出し領域１２を正しく切り出すことができる。
　方法３を適用する場合において、部分領域情報は、部分領域１２１を構成するサブピクチャ１１の、動画像のピクチャ１０における位置を示す情報を含むものであれば、どのような情報が含まれていてもよい。例えば、部分領域情報が、サブピクチャ１１の上端の、ピクチャ１０における位置を示す情報を含んでもよい。また、部分領域情報が、サブピクチャ１１の左端の、ピクチャ１０における位置を示す情報を含んでもよい。
　また、部分領域情報が、サブピクチャ１１の大きさを示す情報をさらに含んでもよい。例えば、部分領域情報が、サブピクチャ１１の縦方向の大きさを示す情報をさらに含んでもよい。また、部分領域情報が、サブピクチャ１１の横方向の大きさを示す情報をさらに含んでもよい。
　また、部分領域情報が、サブピクチャ１１の部分領域１２１における位置を示す情報をさらに含んでもよい。例えば、部分領域情報が、サブピクチャ１１の上端の、部分領域１２１における位置を示す情報をさらに含んでもよい。また、部分領域情報が、サブピクチャ１１の左端の、部分領域１２１における位置を示す情報をさらに含んでもよい。
　　＜方法３－１＞
　方法３が適用される場合、図２７に示される表の上から３段目に示されるように、制御ファイル（MPDファイル）において、部分領域１２１の候補毎にアダプテーションセットを分けて部分領域情報を示すようにしてもよい。また、部分領域情報は、部分領域１２１を構成するサブピクチャの部分領域における位置を示す情報をさらに含んでもよい（方法３－１）。
　例えば、ファイル生成装置１１１のファイル生成部１４４は、部分領域１２１の各候補の部分領域情報を、MPDファイルの互いに異なるアダプテーションセットに格納してもよい。
　図２８は、その場合のMPDファイルの一部の記述例を示す図である。ピクチャ１０が複数のサブピクチャ１１により構成される場合、部分領域１２１とするサブピクチャ１１の組み合わせ（単数のサブピクチャ１１を部分領域１２１とする場合も含む）は、複数通り考えられる。その各組み合わせを部分領域１２１の候補とし、MPDファイルには、その各候補について部分領域情報が格納される。つまり、MPDファイルにおいては、部分領域１２１として選択可能なサブピクチャ１１の組み合わせ毎に、各サブピクチャ１１の部分領域１２１における位置が示される。
　図２８の四角枠４０１の内部に示される記述例は、１つの候補の部分領域情報の記述例を示す。同様に、四角枠４０２の内部に示される記述例は、他の候補の部分領域情報の記述例を示す。この記述例においては、方法３－１が適用されている。したがって、四角枠４０１の内部に示される部分領域情報と、四角枠４０２の内部に示される部分領域情報とは、互いに異なるアダプテーションセットに格納される。つまり、この記述例の場合、部分領域１２１の各候補の部分領域情報が、MPDファイルの互いに異なるアダプテーションセットに格納される。
　図２８の四角枠４０１の内部に示される記述例および四角枠４０２の内部に示される記述例において、region_topの値は、サブピクチャ１１の上端のピクチャ１０における位置（縦方向の座標（y座標））を示す。region_leftの値は、サブピクチャ１１の左端のピクチャ１０における位置（横方向の座標（x座標））を示す。region_heightの値は、サブピクチャ１１のピクチャ１０における縦方向の大きさ（高さ）を示す。region_widthの値は、サブピクチャ１１のピクチャ１０における横方向の大きさ（幅）を示す。また、packed_topの値は、サブピクチャ１１の上端の部分領域１２１における位置（縦方向の座標（y座標））を示す。packed_leftの値は、サブピクチャ１１の左端の部分領域１２１における位置（横方向の座標（x座標））を示す。packed_heightの値は、サブピクチャ１１の部分領域１２１における縦方向の大きさ（高さ）を示す。packed_widthの値は、サブピクチャ１１の部分領域１２１における横方向の大きさ（幅）を示す。
　例えば、図２９に示されるように、ピクチャ４１０が、サブピクチャ４１１－１乃至サブピクチャ４１１－６により構成されるとする。サブピクチャ４１１－１乃至サブピクチャ４１１－６を互いに区別して説明する必要が無い場合、サブピクチャ４１１と称する。各サブピクチャ４１１の大きさは、高さ512x幅512であるとする。
　図２８の記述例では、このようなピクチャ４１０から、サブピクチャ４１１－１およびサブピクチャ４１１－２により構成される部分領域４２１と、サブピクチャ４１１－１およびサブピクチャ４１１－４により構成される部分領域４２２とを生成し得ることが示されている。つまり、部分領域４２１および部分領域４２２が候補とされ、それぞれについて部分領域情報が示されている。
　例えば、四角枠４０１の内部に示される記述例では、部分領域４２１が、左上端の座標が（0,0）であり（packed_top=0, packed_left=0）大きさが512x512である（packed_height=512, packed_width=512）第１のサブピクチャ（２行目）と、左上端の座標が（512,0）であり（packed_top=0, packed_left=512）大きさが512x512である（packed_height=512, packed_width=512）第２のサブピクチャ（３行目）とにより構成されることが示されている。そして、第１のサブピクチャの、ピクチャ４１０における左上端の座標が（0,0）であり（region_top=0, region_left=0）、ピクチャ４１０における大きさが512x512である（region_height=512, region_width=512）ことが示されている。同様に、第２のサブピクチャの、ピクチャ４１０における左上端の座標が（512,0）であり（region_top=0, region_left=512）、ピクチャ４１０における大きさが512x512である（region_height=512, region_width=512）ことが示されている。つまり、この候補（部分領域４２１）が、図２９の右上に示されるように、横方向に並べて配置されたサブピクチャ４１１－１およびサブピクチャ４１１－２により構成されていることが示されている。
　これに対して、四角枠４０２の内部に示される記述例では、部分領域４２２が、左上端の座標が（0,0）であり（packed_top=0, packed_left=0）大きさが512x512である（packed_height=512, packed_width=512）第１のサブピクチャ（２行目）と、左上端の座標が（512,0）であり（packed_top=0, packed_left=512）大きさが512x512である（packed_height=512, packed_width=512）第２のサブピクチャ（３行目）とにより構成されることが示されている。そして、第１のサブピクチャの、ピクチャ４１０における左上端の座標が（0,0）であり（region_top=0, region_left=0）、ピクチャ４１０における大きさが512x512である（region_height=512, region_width=512）ことが示されている。同様に、第２のサブピクチャの、ピクチャ４１０における左上端の座標が（0,512）であり（region_top=512, region_left=0）、ピクチャ４１０における大きさが512x512である（region_height=512, region_width=512）ことが示されている。つまり、この候補（部分領域４２２）が、図２９の右上に示されるように、横方向に並べて配置されたサブピクチャ４１１－１およびサブピクチャ４１１－４により構成されていることが示されている。
　この部分領域４２１や部分領域４２２の例のように、部分領域１２１を構成するサブピクチャ１１がピクチャ１０において横に並んでいたのか縦に並んでいたのかが不明であると、クライアント装置１１３（の表示情報生成部１８４）は、部分領域１２１からどのように切り出し領域１２を切り出してよいかが分からない（切り出し領域１２を正しく切り出すことが困難である）。
　しかしながら、クライアント装置１１３は、配信サーバ１１２に対して、上述のような候補の中から選択した部分領域１２１の配信を要求する。つまり、部分領域情報は、配信サーバ１１２からクライアント装置１１３へ供給される部分領域１２１を構成するサブピクチャ１１の、ピクチャ１０における位置を示す。
　したがって、クライアント装置１１３は、この部分領域情報を参照することにより、部分領域１２１を構成する各サブピクチャ１１が、ピクチャ１０においてどのような位置にあるかを把握することができる。例えば図２８の場合、クライアント装置１１３は、この部分領域情報に基づいて、部分領域１２１が、ピクチャ１０において横に並ぶサブピクチャ１１（つまり、図２９のサブピクチャ４１１－１およびサブピクチャ４１１－２）により構成されるか、ピクチャ１０において縦に並ぶサブピクチャ１１（つまり、図２９のサブピクチャ４１１－１およびサブピクチャ４１１－４）により構成されるかを把握することができる。
　したがって、クライアント装置１１３（の表示情報生成部１８４）は、切り出し領域がピクチャ１０の複数のサブピクチャ１１に係る場合であっても、部分領域１２１からその切り出し領域を正しく切り出すことができる。つまり、ファイル生成装置１１１が、上述のような部分領域情報を生成し、MPDファイルに格納してクライアント装置１１３に提供することにより、クライアント装置１１３（の表示情報生成部１８４）は、部分領域１２１から切り出し領域を正しく切り出すことができる。
　なお、この方法３－１は、上述した方法１－１－２、方法１－１－３、方法２－１－２、および方法２－１－３のいずれかが適用される場合に、適用することができる。
　　＜ファイル生成処理の流れ＞
　上述した方法３－１を適用する場合の、ファイル生成装置１１１がファイルを生成し、配信サーバ１１２にアップロードするまでの処理（ファイル生成処理）の流れの例を、図３０のフローチャートを参照して説明する。
　処理が開始されると、ファイル生成装置１１１の入力部１４１は、ステップＳ４０１において、動画像を含むコンテンツのデータを取得する。
　ステップＳ４０２において、前処理部１４２は、その動画像のデータに基づいて、ピクチャ１０の部分領域１２１のビットストリームを格納するファイルを生成するための部分領域ファイル生成情報を生成する。また、前処理部１４２は、その動画像のデータに基づいて、サブピクチャで構成される部分領域のビットストリームを生成するためのメタデータを生成する。さらに、前処理部１４２は、上述した方法３－１を適用して、部分領域１２１を構成するサブピクチャ１１の、ピクチャ１０における位置を示す部分領域情報を生成する。
　ステップＳ４０３において、ファイル生成部１４４は、コンテンツファイルの配信を制御する制御ファイルであるMPDファイルを生成し、ステップＳ４０２において生成された部分領域ファイル生成情報をそのMPDファイルに格納する。また、ファイル生成部１４４は、上述した方法３－１を適用して、ステップＳ４０２において生成された部分領域情報もそのMPDファイルに格納する。その際、ファイル生成部１４４は、部分領域１２１の各候補の部分領域情報を、MPDファイルの互いに異なるアダプテーションセットに格納する。また、ファイル生成部１４４は、メタデータファイルを生成し、ステップＳ４０２において生成されたメタデータをそのメタデータファイルに格納する。
　ステップＳ４０４乃至ステップＳ４０７の各処理は、図９のステップＳ１０４乃至ステップＳ１０７の各処理と同様に実行される。また、ステップＳ４１１およびステップＳ４１２の各処理は、図９のステップＳ１１１およびステップＳ１１２の各処理と同様に実行される。
　　＜コンテンツ配信処理の流れ＞
　上述した方法３－１を適用する場合の、コンテンツ配信システム１００の配信サーバ１１２がクライアント装置１１３に対してコンテンツを配信する処理（コンテンツ配信処理）の流れの例を、図３１のフローチャートを参照して説明する。
　処理が開始されると、配信サーバ１１２において、ステップＳ４２１乃至ステップＳ４２４の各処理が、図１０のステップＳ１２１乃至ステップＳ１２４の各処理と同様に実行される。また、クライアント装置１１３において、ステップＳ４３１乃至ステップＳ４３３の各処理が、図１０のステップＳ１３１乃至ステップＳ１３３の各処理と同様に実行される。
　ステップＳ４３４において、ファイル処理部１８２は、受信したコンテンツファイルから部分領域１２１のビットストリームを抽出する。復号部１８３は、その部分領域１２１のビットストリームを復号し、部分領域１２１の画像データを生成する。表示情報生成部１８４は、上述した方法３－１を適用して、MPDファイルに格納された部分領域情報に基づいて、その部分領域１２１から切り出し領域１２を切り出す。
　ステップＳ４３５において、表示部１８５は、その切り出し領域１２を表示領域として表示する。
　以上のように各処理を実行することにより、ファイル生成装置１１１は、部分領域情報を生成し、MPDファイルに格納し、そのMPDファイルをクライアント装置１１３へ提供することができる。また、クライアント装置１１３は、そのMPDファイルを取得し、記憶することができる。つまり、ファイル生成装置１１１は、部分領域情報をクライアント装置１１３へ提供することができる。また、クライアント装置１１３は、配信サーバ１１２から配信される部分領域１２１のビットストリームを受信し、復号することができる。そして、クライアント装置１１３は、記憶しているMPDファイルに格納される部分領域情報に基づいて、部分領域から切り出し領域１２を切り出すことができる。
　したがって、クライアント装置１１３は、その部分領域情報に基づいて、切り出し領域１２を正しく切り出すことができる。
　　＜変形例＞
　なお、上述したように方法３－１を適用する場合の部分領域情報において、部分領域１２１の各候補を構成するサブピクチャ１１のピクチャ１０における位置や大きさが、trif sample groupのgroup_idを用いて示されるようにしてもよい。つまり、region_top、region_left、region_height、region_width等のパラメータの代わりに、このgroup_idを用いてもよい。また、部分領域１２１の各候補を構成するサブピクチャ１１のピクチャ１０における位置や大きさが、spid sample group のsubpic_idを用いて示されるようにしてもよい。つまり、region_top、region_left、region_height、region_width等のパラメータの代わりに、このsubpic_idを用いてもよい。
　　＜方法３－２＞
　方法３が適用される場合、図２７に示される表の上から４段目に示されるように、制御ファイル（MPDファイル）において、部分領域１２１の全候補の部分領域情報を、１つのアダプテーションセットにおいて示すようにしてもよい。また、部分領域情報は、部分領域１２１を構成するサブピクチャ１１の部分領域１２１における位置を示す情報をさらに含んでもよい（方法３－２）。
　例えば、ファイル生成装置１１１のファイル生成部１４４は、部分領域１２１の各候補の部分領域情報を、MPDファイルの１つのアダプテーションセットに格納してもよい。
　図３２は、その場合のMPDファイルの一部の記述例を示す図である。四角枠４５１の内部に示される記述例は、１つの候補の部分領域情報の記述例を示す。同様に、四角枠４５２の内部に示される記述例は、他の候補の部分領域情報の記述例を示す。図３２の記述例においては、方法３－２が適用されている。したがって、四角枠４５１の内部に示される部分領域情報と、四角枠４５２の内部に示される部分領域情報とが同一のアダプテーションセットに格納される。つまり、この記述例の場合、部分領域１２１の各候補の部分領域情報が、MPDファイルの１つのアダプテーションセットに格納される。
　図３２の四角枠４５１の内部に示される記述例および四角枠４０２の内部に示される記述例の各パラメータ（region_top、region_left、region_height、region_width、packed_top、packed_left、packed_height、packed_width）の値が示す情報は、図２８に示される記述例の場合と同様である。
　例えば、図２９に示されるように、ピクチャ４１０が６つのサブピクチャ４１１（サブピクチャ４１１－１乃至サブピクチャ４１１－６）により構成され、各サブピクチャ４１１の大きさは、高さ512x幅512であるとする。図３２の四角枠４５１の内部に示される記述例では、部分領域４２１が、図２８の四角枠４０１の内部に示される記述例の場合と同様に、横方向に並べて配置されたサブピクチャ４１１－１およびサブピクチャ４１１－２により構成されていることが示されている（図２９の右上の例）。これに対して、四角枠４５２の内部に示される記述例では、部分領域４２２が、図２８の四角枠４０２の内部に示される記述例の場合と同様に、横方向に並べて配置されたサブピクチャ４１１－１およびサブピクチャ４１１－４により構成されていることが示されている（図２９の右下の例）。
　クライアント装置１１３は、packedpictureのいずれかの組合せを選択し、それをリクエストする。その際、クライアント装置１１３は、方法１－１－３または方法２－１－３の場合のようにリクエストを行ってもよい。この場合、packed_idをそのリクエストに使用してもよい。
　つまり、クライアント装置１１３は、方法３－１が適用される場合と同様に、この部分領域情報を参照することにより、部分領域１２１を構成する各サブピクチャ１１が、ピクチャ１０においてどのような位置にあるかを把握することができる。したがって、クライアント装置１１３（の表示情報生成部１８４）は、切り出し領域がピクチャ１０の複数のサブピクチャ１１に係る場合であっても、部分領域１２１からその切り出し領域を正しく切り出すことができる。つまり、ファイル生成装置１１１が、上述のような部分領域情報を生成し、MPDファイルに格納してクライアント装置１１３に提供することにより、クライアント装置１１３（の表示情報生成部１８４）は、部分領域１２１から切り出し領域を正しく切り出すことができる。
　また、この方法３－２の場合、部分領域１２１が時間軸に沿って変化する場合においても、部分領域情報を１つのアダプテーションセットに格納することができる。
　なお、この方法３－２は、上述した方法１－１－２、方法１－１－３、方法２－１－２、および方法２－１－３のいずれかが適用される場合に、適用することができる。
　　＜ファイル生成処理の流れ＞
　上述した方法３－２を適用する場合の、ファイル生成装置１１１がファイルを生成し、配信サーバ１１２にアップロードするまでの処理（ファイル生成処理）の流れの例を、図３３のフローチャートを参照して説明する。
　処理が開始されると、ファイル生成装置１１１の入力部１４１は、ステップＳ４５１において、動画像を含むコンテンツのデータを取得する。
　ステップＳ４５２において、前処理部１４２は、その動画像のデータに基づいて、ピクチャ１０の部分領域１２１のビットストリームを格納するファイルを生成するための部分領域ファイル生成情報を生成する。また、前処理部１４２は、その動画像のデータに基づいて、サブピクチャで構成される部分領域のビットストリームを生成するためのメタデータを生成する。さらに、前処理部１４２は、上述した方法３－２を適用して、部分領域１２１を構成するサブピクチャ１１の、ピクチャ１０における位置を示す部分領域情報を生成する。
　ステップＳ４５３において、ファイル生成部１４４は、コンテンツファイルの配信を制御する制御ファイルであるMPDファイルを生成し、ステップＳ４５２において生成された部分領域ファイル生成情報をそのMPDファイルに格納する。また、ファイル生成部１４４は、上述した方法３－２を適用して、ステップＳ４５２において生成された部分領域情報もそのMPDファイルに格納する。その際、ファイル生成部１４４は、部分領域１２１の各候補の部分領域情報を、MPDファイルの１つのアダプテーションセットに格納する。また、ファイル生成部１４４は、メタデータファイルを生成し、ステップＳ４５２において生成されたメタデータをそのメタデータファイルに格納する。
　ステップＳ４５４乃至ステップＳ４５７の各処理は、図９のステップＳ１０４乃至ステップＳ１０７の各処理と同様に実行される。また、ステップＳ４６１およびステップＳ４６２の各処理は、図９のステップＳ１１１およびステップＳ１１２の各処理と同様に実行される。
　なお、上述した方法３－２を適用する場合のコンテンツ配信処理の流れは、方法３－１を適用する場合（図３１）と同様である。
　以上のように各処理を実行することにより、ファイル生成装置１１１は、部分領域情報を生成し、MPDファイルに格納し、そのMPDファイルをクライアント装置１１３へ提供することができる。また、クライアント装置１１３は、そのMPDファイルを取得し、記憶することができる。つまり、ファイル生成装置１１１は、部分領域情報をクライアント装置１１３へ提供することができる。また、クライアント装置１１３は、配信サーバ１１２から配信される部分領域１２１のビットストリームを受信し、復号することができる。そして、クライアント装置１１３は、記憶しているMPDファイルに格納される部分領域情報に基づいて、部分領域から切り出し領域１２を切り出すことができる。
　したがって、クライアント装置１１３は、その部分領域情報に基づいて、切り出し領域１２を正しく切り出すことができる。
　　＜変形例＞
　なお、上述したように方法３－２を適用する場合の部分領域情報において、部分領域１２１の各候補を構成するサブピクチャ１１のピクチャ１０における位置や大きさが、trif sample groupのgroup_idを用いて示されるようにしてもよい。つまり、region_top、region_left、region_height、region_width等のパラメータの代わりに、このgroup_idを用いてもよい。また、部分領域１２１の各候補を構成するサブピクチャ１１のピクチャ１０における位置や大きさが、spid sample group のsubpic_idを用いて示されるようにしてもよい。つまり、region_top、region_left、region_height、region_width等のパラメータの代わりに、このsubpic_idを用いてもよい。
　　＜方法３－３＞
　方法３が適用される場合、図２７に示される表の上から５段目に示されるように、部分領域１２１を構成するサブピクチャ１１のその部分領域１２１における位置を示す情報を、コンテンツファイル（例えばMP4ファイルのムービーボックスのサンプルエントリ）に格納してもよい。そして、制御ファイル（MPDファイル）に格納される部分領域情報が、そのリンク情報（コンテンツファイルに格納される、部分領域１２１を構成するサブピクチャ１１のその部分領域１２１における位置を示す情報へのリンク情報）をさらに含んでもよい（方法３－３）。
　例えば、ファイル生成装置１１１のファイル生成部１４４は、コンテンツファイルをさらに生成し、サブピクチャ１１の部分領域１２１における位置を示す情報を、そのコンテンツファイルに格納してもよい。例えば、ファイル生成部１４４は、サブピクチャ１１の部分領域１２１における位置を示す情報を、そのコンテンツファイル（MP4ファイル）のムービーボックスのサンプルエントリに格納してもよい。また、部分領域情報が、サブピクチャ１１の部分領域１２１における位置を示す情報へのリンク情報をさらに含んでもよい。
　図３４は、その場合のMPDファイルの一部の記述例を示す図である。図３４において、四角枠５０１および四角枠５０２の内部には、部分領域情報が格納される。例えば、四角枠５０１の内部には、部分領域１２１の候補を構成するサブピクチャ１１の、ピクチャ１０における位置を示す情報（region_top、region_left、region_height、region_width）が格納されている。なお、これらのパラメータの値が示す情報は、図２８に示される記述例の場合と同様である。
　また、四角枠５０２の内部には、コンテンツファイル（MP4ファイルのムービーボックスのサンプルエントリ）に格納された情報（サブピクチャ１１の部分領域１２１における位置を示す情報）へのリンク情報が格納されている。例えば、MP4ファイルにOMAFで定義されている、Region-wise packing boxをMovie box（’moov’）以下のsample entry以下に格納してもよい。その場合、特定の部分領域情報は、１つの組合せのみ（ビットストリーム中で固定）となる。なお、図３４の四角枠５０２の内部の記述例において、「packing_type="0"」は、OMAFのRegion-wise packingにより、元のピクチャ１０における位置や大きさと、部分領域１２１における位置や大きさとの関連が示されることを示している。
　このような方法３－３が適用される場合であっても、クライアント装置１１３は、方法３－１が適用される場合と同様に、部分領域情報を参照することにより、部分領域１２１を構成する各サブピクチャ１１が、ピクチャ１０においてどのような位置にあるかを把握することができる。したがって、クライアント装置１１３（の表示情報生成部１８４）は、切り出し領域１２がピクチャ１０の複数のサブピクチャ１１に係る場合であっても、部分領域１２１からその切り出し領域１２を正しく切り出すことができる。つまり、ファイル生成装置１１１が、上述のような部分領域情報を生成し、MPDファイルに格納してクライアント装置１１３に提供することにより、クライアント装置１１３（の表示情報生成部１８４）は、部分領域１２１から切り出し領域１２を正しく切り出すことができる。
　なお、この方法３－３は、上述した方法１－１－２、方法１－１－３、方法２－１－２、および方法２－１－３のいずれかが適用される場合に、適用することができる。
　　＜ファイル生成処理の流れ＞
　上述した方法３－３を適用する場合の、ファイル生成装置１１１がファイルを生成し、配信サーバ１１２にアップロードするまでの処理（ファイル生成処理）の流れの例を、図３５のフローチャートを参照して説明する。
　処理が開始されると、ファイル生成装置１１１の入力部１４１は、ステップＳ５０１において、動画像を含むコンテンツのデータを取得する。
　ステップＳ５０２において、前処理部１４２は、その動画像のデータに基づいて、ピクチャ１０の部分領域１２１のビットストリームを格納するファイルを生成するための部分領域ファイル生成情報を生成する。また、前処理部１４２は、その動画像のデータに基づいて、サブピクチャで構成される部分領域のビットストリームを生成するためのメタデータを生成する。さらに、前処理部１４２は、上述した方法３－３を適用して、部分領域１２１を構成するサブピクチャ１１の、ピクチャ１０における位置を示す部分領域情報を生成する。
　ステップＳ５０３において、ファイル生成部１４４は、コンテンツファイルの配信を制御する制御ファイルであるMPDファイルを生成し、ステップＳ５０２において生成された部分領域ファイル生成情報をそのMPDファイルに格納する。また、ファイル生成部１４４は、上述した方法３－３を適用して、ステップＳ５０２において生成された部分領域情報もそのMPDファイルに格納する。この部分領域情報には、図３４に示される記述例のように、部分領域１２１の候補を構成するサブピクチャ１１の、ピクチャ１０における位置を示す情報が含まれる。また、この部分領域情報には、コンテンツファイルに格納される、サブピクチャ１１の部分領域１２１における位置を示す情報（Region-wise packing box）へのリンク情報が含まれてもよい。
　また、ファイル生成部１４４は、メタデータファイルを生成し、ステップＳ５０２において生成されたメタデータをそのメタデータファイルに格納する。
　ステップＳ５０４において、符号化部１４３は、ステップＳ５０１において取得されたコンテンツのデータを符号化し、ビットストリームを生成する。例えば、符号化部１４３は、動画像のデータをVVCで符号化し、ピクチャ１０のビットストリームを生成する。
　ステップＳ５０５において、ファイル生成部１４４は、コンテンツファイルを生成し、ステップＳ５０４において生成されたコンテンツのビットストリームを格納する。例えば、ファイル生成部１４４は、ピクチャ１０のビットストリームをコンテンツファイル（VVC track）に格納する。また、ファイル生成部１４４は、上述した方法３－３を適用して、サブピクチャ１１の部分領域１２１における位置を示す情報を、そのコンテンツファイルに格納してもよい。例えば、ファイル生成部１４４は、コンテンツファイルとしてMP4ファイルを生成し、そのMP4ファイルにOMAFで定義されているRegion-wise packing boxを、ムービーボックス（Movie box（’moov’））のサンプルエントリ（sample entry）に格納してもよい。
　ステップＳ５０６およびステップＳ５０７の各処理は、図９のステップＳ１０６およびステップＳ１０７の各処理と同様に実行される。また、ステップＳ５１１およびステップＳ５１２の各処理は、図９のステップＳ１１１およびステップＳ１１２の各処理と同様に実行される。
　なお、上述した方法３－３を適用する場合のコンテンツ配信処理の流れは、方法３－１を適用する場合（図３１）と同様である。
　以上のように各処理を実行することにより、ファイル生成装置１１１は、部分領域情報を生成し、MPDファイルに格納し、そのMPDファイルをクライアント装置１１３へ提供することができる。また、クライアント装置１１３は、そのMPDファイルを取得し、記憶することができる。つまり、ファイル生成装置１１１は、部分領域情報をクライアント装置１１３へ提供することができる。また、クライアント装置１１３は、配信サーバ１１２から配信される部分領域１２１のビットストリームを受信し、復号することができる。そして、クライアント装置１１３は、記憶しているMPDファイルに格納される部分領域情報に基づいて、部分領域１２１から切り出し領域１２を切り出すことができる。
　したがって、クライアント装置１１３は、その部分領域情報に基づいて、切り出し領域１２を正しく切り出すことができる。
　　＜変形例＞
　なお、上述したように方法３－３を適用する場合の部分領域情報において、部分領域１２１の各候補を構成するサブピクチャ１１のピクチャ１０における位置や大きさが、trif sample groupのgroup_idを用いて示されるようにしてもよい。つまり、region_top、region_left、region_height、region_width等のパラメータの代わりに、このgroup_idを用いてもよい。また、部分領域１２１の各候補を構成するサブピクチャ１１のピクチャ１０における位置や大きさが、spid sample group のsubpic_idを用いて示されるようにしてもよい。つまり、region_top、region_left、region_height、region_width等のパラメータの代わりに、このsubpic_idを用いてもよい。
　また、サンプルエントリ（Sample Entry）を複数格納し、異なるRegion-wise packing boxを前もって格納してもよい。このようにすることにより、部分領域１２１が時間方向に変化する場合にも対応可能である。
　　＜方法３－４＞
　方法３が適用される場合、図２７に示される表の最下段に示されるように、部分領域１２１を構成するサブピクチャ１１の、ピクチャ１０における位置（や大きさ）と部分領域１２１における位置（や大きさ）との対応関係を示すサンプルグループ（Sample group）をコンテンツファイル（VVC track）に格納してもよい。そして、制御ファイル（MPDファイル）に格納される部分領域情報が、そのリンク情報を含んでもよい（方法３－４）。
　このサンプルグループはムービーボックス（Movie box（’moov’））とムービーフラグメントボックス（Movie fragment box（’moof‘））に格納することができる。また、サンプルグループでは、サンプル（sample）ごとにメタ情報を付加することができる。このため、時間毎のダイナミック（dynamic）な変更が可能となる。
　例えば、ファイル生成装置１１１のファイル生成部１４４は、コンテンツファイルをさらに生成し、部分領域情報を、サンプルグループとして、そのコンテンツファイルに格納してもよい。例えば、ファイル生成部１４４は、部分領域１２１を構成する各サブピクチャ１１のピクチャ１０における位置を示す情報を、サンプルグループとして、そのコンテンツファイル（MP4ファイル）のムービーボックスとムービーフラグメントボックスに格納してもよい。また、MPDファイルに格納される部分領域情報が、そのサンプルグループへのリンク情報をさらに含んでもよい。
　図３６は、その場合のMPDファイルの一部の記述例を示す図である。この場合、図３６に示されるように、サブピクチャ１１のピクチャ１０における位置を示す情報（region_top、region_left、region_height、region_width等）がMPDファイルに格納される。また、コンテンツファイルに格納されるサンプルグループへのリンク情報がMPDファイルに格納される。
　MP4ファイルには、そのムービーボックス（Movie box（’moov’））とムービーフラグメントボックス（Movie fragment box（’moof‘））に、部分領域情報のサンプルグループ（例えば、サブピクチャ１１の、ピクチャ１０における位置（や大きさ）と、部分領域１２１における位置（や大きさ）との対応関係を示すサンプルグループ）が格納される。図３７にそのシンタックス例を示す。図３７に示されるように、この場合、ビジュアルサンプルグループエントリに、RegionWisePackingStruct()を格納してもよい。RegionWisePackingStruct()のシンタックス例を図３８に示す。
　このような方法３－４が適用される場合であっても、クライアント装置１１３は、方法３－１が適用される場合と同様に、部分領域情報を参照することにより、部分領域１２１を構成する各サブピクチャ１１が、ピクチャ１０においてどのような位置にあるかを把握することができる。したがって、クライアント装置１１３（の表示情報生成部１８４）は、切り出し領域１２がピクチャ１０の複数のサブピクチャ１１に係る場合であっても、部分領域１２１からその切り出し領域１２を正しく切り出すことができる。つまり、ファイル生成装置１１１が、上述のような部分領域情報を生成し、MPDファイルに格納してクライアント装置１１３に提供することにより、クライアント装置１１３（の表示情報生成部１８４）は、部分領域１２１から切り出し領域１２を正しく切り出すことができる。
　また、この方法３－４の場合、部分領域１２１が時間軸に沿って変化する場合においても、部分領域情報を１つのアダプテーションセットに格納することができる。
　なお、この方法３－４は、上述した方法１－１－１乃至方法１－１－３、並びに、方法２－１－１乃至方法２－１－３のいずれかが適用される場合に、適用することができる。
　　＜ファイル生成処理の流れ＞
　上述した方法３－４を適用する場合の、ファイル生成装置１１１がファイルを生成し、配信サーバ１１２にアップロードするまでの処理（ファイル生成処理）の流れの例を、図３９のフローチャートを参照して説明する。
　処理が開始されると、ファイル生成装置１１１の入力部１４１は、ステップＳ５５１において、動画像を含むコンテンツのデータを取得する。
　ステップＳ５５２において、前処理部１４２は、その動画像のデータに基づいて、ピクチャ１０の部分領域１２１のビットストリームを格納するファイルを生成するための部分領域ファイル生成情報を生成する。また、前処理部１４２は、その動画像のデータに基づいて、サブピクチャで構成される部分領域のビットストリームを生成するためのメタデータを生成する。さらに、前処理部１４２は、上述した方法３－４を適用して部分領域情報を生成する。
　ステップＳ５５３において、ファイル生成部１４４は、コンテンツファイルの配信を制御する制御ファイルであるMPDファイルを生成し、ステップＳ５５２において生成された部分領域ファイル生成情報をそのMPDファイルに格納する。また、ファイル生成部１４４は、上述した方法３－４を適用して、ステップＳ５５２において生成された部分領域情報もそのMPDファイルに格納する。この部分領域情報には、部分領域１２１の候補を構成するサブピクチャ１１の、ピクチャ１０における位置を示す情報が含まれる。また、この部分領域情報には、後述するようにコンテンツファイルに格納されるサンプルグループへのリンク情報が含まれる。
　また、ファイル生成部１４４は、メタデータファイルを生成し、ステップＳ５５２において生成されたメタデータをそのメタデータファイルに格納する。
　ステップＳ５５４において、符号化部１４３は、ステップＳ５５１において取得されたコンテンツのデータを符号化し、ビットストリームを生成する。例えば、符号化部１４３は、動画像のデータをVVCで符号化し、ピクチャ１０のビットストリームを生成する。
　ステップＳ５５５において、ファイル生成部１４４は、コンテンツファイルを生成し、ステップＳ５５４において生成されたコンテンツのビットストリームを格納する。例えば、ファイル生成部１４４は、ピクチャ１０のビットストリームをコンテンツファイル（VVC track）に格納する。また、ファイル生成部１４４は、上述した方法３－４を適用して、部分領域１２１を構成するサブピクチャ１１の、ピクチャ１０における位置（や大きさ）と部分領域１２１における位置（や大きさ）との対応関係を示すサンプルグループを、そのコンテンツファイルに格納する。例えば、ファイル生成部１４４は、コンテンツファイルとしてMP4ファイルを生成し、そのMP4ファイルのムービーボックス（Movie box（’moov’））とムービーフラグメントボックス（Movie fragment box（’moof‘））に、そのサンプルグループを格納する。
　ステップＳ５５６およびステップＳ５５７の各処理は、図９のステップＳ１０６およびステップＳ１０７の各処理と同様に実行される。また、ステップＳ５６１およびステップＳ５６２の各処理は、図９のステップＳ１１１およびステップＳ１１２の各処理と同様に実行される。
　なお、上述した方法３－４を適用する場合のコンテンツ配信処理の流れは、方法３－１を適用する場合（図３１）と同様である。
　以上のように各処理を実行することにより、ファイル生成装置１１１は、部分領域情報を生成し、MPDファイルに格納し、そのMPDファイルをクライアント装置１１３へ提供することができる。また、クライアント装置１１３は、そのMPDファイルを取得し、記憶することができる。つまり、ファイル生成装置１１１は、部分領域情報をクライアント装置１１３へ提供することができる。また、クライアント装置１１３は、配信サーバ１１２から配信される部分領域１２１のビットストリームを受信し、復号することができる。そして、クライアント装置１１３は、記憶しているMPDファイルに格納される部分領域情報に基づいて、部分領域１２１から切り出し領域１２を切り出すことができる。
　したがって、クライアント装置１１３は、その部分領域情報に基づいて、切り出し領域１２を正しく切り出すことができる。
　　＜変形例＞
　なお、VVCのSEI messageでRegionWisePackingStructを格納してもよい。その場合、サンプルを解析するために、クライアント装置１１３は、VVC streamの構造を解析する。
　＜６．付記＞
　　＜符号化・復号方法＞
　以上においては、コンテンツ（動画像）をVVCで符号化するように説明したが、この符号化・復号方法は、ピクチャのビットストリームを復号せずに、１つ以上のサブピクチャに分割することが可能な方法であればよく、VVCに限定されない。
　　＜コンピュータ＞
　上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。
　図４０は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
　図４０に示されるコンピュータ９００において、CPU（Central Processing Unit）９０１、ROM（Read Only Memory）９０２、RAM（Random Access Memory）９０３は、バス９０４を介して相互に接続されている。
　バス９０４にはまた、入出力インタフェース９１０も接続されている。入出力インタフェース９１０には、入力部９１１、出力部９１２、記憶部９１３、通信部９１４、およびドライブ９１５が接続されている。
　入力部９１１は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部９１２は、例えば、ディスプレイ、スピーカ、出力端子などよりなる。記憶部９１３は、例えば、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部９１４は、例えば、ネットワークインタフェースよりなる。ドライブ９１５は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア９２１を駆動する。
　以上のように構成されるコンピュータでは、CPU９０１が、例えば、記憶部９１３に記憶されているプログラムを、入出力インタフェース９１０およびバス９０４を介して、RAM９０３にロードして実行することにより、上述した一連の処理が実行される。RAM９０３にはまた、CPU９０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
　コンピュータが実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア９２１に記録して適用することができる。その場合、プログラムは、リムーバブルメディア９２１をドライブ９１５に装着することにより、入出力インタフェース９１０を介して、記憶部９１３にインストールすることができる。
　また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、プログラムは、通信部９１４で受信し、記憶部９１３にインストールすることができる。
　その他、このプログラムは、ROM９０２や記憶部９１３に、あらかじめインストールしておくこともできる。
　　＜本技術の適用対象＞
　本技術は、任意の構成に適用することができる。
　例えば、本技術は、衛星放送、ケーブルＴＶなどの有線放送、インターネット上での配信、およびセルラー通信による端末への配信などにおける送信機や受信機（例えばテレビジョン受像機や携帯電話機）、または、光ディスク、磁気ディスクおよびフラッシュメモリなどの媒体に画像を記録したり、これら記憶媒体から画像を再生したりする装置（例えばハードディスクレコーダやカメラ）などの、様々な電子機器に応用され得る。
　また、例えば、本技術は、システムLSI（Large Scale Integration）等としてのプロセッサ（例えばビデオプロセッサ）、複数のプロセッサ等を用いるモジュール（例えばビデオモジュール）、複数のモジュール等を用いるユニット（例えばビデオユニット）、または、ユニットにさらにその他の機能を付加したセット（例えばビデオセット）等、装置の一部の構成として実施することもできる。
　また、例えば、本技術は、複数の装置により構成されるネットワークシステムにも適用することもできる。例えば、本技術を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングとして実施するようにしてもよい。例えば、コンピュータ、AV（Audio Visual）機器、携帯型情報処理端末、IoT（Internet of Things）デバイス等の任意の端末に対して、画像（動画像）に関するサービスを提供するクラウドサービスにおいて本技術を実施するようにしてもよい。
　なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、および、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　　＜本技術を適用可能な分野・用途＞
　本技術を適用したシステム、装置、処理部等は、例えば、交通、医療、防犯、農業、畜産業、鉱業、美容、工場、家電、気象、自然監視等、任意の分野に利用することができる。また、その用途も任意である。
　例えば、本技術は、観賞用コンテンツ等の提供の用に供されるシステムやデバイスに適用することができる。また、例えば、本技術は、交通状況の監理や自動運転制御等、交通の用に供されるシステムやデバイスにも適用することができる。さらに、例えば、本技術は、セキュリティの用に供されるシステムやデバイスにも適用することができる。また、例えば、本技術は、機械等の自動制御の用に供されるシステムやデバイスに適用することができる。さらに、例えば、本技術は、農業や畜産業の用に供されるシステムやデバイスにも適用することができる。また、本技術は、例えば火山、森林、海洋等の自然の状態や野生生物等を監視するシステムやデバイスにも適用することができる。さらに、例えば、本技術は、スポーツの用に供されるシステムやデバイスにも適用することができる。
　　＜その他＞
　なお、本明細書において「フラグ」とは、複数の状態を識別するための情報であり、真(1)または偽(0)の２状態を識別する際に用いる情報だけでなく、３以上の状態を識別することが可能な情報も含まれる。したがって、この「フラグ」が取り得る値は、例えば1/0の２値であってもよいし、３値以上であってもよい。すなわち、この「フラグ」を構成するbit数は任意であり、1bitでも複数bitでもよい。また、識別情報（フラグも含む）は、その識別情報をビットストリームに含める形だけでなく、ある基準となる情報に対する識別情報の差分情報をビットストリームに含める形も想定されるため、本明細書においては、「フラグ」や「識別情報」は、その情報だけではなく、基準となる情報に対する差分情報も包含する。
　また、符号化データ（ビットストリーム）に関する各種情報（メタデータ等）は、符号化データに関連づけられていれば、どのような形態で伝送または記録されるようにしてもよい。ここで、「関連付ける」という用語は、例えば、一方のデータを処理する際に他方のデータを利用し得る（リンクさせ得る）ようにすることを意味する。つまり、互いに関連付けられたデータは、１つのデータとしてまとめられてもよいし、それぞれ個別のデータとしてもよい。例えば、符号化データ（画像）に関連付けられた情報は、その符号化データ（画像）とは別の伝送路上で伝送されるようにしてもよい。また、例えば、符号化データ（画像）に関連付けられた情報は、その符号化データ（画像）とは別の記録媒体（または同一の記録媒体の別の記録エリア）に記録されるようにしてもよい。なお、この「関連付け」は、データ全体でなく、データの一部であってもよい。例えば、画像とその画像に対応する情報とが、複数フレーム、１フレーム、またはフレーム内の一部分などの任意の単位で互いに関連付けられるようにしてもよい。
　なお、本明細書において、「合成する」、「多重化する」、「付加する」、「一体化する」、「含める」、「格納する」、「入れ込む」、「差し込む」、「挿入する」等の用語は、例えば符号化データとメタデータとを１つのデータにまとめるといった、複数の物を１つにまとめることを意味し、上述の「関連付ける」の１つの方法を意味する。
　また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。
　また、例えば、上述したプログラムは、任意の装置において実行されるようにしてもよい。その場合、その装置が、必要な機能（機能ブロック等）を有し、必要な情報を得ることができるようにすればよい。
　また、例えば、１つのフローチャートの各ステップを、１つの装置が実行するようにしてもよいし、複数の装置が分担して実行するようにしてもよい。さらに、１つのステップに複数の処理が含まれる場合、その複数の処理を、１つの装置が実行するようにしてもよいし、複数の装置が分担して実行するようにしてもよい。換言するに、１つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を１つのステップとしてまとめて実行することもできる。
　また、コンピュータが実行するプログラムは、以下のような特徴を有していてもよい。例えば、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしてもよい。また、プログラムを記述するステップの処理が並列に実行されるようにしてもよい。さらに、プログラムを記述するステップの処理が、呼び出されとき等の必要なタイミングで個別に実行されるようにしてもよい。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。また、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と組み合わせて実行されるようにしてもよい。
　また、例えば、本技術に関する複数の技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。
　なお、本技術は以下のような構成も取ることができる。
　（１）　サーバおよびクライアント装置を備え、
　前記クライアント装置が、
　　コンテンツファイルの配信を制御する制御ファイルに含まれる、ピクチャの部分領域のビットストリームを格納するファイルを生成するための部分領域ファイル生成情報に基づいて、前記部分領域のビットストリームを前記サーバに対して要求し、
　前記サーバが、
　　前記クライアント装置による前記要求に基づいて、前記ピクチャに含まれるサブピクチャの内、一部の前記サブピクチャにより構成される前記部分領域のビットストリームを生成し、
　　前記部分領域のビットストリームを前記クライアント装置に送信し、
　前記クライアント装置が、
　　前記サーバから送信された前記部分領域のビットストリームを受信し、
　　前記部分領域のビットストリームから切り出し領域を切り出す
　画像処理システム。
　（２）　他の装置による要求に基づいて、ピクチャに含まれるサブピクチャの内、一部の前記サブピクチャにより構成される部分領域のビットストリームを生成する生成部と、
　前記部分領域のビットストリームを前記他の装置に送信する送信部と
　を備える画像処理装置。
　（３）　前記生成部は、前記要求に基づいて、前記ピクチャのビットストリームから前記部分領域を構成する前記サブピクチャを抽出し、前記部分領域のビットストリームを生成する
　（２）に記載の画像処理装置。
　（４）　前記生成部は、前記要求において座標を用いて指定された切り出し領域を含むサブピクチャを同定し、同定した前記サブピクチャを抽出可能なメタデータを選択し、選択した前記メタデータを用いて、前記ピクチャのビットストリームから、同定した前記サブピクチャを抽出し、抽出した前記サブピクチャにより構成される前記部分領域のビットストリームを生成する
　（３）に記載の画像処理装置。
　（５）　前記生成部は、
　　前記サブピクチャのビットストリームを要求された場合、前記部分領域のビットストリームを生成し、
　　前記切り出し領域のビットストリームを要求された場合、前記ピクチャのビットストリームを復号し、前記ピクチャから前記切り出し領域を切り出して符号化することにより前記切り出し領域のビットストリームを生成する
　（４）に記載の画像処理装置。
　（６）　前記生成部は、前記要求において表示領域に関する情報を用いて指定された切り出し領域を含むサブピクチャを同定し、同定した前記サブピクチャを抽出可能なメタデータを選択し、選択した前記メタデータを用いて、前記ピクチャのビットストリームから、同定した前記サブピクチャを抽出し、抽出した前記サブピクチャにより構成される前記部分領域のビットストリームを生成する
　（３）に記載の画像処理装置。
　（７）　前記生成部は、前記要求において識別情報を用いて指定された前記部分領域を構成するサブピクチャを抽出可能なメタデータを選択し、選択した前記メタデータを用いて、前記ピクチャのビットストリームから前記サブピクチャを抽出し、抽出した前記サブピクチャにより構成される前記部分領域のビットストリームを生成する
　（３）に記載の画像処理装置。
　（８）　前記生成部は、前記要求において識別情報を用いて指定されたサブピクチャを抽出可能なメタデータを選択し、選択した前記メタデータを用いて、前記ピクチャのビットストリームから前記サブピクチャを抽出し、抽出した前記サブピクチャにより構成される前記部分領域のビットストリームを生成する
　（３）に記載の画像処理装置。
　（９）　前記生成部は、コンテンツファイルの配信を制御する制御ファイルにおいて定義される識別情報を用いて指定された部分領域を構成するサブピクチャを抽出可能なメタデータを選択し、選択した前記メタデータを用いて前記ピクチャのビットストリームから前記サブピクチャを抽出し、前記部分領域のビットストリームを生成する
　（３）に記載の画像処理装置。
　（１０）　前記生成部は、コンテンツファイルの配信を制御する制御ファイルにおいてアダプテーションセットとして定義される部分領域の内、前記要求において指定された前記部分領域を構成するサブピクチャを抽出可能なメタデータを選択し、選択した前記メタデータを用いて前記ピクチャのビットストリームから前記サブピクチャを抽出し、指定された前記部分領域のビットストリームを生成する
　（３）に記載の画像処理装置。
　（１１）　前記生成部は、前記要求において指定された、サブピクチャを抽出するためのメタデータを用いて、前記ピクチャのビットストリームから前記サブピクチャを抽出し、抽出した前記サブピクチャにより構成される前記部分領域のビットストリームを生成する
　（３）に記載の画像処理装置。
　（１２）　前記生成部は、前記要求に基づいて、前記部分領域を構成する前記サブピクチャのビットストリームをマージし、前記部分領域のビットストリームを生成する
　（２）に記載の画像処理装置。
　（１３）　前記生成部は、前記要求において座標を用いて指定された切り出し領域を含むサブピクチャを同定し、同定した前記サブピクチャをマージ可能なメタデータを選択し、選択した前記メタデータを用いて、同定した前記サブピクチャをマージし、マージした前記サブピクチャにより構成される前記部分領域のビットストリームを生成する
　（１２）に記載の画像処理装置。
　（１４）　前記生成部は、
　　前記サブピクチャのビットストリームを要求された場合、前記部分領域のビットストリームを生成し、
　　前記切り出し領域のビットストリームを要求された場合、前記ピクチャのビットストリームを復号し、ピクチャから前記切り出し領域を切り出して符号化することにより前記切り出し領域のビットストリームを生成する
　（１３）に記載の画像処理装置。
　（１５）　前記生成部は、前記要求において表示領域に関する情報を用いて指定された切り出し領域を含むサブピクチャを同定し、同定した前記サブピクチャをマージ可能なメタデータを選択し、選択した前記メタデータを用いて、同定した前記サブピクチャのビットストリームをマージし、マージした前記サブピクチャにより構成される前記部分領域のビットストリームを生成する
　（１２）に記載の画像処理装置。
　（１６）　前記生成部は、前記要求において識別情報を用いて指定された前記部分領域を構成するサブピクチャをマージ可能なメタデータを選択し、選択した前記メタデータを用いて前記サブピクチャをマージし、マージした前記サブピクチャにより構成される前記部分領域のビットストリームを生成する
　（１２）に記載の画像処理装置。
　（１７）　前記生成部は、コンテンツファイルの配信を制御する制御ファイルにおいて定義される識別情報を用いて指定された部分領域を構成するサブピクチャをマージ可能なメタデータを選択し、選択した前記メタデータを用いて前記サブピクチャをマージし、前記部分領域のビットストリームを生成する
　（１２）に記載の画像処理装置。
　（１８）　前記生成部は、コンテンツファイルの配信を制御する制御ファイルにおいてアダプテーションセットとして定義される部分領域の内、前記要求において指定された前記部分領域を構成するサブピクチャをマージ可能なメタデータを選択し、選択した前記メタデータを用いて前記サブピクチャをマージし、指定された前記部分領域のビットストリームを生成する
　（１２）に記載の画像処理装置。
　（１９）　前記生成部は、前記要求において指定された、サブピクチャをマージするためのメタデータを用いて、前記サブピクチャをマージし、マージした前記サブピクチャにより構成される前記部分領域のビットストリームを生成する
　（１２）に記載の画像処理装置。
　（２０）　他の装置による要求に基づいて、ピクチャに含まれるサブピクチャの内、一部のサブピクチャにより構成される部分領域のビットストリームを生成し、
　前記部分領域のビットストリームを前記他の装置に送信する
　画像処理方法。
　（３１）　コンテンツのデータに基づいて、ピクチャの部分領域のビットストリームを格納するファイルを生成するための部分領域ファイル生成情報を生成する部分領域ファイル生成情報生成部と、
　コンテンツファイルの配信を制御する制御ファイルを生成し、前記部分領域ファイル生成情報を格納するファイル生成部と
　を備える画像処理装置。
　（３２）　前記部分領域ファイル生成情報は、前記コンテンツファイルを配信するサーバにおいて前記部分領域のビットストリームの生成が可能であることを示す情報を含む
　（３１）に記載の画像処理装置。
　（３３）　前記部分領域ファイル生成情報は、前記サーバが処理することができる情報の種類を指定する情報を含む
　（３２）に記載の画像処理装置。
　（３４）　前記ファイル生成部は、前記部分領域ファイル生成情報を、前記ピクチャのビットストリームに対応するアダプテーションセットに格納する
　（３１）乃至（３３）のいずれかに記載の画像処理装置。
　（３５）　前記ファイル生成部は、前記部分領域ファイル生成情報を、サブピクチャを抽出するためのメタデータに対応するアダプテーションセットに格納する
　（３１）乃至（３３）のいずれかに記載の画像処理装置。
　（３６）　前記ファイル生成部は、前記部分領域ファイル生成情報を、サブピクチャをマージするためのメタデータに対応するアダプテーションセットに格納する
　（３１）乃至（３３）のいずれかに記載の画像処理装置。
　（３７）　前記部分領域ファイル生成情報生成部は、前記部分領域を構成するサブピクチャの、前記ピクチャにおける位置を示す部分領域情報をさらに生成し、
　前記ファイル生成部は、前記制御ファイルに前記部分領域情報を格納する
　（３１）に記載の画像処理装置。
　（３８）　前記ファイル生成部は、前記部分領域の各候補の前記部分領域情報を、前記制御ファイルの互いに異なるアダプテーションセットに格納する
　（３７）に記載の画像処理装置。
　（３９）　前記部分領域情報は、前記サブピクチャの前記部分領域における位置を示す情報をさらに含む
　（３７）または（３８）に記載の画像処理装置。
　（４０）　前記部分領域情報は、前記サブピクチャの大きさを示す情報をさらに含む
　（３７）乃至（３９）のいずれかに記載の画像処理装置。
　（４１）　前記ファイル生成部は、前記部分領域の各候補の前記部分領域情報を、前記制御ファイルの１つのアダプテーションセットに格納する
　（３７）乃至（４０）のいずれかに記載の画像処理装置。
　（４２）　前記部分領域情報は、前記サブピクチャの前記部分領域における位置を示す情報へのリンク情報をさらに含む
　（３７）乃至（４１）のいずれかに記載の画像処理装置。
　（４３）　前記ファイル生成部は、前記コンテンツファイルをさらに生成し、前記サブピクチャの前記部分領域における位置を示す情報を、前記コンテンツファイルのムービーボックスのサンプルエントリに格納する
　（４２）に記載の画像処理装置。
　（４４）　前記部分領域情報は、前記部分領域情報へのリンク情報をさらに含む
　（３７）乃至（４３）のいずれかに記載の画像処理装置。
　（４５）　前記ファイル生成部は、前記コンテンツファイルをさらに生成し、前記部分領域情報を、サンプルグループとして、前記コンテンツファイルのムービーフラグメントボックスに格納する
　（４４）に記載の画像処理装置。
　（４６）　コンテンツのデータに基づいて、ピクチャの部分領域のビットストリームを格納するファイルを生成するための部分領域ファイル生成情報を生成し、
　コンテンツファイルの配信を制御する制御ファイルを生成し、前記部分領域ファイル生成情報を格納する
　画像処理方法。
　（５１）　コンテンツファイルの配信を制御する制御ファイルに含まれる、ピクチャの部分領域のビットストリームを格納するファイルを生成するための部分領域ファイル生成情報に基づいて、前記部分領域のビットストリームを要求する要求処理部と、
　前記部分領域のビットストリームを取得する取得部と、
　前記部分領域のビットストリームから切り出し領域を切り出す切り出し部と
　を備える画像処理装置。
　（５２）　前記切り出し部は、前記制御ファイルに含まれる、前記部分領域を構成するサブピクチャの、前記ピクチャにおける位置を示す部分領域情報に基づいて、前記切り出し領域を切り出す
　（５１）に記載の画像処理装置。
　（５３）　コンテンツファイルの配信を制御する制御ファイルに含まれる、ピクチャの部分領域のビットストリームを格納するファイルを生成するための部分領域ファイル生成情報に基づいて、前記部分領域のビットストリームを要求し、
　前記部分領域のビットストリームを取得し、
　前記部分領域のビットストリームから切り出し領域を切り出す
　画像処理方法。
　１００　コンテンツ配信システム，　１１０　ネットワーク，　１１１　ファイル生成装置，　１１２　配信サーバ，　１１３　クライアント装置，　１３１　制御部，　１３２　ファイル生成処理部，　１４１　入力部，　１４２　前処理部，　１４３　符号化部，　１４４　ファイル生成部，　１４５　記録部，　１４６　出力部，　１５１　通信部，　１５２　記憶部，　１５３　生成部，　１７１　制御部，　１７２　クライアント処理部，　１８１　ファイル取得部，　１８２　ファイル処理部，　１８３　復号部，　１８４　表示情報生成部，　１８５　表示部，　１８６　表示制御部，　９００　コンピュータ

Claims (34)

  1. 　サーバおよびクライアント装置を備え、
    　前記クライアント装置が、
    　　コンテンツファイルの配信を制御する制御ファイルに含まれる、ピクチャの部分領域のビットストリームを格納するファイルを生成するための部分領域ファイル生成情報に基づいて、前記部分領域のビットストリームを前記サーバに対して要求し、
    　前記サーバが、
    　　前記クライアント装置による前記要求に基づいて、前記ピクチャに含まれるサブピクチャの内、一部の前記サブピクチャにより構成される前記部分領域のビットストリームを生成し、
    　　前記部分領域のビットストリームを前記クライアント装置に送信し、
    　前記クライアント装置が、
    　　前記サーバから送信された前記部分領域のビットストリームを受信し、
    　　前記部分領域のビットストリームから切り出し領域を切り出す
    　画像処理システム。
  2. 　他の装置による要求に基づいて、ピクチャに含まれるサブピクチャの内、一部の前記サブピクチャにより構成される部分領域のビットストリームを生成する生成部と、
    　前記部分領域のビットストリームを前記他の装置に送信する送信部と
    　を備える画像処理装置。
  3. 　前記生成部は、前記要求に基づいて、前記ピクチャのビットストリームから前記部分領域を構成する前記サブピクチャを抽出し、前記部分領域のビットストリームを生成する
    　請求項２に記載の画像処理装置。
  4. 　前記生成部は、前記要求において座標を用いて指定された切り出し領域を含むサブピクチャを同定し、同定した前記サブピクチャを抽出可能なメタデータを選択し、選択した前記メタデータを用いて、前記ピクチャのビットストリームから、同定した前記サブピクチャを抽出し、抽出した前記サブピクチャにより構成される前記部分領域のビットストリームを生成する
    　請求項３に記載の画像処理装置。
  5. 　前記生成部は、
    　　前記サブピクチャのビットストリームを要求された場合、前記部分領域のビットストリームを生成し、
    　　前記切り出し領域のビットストリームを要求された場合、前記ピクチャのビットストリームを復号し、前記ピクチャから前記切り出し領域を切り出して符号化することにより前記切り出し領域のビットストリームを生成する
    　請求項４に記載の画像処理装置。
  6. 　前記生成部は、前記要求において表示領域に関する情報を用いて指定された切り出し領域を含むサブピクチャを同定し、同定した前記サブピクチャを抽出可能なメタデータを選択し、選択した前記メタデータを用いて、前記ピクチャのビットストリームから、同定した前記サブピクチャを抽出し、抽出した前記サブピクチャにより構成される前記部分領域のビットストリームを生成する
    　請求項３に記載の画像処理装置。
  7. 　前記生成部は、前記要求において識別情報を用いて指定された前記部分領域を構成するサブピクチャを抽出可能なメタデータを選択し、選択した前記メタデータを用いて、前記ピクチャのビットストリームから前記サブピクチャを抽出し、抽出した前記サブピクチャにより構成される前記部分領域のビットストリームを生成する
    　請求項３に記載の画像処理装置。
  8. 　前記生成部は、前記要求において識別情報を用いて指定されたサブピクチャを抽出可能なメタデータを選択し、選択した前記メタデータを用いて、前記ピクチャのビットストリームから前記サブピクチャを抽出し、抽出した前記サブピクチャにより構成される前記部分領域のビットストリームを生成する
    　請求項３に記載の画像処理装置。
  9. 　前記生成部は、コンテンツファイルの配信を制御する制御ファイルにおいて定義される識別情報を用いて指定された部分領域を構成するサブピクチャを抽出可能なメタデータを選択し、選択した前記メタデータを用いて前記ピクチャのビットストリームから前記サブピクチャを抽出し、前記部分領域のビットストリームを生成する
    　請求項３に記載の画像処理装置。
  10. 　前記生成部は、コンテンツファイルの配信を制御する制御ファイルにおいてアダプテーションセットとして定義される部分領域の内、前記要求において指定された前記部分領域を構成するサブピクチャを抽出可能なメタデータを選択し、選択した前記メタデータを用いて前記ピクチャのビットストリームから前記サブピクチャを抽出し、指定された前記部分領域のビットストリームを生成する
    　請求項３に記載の画像処理装置。
  11. 　前記生成部は、前記要求において指定された、サブピクチャを抽出するためのメタデータを用いて、前記ピクチャのビットストリームから前記サブピクチャを抽出し、抽出した前記サブピクチャにより構成される前記部分領域のビットストリームを生成する
    　請求項３に記載の画像処理装置。
  12. 　前記生成部は、前記要求に基づいて、前記部分領域を構成する前記サブピクチャのビットストリームをマージし、前記部分領域のビットストリームを生成する
    　請求項２に記載の画像処理装置。
  13. 　前記生成部は、前記要求において座標を用いて指定された切り出し領域を含むサブピクチャを同定し、同定した前記サブピクチャをマージ可能なメタデータを選択し、選択した前記メタデータを用いて、同定した前記サブピクチャをマージし、マージした前記サブピクチャにより構成される前記部分領域のビットストリームを生成する
    　請求項１２に記載の画像処理装置。
  14. 　前記生成部は、
    　　前記サブピクチャのビットストリームを要求された場合、前記部分領域のビットストリームを生成し、
    　　前記切り出し領域のビットストリームを要求された場合、前記ピクチャのビットストリームを復号し、ピクチャから前記切り出し領域を切り出して符号化することにより前記切り出し領域のビットストリームを生成する
    　請求項１３に記載の画像処理装置。
  15. 　前記生成部は、前記要求において表示領域に関する情報を用いて指定された切り出し領域を含むサブピクチャを同定し、同定した前記サブピクチャをマージ可能なメタデータを選択し、選択した前記メタデータを用いて、同定した前記サブピクチャのビットストリームをマージし、マージした前記サブピクチャにより構成される前記部分領域のビットストリームを生成する
    　請求項１２に記載の画像処理装置。
  16. 　前記生成部は、前記要求において識別情報を用いて指定された前記部分領域を構成するサブピクチャをマージ可能なメタデータを選択し、選択した前記メタデータを用いて前記サブピクチャをマージし、マージした前記サブピクチャにより構成される前記部分領域のビットストリームを生成する
    　請求項１２に記載の画像処理装置。
  17. 　前記生成部は、コンテンツファイルの配信を制御する制御ファイルにおいて定義される識別情報を用いて指定された部分領域を構成するサブピクチャをマージ可能なメタデータを選択し、選択した前記メタデータを用いて前記サブピクチャをマージし、前記部分領域のビットストリームを生成する
    　請求項１２に記載の画像処理装置。
  18. 　前記生成部は、コンテンツファイルの配信を制御する制御ファイルにおいてアダプテーションセットとして定義される部分領域の内、前記要求において指定された前記部分領域を構成するサブピクチャをマージ可能なメタデータを選択し、選択した前記メタデータを用いて前記サブピクチャをマージし、指定された前記部分領域のビットストリームを生成する
    　請求項１２に記載の画像処理装置。
  19. 　前記生成部は、前記要求において指定された、サブピクチャをマージするためのメタデータを用いて、前記サブピクチャをマージし、マージした前記サブピクチャにより構成される前記部分領域のビットストリームを生成する
    　請求項１２に記載の画像処理装置。
  20. 　他の装置による要求に基づいて、ピクチャに含まれるサブピクチャの内、一部のサブピクチャにより構成される部分領域のビットストリームを生成し、
    　前記部分領域のビットストリームを前記他の装置に送信する
    　画像処理方法。
  21. 　コンテンツのデータに基づいて、ピクチャの部分領域のビットストリームを格納するファイルを生成するための部分領域ファイル生成情報を生成する部分領域ファイル生成情報生成部と、
    　コンテンツファイルの配信を制御する制御ファイルを生成し、前記部分領域ファイル生成情報を格納するファイル生成部と
    　を備える画像処理装置。
  22. 　前記部分領域ファイル生成情報生成部は、前記部分領域を構成するサブピクチャの、前記ピクチャにおける位置を示す部分領域情報をさらに生成し、
    　前記ファイル生成部は、前記制御ファイルに前記部分領域情報を格納する
    　請求項２１に記載の画像処理装置。
  23. 　前記ファイル生成部は、前記部分領域の各候補の前記部分領域情報を、前記制御ファイルの互いに異なるアダプテーションセットに格納する
    　請求項２２に記載の画像処理装置。
  24. 　前記部分領域情報は、前記サブピクチャの前記部分領域における位置を示す情報をさらに含む
    　請求項２２に記載の画像処理装置。
  25. 　前記部分領域情報は、前記サブピクチャの大きさを示す情報をさらに含む
    　請求項２２に記載の画像処理装置。
  26. 　前記ファイル生成部は、前記部分領域の各候補の前記部分領域情報を、前記制御ファイルの１つのアダプテーションセットに格納する
    　請求項２２に記載の画像処理装置。
  27. 　前記部分領域情報は、前記サブピクチャの前記部分領域における位置を示す情報へのリンク情報をさらに含む
    　請求項２２に記載の画像処理装置。
  28. 　前記ファイル生成部は、前記コンテンツファイルをさらに生成し、前記サブピクチャの前記部分領域における位置を示す情報を、前記コンテンツファイルのムービーボックスのサンプルエントリに格納する
    　請求項２７に記載の画像処理装置。
  29. 　前記部分領域情報は、前記部分領域情報へのリンク情報をさらに含む
    　請求項２２に記載の画像処理装置。
  30. 　前記ファイル生成部は、前記コンテンツファイルをさらに生成し、前記部分領域情報を、サンプルグループとして、前記コンテンツファイルのムービーフラグメントボックスに格納する
    　請求項２９に記載の画像処理装置。
  31. 　コンテンツのデータに基づいて、ピクチャの部分領域のビットストリームを格納するファイルを生成するための部分領域ファイル生成情報を生成し、
    　コンテンツファイルの配信を制御する制御ファイルを生成し、前記部分領域ファイル生成情報を格納する
    　画像処理方法。
  32. 　コンテンツファイルの配信を制御する制御ファイルに含まれる、ピクチャの部分領域のビットストリームを格納するファイルを生成するための部分領域ファイル生成情報に基づいて、前記部分領域のビットストリームを要求する要求処理部と、
    　前記部分領域のビットストリームを取得する取得部と、
    　前記部分領域のビットストリームから切り出し領域を切り出す切り出し部と
    　を備える画像処理装置。
  33. 　前記切り出し部は、前記制御ファイルに含まれる、前記部分領域を構成するサブピクチャの、前記ピクチャにおける位置を示す部分領域情報に基づいて、前記切り出し領域を切り出す
    　請求項３２に記載の画像処理装置。
  34. 　コンテンツファイルの配信を制御する制御ファイルに含まれる、ピクチャの部分領域のビットストリームを格納するファイルを生成するための部分領域ファイル生成情報に基づいて、前記部分領域のビットストリームを要求し、
    　前記部分領域のビットストリームを取得し、
    　前記部分領域のビットストリームから切り出し領域を切り出す
    　画像処理方法。
PCT/JP2022/003345 2021-10-05 2022-01-28 画像処理システム、並びに、画像処理装置および方法 WO2023058258A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-164271 2021-10-05
JP2021164271 2021-10-05

Publications (1)

Publication Number Publication Date
WO2023058258A1 true WO2023058258A1 (ja) 2023-04-13

Family

ID=85804096

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/003345 WO2023058258A1 (ja) 2021-10-05 2022-01-28 画像処理システム、並びに、画像処理装置および方法

Country Status (1)

Country Link
WO (1) WO2023058258A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017527160A (ja) * 2014-06-27 2017-09-14 コニンクリーケ・ケイピーエヌ・ナムローゼ・フェンノートシャップ Ｈｅｖｃでタイル化されたビデオ・ストリームに基づく関心領域の決定
JP2019537338A (ja) * 2016-10-12 2019-12-19 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ 空間的不均等ストリーミング
JP2020501436A (ja) * 2016-12-07 2020-01-16 クアルコム，インコーポレイテッド 関心領域のシグナリングのシステムおよび方法
JP2021506175A (ja) * 2018-06-01 2021-02-18 エルジー エレクトロニクス インコーポレイティド 複数のビューポイントに関するメタデータを送受信する方法及び装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017527160A (ja) * 2014-06-27 2017-09-14 コニンクリーケ・ケイピーエヌ・ナムローゼ・フェンノートシャップ Ｈｅｖｃでタイル化されたビデオ・ストリームに基づく関心領域の決定
JP2019537338A (ja) * 2016-10-12 2019-12-19 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ 空間的不均等ストリーミング
JP2020501436A (ja) * 2016-12-07 2020-01-16 クアルコム，インコーポレイテッド 関心領域のシグナリングのシステムおよび方法
JP2021506175A (ja) * 2018-06-01 2021-02-18 エルジー エレクトロニクス インコーポレイティド 複数のビューポイントに関するメタデータを送受信する方法及び装置

Similar Documents

Publication Publication Date Title
JP6783889B2 (ja) 送信方法、受信方法、送信装置、受信装置、プログラム及び記憶媒体
JP7238948B2 (ja) 情報処理装置および情報処理方法
US20170105034A1 (en) Communication apparatus, communication method, and program
GB2506911A (en) Streaming data corresponding to divided image portions (tiles) via a description file including spatial and URL data
EP4013042A1 (en) Information processing device, reproduction processing device, and information processing method
US11729366B2 (en) Information processing apparatus and method
KR20170009977A (ko) 기간들에 걸쳐 오브젝트들을 식별하기 위한 방법 및 이에 대응하는 디바이스
CN114223211A (zh) 信息处理装置和信息处理方法
WO2023058258A1 (ja) 画像処理システム、並びに、画像処理装置および方法
US20210092374A1 (en) Information processing apparatus and method
CN114026875A (zh) 信息处理装置、信息处理方法、再现处理装置和再现处理方法
JP2019125865A (ja) 情報処理装置および方法
WO2022220207A1 (ja) 情報処理装置および方法
US10271076B2 (en) File generation device and method, and content playback device and method
US20200342568A1 (en) Information processing apparatus and method
US20230043591A1 (en) Information processing apparatus and method

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22878131

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023552686

Country of ref document: JP