WO2017169720A1 - 再生装置および再生方法、並びにファイル生成装置およびファイル生成方法 - Google Patents

再生装置および再生方法、並びにファイル生成装置およびファイル生成方法 Download PDF

Info

Publication number
WO2017169720A1
WO2017169720A1 PCT/JP2017/010104 JP2017010104W WO2017169720A1 WO 2017169720 A1 WO2017169720 A1 WO 2017169720A1 JP 2017010104 W JP2017010104 W JP 2017010104W WO 2017169720 A1 WO2017169720 A1 WO 2017169720A1
Authority
WO
WIPO (PCT)
Prior art keywords
file
audio stream
audio
stream
unit
Prior art date
Application number
PCT/JP2017/010104
Other languages
English (en)
French (fr)
Inventor
平林　光浩
徹 知念
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to JP2018508956A priority Critical patent/JPWO2017169720A1/ja
Priority to CN201780019067.1A priority patent/CN108886638A/zh
Priority to US16/086,427 priority patent/US20190103122A1/en
Publication of WO2017169720A1 publication Critical patent/WO2017169720A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/167—Audio streaming, i.e. formatting and decoding of an encoded audio signal representation into a data stream for transmission or storage purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233—Processing of audio elementary streams
    • H04N21/2335—Processing of audio elementary streams involving reformatting operations of audio signals, e.g. by converting from one coding standard to another
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8543—Content authoring using a description language, e.g. Multimedia and Hypermedia information coding Expert Group [MHEG], eXtensible Markup Language [XML]
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/0017—Lossless audio signal coding; Perfect reconstruction of coded audio signal by transmission of coding error

Definitions

  • the present disclosure relates to a playback device and a playback method, and a file generation device and a file generation method, and in particular, acquires a video stream having an optimal bit rate when acquiring an audio stream and a video stream encoded by a lossless compression method.
  • the present invention relates to a playback device and a playback method, a file generation device, and a file generation method.
  • MPEG-DASH Moving / Picture / Experts / Group / phase / Dynamic / Adaptive / Streaming / over / HTTP
  • OTT-V Over The Top Video
  • MPEG-DASH Moving / Picture / Experts / Group / phase / Dynamic / Adaptive / Streaming / over / HTTP
  • a distribution server prepares video data groups with different bit rates for a single video content, and a playback terminal requests a video data group with an optimal bit rate according to the condition of the transmission path.
  • Adaptive streaming delivery is realized.
  • an encoding method capable of predicting a bit rate in advance is assumed as an encoding method for moving image content.
  • audio digital signals that have been A / D (Analog / Digital) converted by the PCM (Pulse Code Modulation) method as an audio stream encoding method will not cause underflow or overflow in a fixed-size buffer.
  • An irreversible compression method that is encoded in the above is assumed. Therefore, the bit rate of the moving image content to be acquired is determined based on the predicted bit rate of the moving image content and the network bandwidth.
  • a high-resolution audio A / D conversion method includes a DSD (Direct Stream Digital) method.
  • the DSD method is a method employed as a Super Audio CD (SA-CD) recording / reproducing method, and is a method based on 1-bit digital sigma modulation.
  • SA-CD Super Audio CD
  • audio analog signal information is expressed by the density of change points of “1” and “0” using a time axis. Therefore, high-resolution recording / reproduction independent of the number of bits can be realized.
  • the pattern of “1” and “0” of the audio digital signal changes according to the waveform of the audio analog signal. Therefore, in lossless DSD method, which performs lossless compression coding of audio digital signals that have been A / D converted by the DSD method based on the patterns of “1” and “0”, the audio after encoding according to the waveform of the audio analog signal The bit generation amount of the digital signal varies. Therefore, it is difficult to predict the bit rate in advance.
  • MPEG-DASH Dynamic-Adaptive-Streaming-over-HTTP
  • URL http://mpeg.chiariglione.org/standards/mpeg-dash/media-presentation-description-and-segment-formats/text-isoiec-23009-12012-dam -1)
  • the network bandwidth and the audio stream bit rate are used. Based on the maximum value to be obtained, the bit rate of the video stream to be obtained must be selected. Therefore, it is difficult to obtain a video stream with an optimal bit rate.
  • the present disclosure has been made in view of such a situation, and when acquiring an audio stream and a video stream encoded by a lossless compression method, a video stream having an optimum bit rate can be acquired. To do.
  • the playback device includes an acquisition unit that acquires an audio stream encoded by a lossless compression method before a video stream corresponding to the audio stream and detects a bit rate of the audio stream. And a selection unit that selects the video stream to be acquired from the plurality of video streams having different bit rates based on the bit rate detected by the acquisition unit.
  • the playback method according to the first aspect of the present disclosure corresponds to the playback device according to the first aspect of the present disclosure.
  • an audio stream encoded by a lossless compression method is acquired before a video stream corresponding to the audio stream, and a bit rate of the audio stream is detected, and the detected audio stream is detected. Based on the bit rate, the video stream to be acquired is selected from the plurality of video streams having different bit rates.
  • a file generation device is a management file that manages an audio stream encoded by a lossless compression method and a video stream corresponding to the audio stream, the encoding method of the audio stream
  • the file generation apparatus includes a file generation unit that generates a management file including information indicating that the buffer is not encoded with a fixed size buffer so that underflow or overflow does not occur.
  • the file generation method according to the second aspect of the present disclosure corresponds to the file generation apparatus according to the second aspect of the present disclosure.
  • the management file manages an audio stream encoded by a lossless compression method and a video stream corresponding to the audio stream, and the encoding method of the audio stream is fixed.
  • a management file is generated that includes information indicating that the size of the buffer is not a system that is encoded so that underflow or overflow does not occur.
  • the playback device according to the first aspect and the file generation device according to the second aspect can be realized by causing a computer to execute a program.
  • a program to be executed by a computer is transmitted through a transmission medium or recorded on a recording medium, Can be provided.
  • a video stream having an optimal bit rate can be acquired.
  • a management file can be generated.
  • a management file that enables acquisition of a video stream having an optimal bit rate is generated. Can do.
  • First embodiment Information processing system (FIGS. 1 to 9) 2.
  • Second embodiment Information processing system (FIGS. 10 to 14) 3.
  • Third embodiment Information processing system (FIGS. 15 to 17) 4).
  • Fourth embodiment Information processing system (FIGS. 18 and 19) 5.
  • Fifth embodiment Information processing system (FIG. 20) 6).
  • Sixth embodiment information processing system (FIG. 21) 7).
  • Seventh embodiment Information processing system (FIGS. 22 to 24) 8).
  • Explanation of losslessDSD method (Figs. 25 to 28) 9.
  • Eighth Embodiment Computer (FIG. 29)
  • FIG. 1 is a diagram illustrating an overview of an information processing system according to the first embodiment to which the present disclosure is applied.
  • the information processing system 10 in FIG. 1 is configured by connecting a Web server 12 as a DASH server connected to a file generation device 11 and a moving image playback terminal 14 as a DASH client via the Internet 13.
  • the Web server 12 performs live distribution of the moving image content file generated by the file generation device 11 to the moving image playback terminal 14 in accordance with MPEG-DASH.
  • the file generation device 11 performs A / D conversion on the video analog signal and audio analog signal of the moving image content to generate a video digital signal and an audio digital signal. Then, the file generation device 11 encodes a signal such as a video digital signal or an audio digital signal of the moving image content at a plurality of bit rates by a predetermined encoding method, and generates an encoded stream.
  • the audio digital signal encoding method is a lossless DSD method or an MPEG-4 (MovingMoPicture Experts Group phase 4) method.
  • the MPEG-4 system is a system for irreversibly compressing audio digital signals that have been A / D converted by the PCM system so that underflow or overflow does not occur in a fixed-size buffer.
  • the file generation device 11 converts the generated encoded stream into a file in units of time from several seconds to about 10 seconds called segments.
  • the file generation device 11 uploads the segment file generated as a result to the Web server 12.
  • the file generation device 11 also generates an MPD (Media Presentation Description) file (management file) for managing moving image content.
  • the file generation device 11 uploads the MPD file to the Web server 12.
  • the Web server 12 stores the segment file and MPD file uploaded from the file generation device 11.
  • the web server 12 transmits the stored segment file or MPD file to the video playback terminal 14 in response to a request from the video playback terminal 14.
  • the video playback terminal 14 includes streaming data control software (hereinafter referred to as control software) 21, video playback software 22, and client software (hereinafter referred to as HTTP (HyperText Transfer Protocol) access). 23) (referred to as access software).
  • control software streaming data control software
  • video playback software video playback software 22
  • client software hereinafter referred to as HTTP (HyperText Transfer Protocol) access. 23
  • the control software 21 is software that controls data streamed from the Web server 12. Specifically, the control software 21 causes the video playback terminal 14 to acquire an MPD file from the Web server 12.
  • control software 21 uses the MPD file, the reproduction time information indicating the reproduction time specified by the moving image reproduction software 22, and the network stream of the Internet 13, and the encoded stream of the segment file to be reproduced.
  • a transmission request is commanded to the access software 23.
  • the moving image reproduction software 22 is software for reproducing the encoded stream acquired from the Web server 12 via the Internet 13. Specifically, the moving image playback software 22 designates playback time information to the control software 21. Also, the moving image playback software 22 decodes the encoded stream received by the moving image playback terminal 14 when receiving a notification of reception start from the access software 23. The moving image reproduction software 22 outputs a video digital signal and an audio digital signal obtained as a result of decoding.
  • the access software 23 is software that controls communication with the Web server 12 via the Internet 13 using HTTP. Specifically, the access software 23 causes the moving image playback terminal 14 to transmit a transmission request for the encoded stream of the segment file to be played back in response to a command from the control software 21. In response to the transmission request, the access software 23 causes the video playback terminal 14 to start receiving the encoded stream transmitted from the Web server 12 and supplies the video playback software 22 with a reception start notification. To do.
  • FIG. 2 is a diagram for explaining the DSD method.
  • the horizontal axis represents time
  • the vertical axis represents the value of each signal.
  • the waveform of the audio analog signal is a sine wave.
  • the value of the audio analog signal at each sampling time is converted into an audio digital signal of a fixed number of bits corresponding to the value. Is done.
  • the audio analog signal value at each sampling time is an audio having a density of change points of “0” and “1” corresponding to the value. Converted to a digital signal. Specifically, the larger the value of the audio analog signal, the higher the density of the changing points of the audio digital signal, and the smaller the value of the audio analog signal, the lower the density of the changing points of the audio digital signal. That is, the pattern of “0” and “1” of the audio digital signal changes according to the value of the audio analog signal.
  • bit generation amount of the encoded stream obtained by encoding this audio digital signal by the lossless DSD method that performs lossless compression encoding based on the pattern of “0” and “1” depends on the waveform of the audio analog signal. fluctuate. Therefore, it is difficult to predict the bit rate in advance.
  • FIG. 3 is a block diagram illustrating a configuration example of the file generation device in FIG.
  • 3 includes an acquisition unit 31, an encoding unit 32, a segment file generation unit 33, an MPD file generation unit 34, and an upload unit 35.
  • the acquisition unit 31 of the file generation device 11 acquires a video analog signal or an audio analog signal of moving image content and performs A / D conversion.
  • the acquisition unit 31 supplies the encoding unit 32 with signals such as a video digital signal and an audio digital signal obtained as a result of A / D conversion, and other acquired moving image content signals.
  • the encoding unit 32 encodes the moving image content signals supplied from the acquisition unit 31 at a plurality of bit rates, respectively, to generate an encoded stream.
  • the encoding unit 32 supplies the generated encoded stream to the segment file generation unit 33.
  • the segment file generation unit 33 (generation unit) converts the encoded stream supplied from the encoding unit 32 into a file on a segment basis for each bit rate.
  • the segment file generation unit 33 supplies the segment file generated as a result to the upload unit 35.
  • the MPD file generation unit 34 includes information indicating that the encoding method of the audio digital signal is the lossless DSD method, the maximum bit rate of the audio stream that is the encoded stream of the audio digital signal, and the encoded stream of the video digital signal. Generate an MPD file containing the bit rate of a video stream. The maximum bit rate is the maximum value that can be taken as the bit rate.
  • the MPD file generation unit 34 supplies the MPD file to the upload unit 35.
  • the upload unit 35 uploads the segment file supplied from the segment file generation unit 33 and the MPD file supplied from the MPD file generation unit 34 to the Web server 12 of FIG.
  • FIG. 4 is a diagram illustrating a first description example of the MPD file.
  • FIG. 4 for the convenience of explanation, only the description for managing the segment file of the audio stream is shown in the description of the MPD file. The same applies to FIGS. 5, 10, 11, 22, and 23 described later.
  • information such as video content encoding method, bit rate, image size, audio language, etc. are layered and described in XML format.
  • the MPD file hierarchically includes elements such as a period, an adaptation set, an representation, a segment info, and the like.
  • the video content managed by the user is divided in a predetermined time range (for example, a unit such as a program or CM (Commercial)).
  • the period element is described for each divided moving image content.
  • the period element has information common to the corresponding moving image content, such as the reproduction start time of the moving image content, the URL (Uniform ResourceatorLocator) of the Web server 12 that stores the segment file of the moving image content, and MinBufferTime.
  • MinBufferTime is information indicating the buffer time of the virtual buffer, and is set to 0 in the example of FIG.
  • the adaptation set element is included in the period element, and groups the representation elements corresponding to the segment file group of the same encoded stream of the moving image content corresponding to the period element.
  • the representation elements are grouped according to the data type of the corresponding segment file group, for example. In the example of FIG. 4, three representation elements corresponding to each of segment files of three types of audio streams having different bit rates are grouped by one adaptation set element.
  • the adaptation set element includes information such as media type, language, subtitles, dubbing, maxBandwidth which is the maximum value of the bit rate, MinBandwidth which is the minimum value, and the like as information common to the corresponding group of segment files.
  • the adaptation set element has a SegmentTemplate that indicates the rule of the segment length and the file name of the segment file.
  • SegmentTemplate timescale, duration, initialization, and media are described.
  • Timescale is a value representing 1 second
  • duration is a segment length value when the timescale is 1 second.
  • the timescale is 44100 and the duration is 88200. Therefore, the segment length is 2 seconds.
  • Initialization is information indicating a rule for the name of the initialization segment file among the segment files of the audio stream.
  • initialization is “$ Bandwidth $ init.mp4”. Therefore, the name of the initialization segment file of the audio stream is obtained by adding init to the Bandwidth of the representation element.
  • media is information indicating a rule for the name of the media segment file among the segment files of the audio stream.
  • media is “$ Bandwidth $-$ Number $ .mp4”. Therefore, the name of the media segment file of the audio stream is obtained by adding “-” to the Bandwidth of the representation element and sequentially adding numbers.
  • the representation element is included in the adaptation set element that groups the representation elements, and is described for each segment file group of the same encoded stream of the moving image content corresponding to the upper layer period element.
  • the representation element has a band width indicating a bit rate, an image size, and the like as information common to the corresponding segment file group.
  • the representation element corresponding to the audio stream describes the maximum bit rate of the audio stream as a bit rate common to the corresponding segment file group.
  • the maximum bit rates of the three types of audio streams are 2.8 Mbps, 5.6 Mbps, and 11.2 Mbps. Accordingly, the band widths of the three representation elements are 2.800000, 5600000, and 11200000, respectively. Further, the MinBandwidth of the adaptation set element is 280,000 and maxBandwidth is 11200000.
  • the segment info element is included in the representation element and has information on each segment file of the segment file group corresponding to the representation element.
  • the moving image playback terminal 14 can perform playback without interruption by acquiring the audio stream and the video stream on the assumption that the bit rate of the audio stream is the maximum bit rate. However, if the actual bit rate of the audio stream is smaller than the maximum bit rate, the bandwidth allocated to the audio stream is wasted.
  • FIG. 5 is a diagram illustrating a second description example of the MPD file.
  • the encoding method of two types of audio streams out of three types of audio streams having different bit rates is the lossless DSD method, and the encoding method of one type of audio stream is the MPEG-4 method. .
  • FIG. 6 is a flowchart for explaining file generation processing of the file generation apparatus 11 of FIG.
  • the MPD file generation unit 34 of the file generation device 11 generates an MPD file and supplies the MPD file to the upload unit 35.
  • the upload unit 35 uploads the MPD file supplied from the MPD file generation unit 34 to the Web server 12.
  • step S12 the acquisition unit 31 acquires the video analog signal and audio analog signal of the moving image content in segment units, and performs A / D conversion.
  • the acquisition unit 31 supplies the encoding unit 32 with signals such as video digital signals and audio analog signals obtained as a result of A / D conversion, and other segment-unit moving image content signals.
  • step S13 the encoding unit 32 encodes the moving image content signal supplied from the acquisition unit 31 at a plurality of bit rates by a predetermined encoding method to generate an encoded stream.
  • the encoding unit 32 supplies the generated encoded stream to the segment file generation unit 33.
  • step S14 the segment file generation unit 33 converts the encoded stream supplied from the encoding unit 32 into a file for each bit rate, and generates a segment file.
  • the segment file generation unit 33 supplies the generated segment file to the upload unit 35.
  • step S15 the upload unit 35 uploads the segment file supplied from the segment file generation unit 33 to the Web server 12.
  • step S16 the acquisition unit 31 determines whether to end the file generation process. Specifically, the acquisition unit 31 determines that the file generation process is not terminated when a new segment content video content signal is supplied. Then, the process returns to step S12, and the processes of steps S12 to S16 are repeated until it is determined that the file generation process is finished.
  • the acquisition part 31 determines with complete
  • FIG. 7 is a block diagram showing an example of the configuration of a streaming playback unit realized by executing the control software 21, the video playback software 22, and the access software 23 by the video playback terminal 14 of FIG. .
  • the streaming playback unit 60 includes an MPD acquisition unit 61, an MPD processing unit 62, a segment file acquisition unit 63, a selection unit 64, a buffer 65, a decoding unit 66, and an output control unit 67.
  • the MPD acquisition unit 61 of the streaming playback unit 60 requests and acquires the MPD file from the Web server 12.
  • the MPD acquisition unit 61 supplies the acquired MPD file to the MPD processing unit 62.
  • the MPD processing unit 62 analyzes the MPD file supplied from the MPD acquisition unit 61. Specifically, the MPD processing unit 62 acquires acquisition information such as the bandwidth of each encoded stream, the URL of a segment file that stores each encoded stream, and the file name.
  • the segment file acquisition unit 63 When the segment file acquisition unit 63 indicates that at least one of the encoding method information of each audio stream is not a fixed method, the segment file acquisition unit 63 extracts audio streams having different band widths based on the network bandwidth of the Internet 13 and the band width of each audio stream. Select the audio stream to be acquired. Then, the segment file acquisition unit 63 (acquisition unit) transmits the acquisition information of the segment file at the reproduction time among the segment files of the selected audio stream to the Web server 12, and acquires the segment file.
  • the segment file acquisition unit 63 detects the actual bit rate of the acquired audio stream and supplies it to the selection unit 64. Further, the segment file acquisition unit 63 transmits the segment file acquisition information of the playback time among the segment files of the Bandwidth video stream supplied from the selection unit 64 to the Web server 12 and acquires the segment file.
  • the segment file acquisition unit 63 acquires a video stream based on the bandwidth of each encoded stream and the network bandwidth of the Internet 13. And select the width of the audio stream. Then, the segment file acquisition unit 63 transmits the segment file acquisition information at the reproduction time of the selected video files and audio stream segment files of the selected bandwidth to the Web server 12 and acquires the segment file. The segment file acquisition unit 63 supplies the encoded stream stored in the acquired segment file to the buffer 65.
  • the selection unit 64 selects a video stream to be acquired from video streams having different bandwidths based on the actual bit rate of the audio stream, the network bandwidth of the Internet 13, and the bandwidth of the video stream.
  • the selection unit 64 supplies the band width of the selected video stream to the segment file acquisition unit 63.
  • the buffer 65 temporarily holds the encoded stream supplied from the segment file acquisition unit 63.
  • the decoding unit 66 reads the encoded stream from the buffer 65 and decodes it to generate a video digital signal or an audio digital signal of the moving image content.
  • the decoding unit 66 supplies the generated video digital signal and audio digital signal to the output control unit 67.
  • the output control unit 67 displays an image on a display unit such as a display (not shown) of the video playback terminal 14 based on the video digital signal supplied from the decoding unit 66.
  • the output control unit 67 performs D / A (Digital / Analog) conversion on the audio digital signal supplied from the decoding unit 66.
  • the output control unit 67 causes the output unit such as a speaker (not shown) included in the moving image reproduction terminal 14 to output sound.
  • FIG. 8 is a diagram illustrating an example of an actual bit rate of the audio stream when the encoding method is the lossless DSD method.
  • the encoding method is the lossless DSD method
  • the actual bit rate of the audio stream varies below the maximum bit rate indicated by Bandwidth.
  • the actual bit rate of the audio stream is unpredictable. Therefore, when the moving image content is distributed live, the moving image playback terminal 14 cannot recognize the actual bit rate of the audio stream until the audio stream is acquired.
  • the video playback terminal 14 acquires the actual bit rate of the audio stream by acquiring the audio stream before selecting the bit rate of the video stream.
  • the moving image reproduction terminal 14 can allocate a band other than the actual bit rate of the audio stream in the network band of the Internet 13 to the video stream. That is, the surplus bandwidth 81 that is the difference between the maximum bit rate of the audio stream and the actual bit rate can be assigned to the video stream.
  • the surplus band 81 cannot be allocated to the video stream, and the use of the band is wasted.
  • FIG. 9 is a flowchart for explaining the playback process of the streaming playback unit 60 of FIG. This reproduction process is started when an MPD file is acquired and at least one of the encoding method information of each audio stream generated as a result of the analysis of the MPD file indicates that it is not a fixed method.
  • the segment file acquisition unit 63 selects the smallest bandwidth of the video stream and the audio stream from the bandwidth of each encoded stream supplied from the MPD processing unit 62.
  • step S32 the segment file acquisition unit 63 obtains information on the acquisition of the segment file having a predetermined time length from the reproduction start time among the segment files of the bandwidth video stream and the audio stream selected in step S31 on a segment basis.
  • the data is transmitted to the server 12, and the segment file is acquired in units of segments.
  • This predetermined time length is a time length of an encoded stream that is desirably held in the buffer 65 before the start of decoding for detecting the network bandwidth of the Internet 13.
  • the predetermined time length is 25% of the time length of the encoded stream that can be held in the buffer 65 (for example, about 30 to 60 seconds) (hereinafter referred to as the maximum time length).
  • the segment file acquisition unit 63 supplies the encoded stream stored in each acquired segment file to the buffer 65 to hold it.
  • step S33 the decoding unit 66 starts decoding the encoded stream stored in the buffer 65. Note that the encoded stream read and decoded by the decoding unit 66 is deleted from the buffer 65.
  • the decoding unit 66 supplies a video digital signal or audio digital signal of the moving image content obtained as a result of the decoding to the output control unit 67. Based on the video digital signal supplied from the decoding unit 66, the output control unit 67 displays an image on a display unit such as a display (not shown) included in the video playback terminal 14.
  • the output control unit 67 performs D / A conversion on the audio digital signal supplied from the decoding unit 66 and, based on the audio analog signal obtained as a result, a speaker (not shown) included in the video playback terminal 14 or the like. The sound is output to the output unit.
  • step S34 the segment file acquisition unit 63 detects the network bandwidth of the Internet 13.
  • step S35 the segment file acquisition unit 63 selects the bandwidth of the video stream and the audio stream based on the network bandwidth of the Internet 13 and the bandwidth of each encoded stream. Specifically, the segment file acquisition unit 63 selects the bandwidth of the video stream and the audio stream so that the sum of the bandwidths of the selected video stream and audio stream is equal to or less than the network bandwidth of the Internet 13.
  • step S36 the segment file acquisition unit 63 acquires a segment file having a predetermined time length from the next time of the segment file acquired in step S32 among the segment files of the Bandwidth audio stream selected in step S35. Information is transmitted to the Web server 12 in segment units, and segment files are acquired in segment units.
  • the predetermined time length may be any time length as long as the time length of the encoded stream held in the buffer 65 is smaller than the time length that is insufficient with respect to the maximum time length.
  • the segment file acquisition unit 63 supplies the audio stream stored in each acquired segment file to the buffer 65 to hold it.
  • step S37 the segment file acquisition unit 63 detects the actual bit rate of the audio stream acquired in step S36 and supplies it to the selection unit 64.
  • step S38 the selection unit 64 determines whether or not to reselect the bandwidth of the video stream based on the actual bit rate of the audio stream, the bandwidth of the video stream, and the network bandwidth of the Internet 13.
  • the selection unit 64 determines whether the bandwidth of the video stream that is the largest or less than the value obtained by subtracting the actual bit rate of the audio stream from the network bandwidth of the Internet 13 is the bandwidth of the video stream selected in step S35. Determine if.
  • the selection unit 64 determines to reselect the bandwidth of the video stream. On the other hand, if it is determined in step S35 that the bandwidth of the video stream is selected, the selection unit 64 determines not to reselect the bandwidth of the video stream.
  • step S38 If it is determined in step S38 that the band width of the video stream is to be selected again, the process proceeds to step S39.
  • step S39 the selection unit 64 reselects the largest video stream Bandwidth that is equal to or smaller than the value obtained by subtracting the actual bit rate of the audio stream from the network bandwidth of the Internet 13. Then, the selection unit 64 supplies the reselected bandwidth to the segment file acquisition unit 63, and the process proceeds to step S40.
  • step S38 determines whether the bandwidth of the video stream is selected again. If it is determined in step S38 that the bandwidth of the video stream is not selected again, the selection unit 64 supplies the bandwidth of the video stream selected in step S35 to the segment file acquisition unit 63, and the process is performed in step S40. Proceed to
  • step S40 the segment file acquisition unit 63 acquires the segment file having a predetermined time length corresponding to the audio stream acquired in step S36 from the segment files of the video stream of Bandwidth supplied from the selection unit 64. Is sent to the Web server 12 in segment units, and the segment file is acquired in segment units. The segment file acquisition unit 63 supplies the video stream stored in each acquired segment file to the buffer 65 to hold it.
  • step S41 the segment file acquisition unit 63 determines whether or not there is an empty space in the buffer 65. If it is determined in step S41 that the buffer 65 is not empty, the segment file acquisition unit 63 waits until the buffer 65 is empty.
  • step S42 the streaming playback unit 60 determines whether or not to end the playback. If it is determined in step S42 that the reproduction is not to be terminated, the process returns to step S34, and the processes in steps S34 to S42 are repeated until the reproduction is terminated.
  • step S43 the decoding unit 66 ends the decoding of all the encoded streams stored in the buffer 65, and then ends the decoding. Then, the process ends.
  • the video playback terminal 14 acquires an audio stream encoded by the lossless DSD method before the video stream to acquire the actual bit rate of the audio stream, and acquires based on the actual bit rate. Select the Bandwidth of the video stream to be used.
  • the file generation device 11 calculates the average value of the actual bit rate of the generated audio stream and describes it in the MPD file.
  • the average value changes as the audio stream is generated, so the moving image playback terminal 14 needs to periodically acquire and update the MPD file.
  • FIG. 10 is a diagram illustrating a first description example of the MPD file according to the second embodiment.
  • the representation element further includes AveBandwidth and DurationForAveBandwidth.
  • AveBandwidth is information indicating an average value of a predetermined period of the actual bit rate of the audio stream corresponding to the representation element.
  • DurationForAveBandwidth is information indicating a predetermined period corresponding to AveBandwidth.
  • the MPD file generation unit 34 in the second embodiment calculates an average value from the integrated value of the actual bit rates of the audio stream generated by the encoding unit 32 for each reference period. An average value of the actual bit rates of the audio stream in a predetermined period increased by the reference period is calculated.
  • the MPD file generation unit 34 uses the calculated average value and a predetermined period corresponding to the average value as the bit rate information representing the actual bit rate of the audio stream for each reference period. Generate. Then, the MPD file generation unit 34 generates an MPD file including information indicating the average value of the bit rate information as AveBandwidth and including information indicating a predetermined period as DurationForAveBandwidth.
  • the MPD file generation unit 34 calculates the average value of the actual bit rate of the audio stream for 600 seconds from the beginning. Therefore, DurationForAveBandwidth included in the three representation elements is PT600S indicating 600 seconds.
  • AveBandwidth of the first representation element is 2000000.
  • the average value of the actual bit rate for 600 seconds from the beginning of the lossless DSD audio stream whose maximum bit rate corresponding to the second representation element is 5.6 Mbps is 4 Mbps. Therefore, the AveBandwidth of the second representation element is 4000000.
  • the average bit rate for 600 seconds from the beginning of the lossless DSD audio stream with a maximum bit rate of 11.2 Mbps corresponding to the third representation element is 8 Mbps. Therefore, the AveBandwidth of the third representation element is 8000000.
  • FIG. 11 is a diagram illustrating a second description example of the MPD file according to the second embodiment.
  • the configuration of the MPD file in FIG. 11 is different from the configuration of the MPD file in FIG. 5 in that two representation elements corresponding to an audio stream encoded by the lossless DSD method further have AveBandwidth and DurationForAveBandwidth.
  • the AveBandwidth and DurationForAveBandwidth included in the two representation elements are the same as the AveBandwidth and DurationForAveBandwidth included in the first and second representation elements in FIG.
  • the MPD file generation unit 34 may describe the time of the moving image content as DurationForAveBandwidth or the description of DurationForAveBandwidth when calculating the average value from the accumulated value accumulated up to the bit rate of the last audio stream of the moving image content. May be omitted.
  • the MPD file in FIGS. 10 and 11 includes a minimum UpdatePeriod indicating a reference period as an update interval of the MPD file. Then, the moving image playback terminal 14 updates the MPD file at the update interval indicated by minimumUpdatePeriod. Therefore, the MPD file generation unit 34 can easily change the update interval of the MPD file only by changing the minimumUpdatePeriod described in the MPD file.
  • AveBandwidth and DurationForAveBandwidth in FIGS. 10 and 11 may be described as SupplementalPropertyaldescriptor instead of being described as a parameter of the representation element.
  • AveBandwidth instead of AveBandwidth in FIGS. 10 and 11, an integrated value of the actual bit rate of the audio stream in a predetermined period may be described.
  • DASH audio: cbr: 2015 ”>
  • AveBandwidth and DurationForAveBandwidth can be described. Therefore, the MPD files in FIGS. 10 and 11 are compatible with MPD files that are not assumed to be non-fixed as the audio stream encoding method.
  • FIG. 12 is a flowchart for explaining file generation processing of the file generation apparatus 11 according to the second embodiment. This file generation process is performed when at least one of the encoding methods of the audio stream is the lossless DSD method.
  • the MPD file generation unit 34 of the file generation device 11 generates an MPD file.
  • the same value as the Bandwidth is described in the AveBandwidth of the MPD file, and PT0S indicating 0 second is indicated in the DurationForAveBandwidth. Described.
  • a reference period ⁇ T is set in the minimumUpdatePeriod of the MPD file.
  • the MPD file generation unit 34 supplies the generated MPD file to the upload unit 35.
  • steps S61 to S65 is the same as the processing of steps S11 to S15 in FIG.
  • step S66 the MPD file generation unit 34 integrates the actual bit rate of the audio stream with the accumulated value held, and holds the accumulated value obtained as a result.
  • step S67 the MPD file generation unit 34 determines whether or not the actual bit rate of the audio stream at the playback time one second before the update time of the MPD file has been integrated by the processing in step S66.
  • the MPD file generation unit 34 plays back 1 second before the update time. It is determined whether or not the actual bit rate of the audio stream at the time has been accumulated.
  • the time is of course not limited to 1 second, and if it is other than 1 second, it is determined whether or not the actual bit rate of the audio stream at the playback time before the update time has been integrated by that time.
  • the MPD file update time in the first step S67 is after the reference period ⁇ T from 0 seconds, and the MPD file update time in the next step S67 is twice the reference period ⁇ T from 0 seconds. It is. Thereafter, similarly, the update time of the MPD file increases by the reference period ⁇ T.
  • step S67 If it is determined in step S67 that the actual bit rate of the audio stream at the playback time one second before the update time of the MPD file has been accumulated by the process in step S66, the process proceeds to step S68.
  • step S68 the MPD file generation unit 34 calculates the average value by dividing the accumulated value held by the period of the audio stream corresponding to the accumulated bit rate.
  • step S69 the MPD file generation unit 34 updates the AveBandwidth and DurationForAveBandwidth of the MPD file to information indicating the average value calculated in step S67 and information indicating a period corresponding to the average value, respectively. Proceed to S70.
  • step S67 if it is determined in step S67 that the actual bit rate of the audio stream at the playback time one second before the update time of the MPD file has not been accumulated in step S66, the process proceeds to step S70.
  • step S70 is the same as the processing in step S16 in FIG.
  • FIG. 13 is a flowchart for explaining the MPD file update processing of the streaming playback unit 60 in the second embodiment. This MPD file update process is performed when minimumUpdatePeriod is described in the MPD file.
  • the MPD acquisition unit 61 of the streaming playback unit 60 acquires the MPD file and supplies it to the MPD processing unit 62.
  • the MPD processing unit 62 analyzes the MPD file supplied from the MPD acquisition unit 61, thereby acquiring the update interval indicated by the minimumUpdatePeriod from the MPD file.
  • the MPD processing unit 62 analyzes the MPD file to obtain the bandwidth of the encoded stream, acquisition information, encoding method information, and the like. Furthermore, when the MPD processing unit 62 analyzes the MPD file to indicate that the encoding method information is not a fixed method, the MPD processing unit 62 acquires the AveBandwidth of the audio stream and sets it as the selection bit rate. When the encoding method information indicates a fixed method, the MPD processing unit 62 sets the bandwidth of the audio stream as the selection bit rate.
  • the MPD processing unit 62 supplies the band width and acquisition information of each video stream, the bit rate for selection of each audio stream, the acquisition information, and the encoding method information to the segment file acquisition unit 63. In addition, the MPD processing unit 62 supplies the selection unit 64 with the bit rate for selection of each audio stream.
  • step S93 the MPD acquisition unit 61 determines whether or not the update interval has elapsed since the acquisition of the MPD file by the process of the previous step S91. If it is determined in step S93 that the update interval has not elapsed, the MPD acquisition unit 61 waits until the update interval elapses.
  • step S93 If it is determined in step S93 that the update interval has elapsed, the process proceeds to step S94.
  • step S94 the streaming playback unit 60 determines whether or not to end the playback process. If it is determined in step S94 that the reproduction process is not terminated, the process returns to step S91, and the processes in steps S91 to S94 are repeated until the reproduction process is terminated.
  • step S94 if it is determined in step S94 that the reproduction process is to be terminated, the process is terminated.
  • FIG. 14 is a flowchart for explaining the playback process of the streaming playback unit 60 in the second embodiment. This reproduction process is performed in parallel with the MPD file update process of FIG.
  • the segment file acquisition unit 63 selects the smallest video stream Bandwidth and audio stream selection bit rate supplied from the MPD processing unit 62.
  • step S112 the segment file acquisition unit 63 acquires the segment file having a predetermined time length from the reproduction start time among the segment files of the video stream having the bandwidth and the audio stream having the selection bit rate selected in step S111. Is sent to the Web server 12 in segment units, and the segment file is acquired in segment units. This predetermined time length is the same as the time length in step S32 of FIG. The segment file acquisition unit 63 supplies the acquired segment file to the buffer 65 to hold it.
  • steps S113 and S114 is the same as the processing in steps S33 and S34 in FIG.
  • step S115 the segment file acquisition unit 63 selects the video stream bandwidth and the audio stream selection bit rate based on the network bandwidth of the Internet 13, the video stream bandwidth and the audio stream selection bit rate. .
  • the segment file acquisition unit 63 sets the video stream Bandwidth and the audio stream so that the sum of the Bandwidth of the selected video stream and the bit rate for selecting the audio stream is equal to or less than the network bandwidth of the Internet 13. Select the bit rate for selection.
  • step S116 the segment file acquisition unit 63 determines a predetermined time from the next time of the segment file acquired in step S112 out of the segment files of the bandwidth video stream and the selection bit rate audio stream selected in step S115.
  • the segment file acquisition information of the time length is transmitted to the Web server 12 in segment units, and the segment file is acquired in segment units.
  • the segment file acquisition unit 63 supplies the acquired segment file to the buffer 65 to hold it.
  • AveBandwidth is an average value of the actual bit rate of the audio stream
  • the actual bit rate may exceed AveBandwidth. Accordingly, the predetermined time length in step S116 is set to be shorter than the reference period ⁇ T. As a result, when the actual bit rate exceeds AveBandwidth, the network bandwidth of the Internet 13 is reduced, and an audio stream having a lower selection bit rate is acquired. As a result, overflow of the buffer 65 can be prevented.
  • steps S117 to S119 is the same as the processing of steps S41 to S43 in FIG.
  • the file generation device 11 generates an average value of actual bit rates of audio streams encoded by the lossless DSD method. Accordingly, the video playback terminal 14 selects the bandwidth of the video stream to be acquired based on the average value of the actual bit rate of the audio stream, thereby obtaining a surplus bandwidth that is a difference between the bandwidth of the audio stream and the actual bit rate. At least a portion of which can be allocated to the video stream. As a result, it is possible to acquire a video stream having an optimum bit rate as compared with the case where the bandwidth of the video stream to be acquired is selected based on the bandwidth of the audio stream.
  • the video playback terminal 14 acquires the latest MPD file at the playback start time, thereby obtaining the latest You can get AveBandwidth.
  • update notification information for notifying the update time of the MPD file is mainly stored in the media segment file of the audio stream instead of describing the minimumUpdatePeriod in the MPD file. This is different from the second embodiment. Therefore, hereinafter, only the segment file of the audio stream, the file generation process, the MPD file update process, and the playback process will be described.
  • FIG. 15 is a diagram illustrating a configuration example of a media segment file including audio stream update notification information according to the third embodiment.
  • the media segment file (Media Segment) in FIG. 15 is composed of a styp box, a sidx box, an emsg box (Event Message Box), and one or more Movie fragments.
  • the styp box is a box that stores information indicating the format of the media segment file.
  • msdh indicating that the format of the media segment file is the MPEG-DASH format is stored in the styp box.
  • the sidx box is a box for storing index information of sub-segments composed of one or more Movie fragments.
  • the emsg box is a box for storing update notification information using MPD validation validation.
  • Movie fragment is composed of moof box and mdat box.
  • the moof box is a box for storing audio stream metadata
  • the mdat box is a box for storing an audio stream.
  • a Movie fragment constituting a Media segment is divided into one or more sub-segments.
  • FIG. 16 is a diagram illustrating a description example of the emsg box in FIG.
  • string_value, presentation_time_delta, event_duration, id, message_data, etc. are described in the emsg box.
  • “String value” is a value defining an event corresponding to this emsg box, and in the case of FIG. 16, it is 1 indicating updating of the MPD file.
  • Presentation_time_delta is the time from the playback time of the media segment file in which the emsg box is arranged to the playback time at which the event is performed. Therefore, in the case of FIG. 16, presentation_time_delta is the time from the playback time of the media segment file in which this emsg box is arranged to the playback time when the MPD file is updated, and is update notification information. In the third embodiment, presentation_time_delta is 5. Accordingly, the MPD file is updated 5 seconds after the playback time of the media segment file in which this emsg box is arranged.
  • Event_duration is the period of the event corresponding to this emsg box. In the case of FIG. 16, “event_duration” is “0xFFFF” indicating that the period is unknown. id is an ID unique to this emsg box. Further, message_data is data related to the event corresponding to this emsg box, and in the case of FIG. 16, is the XML (Extensible Markup Language) data of the update time of the MPD file.
  • XML Extensible Markup Language
  • the file generation device 11 includes the emsg box of FIG. 16 for storing presentation_time_delta in the media segment file of the audio stream as necessary. Thereby, the file generation device 11 can notify the moving image playback terminal 14 of how many seconds after the playback time of the media segment file the MPD file is updated.
  • the file generation device 11 can easily change the update frequency of the MPD file only by changing the frequency with which the emsg box is arranged in the media segment file.
  • FIG. 17 is a flowchart for explaining file generation processing of the file generation apparatus 11 according to the third embodiment. This file generation process is performed when at least one of the encoding methods of the audio stream is the lossless DSD method.
  • the MPD file generation unit 34 of the file generation device 11 generates an MPD file.
  • This MPD file is different from the MPD file in the second embodiment in that minimumUpdatePeriod is not described and “urn: mpeg: dash: profile: is-off-ext-live: 2014” is described. “Urn: mpeg: dash: profile: is-off-ext-live: 2014” is a profile indicating that the emsg box of FIG. 16 is arranged in the media segment file.
  • the MPD file generation unit 34 supplies the generated MPD file to the upload unit 35.
  • step S134 the segment file generation unit 33 of the file generation device 11 determines whether or not the reproduction time of the audio digital signal encoded in step S133 is 5 seconds before the update time of the MPD file.
  • the segment file generation unit 33 determines whether it is 5 seconds before the update time of the MPD file in order to notify the moving image playback terminal 14 of the update of the MPD file 5 seconds before.
  • the notification to the video playback terminal 14 may, of course, be performed only before a time other than 5 seconds, and when performed before a time other than 5 seconds, the MPD file is updated by that time only. It is determined whether it is before.
  • the MPD file update time in the first step S134 is after the reference period ⁇ T from 0 seconds, and the MPD file update time in the next step S134 is twice the reference period ⁇ T from 0 seconds. It is. Thereafter, similarly, the update time of the MPD file increases by the reference period ⁇ T.
  • step S134 If it is determined in step S134 that it is 5 seconds before the update time of the MPD file, the process proceeds to step S135.
  • step S135 the segment file generation unit 33 generates a segment file of the audio stream supplied from the encoding unit 32 including the emsg box of FIG.
  • the segment file generation unit 33 generates a segment file of the video stream supplied from the encoding unit 32. Then, the segment file generation unit 33 supplies the generated segment file to the upload unit 35, and the process proceeds to step S137.
  • step S136 the segment file generation unit 33 generates a segment file of the audio stream supplied from the encoding unit 32 that does not include the emsg box of FIG.
  • the segment file generation unit 33 generates a segment file of the video stream supplied from the encoding unit 32. Then, the segment file generation unit 33 supplies the generated segment file to the upload unit 35, and the process proceeds to step S137.
  • steps S137 to S142 Since the processing of steps S137 to S142 is the same as the processing of steps S65 to S70 of FIG.
  • the MPD file update processing of the streaming playback unit 60 in the third embodiment is performed when the media segment file acquired by the segment file acquisition unit 63 includes the emsg box of FIG. This is a process in which the MPD acquisition unit 61 acquires an MPD file in seconds.
  • presentation_time_delta is 5, but of course it is not limited to this.
  • the playback process of the streaming playback unit 60 in the third embodiment is the same as the playback process of FIG. 14, and is performed in parallel with the MPD file update process.
  • the video playback terminal 14 since the video playback terminal 14 only needs to acquire the MPD file when acquiring the media segment file including the emsg box, HTTP overhead other than acquisition of the encoded stream is required. Can be suppressed.
  • the fourth embodiment of the information processing system to which the present disclosure is applied mainly stores the update values of AveBandwidth and DurationForAveBandwidth as update information (difference information before and after update) of the MPD file, rather than updating the MPD file.
  • the difference from the third embodiment is that the emsg box is arranged in the segment file of the audio stream.
  • the initial values of AveBandwidth and DurationForAveBandwidth are included in the MPD file, and the updated values of AveBandwidth and DurationForAveBandwidth are included in the segment file of the audio stream. Therefore, hereinafter, only the emsg box for storing the updated values of AveBandwidth and DurationForAveBandwidth, file generation processing, MPD file update processing, and playback processing will be described.
  • FIG. 18 is a diagram illustrating a description example of an emsg box that stores update values of AveBandwidth and DurationForAveBandwidth in the fourth embodiment.
  • string value is 2 indicating transmission of update information of the MPD file.
  • presentation_time_delta 0 is set as the time from the playback time of the media segment file in which this emsg box is arranged to the playback time at which the update information of the MPD file is transmitted.
  • message_data is XML data of update values of AveBandwidth and DurationForAveBandwidth which are update information of the MPD file.
  • FIG. 19 is a flowchart for describing file generation processing of the file generation apparatus 11 according to the fourth embodiment. This file generation process is performed when at least one of the encoding methods of the audio stream is the lossless DSD method.
  • step S160 of FIG. 19 the MPD file generation unit 34 of the file generation device 11 generates an MPD file.
  • This MPD file is the same as the MPD file in the third embodiment, except that the profile is replaced with a profile indicating that the emsg box in FIGS. 16 and 18 is arranged in the media segment file.
  • the MPD file generation unit 34 supplies the generated MPD file to the upload unit 35.
  • steps S161 to S164 is the same as the processing of steps S131 to S134 in FIG.
  • step S164 If it is determined in step S164 that it is not 5 seconds before the update time of the MPD file, the process proceeds to step S165.
  • the processing in steps S165 to S167 is the same as the processing in steps S138 to S140 in FIG.
  • the segment file generation unit 33 includes the average value calculated in step S167 as the updated value of AveBandwidth, and includes the emsg box of FIG. 18 including the period corresponding to the average value as the updated value of DurationForAveBandwidth.
  • the segment file of the audio stream supplied from the conversion unit 32 is generated.
  • the segment file generation unit 33 generates a segment file of the video stream supplied from the encoding unit 32. Then, the segment file generation unit 33 supplies the generated segment file to the upload unit 35, and the process proceeds to step S172.
  • step S166 determines whether the actual bit rate of the audio stream at the playback time one second before the update time of the MPD file has not yet been integrated. If it is determined in step S166 that the actual bit rate of the audio stream at the playback time one second before the update time of the MPD file has not yet been integrated, the process proceeds to step S169.
  • step S169 the segment file generation unit 33 generates a segment file of the audio stream supplied from the encoding unit 32 that does not include the emsg box of FIG. 16 and the emsg box of FIG. In addition, the segment file generation unit 33 generates a segment file of the video stream supplied from the encoding unit 32. Then, the segment file generation unit 33 supplies the generated segment file to the upload unit 35, and the process proceeds to step S172.
  • the segment file generation unit 33 is supplied from the encoding unit 32 including the emsg box for storing the update notification information in FIG. Generate a segment file of the audio stream to be played. In addition, the segment file generation unit 33 generates a segment file of the video stream supplied from the encoding unit 32. Then, the segment file generation unit 33 supplies the generated segment file to the upload unit 35.
  • step S171 the MPD file generation unit 34 integrates the actual bit rate of the audio stream with the accumulated value held, holds the accumulated value obtained as a result, and advances the process to step S172.
  • step S172 the upload unit 35 uploads the segment file supplied from the segment file generation unit 33 to the Web server 12.
  • step S173 is the same as the processing in step S142 in FIG.
  • the MPD file update process of the streaming playback unit 60 in the fourth embodiment is performed when the media segment file acquired by the segment file acquisition unit 63 includes the emsg box of FIG. This is a process of acquiring the updated values of AveBandwidth and DurationForAveBandwidth from the emsg box of FIG. 18 of the media segment file after 2 seconds, and updating the MPD file.
  • the playback process of the streaming playback unit 60 in the fourth embodiment is the same as the playback process of FIG. 14, and is performed in parallel with the MPD file update process.
  • the MPD processing unit 62 only needs to analyze the description about the AveBandwidth and DurationForAveBandwidth for the updated MPD file, so the analysis load is reduced.
  • ⁇ Fifth embodiment> (Emsg box description example)
  • the initial values of AveBandwidth and DurationForAveBandwidth are not described in the MPD file, and the emsg box for storing update notification information is mainly included in the segment file of the audio stream. It is different from the fourth embodiment in that it is not arranged. Therefore, hereinafter, only the emsg box for storing AveBandwidth and DurationForAveBandwidth, file generation processing, update processing of AveBandwidth and DurationForAveBandwidth, and playback processing will be described.
  • FIG. 20 is a diagram illustrating a description example of an emsg box that stores AveBandwidth and DurationForAveBandwidth in the fifth embodiment.
  • string value is 3 indicating transmission of AveBandwidth and DurationForAveBandwidth.
  • presentation_time_delta 0 is set as the time from the playback time of the media segment file in which this emsg box is placed to the playback time at which AveBandwidth and DurationForAveBandwidth are transmitted.
  • the moving image playback terminal 14 can recognize that AveBandwidth and DurationForAveBandwidth are arranged in the media segment file in which the emsg box is arranged.
  • the event_duration is “0xFFFF” as in the case of FIG.
  • Message_data is XML data of AveBandwidth and DurationForAveBandwidth.
  • the file generation device 11 can easily change the update frequency of AveBandwidth and DurationForAveBandwidth only by changing the arrangement frequency of the emsg box of FIG. 20 in the media segment file of the audio stream.
  • the file generation processing of the file generation device 11 in the fifth embodiment is mainly that the processing in steps S164, S170, and S171 is not performed, and the emsg box in FIG. Except for the point that replaces the emsg box in FIG. 20, this is the same as the file generation process in FIG.
  • AveBandwidth and DurationForAveBandwidth are not described in the MPD file in the fifth embodiment.
  • the profile described in the MPD file is a profile indicating that the emsg of FIG. 20 is arranged in the segment file, and is, for example, “urn: mpeg: dash: profile: isoff-dynamic-bandwidth: 2015”. .
  • AveBandwidth and DurationForAveBandwidth update processing of the streaming playback unit 60 in the fifth embodiment is performed instead of the MPD file update processing in the fourth embodiment.
  • the update process of AveBandwidth and DurationForAveBandwidth is a process of acquiring AveBandwidth and DurationForAveBandwidth from the emsg box and updating AveBandwidth and DurationForAveBandwidth when the media segment file acquired by the segment file acquisition unit 63 includes the emsg box of FIG. It is.
  • the AveBandwidth of the selection bit rate in step S111 is not supplied from the MPD processing unit 62, but is updated by the segment file acquisition unit 63 itself. Except for this point, it is the same as the reproduction process of FIG. This reproduction process is performed in parallel with the update process of AveBandwidth and DurationForAveBandwidth.
  • AveBandwidth and DurationForAveBandwidth are arranged in the emsg box, it is not necessary to analyze the MPD file every time AveBandwidth and DurationForAveBandwidth are updated.
  • AveBandwidth and DurationForAveBandwidth are not stored in the emsg box, but may be periodically transmitted from the Web server 12 in conformity with other standards such as HTTP 2.0 and WebSocket. In this case, the same effect as that of the fifth embodiment can be obtained.
  • an emsg box for storing update notification information may be arranged in the segment file.
  • the sixth embodiment of the information processing system to which the present disclosure is applied mainly differs from the fifth embodiment in that XML data of AveBandwidth and DurationForAveBandwidth is arranged in a segment file different from the segment file of the audio stream. Different. Therefore, hereinafter, only a segment file (hereinafter referred to as a band segment file) that stores AveBandwidth and DurationForAveBandwidth, file generation processing, update processing of AveBandwidth and DurationForAveBandwidth, and playback processing will be described.
  • a segment file hereinafter referred to as a band segment file
  • FIG. 21 is a diagram showing a description example of the MPD file in the sixth embodiment.
  • an update interval and a file URL that is the base of the name of the band segment file are set.
  • the update interval is the reference period ⁇ T
  • the file URL is “$ Bandwidth $ bandwidth.info”. Therefore, the base of the name of the band segment file is obtained by adding “bandwidth” to the Bandwidth of the representation element.
  • the maximum bit rates of the three types of audio streams corresponding to the band segment file are 2.8 Mbps, 5.6 Mbps, and 11.2 Mbps. Accordingly, the three representation elements each have 280,000, 5600000, and 11200000 as the Bandwidth. Therefore, in the example of FIG. 21, the bases of the names of the band segment files are 280,000bandwidth.info, 5600000bandwidth.info, and 11200000 bandwidth.info.
  • the segment info element included in the representation element has information on each band segment file of the band segment file group corresponding to the representation.
  • the update interval is described in the MPD file. Therefore, the update frequency of AveBandwidth and DurationForAveBandwidth can be easily changed by simply changing the update interval described in the MPD file and the update interval of the band segment file.
  • the MPD file generated in step S60 is the MPD file in FIG. 21, and the MPD file is converted in step S69. Except for the fact that a band segment file is generated by the segment file generation unit 33 without being updated and is uploaded to the Web server 12 via the upload unit 35, this is the same as the file generation processing of FIG.
  • the update processing of AveBandwidth and DurationForAveBandwidth in the streaming playback unit 60 in the sixth embodiment is that the segment file acquisition unit 63 acquires the band segment file and updates AveBandwidth and DurationForAveBandwidth between step S93 and step S94. And when it determines with not complete
  • the segment file acquisition unit 63 updates the AveBandwidth of the selection bit rate in step S111 instead of being supplied from the MPD processing unit 62. Except for this point, it is the same as the reproduction process of FIG. This reproduction process is performed in parallel with the update process of AveBandwidth and DurationForAveBandwidth.
  • AveBandwidth and DurationForAveBandwidth are arranged in the band segment file, it is not necessary to analyze the MPD file every time AveBandwidth and DurationForAveBandwidth are updated.
  • the segment length of the audio stream is variable so that the configuration of the MPD file and the actual bit rate of the segment file of the audio stream are within a predetermined range. This is different from the second embodiment. Therefore, only the configuration of the MPD file and the segment file will be described below.
  • FIG. 22 is a diagram illustrating a first description example of the MPD file according to the seventh embodiment.
  • the adaptation set element of the segment file of the audio stream has ConsecutiveSegmentInformation indicating the segment length of each segment file.
  • the segment length changes with a positive multiple of the fixed segment length as the reference time.
  • the segment file is configured by concatenating one or more segment files having a fixed segment length.
  • MaxConsecutiveNumber is described as the value (Value) of ConsecutiveSegmentInformation, and then FirstSegmentNumber and ConsecutiveNumbers are repeatedly described in order.
  • MaxConsecutiveNumber is information indicating the maximum number of connected segment files with a fixed segment length.
  • the fixed segment length is set based on the time scale and duration of the Segment Template included in the adaptation set element of the segment file of the audio stream. In the example of FIG. 22, since the timescale is 44100 and the duration is 88200, the fixed segment length is 2 seconds.
  • FirstSegmentNumber is the number from the beginning of the first segment of consecutive segment groups with the same length, that is, the number included in the name of the first segment file of consecutive segment files with the same segment length. is there. ConsecutiveNumbers is information indicating how many times the segment length of the segment group corresponding to the immediately preceding FirstSegmentNumber is a fixed segment length.
  • ConsecutiveSegmentInformation is 2,1,1,11,2,31,1. Therefore, the maximum number of connections with a fixed segment length is two. Also, the first media segment file corresponding to the representation element whose Bandwidth is 280,000, the maximum bit rate is 2.8 Mbps, and the file name is “2800000-1.mp4”, the file name is “2800000 -1.mp4 "is a concatenation of one media segment file with a fixed segment length. Therefore, the segment length of the media segment file whose file name is “2800000-1.mp4” is 2 seconds which is one time the fixed segment length.
  • the second to tenth media segment files with file names “2800000-2.mp4” to “2800000-10.mp4” have file names “2800000-2.mp4” to “2800000”, respectively.
  • -10.mp4 is one concatenated media segment file with a segment length of 2 seconds.
  • the eleventh media segment file with the file name “2800000-11.mp4” has two fixed segment lengths with file names “2800000-11.mp4” and “2800000-12.mp4”.
  • Media segment files are concatenated. Therefore, the segment length of the media segment file whose file name is “2800000-11.mp4” is 4 seconds, which is twice the fixed segment length. Further, the file name “2800000-12.mp4” of the media segment file linked to the media segment file whose file name is “2800000-11.mp4” is a missing number.
  • the 12th to 19th media segment files with file names “2800000-13.mp4”, “2800000-15.mp4”,..., “2800000-29.mp4” are also fixed segment lengths.
  • the two media segment files are connected, and the segment length is 4 seconds.
  • the 20th media segment file with the file name “2800000-31.mp4” is the concatenation of one fixed segment length media segment file with the file name “2800000-31.mp4”. is there. Therefore, the segment length of the media segment file whose file name is “2800000-31.mp4” is 2 seconds which is one time the fixed segment length.
  • the configuration of the media segment file whose maximum bit rate is 5.6 Mbps, 11.2 Mbps corresponding to the representation element whose Bandwidth is 5.600000, 11200000 is the same as the configuration of the media segment file whose maximum bit rate is 2.8 Mbps, Description is omitted.
  • FIG. 23 is a diagram illustrating a second description example of the MPD file according to the seventh embodiment.
  • the segment length changes at an arbitrary time. Therefore, timescale and duration are described as SegmentDuration.
  • the timescale is a value representing 1 second, and 44100 is set in the example of FIG.
  • FirstSegmentNumber and SegmentDuration are described repeatedly in order.
  • FirstSegmentNumber is the same as FirstSegmentNumber in FIG.
  • SegmentDuration is the segment length value of the segment group corresponding to the immediately preceding FirstSegmentNumber when the timescale is 1 second.
  • segment lengths of the 12th to 14th media segment files having file names “2800000-12.mp4” to “2800000-14.mp4” are also 1 second.
  • the configuration of media segment files with maximum bit rates of 5.6 Mbps and 11.2 Mbps corresponding to representation elements with bandwidths of 5.600000 and 11200000 is the same as the configuration of media segment files with 2.8 Mbps, so the description is omitted. .
  • the segment file generation unit 33 sets the segment length based on the actual bit rate of the audio stream or the average value of the actual bit rates so that the bit rate is within a predetermined range. decide.
  • the segment file since the segment file is distributed live, the segment length changes as the audio stream is generated. Therefore, the video playback terminal 14 needs to acquire and update the MPD file every time the segment length is changed.
  • the segment length change timing is the same as the calculation timing of the average value of the actual bit rate of the audio stream, but may be different.
  • information indicating the segment length update interval and update time is transmitted to the video playback terminal 14, and the video playback terminal 14 updates the MPD file based on the information.
  • FIG. 24 is a diagram illustrating a configuration example of a media segment file of a lossless DSD audio stream according to the seventh embodiment.
  • the configuration of the media segment file A in FIG. 24 is different from the configuration in FIG. 15 in that the Movie fragment does not have a fixed segment length but exists for a variable segment length, and the emsg box is not provided.
  • the media segment file is configured by concatenating one or more media segment files having a fixed segment length as in the example of FIG. 22, the media segment file is as shown in FIG. It may be configured by simply concatenating one or more fixed segment length media segment files. In this case, there are as many styp boxes and sidx boxes as there are media segment files to be connected.
  • the segment length of the audio stream is made variable so that the actual bit rate of the segment file of the audio stream is within a predetermined range. Therefore, even when the actual bit rate of the audio stream is small, the video playback terminal 14 can acquire the audio stream at a bit rate within a predetermined range by acquiring the segment file in segment units. .
  • the information indicating the segment length of each segment file may be transmitted to the video playback terminal 14 in the same manner as AveBandwidth and DurationForAveBandwidth in the third to sixth embodiments.
  • a file indicating the segment length of each segment file may be generated separately from the MPD file and transmitted to the moving image playback terminal 14.
  • the segment length may be made variable as in the seventh embodiment.
  • FIG. 25 is a block diagram illustrating a configuration example of a lossless compression encoding unit that performs A / D conversion on an audio analog signal and encodes the lossless DSD method in the acquisition unit 31 and the encoding unit 32 of FIG. 3.
  • the lossless compression encoding unit 100 converts the audio analog signal into an audio digital signal by the DSD method, and performs lossless compression encoding on the converted audio digital signal and outputs the audio digital signal.
  • the audio analog signal of the moving image content is input from the input unit 111 and supplied to the ADC 112.
  • the ADC 112 includes an adder 121, an integrator 122, a comparator 123, a one-sample delay circuit 124, and a 1-bit DAC 125, and converts an audio analog signal into an audio digital signal by the DSD method.
  • the audio analog signal supplied from the input unit 111 is supplied to the adder 121.
  • the adder 121 adds the audio analog signal before one sample period supplied from the 1-bit DAC 125 and the audio analog signal from the input unit 111 and outputs the result to the integrator 122.
  • the integrator 122 integrates the audio analog signal from the adder 121 and outputs it to the comparator 123.
  • the comparator 123 performs 1-bit quantization by comparing the integration value of the audio analog signal supplied from the integrator 122 and the midpoint potential every sample period.
  • the comparator 123 performs 1-bit quantization here, 2-bit quantization, 4-bit quantization, or the like may be performed. Further, as the frequency of the sampling period (sampling frequency), for example, a frequency that is 64 times or 128 times that of 48 kHz or 44.1 kHz is used.
  • the comparator 123 outputs a 1-bit audio digital signal obtained by 1-bit quantization to the input buffer 113 and supplies it to the 1-sample delay circuit 124.
  • the 1-sample delay circuit 124 delays the 1-bit audio digital signal from the comparator 123 by one sample period and outputs it to the 1-bit DAC 125.
  • the 1-bit DAC 125 converts the audio digital signal from the 1-sample delay circuit 124 into an audio analog signal and outputs it to the adder 121.
  • the input buffer 113 temporarily stores the 1-bit audio digital signal supplied from the ADC 112 and supplies it to the control unit 114, the encoding unit 115, and the data amount comparison unit 117 in units of one frame.
  • one frame is a unit in which an audio digital signal is divided into a predetermined time (period) and regarded as one unit.
  • the control unit 114 controls the overall operation of the lossless compression encoding unit 100.
  • the control unit 114 has a function of creating a conversion table table1 necessary for the encoding unit 115 to perform lossless compression encoding and supplying the conversion table table1 to the encoding unit 115.
  • control unit 114 creates a data generation count table pre_table in units of frames using one frame of audio digital signal supplied from the input buffer 113, and further converts the conversion table table1 from the data generation count table pre_table. create.
  • the control unit 114 supplies the conversion table table1 created for each frame to the encoding unit 115 and the data transmission unit 118.
  • the encoding unit 115 performs lossless compression encoding of the audio digital signal supplied from the input buffer 113 in units of 4 bits, using the conversion table table1 supplied from the control unit 114. Therefore, an audio digital signal is supplied from the input buffer 113 to the control unit 114 simultaneously with the timing supplied to the encoding unit 115, but the encoding unit 115 does not process until the conversion table table1 is supplied from the control unit 114. Wait.
  • the encoding unit 115 performs lossless compression encoding of a 4-bit audio digital signal into a 2-bit audio digital signal or lossless compression code into a 6-bit audio digital signal. And output to the encoded data buffer 116.
  • the encoded data buffer 116 temporarily buffers the audio digital signal generated as a result of lossless compression encoding by the encoding unit 115 and supplies the audio digital signal to the data amount comparison unit 117 and the data transmission unit 118.
  • the data amount comparison unit 117 calculates the data amount of the audio digital signal that has not been losslessly compressed and supplied from the input buffer 113 and the audio digital signal that has been losslessly encoded and supplied from the encoded data buffer 116 as a frame. Compare by units.
  • the encoding unit 115 performs lossless compression coding on a 4-bit audio digital signal into a 2-bit audio digital signal or a 6-bit audio digital signal as described above. There are cases where the data amount of the subsequent audio digital signal exceeds the data amount of the audio digital signal before the lossless compression encoding. Therefore, the data amount comparison unit 117 compares the data amount of the audio digital signal after the lossless compression encoding and the audio digital signal before the lossless compression encoding.
  • the data amount comparison unit 117 selects the smaller data amount and supplies the data transmission unit 118 with selection control data indicating which one has been selected. Note that when the data amount comparison unit 117 supplies selection control data indicating that an audio digital signal before lossless compression encoding has been selected to the data transmission unit 118, the audio digital signal before lossless compression encoding is also data. The data is supplied to the transmission unit 118.
  • the data transmission unit 118 is an audio digital signal supplied from the encoded data buffer 116 based on the selection control data supplied from the data amount comparison unit 117 or an audio digital signal supplied from the data amount comparison unit 117. Choose either When the data transmitting unit 118 selects the audio digital signal that has been losslessly encoded and supplied from the encoded data buffer 116, the data transmitting unit 118 uses the audio digital signal, selection control data, and the conversion table table1 supplied from the control unit 114. Create an audio stream. On the other hand, when the data transmission unit 118 selects an audio digital signal that has not been losslessly compressed and supplied from the data amount comparison unit 117, the data transmission unit 118 generates an audio stream from the audio digital signal and selection control data.
  • the data transmission unit 118 outputs the generated audio stream via the output unit 119.
  • the data transmitting unit 118 can also generate an audio stream by adding a synchronization signal and an error correction code (ECC) to an audio digital signal for each predetermined number of samples.
  • ECC error correction code
  • FIG. 26 is a diagram illustrating an example of a data generation count table generated by the control unit 114 of FIG.
  • the control unit 114 divides the audio digital signal in units of frames supplied from the input buffer 113 in units of 4 bits.
  • the divided i-th (i is an integer greater than 1) 4-bit audio digital signal from the head is referred to as D4 data D4 [i].
  • the control unit 114 sequentially sets the nth (n> 3) D4 data D4 [n] from the top as D4 data to be processed for each frame.
  • the control unit 114 performs processing for each pattern of the last three D4 data D4 [n-3], D4 [n-2], and D4 [n-1] in the past of the processing target D4 data D4 [n].
  • the number of occurrences of D4 data D4 [n] is counted, and a data generation count table pre_table [4096] [16] shown in FIG. 26 is created.
  • [4096] and [16] of the data generation count table pre_table [4096] [16] indicate that the data generation count table is a table (matrix) having 4096 rows and 16 columns, and [0] to [4095]. ] Correspond to the values that the past three D4 data D4 [n-3], D4 [n-2], D4 [n-1] can take, and each column of [0] to [15] This corresponds to the value that the D4 data D4 [n] to be processed can take.
  • pre_table [1] [0] to [1] [15] are ⁇ 0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0 ⁇ .
  • FIG. 27 is a diagram illustrating an example of the conversion table table1 generated by the control unit 114 of FIG.
  • the control unit 114 creates a conversion table table1 [4096] [3] having 4096 rows and 3 columns based on the previously generated data generation count table pre_table.
  • each row [0] to [4095] of the conversion table table1 [4096] [3] contains the past three D4 data D4 [n-3], D4 [n-2], and D4 [n-1].
  • D4 [n] contains the past three D4 data D4 [n-3], D4 [n-2], and D4 [n-1].
  • three values having a high occurrence frequency among the 16 values that can be taken by the D4 data D4 [n] to be processed are stored. .
  • the first column [0] of the conversion table table1 [4096] [3] stores the value with the highest occurrence frequency (first), and the second column [1] has the second occurrence frequency value. Is stored, and the third column [2] stores the value of the third occurrence frequency.
  • the conversion table table1 [4096] [3] based on the data generation count table pre_table of FIG. 26, as shown in FIG. 27, the conversion table table1 [4096] [3
  • the table1 [117] [0] to [117] [2] on the 118th line of ⁇ ] becomes ⁇ 05,04,03 ⁇ . That is, in pre_table [117] [0] to [117] [15] on the 118th line of the data generation count table pre_table in FIG. 26, the value with the highest occurrence frequency (first) is “5” generated 31 times. ", The second value of occurrence frequency is" 4 "generated 20 times, and the third value of occurrence frequency is" 3 "generated 18 times.
  • ⁇ 05 ⁇ is stored in the 118th row, first column table1 [117] [0] of the conversion table table1 [4096] [3], and the 118th row, second column table1 [117] [1] is stored.
  • ⁇ 04 ⁇ is stored, and ⁇ 03 ⁇ is stored in the 118th row, third column table1 [117] [2].
  • table1 [0] [0] to [0] [2] in the first row of the conversion table table1 [4096] [3] are pre_table [0] in the first row of the data generation count table pre_table in FIG. It is generated based on [0] to [0] [15]. That is, in pre_table [0] [0] to [0] [15] in the first row of the data generation count table pre_table in FIG. The generated value is “0”, and no other value is generated. Therefore, ⁇ 00 ⁇ is stored in the first row and first column table1 [0] [0] of the conversion table table1 [4096] [3], and the first row and second column table1 [0] [1] and the first row are stored.
  • ⁇ Ff ⁇ representing that no data exists is stored in the first row and third column table1 [0] [2].
  • the value indicating that data does not exist is not limited to ⁇ ff ⁇ and can be determined as appropriate. Since the value stored in each element of the conversion table table1 is one of “0” to “15”, it can be expressed in 4 bits, but it is expressed in 8 bits for ease of handling in terms of computer processing. Has been.
  • the encoding unit 115 divides the audio digital signal in units of frames supplied from the input buffer 113 in units of 4 bits, similarly to the control unit 114.
  • the control unit 114 performs lossless compression encoding on the nth D4 data D4 [n] from the beginning, the control unit 114 stores the three most recent past D4 data D4 [n-3], in the conversion table table1 [4096] [3]. Three values in the row corresponding to D4 [n-2] and D4 [n-1] are searched.
  • the encoding unit 115 converts the D4 data D4 [n] subject to lossless compression encoding into the latest three previous D4 data D4 [n-3] and D4 [n-2] in the conversion table table1 [4096] [3].
  • the encoding unit 115 converts the D4 data D4 [n] to be lossless compression encoded into the latest three previous D4 data D4 [n-3] and D4 [n] in the conversion table table1 [4096] [3].
  • the encoding unit 115 corresponds to the last three past D4 data D4 [n-3], D4 [n-2], and D4 [n-1] in the conversion table table1 [4096] [3]. If the same value as the D4 data D4 [n] to be lossless compression encoded does not exist among the three values, a 6-bit value “00b +” with “00b” preceding the D4 data D4 [n] D4 [n] ”is generated as a lossless compression encoding result of the D4 data D4 [n].
  • “01b”, “10b”, “11b”, “00b + D4 [n]”, b represents binary notation.
  • the encoding unit 115 converts the 4-bit DSD data D4 [n] into the 2-bit value “01b”, “10b”, or “11b” using the conversion table table1. Alternatively, it is converted to a 6-bit value “00b + D4 [n]”, which is the lossless compression encoding result.
  • the encoding unit 115 outputs the lossless compression encoding result to the encoded data buffer 116 as an audio digital signal subjected to lossless compression encoding.
  • FIG. 28 is a block diagram illustrating a configuration example of a lossless compression decoding unit that decodes an audio stream in a lossless DSD scheme and performs D / A conversion in the decoding unit 66 and the output control unit 67 in FIG. 7.
  • the lossless compression decoding unit 170 performs lossless compression decoding of the audio stream using lossless DSD, converts the resulting audio digital signal into an audio analog signal using DSD, and outputs the audio analog signal.
  • the audio stream supplied from the buffer 65 in FIG. 7 is input from the input unit 171 and supplied to the data receiving unit 172.
  • the data receiving unit 172 determines whether or not the audio digital signal is losslessly compressed based on selection control data indicating whether or not the audio digital signal included in the audio stream is losslessly encoded. When it is determined that the audio digital signal has been losslessly compressed and encoded, the data reception unit 172 converts the audio digital signal included in the audio stream as an audio digital signal that has been losslessly compressed and encoded, and stores the encoded data buffer. 173. In addition, the data reception unit 172 supplies the conversion table table1 included in the audio stream to the table storage unit 175.
  • the data receiving unit 172 converts the audio digital signal included in the audio stream into the output buffer 176 as an audio digital signal that is not losslessly compressed and encoded. Supply.
  • the table storage unit 175 stores the conversion table table1 supplied from the data receiving unit 172, and supplies it to the decoding unit 174.
  • the encoded data buffer 173 temporarily stores the audio digital signal that has been losslessly encoded and supplied from the data receiving unit 172 in units of frames.
  • the encoded data buffer 173 supplies the stored audio digital signal in units of frames to the subsequent decoding unit 174 in units of 2 bits that are continuous at a predetermined timing.
  • the decoding unit 174 includes a 2-bit register 191, a 12-bit register 192, a conversion table processing unit 193, a 4-bit register 194, and a selector 195.
  • the decoding unit 174 performs lossless compression decoding of the lossless compression encoded audio digital signal, and generates an audio digital signal before lossless compression encoding.
  • the register 191 stores the 2-bit audio digital signal supplied from the encoded data buffer 173.
  • the register 191 supplies the stored 2-bit audio digital signal to the conversion table processing unit 193 and the selector 195 at a predetermined timing.
  • the 12-bit register 192 stores a 12-bit FIFO (First-In First-Out) 4-bit audio digital signal, which is a lossless compression decoding result, supplied from the selector 195. As a result, the register 192 stores D4 data which are the last three lossless compression decoding results of the lossless compression decoding result of the audio digital signal including the 2-bit audio digital signal stored in the register 191. .
  • FIFO First-In First-Out
  • the conversion table processing unit 193 ignores the audio digital signal because it is not registered in the conversion table table1 [4096] [3]. . Also, the conversion table processing unit 193 ignores a total of 4 bits of audio digital signals for 2 times supplied immediately after the 2 bits of audio digital signal supplied now.
  • the conversion table processing unit 193 has three D4 data (12 bits) stored in the register 192. D4 data).
  • the three read D4 data of the conversion table table1 from the table storage unit 175 are registered as D4 [n-3], D4 [n-2], and D4 [n-1].
  • D4 data stored in the column indicated by the supplied 2-bit audio digital signal in the row is read out.
  • the conversion table processing unit 193 supplies the read D4 data to the register 194.
  • the register 194 stores 4-bit D4 data supplied from the conversion table processing unit 193.
  • the register 194 supplies the stored 4-bit D4 data to the input terminal 196b of the selector 195 at a predetermined timing.
  • the selector 195 selects the input terminal 196a when the 2-bit audio digital signal supplied from the register 191 is “00b”. Then, the selector 195 outputs the 4-bit audio digital signal input after “00b” to the input terminal 196a from the output terminal 197 to the register 192 and the output buffer 176 as a lossless compression decoding result.
  • the selector 195 selects the input terminal 196b. Then, the selector 195 outputs the 4-bit audio digital signal input to the input terminal 196b as a lossless compression decoding result from the output terminal 197 to the register 192 and the output buffer 176.
  • the output buffer 176 stores the audio digital signal not supplied with the lossless compression encoding supplied from the data receiving unit 172 or the audio digital signal that is the lossless compression decoding result supplied from the decoding unit 174, and stores it in the analog filter 177. Supply.
  • the analog filter 177 performs predetermined filter processing such as a low-pass filter and a band-pass filter on the audio digital signal supplied from the output buffer 176, and outputs the result through the output unit 178.
  • the conversion table table1 may be compressed by the lossless compression encoding unit 100 and supplied to the lossless compression decoding unit 170.
  • the conversion table table1 may be set in advance and stored in the lossless compression encoding unit 100 and the lossless compression decoding unit 170.
  • the number of conversion tables table1 may be plural.
  • the jth (j is an integer greater than or equal to 0) conversion table table1 includes 3 (j ⁇ 1), 3 (j ⁇ 1) +1, 3 (j ⁇ 1) +2 D4 data is stored in each row. Further, the number of past D4 data corresponding to each row is not limited to three.
  • the lossless compression encoding method is not limited to the above-described method, and may be, for example, the method described in JP-A-9-74358.
  • ⁇ Eighth embodiment> (Description of computer to which the present disclosure is applied)
  • the series of processes described above can be executed by hardware or can be executed by software.
  • a program constituting the software is installed in the computer.
  • the computer includes, for example, a general-purpose personal computer capable of executing various functions by installing various programs by installing a computer incorporated in dedicated hardware.
  • FIG. 29 is a block diagram showing an example of the hardware configuration of a computer that executes the above-described series of processing by a program.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • An input / output interface 205 is further connected to the bus 204.
  • An input unit 206, an output unit 207, a storage unit 208, a communication unit 209, and a drive 210 are connected to the input / output interface 205.
  • the input unit 206 includes a keyboard, a mouse, a microphone, and the like.
  • the output unit 207 includes a display, a speaker, and the like.
  • the storage unit 208 includes a hard disk, a nonvolatile memory, and the like.
  • the communication unit 209 includes a network interface and the like.
  • the drive 210 drives a removable medium 211 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 201 loads the program stored in the storage unit 208 to the RAM 203 via the input / output interface 205 and the bus 204 and executes the program. A series of processing is performed.
  • the program executed by the computer 200 can be provided by being recorded in, for example, a removable medium 211 such as a package medium.
  • the program can be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be installed in the storage unit 208 via the input / output interface 205 by attaching the removable medium 211 to the drive 210.
  • the program can be received by the communication unit 209 via a wired or wireless transmission medium and installed in the storage unit 208.
  • the program can be installed in the ROM 202 or the storage unit 208 in advance.
  • the program executed by the computer 200 may be a program that is processed in time series in the order described in this specification, or a necessary timing such as in parallel or when a call is made. It may be a program in which processing is performed.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Accordingly, a plurality of devices housed in separate housings and connected via a network and a single device housing a plurality of modules in one housing are all systems. .
  • the lossless DSD scheme in the first to eighth embodiments may be other than the lossless DSD scheme as long as it is a lossless compression scheme in which the amount of bits generated by lossless compression encoding cannot be predicted.
  • the lossless DSD method in the first to eighth embodiments may be a FLAC (Free Lossless Audio Codec) method or an ALAC (Apple lossless Audio Codec) method.
  • FLAC Free Lossless Audio Codec
  • ALAC Apple lossless Audio Codec
  • the information processing system 10 in the first to eighth embodiments does not lively distribute the segment file, but all the segment files of the moving image content are already stored in the Web server 12, and the segment file is turned on. You may make it deliver on demand.
  • AveBandwidth described in the MPD file is an average value of the whole period of the moving image content. Therefore, in the second embodiment and the seventh embodiment, the video playback terminal 14 does not update the MPD file. In the third embodiment, the video playback terminal 14 updates the MPD file, but the MPD file does not change before and after the update.
  • a segment file with a fixed segment length is generated when the segment file is generated, and the Web server 12 concatenates the segment files with the fixed segment length during on-demand distribution. Then, a segment file having a variable segment length may be generated and transmitted to the moving image playback terminal 14.
  • the information processing system 10 in the first to eighth embodiments stores the segment file of the moving image content halfway in the Web server 12 and then performs near live distribution starting distribution from the first segment file of the moving image content. You may do it.
  • the segment file that is already stored in the Web server 12 at the start of playback is processed in the same manner as on-demand distribution, and the segment file that is not yet stored in the Web server 12 at the start of playback is live-distributed.
  • the same processing as in the case of is performed.
  • AveBandwidth and DurationForAveBandwidth are arranged in the segment file. Therefore, even if there is a time from when the segment file of the video content is generated until it is played back, such as on-demand delivery or near live delivery, the video playback terminal 14 will have the latest AveBandwidth and DurationForAveBandwidth at the start of playback. Can't get. Therefore, the latest AveBandwidth and DurationForAveBandwidth may be stored again when a segment file storing AveBandwidth and DurationForAveBandwidth (updated values thereof) is transmitted. In this case, the video playback terminal 14 can recognize the latest AveBandwidth and DurationForAveBandwidth at the start of playback.
  • AveBandwidth and DurationForAveBandwidth are described in the MPD file or segment file, but AveBandwidth and DurationForAveBandwidth for each arbitrary time may be listed.
  • the video playback terminal 14 can perform fine band control.
  • an arbitrary time is a fixed time, only one DurationForAveBandwidth may be described.
  • this indication can also take the following structures.
  • An acquisition unit that acquires an audio stream encoded by a lossless compression method before a video stream corresponding to the audio stream and detects a bit rate of the audio stream;
  • a playback device comprising: a selection unit that selects the video stream to be acquired from the plurality of video streams having different bit rates based on the bit rate detected by the acquisition unit.
  • the acquisition unit is configured to select the audio stream to be acquired from a plurality of the audio streams having different maximum bit rates based on bands used for acquiring the audio stream and the video stream. ).
  • the acquisition unit is configured to select the audio stream to be acquired based on the maximum bit rate and the band of the audio stream included in a management file that manages the audio stream and the video stream.
  • the acquisition unit is such that the encoding method of the audio stream is not encoded so that underflow or overflow does not occur in a fixed size buffer.
  • the playback device according to any one of (1) to (3), configured to detect a bit rate of the audio stream.
  • the lossless compression method is configured to be a lossless DSD (Direct Stream Digital) method, a FLAC (Free Lossless Audio Codec) method, or an ALAC (Apple lossless Audio Codec) method, and is any one of the above (1) to (4)
  • Playback device An acquisition step of acquiring an audio stream encoded by a lossless compression method before a video stream corresponding to the audio stream and detecting a bit rate of the audio stream; And a selection step of selecting the video stream to be acquired from the plurality of video streams having different bit rates based on the bit rate detected by the processing of the acquisition step.
  • a management file that manages an audio stream encoded using a lossless compression method and a video stream corresponding to the audio stream.
  • the audio stream encoding method is a fixed-size buffer, and underflow or overflow occurs.
  • a file generation device comprising: a file generation unit that generates a management file including information indicating that the system is not encoded in such a manner.
  • the file generation device configured to include a maximum bit rate of the audio stream and a bit rate of the video stream.
  • the lossless compression method is configured to be a lossless DSD (Direct Stream Digital) method, a FLAC (Free Lossless Audio Codec) method, or an ALAC (Apple lossless Audio Codec) method, according to the above (7) or (8) File generator.
  • the file generation device is a management file for managing an audio stream encoded by a lossless compression method and a video stream corresponding to the audio stream, and the encoding method of the audio stream is an underflow with a fixed size buffer.
  • a file generation method including a file generation step of generating a management file including information indicating that the data is not encoded so as not to cause an overflow.
  • 11 file generation device 13 internet, 14 video playback terminal, 33 segment file generation unit, 34 MPD file generation unit, 63 segment file acquisition unit, 64 selection unit

Abstract

本開示は、可逆圧縮方式で符号化されたオーディオストリームとビデオストリームを取得する際、最適なビットレートのビデオストリームを取得することができるようにする再生装置および再生方法、並びにファイル生成装置およびファイル生成方法に関する。 セグメントファイル取得部は、losslessDSD方式で符号化されたオーディオストリームを、オーディオストリームに対応するビデオストリームの前に取得してオーディオストリームのビットレートを検出する。選択部は、セグメントファイル取得部により検出されたビットレートに基づいて、ビットレートの異なる複数のビデオストリームから、取得するビデオストリームを選択する。本開示は、例えば、動画再生端末等に適用することができる。

Description

再生装置および再生方法、並びにファイル生成装置およびファイル生成方法
　本開示は、再生装置および再生方法、並びにファイル生成装置およびファイル生成方法に関し、特に、可逆圧縮方式で符号化されたオーディオストリームとビデオストリームを取得する際、最適なビットレートのビデオストリームを取得することができるようにした再生装置および再生方法、並びにファイル生成装置およびファイル生成方法に関する。
　近年、インターネット上のストリーミングサービスの主流がOTT－V（Over The Top Video）となっている。この基盤技術として普及し始めているのがMPEG－DASH（Moving Picture Experts Group phase － Dynamic Adaptive Streaming over HTTP）である（例えば、非特許文献１参照）。
　MPEG－DASHでは、配信サーバが１本の動画コンテンツ用にビットレートが異なる動画データ群を用意し、再生端末が伝送路の状況に応じて最適なビットレートの動画データ群を要求することにより、適応型のストリーミング配信が実現される。
　また、現状のMPEG-DASHでは、動画コンテンツの符号化方式として、事前にビットレートが予測可能な符号化方式が想定されている。具体的には、オーディオストリームの符号化方式として、PCM(Pulse Code Modulation)方式でA/D(Analog/Digital)変換されたオーディオデジタル信号を、固定サイズのバッファでアンダーフローやオーバーフローが発生しないように符号化される非可逆圧縮方式などが想定されている。従って、動画コンテンツの予測ビットレートとネットワーク帯域とに基づいて、取得する動画コンテンツのビットレートが決定される。
　また、近年、CD(Compact Disc)の音源より高音質のハイレゾオーディオが注目されている。ハイレゾオーディオのA/D変換方式としては、DSD(Direct Stream Digital)方式などがある。DSD方式は、Super Audio CD (SA-CD)の記録再生方式として採用された方式であり、１ビットデジタルシグマ変調を基礎とした方式である。具体的には、DSD方式では、時間軸を利用して「１」と「０」の変化点の密度でオーディオアナログ信号の情報が表現される。従って、ビット数に依存しない高分解能の記録再生を実現することができる。
　しかしながら、DSD方式では、オーディオアナログ信号の波形に応じてオーディオデジタル信号の「１」と「０」のパターンが変化する。従って、DSD方式でA/D変換されたオーディオデジタル信号を「１」と「０」のパターンに基づいて可逆圧縮符号化するlosslessDSD方式等では、オーディオアナログ信号の波形に応じて符号化後のオーディオデジタル信号のビット発生量が変動する。よって、事前にビットレートを予測することは困難である。
MPEG－DASH(Dynamic Adaptive Streaming over HTTP)（URL:http://mpeg.chiariglione.org/standards/mpeg－dash/media－presentation－description－and－segment－formats/text－isoiec－23009－12012－dam－1）
　以上により、現状のMPEG-DASHでは、losslessDSD方式などの可逆圧縮方式で符号化されたビットレートの予測が不可能なオーディオストリームとビデオストリームを取得する場合、ネットワーク帯域とオーディオストリームのビットレートとしてとり得る値の最大値とに基づいて、取得するビデオストリームのビットレートを選択せざるを得ない。よって、最適なビットレートのビデオストリームを取得することは困難である。
　本開示は、このような状況に鑑みてなされたものであり、可逆圧縮方式で符号化されたオーディオストリームとビデオストリームを取得する際、最適なビットレートのビデオストリームを取得することができるようにするものである。
　本開示の第１の側面の再生装置は、可逆圧縮方式で符号化されたオーディオストリームを、前記オーディオストリームに対応するビデオストリームの前に取得して前記オーディオストリームのビットレートを検出する取得部と、前記取得部により検出された前記ビットレートに基づいて、ビットレートの異なる複数の前記ビデオストリームから、取得する前記ビデオストリームを選択する選択部とを備える再生装置である。
　本開示の第１の側面の再生方法は、本開示の第１の側面の再生装置に対応する。
　本開示の第１の側面においては、可逆圧縮方式で符号化されたオーディオストリームを、前記オーディオストリームに対応するビデオストリームの前に取得して前記オーディオストリームのビットレートが検出され、検出された前記ビットレートに基づいて、ビットレートの異なる複数の前記ビデオストリームから、取得する前記ビデオストリームが選択される。
　本開示の第２の側面のファイル生成装置は、可逆圧縮方式で符号化されたオーディオストリームと、前記オーディオストリームに対応するビデオストリームとを管理する管理ファイルであって、前記オーディオストリームの符号化方式が、固定サイズのバッファでアンダーフローやオーバーフローが発生しないように符号化される方式ではないことを示す情報を含む管理ファイルを生成するファイル生成部を備えるファイル生成装置である。
　本開示の第２の側面のファイル生成方法は、本開示の第２の側面のファイル生成装置に対応する。
　本開示の第２の側面においては、可逆圧縮方式で符号化されたオーディオストリームと、前記オーディオストリームに対応するビデオストリームとを管理する管理ファイルであって、前記オーディオストリームの符号化方式が、固定サイズのバッファでアンダーフローやオーバーフローが発生しないように符号化される方式ではないことを示す情報を含む管理ファイルが生成される。
　なお、第１の側面の再生装置および第２の側面のファイル生成装置は、コンピュータにプログラムを実行させることにより実現することができる。
　また、第１の側面の再生装置および第２の側面のファイル生成装置を実現するために、コンピュータに実行させるプログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
　本開示の第１の側面によれば、可逆圧縮方式で符号化されたオーディオストリームとビデオストリームを取得する際、最適なビットレートのビデオストリームを取得することができる。
　また、本開示の第２の側面によれば、管理ファイルを生成することができる。本開示の第２の側面によれば、可逆圧縮方式で符号化されたオーディオストリームとビデオストリームを取得する際、最適なビットレートのビデオストリームを取得することを可能にする管理ファイルを生成することができる。
　なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本開示を適用した第１実施の形態における情報処理システムの概要を説明する図である。 DSD方式を説明する図である。 図１のファイル生成装置の構成例を示すブロック図である。 MPDファイルの第１の記述例を示す図である。 MPDファイルの第２の記述例を示す図である。 第１実施の形態におけるファイル生成処理を説明するフローチャートである。 ストリーミング再生部の構成例を示すブロック図である。 オーディオストリームの実際のビットレートの例を示す図である。 第１実施の形態における再生処理を説明するフローチャートである。 第２実施の形態におけるMPDファイルの第１の記述例を示す図である。 第２実施の形態におけるMPDファイルの第２の記述例を示す図である。 第２実施の形態におけるファイル生成処理を説明するフローチャートである。 第２実施の形態におけるMPDファイル更新処理を説明するフローチャートである。 第２実施の形態における再生処理を説明するフローチャートである。 第３実施の形態におけるメディアセグメントファイルの構成例を示す図である。 図１５のemsgボックスの記述例を示す図である。 第３実施の形態におけるファイル生成処理を説明するフローチャートである。 第４実施の形態におけるemsgボックスの記述例を示す図である。 第４実施の形態におけるファイル生成処理を説明するフローチャートである。 第５実施の形態におけるemsgボックスの記述例を示す図である。 第６実施の形態におけるMPDファイルの記述例を示す図である。 第７実施の形態におけるMPDファイルの第１の記述例を示す図である。 第７実施の形態におけるMPDファイルの第２の記述例を示す図である。 第７実施の形態におけるメディアセグメントファイルの構成例を示す図である。 可逆圧縮符号化部の構成例を示すブロック図である。 データ発生カウントテーブルの例を示す図である。 変換テーブルtable1の例を示す図である。 可逆圧縮復号部の構成例を示すブロック図である。 コンピュータのハードウエアの構成例を示すブロック図である。
　以下、本開示を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
　１．第１実施の形態：情報処理システム（図１乃至図９）
　２．第２実施の形態：情報処理システム（図１０乃至図１４）
　３．第３実施の形態：情報処理システム（図１５乃至図１７）
　４．第４実施の形態：情報処理システム（図１８および図１９）
　５．第５実施の形態：情報処理システム（図２０）
　６．第６実施の形態：情報処理システム（図２１）
　７．第７実施の形態：情報処理システム（図２２乃至図２４）
　８．losslessDSD方式の説明（図２５乃至図２８）
　９．第８実施の形態：コンピュータ（図２９）
　＜第１実施の形態＞
　（情報処理システムの第１実施の形態の概要）
　図１は、本開示を適用した第１実施の形態における情報処理システムの概要を説明する図である。
　図１の情報処理システム１０は、ファイル生成装置１１に接続するDASHサーバとしてのWebサーバ１２と、DASHクライアントとしての動画再生端末１４とが、インターネット１３を介して接続されることにより構成される。
　情報処理システム１０では、MPEG－DASHに準ずる方式で、Webサーバ１２が、ファイル生成装置１１により生成された動画コンテンツのファイルを、動画再生端末１４にライブ配信する。
　具体的には、ファイル生成装置１１は、動画コンテンツのビデオアナログ信号やオーディオアナログ信号をA/D変換し、ビデオデジタル信号およびオーディオデジタル信号を生成する。そして、ファイル生成装置１１は、動画コンテンツのビデオデジタル信号やオーディオデジタル信号等の信号を、所定の符号化方式で、複数のビットレートで符号化し、符号化ストリームを生成する。ここでは、オーディオデジタル信号の符号化方式は、losslessDSD方式またはMPEG-4（Moving Picture Experts Group phase 4）方式であるものとする。MPEG-4方式は、PCM方式でA/D変換されたオーディオデジタル信号を、固定サイズのバッファでアンダーフローやオーバーフローが発生しないように非可逆圧縮する方式である。
　ファイル生成装置１１は、ビットレートごとに、生成された符号化ストリームを、セグメントと呼ばれる数秒から10秒程度の時間単位でファイル化する。ファイル生成装置１１は、その結果生成されたセグメントファイル等をWebサーバ１２にアップロードする。
　ファイル生成装置１１はまた、動画コンテンツを管理するMPD（Media Presentation Description）ファイル（管理ファイル）を生成する。ファイル生成装置１１は、MPDファイルをWebサーバ１２にアップロードする。
　Webサーバ１２は、ファイル生成装置１１からアップロードされたセグメントファイルとMPDファイルを格納する。Webサーバ１２は、動画再生端末１４からの要求に応じて、格納しているセグメントファイルやMPDファイルを動画再生端末１４に送信する。
　動画再生端末１４（再生装置）は、ストリーミングデータの制御用ソフトウエア（以下、制御用ソフトウエアという）２１、動画再生ソフトウエア２２、HTTP（HyperText Transfer Protocol）アクセス用のクライアント・ソフトウエア(以下、アクセス用ソフトウエアという)２３などを実行する。
　制御用ソフトウエア２１は、Webサーバ１２からストリーミングするデータを制御するソフトウエアである。具体的には、制御用ソフトウエア２１は、動画再生端末１４にWebサーバ１２からMPDファイルを取得させる。
　また、制御用ソフトウエア２１は、MPDファイル、動画再生ソフトウエア２２により指定される再生時刻等を表す再生時刻情報、およびインターネット１３のネットワーク帯域に基づいて、再生対象のセグメントファイルの符号化ストリームの送信要求を、アクセス用ソフトウエア２３に指令する。
　動画再生ソフトウエア２２は、インターネット１３を介してWebサーバ１２から取得された符号化ストリームを再生するソフトウエアである。具体的には、動画再生ソフトウエア２２は、再生時刻情報を制御用ソフトウエア２１に指定する。また、動画再生ソフトウエア２２は、アクセス用ソフトウエア２３から受信開始の通知を受信したとき、動画再生端末１４により受信された符号化ストリームを復号する。動画再生ソフトウエア２２は、復号の結果得られるビデオデジタル信号およびオーディオデジタル信号を出力する。
　アクセス用ソフトウエア２３は、HTTPを用いたインターネット１３を介したWebサーバ１２との通信を制御するソフトウエアである。具体的には、アクセス用ソフトウエア２３は、制御用ソフトウエア２１の指令に応じて、再生対象のセグメントファイルの符号化ストリームの送信要求を、動画再生端末１４に送信させる。また、アクセス用ソフトウエア２３は、その送信要求に応じて、Webサーバ１２から送信されてくる符号化ストリームの受信を動画再生端末１４に開始させ、受信開始の通知を動画再生ソフトウエア２２に供給する。
　（DSD方式の説明）
　図２は、DSD方式を説明する図である。
　図２の横軸は、時刻を表し、縦軸は、各信号の値を表す。
　図２の例では、オーディオアナログ信号の波形が正弦波となっている。このようなオーディオアナログ信号がPCM方式でA/D変換される場合、図２に示すように、各サンプリング時刻のオーディオアナログ信号の値が、その値に応じた固定数ビットのオーディオデジタル信号に変換される。
　これに対して、オーディオアナログ信号がDSD方式でA/D変換される場合、各サンプリング時刻のオーディオアナログ信号の値は、その値に応じた「０」と「１」の変化点の密度のオーディオデジタル信号に変換される。具体的には、オーディオアナログ信号の値が大きいほどオーディオデジタル信号の変化点の密度が高く、オーディオアナログ信号の値が小さいほどオーディオデジタル信号の変化点の密度が低い。即ち、オーディオアナログ信号の値に応じてオーディオデジタル信号の「０」と「１」のパターンが変化する。
　従って、このオーディオデジタル信号を、「０」と「１」のパターンに基づいて可逆圧縮符号化するlosslessDSD方式で符号化して得られる符号化ストリームのビット発生量は、オーディオアナログ信号の波形に応じて変動する。よって、事前にビットレートを予測することは困難である。
　（ファイル生成装置の構成例）
　図３は、図１のファイル生成装置の構成例を示すブロック図である。
　図３のファイル生成装置１１は、取得部３１、符号化部３２、セグメントファイル生成部３３、MPDファイル生成部３４、およびアップロード部３５により構成される。
　ファイル生成装置１１の取得部３１は、動画コンテンツのビデオアナログ信号やオーディオアナログ信号を取得してA/D変換を行う。取得部３１は、A/D変換の結果得られるビデオデジタル信号やオーディオデジタル信号、その他に取得された動画コンテンツの信号等の信号を、符号化部３２に供給する。符号化部３２は、取得部３１から供給される動画コンテンツの信号を、それぞれ、複数のビットレートで符号化し、符号化ストリームを生成する。符号化部３２は、生成された符号化ストリームをセグメントファイル生成部３３に供給する。
　セグメントファイル生成部３３（生成部）は、符号化部３２から供給される符号化ストリームを、ビットレートごとに、セグメント単位でファイル化する。セグメントファイル生成部３３は、その結果生成されたセグメントファイルをアップロード部３５に供給する。
　MPDファイル生成部３４は、オーディオデジタル信号の符号化方式がlosslessDSD方式であることを示す情報、オーディオデジタル信号の符号化ストリームであるオーディオストリームの最大ビットレート、および、ビデオデジタル信号の符号化ストリームであるビデオストリームのビットレートを含むMPDファイルを生成する。なお、最大ビットレートとは、ビットレートとしてとり得る値の最大値である。MPDファイル生成部３４は、MPDファイルをアップロード部３５に供給する。
　アップロード部３５は、セグメントファイル生成部３３から供給されるセグメントファイルと、MPDファイル生成部３４から供給されるMPDファイルとを、図１のWebサーバ１２にアップロードする。
　（MPDファイルの第１の記述例）
　図４は、MPDファイルの第１の記述例を示す図である。
　なお、図４では、説明の便宜上、MPDファイルの記述のうちの、オーディオストリームのセグメントファイルを管理する記述のみを図示している。このことは、後述する図５、図１０、図１１、図２２、および図２３においても同様である。
　MPDファイルには、動画コンテンツの符号化方式やビットレート、画像のサイズ、音声の言語などの情報が階層化されて、XML形式で記述される。
　図４に示すように、MPDファイルには、ピリオド（Period）、アダプテーションセット（AdaptationSet）、リプレゼンテーション（Representation）、セグメントインフォ（Segment）等の要素が階層的に含まれている。
　MPDファイルでは、自分が管理する動画コンテンツが所定の時間範囲（例えば、番組、ＣＭ（Commercial）などの単位）で分割される。ピリオド要素は、分割された動画コンテンツごとに記述される。ピリオド要素は、対応する動画コンテンツに共通の情報として、動画コンテンツの再生開始時刻、動画コンテンツのセグメントファイルを格納するWebサーバ１２のURL（Uniform Resource Locator）,MinBufferTimeなどの情報を有する。MinBufferTimeは、仮想バッファのバッファ時間を示す情報であり、図４の例では、０に設定される。
　アダプテーションセット要素は、ピリオド要素に含まれ、そのピリオド要素に対応する動画コンテンツの同一の符号化ストリームのセグメントファイル群に対応するリプレゼンテーション要素をグルーピングする。リプレゼンテーション要素は、例えば、対応するセグメントファイル群のデータの種類によってグルーピングされる。図４の例では、ビットレートの異なる３種類のオーディオストリームのセグメントファイルのそれぞれに対応する３つのリプレゼンテーション要素が、１つのアダプテーションセット要素によりグルーピングされている。
　アダプテーションセット要素は、対応するセグメントファイル群のグループに共通の情報として、メディア種別、言語、字幕または吹き替えなどの用途、ビットレートの最大値であるmaxBandwidthおよび最小値であるMinBandwidthなどを有する。
　なお、図４の例では、ビットレートの異なる３種類のオーディオストリームの符号化方式が全てlosslessDSD方式である。従って、オーディオストリームのセグメントファイルのアダプテーションセット要素は、グループに共通の情報として、オーディオストリームの符号化方式がlosslessDSD方式であることを示す<codecs=”dsd1”>も有する。
　また、オーディオストリームの符号化方式が、MPEG-4方式などの固定サイズのバッファでアンダーフローやオーバーフローが発生しないように符号化される方式（以下、固定方式という）であるかどうかを示すディスクリプタである<SupplementalProperty schemeIdUri=”urn:mpeg:DASH:audio:cbr:2015”>も有する。
　<SupplementalProperty schemeIdUri=”urn:mpeg:DASH:audio:cbr:2015”>の値（value）は、オーディオストリームの符号化方式が固定方式であることを示す場合trueに設定され、固定方式ではないこと示す場合、falseに設定される。従って、図４の例では、<SupplementalProperty schemeIdUri=”urn:mpeg:DASH:audio:cbr:2015”>の値はfalseである。
　また、アダプテーションセット要素は、セグメントの長さおよびセグメントファイルのファイル名のルールを示すSegmentTemplateを有する。SegmentTemplateには、timescale, duration, initialization、およびmediaが記述される。
　timescaleは、１秒を表す値であり、durationは、timescaleを１秒としたときのセグメント長の値である。図４の例では、timescaleは44100であり、durationは88200である。従って、セグメント長は２秒である。
　initializationは、オーディオストリームのセグメントファイルのうちの初期化セグメントファイルの名前のルールを示す情報である。図４の例では、initializationは「$Bandwidth$init.mp4」である。従って、オーディオストリームの初期化セグメントファイルの名前は、リプレゼンテーション要素が有するBandwidthにinitを付加したものである。
　また、mediaは、オーディオストリームのセグメントファイルのうちのメディアセグメントファイルの名前のルールを示す情報である。図４の例では、mediaは「$Bandwidth$-$Number$.mp4」である。従って、オーディオストリームのメディアセグメントファイルの名前は、リプレゼンテーション要素が有するBandwidthに「-」を付加し、順次番号が付加されたものである。
　リプレゼンテーション要素は、それをグルーピングするアダプテーションセット要素に含まれ、上位層のピリオド要素に対応する動画コンテンツの同一の符号化ストリームのセグメントファイル群ごとに記述される。リプレゼンテーション要素は、対応するセグメントファイル群に共通の情報として、ビットレートを示すBandwidth、画像のサイズなどを有する。
　なお、符号化方式がlosslessDSD方式である場合、オーディオストリームの実際のビットレートは予測不可能である。従って、オーディオストリームに対応するリプレゼンテーション要素には、対応するセグメントファイル群に共通のビットレートとして、オーディオストリームの最大ビットレートが記述される。
　図４の例では、３種類のオーディオストリームの最大ビットレートは、2.8Mbps,5.6Mbps、および11.2Mbpsである。従って、３つのリプレゼンテーション要素のBandwidthは、それぞれ、2800000,5600000,11200000をBandwidthである。また、アダプテーションセット要素のMinBandwidthは2800000であり、maxBandwidthは11200000である。
　セグメントインフォ要素は、リプレゼンテーション要素に含まれ、そのリプレゼンテーション要素に対応するセグメントファイル群の各セグメントファイルに関する情報を有する。
　以上のように、オーディオストリームの符号化方式がlosslessDSD方式である場合、MPDファイルには、オーディオストリームの最大ビットレートが記述される。従って、動画再生端末１４は、オーディオストリームのビットレートが最大ビットレートであるものとしてオーディオストリームおよびビデオストリームを取得することにより、途切れずに再生を行うことができる。しかしながら、オーディオストリームの実際のビットレートが最大ビットレートより小さい場合、オーディオストリームに割り当てた帯域に無駄が発生する。
　なお、図４の例では、アダプテーションセット要素に、<codecs=”dsd1”>と<SupplementalProperty schemeIdUri=”urn:mpeg:DASH:audio:cbr:2015”value=”false”>が記述されたが、各リプレゼンテーション要素に記述されるようにしてもよい。
　（MPDファイルの第２の記述例）
　図５は、MPDファイルの第２の記述例を示す図である。
　図５の例では、ビットレートの異なる３種類のオーディオストリームのうちの２種類のオーディオストリームの符号化方式がlosslessDSD方式であり、１種類のオーディオストリームの符号化方式が、MPEG-4方式である。
　従って、図５のMPDファイルでは、アダプテーションセット要素が、<codecs=”dsd1”>と<SupplementalProperty schemeIdUri=”urn:mpeg:DASH:audio:cbr:2015”value=”false”>を有さない。その代わりに、リプレゼンテーションセット要素が、オーディオストリームの符号化方式を示す情報、および、<SupplementalProperty schemeIdUri=”urn:mpeg:DASH:audio:cbr:2015”>を有する。
　具体的には、図５の例では、１つ目のリプレゼンテーションセット要素に対応するオーディオストリームの符号化方式がlosslessDSD方式であり、最大ビットレートが2.8Mbpsである。従って、１つ目のリプレゼンテーションセット要素は、<codecs=”dsd1”>、<SupplementalProperty schemeIdUri=”urn:mpeg:DASH:audio:cbr:2015”value=”false”>、およびBandwidthとしての2800000を有する。
　また、２つ目のリプレゼンテーションセット要素に対応するオーディオストリームの符号化方式がlosslessDSD方式であり、最大ビットレートが5.6Mbpsである。従って、２つ目のリプレゼンテーションセット要素は、<codecs=”dsd1”>、<SupplementalProperty schemeIdUri=”urn:mpeg:DASH:audio:cbr:2015”value=”false”>、およびBandwidthとしての5600000を有する。
　さらに、３つ目のリプレゼンテーションセット要素に対応するオーディオストリームの符号化方式がMPEG-4方式であり、実際のビットレートが128kbpsである。従って、１つ目のリプレゼンテーションセット要素は、<codecs=”mp4a”>、<SupplementalProperty schemeIdUri=”urn:mpeg:DASH:audio:cbr:2015”value=”true”>、およびBandwidth としての128000を有する。なお、<codecs=”mp4a”>は、オーディオストリームの符号化方式がMPEG-4方式であることを示す情報である。
　なお、図４や図５のMPDファイルは、オーディオストリームの符号化方式として固定方式ではない方式が想定されていないMPDファイルに対して、<codecs=”dsd1”>と<SupplementalProperty schemeIdUri=”urn:mpeg:DASH:audio:cbr:2015”>を記述可能にしたものである。従って、図４や図５のMPDファイルは、オーディオストリームの符号化方式として固定方式ではない方式が想定されていないMPDファイルと互換性を有する。
　（ファイル生成装置の処理の説明）
　図６は、図３のファイル生成装置１１のファイル生成処理を説明するフローチャートである。
　図６のステップＳ１０において、ファイル生成装置１１のMPDファイル生成部３４は、MPDファイルを生成し、アップロード部３５に供給する。ステップＳ１１において、アップロード部３５は、MPDファイル生成部３４から供給されるMPDファイルを、Webサーバ１２にアップロードする。
　ステップＳ１２において、取得部３１は、セグメント単位の動画コンテンツのビデオアナログ信号およびオーディオアナログ信号を取得してA/D変換を行う。取得部３１は、A/D変換の結果得られるビデオデジタル信号およびオーディオアナログ信号、並びに、その他のセグメント単位の動画コンテンツの信号等の信号を符号化部３２に供給する。
　ステップＳ１３において、符号化部３２は、複数のビットレートで、取得部３１から供給される動画コンテンツの信号を、所定の符号化方式で符号化し、符号化ストリームを生成する。符号化部３２は、生成された符号化ストリームをセグメントファイル生成部３３に供給する。
　ステップＳ１４において、セグメントファイル生成部３３は、符号化部３２から供給される符号化ストリームを、ビットレートごとにファイル化し、セグメントファイルを生成する。セグメントファイル生成部３３は、生成されたセグメントファイルをアップロード部３５に供給する。
　ステップＳ１５において、アップロード部３５は、セグメントファイル生成部３３から供給されるセグメントファイルを、Webサーバ１２にアップロードする。
　ステップＳ１６において、取得部３１は、ファイル生成処理を終了するかどうかを判定する。具体的には、取得部３１は、新たにセグメント単位の動画コンテンツの信号が供給される場合、ファイル生成処理を終了しないと判定する。そして、処理はステップＳ１２に戻り、ファイル生成処理を終了すると判定されるまで、ステップＳ１２乃至Ｓ１６の処理が繰り返される。
　一方、取得部３１は、新たにセグメント単位の動画コンテンツの信号が供給されない場合、ステップＳ１６でファイル生成処理を終了すると判定する。そして、処理は終了する。
　以上のように、ファイル生成装置１１は、オーディオストリームの符号化方式がlosslessDSD方式である場合、MPDファイルに<SupplementalProperty schemeIdUri=”urn:mpeg:DASH:audio:cbr:2015”value=”false”>を記述する。従って、動画再生端末１４は、オーディオストリームの符号化方式が固定方式ではないことを認識することができる。
　（動画再生端末の機能的構成例）
　図７は、図１の動画再生端末１４が制御用ソフトウエア２１、動画再生ソフトウエア２２、およびアクセス用ソフトウエア２３を実行することにより実現されるストリーミング再生部の構成例を示すブロック図である。
　ストリーミング再生部６０は、MPD取得部６１、MPD処理部６２、セグメントファイル取得部６３、選択部６４、バッファ６５、復号部６６、および出力制御部６７により構成される。
　ストリーミング再生部６０のMPD取得部６１は、MPDファイルをWebサーバ１２に要求し、取得する。MPD取得部６１は、取得されたMPDファイルをMPD処理部６２に供給する。
　MPD処理部６２は、MPD取得部６１から供給されるMPDファイルを解析する。具体的には、MPD処理部６２は、各符号化ストリームのBandwidth、各符号化ストリームを格納するセグメントファイルのURLやファイル名等の取得情報を取得する。
　また、符号化ストリームがオーディオストリームである場合、MPD処理部６２は、<SupplementalProperty schemeIdUri=”urn:mpeg:DASH:audio:cbr:2015”>の値に基づいて、その値に対応するオーディオストリームの符号化方式が固定方式であるかどうかを認識する。そして、MPD処理部６２は、各オーディオストリームの符号化方式が固定方式であるかどうかを示す符号化方式情報を生成する。MPD処理部６２は、解析の結果得られるBandwidth、取得情報、符号化方式情報等をセグメントファイル取得部６３に供給し、Bandwidthを選択部６４に供給する。
　セグメントファイル取得部６３は、各オーディオストリームの符号化方式情報の少なくとも１つが固定方式ではないことを示す場合、インターネット１３のネットワーク帯域と各オーディオストリームのBandwidthとに基づいて、Bandwidthの異なるオーディオストリームから、取得するオーディオストリームを選択する。そして、セグメントファイル取得部６３（取得部）は、選択されたオーディオストリームのセグメントファイルのうちの、再生時刻のセグメントファイルの取得情報をWebサーバ１２に送信し、そのセグメントファイルを取得する。
　また、セグメントファイル取得部６３は、取得されたオーディオストリームの実際のビットレートを検出し、選択部６４に供給する。さらに、セグメントファイル取得部６３は、選択部６４から供給されるBandwidthのビデオストリームのセグメントファイルのうちの、再生時刻のセグメントファイルの取得情報をWebサーバ１２に送信し、そのセグメントファイルを取得する。
　一方、各オーディオストリームの符号化方式情報の全てが固定方式であることを示す場合、セグメントファイル取得部６３は、各符号化ストリームのBandwidthとインターネット１３のネットワーク帯域とに基づいて、取得するビデオストリームとオーディオストリームのBandwidthを選択する。そして、セグメントファイル取得部６３は、選択されたBandwidthのビデオストリームおよびオーディオストリームのセグメントファイルのうちの、再生時刻のセグメントファイルの取得情報をWebサーバ１２に送信し、そのセグメントファイルを取得する。セグメントファイル取得部６３は、取得されたセグメントファイルに格納される符号化ストリームをバッファ６５に供給する。
　選択部６４は、オーディオストリームの実際のビットレート、インターネット１３のネットワーク帯域、およびビデオストリームのBandwidthに基づいて、Bandwidthの異なるビデオストリームから、取得するビデオストリームを選択する。選択部６４は、選択されたビデオストリームのBandwidthをセグメントファイル取得部６３に供給する。
　バッファ６５は、セグメントファイル取得部６３から供給される符号化ストリームを一時的に保持する。
　復号部６６は、バッファ６５から符号化ストリームを読み出して復号し、動画コンテンツのビデオデジタル信号やオーディオデジタル信号を生成する。復号部６６は、生成されたビデオデジタル信号やオーディオデジタル信号を出力制御部６７に供給する。
　出力制御部６７は、復号部６６から供給されるビデオデジタル信号に基づいて、動画再生端末１４が有する図示せぬディスプレイ等の表示部に画像を表示させる。また、出力制御部６７は、復号部６６から供給されるオーディオデジタル信号に対してD/A(Digital/Analog)変換を行う。出力制御部６７は、D/A変換の結果得られるオーディオアナログ信号に基づいて、動画再生端末１４が有する図示せぬスピーカ等の出力部に音声を出力させる。
　（オーディオストリームの実際のビットレートの例）
　図８は、符号化方式がlosslessDSD方式である場合のオーディオストリームの実際のビットレートの例を示す図である。
　図８に示すように、符号化方式がlosslessDSD方式である場合、オーディオストリームの実際のビットレートは、Bandwidthが示す最大ビットレート以下で変動する。
　しかしながら、オーディオストリームの実際のビットレートは、予測不可能である。従って、動画コンテンツがライブ配信される場合、動画再生端末１４は、オーディオストリームを取得するまで、オーディオストリームの実際のビットレートを認識することはできない。
　よって、動画再生端末１４は、ビデオストリームのビットレートの選択前にオーディオストリームを取得することにより、オーディオストリームの実際のビットレートを取得する。これにより、動画再生端末１４は、インターネット１３のネットワーク帯域のうちの、オーディオストリームの実際のビットレート以外の帯域をビデオストリームに割り当てることができる。即ち、オーディオストリームの最大ビットレートと実際のビットレートとの差分である余剰帯域８１を、ビデオストリームに割り当てることができる。
　これに対して、オーディオストリームの最大ビットレートを示すBandwidthに基づいて、インターネット１３のネットワーク帯域の割り当てを行う場合、余剰帯域８１をビデオストリームに割り当てることができず、帯域利用に無駄が生じる。
　（動画再生端末の処理の説明）
　図９は、図７のストリーミング再生部６０の再生処理を説明するフローチャートである。この再生処理は、MPDファイルが取得され、MPDファイルの解析の結果生成された各オーディオストリームの符号化方式情報の少なくとも１つが固定方式ではないことを示す場合、開始される。
　図９のステップＳ３１において、セグメントファイル取得部６３は、MPD処理部６２から供給される各符号化ストリームのBandwidthのうち、ビデオストリームとオーディオストリームの最も小さいBandwidthを選択する。
　ステップＳ３２において、セグメントファイル取得部６３は、ステップＳ３１で選択されたBandwidthのビデオストリームとオーディオストリームのセグメントファイルのうちの、再生開始時刻から所定の時間長のセグメントファイルの取得情報をセグメント単位でWebサーバ１２に送信し、そのセグメントファイルをセグメント単位で取得する。
　この所定の時間長は、インターネット１３のネットワーク帯域の検出用に復号開始までにバッファ６５に保持することが望ましい符号化ストリームの時間長である。例えば、この所定の時間長は、バッファ６５に保持可能な符号化ストリームの時間長（例えば、３０秒から６０秒程度）（以下、最大時間長という）の２５パーセントである。セグメントファイル取得部６３は、取得された各セグメントファイルに格納される符号化ストリームをバッファ６５に供給して保持させる。
　ステップＳ３３において、復号部６６は、バッファ６５に記憶されている符号化ストリームの復号を開始する。なお、復号部６６により読み出され、復号された符号化ストリームはバッファ６５から削除される。復号部６６は、復号の結果得られる動画コンテンツのビデオデジタル信号やオーディオデジタル信号を出力制御部６７に供給する。出力制御部６７は、復号部６６から供給されるビデオデジタル信号に基づいて、動画再生端末１４が有する図示せぬディスプレイ等の表示部に画像を表示させる。また、出力制御部６７は、復号部６６から供給されるオーディオデジタル信号に対してD/A変換を行い、その結果得られるオーディオアナログ信号に基づいて、動画再生端末１４が有する図示せぬスピーカ等の出力部に音声を出力させる。
　ステップＳ３４において、セグメントファイル取得部６３は、インターネット１３のネットワーク帯域を検出する。
　ステップＳ３５において、セグメントファイル取得部６３は、インターネット１３のネットワーク帯域と、各符号化ストリームのBandwidthとに基づいて、ビデオストリームとオーディオストリームのBandwidthを選択する。具体的には、セグメントファイル取得部６３は、選択されたビデオストリームとオーディオストリームのBandwidthの和が、インターネット１３のネットワーク帯域以下となるように、ビデオストリームとオーディオストリームのBandwidthを選択する。
　ステップＳ３６において、セグメントファイル取得部６３は、ステップＳ３５で選択されたBandwidthのオーディオストリームのセグメントファイルのうちの、ステップＳ３２で取得されたセグメントファイルの次の時刻から所定の時間長のセグメントファイルの取得情報をセグメント単位でWebサーバ１２に送信し、セグメント単位でセグメントファイルを取得する。
　この所定の時間長は、最大時間長に対して、バッファ６５に保持されている符号化ストリームの時間長が不足している時間長より小さければ、どのような時間長であってもよい。セグメントファイル取得部６３は、取得された各セグメントファイルに格納されるオーディオストリームをバッファ６５に供給して保持させる。
　ステップＳ３７において、セグメントファイル取得部６３は、ステップＳ３６で取得されたオーディオストリームの実際のビットレートを検出し、選択部６４に供給する。
　ステップＳ３８において、選択部６４は、オーディオストリームの実際のビットレート、ビデオストリームのBandwidth、およびインターネット１３のネットワーク帯域に基づいて、ビデオストリームのBandwidthを選択し直すかどうかを判定する。
　具体的には、選択部６４は、インターネット１３のネットワーク帯域からオーディオストリームの実際のビットレートを減算した値以下で最も大きいビデオストリームのBandwidthが、ステップＳ３５で選択されたビデオストリームのBandwidthであるかどうかを判定する。
　そして、選択部６４は、ステップＳ３５で選択されたビデオストリームのBandwidthではないと判定した場合、ビデオストリームのBandwidthを選択し直すと判定する。一方、ステップＳ３５で選択されたビデオストリームのBandwidthであると判定された場合、選択部６４は、ビデオストリームのBandwidthを選択し直さないと判定する。
　ステップＳ３８でビデオストリームのBandwidthを選択し直すと判定された場合、処理はステップＳ３９に進む。
　ステップＳ３９において、選択部６４は、インターネット１３のネットワーク帯域からオーディオストリームの実際のビットレートを減算した値以下で最も大きいビデオストリームのBandwidthを選択し直す。そして、選択部６４は、選択し直されたBandwidthをセグメントファイル取得部６３に供給し、処理をステップＳ４０に進める。
　一方、ステップＳ３８で、ビデオストリームのBandwidthを選択し直さないと判定された場合、選択部６４は、ステップＳ３５で選択されたビデオストリームのBandwidthをセグメントファイル取得部６３に供給し、処理をステップＳ４０に進める。
　ステップＳ４０において、セグメントファイル取得部６３は、選択部６４から供給されるBandwidthのビデオストリームのセグメントファイルのうちの、ステップＳ３６で取得されたオーディオストリームに対応する所定の時間長のセグメントファイルの取得情報をセグメント単位でWebサーバ１２に送信し、そのセグメントファイルをセグメント単位で取得する。セグメントファイル取得部６３は、取得された各セグメントファイルに格納されるビデオストリームをバッファ６５に供給して保持させる。
　ステップＳ４１において、セグメントファイル取得部６３は、バッファ６５に空きがあるかどうかを判定する。ステップＳ４１でバッファ６５に空きがないと判定された場合、セグメントファイル取得部６３は、バッファ６５に空きができるまで待機する。
　一方、ステップＳ４１でバッファ６５に空きがあると判定された場合、ステップＳ４２において、ストリーミング再生部６０は、再生を終了するかどうかを判定する。ステップＳ４２で再生を終了しないと判定された場合、処理はステップＳ３４に戻り、再生を終了するまで、ステップＳ３４乃至Ｓ４２の処理が繰り返される。
　一方、ステップＳ４２で再生を終了すると判定された場合、ステップＳ４３において、復号部６６は、バッファ６５に記憶されている全ての符号化ストリームの復号を終了した後、復号を終了する。そして、処理は終了する。
　以上のように、動画再生端末１４は、losslessDSD方式で符号化されたオーディオストリームをビデオストリームの前に取得してオーディオストリームの実際のビットレートを取得し、その実際のビットレートに基づいて、取得するビデオストリームのBandwidthを選択する。
　従って、losslessDSD方式で符号化されたオーディオストリームとビデオストリームを取得する際、オーディオストリームのBandwidthと実際のビットレートとの差分である余剰帯域をビデオストリームに割り当てることができる。その結果、オーディオストリームのBandwidthに基づいて、取得するビデオストリームのBandwidthを選択する場合に比べて、最適なビットレートのビデオストリームを取得することができる。
　＜第２実施の形態＞
　（MPDファイルの第１の記述例）
　本開示を適用した情報処理システムの第２実施の形態は、MPDファイルの構成、MPDファイルが所定の期間ごとに更新される点、ファイル生成処理、および再生処理が、図１の情報処理システム１０の構成と異なる。従って、以下では、MPDファイルの構成、ファイル生成処理、MPDファイルの更新処理、および再生処理についてのみ説明する。
　第２実施の形態では、ファイル生成装置１１が、オーディオストリームを生成後に、生成されたオーディオストリームの実際のビットレートの平均値を算出し、MPDファイルに記述する。ライブ配信では、オーディオストリームの生成とともに、平均値が変化するため、動画再生端末１４は、MPDファイルを定期的に取得して更新する必要がある。
　図１０は、第２実施の形態におけるMPDファイルの第１の記述例を示す図である。
　図１０のMPDファイルの構成は、リプレゼンテーション要素がAveBandwidthとDurationForAveBandwidthをさらに有する点が、図４のMPDファイルの構成と異なる。
　AveBandwidthは、リプレゼンテーション要素に対応するオーディオストリームの実際のビットレートの所定の期間の平均値を示す情報である。DurationForAveBandwidthは、AveBandwidthに対応する所定の期間を示す情報である。
　具体的には、第２実施の形態におけるMPDファイル生成部３４は、基準期間ごとに、符号化部３２により生成されたオーディオストリームの実際のビットレートの積算値から平均値を算出することにより、基準期間だけ増加した所定の期間のオーディオストリームの実際のビットレートの平均値を算出する。
　そして、MPDファイル生成部３４（生成部）は、基準期間ごとに、算出された平均値と、その平均値に対応する所定の期間とを、オーディオストリームの実際のビットレートを表すビットレート情報として生成する。そして、MPDファイル生成部３４は、ビットレート情報のうちの平均値を示す情報をAveBandwidthとして含み、所定の期間を示す情報をDurationForAveBandwidthとして含むMPDファイルを生成する。
　図１０の例では、MPDファイル生成部３４は、先頭から600秒間のオーディオストリームの実際のビットレートの平均値を算出している。従って、３つのリプレゼンテーション要素が有するDurationForAveBandwidthは、600秒を示すPT600Sである。
　また、１つ目のリプレゼンテーション要素に対応する最大ビットレートが2.8MbpsであるlosslessDSD方式のオーディオストリームの先頭から600秒間の実際のビットレートの平均値は、2Mbpsである。従って、１つ目のリプレゼンテーション要素が有するAveBandwidthは2000000である。
　２つ目のリプレゼンテーション要素に対応する最大ビットレートが5.6MbpsであるlosslessDSD方式のオーディオストリームの先頭から600秒間の実際のビットレートの平均値は、4Mbpsである。従って、２つ目のリプレゼンテーション要素が有するAveBandwidthは4000000である。
　３つ目のリプレゼンテーション要素に対応する最大ビットレートが11.2MbpsであるlosslessDSD方式のオーディオストリームの先頭から600秒間の実際のビットレートの平均値は、8Mbpsである。従って、３つ目のリプレゼンテーション要素が有するAveBandwidthは8000000である。
　（MPDファイルの第２の記述例）
　図１１は、第２実施の形態におけるMPDファイルの第２の記述例を示す図である。
　図１１のMPDファイルの構成は、losslessDSD方式で符号化されたオーディオストリームに対応する２つのリプレゼンテーション要素がAveBandwidthとDurationForAveBandwidthをさらに有する点が、図５のMPDファイルの構成と異なる。
　２つのリプレゼンテーション要素が有するAveBandwidthとDurationForAveBandwidthは、それぞれ、図１０の１つ目、２つ目のリプレゼンテーション要素が有するAveBandwidthとDurationForAveBandwidthと同一であるので、説明は省略する。
　なお、MPDファイル生成部３４は、動画コンテンツの最後のオーディオストリームのビットレートまで積算された積算値から平均値を算出する場合、DurationForAveBandwidthとして動画コンテンツの時間を記述してもよいし、DurationForAveBandwidthの記述を省略してもよい。
　また、図示は省略するが、図１０や図１１のMPDファイルには、MPDファイルの更新間隔として基準期間を示すminimumUpdatePeriodが含まれる。そして、動画再生端末１４は、minimumUpdatePeriodが示す更新間隔でMPDファイルを更新する。従って、MPDファイル生成部３４は、MPDファイルに記述するminimumUpdatePeriodを変更するだけで、MPDファイルの更新間隔を容易に変更することができる。
　さらに、図１０や図１１のAveBandwidthとDurationForAveBandwidthは、リプレゼンテーション要素のパラメータとして記述するのではなく、SupplementalProperty descriptorとして記述するようにしてもよい。
　また、図１０や図１１のAveBandwidthの代わりに、所定の期間のオーディオストリームの実際のビットレートの積算値を記述するようにしてもよい。
　なお、図１０や図１１のMPDファイルは、オーディオストリームの符号化方式として固定方式ではない方式が想定されていないMPDファイルに対して、<codecs=”dsd1”>と<SupplementalProperty schemeIdUri=”urn:mpeg:DASH:audio:cbr:2015”>のほか、AveBandwidthとDurationForAveBandwidthを記述可能にしたものである。従って、図１０や図１１のMPDファイルは、オーディオストリームの符号化方式として固定方式ではない方式が想定されていないMPDファイルと互換性を有する。
　（情報処理システムの処理の説明）
　図１２は、第２実施の形態におけるファイル生成装置１１のファイル生成処理を説明するフローチャートである。このファイル生成処理は、オーディオストリームの符号化方式の少なくとも１つがlosslessDSD方式である場合に行われる。
　図１２のステップＳ６０において、ファイル生成装置１１のMPDファイル生成部３４は、MPDファイルを生成する。このとき、まだ、オーディオストリームの実際のビットレートの平均値は算出されていないので、例えば、MPDファイルのAveBandwidthには、Bandwidthと同一の値が記述され、DurationForAveBandwidthには、0秒を示すPT0Sが記述される。また、MPDファイルのminimumUpdatePeriodには、例えば基準期間ΔＴが設定される。MPDファイル生成部３４は、生成されたMPDファイルをアップロード部３５に供給する。
　ステップＳ６１乃至Ｓ６５の処理は、図６のステップＳ１１乃至Ｓ１５の処理と同様であるので、説明は省略する。
　ステップＳ６６において、MPDファイル生成部３４は、オーディオストリームの実際のビットレートを、保持されている積算値に積算し、その結果得られる積算値を保持する。
　ステップＳ６７において、MPDファイル生成部３４は、ステップＳ６６の処理によりMPDファイルの更新時刻の１秒前の再生時刻のオーディオストリームの実際のビットレートまで積算されたかどうかを判定する。なお、図１２の例では、積算値を更新したMPDファイルが実際にWebサーバ１２にアップロードされるまでの時間が１秒であるため、MPDファイル生成部３４は、更新時刻の１秒前の再生時刻のオーディオストリームの実際のビットレートまで積算されたかどうかを判定する。しかしながら、その時間は、勿論、１秒に限定されず、１秒以外である場合には、その時間だけ更新時刻より前の再生時刻のオーディオストリームの実際のビットレートまで積算されたかどうかが判定される。また、最初のステップＳ６７の処理におけるMPDファイルの更新時刻は、0秒から基準期間ΔＴ後であり、次のステップＳ６７の処理におけるMPDファイルの更新時刻は、0秒から基準期間ΔＴの２倍後である。以降も同様に、MPDファイルの更新時刻は基準期間ΔＴずつ増加する。
　ステップＳ６７で、ステップＳ６６の処理によりMPDファイルの更新時刻の１秒前の再生時刻のオーディオストリームの実際のビットレートまで積算されたと判定された場合、処理はステップＳ６８に進む。ステップＳ６８において、MPDファイル生成部３４は、保持している積算値を、積算されたビットレートに対応するオーディオストリームの期間で除算することにより平均値を算出する。
　ステップＳ６９において、MPDファイル生成部３４は、MPDファイルのAveBandwidthとDurationForAveBandwidthを、それぞれ、ステップＳ６７で算出された平均値を示す情報、その平均値に対応する期間を示す情報に更新し、処理をステップＳ７０に進める。
　一方、ステップＳ６７で、まだステップＳ６６の処理によりMPDファイルの更新時刻の１秒前の再生時刻のオーディオストリームの実際のビットレートまで積算されていないと判定された場合、処理はステップＳ７０に進む。
　ステップＳ７０の処理は、図６のステップＳ１６の処理と同一であるので、説明は省略する。
　図１３は、第２実施の形態におけるストリーミング再生部６０のMPDファイル更新処理を説明するフローチャートである。このMPDファイル更新処理は、MPDファイルにminimumUpdatePeriodが記述されている場合に行われる。
　図１３のステップＳ９１において、ストリーミング再生部６０のMPD取得部６１は、MPDファイルを取得し、MPD処理部６２に供給する。ステップＳ９２において、MPD処理部６２は、MPD取得部６１から供給されるMPDファイルを解析することにより、MPDファイルからminimumUpdatePeriodが示す更新間隔を取得する。
　また、MPD処理部６２は、第１実施の形態の場合と同様に、MPDファイルを解析することにより、符号化ストリームのBandwidth、取得情報、符号化方式情報等を得る。さらに、MPD処理部６２は、MPDファイルを解析することにより、符号化方式情報が固定方式ではないことを示す場合、オーディオストリームのAveBandwidthを取得し、選択用ビットレートとする。また、符号化方式情報が固定方式であることを示す場合、MPD処理部６２は、オーディオストリームのBandwidthを選択用ビットレートとする。
　MPD処理部６２は、各ビデオストリームのBandwidthおよび取得情報、並びに、各オーディオストリームの選択用ビットレート、取得情報、および符号化方式情報をセグメントファイル取得部６３に供給する。また、MPD処理部６２は、各オーディオストリームの選択用ビットレートを選択部６４に供給する。
　ステップＳ９３において、MPD取得部６１は、前回のステップＳ９１の処理によるMPDファイルの取得から更新間隔が経過したかどうかを判定する。ステップＳ９３で更新間隔が経過していないと判定された場合、MPD取得部６１は、更新間隔が経過するまで待機する。
　ステップＳ９３で更新間隔が経過したと判定された場合、処理はステップＳ９４に進む。ステップＳ９４において、ストリーミング再生部６０は、再生処理を終了するかどうかを判定する。ステップＳ９４で再生処理を終了しないと判定された場合、処理はステップＳ９１に戻り、再生処理を終了するまで、ステップＳ９１乃至Ｓ９４の処理が繰り返される。
　一方、ステップＳ９４で再生処理を終了すると判定された場合、処理は終了する。
　図１４は、第２実施の形態におけるストリーミング再生部６０の再生処理を説明するフローチャートである。この再生処理は、図１３のMPDファイル更新処理と並列して行われる。
　図１４のステップＳ１１１において、セグメントファイル取得部６３は、MPD処理部６２から供給されるビデオストリームのBandwidthとオーディオストリームの選択用ビットレートそれぞれの最も小さいものを選択する。
　ステップＳ１１２において、セグメントファイル取得部６３は、ステップＳ１１１で選択されたBandwidthのビデオストリームと選択用ビットレートのオーディオストリームのセグメントファイルのうちの、再生開始時刻から所定の時間長のセグメントファイルの取得情報をセグメント単位でWebサーバ１２に送信し、そのセグメントファイルをセグメント単位で取得する。この所定の時間長は、図９のステップＳ３２における時間長と同一である。セグメントファイル取得部６３は、取得されたセグメントファイルをバッファ６５に供給して保持させる。
　ステップＳ１１３およびＳ１１４の処理は、図９のステップＳ３３およびＳ３４の処理と同様であるので、説明は省略する。
　ステップＳ１１５において、セグメントファイル取得部６３は、インターネット１３のネットワーク帯域と、ビデオストリームのBandwidthおよびオーディオストリームの選択用ビットレートとに基づいて、ビデオストリームのBandwidthとオーディオストリームの選択用ビットレートを選択する。
　具体的には、セグメントファイル取得部６３は、選択されたビデオストリームのBandwidthとオーディオストリームの選択用ビットレートの和が、インターネット１３のネットワーク帯域以下となるように、ビデオストリームのBandwidthとオーディオストリームの選択用ビットレートを選択する。
　ステップＳ１１６において、セグメントファイル取得部６３は、ステップＳ１１５で選択されたBandwidthのビデオストリームと選択用ビットレートのオーディオストリームのセグメントファイルのうちの、ステップＳ１１２で取得されたセグメントファイルの次の時刻から所定の時間長のセグメントファイルの取得情報をセグメント単位でWebサーバ１２に送信し、そのセグメントファイルをセグメント単位で取得する。セグメントファイル取得部６３は、取得されたセグメントファイルをバッファ６５に供給して保持させる。
　なお、AveBandwidthは、オーディオストリームの実際のビットレートの平均値であるため、実際のビットレートはAveBandwidthを超える場合がある。従って、ステップＳ１１６における所定の時間長は、基準期間ΔＴより短い時間長にされる。これにより、実際のビットレートがAveBandwidthを超える場合、インターネット１３のネットワーク帯域が小さくなり、より低い選択用ビットレートのオーディオストリームが取得されるようになる。その結果、バッファ６５のオーバーフローを防止することができる。
　ステップＳ１１７乃至Ｓ１１９の処理は、図９のステップＳ４１乃至Ｓ４３の処理と同様であるので、説明は省略する。
　以上のように、第２実施の形態におけるファイル生成装置１１は、losslessDSD方式で符号化されたオーディオストリームの実際のビットレートの平均値を生成する。従って、動画再生端末１４は、オーディオストリームの実際のビットレートの平均値に基づいて、取得するビデオストリームのBandwidthを選択することにより、オーディオストリームのBandwidthと実際のビットレートとの差分である余剰帯域の少なくとも一部をビデオストリームに割り当てることができる。その結果、オーディオストリームのBandwidthに基づいて、取得するビデオストリームのBandwidthを選択する場合に比べて、最適なビットレートのビデオストリームを取得することができる。
　また、第２実施の形態では、オーディオストリームの実際のビットレートを取得するために、ビデオストリームの取得前にオーディオストリームを取得する必要がない。さらに、第２実施の形態では、ファイル生成装置１１が、基準期間ごとにMPDファイルのAveBandwidthを更新するので、動画再生端末１４は、再生開始時刻において最新のMPDファイルを取得することにより、最新のAveBandwidthを取得することができる。
　＜第３実施の形態＞
　（オーディオストリームのメディアセグメントファイルの構成例）
　本開示を適用した情報処理システムの第３実施の形態は、主に、MPDファイルにminimumUpdatePeriodを記述するのではなく、オーディオストリームのメディアセグメントファイルにMPDファイルの更新時刻を通知する更新通知情報を格納する点が、第２実施の形態と異なる。従って、以下では、オーディオストリームのセグメントファイル、ファイル生成処理、MPDファイル更新処理、再生処理についてのみ説明する。
　図１５は、第３実施の形態におけるオーディオストリームの更新通知情報を含むメディアセグメントファイルの構成例を示す図である。
　図１５のメディアセグメントファイル（Media Segment）は、stypボックス、sidxボックス、emsgボックス（Event Message Box）、および１以上のMovie fragmentにより構成される。
　stypボックスは、メディアセグメントファイルの形式を示す情報を格納するボックスである。図１５の例では、メディアセグメントファイルの形式がMPEG-DASHの形式であることを示すmsdhが、stypボックスに格納されている。sidxボックスは、１以上のMovie fragmentからなるサブセグメントのインデックス情報を格納するボックスである。
　emsgボックスは、MPD validity expirationを用いて更新通知情報を格納するボックスである。Movie fragmentは、moofボックスとmdatボックスにより構成される。moofボックスは、オーディオストリームのメタデータを格納するボックスであり、mdatボックスは、オーディオストリームを格納するボックスである。Media Segmentを構成するMovie fragmentは、１以上のサブセグメントに分割される。
　（emsgボックスの記述例）
　図１６は、図１５のemsgボックスの記述例を示す図である。
　図１６に示すように、emsgボックスには、string value,presentation_time_delta,event_duration,id,message_dataなどが記述される。
　string valueは、このemsgボックスに対応するイベントを定義する値であり、図１６の場合、MPDファイルの更新を示す１である。
　presentation_time_deltaは、このemsgボックスが配置されるメディアセグメントファイルの再生時刻から、イベントが行われる再生時刻までの時間である。従って、図１６の場合、presentation_time_deltaは、このemsgボックスが配置されるメディアセグメントファイルの再生時刻から、MPDファイルの更新が行われる再生時刻までの時間であり、更新通知情報である。第３実施の形態では、presentation_time_deltaは５である。従って、このemsgボックスが配置されるメディアセグメントファイルの再生時刻から５秒後にMPDファイルが更新される。
　event_durationは、このemsgボックスに対応するイベントの期間であり、図１６の場合、期間が不明であることを示す「0xFFFF」である。idは、このemsgボックスに固有のＩＤである。また、message_dataは、このemsgボックスに対応するイベントに関するデータであり、図１６の場合MPDファイルの更新時刻のXML（ExtensibleMarkupLanguage）データである。
　以上のように、ファイル生成装置１１は、必要に応じて、オーディオストリームのメディアセグメントファイルに、presentation_time_deltaを格納する図１６のemsgボックスを含める。これにより、ファイル生成装置１１は、このメディアセグメントファイルの再生時刻から何秒後にMPDファイルが更新されるかを動画再生端末１４に通知することができる。
　また、ファイル生成装置１１は、emsgボックスをメディアセグメントファイルに配置させる頻度を変更するだけで、MPDファイルの更新頻度を容易に変更することができる。
　（ファイル生成装置の処理の説明）
　図１７は、第３実施の形態におけるファイル生成装置１１のファイル生成処理を説明するフローチャートである。このファイル生成処理は、オーディオストリームの符号化方式の少なくとも１つがlosslessDSD方式である場合に行われる。
　図１７のステップＳ１３０において、ファイル生成装置１１のMPDファイル生成部３４は、MPDファイルを生成する。このMPDファイルは、minimumUpdatePeriodが記述されない点、および、「urn:mpeg:dash:profile:is-off-ext-live:2014」が記述される点が、第２実施の形態におけるMPDファイルと異なる。「urn:mpeg:dash:profile:is-off-ext-live:2014」は、メディアセグメントファイルに図１６のemsgボックスが配置されることを示すプロファイルである。MPDファイル生成部３４は、生成されたMPDファイルをアップロード部３５に供給する。
　ステップＳ１３１乃至Ｓ１３３の処理は、図１２のステップＳ６１乃至Ｓ６３の処理と同様であるので、説明は省略する。
　ステップＳ１３４において、ファイル生成装置１１のセグメントファイル生成部３３は、ステップＳ１３３で符号化されたオーディオデジタル信号の再生時刻が、MPDファイルの更新時刻の５秒前であるかどうかを判定する。なお、図１７の例では、動画再生端末１４にMPDファイルの更新を５秒前に通知するため、セグメントファイル生成部３３は、MPDファイルの更新時刻の５秒前であるかどうかを判定する。しかしながら、動画再生端末１４への通知は、勿論、５秒以外の時間だけ前に行われてもよく、５秒以外の時間だけ前に行われる場合には、その時間だけMPDファイルの更新時刻より前であるかどうかが判定される。また、最初のステップＳ１３４の処理におけるMPDファイルの更新時刻は、0秒から基準期間ΔＴ後であり、次のステップＳ１３４の処理におけるMPDファイルの更新時刻は、0秒から基準期間ΔＴの２倍後である。以降も同様に、MPDファイルの更新時刻は基準期間ΔＴずつ増加する。
　ステップＳ１３４でMPDファイルの更新時刻の５秒前であると判定された場合、処理はステップＳ１３５に進む。ステップＳ１３５において、セグメントファイル生成部３３は、図１６のemsgボックスを含む、符号化部３２から供給されるオーディオストリームのセグメントファイルを生成する。また、セグメントファイル生成部３３は、符号化部３２から供給されるビデオストリームのセグメントファイルを生成する。そして、セグメントファイル生成部３３は、生成されたセグメントファイルをアップロード部３５に供給し、処理をステップＳ１３７に進める。
　一方、ステップＳ１３４でMPDファイルの更新時刻の５秒前ではないと判定された場合、処理はステップＳ１３６に進む。ステップＳ１３６において、セグメントファイル生成部３３は、図１６のemsgボックスを含まない、符号化部３２から供給されるオーディオストリームのセグメントファイルを生成する。また、セグメントファイル生成部３３は、符号化部３２から供給されるビデオストリームのセグメントファイルを生成する。そして、セグメントファイル生成部３３は、生成されたセグメントファイルをアップロード部３５に供給し、処理をステップＳ１３７に進める。
　ステップＳ１３７乃至Ｓ１４２の処理は、図１２のステップＳ６５乃至Ｓ７０の処理と同一であるので、説明は省略する。
　なお、図示は省略するが、第３実施の形態におけるストリーミング再生部６０のMPDファイル更新処理は、セグメントファイル取得部６３が取得したメディアセグメントファイルに図１６のemsgボックスが含まれているとき、５秒後に、MPD取得部６１がMPDファイルを取得する処理である。第３実施の形態では、presentation_time_deltaは５であるが、勿論、これに限定されない。
　また、第３実施の形態におけるストリーミング再生部６０の再生処理は、図１４の再生処理と同一であり、MPDファイル更新処理と並列して行われる。
　以上のように、第３実施の形態では、動画再生端末１４が、emsgボックスを含むメディアセグメントファイルを取得した場合にのみ、MPDファイルを取得すればよいため、符号化ストリームの取得以外のHTTPオーバーヘッドの増加を抑制することができる。
　＜第４実施の形態＞
　（emsgボックスの記述例）
　本開示を適用した情報処理システムの第４実施の形態は、主に、MPDファイルを更新するのではなく、MPDファイルの更新情報（更新前後の差分情報）としてAveBandwidthとDurationForAveBandwidthの更新値を格納するemsgボックスをオーディオストリームのセグメントファイルに配置する点が、第３実施の形態と異なる。
　即ち、第４実施の形態では、AveBandwidthとDurationForAveBandwidthの初期値がMPDファイルに含まれ、AveBandwidthとDurationForAveBandwidthの更新値は、オーディオストリームのセグメントファイルに含まれる。従って、以下では、AveBandwidthとDurationForAveBandwidthの更新値を格納するemsgボックス、ファイル生成処理、MPDファイル更新処理、再生処理についてのみ説明する。
　図１８は、第４実施の形態におけるAveBandwidthとDurationForAveBandwidthの更新値を格納するemsgボックスの記述例を示す図である。
　図１８のemsgボックスでは、string valueは、MPDファイルの更新情報の送信を示す２である。また、presentation_time_deltaには、このemsgボックスが配置されるメディアセグメントファイルの再生時刻から、MPDファイルの更新情報の送信が行われる再生時刻までの時間として０が設定される。これにより、動画再生端末１４は、このemsgボックスが配置されるメディアセグメントファイルにMPDファイルの更新情報が配置されることを認識することができる。
　event_durationは、図１６の場合と同様に「0xFFFF」である。また、message_dataは、MPDファイルの更新情報であるAveBandwidthとDurationForAveBandwidthの更新値のXMLデータである。
　（ファイル生成装置の処理の説明）
　図１９は、第４実施の形態におけるファイル生成装置１１のファイル生成処理を説明するフローチャートである。このファイル生成処理は、オーディオストリームの符号化方式の少なくとも１つがlosslessDSD方式である場合に行われる。
　図１９のステップＳ１６０において、ファイル生成装置１１のMPDファイル生成部３４は、MPDファイルを生成する。このMPDファイルは、プロファイルが、メディアセグメントファイルに図１６や図１８のemsgボックスが配置されることを示すプロファイルに代わる点を除いて、第３実施の形態におけるMPDファイルと同一である。MPDファイル生成部３４は、生成されたMPDファイルをアップロード部３５に供給する。
　ステップＳ１６１乃至Ｓ１６４の処理は、図１７のステップＳ１３１乃至Ｓ１３４の処理と同様であるので、説明は省略する。
　ステップＳ１６４でMPDファイルの更新時刻の５秒前ではないと判定された場合、処理はステップＳ１６５に進む。ステップＳ１６５乃至Ｓ１６７の処理は、図１７のステップＳ１３８乃至Ｓ１４０の処理と同様であるので、説明は省略する。
　ステップＳ１６８において、セグメントファイル生成部３３は、ステップＳ１６７で算出された平均値をAveBandwidthの更新値として含み、その平均値に対応する期間をDurationForAveBandwidthの更新値として含む図１８のemsgボックスを含む、符号化部３２から供給されるオーディオストリームのセグメントファイルを生成する。また、セグメントファイル生成部３３は、符号化部３２から供給されるビデオストリームのセグメントファイルを生成する。そして、セグメントファイル生成部３３は、生成されたセグメントファイルをアップロード部３５に供給し、処理をステップＳ１７２に進める。
　一方、ステップＳ１６６でまだMPDファイルの更新時刻の１秒前の再生時刻のオーディオストリームの実際のビットレートまで積算されていないと判定された場合、処理はステップＳ１６９に進む。
　ステップＳ１６９において、セグメントファイル生成部３３は、図１６のemsgボックスと図１８のemsgボックスを含まない、符号化部３２から供給されるオーディオストリームのセグメントファイルを生成する。また、セグメントファイル生成部３３は、符号化部３２から供給されるビデオストリームのセグメントファイルを生成する。そして、セグメントファイル生成部３３は、生成されたセグメントファイルをアップロード部３５に供給し、処理をステップＳ１７２に進める。
　一方、ステップＳ１６４で更新時刻の５秒前であると判定された場合、ステップＳ１７０において、セグメントファイル生成部３３は、図１６の更新通知情報を格納するemsgボックスを含む、符号化部３２から供給されるオーディオストリームのセグメントファイルを生成する。また、セグメントファイル生成部３３は、符号化部３２から供給されるビデオストリームのセグメントファイルを生成する。そして、セグメントファイル生成部３３は、生成されたセグメントファイルをアップロード部３５に供給する。
　ステップＳ１７１において、MPDファイル生成部３４は、オーディオストリームの実際のビットレートを、保持されている積算値に積算し、その結果得られる積算値を保持し、処理をステップＳ１７２に進める。
　ステップＳ１７２において、アップロード部３５は、セグメントファイル生成部３３から供給されるセグメントファイルを、Webサーバ１２にアップロードする。
　ステップＳ１７３の処理は、図１７のステップＳ１４２の処理と同様であるので、説明は省略する。
　なお、図示は省略するが、第４実施の形態におけるストリーミング再生部６０のMPDファイル更新処理は、セグメントファイル取得部６３が取得したメディアセグメントファイルに図１６のemsgボックスが含まれているとき、５秒後のメディアセグメントファイルの図１８のemsgボックスからAveBandwidthとDurationForAveBandwidthの更新値を取得し、MPDファイルを更新する処理である。
　また、第４実施の形態におけるストリーミング再生部６０の再生処理は、図１４の再生処理と同一であり、MPDファイル更新処理と並列して行われる。
　以上のように、第４実施の形態では、AveBandwidthとDurationForAveBandwidthの更新値のみが動画再生端末１４に伝送される。従って、AveBandwidthとDurationForAveBandwidthを更新するために必要な伝送量を削減することができる。また、MPD処理部６２は、更新後のMPDファイルについてはAveBandwidthとDurationForAveBandwidthに関する記述のみを解析すればよいため、解析負荷が軽減される。
　また、第４実施の形態では、AveBandwidthとDurationForAveBandwidthの更新値がオーディオストリームのセグメントファイルに格納されるため、MPDファイルが更新されるたびにMPDファイルを取得する必要がない。従って、符号化ストリームの取得以外のHTTPオーバーヘッドの増加を抑制することができる。
　＜第５実施の形態＞
　（emsgボックスの記述例）
　本開示を適用した情報処理システムの第５実施の形態は、主に、AveBandwidthとDurationForAveBandwidthの初期値がMPDファイルに記述されない点、および、更新通知情報を格納するemsgボックスがオーディオストリームのセグメントファイルに配置されない点が、第４実施の形態と異なる。従って、以下では、AveBandwidthとDurationForAveBandwidthを格納するemsgボックス、ファイル生成処理、AveBandwidthとDurationForAveBandwidthの更新処理、再生処理についてのみ説明する。
　図２０は、第５実施の形態におけるAveBandwidthとDurationForAveBandwidthを格納するemsgボックスの記述例を示す図である。
　図２０のemsgボックスでは、string valueは、AveBandwidthとDurationForAveBandwidthの送信を示す３である。また、presentation_time_deltaには、このemsgボックスが配置されるメディアセグメントファイルの再生時刻から、AveBandwidthとDurationForAveBandwidthの送信が行われる再生時刻までの時間として０が設定される。これにより、動画再生端末１４は、このemsgボックスが配置されるメディアセグメントファイルにAveBandwidthとDurationForAveBandwidthが配置されることを認識することができる。
　event_durationは、図１６の場合と同様に「0xFFFF」である。また、message_dataは、AveBandwidthとDurationForAveBandwidthのXMLデータである。
　ファイル生成装置１１は、オーディオストリームのメディアセグメントファイルへの図２０のemsgボックスの配置頻度を変更するだけで、AveBandwidthとDurationForAveBandwidthの更新頻度を容易に変更することができる。
　なお、図示は省略するが、第５実施の形態におけるファイル生成装置１１のファイル生成処理は、主に、ステップＳ１６４，Ｓ１７０、およびＳ１７１の処理が行われない点、および、図１８のemsgボックスが図２０のemsgボックスに代わる点を除いて、図１９のファイル生成処理と同様である。
　但し、第５実施の形態におけるMPDファイルにはAveBandwidthとDurationForAveBandwidthが記述されない。また、MPDファイルに記述されるプロファイルは、セグメントファイルに図２０のemsgが配置されることを示すプロファイルであり、例えば、「urn:mpeg:dash:profile:isoff-dynamic-bandwidth:2015」である。
　また、図示は省略するが、第５実施の形態におけるストリーミング再生部６０のAveBandwidthとDurationForAveBandwidthの更新処理は、第４実施の形態におけるMPDファイル更新処理の代わりに行われる。AveBandwidthとDurationForAveBandwidthの更新処理は、セグメントファイル取得部６３が取得したメディアセグメントファイルに図２０のemsgボックスが含まれているとき、そのemsgボックスからAveBandwidthとDurationForAveBandwidthを取得し、AveBandwidthとDurationForAveBandwidthを更新する処理である。
　また、第５実施の形態におけるストリーミング再生部６０の再生処理は、ステップＳ１１１における選択用ビットレートのうちのAveBandwidthが、MPD処理部６２から供給されるのではなく、セグメントファイル取得部６３自らが更新したものである点を除いて、図１４の再生処理と同一である。この再生処理は、AveBandwidthとDurationForAveBandwidthの更新処理と並列して行われる。
　以上のように、第５実施の形態では、AveBandwidthとDurationForAveBandwidthがemsgボックスに配置されるので、AveBandwidthとDurationForAveBandwidth が更新されるたびにMPDファイルを解析する必要がない。
　なお、AveBandwidthとDurationForAveBandwidthは、emsgボックスに格納するのではなく、HTTP2.0やWebSocketなどの他の規格に準拠して、Webサーバ１２から定期的に送信されるようにしてもよい。この場合も、第５実施の形態と同様の効果が得られる。
　また、第５実施の形態において、第３実施の形態のように、更新通知情報を格納するemsgボックスがセグメントファイルに配置されてもよい。
　＜第６実施の形態＞
　（MPDファイルの記述例）
　本開示を適用した情報処理システムの第６実施の形態は、主に、AveBandwidthとDurationForAveBandwidthのXMLデータが、オーディオストリームのセグメントファイルとは異なるセグメントファイルに配置される点が、第５実施の形態と異なる。従って、以下では、AveBandwidthとDurationForAveBandwidthを格納するセグメントファイル（以下、帯域セグメントファイルという）、ファイル生成処理、AveBandwidthとDurationForAveBandwidthの更新処理、再生処理についてのみ説明する。
　図２１は、第６実施の形態におけるMPDファイルの記述例を示す図である。
　なお、図２１では、説明の便宜上、MPDファイルの記述のうちの、帯域セグメントファイルを管理する記述のみを図示している。
　図２１に示すように、帯域セグメントファイルのアダプテーションセット要素は、<SupplementalProperty schemeIdUri="urn:mpeg:dash:bandwidth:2015">を有する点が、図４のオーディオストリームのアダプテーションセット要素と異なっている。
　<SupplementalProperty schemeIdUri="urn:mpeg:dash:bandwidth:2015">は、帯域セグメントファイルの更新間隔を示すディスクリプタである。<SupplementalProperty schemeIdUri="urn:mpeg:dash:bandwidth:2015">の値（value）としては、更新間隔と、帯域セグメントファイルの名前のベースであるfile URLが設定される。図２１の例では、更新間隔が基準期間ΔＴとされ、file URLが「$Bandwidth$bandwidth.info」とされる。従って、帯域セグメントファイルの名前のベースは、リプレゼンテーション要素が有するBandwidthに「bandwidth」を付加したものである。
　また、図２１の例では、帯域セグメントファイルに対応する３種類のオーディオストリームの最大ビットレートは、2.8Mbps,5.6Mbps、および11.2Mbpsである。従って、３つのリプレゼンテーション要素は、それぞれ、2800000,5600000,11200000をBandwidthとして有する。従って、図２１の例では、帯域セグメントファイルの名前のベースが、2800000bandwidth.info,5600000bandwidth.info、および11200000 bandwidth.infoである。
　リプレゼンテーション要素に含まれるセグメントインフォ要素は、そのリプレゼンテーションに対応する帯域セグメントファイル群の各帯域セグメントファイルに関する情報を有する。
　以上のように、第６実施の形態では、MPDファイルに更新間隔が記述される。従って、MPDファイルに記述される更新間隔と、帯域セグメントファイルの更新間隔を変更するだけで、AveBandwidthとDurationForAveBandwidthの更新頻度を容易に変更することができる。
　なお、図示は省略するが、第６実施の形態におけるファイル生成装置１１のファイル生成処理は、ステップＳ６０で生成されるMPDファイルが図２１のMPDファイルである点、および、ステップＳ６９でMPDファイルが更新されずにセグメントファイル生成部３３により帯域セグメントファイルが生成され、アップロード部３５を介してWebサーバ１２にアップロードされる点を除いて、図１２のファイル生成処理と同様である。
　また、第６実施の形態におけるストリーミング再生部６０におけるAveBandwidthとDurationForAveBandwidthの更新処理は、ステップＳ９３とステップＳ９４の間でセグメントファイル取得部６３が帯域セグメントファイルを取得してAveBandwidthとDurationForAveBandwidthを更新する点、および、ステップＳ９４で終了しないと判定された場合処理はステップＳ９３に戻る点を除いて、図１３のMPDファイル更新処理と同様である。
　さらに、第６実施の形態のストリーミング再生部６０の再生処理は、ステップＳ１１１における選択用ビットレートのうちのAveBandwidthが、MPD処理部６２から供給されるのではなく、セグメントファイル取得部６３が自ら更新したものである点を除いて、図１４の再生処理と同一である。この再生処理は、AveBandwidthとDurationForAveBandwidthの更新処理と並列して行われる。
　以上のように、第６実施の形態では、AveBandwidthとDurationForAveBandwidthが帯域セグメントファイルに配置されるので、AveBandwidthとDurationForAveBandwidth が更新されるたびにMPDファイルを解析する必要がない。
　＜第７実施の形態＞
　（MPDファイルの第１の記述例）
　本開示を適用した情報処理システムの第７実施の形態は、MPDファイルの構成、およびオーディオストリームのセグメントファイルの実際のビットレートが所定の範囲内になるように、オーディオストリームのセグメント長が可変にされる点が、第２実施の形態と異なる。従って、以下では、MPDファイルの構成およびセグメントファイルについてのみ説明する。
　図２２は、第７実施の形態におけるMPDファイルの第１の記述例を示す図である。
　図２２のMPDファイルの記述は、オーディオストリームのセグメントファイルのアダプテーションセット要素が、各セグメントファイルのセグメント長を示すConsecutiveSegmentInformationを有する点が、図１０の構成と異なる。
　図２２の例では、セグメント長が基準の時間としての固定のセグメント長の正の倍数で変化する。具体的には、セグメントファイルは、固定のセグメント長の１以上のセグメントファイルが連結されることにより構成される。
　従って、ConsecutiveSegmentInformationの値(Value)として、MaxConsecutiveNumberが記述され、その後、FirstSegmentNumberとConsecutiveNumbersが順に繰り返し記述される。
　MaxConsecutiveNumberは、固定のセグメント長のセグメントファイルの最大の連結数を示す情報である。固定のセグメント長は、オーディオストリームのセグメントファイルのアダプテーションセット要素が有するSegment Templateのtimescaleとdurationに基づいて設定される。図２２の例では、timescaleが44100であり、durationが88200であるので、固定のセグメント長は２秒である。
　FirstSegmentNumberは、長さが同一である連続するセグメント群の先頭のセグメントの先頭からの数、即ち、セグメントの長さが同一である連続するセグメントファイル群の先頭のセグメントファイルの名前に含まれる番号である。ConsecutiveNumbersは、直前のFirstSegmentNumberに対応するセグメント群のセグメント長が固定のセグメント長の何倍であるかを示す情報である。
　図２２の例では、ConsecutiveSegmentInformationの値が、2,1,1,11,2,31,1である。従って、固定のセグメント長の最大の連結数は２である。また、Bandwidthが2800000であるリプレゼンテーション要素に対応する、最大ビットレートが2.8Mbpsであり、ファイル名が「2800000-1.mp4」である先頭から１番目のメディアセグメントファイルは、ファイル名が「2800000-1.mp4」である固定セグメント長のメディアセグメントファイルが１つ連結したものである。従って、ファイル名が「2800000-1.mp4」であるメディアセグメントファイルのセグメント長は、固定セグメント長の１倍である２秒である。
　同様に、ファイル名が「2800000-2.mp4」乃至「2800000-10.mp4」である先頭から２乃至１０番目のメディアセグメントファイルも、それぞれ、ファイル名が「2800000-2.mp4」乃至「2800000-10.mp4」である固定セグメント長のメディアセグメントファイルが１つ連結したものであり、セグメント長は２秒である。
　また、ファイル名が「2800000-11.mp4」である先頭から１１番目のメディアセグメントファイルは、ファイル名が「2800000-11.mp4」および「2800000-12.mp4」である２つの固定セグメント長のメディアセグメントファイルが連結したものである。従って、ファイル名が「2800000-11.mp4」であるメディアセグメントファイルのセグメント長は、固定セグメント長の２倍である４秒である。また、ファイル名が「2800000-11.mp4」であるメディアセグメントファイルに連結されたメディアセグメントファイルのファイル名「2800000-12.mp4」は欠番とされる。
　同様に、ファイル名が「2800000-13.mp4」,「2800000-15.mp4」，...,「2800000-29.mp4」である先頭から１２乃至１９番目のメディアセグメントファイルも、固定セグメント長のメディアセグメントファイルが２つ連結したものであり、セグメント長は４秒である。
　さらに、ファイル名が「2800000-31.mp4」である先頭から２０番目のメディアセグメントファイルは、ファイル名が「2800000-31.mp4」である１つの固定セグメント長のメディアセグメントファイルが連結したものである。従って、ファイル名が「2800000-31.mp4」であるメディアセグメントファイルのセグメント長は、固定セグメント長の１倍である２秒である。
　Bandwidthが5600000,11200000であるリプレゼンテーション要素に対応する最大ビットレートが5.6Mbps,11.2Mbpsであるメディアセグメントファイルの構成は、最大ビットレートが2.8Mbpsであるメディアセグメントファイルの構成と同様であるので、説明は省略する。
　（MPDファイルの第２の記述例）
　図２３は、第７実施の形態におけるMPDファイルの第２の記述例を示す図である。
　図２３のMPDファイルの構成は、Segment Templateにtimescaleとdurationが記述されない点、および、オーディオストリームのセグメントファイルのアダプテーションセット要素がSegmentDurationを有する点が、図１０の構成と異なる。
　図２３の例では、セグメント長が任意の時間に変化する。従って、SegmentDurationとして、timescaleとdurationが記述される。timescaleは、１秒を表す値であり、図２３の例では、44100が設定される。
　また、durationとしては、FirstSegmentNumberとSegmentDurationが順に繰り返し記述される。FirstSegmentNumberは、図２２のFirstSegmentNumberと同一である。SegmentDurationは、timescaleを１秒としたときの、直前のFirstSegmentNumberに対応するセグメント群のセグメント長の値である。
　図２３の例では、SegmentDurationの値が、1,88200,11,44100,15,88200である。従って、Bandwidthが2800000であるリプレゼンテーション要素に対応する、最大ビットレートが2.8Mbpsであり、ファイル名が「2800000-1.mp4」である先頭から１番目のメディアセグメントファイルのセグメント長は、２秒（=88200/44100）である。同様に、ファイル名が「2800000-2.mp4」乃至「2800000-10.mp4」である先頭から２乃至１０番目のメディアセグメントファイルのセグメント長も２秒である。
　また、ファイル名が「2800000-11.mp4」である先頭から１１番目のメディアセグメントファイルのセグメント長は、１秒（=44100/44100）である。同様に、ファイル名が「2800000-12.mp4」乃至「2800000-14.mp4」である先頭から１２乃至１４番目のメディアセグメントファイルのセグメント長も１秒である。
　さらに、ファイル名が「2800000-15.mp4」である先頭から１５番目のメディアセグメントファイルのセグメント長は、２秒（=88200/44100）である。
　Bandwidthが5600000,11200000であるリプレゼンテーション要素に対応する最大ビットレートが5.6Mbps,11.2Mbpsであるメディアセグメントファイルの構成は、2.8Mbpsであるメディアセグメントファイルの構成と同様であるので、説明は省略する。
　以上のように、図２３の例では、オーディオストリームのメディアセグメントファイルのファイル名の欠番はない。
　なお、第７実施の形態では、セグメントファイル生成部３３は、オーディオストリームの実際のビットレートまたは実際のビットレートの平均値に基づいて、そのビットレートが所定の範囲内になるようにセグメント長を決定する。また、第７実施の形態では、セグメントファイルはライブ配信されるので、オーディオストリームの生成とともにセグメント長は変化する。従って、動画再生端末１４は、セグメント長が変更されるたびにMPDファイルを取得して更新する必要がある。
　第７実施の形態では、セグメント長の変更タイミングは、オーディオストリームの実際のビットレートの平均値の算出タイミングと同一であるものとするが、異なるようにしてもよい。両方のタイミングが異なる場合、セグメント長の更新間隔や更新時刻を示す情報が動画再生端末１４に伝送され、動画再生端末１４は、その情報に基づいてMPDファイルを更新する。
　（セグメントファイルの構成例）
　図２４は、第７実施の形態におけるlosslessDSD方式のオーディオストリームのメディアセグメントファイルの構成例を示す図である。
　図２４のＡのメディアセグメントファイルの構成は、Movie fragmentが、固定のセグメント長ではなく、可変のセグメント長分存在する点、および、emsgボックスが設けられない点が、図１５の構成と異なる。
　なお、図２２の例のように、メディアセグメントファイルが、固定のセグメント長の１以上のメディアセグメントファイルが連結されることにより構成される場合、メディアセグメントファイルは、図２４のＢに示すように、１以上の固定のセグメント長のメディアセグメントファイルを単に連結することにより構成されるようにしてもよい。この場合、stypボックスとsidxボックスは、連結するメディアセグメントファイルの数だけ存在する。
　以上のように、第７実施の形態では、オーディオストリームのセグメントファイルの実際のビットレートが所定の範囲内になるように、オーディオストリームのセグメント長が可変にされる。従って、オーディオストリームの実際のビットレートが小さい場合であっても、動画再生端末１４は、セグメント単位でセグメントファイルを取得することにより、所定の範囲内のビットレートでオーディオストリームを取得することができる。
　これに対して、セグメント長が固定である場合、オーディオストリームの実際のビットレートが小さいと、１回のセグメント単位のセグメントファイルの取得で取得されるオーディオストリームのビット量が少なくなる。その結果、ビット量あたりのHTTPオーバーヘッドが増加する。
　なお、各セグメントファイルのセグメント長を示す情報は、第３乃至第６実施の形態におけるAveBandwidthおよびDurationForAveBandwidthと同様に、動画再生端末１４に送信されるようにしてもよい。また、各セグメントファイルのセグメント長を示すファイルがMPDファイルとは別に生成され、動画再生端末１４に送信されるようにしてもよい。
　さらに、第３乃至第６実施の形態においても、第７実施の形態と同様にセグメント長が可変にされるようにしてもよい。
　＜losslessDSD方式の説明＞
　（可逆圧縮符号化部の構成例）
　図２５は、図３の取得部３１と符号化部３２のうちの、オーディオアナログ信号をA/D変換し、losslessDSD方式で符号化する可逆圧縮符号化部の構成例を示すブロック図である。
　図２５の可逆圧縮符号化部１００は、入力部１１１、ADC１１２、入力バッファ１１３、制御部１１４、エンコード部１１５、符号化データバッファ１１６、データ量比較部１１７、データ送信部１１８、および出力部１１９により構成される。可逆圧縮符号化部１００は、オーディオアナログ信号をDSD方式でオーディオデジタル信号に変換し、変換後のオーディオデジタル信号を可逆圧縮符号化して出力する。
　具体的には、動画コンテンツのオーディオアナログ信号は、入力部１１１から入力されて、ADC１１２へ供給される。
　ADC１１２は、加算器１２１、積分器１２２、比較器１２３、１サンプル遅延回路１２４、および１ビットDAC１２５により構成され、オーディオアナログ信号をDSD方式でオーディオデジタル信号に変換する。
　即ち、入力部１１１から供給されたオーディオアナログ信号は、加算器１２１に供給される。加算器１２１は、１ビットDAC１２５から供給された１サンプル期間前のオーディオアナログ信号と、入力部１１１からのオーディオアナログ信号を加算して、積分器１２２に出力する。
　積分器１２２は、加算器１２１からのオーディオアナログ信号を積分して比較器１２３に出力する。比較器１２３は、１サンプル期間ごとに、積分器１２２から供給されるオーディオアナログ信号の積分値と中点電位とを比較することにより、１ビット量子化を行う。
　なお、ここでは、比較器１２３が、１ビット量子化を行うものとするが、２ビット量子化や４ビット量子化などを行うようにしてもよい。また、サンプル期間の周波数（サンプリング周波数）としては、例えば、４８ｋHz、４４．１ｋHzの６４倍や１２８倍の周波数が用いられる。比較器１２３は、１ビット量子化により得られた１ビットのオーディオデジタル信号を、入力バッファ１１３に出力するとともに、１サンプル遅延回路１２４に供給する。
　１サンプル遅延回路１２４は、比較器１２３からの１ビットのオーディオデジタル信号を１サンプル期間分遅延させて１ビットDAC１２５に出力する。１ビットDAC１２５は、１サンプル遅延回路１２４からのオーディオデジタル信号をオーディオアナログ信号に変換して加算器１２１に出力する。
　入力バッファ１１３は、ADC１１２から供給される１ビットのオーディオデジタル信号を一時蓄積し、１フレーム単位で、制御部１１４、エンコード部１１５、およびデータ量比較部１１７に供給する。ここで、１フレームとは、オーディオデジタル信号を所定の時間（期間）に区切って１まとまりとみなす単位である。
　制御部１１４は、可逆圧縮符号化部１００全体の動作を制御する。また、制御部１１４は、エンコード部１１５が可逆圧縮符号化を行うために必要となる変換テーブルtable1を作成して、エンコード部１１５に供給する機能を有する。
　具体的には、制御部１１４は、入力バッファ１１３から供給される１フレームのオーディオデジタル信号を用いて、フレーム単位でデータ発生カウントテーブルpre_tableを作成し、データ発生カウントテーブルpre_tableからさらに変換テーブルtable1を作成する。制御部１１４は、フレーム単位で作成した変換テーブルtable1を、エンコード部１１５とデータ送信部１１８に供給する。
　エンコード部１１５は、制御部１１４から供給された変換テーブルtable1を用いて、入力バッファ１１３から供給されるオーディオデジタル信号を、４ビット単位で可逆圧縮符号化する。従って、エンコード部１１５には入力バッファ１１３から、制御部１１４に供給されるタイミングと同時にオーディオデジタル信号が供給されるが、エンコード部１１５では、制御部１１４から変換テーブルtable1が供給されるまで処理は待機される。
　可逆圧縮符号化の詳細は後述するが、エンコード部１１５は、４ビットのオーディオデジタル信号を、２ビットのオーディオデジタル信号に可逆圧縮符号化するか、または、６ビットのオーディオデジタル信号に可逆圧縮符号化して、符号化データバッファ１１６に出力する。
　符号化データバッファ１１６は、エンコード部１１５で可逆圧縮符号化の結果生成されたオーディオデジタル信号を一時的にバッファリングし、データ量比較部１１７とデータ送信部１１８に供給する。
　データ量比較部１１７は、入力バッファ１１３から供給される可逆圧縮符号化されていないオーディオデジタル信号と、符号化データバッファ１１６から供給される可逆圧縮符号化されたオーディオデジタル信号のデータ量を、フレーム単位で比較する。
　即ち、エンコード部１１５は、上述したように、４ビットのオーディオデジタル信号を、２ビットのオーディオデジタル信号か、または６ビットのオーディオデジタル信号に可逆圧縮符号化するため、アルゴリズム上、可逆圧縮符号化後のオーディオデジタル信号のデータ量が、可逆圧縮符号化前のオーディオデジタル信号のデータ量を超えてしまう場合がある。そこで、データ量比較部１１７は、可逆圧縮符号化後のオーディオデジタル信号と可逆圧縮符号化前のオーディオデジタル信号のデータ量を比較する。
　そして、データ量比較部１１７は、データ量の少ない方を選択し、どちらを選択したかを示す選択制御データをデータ送信部１１８に供給する。なお、データ量比較部１１７は、可逆圧縮符号化前のオーディオデジタル信号を選択したことを示す選択制御データをデータ送信部１１８に供給する場合には、可逆圧縮符号化前のオーディオデジタル信号もデータ送信部１１８に供給する。
　データ送信部１１８は、データ量比較部１１７から供給される選択制御データに基づいて、符号化データバッファ１１６から供給されるオーディオデジタル信号か、または、データ量比較部１１７から供給されるオーディオデジタル信号のどちらかを選択する。データ送信部１１８は、符号化データバッファ１１６から供給される可逆圧縮符号化されたオーディオデジタル信号を選択した場合、そのオーディオデジタル信号、選択制御データ、および制御部１１４から供給される変換テーブルtable1からオーディオストリームを生成する。一方、データ送信部１１８は、データ量比較部１１７から供給される可逆圧縮符号化されていないオーディオデジタル信号を選択した場合、そのオーディオデジタル信号と選択制御データから、オーディオストリームを生成する。そして、データ送信部１１８は、生成されたオーディオストリームを、出力部１１９を介して出力する。なお、データ送信部１１８は、所定数のサンプルごとのオーディオデジタル信号に同期信号と誤り訂正符号（ECC）を付加してオーディオストリームを生成することもできる。
　（データ発生カウントテーブルの例）
　図２６は、図２５の制御部１１４により生成されるデータ発生カウントテーブルの例を示す図である。
　制御部１１４は、入力バッファ１１３から供給されるフレーム単位のオーディオデジタル信号を４ビット単位で分割する。以下では、分割された先頭からｉ番目（ｉは１より大きい整数）の４ビット単位のオーディオデジタル信号をD4データD4[i]という。
　制御部１１４は、フレームごとに、先頭からｎ番目（ｎ＞３）のD4データD4[n]を順に処理対象のD4データとする。制御部１１４は、処理対象のD4データD4[n]の直近の過去の３つのD4データD4[n-3],D4[n-2],D4[n-1]のパターンごとに、処理対象のD4データD4[n]の発生回数をカウントし、図２６に示すデータ発生カウントテーブルpre_table[4096][16]を作成する。ここで、データ発生カウントテーブルpre_table[4096][16]の[4096]と[16]は、データ発生カウントテーブルが４０９６行１６列のテーブル（行列）であることを表し、[0]乃至[4095]の各行は、過去の３つのD4データD4[n-3],D4[n-2],D4[n-1]がとり得る値に対応し、[0]乃至[15]の各列は、処理対象のD4データD4[n]がとり得る値に対応する。
　具体的には、データ発生カウントテーブルpre_tableの１行目であるpre_table[0][0]乃至[0][15]は、過去の３つのD4データD4[n-3],D4[n-2],D4[n-1]が“０”=｛0000,0000,0000｝だった時の処理対象のD4データD4[n]の発生回数を示している。図２６の例では、過去の３つのD4データD4[n-3],D4[n-2],D4[n-1]が“０”であり、処理対象のD4データD4[n]が“０”であった回数が369a(HEX表記)であり、過去の３つのD4データD4[n-3],D4[n-2],D4[n-1]が“０”であり、処理対象のD4データD4[n]が“０”以外であった回数が０である。従って、pre_table[0][0]乃至[0][15]は、｛369a,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0｝である。
　データ発生カウントテーブルpre_tableの２行目であるpre_table[1][0]乃至[1][15]は、過去の３つのD4データD4[n-3],D4[n-2],D4[n-1]が“１”=｛0000,0000,0001｝だった時の処理対象のD4データD4[n]の発生回数を示している。図２６の例では、過去の３つのD4データD4[n-3],D4[n-2],D4[n-1]が“１”となるパターンは１フレーム内に存在しない。従って、pre_table[1][0]乃至[1][15]は、｛0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0｝である。
　また、データ発生カウントテーブルpre_tableの１１８行目であるpre_table[117][0]乃至[117][15]は、過去の３つのD4データD4[n-3],D4[n-2],D4[n-1]が“１１７”=｛0000,0111,0101｝だった時の処理対象のD4データD4[n]の発生回数を示している。図２６の例では、過去の３つのD4データD4[n-3],D4[n-2],D4[n-1]が“１１７”であり、処理対象のD4データD4[n]が“０”であった回数が０回であり、“１”であった回数が１回であり、“２”であった回数が１０回であり、“３”であった回数が１８回であり、“４”であった回数が２０回であり、“５”であった回数が３１回であり、“６”であった回数が１１回であり、“７”であった回数が０回であり、“８”であった回数が４回であり、“９”であった回数が１２回であり、“１０”であった回数が５回であり、“１１”乃至“１５”であった回数が０回であったことを示している。従って、pre_table[117][0]乃至[117][15]は、｛0,1,10,18,20,31,11,0,4,12,5,0,0,0,0,0｝である。
　（変換テーブルの例）
　図２７は、図２５の制御部１１４により生成される変換テーブルtable1の例を示す図である。
　制御部１１４は、先に作成したデータ発生カウントテーブルpre_tableに基づいて、４０９６行３列の変換テーブルtable1[4096][3]を作成する。ここで、変換テーブルtable1[4096][3]の各行[0]乃至[4095]は、過去の３つのD4データD4[n-3],D4[n-2],D4[n-1]がとり得る値に対応し、各列[0]乃至[2]には、処理対象のD4データD4[n]がとり得る１６個の値のうち、発生頻度が大きかった３つの値が格納される。変換テーブルtable1[4096][3]の第１列[0]には、発生頻度が最も大きい（１番目の）値が格納され、第２列[1]には、発生頻度が２番目の値が格納され、第３列[2]には、発生頻度が３番目の値が格納される。
　具体的には、制御部１１４が、図２６のデータ発生カウントテーブルpre_tableに基づいて変換テーブルtable1[4096][3]を生成する場合、図２７に示すように、変換テーブルtable1[4096][3]の１１８行目であるtable1[117][0]乃至[117][2]は、{05,04,03}となる。即ち、図２６のデータ発生カウントテーブルpre_tableの１１８行目のpre_table[117][0]乃至[117][15]では、発生頻度が最も大きい（１番目の）値は、３１回発生した“５”であり、発生頻度が２番目の値は、２０回発生した“４”であり、発生頻度が３番目の値は、１８回発生した“３”である。従って、変換テーブルtable1[4096][3]の第１１８行第１列table1[117][0]には、｛05｝が格納され、第１１８行第２列table1[117][1]には、｛04｝が格納され、第１１８行第３列table1[117][2]には、｛03｝が格納される。
　同様に、変換テーブルtable1[4096][3]の１行目のtable1[0][0]乃至[0][2]は、図２６のデータ発生カウントテーブルpre_tableの１行目のpre_table[0][0]乃至[0][15]に基づいて生成される。即ち、図２６のデータ発生カウントテーブルpre_tableの１行目のpre_table[0][0]乃至[0][15]では、発生頻度が最も大きい（１番目の）値は、３６９ａ(HEX表記)回発生した“０”であり、それ以外の値は発生していない。そこで、変換テーブルtable1[4096][3]の第１行第１列table1[0][0]には、｛00｝が格納され、第１行第２列table1[0][1]と第１行第３列table1[0][2]には、データが存在しないことを表す｛ff｝が格納される。データが存在しないことを表す値は、｛ff｝に限られず、適宜決定することができる。変換テーブルtable1の各要素に格納される値は、“０”から“１５”までのいずれかであるので、４ビットで表現できるが、コンピュータ処理上、扱いを容易にするために８ビットで表現されている。
　（可逆圧縮符号化の説明）
　次に、図２５のエンコード部１１５による、変換テーブルtable1を用いた圧縮符号化方法について説明する。
　エンコード部１１５は、制御部１１４と同様に、入力バッファ１１３から供給されるフレーム単位のオーディオデジタル信号を４ビット単位で分割する。制御部１１４は、先頭からｎ番目のD4データD4[n]を可逆圧縮符号化する場合、変換テーブルtable1[4096][3]の、直近の過去の３つのD4データD4[n-3],D4[n-2],D4[n-1]に対応する行の３つの値を検索する。エンコード部１１５は、可逆圧縮符号化対象のD4データD4[n]が、変換テーブルtable1[4096][3]の、直近の過去の３つのD4データD4[n-3],D4[n-2],D4[n-1]に対応する行の１列目の値と同一である場合、２ビットの値“01b”をD4データD4[n]の可逆圧縮符号化結果として生成する。また、エンコード部１１５は、可逆圧縮符号化対象のD4データD4[n]が、変換テーブルtable1[4096][3]の、直近の過去の３つのD4データD4[n-3],D4[n-2],D4[n-1]に対応する行の２列目の値と同一である場合、２ビットの値“10b”をD4データD4[n]の可逆圧縮符号化結果として生成し、３列目の値と同一である場合、２ビットの値“11b”をD4データD4[n]の可逆圧縮符号化結果として生成する。
　一方、エンコード部１１５は、変換テーブルtable1[4096][3]の、直近の過去の３つのD4データD4[n-3],D4[n-2],D4[n-1]に対応する行の３つの値の中に可逆圧縮符号化対象のD4データD4[n]と同一の値が存在しない場合、そのD4データD4[n]の前に“00b”をつけた６ビットの値“00b+ D4[n]”をD4データD4[n]の可逆圧縮符号化結果として生成する。ここで、“01b”、“10b”、“11b”、“00b+ D4[n]”のbは、２進表記であることを表す。
　以上のようにして、エンコード部１１５は、変換テーブルtable1を用いて、４ビットのDSDデータD4[n]を、２ビットの値“01b”、“10b”、もしくは“11b”に変換するか、または、６ビットの値“00b+D4[n]”に変換し、可逆圧縮符号化結果とする。エンコード部１１５は、可逆圧縮符号化結果を、可逆圧縮符号化されたオーディオデジタル信号として、符号化データバッファ１１６に出力する。
　（可逆圧縮復号部の構成例＞
　図２８は、図７の復号部６６と出力制御部６７のうちの、オーディオストリームをlosslessDSD方式で復号し、D/A変換する可逆圧縮復号部の構成例を示すブロック図である。
　図２８の可逆圧縮復号部１７０は、入力部１７１、データ受信部１７２、符号化データバッファ１７３、デコード部１７４、テーブル記憶部１７５、出力バッファ１７６、アナログフィルタ１７７、および出力部１７８により構成される。可逆圧縮復号部１７０は、オーディオストリームをlosslessDSD方式で可逆圧縮復号し、その結果得られるオーディオデジタル信号をDSD方式でオーディオアナログ信号に変換して出力する。
　具体的には、図７のバッファ６５から供給されるオーディオストリームは、入力部１７１から入力されて、データ受信部１７２に供給される。
　データ受信部１７２は、オーディオストリームに含まれるオーディオデジタル信号が可逆圧縮符号化されているか否かを示す選択制御データに基づいて、オーディオデジタル信号が可逆圧縮符号化されているか否かを判定する。そして、オーディオデジタル信号が可逆圧縮符号化されていると判定された場合、データ受信部１７２は、オーディオストリームに含まれるオーディオデジタル信号を、可逆圧縮符号化されたオーディオデジタル信号として、符号化データバッファ１７３に供給する。また、データ受信部１７２は、オーディオストリームに含まれる、変換テーブルtable1をテーブル記憶部１７５に供給する。
　一方、オーディオ信号が可逆圧縮符号化されていないと判定された場合、データ受信部１７２は、オーディオストリームに含まれるオーディオデジタル信号を、可逆圧縮符号化されていないオーディオデジタル信号として、出力バッファ１７６に供給する。
　テーブル記憶部１７５は、データ受信部１７２から供給された変換テーブルtable1を記憶し、デコード部１７４に供給する。
　符号化データバッファ１７３は、データ受信部１７２から供給される可逆圧縮符号化されたオーディオデジタル信号をフレーム単位で一時蓄積する。符号化データバッファ１７３は、蓄積しているフレーム単位のオーディオデジタル信号を、所定のタイミングで連続する２ビットずつ後段のデコード部１７４に供給する。
　デコード部１７４は、２ビットのレジスタ１９１、１２ビットのレジスタ１９２、変換テーブル処理部１９３、４ビットのレジスタ１９４、およびセレクタ１９５により構成される。デコード部１７４は、可逆圧縮符号化されたオーディオデジタル信号を可逆圧縮復号して、可逆圧縮符号化前のオーディオデジタル信号を生成する。
　具体的には、レジスタ１９１は、符号化データバッファ１７３から供給された２ビットのオーディオデジタル信号を記憶する。レジスタ１９１は、記憶している２ビットのオーディオデジタル信号を、所定のタイミングで変換テーブル処理部１９３とセレクタ１９５に供給する。
　１２ビットのレジスタ１９２は、セレクタ１９５から供給される、可逆圧縮復号結果である４ビットのオーディオデジタル信号を、FIFO（First-In First-Out）で１２ビット分記憶する。これにより、レジスタ１９２には、レジスタ１９１に記憶されている２ビットのオーディオデジタル信号を含むオーディオデジタル信号の可逆圧縮復号結果の直近の過去の３つの可逆圧縮復号結果であるD4データが格納される。
　変換テーブル処理部１９３は、レジスタ１９１から供給される２ビットのオーディオデジタル信号が“00b”である場合、そのオーディオデジタル信号は変換テーブルtable1[4096][3]に登録されていないので、無視する。また、変換テーブル処理部１９３は、いま供給された２ビットのオーディオデジタル信号の直後に供給される２回分の合計４ビットのオーディオデジタル信号を無視する。
　一方、供給された２ビットのオーディオデジタル信号が、“01b”、“10b”、または“11b”である場合、変換テーブル処理部１９３は、レジスタ１９２に記憶されている３つのD4データ（１２ビットのD4データ）を読み出す。変換テーブル処理部１９３は、テーブル記憶部１７５から、変換テーブルtable1の、読み出された３つのD4データがD4[n-3],D4[n-2],D4[n-1]として登録されている行の、供給された２ビットのオーディオデジタル信号が示す列に格納されるD4データを読み出す。変換テーブル処理部１９３は、読み出されたD4データをレジスタ１９４に供給する。
　レジスタ１９４は、変換テーブル処理部１９３から供給される４ビットのD4データを記憶する。レジスタ１９４は、記憶している４ビットのD4データを所定のタイミングでセレクタ１９５の入力端子１９６ｂに供給する。
　セレクタ１９５は、レジスタ１９１から供給される２ビットのオーディオデジタル信号が“00b”である場合、入力端子１９６ａを選択する。そして、セレクタ１９５は、入力端子１９６ａに“00b”の後に入力された４ビットのオーディオデジタル信号を可逆圧縮復号結果として、出力端子１９７からレジスタ１９２および出力バッファ１７６に出力する。
　一方、レジスタ１９４から入力端子１９６ｂに４ビットのオーディオデジタル信号が入力された場合、セレクタ１９５は、入力端子１９６ｂを選択する。そして、セレクタ１９５は、入力端子１９６ｂに入力された４ビットのオーディオデジタル信号を可逆圧縮復号結果として、出力端子１９７からレジスタ１９２および出力バッファ１７６に出力する。
　出力バッファ１７６は、データ受信部１７２から供給された可逆圧縮符号化されていないオーディオデジタル信号、または、デコード部１７４から供給された可逆圧縮復号結果であるオーディオデジタル信号を記憶し、アナログフィルタ１７７に供給する。
　アナログフィルタ１７７は、出力バッファ１７６から供給されたオーディオデジタル信号に対して、ローパスフィルタ、バンドパスフィルタ等の所定のフィルタ処理を実行し、出力部１７８を介して出力する。
　なお、変換テーブルtable1は、可逆圧縮符号化部１００により圧縮されて可逆圧縮復号部１７０に供給されるようにしてもよい。また、変換テーブルtable1は、予め設定され、可逆圧縮符号化部１００と可逆圧縮復号部１７０に記憶されるようにしてもよい。さらに、変換テーブルtable1の数は複数であってもよい。この場合、ｊ番目（ｊは０以上の整数）の変換テーブルtable1には、発生頻度の大きい方から３（ｊ－１），３（ｊ－１）＋１，３（ｊ－１）＋２番目のD4データが各行に格納される。また、各行に対応する過去のD4データの数は、３つに限定されない。
　また、可逆圧縮符号化方法は、上述した方法に限定されず、例えば、特開平９－７４３５８号公報に記載の方法であってもよい。
　＜第８実施の形態＞
　（本開示を適用したコンピュータの説明）
　上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
　図２９は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
　コンピュータ２００において、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。
　バス２０４には、さらに、入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、入力部２０６、出力部２０７、記憶部２０８、通信部２０９、及びドライブ２１０が接続されている。
　入力部２０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部２０７は、ディスプレイ、スピーカなどよりなる。記憶部２０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部２０９は、ネットワークインタフェースなどよりなる。ドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア２１１を駆動する。
　以上のように構成されるコンピュータ２００では、CPU２０１が、例えば、記憶部２０８に記憶されているプログラムを、入出力インタフェース２０５及びバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。
　コンピュータ２００（CPU２０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア２１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
　コンピュータ２００では、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インタフェース２０５を介して、記憶部２０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２０９で受信し、記憶部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記憶部２０８に、あらかじめインストールしておくことができる。
　なお、コンピュータ２００が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　さらに、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
　また、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、第１乃至第８実施の形態におけるlosslessDSD方式は、可逆圧縮符号化によるビット発生量が予測できない可逆圧縮方式であれば、losslessDSD方式以外であってもよい。例えば、第１乃至第８実施の形態におけるlosslessDSD方式は、FLAC(Free Lossless Audio Codec)方式やALAC（Apple lossless Audio Codec)方式などであってもよい。FLAC方式やALAC方式においても、losslessDSD方式と同様に、オーディオアナログ信号の波形に応じてビットの発生量が変動する。なお、変動する比率は方式によって異なる。
　また、第１乃至第８実施の形態における情報処理システム１０は、セグメントファイルをライブ配信するのではなく、Webサーバ１２に動画コンテンツの全てのセグメントファイルが既に記憶されており、そのセグメントファイルをオンデマンド配信するようにしてもよい。
　この場合、第２実施の形態、第３実施の形態、および第７実施の形態において、MPDファイルに記述されるAveBandwidthは、動画コンテンツの全期間の平均値になる。従って、第２実施の形態および第７実施の形態では、動画再生端末１４は、MPDファイルを更新しない。また、第３実施の形態では、動画再生端末１４は、MPDファイルを更新するが、更新前後でMPDファイルは変化しない。
　また、この場合、第７実施の形態では、セグメントファイルの生成時には固定のセグメント長のセグメントファイルを生成しておき、オンデマンド配信時に、Webサーバ１２が、その固定のセグメント長のセグメントファイルを連結して可変のセグメント長のセグメントファイルを生成し、動画再生端末１４に送信するようにしてもよい。
　さらに、第１乃至第８実施の形態における情報処理システム１０は、Webサーバ１２に動画コンテンツのセグメントファイルを途中まで記憶した後、その動画コンテンツの先頭のセグメントファイルから配信を開始するニアライブ配信を行うようにしてもよい。
　この場合、再生開始時にWebサーバ１２に既に記憶されているセグメントファイルについては、オンデマンド配信と同様の処理が行われ、再生開始時にWebサーバ１２にまだ記憶されていないセグメントファイルについては、ライブ配信の場合と同様の処理が行われる。
　また、第４乃至第６実施の形態では、AveBandwidthとDurationForAveBandwidth（の更新値）がセグメントファイルに配置される。従って、オンデマンド配信やニアライブ配信のように、動画コンテンツのセグメントファイルが生成されてから再生されるまでに時間がある場合であっても、動画再生端末１４は、再生開始時に最新のAveBandwidthとDurationForAveBandwidthを取得することはできない。従って、AveBandwidthとDurationForAveBandwidth（の更新値）を格納するセグメントファイルの送信時に、最新のAveBandwidthとDurationForAveBandwidthを格納し直すようにしてもよい。この場合、動画再生端末１４は、再生開始時に最新のAveBandwidthとDurationForAveBandwidthを認識することができる。
　また、第２乃至第７実施の形態では、最新のAveBandwidthとDurationForAveBandwidthのみがMPDファイルまたはセグメントファイルに記述されたが、任意の時間ごとのAveBandwidthとDurationForAveBandwidthが列挙されるようにしてもよい。この場合、動画再生端末１４は、きめ細かい帯域制御を行うことが可能になる。なお、任意の時間が一定の時間である場合には、DurationForAveBandwidthは１つだけ記述されるようにしてもよい。
　なお、本開示は、以下のような構成もとることができる。
　（１）
　可逆圧縮方式で符号化されたオーディオストリームを、前記オーディオストリームに対応するビデオストリームの前に取得して前記オーディオストリームのビットレートを検出する取得部と、
　前記取得部により検出された前記ビットレートに基づいて、ビットレートの異なる複数の前記ビデオストリームから、取得する前記ビデオストリームを選択する選択部と
　を備える再生装置。
　（２）
　前記取得部は、前記オーディオストリームと前記ビデオストリームの取得に用いられる帯域に基づいて、最大ビットレートの異なる複数の前記オーディオストリームから、取得する前記オーディオストリームを選択する
　ように構成された
　前記（１）に記載の再生装置。
　（３）
　前記取得部は、前記オーディオストリームと前記ビデオストリームを管理する管理ファイルに含まれる前記オーディオストリームの前記最大ビットレートと前記帯域とに基づいて、取得する前記オーディオストリームを選択する
　ように構成された
　前記（２）に記載の再生装置。
　（４）
　前記取得部は、前記オーディオストリームと前記ビデオストリームを管理する管理ファイルに、前記オーディオストリームの符号化方式が、固定サイズのバッファでアンダーフローやオーバーフローが発生しないように符号化される方式ではないことを示す情報が含まれる場合、前記オーディオストリームのビットレートを検出する
　ように構成された
　前記（１）乃至（３）のいずれかに記載の再生装置。
　（５）
　前記可逆圧縮方式は、losslessDSD(Direct Stream Digital)方式、FLAC(Free Lossless Audio Codec)方式、またはALAC（Apple lossless Audio Codec)方式である
　ように構成された
　前記（１）乃至（４）のいずれかに記載の再生装置。
　（６）
　再生装置が、
　可逆圧縮方式で符号化されたオーディオストリームを、前記オーディオストリームに対応するビデオストリームの前に取得して前記オーディオストリームのビットレートを検出する取得ステップと、
　前記取得ステップの処理により検出された前記ビットレートに基づいて、ビットレートの異なる複数の前記ビデオストリームから、取得する前記ビデオストリームを選択する選択ステップと
　を含む再生方法。
　（７）
　可逆圧縮方式で符号化されたオーディオストリームと、前記オーディオストリームに対応するビデオストリームとを管理する管理ファイルであって、前記オーディオストリームの符号化方式が、固定サイズのバッファでアンダーフローやオーバーフローが発生しないように符号化される方式ではないことを示す情報を含む管理ファイルを生成するファイル生成部
　を備えるファイル生成装置。
　（８）
　前記管理ファイルは、前記オーディオストリームの最大ビットレートと、前記ビデオストリームのビットレートとを含む
　ように構成された
　前記（７）に記載のファイル生成装置。
　（９）
　前記可逆圧縮方式は、losslessDSD(Direct Stream Digital)方式、FLAC(Free Lossless Audio Codec)方式、またはALAC（Apple lossless Audio Codec)方式である
　ように構成された
　前記（７）または（８）に記載のファイル生成装置。
　（１０）
　ファイル生成装置が
　可逆圧縮方式で符号化されたオーディオストリームと、前記オーディオストリームに対応するビデオストリームとを管理する管理ファイルであって、前記オーディオストリームの符号化方式が、固定サイズのバッファでアンダーフローやオーバーフローが発生しないように符号化される方式ではないことを示す情報を含む管理ファイルを生成するファイル生成ステップ
　を含むファイル生成方法。
　１１　ファイル生成装置,　１３　インターネット,　１４　動画再生端末,　３３　セグメントファイル生成部,　３４　MPDファイル生成部,　６３　セグメントファイル取得部,　６４　選択部

Claims (10)

  1. 　可逆圧縮方式で符号化されたオーディオストリームを、前記オーディオストリームに対応するビデオストリームの前に取得して前記オーディオストリームのビットレートを検出する取得部と、
    　前記取得部により検出された前記ビットレートに基づいて、ビットレートの異なる複数の前記ビデオストリームから、取得する前記ビデオストリームを選択する選択部と
    　を備える再生装置。
  2. 　前記取得部は、前記オーディオストリームと前記ビデオストリームの取得に用いられる帯域に基づいて、最大ビットレートの異なる複数の前記オーディオストリームから、取得する前記オーディオストリームを選択する
    　ように構成された
    　請求項１に記載の再生装置。
  3. 　前記取得部は、前記オーディオストリームと前記ビデオストリームを管理する管理ファイルに含まれる前記オーディオストリームの前記最大ビットレートと前記帯域とに基づいて、取得する前記オーディオストリームを選択する
    　ように構成された
    　請求項２に記載の再生装置。
  4. 　前記取得部は、前記オーディオストリームと前記ビデオストリームを管理する管理ファイルに、前記オーディオストリームの符号化方式が、固定サイズのバッファでアンダーフローやオーバーフローが発生しないように符号化される方式ではないことを示す情報が含まれる場合、前記オーディオストリームのビットレートを検出する
    　ように構成された
    　請求項１に記載の再生装置。
  5. 　前記可逆圧縮方式は、losslessDSD(Direct Stream Digital)方式、FLAC(Free Lossless Audio Codec)方式、またはALAC（Apple lossless Audio Codec)方式である
    　ように構成された
    　請求項１に記載の再生装置。
  6. 　再生装置が、
    　可逆圧縮方式で符号化されたオーディオストリームを、前記オーディオストリームに対応するビデオストリームの前に取得して前記オーディオストリームのビットレートを検出する取得ステップと、
    　前記取得ステップの処理により検出された前記ビットレートに基づいて、ビットレートの異なる複数の前記ビデオストリームから、取得する前記ビデオストリームを選択する選択ステップと
    　を含む再生方法。
  7. 　可逆圧縮方式で符号化されたオーディオストリームと、前記オーディオストリームに対応するビデオストリームとを管理する管理ファイルであって、前記オーディオストリームの符号化方式が、固定サイズのバッファでアンダーフローやオーバーフローが発生しないように符号化される方式ではないことを示す情報を含む管理ファイルを生成するファイル生成部
    　を備えるファイル生成装置。
  8. 　前記管理ファイルは、前記オーディオストリームの最大ビットレートと、前記ビデオストリームのビットレートとを含む
    　ように構成された
    　請求項７に記載のファイル生成装置。
  9. 　前記可逆圧縮方式は、losslessDSD(Direct Stream Digital)方式、FLAC(Free Lossless Audio Codec)方式、またはALAC（Apple lossless Audio Codec)方式である
    　ように構成された
    　請求項７に記載のファイル生成装置。
  10. 　ファイル生成装置が
    　可逆圧縮方式で符号化されたオーディオストリームと、前記オーディオストリームに対応するビデオストリームとを管理する管理ファイルであって、前記オーディオストリームの符号化方式が、固定サイズのバッファでアンダーフローやオーバーフローが発生しないように符号化される方式ではないことを示す情報を含む管理ファイルを生成するファイル生成ステップ
    　を含むファイル生成方法。
PCT/JP2017/010104 2016-03-28 2017-03-14 再生装置および再生方法、並びにファイル生成装置およびファイル生成方法 WO2017169720A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018508956A JPWO2017169720A1 (ja) 2016-03-28 2017-03-14 再生装置および再生方法、並びにファイル生成装置およびファイル生成方法
CN201780019067.1A CN108886638A (zh) 2016-03-28 2017-03-14 再现装置和再现方法、以及文件生成装置和文件生成方法
US16/086,427 US20190103122A1 (en) 2016-03-28 2017-03-14 Reproduction device and reproduction method, and file generation device and file generation method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016063222 2016-03-28
JP2016-063222 2016-03-28

Publications (1)

Publication Number Publication Date
WO2017169720A1 true WO2017169720A1 (ja) 2017-10-05

Family

ID=59964323

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/010104 WO2017169720A1 (ja) 2016-03-28 2017-03-14 再生装置および再生方法、並びにファイル生成装置およびファイル生成方法

Country Status (4)

Country Link
US (1) US20190103122A1 (ja)
JP (1) JPWO2017169720A1 (ja)
CN (1) CN108886638A (ja)
WO (1) WO2017169720A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11546402B2 (en) 2019-01-04 2023-01-03 Tencent America LLC Flexible interoperability and capability signaling using initialization hierarchy
CN114500914A (zh) * 2020-11-11 2022-05-13 中兴通讯股份有限公司 音视频转发方法、装置、终端与系统
CN113709524B (zh) * 2021-08-25 2023-12-19 三星电子（中国）研发中心 选择音视频流的比特率的方法及其装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011237824A (ja) * 1998-10-13 2011-11-24 Victor Co Of Japan Ltd 音声信号伝送装置、音声信号受信装置及び音声信号伝送システム
JP2013029679A (ja) * 2011-07-28 2013-02-07 Panasonic Corp 圧縮オーディオ再生装置及び平均ビットレート算出方法
JP2013219819A (ja) * 2009-07-24 2013-10-24 Netflix Inc デジタルコンテンツの配布のための適応型ストリーミング
WO2015038578A2 (en) * 2013-09-12 2015-03-19 Dolby Laboratories Licensing Corporation System aspects of an audio codec

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4935385B2 (ja) * 2007-02-01 2012-05-23 ソニー株式会社 コンテンツ再生方法およびコンテンツ再生システム
US20080189359A1 (en) * 2007-02-01 2008-08-07 Sony Corporation Content providing method, content playback method, portable wireless terminal, and content playback apparatus
US8477950B2 (en) * 2009-08-24 2013-07-02 Novara Technology, LLC Home theater component for a virtualized home theater system
JP6587046B2 (ja) * 2013-07-08 2019-10-09 サン パテント トラスト 画像符号化方法、画像復号方法、画像符号化装置及び画像復号装置
JP2015195488A (ja) * 2014-03-31 2015-11-05 ソニー株式会社 情報処理装置および情報処理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011237824A (ja) * 1998-10-13 2011-11-24 Victor Co Of Japan Ltd 音声信号伝送装置、音声信号受信装置及び音声信号伝送システム
JP2013219819A (ja) * 2009-07-24 2013-10-24 Netflix Inc デジタルコンテンツの配布のための適応型ストリーミング
JP2013029679A (ja) * 2011-07-28 2013-02-07 Panasonic Corp 圧縮オーディオ再生装置及び平均ビットレート算出方法
WO2015038578A2 (en) * 2013-09-12 2015-03-19 Dolby Laboratories Licensing Corporation System aspects of an audio codec

Also Published As

Publication number Publication date
CN108886638A (zh) 2018-11-23
US20190103122A1 (en) 2019-04-04
JPWO2017169720A1 (ja) 2019-02-07

Similar Documents

Publication Publication Date Title
US10735794B2 (en) Information processing device, information processing method, and information processing system
JP3957666B2 (ja) マルチメディアストリーミング装置、マルチメディアストリーミングサーバ、マルチメディアストリーミングクライアント、マルチメディアストリーミング方法及びそのプログラムを記録した記録媒体
CN103858419B (zh) 一种回放装置及回放内容的方法
WO2013008867A1 (ja) 送信装置、送信装置の制御方法、制御プログラム、及び記録媒体
WO2017138387A1 (ja) 情報処理装置および情報処理方法
KR20170021778A (ko) 정보 처리 장치 및 정보 처리 방법
JP6876928B2 (ja) 情報処理装置および方法
US10375439B2 (en) Information processing apparatus and information processing method
WO2017169720A1 (ja) 再生装置および再生方法、並びにファイル生成装置およびファイル生成方法
WO2017169721A1 (ja) ファイル生成装置およびファイル生成方法
JP7238948B2 (ja) 情報処理装置および情報処理方法
WO2016002495A1 (ja) 情報処理装置および方法
JP4526294B2 (ja) ストリームデータ送信装置、受信装置、プログラムを記録した記録媒体、およびシステム
JP2016059018A (ja) 配信装置、再生装置および配信システム
JP2004215074A (ja) サーバ、送信レート制御方法、プログラムおよび記録媒体
JP2017098706A (ja) 受信装置、セグメント取得方法、及びプログラム
KR102343639B1 (ko) 압축 부호화 장치 및 방법, 복호 장치 및 방법, 그리고 프로그램
US20110050895A1 (en) Distributed Video Surveillance Storage Cost Reduction Using Statistical Multiplexing Principle
US20200314163A1 (en) Image processing device and method thereof
JPWO2018198788A1 (ja) 信号処理装置、信号処理方法、およびプログラム
JPWO2018142947A1 (ja) 情報処理装置および方法
US11792472B2 (en) Schedule-based uninterrupted buffering and streaming
KR102367134B1 (ko) 가속기를 제어하는 방법 및 이를 이용한 가속기
KR20130029235A (ko) 스트리밍 되어오는 동영상 파일을 실시간 변환하여 스트리밍 전송하는 방법
KR101684705B1 (ko) 미디어 컨텐츠 재생 장치 및 방법

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2018508956

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17774264

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 17774264

Country of ref document: EP

Kind code of ref document: A1