WO2010001609A1 - 符号化ストリーム再生装置及び符号化ストリーム再生方法 - Google Patents

符号化ストリーム再生装置及び符号化ストリーム再生方法 Download PDF

Info

Publication number
WO2010001609A1
WO2010001609A1 PCT/JP2009/003069 JP2009003069W WO2010001609A1 WO 2010001609 A1 WO2010001609 A1 WO 2010001609A1 JP 2009003069 W JP2009003069 W JP 2009003069W WO 2010001609 A1 WO2010001609 A1 WO 2010001609A1
Authority
WO
WIPO (PCT)
Prior art keywords
encoded
picture
stream
encoded stream
decoded
Prior art date
Application number
PCT/JP2009/003069
Other languages
English (en)
French (fr)
Inventor
関征永
津田賢治郎
重里達郎
小林裕樹
増野貴司
西郷賀津雄
島崎浩昭
千葉琢麻
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to US13/002,058 priority Critical patent/US20110116722A1/en
Priority to JP2010518929A priority patent/JP5258885B2/ja
Publication of WO2010001609A1 publication Critical patent/WO2010001609A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/10527—Audio or video recording; Data buffering arrangements
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H04N21/42646—Internal components of the client ; Characteristics thereof for reading from or writing on a non-volatile solid state storage medium, e.g. DVD, CD-ROM
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432—Content retrieval operation from a local storage medium, e.g. hard-disk
    • H04N21/4325—Content retrieval operation from a local storage medium, e.g. hard-disk by playing back content from the storage medium
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H04N9/8045—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8227—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being at least another television signal
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/10527—Audio or video recording; Data buffering arrangements
    • G11B2020/10537—Audio or video recording
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/10527—Audio or video recording; Data buffering arrangements
    • G11B2020/1062—Data buffering arrangements, e.g. recording or playback buffers
    • G11B2020/10629—Data buffering arrangements, e.g. recording or playback buffers the buffer having a specific structure
    • G11B2020/10657—Cache memories for random data access, e.g. buffers wherein the data output is controlled by a priority parameter other than retention time
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/10527—Audio or video recording; Data buffering arrangements
    • G11B2020/1062—Data buffering arrangements, e.g. recording or playback buffers
    • G11B2020/1075—Data buffering arrangements, e.g. recording or playback buffers the usage of the buffer being restricted to a specific kind of data
    • G11B2020/10759—Data buffering arrangements, e.g. recording or playback buffers the usage of the buffer being restricted to a specific kind of data content data
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B2020/10935—Digital recording or reproducing wherein a time constraint must be met
    • G11B2020/10944—Real-time recording or reproducing, e.g. for ensuring seamless playback of AV data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/84—Television signal recording using optical recording
    • H04N5/85—Television signal recording using optical recording on discs or drums

Definitions

  • the present invention relates to an encoded stream reproduction apparatus and an encoded stream reproduction method, and more particularly to an encoded stream reproduction apparatus and an encoded stream reproduction method that smoothly switch the reproduction of a plurality of encoded streams with a relatively low processing capability.
  • Typical coding standards include MPEG-2 (Motion Picture Experts Group-2) and H.264. H.264 / AVC (H.264 / Advanced Video Coding).
  • GOP Group of Pictures
  • FIG. 1 An example of a GOP (Group of Pictures) structure, which is a picture management unit in MPEG-2, is shown in FIG.
  • GOP is an I picture that is encoded without referring to other pictures, a P picture that is subjected to predictive encoding with reference to the forward picture in display order, and a predictive encoding that refers to bidirectional pictures in display order It is composed of pictures called B pictures.
  • MPEG-2 and H.264 A recording format such as a BD-ROM (Blu-ray Disc Read Only Memory) that records image data encoded in H.264 / AVC has a multi-angle function.
  • the multi-angle function is a function for switching and reproducing a plurality of videos obtained by decoding each of a plurality of encoded streams photographed at the same time.
  • FIG. 8 is a diagram showing the temporal relationship of each encoded stream when a plurality of encoded streams are photographed at the same time. As shown in FIG. 8, a case will be described in which a first stream that is an encoded stream being reproduced at an arbitrary timing is switched to a second stream that is another encoded stream.
  • an IDR picture is a picture that is determined not to be encoded with reference to a picture preceding the own picture.
  • FIG. 9 is a functional block diagram showing a functional configuration of a conventional image decoding apparatus 400 when two encoded streams obtained by shooting at the same time are recorded.
  • two encoded streams as shown in FIG. 8 are recorded on the recording medium 401.
  • two encoded streams read from the recording medium 401 by the data reading unit 402 are separated into a first stream and a second stream by the demultiplexing unit 403.
  • the first stream is decoded by the first image decoding unit 404
  • the second stream is decoded by the second image decoding unit 405 and held in the image storage unit 406.
  • the output selection unit 408 selects an output stream based on the user operation received by the operation reception unit 409.
  • the output switching unit 407 outputs the stream selected by the output selection unit 408 to the display unit 410, and the display unit 410 displays the video included in the stream.
  • the output selection unit 408 switches the stream to be selected as the output stream based on the operation information.
  • the two streams are both decoded by the first image decoding unit 404 and the second image decoding unit 405 and then held in the image storage unit 406, the output can be switched instantaneously. it can.
  • the above-described conventional technique has a problem that a large processing capacity is required to smoothly switch the reproduction of a plurality of encoded streams. Specifically, it is as follows.
  • FIG. 10 is a diagram illustrating a temporal relationship of each encoded stream obtained when an encoded stream imaged at 60 fps (frame per second) and an encoded stream imaged at 240 fps are simultaneously imaged.
  • the decoding apparatus needs a large processing capacity.
  • the present invention has been made to solve such a conventional problem, and an encoded stream reproduction device and an encoding device that smoothly switch reproduction of a plurality of encoded streams without requiring a large processing capability.
  • An object of the present invention is to provide a stream playback method.
  • an encoded stream reproduction apparatus is an encoded stream reproduction apparatus that reproduces one of a plurality of encoded streams, and selects one of the plurality of encoded streams.
  • a first encoding stream that is an encoding stream selected by the selection unit among the plurality of encoding streams, and a second encoding that is an encoding stream not selected by the selection unit
  • An acquisition unit that acquires a stream; a decoding unit that generates a first decoded picture by decoding a first encoded picture included in the first encoded stream; and display of the first decoded picture
  • a second code for smoothly switching the display from the first encoded stream to the second encoded stream in terms of time based on time information indicating time
  • the decoding unit further includes a second encoded picture detected by the corresponding data detection unit, and the second encoding At least one of the third encoded pictures referred to when decoding the picture is decoded.
  • the second encoded picture is detected from the second encoded stream while the first encoded stream is being reproduced, and the detected second encoded picture and third encoded picture are decoded.
  • the playback of the stream can be switched smoothly.
  • the decoding unit since not all the pictures of the second encoded stream are decoded, the decoding unit does not need a large processing capability.
  • the encoded stream reproduction device further includes an accumulation unit that accumulates the decoded pictures decoded by the decoding unit, and a decoded picture generated from the encoded stream selected by the selection unit.
  • An output unit that reads out from the storage unit and outputs the second encoded picture corresponding to the first decoded picture being output when the selection unit selects the second encoded stream.
  • a second decoded picture obtained by decoding may be output.
  • the second decoded picture corresponding to the first encoded picture being output is output when the encoded stream is switched, reproduction of a plurality of encoded streams can be switched smoothly.
  • the decoding unit has decoded the second encoded picture corresponding to the first decoded picture output from the output unit when the selection unit selects the second encoded stream. If not, the second decoded picture may be generated by decoding the second encoded picture.
  • the target decoded picture when the target decoded picture is not obtained at the time of output, it is output after being decoded, so that it is possible to smoothly switch between reproduction of a plurality of encoded streams.
  • the corresponding data detection unit detects a picture having time information indicating a time within a predetermined period after a display time indicated by the time information of the first decoded picture as the second encoded picture. May be.
  • the corresponding data detection unit uses a picture having time information that is a time later than the display time indicated by the time information of the first decoded picture and that has the closest time as the second encoded picture. It may be detected.
  • the picture immediately after the decoded picture being output can be output, it is possible to seamlessly switch between reproduction of a plurality of encoded streams.
  • the corresponding data detection unit is configured to display a time within a period indicating between consecutive encoded pictures of the first encoded stream or the second encoded stream after the display time indicated by the time information of the first decoded picture. May be detected as the second encoded picture.
  • the frame rate of the first encoded stream is lower than the frame rate of the second encoded stream
  • the corresponding data detection unit is a time later than the display time indicated by the time information of the first decoded picture.
  • a picture having time information indicating a time within a period indicating between consecutive encoded pictures of the first encoded stream from the display time may be detected as the second encoded picture.
  • the decoding unit may decode the second encoded picture.
  • the processing load on the decoding unit can be further reduced.
  • the decoding unit when the second encoded picture is not a reference picture that is referred to when decoding other encoded pictures, and the third encoded picture is not decoded, The third encoded picture may be decoded.
  • the second encoded picture is not a reference picture
  • the second encoded picture is not decoded and the third encoded picture that is referred to when the second encoded picture is decoded is decoded.
  • the encoded picture can be immediately decoded.
  • the present invention can be realized not only as an encoded stream reproduction device, but also as a method using a processing unit constituting the encoded stream reproduction device as a step. Moreover, you may implement
  • a communication network such as the Internet.
  • each encoded stream reproduction device may be constituted by one system LSI (Large Scale Integration).
  • the system LSI is an ultra-multifunctional LSI manufactured by integrating a plurality of components on a single chip, and specifically includes a microprocessor, ROM, RAM (Random Access Memory), and the like. Computer system.
  • the encoded stream reproduction apparatus of the present invention it is possible to smoothly switch the reproduction of a plurality of encoded streams without requiring a large processing capacity.
  • FIG. 1 is a diagram showing a configuration of MPEG2-TS, which is an example of an encoded stream according to the present embodiment.
  • FIG. 2 is a block diagram illustrating an example of a functional configuration of the encoded stream reproduction device according to the present embodiment.
  • FIG. 3 is a diagram illustrating an example of a plurality of streams reproduced by the encoded stream reproduction device according to the present embodiment.
  • FIG. 4 is a diagram illustrating an example of a plurality of streams reproduced by the encoded stream reproduction device according to the present embodiment.
  • FIG. 5 is a flowchart showing an example of the reproduction operation of the encoded stream device according to the present embodiment.
  • FIG. 6 is a flowchart illustrating an example of the decoding process of the encoded stream that is not being reproduced in the reproduction operation of the encoded stream device according to the present embodiment.
  • FIG. 7 is a diagram illustrating an example of the GOP structure.
  • FIG. 8 is a diagram illustrating a temporal relationship between two encoded streams having the same frame rate.
  • FIG. 9 is a block diagram showing a functional configuration of a conventional image decoding apparatus.
  • FIG. 10 is a diagram illustrating a temporal relationship between two encoded streams having different frame rates.
  • the encoded stream reproduction apparatus reproduces one of a plurality of encoded streams recorded on a recording medium that is detachably disposed outside or inside. Specifically, a configuration is assumed in which a plurality of encoded streams are read from a recording medium, the read encoded streams are decoded, and decoded pictures obtained by decoding are output to an external device such as a display.
  • an encoded stream read from the recording medium by the encoded stream reproduction device will be described with reference to the drawings.
  • a coded stream multiplexed by MPEG2-TS Transport Stream
  • MPEG2-PS Program Stream
  • the image data included in the encoded stream is H.264. It is assumed that the data is encoded using H.264 / AVC, but any encoding method such as MPEG-2 or VC-1 may be used as the encoding method applied to the image data. .
  • FIG. 1 is an example of an encoded stream according to the present embodiment, and is a diagram showing a configuration of MPEG2-TS recorded on a recording medium.
  • MPEG2-TS shown in FIG. 1 is composed of fixed-length packets called TS packets 11.
  • the TS packet 11 transmits PES (Packetized Elementary Stream) packet 12 storing video and audio data, reference clock information called PCR (Program Clock Reference) 13, and the like.
  • PES Packetized Elementary Stream
  • PCR Program Clock Reference
  • the PES packet header 14 of the PES packet 12 includes a PTS (Presentation Time Stamp) and a DTS (Representation Time Stamp) respectively indicating the display and decoding timing of an access unit which is a decoding unit of video and audio stored in the PES packet payload 15. Time information called “Decoding Time Stamp” is stored.
  • PTS Presentation Time Stamp
  • DTS Present Time Stamp
  • each picture data access unit includes encoded data for one picture. Specifically, image data of pictures included in the encoded stream, parameters used for image decoding such as SPS (Sequence Parameter Set) and PPS (Picture Parameter Set), and additional information such as timing information of each picture
  • Each access unit is composed of data of a plurality of NAL (Network Abstraction Layer) units 16 that store information such as SEI (Supplemental Enhancement Information) including.
  • SEI Supplemental Enhancement Information
  • the header of each NAL unit 16 includes information (nal_ref_idc) indicating whether or not the NAL unit includes data that can be referred to by another NAL unit.
  • FIG. 2 is a block diagram illustrating an example of the configuration of the encoded stream reproduction device 100 according to the present embodiment.
  • the encoded stream reproduction apparatus 100 in FIG. 1 includes a recording medium 101, a data reading unit 102, a corresponding data detection unit 103, a decoding processing unit 104, a decoded image storage unit 105, an output unit 106, and a control unit. 107, an operation reception unit 108, and an output selection unit 109.
  • an encoded stream selected as a stream to be reproduced is described as an A stream, and other encoded streams are described as a B stream.
  • the A stream is selected as the stream to be played back, and thereafter, the stream to be played is changed from the A stream to the B stream based on a user operation or the like.
  • H.264 having a frame rate of 60 fps as shown in FIG.
  • An H.264 standard encoded stream is selected as the A stream and has a frame rate of 240 fps.
  • a case will be described in which an encoded stream encoded by the H.264 standard is selected as a B stream.
  • the recording medium 101 is a recording means capable of storing a plurality of encoded streams. For example, an A stream and a B stream shown in FIG. 3 are recorded on the recording medium 101.
  • the information recorded on the recording medium 101 is mainly an encoded stream, but any data such as still image data or music data may be stored.
  • the recording medium 101 may be a memory built in the encoded stream reproduction device 100, or may be a detachable recording medium such as a DVD-RAM, a BD-RAM, and an SD memory card.
  • the data reading unit 102 is an example of an acquisition unit that acquires an encoded stream selected by the output selection unit 109 and an encoded stream not selected by the output selection unit 109. Specifically, the data reading unit 102 records an A stream that is an encoded stream being reproduced and a B stream that is another encoded stream among a plurality of encoded streams recorded on the recording medium 101. Read from the medium 101.
  • the data reading unit 102 includes an internal buffer 110, and reads image data corresponding to one picture from the A stream and the B stream recorded on the recording medium 101 based on the control of the control unit 107. Accumulate in buffer 110.
  • the internal buffer 110 is a memory that is used when the control unit 107 reads image data, and temporarily stores the read image data. Information temporarily recorded in the internal buffer 110 is mainly encoded image data, but a control signal or the like may be recorded.
  • any recordable means such as a DRAM (Dynamic RAM), an SRAM (Static RAM), a flash memory, or a ferroelectric memory may be used.
  • Corresponding data detection section 103 is a corresponding encoded picture for smoothly switching the display from A stream to B stream based on the time information of the decoded picture included in A stream output from output section 106 Are detected from the B stream.
  • the corresponding data detection unit 103 performs encoding including time information indicating a time within a predetermined period after the display time indicated by the time information of the decoded picture corresponding to the A stream output from the output unit 106 A picture is detected from the B stream as a corresponding encoded picture.
  • the predetermined period is, for example, a period indicating between consecutive coded pictures of A stream or B stream, that is, a period indicated by the reciprocal of the frame rate of A stream or B stream. As shown in FIG. 3, when the frame rates of the A stream and the B stream are different, a picture included between consecutive pictures of the A stream having a low frame rate is detected from the B stream as a corresponding encoded picture.
  • the pictures (corresponding encoded pictures) represented by the corresponding data corresponding to the I picture 201 are four pictures included between the I picture 207 and the B picture 204.
  • the picture represented by the corresponding data corresponding to the I picture 201 may be the I picture 207 at the same time.
  • the corresponding data detection unit 103 is a time later than the display time indicated by the time information of the decoded picture included in the A stream output from the output unit 106, and An encoded picture having time information indicating the closest time is detected as a corresponding encoded picture.
  • the corresponding data detection unit 103 outputs, from the output unit 106, image data corresponding to one picture included in the B stream read by the data reading unit 102 based on the control of the control unit 107. Image data having a display time that is later than the display time of the image data corresponding to the decoded picture and having the closest display time is detected as the corresponding data.
  • the picture (corresponding encoded picture) represented by the corresponding data corresponding to the I picture 201 is the B picture 202.
  • the picture represented by the corresponding data corresponding to the B picture 203 is a B picture 204.
  • the picture represented by the corresponding data corresponding to the B picture 205 is a P picture 206.
  • the correspondence data detection unit 103 is not limited to the configuration for detecting the correspondence data based on the display time of the decoded picture output from the output unit 106, but the decoding stored in the decoded image storage unit 105. It may be configured to detect using a picture. Alternatively, the corresponding data detection unit 103 may be configured to directly detect from the encoded stream stored in the recording medium 101, and any configuration may be used.
  • the decoding processing unit 104 generates a decoded picture by decoding the encoded picture included in the A stream read by the data reading unit 102. Furthermore, the decoding processing unit 104 decodes at least one of the corresponding encoded picture detected by the corresponding data detection unit 103 and the picture referred to when decoding the corresponding encoded picture.
  • the decoding processing unit 104 generates an STC (System Time Clock) based on the PCR based on the control of the control unit 107 and is included in the A stream read by the data reading unit 102.
  • the image data is decoded and decoded at the timing when the DTS included in the image data corresponding to one picture or the DTS included in the corresponding data detected by the corresponding data detection unit 103 matches the generated STC.
  • the decoded image obtained at this time is output to the decoded image storage unit 105.
  • the decoding processing unit 104 decodes the corresponding data if the corresponding data is reference image data indicating a reference picture to be referred to when decoding other pictures. For example, when the corresponding data represents an I picture or a P picture, the decoding processing unit 104 decodes the corresponding data.
  • the decoding processing unit 104 decodes the image data indicating the encoded picture referred to by the corresponding data. For example, if the corresponding data is non-reference image data indicating a non-reference picture that is not referred to when decoding other pictures, the decoding processing unit 104 decodes the image data referred to when the corresponding data is decoded. Turn into. For example, when the corresponding data represents a B picture, the decoding processing unit 104 decodes an I picture and a P picture that are referred to when the B picture is decoded.
  • the decoded image storage unit 105 stores the decoded picture generated by the decoding processing unit 104.
  • the decoded image storage unit 105 also stores a reference picture that is referred to when decoding the corresponding encoded picture included in the B stream.
  • the decoded image storage unit 105 is a memory that stores the decoded pictures output from the decoding processing unit 104 based on the control of the control unit 107.
  • the decoded image storage unit 105 may use any recordable means such as DRAM, SRAM, flash memory, or ferroelectric memory.
  • the output unit 106 reads out the decoded picture generated from the encoded stream being reproduced from the decoded image storage unit 105 and outputs the decoded picture to the external device.
  • the output selection unit 109 selects an encoded stream that is different from the encoded stream being reproduced
  • the output unit 106 selects a decoded picture generated from the encoded stream selected by the output selection unit 109. , Read out from the decoded image storage unit 105 and output.
  • the output unit 106 selects a decoded picture corresponding to the A stream selected by the output selection unit 109 among the decoded pictures stored in the decoded image storage unit 105 based on the control of the control unit 107. Read and output to external device.
  • the output selection unit 109 selects the B stream
  • the output unit 106 reads out the decoded picture corresponding to the B stream from the decoded image storage unit 105 and outputs the decoded picture to the external device.
  • the output unit 106 determines whether or not a decoded picture to be output is stored in the decoded image storage unit 105. Specifically, the determination is performed using the PTS and STC included in the decoded image data.
  • the decoded picture to be output is a decoded picture obtained by decoding the encoded picture of the B stream corresponding to the decoded picture of the A stream being output by the output unit 106.
  • the output unit 106 decodes the corresponding data so as to generate the decoded picture to be output to the decoding processing unit 104 via the control unit 107.
  • the external device may be any device provided with display means capable of displaying a decoded picture, such as a PDP (Plasma Display Panel), a liquid crystal display, an organic EL display device, and the like.
  • display means capable of displaying a decoded picture
  • PDP Plasma Display Panel
  • liquid crystal display a liquid crystal display
  • organic EL display device an organic EL display device
  • the information used for determination is not limited to PTS and STC, but can be any information that can match image data information to be output with decoded pictures stored in the decoded image storage unit 105. Anything can be used.
  • the control unit 107 controls the operations of the data reading unit 102, the corresponding data detection unit 103, the decoding processing unit 104, the decoded image storage unit 105, the output unit 106, the operation reception unit 108, and the output selection unit 109, thereby The overall operation of the encoded stream reproduction device 100 is controlled.
  • the control unit 107 can be realized by a semiconductor element or the like, and may be configured only by hardware. Alternatively, it may be realized by combining hardware and software. Moreover, you may comprise with several devices. When the control unit 107 is implemented by software, it can be realized by using a microprocessor.
  • the operation accepting unit 108 can accept various instructions from the user as operation signals.
  • the operation reception unit 108 outputs the received operation signal to the control unit 107. Further, when the received operation signal is an operation signal related to an operation of switching the encoded stream output from the output unit 106 to the external device, the operation reception unit 108 outputs the operation signal to the output selection unit 109.
  • the operation reception unit 108 may be configured to detect an operation signal when an operation signal transmitted from a remote controller is received.
  • the operation reception unit 108 may be configured to provide a button that can be pressed and detect an operation signal when the pressing operation is performed, and any configuration may be used.
  • the output selection unit 109 When the output selection unit 109 detects an operation signal output from the operation reception unit 108, the output selection unit 109 outputs a selection signal for selecting an encoded stream output from the output unit 106 to the control unit 107 based on the operation signal.
  • the time relationship regarding the display time of the image data corresponding to one picture included in the encoded stream can be determined from the PTS representing the display time of the image data.
  • the corresponding encoded picture represented by the corresponding data corresponding to the I picture 201 shown in FIG. 3 assuming that the time information of each stream is synchronized, the future of the PTS of the image data corresponding to the I picture 201 What is necessary is just to detect image data which is PTS and has the nearest PTS from B stream. That is, the corresponding data detection unit 103 detects the B picture 202 as the corresponding encoded picture of the I picture 201.
  • the PTS of each picture in the stream can be calculated based on the PTS included in the image data read in the past. For this reason, the PTS of each picture of the B stream is calculated in advance based on the PTS included in the image data read in the past of the B stream, so that the corresponding data exists when the PTS of the I picture 201 is read. A PTS to be determined can be determined.
  • the corresponding data detection unit 103 calculates the deviation of the time information between the streams in advance.
  • FIG. 4 shows an example when the time information of each stream is not synchronized.
  • the corresponding data detection unit 103 pre-calculates and holds a value PTS_Offset obtained by subtracting the PTS of the display picture 302 of the B stream from the PTS of the display picture 301 of the A stream at the connection point of the streams.
  • the PTS is a future PTS obtained by subtracting the PTS_Offset value from the PTS of the image data corresponding to the I picture 311.
  • Image data having the closest PTS may be detected from the B stream. That is, the corresponding data detection unit 103 detects the B picture 312 as the corresponding encoded picture of the I picture 311.
  • the DTS and PTS in the packet header correspond to the first access unit in the PES packet.
  • the decoding time and display time of the second and subsequent access units in the PES packet are the POC (Picture Order Count) value, which is a parameter indicating the display order, or BP_SEI (Buffering Period_SEI) and PT_SEI (in SEI). It is calculated from at least one of (Picture Timing_SEI) information.
  • BP_SEI is included in a specific access unit such as the head of a video sequence
  • PT_SEI is a value included in all access units. Since this PT_SEI includes the difference value of the decoding time from the access unit including the immediately preceding BP_SEI and the difference value of the decoding time and the display time in each access unit, the decoding time of each access unit and Display time can be calculated.
  • the decoding processing unit 104 decodes data depending on whether or not the corresponding data is reference image data, and whether or not image data to be referred to when decoding the corresponding data is generated. Is different.
  • whether or not the corresponding data can be the reference image data can be determined from the flag nal_ref_idc stored in the header of the NAL unit among the data included in the corresponding data.
  • nal_ref_idc 1
  • the corresponding data is determined as reference image data.
  • nal_ref_idc 0
  • the decoding processing unit 104 determines the B picture 202 from the nal_ref_idc of the image data indicating the B picture 202. Determines that it is not necessary for decoding other image data, the image data indicating the I picture 207 and the image data indicating the P picture 208 are decoded, and the two decoded pictures obtained are decoded image storage units. To 105.
  • the decoding processing unit 104 determines that the P picture 206 is the reference image data from the nal_ref_idc of the image data indicating the P picture 206. If it is determined that the P picture 206 is decoded, the P picture 206 is decoded and the obtained decoded picture is output to the decoded image storage unit 105.
  • the image data indicating the B picture 202 the image data indicating the I picture 207, the image data indicating the P picture 208, and the image data indicating the B picture 202 are decoded, and three decoded pictures obtained are obtained. It may be configured to output to the decoded image storage unit 105. Further, only the image data corresponding to the B picture 202 may be decoded and the obtained decoded picture may be output to the decoded image storage unit 105. In this case, since the image data corresponding to the B picture 202 is decoded, the switching efficiency can be further improved when the playback stream is switched.
  • FIG. 5 is a flowchart showing an example of the reproduction operation of the encoded stream reproduction device 100 according to the present embodiment.
  • step S101 when the operation reception unit 108 detects the reproduction operation of the A stream from the user, the operation reception unit 108 notifies the control unit 107 to that effect and proceeds to step S102 (step S101).
  • the control unit 107 Upon receiving the notification from the operation receiving unit 108, the control unit 107 controls the data reading unit 102.
  • the data reading unit 102 corresponds to image data corresponding to one picture included in the A stream recorded on the recording medium 101. Is output to the decryption processing unit 104 and the corresponding data detection unit 103, and the process proceeds to step S103 and step S104 (step S102).
  • the decoding processing unit 104 decodes the image data read by the data reading unit 102, outputs the decoded image data to the decoded image storage unit 105, and proceeds to step S105 (step S103). .
  • the decoding processing unit 104 performs decoding of the image data included in the B stream corresponding to the read image data of the A stream in parallel with step S103.
  • the decoded picture is output to the decoded image storage unit 105, and the process proceeds to step S105 (step S104). Note that the decoding process of the image data included in the B stream will be described in detail later with reference to FIG.
  • control unit 107 may be an operation of processing Step S103 and Step S104 in parallel, or may be an operation of processing Step S103 after processing Step S104. After processing Step S103, The operation of processing S104 may be performed.
  • the decoded image accumulation unit 105 Based on the control by the control unit 107, the decoded image accumulation unit 105 accumulates the decoded picture obtained when the decoding processing unit 104 decodes the image data, and proceeds to step S106 (step S105).
  • the control unit 107 determines whether or not an operation signal related to the encoded stream switching operation is output from the output selection unit 109 (step S106). If the operation signal related to the switching operation of the encoded stream is not output (Yes in step S106), the process proceeds to step S107. If the operation signal is output (No in step S106), the process proceeds to step S109.
  • the output unit 106 reads out and outputs the decoded picture corresponding to the A stream from the decoded image storage unit 105, and proceeds to step S108 (step S107).
  • the control unit 107 determines the end of the reproduction operation of the encoded stream (step S108). If it is determined to end (Yes in step S108), the operation is ended as it is. On the other hand, when it is determined that the reproduction operation is continued (No in step S108), the process returns to step S102 and the same operation is repeated. Note that the determination that the playback operation ends may be performed by the control unit 107, or the encoded stream playback device 100 may include a determination unit that performs a separate determination.
  • step S106 when an operation signal related to the switching operation of the encoded stream is detected (No in step S106), the output unit 106 stores the decoded picture to be output in the decoded image storage unit 105 based on the control by the control unit 107. It is determined whether or not it has been performed (step S109). If it is determined that the decoded picture to be output is stored (Yes in step S109), the process proceeds to step S107. If it is determined that the decoded picture is not stored (No in step S109), the process proceeds to step S110. . This determination may be configured to be performed by the control unit 107, or the encoded stream reproduction device 100 may be configured to include a determination unit that determines whether or not the information is separately stored.
  • step S109 When it is determined that the decoded picture to be output is not accumulated (No in step S109), the control unit 107 controls the decoding processing unit 104, and the decoding processing unit 104 outputs from the output unit 106.
  • the scheduled decoded picture is decoded based on the decoded picture stored in the decoded image storage unit 105, output to the decoded image storage unit 105, and the process proceeds to step S107 (step S110).
  • PTS_A is the PTS included in the A stream image data read by the data reading unit 102
  • PTS_B is the PTS included in the B stream image data read by the data reading unit 102.
  • FIG. 6 is a flowchart showing an example of a decoding process of an encoded stream that is not being reproduced in the reproduction operation of the encoded stream reproduction device 100 according to the present embodiment.
  • the corresponding data detection unit 103 detects PTS_A of the image data read by the data reading unit 102 in step S102, and proceeds to step S202 (step S201).
  • the data reading unit 102 reads the image data included in the B stream from the recording medium 101, and proceeds to step S203 (step S202).
  • the corresponding data detection unit 103 compares the PTS_A detected in step S201 with the PTS_B included in the image data included in the B stream read in step S202 (step S203). If the PTS_B is a PTS that is future than the PTS_A and is the closest PTS (Yes in step S203), the corresponding data detection unit 103 sends the image data having the PTS_B as the corresponding data to the decoding processing unit 104. Output, and proceed to step S204. If not (No in step S203), the process returns to step S202, and the data reading unit 102 reads the next image data included in the B stream.
  • the decoding processing unit 104 determines whether the image data is reference image data based on nal_ref_idc included in the header of the corresponding data output in step S203. (Step S204). If the corresponding data is reference image data (Yes in step S204), the process proceeds to step S205. If it is not reference image data (No in step S204), the process proceeds to step S207.
  • step S204 determines whether or not the corresponding data has been decoded. If it has been decrypted (Yes in step S205), the operation ends. If not decrypted (No in step S205), the process proceeds to step S206.
  • the determination as to whether or not the decoding has been completed may be configured to use header information included in the image data such as PTS included in the corresponding data.
  • the decryption processing unit 104 decrypts the corresponding data output in step S203, and ends the operation (step S206).
  • step S207 determines whether or not the reference image data corresponding to the corresponding data has been decoded. If it is determined that the reference image data corresponding to the corresponding data has been decoded (Yes in step S207), the operation is ended as it is. If not (No in step S207), the process proceeds to step S208.
  • step S207 If it is determined that the reference image data has not been decoded (No in step S207), based on the control by the control unit 107, the decoding processing unit 104 decodes the reference image data and performs a decoded image storage unit. The operation is terminated (step S208).
  • step S203 If it is determined in step S203 that the image data of the B stream read from the recording medium 101 is not corresponding data, and the image data can be reference image data, the control unit 107 determines that the image recording medium The recording position in 101 may be stored. Thus, when the reference image is decoded in step S208, the reference image can be immediately read from the recording medium 101.
  • step S203 when it is determined in step S203 that the image data of the B stream read from the recording medium 101 is not the corresponding data, and the image data can be the reference image data, the decoding order of each image data and Information relating to the display order may be read from the header information or calculated, and the control unit 107 may store the information.
  • the reference image is detected and decoded in steps S206 to S208, the reference image is stored in the control unit 107 when the selection of the reference image is performed based on the decoding order or display order information.
  • Information regarding the decoding order and display order of each image data can be used.
  • control unit 107 may store the PTS_B of each image data of the B stream read from the recording medium 101 in step S202. As a result, if the corresponding data is included in the image data of the B stream that has already been read, the corresponding data can be detected immediately in step S203.
  • the encoded stream reproduction device 100 reads image data corresponding to one picture included in the A stream from the recording medium 101, and displays the read image data from the display time.
  • Image data included in a B stream having a display time in the future and having the closest display time is detected as corresponding data. If the detected corresponding data is reference image data, it is decoded and stored. If it is not reference image data, the reference image data corresponding to the corresponding data can be decoded and stored.
  • the operation of the encoded stream playback device 100 has been described by taking an example of switching between two encoded streams with different frame rates. However, when switching between encoded streams with the same frame rate. In the case where three or more encoded streams are switched, the stream can be switched with a relatively low processing capability by the same method.
  • a configuration has been described in which playback is switched from an encoded stream with a low frame rate to a high encoded stream.
  • the present invention is not limited to this configuration, and an encoded stream with a high frame rate is encoded with a low encoding rate. You may make it the structure which switches reproduction
  • it may be configured to switch to the B picture 203 after playing back to the P picture 208, or after playing back to a picture existing between the B picture 202 and the P picture 208, play back to the B picture 203. You may make it the structure switched. With the above configuration, even when playback is switched from an encoded stream with a high frame rate, there is an effect that the encoded stream can be switched seamlessly.
  • the encoded stream reproduction device can smoothly switch the reproduction of a plurality of encoded streams with a relatively low processing capability.
  • the encoded stream reproduction apparatus and the encoded stream reproduction method according to the present invention have been described based on the embodiments.
  • the present invention is not limited to these embodiments. Unless it deviates from the meaning of this invention, the form which carried out the various deformation
  • the configuration for reading a plurality of encoded streams recorded on the recording medium 101 has been described, but a plurality of encoded streams are acquired via a communication line such as a network. May be.
  • the encoded stream reproduction device 100 may include a CPU (Central Processing Unit), a system LSI, a RAM, a ROM, a HDD (Hard Disk Drive), a network interface, and the like. Furthermore, a drive device that can read out a portable recording medium such as a DVD-RAM, a Blu-ray disc, and an SD memory card may be provided.
  • a CPU Central Processing Unit
  • a system LSI system LSI
  • RAM random access memory
  • ROM read-only memory
  • HDD Hard Disk Drive
  • a portable recording medium such as a DVD-RAM, a Blu-ray disc, and an SD memory card
  • the encoded stream reproduction device 100 may be an embedded system such as a digital video camera, a digital recorder, a digital TV, a game machine, or a mobile phone.
  • a program for controlling the encoded stream reproduction device 100 (hereinafter referred to as an encoding program) is installed in the HDD or ROM, and the encoded stream reproduction device 100 is executed by executing the encoding program. These functions may be realized.
  • the encoding program may be recorded on a recording medium readable by a hardware system such as a computer system or an embedded system. Furthermore, the program may be read and executed by another hardware system via the recording medium. Thereby, each function of the encoded stream reproduction device 100 can be realized in another hardware system.
  • a computer system-readable recording medium an optical recording medium (for example, CD-ROM), a magnetic recording medium (for example, hard disk), a magneto-optical recording medium (for example, MO (Magneto Optical disk), etc.),
  • a semiconductor memory for example, a memory card).
  • the encoding program may be held in a hardware system connected to a network such as the Internet or a local area network. Furthermore, it may be downloaded to another hardware system via a network and executed. Thereby, each function of the encoded stream reproduction device can be realized in another hardware system.
  • a network there are a terrestrial broadcast network, a satellite broadcast network, a PLC (Power Line Communication), a mobile telephone network, a wired communication network (for example, IEEE802.3), and a wireless communication network (for example, IEEE802.11). .
  • the encoded stream playback device 100 includes a full custom LSI, a semi-custom LSI such as ASIC (Application Specific Integrated Circuit), FPGA (Field Programmable Gate Array), and CPLD (Complex Programmable Logic Programmable Logic Logic). It may be formed as a device or a dynamically reconfigurable device whose circuit configuration can be dynamically rewritten.
  • ASIC Application Specific Integrated Circuit
  • FPGA Field Programmable Gate Array
  • CPLD Complex Programmable Logic Programmable Logic Logic Logic
  • It may be formed as a device or a dynamically reconfigurable device whose circuit configuration can be dynamically rewritten.
  • the design data for forming each function of the encoded stream reproduction device 100 in the integrated circuit for encoding stream reproduction may be a program described in a hardware description language (hereinafter referred to as HDL program). Further, it may be a gate level netlist obtained by logical synthesis of the HDL program. Alternatively, macro cell information in which arrangement information, process conditions, and the like are added to a gate level netlist may be used. Further, it may be mask data in which dimensions, timing, and the like are defined.
  • VHDL Very high speed integrated circuit Hardware Description Language
  • Verilog-HDL, SystemC, and the like are available as hardware description languages.
  • the design data may be recorded on a recording medium readable by a hardware system such as a computer system or an embedded system.
  • the program may be read and executed by another hardware system via the recording medium. Then, the design data read by the other hardware system via these recording media may be downloaded to the programmable logic device via the download cable.
  • the design data may be held in a hardware system connected to a network such as the Internet or a local area network. Furthermore, it may be downloaded to another hardware system via a network and executed. And the design data acquired by other hardware systems via these networks may be downloaded to a programmable logic device via a download cable.
  • a network such as the Internet or a local area network.
  • the design data may be recorded in a serial ROM so that it can be transferred to the FPGA when energized.
  • the design data recorded in the serial ROM may be downloaded directly to the FPGA when energized.
  • the design data may be generated by a microprocessor and downloaded to the FPGA when energized.
  • the encoded stream reproduction apparatus has an effect that it is possible to smoothly switch the reproduction of a plurality of encoded streams with a relatively low processing capability. This is useful in a stream reproduction apparatus.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Signal Processing For Recording (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)

Abstract

　大きな処理能力を必要とせずに、複数の符号化ストリームの再生を円滑に切り替える。 　複数の符号化ストリームの１つを再生する符号化ストリーム再生装置（１００）であって、複数の符号化ストリームの１つを選択する出力選択部（１０９）と、選択された第１符号化ストリームと選択されていない第２符号化ストリームとを読み出すデータ読出し部（１０２）と、第１符号化ストリームに含まれる第１符号化ピクチャを復号化する復号化処理部（１０４）と、第１復号化ピクチャの表示時刻を示す時刻情報に基づいて、第１符号化ストリームから第２符号化ストリームに円滑に表示を切り替えるための第２符号化ピクチャを、第２符号化ストリームから検出する対応データ検出部（１０３）とを備え、復号化処理部（１０４）は、さらに、検出された第２符号化ピクチャ、及び、第２符号化ピクチャを復号化する際に参照される第３符号化ピクチャの少なくとも一方を復号化する。

Description

符号化ストリーム再生装置及び符号化ストリーム再生方法
　本発明は、符号化ストリーム再生装置及び符号化ストリーム再生方法に関し、特に、比較的低い処理能力で複数の符号化ストリームの再生を円滑に切り替える符号化ストリーム再生装置及び符号化ストリーム再生方法に関する。
　近年、デジタル映像処理技術の発展とともに、扱われる画像データは増加の一途を辿っており、画像符号化による画像データの圧縮符号化は必須となっている。代表的な符号化規格には、ＭＰＥＧ－２（Ｍｏｔｉｏｎ　Ｐｉｃｔｕｒｅ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ－２）やＨ．２６４／ＡＶＣ（Ｈ．２６４／Ａｄｖａｎｃｅｄ　Ｖｉｄｅｏ　Ｃｏｄｉｎｇ）などがある。
　これらの符号化規格では、所定数のピクチャをグループとして管理して符号化することが多い。ＭＰＥＧ－２におけるピクチャの管理単位であるＧＯＰ（Ｇｒｏｕｐ　ｏｆ　Ｐｉｃｔｕｒｅｓ）構造の一例を図７に示す。ＧＯＰは、他のピクチャを参照することなく符号化を行うＩピクチャ、表示順で前方のピクチャを参照して予測符号化を行うＰピクチャ、表示順で双方向のピクチャを参照して予測符号化を行うＢピクチャと呼ばれるピクチャで構成される。
　また、ＭＰＥＧ－２やＨ．２６４／ＡＶＣで符号化された画像データを記録するＢＤ－ＲＯＭ（Ｂｌｕ－ｒａｙ　Ｄｉｓｃ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）などの記録フォーマットには、マルチアングル機能が用意されている。マルチアングル機能とは、同じ時間に撮影された複数の符号化ストリームのそれぞれを復号化することで得られる複数の映像を切り替えて再生する機能である。
　図８は、同じ時間に複数の符号化ストリームが撮影された場合の各符号化ストリームの時間関係を表す図である。図８に示すように、任意のタイミングで再生中の符号化ストリームである第１ストリームから他の符号化ストリームである第２ストリームに切り替える場合について説明する。
　この場合、他の符号化ストリームの次の時刻のピクチャを復号化するには、そのピクチャよりも表示順で前方にあるＩピクチャから符号化ストリームの読出しを行い、復号化を始める必要がある。また、Ｈ．２６４／ＡＶＣ規格では、Ｐピクチャ及びＢピクチャの符号化時にＩピクチャを超えて他のピクチャを参照し符号化することが可能である。このため、さらにＩＤＲ（Ｉｎｓｔａｎｔａｎｅｏｕｓ　Ｄｅｃｏｄｉｎｇ　Ｒｅｆｒｅｓｈ）ピクチャまで遡って符号化ストリームの読み出しを行い、復号化を行う必要がある。なお、ＩＤＲピクチャとは、自ピクチャよりも前のピクチャを参照して符号化しないと定められたピクチャである。
　このように、符号化ストリームを切り替えようとしてから実際に符号化ストリームが切り替わるまでにタイムラグが発生し、シームレスな符号化ストリーム切り替えは実現できない。そこで、複数のストリームの映像を切り替えた際に、瞬時にシームレスな再生を実現するための技術が開示されている（例えば、特許文献１参照）。
　以下では、図９を参照しながら、特許文献１に開示されている従来の画像復号化装置の動作の概要を説明する。なお、図９は、同じ時間に撮影されて得られた２つの符号化ストリームが記録されている場合の従来の画像復号化装置４００の機能的な構成を示す機能ブロック図である。例えば、記録媒体４０１には、図８に示すような２つの符号化ストリームが記録されている。
　まず、データ読出し部４０２によって記録媒体４０１より読み出された２つの符号化ストリームは、逆多重化部４０３によって第１ストリームと第２ストリームとに分離される。第１ストリームは第１画像復号化部４０４によって、第２ストリームは第２画像復号化部４０５によって復号化され、画像蓄積部４０６に保持される。出力選択部４０８は、操作受付部４０９によって受け付けたユーザーの操作をもとに出力ストリームを選択する。出力切り替え部４０７は、出力選択部４０８によって選択されたストリームを表示部４１０に出力し、表示部４１０がストリームに含まれる映像を表示する。
　ユーザーからの出力ストリーム変更の操作を操作受付部４０９が受け付けた場合、出力選択部４０８はその操作情報に基づいて、出力ストリームとして選択するストリームを切り替える。ここで、２つのストリームはともに第１画像復号化部４０４及び第２画像復号化部４０５によって復号化された後、画像蓄積部４０６に保持されているため、出力の切り替えを瞬時に行うことができる。
特開２００６－２１７６３４号公報
　しかしながら、上記従来技術では、複数の符号化ストリームの再生を円滑に切り替えるためには大きな処理能力を必要とするという課題があった。具体的には、以下の通りである。
　特許文献１で開示されている従来の技術では、複数の符号化ストリームを同時に復号化する必要がある。このため、Ｎ本の符号化ストリームのシームレスな切り替えを実現するためには、１本の符号化ストリームのみの復号化に対応した復号化装置に比べて、Ｎ倍の復号化能力が必要とされる。また、画像を保持するバッファもＮ倍の容量が必要となる。
　また、図１０に示すように、撮影時のフレームレートが異なる複数の符号化ストリームがある場合を想定する。図１０は、６０ｆｐｓ（ｆｒａｍｅ　ｐｅｒ　ｓｅｃｏｎｄ）で撮影された符号化ストリームと２４０ｆｐｓで撮影された符号化ストリームとが同時に撮影された場合に得られた各符号化ストリームの時間関係を表す図である。
　この場合、特許文献１で開示されている従来の技術を用いてシームレスに符号化ストリームの切り替えを実現しようとすると、２つの符号化ストリームの時間関係を合わせるためには２４０ｆｐｓで撮影された符号化ストリームに関しては２４０ｆｐｓで復号化する必要がある。つまり、Ｎ倍速のフレームレートで撮影された符号化ストリームに関してはＮ倍速での復号化が必要である。
　以上のように、従来の技術を用いてシームレスに符号化ストリームの切り替えを実現するためには、復号化装置に大きな処理能力が必要とされた。
　そこで、本発明は、このような従来の課題を解決するためになされたもので、大きな処理能力を必要とすることなく、複数の符号化ストリームの再生を円滑に切り替える符号化ストリーム再生装置及び符号化ストリーム再生方法を提供することを目的とする。
　上記目的を達成するために、本発明に係る符号化ストリーム再生装置は、複数の符号化ストリームの１つを再生する符号化ストリーム再生装置であって、前記複数の符号化ストリームの１つを選択する選択部と、前記複数の符号化ストリームのうち、前記選択部によって選択された符号化ストリームである第１符号化ストリームと、前記選択部によって選択されていない符号化ストリームである第２符号化ストリームとを取得する取得部と、前記第１符号化ストリームに含まれる第１符号化ピクチャを復号化することで第１復号化ピクチャを生成する復号化部と、前記第１復号化ピクチャの表示時刻を示す時刻情報に基づいて、前記第１符号化ストリームから前記第２符号化ストリームに時間的に滑らかに表示を切り替えるための第２符号化ピクチャを、前記第２符号化ストリームから検出する対応データ検出部とを備え、前記復号化部は、さらに、前記対応データ検出部によって検出された第２符号化ピクチャ、及び、当該第２符号化ピクチャを復号化する際に参照される第３符号化ピクチャの少なくとも一方を復号化する。
　これにより、第１符号化ストリームを再生中に、第２符号化ストリームから第２符号化ピクチャを検出し、検出した第２符号化ピクチャ及び第３符号化ピクチャを復号化するので、複数の符号化ストリームの再生を円滑に切り替えることができる。このとき、第２符号化ストリームの全てのピクチャを復号化する訳ではないので、復号化部に大きな処理能力を必要とすることはない。
　また、前記符号化ストリーム再生装置は、さらに、前記復号化部によって復号化された復号化ピクチャを蓄積する蓄積部と、前記選択部によって選択された符号化ストリームから生成された復号化ピクチャを前記蓄積部から読み出して出力する出力部とを備え、前記出力部は、前記選択部が前記第２符号化ストリームを選択した時、出力中の第１復号化ピクチャに対応する前記第２符号化ピクチャが復号化されて得られた第２復号化ピクチャを出力してもよい。
　これにより、符号化ストリームの切り替えを行うときに出力中の第１符号化ピクチャに対応する第２復号化ピクチャを出力するので、円滑に複数の符号化ストリームの再生を切り替えることができる。
　また、前記復号化部は、前記選択部が前記第２符号化ストリームを選択した時、前記出力部が出力していた第１復号化ピクチャに対応する前記第２符号化ピクチャが復号化されていない場合に、当該第２符号化ピクチャを復号化することで前記第２復号化ピクチャを生成してもよい。
　これにより、出力時に目的となる復号化ピクチャが得られていない場合は、復号化してから出力するので、円滑に複数の符号化ストリームの再生を切り替えることができる。
　また、前記対応データ検出部は、前記第１復号化ピクチャの時刻情報が示す表示時刻以降の予め定められた期間内の時刻を示す時刻情報を有するピクチャを、前記第２符号化ピクチャとして検出してもよい。
　これにより、出力中の復号化ピクチャの表示時刻から所定期間内の表示時刻の符号化ピクチャを検出及び復号化するので、より円滑に複数の符号化ストリームの再生を切り替えることができる。
　また、前記対応データ検出部は、前記第１復号化ピクチャの時刻情報が示す表示時刻より未来の時刻であり、かつ、最も近い時刻を示す時刻情報を有するピクチャを、前記第２符号化ピクチャとして検出してもよい。
　これにより、出力中の復号化ピクチャの直後のピクチャを出力することができるので、シームレスに複数の符号化ストリームの再生を切り替えることができる。
　また、前記対応データ検出部は、前記第１復号化ピクチャの時刻情報が示す表示時刻以降、前記第１符号化ストリーム又は前記第２符号化ストリームの連続する符号化ピクチャ間を示す期間内の時刻を示す時刻情報を有するピクチャを、前記第２符号化ピクチャとして検出してもよい。
　これにより、より円滑に複数の符号化ストリームの再生を切り替えることができる。
　また、前記第１符号化ストリームのフレームレートは、前記第２符号化ストリームのフレームレートより低く、前記対応データ検出部は、前記第１復号化ピクチャの時刻情報が示す表示時刻より未来の時刻であり、かつ、前記表示時刻から、前記第１符号化ストリームの連続する符号化ピクチャ間を示す期間内の時刻を示す時刻情報を有するピクチャを、前記第２符号化ピクチャとして検出してもよい。
　これにより、より円滑に複数の符号化ストリームの再生を切り替えることができる。
　また、前記復号化部は、前記第２符号化ピクチャが他の符号化ピクチャを復号化する際に参照される参照ピクチャである場合、当該第２符号化ピクチャを復号化してもよい。
　これにより、第２符号化ピクチャが参照ピクチャではない場合は第２符号化ピクチャを復号化しないので、復号化部の処理負荷をより低減することができる。
　また、前記復号化部は、前記第２符号化ピクチャが他の符号化ピクチャを復号化する際に参照される参照ピクチャではなく、かつ、前記第３符号化ピクチャが復号化されていない場合、当該第３符号化ピクチャを復号化してもよい。
　これにより、第２符号化ピクチャが参照ピクチャではない場合は第２符号化ピクチャを復号化せず、第２符号化ピクチャの復号化時に参照される第３符号化ピクチャを復号化するので、第３符号化ピクチャを参照する符号化ピクチャの復号化が必要になった時に、直ちに符号化ピクチャを復号化することができる。
　なお、本発明は、符号化ストリーム再生装置として実現できるだけではなく、当該符号化ストリーム再生装置を構成する処理部をステップとする方法として実現することもできる。また、これらステップをコンピュータに実行させるプログラムとして実現してもよい。さらに、当該プログラムを記録したコンピュータ読み取り可能なＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ　Ｄｉｓｃ－ＲＯＭ）、ＤＶＤ－ＲＯＭ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｃ－ＲＯＭ）、ＢＤ－ＲＯＭなどの記録媒体、並びに、当該プログラムを示す情報、データ又は信号として実現してもよい。そして、それらプログラム、情報、データ及び信号は、インターネットなどの通信ネットワークを介して配信してもよい。
　また、上記の各符号化ストリーム再生装置を構成する構成要素の一部又は全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ　Ｓｃａｌｅ　Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されていてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ及びＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）などを含んで構成されるコンピュータシステムである。
　本発明の符号化ストリーム再生装置によれば、大きな処理能力を必要とすることなく、複数の符号化ストリームの再生を円滑に切り替えることができる。
図１は、本実施の形態の符号化ストリームの一例であるＭＰＥＧ２－ＴＳの構成を示す図である。 図２は、本実施の形態の符号化ストリーム再生装置の機能的な構成の一例を示すブロック図である。 図３は、本実施の形態の符号化ストリーム再生装置が再生する複数のストリームの一例を示す図である。 図４は、本実施の形態の符号化ストリーム再生装置が再生する複数のストリームの一例を示す図である。 図５は、本実施の形態の符号化ストリーム装置の再生動作の一例を示すフローチャートである。 図６は、本実施の形態の符号化ストリーム装置の再生動作のうち、再生中でない符号化ストリームの復号化処理の一例を示すフローチャートである。 図７は、ＧＯＰ構造の一例を示す図である。 図８は、同一のフレームレートの２つの符号化ストリームの時間関係を示す図である。 図９は、従来の画像復号化装置の機能的な構成を示すブロック図である。 図１０は、異なるフレームレートの２つの符号化ストリームの時間関係を示す図である。
　以下、本発明に係る符号化ストリーム再生装置の実施の形態について、図面を参照しながら説明する。
　（実施の形態１）
　本実施の形態の符号化ストリーム再生装置は、外部又は内部に着脱可能に配置された記録媒体に記録された複数の符号化ストリームの１つを再生する。具体的には、記録媒体から複数の符号化ストリームを読み出し、読み出した符号化ストリームの復号化を行い、復号化により得られた復号化ピクチャをディスプレイなどの外部装置に出力する構成を想定する。
　まず、本実施の形態において、符号化ストリーム再生装置が記録媒体から読み出す符号化ストリームについて図面を参照しながら説明する。なお、本実施の形態においては、記録媒体からＭＰＥＧ２－ＴＳ（Ｔｒａｎｓｐｏｒｔ　Ｓｔｒｅａｍ）で多重化された符号化ストリームを読み出す構成で記述するが、ＭＰＥＧ２－ＰＳ（Ｐｒｏｇｒａｍ　Ｓｔｒｅａｍ）などの多重化方式を利用する構成でも構わない。また、符号化ストリームに含まれる画像データは、Ｈ．２６４／ＡＶＣを用いて符号化されているものとするが、画像データに適用される符号化方式は、例えば、ＭＰＥＧ－２、ＶＣ－１など、どのような符号化方式を用いても構わない。
　（ＭＰＥＧ２－ＴＳの構成）
　図１は、本実施の形態の符号化ストリームの一例であり、記録媒体に記録されるＭＰＥＧ２－ＴＳの構成を示す図である。図１に示すＭＰＥＧ２－ＴＳは、ＴＳパケット１１と呼ばれる固定長のパケットで構成される。ＴＳパケット１１により、映像や音声のデータが格納されたＰＥＳ（Ｐａｃｋｅｔｉｚｅｄ　Ｅｌｅｍｅｎｔａｒｙ　Ｓｔｒｅａｍ）パケット１２、及び、ＰＣＲ（Ｐｒｏｇｒａｍ　Ｃｌｏｃｋ　Ｒｅｆｅｒｅｎｃｅ）１３と呼ばれる基準クロック情報などが伝送される。
　ＰＥＳパケット１２のＰＥＳパケットヘッダ１４には、ＰＥＳパケットペイロード１５に格納された映像や音声の復号化単位であるアクセスユニットの表示及び復号化タイミングをそれぞれ表すＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ　Ｔｉｍｅ　Ｓｔａｍｐ）、及び、ＤＴＳ（Ｄｅｃｏｄｉｎｇ　Ｔｉｍｅ　Ｓｔａｍｐ）と呼ばれる時刻情報が格納される。
　また、映像データの各アクセスユニットには１ピクチャ分の符号化データが含まれている。具体的には、符号化ストリームに含まれるピクチャの画像データと、ＳＰＳ（Ｓｅｑｕｅｎｃｅ　Ｐａｒａｍｅｔｅｒ　Ｓｅｔ）やＰＰＳ（Ｐｉｃｔｕｒｅ　Ｐａｒａｍｅｔｅｒ　Ｓｅｔ）などの画像復号化に用いられるパラメータと、各ピクチャのタイミング情報などの付加情報を含むＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ　Ｅｎｈａｎｃｅｍｅｎｔ　Ｉｎｆｏｒｍａｔｉｏｎ）などの情報を格納した複数のＮＡＬ（Ｎｅｔｗｏｒｋ　Ａｂｓｔｒａｃｔｉｏｎ　Ｌａｙｅｒ）ユニット１６という単位のデータで、各アクセスユニットは構成される。また、各ＮＡＬユニット１６のヘッダには、そのＮＡＬユニットに他のＮＡＬユニットから参照され得るデータが含まれているか否かを示す情報（ｎａｌ＿ｒｅｆ＿ｉｄｃ）が含まれている。
　以下、本実施の形態における符号化ストリーム再生装置について図面を参照しながら説明する。
　（符号化ストリーム再生装置１００の構成）
　図２は、本実施の形態の符号化ストリーム再生装置１００の構成の一例を示すブロック図である。同図の符号化ストリーム再生装置１００は、記録媒体１０１と、データ読出し部１０２と、対応データ検出部１０３と、復号化処理部１０４と、復号画像蓄積部１０５と、出力部１０６と、制御部１０７と、操作受付部１０８と、出力選択部１０９とを備える。
　本実施の形態においては、再生するストリームとして選択されている符号化ストリームをＡストリーム、その他の符号化ストリームをＢストリームと記載する。符号化ストリーム再生装置１００の動作当初は、再生するストリームとしてＡストリームが選択されており、その後、ユーザー操作などに基づいて、再生するストリームがＡストリームからＢストリームに変更される。
　以下では、図３に示すような６０ｆｐｓのフレームレートを有するＨ．２６４規格で符号化された符号化ストリームがＡストリームとして選択され、２４０ｆｐｓのフレームレートを有するＨ．２６４規格で符号化された符号化ストリームがＢストリームとして選択されている場合について説明する。
　記録媒体１０１は、複数の符号化ストリームを蓄積することが可能な記録手段である。記録媒体１０１には、例えば、図３に示すＡストリームとＢストリームとが記録されている。記録媒体１０１に記録されている情報は、主に符号化ストリームであるが、静止画データや音楽データなど、どのようなデータを蓄積する構成にしてもよい。また、記録媒体１０１は、符号化ストリーム再生装置１００が内蔵するメモリなどであってもよく、又は、ＤＶＤ－ＲＡＭ、ＢＤ－ＲＡＭ、ＳＤメモリカードなどの着脱可能な記録媒体であってもよい。
　データ読出し部１０２は、出力選択部１０９によって選択された符号化ストリームと、出力選択部１０９によって選択されていない符号化ストリームとを取得する取得部の一例である。具体的には、データ読出し部１０２は、記録媒体１０１に記録された複数の符号化ストリームのうち、再生中の符号化ストリームであるＡストリームと、他の符号化ストリームであるＢストリームとを記録媒体１０１から読み出す。例えば、データ読出し部１０２は、内部バッファ１１０を備え、制御部１０７の制御に基づいて、記録媒体１０１に記録されるＡストリーム及びＢストリームから１ピクチャ分に相当する画像データの読出しを行い、内部バッファ１１０に蓄積する。
　内部バッファ１１０は、制御部１０７が画像データの読出しを行う際に利用され、読み出された画像データを一時的に記憶するメモリである。内部バッファ１１０に一時的に記録される情報は、主に符号化された画像データであるが、制御信号などを記録するようにしても構わない。内部バッファ１１０は、ＤＲＡＭ（Ｄｙｎａｍｉｃ　ＲＡＭ）、ＳＲＡＭ（Ｓｔａｔｉｃ　ＲＡＭ）、フラッシュメモリ、又は強誘電体メモリなどの記録可能な手段であればどのようなものを用いても構わない。
　対応データ検出部１０３は、出力部１０６から出力されているＡストリームに含まれる復号化ピクチャの時刻情報に基づいて、ＡストリームからＢストリームに時間的に滑らかに表示を切り替えるための対応符号化ピクチャをＢストリームから検出する。例えば、対応データ検出部１０３は、出力部１０６から出力されているＡストリームに対応する復号化ピクチャの時刻情報が示す表示時刻以降の予め定められた期間内の時刻を示す時刻情報を有する符号化ピクチャを、対応符号化ピクチャとしてＢストリームから検出する。
　予め定められた期間は、例えば、Ａストリーム又はＢストリームの連続する符号化ピクチャ間を示す期間、すなわち、Ａストリーム又はＢストリームのフレームレートの逆数が示す期間である。図３に示すように、Ａストリーム及びＢストリームのフレームレートが異なっている場合、フレームレートが低いＡストリームの連続するピクチャ間に含まれるピクチャを対応符号化ピクチャとしてＢストリームから検出する。
　例えば、図３に示す例では、Ｉピクチャ２０１に対応する対応データが表すピクチャ（対応符号化ピクチャ）は、Ｉピクチャ２０７からＢピクチャ２０４の間に含まれる４枚のピクチャである。あるいは、Ｉピクチャ２０１に対応する対応データが表すピクチャは、同時刻のＩピクチャ２０７であってもよい。
　本実施の形態では、より好ましい例として、対応データ検出部１０３は、出力部１０６から出力されているＡストリームに含まれる復号化ピクチャの時刻情報が示す表示時刻より未来の時刻であり、かつ、最も近接する時刻を示す時刻情報を有する符号化ピクチャを、対応符号化ピクチャとして検出する。具体的には、対応データ検出部１０３は、制御部１０７の制御に基づいて、データ読出し部１０２が読み出したＢストリームに含まれる１ピクチャ分に相当する画像データのうち、出力部１０６から出力している復号化ピクチャに対応する画像データが有する表示時刻よりも未来の時刻であって、かつ、最も近接した表示時刻を有する画像データを、対応データとして検出する。
　例えば、図３に示す例では、Ｉピクチャ２０１に対応する対応データが表すピクチャ（対応符号化ピクチャ）は、Ｂピクチャ２０２である。Ｂピクチャ２０３に対応する対応データが表すピクチャは、Ｂピクチャ２０４である。Ｂピクチャ２０５に対応する対応データが表すピクチャは、Ｐピクチャ２０６である。
　なお、対応データ検出部１０３は、出力部１０６から出力している復号化ピクチャの表示時刻に基づいて対応データを検出する構成に限定するものではなく、復号画像蓄積部１０５に蓄積される復号化ピクチャを用いて検出する構成でもよい。あるいは、対応データ検出部１０３は、記録媒体１０１に記憶されている符号化ストリームから直接検出する構成でもよく、どのような構成を用いても構わない。
　復号化処理部１０４は、データ読出し部１０２によって読み出されたＡストリームに含まれる符号化ピクチャを復号化することで復号化ピクチャを生成する。さらに、復号化処理部１０４は、対応データ検出部１０３によって検出された対応符号化ピクチャ、及び、対応符号化ピクチャを復号化する際に参照されるピクチャの少なくとも一方を復号化する。
　具体的には、復号化処理部１０４は、制御部１０７の制御に基づいて、ＰＣＲを基に、ＳＴＣ（Ｓｙｓｔｅｍ　Ｔｉｍｅ　Ｃｌｏｃｋ）を生成し、データ読出し部１０２によって読み出されたＡストリームに含まれる１ピクチャ分に相当する画像データが有するＤＴＳ、又は、対応データ検出部１０３によって検出された対応データが有するＤＴＳと、生成したＳＴＣとが一致するタイミングで、画像データの復号化を行い、復号化した際に得られる復号画像を復号画像蓄積部１０５に出力する。
　なお、復号化処理部１０４は、対応データが、他のピクチャを復号化するときに参照される参照ピクチャを示す参照画像データであれば、当該対応データを復号化する。例えば、対応データがＩピクチャ又はＰピクチャを表す場合に、復号化処理部１０４は対応データを復号化する。
　一方で、復号化処理部１０４は、対応データを復号化するときに必要な参照ピクチャが復号化されていない場合、当該対応データが参照する符号化ピクチャを示す画像データを復号化する。例えば、対応データが、他のピクチャを復号化するときに参照されない非参照ピクチャを示す非参照画像データであれば、復号化処理部１０４は、当該対応データの復号化時に参照する画像データを復号化する。例えば、対応データがＢピクチャを表す場合に、復号化処理部１０４は、当該Ｂピクチャを復号化するときに参照されるＩピクチャ及びＰピクチャを復号化する。
　復号画像蓄積部１０５は、復号化処理部１０４によって生成された復号化ピクチャを蓄積する。また、復号画像蓄積部１０５は、Ｂストリームに含まれる対応符号化ピクチャを復号化する際に参照された参照ピクチャも蓄積する。具体的には、復号画像蓄積部１０５は、制御部１０７の制御に基づいて、復号化処理部１０４から出力される復号化ピクチャを蓄積するメモリである。例えば、復号画像蓄積部１０５は、ＤＲＡＭ、ＳＲＡＭ、フラッシュメモリ、又は強誘電体メモリなどの記録可能な手段であればどのようなものを用いても構わない。このように、再生中のＡストリームの復号化ピクチャだけでなく、再生中でないＢストリームの復号化ピクチャも蓄積しておくことで、ストリームを切り替える際に滑らかに表示を切り替えることができる。
　出力部１０６は、復号画像蓄積部１０５から、再生中の符号化ストリームから生成された復号化ピクチャを読み出して外部装置に出力する。また、出力選択部１０９によって、再生中の符号化ストリームと異なる符号化ストリームが選択されたときは、出力部１０６は、出力選択部１０９によって選択された符号化ストリームから生成された復号化ピクチャを、復号画像蓄積部１０５から読み出して出力する。
　具体的には、出力部１０６は、制御部１０７の制御に基づいて、復号画像蓄積部１０５に蓄積される復号化ピクチャのうち、出力選択部１０９が選択するＡストリームに対応する復号化ピクチャを読み出し、外部装置に出力する。そして、出力選択部１０９がＢストリームを選択した場合、出力部１０６は、Ｂストリームに対応する復号化ピクチャを復号画像蓄積部１０５から読み出して外部装置に出力する。
　なお、出力部１０６は、復号画像蓄積部１０５に出力対象となる復号化ピクチャが蓄積されているか否かを判定する。具体的には、復号化された画像データが有するＰＴＳとＳＴＣとを用いて判定を行う。出力対象となる復号化ピクチャは、出力部１０６が出力中のＡストリームの復号化ピクチャに対応する、Ｂストリームの符号化ピクチャが復号化して得られた復号化ピクチャである。出力対象となる復号化ピクチャが蓄積されていない場合は、出力部１０６は、制御部１０７を介して復号化処理部１０４に出力対象となる復号化ピクチャを生成するように、対応データを復号化させる。
　なお、外部装置は、例えば、ＰＤＰ（Ｐｌａｓｍａ　Ｄｉｓｐｌａｙ　Ｐａｎｅｌ）、液晶ディスプレイ、有機ＥＬ表示装置など、復号化ピクチャを表示可能な表示手段を備える装置であればどのようなものを利用しても構わない。また、判定する際の情報は、ＰＴＳ及びＳＴＣに限定されるものではなく、出力対象となる画像データ情報と、復号画像蓄積部１０５に蓄積される復号化ピクチャとをマッチング可能な情報であれば、どのようなものを用いても構わない。
　制御部１０７は、データ読出し部１０２、対応データ検出部１０３、復号化処理部１０４、復号画像蓄積部１０５、出力部１０６、操作受付部１０８、及び出力選択部１０９の動作を制御することにより、符号化ストリーム再生装置１００全体の動作を制御する。制御部１０７は、半導体素子などで実現可能であり、ハードウェアのみで構成しても構わない。あるいは、ハードウェアとソフトウェアとを組み合わせることにより実現しても構わない。また、複数のデバイスで構成しても構わない。なお、制御部１０７をソフトウェアで実装する場合は、マイクロプロセッサを用いることによって実現可能となる。
　操作受付部１０８は、ユーザーからの各種の指示を操作信号として受け付けることが可能である。操作受付部１０８は、受け付けた操作信号を制御部１０７に出力する。また、受け付けた操作信号が、出力部１０６から外部装置に出力する符号化ストリームの切り替え操作に関する操作信号である場合、操作受付部１０８は、当該操作信号を出力選択部１０９に出力する。なお、操作受付部１０８は、例えば、リモコンから送信される操作信号を受信した際に操作信号を検出する構成としてもよい。あるいは、操作受付部１０８は、押圧操作が可能なボタンなどを設け、当該押圧操作がなされた際に操作信号を検出する構成でもよく、どのような構成でも構わない。
　出力選択部１０９は、操作受付部１０８から出力される操作信号を検出すると、当該操作信号を基に、出力部１０６から出力する符号化ストリームを選択する選択信号を制御部１０７に出力する。
　続いて、本実施の形態の符号化ストリーム再生装置１００が備える対応データ検出部１０３の動作の一例について説明する。具体的には、Ｂストリームの対応データを検出処理の一例について説明する。
　符号化ストリームに含まれる１ピクチャ分に相当する画像データの表示時刻に関する時間関係は、画像データが有する表示時刻を表すＰＴＳより判別することができる。図３に示すＩピクチャ２０１に対応する対応データが表す対応符号化ピクチャを検出したい場合、各ストリームの時刻情報が同期しているとすると、Ｉピクチャ２０１に相当する画像データのＰＴＳよりも未来のＰＴＳであって、さらに、最も近いＰＴＳを有する画像データをＢストリームから検出すればよい。すなわち、対応データ検出部１０３は、Ｉピクチャ２０１の対応符号化ピクチャとして、Ｂピクチャ２０２を検出する。
　なお、フレームレートが一定であれば、表示順で連続したピクチャのＰＴＳの間隔も一定であるため、過去に読み出した画像データが有するＰＴＳを基に、ストリーム中の各ピクチャのＰＴＳを計算できる。このため、Ｂストリームの過去に読み出した画像データが有するＰＴＳを基に、Ｂストリームの各ピクチャのＰＴＳを予め計算しておくことで、Ｉピクチャ２０１のＰＴＳを読み出した時点で、対応データが有すべきＰＴＳを判定できる。
　一方、各ストリームの時刻情報が同期しておらず、ストリームの接続点のみが指定されている場合は、対応データ検出部１０３は、予め各ストリーム間の時刻情報のずれを算出しておく。図４に、各ストリームの時刻情報が同期していない場合の例を示す。
　この場合、対応データ検出部１０３は、ストリームの接続点でのＡストリームの表示ピクチャ３０１のＰＴＳからＢストリームの表示ピクチャ３０２のＰＴＳを引いたＰＴＳ＿Ｏｆｆｓｅｔという値を予め算出し、保持しておく。ここで、Ｉピクチャ３１１に対応する対応データが表す対応符号化ピクチャを検出したい場合、Ｉピクチャ３１１に相当する画像データのＰＴＳからＰＴＳ＿Ｏｆｆｓｅｔ値を引いたＰＴＳよりも未来のＰＴＳであって、さらに、最も近いＰＴＳを有する画像データをＢストリームから検出すればよい。すなわち、対応データ検出部１０３は、Ｉピクチャ３１１の対応符号化ピクチャとして、Ｂピクチャ３１２を検出する。
　以降、簡単のため各ストリームの時刻情報が同期している場合を想定し説明を行うが、各ストリームの時刻情報が同期していない場合も同様に、上記の方法により各ストリームの画像データの表示時刻に関する時間関係を判別することができる。
　なお、複数のアクセスユニットが１つのＰＥＳパケットに多重化されている場合、パケットヘッダのＤＴＳ及びＰＴＳは、ＰＥＳパケット内の１番目のアクセスユニットに対応したものとなる。この場合、ＰＥＳパケット内の２番目以降のアクセスユニットの復号化時刻及び表示時刻は、表示順序を表すパラメータであるＰＯＣ（Ｐｉｃｔｕｒｅ　Ｏｒｄｅｒ　Ｃｏｕｎｔ）値、又は、ＳＥＩ内のＢＰ＿ＳＥＩ（Ｂｕｆｆｅｒｉｎｇ　Ｐｅｒｉｏｄ＿ＳＥＩ）及びＰＴ＿ＳＥＩ（Ｐｉｃｔｕｒｅ　Ｔｉｍｉｎｇ＿ＳＥＩ）情報のうち少なくとも１つから算出される。
　ＰＯＣ値によりアクセスユニットの復号化時刻及び表示時刻を表す場合、ＰＯＣ値とアクセスユニットの表示時刻との間に一定の関係が成り立ち、ＰＯＣ値より復号化時刻及び表示時刻を算出することができる。また、ＢＰ＿ＳＥＩは、ビデオシーケンスの先頭などの特定のアクセスユニットに含まれ、ＰＴ＿ＳＥＩは、全てのアクセスユニットに含まれる値である。このＰＴ＿ＳＥＩには、直前のＢＰ＿ＳＥＩを含むアクセスユニットからの復号化時刻の差分値、及び各アクセスユニットにおける復号化時刻と表示時刻との差分値が含まれることから、各アクセスユニットの復号化時刻及び表示時刻を算出できる。
　続いて、本実施の形態の符号化ストリーム再生装置１００が備える復号化処理部１０４及び制御部１０７の動作の一例について説明する。具体的には、対応データ検出部１０３によって検出された対応データを復号化する際の処理の一例について説明する。
　上述のように、復号化処理部１０４は、対応データが参照画像データであるか否か、及び、対応データを復号化する際に参照する画像データが生成されているか否かによって復号化するデータが異なる。
　ここで、対応データが参照画像データとなり得るか否かは、対応データが有するデータのうち、ＮＡＬユニットのヘッダに格納されるｎａｌ＿ｒｅｆ＿ｉｄｃというフラグから判定できる。ｎａｌ＿ｒｅｆ＿ｉｄｃが１の場合、対応データは参照画像データと判定される。一方、ｎａｌ＿ｒｅｆ＿ｉｄｃが０の場合、対応データは参照画像データではないと判定される。この判定は、例えば、復号化処理部１０４によって実行される。
　例えば、図３において、対応データ検出部１０３が、対応データとしてＢピクチャ２０２を示す画像データを検出した場合において、復号化処理部１０４は、Ｂピクチャ２０２を示す画像データのｎａｌ＿ｒｅｆ＿ｉｄｃから、Ｂピクチャ２０２が他の画像データの復号化に必要ではないと判定した場合、Ｉピクチャ２０７を示す画像データと、Ｐピクチャ２０８を示す画像データとを復号化し、得られる２つの復号化ピクチャを復号画像蓄積部１０５に出力する。
　また、対応データ検出部１０３が、対応データとしてＰピクチャ２０６を示す画像データを検出した場合において、復号化処理部１０４は、Ｐピクチャ２０６を示す画像データのｎａｌ＿ｒｅｆ＿ｉｄｃから、Ｐピクチャ２０６が参照画像データであると判定した場合、このＰピクチャ２０６を復号化し、得られる復号化ピクチャを復号画像蓄積部１０５に出力する。
　なお、Ｂピクチャ２０２を示す画像データに対し、Ｉピクチャ２０７を示す画像データと、Ｐピクチャ２０８を示す画像データと、Ｂピクチャ２０２を示す画像データとを復号化し、得られる３つの復号化ピクチャを復号画像蓄積部１０５に出力する構成にしても構わない。また、Ｂピクチャ２０２に対応する画像データのみを復号化し、得られる復号化ピクチャを復号画像蓄積部１０５に出力する構成にしても構わない。この場合、Ｂピクチャ２０２に対応する画像データを復号化するため、再生ストリームを切り替える際、さらに切り替えの効率化を図ることが可能となる。
　（符号化ストリーム再生装置１００全体の動作）
　以下では、上述したように構成された符号化ストリーム再生装置１００の動作について、図面を参照しながら説明する。
　図５は、本実施の形態の符号化ストリーム再生装置１００の再生動作の一例を示すフローチャートである。
　符号化ストリーム再生装置１００では、ユーザーからＡストリームの再生操作を操作受付部１０８が検出した場合、操作受付部１０８は、制御部１０７にその旨を通知し、ステップＳ１０２に進む（ステップＳ１０１）。
　制御部１０７は、操作受付部１０８から通知を受けると、データ読出し部１０２を制御し、データ読出し部１０２は、記録媒体１０１に記録されているＡストリームに含まれる１ピクチャ分に相当する画像データを読み出し、復号化処理部１０４及び対応データ検出部１０３に出力し、ステップＳ１０３及びステップＳ１０４に進む（ステップＳ１０２）。
　制御部１０７による制御に基づいて、復号化処理部１０４は、データ読出し部１０２によって読み出された画像データの復号化を行い、復号画像蓄積部１０５に出力し、ステップＳ１０５に進む（ステップＳ１０３）。
　また、制御部１０７による制御に基づいて、復号化処理部１０４は、ステップＳ１０３と並行して、読み出したＡストリームの画像データに対応するＢストリームに含まれる画像データの復号化を行い、得られる復号化ピクチャを復号画像蓄積部１０５に出力し、ステップＳ１０５に進む（ステップＳ１０４）。なお、Ｂストリームに含まれる画像データの復号化処理については、図６を用いて後で詳しく説明する。
　なお、制御部１０７は、ステップＳ１０３と、ステップＳ１０４とを並行して処理する動作でも構わないし、ステップＳ１０４を処理した後、ステップＳ１０３を処理する動作でも構わないし、ステップＳ１０３を処理した後、ステップＳ１０４を処理する動作でも構わない。
　制御部１０７による制御に基づいて、復号画像蓄積部１０５は、復号化処理部１０４において画像データを復号化した際に得られる復号化ピクチャを蓄積し、ステップＳ１０６に進む（ステップＳ１０５）。
　制御部１０７は、出力選択部１０９から符号化ストリームの切り替え操作に関する操作信号が出力されているか否かを判定する（ステップＳ１０６）。符号化ストリームの切り替え操作に関する操作信号が出力されていない場合（ステップＳ１０６でＹｅｓ）、ステップＳ１０７に進み、出力されている場合は（ステップＳ１０６でＮｏ）、ステップＳ１０９に進む。
　制御部１０７による制御に基づいて、出力部１０６は、復号画像蓄積部１０５からＡストリームに対応する復号化ピクチャを読み出し、出力し、ステップＳ１０８に進む（ステップＳ１０７）。
　制御部１０７は、符号化ストリームの再生動作の終了を判定する（ステップＳ１０８）。終了と判定された場合は（ステップＳ１０８でＹｅｓ）、そのまま動作を終了する。一方、再生動作が継続されると判定された場合は（ステップＳ１０８でＮｏ）、ステップＳ１０２に戻り、同様の動作を繰り返す。なお、再生動作が終了する判定は、制御部１０７において行う構成にしても構わないし、別途判定を行う判定部を符号化ストリーム再生装置１００が備える構成にしても構わない。
　一方、符号化ストリームの切り替え操作に関する操作信号を検出した場合（ステップＳ１０６でＮｏ）、制御部１０７による制御に基づいて、出力部１０６は、出力すべき復号化ピクチャが復号画像蓄積部１０５に蓄積されているか否かを判定する（ステップＳ１０９）。出力すべき復号化ピクチャが蓄積されていると判定された場合は（ステップＳ１０９でＹｅｓ）、ステップＳ１０７に進み、蓄積されていないと判定された場合は（ステップＳ１０９でＮｏ）、ステップＳ１１０に進む。なお、この判定は、制御部１０７で行う構成にしても構わないし、別途蓄積されているか否かを判定する判定部を符号化ストリーム再生装置１００が備える構成にしても構わない。
　出力すべき復号化ピクチャが蓄積されていないと判定された場合（ステップＳ１０９でＮｏ）、制御部１０７は、復号化処理部１０４を制御し、復号化処理部１０４は、出力部１０６から出力する予定の復号化ピクチャを、復号画像蓄積部１０５が蓄積している復号化ピクチャを基に復号化し、復号画像蓄積部１０５に出力し、ステップＳ１０７に進む（ステップＳ１１０）。
　（Ｂストリームを復号化する際の復号化処理部１０４の動作）
　次に、復号化処理部１０４がＢストリームに含まれる画像データを復号化する際の動作について図面を参照しながら説明する。なお、ＰＴＳ＿Ａを、データ読出し部１０２が読み出したＡストリームの画像データが有するＰＴＳとし、ＰＴＳ＿Ｂを、データ読出し部１０２が読み出したＢストリームの画像データが有するＰＴＳとする。
　図６は、本実施の形態の符号化ストリーム再生装置１００の再生動作のうち、再生中でない符号化ストリームの復号化処理の一例を示すフローチャートである。
　まず、制御部１０７による制御に基づいて、対応データ検出部１０３は、ステップＳ１０２においてデータ読出し部１０２が読み出した画像データのＰＴＳ＿Ａを検出し、ステップＳ２０２に進む（ステップＳ２０１）。
　次に、制御部１０７による制御に基づいて、データ読出し部１０２は、記録媒体１０１からＢストリームに含まれる画像データを読み出し、ステップＳ２０３に進む（ステップＳ２０２）。
　制御部１０７による制御に基づいて、対応データ検出部１０３は、ステップＳ２０１において検出したＰＴＳ＿Ａと、ステップＳ２０２において読み出されたＢストリームに含まれる画像データが有するＰＴＳ＿Ｂとを比較する（ステップＳ２０３）。ＰＴＳ＿ＢがＰＴＳ＿Ａよりも未来のＰＴＳであって、さらに、最も近接したＰＴＳである場合（ステップＳ２０３でＹｅｓ）、対応データ検出部１０３は、ＰＴＳ＿Ｂを有する画像データを対応データとして復号化処理部１０４へ出力し、ステップＳ２０４に進む。そうでない場合は（ステップＳ２０３でＮｏ）、ステップＳ２０２に戻り、データ読出し部１０２はＢストリームに含まれる次の画像データを読み出す。
　次に、制御部１０７による制御に基づいて、復号化処理部１０４は、ステップＳ２０３において出力された対応データのヘッダに有するｎａｌ＿ｒｅｆ＿ｉｄｃを基に、当該画像データが参照画像データであるか否かを判定する（ステップＳ２０４）。当該対応データが参照画像データである場合は（ステップＳ２０４でＹｅｓ）、ステップＳ２０５に進む。参照画像データではない場合は（ステップＳ２０４でＮｏ）、ステップＳ２０７に進む。
　当該対応データが参照画像データであると判定された場合（ステップＳ２０４でＹｅｓ）、制御部１０７は、当該対応データが復号化済みであるか否かを判定する（ステップＳ２０５）。復号化済みである場合は（ステップＳ２０５でＹｅｓ）、そのまま動作を終了する。復号化されていない場合は（ステップＳ２０５でＮｏ）、ステップＳ２０６に進む。なお、復号化済みであるか否かの判定は、対応データに含まれるＰＴＳなど、当該画像データが有するヘッダ情報を利用する構成にしても構わない。
　制御部１０７による制御に基づいて、復号化処理部１０４は、ステップＳ２０３において出力された対応データの復号化を行い、動作を終了する（ステップＳ２０６）。
　当該対応データが参照画像データではないと判定された場合（ステップＳ２０４でＮｏ）、制御部１０７は、当該対応データに対応する参照画像データが復号化されているか否かを判定する（ステップＳ２０７）。当該対応データに対応する参照画像データが復号化されていると判定された場合（ステップＳ２０７でＹｅｓ）、そのまま動作を終了する。そうではない場合は（ステップＳ２０７でＮｏ）、ステップＳ２０８に進む。
　参照画像データが復号化されていないと判定された場合（ステップＳ２０７でＮｏ）、制御部１０７による制御に基づいて、復号化処理部１０４は、当該参照画像データの復号化を行い復号画像蓄積部１０５に出力し、動作を終了する（ステップＳ２０８）。
　なお、ステップＳ２０３において、記録媒体１０１から読み出されたＢストリームの画像データが対応データではないと判定され、かつ、当該画像データが参照画像データとなり得る場合、制御部１０７が当該画像の記録媒体１０１における記録位置を記憶する構成としてもよい。これにより、ステップＳ２０８において参照画像を復号化する場合に、直ちに当該参照画像を記録媒体１０１から読み出すことができる。
　また、同様にステップＳ２０３において、記録媒体１０１から読み出されたＢストリームの画像データが対応データではないと判定され、かつ、当該画像データが参照画像データとなり得る場合、各画像データの復号順及び表示順に関する情報を、ヘッダ情報から読み出し、あるいは算出し、制御部１０７が記憶する構成としてもよい。これにより、ステップＳ２０６～ステップＳ２０８において参照画像の検出及び復号化処理を行う際に、当該参照画像の選択を復号順又は表示順の情報を基に実行する場合、制御部１０７に記憶されている各画像データの復号順及び表示順に関する情報を用いることができる。
　あるいは、ステップＳ２０２において、記録媒体１０１から読み出されたＢストリームの各画像データのＰＴＳ＿Ｂを、制御部１０７が記憶する構成としてもよい。これにより、既に読み出されたＢストリームの画像データに対応データが含まれる場合に、ステップＳ２０３において直ちに対応データを検出することができる。
　以上のように構成される本実施の形態に係る符号化ストリーム再生装置１００は、Ａストリームに含まれる１ピクチャ分に相当する画像データを記録媒体１０１から読み出し、読み出した画像データの表示時刻よりも未来の表示時刻であって、さらに、最も近接する表示時刻を有するＢストリームに含まれる画像データを対応データとして検出する。そして、検出した対応データが参照画像データである場合、復号化して蓄積し、参照画像データではない場合は、当該対応データに対応する参照画像データを復号化し蓄積することが可能となる。
　これにより、図３に示す２本の符号化ストリームのシームレスな切り替えを実現する場合、再生中のＡストリームの復号化と並行してＢストリームの復号化を行う必要があるが、Ｂストリームについては全体の約１／３のピクチャのみ（図３の例では、主にＩピクチャとＰピクチャ）を復号化すればよいため、低い処理能力で、シームレスなストリーム切り替えを実現できる。
　なお、本実施の形態においては、フレームレートの異なる２つの符号化ストリームを切り替える場合を例に、符号化ストリーム再生装置１００の動作の説明を行ったが、同じフレームレートの符号化ストリームを切り替える場合及び、３つ以上の符号化ストリームを切り替える場合などについても同様の方法により比較的低い処理能力でストリームの切り替えを実現できる。
　また、本実施の形態においては、フレームレートが低い符号化ストリームから高い符号化ストリームへ再生を切り替える構成について説明したが、この構成に限定されず、フレームレートの高い符号化ストリームから、低い符号化ストリームへ再生を切り替える構成にしても構わない。この場合、例えば、図３に示すようにＢピクチャ２０２からＢピクチャ２０３へ再生を切り替える際、Ｂピクチャ２０２から直ちにＢピクチャ２０３に再生を切り替える構成にしても構わない。あるいは、Ｐピクチャ２０８まで再生した後、Ｂピクチャ２０３に切り替える構成にしても構わないし、又は、Ｂピクチャ２０２と、Ｐピクチャ２０８との間に存在するピクチャまで再生した後、Ｂピクチャ２０３に再生を切り替える構成にしても構わない。上記の構成により、フレームレートが高い符号化ストリームから再生を切り替える場合であっても、シームレスに符号化ストリームを切り替えることが可能な効果を奏する。
　以上のように、本発明の実施の形態に係る符号化ストリーム再生装置は、比較的低い処理能力で、複数の符号化ストリームの再生を円滑に切り替えることができる。
　以上、本発明に係る符号化ストリーム再生装置及び符号化ストリーム再生方法について、実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を当該実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。
　例えば、本実施の形態の符号化ストリーム再生装置１００では、記録媒体１０１に記録された複数の符号化ストリームを読み出す構成について説明したが、ネットワークなどの通信回線を介して複数の符号化ストリームを取得してもよい。
　なお、本発明に係る符号化ストリーム再生装置１００は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、システムＬＳＩ、ＲＡＭ、ＲＯＭ、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）、ネットワークインターフェースなどを備えるとしてもよい。さらに、ＤＶＤ－ＲＡＭ、Ｂｌｕ－ｒａｙディスク、ＳＤメモリカードのような可搬性の記録媒体に対して読出し可能なドライブ装置を備えるとしてもよい。
　なお、符号化ストリーム再生装置１００は、デジタルビデオカメラ、デジタルレコーダ、デジタルテレビ、ゲーム機、携帯電話機などのような組み込みシステムとしてもよい。
　さらに、ＨＤＤ又はＲＯＭなどに、符号化ストリーム再生装置１００を制御するプログラム（以下、符号化プログラムと呼称する）がインストールされており、符号化プログラムが実行されることによって、符号化ストリーム再生装置１００の各機能が実現されるとしてもよい。
　なお、符号化プログラムは、コンピュータシステム、組み込みシステムなどのようなハードウェアシステムに読み取り可能な記録媒体に記録されているとしてもよい。さらに、記録媒体を介して他のハードウェアシステムに読み出されて実行されるとしてもよい。これによって、符号化ストリーム再生装置１００の各機能を他のハードウェアシステムに実現することができる。ここで、コンピュータシステム読み取り可能な記録媒体として、光学記録媒体（例えば、ＣＤ－ＲＯＭなど）、磁気記録媒体（例えば、ハードディスクなど）、光磁気記録媒体（例えば、ＭＯ（Ｍａｇｎｅｔｏ　Ｏｐｔｉｃａｌ　ｄｉｓｋ）など）、半導体メモリ（例えば、メモリカードなど）などがある。
　また、符号化プログラムは、インターネット、ローカルエリアネットワークなどのようなネットワークに接続されているハードウェアシステムに保持されているとしてもよい。さらに、ネットワークを介して他のハードウェアシステムにダウンロードされて実行されるとしてもよい。これによって、符号化ストリーム再生装置の各機能を他のハードウェアシステムに実現することができる。ここで、ネットワークとして、地上放送網、衛星放送網、ＰＬＣ（Ｐｏｗｅｒ　Ｌｉｎｅ　Ｃｏｍｍｕｎｉｃａｔｉｏｎ）、移動電話網、有線通信網（例えば、ＩＥＥＥ８０２．３など）、無線通信網（例えば、ＩＥＥＥ８０２．１１など）がある。
　なお、符号化ストリーム再生装置１００は、フルカスタムＬＳＩ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）などのようなセミカスタムＬＳＩ、ＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）やＣＰＬＤ（Ｃｏｍｐｌｅｘ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｌｏｇｉｃ　Ｄｅｖｉｃｅ）などのようなプログラマブルロジックデバイス、又は、動的に回路構成が書き換え可能なダイナミックリコンフィギュラブルデバイスに形成されるとしてもよい。
　さらに、符号化ストリーム再生装置１００の各機能を符号化ストリーム再生用の集積回路に形成する設計データは、ハードウェア記述言語によって記述されたプログラム（以下、ＨＤＬプログラムと称す）としてもよい。さらに、ＨＤＬプログラムを論理合成して得られるゲートレベルのネットリストとしてもよい。また、ゲートレベルのネットリストに、配置情報、プロセス条件などを付加したマクロセル情報としてもよい。また、寸法、タイミングなどが規定されたマスクデータとしてもよい。ここで、ハードウェア記述言語として、ＶＨＤＬ（Ｖｅｒｙ　ｈｉｇｈ　ｓｐｅｅｄ　ｉｎｔｅｇｒａｔｅｄ　ｃｉｒｃｕｉｔ　Ｈａｒｄｗａｒｅ　Ｄｅｓｃｒｉｐｔｉｏｎ　Ｌａｎｇｕａｇｅ）、Ｖｅｒｉｌｏｇ－ＨＤＬ、ＳｙｓｔｅｍＣなどがある。
　さらに、設計データは、コンピュータシステム、組み込みシステムなどのようなハードウェアシステムに読み取り可能な記録媒体に記録されているとしてもよい。さらに、記録媒体を介して他のハードウェアシステムに読み出されて実行されるとしてもよい。そして、これらの記録媒体を介して他のハードウェアシステムに読み取られた設計データが、ダウンロードケーブルを介して、プログラマブルロジックデバイスにダウンロードされるとしてもよい。
　または、設計データは、インターネット、ローカルエリアネットワークなどのようなネットワークに接続されているハードウェアシステムに保持されているとしてもよい。さらに、ネットワークを介して他のハードウェアシステムにダウンロードされて実行されるとしてもよい。そして、これらのネットワークを介して他のハードウェアシステムに取得された設計データが、ダウンロードケーブルを介して、プログラマブルロジックデバイスにダウンロードされるとしてよい。
　または、設計データは、通電時にＦＰＧＡに転送され得るように、シリアルＲＯＭに記録しておくとしてもよい。そして、シリアルＲＯＭに記録された設計データは、通電時に、直接、ＦＰＧＡにダウンロードされるとしてもよい。
　または、設計データは、通電時に、マイクロプロセッサによって生成されて、ＦＰＧＡにダウンロードされるとしてもよい。
　本発明に係る符号化ストリーム再生装置は、比較的低い処理能力で複数の符号化ストリームの再生を円滑に切り替えることができるという効果を奏し、例えば、フレームレートの異なる複数のストリームを復号化する符号化ストリーム再生装置において有用である。
１１　ＴＳパケット
１２　ＰＥＳパケット
１３　ＰＣＲ
１４　ＰＥＳパケットヘッダ
１５　ＰＥＳパケットペイロード
１６　ＮＡＬユニット
１００　符号化ストリーム再生装置
１０１、４０１　記録媒体
１０２、４０２　データ読出し部
１０３　対応データ検出部
１０４　復号化処理部
１０５　復号画像蓄積部
１０６　出力部
１０７　制御部
１０８、４０９　操作受付部
１０９、４０８　出力選択部
１１０　内部バッファ
２０１、２０７、３１１　Ｉピクチャ
２０２、２０３、２０４、２０５、３１２　Ｂピクチャ
２０６、２０８　Ｐピクチャ
３０１、３０２　表示ピクチャ
４００　画像復号化装置
４０３　逆多重化部
４０４　第１画像復号化部
４０５　第２画像復号化部
４０６　画像蓄積部
４０７　出力切り替え部
４１０　表示部

Claims (12)

  1. 　複数の符号化ストリームの１つを再生する符号化ストリーム再生装置であって、
    　前記複数の符号化ストリームの１つを選択する選択部と、
    　前記複数の符号化ストリームのうち、前記選択部によって選択された符号化ストリームである第１符号化ストリームと、前記選択部によって選択されていない符号化ストリームである第２符号化ストリームとを取得する取得部と、
    　前記第１符号化ストリームに含まれる第１符号化ピクチャを復号化することで第１復号化ピクチャを生成する復号化部と、
    　前記第１復号化ピクチャの表示時刻を示す時刻情報に基づいて、前記第１符号化ストリームから前記第２符号化ストリームに時間的に滑らかに表示を切り替えるための第２符号化ピクチャを、前記第２符号化ストリームから検出する対応データ検出部とを備え、
    　前記復号化部は、さらに、前記対応データ検出部によって検出された第２符号化ピクチャ、及び、当該第２符号化ピクチャを復号化する際に参照される第３符号化ピクチャの少なくとも一方を復号化する
    　符号化ストリーム再生装置。
  2. 　前記符号化ストリーム再生装置は、さらに、
    　前記復号化部によって復号化された復号化ピクチャを蓄積する蓄積部と、
    　前記選択部によって選択された符号化ストリームから生成された復号化ピクチャを前記蓄積部から読み出して出力する出力部とを備え、
    　前記出力部は、前記選択部が前記第２符号化ストリームを選択した時、出力中の第１復号化ピクチャに対応する前記第２符号化ピクチャが復号化されて得られた第２復号化ピクチャを出力する
    　請求項１記載の符号化ストリーム再生装置。
  3. 　前記復号化部は、前記選択部が前記第２符号化ストリームを選択した時、前記出力部が出力していた第１復号化ピクチャに対応する前記第２符号化ピクチャが復号化されていない場合に、当該第２符号化ピクチャを復号化することで前記第２復号化ピクチャを生成する
    　請求項２記載の符号化ストリーム再生装置。
  4. 　前記対応データ検出部は、前記第１復号化ピクチャの時刻情報が示す表示時刻以降の予め定められた期間内の時刻を示す時刻情報を有するピクチャを、前記第２符号化ピクチャとして検出する
    　請求項１～３のいずれか１項に記載の符号化ストリーム再生装置。
  5. 　前記対応データ検出部は、前記第１復号化ピクチャの時刻情報が示す表示時刻より未来の時刻であり、かつ、最も近い時刻を示す時刻情報を有するピクチャを、前記第２符号化ピクチャとして検出する
    　請求項４記載の符号化ストリーム再生装置。
  6. 　前記対応データ検出部は、前記第１復号化ピクチャの時刻情報が示す表示時刻以降、前記第１符号化ストリーム又は前記第２符号化ストリームの連続する符号化ピクチャ間を示す期間内の時刻を示す時刻情報を有するピクチャを、前記第２符号化ピクチャとして検出する
    　請求項４記載の符号化ストリーム再生装置。
  7. 　前記第１符号化ストリームのフレームレートは、前記第２符号化ストリームのフレームレートより低く、
    　前記対応データ検出部は、前記第１復号化ピクチャの時刻情報が示す表示時刻より未来の時刻であり、かつ、前記表示時刻から、前記第１符号化ストリームの連続する符号化ピクチャ間を示す期間内の時刻を示す時刻情報を有するピクチャを、前記第２符号化ピクチャとして検出する
    　請求項６記載の符号化ストリーム再生装置。
  8. 　前記復号化部は、前記第２符号化ピクチャが他の符号化ピクチャを復号化する際に参照される参照ピクチャである場合、当該第２符号化ピクチャを復号化する
    　請求項１～７のいずれか１項に記載の符号化ストリーム再生装置。
  9. 　前記復号化部は、前記第２符号化ピクチャが他の符号化ピクチャを復号化する際に参照される参照ピクチャではなく、かつ、前記第３符号化ピクチャが復号化されていない場合、当該第３符号化ピクチャを復号化する
    　請求項１～８のいずれか１項に記載の符号化ストリーム再生装置。
  10. 　複数の符号化ストリームの１つを再生する符号化ストリーム再生方法であって、
    　前記複数の符号化ストリームの１つを選択する選択ステップと、
    　前記複数の符号化ストリームのうち、前記選択ステップで選択された符号化ストリームである第１符号化ストリームと、前記選択ステップで選択されていない符号化ストリームである第２符号化ストリームとを取得する取得ステップと、
    　前記第１符号化ストリームに含まれる第１符号化ピクチャを復号化することで第１復号化ピクチャを生成する復号化ステップと、
    　前記第１復号化ピクチャの表示時刻を示す時刻情報に基づいて、前記第１符号化ストリームから前記第２符号化ストリームに時間的に滑らかに表示を切り替えるための第２符号化ピクチャを、前記第２符号化ストリームから検出する対応データ検出ステップとを含み、
    　前記復号化ステップでは、さらに、前記対応データ検出ステップで検出された第２符号化ピクチャ、及び、当該第２符号化ピクチャを復号化する際に参照される第３符号化ピクチャの少なくとも一方を復号化する
    　符号化ストリーム再生方法。
  11. 　請求項１０記載の符号化ストリーム再生方法をコンピュータに実行させるためのプログラム。
  12. 　複数の符号化ストリームの１つを再生する符号化ストリーム再生集積回路であって、
    　前記複数の符号化ストリームの１つを選択する選択部と、
    　前記複数の符号化ストリームのうち、前記選択部によって選択された符号化ストリームである第１符号化ストリームと、前記選択部によって選択されていない符号化ストリームである第２符号化ストリームとを取得する取得部と、
    　前記第１符号化ストリームに含まれる第１符号化ピクチャを復号化することで第１復号化ピクチャを生成する復号化部と、
    　前記第１復号化ピクチャの表示時刻を示す時刻情報に基づいて、前記第１符号化ストリームから前記第２符号化ストリームに時間的に滑らかに表示を切り替えるための第２符号化ピクチャを、前記第２符号化ストリームから検出する対応データ検出部とを備え、
    　前記復号化部は、さらに、前記対応データ検出部によって検出された第２符号化ピクチャ、及び、当該第２符号化ピクチャを復号化する際に参照される第３符号化ピクチャの少なくとも一方を復号化する
    　符号化ストリーム再生集積回路。
PCT/JP2009/003069 2008-07-04 2009-07-02 符号化ストリーム再生装置及び符号化ストリーム再生方法 WO2010001609A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US13/002,058 US20110116722A1 (en) 2008-07-04 2009-07-02 Coded stream reproduction device and coded stream reproduction method
JP2010518929A JP5258885B2 (ja) 2008-07-04 2009-07-02 符号化ストリーム再生装置及び符号化ストリーム再生方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008175410 2008-07-04
JP2008-175410 2008-07-04

Publications (1)

Publication Number Publication Date
WO2010001609A1 true WO2010001609A1 (ja) 2010-01-07

Family

ID=41465716

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/003069 WO2010001609A1 (ja) 2008-07-04 2009-07-02 符号化ストリーム再生装置及び符号化ストリーム再生方法

Country Status (3)

Country Link
US (1) US20110116722A1 (ja)
JP (1) JP5258885B2 (ja)
WO (1) WO2010001609A1 (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2498494A1 (en) * 2011-03-11 2012-09-12 Thomson Licensing Decoder and method at the decoder for synchronizing the rendering of contents received through different networks
JP2013152671A (ja) * 2012-01-26 2013-08-08 Kayaba Ind Co Ltd ドライブレコーダ
JP2014011744A (ja) * 2012-07-02 2014-01-20 Fujitsu Ltd 動画像符号化装置、動画像復号装置、動画像符号化方法および動画像復号方法
JP2016129399A (ja) * 2016-02-25 2016-07-14 富士通株式会社 動画像符号化装置、動画像復号装置、動画像符号化方法および動画像復号方法
JP2016167893A (ja) * 2016-06-23 2016-09-15 富士通株式会社 動画像復号方法
JP2016167894A (ja) * 2016-06-23 2016-09-15 富士通株式会社 動画像復号用コンピュータプログラム
JP2016167892A (ja) * 2016-06-23 2016-09-15 富士通株式会社 動画像符号化用コンピュータプログラム
JP2017228906A (ja) * 2016-06-21 2017-12-28 サイレックス・テクノロジー株式会社 再生装置、再生システム、再生装置の制御方法、及び、再生システムの制御方法
US11812062B2 (en) 2019-12-27 2023-11-07 Bytedance Inc. Syntax for signaling video subpictures
US11936917B2 (en) 2020-01-09 2024-03-19 Bytedance Inc. Processing of filler data units in video streams

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013172667A1 (en) * 2012-05-17 2013-11-21 Samsung Electronics Co., Ltd. Recording medium, reproducing device for performing trick play for data of the recording medium, and method thereof
EP3703379B1 (en) 2013-12-16 2022-06-22 Panasonic Intellectual Property Corporation of America Transmission method, reception method, transmitting device, and receiving device
JP6652320B2 (ja) * 2013-12-16 2020-02-19 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 送信方法、受信方法、送信装置及び受信装置
US11487631B2 (en) 2020-03-26 2022-11-01 International Business Machines Corporation Data refresh in a replication environment

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000165858A (ja) * 1998-09-24 2000-06-16 Sony Corp 画像再生装置および方法、並びに媒体
JP2001346206A (ja) * 2000-03-29 2001-12-14 Matsushita Electric Ind Co Ltd 復号装置、復号方法、多重化装置及び多重化方法
JP2004350237A (ja) * 2003-05-26 2004-12-09 Nhk Engineering Services Inc ストリーム切り替え装置、ストリーム切り替え方法及びストリーム切り替えプログラム、並びに、表示時刻補正装置
JP2006217634A (ja) * 2006-02-13 2006-08-17 Sony Corp 信号再生装置及び方法
JP2009060502A (ja) * 2007-09-03 2009-03-19 Sony Corp 電子機器、出力方法及びプログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3791114B2 (ja) * 1997-04-30 2006-06-28 ソニー株式会社 信号再生装置及び方法
US6611624B1 (en) * 1998-03-13 2003-08-26 Cisco Systems, Inc. System and method for frame accurate splicing of compressed bitstreams
US6414996B1 (en) * 1998-12-08 2002-07-02 Stmicroelectronics, Inc. System, method and apparatus for an instruction driven digital video processor
US6628838B1 (en) * 1999-05-13 2003-09-30 Sony Corporation Picture decoding apparatus, picture decoding method and recording medium for storing the picture decoding method
US6925097B2 (en) * 2000-03-29 2005-08-02 Matsushita Electric Industrial Co., Ltd. Decoder, decoding method, multiplexer, and multiplexing method
US7706445B2 (en) * 2001-05-31 2010-04-27 Sanyo Electric Co., Ltd. Image processing employing picture type conversion
KR101110009B1 (ko) * 2004-02-27 2012-02-06 교세라 가부시키가이샤 촬상 장치 및 화상 생성 방법
JP4364176B2 (ja) * 2005-06-20 2009-11-11 シャープ株式会社 映像データ再生装置及び映像データ生成装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000165858A (ja) * 1998-09-24 2000-06-16 Sony Corp 画像再生装置および方法、並びに媒体
JP2001346206A (ja) * 2000-03-29 2001-12-14 Matsushita Electric Ind Co Ltd 復号装置、復号方法、多重化装置及び多重化方法
JP2004350237A (ja) * 2003-05-26 2004-12-09 Nhk Engineering Services Inc ストリーム切り替え装置、ストリーム切り替え方法及びストリーム切り替えプログラム、並びに、表示時刻補正装置
JP2006217634A (ja) * 2006-02-13 2006-08-17 Sony Corp 信号再生装置及び方法
JP2009060502A (ja) * 2007-09-03 2009-03-19 Sony Corp 電子機器、出力方法及びプログラム

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2498494A1 (en) * 2011-03-11 2012-09-12 Thomson Licensing Decoder and method at the decoder for synchronizing the rendering of contents received through different networks
CN102685588A (zh) * 2011-03-11 2012-09-19 汤姆森特许公司 同步通过不同网络接收的内容的呈现的解码器及其方法
CN102685588B (zh) * 2011-03-11 2019-02-12 交互数字麦迪逊专利控股公司 同步通过不同网络接收的内容的呈现的解码器及其方法
US10063938B2 (en) 2011-03-11 2018-08-28 Thomson Licensing Decoder and method at the decoder for synchronizing the rendering of contents received through different networks
JP2013152671A (ja) * 2012-01-26 2013-08-08 Kayaba Ind Co Ltd ドライブレコーダ
JP2014011744A (ja) * 2012-07-02 2014-01-20 Fujitsu Ltd 動画像符号化装置、動画像復号装置、動画像符号化方法および動画像復号方法
JP2016129399A (ja) * 2016-02-25 2016-07-14 富士通株式会社 動画像符号化装置、動画像復号装置、動画像符号化方法および動画像復号方法
JP2017228906A (ja) * 2016-06-21 2017-12-28 サイレックス・テクノロジー株式会社 再生装置、再生システム、再生装置の制御方法、及び、再生システムの制御方法
JP2016167892A (ja) * 2016-06-23 2016-09-15 富士通株式会社 動画像符号化用コンピュータプログラム
JP2016167894A (ja) * 2016-06-23 2016-09-15 富士通株式会社 動画像復号用コンピュータプログラム
JP2016167893A (ja) * 2016-06-23 2016-09-15 富士通株式会社 動画像復号方法
US11812062B2 (en) 2019-12-27 2023-11-07 Bytedance Inc. Syntax for signaling video subpictures
US11936917B2 (en) 2020-01-09 2024-03-19 Bytedance Inc. Processing of filler data units in video streams
JP7457130B2 (ja) 2020-01-09 2024-03-27 バイトダンス インコーポレイテッド 異なるｓｅｉメッセージのデコーディング順序
US11956476B2 (en) 2020-01-09 2024-04-09 Bytedance Inc. Constraints on value ranges in video bitstreams
US11968405B2 (en) 2020-01-09 2024-04-23 Bytedance Inc. Signalling of high level syntax indication
US11985357B2 (en) 2020-01-09 2024-05-14 Bytedance Inc. Signalling of the presence of inter-layer reference pictures

Also Published As

Publication number Publication date
US20110116722A1 (en) 2011-05-19
JP5258885B2 (ja) 2013-08-07
JPWO2010001609A1 (ja) 2011-12-15

Similar Documents

Publication Publication Date Title
JP5258885B2 (ja) 符号化ストリーム再生装置及び符号化ストリーム再生方法
KR101215615B1 (ko) 동일 채널 내에서 서로 다른 코덱을 이용하여 부호화된 비디오 및 오디오 데이터 스트림의 재생을 위한 코덱 변경 방법 및 장치
CN100551074C (zh) 图像解码方法、图像解码装置和集成电路
CN1950907B (zh) 运动画面流产生装置，运动画面编码装置，运动画面多路复用装置和运动画面解码装置
US7509021B2 (en) Method and system for providing instant replay
KR20080081190A (ko) 데이터 스트림 처리 장치 및 방법
JP2007012218A (ja) 再生装置、ビデオ復号装置および同期再生方法
JP2008539638A (ja) パケットシーケンスとパケットに関するタイミング情報とを有するデータストリームを処理する装置及び方法
EP2012322B1 (en) Recording/reproducing apparatus, recording apparatus, reproducing apparatus, recording method, reproducing method and computer program
KR20070049098A (ko) 기록 장치 및 방법, 재생 장치 및 방법, 기록 매체, 및프로그램
JP2009521164A (ja) 入力フレームシーケンスから構成される入力データストリームの処理装置及び処理方法
JP4337248B2 (ja) 画像情報の伝送装置、伝送システムおよび伝送方法
JP2003169292A (ja) アフレコ装置、コンピュータプログラム、記録媒体、伝送方法及び再生装置
KR20070049504A (ko) 디지털 콘텐츠 재생 장치 및 그의 역방향 콘텐츠 저장 및재생방법
KR100975170B1 (ko) 화상 데이터 재생 장치 및 방법
JP2007158432A (ja) 映像記録装置
JP4763589B2 (ja) 再生装置、および、その再生方法
JP2013012265A (ja) 再生装置および再生方法
JP2004180282A (ja) ストリーム情報再生装置、ストリーム情報再生方法、プログラム及びデジタル放送受信機
KR100956821B1 (ko) Ｐｖｒ 재생 방법
JP2009060502A (ja) 電子機器、出力方法及びプログラム
JP2009081744A (ja) 映像素材再生装置と映像素材再生方法
JP2007259029A (ja) 映像信号記録装置、記録媒体、及び映像信号再生装置
JP2006332870A (ja) デジタル映像信号記録再生装置、デジタル映像信号記録再生プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2003179881A (ja) 光ディスク再生方法、光ディスク再生装置、ディジタル映像信号記録再生装置並びにその記録再生方法およびディジタル映像信号再生装置並びにその再生方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09773187

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2010518929

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 13002058

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 09773187

Country of ref document: EP

Kind code of ref document: A1