WO2009150836A1 - デコード装置、情報処理システムおよび動画像記録再生システム - Google Patents

デコード装置、情報処理システムおよび動画像記録再生システム Download PDF

Info

Publication number
WO2009150836A1
WO2009150836A1 PCT/JP2009/002617 JP2009002617W WO2009150836A1 WO 2009150836 A1 WO2009150836 A1 WO 2009150836A1 JP 2009002617 W JP2009002617 W JP 2009002617W WO 2009150836 A1 WO2009150836 A1 WO 2009150836A1
Authority
WO
WIPO (PCT)
Prior art keywords
decoding
unit
reference channel
frame
request
Prior art date
Application number
PCT/JP2009/002617
Other languages
English (en)
French (fr)
Inventor
寺井準一
吉崎哲也
山本泰宜
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Publication of WO2009150836A1 publication Critical patent/WO2009150836A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44016Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23424Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2389Multiplex stream processing, e.g. multiplex stream encrypting
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
    • H04N21/4385Multiplex stream processing, e.g. multiplex stream decrypting
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H04N7/012Conversion between an interlaced and a progressive signal

Definitions

  • the present invention relates to a decoding apparatus, an information processing system, and a moving image recording / reproducing system that are incorporated in a moving image recording / reproducing system for recording / reproducing moving image data and that decode and display a moving image from a selected video stream.
  • a video ES video elementary stream
  • the header information is analyzed, and the internal operation is switched based on the analysis result (see, for example, Patent Document 1).
  • 24P 24 frames / second progressive scan image
  • 60P 59.94 frame / second progressive scan image
  • This is generally called telecine conversion or 2-3 pulldown.
  • the frame frequency is set to 30 Hz (the field frequencies are 60 Hz and 60 i by repeating the creation of field images of 2 fields, 3 fields, 2 fields, and 3 fields in chronological order from one frame of movie film. (See, for example, Patent Document 2).
  • a decoding device built in a conventional information processing system is configured to output a video ES encoded in 24P by combining these techniques in 24P or convert it to 60P and output it.
  • the present invention has been made in view of the above-described conventional problems, and includes a single decoder, and in the case of taking a configuration in which bitstream data of a plurality of channels is decoded in a time division manner, different frame rates are provided.
  • An object of the present invention is to provide a decoding device, an information processing system, and a moving image recording / reproducing system capable of simultaneously decoding the bit streams.
  • a decoding device of the present invention is a decoding device that decodes a plurality of bitstreams in a time-sharing manner, provided corresponding to the plurality of bitstreams, and for each frame period of the corresponding bitstream.
  • a selection unit that selects one of the plurality of bitstreams as a reference channel, wherein the arbitration unit is a cycle corresponding to a frame period of the reference channel for a decoding request corresponding to the reference channel.
  • Arbitration to allocate a fixed reference cycle, the reference channel When a corresponding decode request and a decode request corresponding to a bit stream other than the reference channel compete, arbitration is performed so that a decode request corresponding to a bit stream other than the reference channel is assigned to a cycle other than the reference cycle.
  • the arbitration unit when the decoding request corresponding to the reference channel and the decoding request corresponding to the bit stream other than the reference channel compete with each other, the arbitration unit outputs a decoding request corresponding to the bit stream other than the reference channel, Arbitration may be performed to allocate to the next cycle of the reference cycle.
  • the decoding apparatus may further include a channel designating unit that accepts designation of a channel, and the selection unit may select the reference channel according to the designation accepted by the channel designating unit.
  • the decoding apparatus further includes a frame rate determining unit that determines a bit stream having the highest frame rate among the plurality of bit streams, and the selecting unit selects the bit stream having the highest frame rate as the reference channel. You may make it select as.
  • the decoding device further includes a conversion designating unit that receives designation of frame rate conversion, and the decoding request unit receives a bit stream other than the reference channel when the designation of frame rate conversion is accepted in the conversion designating unit. May be issued so that the frame rate is converted to the same frame rate as the reference channel.
  • an information processing system of the present invention includes the decoding device described above and a frame buffer device that stores moving image data output from the decoding device, and the decoding device further includes a state of the frame buffer device.
  • a frame buffer management unit that manages a bit stream other than the reference channel when a decode request corresponding to the reference channel and a decode request corresponding to a bit stream other than the reference channel compete with each other. The arbitration is performed so that the decoding request corresponding to the above is assigned to a cycle other than the reference cycle and to a cycle in which the frame buffer device has an empty space for one frame.
  • the decoding timing is converted according to the frame buffer availability, saving the number of frame buffer planes and avoiding overwriting.
  • the information processing system further reads out the moving image data stored in the frame buffer device and outputs it as a moving image signal, and encodes the moving image signal output from the display control device.
  • An encoder device, and the reference channel selection unit may select a bit stream corresponding to a moving image signal input to the encoder device as the reference channel.
  • the display control device further includes a display system connection terminal unit for supplying a moving image signal to an external display system, and the display control device supports a moving image corresponding to a bit stream other than the reference channel. Data may be read from the frame buffer device and supplied to the display system connection terminal unit as a moving image signal.
  • the moving image recording / playback system of the present invention includes the information processing system, a bit buffer device that stores a plurality of bit streams, a bit stream input device that supplies the plurality of bit streams to the bit buffer device, A storage device that stores moving image data output from the encoder device, and the bit buffer device supplies the plurality of bit streams to the plurality of decoding request units and the decoding unit.
  • bit streams of different frame rates can be decoded simultaneously.
  • FIG. 1 is a block diagram of an information processing system according to Embodiment 1 of the present invention.
  • FIG. 2 is a timing chart of the decoder device according to the first embodiment of the present invention.
  • FIG. 3 is a flowchart of the arbitration unit in Embodiment 1 of the present invention.
  • FIG. 4 is a timing chart of the decoder device according to the fifth embodiment of the present invention.
  • FIG. 5 is a flowchart of the arbitration unit in the fifth embodiment of the present invention.
  • the decoding device is a decoding device that decodes a plurality of bitstreams in a time division manner, and includes a single decoding unit that decodes a frame of each bitstream in a time division cycle, and the reference A reference channel is fixedly assigned to a cycle (referred to as a reference cycle) corresponding to a frame period of a reference channel, which is a bit stream, and a bit stream other than the reference channel is assigned to a cycle other than the reference cycle. Accordingly, when a plurality of bit stream frames are decoded in a time division manner by a single decoding unit, bit streams having different frame rates can be decoded simultaneously.
  • a moving picture recording / reproducing system including a decoding device and an information processing system in the present embodiment will be described with reference to the drawings.
  • FIG. 1 is a block diagram of a moving image recording / playback system according to the present embodiment.
  • the moving image recording / playback system shown in FIG. 1 includes an information processing system 1, a display system 2, a bit buffer device 105, a bit stream input device 106, and a storage device 107.
  • the information processing system 1 includes a decoding device 101, a frame buffer device 102, a display control device 103, an encoder device 104, a bit buffer device 105, a bit stream input device 106, and a storage device 107.
  • the decoding apparatus 101 includes a first decoding request unit 10101, a second decoding request unit 10112, an arbitration unit 10102, a decoding unit 10103, a channel specification unit 10104, a frame rate conversion specification unit 10105, and a frame buffer management unit 10106. .
  • the arbitration unit 10102 includes a frame rate determination unit 1101021 and a reference channel selection unit 1010202.
  • the display control device 103 includes a display system connection terminal unit 10301.
  • the information processing system 1 can connect the display system 2 via the display system connection terminal unit 10301.
  • the decoding device 101 performs time-division decoding of bit streams of a plurality of channels.
  • the first decoding request unit 10101 and the second decoding request unit 10112 analyze the additional information such as the image format of the original image such as the frame rate from the header information multiplexed in the bit stream, and the analysis result is sent to the arbitration unit 10102. hand over. If there is other information necessary for decoding, it may be simultaneously passed to the decoding unit. Also, a decoding request for requesting decoding of one frame is issued to the arbitration unit in synchronization with the synchronization signal at an appropriate cycle from the frame rate information. At the same time, the frame buffer management unit is notified of the decoding request. The decoding request from the first decoding request unit 10101 is notified to the arbitration unit 10102 and the frame buffer management unit 10106 as a request signal 10121.
  • the decoding request of the second decoding request unit 10112 is notified to the arbitration unit 10102 and the frame buffer management unit 10106 as a request signal 10122.
  • the decode request may include various information such as designation of a frame buffer to be output in addition to a simple request.
  • Bit stream analysis is analysis of bit stream header information stored in a bit buffer device.
  • a notification or a signal or the like may be notified by an argument instead of a signal. Further, in order to prevent the decode request from competing with other decode request units as much as possible, the decode request may be sent every clock cycle.
  • the arbitration unit 10102 arbitrates a decoding request for a plurality of channels.
  • the request signal from each decode request unit is shifted to a timing that does not conflict with other decode requests, and a request signal for each channel is sent to the decode unit. For example, a conflict is confirmed with respect to the decode requests received from the first decode request unit 10101 and the second decode request unit 10112, and when there is a decode request simultaneously from a plurality of channels, one decode request is shifted to a later cycle. .
  • the frame rate determination unit 1101021 confirms the frame rate received from the decoding request unit, and selects the channel with the highest frame rate. When there are a plurality of channels with the highest frame rate, one of the channels is fixedly selected. There are channel selection methods such as a channel with the smallest channel number, a channel with the largest channel number, and a decision method such as sequentially selecting channels.
  • the frame rate is an index indicating how many times the screen is updated per unit time. It is usually expressed in numerical values per second, expressed in fps (Frames Per Second) or frequency units.
  • the reference channel selection unit 1010202 selects one channel from among a plurality of bit streams to be decoded by the decoding device.
  • a channel may be fixedly determined, or may be selected by using a selection method described later.
  • the decoding unit 10103 includes a single decoder, and decodes bitstream data of a plurality of channels in a time division manner.
  • the decoding process is to decode a bit stream of a channel for which a decoding request has been made into moving image data.
  • the Ch0 and Ch1 bitstreams are decoded in a time division manner.
  • a logical decoder that decodes the Ch0 bitstream in a time division manner is referred to as Dec0
  • a logical decoder that decodes the Ch1 bitstream in a time division manner is referred to as Dec1.
  • Channel designation unit 10104 inputs channel selection information.
  • the channel selection information is configured as a signal, for example.
  • the channel designation unit 10104 is configured using registers, terminals, arguments, and the like, and notifies the reference channel selection unit of the channel to be selected.
  • the frame rate conversion specification unit 10105 inputs frame rate conversion selection information.
  • the frame rate conversion selection information is configured as a signal, for example.
  • the frame rate conversion specification unit 10105 is configured as, for example, a register or a terminal, and notifies the arbitration unit whether to convert a decoding request for a channel other than the reference channel into a frame rate equivalent to that of the reference channel.
  • the frame buffer management unit 10106 manages the state of the frame buffer device 102.
  • the frame buffer management unit 10106 estimates the free state of the frame buffer device from the request signals 10121 and 10122 from the first decode request unit 10101 and the second decode request unit 10112.
  • the frame buffer device 102 stores the moving image data decoded by the decoding unit 10103 in a time division manner.
  • the moving image data is a decoded bit stream.
  • the display control device 103 reads out the moving image data stored in the frame buffer device 102 and outputs it as a moving image signal or the like.
  • Output refers to display on a display, projection using a projector, printing on a printer, sound output, transmission to an external device, storage in a recording medium, processing results to other processing devices or other programs, etc. It is a concept that includes delivery.
  • the display system connection terminal unit 10301 passes the output of the display control device 103 to the outside of the information processing system 1.
  • the encoder device 104 encodes the moving image signal output from the display control device 103 into moving image data or a bit stream.
  • the encoded data is stored in the storage device 107.
  • the bit stream input device 106 supplies the bit stream to the bit buffer device 105.
  • the bit buffer device 105 stores a bit stream of a plurality of channels.
  • the frame rate of the Ch0 bit stream is 24 Hz
  • the frame rate of the Ch1 bit stream is 60 Hz.
  • FIG. 2 shows signals and states when the Ch0 and Ch1 bitstreams are decoded simultaneously.
  • (a) is a 120 Hz clock signal 201
  • (b) is a 60 Hz synchronization signal 202
  • (c) is a Ch0 request indicating the value of the request signal 10121 of the first decoding request unit 10101 for analyzing the Ch0 bitstream.
  • Signals 203 and (d) are Ch1 request signals 204 indicating the value of the request signal 10122 of the second decoding request unit 10112 for analyzing the Ch1 bit stream
  • (e) is a Ch0 request holding signal 205 held in the arbitration unit 10102.
  • (F) shows the Ch1 request holding signal 206 held in the arbitration unit 10102
  • (g) shows the decoding state 207 of the decoding unit.
  • Ch1 is fixedly selected as the reference channel for the sake of simplicity.
  • the reference channel may be selected using a selection method described later.
  • FIG. 3 shows an operation flow of the arbitration unit 10102.
  • steps S01 to S09 in the flowchart of FIG. 3 will be given below.
  • Step S01 The request holding signal of each Ch held in the arbitration unit 10102 is initialized to Lo.
  • Step S02 Wait for the next synchronization signal 202.
  • Step S03 The request holding signal of Ch for which decoding has been requested is set to Hi.
  • Step S04 If there is a Ch whose request holding signal is Hi, the process proceeds to step S02.
  • step S05 If there is a Ch whose request holding signal is Hi, the process proceeds to step S05.
  • Step S05 It is confirmed whether the decoding unit 10103 is empty. If not, the process proceeds to step S06.
  • step S07 If the decoding unit 10103 is empty, the process proceeds to step S07.
  • Step S06 Wait for the next cycle of the clock signal 201.
  • Step S07 Of the Ch whose request holding signal is Hi, the decoding request for the highest priority Ch is sent to the decoding unit.
  • Step S08 Wait for completion of decoding of Ch that has executed the decode request.
  • Detecting the completion of decoding may be performed by any method such as notification of completion from the decoding unit, completion timing measurement using a timer, rising of a clock, or the like.
  • Step S09 The request holding signal of Ch that has executed the decoding request is set to Lo.
  • the arbitrating unit 10102 is in the state of step S01 in FIG.
  • the Ch0 request holding signal 205 and the Ch1 request holding signal 206 are in the Lo state.
  • step S02 the process proceeds to step S02 and waits for the synchronization signal 202 to become Lo.
  • the synchronization signal 202 becomes Lo and the waiting is released.
  • step S03 the Ch0 request signal 203 and the Ch1 request signal 204 become Hi at the timing 311 in FIG.
  • the request signal from the decode request unit is output at the same time as the synchronization signal 202 becomes Hi, and is output for one cycle at the longest.
  • the Ch0 request holding signal 205 and the Ch1 request holding signal 206 inside the arbitration unit 10102 become Hi.
  • step S04 since the Ch0 request holding signal 205 and the Ch1 request holding signal 206 are Hi at the timing 311 in FIG. 2, the process proceeds to step S05.
  • step S05 since the decode state 207 is empty at the timing 311 in FIG. 2, the process proceeds to step S07.
  • step S07 there is a request to decode Ch0 and Ch1 at the timing 311 in FIG. 2, and in this embodiment, Ch1 is fixedly used as the reference channel, so Ch1 is given priority to the decoding unit 10103 for the first Ch1.
  • the decoding unit 10103 starts the first decoding of Ch1, and the decoding state 207 becomes the first decoding state of Dec1.
  • step S08 it waits for the completion of decoding of Ch1 that has executed the decoding request.
  • decoding is completed within one clock, and one cycle is awaited as a fixed completion timing using a timer. Simultaneously with the completion of decoding, the decoding state 207 becomes empty.
  • step S09 the Ch1 request holding signal 206 corresponding to Ch1 is set to Lo. After execution, the process proceeds to step S04.
  • the request signal 10121 of the first decode request unit 10101 and the request signal 10122 of the second decode request unit 10112 become Lo.
  • the arbitrating unit 10102 proceeds to step S05 because the Ch0 request holding signal 205 is Hi in step S04.
  • step S05 since the decoding state 207 is empty, the process branches to step S07.
  • step S07 since the decoding request is only Ch0, the decoding request for Ch0 is sent to the decoding unit 10103.
  • the decoding unit executes decoding of Ch0, and the decoding state 207 is the first decoding of Dec0.
  • step S08 the decoding completion is awaited, and the decoding state 207 becomes empty after the decoding is completed.
  • the request holding signal 205 of Ch0 that has been decoded in step S09 is set to Lo, and the process proceeds to step S04. Since all the request holding signals are Lo in step S04, the process branches to step S02. In step S02, the next synchronization signal is awaited.
  • step S03 Since the Ch1 request signal 204 becomes Hi at timing 313, the request holding signal 206 for Ch1 is set to Hi in Step S03.
  • step S04 since the Ch1 request holding signal 206 is Hi, the process branches to step S05.
  • step S05 since the decoding state 207 is empty, the process branches to step S07.
  • step S07 a decoding request for Ch1, which is the reference channel, is sent to the decoding unit 10103.
  • step S08 the decoding completion is awaited, and the decoding state 207 becomes empty after the decoding is completed.
  • step S07 the Ch1 request holding signal 206 is set to Lo, and the process proceeds to step S04. Since all the request holding signals are Lo in step S04, the process branches to step S02 and waits for the next synchronization signal in step S02.
  • step S02 Since the synchronization signal 202 becomes Lo at the timing 314 in FIG. 2, the synchronization signal waiting in step S02 is canceled, and the process proceeds to step S03. Since there is no decode request at timing 314, there is no Ch that sets the request holding signal to Hi. In step S04, since the request holding signal of all Ch is Lo, the process branches to step S02 and waits for the next synchronization signal.
  • the synchronization signal 202 becomes Lo
  • the synchronization signal waiting in step S02 is canceled, and the process proceeds to step S03. Thereafter, the operation is the same as that at the timing 311.
  • bit streams of different frame rates can be decoded simultaneously.
  • Ch1 is fixedly selected as the reference channel, but reference channel selection information may be passed to the reference channel selection unit 1010202 using the channel designation unit 10104 in FIG.
  • the channel designation unit 10104 may be configured to accept channel designation from the outside as reference channel selection information.
  • the reference channel selection unit 1010202 may select the reference channel according to the designation received by the channel designation unit 10104.
  • the reference channel can be set dynamically without being bound by the input channel of the bit stream.
  • the frame rate is passed from the first decoding request unit 10101 and the second decoding request unit 10112 in FIG. 1 to the frame rate determination unit 110201, and the frame rate determination unit 1101021 determines the channel with the highest frame rate, and the reference channel
  • the selection unit 1010202 may select the channel determined by the frame rate determination unit 11010201 as the reference channel.
  • This configuration makes it possible to automatically select the most effective reference channel.
  • (Embodiment 4) 1 is used to notify the arbitration unit 10102 of frame rate conversion selection information, convert each channel to the same frame rate as the reference channel, and the arbitration unit 10102 sends a decoding request to the decoding unit 10103. It may be done.
  • Frame rate conversion uses a method such as 2-3 pull down.
  • FIG. 4 is a timing chart in which the state of the frame buffer device 102 and the state of the display control device 103 are added to FIG. 4,
  • (h) is the Ch0 frame buffer state 208
  • (i) is the Ch1 frame buffer state 209
  • (j) is the Ch0 output synchronization signal 210
  • (k) is the Ch0 display state 211
  • (l) is the Ch1 output synchronization signal.
  • Reference numerals 212 and (m) denote the Ch1 display state 213.
  • (e) is a Ch0 request holding signal 215 obtained by replacing (e) Ch0 request holding signal 205 in FIG.
  • the Ch0 frame buffer state 208 and the Ch1 frame buffer state 209 represent the number of frame buffers in use.
  • the term “in use” refers to the period from when the frame buffer is reserved for outputting the decoding result to when it is output for display.
  • the Ch0 output synchronization signal 210 and the Ch1 output synchronization signal 212 are determined according to the frame rate of the output bit stream. If it is generated in synchronization with the clock signal 201 and has the same frame rate as that of the synchronization signal 202, it may be synchronized with the synchronization signal 202.
  • the number of frame buffers is one for simplicity of explanation. Needless to say, the number of planes may be appropriately added according to the encoding method to be decoded.
  • FIG. 5 is a flowchart in which step S10 is added to FIG. 3 and step S05 in FIG. 3 is replaced with step S15.
  • Step S10 Among the Chs having the request holding signal Hi, it is confirmed whether the frame buffer having the highest priority Ch is empty. If not, the process proceeds to step S06.
  • Step S15 It is confirmed whether the decoding unit 10103 is empty. If not, the process proceeds to step S06.
  • step S10 If the decoding unit 10103 is empty, the process proceeds to step S10.
  • FIG. 1 A block diagram illustrating an exemplary computing system 4 will be described with reference to FIGS. 1, 2, and 5.
  • FIG. 1 is a diagrammatic representation of FIG. 1
  • Timing 320 is in the same state as timing 310 in FIG.
  • the Ch0 frame buffer state 208 and the Ch1 frame buffer state 209 hold 0 in the initial state.
  • the Ch0 output synchronization signal 210 and the Ch1 output synchronization signal 212 output synchronization signals at an arbitrary timing.
  • Timing 321 is in the same state as timing 311 in FIG.
  • the decoding unit 10103 since the decoding unit 10103 is empty in step S15 in FIG. 5, the process branches to step S10. Since the frame buffer of Ch1 with high priority is empty, the process branches to step S07. In step S07, the decoding unit 10103 starts decoding Ch1, one frame buffer of Ch1 is secured, and the Ch1 frame buffer state 209 transitions to 1.
  • Timing 322 is in the same state as timing 312 in FIG.
  • the process branches to step S10. Since the frame buffer of Ch0, which is the only Ch whose request holding signal is Hi, is empty, the process branches to step S07.
  • step S07 the decoding unit 10103 starts decoding Ch0, one frame buffer of Ch0 is secured, and the Ch0 frame buffer state 208 transitions to 1.
  • Timing 323 is the same state as timing 313 in FIG.
  • the process branches to step S10. Since the frame buffer of Ch1 with high priority is empty, the process branches to step S07.
  • the Ch1 output synchronization signal 212 becomes Lo, the data in the Ch1 frame buffer is transferred from the frame buffer device 102 to the display control device 103, the Ch1 frame buffer state 209 becomes 0, and the Ch1 display state 213 is decoded for the first display. The result is displayed.
  • the Ch1 decoding is started simultaneously with the transition of the synchronization signal 202 to Hi, and the Ch1 frame buffer is secured, so the Ch1 frame buffer state 209 becomes 1.
  • Timing 324 is in the same state as timing 314 in FIG.
  • Timing 325 is in the same state as timing 315 in FIG.
  • the second decoding of Ch1 is executed by the same operation as the timing 323.
  • the timing 326 is substantially the same as the timing 316 in FIG. 2, but the second decoding of Ch0 is not started, and the Ch0 request holding signal 215 remains Hi.
  • step S06 the process waits for the next cycle of the clock signal 201 and proceeds to step S04.
  • Ch1 request signal 204 since the Ch1 request signal 204 becomes Hi and decoding is requested with priority given to Ch1, Ch0 is not decoded and the Ch0 request holding signal remains Hi.
  • the Ch0 output synchronization signal 210 becomes Lo
  • the data in the Ch0 frame buffer is transferred from the frame buffer device 102 to the display control device 103
  • the Ch0 frame buffer state 208 becomes 0,
  • the Ch0 display state 211 becomes the first decoding result. Display state.
  • the Ch1 output synchronization signal 212 becomes Lo
  • the data of the Ch1 frame buffer is transferred from the frame buffer device 102 to the display control device 103. It becomes a state.
  • the decoding of Ch1 is started, and the Ch1 frame buffer state 209 becomes 1.
  • step S10 the Ch0 frame buffer empty state is confirmed, and since the Ch0 frame buffer state 208 is 0, it is determined to be empty, and the process branches to step S07.
  • step S07 a Ch0 frame buffer is secured, and a decoding request for Ch0 is requested to the decoding unit 10103. Therefore, the Ch0 frame buffer state becomes 1, and the decoding state 207 transits to the second decoding state of Dec0.
  • step S08 the decoding is waited for, and in step S09, the Ch0 request holding signal becomes Lo.
  • timing 329 the same processing as timing 323 is performed.
  • Ch that gives priority to the encoder output and supplies moving image data to the encoder side may be used as the reference channel.
  • a moving image recording / reproducing system may be configured by combining the information processing system 1 with the bit stream input device 106, the bit buffer device 105, and the storage device 107.
  • the frame frequency of 60 Hz may be a frame frequency of 59.94 Hz
  • the frame frequency of 30 Hz may be a frame frequency of 29.97 Hz
  • the frame frequency of 24 Hz may be 23.976 Hz.
  • the decoding process in each embodiment may be configured to be performed according to a decoding procedure such as MPEG or JPEG which is a general encoding method, or may be configured for other encoding methods. Needless to say.
  • the number of frame buffers to be managed changes according to the number of frame buffers secured in the frame buffer device.
  • the storage device is composed of a nonvolatile storage device such as a hard disk drive, a DVD disk drive, or a flash memory.
  • an interrupt or timer may be used instead of the clock signal or the synchronization signal.
  • the configuration can be expanded even when the number of bitstream inputs is three or more.
  • processing in the present embodiment may be realized by software. Then, this software may be distributed by software download or the like. Further, this software may be recorded on a recording medium such as a CD-ROM and distributed. This also applies to other embodiments in this specification.
  • each process may be realized by centralized processing by a single device (system), or by distributed processing by a plurality of devices. May be.
  • bit stream data of a plurality of channels is decoded in a time division manner by a single decoder
  • the bit streams of different frame rates are simultaneously decoded without performing frame rate conversion. can do.
  • the information processing system has an effect of being able to decode bitstreams having different frame rates at the same time when the bitstream data of a plurality of channels is decoded in a time division manner with a single decoder. It is useful as a moving image recording / reproducing system, specifically, a DVD recorder, a Blu-ray recorder, or the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

 本発明のデコード装置は、複数のビットストリームに対応して設けられ、対応するビットストリームのフレーム周期毎にフレームデコード要求を発行する複数のデコード要求部(10101、10112)と、フレームデコード要求に対応するフレームを時分割によるサイクル内でデコードするデコード部(10103)と、前記フレームデコード要求の競合を調停して前記デコード部に通知する調停部(10102)と、前記複数のビットストリームのうち1つを基準チャンネルとして選択する選択部(1010202)とを備え、前記調停部(10102)は、前記基準チャンネルに対応するフレームデコード要求を、前記基準チャンネルのフレーム周期に対応するサイクルである基準サイクルに固定的に割り当てるように調停し、前記基準チャンネル以外のビットストリームに対応するフレームデコード要求を前記基準サイクル以外のサイクルに割り当てるよう調停する。

Description

デコード装置、情報処理システムおよび動画像記録再生システム
 本発明は、動画像データを記録再生する動画像記録再生システムなどに内蔵され、選択されたビデオストリームから動画をデコードして表示するデコード装置、情報処理システムおよび動画像記録再生システムに関する。
 従来の情報処理システムにおいて、例えば画像信号の符号化方法としてMPEG2を用いた場合、圧縮の際に画像のフレームレート等の情報をヘッダとしてビデオ・エレメンタリ・ストリーム(以下、ビデオESという)の中に多重してデコード装置に伝送する。デコード装置においては、このヘッダの情報を解析し、解析結果に基いて内部の動作を切り替える(例えば、特許文献1参照)。
 映画などのフィルム映像で一般的に使用される24フレーム/秒の順次走査画像(24Pという)をTV信号で一般的に使用される59.94フレーム/秒の順次走査画像(60Pという)に変換することは、一般的にはテレシネ変換または2-3プルダウンと呼ばれている。テレシネ変換は、映画フィルムの1コマから、時系列の順に2フィールド、3フィールド、2フィールド、3フィールドのフィールド画像を作成することを繰り返すことにより、フレーム周波数を30Hz(フィールド周波数では60Hz、60iという)に変換する(例えば、特許文献2参照)。
 従来の情報処理システムに内蔵されるデコード装置は、これらの技術を組み合わせて24Pで符号化されたビデオESを24Pで出力したり、60Pに変換して出力するよう構成されている。
特開2000-354241号公報 特開2001-145060号公報
 しかしながら、このような従来の情報処理システムにおいては、単一のデコーダからなり、複数のチャンネルのビットストリームのデータを時分割にデコード処理する構成をとる場合、例えば24Pと30Pといった異なるフレームレートのビットストリームはフレームレートの違いからデコードタイミングが異なるため、そのまま同時にデコード処理することができない。よって、24Pのビットストリームを2-3プルダウン等で30Pにフレームレートを変換しながらデコード処理をするといったフレームレート変換処理を行わなければ同時にデコードできないという課題があった。
 本発明は、このような従来の課題に鑑みてなされたものであって、単一のデコーダからなり、複数のチャンネルのビットストリームのデータを時分割にデコード処理する構成をとる場合、異なるフレームレートのビットストリームを同時にデコード処理することができるデコード装置、情報処理システムおよび動画像記録再生システムを提供することを目的とする。
 上記課題を解決するため本発明のデコード装置は、複数のビットストリームを時分割でデコードするデコード装置であって、前記複数のビットストリームに対応して設けられ、対応するビットストリームのフレーム周期毎にフレームのデコード要求を発行する複数のデコード要求部と、デコード要求に対応するフレームを時分割によるサイクル内でデコードするデコード部と、前記デコード要求の競合を調停して前記デコード部に通知する調停部と、前記複数のビットストリームのうち1つを基準チャンネルとして選択する選択部とを備え、前記調停部は、前記基準チャンネルに対応するデコード要求を、前記基準チャンネルのフレーム周期に対応するサイクルである基準サイクルに固定的に割り当てるように調停し、前記基準チャンネルに対応するデコード要求と、前記基準チャンネル以外のビットストリームに対応するデコード要求とが競合したとき、前記基準チャンネル以外のビットストリームに対応するデコード要求を前記基準サイクル以外のサイクルに割り当てるよう調停することを特徴とする。ここで、前記調停部は、前記基準チャンネルに対応するデコード要求と、前記基準チャンネル以外のビットストリームに対応するデコード要求とが競合したとき、前記基準チャンネル以外のビットストリームに対応するデコード要求を、前記基準サイクルの次のサイクルに割り当てるよう調停するようにしてもよい。
 かかる構成により、複数のチャンネルの異なるフレームレートのビットストリームをフレームレートの変換を行わずに同時にデコード処理できる。
 ここで、前記デコード装置は、さらに、チャンネルの指定を受け付けるチャンネル指定部を備え、前記選択部は、前記チャンネル指定部で受け付けられた指定に従って、前記基準チャンネルを選択するようにしてもよい。
 かかる構成により、デコードタイミングを固定するチャンネルを動的に選択することができる。
 ここで、前記デコード装置は、さらに、前記複数のビットストリームのうち最もフレームレートの高いビットストリームを判定するフレームレート判定部を備え、前記選択部は、最もフレームレートの高いビットストリームを前記基準チャンネルとして選択するようにしてもよい。
 かかる構成により、デコードタイミングを固定する場合に最も効率がよいチャンネルを自動的に選択することができる。
 ここで、前記デコード装置は、さらに、フレームレート変換の指定を受け付ける変換指定部を備え、前記デコード要求部は、変換指定部においてフレームレート変換の指定が受け付けられた場合、基準チャンネル以外のビットストリームを前記基準チャンネルと同じフレームレートに変換するようにデコード要求を発行するようにしてもよい。
 かかる構成により、複数のチャンネルの異なるフレームレートのビットストリームをデコードする際にフレームレートの変換を行うかどうか選択できる。
 また、本発明の情報処理システムは、上記の記載のデコード装置と、前記デコード装置が出力する動画像データを格納するフレームバッファ装置とを備え、前記デコード装置は、さらに、前記フレームバッファ装置の状態を管理するフレームバッファ管理部を備え、前記調停部は、前記基準チャンネルに対応するデコード要求と、前記基準チャンネル以外のビットストリームに対応するデコード要求とが競合したとき、前記基準チャンネル以外のビットストリームに対応するデコード要求を、前記基準サイクル以外のサイクルで、かつ前記フレームバッファ装置に1フレーム分の空きが生じるサイクルに割り当てるよう調停することを特徴とする。
 かかる構成により、フレームバッファの空き状況に応じてデコードタイミングを変換しフレームバッファ面数の節約がおよび上書きを回避できる。
 ここで、前記情報処理システムは、さらに、前記フレームバッファ装置に格納された動画像データを読み出して動画像信号として出力する表示制御装置と、前記表示制御装置から出力された動画像信号をエンコードするエンコーダ装置とを備え、前記基準チャンネル選択部は、前記エンコーダ装置へ入力される動画像信号に対応するビットストリームを前記基準チャンネルとして選択するようにしてもよい。
 かかる構成により、デコードタイミングを変更できないエンコーダ装置へ入力するチャンネルを自動的に選択できる。
 ここで、前記表示制御装置は、さらに、外部の表示システムへ動画像信号を供給するための表示システム接続端子部を備え、前記表示制御装置は、前記基準チャンネル以外のビットストリームに対応する動画像データを前記フレームバッファ装置から読み出して動画像信号として前記表示システム接続端子部へ供給するようにしてもよい。
 かかる構成により、互いにフレームレートの異なる表示システム用動画像データとデコードタイミングを変更できないエンコーダ装置へ入力する動画像データを同時にデコードできる。
 また、本発明の動画像記録再生システムは、上記の情報処理システムと、複数のビットストリームを格納するビットバッファ装置と、前記ビットバッファ装置に前記複数のビットストリームを供給するビットストリーム入力装置と、前記エンコーダ装置から出力された動画像データを格納する記憶装置とを備え、前記ビットバッファ装置から、前記複数のデコード要求部および前記デコード部に前記複数のビットストリームを供給することを特徴とする。
 かかる構成により、互いにフレームレートの異なる表示システム用動画像データとデコードタイミングを変更できないエンコーダ装置へ入力する動画像データを同時にデコードする動画像記録再生システムを構成できる。
 本発明による情報処理システムによれば、単一のデコーダで複数のチャンネルのビットストリームのデータを時分割にデコード処理する場合に、異なるフレームレートのビットストリームを同時にデコード処理することができる。
図1は、本発明の実施の形態1における情報処理システムのブロック図である。 図2は、本発明の実施の形態1におけるデコーダ装置のタイミングチャートである。 図3は、本発明の実施の形態1における調停部のフローチャートである。 図4は、本発明の実施の形態5におけるデコーダ装置のタイミングチャートである。 図5は、本発明の実施の形態5における調停部のフローチャートである。
 以下、情報処理システム等の実施形態について図面を参照して説明する。なお、実施の形態において同じ符号を付した構成要素は同様の動作を行うので、再度の説明を省略する場合がある。
 (実施の形態1)
 本実施の形態におけるデコード装置は、複数のビットストリームを時分割でデコードするデコード装置であって、各ビットストリームのフレームを時分割によるサイクル内でデコードする単一のデコード部を有し、前記基準となるビットストリームである基準チャンネルのフレーム周期に対応するサイクル(基準サイクルと呼ぶ。)に、基準チャンネルを固定的に割り当て、基準チャンネル以外のビットストリームを基準サイクル以外のサイクルに割り当てる。これにより、単一のデコード部で複数のビットストリームのフレームを時分割にデコード処理する場合に、異なるフレームレートのビットストリームを同時にデコード処理することができる。
 本実施の形態におけるデコード装置および情報処理システムを含む動画像記録再生システムについて、図面を参照しながら説明する。
 図1は、本実施の形態における動画像記録再生システムのブロック図である。
 同図の動画像記録再生システムは、情報処理システム1、表示システム2、ビットバッファ装置105、ビットストリーム入力装置106および記憶装置107を備える。
 情報処理システム1は、デコード装置101、フレームバッファ装置102、表示制御装置103、エンコーダ装置104、ビットバッファ装置105、ビットストリーム入力装置106、記憶装置107、を具備する。
 デコード装置101は、第1のデコード要求部10101、第2のデコード要求部10112、調停部10102、デコード部10103、チャンネル指定部10104、フレームレート変換指定部10105、フレームバッファ管理部10106、を具備する。
 調停部10102は、フレームレート判定部1010201、基準チャンネル選択部1010202、を具備する。
 表示制御装置103は、表示システム接続端子部10301を具備する。
 情報処理システム1は表示システム接続端子部10301を介して表示システム2を接続することができる。
 デコード装置101は、複数チャンネルのビットストリームのデコードを時分割で行う。
 第1のデコード要求部10101及び第2のデコード要求部10112は、ビットストリームに多重されたヘッダ情報から、フレームレートなどの原画の画像フォーマットなどの付加情報を解析し、解析結果を調停部10102に渡す。他にデコードに必要な情報があれば同時にデコード部に渡してもよい。また、フレームレート情報から適切なサイクルで同期信号と同期して調停部へ、1フレームのデコードを要求するデコード要求を発行する。同時にフレームバッファ管理部にもデコード要求を通知する。第1のデコード要求部10101のデコード要求は要求信号10121として調停部10102及びフレームバッファ管理部10106に通知される。第2のデコード要求部10112のデコード要求は要求信号10122として調停部10102及びフレームバッファ管理部10106に通知される。デコード要求には単なる要求以外に出力するフレームバッファの指定など各種情報が含まれてもよい。
 ビットストリームの解析とは、ビットバッファ装置に格納されたビットストリームのヘッダ情報を解析することである。デコード要求は、ソフトウェアで構成する場合は信号の代わりに引数で通知やシグナル等の通知でもよい。また、デコード要求が他のデコード要求部となるべく競合しないようにするため、クロックの1サイクルごとにデコード要求を送るようにしてもよい。
 調停部10102は、複数チャンネルのデコード要求を調停する。各デコード要求部からの要求信号を他のデコード要求と競合しないタイミングにずらし、デコード部にチャンネル別の要求信号を送る。例えば、第1のデコード要求部10101及び第2のデコード要求部10112から受け取ったデコード要求について競合を確認し、複数チャンネルから同時にデコード要求があった場合は、一方のデコード要求を後のサイクルへずらす。
 フレームレート判定部1010201は、デコード要求部から受け取ったフレームレートを確認し、最もフレームレートの高いチャンネルを選択する。最もフレームレートの高いチャンネルが複数存在した場合は、固定的にいずれか一つのチャンネルを選択する。チャンネルの選択方法は最も小さいチャンネル番号のチャンネルや、最も大きいチャンネル番号のチャンネル、チャンネルを順次選択などの決定方法がある。
 フレームレートとは、単位時間あたり何度画面が更新されるかを表す指標である。通常、1秒あたりの数値で表し、fps(Frames Per Second)または周波数の単位で表す。
 基準チャンネル選択部1010202は、デコード装置でデコードを行う複数のビットストリームのうち、1つのチャンネルを選択する。選択方法は固定的にチャンネルを決定しておいてもよいし、後述の選択方法を用いて選択してもよい。
 デコード部10103は、単一のデコーダからなり、複数のチャンネルのビットストリームのデータを時分割にデコード処理する。デコード処理とは、デコード要求があったチャンネルのビットストリームを動画像データへデコードすることである。
 図1の構成では、Ch0及びCh1のビットストリームを時分割にデコード処理する。以下、Ch0のビットストリームを時分割にデコード処理する論理的なデコーダをDec0とし、Ch1のビットストリームを時分割にデコード処理する論理的なデコーダをDec1とする。
 チャンネル指定部10104は、チャンネル選択情報を入力する。チャンネル選択情報とは、例えば信号として構成される。チャンネル指定部10104は、レジスタあるいは端子、引数などを用いて構成され、基準チャンネル選択部へ選択するチャンネルを通知する。
 フレームレート変換指定部10105は、フレームレート変換選択情報を入力する。フレームレート変換選択情報とは、例えば信号として構成される。フレームレート変換指定部10105は、例えばレジスタあるいは端子として構成され、基準チャンネル以外のチャンネルのデコード要求を、基準チャンネルと同等のフレームレートに変換するか否かを調停部に通知する。
 フレームバッファ管理部10106は、フレームバッファ装置102の状態を管理する。フレームバッファ管理部10106は、第1のデコード要求部10101及び第2のデコード要求部10112からの要求信号10121及び10122からフレームバッファ装置の空き状態を推測する。
 フレームバッファ装置102は、デコード部10103が時分割にデコード処理した動画像データを格納する。動画像データとは、ビットストリームをデコードしたものである。
 表示制御装置103は、フレームバッファ装置102に格納された動画像データを読み出して動画像信号等で出力する。出力とは、ディスプレイへの表示、プロジェクターを用いた投影、プリンタへの印字、音出力、外部の装置への送信、記録媒体への蓄積、他の処理装置や他のプログラム等への処理結果の引渡し等を含む概念である。
 表示システム接続端子部10301は、表示制御装置103の出力を情報処理システム1外へ渡す。
 エンコーダ装置104は、表示制御装置103から出力された動画像信号を動画像データまたはビットストリームにエンコードする。エンコードされたデータは記憶装置107に格納される。
 ビットストリーム入力装置106は、ビットバッファ装置105にビットストリームを供給する。ビットバッファ装置105は、複数チャンネルのビットストリームを格納する。
 次に、情報処理システムの動作についてタイミングチャートおよびフローチャートを用いて説明する。以下の説明ではCh0のビットストリームのフレームレートを24Hz、Ch1のビットストリームのフレームレートを60Hzとする。
 情報処理システムの動作について図2のタイミングチャート及び図3のフローチャートを用いて説明する。
 図2はCh0とCh1のビットストリームを同時にデコードするときの信号及び状態を示す。図2において(a)は120Hzのクロック信号201、(b)は60Hz同期信号202、(c)はCh0のビットストリームを解析する第1のデコード要求部10101の要求信号10121の値を示すCh0要求信号203、(d)はCh1のビットストリームを解析する第2のデコード要求部10112の要求信号10122の値を示すCh1要求信号204、(e)は調停部10102内で保持するCh0要求保持信号205、(f)は調停部10102内で保持するCh1要求保持信号206、(g)はデコード部のデコード状態207を示す。
 本実施例では説明の簡略化のため固定的にCh1を基準チャンネルとして選択することとする。なお、後述の選択方法を用いて基準チャンネルを選択してもよいことはいうまでも無い。
 図3は調停部10102の動作フローを示す。
 図3のフローチャートのステップS01~S09の説明を以下に行う。
 (ステップS01)
 調停部10102内で保持している各Chの要求保持信号をLoに初期化する。
 (ステップS02)
 次の同期信号202を待つ。
 (ステップS03)
 デコード要求のあったChの要求保持信号をHiにする。
 (ステップS04)
 要求保持信号がHiのChがあるか確認し、なければステップS02へ遷移する。
 要求保持信号がHiのChがあれば、ステップS05へ遷移する。
 (ステップS05)
 デコード部10103が空きであるか確認し、空きでなければステップS06へ遷移する。
 デコード部10103が空きであれば、ステップS07へ遷移する。
 (ステップS06)
 クロック信号201の次のサイクルを待つ。
 (ステップS07)
 要求保持信号がHiのChのうち、最も優先度の高いChのデコード要求をデコード部へ送る。
 (ステップS08)
 デコード要求を実行したChのデコード完了を待つ。
 デコード完了の検出はデコード部からの完了通知、タイマを用いて完了タイミング計測、クロックの立ち上がり等のいずれかの方法で行えばよい。
 (ステップS09)
 デコード要求を実行したChの要求保持信号をLoにする。
 実行後ステップS04へ遷移する。
 図2のタイミングチャートを図3のフローチャートに従って説明する。
 図2のタイミング310では、調停部10102は図3のステップS01の状態である。タイミング310でCh0要求保持信号205、Ch1要求保持信号206がLoになっている状態である。
 次にステップS02へ遷移し、同期信号202がLoになるのを待つ。図3のタイミング311で同期信号202がLoになり待ちが解除される。
 次にステップS03へ遷移し、図2のタイミング311でCh0要求信号203とCh1要求信号204とがHiになる。デコード要求部による要求信号は同期信号202がHiになると同時に出力され、最長で1サイクル出力されることとする。これを受けて調停部10102内部のCh0要求保持信号205及びCh1要求保持信号206がHiになる。
 次にステップS04へ遷移し、図2のタイミング311でCh0要求保持信号205とCh1要求保持信号206がHiであるため、ステップS05へ遷移する。
 次にステップS05へ遷移し、図2のタイミング311でデコード状態207が空きであるため、ステップS07へ遷移する。
 次にステップS07で、図2のタイミング311でCh0とCh1のデコード要求があり、本実施例では固定的にCh1を基準チャンネルとしているため、Ch1を優先してデコード部10103へCh1の1回目のデコード要求を行う。デコード部10103がCh1の1回目のデコードを開始し、デコード状態207がDec1の1回目デコード状態になる。
 次にステップS08で、デコード要求を実行したCh1のデコード完了を待つ。本実施例ではデコードは1クロック以内で完了することとし、タイマを用いて固定的に完了タイミングとして1サイクルを待つ。デコード完了と同時にデコード状態207は空き状態になる。
 次に、ステップS09で、Ch1に対応するCh1要求保持信号206をLoにする。実行後ステップS04へ遷移する。
 引き続き、図2のタイミング312で第1のデコード要求部10101の要求信号10121及び第2のデコード要求部10112の要求信号10122はLoになる。
 調停部10102はステップS04でCh0要求保持信号205がHiであるため、ステップS05へ進む。ステップS05ではデコード状態207は空きなのでステップS07へ分岐する。ステップS07ではデコード要求はCh0のみなのでCh0のデコード要求をデコード部10103に送る。デコード部ではCh0のデコードを実行し、デコード状態207はDec0の1回目のデコードとなる。ステップS08でデコード完了を待ち、デコード完了後デコード状態207は空きになる。ステップS09でデコードを実行したCh0の要求保持信号205をLoにし、ステップS04へ遷移する。ステップS04では要求保持信号がすべてLoなので、ステップS02へ分岐する。ステップS02で次の同期信号を待つ。
 図2のタイミング313で同期信号202がLoになり、ステップS03へ進む。タイミング313ではCh1要求信号204がHiになるため、ステップS03ではCh1の要求保持信号206をHiにする。ステップS04ではCh1要求保持信号206がHiであるので、ステップS05へ分岐する。ステップS05ではデコード状態207は空きなのでステップS07へ分岐する。ステップS07では基準チャンネルであるCh1のデコード要求をデコード部10103へ送る。ステップS08でデコード完了を待ち、デコード完了後デコード状態207は空きになる。ステップS07でCh1要求保持信号206をLoにし、ステップS04へ遷移する。ステップS04では全ての要求保持信号がLoであるため、ステップS02へ分岐し、ステップS02では次の同期信号を待つ。
 図2のタイミング314で同期信号202がLoになるため、ステップS02の同期信号待ちを解除し、ステップS03へ遷移する。タイミング314ではデコード要求がないため、要求保持信号をHiにするChはない。ステップS04では全てのChの要求保持信号がLoであるため、ステップS02へ分岐し、次の同期信号を待つ。
 図2のタイミング315で同期信号202がLoになり、ステップS02の同期信号待ちを解除し、ステップS03へ遷移する。以降、タイミング311と同様の動作になる。
 このような制御を行うことで、単一のデコーダで複数のチャンネルのビットストリームのデータを時分割にデコード処理する場合に、異なるフレームレートのビットストリームを同時にデコード処理することができる。
 (実施の形態2)
 実施の形態1では固定的にCh1を基準チャンネルとして選択することとしたが、図1のチャンネル指定部10104を用いて基準チャンネル選択部1010202に基準チャンネル選択情報を渡すこととしてもよい。チャンネル指定部10104は、外部からチャンネルの指定を基準チャンネル選択情報として受け付ける構成でよい。基準チャンネル選択部1010202は、チャンネル指定部10104で受け付けられた指定に従って、基準チャンネルを選択すればよい。
 このような構成とすることで、ビットストリームの入力チャンネルにとらわれずに基準チャンネルを動的に設定することができる。
 (実施の形態3)
 図1の第1のデコード要求部10101および第2のデコード要求部10112からフレームレートをフレームレート判定部1010201へ渡すこととし、フレームレート判定部1010201は最もフレームレートの高いチャンネルを判定し、基準チャンネル選択部1010202はフレームレート判定部1010201が判定したチャンネルを基準チャンネルとして選択することとしてもよい。
 このような構成とすることで、自動的に最も効果的な基準チャンネルを選択することができる。
 (実施の形態4)
 図1のフレームレート変換指定部10105を用いてフレームレート変換選択情報を調停部10102へ通知し、それぞれのチャンネルを基準チャンネルと同じフレームレートに変換して調停部10102はデコード部10103へデコード要求を行うこととしてもよい。
 このような構成とすることで、従来のフレームレート変換機能と本発明の特徴を共存することができる。フレームレート変換は例えば2-3プルダウンのような方式を用いる。
 (実施の形態5)
 図4は図2にフレームバッファ装置102の状態および表示制御装置103の状態を追加したタイミングチャートである。図4において(h)はCh0フレームバッファ状態208、(i)はCh1フレームバッファ状態209、(j)はCh0出力同期信号210、(k)はCh0表示状態211、(l)はCh1出力同期信号212、(m)はCh1表示状態213を示す。また(e)は図2の(e)Ch0要求保持信号205を置き換えたCh0要求保持信号215である。
 Ch0フレームバッファ状態208およびCh1フレームバッファ状態209は、使用中のフレームバッファの面数を表す。使用中とはデコード結果出力のためにフレームバッファが確保されたときから、表示のために出力されるまでの間を指す。
 Ch0出力同期信号210およびCh1出力同期信号212は、出力するビットストリームのフレームレートに応じて決定される。クロック信号201と同期して生成され、同期信号202と同一のフレームレートであれば同期信号202と同期してもよい。
 本実施例では説明の簡略化のためフレームバッファの面数は1面とする。なお、デコードする符号化方式に応じて適切に面数を追加してもよいことはいうまでもない。
 図5は図3にステップS10を追加し、図3のステップS05をステップS15に置き換えたフローチャートである。
 (ステップS10)
 要求保持信号がHiのChのうち、最も優先度の高いChのフレームバッファが空きであるか確認し、空きでなければステップS06へ遷移する。
 空きであれば、ステップS07へ遷移する。
 (ステップS15)
 デコード部10103が空きであるか確認し、空きでなければステップS06へ遷移する。
 デコード部10103が空きであれば、ステップS10へ遷移する。
 図4のタイミングチャートの動作について図1、図2、図5を参照しながら説明する。
 タイミング320は図2のタイミング310と同じ状態である。Ch0フレームバッファ状態208およびCh1フレームバッファ状態209は初期状態で0を保持している。Ch0出力同期信号210およびCh1出力同期信号212は任意のタイミングで同期信号を出力する。
 タイミング321は図2のタイミング311と同じ状態である。加えて、図5のステップS15でデコード部10103が空きであるため、ステップS10へ分岐する。優先度の高いCh1のフレームバッファは空きであるので、ステップS07へ分岐する。ステップS07ではデコード部10103がCh1のデコードを開始し、Ch1のフレームバッファが1面確保され、Ch1フレームバッファ状態209は1に遷移する。
 タイミング322は図2のタイミング312と同じ状態である。加えて、図5のステップS15でデコード部10103が空きであるため、ステップS10へ分岐する。要求保持信号がHiである唯一のChであるCh0のフレームバッファは空きであるので、ステップS07へ分岐する。ステップS07ではデコード部10103がCh0のデコードを開始し、Ch0のフレームバッファが1面確保され、Ch0フレームバッファ状態208は1に遷移する。
 タイミング323は図2のタイミング313と同じ状態である。加えて、図5のステップS15でデコード部10103が空きであるため、ステップS10へ分岐する。優先度の高いCh1のフレームバッファは空きであるので、ステップS07へ分岐する。また、Ch1出力同期信号212がLoになると同時にCh1フレームバッファのデータがフレームバッファ装置102から表示制御装置103へ渡され、Ch1フレームバッファ状態209は0となり、Ch1表示状態213が表示1回目のデコード結果表示状態となる。
 さらに、同期信号202がHiに遷移すると同時にCh1のデコードが開始され、Ch1フレームバッファが確保されるためCh1フレームバッファ状態209は1となる。
 タイミング324は図2のタイミング314と同じ状態である。
 タイミング325は図2のタイミング315と同じ状態である。タイミング323と同様の動作でCh1の2回目のデコードが実行される。
 タイミング326は図2のタイミング316とほぼ同じ状態であるが、Ch0の2回目のデコードが開始されず、Ch0要求保持信号215はHiのままである。
 これは要求保持信号がHiの唯一のChであるCh0のフレームバッファ状態が1であり空きがないため、図5のステップS10でステップS06へ分岐するためである。ステップS06ではクロック信号201の次のサイクルを待ち、ステップS04へ遷移する。
 タイミング327はCh1要求信号204がHiとなり、Ch1が優先されてデコード要求されるため、Ch0はデコードが実行されずCh0要求保持信号はHiのままとなる。また、Ch0出力同期信号210がLoになると同時にCh0フレームバッファのデータがフレームバッファ装置102から表示制御装置103へ渡され、Ch0フレームバッファ状態208は0となり、Ch0表示状態211が1回目のデコード結果表示状態となる。同時にCh1出力同期信号212がLoになると同時にCh1フレームバッファのデータがフレームバッファ装置102から表示制御装置103へ渡され、Ch1フレームバッファ状態209は0となり、Ch1表示状態213が1回目のデコード結果表示状態となる。その後すぐにCh1のデコードが開始されCh1フレームバッファ状態209は1となる。
 タイミング328はCh0要求保持信号のみがHiであるため、図5のステップS15でデコード部が空きであるため、ステップS10へ分岐する。ステップS10ではCh0のフレームバッファ空き状態を確認し、Ch0フレームバッファ状態208が0であるため空き状態と判定し、ステップS07へ分岐する。ステップS07でCh0のフレームバッファを確保し、Ch0のデコード要求がデコード部10103へ要求される。よって、Ch0フレームバッファ状態は1になり、デコード状態207はDec0の2回目のデコード状態に遷移する。ステップS08でデコード完了待ちし、ステップS09でCh0要求保持信号はLoとなる。
 タイミング329ではタイミング323と同様に処理される。
 かかる構成により、フレームバッファの空き状況に応じてデコードタイミングを変換しフレームバッファ面数の節約および上書きを回避することができる。
 (実施の形態6)
 図1においてエンコーダ装置104が接続される場合は、エンコーダ出力を優先しエンコーダ側へ動画像データを供給するChを基準チャンネルとしてもよい。
 かかる構成により、デコードタイミングを変更できないエンコーダ装置へ入力するチャンネルを自動的に選択することができる。
 (実施の形態7)
 図1において表示システム接続端子部10301に表示システム2が接続される場合は、基準チャンネルに選択されているChをエンコーダ装置104へ供給し、その他のChを表示システム2へ供給するようにしてもよい。
 かかる構成により、デコードタイミングを変更できないエンコーダ装置へ入力するビットストリームと、表示システムへ入力するビットストリームのフレームレートが異なっていても同時にデコードすることができる。
 (実施の形態8)
 図1において、ビットストリーム入力装置106及びビットバッファ装置105及び記憶装置107と情報処理システム1を組み合わせることで、動画像記録再生システムを構成してもよい。
 かかる構成により、互いにフレームレートの異なる表示システム用動画像データとデコードタイミングを変更できないエンコーダ装置へ入力する動画像データを同時にデコードする動画像記録再生システムを構成できる。
 なお、図3および図5のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。
 各実施の形態においてフレーム周波数60Hzと表記したものは、フレーム周波数59.94Hzであってもよく、フレーム周波数30Hzと表記したものは、フレーム周波数29.97Hzであってもよく、またフレーム周波数24Hzと表記したものは、フレーム周波数23.976Hzであってもよいことはいうまでもない。
 各実施の形態におけるデコード処理は、一般的な符号化方法であるMPEGやJPEG等のデコード手順に従って行うように構成してもよいし、その他の符号化方法のために構成されてもよいことはいうまでも無い。
 フレームバッファ装置に確保されるフレームバッファの面数に応じて管理するフレームバッファの面数が変化するのはいうまでも無い。
 記憶装置は、例えば、ハードディスクドライブやDVDディスクドライブおよびフラッシュメモリ等の不揮発性記憶装置で構成されることはいうまでも無い。
 実施の形態は信号を用いて説明したが、ソフトウェアで構成する場合は信号の代わりに引数や値としてもよい。同様に端子やレジスタの代わりに引数や値としてもよい。
 なお、クロック信号や同期信号の代わりに割り込みやタイマを用いてもよい。
 なお、本実施の形態によれば、ビットストリームの入力が3以上の場合にも構成を拡張することができる。
 さらに、本実施の形態における処理は、ソフトウェアで実現しても良い。そして、このソフトウェアをソフトウェアダウンロード等により配布しても良い。また、このソフトウェアをCD-ROMなどの記録媒体に記録して流布しても良い。なお、このことは、本明細書における他の実施の形態においても該当する。
 また、上記各実施の形態において、各処理(各機能)は、単一の装置(システム)によって集中処理されることによって実現されてもよく、あるいは、複数の装置によって分散処理されることによって実現されてもよい。
 本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。
 以上、本発明によれば、単一のデコーダで複数のチャンネルのビットストリームのデータを時分割にデコード処理する場合に、異なるフレームレートのビットストリームをフレームレートの変換を行うことなしに同時にデコード処理することができる。
 また、デコードタイミングを変更できないチャンネルを自動的に選択し、フレームレートの異なる表示用動画像データとエンコーダ装置へ入力する動画像データを同時にデコードすることができる。
 また、フレームバッファの空き状況に応じてデコードタイミングを変換しフレームバッファ面数の節約および上書きを回避できる。
 以上のように、本発明にかかる情報処理システムは、単一のデコーダで複数のチャンネルのビットストリームのデータを時分割にデコード処理する場合に、異なるフレームレートのビットストリームを同時にデコード処理できる効果を有し、動画像記録再生システム、具体的にはDVDレコーダやBlu-rayレコーダ等として有用である。
 1 情報処理システム
 101 デコード装置
 102 フレームバッファ装置
 103 表示制御装置
 104 エンコーダ装置
 105 ビットバッファ装置
 106 ビットストリーム入力装置
 107 記憶装置
 10101 第1のデコード要求部
 10102 調停部
 10103 デコード部
 10104 チャンネル指定部
 10105 フレームレート変換指定部
 10106 フレームバッファ管理部
 10112第2のデコード要求部
 10121、10122 要求信号
 1010201 フレームレート判定部
 1010202 基準チャンネル選択部
 10301 表示システム接続端子部 
 2 表示システム
 201 クロック信号
 202 同期信号
 203 Ch0要求信号
 204 Ch1要求信号
 205 Ch0要求保持信号
 206 Ch1要求保持信号
 207 デコード状態
 208 Ch0フレームバッファ状態
 209 Ch1フレームバッファ状態
 210 Ch0出力同期信号
 211 Ch0表示状態
 212 Ch1出力同期信号
 213 Ch1表示状態
 215 Ch0要求保持信号

Claims (9)

  1.  複数のビットストリームを時分割でデコードするデコード装置であって、
     前記複数のビットストリームに対応して設けられ、対応するビットストリームのフレーム周期毎にフレームのデコード要求を発行する複数のデコード要求部と、
     デコード要求に対応するフレームを時分割によるサイクル内でデコードするデコード部と、
     前記デコード要求の競合を調停して前記デコード部に通知する調停部と、
     前記複数のビットストリームのうち1つを基準チャンネルとして選択する選択部と
     を備え、
     前記調停部は、
     前記基準チャンネルに対応するデコード要求を、前記基準チャンネルのフレーム周期に対応するサイクルである基準サイクルに固定的に割り当てるように調停し、
     前記基準チャンネルに対応するデコード要求と、前記基準チャンネル以外のビットストリームに対応するデコード要求とが競合したとき、前記基準チャンネル以外のビットストリームに対応するデコード要求を前記基準サイクル以外のサイクルに割り当てるよう調停する、デコード装置。
  2.  前記調停部は、前記基準チャンネルに対応するデコード要求と、前記基準チャンネル以外のビットストリームに対応するデコード要求とが競合したとき、前記基準チャンネル以外のビットストリームに対応するデコード要求を、前記基準サイクルの次のサイクルに割り当てるよう調停する、請求項1に記載のデコード装置。
  3.  前記デコード装置は、さらに、チャンネルの指定を受け付けるチャンネル指定部を備え、
     前記選択部は、前記チャンネル指定部で受け付けられた指定に従って、前記基準チャンネルを選択する請求項1に記載のデコード装置。
  4.  前記デコード装置は、さらに、前記複数のビットストリームのうち最もフレームレートの高いビットストリームを判定するフレームレート判定部を備え、
     前記選択部は、最もフレームレートの高いビットストリームを前記基準チャンネルとして選択する、請求項1に記載のデコード装置。
  5.  前記デコード装置は、さらに、フレームレート変換の指定を受け付ける変換指定部を備え、
     前記デコード要求部は、変換指定部においてフレームレート変換の指定が受け付けられた場合、基準チャンネル以外のビットストリームを前記基準チャンネルと同じフレームレートに変換するようにデコード要求を発行する、請求項1に記載のデコード装置。
  6.  請求項1から5の何れかに記載のデコード装置と、
     前記デコード装置が出力する動画像データを格納するフレームバッファ装置とを
     備え、
     前記デコード装置は、さらに、前記フレームバッファ装置の状態を管理するフレームバッファ管理部を備え、
     前記調停部は、前記基準チャンネルに対応するデコード要求と、前記基準チャンネル以外のビットストリームに対応するデコード要求とが競合したとき、前記基準チャンネル以外のビットストリームに対応するデコード要求を、前記基準サイクル以外のサイクルで、かつ前記フレームバッファ装置に1フレーム分の空きが生じるサイクルに割り当てるよう調停する、情報処理システム。
  7.  前記情報処理システムは、さらに、
     前記フレームバッファ装置に格納された動画像データを読み出して動画像信号として出力する表示制御装置と、
     前記表示制御装置から出力された動画像信号をエンコードするエンコーダ装置と
     を備え、
     前記基準チャンネル選択部は、前記エンコーダ装置へ入力される動画像信号に対応するビットストリームを前記基準チャンネルとして選択する、
     請求項6に記載の情報処理システム。
  8.  前記表示制御装置は、さらに、外部の表示システムへ動画像信号を供給するための表示システム接続端子部を備え、
     前記表示制御装置は、前記基準チャンネル以外のビットストリームに対応する動画像データを前記フレームバッファ装置から読み出して動画像信号として前記表示システム接続端子部へ供給する、
     請求項7に記載の情報処理システム。
  9.  請求項7または8に記載の情報処理システムと、
     複数のビットストリームを格納するビットバッファ装置と、
     前記ビットバッファ装置に前記複数のビットストリームを供給するビットストリーム入力装置と、
     前記エンコーダ装置から出力された動画像データを格納する記憶装置と
     を備え、
     前記ビットバッファ装置から、前記複数のデコード要求部および前記デコード部に前記複数のビットストリームを供給する、動画像記録再生システム。
PCT/JP2009/002617 2008-06-11 2009-06-10 デコード装置、情報処理システムおよび動画像記録再生システム WO2009150836A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008-152536 2008-06-11
JP2008152536A JP2009302704A (ja) 2008-06-11 2008-06-11 デコード装置、情報処理システムおよび動画像記録再生システム

Publications (1)

Publication Number Publication Date
WO2009150836A1 true WO2009150836A1 (ja) 2009-12-17

Family

ID=41416550

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/002617 WO2009150836A1 (ja) 2008-06-11 2009-06-10 デコード装置、情報処理システムおよび動画像記録再生システム

Country Status (2)

Country Link
JP (1) JP2009302704A (ja)
WO (1) WO2009150836A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113994707A (zh) * 2019-07-05 2022-01-28 蒂莱德梅迪亚有限责任公司 用于在显示器上渲染视频的方法和设备

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2894860A1 (en) * 2014-01-14 2015-07-15 Thomson Licensing Method and apparatus for multiplexing layered coded contents
US10659797B2 (en) * 2017-10-31 2020-05-19 Google Llc Video frame codec architectures

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000354241A (ja) * 1999-06-14 2000-12-19 Matsushita Electric Ind Co Ltd 画像復号化装置
JP2001309371A (ja) * 2000-04-27 2001-11-02 Fujitsu Ltd Mpegデコーダ

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000354241A (ja) * 1999-06-14 2000-12-19 Matsushita Electric Ind Co Ltd 画像復号化装置
JP2001309371A (ja) * 2000-04-27 2001-11-02 Fujitsu Ltd Mpegデコーダ

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113994707A (zh) * 2019-07-05 2022-01-28 蒂莱德梅迪亚有限责任公司 用于在显示器上渲染视频的方法和设备

Also Published As

Publication number Publication date
JP2009302704A (ja) 2009-12-24

Similar Documents

Publication Publication Date Title
TWI395481B (zh) 在儲存前未編索引之接收、儲存及呈現多媒體程式化之方法及裝置
US8437408B2 (en) Decoding with reference image stored in image memory for random playback
US8774265B2 (en) Encoding apparatus, decoding apparatus, encoding method, decoding method, program of encoding method, program of decoding method, recording medium in which program of encoding method is recorded, and recording medium in which program of decoding method is recorded
JP2006157867A (ja) 情報処理装置および情報処理方法、記録媒体、並びに、プログラム
JP2010136452A (ja) 集積回路
JP2007334641A (ja) 情報処理装置および方法、並びにプログラム
JPWO2004002145A1 (ja) 復号装置及び復号方法
US7609768B2 (en) Video buffer control apparatus for dual video decoding and digital broadcasting receiver thereof
US8380053B2 (en) System and method for processing video
WO2009150836A1 (ja) デコード装置、情報処理システムおよび動画像記録再生システム
JP4577288B2 (ja) 情報処理装置および方法、プログラム、並びに記録媒体
TWI242371B (en) Decoder and decoding method
JP2007058541A (ja) プロセッサ、処理方法及び処理プログラム
US8018502B2 (en) Image recording device, image reproducing device, recording medium, and image recording method for capturing images at different frames rates and generating timestamps for presentation
JP2007158432A (ja) 映像記録装置
JP5624582B2 (ja) マルチフォーマット映像再生装置とその制御方法
US20060233528A1 (en) Program, information processing device, information processing method, and recording medium
JP2006050178A (ja) 記録再生装置
WO2010146780A1 (ja) 再生装置およびコンテンツ再生方法
JP2010283683A (ja) ストリーム復号装置及びストリーム復号方法
JP4289055B2 (ja) トランスコーダおよびこれを用いた記録再生装置
JP4850041B2 (ja) 映像再生システム、映像再生の同期方法および映像再生端末
US20090304089A1 (en) Reproduction processing apparatus, reproduction processing method, and computer program
JP5589654B2 (ja) 映像音声再生装置、および映像音声再生方法
JP2008236784A (ja) Mpegビデオ復号器及びmpegビデオ復号方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09762267

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 09762267

Country of ref document: EP

Kind code of ref document: A1