WO2011155099A1 - 映像表示装置 - Google Patents

映像表示装置 Download PDF

Info

Publication number
WO2011155099A1
WO2011155099A1 PCT/JP2011/000599 JP2011000599W WO2011155099A1 WO 2011155099 A1 WO2011155099 A1 WO 2011155099A1 JP 2011000599 W JP2011000599 W JP 2011000599W WO 2011155099 A1 WO2011155099 A1 WO 2011155099A1
Authority
WO
WIPO (PCT)
Prior art keywords
frame
time
decoding
timing
acquired
Prior art date
Application number
PCT/JP2011/000599
Other languages
English (en)
French (fr)
Inventor
徳山 悟
智子 三木
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to CN201180027957.XA priority Critical patent/CN102934435B/zh
Priority to US13/634,492 priority patent/US20130003867A1/en
Priority to JP2012515266A priority patent/JP5020422B2/ja
Priority to DE112011101955.6T priority patent/DE112011101955B4/de
Priority to PCT/JP2011/003178 priority patent/WO2011155173A1/ja
Publication of WO2011155099A1 publication Critical patent/WO2011155099A1/ja
Priority to JP2012133061A priority patent/JP5465278B2/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder

Definitions

  • the present invention relates to a video display device, and more particularly to a video display device that displays a video of a digital broadcast program.
  • Digital broadcasting techniques such as MPEG (Moving Picture Experts Group) -2 and MPEG-4 are used for broadcasting programs by digital broadcasting.
  • Television receivers that receive digital broadcasts (hereinafter sometimes referred to as “televisions”) receive transmission data and broadcast signals specified in the broadcast standards and operating regulations, and specify these received transmission data and broadcast signals.
  • the video of the program is displayed by decoding under the specified conditions. Therefore, the time from when the TV viewer selects the channel to when the program image of the selected channel is displayed on the TV display screen is longer than that of analog broadcasting. There is a problem that it takes a long time to output.
  • a digital broadcast receiver As an improvement measure for such a problem, a digital broadcast receiver has been proposed that reduces the psychological burden on the user by outputting other images before the program image of the selected channel is output.
  • Patent Document 1 the data indicating the decoding start timing in the video decoder is compared with the data indicating the time, and the video data is transferred at a higher transfer rate specified in the bit stream corresponding to the comparison result.
  • Patent Document 2 for example.
  • Patent Document 2 is a technique for advancing the output timing of an already recorded program. When a channel of a broadcast program is selected, the program output of the selected channel is output. The image cannot be accelerated, and the time until the image is output cannot be shortened.
  • An object of the present invention is to provide a video display device capable of reducing time as much as possible.
  • the video display device of the present invention is a video display device that decodes and displays video data including a plurality of encoded frames, and the video data is input to the input unit and the input unit.
  • Decoding timing generating means for generating a decoding timing signal representing a decoding timing for decoding each frame of the video data, and decoding for decoding each frame of the video data input to the input means based on the decoding timing signal Means for generating a display timing signal representing a display timing for outputting each frame decoded by the decoding means, and an output means for outputting each decoded frame based on the display timing signal
  • the decoding timing generation means receives the video data input to the input means.
  • a decoding timing signal is generated immediately after the DTS of the decoded frame is first acquired after the change, and the display timing generating means is input to the input means
  • the display timing is generated immediately after the PTS of the decoded frame is first acquired after the change by setting the reference time to the future in the display timing generation process.
  • the decoding timing signal is generated by the decoding timing generation means at the time when the first decodable frame is acquired after the change, The first decodable frame is decoded by the decoding means. Furthermore, if it is determined that a decodable frame exists, a decoding timing signal is immediately generated regardless of the DTS, and the decodable frame is decoded.
  • a display timing signal is generated by the display timing generation means, and the first displayable frame is output by the output means. Further, when it is determined that a displayable frame exists, a display timing signal is immediately generated regardless of the PTS, and the displayable frame is displayed.
  • FIG. 1 is a block diagram showing a configuration of a video display device 1 according to Embodiment 1 of the present invention.
  • the video display device 1 includes an input terminal 10, a stream IF (Interface) 11, a PES (Packetized Elementary Stream) processing unit 12, a decoding buffer 13, a decoding timing generation unit 14, a decoder 15, a frame buffer 16, a display timing generation unit 17, A system time clock (abbreviation: STC) generator 18 and an output terminal 19 are provided.
  • STC system time clock
  • the input terminal 10 corresponds to input means
  • the decoding timing generation unit 14 corresponds to decoding timing generation means
  • the decoder 15 corresponds to decoding means
  • the display timing generation unit 17 corresponds to display timing generation means
  • the output terminal 19 Corresponds to an output means.
  • the video data included in the digital broadcast signal transmitted from, for example, a broadcasting station and received by a receiving antenna (not shown) is input to the input terminal 10.
  • the video data input to the input terminal 10 includes a plurality of frames and is input to the stream IF 11 in units of frames.
  • the stream IF 11 extracts the PES packet from the input video data and supplies it to the PES processing unit 12.
  • the PES packet is data obtained by packetizing compressed and encoded video.
  • the video is stored in a PES packet for each unit of decoding and reproduction.
  • the PES packet is a unit for performing time management of media playback.
  • a PES packet is divided into a plurality of transport stream (abbreviation: TS) packet payloads having the same PID (Packet Identification) number and transmitted.
  • the TS is composed of TS packets having a fixed length of 188 bytes, and is used in a real-time transmission / communication system including digital broadcasting.
  • Each TS packet has a fixed header part of 4 bytes, and the remaining 184 bytes are composed of a payload part.
  • the header part includes the PID, and the packet can be identified.
  • the PES processing unit 12 analyzes the information included in the header portion of the PES given from the stream IF 11, gives the information to the decoding timing generation unit 14 and the display timing generation unit 17, and gives the payload data to the decoding buffer 13. .
  • the STC generation unit 18 is a system generated using, for example, a program time reference value (Program Clock Reference; abbreviated: PCR) included in TS or a system time reference reference value (System Clock Reference; abbreviated: SCR) included in PES.
  • the time reference value (STC) is given to the decoding timing generation unit 14 and the display timing generation unit 17.
  • STC is a time reference value for synchronizing video or audio
  • PCR is data indicating time on a program
  • SCR is data indicating time on a stream.
  • the decoding timing generation unit 14 generates a decoding timing signal representing the decoding timing by the decoder 15 based on the information included in the PES packet supplied from the PES processing unit 12, and provides the generated decoding timing signal to the decoding buffer 13. . More specifically, when the video data input to the input terminal 10 changes, the decoding timing generation unit 14 obtains a first decodable frame after the change, in this embodiment. The decoding timing signal is generated when the entire decodable frame is acquired.
  • the change in the video data input to the input terminal 10 includes the start of input of the video stream to the input terminal 10.
  • the decode buffer 13 temporarily stores the payload data given from the PES processing unit 12 and analyzes data below the PES layer. Then, the decode buffer 13 provides the video data to the decoder 15 in accordance with the decode timing represented by the decode timing signal provided from the decode timing generator 14. When the video data is given from the decode buffer 13, the decoder 15 decodes the given video data and gives the decoded data (hereinafter referred to as “decoded data”) to the frame buffer 16.
  • the display timing generation unit 17 outputs a display timing signal indicating timing for outputting video data from the frame buffer 16 and displaying it on a display unit (not shown) based on information included in the PES packet given from the PES processing unit 12.
  • the generated display timing signal is supplied to the frame buffer 16.
  • the frame buffer 16 temporarily stores the decoded data supplied from the decoder 15, and displays the decoded data from the output terminal 19 (not shown) in accordance with the display timing represented by the display timing signal supplied from the display timing generator 17. To the output. Thereby, the video is displayed on the display unit.
  • FIG. 2 is a flowchart showing a processing procedure of the decoding timing generation unit 14 relating to the decoding timing generation processing in the present embodiment.
  • the video display device 1 of the present embodiment is adapted to a television receiver, and video data is input to the stream IF 11 immediately after the television receiver is turned on. Is started, or when the broadcast channel is switched by the user's operation or the like and the type and state of the input stream to the stream IF 11 are changed, this processing is started, and the process proceeds to step a1.
  • step a1 the decoding timing generation unit 14 determines whether there is a decodable frame that is a frame capable of decoding the entire frame, that is, whether the decodable frame has been acquired via the stream IF 11. .
  • the decoding timing generation unit 14 determines whether there is a decodable frame based on information included in the PES packet given from the PES processing unit 12.
  • the decoding timing generation unit 14 determines that there is a decodable frame.
  • the entire frame cannot be decoded only with the video data related to that frame. Whether or not a decodable frame exists is determined based on whether or not another frame used for conversion is input. If a frame to be encoded using inter-frame prediction is input before another frame used for encoding the frame is input, the entire frame can be decoded. The unit 14 determines that there is a decodable frame. Since the entire frame cannot be decoded unless another frame used for encoding the frame is input, the decoding timing generation unit 14 determines that the frame is not a decodable frame and performs decoding. It is determined that there is no possible frame.
  • the decoding timing generation unit 14 determines whether or not the entire decodable frame has been acquired in step a1, more specifically, all of the video data related to the decodable frame has been acquired. It is determined whether there is a decodable frame based on whether it has been acquired. When the decoding timing generation unit 14 determines that the entire decodable frame has been acquired, the decoding timing generation unit 14 determines that there is a decodable frame. When the decoding timing generation unit 14 determines that the entire decodable frame has not been acquired, the decoding timing generation unit 14 determines that there is no decodable frame. To do. In step a1, if it is determined that there is a decodable frame, the process proceeds to step a2. If it is determined that there is no decodable frame, the process waits until it is determined that there is a decodable frame.
  • step a2 the decoding timing generation unit 14 generates a decoding timing signal indicating the decoding timing by the decoder 15 and supplies the decoding timing signal to the decoding buffer 13. After the processing of step a2 is completed, all processing procedures are completed.
  • the decoding timing generation unit 14 generates a decoding timing signal when it is determined that a decodable frame exists according to the flowchart shown in FIG.
  • the process of the flowchart shown in FIG. 2 is started when the video data input to the input terminal 10 changes.
  • step a1 a decodable frame has been acquired
  • step a2 More specifically, when it is determined in step a1 that the entire decodable frame has been acquired, the process proceeds to step a2. That is, when the video data input to the input terminal 10 changes, the decoding timing signal is acquired when the first decodable frame is acquired after the change, in this embodiment, the entire decodable frame is acquired. It is generated at the time.
  • the decoding timing generation unit 14 seems to have inserted a sequence header in the first frame that can decode the entire frame, for example, GOP (Group of Pictures), immediately after the input stream to the stream IF 11 changes. If this is the case, a decoding timing signal is generated at the timing at which the first I-frame is counted from the first detected sequence header.
  • GOP Group of Pictures
  • FIG. 3 is a flowchart showing a processing procedure of the display timing generation unit 17 related to display timing generation processing in the present embodiment.
  • the flowchart shown in FIG. 3 also assumes a case where the video display device 1 of the present embodiment is applied to a television receiver, just like the flowchart shown in FIG. 2, and immediately after the power is turned on to the television receiver.
  • the processing starts. Then, the process proceeds to step b1.
  • step b1 the display timing generation unit 17 determines whether there is a displayable frame that is a displayable frame.
  • the display timing generation unit 17 determines whether a displayable frame exists based on information included in the PES packet given from the PES processing unit 12. Specifically, the display timing generation unit 17 indicates that the data output from the decoder 15 and stored in the frame buffer 16 is in a displayable state, that is, the decoding is completed and the display order is the original image. When it is detected that they are the same, it is determined that there is a displayable frame. If it is determined in step b1 that there is a displayable frame, the process proceeds to step b2. If it is determined that there is no displayable frame, the process waits until it is determined that there is a displayable frame.
  • step b2 the display timing generation unit 17 generates a display timing signal indicating the display timing and supplies it to the frame buffer 16. After the processing of step b2 is completed, all processing procedures are completed.
  • the display timing generation unit 17 is ready to display the data output from the decoder 15 and stored in the frame buffer 16 according to the flowchart shown in FIG.
  • a display timing signal is generated by detecting that the display order is the same as that of the original picture.
  • a display timing signal is generated at the timing when the decoding is completed and the display order is the same as that of the original image.
  • the first displayable timing after the stream change is the timing when the decoding of the first I frame after the stream change is completed, that is, the timing when all the data related to the first I frame after the stream change is decoded.
  • a signal is generated.
  • FIG. 4 is a diagram schematically showing frame display timing based on the operation of the display timing generation unit 17 in the present embodiment.
  • FIG. 4 also shows the frame order in the original image and the frame order in the transmission / reception stream.
  • the frame display timing according to the prior art is indicated as “normal display”, and the frame display timing according to the present embodiment is indicated as “high-speed channel selection display”.
  • 4A shows the frame of the original image
  • FIG. 4B shows the frame in the transmission / reception stream
  • FIG. 4C shows the frame of normal display
  • FIG. The channel selection display frame is shown.
  • delays such as an encoding delay, a transmission delay, and a decoding delay are expressed as zero for easy understanding. Further, it is assumed that there is no fluctuation in each delay and processing time.
  • Ix (x is a positive integer) represents an I frame
  • Bx (x is a positive integer) represents a B frame (Bi-directional Predicted Frame).
  • the I frame is a frame that is encoded without using inter-frame prediction
  • the B frame is a frame that is encoded using inter-frame prediction, and includes forward prediction, backward prediction, and bidirectional prediction. This is a frame that is selected and encoded.
  • frame B2 and frame B3 are frames generated by predictive conversion using frame I0
  • frame B5 and frame B6 are frames generated by predictive conversion using frame I1 and frame I4.
  • FIG. 4A if the original picture is in the order of I0, B2, B3, I1, B5, B6, I4, the transmission stream is I0, B2, B3, I1, I4, B5, B6. In order.
  • decoding hereinafter referred to as “decoding”
  • frames that can be displayed are I1, B5, B6, and I4. That is, the first decodable frame after the start of stream reception is I1.
  • step a1 of FIG. 2 described above the timing at which the decoding timing generation unit 14 determines that there is a decodable frame is time t1. Since the delay caused by decoding in the subsequent decoder 15 is zero, the timing at which the display timing generating unit 17 determines that a displayable frame exists in step b1 in FIG. 3 is also the time t1.
  • the next decodable frame is I4, and the decodable timing of this frame I4 is time t2, but the displayable timing is time t5 in the order of the original picture.
  • the timing at which the frame to be displayed next to frame I1 can be decoded and the displayable timing after decoding are time t3, and the timing at which the third frame to be displayed counting from frame I1 can be decoded and the display after decoding The possible timing is time t4.
  • the decoding timing of each frame is the decoding time information (Decoding) inserted in the PES header.
  • the time indicated by Time Stamp (abbreviation: DTS) is displayed, and the display timing is the time indicated by presentation time information (Presentation Time Stamp; abbreviation: PTS) inserted in the PES header. Therefore, as shown in FIG. 4C, the timing at which the frame I1 is finally displayed is the time t1a indicated by PTS.
  • FIG. 5 is a flowchart showing the processing procedure of the decoding timing generation unit related to the decoding timing generation processing in the prior art.
  • FIG. 5 corresponds to a flowchart showing a processing procedure of the decoding timing generation processing in the normal display shown in FIG.
  • step c1 the decoding timing generation unit acquires the decoding time td from the DTS.
  • step c1 when the decoding time td is acquired by the decoding timing generation unit, the process proceeds to step c2.
  • step c2 the decoding timing generation unit acquires the STC reference time ts.
  • the process proceeds to step c3.
  • step c4 the decoding timing generation unit generates a decoding timing signal and supplies it to the decoding buffer. After the processing of step c4 is completed, all processing procedures are completed. As described above, in the prior art, a decoding timing signal is generated at the decoding time td indicated by the DTS inserted in the PES header.
  • FIG. 6 is a flowchart showing the processing procedure of the display timing generation unit related to the display timing generation processing in the prior art.
  • FIG. 6 corresponds to a flowchart showing a processing procedure of display timing generation processing in normal display shown in FIG.
  • step d1 the display timing generation unit acquires the presentation time tp from the PTS.
  • the process proceeds to step d2.
  • step d2 the display timing generation unit acquires the STC reference time ts.
  • the process proceeds to step d3.
  • step d4 the display timing generation unit generates a display timing generation signal and supplies it to the frame buffer.
  • step d4 the display timing signal is generated at the presentation time tp indicated by the PTS inserted in the PES header.
  • the timing at which the frame I1 is displayed is time t1a, which is the presentation time indicated by PTS. That is, in the prior art, even if the first frame after the stream change can be displayed before the presentation time t1a indicated by PTS, it is not displayed until the presentation time t1a indicated by PTS. Therefore, as compared with the high-speed channel selection display according to the present embodiment shown in FIG. 4D, the time until the video is displayed after the video stream starts or changes is longer.
  • the decoding timing signal is generated at the time when the display is performed, and the display timing is generated when the displayable frame is acquired. That is, in this embodiment, when it is determined that a decodable frame exists in the received stream, a decoding timing signal is immediately generated regardless of the DTS, and the decodable frame is decoded. If it is determined that a displayable frame exists, a display timing signal is immediately generated regardless of the PTS, and the displayable frame is displayed. Thus, in this embodiment, the first decodable frame that arrives in the received stream is immediately decoded, and the decoded data is immediately displayed.
  • the display timing of the frames is not in the order of decoding, but in the original picture order, so that an image without any disturbance can be displayed.
  • the generation method of the decoding timing and the display timing has been described in units of frames.
  • the present invention is not limited to frame units, and may be field units or picture units similarly to the present embodiment. It can be suitably implemented.
  • Embodiment 2 a video display apparatus according to Embodiment 2 of the present invention will be described.
  • the first embodiment described above it is assumed that there is no fluctuation in the video stream data and that the time required for processing in the video display device 1 is zero. However, in this embodiment, fluctuation and processing delay are described.
  • a video display device that takes into account the above will be described.
  • the video display device of the present embodiment is the same as the video display device 1 of the first embodiment described above except that the decoding timing generation process and the display timing generation process are different. The common explanation is omitted.
  • the decoding timing generation unit 14 decodes the decoding timing by the decoder 15 based on the information included in the header part of the PES packet given from the PES processing unit 12 and the STC given from the STC generation unit 18. Is generated, and the generated decoding timing signal is applied to the decoding buffer 13.
  • the display timing generation unit 17 outputs video data from the frame buffer 16 based on the information included in the header part of the PES packet given from the PES processing unit 12 and the STC given from the STC generation unit 18.
  • a display timing signal indicating timing for display on a display unit (not shown) is generated, and the generated display timing signal is supplied to the frame buffer 16.
  • FIG. 7 is a flowchart showing a processing procedure of the decoding timing generation unit 14 regarding the decoding timing generation processing in the present embodiment.
  • the decoding timing generation unit 14 generates a decoding timing signal and obtains a decoding time td0 indicated by the DTS of the first decodable frame and an actual decoding timing time tc0.
  • the decoding timing generation processing for the second and subsequent frames is performed according to the processing procedure of the flowchart shown in FIG. That is, when all the processing procedures of the flowchart shown in FIG. 2 are completed, the processing of the flowchart shown in FIG. 7 is started, and the process proceeds to step e1.
  • step e1 the decoding timing generation unit 14 determines whether there is a decodable frame. In step e1, when it is determined that at least a part of the decodable frame has been acquired, the decoding timing generation unit 14 determines that there is a decodable frame. If it is determined in step e1 that there is a decodable frame, the process proceeds to step e2, and if it is determined that there is no decodable frame, the process waits until it is determined that there is a decodable frame.
  • step e2 the decoding timing generation unit 14 acquires the decoding time td from the DTS.
  • the process proceeds to step e3.
  • step e3 the decoding timing generation unit 14 obtains the decoding time td acquired in step e2 based on the decoding time td0 indicated by the DTS of the first decodable frame acquired in advance and the actual decoding timing time tc0. Correction is made to the corrected decoding time td ⁇ . Specific correction processing will be described later.
  • step e3 when the decode time td is corrected to the corrected decode time td ⁇ by the decode timing generator 14, the process proceeds to step e4.
  • step e4 the decoding timing generation unit 14 acquires the STC reference time ts.
  • the process proceeds to step e5.
  • step e6 the decoding timing generation unit 14 generates a decoding timing signal and supplies it to the decoding buffer 13. After the processing of step e6 is completed, all processing procedures are completed.
  • FIG. 8 is a flowchart showing a processing procedure of the display timing generation unit 17 related to the display timing generation processing in the present embodiment.
  • the display timing generation unit 17 generates a display timing signal and obtains the presentation time tp0 indicated by the PTS of the first displayable frame and the generated display timing time tq0. .
  • display timing generation processing for the second and subsequent frames is performed according to the processing procedure of the flowchart shown in FIG. That is, when all the processing procedures of the flowchart shown in FIG. 3 are completed, the processing of the flowchart shown in FIG. 8 is started, and the process proceeds to step f1.
  • step f1 the display timing generation unit 17 determines whether there is a displayable frame. If it is determined in step f1 that there is a displayable frame, the process proceeds to step f2. If it is determined that there is no displayable frame, the process waits until it is determined that there is a displayable frame.
  • step f2 the display timing generation unit 17 acquires the presentation time tp from the PTS.
  • step f2 when the presentation time tp is acquired by the display timing generation unit 17, the process proceeds to step f3.
  • step f3 the display timing generation unit 17 uses the presentation time tp acquired in step f2 based on the presentation time tp0 indicated by the PTS of the first displayable frame acquired in advance and the generated display timing time tq0. Correction is made to the obtained correction presentation time tp ⁇ . Specific correction processing will be described later.
  • step f3 when the presentation time tp is corrected to the corrected presentation time tp ⁇ by the display timing generation unit 17, the process proceeds to step f4.
  • step f4 the display timing generation unit 17 acquires the STC reference time ts.
  • the process proceeds to step f5.
  • step f5 the display timing generation unit 17 determines whether or not the reference time ts and the corrected presentation time tp ⁇ match.
  • the process proceeds to step f6, and when it is determined that the reference time ts and the correction presentation time tp ⁇ do not match.
  • the display timing generation unit 17 stands by until the reference time ts reaches the corrected presentation time tp.
  • step f6 the display timing generation unit 17 generates a display timing generation signal and supplies it to the frame buffer 16. After the processing of step f6 is completed, all processing procedures are completed.
  • the decoding timing generation unit 14 determines that the information included in the header part of the PES packet given from the PES processing unit 12 and the STC generation unit 18 Based on the given STC, a decoding timing signal is generated when the reference time ts indicated by STC becomes a corrected decoding time td ⁇ obtained by correcting the decoding time td indicated by DTS. Further, the display timing generation unit 17 determines that the reference time ts indicated by the STC is PTS based on the information included in the header part of the PES packet provided from the PES processing unit 12 and the STC provided from the STC generation unit 18. A display timing signal is generated at a corrected presentation time tp ⁇ obtained by correcting the presented presentation time tp.
  • the timing correction is performed at both the decoding timing and the display timing, even when waiting for the decoded data to be displayed, the waiting time is small and the display is performed. The amount of buffer for the can be reduced.
  • the corrected decoding time td ⁇ which is the DTS correction value for the decoding timing
  • the decoding time td0 indicated by the DTS of the first decodable frame and the actual decoding timing time tc0. Calculated according to (1).
  • td ⁇ td ⁇ (td0 ⁇ tc0) (1)
  • td0-tc0 the deviation amount of the actual decoding timing time tc0 from the decoding time td0 indicated by the DTS in the first decodable frame.
  • the corrected presentation time tp ⁇ which is a PTS correction value for display timing, is expressed by the following equation (2) using the presentation time tp0 indicated by the PTS of the first displayable frame and the generated display timing time tq0. calculate.
  • tp ⁇ tp ⁇ (tp0 ⁇ tq0) (2)
  • tp0-tq0 a deviation amount of the display timing time tq0 actually generated from the presentation time tp0 indicated by the PTS in the first decodable frame.
  • linear correction The correction based on the above formula (1) and the correction based on the formula (2) are referred to as “linear correction” in the following description.
  • the decoding and display timings of the second and subsequent frames are linearly corrected based on the initial decoding and display timings. That is, the decoding timing signal and the display timing signal are generated by shifting the decoding and display timing of the second and subsequent frames by the same amount as the first decoding and display timing shift amount.
  • the time from the start or change of the input video stream to the display of the first video can be shortened, and the frames can be displayed at the same interval as the frame interval of the original image.
  • Embodiment 3 In the above-described second embodiment, the correction method for timing generation is linear correction, but in the third embodiment, another correction method is adopted.
  • the video display device according to the present embodiment is the same as the video display device according to the second embodiment, except for the correction method in timing generation.
  • the timing generation correction process in this embodiment will be described.
  • the process until the first decoding timing and the display timing are the same as in the second embodiment.
  • the second decoding timing is waited until the time specified by the input video data, that is, the time equal to the decoding time td indicated by the DTS. That is, the correction formula is the following formula (3).
  • FIG. 9 is a diagram schematically showing frame display timing based on the operation of the display timing generation unit 17 in the present embodiment.
  • the frame display timing according to the prior art is indicated as “normal display”, and the frame display timing according to the present embodiment is indicated as “high-speed channel selection display”.
  • 9A shows the frame of the original picture
  • FIG. 9B shows the frame in the transmission / reception stream
  • FIG. 9C shows the frame of the normal display
  • FIG. 9D shows the high-speed frame.
  • the channel selection display frame is shown.
  • delays such as an encoding delay, a transmission delay, and a decoding delay are expressed as zero for easy understanding. Further, it is assumed that there is no fluctuation in each delay and processing time.
  • the first decodable frame and the displayable frame after the start of stream reception are I1.
  • the decoding timing of the first decodable frame I0 and the display timing of the displayable frame I0 are also the time t1 in this embodiment.
  • the process waits from the first decoding and display timing to the next decoding and display timing until the time specified by the input video data. More specifically, as shown in FIG. 9 (d), the decodable timing of the second decodable frame I4 is not the time t2 shown in FIG. The decoding time indicated by the DTS is displayed, and the displayable timing is the presentation time t14 indicated by PTS.
  • the decodable timing of the third decodable frame B5 is the decoding time t12 indicated by DTS, and assuming that the delay is zero, the displayable timing is also the presentation time t12 defined by PTS.
  • the displayable timing is also the presentation time t12 defined by PTS.
  • the display in GOP units starting from the frame I0 is started.
  • GOP unit display is performed at time t10 between time t1 when the first displayable frame I0 is displayed and presentation time t11 indicated by the PTS of the first displayable frame I0. Is not started, and is started at the presentation time t11 indicated by PTS.
  • the frame is displayed at the time specified by the input video data when the next frame is displayed. can do. Since the display timing of the second and subsequent frames is the presentation time tp specified by the input video data, the frames can be displayed at the same interval as the frame interval of the original image.
  • the time from the start or change of the input video stream to the display of the first video can be shortened, and the input video for the second and subsequent frames can be reduced.
  • the data can be displayed at the same interval as the frame interval of the original image at the time specified by the data.
  • Embodiment 4 FIG. In the fourth embodiment, a correction method different from those in the second and third embodiments is adopted.
  • the video display apparatus according to the present embodiment is the same as the video display apparatuses according to the second and third embodiments except for the correction method in timing generation.
  • a corrected decode time td ⁇ which is a DTS correction value for the decoding timing of the second and subsequent decodable frames, is calculated by the following equation (5).
  • td ⁇ td ⁇ (td0 ⁇ tc0) ⁇ ⁇ (0 ⁇ ⁇ ⁇ 1) (5)
  • td0-tc0 the deviation amount of the actual decoding timing time tc0 from the decoding time td0 indicated by the DTS in the first decodable frame
  • represents the decoding time correction coefficient.
  • the decoding time correction coefficient ⁇ shown in Expression (5) is decreased from 1 to 0 with the passage of time. As a result, the decoding timing approaches the time designated by the input video data, that is, the decoding time td indicated by the DTS, as time elapses.
  • the corrected presentation time tp ⁇ which is the correction value of the PTS for the display timing of the second and subsequent displayable frames, is calculated by the following equation (6).
  • tp ⁇ tp ⁇ (tp0 ⁇ tq0) ⁇ ⁇ (0 ⁇ ⁇ ⁇ 1) (6)
  • tp0-tq0 a deviation amount of the display timing time tq0 actually generated from the presentation time tp0 indicated by PTS in the first decodable frame
  • represents a presentation time correction coefficient.
  • the presentation time correction coefficient ⁇ shown in Expression (6) is decreased from 1 to 0 with the passage of time. As a result, the display timing approaches the time designated by the input video data, that is, the presentation time tp indicated by the PTS as time elapses.
  • FIG. 10 is a diagram schematically showing frame display timing based on the operation of the display timing generation unit 17 in the present embodiment.
  • the frame display timing according to the prior art is indicated as “normal display”, and the frame display timing according to the present embodiment is indicated as “high-speed channel selection display”.
  • 10A shows the frame of the original image
  • FIG. 10B shows the frame in the transmission / reception stream
  • FIG. 10C shows the frame of normal display
  • FIG. 10 The channel selection display frame is shown.
  • delays such as an encoding delay, a transmission delay, and a decoding delay are expressed as zero. Further, it is assumed that there is no fluctuation in each delay and processing time.
  • the first decodable frame and the displayable frame after the start of stream reception are I1.
  • the decoding timing of the first decodable frame I0 and the display timing of the displayable frame I0 are also the time t1 in this embodiment.
  • the second and subsequent decoding and display timings are corrected in stages so as to approach the time to be decoded or displayed. More specifically, as shown in FIG. 10 (d), the decodable timing of the second decodable frame I4 is corrected based on the above equation (5), not the time t21 at which decoding is enabled. The corrected decode time td ⁇ is displayed, and the displayable timing is time t24 which is the corrected presentation time tp ⁇ corrected based on the above-described equation (6).
  • the decodable timing of the third decodable frame B5 is time t22 which is the corrected decoding time td ⁇ corrected based on the above equation (5), and assuming that the delay is zero, the displayable timing is also represented by the above equation ( It becomes time t22 which is the correction presentation time corrected based on 6). That is, in the present embodiment, after the first displayable frame I0 is displayed at time t1, the frame I0 is corrected from the corrected presentation time t21 corrected based on the presentation time t1 indicated by the PTS of the first displayable frame I0. Display of GOP units starting from is started.
  • the decoding time correction coefficient ⁇ shown in Expression (5) and the presentation time correction coefficient ⁇ shown in Expression (6) are reduced from 1 to 0 with the passage of time, so that the display interval of each frame is gradually increased. It gets bigger. Specifically, as shown in FIG. 10D, the interval from time t21 to time t22, the interval from time t22 to time 23, and the interval from time t23 to time t24 are gradually increased in this order. It will become.
  • the second and subsequent decoding and display timings are corrected stepwise so as to approach the time to be decoded or displayed, so that the first or third time from the start or change of the input video stream is the same as in the first to third embodiments.
  • the time until the video is displayed can be shortened, and the video can be displayed at the time to be displayed after a certain time has elapsed.
  • the second and subsequent decoding and display timings are corrected in stages so as to approach the time to be decoded or displayed, so that the video is displayed in accordance with the time to be displayed after the first video is displayed. It is possible to display a video without any sense of incongruity as well as disturbance in the time until the display.
  • Embodiment 5 FIG. Next, a video display apparatus according to Embodiment 5 of the present invention will be described.
  • the video display apparatus according to the present embodiment is the same as the video display apparatuses according to the first to fourth embodiments described above except that the decoding timing generation process is different. Therefore, different parts will be described and common description will be omitted. To do.
  • the decoding timing generation unit 14 decodes the decoding timing signal when the entire entire decodable frame is first acquired after the change. Is generated.
  • the decoding timing generation unit 14 is the time when a part of the decodable frame is first acquired after the change. The decoding timing signal is generated at a time earlier than the time when the entire decodable frame is acquired.
  • FIG. 11 is a flowchart showing a processing procedure of the decoding timing generation unit 14 relating to the decoding timing generation processing in the present embodiment.
  • the flowchart shown in FIG. 11 assumes a case where the video display device of this embodiment is applied to a television receiver, and immediately after the power is turned on to the television receiver. This process is started when the input of video data to the stream IF 11 is started or when the type and state of the input stream to the stream IF 11 is changed by switching the broadcast channel by a user operation or the like. The process proceeds to step g1.
  • step g1 the decoding timing generation unit 14 determines whether there is a preceding decodable frame based on information included in the PES packet given from the PES processing unit 12. More specifically, in step g1, the decoding timing generation unit 14 includes a decodable frame and a part of the decodable frame, more specifically, a part of video data related to the decodable frame. If it is determined that a predetermined set storage amount of data has been stored in the decode buffer 13, it is determined that there is a preceding decodable frame.
  • the decoding timing generation unit 14 determines that there is no decodable frame, or there is a decodable frame, but the set accumulation amount of data is not accumulated in the decode buffer 13, it determines that there is no preceding decodable frame. To do.
  • the set accumulation amount is a data amount sufficient to start decoding of the decodable frame by the decoder 15, more specifically, the minimum amount necessary to start decoding of the decodable frame by the decoder 15. A limited amount of data is selected.
  • step g1 if it is determined that there is a preceding decodable frame, the process proceeds to step g2. If it is determined that there is no preceding decodable frame, the process waits until it is determined that there is a preceding decodable frame.
  • step g2 the decoding timing generation unit 14 generates a decoding timing signal and supplies it to the decoding buffer 13. After the processing of step g2 is completed, all processing procedures are completed.
  • FIG. 12 is a diagram schematically illustrating the relationship between the accumulation amount of the decode buffer 13, the decoding timing, and the display timing.
  • FIG. 12A is a diagram showing the relationship between the accumulation amount of the decode buffer 13 and the decoding timing and display timing in the first embodiment
  • FIG. 12B is the accumulation of the decode buffer 13 in the present embodiment. It is a figure which shows the relationship between quantity, a decoding timing, and a display timing.
  • the horizontal axis related to the decode buffer storage amount represents the x axis
  • the vertical axis represents the y axis.
  • the x axis and the horizontal axis related to the decoding timing and display timing represent time t.
  • 12A and 12B show a case where a transmission / reception stream similar to the transmission / reception stream shown in FIG. 4B is transmitted / received.
  • the decodable frame existence timing in the case of Embodiment 1 shown in FIG. As shown in FIG. 12A, data is sequentially stored in the decode buffer 13. Based on the information included in the PES packet given from the PES processing unit 12, the decoding timing generation unit 14 is information about the picture type of each frame included in the information, for example, whether the frame is an I frame or a B frame. Can be acquired at the head of picture data that is data relating to the frame.
  • the decoding timing generation unit 14 starts to accumulate data of the frame I1, which is the first decodable frame, in the decoding buffer 13 at time tbI1, that is, It can be determined that the data accumulation start time is time tbI1.
  • Data is accumulated in the decode buffer 13 from this time tbI1, and the data is accumulated until the time when the entire frame I1 can be decoded, that is, the time tdI1 when the accumulation of all the data related to the frame I1 is completed.
  • the decoding timing generation unit 14 determines that it is the decoding timing of the frame I1, and generates a decoding timing signal. As a result, output of data from the decode buffer 13 to the decoder 15 is started, and decoding by the decoder 15 is started.
  • this time tdI1 is the timing at which it is determined that a decodable frame exists, that is, the timing at which a decodable frame exists.
  • the time from the decode start time tdI1 to the decode end time tpI1 of the frame I1 is a period in which the decode buffer 13 continues to accumulate and outputs data to the decoder 15 while accumulating.
  • the decode buffer 13 continues to accumulate, and accumulates data of the frame I4 that is the next input frame. Further, the decode buffer 13 continues to accumulate, and the decode timing generation unit 14 waits for all data of the frame B5, which is a frame to be output at the next timing, to accumulate in the decode buffer 13, and then decodes the frame B5.
  • the time tdB5 is determined. That is, when all the data of frame B5 is accumulated in the decode buffer 13 at time tdB5, the decode timing generator 14 determines that it is the decode timing of frame B5 and generates a decode timing signal. Output of data to the decoder 15 is started, and decoding by the decoder 15 is started.
  • the time from the time tdB5 to the decoding end time tpB5 of the frame B5 is a period in which the decode buffer 13 continues to accumulate and outputs data to the decoder 15 while accumulating.
  • the decode buffer 13 continues to accumulate, and the decode timing generation unit 14 waits for the data of frame B6, which is a frame to be output at the next timing, to be accumulated in the decode buffer 13, and at the decode timing of frame B6.
  • a certain time tdB6 is determined.
  • the time from the time tdB6 to the decoding end time tpB6 of the frame B6 is a period in which the decoding buffer 13 continues to accumulate and outputs data to the decoder 15 while accumulating.
  • the decoding timing generation unit 14 When the decoding end time tpB6 of the frame B6 elapses, the decoder 15 can start the next decoding. Therefore, the decoding timing generation unit 14 outputs the frame at the next timing at the same time tpI4 as the decoding end time tpB6 of the frame B6.
  • the decoding timing signal of frame I4 is generated.
  • the time from the time tdI4 to the decoding end time tpI4 of the frame I4 is a period in which the decoding buffer 13 continues to accumulate and outputs data to the decoder 15 while accumulating.
  • the time tdI1- is the amount of data sufficient to start the decoding of the decodable frame by the decoder 15, and in this embodiment, the minimum necessary for starting the decoding of the decodable frame by the decoder 15 It is selected at the time when a limited amount of data is stored in the decode buffer 13.
  • the time tpI1- is the time when the accumulation of all the data of the frame I1 is ideally completed in the decode buffer 13 when the decoding time is 0, and is obtained as follows. First, the speed of accumulating data in the decode buffer 13 is approximated linearly as shown in the following equation (7).
  • the decoding start timing of each decodable frame can be advanced compared to the first embodiment.
  • the end timing of decoding by the decoder 15 can be advanced, so at times tpI1-, tpB5-, tpB6-, tpI4- earlier than the display times tpI1, tpB5, tpB6, tpI4 of each frame in the first embodiment.
  • Each frame can be displayed.
  • the video data input to the input terminal 10 changes, it is the time when a part of the decodable frame is first acquired after the change, A decoding timing signal is generated at a time earlier than the time when the whole is acquired. As a result, the frame can be displayed at a timing earlier than those in the first to fourth embodiments.
  • the decoding timing signal is generated by the decoding timing generation unit 14 when it is determined that there is a preceding decodable frame for the second and subsequent frames, and the decoding of each frame is completed.
  • a display timing signal is generated by the display timing generator 17.
  • the present invention is not limited to this, and the decoding timing signal is generated at the time when the reference time ts indicated by STC reaches the corrected decoding time td ⁇ for the second and subsequent frames as in the above-described second to fourth embodiments. .
  • the display timing signal may be generated when the reference time ts indicated by STC reaches the corrected presentation time tp ⁇ .
  • Embodiment 6 FIG.
  • the video display device of the present embodiment is the same as the video display device of the embodiment described in the first embodiment except for the decoding timing generation method and the display timing generation method.
  • the decoding timing generation unit 14 decodes the decoding timing when all or a part of the decodable frame is first acquired after the change. Generate a signal.
  • an embodiment of a method for acquiring the time point when all or a part of a decodable frame is acquired will be described.
  • FIG. 13 is a flowchart showing a processing procedure of the decoding timing generation unit regarding the decoding timing generation processing in the present embodiment.
  • step h1 the decoding timing generation unit acquires the decoding time td from the DTS.
  • step h1 when the decoding time td is acquired by the decoding timing generation unit, the process proceeds to step h2.
  • step h2 the decoding timing generation unit acquires the STC reference time ts.
  • the process proceeds to step h3.
  • step h3 when a future time is set in ts, the process proceeds to step h4.
  • step h4 the decoding timing generation unit compares the reference time ts with the decoding time td. If it is determined that the reference time ts has passed the decoding time td (td ⁇ ts), the decoding timing generation unit proceeds to step h5, If it is determined that the time ts is earlier than the decoding time td, the process returns to step h2 and the same processing as described above is performed.
  • step h5 the decoding timing generator generates a decoding timing signal and supplies it to the decoding buffer.
  • step h5 when the decoding timing is generated and given to the decoding buffer, the process proceeds to step h6.
  • step h6 STC time ts is acquired as the reference time. After the processing of step h6 is completed, all processing procedures are completed. As described above, in this embodiment, a decoding timing signal is generated immediately after starting decoding.
  • FIG. 14 is a block diagram showing a configuration of the decoding timing generation unit 14 relating to the decoding timing generation processing in the present embodiment.
  • the DTS acquisition unit 23 acquires the DTS from the data included in the header part of the PES given from the decoding timing generation unit 14 and outputs the DTS to the comparator 22.
  • the adder 21 adds the STC data input from the STC generator 18 and the positive value ⁇ 20 and outputs the result to the comparator 21.
  • the comparator 21 receives data from the adder 21 and the DTS acquisition unit 23 and outputs the comparison result to the decode buffer 13 as a decoding timing.
  • FIG. 15 is a flowchart showing the processing procedure of the display timing generation unit regarding the display timing generation processing in the present embodiment.
  • step i1 the display timing generation unit acquires the presentation time tp from the PTS.
  • the process proceeds to step i2.
  • step i2 the display timing generation unit acquires the STC reference time ts.
  • the process proceeds to step i3.
  • step i3 when a future time is set in ts, the process proceeds to step i4.
  • step i4 the decoding timing generation unit compares the reference time ts with the presentation time tp, and if it is determined that the reference time ts has passed the presentation time tp (tp ⁇ ts), the process proceeds to step i5. If it is determined that the time ts is earlier than the presentation time tp, the process returns to step i2, and the same processing as described above is performed.
  • step i5 the display timing generator generates a display timing signal and supplies it to the frame buffer.
  • step i5 when the display timing is generated and applied to the frame buffer, the process proceeds to step i6.
  • step i6 STC time ts is acquired as the reference time. After the processing of step i6 is completed, all processing procedures are completed. Thus, in the present embodiment, the display timing signal is generated immediately after the presentation process is started.
  • FIG. 16 is a block diagram showing the configuration of the display timing generation unit 17 related to the display timing generation processing in the present embodiment.
  • the PTS acquisition unit 27 acquires the PTS from the data included in the header part of the PES given from the display timing generation unit 17 and outputs it to the comparator 26.
  • the adder 25 adds the STC data input from the STC generator 18 and the positive value ⁇ 24, and outputs the result to the comparator 26.
  • the comparator 26 receives the data from the adder 25 and the PTS acquisition unit 27 and outputs the comparison result to the frame buffer 16 as a decoding timing.
  • the timing generation time is advanced by setting the reference time in the future, but may be realized by sending the decoding time DTS and the presentation time in the past. It goes without saying that other methods may be used as long as the timing generation time is advanced.
  • a decoding timing signal is generated and displayed immediately after the DTS of the decoded frame is first acquired after the change.
  • a display timing is generated immediately after the PTS is acquired. That is, in this embodiment, when it is determined that a decodable frame exists in the received stream, a decoding timing signal is immediately generated regardless of the DTS, and the decodable frame is decoded. If it is determined that a displayable frame exists, a display timing signal is immediately generated regardless of the PTS, and the displayable frame is displayed. Thus, in this embodiment, the first decodable frame that arrives in the received stream is immediately decoded, and the decoded data is immediately displayed.
  • the decoding time may be appropriately corrected.
  • 1 video display device 11 stream IF, 12 PES processing unit, 13 decoding buffer, 14 decoding timing generation unit, 15 decoder, 16 frame buffer, 17 display timing generation unit, 18 STC generation unit, 20 constant ⁇ , 21 adder, 22 comparators, 23 DTS acquisition unit, 24 constant ⁇ , 25 adder, 26 comparator, 27 PTS acquisition unit.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

 復号タイミング発生部14を、入力端子10に入力される映像データが変化したとき、基準時刻を未来に設定することによってその変化後に最初に復号フレームのDTSが取得された直後の時点で復号タイミング信号復号タイミング信号を発生するように構成する。復号可能フレームの一部が取得された時点であって、復号可能フレームの全体が取得される時点よりも早い時点で復号タイミング信号を発生するように構成する。また表示タイミング発生部15を、入力端子10に入力される映像データが変化したとき、基準時刻を未来に設定することによってその変化後に最初に復号フレームのPTSが取得された直後の時点で表示タイミングが発生するように構成する。

Description

映像表示装置
 本発明は、映像表示装置に関し、より詳細には、デジタル放送の番組の映像を表示する映像表示装置に関する。
 デジタル放送による番組の放送には、MPEG(Moving Picture Experts Group)-2およびMPEG-4などのデジタル圧縮技術が用いられている。デジタル放送を受信するテレビジョン受像機(以下「テレビ」という場合がある)では、放送規格および運用規定で規定された送信データおよび放送信号を受信し、受信したこれらの送信データおよび放送信号を規定された条件で復号して、番組の映像を表示する。したがって、テレビの視聴者が選局操作をしてから、選局したチャンネルの番組の映像がテレビの表示画面に表示されるまでの時間がアナログ放送に比べて長く、チャンネル選局後、画像が出力されるまでに長時間を要するという問題がある。
 このような問題の改善策として、選局したチャンネルの番組の画像が出力されるまでの間に他の画像を出力することによって、利用者の心理的負担を軽減するデジタル放送受信装置が提案されている(たとえば特許文献1参照)。またデジタル放送に関する技術ではないが、ビデオデコーダにおけるデコード開始タイミングを示すデータと、時刻を表すデータとを比較し、その比較結果に対応してビットストリームに指定されているより高い転送レートでビデオデータをビデオコードバッファに書き込み、再生開始時の応答性を高めるように構成される多重化データ分離装置が提案されている(たとえば特許文献2参照)。
特開2005-295028号公報 特開平6-333341号公報
 前述の特許文献1に開示される技術のように、選局したチャンネルの番組の画像が出力されるまでの間に他の画像を挿入する場合でも、所望の番組を見るまでの時間を短縮することはできない。また前述の特許文献2に開示される技術は、既に記録されている番組の出画タイミングを早めるための技術であり、放送番組のチャンネルを選局するときに、選局したチャンネルの番組の出画を早めることはできず、画像が出力されるまでの時間を短縮することができない。
 このように特許文献1,2に開示される技術を用いても、選局したチャンネルの番組の画像が出力されるまでの時間を短縮することはできず、利用者にとって利便性が低いという問題がある。
 本発明の目的は、入力される映像データが変化した後に、最初に映像が表示されるまでの時間、たとえばチャンネルを選局してから、選局したチャンネルの番組の映像が出力されるまでの時間を可及的に短縮することができる映像表示装置を提供することである。
 本発明の映像表示装置は、符号化された複数のフレームを含む映像データを復号して表示する映像表示装置であって、前記映像データが入力される入力手段と、前記入力手段に入力された前記映像データの各フレームを復号する復号タイミングを表す復号タイミング信号を発生する復号タイミング発生手段と、前記復号タイミング信号に基づいて、前記入力手段に入力された前記映像データの各フレームを復号する復号手段と、前記復号手段によって復号された各フレームを出力する表示タイミングを表す表示タイミング信号を発生する表示タイミング発生手段と、前記表示タイミング信号に基づいて、前記復号された各フレームを出力する出力手段とを備え、前記復号タイミング発生手段は、前記入力手段に入力される前記映像データが変化したとき、基準時刻を未来に設定することによってその変化後に最初に復号フレームのDTSが取得された直後の時点で復号タイミング信号が発生し、前記表示タイミング発生手段は、前記入力手段に入力される前記映像データが変化したとき、表示タイミング発生処理の中で基準時刻を未来に設定することによってその変化後に最初に復号フレームのPTSが取得された直後の時点で表示タイミングが発生することを特徴とする。
 本発明の映像表示装置によれば、入力手段に入力される映像データが変化したとき、その変化後に最初に復号可能フレームが取得された時点で、復号タイミング発生手段によって復号タイミング信号が発生され、最初の復号可能フレームが復号手段によって復号される。さらには、復号可能フレームが存在すると判断されると、DTSに係わらず、即座に復号タイミング信号が発生されて、復号可能フレームが復号される。また入力手段に入力される映像データの変化後に最初に表示可能フレームが取得された時点で、表示タイミング発生手段によって表示タイミング信号が発生され、最初の表示可能フレームが出力手段によって出力される。さらには、表示可能フレームが存在すると判断されると、PTSに拘わらず、即座に表示タイミング信号が発生されて、表示可能フレームが表示される。
 これによって、入力手段に入力される映像データが変化した後に、最初に映像が表示されるまでの時間を短縮することができる。したがって、チャンネルを選局してから、選局したチャンネルの番組の映像が出力されるまでの時間を可及的に短縮することができる。
本発明の実施の形態1における映像表示装置1の構成を示すブロック図である。 本発明の実施の形態1における復号タイミングの発生処理に関する復号タイミング発生部14の処理手順を示すフローチャートである。 本発明の実施の形態1における表示タイミングの発生処理に関する表示タイミング発生部17の処理手順を示すフローチャートである。 本発明の実施の形態1における表示タイミング発生部17の動作に基づくフレームの表示タイミングを模式的に示す図である。 従来技術における復号タイミング発生処理に関する復号タイミング発生部の処理手順を示すフローチャートである。 従来技術における表示タイミング発生処理に関する表示タイミング発生部の処理手順を示すフローチャートである。 本発明の実施の形態2における復号タイミング発生処理に関する復号タイミング発生部14の処理手順を示すフローチャートである。 本発明の実施の形態2における表示タイミング発生処理に関する表示タイミング発生部17の処理手順を示すフローチャートである。 本発明の実施の形態3における表示タイミング発生部17の動作に基づくフレームの表示タイミングを模式的に示す図である。 本発明の実施の形態4における表示タイミング発生部17の動作に基づくフレームの表示タイミングを模式的に示す図である。 本発明の実施の形態5における復号タイミングの発生処理に関する復号タイミング発生部14の処理手順を示すフローチャートである。 デコードバッファ13の蓄積量と、復号タイミングおよび表示タイミングとの関係を模式的に示す図である。 本発明の実施の形態6における復号タイミング発生処理に関する復号タイミング発生部14の処理手順を示すフローチャートである。 本発明の実施の形態6における復号タイミング発生処理に関する復号タイミング発生部の構成を示すブロック図である。 本発明の第実施の形態6における表示タイミング発生処理に関する表示タイミング発生部17の処理手順を示すフローチャートである。 本発明の実施の形態6における表示タイミング発生処理に関する表示タイミング発生部の構成を示すブロック図である。
 実施の形態1.
 図1は、本発明の実施の形態1における映像表示装置1の構成を示すブロック図である。映像表示装置1は、入力端子10、ストリームIF(Interface)11、PES(Packetized Elementary Stream)処理部12、デコードバッファ13、復号タイミング発生部14、デコーダ15、フレームバッファ16、表示タイミング発生部17、システムタイムクロック(System Time Clock;略称:STC)発生部18および出力端子19を備え構成される。入力端子10は入力手段に相当し、復号タイミング発生部14は復号タイミング発生手段に相当し、デコーダ15は復号手段に相当し、表示タイミング発生部17は表示タイミング発生手段に相当し、出力端子19は出力手段に相当する。
 入力端子10には、たとえば放送局から送信され、不図示の受信アンテナによって受信されたデジタル放送信号に含まれる映像データが入力される。入力端子10に入力された映像データは、複数のフレームを含んでおり、フレーム単位で、ストリームIF11に入力される。
 ストリームIF11は、入力された映像データから、PESパケットを取り出し、PES処理部12に与える。PESパケットは、圧縮および符号化された映像をパケット化したデータである。映像は、復号および再生の単位ごとにPESパケットに納められる。PESパケットは、メディア再生の時間管理を行う単位となる。
 PESパケットは、同じPID(Packet Identification)番号を有する複数のトランスポートストリーム(Transport Stream;略称:TS)パケットのペイロード(payload)に分割されて伝送される。TSは188バイト固定長のTSパケットから成り、デジタル放送を含むリアルタイム伝送・通信系で用いられる。各TSパケットは、4バイトの固定のヘッダ部を有し、残りの184バイトはペイロード部で構成される。ヘッダ部にはPIDが含まれており、パケットの識別が可能である。
 PES処理部12は、ストリームIF11から与えられるPESのヘッダ部に含まれる情報の解析を行い、当該情報を復号タイミング発生部14および表示タイミング発生部17に与えると共に、ペイロードデータをデコードバッファ13に与える。
 STC発生部18は、たとえばTSに含まれるプログラム時刻基準値(Program Clock Reference;略称:PCR)、またはPESに含まれるシステム時刻基準参照値(System Clock Reference;略称:SCR)を用いて発生したシステム時刻基準値(STC)を、復号タイミング発生部14および表示タイミング発生部17に与える。ここで、STCは、映像または音声の同期をとるための時刻の基準値であり、PCRは、番組上での時刻を示すデータであり、SCRは、ストリーム上での時刻を示すデータである。
 復号タイミング発生部14は、PES処理部12から与えられる前記PESパケットに含まれる情報に基づいて、デコーダ15による復号タイミングを表す復号タイミング信号を発生し、発生した復号タイミング信号をデコードバッファ13に与える。さらに具体的に述べると、復号タイミング発生部14は、入力端子10に入力される映像データが変化したとき、その変化後に最初に復号可能な復号可能フレームが取得された時点、本実施の形態では復号可能フレームの全体が取得された時点で前記復号タイミング信号を発生する。入力端子10に入力される映像データの変化には、入力端子10への映像ストリームの入力開始を含む。
 デコードバッファ13は、PES処理部12から与えられるペイロードデータを一時的に記憶し、PESレイヤ以下のデータの解析を行う。そして、デコードバッファ13は、復号タイミング発生部14から与えられる復号タイミング信号が表す復号タイミングに合わせて、映像データをデコーダ15に与える。デコーダ15は、デコードバッファ13から映像データが与えられると、与えられた映像データを復号し、復号したデータ(以下「復号データ」という)をフレームバッファ16に与える。
 表示タイミング発生部17は、PES処理部12から与えられる前記PESパケットに含まれる情報に基づいて、フレームバッファ16から映像データを出力して不図示の表示部に表示するタイミングを表す表示タイミング信号を発生し、発生した表示タイミング信号をフレームバッファ16に与える。
 フレームバッファ16は、デコーダ15から与えられる復号データを一時的に記憶し、表示タイミング発生部17から与えられる表示タイミング信号が表す表示タイミングに合わせて、前記復号データを出力端子19から不図示の表示部に出力する。これによって映像が表示部に表示される。
 図2は、本実施の形態における復号タイミングの発生処理に関する復号タイミング発生部14の処理手順を示すフローチャートである。図2に示すフローチャートでは、本実施の形態の映像表示装置1がテレビ受像機に適応された場合を想定しており、テレビ受像機に電源が投入された直後に映像データのストリームIF11への入力が開始された場合、または利用者の操作などによって放送のチャンネルが切換えられてストリームIF11への入力ストリームの種別および状態などが変化した場合に、本処理が開始され、ステップa1に移行する。
 ステップa1では、復号タイミング発生部14は、フレーム全体を復号することができるフレームである復号可能フレームが存在するか否か、すなわち復号可能フレームがストリームIF11を介して取得されたか否かを判断する。復号タイミング発生部14は、PES処理部12から与えられるPESパケットに含まれる情報に基づいて、復号可能フレームが存在するか否かを判断する。
 具体的に述べると、フレーム間予測を用いずに符号化されるフレーム、たとえば後述するIフレーム(Intra-coded Frame)となるフレームがストリームIF11に入力された場合、そのフレームに関する映像データのみで、そのフレーム全体を復号することができるので、復号タイミング発生部14は、復号可能フレームが存在すると判断する。
 フレーム間予測を用いて符号化されるフレームがストリームIF11に入力された場合、そのフレームに関する映像データだけでは、そのフレーム全体を復号することができないので、復号タイミング発生部14は、そのフレームの符号化に用いられる他のフレームが入力されているか否かに基づいて、復号可能フレームが存在するか否かを判断する。フレーム間予測を用いて符号化されるフレームが入力される前に、そのフレームの符号化に用いられる他のフレームが入力されていれば、そのフレーム全体を復号することができるので、復号タイミング発生部14は、復号可能フレームが存在すると判断する。そのフレームの符号化に用いられる他のフレームが入力されていなければ、そのフレーム全体を復号することができないので、復号タイミング発生部14は、そのフレームは復号可能フレームではないと判断して、復号可能フレームが存在しないと判断する。
 さらに具体的に述べると、本実施の形態では、復号タイミング発生部14は、ステップa1において、復号可能フレームの全体が取得されたか否か、より詳細には、復号可能フレームに関する映像データの全てが取得されたか否かに基づいて、復号可能フレームが存在するか否かを判断する。復号タイミング発生部14は、復号可能フレームの全体が取得されたと判断すると、復号可能フレームが存在すると判断し、復号可能フレームの全体が取得されていないと判断すると、復号可能フレームが存在しないと判断する。ステップa1において、復号可能フレームが存在すると判断された場合はステップa2に移行し、復号可能フレームが存在しないと判断された場合は、復号可能フレームが存在すると判断されるまで待機する。
 ステップa2では、復号タイミング発生部14は、デコーダ15による復号タイミングを表す復号タイミング信号を発生し、デコードバッファ13に与える。ステップa2の処理の終了後は、全ての処理手順を終了する。
 以上のように本実施の形態では、復号タイミング発生部14は、図2に示すフローチャートに従い、復号可能フレームが存在すると判断すると、復号タイミング信号を発生する。図2に示すフローチャートの処理は、入力端子10に入力される映像データが変化すると開始され、ステップa1において、復号可能フレームが取得されたと判断されるとステップa2に移行する。より詳細には、ステップa1において、復号可能フレームの全体が取得されたと判断されるとステップa2に移行する。つまり、復号タイミング信号は、入力端子10に入力される映像データが変化したとき、その変化後に最初に復号可能な復号可能フレームが取得された時点、本実施の形態では復号可能フレームの全体が取得された時点で発生される。したがって、復号タイミング発生部14は、ストリームIF11への入力ストリームが変化した直後、フレーム全体を復号することができる最初のフレーム、たとえば、GOP(Group of Picture)単位でシーケンスヘッダが挿入されているような場合であれば、最初に検出されたシーケンスヘッダから数えて最初のIフレームとなるフレームを検出したタイミングで、復号タイミング信号を発生する。
 図3は、本実施の形態における表示タイミングの発生処理に関する表示タイミング発生部17の処理手順を示すフローチャートである。図3に示すフローチャートも、図2に示すフローチャートと同様に、本実施の形態の映像表示装置1がテレビ受像機に適応された場合を想定しており、テレビ受像機に電源が投入された直後に映像データのストリームIF11への入力が開始された場合、または利用者の操作などによって放送のチャンネルが切換えられてストリームIF11への入力ストリームの種別および状態などが変化した場合に、本処理が開始され、ステップb1に移行する。
 ステップb1では、表示タイミング発生部17は、表示可能なフレームである表示可能フレームが存在するか否かを判断する。表示タイミング発生部17は、PES処理部12から与えられるPESパケットに含まれる情報に基づいて、表示可能フレームが存在するか否かを判断する。具体的には、表示タイミング発生部17は、デコーダ15から出力されてフレームバッファ16に格納されたデータが表示可能な状態になったこと、すなわちデコードが終了していてかつ表示順が元画と同じになったことを検出すると、表示可能フレームが存在すると判断する。ステップb1において、表示可能フレームが存在すると判断された場合はステップb2に移行し、表示可能フレームが存在しないと判断された場合は、表示可能フレームが存在すると判断されるまで待機する。
 ステップb2では、表示タイミング発生部17は、表示するタイミングを表す表示タイミング信号を発生させ、フレームバッファ16に与える。ステップb2の処理の終了後は、全ての処理手順を終了する。
 以上のように本実施の形態では、表示タイミング発生部17は、図3に示すフローチャートに従い、デコーダ15から出力されフレームバッファ16に格納されたデータが表示可能な状態になったこと、すなわちデコードが終了していてかつ表示順が元画と同じになったことを検出し、表示タイミング信号を発生する。これによって、デコードが終了していてかつ表示順が元画と同じになったタイミングにおいて、表示タイミング信号が発生される。たとえばストリーム変化後最初の表示可能タイミングは、ストリーム変化後最初のIフレームのデコードが完了したタイミング、すなわちストリーム変化後最初のIフレームに関する全てのデータがデコードされたタイミングであり、このタイミングで表示タイミング信号が発生される。
 図4は、本実施の形態における表示タイミング発生部17の動作に基づくフレームの表示タイミングを模式的に示す図である。図4では、元画におけるフレームの順番、および送受信ストリームにおけるフレームの順番を併せて示す。また図4では、従来技術によるフレームの表示タイミングを「通常表示」として示し、本実施の形態によるフレームの表示タイミングを「高速選局表示」として示す。図4(a)は、元画のフレームを表し、図4(b)は、送受信ストリームにおけるフレームを表し、図4(c)は、通常表示のフレームを表し、図4(d)は、高速選局表示のフレームを表している。図4では、理解を容易にするために、エンコード遅延、送信遅延およびデコード遅延などの遅延は零として表現している。また、各遅延および処理時間の揺らぎもないものとしている。
 図4において、Ix(xは正の整数)は、Iフレームを表し、Bx(xは正の整数)はBフレーム(Bi-directional Predicted Frame)を表している。Iフレームは、フレーム間予測を用いずに符号化されるフレームであり、Bフレームは、フレーム間予測を用いて符号化されるフレームであり、前方向予測、後方向予測、両方向予測のうちのいずれかを選択して符号化されるフレームである。
 本実施の形態において、フレームB2およびフレームB3は、フレームI0を用いた予測変換によって生成されたフレームであり、フレームB5およびフレームB6は、フレームI1およびフレームI4を用いた予測変換によって生成されたフレームであるとする。元画が図4(a)に示すように、I0,B2,B3,I1,B5,B6,I4の順であれば、送信ストリームは、I0,B2,B3,I1,I4,B5,B6の順となる。このとき、受信ストリームが、図4において二点鎖線で示すフレームI0の取得ができず、B2以降の送信ストリームを受信したとすると、B2およびB3は復号できないので、復号(以下「デコード」という場合がある)および表示可能なフレームは、I1,B5,B6,I4となる。すなわち、ストリーム受信開始後最初の復号可能フレームはI1となる。
 したがって、前述の図2のステップa1において、復号タイミング発生部14によって復号可能フレームが存在すると判断されるタイミングは時刻t1となる。そして、この後のデコーダ15における復号による遅延を零としているので、前述の図3のステップb1において、表示タイミング発生部17によって表示可能フレームが存在すると判断されるタイミングも時刻t1となる。
 次に復号可能になるフレームはI4であり、このフレームI4の復号可能タイミングは時刻t2であるが、表示可能タイミングは、元画の順に従って時刻t5となる。フレームI1の次に表示すべきフレームが復号可能となるタイミングおよび復号後の表示可能タイミングは時刻t3となり、フレームI1から数えて3番目に表示すべきフレームが復号可能となるタイミングおよび復号後の表示可能タイミングは時刻t4となる。
 他方、従来技術による復号および表示を行う場合、すなわち本実施の形態を適用せずに復号および表示を行う場合、各フレームの復号タイミングは、PESヘッダ内に挿入されている復号用時刻情報(Decoding Time Stamp;略称:DTS)で示される時刻となり、表示タイミングはPESヘッダ内に挿入されている提示時刻情報(Presentation Time Stamp;略称:PTS)で示される時刻となる。したがって図4(c)に示すように、フレームI1が最終的に表示されるタイミングは、PTSで示される時刻t1aとなる。
 図5は、従来技術における復号タイミング発生処理に関する復号タイミング発生部の処理手順を示すフローチャートである。図5は、図4(c)に示す通常表示における復号タイミング発生処理の処理手順を示すフローチャートに相当する。
 ステップc1では、復号タイミング発生部は、DTSからデコード時刻tdを取得する。ステップc1において、デコード時刻tdが復号タイミング発生部によって取得されると、ステップc2に移行する。
 ステップc2では、復号タイミング発生部は、STCの基準時刻tsを取得する。ステップc2において、STCの基準時刻tsが復号タイミング発生部によって取得されると、ステップc3に移行する。
 ステップc3では、復号タイミング発生部は、基準時刻tsとデコード時刻tdとが一致するか否かを判断する。ステップc3において、基準時刻tsとデコード時刻tdとが一致する(ts=td)と判断された場合はステップc4に移行し、基準時刻tsとデコード時刻tdとが一致しないと判断された場合はステップc2に戻り、前述と同様の処理を行う。つまり、復号タイミング発生部は、基準時刻tsがデコード時刻tdになるまで待機する。
 ステップc4では、復号タイミング発生部は、復号タイミング信号を発生してデコードバッファに与える。ステップc4の処理の終了後は、全ての処理手順を終了する。このように従来技術では、PESヘッダ内に挿入されているDTSで示されるデコード時刻tdにおいて、復号タイミング信号が発生される。
 図6は、従来技術における表示タイミング発生処理に関する表示タイミング発生部の処理手順を示すフローチャートである。図6は、図4(c)に示す通常表示における表示タイミング発生処理の処理手順を示すフローチャートに相当する。
 ステップd1では、表示タイミング発生部は、PTSから提示時刻tpを取得する。ステップd1において、提示時刻tpが表示タイミング発生部によって取得されると、ステップd2に移行する。
 ステップd2では、表示タイミング発生部は、STCの基準時刻tsを取得する。ステップd2において、STCの基準時刻tsが表示タイミング発生部によって取得されると、ステップd3に移行する。
 ステップd3では、基準時刻tsと提示時刻tpとが一致するか否かを判断する。ステップd3において、基準時刻tsと提示時刻tpとが一致する(ts=tp)と判断された場合はステップd4に移行し、基準時刻tsと提示時刻tpとが一致しないと判断された場合は、ステップd2に戻り、前述と同様の処理を行う。つまり、表示タイミング発生部は、基準時刻tsが提示時刻tpになるまで待機する。
 ステップd4では、表示タイミング発生部は、表示タイミング発生信号を発生させて、フレームバッファに与える。ステップd4の処理の終了後は、全ての処理手順を終了する。このように従来技術では、PESヘッダ内に挿入されているPTSで示される提示時刻tpにおいて、表示タイミング信号が発生される。たとえば、前述の図4(c)に示すように、フレームI1が表示されるタイミングは、PTSで示される提示時刻である時刻t1aとなる。つまり従来技術では、ストリーム変化後最初のフレームがPTSで示される提示時刻t1aよりも前に表示可能な状態になっていたとしても、PTSで示される提示時刻t1aまでは表示されない。したがって、図4(d)に示す本実施の形態による高速選局表示と比べると、映像ストリームが開始または変化してから映像を表示するまでの時間が長くなっている。
 以上のように本実施の形態においては、入力端子10に入力される映像データが変化したとき、その変化後に最初に復号可能フレームが取得された時点、具体的には復号可能フレームの全体が取得された時点で復号タイミング信号が発生され、表示可能フレームが取得された時点で表示タイミングが発生される。つまり、本実施の形態では、受信ストリーム中に復号可能フレームが存在すると判断されると、DTSに拘わらず、即座に復号タイミング信号が発生されて、復号可能フレームが復号される。また表示可能フレームが存在すると判断されると、PTSに拘わらず、即座に表示タイミング信号が発生されて、表示可能フレームが表示される。このように本実施の形態では、受信ストリームのうち最初に到着した復号可能フレームを即座に復号し、また、復号後のデータを即座に表示する。
 これによって、入力端子10に入力される映像データである映像ストリームが変化した後に映像を表示するまでの時間を短縮することができる。したがって、デジタル放送のチャンネルを選局してから、選局したチャンネルの番組の映像が出力されるまでの時間を可及的に短縮することができる。つまり、選局時の切換え表示において、切換わり後の映像が表示されるまでの時間を短縮することができる。
 また本実施の形態では、フレームの表示タイミングを、復号した順にするのではなく、元画順にするので、乱れのない画像を表示することができる。
 以上のように本実施の形態では、フレームという単位で、復号タイミングおよび表示タイミングの発生方法を説明したが、フレーム単位に限らず、フィールド単位またはピクチャ単位であっても本実施の形態と同様に好適に実施可能である。
 実施の形態2.
 次に、本発明の実施の形態2の映像表示装置について説明する。前述の実施の形態1では、映像ストリームデータに揺らぎがなく、また映像表示装置1内の処理に要する時間が零であると想定して説明したが、本実施の形態では、揺らぎおよび処理遅延についても考慮した映像表示装置について説明する。本実施の形態の映像表示装置は、復号タイミングの発生処理および表示タイミングの発生処理が異なること以外は、前述の実施の形態1の映像表示装置1と同一であるので、異なる部分について説明し、共通する説明を省略する。
 本実施の形態では、復号タイミング発生部14は、PES処理部12から与えられる前記PESパケットのヘッダ部に含まれる情報と、STC発生部18から与えられるSTCとに基づいて、デコーダ15による復号タイミングを表す復号タイミング信号を発生し、発生した復号タイミング信号をデコードバッファ13に与える。
 また表示タイミング発生部17は、PES処理部12から与えられる前記PESパケットのヘッダ部に含まれる情報と、STC発生部18から与えられるSTCとに基づいて、フレームバッファ16から映像データを出力して不図示の表示部に表示するタイミングを表す表示タイミング信号を発生し、発生した表示タイミング信号をフレームバッファ16に与える。
 図7は、本実施の形態における復号タイミング発生処理に関する復号タイミング発生部14の処理手順を示すフローチャートである。復号タイミングの発生処理の開始直後は、実施の形態1と同様に図2に示すフローチャートに従った処理を行う。ただし、図2に示すステップa2では、復号タイミング発生部14は、復号タイミング信号を発生するとともに、最初の復号可能フレームのDTSで示されるデコード時刻td0および実際の復号タイミング時刻tc0を取得しておく。この後、2フレーム目以降の復号タイミングの発生処理は、以下に述べる図7に示すフローチャートの処理手順に従って行われる。すなわち図2に示すフローチャートの全ての処理手順が終了すると、図7に示すフローチャートの処理が開始され、ステップe1に移行する。
 ステップe1では、復号タイミング発生部14は、復号可能フレームが存在するか否かを判断する。ステップe1では、復号タイミング発生部14は、復号可能フレームの少なくとも一部が取得されたと判断すると、復号可能フレームが存在すると判断する。ステップe1において、復号可能フレームが存在すると判断された場合はステップe2に移行し、復号可能フレームが存在しないと判断された場合は、復号可能フレームが存在すると判断されるまで待機する。
 ステップe2では、復号タイミング発生部14は、DTSからデコード時刻tdを取得する。ステップe2において、デコード時刻tdが復号タイミング発生部14によって取得されると、ステップe3に移行する。
 ステップe3では、復号タイミング発生部14は、ステップe2で取得したデコード時刻tdを、予め取得している最初の復号可能フレームのDTSで示されるデコード時刻td0および実際の復号タイミング時刻tc0に基づいて求めた補正デコード時刻tdαに補正する。具体的な補正処理は後述する。ステップe3において、デコード時刻tdが復号タイミング発生部14によって補正デコード時刻tdαに補正されると、ステップe4に移行する。
 ステップe4では、復号タイミング発生部14は、STCの基準時刻tsを取得する。ステップe4において、STCの基準時刻tsが復号タイミング発生部14によって取得されると、ステップe5に移行する。
 ステップe5では、復号タイミング発生部14は、基準時刻tsと補正デコード時刻tdαとが一致するか否かを判断する。ステップe5において、基準時刻tsと補正デコード時刻tdαとが一致する(ts=tdα)と判断された場合はステップe6に移行し、基準時刻tsと補正デコード時刻tdαとが一致しないと判断された場合はステップe4に戻り、前述と同様の処理を行う。つまり、復号タイミング発生部14は、基準時刻tsが補正デコード時刻tdになるまで待機する。
 ステップe6では、復号タイミング発生部14は、復号タイミング信号を発生させ、デコードバッファ13に与える。ステップe6の処理の終了後は、全ての処理手順を終了する。
 図8は、本実施の形態における表示タイミング発生処理に関する表示タイミング発生部17の処理手順を示すフローチャートである。表示タイミングの発生処理の開始直後は、実施の形態1と同様に図3に示すフローチャートに従った処理を行う。ただし、図3に示すステップb2では、表示タイミング発生部17は、表示タイミング信号を発生するとともに、最初の表示可能フレームのPTSで示される提示時刻tp0および発生した表示タイミング時刻tq0を取得しておく。この後、2フレーム目以降の表示タイミングの発生処理は、以下に述べる図8に示すフローチャートの処理手順に従って行われる。すなわち図3に示すフローチャートの全ての処理手順が終了すると、図8に示すフローチャートの処理が開始され、ステップf1に移行する。
 ステップf1では、表示タイミング発生部17は、表示可能フレームが存在するか否かを判断する。ステップf1において、表示可能フレームが存在すると判断された場合はステップf2に移行し、表示可能フレームが存在しないと判断された場合は、表示可能フレームが存在すると判断されるまで待機する。
 ステップf2では、表示タイミング発生部17は、PTSから提示時刻tpを取得する。ステップf2において、表示タイミング発生部17によって提示時刻tpが取得されると、ステップf3に移行する。
 ステップf3では、表示タイミング発生部17は、ステップf2で取得された提示時刻tpを、予め取得している最初の表示可能フレームのPTSで示される提示時刻tp0および発生した表示タイミング時刻tq0に基づいて求めた補正提示時刻tpαに補正する。具体的な補正処理は後述する。ステップf3において、提示時刻tpが表示タイミング発生部17によって補正提示時刻tpαに補正されると、ステップf4に移行する。
 ステップf4では、表示タイミング発生部17は、STCの基準時刻tsを取得する。ステップf4において、STCの基準時刻tsが表示タイミング発生部17によって取得されると、ステップf5に移行する。
 ステップf5では、表示タイミング発生部17は、基準時刻tsと補正提示時刻tpαとが一致するか否かを判断する。ステップf5において、基準時刻tsと補正提示時刻tpαとが一致する(ts=tpα)と判断された場合はステップf6に移行し、基準時刻tsと補正提示時刻tpαとが一致しないと判断された場合は、ステップf4に戻り、前述と同様の処理を行う。つまり、表示タイミング発生部17は、基準時刻tsが補正提示時刻tpになるまで待機する。
 ステップf6では、表示タイミング発生部17は、表示タイミング発生信号を発生させ、フレームバッファ16に与える。ステップf6の処理の終了後は、全ての処理手順を終了する。
 以上のように本実施の形態においては、2フレーム目以降のフレームについては、復号タイミング発生部14は、PES処理部12から与えられるPESパケットのヘッダ部に含まれる情報と、STC発生部18から与えられるSTCとに基づいて、STCで示される基準時刻tsが、DTSで示されるデコード時刻tdを補正した補正デコード時刻tdαになった時点で、復号タイミング信号を発生する。また表示タイミング発生部17は、PES処理部12から与えられるPESパケットのヘッダ部に含まれる情報と、STC発生部18から与えられるSTCとに基づいて、STCで示される基準時刻tsが、PTSで示される提示時刻tpを補正した補正提示時刻tpαになった時点で、表示タイミング信号を発生する。
 したがって、映像表示装置に入力される映像ストリームデータに揺らぎがあった場合においても、また、映像の入力から表示までの処理が固定遅延ではないような場合であっても、乱れのない映像を表示することができる。
 また本実施の形態では、復号タイミングおよび表示タイミングの両方でタイミング補正をしているので、復号されたデータが表示されるまでに待たされるような場合であっても、その待ち時間が少なく、表示のためのバッファ量を少なくすることができる。
 次に、タイミング発生の補正処理について説明する。本実施の形態において、復号タイミングのためのDTSの補正値である補正デコード時刻tdαは、最初の復号可能フレームのDTSで示されるデコード時刻td0および実際の復号タイミング時刻tc0を用いて、以下の式(1)によって算出する。
 tdα=td-(td0-tc0)  ・・・(1)
 ここで、td0-tc0は、最初の復号可能フレームにおけるDTSで示されるデコード時刻td0からの実際の復号タイミング時刻tc0のずれ量を表す。
 また、表示タイミングのためのPTSの補正値である補正提示時刻tpαは、最初の表示可能フレームのPTSで示される提示時刻tp0および発生した表示タイミング時刻tq0を用いて、以下の式(2)によって算出する。
 tpα=tp-(tp0-tq0)  ・・・(2)
 ここで、tp0-tq0は、最初の復号可能フレームにおけるPTSで示される提示時刻tp0からの実際に発生した表示タイミング時刻tq0のずれ量を表す。
 上記式(1)に基づく補正および式(2)に基づく補正を、以下の説明では「線形補正」という。
 以上のように本実施の形態においては、最初の復号および表示タイミングに基づいて、2フレーム目以降の復号および表示タイミングが線形補正される。つまり、最初の復号および表示タイミングのずれ量と同じ分だけ、2フレーム目以降の復号および表示タイミングをずらして、復号タイミング信号および表示タイミング信号が発生される。
 これによって、元画のフレーム間隔と同じ間隔で、フレームを表示することができる。したがって、実施の形態1と同様に入力映像ストリームの開始または変化から最初の映像が表示されるまでの時間を早めることができると共に、元画のフレーム間隔と同じ間隔でフレームを表示することができる。
 以上に述べた実施の形態1および実施の形態2では、復号タイミングおよび表示タイミングの両方を補正する方法について述べたが、復号および表示のそれぞれに係わるバッファの量が充分であるような場合においては、どちらか一方だけを補正する方法も実施できる。
 実施の形態3.
 前述の実施の形態2ではタイミング発生における補正方法を線形補正としたが、実施の形態3では別の補正方法を採用する。本実施の形態の映像表示装置は、タイミング発生における補正方法以外については、実施の形態2の映像表示装置と同様である。
 本実施の形態におけるタイミング発生の補正処理について説明する。最初の復号タイミングの発生および表示タイミングの発生までは、実施の形態2と同様である。この後、2番目となる復号タイミングを入力映像データが指定した時刻、すなわちDTSで示されるデコード時刻tdに等しくなる時刻まで待つ。すなわち、補正式は以下の式(3)となる。
 tdα=td  ・・・(3)
 また、2番目となる表示タイミングを入力映像データが指定した時刻すなわちPTSで示される提示時刻tpに等しくなる時刻まで待つ。すなわち、補正式は以下の式(4)となる。
 tpα=tp  ・・・(4)
 図9は、本実施の形態における表示タイミング発生部17の動作に基づくフレームの表示タイミングを模式的に示す図である。図9では、図4と同様に、元画におけるフレームの順番、および送受信ストリームにおけるフレームの順番を併せて示す。また図9では、従来技術によるフレームの表示タイミングを「通常表示」として示し、本実施の形態によるフレームの表示タイミングを「高速選局表示」として示す。図9(a)は、元画のフレームを表し、図9(b)は、送受信ストリームにおけるフレームを表し、図9(c)は、通常表示のフレームを表し、図9(d)は、高速選局表示のフレームを表している。図9では、理解を容易にするために、エンコード遅延、送信遅延およびデコード遅延などの遅延は零として表現している。また、各遅延および処理時間の揺らぎもないものとしている。
 前述の図4に示す場合と同様に、二点鎖線で示すフレームI0の取得ができず、B2以降の送信ストリームを受信する場合、ストリーム受信開始後最初の復号可能フレームおよび表示可能フレームはI1である。この最初の復号可能フレームI0の復号タイミングおよび表示可能フレームI0の表示タイミングは、本実施の形態においても、時刻t1となる。
 本実施の形態においては、最初の復号および表示タイミングから次の復号および表示タイミングまでを、入力映像データが指定する時刻まで待つ。具体的に述べると、図9(d)に示すように、2番目の復号可能フレームI4の復号可能タイミングは、復号可能となった時刻である図4に示す時刻t2ではなく、復号可能フレームI1のDTSで示されるデコード時刻となり、表示可能タイミングは、PTSで示される提示時刻t14となる。
 3番目の復号可能フレームB5の復号可能タイミングは、DTSで示されるデコード時刻t12となり、遅延を零と想定すると、表示可能タイミングもPTSで規定される提示時刻t12となる。つまり、本実施の形態では、時刻t1において最初の表示可能フレームI0が表示された後、最初の表示可能フレームI0のPTSで示される提示時刻t11から、フレームI0から始まるGOP単位の表示が開始される。
 前述の図4に示す実施の形態1と比較すると、実施の形態1では、最初の表示可能フレームI0が表示された時刻t1から、最初の表示可能フレームI0のPTSで示される提示時刻t1aまでの間の時刻t2において、フレームI0から始まるGOP単位の表示が開始される。これに対し、本実施の形態では、最初の表示可能フレームI0が表示された時刻t1から、最初の表示可能フレームI0のPTSで示される提示時刻t11までの間の時刻t10では、GOP単位の表示は開始されず、PTSで示される提示時刻t11で開始される。
 このように最初の復号および表示タイミングから次の復号および表示タイミングまでを、入力映像データが指定する時刻まで待つことによって、次のフレームが表示されるときには入力映像データが指定する時刻にフレームを表示することができる。また2番目以降のフレームの表示タイミングは、入力映像データが指定する提示時刻tpであるので、元画のフレーム間隔と同じ間隔でフレームを表示することができる。
 したがって、実施の形態1および実施の形態2と同様に入力映像ストリームの開始または変化から最初の映像が表示されるまでの時間を短縮することができるとともに、2番目以降のフレームについては、入力映像データが指定する時刻に、元画のフレーム間隔と同じ間隔で表示することができる。
 実施の形態4.
 実施の形態4では、実施の形態2および実施の形態3とは異なる補正方法を採用する。本実施の形態の映像表示装置は、タイミング発生における補正方法以外については、実施の形態2および実施の形態3の映像表示装置と同様である。
 本実施の形態におけるタイミング発生の補正処理について説明する。最初の復号タイミングの発生および表示タイミングの発生までは、実施の形態2と同様である。2番目以降の復号可能フレームの復号タイミングのためのDTSの補正値である補正デコード時刻tdαは、以下の式(5)によって算出する。
 tdα=td-(td0-tc0)×γ(0≦γ≦1)  ・・・(5)
 ここで、td0-tc0は、最初の復号可能フレームにおけるDTSで示されるデコード時刻td0からの実際の復号タイミング時刻tc0のずれ量を表し、γはデコード時刻補正係数を表す。本実施の形態では、式(5)に示すデコード時刻補正係数γを時刻の経過とともに、1から0へ減じていく。これによって復号タイミングが、時間の経過とともに、入力映像データが指定した時刻、すなわちDTSで示されるデコード時刻tdに近づいていく。
 また、2番目以降の表示可能フレームの表示タイミングのためのPTSの補正値である補正提示時刻tpαは、以下の式(6)によって算出する。
 tpα=tp-(tp0-tq0)×η(0≦η≦1)  ・・・(6)
 ここで、tp0-tq0は、最初の復号可能フレームにおけるPTSで示される提示時刻tp0からの実際に発生した表示タイミング時刻tq0のずれ量を表し、ηは提示時刻補正係数を表す。本実施の形態では、式(6)に示す提示時刻補正係数ηを時刻の経過とともに、1から0へ減じていく。これによって表示タイミングが、時刻の経過と共に、入力映像データが指定した時刻、すなわちPTSで示される提示時刻tpへ近づいていく。
 図10は、本実施の形態における表示タイミング発生部17の動作に基づくフレームの表示タイミングを模式的に示す図である。図10では、図4と同様に、元画におけるフレームの順番、および送受信ストリームにおけるフレームの順番を併せて示す。また図10では、従来技術によるフレームの表示タイミングを「通常表示」として示し、本実施の形態によるフレームの表示タイミングを「高速選局表示」として示す。図10(a)は、元画のフレームを表し、図10(b)は、送受信ストリームにおけるフレームを表し、図10(c)は、通常表示のフレームを表し、図10(d)は、高速選局表示のフレームを表している。図10では、理解を容易にするために、エンコード遅延、送信遅延およびデコード遅延などの遅延は零として表現している。また、各遅延および処理時間の揺らぎもないものとしている。
 前述の図4に示す場合と同様に、二点鎖線で示すフレームI0の取得ができず、B2以降の送信ストリームを受信する場合、ストリーム受信開始後最初の復号可能フレームおよび表示可能フレームはI1である。この最初の復号可能フレームI0の復号タイミングおよび表示可能フレームI0の表示タイミングは、本実施の形態においても、時刻t1となる。
 本実施の形態においては、2番目以降の復号および表示タイミングを、復号または表示すべき時刻へ近づくように段階的に補正する。具体的に述べると、図10(d)に示すように、2番目の復号可能フレームI4の復号可能タイミングは、復号可能となった時刻t21ではなく、前述の式(5)に基づいて補正された補正デコード時刻tdαとなり、表示可能タイミングは、前述の式(6)に基づいて補正された補正提示時刻tpαである時刻t24となる。
 3番目の復号可能フレームB5の復号可能タイミングは、前述の式(5)に基づいて補正された補正デコード時刻tdαである時刻t22となり、遅延を零と想定すると、表示可能タイミングも前述の式(6)に基づいて補正された補正提示時刻である時刻t22となる。つまり、本実施の形態では、時刻t1において最初の表示可能フレームI0が表示された後、最初の表示可能フレームI0のPTSで示される提示時刻t1に基づいて補正した補正提示時刻t21から、フレームI0から始まるGOP単位の表示が開始される。
 前述のように式(5)に示すデコード時刻補正係数γおよび式(6)に示す提示時刻補正係数ηは、時刻の経過とともに1から0へと減じられるので、各フレームの表示間隔は、徐々に大きくなっていく。具体的に述べると、図10(d)に示すように、時刻t21から時刻t22までの間隔、時刻t22から時刻23までの間隔、および時刻t23から時刻t24までの間隔は、この順に徐々に大きくなっていく。
 このように2番目以降の復号および表示タイミングを、復号または表示すべき時刻へ近づくように段階的に補正することによって、実施の形態1~3と同様に入力映像ストリームの開始または変化から最初の映像が表示されるまでの時間を短縮することができるとともに、一定時間の経過後には、表示すべき時刻通りに映像を表示することができる。
 また本実施の形態では、2番目以降の復号および表示タイミングを、復号または表示すべき時刻へ近づくように段階的に補正するので、最初の映像が表示されてから、表示すべき時刻通りに映像を表示するまでの時間においても、乱れはもちろん、違和感のない映像を表示することができる。
 実施の形態5.
 次に、本発明の実施の形態5の映像表示装置について説明する。本実施の形態の映像表示装置は、復号タイミングの発生処理が異なること以外は、前述の実施の形態1~4の映像表示装置と同一であるので、異なる部分について説明し、共通する説明を省略する。
 前述の実施の形態1~4では、復号タイミング発生部14は、入力端子10に入力される映像データが変化したとき、その変化後に最初に復号可能フレームの全体が取得された時点で復号タイミング信号を発生する。これに対し、本実施の形態では、復号タイミング発生部14は、入力端子10に入力される映像データが変化したとき、その変化後に最初に復号可能フレームの一部が取得された時点であって、前記復号可能フレームの全体が取得される時点よりも早い時点で復号タイミング信号を発生する。
 図11は、本実施の形態における復号タイミングの発生処理に関する復号タイミング発生部14の処理手順を示すフローチャートである。図11に示すフローチャートも、図2に示すフローチャートと同様に、本実施の形態の映像表示装置がテレビ受像機に適応された場合を想定しており、テレビ受像機に電源が投入された直後に映像データのストリームIF11への入力が開始された場合、または利用者の操作などによって放送のチャンネルが切換えられてストリームIF11への入力ストリームの種別および状態などが変化した場合に、本処理が開始され、ステップg1に移行する。
 ステップg1では、復号タイミング発生部14は、PES処理部12から与えられるPESパケットに含まれる情報に基づいて、先行復号可能フレームが存在するか否かを判断する。具体的に述べると、ステップg1において、復号タイミング発生部14は、復号可能フレームが存在し、かつ、その復号可能フレームの一部、より詳細には、その復号可能フレームに関する映像データの一部であって、予め定める設定蓄積量のデータがデコードバッファ13に蓄積されたと判断すると、先行復号可能フレームが存在すると判断する。復号タイミング発生部14は、復号可能フレームが存在しない、または復号可能フレームが存在するが、設定蓄積量のデータがデコードバッファ13に蓄積されていないと判断すると、先行復号可能フレームが存在しないと判断する。
 設定蓄積量は、本実施の形態では、デコーダ15によって復号可能フレームの復号を開始するのに充分なデータ量、より詳細には、デコーダ15によって復号可能フレームの復号を開始するために必要な最低限のデータ量に選ばれる。ステップg1において、先行復号可能フレームが存在すると判断された場合はステップg2に移行し、先行復号可能フレームが存在しないと判断された場合は、先行復号可能フレームが存在すると判断されるまで待機する。
 ステップg2では、復号タイミング発生部14は、復号タイミング信号を発生し、デコードバッファ13に与える。ステップg2の処理の終了後は、全ての処理手順を終了する。
 次に、先行復号可能フレームの存在タイミングについて説明する。図12は、デコードバッファ13の蓄積量と、復号タイミングおよび表示タイミングとの関係を模式的に示す図である。図12(a)は、実施の形態1におけるデコードバッファ13の蓄積量と復号タイミングおよび表示タイミングとの関係を示す図であり、図12(b)は、本実施の形態におけるデコードバッファ13の蓄積量と復号タイミングおよび表示タイミングとの関係を示す図である。図12(a)および図12(b)において、デコードバッファ蓄積量に関する横軸は、x軸を表し、縦軸は、y軸を表す。またx軸、ならびに復号タイミングおよび表示タイミングに関する横軸は、時刻tを表す。図12(a)および図12(b)では、前述の図4(b)に示す送受信ストリームと同様の送受信ストリームが送受信される場合を示す。
 まず、図12(a)に示す実施の形態1の場合における復号可能フレーム存在タイミングについて説明する。図12(a)に示すように、デコードバッファ13には、順次データが蓄積されている。復号タイミング発生部14は、PES処理部12から与えられるPESパケットに含まれる情報に基づいて、その情報に含まれる各フレームのピクチャタイプに関する情報、たとえば、そのフレームがIフレームであるか、Bフレームであるかの情報を、そのフレームに関するデータであるピクチャデータの先頭で取得することができる。したがって復号タイミング発生部14は、PES処理部12から与えられるPESパケットに含まれる情報に基づいて、時刻tbI1において、デコードバッファ13に最初の復号可能フレームであるフレームI1のデータが蓄積され始める、すなわちデータの蓄積開始時刻が時刻tbI1であると判断することができる。
 この時刻tbI1からデコードバッファ13にデータを蓄積していき、フレームI1の全体が復号可能となるタイミング、すなわちフレームI1に関する全てのデータの蓄積が完了するタイミングである時刻tdI1までデータの蓄積を行う。時刻tdI1において、フレームI1の全てのデータがデコードバッファ13に蓄積されると、復号タイミング発生部14は、フレームI1の復号タイミングであると判断し、復号タイミング信号を発生する。これによってデコードバッファ13からデコーダ15へのデータの出力が開始され、デコーダ15によるデコードが開始される。つまり、この時刻tdI1が、復号可能フレームが存在すると判断されるタイミング、すなわち復号可能フレームの存在タイミングとなる。このデコード開始時刻tdI1からフレームI1のデコード終了時刻tpI1までの間の時間は、デコードバッファ13は蓄積を継続しており、蓄積しながらデコーダ15へデータを出力している期間となる。
 続いて、デコードバッファ13は蓄積を継続し、次に入力されるフレームであるフレームI4のデータを蓄積する。さらにデコードバッファ13は蓄積を継続し、復号タイミング発生部14は、次のタイミングで出力するフレームであるフレームB5の全てのデータがデコードバッファ13に蓄積されるのを待って、フレームB5の復号タイミングである時刻tdB5を判断する。すなわち時刻tdB5において、フレームB5の全てのデータがデコードバッファ13に蓄積されると、復号タイミング発生部14によって、フレームB5の復号タイミングであると判断されて復号タイミング信号が発生され、デコードバッファ13からデコーダ15へのデータの出力が開始され、デコーダ15によるデコードが開始される。時刻tdB5からフレームB5のデコード終了時刻tpB5までの間の時間は、デコードバッファ13は蓄積を継続しており、蓄積しながらデコーダ15へデータを出力している期間となる。
 さらに、デコードバッファ13は蓄積を継続し、復号タイミング発生部14は、次のタイミングで出力するフレームであるフレームB6のデータがデコードバッファ13に蓄積されるのを待って、フレームB6の復号タイミングである時刻tdB6を判断する。時刻tdB6からフレームB6のデコード終了時刻tpB6までの時間は、デコードバッファ13は蓄積を継続しており、蓄積しながらデコーダ15へデータを出力している期間となる。
 フレームB6のデコード終了時刻tpB6が経過すると、デコーダ15は、次のデコードを開始できるので、復号タイミング発生部14は、フレームB6のデコード終了時刻tpB6と同じ時刻tpI4において、次のタイミングで出力するフレームであるフレームI4の復号タイミング信号を発生する。時刻tdI4からフレームI4のデコード終了時刻tpI4までの時間は、デコードバッファ13は蓄積を継続しており、蓄積しながらデコーダ15へデータを出力している期間となる。
 次に、図12(b)に示す本実施の形態の場合における先行復号可能フレームの存在タイミングについて説明する。時刻tbI1においてデータの蓄積が開始されることの判断は前述と同様である。時刻tbI1からデコードバッファ13にデータを蓄積していくが、本実施の形態では、復号タイミング発生部14は、復号を行うフレームI1のデータが全て蓄積される時刻tdI1よりも前の時刻tdI1-において、復号タイミング信号を発生させる。時刻tdI1-は、時刻tdI1-から復号を開始して時刻tpI1-に復号が終了すると仮定した場合に、時刻tpI1-までにデコードバッファ13にフレームI1を復号するために充分なデータが蓄積されることを担保する時刻となる。具体的には、時刻tdI1-は、デコーダ15によって復号可能フレームの復号を開始するのに充分なデータ量、本実施の形態では、デコーダ15によって復号可能フレームの復号の開始するために必要な最低限のデータ量のデータがデコードバッファ13に蓄積される時刻に選ばれる。
 時刻tpI1-は、デコード時間を0とした場合、理想的にはデコードバッファ13にフレームI1の全てのデータの蓄積が完了する時刻であり、以下のようにして求められる。まず、デコードバッファ13にデータを蓄積するスピードを、以下の式(7)に示すように線形で近似する。
 y=ax  (a>0)  ・・・(7)
 また、デコードバッファ13からデコーダ15にデータを出力するスピードを、以下の式(8)に示すように線形で近似する。
 y=b(x-tdI1)  (b<0)  ・・・(8)
 このようにデコードバッファ13にデータを蓄積するスピードおよびデコードバッファ13からデコーダ15にデータを出力するスピードをそれぞれ式(7)および式(8)に示すように線形で近似した場合、式(7)に示す直線と式(8)に示す直線との交点のx座標が時刻tdI1-となる。以下、同様にして各フレームB5,B6,I4の全てのデータが蓄積される時刻tdB5-,tdB6-,tdI4-に先だって、時刻tdB5-,tdB6-,tdI4-において、復号タイミング発生部14で復号タイミング信号を発生させ、デコーダ15による復号を開始させることができる。
 したがって、本実施の形態では、実施の形態1に比べて、各復号可能フレームの復号開始タイミングを早めることができる。これによって、デコーダ15による復号の終了タイミングを早めることができるので、実施の形態1における各フレームの表示時刻tpI1,tpB5,tpB6,tpI4よりも早い時刻tpI1-,tpB5-,tpB6-,tpI4-において、各フレームを表示することができる。
 以上のように本実施の形態によれば、入力端子10に入力される映像データが変化したとき、その変化後に最初に復号可能フレームの一部が取得された時点であって、復号可能フレームの全体が取得される時点よりも早い時点で復号タイミング信号が発生される。これによって、前述の各実施の形態1~4よりも早いタイミングでフレームを表示することができる。
 以上に述べた本実施の形態では、2フレーム目以降のフレームについても、先行復号可能フレームが存在すると判断した時点で復号タイミング発生部14によって復号タイミング信号を発生し、各フレームの復号が完了した時点で表示タイミング発生部17によって表示タイミング信号を発生する。これに限定されず、前述の実施の形態2~4のように、2フレーム目以降のフレームについては、STCで示される基準時刻tsが補正デコード時刻tdαになった時点で復号タイミング信号を発生させ。STCで示される基準時刻tsが補正提示時刻tpαになった時点で表示タイミング信号を発生させるようにしてもよい。
 実施の形態6.
 本発明の実施の形態6では、実施の形態1に記載の実施の形態とは異なるタイミング発生方法を採用する。本実施の形態の映像表示装置は、復号タイミング発生方法および表示タイミング発生方法以外については、実施の形態1に記載の実施の形態の映像表示装置と同様である。
 前述の実施の形態1では、復号タイミング発生部14は、入力端子10に入力される映像データが変化したとき、その変化後に最初に復号可能フレームの全体もしくは一部が取得された時点で復号タイミング信号を発生する。これに対し、本実施の形態では、復号可能フレームの全体もしくは一部が取得された時点を取得するための方法の一形態について述べる。
 図13は、本実施の形態における復号タイミング発生処理に関する復号タイミング発生部の処理手順を示すフローチャートである。
 ステップh1では、復号タイミング発生部は、DTSからデコード時刻tdを取得する。ステップh1において、デコード時刻tdが復号タイミング発生部によって取得されると、ステップh2に移行する。
 ステップh2では、復号タイミング発生部は、STCの基準時刻tsを取得する。ステップh2において、STCの基準時刻tsが復号タイミング発生部によって取得されると、ステップh3に移行する。
 ステップh3では、復号タイミング発生部は、STCの基準時刻tsにデコード時刻tdを超えて充分な未来の時刻tf(ts=tf=ts+β β>0)を設定する。ステップh3において、tsに未来の時刻が設定されると、ステップh4に移行する。
 ステップh4では、復号タイミング発生部は、基準時刻tsとデコード時刻tdと比較し、基準時刻tsがデコード時刻tdを過ぎている(td<ts)と判断された場合はステップh5に移行し、基準時刻tsがデコード時刻tdより前と判断された場合はステップh2に戻り、前述と同様の処理を行うが、基準時刻tsがtdより未来の時刻tfであればh5に移行する。
 ステップh5では、復号タイミング発生部は、復号タイミング信号を発生してデコードバッファに与える。ステップh5において、復号タイミングを発生してデコードバッファに与えると、ステップh6に移行する。
 ステップh6では、基準時刻にSTCの時刻tsを取得する。ステップh6の処理の終了後は、全ての処理手順を終了する。このように本実施の形態では、復号開始後すぐに復号タイミング信号が発生される。
 図14は、本実施の形態における復号タイミング発生処理に関する復号タイミング発生部14の構成を示すブロック図である。
 DTS取得部23では、復号タイミング発生部14から与えられるPESのヘッダ部に含まれるデータからDTSを取得し、比較器22に出力する。加算器21では、STC発生部18から入力したSTCデータと正の値β20を加算し比較器21に出力する。比較器21は加算器21とDTS取得部23からのデータを入力し比較結果を復号タイミングとしてデコードバッファ13に出力する。
 図15は、本実施の形態における表示タイミング発生処理に関する表示タイミング発生部の処理手順を示すフローチャートである。
 ステップi1では、表示タイミング発生部は、PTSから提示時刻tpを取得する。ステップi1において、提示時刻tpが表示タイミング発生部によって取得されると、ステップi2に移行する。
 ステップi2では、表示タイミング発生部は、STCの基準時刻tsを取得する。ステップi2において、STCの基準時刻tsが表示タイミング発生部によって取得されると、ステップi3に移行する。
 ステップi3では、表示タイミング発生部は、STCの基準時刻tsに提示時刻tpを超えて充分な未来の時刻tf(ts=tf=ts+β β>0)を設定する。ステップi3において、tsに未来の時刻が設定されると、ステップi4に移行する。
 ステップi4では、復号タイミング発生部は、基準時刻tsと提示時刻tpと比較し、基準時刻tsが提示時刻tpを過ぎている(tp<ts)と判断された場合はステップi5に移行し、基準時刻tsが提示時刻tpより前と判断された場合はステップi2に戻り、前述と同様の処理を行うが、基準時刻tsがtpより未来の時刻tfであればi5に移行する。
 ステップi5では、表示タイミング発生部は、表示タイミング信号を発生してフレームバッファに与える。ステップi5において、表示タイミングを発生してフレームバッファに与えると、ステップi6に移行する。
 ステップi6では、基準時刻にSTCの時刻tsを取得する。ステップi6の処理の終了後は、全ての処理手順を終了する。このように本実施の形態では、提示処理開始後すぐに表示タイミング信号が発生される。
 図16は、本実施の形態における表示タイミング発生処理に関する表示タイミング発生部17の構成を示すブロック図である。
 PTS取得部27では、表示タイミング発生部17から与えられるPESのヘッダ部に含まれるデータからPTSを取得し、比較器26に出力する。加算器25では、STC発生部18から入力したSTCデータと正の値β24を加算し比較器26に出力する。比較器26は加算器25とPTS取得部27からのデータを入力し比較結果を復号タイミングとしてフレームバッファ16に出力する。
 本実施の形態では、基準時刻を未来に設定することでタイミング発生時刻を早めたが、デコード時刻DTS、提示時刻を過去に送らせることで実現しても良い。また、タイミング発生時刻を早める方法であればこれ以外の方法であっても良いことは言うまでもない。
 以上のように本実施の形態においては、入力端子10に入力される映像データが変化したとき、その変化後に最初に復号フレームのDTSが取得された直後の時点で復号タイミング信号が発生され、表示タイミング発生処理の中でPTSが取得された直後の時点で表示タイミングが発生される。つまり、本実施の形態では、受信ストリーム中に復号可能フレームが存在すると判断されると、DTSに拘わらず、即座に復号タイミング信号が発生されて、復号可能フレームが復号される。また表示可能フレームが存在すると判断されると、PTSに拘わらず、即座に表示タイミング信号が発生されて、表示可能フレームが表示される。このように本実施の形態では、受信ストリームのうち最初に到着した復号可能フレームを即座に復号し、また、復号後のデータを即座に表示する。
 なお、本実施の形態においては、映像ストリームデータに揺らぎがなく、また映像表示装置内の処理に要する時間が零であると想定して説明したが、実施の形態2、実施の形態3、実施の形態4および実施の形態5で説明したように、デコード時刻を適宜補正してもよい。
 1 映像表示装置、11 ストリームIF、12 PES処理部、13 デコードバッファ、14 復号タイミング発生部、15 デコーダ、16 フレームバッファ、17 表示タイミング発生部、18 STC発生部、20 定数β、21 加算器、22 比較器、23 DTS取得部、24 定数β、25 加算器、26 比較器、27 PTS取得部。

Claims (8)

  1.  符号化された複数のフレームを含む映像データを復号して表示する映像表示装置であって、
     前記映像データが入力される入力手段と、
     前記入力手段に入力された前記映像データの各フレームを復号する復号タイミングを表す復号タイミング信号を発生する復号タイミング発生手段と、
     前記復号タイミング信号に基づいて、前記入力手段に入力された前記映像データの各フレームを復号する復号手段と、
     前記復号手段によって復号された各フレームを出力する表示タイミングを表す表示タイミング信号を発生する表示タイミング発生手段と、
     前記表示タイミング信号に基づいて、前記復号された各フレームを出力する出力手段とを備え、
     前記復号タイミング発生手段は、前記入力手段に入力される前記映像データが変化したとき、基準時刻を未来に設定することによってその変化後に最初に復号フレームのDTSが取得された直後の時点で復号タイミング信号が発生し、
     前記表示タイミング発生手段は、前記入力手段に入力される前記映像データが変化したとき、表示タイミング発生処理の中で基準時刻を未来に設定することによってその変化後に最初に復号フレームのPTSが取得された直後の時点で表示タイミングが発生することを特徴とする映像表示装置。
  2.  前記最初に復号可能フレームが取得された時点は、前記復号可能フレームの全体が取得された時点であることを特徴とする請求項1に記載の映像表示装置。
  3.  前記最初に復号可能フレームが取得された時点は、前記復号可能フレームの一部が取得された時点であって、前記復号可能フレームの全体が取得される時点よりも早い時点であることを特徴とする請求項1に記載の映像表示装置。
  4.  前記復号タイミング発生手段は、
     前記最初に復号可能フレームが取得された時点から後に復号可能フレームが取得されると、取得された前記復号可能フレームに対して予め定められるデコード時刻を補正した補正デコード時刻において前記復号タイミング信号を発生することを特徴とする請求項1~3のいずれか1つに記載の映像表示装置。
  5.  前記表示タイミング発生手段は、
     前記最初に表示可能フレームが取得された時点から後に表示可能フレームが取得されると、取得された前記表示可能フレームに対して予め定められる提示時刻を補正した補正提示時刻において前記表示タイミング信号を発生することを特徴とする請求項1~4のいずれか1つに記載の映像表示装置。
  6.  前記補正提示時刻は、
     最初の表示可能フレームの予め定められる提示時刻からの前記表示タイミング信号が発生された時刻のずれ量を、取得された前記表示可能フレームに対して予め定められる提示時刻から差し引いた時刻であることを特徴とする請求項5に記載の映像表示装置。
  7.  前記補正提示時刻は、取得された前記表示可能フレームに対して予め定められる提示時刻であることを特徴とする請求項5に記載の映像表示装置。
  8.  前記補正提示時刻は、
     取得された前記表示可能フレームに対して予め定められる提示時刻に段階的に近づくように選ばれることを特徴とする請求項5に記載の映像表示装置。
PCT/JP2011/000599 2010-06-11 2011-02-03 映像表示装置 WO2011155099A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN201180027957.XA CN102934435B (zh) 2010-06-11 2011-06-06 视频显示装置
US13/634,492 US20130003867A1 (en) 2010-06-11 2011-06-06 Video display device
JP2012515266A JP5020422B2 (ja) 2010-06-11 2011-06-06 映像表示装置
DE112011101955.6T DE112011101955B4 (de) 2010-06-11 2011-06-06 Videoanzeigevorrichtung
PCT/JP2011/003178 WO2011155173A1 (ja) 2010-06-11 2011-06-06 映像表示装置
JP2012133061A JP5465278B2 (ja) 2010-06-11 2012-06-12 映像表示装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010134087 2010-06-11
JP2010-134087 2010-06-11

Publications (1)

Publication Number Publication Date
WO2011155099A1 true WO2011155099A1 (ja) 2011-12-15

Family

ID=45097721

Family Applications (2)

Application Number Title Priority Date Filing Date
PCT/JP2011/000599 WO2011155099A1 (ja) 2010-06-11 2011-02-03 映像表示装置
PCT/JP2011/003178 WO2011155173A1 (ja) 2010-06-11 2011-06-06 映像表示装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/003178 WO2011155173A1 (ja) 2010-06-11 2011-06-06 映像表示装置

Country Status (5)

Country Link
US (1) US20130003867A1 (ja)
JP (2) JP5020422B2 (ja)
CN (1) CN102934435B (ja)
DE (1) DE112011101955B4 (ja)
WO (2) WO2011155099A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105657364B (zh) * 2015-12-30 2019-04-16 广东威创视讯科技股份有限公司 一种图像处理器的显示方法、装置及系统
US10142707B2 (en) * 2016-02-25 2018-11-27 Cyberlink Corp. Systems and methods for video streaming based on conversion of a target key frame
CN109561336A (zh) * 2018-12-27 2019-04-02 威创集团股份有限公司 分布式显示同步方法、装置及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001119636A (ja) * 1999-10-14 2001-04-27 Matsushita Electric Ind Co Ltd デジタルテレビ放送受信装置
JP2005012310A (ja) * 2003-06-17 2005-01-13 Sanyo Electric Co Ltd デジタルテレビ放送受信機
JP2009212696A (ja) * 2008-03-03 2009-09-17 Sony Corp データ処理装置、データ処理方法、およびプログラム

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3427416B2 (ja) 1993-05-25 2003-07-14 ソニー株式会社 多重化データ分離装置および方法
US5815634A (en) * 1994-09-30 1998-09-29 Cirrus Logic, Inc. Stream synchronization method and apparatus for MPEG playback system
JP3528989B2 (ja) * 1995-01-20 2004-05-24 ソニー株式会社 データ多重化装置、データ多重化方法、多重化データ処理装置および多重化データ処理方法
JPH09205618A (ja) 1996-01-29 1997-08-05 Mitsubishi Electric Corp 動画像音声伸張再生装置および動画像音声同期制御器
JP3589372B2 (ja) * 1996-06-07 2004-11-17 ソニー株式会社 データ多重化方法
JPH10308936A (ja) * 1997-05-02 1998-11-17 Matsushita Electric Ind Co Ltd 映像配信システム、データ配信方法及び媒体
JP3917346B2 (ja) * 2000-05-12 2007-05-23 株式会社東芝 画像復号装置及び画像復号方法
JP4953496B2 (ja) * 2000-05-15 2012-06-13 ソニー株式会社 コンテンツ検索・提示システム及び方法、並びに、ソフトウェア記憶媒体
US7130316B2 (en) * 2001-04-11 2006-10-31 Ati Technologies, Inc. System for frame based audio synchronization and method thereof
JP2003070004A (ja) * 2001-08-29 2003-03-07 Matsushita Electric Ind Co Ltd 画像復号化装置、および画像復号化方法
US20030066094A1 (en) 2001-09-29 2003-04-03 Koninklijke Philips Electronics N.V. Robust method for recovering a program time base in MPEG-2 transport streams and achieving audio/video sychronization
JP2005020429A (ja) * 2003-06-26 2005-01-20 Matsushita Electric Ind Co Ltd ストリーム受信装置、ストリーム送信装置およびストリーム送受信システム
CN100574451C (zh) * 2003-10-06 2009-12-23 松下电器产业株式会社 使用pcr程序时钟参考的数字信号同步
WO2005079064A1 (ja) * 2004-02-17 2005-08-25 Matsushita Electric Industrial Co., Ltd. 記録媒体、再生装置、プログラム、再生方法
JP2005295028A (ja) 2004-03-31 2005-10-20 Pioneer Electronic Corp デジタル放送受信装置及びそのコンテンツ表示方法
JP4689231B2 (ja) * 2004-10-25 2011-05-25 池上通信機株式会社 トランスポートストリーム切換装置
JP4949853B2 (ja) * 2004-12-01 2012-06-13 パナソニック株式会社 再生装置、画像合成方法、画像合成プログラム及び集積回路
CN101853680B (zh) 2004-12-01 2013-02-27 松下电器产业株式会社 再现装置和再现方法
JP4613860B2 (ja) * 2005-04-13 2011-01-19 パナソニック株式会社 Mpeg符号化ストリーム復号装置
EP2144244B1 (en) * 2005-08-09 2019-02-20 Panasonic Intellectual Property Management Co., Ltd. Recording medium and playback apparatus
JP4606995B2 (ja) * 2005-10-28 2011-01-05 Kddi株式会社 デジタル信号伝送方法ならびに送信装置
JP2008141277A (ja) * 2006-11-30 2008-06-19 Sanyo Electric Co Ltd デコード回路
JP4844370B2 (ja) * 2006-12-04 2011-12-28 株式会社日立製作所 フレームレート変換装置及び表示装置
EP2081373A1 (en) * 2008-01-15 2009-07-22 Hitachi, Ltd. Video/audio reproducing apparatus
JP2009171202A (ja) * 2008-01-16 2009-07-30 Panasonic Corp 動画像データ復号再生装置
JP4565011B2 (ja) * 2008-03-14 2010-10-20 株式会社日立製作所 デジタル放送多重装置
JP4438878B2 (ja) * 2008-03-17 2010-03-24 ソニー株式会社 受信装置、クロック同期方法およびコンピュータプログラム
US20090241163A1 (en) * 2008-03-21 2009-09-24 Samsung Electronics Co. Ltd. Broadcast picture display method and a digital broadcast receiver using the same
US8015310B2 (en) * 2008-08-08 2011-09-06 Cisco Technology, Inc. Systems and methods of adaptive playout of delayed media streams
US8095955B2 (en) * 2008-10-28 2012-01-10 Sony Corporation Methods and systems for improving network response during channel change
WO2010131128A1 (en) * 2009-05-13 2010-11-18 Nds Limited Splicing system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001119636A (ja) * 1999-10-14 2001-04-27 Matsushita Electric Ind Co Ltd デジタルテレビ放送受信装置
JP2005012310A (ja) * 2003-06-17 2005-01-13 Sanyo Electric Co Ltd デジタルテレビ放送受信機
JP2009212696A (ja) * 2008-03-03 2009-09-17 Sony Corp データ処理装置、データ処理方法、およびプログラム

Also Published As

Publication number Publication date
JP5465278B2 (ja) 2014-04-09
DE112011101955T5 (de) 2013-04-04
CN102934435B (zh) 2015-09-23
WO2011155173A1 (ja) 2011-12-15
DE112011101955B4 (de) 2018-08-02
US20130003867A1 (en) 2013-01-03
CN102934435A (zh) 2013-02-13
JP5020422B2 (ja) 2012-09-05
JP2013236355A (ja) 2013-11-21
JPWO2011155173A1 (ja) 2013-08-01

Similar Documents

Publication Publication Date Title
US8111971B2 (en) Systems and methods of reducing media stream delay through independent decoder clocks
JP6313704B2 (ja) 受信装置およびその同期処理方法
US7656947B2 (en) Synchronization device and synchronization method in digital broadcast receiver
EP2545708B1 (en) Method and system for inhibiting audio-video synchronization delay
US8655143B2 (en) Supplementary buffer construction in real-time applications without increasing channel change delay
JP6333173B2 (ja) 受信装置および受信方法
JP4987034B2 (ja) 映像表示装置
WO2010092848A1 (ja) 映像品質推定装置および映像品質推定方法
CN101809965A (zh) 将接收的流与发送至另外装置的流同步的通信技术
US8731000B2 (en) Decoding earlier frames with DTS/PTS backward extrapolation
US20150109411A1 (en) Image playback apparatus for 3dtv and method performed by the apparatus
JP4734690B2 (ja) 信号送出方法及び信号送出装置
WO2011042514A1 (en) A digital receiver and corresponding digital transmission system server
JP5465278B2 (ja) 映像表示装置
KR100619034B1 (ko) 디지털 멀티미디어 데이터 수신기에서 송수신 데이터 동기방법 및 장치
US20080198921A1 (en) Method and apparatus for reproducing digital broadcasting
JP2006254298A (ja) 動画再生装置及び動画再生方法
JP6464647B2 (ja) 動画像処理方法、動画像の送信装置、動画像処理システムおよび動画像処理プログラム
EP4195673A1 (en) Synchronization of media streams
CN111988641A (zh) 传输流复用音视频时间同步方法
Estévez et al. Implementation of a media synchronization algorithm for multistandard IP set-top box systems
JP2008278012A (ja) ビットストリーム差替装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11792062

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11792062

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP