WO2009157078A1 - 映像音声データ出力装置および映像音声データ出力方法 - Google Patents

映像音声データ出力装置および映像音声データ出力方法 Download PDF

Info

Publication number
WO2009157078A1
WO2009157078A1 PCT/JP2008/061649 JP2008061649W WO2009157078A1 WO 2009157078 A1 WO2009157078 A1 WO 2009157078A1 JP 2008061649 W JP2008061649 W JP 2008061649W WO 2009157078 A1 WO2009157078 A1 WO 2009157078A1
Authority
WO
WIPO (PCT)
Prior art keywords
video
audio
output
data
audio data
Prior art date
Application number
PCT/JP2008/061649
Other languages
English (en)
French (fr)
Inventor
祥 西川
礼敬 政次
Original Assignee
富士通マイクロエレクトロニクス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士通マイクロエレクトロニクス株式会社 filed Critical 富士通マイクロエレクトロニクス株式会社
Priority to PCT/JP2008/061649 priority Critical patent/WO2009157078A1/ja
Priority to JP2010517641A priority patent/JP5212473B2/ja
Publication of WO2009157078A1 publication Critical patent/WO2009157078A1/ja
Priority to US12/957,819 priority patent/US8842218B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/60—Receiver circuitry for the reception of television signals according to analogue transmission standards for the sound signals
    • H04N5/602—Receiver circuitry for the reception of television signals according to analogue transmission standards for the sound signals for digital sound signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368—Multiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4305—Synchronising client clock from received content stream, e.g. locking decoder clock with encoder clock, extraction of the PCR packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341—Demultiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4392—Processing of audio elementary streams involving audio buffer management

Definitions

  • This application relates to a video / audio data output device and a video / audio data output method, and more particularly, to a video / audio data output device and a video / audio data output method for outputting video data and audio data in synchronization with each other in a digital television broadcast receiver.
  • video and audio data are respectively compressed, and a stream obtained by multiplexing them is transmitted on a broadcast wave (digitally modulated) and transmitted.
  • FIG. 1 is a block diagram schematically showing an overall configuration of an example of a digital television broadcast receiver.
  • reference numeral 1 is an antenna
  • 2 is a tuner
  • 3 is a digital demodulation unit
  • 4 is a TS (Transport Stream) demultiplexer
  • 5 is a video decoder
  • 6 is a video output unit
  • 7 is an audio decoder
  • 8 is The audio
  • the digital television broadcast receiver receives a predetermined broadcast wave with the antenna 1 and the tuner 2.
  • the received signal is modulated by, for example, OFDM (Orthogonal frequency division multiplexing) or QPSK (Quadrature Phase Shift Keying), and the digital demodulator 3 digitally demodulates the received signal.
  • OFDM Orthogonal frequency division multiplexing
  • QPSK Quadrature Phase Shift Keying
  • the demodulated TS signal is supplied to the TS demultiplexer 4 to separate the video stream and the audio stream.
  • the video stream is output as video output (video frame data) via the video decoder 5 and the video output unit 6, and the audio stream is output via the audio decoder 7 and the audio output unit 8 (PCM (Pulse Code) Modulation) data).
  • PCM Pulse Code
  • the video output from the video output unit 6 is displayed by a display device (display means), and the audio output from the audio output unit 8 is output by a speaker (audio output means).
  • AV synchronization synchronization of audio (Audio) data and video (Video) data
  • AV synchronization synchronization of audio (Audio) data and video (Video) data
  • FIG. 2 is a block diagram showing an example of a conventional video / audio data output device (synchronous adjustment device).
  • the TS demultiplexer 4 separates the video stream and the audio stream from the stream (TS signal) in which the video and audio are multiplexed.
  • the TS signal includes a PCR (Program Clock Reference) for synchronizing the time on the transmission side and the reception side at a predetermined time interval, and a continuous system in the STC generation unit 9 on the reception side based on the PCR.
  • a time STC System Time Clock
  • the video stream is supplied to the video decoder 5 via the video stream buffer 511, and the audio stream is supplied to the audio decoder 7 via the audio stream buffer 711.
  • a time stamp PTS Presentation Time Stamp
  • PTS Presentation Time Stamp
  • the PTS (video PTS and audio PTS) information is supplied to the video decoder 5 and the audio decoder 7 via the video PTS buffer 512 and the audio PTS buffer 712 while being associated with the video and audio streams, respectively.
  • the video decoder 5 supplies the video frame data obtained by decoding the video stream to the video output unit 6 via the video frame data buffer 521, and the audio decoder 7 decodes the PCM data (audio data) obtained by decoding the audio stream. Is supplied to the audio output unit 8 via the PCM data buffer 721.
  • each PTS information is input to the decoder because, for example, the decoding order of the video frames does not necessarily match the output order. That is, at the stage where the output order of the frames is determined by the decoding process, the order of the PTSs attached to the frames is also rearranged in the proper time order.
  • the video PTS and audio PTS output from the video decoder 5 and the audio decoder 7 are supplied to the video output unit 6 and the audio output unit 8 via the video PTS buffer 522 and the audio PTS buffer 722, respectively.
  • the video output unit 6 and the audio output unit 8 compare the PTS time corresponding to the video and audio frame data with the STC time, and output the corresponding frame data when the STC time reaches the PTS time. .
  • AV synchronization is achieved by outputting each frame data of video and audio at the PTS time based on the STC time.
  • FIG. 3 is a block diagram showing another example of a conventional video / audio data output apparatus.
  • the video / audio data output device shown in FIG. 3 is provided with an image quality adjustment unit 11 after the video output unit 6 in the video / audio data output device of FIG.
  • An audio output delay buffer 12 is provided after the audio output unit 8.
  • the video / audio data output apparatus of FIG. 3 includes an image quality adjustment unit 11 subsequent to the video output unit 6, and performs image conversion such as IP conversion and noise reduction processing on the video output (video frame) from the video output unit 6. Adjustments are made. In this way, when the image quality adjustment unit 11 performs IP conversion or noise reduction processing on the video output from the video output unit 6, the video output is delayed by the time required for the image quality adjustment.
  • an audio output delay buffer 12 is provided after the audio output unit 8 and the audio output from the audio output unit 8 is delayed by the video output delay time by the image quality adjustment unit 11. Let's take AV synchronization.
  • FIG. 4 is a timing chart for explaining the operation of the video / audio data output apparatus shown in FIG. 3.
  • the processing delay is 100 msec between the video output from the video output unit 6 and the video output from the image quality adjustment unit 11. It shows a case where there is an offset.
  • the 100 msec. Offset between the video output from the video output unit 6 and the video output after the image quality adjustment from the image quality adjustment unit 11 is the audio output from the audio output unit 8.
  • the delay buffer 12 cancels out the delay by 100 msec. To achieve AV synchronization.
  • the image quality adjustment processing in the image quality adjustment unit 11 requires 100 msec.
  • the format of the audio output data is 44.1 kHz, 2 channels, 16 bits
  • the audio required for the synchronization adjustment is required.
  • the capacity of the audio output delay buffer 12 needs to be 17.23 kbytes or more in order to absorb the 100 msec. Delay by the image quality adjustment unit 11 by the audio output delay buffer 12.
  • the audio output delay buffer 12 has a capacity that increases as the image quality adjustment time becomes longer, the sampling frequency of the audio data becomes higher, or the number of channels and the number of bits of one sample increase. Must.
  • FIG. 5 is a block diagram showing an example of the STC generation unit 9 in the video / audio data output device shown in FIG. 3
  • FIG. 6 is a block diagram showing an example of the AV output timing generation circuit 10 in the video / audio data output device shown in FIG. FIG.
  • the AV output timing generation circuit 10 shown in FIG. 6 corresponds to the video PTS buffer 522 and the video output unit 6, and the audio PTS buffer 722 and the audio output unit 8 in FIG. 3.
  • the STC generation unit 9 includes, for example, an upper 33-bit counter 91 and a lower 9-bit counter 92.
  • the initial value of the counter is set to the value of the PCR (the upper 33-bit base part (PCR_base (33 bit) part) and the lower 9-bit extension part (PCR_ex (9 bit)) at the timing when the PCR is first detected. Thereafter, it is counted by a 27 MHz clock.
  • the count value of STC_base (33 bits) is supplied to the video output unit 6 and the audio output unit 8 and used as the STC time.
  • the PTS values indicating the video output time and the audio output time are stored in FIFO (First-In First-Out), respectively, and from the PTS values taken out therefrom.
  • STC time STC_base
  • the output of the frame corresponding to the compared PTS value is started.
  • the time when the video frame output enable signal and the audio frame output enable signal become valid becomes the output start time of the video frame and the audio frame, respectively.
  • the PTS value of each FIFO is updated to the next value.
  • each video frame is output at the time when the video frame output enable signal becomes valid.
  • the PCM data for voice output is continuous in time, it is used for monitoring the voice frame output time except when the output is first started. If the output time is shifted, the voice output is performed. Data skip processing and repeat output processing are performed to synchronize with STC_base.
  • the audio output delay is performed after the audio output data is stored in the audio output delay buffer for a certain period of time and then output. Therefore, the capacity of the audio output delay buffer increases as the number of audio channels increases and the complexity of image quality adjustment increases. There was also a tendency to increase.
  • the audio data may be subjected to surround processing or the like, it is also necessary to adjust the delay amount of the audio data by the connected AV amplifier or the like.
  • the present application has been made in view of the above-described problems in the related art, and an object thereof is to provide a video / audio data output device and a synchronization adjustment method capable of synchronizing video and audio without using an output delay buffer.
  • a video / audio data output device including a separation unit, a video decoder, an audio decoder, a video output unit, an audio output unit, a video adjustment unit, and an audio output adjustment unit.
  • the separating means separates the video stream signal, the audio stream signal and the system clock from the input signal, the video decoder decodes the video stream signal to generate video data, and the audio decoder decodes the audio stream signal Then, voice data is generated.
  • the video output unit outputs video data in synchronization with the system clock, and the audio output unit outputs audio data in synchronization with the system clock.
  • the video adjustment means processes the video frame output from the video output section, and the audio output adjustment section is a system that is input to the audio output section according to the time for processing the video frame by the video adjustment means. Delay the clock.
  • a video / audio data output device including a separation unit, a video decoder, an audio decoder, a video output unit, an audio output unit, a video adjustment unit, and an audio output adjustment unit.
  • the separation means separates the video stream signal, the audio stream signal and the system clock from the input signal, the video decoder decodes the video stream signal to generate video data, and the audio decoder decodes the audio stream signal Then, audio data and an audio time stamp signal are generated.
  • the video output unit outputs video data in synchronization with the system clock, and the audio output unit outputs the audio data in synchronization with the system clock and the audio time stamp signal.
  • the video adjusting means processes the video frame output from the video output section, and the audio adjusting means is adapted to process the audio input to the audio output section according to the time for processing the video frame by the video adjusting means. Delay the time stamp signal.
  • the video stream signal, the audio stream signal, and the system clock are separated from the input signal, and the separated video stream signal is decoded to generate video data.
  • a step of separating a video stream signal, an audio stream signal, and a system clock from an input signal a step of decoding the separated video stream signal to generate video data, and Decoding the audio stream signal to generate audio data and a time stamp signal; processing the output video data; and processing the time stamp signal according to a time for processing the video data.
  • a method of delaying and adjusting the output timing of the audio data a method of delaying and adjusting the output timing of the audio data.
  • a procedure for causing a computer to separate a video stream signal, an audio stream signal, and a system clock from an input signal, and a procedure for decoding the separated video stream signal to generate video data Decoding the separated audio stream signal to generate audio data and a time stamp signal, processing the output video data, and processing the video data according to the time
  • a video / audio data output program executes a procedure of delaying a stamp signal and adjusting an output timing of the audio data.
  • each embodiment it is possible to provide a video / audio data output device and a synchronization adjustment method capable of synchronizing video and audio without using an output delay buffer.
  • FIG. 4 is a timing chart for explaining the operation of the video / audio data output device shown in FIG. 3. It is a block diagram which shows the example of the STC production
  • FIG. 4 is a block diagram showing an example of an AV output timing generation circuit in the video / audio data output device shown in FIG. 3.
  • 1 is a block diagram illustrating a video / audio data output device according to a first embodiment; FIG. FIG.
  • FIG. 8 is a timing chart for explaining the operation of the video / audio data output device shown in FIG. 7. It is a figure for demonstrating the production
  • FIG. 8 is a block diagram showing an example of an AV output timing generation circuit in the video / audio data output device shown in FIG. 7. It is a block diagram which shows the audiovisual data output device of 2nd Example.
  • FIG. 12 is a timing chart for explaining the operation of the video / audio data output device shown in FIG. 11.
  • FIG. 12 is a block diagram illustrating an example of an AV output timing generation circuit in the video / audio data output device illustrated in FIG. 11. It is a block diagram which shows the audiovisual data output apparatus of 3rd Example.
  • FIG. 7 is a block diagram showing the video / audio data output device of the first embodiment.
  • the video / audio data output apparatus of this embodiment can be applied to, for example, a digital television broadcast receiver shown in FIG. That is, the TS demultiplexer 4 is supplied with a TS signal obtained by digitally demodulating the signal received by the antenna 1 and the tuner 2 of FIG.
  • the TS demultiplexer 4 separates the supplied TS signal into a video stream and an audio stream.
  • the video stream is supplied to the video decoder 5 via the video stream buffer 511, and the decoded video frame data is supplied to the video output unit 6 via the video frame data buffer 521.
  • the audio stream is supplied to the audio decoder 7 via the audio stream buffer 711, and the PCM data decoded there is supplied to the audio output unit 8 via the PCM data buffer 721.
  • a time stamp PTS of output time is added to each unit such as a frame in the video stream and the audio stream.
  • the video PTS (video time stamp signal) and the audio PTS (audio time stamp signal) output from the video decoder 5 and the audio decoder 7 are connected to the video output unit 6 and the video output unit 6 via the video PTS buffer 522 and the audio PTS buffer 722, respectively.
  • the audio output unit 8 is supplied.
  • An image quality adjustment unit 11 is provided at the subsequent stage of the video output unit 6, and image quality adjustment such as IP conversion and noise reduction processing is performed on the video output from the video output unit 6.
  • image quality adjustment unit 11 includes a delay for the time required for image quality adjustment such as IP conversion and noise reduction processing for the video output from the video output unit 6.
  • the audio output delay buffer (12) is not provided at the subsequent stage of the audio output unit 8. Instead, an adder 21 for providing an offset to the STC (system clock) input to the audio output unit 8 is provided.
  • the delay in video output by the image quality adjustment unit 11 is offset by the adder 21 to the STC input to the audio output unit 8, so that the audio from the audio output unit 8 can be obtained.
  • the output is delayed to be synchronized with the video output from the image quality adjustment unit 11.
  • the video output unit 6 and the audio output unit 8 compare the PTS time corresponding to each frame data of video and audio with the STC time, and output the corresponding frame data when the STC time reaches the PTS time. It is like that. Therefore, the STC is supplied to the video output unit 6 as it is, and the STC to which an offset (negative offset) is given by the adder 21 only to the audio output unit 8 is supplied. AV synchronization with the video output from the image quality adjustment unit 11 is established.
  • the capacity of the audio stream buffer 711 is set to a delay of the audio output. It increases according to. However, since the capacity increase of the audio stream buffer 711 is a compressed audio stream before being decoded by the audio decoder 7, it is sufficiently smaller than the capacity increase of the audio output delay buffer 12 in FIG. can do.
  • FIG. 8 is a timing chart for explaining the operation of the video / audio data output apparatus shown in FIG. 7.
  • the processing delay is 100 msec between the video output from the video output unit 6 and the video output from the image quality adjustment unit 11. It shows a case where there is an offset.
  • an offset of 100 msec Between the video output from the video output unit 6 and the video output after the image quality adjustment from the image quality adjustment unit 11 is relative to the STC input to the audio output unit 8. By giving an offset of 100 msec., The audio output from the audio output unit 8 is delayed and output, and AV synchronization is established.
  • FIG. 9 is a diagram for explaining STC generation (video STC_video (33 bits) and audio STC_audio (33 bits)) in the video and audio data output apparatus shown in FIG.
  • the STC (STC_base (33 bit) count value) from the STC generation unit 9 is sent to the video output unit 6 via the D flip-flop.
  • the offset is added by the adder 21 and then supplied to the audio output unit 8 via the D flip-flop.
  • STC_base (STC_base (33 bits)) is a signal generated by the STC generation unit 9 described with reference to FIG.
  • the STC time is adjusted by the adder 9 (for example, by subtracting the offset of 100 msec. From the STC_base) for the time required for the image quality adjustment processing (for example, 100 msec) by the image quality adjustment unit 11, and the adjusted STC is output as audio. Part 8 is given.
  • FIG. 10 is a block diagram showing an example of the AV output timing generation circuit 10a in the video / audio data output apparatus shown in FIG.
  • the AV output timing generation circuit 10a shown in FIG. 10 corresponds to the video PTS buffer 522 and the video output unit 6, and the audio PTS buffer 722 and the audio output unit 8 in FIG.
  • the video / audio data output device of the first embodiment uses different STCs (videos) to generate the video frame output enable signal and the audio frame output enable signal.
  • STC_video 33 bits
  • STC_audio 33 bits
  • the video PTS (33 bits) and the audio PTS (33 bits) are processed by the video STC_video (33 bits) and the audio STC_audio (33 bits) described with reference to FIG. An enable signal is generated.
  • the audio frame output enable signal for outputting the audio frame is a video frame according to the delay time (for example, 100 msec.) Of the audio STC_audio (33 bits) with respect to the video STC_video (33 bits). It is delayed (for example, 100 msec.) From the video frame output enable signal for output. Thereby, for example, the delay time of the video frame by the image quality adjustment unit 11 provided at the subsequent stage of the video output unit 6 is canceled, and AV synchronization of the video output from the image quality adjustment unit 11 and the audio output from the audio output unit 7 is performed. It is supposed to take.
  • FIG. 11 is a block diagram showing the video / audio data output apparatus of the second embodiment.
  • the audio output delay buffer (12) is not provided at the subsequent stage of the audio output unit 8. Instead, an adder 22 for providing an offset to the audio PTS input to the audio output unit 8 is provided.
  • the video output delay by the image quality adjustment unit 11 is offset by the adder 22 to the audio PTS input to the audio output unit 8.
  • the audio output from the audio output unit 8 is delayed and output, and synchronized with the video output from the image quality adjustment unit 11.
  • the video output unit 6 and the audio output unit 8 compare the PTS time corresponding to each frame data of video and audio with the STC time, and output the corresponding frame data when the STC time reaches the PTS time. It is like that. Therefore, the PTS is supplied to the video output unit 6 as it is, and the PTS provided with an offset (positive offset) by the adder 22 is supplied only to the audio output unit 8, and the audio output from the audio output unit 8 is AV synchronization with the video output from the image quality adjustment unit 11 is established.
  • the capacity of the audio stream buffer 711 is used to delay the audio output from the audio output unit 8 by giving an offset to the PTS (audio PTS). Is increased according to the delay time of audio output (delay time of video output).
  • the capacity increase of the audio stream buffer 711 is a compressed audio stream before being decoded by the audio decoder 7, it is sufficiently smaller than the capacity increase of the audio output delay buffer 12 in FIG. It is possible to do as described above.
  • FIG. 12 is a timing chart for explaining the operation of the video / audio data output apparatus shown in FIG. 11.
  • the processing delay between the video output from the video output unit 6 and the video output from the image quality adjustment unit 11 is 100 msec. It shows a case where there is an offset.
  • the 100 msec. Offset between the video output from the video output unit 6 and the video output after the image quality adjustment from the image quality adjustment unit 11 is PTS (for audio) input to the audio output unit 8.
  • PTS for audio
  • the AV synchronization is achieved by giving an offset to the PTS) and outputting the audio frame at the original position 200 at the position 300, for example.
  • FIG. 13 is a block diagram showing an example of an AV output timing generation circuit in the video / audio data output apparatus shown in FIG.
  • the AV output timing generation circuit 10b shown in FIG. 13 corresponds to the video PTS buffer 522 and the video output unit 6, and the audio PTS buffer 722, the adder 22, and the audio output unit 8 in FIG.
  • an offset is provided between the FIFO and the D flip-flop to generate the audio frame output enable signal.
  • An adder 22 to be added is added.
  • the audio frame output enable signal is delayed with respect to the video frame output enable signal, the video frame output from the image quality adjustment unit 11, and the audio from the audio output unit 7.
  • the AV synchronization of the output is taken.
  • the audio output is delayed by the delay time by the image quality adjustment unit 11 without using the audio output delay buffer (12), and AV synchronization is achieved. Can do.
  • the output of the audio decoder 7 is directly supplied to the audio output unit 8 without buffering, but audio data skip processing is performed in order to maintain AV synchronization even when an error occurs on the video processing side. And repeat processing is required, so buffering of the output of the audio decoder 7 is required to some extent.
  • the offset time for image quality adjustment can be uniquely determined if the processing time for image quality adjustment is determined, and does not vary during the operation process.
  • the offset value is a value corresponding to the image size.
  • the video output timing is not allowed to shift during broadcasting, so the offset time is set to the longest processing time.
  • the video data is also delayed until the offset time is reached. This can also be realized by adjusting the STC time or the PTS time given to the video output instead of using the delay buffer as if the audio output was delayed.
  • the STC time or PTS time given to the audio output is adjusted by (offset-t) time in consideration of the fixed time t.
  • FIG. 14 is a block diagram showing a video / audio data output device according to the third embodiment
  • FIG. 15 is a block diagram showing a video / audio data output device according to the fourth embodiment.
  • the third and fourth embodiments show an example of a video / audio data output device having an adjustment function when the processing time varies depending on the image size.
  • the video / audio data output apparatus of the third embodiment shown in FIG. 14 controls the STC supplied to the video output unit 6 and the audio output unit 8, and the fourth embodiment shown in FIG.
  • the video / audio data output device controls the PTS supplied to the video output unit 6 and the audio output unit 8.
  • the maximum time required for image quality adjustment be an offset. Specifically, the maximum time required for image quality adjustment is determined by calculating the processing time from the maximum size of the image (for example, 1920 ⁇ 1080 for high-definition broadcasting) in the reception stream assumed by the television broadcast receiver.
  • the video / audio data output apparatus gives an offset to the STC input to the audio output unit 8 by the adder 25 in the same manner as the adder 21 of FIG.
  • the audio output from the output unit 8 is delayed to achieve AV synchronization with the video output from the image quality adjustment unit 11.
  • the adder 24 gives an offset (offset- ⁇ ) to the STC input to the video output unit 6.
  • reference numeral 23 denotes an ⁇ generator, and the value of ⁇ is adjusted with reference to the video frame data buffer 521.
  • the value of ⁇ is 0 in the case of the maximum image size, and is a difference time when compared with the processing time at the maximum image size, and a value that changes depending on the image size of the next output frame.
  • the short processing time in the adjusting unit 11 is adjusted by changing ⁇ .
  • the AV synchronization is performed between the video output from the image quality adjustment unit 11 and the audio output from the audio output unit 8 regardless of the size of the display image.
  • the video / audio data output apparatus gives an offset to the PTS input to the audio output unit 8 by the adder 28 in the same manner as the adder 22 of FIG. By delaying the audio output from the output unit 8, AV synchronization with the video output from the image quality adjustment unit 11 is established. Further, an adder 27 gives an offset ( ⁇ ) to the PTS input to the video output unit 6.
  • reference numeral 26 denotes a ⁇ generator, and the value of ⁇ is adjusted with reference to the video frame data buffer 521.
  • FIG. 16 is a block diagram showing the video / audio data output device of the fifth embodiment
  • FIG. 17 is a block diagram showing the video / audio data output device of the sixth embodiment.
  • the fifth and sixth embodiments show examples of video / audio data output devices having an adjustment function when audio output is delayed by surround processing.
  • the video / audio data output device of the fifth embodiment shown in FIG. 16 controls the STC supplied to the video output unit 6 and the audio output unit 8, and also the sixth embodiment shown in FIG. 17.
  • the video / audio data output device controls the PTS supplied to the video output unit 6 and the audio output unit 8.
  • the surround processing unit 13 when the surround processing unit 13 is provided after the audio output unit 8 to perform the audio output surround processing, if the time required for the surround processing is t, the adjustment time of the STC input to the audio output unit 8 is If the offset is changed to (offset-t), the synchronization adjustment considering the surround processing time can be performed.
  • the adder 29 corresponds to the adder 21 in FIG. 7, and the adder 30 sets the processing time of the image quality adjustment unit 11.
  • the offset to be adjusted (offset) and t for adjusting the processing time in the surround processing unit 13 are added.
  • reference numeral 31 indicates a t generation unit, which generates a value of t corresponding to the processing time in the surround processing unit 13.
  • the adder 32 corresponds to the adder 22 in FIG. 11, and the adder 33 sets the processing time of the image quality adjustment unit 11.
  • the offset to be adjusted (offset) and t for adjusting the processing time in the surround processing unit 13 are added.
  • reference numeral 34 indicates a t generation unit, which generates a value of t corresponding to the processing time in the surround processing unit 13.
  • the audio output delay time (t) is set when the device is designed, If it is performed externally, the user who connects the surround processing device can be set.
  • the surround processing unit 13 when the surround processing unit 13 is provided outside a digital television broadcast receiver such as a surround amplifier, the delay in audio output by the surround amplifier (13) is provided in the digital television broadcast receiver (device).
  • An appropriate value is set by the generation unit 31 or 34. This is realized, for example, by providing a digital TV broadcast receiver with a setting menu so that the user can set t, and providing a memory or a register for internally holding the set t.
  • FIG. 18 is a block diagram showing the video / audio data output apparatus of the seventh embodiment, which shows a case where it is realized by software (program) and shows a case where PTS time adjustment is performed.
  • the PTS time adjustment can be realized by a program by rewriting the value at the timing of updating the PTS value to be referred to.
  • the adder 35 adds the video offset offset_v to the video PTS supplied to the video output unit 6, and the adder 35 adds the audio offset offset_a to the audio PTS supplied to the audio output unit 8.
  • the addition of the video offset offset_v and the audio offset offset_a is controlled by the program.
  • the video offset offset_v and the audio offset offset_a are held in the memory and can be accessed by a program. Also, PTS information for video / audio output is also held in a FIFO or memory and can be read out by a program. This program is executed by, for example, a processor (computer) provided in a digital television broadcast receiver to which the video / audio data output device is applied.
  • FIG. 19 is a flowchart for explaining video output processing by adjusting the PTS time in the video / audio data output apparatus of the seventh embodiment shown in FIG.
  • step ST11 the process waits for the output setting timing, and further proceeds to step ST12 to determine whether or not to stop the output. If it is determined in step ST12 that the output is not stopped, the process proceeds to step ST13 to acquire the STC, and in step ST14, it is determined whether (STC-PTS_out) is greater than zero. If it is determined in step ST14 that STC-PTS_out) ⁇ 0, that is, if the STC time has reached the PTS_out time, the process proceeds to step ST16, where the frame Fi is output (output enabled), Proceed to ST17.
  • step ST14 If it is determined in step ST14 that STC-PTS_out) ⁇ 0 does not hold, that is, it is determined that the STC time has not reached the PTS_out time, the process proceeds to step ST15 to re-output the frame Fi-1 (set output enable). ), Returning to step ST11, the same processing is repeated.
  • step ST12 If it is determined in step ST12 that the output is to be stopped, the process proceeds to step ST19, where the output is stopped and the process is terminated.
  • output control is performed according to an output time obtained by adding offset_v to the PTS time of each output frame.
  • the timing of the output of each frame is taken while comparing the PTS adjusted in each frame with the STC.
  • the value of offset_v is adjusted when the processing time varies depending on the image size in the above-described fourth embodiment of FIG.
  • FIG. 20 is a flowchart for explaining audio output processing by adjusting the PTS time in the video / audio data output apparatus of the seventh embodiment shown in FIG.
  • step ST21 the process waits for the timing at which the STC time reaches the PTS_out time, and then proceeds to step ST22 to output the frame Fi. That is, the frame Fi is set to be outputable.
  • step ST25 the process proceeds to step ST25, and the frames Fi are output continuously. Further, the process proceeds to step ST26 and waits for the completion of the output of the frame Fi-1. When the output of the frame Fi-1 is completed, the output of the frame Fi is continuously started, and the process proceeds to step ST27.
  • step ST27 If it is determined in step ST27 that the output is not stopped, the process proceeds to step ST28, where an STC is acquired, and in step ST29, it is determined whether the STC is within an allowable range from PTS_out.
  • step ST29 If it is determined in step ST29 that the STC is not within the allowable range from PTS_out, the process proceeds to step ST30, where audio data is skipped or repeated, and the process proceeds to step ST31. If it is determined in step ST29 that the STC is within the allowable range from PTS_out, the process proceeds to step ST31 as it is.
  • step ST31 the information on the frame Fi-1 and the output time PTSi-1 is released, the process returns to step ST23, and the same processing is repeated.
  • step ST27 If it is determined in step ST27 that the output is to be stopped, the process proceeds to step ST32 where the output is stopped and the process is terminated.
  • output control is performed according to an output time obtained by adding offset_a to the PTS time of each output frame.
  • the output of the voice frame PCM data
  • the comparison between the adjusted PTS and the STC is used as an evaluation of whether or not the audio data is output in synchronization with the STC, and when it exceeds the allowable range, the data unit is adjusted.
  • the system time (STC) and time stamp (PTS) for synchronizing video and audio are adjusted.
  • STC system time
  • PTS time stamp
  • AV synchronization can be achieved without using an output delay buffer or the like.
  • the memory circuit of the delay buffer can be reduced and the data transfer traffic generated at the input / output of the delay buffer can be suppressed.

Abstract

　入力信号から映像ストリーム信号，音声ストリーム信号およびシステムクロックを分離する分離手段と、前記映像ストリーム信号をデコードして、映像データを生成する映像デコーダと、前記音声ストリーム信号をデコードして、音声データを生成する音声デコーダと、前記システムクロックに同期して前記映像データを出力する映像出力部と、前記システムクロックに同期して前記音声データを出力する音声出力部と、前記映像出力部から出力された映像フレームを加工する映像調整手段と、前記映像調整手段で前記映像フレームを加工する時間に応じて、前記音声出力部に入力される前記システムクロックを遅延させる音声出力調整部と、を有するように構成する。これにより、音声出力遅延用バッファを使用することなく映像と音声の同期を取ることが可能になる。

Description

映像音声データ出力装置および映像音声データ出力方法
　この出願は、映像音声データ出力装置および映像音声データ出力方法に関し、特に、デジタルテレビ放送受信機における映像データおよび音声データを同期させて出力する映像音声データ出力装置および映像音声データ出力方法に関する。
　従来、例えば、デジタルテレビ放送は、映像と音声のデータをそれぞれ圧縮し、それらを多重化したストリームを放送波に載せて（デジタル変調して）伝送している。
　図１はデジタルテレビ放送受信機の一例の全体構成を概略的に示すブロック図である。図１において、参照符号１はアンテナ、２はチューナ、３はデジタル復調部、４はＴＳ（Transport Stream）デマルチプレクサ、５は映像デコーダ、６は映像出力部、７は音声デコーダ、そして、８は音声出力部を示している。
　図１に示されるように、デジタルテレビ放送受信機は、アンテナ１およびチューナ２で所定の放送波を受信する。この受信信号は、例えば、ＯＦＤＭ（Orthogonal frequency division multiplex：直交周波数分割多重方式）やＱＰＳＫ（Quadrature Phase Shift Keying：四位相偏移変調）により変調されており、それをデジタル復調部３によりデジタル復調してＴＳ信号を得る。
　復調されたＴＳ信号は、ＴＳデマルチプレクサ４に供給され、映像ストリームおよび音声ストリームが分離される。映像ストリームは、映像デコーダ５および映像出力部６を介して映像出力（映像フレームデータ）として出力され、また、音声ストリームは、音声デコーダ７および音声出力部８を介して音声出力（ＰＣＭ（Pulse Code Modulation）データ）として出力される。
　そして、映像出力部６からの映像出力は、表示装置（表示手段）により表示され、また、音声出力部８からの音声出力は、スピーカ（音声出力手段）により出力される。
　ところで、従来、例えば、デジタルテレビ放送受信機においてのＡＶ同期（音声（Audio）データと映像（Video）データの同期）は、映像データおよび音声データに付加されているタイムスタンプをシステム時刻に応じて出力することで実現している。
　図２は従来の映像音声データ出力装置（同期調整装置）の一例を示すブロック図である。
　図２に示されるように、ＴＳデマルチプレクサ４は、映像および音声が多重化されたストリーム（ＴＳ信号）から映像ストリームおよび音声ストリームを分離する。ＴＳ信号には、送信側と受信側の時刻同期を取るためのＰＣＲ（Program Clock Reference）が所定の時間間隔で含まれていて、そのＰＣＲを元に受信側のＳＴＣ生成部９で連続したシステム時間ＳＴＣ（System Time Clock）を生成する。
　映像ストリームは、映像ストリーム用バッファ５１１を介して映像デコーダ５に供給され、また、音声ストリームは、音声ストリーム用バッファ７１１を介して音声デコーダ７に供給される。
　ここで、映像ストリームおよび音声ストリームには、それぞれフレーム等の単位毎に出力時刻のタイムスタンプＰＴＳ（Presentation Time Stamp）が付加されている。これらのＰＴＳ（映像ＰＴＳおよび音声ＰＴＳ）情報は、それぞれ映像および音声ストリームと関連付けたまま映像ＰＴＳ用バッファ５１２および音声ＰＴＳ用バッファ７１２を介して映像デコーダ５および音声デコーダ７に供給される。
　映像デコーダ５は、映像ストリームをデコードした映像フレームデータを、映像フレームデータ用バッファ５２１を介して映像出力部６に供給し、また、音声デコーダ７は、音声ストリームをデコードしたＰＣＭデータ（音声データ）を、ＰＣＭデータ用バッファ７２１を介して音声出力部８に供給する。
　なお、図２では、各ＰＴＳ情報がデコーダに入力されているが、これは、例えば、映像フレームのデコード順が必ずしも出力の順番とは一致しないためである。すなわち、デコード処理によって、フレームの出力順が決まった段階で、フレームに付随させていたＰＴＳの順序もきちんとした時間順に並べ替えられるようになっている。
　また、音声のデコード処理では、フレームデータの並べ替えは起こらないものがほとんどであるが、コーデックタイプによっては、デコード開始時に先頭の数フレームを出力しない場合もあり、それに応じて出力フレームデータとＰＴＳ情報を合わせるために、先頭の数フレーム分のＰＴＳ情報を削除することも必要になる。
　映像デコーダ５および音声デコーダ７から出力された映像ＰＴＳおよび音声ＰＴＳは、それぞれ映像ＰＴＳ用バッファ５２２および音声ＰＴＳ用バッファ７２２を介して映像出力部６および音声出力部８に供給される。
　そして、映像出力部６および音声出力部８は、映像および音声の各フレームデータに対応するＰＴＳ時刻とＳＴＣ時刻とを比較し、ＳＴＣ時刻がＰＴＳ時刻に到達した時に、対応するフレームデータを出力する。
　すなわち、例えば、デジタルテレビ放送受信機では、ＳＴＣ時刻に基づいて映像と音声のそれぞれのフレームデータをＰＴＳ時刻で出力することによって、ＡＶ同期を取るようになっている。
　図３は従来の映像音声データ出力装置の他の例を示すブロック図である。
　図３と図２との比較から明らかなように、図３に示す映像音声データ出力装置は、図２の映像音声データ出力装置において、映像出力部６の後段に画質調整部１１を設けると共に、音声出力部８の後段に音声出力遅延用バッファ１２を設けたものである。
　すなわち、図３の映像音声データ出力装置は、映像出力部６の後段に画質調整部１１を設け、映像出力部６からの映像出力（映像フレーム）に対してＩＰ変換やノイズ軽減処理等の画質調整を行うようになっている。このように、画質調整部１１により映像出力部６からの映像出力に対してＩＰ変換やノイズ軽減処理を行うと、その画質調整に要する時間だけ映像出力が遅延することになる。
　そこで、図３の映像音声データ出力装置では、音声出力部８の後段に音声出力遅延用バッファ１２を設け、画質調整部１１による映像出力の遅延時間分だけ音声出力部８からの音声出力を遅延させてＡＶ同期を取るようになっている。
　図４は図３に示す映像音声データ出力装置の動作を説明するためのタイミング図であり、映像出力部６からの映像出力と画質調整部１１からの映像出力との間に処理遅延として１００ｍsec.のオフセットがある場合を示している。
　図４に示されように、映像出力部６からの映像出力と画質調整部１１からの画質調整後の映像出力との間の１００ｍsec.のオフセットは、音声出力部８からの音声出力を音声出力遅延用バッファ１２により１００ｍsec.遅延させることにより相殺され、ＡＶ同期を取るようになっている。
　ここで、画質調整部１１における画質調整処理に１００ｍsec.の時間を要する場合、例えば、音声出力データ（ＰＣＭデータ）のフォーマットが４４．１ｋＨｚ，２チャンネル，１６ｂｉｔとすると、同期調整に必要となる音声出力遅延用バッファ１２の容量は次のようになる。
　　100×44.1×2×16=141,120ｂｉｔ　→　17.23ｋbyte　　…（ａ）
　すなわち、画質調整部１１による１００ｍsec.の遅延を音声出力遅延用バッファ１２により吸収するために音声出力遅延用バッファ１２の容量は、１７．２３ｋbyte以上の容量が必要なことが分かる。
　この音声出力遅延用バッファ１２は、さらに画質調整時間が長くなったり、音声データのサンプリング周波数が高くなったり、或いは、チャンネル数や１サンプルのビット数が多くなれば、それらに応じて容量を増大しなければならない。
　図５は図３に示す映像音声データ出力装置におけるＳＴＣ生成部９の例を示すブロック図であり、図６は図３に示す映像音声データ出力装置におけるＡＶ出力タイミング生成回路１０の例を示すブロック図である。ここで、図６に示すＡＶ出力タイミング生成回路１０は、図３における映像ＰＴＳ用バッファ５２２および映像出力部６、並びに、音声ＰＴＳ用バッファ７２２および音声出力部８に相当する。
　図５に示されるように、ＳＴＣ生成部９は、例えば、上位３３ビットのカウンタ９１と下位９ビットのカウンタ９２によって構成される。カウンタの初期値は、最初にＰＣＲを検出したタイミングで、そのＰＣＲ（上位３３ビットのベース部（ＰＣＲ_base(33bit)部）と下位９ビットのエクステンション部（ＰＣＲ_ex(9bit)）の値にセットされ、その後は２７ＭＨｚのクロックによってカウントされる。
　下位９ビットのカウンタ９２は、２７ＭＨｚのクロックで動作する０～２９９の巡回カウンタとして構成され、そのカウンタ値が２９９になった時点で上位３３ビットのカウンタ９１がカウントアップされる。そのため、上位３３ビットのカウンタ９１は、２７ＭＨｚ／３００＝９０ｋＨｚでカウントアップ動作するカウンタとなっている。そして、ＳＴＣ_base(33bit)のカウント値は、映像出力部６および音声出力部８に供給されてＳＴＣ時刻として利用される。
　図６に示されるように、ＡＶ出力タイミング生成回路１０において、映像出力および音声出力の時刻を示すＰＴＳ値は、それぞれＦＩＦＯ（First-In First-Out）に格納され、そこから取り出したＰＴＳ値よりもＳＴＣ時刻（ＳＴＣ_base）が超えた場合に、その比較したＰＴＳ値に該当するフレームの出力が開始される。
　すなわち、映像フレーム出力イネーブル信号および音声フレーム出力イネーブル信号が有効になった時点が、それぞれ映像フレームおよび音声フレームの出力開始時刻となる。そして、映像フレーム出力イネーブル信号が有効になった後、それぞれのＦＩＦＯのＰＴＳ値が次の値に更新される。
　なお、映像出力のフレームデータは時間的に離散であるため、映像フレーム出力イネーブル信号が有効になった時刻で各映像フレームが出力される。一方、音声出力のＰＣＭデータは時間的に連続であるため、最初に出力を開始するとき以外は、音声フレーム出力時刻の監視用に用いられ、その出力時刻がずれていた場合には、音声出力データのスキップ処理やリピート出力処理を行って、ＳＴＣ_baseとの同期を取ることになる。
　ところで、従来、例えば、ＩＰ変換やノイズ軽減処理等の画質調整によりビデオ出力が遅れると、そのビデオ出力の遅れ分だけ遅延バッファを用いて音声出力を遅らせてビデオ出力と音声出力との同期を取るようにした映像音声データ出力装置が提案されている（例えば、特許文献１～４参照）。
特開２００７－０８２１５５号公報 特開２００２－３４４８９８号公報 特開平０６－２３７４４３号公報 特開２００３－２８４０６６号公報
　上述したように、従来、例えば、デジタルテレビ放送受信機において、ＩＰ変換やノイズ軽減処理等の画質調整を行うと、その調整時間の分だけ映像出力が遅延していた。そのため、映像と音声のＡＶ同期（リップシンク）を取るには、映像出力の遅れた分だけ音声出力を遅延させる必要があった。
　通常、音声出力の遅延は、音声出力データを音声出力遅延用バッファに一定時間格納してから出力するため、音声の多チャンネル化や画質調整の複雑化に伴って、音声出力遅延用バッファの容量も増大する傾向にあった。
　さらに、音声データに関しても、サラウンド処理等を行う場合もあるため、接続するＡＶアンプ等によって音声データの遅延量を調整することも必要になっていた。
　本出願は、上述した従来技術における課題に鑑み、出力遅延用バッファを使用することなく映像と音声の同期を取ることができる映像音声データ出力装置および同期調整方法の提供を目的とする。
　第１の実施形態によれば、分離手段と、映像デコーダと、音声デコーダと、映像出力部と、音声出力部と、映像調整手段と、音声出力調整部と、を有する映像音声データ出力装置が提供される。
　分離手段は、入力信号から映像ストリーム信号，音声ストリーム信号およびシステムクロックを分離し、映像デコーダは、映像ストリーム信号をデコードして、映像データを生成し、そして、音声デコーダは、音声ストリーム信号をデコードして、音声データを生成する。
　また、映像出力部は、システムクロックに同期して映像データを出力し、音声出力部は、システムクロックに同期して音声データを出力する。さらに、映像調整手段は、映像出力部から出力された映像フレームを加工し、そして、音声出力調整部は、映像調整手段で映像フレームを加工する時間に応じて、音声出力部に入力されるシステムクロックを遅延させる。
　第２の実施形態によれば、分離手段と、映像デコーダと、音声デコーダと、映像出力部と、音声出力部と、映像調整手段と、音声出力調整部と、を有する映像音声データ出力装置が提供される。
　分離手段は、入力信号から映像ストリーム信号，音声ストリーム信号およびシステムクロックを分離し、映像デコーダは、映像ストリーム信号をデコードして、映像データを生成し、そして、音声デコーダは、音声ストリーム信号をデコードして、音声データおよび音声タイムスタンプ信号を生成する。
　また、映像出力部は、システムクロックに同期して映像データを出力し、音声出力部は、システムクロックおよび音声タイムスタンプ信号に同期して前記音声データを出力する。さらに、映像調整手段は、映像出力部から出力された映像フレームを加工し、そして、音声調整手段は、映像調整手段で映像フレームを加工する時間に応じて、音声出力部に入力される前記音声タイムスタンプ信号を遅延させる。
　第３の実施形態によれば、入力信号から映像ストリーム信号，音声ストリーム信号およびシステムクロックを分離する工程と、分離された前記映像ストリーム信号をデコードして、映像データを生成する工程と、分離された前記音声ストリーム信号をデコードして、音声データを生成する工程と、分離された前記システムクロックに同期して前記映像データを出力する工程と、出力された前記映像データを加工する工程と、前記映像データを加工する時間に応じて、前記システムクロックを遅延させ、前記音声データの出力タイミングを調整する工程と、を有することを特徴とする映像音声データ出力方法が提供される。
　第４の実施形態によれば、入力信号から映像ストリーム信号，音声ストリーム信号およびシステムクロックを分離する工程と、分離された前記映像ストリーム信号をデコードして、映像データを生成する工程と、分離された前記音声ストリーム信号をデコードして、音声データとタイムスタンプ信号を生成する工程と、出力された前記映像データを加工する工程と、前記映像データを加工する時間に応じて、前記タイムスタンプ信号を遅延させ、前記音声データの出力タイミングを調整する工程と、を有することを特徴とする映像音声データ出力方法が提供される。
　第５の実施形態によれば、コンピュータに、入力信号から映像ストリーム信号，音声ストリーム信号およびシステムクロックを分離させる手順と、分離された前記映像ストリーム信号をデコードして、映像データを生成させる手順と、分離された前記音声ストリーム信号をデコードして、音声データとタイムスタンプ信号を生成させる手順と、出力された前記映像データを加工させる手順と、前記映像データを加工する時間に応じて、前記タイムスタンプ信号を遅延させ、前記音声データの出力タイミングを調整させる手順と、を実行させることを特徴とする映像音声データ出力プログラムが提供される。
　各実施形態によれば、出力遅延用バッファを使用することなく映像と音声の同期を取ることができる映像音声データ出力装置および同期調整方法を提供することができる。
デジタルテレビ放送受信機の一例の全体構成を概略的に示すブロック図である。 従来の映像音声データ出力装置の一例を示すブロック図である。 従来の映像音声データ出力装置の他の例を示すブロック図である。 図３に示す映像音声データ出力装置の動作を説明するためのタイミング図である。 図３に示す映像音声データ出力装置におけるＳＴＣ生成部の例を示すブロック図である。 図３に示す映像音声データ出力装置におけるＡＶ出力タイミング生成回路の例を示すブロック図である。 第１実施例の映像音声データ出力装置を示すブロック図である。 図７に示す映像音声データ出力装置の動作を説明するためのタイミング図である。 図７に示す映像音声データ出力装置におけるＳＴＣの生成を説明するための図である。 図７に示す映像音声データ出力装置におけるＡＶ出力タイミング生成回路の例を示すブロック図である。 第２実施例の映像音声データ出力装置を示すブロック図である。 図１１に示す映像音声データ出力装置の動作を説明するためのタイミング図である。 図１１に示す映像音声データ出力装置におけるＡＶ出力タイミング生成回路の例を示すブロック図である。 第３実施例の映像音声データ出力装置を示すブロック図である。 第４実施例の映像音声データ出力装置を示すブロック図である。 第５実施例の映像音声データ出力装置を示すブロック図である。 第６実施例の映像音声データ出力装置を示すブロック図である。 第７実施例の映像音声データ出力装置を示すブロック図である。 図１８の第７実施例の映像音声データ出力装置におけるＰＴＳ時刻調整による映像出力の処理を説明するためのフローチャートである。 図１８の第７実施例の映像音声データ出力装置におけるＰＴＳ時刻調整による音声出力の処理を説明するためのフローチャートである。
符号の説明
　１　　アンテナ
　２　　チューナ
　３　　デジタル復調部
　４　　ＴＳデマルチプレクサ
　５　　映像（ビデオ）デコーダ
　６　　映像出力部
　７　　音声（オーディオ）デコーダ
　８　　音声出力部
　９　　ＳＴＣ生成部
　１０，１０ａ，１０ｂ　　ＡＶ出力タイミング生成回路
　１１　　画質調整部
　１２　　音声出力遅延用バッファ
　１３　　サラウンド処理部
　２１，２２，２４，２５，２７～３０，３２，３３，３５，３６　　加算器
　２３　　α生成部
　２６　　β生成部
　３１，３４　　ｔ生成部
　５１１　　映像ストリーム用バッファ
　５１２，５２２　　映像ＰＴＳ用バッファ
　５２１　　映像フレームデータ用バッファ
　７１１　　音声ストリーム用バッファ
　７１２，７２２　　音声ＰＴＳ用バッファ
　７２１　　ＰＣＭデータ用バッファ
　以下、映像音声データ出力装置および映像音声データ出力方法の実施例を、添付図面を参照して説明する。
　図７は第１実施例の映像音声データ出力装置を示すブロック図である。なお、本実施例の映像音声データ出力装置は、例えば、図１に示すデジタルテレビ放送受信機に適用することができる。すなわち、ＴＳデマルチプレクサ４には、例えば、図１のアンテナ１およびチューナ２で受信した信号をデジタル復調部３によりデジタル復調したＴＳ信号が供給される。
　図７に示されるように、ＴＳデマルチプレクサ４は、供給されたＴＳ信号を映像ストリームと音声ストリームに分離する。映像ストリームは、映像ストリーム用バッファ５１１を介して映像デコーダ５に供給され、そこでデコードされた映像フレームデータは、映像フレームデータ用バッファ５２１を介して映像出力部６に供給される。
　音声ストリームは、音声ストリーム用バッファ７１１を介して音声デコーダ７に供給され、そこでデコードされたＰＣＭデータは、ＰＣＭデータ用バッファ７２１を介して音声出力部８に供給される。
　映像ストリームおよび音声ストリームには、フレーム等の単位毎に出力時刻のタイムスタンプＰＴＳが付加されている。映像デコーダ５および音声デコーダ７から出力された映像ＰＴＳ（映像タイムスタンプ信号）および音声ＰＴＳ（音声タイムスタンプ信号）は、それぞれ映像ＰＴＳ用バッファ５２２および音声ＰＴＳ用バッファ７２２を介して映像出力部６および音声出力部８に供給される。
　映像出力部６の後段には、画質調整部１１が設けられ、映像出力部６からの映像出力に対してＩＰ変換やノイズ軽減処理等の画質調整を行うようになっている。なお、画質調整部１１から出力される映像出力には、映像出力部６からの映像出力に対するＩＰ変換やノイズ軽減処理等の画質調整に要する時間だけ遅延が含まれることになる。
　図７と前述した図３との比較から明らかなように、本第１実施例の映像音声データ出力装置において、音声出力部８の後段には音声出力遅延用バッファ（１２）は設けられておらず、代わりに、音声出力部８に入力するＳＴＣ（システムクロック）に対してオフセットを与えるための加算器２１が設けられている。
　本第１実施例の映像音声データ出力装置では、画質調整部１１による映像出力の遅延を、加算器２１により音声出力部８に入力するＳＴＣにオフセットを与え、これにより音声出力部８からの音声出力を遅延して出力させて画質調整部１１からの映像出力との同期を取るようになっている。
　すなわち、映像出力部６および音声出力部８は、映像および音声の各フレームデータに対応するＰＴＳ時刻とＳＴＣ時刻とを比較し、ＳＴＣ時刻がＰＴＳ時刻に到達した時に、対応するフレームデータを出力するようになっている。そこで、映像出力部６にはそのままＳＴＣを供給し、音声出力部８に対してのみ加算器２１によりオフセット（負のオフセット）を与えたＳＴＣを供給して、音声出力部８からの音声出力と画質調整部１１からの映像出力とのＡＶ同期を取るようになっている。
　なお、本第１実施例の映像音声データ出力装置において、ＳＴＣにオフセットを与えて音声出力部８からの音声出力を遅延させるために、例えば、音声ストリーム用バッファ７１１の容量を、音声出力の遅延に応じて増大する。ただし、この音声ストリーム用バッファ７１１の容量増大は、音声デコーダ７によりデコードされる前の圧縮された音声ストリームであるため、前述した図３における音声出力遅延用バッファ１２の容量増大よりも十分に小さくすることができる。
　図８は図７に示す映像音声データ出力装置の動作を説明するためのタイミング図であり、映像出力部６からの映像出力と画質調整部１１からの映像出力との間に処理遅延として１００ｍsec.のオフセットがある場合を示している。
　図８に示されように、映像出力部６からの映像出力と画質調整部１１からの画質調整後の映像出力との間の１００ｍsec.のオフセットは、音声出力部８に入力するＳＴＣに対して１００ｍsec.のオフセットを与えることにより、音声出力部８からの音声出力を遅延して出力させ、ＡＶ同期を取るようになっている。
　ここで、上述したように、オフセットが与えられたＳＴＣによる音声出力部８からの音声出力の遅延に対応して音声ストリーム用バッファ７１１の容量を増大させることになる。具体的に、音声出力部８からの音声出力を１００ｍsec.遅延させる場合、例えば、音声ストリームが１２８ｋbpsで圧縮されているとすると、音声ストリーム用バッファ７１１の増加容量は次のようになる。
　　100×128＝12,800ｂｉｔ　→　1.56ｋbyte　　…（ｂ）
　これは、前述した従来例における音声出力遅延用バッファ１２に必要とされる１７．２３ｋbyteの約１／１１に相当する。すなわち、音声ストリームは、圧縮されたデータなので音声ストリーム用バッファ７１１の容量増加は、従来例における音声出力遅延用バッファ１２の容量よりも十分小さなものとすることができる。
　さらに、従来例の音声出力遅延用バッファを用いる場合には、音声出力遅延用バッファ１２に対して音声データの入出力を行うためのデータ転送のトラフィックが必要となるが、このトラフィックも削除することができ、消費電力の削減も行うことができる。
　図９は図７に示す映像音声データ出力装置におけるＳＴＣの生成（映像用ＳＴＣ_video(33bit)および音声用ＳＴＣ_audio(33bit)）を説明するための図である。
　図９に示されるように、本第１実施例の映像音声データ出力装置において、ＳＴＣ生成部９からのＳＴＣ（ＳＴＣ_base(33bit)のカウント値）は、Ｄフリップフロップを介して映像出力部６へ供給されると共に、加算器２１でオフセットが加算された後、Ｄフリップフロップを介して音声出力部８へ供給される。ここで、ＳＴＣ_base（ＳＴＣ_base(33bit))は、図５を参照して説明したＳＴＣ生成部９により生成された信号である。
　すなわち、画質調整部１１で画質調整処理に要する時間（例えば、１００ｍsec）だけ加算器９によりＳＴＣ時刻を調整（例えば、ＳＴＣ_baseから１００ｍsec.のオフセット分だけ減算）し、その調整されたＳＴＣを音声出力部８に与えるようになっている。
　ここで、［ＳＴＣ_base－オフセット］の演算処理によって、ＳＴＣ_audioを音声出力部８に与えるタイミングがずれるが、これを映像出力部６に与えるタイミングと合わせるために、ＤフリップフロップによりＳＴＣ_baseを遅延させただけのＳＴＣ_videoを生成して映像出力部６に供給するようになっている。
　図１０は図７に示す映像音声データ出力装置におけるＡＶ出力タイミング生成回路１０ａの例を示すブロック図である。ここで、図１０に示すＡＶ出力タイミング生成回路１０ａは、図７における映像ＰＴＳ用バッファ５２２および映像出力部６、並びに、音声ＰＴＳ用バッファ７２２および音声出力部８に相当する。
　図１０と前述した図６との比較から明らかなように、本第１実施例の映像音声データ出力装置では、映像フレーム出力イネーブル信号および音声フレーム出力イネーブル信号を生成するためにそれぞれ異なるＳＴＣ（映像用ＳＴＣ_video(33bit)および音声用ＳＴＣ_audio(33bit)）が使用されている。
　すなわち、図９を参照して説明した映像用ＳＴＣ_video(33bit)および音声用ＳＴＣ_audio(33bit)により、それぞれ映像ＰＴＳ(33bit)および音声ＰＴＳ(33bit)が処理され、映像フレーム出力イネーブル信号および音声フレーム出力イネーブル信号が生成される。
　ここで、音声フレーム（ＰＣＭ信号）を出力させるための音声フレーム出力イネーブル信号は、映像用ＳＴＣ_video(33bit)に対する音声用ＳＴＣ_audio(33bit)の遅延時間（例えば、１００ｍsec.）に応じて、映像フレームを出力させるための映像フレーム出力イネーブル信号よりも遅延（例えば、１００ｍsec.）されることになる。これにより、例えば、映像出力部６の後段に設けた画質調整部１１による映像フレームの遅延時間を相殺して、画質調整部１１からの映像出力および音声出力部７からの音声出力のＡＶ同期を取るようになっている。
　図１１は第２実施例の映像音声データ出力装置を示すブロック図である。
　図１１と前述した図３との比較から明らかなように、本第２実施例の映像音声データ出力装置において、音声出力部８の後段には音声出力遅延用バッファ（１２）は設けられておらず、代わりに、音声出力部８に入力する音声ＰＴＳに対してオフセットを与えるための加算器２２が設けられている。
　本第２実施例の映像音声データ出力装置では、画質調整部１１による映像出力の遅延を、加算器２２により音声出力部８に入力する音声ＰＴＳにオフセットを与える。これにより音声出力部８からの音声出力を遅延して出力させ、画質調整部１１からの映像出力との同期を取る。
　すなわち、映像出力部６および音声出力部８は、映像および音声の各フレームデータに対応するＰＴＳ時刻とＳＴＣ時刻とを比較し、ＳＴＣ時刻がＰＴＳ時刻に到達した時に、対応するフレームデータを出力するようになっている。そこで、映像出力部６にはそのままＰＴＳを供給し、音声出力部８に対してのみ加算器２２によりオフセット（正のオフセット）を与えたＰＴＳを供給して、音声出力部８からの音声出力と画質調整部１１からの映像出力とのＡＶ同期を取るようになっている。
　なお、本第２実施例の映像音声データ出力装置においても、ＰＴＳ（音声用ＰＴＳ）にオフセットを与えて音声出力部８からの音声出力を遅延させるために、例えば、音声ストリーム用バッファ７１１の容量を、音声出力の遅延時間（映像出力の遅延時間）に応じて増大する。ただし、この音声ストリーム用バッファ７１１の容量増大は、音声デコーダ７によりデコードされる前の圧縮された音声ストリームであるため、前述した図３における音声出力遅延用バッファ１２の容量増大よりも十分に小さくすることができるのは前述した通りである。
　図１２は図１１に示す映像音声データ出力装置の動作を説明するためのタイミング図であり、映像出力部６からの映像出力と画質調整部１１からの映像出力との間に処理遅延として１００ｍsec.のオフセットがある場合を示している。
　図１２に示されように、映像出力部６からの映像出力と画質調整部１１からの画質調整後の映像出力との間の１００ｍsec.のオフセットは、音声出力部８に入力するＰＴＳ（音声用ＰＴＳ）にオフセットを与えて、例えば、３００の位置で本来の２００の位置の音声フレームを出力させることでＡＶ同期を取るようになっている。
　図１３は図１１に示す映像音声データ出力装置におけるＡＶ出力タイミング生成回路の例を示すブロック図である。ここで、図１３に示すＡＶ出力タイミング生成回路１０ｂは、図１１における映像ＰＴＳ用バッファ５２２および映像出力部６、並びに、音声ＰＴＳ用バッファ７２２，加算器２２および音声出力部８に相当する。
　図１３と前述した図６との比較から明らかなように、本第２実施例の映像音声データ出力装置では、音声フレーム出力イネーブル信号を生成するためにＦＩＦＯとＤフリップフロップとの間にオフセットを加算する加算器２２を追加するようになっている。
　すなわち、加算器２２により音声ＰＴＳにオフセットを加えることで、映像フレーム出力イネーブル信号に対して音声フレーム出力イネーブル信号を遅延させ、画質調整部１１から出力される映像フレームおよび音声出力部７からの音声出力のＡＶ同期を取るようになっている。
　このように、上述した第１および第２実施例によれば、音声出力遅延用バッファ（１２）を使用することなく、画質調整部１１による遅延時間分だけ音声出力を遅らせてＡＶ同期を取ることができる。
　また、音声出力部８の後段に音声遅延用バッファ１２を用いる場合、音声遅延用バッファ１２に対する音声データの入出力を行うためのデータ転送のトラフィックが必要であったが、このトラフィックも削除することができ、消費電力を削減することも可能になる。
　ここで、音声デコーダ７の出力をバッファリングしないで、直接音声出力部８に供給することも考えられるが、映像処理側で何らかのエラーが起こった場合でもＡＶ同期を保つために音声データのスキップ処理やリピート処理が必要となるため、音声デコーダ７の出力のバッファリングはある程度必要となる。
　また、画質調整のためのオフセット時間は、画質調整の処理時間が決まれば一意に決めることができ、動作処理中に変動するものではない。ただし、後述するように、画像サイズによって処理時間が変化するような場合は、オフセット値はその画像サイズに応じた値となる。
　このとき、放送中に画像サイズの変化が起こるのであれば、放送中に映像出力のタイミングがずれるのは許されないので、オフセット時間は処理時間の一番長い時間に設定する。そして、画質調整時間がオフセットに満たない場合の画像サイズを処理する場合、映像データもオフセット時間になるまで遅延させることになる。これも音声出力を遅延させたように、遅延バッファを用いるのではなく、映像出力に与えるＳＴＣ時刻かＰＴＳ時刻を調整することで実現することができる。
　さらに、音声出力の後段にサラウンド処理等による遅延が見込まれる場合は、その固定時間ｔを加味して音声出力に与えるＳＴＣ時刻またはＰＴＳ時刻を（offset-ｔ）時間だけ調整することになる。
　以下、これらの実施例を、図面を参照して詳述する。
　図１４は第３実施例の映像音声データ出力装置を示すブロック図であり、また、図１５は第４実施例の映像音声データ出力装置を示すブロック図である。この第３および第４実施例は、画像サイズによって処理時間が変化する場合の調整機能を有する映像音声データ出力装置の例を示すものである。
　ここで、図１４に示す第３実施例の映像音声データ出力装置は、映像出力部６および音声出力部８に供給するＳＴＣを制御するものであり、また、図１５に示す第４実施例の映像音声データ出力装置は、映像出力部６および音声出力部８に供給するＰＴＳを制御するものである。
　まず、画質調整に要する最大時間をオフセットとする。具体的に、画質調整に要する最大時間は、テレビ放送受信機が想定している受信ストリームの内、その画像の最大サイズ（例えば、ハイビジョン放送の１９２０×１０８０）から処理時間を算出して決める。
　ところで、テレビ放送では、例えば、ＨＤ（High Definition）の素材や、ＳＤ（Standard Definition）の素材など様々な画像サイズのデータが放送されるので、その画像サイズによって画質調整時間も変化する。
　図１４に示されるように、第３実施例の映像音声データ出力装置は、前述した図７の加算器２１と同様に、加算器２５により音声出力部８に入力するＳＴＣにオフセットを与え、音声出力部８からの音声出力を遅延することで画質調整部１１からの映像出力とのＡＶ同期を取る。さらに、加算器２４により、映像出力部６に入力するＳＴＣにオフセット（offset-α）を与えるようになっている。
　ここで、参照符号２３はα生成部を示し、映像フレームデータ用バッファ５２１を参照してαの値を調整するようになっている。なお、αの値は、最大画像サイズの場合には０となり、最大画像サイズでの処理時間と比較した場合の差分時間で、次に出力するフレームの画像サイズによって変化する値となる。
　すなわち、映像出力部６に入力するＳＴＣに加えるoffset-αにより、表示画像がＨＤ素材（最大画像サイズ）のときの画質調整部１１での長い処理時間と、表示画像がＳＤ素材のときの画質調整部１１での短い処理時間を、αを変化させることで調整する。そして、表示画像のサイズに関わらず、画質調整部１１からの映像出力と音声出力部８からの音声出力とのＡＶ同期を取るようになっている。
　図１５に示されるように、第４実施例の映像音声データ出力装置は、前述した図１１の加算器２２と同様に、加算器２８により音声出力部８に入力するＰＴＳにオフセットを与え、音声出力部８からの音声出力を遅延することで画質調整部１１からの映像出力とのＡＶ同期を取るようになっている。さらに、加算器２７により、映像出力部６に入力するＰＴＳにオフセット（β）を与えるようになっている。
　ここで、参照符号２６はβ生成部を示し、映像フレームデータ用バッファ５２１を参照してβの値を調整するようになっている。
　すなわち、映像出力部６に入力するＰＴＳに加えるβにより、表示画像がＨＤ素材のときの画質調整部１１での長い処理時間と、表示画像がＳＤ素材のときの画質調整部１１での短い処理時間を、βを変化させることで調整する。そして、表示画像のサイズに関わらず、画質調整部１１からの映像出力と音声出力部８からの音声出力とのＡＶ同期を取るようになっている。
　図１６は第５実施例の映像音声データ出力装置を示すブロック図であり、また、図１７は第６実施例の映像音声データ出力装置を示すブロック図である。この第５および第６実施例は、サラウンド処理によって音声出力が遅れる場合の調整機能を有する映像音声データ出力装置の例を示すものである。
　ここで、図１６に示す第５実施例の映像音声データ出力装置は、映像出力部６および音声出力部８に供給するＳＴＣを制御するものであり、また、図１７に示す第６実施例の映像音声データ出力装置は、映像出力部６および音声出力部８に供給するＰＴＳを制御するものである。
　ところで、例えば、音声出力部８の後段にサラウンド処理部１３を設けて音声出力のサラウンド処理を行う場合、そのサラウンド処理に要する時間をｔとすると、音声出力部８に入力するＳＴＣの調整時間をoffsetから（offset-ｔ）に変更すれば、サラウンド処理時間も考慮した同期調整が可能となる。
　図１６に示されるように、第５実施例の映像音声データ出力装置において、加算器２９は、図７における加算器２１に相当し、また、加算器３０は、画質調整部１１の処理時間を調整するオフセット（offset）とサラウンド処理部１３における処理時間を調整するｔとを加算する。ここで、参照符号３１は、ｔ生成部を示し、サラウンド処理部１３での処理時間に対応するｔの値を生成する。
　図１７に示されるように、第６実施例の映像音声データ出力装置において、加算器３２は、図１１における加算器２２に相当し、また、加算器３３は、画質調整部１１の処理時間を調整するオフセット（offset）とサラウンド処理部１３における処理時間を調整するｔとを加算する。ここで、参照符号３４は、ｔ生成部を示し、サラウンド処理部１３での処理時間に対応するｔの値を生成する。
　これら第５および第６実施例において、サラウンド処理が機器（デジタルテレビ受信機）内部で行われる場合には、機器を設計した時点で音声出力の遅延時間（ｔ）を設定し、また、機器の外部で行われるのであれば、サラウンド処理装置を接続するユーザが設定できるようにする。
　すなわち、例えば、サラウンド処理部１３がサラウンドアンプ等のデジタルテレビ放送受信機の外部に設けられる場合、そのサラウンドアンプ（１３）による音声出力の遅延を、デジタルテレビ放送受信機（機器）に設けたｔ生成部３１または３４により適切な値に設定する。これは、例えば、デジタルテレビ放送受信機に対して、ユーザがｔを設定できるように設定メニューを持たせ、設定したｔを内部保持しておくメモリまたはレジスタを設けることにより実現される。
　図１８は第７実施例の映像音声データ出力装置を示すブロック図であり、ソフト（プログラム）により実現する場合を示すものであり、ＰＴＳ時刻調整を行う場合を示している。これは、ＰＴＳ時刻調整は、参照するＰＴＳ値を更新するタイミングで値を書き換えればよく、プログラムにより実現可能なものである。
　図１８に示されるように、第７実施例の映像音声データ出力装置において、加算器３５は、映像出力部６に供給される映像ＰＴＳに対して映像オフセットoffset_vを加算するものであり、また、加算器３５は、音声出力部８に供給される音声ＰＴＳに対して音声オフセットoffset_aを加算するものである。そして、これら映像オフセットoffset_vおよび音声オフセットoffset_aの加算がプログラムにより制御される。
　なお、映像オフセットoffset_vおよび音声オフセットoffset_aはメモリ上に保持され、プログラムによりアクセス可能なものとなっている。また、映像音声出力のためのＰＴＳ情報も、ＦＩＦＯもしくはメモリ上に保持され、プログラムによって読み出し可能となっている。そして、このプログラムは、例えば、映像音声データ出力装置が適用されるデジタルテレビ放送受信機に設けられたプロセッサ（コンピュータ）により実行されることになる。
　図１９は図１８の第７実施例の映像音声データ出力装置におけるＰＴＳ時刻調整による映像出力の処理を説明するためのフローチャートである。
　ＰＴＳ時刻調整による映像出力の処理が開始すると、ステップＳＴ１０において、フレーム（映像フレーム）Ｆｉの出力時刻ＰＴＳｉから調整出力時刻ＰＴＳ_outを算出してステップＳＴ１１に進む。すなわち、調整出力時刻ＰＴＳ_outは、ＰＴＳ_out＝ＰＴＳｉ＋offset_vにより算出される。
　次に、ステップＳＴ１１において、出力設定タイミングを待ち、さらに、ステップＳＴ１２に進んで、出力を停止するかどうかを判別する。ステップＳＴ１２において、出力を停止しないと判別されると、ステップＳＴ１３に進んでＳＴＣを取得し、ステップＳＴ１４において、（ＳＴＣ－ＰＴＳ_out）が零よりも大きいかを判別する。ステップＳＴ１４において、ＳＴＣ－ＰＴＳ_out）≧０が成り立つ、すなわち、ＳＴＣ時刻がＰＴＳ_out時刻に到達していると判別されると、ステップＳＴ１６に進んで、フレームＦｉを出力して（出力イネーブルとして）、ステップＳＴ１７に進む。
　ステップＳＴ１４において、ＳＴＣ－ＰＴＳ_out）≧０が成り立たない、すなわち、ＳＴＣ時刻がＰＴＳ_out時刻に到達していないと判別されると、ステップＳＴ１５に進んで、フレームＦi-1を再出力し（出力イネーブルとし）、ステップＳＴ１１に戻って同様の処理を繰り返す。
　ステップＳＴ１７では、フレームＦi-1および出力時刻ＰＴＳi-1の情報を開放し、さらに、ステップＳＴ１８に進んで、ｉを１つインクリメント（ｉ＝ｉ＋１）してステップＳＴ１０に戻り、同様の処理を繰り返す。すなわち、次の映像フレームに関する処理を行う。
　そして、上述したステップＳＴ１２において、出力を停止すると判別されると、ステップＳＴ１９に進んで出力を停止して処理を終了する。
　このように、映像出力の場合、各出力フレームのＰＴＳ時刻にoffset_vを加算した出力時刻によって出力制御が行われる。このとき、映像フレームの出力は離散的であるため、各フレームで調整したＰＴＳとＳＴＣとの比較を行いながら各フレーム出力のタイミングを取る。なお、offset_vの値は、例えば、前述した図１５の第４実施例における画像サイズによって処理時間が変化する場合の調整が行われる。
　図２０は図１８の第７実施例の映像音声データ出力装置におけるＰＴＳ時刻調整による音声出力の処理を説明するためのフローチャートである。
　ＰＴＳ時刻調整による音声出力の処理が開始すると、ステップＳＴ２０において、フレーム（音声フレーム：ＰＣＭデータ）Ｆｉの出力時刻ＰＴＳｉから調整出力時刻ＰＴＳ_outを算出してステップＳＴ２１に進む。すなわち、調整出力時刻ＰＴＳ_outは、ＰＴＳ_out＝ＰＴＳｉ＋offset_aにより算出する。
　次に、ステップＳＴ２１において、ＳＴＣ時刻がＰＴＳ_out時刻に到達しているタイミングを待ち、そして、ステップＳＴ２２に進んで、フレームＦｉを出力する。すなわち、フレームＦｉを出力可能に設定する。
　さらに、ステップＳＴ２３に進んで、ｉを１つインクリメント（ｉ＝ｉ＋１）してステップＳＴ２４に進む。ステップＳＴ２４では、フレームＦｉの出力時刻ＰＴＳｉから調整出力時刻ＰＴＳ_outを算出する。すなわち、調整出力時刻ＰＴＳ_outは、ＰＴＳ_out＝ＰＴＳｉ＋offset_aにより算出される。
　そして、ステップＳＴ２５に進んで、連続してフレームＦｉが出力され、さらに、ステップＳＴ２６に進んで、フレームＦi-1の出力完了を待つ。そして、フレームＦi-1の出力が完了すると連続してフレームＦｉの出力が開始され、ステップＳＴ２７に進む。
　ステップＳＴ２７において、出力を停止しないと判別されると、ステップＳＴ２８に進んでＳＴＣを取得し、ステップＳＴ２９において、ＳＴＣがＰＴＳ_outから許容範囲内にあるかどうかがを判別する。
　ステップＳＴ２９において、ＳＴＣがＰＴＳ_outから許容範囲内にないと判別されると、ステップＳＴ３０に進んで、音声データのスキップまたはリピート処理を行い、ステップＳＴ３１に進む。また、ステップＳＴ２９において、ＳＴＣがＰＴＳ_outから許容範囲内にあると判別されると、そのままステップＳＴ３１に進む。
　ステップＳＴ３１において、フレームＦi-1および出力時刻ＰＴＳi-1の情報を解放して、ステップＳＴ２３に戻り、同様の処理を繰り返す。
　そして、上述したステップＳＴ２７において、出力を停止すると判別されると、ステップＳＴ３２に進んで出力を停止して処理を終了する。
　このように、音声出力の場合、各出力フレームのＰＴＳ時刻にoffset_aを加算した出力時刻によって出力制御が行われる。このとき、音声フレーム（ＰＣＭデータ）の出力は連続的であるため、フレーム単位で調整したＰＴＳとＳＴＣとの比較を行いながら各フレーム出力のタイミングを取ると、音声が途切れたりするため、その出力の時刻調整はフレームではなくデータ単位で行う必要がある。そのため、調整したＰＴＳとＳＴＣとの比較は、音声データがＳＴＣと同期を取って出力されているか否かの評価として使用し、それが許容範囲を超えていた場合に、データ単位の調整を行うように制御する。
　上述したように、各実施例によれば、画質調整やサラウンド処理等によってＡＶ同期調整が必要になった場合、映像と音声を同期させるためのシステム時間（ＳＴＣ）やタイムスタンプ（ＰＴＳ）を調整することで出力遅延用バッファ等を使用することなくＡＶ同期を取ることができる。これにより、遅延バッファのメモリ回路を削減し、また、遅延バッファの入出力に発生していたデータ転送のトラフィックを抑えることが可能になる。

Claims (11)

  1. 　入力信号から映像ストリーム信号，音声ストリーム信号およびシステムクロックを分離する分離手段と、
    　前記映像ストリーム信号をデコードして、映像データを生成する映像デコーダと、
    　前記音声ストリーム信号をデコードして、音声データを生成する音声デコーダと、
    　前記システムクロックに同期して前記映像データを出力する映像出力部と、
    　前記システムクロックに同期して前記音声データを出力する音声出力部と、
    　前記映像出力部から出力された映像フレームを加工する映像調整手段と、
    　前記映像調整手段で前記映像フレームを加工する時間に応じて、前記音声出力部に入力される前記システムクロックを遅延させる音声出力調整部と、
    　を有することを特徴とする映像音声データ出力装置。
  2. 　入力信号から映像ストリーム信号，音声ストリーム信号およびシステムクロックを分離する分離手段と、
    　前記映像ストリーム信号をデコードして、映像データを生成する映像デコーダと、
    　前記音声ストリーム信号をデコードして、音声データおよび音声タイムスタンプ信号を生成する音声デコーダと、
    　前記システムクロックに同期して前記映像データを出力する映像出力部と、
    　前記システムクロックおよび前記音声タイムスタンプ信号に同期して前記音声データを出力する音声出力部と、
    　前記映像出力部から出力された映像フレームを加工する映像調整手段と、
    　前記映像調整手段で前記映像フレームを加工する時間に応じて、前記音声出力部に入力される前記音声タイムスタンプ信号を遅延させる音声出力調整部と、
    　を有することを特徴とする映像音声データ出力装置。
  3. 　請求項１または２に記載の映像音声データ出力装置において、
    　前記分離手段は、前記入力信号から分離した時刻同期データから前記システムクロックを生成するシステムクロック生成部をさらに含むこと特徴とする映像音声データ出力装置。
  4. 　請求項１乃至３のいずれか１項に記載の映像音声データ出力装置において、さらに、
    　前記分離手段および前記映像デコーダの間に設けられた映像用バッファと、
    　前記分離手段および前記音声デコーダの間に設けられた音声用バッファと、を備え、
    　前記音声用バッファは、前記映像用バッファによる前記映像ストリームのバッファ時間に加えて、前記音声出力調整部による前記音声データの出力タイミングの遅延に対応した時間だけの前記音声ストリーム信号をバッファできる容量を有することを特徴とする映像音声データ出力装置。
  5. 　請求項１乃至４のいずれか１項に記載の映像音声データ出力装置において、さらに、
    　前記音声出力部から出力された音声出力を加工する音声調整手段と、
    　前記音声調整手段で前記音声出力を加工する時間に応じて、前記映像出力部に入力される前記システムクロックを遅延させる映像出力調整部と、を有することを特徴とする映像音声データ出力装置。
  6. 　請求項１乃至４のいずれか１項に記載の映像音声データ出力装置において、
    　前記映像デコーダは、前記映像ストリーム信号をデコードして、前記映像データと共に映像タイムスタンプ信号を生成し、
    　前記映像出力部は、前記システムクロックおよび前記映像タイムスタンプ信号に同期して前記音声データを出力し、
    　前記映像音声データ出力装置は、さらに、
    　前記音声出力部から出力された音声出力を加工する音声調整手段と、
    　前記音声調整手段で前記音声出力を加工する時間に応じて、前記映像出力部に入力される前記映像タイムスタンプ信号を遅延させる映像出力調整部と、を有することを特徴とする映像音声データ出力装置。
  7. 　請求項１乃至６のいずれか１項に記載の映像音声データ出力装置を備えたことを特徴とするデジタルテレビ放送受信機。
  8. 　請求項７に記載のデジタルテレビ放送受信機において、
    　前記入力信号は、ＴＳストリーム信号であり、
    　前記分離手段は、ＴＳデマルチプレクサであることを特徴とするデジタルテレビ放送受信機。
  9. 　入力信号から映像ストリーム信号，音声ストリーム信号およびシステムクロックを分離する工程と、
    　分離された前記映像ストリーム信号をデコードして、映像データを生成する工程と、
    　分離された前記音声ストリーム信号をデコードして、音声データを生成する工程と、
    　分離された前記システムクロックに同期して前記映像データを出力する工程と、
    　出力された前記映像データを加工する工程と、
    　前記映像データを加工する時間に応じて、前記システムクロックを遅延させ、前記音声データの出力タイミングを調整する工程と、
    　を有することを特徴とする映像音声データ出力方法。
  10. 　入力信号から映像ストリーム信号，音声ストリーム信号およびシステムクロックを分離する工程と、
    　分離された前記映像ストリーム信号をデコードして、映像データを生成する工程と、
    　分離された前記音声ストリーム信号をデコードして、音声データとタイムスタンプ信号を生成する工程と、
    　出力された前記映像データを加工する工程と、
    　前記映像データを加工する時間に応じて、前記タイムスタンプ信号を遅延させ、前記音声データの出力タイミングを調整する工程と、
    　を有することを特徴とする映像音声データ出力方法。
  11. 　コンピュータに、
    　入力信号から映像ストリーム信号，音声ストリーム信号およびシステムクロックを分離させる手順と、
    　分離された前記映像ストリーム信号をデコードして、映像データを生成させる手順と、
    　分離された前記音声ストリーム信号をデコードして、音声データとタイムスタンプ信号を生成させる手順と、
    　出力された前記映像データを加工させる手順と、
    　前記映像データを加工する時間に応じて、前記タイムスタンプ信号を遅延させ、前記音声データの出力タイミングを調整させる手順と、
    　を実行させることを特徴とする映像音声データ出力プログラム。
PCT/JP2008/061649 2008-06-26 2008-06-26 映像音声データ出力装置および映像音声データ出力方法 WO2009157078A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2008/061649 WO2009157078A1 (ja) 2008-06-26 2008-06-26 映像音声データ出力装置および映像音声データ出力方法
JP2010517641A JP5212473B2 (ja) 2008-06-26 2008-06-26 映像音声データ出力装置および映像音声データ出力方法
US12/957,819 US8842218B2 (en) 2008-06-26 2010-12-01 Video/audio data output device and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2008/061649 WO2009157078A1 (ja) 2008-06-26 2008-06-26 映像音声データ出力装置および映像音声データ出力方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US12/957,819 Continuation US8842218B2 (en) 2008-06-26 2010-12-01 Video/audio data output device and method

Publications (1)

Publication Number Publication Date
WO2009157078A1 true WO2009157078A1 (ja) 2009-12-30

Family

ID=41444155

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2008/061649 WO2009157078A1 (ja) 2008-06-26 2008-06-26 映像音声データ出力装置および映像音声データ出力方法

Country Status (3)

Country Link
US (1) US8842218B2 (ja)
JP (1) JP5212473B2 (ja)
WO (1) WO2009157078A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012244529A (ja) * 2011-05-23 2012-12-10 Renesas Electronics Corp データ処理システム
WO2014069081A1 (ja) * 2012-10-30 2014-05-08 三菱電機株式会社 映像音声再生システム、映像表示装置、及び音声出力装置

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130101629A (ko) * 2012-02-16 2013-09-16 삼성전자주식회사 보안 실행 환경 지원 휴대단말에서 컨텐츠 출력 방법 및 장치
JP5903924B2 (ja) * 2012-02-17 2016-04-13 ソニー株式会社 受信装置および字幕処理方法
US20150101004A1 (en) * 2012-06-22 2015-04-09 Sony Corporation Receiver apparatus and synchronization processing method thereof
EP2866457B1 (en) * 2012-06-22 2019-03-20 Saturn Licensing LLC Reception device, and synchronous processing method therefor
JP6275506B2 (ja) 2014-02-21 2018-02-07 ルネサスエレクトロニクス株式会社 コンテンツ出力装置
US10021438B2 (en) 2015-12-09 2018-07-10 Comcast Cable Communications, Llc Synchronizing playback of segmented video content across multiple video playback devices
US10979785B2 (en) * 2017-01-20 2021-04-13 Hanwha Techwin Co., Ltd. Media playback apparatus and method for synchronously reproducing video and audio on a web browser
CN112449229B (zh) * 2019-09-04 2022-01-28 海信视像科技股份有限公司 一种音画同步处理方法及显示设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06189273A (ja) * 1992-12-21 1994-07-08 Hitachi Ltd 伝送信号再生装置ならびに信号再生装置
JPH06233269A (ja) * 1993-02-03 1994-08-19 Nec Corp 映像音声同期システム
JPH1188878A (ja) * 1997-09-11 1999-03-30 Matsushita Electric Ind Co Ltd 不連続トランスポートストリームパケット処理装置
JP2002344898A (ja) * 2001-05-17 2002-11-29 Pioneer Electronic Corp 映像表示装置、音声調整装置及び映像音声出力装置、並びに映像音声同期方法
JP2003249922A (ja) * 2002-02-26 2003-09-05 Sony Corp データ受信装置、および受信データ処理方法、並びにコンピュータ・プログラム
JP2003284066A (ja) * 2002-03-27 2003-10-03 Mitsubishi Electric Corp 復号装置及び復号方法
JP2003348489A (ja) * 2002-05-29 2003-12-05 Sony Corp 放送受信機
JP2007082155A (ja) * 2005-09-16 2007-03-29 Seiko Epson Corp 画像音声出力システム、画像音声データ出力装置、音声処理プログラム、及び記録媒体

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06237443A (ja) 1991-10-11 1994-08-23 Fujitsu Ltd 音声・動画像通信システム
AU668762B2 (en) 1992-10-07 1996-05-16 Nec Personal Computers, Ltd Synchronous compression and reconstruction system
US5726989A (en) * 1995-11-06 1998-03-10 Stellar One Corporation Method for ensuring synchronization of MPEG-1 data carried in an MPEG-2 transport stream

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06189273A (ja) * 1992-12-21 1994-07-08 Hitachi Ltd 伝送信号再生装置ならびに信号再生装置
JPH06233269A (ja) * 1993-02-03 1994-08-19 Nec Corp 映像音声同期システム
JPH1188878A (ja) * 1997-09-11 1999-03-30 Matsushita Electric Ind Co Ltd 不連続トランスポートストリームパケット処理装置
JP2002344898A (ja) * 2001-05-17 2002-11-29 Pioneer Electronic Corp 映像表示装置、音声調整装置及び映像音声出力装置、並びに映像音声同期方法
JP2003249922A (ja) * 2002-02-26 2003-09-05 Sony Corp データ受信装置、および受信データ処理方法、並びにコンピュータ・プログラム
JP2003284066A (ja) * 2002-03-27 2003-10-03 Mitsubishi Electric Corp 復号装置及び復号方法
JP2003348489A (ja) * 2002-05-29 2003-12-05 Sony Corp 放送受信機
JP2007082155A (ja) * 2005-09-16 2007-03-29 Seiko Epson Corp 画像音声出力システム、画像音声データ出力装置、音声処理プログラム、及び記録媒体

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012244529A (ja) * 2011-05-23 2012-12-10 Renesas Electronics Corp データ処理システム
WO2014069081A1 (ja) * 2012-10-30 2014-05-08 三菱電機株式会社 映像音声再生システム、映像表示装置、及び音声出力装置
JP5933744B2 (ja) * 2012-10-30 2016-06-15 三菱電機株式会社 映像音声再生システム、映像表示装置、及び音声出力装置
US9819839B2 (en) 2012-10-30 2017-11-14 Mitsubishi Electric Corporation Audio/video reproduction system, video display device, and audio output device for synchronizing decoding of video frames by the video display device to decoding of audio frames by the audio output device

Also Published As

Publication number Publication date
JPWO2009157078A1 (ja) 2011-12-01
JP5212473B2 (ja) 2013-06-19
US20110069223A1 (en) 2011-03-24
US8842218B2 (en) 2014-09-23

Similar Documents

Publication Publication Date Title
JP5212473B2 (ja) 映像音声データ出力装置および映像音声データ出力方法
KR101168612B1 (ko) 디지털 방송수신기의 동기장치 및 방법
WO2008056622A1 (en) Receiver
JP4616121B2 (ja) ディジタル放送受信装置
JP2002300128A (ja) トランスポートストリームデコーダおよびそれを用いるデジタル放送受信装置
KR100473116B1 (ko) 컨텐츠 변환 장치 및 그 방법
JP4359024B2 (ja) 同期制御方法と装置およびそれを用いた同期再生装置およびテレビジョン受信装置
JP2001078185A (ja) 信号処理装置
JPH11205789A (ja) Ｍｐｅｇ２トランスポートストリーム伝送レート変換装 置
KR100588180B1 (ko) 디지털 텔레비전 방송 수신기
JP2002176643A (ja) 映像・音声復号処理における映像・音声の同期再生方式
JP4595653B2 (ja) 映像・音声処理装置
JP5800999B2 (ja) デジタル放送受信装置およびデジタル放送受信方法
KR100240331B1 (ko) 디코더 시스템의 비디오/오디오 동기화 장치
US20060257108A1 (en) Multimedia reproduction apparatus
JP4723715B2 (ja) マルチチャンネル表示用データ作成装置、及びマルチチャンネル表示用データ作成方法
JP3888014B2 (ja) 位相同期回路
US8442123B2 (en) Device, signal generation/decoding device, video transmission device, video reception device, and video transmission/reception system
KR20100106688A (ko) 모바일 방송수신기의 신호 동기화 장치 및 그 방법
JP2001044866A (ja) 信号受信方法およびその装置
KR100970731B1 (ko) 비디오와 오디오 신호를 동기 시키는 무선 송수신 시스템및 그 방법
JP2007312223A (ja) 同期自動調整装置
JP2008288842A (ja) デジタル放送受信機
JP3736092B2 (ja) フレーム同期方法及び復号装置
JP3705231B2 (ja) トランスポートストリーム・スプライサー

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 08790664

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2010517641

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 08790664

Country of ref document: EP

Kind code of ref document: A1