WO2004077825A1 - データ処理装置および方法 - Google Patents

データ処理装置および方法 Download PDF

Info

Publication number
WO2004077825A1
WO2004077825A1 PCT/JP2004/002152 JP2004002152W WO2004077825A1 WO 2004077825 A1 WO2004077825 A1 WO 2004077825A1 JP 2004002152 W JP2004002152 W JP 2004002152W WO 2004077825 A1 WO2004077825 A1 WO 2004077825A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
time
audio
delay
video
Prior art date
Application number
PCT/JP2004/002152
Other languages
English (en)
French (fr)
Inventor
Kazuo Fujimoto
Shinji Kojima
Original Assignee
Matsushita Electric Industrial Co. Ltd.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co. Ltd. filed Critical Matsushita Electric Industrial Co. Ltd.
Priority to CN2004800018419A priority Critical patent/CN1723703B/zh
Priority to EP04713985.2A priority patent/EP1603336B1/en
Priority to US10/547,017 priority patent/US8290353B2/en
Priority to JP2005502885A priority patent/JP4536653B2/ja
Publication of WO2004077825A1 publication Critical patent/WO2004077825A1/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4392—Processing of audio elementary streams involving audio buffer management
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/93—Regeneration of the television signal or of selected parts thereof
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4305—Synchronising client clock from received content stream, e.g. locking decoder clock with encoder clock, extraction of the PCR packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432—Content retrieval operation from a local storage medium, e.g. hard-disk
    • H04N21/4325—Content retrieval operation from a local storage medium, e.g. hard-disk by playing back content from the storage medium
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8106—Monomedia components thereof involving special audio data, e.g. different tracks for different languages
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/806—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal
    • H04N9/8063—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal using time division multiplex of the PCM audio and PCM video signals
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/20—Disc-shaped record carriers
    • G11B2220/25—Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2537—Optical discs
    • G11B2220/2562—DVDs [digital versatile discs]; Digital video discs; MMCDs; HDCDs

Definitions

  • the present invention relates to an apparatus and method for synchronously reproducing audio and video when reproducing compressed audio data and video data. '' Background technology
  • Video and audio playback is realized by the data playback device sending the decompressed data to a monitor, acoustic speaker, etc. connected to the device.
  • MPEG Motion Picture Experts Group
  • ⁇ The MPEG standard synchronizes audio represented by video signals and audio signals represented by video signals.
  • time information indicating the time to be reproduced is added to each of the audio signal and the video signal. This allows system equipment to be The audio signal and the video signal can be reproduced in synchronism with reference to the system time reference value included in the audio signal and the time information.
  • the playback device determines the time when one of the audio and video ends the decompression processing, the other expansion processing to detect a difference between the time when the finished £ then, based on the detected difference value, transfer the timing of the reproducing apparatus compressed data, the display timing of the start timing and the video decompression circuit Changes, synchronizes audio and video, and outputs to external devices such as monitors and audio speakers.
  • a video display device such as a TV
  • the video display device performs conversion processing such as interlace / progressive conversion, NTSC / PAL conversion, etc., and enlarges / reduces the video according to user instructions.
  • conversion processing such as interlace / progressive conversion, NTSC / PAL conversion, etc.
  • audio playback takes precedence over video playback because processing takes time.
  • image processing for enlarging the output screen arithmetic processing is required to create interpolation data from the original output screen data. And .. multiple output frames and output files that are temporally sequential in order to create a smooth video. Filter operation in units of one field is required.
  • the video output of a specific stream is delayed in order to synchronize all the videos. You may need to do this. Furthermore, even when a video signal is once converted into an optical signal and transmitted, as in a theater system, conversion of the video signal may take time.
  • the above-mentioned one or more arithmetic operations may take several milliseconds to several tens of milliseconds. If the audio playback precedes the video playback by more than a fixed time (approximately 30 ms), the gap between the movement of the mouth of the person in the video and the sound becomes noticeable, giving the viewer a sense of discomfort.
  • the conventional playback device does not assume the difference between the video and audio playback timing due to the processing of the external device, so if the external device performs more time-consuming processing, the video and audio playback timing will be further increased. Is shifted.
  • the present invention has been made in order to solve the above-described problems, and has as its object to achieve an audio signal as originally intended even when a video delay amount differs depending on a difference in externally connected devices, a processing type, and the like. And playing the video in synchronization. Invention
  • the data processing device includes: first data relating to compression-encoded video content; first time information defining a reproduction time of the first data; second data relating to content different from the video content; A receiving unit that receives a data stream having second time information that defines the playback time of the day; and the first data, the first time information, the second data, and the second data from the data stream. (2) a separating unit that extracts time information, a first decoding unit that decodes the first data and outputs the second data based on the first time information, and outputs the second data based on the second time information. A second decoding unit for outputting.
  • the data processing device may further include, when the first time information and the second time information specify a time at which the first data and the second data are reproduced synchronously, a delay amount of the reproduction time. And a delay setting unit that corrects the second time information based on the delay information and delays the reproduction time of the second data.
  • the content of the second data is compression-encoded, the second decoding unit decodes the second data, and the second decoding unit decodes the second data. It has been the content of good c the second data have an internal buffer that stores second de Isseki are compressed and encoded, the data evening processor, compression-encoded second A data buffer for storing the second data, wherein the data buffer retrieves the compressed and encoded second data before a reproduction time specified by the corrected second time information; and It may be output to the unit.
  • the receiving unit continuously receives the data stream, and the data buffer sequentially stores the second data.
  • the capacity of the data buffer is determined by the amount of data of the second data received before the reproduction time specified by the second time information before correction reaches, and the time corresponding to the delay amount of the reproduction time.
  • the sum may be equal to or greater than the sum of the data amount of the second data received before the time elapses.
  • the data processing device may further include a table that defines a correspondence relationship between address information indicating a position in the data buffer where the second data is stored and second time information before correction corresponding to the second data. It may further include a management unit for managing.
  • the management unit may manage the table for some of the second data.
  • the receiving unit may receive a data stream having the second data for at least one of audio and subtitles.
  • the delay setting unit may receive a value specifying the delay amount from a user and hold the value as the delay information.
  • the delay setting unit holds a predetermined value as the delay information May be.
  • the delay setting unit may hold delay information that defines a delay amount of a reproduction time as a value of 30 milliseconds or more.
  • the data processing device further includes a transmitter that transmits the first data to a device to be connected, and that receives, from the device, unique information capable of identifying the device.
  • the transmitter specifies a time required for video processing related to the first data to be executed in the device based on the unique information, and the delay setting unit sets the value of the specified time to the delay amount. May hold the delay information.
  • the first decoding unit and the second decoding unit may be implemented as a single decoding circuit.
  • the data processing method may further comprise: first data relating to the compression-encoded video content; first time information defining a reproduction time of the first data; second data relating to a content different from the video content; Receiving a data stream having second time information defining the reproduction time of the second data; and, from the data stream, the first data, the first time information, the second data, and the second time.
  • the method includes a step of extracting information, and a step of decoding the first data and outputting the decoded data based on the first time information.
  • the data processing method may include, when the first time information and the second time information specify a time at which the first data and the second data are synchronously reproduced, a delay amount of the reproduction time.
  • the content of the second data is compression-encoded, and the step of outputting the second data comprises: decoding the second data; storing the decoded second data in a data buffer; and outputting the decoded second data.
  • the content of the second data is compression-encoded, and the data processing method includes the steps of: storing the compression-encoded second data in a data buffer; and Retrieving the stored second data from the data buffer prior to a defined playback time.
  • the step of outputting the second data may include outputting the second data retrieved from the data buffer.
  • the receiving includes continuously receiving the data stream, and the storing the second data sequentially stores the second data in the data buffer.
  • the capacity of the data buffer is determined by the amount of data of the second data received before the arrival of the reproduction time specified by the second time information before correction and the time corresponding to the delay amount of the reproduction time. It may be equal to or greater than the sum of the received second data and the data amount.
  • the data processing method includes: address information indicating a position in the data buffer where the second data is stored; and address information corresponding to the second data. May further include a step of managing a table that defines a correspondence relationship with the second time information before correction.
  • the managing step may manage the tape for some of the second data.
  • the receiving step may receive a data stream having the second data for at least one of audio and subtitles.
  • the step of delaying may receive a value specifying the amount of delay from a user and hold the value as the delay information.
  • the step of delaying may hold a predetermined value as the delay information.
  • the delaying step may hold delay information that specifies a delay amount of the reproduction time to be 30 milliseconds or more.
  • the data processing method includes: transmitting the first data to a device to be connected; receiving unique information capable of identifying the device from the device; and A step of specifying a time required for video processing on the first data executed in the device.
  • the step of delaying may hold the specified value of the required time as delay information.
  • the computer program according to the present invention is executed on a computer of a data processing device.
  • the data processing method executed by the computer according to the program defines first data relating to the compression-encoded video content, and a reproduction time of the first data.
  • the data processing method executed by the computer may be configured such that the first time information and the second time information specify a time at which the first data and the second data are synchronously reproduced.
  • FIG. 1 is a diagram showing the data structure of the MPEG2 program stream 10.
  • FIG. 2 is a diagram showing a data structure of the audio pack 40.
  • FIG. 3 is a diagram showing the data processing device 100 and the audiovisual equipment 120 connected to the data processing device 100.
  • FIG. 4 is a diagram showing a detailed functional block configuration of the decoding unit 60.
  • FIG. 6 is a diagram showing the playback timing of the playback.
  • FIG. 6 is a flowchart showing a processing procedure of the decoding unit 60 according to the present embodiment.
  • FIG. 7A is a diagram showing a configuration of a table generated in the audio reproduction management unit 7.
  • FIG. 7B is a diagram showing the relationship between the data arrangement of audio data stored in the audio buffer unit 6 and the data position referenced by the audio address information.
  • FIG. 8A is a diagram illustrating an example of an operation unit of the audio delay setting unit 9.
  • FIG. 8 (b) is a diagram showing an example of a delay time setting screen.
  • FIG. 9 is a diagram illustrating an example of the configuration of the audio buffer unit 6.
  • FIG. 10 (a) is a diagram showing a configuration of a table 7a of the audio reproduction management unit 7 before thinning.
  • FIG. 10 (b) is a diagram showing the configuration of the table 7b of the audio reproduction management unit 7 after the thinning.
  • Figure 11 shows a video output unit 1 equipped with a processing circuit that performs video processing.
  • FIG. 3 is a diagram showing a configuration of a second functional block.
  • FIG. 12 is a diagram showing the connection between the data processing device 100 and the audiovisual device 120 and the types of data transmitted and received between them.
  • BEST MODE FOR CARRYING OUT THE INVENTION the data structure of a data stream will be described first, and then the configuration and operation of a data processing device that performs the processing of the present invention using the data stream will be described.
  • FIG. 1 shows the data structure of the MPEG2 program stream 10.
  • the MPEG2 program stream 10 (hereinafter, referred to as “data stream 10”) has a data structure conforming to the DVD video standard.
  • the data stream 10 includes video data relating to video content and audio data relating to audio content.
  • video data and audio data are included.
  • the data stream 10 may include subtitle data and the like.
  • the data stream 10 contains multiple Video OBject (VOB) # 1, # 2,..., #K, each VOB has multiple Video OBject units (Video OBject units).
  • VOB U Video OBject units # 1, # 2, ⁇ ⁇ ⁇ , #n.
  • Each VOBU is a data unit that contains data for about 0.4 to 1 second in video playback time.
  • production means that video such as video content and subtitles are displayed on a display device (such as a television) unless otherwise specified, and audio devices are output devices (such as speakers). ) Means to be output as sound.
  • V ⁇ BU # 1 is composed of multiple packs. Data list The data length (pack length) of each pack in Ream 10 is constant (2 kilobytes (2048 bytes)). At the top of the VO BU, a navigation pack (navi pack) 20 indicated by “N” in FIG. 1 is arranged. After the navi pack 20, a plurality of video packs indicated by "V” (such as video pack 30) and audio packs indicated by "A” (such as audio pack 40) are included.
  • Each pack stores the following information. That is, the navi pack 20 stores information used to control the reproduction of video, audio, and the like in the data stream 10, for example, information indicating the reproduction timing of the VOBU.
  • the video pack 30 stores video data that has been MPEG2 compression-encoded.
  • the audio pack 40 stores, for example, audio data compressed and encoded according to the MPEG2 standard.
  • the adjacent video packs 30 and audio packs 40 store, for example, video data and audio data to be reproduced in synchronization, but their arrangement (order) is arbitrary.
  • V ⁇ BU # 2 also consists of multiple packs.
  • a navigation pack 20 is arranged, and thereafter, a plurality of video packs 30, audio packs 40, and the like are arranged.
  • the content of the information stored in each pack is the same as VOBU # 1.
  • the data structure of the audio pack 40 will be described with reference to FIG. FIG. 2 shows a data structure of the audio pack 40.
  • Diopack 40 has an audio bucket 41 and padding Includes packet 42.
  • the padding packet 42 is a bucket provided for adjusting the pack length of the data pack, so it does not exist when there is no need to adjust the pack length.
  • the audio pack 40 includes only the audio bucket 41.
  • the audio packet 41 consists of, in order from the beginning, a 14-byte pack header (Pack-H), a 24-byte system header (system-H), a packet header (Packet-H) 41a, and a payload. Having.
  • the pack header information for specifying the type of the pack (here, an audio packet) is described.
  • SCR System Clock Reference
  • STC System Time Clock
  • the SCR is basically added to every packet header.
  • the SCR is a value measured with a clock of 90 kHz and is represented by 33 pit lengths.
  • the system header is always added to the first pack of the VOBU.
  • the packet header 41a will be described later in detail.
  • the payload describes video data that has been compressed and encoded.
  • the audio pack 40 is provided with a padding bucket 42 having a pack header 42 and padding data 42b for the purpose of adjusting the pack length. Under predetermined conditions, instead of providing the padding packet 42, the stuffing in the bucket header 41a is performed. A bite field 49 is provided. They do not coexist in the same pack. In the example shown in FIG. 2, since the padding packet 42 exists in the audio pack 40, the stuffing byte field 49 is 0 byte and does not exist.
  • the packet header 4 la has a packet length field 43, a flag field 4, and a header data length field 45.
  • an additional field 46 may be provided in the packet header 41a, depending on the value of the time flag field 44a and the value of the PES extension flag field 44b.
  • the bucket length field 43 describes the packet length (byte length) from that field onward to the end of the audio packet 41. Subsequently, the flag field 44 includes a time flag field 44a (PTS_DTS_flag), a PES extension flag field.
  • PES extension flag field 44b a flag indicating the presence or absence of the PES extension field 48 is described.
  • the header length field 45 stores the sum of the field lengths of the additional field 46 and the scanning byte field 49. Next, the additional field 46 will be described.
  • MP EG uses video and audio to achieve synchronized playback of video and audio. For each unit of decoding called each access unit of video
  • PTS Presentation Time Stamp
  • APTS Presentation Time Stamp
  • rvPTSj video PTS
  • the access unit to which the PTS is added is output for reproduction.
  • the accuracy of the PTS is a value measured with a clock of 90 kHz, and is represented by 33 bits. The reason for measuring at 90 kHz is to obtain a common multiple of the frame frequency of both NTSC and PAL video systems and to obtain higher accuracy than one audio sample period.
  • DTS decoding timestamp
  • PES extension field 48 contains the program stream Information necessary for decoding 10 is described, for example, the capacity of a data buffer for decoding.
  • FIG. 3 shows a data processing device 100 and an audiovisual device 120 connected to the data processing device 100.
  • the data processor 100 reads a data stream 10 from an optical disk 110 such as a DVD-ROM or the like via an optical pickup.
  • the reproduction processing section 50 performs a binarization process or the like on the data stream 10 read as an analog waveform, and outputs it as a digital data stream.
  • MPEG 2—PS decoding section .60 (hereinafter referred to as “decoding section 60”) separates this stream into video data and audio data, decodes each stream, and sends them to the audiovisual equipment 120. Output.
  • Data processing device 100 is a DVD player, DVD recorder, P
  • the audiovisual device 120 is, for example, a monitor output device such as a TV, an audio output amplifier, or an interface device such as an AV amplifier having an AV selector function. Although one audiovisual device 120 is shown in FIG. 3, a plurality of devices that display images, devices that output audio, and the like may be present.
  • One of the features of the data processing device 100 is that, due to various arithmetic processes performed in the audiovisual device 120, the video and audio that should be reproduced synchronously are reproduced with a shift.
  • the preceding output is output with a delay.
  • the delay time of the video data playback time is equivalent. Delays the preceding audio data by the time and outputs it. This enables synchronized playback of video data and audio data.
  • the delayed output of audio data is realized by modifying the PTS that defines the playback time of audio data. The amount of delay is set based on the expected time, the time set by the user, and the time required for video processing in the audiovisual device 120, which can identify and determine the audiovisual device 120. Is done.
  • FIG. 4 shows a detailed functional block configuration of the decoding unit 60.
  • the decoding section 60 includes a system decoding section 1, a video buffer section 2, a video playback management section 3, a system time reference section 4, a video decoder section 5, an audio buffer section 6, and an audio playback management section. 7, an audio decoding section 8, and an audio delay setting section 9.
  • the system decoder section 1 separates and extracts the digitally compressed and encoded audio and video data from the data stream 10, and outputs the PTS added to the video pack to the video playback time information.
  • the PTS added to the audio pack is extracted as audio playback time information.
  • the video buffer unit 2 stores the video data separated by the system decoder unit 1.
  • the video playback management unit 3 generates and manages a table in which the video data stored in the video buffer unit 2 is associated with video playback time information.
  • the video decoding unit 5 analyzes the attribute information (video header information) of the compression-encoded video data, and decodes the video data stored in the video buffer unit 2 according to the video playback time information.
  • the video decoder section 5 is provided with a frame buffer section 11 and a video output section 12.
  • the frame buffer unit 11 stores the decoded video data.
  • the video output section 12 outputs video data from the-, decoding section 60 to the outside. This video One night is further output to the audiovisual equipment 120 connected to the data processing apparatus 100.
  • the audio buffer unit 6 is a semiconductor memory capable of storing the audio data separated by the system decoding unit 1.
  • the buffer size varies depending on the compression ratio of the coded audio data to be handled, and is, for example, about several kilobytes to several tens of kilobytes.
  • the audio reproduction management unit 7 generates and manages a table that associates the audio data stored in the audio buffer unit 6 with the audio reproduction time information. This table will be described later in detail with reference to FIGS. 7 (a) and 7 (b).
  • the audio delay setting unit 9 holds delay information that specifies the amount of delay in audio playback time, corrects audio playback time information based on the delay information, and delays the playback time.
  • the audio delay setting unit 9 has, for example, a memory (not shown) for holding delay information, and a time assumed in view of the processing of the audiovisual device 120 is set in advance. And it can also hold information about the delay time set by the user in milliseconds or video frames. This enables fine adjustment according to the processing delay that occurs in the audiovisual equipment 120.
  • the audio decoding unit 8 analyzes the attribute information (audio header information) of the audio data that has been compressed and encoded, and also converts the audio data stored in the audio buffer unit 6 into audio data. Decode according to the playback time information.
  • the audio decoder 8 includes a PCM buffer 13 and an audio output unit 14.
  • the PCM buffer unit 13 stores the decoded audio data.
  • the audio output unit 14 outputs the audio data from the decoding unit 60 to the outside.
  • the audio data is further output to the audiovisual device 120 connected to the data processing device 100.
  • the video decoding unit 5 and the audio decoding unit 8 described above are different in terms of decoding. It has the same function. Therefore, as long as each function can be realized, it may be implemented as one semiconductor integrated circuit or the like.
  • FIG. 4 shows a decoder chip 15 having a video decoding unit 5 and an audio decoding unit 8.
  • the system time reference unit 4 generates a system time reference STC inside the data processor 100 of the MPEG system.
  • the value of the SCR specified in the program stream (PS) used for a DVD disk or the like is used.
  • the SCR is described in the pack header.
  • Program time reference value Program time reference value
  • the system time reference unit 4 sets the same value as the SCR value as the system time reference STC and sets the STC The reference time is used. Further, by combining this STC value with a PLL (Phase Lock Loop) circuit (not shown), an STC whose frequency completely matches the reference time system clock of the decoding unit 60 can be obtained. .
  • the system clock frequency of the system clock STC is 27 MHz. By dividing the frequency from this STC by a counter or the like, each PTS (frequency: 90 kHz) is referred.
  • the video decoding unit 5 When the system time reference STC matches the VPTS, the access unit to which the PTS is added is output and reproduced.
  • the audio decod unit 8 When the STC matches the APTS, the audio decod unit 8 outputs and reproduces the access unit to which the PTS has been added. Since the frequency of the PTS is 90 kHz, the video data and audio data are decoded so that the STC can be synchronized with the VPTS and the APTS within this accuracy range. As a result, synchronous playback of video and audio can be realized.
  • the data processing device 100 realizes synchronous playback of video and audio in consideration of the delay of video processing in the audiovisual device 120.
  • an outline thereof will be described with reference to FIG. 5, and then, a procedure of a process for realizing the operation will be described with reference to FIG. Fig. 5 shows the playback timing for realizing synchronous playback of video and audio using PTS.
  • the timing indicated by the playback time information is described in four stages.
  • the first row shows the timing of the video playback time information (VPTS) specified in the data stream 10.
  • Encoder generates a data stream 1 0 (not shown), the time t vl, t v 2, Oite to ⁇ ⁇ ⁇ , video that has been compressed and encoded intended to be reproduced.
  • the interval between the times t vi and t v 2 is, for example, n times 33 ms (n: natural number) (3 OH z) in the NTSC system, and n times 40 ms in the PAL system. (N: natural number) (25Hz).
  • the third row shows the reproduction of the audio of the data stream 10.
  • an encoder (not shown) performs compression encoding on audio at time t A 1 , t A2 , ... , With the intention of reproducing the audio.
  • the interval between the times t A1 and t A2 is, for example, n times (n: natural number) 21.12 milliseconds in the AAC (Advanced Audio Coding) method.
  • the second row in FIG. 5 shows the playback timing of the video delayed by the video processing in the audiovisual device 120.
  • the audio playback setting after the audio delay setting unit 9 of the present embodiment modifies the original playback time information (APT S) is described.
  • the audio delay setting unit 9 converts the audio playback time information (APT S) indicating that the video should be played back at the time t vl by the time ( ⁇ ⁇ ) in which the video is delayed in the audiovisual equipment 120. (NAPT S) to delay the audio playback time.
  • APT S audio playback time information
  • Bideode Isseki the first stage of the timing (time t vl, t v 2, ⁇ ⁇ ⁇ ) are output from the video output unit 1 2 in the second stage of timing (time t pl, t p 2, ⁇ )
  • the audio data is output from the audio output unit 14 at the third stage timing, and is reproduced at the fourth stage timing (time T NA1 , T NA2 , ⁇ ).
  • synchronous playback of video and audio means that the playback timing of the video falls within a certain time range (for example, between 50 ms ahead and 30 ms delay) with respect to audio playback timing. Means that It is not limited to video and audio PTSs.
  • VPTS is 50 ms ahead of NAPTS (more precisely, 30 ms ahead) If the delay is set to between 30 and 30 milliseconds, it can be said that the viewer is playing back synchronously during actual viewing.
  • FIG. 6 shows a processing procedure of the decoding unit 60 according to the present embodiment.
  • the system decode unit 1 separates the coded data stream into coded video data and coded audio data
  • the coded data (video / Audio), the encoded frame data and playback time information (VPTS / APTS) are extracted.
  • the video and audio encoded frame data are stored in the video buffer unit 2 and the audio buffer unit 6, respectively, and the playback time information (VP TS / AP TS) is sent to the video playback management unit 3 and the audio playback management unit 7.
  • FIG. 7A shows a configuration of a table generated in the audio reproduction management unit 7. This table associates the audio data stored in the audio buffer unit 6 with the audio reproduction time information.
  • the audio reproduction management unit 7 divides, for example, each APTS into units called slots. Then, each slot is associated with audio address information.
  • the audio address information refers to the first address of the audio data stored in the audio buffer unit 6 that is reproduced in the corresponding slot.
  • FIG. 7B shows the relationship between the data arrangement of the audio data stored in the audio buffer unit 6 and the data position referred to by the audio address information.
  • FIG. 6 is referred to again.
  • the video decoding unit 5 and the audio decoding unit 8 are switched by the VPTS / APTS.
  • the video / audio coding frame decoder is decoded, and in step S104, the decoded video / audio data is decoded into the frame buffer unit 11 and And stored in the PCM buffer section 13.
  • step S105 the audio delay setting unit 9 adds the PTS value ⁇ t corresponding to the preset delay time to the value of the APTS, and obtains new audio playback time information N AF TS value.
  • NAP TS AP TS + At.
  • Fig. 8 (a) shows an example of the operation section of the audio delay setting section 9.c
  • the mode shifts to the mode in which the audio delay time can be set. I do.
  • Fig. 8 (b) shows an example of the screen when setting the audio delay time.
  • the increase button 92a on the screen is highlighted, and the delay amount increases. Conversely, when the down button indicated as “Setting 2” is pressed, the decrease button 92 b on the screen is highlighted, and the delay amount is reduced.
  • the time to be delayed is set to "6 Oms".
  • the PTS value ⁇ t is based on the set delay time. Obtainable. PTS value when the set time is t (ms)
  • step S106 the video decoding unit 5 determines whether or not the system time reference STC has reached VPTS. If it has reached, in step S107, the video output unit 12 outputs video data from the frame buffer. If not, wait until it is reached.
  • step S108 the audio decoding unit 8 determines whether or not STC has reached NAPTS. "Achieved" indicates when STC matches NAPTS or when STC exceeds NAPTS. If it has reached, in step S109, the audio output unit 14 outputs video data from the PCM buffer. If not, wait until it does.
  • step S110 the video decoding unit 5 and the audio decoding unit 8 determine whether the decoding is completed. If the processing has been completed, the processing ends. If not, the processing returns to step S101 to continue the processing. The process is also terminated when the user instructs to stop the reproduction.
  • the PCM data is buffered after the compression-encoded audio data is decoded.
  • audio data is buffered in the audio buffer unit 6 before decoding by the decoding unit 60. Decorated This is because the amount of data in the compressed and encoded state before decoding is smaller than that in the PCM data, and the buffer size of the audio buffer unit 6 and the like can be smaller.
  • the PTS value ⁇ t corresponding to the delay time set in advance is added to the value of the audio playback time (APTS).
  • APTS audio playback time
  • FIG. 9 shows an example of the configuration of the audio buffer unit 6.
  • the audio buffer unit 6 includes a standard buffer 6a for storing the encoded audio data when there is no audio delay, and an additional buffer 6 for storing additional encoded audio data when there is an audio delay. b is provided.
  • the buffer capacity required for the audio buffer unit 6 depends on the amount of encoded audio data received before the arrival of the playback time specified by the original APTS and the delay amount (A t) of the playback time. Encoding audio data received until the elapse of the appropriate time It is more than the sum with the quantity.
  • the former is reserved by the standard buffer 6a, and the latter is reserved by the additional buffer 6b.
  • the additional buffer 6b needs an additional buffer 6b that can additionally store up to 100 ms of data. This is equivalent to a delay time of up to 100 milliseconds. For video, this is equivalent to the display time of about 3 frames of video when output is in NTSC format.
  • the capacity of the additional buffer 6b is about 22 bytes in the audio compression format AAC system used in BS digital broadcasting (6 channels as 288 kbit / s per channel). Calculated the amount of data per minute). This capacity is a fraction of the capacity required to additionally store decoded PCM data.
  • the table size of the audio reproduction management unit 7 must be increased because the amount of encoded audio frame data stored in the audio buffer unit 6 increases.
  • FIG. 10 (a) shows the configuration of a table 7a of the audio reproduction management unit 7 before thinning
  • FIG. 10 (b) shows the configuration of the table 7b of the audio reproduction management unit 7 after thinning.
  • the template 7b is generated by thinning out the odd-numbered playback time information (APTS) in the table 7a.
  • APTS odd-numbered playback time information
  • table 7b can manage twice as much audio data as table 7a.
  • APTS playback time information
  • the APTS information required for synchronization decreases, so the frequency of synchronization decreases, but the amount of data to be managed increases. This also ensures that video and audio playback are synchronized.
  • the video decoding unit 5 and the audio decoding unit 8 decode the compression-encoded video data and audio data and store them in the frame buffer unit 11 and the PCM buffer unit 13. .
  • the DVD contains linear PCM data as audio data
  • the decoding operation is unnecessary. This is because the linear PCM data is encoded but not compressed.
  • the audio data is linear PCM data, it is reproduced in synchronization with the video in accordance with the synchronization information included in the stream, so that the above description can be applied as it is.
  • the stream is temporarily stored in a stream buffer (not shown), the STC is referenced, and when the NAP TS reaches the STC, the audio output unit is output.
  • the video of the audiovisual equipment 120 that causes audio delay A specific example of the power saving process will be described.
  • the expected video processing is
  • the decoding unit 60 may be configured to change the delay time according to the type.
  • the first method is as follows.
  • the video signal contains a signal of a specific pattern in advance.
  • the displayed video after video processing in the audiovisual equipment 120 is captured, and its delay time is measured.
  • the delay time can be set by setting the obtained delay time in the audio delay setting unit 9.
  • the playback delay time of the audio can be set automatically.
  • the delay time may be set by measuring the delay time for each of the signal processing modes in the audiovisual equipment 120 and setting the delay time.
  • the test stream may be input from a broadcasting system, or may be read from a test disk or a memory in the data processor 100 or the like.
  • the input may be a test pattern that outputs video data decoded in advance instead of the test stream. This is because it is only necessary to measure the delay in video processing after decoding.
  • the processing of the video processing delay factors (1) to (4) that hinder synchronization with audio is performed not by the audiovisual equipment 120 but by the video output unit 12 of the video decoding unit 5.
  • the video output unit 12 performs such video processing, so that the decoding unit 60 can grasp the delay time due to the video processing, and as a result, the audio delay setting unit 9 changes the delay amount in real time. it can.
  • the load can be reduced.
  • FIG. 11 shows a video output unit 1 equipped with a processing circuit that performs video processing.
  • 2 shows the configuration of a functional block.
  • the video output section 12 receives the decoded frame data from the frame buffer section 11, and outputs video data on which predetermined video processing has been performed.
  • the video output unit 12 includes an IP conversion unit 71, a format conversion unit 72, an enlargement / reduction unit 73, another screen synthesis unit 74, a GUI superposition unit 75, and an output unit 76.
  • the video decoding unit 5 is provided with an external video input unit 77 and a GUI data generation unit 8 separately.
  • the IP conversion section 71 performs a conversion process between the inter-race running and the progressive scanning.
  • the format converter 72 performs a conversion process between the 480i video signal and the 1080i video signal and a conversion process between the NTSC system and the PAL system.
  • the enlargement / reduction unit 73 performs enlargement, reduction, and editing of the video based on instructions from the user.
  • the other-screen combining unit 74 combines the decoded video with the video input from the external video input unit 77.
  • the GUI superimposing unit 75 superimposes the GUI data generated by the GUI data generating unit 78 on the video obtained by the above processing. Then, the output unit 76 outputs the video data obtained finally. This output is sent to the audiovisual equipment 120.
  • the video decoding unit 5 acquires the time when the video data is obtained based on the STC, and can specify the delay time by comparing the time with the VPTS of the video data.
  • the data processing device 100 and the audiovisual device 120 interact with each other. Then, the data processing device 100 specifies the type of the video processing performed in the audiovisual device 120. Thereby, the decoding unit 60 of the data processing device 100 can specify the delay time due to the video processing in advance.
  • FIG. 12 shows the connection between the data processing apparatus 100 and the video and audio equipment 120 and the types of data transmitted and received between them.
  • data is exchanged according to the HDMI standard.
  • the HDMI transmitter 80 transmits a control command for information (device-specific information) for specifying the audiovisual device 120 to the HDMI receiver 130 of the audiovisual device 120.
  • the HDMI receiver 130 transmits the device ID of its own device to the HDMI transmitter 80 as device-specific information based on the control command.
  • the device ID is stored as manufacturer-specific information (Vendor Specific Data) in, for example, the ROM 1331 of the audiovisual device 120, and can specify a manufacturer name, a model name, and the like.
  • the HDMI transmitter 80 receives the device ID and outputs it to the decoding unit 60.
  • the decoding unit 60 Upon receiving the device ID, the decoding unit 60 refers to a table defined in an internal memory or an external memory card or the like. The table describes the correspondence between device IDs and delay settings.
  • the decoding unit 60 can obtain a delay time caused by the video processing executed by the audiovisual device 120 based on the device ID and the table. Thereby, the delay time can be set in the audio delay setting section 9.
  • Figure 12 shows the MPEG2 program stream. This is an example in which a data processing device 100 for decoding a frame is used, but the decoding target is not limited to this stream. For example, MPEG2 transport streams of received and recorded digital broadcasts are also subject to decoding.
  • the decoding unit 60 may be configured to perform decoding according to the type of stream.
  • the system time reference STC has been generated based on the system time reference value SCR, and the VP TS specifying the video playback time and the NAP TS specifying the delayed audio playback time based on the STC. was generated, and the video and audio were played synchronously. However, it can also play audio based on VP TS and video based on NAP TS.
  • time management based on the video playback time is effective. is there.
  • managing NAPTS on the basis of VPTS is called a video master.
  • the system time reference section 4 generates the STC based on the VPTS, not the STC generated based on the SCR, and performs the audio decoding so that the NAPTS falls within the specified accuracy. By skipping the playback of audio data until the time specified by the NAP TS exceeds the time specified by the VP, the video and audio are skipped. And play in sync.
  • the system time reference unit 4 of the decoding unit 60 confirms that the playback time specified by the VPTS and the time specified by the NAPTS are within a certain allowable range, and then sets the time based on the video master. If edited and played back, seamless editing and playback can be realized.
  • the audio decoding is restarted by muting the audio output and re-synchronizing the reproduction of the video and audio with the changed delay amount.
  • the STC value as a video master is changed before and after the edit point, so that unnatural reproduction such as freezing of the reproduced video when the edit point is reproduced is eliminated. Also in this case, it is necessary to increase the capacity of the audio buffer unit 6 for the audio delay and increase the table size of the audio playback time information management unit 7.
  • time management based on the audio playback time NAPTS is effective.
  • the management of VPTS based on NAPTS is Called Diomaster.
  • the system time reference section 4 generates an STC based on the NAPTS, not the STC generated based on the SCR, and performs video decoding so that the VPTS falls within the specified accuracy.
  • the audio is then played back in synchronization with the video by skipping the appropriate output video or outputting the same screen multiple times.
  • Audio playback time Even when the time specified by NAPTS is the audio master, the audio is output in consideration of the audio delay, so that the audio can be played back in synchronization with the delayed video. Also in this case, it is necessary to increase the capacity of the audio buffer unit 6 for the audio delay and increase the table size of the audio reproduction time information management unit 7.
  • video playback may be too long or too short to maintain audio continuity when playing output audio or music without interruption (fast-forward or frame-by-frame playback).
  • the same screen is displayed over and over again, or processing such as skipping a specific number of frames is performed.
  • audio data and video data are mixed in the data stream 10 shown in FIG. 1, and they are separated in the system decode unit 1 shown in FIG.
  • audio de And video data may be included as independent and separate streams.
  • audio data and video data captured by a video camera or the like are edited on a PC and separated into a video elementary stream and an audio elementary stream, and input to the data processing device 100. May be.
  • the present invention is applicable as long as the video and the audio are reproduced in synchronization based on the reproduction time information of the video data and the reproduction time information of the audio and video.
  • video and audio are reproduced in synchronization, but this is an example.
  • a playback delay based on the video processing of a sub-picture provided on a DVD.
  • audio playback time information NAPTS and play back the subtitles and audio in synchronization You can also.
  • audio playback time information NAPTS is generated and the video, data contents and audio are synchronized. It can be reproduced in anticipation.
  • the NAPTS is obtained by adding the PTS corresponding to the audio delay ⁇ t to the APTS.
  • the NAPTS may be subtracted from the VPTS.
  • the same effect can be obtained not only by subtracting ⁇ t from VPTS but also by subtracting ⁇ t from the system time reference value itself.
  • the data processing apparatus 100 is provided with a means and a system for subtracting an arbitrary delay set time from the video playback time information. Means for subtracting an arbitrary set time for delay from the system time reference value may be provided.
  • the video with the set time subtracted due to the delay and the audio and the audio are compared with the system time reference value obtained by subtracting the delay set time in consideration of the video processing delay in the audiovisual equipment 120. Can be played synchronously.
  • audio reproduction may be delayed due to processing such as various sound effects performed after the output of the data processing device 100.
  • new video playback time information NVPTS obtained by adding PTS corresponding to the delay time ⁇ t to VPTS may be obtained, and the playback of video and audio may be synchronized.
  • the table size of the video buffer unit 2 and the video reproduction management unit 3 increases.
  • the various buffers provided in the data processing device 100 may be partially or entirely formed of a semiconductor memory, or may be formed of a recording medium such as a hard disk.
  • the functions of the data processing device 10 described above, particularly the functions of the decoding unit 60, may be realized by executing software.
  • the operation of each component may be controlled by executing a computer program by a CPU (not shown).
  • the computer program may be configured to cause the data stream 10 to execute processing according to the flowchart shown in FIG. 6, for example.
  • Computer programs are optical recording media typified by optical disks.
  • a recording medium such as a semiconductor recording medium typified by an SD memory card, EEPROM, and a magnetic recording medium typified by a flexible disk.
  • the data processing device 10 can acquire the computer program not only through a recording medium but also through an electric communication line such as an Internet connection network.
  • a data processing device capable of synchronously reproducing video, audio, and the like. For example, if the video playback delays due to video processing, the audio playback time information is corrected so that the audio playback time is delayed by the video delay time, so that the video and audio are synchronized. Playback can be synchronized.

Abstract

　データ処理装置は、圧縮符号化されたビデオコンテンツに関する第１データ、第１データの再生時刻を規定する第１時刻情報、ビデオコンテンツと異なるコンテンツに関する第２データおよび第２データの再生時刻を規定する第２時刻情報を有するデータストリームを受け取る受信部と、データストリームから、第１データ、第１時刻情報、第２データおよび第２時刻情報を抽出する分離部と、第１データをデコードして、第１時刻情報に基づいて出力する第１デコード部と、第２時刻情報に基づいて第２データを出力する第２デコード部とを有している。データ処理装置は、さらに、第１時刻情報および第２時刻情報が第１データおよび第２データを同期して再生する時刻を規定している場合において、再生時刻の遅延量を規定する遅延情報を保持し、かつ、遅延情報に基づいて第２時刻情報を修正し、第２データの再生時刻を遅延させる遅延設定部を備えている。

Description

明 細 書 データ処理装置おょぴ方法 技衞分野
本発明は、 圧縮符号化されたオーディォデータおよびビデオデ一 夕を再生する際に、 オーディオとビデオとを同期して再生する装置 および方法に関する。 ' 背景技術
従来、 圧縮符号化されて記録されたビデオ信号およびオーディォ 信号を CD— R〇M、 DVD - ROM, ハードディスク等の記録媒 体から読み出し、 デコード （伸張） して出力するデータ再生装置が 知られている。 データ再生装置が伸張されたデータをその装置に接 続されたモニタ、 音響スピーカ等に送ることにより、 ビデオおよび オーディォの再生が実現される。
圧縮符号化に関しては、 多くの規格が規定されている。 例えば M P E G (Motion Picture Experts Group) は、 ビデオ信号およ びオーディォ信号の両方を圧縮符号化する規格として知られている < MP E G規格では、 ビデオ信号が表すビデオおよびオーディオ信号 が表すオーディォが同期して再生されることを保証するために、 ォ —ディォ信号およびビデオ信号のそれぞれに再生されるべき時刻を 表す時刻情報が付加される。 これにより、 伸張時にはシステム機器 が有するシステム時刻基準参照値に対し、 これらの時刻情報を参照 してオーディォ信号とビデオ信号とを同期させて再生することがで きる。
以下、 従来の同期方法を説明する。 例えば、 日本国特開平 6— 2 3 3 2 6 9号公報に記載された技術によれば、 まず、 再生装置はォ 一ディォおよびビデオのいずれか一方が伸張処理を終了したときの 時刻と、 他方の伸張処理が終了したときの時刻との差分を検出する £ そして、 検出された差分値に基づいて、 再生装置は圧縮データの転 送タイミング、 伸張回路の起動タイミングおよびビデオの表示タイ ミングを変更し、 オーディオとビデオを同期させて、 モニタ、 音響 スピーカ等の外部機器に出力している。
しかし、 上述の再生装置は、 その内部でオーディオとビデオとを 同期させて外部機器に出力しているため、 外部機器においてビデオ およびォ一ディォの一方に処理を加えて遅延が発生すると他方と同 期して再生できないという問題が生じていた。
例えば、 テレビ等の映像表示機器が外部機器であるとき、 映像表 示機器においてィンターレ一ス/プログレッシブ変換、 N T S C / P A L変換等の変換処理や、 ユーザからの指示によるビデオの拡 大 ·縮小の画像処理を行うと、 処理に時間を要するためオーディォ 再生がビデオ再生よりも先行してしまう。 例えば、 出力画面を拡大 する画像処理を想定すると、 元の出力画面データから補間データを 作成するために演算処理が必要である。 そして.. なめらかな動画を 作り出すために、 時間的に前後する複数の出力フレームや出力フィ 一ルド単位のフィルタ演算が必要になる。 また、 複数の入カストリ ームを独立して伸張できる回路等から出力された 2以上のビデオを 合成する処理を想定すると、 全てのビデオを同期させるために、 特 定のストリームのビデオ出力を遅延させなければならない場合があ る。 さらに、 シアターシステム等のように、 ビデオ信号を一旦光信 号等に変換して伝送するときにも、 ビデオ信号の変換に時間を要す る場合もある。
上述の 1つまたは 2つ以上の演算処理等には、 数ミリ秒から数十 ミリ秒の時間を要する場合がある。 オーディォ再生がビデオ再生よ りも一定時間 （概ね 3 0ミリ秒） 以上先行すると、 映像中の人物の 口の動きと音声とのずれが目立ち、 視聴者に違和感を与える。 従来 の再生装置は外部機器の処理に起因するビデオおよびオーディォの 再生夕イミングのずれを想定していないため、 外部機器においてさ らに時間を要する処理を行うとさらにビデオおよびオーディォの再 生夕イミングがずれてしまう。
なお、 外部機器にオーディォ再生を遅延させるバッファを設け、 オーディオと画像処理後のビデオとを同期して再生することは可能 である。 しかし、 外部機器に出力されたビデオデータおよびオーデ ィォデータには再生タイミングを指示する時刻情報は存在しないた め、 外部機器において出力タイミングを独自に決定することになつ てしまい妥当ではない。 また、 バッファを設けるという手法はバッ ファを持たない現存の外部機器には適用できないため 根本的な解 決法とはいえない。 本発明は、 以上のような課題を解決するためになされたもので、 その目的は、 外部接続機器の差、 処理種別等によってビデオの遅延 量が異なる場合においても、 当初意図されたとおりにオーディオと ビデオとを同期して再生することである。 発明の闘示
本発明によるデータ処理装置は、 圧縮符号化されたビデオコンテ ンッに関する第 1データ、 前記第 1データの再生時刻を規定する第 1時刻情報、 前記ビデオコンテンツと異なるコンテンツに関する第 2データおよび前記第 2デ一夕の再生時刻を規定する第 2時刻情報 を有するデータス卜リームを受け取る受信部と、 前記データストリ ームから、 前記第 1データ、 前記第 1時刻情報、 前記第 2データお よび前記第 2時刻情報を抽出する分離部と、 前記第 1データをデコ 一ドして、 前記第 1時刻情報に基づいて出力する第 1デコード部と、 前記第 2時刻情報に基づいて前記第 2データを出力する第 2デコー ド部とを有している。 データ処理装置は、 さらに、 前記第 1時刻情 報および前記第 2時刻情報が前記第 1データおよび前記第 2デー夕 を同期して再生する時刻を規定している場合において、 再生時刻の 遅延量を規定する遅延情報を保持し、 かつ、 前記遅延情報に基づい て前記第 2時刻情報を修正し、 前記第 2データの再生時刻を遅延さ せる遅延設定部を備えている。
前記第 2データのコンテンツは圧縮符号化されており、 前記第 2 デコード部は前記第 2データを復号し、 前記第 2デコード部は復号 された前記第 2デ一夕を格納する内部バッファを有していてもよい c 前記第 2データのコンテンツは圧縮符号化されており、 前記デー 夕処理装置は、 圧縮符号化された前記第 2デ一夕を格納するデータ バッファをさらに備え、 前記データバッファは、 修正後の第 2時刻 情報によって規定される再生時刻の前に前記圧縮符号化された前記 第 2データを取り出し、 前記第 2デコード部に出力してもよい。
前記受信部は前記データストリームを継続的に受け取り、 前記デ —タバッファは前記第 2デ一夕を順次格納する。 前記デ一夕バッフ ァの容量は、 修正前の第 2時刻情報によって規定される再生時刻の 到達前までに受け取る前記第 2データのデ一夕量と、 前記再生時刻 の遅延量に応じた時間の経過までに受け取る前記第 2データのデー 夕量との和以上であってもよい。
前記データ処理装置は、 前記第 2データが格納された前記データ バッファ内の位置を示すァドレス情報と、 前記第 2データに対応す る修正前の第 2時刻情報との対応関係を規定するテーブルを管理す る管理部をさらに備えていてもよい。
前記管理部は、 一部の前記第 2データについて前記テーブルを管 理してもよい。
前記受信部は、 オーディォおよび字幕の少なくとも一方に関する 前記第 2データを有するデータストリームを受け取ってもよい。
前記遅延設定部は ュ一ザから前記遅延量を特定する値を受け取 つて、 前記遅延情報として保持してもよい。
前記遅延設定部は、 予め定められた値を前記遅延情報として保持 してもよい。
前記遅延設定部は、 再生時刻の遅延量を 3 0ミリ秒以上の値とし て規定した遅延情報を保持してもよい。
前記データ処理装置は、 接続先の機器に前記第 1データを送出す るとともに、 前記機器を特定することが可能な固有情報を前記機器 から受け取るトランスミッタをさらに備えている。 前記トランスミ ッ夕は、 前記固有情報に基づいて前記機器において実行される前記 第 1データに関するビデオ処理の所要時間を特定し、 前記遅延設定 部は、 特定された前記所要時間の値を前記遅延量として遅延情報を 保持してもよい。
前記第 1デコード部および前記第 2デコード部は、 単一のデコー ド回路として実装されてもよい。
本発明によるデータ処理方法は、 圧縮符号化されたビデオコンテ ンッに関する第 1デ一夕、 前記第 1データの再生時刻を規定する第 1時刻情報、 前記ビデオコンテンツと異なるコンテンツに関する第 2データおよび前記第 2データの再生時刻を規定する第 2時刻情報 を有するデ一夕ストリームを受け取るステップと、 前記データスト リームから、 前記第 1データ、 前記第 1時刻情報、 前記第 2データ および前記第 2時刻情報を抽出するステツプと、 前記第 1データを デコードして、 前記第 1時刻情報に基づいて出力するステツプとを 包含している。 さらにデータ処理方法は、 前記第 1時刻情報および 前記第 2時刻情報が前記第 1データおよび前記第 2データを同期し て再生する時刻を規定している場合において、 再生時刻の遅延量を 規定する遅延情報を保持するステツプと、 前記遅延情報に基づいて 前記第 2時刻情報を修正して前記第 2デ一夕の再生時刻を遅延させ るステップと、 前記第 2時刻情報に基づいて前記第 2データを出力 するステツプとを包含する。
前記第 2デ一夕のコンテンツは圧縮符号化されており、 前記第 2 データを出力するステップは、 前記第 2データを復号し、 復号され た前記第 2データをデータバッファに格納した後に出力してもよい。 前記第 2データのコンテンツは圧縮符号化されており、 前記デー 夕処理方法は、 圧縮符号化された前記第 2デ一夕をデ一タパッファ に格納するステップと、 修正後の第 2時刻情報によって規定される 再生時刻の前に、 格納された前記第 2データを前記データバッファ から取り出すステップとをさらに包含する。 前記第 2データを出力 するステップは、 前記データバッファから取り出された前記第 2デ 一夕を出力してもよい。
前記受信するステップは、 前記データストリームを継続的に受信 し、 前記第 2データを格納するステップは前記第 2データを前記デ 一夕バッファに順次格納する。 前記データバッファの容量は、 修正 前の第 2時刻情報によって規定される再生時刻の到達前までに受け 取る前記第 2データのデータ量と、 前記再生時刻の遲延量に応じた 時間の経過までに受け取る前記第 2データのデ一夕量との和以上で あってもよい。
前記データ処理方法は、 前記第 2データが格納された前記データ バッファ内の位置を示すァドレス情報と、 前記第 2データに対応す る修正前の第 2時刻情報との対応関係を規定するテーブルを管理す るステツプをさらに包含してもよい。
前記管理するステップは 一部の前記第 2データについて、 前記 テ一プルを管理してもよい。
前記受信するステツプは、 オーディォおよび字幕の少なくとも一 方に関する前記第 2データを有するデータストリ一ムを受け取って もよい。
前記遅延させるステツプは、 ユーザから前記遅延量を特定する値 を受け取って、 前記遅延情報として保持してもよい。
前記遅延させるステップは、 予め定められた値を前記遅延情報と して保持してもよい。
前記遅延させるステップは、 前記再生時刻の遅延量を 3 0ミリ秒 以上に規定した遅延情報を保持してもよい。
前記データ処理方法は、 接続先の機器に前記第 1データを送出す るステップと、 前記機器を特定することが可能な固有情報を前記機 器から受け取るステップと、 前記固有情報に基づいて、 前記機器に おいて実行される前記第 1データに関するビデオ処理の所要時間を 特定するステツプとをさらに包含する。 前記遅延させるステツプは. 特定された前記所要時間の値を遅延情報として保持してもよい。
本発明によるコンピュータプログラムは、 データ処理装置のコン ピュー夕において実行される。 前記プロダラムにしたがってコンピ ユー夕が実行するデータ処理方法は、 圧縮符号化されたビデオコン テンッに関する第 1データ、 前記第 1データの再生時刻を規定する 第 1時刻情報、 前記ビデオコンテンツと異なるコンテンツに関する 第 2データおよび前記第 2デ一夕の再生時刻を規定する第 2時刻情 報を有するデータストリームを受け取るステップと、 前記デ一タス トリームから、 前記第 1データ、 前記第 1時刻情報、 前記第 2デー タおよび前記第 2時刻情報を抽出するステップと、 前記第 1デ一夕 をデコードして、 前記第 1時刻情報に基づいて出力するステツプと を包含している。 さらに、 このコンピュータが実行するデ一夕処理 方法は、 前記第 1時刻情報および前記第 2時刻情報が前記第 1デー 夕および前記第 2データを同期して再生する時刻を規定している場 合において、 再生時刻の遅延量を規定する遅延情報を保持するステ ップと、 前記遅延情報に基づいて前記第 2時刻情報を修正して前記 第 2データの再生時刻を遅延させるステップと、 前記第 2時刻情報 に基づいて前記第 2データを出力するステツプとを包含する。 図面の簡単な説明
図 1は、 M P E G 2プログラムストリーム 1 0のデータ構造を示 す図である。
図 2は、 オーディォパック 4 0のデータ構造を示す図である。 図 3は、 データ処理装置 1 0 0と、 データ処理装置 1 0 0に接続 された映像音響機器 1 2 0を示す図である。
図 4は、 デコード部 6 0の詳細な機能ブロックの構成を示す図で める。
図 5は、 P T Sを用いてビデオとオーディオとの同期再生を実現 する再生タイミングを示す図である。
図 6は、 本実施形態によるデコード部 6 0の処理手順を示すフロ 一チャートである。
図 7 (a) は、 オーディオ再生管理部 7において生成されるテー ブルの構成を示す図である。
図 7 (b) は、 ォ一ディォバッファ部 6に格納されたオーディォ データのデータ配置と、 オーディオアドレス情報によって参照され るデータ位置の関係を示す図である。
図 8 (a) は、 オーディオ遅延設定部 9の操作部の例を示す図で ある。
図 8 (b) は、 遅延時間の設定画面の例を示す図である。
図 9は、 オーディォバッファ部 6の構成の例を示す図である。 図 1 0 ( a) は間引き前のオーディオ再生管理部 7のテーブル 7 aの構成を示す図である。
図 1 0 (b) は間引き後のオーディオ再生管理部 7のテーブル 7 bの構成を示す図である。
図 1 1は、 ビデオ処理を行う処理回路を搭載したビデオ出力部 1
2の機能ブロックの構成を示す図である。
図 1 2は、 データ処理装置 1 0 0と映像音響機器 1 2 0との接続 およびそれらの間で授受されるデータの種類を示す図である図であ る。 発明を実施するための最良の形態 以下では、 まずデータストリームのデータ構造を説明し、 その後, そのデータストリームを利用して本発明の処理を行うデータ処理装 置の構成および動作を説明する。
図 1は、 MP E G 2プログラムストリーム 1 0のデータ構造を示 す。 MP E G 2プログラムストリーム 1 0 (以下 「データストリー ム 1 0」 と称する) は、 DVDビデオ規格に準拠したデータ構造を 有している。 データストリーム 1 0は、 ビデオのコンテンツに関す るビデオデータと、 オーディォのコンテンツに関するオーディォデ 一夕とが含まれている。 以下では、 ビデオデータおよびオーディオ データが含まれているとして説明するが、 これら以外にも、 データ ストリーム 1 0には字幕デ一夕等が含まれていてもよい。
デ一タストリ一ム 1 0は、 複数のビデオオブジェクトュニット (Video OBject； VOB) # 1、 # 2、 · · ·、 # kを含んでいる, 各 VOBは、 複数の VOBュニット （Video OBject unit； VOB U) # 1、 # 2、 ■ · · 、 # nを含んでいる。 各 VOBUは、 映像 の再生時間にして 0. 4秒から 1秒程度のデータを含むデータ単位 である。 以下、 VO B U # 1および # 2を例にして、 VOBUのデ 一夕構造を説明する。 なお、 以下で用いられる 「再生」 という語は. 特に明示しない限り、 ビデオコンテンツや字幕等のビデオに関して は表示機器 (テレビ等) に映し出されることをいい、 オーディオに 関しては出力機器 （スピーカ等） から音として出力されることをい うとする。
V〇BU# 1は、 複数のパックから構成されている。 データスト リーム 1 0内の各パックのデータ長 （パック長） は一定 （2キロバ イト （2 048バイ ト） ) である。 VO B Uの先頭には、 図 1に "N" で示されるナビゲーシヨンパック （ナビパック） 2 0が配置 されている。 ナビパック 2 0の後には、 "V" で示されるビデオパ ック (ビデオパック 3 0等） および "A" で示されるオーディオパ ック (オーディォパック 40等) が複数含まれている。
各パックは以下の情報を格納している。 すなわち、 ナビパック 2 0は、 デ一タストリーム 1 0内のビデオ、 オーディォ等の再生を制 御するために用いられる情報、 例えば VOBUの再生タイミングを 示す情報等を格納している。 ビデオパック 30は、 MP EG 2圧縮 符号化されたビデオデータを格納している。 オーディオパック 40 は、 例えば MP E G 2一才一ディォ規格によって圧縮符号化された オーディォデ一夕を格納している。 近接するビデオパック 3 0およ びオーディオパック 40には、 例えば、 同期して再生されるビデオ データおよびオーディオデータが格納されているが、 それらの配置 (順序） は任意である。
V〇BU# 2もまた、 複数のパックから構成されている。 VOB U# 2の先頭には、 ナビパック 2 0が配置され、 その後、 ビデオパ ック 3 0およびオーディオパック 40等が複数配置されている。 各 パックに格納される情報の内容は VOBU# 1と同様である。 次に 図 2を参照しながらオーディオパック 4 0のデータ構造を 説明する。 図 2は、 オーディオパック 4 0のデータ構造を示す。 ォ —ディォパック 40は、 オーディォバケツト 4 1およびパディング パケット 4 2を含む。 なお、 パディングパケット 4 2はデ一タパッ クのパック長を調整するために設けられたバケツトであるため .. パ ック長を調整する必要がないときは存在しない。 このときは、 ォ一 ディォパック 4 0にはオーディォバケツト 4 1のみが含まれる。 ォ一ディォパケッ ト 4 1は、 先頭から順に、 1 4バイトのパック ヘッダ （Pack— H) 、 2 4バイ トのシステムヘッダ （system— H) 、 パ ケットヘッダ （Packet— H) 4 1 aおよびペイロードを有する。
パックヘッダには、 パックの種類 （ここではオーディオパケッ ト） を特定する情報が記述される。 パックの開始コードに続いて、 基準時間情報である S C R (System Clock Reference； システム時 刻基準参照値） が記述されている。 S C Rは、 ストリームをデコ一 ドする際に、 復号器側の動作時刻の基準となる同期信号 S T C (System Time Clock； システム時刻基準） の値を符号器側が意図 した値に設定し、 または、 その値に修正するための情報である。 S CRは基本的にどのパケットヘッダにも付加される。 S CRは、 9 0 k H zのクロックで計測した値であり、 3 3ピット長で表されて いる。 システムヘッダは、 VOBUの先頭のパックに必ず付加され る。 パケットヘッダ 4 1 aは後に詳述する。 ペイロードには、 圧縮 符号化されたビデオデータが記述される。
オーディオパック 4 0には、 パック長を調整する目的で、 パック ヘッダ 4 2とパディングデ一夕 4 2 bとを有するパディングバケツ ト 4 2が設けられる。 所定の条件のもとでは パディングパケット 42を設けることに代えて、 バケツトヘッダ 4 1 a内にスタッフィ ングバイトフィ一ルド 4 9が設けられる。 両者は同一のパック内に は共存しない。 図 2に示す例では、 オーディオパック 40にはパデ イングパケット 42が存在しているため スタッフイングバイトフ ィ—ルド 49は 0バイトであり存在しない。
次に、 オーディオパケット 4 1のパケッ トヘッダ 4 1 aのデータ 構造を説明する。 パケッ トヘッダ 4 l aは、 パケット長フィールド 43、 フラグフィールド 4およびへッダデータ長フィールド 4 5 を有する。 さらに、 パケットヘッダ 4 1 aには、 時間フラグフィ一 ルド 44 aおよび P E S拡張フラグフィールド 44 bの値に応じて. 追加のフィ一ルド 46が設けられることがある。
バケツト長フィールド 43には、 そのフィ一ルド以降からそのォ —ディォパケット 4 1の最後までのパケット長 （バイ ト長） が記述 される。 続いて、 フラグフィールド 44は、 時間フラグフィールド 44 a (PTS_DTS_f lag), P E S拡張フラグフィールド
(PES_extension_f lag) 44 b等を含む。 時間フラグフィールド 4
4 aには、 後述するプレゼンテーションタイムスタンプ （PTS) またはデコーディングタイムスタンプ （DT S) の有無を示すフラ グが記述される。 また、 P E S拡張フラグフィールド 44 bには、 P E S拡張フィ一ルド 48の有無を示すフラグが記述される。 へッ ダデ一夕長フィールド 4 5には、 追加のフィールド 46およびス夕 ッフィングバイトフィールド 49のフィールド長の和が格納される 次に、 追加のフィールド 46を説明する。 MP E Gでは、 ビデオ およびオーディォの同期再生を実現するために、 ビデオとオーディ ォの各アクセスュニットと呼ばれるデコードの単位ごと （ビデオは
1フレーム. オーディォは 1オーディオフレーム) に、 いつ再生す ぺきかの時刻を管理するためのタイムスタンプ値が付加されている このタイムスタンプ値は P T S (Presentation Time Stamp) と呼ばれ、 オーディオ用はオーディオ P T S (以下 「APT S」 と 記述する） およびビデオ用はビデオ P T S (以下 rvPTSj と記 述する） が規定されている。
P T Sが上述のシステム時刻基準 S T Cに一致したときに、 その P T Sが付加されたアクセスュニッ卜が再生のために出力される。 P T Sの精度は、 S CRと同様、 9 0 k H zのクロックで計測した 値であり、 3 3ビット長で表されている。 9 0 kH zで計測する理 由は、 NT S C、 PALの両方のビデオ方式のフレーム周波数の公 倍数であることと、 オーディオの 1サンプル周期よりも高い精度を 得るためである。
一方、 圧縮データをどのような順序でデコードすべきかを示すタ ィムスタンプ情報が付加されている。 このタイムスタンプ値は、 デ コーディングタイムスタンプ （DTS) と呼ばれる。
フィールド 46に各 5バイ トの P TSZDTSフィ一ルド 47が 設けられているときは、 時間フラグフィールド 44 aは P T Sおよ び D T Sを有することを示している。 時間フラグフィールド 44 a の値に応じて、 いずれか一方のフィールドが設けられる。 また、 追 加のフィ一ルド 46として PE S拡張フィ—ルド 4 8が設けられる こともある。 PES拡張フィールド 48にはプログラムストリ一ム 1 0のデコードに必要な情報、 例えばデコード用のデータバッファ の容量等が記述される。
なお、 図 2ではオーディオパックのデ一夕構造を示したが、 ビデ ォパックのデータ構造も同様である。 「オーディオパケッ ト」 を 「ビデオパケッ ト」 に読み替え、 ペイロードに格納される 「オーデ ィォデータ」 を 「ビデオデータ」 に読み替えればよい。 ビデオパケ ットにも、 上述した P T Sおよび D T Sが同じデータ構造で記述さ れており、 デコードタイミングおよび再生タイミングが規定される 次に、 図 3および図 4を参照しながら、 本実施形態によるデータ 処理装置 1 0 0の構成および動作を説明する。 図 3は、 データ処理 装置 1 0 0と、 データ処理装置 1 0 0に接続された映像音響機器 1 2 0を示す。 データ処理装置 1 0 0は、 D V D— R O M等の光ディ スク 1 1 0から光ピックアップを介してデ一タストリーム 1 0を読 み出す。 再生処理部 5 0は、 アナログ波形として読み出されたデー タストリーム 1 0に 2値化処理等を行って、 デジタルデータス卜リ ームとして出力する。 M P E G 2— P Sデコード部.6 0 (以下 「デ コード部 6 0」 と記述する） は、 このストリームをビデオデータお よびオーディォデ一夕に分離し、 各々をデコードして映像音響機器 1 2 0に出力する。
デ一夕処理装置 1 0 0は、 D V Dプレ一ャ、 D V Dレコーダ、 P
C等であるが、 光ディスク 1 1 0に代えてハードディスクを用いた ときはハードディスクレコーダである。 または、 アンテナ等を介し てデジタル放送のデータストリ一ム 1 0を受け取るときには、 デー 夕処理装置 1 0 0はセットトップボックス、 デジタル衛星放送受像 機等として実現される。 一方、 映像音響機器 1 2 0は、 例えば T V 等のモニタ出力機器、 オーディオ出力アンプ、 A Vセレクタ機能を 有する A Vアンプ等のィンタフエース機器である。 図 3では 1つの 映像音響機器 1 2 0が示されているが、 映像を表示する機器、 音声 等を出力する機器等が複数存在していてもよい。
本実施形態によるデータ処理装置 1 0 0の特徴のひとつは、 映像 音響機器 1 2 0において行われる種々の演算処理等により、 本来同 期して再生すべきビデオおよびオーディォがずれて再生されてしま う場合に、 先行する出力を遅延して出力することにある。 例えば、 映像音響機器 1 2 0においてビデオデータのインタ一レース/プロ グレツシブ変換を行うためにビデオデータの再生がオーディオの再 生よりも遅延してしまう場合に、 ビデオデータの再生時刻の遅延量 相当時間だけ、 先行するオーディオデータを遅延して出力する。 こ れにより、 ビデオデータとオーディオデータとの同期再生が可能に なる。 なお、 オーディオデータの遅延出力は、 オーディォデ一夕の 再生時刻を規定する P T Sを修正することによって実現される。 遅 延量は、 予想される時間、 ユーザによって設定された時間、 映像音 響機器 1 2 0を特定して判断することができる映像音響機器 1 2 0 におけるビデオ処理の所要時間等に基づいて設定される。
上述のデータ処理装置 1 0 0の特徴は 主としてデータ処理装置 1 0 0の-デコード部 6 0によって実現される。 以下、 デコード部 6 0を詳細に説明する。 図 4は、 デコード部 6 0の詳細な機能ブロックの構成を示す。 デ コード部 6 0は、 システムデコード部 1と, ビデオバッファ部 2と ビデオ再生管理部 3と、 システム時刻基準参照部 4と- ビデオデコ 一ド部 5と、 オーディオバッファ部 6と、 オーディォ再生管理部 7 と、 オーディォデコード部 8と、 オーディォ遅延設定部 9とを有す る。
システムデコ一ド部 1は、 デ一タス卜リーム 1 0から、 デジタル 圧縮符号化されたオーディォおよびビデオデ一夕を分離して抽出す るとともに、 ビデオパックに付加された P T Sをビデオ再生時刻情 報として抽出し、 オーディオパックに付加された P T Sをオーディ ォ再生時刻情報として抽出する。
まず、 ビデオ処理に関する構成要素を説明する。 ビデオバッファ 部 2は、 システムデコーダ部 1によって分離されたビデオデータを 格納する。 ビデオ再生管理部 3は、 ビデオバッファ部 2に格納され たビデオデータとビデオ再生時刻情報を関連づけたテーブルを生成 し、 管理する。
ビデオデコード部 5は、 圧縮符号化されたビデオデータの属性情 報 （ビデオヘッダ情報） を解析するとともに、 ビデオバッファ部 2 に格納されているビデオデ一夕をビデオ再生時刻情報に従ってデコ ードする。 ビデオデコ一ド部 5にはフレームバッファ部 1 1および ビデオ出力部 1 2が設けられている。 フレームバッファ部 1 1は、 デコードしたビデオデータを格納する。 ビデオ出力部 1 2は-, デコ ード部 6 0からその外部へビデオデータを出力する。 このビデオデ 一夕は、 さらにデ一夕処理装置 1 0 0に接続された映像音響機器 1 2 0に出力される。
次に、 オーディオ処理に関する構成要素を説明する。 オーディオ バッファ部 6は、 システムデコード部 1によって分離されたォ一デ ィォデータを格納することができる半導体メモリである。 そのパッ ファサイズは、 取り扱う符号化オーディォデータの圧縮率等によつ て異なり、 例えば数キロバイ トから数十キロバイ ト程度である。 ォ 一ディォ再生管理部 7は、 オーディォバッファ部 6に格納されたォ 一ディォデ一夕とオーディォ再生時刻情報を関連づけるテーブルを 生成し、 管理する。 このテーブルは後に図 7 ( a ) および （b ) を 参照しながら詳述する。
オーディォ遅延設定部 9は、 オーディォの再生時刻の遅延量を規 定する遅延情報を保持し、 かつ、 遅延情報に基づいてオーディオの 再生時刻情報を修正して、 その再生時刻を遅延させる。 オーディオ 遅延設定部 9は、 例えば遅延情報を保持するメモリ （図示せず） を 有しており、 映像音響機器 1 2 0の処理に鑑みて想定される時間が 予め設定されている。 そしてさらに、 ユーザによって設定された数 ミリ秒単位またはビデオフレーム単位の遅延時間に関する情報も保 持できる。 これにより、 映像音響機器 1 2 0において発生する処理 遅延に応じた微調整が可能になる。
ォ一ディォデコード部 8は、 圧縮符号化されたオーディォデ一夕 の属性情報 （オーディオヘッダ情報） を解析するとともに、 オーデ ィォバッファ部 6に格納されているオーディォデータをオーディォ 再生時刻情報に従ってデコードする。 オーディォデコード部 8には P CMバッファ部 1 3およびオーディ才出力部 1 4が設けられてい る。 P CMバッファ部 1 3は、 デコードしたオーディオデータを格 納する。 オーディォ出力部 1 4は、 デコード部 6 0からその外部へ オーディォデ一夕を出力する。 このオーディォデータは、 さらにデ 一夕処理装置 1 0 0に接続された映像音響機器 1 2 0に出力される < なお、 上述のビデオデコード部 5およびオーディォデコ一ド部 8 は、 デコードする点において同じ機能を有する。 したがって、 それ. ぞれの機能を実現できる限り、 1つの半導体集積回路等として実装 してもよい。 例えば図 4は、 ビデオデコード部 5およびオーディオ デコード部 8を有するデコーダチップ 1 5を示している。
次に、 ビデオ出力部 1 2およびオーディオ出力部 1 4から出力さ れるビデオデ一夕およびオーディォデ一夕を、 同期して再生するた めの構成を説明する。 デコード夕イミングおよび再生夕イミングは. システム時刻基準参照部 4によって実現される。 システム時刻基準 参照部 4は、 MP E Gシステムのデータ処理装置 1 0 0の内部にお いてシステム時刻基準 S T Cを生成する。 データ処理装置 1 0 0側 で S T Cを生成するためには、 DVDディスク等で使用されるプロ グラムストリ一ム (P S) に規定される S C Rの値を用いる。 上述 のように、 S C Rはパックへッダに記述されている。 なお、 入力さ れるデータストリームが B Sデジタル放送で使用されるトランスポ 一トストリーム （T S) のときは、 P CR (Program Clock
Reference： プログラム時刻基準参照値） が用いられる。 システム時刻基準参照部 4は、 ビデオデータの最終バイ トの到着 時 （再生処理部 5 0からのデータ受け取り時） に、 S CRの値と同 じ値がシステム時刻基準 S T Cとして設定され S TCが基準時刻 とされる。 さらに、 この S T Cの値と、 P L L (位相口ックルー プ） 回路 (図示せず) とを組み合わせることにより、 デコード部 6 0の基準時刻用システムクロックと完全に周波数が一致した S T C にすることができる。 システム時刻基準 S T Cのシステムクロック の周波数は 2 7 MH zである。 この S TCからカウンタ等により分 周することにより、 各 P T S (周波数： 9 0 kH z ) が参照される < データ処理装置 1 0 0が従来の処理を行う場合には、 ビデオデコ ード部 5は、 システム時刻基準 S T Cが V P T Sに一致したときそ の P T Sが付加されていたアクセスユニットを出力し再生させる。 またオーディォデコ一ド部 8は、 S T Cが A PT Sに一致したとき にその P T Sが付加されていたアクセスユニットを出力し再生させ る。 P T Sの周波数は 9 0 kH zであるから、 この精度の範囲内で. S T Cと V P T Sおよび A P T Sとの同期をとれるようにビデオデ 一夕およびオーディォデータの各々をデコードする。 これにより、 ビデオおよびオーディォの同期再生を実現できる。
一方、 本実施形態による処理によれば、 映像音響機器 1 2 0にお けるビデオ処理の遅延を考慮した上で、 データ処理装置 1 0 0はビ デォおよびオーディォの同期再生を実現する。 以下、 図 5を参照し ながらその概略を説明し、 その後、 図 6を参照しながらその動作を 実現するための処理の手順を説明する。 図 5は、 P T Sを用いてビデオとオーディオとの同期再生を実現 する再生タイミングを示す。 再生時刻情報が示すタイミングが 4段 に分けて記載されている。
1段目は、 データストリーム 1 0に規定されていたビデオ再生時 刻情報 ( V P T S ) の夕イミングを示す。 データストリーム 1 0を 生成したエンコーダ （図示せず） は、 時刻 t v l、 t v 2、 · · · に おいて、 ビデオが再生されることを意図して圧縮符号化を行ってい る。 時刻 t v iと t v 2との間隔は、 例えば、 NT S C方式であれば 3 3ミリ秒の n倍 （n ： 自然数） （3 O H z ) 、 PAL方式であれ ば 40ミリ秒の n倍 （n ： 自然数） （ 2 5H z) である。
次に、 3段目はデータストリーム 1 0のオーディオの再生夕イミ ングを示す。 オーディオについてもビデオと同様に、 エンコーダ (図示せず） は、 時刻 t A 1、 t A2、 ■ · ' において、 オーディオ が再生されることを意図して圧縮符号化を行っている。 時刻 t A1 と t A2との間隔は、 例えば、 AAC (Advanced Audio Coding) 方 式では 2 1. 1 2ミリ秒の n倍 （n ： 自然数） である。
一方、 図 5の 2段目は、 映像音響機器 1 2 0におけるビデオ処理 によって遅延したビデオの再生夕イミングを示す。 例えば、 最初に 表示されるビデオについてみると、 ビデオ処理に起因する遅延によ り、 本来時刻 t v で表示されるはずの映像が、 時刻 t v lより後の 時刻 t p！において再生されている。 その時間差を Δ t とする。 次に、 4段目は、 本実施形態のオーディオ遅延設定部 9が元の再 生時刻情報 （APT S) を修正した後の、 オーディオの再生夕イミ ングを示す。 オーディオ遅延設定部 9は、 時刻 t v lにおいて再生 されるべきことを示すオーディオの再生時刻情報 （APT S) を ビデオが映像音響機器 1 2 0において遅延する時間 （Δ ί ) だけず らした時刻情報 (NAPT S) に修正し、 オーディォの再生時刻を 遅延させている。 この結果、 ビデオデ一夕は 1段目のタイミング (時刻 t v l、 t v 2、 · · ·） においてビデオ出力部 1 2から出力 され、 2段目のタイミング (時刻 t p l、 t p 2、 · · · ) において 再生され、 オーディォデータは 3段目のタイミングにおいてオーデ ィォ出力部 1 4から出力され、 4段目のタイミング （時刻 TNA1、 TNA2、 · · ·） において再生される。 ビデオの処理によって遅延 した時間 Δ tだけオーディオの再生時間をずらすことにより、 ェン コード時に想定されていた再生夕イミングでビデオおよびオーディ ォを再生できる。 よって、 同期再生が意図されていたビデオおよび オーディオに対しても、 想定されていたとおりの同期再生を実現で きる。
なお、 ビデオおよびオーディオの 「同期再生」 とは、 ビデオの再 生タイミングがオーディォの再生夕イミングに対して、 一定の時間 範囲 （例えば 5 0ミリ秒先行から 3 0ミリ秒遅延の間） に入ってい ることをいう。 ビデオおよびオーディォの P T Sがー致している場 合に限られるものではない。
ビデオとオーディオとが時間にして 3 0ミリ秒以上のずれると、 視聴者に違和感を与える場合がある。 したがって、 VPTSが N APT Sに対して 5 0ミリ秒先行 （さらに厳密には 3 0ミリ秒先 行） から、 3 0ミリ秒遅延までの間にあわせれば、 実際の視聴にお いて視聴者にとっては同期再生されているといえる。
図 6は、 本実施形態によるデコード部 6 0の処理手順を示す。 ま ずステップ S 1 0 1において、 システムデコ一ド部 1は、 符号化デ —タストリームを符号化ビデオデータおよび符号化オーディォデ一 夕に分離し、 ステップ S 1 0 2において、 符号化データ (ビデオ/ オーディオ） から、 符号化フレームデータおよび再生時刻情報 (V P T S/AP T S) を抽出する。 ビデオおよびオーディオの各符号 化フレームデータは、 それぞれビデオバッファ部 2およびオーディ ォバッファ部 6に格納され、 再生時刻情報 （VP T S/AP T S) はビデオ再生管理部 3およびオーディォ再生管理部 7に送られる。 図 7 ( a) は、 オーディオ再生管理部 7において生成されるテー ブルの構成を示す。 このテーブルは、 オーディオバッファ部 6に格 納されたオーディォデ一夕とオーディォ再生時刻情報とを関連づけ る。 まず、 オーディオ再生管理部 7は、 例えば AP T Sごとにスロ ットという単位に分割する。 そして、 各スロッ トとオーディオアド レス情報とを対応付ける。 オーディオアドレス情報は、 対応するス ロットに再生される、 オーディォバッファ部 6に格納されたオーデ ィォデ一夕の先頭ァドレスを参照する。 図 7 (b) は、 オーディオ バッファ部 6に格納されたオーディォデ一夕のデータ配置と、 ォー ディオアドレス情報によって参照されるデータ位置の関係を示す。 再び図 6を参照する。 ステップ S 1 0 3において、 ビデオデコー ド部 5およびォ一ディォデコ一ド部 8は、 V P T S /A P T Sがシ ステム時刻基準 s T cに達する前に、 ビデオ/オーディオの符号化 フレームデ一夕をデコ一ドし、 ステップ S 1 04において、 デコー ドされたビデオ/オーディォデ一タをフレームバッファ部 1 1およ び P CMバッファ部 1 3に格納する。
次にステップ S 1 0 5において、 オーディォ遅延設定部 9は, 予 め設定された遅延時間に対応する P T S値 Δ tを AP T Sの値に加 算し、 新たなオーディォ再生時刻情報 N AF T S値を求める (N A P TS =AP T S + A t ) 。 以上の処理によって、 オーディオの再 生時刻情報 （AP T S) を修正した新たな再生時刻情報 （NAP T S ) が得られる。
本実施形態では、 遅延時間はユーザによって予め設定されている とする。 図 8 (a) はオーディオ遅延設定部 9の操作部の例を示す c ユーザが初期設定画面において図 8 ( a) に示す項目選択キーを操 作すると、 音声の遅延時間を設定できるモードに移行する。 図 8 (b) は音声の遅延時間を設定する際の画面の例を示す。 ユーザが 操作部を介して画面上のハイライ ト 9 1を 「手動」 にあわせ、 決定 キーを押下すると、 手動による遅延時間の設定モードに移行する。 ユーザが遅延量の表示窓 9 3を見ながら図 8 ( a) の 「設定 1」 と 示される上方向ポタンを押下すると画面上の増加ボタン 9 2 aがハ イライ トされ遅延量が増加する。 逆に、 「設定 2」 と示される下方 向ボタンを押下すると、 画面上の減少ポタン 9 2 bがハイライ トさ れ遅延量が減少する。 図 8では、 遅延させたい時間が "6 Om s " に設定されている。 P T S値 Δ tは設定された遅延時間に基づいて 得ることができる。 設定された時間が t (m s ) のとき、 P T S値
A t = 9 0. 9 tまたは 9 I t となる。
次にステップ S 1 0 6において、 ビデオデコード部 5は、 システ ム時刻基準 S TCが V P T Sに達したか否かを判断する。 達してい れば、 ステップ S 1 0 7においてビデオ出力部 1 2はフレームバッ ファからビデオデータを出力する。 達していなければ、 達するまで 待つ。 次に、 ステップ S 1 0 8において、 オーディオデコード部 8 は、 S T Cが NA P T Sに達したか否かを判断する。 「達した」 と は、 S T Cが NA P T Sに一致したとき、 または S TCが NAPT Sを超過したときを示す。 達していれば、 ステップ S 1 0 9におい て、 オーディオ出力部 1 4は P CMバッファからビデオデータを出 力する。 達していなければ、 達するまで待つ。
そして、 ステップ S 1 1 0において、 ビデオデコード部 5および オーディォデコード部 8はデコードが終了したか否かを判断する。 終了したときは処理を終了し、 していなければステップ S 1 0 1に 戻って処理を継続する。 なお、 ユーザから再生の停止が指示された 場合にも処理は終了する。
以上、 本実施形態によるデータ処理装置 1 0 0の動作 （特にデコ
—ド部 6 0の動作） を説明した。
上述した説明では、 圧縮符号化されたオーディオデータをデコー ドした後 P CMデ一夕をバッファするとした。 しかし それに代え て、 デコード部 6 0がデコードする前のオーディォバッファ部 6に， オーディォデータをバッファすることも好ましい。 デコ一ドされた P CMデータより、 デコード前の圧縮符号化された状態のォ一ディ ォデータの方がデータ量が小さ < , オーディォバッファ部 6等のバ ッファサイズが少なくてすむからである。 具体的には オーディオ の符号化フレームデータがオーディォバッファ部 6に格納された後， 予め設定された遅延時間に対応する P T S値 Δ tをオーディォの再 生時刻 （AP T S) の値に加算して N A P T S値を求めればよい
(NAP T S =AP T S + A t )„ これは、 図 6のステップ S 1 0 2の後、 ステツプ S 1 0 3の前に、 ステツプ S 1 0 5の処理を行う ことに相当する。 その他の処理は図 6に示すとおりである。
図 9は、 オーディオバッファ部 6の構成の例を示す。 オーディオ バヅファ部 6には、 オーディォ遅延がない場合において符号化ォー ディォデ一夕が格納される標準バッファ 6 aと、 オーディォ遅延が ある場合において追加の符号化オーディォデータが格納される追加 バッファ 6 bとが設けられる。 追加バッファ 6 bが設けられる理由 は、 オーディオ遅延がある場合には、 従来の処理によれば AP T S によって示された時刻に出力されているはずのオーディォデ一夕が. 本実施形態による処理では NAP T Sになるまで出力されないため. 時間にして A t (=NAPTS -APT S) の間に読み込まれたデ —夕をさらに格納するバッファ容量が必要になるからである。
よって、 ォ一ディォバッファ部 6に必要なバッファ容量は、 当初 の AP T Sによって規定される再生時刻の到達前までに受け取る符 号化オーディオデータのデータ量と、 再生時刻の遅延量 （A t ) に 応じた時間の経過までに受け取る符号化オーディォデ一夕のデ一夕 量との和以上である。 前者は標準バッファ 6 aにより、 後者は追加 バッファ 6 bにより確保される。
例えば、 追加バッファ 6 bに最大 1 0 0ミリ秒のデータを追加的 に格納できる追加バッファ 6 bが必要である場合を考える。 これは. 遅延時間が最大 1 0 0ミリ秒の場合に相当し、 ビデオでは NTS C 方式出力のときのビデオ約 3フレームの表示時間に相当する。 この 場合に必要な追加バッファ 6 bの容量は、 B Sデジタル放送で使用 されているオーディォ圧縮フォーマツトの A A C方式では約 2 2キ 口バイ トである （ 1チャンネルあたり 2 8 8キロビッ ト秒として 6 チャンネル分のデータ量を算出した） 。 この容量は、 デコード後の P CMデータを追加的に保存するときの容量の数分の 1である。
なお、 オーディォバッファ部 6に格納される符号化ォ一ディオフ レームデータのデータ量が増加するため、 オーディォ再生管理部 7 のテーブルサイズを増加させなければならない点にも留意しなけれ ばならない。
ただし、 オーディォ再生管理部 7に全てのオーディォの再生時刻 情報 （APT S) を格納せず、 一部を間引いてテーブルを構成すれ ば、 テーブルサイズの増加を防ぐことができる。 図 1 0 (a) は間 引き前のオーディオ再生管理部 7のテーブル 7 aの構成を示し、 図 1 0 (b) は間引き後のオーディォ再生管理部 7のテーブル 7 bの 構成を示す。 テ一プル 7 bは、 テーブル 7 aの奇数番目の再生時刻 情報 （APT S) を間引いて生成されている。 オーディオ再生管理 部 7がリアルタイムでテーブル 7 bを生成するときは、 1つおきに の再生時刻情報 （APT S) およびその対応アドレス情報の関係を 記述すればよい。 これによりテーブル 7 bのデータ量はテーブル 7 aのデータ量の半分になる。 換言すれば、 同じテーブルサイズであ れば、 テーブル 7 bはテーブル 7 aの倍のオーディォデータを管理 できる。 なお、 再生時刻情報 （AP T S) およびその対応アドレス 情報を間引くことにより、 同期に必要な A P T S情報が減少するた め、 同期させる頻度は減少するが、 管理すべきデータのデータ量が 増加しても確実にビデオとオーディォの再生を同期させることがで きる。
本実施形態では、 ビデオデコード部 5およびオーディオデコード 部 8は、 圧縮符号化されたビデオデータおよびオーディオデータを デコードして、 フレームバッファ部 1 1および P CMバッファ部 1 3に保持しておくとした。 しかし、 例えば D VDにはリニア P CM データがオーディォデ一夕として含まれている場合には、 デコード 動作は不要である。 リニア P CMデータは符号化はされているが圧 縮はされていないからである。 ただし、 オーディオデータがリニア P CMデータであっても、 ストリームに含まれる同期情報に従って ビデオと同期して再生されるため、 先の説明をそのまま適用できる また、 データ処理装置 1 0 0が光出力端子からドルビーデジタル等 の符号化ストリ一ムをそのまま出力する場合には、 ストリームバッ ファ （図示せず） に一旦蓄えて、 S TCを参照し、 NAP T SがS T Cに達した時点で、 オーディオ出力部 1 4から出力すればよい。 次に、 オーディォの遅延を発生させる映像音響機器 1 2 0のビデ ォ処理の具体例を説明する。 想定されるビデオ処理は、
( 1 ) 毎秒 24フレームのフィルム素材から毎秒 3 0フレームのピ デォ素材への変換処理、
(2) インターレース走査 · プログレッシブ走査間の変換処理、 標 準画質 （Standard Definition; S D) の D 1規格信号 ·高精細画質
(High Def inition;HD) の D 3規格信号間の変換処理、 NT S C 方式 · PAL方式間の変換処理
(3) ユーザからの指示等に基づく映像の拡大、 縮小、 編集処理
(4) 複数の映像の合成処理
等である。 上述の処理が不要な通常の再生時には、 オーディオデー タを遅延して出力する必要はない。 しかし、 ビデオ処理のオン Zォ フによって遅延が発生しうるため、 遅延量の設定およびその設定に 基づくオーディォデータの遅延出力が必要になる。
そのようなときは、 オーディオ遅延設定部 9に遅延時間が異なる 複数の遅延情報を設け、 行われる処理種別に応じて対応付けておく ことが好ましい。 例えば、 映像音響機器 1 2 0で実行される画像処 理の種別をユーザが入力すると、 その種別応じて遅延時間を変える ようにデコード部 6 0を構成すればよい。
次に、 オーディォデータの再生時間を遅延させる遅延時間を求め その時間をオーディォ遅延設定部 9において自動的に設定するため の第 1〜第 3の設定手法を説明する。
まず第 1の手法は以下のとおりである。 データ処理装置 1 0 0に おいて、 ビデオ信号にあらかじめ特定パターンの信号が含まれてい る同期検証用テストストリ一ム等をデコードし、 映像音響機器 1 2 0に送る。 そして、 映像音響機器 1 2 0においてビデオ処理された 後の表示された映像をキヤプチヤし-, その遅延時間を測定する。 得 られた遅延時間をオーディォ遅延設定部 9に設定することにより、 遅延時間が設定できる。 これらの処理を自動化することによりォー ディォの再生遅延時間を自動的に設定できる。 なお、 遅延時間は、 映像音響機器 1 2 0における各信号処理モードの各々について遅延 時間を測定し、 遅延時間を設定してもよい。 テストストリームは、 放送系から入力されてもよいし、 テストディスクまたはデ一夕処理 装置 1 0 0内のメモリ等から読み出されてもよい。 なお、 入力がテ ストストリームではなく、 あらかじめデコードされたビデオデータ を出力するようなテストパターンであってもよい。 これは、 デコー ドした後のビデオ処理での遅延を測定すればよいためである。
続いて、 遅延時間を自動的に設定する第 2の手法を説明する。 第 2の手法では、 オーディオとの同期を阻害するビデオ処理の遅延原 因 （ 1 ) 〜 （4 ) の処理を、 映像音響機器 1 2 0ではなく、 ビデオ デコード部 5のビデオ出力部 1 2が行う。 ビデオ出力部 1 2がその ようなビデオ処理を行うことにより、 デコード部 6 0はビデオ処理 に起因する遅延時間を把握することができ、 その結果、 オーディオ 遅延設定部 9はリアルタイムで遅延量を変更できる。 また、 映像音 響機器 1 2 0におけるビデオ処理も必要なくなるので、 その負荷が 軽減できる。
図 1 1は、 ビデオ処理を行う処理回路を搭載したビデオ出力部 1 2の機能ブロックの構成を示す。 ビデオ出力部 1 2は、 フレームバ ッファ部 1 1からデコードされたフレームデ一夕を受け取り -. 所定 のビデオ処理を行ったビデオデータを出力する。 ビデオ出力部 1 2 は、 I P変換部 7 1と、 フォーマット変換部 7 2と、 拡大縮小部 7 3と、 他画面合成部 7 4と、 GU I重畳部 7 5と、 出力部 7 6とを 有する。 これらの構成要素に関連して、 ビデオデコード部 5には外 部映像入力部 7 7および GU Iデータ生成部 Ί 8とが別途設けられ る。
I P変換部 7 1は、 ィンタ一レース走查 · プログレッシブ走査間 の変換処理を行う。 フォーマット変換部 7 2は、 4 8 0 i ビデオ信 号 · 1 0 8 0 i ビデオ信号間の変換処理および NT S C方式 · P A L方式間の変換処理を行う。 拡大縮小部 7 3は、 ユーザからの指示 等に基づく映像の拡大、 縮小、 編集処理を行う。 他画面合成部 7 4 は、 デコードされたビデオと外部映像入力部 7 7から入力されるピ デォとを合成する。 GU I重畳部 7 5は、 これまでの処理によって 得られたビデオに、 GU Iデータ生成部 7 8によって生成された G U Iデータを重畳する。 そして出力部 7 6は、 最終的に得られたビ デォデ一夕を出力する。 この出力は、 映像音響機器 1 2 0に送られ る。 ビデオデコード部 5は、 ビデオデータが得られたときの時刻を S T Cに基づいて取得し、 そのビデオデータの V P T Sと比較する ことによって、 遅延時間を特定することができる。
さらに、 遅延時間を自動的に設定する第 3の手法を説明する。 第 3の手法では、 データ処理装置 1 0 0と映像音響機器 1 2 0とが互 いに通信して、 データ処理装置 1 0 0が映像音響機器 1 2 0におい て行われるビデオ処理の種別を特定する。 これにより、 データ処理 装置 1 0 0のデコード部 6 0は、 ビデオ処理に起因する遅延時間を 予め特定できる。
以下、 具体的に説明する。 図 1 2は、 デ一夕処理装置 1 0 0と映 像音響機器 1 2 0との接続およびそれらの間で授受されるデータの 種類を示す。 図 1 2の例では、 HDM I規格に従ってデータが授受 される。 まず HDM I トランスミッタ 8 0は、 映像音響機器 1 2 0 の HDM I レシーバ 1 3 0に対して、 映像音響機器 1 2 0を特定す る情報 （機器固有情報） を求める制御コマンドを送信する。 HDM I レシーバ 1 3 0は、 その制御コマンドに基づいて、 自己の装置の 機器 I Dを機器固有情報として H DM I トランスミッタ 8 0に送信 する。 機器 I Dは、 例えば映像音響機器 1 2 0内の ROM 1 3 1に メーカ一固有情報 （Vendor Specific Data). として格納されており メーカー名、 機種名等を特定することができる。
HDM I 卜ランスミッタ 8 0は、 機器 I Dを受け取ってデコード 部 6 0に出力する。 デコード部 6 0は、 機器 I Dを受け取ると、 内 部メモリまたは外部のメモリカード等に規定されたテーブルを参照 する。 テーブルには、 機器 I Dと遅延設定との対応が記述されてい る。 デコード部 6 0は、 機器 I Dおよびそのテーブルに基づいて、 映像音響機器 1 2 0が実行するビデオ処理に起因する遅延時間を得 ることができる。 これにより、 その遅延時間をオーディオ遅延設定 部 9に設定できる。 なお、 図 1 2は、 MP E G 2プログラムストリ ームをデコ一ドするデータ処理装置 1 0 0を利用する場合の例であ るが、 デコードの対象はこのストリームに限られない。 例えば、 受 信され 記録されたデジタル放送の MP E G 2 トランスポートスト リームもデコードの対象になる。 デコード部 6 0はストリームの種 類に応じたデコードを行うように構成されればよい。
ここまでは、 システム時刻基準参照値 S C Rを基準としてシステ ム時刻基準 S T Cを生成し、 その S T Cに基づいて、 ビデオの再生 時間を規定する VP T Sおよび遅延させたオーディォの再生時間を 規定する NAP T Sを生成し、 ビデオおよびオーディォを同期して 再生させるとして説明した。 しかし、 さらに VP TSに基づいてォ 一ディォを再生することもできるし、 NAP TSに基づいてビデオ を再生することもできる。
光ディスク 1 1 0に記録した符号化コンテンツを再生する場合、 符号化コンテンツ等を編集し、 編集点でのビデオを途切れなく再生 する場合には、 ビデオの再生時間を基準とした時間管理が有効であ る。 これは、 VP T Sを基準として NAP T Sを管理することを意 味する。 本明細書では、 V P T Sを基準として N A P T Sを管理す ることをビデオマスターと呼ぶ。 システム時刻基準参照部 4は、 S C Rに基づいて生成した S T Cではなく、 V P T Sに基づいて S T Cを生成し、 かつ N A P T Sが規定精度以内におさまるようにォ一 ディォデコードを実施する。 そして、 NAP T Sによって規定され る時刻が V P丁 Sによって規定される時刻を超えるまでのオーディ ォデータの再生をスキップすることによって、 ビデオとオーディオ とを同期して再生する。 デコード部 6 0のシステム時刻基準参照部 4は V P T Sによって規定される再生時刻と N A P T Sによって 規定される時刻とが一定の許容範囲内に入ったことを確認した後、 ビデオマスタ一に基づいて時間を管理して再生すればシームレスな 編集再生を実現することができる。
例えば、 ビデオデータの一部を削除した後で削除部分の前後にわ たってシ一ムレスに映像を再生したい場合には、 削除位置直後のビ デォデ一夕に基づいて映像を表示するとともに、 削除位置直前のビ デォデ一夕の V P T Sから生成した S T C値を、 削除位置直後のビ デォデ一夕の V P T Sから生成した S T C値に変更する。 そして、 オーディオ出力をミュートして再度、 遅延量を変更したビデオおよ びオーディォの再生同期を取り直すことによってオーディオデコー ドを再開する。 これにより、 編集点の前後でもビデオマスターとし た S T C値の変更が行われ、 編集点の再生時に再生された映像がフ リーズする等の不自然な再生がなくなる。 なおこの場合にも、 ォー ディォ遅延分のオーディオバッファ部 6の容量の増加、 および、 ォ 一ディォ再生時刻情報管理部 7のテーブルサイズの増加は必要にな る。
一方、 光ディスク 1 1 0に記録した符号化コンテンツを再生する とさ、 オーディオを途切れなく再生する場合には、 オーディオの再 生時間 N A P T Sを基準とした時間管理が有効である。 これは N A P T Sを基準として V P T Sを同期させることを意味する。 本明 細書では、 N A P T Sを基準として V P T Sを管理することをォー ディォマスターと呼ぶ。 システム時刻基準参照部 4は、 S C Rに基 づいて生成した S T Cではなく .. N A P T Sに基づいて S T Cを生 成し かつ、 V P T Sが規定精度以内におさまるようにビデオデコ ードを実施する。 そして、 適当な出力映像のスキップまたは同じ画 面の複数回出力によってオーディォをビデオと同期して再生する。 オーディォの再生時間 N A P T Sによって規定される時刻をオーデ ィォマスタ一としたときでも、 オーディォ遅延を考慮して出力して いるため、 オーディォを遅延したビデオと同期して再生することが できる。 なおこの場合にも、 オーディオ遅延分のオーディオバッフ ァ部 6の容量の増加、 および、 オーディオ再生時刻情報管理部 7の テーブルサイズの増加は必要になる。
例えば、 出力音声または音楽等を途切れることなく再生したいと き （早送りやコマ送り再生時） においてオーディオの連続性を保つ ためには、 ビデオの再生が長すぎる、 または短すぎる場合がある。 その場合には、 同じ画面を何度も繰り返し表示し、 または、 特定数 フレームをスキップする等の処理を行う。
オーディォ遅延設定部 9において遅延時間の設定を変更する際に は、 一旦オーディォ出力をフェードアウトもしくはミュート設定し て、 音量を下げる。 そして遅延設定を変更後、 ミュート解除もしく は、 フェードインを実行し、 元の音量に復帰させればよい。
図 1に示すデータストリーム 1 0にはオーディォデータとビデオ データとが混在しており、 図 4に示すシステムデコ一ド部 1におい てそれらを分離するとして説明した。 しかし、 オーディオデ一夕お よびビデオデータは独立した別個のストリームとして含まれていて もよい。 例えば、 ビデオカメラ等で撮影したオーディォデータおよ びビデオデー夕を P Cで編集して ビデオのエレメンタリストリ一 ムとオーディォのエレメン夕リストリームとにわけてデータ処理装 置 1 0 0に入力してもよい。 ビデオデータの再生時刻情報およびォ 一ディォデ一夕の再生時刻情報に基づいて、 ビデオとオーディォが 同期して再生されるのであれば、 本発明は適用可能である。
本実施形態は、 ビデオとオーディオとを同期して再生するとした が、 これは例である。 例えば、 D V Dに設けられているサブピクチ ャに関して、 そのビデオ処理に基づく再生遅延が発生する場合には. やはりオーディォの再生時刻情報 N A P T Sを生成して字幕とォ一 ディォとを同期して再生することもできる。 また衛星放送を受信し 記録した場合のデータ放送の同期についても同様である。 映像音響 機器 1 2 0においてビデオとデータの内容との重ね合わせ処理等に おいて処理遅延が発生する場合には、 オーディオの再生時刻情報 N A P T Sを生成して、 ビデオ、 データの内容およびオーディオを同 期して再生することができる。
本実施形態では、 A P T Sにオーディオ遅延 Δ tに相当する P T Sを加算して N A P T Sを求めるとしたが、 V P T Sから Δ t相当 分を減算してもよい。 ただし、 V P T Sから Δ tを減算するだけで なく、 システム時刻基準参照値そのものを Δ t減算することで、 同 じ効果が得られる。 具体的には、 データ処理装置 1 0 0に、 ビデオ の再生時刻情報に任意の遅延用設定時間を減算する手段およびシス テム時刻基準参照値に任意の遅延用設定時間を減算する手段を設け ればよい。 これにより、 映像音響機器 1 2 0におけるビデオ処理の 遅延を考慮して遅延用設定時間を減算したシステム時刻基準参照値 に対して、 遅延のために設定時間を減算されたビデオと、 オーディ ォとを同期して再生できる。
また、 本実施形態では、 画像処理によってビデオがオーディォに 遅れて再生されることを想定して説明した。 しかし、 これとは逆に、 データ処理装置 1 0 0の出力後に行われる各種の音響効果等の処理 に起因してオーディォの再生が遅延する場合もある。 このときは、 ビデオ再生が先行してしまうため、 V P T Sに遅延時間 Δ tに相当 する P T Sを加算した新たなビデオ再生時刻情報 N V P T Sを求め て、 ビデオとオーディオとの再生を同期させればよい。 このときは、 ビデオバッファ部 2およびビデオ再生管理部 3のテーブルサイズが 増加することになる。
データ処理装置 1 0 0に設けられた種々のバッファは、 その一部 または全部が半導体メモリによって構成されていてもよいし、 ハ一 ドディスク等の記録媒体によって構成されていてもよい。
上述のデータ処理装置 1 0の機能、 特にデコード部 6 0の機能は. ソフトウエアを実行することによって実現してもよい。 例えば、 C P U (図示せず) がコンピュータプログラムを実行することによつ て、 各構成要素の動作を制御してもよい。 コンピュータプログラム は、 例えば図 6に示すフローチヤ一トにしたがつた処理をデータス トリ一ム 1 0に実行させるように構成すればよい。 コンピュータプログラムは、 光ディスクに代表される光記録媒体.
S Dメモリ力一ド、 E E P R O Mに代表される半導体記録媒体、 フ レキシブルディスクに代表される磁気記録媒体等の記録媒体に記録 することができる。 なお、 データ処理装置 1 0は、 記録媒体を介し てのみならず、 ィン夕一ネッ ト等の電気通信回線を介してもコンビ ュ一タプログラムを取得できる。 産業上の利用可能性
本発明によれば、 ビデオ、 オーディオ等を同期して再生すること ができるデータ処理装置等が提供される。 例えば、 ビデオ処理に起 因してビデオの再生が遅延する場合には、 オーディォの再生時刻が ビデオの遅延時間相当量だけ遅くなるようにオーディォの再生時刻 情報を修正するので、 ビデオとオーディオとを同期して再生するこ とができる。

Claims

請 求 の 範 囲
1 . 圧縮符号化されたビデオコンテンツに関する第 1データ 前 記第 1デ一夕の再生時刻を規定する第 1時刻情報、 前記ビデオコン テンッと異なるコンテンツに関する第 2データおよび前記第 2デ一 夕の再生時刻を規定する第 2時刻情報を有するデ一タストリームを 受け取る受信部と、
前記データストリームから、 前記第 1データ、 前記第 1時刻情報， 前記第 2データおよび前記第 2時刻情報を抽出する分離部と、
前記第 1データをデコードして、 前記第 1時刻情報に基づいて出 力する第 1デコード部と、
前記第 2時刻情報に基づいて前記第 2デ一夕を出力する第 2デコ 一ド部と
を有するデータ処理装置であって、
前記第 1時刻情報および前記第 2時刻情報が前記第 1データおよ び前記第 2データを同期して再生する時刻を規定している場合にお いて、 再生時刻の遅延量を規定する遅延情報を保持し、 かつ、 前記 遅延情報に基づいて前記第 2時刻情報を修正し、 前記第 2データの 再生時刻を遅延させる遅延設定部をさらに備えたデータ処理装置。
2 . 前記第 2デ一夕のコンテンツは圧縮符号化されており、
前記第 2デコード部は前記第 2データを復号し、 前記第 2デコー ド部は復号された前記第 2データを格納する内部バッファを有する. 請求項 1に記載のデータ処理装置。
3 . 前記第 2データのコンテンツは圧縮符号化されており
圧縮符号化された前記第 2データを格納するデータバッファをさ らに備え、
前記データパッファは、 修正後の第 2時刻情報によって規定され る再生時刻の前に前記圧縮符号化された前記第 2データを取り出し、 前記第 2デコード部に出力する、 請求項 2に記載のデータ処理装置
4 . 前記受信部は前記データストリームを継続的に受け取り、 前 記デ一タパッファは前記第 2データを順次格納し、
前記データバッファの容量は、 修正前の第 2時刻情報によって規 定される再生時刻の到達前までに受け取る前記第 2データのデータ 量と、 前記再生時刻の遅延量に応じた時間の経過までに受け取る前 記第 2データのデータ量との和以上である、 請求項 3に記載のデー タ処理装置。
5 . 前記第 2デ一夕が格納された前記データバッファ内の位置を 示すァドレス情報と、 前記第 2データに対応する修正前の第 2時刻 情報との対応関係を規定するテーブルを管理する管理部をさらに備 えた、 請求項 4に記載のデ一夕処理装置。
6 . 前記管理部は、 一部の前記第 2データについて、 前記テープ ルを管理する、 請求項 5に記載のデータ処理装置。
7 . 前記受信部は、 オーディオおよび字幕の少なくとも一方に関 する前記第 2データを有するデータストリ一ムを受け取る、 請求項 1に記載のデータ処理装置。
8 . 前記遅延設定部は、 ユーザから前記遅延量を特定する値を受 け取って、 前記遅延情報として保持する、 請求項 1に記載のデータ 処理装置。
9 . 前記遅延設定部は、 予め定められた値を前記遅延情報として 保持する、 請求項 1に記載のデータ処理装置。
1 0 . 前記遅延設定部は、 再生時刻の遅延量を 3 0ミリ秒以上の 値として規定した遅延情報を保持する、 請求項 9に記載のデータ処
1 1 . 接続先の機器に前記第 1データを送出するとともに、 前記 機器を特定することが可能な固有情報を前記機器から受け取るトラ ンスミッタをさらに備え、
前記卜ランスミッタは、 前記固有情報に基づいて前記機器におい て実行される前記第 1データに関するビデオ処理の所要時間を特定 し、 前記遅延設定部は、 特定された前記所要時間の値を前記遅延量と して遅延情報を保持する、 請求項 1に記載のデータ処理装置。
1 2 . 前記第 1デコード部および前記第 2デコード部は、 単一の デコード回路として実装される、 請求項 1に記載のデータ処理装置。
1 3 . 圧縮符号化されたビデオコンテンツに関する第 1データ、 前記第 1データの再生時刻を規定する第 1時刻情報、 前記ビデオコ ンテンッと異なるコンテンツに関する第 2デー夕および前記第 2デ 一夕の再生時刻を規定する第 2時刻情報を有するデータストリーム を受け取るステツプと、
前記データストリームから、 前記第 1データ、 前記第 1時刻情報、 前記第 2データおよび前記第 2時刻情報を抽出するステップと、 前記第 1データをデコードして、 前記第 1時刻情報に基づいて出 力するステップと
を包含するデータ処理方法であって、
前記第 1時刻情報および前記第 2時刻情報が前記第 1データおよ び前記第 2データを同期して再生する時刻を規定している場合にお いて、
再生時刻の遅延量を規定する遅延情報を保持するステツプと、 前記遅延情報に基づいて前記第 2時刻情報を修正して前記第 2デ 一夕の再生時刻を遅延させるステツプと.,
前記第 2時刻情報に基づいて前記第 2データを出力するステツプ と
を包含する、 データ処理方法。
1 4 . 前記第 2データのコンテンツは圧縮符号化されており、 前記第 2データを出力するステップは、 前記第 2デ一夕を復号し、 復号された前記第 2デ一夕をデータバッファに格納した後に出力す る、 請求項 1 3に記載のデータ処理方法。
1 5 . 前記第 2データのコンテンツは圧縮符号化されており、 圧縮符号化された前記第 2データをデータバッファに格納するス テツプと、
修正後の第 2時刻情報によって規定される再生時刻の前に、 格納 された前記第 2デー夕を前記デ一夕バッファから取り出すステップ とをさらに包含し、
前記第 2データを出力するステップは、 前記データバッファから 取り出された前記第 2データを出力する、 請求項 1 4に記載のデ一 夕処理方法。
1 6 . 前記受信するステツプは、 前記データストリームを継続的 に受信し、 前記第 2デ一夕を格納するステップは前記第 2データを 前記デ一タバッファに順次格納し、
前記デ一タパッファの容量は、 修正前の第 2時刻情報によって規 定される再生時刻の到達前までに受け取る前記第 2データのデータ 量と、 前記再生時刻の遅延量に応じた時間の経過までに受け取る前 記第 2データのデータ量との和以上である 請求項 1 5に記載のデ 一夕処理方法。
1 7 . 前記第 2デ一夕が格納された前記データバッファ内の位置 を示すァドレス情報と、 前記第 2データに対応する修正前の第 2時 刻情報との対応関係を規定するテーブルを管理するステップをさら に包含する、 請求項 1 6に記載のデータ処理方法。
1 8 . 前記受信するステップは、 オーディオおよび字幕の少なく とも一方に関する前記第 2データを有するデ一タス卜リームを受け 取る、 請求項 1 3に記載のデ一夕処理方法。
1 9 . 前記遅延させるステップは、 ユーザから前記遅延量を特定 する値を受け取って、 前記遅延情報として保持する、 請求項 1 3に 記載のデータ処理方法。
2 0 . 前記遅延させるステップは、 予め定められた値を前記遅延 情報として保持する、 請求項 1 3に記載のデータ処理方法。
PCT/JP2004/002152 2003-02-27 2004-02-24 データ処理装置および方法 WO2004077825A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN2004800018419A CN1723703B (zh) 2003-02-27 2004-02-24 数据处理装置及方法
EP04713985.2A EP1603336B1 (en) 2003-02-27 2004-02-24 Data processing device and method
US10/547,017 US8290353B2 (en) 2003-02-27 2004-02-24 Data processing device and method
JP2005502885A JP4536653B2 (ja) 2003-02-27 2004-02-24 データ処理装置および方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2003050856 2003-02-27
JP2003-50856 2003-02-27

Publications (1)

Publication Number Publication Date
WO2004077825A1 true WO2004077825A1 (ja) 2004-09-10

Family

ID=32923357

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2004/002152 WO2004077825A1 (ja) 2003-02-27 2004-02-24 データ処理装置および方法

Country Status (6)

Country Link
US (1) US8290353B2 (ja)
EP (1) EP1603336B1 (ja)
JP (1) JP4536653B2 (ja)
KR (1) KR100711328B1 (ja)
CN (1) CN1723703B (ja)
WO (1) WO2004077825A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1657929A1 (fr) * 2004-11-16 2006-05-17 Thomson Licensing Dispositif et méthode de synchronisation de différentes parties d'un service numérique
JP2007028261A (ja) * 2005-07-19 2007-02-01 Nec Viewtechnology Ltd 映像音声再生装置および映像音声再生方法
JP2007108198A (ja) * 2005-10-11 2007-04-26 Sony Corp 情報処理装置および方法、並びにプログラム
JP2009253744A (ja) * 2008-04-08 2009-10-29 Mitsubishi Electric Corp 符号化装置、復号装置及び映像音声伝送システム
US8005338B2 (en) 2004-09-14 2011-08-23 Hitachi, Ltd. Recording and reproducing device
JP2015012557A (ja) * 2013-07-02 2015-01-19 日本電気株式会社 映像音声処理装置、映像音声処理システム、映像音声同期方法、プログラム
WO2021111988A1 (ja) * 2019-12-03 2021-06-10 株式会社ソニー・インタラクティブエンタテインメント 動画再生装置、動画再生システム、および動画再生方法

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8189679B2 (en) * 2004-09-02 2012-05-29 Sony Corporation Content receiving apparatus, method of controlling video-audio output timing and content providing system
JP4660184B2 (ja) * 2004-12-27 2011-03-30 株式会社東芝 信号中継装置及び信号中継方法
KR100652956B1 (ko) * 2005-01-14 2006-12-01 삼성전자주식회사 비디오 수신지연 알림방법 및 이를 적용한 방송수신장치
CN101171838B (zh) 2005-04-28 2011-06-01 松下电器产业株式会社 口形同步修正装置及口形同步修正方法
US20070127909A1 (en) 2005-08-25 2007-06-07 Craig Mowry System and apparatus for increasing quality and efficiency of film capture and methods of use thereof
US20080005350A1 (en) * 2006-06-05 2008-01-03 Oleg Logvinov System and method for synchronized content rendering in a multi-node network
US8539105B2 (en) * 2006-06-05 2013-09-17 Stmicroelectronics, Inc. System and method for synchronized content rendering in a multi-node network
US9083994B2 (en) 2006-09-26 2015-07-14 Qualcomm Incorporated Method and system for error robust audio playback time stamp reporting
WO2009078176A1 (ja) * 2007-12-19 2009-06-25 Panasonic Corporation 映像音響出力システム
KR100916505B1 (ko) * 2008-02-20 2009-09-08 한국전자통신연구원 정상 재생 타임을 이용한 스케일러블 비디오 코딩 정보와어드밴스드 오디오 코딩 정보의 동기화 지원 방법 및 장치
US8539301B2 (en) * 2009-10-21 2013-09-17 Nec Laboratories America, Inc. Message-wise unequal error protection
JP2011188244A (ja) * 2010-03-09 2011-09-22 Sharp Corp 映像コンテンツ再生装置、その制御方法、プログラム、及び記録媒体
US8755432B2 (en) * 2010-06-30 2014-06-17 Warner Bros. Entertainment Inc. Method and apparatus for generating 3D audio positioning using dynamically optimized audio 3D space perception cues
US9591374B2 (en) 2010-06-30 2017-03-07 Warner Bros. Entertainment Inc. Method and apparatus for generating encoded content using dynamically optimized conversion for 3D movies
US10326978B2 (en) 2010-06-30 2019-06-18 Warner Bros. Entertainment Inc. Method and apparatus for generating virtual or augmented reality presentations with 3D audio positioning
KR20120074059A (ko) * 2010-12-27 2012-07-05 삼성전자주식회사 오디오 데이터 출력 방법 및 장치
US20130132521A1 (en) * 2011-11-23 2013-05-23 General Instrument Corporation Presenting alternative media content based on environmental factors
US9282360B2 (en) * 2012-01-24 2016-03-08 Spencer Shanson System and method for maintaining integrity of audio data in a multiplexed audio/video stream over a low-latency network connection
US10051294B2 (en) * 2015-03-31 2018-08-14 Avago Technologies General Ip (Singapore) Pte. Ltd. Compressed video buffering
US10158905B2 (en) * 2016-09-14 2018-12-18 Dts, Inc. Systems and methods for wirelessly transmitting audio synchronously with rendering of video
CA3151412A1 (en) * 2019-09-17 2021-03-25 Carl Adrian Woffenden System and method for talking avatar

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0676471A (ja) * 1992-08-27 1994-03-18 Sony Corp データ再生システム
JPH07307933A (ja) * 1994-05-12 1995-11-21 Canon Inc マルチメディア通信端末
WO1996010889A1 (en) 1994-09-30 1996-04-11 Cirrus Logic, Inc. Programmable audio-video synchronization method and apparatus for multimedia systems
JPH09205618A (ja) * 1996-01-29 1997-08-05 Mitsubishi Electric Corp 動画像音声伸張再生装置および動画像音声同期制御器
EP1067773A2 (de) 1999-07-03 2001-01-10 GRUNDIG Aktiengesellschaft Bild- und Tonwiedergabegerät und Verfahren für dessen Betrieb
EP1094674A2 (en) 1996-12-04 2001-04-25 Matsushita Electric Industrial Co., Ltd. Optical disk for high resolution and three-dimensional video recording, optical disk reproduction apparatus, and optical disk recording apparatus
JP2001128167A (ja) * 1999-10-29 2001-05-11 Sharp Corp デジタルａｖシステム
US6263150B1 (en) 1997-09-17 2001-07-17 Matsushita Electric Industrial Co., Ltd. Video data editing apparatus, optical disc for use as a recording medium of a video data editing apparatus, and computer-readable recording medium storing an editing program
US20020126703A1 (en) 2001-03-06 2002-09-12 Kovacevic Branko D. System for digitized audio stream synchronization and method thereof
JP2003284010A (ja) * 2002-03-26 2003-10-03 Mitsubishi Electric Corp 符号化装置及びメディアデータ同期方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5241389A (en) * 1991-07-29 1993-08-31 Intelligent Resources Integrated Systems, Inc. Video display system providing for synchronization of multiple video data streams
JP2500579B2 (ja) 1993-02-03 1996-05-29 日本電気株式会社 映像音声同期システム
AU668762B2 (en) 1992-10-07 1996-05-16 Nec Personal Computers, Ltd Synchronous compression and reconstruction system
US5815634A (en) * 1994-09-30 1998-09-29 Cirrus Logic, Inc. Stream synchronization method and apparatus for MPEG playback system
US6262776B1 (en) * 1996-12-13 2001-07-17 Microsoft Corporation System and method for maintaining synchronization between audio and video
US6285405B1 (en) * 1998-10-14 2001-09-04 Vtel Corporation System and method for synchronizing data signals
JP2001028738A (ja) * 1999-07-14 2001-01-30 Hitachi Ltd 放送データ送受信システム及びこれに使用する送信装置並びにその受信装置
JP2002101395A (ja) * 2000-09-21 2002-04-05 Sony Corp 多重化装置及び方法、並びに、復号装置及び方法
US6906755B2 (en) * 2002-01-04 2005-06-14 Microsoft Corporation Method and apparatus for synchronizing audio and video data
JP2003244658A (ja) * 2002-02-19 2003-08-29 Sharp Corp 映像／音声再生装置
JP4186514B2 (ja) * 2002-05-29 2008-11-26 ソニー株式会社 放送受信機

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0676471A (ja) * 1992-08-27 1994-03-18 Sony Corp データ再生システム
JPH07307933A (ja) * 1994-05-12 1995-11-21 Canon Inc マルチメディア通信端末
WO1996010889A1 (en) 1994-09-30 1996-04-11 Cirrus Logic, Inc. Programmable audio-video synchronization method and apparatus for multimedia systems
JPH09205618A (ja) * 1996-01-29 1997-08-05 Mitsubishi Electric Corp 動画像音声伸張再生装置および動画像音声同期制御器
EP1094674A2 (en) 1996-12-04 2001-04-25 Matsushita Electric Industrial Co., Ltd. Optical disk for high resolution and three-dimensional video recording, optical disk reproduction apparatus, and optical disk recording apparatus
US6263150B1 (en) 1997-09-17 2001-07-17 Matsushita Electric Industrial Co., Ltd. Video data editing apparatus, optical disc for use as a recording medium of a video data editing apparatus, and computer-readable recording medium storing an editing program
EP1067773A2 (de) 1999-07-03 2001-01-10 GRUNDIG Aktiengesellschaft Bild- und Tonwiedergabegerät und Verfahren für dessen Betrieb
JP2001128167A (ja) * 1999-10-29 2001-05-11 Sharp Corp デジタルａｖシステム
US20020126703A1 (en) 2001-03-06 2002-09-12 Kovacevic Branko D. System for digitized audio stream synchronization and method thereof
JP2003284010A (ja) * 2002-03-26 2003-10-03 Mitsubishi Electric Corp 符号化装置及びメディアデータ同期方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP1603336A4

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8005338B2 (en) 2004-09-14 2011-08-23 Hitachi, Ltd. Recording and reproducing device
KR101287728B1 (ko) 2004-11-16 2013-07-19 톰슨 라이센싱 디지털 서비스에 대응하는 데이터를 재생 및 전송하기 위한 장치 및 방법
US8903217B2 (en) 2004-11-16 2014-12-02 Thomson Licensing Device and method for synchronizing different parts of a digital service
KR101291933B1 (ko) 2004-11-16 2013-07-31 톰슨 라이센싱 디지털 서비스의 다른 부분을 동기화하기 위한 디바이스 및방법
JP2008521302A (ja) * 2004-11-16 2008-06-19 トムソン ライセンシング データ再生装置、ディジタルサービスソース装置、および、ディジタルサービスの２つの部分を同期させる方法
US8606070B2 (en) 2004-11-16 2013-12-10 Thomson Licensing Device and method for synchronizing different parts of a digital service
WO2006053847A1 (en) 2004-11-16 2006-05-26 Thomson Licensing Device and method for synchronizing different parts of a digital service
US9826126B2 (en) 2004-11-16 2017-11-21 Thomson Licensing Device and method for synchronizing different parts of a digital service
US9509887B2 (en) 2004-11-16 2016-11-29 Thomson Licensing Device and method for synchronizing different parts of a digital service
EP1657929A1 (fr) * 2004-11-16 2006-05-17 Thomson Licensing Dispositif et méthode de synchronisation de différentes parties d'un service numérique
JP2007028261A (ja) * 2005-07-19 2007-02-01 Nec Viewtechnology Ltd 映像音声再生装置および映像音声再生方法
US8620134B2 (en) 2005-07-19 2013-12-31 Nec Viewtechnology, Ltd. Video and audio reproducing apparatus and video and audio reproducing method for reproducing video images and sound based on video and audio streams
JP4674520B2 (ja) * 2005-10-11 2011-04-20 ソニー株式会社 情報処理装置および方法、並びにプログラム
JP2007108198A (ja) * 2005-10-11 2007-04-26 Sony Corp 情報処理装置および方法、並びにプログラム
JP2009253744A (ja) * 2008-04-08 2009-10-29 Mitsubishi Electric Corp 符号化装置、復号装置及び映像音声伝送システム
JP2015012557A (ja) * 2013-07-02 2015-01-19 日本電気株式会社 映像音声処理装置、映像音声処理システム、映像音声同期方法、プログラム
WO2021111988A1 (ja) * 2019-12-03 2021-06-10 株式会社ソニー・インタラクティブエンタテインメント 動画再生装置、動画再生システム、および動画再生方法
JP7365212B2 (ja) 2019-12-03 2023-10-19 株式会社ソニー・インタラクティブエンタテインメント 動画再生装置、動画再生システム、および動画再生方法

Also Published As

Publication number Publication date
EP1603336A1 (en) 2005-12-07
EP1603336B1 (en) 2017-07-19
CN1723703B (zh) 2012-05-30
US20060072399A1 (en) 2006-04-06
JPWO2004077825A1 (ja) 2006-06-08
JP4536653B2 (ja) 2010-09-01
EP1603336A4 (en) 2009-06-10
KR20050056211A (ko) 2005-06-14
US8290353B2 (en) 2012-10-16
KR100711328B1 (ko) 2007-04-27
CN1723703A (zh) 2006-01-18

Similar Documents

Publication Publication Date Title
JP4536653B2 (ja) データ処理装置および方法
JP3892478B2 (ja) 音声再生装置
US6859612B2 (en) Decoder and reproducing unit
US7266288B2 (en) Video/audio playback apparatus and video/audio playback method
US8233780B2 (en) Reproducing apparatus and method, and recording medium
TW200830874A (en) Image information transmission system, image information transmitting apparatus, image information receiving apparatus, image information transmission method, image information transmitting method, and image information receiving method
JP4257478B2 (ja) 記録再生装置
KR100693233B1 (ko) 데이터 기록 재생 장치
JP4001814B2 (ja) 音声／映像データ記録再生装置及び方法、ならびに音声／映像データ再生装置及び方法
US20060153323A1 (en) Clock generation device and clock generation method
JP4096915B2 (ja) デジタル情報再生装置及び方法
JP2006148679A (ja) データ処理装置
US20050069289A1 (en) Transport stream recording/editing device and recording/editing method
JP4285099B2 (ja) データ再生方法及びデータ再生装置
JP2004040579A (ja) デジタル放送受信装置、およびデジタル放送同期再生方法
JP2004280994A (ja) データ作成方法及びデータ記録装置
JP3977881B2 (ja) 受信装置
JP3742688B2 (ja) 圧縮映像音声データデコード装置及び圧縮映像音声データデコード方法
JP2006217229A (ja) デジタル放送受信装置
JP2001326908A (ja) 記録再生装置及び記録再生装置の制御方法
CA2725179A1 (en) Reproducing apparatus and method, and recording medium
JP4893801B2 (ja) 記録装置及び記録方法
JP2019186732A (ja) レコーダおよび録画情報の再生方法
JP2005276246A (ja) 情報再生方法および情報再生装置
JP2003244697A (ja) 情報処理装置および方法、記録媒体、並びプログラム

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): BW GH GM KE LS MW MZ SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LU MC NL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2005502885

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 1020057004724

Country of ref document: KR

WWP Wipo information: published in national office

Ref document number: 1020057004724

Country of ref document: KR

WWE Wipo information: entry into national phase

Ref document number: 20048018419

Country of ref document: CN

ENP Entry into the national phase

Ref document number: 2006072399

Country of ref document: US

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 10547017

Country of ref document: US

REEP Request for entry into the european phase

Ref document number: 2004713985

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2004713985

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 2004713985

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 10547017

Country of ref document: US