WO2006112508A1 - ストリームデータ記録装置、ストリームデータ編集装置、ストリームデータ再生装置、ストリームデータ記録方法、及びストリームデータ再生方法 - Google Patents

ストリームデータ記録装置、ストリームデータ編集装置、ストリームデータ再生装置、ストリームデータ記録方法、及びストリームデータ再生方法 Download PDF

Info

Publication number
WO2006112508A1
WO2006112508A1 PCT/JP2006/308354 JP2006308354W WO2006112508A1 WO 2006112508 A1 WO2006112508 A1 WO 2006112508A1 JP 2006308354 W JP2006308354 W JP 2006308354W WO 2006112508 A1 WO2006112508 A1 WO 2006112508A1
Authority
WO
WIPO (PCT)
Prior art keywords
time
stream data
missing
information
missing section
Prior art date
Application number
PCT/JP2006/308354
Other languages
English (en)
French (fr)
Inventor
Michiko Fuchikami
Akihiro Miyazaki
Original Assignee
Matsushita Electric Industrial Co., Ltd.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co., Ltd. filed Critical Matsushita Electric Industrial Co., Ltd.
Priority to JP2007528197A priority Critical patent/JP5096917B2/ja
Priority to US11/887,187 priority patent/US7885366B2/en
Priority to CN2006800130884A priority patent/CN101164335B/zh
Priority to EP06732162A priority patent/EP1879387A4/en
Publication of WO2006112508A1 publication Critical patent/WO2006112508A1/ja
Priority to US12/979,585 priority patent/US8014484B2/en

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • G11B20/10009Improvement or modification of read or write signals
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • G11B20/10009Improvement or modification of read or write signals
    • G11B20/10222Improvement or modification of read or write signals clock-related aspects, e.g. phase or frequency adjustment or bit synchronisation
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • G11B20/14Digital recording or reproducing using self-clocking codes
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/30Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording
    • G11B27/3027Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording used signal is digitally coded
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/775Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television receiver
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/78Television signal recording using magnetic recording
    • H04N5/781Television signal recording using magnetic recording on disks or drums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/84Television signal recording using optical recording
    • H04N5/85Television signal recording using optical recording on discs or drums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/907Television signal recording using static stores, e.g. storage tubes or semiconductor memories
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/806Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal
    • H04N9/8063Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal using time division multiplex of the PCM audio and PCM video signals

Definitions

  • Stream data recording apparatus stream data editing apparatus, stream data reproducing apparatus, stream data recording method, and stream data reproducing method
  • the present invention relates to a technique for receiving stream data transmitted by digital broadcasting or the like, recording the data on a recording medium, and reproducing the stream data recorded on the recording medium, and in particular, a part of the transmitted stream data. Regarding handling in case of loss during reception.
  • error correction is performed on the receiving side, such as BCH (Bose, Chaudhuri, Hocquenghem) code and RS (Rea d Solomon) code.
  • BCH Bose, Chaudhuri, Hocquenghem
  • RS Rea d Solomon
  • Transmission errors that occur in stream data broadcasts to fixed reception terminals are caused by the presence of noise in the transmitted signal due to multipath interference caused by reflected waves from buildings and bad weather.
  • Patent Document 1 Japanese Patent Laid-Open No. 2001-309262
  • the mobile receiving terminal When receiving stream data at a mobile receiving terminal, the mobile receiving terminal itself may move to a place where radio waves are difficult to reach and where reception is poor, unlike when receiving data at a conventional fixed receiving terminal. A situation in which accurate transmission signals cannot be obtained over a period of time can occur frequently.
  • PCR Program Clock Reference
  • PES Packetized Elementary Stream
  • PTS Presentation Time
  • the receiving terminal has a built-in clock (hereinafter referred to as a time counter) in the apparatus.
  • the time counter is synchronized with the PCR value, and the time indicated by the time counter
  • the PTS of the audio or video frame STC (System Time Clock) value and! /) Is reached in the stream data
  • the audio frame or video frame is output to the speaker or monitor.
  • the receiving terminal output is synchronized with audio and video at the timing intended by the broadcasting system.
  • Fig. 1 is a diagram showing the change in STC value over time when the broadcast stream data cannot be received correctly and some of the data is missing.
  • the horizontal axis indicates the continuous time of the head strength of the broadcast stream data
  • the vertical axis indicates the STC value.
  • black circles are plotted based on the timing at which PCR is included in the stream data and its value.
  • the straight line 101, the straight line 102, and the straight line 103 in the figure indicate STC values.
  • the STC values at points A and E are discontinuous because the PCR information that is the source of the time counter synchronization deviates from the value expected from the normal count-up speed at points A and E. Set to the value Because.
  • the broadcasting system can set the PCR value to an arbitrary value at an arbitrary timing, in addition to changing the PCR value at a normal count-up speed.
  • the PCR value becomes a value that deviates from the value predicted by the normal count-up speed, it is referred to as “the PCR value is discontinuous” and the PCR value is set to a discontinuous value. This is expressed as “PCR is reset”.
  • the missing section 105 indicated by diagonal lines indicates a section where the received radio wave condition has deteriorated and the TS packet cannot be acquired correctly, but PCR is also reset by the broadcasting system at point C in this section. .
  • the STC value was not reset at point C during playback, and continued counting up as shown by line 103.
  • the STC value is reset at point E based on the first PCR information obtained after recovery. In other words, between point C and point E, time synchronization is lost between the broadcasting system and the receiving terminal.
  • the STC Since the STC is assumed to synchronize as shown by the broken line 104 on the broadcasting system side from the same point to the E point when this time is synchronized, the PTS of each frame is also represented by the broken line 104. It is set to follow the broadcast. As a result, the STC value exceeds PTS even though stream data can be received correctly in section 106 from point D to point E until the received radio wave condition recovers and the first PCR information is acquired. Therefore, there is a problem that the frame is discarded because the presentation time has passed.
  • the IDR picture which is a picture that can be decoded independently, usually has an appearance period of 2 seconds in the stream, and a maximum of 5 seconds interval, which is longer than the appearance period of the PCR information. Even if the PCR information can be acquired immediately after discarding the IDR picture, the P picture or B picture that cannot be decoded without the IDR picture as the reference source for several seconds until the next IDR picture is obtained. This is because all pictures cannot be decoded.
  • the PCR value is smaller than the expected value of the normal count-up speed at reset. It is also possible to reset to a value that is larger than expected from the normal count-up speed. If such a reset that increases the PCR value is lost on the receiving side due to bad reception radio wave conditions, etc., in the stream data acquired after the loss recovery, the PTS is This will greatly exceed the STC value, and will be output at a timing different from the original output timing.
  • the present invention resets PCR due to a partial omission of stream data due to a bad reception radio wave condition or the like.
  • Stream data recording device for recording stream data and resetting PCR due to missing part of stream data so that the stream data acquired normally before the next PCR information can be played back at the timing the broadcasting system intended Stream data that can be played back at the timing intended by the broadcasting system even after the recovery of the missing PCR information, even if the PCR information that was recorded cannot be recorded, until the next PCR information is acquired
  • a stream data recording apparatus is a stream data recording apparatus that records stream data including time reference information, an acquisition unit that acquires stream data, and a time reference A time counter means for ticking time in synchronization with the information, a detecting means for detecting a missing section in which some packets are missing in the acquired stream data, and a position where the missing section ends in the stream data Generation of position information to be corrected and time correction information for correcting the time of the time counter means when the missing section is completed to the state when synchronized with the time reference information included in the missing section Means and the generated position information and time correction information are recorded in association with the acquired stream data. Characterized in that it comprises a recording means.
  • a stream data reproducing apparatus is a stream data reproducing apparatus that reads out and reproduces stream data including time reference information, and reads out the stream data.
  • Resetting means for resetting the time of the time counter means based on the time correction information, and playback control for playing back a frame in the stream data at a predetermined presentation time based on the time indicated by the time counter means Means.
  • the stream data recording device synchronizes with the PCR information included in the missing portion together with the stream data that is partially missing when the loss occurs when receiving the stream data.
  • time correction information for specifying the value of the time counter means and position information for specifying the position of the missing portion in the stream data are recorded on the recording medium.
  • the stream data recording apparatus refers to the position information and the time correction information so that the broadcast system intends the time counter means at the position where the loss ends. You can reset the time.
  • the time counter means is also provided in the section until the next PCR information is acquired after recovery from the missing part. Can be synchronized with the intended time, and the stream data acquired during this period can be played back at the timing the broadcast system intended.
  • FIG. 1 A diagram showing the time change of the STC value when some of the broadcast data are not received correctly and some of them are missing
  • FIG. 2 is a diagram showing a form of usage of the stream data recording device and the stream data reproducing device according to the present invention.
  • FIG.4 Video data and audio data included in the payload of TS packet Diagram showing an example of the data structure
  • FIG. 5 A diagram showing an internal configuration of the stream data recording apparatus according to the present embodiment.
  • FIG. 8 is a flowchart showing a processing procedure of stream data recording processing in the stream data recording device 5
  • FIG. 16 is a diagram showing changes in the time counter unit 26 and the time counter unit 27 when playing back stream data in which a PCR reset occurred in the missing section
  • FIG. 17 is a diagram showing a processing procedure of stream data playback processing in the stream data playback device 6 according to the present embodiment.
  • ⁇ 19 A diagram showing the internal configuration of the stream data recording device 7 according to the second embodiment.
  • FIG. 20 is a flowchart showing a processing procedure of stream data recording processing in the stream data recording device 7
  • FIG. 21 A diagram showing how the PTS and time counter included in the stream data changes when a PCR reset does not occur in the missing section.
  • FIG. 22 is a diagram showing a change in PTS and time counter included in the stream data.
  • FIG. 23 is a flowchart showing a processing procedure for the playback time calculation unit 18 to calculate playback time.
  • FIG. 24 A diagram showing the relationship between the PTS included in the audio PES header and the audio frame.
  • ⁇ 25 A diagram showing the internal structure of the stream data playback device 8 in the second embodiment.
  • ⁇ 26 The stream data according to the second embodiment. The figure which shows the process sequence of the stream data reproduction
  • ⁇ 28] A diagram showing the internal configuration of the stream data reproducing apparatus 8 according to the third embodiment.
  • FIG. 29 (a) Screen display example that presents to the user that the recorded stream data has a non-reproducible section, (b) Other screen display example that presents to the user that there is a non-reproducible section, (c ) Example of screen display that presents the total playback time at the time of reservation and the playback time of recorded stream data to the user, (d) Sections that can be specified as jump destinations when requesting specification of jump destinations and impossible Display example of a simple section
  • FIG. 30 is a diagram schematically showing a stream data playback device 203 on which an image showing a playback state is displayed, and (b) a diagram showing an example of a method for displaying an image showing a playback state.
  • FIG. 31 A diagram showing a processing procedure of stream data playback processing in the stream data playback device 9 according to the third embodiment.
  • FIG. 2 is a diagram showing a usage act of the stream data recording device and the stream data reproducing device according to the present invention.
  • the stream data recording device and the stream data reproducing device according to the present invention are built in the mobile receiving terminal 3.
  • the mobile reception terminal 3 receives a broadcast wave transmitted from the broadcast system 1 via the transmission antenna 2, acquires stream data from the received broadcast wave, and records it on the recording medium 4, and a recording medium Used to read and play the stream data recorded in 4.
  • the broadcast system 1 is a system for creating digital broadcast stream data.
  • the transmitting antenna 2 transmits the stream data created by the broadcasting system 1 on the digital broadcasting wave.
  • the recording medium 4 is a medium for recording and holding data. This includes optical disks, magnetic disks, and semiconductor memories.
  • FIG. 3 is a diagram showing an example of the data structure of TS.
  • the first row shows a TS packet! /.
  • stream data of a plurality of programs is divided into packets called TS packets for each audio data, video data, and caption data, and multiplexed and transmitted.
  • a TS packet also has a header part and a payload part, and audio data, video data, and caption data are stored in the TS payload.
  • the second row shows the TS packet header.
  • the header of all TS packets includes an identifier for identifying TS packets called PID (Packet Identifier). Different identifiers are assigned to TS packets that store audio data, video data, and caption data for each thread, depending on the type of data to be stored.
  • PID Packet Identifier
  • the header of some TS packets to which a specific PID is attached includes a broadcasting system 1 that creates stream data, and a mobile receiver terminal 3 that receives the stream data and reproduces and records it. Embedded PCR information used to synchronize with.
  • the PID of the TS packet in which PCR information is embedded and the TS packet that stores the audio data, video data, and caption data of the program is indicated by PMT (Program Map Table).
  • PMT Program Map Table
  • the payload of the TS packet contains audio data and video data compressed according to standards such as MPEG2AAC (Advanced Audio Coding) of ISO / IEC 13818-7, and MPEG4AVC (Advanced Video Coding) of ISO / IEC 14496-10.
  • MPEG2AAC Advanced Audio Coding
  • MPEG4AVC Advanced Video Coding
  • Stores various stream data composing programs such as subtitle data by 8-unit code characters specified by B STD-B24 and ARIB STD-B8, etc., and information indicating the program structure such as PMT.
  • each element such as audio, video, and subtitles constituting a program is collectively referred to as “component end”.
  • FIG. 4 is a diagram showing an example of the data structure of video data and audio data included in the payload portion of the TS packet.
  • each PES packet includes a header portion and a payload portion.
  • the header part of the PES packet includes a PTS that indicates the presentation time when the data stored in the payload part is output to the monitor or speaker.
  • the PTS value is set by the broadcasting system 1 on the assumption that each component is output in synchronization with reference to the STC value of the mobile receiving terminal 3 corrected by the PCR information. Therefore, when PCR is reset, discontinuous values are set for the PTSs of the components included in the stream data transmitted after that.
  • the second row shows video ES.
  • ES is compressed data.
  • Video ES is also configured with IDR pictures that can be decoded independently, P pictures that require previous picture data, and B picture powers that require preceding and following picture data.
  • IDR picture is stored in the PES packet so that it is positioned at the beginning of the payload part.
  • the first row shows a video frame! /.
  • the video frame is compressed and obtained by decoding the video ES.
  • FIG. 5 is a diagram showing an internal configuration of the stream data recording apparatus 5 according to the present embodiment.
  • the stream data recording device 5 includes an acquisition unit 11, a packet analysis unit 12, a missing detection unit 13, a time counter unit 14, a reset detection unit 15, a meta information generation unit 16, and a recording control unit 17.
  • the acquisition unit 11 receives the broadcast wave transmitted from the transmission antenna 2 of FIG. 2 by the antenna module, and outputs the TS transmitted by the broadcast wave to the packet analysis unit 12.
  • the acquisition unit 11 uses the antenna module to lower and recover CZN levels, lose RF synchronization, and synchronize RF. When period recovery is detected, the detection result is notified to the packet analysis unit 12.
  • the detection of a CZN level drop or loss of RF synchronization in the antenna module is referred to as “data reception failure start”, and the detection of CZN level recovery or RF synchronization recovery is referred to as “data reception”. This is referred to as “end of reception failure”.
  • the packet analysis unit 12 analyzes the TS header based on an instruction given by the user, acquires a TS packet including a PID to be recorded, and outputs the TS packet to the missing detection unit 13. At this time, if the TS header includes PCR information related to the program to be recorded, the PCR information is extracted and output to the time counter unit 14. However, during the period from when the start of data reception failure is notified from the acquisition unit 11 until the end of data reception failure is notified, the TS packet is discarded without analyzing the header, and further, the start of data reception failure And the end notification is forwarded to the missing detection unit 13.
  • the packet analysis unit 12 also obtains an acquisition unit even if the TD packet data contains errors to such an extent that it cannot be handled by the error correction process, and if the TS header analysis cannot be performed correctly.
  • the same data reception failure start and end notifications notified from 11 are generated and transferred to the missing detection unit 13.
  • Missing detector 13 detects whether or not there is a missing section that is not subject to playback in the stream data being received, and sends the detection result to reset detector 15 and meta information generator 16 Notice.
  • the missing section occurs because the reception radio wave condition deteriorates during the recording of stream data and the TS packet to be recorded cannot be acquired correctly.
  • the missing detection unit 13 outputs the TS packet acquired from the packet analysis unit 12 to the recording control unit 17 while no missing is detected in the missing section. Further, when the missing section is detected as missing, the missing detection unit 13 outputs a discontinuous packet indicating that the preceding and following packets are not continuous to the recording control unit 17.
  • the occurrence of a missing section is detected by the missing detection unit 13 by the following methods 1) to 3).
  • periodic transmission information information periodically included in TS
  • PCR information information periodically included in TS
  • the lack of continuity between packets can be detected in the following cases 2-1) and 2-2).
  • the discontinuityjndicator is information set in the adaptation field of the TS packet, and is information indicating that when the discontinuityjndicator becomes valid, PCR is reset with the TS packet of the same PID that follows.
  • the STC value acquired from the time counter unit 14 at the time when the periodic transmission information was last detected is held in the recording area inside the missing detection unit 13. Yes.
  • the missing detection unit 13 compares the STC value of the time counter unit 14 with the STC value held in the internal recording area, and if the difference exceeds the maximum transmission cycle of the periodic transmission information, the missing unit It can be detected that a section has occurred.
  • the missing detection unit 13 acquires the STC value when the latest periodic transmission information is acquired, and this STC value and the STC when the periodic transmission information is acquired before being held in the internal recording area. A difference from the value may be calculated, and if this difference exceeds the maximum transmission cycle of the periodic transmission information, it may be determined that a missing section has occurred.
  • the time counter unit 14 has an internal clock, refers to the PCR information acquired from the packet analysis unit 12, and synchronizes the internal clock with the PCR value.
  • the value (STC value) of the internal clock of the time counter unit 14 is referred to by the missing detection unit 13, the reset detection unit 15, and the meta information generation unit 16. Furthermore, the time counter unit 14 notifies the meta information generation unit 16 of the acquisition of PCR information each time PCR information is acquired from the packet analysis unit 12.
  • the reset detection unit 15 acquires the detection result of the missing section from the missing detection unit 13, and performs a detection process by referring to the STC value of the time counter unit 14 to determine whether a PCR reset has occurred during the missing period. Notify! /, And notify the meta information generator 16 of the detection result.
  • the meta information generation unit 16 generates meta information based on the detection results of the missing detection unit 13 and the reset detection unit 15.
  • Meta information is data indicating the structure and attributes of stream data.
  • FIG. 6 is a diagram showing a data structure of meta information in the present embodiment.
  • the meta information in this embodiment is composed of the same number of records as the missing sections detected in the stream data, and each record has “missing start time”, “missing end time”, “discontinuous point position information” and “time”. It consists of “offset value”.
  • “Missing start time” is the STC value when a missing section occurs. This is the value of the missing section start time 111 in Fig. 1.
  • the "missing end time” is an STC value when the missing section ends. This is the value of missing section end time 112 in Figure 1.
  • “Discontinuous point position information” is the data position of the TS packet when recording is resumed after the end of the missing section. This is the data position of the first packet recorded after point D in Fig. 1.
  • a serial number assigned from the first packet of the TS to be recorded an offset value from the file head, or the like can be used. In this embodiment, an offset value from the beginning of the file is used.
  • Time offset value is the difference between the STC value and the PCR value when the acquisition of PCR information is first notified after the end of the missing section. This is the time offset value 113 in Fig. 1.
  • the recording control unit 17 in FIG. 5 performs the missing detection unit 13 while the missing section is not detected.
  • the stream data that is also output and the meta information generated by the meta information generating unit 16 are associated with each other and recorded on the recording medium 4. Since the missing detection unit 13 outputs a discontinuous packet when a missing section is detected, the TS data is lost in the stream data recorded by the recording control unit 17 due to the missing section as shown in FIG. A discontinuous packet is inserted at the specified position.
  • the above is the configuration of the stream data recording apparatus.
  • FIG. 8 is a diagram showing a processing procedure of stream data recording processing in the stream data recording device 5 according to the present embodiment.
  • the processing procedure shown in this figure is a processing procedure that is executed when a recording instruction is received from the user, and is roughly divided into the following steps 1 to 4.
  • Step of detecting occurrence of missing section and obtaining missing start time (S101 ⁇ S105)
  • Step for detecting the PCR reset that occurred in the missing section and obtaining the time offset value (S110 to S112)
  • Steps for Recording Generated Meta Information (S113 to S114) First, steps S101 to S105 for detecting occurrence of a missing section of stream data to be recorded will be described.
  • a TS packet including the PID to be recorded is acquired by receiving the broadcast wave by the acquisition unit 11 and filtering by the packet analysis unit 12. (S101).
  • the loss detection unit 13 performs force determination that a TS packet to be recorded acquired by the packet analysis unit 12 is missing. In this TS packet loss detection process, the following 1) to 3) are used to detect the occurrence of a loss.
  • the drop detection unit 13 determines whether it is the start point of the missing section or the missing section (S104). For example, a flag held in a recording area inside the missing detection unit 13 is used to determine whether the force is the starting point of the missing section. The missing detection unit 13 turns this flag ON when determining that it is the start point of the missing section, and turns this flag OFF when determining that it is the end point of the missing section. In S104, when the missing is detected, if the flag is OFF, it is the starting point of the missing section, and if the flag is ON, it can be determined that it is in the missing section.
  • the missing detection unit 13 notifies the meta information generation unit 16 of the start of the missing section, and the meta information generation unit 16 receives the STC when the notification is received.
  • the value is acquired from the time counter 14 and stored as “missing start time” information of the meta information (S105).
  • the clock speed of the time counter unit 14 is controlled so as to synchronize with the PCR included in the TS header.
  • the missing detector 13 When the missing detected by the missing detector 13 is in the missing section that is not the starting point of the missing section (S104: No), the missing detector 13 and the meta information generator 16 do nothing. Next, the end of the missing section is detected, and the missing end time and the position information of the discontinuous points are obtained (S106 to S109).
  • the recording control unit 17 acquires the TS packet from the loss detection unit 13 and records it in the recording medium 4 (S106). It should be noted that a certain amount of data size is recorded on recording medium 4, not every packet. You may record it later. Further, TS packet recording may be executed at other timings as long as it is between S106 force and S113.
  • the missing detection unit 13 determines whether or not the successfully received TS packet is the end point of the missing section (S107). For the determination in S107, for example, the determination is performed using the flag held in the lack detection unit 13 used in the determination in S104. When the missing detection unit 13 determines that this is the start point of the missing section, this flag is turned ON, and when this flag is turned OFF when it is determined that it is the end point of the missing section, the TS packet is normally received. If this flag is ON when it can be received, it can be determined that the end point of the missing section.
  • the missing detection unit 13 notifies the meta information generating unit 16 of the end of the missing section, and the meta information generating unit 16 notifies the notification.
  • the STC value at the time of receipt is acquired from the time counter unit 14 and held as “missing end time” information in the meta information (S108).
  • the meta information generating unit 16 acquires the recording position information of the TS packet from the recording control unit 17 and holds it as “discontinuous point position information” of the meta information (S109).
  • the recording position information of the TS packet the number assigned to the head of the TS packet to be recorded, the offset value from the head of the file, or the like can be used.
  • the processing of S108 and S109 is not performed.
  • the reset detection unit 15 executes a reset detection process for determining whether a PCR reset has occurred in the missing section. Details of the reset detection process will be described later. If a PCR reset has occurred during the missing period (S111: Yes), the reset detection unit 15 notifies the meta information generation unit 16 of the determination result of the PCR reset occurrence and outputs a time offset value. The meta information generation unit 16 acquires the time offset value from the reset detection unit 15 and holds it as the “time offset value” of the meta information (S112). If no PCR reset occurred in the missing section (S 111: No), S 112 is not processed! /.
  • the recording control unit 17 determines the force when there is a recording stop instruction from the user, such as a recording stop instruction or a recording end time (S113), and if there is a recording end instruction (S113: Yes), the recording control unit 17 The control unit 17 acquires the meta information from the meta information generation unit 16, and records the meta information on the recording medium 4 (S114). When the recording stop instruction is not given (S113: No), the process returns to S101 to process the next TS packet again.
  • the meta information is collectively written to the recording medium in S114 when the recording of the stream data is finished.
  • the meta information may be recorded on the recording medium one record at a time. For example, if information for one record has been generated at the timing of determining whether or not there is a recording end instruction in S113, the information for one record held in the meta information generation unit 16 is output to the recording control unit 17.
  • a processing procedure for writing to the recording medium may be used.
  • a recording area for the meta information is secured on the recording medium, and each time the element information of the meta information is acquired in each process of S105, S108, S109, and SI12. It is also possible to output the acquired information to the recording control unit 17 and additionally write the acquired element information to the recording area of the meta information.
  • FIG. 9 is a diagram showing the time change of the STC value when PCR reset is not generated in the missing section.
  • the horizontal axis indicates the continuous time of the head force of the broadcast stream data
  • the vertical axis indicates the STC value.
  • a hatched portion 121 indicates a missing section of stream data.
  • the black circles indicate the PCR time information included in the TS header.
  • a straight line 122 shows how the time counter unit 14 counts up.
  • a broken line 124 indicates a continuous value of the PCR included in the TS header after the end of the missing section and before the first PCR information is acquired.
  • the time offset value 127 indicates the difference between the straight line 122 and the broken line 124.
  • FIG. 10 is a flowchart of a process for detecting a PCR reset using the time offset value.
  • the packet analysis unit 12 analyzes the header of the acquired TS packet and checks whether PCR information is included (S131). If PCR information is not included (S131: No), the PCR reset detection processing procedure shown in this flowchart is terminated. If the header contains PCR information (S131: Yes), the packet analysis unit 12 notifies the reset detection unit 15 via the time counter unit 14, and the reset detection unit 15 acquires the PCR information. (S132). Further, the reset detection unit 15 obtains the STC value before synchronizing with the PCR information from the time counter unit 14 (S133). Then, the time offset value is calculated by comparing the STC value of the time counter unit 14 with the PCR value (S134).
  • STC value Force If it is less than the SPCR value (S135: No), if the time offset value is greater than the threshold TH1 (S137: Yes), it is determined that a PCR reset has occurred and the calculated time offset value Is sent to the meta information generating unit 16 (S136).
  • the above is the processing procedure of the PCR reset detection process focusing on the fact that the time offset value is generated due to the lack of PCR reset.
  • the PID of the TS packet containing the PCR information is changed in the PMT in the missing section! /,
  • the PID change due to this missing PMT It is possible to detect the occurrence of a phenomenon in which a difference between the STC value and the PCR value is generated.
  • Figure 11 shows the relationship between the STC value and PCR when missing sections occur multiple times.
  • the horizontal axis shows the continuous time from the start of stream data reception
  • the vertical axis shows the STC value.
  • the hatched portion 131 indicates the missing section A5 where the received radio wave condition has deteriorated and the TS packet to be recorded is missing
  • the hatched portion 132 indicates the missing section B5.
  • the black circles indicate the PCR time information included in the TS header.
  • a straight line 133 and a straight line 134 indicate how the time counter unit 14 counts up.
  • a broken line 135 indicates a continuous value of the PCR included in the TS header after the end of the missing section B5 until the first PCR information is acquired.
  • the time offset value 136 indicates the difference between the straight line 133 and the broken line 135.
  • Point E5 is the start point of missing section A5
  • point F5 is the end point of missing section B5.
  • Section C5 shows the section in which the stream data between missing section A5 and missing section B5 was successfully received. This section C5 stream data does not contain PCR information.
  • Section D5 indicates the section where stream data was successfully received after missing section B5! This section D5 stream data includes PCR!
  • the meta information generating unit 16 does not perform the process of S105 for the subsequent missing section (missing section B5 in FIG. 11), and this subsequent missing section (FIG. 11).
  • the meta information “missing end time” and “discontinuity point position information” for the missing section (missing section A5 in Fig. 11) for which time offset values could not be calculated. Is replaced by “missing end time” and “positional information of discontinuous points” in the following missing section (missing section B5 in FIG. 11).
  • a method using time information from when video data is received until it is output will be described.
  • the standard specifies, for example, the buffer size and the data retention time in the buffer as a virtual model! /
  • the stream data input to the CPB that holds video stream data is 1.5 seconds. It is stipulated that the data be decoded and output within.
  • CPB is a virtual model buffer defined by MPEG4AVC of ISO / IEC14496-10.
  • FIG. 12 is a diagram showing the relationship between TS and video frames.
  • the first row shows the TS to be recorded, and the second row shows the video frame obtained by decoding the video data contained in the TS.
  • the in-nofer holding time indicates the time from when TS data is received until the video data is decoded and output. This is because, for example, in the “terrestrial digital television broadcast operation regulations”, the data retention time in the CPB is within 1.5 seconds, so the retention time in the buffer can be estimated to be within (1.5 + H) seconds. “a” is the time from when TS data is received until the decoding process starts, depending on the stream data recording device.
  • FIG. 13 is a flowchart of a process for detecting a PCR reset by using the holding time in the noffer.
  • the packet analysis unit 12 analyzes the payload portion of the acquired TS packet and checks whether PTS is included in the PES header! / (S 151). If PTS is included! /,! /, (S 151: No), the processing procedure of the PCR reset detection process shown in this flowchart is terminated. If the PTS force S is included (S 151: Yes), the packet analysis unit 12 notifies the reset detection unit 15 and the reset detection unit 15 acquires the PTS in response to the notification (S 152). The reset detection unit 15 also acquires the STC value at that time for the time counter unit 14 force (S153). Then, the STC value obtained with 14 times of the time counter unit is compared with the PTS, and the retention time in the buffer of the frame with the PTS is calculated (S154).
  • PCR reset detection method using video data is described here.
  • Other components such as audio data may be used instead of video data.
  • the third method for determining whether or not a PCR reset has occurred within the missing section will be described. This is a method for dealing with the case where the PCR information is not included in the section in which the stream data can be normally received in the second method.
  • the PCR reset detection method for the missing section A5 is almost the same as the second method whose processing procedure is shown in FIG.
  • a value obtained by comparing the PTS value and the STC value in S154 of FIG. 13 is held as the buffer holding time of the missing section A5.
  • the meta information generating unit 16 indicates that the meta information “time offset value” for the missing section A5 can still be calculated! Set a value (eg "1").
  • Figure 14 is a flow chart showing a method for detecting a PCR reset for a missing section that occurs after a missing section where the force time offset value at which the PCR reset occurred cannot be calculated.
  • the missing section A5, missing section B5, section C5, and section D5 described in the flowchart of FIG. 14 correspond to those shown in FIG.
  • the retention time in the buffer for section D5 is calculated (S171) o This can be calculated in the same procedure as the processing in S151 to S154 in FIG. Then, the difference from the held time in the buffer in the section C5 is obtained (S172). If this difference is less than or equal to the threshold TH3 (S 173: Yes), the time offset value for section D5 is calculated (SI 74). In this case, it can be determined that the time offset values in section C5 and section D5 are the same value. Therefore, at this time, the reset detection unit 15 notifies the meta information generation unit 16 of this time offset value as the time offset value generated in the missing section A5 (S175). In addition, the meta information generation unit 16 is notified of “0” as the time offset value, assuming that no PCR reset has occurred in the missing section B5.
  • the power to execute the process of FIG. 13 and the process of FIG. 14 are executed. This selection can be made by holding an identification flag in the reset detection unit 15. For example, if the time offset value cannot be calculated and the start of the next missing section is detected, the flag is turned ON. In S173 of FIG. 14, the flag is turned OFF.
  • the process of FIG. 14 may be executed, and if the flag is OFF, the process of FIG. 13 may be executed.
  • FIG. 15 is a diagram showing an internal configuration of the stream data reproducing device 6 according to the present embodiment.
  • the recording medium 4 holds the stream data and meta information recorded by the stream data recording device 5.
  • the stream data reproduction device 6 includes an acquisition unit 21 and a decoding unit 22 inside.
  • An output unit 23 a meta information analysis unit 24, a time counter control unit 25, a time counter unit 26, and a time lj counter ⁇ 27.
  • the acquisition unit 21 acquires meta information and stream data for the recording medium 4 based on an instruction from the user, outputs the stream data to the decoding unit 22, and outputs the meta information to the meta information analysis unit 24. .
  • the decoding unit 22 acquires stream data from the acquisition unit 21, decodes the acquired stream data, and generates video data, audio data, caption data, and the like. Then, referring to either the time counter unit 26 or the time counter unit 27, the decoded data of each component is read at the timing when the PTS of each component such as audio and video matches the STC value of the reference destination. Output to output unit 23.
  • the reference destination of the STC value is the time when the playback processing reaches the stream data position notified from the meta information analysis unit 24.
  • the clock counter unit 26 and the time counter unit 27 are switched alternately.
  • the decoding unit 22 notifies the time counter control unit 25 of the PCR value.
  • the output unit 23 outputs the video signal and audio signal acquired from the decoding unit 22 to a display, a speaker, or the like.
  • the meta information analysis unit 24 analyzes the meta information acquired from the acquisition unit 21 and notifies the time counter control unit 25 of “time offset value” and “missing end time” in order to reset the STC value. To do. Further, the meta information analysis unit 24 notifies the decoding unit 22 of the stream data position for switching the reference time counter based on the “discontinuous point position information” of the meta information.
  • the time counter control unit 25 Based on the PCR value notified from the decoding unit 22, the time counter control unit 25 synchronizes the side of the time counter unit 26 and the time counter unit 27 that the decoding unit 22 is referring to. The time counter control unit 25 further resets the side of the time counter unit 26 and the time counter unit 27 that are not referred to by the decoding unit 22 by using the time offset value acquired from the meta information analysis unit 24. The resetting of the time counter using the time offset value is executed at the timing when the decoding unit 22 refers to the “missing end time” of the STC value data information of the other time counter.
  • the time counter unit 26 and the time counter unit 27 serve as a clock that is referred to by the decoding unit 22 in order to output the video signal, the audio signal, and the like generated by the decoding unit 22 at the same timing.
  • FIG. 16 is a diagram showing changes in the time counter unit 26 and the time counter unit 27 when reproducing stream data in which PCR reset has occurred in the missing section.
  • the horizontal axis of the graph shows the continuous time of the stream data playback start.
  • the vertical axis is the time counter The counter value is shown.
  • a hatched portion 141 indicates a missing section.
  • the black circles indicate the PCR time information contained in the TS header.
  • the straight line 142 shows the count up of the time counter unit 26, and the broken line 143 shows the count up of the time counter unit 27.
  • a time offset value 146 indicates a difference between the time counter unit 26 and the time counter unit 27.
  • Point A6 indicates the timing for resetting the value of the time counter unit 27
  • point B6 indicates the timing for switching the time counter referenced by the decoding unit 22 from the time counter unit 26 to the time counter unit 27.
  • the time counter needs to re-synchronize with the reset PCR after the missing section ends.
  • FIG. 17 is a diagram showing a processing procedure of stream data reproduction processing in the stream data reproduction device 6 according to the present embodiment.
  • the acquisition unit 21 reads meta information from the recording medium 4 and outputs it to the meta information analysis unit 24 (S201).
  • Meta Information Analysis Unit 24 Selects the record related to the missing section that is closest to the current stream data playback position after the current stream data playback position among the records registered in the meta information (S202), and decodes the selected record. (S203).
  • the decoding unit 22 receives the stream data to be played back read from the recording medium 4 by the acquisition unit 21 and the position information of the file head force related to the acquisition part (S204), and the position information from the beginning of the file Is compared with the “discontinuous point position information” of the meta information acquired from the meta information analysis unit 24 to determine whether the stream data to be reproduced is discontinuous with the previous data (S205).
  • the decoding unit 22 performs decoding processing to generate video data, audio data, and caption data. Subsequently, the decoded component data is output to the output unit 23 at a timing that matches the time counter referenced by the PTS of each component (S215).
  • the decoding unit 22 refers to the “time offset value” of the meta information. If the referenced time offset value is “0” (S207: Yes), there is no PCR reset in the missing section and there is no need to reset the time counter. Play and output stream data.
  • the decoding unit 22 notifies the meta information analysis unit 24 that the stream data to be processed has reached a discontinuous position with the previous data. Upon receiving the notification, the meta information analysis unit 24 notifies the time counter control unit 25 of the “time offset” of the record selected in S202 (S208).
  • the decoding unit 22 compares the counter value of the time counter unit on the other side with the "missing end time" of the meta information. (S209). If they do not match (S210: No), it is still the processing timing of the data before the discontinuity point, so the processing of S215 is executed and the data before the discontinuity point is reproduced and output. [0087] When the missing end time matches the counter value of the time counter unit (S210: Yes), the decode unit 22 refers to either the time counter unit 26 or the time counter unit 27. Is notified to the time counter control unit 25. Upon receiving the notification, the time counter control unit 25 subtracts the value obtained by subtracting the “time offset value” notified in S208 from the counter value of the other time counter to the time counter not referred to by the decoding unit 22. Set (S211).
  • the decoding unit 22 switches the time counter unit to be referred to by executing the processes of S212 to S214.
  • the decoding unit 22 first determines the force of outputting all data before the “discontinuous point position information” of the meta information (S212). This determination is made, for example, when the stream data to be reproduced is the one in which a discontinuous packet is inserted by the missing detection unit 13 of the stream data recording device 5 at the time of recording, and the data generated by the decoding process is sent to the output unit 23. This can be realized by judging whether or not the power of processing up to discontinuous packets is output.
  • the decoding unit 22 acquires the stream data from the acquiring unit 21, the discontinuous stream data position is not discontinuous. By inserting the indicated data, it is possible to determine whether or not the data indicating the discontinuity is processed when the data generated by the decoding process is output to the output unit 23.
  • the output unit 23 determines whether or not a reproduction stop instruction is issued by the user and the reproduction process is performed up to the end of the file (S216). If there is no playback end instruction, the process returns to S201 to process the next data again.
  • the operation procedure of the force stream data reproducing device 6 has been described above. According to the above embodiment, when recording the stream data in a state where the received radio wave is weak! When the recorded stream data is reproduced, the stream data is reproduced at the timing intended by the broadcasting system by correcting the time counter of the stream data reproduction device based on the offset value. be able to.
  • FIG. 18 is a diagram showing a data structure of meta information according to the second embodiment.
  • the meta information according to the present embodiment includes the same number of records as the missing sections detected in the stream data, and each record includes “missing start point PTSJ” missing end point PTS ”“ discontinuous point position information ”. ”And“ reproduction time ”.
  • the “missing start point PTS” is the PTS of the video frame of the stream data received before the occurrence of the missing section.
  • the “missing end point PTS” is the PTS of the video frame of the stream data received after the end of the missing period.
  • the “discontinuous point position information” is the position of the TS packet including “missing end point PTS”.
  • the serial number assigned to the head of the TS packet to be recorded, the offset value from the head of the file, or the like can be used. In this embodiment, an offset value from the beginning of the file is used.
  • Playback time is a playback time when stream data included in a missing section can be played back. This is the value force obtained by subtracting “missing start point PTS” from “missing end point PTS”. ⁇ Stream data recording device>
  • FIG. 19 is a diagram showing an internal configuration of the stream data recording apparatus 7 according to the second embodiment.
  • the stream data recording device 7 has a configuration in which a reproduction time calculation unit 18 is added to the stream data recording device 5 shown in FIG. 5 and the meta information generation unit 16 is replaced with a meta information generation unit 19.
  • the reproduction time calculation unit 18 receives the notification of the reset detection result from the reset detection unit 15, and corresponds to the section in which the stream data to be recorded is lost due to deterioration of the received radio wave condition or the like. Is a functional block for calculating. The reproduction time calculation unit 18 notifies the meta information generation unit 19 of the calculated reproduction time.
  • the meta information generation unit 19 generates meta information whose data structure is shown in FIG. 18 based on the detection result of the missing detection unit 13 and the reproduction time calculated by the reproduction time calculation unit 18.
  • FIG. 20 is a flowchart showing the processing procedure of the stream data recording process in the stream data recording device 7.
  • the operation procedure of the stream data recording device 7 will be described with reference to FIG. 20, focusing on the difference from the operation procedure of the stream data recording device 5 shown in FIG.
  • the processing procedure shown in FIG. 20 is a processing procedure that is executed when a recording instruction is received from the user, and is roughly divided into the following steps 1 to 4.
  • Steps to detect the PCR reset that occurred in the missing section and calculate the playback time (S310 ⁇ S314)
  • Step of recording generated meta information (S315 to S316) First, the steps of S301 to S305 for detecting occurrence of a missing section of stream data to be recorded will be described. Processing from S301 to S305 This corresponds to the processing from S101 to S105 in FIG. 8, but when the detected missing TS packet is the start point of the missing section (S304: Yes), S305) is different from the process of S105 in FIG.
  • the missing detection unit 13 notifies the meta information generation unit 19 of the start of the missing section, and the received meta information generation unit 19 receives the output time of the video frame output before the occurrence of the missing section. Is acquired and stored as “missing start point PTS” information in the meta information (S305).
  • the packet analysis unit 12 each time the packet analysis unit 12 analyzes the video PES header and detects the PTS included in the PES header, the packet analysis unit 12 outputs the detected PTS to the missing detection unit 13 and the missing detection unit 13
  • the meta information generation unit 19 notifies the meta information generation unit 19 of the last acquired PTS, so that the output time of the video frame output by the meta information generation unit 19 before the occurrence of the missing section is obtained. Can be acquired.
  • Step S306 to S309 will be described below. Processes from S306 to S309 Until the completion of the missing section (S307: Yes), the process to be executed (S308) is the same as the process of S106 to S109 in FIG. This is different from the processing of S108 in FIG.
  • the loss detection unit 13 notifies the meta information generation unit 19 of the end of the missing section, and the meta information generation unit 19 obtains the output time of the video frame to be output after the end of the missing section. It is stored as “missing end point PTS” information (S308). For example, each time the packet analysis unit 12 analyzes the video PES header and detects the PTS included in the PES header, the packet analysis unit 12 outputs the detected PTS to the loss detection unit 13, and the loss detection unit 13 After detecting the end of the missing section, the first acquired PTS is passed to the meta information generator 19 By knowing, it is possible to acquire the output time of the video frame that the meta information generation unit 19 outputs after the end of the missing section.
  • steps S310 to S314 for detecting a PCR reset that has occurred in the missing section and calculating the playback time will be described. Processing from S310 to S314 This corresponds to the processing from S110 to S112 in Fig. 8, but the processing to be executed when a PCR reset occurs during the missing section (S311: Yes) (S312 to S314) However, this is different from the processing procedure in Fig. 8.
  • the reset detection unit 15 acquires the time offset value and notifies the reproduction time calculation unit 18 of the time offset value.
  • the playback time calculation unit 18 notified of the time offset value obtains the “missing start point PTS” and the “missing end point PTS” from the meta information generation unit 19, and obtains the time offset value “missing start point PTS”. ”And“ PTS of missing end point ”are used to calculate the playback time corresponding to the video frame included in the missing section. Details of the playback time calculation process will be described later.
  • the meta information generation unit 19 acquires the reproduction time from the reproduction time calculation unit 18, and holds it as “reproduction time” of the meta information.
  • FIG. 21 is a diagram showing how the PTS and the time counter included in the stream data change when a PCR reset is not generated in the missing section.
  • the horizontal axis shows the continuous time of the power at the start of stream data reception.
  • the vertical axis shows the value of the time counter.
  • a hatched portion 151 indicates a missing section.
  • a straight line 152 shows how the time counter unit 14 counts up.
  • Missing section start PTS 154 is the value of the time counter unit 14 at the output timing of the video frame output before the missing section occurs.
  • Missing section end PTS155 is the PTS value obtained from the video PES header after the missing section ends.
  • FIG. 22 shows how the PTS and time counter included in the stream data change when a PCR reset occurs in the missing section.
  • the horizontal axis shows the continuous time from the start of stream data reception.
  • the vertical axis shows the time counter value.
  • a hatched portion 161 indicates a missing section.
  • the black circles indicate the PCR time information included in the TS header.
  • a straight line 162 and a straight line 163 indicate how the time counter unit 14 counts up.
  • a broken line 164 indicates a continuous PCR value included in the TS header after the end of the missing period and before the first PCR is acquired.
  • Missing section start PTS165 is the value of the output timing time counter 14 of the video frame output before the missing section occurs.
  • Missing section end PTS 166 is the value of the PTS obtained from the video PES header after the missing section ends.
  • the time offset value 167 is the difference between the straight line 162 and the broken line 164.
  • Missing section start PTS 165 is synchronized with time counter section 14 because PTS 165 is based on PCR before PCR reset.
  • the value of PTS166 is set so that it is processed based on PCR after PCR reset, it is not synchronized with time counter unit 14. For this reason, since the reference for the missing section end PTS 166 and the missing section start PTS 165 is different, the playback time corresponding to the missing section cannot be obtained simply by taking the difference.
  • the missing section end PTS 166 is adjusted to the same standard as the missing section start PTS 165 using the time offset value 167.
  • the correction end PTS 168 is a missing section end PTS corrected by adding the time offset value 167 to the missing section end PTS 166 to the same standard as the missing section start PTS 165.
  • Compensation end PTS168 and missing section start PTS165 are based on the same standard Therefore, the playback time corresponding to the missing section can be obtained from the difference between the correction end PTS168 and the missing section start PTS165.
  • FIG. 27 is a flowchart showing a processing procedure for the playback time calculation unit 18 to calculate the playback time.
  • the playback time calculation unit 18 obtains the PTS of the missing end point from the meta information generation unit 19 (S351). 0 If a PCR reset has occurred in the missing period, the playback time calculation unit 18 uses the reset detection unit 15 The calculated time offset value is acquired (S352). Then, the playback time calculation unit 18 adds the time offset value to the missing end point PTS to correct the missing end point PTS (S353). At this time, the PTS value at the end point of missing meta information is not rewritten.
  • the playback time calculation unit 18 acquires the PTS of the missing start point from the meta information generation unit 19 (S354). Then, the PTS of the missing start point is subtracted from the PTS of the missing end point, and the playback time corresponding to the stream data included in the missing section is calculated (S355). The calculated playback time is notified to the meta information generating unit 19 (S 314).
  • the PTS information and the frame rate included in the PES header are used to interpolate the PTS of the audio frame and video frame, thereby missing the missing point.
  • the PTS information and the frame rate included in the PES header are used to interpolate the PTS of the audio frame and video frame, thereby missing the missing point.
  • FIG. 24 shows the relationship between the PTS included in the audio PES header and the audio frame.
  • the top row shows the audio PES. “Include PTS” indicates PES information including PTS information! PES, and “Does not include PTS! /,” Indicates PTS information includes PTS information! /, NA! /, PES.
  • the reception deterioration section is the section where the stream data could not be acquired correctly due to the deterioration of the received radio wave condition.
  • the lower row shows an audio frame generated by decoding the audio PES. In S305 of FIG. 20, when the PTS included in the PES header is used as the missing start PTS, point A7 in FIG. 24 is the starting point of the missing section. For this reason, audio frames up to A7 point B7 point are not output. Therefore, the stream data that can be reproduced can be increased by using the PTS at the B7 point interpolated in the PTS included in the PES header as the missing start PTS.
  • Force which is the PTS calculation method for point B7
  • the force for point A7 is also obtained by decoding the stream data contained in point B7 to determine the number of frames. Then, from the frame rate defined by the number of frames and the stream data, the playback time of the A7 point to B7 point frame can be obtained and added to the A7 point PTS. If the bit rate is fixed, it can be calculated from the byte length and bit rate of the audio ES from point A7 to point B7.
  • FIG. 25 is a diagram showing an internal configuration of the stream data reproducing device 8 according to the second embodiment.
  • Stream data playback device 8 removes the time counter unit 27 from the stream data playback device 6 shown in FIG. 15 and replaces the decoding unit 22, the meta information analysis unit 24, and the time counter control unit 25 with a decoding unit 28 and a meta information analysis unit, respectively.
  • the configuration is replaced with the unit 29 and the time counter control unit 30.
  • the decoding unit 28 decodes the stream data acquired from the acquisition unit 21 to generate component data such as video data, audio data, and caption data, and refers to the STC value of the time counter unit 26.
  • component data such as video data, audio data, and caption data
  • the PTS set for each component is output to the output unit 23 at the timing when it matches the counter value.
  • the decoding unit 28 notifies the time counter control unit 25 of the PCR value.
  • the difference between the decoding unit 28 and the decoding unit 22 is that it is determined whether the data to be decoded is discontinuous with the previous data by referring to the "discontinuous point position information" in the meta information. However, in the case of discontinuity, the frame decoded immediately before is continuously output during the time indicated by the “reproduction time” of the meta information. After the time indicated by “reproduction time” has elapsed, the decoding unit 28 notifies the time counter control unit 30 that the reproduction time corresponding to the missing section has ended.
  • the screen is displayed during the time indicated by the "reproduction time” instead of the still picture table display of the frame decoded immediately before. May be dark-displayed or other colors may be displayed on the screen.
  • the playback position jumps to the discontinuous data by immediately notifying the time counter control unit 30 to reset the time counter value. May be.
  • the meta information analysis unit 29 analyzes the meta information acquired from the acquisition unit 21, and notifies the decoding unit 28 of "position information of discontinuous points" and "reproduction time”. Further, the meta information analysis unit 29 notifies the time counter control unit 30 of “missing end point PTS” necessary for resetting the STC value.
  • the time counter control unit 30 adds the time counter unit to the PCR value notified from the decoding unit 28. Synchronize 26. Further, when the end of the playback time corresponding to the missing section is notified from the decoding unit 28, the time counter control unit 30 detects the time counter at the time indicated by the “missing end point PTS” notified from the meta information analysis unit 29. Reset part 26.
  • FIG. 26 is a diagram showing a processing procedure of stream data reproduction processing in the stream data reproduction device 8 according to the second embodiment.
  • the acquiring unit 21 reads meta information from the recording medium 4 and outputs it to the meta information analyzing unit 29 (S401).
  • the meta information analysis unit 29 selects a record related to the missing section that is closest to the position where the “discontinuity point position information” is after the current stream data reproduction position from among the records registered in the meta information (S402). Further, the meta information analysis unit 29 notifies the decoding unit 28 of the “discontinuity point position information” and “playback time” of the selected record, and the “missing end point PTS” of the selected record. Notification to the control unit 30 is made (S403).
  • the decoding unit 28 receives the stream data to be played back read from the recording medium 4 by the acquisition unit 21 and the position information of the file head force regarding the acquisition part (S404), and the position information from the beginning of the file Is compared with the “discontinuous point position information” of the meta information acquired from the meta information analysis unit 29, and it is determined whether the stream data to be reproduced is discontinuous with the previous data (S405).
  • the decoding unit 28 performs decoding processing to generate video data, audio data, and caption data. Thereafter, at the timing when the PTS of each component matches the STC value of the time counter unit 26, the decoded component data is output to the output unit 23 (S413).
  • the decoding unit 28 determines whether all the data before the "discontinuous point position information" in the meta information has been output. (S407). For example, if the stream data to be played back has a discontinuous packet inserted at the time of recording, the data generated by decoding is processed up to the discontinuous packet when output to the output unit 23. This can be realized by determining whether or not it is power. In addition, when discontinuous packets are inserted at the time of recording and stream data is to be played back, when the decoding unit 22 acquires stream data from the acquisition unit 21, the stream data position that becomes discontinuous is not included. By inserting data indicating continuity, it is possible to determine whether or not data indicating discontinuity has been processed when data generated by decoding is output to the output unit 23.
  • the decoding unit 28 determines whether or not the “reproduction time” of the meta information has passed (S409). For this determination, first, the STC value when the decoding unit 28 outputs the last data before the discontinuous point is obtained from the time counter unit 26, and the “reproduction time” of the meta information is added. The elapsed playback time can be determined based on whether or not the value of the addition result matches the counter value of the time counter unit 26.
  • the decode unit 28 waits without performing output processing of data after the discontinuous point until the playback time elapses.
  • the decoding unit 28 notifies the time counter control unit 30 that the playback time corresponding to the missing section has ended (S411).
  • the time counter control unit 30 resets the count value of the time counter unit 26 to the “missing end point PTS” value notified from the meta information analysis unit 29 in S403 (S412). Thereafter, the processing of S413 is executed to reproduce and output data after the discontinuous point.
  • the output unit 23 determines whether or not the playback has been stopped until the end of the file or the end of the file (S414). If there is a playback end instruction (S414: Yes), the playback process ends and the playback end instruction is received. If the power is strong (S414: No), the process returns to S401 to process the next data again.
  • video data is used to generate meta information.
  • 1S audio data may be used.
  • the reception radio wave is weak by predicting the playback time of either video data or audio data in a section that could not be normally received and generating and holding it as meta information.
  • the stream data recorded in the above is played back, it can be played back at the timing intended by the broadcasting system.
  • meta information is generated using time information of either audio data or video data.
  • time information of both audio data and video data is used.
  • FIG. 27 is a diagram showing a data structure of meta information according to the third embodiment.
  • the meta information according to the present embodiment includes a record corresponding to video data and a record corresponding to audio data for each missing section detected in the stream data, the number of records is twice the number of missing sections. There will be power. This is meta information when the odd-numbered record is targeted for video data, and meta-information when the even-numbered record is targeted for audio data.
  • Each record is composed of “missing start point PTS”, “missing end point PTS”, “discontinuous point position information”, and “playback time”.
  • the “missing start point PTS” is the PTS of the audio frame or video frame of the stream data received before the occurrence of the missing section.
  • PTS at missing end point is the PTS of the audio frame or video frame of the stream data received after the end of the missing period.
  • the "discontinuity point position information" is the position of the TS packet including "missing end point PTS”.
  • Data location information includes the number at the beginning of the TS packet to be recorded and the offset value from the beginning of the file.
  • the offset value from the beginning of the file Use the offset value.
  • Playback time is the playback time of an audio frame or video frame when the stream data included in the missing section can be played back. This is the value obtained by subtracting “missing start point PTS” from “missing end point PTS”.
  • the first difference is that the PTS of the missing start point is obtained for each of the video frame and the audio frame in the processing of S305 executed when the starting point of the missing section is detected.
  • the meta information generation unit 19 acquires the PTS of the video frame output before the occurrence of the missing section, and the “missing start point of the video data in the odd-numbered lines of the meta information. As PTS information. Also, the meta information generation unit 19 acquires the PTS of the audio frame output before the occurrence of the missing section, and holds it as “missing start point PTS” information of the audio data in the even-numbered lines of the meta information.
  • the second difference is that the PTS of the missing end point is obtained for each of the video frame and the audio frame in the processing of S308 executed when the end point of the missing section is detected.
  • the meta information generation unit 19 obtains the PTS of the video frame to be output after the end of the missing section, and the “missing end point PTS” information of the video data in the odd line of the meta information. Hold as. Also, the meta information generation unit 19 acquires the PTS of the audio frame output after the end of the missing section, and holds it as “missing end point PTS” information of the audio data in the even-numbered lines of the meta information.
  • the third difference is that the recording position information is acquired for each of the video frame and the audio frame in the processing of S309.
  • the meta information generation unit 19 acquires the recording position of the TS packet including the “missing end point PTS” information of the video data from the recording control unit 17, and the meta information The information is held as “discontinuous point position information” of the video data in the odd-numbered lines of the report. Further, the meta information generation unit 19 obtains the recording position of the TS packet including the “missing end point PTS” information of the audio data from the recording control unit 17, and “discontinuous” of the audio data in the even line of the meta information. It is stored as “point position information”.
  • the fourth difference is that, in the processing of S313, the playback time corresponding to the data included in the missing section is calculated for each of the video frame and the audio frame.
  • the playback time calculation unit 18 acquires the “missing start point PTS” and “missing end point PTS” of the video data from the odd-numbered lines of the meta information generation unit 19, and the missing information.
  • the playback time corresponding to the video data included in the section is calculated.
  • the playback time calculation unit 18 obtains “missing start point PTS” and “missing end point PTS” of the audio data from the even-numbered lines of the meta information generation unit 19 to obtain audio data included in the missing section.
  • the playback time corresponding to is calculated.
  • the time offset value is a difference between the PCR and the STC value of the time counter unit 14, and is common to video data and audio data. Therefore, the playback time can be calculated with the same logic for both video data and audio data.
  • FIG. 28 is a diagram showing an internal configuration of the stream data reproducing device 8 according to the third embodiment.
  • the stream data playback device 9 adds a status display unit 33 to the stream data playback device 8 whose configuration is shown in FIG. 25, and adds a decoding unit 28 and a time counter control unit 30 to a decoding unit 31 and a time counter control unit 32, respectively. It is the structure replaced with.
  • the decoding unit 31 decodes the stream data acquired from the acquisition unit 21 to generate video data and audio data. And referring to the time counter unit 26, Audio data or video data is output to the output unit 23 at regular intervals based on each frame rate! /.
  • the decoding unit 31 further refers to the "discontinuity point position information" in the meta information to determine whether the data to be decoded is discontinuous with the previous data.
  • the output to the output unit 23 is stopped for the time indicated by the “reproduction time” of the meta information.
  • the time counter control unit 32 resets the counter value of the time counter unit 26 in accordance with the stream data PCR at the start of reproduction.
  • the time counter 26 is not reset during playback.
  • the status display unit 33 acquires the meta information from the meta information analysis unit 29, generates a screen that presents to the user that there is a missing section in the recorded stream data, and outputs the screen via the output unit 23. And output to the monitor.
  • the display processing by the status display unit 33 is performed, for example, as shown in (a) of FIG. 29, in which the entire stream data is displayed at a ratio corresponding to the length of time of each section. Place and display on the bar object shown.
  • the position of the missing section may be displayed in a bar object indicating the length of reproducible stream data.
  • the time when the stream data to be recorded was broadcast and the time when the actually recorded stream data can be reproduced are presented to the user. It is good also as a structure. Furthermore, when the status display unit 33 requests the user to specify the jump destination, as shown in (d) of FIG. 29, the section that can be specified as the jump destination and the impossible section are displayed as one bar object. Generate the image shown above and output it to the monitor.
  • FIG. 30 is a diagram schematically showing the mobile receiving terminal 3 on which an image showing a reproduction state is displayed.
  • the decoded reproduction image is displayed on the video output part 10a on the monitor 10 of the mobile receiving terminal 3, and information indicating the reproduction state generated by the state display part 33 is displayed in the state display part 10b. Displayed on.
  • Information indicating the playback state displayed in the status display portion 10b includes a playback position display bar object 10c and a playback time display 10d.
  • FIG. 30 shows the playback state. It is a figure which shows an example of the display method of the image shown.
  • the playback position display bar object 10c is a bar object indicating the length of the entire stream data, and missing sections are arranged according to the position and length of each section. Each section divided on the bar object is displayed in different colors according to the types of components that can be played back in that section. Specifically, the section 10e where both video and audio can be played is displayed in green, the section 10f indicating the missing section of only one of video and audio is orange, and the missing section of both video and audio is displayed The section 10g where is overlapped is displayed in red. Furthermore, the playback position display bar object 10e displays the leftmost force bold frame according to the amount of playback completed, thereby facilitating grasping what force the current playback position is.
  • the playback time display 10d is a character string showing the current playback time and the playback time of the entire stream data side by side.
  • the character string of the playback time display 10d is displayed when the current playback position is a missing video section and the video output portion 10a is darkened. Note that the display color of the playback time display 10d may be changed according to the type of the component being played, as with the playback position display bar object 10c.
  • video Warning images such as pop-up 10c and icons may be displayed on the output part 10a.
  • FIG. 31 is a diagram showing a processing procedure of stream data reproduction processing in the stream data reproduction device 9 according to the third embodiment.
  • the acquisition unit 21 reads meta information from the recording medium 4 and outputs it to the meta information analysis unit 29 (S501).
  • Meta Information Analysis Section 29 Is the record of odd-numbered video data for the missing section that is closest to the current stream data playback position after the current stream data playback position, and the subsequent even-numbered lines of the records registered in the meta information.
  • the audio data record is selected (S502).
  • the meta information analysis unit 29 notifies the decoding unit 28 of the “discontinuity point position information” and “playback time” of the two selected records, and “missing end point PTS” of the two selected records. Is notified to the time counter control unit 30 (S503).
  • the decoding unit 31 receives the reproduction target stream data read from the recording medium 4 by the acquisition unit 21 and the position information from the beginning of the file regarding the acquisition portion (S504).
  • the decoding unit 31 refers to the “discontinuity point position information” of the odd-numbered video data in the meta information, and the video data to be played is discontinuous with the previous data! / judge. Also, by referring to the “discontinuity point position information” of the audio data in the even lines of the meta information, it is determined whether the audio data to be played is discontinuous with the previous data!
  • the decoding unit 31 performs decoding processing to generate video data or audio data.
  • the decoding unit 31 refers to the time counter unit 26 and outputs the generated audio data or video data to the output unit 23 at regular intervals based on the respective frame rates (S511).
  • the output of only the first audio frame and video frame at the start of playback starts at the timing when each PTS matches the counter value of the time counter unit 26.
  • Subsequent audio and video frames are output at regular intervals based on their frame rates.
  • the decoding unit 31 reads the “discontinuous point position information” before the odd-numbered row of the meta information. It is determined whether all the audio data before the “discontinuous point position information” in the even-numbered line of the video data or meta information has been output (S507). Data before discontinuity If is left (S508: No), the processing of S511 is executed and the data before the discontinuity is output. When all the video data before the discontinuity has been processed (S508: Yes), the decoding unit 31 determines whether or not the “reproduction time” of the video data on the odd-numbered lines of the meta information has passed ( S509).
  • the decoding unit 28 determines whether or not the “reproduction time” of the audio data in the even-numbered lines of the meta information has passed ( S509). If the reproduction time has not yet elapsed (S510: No), the decoding unit waits without performing output processing of data after the discontinuous point until the reproduction time has elapsed.
  • the decoding unit 31 executes the process of S413 to reproduce and output data after the discontinuous point.
  • the stream data after the discontinuous point is played back and output, when the “playback time” of the meta information has elapsed, the timing power playback output is started, and thereafter, output at regular intervals based on the frame rate.
  • the reproduction time of both the video data and the audio data in a powerful section that cannot be normally received is predicted and generated and held as meta information.
  • the video data and the audio data are synchronized. For each, by waiting for playback during the playback time of the meta information, video data and audio data can be played back synchronously at the timing intended by the broadcasting system even after the end of the missing section.
  • the present invention may be a stream data recording method and reproduction method disclosed by the processing procedure of the flowchart described in each embodiment. Further, the present invention may be a computer program including a program code that causes a computer to operate according to the processing procedure. However, even if it is a digital signal that can also be a computer program.
  • the present invention also provides a computer-readable recording medium such as a flexible disk, hard disk, CD-ROM, MO, DVD, DVD-ROM, DVD-RAM, BD ( It may be recorded on a Blu-ray Disc) or semiconductor memory.
  • a computer-readable recording medium such as a flexible disk, hard disk, CD-ROM, MO, DVD, DVD-ROM, DVD-RAM, BD ( It may be recorded on a Blu-ray Disc) or semiconductor memory.
  • the present invention may also be such that the computer program or the digital signal is transmitted via a telecommunication line, a wireless or wired communication line, a network represented by the Internet, or the like.
  • the computer program or the digital signal may be recorded on the recording medium and transferred, or the computer program or the digital signal may be transferred via the network or the like to be independent. It may be implemented by a computer system.
  • the present invention can also be implemented as an LSI that controls the stream data recording device and the stream data reproducing device described in the first to third embodiments.
  • Such an LSI can be realized by integrating the functional blocks enclosed by broken lines in FIGS. 5, 15, 19, 25, and 28. These functional blocks can be individually chipped, or they can be chipped to include some or all of them!
  • IC integrated circuit
  • LSI system LSI
  • super LSI non-linear LSI depending on the difference in power integration
  • the method of circuit integration is not limited to LSI, and may be realized by a dedicated circuit or a general-purpose processor. You can use an FPGA (Field Programmable Gate Array) that can be programmed after LSI manufacturing, or a reconfigurable processor that can reconfigure the connection and settings of circuit cells inside the LSI.
  • FPGA Field Programmable Gate Array
  • the present invention is not limited to stream data acquired with digital broadcast signal power, but can also be implemented as a stream data editing device that generates meta information using stream data already recorded on a recording medium as an analysis target. is there.
  • a stream data editing device has the configuration shown in FIGS. 5 and 19 and the acquisition unit 11 reads out the stream data already recorded on the recording medium 4 in the recording medium 4 and reads out the stream data read out. This is realized by making the system data a target of processing.
  • the apparatus can record the stream data acquired from the broadcast wave on the recording medium and then read the stream data when the apparatus is idle to generate meta information. It is beneficial from the viewpoint of reducing the load!
  • the meta information is recorded on the same recording medium as the stream data.
  • the meta information and the stream data according to the present invention are associated with each other. If so, they may be recorded on different recording media. For example, when the data size of the stream data is larger than the capacity of the recording medium, the stream data is divided and recorded on a plurality of recording media, and each portion of the stream data recorded on each recording medium is missing.
  • the present invention can be applied by collectively recording the meta information of the section on any one recording medium and attaching a common ID to each part of the stream data and the meta information.
  • the stream data recording apparatus provides a time offset for correcting the STC value for a section in which the PCR included in the stream data is unknown due to a bad reception radio wave condition at the time of recording the stream data.
  • the stream data reproducing apparatus generates information and corrects the time counter using the time offset information at the time of reproduction, thereby reproducing the stream data at a timing intended by the broadcasting system.
  • the present invention can be effectively handled as described above even when the received radio wave condition deteriorates during recording of stream data, and is useful for digital broadcast reception at a mobile receiving terminal.

Abstract

 ストリームデータの記録時に、ストリームデータにおける欠落区間の位置を特定する位置情報と欠落区間に含まれていたPCRが取得できていた場合に、PCRに同期して時刻カウンタが示したであろう時刻を特定する時刻補正情報とを、ストリームデータに対応付けて記録する。このように時刻補正情報及び位置情報と共に記録したストリームデータの再生時には、位置情報と時刻補正情報とを参照することで、欠落が終了する位置で時刻カウンタを放送システムが意図していた時刻に設定し直すことができる。

Description

明 細 書
ストリームデータ記録装置、ストリームデータ編集装置、ストリームデータ再 生装置、ストリームデータ記録方法、及びストリームデータ再生方法
技術分野
[0001] 本発明はディジタル放送などで送出されたストリームデータを受信して記録媒体に 記録し、記録媒体に記録されたストリームデータを再生する技術に関し、特に、送出 されたストリームデータの一部が受信時に欠損した場合の対処に関する。
背景技術
[0002] 従来、テレビ受信装置等の固定受信端末に向けたオーディオ、ビデオなどのストリ ームデータ放送では、 BCH (Bose, Chaudhuri, Hocquenghem)符号や RS (Rea d Solomon)符号など、受信側で誤り訂正可能な符号ィ匕方式を採用して伝送誤りに 対処している。
このような固定受信端末に向けたストリームデータ放送で発生する伝送誤りは、ビル の反射波によるマルチパス障害や、悪天候などの影響で、送信信号にノイズが混在 することに起因する。
特許文献 1:特開 2001— 309262号公報
発明の開示
発明が解決しょうとする課題
[0003] ところで、時間や場所を選ぶことなくオーディオ、ビデオなどのストリームデータを手 軽に楽しむ手法として、移動体受信端末に向けたストリームデータ放送の普及が見 込まれている。
移動体受信端末でストリームデータを受信する場合には、従来の固定受信端末で 受信する場合とは異なり、移動体受信端末自体が電波が届きにくく受信状況の悪い 場所へ移動することもあり、数秒間にわたり正確な送信信号を得ることができなくなる t 、う状況が頻繁に発生しうる。
[0004] このような状況では、悪天候やマルチパスによる伝送障害等を想定していた従来の 誤り訂正処理では対処できず、ストリームデータは一部欠落して記録されることがある 。こうして正しく受信できず一部に欠落が発生したストリームデータを記録し、再生す る場合には、放送システムと受信端末との同期に関して以下のような問題が生じる。 ここでまず、デジタル放送の伝送用フォーマットとして代表的な ISOZIEC 13818 - 1の MPEG2TS (Transport Stream)を用いる場合を例に、放送システムと受信 端末との同期を説明する。
[0005] 放送システム力 放送されるストリームデータには、再生時に基準となる時刻を示す 情報である PCR (Program Clock Reference)情報が TSヘッダに周期的に埋め 込まれている。また、ストリームデータに多重化されている PES (Packetized Eleme ntary Stream)パケットのヘッダには、オーディオフレームやビデオフレーム、字幕 データの提示時刻を PCR情報の時刻と同期した時間軸で示す PTS (Presentation Time Stamp)が埋め込まれている。これらの PCR情報及び PTSの値は放送シス テムが設定して放送して 、る。
[0006] 一方、受信端末は装置内に時計 (以下、時刻カウンタという)を内蔵しており、受信 端末でストリームデータを再生する場合、時刻カウンタを PCR値に同期させ、時刻力 ゥンタが示す時刻(以下、 STC (System Time Clock)値と!/、う)がストリームデー タ中で設定されているオーディオやビデオのフレームの PTSに達すると、そのオーデ ィォフレームやビデオフレームをスピーカやモニタに出力する。これにより受信端末 力 は、放送システム側が意図するタイミングで、オーディオとビデオとが同期して出 力される。
[0007] 続いて一部に欠落が発生したストリームデータを記録し、再生する場合に生じる問 題を説明する。図 1は、放送されたストリームデータを正しく受信できず一部に欠落が 発生した場合の STC値の時間変化を示す図である。本図において、横軸は放送さ れたストリームデータの先頭力ゝらの連続時間を示し、縦軸は STC値を示す。また本図 には、 PCRがストリームデータに含まれているタイミングとその値とに基づいて、黒丸 をプロットしている。
[0008] 図中の直線 101、直線 102、及び直線 103は、 STC値を示す。 A点、 E点で STC 値が不連続な値になっているのは、時刻カウンタの同期の元となる PCR情報が A点 、 E点で通常のカウントアップ速度から予測される値力 外れた値に設定されて 、る ためである。このように放送システム側は、 PCR値を通常のカウントアップ速度で変化 させる以外に、 PCR値を任意のタイミングで任意の値に設定することができる。以下、 本明細書では、 PCR値が通常のカウントアップ速度により予測される値力 外れた値 となることを" PCR値が不連続である"と言 、、 PCR値が不連続な値に設定されること を" PCRがリセットされる"と表現する。
[0009] ところで斜線で示した欠落区間 105は、受信電波状況が悪化して正しく TSパケット を取得できな力つた区間を示すが、この区間中の C点でも放送システムにより PCRが リセットされている。しかし、受信端末では C点において PCR情報を含む TSパケット を正しく取得できな力つたために、再生時に C点で STC値はリセットされず直線 103 のようにカウントアップを続け、その後、受信電波状況が回復した後に最初に取得さ れた PCR情報に基づいて E点で STC値がリセットされる。即ち、 C点から E点までの 間、放送システム側と受信端末とで時刻の同期外れが生じている。
[0010] この時刻が同期して ヽな 、じ点から E点までの間、放送システム側では破線 104で 示すように STCが同期することを想定しているため、各フレームの PTSも破線 104に 沿うように設定して放送している。その結果、受信電波状況が回復して力 最初に P CR情報が取得されるまでの D点〜 E点の区間 106では、ストリームデータが正しく受 信できるにもかかわらず、 STC値が PTSを上回るため、提示時刻が経過しているとみ なされてフレームが破棄されてしまうという問題が生じる。
[0011] 特に、このフレーム破棄が生じる区間 106の期間中に IDR (Instantaneous Dec oder Refresh)ピクチャを表示することを放送システムが意図していた場合、この問 題の影響は大きくなる。
なぜなら単独でデコードできるピクチヤである IDRピクチャは、ストリーム中での出現 周期が通常 2秒、最大で 5秒間隔と PCR情報の出現周期に比較して長いため、 IDR ピクチャが一度破棄されると、たとえ IDRピクチャの破棄後すぐに PCR情報を取得で きても、次の IDRピクチャが取得されるまでの数秒間にわたって、参照元となる IDRピ クチャがなければデコード不能な Pピクチャや Bピクチヤといった全てのピクチャをデ コードできなくなるためである。
[0012] 尚、 PCR値はリセット時に通常のカウントアップ速度力も予測される値より小さい値 にリセットするよう運用されるのが一般的である力 通常のカウントアップ速度から予 測される値より大きい値にリセットすることも可能である。このような PCR値を増加させ るようなリセットが、受信電波状況の悪ィ匕等の理由で受信側で欠落した場合には、欠 落回復後に取得されたストリームデータにおいて、 PTSが取得時点で STC値を大き く上回ることになり本来の出力タイミングと異なるタイミングで出力されることになる。
[0013] 本発明は係る問題に鑑み、受信電波状況の悪ィ匕等に起因するストリームデータの 一部欠落により PCRをリセットする PCR情報を取得できな力つた場合にも、欠落から の回復後、次の PCR情報を取得するまでに正常に取得したストリームデータを放送 システムが意図したタイミングで再生できるように、ストリームデータを記録するストリー ムデータ記録装置、及びストリームデータの一部欠落により PCRをリセットする PCR 情報を記録できな力つた場合にも、欠落からの回復後、次の PCR情報を取得するま でに正常に記録したストリームデータを放送システムが意図したタイミングで再生する ことができるストリームデータ再生装置を提供することを目的とする。
課題を解決するための手段
[0014] 上記目的を達成するために、本発明に係るストリームデータ記録装置は、時刻参照 情報を含むストリームデータを記録するストリームデータ記録装置であって、ストリーム データを取得する取得手段と、時刻参照情報に同期して時刻を刻む時刻カウンタ手 段と、前記取得されたストリームデータにおいて、一部のパケットが欠落した欠落区間 を検出する検出手段と、ストリームデータにおいて前記欠落区間が終了した位置を 特定する位置情報と、前記欠落区間が終了したときの時刻カウンタ手段の時刻を、 前記欠落区間に含まれていた時刻参照情報に同期した場合の状態に補正するため の時刻補正情報とを生成する生成手段と、前記生成された位置情報及び時刻補正 情報を、前記取得されたストリームデータに対応付けて記録する記録手段とを備える ことを特徴とする。
[0015] 上記目的を達成するために、本発明に係るストリームデータ再生装置は、時刻参照 情報を含むストリームデータを記録媒体力 読み出して再生するストリームデータ再 生装置であって、ストリームデータを読み出す読み出し手段と、時刻参照情報に同期 して時刻を刻む時刻カウンタ手段と、前記ストリームデータと、当該ストリームデータの 記録時に一部のデータが欠落した欠落区間のストリームデータにおける位置を特定 する位置情報と、記録対象であったストリームデータにおいて前記欠落区間中に含 まれていた時刻参照情報に同期した場合の状態に前記時刻カウンタ手段の時刻を 補正する時刻補正情報とが記録された記録媒体から、前記位置情報及び前記時刻 補正情報を取得する情報取得手段と、前記位置情報により示される位置を再生する 場合に、前記時刻補正情報に基づ 、て前記時刻カウンタ手段の時刻を再設定する 再設定手段と、時刻カウンタ手段の示す時刻に基づいて、前記ストリームデータ中の フレームを既定の提示時刻に再生する再生制御手段とを備えることを特徴とする。 発明の効果
[0016] 上記の構成により、本発明に係るストリームデータ記録装置は、ストリームデータ受 信時に欠落が発生した場合に、一部が欠落したストリームデータと共に、欠落部分に 含まれていた PCR情報に同期した場合の時刻カウンタ手段の値を特定する時刻補 正情報と、欠落部分のストリームデータにおける位置を特定する位置情報とを記録媒 体へ記録する。
記録したストリームデータの再生時には、本発明に係るストリームデータ記録装置は 、この位置情報と時刻補正情報とを参照することで、欠落が終了する位置で時刻カウ ンタ手段を放送システムが意図して 、た時刻に設定し直すことができる。
[0017] これにより、欠落部分に含まれる PCR情報が PCRリセットを指示するものであった 場合にも、欠落からの回復後、次の PCR情報を取得するまでの区間も時刻カウンタ 手段を放送システムが意図した時刻に同期させることができ、この区間中に取得した ストリームデータを放送システムが意図したタイミングで再生できる。
図面の簡単な説明
[0018] [図 1]放送されたストリームデータを正しく受信できず一部に欠落が発生した場合の S TC値の時間変化を示す図
[図 2]本発明に係るストリームデータ記録装置及びストリームデータ再生装置の、使用 行為についての形態を示す図
[図 3]TSのデータ構造の一例を示す図
[図 4]TSパケットのペイロード部分に含まれるビデオデータやオーディオデータのデ ータ構造の一例を示す図
圆 5]本実施形態に係るストリームデータ記録装置の内部構成を示す図
圆 6]第 1実施形態に係るメタ情報のデータ構造を示した図
圆 7]欠落区間が発生した場合に記録される TSパケットを示す図
[図 8]ストリームデータ記録装置 5におけるストリームデータ記録処理の処理手順を示 すフローチャート
[図 9]欠落区間に PCRリセットが発生しな力つた場合の STC値 PCRとの関係を示す 図
[図 10]時刻オフセット値を用いて PCRリセットを検出する処理のフローチャート 圆 11]欠落区間が複数回発生した場合の STC値と PCRとの関係を示す図
[図 12]TSとビデオフレームの関係を示した図
[図 13]バッファ内保持時間を用いて PCRリセットを検出する処理のフローチャート [図 14]PCRリセットが発生したが、時刻オフセット値を算出できな力つた欠落区間の 後に発生した欠落区間に対して、 PCRリセットを検出する方法を示したフローチヤ一 卜
圆 15]本実施形態に係るストリームデータ再生装置 6の内部構成を示す図
[図 16]欠落区間に PCRリセットが発生していたストリームデータを再生するときの時刻 カウンタ部 26及び時刻カウンタ部 27の変化の様子示す図
[図 17]本実施形態に係るストリームデータ再生装置 6におけるストリームデータ再生 処理の処理手順を示す図
圆 18]第 2実施形態に係るメタ情報のデータ構造を示した図
圆 19]第 2実施形態に係るストリームデータ記録装置 7の内部構成を示す図
[図 20]ストリームデータ記録装置 7におけるストリームデータ記録処理の処理手順を 示すフローチャート
[図 21]欠落区間に PCRリセットが発生しな力つた場合のストリームデータに含まれる P TSおよび時刻カウンタの変化の様子を示す図
[図 22]トリームデータに含まれる PTSおよび時刻カウンタの変化の様子を示した図 [図 23]再生時間算出部 18が再生時間を算出する処理手順を示すフローチャート [図 24]オーディオ PESヘッダに含まれる PTSとオーディオフレームとの関係を示す図 圆 25]第 2実施形態におけるストリームデータ再生装置 8の内部構成を示す図 圆 26]第 2実施形態に係るストリームデータ再生装置 6におけるストリームデータ再生 処理の処理手順を示す図
圆 27]第 3実施形態に係るメタ情報のデータ構造を示した図
圆 28]第 3実施形態に係るストリームデータ再生装置 8の内部構成を示す図
[図 29] (a)記録したストリームデータに再生不可区間が有る事をユーザに提示する画 面表示例、(b)再生不可区間が有る事をユーザに提示する他の画面表示例、(c)予 約時の総再生時間と記録したストリームデータの再生可能な時間とをユーザに提示 する画面表示例、 (d)ジャンプ先の指定を要求する際にジャンプ先として指定可能な 区間及び不可能な区間を提示する表示例
[図 30] (a)再生状態を示す画像が表示されたストリームデータ再生装置 203を模式 的に示す図、 (b)再生状態を示す画像の表示方法の一例を示す図
圆 31]第 3実施形態に係るストリームデータ再生装置 9におけるストリームデータ再生 処理の処理手順を示す図 符号の説明
1 放送システム
2 送信アンテナ
3 移動体受信端末
4 記録媒体
5 ストリームデー -タ記録装置
6 ストリームデー -タ再生装置
7 ストリームデー -タ記録装置
8 ストリームデー -タ再生装置
9 ストリームデー -タ再生装置
10 モニタ
10a 映像出力部分
10b 状態表示部分 c ポップアップ
c 再生位置表示バーオブジェクトd 再生時間表示
e 区間
e 再生位置表示バーオブジェクトf 区間
g 区間
取得部
パケット解析部
欠落検出部
時刻カウンタ部
リセット検出部
メタ情報生成部
記録制御部
再生時間算出部
メタ情報生成部
取得部
デコード部
出力部
メタ情報解析部
時刻カウンタ制御部
時刻カウンタ部
時刻カウンタ部
デコード部
メタ情報解析部
時刻カウンタ制御部
デコード部
時刻カウンタ制御部 33 状態表示部
発明を実施するための最良の形態
[0020] 以下、本発明を実施するための最良の形態について、図面を参照しながら説明す る。
(第 1実施形態)
<システムの概要 >
先ず始めに、本発明に係るストリームデータ記録装置及びストリームデータ再生装 置の実施行為のうち、使用行為についての形態を説明する。図 2は、本発明に係るス トリームデータ記録装置及びストリームデータ再生装置の、使用行為についての形態 を示す図である。図 2において、本発明に係る本発明に係るストリームデータ記録装 置及びストリームデータ再生装置は、移動体受信端末 3に内蔵されている。この移動 体受信端末 3は、送信アンテナ 2を介して放送システム 1から送信された放送波を受 信し、受信した放送波からストリームデータを取得して記録媒体 4に記録する用途、 及び記録媒体 4に記録したストリームデータを読み出して再生するという用途で使用 される。
[0021] 放送システム 1は、ディジタル放送のストリームデータを作成するシステムである。
送信アンテナ 2は、放送システム 1で作成したストリームデータをディジタル放送電 波に乗せて送信する。
記録媒体 4は、データを記録保持する媒体である。光ディスク、磁気ディスク、半導 体メモリなどがこれにあたる。
[0022] 以上が本発明に係るストリームデータ記録装置及びストリームデータ再生装置の使 用形態についての説明である。
続いて記録、再生の対象であるストリームデータの詳細について説明する。
<ストリームデータ >
デジタル放送で使用される伝送用フォーマットの代表的な例として、 ISOZIEC 1 3818— 1の MPEG2TSがある。以下、本実施形態では、ストリームデータとして MP EG2TSを用いた場合を例に説明する。図 3は、 TSのデータ構造の一例を示す図で ある。 [0023] 1段目は TSパケットを示して!/、る。 TSでは、複数の番組のストリームデータをォー ディォデータやビデオデータ、字幕データ毎に、 TSパケットと呼ばれるパケットに分 割し、多重化して送信する。 TSパケットはヘッダ部分とペイロード部分力も構成され、 オーディオデータやビデオデータや字幕データは TSペイロードに格納される。
2段目は TSパケットのヘッダを示している。全ての TSパケットのヘッダには、 PID ( Packet Identifier)と呼ばれる TSパケットを識別するための識別子が含まれる。各 番糸且のオーディオデータ、ビデオデータ、及び字幕データを格納する TSパケットに は、それぞれ格納するデータの種類毎に異なる識別子が付されて 、る。
[0024] また、特定の PIDが付されている一部の TSパケットのヘッダには、ストリームデータ を作成する放送システム 1と、ストリームデータを受信し、再生や記録を行う移動体受 信端末 3との間で同期を取るために使用される PCR情報が埋め込まれている。
PCR情報が埋め込まれている TSパケットや、番組のオーディオデータ、ビデオデ ータ、及び字幕データを格納する TSパケットの PIDは、 PMT (Program Map Ta ble)により示される。移動体受信端末 3では、受信した TSパケットを PIDを用いて識 別して、再生や記録を行う対象の番組の TSパケットを取得する。
< TSペイロードのデータ構造 >
TSパケットのペイロード部分には、 ISO/IEC 13818— 7の MPEG2AAC (Adv anced Audio Coding)や ISO/IEC 14496— 10の MPEG4AVC (Advanced Video Coding)などの規格で圧縮されたオーディオデータやビデオデータ、 ARI B STD— B24及び ARIB STD— B8等で規定される 8単位符号文字による字幕 データなどの番組を構成する各種ストリームデータ、 PMT等の番組の構成を示す情 報等が格納される。以下、番組を構成するオーディオ、ビデオ、字幕などの各要素を 、 "コンポ一ネンド,と総称する。
[0025] 図 4は、 TSパケットのペイロード部分に含まれるビデオデータやオーディオデータ のデータ構造の一例を示す図である。
図 4において、 4段目は TSを示している。 3段目はビデオデータの PESパケットを示 し、 5段目はオーディオデータの PESパケットを示している。 PESパケットは、 1個ある いは複数の TSペイロードに跨り分割して格納する運用が可能である。 [0026] 各 PESパケットはヘッダ部分とペイロード部分から構成される。 PESパケットのへッ ダ部分には、ペイロード部分に格納されているデータをモニタやスピーカへ出力する 提示時刻を示す PTSが含まれている。 PTSの値は、 PCR情報によって補正された 移動体受信端末 3の STC値を参照し各コンポーネントを同期させて出力することを想 定して放送システム 1が設定している。そのため PCRがリセットされる場合、その後に 送信されるストリームデータに含まれるコンポーネントの PTSも、その前後のフレーム で不連続な値が設定される。
[0027] PESペイロードをつなげると ES (Elementary Stream)が構成される。
2段目はビデオ ESを示している。 ESは圧縮されたデータである。 MPEG4AVCな どの MPEG規格の場合、ビデオ ESは、単独復号が可能な IDRピクチャ、前のピクチ ャデータが必要な Pピクチャ、前後のピクチャデータが必要な Bピクチャ力も構成され る。各 IDRピクチャは PESパケットにおいて、ペイロード部分の先頭に位置するよう格 納されている。
[0028] 1段目はビデオフレームを示して!/、る。ビデオフレームは、圧縮されて 、るビデオ E Sを復号処理することで得られる。
以上がストリームデータの詳細についての説明である。
<ストリームデータ記録装置 >
続いて本実施形態に係る移動体受信端末 3の詳細について説明する。先ず移動 体受信端末 3において、ストリームデータを記録する構成に注目して説明する。ストリ ームデータ記録機能は、移動体受信端末 3が内蔵するストリームデータ記録装置 5に より実現される。図 5は、本実施形態に係るストリームデータ記録装置 5の内部構成を 示す図である。
[0029] ストリームデータ記録装置 5は、取得部 11、パケット解析部 12、欠落検出部 13、時 刻カウンタ部 14、リセット検出部 15、メタ情報生成部 16、記録制御部 17を備える。 取得部 11は、図 2の送信アンテナ 2から送信される放送波をアンテナモジュールで 受信し、放送波により伝送される TSをパケット解析部 12へ出力する。また、取得部 1 1は、アンテナモジュールで CZNレベルの低下及び復帰、 RF同期外れ及び RF同 期の回復が検出された場合には、これ検出結果をパケット解析部 12へ通知する。以 下、アンテナモジュールで CZNレベルの低下や RF同期外れが検出されることを"デ ータ受信不良の開始"と称し、 CZNレベルの復帰や RF同期の回復が検出されるこ とを"データ受信不良の終了"と称する。
[0030] パケット解析部 12は、ユーザ力もの指示に基づいて、 TSヘッダを解析して記録対 象の PIDを含む TSパケットを取得し、欠落検出部 13へ出力する。このとき TSヘッダ に記録対象の番組に係る PCR情報が含まれて 、る場合には、 PCR情報を抽出して 、時刻カウンタ部 14に出力する。ただし、取得部 11からデータ受信不良の開始が通 知されて力もデータ受信不良の終了が通知されるまでの期間は、ヘッダを解析するこ となく TSパケットを破棄し、さらにデータ受信不良の開始及び終了の通知を欠落検 出部 13へ転送する。さらにパケット解析部 12は、誤り訂正処理では対処できない程 度に TDパケットのデータに誤りがふくまれて 、る等の理由で、 TSヘッダ解析時に正 しく解析できな力つた場合にも、取得部 11から通知されるデータ受信不良の開始及 び終了の通知と同様のものを生成して、欠落検出部 13へ転送する。
[0031] 欠落検出部 13は、受信中のストリームデータにおいて、再生の対象とならない欠落 区間が発生している力否かを検出し、検出結果をリセット検出部 15及びメタ情報生 成部 16へ通知する。欠落区間は、ストリームデータの記録中に受信電波状況が悪化 して、記録対象の TSパケットを正しく取得できない等の理由で発生する。
さらに、欠落検出部 13は、欠落区間が欠落が検出されていない間は、パケット解析 部 12から取得した TSパケットを記録制御部 17へ出力する。また、欠落区間が欠落 が検出された場合、欠落検出部 13は、前後のパケットが連続していないことを示す 不連続パケットを記録制御部 17へ出力する。
[0032] 欠落区間の発生は、以下の 1)〜3)のそれぞれ方法により、欠落検出部 13で検出 される。
1)データ受信不良の開始が通知されて力 終了が通知されるまでを欠落区間とす る方法
2)判定時に取得している TSパケットの解析により、パケット間の連続性の欠如を検 出する方法
3) PCR情報のように TSに周期的に含まれる情報 (以下、周期送出情報という)が、 過去に取得した TSパケットから検出されてから、最大送出周期を超えて検出されな い場合を検出する方法 上記 2)の方法の具体例としては、以下の 2—1)及び 2— 2)等の場合に、パケット間 の連続性の欠如が検出できる。
[0033] 2— 1)コンポーネントを格納する TSパケットに連番で付されて!、る continuity_coun terの値に欠番が生じて!/、る
2- 2)直前に同じ PIDをもつ TSパケットで、 discontinuityjndicatorが有効になつ て 、たにも関わらず、判定時に取得して 、る TSパケットで PCRがリセットされて!/、な い
尚、 discontinuityjndicatorは、 TSパケットのァダプテーシヨンフィールドに設定され る情報であり、 discontinuityjndicatorが有効になると、後続する同じ PIDの TSバケツ トで PCRがリセットされることを示す情報である。
[0034]
上記 3)の方法で欠落区間を検出するために、欠落検出部 13の内部の記録領域に は、最後に周期送出情報が検出された時点で時刻カウンタ部 14から取得した STC 値が保持されている。欠落検出部 13は、時刻カウンタ部 14の STC値と、内部の記録 領域に保持して 、る STC値とを比較し、これらの差が周期送出情報の最大送出周期 を越えた場合に、欠落区間が発生していることを検出できる。また、欠落検出部 13は 、最新の周期送出情報を取得した時点で STC値を取得し、この STC値と、内部の記 録領域に保持している以前に周期送出情報を取得した時の STC値との差を算出し て、この差が周期送出情報の最大送出周期を越えている場合に、欠落区間が発生し ていると判定してもよい。
[0035] 欠落区間の検出に利用する周期送出情報としては、 PCR情報の他に、 PAT、 PM T、 NIT, TOT, TDT、 EIT、再生用ストリームデータに含まれる PTS等、ストリーム データに含まれる最大送出周期が設定されたものであれは、どのような情報でも用い ることがでさる。
時刻カウンタ部 14は、内部に時計を有し、パケット解析部 12から取得した PCR情 報を参照して、内部時計を PCR値に同期させる。時刻カウンタ部 14の内部時計の値 (STC値)は、欠落検出部 13、リセット検出部 15及びメタ情報生成部 16により参照さ れる。さらに時刻カウンタ部 14は、パケット解析部 12から PCR情報を取得する度に、 PCR情報の取得をメタ情報生成部 16へ通知する。
[0036] リセット検出部 15は、欠落検出部 13から欠落区間の検出結果を取得し、欠落区間 中に PCRリセットが発生していたかを、時刻カウンタ部 14の STC値を参照して検出 処理をおこな!/、、検出結果をメタ情報生成部 16に通知する。
メタ情報生成部 16は、欠落検出部 13およびリセット検出部 15の検出結果に基づ いて、メタ情報を生成する。メタ情報とは、ストリームデータの構成や属性を示すデー タである。
[0037] 図 6は本実施形態におけるメタ情報のデータ構造を示した図である。本実施形態に おけるメタ情報は、ストリームデータ中に検出された欠落区間と同数のレコードからな り、各レコードは「欠落開始時刻」「欠落終了時刻」「不連続点の位置情報」及び「時 刻オフセット値」から構成される。
「欠落開始時刻」は、欠落区間が発生したときの STC値である。図 1の欠落区間開 始時刻 111の値がこれにあたる。
[0038] 「欠落終了時刻」は、欠落区間が終了したときの STC値である。図 1の欠落区間終 了時刻 112の値がこれにあたる。
「不連続点の位置情報」は、欠落区間終了後に記録を再開したときの TSパケットの データ位置である。図 1の D点以降に最初に記録されるパケットのデータ位置がこれ にあたる。データ位置情報としては、記録対象の TSの先頭パケットから付けた通し番 号や、ファイル先頭からのオフセット値などを用いることができる。本実施形態では、 ファイル先頭からのオフセット値を用いる。
[0039] 「時刻オフセット値」は、欠落区間終了後に、最初に PCR情報の取得が通知された ときの STC値と PCR値との差である。図 1の時刻オフセット値 113がこれにあたる。 図 5の記録制御部 17は、欠落区間が欠落が検出されていない間に欠落検出部 13 力も出力されたストリームデータ、及びメタ情報生成部 16で生成されたメタ情報を対 応付けて記録媒体 4へ記録する。欠落検出部 13からは、欠落区間が検出されると不 連続パケットが出力されるため、記録制御部 17が記録するストリームデータには、図 7に示すように、欠落区間により TSパケットが失われた位置に不連続パケットが挿入 される。
[0040] 以上が、ストリームデータ記録装置の構成である。
<ストリームデータ記録方法 >
続いて、ストリームデータ記録装置 5の動作手順について説明する。
図 8は、本実施形態に係るストリームデータ記録装置 5におけるストリームデータ記 録処理の処理手順を示す図である。本図に示す処理手順は、ユーザから録画指示 を受けると実行される処理手順であり、大きく分けて以下の 1〜4のステップに分けら れる。
1.欠落区間の発生を検出し、欠落開始時刻を取得するステップ(S101〜S105)
2.欠落区間の終了を検出し、欠落終了時刻、不連続点の位置情報を取得するステ ップ(S106〜S109)
3.欠落区間内で発生していた PCRリセットを検出し、時刻オフセット値を取得するス テツプ(S110〜S112)
4.生成したメタ情報を記録するステップ (S113〜S114) まず、記録するストリームデータの欠落区間の発生を検出する S101〜S105のステ ップについて説明する。
[0041] ユーザ力 の録画指示を受け、記録処理が開始されると、取得部 11による放送波 の受信と、パケット解析部 12によるフィルタリングとにより、記録対象の PIDを含む TS パケットが取得される(S101)。 S102では、欠落検出部 13は、パケット解析部 12で 取得された記録対象の TSパケットに欠落が発生している力判定を行う。この TSパケ ットの欠落の検出処理では、以下の 1)〜3)の各方法を用いて、欠落の発生を検出 する。 [0042]
1)取得部 11やパケット解析部 12によりデータ受信不良の開始が通知されてから終 了が通知されるまでを欠落区間とする方法
2)判定時に取得している TSパケットの解析により、パケットに含まれるデータの不 連続を検出する方法
3)周期送出情報が、過去に取得した TSパケットから検出されてから、最大送出周 期を超えて検出されない場合を検出する方法 欠落の検出処理において、 TSパケットの欠落が検出された場合 (S103 :Yes)、欠 落検出部 13は、欠落区間の開始点であるか、欠落区間中であるかを判定する(S10 4)。欠落区間の開始点である力否かの判定には、例えば、欠落検出部 13の内部の 記録領域に保持するフラグを利用する。欠落検出部 13は、欠落区間の開始点であ ると判定したときにこのフラグを ONに、欠落区間の終了点であると判定したときにこ のフラグを OFFに切り替える。 S104では、欠落が検出されたときに、フラグが OFFで あれば、欠落区間の開始点であるし、フラグが ONであれば、欠落区間中であると判 定できる。
[0043] 欠落区間の開始点の場合 (S104 : Yes)、欠落検出部 13はメタ情報生成部 16に欠 落区間開始の通知をし、メタ情報生成部 16は、通知を受けたときの STC値を時刻力 ゥンタ部 14から取得し、メタ情報の「欠落開始時刻」情報として保持する(S105)。な お、本フローチャートでは図示していないが、時刻カウンタ部 14は、 TSヘッダに含ま れる PCRに同期するようにクロック速度が制御されて 、る。
[0044] 欠落検出部 13で検出した欠落が、欠落区間の開始点ではなぐ欠落区間中であつ た場合は(S104 :No)、欠落検出部 13およびメタ情報生成部 16は何も処理しない。 次に、欠落区間の終了を検出し、欠落終了時刻、及び不連続点の位置情報を取 得する(S106〜S109)。
欠落検出部 13で TSパケットの欠落が検出されな力つた場合 (S103 :No)、記録制 御部 17は欠落検出部 13から TSパケットを取得し、記録媒体 4に記録する(S106)。 なお、記録媒体 4へは、 1パケットづっではなぐ記録するデータサイズが一定量たま つてから記録してもよい。また、 TSパケットの記録は、 S106力ら S113の間であれば 、他のタイミングで実行してもよい。
[0045] 欠落検出部 13は正常に受信できた TSパケットが欠落区間の終了点である力否か を判定する(S107)。この S107の判定には、例えば、 S104の判定で用いた、欠落 検出部 13の内部に保持されているフラグを利用して、判定を行う。欠落検出部 13が 、欠落区間の開始点であると判定したときにこのフラグを ONに、欠落区間の終了点 であると判定したときにこのフラグを OFFに切り替えるので、 TSパケットが正常に受 信できたときに、このフラグが ONであれば、欠落区間の終了点であると判定できる。
[0046] S107の判定の結果、欠落区間の終了点の場合 (S107 : Yes)、欠落検出部 13は メタ情報生成部 16に欠落区間終了の通知をし、メタ情報生成部 16は、通知を受けた ときの STC値を時刻カウンタ部 14から取得し、メタ情報の「欠落終了時刻」情報とし て保持する(S108)。またメタ情報生成部 16は、記録制御部 17から、 TSパケットの 記録位置情報を取得し、メタ情報の「不連続点の位置情報」として保持する(S109) 。 TSパケットの記録位置情報としては、記録対象の TSパケットの先頭力 付けた番 号や、ファイル先頭からのオフセット値などを用いることができる。 S 107の判定の結 果、欠落区間の終了点ではなかった場合(S107 :No)、 S108および S109の処理 は行わない。
[0047] 次に PCRリセットを検出し、時刻オフセット値を取得する(S110〜S112)。
S110では、リセット検出部 15が、欠落区間に PCRリセットが発生していたか否かを 判定するリセット検出処理を実行する。リセット検出処理の詳細については後述する 。欠落区間中に PCRリセットが発生していた場合 (S111 : Yes)、リセット検出部 15は メタ情報生成部 16に PCRリセット発生の判定結果を通知し、時刻オフセット値を出力 する。メタ情報生成部 16は、リセット検出部 15から時刻オフセット値を取得し、メタ情 報の「時刻オフセット値」として保持する(S 112)。欠落区間に PCRリセットが発生し て 、なかった場合は(S 111: No)、 S 112の処理は行わな!/、。
[0048] 最後に、生成したメタ情報を TS記録終了時に記録する(S 113〜S 114)。
記録制御部 17は、ユーザからの記録停止指示や記録終了時刻などによる記録停 止指示があった力判定し (S 113)、記録終了指示があった場合 (S113 : Yes)、記録 制御部 17はメタ情報生成部 16からメタ情報を取得し、記録媒体 4にメタ情報を記録 する(S 114)。記録停止指示がな力つた場合 (S113 : No)、再び次の TSパケットを 処理するために S 101に戻る。
[0049] 以上が、ストリームデータ記録装置 5の動作手順についての説明である。
尚、本実施形態では、ストリームデータの記録を終了する際に S 114でメタ情報を一 括して記録媒体へ書き込むとしたが、メタ情報は、 1レコードずつ記録媒体へ記録し てもよい。例えば、 S113で記録終了指示の有無を判定するタイミングで、 1レコード 分の情報が生成できていれば、メタ情報生成部 16が保持している 1レコード分の情 報を記録制御部 17へ出力し、記録媒体へ書き込む処理手順としてもよい。さらに、ス トリームデータの記録を開始する際に、記録媒体にメタ情報の記録領域を確保してお き、 S105、 S108、 S109、及び SI 12の各処理でメタ情報の要素情報を取得する毎 に、取得した情報を記録制御部 17へ出力し、メタ情報の記録領域へ取得した要素情 報を追加書き込みするよう構成することも可能である。
[0050]
< PCRリセット検出方法 >
次に、図 8の S110において、欠落区間内で PCRリセットが発生した力否かを判定 する方法を 3つ、詳細に説明する。
まず 1つ目の方法として、時刻オフセット値を用いる方法を説明する。
[0051] 図 9は、欠落区間に PCRリセットが発生しな力つた場合の STC値の時間変化を示 す図である。図 9において、横軸は放送されたストリームデータの先頭力 の連続時 間を示し、縦軸は STC値を示す。斜線部 121はストリームデータの欠落区間を示して いる。黒丸は TSヘッダに含まれる PCRの時刻情報を示している。直線 122は、時刻 カウンタ部 14がカウントアップしていく様子を示している。破線 124は、欠落区間終了 後から、最初に PCR情報を取得するまでの間の TSヘッダに含まれる PCRの連続値 を示している。時刻オフセット値 127は、直線 122と破線 124の差異を示している。
[0052] 欠落区間に PCRリセットが発生していた場合を図 1を参照して説明すると、本来で あれば TSヘッダに含まれる PCRを基に時刻カウンタをカウントアップさせると図 1の 破線 104〖こ示すよう〖こなり、直線 102で示される時刻カウンタ部 14の STC値との間 に、時刻オフセット値 113という差異が発生する。一方、欠落区間に PCRリセットが発 生していな力つた場合は、図 9に示すように、 TSヘッダに含まれる PCRを基にした時 刻カウンタのカウントアップの様子は破線 124に示すようになり、直線 122で示される 時刻カウンタ部 14の STC値との差異は発生しない。つまり欠落区間内に PCRリセッ トが発生していた場合は、時刻オフセット値(図 1の 113)は大きくなり、 PCRリセットが 発生していな力つた場合は、時刻オフセット値(図 9の 127)は小さくなる。
[0053] このような、欠落区間の PCRリセットに起因して時刻オフセット値が発生することに 着目した PCRリセット検出処理を、図 10を参照しながら説明する。図 10は、時刻オフ セット値を用いて PCRリセットを検出する処理のフローチャートである。
パケット解析部 12は、取得した TSパケットのヘッダを解析し、 PCR情報が含まれて いるか調査する(S 131)。 PCR情報が含まれていない場合は(S131 :No)、本フ口 一チャートに示す PCRリセット検出処理の処理手順を終了する。ヘッダに PCR情報 が含まれて 、る場合は(S 131: Yes)、パケット解析部 12は時刻カウンタ部 14を介し てリセット検出部 15に通知し、リセット検出部 15はその PCR情報を取得する(S132) 。またリセット検出部 15は、時刻カウンタ部 14から、その PCR情報に同期する前の S TC値を取得する(S133)。そして時刻カウンタ部 14の STC値と PCR値とを比較して 時刻オフセット値を算出する(S134)。
[0054] このとき STC値が PCR値よりも大きい場合(S135 :Yes)、 PCRリセットが発生したと 判定し、算出した時刻オフセット値をメタ情報生成部 16に通知する(S 136)。 STC値 力 SPCR値以下である場合(S135 :No)は、さらに、時刻オフセット値が閾値 TH1より 大きいければ (S137 :Yes)は、 PCRリセットが発生したと判定し、算出した時刻オフ セット値をメタ情報生成部 16に通知する(S 136)。
[0055] STC値が PCR値以下であり、且つ、時刻オフセット値が閾値 TH1より小さ 、場合 ( S135 :No、 S137 :No)は、 PCRリセットは発生しなかったと判定して、時刻オフセッ ト値として「0」をメタ情報生成部 16に通知し (S 138)、本フローチャートに示す PCRリ セット検出処理の処理手順を終了する。
以上が、 PCRリセットの欠落により時刻オフセット値が発生することに着目した PCR リセット検出処理の処理手順である。上記の処理手順によれば、さらに、単に欠落区 間に PCRリセットがあった場合のみならず、欠落区間中の PMTにおいて PCR情報 を含む TSパケットの PIDが変更されることが示されて!/、た場合に、この PMTの欠落 により PIDの変更に対応できず、 STC値と PCR値に差が生じるような現象についても 、その発生を検知することができる。
[0056] 尚、 S 135の判定で" STC値が PCR値よりも大きいか否力 'を判定条件とした力 こ の S135の判定は" STC値と PCR情報の送出周期との和が PCR値よりも大きいか否 カ 'を判定条件として用いてもよい。
以下に、短時間のうちに欠落区間が複数回発生した場合の対処について説明する 。図 11は、欠落区間が複数回発生した場合の STC値と PCRとの関係を示す図であ る。本図において、横軸はストリームデータの受信開始時からの連続時間を示し、縦 軸は STC値を示している。斜線部 131は受信電波状況が悪化し、記録する TSパケ ットに欠落が発生していた欠落区間 A5を、斜線部 132は欠落区間 B5を示している。 黒丸は TSヘッダに含まれる PCRの時刻情報を示している。直線 133および直線 13 4は、時刻カウンタ部 14がカウントアップしていく様子を示している。破線 135は、欠 落区間 B5の終了後から、最初に PCR情報を取得するまでの間の TSヘッダに含まれ る PCRの連続値を示している。時刻オフセット値 136は、直線 133と破線 135の差異 を示している。 E5点は欠落区間 A5の開始点、 F5点は欠落区間 B5の終了点である 。区間 C5は、欠落区間 A5と欠落区間 B5の間のストリームデータを正常に受信でき た区間を示している。この区間 C5のストリームデータには PCR情報が含まれていな い。区間 D5は、欠落区間 B5の後にストリームデータを正常に受信できた区間を示し て!、る。この区間 D5のストリームデータには PCRが含まれて!/、る。
[0057] このような欠落区間終了後、次の欠落区間までの間に PCR情報がない状況(図 11 の区間 C5の場合)では、 S131において、図 10の処理手順から出てしまうため、時刻 オフセット値を求めることができず、図 11の欠落区間 A5において PCRリセットが発生 したかどうかの判定ができない。そのため、図 11の区間 C5では、放送システムが意 図したタイミングで再生することができな 、。
[0058] そこで、このように次の欠落区間までの間に PCR情報がな力つた場合、図 11の欠 落区間 A5と欠落区間 B5を統合し、 E5点から F5点までを 1つの欠落区間としたメタ 情報を生成することで対処する。
このような処理は、図 8に示す処理手順において、メタ情報生成部 16が、後続の欠 落区間(図 11の欠落区間 B5)に対する S105の処理を行わず、この後続の欠落区間 (図 11の欠落区間 B5)に対する S108および S109の処理において、時刻オフセット 値を算出できな力つた欠落区間(図 11の欠落区間 A5)に対するメタ情報の「欠落終 了時刻」および「不連続点の位置情報」を、後続の欠落区間(図 11の欠落区間 B5) での「欠落終了時刻」および「不連続点の位置情報」に書き換えることで実現できる。
[0059] 次に、欠落区間内で PCRリセットが発生した力否かを判定する 2つ目の方法として 、ビデオデータを受信してから出力するまでの時間情報を用いる方法を説明する。 バッファオーバーフローやバッファアンダーフローを生じな 、ために、規格では仮 想モデルとして、例えばバッファサイズやバッファでのデータ保持時間を規定して!/ヽ る。例えば社団法人電波産業会の規定である「地上デジタルテレビジョン放送運用 規定」(ARIB TR B— 14)では、ビデオストリームデータを保持する CPB (Coded Picture Buffer)に入力されたストリームデータは、 1.5秒以内にデコードして出力 するように規定している。 CPBは、 ISO/IEC14496-10の MPEG4AVCで規定されて V、る仮想モデルのバッファである。
[0060] 図 12は、 TSとビデオフレームの関係を示した図である。 1段目は記録される TS、 2 段目は TSに含まれるビデオデータをデコード処理したビデオフレームを示している。 ノ ッファ内保持時間は、 TSデータを受信して力 ビデオデータをデコード処理し出 力するまでの時間を示している。これは、例えば「地上デジタルテレビジョン放送運用 規定」の場合、 CPBでのデータ保持時間が 1.5秒以内であるため、バッファ内保持時 間は(1.5 +ひ)秒以内であると推定できる。 aは、 TSデータを受信して力もデコード 処理を開始するまでの時間であり、ストリームデータ記録装置に依存する。欠落区間 に PCRリセットが発生していない場合、 TSデータを受信したときの時刻(STC値)と、 PESヘッダに含まれる PTSの差はこのノ ッファ内保持時間以内になる。一方、欠落 区間に PCRリセットが発生した場合、この差はバッファ内保持時間に収まらない。
[0061] このような、欠落区間の PCRリセットに起因して、 TSデータを受信したときの STC値 と、 PESヘッダに含まれる PTSの差力 ノ ッファ内保持時間に収まらなくなることに着 目した PCRリセット検出処理を、図 13を参照しながら説明する。図 13は、ノ ッファ内 保持時間を用いて PCRリセットを検出する処理のフローチャートである。
パケット解析部 12は、取得した TSパケットのペイロード部分を解析し、 PESヘッダ に PTSが含まれて!/、るか調査する(S 151)。 PTSが含まれて!/、な!/、場合(S 151: No )は、本フローチャートに示す PCRリセット検出処理の処理手順を終了する。 PTS力 S 含まれて 、る場合 (S 151: Yes)は、パケット解析部 12はリセット検出部 15に通知し、 その通知に応じてリセット検出部 15はその PTSを取得する(S 152)。またリセット検 出部 15は、時刻カウンタ部 14力もそのときの STC値を取得する(S153)。そして時 刻カウンタ部 14力も得た STC値と PTSとを比較して、その PTSが付されたフレーム のバッファ内保持時間を算出する(S154)。
[0062] 算出したバッファ内保持時間力 ディジタル放送規格にぉ 、て規定されて!、るバッ ファでのデータ保持時間に基づく閾値 TH2より大きい場合 (S155 :Yes)は、 PCRリ セットが発生したと判定し、メタ情報生成部 16に通知する(S156)。このとき、図 13に は図示していないが、リセット検出部 15は、図 10の S131〜S134の処理を行い、時 刻オフセット値を算出して、メタ情報生成部 16に通知する。またバッファ内保持時間 が閾値 TH2より小さい場合(S155 :No)は、 PCRリセットは発生しな力つたと判定し て、時刻オフセット値として「0」をメタ情報生成部 16に通知し (S157)、本フローチヤ ートに示す PCRリセット検出処理の処理手順を終了する。
[0063] この 2つ目の方法では、欠落区間に PCRリセットが発生した力否かを、欠落区間後 のストリームデータに含まれる PTSを用いて検出する。そのため、図 11の区間 C5の ように、欠落区間が終了して力も次の欠落区間が開始するまでの間に、 PCR情報が 含まれない場合でも PCRリセット発生を検出できる。そして PCRリセットが発生してい なければ区間 C5は放送システムが意図したタイミングで再生することができる。 PCR リセットが発生していた場合は、図 11の区間 C5での時刻オフセット値を求めることが できないので、 1つ目の方法同様に、図 11の欠落区間 A5と欠落区間 B5を統合し、 E5点から F5点までを 1つの欠落区間としたメタ情報を生成する。
[0064] なお、ここではビデオデータを使った PCRリセット検出方法を説明した力 ビデオデ ータの代わりにオーディオデータ等、他のコンポーネントを使ってもよ!、。 次に、欠落区間内で PCRリセットが発生した力否かを判定する 3つ目の方法を説明 する。これは 2つ目の方法において、正常にストリームデータを受信できた区間に PC R情報が含まれなかった場合に対処する方法である。
[0065] 図 11において、欠落区間 A5に対する PCRリセット検出方法は図 13に処理手順を しめした 2つ目の方法とほぼ同様である。 2つ目の方法と異なる処理として、図 13の S 154において、 PTS値と STC値を比較した値を欠落区間 A5のバッファ内保持時間 として保持しておく。また S 156において、時刻オフセット値が算出されなカゝつた場合 に、メタ情報生成部 16は欠落区間 A5に対するメタ情報の「時刻オフセット値」として、 まだ算出できて!/、な 、ことを示す値 (例えば「 1」)を設定する。
[0066] 欠落区間 B5に対する PCRリセット検出方法を、図を用いて説明する。
図 14は、 PCRリセットが発生した力 時刻オフセット値を算出できな力つた欠落区 間の後に発生した欠落区間に対して、 PCRリセットを検出する方法を示したフローチ ヤートである。図 14のフローチャート内に記載の欠落区間 A5、欠落区間 B5、区間 C 5、区間 D5は、図 11に図示したものに対応している。
[0067] 図 14に示す処理手順では、まず区間 D5のバッファ内保持時間を算出する(S171 ) oこれは図 13の S151〜S154の処理と同様の手順で算出できる。そして保持して いた区間 C5のバッファ内保持時間との差を求める(S172)。この差が閾値 TH3以下 の場合 (S 173 : Yes)、区間 D5の時刻オフセット値を算出する(SI 74)。この場合、 区間 C5と区間 D5の時刻オフセット値は同じ値であると判断できる。そこで、このときリ セット検出部 15は、この時刻オフセット値を欠落区間 A5で発生した時刻オフセット値 としてメタ情報生成部 16に通知する(S175)。また欠落区間 B5では PCRリセットは 発生しなかったとして、時刻オフセット値として「0」をメタ情報生成部 16に通知する。
[0068] S173の判定において、区間 C5と区間 D5のバッファ内保持時間が閾値 TH3より 大き力つた場合 (S 173 : No)、欠落区間 A5と欠落区間 B5の両方で PCRリセットが発 生していたことになる。この場合、区間 C5の時刻オフセット値を求めることはできない ので、メタ情報生成部 16は、欠落区間 A5と欠落区間 B5の統合処理をする(S177)
[0069] なお、 PCRリセット検出方法として、図 13の処理を実行する力、図 14の処理を実行 するかの選択は、リセット検出部 15内部で、識別フラグを保持することで対応可能で ある。例えば、時刻オフセット値を算出できないまま、次の欠落区間の開始を検出し たらフラグを ONにする。また図 14の S173においてフラグを OFFにする。 PCRリセッ ト検出処理を開始する際に、このようなフラグを参照して、フラグが ONであれば、図 1 4の処理、フラグが OFFであれば図 13の処理を実行すればよい。
[0070] 以上が、移動体受信端末 3において、ストリームデータ記録機能を実現するストリー ムデータ記録装置 5についての説明である。
<ストリームデータ再生装置 >
次に、記録したストリームデータを再生する構成に注目して移動体受信端末 3の詳 細を説明する。
[0071] ストリームデータ再生機能は、移動体受信端末 3が内蔵するストリームデータ再生 装置 6により実現される。図 15は、本実施形態に係るストリームデータ再生装置 6の 内部構成を示す図である。
本図において記録媒体 4には、ストリームデータ記録装置 5によって記録されたスト リームデータ及びメタ情報が保持されて 、る。
[0072] 図 15に示すようにストリームデータ再生装置 6は、内部に取得部 21、デコード部 22
、出力部 23、メタ情報解析部 24、時刻カウンタ制御部 25、時刻カウンタ部 26、及び 時亥 ljカウンタ咅 27を備える。
取得部 21は、ユーザ力もの指示に基づいて、記録媒体 4力もメタ情報とストリームデ ータを取得して、ストリームデータをデコード部 22へ出力し、メタ情報をメタ情報解析 部 24へ出力する。
[0073] デコード部 22は、取得部 21からストリームデータを取得し、取得したストリームデー タをデコード処理してビデオデータ、オーディオデータ、字幕データ等を生成する。 そして時刻カウンタ部 26、または時刻カウンタ部 27の何れかを参照して、オーディオ 、ビデオ等の各コンポーネントの PTSが参照先の STC値に一致したタイミングで、そ れぞれのコンポーネントの復号データを出力部 23へ出力する。 STC値の参照先は、 メタ情報解析部 24から通知されたストリームデータ位置に再生処理が達した時に、時 刻カウンタ部 26と時刻カウンタ部 27とを交互に切り替える。また、ストリームデータか ら PCR情報が取得された場合、デコード部 22は、時刻カウンタ制御部 25へ PCR値 を通知する。
[0074] 出力部 23は、デコード部 22から取得した映像信号や音声信号を、ディスプレイや スピーカーなどへ出力する。
メタ情報解析部 24は、取得部 21から取得したメタ情報を解析して、 STC値をリセッ トするために、時刻カウンタ制御部 25に「時刻オフセット値」と「欠落終了時刻」とを通 知する。さらにメタ情報解析部 24は、メタ情報の「不連続点の位置情報」に基づいて 、参照先の時刻カウンタを切り替えるストリームデータ位置をデコード部 22へ通知す る。
[0075] 時刻カウンタ制御部 25は、デコード部 22から通知された PCR値に基づいて、時刻 カウンタ部 26及び時刻カウンタ部 27のうちデコード部 22が参照している側を同期さ せる。時刻カウンタ制御部 25はさらに、メタ情報解析部 24から取得した時刻オフセッ ト値を用いて、時刻カウンタ部 26及び時刻カウンタ部 27のうちデコード部 22が参照 していない側をリセットする。時刻オフセット値を用いた時刻カウンタのリセットは、デ コード部 22が参照して 、る側の時刻カウンタの STC値カ^タ情報の「欠落終了時刻」 に達したタイミングで実行される。
[0076] 時刻カウンタ部 26及び時刻カウンタ部 27は、デコード部 22で生成した映像信号や 音声信号などを、タイミングを合わせて出力するためにデコード部 22から参照される 時計の役割を果たす。
以上力ストリームデータ記録装置 5の内部構成である。
<時刻カウンタの切換 >
以下に、デコード部 22が STC値を参照する時刻カウンタの切り替えについて説明 する。
[0077] 図 16は欠落区間に PCRリセットが発生していたストリームデータを再生するときの 時刻カウンタ部 26及び時刻カウンタ部 27の変化の様子示す図である。グラフの横軸 はストリームデータの再生開始時力もの連続時間を示している。縦軸は時刻カウンタ のカウンタ値を示している。斜線部 141は欠落区間を示している。黒丸は TSヘッダに 含まれる PCRの時刻情報を示して 、る。直線 142は時刻カウンタ部 26のカウントアツ プの様子、破線 143は時刻カウンタ部 27のカウントアップの様子である。時刻オフセ ット値 146は、時刻カウンタ部 26と時刻カウンタ部 27の差を示している。
[0078] グラフ下の時刻カウンタ部 26および時刻カウンタ部 27の矢印は、それぞれのカウン タ値が有効な値を取る範囲を示して 、る。 A6点は時刻カウンタ部 27の値をリセットす るタイミング、 B6点はデコード部 22が参照する時刻カウンタを時刻カウンタ部 26から 時刻カウンタ部 27に切り替えるタイミングを示している。
欠落区間に PCRリセットが発生していた場合、欠落区間終了後に時刻カウンタは、 リセットされた PCRに合わせて同期を取り直す必要がある。
[0079] ところで、ストリームデータの再生では、ストリームデータを記録媒体力 読み出した タイミングで再生されるのではなぐ読み出して力 デコード処理して出力するまでの 間には時間がかかる。そのため、欠落区間発生前に読み出したストリームデータの出 力時刻が欠落区間終了後になる場合がある。このとき、欠落区間発生前に受信した ストリームデータの PTSは、 PCRリセットが発生する前の PCRに基づいて設定されて いるため、時刻カウンタを、欠落区間終了後すぐに、欠落区間内にリセットされた PC R値に同期させてしまうと、 PTSと時刻カウンタの対応が取れなくなってしまう。そこで 、時刻カウンタを 2つ設けて、欠落区間が終了したタイミング(図 16の A6点)で、時刻 カウンタ部 27を欠落区間中にリセットされた PCR値に同期させる力 デコード部 22の 参照先は、欠落区間発生前に受信したストリームデータが全て出力処理し終わって から、時刻カウンタ部 27に切り替える(図 16の B6点)。
[0080]
くストリームデータ再生方法 >
次に、ストリームデータ再生装置 6が記録媒体 4からストリームデータを取得して再 生する動作手順について説明する。図 17は、本実施形態に係るストリームデータ再 生装置 6におけるストリームデータ再生処理の処理手順を示す図である。
[0081] まずユーザからの指示を受け、再生処理が開始されると、取得部 21は記録媒体 4 からメタ情報を読み出しメタ情報解析部 24へ出力する (S201)。メタ情報解析部 24 は、メタ情報に登録されているレコードのうち、「不連続点の位置情報」が現在のストリ ームデータ再生位置以降で最も近い欠落区間に関するレコードを選択し (S202)、 選択したレコードをデコード部 22へ出力する(S203)。
[0082] デコード部 22は、取得部 21が記録媒体 4から読み出した再生対象のストリームデ ータと、取得部分に関するファイル先頭力 の位置情報とを受け取り(S204)、フアイ ル先頭からの位置情報とメタ情報解析部 24から取得したメタ情報の「不連続点の位 置情報」とを比較して、再生処理するストリームデータが前のデータと不連続になって いるか判定する(S205)。
[0083] 処理するストリームデータが前のデータと不連続ではなかった場合(S206: No)、 デコード部 22はデコード処理してビデオデータ、オーディオデータ、及び字幕データ を生成する。その後、各コンポーネントの PTSが参照している時刻カウンタに一致し たタイミングで、デコードしたコンポーネントのデータを出力部 23に出力する(S215)
[0084] 処理するストリームデータが前のデータと不連続な場合(S206 : Yes)、デコード部 22はメタ情報の「時刻オフセット値」を参照する。参照した時刻オフセット値が「0」で あれば(S207 : Yes)、欠落区間に PCRリセットは発生しておらず時刻カウンタをリセ ットする必要がないため、そのまま S215の処理を実行して、ストリームデータを再生 出力する。
[0085] 参照した時刻オフセット値が「0」であれば(S207 : No)欠落区間に PCRリセットが 発生しているため、時刻カウンタ値をリセットする処理が必要となる。そこでデコード部 22は、処理するストリームデータが前のデータと不連続な位置に達したことを、メタ情 報解析部 24へ通知する。通知をうけたメタ情報解析部 24は、 S202で選択したレコ ードの「時刻オフセット時」を時刻カウンタ制御部 25へ通知する(S208)。
[0086] メタ情報解析部 24への不連続位置到達通知に続いて、デコード部 22は現在参照 して 、る側の時刻カウンタ部のカウンタ値と、メタ情報の「欠落終了時刻」とを比較す る(S209)。これらが一致していない場合 (S210 : No)、まだ不連続点以前のデータ の処理タイミングであるため、 S215の処理を実行して、不連続点以前のデータを再 生出力する。 [0087] 欠落終了時刻が時刻カウンタ部のカウンタ値に一致した場合 (S210 : Yes)、デコ ード部 22は、時刻カウンタ部 26及び時刻カウンタ部 27のうち何れの側を参照して ヽ るかを、時刻カウンタ制御部 25へ通知する。通知をうけた時刻カウンタ制御部 25は、 デコード部 22が参照していない方の時刻カウンタに、もう一方の時刻カウンタのカウ ンタ値力も S208で通知された「時刻オフセット値」を減算した値を設定する(S211)。
[0088] 次にデコード部 22は S212〜S214の処理を実行することで、参照する時刻カウン タ部を切り替える。この処理でまずデコード部 22は、メタ情報の「不連続点の位置情 報」以前のデータを全て出力処理した力判定する(S212)。この判定は例えば、再生 対象のストリームデータが記録時にストリームデータ記録装置 5の欠落検出部 13によ つて不連続パケットを挿入されたものであれば、デコード処理して生成したデータを 出力部 23に出力するときに、不連続パケットまで処理した力否かを判定することで実 現できる。また、記録時に不連続パケットが挿入されていないストリームデータを再生 対象とする場合には、デコード部 22が取得部 21からストリームデータを取得したとき に、不連続となるストリームデータ位置に不連続を示すデータを挿入しておくことで、 デコード処理して生成したデータを出力部 23に出力するときに、不連続を示すデー タまで処理した力否かを判定することができる。
[0089] まだ不連続点以前のデータが残っている場合 (S213 :No)は、参照する時刻カウ ンタ部の切換は行わず、 S215の処理を実行し、不連続点以前のデータを再生出力 する。不連続点以前のデータを全て処理し終えている場合 (S213 : Yes)、デコード 部 22は参照する時刻カウンタ部を切り替える(S214)。そして、 S215の処理を実行 し、不連続点以降のデータを再生出力する。なお、この時刻カウンタ部の切り替え処 理は、時刻カウンタ部 26と時刻カウンタ部 27を用いて交互に行う。
[0090] 出力部 23は、ユーザ力もの再生停止指示やファイル終端まで再生処理した力判定 し (S216)、再生終了指示があった場合は再生処理を終える。再生終了指示がなか つた場合は、再び次のデータを処理するために S201に戻る。
以上力ストリームデータ再生装置 6の動作手順についての説明である。 上記実施形態によれば、受信電波が弱!、状態でストリームデータを記録するときに 、 PCRとストリームデータ記録装置の時刻カウンタとのオフセット値を求めてメタ情報 として保持しておき、この記録したストリームデータを再生するときに、ストリームデー タ再生装置の時刻カウンタをオフセット値に基づ 、て補正することで、放送システム が意図したタイミングでストリームデータを再生することができる。
[0091]
(第 2実施形態)
本発明の第 2実施形態について説明する。
<メタ†青報 >
第 2実施形態に係るメタ情報について説明する。第 1実施形態に係るメタ情報では 欠落区間の開始終了を STC値を用いて記録したが、第 2実施形態に係るメタ情報で は番組を構成するコンポーネントの何れかに着目して、そのコンポーネントに付され た PTSを用いて欠落区間の開始終了を記録する。ここで用いるコンポーネントは、ビ デォ、オーディオ、字幕等の何れを用いても良い。本実施形態では、ビデオデータを 対象とした場合のメタ情報を例として説明に用いる。図 18は第 2実施形態に係るメタ 情報のデータ構造を示した図である。本実施形態に係るメタ情報は、ストリームデー タ中に検出された欠落区間と同数のレコードからなり、各レコードは「欠落開始点の P TSJ「欠落終了点の PTS」「不連続点の位置情報」及び「再生時間」から構成される。
[0092] 「欠落開始点の PTS」は、欠落区間の発生前に受信したストリームデータのビデオ フレームの PTSである。
「欠落終了点の PTS」は、欠落区間の終了後に受信したストリームデータのビデオ フレームの PTSである。
「不連続点の位置情報」は、「欠落終了点の PTS」を含む TSパケットの位置である。 データ位置情報としては、記録対象の TSパケットの先頭力 付けた通し番号や、ファ ィル先頭からのオフセット値などを用いることができる。本実施形態では、ファイル先 頭からのオフセット値を用いる。
[0093] 「再生時間」は、欠落区間に含まれるストリームデータを仮に再生できた場合の再生 時間である。「欠落終了点の PTS」から「欠落開始点の PTS」を減算した値力 れに あたる。 <ストリームデータ記録装置 >
続いて、ストリームデータの記録処理において、図 18にデータ構造を示したメタ情 報を生成するストリームデータ記録装置 7について説明する。
[0094] 図 19は、第 2実施形態に係るストリームデータ記録装置 7の内部構成を示す図であ る。ストリームデータ記録装置 7は、図 5に構成を示したストリームデータ記録装置 5に 再生時間算出部 18を追加し、メタ情報生成部 16をメタ情報生成部 19に置換した構 成である。
以下、ストリームデータ記録装置 5と同様の構成については、同じ符号を付して説 明を省略する。
[0095] 再生時間算出部 18は、リセット検出部 15からリセット検出結果の通知を受けて、受 信電波状況の悪化等により記録対象のストリームデータが欠落した区間に対応する 、ストリームデータの再生時間を算出する機能ブロックである。再生時間算出部 18は 、算出した再生時間をメタ情報生成部 19に通知する。
メタ情報生成部 19は、欠落検出部 13の検出結果、及び再生時間算出部 18が算 出した再生時間に基づいて、図 18にデータ構造を示したメタ情報を生成する。
[0096] 以上がストリームデータ記録装置 7の内部構成についての説明である。
<ストリームデータ記録方法 >
図 20は、ストリームデータ記録装置 7におけるストリームデータ記録処理の処理手 順を示すフローチャートである。以下、図 8に示したストリームデータ記録装置 5の動 作手順との相違点に着目して、図 20を参照しながらストリームデータ記録装置 7の動 作手順について説明する。
[0097] 図 20に示す処理手順は、ユーザから録画指示を受けると実行される処理手順であ り、大きく分けて以下の 1〜4のステップに分けられる。
1.欠落区間の発生を検出し、欠落開始点の PTSを取得するステップ (S301〜S30 5)
2.欠落区間の終了を検出し、欠落終了点の PTS、不連続点の位置情報を取得する ステップ(S306〜S309)
3.欠落区間内で発生していた PCRリセットを検出し、再生時間を算出するステップ( S310~S314)
4.生成したメタ情報を記録するステップ (S315〜S316) まず、記録するストリームデータの欠落区間の発生を検出する S301〜S305のステ ップにつ ヽて説明する。 S301〜S305の処理 ίま、図 8の S101〜S105の処理にネ目 当するが、検出された TSパケットの欠落が欠落区間の開始点である場合 (S304 :Y es)に実行する処理(S305)が図 8の S105の処理と相違する。
[0098] S305の処理では、欠落検出部 13はメタ情報生成部 19に欠落区間開始を通知し、 通知を受けたメタ情報生成部 19は、欠落区間の発生前に出力したビデオフレームの 出力時刻を取得して、メタ情報の「欠落開始点の PTS」情報として保持する (S305) 。このよな処理は、例えば、パケット解析部 12でビデオ PESのヘッダを解析して PES ヘッダに含まれる PTSを検出する度に、検出した PTSを欠落検出部 13へ出力し、欠 落検出部 13は欠落区間の開始を検出した時に、最後に取得していた PTSをメタ情 報生成部 19へ通知することで、メタ情報生成部 19が欠落区間の発生前に出力した ビデオフレームの出力時刻を取得することができる。
[0099] 次に、欠落区間の終了を検出し、欠落終了時刻、及び不連続点の位置情報を取 得する S306〜S309のステップ【こつ!/、て説明する。 S306〜S309の処理 ίま、図 8の S106〜S109の処理に相当する力 検出された TSパケットの欠落が欠落区間の終 了点である場合(S307: Yes)に実行する処理(S308)が図 8の S108の処理と相違 する。
[0100] S308の処理では、欠落検出部 13はメタ情報生成部 19に欠落区間終了の通知を し、メタ情報生成部 19は、欠落区間終了後に出力するビデオフレームの出力時刻を 取得し、メタ情報の「欠落終了点の PTS」情報として保持する(S308)。このよな処理 は、例えば、パケット解析部 12がビデオ PESのヘッダを解析して PESヘッダに含ま れる PTSを検出する度に、検出した PTSを欠落検出部 13へ出力し、欠落検出部 13 は欠落区間の終了を検出した後に、最初に取得した PTSをメタ情報生成部 19へ通 知することで、メタ情報生成部 19が欠落区間の終了後に出力するビデオフレームの 出力時刻を取得することができる。
[0101] 次に、欠落区間内で発生していた PCRリセットを検出し、再生時間を算出する S31 0〜S314のステップにつ!/ヽて説明する。 S310〜S314の処理 ίま、図 8の S110〜S1 12の処理に相当するが、欠落区間中に PCRリセットが発生して 、た場合(S311: Ye s)に実行する処理 (S312〜S314)が図 8の処理手順と相違する。
S312の処理では、リセット検出部 15は時刻オフセット値を取得して、再生時間算 出部 18に通知する。時刻オフセット値が通知された再生時間算出部 18では、メタ情 報生成部 19から「欠落開始点の PTS」および「欠落終了点の PTS」を取得し、時刻 オフセット値、「欠落開始点の PTS」及び「欠落終了点の PTS」を用いて、欠落区間 に含まれるビデオフレームに対応する再生時間を算出する。再生時間算出処理の詳 細については後述する。続く S314の処理では、メタ情報生成部 19は再生時間算出 部 18から再生時間を取得し、メタ情報の「再生時間」として保持する。
[0102] 最後に生成したメタ情報を TS記録終了時に記録する S315、 S316の処理は、図 8 の S 113〜S 114の処理と同様の処理である。
以上が、ストリームデータ記録装置 7の動作手順にっ 、ての説明である。
<再生時間算出方法 >
次に、図 20の S313〖こおける、欠落区間に含まれるストリームデータに対応する再 生時間の算出方法を詳細に説明する。
[0103] 図 21は、欠落区間に PCRリセットが発生しな力つた場合のストリームデータに含ま れる PTSおよび時刻カウンタの変化の様子を示す図である。横軸はストリームデータ の受信開始時力 の連続時間を示して 、る。縦軸は時刻カウンタの値を示して 、る。 斜線部 151は欠落区間を示している。直線 152は時刻カウンタ部 14のカウントアップ の様子を示している。欠落区間開始 PTS154は、欠落区間が発生する前に出力する ビデオフレームの、出力タイミングでの時刻カウンタ部 14の値である。欠落区間終了 PTS155は、欠落区間が終了した後に、ビデオ PESヘッダから取得した PTSの値で ある。 [0104] 本図で示すように、欠落区間に PCRリセットが発生していな力つた場合は、ストリー ムデータに含まれる PCRと時刻カウンタ部 14は欠落区間終了後も同期している。こ のような条件では、欠落区間終了 PTS155は時刻カウンタ部 14が示す STC値に基 づ 、て処理されるように値が設定されて 、るため、欠落区間に対応する再生時間は 欠落区間終了 PTS155と欠落区間開始 PTS154の差分になる。
[0105] 一方、図 22は、欠落区間に PCRリセットが発生した場合のストリームデータに含ま れる PTSおよび時刻カウンタの変化の様子を示している。図 22において横軸はストリ ームデータの受信開始時からの連続時間を示して 、る。縦軸は時刻カウンタの値を 示している。斜線部 161は欠落区間を示している。黒丸は TSヘッダに含まれる PCR の時刻情報を示している。直線 162および直線 163は時刻カウンタ部 14のカウントァ ップの様子を示している。破線 164は欠落区間終了後から、最初に PCRを取得する までの間に TSヘッダに含まれる PCRの連続値を示している。欠落区間開始 PTS16 5は、欠落区間が発生する前に出力するビデオフレームの、出力タイミングの時刻力 ゥンタ部 14の値である。欠落区間終了 PTS166は、欠落区間が終了した後に、ビデ ォ PESヘッダから取得した PTSの値である。時刻オフセット値 167は直線 162と破線 164の差分である。
[0106] 本図に示すように、欠落区間に PCRリセットが発生していた場合、欠落区間終了後 は PCRと時刻カウンタ部 14は同期していない。欠落区間開始 PTS165は欠落区間 開始 PTS165は PCRリセット前の PCRに基づいているため、時刻カウンタ部 14と同 期している。し力し、欠落区間終了 PTS166は PCRリセット後の PCRに基づいている 処理されるように値が設定されているため、時刻カウンタ部 14と同期していない。そ のため、欠落区間終了 PTS166と欠落区間開始 PTS165とは基準が異なるため、こ のままでは単に差をとるだけでは、欠落区間に対応する再生時間を得ることができな い。
[0107] そこで、欠落区間終了 PTS166を、時刻オフセット値 167を使って、欠落区間開 始 PTS165と同じ基準に合わせる。補正終了 PTS168は欠落区間終了 PTS166に 時刻オフセット値 167を加算して、欠落区間開始 PTS165と同じ基準に補正した欠 落区間終了 PTSである。補正終了 PTS168と欠落区間開始 PTS165は同じ基準に 基づいているため、欠落区間に対応する再生時間は補正終了 PTS168と欠落区間 開始 PTS 165の差分により得ることができる。
[0108] 以下に、上述の再生時間算出方法を実現する処理手順を説明する。図 27は、再 生時間算出部 18が再生時間を算出する処理手順を示すフローチャートである。 まず再生時間算出部 18はメタ情報生成部 19から欠落終了点の PTSを取得する( S351) 0また欠落区間に PCRリセットが発生していた場合は、再生時間算出部 18は リセット検出部 15で算出した時刻オフセット値を取得する(S352)。そして再生時間 算出部 18は欠落終了点の PTSに時刻オフセット値を加算して、欠落終了点の PTS を補正する(S353)。このときメタ情報の欠落終了点の PTS値は書き換えない。欠落 区間に PCRリセットが発生していな力つた場合 (S352)、 S353の処理は行わない。次 に再生時間算出部 18はメタ情報生成部 19から欠落開始点の PTSを取得する(S35 4)。そして欠落終了点の PTSから欠落開始点の PTSを減算し、欠落区間に含まれ るストリームデータに対応する再生時間を算出する(S355)。そして算出した再生時 間をメタ情報生成部 19に通知する(S 314)。
[0109] 以上が、欠落区間に含まれるストリームデータに対応する再生時間の算出方法の 説明である。
< PTS補間処理 >
次に、欠落開始点および欠落終了点の PTSを求める方法の変形例として、 PESへ ッダに含まれる PTS情報とフレームレートを用いて、オーディオフレーム及びビデオ フレームの PTSを補間することで、欠落開始点および欠落終了点と精度よく一致す る PTSを求める方法を説明する。
図 24はオーディオ PESヘッダに含まれる PTSとオーディオフレームとの関係を示し た図である。
上段はオーディオ PESを示している。「PTS含む」は PESヘッダに PTS情報を含ん で!、る PESを、「PTS含まな!/、」は PESヘッダに PTS情報を含んで!/、な!/、PESを示 している。受信悪化区間は受信電波状況が悪化して正しくストリームデータを取得で きなかった区間である。 [0111] 下段はオーディオ PESをデコードして生成されるオーディオフレームを示して 、る。 図 20の S305において、欠落開始 PTSとして、 PESヘッダに含まれる PTSを用い た場合、図 24の A7点が欠落区間の開始点となる。そのため、 A7点力 B7点までの オーディオフレームは音声出力されない。そこで、欠落開始 PTSとして、 PESヘッダ に含まれる PTSではなぐ補間した B7点での PTSを用いることで、再生できるストリー ムデータを増やすことができる。
[0112] B7点の PTS算出方法である力 まず A7点力も B7点に含まれるストリームデータを デコード処理してフレーム数を求める。そしてフレーム数とストリームデータで定義さ れているフレームレートから、 A7点から B7点のフレームの再生時間を求め、それを A 7点の PTSに足し合わせることで求めることができる。なお、ビットレートが固定の場合 は、 A7点から B7点のオーディオ ESのバイト長とビットレートから算出することも可能 である。
[0113] また図 20の S308において、欠落終了 PTSとして、 PESヘッダに含まれる PTSを用 いた場合、図 24の D7点が欠落区間の終了点となる。そのため、 C7点から D7点のォ 一ディオフレームは出力されない。そこで欠落開始 PTSの場合と同様に、欠落終了 PTSとして、 PESヘッダに含まれる PTSではなぐ補間した C7点での PTSを用いる ことで、再生できるストリームデータを増やすことができる。
[0114] C7点の PTS算出方法である力 B7点の PTS算出方法と同様に、 C7点から D7点 に含まれるフレーム数とフレームレートから C7点力 D7点のフレームの再生時間を 求め、それを D7点の PTSから引くことで求めることができる。
なお、ここではオーディオデータを用いて説明した力 ビデオデータについても同 様であることは言うまでもな!/、。
[0115] 以上が、ストリームデータ記録装置 7についての説明である。
<ストリームデータ再生装置 >
続いて第 2実施形態に係るメタ情報を用いて STC値を補正して、ストリームデータを 再生するストリームデータ再生装置 8について説明する。図 25は、第 2実施形態に係 るストリームデータ再生装置 8の内部構成を示す図である。ストリームデータ再生装置 8は、図 15に構成を示したストリームデータ再生装置 6から時刻カウンタ部 27を取り 除き、デコード部 22、メタ情報解析部 24及び時刻カウンタ制御部 25を、それぞれデ コード部 28、メタ情報解析部 29及び時刻カウンタ制御部 30に置換した構成である。
[0116] 以下、ストリームデータ再生装置 6と同様の構成については、同じ符号を付して説 明を省略する。
デコード部 28は、デコード部 22と同様に、取得部 21から取得したストリームデータ をデコードしてビデオデータ、オーディオデータ、字幕データ等のコンポーネントデー タを生成し、時刻カウンタ部 26の STC値を参照して各コンポーネントに設定された P TSがカウンタ値に一致したタイミングで、出力部 23へ出力する。また、ストリームデー タカも PCR情報が取得された場合、デコード部 28は、時刻カウンタ制御部 25へ PC R値を通知する。
[0117] デコード部 28がデコード部 22と相違するのは、またメタ情報の「不連続点の位置情 報」を参照して、デコード処理するデータが前のデータと不連続であるかを判定し、 不連続である場合は、メタ情報の「再生時間」で示される時間の間、直前に復号した フレームを出力しつづける点である。「再生時間」で示される時間が経過した後は、デ コード部 28は、欠落区間に相当する再生時間が終了したことを、時刻カウンタ制御 部 30に通知する。
[0118] 尚、前のデータと不連続なデータまでデコード処理が達した場合の処理としては、 直前に復号したフレームの静止画表表示に替えて、「再生時間」示される時間の間、 画面を暗転表示したり、その他の色を画面に表示させてもよい。あるいは、前のデー タと不連続なデータまでデコード処理が達した場合、即座に時刻カウンタ制御部 30 へ時刻カウンタ値をリセットするように通知することで、不連続なデータへ再生位置を ジャンプさせてもよい。
[0119] メタ情報解析部 29は、取得部 21から取得したメタ情報を解析して、「不連続点の位 置情報」と「再生時間」とをデコード部 28へ通知する。さらにメタ情報解析部 29は、 S TC値をリセットするために必要な「欠落終了点の PTS」を、時刻カウンタ制御部 30へ 通知する。
時刻カウンタ制御部 30は、デコード部 28から通知された PCR値に時刻カウンタ部 26を同期させる。さらに時刻カウンタ制御部 30は、デコード部 28から欠落区間に相 当する再生時間の終了が通知された場合、メタ情報解析部 29から通知された「欠落 終了点の PTS」が示す時刻に時刻カウンタ部 26を再設定する。
[0120] 以上がストリームデータ再生装置 8の内部構成についての説明である。 くストリームデータ再生方法 >
次に、ストリームデータ再生装置 8が記録媒体 4からストリームデータを取得して再 生する動作手順について説明する。図 26は、第 2実施形態に係るストリームデータ再 生装置 8におけるストリームデータ再生処理の処理手順を示す図である。
[0121] まずユーザからの指示を受け、再生処理が開始されると、取得部 21は記録媒体 4 からメタ情報を読み出しメタ情報解析部 29へ出力する (S401)。メタ情報解析部 29 は、メタ情報に登録されているレコードのうち、「不連続点の位置情報」が現在のストリ ームデータ再生位置以降で最も近い欠落区間に関するレコードを選択する(S402) 。さらにメタ情報解析部 29は、選択したレコードの「不連続点の位置情報」と「再生時 間」とをデコード部 28へ通知し、選択したレコードの「欠落終了点の PTS」を、時刻力 ゥンタ制御部 30へ通知する(S403)。
[0122] デコード部 28は、取得部 21が記録媒体 4から読み出した再生対象のストリームデ ータと、取得部分に関するファイル先頭力 の位置情報とを受け取り(S404)、フアイ ル先頭からの位置情報とメタ情報解析部 29から取得したメタ情報の「不連続点の位 置情報」とを比較して、再生処理するストリームデータが前のデータと不連続になって いるか判定する(S405)。
[0123] 処理するストリームデータが前のデータと不連続ではなかった場合(S406: No)、 デコード部 28はデコード処理してビデオデータ、オーディオデータ、及び字幕データ を生成する。その後、各コンポーネントの PTSが時刻カウンタ部 26の STC値に一致 したタイミングで、デコードしたコンポーネントのデータを出力部 23に出力する(S413
) o
[0124] 処理するストリームデータが前のデータと不連続であった場合(S406)、デコード部 28はメタ情報の「不連続点の位置情報」以前のデータを全て出力処理したか判定す る(S407)。この判定は例えば、再生対象のストリームデータが記録時に不連続パケ ットを挿入されたものであれば、デコード処理して生成したデータを出力部 23に出力 するときに、不連続パケットまで処理した力否かを判定することで実現できる。また、 記録時に不連続パケットが挿入されて 、な 、ストリームデータを再生対象とする場合 には、デコード部 22が取得部 21からストリームデータを取得したときに、不連続となる ストリームデータ位置に不連続を示すデータを挿入しておくことで、デコード処理して 生成したデータを出力部 23に出力するときに、不連続を示すデータまで処理したか 否かを判定することができる。
[0125] まだ不連続点以前のデータが残っている場合 (S408 : No)は、 S413の処理を実 行し、不連続点以前のデータを再生出力する。不連続点以前のデータを全て処理し 終えている場合 (S408: Yes)、デコード部 28はメタ情報の「再生時間」が経過したか 否かを判定する(S409)。この判定のためには、先ずデコード部 28が不連続点以前 の最後のデータを出力したときの STC値を時刻カウンタ部 26から取得し、メタ情報の 「再生時間」を加算する。この加算結果の値と時刻カウンタ部 26のカウンタ値が一致 した力否かで再生時間の経過を判定することができる。
[0126] まだ再生時間が経過していない場合 (S410 : No)、再生時間が経過するまで、デコ ード部 28は不連続点以降のデータの出力処理を行わず待機する。再生時間が経過 した場合 (S410 : Yes)、デコード部 28は欠落区間に相当する再生時間が終了した ことを、時刻カウンタ制御部 30に通知する(S411)。通知を受けた時刻カウンタ制御 部 30は、時刻カウンタ部 26のカウント値を、 S403でメタ情報解析部 29から通知され た「欠落終了点の PTS」の値にリセットする(S412)。その後、 S413の処理を実行し て、不連続点以降のデータを再生出力する。
[0127] 出力部 23は、ユーザ力もの再生停止指示やファイル終端まで再生処理した力判定 し (S414)、再生終了指示があった場合 (S414 :Yes)は再生処理を終え、再生終了 指示がな力つた場合(S414 :No)は、再び次のデータを処理するために S401に戻 る。
以上力ストリームデータ再生装置 8の動作手順についての説明である。
[0128] なお、本発明の第 2実施形態では、メタ情報を生成するのにビデオデータを用いた 1S オーディオデータを用いてもよい。
上記実施形態によれば、正常に受信できなかった区間のビデオデータまたはォー ディォデータのどちらか一方の再生時間を予測してメタ情報として生成、保持してお くことで、受信電波が弱い状態で記録したストリームデータを再生するときに、放送シ ステムが意図したタイミングで再生することができる。
[0129]
(第 3実施形態)
本発明の第 3実施形態について説明する。
<メタ†青報 >
本発明の第 2実施形態では、オーディオデータかビデオデータどちらか一方の時 間情報を用いてメタ情報を生成したが、第 3実施形態では、オーディオデータとビデ ォデータとの両方の時刻情報を用いてメタ情報を生成する。図 27は、第 3実施形態 に係るメタ情報のデータ構造を示す図である。
[0130] 本実施形態に係るメタ情報は、ストリームデータ中に検出された欠落区間ごとに、ビ デォデータに対応するレコードとオーディオデータに対応するレコードを含むため、 欠落区間の 2倍の数のレコード力もなる。奇数番目のレコードがビデオデータを対象 にした場合のメタ情報であり、偶数番目のレコードがオーディオデータを対象にした 場合のメタ情報である。
[0131] 各レコードは「欠落開始点の PTS」「欠落終了点の PTS」「不連続点の位置情報」 及び「再生時間」から構成される。
「欠落開始点の PTS」は、欠落区間の発生前に受信したストリームデータのオーデ ィォフレームまたはビデオフレームの PTSである。
「欠落終了点の PTS」は、欠落区間の終了後に受信したストリームデータのオーデ ィォフレームまたはビデオフレームの PTSである。
[0132] 「不連続点の位置情報」は、「欠落終了点の PTS」を含む TSパケットの位置である。
データ位置情報としては、記録対象の TSパケットの先頭力 付けた番号や、ファイル 先頭からのオフセット値などがある。本発明の第 3実施形態では、ファイル先頭からの オフセット値を用いる。
「再生時間」は、欠落区間に含まれるストリームデータを仮に再生できた場合のォー ディオフレームまたはビデオフレームの再生時間である。「欠落終了点の PTS」から「 欠落開始点の PTS」を減算した値がこれにあたる。
[0133]
<ストリームデータ記録方法 >
次に、第 3実施形態に係るストリームデータ記録処理について、図 20を参照しなが ら、第 2実施形態に係るストリームデータ記録処理との相違点を説明する。
先ず第 1の相違点は、欠落区間の開始点が検出された場合に実行される S305の 処理において、ビデオフレーム及びオーディオフレームのそれぞれについて、欠落 開始点の PTSを取得する点である。
[0134] 具体的には、 S305の処理では、メタ情報生成部 19は、欠落区間の発生前に出力 したビデオフレームの PTSを取得し、メタ情報の奇数行目にビデオデータの「欠落開 始点の PTS」情報として保持する。またメタ情報生成部 19は、欠落区間の発生前に 出力したオーディオフレームの PTSを取得し、メタ情報の偶数行目にオーディオデ ータの「欠落開始点の PTS」情報として保持する。
[0135] 第 2の相違点は、欠落区間の終了点が検出された場合に実行される S308の処理 において、ビデオフレーム及びオーディオフレームのそれぞれについて、欠落終了 点の PTSを取得する点である。
具体的には、 S308の処理では、メタ情報生成部 19は、欠落区間終了後に出力す るビデオフレームの PTSを取得し、メタ情報の奇数行目にビデオデータの「欠落終了 点の PTS」情報として保持する。またメタ情報生成部 19は、欠落区間終了後に出力 するオーディオフレームの PTSを取得し、メタ情報の偶数行目にオーディオデータの 「欠落終了点の PTS」情報として保持する。
[0136] 第 3の相違点は、 S309の処理において、ビデオフレーム及びオーディオフレーム のそれぞれにつ 、て、記録位置情報を取得する点である。
具体的には、 S309の処理では、メタ情報生成部 19は、記録制御部 17から、ビデ ォデータの「欠落終了点の PTS」情報を含む TSパケットの記録位置を取得し、メタ情 報の奇数行目にビデオデータの「不連続点の位置情報」として保持する。またメタ情 報生成部 19は、記録制御部 17から、オーディオデータの「欠落終了点の PTS」情報 を含む TSパケットの記録位置を取得し、メタ情報の偶数行目にオーディオデータの「 不連続点の位置情報」として保持する。
[0137] 第 4の相違点は、 S313の処理において、ビデオフレーム及びオーディオフレーム のそれぞれについて、欠落区間に含まれるデータに対応する再生時間を算出する 点である。
具体的には、 S313の処理では、再生時間算出部 18はメタ情報生成部 19の奇数 行目からビデオデータの「欠落開始点の PTS」および「欠落終了点の PTS」を取得し て、欠落区間に含まれるビデオデータに対応する再生時間を算出する。また再生時 間算出部 18はメタ情報生成部 19の偶数行目からオーディオデータの「欠落開始点 の PTS」および「欠落終了点の PTS」を取得して、欠落区間に含まれるオーディオデ ータに対応する再生時間を算出する。なお時刻オフセット値は、 PCRと時刻カウンタ 部 14の STC値との差分であり、ビデオデータ、オーディオデータで共通である。この ため、再生時間はビデオデータ、オーディオデータともに同じロジックで算出できる。
[0138] 以上が、第 3実施形態に係るストリームデータ記録方法についての説明である。
<ストリームデータ再生装置 >
続いて第 3実施形態に係るメタ情報を用いて STC値を補正して、ストリームデータを 再生するストリームデータ再生装置 9について説明する。図 28は、第 3実施形態に係 るストリームデータ再生装置 8の内部構成を示す図である。ストリームデータ再生装置 9は、図 25に構成を示したストリームデータ再生装置 8に状態表示部 33を追加し、デ コード部 28及び時刻カウンタ制御部 30を、それぞれデコード部 31及び時刻カウンタ 制御部 32に置換した構成である。
[0139] 以下、ストリームデータ再生装置 8と同様の構成については、同じ符号を付して説 明を省略する。
デコード部 31は、取得部 21から取得したストリームデータをデコードしてビデオデ ータ、オーディオデータを生成する。そして時刻カウンタ部 26を参照して、生成した オーディオデータまたはビデオデータを、それぞれのフレームレートに基づ!/、た一定 間隔ごとに出力部 23へ出力する。
[0140] デコード部 31はさらに、メタ情報の「不連続点の位置情報」を参照して、デコード処 理するデータが前のデータと不連続であるかを判定し、不連続である場合は、メタ情 報の「再生時間」で示される時間の間、出力部 23への出力を停止する。
時刻カウンタ制御部 32は、再生開始時にストリームデータの PCRに合わせて時刻 カウンタ部 26のカウンタ値をリセットする。再生中は時刻カウンタ部 26のリセットは行 わない。
[0141] 状態表示部 33は、メタ情報解析部 29からメタ情報を取得して、記録されているスト リームデータに欠落区間が有る事をユーザに提示する画面を生成し、出力部 23を介 してモニタへ出力する。具体的には、状態表示部 33による表示処理は、例えば、図 2 9の(a)に示すように、欠落区間を各区間の時間の長さに応じた割合で、ストリームデ ータ全体を示すバーオブジェクト上に配置して表示する。あるいは、図 29の(b)に示 すように、欠落区間の位置を、再生可能なストリームデータの長さを示すバーオブジ ェクトにおいて表示するとしてもよい。さらに他の例として、図 29の(c)に示すように、 記録対象であったストリームデータの放送時の時間と、実際に記録したストリームデ ータの再生可能な時間とをユーザに提示する構成としてもよい。状態表示部 33はさ らに、ユーザにジャンプ先の指定を要求する際に、図 29の(d)に示すように、ジヤン プ先として指定可能な区間及び不可能な区間を一つのバーオブジェクト上に示す画 像を生成し、モニタへ出力する。
[0142] またストリームデータの再生動作中には、状態表示部 33は再生状態を示す画像を 生成し、モニタへ出力する。図 30の(a)は再生状態を示す画像が表示された移動体 受信端末 3を模式的に示す図である。ストリームデータの再生中は、移動体受信端末 3のモニタ 10には、デコードされた再生画像が映像出力部分 10aに表示され、状態 表示部 33により生成された再生状態を示す情報が状態表示部分 10bに表示される 。状態表示部分 10bに表示される再生状態を示す情報には、再生位置表示バーオ ブジェクト 10cと再生時間表示 10dとがある。
[0143] 以下に、再生状態を示す画像の表示方法を説明する。図 30の (b)は再生状態を 示す画像の表示方法の一例を示す図である。
再生位置表示バーオブジェクト 10cは、ストリームデータ全体の長さを示すバーオ ブジェクトであり、欠落区間とが各区間の位置と長さに応じて配置されている。バーオ ブジェクト上で区分けされた各区間は、その区間で再生可能なコンポーネントの種類 に応じて色分けして表示される。具体的には、ビデオ及びオーディオの両方が再生 可能な区間 10eは緑色に表示され、ビデオ及びオーディオの何れか一方のみの欠 落区間を示す区間 10fは橙色に、ビデオ及びオーディオの両方の欠落区間が重な つている区間 10gは赤色に表示される。さらに再生位置表示バーオブジェクト 10eは 、再生が済んだ量に応じて左端力 太枠を表示することで、現在の再生位置がどの ような状態である力把握することを容易にする。
[0144] 再生時間表示 10dは、現在再生の時刻とストリームデータ全体の再生時間とを並べ て示す文字列である。再生時間表示 10dの文字列は、現在の再生位置がビデオの 欠落区間になり映像出力部分 10aが暗転した時に表示される。尚、再生時間表示 10 dの表示色も、再生位置表示バーオブジェクト 10cと同様に、再生されているコンポ一 ネントの種類に応じて表示色を変更してもよ 、。
[0145] さらに、ビデオ及びオーディオの両方の欠落区間が重複した部分であり、メタ情報 の「再生時間」が所定時間 (例えば 10秒)以上の欠落区間に再生位置が達した場合 には、映像出力部分 10aにポップアップ 10cやアイコン等の警告画像を表示してもよ い。このような警告がなされることで、ユーザは長時間にわたって再生が途切れること を認識することができ、ユーザはスキップ操作等の適切な対処が可能となる。
[0146] 以上がストリームデータ再生装置 9の内部構成についての説明である。 くストリームデータ再生方法 >
次に、ストリームデータ再生装置 9が記録媒体 4からストリームデータを取得して再 生する動作手順について説明する。図 31は、第 3実施形態に係るストリームデータ再 生装置 9におけるストリームデータ再生処理の処理手順を示す図である。
[0147] まずユーザからの指示を受け、再生処理が開始されると、取得部 21は記録媒体 4 からメタ情報を読み出しメタ情報解析部 29へ出力する (S501)。メタ情報解析部 29 は、メタ情報に登録されているレコードのうち、「不連続点の位置情報」が現在のストリ ームデータ再生位置以降で最も近い欠落区間に関する奇数行目のビデオデータの レコードと、それに続く偶数行目のオーディオデータのレコードとを選択する(S502) 。さらにメタ情報解析部 29は、選択した 2つのレコードの「不連続点の位置情報」と「 再生時間」とをデコード部 28へ通知し、選択した 2つのレコードの「欠落終了点の PT S」を、時刻カウンタ制御部 30へ通知する(S503)。デコード部 31は、取得部 21が記 録媒体 4から読み出した再生対象のストリームデータと、取得部分に関するファイル 先頭からの位置情報とを受け取る(S504)。
[0148] 以降、 S505力ら S511の処理は、オーディオデータとビデオデータそれぞれに対し て並行して実行する。
S505でデコード部 31は、メタ情報の奇数行目のビデオデータの「不連続点の位置 情報」を参照して、再生処理するビデオデータが前のデータと不連続になって!/、るか 判定する。またメタ情報の偶数行目のオーディオデータの「不連続点の位置情報」を 参照して、再生処理するオーディオデータが前のデータと不連続になって!/、るか判 定する。
[0149] 処理するビデオデータまたはオーディオデータが前のデータと不連続ではなかつ た場合(S506 :No)、デコード部 31はデコード処理してビデオデータまたはオーディ ォデータを生成する。デコード部 31は、生成したオーディオデータまたはビデオデー タを、時刻カウンタ部 26を参照して、それぞれのフレームレートに基づいた一定間隔 ごとに出力部 23へ出力する(S511)。ただし、 S511の処理では、再生開始時の最 初のオーデイイオフレームおよびビデオフレームのみ、それぞれの PTSが時刻カウン タ部 26のカウンタ値に一致したタイミングで出力を開始する。それ以降のオーディオ フレームおよびビデオフレームについては、それぞれのフレームレートに基づいた一 定間隔ごとに出力する。
[0150] 処理するビデオデータまたはオーディオデータが前のデータと不連続であった場 合 (S506: Yes)、デコード部 31はメタ情報の奇数行目の「不連続点の位置情報」以 前のビデオデータまたはメタ情報の偶数行目の「不連続点の位置情報」以前のォー ディォデータを全て出力処理したか判定する(S507)。まだ不連続点以前のデータ が残っている場合(S508 :No)は、 S511の処理を実行し、不連続点以前のデータを 出力する。不連続点以前のビデオデータを全て処理し終えた場合 (S508 : Yes)、デ コード部 31はメタ情報の奇数行目のビデオデータの「再生時間」が経過したカゝ否か を判定する(S509)。また不連続点以前のオーディオデータを全て処理し終えた場 合(S508: Yes)、デコード部 28はメタ情報の偶数行目のオーディオデータの「再生 時間」が経過した力否かを判定する(S509)。まだ再生時間が経過して 、な 、場合 ( S510 :No)、再生時間が経過するまで、デコード部は不連続点以降のデータの出力 処理を行わず待機する。
[0151] 再生時間が経過した場合(S510 : Yes)、デコード部 31は S413の処理を実行して 、不連続点以降のデータを再生出力する。不連続点以降のストリームデータを再生 出力する場合においては、メタ情報の「再生時間」が経過したらタイミング力 再生出 力を開始し、その後はフレームレートに基づいた一定間隔ごとに出力する。
以上力ストリームデータ再生装置 8の動作手順についての説明である。
[0152] 上記実施形態によれば、正常に受信できな力つた区間のビデオデータおよびォー ディォデータ両方の再生時間を予測してメタ情報として生成、保持しておき、再生時 には、ビデオデータとオーディオデータとの開始のタイミングのみ PTSを用いて同期 させ、以降のデータはフレームレートに基づいて出力しつつ、受信電波が弱い状態 で記録したストリームデータを再生するときに、ビデオデータおよびオーディオデータ それぞれについて、メタ情報の再生時間の間、再生を待機させることで、欠落区間終 了後も放送システムが意図したタイミングでビデオデータおよびオーディオデータを 同期させて再生することができる。
[0153]
(その他の変形例)
尚、本発明を上記の実施形態に基づいて説明してきたが、本発明は、上記の実施 形態に限定されないのはもちろんである。以下のような場合も本発明に含まれる。
(1)本発明は、各実施形態で説明したフローチャートの処理手順が開示するストリ ームデータの記録方法、再生方法であるとしてもよい。また、前記処理手順でコンビ ユータを動作させるプログラムコードを含むコンピュータプログラムであるとしてもよい し、前記コンピュータプログラム力もなるデジタル信号であるとしてもょ 、。
[0154] また、本発明は、前記コンピュータプログラム又は前記デジタル信号をコンピュータ 読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、 CD-RO M、 MO、 DVD, DVD-ROM, DVD -RAM, BD (Blu— ray Disc)、半導体メ モリなど、に記録したものとしてもよい。
また、本発明は、前記コンピュータプログラム又は前記デジタル信号を、電気通信 回線、無線又は有線通信回線、インターネットを代表とするネットワーク等を経由して 伝送するものとしてもよ 、。
[0155] また、前記コンピュータプログラム又は前記デジタル信号を前記記録媒体に記録し て移送することにより、又は前記コンピュータプログラム又は前記デジタル信号を前 記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムに より実施するとしてもよ 、。
(2)本発明は、上記第 1実施形態乃至第 3実施形態に記載のストリームデータ記録 装置、及びストリームデータ再生装置を制御する LSIとしても実施可能である。このよ うな LSIは、図 5、図 15、図 19、図 25、及び図 28において破線で囲んだ各機能ブロ ックを集積ィ匕することで実現できる。これらの機能ブロックは、個別に 1チップィ匕されて も良 、し、一部または全てを含むように 1チップィ匕されてもよ!、。
[0156] ここでは、 LSIとした力 集積度の違いにより、 IC、システム LSI、スーパー LSI、ゥ ノレ卜ラ LSIと呼称されることちある。
また、集積回路化の手法は LSIに限るものではなぐ専用回路または、汎用プロセ ッサで実現してもよい。 LSI製造後にプログラムすることが可能な FPGA (Field Progr ammable Gate Array)や、 LSI内部の回路セルの接続や設定を再構成可能なリコン フィギユラブル ·プロセッサを利用してもよ 、。
[0157] さらには、半導体技術の進歩または派生する別技術により LSIに置き換わる集積回 路化の技術が登場すれば、当然、その技術を用いて機能ブロック及び部材の集積ィ匕 を行ってもよい。このような技術には、ノィォ技術の適応等が可能性としてありえる。
(3)上記本発明の第 1実施形態乃至第 3実施形態では、主にディジタル放送信号 で伝送されるストリームデータの記録、再生について論じた力 ネットワーク経由で受 信したストリームデータに対しても同様の効果が得られるのは言うまでもない。
[0158] さらに本発明は、ディジタル放送信号力 取得したストリームデータに限らず、既に 記録媒体に記録されているストリームデータを解析の対象としてメタ情報を生成する ストリームデータ編集装置としても実施形態可能である。このようなストリームデータ編 集装置は、具体的には、図 5及び図 19に示す構成で、記録媒体 4に既に記録媒体 に記録されているストリームデータを、取得部 11により読み出し、読み出したストリー ムデータを処理の対象とすることで実現される。このように装置では、放送波から取得 したストリームデータをー且記録媒体に記録した後、装置のアイドル時などにストリー ムデータを読み出してメタ情報を生成することが可能となり、ストリームデータ記録時 の処理負荷を軽減させると!、う観点で有益である。
[0159] (4)第 1実施形態乃至第 3実施形態では、メタ情報をストリームデータと同じ記録媒 体に記録するとしたが、本発明に係るメタ情報とストリームデータとは、対応付けがな されていれば、それぞれ別の記録媒体に記録してもよい。例えば、ストリームデータ のデータサイズが記録媒体の容量よりも大きい場合には、ストリームデータを複数の 記録媒体に分割して記録し、それぞれの記録媒体に記録されて 、るストリームデータ の各部分における欠落区間のメタ情報を何れか一つの記録媒体にまとめて記録し、 ストリームデータの各部分とメタ情報とに共通の IDを付しておくことで本発明を適用で きる。
[0160] (5)上記実施形態、及び上記変形例をそれぞれ組み合わせるとしてもよ ヽ。
産業上の利用可能性
[0161] 本発明に係るストリームデータ記録装置は、ストリームデータの記録時に、受信電波 状況が悪ィ匕したためストリームデータに含まれる PCRが不明な区間に対して、 STC 値を補正する為の時刻オフセット情報を生成し、本発明に係るストリームデータ再生 装置は、再生時にこの時刻オフセット情報を用いて時刻カウンタを補正することで放 送システムが意図したタイミングでストリームデータを再生することができる。本発明は 、ストリームデータの記録中に受信電波状況が悪化発生した場合にも、上述のような 有効な対処ができるため、移動体受信端末でのディジタル放送受信などに有用であ る。

Claims

請求の範囲
[1] 時刻参照情報を含むストリームデータを記録するストリームデータ記録装置であつ て、
ストリームデータを取得する取得手段と、
時刻参照情報に同期して時刻を刻む時刻カウンタ手段と、
前記取得されたストリームデータにおいて、一部のパケットが欠落した欠落区間を 検出する検出手段と、
ストリームデータにおいて前記欠落区間が終了した位置を特定する位置情報と、前 記欠落区間が終了したときの時刻カウンタ手段の時刻を、前記欠落区間に含まれて いた時刻参照情報に同期した場合の状態に補正するための時刻補正情報とを生成 する生成手段と、
前記生成された位置情報及び時刻補正情報を、前記取得されたストリームデータ に対応付けて記録する記録手段と
を備えることを特徴とするストリームデータ記録装置。
[2] 前記欠落区間中に、時刻カウンタ手段を不連続な時刻に同期させる時刻参照情報 が存在したカゝ否かを判定する判定手段をさらに備え、
前記生成手段は、前記判定手段による判定が肯定的である場合に、前記位置情 報及び前記時刻補正情報を生成する
ことを特徴とする請求項 1に記載のストリームデータ記録装置。
[3] 前記判定手段は、欠落区間終了後に取得された時刻参照情報が時刻カウンタ手 段の示す時刻より小さい場合に、肯定的な判定をなす
ことを特徴とする請求項 2に記載のストリームデータ記録装置。
[4] 前記判定手段は、欠落区間が終了した後に取得されたストリームデータ中のフレー ムに定義されている提示時刻と、時刻カウンタ手段の示す時刻との差が所定の滞留 時間を超える場合に、肯定的な判定をなす
ことを特徴とする請求項 2に記載のストリームデータ記録装置。
[5] 前記判定手段は、
第 1欠落区間が終了した後に取得されたストリームデータ中のフレームに定義され ている提示時刻と時刻カウンタ手段の示す時刻との差である第 1保持時間を算出し、 前記第 1欠落区間よりも後に検出された第 2欠落区間が終了した後に取得されたス トリームデータ中のフレームに定義されている提示時刻と時刻カウンタ手段の示す時 刻との差である第 2保持時間を算出し、
第 1保持時間と第 2保持時間とを比較して、これらの差が所定の閾値以下である場 合に、前記第 1欠落区間中には時刻カウンタ手段を不連続な時刻に同期させる時刻 参照情報が存在し、前記第 2欠落区間中には時刻カウンタ手段を不連続な時刻に同 期させる時刻参照情報が存在しな ヽと判定する
ことを特徴とする請求項 2に記載のストリームデータ記録装置。
[6] 時刻補正情報は、
前記欠落区間が終了したときに時刻カウンタ手段が示す時刻である終了時刻情報 と、
欠落区間終了後に取得された時刻参照情報とそのときに時刻カウンタ手段が示す 時刻との差である時刻オフセット情報とからなる
ことを特徴とする請求項 2に記載のストリームデータ記録装置。
[7] 前記生成手段は、
時刻オフセット情報の算出に、欠落区間終了後に最初に取得された時刻参照情報 を用いる
ことを特徴とする請求項 6に記載のストリームデータ記録装置。
[8] 時刻補正情報は、
前記欠落区間において欠落したストリームデータに対応する再生時間と、 前記欠落区間終了後に取得されるストリームデータに含まれるビデオ、オーディオ 、字幕のうち少なくとも 1のフレームに定義されている提示時刻とからなる
ことを特徴とする請求項 2に記載のストリームデータ記録装置。
[9] 時刻補正情報に用いる提示時刻は、欠落区間終了後に最初に取得されるものであ る
ことを特徴とする請求項 8に記載のストリームデータ記録装置。
[10] 前記取得手段は、放送波を受信して得られた受信信号からストリームデータを取得 し、
前記検出手段は、前記放送波の受信レベルが所定レベル以下に低下した場合に 、前記欠落区間が開始したことを検出し、
前記放送波の受信レベルが所定レベル以上に上昇した場合に、前記欠落区間が 終了したことを検出する
ことを特徴とする請求項 1に記載のストリームデータ記録装置。
[11] 前記検出手段は、ストリームデータを構成するパケットに含まれる情報のデータサイ ズの解析により不正なデータサイズが検出された場合、又は前記パケットに含まれる 情報の値の解析により不正値が検出された場合に、前記ストリームデータの欠落を検 出する
ことを特徴とする請求項 1に記載のストリームデータ記録装置。
[12] 前記検出手段は、所定周期毎にストリームデータに含まれるよう定義されている情 報が、前記所定周期を越えてストリームデータカゝら検出できない場合に、前記ストリー ムデータの欠落を検出する
ことを特徴とする請求項 1に記載のストリームデータ記録装置。
[13] 前記取得手段は、記録媒体に記録されたストリームデータを読み出すことにより、ス トリームデータを取得する
ことを特徴とする請求項 1に記載のストリームデータ記録装置。
[14] 時刻参照情報を含むストリームデータを記録媒体力 読み出して再生するストリー ムデータ再生装置であって、
ストリームデータを読み出す読み出し手段と、
時刻参照情報に同期して時刻を刻む時刻カウンタ手段と、
前記ストリームデータと、当該ストリームデータの記録時に一部のデータが欠落した 欠落区間のストリームデータにおける位置を特定する位置情報と、記録対象であった ストリームデータにおいて前記欠落区間中に含まれていた時刻参照情報に同期した 場合の状態に前記時刻カウンタ手段の時刻を補正する時刻補正情報とが記録され た記録媒体から、前記位置情報及び前記時刻補正情報を取得する情報取得手段と 前記位置情報により示される位置を再生する場合に、前記時刻補正情報に基づ ヽ て前記時刻カウンタ手段の時刻を再設定する再設定手段と、
時刻カウンタ手段の示す時刻に基づいて、前記ストリームデータ中のフレームを既 定の提示時刻に再生する再生制御手段と
を備えることを特徴とするストリームデータ再生装置。
[15] 時刻補正情報は、
前記ストリームデータを記録した際に、前記欠落区間が終了したときに時刻カウンタ 手段が示していた時刻である終了時刻情報と、
前記ストリームデータを記録した際に、欠落区間終了後に取得された時刻参照情 報とそのときに時刻カウンタ手段が示していた時刻との差である時刻オフセット情報と からなり、
前記時刻カウンタ手段は、それぞれ個別に時刻を刻む第 1時刻カウンタと第 2時刻 カウンタとを含み、
前記再設定手段は、前記位置情報により特定される位置までストリームデータが読 み出されたときに、第 1時刻カウンタ及び第 2時刻カウンタのうち再生制御手段がフレ ームの再生に用いて 、な 、側を、前記終了時刻情報と前記時刻オフセット情報とを 合計した時刻に設定し、
前記再生制御手段は、前記位置情報により示される位置に再生位置が達したとき に、フレームの再生に用いる時亥 ljカウンタを、第 1時亥 ljカウンタ及び第 2時亥 ljカウンタ の一方から他方へ切り替える
ことを特徴とする請求項 14に記載のストリームデータ再生装置。
[16] 時刻補正情報は、
前記欠落区間において欠落したストリームデータに対応する再生時間を示す欠落 時間情報と、
ストリームデータにおいて前記欠落区間の後に含まれるビデオ、オーディオ、字幕 のうち少なくとも 1のフレームに定義されている提示時刻と力もなり、
前記再生制御手段は、ストリームデータの再生が前記位置情報により特定される位 置に達した場合に、前記欠落時間情報により示される再生時間の間、ストリームデー タの再生を停止し、当該停止状態で前記再生時間が経過した後に、前記提示時刻 が定義されて 、るフレーム力 再生を再開する
前記再設定手段は、前記再生時間が停止状態となつてから前記再生時間が経過 した後に、前記時刻カウンタ手段の時刻を前記提示時刻が示す時刻に設定する ことを特徴とする請求項 14に記載のストリームデータ再生装置。
[17] 時刻参照情報を含むストリームデータを記録するストリームデータ記録装置の集積 回路であって、
ストリームデータを取得する取得手段と、
時刻参照情報に同期して時刻を刻む時刻カウンタ手段と、
前記取得されたストリームデータにおいて、一部のパケットが欠落した欠落区間を 検出する検出手段と、
ストリームデータにおいて前記欠落区間が終了した位置を特定する位置情報と、前 記欠落区間が終了したときの時刻カウンタ手段の時刻を、前記欠落区間に含まれて いた時刻参照情報に同期した場合の状態に補正するための時刻補正情報とを生成 する生成手段と、
前記生成された位置情報及び時刻補正情報を、前記取得されたストリームデータ に対応付けて記録する記録手段と
を備えることを特徴とする集積回路。
[18] 記録媒体力 読み出されたストリームデータを再生する集積回路であって、
ストリームデータに含まれる時刻参照情報に同期して時刻を刻む時刻カウンタ手段 と、
前記ストリームデータの記録時に一部のデータが欠落した欠落区間のストリームデ ータにおける位置を特定する位置情報と、記録対象であったストリームデータにぉ ヽ て前記欠落区間中に含まれて 、た時刻参照情報に同期した場合の状態に前記時刻 カウンタ手段の時刻を補正する時刻補正情報とを取得する情報取得手段と、 前記位置情報により示される位置を再生する場合に、前記時刻補正情報に基づ ヽ て前記時刻カウンタ手段の時刻を再設定する再設定手段と、
時刻カウンタ手段の示す時刻に基づいて、前記ストリームデータ中のフレームを既 定の提示時刻に再生する再生制御手段と
を備えることを特徴とする集積回路。
[19] 時刻参照情報に同期して時刻を刻む時刻カウンタを有する記録装置において、時 刻参照情報を含むストリームデータを記録媒体へ記録するストリームデータ記録方法 であって、
ストリームデータを取得する取得ステップと、
前記取得されたストリームデータにおいて、一部のパケットが欠落した欠落区間を 検出する検出ステップと、
ストリームデータにおいて前記欠落区間が終了した位置を特定する位置情報と、前 記欠落区間が終了したときの時刻カウンタの時刻を、前記欠落区間に含まれていた 時刻参照情報に同期した場合の状態に補正するための時刻補正情報とを生成する 生成ステップと、
前記生成された位置情報及び時刻補正情報を、前記取得されたストリームデータ に対応付けて記録する記録ステップと
を含むことを特徴とするストリームデータ記録方法。
[20] 時刻参照情報を含むストリームデータを記録媒体力 読み出して再生するストリー ムデータ再生方法であって、
ストリームデータを読み出す読み出しステップと、
前記ストリームデータの記録時に一部のデータが欠落した欠落区間のストリームデ ータにおける位置を特定する位置情報と、記録対象であったストリームデータにぉ ヽ て前記欠落区間中に含まれていた時刻参照情報に同期した場合の状態に、前記再 生装置が有する時刻カウンタを補正する時刻補正情報とを、前記記録媒体から取得 する情報取得ステップと、
前記位置情報により示される位置を再生する場合に、前記時刻補正情報に基づ ヽ て前記時刻カウンタ手段の時刻を再設定する再設定ステップと、
時刻カウンタ手段の示す時刻に基づいて、前記ストリームデータ中のフレームを既 定の提示時刻に再生する再生ステップと
を含むことを特徴とするストリームデータ再生方法。
PCT/JP2006/308354 2005-04-20 2006-04-20 ストリームデータ記録装置、ストリームデータ編集装置、ストリームデータ再生装置、ストリームデータ記録方法、及びストリームデータ再生方法 WO2006112508A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2007528197A JP5096917B2 (ja) 2005-04-20 2006-04-20 ストリームデータ記録装置、ストリームデータ再生装置、集積回路、ストリームデータ記録方法、及びストリームデータ再生方法
US11/887,187 US7885366B2 (en) 2005-04-20 2006-04-20 Stream data recording device, stream data editing device, stream data reproducing device, stream data recording method, and stream data reproducing method
CN2006800130884A CN101164335B (zh) 2005-04-20 2006-04-20 流数据记录装置、流数据编辑装置、流数据再现装置、流数据记录方法、以及流数据再现方法
EP06732162A EP1879387A4 (en) 2005-04-20 2006-04-20 STREAM DATA RECORDING DEVICE, STREAM DATA EDITING DEVICE, STREAM DATA REPRODUCING DEVICE, STREAM DATA RECORDING METHOD AND STREAM DATA REPRODUCTION METHOD
US12/979,585 US8014484B2 (en) 2005-04-20 2010-12-28 Stream data recording device, stream data editing device, stream data reproducing device, stream data recording method, and stream data reproducing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2005-122644 2005-04-20
JP2005122644 2005-04-20

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US11/887,187 A-371-Of-International US7885366B2 (en) 2005-04-20 2006-04-20 Stream data recording device, stream data editing device, stream data reproducing device, stream data recording method, and stream data reproducing method
US12/979,585 Division US8014484B2 (en) 2005-04-20 2010-12-28 Stream data recording device, stream data editing device, stream data reproducing device, stream data recording method, and stream data reproducing method

Publications (1)

Publication Number Publication Date
WO2006112508A1 true WO2006112508A1 (ja) 2006-10-26

Family

ID=37115216

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2006/308354 WO2006112508A1 (ja) 2005-04-20 2006-04-20 ストリームデータ記録装置、ストリームデータ編集装置、ストリームデータ再生装置、ストリームデータ記録方法、及びストリームデータ再生方法

Country Status (5)

Country Link
US (2) US7885366B2 (ja)
EP (1) EP1879387A4 (ja)
JP (1) JP5096917B2 (ja)
CN (1) CN101164335B (ja)
WO (1) WO2006112508A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007119335A1 (ja) * 2006-03-17 2007-10-25 Pioneer Corporation デジタル画像データ処理装置及び処理方法
JP2008187248A (ja) * 2007-01-26 2008-08-14 Toshiba Corp ストリーム再生装置
JP2008271253A (ja) * 2007-04-20 2008-11-06 Toshiba Corp ストリーム再生装置
US20080310647A1 (en) * 2007-06-15 2008-12-18 Kabushiki Kaisha Toshiba Audio stream processing method, playback apparatus, and output apparatus
JP2010161748A (ja) * 2009-01-09 2010-07-22 Hitachi Kokusai Electric Inc 移動受信端末および中継装置
JP2010268340A (ja) * 2009-05-18 2010-11-25 Panasonic Corp 録画装置及びダビング装置
JP2010539834A (ja) * 2007-09-19 2010-12-16 フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン メディアデータコンテナとメタデータコンテナとを有するファイルを格納し読み取るための装置及び方法

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
PL369057A1 (pl) * 2004-07-12 2006-01-23 Advanced Digital Broadcast Ltd. Urządzenie do odbioru sygnału i sposób obsługi zaniku sygnału podczas nagrywania sygnału analogowego lub cyfrowego
JP5057820B2 (ja) * 2007-03-29 2012-10-24 株式会社東芝 デジタルストリームの記録方法、再生方法、記録装置、および再生装置
US8179979B2 (en) * 2007-05-01 2012-05-15 Intel Corporation Detection and compensation of discontinuities in data stream
US8331459B2 (en) * 2007-09-26 2012-12-11 Intel Corporation Method and apparatus for smooth digital media playback
JP5031503B2 (ja) * 2007-09-29 2012-09-19 Kddi株式会社 放送パケットを再送信する再送信装置、設備システム、プログラム及び方法
ATE540529T1 (de) * 2009-11-03 2012-01-15 Tektronix Int Sales Gmbh Verfahren und vorrichtung zum messen der verzögerung innerhalb eines komprimierten digitalen stroms
JP5489675B2 (ja) 2009-11-27 2014-05-14 三菱電機株式会社 映像情報再生方法及びシステム、並びに映像情報コンテンツ
US8437619B2 (en) * 2010-12-20 2013-05-07 General Instrument Corporation Method of processing a sequence of coded video frames
GB201103699D0 (en) 2011-03-03 2011-04-20 Advanced Risc Mach Ltd Graphic processing
GB201103698D0 (en) * 2011-03-03 2011-04-20 Advanced Risc Mach Ltd Graphics processing
US8438595B1 (en) 2011-11-04 2013-05-07 General Instrument Corporation Method and apparatus for temporal correlation of content-specific metadata with content obtained from disparate sources
JP6232870B2 (ja) * 2013-09-11 2017-11-22 株式会社リコー 無線通信システム、無線通信方法、プログラム、及び記録媒体
CN110300033B (zh) * 2018-03-22 2023-09-26 华为技术有限公司 一种丢包信息记录方法、网络设备及网络系统
CN113141521B (zh) * 2020-01-17 2022-08-23 北京达佳互联信息技术有限公司 一种音视频数据编码方法、装置、电子设备及存储介质
US11843792B2 (en) * 2020-11-12 2023-12-12 Istreamplanet Co., Llc Dynamic decoder configuration for live transcoding

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001320704A (ja) * 2000-05-12 2001-11-16 Toshiba Corp 画像復号装置及び画像復号方法
JP2003125378A (ja) * 2001-10-15 2003-04-25 Matsushita Electric Ind Co Ltd 受信記録装置、受信障害修復システム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6226291B1 (en) * 1996-11-01 2001-05-01 Texas Instruments Incorporated Transport stream packet parser system
US6026506A (en) * 1997-09-26 2000-02-15 International Business Machines Corporation Concealing errors in transport stream data
US8306170B2 (en) * 1998-03-31 2012-11-06 International Business Machines Corporation Digital audio/video clock recovery algorithm
GB0007868D0 (en) * 2000-03-31 2000-05-17 Koninkl Philips Electronics Nv Methods and apparatus for editing digital video recordings and recordings made by such methods
EP1148503A1 (en) * 2000-04-08 2001-10-24 Deutsche Thomson-Brandt Gmbh Method and apparatus for recording on a storage medium or replaying from a storage medium data packets of a transport stream
JP3547365B2 (ja) 2000-04-25 2004-07-28 シャープ株式会社 デジタル放送受信機
US20030066094A1 (en) * 2001-09-29 2003-04-03 Koninklijke Philips Electronics N.V. Robust method for recovering a program time base in MPEG-2 transport streams and achieving audio/video sychronization
US7006152B2 (en) * 2002-03-01 2006-02-28 Broadcom Corporation System and method for providing picture-in-picture timebase management
US20040055013A1 (en) * 2002-07-04 2004-03-18 Toshiyuki Ishioka Broadcast receive/play system and broadcast reception apparatus
US7953194B2 (en) * 2002-09-27 2011-05-31 Broadcom Corporation Handling video transition errors in video on demand streams
JP3896949B2 (ja) * 2002-11-08 2007-03-22 日本電気株式会社 ビデオ編集装置及びビデオ編集プログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001320704A (ja) * 2000-05-12 2001-11-16 Toshiba Corp 画像復号装置及び画像復号方法
JP2003125378A (ja) * 2001-10-15 2003-04-25 Matsushita Electric Ind Co Ltd 受信記録装置、受信障害修復システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP1879387A4 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007119335A1 (ja) * 2006-03-17 2007-10-25 Pioneer Corporation デジタル画像データ処理装置及び処理方法
JPWO2007119335A1 (ja) * 2006-03-17 2009-08-27 パイオニア株式会社 デジタル画像データ処理装置及び処理方法
JP4674918B2 (ja) * 2006-03-17 2011-04-20 パイオニア株式会社 デジタル画像データ処理装置及び処理方法
JP2008187248A (ja) * 2007-01-26 2008-08-14 Toshiba Corp ストリーム再生装置
JP2008271253A (ja) * 2007-04-20 2008-11-06 Toshiba Corp ストリーム再生装置
US20080310647A1 (en) * 2007-06-15 2008-12-18 Kabushiki Kaisha Toshiba Audio stream processing method, playback apparatus, and output apparatus
JP2008312008A (ja) * 2007-06-15 2008-12-25 Toshiba Corp オーディオストリーム処理方法および再生装置と出力装置
JP2010539834A (ja) * 2007-09-19 2010-12-16 フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン メディアデータコンテナとメタデータコンテナとを有するファイルを格納し読み取るための装置及び方法
US8849778B2 (en) 2007-09-19 2014-09-30 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for storing and reading a file having a media data container and a metadata container
JP2010161748A (ja) * 2009-01-09 2010-07-22 Hitachi Kokusai Electric Inc 移動受信端末および中継装置
JP2010268340A (ja) * 2009-05-18 2010-11-25 Panasonic Corp 録画装置及びダビング装置

Also Published As

Publication number Publication date
US8014484B2 (en) 2011-09-06
JP5096917B2 (ja) 2012-12-12
US20110090999A1 (en) 2011-04-21
EP1879387A4 (en) 2013-03-06
CN101164335A (zh) 2008-04-16
EP1879387A1 (en) 2008-01-16
JPWO2006112508A1 (ja) 2008-12-11
US20100208856A1 (en) 2010-08-19
US7885366B2 (en) 2011-02-08
CN101164335B (zh) 2010-05-19

Similar Documents

Publication Publication Date Title
JP5096917B2 (ja) ストリームデータ記録装置、ストリームデータ再生装置、集積回路、ストリームデータ記録方法、及びストリームデータ再生方法
JP4891898B2 (ja) ストリームデータ記録装置、ストリームデータ記録再生装置、ストリームデータ再生装置、ストリームデータ編集装置、ストリーム記録方法、及びストリーム再生方法
US8437619B2 (en) Method of processing a sequence of coded video frames
JP2008271253A (ja) ストリーム再生装置
EP1472880B1 (en) Error correction of stream data
US20090046994A1 (en) Digital television broadcast recording and reproduction apparatus and reproduction method thereof
JPWO2004084553A1 (ja) データ処理装置
JP2006254298A (ja) 動画再生装置及び動画再生方法
US20080068499A1 (en) Image processing method, image processing program and image processing apparatus, and playback method, playback program and playback apparatus
JP2002010254A (ja) 特徴点検出方法および記録再生装置
JP4791422B2 (ja) コマーシャル判別装置、方法及びプログラム
KR101086434B1 (ko) 비디오 데이터 디스플레이 방법 및 장치
JP2004120476A (ja) 記録再生機能付き放送受信装置
JP2009171277A (ja) 情報データストリームの記録装置、及び方法
JP2004253052A (ja) 情報記録媒体、情報記録装置
JP2006217229A (ja) デジタル放送受信装置
JP2003242717A (ja) 記録再生装置
JP2012124746A (ja) 映像表示装置及び映像表示方法
JP2008060654A (ja) 放送番組記録再生装置
JP2009010794A (ja) 映像処理装置
JP2006094164A (ja) 記録装置、プログラム、及び記録媒体
JPWO2008068870A1 (ja) デジタル放送受信装置及びデジタル放送再生方法
JP2009100114A (ja) データ記録再生方法

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200680013088.4

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2007528197

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

NENP Non-entry into the national phase

Ref country code: RU

WWE Wipo information: entry into national phase

Ref document number: 2006732162

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 2006732162

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 11887187

Country of ref document: US