WO2004008759A1 - データ処理装置 - Google Patents

データ処理装置 Download PDF

Info

Publication number
WO2004008759A1
WO2004008759A1 PCT/JP2003/008872 JP0308872W WO2004008759A1 WO 2004008759 A1 WO2004008759 A1 WO 2004008759A1 JP 0308872 W JP0308872 W JP 0308872W WO 2004008759 A1 WO2004008759 A1 WO 2004008759A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
file
information
video
additional information
Prior art date
Application number
PCT/JP2003/008872
Other languages
English (en)
French (fr)
Inventor
Masanori Itoh
Original Assignee
Matsushita Electric Industrial Co., Ltd.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co., Ltd. filed Critical Matsushita Electric Industrial Co., Ltd.
Priority to AU2003248055A priority Critical patent/AU2003248055A1/en
Priority to US10/520,548 priority patent/US20050254498A1/en
Priority to JP2005505097A priority patent/JP4299836B2/ja
Publication of WO2004008759A1 publication Critical patent/WO2004008759A1/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction

Definitions

  • the present invention relates to a data processing apparatus and method for recording stream data of a moving image stream on a recording medium such as an optical disk.
  • Various data streams have been standardized that compress and encode video data at a low bit rate.
  • a system stream according to the MPEG2 system standard (IsOZIEC13818-18-1) is known.
  • the system stream includes three types: a program stream (PS), a transport stream (TS), and a PES stream.
  • PS program stream
  • TS transport stream
  • PES PES stream
  • a data stream of the MPEG-4 system standard (IS 44ZIEC 144496-1).
  • a video stream including an MPEG2 video stream or an MPEG4 video stream and various audio streams are multiplexed and generated as video stream data.
  • additional information is specified.
  • the ancillary information and the video stream are defined as one file (MP4 file).
  • the data structure of the MP4 file is based on the QuickTime file format of Apple (registered trademark), and is specified by extending the format.
  • the MPEG 2 system standard system The data structure for recording additional information (access information, trick play information, recording date and time, etc.) is not specified in the system. This is because in the MPEG2 system standard, the ancillary information is provided in the system stream.
  • FIG. 1 shows a configuration of a conventional data processing device 350.
  • the data processing device 350 can record the data stream on the DVD_RAM disk and reproduce the data stream recorded on the DVD_RAM disk.
  • the data processing device 350 receives the video data signal and the audio data signal at the video signal input section 300 and the audio signal input section 302 and sends them to the MPEG2 compression section 301, respectively.
  • the MPEG2 compression unit 301 compresses and encodes the video data and the audio data based on the MPEG2 standard and / or the MPEG4 standard to generate an MP4 file.
  • the MP EG2 compression unit 301 generates a video stream and an audio stream by compressing and encoding video data and audio data based on the MP EG 2 video standard, and These streams are multiplexed according to the EG 4 system standard to generate an MP 4 stream.
  • the recording control section 341 controls the operation of the recording section 320.
  • the continuous data area detection unit 340 checks the use status of the sector managed by the logical block management unit 343 according to the instruction of the recording control unit 341, and detects a physically continuous free area. Then, the recording section 320 transfers the MP4 file to the DVD-RAM disk 3 3 via the pickup 330. Write to 1.
  • FIG. 2 shows the data structure of the MP4 file 20.
  • the MP4 file 20 has ancillary information 21 and a moving image stream 22.
  • the auxiliary information 21 is described based on an atom structure 23 that defines attributes of video data, audio data, and the like.
  • FIG. 3 shows a specific example of the atom structure 23.
  • information such as a data size in frame units, a data storage address, a time stamp indicating playback timing, and the like are described independently for each of the video data and the audio data. This means that video data and audio data are managed as separate track atoms.
  • video data and audio data are arranged in units of one or more frames, respectively.
  • a plurality of GOPs are defined in the video stream.
  • GOP is a unit in which an I-picture, which is a video frame that can be played independently, and a plurality of video frames including a P-picture and a B-picture up to the next I-picture are combined.
  • a data stream having a structure including a moving image stream and additional information is referred to as an “MP4 stream”.
  • FIG. 4 shows the data structure of the video stream 22.
  • the video stream 22 includes a video track and an audio track, and each track is provided with an identifier (Track ID). If there is one track each Not always, the track may change midway.
  • FIG. 5 shows a video stream 22 in which tracks are switched on the way.
  • Fig. 6 shows the correspondence between the video stream 22 and the recording unit (sector) of the DVD-RAM disk 331.
  • the recording section 320 records the moving picture stream 22 on a DVD-RAM disk in real time. More specifically, the recording unit 320 secures a physically continuous logical block of 11 seconds or more in terms of the maximum recording rate as one continuous data area, and stores video frames and audio in this area. Record the frames in order.
  • the continuous data area is composed of a plurality of 32 k-byte logical blocks, and an error correction code is assigned to each logical block.
  • a logical block is further composed of multiple sectors, each of 2 kbytes.
  • the continuous data area detection unit 340 of the data processing device 350 detects the next continuous data area again when the remaining of one continuous data area is less than 3 seconds in terms of the maximum recording rate. Then, when one continuous data area becomes full, a moving image stream is written to the next continuous data area.
  • the additional information 21 of the MP4 file 20 is also written in the continuous data area secured in the same manner.
  • FIG. 7 shows a state in which recorded data is managed in the DVD_RAM file system.
  • a UDF (Universal Disk Format) file system, or an IS OZ IEC 13346 (Volume and file structure of write-once and rewritable media using non-sequential recording for information interchange) file system is used.
  • one continuously recorded MP4 file is recorded as the file name MOV0000.1.MP4.
  • This file has the file name and the location of the file entry in the file identifier (FID). Descriptor).
  • the file name is set as MOV 00 1.
  • MP4 in the file identifier field, and the position of the file entry is set as the head sector number of the file entry in the ICB field.
  • the UDF standard is equivalent to the implementation rule of the IS ⁇ Z IEC 13346 standard.
  • the DVD-RAM drive was connected to a computer (PC, etc.) via the 1394 interface and the SBP-2 (Serial Bus Protocol) protocol to write in a UDF-compliant format. Files can be handled as one file from a PC.
  • the file entry manages contiguous data areas (CDA) a, b, c and data area d in which data is stored using the location descriptor. More specifically, when the recording control unit 341 finds a bad logical block while recording the MP4 file in the continuous data area a, it skips the bad logical block and skips the continuous data area b. Continue writing from the beginning of. Next, when the recording control unit 341 detects the presence of a PC file recording area that cannot be written while the MP4 file is being recorded in the continuous data area b, writing starts from the beginning of the continuous data area c. Continue. Then, when the recording is completed, the additional information 21 is recorded in the data area d. As a result, the file VR—MO VIE. VRO consists of the continuous data areas a, b, c, and d.
  • CDA contiguous data areas
  • the start position of the data referred to by the allocation descriptors a, b, c, and d coincides with the start of the sector.
  • the data size of the data referenced by the allocation descriptors a, b, and c other than the last allocation descriptor d is 1 It is an integer multiple of a sector. Such description rules are prescribed in advance.
  • the data processing unit 350 When playing back an MP4 file, the data processing unit 350 extracts the video stream received via the pickup 330 and the playback unit 321 and decodes the video stream using the MPEG2 decoding unit 311. Then, a video signal and an audio signal are generated and output from the video signal output section 310 and the audio signal output section 312. Reading of data from the DVD-RAM disk and output of the read data to the MPEG2 decoding unit 311 are performed simultaneously. At this time, the data read speed is set higher than the data output speed, and control is performed so that there is not enough data to be reproduced. Therefore, if data is continuously read and output is continued, extra data to be output can be secured by the difference between the data read speed and the data output speed. By using extra data that can be secured as output data while data reading is interrupted by a jump in the pickup, continuous reproduction can be realized.
  • the data read speed from the DVD-RAM disk 331 is 11 Mb ps
  • the data output speed to the MPEG2 decoding unit 311 is 8 Mb ps at maximum
  • the pickup maximum Assuming that the moving time is 3 seconds, 24 Mbits of data corresponding to the amount of data to be output to the MPEG-2 decoding unit 311 during pickup movement is required as extra output data. In order to secure this data amount, continuous reading for 8 seconds is required. In other words, it is necessary to continuously read 24 Mbits for the time obtained by dividing the difference between the data read speed of 11 Mbps and the data output speed of 8 Mbps.
  • the output data of 88 Mbits that is, 11 seconds, is read during the continuous reading of 8 seconds, so by securing the continuous data area of 11 seconds or more, Guarantees continuous data playback It becomes possible.
  • the recording control unit 341 controls the recording unit 320 and the reproducing unit 321 to execute a predetermined deletion process.
  • the display timing (time stamp) for all frames is included in the auxiliary information portion. Therefore, for example, when a part of the moving image stream part is deleted, only the time stamp of the attached information part needs to be deleted.
  • a feature of the MP4 file format is that video frames or audio frames of a video / audio stream are recorded as one set.
  • the access information is provided for each frame, and includes, for example, a frame size, a frame period, and address information for the frame.
  • the display time is 1/30 seconds
  • audio frames for example, in the case of AC-3 audio, a total of 153 samples are used.
  • Access information is stored for each unit (ie, one audio frame). Thus, for example, if you want to change the display timing of a certain video frame, just change the access information. Yes, it is not necessary to change video and audio streams.
  • the amount of such access information is about 1 MB per hour.
  • the amount of information required for access information of the DVD video recording standard is 70 kilobytes per hour.
  • the information amount of the access information of the DVD video recording standard is less than one tenth of the information amount of the access information included in the attached information of the MP4 file.
  • FIG. 8 schematically shows the correspondence between a field name used as access information of the DVD video recording standard and a picture or the like represented by the field name.
  • FIG. 9 shows the data structure of the access information shown in FIG. 8, the field names defined in the data structure, the setting contents, and the data size.
  • the optical disk device described in Japanese Patent Application Laid-Open No. 2000-94933 (FIG. 3) records video frames in 1 GOP units instead of 1 frame units, and simultaneously records audio frames in 1 GOP units. Record continuously for a time length equivalent to GOP. Then, access information is specified in GOP units. This reduces the amount of information required for access information.
  • the MP4 file describes a moving picture stream based on the MPEG 2 video standard, it is not compatible with the system stream of the MPEG 2 system standard. Therefore, it is not possible to edit MP4 files using the video editing function of the application currently used on PCs and the like.
  • the editing functions of many applications are for editing video streams of the MPEG 2 system standard. Because.
  • the MP4 file standard does not include a decoder model for ensuring playback compatibility of the video stream part.This corresponds to the very widespread MPEG 2 system standard at present. Disclosure of the invention where software and hardware cannot be used at all
  • a data processing device includes: a receiving unit that receives video data and audio data; a compression unit that encodes the received video data and audio data to generate encoded data of the MPEG2 system standard Reference information that refers to the encoded data, and an appendix that generates attribute information including attribute information describing the attribute of the sample unit, using a video object unit (VOBU) of the encoded data as a sample unit.
  • An information generation unit and a recording unit that records the encoded data as a data file on a recording medium, and records the attached information as an attached information file on the recording medium.
  • the encoded data can be decoded based on any of the accessory information file and the MPEG2 system standard.
  • the reference information indicates a file name and a storage position of the data file recorded on the recording medium.
  • the compression unit generates a plurality of encoded data sets
  • the attached information generation unit generates a plurality of encoded data sets.
  • the reference information that refers to each is generated.
  • the compression unit generates a plurality of encoded data
  • the attached information generation unit continuously arranges the plurality of encoded data to generate one stream data; If the data size of the encoded data at each playback timing is not constant, generate the coded data—the additional information that further describes the position information that specifies the recording position in the evening.
  • the compression section generates encoded data that conforms to one of the MPEG2 program stream and the MPPEG2 transport stream.
  • the additional information generation unit describes, in the attribute information, a speech frame of encoded speech data corresponding to the speech data in the encoded data, as a further sample unit. I do.
  • the compression unit generates first to third data files, and the second data file includes encoded data of the first data file and the third data file. This includes the frame data required to decode the coded data in a time sequence.
  • the attribute information generation unit generates an attribute information file described according to the MP4 format.
  • the additional information generation unit generates an additional information file described according to a QuickTime format.
  • the stream data of the present invention includes encoded data included in a data file, It consists of the additional information included in the information file.
  • the encoded data consists of video data and audio data in MPE It is encoded according to the G2 system standard, and can be decoded based on any of the additional information and the MPEG2 system standard.
  • the additional information includes reference information that refers to the encoded data, and attribute information that describes the attribute of the sample unit using the video object unit (VOBU) of the encoded data as a sample unit.
  • VOBU video object unit
  • a data processing apparatus that reads the attached information file from the stream data and reads out the data file based on a control signal.
  • a reproduction control unit that generates a signal instructing reading of the data file as the control signal based on the reference information specified in the information, and receives the read encoded data of the data file and the attached information.
  • a decoding unit that decodes the video data and the audio data from the encoded data based on the attribute information included in the attached information; and an output that outputs the decoded video data and the audio data. Section.
  • the data recording method of the present invention includes the steps of: receiving video data and audio data; encoding the received video data and audio data to generate encoded data of the MPEG2 system standard; Generating reference information for referring to data, and ancillary information including attribute information describing an attribute of the sample unit using a video object unit (VOBU) of the encoded data as a sample unit; Recording the data as a data file on a recording medium, and recording the additional information on the recording medium as an additional information file.
  • the encoded data In the evening, decoding can be performed based on both the accessory information file and the MPEG 2 system standard.
  • the data recording program of the present invention is a computer program that can be executed by a data processing device.
  • a data recording program for receiving video data and audio data; encoding the received video data and the audio data to generate encoded data according to the MPEG-2 system standard; and Generating reference information for referring to data, and ancillary information including attribute information describing an attribute of the sample unit using a video object unit (VOBU) of the encoded data as a sample unit; Recording the data as a data file on a recording medium, and recording the additional information on the recording medium as an additional information file.
  • the encoded data can be decoded based on both the accessory information file and the MPEG2 system standard.
  • the data reproducing method further comprises a step of reading the attached information file from the stream data, and a step of reading the attached file based on the reference information defined in the attached information of the attached information file.
  • a step of generating a control signal for instructing reading a step of reading the data file based on the control signal, receiving the read coded data of the data file and the attached information, and including the attached data in the attached information
  • the data reproduction program of the present invention is executed by a data processing device.
  • a possible computer program The data reproducing program reads the attached information file from the stream data, and reads the data file based on the reference information specified in the attached information of the attached information file. Generating an instructing control signal; reading the data file based on the control signal; receiving the read encoded data of the data file and the attached information; and the attribute included in the attached information
  • Still another data processing device of the present invention is a receiving unit that receives video data and audio data, and encodes the received video data and audio data in a predetermined encoding format,
  • a compression unit that generates encoded data in which data corresponding to the video data and data corresponding to the audio data are interleaved; and an additional information generation unit that generates additional information.
  • An additional information generating unit including reference information for referring to the encoded data and attribute information describing attributes of each sample is provided.
  • the sample is a set of the coded data configured based on the playback time of the video data, the coded data is a decoding based on the additional information, and the predetermined coding method. It is possible to decode based on any of the decoding methods corresponding to.
  • FIG. 1 is a diagram showing a configuration of a conventional data processing apparatus 350.
  • FIG. 2 is a diagram showing a data structure of the MP4 file 20.
  • FIG. 3 is a diagram showing a specific example of the atom structure 23.
  • FIG. 4 is a diagram showing a data structure of the moving image stream 22.
  • FIG. 5 is a diagram showing a video stream 22 in which tracks are switched on the way.
  • FIG. 6 is a diagram showing the correspondence between the video stream 22 and the sectors of the DVD-RAM disk 331.
  • FIG. 7 is a diagram showing a state in which recorded data is managed in a DVD-RAM file system.
  • FIG. 8 is a diagram schematically showing a correspondence relationship between a field name used as access information of the DVD video recording standard and a picture or the like represented by the field name.
  • FIG. 9 is a diagram showing a data structure of the access information shown in FIG. 8, field names defined in the data structure, setting contents and data sizes.
  • FIG. 10 is a diagram showing a connection environment of a portable video coder 10_1, a movie recorder 10-2 and a PC 10-3 for performing data processing according to the present invention.
  • FIG. 11 is a diagram showing a configuration of a functional block in the data processing device 10.
  • FIG. 12 is a diagram showing a data structure of the MP4 stream 12 according to the present invention.
  • FIG. 13 is a diagram showing a management unit of audio data of MPEG 2 —PS 14.
  • FIG. 14 is a diagram showing the relationship between the program stream and the elementary stream.
  • FIG. 15 is a diagram showing a data structure of the additional information 13.
  • FIG. 16 is a diagram showing the contents of each atom constituting the atom structure (
  • FIG. 17 is a diagram showing a specific example of the description format of the data reference atom 15).
  • FIG. 18 is a diagram showing a specific example of the description content of each atom included in the sample table atom 16.
  • FIG. 19 is a diagram showing a specific example of the description format of the sample description atom 17.
  • FIG. 20 is a diagram showing the contents of each field of the sample description entry 18.
  • FIG. 21 is a flowchart showing the procedure of the MP4 stream generation process.
  • FIG. 22 is a table showing the differences between MPEG2-PS generated based on the processing according to the present invention and conventional MPEG2Video (elementary stream).
  • FIG. 23 is a diagram showing the data structure of the MP4 stream 12 when one VOBU corresponds to one chunk.
  • FIG. 24 is a diagram illustrating a data structure when 1 V ⁇ BU corresponds to one chunk.
  • FIG. 25 is a diagram illustrating a specific example of description contents of each atom included in the sample table atom 19 when 1 V ⁇ BU is associated with one chunk.
  • FIG. 26 is a diagram illustrating an example of an MP4 stream 12 in which two PS files exist for one accessory information file.
  • FIG. 27 is a diagram showing an example in which a plurality of discontinuous MPEG2-PS exist in one PS file.
  • FIG. 28 shows a PS file including MP EG 2—PS for seamless connection.
  • FIG. 4 is a diagram showing an MP4 stream 12 provided with a file.
  • Figure 29 is a diagram showing the lack of audio (audio) frames at discontinuities.
  • FIG. 30 is a diagram showing a data structure of an MP4 stream 12 according to another example of the present invention.
  • FIG. 31 is a diagram showing a data structure of an MP4 stream 12 according to still another example of the present invention.
  • FIG. 32 is a diagram showing a data structure of the MTF file 32.
  • FIG. 33 is a diagram showing the interrelationship between various file format standards.
  • FIG. 34 is a diagram showing the data structure of the QuickTime stream.
  • FIG. 35 is a diagram showing the content of each atom in the auxiliary information 13 of the QuickTime stream.
  • FIG. 36 is a diagram for explaining flag setting contents of a moving image stream when the number of recording pixels changes.
  • FIG. 10 shows a portable video recorder 10-1, a movie recorder 10-2, and a PC 10 that perform data processing according to the present invention. — Show the connection relationship of 3.
  • the portable video coder 10-1 receives a broadcast program using the attached antenna and compresses the broadcast program into a moving image to generate an MP4 stream.
  • the movie recorder 10_2 records a video and also records audio accompanying the video to generate an MP4 stream.
  • the video and audio data are And encoded according to the data structure of the present invention.
  • the portable video coder 10-1 and the movie recorder 10-2 record the generated MP4 stream on a recording medium 131, such as a DVD-RAM, or a digital interface such as IEEE1394, USB, etc. Output via.
  • the recording medium 13 1 is not limited to an optical disc having a diameter of 8 cm, but is required to be smaller. An optical disk or the like may be used.
  • PC 10-3 receives the MP4 stream via a recording medium or a transmission medium.
  • the PC 10-3 can control the movie recorder 10-2 etc. as an external storage device and receive the MP4 stream from each device. .
  • the PC 10-3 has application software and hardware compatible with the processing of the MP4 stream according to the present invention
  • the PC 10-3 is an MP4 stream based on the MP4 file standard.
  • the PC 10-3 can reproduce the moving picture stream portion based on the MPEG2 system standard.
  • the PC 10 _ 3 can also perform processing related to editing such as partial deletion of the MP4 stream.
  • the term "playback" includes processing relating to editing.
  • the portable video coder 10_1, the movie recorder 10-2 and the PC 10-3 of FIG. 10 will be referred to as a “data processing device”.
  • FIG. 11 shows the configuration of functional blocks in the data processing device 10.
  • the data processing device 10 is an MP4 storage device. A description will be given assuming that both the recording function and the reproduction function of the ream are provided.
  • the data processing device 10 can generate an MP4 stream and write it to the recording medium 131, and can reproduce the MP4 stream written to the recording medium 131. it can.
  • the recording medium 13 1 is, for example, a DVD-RAM disk, and is hereinafter referred to as “DVD-RAM disk 13 1”.
  • the data processing device 10 includes a video signal input unit 100, an MPEG 2—PS compression unit 101, an audio signal input unit 102, and an auxiliary information generation unit. 103, a recording unit 120, an optical pickup 130, and a recording control unit 141.
  • the video signal input unit 100 is a video signal input terminal, and receives a video signal representing video data.
  • the audio signal input unit 102 is an audio signal input terminal, and receives an audio signal representing an audio signal.
  • the video signal input unit 100 and the audio signal input unit 102 of the portable video coder 100-1 are respectively connected to the video output unit and audio of the tuner unit (not shown). It is connected to the output unit and receives video and audio signals from each.
  • the video signal input unit 100 and the audio signal input unit 102 of the movie recorder 100-2 (Fig. 10) are connected to the CCD (not shown) output of the camera and the microphone output, respectively. Receive the signal and voice signal.
  • MP EG 2-PS compression section 101 receives video and audio signals, and receives the MP EG 2 system standard MPEG 2 program stream (hereinafter “MP EG 2—PS”). ) Is generated.
  • MPEG 2—PS can be decoded based on the stream alone, based on the MPEG 2 system standard. it can. Details of MPEG2-PS will be described later.
  • the additional information generation unit 103 generates additional information of the MP4 stream.
  • the auxiliary information includes reference information and attribute information.
  • the reference information is information for specifying the MP EG 2—PS generated by the compression unit 101, such as the file name when the MP EG 2—PS is recorded and the DVD—RAM disk 13 1 Is the storage location.
  • the attribute information is information that describes the attributes of the MPEG2-PS in sample units. "Sample” is the minimum management unit in the sample description atom (Sample Description Atom; described later) specified in the information attached to the MP4 file standard, and records the data size, playback time, etc. for each sample. are doing. One sample is, for example, a data unit that can be randomly accessed.
  • the attribute information is the information needed to play the sample.
  • a sample description atom (Sample Description Atom) described later is also referred to as access information.
  • the attribute information is, specifically, information such as a data storage address, a time stamp indicating playback time, an encoding bit rate, and a codec.
  • the attribute information is provided for each of the video data and audio data in each sample, and except for the description of the fields explicitly described below, the attribute information of the conventional MP4 stream 20 is provided. It conforms to the content.
  • VOBU 1 video object unit
  • the recording unit 120 controls the pickup 130 on the basis of an instruction from the recording control unit 141, and controls a specific position of the DV D-RAM disc 131. Record data at the location (address). More specifically, the recording unit 120 stores the MPEG 2 -PS generated in the compression unit 101 and the attached information generated in the attached information generation unit 103 as separate files as DVD- Record on RAM disk 1 3 1.
  • the data processing device 10 has a continuous data area detection unit (hereinafter, “detection unit”) 140 and a logical block management unit (hereinafter, “management unit”) 143 that operate when recording data. I have.
  • the continuous data area detection unit 140 checks the use status of the sector managed by the logical block management unit 143 in accordance with the instruction from the recording control unit 141, and finds a physically continuous free area. To detect.
  • the recording control unit 141 instructs the recording unit 120 to record data in the empty area.
  • the specific recording method of the data is the same as the recording method described with reference to FIG. 7 and there is no particular difference, so that the detailed description is omitted. Since the MPEG2-PS and the attached information are recorded as separate files, each file name is described in the file 'identifier' column in FIG.
  • FIG. 12 shows the data structure of the MP4 stream 12 according to the present invention.
  • the MP4 stream 12 includes an additional information file (“MOV001.MP4”) including the additional information 13 and a data file (“MOV001.MPG”) of MP EG 2—PS 14 (hereinafter referred to as “PS file”). ).
  • the data in these two files make up one MP4 stream.
  • the auxiliary information file and the PS file have the same name (“MOV001") and have different extensions.
  • the extension of the attached information file is an extension of the conventional MP4 file. It uses the same "MP4" as the child, and the file extension of the FS file uses the general extension "MPG" of the conventional program stream.
  • the auxiliary information 13 has reference information ("dref") for referring to MPEG2-PS14. Further, the additional information 13 includes attribute information that describes the attribute of each video object unit (VOBU) of MPEG 2 —PS 14. Since the attribute information describes the attribute of each VOBU, the data processing device 10 specifies an arbitrary position of the VOBU included in the MPEG 2-PS 14 in VOBU units and performs reproduction / editing, etc. be able to.
  • VOBU video object unit
  • MP EG 2—PS 14 is a moving image stream based on the MP EG 2 system standard, which is composed of video packs, audio packs, and the like, which are inserted every night.
  • the video pack includes a pack header and encoded video data.
  • the audio pack includes a pack header and encoded audio data.
  • video data is managed by a video object unit (VOBU), which is a unit of video data equivalent to 0.4 to 1 second in terms of video playback time. .
  • Video data includes multiple video and audio packs.
  • the data processing device 10 can specify the position of an arbitrary V ⁇ BU and reproduce the VOBU based on the information described in the additional information 13.
  • VOBU includes one or more GOPs.
  • One of the features of the MP 4 stream 12 according to the present invention is that the MP EG 2 and the PS 14 convert attribute information 13 according to the MP 4 stream data structure specified by the MP EG 4 system standard. Decoding on the basis of the MPEG2 system standard. Since the accessory information file and PS file are recorded separately, the data processor 10 This is because analysis and processing can be performed independently. For example, an MP4 stream playback device or the like that can execute the data processing of the present invention adjusts the playback time of the MP4 stream 12 based on the attribute information 13 and outputs the MPEG2-PS14 code.
  • the decoding method can be specified, and decoding can be performed using the corresponding decoding method.
  • sample description is based on a predetermined time frame of the audio data of MP EG2-PS 14 as a management unit.
  • An atom (Sample Description Atom) may be provided.
  • the predetermined time is, for example, 0: 1 second.
  • “V” indicates the video pack of FIG. 12 and “A” indicates the audio pack.
  • An audio frame for one second is composed of one or more packs. For example, in the case of AC-3, when the sampling frequency is set to 48 kHz, one audio frame includes 1536 samples of audio data as the number of samples.
  • the sample description atom may be provided in the user data atom in the track atom, or may be provided as a sample description atom of an independent track.
  • the additional information 13 is expressed in units of 0.4 to 1 second audio frames synchronized with VOBU, the total data size for each unit, and the data size of the first pack. Attributes such as an address and a time stamp indicating the output timing may be held.
  • V ⁇ BU video object unit
  • Figure 14 shows the relationship between the program stream and the elementary stream.
  • the VOBU of MP EG 2—PS 14 includes multiple video packs (V—P CK) and audio packs (A—P CK).
  • VOBU consists of a sequence header (SEQ header in the figure) to the pack immediately before the next sequence header. That is, the sequence header is placed at the head of V ⁇ BU.
  • an elementary stream (Video) includes N GOPs.
  • the GOP contains various headers (sequence (S EQ) header and GOP header) and video data (I picture, P picture, B picture).
  • the elementary stream (Audio) contains multiple audio frames.
  • the video pack and audio pack included in the VOBU of MP EG 2 -PS 14 are each configured using the elementary stream (Video) (Au dio) data. It is configured to be 2 kilobytes. As described above, each pack is provided with a pack header.
  • V ⁇ BU of MPEG 2-PS 14 When there is an elementary stream (not shown) relating to sub-picture data such as caption data, V ⁇ BU of MPEG 2-PS 14 further includes a pack of the sub-picture data.
  • FIG. 15 shows the data structure of the additional information 13.
  • This data structure is also called “atom structure” and is hierarchical.
  • “Movie Atom” includes “Movie Header Atom, 'Object Descriptor Atom and Track Atom.
  • Track Atom includes” Track Header Atom “,” Edit Includes “List Atom”, “Media Atom” and “User Data Atom”, as well as the other Atoms shown.
  • sample unit attributes of a sample unit are described using a data reference atom (“Data Reference Atom”; dref) 15 and a sample table atom (“Sample Table Atom”; stbl) 16.
  • Data Reference Atom (“Data Reference Atom”; dref) 15
  • sample table atom (“Sample Table Atom”; stbl) 16.
  • VOBU video object unit
  • the sample table atom 16 includes the six lower atoms shown.
  • FIG. 16 shows the contents of each atom constituting the atom structure.
  • the data reference atom (“Data Reference Atom”) stores information specifying a video stream (MPEG2-PS) 14 file in URL format.
  • the sample table atom (“Sample Table Atom”) describes the attributes for each V ⁇ BU using lower-order atoms. For example, “Decoding Time to Sample Atom” stores the playback time for each V ⁇ BU, and “Sample Size Atom” stores the overnight size for each V ⁇ BU.
  • Sample Description Atom indicates that the data of the PS file that composes MP4 stream 12 is MPEG2-PS14, and indicates the detailed specifications of MPEG2—PS14.
  • the information described by the data reference atom (“Data Reference Atom”) is referred to as "reference information”
  • the information described in the sample table atom (“Sample Table Atom”) is referred to as "attribute information.” Name.
  • FIG. 17 shows a specific example of the description format of the reference atom 15.
  • the information identifying the file is described in a part of the field that describes the data reference atom 15 (here, "DataEntryUrlAtom").
  • the MP EG 2—PS 14 file Name And the storage location of the file.
  • the MP EG 2 —PS 14 constituting the MP 4 stream 12 together with the accompanying information 13 can be specified.
  • the auxiliary information generation unit 103 in FIG. 11 reads the MPEG 2—PS 14 file name and The storage location of the file can be specified. This is because the file name can be determined in advance, and the storage location of the file can be logically specified by the notation of the file system hierarchical structure.
  • FIG. 18 shows a specific example of the description content of each atom included in the sample table atom 16.
  • Each atom specifies the field name, repeatability and data size.
  • the sample size atom (Sample Size Atom) has three fields ("sample-size", sample count and entry-size), of which the sample size ("sample-size") The field stores the default size of the VO BU and the entry size ("entry-size”) field stores the individual data size that differs from the default value of the V ⁇ BU. Note that the same value as the access data with the same name in the DVD video recording standard is set in the parameters ("VOBU-ENT", etc.) in the "setting value” column in the figure.
  • sample Description Atom 17 shown in Fig. 18 describes attribute information on a sample basis.
  • the contents of the information described in the sample description atom 17 will be described.
  • FIG. 19 shows a specific example of the description format of the sample description atom 17.
  • the sample description atom 17 describes the data size, attribute information for each VOBU in units of one unit, and the like.
  • the attribute information is It is described in "sample-description-entry" 18 of the sample word 17.
  • FIG. 20 shows the contents of each field of "sample_description-entry" 18.
  • Entry 18 contains the data format ("data-forma") that specifies the encoding format of the corresponding MP £ 02—514 ⁇ “p 2 sm” in the figure is MPEG 2 _ PS 14 Is a MPEG2 program stream including MPEG2 Video.
  • Entry 18 contains the display start time ("Start Presentation Time”) and the display end time (“End Presentation Time”) of the sample. These store the timing information for the first and last video frames. Entry 18 also contains the attribute information of the video stream (“video ES attribute”) and the attribute information of the audio stream (“audio ES attribute”) in the sample. As shown in FIG. 19, the attribute information of the video data includes the CODEC type of the video (for example, MPEG2 video), the width (“Width”) of the video data, the height (“height”), and the like. Set.
  • the attribute information of the audio data includes the CODEC type of the audio (for example, AC-3), the number of channels of the audio data ("channe 1 count"), the size of the audio sample ("samplesize”;), and the sampling rate. (“Samplerate”).
  • entry 18 includes a discontinuity start flag and seamless information. These pieces of information are described when a plurality of P streams exist in one MP4 stream 12 as described later. For example, if the value of the discontinuity start flag is “0”, it indicates that the previous video stream and the current video stream are completely continuous program streams, and the value is “ A value of 1 "indicates that the video stream is a discontinuous program stream. And not In the case of continuation, seamless information for reproducing moving images, sounds, etc. can be described without interruption even at discontinuous points such as moving images, sounds, etc. Seamless information includes audio discontinuity information and SCR discontinuity information during playback. It includes the presence / absence of a non-voice section of voice discontinuity information (ie, audio gap in Fig.
  • the start timing, and the time length By providing a discontinuity point start flag that includes the SCR values of the packs immediately before and immediately after the discontinuity point in the SCR discontinuity information, it is possible to specify the switching point of the Sample Description Entry and the switching point of the continuity of the video stream independently. .
  • the discontinuity point start flag is set to 0. May be set. Since the discontinuity point start flag is 0, when directly editing the information stream, the PC etc. understand that seamless playback is possible without reediting the connection point between the two video streams. can do.
  • FIG. 36 shows an example in which the number of horizontal pixels changes, but it may also be a case in which other attribute information changes. For example, when the aspect ratio of the aspect information changes to 16: 9, or when the bit rate of the audio changes.
  • MP EG2_PS14 The data structure of MP EG2_PS14 has been described.
  • attribute information such as a time stamp in the additional information 13, and MP EG 2-PS 14
  • MP EG 2-PS 14 There is no need to change the provided time stamp. Therefore, editing processing that takes advantage of the advantages of the conventional MP4 stream is possible.
  • MP EG 2 Application compatible with system standard stream-When editing video on a PC using hardware, only the PS file needs to be imported to the PC. This is because MP EG 2 — PS 14 of the PS file is a video stream of the MPEG 2 system standard. Since such application hardware is widely spread, existing software and hardware can be used effectively.
  • FIG. 21 is a flowchart showing the procedure of the MP4 stream generation process.
  • the data processing device 10 receives video data through the video signal input unit 100 and receives audio data through the audio signal input unit 102.
  • the compression unit 101 encodes the received video data and audio data based on the MPEG2 system standard.
  • the compression unit 101 configures the MPEG 2-PS using the encoded video and audio streams in step 2 12 (FIG. 14).
  • the recording unit 120 determines a file name and a recording position when the MPEG 2 -PS is recorded on the DVD-RAM disk 13 1.
  • the attached information generation unit 103 acquires the file name and recording position of the PS file, and specifies the content to be described as reference information (Data Reference Atom; FIG. 17). As shown in FIG. 17, in this specification, a description method that can simultaneously specify a file name and a recording position is adopted.
  • step 2 15 the auxiliary information generation unit 103 G2—For each V ⁇ BU specified in PS14, data representing playback time, data size, etc. is acquired and the contents to be described as attribute information (Sample Table Atom; Figs. 18 to 20) are described. Identify.
  • attribute information Sample Table Atom; Figs. 18 to 20
  • Identify By providing attribute information in VOBU units, it is possible to read and decode any V ⁇ BU. This means that one VOBU is treated as one sample.
  • step 2 16 the additional information generation unit 103 generates additional information based on reference information (Data Reference Atom), attribute information (Sample Table Atom), and the like.
  • reference information Data Reference Atom
  • attribute information Sample Table Atom
  • step 217 the recording unit 120 stores the additional information 13 and
  • the MPEG 2 -PS 14 is output as an MP 4 stream 12, and separately recorded on the DV D-RAM disk 13 1 as an accessory information file and a PS file, respectively. According to the above procedure, an MP4 stream is generated and recorded on the DVD-RAM disk 131.
  • the MP4 stream playback function of the data processing device 10 will be described with reference to FIGS. 11 and 12 again. It is assumed that the DVD-RAM disk 13 1 has recorded thereon the auxiliary information 13 having the above-described data structure and the MP 4 stream 12 having the M PEG 2 -PS 14.
  • the data processing device 10 reproduces and decodes the MPEG2-PS14 recorded on the DVD-RAM disc 131 by the user's selection.
  • the data processing device 10 includes a video signal output unit 110, an MPEG 2—PS decoding unit 111, an audio signal output unit 112, and a playback unit 1 21, a pickup 130, and a reproduction control unit 142.
  • the playback unit 122 receives a command from the playback control unit 142.
  • the pickup 13 is controlled and the MP4 file is read from the DVD-RAM disk 13 1 to acquire the additional information 13.
  • the playback unit 121 outputs the acquired attached information 13 to the playback control unit 142.
  • the playback unit 121 reads a PS file from the DVD-RAM disc 131 based on a control signal output from a playback control unit 142 described later.
  • the control signal specifies the PS file ("MOV001.MPG") to be read.
  • the playback control unit 14 2 receives the additional information 13 from the playback unit 12 1 and analyzes the data structure to obtain the reference information 15 (FIG. 17) included in the additional information 13. get.
  • the playback control unit 142 outputs a control signal instructing to read the PS file ("MOV001.MPG") specified in the reference information 15 from the specified position (".”: Root directory). I do.
  • MP EG 2 -PS decoding section 111 receives MP EG 2-PS 14 and additional information 13, and based on the attribute information included in additional information 13, video data from MP EG 2-PS 14 And audio data. More specifically, the MPEG 2—PS decoding unit 111 transmits the attribute information of the data format (“data-format”) video stream of the sample description atom 17 (FIG. 19) (“video ES”). Attribute)), audio stream attribute information (“audio ES attribute”), etc., and based on the coding format, video data display size, sampling frequency, etc. specified in the information, video data and audio Decrypt the night.
  • data format data format
  • video ES sample description atom 17
  • audio ES attribute audio stream attribute information
  • the video signal output unit 110 is a video signal output terminal, and outputs the decoded video data as a video signal.
  • the audio signal output section 1 1 2 is an audio signal output terminal, and uses the decoded audio data as an audio signal. Output.
  • the process in which the data processing device 10 plays back the MP4 stream starts from reading the file with the extension “MP4” (“MOV001.MP4”), as in the case of the conventional MP4 stream file playback process. .
  • the reproducing unit 122 reads out the attached information file ("MOV001.MP4").
  • the reproduction control section 142 analyzes the attached information 13 to extract reference information (Data Reference Atom).
  • the reproduction control unit 142 outputs a control signal for instructing reading of a PS file constituting the same MP4 stream, based on the extracted reference information.
  • the control signal output from the playback control unit 142 instructs the reading of the PS file (“M0V001.MPG”).
  • the playback unit 122 1 Reads the specified P file.
  • the MP EG 2—PS decoding section 111 receives the MP EG 2—PS 14 and the attached information 13 included in the read data file, analyzes the attached information 13 and obtains the attribute information. Is extracted. Then, based on the sample description atom 17 (FIG. 19) included in the attribute information, the MP EG 2 _PS decoding unit 1 1 1 1 , MPEG2-Identify video stream attribute information (“Video ES attribute”) and audio stream attribute information (“Audio ES attribute”) included in PS14, and convert video and audio data. Through the above processing, MPEG2-PS14 is reproduced based on the auxiliary information 13.
  • a conventional playback device, playback software, or the like that can play back a stream conforming to the MPEG-2 system standard can play back MPEG2-PS14 by playing back only PS files.
  • the playback device supports playback of MP4 stream 12 It is not necessary. Since the MP4 stream 12 is composed of the auxiliary information 13 and the MPEG 2 -PS 14 as separate files, for example, a PS file containing the MPEG 2 -PS 14 is stored based on the extension. It can be easily identified and reproduced.
  • FIG. 22 shows M P E G 2 — generated based on the processing according to the present invention.
  • the column of the present invention (1) corresponds to the example in which one VOBU is defined as one sample described above (in the conventional example, one video frame is defined as one sample, and a sample table atom ( According to the present invention, the access information is provided for each sample using a VOB U including a plurality of video frames as a sample unit, so that attribute information (access information) is provided for each sample. Therefore, the amount of information can be greatly reduced, and thus it is preferable that one VOBU according to the present invention be one sample.
  • the column of the present invention (2) in FIG. 22 shows a modification of the data structure shown in the present invention (1).
  • the difference between the present invention (2) and the present invention (1) is that in a modified example of the present invention (2), one VOBU is associated with one chunk and access information is configured for each chunk. .
  • a “chunk” is a unit composed of a plurality of samples.
  • a video frame including a pack header of MPEG 2 —PS 14 corresponds to one sample.
  • FIG. 23 shows a data structure of the MP4 stream 12 when one VOB U corresponds to one chunk.
  • the difference is that one sample in Fig. 12 is replaced with one chunk.
  • one sample corresponds to one video frame
  • one chunk corresponds to one GOP.
  • FIG. 24 is a diagram showing a data structure when one VOBU corresponds to one chunk. Compared with the data structure when 1 V ⁇ BU is associated with one sample shown in Fig. 15, the contents specified in the sample table atom 19 included in the attribute information of the auxiliary information 13 are different. You.
  • FIG. 25 shows a specific example of the description content of each atom included in the sample table atom 19 when 1 V ⁇ BU is associated with one chunk.
  • FIG 26 shows the MP4 stream 12 with two PS files (“MOV001.MPG” and “MOV002.MPG”) for one accessory information file (“MOV001.MP4”).
  • ⁇ Two PS files are recorded separately with MPEG 2 -PS 14 data representing different video scenes.
  • the video stream is continuous, and the SCR (System Clock Reference) ⁇ PTS (Presentation Time Stamp) and DTS (Decoding Time Stamp) based on the MPEG2 system standard are continuous.
  • SCR, PTS, and DTS are not continuous between the PS files (between the end of MPEG_PS # 1 and the beginning of MPEG_PS # 2 included in each PS file).
  • the two PS files are treated as separate tracks (figure).
  • reference information for specifying the file name and recording position of each PS file is described. For example, reference information is described based on the order of reference.
  • the PS file "MOV001.MPG" specified by reference # 1 is played.
  • the PS file "MOV002.MPG” specified by reference # 2 is played. Even if there are multiple PS files, each PS file can be connected and played back.
  • FIG. 27 shows an example in which a plurality of discontinuous MPEG2-PS exist in one PS file.
  • MPEG2—PS # 1 and # 2 which represent different video scenes, are continuously arranged.
  • “Discontinuous MPEG 2 _PS” means that between two MP EG 2-PS (between the end of MP EG-PS # 1 and the beginning of MP EG-PS # 2), SCR, PTS and DTS are respectively Means not continuous. That is, there is no continuity in the reproduction timing.
  • the discontinuity point exists at the boundary between two MPEG2-PS.
  • the video stream is continuous, and the SCR, PTS and DTS based on the MPEG2 system standard are continuous. .
  • reference information for specifying the file name and recording location of the PS file is described.
  • the auxiliary information file has one piece of reference information that specifies the PS file.
  • position information as a “discontinuous point start flag” in FIG.
  • the reproduction control unit 142 calculates the position information of the discontinuous point and prefetches the video data of MP EG 2 _ PS # 2 existing after the discontinuous point, for example. Control playback at least so that continuous playback of video data is not interrupted.
  • FIG. 26 a description has been given of the procedure for providing two reference information and playing back two PS files including MPEG 2 -PS which are discontinuous with each other.
  • a new PS file containing MPEG2-PS for seamless connection must be introduced for two PS files, and the original two PS files can be played back seamlessly.
  • FIG. 28 shows an MP4 stream 12 provided with a PS file (“MOV002.MPG”) including MPEG2_PS for seamless connection.
  • the PS file (“MOV002.MPG”) contains missing audio frames at the discontinuity between MPEG 2—PS # 1 and MP EG 2—PS # 3.
  • c Figure 2 9, described in more detail with reference to FIG. 9 shows a voice (audio) frame is insufficient in discontinuity.
  • a PS file containing MPEG2—PS # 1 is described as “PS # 1”
  • a PS file containing MPEG2_PS # 3 is described as “PS # 3”.
  • a new PS # 2 has been provided, and a PS file containing audio frames for seamless connection has been provided so that it can be referenced from the attached information file.
  • This audio frame contains audio data that fills a silent section. For example, audio recorded in synchronization with the video at the end of PS # 1 The data is copied.
  • an audio frame for seamless connection is inserted after PS # 1 in the audio frame column.
  • the voice frame of PS # 2 is provided up to one frame before the start of PS # 3.
  • reference information (dref in Fig. 28) that refers to the new PS # 2 is provided in the additional information 13 and is set so that it is referred to after PS # 1.
  • Fig. 29 there is a non-decoding section (silent section) of less than one audio frame indicated as “audio gap”, but there is one more audio frame in PS # 2. An extra night may be included so that silence intervals do not occur.
  • PS # 2 and PS # 3 include a portion including the same audio data sample, that is, a portion where audio frames overlap. However, there is no particular problem. This is because the same audio is output in the overlapped portion regardless of which data is reproduced.
  • the PS file is referred to using the reference information (dref).
  • the PS # 2 file has another atom (for example, a uniquely defined exclusive atom) or the second atom.
  • the audio frame in the PS # 2 file is recorded as an independent file of the elementary stream list, referenced from the independent audio track atom provided in the attached information file, and the end of PS # 1 It may be described in the auxiliary information file so that it is played back in parallel with.
  • PS # 1 and audio elementary stream The timing of hourly reproduction can be specified by the edit list atom of the attached information (for example, Fig. 15).
  • a video stream has been described as being an MPEG2 program stream.
  • a video stream can also be composed of the MPEG2—Transport Stream (hereinafter, “MPEG2—TS”) specified by the MPEG2 system standard.
  • MPEG2—TS MPEG2—Transport Stream
  • FIG. 30 shows a data structure of an MP4 stream 12 according to another example of the present invention.
  • the MP4 stream 12 consists of an accessory information file (“MOV001.MP4”) containing the accessory information 13 and an MP EG2—TS14 data file (“MOV001.M2T”) (hereinafter “TS file”). ).
  • the point that the TS file is referred to by the reference information (dref) in the additional information 13 in the MP4 stream 12 is the same as the MP4 stream in FIG.
  • MPEG2—TS14 has a time stamp. More specifically, in MPEG2_TS14, a 4-byte time stamp referred to at the time of transmission is added before a 188-byte transport packet (hereinafter referred to as “TS packet”). Have been. As a result, a TS packet containing video (V-TSP) and a TS packet containing audio (A-TSP) consist of 192-bytes. The time stamp may be added after the TS bucket.
  • V-TSP video
  • A-TSP TS packet containing audio
  • a TS bucket containing video data equivalent to about 0.4 to 1 second in a video is set as a sample, and the auxiliary information 13
  • the attribute information can be described in the.
  • the data size, data address, playback timing, etc. of one frame of audio data are attached information. It may be described in 13.
  • FIG. 31 shows a data structure of an MP4 stream 12 according to still another example of the present invention.
  • multiple TS packets including video data equivalent to about 0.4 to 1 second in video should correspond to one chunk, and access information should be set for each chunk.
  • the same advantage as that of the MP4 stream 12 having the configuration shown in FIG. 12 can be obtained.
  • FIG. 32 shows the data structure of the MTF file 32.
  • the MTF 32 is a file used for recording moving images and storing edited results.
  • the MTF file 32 contains multiple consecutive MPEG2-PS14, while each MPEG2-PS14 contains multiple samples ("P2Sample”).
  • the sample (“P2Sample”) is one continuous stream.
  • attribute information can be provided in sample units. In the description so far, this sample (“P2Sample”) corresponds to VOBU.
  • Each sample consists of a fixed amount of data (2048 bytes).
  • a plurality of video packs and audio packs For example, if two MTFs are combined into one, the MTF is composed of two P2streams.
  • the MPEG 2—PS 14 that precedes and follows the MTF 32 is a continuous program stream
  • one reference information is provided in a continuous range, and one MP4 stream can be configured.
  • the MP 4 stream 12 can be configured by providing the data address of the discontinuous point in the attribute information as shown in FIG. Therefore, the data processing described so far can be applied to the MTF 32 as well.
  • FIG. 34 shows the data structure of the QuickTime stream.
  • the QuickTime stream is also a file with the attached information 13 ("MOV001.MOV”) and a PS file ("MOV001.MPG") containing MPEG2—PS14.
  • a part of “Movie Atom” specified in the auxiliary information 13 of the QuickTime stream is changed.
  • a base media header atom (“Base Media Header Atom”) 36 is newly provided in place of the null media header atom (“Null Media Header Atom”)
  • FIG. The object description atom (“Object Descriptor Atom”) described in the third row has been deleted in the additional information 13 in FIG.
  • FIG. 35 shows the contents of each atom in the auxiliary information 13 of the QuickTime stream.
  • the added base media header atom (“Base Media Header Atom”) 36 indicates that the data in each sample (VO BU) is not a video frame or audio frame, and this atom indicates that. It is.
  • the other atom structures and their contents shown in FIG. 35 are the same as those described with reference to the above-described MP4 stream 12, and their description is omitted.
  • MPEG 2-PS 14 in Fig. 12 is assumed to be composed of 0.4 to 1 second worth of video data (VOBU), the time range may be different.
  • the MP EG 2—PS 14 is assumed to be composed of the DVD video recording standard VOB U, but the program stream conforms to other MP EG 2 system standards and the program stream conforms to the DVD video standard. It may be.
  • the recording medium 13 1 has been described as being a DVD-RAM disk, but is not particularly limited to this.
  • recording media 13 1 is MO, DVD-R, DVD Optical recording media such as _RW, DVD + RW, CD-R, and CD_RW; magnetic recording media such as hard disks.
  • the recording medium 13 1 may be a semiconductor recording medium such as a semiconductor memory.
  • the data processing device 10 generates, records, and reproduces a data stream based on a computer program.
  • the process of generating and recording a data stream is realized by executing a computer program described based on the flowchart shown in FIG.
  • the computer program can be recorded on a recording medium such as an optical recording medium represented by an optical disk, an SD memory card, a semiconductor recording medium represented by an EEPROM, and a magnetic recording medium represented by a flexible disk.
  • the optical disk device 100 can acquire a computer program not only through a recording medium but also through an electric communication line such as the Internet.
  • ADVANTAGE OF THE INVENTION while making the data structure of ancillary information conform to the latest standard by making it conform to ISO standard, based on the data structure of the data stream equivalent to the conventional format and the data structure Provided is a data processing device operable in a computer. Since the data stream also supports the conventional format, existing applications can use the data stream. Therefore, existing software and hardware can be used effectively.

Abstract

　本発明のデータ処理装置は、映像・音声データを受け取る受信部１００、１０２と、受け取った映像・音声データを符号化して、ＭＰＥＧ２システム規格の符号化データを生成する圧縮部１０１と、符号化データを参照する参照情報、および、符号化データのＶＯＢＵをサンプル単位とし、サンプル単位の属性を記述した属性情報を含む付属情報を生成する付属情報生成部１０３と、符号化データをデータファイルとして記録媒体に記録し、付属情報を付属情報ファイルとして記録媒体に記録する記録部１２０とを備えている。符号化データは、付属情報ファイルおよびＭＰＥＧ２システム規格のいずれに基づいても復号化することが可能である。

Description

明 細 書 データ処理装置 技術分野
本発明は、 光ディスク等の記録媒体に動画ス トリームのストリー ムデータを記録するデータ処理装置および方法等に関する。 背景技術
映像デ一夕を低いビッ トレー卜で圧縮し符号化する種々のデータ ストリームが規格化されている。 そのようなデータストリームの例 として、 MP EG 2システム規格 （ I S OZ I E C 1 3 8 1 8— 1 ) のシステムストリームが知られている。 システムストリームは， プログラムストリーム （P S) 、 トランスポートストリーム （T S) 、 および P E Sストリームの 3種類を包含する。
近年、 新たに M P E G 4システム規格 （ I S〇Z I E C 1 44 9 6 - 1 ) のデータストリームを規定する動きが進んでいる。 MP E G 4システム規格のフォーマツ トでは、 MP E G 2映像ストリ一 ムまたは MP E G 4映像ス トリームを含む映像ストリ一ム、 および. 各種音声ストリームが多重化され、 動画ストリームのデータとして 生成される。 さらに MP E G 4システム規格のフォーマツ トでは付 属情報が規定される。 付属情報と動画ス トリームとは 1つのフアイ ル （MP 4ファイル） として規定される。 MP 4ファイルのデータ 構造は、 Apple (登録商標） 社のクイックタイム （QuickTime) ファ ィルフォーマッ トをベースにして、 そのフォーマッ トを拡張して規 定されている。 なお、 MP E G 2システム規格のシステムストリ一 ムには、 付属情報 （アクセス情報、 特殊再生情報、 記録日時等） を 記録するデータ構造は規定されていない。 MP E G 2システム規格 では、 付属情報はシステムストリーム内に設けられているからであ る。
映像データおよび音声データは、 従来、 磁気テープに記録される ことが多かった。 しかし、 近年は磁気テープに代わる記録媒体とし て、 DVD— RAM、 M〇等に代表される光ディスクが注目を浴び ている。
図 1は、 従来のデータ処理装置 3 5 0の構成を示す。 データ処理 装置 3 5 0は、 D VD _ RAMディスクにデータストリームを記録 し、 D VD _ RAMディスクに記録されたデータストリ一ムを再生 することができる。 データ処理装置 3 5 0は、 映像信号入力部 3 0 0および音声信号入力部 3 0 2において映像データ信号および音声 データ信号を受け取り、 それぞれ MP E G 2圧縮部 3 0 1に送る。 MP E G 2圧縮部 3 0 1は、 映像データおよび音声データを、 MP E G 2規格および/または MP E G 4規格に基づいて圧縮符号化し MP 4ファイルを生成する。 より具体的に説明すると、 MP EG 2 圧縮部 3 0 1は、 映像データおよび音声データを MP E G 2ビデオ 規格に基づいて圧縮符号化して映像ストリームおよび音声ス トリー ムを生成した後で、 さらに MP E G 4システム規格に基づいてそれ らのストリームを多重化して MP 4ス トリームを生成する。 このと き、 記録制御部 34 1は記録部 3 2 0の動作を制御する。 連続デー 夕領域検出部 340は、 記録制御部 34 1の指示によって、 論理ブ 口ック管理部 3 43で管理されるセクタの使用状況を調べ、 物理的 に連続する空き領域を検出する。 そして記録部 3 2 0は、 ピックァ ップ 3 3 0を介して MP 4ファイルを DVD— RAMディスク 3 3 1に書き込む。
図 2は、 M P 4ファイル 2 0のデータ構造を示す。 M P 4フアイ ル 2 0は、 付属情報 2 1および動画ス トリーム 2 2を有する。 付属 情報 2 1は、 映像データ、 音声データ等の属性を規定するアトム構 造 2 3に基づいて記述されている。 図 3は、 アトム構造 2 3の具体 例を示す。 アトム構造 2 3は、 映像データおよび音声データの各々 について、 独立してフレーム単位のデータサイズ、 データの格納先 アドレス、 再生タイミングを示すタイムスタンプ等の情報が記述さ れている。 これは映像データおよび音声データが、 それぞれ別個の トラックァトムとして管理されていることを意味する。
図 2に示す M P 4ファイルの動画ストリーム 2 2には、 映像デー 夕および音声データがそれぞれ 1つ以上のフレーム単位で配置され. ストリームを構成している。 例えば動画ストリームが M P E G 2規 格の圧縮符号化方式を利用して得られたとすると、 動画ストリーム には、 複数の G O Pが規定されている。 G O Pは、 単独で再生され 得る映像フレームである I ピクチャと、 次の I ピクチャまでの Pピ クチャおよび Bピクチャを含む複数の映像フレームをまとめた単位 である。 動画ス トリーム 2 2の任意の映像フレームを再生するとき まず動画ス トリーム 2 2内のその映像フレームを含む G O Pが特定 される。
なお、 以下では、 図 2の M P 4ファイルのデータ構造に示すよう に、 動画ス トリームと付属情報とを有する構造のデータストリーム を 「M P 4ストリーム」 と称する。
図 4は、 動画ス トリーム 2 2のデータ構造を示す。 動画ストリー ム 2 2は、 映像トラックと音声トラックとを含み、 各トラックには 識別子 （Track ID) が付されている。 トラックは各 1つ存在すると は限らず、 途中でトラックが切り替わる場合もある。 図 5は、 途中 でトラックが切り替わった動画ストリーム 2 2を示す。
図 6は、 動画ストリーム 2 2と DVD— RAMディスク 3 3 1の 記録単位 （セクタ） との対応を示す。 記録部 3 2 0は、 動画ストリ —ム 2 2を D VD— RAMディスクにリアルタイムで記録する。 よ り具体的には、 記録部 3 2 0は、 最大記録レート換算で 1 1秒分以 上の物理的に連続する論理プロックを 1つの連続データ領域として 確保し、 この領域へ映像フレームおよび音声フレームを順に記録す る。 連続データ領域は、 各々が 3 2 kバイ トの複数の論理ブロック から構成され、 論理ブロックごとに誤り訂正符号が付与される。 論 理ブロックはさらに、 各々が 2 kバイ トの複数のセクタから構成さ れる。 なお、 データ処理装置 3 5 0の連続データ領域検出部 340 は、 1つの連続データ領域の残りが最大記録レート換算で 3秒分を 切った時点で、 次の連続データ領域を再び検出する。 そして、 1つ の連続データ領域が一杯になると、 次の連続データ領域に動画スト リームを書き込む。 MP 4ファイル 2 0の付属情報 2 1も、 同様に して確保された連続データ領域に書き込まれる。
図 7は、 記録されたデータが D VD _ R AMのフアイルシステム において管理されている状態を示す。 例えば UD F (Universal Disk Format) ファイルシステム、 または I S OZ I E C 1 3 3 46 (Volume and file structure of write- once and rewritable media using non - sequential recording for information interchange) ファイルシステムが利用される。 図 7では、 連続し て記録された 1つの MP 4ファイルがフアイル名 MO V 0 0 0 1. M P 4として記録されている。 このファイルは、 ファイル名および ファイルエントリの位置が、 F I D (File Identifier Descriptor) で管理されている。 そして、 ファイル名はファイル · アイデンティファイァ欄に MOV 0 0 0 1. MP 4として設定され ファイルエントリの位置は、 I C B欄にファイルェントリの先頭セ クタ番号として設定される。
なお、 UD F規格は I S〇Z I E C 1 3 34 6規格の実装規約 に相当する。 また、 DVD— RAMドライブを 1 3 9 4インタフエ ースおよび S B P— 2 (Serial Bus Protocol) プロ トコルを介し てコンピュータ （P C等） へ接続することにより、 UD Fに準拠し た形態で書きこんだファイルを P Cからも 1つのファイルとして扱 うことができる。
ファイルェントリは、 ァロケ一ションディスクリプ夕を使ってデ —夕が格納されている連続データ領域 （CDA ： Contiguous Data Area) a、 b、 cおよびデータ領域 dを管理する。 具体的には、 記 録制御部 34 1は、 MP 4ファイルを連続デ一夕領域 aへ記録して いる最中に不良論理ブロックを発見すると、 その不良論理ブロック をスキップして連続データ領域 bの先頭から書き込みを継続する。 次に、 記録制御部 34 1が MP 4ファイルを連続データ領域 bへ記 録している最中に、 書き込みができない P Cフアイルの記録領域の 存在を検出したときには、 連続データ領域 cの先頭から書き込みを 継続する。 そして、 記録が終了した時点でデータ領域 dに付属情報 2 1を記録する。 この結果、 ファイル VR— MO V I E. VROは 連続デ一夕領域 a、 b、 c、 dから構成される。
図 7に示すように、 アロケーションディスクリプタ a、 b、 c、 dが参照するデータの開始位置は、 セクタの先頭に一致する。 そし て、 最後尾のアロケーショ ンディスクリプタ d以外のァロケーショ ンディスクリプタ a、 b、 cが参照するデータのデータサイズは 1 セクタの整数倍である。 このような記述規則は予め規定されている
M P 4ファイルを再生するとき、 データ処理装置 3 5 0は、 ピッ クアップ 3 3 0および再生部 3 2 1を経由して受け取った動画スト リームを取り出し、 MP E G 2復号部 3 1 1で復号して映像信号と 音声信号を生成し、 映像信号出力部 3 1 0および音声信号出力部 3 1 2から出力する。 DVD- RAMディスクからのデータの読み出 しと読み出したデータの MP EG 2復号部 3 1 1への出力は同時に 行われる。 このとき、 データの出力速度よりもデ一夕の読出速度を 大きくし、 再生すべきデータが不足しないように制御する。 したが つて、 連続してデータを読み出し、 出力を続けると、 データ読み出 し速度とデータ出力速度との差分だけ出力すべきデータを余分に確 保できることになる。 余分に確保できるデータをピックァップのジ ヤンプによりデータ読み出しが途絶える間の出力データとして使う ことにより、 連続再生を実現することができる。
具体的には、 DVD— RAMディスク 3 3 1からのデ一夕読み出 し速度が 1 1 Mb p s、 MP EG 2復号部 3 1 1へのデータ出力速 度が最大 8 Mb p s、 ピックアップの最大移動時間が 3秒とすると ピックアップ移動中に M P E G 2復号部 3 1 1へ出力するデー夕量 に相当する 24Mビッ 卜のデータが余分な出力データとして必要に なる。 このデータ量を確保するためには、 8秒間の連続読み出しが 必要になる。 すなわち、 24 Mビッ トをデータ読み出し速度 1 1 M b p s とデータ出力速度 8 Mb p sの差で除算した時間だけ連続読 み出しする必要がある。
したがって、 8秒間の連続読み出しの間に 8 8 Mビッ ト分、 すな わち 1 1秒分の出力データを読み出すことになるので、 1 1秒分以 上の連続データ領域を確保することで、 連続データ再生を保証する ことが可能となる。
なお、 連続データ領域の途中には、 数個の不良論理ブロックが存 在していてもよい。 ただし、 この場合には、 再生時にかかる不良論 理ブロックを読み込むのに必要な読み出し時間を見越して、 連続デ 一夕領域を 1 1秒分よりも少し多めに確保する必要がある。
記録された M P 4ファイルを削除する処理を行う際には、 記録制 御部 3 4 1は記録部 3 2 0および再生部 3 2 1を制御して所定の削 除処理を実行する。 M P 4ファイルは、 付属情報部分に全フレーム に対する表示タイミング （タイムスタンプ） が含まれる。 したがつ て、 例えば動画ストリーム部分の途中を部分的に削除する際には、 タイムスタンプに関しては付属情報部分のタイムスタンプのみを削 除すればよい。 なお、 M P E G 2システムストリームでは、 部分削 除位置において連続性を持たせるために動画ストリームを解析する 必要がある。 タイムスタンプがス トリーム中に分散しているからで ある。
M P 4ファイルフォーマツ 卜の特徴は、 映像 · 音声ストリームの 映像フレームまたは音声フレームを、 ひとつの集合として記録する 点にある。 同時に、 国際標準としては初めて、 各フレームへのラン ダムアクセスを可能とするアクセス情報を規定している。 アクセス 情報はフレーム単位で設けられ、 例えばフレームサイズ、 フレーム 周期、 フレームに対するアドレス情報を含む。 すなわち、 映像フレ ームに対しては表示時間にして 1 / 3 0秒ごと、 音声フレームに対 しては、 例えば、 A C— 3音声の場合であれば合計 1 5 3 6個のサ ンプルを 1単位 （すなわち 1音声フレーム） とし、 単位ごとにァク セス情報が格納される。 これにより、 例えば、 ある映像フレームの 表示タイミングを変更したい場合には、 アクセス情報の変更のみで 対応でき、 映像 · 音声ストリームを必ずしも変更する必要がない。 このようなアクセス情報の情報量は 1時間当り約 1 Mバイ トである アクセス情報の情報量に関連して、 例えば 「リライタブル/再記 録可能なディスクのための DVD規格パ一ト 3 ビデオレコ一ディ ング規格 バージョン 1.1」 , DVDフォーラム発行， VR4， p.31〜 35 によれば、 DVDビデオレコーディング規格のアクセス情報に 必要な情報量は 1時間当り 7 0キロバイ トである。 DVDビデオレ コーディ ング規格のアクセス情報の情報量は、 MP 4ファイルの付 属情報に含まれるアクセス情報の情報量の 1 0分の 1以下である。 図 8は D VDビデオレコ一ディ ング規格のアクセス情報として利用 されるフィールド名と、 フィールド名が表すピクチャ等との対応関 係を模式的に示す。 図 9は、 図 8に記載されたアクセス情報のデー 夕構造、 デ一夕構造に規定されるフィールド名、 その設定内容およ びデータサイズを示す。
また、 例えば特開 2 0 0 1— 949 3 3号公報 （第 3図） に記載 されている光ディスク装置は、 映像フレームを 1フレーム単位では なく 1 GO P単位で記録し、 同時に音声フレームを 1 GO Pに相当 する時間長で連続的に記録する。 そして、 GOP単位でアクセス情 報を規定する。 これによりアクセス情報に必要な情報量を低減して いる。
また、 MP 4ファイルは、 M P E G 2ビデオ規格に基づいて動画 ス トリームを記述しているものの、 MP E G 2システム規格のシス テムストリームと互換性がない。 よって、 現在 P C等で用いられて いるアプリケ一ションの動画編集機能を利用して、 MP 4ファイル を編集することはできない。 多くのアプリケーションの編集機能は. M P E G 2システム規格の動画ストリームを編集の対象としている からである。 また、 M P 4ファイルの規格には、 動画ストリーム部 分の再生互換性を確保するためのデコーダモデルの規定も存在しな レ これでは、 現在極めて広く普及している M P E G 2システム規 格に対応したソフトウエアおよびハードウェアを全く活用できない 発明の開示
本発明の目的は、 アクセス情報の情報量が小さく、 かつ、 従来の フォーマツ 卜に対応するアプリケーション等でも利用可能なデ一夕 構造を提供すること、 および、 そのデータ構造に基づく処理が可能 なデータ処理装置等を提供することである。
本発明によるデータ処理装置は、 映像データおよび音声データを 受け取る受信部と、 受け取った前記映像データおよび前記音声デ一 夕を符号化して、 M P E G 2システム規格の符号化データを生成す る圧縮部と、 前記符号化データを参照する参照情報、 および、 前記 符号化データのビデオオブジェク トユニッ ト （V O B U ) をサンプ ル単位とし、 前記サンプル単位の属性を記述した属性情報を含む付 属情報を生成する付属情報生成部と、 前記符号化データをデータフ アイルとして記録媒体に記録し、 前記付属情報を付属情報ファイル として前記記録媒体に記録する記録部とを備えている。 前記符号化 データは、 前記付属情報ファイルおよび前記 M P E G 2システム規 格のいずれに基づいても復号化することが可能である。
ある好ましい実施形態において、 前記参照情報は、 前記記録媒体 に記録された前記データファイルのファイル名および格納位置を示 している。
ある好ましい実施形態において、 前記圧縮部は、 複数の符号化デ 一夕を生成し、 前記付属情報生成部は、 前記複数の符号化データの 各々を参照する前記参照情報を生成する。
ある好ましい実施形態において、 前記圧縮部は、 複数の符号化デ 一夕を生成し、 前記付属情報生成部は、 前記複数の符号化データを 連続的に配列して 1つのストリームデータを生成し、 再生タイミン グごとの符号化データのデータサイズが一定でない場合の符号化デ —夕の記録位置を特定する位置情報をさらに記述した付属情報を生 成する。
ある好ましい実施形態において、 前記圧縮部は、 M P E G 2プロ グラムス 卜リームおよび M P E G 2 トランスポートストリームの一 方に準拠した符号化データを生成する。
ある好ましい実施形態において、 前記付属情報生成部は、 前記符 号化デ一夕のうち、 前記音声データに対応する符号化音声データの 音声フレームを、 さらに他のサンプル単位として前記属性情報に記 述する。
ある好ましい実施形態において、 前記圧縮部は、 第 1〜第 3のデ 一夕ファイルを生成し、 前記第 2のデータファイルは、 前記第 1の データファイルの符号化データと前記第 3のデータファイルの符号 化デ一夕とを時間的に連続して復号するために必要なフレームデ一 夕を含む。
ある好ましい実施形態において、 付属情報生成部は、 M P 4フォ 一マッ トにしたがって記述された付属情報ファイルを生成する。
ある好ましい実施形態において、 付属情報生成部は、 Qu i c kT i me フォーマッ トにしたがって記述された付属情報ファイルを生成する < 本発明のス トリームデータは、 データファイルに含まれる符号化 データと、 付属情報ファイルに含まれる付属情報とによって構成さ れる。 前記符号化データは、 映像デ一夕および音声データが M P E G 2システム規格にしたがって符号化され、 かつ、 前記付属情報お よび前記 M P E G 2システム規格のいずれに基づいても復号化する ことが可能である。 前記付属情報は、 前記符号化データを参照する 参照情報および前記符号化デ一夕のビデオオブジェク トュニッ ト ( V O B U ) をサンプル単位として前記サンプル単位の属性を記述 した属性情報を含む。 本発明の記録媒体には、 上述のストリームデ 一夕が記録されている。
本発明の他のデ一夕処理装置は、 上述のストリームデータから前 記付属情報ファイルを読み出し、 さらに制御信号に基づいて前記デ —夕ファイルを読み出す再生部と、 前記付属情報ファイルの前記付 属情報に規定される前記参照情報に基づいて、 前記データファイル の読み出しを指示する信号を前記制御信号として生成する再生制御 部と、 読み出された前記データファイルの符号化データおよび前記 付属情報を受け取り、 前記付属情報に含まれる前記属性情報に基づ いて、 前記符号化データから前記映像データおよび前記音声データ を復号する復号部と、 復号された前記映像データおよび前記音声デ 一夕を出力する出力部とを備えている。
本発明のデータ記録方法は、 映像データおよび音声データを受け 取るステップと、 受け取った前記映像データおよび前記音声データ を符号化して、 M P E G 2システム規格の符号化データを生成する ステップと、 前記符号化データを参照する参照情報、 および、 前記 符号化データのビデオオブジェク トユニッ ト （V O B U ) をサンプ ル単位とし、 前記サンプル単位の属性を記述した属性情報 を含む 付属情報を生成するステップと、 前記符号化データをデータフアイ ルとして記録媒体に記録し、 前記付属情報を付属情報ファイルとし て前記記録媒体に記録するステップと、 を包含する。 前記符号化デ —夕は、 前記付属情報ファイルおよび前記 M P E G 2システム規格 のいずれに基づいても復号化することが可能である。
本発明のデータ記録プログラムは、 データ処理装置において実行 可能なコンピュータプログラムである。 データ記録プログラムは、 映像データおよび音声データを受け取るステップと、 受け取った前 記映像データおよび前記音声デ一夕を符号化して、 M P E G 2シス テム規格の符号化データを生成するステツプと、 前記符号化データ を参照する参照情報、 および、 前記符号化データのビデオオブジェ ク トユニッ ト （V O B U ) をサンプル単位とし、 前記サンプル単位 の属性を記述した属性情報 を含む付属情報を生成するステップと、 前記符号化データをデータファイルとして記録媒体に記録し、 前記 付属情報を付属情報ファイルとして前記記録媒体に記録するステツ プと、 を包含する。 前記符号化データは、 前記付属情報ファイルお よび前記 M P E G 2システム規格のいずれに基づいても復号化する ことが可能である。
本発明のデータ再生方法は、 上述のス トリームデータから前記付 属情報ファイルを読み出すステツプと、 前記付属情報ファイルの前 記付属情報に規定される前記参照情報に基づいて、 前記データファ ィルの読み出しを指示する制御信号を生成するステツプと、 前記制 御信号に基づいて前記データファイルを読み出すステップと、 読み 出された前記データファイルの符号化データおよび前記付属情報を 受け取り、 前記付属情報に含まれる前記属性情報に基づいて、 前記 符号化データから前記映像データおよび前記音声データを復号する ステップと、 復号された前記映像データおよび前記音声データを出 力するステップとを包含する。
本発明のデータ再生プログラムは、 データ処理装置において実行 可能なコンピュータプログラムである。 データ再生プログラムは、 上述のストリ一ムデータから前記付属情報ファイルを読み出すステ ップと、 前記付属情報ファイルの前記付属情報に規定される前記参 照情報に基づいて、 前記デ一夕ファイルの読み出しを指示する制御 信号を生成するステップと、 前記制御信号に基づいて前記データフ アイルを読み出すステツプと、 読み出された前記データファイルの 符号化データおよび前記付属情報を受け取り、 前記付属情報に含ま れる前記属性情報に基づいて、 前記符号化データから前記映像デー 夕および前記音声データを復号するステツプと、 復号された前記映 像データおよび前記音声データを出力するステツプとを包含する。 本発明のさらに他のデータ処理装置は、 映像データおよび音声デ 一夕を受-け取る受信部と、 受け取った前記映像デ一夕および前記音 声データを所定の符号化形式で符号化して、 前記映像データに対応 するデータと前記音声データに対応するデ一夕とがィンターリーブ された符号化データを生成する圧縮部と、 付属情報を生成する付属 情報生成部であって、 前記付属情報は、 符号化データを参照する参 照情報およびサンプル単位の属性を記述した属性情報を含む付属情 報生成部とを備えている。 前記サンプルは、 前記映像デ一夕の再生 時間に基づいて構成された前記符号化データの集合であり、 前記符 号化データは、 前記付属情報に基づく復号化、 および、 前記所定の 符号化方式に対応する復号化方式のいずれに基づいても復号化する ことが可能である。 図面の簡単な説明
図 1は、 従来のデ一夕処理装置 3 5 0の構成を示す図である。 図 2は、 M P 4ファイル 2 0のデ一夕構造を示す図である。 図 3は、 アトム構造 2 3の具体例を示す図である。
図 4は、 動画ストリーム 2 2のデータ構造を示す図である。 図 5は、 途中でトラックが切り替わった動画ストリーム 2 2を示 す図である。
図 6は、 動画ストリーム 2 2と DVD— RAMディスク 3 3 1の セクタとの対応を示す図である。
図 7は、 記録されたデータが DVD— RAMのファイルシステム において管理されている状態を示す図である。
図 8は、 D VDビデオレコ一ディング規格のアクセス情報として 利用されるフィールド名と、 フィールド名が表すピクチャ等との対 応関係を模式的に示す図である。
図 9は、 図 8に記載されたアクセス情報のデータ構造、 データ構 造に規定されるフィールド名、 その設定内容およびデータサイズを 示す図である。
図 1 0は、 本発明によるデータ処理を行うポータブルビデオコー ダ 1 0 _ 1、 ムービーレコーダ 1 0— 2および P C 1 0— 3の接続 環境を示す図である。
図 1 1は、 データ処理装置 1 0における機能ブロックの構成を示 す図である。
図 1 2は、 本発明による MP 4ストリーム 1 2のデータ構造を示 す図である。
図 1 3は、 MP E G 2— P S 1 4の音声データの管理単位を示す 図である。
図 1 4は、 プログラムストリームとエレメン夕リストリームとの 関係を示す図である。
図 1 5は、 付属情報 1 3のデータ構造を示す図である。 図 1 6は、 ァトム構造を構成する各ァトムの内容を示す図である ( 図 1 7は、 デ一夕参照ァトム 1 5の記述形式の具体例を示す図で ある。
図 1 8は、 サンプルテーブルァトム 1 6に含まれる各ァトムの記 述内容の具体例を示す図である。
図 1 9は、 サンプル記述ァトム 1 7の記述形式の具体例を示す図 である。
図 2 0は、 サンプル記述ェントリ 1 8の各フィールドの内容を示 す図である。
図 2 1は、 MP 4ストリームの生成処理の手順を示すフローチヤ 一卜である。
図 2 2は、 本発明による処理に基づいて生成された MP E G 2 - P Sと、 従来の M P E G 2 V i d e o (エレメン夕リストリー ム） との相違点を示す表である。
図 2 3は、 1チャンクに 1 VOBUを対応させたときの MP 4ス トリ一ム 1 2のデータ構造を示す図である。
図 2 4は、 1チャンクに 1 V〇 B Uを対応させたときのデータ構 造を示す図である。
図 2 5は、 1チャンクに 1 V〇 B Uを対応させたときの、 サンプ ルテーブルァトム 1 9に含まれる各ァトムの記述内容の具体例を示 す図である。
図 2 6は、 1つの付属情報ファイルに対して 2つの P Sファイル が存在する M P 4ストリーム 1 2の例を示す図である。
図 2 7は、 1つの P Sフアイル内に不連続な M P E G 2— P Sが 複数存在する例を示す図である。
図 2 8は、 シームレス接続用の MP E G 2— P Sを含む P Sファ ィルを設けた MP 4ストリーム 1 2を示す図である。
図 2 9は、 不連続点において不足する音声 （オーディオ） フレー ムを示す図である。
図 3 0は、 本発明の他の例による MP 4ストリーム 1 2のデータ 構造を示す図である。
図 3 1は、 本発明のさらに他の例による MP 4ストリ一ム 1 2の データ構造を示す図である。
図 3 2は、 MT Fファィル3 2のデータ構造を示す図である。 図 3 3は、 各種のファイルフォーマツ ト規格の相互関係を示す図 である。
図 3 4は、 QuickTimeストリ一ムのデ一夕構造を示す図である。 図 3 5は、 QuickTime ストリームの付属情報 1 3における各アト ムの内容を示す図である。
図 3 6は、 記録画素数が変化する場合の動画ストリームのフラグ 設定内容を説明する図である。 発明を実施するための最良の形態
以下、 添付の図面を参照しながら、 本発明の実施形態を説明する < 図 1 0は、 本発明によるデータ処理を行うポータブルビデオコー ダ 1 0— 1、 ムービーレコーダ 1 0— 2および P C 1 0— 3の接続 関係を示す。
ポータブルビデオコーダ 1 0— 1は、 付属のアンテナを利用して 放送番組を受信し、 放送番組を動画圧縮して MP 4ストリームを生 成する。 ムービーレコーダ 1 0 _ 2は、 映像を録画するとともに、 映像に付随する音声を録音し、 MP 4ストリームを生成する。 MP 4ストリームでは、 映像 ·音声データは、 所定の圧縮符号化方式に よつて符号化され、 本発明によるデータ構造にしたがつて記述され ている。 ポータブルビデオコーダ 1 0— 1およびムービーレコーダ 1 0— 2は、 生成した MP 4ストリームを D VD— RAM等の記録 媒体 1 3 1に記録し、 または I E E E 1 3 94、 US B等のディジ タルインターフェースを介して出力する。 なお、 ポータブルビデオ コーダ 1 0 _ 1、 ムービーレコーダ 1 0— 2等はより小型化が必要 とされているため、 記録媒体 1 3 1は直径 8 c mの光ディスクに限 られず、 それよりも小径の光ディスク等であってもよい。
P C 1 0— 3は、 記録媒体または伝送媒体を介して MP 4ストリ —ムを受け取る。 各機器がディジタルインターフェースを介して接 続されていると、 P C 1 0— 3は、 ムービーレコーダ 1 0— 2等を 外部記憶装置として制御して、 各機器から MP 4ストリームを受け 取ることができる。
P C 1 0 - 3が本発明による M P 4ス トリ一ムの処理に対応した アプリケーションソフ トウェア、 ハードウェアを有する場合には、 P C 1 0— 3は、 MP 4ファイル規格に基づく MP 4ストリームと して MP 4ス トリームを再生することができる。 一方、 本発明によ る M P 4ストリームの処理に対応していない場合には、 P C 1 0— 3は、 M P E G 2システム規格に基づいて動画ス トリーム部分を再 生することができる。 なお、 P C 1 0 _ 3は MP 4ス トリームの部 分削除等の編集に関する処理を行うこともできる。 本明細書におい ては 「再生」 という語は編集に関する処理を含む。 以下では、 図 1 0のポータブルビデオコーダ 1 0 _ 1、 ムービーレコーダ 1 0— 2 および P C 1 0— 3を 「データ処理装置」 と称して説明する。
図 1 1は、 データ処理装置 1 0における機能ブロックの構成を示 す。 以下では、 本明細書では、 データ処理装置 1 0は、 MP 4スト リームの記録機能と再生機能の両方を有するとして説明する。 具体 的には、 データ処理装置 1 0は、 MP 4ストリームを生成して記録 媒体 1 3 1に書き込むことができ、 かつ、 記録媒体 1 3 1に書き込 まれた MP 4ストリームを再生することができる。 記録媒体 1 3 1 は例えば D V D— RAMディスクであり、 以下、 「DVD— RAM ディスク 1 3 1」 と称する。
まず、 データ処理装置 1 0の MP 4ス トリーム記録機能を説明す る。 この機能に関連する構成要素として、 データ処理装置 1 0は、 映像信号入力部 1 0 0と、 MP E G 2— P S圧縮部 1 0 1と、 音声 信号入力部 1 0 2と、 付属情報生成部 1 0 3と、 記録部 1 2 0と、 光ピックアップ 1 3 0と、 記録制御部 1 4 1とを備えている。
映像信号入力部 1 0 0は映像信号入力端子であり、 映像データを 表す映像信号を受け取る。 音声信号入力部 1 0 2は音声信号入力端 子であり、 音声デ一夕を表す音声信号を受け取る。 例えば、 ポータ ブルビデオコーダ 1 0— 1 (図 1 0) の映像信号入力部 1 0 0およ び音声信号入力部 1 0 2は、 それぞれチューナ部 （図示せず） の映 像出力部および音声出力部と接続され、 それぞれから映像信号およ び音声信号を受け取る。 また、 ムービーレコーダ 1 0— 2 (図 1 0) の映像信号入力部 1 0 0および音声信号入力部 1 0 2は、 それ ぞれカメラの C CD (図示せず） 出力およびマイク出力から映像信 号および音声信号を受け取る。
MP E G 2 - P S圧縮部 （以下 「圧縮部」 と称する） 1 0 1は、 映像信号および音声信号を受け取って MP E G 2システム規格の M P E G 2プログラムス トリーム （以下、 「MP E G 2— P S」 と称 する） を生成する。 生成された M P E G 2— P Sは、 MP E G 2シ ステム規格に基づいて、 ス トリームのみに基づいて復号することが できる。 M P E G 2— P Sの詳細は後述する。
付属情報生成部 1 0 3は、 MP 4ストリームの付属情報を生成す る。 付属情報は、 参照情報および属性情報を含む。 参照情報は、 圧 縮部 1 0 1により生成された MP E G 2—P Sを特定する情報であ つて、 例えば MP E G 2— P Sが記録される際のファイル名および DVD— RAMディスク 1 3 1上の格納位置である。 一方、 属性情 報は、 MP EG 2— P Sのサンプル単位の属性を記述した情報であ る。 「サンプル」 とは、 M P 4ファイル規格の付属情報に規定され るサンプル記述アトム （Sample Descript ion Atom； 後述） におけ る最小管理単位であり、 サンプルごとのデ一夕サイズ、 再生時間等 を記録している。 1サンプルは、 例えばランダムにアクセスするこ とが可能なデ一夕単位である。 換言すれば、 属性情報とはサンプル を再生するために必要な情報である。 特に後述のサンプル記述ァト ム （Sample Description Atom) は、 アクセス情報とも称される。 属性情報は、 具体的には、 データの格納先アドレス、 再生夕イミ ングを示すタイムスタンプ、 符号化ビッ トレート、 コ一デック等の 情報である。 属性情報は、 各サンプル内の映像データおよび音声デ 一夕の各々に対して設けられ、 以下に明示的に説明するフィールド の記述を除いては、 従来の M P 4ス トリーム 2 0の付属情報の内容 に準拠している。
後述のように、 本発明の 1サンプルは、 1^? £ 02 _ ? 3の 1 ビ デォオブジェク トユニッ ト （VOBU) である。 なお、 VOBUは D VDビデオレコーディング規格の同名のビデオオブジェク トュニ ッ トを意味する。 付属情報の詳細は後述する。
記録部 1 2 0は、 記録制御部 1 4 1からの指示に基づいてピック アップ 1 3 0を制御し、 D V D- R AMディスク 1 3 1の特定の位 置 （アドレス） にデータを記録する。 より具体的には、 記録部 1 2 0は、 圧縮部 1 0 1において生成された M P E G 2 - P Sおよび付 属情報生成部 1 0 3において生成された付属情報を、 それぞれ別個 のファイルとして DVD— RAMディスク 1 3 1上に記録する。 なお、 データ処理装置 1 0は、 データの記録に際して動作する連 続データ領域検出部 （以下、 「検出部」） 1 40および論理ブロック 管理部 （以下、 「管理部」） 1 43を有している。 連続デ一夕領域検 出部 1 4 0は、 記録制御部 1 4 1からの指示に応じて論理ブロック 管理部 1 43において管理されるセクタの使用状況を調べ、 物理的 に連続する空き領域を検出する。 記録制御部 1 4 1は、 この空き領 域に対して記録部 1 2 0にデータの記録を指示する。 データの具体 的な記録方法は、 図 7を参照しながら説明した記録方法と同様であ り特に差異はないので、 その詳細な説明は省略する。 なお、 MP E G 2 - P Sおよび付属情報は、 それぞれ別個のファイルとして記録 されるので、 図 7におけるファイル ' アイデンティファイァ欄には, それぞれのフアイル名が記述される。
次に、 図 1 2を参照しながら MP 4ストリームのデータ構造を説 明する。 図 1 2は、 本発明による MP 4ストリーム 1 2のデータ構 造を示す。 MP 4ストリーム 1 2は、 付属情報 1 3を含む付属情報 ファイル （" MOV001.MP4" ) と、 MP E G 2— P S 1 4のデータフ アイル （" MOV001.MPG") (以下 「P Sファイル」 と称する） とを備 えている。 これら 2つのファイル内のデータによって、 1つの MP 4ストリームを構成する。 本明細書では、 同じ MP 4ストリームに 属することを明確にするため、 付属情報ファイルおよび P Sフアイ ルに同じ名 （" MOV001 ") を付し、 拡張子を異ならせている。 具体 的には、 付属情報ファイルの拡張子は従来の MP 4ファイルの拡張 子と同じ "MP 4" を採用し、 F Sファイルの拡張子は従来のプロ グラムストリームの一般的な拡張子 "MP G" を採用する。
付属情報 1 3は、 MP E G 2— P S 1 4を参照するための参照情 報 （" dref" ) を有する。 さらに、 付属情報 1 3は M P E G 2— P S 1 4のビデオオブジェク トユニッ ト （VOBU) ごとの属性を記 述した属性情報を含む。 属性情報は VOBUごとの属性を記述して いるので、 データ処理装置 1 0は VO B U単位で MP E G 2 - P S 1 4に含まれる VOBUの任意の位置を特定して再生 · 編集等をす ることができる。
MP EG 2— P S 1 4は、 映像パック、 音声パック等がイン夕一 リーブされて構成された MP E G 2システム規格に基づく動画ス ト リームである。 映像パックは、 パックヘッダと符号化された映像デ 一夕とを含む。 音声パックは、 パックヘッダと符号化された音声デ 一夕とを含む。 M P E G 2— P S 1 4では、 映像の再生時間に換算 して 0. 4〜 1秒に相当する動画デ一夕を単位とするビデオォブジ ェク トユニッ ト （VOBU) によりデ一夕が管理されている。 動画 データは、 複数の映像パックおよび音声パックを含む。 データ処理 装置 1 0は、 付属情報 1 3において記述されている情報に基づいて. 任意の V〇 B Uの位置を特定しその VO B Uを再生することができ る。 なお、 VO B Uは 1以上の GO Pを含む。
本発明による MP 4ス トリーム 1 2の特徴の一つは、 MP EG 2 一 P S 1 4は、 MP E G 4システム規格で規定される M P 4ストリ —ムのデータ構造に従った属性情報 1 3に基づいて復号化すること が可能であるとともに、 MP E G 2システム規格に基づいても復号 化することが可能な点にある。 付属情報ファイルおよび P Sフアイ ルが別々に記録されているため、 データ処理装置 1 0がそれぞれを 独立して解析、 処理等することが可能だからである。 例えば、 本発 明のデータ処理を実施可能な MP 4ストリーム再生装置等は、 属性 情報 1 3に基づいて MP 4ス トリーム 1 2の再生時間等を調整し、 MP EG 2 - P S 1 4の符号化方式を特定して、 対応する復号化方 式によって復号化できる。 また、 MP E G 2— P Sを復号化するこ とができる従来の装置等においては、 は MP E G 2システム規格に したがって復号化できる。 これにより、 現在広く普及している MP EG 2システム規格にのみ対応したソフ トウエアおよびハードゥエ ァであっても、 MP 4ストリームに含まれる動画ストリームを再生 することができる。
なお、 VO B U単位のサンプル記述アトム （Sample Description Atom) を設けると同時に、 図 1 3に示すように、 MP E G 2— P S 14の音声データの所定時間のフレーム分を管理単位としたサンプ ル記述ア トム （Sample Description Atom) を設けてもよい。 所定 時間とは、 例えば 0 : 1秒である。 図中 「V」 は図 1 2の映像パッ クを示し、 「A」 は音声パックを示す。 0. 1秒分の音声フレーム は 1個以上の複数のパックから構成される。 1音声フレームは、 例 えば AC— 3の場合、 サンプリング周波数を 48 kH zとしたとき、 サンプリング個数にして 1 5 3 6サンプルの音声データを含む。 こ のとき、 サンプル記述アトムは、 トラックアトム内のユーザデータ ァトム内に設けるか、 または独立したトラックのサンプル記述ァト ムとして設けてもよい。 また、 他の実施例としては、 付属情報 1 3 は、 VOBUに同期する 0. 4〜 1秒分の音声フレームを単位とし て、 その単位毎の合計デ一夕サイズ、 先頭パックのデ一夕アドレス, および出力タイミングを示すタイムスタンプ等の属性を保持しても よい。 次に、 MP E G 2— P S 1 4のビデオオブジェク トユニッ ト （V 〇BU) のデータ構造を説明する。 図 1 4は、 プログラムス トリー ムとエレメンタリス トリームとの関係を示す。 MP E G 2— P S 1 4の VOBUは、 複数の映像パック （V— P CK) および音声パッ ク （A— P CK) を含む。 なお、 より厳密には、 VOBUはシーケ ンスヘッダ （図中の S EQヘッダ） から、 次のシーケンスヘッダの 直前のパックまでによって構成される。 すなわち、 シーケンスへッ ダは V〇 B Uの先頭に配置される。 一方、 エレメンタリストリーム (V i d e o) は、 N個の GOPを含む。 GOPは、 各種のヘッダ (シーケンス （S EQ) ヘッダおよび GOPヘッダ） および映像デ 一夕 （ I ピクチャ、 Pピクチャ、 Bピクチャ） を含む。 エレメンタ リストリーム （Au d i o) は、 複数の音声フレームを含む。
MP E G 2 -P S 1 4の VOBUに含まれる映像パックおよび音 声パックは、 それぞれエレメンタリス トリーム （V i d e o) (Au d i o) の各データを用いて構成されており、 それぞれのデ 一夕量が 2キロバイ トになるように構成されている。 なお、 上述の ように各パックにはパックへッダが設けられる。
なお、 字幕データ等の副映像データに関するエレメンタリストリ —ム （図示せず） が存在するときは、 MP E G 2— P S 1 4の V〇 B Uはさらにその副映像データのパックも含む。
次に、 図 1 5および図 1 6を参照しながら、 MP 4ス トリーム 1 2における付属情報 1 3のデータ構造を説明する。 図 1 5は、 付属 情報 1 3のデ一夕構造を示す。 このデータ構造は 「アトム構造」 と も呼ばれ、 階層化されている。 例えば、 "Movie Atom" は、 "Movie Header Atom 、 'Object Descriptor Atom および Track Atom を含む。 さ らに "Track Atom" は、 "Track Header Atom"、 "Edit List Atom", "Media Atom" および "User Data Atom" を含む。 図 示された他の Atomも同様である。
本発明では、 特 にデータ参照ア ト ム （ " Data Reference Atom" ； dref) 1 5およびサンプルテーブルアトム （"Sample Table Atom" ； stbl) 1 6を利用して、 サンプル単位の属性を記述する。 上述のように、 1サンプルは M P E G 2— P Sの 1 ビデオオブジェ ク トユニッ ト （VOBU) に対応する。 サンプルテーブルアトム 1 6は、 図示される 6つの下位アトムを含む。
図 1 6は、 ァトム構造を構成する各ァトムの内容を示す。 データ 参照アトム （"Data Reference Atom" ) は、 動画ス トリーム （MP E G 2 - P S ) 1 4のファイルを特定する情報を UR L形式で格納 する。 一方、 サンプルテーブルア トム （"Sample Table Atom") は， 下位のア トムによって V〇 B U毎の属性を記述する。 例えば、 "Decoding Time to Sample Atom" において V〇 B U毎の再生時間 を格納し、 "Sample Size Atom" において V〇 B U毎のデ一夕サイ ズを格納する。 また " Sample Description Atom" は、 M P 4ス ト リーム 1 2を構成する P Sフアイルのデータが MP E G 2 - P S 1 4であることを示すとともに、 MP E G 2— P S 1 4の詳細な仕様 を示す。 以下では、 データ参照アトム （"Data Reference Atom) に よって記述される情報を 「参照情報」 と称し、 サンプルテ一ブルア トム （"Sample Table Atom") において記述される情報を 「属性情 報」 と称する。
図 1 7は、 デ一夕参照アトム 1 5の記述形式の具体例を示す。 フ アイルを特定する情報は、 データ参照ァトム 1 5を記述するフィー ルドの一部 （ここでは " DataEntryUrlAtom") において記述される, ここでは、 UR L形式により、 MP E G 2— P S 1 4のファイル名 およびファイルの格納位置が記述されている。 デ一夕参照ァトム 1 5を参照することにより、 その付属情報 1 3とともに MP 4ストリ —ム 1 2を構成する MP E G 2— P S 1 4を特定できる。 なお、 M P E G 2— P S 1 4が DVD— RAMディスク 1 3 1に記録される 前であっても、 図 1 1の付属情報生成部 1 0 3は、 MP E G 2— P S 1 4のファイル名およびファイルの格納位置を特定することがで きる。 ファイル名は予め決定でき、 かつ、 ファイルの格納位置もフ アイルシステムの階層構造の表記によって論理的に特定できるから である。
図 1 8は、 サンプルテーブルァトム 1 6に含まれる各アトムの記 述内容の具体例を示す。 各アトムは、 フィールド名、 繰り返しの可 否およびデータサイズを規定する。 例えば、 サンプルサイズアトム (Sample Size Atom") は、 3つのフィー レド （" sample— s ize"、 sample count およひ entry-size ) を有する。 このうち、 サ ンプルサイズ （"sample- size") フィールドには、 VO BUのデフ オル トのデ一夕サイズが格納され、 エン ト リサイズ （ " ent ry- size") フィールドには、 V〇 B Uのデフォルト値とは異なる個別 のデータサイズが格納される。 なお、 図中の 「設定値」 欄のパラメ 一夕 （"VOBU— ENT" 等） には D VDビデオレコーディング規格の同 名のアクセスデータと同じ値が設定される。
図 1 8 に示すサンプル記述ア ト ム （ " Sample Description Atom") 1 7は、 サンプル単位の属性情報を記述する。 以下、 サン プル記述ァトム 1 7に記述される情報の内容を説明する。
図 1 9は、 サンプル記述ァトム 1 7の記述形式の具体例を示す。 サンプル記述アトム 1 7は、 そのデ一夕サイズ、 各 VOBUを 1サ 単位の属性情報等を記述する。 属性情報は、 サンプ レ言己述ァ卜ム 1 7の "sample— descript ion— entry" 1 8に言己 述される。
図 2 0は、 "sample_descript ion— entry" 1 8の各フィールドの 内容を示す。 エントリ 1 8は、 対応する MP £02— 5 1 4の符 号化形式を指定するデータフォーマッ ト （"data-forma ） を含む < 図中の " p 2 s m" は、 M P E G 2 _ P S 1 4が MP E G 2 V i d e oを含む MP E G 2プログラムス トリームであることを示す。
エン ト リ 1 8 は、 そのサンプルの表示開始時刻 （"開始 Presentation Time") および表示終了時刻 （"終了 Presentation Time") を含む。 これらは、 最初および最後の映像フレームのタイ ミング情報を格納する。 また、 エントリ 1 8は、 そのサンプル内の 映像ストリームの属性情報 （"映像 E S属性"） および音声ストリー ムの属性情報 （"音声 E S属性"） を含む。 図 1 9に示すように、 映 像データの属性情報は、 映像の COD E C種別 （例えば、 MP EG 2ビデオ）、 映像データの幅 （"Width")、 高さ （"height") 等を特 定する。 同様に、 音声データの属性情報は、 音声の COD E C種別 (例えば、 A C — 3 )、 音声データのチャネル数 （ " channe 1 count"), 音声サンプルのサイズ （"samplesize"；)、 サンプリングレ ート ("samplerate") 等を特定する。
さらにエントリ 1 8は、 不連続点開始フラグおよびシームレス情 報を含む。 これらの情報は、 後述のように、 1つの MP 4ストリー ム 1 2内に複数の P ストリームが存在するときに記述される。 例 えば、 不連続点開始フラグの値が " 0 " のときは、 前の動画ストり —ムと現在の動画ス トリームとが完全に連続したプログラムストリ —ムであることを示し、 値が " 1 " のときは、 それらの動画ストリ —ムは不連続のプログラムストリームであることを示す。 そして不 連続の場合には、 動画や音声等の不連続点においても途切れ無く動 画、 音声等を再生するためのシームレス情報の記述が可能である。 シームレス情報は、 再生時に音声不連続情報および S C R不連続情 報を含む。 音声不連続情報の無音声区間 （すなわち図 3 1のオーデ ィォギャップ） の有無、 開始タイミングおよび時間長を含む。 S C R不連続情報には不連続点の直前と直後のパックの S C R値を含む 不連続点開始フラグを設けることにより、 Sample Description Entry の切り替えと動画ストリームの連続性の切り替え箇所を独立 して指定できる。 図 3 6に示すように、 例えば、 記録画素数が途中 で変化する際には Sample Description を変化させるが、 このとき、 動画ストリーム自体が連続しているのであれば不連続点開始フラグ を 0に設定してもよい。 不連続点開始フラグが 0であることにより， 情報ストリームを直接編集する場合に、 P C等は、 2つの動画スト リームの接続点を再編集しなくてもシームレスな再生が可能である ことを把握することができる。 なお、 図 3 6では水平画素数が変化 した場合を例にしているが、 その他の属性情報が変化した場合であ つてもよい。 例えば、 アスペク ト情報に関して 4 ： 3のアスペク ト 比が 1 6 ： 9に変化した場合や、 音声のビッ トレートが変化した場 合等である。
以上、 図 1 2に示す M P 4ストリーム 1 2の付属情報 1 3および
MP E G 2 _ P S 1 4のデータ構造を説明した。 上述のデータ構造 においては、 MP E G 2 _ P S 1 4の部分削除を行う際には、 付属 情報 1 3内のタイムスタンプ等の属性情報を変更するだけでよく、 MP E G 2 - P S 1 4に設けられているタイムスタンプを変更する 必要がない。 よって従来の M P 4ストリームの利点を活かした編集 処理が可能である。 さらに、 上述のデータ構造によれば、 MP EG 2システム規格のス トリームに対応したアプリケ一ションゃハード ウェアを用いて P C上で動画編集するときは、 P Sファイルのみを P Cにインポートすればよい。 P Sファイルの MP E G 2— P S 1 4は、 M P E G 2システム規格の動画ストリームだからである。 こ のようなアプリケーションゃハ一ドウエアは広く普及しているので、 既存のソフトウェアおよびハードウエアを有効に活用できる。 同時 に、 付属情報を I S O規格に準拠したデータ構造で記録できる。 次に、 図 1 1および図 2 1を参照しながら、 データ処理装置 1 0 が MP 4ストリームを生成し、 DVD— RAMディスク 1 3 1上に 記録する処理を説明する。 図 2 1は、 MP 4ス トリームの生成処理 の手順を示すフローチヤ一トである。 まずステツプ 2 1 0において, データ処理装置 1 0は、 映像信号入力部 1 0 0を介して映像データ を受け取り、 音声信号入力部 1 0 2を介して音声データを受け取る < そしてステップ 2 1 1において、 圧縮部 1 0 1は受け取った映像デ 一夕および音声データを MP E G 2システム規格に基づいて符号化 する。 続いて圧縮部 1 0 1は、 ステツプ 2 1 2において映像および 音声の符号化ストリームを利用して、 MP E G 2— P Sを構成する (図 1 4)。
ステツプ 2 1 3において、 記録部 1 2 0は、 MP E G 2— P Sを DVD— RAMディスク 1 3 1に記録する際のフアイル名および記 録位置を決定する。 ステップ 2 1 4において、 付属情報生成部 1 0 3は、 P Sファイルのファイル名および記録位置を取得して参照情 報 （Data Reference Atom； 図 1 7 ) として記述すべき内容を特定 する。 図 1 7に示すように、 本明細書では、 ファイル名と記録位置 とを同時に指定できる記述方式を採用した。
次に、 ステツプ 2 1 5において、 付属情報生成部 1 0 3は MP E G 2— P S 1 4に規定される V〇 B U毎に、 再生時間、 データサイ ズ等を表すデータを取得して属性情報 （Sample Table Atom； 図 1 8〜 2 0) として記述すべき内容を特定する。 属性情報を VOBU 単位で設けることにより、 任意の V〇B Uの読み出しおよび復号化 が可能になる。 これは、 1 VOBUを 1サンプルとして取り扱うこ とを意味する。
次に、 ステップ 2 1 6において、 付属情報生成部 1 0 3は参照情 報 （Data Reference Atom) および属性情報 （Sample Table Atom) 等に基づいて、 付属情報を生成する。
ステップ 2 1 7において、 記録部 1 2 0は、 付属情報 1 3および
MP E G 2 - P S 1 4を MP 4ストリーム 1 2として出力し、 DV D— RAMディスク 1 3 1上にそれぞれ付属情報ファイルおよび P Sファイルとして別々に記録する。 以上の手順にしたがって、 MP 4ストリ一ムが生成され、 DVD— RAMディスク 1 3 1に記録さ れる。
次に、 再び図 1 1および図 1 2を参照しながら、 データ処理装置 1 0の MP 4ストリーム再生機能を説明する。 DVD— RAMディ スク 1 3 1には、 上述のデータ構造を有する付属情報 1 3および M P E G 2 - P S 1 4を有する M P 4ストリーム 1 2が記録されてい るとする。 データ処理装置 1 0は、 ユーザの選択により D VD— R AMディスク 1 3 1に記録された M P E G 2— P S 1 4を再生およ び復号化する。 再生機能に関連する構成要素として、 データ処理装 置 1 0は、 映像信号出力部 1 1 0と、 MP E G 2— P S復号部 1 1 1と、 音声信号出力部 1 1 2と、 再生部 1 2 1と、 ピックアップ 1 3 0と、 再生制御部 1 4 2とを備えている。
まず、 再生部 1 2 1は、 再生制御部 1 42からの指示に基づいて ピックアップ 1 3 0を制御し、 D VD- RAMディスク 1 3 1から MP 4ファイルを読み出して付属情報 1 3を取得する。 再生部 1 2 1は、 取得した付属情報 1 3を再生制御部 1 42に出力する。 また, 再生部 1 2 1は、 後述の再生制御部 1 4 2から出力された制御信号 に基づいて、 D VD— R AMディスク 1 3 1から P Sファイルを読 み出す。 制御信号は、 読み出すべき P Sファイル （"MOV001.MPG") を指定する信号である。
再生制御部 1 4 2は、 再生部 1 2 1から付属情報 1 3を受け取り, そのデ一夕構造を解析することにより、 付属情報 1 3に含まれる参 照情報 1 5 (図 1 7 ) を取得する。 再生制御部 1 42は、 参照情報 1 5において指定された P Sファイル （"MOV001.MPG") を、 指定さ れた位置 （". "： ルートディ レク トリ） から読み出すことを指示 する制御信号を出力する。
MP E G 2 - P S復号部 1 1 1は、 MP E G 2— P S 1 4および 付属情報 1 3を受け取り、 付属情報 1 3に含まれる属性情報に基づ いて、 MP E G 2— P S 14から映像データおよび音声データを復 号する。 より具体的に説明すると、 MP E G 2— P S復号部 1 1 1 は、 サンプル記述ア トム 1 7 (図 1 9 ) のデータフォーマッ ト ("data-format") 映像ストリームの属性情報 （"映像 E S属性"）， 音声ストリームの属性情報 （"音声 E S属性"） 等を読み出し、 それ らの情報に指定された符号化形式、 映像データの表示サイズ、 サン プリング周波数等に基づいて、 映像データおよび音声デ一夕を復号 する。
映像信号出力部 1 1 0は映像信号出力端子であり、 復号化された 映像データを映像信号として出力する。 音声信号出力部 1 1 2は音 声信号出力端子であり、 復号化された音声データを音声信号として 出力する。
データ処理装置 1 0が MP 4ストリームを再生する処理は、 従来 の MP 4ストリームファイルの再生処理と同様、 まず拡張子が "M P 4 " のファイル （"MOV001.MP4") の読み出しから開始される。 具 体的には以下のとおりである。 まず再生部 1 2 1は付属情報フアイ ル （"MOV001.MP4") を読み出す。 次に、 再生制御部 1 42は付属情 報 1 3を解析して参照情報 （Data Reference Atom) を抽出する。 再生制御部 1 42は、 抽出された参照情報に基づいて、 同じ MP 4 ストリームを構成する P Sファイルの読み出しを指示する制御信号 を出力する。 本明細書では、 再生制御部 1 42から出力された制御 信号は、 P Sファイル （"M0V001.MPG") の読み出しを指示している, 次に、 再生部 1 2 1は、 制御信号に基づいて、 指定された P フ アイルを読み出す。 次に、 MP EG 2— P S復号部 1 1 1は、 読み 出されたデータファイルに含まれる MP E G 2 - P S 1 4および付 属情報 1 3を受け取り、 付属情報 1 3を解析して属性情報を抽出す る。 そして MP E G 2 _ P S復号部 1 1 1は、 属性情報に含まれる サンプル記述アトム 1 7 (図 1 9) に基づいて、 MP E G 2— P S 1 4のデータフォーマッ ト （"data- forma '）、 MP E G 2 - P S 1 4に含まれる映像ス トリームの属性情報 （"映像 E S属性"）、 音声 ストリームの属性情報 （"音声 E S属性"） 等を特定して、 映像デー タおよび音声データを復号する。 以上の処理により、 付属情報 1 3 に基づいて M P E G 2 - P S 1 4が再生される。
なお、 M P E G 2システム規格のストリームを再生可能な従来の 再生装置、 再生ソフ トウェア等であれば、 P Sファイルのみを再生 することによって MP E G 2— P S 1 4を再生することができる。 このとき、 再生装置等は MP 4ストリーム 1 2の再生に対応してい なくてもよい。 MP 4ストリーム 1 2は付属情報 1 3および MP E G 2 - P S 1 4を別個のファイルによって構成されているので、 例 えば拡張子に基づいて M P E G 2 - P S 1 4が格納されている P S ファイルを容易に識別し、 再生することができる。
図 2 2は、 本発明による処理に基づいて生成された M P E G 2—
P Sと、 従来の M P E G 2 V i d e o (エレメン夕リストリ一 ム） との相違点を示す表である。 図において、 本発明 （ 1 ) のカラ ムがこれまで説明した 1 VOBUを 1サンプルとする例に相当する ( 従来例では、 1映像フレーム （Video frame) を 1サンプルとして 各サンプルにサンプルテーブルアトム （Sample Table Atom) 等の 属性情報 （アクセス情報） を設けていた。 本発明によれば、 映像フ レームを複数含む VOB Uをサンプル単位としてサンプル毎にァク セス情報を設けたので、 属性情報の情報量を大幅に低減できる。 し たがって本発明による 1 VOBUを 1サンプルとすることが好適で ある。
図 2 2の本発明 （ 2) のカラムは、 本発明 （ 1 ) に示すデータ構 造の変形例を示す。 本発明 （ 2) と本発明 （ 1 ) との相違点は、 本 発明 （ 2 ) の変形例では 1チャンク （chunk) に 1 VO B Uを対応 させてチャンク毎にアクセス情報を構成する点である。 ここで、 「チャンク」 とは、 複数のサンプルによって構成された単位である, このとき、 MP E G 2— P S 1 4のパックヘッダを含む映像フレー ムが、 1サンプルに対応する。 図 2 3は、 1チャンクに 1 VOB U を対応させたときの MP 4ストリーム 1 2のデ一夕構造を示す。 図 1 2の 1サンプルを 1チャンクに置き換えた点が相違する。 なお、 従来例では 1サンプルに 1映像フレームを対応させ、 1チャンクに 1 GO Pを対応させている。 図 2 4は、 1チャンクに 1 VOBUを対応させたときのデ一夕構 造を示す図である。 図 1 5に示す 1サンプルに 1 V〇 BUを対応さ せたときのデータ構造と比較すると、 付属情報 1 3の属性情報に含 まれるサンプルテ一ブルアトム 1 9に規定される内容が異なってい る。 図 2 5は、 1チャンクに 1 V〇 B Uを対応させたときの、 サン プルテーブルァトム 1 9に含まれる各ァトムの記述内容の具体例を 示す。
次に、 MP 4ストリーム 1 2を構成する P Sフアイルに関する変 形例 を説明する 。 図 2 6 は、 1 つの付属情報 フ ァ イ ル ("MOV001.MP4") に対して 2つの P Sファイル （ " MOV001. MPG" お よび" MOV002.MPG") が存在する M P 4ストリーム 1 2の例を示す < 2つの P Sファイルには、 別個の動画シーンを表す M P E G 2 - P S 1 4のデ一夕が別々に記録されている。 各 P Sファイル内では動 画ストリームは連続し、 M P E G 2システム規格に基づく S C R (System Clock Reference) ^ P T S (Presentation Time Stamp) および D T S (Decoding Time Stamp) は連続している。 しかし、 P Sフアイル相互間 （各 P Sファイルに含まれる MP E G_ P S # 1の末尾と M P E G _ P S # 2の先頭の間） には、 S C R、 P T S および D T Sはそれぞれ連続していないとする。 2つの P Sフアイ ルは別々のトラック （図） として取り扱われる。
付属情報ファイルには、 各 P Sファイルのファイル名および記録 位置を特定する参照情報 （dref ; 図 1 7 ) が記述されている。 例え ば、 参照情報は参照すべき順序に基づいて記述されている。 図では. 参照 # 1により特定された P Sフアイル" MOV001.MPG" が再生され. その後、 参照 # 2により特定された P Sファイル" MOV002.MPG" が 再生される。 このように複数の P Sファイルが存在していても、 付 属情報ファイル内に各 P sファイルの参照情報を設けることにより， 各 P Sファイルを実質的に接続して再生することができる。
図 2 7は、 1つの P Sフアイル内に不連続の M P E G 2— P Sが 複数存在する例を示す。 P Sファイルには、 別個の動画シーンを表 す M P EG 2— P S # 1および # 2のデ一夕が連続的に配列されて いる。 「不連続の M P E G 2 _ P S」 とは、 2つの MP E G 2— P S間 （MP E G— P S # 1の末尾と MP E G— P S # 2の先頭の 間） では、 S C R、 P T Sおよび D T Sはそれぞれ連続していない ことを意味する。 すなわち、 再生タイミングに連続性がないことを 意味する。 不連続点は、 2つの M P E G 2— P Sの境界に存在する, なお各 MP E G 2— P S内では動画ストリームは連続し、 MP EG 2システム規格に基づく S C R、 P T Sおよび DT Sは連続してい る。
付属情報ファイルには、 P Sファイルのファイル名および記録位 置を特定する参照情報 （dre 図 1 7 ) が記述されている。 付属情 報ファイルにはその P Sファイルを指定する参照情報が 1つ存在す る。 しかし P Sファイルを順に再生すると、 MP E G 2 _ P S # 1 と # 2との不連続点においては再生できなくなる。 S C R、 P T S, DT S等が不連続になるからである。 そこで、 この不連続点に関す る情報 （不連続点の位置情報 （アドレス） 等） を付属情報ファイル に記述する。 具体的には、 不連続点の位置情報は、 図 1 9における 「不連続点開始フラグ」 として記録する。 例えば、 再生時には再生 制御部 1 42は不連続点の位置情報を算出して、 不連続点の後に存 在する MP E G 2 _ P S # 2の映像デ一夕を先読み等することによ り、 少なくとも映像データの連続的な再生が途切れないように再生 を制御する。 図 2 6を参照しながら、 互いに不連続な MP E G 2 - P Sを含む 2つの P Sファイルに対して、 2つの参照情報を設けて再生する手 順を説明した。 しかし、 図 2 8に示すように、 2つの P Sファイル に対してシームレス接続用の MP E G 2 - P Sを含む P Sファイル を新たに揷入し、 シームレスに当初の 2つの P Sファイルを再生す ることができる。 図 2 8は、 シームレス接続用の MP EG 2 _ P S を含む P Sファイル （ "MOV002.MPG" ) を設けた MP 4ストリ一ム 1 2を示す。 P Sファイル （ "MOV002.MPG" ) は、 M P E G 2— P S # l と MP EG 2— P S # 3との不連続点において不足する音声 フレームを含む。 以下、 図 2 9を参照しながらより詳しく説明する c 図 2 9は、 不連続点において不足する音声 （オーディオ） フレー ムを示す。 図では、 M P E G 2— P S # 1 を含む P Sファイルを 「P S # 1」 と表記し、 MP E G 2 _ P S # 3を含む P Sファイル を 「P S # 3」 と表記する。
まず、 P S # 1のデータが処理され、 次に P S # 3のデ一夕が処 理されるとする。 上から 2段目の DT Sビデオフレームおよび 3段 目の P T Sビデオフレームは、 それぞれ映像フレームに関するタイ ムスタンプを示す。 これらから明らかなように、 P Sファイル # 1 および # 3は、 映像が途切れることなく再生される。 しかし、 ォー ディオフレームに関しては、 P S # 1の再生が終了した後 P S # 3 が再生されるまでの間、 一定区間データが存在しない無音区間が発 生する。 これでは、 シームレス再生を実現できない。
そこで、 新たに P S # 2を設け、 シームレス接続のための音声フ レームを含む P Sファイルを設けて、 付属情報ファイルから参照す るようにした。 この音声フレームは、 無音区間を埋める音声データ を含み、 例えば P S # 1末尾の動画に同期して記録されている音声 データがコピーされる。 図 2 9に示すように、 オーディオフレーム の段にはシームレス接続用オーディオフレームが P S # 1の次に挿 入されている。 P S # 2の音声フレームは、 P S # 3の開始前 1フ レーム以内になるまで設けられる。 これに伴って、 付属情報 1 3に 新たな P S # 2を参照する参照情報 （図 2 8の dref) を設け、 P S # 1の次に参照されるように設定する。
なお、 図 2 9には 「オーディォギヤップ」 として示される 1音声 フレーム分以下の無デ一夕区間 （無音区間） が存在しているが、 P S # 2内にあと 1音声フレーム相当分のデ一夕を余分に含め、 無音 区間が発生しないようにしてもよい。 この場合には、 例えば P S # 2と P S # 3に同じ音声データサンプルを含む部分、 すなわちォー ディオフレームがオーバーラップする部分が含まれることになる。 しかし、 特に問題は生じない。 オーバーラップする部分はいずれの デ一夕を再生しても同じ音声が出力されるからである。
以上の処理により、 不連続な複数の P Sファイルを再生する際に は、 時間的に連続して復号し再生することができる。
なお、 図 2 9では参照情報 （dref) を用いて P Sファイルを参照 するとして説明したが、 P S # 2ファイルに限っては他のア トム (例えば独自に定義した専用アトム） 、 または第 2の P S トラック から P S # 2を参照してもよい。 換言すれば、 DVDビデオレコー デイング規格に準拠する P Sファイルのみ、 "dref" アトムから参 照するようにしてもよい。 または、 P S # 2ファイル内の音声フレ —ムをエレメン夕リス トリ一ムの独立ファイルとして記録し、 付属 情報ファイルに設けた独立した音声トラックァ トムより参照し、 さ らに、 P S # 1の末尾に並列して再生するように付属情報ファイル に記述してもよい。 P S # 1と音声のエレメンタリストリームの同 時再生のタイミングは、 付属情報のエディ ッ トリス トアトム （例え ば図 1 5 ) によって指定可能である。
これまでは、 動画ストリームは MP E G 2プログラムストリーム であるとして説明した。 しかし、 M P E G 2システム規格で規定さ れた M P E G 2— トランスポートス トリーム （以下、 「MP E G 2 — T S」 ） によって動画ストリームを構成することもできる。
図 3 0は、 本発明の他の例による M P 4ス トリーム 1 2のデータ 構造を示す。 MP 4ストリーム 1 2は、 付属情報 1 3を含む付属情 報ファイル （" MOV001.MP4" ) と、 MP E G 2— T S 1 4のデータ ファイル （ "MOV001.M2T" ) (以下 「T Sファイル」 と称する） と を備えている。
MP 4ス トリーム 1 2において、 T Sファイルが付属情報 1 3内 の参照情報 （dref) によって参照される点は、 図 1 2の MP 4ス ト リームと同様である。
M P E G 2— T S 1 4にはタイムスタンプが付加されている。 よ り詳しく説明すると、 M P E G 2 _ T S 1 4には、 送出時に参照さ れる 4バイ トのタイムスタンプが 1 8 8バイ 卜のトランスポートパ ケッ ト （以下 「T Sパケッ ト」 ） の前に付加されている。 その結果. 映像を含む T Sパケッ ト （V— T S P) および音声を含む T Sパケ ッ ト （A— T S P ) は 1 9 2バイ トで構成されている。 なおタイム スタンプは T Sバケツ 卜の後ろに付加されていてもよい。
図 3 0に示す MP 4ス トリーム 1 2では、 図 1 2における VO B Uと同様、 映像にして約 0. 4〜 1秒に相当する映像データを含む T Sバケツ トを 1サンプルとして付属情報 1 3に属性情報を記述す ることができる。 さらに図 1 3と同様、 1 フレームの音声データの データサイズ、 データアドレスおよび再生タイミング等を付属情報 1 3に記述してもよい。
また、 1フレームを 1サンプルに対応させ複数のフレームを 1チ ヤンクに対応させてもよい。 図 3 1は、 本発明のさらに他の例によ る M P 4ストリーム 1 2のデータ構造を示す。 このとき、 図 2 3と 同様、 映像にして約 0. 4〜 1秒に相当する映像デ一夕を含む複数 の T Sパケッ トを 1チャンクに対応させ、 1チャンク毎にアクセス 情報を設定することにより、 図 1 2に示す構成の MP 4ストリーム 1 2と全く同様の利点が得られる。
なお、 上述の図 3 0および 3 1のデ一夕構造を利用するときの各 ファイルの構成およびデ一夕構造に基づく処理は、 図 1 2、 1 3お よび 2 3に関連して説明した処理と類似する。 それらの説明は、 図 1 2、 1 3および 2 3における映像パックおよび音声パックに関す る説明を、 それぞれ図 3 0に示すタイムスタンプを含めた映像用 T Sパケッ ト （V— T S P) および音声用 T Sパケッ ト （A— T S P) に置き換えて読めばよい。
次に、 図 3 2を参照しながら、 これまで説明したデータ処理を適 用可能な他のデータフォーマツ 卜のファイル構造を説明する。 図 3 2は、 MT Fファイル 3 2のデータ構造を示す。 MT F 3 2は、 動 画の記録および編集結果の格納に用いられるフアイルである。 MT Fファイル 3 2は複数の連続した MP E G 2 - P S 1 4を含んでお り、 また、 一方、 各 M P E G 2 — P S 1 4は、 複数のサンプル ( "P2Sample" ) を含む。 サンプル （ "P2Sample" ) はひとつの連 続したストリームである。 例えば、 図 1 2に関連して説明したよう に、 サンプル単位で属性情報を設けることができる。 これまでの説 明では、 このサンプル （ "P2Sample" ) が VOBUに相当する。 各 サンプルは、 各々が一定のデ一夕量 （ 2 048バイ ト） で構成され た複数の映像パックおよび音声パックを含む。 また、 例えば、 2つ の MTFをひとつにまとめると、 MT Fは 2つの P2streamから構成 される。
MT F 3 2内で前後する MP E G 2— P S 1 4が連続したプログ ラムストリームのときは、 連続する範囲において 1つの参照情報を 設け、 1つの M P 4ストリームを構成できる。 前後する MP E G 2 - P S 1 4が不連続のプログラムストリームであるときは、 図 2 7 に示すように不連続点のデータァドレスを属性情報に設けて MP 4 ストリーム 1 2を構成できる。 よって MT F 3 2においても、 これ まで説明したデータ処理を適用できる。
これまでは、 2 0 0 1年に標準化された MP 4ファイルフォーマ ッ トを拡張して MP E G 2システムストリームを取り扱う例を説明 したが、 本発明は、 QuickTimeファイルフォーマッ トおよび ISO Base Mediaファイルフォーマッ トを同様に拡張しても M P E G 2シ ステムストリームを取り扱うことができる。 MP 4ファイルフォー マツ トおよび ISO Base Med i aファイルフォーマツ 卜の大部分の仕様 は QuickTimeフアイルフォーマツ トをべ一スとして規定されており、 その仕様の内容も同じだからである。 図 3 3は、 各種のファイルフ ォーマッ ト規格の相互関係を示す。 「本発明」 と、 「MP 4 ( 2 0 0 1 ) 」 と、 「 QuickTime」 とが重複するア トム種別 （moov, mdat) では、 上述した本発明によるデ一夕構造を適用することがで きる。 これまでにも説明しているように、 アトム種別 "moov" は付 属情報の最上位階層の "Movie Atom" として図 1 5等において示し ているとおりである。
図 3 4は、 QuickTimeストリームのデータ構造を示す。 QuickTime ス ト リ ーム も ま た 、 付属情報 1 3 を記述 し た フ ァ イ ル ( "MOV001.MOV" ) と、 MP E G 2— P S 1 4を含む P Sファイル ( "MOV001.MPG ") とによって構成される。 図 1 5に示す MP 4ス トリーム 1 2と比較すると、 QuickTimeストリームの付属情報 1 3 に規定されている "Movie Atom" の一部が変更される。 具体的には、 ヌルメディアヘッダアトム （" Null Media Header Atom" ) に代え て、 ベースメディアヘッダアトム （ "Base Media Header Atom" ) 3 6が新たに設けられていること、 および、 図 1 5の 3段目に記載 されているオブジェク ト記述ア トム （ " Object Descriptor Atom" ) が図 3 4の付属情報 1 3では削除されていることである。 図 3 5は、 QuickTimeストリームの付属情報 1 3における各アトム の内容を示す。 追加されたベースメディアヘッダアトム （ "Base Media Header Atom" ) 3 6は、 各サンプル （VO B U) 内のデー 夕が、 映像フレームおよび音声フレームのいずれでもない場合に、 このアトムによりその旨が示される。 図 3 5に示す他のァトム構造 およびその内容は、 上述の MP 4ストリーム 1 2を用いて説明した 例と同じであるので、 それらの説明は省略する。
以上、 本発明の実施形態を説明した。 図 1 2の MP E G 2— P S 1 4は0. 4〜 1秒分の動画データ （VO B U) から構成されると したが、 時間の範囲は異なっていてもよい。 また、 MP E G 2— P S 1 4は、 DVDビデオレコーディング規格の VOB Uから構成さ れるとしたが、 他の MP E G 2システム規格に準拠したプログラム ストリームや、 DVDビデオ規格に準拠したプログラムス卜リーム であってもよい。
図 1 1に示すデータ処理装置 1 0では、 記録媒体 1 3 1を D VD — RAMディスクであるとして説明したが、 特にこれに限定される ことはない。 例えば記録媒体 1 3 1は、 MO、 DVD - R, DVD _RW、 DVD + RW、 CD -R, C D _ R W等の光記録媒体ゃハ ードディスク等の磁性記録媒体である。 また、 記録媒体 1 3 1は、 半導体メモリ等の半導体記録媒体であってもよい。
データ処理装置 1 0は、 コンピュータプログラムに基づいてデ一 夕ストリームの生成、 記録および再生処理を行う。 例えば、 データ ストリームを生成し、 記録する処理は、 図 2 1に示すフローチヤ一 トに基づいて記述されたコンピュータプログラムを実行することに よって実現される。 コンピュータプログラムは、 光ディスクに代表 される光記録媒体、 S Dメモリカード、 E E P ROMに代表される 半導体記録媒体、 フレキシブルディスクに代表される磁気記録媒体 等の記録媒体に記録することができる。 なお、 光ディスク装置 1 0 0は、 記録媒体を介してのみならず、 インターネッ ト等の電気通信 回線を介してもコンピュータプログラムを取得できる。 産業上の利用可能性
本発明によれば、 付属情報のデータ構造を I S O規格に準拠させ て現在の最新の規格に適合しつつ、 従来のフォーマツ 卜と同等のデ 一タストリームのデータ構造およびそのようなデータ構造に基づい て動作するデータ処理装置が提供される。 データストリームは従来 のフォーマッ トにも対応するので、 既存のアプリケーション等もデ —夕ストリームを利用できる。 よって既存のソフ トウエアおよびハ ―ドウエアを有効に活用できる。

Claims

請 求 の 範 囲
1 . 映像データおよび音声データを受け取る受信部と、
受け取った前記映像データおよび前記音声データを符号化して、 M P E G 2システム規格の符号化データを生成する圧縮部と、
前記符号化データを参照する参照情報、 および、 前記符号化デー 夕のビデオオブジェク トユニッ ト （V O B U ) をサンプル単位とし、 前記サンプル単位の属性を記述した属性情報を含む付属情報を生成 する付属情報生成部と、
前記符号化データをデータファイルとして記録媒体に記録し、 前 記付属情報を付属情報ファイルとして前記記録媒体に記録する記録 部と
を備え、 前記符号化データは、 前記付属情報ファイルおよび前記 M P E G 2システム規格のいずれに基づいても復号化することが可 能であるデータ処理装置。
2 . 前記参照情報は、 前記記録媒体に記録された前記データファ ィルのファイル名および格納位置を示す、 請求項 1に記載のデータ 処理装置。
3 . 前記圧縮部は、 複数の符号化データを生成し、
前記付属情報生成部は、 前記複数の符号化データの各々を参照す る前記参照情報を生成する、 請求項 1に記載のデータ処理装置。
4 . 前記圧縮部は、 複数の符号化データを生成し、
前記付属情報生成部は、 前記複数の符号化データを連続的に配列 して 1つのストリームデータを生成し、 再生タイミングごとの符号 化データのデータサイズが一定でない場合に、 前記符号化データの 記録位置を特定する位置情報をさらに記述した付属情報を生成する、 請求項 1に記載のデータ処理装置。
5 . 前記圧縮部は、 M P E G 2プログラムストリームおよび M P E G 2 トランスポートス トリームの一方に準拠した符号化データを 生成する、 請求項 1 に記載のデータ処理装置。
6 . 前記付属情報生成部は、 前記符号化データのうち、 前記音声 データに対応する符号化音声データの音声フレームを、 さらに他の サンプル単位として前記属性情報に記述する、 請求項 1 に記載のデ 一夕処理装置。
7 . 前記圧縮部は、 第 1〜第 3のデ一夕ファイルを生成し、 前記 第 2のデータファイルは、 前記第 1のデータファイルの符号化デ一 夕と前記第 3のデータファイルの符号化データとを時間的に連続し て復号するために必要なフレームデータを含む、 請求項 3に記載の データ処理装置。
8 . 付属情報生成部は、 M P 4フォーマッ トにしたがって記述さ れた付属情報ファイルを生成する、 請求項 1 に記載のデータ処理装 置。
9 . 付属情報生成部は、 Qu i ckT i meフォーマッ トにしたがって記 述された付属情報ファイルを生成する、 請求項 1に記載のデータ処 理装置。
1 0 . デ一夕ファイルに含まれる符号化データと、 付属情報ファ ィルに含まれる付属情報とによって構成されるストリームデータで あって、
前記符号化データは、 映像デ一夕および音声データが M P E G 2 システム規格にしたがって符号化され、 かつ、 前記付属情報および 前記 M P E G 2システム規格のいずれに基づいても復号化すること が可能であり、
前記付属情報は、 前記符号化データを参照する参照情報および前 記符号化デ一夕のビデオオブジェク トユニッ ト （V O B U ) をサン プル単位として前記サンプル単位の属性を記述した属性情報を含む、 ストリームデータ。
1 1 . 請求項 1 0に記載のストリームデータが記録された記録媒 体。
1 2 . 請求項 1 0に記載のストリームデータから前記付属情報フ アイルを読み出し、 さらに制御信号に基づいて前記データファイル を読み出す再生部と、
前記付属情報ファイルの前記付属情報に規定される前記参照情報 に基づいて、 前記データファイルの読み出しを指示する信号を前記 制御信号として生成する再生制御部と、
読み出された前記データファイルの符号化データおよび前記付属 情報を受け取り、 前記付属情報に含まれる前記属性情報に基づいて. 前記符号化デ一夕から前記映像データおよび前記音声データを復号 する復号部と、
復号された前記映像データおよび前記音声データを出力する出力 部と
を備えたデータ処理装置。
1 3 . 映像デ一夕および音声データを受け取るステップと、
受け取った前記映像データおよび前記音声データを符号化して、
M P E G 2システム規格の符号化デ一夕を生成するステップと、 前記符号化データを参照する参照情報、 および、 前記符号化デー 夕のビデオオブジェク トユニッ ト （V O B U ) をサンプル単位とし, 前記サンプル単位の属性を記述した属性情報 を含む付属情報を生 成するステツプと、
前記符号化デ一夕をデータファイルとして記録媒体に記録し、 前 記付属情報を付属情報ファイルとして前記記録媒体に記録するステ ップと、
を包含するデータ記録方法であって、 前記符号化データは、 前記 付属情報ファイルおよび前記 M P E G 2システム規格のいずれに基 づいても復号化することが可能である、 データ記録方法。
1 4 . データ処理装置において実行可能なコンピュータプロダラ ムであって、
映像データおよび音声データを受け取るステツプと、
受け取った前記映像データおよび前記音声データを符号化して、 M P E G 2システム規格の符号化データを生成するステツプと、 前記符号化データを参照する参照情報、 よび、 前記符号化デー 夕のビデオオブジェク トユニッ ト （V O B U ) をサンプル単位とし 前記サンプル単位の属性を記述した属性情報 を含む付属情報を生 成するステツプと、
前記符号化データをデータファイルとして記録媒体に記録し、 前 記付属情報を付属情報ファイルとして前記記録媒体に記録するステ ップと、
を包含し、 前記符号化データは、 前記付属情報ファイルおよび前 記 M P E G 2システム規格のいずれに基づいても復号化することが 可能である、 データ記録プログラム。
1 5 . 請求項 1 0に記載のス トリームデ一夕から前記付属情報フ アイルを読み出すステップと、
前記付属情報ファイルの前記付属情報に規定される前記参照情報 に基づいて、 前記データファイルの読み出しを指示する制御信号を 生成するステップと、
前記制御信号に基づいて前記データファイルを読み出すステツプ と、
読み出された前記データファイルの符号化データおよび前記付属 情報を受け取り、 前記付属情報に含まれる前記属性情報に基づいて. 前記符号化データから前記映像データおよび前記音声データを復号 するステップと、
復号された前記映像データおよび前記音声デ一夕を出力するステ ップと
を包含するデ一夕再生方法。
1 6 . データ処理装置において実行可能なコンピュータプロダラ ムであって、 請求項 1 0に記載のス トリームデータから前記付属情報ファイル を読み出すステツプと、
前記付属情報ファイルの前記付属情報に規定される前記参照情報 に基づいて、 前記データファイルの読み出しを指示する制御信号を 生成するステップと、
前記制御信号に基づいて前記データファイルを読み出すステツプ と、
読み出された前記データファイルの符号化データおよび前記付属 情報を受け取り、 前記付属情報に含まれる前記属性情報に基づいて、 前記符号化データから前記映像データおよび前記音声データを復号 : するステップと、
復号された前記映像データおよび前記音声データを出力するステ ップと
を包含するデータ再生プログラム。
1 7 . 映像データおよび音声データを受け取る受信部と、
受け取った前記映像データおよび前記音声データを所定の符号化 形式で符号化して、 前記映像データに対応するデータと前記音声デ 一夕に対応するデ一夕とがィンターリーブされた符号化データを生 成する圧縮部と、
付属情報を生成する付属情報生成部であって、 前記付属情報は、 符号化データを参照する参照情報およびサンプル単位の属性を記述 した属性情報を含む付属情報生成部と
を備え、 前記サンプルは、 前記映像データの再生時間に基づいて 構成された前記符号化データの集合であり、
前記符号化データは、 前記付属情報に基づく復号化、 および、 前 記所定の符号化方式に対応する復号化方式のいずれに基づいても復 号化することが可能である、 データ処理装置。
PCT/JP2003/008872 2002-07-12 2003-07-11 データ処理装置 WO2004008759A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
AU2003248055A AU2003248055A1 (en) 2002-07-12 2003-07-11 Data processing device
US10/520,548 US20050254498A1 (en) 2002-07-12 2003-07-11 Data processing device
JP2005505097A JP4299836B2 (ja) 2002-07-12 2003-07-11 データ処理装置

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2002-203837 2002-07-12
JP2002203837 2002-07-12
JP2002-256752 2002-09-02
JP2002256752 2002-09-02

Publications (1)

Publication Number Publication Date
WO2004008759A1 true WO2004008759A1 (ja) 2004-01-22

Family

ID=30117438

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2003/008872 WO2004008759A1 (ja) 2002-07-12 2003-07-11 データ処理装置

Country Status (5)

Country Link
US (1) US20050254498A1 (ja)
JP (1) JP4299836B2 (ja)
CN (1) CN100452857C (ja)
AU (1) AU2003248055A1 (ja)
WO (1) WO2004008759A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010245755A (ja) * 2009-04-03 2010-10-28 Victor Co Of Japan Ltd 通信ネットワークシステム、コンテンツ再生方法、及びサーバ
JP2010245754A (ja) * 2009-04-03 2010-10-28 Victor Co Of Japan Ltd 通信ネットワークシステム、コンテンツ再生方法、及びサーバ
JP2010245756A (ja) * 2009-04-03 2010-10-28 Victor Co Of Japan Ltd 通信ネットワークシステム、コンテンツ再生方法、及びサーバ
JP2013532441A (ja) * 2010-06-14 2013-08-15 トムソン ライセンシング 符号化マルチコンポーネント・ビデオをカプセル化する方法および装置
JP2013534101A (ja) * 2010-06-14 2013-08-29 トムソン ライセンシング 符号化マルチコンポーネント・ビデオをカプセル化する方法および装置

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2005015907A1 (ja) * 2003-08-08 2006-10-12 松下電器産業株式会社 データ処理装置
DE602004009560T2 (de) * 2004-07-22 2008-08-21 Harman Becker Automotive Systems Gmbh Datenübertragungssynchronisationsschema
KR101098710B1 (ko) * 2004-09-01 2011-12-23 트렉 2000 인터네셔널 엘티디. 텔레비전의 재생을 가능하도록 하기 위한 휴대용 장치 및 방법
SG127771A1 (en) * 2005-06-01 2006-12-29 Trek 2000 Int Ltd Dual television tuner
US8788933B2 (en) * 2005-12-01 2014-07-22 Nokia Corporation Time-shifted presentation of media streams
US8269763B2 (en) * 2006-11-03 2012-09-18 Apple Inc. Continuous random access points
US20090180546A1 (en) 2008-01-09 2009-07-16 Rodriguez Arturo A Assistance for processing pictures in concatenated video streams
US8875199B2 (en) 2006-11-13 2014-10-28 Cisco Technology, Inc. Indicating picture usefulness for playback optimization
US8416859B2 (en) 2006-11-13 2013-04-09 Cisco Technology, Inc. Signalling and extraction in compressed video of pictures belonging to interdependency tiers
US8873932B2 (en) 2007-12-11 2014-10-28 Cisco Technology, Inc. Inferential processing to ascertain plural levels of picture interdependencies
US20090028142A1 (en) * 2007-07-25 2009-01-29 Schmidt Brian K Streaming data content in a network
US8958486B2 (en) 2007-07-31 2015-02-17 Cisco Technology, Inc. Simultaneous processing of media and redundancy streams for mitigating impairments
US8804845B2 (en) 2007-07-31 2014-08-12 Cisco Technology, Inc. Non-enhancing media redundancy coding for mitigating transmission impairments
US8416858B2 (en) * 2008-02-29 2013-04-09 Cisco Technology, Inc. Signalling picture encoding schemes and associated picture properties
WO2009152450A1 (en) 2008-06-12 2009-12-17 Cisco Technology, Inc. Picture interdependencies signals in context of mmco to assist stream manipulation
US8705631B2 (en) 2008-06-17 2014-04-22 Cisco Technology, Inc. Time-shifted transport of multi-latticed video for resiliency from burst-error effects
US8971402B2 (en) 2008-06-17 2015-03-03 Cisco Technology, Inc. Processing of impaired and incomplete multi-latticed video streams
US8699578B2 (en) 2008-06-17 2014-04-15 Cisco Technology, Inc. Methods and systems for processing multi-latticed video streams
US8761266B2 (en) 2008-11-12 2014-06-24 Cisco Technology, Inc. Processing latticed and non-latticed pictures of a video program
US8949883B2 (en) 2009-05-12 2015-02-03 Cisco Technology, Inc. Signalling buffer characteristics for splicing operations of video streams
US8279926B2 (en) 2009-06-18 2012-10-02 Cisco Technology, Inc. Dynamic streaming with latticed representations of video
US8880978B2 (en) * 2011-04-01 2014-11-04 Cleversafe, Inc. Utilizing a local area network memory and a dispersed storage network memory to access data
JP6653575B2 (ja) * 2013-07-17 2020-02-26 サターン ライセンシング エルエルシーＳａｔｕｒｎ Ｌｉｃｅｎｓｉｎｇ ＬＬＣ コンテンツ供給装置、コンテンツ供給方法、プログラム、端末装置、端末装置の動作方法、およびコンテンツ供給システム
CN110046483A (zh) * 2019-04-23 2019-07-23 北京恒冠网络数据处理有限公司 基于大数据的电子信息技术的数据处理方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001094933A (ja) * 1999-09-17 2001-04-06 Sony Corp 記録装置および方法、並びに記録媒体
JP2001313903A (ja) * 2000-04-28 2001-11-09 Matsushita Electric Ind Co Ltd データ処理装置、データ処理方法および記録媒体
JP2003163889A (ja) * 2001-11-26 2003-06-06 Matsushita Electric Ind Co Ltd ストリーム記録再生システム，及びストリーム記録再生装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1079175A (ja) * 1996-08-30 1998-03-24 Victor Co Of Japan Ltd ディジタル信号記録方法及び記録装置
EP1293980A3 (en) * 1997-12-25 2003-04-23 Pioneer Electronic Corporation Information reproducing apparatus
JP2000138897A (ja) * 1998-10-30 2000-05-16 Sony Corp データ処理装置およびデータ記録装置
CN1161780C (zh) * 1999-01-07 2004-08-11 日本胜利株式会社 数据记录方法及装置
JP2001067802A (ja) * 1999-08-27 2001-03-16 Toshiba Corp マルチチャンネル記録装置及び記録方法
PL355155A1 (en) * 1999-11-10 2004-04-05 Thomson Licensing S.A. Commercial skip and chapter delineation feature on recordable media
JP4083957B2 (ja) * 2000-07-10 2008-04-30 パイオニア株式会社 記録媒体、情報記録装置及び方法、情報再生装置及び方法並びに情報記録用プログラム及び情報再生用プログラム
JP2004505519A (ja) * 2000-07-13 2004-02-19 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ Ｍｐｅｇ−４符号器及び斯様な符号器の出力符号化信号
US7272299B2 (en) * 2000-12-08 2007-09-18 Matsushita Electric Industrial Co., Ltd. Data conversion apparatus, data coding apparatus, and data recording apparatus
US7251413B2 (en) * 2002-04-26 2007-07-31 Digital Networks North America, Inc. System and method for improved blackfield detection

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001094933A (ja) * 1999-09-17 2001-04-06 Sony Corp 記録装置および方法、並びに記録媒体
JP2001313903A (ja) * 2000-04-28 2001-11-09 Matsushita Electric Ind Co Ltd データ処理装置、データ処理方法および記録媒体
JP2003163889A (ja) * 2001-11-26 2003-06-06 Matsushita Electric Ind Co Ltd ストリーム記録再生システム，及びストリーム記録再生装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010245755A (ja) * 2009-04-03 2010-10-28 Victor Co Of Japan Ltd 通信ネットワークシステム、コンテンツ再生方法、及びサーバ
JP2010245754A (ja) * 2009-04-03 2010-10-28 Victor Co Of Japan Ltd 通信ネットワークシステム、コンテンツ再生方法、及びサーバ
JP2010245756A (ja) * 2009-04-03 2010-10-28 Victor Co Of Japan Ltd 通信ネットワークシステム、コンテンツ再生方法、及びサーバ
JP2013532441A (ja) * 2010-06-14 2013-08-15 トムソン ライセンシング 符号化マルチコンポーネント・ビデオをカプセル化する方法および装置
JP2013534101A (ja) * 2010-06-14 2013-08-29 トムソン ライセンシング 符号化マルチコンポーネント・ビデオをカプセル化する方法および装置

Also Published As

Publication number Publication date
AU2003248055A1 (en) 2004-02-02
CN100452857C (zh) 2009-01-14
JPWO2004008759A1 (ja) 2005-11-17
JP4299836B2 (ja) 2009-07-22
CN1666514A (zh) 2005-09-07
US20050254498A1 (en) 2005-11-17

Similar Documents

Publication Publication Date Title
JP4299836B2 (ja) データ処理装置
US8320748B2 (en) Audio/video information recording/reproducing device and method therefor
US6782193B1 (en) Optical disc recording apparatus, optical disc reproduction apparatus, and optical disc recording method that are all suitable for seamless reproduction
JP2008053763A (ja) Ａｖデータ記録装置及び方法、ａｖデータ再生装置及び方法、当該ａｖデータ記録装置又は方法で記録された記録媒体
JP2010213286A (ja) データ記録方法、データ編集方法およびデータ復号方法、並びにその装置、及び記録媒体
WO2005015907A1 (ja) データ処理装置及びデータ処理方法
US7386553B2 (en) Data processing device
JP4426800B2 (ja) Ａｖデータ記録再生装置及び方法、並びに当該ａｖデータ記録再生装置又は方法で記録された記録媒体
KR100625406B1 (ko) 데이터 처리 장치
JP4189304B2 (ja) データ処理装置
JP4481929B2 (ja) データストリームの記録方法および装置
WO2004030358A1 (ja) データ処理装置
WO2003065715A1 (fr) Appareil, systeme et procede d&#39;enregistrement/lecture de donnees audio/video, support enregistre par eux, appareil de reproduction de donnees audio/video, et structure de donnees
JP2003052017A (ja) Ａｖデータ記録装置及び方法、当該ａｖデータ記録装置又は方法で記録されたディスク、並びに当該ディスクを再生するａｖデータ再生装置及び方法又はａｖデータ記録再生装置及び方法
EP1457990A1 (en) Audio/video information recording/reproducing apparatus and method, and recording medium in which information is recorded by using the audio/video information recording/reproducing apparatus and method
JPH11296312A (ja) 画像音声記録装置及び方法、画像音声再生装置及び方法、並びに記録媒体
JP2003174622A (ja) 音声／映像情報記録再生装置および方法、および音声／映像情報記録再生装置および方法を用いて情報が記録された記録媒体
JP2004072790A (ja) Ａｖデータ記録装置及び方法、当該ａｖデータ記録装置又は方法で記録されたディスク、ａｖデータ再生装置及び方法
JP2004072791A (ja) Ａｖデータ記録装置及び方法、当該ａｖデータ記録装置又は方法で記録されたディスク、ａｖデータ再生装置及び方法
JP2005192239A (ja) データ記録方法、データ編集方法およびデータ復号方法、並びにその装置、及び記録媒体

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): GH GM KE LS MW MZ SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LU MC NL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2005505097

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 20038160285

Country of ref document: CN

Ref document number: 10520548

Country of ref document: US

122 Ep: pct application non-entry in european phase