WO2002104016A1 - Data recording method, data editing method, data decoding method, and apparatus thereof - Google Patents

Data recording method, data editing method, data decoding method, and apparatus thereof Download PDF

Info

Publication number
WO2002104016A1
WO2002104016A1 PCT/JP2002/005963 JP0205963W WO02104016A1 WO 2002104016 A1 WO2002104016 A1 WO 2002104016A1 JP 0205963 W JP0205963 W JP 0205963W WO 02104016 A1 WO02104016 A1 WO 02104016A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
unit
video
decoding
information
Prior art date
Application number
PCT/JP2002/005963
Other languages
English (en)
French (fr)
Inventor
Jiro Kiyama
Yuri Iwano
Takayoshi Yamaguchi
Original Assignee
Sharp Kabushiki Kaisha
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Kabushiki Kaisha filed Critical Sharp Kabushiki Kaisha
Priority to EP02738717A priority Critical patent/EP1408687A4/en
Priority to JP2003506195A priority patent/JP3784387B2/ja
Priority to KR10-2003-7016271A priority patent/KR100537392B1/ko
Priority to US10/481,002 priority patent/US7653285B2/en
Publication of WO2002104016A1 publication Critical patent/WO2002104016A1/ja
Priority to US11/979,180 priority patent/US20080075435A1/en
Priority to US11/979,181 priority patent/US8306405B2/en
Priority to US11/979,188 priority patent/US20080063374A1/en
Priority to US12/662,032 priority patent/US20100260470A1/en
Priority to US12/662,017 priority patent/US20100296796A1/en

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/10527—Audio or video recording; Data buffering arrangements
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/12—Formatting, e.g. arrangement of data block or words on the record carriers
    • G11B20/1217—Formatting, e.g. arrangement of data block or words on the record carriers on discs
    • G11B20/1251—Formatting, e.g. arrangement of data block or words on the record carriers on discs for continuous data, e.g. digitised analog information signals, pulse code modulated [PCM] data
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/32—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
    • G11B27/322—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier used signal is digitally coded
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/32—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
    • G11B27/327—Table of contents
    • G11B27/329—Table of contents on a disc [VTOC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23406—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving management of server-side video buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H04N21/42646—Internal components of the client ; Characteristics thereof for reading from or writing on a non-volatile solid state storage medium, e.g. DVD, CD-ROM
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334—Recording operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47205—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/482—End-user interface for program selection
    • H04N21/4825—End-user interface for program selection using a list of items to be played back in a given order, e.g. playlists
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/10527—Audio or video recording; Data buffering arrangements
    • G11B2020/10537—Audio or video recording
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/10527—Audio or video recording; Data buffering arrangements
    • G11B2020/1062—Data buffering arrangements, e.g. recording or playback buffers
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/10527—Audio or video recording; Data buffering arrangements
    • G11B2020/1062—Data buffering arrangements, e.g. recording or playback buffers
    • G11B2020/10805—Data buffering arrangements, e.g. recording or playback buffers involving specific measures to prevent a buffer overflow
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/10527—Audio or video recording; Data buffering arrangements
    • G11B2020/1062—Data buffering arrangements, e.g. recording or playback buffers
    • G11B2020/10814—Data buffering arrangements, e.g. recording or playback buffers involving specific measures to prevent a buffer underrun
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/20—Disc-shaped record carriers
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/20—Disc-shaped record carriers
    • G11B2220/25—Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2537—Optical discs
    • G11B2220/2545—CDs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/78—Television signal recording using magnetic recording
    • H04N5/781—Television signal recording using magnetic recording on disks or drums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/84—Television signal recording using optical recording
    • H04N5/85—Television signal recording using optical recording on discs or drums

Definitions

  • the present invention relates to a data recording method, a data editing method and a data decoding method for recording and reproducing video data and audio data on a randomly accessible recording medium such as a hard disk or an optical disk, and a device therefor. It is.
  • Video and audio digital recording / reproducing devices using disk media are becoming widespread.
  • a nondestructive editing function or a nonlinear editing function As a characteristic function of a disk medium that is not included in a tape medium, there is a function called a nondestructive editing function or a nonlinear editing function. This function allows you to play any section of the AV stream in any order without moving or copying the AV stream recorded on the disc. This is realized by creating the information (reproduction management information) shown and reproducing it according to the information.
  • AV streams are connected, but when the MPEG video standard (ISO / IEC 11172-2 IS0 / IEC 13818-2) is used as the video data encoding method, Reproduction may be disturbed in the eyes.
  • MPEG video standard ISO / IEC 11172-2 IS0 / IEC 13818-2
  • VBV Video Buffering Verifier
  • the encoding and decoding is input to the VBV buffer at a rate equal to or lower than the predetermined rate, and the data occupancy of the VBV buffer increases at that rate.
  • the amount of data occupied by the encoded data decreases instantaneously.
  • the time transition of the occupancy of the VBV buffer is caused by the first half of the time OUT of the video coded data A shown in FIG. 23 (a) and the video coded data B shown in FIG. 23 (b).
  • the case where the second half of the time IN is combined will be described.
  • Figure 23 (c) shows the results. Despite the low buffer occupancy immediately before the splicing point, a buffer underflow has occurred because a frame or field with a large amount of encoded data has been decoded immediately after the splicing point. I understand. This The reason for this is that there is a possibility that the occupancy of the buffer may not be consistent at the joint.
  • Japanese Patent Application Laid-Open No. 9-182024 proposes a technique for preventing an underflow by increasing the transfer rate of input data to a decoder.
  • An object of the present invention is to provide a data recording method, a data editing method, a data decoding method, a data recording device, and a data decoding device which are possible.
  • the first invention of the present application is directed to a second unit composed of a plurality of first units including at least a first unit composed of video or audio, and a second unit for managing the second unit.
  • connection point is a point where any of the first data is deleted from the second unit.
  • the second unit is managed by one file. And features.
  • a fourth invention of the present application is characterized in that the first data of the video is obtained by encoding the video according to the MPEG standard.
  • a first unit including at least first data including video or audio and a third unit including at least second data including video or audio are connected to each other.
  • a sixth invention of the present application is characterized in that the first unit and the third unit are formed by deleting any of the first data in the second unit.
  • the seventh invention of the present application is characterized in that the second unit is managed by one file.
  • An eighth invention of the present application is characterized in that the first and second images of the video are obtained by encoding the video according to the MPEG standard.
  • a second unit including a plurality of first units including at least a first unit composed of video or audio, and a second unit for managing the second unit.
  • decoding control of the first unit decoding is temporarily stopped at the connection point.
  • the eleventh invention of the present application is characterized in that the control of the decoding of the first unit is performed by switching a decoder before and after the combining point.
  • the first and second data of the video are It is characterized by being encoded according to the standard.
  • a second unit comprising a plurality of first units including at least a first unit composed of video or audio, and a first unit for managing the second unit. And a program for recording the program on a recording medium, wherein the first program has a program for managing a connection point between the first units. .
  • the first unit including at least the first data consisting of video or audio is connected to the third unit containing at least the second data consisting of video or audio.
  • a data editing device for creating a second unit wherein the first program for managing the second unit includes information for managing a connection point between the first unit and the third unit. It is characterized by having.
  • the fifteenth invention of the present application provides a second unit composed of a plurality of first units including at least a first unit composed of video or audio, and a first unit managing the second units.
  • a decryption device for decrypting according to a program wherein the first program manages connection point information of the first unit, and controls decoding based on the connection point information.
  • FIG. 1 is a block diagram showing a schematic configuration of a video disk recorder according to an embodiment of the present invention.
  • FIG. 2 is an explanatory diagram showing a relationship between management information and an AV stream in the QuickTime file format.
  • FIG. 3 is an explanatory diagram showing an outline of a Movie atom in the QuickTime file format.
  • FIG. 4 is an explanatory diagram showing an outline of a Track atom in a QuickTime file format.
  • FIG. 5 is an explanatory diagram showing an outline of the Track header atom in the QuickTime file format.
  • FIG. 6 is an explanatory diagram showing an outline of a Media atom in the QuickTime file format.
  • FIG. 7 is an explanatory diagram showing an outline of the Media information atom in the QuickTime file format.
  • FIG. 8 is an explanatory diagram showing an example of data management using a sample table atom.
  • FIG. 9 is an explanatory diagram showing an outline of the sample table atom in the QuickTime file format.
  • FIG. 10 is an explanatory diagram showing an outline of the Edit atom in the QuickTime file format.
  • FIG. 11 is an explanatory diagram showing an example of specifying a reproduction range by an Edit atom.
  • FIG. 12 is an explanatory diagram showing an outline of the User-defined data atom in the QuickTime file format.
  • FIG. 13 is an explanatory diagram showing the configuration of a stream in the first embodiment of the present invention.
  • FIG. 14 is an explanatory diagram showing the structure of the VU according to the first embodiment of the present invention.
  • FIG. 15 is an explanatory diagram showing an AV stream management mode using QuickTime in the first embodiment of the present invention.
  • FIG. 16 is a flowchart showing a recording operation in the first embodiment of the present invention.
  • FIG. 17 is an explanatory diagram showing a state of AV stream combination in the first embodiment of the present invention.
  • FIG. 18 is an explanatory diagram showing a first example of a configuration of information for managing AV stream combination in the first embodiment of the present invention.
  • FIG. 19 is an explanatory diagram showing a second example of a configuration of information for managing AV stream combination in the first embodiment of the present invention.
  • FIG. 20 is an explanatory diagram showing a third example of the configuration of information for managing AV stream combination in the first embodiment of the present invention.
  • FIG. 21 is a flowchart showing a reproducing operation according to the first embodiment of the present invention.
  • FIG. 22 is an explanatory diagram showing an example of transition of the occupation amount of the VBV buffer.
  • FIG. 23 is an explanatory diagram showing an example of MPEG video stream combining according to the related art.
  • FIG. 1 shows the configuration of a video disc recorder that can be dubbed and used commonly in the present embodiment.
  • this device has a bus 100, a host CPU 101, a RAM 102 S R0M103, a user interface 104, a system clock 105, an optical disk 106, a pickup 107, an ECC decoder 108, an ECC encoder 109, a reproduction buffer 110, Record / after-record buffer 111, Output multiplexer 112, Multiplexer 113, Multiplex buffer 114, Audio decoder 115, Video decoder 116, Audio encoder 117, Video encoder; 118 and camera, microphone, Slipper, display not shown Etc.
  • the host CPU 101 receives a demultiplexer 112, a multiplexer 113, a pickup 107, an audio decoder 115 (not shown), and a video It communicates with the coder 116, audio encoder 117, and video encoder 118.
  • data read from the optical disk 106 through the pickup 107 is error-corrected by the ECC decoder 108, and is temporarily stored in the reproduction buffer 110.
  • the demultiplexer 112 sorts the data in the reproduction buffer to an appropriate decoder according to its type in accordance with the data transmission request from the audio decoder 115 and the video decoder 116.
  • the data compressed and encoded by the audio encoder 117 and the video encoder 118 is temporarily sent to the multiplexing buffer 114, AV multiplexed by the multiplexer 3, and sent to the recording / after-recording buffer 111.
  • the data in the recording / recording buffer 111 is added with an error correction code by the ECC encoder 109 and recorded on the optical disk 106 through the pickup 107.
  • MPEG-1 Layer-II is used for audio and video encoding
  • MPEG-2 is used for video and audio encoding
  • the optical disk 106 is a removable optical disk on which recording and reproduction are performed in a spiral form from the outer periphery to the inner periphery. 2048bits is defined as one sector, and an ECC program is composed of 16 sectors for error correction. When rewriting the data in the ECC block, the entire ECC block containing the data is read, error correction is performed, the target data is rewritten, the error correction code is added again, and the ECC block is configured and recorded. Must be recorded on media ⁇
  • ZCAV constant zone angular velocity
  • a file system is used to manage various information on the optical disc 106.
  • UDF Universal Disk Format
  • PC Peripheral Disk Format
  • various management information and AV streams are stored as files. Is treated.
  • the user area is managed in 2048-byte logical blocks (one-to-one correspondence with sectors).
  • Each file is composed of an integer number of extents (consecutive logical blocks), and may be recorded in units of extents.
  • the free space is managed in logical block units using Space Bitmap.
  • Management information about the file system such as the information indicating the extent and the Space Bitmap, is recorded on the optical disk 106.
  • the QuickTime file format is used as the format for AV stream management.
  • the QuickTime file format is a format for managing multimedia data developed by Apple Inc., and is widely used in the PC world.
  • a QuickTime file format is composed of video data, audio data, and the like (these are also collectively referred to as media data) and management information. Together, they are called QuickTime movies (movies for short). Both can be in the same file or in separate files.
  • the management information is stored in a structure called Movie atom
  • the AV stream is stored in a structure called Movie data atom.
  • Movie atom is a type for controlling playback of any section of media data in any order. This is the program information of the media, a template for deriving the relative position in the file of the AV data corresponding to an arbitrary time during the media data, attribute information of the media data, and external reference information to be described later. And so on.
  • Management information is a structure called Movie atom
  • the AV stream need not be stored in the atom.
  • the Movie atom "externally references" the file 203 storing the AV stream.
  • an atom that is a common information storage format will be described.
  • Atom size which is the size of the atom
  • Type which is type information of the atom.
  • Type is distinguished by 4 characters. For example, 'moov,' for Movie atom and mdat 5 for Movie data atom.
  • Each atom can contain another atom. That is, there is a hierarchical structure between the atoms.
  • Figure 3 shows the structure of the Movie atom.
  • the Movie header atom manages the overall attributes of the movie managed by the Movie atom.
  • the Track atom stores information about tracks such as video and audio included in the movie.
  • User-defined d ata atom is an atom that can be defined independently.
  • Figure 4 shows the structure of the Track atom.
  • the Track header atom manages the overall attributes of the track.
  • the Edit atom manages which section of the media data is played at which evening of the movie.
  • Track reference ato manages the relationship with another track.
  • Media atom manages the actual video and audio data.
  • Figure 5 shows the structure of the Track header atom.
  • flags is a set of flags indicating the attributes. As a representative, Tra If the ck enabled flag is set and this flag is 1, the track will be played; if it is 0, the track will not be played.
  • the layer indicates the spatial priority of the track. If there are multiple tracks that display the image, the track with the smaller layer value displays the image in front.
  • FIG. 6 shows the configuration of the Media atom.
  • the Media header atom manages the overall attributes of the media data managed by the Media atom.
  • the Handler reference at om stores information indicating which decoder decodes the media data.
  • the Media information atom manages attribute information unique to media such as video and audio.
  • Figure 7 shows the structure of the Media information atom.
  • Media information header atom manages attribute information unique to media such as video and audio.
  • the Handler reference atom is as described in the section on Media atom.
  • the Data information atom contains the Data reference atom that manages the name of the file containing the media data referenced by the QuickTime movie.
  • the sample table atom manages the size and playback time of the data.
  • sample table atom Before that, a method of managing data in QuickTime will be described using a file 801 shown in FIG.
  • the smallest unit of data eg, a video frame
  • samples are numbered from 1 (sample number) in order of playback time.
  • the QuickTime format manages the playback time length and data size of each sample.
  • An area where samples belonging to the same track are continuously arranged in the file in the order of the reproduction time is called a chunk. Chunks are also numbered from 1 in order of playback time.
  • each chunk is added from the beginning of the file. And the number of samples included in each chunk. Based on this information, it is possible to determine the position of the sample at any time.
  • Figure 9 shows the structure of the sample table atom.
  • the sample description atom is a table that manages the data format of each chunk and the index of the file in which the sample is stored, and the file in which the data format and the sample are stored. If they are different, they are managed by different entries in the template. Note that an entry is a unit of information that is referred to by other information in the table.
  • the Time-to-sample atom manages the playback time of the hostile sample.
  • the Sync sample atom manages the sample that can start decoding among the individual samples.
  • the sample-to-chunk atom manages the number of samples included in each chunk and which entry in the sample description atom refers to each chunk.
  • the S ample size atom controls the size of each sample.
  • Chunk offset atom manages the address from the beginning of the file for each chunk
  • An Edit atom contains one Edit list atom as shown in Fig. 10.
  • the Edit list atom has a set (entry) of Track durations Media time and Media rate values for the number specified by Number of entries. Each entry corresponds to a section that is continuously reproduced on the track, and is arranged in order of the reproduction time on the track.
  • Track duration is the playback time on the track of the section managed by the entry
  • Media time is the position on the media data corresponding to the beginning of the section managed by the entry
  • Media rate is the section managed by the entry Represents the playback speed of. If the Media time is -1, playback of the sample on that track is stopped for the Track duration of that entry. This section is called empty edit.
  • Figure 11 shows an example of using the Edit list.
  • the content of the Edit list atom is the content shown in FIG. 11 (a)
  • the configuration of the sample is FIG. 11 (b).
  • the track duration of the i-th entry is D (i)
  • the media time is T (i)
  • the media rate is R (i).
  • the actual reproduction of the sample is performed in the order shown in Fig. 11 (c). This will be described briefly.
  • entry # 3 has a track duration of 10000, a media time of 0, and a media rate of 1 (Fig. 11 (a))
  • the section from time 0 to 10000 in the sample is reproduced (Fig. 11 (b)).
  • Figure 12 shows the structure of the User-defined data atom.
  • This atom can store any number of unique information that is not defined in the QuickTime format.
  • One unique information is managed by one entry, and one entry is composed of Size, Type, and User data. Size represents the size of the entry itself, Type represents identification information for distinguishing unique information from each other, and User data represents actual data.
  • AV index file To manage the QuickTime movies contained on the disc, place a special QuickTime movie file on the disc called an AV index file.
  • thumbnails and various attributes of files on the disk are registered.
  • Link attribute indicates the number of times the file is externally referenced There is. By referring to the link count, it is possible to easily know whether or not a file refers to the file, and to prevent inadvertent deletion of a file referred to by others.
  • An AV stream is composed of an integer number of Record Units (RUs).
  • RU is a unit of continuous recording on a disc.
  • the length of the RU is set so that seamless playback (that is, playback of pictures and sounds without interruption during playback) is guaranteed regardless of how the RUs that make up the AV stream are arranged on the disc. .
  • This setting method will be described later.
  • the stream is configured so that the RU boundary matches the ECC block boundary. Due to these characteristics of RU, even after recording the AV stream on the disc, the arrangement of RU units on the disc can be easily changed while seamless playback is guaranteed.
  • An RU is composed of an integer number of Video Units (VUs).
  • VU Video Units
  • a VU is a unit that can be played independently, and can be an entry point during playback.
  • Figure 14 shows the configuration of the VU.
  • the VU is composed of an integer number of G0Ps (group-of-pictures) that store video data of about one second and an integral number of A AUs (audio access data) that store the main audio data that are played at the same time. ⁇ Unit).
  • G0P is a unit of compression in the MPEG-2 video standard, and is composed of a plurality of video frames (typically, about 15 frames).
  • AAU is a unit of compression according to the MPEG-1 Layerll standard and consists of 1152 sound waveform sample points. When the sampling frequency is 48kHz, the playback time per AAU is 0.024 seconds.
  • a Sequence Header (SH) is placed at the beginning of the video data in the VU so that it can be played independently in VU units.
  • the VU playback time is defined as the number of video frames contained in the VU multiplied by the video frame period.
  • an RU is configured by combining an integer number of VUs, the end of the VU is padded with 0 to match the start and end of the RU to the ECC block boundary.
  • the management method of the AV stream is based on the QuickTime file format described above.
  • Figure 15 shows an AV stream management form using QuickTime.
  • ⁇ is a sample of audio data
  • a Sequence header and an integer number of GOPs are samples of video data
  • the main audio and video chunks in the VU correspond to each chunk.
  • the RU read time including the time to jump to the next RU, should be shorter than the RU playback time.
  • Temin Ta x Rs / (Rs-Rv-Ra)
  • the configuration of the stream and the configuration of the continuous area are determined (step 701).
  • Rs 20Mbps
  • Ta lsec
  • Rv 5Mbps
  • Ra 256kbps into Equation 4>
  • the above is obtained. Since the playback time of 1 VU is 0.5 seconds, the RU playback time is 2 seconds.
  • an empty area where two VUs can be recorded continuously is searched. Specifically, a continuous free area of 2 x (Rv + Ra), that is, 11 Mbit or more is searched for by referring to the Space Bitmap on the RAM 102. If not, the recording is stopped and the user is notified that recording is not possible (step 702).
  • the audio encoder 117 and the video encoder 118 are activated (step 703).
  • step 705 If the ECC block on the disk to be recorded next is Check with reference to the above Space Bitmap (step 705). If there is no free space, a continuous free space in which two VUs can be recorded is searched for (step 707), and the pickup is moved to the head of the free space (step 708).
  • step 706 data for one ECC block in the recording buffer 111 is recorded on the disk (step 706). If no data has been stored in the recording buffer 111, it is checked whether or not a recording end instruction has been given (step 709). If not, step 704 is executed.
  • the multiplexer 113 sends 1VU data to the recording buffer 111. Furthermore, the host CPU 101 is notified that one VU of data has been encoded, and updates the QuickTime management information in the RAM 102 based on the number and size of G0Ps and AAUs constituting the VU.
  • the bit corresponding to the area to be deleted in the Space bitmap is set to 0, thereby freeing up the area and changing the extent that manages the volume to be deleted.
  • the sample included in the deletion section is deleted from the Sample table, and the value of Chunk offset of the chunk located after the deletion section is subtracted by the number of bytes of the deletion section.
  • the track duration of the Edit list (FIGS. 10 and 11) is reduced (FIGS. 10 and 11).
  • the AV stream has a form in which the part immediately before and after the deleted section are connected.
  • separate entries are set before and after the time corresponding to the joint between the areas immediately before and after the deletion.
  • the case where the number of the joints is one has been described.
  • the number of the joints is two or more, it is needless to say that the number of entries may be increased according to the number.
  • the joints are shown by switching the entries in the Edit list in a one-track video.
  • the places that may interfere with decoding and playback caused by combining AV streams are shown.
  • any method can be used as long as it can be shown.
  • a video track is switched for each joint to indicate a gap.
  • the first half and the second half are managed on separate tracks, and the first half and the second half are managed on separate tracks.
  • the contents of the Edit list atom (Fig. 10) to the contents shown in Figs. 19 (a) and (b)
  • at least one value of the video tracks # 1 and # 2 specifically the creation time (Fig. 5), to prevent the video tracks # 1 and # 2 from being mistakenly merged during later editing Etc. to different values.
  • the joint may be indicated by using a different sample description atom (Fig. 9) before and after the joint. Specifically, if there is an AV stream with the configuration shown in Fig. 17 due to the combination, as shown in Fig. 20, the video data in AV stream # 1 and the video data in AV stream # 2 Make the data refer to the attributes represented by different entries # 1 and # 2 of the Sample description atom.
  • Step 901 The playback data is read from the beginning of the VU instructed to be played on the optical disk 106 (step 901). At this time, Step 901 is repeated until data for a sufficient reproduction time is read out to the reproduction buffer 110 (Step 902).
  • step S903 the host CPU 101 activates the video decoder 116 and the audio decoder 115 (step S903).
  • the host CPU 101 transfers the encoded data from the reproduction buffer U0 to the audio decoder 115 and the video decoder 116 by issuing a command to the demultiplexer 112 based on the QuickTime management information.
  • step 904 it is checked whether the user has instructed to end the reproduction. If not instructed, the reproduction AV data is read out (step 905). If playback end is instructed, end.
  • the host CPU 101 refers to the system clock 105, and the current time is
  • reproduction is not disturbed for a while, as when underflow of the decoder buffer occurs.
  • the disturbance is less noticeable than when a freeze occurs at other locations.
  • only one video decoder is used, but a plurality of video decoders may be prepared and switched at a joint. Specifically, the following is performed during playback. First, since the position of the actual seam during the AV data can be known from the switching of the entry in the Edit list atom of the video track, the video data after the seam is connected. Start decoding by sending it to a video decoder different from the previous one, so that it can be displayed at any time.
  • the video decoder is switched from the one before the joint to the one after the joint.
  • the decoders are different before and after the seam, discontinuity in the occupancy of the VBV buffer does not occur, and further, there is no need to freeze as in the case of one video decoder.
  • the joint generated at the time of editing is managed, but the joint to be managed by the present invention is not limited to the one generated at the time of editing.
  • the joint to be managed by the present invention is not limited to the one generated at the time of editing.
  • the position information of the joint is managed by the management information for managing the AV stream. This makes it possible to prevent the display from being disturbed near the joint during playback.

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Television Signal Processing For Recording (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

明 細 書
データ記録方法、 データ編集方法およびデータ復号方法、 並びにその装置
技術分野
本発明は、 映像データ、 音声データをハードディスク、 光ディスク等のランダ ムアクセス可能な記録媒体に対して記録 ·再生するデ一夕記録方法、 データ編集 方法およびデ一夕復号方法、 及びその装置に関するものである。
背景技術
ディスクメディアを用いたビデオや音声のディジ夕ル記録再生装置が普及しつ つある。 テープメディアにはないディスクメディアにおける特徴機能として、 非 破壊編集機能あるいはノンリニア編集機能と呼ばれるものがある。 こ 機能は、 ディスク上に記録した AVストリームを移動あるいはコピーすることなく、 AVスト リームの任意の区間を任意の順番で再生できる、 というもので、 AVストリームの どこからどこまでどういう順番で再生するかを示す情報 (再生管理情報)を作り、 その情報に従って再生することで実現される。
このようなディスクメディアでは、 素材を書き換えたりデータを移動すること なく、 編集を行うことが可能なわけであるが、 素材を直接編集したい場合もある 。例えば、 非破壊編集した結果を、 パーソナル 'コンピュータ（PC)で扱いやすい ように 1個のファイルにまとめたいとする。この場合、編集結果で使用されている 部分のみを個々の AVストリームから抜き出し結合して 1個のファイルにまとめる ことになる。
次のような場合もある。 ディスクの空き容量を増やすため、 AVストリーム中の 不要な中間部分を削除したいとする。 この場合、 中間部分の前後を結合すること になる。 以上のような場合、 AVストリーム同士を繋ぎあわせることになる訳であるが、 ビデオデータの符号化方式に MPEGビデオ規格 (ISO/IEC 11172-2 IS0/IEC 13818- 2)を用いた場合、 繋ぎ目において再生が乱れるおそれがある。
その理由について、 以下に説明する。 MPEGビデオ規格では可変長符号化を採用 しており、 符号化データを所定のレートで符号化する場合、 VBV(Video Bufferin g Verifier)と呼ばれる仮想デコーダモデルを符号化器の出力に接続して使用し、 そのデコードバッファ（VBVバッファ）がオーバ一フローもアンダーフロ一も発生 しないように符号化することが規定されている。
このモデルでは、上記の所定レート以下で符号ィ匕デ一夕が VBVバヅファに入力さ れ、そのレートで VBVパヅファのデ一夕占有量が増加する。その一方、 フレームあ るいはフィールドの復号が終了する毎、 一瞬でその符号化データ量分、 デ一夕占 有量が減少する。
MPEGビデオによる符号化デ一夕は、 このような増加 '減少を繰り返しても、 図 2 2に示すような VBVバッファがアンダーフローやオーバーフローを起こさない ように制御して符号化されなければ、 正常な再生は保証されない。 ビデオデ一夕 を繋ぎ合わせた場合に、 再生が乱れるおそれがあるのは、 繋ぎ合わせた箇所にお いて、 VBVバヅファがアンダーフ口一やオーバ一フローしてしまうおそれがあるた めである。
繋ぎ合わせた箇所で VB Vバッファが破綻する理由について、 例を挙げて説明 する。ここでは、 VBVバッファの占有量の時間遷移がそれそれ図 2 3 (a) に示すビ デォ符号化データ Aの時間 OUTの前半部と、 図 2 3 (b)に示すビデオ符号化データ B の時間 INの後半部とを結合する場合について説明する。
図 2 3 (c)にその結果を示す。結合点直前のバッファ占有量が低いのにも関わら ず、 結合点直後で符合化データ量の大きいフレームあるいはフィ一ルドの復号が 発生しているため、 バッファのアンダ一フローが発生していることがわかる。 こ のようなことが発生するのは、 繋ぎ目においてはパヅファ占有量の整合が取れな い可能性があるためである。
上述の問題を解決する方法として、 例えば特開平 9-182024号公報では、 復号器 の入力デ一夕の転送速度を高めることにより、 アンダーフローを防止する技術が 提案されている。 しかしながら、 この場合、 特殊な復号器を用意する必要があり 、 コストの面で不利になるという問題点がある。
また別の方法として、 例えば特開平 8- 251582号公報では、 結合の際に繋ぎ目の 部分を一旦復号し、 VBVバヅファが破綻しないような符号ィ匕デ一夕量になるように 符号化し直す技術 （再符号化） が提案されている。 しかしながら、 この場合にお いては、 再符号化により画質が低下するおそれがあり、 さらに符号化と復号を逐 次的あるいは並列的に行う必要あるため、 装置が複雑化するという問題も孕んで いる。 本発明は、 上記課題に鑑みてなされたものであり、 AVストリームを繋ぎ合わせ て構成された AVストリームを再生する際に、 再生の乱れが生じるのを、 簡単な構 成にて防止することが可能なデ一夕記録方法、デ一夕編集方法、データ復号方法、 デー夕記録装置、 及びデ一夕復号装置を提供することを目的とする。
発明の開示
本願の第 1の発明は、 少なくとも映像又は音声からなる第 1のデ一夕を含む複 数の第 1のュニヅ卜で構成される第 2のュニヅ卜と、 前記第 2のュニットを管理 する第 1のプログラムとを、 記録媒体に記録するデータ記録方法であって、 前記 第 1のプログラムが、 前記第 1のュニヅト間の結合箇所を管理する情報を有する ことを特徴とする。
本願の第 2の発明は、 前記結合箇所は、 前記第 2のユニット中から任意の前記 第 1のデータを削除した箇所であることを特徴とする。
本願の第 3の発明は、 前記第 2のユニットは、 1個のファイルで管理されるこ とを特徴とする。
本願の第 4の発明は、 前記映像の第 1のデータは、 該映像を MP E G規格によ り符号化したものであることを特徴とする。
本願の第 5の発明は、 少なくとも映像又は音声からなる第 1のデータを含む第 1のユニットと、 少なくとも映像又は音声からなる第 2のデータを含む第 3のュ ニットとを接続して、 第 2のユニットを作成するデ一夕編集方法であって、 前記 第 2のュニッ卜を管理する第 1のプログラムが、 前記第 1のユニットと前記第 3 のュニットとの結合箇所を管理する情報を有することを特徴とする。
本願の第 6の発明は、 前記第 1のュニヅトと前記第 3のュニヅトは、 前記第 2 のュニヅト中の任意の前記第 1のデータを削除することによって形成されること を特徴とする。
本願の第 7の発明は、 前記第 2のユニットは、 1個のファイルで管理されるこ とを特徴とする。
本願の第 8の発明は、 前記映像の第 1、 第 2のデ一夕は、 該映像を MP E G規 格により符号化したものであることを特徴とする。
本願の第 9の発明は、 少なくとも映像又は音声からなる第 1のデ一夕を含む複 数の第 1のュニヅ卜で構成される第 2のユニットを、 該第 2のユニットを管理す る第 1のプログラムに従って復号するデ一夕復号方法であって、 前記第 1のプロ グラムが、 前記第 1のユニット間の結合箇所を管理する情報を有し、 前記結合箇 所情報に基づき、 前記第 1のユニットの復号を制御することを特徴とする。 本願の第 1 0の発明は、 前記第 1のユニットの復号の制御は、 前記結合箇所に おいて復号を一時停止することを特徴とする。
本願の第 1 1の発明は、 前記第 1のュニヅトの復号の制御は、 前記結合箇所の 前後で復号器を切り替えることを特徴とする。
本願の第 1 2の発明は、 前記映像の第 1 , 第 2のデータは、 該映像を MP E G 規格により符号化したものであることを特徴とする。
本願の第 1 3の発明は、 少なくとも映像又は音声からなる第 1のデ一夕を含む 複数の第 1のュニヅトで構成される第 2のユニットと、 前記第 2のュニヅトを管 理する第 1のプログラムとを、 記録媒体に記録するデ一夕記録装置であって、 前 記第 1のプログラムが、 前記第 1のュニヅト間の結合箇所を管理する倩報を有す ることを特徴とする。
本願の第 1 4の発明は、 少なくとも映像又は音声からなる第 1のデ一夕を含む 第 1のユニットと、 少なくとも映像又は音声からなる第 2のデ一夕を含む第 3の ユニットとを接続して、 第 2のユニットを作成するデータ編集装置であって、 前 記第 2のュニットを管理する第 1のプログラムが、 前記第 1のユニットと第 3の ユニットとの結合箇所を管理する情報を有することを特徴とする。
本願の第 1 5の発明は、 少なくとも映像又は音声からなる第 1のデ一夕を含む 複数の第 1のュニヅトで構成される第 2ユニットを、 該第 2のュニヅトを管理す る第 1のプログラムに従って復号するデ一夕復号装置であって、 前記第 1のプロ グラムが、 前記第 1のユニットの結合箇所情報を管理し、 前記結合箇所情報に基 づき、 復号の制御を行う前記第 1のュニットの復号器を備えたことを特徴とする
図面の簡単な説明
図 1は、 本発明の実施形態におけるビデオディスクレコーダの概略構成を示す プロヅク図である。
図 2は、 QuickTimeファイルフォーマツ卜における管理情報と AVストリームの関 係を示す説明図である。
図 3は、 QuickTimeファイルフォーマヅ トにおける Movie atomの概要を示す説明 図である。 図 4は、 QuickTimeファイルフォ一マヅトにおける Track atomの概要を示す説明 図である。
図 5は、 QuickTimeファイルフォ一マヅトにおける Track header atomの概要を 示す説明図である。
図 6は、 QuickTimeフアイルフォーマヅトにおける Media atomの概要を示す説明 図である。
図 7は、 QuickTimeファイルフォーマヅトにおける Media information atomの概 要を示す説明図である。
図 8は、 Sample table atomによるデータ管理の例を示す説明図である。 図 9は、 QuickTimeファイルフォーマットにおける Sample table atomの概要を 示す説明図である。
図 1 0は、 QuickTimeファイルフォ一マツトにおける Edit atomの概要を示す説 明図である。
図 1 1は、 Edit atomによる再生範囲指定の例を示す説明図である。
図 1 2は、 QuickTimeファイルフォ一マットにおける User- defined data atom の概要を示す説明図である。
図 1 3は、 本発明の第 1の実施例におけるストリームの構成を示す説明図であ る o
図 1 4は、 本発明の第 1の実施例における VUの構造を示す説明図である。 図 1 5は、本発明の第 1の実施例における QuickTimeによる AVストリーム管理形 態を示す説明図である。
図 1 6は、 本発明の第 1の実施例における記録動作を示すフローチャートであ る。
図 1 7は、 本発明の第 1の実施例における AVストリーム結合の状態を示す説明 図である。 図 1 8は、 本発明の第 1の実施例における AVストリーム結合を管理する情報の 構成の第 1の例を示す説明図である。
図 1 9は、 本発明の第 1の実施例における AVストリーム結合を管理する情報の 構成の第 2の例を示す説明図である。
図 2 0は、 本発明の第 1の実施例における AVストリーム結合を管理する情報の 構成の第 3の例を示す説明図である。
図 2 1は、 本発明の第 1の実施例における再生動作を示すフローチャートであ る。
図 2 2は、 VBVバッファの占有量遷移の例を示す説明図である。
図 2 3は、 従来技術による MPEGビデオストリーム結合の例を示す説明図である
発明を実施するための最良の形態
以下、 本発明の実施形態について、 図面を参照しながら詳細に説明する。
<システム構成 >
図 1は本実施形態において共通に用いる、 アフレコ可能なビデオディスクレコ ーダの構成である。 この装置は、 図 1に示すように、 バス 100、 ホスト CPU101、 R AM102S R0M103, ユーザインタフェース 104、 システムクロック 105、 光ディスク 1 06、 ピヅクアップ 107、 ECCデコーダ 108、 ECCエンコーダ 109、 再生用バッファ 110 、 記録/アフレコ用バッファ 111、 出マルチプレクサ 112、 マルチプレクサ 113、 多 重^用バッファ 114、オーディオデコーダ 115、 ビデオデコーダ 116、オーディオェ ンコーダ 117、 ビデオエンコーダ; 118および図示されないカメラ、 マイク、 スビ一 力、 ディスプレイ等で構成される。
ホスト CPU101は、 バス 100を通じてデマルチプレクサ 112、 マルチプレクサ 113 、 ピックアップ 107、 また図示していないが、 オーディオデコーダ 115、 ビデオデ コーダ 116、 オーディオエンコーダ 117、 ビデオエンコーダ 118との通信を行う。 再生時には、 光ディスク 106からピックアツプ 107を通じて読み出されたデータ は、 ECCデコーダ 108によって誤り訂正され、再生用バッファ 110に一旦蓄えられる 。デマルチプレクサ 112は、オーディオデコーダ 115、 ビデオデコーダ 116からのデ 一夕送信要求に従って、 再生用バッファ中のデ一夕をその種別によって適当なデ コーダに振り分ける。
一方、 言 3録時には、 オーディオエンコーダ 117とビデオエンコーダ 118によって 圧縮符号化されたデータは、多重ィ匕用バッファ 114に一旦送られ、マルチプレクサ Π3によって AV多重化され、 記録/アフレコ用バッファ 111に送られる。記録/ァフ レコ用バッファ 111中のデ一夕は、 ECCエンコーダ 109によって誤り訂正符号を付加 され、 ピックァヅプ 107を通じて光ディスク 106に記録される。
オーディォデ一夕の符号化方式には MPEG-1 Layer-IIを、ビデオデ一夕の符号化 方式には MPEG- 2をそれそれ用いる。
光ディスク 106は、外周から内周に向かって螺旋状に記録再生の行われる脱着可 能な光ディスクとする。 2048b teを 1セクタとし、 誤り訂正のため 16セクタで ECC プロヅクを構成する。 ECCプロヅク中のデ一夕を書き換える場合、そのデ一夕が含 まれる ECCブロック全体を読み込み、 誤り訂正を行い、 対象のデータを書き換え、 再び誤り訂正符号を付加し、 ECCプロツクを構成し記録媒体に記録する必要がある ο
また、 記録効率を上げるため ZCAV (ゾーン角速度一定)を採用しており、 記録領 域は回転数の異なる複数のゾーンで構成される。
<ファイルシステム >
光ディスク 106上の各種情報を管理するためにファイルシステムを用いる。ファ ィルシステムには、 PCとの相互運用を考慮して UDF(Universal Disk Format)を使 用する。 ファイルシステム上では、 各種管理情報や AVストリームはファイルとし て扱われる。ュ一ザエリアは、 2048byteの論理ブロック（セクタと一対一対応)で 管理される。
各ファイルは、 整数個のエクステント（連続した論理ブロック）で構成され、 ェ クステント単位で分散して記録してもよい。 空き領域は、 Space Bitmapを用いて 論理ブロック単位で管理される。
上記エクステントを表す情報や Space Bitmap等、 ファイルシステムに関する管 理情報は光ディスク 106上に記録される。
<ファイルフォーマット >
AVストリーム管理のためのフォーマヅトとして、 QuickTimeファイルフォーマツ トを用いる。 QuickTimeファイルフォーマヅトとは、 Apple社が開発したマルチメ ディアデ一夕管理用フォ一マツトであり、 PCの世界で広く用いられている。
QuickTimeファイルフォ一マツトは、 ビデオデ一夕やオーディオデ一夕等（これ らを総称してメディアデータとも呼ぶ）と管理情報とで構成される。両者を合わせ てここでは、 QuickTimeムービー（略してムービー）と呼ぶ。両者は同じファイル中 に存在しても、 別々のファイルに存在してもよい。
同じファイル中に存在する場合は、 図 2 (a)に示すファイル 201のような構成を とる。各種情報は、 atomという共通の構造に格納される。 管理情報は Movie atom という構造に格納され、 AVストリームは Movie data atomという構造に格納される 尚、 Movie atomはメディアデ一夕の任意の区間を任意の順序で再生することを 制御するための一種のプログラム情報であり、 メディアデ一夕中の任意の時間に 対応する AVデータのファイル中での相対位置を導くためのテ一プルや、 メディァ デ一夕の属性情報や、 後述する外部参照情報などが含まれている。
一方、 管理情報とメディアデ一夕を別々のファイルに格納した場合は、 図 2 0) )に示すフアイノレ 202,203のような構成をとる。管理情報は Movie atomという構造 に格納されるが、 AVストリームは atomには格納される必要はない。 このとき、 Mo vie atomは AVストリームを格納したファイル 203を「外部参照」している、 という o
外部参照は、図 2 (c)に示すように、ファイル 204の Movie atomが複数のフアイ ル 205, 206 に設けた AVストリームファイル #1，#2に対して行うことが可能であり、 この仕組みにより、 AVストリーム自体を物理的に移動することなく、 見かけ上編 集を行ったように見せる、 いわゆる 「ノンリニア編集」 「非破壊編集」 が可能に なる。
それでは、図 3乃至図 1 2を用いて、 QuickTimeの管理情報のフォーマヅトにつ いて説明する。 まず、 共通の情報格納フォーマヅトである atomについて説明する o atomの先頭には、 その atomのサイズである Atom size、その atomの種別情報であ る Typeが必ず存在する。 Typeは 4文字で区別され、 例えば Movie atomでは' moov ， 、 Movie data atomでは， mdat5 となっている。
各 atomは別の atomを含むことができる。 すなわち、 atom間には階層構造がある 。 Movie atomの構成を図 3に示す。 Movie header atomは、 その Movie atomが管 理するムービーの全体的な属性を管理する。 Track atomは、 そのムービーに含ま れるビデオやオーディォ等のトラックに関する情報を格納する。 User-defined d ata atomは、 独自に定義可能な atomである。
Track atomの構成を図 4に示す。 Track header atomは、そのトラックの全体的 な属性を管理する。 Edit atomは、メディアデ一夕のどの区間をムービーのどの夕 ィミングで再生するかを管理する。 Track reference atoは、 別のトラックとの 関係を管理する。 Media atomは、 実際のビデオやオーディオといったデ一夕を管 理する。
Track header atomの構成を図 5に示す。ここでは、後での説明に必要なものの み説明する。 flagsは属性を示すフラグの集合である。代表的なものとして、 Tra ck enabledフラグがぁり、 このフラグが 1であれば、 そのトラックは再生され、 0 であれば、 再生されない。 layerはそのトラックの空間的な優先度を表しており、 画像を表示するトラックが複数あれば、 layerの値が小さいトラックほど画像が前 面に表示される。
Media atomの構成を図 6に示す。 Media header atomは、その Media atomの管理 するメディアデータに関する全体的な属性等を管理する。 Handler reference at omは、メディアデ一夕をどのデコーダでデコードするかを示す情報を格納する。 M edia information atomは、ビデオやオーディオ等メディア固有の属性情報を管理 する。
Media information atomの構成を図 7に示す。 Media information header ato mは、 ビデオやオーディオ等メディア固有の属性情報を管理する。 Handler refer ence atomは、 Media atomの項で説明したとおりである。 Data information atom は、その QuickTimeム一ビーが参照するメディアデータを含むファイルの名前を管 理する atomである Data reference atomを含む。 Sample table atomは、 デ一夕の サイズや再生時間等を管理している。
次に、 Sample table atomについて説明するが、 その前に、 QuickTimeにおける デ一夕の管理方法について、 図 8に示すファイル 801を用いて説明する。 QuickTi meでは、 デ一夕の最小単位 (例えばビデオフレーム）をサンプル (sample)と呼ぶ。 個々のトラヅク每に、サンプルには再生時間順に 1から番号 (サンプル番号 )がつ ヽ ている。
QuickTimeフォ一マヅトでは、個々のサンプルの再生時間長およびデ一夕サイズ を管理している。 また、 同一トラックに属するサンプルが再生時間順にファイル 中で連続的に配置された領域をチャンク（chunk)と呼ぶ。チャンクにも再生時間順 に、 1から番号がついている。
また、 QuickTimeフォーマヅトでは、個々のチャンクのファイル先頭からのアド レスおよび個々のチャンクが含むサンプル数を管理している。 これらの情報に基 づき、 任意の時間に対応するサンプルの位置を求めることが可能となっている。
Sample table atomの構成を図 9に示す。 Sample description atomは、 個々の チャンクのデ一夕フォーマツト（Data format)やサンプルが格納されているファ ィルのインデックス等を管理するテーブルであり、 デ一夕フォーマットやサンプ ルの格納されているファイル等が異なる場合、 テ一プル中の異なるェントリで管 理される。 なお、 エントリとは、 テーブル中において、 他の情報から参照される 情報の単位のことである。
Time- to-sample atomは、侮々のサンプルの再生時間を管理する。 Sync sample atomは、 個々のサンプルのうち、 デコード開始可能なサンプノレを管理する。 Samp le-to-chunk atomは、 個々のチャンクに含まれるサンプル数および個々のチャン クが Sample description atom中のどのェントリを参照しているかを管理する。 S ample size atomは、 個々のサンプルのサイズを管理する。 Chunk offset atomは 、 個々のチャンクのファイル先頭からのアドレスを管理する
Edit atomは、 図 1 0に示すように、 1個の Edit list atomを含む。 Edit list atomは、 Number of entriesで指定される個数分の、 Track durations Media tim e、 Media rateの値の組 (ェントリ）を持つ。各ェントリは、 トラヅク上で連続的に 再生される区間に対応し、 そのトラック上での再生時間順に並んでいる。
Track durationはそのェントリが管理する区間のトラヅク上での再生時間、 Me dia timeはそのェントリが管理する区間の先頭に対応するメディアデ一夕上での 位置、 Media rateはそのエントリが管理する区間の再生スピードを表す。 尚、 Me dia timeが- 1の場合は、 そのェントリの Track duration分、 そのトラヅクでのサ ンプルの再生を停止する。 この区間のことを empty editと呼ぶ。
図 1 1に Edit listの使用例を示す。ここでは、 Edit list atomの内容が図 1 1 (a)に示す内容であり、 さらにサンプルの構成が図 1 1 (b)であったとする。 尚、 ここでは i番目のェントリの Track durationを D(i)、 Media timeを T(i)、 Media r ateを R(i)とする。 このとき、 実際のサンプルの再生は図 1 1 (c)に示す順に行わ れる。 このことについて簡単に説明する。
まず、 ェントリ #1は Track durationが 13000、 Media timeが 20000、 Media rate が 1であるため （図 1 1 (a))、 そのトラックの先頭から 13000の区間 （図 1 1 (c) )はサンプル中の時刻 20000から 33000(=20000+13000)の区間を再生する（図 1 1 ( b)) 。次に、 エントリ #2は Track durationが 5000、 Media timeが- 1であるため （ 図 1 1 (a))、 トラック中の時刻 13000から 18000(=13000+5000)の区間、 何も再生 を行わない (null, 図 1 1 (c)) o
最後に、ェントリ #3は Track durationが 10000、 Media timeが 0、 Media rateが 1 であるため (図 1 1 (a)) 、 トラック中の時刻 18000(=13000+5000)から 28000(=18 000+10000)の区間において (図 1 1 (c))、サンプル中の時刻 0から 10000の区間を 再生する （図 1 1 (b))。
図 1 2に User-defined data atomの構成を示す。この atomには、 QuickTimeフォ —マツトで定義されてない独自の情報を任意個数格納することができる。 1個の独 自情報は 1個のェントリで管理され、 1個のェントリは Sizeと Typeと User dataとで 構成される。 Sizeはそのエントリ自体のサイズを表し、 Typeは独自情報をそれそ れ区別するための識別情報、 User dataは実際のデータを表す。
<インデックス ·ファイル〉
ディスク内に含まれる QuickTimeム一ビーを管理するため、 AVィンデヅクス ·フ アイルという特別の QuickTimeム一ビ一ファイルをディスク内に 1個置く。AVィン デヅクス ·ファイルには、 ディスク内のファイル（QuickTimeム一ビ一や QuickTim eム一ビーから参照されている静止画等）に関するサムネイルや各種属性が登録さ れている。
各種属性の中には、 そのファイルが外部参照されている回数を示す link count がある。 link countを参照することで、 そのファイルを参照しているファイルが あるかどうかを容易に知ることができ、 他から参照されているファイルを不用意 に削除してしまうことを防ぐことができる。
<実施例 1 >
本発明の一実施 !1について、 図 1 3乃至図 2 1を用いて説明する。
く AVストリームの形態 >
本実施例における AVストリームの構成を、 図 1 3及び図 1 4とともに説明する 。 AVストリームは、整数個の Record Unit(RU)で構成される。 RUはディスク上で連 続的に記録する単位である。 RUの長さは、 AVストリームを構成する RUをどのよう にディスク上に配置してもシ一ムレス再生 (再生中に絵や音が途切れないで再生 できること）が保証されるように設定される。 この設定方法については後述する。 また、 RU境界が ECCブロック境界と一致するようにストリームを構成する。 RU のこれらの性質によって、 AVストリームをディスクに記録した後も、 シームレス 再生を保証したまま、 ディスク上で RU単位の配置を容易に変更することができる 。
RUは整数個の Video Unit(VU)で構成する。 VUは単独再生可能な単位であり、 そ のことから再生の際のエントリ ·ポイントとなりうる。 VUの構成を図 1 4に示す 。 VUは 1秒程度のビデオデ一夕を格納した整数個の G0P (グループ-ォブ.ピクチャ )とそれらと同じ時間に再生されるメインオーディオデ一夕を格納した整数個の A AU (オーディオ ·アクセス ·ュニヅト）で構成される。
尚、 G0Pは MPEG-2ビデオ規格における圧縮の単位であり、複数のビデオフレーム (典型的には 15フレーム程度)で構成される。 AAUは MPEG-1 Layerll規格における圧 縮の単位で、 1152点の音波形サンプル点により構成される。 サンプリング周波数 が 48kHzの場合、 AAUあたりの再生時間は 0.024秒となる。
VU中では AV同期再生のために必要となる遅延を小さくするため、 Μϋ、 GOPの順 に配置する。 また、 VU単位で独立再生可能なように、 VU中のビデオデ一夕の先頭 には Sequence Header(SH)を置く。
VUの再生時間は、 VUに含まれるビデオフレーム数にビデオフレーム周期をかけ たものと定義する。 また、 VUを整数個組み合わせて RUを構成する場合、 RUの始終 端を ECCブロック境界に合わせるため、 VUの末尾を 0で埋める。
尚、 本実施例では、 図 1 3および図 1 4に示す AVストリーム構成を用いて説明 しているが、 本発明はこのストリーム構成に限定されるものではない。
<AVストリーム管理方法 >
AVストリームの管理方法は、前述の QuickTimeファイルフォーマヅトをペースに している。 図 1 5に QuickTimeによる AVストリーム管理形態を示す。 Μϋをオーデ ィォデ一夕のサンプル、 Sequence headerと整数個の GOPをビデオデ一夕のサンプ ルとし、 VU中のメインオーディオとビデオの塊をそれそれ 1チャンクに対応させる ο
<ディスク配置決定方法 >
AVストリームのディスク上での配置決定方法について説明する。 シームレス再 生を保証するためには、 次への RUへのジャンプ時間も含めた RU読み出し時間が RU の再生時間より小さければよい。
つまり、 RU再生時間を Te(i)、 AVストリーム中の任意の RUである RU#iについて 最大再生時間を T(i)、分断ジャンプを含めた最大読み出し時間を Tr(i)としたとき 、
Te(i)≥Tr(i) · · · <式 1>
を満たせばよい。
AVストリーム中のメインオーディオ、 ビデオの最大ビットレートをそれぞれ Ra 、 Rvs 再生機器の最大アクセス時間を Ta、 連続読み出しレートを Rsとしたとき、 Tr( i)=Te(i) x (Rv+Ra)/Rs+Ta · . · <式 2 > となる。
<式 1 > <式 2 >を Te(i )で解いて、
Te( i)≥TaxRs/(Rs-Rv-Ra) · · · <式 3 >
が得られる。
つまり、 シームレス再生保証可能な RU再生時間下限値 Teminは、
Temin=Ta x Rs/ ( Rs-Rv-Ra ) · · · <式 4 >
となる。
<記録時の処理 >
ユーザから録画が指示された場合の処理を、 図 1 6に沿って説明する。 このと き Ϊ3録する AVストリームは、 ビデオのビヅトレ一ト Rv=5Mbps、 オーディォのサン プリング周波数 48kHz、 ビヅトレート Ra=Rp=256kbpsであるものとする。 すでに、 ファイルシステムの管理情報は RAM上に読み込まれているとする。
まず、 ストリームの構成や連続領域の構成を決定する（ステップ 701 )。 1VUを 1G OP=30フレームで構成するとしたとき、 く式 4 >に Rs=20Mbps、 Ta=l秒、、 Rv=5Mbp s、 Ra=256kbpsを代入し、 Te( i)の範囲である 1.36秒以上が得られる。 1VUの再生時 間を 0.5秒としているため、 RU再生時間は 2秒とする。
次に、 2個の VUを連続的に記録可能な空き領域を探す。 具体的には 2 x (Rv+Ra) 、つまり 11 Mbit以上の連続的な空き領域を、 RAM102上の Space Bitmapを参照して 探す。存在しなければ録画を中止し、録画できないことをュ一ザに知らせる（ステ ップ 702)。
また、 オーディオエンコーダ 117、 ビデオエンコーダ 118をそれそれ起動する（ ステップ 703)。 次に、 記録用バッファに 1ECCブロック分 (32KB)以上のデータが蓄 積されているかどうかをチェックし (ステップ 704)、蓄積されている間、ステップ 705からステヅプ 708を繰り返す。
蓄積されていれば、 次に記録するディスク上の ECCプロックの空き状況を、 RAM 上の Space Bitmapを参照して調べる（ステップ 705)。 空きがなければ、 2個の VUを 記録可能な連続的な空き領域を探し（ステツプ 707)、その空き領域の先頭へピヅク アップを移動する（ステップ 708)。
次に、記録用バッファ 111中の 1ECCプロヅク分のデータを、ディスクに記録する (ステップ 706)。記録用バッファ 111にデータが蓄積されていなければ、 記録終了 が指示されているかどうかをチェックし（ステップ 709)、記録終了でなければ、ス テヅプ 704を実行する。
記録終了が指示されていた場合、 以下のステップを実行する。 まず、 記録用パ ヅファ中の 32KBに満たないデ一夕に関して、 末尾にダミーデ一夕を付加し 32KBに する（ステップ 710)。次に、そのデ一夕をディスク上に記録する（ステップ 711〜ス テヅプ 714)。最後に、 RAMI 02上の QuickTime管理情報（Movie atom) とファイルシ ステム管理情報を、 光ディスク 106に記録する（ステヅプ 715〜ステップ 716)。 以上の処理と並行するオーディォエンコーダ 117、 ビデオエンコーダ 118やマル チプレクサ 113の動作について説明する。それそれのエンコーダはマルチプレクサ 113にエンコード結果を送り、 マルチプレクサはそれらを多重化用バッファ 114に 格納する。
1VU分のデータ、 つまり 1G0Pとそれに同期して再生される AAUが多重化用パッフ ァ 114に蓄積されたら、 マルチプレクサ 113は記録用バッファ 111に 1VUのデータを 送る。 さらに、 ホスト CPU101に 1VU分のデ一夕がエンコードできたことを通知し、 ホスト CPU101は VUを構成する G0Pや AAUの数およびサイズを基に、 RAM102上の Quic kTime管理情報を更新する。
<編集時の処理 >
AVストリームの途中を RU単位で削除することを考える。 前述のように、 RUの境 界は ECCブロック境界と一致する。 さらに、 ECCブロックは 16セクタで構成され、 セクタと論理ブロックは一致する。 したがって、 ファイルシステム管理情報と Qu ickTime管理情報を書き換えるのみで、 RU単位の削除が可能である。
ファイルシステム管理情報に関しては、 前述の Space bitmap中の削除する領域 に対応するビヅトを 0にすることで、領域を開放し、削除対象冊を管理するェクス テントを変更する。 QuickTime管理情報に関しては、削除区間に含まれるサンプル を Sample tableから削除し、 削除区間の後に位置するチャンクの Chunk offsetの 値を削除区閭のバイト数マイナスする。
また、 削除による各トラヅクの再生時間の短縮に伴い、 Edit list (図 1 0 , 1 1 ) の Track durationを短縮する （図 1 0， 1 1 ) 。 上記の削除により、 AVスト 'リームは削除区間の直前と直後とが接続された形となる。 このとき、 ビデオトラ ヅクについては、 繋ぎ目を示すために、 削除直前と削除直後の領域の繋ぎ目にあ たる時刻の前後で別のェントリとする。
例えば AVストリーム #1と AVストリーム #2を繋ぐことによって、 図 1 7に示すよ うな構成となった AVストリームがあった場合、 Edit list atom (図 1 0 ) を、 図 1 8に示すように、 2ェントリで構成する。一方、 AVストリーム同士を RU単位で結 合する場合も、削除の場合と同様、ファイルシステム管理情報と QuickTime管理情 報とを書き換えることにより対応可能である。 この情報により、 トラックの時間 軸における繋ぎ目の時刻および、 その時刻に対応するデ一夕のファイル中でのァ ドレスがわかる。
尚、 本実施例では、 繋ぎ目が 1個の場合について説明したが、 2個以上の場合、 個数に応じてエントリ数を増やせばよいことは言うまでもない。
尚、 ここでは、 1トラックのビデオにおいて、 Edit listのエントリを切り替え ることで繋ぎ目を示したが、 AVストリーム同士を結合することによって生じた、 復号 ·再生に支障を来たす可能性のある箇所を示すことができればどのような方 法を用いてもよいことは言うまでもない。 一例を挙げると、 繋ぎ目毎にビデオト ラックを切り替えることで、 繫ぎ目を示すことが考えられる。 具体的には、 結合によって、 図 1 7に示すような構成となった AVストリームが あった場合、 前半部と後半部とを別トラックで管理し、 前半部 ·後半部を管理す るトラックの Edit list atom (図 1 0 ) の内容を、 それそれ図 1 9 (a)、 （b)に示 す内容とすることで、 繋ぎ目を示すことが可能である。 このとき、 後の編集時に ビデオトラヅク # 1と # 2が誤まって統合されることを防ぐために、 ビデオトラ ヅク #1、 # 2の少なくとも 1個の値、具体的には Creation time (図 5 )等を異な る値にする。
また、繋ぎ目の前後で異なる内容の Sample description atom (図 9 )を用いる ことで、 繋ぎ目を示してもよい。 具体的には、 結合によって、 図 1 7に示すよう な構成となった AVストリームがあった場合、 図 2 0に示すように、 AVストリーム #1中のビデオデータと AVストリーム #2中のビデオデータが Sample description atomの異なるェントリ #1、 # 2で表される属性を参照するようにする。
このことにより、 繋ぎ目を示すことが可能になる。 さらに、 Sample descripti on atomのそれそれのェントリ中の少なくとも 1個の値が異なるようにすることで 、後の編集時に Sample description tableの最適化（内容の共通な複数のェントリ を 1個にまとめること）のためにェントリ # 1、 # 2が誤まってマージされること を防ぐことが可能になる。
<再生時の処理 >
ュ一ザから再生が指示された場合の処理を、 図 2 1に沿って説明する。 ここで は、 すでに再生の対象となる AVストリームに関する QuickTime管理情報が RAM102 に読み込まれているものとする。
光ディスク 106上の再生指示された VUの先頭から再生用デ一夕の読み出しを行 う（ステップ 901)。 このとき、 十分な再生時間分のデータを再生用バッファ 110へ 読み出すまでステヅプ 901を繰り返す（ステヅプ 902)。
ここで十分とは、 再生用デ一夕読み出しの中断期間が最大の場合でも、 再生が 途切れないだけのデ一夕量を意味する。 具体的には、 AVデ一夕の読み出しに伴う 分断のジャンプ (最大 1秒)を行った場合を想定し、 1秒分のデ一夕量とする。 次に、 ホスト CPU101は、 ビデオデコーダ 116およびオーディオデコーダ 115を起 動する（ステップ S903)。ホスト CPU101は、 QuickTime管理情報に基づき、デマルチ プレクサ 112に指令を出すことで、 符号化データを再生用バッファ U0からオーデ ィォデコーダ 115およびビデオデコーダ 116へ転送する。
また、 ユーザから再生終了を指示されていないかチェヅクする（ステップ 904) 。指示されていなければ、再生用 AVデ一夕の読み出しを行う（ステップ 905)。再生 終了を指示されていれば、 終了する。
ホスト CPU101はシステムクロック 105を参照し、現在の時刻がビデオトラックの
Edit list atom (図 1 0 ) のェントリ （図 1 1 ) の切り替えのタイミングであつ た場合、その箇所が繋ぎ目であると判断し、ビデオデコーダ 116およびオーディオ デコーダ 115の復号を一時停止する。このとき、繋ぎ目を示すのに、 ビデオチャン クの参照する Sample description table (図 2 0 ) のェントリの切り替わりを利 用している場合は、 エントリの切り替わりが発生した箇所を繋ぎ目と判断する。 このことによって、繋ぎ目直前のビデオフレームが複数フレーム連続して表示（ フリーズ）されることになるが、 その間にビデオデコーダ 116のデコーダノ ヅファ にデ一夕を貯えることができるため、 バッファのアンダーフローは起きない。 つ まり、 デコーダバッファのアンダ一フローが発生したときのように、 再生がしば らく乱れるようなことはない。 また、 もともと繋ぎ目における映像は不連続であ るため、 それ以外の箇所でフリーズが発生する場合に比べ、 乱れが目立たない。 尚、本実施例では、 ビデオデコーダが 1個だけを用いているが、 ビデオデコーダ を複数個用意して繋ぎ目で切り替えてもよい。 具体的には、 再生時に以下のこと を行う。 まず、 ビデオトラックの Edit list atomのエントリの切り替えから AV デ一夕中の実際の繋ぎ目の位置がわかるため、 繋ぎ目以降のビデオデ一夕を繋ぎ 目以前のビデオデコーダとは別のビデオデコーダに送りデコードを開始し、 いつ でも表示可能な状態にしておく。 次に、 Edit list atomのエントリの切り替えの タイミングになった時点で、 ビデオデコーダを繋ぎ目以前のものから繋ぎ目以降 のものに切り替える。この場合、繋ぎ目の前後でデコーダが異なるため、 VBVバヅ ファの占有量の不連続が起こることはなく、さらに、 ビデオデコーダが 1個のとき のようにフリーズさせる必要がない。
また、 本実施例では、 編集の際に生じる繋ぎ目を管理しているが、 本発明の管 理対象である繋ぎ目は編集の際に生じるものに限定されない。例えば、 録画の際 、 新規の AVストリームを既存の AVストリームファイルの末尾に追加するかたちで 行う場合、追加点の前後で VBVバッファ占有量の不連続が生じ、その AVストリーム ファイルをそのまま再生した場合、 追加点の直後で復号 ·再生が乱れるおそれが あるが、 追加点を本実施例と同様に管理することで、 そのような復号 ·再生の乱 れを抑えることが可能である。
以上説明したように、 本発明によれば、 複数の AVストリームを繋ぎ合わせて 1 本の AVストリームを作成した場合に、 その AVストリームを管理する管理情報に よって、 繋ぎ目の位置情報を管理することで、 再生時に繋ぎ目付近で表示が乱れ ることを防ぐことが可能になる。 産業上の利用可能性
映像データや音声デ一夕等の AVス小リームを、 例えばハードディスクや光ディ スク等のランダムアクセス可能な記録媒体に記録、復号する場合に、該 AVストリ一 ム間の再生データの乱れを防止できるデータ記録、 編集、 復号方法、 並びにそれ らの装置に適している。

Claims

請 求 の 範 囲
1 . 少なくとも映像又は音声からなる第 1のデータを含む複数の第 1のュニット で構成される第 2のュニヅトと、 前記第 2のュニットを管理する第 1のプログラ ムとを、 記録媒体に記録するデ一夕記録方法であって、
前記第 1のプログラムが、 前記第 1のュニヅト間の結合箇所を管理する情報を 有することを特徴とするデータ記録方法。
2 . 前記結合箇所は、 前記第 2のユニット中から任意の前記第 1のデ一夕を削除 した箇所であることを特徴とする前記請求の範囲第 1項に記載のデ一夕記録方法 ο
3. 前記第 2のユニットは、 1個のファイルで管理されることを特徴とする前記 請求の範囲第 1項又は 2項に記載のデ一夕記録方法。
4. 前記映像の第 1のデ一夕は、 該映像を MP E G規格により符号ィ匕したもので あることを特徴とする前記請求の範囲第 1項乃至第 3項に記載のデータ記録方法 ο
5 . 少なくとも映像又は音声からなる第 1のデ一夕を含む第 1のユニットと、 少 なくとも映像又は音声からなる第 2のデ一夕を含む第 3のユニットとを接続して 、 第 2のユニットを作成するデータ編集方法であって、
前記第 2のュニヅトを管理する第 1のプログラムが、 前記第 1のユニットと前 記第 3のユニットとの結合箇所を管理する情報を有することを特徴とするデ一夕 編集方法。
6 . 前記第 1のュニヅトと前記第 3のュニヅトは、 前記第 2のュニヅト中の任意 の前記第 1のデータを削除することによつて形成されることを特徴とする前記請 求の範囲第 5項に記載のデータ編集方法。
7 . 前記第 2のユニットは、 1個のファイルで管理されることを特徴とする前記 請求の範囲第 5項又は 6項に記載のデータ編集方法。
8 . 前記映像の第 1、 第 2のデ一夕は、 該映像を MP E G規格により符号化した ものであることを特徴とする前記請求の範囲第 5項乃至第 7項に記載のデータ編 集方法。
9 . 少なくとも映像又は音声からなる第 1のデ一夕を含む複数の第 1のユニット で構成される第 2のュニヅトを、 該第 2のュニヅトを管理する第 1のプログラム に従って復号するデータ復号方法であって、
前記第 1のプログラムが、 前記第 1のュニヅト間の結合箇所を管理する情報を 有し、
前記結合箇所情報に基づき、 前記第 1のュニヅトの復号を制御することを特徴 とするデータ復号方法。
1 0 . 前記第 1のユニットの復号の制御は、 前記結合箇所において復号を一時停 止することを特徴とする前記請求の範囲第 9項に記載のデータ復号方法。
1 1 . 前記第 1のュニヅトの復号の制御は、 前記結合箇所の前後で復号器を切り 替えることを特徴とする前記請求の範囲第 9項に記載のデ一夕復号方法。
1 2 . 前記映像の第 1 , 第 2のデータは、 該映像を MP E G規格により符号化し たものであることを特徴とする前記請求の範囲第 9乃至 1 1項に記載のデ一夕復 号方法。
1 3 . 少なくとも映像又は音声からなる第 1のデ一夕を含む複数の第 1のュニヅ トで構成される第 2のユニットと、 前記第 2のユニットを管理する第 1のプログ ラムとを、 記録媒体に記録するデータ記録装置であって、
前記第 1のプログラムが、 前記第 1のュニヅト間の結合箇所を管理する情報を 有することを特徴とするデ一夕記録装置。
1 4 . 少なくとも映像又は音声からなる第 1のデータを含む第 1のュニヅトと、 少なくとも映像又は音声からなる第 2のデ一夕を含む第 3のュニットとを接続し て、 第 2のユニットを作成するデータ編集装置であって、
前記第 2のュニットを管理する第 1のプログラムが、 前記第 1のユニットと第 3のユニットとの結合箇所を管理する情報を有することを特徴とするデ一夕編集
1 5 . 少なくとも映像又は音声からなる第 1のデータを含む複数の第 1のュニヅ 卜で構成される第 2ュニヅトを、 該第 2のュニヅトを管理する第 1のプログラム に従って復号するデータ復号装置であって、
前記第 1のプログラムが、 前記第 1のュニットの結合箇所情報を管理し、 前記結合箇所情報に基づき、 復号の制御を行う前記第 1のュニヅトの復号器を 備えたことを特徴とするデ一夕復号装置。
PCT/JP2002/005963 2001-06-15 2002-06-14 Data recording method, data editing method, data decoding method, and apparatus thereof WO2002104016A1 (en)

Priority Applications (9)

Application Number Priority Date Filing Date Title
EP02738717A EP1408687A4 (en) 2001-06-15 2002-06-14 DATA RECORDING METHOD, DATA FORMING METHOD, DATA DECODING METHOD, AND ASSOCIATED APPARATUS
JP2003506195A JP3784387B2 (ja) 2001-06-15 2002-06-14 データ復号方法
KR10-2003-7016271A KR100537392B1 (ko) 2001-06-15 2002-06-14 데이터 기록 방법, 데이터 편집 방법 및 데이터 복호 방법, 및 그 장치, 및 기록 매체
US10/481,002 US7653285B2 (en) 2001-06-15 2002-06-14 Data recording method, data editing method, and data decoding method, and apparatus and recording medium therefor
US11/979,180 US20080075435A1 (en) 2001-06-15 2007-10-31 Data recording method, data editing method, data decoding method, and apparatus and recording medium therefor
US11/979,181 US8306405B2 (en) 2001-06-15 2007-10-31 Data recording method, data editing method, data decoding method, and apparatus and recording medium therefor
US11/979,188 US20080063374A1 (en) 2001-06-15 2007-10-31 Data recording method, data editing method, data decoding method, and apparatus and recording medium therefor
US12/662,032 US20100260470A1 (en) 2001-06-15 2010-03-29 Data recording method, data editing method, data decoding method, and apparatus and recording medium therefor
US12/662,017 US20100296796A1 (en) 2001-06-15 2010-03-29 Data recording method, data editing method, data decoding method, and apparatus and recording medium therefor

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2001180952 2001-06-15
JP2001-180952 2001-06-15

Related Child Applications (3)

Application Number Title Priority Date Filing Date
US11/979,181 Continuation US8306405B2 (en) 2001-06-15 2007-10-31 Data recording method, data editing method, data decoding method, and apparatus and recording medium therefor
US11/979,188 Continuation US20080063374A1 (en) 2001-06-15 2007-10-31 Data recording method, data editing method, data decoding method, and apparatus and recording medium therefor
US11/979,180 Continuation US20080075435A1 (en) 2001-06-15 2007-10-31 Data recording method, data editing method, data decoding method, and apparatus and recording medium therefor

Publications (1)

Publication Number Publication Date
WO2002104016A1 true WO2002104016A1 (en) 2002-12-27

Family

ID=19021289

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2002/005963 WO2002104016A1 (en) 2001-06-15 2002-06-14 Data recording method, data editing method, data decoding method, and apparatus thereof

Country Status (7)

Country Link
US (6) US7653285B2 (ja)
EP (6) EP2204990A1 (ja)
JP (5) JP3784387B2 (ja)
KR (1) KR100537392B1 (ja)
CN (8) CN101430911A (ja)
ES (1) ES2364374T3 (ja)
WO (1) WO2002104016A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004112038A1 (en) * 2003-06-16 2004-12-23 Canon Kabushiki Kaisha Recording apparatus using disc-like recording medium
US7551838B2 (en) * 2003-07-09 2009-06-23 Canon Kabushiki Kaisha Moving picture recording apparatus and method thereof with correlating of representative image with thumbnail image recorded in thumbnail file corresponding to moving picture stream data referenced by reference moving picture data
US7779159B2 (en) * 2003-09-17 2010-08-17 Lg Electronics Inc. Apparatus and method for providing high speed download service of multimedia contents

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1309196A3 (en) * 2001-10-29 2005-07-20 Matsushita Electric Industrial Co., Ltd. File creating method and data reproduction method
JP4035824B2 (ja) * 2003-07-30 2008-01-23 ソニー株式会社 編集装置
JP5381454B2 (ja) * 2009-07-23 2014-01-08 ソニー株式会社 映像音声記録装置及び編集方法
JP5919665B2 (ja) * 2011-07-19 2016-05-18 日本電気株式会社 情報処理装置、物体追跡方法および情報処理プログラム
JP5848594B2 (ja) * 2011-12-14 2016-01-27 キヤノン株式会社 記録装置
JP5917123B2 (ja) * 2011-12-14 2016-05-11 キヤノン株式会社 記録装置
JP6467680B2 (ja) * 2014-01-10 2019-02-13 パナソニックＩｐマネジメント株式会社 ファイル生成方法およびファイル生成装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000224523A (ja) * 1995-12-08 2000-08-11 Sony Corp デ―タ記録再生装置とその方法
WO2001004893A1 (fr) * 1999-07-07 2001-01-18 Matsushita Electric Industrial Co., Ltd. Dispositif d'enregistrement de donnees audiovisuelles, disque enregistre a l'aide de ce dispositif, et dispositif de reproduction et procede associes
JP2001101790A (ja) * 1999-09-30 2001-04-13 Sony Corp 記録装置および方法、再生装置および方法並びに記録媒体

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6482024A (en) 1987-09-25 1989-03-28 Brother Ind Ltd Image output device
JPH0251582A (ja) 1988-08-12 1990-02-21 Kyokado Eng Co Ltd 地盤注入用薬液
JP3509080B2 (ja) * 1993-10-15 2004-03-22 ソニー株式会社 データ再生装置
US5534944A (en) * 1994-07-15 1996-07-09 Matsushita Electric Corporation Of America Method of splicing MPEG encoded video
JPH0863867A (ja) 1994-08-24 1996-03-08 Nippon Columbia Co Ltd 光ディスク再生装置
JPH08251582A (ja) 1995-03-07 1996-09-27 Toshiba Corp 符号化データ編集装置
JP3603381B2 (ja) 1995-04-07 2004-12-22 ソニー株式会社 圧縮データ編集装置および圧縮データ編集方法
KR100326130B1 (ko) * 1995-08-21 2002-09-05 마츠시타 덴끼 산교 가부시키가이샤 동적인재생출력의전환을실현하는멀티미디어광디스크와그재생장치및그재생방법
JP3277922B2 (ja) 1995-12-08 2002-04-22 ソニー株式会社 データ記録再生装置とその方法
TW318906B (ja) * 1995-12-08 1997-11-01 Sony Co Ltd
JPH09182024A (ja) 1995-12-27 1997-07-11 Sony Corp 映像データ伸長装置およびデータ伸長方法
JPH10106237A (ja) * 1996-09-25 1998-04-24 Sony Corp 編集装置
US5999698A (en) 1996-09-30 1999-12-07 Kabushiki Kaisha Toshiba Multiangle block reproduction system
JPH10285529A (ja) * 1997-04-04 1998-10-23 Sony Corp 画像編集装置および画像編集方法
EP1193709B1 (en) * 1997-09-17 2006-03-29 Matsushita Electric Industrial Co., Ltd. Optical disc, recording apparatus, and computer-readable recording medium
JPH1196730A (ja) 1997-09-17 1999-04-09 Matsushita Electric Ind Co Ltd 光ディスク及びその編集装置、再生装置
US6134243A (en) * 1998-01-15 2000-10-17 Apple Computer, Inc. Method and apparatus for media data transmission
JP3997367B2 (ja) 1998-04-30 2007-10-24 ソニー株式会社 記録再生装置および方法、並びに記録媒体
JP2000023099A (ja) 1998-07-03 2000-01-21 Sony Corp 映像信号記録再生装置、映像信号記録再生方法、映像信号再生装置、映像信号再生方法および記録媒体
JP3356691B2 (ja) * 1998-07-07 2002-12-16 株式会社東芝 情報記録媒体とその記録方法及び再生方法
DE69912979T2 (de) 1998-09-08 2004-09-02 Sharp K.K. Verfahren und gerät zur bearbeitung zeitveränderlicher bilder
EP1057184B1 (en) 1998-11-16 2016-04-27 Koninklijke Philips N.V. Method and device for recording real-time information
JP2000232625A (ja) 1999-02-10 2000-08-22 Victor Co Of Japan Ltd 符号化データ編集多重化装置
JP2000287172A (ja) 1999-03-31 2000-10-13 Toshiba Corp 画像データ処理装置
ATE235736T1 (de) * 1999-05-07 2003-04-15 Thomson Brandt Gmbh Verfahren zum zwischenzeitlichen löschen eines programmteils
EP1054405A1 (en) * 1999-05-18 2000-11-22 Deutsche Thomson-Brandt Gmbh Method for marking digital data
GB2353655B (en) 1999-08-26 2003-07-23 Sony Uk Ltd Signal processor
JP4211153B2 (ja) 1999-09-17 2009-01-21 ソニー株式会社 記録装置および方法
WO2001039502A1 (en) 1999-11-23 2001-05-31 Koninklijke Philips Electronics N.V. Seamless switching of mpeg video streams
JP2001157161A (ja) 1999-11-25 2001-06-08 Matsushita Electric Ind Co Ltd 画像編集装置、画像編集方法及びプログラム記録媒体
CN1199446C (zh) * 2000-04-21 2005-04-27 索尼公司 信息处理设备和方法
WO2001082610A1 (en) * 2000-04-21 2001-11-01 Sony Corporation Information processing apparatus and method, program, and recorded medium
JP4517267B2 (ja) 2000-04-21 2010-08-04 ソニー株式会社 記録装置および方法、再生装置および方法、プログラム、並びに記録媒体
US6898799B1 (en) * 2000-10-23 2005-05-24 Clearplay, Inc. Multimedia content navigation and playback

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000224523A (ja) * 1995-12-08 2000-08-11 Sony Corp デ―タ記録再生装置とその方法
WO2001004893A1 (fr) * 1999-07-07 2001-01-18 Matsushita Electric Industrial Co., Ltd. Dispositif d'enregistrement de donnees audiovisuelles, disque enregistre a l'aide de ce dispositif, et dispositif de reproduction et procede associes
JP2001101790A (ja) * 1999-09-30 2001-04-13 Sony Corp 記録装置および方法、再生装置および方法並びに記録媒体

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004112038A1 (en) * 2003-06-16 2004-12-23 Canon Kabushiki Kaisha Recording apparatus using disc-like recording medium
US7693401B2 (en) 2003-06-16 2010-04-06 Canon Kabushiki Kaisha Recording apparatus using disc-like recording medium
US7551838B2 (en) * 2003-07-09 2009-06-23 Canon Kabushiki Kaisha Moving picture recording apparatus and method thereof with correlating of representative image with thumbnail image recorded in thumbnail file corresponding to moving picture stream data referenced by reference moving picture data
US7779159B2 (en) * 2003-09-17 2010-08-17 Lg Electronics Inc. Apparatus and method for providing high speed download service of multimedia contents

Also Published As

Publication number Publication date
CN101499305A (zh) 2009-08-05
CN101430912B (zh) 2014-08-06
CN101430910B (zh) 2013-06-19
EP2204990A1 (en) 2010-07-07
CN101430909A (zh) 2009-05-13
CN101430912A (zh) 2009-05-13
EP1408687A1 (en) 2004-04-14
KR100537392B1 (ko) 2005-12-19
US20080075435A1 (en) 2008-03-27
JP2009005371A (ja) 2009-01-08
JP4827934B2 (ja) 2011-11-30
EP1988710B1 (en) 2011-06-08
US20100296796A1 (en) 2010-11-25
JP2009118511A (ja) 2009-05-28
US7653285B2 (en) 2010-01-26
JPWO2002104016A1 (ja) 2004-10-07
EP2204988A1 (en) 2010-07-07
EP1408687A4 (en) 2006-05-24
KR20040007705A (ko) 2004-01-24
CN101430907A (zh) 2009-05-13
JP2009118512A (ja) 2009-05-28
JP4937280B2 (ja) 2012-05-23
US20040170394A1 (en) 2004-09-02
US20100260470A1 (en) 2010-10-14
EP2204989A1 (en) 2010-07-07
EP1988710A1 (en) 2008-11-05
CN101499305B (zh) 2012-11-14
US20080137730A1 (en) 2008-06-12
JP4937370B2 (ja) 2012-05-23
CN101430909B (zh) 2012-11-14
CN101430911A (zh) 2009-05-13
CN100450168C (zh) 2009-01-07
JP4684319B2 (ja) 2011-05-18
JP2010213286A (ja) 2010-09-24
EP2204991A1 (en) 2010-07-07
JP3784387B2 (ja) 2006-06-07
CN1516962A (zh) 2004-07-28
ES2364374T3 (es) 2011-09-01
CN101430910A (zh) 2009-05-13
CN101430908A (zh) 2009-05-13
US20080063374A1 (en) 2008-03-13
US8306405B2 (en) 2012-11-06

Similar Documents

Publication Publication Date Title
JP4937280B2 (ja) データ記録方法、データ編集方法およびデータ復号方法、並びにその装置、及び記録媒体
JP5386384B2 (ja) データ記録方法、データ削除方法、記録装置、記録媒体およびプログラム
US20060110111A1 (en) Editing of real time information on a record carrier
WO2007129524A1 (ja) 情報処理装置及び情報処理方法、並びにコンピュータ・プログラム
JPWO2005015907A1 (ja) データ処理装置
JP3986973B2 (ja) Ａｖデータ記録方法、ａｖデータ記録装置、データ記録媒体、及びプログラム
JP2002373480A (ja) データ記録方法及びデータ記録装置ならびに記録媒体
JP4322216B2 (ja) データ記録方法
JP4312783B2 (ja) Ａｖデータ再生方法、ａｖデータ再生装置、プログラム、並びに記録媒体
JP2003022621A (ja) データ記録方法、データ変更方法及びその装置
JP4255796B2 (ja) データ記録装置、データ記録方法、データ記録プログラム、および該プログラムを記録した記録媒体
JP2003168283A (ja) データ編集方法およびデータ記録媒体
JP2008005525A (ja) データ記録方法、データ削除方法、記録装置、記録媒体およびプログラム

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NO NZ OM PH PL PT RO RU SD SE SG SI SK SL TJ TM TN TR TT TZ UA UG US UZ VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): GH GM KE LS MW MZ SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE CH CY DE DK ES FI FR GB GR IE IT LU MC NL PT SE TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
DFPE Request for preliminary examination filed prior to expiration of 19th month from priority date (pct application filed before 20040101)
WWE Wipo information: entry into national phase

Ref document number: 2003506195

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 1020037016271

Country of ref document: KR

WWE Wipo information: entry into national phase

Ref document number: 028119983

Country of ref document: CN

Ref document number: 10481002

Country of ref document: US

Ref document number: 2002738717

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 2002738717

Country of ref document: EP

REG Reference to national code

Ref country code: DE

Ref legal event code: 8642