WO2005122567A1 - データ記録装置、方法およびプログラム、データ再生装置、方法およびプログラム、記録媒体、ならびに、データ構造 - Google Patents

データ記録装置、方法およびプログラム、データ再生装置、方法およびプログラム、記録媒体、ならびに、データ構造 Download PDF

Info

Publication number
WO2005122567A1
WO2005122567A1 PCT/JP2005/010633 JP2005010633W WO2005122567A1 WO 2005122567 A1 WO2005122567 A1 WO 2005122567A1 JP 2005010633 W JP2005010633 W JP 2005010633W WO 2005122567 A1 WO2005122567 A1 WO 2005122567A1
Authority
WO
WIPO (PCT)
Prior art keywords
picture
video stream
unit
independently decodable
recording medium
Prior art date
Application number
PCT/JP2005/010633
Other languages
English (en)
French (fr)
Inventor
Motoki Kato
Original Assignee
Sony Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corporation filed Critical Sony Corporation
Priority to KR20067025653A priority Critical patent/KR101183716B1/ko
Priority to CN2005800186527A priority patent/CN1965577B/zh
Priority to US11/569,487 priority patent/US8897376B2/en
Priority to EP05750877A priority patent/EP1755337B1/en
Publication of WO2005122567A1 publication Critical patent/WO2005122567A1/ja

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • H04N5/92Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/32Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
    • G11B27/327Table of contents
    • G11B27/329Table of contents on a disc [VTOC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • G11B20/12Formatting, e.g. arrangement of data block or words on the record carriers
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00Record carriers by type
    • G11B2220/20Disc-shaped record carriers
    • G11B2220/21Disc-shaped record carriers characterised in that the disc is of read-only, rewritable, or recordable type
    • G11B2220/213Read-only discs
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00Record carriers by type
    • G11B2220/20Disc-shaped record carriers
    • G11B2220/21Disc-shaped record carriers characterised in that the disc is of read-only, rewritable, or recordable type
    • G11B2220/215Recordable discs
    • G11B2220/216Rewritable discs
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00Record carriers by type
    • G11B2220/20Disc-shaped record carriers
    • G11B2220/21Disc-shaped record carriers characterised in that the disc is of read-only, rewritable, or recordable type
    • G11B2220/215Recordable discs
    • G11B2220/218Write-once discs
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00Record carriers by type
    • G11B2220/20Disc-shaped record carriers
    • G11B2220/25Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2537Optical discs
    • G11B2220/2541Blu-ray discs; Blue laser DVR discs
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00Record carriers by type
    • G11B2220/20Disc-shaped record carriers
    • G11B2220/25Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2537Optical discs
    • G11B2220/2545CDs
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00Record carriers by type
    • G11B2220/20Disc-shaped record carriers
    • G11B2220/25Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2537Optical discs
    • G11B2220/2562DVDs [digital versatile discs]; Digital video discs; MMCDs; HDCDs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction

Definitions

  • Data recording device method and program, data reproducing device, method and program, recording medium, and data structure
  • the present invention relates to a data recording device, a method and a program, a data reproducing device, a method and a program, a recording medium, and a data structure for recording and reproducing video data for performing inter-frame compression.
  • Patent Document 1 Japanese Patent Application Laid-Open No. 2000-34041
  • Patent Document 2 Japanese Patent Application Laid-Open No. Information about possible positions is recorded as attribute information on the recording medium together with the AV stream. By using this attribute information during reproduction, the AV stream readout position can be determined and the decoding process can be performed promptly.
  • the available technologies are described.
  • MPEG 2 (Moving Pictures Experts Group 2) uses intra-frame compression coding using DCT (Discrete Cosine Transform) and inter-frame compression coding using time-series prediction coding. T Compress and encode video data.
  • a B (Bidirectionally) picture and a P (Predictive) picture that have been subjected to predictive coding in the time series direction and an I (Ira) picture that is completed in one screen (one frame) are defined.
  • a self-contained group containing at least one I-picture is called a GOP (Group Of Picture), and is the smallest unit that can be independently accessed in an MPEG stream.
  • the transport stream performs transmission and recording / reproduction overnight in units of transport packets of a predetermined size.
  • the data stream is divided into the size of the pay packet of the transport packet, and a header is added to form a transport packet.
  • time management information PTS: presentation time stamp
  • source packet the source packet number in the AV stream file of the transport packet (source packet) that includes the first byte of the sequence header in the payload.
  • the extracted PTS and source bucket number are recorded as attribute-related information, ie, entry point (E P) information in each entry point in attribute information called E P-map.
  • an encoding method has been proposed that can use a prediction mode for predicting a future picture in a display order from a current GOP picture from a past GOP picture.
  • this prediction mode if random access is performed in GOP units, there will be GOPs that cannot be completely reproduced.
  • a technology that enables random access from the current GOP I-picture by prohibiting such a prediction mode is disclosed in US Pat. No. 5,543,847. J.
  • FIGS. 1A and 1B “il 2” is an I-picture, “p02”, “p03J”,... Are P-pictures, “b00”, “b01”. , ⁇ ⁇ ⁇ Indicates B picture.
  • the upper and lower rows indicate, for example, an even field and an odd field, respectively.
  • Patent Document 3 proposes predicting a P picture with reference to the two latest P pictures.
  • the picture p 16 belonging to GO P 1 is the most recent picture P 13 belonging to the same GOP 1, and the picture p 16 belonging to GOP 0 past GOP 1.
  • 03 two P pictures are encoded as reference pictures.
  • playback is performed from picture i 12, and picture p 13 cannot refer to picture p 03 used as a reference picture.
  • the picture p16 which cannot be decoded and uses the pictures p03 and pl3 as reference pictures, cannot be decoded.
  • the picture p 17 using the pictures p i 3 and p i 6 as reference pictures cannot be decoded in the same manner.
  • the position of the I picture in the video stream was set as the entry point.
  • MPEG2 video since there is no prediction mode for predicting a future picture from a picture of a past GOP in display order than that of an I picture of the current GOP, if an I picture is used as an entry point, the I picture It was guaranteed that random access playback would be possible.
  • MPEG-4 AVC I H.264 a moving picture compression coding method called MPEG-4 AVC I H.264 has been internationally standardized by IS0 (International Organization for St andarization).
  • This MP EG-4 AVC I H.264 improves coding efficiency and achieves a higher compression ratio than conventional coding methods such as MP EG 2 and MP EG 4, and uses multiple channels. Transmission efficiency by increasing transmission efficiency Made it possible. As a result, the MPEG-4 AVC I H.264 can transmit a stream of video with a higher degree of freedom than before.
  • MP MEG4 AVC I H.264 since it is possible to have a plurality of reference pictures, it is possible to refer to a plurality of past pictures. For example, it is possible to predict a future P picture in a display order from a certain I picture by referring to a past P picture in a display order from the I picture.
  • an I-picture is simply recorded as a random-accessible position (entry point) in the EP-map as in the prior art, there is no guarantee that random-access playback can always be performed from the I-picture. Atsuta. Disclosure of the invention
  • an object of the present invention is to provide a video stream having a prediction mode of predicting a future picture in display order from an I picture by using a past picture in display order from the I picture as a reference picture.
  • a data recording apparatus, a method and a program, a data reproducing apparatus, a method and a program, a recording medium, and a recording medium which enable random access to the video stream reproduced from the recording medium.
  • independent decoding is possible to solve the above-mentioned problems. From the highest available picture to the picture immediately before the next independently decodable picture in decoding order, and the display order is higher than the independently decodable pictures in the unit.
  • a data recording device that encodes a video stream by using an encoding method capable of predicting a future picture from a picture in a unit earlier than the unit, and records the encoded video stream on a recording medium, From the independently decodable picture to the picture immediately before the next independently decodable picture in decoding order as a unit.
  • Table creation means for creating a table in which reproduction time information on an encoded video stream and position information on an encoded video stream of pictures that can be decoded independently are associated with each other;
  • a data recording device comprising: a recording unit that records an encoded video stream encoded in step (1) and a table created by a table creating unit on a recording medium in association with each other.
  • the second invention uses, as a unit, a set from an independently decodable picture to a picture immediately before a next, independently decodable picture in decoding order. Data that encodes a video stream using an encoding method that can predict future pictures in the display order from pictures that can be decoded from the pictures in the unit past the unit, and records them on the recording medium.
  • the video stream is composed of a set from an independently decodable picture to a picture immediately before the next independently decodable picture in decoding order. Prohibits predicting future pictures in the display order from pictures that can be decoded independently from pictures in units past the unit.
  • the encoding step of generating an encoded video stream by performing encoding with restriction such that the reproduction time information of the picture that can be independently decoded on the encoded video stream, and the encoding time on the encoded video stream Table creation step for creating a table in which the position information is associated with the coded video stream encoded in the encoding step and the table created in the table creation step are recorded in association with each other. And a recording step of recording on a medium.
  • a third invention is a data recording method comprising: a picture that can be decoded independently; The unit up to the picture immediately before the decodable picture is the unit, and the future pictures in the unit in display order from the independently decodable picture are called the unit.
  • a data recording program for causing a computer device to execute a data recording method of encoding a video stream using an encoding method that can be predicted from a picture in a past unit and recording the encoded video stream on a recording medium, a data recording method is provided. Sets the video stream as a unit from the independently decodable picture to the picture immediately before the next independently decodable picture in decoding order.
  • the fourth invention uses a set of a picture from an independently decodable picture to a picture immediately before a next independently decodable picture in decoding order as a unit.
  • the video stream is divided into a set from an independently decodable picture to a picture in the decoding order that is in the future and immediately before the next independently decodable picture.
  • a table created by associating the generated coded video stream, the playback time information on the coded video stream of the independently decodable picture, and the position information on the coded video stream.
  • a decoding unit that decodes the encoded video stream reproduced by the reproducing unit corresponding to the reproduction time information based on the table reproduced by the reproducing unit.
  • a decoding control means for controlling the decoding from the position of the coded video stream indicated by the position information.
  • a unit from a picture that can be independently decoded to a picture immediately before the next picture that can be decoded in the future in the decoding order is used as a unit.
  • a recording medium that encodes and records a video stream using an encoding method capable of predicting a future picture in a display order from a picture that can be decoded from the picture in a unit past the unit.
  • the video playback method The unit of the stream is a set from the independently decodable picture to the picture in the decoding order in the future, immediately before the next independently decodable picture. Independently from the coded video stream generated by performing coding by restricting so as to prohibit predicting future pictures in the display order from possible pictures from pictures in units past the unit.
  • a recording medium in which reproduction time information of a picture that can be decoded on an encoded video stream and a table created by associating positional information on an encoded video stream with each other are recorded.
  • the playback step for playback and the decoding of the encoded video stream played back in the playback step correspond to the playback time information based on the table played in the playback step.
  • a de Isseki reproduction method characterized by a step of decoding control to control so as to perform the position of the code mildew de O stream indicated by the position information that.
  • the sixth invention is a unit of a set from an independently decodable picture to a picture immediately before the next independently decodable picture in the decoding order, and A recording medium that encodes and records a video stream using an encoding method capable of predicting a future picture in a display order from a picture that can be decoded from the picture in a unit past the unit.
  • the overnight reproduction method includes the steps of: decoding a video stream from an independently decodable picture in the decoding order;
  • the unit up to the picture immediately before the picture that can be decoded is the unit, and the future pictures in the unit in the display order than the pictures that can be decoded independently are
  • a code mildew de O stream generated performs encoding by limiting to prohibit be predicted from picture in the unit of removed by, for capable of independently decoded picture, encoded video
  • the recording medium is characterized by being performed.
  • the eighth invention is an independent unit within a unit, which is a set of a picture from an independently decodable picture to a picture immediately before a next independently decodable picture in decoding order. Encodes a video stream using an encoding method that can predict future pictures in the display order from pictures that can be decoded, and pictures from units in the past.
  • the video stream is composed of a set from a picture that can be decoded independently to a picture in the decoding order in the future and the picture immediately before the next picture that can be decoded independently.
  • the coded video stream corresponds to a table created by associating the reproduction time information of the picture that can be decoded independently on the coded video stream with the position information on the coded video stream. This is the attached data structure.
  • the first, second, and third aspects of the present invention cover a range from an independently decodable picture to a picture in the decoding order in the future and immediately before a next independently decodable picture.
  • a video stream that uses the set as a unit and that can predict future pictures in the display order from the independently decodable pictures in the unit from the pictures in the unit past the unit.
  • a video stream is shifted from a picture that can be independently decoded to a picture immediately before the next picture that can be decoded in the future in the decoding order.
  • Coded video stream generated by limited coding associating playback time information on the coded video stream of the independently decodable picture with position information on the coded video stream Is recorded on the recording medium in association with the table created in the above step. Therefore, when the recording medium is reproduced, the random access reproduction in which the reproduction time is specified for the encoded video stream reproduced from the recording medium is performed. Guaranteed.
  • the fourth, fifth, and sixth aspects of the present invention relate to a video stream from an independently decodable picture to a picture in the decoding order of a future picture immediately before the next independently decodable picture.
  • Encoding is performed with the set as a unit, restricting to prohibit predicting future pictures in the display order from the independently decodable pictures in the unit from the pictures in the unit past the unit.
  • a table created by associating the generated encoded video stream with the reproduction time information of the independently decodable picture on the encoded video stream and the position information on the encoded video stream. Is played back on the recording medium on which the encoded video stream is recorded in association with the position information corresponding to the playback time information based on the played back table. Because and are controlled so as to perform the position of the coded video stream that is, the recorded marks Goka stream on a recording medium, a random access is performed by specifying a reproduction time playback is guaranteed.
  • a seventh invention is a video stream in which a set from an independently decodable picture to a picture immediately before a next, independently decodable picture in the decoding order is used as a unit. Encoding generated by restricting the future picture in the display order from the picture that can be decoded independently from the picture in the unit earlier than the unit so as to prohibit it from being predicted.
  • the video stream is associated with a table created by associating the reproduction time information of the picture that can be independently decoded on the encoded video stream with the position information on the encoded video stream. Since the coded stream is recorded, random access reproduction by designating the reproduction time is guaranteed when the coded stream recorded on the recording medium is reproduced.
  • the decoding order is determined from a picture that can be decoded independently.
  • the future picture in the unit in the display order of the independently decodable picture in the unit of the set up to the picture immediately before the next independently decodable picture in the unit, and past in the unit In the data structure of the data obtained by encoding the video stream using an encoding method that can be predicted from the pictures in the unit, the video stream is decoded in the decoding order from the picture that can be decoded independently.
  • the unit is the set up to the picture immediately before the next independently decodable picture in the future, and the future picture in the unit in display order from the independently decodable picture, and the past picture in the unit
  • encoding of an AV stream is This is performed by restricting the future picture in the display order from the I picture of the GOP from being predicted from the picture of the past GOP. Also, an entry is made of the PTS of the access unit starting from the I-picture or the IDR picture defined by MPEG 4 AVCIH.264, which is coded with restriction as described above, and the address of the access unit in the AV stream.
  • An EP-map having points is created, and both the EP-map and the AV stream are recorded on a recording medium. Therefore, the entry point in the AV stream indicated by EP—map The effect is that random access reproduction from the data is guaranteed.
  • FIGS. 1A and 1B are diagrams for explaining a prediction mode according to the prior art for predicting a future picture in a display order from the I picture of the current GOP from a picture of the past GOP.
  • FIG. 2 is a schematic diagram showing a schematic structure of an application format on a recording medium used in a recording / reproducing system to which the present invention can be applied, and FIG. 3 is used in a recording / reproducing system according to the present invention.
  • FIG. 4 is a schematic diagram schematically illustrating the structure of an AV stream recorded on a recording medium
  • FIG. 4 is a schematic diagram illustrating an example of a clip AV stream used for describing an EP map
  • FIG. 6C are schematic diagrams conceptually illustrating an example of EP—ma P.
  • FIG. 7 is a diagram for explaining an access unit starting from a randomly accessible I picture. Illustration shows source pointed to by field SPN—EP_start
  • FIG. 8 is a schematic diagram showing a data structure of an example of a packet
  • FIG. 8 is a diagram for explaining EP-map in more detail
  • FIG. 9 is a diagram for explaining EP-map in more detail.
  • FIG. 10 is a diagram for explaining EP-map in more detail.
  • FIG. 11 is a schematic diagram showing an example of syntax of a table EP—map_for-0 ne_stream_PID ().
  • Fig. 12 is a schematic diagram showing an example of the syntax of a block EP_map_for_one-stream_PID.
  • Fig. 12 is a schematic diagram showing an example of the syntax of a block EP_map_for_one-stream_PID.
  • FIG. 13 is a flowchart showing an example of a procedure of creating an EP-map.
  • FIG. 14B is a diagram for explaining a case where a video PID changes in a transport stream.
  • FIG. 15 is a block diagram showing an example of a player model for searching an I picture or an IDR picture.
  • Figure 16 shows an example of an I-picture search using the player model.
  • Flowchart showing a sense, the first 7 Figure A and FIG. 17B is a block diagram showing a configuration of an example of a moving image recording / reproducing apparatus applicable to an embodiment of the present invention.
  • FIG. 2 shows a schematic structure of an application format on a recording medium used in a recording / reproducing system to which the present invention can be applied.
  • This format has two layers, a playlist (PlayList) and a clip (Clip), for managing an AV stream.
  • a pair of one AV stream and its accompanying information is considered as one object, and this is called a clip.
  • the AV stream file storing the AV stream is called a clip AV stream file (Clip AV Stream File), and the file storing the corresponding attached information is called a clip information file (Clip Information File).
  • the contents of the clip AV stream file are expanded on the time axis, and the playlist specifies the access point in the clip with a time stamp.
  • the clip information file is used to find address information in the clip AV stream file at which to start decoding the stream.
  • a playlist is a set of playback sections in a clip.
  • One playback section of a certain clip is called a play item (Playltem).
  • a play item is represented by a pair of an IN point and an OUT point on the time axis.
  • a playlist is a collection of play items.
  • FIG. 3 schematically managed by volume information shows the structure of an AV stream recorded on a recording medium used in the recording / reproducing system according to the present invention.
  • an AV stream is treated as a BDAV (Blu-ray Disc Audio / Video) MPEG2 transport stream on a recording medium.
  • the B DA VMP EG 2 transport stream is composed of an integer number of aligned units (Aligned Units) each having a size of 6144 bytes.
  • the write unit consists of 32 source packets (Source Packets).
  • the source packet has a size of 192 bytes, and one source bucket has a transport packet transport header (TP-extra header) of 4 bytes and a size of 188 bytes. It consists of a transport packet.
  • TP-extra header transport packet transport header
  • the data of the video stream and the audio stream is packetized in MPEG 2 PES (Packetized Elementary Stream) packets. That is, the data of the video stream or the audio stream is appropriately divided and packed into the PES packet data section.
  • a header is added to the PES packet data portion, including a PES packet including a stream ID for specifying a type of an elementary stream transmitted by the PES packet, thereby forming a PES packet.
  • PES packets are further packetized into transport packets. That is, the PES packet is divided into the size of the payload of the transport packet, and a transport packet header is added to the payload to form a transport packet.
  • the transport bucket header identifies the data stored in the pay Includes PID (Packet ID) which is another information.
  • the source packet is assigned a source packet number that is incremented by 1 for each source packet, with 0 as the beginning of the clip AV stream, for example.
  • the override unit starts from the first byte of the source packet.
  • the above-mentioned clip information file includes EP_map.
  • EP map, as described in the background art, should start reading data in a clip AV stream file when the time stamp of the clip access point is given. Used to search for an overnight address.
  • E-map is a list of entry points (EPs) extracted from the elementary stream and the transport stream.
  • EP—map has address information for searching for an entry point to start decoding in the AV stream.
  • One piece of EP data in EP—map is composed of a presentation time stamp (PTS) and a data address in the A stream of the access unit corresponding to the PTS.
  • PTS presentation time stamp
  • one access unit corresponds to one picture.
  • FIG. 4 shows an example of a clip AV stream used for explaining EP_map.
  • three video streams are multiplexed in the clip AV stream.
  • Each video stream is distinguished for each source packet by a PID (Packet Identification) contained in a transport packet header in the source packet.
  • PID Packet Identification
  • Each video stream can be randomly accessed at the position of the I picture.
  • the source packet including the first byte of the I-picture is filled, shaded, hatched, and ⁇ X (crossed). ) "".
  • Squares that are not filled indicate a source packet ⁇ ⁇ that includes video data that does not become a random access point and a source bucket that includes data other than video data.
  • the source bucket of source packet number X1 including the first byte of a randomly accessible I-picture, is represented in the time axis of the clip AV stream.
  • PTS pts (x 1).
  • FIG. 5 conceptually shows an example of an EP-map corresponding to the clip AV stream of FIG.
  • EP-map has data of field stream_PID, entry PTS_EP-start and entry SPN-EP_start.
  • Field stream_PID stores the PID of a transport packet that transmits the video stream.
  • the entry PTS-EP_start stores the PTS of an access unit (described in detail later) starting from a randomly accessible I picture.
  • the entry SPN-EP_start stores the address of the source bucket including the first byte of the access unit referenced by the value of the entry PTS_EP_start in the AV stream. Referring to the example shown in FIG.
  • EP-map the PID of each video stream is stored in the field stream_PID, and for each field stream_PID, the entry PTS_EP__start and the entry SPN-EP —
  • a table EP consisting of the correspondences of st art — map—for one—st ream—PIDO is created.
  • PTS pts (xk) and source packet number X k correspond to each other.
  • This table is created for each video stream represented by another PID multiplexed on the same clip AV stream.
  • This EP-map is stored in the clip information file corresponding to the clip AV stream.
  • FIG. 6A, FIG. 6B and FIG. 6C are diagrams for explaining the access unit starting from the random accessible I picture described above.
  • each square represents a picture
  • the picture indicated by the “entry point” arrow is an access unit starting from a randomly accessible I picture.
  • FIGS. 6A and 6B show an IDR picture defined by MPEG4 AVC1 H.264. According to MPEG4AVC1H.264, it is prohibited to predict a picture subsequent to the IDR picture in decoding order from a picture preceding the IDR picture.
  • FIG. 6A it is possible to predict and encode a picture P12, which is a picture after the IDR picture in decoding order, from a picture P10, which is a picture before the IDR picture in decoding order. It is forbidden.
  • the decoding order of the picture after the "GOP break" in the figure is an IDR picture, a picture bl0, a picture pi3, and a picture b12. I have.
  • the picture b10 is a picture after the IDR picture in the decoding order, it is prohibited to predict and encode the picture b ⁇ 2 before the IDR picture.
  • FIG. 6B prediction of picture p13 from picture p02 is prohibited.
  • FIG. 6C is an example in which the IDR picture in FIG. 6B is replaced with an I picture (picture i 11).
  • the picture i 11 is restricted to prohibit predicting future pictures in the display order of the current GOP's I picture from past GOP's pictures, Perform the conversion.
  • the prediction of the picture p13 from the picture p02 is prohibited at the time of encoding.
  • MP EG4 AVC I H.264 does not explicitly define GOP unlike MP EG 2.
  • a set of pictures starting from an IDR picture or an I picture in the decoding order and ending just before the next IDR picture or an I picture is referred to as a GOP for convenience. I do.
  • different inter-frame coding types such as I slice, P slice, and B slice are sliced in one picture. Can be mixed by bell.
  • I slice, P slice, and B slice are sliced in one picture. Can be mixed by bell.
  • I picture refers to a picture in which all slices in the picture are I slices.
  • FIG. 7 shows an example of a data structure of a source packet (source packet) indicated by the field SPN_EP-start.
  • the source packet consists of a transport packet of size 188 bytes and a header TP—extrajieader of size 4 bytes.
  • the transport packet part consists of a header part (TP header) and a payload part.
  • the field SPN-EP-start is the source bucket containing the first byte of the access unit starting from the IDR picture or I picture described using Fig. 6A, Fig. 6B and Fig. 6C.
  • the source bucket number is stored.
  • an access unit or picture starts with an AU delimiter (Access Unit Delimiter).
  • SRS Sequence Parameter Set
  • PPS Picture Parameter Set
  • FIG. 8 The table EP_map_for—one_streamJ D () is divided into two sub-tables, EP—coarse and EP_fine, as shown in an example in FIG.
  • Subtable EP coarse is a rough single This is a table for searching by order
  • the sub-table EP-fine is a table for performing searching in more precise units.
  • the data size of the table EP—map—for—one_stream_PIDO can be reduced, and the performance of data search can be improved.
  • the sub-table EP-fine is a table in which the entry PTS-EP-fine is associated with the entry SPN_EP-fine.
  • entry numbers are assigned to entries in ascending order, for example, with "0" in the top row.
  • the data width of the entry PTS_EP_fine and the entry SPN_EP-fine is 4 bytes.
  • the sub-table EP_coarse is a table in which the entry ref_to_EP_fine_id, the entry PTS_EP_coarse and the entry SPN-EP_coarse are associated.
  • the entry re-to_EP_fine_id, entry PTS_EP—coarse and entry SPN—EP_coarse together make the data width 8 bytes.
  • the number of entries N f of the sub-table EPJine is smaller than the number of entries N c of the sub-table EP_coarse.
  • the entries of the sub-table EP_f ine are the entries in the EP_map a PTS _EP—st art and an entry SPN_EP—st art It consists of bit information on the LSB (Least Sign if icant Bit) side.
  • the entry of the sub-table EP_coarse consists of the bit information on the MSB (Most Significant Bit) side of each of these entries PTS_EP_start and entry SPN_EP—start, and the corresponding entry number in the sub-table EP—fine table .
  • This entry number is an entry in the sub-table EP-fine having the LSB side bit information extracted from the same data PTS-EP_start.
  • Figure 9 shows an example format of entry PTS-EP-coarse and entry PTS-EP_fine.
  • the PTS that is, the entry PTS_EP_start, has a data length of 33 bits.
  • the MSB bit is the 32nd bit and the LSB bit is the 0th bit, in the example of FIG.
  • the entry PTS—EP_coarse used when performing a search in a rough unit is the entry PTS_EP —
  • the 14 bits from the 32nd bit to the 19th bit of start are used. With the entry PTS_EP_coarse, it is possible to search within 5.8 seconds resolution and up to 26.5 hours.
  • 11 bits from the ninth bit to the ninth bit of the entry PTS_EP_st art are used.
  • the entry PTS-EP-fine allows a search with a resolution of 5.7 milliseconds and up to 11.5 seconds.
  • the 19th bit is used commonly by the entry PTS_EP_coarse and the entry PTS_EP_fine. Also, 9 bits from the 0th bit to the 8th bit on the LSB side are not used.
  • FIG. 10 shows an example of the format of the entry SPN_EP_coarse and the entry SPN-EP-fine.
  • the source bucket number that is, the entry SPN_EP_start
  • the entry SPN_EP_start has a data length of 32 bits.
  • the MSB bit is the 31st bit and the LSB bit is the 0th bit
  • the entry SPN_EP—coarse used when performing a search in a rough unit is All bits from the 31st bit to the 0th bit of the entry SPN_EP_start are used.
  • the entry SPN_EP_fine for performing a more precise search 17 bits from the 16th bit to the 0th bit of the entry SPN_EP_start are used.
  • the entry SPN_EP By using the entry SPN_EP —fine, it is possible to search up to, for example, an AV stream file of about 25 MB (Mega Byte). Even in the case of the source packet number, the value of the predetermined number of bits on the MSB side may be used as the entry SPN-EP_coarse. For example, as the end SPN—EP_coarse, 17 bits from the 31st bit to the 16th bit of the entry SPN_EP_start are used, and the entry SPN—EP—fine is the 16th bit of the entry SPN_EP_start 17 bits from to 0 are used.
  • FIG. 11 shows an example of the syntax of the table EP_map_for_one_stream_PID ().
  • the syntax is shown based on the C language description method used as a description language for programs such as computer devices. This is the same in other syntax diagrams.
  • Table EP_map_for_one_stream_PIDO constitutes block EP_mapO as a whole.
  • the field stream_PID [k] is an element referenced by the [k] -th table EP_map_for-one-stream_PID (hereinafter referred to as the [k] -th table EP_map_for_one—stream_PID) in the EP-map.
  • Field EP-stream_type [k] indicates the type of the elementary stream referred to by the [k] th table EPjnap-for_one_stream_PID.
  • the field num—EP—coarse—entries [k] indicates the number of subtable EP-coarse entries in the [k] th table EP—map_for_one—stream_P ID.
  • the field num_EP—fine_entries [k] indicates the number of entries in the sub-table EP-fine in the [k] th table EP_map_for—one_stream—PID.
  • Field EP_map_for_on e—stream—PID—star and address [k] is the [k] th table EP in the block EP—map 0 EP—map—for—on e_s tre am—indicates the relative byte position where the PID begins . This value is indicated by the number of bytes from the first byte of the block EP_niap ().
  • the block EP_map—for_one—stream_PID starts with the padding word interposed.
  • the block EP—map—for—one_stream_PID is an EP_map for one of one or a plurality of AV streams multiplexed in the transport stream, as described in FIGS. 4 and 5.
  • Fig. 12 shows an example of the syntax of the block EP_map_for-one-stream-P1D.
  • the entry PTS_EP_start and the entry SPN_EP_start associated with the entry PTS-EP-start respectively point to an entry point on the AV stream.
  • the entry PTS_EP_fine and the entry PTS_EP_coarse associated with the entry PTS_EP_fine are derived from the same entry PTS_EP_start.
  • the entry SPN_EP-fine and the entry SPN-EP-coarse associated with the entry SPN-EP_fine are derived from the same entry SPN_EP_start.
  • entry PTS-EP_start and entry SPN-EP_start are defined as follows.
  • the entry PTS_EP_start is an unsigned integer having a data length of 33 bits, and is included in the AV stream in the IDR described in FIGS. 6A, 6B, and 6C. From a picture or I picture Indicates the 33-bit long PTS of the video access unit to start.
  • the entry SPN_EP_start is a 32-bit unsigned integer as shown in FIG. 10, and is the AV of the source bucket including the first byte of the video access unit associated with the entry PTS-EP_start. Indicates the address in the stream.
  • the entry SPN—EP_start is expressed in units of the source packet number, and is counted from the first source packet in the AV stream file as a value that increases by 1 for each source packet, with the value “0” as the initial value. You.
  • the block EP—map_for_one—stream_PID includes a first for loop for describing a sub-table EP_coarse for performing a search in a rough unit, and a first for loop for describing the first for loop. It consists of a sub-table EP for performing a more detailed search based on the search results, and a second for loop for describing fine.
  • a field EP—fine_table_start—address is provided prior to the first and second for loops.
  • Field EP_fine_tabl e_start address is the start address of the first byte of the field EP_video_type [EP—fine_id] in the first second for loop, and the first byte of the block EP—map_for_one—stream_PID () It is indicated by the relative number of bytes from the point. The relative byte count starts with the value "0".
  • the first for loop is iterated with sub-table EP—coarse entries N c with argument ⁇ ⁇ ].
  • the field re to to—EP—fine_id [i] is associated with the entry PTS—EP—coarse [i] indicated by the field PTS_EP_coarse [i] following the field re to to_EP_fine_id [i] Indicates the entry number in the sub-table EP-fine having the entry PTS_EP_fine.
  • Entry PTS—EP—fine and entry PTS EP coarse associated with this entry PTS_EP_fine The same entry PTS _EP — derived from start.
  • the field re_to_EP—fine_id [i] is given by the value of the argument [EP—finejd], which is defined in the order described in the second for loop.
  • a second for loop is placed with the paddinga word between them.
  • the second for loop is repeated with the argument [EP_fine_id] with the number of rows N f of the sub-table EP_fine as the maximum value.
  • the field EP-video_type [EP_fine_id] and field I-end_position_offset [EP-fine_id] are followed by the field PTS-EP-fine [EP-fine_id] and the field SPN—EP—fine [EP—fine_id] are provided.
  • the field PTS_EP_fine [EP—fine_id] and the field SPN—EP_fine [EP_fine_id] are the entries PTS—EP—fine and entry SPN—EP referenced from the subtable EP—fine by the argument [EP—fine_id]. — Each of ⁇ e is stored.
  • Entry PTS_EP_coarse and entry PTS_EP-fine, and entry SPN-EP-coarse and entry SPN_EP-fine are derived as follows. Suppose that there are N f entries in the sub-table EP_fine which are arranged in ascending order of the value of the related data SPN_EP-start. Each entry PTS_EP_fine is derived from the corresponding entry PTS-EP-start as shown in the following equation (1).
  • PTS_EP_fine [EP_fine_id] (PTS_EP_start [EP_fine_id] ⁇ 9) / 2 11--(1)
  • PTS—EP-coarse [i] (PTS_EP_s start [ref_to_EP_fine_id [i]] ⁇ 1 9) / 214 ⁇ (2)
  • Each entry SPN_EP-fine is derived from the corresponding entry SPN_EP-start as shown in the following equation (4).
  • SPN_EP_fine [EP_fine_id] SPN_EP_start [EP_fine_id] / 217 (4)
  • SPN_EP_coarse [i] SPN_EP_start [ref_t o_EP_f i ne_id [i]] ⁇ . (5)
  • SPN_EP_fine [ref_to_EP_fine_id [i]] SPN_EP_start [ref_to_EP_fine_id [i]] / 217 (6)
  • the symbol “>> x” means that bits starting from the digit exceeding X bits from the SB side of the data are used.
  • FIG. 13 The flowchart processing of FIG. 13 is performed in the multiplexed stream analysis unit 25 described later with reference to FIGS. 17A and 17B.
  • the processing of this flowchart is performed. Be done.
  • the input transport stream is input to the multiplexed stream analyzer 25.
  • the multiplexed stream analyzer 25 analyzes the input transport stream and records the clip in the AV stream. Set the PID of the video. Transports input If multiple videos with different PIDs are included in the trim, set each video PID.
  • the multiplexed stream analysis unit 25 selects a video transport bucket having the set video PID from the input transport stream, and receives the transport bucket.
  • the multiplexed stream analyzer 25 checks whether or not the pay mouth of the received transport bucket starts from the first byte of the PES bucket. This can be determined from the value of the flag & 1 0 & (1_1) 11 1 5 1 31 "and ⁇ (1 ⁇ & 1 01" in the transport bucket header. It indicates that the payload of the transport packet starts from the first byte of the PES packet, and if it is determined that the payload of the transport bucket does not start from the first byte of the PES packet, the processing is performed. Is returned to step S12.
  • step S13 If it is determined in step S13 that the payload of the transport packet starts from the first byte of the PES bucket, the process proceeds to step S14.
  • step S14 the multiplexed stream analysis unit 25 determines whether the PES bucket data section of the PES bucket has the IDR picture described using FIG. 6A, FIG. 6B, and FIG. 6C. Check whether the video access unit starting from any one of the I pictures starts from the first byte. This can be seen by examining the SPS and PPS following the access unit delimiter and the access unit delimiter, as described with reference to FIG. If it is determined that the processing does not start from the first byte, the process returns to step S12.
  • step S14 the PES packet data part of the PES packet Is determined to have started from the first byte of the video access unit starting from either the IDR picture or the I picture, the process proceeds to step S15.
  • step S15 the multiplexed stream analyzer 25 uses the current transport packet (that is, source packet) as an entry point.
  • the multiplexed stream analysis unit 25 calculates the packet number (source packet number) of the transport packet (source packet) that was set as the entry point in step S15, The PTS of the IDR picture or I picture stored in the packet and the PID of the video to which the entry point belongs are acquired. The acquired information is passed from the multiplexed stream analyzer 25 to the controller. The control unit creates E P-map based on the passed information.
  • the bucket number of the transport bucket used as the entry point is, for example, assuming that the bucket number of the transport bucket storing the first byte of the clip AV stream file is “0” and the step S 12 It is obtained by incrementing the bucket number by "1" each time a video transport bucket is received.
  • the PTS of the IDR picture or I picture is stored in the header of the PES bucket.
  • the multiplexed stream analyzer 25 determines whether or not the currently input transport packet is the last input transport packet. If it is determined that the packet is the last transport bucket, a series of processing ends. If it is determined that the packet is not the last transport packet, the process returns to step S12. .
  • FIG. 15 shows an example of a player model for searching for an I picture or an IDR picture.
  • searching for an I picture or an IDR picture is referred to as an I picture search for convenience.
  • FIG. 16 is a flowchart showing an example of an I picture search process using the player model shown in FIG.
  • the player model is drive 100, file It comprises a system 101, a host controller 102, a demultiplexer 103 and a decoder 104.
  • the host controller 102 is composed of, for example, a CPU (Central Processing Unit), and the file system 101, the demultiplexer 103 and the decoder 104 can each be configured by hardware, and operate on a CPU. It may be configured by software that performs A user interface (UI) not shown transmits instructions from the user to the host controller.
  • UI user interface
  • the file system 101 plays the disc loaded in the drive 100, reads the clip information file from the disc, and transfers the EP_map data in the information file to the host controller 1.
  • the UI sets the program number of the program to be played and the PTS of the search start time based on the user's instruction. The set value is sent to the host controller 102 (step S21).
  • the host controller 102 searches the EP-map for the entry SPN-EP-start corresponding to the PTS indicating the search start time, and the source bucket indicated by the searched entry SPN_EP_start.
  • the sub table EP fine is detected.
  • an entry PTS_EPJine corresponding to the value of the 11th bit from the 10th bit on the LSB side of the PTS corresponding to the search start time is obtained.
  • the video PID of the source bucket number pointed to by the entry SPN—EP_corrse corresponding to this entry PTS_EP_line is set in the demultiplexer 103.
  • the entry SPN-EP_fine uses the 17 bits on the MSB side of the entry SPN_EP_start, the source packet indicated by a predetermined combination of the entry SPN_EP_fine and the entry SPN-EP-coarse
  • the video PID of the default number is set in the demultiplexer 103.
  • the host controller 102 sets the file address corresponding to the source bucket number obtained in step S22 in the file system 101.
  • the file system 101 instructs the drive 100 to read the transport stream from the specified data address.
  • the drive 100 reads the transport stream from the specified data address based on this instruction. This transport stream is passed to the file system 101, and is passed from the file system 101 to the demultiplexer 103.
  • the demultiplexer 103 removes the header TP-extrajiader from the supplied transport stream to form a transport bucket, and, based on the video PID set in step S22 described above, converts the corresponding transport stream into a transport bucket. Select and remove port packets. Then, the transport packet header is removed from the extracted transport packet, and the original AV stream is restored by connecting the payload.
  • This AV stream is supplied to a decoder 104 and decoded in a predetermined manner. Audio and video output.
  • step S25 it is determined whether or not there is a next search instruction from the user. If there is a next search instruction, the process returns to step S21.
  • the data of the source packet number indicated by the entry SPN_EP_fine indicates the address of the source packet including the first byte of the access unit starting from an I picture or an IDR picture that can be randomly accessed. .
  • a randomly accessible I picture or IDR picture is always accessed in a search operation and the like, and random access reproduction in the MPEG4AVC IH.264 video stream is guaranteed.
  • FIG. 17A and FIG. 17B show a configuration of an example of a moving image recording / reproducing apparatus applicable to one embodiment of the present invention.
  • the control unit 17 includes, for example, a CPU (Central Processing Unit), a ROM (Read Only Memory), and a RAM (Random Access Memory).
  • the ROM stores in advance programs operated on the CPU and data necessary for the operations.
  • RAM is used as work memory for CPU.
  • the CPU reads out the programs and data stored in the ROM as needed, and controls the entire moving image recording / reproducing apparatus while using the RAM as a work memory.
  • a user interface (not shown) having various controls such as switches and a display element for simply displaying is connected to the user interface input / output terminal 28.
  • a control signal corresponding to the user's operation on the user interface is input to the user interface. It is supplied to the control unit 17 via the output terminal 28.
  • the display control signal generated by the control unit 17 is supplied to the user interface through the interface input / output terminal 28.
  • the user interface can supply the display control signal to a monitor device such as a television receiver to display the display control signal.
  • Video signal is input to input terminal 30.
  • An audio signal is input to the input terminal 31.
  • the input video signal and audio signal are supplied to an AV encoder 23.
  • the video signal is also supplied to a video analysis unit 24.
  • the AV encoder 23 encodes the input video signal and audio signal, and outputs an encoded video stream V, an encoded audio stream A, and system information S, respectively.
  • the AV encoder 23 converts the input video signal into a future display order, compared to the I picture of the current GOP, like the I picture described with reference to FIGS. 6A, 6B, and 6C. Of the picture is restricted so that prediction from the past GOP is prohibited.
  • the AV encoder 23 encodes the input video signal using an encoding method conforming to MPEG4AVCIH.264. In this case, encoding may be performed so as to form an I picture for each GOP as described above, or encoding may be performed with an IDR picture arranged for each GOP.
  • the AV encoder 23 encodes the audio signal into a format such as, for example, an MPEG 1 audio stream or a Dolby AC 3 audio stream.
  • the system information S includes coding information for video and audio signals, such as the byte size of coded pictures and audio frames, and the coding type of pictures, and synchronization of video and audio. It consists of time information about the throat.
  • the multiplexer 22 multiplexes the supplied coded video stream V and coded audio stream A based on the system information S, and outputs a multiplexed stream.
  • the multiplexed stream is, for example, an MPEG2 transport stream or an MPEG2 program stream. If the multiplexing stream is an MPEG-2 transport stream, the coded video stream V, coded audio stream A and system information S are each divided into the size of the transport bucket payload, and a predetermined header is added. And is converted into a transport packet. PID is stored in the header in a predetermined manner so that each data type can be identified.
  • the multiplexed stream output from the multiplexer 22 is supplied to the source bucketizer 21 and the multiplexed stream analyzer 25 described above via the switch 50 whose terminal 50A is selected.
  • the source bucket filter 21 converts the supplied multiplexed stream into a clip AV stream composed of a source bucket, for example, as described with reference to FIG. 3, according to the application format of the recording medium. Encode.
  • the clip AV stream encoded by the source bucketizer 21 is subjected to error correction encoding by an ECC (Error Correction Coding) encoding unit 20, modulated into a recording code by a modulation unit 19, and written. Supplied to part 18.
  • the writing unit 18 records the clip AV stream modulated into the recording code by the modulation unit 19 on the recordable recording medium 10 based on the instruction of the control signal supplied from the control unit 17. I do.
  • clip AV streams are multiplexed.
  • the transport stream can be directly input and recorded on a recording medium.
  • a transport stream from a digital interface or a digital television tuner, such as a digital television broadcast, is input to the input terminal 32.
  • a method of recording the transport stream and a method of re-encoding for the purpose of lowering the recording bit rate or the like can be considered. Instructing which of the two recording methods is to be used for recording is performed, for example, by an operation on the user interface of the user, and a control signal corresponding to the operation is transmitted to the user interface input / output terminal 28. It is supplied to the control unit 17 via the controller. The control unit 17 controls each unit of the moving image recording / reproducing apparatus based on the control signal, and controls a recording method.
  • terminal 50B is selected at switch 50
  • terminal 51A is selected at switch 51
  • the transport stream input from input terminal 32 is selected.
  • the subsequent processing is the same as the above-described case where the video signal and the audio signal input to the input terminals 30 and 31 are encoded and recorded.
  • the terminal 51 B is selected in the switch 51 and the transport stream input from the input terminal 32 is supplied to the demultiplexer 15. You.
  • the demultiplexer 15 outputs the coded video stream and the coded audio stream multiplexed on the supplied transport stream.
  • the video stream A and the system information S are separated, and the coded video stream V is supplied to the AV decoder 16, and the coded audio stream A and the system information S are supplied to the multiplexer 22.
  • the AV decoder 16 decodes the encoded video stream V supplied from the demultiplexer 15, and supplies the decoded video signal to the AV encoder 23.
  • the AV encoder 23 encodes the supplied video signal to generate an encoded video stream V.
  • This coding like the I picture described with reference to FIG. 6A, FIG. 6B and FIG. 6C, uses a future picture in the display order compared to the I picture of the current GOP. Is encoded so that prediction from past GOPs is prohibited.
  • This encoded video stream V is supplied to the multiplexer 22.
  • the multiplexer 22 converts the coded video stream V coded and supplied by the AV encoder 23 and the coded audio stream A separated by the demultiplexer 15 into system information also separated by the demultiplexer 15. It multiplexes based on S and outputs a multiplexed stream.
  • the subsequent processing is the same as the above-described case where the video signal and the audio signal input to the input terminals 30 and 31 are encoded and recorded.
  • This moving image recording / playback apparatus records a clip AV stream file on a recording medium 10 as described above, and further records application database information related to the clip AV stream file to be recorded.
  • the application database information includes moving image feature information from the video analysis unit 24, clip AV stream feature information from the multiplexed stream analysis unit 25, and user instruction information input from the terminal 28. It is created by the control unit 17 based on the
  • the moving image feature information obtained from the video analysis unit 24 is information generated in the moving image recording / reproducing apparatus when a video signal is encoded and recorded by the AV encoder 23.
  • the video analysis unit 24 supplies a video signal input from the input terminal 30 or a video signal separated from the transport stream input from the input terminal 32 by the demultiplexer 15 and decoded by the AV decoder 16. Is done.
  • the video analysis unit 24 analyzes the content of the supplied video signal and generates information on an image of a characteristic mark point in the input video signal. For example, the video analysis unit 24 detects special mark points such as a program start point, a scene change point, and a CM (commercial) broadcast start and end point in the input video signal.
  • the instruction information of the image of the marked point is obtained. Further, a thumbnail image of the image at the mark point may be generated.
  • a thumbnail image is an image obtained by reducing actual image data by a thinning process or the like.
  • the position of the thumbnail image on the clip AV stream can be indicated by PTS.
  • the instruction information of these images, the thumbnail images and the position information of the thumbnail images are supplied to the multiplexer 22 via the control unit 17.
  • the multiplexer 22 transmits the address information of the coded picture on the clip AV stream to the control unit 17. return.
  • the control unit 17 associates the characteristic image type with the address information of the corresponding encoded picture on the clip AV stream, and stores the information in, for example, RAM.
  • the characteristic information of the clip AV stream obtained from the multiplexed stream analysis unit 25 is information related to the encoding information of the clip AV stream to be recorded, and is generated in the moving image recording / playback apparatus.
  • the entry stamp includes a short stamp and address information corresponding to the entry stamp as characteristic information of the clip AV stream.
  • discontinuity information of STC System Time Clock
  • change information of program contents address information corresponding to arrival time, and the like are included as characteristic information of the clip AV stream.
  • the address information is the data stored in the EP-map described above.
  • the change information of the program contents in the clip AV stream is data stored in a block Programlnfo (not shown) in the clip information file.
  • the multiplexed stream analyzer 25 detects a characteristic mark point image in the clip AV stream, and detects the detected image. And the address information are generated. This information is the data stored in the block ClipMark (not shown) in the clip information file. As described above, the characteristic information of the clip AV stream obtained by the multiplexed stream analysis unit 25 is stored in the clip information file which is the database of the clip AV stream. These pieces of information obtained by the multiplexed stream analyzer 25 are temporarily stored in, for example, the RAM of the controller 17.
  • User instruction information given to a user interface is supplied from the user interface input / output terminal 28 to the control unit 17.
  • This instruction information is, for example, in the clip AV stream.
  • the user's instruction information is temporarily stored in the RAM of the control unit 17. These pieces of instruction information are stored on the recording medium 10 in a data base (not shown) included in the playlist.
  • the control unit 17 performs the above-described input information stored on the RAM, that is, the feature information of the moving image obtained from the video analysis unit 2 ′ 4, and the feature of the clip AV stream obtained from the multiplexed stream analysis unit 25.
  • Management of clip AV stream database (clip information), playlist database, and recorded contents of recording medium based on information and user instruction information input from user interface input / output terminal 28 Create information (info, drv) and thumbnail information.
  • the database information is read out from the RAM of the control unit 17 and supplied to the ECC encoding unit 20 from the control unit 17 in the same manner as the clip AV stream, and error-correction encoded, and recorded by the modulation unit 19.
  • the signal is modulated into a code and supplied to the writing unit 18.
  • the writing unit 18 records the record-encoded database information on the recording medium 10 based on the control signal supplied from the control unit 17.
  • the recording medium 10 records the clip AV stream file and the application data base information created as described in the recording operation.
  • the control unit 17 first instructs the reading unit 11 to read the ablation database information recorded on the recording medium 10. .
  • reading The unit 11 reads the application data base information from the recording medium 10 in response to the instruction.
  • the output of the reading unit 11 is supplied to the demodulation unit 12.
  • the demodulation unit 12 demodulates the output of the readout unit 11 and decodes the recording code into digital data.
  • the output of the demodulation unit 12 is supplied to the ECC decoding unit 13 where the error correction code is decoded and error correction processing is performed.
  • the error corrected application database information is supplied to the control unit 17.
  • the control unit 17 outputs a list of playlists recorded on the recording medium 10 to the user interface via the user interface input / output terminal 28 based on the application database information.
  • This list of playlists is displayed in a predetermined manner on, for example, a display unit provided in the user interface.
  • the user selects a playlist to be reproduced from the list of playlists, and an operation for reproducing the selected playlist is performed on the user interface.
  • a control signal corresponding to this operation is output from the user interface and supplied to the control unit 17 via the terminal 28.
  • the control unit 17 instructs the reading unit 11 to read a clip AV stream file required for reproducing the selected playlist.
  • the reading unit 11 reads the clip AV stream file from the recording medium 10 according to this instruction.
  • the output of the reading unit 11 is supplied to the demodulation unit 12.
  • the demodulation unit 12 demodulates the supplied signal, decodes the recording code, outputs it as digital data, and supplies it to the ECC decoding unit 13. £ (The decoding unit 13 decodes the error correction code of the supplied digital data and corrects the error.
  • the error corrected clip AV stream file is provided by the control unit 17 Then, it is supplied to the source depacketizer 14 after being processed by a file system unit (not shown).
  • the source bucketizer 14 converts the clip AV stream file recorded in the application format on the recording medium 10 into a demultiplexer 15 based on the control of the control unit 17. Convert to For example, the source bucketizer 14 decomposes the BDAV MPEG2 transport stream (see FIG. 3) reproduced from the recording medium 10 into source packet units, removes the header TP_extra—header from the source packet, and transports the packet. Bucket. The transport packetized clip AV stream is supplied to the demultiplexer 15.
  • the demultiplexer 15 controls the video stream V of the playback section (Pl.ayltem) specified by the control unit 17 of the clip AV stream supplied from the source depacketizer 14 based on the control of the control unit 17.
  • the audio stream A and the system information S are output and supplied to the AV decoder 16.
  • the demultiplexer 15 sorts the supplied transport buckets based on PID, and removes the transport bucket header for each of the sorted transport buckets before outputting.
  • the AV decoder 16 decodes the supplied video stream V and audio stream A, and derives the decoded reproduced video signal and reproduced audio signal to the video output terminal 26 and the audio output terminal 27, respectively.
  • the operation when the playlist selected by the user is played back halfway from a certain time on the clip AV stream is as follows.
  • the control unit 17 sets the entry point having the PTS closest to the specified time, that is, FIG. 6A and FIG.
  • the address of the video access unit starting from the IDR picture or I picture described with reference to B and FIG. 6C is used as described above, and EP-map is used based on the PTS at the specified time. Search for.
  • the control unit 17 instructs the reading unit 11 to read the clip AV stream file from the obtained address.
  • the read clip AV stream file passes through the demodulator 12, the ECC decoder 13, the source debucketizer 14, the demultiplexer 15, and the AV decoder 16, These are the playback video signal and the playback audio signal, and are derived to the output terminals 26 and 27, respectively.
  • the reading unit 11 reads the clip AV stream file from the recording medium 10 based on this instruction.
  • the read clip AV stream file is supplied to a demultiplexer 15 via a demodulator 12, an ECC decoder 13, and a source depacketizer 14, is transport-packetized by a demultiplexer 15, and is AV-decoded. Supplied to 16.
  • the playback operation when a mark with a user is selected from the program start point and scene change point stored in the block CI ipMark in the clip information is as follows. become.
  • the control unit 17 displays a thumbnail image list of a program start point or a scene change point stored in the block CI ipMark in the clip formation on a user interface (not shown), and the user This reproduction operation is started by selecting a desired thumbnail image from the thumbnail image list.
  • positional information for example, PTS
  • the control unit 17 determines the position to read the clip AV stream from the recording medium 10 based on the contents of the clip information, and instructs the reading unit 1 to read the clip AV stream. More specifically, the control unit 17 sets the entry point at the address closest to the address on the clip AV stream in which the picture corresponding to the thumbnail image selected by the user is stored, that is, FIG. 6 As described above, the address of the video access unit starting from the IDR picture or I picture described with reference to FIG. B and FIG. 6C is assigned to the EP based on the PTS at the time corresponding to the thumbnail image. Search using map. Then, the control unit 17 instructs the reading unit 11 to read the clip AV stream file from the obtained address.
  • the read clip AV stream file passes through the demodulator 12, ECC decoder 13, source debucketizer 14, demultiplexer 15, and AV decoder 16 as described above, and is played back.
  • the video signal and the reproduced audio signal are output to output terminals 26 and 27, respectively.
  • the type of the recording medium 10 is not particularly limited.
  • a disc-shaped recording medium conforming to the B1u-rayDysc (Blu-ray Disc) standard can be used as the recording medium 10.
  • B1u-rayDysc Blu-ray Disc
  • a disc with a diameter of 12 cm and a cover layer of 0.1 mm is used as the recording medium, and a blue-violet laser with a wavelength of 405 nm and an objective lens with a numerical aperture of 0.85 are used as the optical system. It has achieved a maximum storage capacity of 27 GB (gigabytes).
  • a hard disk can be used as the recording medium 10.
  • a memory can be used as the recording medium 10.
  • DVD Digital Versatile Disc
  • DVD-R DVD-R ecordable
  • DVD-RAM DVD-Random Access Memory
  • DVD-RW DVD-Rewri table
  • DVD + RW DVD + RW format
  • CD-R Compact Disc-Recordable
  • CD-RW Compact Disc-ReWri table
  • the recording medium 10 is not limited to a recordable recording medium. That is, a read-only recording medium in which data formed through a process similar to the above-described recording process of the moving image recording / reproducing apparatus is recorded in advance can be used as the recording medium 10. .
  • a read-only disc referred to as a BD-ROM
  • This BD-ROM can be used as the recording medium 10.
  • the present invention is not limited to this, and a read-only DVD-ROM (DVD-Read Only Memory) or a CD-ROM (Compact Disc-Read Only Memory) may be used as the recording medium 10.
  • the future picture in the display order from the current GOP I picture is A clip AV stream coded with restriction to prohibit prediction and an EP-map created corresponding to this coding are recorded in advance on such a read-only recording medium. And provide it to the user.
  • FIGS. 17A and 17B described above can be a moving image recording apparatus in which the configuration on the reproduction unit side is omitted.
  • the search operation and the like are performed smoothly, preferable.
  • the moving picture recording / reproducing apparatus shown in FIG. 17A and FIG. 17B has been described as being constituted by hardware, but this is not limited to this example. That is, in the moving image recording / reproducing apparatus, a part other than a mechanical part such as a drive unit into which the recording medium 10 is actually loaded can be configured as software. In this case, the software is stored in advance in, for example, the ROM of the control unit 17. However, the present invention is not limited to this, and the moving image recording / reproducing device can be configured on a computer device such as a personal computer.
  • software for causing the computer device to execute the moving image recording / reproducing apparatus is provided by being recorded on a recording medium such as a CD-ROM or a DVD-ROM. If the computer device can be connected to a network, the software can be provided via a network such as the Internet.
  • the multiplexed stream is described as the MPEG2 transport stream, but this is not limited to this example.
  • the present invention can be applied to a system that uses an MPEG2 program stream or a DSS (Digital Satellite System) transport stream as a multiplexing stream.
  • a pack is used instead of a source packet.

Abstract

Iピクチャより表示順で未来のピクチャを、当該Iピクチャより表示順で過去のピクチャ用いて予測する予測モードを持つようにビデオストリームを符号化し、記録媒体に記録する場合において、記録媒体から再生されたビデオストリームのランダムアクセスを可能とする。符号化時に、Iピクチャより表示順で未来のピクチャを、当該Iピクチャより表示順で過去のピクチャを用いて予測する予測モードを禁止するように制限する。また、Iピクチャの再生時間情報と当該Iピクチャが格納されるパケット番号とを対応付けるEP_mapを作成し、パケット化された符号化ストリームと共に記録媒体に記録する。再生時に、指定された再生時間を用いてEP_mapを検索して得られたパケット番号に基づき、記録媒体から再生した符号化ストリームの復号を制御する。再生時間を指定して行うランダムアクセス再生が保障される。

Description

明 細 書
デ一夕記録装置、 方法およびプログラム、 データ再生装置、 方法お よびプログラム、 記録媒体、 ならびに、 データ構造 技術分野
この発明は、 フレーム間圧縮を行うビデオデータの記録再生を行う ためのデータ記録装置、 方法およびプログラム、 データ再生装置、 方 法およびプログラム、 記録媒体、 ならびに、 データ構造に関する。 背景技術
ビデオデータおよびオーディォデータを 1本のストリームデ一夕に 多重化した A V (Audio, Video)ストリームを記録媒体に記録する技術 は、 既に実用化されている。 さらに、 特許文献 1 「特開 2 0 0 0— 3 4 1 640号公報」 および特許文献 2 「特開 2 0 0 2— 1 5 8 9 7 2 号公報」 には、 AVストリーム中のランダムアクセス可能な位置に関 する情報を属性情報として AVストリームと共に記録媒体に記録する ようにし、 再生時にこの属性情報を用いることにより、 AVストリ一 ムの読み出し位置の決定ゃ復号処理を速やかに行うことが可能とされ た技術が記載されている。
より具体的な例として、 AVストリームとして、 ビデオデ一夕を M P E G 2 (Moving Pictures Experts Group 2)方式で圧縮符号化した MP EG 2ビデオストリームが多重化されたトランスポートストリ一 ムを扱う場合について説明する。
なお、 MP E G 2 (Moving Pictures Experts Group 2)では、 DC T (Discrete Cosine Trans form)を用いたフレーム内圧縮符号化と、 時系列方向の予測符号化を用いたフレーム間圧縮符号化とを用いてビ デォデ一夕を圧縮符号化する。 ここで、 時系列方向に予測符号化を行 つた B (Bidirectional ly)ピクチャおよび P (Predictive)ピクチャと 、 1画面 ( 1フレーム) で完結する I (Ii ra)ピクチャとが定義され る。 最低 1枚の I ピクチャを含むそれ自身で完結したグループを GO P (Group Of Picture)と呼び、 M P E Gのストリームにおいて独立し てアクセス可能な最小の単位とされる。
また、 トランスポートストリームは、 所定サイズのトランスポート バケツ 卜単位でデ一夕の伝送や記録再生を行う。 データストリームを トランスポートバケツ 卜のペイ口一ドのサイズに分割し、 ヘッダを付 加してトランスポートパケッ トを形成する。
上述の特許文献 1および特許文献 2によれば、 トランスポートスト リーム中で、 MP E G 2ビデオのシーケンスヘッダから開始する I ピ クチャの再生出力の時間管理情報 (PTS : プレゼンテ一ションタイ ムスタンプ) と、 当該シーケンスヘッダの第 1バイ ト目をペイロード に含むトランスポートパケッ ト (ソースパケッ ト) の AVストリーム ファイル中でのソースバケツ ト番号とを取り出す。 取り出された PT Sおよびソースバケツ ト番号を、 ランダムアクセス可能な位置すなわ ちエントリポイント (E P) に関する情報として、 エントリポイント 毎に E P— m a pと呼ばれる属性情報に記録する。
一方、 現在の GOPの I ピクチャよりも表示順序で未来のピクチャ を、 過去の GO Pのピクチャから予測する予測モードを用いることが できる符号化方法が提案されている。 この予測モードを用いて符号化 した場合、 GOP単位でランダムアクセスを行うと、 完全には再生で きない GOPが存在することになる。 このような予測モードを禁止す ることによって、 現在の GO Pの I ピクチャからのランダムアクセス が可能となる技術が特許文献 3 「米国特許第 5 543847号明細書 J に開示されている。
第 1図 Aおよび第 1図 Bを用いて説明する。 なお、 第 1図 Aおよび 第 1図 Bにおいて、 「 i l 2」 が I ピクチャ、 「p 0 2」 、 「p 0 3 J 、 · · ·が Pピクチヤ、 「 b 0 0」 、 「 b 0 1」 、 · · ·が Bピク チヤをそれぞれ示す。 また、 上段および下段は、 それぞれ例えば偶数 フィールドおよび奇数フィールドを示す。
特許文献 3では、 Pピクチャを、 直近の 2枚の Pピクチャを参照し て予測することが提案されている。 これによれば、 第 1図 Aの例では 、 GO P 1に属するピクチャ p 1 6は、 直近の、 同じ GOP 1に属す るピクチャ P 1 3と、 GOP 1より過去の GOP 0に属するピクチャ p 0 3の、 2枚の Pピクチャを参照ピクチャとして符号化される。 こ こで、 GOP 1に対してランダムアクセスを行うと、 再生はピクチャ i 1 2から行われることになり、 ピクチャ p 1 3は、 参照ピクチャと して用いているピクチャ p 0 3を参照できないため、 復号できず、 ピ クチャ p 0 3および p l 3を参照ピクチャとして用いるピクチャ p 1 6も、 復号できない。 さらに、 ピクチャ p i 3および p i 6を参照ピ クチャとして用いているピクチャ p 1 7も、 同様にして復号できない ことになる。
そこで、 符号化時に、 このピクチャ p 1 3および p 1 6を、 GOP 1に対して過去の GO Pである GO.P 0に属するピクチャ p 03を参 照ピクチャとして用いることを禁止し, ピクチャ p l 3および p l 6 を、 現在の GO P 1に属するピクチャ i 1 2を参照ピクチャとして用 いる。 これにより、 GOP 1に対してランダムアクセスを行った場合 、 ピクチャ p i 3および p i 6は、 ピクチャ i 1 2を参照ピクチャと して予測され、 ピクチャ p 1 7以降のピクチャの復号が可能となる。 第 1図 Bでも同様に、 GOP 1に属するピクチャ p 1 8は、 直近の 、 同じ G〇 P 1に属するピクチャ p 1 5と、 GOP 1より過去の GO P 0に属するピクチャ p 0 3の、 2枚の Pピクチャを参照ピクチャと して符号化される。 ここで、 GO P 1に対してランダムアクセスを行 うと、 再生はピクチャ i 1 2から行われ、 ピクチャ p 1 5は、 参照ピ クチャとして用いているピクチャ p 0 3を参照できないため、 復号で きず、 ピクチャ ρ θ 3および p i 5を参照ピクチャとして用いている ピクチャ p 1 8も、 復号できない。
この場合でも、 符号化時に、 ピクチャ p 1 5および p 1 8を、 GO P 1に対して過去の G〇 Pである GO P 0に属するピクチャ p 0 3を 参照ピクチャとして用いることを禁止し、 ピクチャ p i 5および p i 8を、 現在の GO P 1に属するピクチャ i 1 2を参照ピクチャとして 用いる。 これにより、 GO P 1に対してランダムアクセスを行った場 合、 ピクチャ p l 5および p l 8は、 ピクチャ i 1 2を参照ピクチャ として予測され、 ピクチャ p 1 8の復号が可能となる。
上述した E P_ma pでは、 ビデオストリーム中の I ピクチャの位 置をエントリポイントとしていた。 MP E G 2ビデオにおいては、 現 在の GOPの I ピクチャよりも表示順序で未来のピクチャを過去の G O Pのピクチャから予測する予測モードが無いので、 I ピクチャをェ ントリポイントとすれば、 その I ピクチャからランダムアクセス再生 できることが保証されていた。
ところで、 近年、 MP E G— 4 AVC I H. 2 64と称される動 画像の圧縮符号化方式が I S 0 (International Organization for St andarization)にて国際標準化された。 この MP EG— 4 AVC I H. 264は、 MP E G 2や MP E G 4といった従来の符号化方式に 対して、 符号化効率を向上させより高い圧縮率を実現すると共に、 複 数のチャンネルを使用して伝送を行うことにより、 伝送効率を高める ことを可能とした。 これらにより、 MP EG— 4 AVC I H. 26 4は、 従来よりもより高い自由度で以て、 ビデオのストリームを伝送 することができる。
この MP EG4 AVC I H. 2 64では、 複数の参照ピクチャを 持つことが可能とされているため、 複数枚の過去のピクチャを参照す ることができる。 例えば、 ある I ピクチャよりも表示順で未来の Pピ クチャを、 当該 I ピクチャより表示順で過去の Pピクチャを参照して 予測することが可能である。
そのため、 MP EG4 AVC I H. 2 64ビデオストリームのよ うに、 複数枚の過去のピクチャを参照することができる符号化方法に よって符号化されたビデオストリームを記録媒体に記録し、 当該記録 媒体から再生する場合において、 従来技術のように単純に I ピクチャ をランダムアクセス可能な位置 (エントリポイント) として EP— m a pに記録すると、 ランダムアクセス再生が必ず I ピクチャからでき るという保証がされないという問題点があつた。 発明の開示
したがって、 この発明の目的は、 I ピクチャより表示順で未来のピ クチャを、 当該 I ピクチャより表示順で過去のピクチャを参照ピクチ ャとして用いて予測する予測モードを持つようにビデオストリ一ムを 符号化し、 記録媒体に記録する場合において、 記録媒体から再生され た当該ビデオストリームに対するランダムアクセスを可能とするよう なデータ記録装置、 方法およびプログラム、 データ再生装置、 方法お よびプログラム、 記録媒体、 ならびに、 データ構造を提供することに ある。 - 第 1の発明は、 上述した課題を解決するために、 独立的に復号が可 能なピクチャから、 復号順で未来の、 次の独立的に復号が可能なピク チヤの直前のピクチャまでの集合を単位とし、 単位内の、 独立的に復 号が可能なピクチャよりも表示順序で未来のピクチャを、 単位より過 去の単位内のピクチャから予測することが可能な符号化方法で以てビ デォストリームを符号化して記録媒体に記録するデータ記録装置にお いて、 ビデオストリームを、 独立的に復号が可能なピクチャから、 復 号順で未来の、 次の独立的に復号が可能なピクチャの直前のピクチャ までの集合を単位とし、 単位内の、 独立的に復号が可能なピクチャよ りも表示順序で未来のピクチャを、 単位より過去の単位内のピクチャ から予測することを禁止するように制限して符号化を行い符号化ビデ ォス卜リームを生成する符号化手段と、 独立的に復号が可能なピクチ ャの、 符号化ビデオストリーム上の再生時間情報と、 符号化ビデオス トリーム上の位置情報とを対応付けたテーブルを作成するテーブル作 成手段と、 符号化手段で符号化された符号化ビデオストリームとテー ブル作成手段で作成されたテーブルとを対応付けて記録媒体に記録す る記録手段とを有することを特徴とするデータ記録装置である。 また、 第 2の発明は、 独立的に復号が可能なピクチャから、 復号順 で未来の、 次の独立的に復号が可能なピクチャの直前のピクチャまで の集合を単位とし、 単位内の、 独立的に復号が可能なピクチャよりも 表示順序で未来のピクチャを、 単位より過去の単位内のピクチヤから 予測することが可能な符号化方法で以てビデオストリームを符号化し て記録媒体に記録するデータ記録方法において、 ビデオストリームを 、 独立的に復号が可能なピクチャから、 復号順で未来の、 次の独立的 に復号が可能なピクチャの直前のピクチャまでの集合を単位とし、 単 位内の、 独立的に復号が可能なピクチャよりも表示順序で未来のピク チヤを、 単位より過去の単位内のピクチヤから予測することを禁止す るように制限して符号化を行い符号化ビデオストリームを生成する符 号化のステップと、 独立的に復号が可能なピクチャの、 符号化ビデオ ストリーム上の再生時間情報と、 符号化ビデオストリーム上の位置情 報とを対応付けたテーブルを作成するテーブル作成のステップと、 符 号化のステップで符号化された符号化ビデオストリームとテーブル作 成のステップで作成されたテーブルとを対応付けて記録媒体に記録す る記録のステップとを有することを特徴とするデータ記録方法である また、 第 3の発明は、 独立的に復号が可能なピクチャから、 復号順 で未来の、 次の独立的に復号が可能なピクチャの直前のピクチャまで の集合を単位とし、 単位内の、 独立的に復号が可能なピクチャよりも 表示順序で未来のピクチャを、 単位より過去の単位内のピクチヤから 予測することが可能な符号化方法で以てビデオストリームを符号化し て記録媒体に記録するデータ記録方法をコンピュータ装置に実行させ るデータ記録プログラムにおいて、 デ一夕記録方法は、 ビデオストリ ームを、 独立的に復号が可能なピクチャから、 復号順で未来の、 次の 独立的に復号が可能なピクチャの直前のピクチャまでの集合を単位と し、 単位内の、 独立的に復号が可能なピクチャよりも表示順序で未来 のピクチャを、 単位より過去の単位内のピクチヤから予測することを 禁止するように制限して符号化を行い符号化ビデオストリームを生成 する符号化のステップと、 独立的に復号が可能なピクチャの、 符号化 ビデオストリーム上の再生時間情報と、 符号化ビデオストリーム上の 位置情報とを対応付けたテーブルを作成するテーブル作成のステップ と、 符号化のステップで符号化された符号化ビデオストリームとテー ブル作成のステップで作成されたテ一ブルとを対応付けて記録媒体に 記録する記録のステップとを有することを特徴とするデータ記録プロ グラムである。
また、 第 4の発明は、 独立的に復号が可能なピクチャから、 復号順 で未来の、 次の独立的に復号が可能なピクチャの直前のピクチャまで の集合を単位とし、 単位内の、 独立的に復号が可能なピクチャよりも 表示順序で未来のピクチャを、 単位より過去の単位内のピクチヤから 予測することが可能な符号化方法で以てビデオス卜リームを符号化し て記録された記録媒体を再生するデータ再生装置において、 ビデオス トリ一ムを、 独立的に復号が可能なピクチャから、 復号順で未来の、 次の独立的に復号が可能なピクチャの直前のピクチャまでの集合を単 位とし、' 単位内の、 独立的に復号が可能なピクチャよりも表示順序で 未来のピクチャを、 単位より過去の単位内のピクチヤから予測するこ とを禁止するように制限して符号化を行い生成された符号化ビデオス トリームと、 独立的に復号が可能なピクチャの、 符号化ビデオストリ —ム上の再生時間情報と、 符号化ビデオストリーム上の位置情報とを 対応付けて作成されたテーブルとが対応付けられて記録された記録媒 体を再生する再生手段と、 再生手段で再生された符号化ビデオストリ 一ムの復号を、 再生手段で再生されたテーブルに基づき再生時間情報 に対応する位置情報で示される符号化ビデオストリームの位置から行 うように制御する復号制御手段とを有することを特徴とするデータ再 生装置である。
また、 第 5の発明は、 独立的に復号が可能なピクチャから、 復号順 で未来の、 次の独立的に復号が可能なピクチャの直前のピクチャまで の集合を単位とし、 単位内の、 独立的に復号が可能なピクチャよりも 表示順序で未来のピクチャを、 単位より過去の単位内のピクチヤから 予測することが可能な符号化方法で以てビデオストリームを符号化し て記録された記録媒体を再生するデータ再生方法において、 ビデオス トリームを、 独立的に復号が可能なピクチャから、 復号順で未来の、 次の独立的に復号が可能なピクチャの直前のピクチャまでの集合を単 位とし、 単位内の、 独立的に復号が可能なピクチャよりも表示順序で 未来のピクチャを、 単位より過去の単位内のピクチヤから予測するこ とを禁止するように制限して符号化を行い生成された符号化ビデオス トリームと、 独立的に復号が可能なピクチャの、 符号化ビデオストリ —ム上の再生時間情報と、 符号化ビデオストリーム上の位置情報とを 対応付けて作成されたテーブルとが対応付けられて記録された記録媒 体を再生する再生のステップと、 再生のステップにより再生された符 号化ビデオストリームの復号を、 再生のステップにより再生されたテ 一ブルに基づき再生時間情報に対応する位置情報で示される符号化ビ デォストリームの位置から行うように制御する復号制御のステップと を有することを特徴とするデ一夕再生方法である。
また、 第 6の発明は、 独立的に復号が可能なピクチャから、 復号順 で未来の、 次の独立的に復号が可能なピクチャの直前のピクチャまで の集合を単位とし、 単位内の、 独立的に復号が可能なピクチャよりも 表示順序で未来のピクチャを、 単位より過去の単位内のピクチヤから 予測することが可能な符号化方法で以てビデオストリームを符号化し て記録された記録媒体を再生するデータ再生方法をコンピュータ装置 に実行させるデータ再生プログラムにおいて、 デ一夕再生方法は、 ビ デォストリームを、 独立的に復号が可能なピクチャから、 復号順で未 来の、 次の独立的に復号が可能なピクチャの直前のピクチャまでの集 合を単位とし、 単位内の、 独立的に復号が可能なピクチャよりも表示 順序で未来のピクチャを、 単位より過去の単位内のピクチヤから予測 することを禁止するように制限して符号化を行い生成された符号化ビ デォストリームと、 独立的に復号が可能なピクチャの、 符号化ビデオ ストリーム上の再生時間情報と、 符号化ビデオストリーム上の位置情 報とを対応付けて作成されたテーブルとが対応付けられて記録された 記録媒体を再生する再生のステップと、 再生のステップにより再生さ れた符号化ビデオストリームの復号を、 再生のステップにより再生さ れたテーブルに基づき再生時間情報に対応する位置情報で示される符 号化ビデオストリームの位置から行うように制御する復号制御のステ ップとを有することを特徴とするデータ再生プログラムである。 また、 第 7の発明は、 独立的に復号が可能なピクチャから、 復号順 で未来の、 次の独立的に復号が可能なピクチャの直前のピクチャまで の集合を単位とし、 単位内の、 独立的に復号が可能なピクチャよりも 表示順序で未来のピクチャを、 単位より過去の単位内のピクチヤから 予測することが可能な符号化方法で以てビデオストリームを符号化し て記録する記録媒体において、 ビデオストリームを、 独立的に復号が 可能なピクチャから、 復号順で未来の、 次の独立的に復号が可能なピ クチャの直前のピクチャまでの集合を単位とし、 単位内の、 独立的に 復号が可能なピクチャよりも表示順序で未来のピクチャを、 単位より 過去の単位内のピクチヤから予測することを禁止するように制限して 符号化を行い生成された符号化ビデオストリームと、 独立的に復号が 可能なピクチャの、 符号化ビデオストリーム上の再生時間情報と、 符 号化ビデオストリーム上の位置情報とを対応付けて作成されたテープ ルとが対応付けられて記録されたことを特徴とする記録媒体である。 また、 第 8の発明は、 独立的に復号が可能なピクチャから、 復号順 で未来の、 次の独立的に復号が可能なピクチャの直前のピクチャまで の集合を単位として、 単位内の、 独立的に復号が可能なピクチャより も表示順序で未来のピクチャを、 単位より過去の単位内のピクチャか ら予測することが可能な符号化方法で以てビデオストリームを符号化 したデータのデ一夕構造において、 ビデオストリームを、 独立的に復 号が可能なピクチャから、 復号順で未来の、 次の独立的に復号が可能 なピクチャの直前のピクチャまでの集合を単位とし、 単位内の、 独立 的に復号が可能なピクチャよりも表示順序で未来のピクチャを、 単位 より過去の単位内のピクチヤから予測することを禁止するように制限 して符号化を行い生成された符号化ビデオストリームと、 独立的に復 号が可能なピクチャの、 符号化ビデオストリーム上の再生時間情報と 、 符号化ビデオストリーム上の位置情報とを対応付けて作成されたテ 一ブルとが対応付けられているデータ構造である。
上述したように、 第 1、 第 2および第 3の発明は、 独立的に復号が 可能なピクチャから、 復号順で未来の、 次の独立的に復号が可能なピ クチャの直前のピクチャまでの集合を単位とし、 単位内の、 独立的に 復号が可能なピクチャよりも表示順序で未来のピクチャを、 単位より 過去の単位内のピクチヤから予測することが可能な符号化方法で以て ビデオストリームを符号化して記録媒体に記録するデ一夕記録方法に おいて、 ビデオストリームを、 独立的に復号が可能なピクチャから、 復号順で未来の、 次の独立的に復号が可能なピクチャの直前のピクチ ャまでの集合を単位とし、 単位内の、 独立的に復号が可能なピクチャ よりも表示順序で未来のピクチャを、 単位より過去の単位内のピクチ ャから予測することを禁止するように制限して符号化を行い生成され た符号化ビデオストリームと、 独立的に復号が可能なピクチャの、 符 号化ビデオストリーム上の再生時間情報と、 符号化ビデオストリーム 上の位置情報とを対応付けて作成したテーブルと対応付けて記録媒体 に記録するようにしているため、 記録媒体の再生時に、 記録媒体から 再生される符号化ビデオストリームに対して再生時間を指定してなさ れるランダムアクセス再生が保障される。 また、 第 4、 第 5および第 6の発明は、 ビデオストリームを、 独立 的に復号が可能なピクチャから、 復号順で未来の、 次の独立的に復号 が可能なピクチャの直前のピクチャまでの集合を単位とし、 単位内の 、 独立的に復号が可能なピクチャよりも表示順序で未来のピクチャを 、 単位より過去の単位内のピクチヤから予測することを禁止するよう に制限して符号化を行い生成された符号化ビデオストリームと、 独立 的に復号が可能なピクチャの、 符号化ビデオストリーム上の再生時間 情報と、 符号化ビデオストリーム上の位置情報とを対応付けて作成さ れたテーブルとが対応付けられて記録された記録媒体を再生し、 再生 された符号化ビデオストリームの復号を、 再生されたテーブルに基づ き再生時間情報に対応する位置情報で示される符号化ビデオストリー ムの位置から行うように制御しているため、 記録媒体に記録された符 号化ストリームの、 再生時間を指定してなされるランダムアクセス再 生が保障される。
また、 第 7の発明は、 ビデオストリームを、 独立的に復号が可能な ピクチャから、 復号順で未来の、 次の独立的に復号が可能なピクチャ の直前のピクチャまでの集合を単位とし、 単位内の、 独立的に復号が 可能なピクチャよりも表示順序で未来のピクチャを、 単位より過去の 単位内のピクチャから予測することを禁止するように制限して符号化 を行い生成された符号化ビデオストリームと、 独立的に復号が可能な ピクチャの、 符号化ビデオストリーム上の再生時間情報と、 符号化ビ デォス卜リーム上の位置情報とを対応付けて作成されたテーブルとが 対応付けられて記録されているため、 この記録媒体に記録された符号 化ストリームの再生時に、 再生時間を指定してなされるランダムァク セス再生が保障される。
また、 第 8の発明は、 独立的に復号が可能なピクチャから、 復号順 で未来の、 次の独立的に復号が可能なピクチャの直前のピクチャまで の集合を単位として、 単位内の、 独立的に復号が可能なピクチャより も表示順序で未来のピクチャを、 単位より過去の単位内のピクチャか ら予測することが可能な符号化方法で以てビデオス卜リームを符号化 したデータのデータ構造において、 ビデオストリームを、 独立的に復 号が可能なピクチャから、 復号順で未来の、 次の独立的に復号が可能 なピクチャの直前のピクチャまでの集合を単位とし、 単位内の、 独立 的に復号が可能なピクチャよりも表示順序で未来のピクチャを、 単位 より過去の単位内のピクチヤから予測することを禁止するように制限 して符号化を行い生成された符号化ビデオストリームと、 独立的に復 号が可能なピクチャの、 符号化ビデオストリーム上の再生時間情報と 、 符号化ビデオストリーム上の位置情報とを対応付けて作成されたテ 一ブルとが対応付けられているため、 このデ一夕構造を持つ符号化ス トリ一ムは、 再生時に、 再生時間を指定してなされるランダムァクセ ス再生が保障される。
この発明は、 現在の G O Pの I ピクチャよりも表示順序で未来のピ クチャを、 過去の G O Pのピクチャから予測する予測モードを持つビ デォ符号化方式において、 A Vストリームの符号化を、 現在の G O P の I ピクチャよりも表示順序で未来のピクチャを、 過去の G O Pのピ クチャから予測することを禁止するように制限して行う。 また、 上述 のように制限して符号化された I ピクチャまたは M P E G 4 A V C I H . 2 6 4で定義される I D Rピクチャから始まるアクセスュニッ 卜の P T Sと、 当該アクセスュニットの A Vストリーム中のアドレス とをエントリポイントとして持つ E P— m a pを作成し、 E P— m a pと A Vストリームとを共に記録媒体に記録するようにしている。 そ のため、 E P— m a pが指し示す A Vストリーム中のエントリポイン 卜からのランダムアクセス再生が保障されるという効果がある 図面の簡単な説明
第 1図 Aおよび第 1図 Bは、 従来技術による、 現在の GO Pの I ピ クチャよりも表示順序で未来のピクチャを、 過去の GO Pのピクチャ から予測する予測モードを説明するための図、 第 2図は、 この発明が 適用可能な記録再生システムで用いる記録媒体上のアプリケーション フォーマッ トの概略的な構造を示す略線図、 第 3図は、 この発明によ る記録再生システムで用いる記録媒体上に記録された AVストリーム の構造を概略的に示す略線図、 第 4図は、 E P— ma pの説明に用い るクリップ AVストリームの例を示す略線図、 第 5図は、 EP— ma Pの例を概念的に示す略線図、 第 6図 A、 第 6図 Bおよび第 6図 Cは 、 ランダムアクセス可能な I ピクチャから始まるアクセスユニットを 説明するための図、 第 7図は、 フィールド SPN— EP_startが指すソース パケットの一例のデータ構造を示す略線図、 第 8図は、 E P— ma p についてより詳細に説明するための図、 第 9図は、 E P— ma pにつ いてより詳細に説明するための図、 第 1 0図は、 EP— ma pについ てより詳細に説明するための図、 第 1 1図は、 テ一ブル EP— map_for— 0 ne_stream_PID()の一例のシンタクスを示す略線図、 第 1 2図は、 ブ 口ック EP_map_for_one— stream_PIDの一例のシンタクスを示す略線図 、 第 1 3図は、 E P—m a pの作成の一例の手順を示すフローチヤ一 ト、 第 1 4図 Aおよび第 14図 Bは、 トランスポートストリーム中で ビデオ P I Dが変化する場合について説明するための図、 第 1 5図は 、 I ピクチャまたは I DRピクチャをサーチする場合の一例のプレー ャモデルを示すブロック図、 第 1 6図は、 プレーヤモデルによる I ピ クチャサーチの一例の処理を示すフローチャート、 第 1 7図 Aおよび 第 1 7図 Bは、 この発明の実施の一形態に適用できる動画像記録再生 装置の一例の構成を示すブロック図である。 発明を実施するための最良の形態
以下、 この発明の実施の一形態について説明する。 第 2図は、 この 発明が適用可能な記録再生システムで用いる記録媒体上のアプリケー シヨンフォーマットの概略的な構造を示す。 このフォーマッ トは、 A Vストリームの管理のために、 プレイリスト(PlayList)と、 クリップ (Clip)の 2つのレイヤを持つ。
1つの A Vストリームとその付属情報のペアを 1つのオブジェクト と考え、 これをクリップと呼ぶ。 A Vストリームが格納される A Vス トリームファイルを、 クリップ A Vストリームファイル(Clip AV Str eam File)と呼び、 対応する付属情報が格納されるファイルを、 クリ ップインフォメーションファイル(Clip Information File)と呼ぶ。 クリップ A Vストリームファイルのコンテンツは、 時間軸上に展開 され、 プレイリストは、 クリップの中のアクセスポイントをタイムス タンプ(Time Stamp)で指定する。 プレイリストがクリップの中へのァ クセスポイントをタイムスタンプで指し示しているとき、 クリッブイ ンフオメ一ションファイルは、 クリップ A Vストリームファイルの中 でストリームのデコードを開始すべきァドレス情報を見つけるために 用いられる。
プレイリストは、 クリップの中の再生区間の集まりである。 あるク リップの 1つの再生区間をプレイアイテム(Playltem)と呼ぶ。 プレイ アイテムは、 時間軸上の I N点と OUT点のペアで表される。 したが つて、 プレイリストは、 プレイアイテムの集まりである。
1のディスク中に記録された全てのプレイリストおよびクリップは ボリュームインフォメーション(Volume Informat ion)で管理される 第 3図は、 この発明による記録再生システムで用いる記録媒体上に 記録された AVストリームの構造を概略的に示す。 この発明では、 A Vストリームを、 記録媒体上では BDAV(Blu-ray Disc Audio/Vide o) MP E G 2 トランスポートストリームとして扱う。 B DA V M P EG 2 トランスポートストリームは、 それぞれ 6 1 44バイ トのサ ィズを有する整数個のァライ ドュニッ ト(Aligned Unit)から構成され る。
ァライ ドユニッ トは、 32個のソースパケッ ト(Source Packet)か らなる。 ソースパケッ トは、 1 92バイ トのサイズを有し、 1つのソ ースバケツ 卜は、 4バイ 卜のサイズの卜ランスポー卜バケツ トェクス トラヘッダ(TP— extra header)と、 1 88バイ トのサイズを有するト ランスポ一トパケッ ト(Transport Packet)とからなる。
ビデオストリームやオーディオストリームのデータは、 MP EG 2 P E S (Packetized Elementary St ream)パケッ トにパケッ ト化され ている。 すなわち、 ビデオストリームやオーディオストリームのデー 夕が適宜、 分割され、 P E Sパケッ トデータ部に詰め込まれる。 この P E Sパケッ トデータ部に対して、 当該 P E Sバケツ 卜が伝送するェ レメンタリストリームの種類を特定するストリ一ム I Dを含む P E S パケッ トへッダが付加され、 P E Sパケッ トが形成される。
P E Sパケッ トは、 さらに、 トランスポートパケッ トにパケッ ト化 される。 すなわち、 P E Sパケットがトランスポートパケッ トのペイ ロードのサイズに分割され、 ペイロードに所定にトランスポートパケ ッ トヘッダが付加されて、 トランスポートパケッ トが形成される。 ト ランスポートバケツ トヘッダは、 ペイ口一ドに格納されるデータの識 別情報である P I D (Packet ID)を含む。
なお、 ソースパケットには、 クリップ A Vス卜リームの先頭を例え ば 0として、 ソースパケット毎に 1ずつ増加するソースパケット番号 が与えられる。 また、 ァライドユニッ トは、 ソースパケッ トの第 1バ イト目から始まる。
上述したクリップインフォメーションファイルには、 E P _m a p が含まれる。 EP— ma pは、 背景技術で既に説明したように、 クリ ップへのアクセスボイン卜のタイムスタンプが与えられたときに、 ク リップ AVストリームファイルの中でデ一夕の読み出しを開始すべき デ一夕アドレスを検索するために用いられる。 E P—m a pは、 エレ メン夕リストリームおよびトランスポートストリームから抽出された エントリポイント (EP) のリストである。 EP— ma pは、 AVス トリームの中でデコードを開始すべきェントリポィントを検索するた めのアドレス情報を持つ。 E P— m a p中の 1つの E Pデータは、 プ レゼンテーシヨンタイムスタンプ (PTS) と、 その PTSに対応す るアクセスュニットの、 A ストリーム中のデータァドレスの対で構 成される。 なお、 MP E G 4 AVC I H. 2 64において、 1ァク セスユニットは、 1ピクチャに相当する。
E P— ma pについて、 第 4図および第 5図を用いて説明する。 第 4図は、 E P_m a pの説明に用いるクリップ A Vストリームの例を 示す。 第 4図の例では、 クリップ A Vストリームは、 3本のビデオス トリームが多重化されている。 各々のビデオストリームは、 ソースパ ケット毎に、 ソースパケット内のトランスポー卜バケツ卜のヘッダに 含まれる P I D (Packet Iden t i f i ca t i on)により区別される。 第 4図 の例では、 P I D = x、 P I D = yおよび P I D= zでそれぞれ区別 される 3本のビデオストリームが、 1つのクリップ A Vストリームに 多重化されている。
また、 各々のビデオストリームは、 I ピクチャの位置でランダムァ クセスが可能とされる。 第 4図において、 四角で示されるソースパケ ッ トに対し、 3本のビデオストリームのそれぞれについて、 I ピクチ ャの先頭バイ トを含むソースパケッ トを、 塗り潰し、 斜線、 斜線およ び 「X (ばつ) 」 印で区別して示している。 塗り潰しなどがなされて いない四角は、 ランダムアクセスポイントとならないビデオデータが 含まれるソースパケットゃ、 ビデオデータ以外のデータが含まれるソ ースバケツ トを示す。
一例として、 P I D=xで区別されるビデオストリームについて、 ランダムアクセス可能な I ピクチャの先頭バイ トを含む、 ソ一スパケ ット番号 X 1のソースバケツトは、 クリップ AVストリ一ムの時間軸 において、 PTS = p t s (x 1 ) の位置に配置される。 同様に、 当 該ビデオストリームの次にランダムアクセス可能な I ピクチャの先頭 バイ トを含むソースパケッ トは、 ソースパケッ ト番号 X 2とされ、 時 間軸において P T S = p t s (x 2 ) の位置に配置される。
第 5図は、 この第 4図のクリップ A Vストリームに対応した E P— m a pの例を概念的に示す。 第 5図の例では、 E P— ma pは、 フィ —ルド stream_PID、 ェントリ PTS_EP— startおよびェン卜リ SPN一 EP_sta rtの各データを持つ。 フィールド stream_PIDは、 ビデオストリームを 伝送するトランスポートパケットの P I Dが格納される。 ェントリ PT S一 EP_startは、 ランダムアクセス可能な I ピクチャから始まるァクセ スユニッ ト (詳細は後述する) の PTSが格納される。 エントリ SPN— EP_startは、 A Vストリ一ムの中でェントリ PTS_EP_startの値により 参照されるアクセスュニッ 卜の第 1バイ ト目を含むソースバケツ トの ァドレスが格納される。 上述の第 4図に示される例を参照して、 E P— ma pにおいて、 各 ビデオストリームの P I Dがフィールド stream_PIDにそれぞれ格納さ れ、 フィ ルド stream_PID毎に、 エントリ PTS_EP__s tar tおよびェント リ SPN— EP— s t ar tの対応関係からなるテ一ブル EP— map— for一 one— s t ream— PIDOが作られる。 例えば、 第 5図において、 P I D = xで表される ビデオストリ一ムについては、 テーブル EP— map_for— one_stream_PID[ 0]に対して、 PT S = p t s (x 1 ) とソースパケッ ト番号 X 1、 P T S = p t s (x 2 ) とソースパケット番号 X 2、 · · · , . P T S = p t s (x k) とソースパケット番号 X kとがそれぞれ対応すること が記述される。 このテーブルが、 同じクリップ AVストリームに多重 化された、 他の P I Dで表されるビデオストリームについて、 それぞ れ作られる。 この E P— ma pが、 当該クリップ A Vストリームに対 応するクリップインフォメ一ションファイルに格納される。
第 6図 A、 第 6図 Bおよび第 6図 Cは、 上述した、 ランダムァクセ ス可能な I ピクチャから始まるアクセスュニットを説明するための図 である。 第 6図 A、 第 6図 Bおよび第 6図 C中で、 四角はピクチャを 表し、 「エントリポイント」 の矢印が指し示すピクチャがランダムァ クセス可能な I ピクチャから始まるアクセスユニットである。 第 6図 Aおよび第 6図 Bは、 MP EG 4 AVC l H. 264で定義される I D Rピクチャについて示す。 MP E G 4 AVC l H. 264によ れば、 復号順序で I DRピクチャより後ろのピクチャを I DRピクチ ャよりも前のピクチヤから予測することが禁止される。
なお、 MPEG4 AVC I H. 2 64においては、 連続する一連 のアクセスユニッ トをシーケンスと呼び、 各シーケンスは、 それぞれ 独立して復号することが可能である。 シーケンスの先頭は、 必ず I D Rピクチャでなければならない。 I DRピクチャでは、 バッファがリ セットされ、 また、 その I D Rピクチャよりも復号順で前のピクチャ を参照することが禁止されている。 そのため、 シーケンス毎に独立的 に、 その先頭からの復号を開始することができる。
第 6図 Aの例では、 I D Rピクチャより復号順序で後のピクチャで あるピクチャ P 1 2を、 I DRピクチャより復号順序で前のピクチャ であるピクチャ P 1 0から予測して符号化することが禁止される。 ま た、 第 6図 Bの例では、 図中の" GO P切れ目"以後のピクチャの復号 順序が I DRピクチャ、 ピクチャ bl 0、 ピクチャ p i 3、 ピクチャ b 12の順であることを想定している。 このとき、 ピクチャ b 1 0は 、 復号順で I DRピクチャよりも後ろのピクチャであるので、 I DR ピクチャよりも前のピクチャ Ρ θ 2から予測して符号化することが禁 止される。 同様に、 第 6図 Bにおいて、 ピクチャ p 1 3をピクチャ p 02から予測することが禁止される。
第 6図 Cは、 第 6図 Bの I DRピクチャを I ピクチャ (ピクチャ i 1 1) に置き換えた例である。 この場合、 ピクチャ i 1 1は、 現在の GO P'の I ピクチャよりも表示順序で未来のピクチャを、 過去の GO Pのピクチャから予測することを禁止するように制限して、 ビデオス トリームの符号化を行う。 第 6図 Cの例では、 ピクチャ p 1 3をピク チヤ p 0 2から予測することを、 符号化時に禁止する。
なお、 MP EG4 AVC I H. 264では、 MP EG 2のように 明示的に GO Pを規定していない。 この発明の実施の一形態において は、 復号順序で I DRピクチャまたは I ピクチャから開始して、 次の I DRピクチャまたは I ピクチャの直前までのピクチャの集合を、 便 宜的に GOPと呼ぶことにする。 また、 MP EG4 AVC I H. 2 64では、 Iスライス、 Pスライスおよび Bスライスといったように 、 異なるフレーム間符号化タイプを、 1枚のピクチャ中にスライスレ ベルで混在させることができる。 この発明の実施の一形態においては
、 I ピクチャとは、 ピクチャの中の全てのスライスが Iスライスであ るピクチャを指す。
第 7図は、 フィ一ルド SPN_EP— startが指すソースバケツト(source packet)の一例のデータ構造を示す。 上述もしたが、 ソースパケット は、 サイズが 1 88バイトのトランスポートバケツ卜にサイズが 4バ ィ卜のヘッダ TP— extrajieaderを付加してなる。 トランスポートパケ ット部分は、 ヘッダ部(TP header)とペイロード部とからなる。 フィ —ルド SPN— EP—startは、 第 6図 A、 第 6図 Bおよび第 6図 Cを用いて 説明した I DRピクチャまたは I ピクチャから始まるアクセスュニッ 卜の第 1バイ ト目を含むソースバケツ卜のソースバケツト番号が格納 される。 MP EG 4 AVC I H. 2 64においては、 アクセスュニ ットすなわちピクチャは、 A Uデリミタ(Access Unit Delimiter)か ら開始する。 AUデリミタの後に、 S R S (Sequence Parameter Set) と、 P P S (Picture Parameter Set)が続く。 そしてその後に、 第 6 図 A、 第 6図 Bおよび第 6図 Cで説明した I DRピクチャまたは I ピ クチャのスライスのデータの、 先頭部分または全体が格納される。
卜ランスポー卜パケットのヘッダ (TPヘッダ) において、 フラグ payload—unit—start_indicatoi^ " 1 "であれば、 新たな P E Sパケ ットがこのトランスポートバケツトのペイ口一ドから始まることが示 され、 このソースバケツ卜からアクセスュニッ卜が開始されることが 示される。
次に、 E P— ma pについて、 第 8図、 第 9図および第 1 0図を用 いて、 より詳細に説明する。 テーブル EP_map_for— one_streamJ D() は、 第 8図に一例が示されるように、 2つのサブテーブル EP— coarse および EP_fineに分けられる。 サブテーブル EP coarseは、 大まかな単 位での検索を行うためのテーブルであり、 サブテーブル EP— fineは、 より精密な単位での検索を行うためのテーブルである。 このように、 E P_m a pを 2つのテ一ブルに分けて構成することで、 テーブル EP — map— for— one_stream_PIDOのデータサイズを削減し、 且つ、 データ サーチのパフォーマンスを改善することができる。
第 8図の例では、 サブテーブル EP— fineは、 エントリ PTS— EP— fineと ェントリ SPN_EP— fineとが対応付けられるテーブルである。 サブテー ブル内では、 エントリのそれぞれに対して、 例えば最上列を" 0"とし て昇順にェントリ番号が与えられる。 サブテーブル EP_ neにおいて 、 エントリ PTS_EP_fineとエントリ SPN_EP— fineとを合わせたデータ幅 は、 4バイトとされる。 一方、 サブテーブル EP_coarseは、 エントリ r ef_to_EP_f ine_id, ェントリ PTS_EP_coarseおよびェントリ SPN— EP_co arseが対応付けられるテーブルである。 エントリ reし to_EP_fine_id 、 ェントリ PTS_EP— coarseおよびェントリ SPN— EP_coarseを合わせたデ 一夕幅は、 8バイトとされる。 サブテーブル EPJineのエントリ数 N f は、 サブテーブル EP_coarseのェントリ数 N cより少ない値となる サブテーブル EP_f ineのェントリは、 E P_m a p中のェントリ PTS _EP— st artおよびェントリ SPN_EP— st artそれぞれの L S B (Least Sign if icant Bi t)側のビット情報からなる。 また、 サブテーブル EP_coars eのェントリは、 これらェントリ PTS_EP_startおよびェントリ SPN_EP— startそれぞれの M S B (Most Significant Bi t)側のビット情報と、 それに対応するサブテーブル EP— fineのテーブル中のェントリ番号か らなる。 このエントリ番号は、 同じデータ PTS— EP_startから取り出し た L S B側のビット情報を持つサブテーブル EP— fineの中のェン卜リ である。 第 9図は、 ェントリ PTS— EP— coarseおよびェントリ PTS— EP_f ineの一 例のフォーマツトについて示す。 P T Sすなわちェントリ PTS_EP_sta r tは、 データ長が 3 3ビッ トの値である。 M S Bのビットを第 3 2ビ ット、 L S Bのビッ トを第 0ビットとするとき、 この第 9図の例では 、 大まかな単位で検索を行う際に用いられるエントリ PTS— EP_coarse は、 ェントリ PTS_EP— startの第 3 2ビッ卜から第 1 9ビッ卜までの 1 4ビットが用いられる。 エントリ PTS_EP_coarseにより、 解像度が 5 . 8秒で、 2 6. 5時間までの範囲で検索が可能である。 また、 より 精密な検索を行うためのェン卜リ PTS_EP_f ineは、 ェントリ PTS_EP— st artの第 1 9ビッ 卜から第 9ビットまでの 1 1ビッ卜が用いられる。 エントリ PTS—EP— fineにより、 解像度が 5. 7ミリ秒で、 1 1. 5秒 までの範囲で検索が可能である。 なお、 第 1 9ビットは、 エントリ PT S— EP_coarseとェントリ PTS_EP— fineとで共通して用いられる。 また、 L S B側の第 0ビッ 卜から第 8ビットまでの 9ビットは、 用いられな い。
第 1 0図は、 エントリ SPN_EP_coarseおよびエントリ SPN—EP— fineの 一例のフォーマツ卜について示す。 ソースバケツト番号すなわちェン トリ SPN_EP_startは、 データ長が 3 2ビットの値である。 MS Bのビ ットを第 3 1ビット、 L S Bのビットを第 0ビットとするとき、 この 第 1 0図の例では、 大まかな単位で検索を行う際に用いられるェント リ SPN_EP— coarseは、 エントリ SPN_EP_startの第 3 1ビットから第 0 ビットまでの全てのビットが用いられる。 また、 より精密な検索を行 うためのェントリ SPN_EP— fineは、 ェントリ SPN_EP_startの第 1 6ビ ットから第 0ビッ卜までの 1 7ビットが用いられる。 ェントリ SPN_EP —f ineにより、 例えば略 2 5 MB (Mega Byte)の A Vストリームフアイ ルまでの範囲で、 検索が可能である。 なお、 ソースパケット番号の場合でも、 エントリ SPN— EP_coarseと して MS B側の所定ビット数の値だけ用いるようにしてもよい。 例え ば、 エンドリ SPN— EP_coarseとして、 エントリ SPN_EP_s tar tの第 3 1 ビッ卜から第 1 6ビッ卜までの 1 7ビットを用い、 ェントリ SPN— EP— f ineは、 エントリ SPN_EP_startの第 1 6ビッ トから第 0ビットまでの 1 7ビットを用いる。
第 1 1図は、 テーブル EP_map_for_one_stream_PID()の一例のシン タクスを示す。 ここでは、 シンタクスをコンピュータ装置などのプロ グラムの記述言語として用いられる C言語の記述法に基づき示す。 こ れは、 他のシンタクスを表す図において、 同様である。
テーブル EP_map_for_one_stream_PIDOは、 全体としてブロック EP_ mapOを構成する。 フィ—— レド number—of— stream— PID—entriesま、 E P_m a pの中での、 テーブル EP— map_for_one_s eam_PIDのェント リ数を示す。 以下、 引数を値 [k]として、 forループ内の内容がフィー ルド number_of—stream— PID_entriesに格納される値になるまで繰り返 される。 フィールド stream_PID[k]は、 E P— m a pの中で [k]番目に エントリされるテーブル EP_map_for— one— stream_PID (以下、 [k]番目 のテーブル EP_map_for_one— stream_PIDと記述する) によつて参照さ れるエレメン夕リストリームを伝送するトランスポートパケットの P I Dの値を示す。 フィールド EP—stream_type[k] は、 [k]番目のテー ブル EPjnap— for_one_stream_PIDのによつて参照されるエレメン夕リ ストリームの夕ィプを示す。 フィールド num—EP— coarse— entries [k] は、 [k]番目のテーブル EP— map_f or_one— s t ream_P IDの中にあるサブテ 一ブル EP- coarseのェントリ数を示す。 フィ一ルド num_EP— f ine_entri es [k] は、 [k]番目のテーブル EP_map_for— one_stream— PIDの中にある サブテーブル EP- f ineのェン卜リ数を示す。 フィールド EP_map_f or_on e— stream— PID— starし address [k]は、 ブロック EP— map 0の中で [k]番目 のテーブル EP— m ap— f o r— o n e_s t r e am— P I Dが始まる相対バイ ト位置を示 す。 この値は、 ブロック EP_niap()の第 1バイ ト目からのバイト数で示 される。
上述の forループが終了した後、 パディングワードを挟んで、 プロ ック EP_map— for_one— stream_PIDが開始される。 ブロック EP— map— for— one_stream_PIDは、 第 4図および第 5図で説明したように、 トランス ポートストリームに多重化された 1または複数の AVストリームのう ち 1つのストリームに対する E P_m a pである。
第 1 2図は、 ブロック EP_map_for— one— stream— P1Dの一例のシン夕 クスを示す。 ブロック EP_map_for_one— stream_PIDのセマンティクス を説明するために、 先ず、 ブロック EP_map_for— one_stream_PIDに格 納されるデ一夕の元となるエントリである、 ェント UPTS—EP—start よびェントリ SPN_EP_startの意味について説明する。 ェントリ PTS_EP _startと、 エントリ PTS— EP— startに関連付けられたエントリ SPN_EP_s tartは、 それぞれ A Vストリーム上のエントリポイントを指す。 そし て、 エントリ PTS_EP— f ineと、 エントリ PTS— EP_fineに関連付けられた ェントリ PTS_EP_coarseは、 同一のェントリ PTS_EP_star tから導かれ る。 また、 エントリ SPN_EP— f ineと、 エントリ SPN— EP_fineに関連付け られたエントリ SPN—EP— coarseは、 同一のエントリ SPN_EP_s tar tから 導かれる。
ェントリ PTS— EP_startおよびェントリ SPN—EP_startは、 次のように 定義される。
エントリ PTS_EP_startは、 第 9図で示したように、 データ長が 3 3 ビットの符号無し整数であり、 AVストリーム中で、 第 6図 A、 第 6 図 Bおよび第 6図 Cで説明した I DRピクチャまたは I ピクチャから 開始するビデオアクセスュニッ卜の 3 3ビット長の P TSを示す。 エントリ SPN_EP_startは、 第 1 0図で示したように、 3 2ビッ トの 符号無し整数であり、 ェントリ PTS— EP_startに関連付けられたビデオ アクセスュニッ卜の第 1バイ ト目を含むソースバケツ 卜の、 AVスト リ一ムの中でのアドレスを示す。 エントリ SPN— EP_startは、 ソースパ ケッ ト番号の単位で表され、 A Vストリームファイル中の最初のソー スパケットから、 値" 0"を初期値として、 ソースパケット毎に 1ずつ 増加する値としてカウン卜される。
ブロック EP_map_for_one_stream_PIDのセマンティクスを説明する 。 第 1 2図に示されるように、 ブロック EP— map_for_one— stream_PID は、 大まかな単位での検索を行うためのサブテーブル EP_coarseを記 述するための第 1の forループと、 第 1の forループの検索結果に基づ きょり詳細な検索を行うためのサブテーブル EP— fineを記述するため の第 2の forループとからなる。 これら第 1および第 2の forループに 先んじて、 フィールド EP—fine_table_start— addressが配される。 フ ィ一ルド EP_fine_tabl e_s tart— addressは、 最初の第 2の forループに おけるフィールド EP_video_type[EP—fine_id]の第 1バイ ト目の開始 アドレスを、 ブロック EP— map_for_one— stream_PID()の第 1バイ ト目 からの相対バイト数で示す。 相対バイ ト数は、 値" 0"から開始する。 第 1の forループは、 引数 Π]で以て、 サブテーブル EP— coarseのェ ントリ数 N cまで繰り返される。 第 1の forループにおいて、 フィー ルド reし to— EP— fine_id[i]は、 フィ一ルド reし to_EP_fine_id [i]に続 くフィールド PTS_EP_coarse[i]が示すェントリ PTS— EP— coarseに関連 付けられるェントリ PTS_EP_fineを持つ、 サブテーブル EP— fine内のェ ントリ番号を示す。 エントリ PTS— EP— fineと、 このエントリ PTS_EP_fi neに関連付けられるエントリ PTS EP coarseとは、 同一のエントリ PTS _EP— startから導かれる。 フィールド reし to_EP— f ine_id [i]は、 第 2 の forループ中で記述される順番で定義される引数 [EP— finejd]の値 により与えられる。
第 1の forループの後に、 パディンダワードを挟んで第 2の forルー プが配される。 第 2の forループは、 サブテーブル EP_f ineの行数 N f を最大値として、 引数 [EP_fine_id]で繰り返される。 第 2の forルー プにおいて、 フィールド EP一 video_type[EP_fine_id]およびフィ一ル ド I— end_position_offset[EP— fine_id]の次に、 フィ一ルド PTS— EP一 fi ne [EP— f i ne_i d]およびフィールド SPN—EP— f ine [EP— f i ne_id]がそれぞ れ配される。 フィールド PTS_EP_fine[EP— fine— id]およびフィールド S PN— EP_fine[EP_f ine_id]は、 引数 [EP— f i ne_i d]によりサブテーブル EP —fineから参照されるェントリ PTS— EP— fineおよびェントリ SPN—EP— Πη eそれぞれが格納される。
エントリ PTS_EP_coarseおよびエントリ PTS_EP—fine、 ならびに、 ェ ントリ SPN—EP— coarseおよびエントリ SPN_EP— fineは、 次のように導か れる。 サブテーブル EP_f ineに、 関連するデータ SPN_EP一 startの値の 昇順に並んでいる N f 個のエントリがあるとする。 それぞれのェント リ PTS_EP_f ineは、 対応するエントリ PTS— EP—s tar tから、 次式 ( 1 ) のように導かれる。
PTS_EP_f ine[EP_f ine_id] = (PTS_EP_s tar t [EP_f ine_id] 》9) / 2 11 - - ( 1 )
ェントリ PTS— EP_coarseと、 対応するェントリ PTS_EP_fineとの関係 は、 次式 (2) 、 (3) の通りである。
PTS—EP一 coarse [i] = (PTS_EP_s t ar t [ref_t o_EP_f ine_i d [i] ] 〉〉1 9 ) / 214 · · ( 2 )
PTS— EP_f 11^[ し^_5? fine— id[i]]= (PTS_EP_s tar t [ref_to_EP_f i ne一 id[i]] » 9 ) / 211 · · ( 3)
それぞれのェントリ SPN_EP— fineは、 対応するェントリ SPN_EP— star tから、 次式 (4) のように導かれる。
SPN_EP_f ine[EP_f ine_id] =SPN_EP_start [EP_f ine_id]/ 217 · · (4)
エントリ SPN_EP_coarseと、 対応するエントリ SPN_EP_fineとの関係 は、 次式 (5) 、 (6) の通りである。
SPN_EP_coarse[i] =SPN_EP_start [ref_t o_EP_f i ne_id [i] ] · . ( 5 )
SPN_EP_f ine[ref_to_EP_f ine_id[i]] =SPN_EP_start [ref_to_EP_f ine _id[i]]/217 · · (6)
なお、 上述の式 ( 1) 〜 (6) において、 記号 「〉>x」 は、 データ のし S B側から Xビットを超える桁からビットを用いることを意味す る。
次に、 上述したような E P—m a pの作成の手順について、 第 1 3 図のフローチャートを用いて説明する。 この第 1 3図のフローチヤ一 ト処理は、 第 1 7図 Aおよび第 1 7図 Bを用いて後述する多重化スト リーム解析部 2 5において行われる。 例えば、 第 2図および第 3図を 用いて説明したようなフォーマツ卜のトランスポ一トストリ一ムで以 て入力される AVストリームを記録媒体に記録する動作に伴い、 この フローチヤ一卜の処理が行われる。
入力されたトランスポートストリームは、 多重化ストリーム解析部 25に入力される。 ステップ S 1 0で E P—m a pの作成が開始され ると、 ステップ S 1 1で、 多重化ストリーム解析部 2 5は、 入力され るトランスポートストリームを解析し、 記録するクリップ A Vストリ —厶中のビデオの P I Dをセットする。 入力されるトランスポートス トリーム中に P I Dが異なる複数のビデオが含まれるときは、 それぞ れのビデオ P I Dをセッ卜する。 ステップ S 1 2で、 多重化ストリー ム解析部 2 5は、 入力されたトランスポートストリームから、 セット されたビデオ P I Dを持つビデオのトランスポートバケツトを選別し 、 受信する。
次のステップ S 1 3で、 多重化ストリーム解析部 2 5は、 受信した トランスポートバケツ卜のペイ口一ドが P E Sバケツ卜の第 1バイ ト 目から開始しているか否かを調べる。 これは、 トランスポートバケツ トヘッダ中のフラグ & 1 0 &(1_1]11 1し5 1 31"し^(1 ^ & 1 01"の値にょり判別で き、 この値が" 1 "で、 当該トランスポートパケットのペイロードが P E Sパケットの第 1バイト目から始まることが示される。 若し、 当該 トランスポートバケツ卜のペイロードが P E Sバケツトの第 1バイ 卜 目から始まっていないと判断されれば、 処理はステップ S 1 2に戻さ れる。
ステップ S 1 3で、 当該トランスポートパケットのペイロードが P E Sバケツ卜の第 1バイト目から始まっていると判断されれば、 処理 はステップ S 1 4に移行する。 ステップ S 1 4において、 多重化スト リーム解析部 2 5は、 当該 P E Sバケツトの P E Sバケツトデ一夕部 が、 第 6図 A、 第 6図 Bおよび第 6図 Cを用いて説明した I D Rピク チヤまたは I ピクチャの何れかから開始するビデオのアクセスュニッ トの第 1バイ ト目から開始しているか否かを調べる。 これは、 第 7図 を用いて説明したように、 アクセスュニットデリミ夕およびアクセス ユニットデリミタ後に続く S P Sおよび P P Sを調べることで分かる 。 若し、 第 1バイト目から始まっていないと判断されれば、 処理はス テツプ S 1 2に戻される。
ステップ S 1 4で、 当該 P E Sパケットの P E Sパケットデータ部 が、 I D Rピクチャまたは I ピクチャ何れかから開始するビデオのァ クセスュニッ 卜の第 1バイ ト目から開始していると判断されれば、 処 理はステ、 プ S 1 5に移行する。 ステップ S 1 5において、 多重化ス トリーム解析部 2 5は、 現在のトランスポートパケッ ト (すなわちソ ースパケッ ト) を、 エントリポイントとする。
そして、 次のステップ S 1 6で、 多重化ストリーム解析部 2 5は、 ステップ S 1 5でェントリポイントとしたトランスポートバケツ ト ( ソースパケッ ト) のパケッ ト番号 (ソースパケッ ト番号) と、 当該パ ケッ トに格納される I D Rピクチャまたは I ピクチャの P T Sと、 当 該ェン卜リポイントが属するビデオの P I Dとを取得する。 取得され たこれらの情報は、 多重化ストリーム解析部 2 5から制御部へと渡さ れる。 制御部は、 渡されたこれらの情報に基づき、 E P— m a pを作 成する。
なお、 エントリポイントとしたトランスバケツ 卜のバケツ ト番号は 、 例えば、 クリップ A Vストリームファイルの第 1バイ ト目が格納さ れたトランスポートバケツ 卜のバケツ ト番号を" 0 "として、 ステップ S 1 2でビデオのトランスポートバケツトを受信する毎にバケツ ト番 号を" 1 "ずつカウントアップしていくことで得られる。 I D Rピクチ ャまたは I ピクチャの P T Sは、 P E Sバケツ 卜のヘッダ部に格納さ れる。
次のステップ S 1 7で、 多重化ストリーム解析部 2 5は、 現在入力 されたトランスポートバケツ 卜が最後に入力されるトランスポートパ ケッ 卜であるか否かが判断される。 最後のトランスポートバケツ トで あると判断された場合、 一連の処理が終了される。 最後のトランスポ ートパケッ トではないと判断されれば、 処理は、 ステップ S 1 2に戻 される。. 次に、 トランスポートストリーム中でビデオ P I Dが変化する場合 について説明する。 このような場合は、 第 1 4図 Aに例示されるよう に、 E P— ma p中に、 サブテーブルとしてビデオ P I D毎にさらに E P— m a pを持たせるとよい。 例えば、 第 14図 Bに一例が示され るように、 クリップ AVストリームファイルの前半のビデオ P I D = Xが、 後半にビデオ P I D = yに変化する場合について考える。
この場合、 当該クリップ A Vストリームファイルに対応するクリッ プインフォメーションファイルが有する E P— m a pに、 第 14図 A に一例が示されるように、 ビデオ P I D = xのトランスポートバケツ ト (ソースパケット) に対応する E P— m a pと、 ビデオ P I D = y のトランスポートバケツトに対応する E P— ma pとを、 それぞれサ ブテーブルとして持たせる。 ビデオ P I D = Xに対応する E P_m a pおよびビデオ P I D = yに対応する E P— m a pそれぞれのェント リ PTS一 EP_startは、 同一の時間軸上での再生時系列に対応した値とさ れている。 そのため、 サーチ再生などの際には、 第 14図 Bに一例が 示されるように、 ビデオ P I D = Xのソースパケッ卜およびビデオ P I D = yの I DRピクチャまたは I ピクチャを、 E P— m a p中のサ ブテーブルのェントリ PTS_EP_startに従って、 再生時系列に沿って順 次、 アクセスすることができる。
次に、 I ピクチャまたは I D Rピクチャをサーチする動作について 説明する。 第 1 5図は、 I ピクチャまたは I DRピクチャをサーチす る場合の一例のプレーヤモデルを示す。 以下では、 I ピクチャまたは I D Rピクチャをサーチすることを、 便宜上、 I ピクチャサーチと呼 ぶ。 また、 第 1 6図は、 第 1 5図のプレーヤモデルによる I ピクチャ サーチの一例の処理を示すフローチャートである。
第 1 5図において、 プレーヤモデルは、 ドライブ 1 00、 ファイル システム 1 0 1、 ホストコントローラ 1 02、 デマルチプレクサ 1 0 3およびデコーダ 1 04を備える。 ホストコントローラ 1 02は、 例 えば C P U (Central Processing Uni t)からなり、 ファイルシステム 1 0 1、 デマルチプレクサ 1 03およびデコーダ 1 04は、 それぞれ ハードウェアで構成することもできるし、 C PU上で動作するソフト ウェアで構成してもよい。 図示されないユーザインターフェイス (U I ) は、 ユーザからの指示をホストコントローラに伝える。
クリップ A Vストリ一ムフアイノレがトランスポートストリ一ム化さ れて記録された、 例えば光ディスクからなる記録媒体がドライブ 1 0 0に装填される。 ステップ S 20で、 ファイルシステム 1 0 1は、 ド ライブ 1 00に装填されたディスクを再生し、 ディスクからクリップ インフォメ一ションファイルを読み出し、 インフォメーションフアイ ル中の E P_m a pのデータをホス卜コントローラ 1 02に送る。 一方、 U Iは、 ユーザの指示に基づき、 再生するプログラムのプロ グラム番号およびサーチ開始時間の PTSをセッ トする。 セッ トされ た値は、 ホストコントローラ 1 02に送られる (ステップ S 2 1 ) 。 次のステップ S 2 2で、 ホストコントローラ 1 0 2は、 E P— ma p から、 サーチ開始時間を示す P T Sに対応するェントリ SPN— EP— start を検索し、 検索されたェントリ SPN_EP_startが指し示すソースバケツ ト番号のビデオ P I Dを、 デマルチプレクサ 1 0 3にセッ トする。 例えば、 サーチ開始時間に対応する P T Sの M S B側の 14ビッ ト に基づき、 E P— m a pのサブテーブル EP_coarseからェントリ PTS— E P_coarseを検索し、 対応するェントリ reし to_EP_ ne_idおよびェン トリ SPN_EP_coarseを得る。 エントリ SPN_EP— coarseに基づき、 サーチ 先のソースパケッ トの大まかな位置を知ることができる。 そして、 得 られたエントリ reし to EP_f ine idに基づきサブテーブル EP fineの検 索範囲を設定し、 設定された検索範囲内でサブテーブル EP_n neを検 索する。 検索結果として、 サーチ開始時間に対応する P T Sの L S B 側の第 1 0ビッ トからの 1 1 ビッ 卜の値に対応するェントリ PTS_EPJ i neを得る。 このェントリ PTS_EP_f i neに対応するェントリ SPN— EP_coa rseが指し示すソースバケツ ト番号のビデオ P I Dがデマルチプレク サ 1 0 3にセッ トされる。
なお、 エントリ SPN— EP_f i neがェントリ SPN_EP_s t ar tの M S B側 1 7ビットを用いている場合には、 ェントリ SPN_EP_f i neとェントリ SPN —EP— coarseとを所定に結合した値が指し示すソースパケッ ト番号のビ デォ P I Dがデマルチプレクサ 1 0 3にセッ トされる。
次のステップ S 2 3で、 ホストコントローラ 1 0 2は、 ステップ S 2 2で得られたソースバケツ ト番号に対応するデ一夕ァドレスを、 フ アイルシステム 1 0 1にセッ トする。 ファイルシステム 1 0 1は、 指 定されたデ一夕アドレスからトランスポートストリームを読み出すよ うに、 ドライブ 1 0 0に指示する。 ドライブ 1 0 0は、 この指示に基 づき、 指定されたデータァドレスからトランスポートストリームを読 み出す。 このトランスポートストリームは、 ファイルシステム 1 0 1 に渡され、 ファイルシステム 1 0 1からデマルチプレクサ 1 0 3に渡 される。
デマルチプレクサ 1 0 3は、 供給されたトランスポートストリーム からヘッダ TP— ex t rajieaderを取り除いてトランスポ一トバケツ ト化 し、 上述のステップ S 2 2でセッ トされたビデオ P I Dに基づき、 対 応するトランスポートパケッ トを選別して取り出す。 そして、 取り出 されたトランスポートパケッ トからトランスポートパケッ トヘッダを 取り除き、 ペイロードを繋ぎ合わせて元の A Vストリームを復元する 。 この A Vストリームは、 デコーダ 1 0 4に供給されて所定に復号さ れ、 オーディオおよびビデオ出力とされる。
ステップ S 2 5で、 ユーザによる次のサーチ指示があるか否かが判 断され、 次のサーチ指示がある場合には、 処理はステップ S 2 1に戻 される。
上述したように、 エントリ SPN_EP— fineが指し示すソースパケッ ト 番号のデータは、 ランダムアクセス可能な I ピクチャまたは I D Rピ クチャから始まるアクセスュニッ トの第 1バイ ト目を含むソースパケ ットのアドレスを示している。 上述のような処理により、 サーチ動作 などおいて、 ランダムアクセス可能な I ピクチャまたは I DRピクチ ャが常にアクセスされ、 MP E G 4 AVC I H. 2 64ビデオスト リームにおけるランダムアクセス再生が保障される。
次に、 上述の第 2図で示されるアプリケーション構造のデータを記 録再生するシステムについて説明する。 第 1 7図 Aおよび第 1 7図 B は、 この発明の実施の一形態に適用できる動画像記録再生装置の一例 の構成を示す。
制御部 1 7は、 例えば C P U (Central Processing Unit), ROM( Read Only Memory)およひ R AM (Random Access Memory)なとからな る。 ROMは、 C PU上で動作されるプログラムや動作のために必要 なデータが予め記憶される。 RAMは、 C P Uのワークメモリとして 用いられる。 C PUは、 ROMに記憶されたプログラムやデータを必 要に応じて読み出し、 RAMをワークメモリに用いながら、 この動画 像記録再生装置の全体を制御する。
また、 各種のスィッチなどの操作子や、 簡易的に表示を行う表示素 子を有する図示されないユーザィンタ一フェイスがユーザィンターフ ェイス入力出力端子 2 8に接続される。 ユーザのユーザイン夕一フエ イスに対する操作に応じた制御信号が、 ユーザィンターフェイス入力 出力端子 2 8を介して制御部 1 7に供給される。 また、 制御部 1 7で 生成された表示制御信号がィンターフェイス入力出力端子 2 8を介し てユーザィンタ一フェイスに供給される。 ユーザィン夕ーフェイスは 、 この表示制御信号をテレビジョン受像器などのモニタ装置に供給し 、 表示させることもできる。
先ず、 記録時の動作について説明する。 入力端 3 0にビデオ信号が 入力される。 入力端 3 1にオーディオ信号が入力される。 入力された ビデオ信号およびオーディォ信号は、 A Vエンコーダ 2 3に供給され る。 ビデオ信号は、 ビデオ解析部 2 4にも供給される。 A Vェンコ一 ダ 2 3は、 入力されたビデオ信号およびオーディオ信号を符号化し、 符号化ビデオストリーム V、 符号化オーディォストリーム Aおよびシ ステム情報 Sをそれぞれ出力する。
A Vエンコーダ 2 3は、 入力されたビデオ信号を、 第 6図 A、 第 6 図 Bおよび第 6図 Cを用いて説明した I ピクチャのように、 現在の G O Pの I ピクチャよりも表示順序で未来のピクチャを、 過去の G O P から予測することを禁止するように制限して符号化する。 例えば、 A Vエンコーダ 2 3は、 入力されたビデオ信号を M P E G 4 A V C I H . 2 6 4に準拠した符号化方式で符号化する。 この場合、 上述した ようにして G O P毎に I ピクチャを形成するようにして符号化を行つ てもよいし、 G O P毎に I D Rピクチャを配置して符号化を行うこと もできる。
A Vエンコーダ 2 3は、 オーディオ信号を、 例えば M P E G 1ォ一 ディォストリームやドルビー A C 3オーディオストリ一ムなどの形式 に符号化する。 システム情報 Sは、 符号化ピクチャやオーディオフレ ームのバイ トサイズ、 ピクチャの符号化タイプといった、 ビデオ信号 やオーディォ信号の符号化情報や、 ビデオおよびオーディォの同期な どに関する時間情報からなる。
A Vエンコーダ 2 3のこれらの符号化出力は、 マルチプレクサ 2 2 に供給される。 マルチプレクサ 2 2は、 供給された符号化ビデオスト リーム V、 符号化オーディオストリーム Aを、 システム情報 Sに基づ き多重化し、 多重化ストリームを出力する。 多重化ストリームは、 例 えば M P E G 2 トランスポートストリームや、 M P E G 2プログラム ストリームである。 多重化ス卜リームが M P E G 2 トランスポートス トリームの場合、 符号化ビデオストリーム V、 符号化オーディオスト リーム Aおよびシステム情報 Sは、 それぞれトランスポートバケツ ト のペイロードのサイズに分割され、 所定のヘッダを付加されて、 トラ ンスポートパケッ ト化される。 ヘッダには、 それぞれのデータ種類な どを識別可能なように、 P I Dが所定に格納される。
マルチプレクサ 2 2から出力された多重化ストリームは、 端子 5 0 Aが選択されたスィツチ 5 0を介してソースバケツタイザ 2 1および 上述した多重化ストリーム解析部 2 5に供給される。 ソースバケツ夕 ィザ 2 1は、 供給された多重化ストリームを、 記録媒体のアプリケー ションフォーマツ 卜に従って、 例えば第 3図を用いて説明したような 、 ソースバケツ 卜から構成されるクリップ A Vストリームに符号化す る。
ソースバケツタイザ 2 1で符号化されたクリップ A Vストリームは 、 E C C (Error Correc t i on Cod i ng)符号化部 2 0でエラ一訂正符号 化され、 変調部 1 9で記録符号に変調され、 書き込み部 1 8に供給さ れる。 書き込み部 1 8は、 制御部 1 7から供給される制御信号の指示 に基づき、 変調部 1 9で記録符号に変調されたクリップ A Vストリ一 ムを、 記録可能な記録媒体 1 0に対して記録する。
この動画像記録再生装置は、 クリップ A Vストリームが多重化され たトランスポートストリームを直接的に入力して、 記録媒体に記録す ることができるようになつている。 例えば、 ディジタルインターフエ イスまたはディジタルテレビジョンチューナから出力される、 デイジ タルテレビジョン放送などによるトランスポートストリームが入力端 子 3 2に対して入力される。
入力されたトランスポートストリームの記録方法としては、 トラン スペアレン卜に記録する方法と、 記録ビッ 卜レートを下げるなどの目 的のために再ェンコ一ドして記録する方法とが考えられる。 この 2通 りの記録方法のうち何方を用いて記録を行うかを指示は、 例えばユー ザのユーザインターフェイスに対する操作によりなされ、 この操作に 応じた制御信号がユーザィンターフェイス入力出力端子 2 8を介して 制御部 1 7に供給される。 制御部 1 7は、 この制御信号に基づきこの 動画像記録再生装置の各部を制御し、 記録方法の制御を行う。
入力トランスポートストリームをトランスペアレントに記録する場 合、 スィッチ 5 0において端子 5 0 Bが選択されると共に、 スィッチ 5 1において端子 5 1 Aが選択され、 入力端 3 2から入力されたトラ ンスポートストリームは、 スィッチ 5 1および 5 0を介してソースパ ケッタイザ 2 1および多重化ストリーム解析部 2 5にそれぞれ供給さ れる。 これ以降の処理は、 上述した、 入力端 3 0および 3 1に入力さ れたビデオ信号およびオーディォ信号を符号化して記録する場合と同. 一である。
一方、 入力トランスポートストリームを再ェンコ一ドして記録する 場合、 スィッチ 5 1において端子 5 1 Bが選択され、 入力端 3 2から 入力されたトランスポートストリームは、 デマルチプレクサ 1 5に供 給される。 デマルチプレクサ 1 5は、 供給されたトランスポートスト リームに多重化されている符号化ビデオストリーム 、 符号化オーデ ィォストリーム Aおよびシステム情報 Sを分離し、 符号化ビデオスト リーム Vを A Vデコーダ 1 6に供給すると共に、 符号化オーディオス トリーム Aおよびシステム情報 Sをマルチプレクサ 2 2に供給する。
A Vデコーダ 1 6は、 デマルチプレクサ 1 5から供給された符号化 ビデオストリーム Vを復号し、 復号されたビデオ信号を A Vェンコ一 ダ 2 3に供給する。 A Vエンコーダ 2 3は、 供給されたこのビデオ信 号を符号化して符号化ビデオストリーム Vとする。 この符号化は、 上 述と同様に、 第 6図 A、 第 6図 Bおよび第 6図 Cを用いて説明した I ピクチャのように、 現在の G O Pの I ピクチャよりも表示順序で未来 のピクチャを、 過去の G O Pから予測することを禁止するように制限 して符号化する。 この符号化ビデオストリーム Vは、 マルチプレクサ 2 2に供給される。
マルチプレクサ 2 2は、 A Vエンコーダ 2 3で符号化され供給され た符号化ビデオストリーム Vと、 デマルチプレクサ 1 5で分離された 符号化オーディオストリーム Aとを、 同じくデマルチプレクサ 1 5で 分離されたシステム情報 Sに基づき多重化して多重化ストリームを出 力する。 これ以降の処理は、 上述した、 入力端 3 0および 3 1に入力 されたビデオ信号およびオーディォ信号を符号化して記録する場合と 同一である。
この動画像記録再生装置は、 記録媒体 1 0に対して上述のようにし てクリップ A Vストリームファイルを記録すると共に、 記録するクリ ップ A Vストリームファイルに関連するアプリケーションデータべ一 ス情報をさらに記録する。 アプリケーションデータベース情報は、 ビ デォ解析部 2 4からの動画像の特徴情報と、 多重化ストリーム解析部 2 5からのクリップ A Vストリームの特徴情報と、 端子 2 8から入力 されるユーザの指示情報とに基づき、 制御部 1 7により作成される。 ビデオ解析部 2 4から得られる、 動画像の特徴情報は、 A Vェンコ ーダ 2 3によりビデオ信号を符号化して記録する場合に、 この動画像 記録再生装置内において生成される情報である。 ビデオ解析部 2 4は 、 入力端 3 0から入力されたビデオ信号または入力端 3 2から入力さ れたトランスポートストリームからデマルチプレクサ 1 5で分離され A Vデコーダ 1 6で復号されたビデオ信号が供給される。 ビデオ解析 部 2 4は、 供給されたビデオ信号の内容を解析し、 入力されたビデオ 信号中の特徴的なマーク点の画像に関する情報を生成する。. 例えば、 ビデオ解析部 2 4は、 入力ビデオ信号中のプログラムの開始点、 シ一 ンチェンジ点や、 C M (コマーシャル) 放映の開始、 終了点などの特 徵的なマーク点を検出し、 検出されたマーク点の画像の指示情報を得 る。 また、 マーク点の画像のサムネイル画像を生成するようにしても よい。 サムネイル画像は、 実際の画像データを間引き処理などにより 縮小した画像である。 また、 サムネイル画像のクリップ A Vストリー ム上の位置は、 P T Sで示すことができる。
これらの画像の指示情報、 サムネイル画像およびサムネイル画像の 位置情報 (例えば P T S ) は、 制御部 1 7を介してマルチプレクサ 2 2に供給される。 マルチプレクサ 2 2は、 制御部 1 7から指示される マーク点の画像を符号化した符号化ピクチャを多重化する際に、 当該 符号化ピクチャのクリップ A Vストリーム上でのァドレス情報を制御 部 1 7に返す。 制御部 1 7は、 特徴的な画像の種類と、 対応する符号 化ピクチャのクリップ A Vストリーム上でのアドレス情報とを関連付 けて、 例えば R A Mに記憶する。
多重化ストリーム解析部 2 5から得られる、 クリップ A Vストリー ムの特徴情報は、 記録されるクリップ A Vストリームの符号化情報に 関連する情報であり、 この動画像記録再生装置内において生成される 。 例えば、 クリップ A Vストリームについて、 エントリポイントの夕 ィムスタンプと対応するァドレス情報とをクリップ AVストリームの 特徴情報どして含む。 この他にも、 クリップ AVストリームについて 、 S T C (System Time Clock)の不連続情報、 プログラム内容の変化 情報、 ァライバルタイムと対応するアドレス情報などが、 クリップ A Vストリームの特徴情報として含まれる。
ここで、 クリップ A Vストリーム内のエントリポイントとなる、 第 6図 A、 第 6図 Bおよび第 6図 Cで説明した I DRピクチャまたは I ピクチャから開始するビデオアクセスュニッ 卜のタイムスタンプおよ びアドレス情報は、 上述の E P—m a pに格納されるデ一夕となる。 また、 クリップ AVストリーム内でのプログラム内容の変化情報は、 クリップインフォメ一ションファイル中のブロック Programlnfo (図 示しない) に格納されるデータとなる。
また、 多重化ストリーム解析部 2 5は、 入力端 32から入力される トランスポートストリームをトランスペアレントに記録する場合、 ク リップ AVス卜リーム中の特徴的なマーク点画像を検出し、 検出され た画像の種類とアドレス情報とを生成する。 この情報は、 クリップィ ンフオメ一シヨンファイル中のブロック ClipMark (図示しない) に格 納されるデータとなる。 このように、 多重化ストリーム解析部 2 5に より得られたクリップ A Vストリームの特徴情報は、 クリップ AVス 卜リームのデータベースであるクリップインフォメーションファイル に格納されることになる。 多重化ストリーム解析部 2 5で得られたこ れらの情報は、 例えば、 制御部 1 7の RAMに一旦記憶される。
図示されないユーザィン夕一フェイスに対してなされたユーザの指 示情報は、 ユーザインタ一フェイス入力出力端子 28から制御部 1 7 に供給される。 この指示情報は、 例えば、 クリップ AVストリーム中 でユーザが気に入った再生区間の指定情報、 当該再生区間の内容を説 明するためのキャラクタ文字、 ユーザが気に入ったシーンにセッ卜す るブックマーク点ゃリジユーム点のクリップ AVストリーム中のタイ ムスタンプなどが含まれる。 これらのユーザの指示情報は、 一旦、 制 御部 1 7の RAMに記憶される。 これらの指示情報は、 記録媒体 1 0 上においては、 プレイリストが有するデ一夕ベース (図示しない) に 格納される。
制御部 1 7は、 RAM上に記憶された上述した入力情報、 すなわち 、 ビデオ解析部 2 '4から得られる動画像の特徴情報、 多重化ストリー ム解析部 2 5から得られるクリップ AVストリームの特徴情報、 なら びに、 ユーザイン夕一フェイス入力出力端子 2 8から入力されたユー ザ指示情報に基づき、 クリップ AVストリームのデータベース (クリ ップインフォメーション) 、 プレイリストのデータベース、 記録媒体 の記録内容に対する管理情報(info, drv)およびサムネイル情報を作成 する。 これらのデータベース情報は、 制御部 1 7の RAMから読み出 され、 クリップ A Vストリームと同様にして、 制御部 1 7から ECC 符号化部 20に供給されエラー訂正符号化され、 変調部 1 9で記録符 号に変調され、 書き込み部 1 8に供給される。 書き込み部 1 8は、 制 御部 1 7から供給される制御信号に基づき、 記録符号化されたデータ ベース情報を記録媒体 1 0に記録する。
次に、 再生時の動作について説明する。 記録媒体 1 0は、 記録時の 動作で説明したようにして作成された、 クリップ AVストリームファ ィルとアプリケーションデ一夕ベース情報とが記録されている。 記録 媒体 1 0が図示されないドライブ装置に装填されると、 先ず、 制御部 1 7は、 読み出し部 1 1に対して、 記録媒体 1 0上に記録されたアブ リケーションデータベース情報を読み出すように指示する。 読み出し 部 1 1は、 この指示を受けて、 記録媒体 1 0からアプリケーションデ 一夕ベース情報を読み出す。 読み出し部 1 1の出力は、 復調部 1 2に 供給する。 - 復調部 1 2は、 読み出し部 1 1の出力を復調し、 記録符号を復号し てディジタルデータとする。 復調部 1 2の出力は、 E C C復号部 1 3 に供給され、 エラー訂正符号が復号されエラー訂正処理が行われる。 エラー訂正処理されたアプリケーションデータベース情報は、 制御部 1 7に供給される。
制御部 1 7は、 アプリケーションデータベース情報に基づいて、 記 録媒体 1 0に記録されているプレイリストの一覧を、 ユーザインタ一 フェイス入力出力端子 2 8を介してユーザィンターフェイスに出力す る。 このプレイリストの一覧は、 例えばユーザイン夕一フェイスに設 けられた表示部に所定に表示される。 ユーザにより、 このプレイリス 卜の一覧から再生したいプレイリス卜が選択され、 選択したプレイリ ストを再生するような操作がユーザィン夕一フェイスに対してなされ る。 この操作に応じた制御信号がユーザィン夕一フェイスから出力さ れ、 端子 2 8を介して制御部 1 7に供給される。
制御部 1 7は、 この制御信号に応じて、 選択されたプレイリストの 再生に必要なクリップ A Vストリームファイルの読み出しを、 読み出 し部 1 1に指示する。 読み出し部 1 1は、 この指示に従い、 記録媒体 1 0からクリップ A Vストリームファイルを読み出す。 読み出し部 1 1の出力は、 復調部 1 2に供給される。 復調部 1 2は、 供給された信 号を復調し、 記録符号を復号してディジタルデータとして出力し、 E C C復号部 1 3に供給する。 £ ( じ復号部1 3は、 供給されたデイジ タルデータのエラー訂正符号を復号し、 エラー訂正を行う。 エラー訂 正されたクリップ A Vストリ一ムファイルは、 制御部 1 7により提供 される図示されないファイルシステム部の処理を受け、 ソースデパケ ッ夕ィザ 14に供給される。
ソースデバケツタイザ 1 4は、 制御部 1 7の制御に基づき、 記録媒 体 1 0におけるアプリケーションフォーマツ卜で記録されていたクリ ップ AVストリームファイルを、 デマルチプレクサ 1 5に入力できる 形式のストリームに変換する。 例えば、 ソースデバケツタイザ 1 4は 、 記録媒体 1 0から再生された B D A V MP EG 2 トランスポート ストリーム (第 3図参照) をソースパケット単位に分解し、 ソースパ ケットからヘッダ TP_extra— headerを取り除きトランスポートバケツ ト化する。 このトランスポートパケット化されたクリップ A Vストリ ームを、 デマルチプレクサ 1 5に供給する。
デマルチプレクサ 1 5は、 制御部 1 7の制御に基づき、 ソースデパ ケッタイザ 14から供給されたクリップ AVス卜リームの、 制御部 1 7により指定された再生区間(Pl.ayltem)を構成するビデオストリーム V、 オーディオストリーム Aおよびシステム情報 Sを出力し、 AVデ コーダ 1 6に供給する。 例えば、 デマルチプレクサ 1 5は、 供給され たトランスポートバケツトを P I Dに基づき選別し、 選別されたそれ ぞれについて、 トランスポートバケツトヘッダを取り除いて出力する 。 AVデコーダ 1 6は、 供給されたビデオストリーム Vおよびオーデ ィォストリーム Aを復号し、 復号された再生ビデオ信号および再生ォ 一ディォ信号をビデオ出力端 26およびオーディオ出力端 27にそれ ぞれ導出する。
このような再生時の構成において、 ユーザによって選択されたプレ イリストを、 クリップ AVストリーム上のある時間から途中再生する 場合の動作は、 次のようになる。 制御部 1 7は、 指定された時間に最 も近い PTSを持つエントリポイント、 すなわち、 第 6図 A、 第 6図 Bおよび第 6図 Cを用いて説明した I D Rピクチャまたは I ピクチャ から開始するビデオアクセスュニッ卜のアドレスを、 上述したように して、 指定された時間の P T Sに基づき E P— ma pを用いて検索す る。 そして、 制御部 1 7は、 得られたアドレスからクリップ AVスト リームファイルを読み出すように、 読み出し部 1 1に指示する。
読み出されたクリップ AVストリームファイルは、 既に説明したよ うにして、 復調部 1 2、 EC C復号部 1 3、 ソースデバケツタイザ' 1 4、 デマルチプレクサ 1 5および A Vデコーダ 1 6を経て、 再生ビデ ォ信号および再生オーディォ信号とされ、 出力端 2 6および 2 7にそ れぞれ導出する。
読み出し部 1 1は、 この指示に基づき記録媒体 1 0からクリップ A Vストリームファイルを読み出す。 読み出されたクリップ A Vストリ ームファイルは、 復調部 1 2、 ECC復号部 1 3およびソースデパケ ッ夕ィザ 14を経てデマルチプレクサ 1 5に供給され、 デマルチプレ クサ 1 5でトランスポートパケット化されて A Vデコーダ 1 6に供給 される。
また、 クリップインフォメ一ション中のブロック CI ipMarkに格納さ れている、 番組の頭出し点やシーンチェンジ点の中から、 ュ一ザがあ るマークを選択した場合の再生動作は、 次のようになる。 例えば、 ク リップィンフオメ一ション中のブロック CI ipMarkに格納されている番 組の頭出し点やシーンチェンジ点のサムネイル画像リストを、 制御部 1 7が図示されないユーザインターフェイスに表示し、 ユーザは、 こ のサムネイル画像リス卜から所望のサムネイル画像を選択することで 、 この再生動作が開始される。 サムネイル画像が選択されると、 選択 されたサムネイル画像に対応するクリップ AVストリーム上の位置情 報 (例えば PTS) が制御部 1 7に供給される。 制御部 1 7は、 クリップインフォメーションの内容に基づいて、 記 録媒体 1 0からクリップ A Vストリームを読み出す位置を決定し、 読 み出し部 ϊ 1にクリップ AVストリームの読み出しを指示する。 より 具体的には、 制御部 1 7は、 ユーザが選択したサムネイル画像に対応 するピクチャが格納されているクリップ A Vストリーム上のアドレス に最も近いアドレスにあるエントリポイント、 すなわち、 第 6図 A、 第 6図 Bおよび第 6図 Cを用いて説明した I DRピクチャまたは I ピ クチャから開始するビデオアクセスュニットのアドレスを、 上述した ようにして、.サムネイル画像に対応した時間の P T Sに基づき E P— ma pを用いて検索する。 そして、 制御部 1 7は、 得られたアドレス からクリップ AVストリームファイルを読み出すように、 読み出し部 1 1に指示する。
読み出されたクリップ AVストリームファイルは、 既に説明したよ うにして、 復調部 1 2、 EC C復号部 1 3、 ソースデバケツタイザ 1 4、 デマルチプレクサ 1 5および AVデコーダ 1 6を経て、 再生ビデ ォ信号および再生オーディオ信号とされ、 出力端 26および 2 7にそ れぞれ導出する。
なお、 記録媒体 1 0は、 特に種類を限定されない。 例えば、 B 1 u - r a y D i s c (ブルーレイディスク) 規格に沿ったディスク状 記録媒体を記録媒体 1 0として用いることができる。 B l u _ r a y D i s c規格では、 記録媒体として直径 1 2 c m、 カバー層 0. 1 mmのディスクを用い、 光学系として波長 40 5 nmの青紫色レーザ 、 開口数 0. 8 5の対物レンズを用いて、 最大で 2 7 GB (ギガバイ ト) の記録容量を実現している。
これに限らず、 ハードディスクを記録媒体 1 0として用いることが できる。 また、 ディスク状記録媒体に限らず、 例えば大容量の半導体 メモリを記録媒体 1 0として用いることができる。 さらに、 記録可能 な仕様の DVD (Digital Versatile Disc) 例えば D V D— R (DVD- R ecordable)'、 D V D— R AM (DVD- Random Access Memory) DVD -R W(DVD-Rewri table)、 D VD + RW(DVD +RW format)を記録媒体 1 0 として用いることができる。 同様に、 C D— R (Compact Disc-Record able)や C D - RW(Compact Disc- ReWri table)を記録媒体 1 0として 用いることができる。
また、 記録媒体 1 0は、 記録可能な記録媒体に限定されない。 すな わち、 上述した動画像記録再生装置の記録時のプロセスと同様のプロ セスを経て形成されたデータが予め記録された、 再生専用の記録媒体 を、 記録媒体 1 0として用いることができる。 例えば、 上述した B 1 u— r a y D i s cの規格に基づいた再生専用のディスク (BD— ROMと呼ぶ) が提案されている。 この BD— ROMを、 記録媒体 1 0として用いることができる。 これに限らず、 再生専用の DVD— R OM (DVD-Read Only Memory)や C D— R O M (Compac t Disc-Read Onl y Memory)を記録媒体 1 0として用いてもよい。
すなわち、 第 6図 A、 第 6図 Bおよび第 6図 Cを用いて説明した I ピクチャのように、 現在の GO Pの I ピクチャよりも表示順序で未来 のピクチャを、 過去の G〇Pから予測することを禁止するように制限 して符号化したクリップ AVストリームと、 この符号化に対応して作 成された EP— ma pとを、 予めこのような再生専用の記録媒体に記 録して、 ユーザに提供する。
記録媒体 1 0として再生専用の記録媒体を用いる場合でも、 再生部 側の動作は、 上述と同一である。 勿論、 記録部側の動作は、 行えない ようにされる。 また、 再生専用の記録媒体を用いる場合において、 上 述の第 1 7図 Aおよび第 1 7図 Bの構成を、 記録部側の構成を省略し た動画像再生装置とすることもできる。
さらに、 上述の第 1 7図 Aおよび第 1 7図 Bの構成を、 再生部側の 構成を省略した動画像記録装置とすることもできる。 この場合、 この 動画像記録装置で作成された記録媒体 1 0を、 この実施の一形態によ る E P— ma pに対応した動画像再生装置で再生すると、 サーチ動作 などが円滑に行われ、 好ましい。
さらにまた、 上述では、 第 1 7図 Aおよび第 1 7図 Bに示す動画像 記録再生装置がハードウエア的に構成されるように説明したが、 これ はこの例に限定されない。 すなわち、 動画像記録再生装置は、 実際に 記録媒体 1 0が装填されるドライブ部などの機構部分以外の部分を、 ソフトウェアとして構成することも可能である。 この場合、 ソフトゥ エアは、 例えば制御部 1 7が有する ROMに予め記憶される。 これに 限らず、 動画像記録再生装置を、 パーソナルコンピュータなどのコン ピュー夕装置上に構成することも可能である。 この場合には、 動画像 記録再生装置をコンピュータ装置に実行させるソフトウェアは、 CD — ROMや DVD— ROMといった記録媒体に記録されて提供される 。 コンピュータ装置がネッ トワーク接続可能な場合、 インターネッ ト などのネットワークを介して当該ソフトウエアを提供することも可能 である。
さらに、 上述では、 多重化ストリームが MP E G 2 トランスポート ストリームであるとして説明したが、 これはこの例に限定されない。 多重化ストリ一ムとして MP EG 2プログラムストリームや DS S (D igital Satellite Sys tem)トランスポートストリームを用いるシステ ムに対してこの発明を適用することもできる。 MP EG 2プログラム ストリームの場合は、 ソースパケッ トの代わりに、 パックが用いられ る。

Claims

請 求 の 範 囲
1 . 独立的に復号が可能なピクチャから、 復号順で未来の、 次の独立 的に復号が可能なピクチャの直前のピクチャまでの集合を単位とし、 該単位内の、 上記独立的に復号が可能なピクチャよりも表示順序で未 来のピクチャを、 該単位より過去の単位内のピクチヤから予測するこ とが可能な符号化方法で以てビデオストリームを符号化して記録媒体 に記録するデータ記録装置において、
ビデオストリームを、 独立的に復号が可能なピクチャから、 復号順 で未来の、 次の独立的に復号が可能なピクチャの直前のピクチャまで の集合を単位とし、 該単位内の、 上記独立的に復号が可能なピクチャ よりも表示順序で未来のピクチャを、 該単位より過去の単位内のピク チヤから予測することを禁止するように制限して符号化を行い符号化 ビデオストリームを生成する符号化手段と、
上記独立的に復号が可能なピクチャの、 上記符号化ビデオストリー ム上の再生時間情報と、 該符号化ビデオストリーム上の位置情報とを 対応付けたテーブルを作成するテーブル作成手段と、
上記符号化手段で符号化された上記符号化ビデオストリームと上記 テーブル作成手段で作成された上記テーブルとを対応付けて記録媒体 に記録する記録手段と
を有することを特徴とするデータ記録装置。
2 . 請求の範囲 1に記載のデータ記録装置において、
上記符号化ビデオストリームを分割し所定サイズのバケツ卜に格納 するバケツト化手段をさらに有し、
上記記録手段は、 上記バケツト化手段でバケツ卜化された上記符号 化ビデオストリームを上記記録媒体に記録するようにされ、 上記テ一 ブル作成手段は、 上記符号化ビデオストリーム上の位置情報を上記パ ケット単位で表すようにしたことを特徴とするデータ記録装置。
3. 請求の範囲 1に記載のデータ記録装置において、
複数の上記ビデオストリームがそれぞれ上記符号化手段で符号化さ れた複数の上記符号化ビデオストリームを多重化する多重化手段をさ らに有し、
上記記録手段は、 上記多重化手段で多重化された上記複数の符号化 ビデオストリームを上記記録媒体に記録するようにされ、 上記テープ ル作成手段は、 上記多重化手段で多重化した上記複数の符号化ビデオ ストリームのそれぞれについて、 上記テーブルを作成するようにした ことを特徴とするデータ記録装置。
4. 請求の範囲 1に記載のデータ記録装置において、
上記テーブル作成手段は、
上記符号化ビデオストリーム上の大まかな再生時間情報と該大まか な再生時間情報に対応する上記位置情報とを対応付けた第 1のサブテ 一ブルと、
上記符号化ビデオストリーム上のより詳細な再生時間情報と該ょり 詳細な再生時間情報に対応する上記位置情報とを対応付けた第 2のサ ブテーブルと
をそれぞれ作成するようにしたことを特徴とするデータ記録装置。
5. 請求の範囲 1に記載のデータ記録装置において、
上記符号化手段は、 MPEG4 AVC I H. 2 64の規格に基づ き上記符号化を行い、
上記独立的に復号が可能なピクチャは、 全てのスライスが Iスライ スからなるピクチャであることを特徴とするデータ記録装置。
6. 請求の範囲 1に記載のデータ記録装置において、
上記符号化手段は、 MP E G 4 AVC I H. 264の規格に基づ き上記符号化を行い、
上記独立的に復号が可能なピクチャは、 I D Rピクチャであること を特徴とするデータ記録装置。
7 . 独立的に復号が可能なピクチャから、 復号順で未来の、 次の独立 的に復号が可能なピクチャの直前のピクチャまでの集合を単位とし、 該単位内の、 上記独立的に復号が可能なピクチャよりも表示順序で未 来のピクチャを、 該単位より過去の単位内のピクチヤから予測するこ とが可能な符号化方法で以てビデオストリームを符号化して記録媒体 に記録するデータ記録方法において、
ビデオストリームを、 独立的に復号が可能なピクチャから、 復号順 で未来の、 次の独立的に復号が可能なピクチャの直前のピクチャまで の集合を単位とし、 該単位内の、 上記独立的に復号が可能なピクチャ よりも表示順序で未来のピクチャを、 該単位より過去の単位内のピク チヤから予測することを禁止するように制限して符号化を行い符号化 ビデオストリームを生成する符号化のステップと、
上記独立的に復号が可能なピクチャの、 上記符号化ビデオストリ一 ム上の再生時間情報と、 該符号化ビデオストリーム上の位置情報とを 対応付けたテーブルを作成するテーブル作成のステップと、
上記符号化のステップで符号化された上記符号化ビデオストリーム と上記テーブル作成のステップで作成された上記テーブルとを対応付 けて記録媒体に記録する記録のステップと
を有することを特徴とするデータ記録方法。
8 . 独立的に復号が可能なピクチャから、 復号順で未来の、 次の独立 的に復号が可能なピクチャの直前のピクチャまでの集合を単位とし、 該単位内の、 上記独立的に復号が可能なピクチャよりも表示順序で未 来のピクチャを、 該単位より過去の単位内のピクチヤから予測するこ とが可能な符号化方法で以てビデオストリームを符号化して記録媒体 に記録するデータ記録方法をコンピュータ装置に実行させるデータ記 録プログラムにおいて、
上記デ一夕記録方法は、
ビデオストリームを、 独立的に復号が可能なピクチャから、 復号順 で未来の、 次の独立的に復号が可能なピクチャの直前のピクチャまで の集合を単位とし、 該単位内の、 上記独立的に復号が可能なピクチャ よりも表示順序で未来のピクチャを、 該単位より過去の単位内のピク チヤから予測することを禁止するように制限して符号化を行い符号化 ビデオストリームを生成する符号化のステップと、
上記独立的に復号が可能なピクチャの、 上記符号化ビデオストリー ム上の再生時間情報と、 該符号化ビデオストリーム上の位置情報とを 対応付けたテーブルを作成するテーブル作成のステップと、
上記符号化のステップで符号化された上記符号化ビデオストリーム と上記テーブル作成のステップで作成された上記テーブルとを対応付 けて記録媒体に記録する記録のステツプと
を有することを特徴とするデータ記録プログラム。
9 . 独立的に復号が可能なピクチャから、 復号順で未来の、 次の独立 的に復号が可能なピクチャの直前のピクチャまでの集合を単位とし、 該単位内の、 上記独立的に復号が可能なピクチャよりも表示順序で未 来のピクチャを、 該単位より過去の単位内のピクチヤから予測するこ とが可能な符号化方法で以てビデオストリームを符号化して記録され た記録媒体を再生するデータ再生装置において、
ビデオストリームを、 独立的に復号が可能なピクチャから、 復号順 で未来の、 次の独立的に復号が可能なピクチャの直前のピクチャまで の集合を単位とし、 該単位内の、 上記独立的に復号が可能なピクチャ よりも表示順序で未来のピクチャを、 該単位より過去の単位内のピク チヤから予測することを禁止するように制限して符号化を行い生成さ れた符号化ビデオストリームと、
上記独立的に復号が可能なピクチャの、 上記符号化ビデオストリー ム上の再生時間情報と、 該符号化ビデオストリーム上の位置情報とを 対応付けて作成されたテーブルと
が対応付けられて記録された記録媒体を再生する再生手段と、 上記再生手段で再生された上記符号化ビデオストリームの復号を、 上記再生手段で再生された上記テーブルに基づき上記再生時間情報に 対応する上記位置情報で示される上記符号化ビデオストリームの位置 から行うように制御する復号制御手段と
を有することを特徴とするデータ再生装置。
1 0 . 請求の範囲 9に記載のデータ再生装置において、
上記記録媒体に記録された上記符号化ビデオス卜リームに対するラ ンダムアクセスを、 上記テーブルに基づき行うようにしたことを特徴 とするデータ再生装置。
1 1 . 請求の範囲 9に記載のデ一夕再生装置において、
上記符号化ビデオストリームは.、 分割され所定サイズのバケツ卜に 格納されて上記記録媒体に記録され、
上記テーブルは、 上記符号化ビデオストリーム上の位置情報が上記 バケツト単位で表されていることを特徴とするデータ再生装置。
1 2 . 請求の範囲 9に記載のデータ再生装置において、
複数の上記ビデオストリームがそれぞれ符号化された複数の上記符 号化ビデオストリームが多重化されて上記記録媒体に記録され、 上記多重化された上記複数の符号化ビデオストリームのそれぞれに 対応する上記テーブルが上記記録媒体に記録されていることを特徴と するデータ再生装置
1 3. 請求の範囲 9に記載のデータ再生装置において、
上記テーブルは、
上記符号化ビデオストリーム上の大まかな再生時間情報と該大まか な再生時間情報に対応する上記位置情報とを対応付けた第 1のサブテ —ブルと、
上記符号化ビデオス卜リーム上のより詳細な再生時間情報と該ょり 詳細な再生時間情報に対応する上記位置情報とを対応付けた第 2のサ ブテーブルと
からなり、
上記復号制御手段は、 指定された再生時間に基づき上記第 1のテー ブルから上記大まかな再生時間情報を検索して第 1の検索結果を得、 該第 1の検索結果に基づき上記第 2のテーブルから上記より詳細な再 生時間情報を検索して第 2の検索結果を得、 少なくとも上記第 2の検 索結果を用いて上記指定された再生時間に対応する上記符号化ビデオ ストリ一ムの復号を行う上記位置情報を得るようにしたことを特徴と するデータ再生装置。
14. 請求の範囲 9に記載のデータ再生装置において、
上記符号化ビデオストリームは、 MP E G 4 AVC I H. 264 の規格に基づき符号化されており、 上記独立的に復号が可能なピクチ ャは、 全てのスライスが Iスライスからなるピクチヤであることを特 徵とするデータ再生装置。
1 5. 請求の範囲 9に記載のデータ再生装置において、
上記符号化ビデオストリームは、 MP E G 4 AVC I H. 264 の規格に基づき符号化されており、 上記独立的に復号が可能なピクチ ャは、 I DRピクチャであることを特徴とするデータ再生装置。
1 6 . 独立的に復号が可能なピクチャから、 復号順で未来の、 次の独 立的に復号が可能なピクチャの直前のピクチャまでの集合を単位とし 、 該単位内の、 上記独立的に復号が可能なピクチャよりも表示順序で 未来のピクチャを、 該単位より過去の単位内のピクチヤから予測する ことが可能な符号化方法で以てビデオス卜リームを符号化して記録さ れた記録媒体を再生するデータ再生方法において、
ビデオストリームを、 独立的に復号が可能なピクチャから、 復号順 で未来の、 次の独立的に復号が可能なピクチャの直前のピクチャまで の集合を単位とし、 該単位内の、 上記独立的に復号が可能なピクチャ よりも表示順序で未来のピクチャを、 該単位より過去の単位内のピク チヤから予測することを禁止するように制限して符号化を行い生成さ れた符号化ビデオス卜リームと、
上記独立的に復号が可能なピクチャの、 上記符号化ビデオストリー ム上の再生時間情報と、 該符号化ビデオストリーム上の位置情報とを 対応付けて作成されたテーブルと
が対応付けられて記録された記録媒体を再生する再生のステップと、 上記再生のステップにより再生された上記符号化ビデオストリーム の復号を、 上記再生のステツプにより再生された上記テーブルに基づ き上記再生時間情報に対応する上記位置情報で示される上記符号化ビ デォストリームの位置から行うように制御する復号制御のステップと を有することを特徴とするデータ再生方法。
1 7 . 独立的に復号が可能なピクチャから、 復号順で未来の、 次の独 立的に復号が可能なピクチャの直前のピクチャまでの集合を単位とし 、 該単位内の、 上記独立的に復号が可能なピクチャよりも表示順序で 未来のピクチャを、 該単位より過去の単位内のピクチヤから予測する ことが可能な符号化方法で以てビデオストリームを符号化して記録さ れた記録媒体を再生するデータ再生方法をコンピュータ装置に実行さ せるデータ再生プログラムにおいて、
上記データ再生方法は、
ビデオストリームを、 独立的に復号が可能なピクチャから、 復号順 で未来の、 次の独立的に復号が可能なピクチャの直前のピクチャまで の集合を単位とし、 該単位内の、 上記独立的に復号が可能なピクチャ よりも表示順序で未来のピクチャを、 該単位より過去の単位内のピク チヤから予測することを禁止するように制限して符号化を行い生成さ れた符号化ビデオストリームと、
上記独立的に復号が可能なピクチャの、 上記符号化ビデオストリー ム上の再生時間情報と、 該符号化ビデオストリーム上の位置情報とを 対応付けて作成されたテーブルと
が対応付けられて記録された記録媒体を再生する再生のステップと、 上記再生のステップにより再生された上記符号化ビデオストリーム の復号を、 上記再生のステップにより再生された上記テーブルに基づ き上記再生時間情報に対応する上記位置情報で示される上記符号化ビ デォストリームの位置から行うように制御する復号制御のステップと を有することを特徴とするデータ再生プログラム。
1 8 . 独立的に復号が可能なピクチャから、 復号順で未来の、 次の独 立的に復号が可能なピクチャの直前のピクチャまでの集合を単位とし
、 該単位内の、 上記独立的に復号が可能なピクチャよりも表示順序で 未来のピクチャを、 該単位より過去の単位内のピクチヤから予測する ことが可能な符号化方法で以てビデオストリームを符号化して記録す る記録媒体において、
ビデオストリームを、 独立的に復号が可能なピクチャから、 復号順 で未来の、 次の独立的に復号が可能なピクチャの直前のピクチャまで の集合を単位とし、 該単位内の、 上記独立的に復号が可能なピクチャ よりも表示順序で未来のピクチャを、 該単位より過去の単位内のピク チヤから予測することを禁止するように制限して符号化を行い生成さ れた符号化ビデオストリームと、
上記独立的に復号が可能なピクチャの、 上記符号化ビデオストリー ム上の再生時間情報と、 該符号化ビデオストリーム上の位置情報とを 対応付けて作成されたテーブルと
が対応付けられて記録されたことを特徴とする記録媒体。
1 9 . 請求の範囲 1 8に記載の記録媒体において、
上記符号化ビデオストリームは、 分割され所定サイズのパケットに 格納されて記録され、
上記テーブルは、 上記符号化ビデオストリーム上の位置情報が上記 バケツト単位で表されていることを特徴とする記録装置。
2 0 . 請求の範囲 1 8に記載の記録媒体において、
複数の上記ビデオス卜リームがそれぞれ符号化された複数の上記符 号化ビデオストリームが多重化されて記録されると共に、
上記多重化された上記複数の符号化ビデオストリームのそれぞれに 対応する上記テーブルが記録されていることを特徴とする記録媒体。
2 1 . 請求の範囲 1 8に記載の記録媒体において、
上記テーブルは、
上記符号化ビデオストリーム上の大まかな再生時間情報と該大まか な再生時間情報に対応する上記位置情報とを対応付けた第 1のサブテ 一ブルと、
上記符号化ビデオストリーム上のより詳細な再生時間情報と該ょり 詳細な再生時間情報に対応する上記位置情報とを対応付けた第 2のサ ブテーブルと からなることを特徴とする記録媒体。
2 2 . 請求の範囲 1 8に記載の記録媒体において、
上記符号化ビデオストリームは、 M P E G 4 A V C I H . 2 6 4 の規格に基づき符号化されており、 上記独立的に復号が可能なピクチ ャは、 全てのスライスが Iスライスからなるピクチヤであることを特 徵とする記録媒体。
2 3 . 請求の範囲 1 8に記載の記録媒体において、
上記符号化ビデオストリームは、 M P E G 4 A V C I H . 2 6 4 の規格に基づき符号化されており、 上記独立的に復号が可能なピクチ ャは、 I D Rピクチャであることを特徴とする記録媒体。
2 4 . 独立的に復号が可能なピクチャから、 復号順で未来の、 次の独 立的に復号が可能なピクチャの直前のピクチャまでの集合を単位とし て、 該単位内の、 上記独立的に復号が可能なピクチャよりも表示順序 で未来のピクチャを、 該単位より過去の単位内のピクチヤから予測す ることが可能な符号化方法で以てビデオストリームを符号化したデ一 夕のデータ構造において、
ビデオストリームを、 独立的に復号が可能なピクチャから、 復号順 で未来の、 次の独立的に復号が可能なピクチャの直前のピクチャまで の集合を単位とし、 該単位内の、 上記独立的に復号が可能なピクチャ よりも表示順序で未来のピクチャを、 該単位より過去の単位内のピク チヤから予測することを禁止するように制限して符号化を行い生成さ れた符号化ビデオストリームと、
上記独立的に復号が可能なピクチャの、 上記符号化ビデオストリー ム上の再生時間情報と、 該符号化ビデオス卜リーム上の位置情報とを 対応付けて作成されたテーブルと
が対応付けられているデータ構造。
PCT/JP2005/010633 2004-06-07 2005-06-03 データ記録装置、方法およびプログラム、データ再生装置、方法およびプログラム、記録媒体、ならびに、データ構造 WO2005122567A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR20067025653A KR101183716B1 (ko) 2004-06-07 2005-06-03 데이터 기록 장치 및 방법, 데이터 재생 장치 및 방법, 및 기록 매체
CN2005800186527A CN1965577B (zh) 2004-06-07 2005-06-03 数据记录设备、方法和数据再现设备、方法
US11/569,487 US8897376B2 (en) 2004-06-07 2005-06-03 Data recording device, method, and program, data reproduction device, method, and program, recording medium, and data structure
EP05750877A EP1755337B1 (en) 2004-06-07 2005-06-03 Data recording device and method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2004-168461 2004-06-07
JP2004168461A JP4608953B2 (ja) 2004-06-07 2004-06-07 データ記録装置、方法およびプログラム、データ再生装置、方法およびプログラム、ならびに、記録媒体

Publications (1)

Publication Number Publication Date
WO2005122567A1 true WO2005122567A1 (ja) 2005-12-22

Family

ID=35500231

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2005/010633 WO2005122567A1 (ja) 2004-06-07 2005-06-03 データ記録装置、方法およびプログラム、データ再生装置、方法およびプログラム、記録媒体、ならびに、データ構造

Country Status (7)

Country Link
US (1) US8897376B2 (ja)
EP (2) EP1755337B1 (ja)
JP (1) JP4608953B2 (ja)
KR (1) KR101183716B1 (ja)
CN (2) CN102611898B (ja)
TW (1) TW200603084A (ja)
WO (1) WO2005122567A1 (ja)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1566965A4 (en) * 2002-11-11 2010-04-07 Sony Corp INFORMATION PROCESSING DEVICE AND METHOD PROGRAM MEMORY MEDIA, RECORDING MEDIUM AND PROGRAM
JP2007318615A (ja) * 2006-05-29 2007-12-06 Toshiba Corp 動画再生装置、動画再生方法およびプログラム
JP4799504B2 (ja) * 2006-08-10 2011-10-26 キヤノン株式会社 画像復号化装置及びその制御方法
JP2008311871A (ja) * 2007-06-13 2008-12-25 Hitachi Ltd 情報記録再生装置及びビデオカメラ装置
JP5147546B2 (ja) * 2008-05-30 2013-02-20 キヤノン株式会社 映像符号化装置及び映像復号化装置
JP4984183B2 (ja) 2009-04-07 2012-07-25 ソニー株式会社 再生装置、再生方法、および記録方法
JP5267886B2 (ja) 2009-04-08 2013-08-21 ソニー株式会社 再生装置、記録媒体、および情報処理方法
JP4957823B2 (ja) * 2009-04-08 2012-06-20 ソニー株式会社 再生装置および再生方法
JP4962525B2 (ja) 2009-04-08 2012-06-27 ソニー株式会社 再生装置、再生方法、およびプログラム
JP2010263615A (ja) 2009-04-08 2010-11-18 Sony Corp 情報処理装置、情報処理方法、再生装置、再生方法
JP4984184B2 (ja) 2009-04-08 2012-07-25 ソニー株式会社 再生装置および再生方法
JP4993224B2 (ja) 2009-04-08 2012-08-08 ソニー株式会社 再生装置および再生方法
JP4985884B2 (ja) * 2009-04-08 2012-07-25 ソニー株式会社 再生装置、再生方法、および記録方法
JP4714307B2 (ja) 2009-05-19 2011-06-29 パナソニック株式会社 記録媒体、再生装置、符号化装置、集積回路、及び再生出力装置
JP4984181B2 (ja) 2009-06-22 2012-07-25 ソニー株式会社 再生装置および再生方法
US8521006B2 (en) * 2010-05-06 2013-08-27 Intel Corporation Boundary detection in media streams
JP5545478B2 (ja) 2010-06-23 2014-07-09 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
KR101803970B1 (ko) * 2011-03-16 2017-12-28 삼성전자주식회사 컨텐트를 구성하는 장치 및 방법
JP5955391B2 (ja) 2011-09-29 2016-07-20 テレフオンアクチーボラゲット エルエム エリクソン(パブル) 参照ピクチャリストの取り扱い
PL2805511T3 (pl) 2012-01-20 2019-09-30 Sun Patent Trust Sposoby i urządzenie do kodowania i dekodowania wideo przy użyciu predykcji wektora ruchu w czasie
ES2865101T3 (es) 2012-02-03 2021-10-15 Sun Patent Trust Procedimiento de codificación de imágenes, procedimiento de decodificación de imágenes, dispositivo de codificación de imágenes, dispositivo de decodificación de imágenes y dispositivo de codificación/decodificación de imágenes
WO2013132792A1 (ja) 2012-03-06 2013-09-12 パナソニック株式会社 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、及び動画像符号化復号装置
DE102012212175A1 (de) 2012-07-12 2014-01-16 Robert Bosch Gmbh Verfahren und Vorrichtung zum Betreiben eines Fahrzeugs
JP2017073798A (ja) * 2016-11-15 2017-04-13 株式会社Nttドコモ 動画像予測復号装置及び動画像予測復号方法
JP2018093412A (ja) * 2016-12-06 2018-06-14 株式会社日立製作所 演算装置、送信プログラム、送信方法
EP3859736A1 (en) 2018-09-26 2021-08-04 FUJIFILM Corporation Recording device, readout device, recording method, recording program, readout method, readout program, and magnetic tape
CN109588679A (zh) * 2018-12-31 2019-04-09 昆明源水农产品开发有限公司 一种板栗加工方法
JP6967653B2 (ja) * 2019-12-19 2021-11-17 株式会社Nttドコモ 動画像予測復号方法
JP2020043613A (ja) * 2019-12-19 2020-03-19 株式会社Nttドコモ 動画像予測復号方法
JP7026762B2 (ja) * 2020-12-23 2022-02-28 株式会社Nttドコモ 動画像予測復号方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06181569A (ja) * 1992-12-14 1994-06-28 Sony Corp 画像符号化及び復号化方法又は装置、及び画像記録媒体
EP1043892A1 (en) 1999-03-19 2000-10-11 Sony Corporation Recording and playing back packetized video programs
JP2002158972A (ja) * 2000-04-21 2002-05-31 Sony Corp 情報処理装置および方法、記録媒体、プログラム、並びに記録媒体

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3359745B2 (ja) 1994-07-29 2002-12-24 シャープ株式会社 動画像再生装置、及び動画像記録装置
JP3484834B2 (ja) * 1995-07-28 2004-01-06 ソニー株式会社 データ符号化/復号化方法および装置
JP3484832B2 (ja) * 1995-08-02 2004-01-06 ソニー株式会社 記録装置、記録方法、再生装置及び再生方法
KR100795255B1 (ko) * 2000-04-21 2008-01-15 소니 가부시끼 가이샤 정보 처리 장치 및 방법, 프로그램과 기록 매체
CN101867835B (zh) 2000-04-21 2013-09-11 索尼公司 编码设备和方法、以及记录方法
CA2507825C (en) * 2003-03-03 2013-01-22 Matsushita Electric Industrial Co. Ltd. Picture coding method and picture decoding method

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06181569A (ja) * 1992-12-14 1994-06-28 Sony Corp 画像符号化及び復号化方法又は装置、及び画像記録媒体
US5543847A (en) 1992-12-14 1996-08-06 Sony Corporation Picture coding and decoding method for random accessing
EP1043892A1 (en) 1999-03-19 2000-10-11 Sony Corporation Recording and playing back packetized video programs
JP2000341640A (ja) * 1999-03-19 2000-12-08 Sony Corp 記録装置および方法、再生装置および方法、並びに記録媒体
JP2002158972A (ja) * 2000-04-21 2002-05-31 Sony Corp 情報処理装置および方法、記録媒体、プログラム、並びに記録媒体
EP1280347A1 (en) 2000-04-21 2003-01-29 Sony Corporation Information processing apparatus and method, program, and recorded medium

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP1755337A4

Also Published As

Publication number Publication date
EP1755337B1 (en) 2012-10-17
CN1965577A (zh) 2007-05-16
CN1965577B (zh) 2012-07-04
JP4608953B2 (ja) 2011-01-12
EP2533522A1 (en) 2012-12-12
US20070268971A1 (en) 2007-11-22
US8897376B2 (en) 2014-11-25
JP2005348314A (ja) 2005-12-15
KR101183716B1 (ko) 2012-09-17
KR20070020491A (ko) 2007-02-21
CN102611898B (zh) 2014-04-02
EP1755337A1 (en) 2007-02-21
EP2533522B1 (en) 2014-01-29
TW200603084A (en) 2006-01-16
EP1755337A4 (en) 2010-04-28
CN102611898A (zh) 2012-07-25
TWI313450B (ja) 2009-08-11

Similar Documents

Publication Publication Date Title
WO2005122567A1 (ja) データ記録装置、方法およびプログラム、データ再生装置、方法およびプログラム、記録媒体、ならびに、データ構造
JP4715633B2 (ja) 記録装置、記録方法および記録プログラム、ならびに、編集装置、編集方法および編集プログラム
JP4678761B2 (ja) オーディオデータおよび/またはビデオデータおよび/または別のデータを含むデータストリームを同期するための方法
TWI230372B (en) Recording medium having data structure for managing reproduction of still images recorded thereon and recording and reproducing methods and apparatuses
US8335426B2 (en) Recording apparatus, recording method, and recording program, and image capturing apparatus, image capturing method, and image capturing program
JP2008263601A (ja) データ処理装置及び方法、ならびに編集システム及び方法
JP2011050082A (ja) 情報処理装置および方法、記録媒体、並びにプログラム
US8995816B2 (en) Recording apparatus, recording method, and recording program, and image capturing apparatus, image capturing method and image capturing program
US8155502B2 (en) Information processing apparatus, information processing method, and computer program
US8655155B2 (en) Recording apparatus, recording method, and recording program, and image capturing apparatus, image capturing method, and image capturing program
JP4552889B2 (ja) 記録装置、記録方法および記録プログラム、ならびに、撮像装置および撮像方法
JP7056566B2 (ja) 情報処理装置、および情報処理方法、並びにプログラム
JP5110135B2 (ja) 記録媒体
JP2008282471A (ja) 記録装置、記録方法および記録プログラム、ならびに、編集装置、編集方法および編集プログラム
JP7070433B2 (ja) 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム
KR20080050480A (ko) 정보 처리 장치 및 정보 처리 방법과 컴퓨터 프로그램

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS KE KG KM KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NG NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SM SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): BW GH GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LT LU MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2005750877

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 11569487

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 1020067025653

Country of ref document: KR

WWE Wipo information: entry into national phase

Ref document number: 200580018652.7

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE

WWW Wipo information: withdrawn in national office

Ref document number: DE

WWP Wipo information: published in national office

Ref document number: 2005750877

Country of ref document: EP

Ref document number: 1020067025653

Country of ref document: KR

WWP Wipo information: published in national office

Ref document number: 11569487

Country of ref document: US