WO2008018618A1 - Edition device, edition method, edition program, and edition system - Google Patents

Edition device, edition method, edition program, and edition system Download PDF

Info

Publication number
WO2008018618A1
WO2008018618A1 PCT/JP2007/065882 JP2007065882W WO2008018618A1 WO 2008018618 A1 WO2008018618 A1 WO 2008018618A1 JP 2007065882 W JP2007065882 W JP 2007065882W WO 2008018618 A1 WO2008018618 A1 WO 2008018618A1
Authority
WO
WIPO (PCT)
Prior art keywords
editing
encoding
stream
data
data stream
Prior art date
Application number
PCT/JP2007/065882
Other languages
English (en)
French (fr)
Inventor
Naoki Morimoto
Kenichiro Aridome
Yukio Isobe
Atsushi Mae
Original Assignee
Sony Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corporation filed Critical Sony Corporation
Priority to EP20070792522 priority Critical patent/EP2051528B1/en
Priority to KR1020087008330A priority patent/KR101323472B1/ko
Priority to CN2007800011466A priority patent/CN101356826B/zh
Priority to US12/083,180 priority patent/US8189665B2/en
Publication of WO2008018618A1 publication Critical patent/WO2008018618A1/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/48—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368—Multiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2383—Channel coding or modulation of digital bit-stream, e.g. QPSK modulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341—Demultiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4621—Controlling the complexity of the content stream or additional data, e.g. lowering the resolution or bit-rate of the video stream for a mobile client with a small screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637—Control signals issued by the client directed to the server or network components
    • H04N21/6377—Control signals issued by the client directed to the server or network components directed to server
    • H04N21/6379—Control signals issued by the client directed to the server or network components directed to server directed to encoder, e.g. for requesting a lower encoding rate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/84—Television signal recording using optical recording
    • H04N5/85—Television signal recording using optical recording on discs or drums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/806—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal
    • H04N9/8063—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal using time division multiplex of the PCM audio and PCM video signals

Definitions

  • Editing device editing method, editing program and editing system
  • the present invention relates to an editing apparatus, an editing method, an editing program, and an editing system for editing video data compressed and encoded using interframe compression at higher speed.
  • This recordable DVD uses the UDF (universal disk format) file system and can be accessed with a Combiner that supports UDF.
  • the UDF includes a format according to ISO 660 (9660), which is accessible by various file systems used in computer equipment. For example, by recording video data captured by an imaging device and audio data obtained by imaging as a file on this recordable type DVD, other devices such as an imaging device and a computer device can be recorded. This makes it possible to use recorded data more effectively. By the way, since video data has an enormous amount of data, it is generally compressed and encoded by a predetermined method and recorded on a recording medium.
  • the MPEG 2 (Moving Picture Experts Group 2) system is known as a standard system for compressing and encoding video data.
  • H.2641 AVC International Telecommunica- tion Union-Telecommunication Standard Sector Iector Sector
  • MPEG2 and H.2641 AVC perform intra-frame coding using orthogonal transform, etc., and further perform inter-frame coding by predictive coding using motion compensation to increase the compression rate.
  • interframe compression by predictive coding will be described using the MPEG2 system as an example.
  • MPEG2 combines predictive coding using motion compensation and compression coding using DCT.
  • the data structure of MP EG 2 has a hierarchical structure. From the lower level, the block layer, macroblock layer, slice layer, picture layer, GOP layer, and sequence layer are used.
  • the block layer consists of DCT blocks, which are units for performing DCT.
  • the macroblock layer is composed of multiple DCT blocks.
  • the slice layer is composed of a header and one or more macroblocks.
  • the picture layer is composed of a header part and one or more slices. A picture corresponds to one screen. Each layer boundary has its own identification mark. It can be identified by the issue.
  • the GOP layer consists of a header part, an I (Intra-coded) picture that is a picture based on intra-frame coding, and a P (Predictive-coded) picture B (Bi-directionally predictive coded) that is a picture based on predictive coding. ) Picture.
  • I-pictures can be decoded only with their own information, and P- and B-pictures require the previous or previous picture as a reference picture and are not decoded alone.
  • a P picture is decoded using an I picture or P picture that is temporally prior to itself as a reference picture.
  • a B picture is decoded using two pictures, the previous and subsequent I pictures or P pictures, as reference pictures.
  • a group completed by itself including at least one I-picture is called GO P (Group Of Picture), and is the smallest unit that can be independently accessed in the MP EG stream.
  • a GOP is composed of one or more pictures.
  • G OP shall be composed of multiple pictures.
  • one GOP is composed of a total of 15 pictures, one I picture, four P pictures, and 10 B pictures, and the GOP type is open GOP.
  • the display order of the I, P, and B pictures in G ⁇ P is ⁇ , I 2 B 3 B 4 P 5 as shown in Figure A. become that way.
  • the subscript indicates the display order.
  • the first two B's. Is the last picture in the previous GO P? 14 and the picture is a decoded picture is predicted using 1 2 pixels Chiya in this G_ ⁇ _P.
  • the first in the GOP? 5 picture is a picture relevant catcher decoded is predicted from the I 2 picture.
  • picture and P 14 are pictures decoded is predicted by using the preceding P-picture, respectively.
  • Each B picture after the I picture is a picture predicted and decoded from the preceding and following I and Z or P pictures.
  • the order of I, P, and B pictures on a stream or recording medium takes into account the decoding order in the decoder. It is necessary to decide. That is, I and Z or P pictures for decoding a B picture must always be decoded before the B picture.
  • each picture on the stream or recording medium is “I” as illustrated in FIG. 1B.
  • P 14 B 12 B 13 are input to the decoder in this order.
  • the subscripts correspond to Fig. A and indicate the display order.
  • the decoding process in the decoder first decodes the I 2 picture, and the decoded I 2 picture and the last (display order) Pl4 picture in the previous GOP By B. Predict and decode pictures, ⁇ , and cuts. And 8. Picture and 8, output from the decoder in the order in which the decoded picture, and then outputs the 1 2 picture. 8 1 When picture is output, then 5 picture relevant Are predicted and decoded using I 2 pictures. Then, 8 3 picture and B 4 picture using the 1 2 pixels Chiya and 5 picture are predicted and decoded. Then, the decoded: output from the decoder 6 3 picture and B 4 picture in the order Deco one de, then outputs the 5 picture relevant catcher.
  • the P or I picture used for B picture prediction is decoded before the B picture, and the B picture is predicted and decoded using the decoded P or I picture. After the output B picture is output, the process of outputting the P or I picture used to decode the B picture is repeated.
  • a picture arrangement as shown in Fig. 1B on a recording medium or in a stream is generally used.
  • the video data encoding and decoding processes are generally performed in substantially the same manner as in the MP EG 2 system.
  • inter-frame prediction can be performed using pictures more flexibly.
  • a randomly accessible picture corresponding to the I picture in the MP E G 2 system is called an IDR (Instantaneous Decoding Refresh) picture.
  • IDR Intelligent Decoding Refresh
  • a method may be considered in which the video stream to be edited is once decoded, then edited with frame accuracy, and then encoded again.
  • the processing time becomes enormous.
  • the entire encoded video stream is decoded and re-encoded, the image quality will be degraded throughout the entire video stream.
  • a method for decoding and re-encoding only the minimum necessary section near the edit point is known.
  • only the GOPS that are deleted or combined and the GOPS affected by the change of the GOP are decoded and re-encoded, and other GOPs are copied in GOP units.
  • a method called smart rendering is generally known.
  • GOP # 4 to GOP # 6 are first deleted, then GOP # 2 and GOP # 3, and G0P # 7 and GOP # 8 are decoded respectively.
  • GOP # 3 the pictures after edit point A are deleted from the decoded pictures.
  • GOP # 7 the pictures before edit point B are deleted from the decoded pictures.
  • Edit point A and edit point Combine B and re-encode the newly created GOP # 3 + 7 while referring to the code amounts of the previous and subsequent GOP # 2 and GOP # 8 (Fig. 2B).
  • Picture and 8 1 picture are encoded using the last P 15 picture of decoded GOP # 2 and the decoded I 3 picture of G * P # 3.
  • GOP # 2 and GOP # 8 before decorating can be stored in memory and used.
  • This kind of processing can be applied in the same way when editing multiple video streams.
  • the video stream to be combined needs to satisfy some restrictions.
  • the video stream is stored in a file and recorded on a recording medium.
  • the value of a predetermined parameter related to the video stream recorded in one file needs to be fixed in one file.
  • parameters that need to be fixed include vertical and horizontal frame sizes, aspect ratios (16: 9 or 4: 3, etc.), frame rates (29.97H z, 59.94Hz, etc.), frame structure, presence / absence of closed caption data, etc.
  • the values of these parameters are set in the video streams before and after being combined in the re-encoding section. All need to match.
  • the editing device if encoding corresponding to all of these parameters is possible, a predetermined value can be set according to these attributes and encoded.
  • the editing device needs to support all combinations of values that can be taken by the parameters for each parameter specified in the video stream format. There was the problem that it would lead to an increase in cost.
  • the editing device can only edit video streams recorded by a specific recording device.
  • the editing device only needs to support the parameters that the recording device supports.
  • the editing device may malfunction. Disclosure of the invention
  • an object of the present invention is to provide an editing apparatus, an editing method, an editing program, and an editing system that can appropriately perform editing processing of video data that has been compression-encoded using inter-frame compression. It is in.
  • the first invention is an editing apparatus that edits video data that has been compression-encoded using inter-frame compression, and comprises video data that has been compression-encoded using inter-frame compression.
  • Identification information identifying the device that generated the data stream embedded in the data stream and the input unit to which the data stream is input.
  • An extraction unit for extracting from a stream; a decoding unit for decoding a data stream; an encoding unit for encoding video data with predetermined attributes by compression encoding using inter-frame compression; And an editing unit that decodes and encodes the data stream and edits the data stream based on the editing points set for the data stream.
  • the editing apparatus is characterized in that editing is performed by decoding and encoding.
  • the second invention is an editing method for editing a video that has been compression-encoded using inter-frame compression, and is embedded in a data stream composed of video data that has been compression-encoded using inter-frame compression.
  • the extraction step for extracting the identification information for identifying the device that generated the data stream from the data stream, the decoding step for decoding the data stream, and the inter-frame compression of the video data are performed.
  • the data stream is edited by decoding and encoding the data stream based on the encoding step that encodes with a predetermined attribute and the edit point set for the data stream.
  • the editing step is performed from the stream data by the extraction unit. It is determined whether the extracted identification information indicates a device capable of encoding with the same attribute as the predetermined attribute at the time of encoding by the step of the encoding code.
  • the editing method is characterized in that editing is performed by decoding and encoding a predetermined section including the same.
  • the third aspect of the invention relates to a video encoded by compression using interframe compression.
  • the editing method In an editing program that causes a computer device to execute an editing method for editing video data, the editing method generates a data stream embedded in a data stream composed of video data that has been compression-encoded using interframe compression.
  • Encoding step, and editing step to edit the data stream by decoding and encoding the data stream based on the editing point set for the data stream The editing step is extracted from the stream data by the extraction unit.
  • An editing program characterized in that editing is performed by decoding and encoding a predetermined section.
  • the fourth invention is a method of compressing and encoding video data using inter-frame compression and recording it on a recording medium, and editing video data compressed and encoded using inter-frame compression reproduced from the recording medium.
  • the first encoding unit that encodes video data with a predetermined attribute by compression encoding using inter-frame compression and outputs it as a data stream
  • the first encoding unit A recording device for recording the output data stream as a stream file on a recording medium, and recording the recording stream by embedding identification information for identifying the device itself in the data stream;
  • a playback unit that reads a stream file recorded on the medium and retrieves the data stream, and extracts identification information from the data stream
  • An extraction unit that, data strike A decoding unit that decodes a stream, a second encoding unit that encodes video data with a predetermined attribute by compression encoding using inter-frame compression, and an editing point set for the data stream.
  • an editing unit that decodes and encodes the data stream to edit the data stream, and the editing unit receives the identification information extracted from the stream data by the extracting unit. It is determined whether or not a device that can be encoded with the same attribute as the predetermined attribute at the time of encoding is indicated, and if it is indicated, editing is performed by decoding and encoding the predetermined section including the editing point.
  • the first, second, and third editing systems are characterized in that the editing system includes the editing device.
  • identification information for identifying a device that generates a data stream embedded in a data stream composed of video data compressed and encoded using inter-frame compression is extracted from the data stream, and The data stream is edited by decoding and encoding the data stream based on the edit points set in the above, and the identification information extracted from the stream data by the extraction unit at the time of editing It is determined whether or not a device that can be encoded with the same attribute as the predetermined attribute at the time of encoding performed by compression encoding using inter-frame compression is indicated.
  • the data stream Embedded in just looking at the identification information identifying the device that generated the data stream, it can be determined whether it is possible to editing by decoding and encoding of the predetermined section including the editing point.
  • the recording apparatus compresses video data between frames.
  • a data stream encoded and output with a predetermined attribute by compression encoding using is recorded on a recording medium as a stream file, and at this time, identification information for identifying the device itself is recorded for the data stream.
  • the editing device reads the stream file recorded on the recording medium, extracts the data stream, extracts the identification information from the data stream, and edits set for the data stream. Based on this point, the data stream is edited with a predetermined attribute by compression encoding using decoding and inter-frame compression on the data stream, and the stream data is edited at the time of editing.
  • the identification information extracted from the same attribute as the predetermined attribute at the time of encoding on the editing device It is determined whether or not a device that can be encoded is indicated, and if it is determined that it is indicated, editing is performed by decoding and encoding a predetermined section including the edit point. Is a data stream recorded by the corresponding recording device and can be known based on the identification information for identifying the device that recorded the data stream, whether or not the data stream is recorded by the corresponding recording device. If it is determined, editing by decoding and encoding of a predetermined section including the editing point can be performed.
  • the first, second, and third inventions identify a device that has generated a data stream embedded in a data stream composed of video data compression-encoded using interframe compression. Identification information is extracted from the data stream, and the data stream is edited by decoding and encoding the data stream based on the edit points set for the data stream. The identification information extracted from the data is the place where the video data is encoded by compression encoding using interframe compression. It is determined whether or not a device that can be encoded with the same attribute as the default attribute is indicated, and if it is indicated, the predetermined section including the edit point is decoded and encoded to be edited. Therefore, simply by looking at the identification information that identifies the device that generated the data stream embedded in the data stream, it is possible to determine whether decoding of the specified section including the edit point and editing by the encoder are possible. There is an effect that can be.
  • the recording device encodes the video data with a predetermined attribute by compression encoding using inter-frame compression, and outputs the data stream as a stream file. Recording is performed on a recording medium. At that time, identification information for identifying the apparatus itself is embedded in the data stream and recorded on the recording medium.
  • the editing apparatus records the stream file recorded on the recording medium. Reads out the data stream, extracts the identification information from the data stream, and based on the edit points set for the data stream, the data stream is decoded and compressed and encoded using interframe compression. With this attribute, the data stream is edited by editing the stream.
  • the editing device uses the data recorded by the corresponding recording device based on the identification information for identifying the device that recorded the data stream. It is possible to know whether the data is a stream, and when it is determined that the data stream is recorded by a corresponding recording device, it is possible to perform editing by decoding and encoding a predetermined section including an edit point.
  • FIG. 1 A, Fig. 1 B and Fig. 1 C are schematic diagrams for explaining the decoding process of the evening with inter-frame compression, and Fig. 2 A and Fig. 2 B are video images.
  • Fig. 3 is a schematic diagram for explaining editing that deletes the intermediate scene in Fig. 3, and combines the deleted scenes.
  • Fig. 3 is a schematic diagram showing the configuration of an example of NAL unit.
  • Fig. 4 is an access diagram.
  • FIG. 5 is a schematic diagram showing an example of the structure of an example of video data applicable to the embodiment of the present invention.
  • FIG. 6 is a schematic diagram showing the SEI “User Fig. 7 A and Fig.
  • FIG. 7 B are examples of the structure of the block one—mod ifi ed—dv_pack (), showing the syntax that represents the structure of an example of the information stored in “Data Unregi stered SEI”.
  • FIG. 8A, FIG. 8B, and FIG. 8C are schematic diagrams showing syntax to represent, according to an embodiment of the present invention.
  • FIG. 9 is a flow chart showing an example of editing processing by the editing method according to the embodiment of the present invention
  • FIG. 10A, FIG. Fig. B and Fig. 10C are schematic diagrams for schematically explaining an example of the editing process by the method of re-encoding only the necessary minimum section near the editing point.
  • FIG. 1B is a schematic diagram for schematically explaining an example of the editing process by the method of re-encoding the entire section of the video stream to be edited
  • Figure C is a schematic diagram that schematically shows the editing process performed on video streams stored in two stream files.
  • Figure 1 A, Figure 1 B, and Figure 1 C For video streams stored in two stream files
  • Fig. 14 A and Fig. 14 B are schematic diagrams for schematically explaining an example of editing processing by the technique.
  • Fig. 14A and Fig. 14B show the editing targets when editing video streams stored in two stream files.
  • FIG. 14A and Fig. 14B show the editing targets when editing video streams stored in two stream files.
  • FIG. 15 is a schematic diagram for schematically explaining an example of processing by a method of re-encoding the entire section of FIG. 15, and FIG. 15 shows an example of a configuration of a recording apparatus applicable to an embodiment of the present invention.
  • FIG. 16 is a block diagram showing an example of the configuration of an editing apparatus applicable to an embodiment of the present invention
  • FIG. 17 is a schematic diagram showing an example of a general computer apparatus.
  • the AVCHD format is a recording format for recording an AV (Audio / Video) stream in which video data and audio data are multiplexed in a predetermined manner on a recordable recording medium.
  • the recorded AV stream can be managed using a playlist in clip units.
  • H.264 I AVC Advanced Video Coding
  • a bit stream encoded in the H.264 I AVC format and multiplexed according to MPEG 2 Systems is called a clip AV stream (or AV stream).
  • the clip AV stream is recorded on a recording medium as a file by a predetermined file system.
  • the file in which the clip AV stream is recorded is called a stream file.
  • the data structure in this AVCHD format conforms to the bit stream structure defined in H.264 1 A VC.
  • the bit stream structure defined in H.264 IAVC will be schematically described.
  • H.2641 In AVC there is a NCL (Network Abstraction Layer) between the VCL (Video Coding Layer) that handles the video coding process itself and the lower system that transmits and stores the encoded information. It is defined as a structure in which VCL and NAL are separated.
  • the parameter set corresponding to the header information of the sequence picture can be handled separately from the information generated by the VCL.
  • NAL unit consists of a NAL header and RB SP (Raw Byte Sequence Payload).
  • RB SP Raw Byte Sequence Payload
  • unit_type information having a data length of 1 bit
  • Information ref_idc indicates whether or not a slice that can be a reference picture is stored in this NAL unit.
  • Information unit type indicates the type of this NAL unit.
  • R The BSP stores raw data that is compressed and encoded for moving images.
  • the RBSP trailing bit is an adjustment bit for adjusting the bit length of this NAL unit to a multiple of 8 bits.
  • the RB SP trailing pit starts from “1” and is followed by "0". By detecting the first bit "1”, the last bit position of the RB SP is specified. Can do. Also, if “1” is detected after “0”, this indicates that the position is the head of the NA unit.
  • NAL unit indicated by nal—unit—type includes slices of various coded pictures, SEI (Supplemental Enhanced Information), SPS (Sequence Parameter Set), PPS (Picture Parameter Set), AU (Access Unit) Delimiter, end of sequence (End Of Sequence: EOS), end of stream (End Of Stream: EOS), etc.
  • SEI Serial Enhanced Information
  • SPS Sequence Parameter Set
  • PPS Picture Parameter Set
  • AU Access Unit Delimiter
  • end of sequence End Of Sequence: EOS
  • End of stream End Of Stream: EOS
  • S E I is supplementary additional information and indicates additional information that is not essential for VCL decoding.
  • SEI the timing information of each picture related to the virtual reference decoder, information on pan / scan function, information used for random access, user-defined information (user data), etc. are defined.
  • S P S is a header that contains information related to the coding of the entire sequence.
  • P P S is a header that contains information related to the coding mode of the entire picture.
  • the AU delimiter indicates the head of the access unit described later.
  • FIG. 4 shows an example of the configuration of the access unit. Shown in Fig. 4 Of the access unit configuration to be used, other information excluding the NAL unit corresponding to each slice of the main picture is optional information that does not necessarily have to exist in the access unit. When using these optional information, as shown in Fig. 4, AU delimiter, SPS, PP S, SEI, main picture, redundant picture, E0S (End Of Sequence) and EO S ( End of Stream). Each NAL unit is identified based on the information in the NAL header. It should be noted that redundant pictures are not related to the present invention and will not be described.
  • FIG. 5 schematically shows a structure of an example of video data applicable to the embodiment of the present invention.
  • the video data has a GOP (Group Of Picture) structure, and the GOP has at least one I picture and one or more P pictures and B pictures, respectively. Consists of.
  • GOP Group Of Picture
  • a header is provided for each GOP.
  • the header corresponds to the AU delimiter, S P S, P P S and S E I shown in Fig. 4, and includes at least the AU delimiter and S E I.
  • Multiple names are defined in S. I. H.2641 AVC, and different information is transmitted for each name.
  • information unique to the recording apparatus is stored in “User Data Unregistered SEI” which is SEI that can be defined by the user among SEI.
  • FIG. 6 shows a syntax representing an example of the structure of information stored in this SEI “User Data Unregistered SEI”.
  • the syntax is shown based on the description method of C language used as a program description language for computer devices. This is the same in diagrams representing other syntaxes.
  • 065882 This SEI “User Data Unregistered SEI” is the payload size, ie this SEI “User Data Unregistered SE I”, as shown in the first line of FIG. 6 as “user_dta_unregis tered (payloadSize)”. The entire length of the night is specified and referenced.
  • a field uuid 1 isojec 1 11578 having a data length of 128 bits stores predetermined identification information.
  • the field ty pe—indicator whose next data length is 32 bits indicates the type of this SEI “User Data Unregistered SEI”.
  • the field type—indicator value is “0x47413934”.
  • the block cc—data () that stores the closed caption data is placed.
  • the closed caption is not related to the present invention, so the explanation is omitted.
  • the block ModifiedDVPackMetaO is described according to the description of “else if” in the if statement.
  • This block ModifiedDVPackMetaO stores information specific to the recording device that recorded this data.
  • a field number—0 having a data length of 8 bits and modi ii ed_dv_pack_entries indicates the number of data modifiecLdv_pack stored in the block Mod i fi edDVPackMe t 0.
  • the data modined_dv ”ack that is, the block one-modi- ed-dv-pack 0 is stored for the number indicated in the field“ J-redo number—0 f_mod i fied_dv_pack_en tries ”.
  • the block one-modi-ed-dv-packO is composed of a field immediately d_id having a data length of 8 bits and a field mpd_data having a data length of 32 bits.
  • Figure 7 A and Figure 7 B show the block onejnodi fied — Dv— Indicates syntax that represents an example of packO configuration.
  • FIG. 7A shows an example in which the block one-mod if ied_dv_pack 0 is a block MAKER & MODEL ID packO in which information indicating the recording device that recorded the data is stored.
  • FIG. 7B shows an example in which the block one-modified-dv-pack () is a block MAKER OPTION packO in which information indicating the image quality mode at the time of recording is stored.
  • the block MAKER & MODEL ID packO in Fig. 7A will be described.
  • the field immediately d-id has a data length of 8 bits and indicates the type of this block one-modified-dv-packO. That is, the field mpd_id is a predetermined value, and this block one-modified one dv-pack () is a block MAKER & MODEL ID package () in which information indicating the recording device that has recorded this data is stored. Indicated.
  • the field instant d-data shown in Fig. 6 is divided into a field maker_ID and a field maker-model_code each having a length of 16 bits. It has been.
  • a field maker_ID indicates identification information for identifying the maker of the recording apparatus that recorded the data.
  • the field “makerjnodecode” indicates identification information for identifying the model number and model of the recording device.
  • the block MAKER OPTION packO in Fig. 7B will be described.
  • information indicating the image quality mode at the time of recording is stored. That is, in a device that records and reproduces video and audio, it is generally performed that the recording time and the image quality or the sound quality can be switched by gradually switching the bit rate.
  • the highest pit rate and high image quality (or high sound quality) can be obtained, but HQ (High Quarity) mode with a short recordable time, practically sufficient image quality and recordable time are guaranteed, and bit rate is guaranteed.
  • LP Long Play
  • SP Standard Play
  • SP Standard Play
  • the image quality mode at the time of recording is not necessarily expressed on the recording format of video and audio, and is often a specification specific to, for example, the model number or model of the manufacturer or apparatus.
  • MAKER OPTION packO that can describe the recording mode specific to the manufacturer, model number, and model.
  • This block MAKER OPTION pack 0 can be used in parallel with the block MAKER & MODEL ID packO described above, for example.
  • a block MAKER & MODEL ID packO and a block MAKER OPTION pack 0 are written together for SEI “U ser Data Unregistered SEI”.
  • the field immediately d-id has a data length of 8 bits and indicates the type of this block one_modified_dv_pack (). That is, the field mpd_id is a predetermined value, indicating that this block onejnodified-dv-pack 0 is a block MAKER OPTION packO in which information indicating a recording mode related to image quality when this data is recorded is stored.
  • the field mpd-data shown in Fig. 6 is SEI "User Data Unregistered" where this block MAKER OPTION packO is stored in the field REC-MODE having a data length of 32 bits.
  • the number of recording modes is not limited to these three types, and more recording modes may be used. Only two types, HQ mode and SP mode, may be used.
  • the block MAKER OPTION pack 0 describing the recording mode related to the image quality when the video data was recorded in the SEI “User Data Unregiste red SE, and the video data was recorded. Record the manufacturer, model number, and model of the recorder together with the block MAKER & MODEL ID packO describing the video data.
  • the video data from the block MAKER & MODEL ID packO If it can be determined that the video data was recorded by the recorder of the same manufacturer, model, and model number, the recording can be performed. Interpret and process machine specific data.
  • the recording mode related to the image quality when the video data to be played back is recorded can be read from the block MAKER OPTION packO and displayed, for example.
  • information indicating the recording mode is defined by defining a recording mode related to image quality for the blog onejnod ifieded-dv-pack 0 stored in SEI “User Data Unregistered SEI”. Is embedded in the video data stream, the recording mode information can be inherited even when the video data is edited.
  • the value of the specified parameter included in the video stream to be edited must be fixed in the stream file.
  • the AVCHD format stipulates that the following parameters (1) to (6) must be constant within one stream file.
  • Parameter (1) Parameter that indicates the horizontal size of the image frame Parameter--Evening (2): Parameter indicating the vertical size of the image frame Parameter-Evening (3): Parameter indicating the aspect of the displayed image
  • Parameter-Evening (6) Parameter indicating the presence or absence of closed caption data
  • Parameter (1) is described in SPS as the code pic—width—in—mbs—minusl.
  • Parameter (2) is described in SPS as code picjieigh in-map-units-minusl.
  • the parameter parameter (5) is described in the SPS as a code framejnbs—only one flag.
  • Parameter (3) is described as a code aspect-ratio-idc in SPS.
  • the parameter (4) is obtained based on, for example, the code “video format” in SPS.
  • Parameter (6) Can be determined based on the value of field type-indicator in the above-mentioned SEI "User Data Unregistered SEI", that is, when the value of field type_indicator is "0x47413934", it is determined that closed caption data exists.
  • SEI User Data Unregistered SEI
  • the editing device can encode all the possible values of these parameters (1) to (6) in the stream file to be edited, only the necessary minimum section near the editing point is always used.
  • the editing method can be applied at a high speed by applying the method of re-encoding. (1) If designed to be compatible for all the possible values of to (6), a scale of the encoder is increased This is unavoidable and also increases costs.
  • the recording device that generated the program is a specific recording device.
  • the specific recording device is, for example, an encoder with an attribute equivalent to the attribute shown in each of the above-mentioned parameters (1) to (6) in the video stream generated by the recording device. It is a recording device that is a possible value on the editing device side. For example, in the SEI “User Data Unregistrated SEI” described with reference to FIG. 6 and FIG. 7A and FIG.
  • the video stream can be edited using a method that re-encodes only the minimum necessary section near the editing point. Do. If it is determined that the recording device that generated the video stream to be edited is not a specific recording device, the entire video stream to be edited is decoded and the decoded video stream is frame-by-frame. Edit with, and re-encode the entire edited video data.
  • the present invention it is possible to easily determine whether or not a method of re-encoding only a necessary minimum section near the editing point can be applied when editing a video stream based on information in the video stream to be edited.
  • the encoder of the editing device supports only the parameters equivalent to the target specific recording device. Just the minimum required Editing processing using a method of re-encoding the interval can be performed.
  • An example of a video stream editing method according to an embodiment of the present invention will be described. As illustrated in FIG. 8A, consider a video stream file composed of 9 GOPs GOP # 1 to GOP # 9. Headers # 1 to # 9 are added to G ⁇ P # 1 to GOP # 9, respectively.
  • edit point A is set for a picture in GOP # 3 and a picture in GOP # 7 is set as shown in Fig. 8B.
  • Edit point B is set, and the editing process that combines edit point A and edit point B is performed by deleting the picture included in section A—B between edit point A and edit point B.
  • the edited result is GOP # 4 to GOP # 6 between edit point A and edit point B, GOP # 3 including edit point A, and edit point.
  • G OP # 3 + 7 is generated by combining GOP # 7 including B with edit point A and edit point B, and as a whole, G ⁇ P # 1, G ⁇ P # 2, GOP # 3 + 7 A video stream consisting of five GOPs, G0P # 8 and GOP # 9, is generated.
  • the header is omitted to avoid complexity.
  • FIG. 9 is a flowchart showing an example of editing processing by the editing method according to the embodiment of the present invention.
  • step S10 the data indicating the information of the recording device that has recorded this file from the stream file to be edited modified—dv—pack block MAKER & MODEL ID packO ( Fig. 6 and Fig. 7 (See Figure A and Figure 7B).
  • the NAL unit of the first header # 1 of the video stream stored in the stream file to be edited is analyzed, and SEI “User Data Unregistered SEI” is extracted. Then, the block ModifiedDVPackMetaO including the data modifiecLdv_pack indicating the information of the recording device that recorded this file is retrieved from the SEI “User Data Unregistered SEI”, and further, the field Modi fiedDVPack MetaO retrieves the field immediately d—id.
  • the block MAKER & MODEL ID pack 0 is searched based on the value of.
  • next step S 1 the field maker—ID and field maker_mode code stored in the block MAKER & MODEL ID packO are obtained, and whether or not there is data of a model that can be encoded with the same attribute. Is judged.
  • the same attribute means that, for example, the parameters (1) to (6) described above can be encoded with the same parameter value.
  • the editing device stores in advance information specific to the recording device that performs encoding in the parameters that the editing device can handle in storage means such as ROM (Read Only Memory) or a hard disk drive.
  • maker_ID and field makerjnodel the value of code
  • the field maker—mode and whether there is a code that matches the code value is determined.
  • step S 1 1 If it is determined in step S 1 1 that there is a model data that can be encoded with the same attributes, the process moves to step S 1 2 and the minimum required section of the video stream to be edited near the edit point. Only re If, in step S 1 1, it is determined that there is no model data that can be encoded with the same attributes, the process moves to step S 1 3 and all the video streams to be edited are edited. Edit using the method of re-encoding the section.
  • Step S 1 0 and Step S 11 are performed.
  • block MAKER & MODEL ID packO is searched for each of the two files to be edited (step S 1 0), and the field maker-ID and field maker-model-code values in each block MAKER & M ODEL ID packO are determined. A decision is made (step S 1 1).
  • FIG. 10A, FIG. 10B, and FIG. 10C An example of the editing process using the method of re-encoding only the necessary minimum section near the editing point in step S12 will be schematically shown in Fig. 10A, Fig. 10B, and Fig. 10C. explain.
  • the configuration of the video stream exemplified in FIG. 10A, FIG. 10B, and FIG. 10C corresponds to FIG. 8A, FIG. 8B, and FIG. It consists of GO P # 1 ⁇ G ⁇ P # 9.
  • edit point A is specified in GOP # 3
  • edit point B is specified in GOP # 7
  • section A-B is deleted as described above.
  • GOP # 4 immediately after GOP # 3 that includes edit point A
  • GOP # 7 GO P immediately before GOP # 7 that includes edit point B # 6 is deleted by GOP.
  • GOP # 3 including edit point A and GO P # 2 immediately before GO P # 3 are decoded.
  • GOP # 7 including edit point B and GOP # 8 immediately after GO P # 7 are decoded.
  • GOP # 3 in GOP # 3 that has been decoded, the frame from the editing point A to the end of GOP # 3 is deleted in frame units.
  • GOP # 7 the frame from the beginning of GOO # 7 to edit point B is deleted in frame units.
  • FIG. 10 0 C edit point A and edit point B are combined, and GOP # 2, GOP # 3 + 7 and GOP # 8 are re-encoded.
  • GO P # 2 before decoding is held in a memory, etc., and re-encoding is performed for GO P # 3 + 7 and G OP # 8 and held. It is also possible to copy over the existing GOP # 2 just before the encoded GOP # 3 +7.
  • FIG. 11A and FIG. 11B An example of the editing process using the technique of re-encoding the entire section of the video stream to be edited in step S 13 will be schematically described with reference to FIG. 11A and FIG. 11B.
  • the composition of the video stream to be edited is the same as the above-mentioned Fig. 8A, Fig. 8B and Fig. 8C, and Fig. 10A, Fig. 10B and Fig. 10C. .
  • the entire video stream to be edited (GOP # 1 to G0P # 9 in the example of Fig. 11 A and Fig. 11 B) is targeted. Perform decoding, delete edit point A to edit point B in frame units, and combine edit point A and edit point B.
  • FIG. 12A, FIG. 12B, and FIG. 12C schematically show the editing process performed on the video streams stored in the two stream files.
  • First stream file that stores video stream 1 00 that ends with GO P #m
  • the second stream file that stores video stream 1 0 1 that starts with G * P # 1.
  • Edit point A is set in GOP # m—1 of video stream 1 00
  • edit point B is set in GOP # 2 of video stream 1 0 1.
  • edit point A from video stream 100 to the end is deleted
  • edit point B is deleted from the beginning of video stream 1 0 1 (Fig. 12 B)
  • edit point A and edit point B are combined.
  • To create a single video stream 102 Fig. 12 C).
  • step S 1 when editing video streams stored in two stream files, an example of the editing process using the method of re-encoding only the minimum necessary section near the editing point 1 Schematic explanation using Fig. A, Fig. 13 B and Fig. 13 C. Note that the video stream configuration, edit point A and edit point B settings, edit points, etc., shown in Fig. 13 A, Fig. 13 B, and Fig. 13 C are the same as those in the above-mentioned first. 2 Equivalent to Fig. A, Fig. 1 2 B and Fig. 1 2 C PT / JP2007 / 065882 First, as illustrated in Fig.
  • GOP #m including edit point A immediately after GOP # m-1 is deleted in GOP units.
  • GOP # m—1 and the previous GOP # m—2 are decoded.
  • GOP # 1 immediately before GOP # 2 including edit point B is deleted in GOP units, and GOP # 2 and GOP # 3 immediately after are decoded.
  • GOP # 2 before decoding is held in memory, etc., and re-encoding is performed for GOP # 3 + 7 and GOP # 8 and held. It is also possible to overwrite and copy G0P # 2 before decoding, immediately before the encoded G0P # 3 + 7.
  • Fig. 14A and 14B show an example of processing by re-encoding the entire section to be edited when editing video streams stored in two stream files in step S13 described above.
  • This will be outlined with reference to Fig. 14B.
  • the video stream configuration, edit point A and edit point B settings, edit points, etc., illustrated in Fig. 14A and Fig. 14B, are described above in Fig. 12A, Fig. 12B, and Fig. 12. ⁇ 2 Same as Figure C.
  • the entire video stream to be edited 1 0 0 and the entire video stream 1 0 1 are decoded, respectively.
  • the frame from the editing point A to the end is frame-wise.
  • Fig. 10 A, Fig. 10 B and Fig. 10 C, Fig. 1 1 Fig. A and Fig. 1 1 B, Fig. 1 3 A, Fig. 1 B Fig. 1 and Fig. 1 3 C, and edit points when editing point A and edit point B are combined to generate a new GOP, as in the examples described using Figure 14A and Figure 14B.
  • the number of pictures included in the new G 0 P may be less than the predetermined number or may exceed the predetermined number. In such a case, it may be possible to copy the picture or thin it out so that the number of pictures in the new GOP is within a predetermined number.
  • step S 13 it is determined that there is no model data that can be encoded with the same attribute in step S 11 of FIG. 9. As a result, the process proceeds to step S 13.
  • this is not limited to this example. For example, a warning may be given using predetermined display means that the video stream to be edited may not be compatible with the device.
  • FIG. 15 shows an example of the configuration of a recording apparatus 1 applicable to one embodiment of the present invention.
  • This recording device compresses and encodes the input video data and audio data by a predetermined method, multiplexes the compressed and encoded video data and audio data into one data stream, and converts this data stream into a single data stream. It is recorded on a recording medium as a file.
  • the recording apparatus 1 illustrated in FIG. 15 is a video camera that, for example, combines with a camera block having an optical system, an imaging element, etc., and records video data based on the captured imaging signal on a recording medium. It is used as a recording block for the device.
  • the recording device 1 is not limited to this, and can also be used as a single recording device that records video data and audio data input from the outside on a recording medium.
  • Various compression coding and multiplexing methods can be considered.
  • the method defined in H. 2 64 I AVC can be applied as the compression encoding according to the embodiment of the present invention.
  • MP EG 2 Systems is applied as the multiplexing method.
  • the recording medium 20 for recording data for example, a recordable type DV D (Digital Versatile Disc) can be used.
  • DV D Digital Versatile Disc
  • B 1 u—ray D i sc Blu-ray Disc: registered trademark
  • the present invention is not limited to this, and a semiconductor memory can be applied as the recording medium 20, and a hard disk drive can also be applied.
  • the control unit 5 includes, for example, CPU (Central Processing Unit), RAM (Ra ndom Access Memory) and ROM (Read Only Memory), etc. (not shown), and based on programs and data stored in advance in ROM, the entire recording device 1 is controlled using RAM as work memory. .
  • a file system used in the recording apparatus is provided by a program operating on the control unit 5. For example, based on the file system, the control unit 5 associates the physical address of the recording medium 20 with the file in which the data is stored when the data is recorded on the recording medium 20, and Generate logical management information for the file where the data is stored.
  • a UI (User Interface) unit 6 is provided with a predetermined operating element for the user to operate the operation of the recording apparatus, and outputs a control signal corresponding to the operation on the operating element. This control signal is supplied to the control unit 5.
  • the control unit 5 controls the operation of each unit of the recording apparatus 1 by processing a program that is performed based on a control signal supplied from the UI unit 6 in response to a user operation. For example, in response to an operation performed on the UI unit 6, the control unit 5 controls the start and stop operations of the recording operation by the recording device.
  • Baseband digital video data is input from terminal 10 and supplied to video encoder 11.
  • the video encoder 11 has a buffer memory capable of storing a plurality of frames of video data, stores the supplied baseband digital video data in the buffer memory, and compresses and encodes the data by a predetermined method.
  • compression coding is performed according to the AVCHD format, that is, the method defined in H.264 I AVC, for example, DCT (Discrete Cosine Transform) and in-frame prediction are used for intra-frame compression and motion vector. Perform inter-frame compression using and further entropy coding to increase compression efficiency.
  • the video encoder 11 further generates predetermined information such as SPS, PPS, and SEI based on the compressed and encoded video data.
  • the identification information for identifying the manufacturer name of this recording device 1 and the identification information for identifying the model and model number are the values of the field maker_ID and the field maker_modeI_code in the block MAKER MODEL ID packO of SEI "User Data Unregistered SEI”.
  • Generate as The manufacturer name, model, and model number identification information are stored in advance in a ROM (not shown) of the recording apparatus 1.
  • the video encoder 1 1 forms a NAL unit from the compressed and encoded video data and additional information such as SPS, PP S, and SEI, and outputs it as an H. 264 I AVC elementary list (ES) .
  • a coded picture buffer (CPB) that is a buffer on the input side of the decoder and a decoding picture buffer that is a buffer on the output side (CPB) DP B (Decoded Picture Buffer) is defined, and the encoder must generate a bitstream (elementary stream) so that CPB and DPB do not fail.
  • the video encoder 11 controls the encoding process of the video data so that the generated code amount satisfies this rule.
  • the stock amount information for the CPB that is, the buffer on the input side of the decoder, can be obtained and inserted into the elementary stream obtained by encoding.
  • the SPS option code bit—rate_scale, code cpb—size—scale, code bi rate—value_mirmsl, code cpb —size—valuejninusl, etc. can be described.
  • This stock quantity information may be described for each picture or for each GOP. May be described.
  • the multiplexer (MUX) 1 2 multiplexes the elementary stream output from the video encoder 1 1 and the elementary stream of audio data output from an audio coder (not shown) by a predetermined method. Output as a data stream.
  • the MP EG 2 transport stream is used to time the supplied video data elementary stream and audio data elementary stream. Multiplex by division.
  • the multiplexer 12 has a buffer memory, and temporarily stores the supplied elementary stream in the buffer memory.
  • the elementary stream stored in the buffer memory is divided into predetermined sizes, added with headers, and packetized elementary stream (PES) packets.
  • the header stores predetermined information defined by MP EG 2 systems, such as PTS indicating the playback time of data stored in the packet and DTS indicating the decoding time.
  • the PES packet is further divided and packed into the payload of the transport packet (TS packet).
  • the header of the TS packet stores a PID (Packet Identification) for identifying the data type packed in the payload. Further, a header having a predetermined data length is added to the TS packet to form a source packet.
  • the multiplexer 12 concatenates the source packets and outputs them as a single data stream.
  • the data stream output from the multiplexer 12 is temporarily stored in the stream buffer 13.
  • Data stream write timing to stream buffer 1 3 and stream buffer By controlling the timing of reading the data stream from the key 13 in units of source packets, the access speed for the recording medium 20, the signal processing speed for audio and video data encoding, and The consistency between is taken.
  • the source packet read from the stream buffer 13 is supplied to the recording processing unit 14 as a data stream.
  • the recording processing unit 14 performs error correction encoding processing and recording encoding processing on the supplied data, modulates the obtained digital data to a predetermined value, and records it on the recording medium 20. At this time, the recording processing unit 14 writes data to a specified address based on a command from a higher level such as a control unit.
  • FIG. 16 shows an example of the configuration of the editing apparatus 2 applicable to one embodiment of the present invention.
  • the editing device 2 is capable of editing a video stream stored in a stream file recorded on the recording medium 20 by the recording device 1 described above. That is, the editing device 2 reproduces the stream file recorded on the recording medium 20 to take out the video stream, performs predetermined decoding and encoding, and records it on the recording medium 20 again.
  • the editing device 2 has the same configuration as that of the recording device 1 described above as the configuration on the recording side, and the same reference numerals are given to the same parts as those in FIG. 15 and the detailed description is omitted.
  • the entire editing device 2 is controlled according to a program by a control unit (not shown).
  • the control unit has a CPU (Central Procesing Unit), ROM (Read Only Memory), and RAM (Random Acces Memory). Based on programs and data stored in the ROM in advance, the RAM is used as a work memory. Controls the operation of the editing device 2 by exchanging commands, commands, data, etc. with each part of the editing device 2. Also, the editing device 2 can be controlled by a program running on the control unit. Used File system is provided.
  • the control unit is configured to be able to access a file recorded on the recording medium 2 0 by the file system in accordance with a predetermined operation on the UI unit 4 1. 2 Controls playback of data recorded in 0.
  • the reproduction processing unit 30 reads data from a specified address of the recording medium 20 based on a command from a higher level such as a control unit.
  • the reproduction processing unit 30 demodulates the reproduction signal reproduced from the recording medium 20 by reading this data to obtain reproduction digital data, decodes the recording code of the reproduction digital data, and decodes the error correction code. Error correction to obtain a playback data stream.
  • This playback data stream consists of a series of source buckets.
  • the data stream output from the playback processing unit 30 is temporarily stored in the stream buffer 31.
  • the access speed to the recording medium 20 Consistency between the signal processing speed of audio and video data decoding is taken.
  • the data stream read from the stream buffer 31 is supplied to the demultiplexer (DEMUX) 32.
  • the demultiplexer 32 separates and extracts video data and video data multiplexed in a predetermined data stream.
  • the demultiplexer 3 2 extracts the source packet from the supplied de-evening stream, separates the header of the extracted source bucket and separates the TS bucket.
  • the demultiplexer 32 detects the PID from the header of the TS packet, and sorts the TS packet for each data type stored in the payload. Then, for each of the sorted TS packets, the data stored in the payload is extracted and the PE S packet is reconstructed.
  • compressed video data and compressed audio data stored in the payload of the PES packet are extracted, and header information is added based on the information stored in the PES header, etc., and each is output as one elementary stream. To do.
  • the elementary stream of audio data output from the demultiplexer 32 is supplied to an audio processing unit (not shown).
  • the elementary stream of video data output from the demultiplexer 32 is supplied to the video decoder 33.
  • the video decoder 33 has a buffer memory capable of storing video data of a plurality of frames, stores the supplied compressed video data in the buffer memory, decodes it with a decoding method corresponding to the compression encoding method, Output as a digital video.
  • the video decoder 33 performs decoding processing according to the method specified in H.2641 AVC.
  • the video decoder 33 analyzes the NAL unit and extracts the compressed and encoded video data and additional information such as SPS, PPS, and SEI from the NAL unit.
  • the video decoder 33 decodes the video data compressed and encoded based on the information extracted from the NAL unit.
  • the video decoder 33 is extracted by a demultiplexer (DEMUX) 32 (to be described later). Time Sta Immediately) and PTS (Pres Decoding and output can be performed based on the time indicated by (entation Time Stamp).
  • Baseband digital video data obtained by decoding by the video decoder 33 is output from the terminal 34.
  • a monitor 35 for displaying video is connected to the editing device 2
  • the baseband digital video data output from the video decoder 33 is also supplied to the monitor 35.
  • Monitor 35 is assumed to support baseband digital video data.
  • the AVCHD format is a recording format for recordable recording media. Applicable image formats are HD with an aspect ratio of 16: 9 and a frame size of 1,920 lines x 1,080 pixels. High Definition) format and SD (Standard Definition) format with an aspect ratio of 4: 3 and an image frame size of 720 lines X480 pixels.
  • the load of the compression encoding process is greater than the load of the decoding process. It is said to be much larger.
  • the function of the video encoder 11 1 is limited, and for example, the image format that can be encoded is only the HD format.
  • the video decoder 33 with a relatively small processing load is compatible with both the SD format and the HD format.
  • the UI unit 41 is provided with various controls necessary for editing video data, and outputs a control signal corresponding to the operation of the controls.
  • the editing unit 40 is illustrated based on the control signal supplied from the UI unit 41.
  • the entire editing apparatus 2 is controlled by exchanging commands with a control unit that is not present, and editing processing is performed on the video stream stored in the stream file recorded on the recording medium 20.
  • the editing unit 40 has a hard disk drive 42 and performs editing processing using the hard disk drive 42.
  • the video encoder 11 compresses and encodes the video data supplied from the editing unit 40 in accordance with a method defined in H.264 I AVC. That is, the video data is compressed and encoded in the same manner as in the recording apparatus 1 described with reference to FIG. 15, and SPS, PPS, SEI, etc. are added based on the compressed and encoded video data. Generate information on a predetermined basis. At this time, the identification information for identifying the manufacturer name of the editing device 2 and the identification information for identifying the model and model number are used as a field maker in the block MAKER & MODEL ID packO of SEI “User Data Unregistered SEI”.
  • the video encoder 11 forms a NAL unit from the compression-coded video data and additional information such as SPS, PPS, and SEI, and outputs the NAL unit as an H.264 IAVC elementary list (ES).
  • the multiplexer 12 multiplexes the elementary stream supplied from the editing unit 40 and the elementary stream of audio data output from an audio encoder (not shown) by a method according to the MP EG 2 systems. That is, the multiplexer 12 divides the supplied elementary stream for each predetermined size, and adds a header storing predetermined information such as PTS and DTS to form a PES (Packet! Zed Elementary Stream) packet. . Multiplexer 1 2 further divides the PES packet into the TS packet payload, A PID is generated in a predetermined manner and a header is added. Furthermore, a header with a predetermined data length is added to the TS packet to form a source bucket, and the source packets are combined and output as a single data stream.
  • PES Packet! Zed Elementary Stream
  • the data stream output from the multiplexer 12 is supplied to the recording processing unit 14 through the stream buffer 13, subjected to error correction encoding and recording encoding, and modulated to be a recording signal. Recording medium 20 is recorded.
  • the editing process by the editing device 2 will be schematically described. As an example, specify edit point A and edit point B for the video stream stored in one stream file, as described using Fig. 8A, Fig. 8B and Fig. 8C. A case of editing will be described.
  • the user performs a predetermined operation on the UI unit 41 and designates a file to be edited among the stream files recorded on the recording medium 20.
  • the editing unit 40 controls to read the stream file to be edited from the recording medium 20 based on the control signal output from the UI unit 41. When the stream file is read from the recording medium 20, an elementary stream is extracted, and the extracted elementary stream is written to the hard disk drive 42.
  • a stream file read from the recording medium 20 is supplied to the demultiplexer 32 via the playback processing unit 30 and the stream buffer 31, the packet structure is decomposed, and header information is extracted. At the same time, the payload data is taken out and the elementary stream is reconstructed. This elementary stream is supplied to the editing unit 40 and written to the hard disk drive 42.
  • the elementary stream is read from the hard disk drive 4 2 in accordance with a predetermined operation on the UI unit 41, and the video decoder 3 3 Supplied with baseband digital video data and ci4.
  • J Digital video data is supplied to the monitor 35 and displayed.
  • the user designates edit point A and edit point B by operating UI unit 41 while viewing the video displayed on monitor 35.
  • Edit point A and edit point B are specified by, for example, the frame number and time code.
  • the information on the edit points A and B is supplied from the UI unit 41 to the edit unit 40 and held.
  • the editing unit 40 starts editing processing based on a control signal from the UI unit 41.
  • the elementary stream written to the hard disk drive 42 is supplied to the video decoder 33 as already described with reference to FIG.
  • the video decoder 33 analyzes the NAL unit of the supplied elementary stream and extracts SEI “User Data Unregiste red SEI”.
  • SEI User Data Unregiste red SEI
  • the extracted S E I “User Data Unregistered SE I” is supplied to the editing unit 40.
  • the editing unit 40 retrieves the data “modi f ied—dv—pack including the data of the recording device that recorded this file” from the supplied SEI “User Data Unregistered SEI” and modifies the block Modif iedDVPackMetaO.
  • the block MAKER & MODEL ID packO is retrieved from ModifiedDVPackMetaO based on the value of the field immediately d—id (step S 1 0 in FIG. 9).
  • the editing unit 40 uses the field maker_ID stored in the searched block MAKER & M0 DEL ID packO and the field maker mode and code, and the model of the model that can be encoded with the same attribute according to step S1 1 in Fig. 9. Determine if data exists.
  • model information that can be encoded with the same attributes as the editing device 2 is connected to the ROM (not shown) of the control unit or the editing unit 40. It is assumed that it is stored in advance in the hard disk drive 42 or the like. Also, SEI “User Data Unregistered SEI” information in the stream file to be edited is acquired when the stream file is played to specify edit point A and edit point B, and is stored in the edit section 40. It may be.
  • the editing process is performed using the method of re-encoding only the necessary minimum section in step S12 in FIG.
  • the edit unit 40 can edit the edit points from the elementary list written in the hard disk drive 42.
  • the editing unit 40 detects the position of the GOP while reading the NAL unit of the elementary stream in a predetermined manner, and reads out the desired GOP.
  • the read GOP # 2 and GOP # 3 are supplied to the video decoder 33 and decoded.
  • the decoded data is supplied to the editing unit 40 and written to the hard disk drive 42. You may write in RAM which the edit part 40 has not shown in figure.
  • the editing unit 40 deletes the edit point A and later of the decorated GOP # 3 written to the hard disk drive 42.
  • the editing unit 40 reads GOP # 7 including edit point B and GO P # 8 immediately after GOP # 7 of the elementary stream written to the hard disk drive 42.
  • the read GO P # ⁇ and GOP # 8 are supplied to the video decoder 33 and decoded.
  • the decoded data is supplied to the editing unit 40 and written to the hard disk drive 42 or the like.
  • Edit section 40 Delete decoded GO P # 7 written to hard disk drive 4 2 from the beginning to edit point B.
  • the editing unit 40 connects GOP # 3 from which edit point A and later are deleted to GOP # 7 from which the first edit point B is deleted, and connects GOP # 3 + 7 as a new GOP. create.
  • GOP is connected, if the number of pictures included in the connected GOP is not the predetermined number, picture interpolation or thinning is performed so that the number of pictures becomes the predetermined number.
  • the editing unit 40 supplies GOP # 2, GO P # 3 + 7 and GO P # 8 written in the hard disk drive 42 to the video encoder 11 and re-encodes them. Re-encoded GOP # 2, GOP # 3 + 7 and GOP # 8 are written to hard disk drive 42. At this time, it is possible to overwrite the GOP # 2 before decoding, which was first written to the hard disk drive 42, with GOP # 2 which is re-encoded and written to the hard disk drive 42.
  • the edit unit 40 reads out GOP # l, GOP # 2, GOP # 3 + 7, GOP # 8, and GOP # 9 written to the hard disk drive 42 sequentially and continuously, so that one elementist It is possible to output a ream.
  • the editing unit 40 controls the generated code quantity to a predetermined value based on this quantity information, Do the encoding. For example, GOP # 2 immediately before G ⁇ P # 3 with edit point A, GO P # 3 with edit point A, GOP # 7 with edit point B, and GOP # 8 immediately after G ⁇ P # 7
  • the NAL unit is analyzed to obtain the livestock information in the buffer, and each GO P is seamless based on the livestock information obtained.
  • the encoding process is performed so that it can be played by being connected to the.
  • step S11 of Fig. 9 it can be encoded with the same attribute based on the information of the block MA KER & MODEL ID pack O in the block Mod ifi edDVPackMet a O in SEI "User Data Unter is tered SEI" If it is determined that the model data does not exist, the editing process is performed using the technique of re-encoding the entire section of the video stream to be edited in step S13 in FIG.
  • the editing unit 40 reads the elementary stream written in the hard disk drive 42 and supplies it to the video decoder 33.
  • the The video decoder 33 decodes all the supplied elementary streams.
  • the decoded data is supplied to the editing unit 40 and supplied to the hard disk drive 42.
  • the edit unit 40 deletes the decoded video data from the editing point A to the editing point B in units of frames and connects the editing point A and the editing point B. At this time, the edit unit 40 performs interpolation or thinning of the picture if the number of pictures included in the GOP including the connection unit does not reach the predetermined number when the editing point A and the editing point B are connected. The number of pictures is set to a predetermined number.
  • the video data to which edit point A and edit point B are connected is supplied to video encoder 11.
  • the video encoder 11 re-encodes the supplied video data over its entire length and outputs it as a single elementary stream.
  • This elementary stream is supplied to the editing unit 40 and written to the hard disk drive 42.
  • This data written to the hard disk drive 42 is read from the hard disk drive 42 and read from the multiplexer 12
  • the buffer 13 and the recording processing unit 14 may respectively perform predetermined processing and write the data on the recording medium 20, or may output to the outside via an external interface (not shown).
  • editing point A and editing point B are set for the two stream files and edited to obtain one data stream. Since the processing is the same as when editing is performed with edit point B set, the description is omitted.
  • the editing apparatus 2 is described as reproducing the recording medium 20 and editing the data stream stored in the stream file recorded in the recording medium 20, but this is limited to this example. Not. In other words, the editing device 2 may edit video data supplied from the outside.
  • the elementary stream supplied from the outside is input to the editing unit 40 and the hard disk drive 4 Written to 2. Then, the procedure described with reference to Fig. 9 is used to perform a decision process based on the manufacturer information and model or model number information embedded in the data stream, and re-encode only the minimum necessary section according to the decision result, or Edit the video stream using one of the methods to re-encode all sections of the video stream to be edited.
  • the video stream format is a data stream with a source bucket or a transport stream format by MPEG 2 Systems.
  • the packet structure is decomposed, header information is extracted, and payload data is extracted. take The Elementarys Reem is rebuilt. This elementary stream is supplied to the editing section 40, and the hard disk drive
  • FIG. 16 schematically shows a configuration of an example of a general computer device 3.
  • CPU 51, ROM 52 and RAM 53 are connected to bus 50.
  • the CPU 51 uses the RAM 53 as a work memory in accordance with programs and data stored in the ROM 52 and the hard disk drive 60 described later, and communicates with each unit via the bus 50 while operating each unit in the computer device 3. To control.
  • a graphics processing unit 54 and a communication interface (communication IZF) 55 are also connected to the bus 50.
  • a monitor 54A is connected to the graphics processing unit 54, and the display control signal supplied from the CPU 51 is converted into a video signal and supplied to the monitor 54A, and a predetermined image is displayed on the monitor 54A. Can be made.
  • the communication I / F 55 is connected to a network such as the Internet or a LAN (Local Area Network), for example, and communicates between the computer device 3 and the outside via the network based on a command from the CPU 55. Control.
  • video interface (video IZF) 57 drives device 58 and hard disk drive 60 are connected.
  • Input I ZF 56 includes a pointing device such as mouse 56 A.
  • a character input device such as a password or keypad 56 B is connected to an input device that accepts user input.
  • the input device connected to the input I ZF 56 is not limited to these examples.
  • a single encoder that outputs a control signal according to the rotation angle, and a control signal according to the direction and degree of tilting the stick are output. There are various things such as a joystick to play and an evening bullet to output a value by specifying a position on the plane.
  • Data I ZF 5 7 is an interface for exchanging digital data between the computer 3 and an external device.
  • US B Universal Serial Bus
  • I EEE 1 3 94 Insti An interface such as tute Electrical and Electronics Engineers 1394.
  • the drive device 58 corresponds to, for example, a disk-shaped recording medium, and can write data to and read data from the loaded recordable type recording medium.
  • a recordable type recording medium for example, a recordable type DVD can be applied.
  • the present invention is not limited to this, and the drive device 58 may be compatible with a recordable type CD (Compact Disc) or Blu-ray Disc.
  • the drive device 58 reads data from not only a recordable type recording medium but also a reproduction-only recording medium, such as a DVD-ROM, a CD-ROM (Co immediate act disc-read only memory). Can do.
  • the drive device 58 is not limited to being compatible with a disk-shaped recording medium.
  • a semiconductor memory such as a flash memory is used as the recording medium 59. May be supported.
  • the hard disk drive 60 stores programs and data used by the CPU 51. Of course, other overnight writes and reads supplied via path 50 can be performed.
  • the computer apparatus 3 can be used as a video stream editing apparatus compatible with the AVCHD format. Can be operated. That is, with this editing program, the functions of the video encoder 11, the multiplexer 12, the demultiplexer 32, the video decoder 33, and the editing unit 40 in the editing device 2 described with reference to FIG. 16 are realized by the CPU 51.
  • the editing program is provided by being recorded on a recording medium such as a CD-ROM or a DVD-ROM.
  • a recording medium such as a CD-ROM or a DVD-ROM.
  • the editing program when the editing program is recorded on the DVD-ROM, when the DVD-ROM is loaded in the drive device 58, for example, a DVD loaded by the drive device 58 based on the control of the CPU 51.
  • the editing program is read out from the program file, expanded in a predetermined manner by the CPU 51, written to the hard disk drive 60, registered in the system, and made executable on the computer device 3.
  • the method of providing the editing program to the computer device 3 is not limited to the method via the recording medium. For example, connect to the network Prepare the corresponding program file on the connected server and obtain it from the server via the network via communication I / F 55. Also, the program file via data I / F 5 7 You can also receive.
  • the recording medium 20 on which the stream file is recorded is loaded into the drive device 58, and the user instructs the editing of the stream file recorded on the recording medium 20 using the input device connected to the input IZF 56. It is.
  • the CPU 51 controls the stream file recorded on the recording medium 20 to be copied to the hard disk drive 60.
  • the CPU 51 reads the stream file written to the hard disk drive 60, disassembles the bucket using the RAM 53 as work memory, collects predetermined information from the header of each packet, and also video and audio Rebuild the Elementaryist Dream.
  • the elementary stream is written to the hard disk drive 60. In the following, the elementary stream of video data will be described.
  • the CPU 51 reads and decodes the elementary stream written to the hard disk drive 60 to obtain the baseband video data.
  • This baseband video game is graphics processing Is supplied to the unit 54, converted into a video signal, and then sent to the monitor 54A.
  • the user operates the input device connected to the input I / F 56 while watching the video displayed on the monitor 54 A, and designates the edit point A and the edit point B by the frame number, the time code, etc. .
  • the information of the edit point A and the edit point B is held in the RAM 53, for example.
  • the CPU 51 starts the editing process for the elementary stream written to the hard disk drive 60. That is, as already described with reference to FIG. 9, the CPU 51 analyzes the NAL unit of the elementary stream written in the hard disk drive 60 and extracts SE 'User Data Unregistered SEI ". Then, from the extracted SEI “User Data Unregistered SEI”, the block ModifiedDVPackMetaO including the data modified_dv_pack indicating the information of the recording device that records the file in which the elementary stream to be edited is stored in the recording medium 20 is searched. Further, the block MAKER MODEL ID pack 0 is retrieved from the block ModifiedDVPackMetaO based on the value of the field nipd—id (step S 10 in FIG. 9).
  • SEI “User Data Unregistered SEI” information in the stream file to be edited is acquired when the stream file is played to specify edit point A and edit point B, and is stored in RAM 53. Also good.
  • CPU 51 can be encoded with the same attributes according to step S1 1 in Fig. 9 based on the field maker—ID stored in the retrieved block MAKER & MODEL ID pack 0 and the field makerjnode and code. Judge whether or not model data exists.
  • Information on the model that can be encoded by the attribute is stored together with the editing program, for example, in the program file in which the editing program is stored.
  • the program file may be recorded and provided as a separate file on a recording medium, or may be provided via a network from an external server or the like connected to the network. .
  • the editing process is performed using the method of re-encoding only the necessary minimum section according to step S 12 in FIG.
  • CPU 51 uses the element list written in hard disk drive 60 to edit point A.
  • Read GOP # 3 including GOP # 2 immediately before G ⁇ P # 3.
  • the editing unit 40 detects the position of the GOP while reading the N A L unit of the elementary stream in a predetermined manner, and reads out the desired GOP.
  • the CPU 51 decodes the read GOP # 2 and GOP # 3 and writes them to the hard disk drive 60 or RAM 53.
  • CPU 51 deletes edit point A and later of decoded GOP # 3 written to hard disk drive 60 or RAM 53.
  • CPU5 1 reads and decodes GOP # 7, including edit point B, and GO P # 8 immediately after GOP # 7, of the elementary stream written to hard disk drive 60. Write to RAM 53. The CPU 51 deletes from the beginning to the edit point B for the decoded GO P # 7 written in the hard disk drive 60 or RAM 53.
  • CPU 5 1 is on hard disk drive 60 or RAM 53, connect GOP # 3 with edit point A and later deleted and GO P # 7 with edit point B deleted from the beginning to create a new GO P # 3 + 7 To do.
  • GOP is connected, if the number of pictures included in the connected GOP does not reach the predetermined number, interpolation or thinning out of the picture is performed so that the number of pictures becomes the predetermined number.
  • CPU 5 1 re-encodes GO P # 2, GOP # 3 + 7 and GOP # 8 written to hard disk drive 60 or RAM 53, and writes to hard disk drive 60. At this time, it is possible to overwrite the undecoded GO P # 2 written to the hard disk drive 60 or the RAM 53 with the GOP # 2 re-encoded and written to the hard disk drive 60 first.
  • CPU 5 1 reads GOP # l, GOP # 2, GOP # 3 + 7, GOP # 8, and GOP # 9, which are re-encoded and written to hard disk drive 60, sequentially and continuously. Elementalism can be output.
  • the CPU 51 controls the generated code amount to a predetermined value based on this amount information and sets the GO P Encoding is performed.
  • step S11 of Fig. 9 there is no model data that can be encoded with the same attribute based on the block MA KER ⁇ MODEL ID packO information in the block ModifiedDVPackMetaO in SEI "User Data Unregistered SEI" If it is determined, the editing process is performed using the technique of re-encoding the entire section of the video stream to be edited at step S13 in FIG.
  • the CPU 51 is an element written in the hard disk drive 60. Read and decode the stream. The deco: ⁇ "-is written to the hard disk drive 60. If the capacity of the RAM 53 is sufficiently large, the decoded data may be written to the RAM 53.
  • the CPU 51 deletes the decoded video data from the editing point A to the editing point B in units of frames and connects the editing point A and the editing point B. At this time, when the editing point A and the editing point B are connected, the CPU 51 performs interpolation or thinning of the picture if the number of pictures included in the GOP including the connection part does not reach the predetermined number. Make sure that the number of pictures in GO P is the specified number. The CPU 51 re-encodes the video data to which the editing point A and the editing point B are connected over the entire length to generate one elementary stream. This elementary evening stream is written to the hard disk drive 60.
  • editing point A and editing point B are set for the two stream files and edited to obtain one data stream. Since the processing is the same as when editing is performed with edit point B set, the description is omitted.
  • the elementary stream written to the hard disk drive 60 after the editing process is processed into a PE S packet, TS packet, and source packet by the CPU 51, and is used as a transport stream of MP EG 2 Systems. .
  • This data stream is supplied to the drive device 58 and recorded on a recording medium.
  • the elementary stream of the edited result is not limited to being written on the recording medium loaded in the drive device 58, and may be stored in the hard disk drive 60, for example.
  • the Elementarys It is also possible to read the stream from the hard disk drive 60 and output it to an external device via the data I / F 57. Communication 1 / F 5 5 can also be transmitted to the outside via a network.
  • the elementary stream of the edited result is packetized into a predetermined packet and stored as a transport stream in the hard disk drive 60, output to an external device via the data IZF 57, and from the communication IF 55 to the network. All external transmissions may be performed.
  • the video data to be edited is not limited to being read from the recording medium loaded in the drive device 58, but video data supplied from the outside can also be edited.
  • the video data to be edited is input from the input / output terminal 5 7 A and written to the hard disk drive 60 through the I / F terminal I Z F 5 7.
  • the CPU 51 performs editing processing on the video data written to the hard disk drive 60.
  • the elementary stream to which the video decoder 33 is input can be decoded in the decoding process at the time of editing, but this is not limited to this example. That is, the video decoder 33 may not be able to decode all the streams defined in the format. Therefore, for example, if it is determined that there is no data of a model that can be encoded with the same attribute in step S11 in FIG. There is a possibility that the video decoder 33 cannot decode the input elementary stream.
  • the first method is as a result of determining whether or not there is model data that can be encoded with the same attribute in step S 1 1 of FIG. Even when there is no data, as described above, the element stream is input to the video decoder 33 to perform decoding, and if an error occurs in the video decoder 33, the decoding is failed. It is. In this case, it is preferable to notify that decoding could not be performed using a predetermined display means.
  • the second method uses the attribute information of the elementary stream.
  • an attribute information file storing attribute information indicating the attribute of the video stream is created for the stream file storing the video stream in which the elementary stream is packetized.
  • the attribute information file is recorded together with the recording medium on which the stream file is recorded.
  • this attribute information file the number of corresponding streams and parameters for encoding for each corresponding stream are described.
  • this attribute information file is referred to extract parameters related to encoding, and it is determined whether or not it can be supported. If it is determined that the response is not possible, the decoding process is stopped. At this time, for example, it is preferable to warn to that effect using a predetermined display means or the like. On the other hand, if it is determined that the response is possible based on the parameters, the elementary stream is input to the video decoder 33, and decoding is started. After starting decoding, if an error occurs in the video decoder 33 as in the first method described above, it is determined that decoding has failed.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Television Signal Processing For Recording (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)

Description

明 細 書
編集装置、 編集方法、 編集プログラムおよび編集システム 技術分野
この発明は、 フレーム間圧縮を用いて圧縮符号化されたビデオデー 夕の編集をより高速に行う編集装置、 編集方法、 編集プログラムおよ び編集システムに関する。 背景技術
従来から、 記録可能で記録再生装置から取り外し可能とされると共 に、 記録容量が比較的大きく、 ビデオデ一夕とオーディオデータとか らなる A V (Audio/Video)データを記録するのに適した記録媒体とし て、 4. 7 GB (Giga Byte)以上の記録容量を有する D VD (Digital Versatile Disc)が普及している。 特許文献 「特開 2004— 3 50 25 1」 には、 記録可能なタイプの DVDに対して DVD— V i d e oフォーマツトで記録する撮像装置が記載されている。
この記録可能なタイプの DVDは、 ファイルシステムに UDF (Uni versal Disk Format)が用いられており、 UDFに対応するコンビュ 一夕装置でアクセスが可能となっている。 UDFは、 I SO lnterna t ional Organization for Standar izat ion) 9660によるフォーマ ットを含んでおり、 コンピュータ装置に用いられる様々なファイルシ ステムでアクセス可能なようになつている。 この記録可能なタイプの DVDに対し、 例えば撮像装置で撮像されたビデオデータと撮像に伴 い得られたオーディォデータとをファイルとして記録することで、 撮 像装置とコンピュータ装置などの他の装置との親和性が増し、 記録さ れたデータをより有効に活用することが可能となる。 ところで、 ビデオデータは、 データ容量が膨大となるため、 所定の 方式で圧縮符号化されて記録媒体に記録されるのが一般的である。 ビ デォデータの圧縮符号化方式としては、 MPEG 2 (Moving Picture Experts Group 2)方式が標準的な方式として知られている。 また、 近 年では、 MP EG 2の圧縮符号化方式をさらに推し進めて効率的な符 号化を行えるようにした、 I TU— T (International Telecommunica tion Union-Telecommunication Standar izat ion Sector)勧告 H. 2 64あるいは I S O (International Organization for Standar izat i on)/ I EC (International Electrotechnical Commission)国際標準 14496 - 10 (MP E G— 4パート 1 0 ) Advanced Video Codin g (以下、 H. 2641 AVCと略称する） も、 普及してきている。
これら MPEG2および H. 2641 AVCにおいては、 直交変換 などを用いたフレーム内符号化を行うと共に、 動き補償を用いた予測 符号化によるフレーム間符号化をさらに行い、 圧縮率を高めている。 以下、 MPEG2方式を例にとって、 予測符号化によるフレーム間圧 縮について説明する。
先ず、 MP E G 2によるデ一タストリーム構造について、 概略的に 説明する。 MPEG2は、 動き補償を用いた予測符号化と、 DCTに よる圧縮符号化とを組み合わせたものである。 MP EG 2のデータ構 造は、 階層構造をなしており、 下位から、 ブロック層、 マクロブロッ ク層、 スライス層、 ピクチャ層、 GOP層およびシーケンス層となつ ている。 ブロック層は、 DCTを行う単位である DCTブロックから なる。 マクロブロック層は、 複数の DCTブロックで構成される。 ス ライス層は、 ヘッダ部と、 1以上のマクロブロックより構成される。 ピクチャ層は、 ヘッダ部と、 1以上のスライスとから構成される。 ピ クチャは、 1画面に対応する。 各層の境界は、 それぞれ所定の識別符 号で識別可能なようになつている。
GOP層は、 ヘッダ部と、 フレーム内符号化に基づくピクチャであ る I (Intra- coded)ピクチャと、 予測符号化に基づくピクチャである P (Predictive - coded)ピクチャ B (Bi - directionally predictive cod ed)ピクチャとから構成される。 I ピクチャは、 それ自身の情報のみ でデコードが可能であり、 Pおよび Bピクチャは、 基準画像として前 あるいは前後の画像が必要とされ、 単独ではデコードされない。 例え ば Pピクチヤは、 自身より時間的に前の Iピクチャまたは Pピクチャ を基準画像として用いてデコードされる。 また、 Bピクチャは、 自身 の前後の Iピクチャまたは Pピクチャの 2枚のピクチャを基準画像と して用いてデコードされる。 最低 1枚の Iピクチャを含むそれ自身で 完結したグループを GO P (Group Of Picture)と呼び、 MP EGのス トリームにおいて独立してアクセス可能な最小の単位とされる。
GOPは、 1または複数のピクチャから構成される。 以下では、 G OPは、 複数のピクチャから構成されるものとする。 GOPにおいて 、 GOP内で完全にデコードが可能な、 GOPで閉じた構造を持つク ローズド GO Pと、 デコードの際に符号化順で 1つ前の GO Pの情報 を用いることができるオープン GO Pとの 2種類がある。 オープン G OPは、 クローズド GO Pと比較して、 より多くの情報を用いてデコ ードできるため高画質を得られ、 一般的に用いられている。
第 1図 A、 第 1図 Bおよび第 1図 Cを用いて、 フレーム間圧縮を行 つたデータのデコード処理について説明する。 ここでは、 1 GOPが 1枚の Iピクチャ、 4枚の Pピクチャおよび 1 0枚の Bピクチャの、 計 1 5枚のピクチヤから構成されるものとし、 GOPのタイプは、 ォ —プン GOPであるものとする。 G〇P内の I、 Pおよび Bピクチャ の表示順は、 第 1図 Aに一例が示されるように、 ΓΒοΒ, I 2B3B4P5
Figure imgf000006_0001
のようになる。 なお、 添え字は表示 順を示す。
この例では、 最初の 2枚の B。ピクチャおよび 8,ピクチャは、 1つ 前の GO Pにおける最後尾の？14ピクチャと、 この G〇P内の 12ピク チヤを用いて予測されデコードされたピクチャである。 GOP内の最 初の？5ピクチャは、 I 2ピクチャから予測されデコードされたピクチ ャである。 他の？8ピクチャ、 ？1|ピクチャおよび P14は、 それぞれ 1 つ前の Pピクチャを用いて予測されデコードされたピクチャである。 また、 Iピクチャ以降の各 Bピクチヤは、 それぞれ前後の Iおよび Z または Pピクチャから予測されデコードされたピクチャである。 一方、 Bピクチャは、 時間的に前後の Iまたは Pピクチャを用いて 予測されデコードされるため、 ストリームや記録媒体上における I、 Pおよび Bピクチャの並び順は、 デコーダにおけるデコードの順序を 考慮して決める必要がある。 すなわち、 Bピクチャをデコードするた めの Iおよび Zまたは Pピクチャは、 当該 Bピクチャよりも常に先に デコードされていなければならない。
上述の例では、 ストリームや記録媒体上の各ピクチャの配列は、 第 1図 Bに例示されるように、 「 I
Figure imgf000006_0002
P14B12B13」 のようになり、 この順でデコーダに入力される。 なお、 添え字は、 第 1図 Aに対応し、 表示順を示す。
デコーダにおけるデコード処理は、 第 1図 Cに示されるように、 先 ず I 2ピクチャをデコードし、 デコードされたこの I 2ピクチャと 1つ 前の GOPにおける最後尾 （表示順） の Pl4ピクチャとにより B。ピク チヤおよび Β, クチャを予測しデコードする。 そして、 8。ピクチャ および 8,ピクチャをデコードされた順にデコーダから出力し、 次に 12ピクチャを出力する。 81ピクチャが出力されると、 次に 5ピクチ ャが I 2ピクチャを用いて予測されデコードされる。 そして、 12ピク チヤおよび 5ピクチャを用いて 83ピクチャおよび B4ピクチャが予測 されデコードされる。 そして、 デコードされた：63ピクチャおよび B4 ピクチャをデコ一ドされた順にデコーダから出力し、 次に 5ピクチ ャを出力する。
以下、 同様にして、 Bピクチャの予測に用いる Pまたは Iピクチャ を Bピクチヤより先にデコ一ドし、 このデコードされた Pまたは Iピ クチャを用いて Bピクチャを予測してデコードし、 デコ一ドされた B ピクチャを出力してから、 当該 Bピクチャをデコードするために用い た Pまたは Iピクチャを出力する処理が繰り返される。 記録媒体上や ストリームにおける第 1図 Bのようなピクチャ配列は、 一般的に用い られるものである。
なお、 H. 264 I AVC方式においても、 ビデオデータのェンコ —ドおよびデコード処理は、 概略的には、 MP EG 2方式における処 理と略同様にして行われる。 H. 264 I AVC方式においては、 よ り柔軟にピクチャを用いてフレーム間予測を行うことできるようにさ れている。 また、 H. 2641 A VC方式においては、 MP E G 2方 式における Iピクチャに相当する、 ランダムアクセス可能なピクチャ を I D R (Instantaneous Decoding Refresh)ピクチャと呼ぶ。 以下で は、 符号化方式を MPEG2方式に代表させて説明する。
ここで、 MPEG2方式のようにフレーム間圧縮を用いる符号化方 式により圧縮符号化されたビデオデータを編集する場合について考え る。 編集処理の一例として、 ビデオ映像における中間部のシーンを削 除し、 削除した区間の前後を結合する場合について説明する。 例えば 、 第 2図 Aに一例が示されるように、 G〇P# 1、 GOP # 2、 · · ·、 G〇P # 9、 · · 'のように GOP構造が連なったビデオストリ —ムに対し、 削除するシーンに対応する区間 A— Bを指定する。 ここ で、 区間 A— Bの前端の編集点 Aと、 後端の編集点 Bは、 それぞれ G OP# 3および GOP# 7の中間部分のピクチャであるものとする。 編集により当該区間 A— Bのピクチャを削除して、 編集点 Aおよび編 集点 Bを結合し、 編集された 1本のビデオストリームを得る （第 2図 B) 。
このような編集を行う場合、 単純に区間 A—B内のピクチャを削除 したのでは、 結合後に結合部分を含む GO P # 3 + 7において GOP 構造が破壊されてしまい、 正常に再生できなくなるという不都合が生 じる。 そのため、 フレーム精度での編集が行えず、 編集が GOP単位 での処理となってしまう。
また、 GOP単位で編集処理を行う例として、 削除対象の区間 A— 8に含まれる00?#4〜00?# 6を削除し、 GOP# 3の後端と GOP# 7の先頭とを結合する方法が考えられる。 しかしながら、 G 〇Pがオープン G〇P構造を取る場合、 前側の GOPが削除される G 〇P # 7において、 先頭側の Bピクチャ群 （第 1図 A、 第 1図 Bおよ び第 1図 Cの例では Bピクチャ。および 8(ピクチャ） がデコードでき なくなってしまうという不都合が生じる。
上述した不都合を解決するために、 編集対象のビデオストリームを 一旦デコードし、 その上でフレーム精度での編集を行い、 再びェンコ ードする方法が考えられる。 しかしながら、 対象となるビデオストリ ームの全体をデコードし、 再エンコードする処理を編集の度毎に行う のでは、 処理時間が膨大となる。 また、 一旦エンコードされたビデオ ストリームの全体をデコードし再ェンコ一ドするのでは、 ビデオスト リームの全体にわたって画質劣化を招いてしまう。
また、 これらの不都合は、 複数のビデオストリームを結合する際に も発生するものである。
そこで、 従来から、 編集点付近の必要最小区間のみをデコードし再 エンコードする手法が知られている。 すなわち、 削除や結合を行う部 分の GO Pおよび当該 GO Pが変化することにより影響を受ける GO Pのみをデコードおよび再エンコードし、 それ以外の GOPについて は、 GOP単位でコピーを行う。 この編集点付近の必要最小区間のみ をデコードし再ェンコ一ドする手法の代表的な例としては、 スマート レンダリングど呼ばれる手法が一般的に知られている。
上述した第 2図 Aおよび第 2図 Bを用いて、 編集点付近の必要最小 区間のみをデコードし再エンコードする一例の処理について、 概略的 に説明する。 編集点 Aおよび編集点 Bによる区間 A— Bを削除する場 合、 編集点 A側においてデコードが必要な部分は、 編集点 Aを含む G 〇P# 3と、 GOP# 3の直前の G〇P# 2となる。 G〇Pがオーブ ン GO Pである場合、 編集点 Aを含む GO P # 3の直前の GOP # 2 は、 GOP # 3の表示順で先頭の B。ピクチャおよび 81ピクチャをデ コードするために必要である。 また、 編集点 B側においてデコードが 必要な部分は、 編集点 Bを含む GOP # 7と、 G〇P# 7の直後の G OP# 8となる。 オープン GO Pでは、 GO P # 8の表示順で先頭の Bピクチャ群をデコ一ドするためには、 GO P # 7のデータを用いる 必要がある。
第 2図 Aの状態において、 例えば先ず GOP # 4〜G〇P # 6を削 除し、 次に GOP# 2および GOP# 3、 ならびに、 G〇P# 7およ び GOP # 8をそれぞれデコードする。 そして、 GOP# 3において は、 デコードされたピクチャのうち編集点 A以降のピクチャを削除す る。 同様に、 GOP# 7においては、 デコードされたピクチャのうち 編集点 B以前のピクチャを削除する。 そして、 編集点 Aおよび編集点 Bを結合し、 新たに作成された GOP # 3 + 7を、 前後の GOP # 2 および GOP # 8の符号量を参照しながら再エンコードする （第 2図 B) 。 GOP # 3 + 7の先頭の B。ピクチャおよび 81ピクチャは、 デ コードされた GOP# 2の最後の P15ピクチャと、 デコードされた G 〇P # 3の I 3ピクチャとを用いてエンコードする。 G〇P # 2およ び GOP # 8については、 デコ一ド前の GOP # 2および GOP # 8 をメモリに記憶しておき、 これを用いることができる。
このような処理は、 複数のビデオストリームを結合するような編集 の際にも、 同様にして適用可能である。
ところで、 上述したような再エンコードを用いた編集を行うために は、 結合するビデオストリームは、 幾つかの制約を満足している必要 がある。 上述したように、 ビデオストリームは、 ファイルに格納され て記録媒体に記録される。 このとき、 1のファイルに記録されるビデ ォストリームに関する所定のパラメータについては、 1ファイル中で 値が固定的である必要がある。
例えば、 あるパラメータについて異なる値を有するビデオストリー ムを、 編集により 1のビデオストリームに結合して 1のファイルに格 納し、 このファイルに格納されたビデオストリームを再生機で再生す る際に、 この属性の値が再生中に変化した場合、 再生機のデコーダが このパラメータの値の変化に対応できない可能性がある。
値が固定的であることが必要なパラメ一夕の例としては、 垂直およ び水平方向それぞれの画枠サイズ、 アスペクト比 （1 6 : 9または 4 ： 3など） 、 フレームレート （2 9.97H z、 59.94Hzなど） 、 フレームの構造、 クローズドキャプションのデータの有無などがあ る。 編集により再エンコードを行う際には、 再エンコード区間におい て結合される前後のビデオストリームで、 これらのパラメ一夕の値が 全て一致している必要がある。
編集装置において、 これらのパラメ一夕の全てに対応するェンコ一 ドが可能であれば、 これらの属性に合わせて所定の値を設定してェン コードすればよい。 しかしながらこの場合、 編集装置は、 ビデオスト リームのフォーマットに規定される各パラメータについて、 パラメ一 夕が取り得る値の全ての組み合わせに対応している必要があり、 ェン コーダの規模の増大や、 コス卜の増大を招くことになるという問題点 があった。
これを避けるために、 編集装置側で、 ある特定の記録装置で記録さ れたビデオストリームに対してのみ、 編集が可能であるとすることも 考えられる。 このように編集対象のビデオストリームを制限すること で、 編集装置側では、 その記録装置が対応しているパラメ一夕のみに 対応していればよい。 ところがこの場合、 この編集装置に対して他の 記録装置で記録されたビデオストリームを供給した場合に、 編集装置 が誤動作してしまう可能性があるという問題点があつた。 発明の開示
したがって、 この発明の目的は、 フレーム間圧縮を用いて圧縮符号 化されたビデオデータの編集処理を適切に行うことができるようにし た編集装置、 編集方法、 編集プログラムおよび編集システムを提供す ることにある。
上述した課題を解決するために、 第 1の発明は、 フレーム間圧縮を 用いて圧縮符号化されたビデオデータを編集する編集装置において、 フレーム間圧縮を用いて圧縮符号化されたビデオデータからなるデー タス卜リームが入力される入力部と、 データストリームに埋め込まれ た、 データストリームを生成した装置を識別する識別情報をデータス トリームから抽出する抽出部と、 データストリームをデコードするデ コード部と、 ビデオデータをフレーム間圧縮を用いた圧縮符号化によ り、 所定の属性で以てエンコードするエンコード部と、 デ一タストリ ームに対して設定された編集点に基づき、 データストリームに対して デコードおよびエンコードを行いデータストリ一ムを編集するように した編集部とを備え、 編集部は、 抽出部でストリームデ一夕から抽出 された識別情報が、 エンコード部によるエンコードの際の所定の属性 と同一の属性でエンコード可能な装置を示しているか否かを判断し、 示していると判断したら、 編集点を含む所定区間をデコードおよびェ ンコードすることで編集を行うことを特徴とする編集装置である。 また、 第 2の発明は、 フレーム間圧縮を用いて圧縮符号化されたビ デォデ一夕を編集する編集方法において、 フレーム間圧縮を用いて圧 縮符号化されたビデオデータからなるデータストリームに埋め込まれ た、 データストリームを生成した装置を識別する識別情報をデ一タス トリームから抽出する抽出のステップと、 データストリームをデコ一 ドするデコードのステップと、 ビデオデータをフレ一ム間圧縮を用い た圧縮符号化により、 所定の属性で以てェンコ一ドするェンコ一ドの ステップと、 データストリームに対して設定された編集点に基づき、 データストリームに対してデコードおよびエンコードを行いデータス トリームを編集するようにした編集のステップとを備え、 編集のステ ップは、 抽出部でストリームデータから抽出された識別情報が、 ェン コードのステップによるエンコードの際の所定の属性と同一の属性で エンコード可能な装置を示しているか否かを判断し、 示していると判 断したら、 編集点を含む所定区間をデコードおよびエンコードするこ とで編集を行うことを特徴とする編集方法である。
また、 第 3の発明は、 フレーム間圧縮を用いて圧縮符号化されたビ デォデ一夕を編集する編集方法をコンピュータ装置に実行させる編集 プログラムにおいて、 編集方法は、 フレーム間圧縮を用いて圧縮符号 化されたビデオデータからなるデータストリームに埋め込まれた、 デ 一夕ストリームを生成した装置を識別する識別情報をデータストリー ムから抽出する抽出のステップと、 データストリームをデコードする デコードのステップと、 ビデオデータをフレーム間圧縮を用いた圧縮 符号化により、 所定の属性で以てェンコ一ドするエンコードのステツ プと、 データストリームに対して設定された編集点に基づき、 データ ストリームに対してデコードおよびエンコードを行いデ一タストリ一 ムを編集するようにした編集のステップとを備え、 編集のステップは 、 抽出部でストリームデータから抽出された識別情報が、 エンコード のステップによるエンコードの際の所定の属性と同一の属性でェンコ ―ド可能な装置を示しているか否かを判断し、 示していると判断した ら、 編集点を含む所定区間をデコードおよびエンコードすることで編 集を行うことを特徴とする編集プログラムである。
また、 第 4の発明は、 ビデオデ一夕をフレーム間圧縮を用いて圧縮 符号化して記録媒体に記録し、 記録媒体から再生されたフレーム間圧 縮を用いて圧縮符号化されたビデオデータを編集する編集システムに おいて、 ビデオデータをフレーム間圧縮を用いた圧縮符号化により所 定の属性で以てェンコ一ドしてデータストリームとして出力する第 1 のエンコード部と、 第 1のエンコード部から出力されたデータストリ 一ムをストリームファイルとして記録媒体に記録する記録部とを備え 、 データストリームに対して装置自体を識別する識別情報を埋め込ん で記録媒体に記録するようにした記録装置と、 記録媒体に記録された ストリームファイルを読み出してデータストリームを取り出す再生部 と、 データストリームから識別情報を抽出する抽出部と、 データスト リームをデコードするデコード部と、 ビデオデータをフレーム間圧縮 を用いた圧縮符号化により、 所定の属性で以てエンコードする第 2の エンコード部と、 データストリームに対して設定された編集点に基づ き、 データストリームに対してデコードおよびエンコードを行いデ一 タストリームを編集するようにした編集部とを備え、 編集部は、 抽出 部でストリームデータから抽出された識別情報が、 第 2のエンコード 部によるエンコードの際の所定の属性と同一の属性でエンコード可能 な装置を示しているか否かを判断し、 示していると判断したら、 編集 点を含む所定区間をデコードおよびエンコードすることで編集を行う ようにした編集装置とを有することを特徴とする編集システムである 上述したように、 第 1、 第 2および第 3の発明は、 フレーム間圧縮 を用いて圧縮符号化されたビデオデータからなるデ一タストリームに 埋め込まれた、 データストリームを生成した装置を識別する識別情報 をデータストリームから抽出し、 データストリームに対して設定され た編集点に基づき、 データストリームに対してデコードおよびェンコ —ドを行いデータストリームを編集するようにされ、 編集時に、 抽出 部でストリ一ムデータから抽出された識別情報が、 ビデオデータをフ レーム間圧縮を用いた圧縮符号化によりなされるエンコードの際の所 定の属性と同一の属性でェンコ一ド可能な装置を示しているか否かを 判断し、 示していると判断したら、 編集点を含む所定区間をデコード およびェンコ一ドすることで編集を行うようにしているため、 データ ストリームに埋め込まれた、 データストリームを生成した装置を識別 する識別情報を見るだけで、 編集点を含む所定区間のデコードおよび エンコードによる編集が可能か否かを判断することができる。
また、 第 4の発明は、 記録装置は、 ビデオデ一夕をフレーム間圧縮 を用いた圧縮符号化により所定の属性で以てエンコードして出力され たデ一タストリームをストリームファイルとして記録媒体に記録し、 その際に、 データストリームに対して装置自体を識別する識別情報を 埋め込んで記録媒体に記録するようにされ、 編集装置は、 記録媒体に 記録されたストリームファイルを読み出してデータストリームを取り 出してデータストリームから識別情報を抽出し、 データストリームに 対して設定された編集点に基づき、 データストリームに対してデコー ドおよびフレーム間圧縮を用いた圧縮符号化により所定の属性で以て エンコードを行ってデータストリ一ムを編集するようにされ、 編集の 際に、 ストリームデータから抽出された識別情報が、 編集装置でのェ ンコードの際の所定の属性と同一の属性でエンコード可能な装置を示 しているか否かを判断し、 示していると判断したら、 編集点を含む所 定区間をデコ一ドおよびエンコードすることで編集を行うようにして いるため、 編集装置は、 データストリームを記録した装置を識別する 識別情報に基づき、 対応する記録装置で記録されたデータストリーム であるか否かを知ることができ、 対応する記録装置で記録されたデー タストリームであると判断された場合に、 編集点を含む所定区間のデ コ一ドおよびエンコードによる編集を行うことができる。
第 1、 第 2および第 3の発明は、 上述したように、 フレーム間圧縮 を用いて圧縮符号化されたビデオデータからなるデータストリームに 埋め込まれた、 デ一タストリームを生成した装置を識別する識別情報 をデータストリームから抽出し、 データストリームに対して設定され た編集点に基づき、 データストリームに対してデコードおよびェンコ ードを行いデータストリームを編集するようにされ、 編集時に、 抽出 部でストリームデータから抽出された識別情報が、 ビデオデ一夕をフ レーム間圧縮を用いた圧縮符号化によりなされるェンコ一ドの際の所 定の属性と同一の属性でェンコ一ド可能な装置を示しているか否かを 判断し、 示していると判断したら、 編集点を含む所定区間をデコード およびエンコードすることで編集を行うようにしているため、 データ ストリームに埋め込まれた、 データス卜リームを生成した装置を識別 する識別情報を見るだけで、 編集点を含む所定区間のデコードおよび ェンコ一ドによる編集が可能か否かを判断することができる効果があ る。
また、 第 4の発明は、 上述したように、 記録装置は、 ビデオデータ をフレーム間圧縮を用いた圧縮符号化により所定の属性で以てェンコ 一ドして出力されたデータストリームをストリームファイルとして記 録媒体に記録し、 その際に、 データストリームに対して装置自体を識 別する識別情報を埋め込んで記録媒体に記録するようにされ、 編集装 置は、 記録媒体に記録されたストリームファイルを読み出してデータ ストリームを取り出してデータストリームから識別情報を抽出し、 デ 一夕ストリームに対して設定された編集点に基づき、 データストリー ムに対してデコードおよびフレーム間圧縮を用いた圧縮符号化により 所定の属性で以てェンコ一ドを行ってデータストリームを編集するよ うにされ、 編集の際に、 ストリームデータから抽出された識別情報が 、 編集装置でのエンコードの際の所定の属性と同一の属性でェンコ一 ド可能な装置を示しているか否かを判断し、 示していると判断したら 、 編集点を含む所定区間をデコードおよびエンコードすることで編集 を行うようにしているため、 編集装置は、 デ一夕ストリームを記録し た装置を識別する識別情報に基づき、 対応する記録装置で記録された データストリームであるか否かを知ることができ、 対応する記録装置 で記録されたデータストリームであると判断された場合に、 編集点を 含む所定区間のデコードおよびエンコードによる編集を行うことがで きる効果がある 図面の簡単な説明
第 1図 A、 第 1図 Bおよび第 1図 Cは、 フレーム間圧縮を行ったデ 一夕のデコード処理について説明すための略線図、 第 2図 Aおよび第 2図 Bは、 ビデオ映像における中間部のシーンを削除し、 削除した前 後を結合する編集を説明するための略線図、 第 3図は、 N A Lュニッ 卜の一例の構成を示す略線図、 第 4図は、 アクセスユニットの一例の 構成を示す略線図、 第 5図は、 この発明の実施の一形態に適用可能な ビデオデータの一例の構造を概略的に示す略線図、 第 6図は、 S E I " User Data Unregi s tered SEI"に格納される情報の一例の構造を表す シンタクスを示す略線図、 第 7図 Aおよび第 7図 Bは、 ブロック one— mod i f i ed— dv_pack ()の構成の例を表すシンタクスを示す略線図、 第 8 図 A、 第 8図 Bおよび第 8図 Cは、 この発明の実施の一形態によるビ デォストリームの一例の編集方法について説明するための略線図、 第 9図は、 この発明の実施の一形態による編集方法による一例の編集処 理を示すフローチャート、 第 1 0図 A、 第 1 0図 Bおよび第 1 0図 C は、 編集点付近の必要最小区間のみを再エンコードする手法による一 例の編集処理について概略的に説明するための略線図、 第 1 1図 Aお よび第 1 1図 Bは、 編集対象のビデオストリームの全区間を再ェンコ 一ドする手法による一例の編集処理について概略的に説明するための 略線図、 第 1 2図 A、 第 1 2図 Bおよび第 1 2図 Cは、 2つのストリ ームファイルに格納されるビデオストリームに対して行う編集処理を 概略的に示す略線図、 第 1 3図 A、 第 1 3図 Bおよび第 1 3図 Cは、 2つのストリームファイルに格納されるビデオストリームに対して編 集を行う場合の、 編集点付近の必要最小区間のみを再エンコードする 手法による一例の編集処理について概略的に説明するための略線図、 第 14図 Aおよび第 14図 Bは、 2つのストリームファイルに格納さ れるビデオストリームに対して編集を行う場合の、 編集対象の全区間 を再ェンコ一ドする手法による一例の処理について概略的に説明する ための略線図、 第 1 5図は、 この発明の実施の一形態に適用可能な記 録装置の一例の構成を示すブロック図、 第 1 6図は、 この発明の実施 の一形態に適用可能な編集装置の一例の構成を示すプロック図、 第 1 7図は、 一般的なコンピュータ装置の一例の構成を概略的に示すプロ ック図である。 発明を実施するための最良の形態
以下、 この発明の実施の一形態を、 図面を参照しながら説明する。 先ず、 理解を容易とするために、 この発明に適用可能な一例のフォー マット （以下、 A VCHDフォーマットと呼ぶ） について説明する。 AVCHDフォーマットは、 ビデオデータとオーディオデータとが所 定に多重化された A V (Audio/Video)ストリームを記録可能な記録媒 体に記録する記録フォ一マツトであって、 AVストリームを記録媒体 にファイルとして記録し、 記録された AVストリームを、 クリップ単 位でプレイリストを用いて管理可能としている。
AVCHDにおいては、 符号化方式として、 例えば I TU— T(Int ernat ional Telecommunicat ion Union - Telecommunication Standar iz aiion Sec tor)勧告 H. 264あるいは I SO (International Organi zat ion for Standarization) ' I E C (International Electrotechni cal Commission)国際標準 14496— 1 0 (MP E G— 4パート 1 0 ) Advanced Video Coding (以下、 H. 264 I AVCと略称する ) に規定される符号化方式を用い、 MP EG 2システムズの規定に従 いビデオデ一夕およびオーディォデータを多重化する。
H. 264 I AVC方式で符号化され、 MPEG 2システムズに従 い多重化されたビットストリームは、 クリップ A Vストリーム （また は A Vストリーム） と称される。 クリップ A Vストリームは、 所定の ファイルシステムによりファイルとして記録媒体に記録される。 以下 では、 クリップ AVストリームが記録されるファイルを、 ストリーム ファイルと呼ぶ。
この AVCHDフォーマットによるデータ構造は、 H. 264 1 A VCに規定されるビットストリーム構造に準ずる。 ここで、 H. 26 4 I AVCに規定されるビットストリーム構造を概略的に説明する。 H. 2641 AVCにおいては、 動画像符号化処理そのものを扱う V CL (Video Coding Layer)と、 符号化された情報の伝送や蓄積を行う 下位システムとの間にある NAL (Network Abstraction Layer)とが 規定され、 VCLと NALとが分離された構造とされる。 また、 シー ケンスゃピクチャのヘッダ情報に相当するパラメータセットも、 VC Lで生成した情報から分離して扱えるようになつている。
H. 264 | A VCによるビットストリームの下位システム、 例え ば MP EG 2システムズに対するマッピングは、 NALの一区切りで ある NALユニットを単位として行われる。 第 3図は、 NALュニッ トの一例の構成を示す。 NALユニットは、 NALヘッダおよび RB S P (Raw Byte Sequence Payload)から構成される。 NALヘッダは 、 1ビットのデータ長を有する固定ビット部分に続けて、 2ビットの データ長を有する情報 naし reし idcと、 5ビットのデータ長を有する 情報 naし unit_typeとが配される。 情報 naし ref_idcは、 この NALュ ニッ卜に参照ピクチャとなり得るスライスが格納されているか否かを 示す。 情報 naし unit typeは、 この N A Lユニットの種類を示す。 R B S Pは、 動画像の圧縮符号化された生データが格納される。
なお、 RB S Pトレイリングビットは、 この NALユニットのビッ ト長を 8ビッ卜の倍数に調整するための調整用ビットである。 RB S Pトレイリングピットは、 " 1 "から始まりその後ろに" 0"が連なる構 成とされており、 最初のビット " 1 "を検出することにより、 RB S P の最後のビット位置を特定することができる。 また、 " 0"の後ろに" 1"が検出されると、 その位置が N A Lュニットの先頭であることが 分かる。
情報 nal— unit— typeにより示される NALュニットの種類には、 符 号化された各種ピクチャのスライス、 S E I (Supplemental Enhancem ent Information)、 S P S (Sequence Parameter Set) , P P S (Pictu re Parameter Set), AU (Access Unit)デリミタ、 シーケンスの終了 (End Of Sequence： EOS), ストリームの終了（End Of Stream： E OS)などがあり、 情報 naし uniし typeの値により、 RB S Pに格納さ れる情報がこれらのうち何れであるかが示される。
S E Iは、 補足的な付加情報であって、 VCLの復号化に必須では ない付加情報が示される。 S E Iとしては、 仮想参照デコーダに関連 する各ピクチャのタイミング情報、 パン ·スキャン機能に関する情報 、 ランダムアクセスのために用いられる情報、 ユーザの独自定義によ る情報 （ユーザデータ） などが定義される。 S P Sは、 シーケンス全 体の符号化に関わる情報が含まれたヘッダである。 P P Sは、 ピクチ ャ全体の符号化モードに関わる情報が含まれたヘッダである。 また、 AUデリミタは、 後述するアクセスユニットの先頭を示す。
ビットストリーム中の情報をピクチャ単位でアクセスするために、 幾つかの NALユニットを纏めた一区切りを、 アクセスユニットと呼 ぶ。 第 4図は、 アクセスユニットの一例の構成を示す。 第 4図に示さ W れるアクセスュニットの構成のうち、 主ピクチャの各スライスに相当 する NALュニットを除いた他の情報は、 必ずしもアクセスュニット に存在している必要のない、 オプションの情報である。 これらォプシ ヨンの情報を用いる場合には、 第 4図に示されるように、 AUデリミ 夕、 S P S、 PP S、 S E I、 主ピクチャ、 冗長ピクチャ、 E〇S (E nd Of Sequence)および EO S (End Of Stream)の順序で並んでいる必 要がある。 各 NALユニットは、 NALヘッダの情報に基づき識別さ れる。 なお、 冗長ピクチャに関しては、 この発明との関わりが薄いの で、 説明を省略する。
第 5図は、 この発明の実施の一形態に適用可能なビデオデータの一 例の構造を、 概略的に示す。 この実施の一形態においては、 ビデオデ —夕は、 G〇P (Group Of Picture)構造をとり、 GOPは、 少なくと も 1枚の Iピクチャと、 それぞれ 1乃至複数枚の Pピクチャおよび B ピクチャとからなる。
GOP毎に、 ヘッダが設けられる。 ヘッダは、 第 4図に示した AU デリミタ、 S P S、 P P Sおよび S E Iに対応し、 少なくとも AUデ リミタおよび S E Iを含む。 S E Iは、 H. 2641 AVCの規定に おいて複数の名称が定義され、 名称毎に異なる情報を伝送するように されている。 この発明の実施の一形態では、 特に、 S E Iのうちユー ザ独自の定義が可能とされた S E Iである" User Data Unregistered SEI"に対して、 記録装置固有の情報を格納するようにしている。
第 6図は、 この S E I "User Data Unregistered SEI"に格納される 情報の一例の構造を表すシンタクスを示す。 ここでは、 シンタクスを コンピュータ装置などのプログラムの記述言語として用いられる C言 語の記述法に基づき示す。 これは、 他のシンタクスを表す図において 、 同様である。 065882 この S E I "User Data Unregistered SEI"は、 第 6図の最初の行に " user_d t a_unregis tered (payloadSize)"として示されるように、 ぺ イロ一ドサイズ、 すなわち、 この S E I "User Data Unregistered SE I"の全体のデ一夕長が指定されて参照される。 第 6図において、 1 2 8ビットのデータ長を有するフィールド uuid一 isojec一 11578は、 所定 の識別情報が格納される。 次のデータ長が 32ビットのフィールド ty pe— indicatorは、 この S E I "User Data Unregistered SEI"のタイプ を示す。 フィールド type— indicatorの値が" 0x47413934"で、 if文に従 い、 クローズドキヤプションのデータが格納されるブロック cc— data( )が配される。 クローズドキャプションに関しては、 この発明と関わ りが薄いので、 説明を省略する。
なお、 数値の記述において" Ox"は、 その数値が 1 6進表記されてい ることを示す。 これは、 以下の同様な表記について共通である。
フィールド type— indicatorの値が" 0x4D44504D"であれば、 if文にお ける" else if"の記述に従い、 ブロック ModifiedDVPackMetaOが記述 される。 このブロック ModifiedDVPackMetaOは、 このデータを記録し た記録装置固有の情報が格納される。 ブロック ModifiedDVPackMetaO において、 8ビットのデ一夕長を有するフィ一ルド number— 0し modi ii ed_dv_pack_en t r i esは、 このブロック Mod i f i edDVPackMe t 0に格納さ れるデータ modifiecLdv_packの数を示す。 次の forループ文に従い、 このフィ—— Jレド number— 0 f_mod i f i ed_dv_pack_en triesに示される数た け、 データ modined_dv』ackすなわちブロック one—modi f ied— dv— pack 0が格納される。
ブロック one—modi fied— dv— packOは、 8ビッ卜のデータ長を有する フィールド即 d_idと、 32ビットのデータ長を有するフィールド mpd_ dataとからなる。 第 7図 Aおよび第 7図 Bは、 ブロック onejnodi fied — dv— packOの構成の例を表すシンタクスを示す。 第 7図 Aは、 ブロッ ク one— mod i f ied_dv_pack 0が、 このデ一夕を記録した記録装置を示す 情報が格納されるブロック MAKER & MODEL ID packOである例である 。 また、 第 7図 Bは、 ブロック one— modified— dv—pack()が、 記録時の 画質モードを示す情報が格納されるブロック MAKER OPTION packOで ある例である。
第 7図 Aのブロック MAKER & MODEL ID packOについて説明する。 フィールド即 d— idは、 8ビットのデータ長を有し、 このブロック one— modified— dv— packOの種別を示す。 すなわち、 フィールド mpd_idが所 定の値で、 このブロック one— modified一 dv— pack ()がこのデータを記録 した記録装置を示す情報が格納されるブロック MAKER & MODEL ID pac k()であることが示される。 第 6図で示したフィ一ルド即 d— dataは、 このブロック MAKER & MODEL ID packOにおいては、 それぞれ 1 6ビ ットのデ一夕長を有するフィールド maker_IDと、 フィールド maker— mo del_codeとに分けられている。 フィールド maker_IDは、 このデ一夕を 記録した記録装置のメーカを識別するための識別情報を示す。 フィー ルド makerjnodeし codeは、 当該記録装置の型番や機種を識別する識別 情報を示す。
第 7図 Bのブロック MAKER OPTION packOについて説明する。 この ブロック MAKER OPTION packOには、 上述のように、 記録時の画質モ ードを示す情報が格納される。 すなわち、 映像や音声を記録再生する 装置において、 ビットレートを段階的に切り換えることで記録時間と 、 画質または音質を切り換えることができるようにすることは、 一般 的に行われている。 一例として、 最もピットレートが高く高画質 （ま たは高音質） が得られるが、 記録可能時間が短い HQ (High Quarity) モード、 実用上十分な画質と記録可能時間とが保証され、 ビットレー トが中程度な L P (Long Play)モード、 画質は実用上差し支えない程 度とし、 長時間記録を優先した、 ビットレートが低い S P (Standard Play)モードが設定される。
一方、 このような記録時の画質モードは、 映像および音声の記録フ ォーマット上、 必ずしも表現できる訳ではなく、 例えばメーカや装置 の型番、 機種に固有の仕様である場合も多い。 また、 ユーザに対して は、 再生時に、 再生しょうとするコンテンツがどのような記録モード で記録されたのかを通知可能とされていることが望ましい。
そこで、 メーカや型番、 機種に固有の記録モードを記述可能なプロ ック MAKER OPTION packOを定義することが考えられる。 このブロッ ク MAKER OPTION pack 0は、 例えば上述したブロック MAKER & MODEL I D packOと並列的に用いることが考えられる。 一例として、 S E I "U ser Data Unregistered SEI"に対して、 ブロック MAKER & MODEL ID p ackOとブロック MAKER OPTION pack 0とを併記する。
第 7図 Bにおいて、 フィールド即 d— idは、 8ビットのデータ長を有 し、 このブロック one_modif ied_dv_pack()の種別を示す。 すなわち、 フィールド mpd_idが所定の値で、 このブロック onejnodif ied— dv— pack 0がこのデータを記録した際の画質に関する記録モードを示す情報が 格納されるブロック MAKER OPTION packOであることが示される。 第 6図で示したフィールド mpd— dataは、 このブロック MAKER OPTION packOにおいては、 例えば 3 2ビットのデータ長を有するフィール ド REC— MODEに、 このブロック MAKER OPTION packOが格納される S E I "User Data Unregistered SEI"を含むビデオデータが記録された際 の、 画質に関する記録モードが記述される。 例えば、 フィールド REC— MODEの値が" 0"で HQモード、 " 1"で3 ?モ一ド、 " 2"で LPモード を示す。 記録モードは、 この 3種類に限らず、 さらに多くてもよいし 、 HQモードと S Pモードの 2種類のみなど少なくてもよい。
このように、 ビデオデ一夕に対して、 S E I "User Data Unregiste red SE に当該ビデオデータを記録した際の画質に関する記録モ一ド が記述されるブロック MAKER OPTION pack 0と、 当該ビデオデータを 記録した記録機のメーカや型番、 機種が記述されるブロック MAKER & MODEL ID packOとを併記することで、 当該ビデオデータを再生時に 、 ブロック MAKER & MODEL ID packOから当該ビデオデータが自機ぁ るいは自機と同メーカ、 同機種、 型番の記録機で記録されたか否かが 判別できる。 当該ビデオデータが自機あるいは自機と同メーカ、 同機 種、 型番の記録機で記録されたと判別できれば、 当該記録機に特有の データの解釈や、 処理を行うことができる。
一例として、 再生時に、 ブロック MAKER OPTION packOから、 再生 されるビデオデータが記録された際の画質に関する記録モードを読み 取り、 例えば表示することができる。 また、 別の例として、 画質に関 する記録モードを、 S E I "User Data Unregistered SEI"に格納され るブロッグ onejnod i f i ed—dv— pack 0に対して定義することで、 当該記 録モードを示す情報がビデオデータのストリーム中に埋め込まれるた め、 当該ビデオデータに対して編集作業を行った場合でも、 記録モー ド情報を引き継ぐことができる。
次に、 この発明の実施の一形態について説明する。 編集点付近の必 要最小区間のみを再ェンコ一ドすることで編集を行う際には、 編集対 象のビデオストリームに含まれる所定のパラメータの値がストリーム ファイル中で固定的である必要がある。 例えば、 AVCHDフォーマ ットにおいては、 1のストリームファイル内で以下のパラメ一夕 （ 1 ) 〜 （6) が一定でなければならないとして規定されている。
パラメータ （1) ：画枠の水平方向のサイズを示すパラメ一夕 パラメ - -夕 (2) ：画枠の垂直方向のサイズを示すパラメータ パラメ -夕 (3) ：表示画像のァスぺクトを示すパラメ一夕
パラメ —夕 (4) ： フレームレートを示すパラメータ
パラメ —夕 (5) ： フレームの構造を示すパラメ一夕
パラメ —夕 (6) ： クローズドキャプションデータの有無を示すパラ メータ
なお、 AVCHDにおけるこれらパラメ一夕 （1) 〜 （6) の具体 的は、 H. 264 I AVCの規定に基づき、 下記のようになる。 パラ メ一タ （1) は、 S P Sにおいてコード pic— width— in— mbs— minuslと して記述される。 パラメータ （2) は、 S P Sにおいてコード picjie ighし in— map— units— minuslとして記述される。 パラメ一夕 （5) は、 S P Sにおいてコード framejnbs— only一 flagとして記述される。 また 、 パラメ一夕 （3) は、 S P Sにおいてコード aspect— ratio— idcとし て記述される。 パラメータ （4) は、 例えば S P Sにおけるコ^ "ド vi deo— formatに基づき求められる。 これらコード aspect_ratio— idcおよ びコード video_formatは、 S P Sにおいてォプションとして記述され る。 さらに、 パラメ一タ （6) は、 上述の S E I "User Data Unregis tered SEI"において、 フィールド type— indicatorの値に基づき判断で きる。 すなわち、 フィールド type_indicatorの値が" 0x47413934"のと きに、 クローズドキャプションのデータが存在すると判断される。 ここで、 編集対象のストリームファイル中のこれらのパラメ一夕 （ 1) 〜 （6) の取り得る値の全てについて編集装置側がエンコード可 能であれば、 常に編集点付近の必要最小区間のみを再ェンコ一ドする 方法での編集方法を適用して編集処理を高速に行うことができる。 と ころが、 編集装置をパラメータ （1) 〜 （6) の取り得る値の全てに 対して対応可能なように設計すると、 エンコーダの規模が大きくなる のが避けられず、 また、 コストも嵩んでしまう。
そこで、 この発明では、 ビデオストリームを編集する際に、 編集対 象のビデオス卜リームの所定位置に配置された、 当該ビデオストリー ムを生成した記録装置を示す情報を抽出し、 編集対象のビデオストリ ームを生成した記録装置が特定の記録装置であるか否かを判断する。 特定の記録装置とは、 例えば、 その記録装置で生成されたビデオス トリームにおける上述のパラメ一夕 （1 ) 〜 （6 ) それぞれの値に示 される属性と同等の属性でのェンコ一ドが、 編集装置側で可能な値で あるような記録装置である。 特定の記録装置を示す情報は、 例えば、 第 6図、 ならびに、 第 7図 Aおよび第 7図 Bを用いて説明した S E I " User Dat a Unregi s t ered SEI"において、 ブロック Mod i f i edDVPackMe t a Oに格納されるブロック MAKER & MODEL ID pack Oに、 フィールド m aker_IDおよびフィ一ルド makerjnodeし codeとして記述される。
判断の結果、 編集対象のビデオストリームを生成した記録装置が特 定の記録装置であるとされれば、 編集点付近の必要最小区間のみを再 ェンコ一ドする手法を用いてビデオストリームの編集を行う。 若し、 編集対象のビデオストリームを生成した記録装置が特定の記録装置で はないと判断されたら、 編集対象のビデオストリームの全体をデコ一 ドし、 デコードされたビデオデ一夕に対してフレーム単位での編集を 行い、 編集されたビデオデータの全体を、 再エンコードする。
この発明によれば、 ビデオストリームの編集時に、 編集点付近の必 要最小区間のみを再エンコードする手法が適用可能かを、 編集対象の ビデオストリーム中の情報に基づき容易に判断することできる。 また 、 編集装置側では、 特定の記録装置で記録されたストリームファイル を主な編集対象とする場合、 編集装置のエンコーダは、 対象となる特 定の記録装置と同等のパラメ一夕のみに対応するだけで、 必要最小区 間を再エンコードする手法を用いた編集処理を行うことができる。 この発明の実施の一形態によるビデオストリームの一例の編集方法 について説明する。 第 8図 Aに例示されるように、 GOP# l〜G〇 P # 9の 9個の GOPからなるビデオストリームファイルを考える。 G〇P # 1〜GOP # 9に対して、 ヘッダ # 1〜ヘッダ # 9がそれぞ れ付加されている。 ヘッダ # 1〜ヘッダ # 9のそれぞれには、 上述し た、 このファイルを記録した記録装置の情報を示すデータ modified_d V— packを含むブロック ModifiedDVPac etaOが記述される S E I "Use r Data Unregistered SEI"が格納されている。
このファイルに格納されるビデオストリームに対して、 第 8図 Bに 一例が示されるように、 GOP # 3内のあるピクチャに編集点 Aを設 定し、 G〇P# 7内のあるピクチャに編集点 Bを設定し、 編集点 Aお よび編集点 Bの間の区間 A— Bに含まれるピクチャを削除して編集点 Aおよび編集点 Bを結合する編集処理を行うものとする。 編集結果は 、 第 8図 Cに一例が示されるように、 編集点 Aおよび編集点 B間の G OP#4〜GOP# 6が削除され、 編集点 Aを含む GOP # 3と、 編 集点 Bを含む GOP# 7とが編集点 Aおよび編集点 Bで結合された G OP# 3 + 7が生成され、 全体として、 G〇P # 1、 G〇P# 2、 G OP# 3 + 7、 G〇P# 8および GOP # 9の 5個の GOPからなる ビデオストリームが生成される。 なお、 第 8図 Bおよび第 8図 Cでは 、 繁雑さを避けるためにヘッダの記載を省略している。
第 9図は、 この発明の実施の一形態による編集方法による一例の編 集処理を示すフローチヤ一トである。 編集対象のファイルが指定され ると、 ステップ S 1 0で、 編集対象とされたストリームファイルから 、 このファイルを記録した記録装置の情報を示すデータ modified— dv— packのブロック MAKER & MODEL ID packO (第 6図、 ならびに、 第 7 図 Aおよび第 7図 B参照） が検索される。
例えば、 第 8図 Aを参照し、 編集対象とされたストリームファイル に格納されるビデオストリームの先頭のヘッダ # 1の NALュニット が解析され、 S E I "User Data Unregistered SEI"が抽出される。 そ して、 S E I"User Data Unregistered SEI"から、 このファイルを記 録した記録装置の情報を示すデータ modifiecLdv_packを含むブロック ModifiedDVPackMetaOが検索され、 さらに、 ブロック Modi fiedDVPack MetaOから、 フィ一ルド即 d— idの値に基づきブロック MAKER & MODEL ID pack 0が検索される。
次のステップ S 1 1で、 ブロック MAKER & MODEL ID packOに格納 されるフィ一ルド maker— IDおよびフィールド maker_modeし codeがそれ ぞれ取得され、 同じ属性でエンコードできる機種のデータが存在する か否かが判断される。 なお、 同じ属性とは、 例えば、 上述したパラメ 一夕 （1) 〜 （6) について、 同一のパラメータ値で以てエンコード 可能であることを意味する。
例えば、 編集装置は、 予め R〇M(Read Only Memory)やハ一ドディ スクドライブなどの記憶手段に、 当該編集装置が対応可能なパラメ一 夕でェンコ一ドを行う記録装置の特定情報 （フィールド maker_IDおよ びフィールド makerjnodel— codeの値） を記憶しておき、 記憶されてい るフィールド maker_IDおよびフィ一ルド maker— modeし codeの値のうち 、 編集対象のビデオストリームから取得されたフィールド maker— IDお よびフィ一ルド maker— modeし codeの値が一致するものが存在するか否 かが判断される。
若し、 ステップ S 1 1で、 同じ属性でエンコードできる機種のデー 夕が存在すると判断されたら、 処理はステップ S 1 2に移行され、 編 集対象のビデオストリームの、 編集点付近の必要最小区間のみを再ェ ンコードする手法を用いて編集を行う一方、 ステップ S 1 1で、 同じ 属性でエンコードできる機種のデータが存在しないと判断されたら、 処理はステップ S 1 3に移行され、 編集対象のビデオストリームの全 区間を再エンコードする手法を用いて編集を行う。
なお、 複数のストリームファイルを編集対象とする場合、 例えば 2 つのストリームファイルのそれぞれに編集点を設けて、 編集点に基づ き当該 2ファイルを結合する編集を行う場合、 編集対象のそれぞれに ついて、 ステップ S 1 0およびステップ S 1 1の処理を行う。 例えば 、 編集対象の 2ファイルについてそれぞれブロック MAKER & MODEL ID packOを検索し （ステップ S 1 0) 、 それぞれのプロック MAKER & M ODEL ID packOにおけるフィールド maker— IDおよびフィールド maker— model— codeの値についての判断がなされる （ステップ S 1 1) 。
そして、 編集対象の 2ファイルにおけるフィールド maker_IDおよび フィールド maker— model— codeの値が、 共に、 編集装置に記憶されてい る値に一致していれば、 ステップ S 1 2の編集点付近の必要最小区間 のみの再ェンコ一ド処理を行うものとする。
ステップ S 12による、 編集点付近の必要最小区間のみを再ェンコ ードする手法による一例の編集処理について、 第 1 0図 A、 第 1 0図 Bおよび第 1 0図 Cを用いて概略的に説明する。 なお、 第 1 0図 A、 第 1 0図 Bおよび第 1 0図 Cに例示されるビデオストリームの構成は 、 上述した第 8図 A、 第 8図 Bおよび第 8図 Cに対応し、 9個の GO P# 1~G〇P# 9からなる。 このビデオストリームに対して、 上述 したようにして G〇P# 3内に編集点 Aを指定し、 GOP # 7内に編 集点 Bを指定し、 区間 A— Bを削除する編集を行う。
先ず、 第 1 0図 Aに例示されるように、 編集点 Aを含む G〇P # 3 の直後の GOP # 4から、 編集点 Bを含む GOP # 7の直前の GO P # 6までが GOP単位で削除される。 編集点 Aを含む GOP # 3と、 当該 GO P # 3の直前の GO P # 2とがデコードされる。 同様に、 編 集点 Bを含む GOP # 7および GO P # 7の直後の GOP # 8がデコ —ドされる。
次に、 第 1 0図 Bに例示されるように、 デコード済みの GOP# 3 において、 編集点 Aから GO P # 3の終端までがフレーム単位で削除 される。 同様に、 デコード済みの GOP # 7において、 G〇P# 7の 先頭から編集点 Bまでがフレーム単位で削除される。 そして、 第 1 0 図 Cに例示されるように、 編集点 Aと編集点 Bとが結合され、 GOP # 2、 GOP # 3 + 7および G〇P # 8が再エンコードされる。 なお、 上述の第 1 0図 Aの状態においてデコード前の GO P # 2を メモリなどに保持しておき、 再エンコードを GO P # 3 + 7および G OP # 8に対して行い、 保持されているデコード前の GOP # 2をェ ンコードされた GOP # 3 + 7の直前に上書き複写することも考えら れる。
ステップ S 1 3による、 編集対象のビデオストリームの全区間を再 エンコードする手法による一例の編集処理について、 第 1 1図 Aおよ び第 1 1図 Bを用いて概略的に説明する。 編集対象のビデオストリー ムの構成は、 上述の第 8図 A、 第 8図 Bおよび第 8図 C、 ならびに、 第 1 0図 A、 第 1 0図 Bおよび第 1 0図 Cと同等とする。 この場合、 第 1 1図 Aに例示されるように、 編集対象のビデオストリームの全体 (第 1 1図 Aおよび第 1 1図 Bの例では GOP # 1〜G〇P # 9) を 対象としてデコードを行い、 編集点 Aから編集点 Bまでをフレーム単 位で削除して編集点 Aおよび編集点 Bを結合する。 編集点 Aおよび編 集点 Bを結合した結果、 G〇P# 3 + 7が生成される。 G〇P# 3 + 7が生成されたら、 編集結果の G〇P # 1、 GOP # 2、 G〇P# 3 + 7、 GOP # 8および GOP # 9の全体を再エンコードする （第 1 1図 B) 。
上述では、 1のストリームファイルに格納されたビデオストリーム に対して編集点 Aおよび編集点 Bを設定して編集する例について説明 したが、 上述の処理は、 2つのストリームファイルに格納されたビデ ォストリームに対してそれぞれ編集点 Aおよび編集点 Bを設定して編 集する場合についても、 同様に適用可能である。
第 1 2図 A、 第 1 2図 Bおよび第 1 2図 Cは、 2つのストリームフ アイルに格納されるビデオストリームに対して行う編集処理を概略的 に示す。 GO P #mを終端とするビデオストリーム 1 00が格納され る第 1のストリームファイルと、 G〇P# 1を先頭とするビデオスト リーム 1 0 1が格納される第 2のストリームファイルとを考える （第 1 2図 A) 。 ビデオストリーム 1 00の GOP #m— 1内に編集点 A を設定し、 ビデオストリーム 1 0 1の GOP# 2内に編集点 Bを設定 する。 そして、 ビデオストリーム 1 00の編集点 Aから終端までを削 除すると共に、 ビデオストリーム 1 0 1の先頭から編集点 Bを削除し (第 1 2図 B) 、 編集点 Aおよび編集点 Bを結合して 1本のビデオス トリーム 1 02を作成する （第 1 2図 C) 。
上述のステップ S 1 2による、 2つのストリームファイルに格納さ れるビデオストリームに対して編集を行う場合の、 編集点付近の必要 最小区間のみを再ェンコ一ドする手法による一例の編集処理について 、 第 1 3図 A、 第 1 3図 Bおよび第 1 3図 Cを用いて概略的に説明す る。 なお、 第 1 3図 A、 第 1 3図 Bおよび第 1 3図 Cに例示されるビ デォストリームの構成や編集点 Aおよび編集点 Bの設定、 編集箇所な どは、 上述した第 1 2図 A、 第 1 2図 Bおよび第 1 2図 Cと同等とす P T/JP2007/065882 先ず、 第 13図 Aに例示されるように、 ビデオストリ一ム 100に おいて、 編集点 Aを含む GO P #m— 1の直後の GOP #mが GOP 単位で削除され、 GOP #m— 1および直前の GOP #m— 2とがデ コ一ドされる。 同様に、 ビデオストリーム 101において、 編集点 B を含む G〇P# 2の直前の G〇P# 1が GOP単位で削除され、 G〇 P # 2と直後の GOP # 3とがデコードされる。
次に、 第 13図 Bに例示されるように、 ビデオストリーム 100の デコード済みの GOP #m— 1において、 編集点 Aから GOP #m— 1の終端までがフレーム単位で削除される。 同様に、 ビデオストリー ム 101のデコード済みの GOP # 2において、 G〇P#2の先頭か ら編集点 Bまでがフレーム単位で削除される。 そして、 第 13図 Cに 例示されるように、 編集点 Aと編集点 Bとが結合され、 G〇P#m— 2、 G〇P# (m— 1) + (2) および GOP # 3が再エンコードさ れ、 1本のビデオストリーム 102が作成される。
なお、 上述の第 13図 Aの状態においてデコード前の GOP # 2を メモリなどに保持しておき、 再ェンコ一ドを GOP# 3 + 7および G OP # 8に対して行い、 保持されているデコ一ド前の G〇P # 2をェ ンコードされた G〇P#3 + 7の直前に上書き複写することも考えら れる。
上述のステップ S 13による、 2つのストリームファイルに格納さ れるビデオストリームに対して編集を行う場合の、 編集対象の全区間 を再ェンコ一ドする手法による一例の処理について、 第 14図 Aおよ び第 14図 Bを用いて概略的に説明する。 なお、 第 14図 Aおよび第 14図 Bに例示されるビデオストリームの構成や編集点 Aおよび編集 点 Bの設定、 編集箇所などは、 上述した第 12図 A、 第 12図 Bおよ び第 Γ2図 Cと同等とする。 この場合、 第 14図 Aに例示されるよう に、 編集対象のビデオストリーム 1 0 0の全体と、 ビデオストリーム 1 0 1の全体とをそれぞれを対象としてデコードを行い、 ビデオスト リーム 1 0 0においては、 編集点 Aから終端までをフレーム単位で削 除してビデオストリ一ム 1 0 0， とし、 ビデオストリーム 1 0 1にお いても同様に、 先頭から編集点 Bまでをフレーム単位で削除してビデ ォストリーム 1 0 1 ' とする。 そして、 第 1 4図 Bに例示されるよう に、 編集点 Aと編集点 Bとを結合して全体を再エンコードし、 1本の ビデオストリーム 1 0 2を得る。
ここで、 第 1 0図 A、 第 1 0図 Bおよび第 1 0図 C、 第 1 1図 Aお よび第 1 1図 B、 第 1 3図 A、 第 1 3図 Bおよび第 1 3図 C、 ならび に、 第 1 4図 Aおよび第 1 4図 Bを用いて説明した各例のように、 編 集点 Aおよび編集点 Bを結合して新たな G O Pを生成する際に、 編集 点 Aおよび編集点 Bの G O P内での位置によっては、 当該新たな G 0 Pに含まれるピクチャ数が所定数に満たない場合や、 所定数を超える 場合が起こり得る。 このような場合には、 ピクチャの複製や間引きな どを行い、 当該新たな G O P内のピクチャ数を所定数に収めることが 考えられる。
なお、 第 1 0図 A、 第 1 0図 Bおよび第 1 0図（ 、 ならびに、 第 1 3図 A、 第 1 3図 Bおよび第 1 3図 Cを用いて説明した、 編集点付近 の必要最小区間のみを再エンコードする手法の手順は、 この発明の実 施の一形態を実施可能とするための一例であって、 この方法に限定さ れるものではない。
また、 上述では、 第 9図のステップ S 1 1における、 同じ属性でェ ンコードできる機種のデータが存在するか否かの判断の結果、 データ が存在しないとされ、 処理がステップ S 1 3に移行した際に、 編集対 象の全区間を再エンコードする手法を用いて編集を行うように説明し たが、 これはこの例に限定されない。 例えば、 編集対象のビデオスト リームが装置に対応していない可能性がある旨を、 所定の表示手段な どを用いて警告するようにしてもよい。
第 1 5図は、 この発明の実施の一形態に適用可能な記録装置 1の一 例の構成を示す。 この記録装置は、 入力されたビデオデータおよびォ 一ディォデータを所定の方式で圧縮符号化し、 圧縮符号化されたビデ ォデータおよびオーディォデータを多重化して 1本のデータストリー ムとし、 このデータストリームをファイルとして記録媒体に記録する ようにしている。
この第 1 5図に例示される記録装置 1は、 例えば、 光学系や撮像素 子などを備えたカメラブロックと組み合わせ、 撮像した撮像信号に基 づくビデオデ一夕を記録媒体に記録する、 ビデオカメラ装置の記録ブ ロックとして用いられるものである。 これに限らず、 記録装置 1は、 外部から入力されるビデオデータおよびオーディオデータを記録媒体 に記録する、 単独の記録装置として用いることもできる。
適用可能な圧縮符号化や多重化の方式としては、 様々に考えられる 。 例えば、 H. 2 64 I AVCに規定される方式を、 この発明の実施 の一形態の圧縮符号化として適用することができる。 また、 多重化方 式は、 例えば MP EG 2システムズが適用される。
データを記録する記録媒体 20は、 例えば記録可能なタイプの DV D (Digital Versatile Disc)を用いることができる。 記録媒体 20と して、 より大容量を実現した B 1 u— r a y D i s c (ブルーレイ ディスク ：登録商標） を適用することも考えられる。 これに限らず、 記録媒体 20として、 半導体メモリを適用することもできるし、 ハー ドディスクドライブを適用することもできる。
制御部 5は、 例えば C P U (Central Processing Unit), R AM(Ra ndom Access Memory)および R OM (Read Only Memory)などからなり (図示しない） 、 ROMに予め記憶されたプログラムやデータに基づ き、 RAMをワークメモリとして用いてこの記録装置 1の全体を制御 する。 また、 制御部 5上で動作するプログラムにより、 この記録装置 で用いられるファイルシステムが提供される。 例えば、 制御部 5は、 このファイルシステムに基づき、 データが記録媒体 20に記録される 際の、 記録媒体 20の物理的なァドレスと当該データが格納されるフ アイルとの関連付けを行うと共に、 各データが格納されるファイルの 論理的な管理情報を生成する。
U I (User Interface)部 6は、 この記録装置の動作をュ一ザが操作 するための操作子が所定に設けられ、 操作子に対する操作に応じた制 御信号を出力する。 この制御信号は、 制御部 5に供給される。 制御部 5は、 ユーザ操作に応じて U I部 6から供給された制御信号に基づき なされるプログラムの処理により、 記録装置 1の各部の動作を制御す る。 例えば、 U I部 6に対してなされた操作に応じて、 記録装置によ る記録動作の開始および停止の動作が制御部 5により制御される。 ベースバンドのディジタルビデオデ一タが端子 10から入力され、 ビデオエンコーダ 1 1に供給される。 ビデオエンコーダ 1 1は、 複数 フレームのビデオデータを格納可能なバッファメモリを有し、 供給さ れたベースバンドのディジタルビデオデータをバッファメモリに溜め 込んで、 所定の方式で以て圧縮符号化する。 AVCHDフォーマット すなわち H. 264 I AVCに規定される方式に準じて圧縮符号化が なされるこの例では、 例えば、 DCT (Discrete Cosine Transform) と画面内予測とによりフレーム内圧縮を行うと共に、 動きべクトルを 用いたフレーム間圧縮を行い、 さらにエントロピー符号化を行い圧縮 効率を高める。 ビデオエンコーダ 1 1は、 さらに、 圧縮符号化されたビデオデータ に基づき S P S、 PP S、 S E Iなどの付加情報を所定に生成する。 このとき、 この記録装置 1のメーカ名を識別する識別情報と、 機種や 型番を識別する識別情報とを、 S E I "User Data Unregistered SEI" のブロック MAKER MODEL ID packOにおけるフィールド maker_IDお よびフィールド maker_modeI_codeの値として生成する。 これらメーカ 名や、 機種、 型番の識別情報は、 記録装置 1が有する図示されない R OMに予め記憶される。 ビデオエンコーダ 1 1は、 圧縮符号化された ビデオデ一夕や、 これら S P S、 PP S、 S E Iなどの付加情報から NALユニットを形成し、 H. 264 I AVCエレメン夕リストリー ム （ES) として出力する。
なお、 H. 264 I AVCの規定によれば、 デコーダモデルにおい て、 デコーダの入力側のバッファである符号化ピクチャバッファ（C PB ： Coded Picture Buffer)と、 出力側のバッファである復号ピク チヤバッファ（DP B ： Decoded Picture Buffer)とがそれぞれ定義さ れ、 エンコーダは、 これら CP Bおよび DP Bを破綻させないように 、 ビットストリーム （エレメン夕リストリーム） を生成しなければな らないとされている。 ビデオエンコーダ 1 1は、 発生される符号量が この規定を満たすように、 ビデオデータの符号化処理を制御する。 その際、 発生した符号量に基づき、 C P Bすなわちデコーダの入力 側のバッファに対する畜量情報を求め、 符号化で得られたエレメン夕 リストリームに所定に挿入することができる。 例えば、 NALュニッ トにおいて、 S P Sのォプションとされているコード bit— rate_scale 、 コー卜 cpb— size— scale、 コード biし rate— value_mirmsl、 コ一ド cpb —size— valuejninuslなどに、 バッファの畜量情報を記述することがで きる。 この畜量情報は、 ピクチャ毎に記述してもよいし、 GOP毎に 記述してもよい。
マルチプレクサ （MUX) 1 2は、 ビデオエンコーダ 1 1から出力 されたエレメン夕リストリームと、 図示されないオーディォェンコー ダから出力されたオーディォデータのエレメンタリストリームを所定 の方式で多重化し、 1本のデータストリームとして出力する。 MPE G 2システムズに準じて多重化が行われるこの例では、 MP E G 2の トランスポートストリームを用いて、 供給されたビデオデータのエレ メン夕リストリームと、 オーディオデータのエレメン夕リストリーム とを時分割で多重化する。
例えば、 マルチプレクサ 12は、 バッファメモリを有し、 供給され たエレメンタリストリームを一旦バッファメモリに格納する。 バッフ ァメモリに格納されたエレメン夕リストリームは、 所定サイズ毎に分 割されヘッダが付加されて、 P E S (Packetized Elementary Stream) パケット化される。 ヘッダには、 パケットに格納されるデータの再生 時刻を示す PTSゃ復号時刻を示す DTSといった、 MP EG 2シス テムズに規定される所定の情報が格納される。
PESパケットは、 さらに分割されてトランスポートパケット （T Sパケット） のペイロードに詰め込まれる。 TSパケットのヘッダに は、 ペイロードに詰め込まれたデータ種別などを識別するための P I D (Packet Identi f icat ion)が格納される。 TSパケットに対してさ らに所定データ長のヘッダが付加され、 ソースパケッ卜が形成される 。 マルチプレクサ 1 2は、 このソースパケットを連ねて 1本のデータ ストリームとして出力する。
マルチプレクサ 1 2から出力されたデータストリームは、 ストリー ムバッファ 1 3に一時的に格納される。 ストリームバッファ 1 3に対 するデータストリームの書き込みのタイミングと、 ストリームバッフ ァ 1 3からのデ一タストリームの読み出しのタイミングとをソ一スパ ケット単位で所定に制御することで、 記録媒体 2 0に対するアクセス 速度と、 オーディォおよびビデオデータのェンコ一ドの信号処理速度 との間の整合性がとられる。
ストリームバッファ 1 3から読み出されたソースパケットは、 デ一 タストリームとして記録処理部 1 4に供給される。 記録処理部 1 4は 、 供給されたデータに対してエラー訂正符号化処理および記録符号化 処理を施し、 得られたディジタルデータを所定に変調して記録媒体 2 0に記録する。 このとき、 記録処理部 1 4は、 制御部など上位からの 命令に基づき、 指定されたアドレスに対してデータを書き込む。
第 1 6図は、 この発明の実施の一形態に適用可能な編集装置 2の一 例の構成を示す。 この編集装置 2は、 例えば上述した記録装置 1で記 録媒体 2 0に記録されたストリームファイルに格納されるビデオスト リームを編集可能とされている。 すなわち、 編集装置 2は、 記録媒体 2 0に記録されたストリームファイルを再生してビデオストリームを 取り出し、 所定にデコードおよびエンコードを行って再び記録媒体 2 0に記録するようにされている。 なお、 編集装置 2は、 記録側の構成 として上述した記録装置 1と同様の構成を有するもので、 第 1 5図と 共通する部分には同一の符号を付し、 詳細な説明を省略する。
この編集装置 2の全体は、 図示されない制御部により、 プログラム に従い制御される。 制御部は、 C P U (Cent ral Proces s ing Uni t) , R O M (Read On ly Memory)および R A M (Random Acces s Memoryノを有 し、 R O Mに予め格納されるプログラムやデータに基づき、 R A Mを ワークメモリとして動作し、 編集装置 2の各部とコマンドゃステ一夕 ス、 データなどのやりとりを行い、 編集装置 2の動作を制御する。 ま た、 制御部上で動作するプログラムにより、 この編集装置 2で用いら れるファイルシステムが提供される。 例えば、 制御部は、 U I部 4 1 に対する所定の操作に応じて、 ファイルシステムにより記録媒体 2 0 に記録されたファイルにアクセスすることができるようにされている 再生処理部 3 0は、 記録媒体 2 0に記録されたデータの再生を制御 する。 すなわち、 再生処理部 3 0は、 制御部など上位からの命令に基 づき記録媒体 2 0の指定されたァドレスからデータの読み出しを行う 。 再生処理部 3 0は、 このデータの読み出しにより記録媒体 2 0から 再生された再生信号を復調して再生ディジタルデータとし、 再生ディ ジ夕ルデータの記録符号を復号化すると共にエラー訂正符号を復号し てエラー訂正を行い、 再生データストリームを得る。 この再生データ ストリームは、 ソースバケツトが連なって 1本のストリームをなして いるものである。
再生処理部 3 0から出力されたデータストリームは、 ストリームバ ッファ 3 1に一時的に格納される。 ストリームバッファ 3 1に対する デ一タストリームの書き込みのタイミングと、 ストリームバッファ 3 1からのデータストリームの読み出しのタイミングとをソースバケツ ト単位で所定に制御することで、 記録媒体 2 0に対するアクセス速度 と、 オーディオおよびビデオデータのデコードの信号処理速度との間 の整合性がとられる。
ストリームバッファ 3 1から読み出されたデータストリ一ムは、 デ マルチプレクサ （D E M U X) 3 2に供給される。 デマルチプレクサ 3 2は、 データストリームに所定に多重化されたビデオデ一タとォ一 ディォデ一夕とを分離してそれぞれ取り出す。 この例では、 デマルチ プレクサ 3 2は、 供給されたデ一夕ストリームからソースパケットを 抽出し、 抽出されたソースバケツトのヘッダを分離して T Sバケツト とする。 デマルチプレクサ 32は、 さらに、 TSパケットのへツタ^ ら P I Dを検出し、 TSパケットをペイロードに格納されるデータ種 別毎に振り分ける。 そして、 振り分けられた T Sパケットのそれぞれ について、 ペイロードに格納されたデータを取り出し、 PE Sパケッ トを再構築する。 さらに、 P E Sパケットのペイロードに格納された 圧縮ビデオデータや圧縮オーディォデータを取り出し、 PE Sヘッダ に格納された情報などに基づきへッダ情報などを付加し、 それぞれ 1 本のエレメンタリストリームとして出力する。
デマルチプレクサ 32から出力された、 オーディオデータのエレメ ン夕リストリームは、 図示されないオーディオ処理部に供給される。 デマルチプレクサ 32から出力された、 ビデオデータのエレメン夕 リストリームは、 ビデオデコーダ 33に供給される。 ビデオデコーダ 33は、 複数フレームのビデオデータを格納可能なバッファメモリを 有し、 供給された圧縮ビデオデータをバッファメモリに溜め込んで、 圧縮符号化方式に対応した復号化方式でデコードし、 ベースパンドの ディジ夕ルビデオデ一夕として出力する。
ビデオデータの圧縮符号化が H. 2 64 1 AVCに規定される方式 に準じて行われるこの例では、 ビデオデコーダ 33は、 H. 264 1 AVCに規定される方式に準じてデコード処理を行う。 すなわち、 ビ デォデコーダ 3 3は、 NALユニットを解析し、 圧縮符号化されたビ デォデータや S P S、 P P S、 S E Iなどの付加情報を NALュニッ トから取り出す。 ビデオデコーダ 33は、 NALユニットから取り出 した情報に基づき圧縮符号化されたビデオデータの復号化処理を行う ビデオデコーダ 3 3は、 後述するデマルチプレクサ （DEMUX) 32で抽出される、 DT S (Decoding Time Sta即）および P T S (Pres entation Time Stamp)で示される時刻に基づき、 デコードおよび出力 を行うことができる。 ビデオデコーダ 33でデコードされて得られた ベースバンドのディジタルビデオデータは、 端子 34から出力される 。 また、 この編集装置 2に映像表示を行うモニタ 3 5が接続されてい る場合には、 ビデオデコーダ 3 3から出力されたベースバンドのディ ジ夕ルビデオデータは、 モニタ 35にも供給される。 なお、 モニタ 3 5は、 ベースバンドのディジ夕ルビデオデータに対応しているものと する。
なお、 H. 264 1 AVC規格では、 適用可能な画像フォーマツト は極めて多岐にわたる。 AVCHDフォーマットは、 記録可能な記録 媒体に対する記録フォーマツトであって、 適用可能な画像フォーマツ トを、 ァスぺクト比が 1 6 ： 9で画枠サイズが 1 920ライン X 1 0 80画素の HD (High Defini t ion)フォーマットと、 ァスぺクト比が 4 ： 3で画枠サイズが 720ライン X480画素の S D (Standard De finition)フォーマットとに限定している。
ここで、 ビデオデータの圧縮符号化処理と、 圧縮符号化されたビデ ォデータの復号化処理とを比較した場合、 一般的には、 復号化処理の 負荷よりも圧縮符号化処理の負荷の方が遙かに大きいとされている。 そのため、 この実施の一形態による編集装置 2においては、 ビデオェ ンコーダ 1 1の機能を制限して例えばエンコード可能な画像フォーマ ットを HDフォーマットのみとしている。 一方、 比較的処理の負荷が 小さいビデオデコーダ 33は、 S Dフォーマツトおよび HDフォーマ ッ卜の両方に対応する。
U I部 41は、 ビデオデータの編集を行うために必要な様々な操作 子が設けられ、 操作子の操作に対応した制御信号を出力する。 エディ ット部 40は、 U I部 41から供給された制御信号に基づき図示され ない制御部とコマンドゃデ一夕のやりとりを行ってこの編集装置 2の 全体を制御し、 記録媒体 20に記録されるストリームファイルに格納 されるビデオストリームに対して編集処理を行う。 エディット部 40 は、 ハードディスクドライブ 42を有し、 編集処理を、 このハ一ドデ イスクドライブ 42を用いて行う。
ビデオエンコーダ 1 1は、 エディット部 40から供給されるビデオ データを H. 264 I AVCに規定される方式に準じて圧縮符号化す る。 すなわち、 第 1 5図を用いて説明した記録装置 1の場合と同様に してビデオデータを所定に圧縮符号化すると共に、 圧縮符号化された ビデオデータに基づき S P S、 PP S、 S E Iなどの付加情報を所定 に生成する。 このとき、 この編集装置 2のメーカ名を識別する識別情 報と、 機種や型番を識別する識別情報とを、 SE I"User Data Unreg istered SEI"のブロック MAKER & MODEL ID packOにおけるフィール ド maker— IDおよびフィールド makerjnodeし codeの値として生成し、 S E I "User Data Unregistered SEI"に追加する。 ビデオエンコーダ 1 1は、 圧縮符号化されたビデオデータや、 これら S P S、 P P S、 S E Iなどの付加情報から NALユニットを形成し、 H. 264 I AV Cエレメンタリストリ一ム （E S) として出力する。
マルチプレクサ 1 2は、 エディット部 40から供給されたエレメン 夕リストリームと、 図示されないオーディオエンコーダから出力され たオーディォデータのエレメンタリストリームを MP E G 2システム ズに準じた方式で多重化する。 すなわち、 マルチプレクサ 1 2は、 供 給されたエレメンタリストリームを所定サイズ毎に分割し、 PTSや DT Sなど所定の情報が格納されたヘッダを付加して P E S (Packet! zed Elementary Stream)パケット化する。 マルチプレクサ 1 2は、 P E Sパケットをさらに分割して T Sパケットペイロードに詰め込み、 P I Dを所定に生成してヘッダを付加する。 T Sパケットに対してさ らに所定データ長のヘッダを付加してソ一スバケツ卜を形成し、 ソー スパケットを連ねて 1本のデ一タストリームとして出力する。
マルチプレクサ 1 2から出力されたデ一タストリームは、 ストリー ムバッファ 1 3を介して記録処理部 1 4に供給され、 所定にエラー訂 正符号化および記録符号化され、 変調処理されて記録信号とされ、 記 録媒体 2 0に記録される。
この編集装置 2による編集処理について、 概略的に説明する。 一例 として、 第 8図 A、 第 8図 Bおよび第 8図 Cを用いて説明したような 、 1のストリームファイルに格納されるビデオストリームに対して編 集点 Aおよび編集点 Bを指定して編集を行う場合について説明する。 ユーザは、 U I部 4 1に対して所定の操作を行い、 記録媒体 2 0に記 録されるストリームファイルのうち編集対象とするファイルを指定す る。 エディット部 4 0は、 U I部 4 1から出力される制御信号に基づ き編集対象のストリ一ムフアイルを記録媒体 2 0から読み出すように 制御する。 ストリームファイルは、 記録媒体 2 0から読み出されると 、 エレメン夕リストリームが抽出され、 この抽出されたエレメンタリ ストリームがハ一ドディスクドライブ 4 2に書き込まれる。
例えば、 記録媒体 2 0から読み出されたストリームファイルは、 再 生処理部 3 0およびストリームバッファ 3 1を介してデマルチプレク サ 3 2に供給されて、 パケット構造が分解され、 ヘッダ情報が抜き出 されると共にペイロードのデータが取り出されてエレメン夕リス卜リ ームが再構築される。 このエレメン夕リストリームがエディット部 4 0に供給され、 ハードディスクドライブ 4 2に書き込まれる。
U I部 4 1に対する所定の操作に応じて、 ハードディスクドライブ 4 2からエレメンタリストリームが読み出され、 ビデオデコーダ 3 3 に供給されベースバンドのディジタルビデオデータと ci 4し 。 J イジタルビデオデータは、 モニタ 3 5に供給され映出される。 ユーザ は、 モニタ 35に映出された映像を見ながら U I部 41を操作して、 編集点 Aおよび編集点 Bを指定する。 編集点 Aおよび編集点 Bの指定 は、 例えばフレーム番号やタイムコードなどによりなされる。 編集点 Aおよび編集点 Bの情報は、 U I部 41からエディッ卜部 40に供給 され、 保持される。 そして、 U I部 41に対して例えば編集実行を指 示する操作を行うと、 エディット部 40は、 U I部 41からの制御信 号に基づき、 編集処理を開始する。
すなわち、 第 9図を用いて既に説明したように、 ハードディスクド ライブ 42に書き込まれたエレメンタリストリームがビデオデコーダ 33に供給される。 ビデオデコーダ 33は、 供給されたエレメンタリ ストリームの NALュニットを解析し、 S E I "User Data Unregiste red SEI"を抽出する。 抽出された S E I "User Data Unregistered SE I "は、 エディット部 40に供給される。
エディット部 40は、 供給された S E I "User Data Unregistered SEI"から、 'このファイルを記録した記録装置の情報を示すデータ modi f ied— dv— packを含むブロック Modif iedDVPackMetaOが検索され、 さら に、 ブロック ModifiedDVPackMetaOから、 フィールド即 d— idの値に基 づきブロック MAKER & MODEL ID packOが検索される （第 9図のステ ップ S 1 0) 。 エディット部 40は、 検索されたブロック MAKER & M0 DEL ID packOに格納されるフィールド maker_IDと、 フィールド maker 一 modeし codeとに基づき、 第 9図のステップ S 1 1による、 同じ属性 でエンコードできる機種のデータが存在するか否かの判断を行う。 なお、 この編集装置 2と同じ属性でエンコードできる機種の情報は 、 制御部が有する図示されない ROMや、 エディット部 40に接続さ れるハードディスクドライブ 42などに予め記憶されているものとす る。 また、 編集対象のストリームファイルにおける S E I "User Data Unregistered SEI"の情報は、 編集点 Aおよび編集点 Bを指定するた めに当該ストリームファイルを再生する際に取得し、 エディット部 4 0に保持していてもよい。
同じ属性でエンコードできる機種のデ一夕が存在すると判断されれ ば、 第 9図のステップ S 1 2による、 必要最小区間のみを再ェンコ一 ドする手法を用いて編集処理が行われる。
一例として、 第 1 0図 A、 第 1 0図 Bおよび第 1 0図 Cを用いて説 明したように、 エディット部 40は、 ハードディスクドライブ 42に 書き込まれたエレメンタリストリ一ムから、 編集点 Aを含む GO P井 3と、 GOP # 3の直前の GOP # 2とを読み出す。 例えば、 エディ ット部 40は、 エレメンタリストリームの NALュニットを所定に解 析しながら GOPの位置を検出し、 所望の GOPを読み出す。 読み出 された GOP # 2および GOP # 3は、 ビデオデコーダ 3 3に供給さ れ、 デコードされる。 デコードされたデ一夕は、 エディット部 40に 供給され、 ハードディスクドライブ 42に書き込まれる。 エディット 部 40が有する図示されない RAMに書き込んでもよい。 エディット 部 40は、 ハードディスクドライブ 42に書き込まれた、 デコ一ド済 みの GOP # 3について、 編集点 A以降を削除する。
同様に、 エディット部 40は、 ハードディスクドライブ 42に書き 込まれたエレメン夕リストリームの、 編集点 Bを含む GOP # 7と、 GOP # 7直後の GO P # 8とを読み出す。 読み出された GO P # Ί および GOP # 8は、 ビデオデコーダ 3 3に供給され、 デコードされ る。 デコードされたデータは、 エディット部 40に供給され、 ハード ディスクドライブ 42などに書き込まれる。 エディット部 40は、 ハ ードディスクドライブ 4 2に書き込まれた、 デコード済みの GO P # 7について、 先頭から編集点 Bまでを削除する。
次に、 エディット部 40は、 編集点 A以降が削除された GOP # 3 と、 先頭から編集点 Bまでが削除された GOP # 7とを接続し、 新た な GOPである GOP # 3 + 7を作成する。 GOPの接続の際に、 接 続された GO Pに含まれるピクチャ数が所定数にならないときは、 ピ クチャの補間や間引きなどを行い、 ピクチャ数が所定数になるように する。
エディット部 40は、 ハードディスクドライブ 42に書き込まれて いる GOP # 2、 GO P # 3 + 7および GO P # 8をビデオェンコ一 ダ 1 1に供給し、 再エンコードする。 再エンコードされた GOP # 2 、 GOP # 3 + 7および GOP # 8は、 ハードディスクドライブ 42 に書き込まれる。 このとき、 ハードディスクドライブ 42に最初に書 き込まれた、 デコード前の GOP # 2を、 再エンコードされハードデ イスクドライブ 42に書き込まれた G〇P # 2に上書きすることがで きる。 エディット部 40は、 ハードディスクドライブ 42に書き込ま れた GOP# l、 GO P # 2、 GOP# 3 + 7、 GOP# 8および G OP# 9を順次、 連続的に読み出すことで、 1本のエレメンタリスト リームを出力させることができる。
なお、 編集対象のエレメンタリストリ一ムに上述したバッファの畜 量情報が記述されている場合には、 エディット部 40は、 この畜量情 報に基づき発生符号量を所定に制御して、 GOPのェンコ一ドを行う 。 例えば、 編集点 Aが含まれる G〇P # 3の直前の GOP # 2、 編集 点 Aを含む GO P # 3、 編集点 Bを含む GOP # 7および G〇P # 7 直後の GOP # 8について NALュニットを解析してバッファの畜量 情報を取得し、 取得された畜量情報に基づき、 各 GO Pがシームレス に接続されて再生可能なように、 エンコード処理が行わ 。
一方、 第 9図のステップ S 1 1において、 S E I " User Dat a Unreg i s tered SEI"内のブロック Mod i f i edDVPackMet a Oにおけるブロック MA KER & MODEL ID pack Oの情報に基づき、 同じ属性でエンコードでき る機種のデータが存在しないと判断されれば、 第 9図のステップ S 1 3による、 編集対象のビデオストリームの全区間を再エンコードする 手法を用いて編集処理が行われる。
一例として、 第 1 1図 Aおよび第 1 1図 Bを用いて説明したように 、 エディット部 4 0は、 ハードディスクドライブ 4 2に書き込まれた エレメンタリストリームを読み出して、 ビデオデコーダ 3 3に供給す る。 ビデオデコーダ 3 3は、 供給されたエレメンタリストリームを全 てデコードする。 デコードされたデータは、 エディット部 4 0に供給 され、 ハードディスクドライブ 4 2に供給される。
エディット部 4 0は、 デコードされたビデオデータに対し、 編集点 Aから編集点 Bまでの間をフレーム単位で削除して編集点 Aおよび編 集点 Bを接続する。 このとき、 エディット部 4 0は、 編集点 Aおよび 編集点 Bの接続の際に、 接続部を含む G O Pに含まれるピクチャ数が 所定数にならないときは、 ピクチャの補間や間引きなどを行い、 G O P内のピクチャ数が所定数となるようにする。
編集点 Aおよび編集点 Bが接続されたビデオデータは、 ビデオェン コーダ 1 1に供給される。 ビデオエンコーダ 1 1は、 供給されたビデ ォデータを全長にわたって再エンコードして 1本のエレメン夕リスト リームとして出力する。 このエレメンタリストリームは、 エディット 部 4 0に供給され、 ハードディスクドライブ 4 2に書き込まれる。 ハ ードディスクドライブ 4 2に書き込まれたこのデータは、 ハードディ スクドライブ 4 2から読み出してマルチプレクサ 1 2、 ストリームバ ッファ 1 3および記録処理部 1 4でそれぞれ所定に処理して記録媒体 2 0に書き込んでもよいし、 図示されない外部ィン夕ーフェイスを介 して外部に出力してもよい。
なお、 2つのストリームファイルに対して編集点 Aおよび編集点 B をそれぞれ設定して編集して 1本のデータストリームを得る場合の処 理も、 上述の 1のストリームファイルに対して編集点 Aおよび編集点 Bをそれぞれ設定して編集処理を行う場合と同様の処理となるため、 説明を省略する。
上述では、 編集装置 2は、 記録媒体 2 0を再生し、 記録媒体 2 0に 記録されたストリームファイルに格納されたデータストリームに対し て編集を行うように説明したが、 これはこの例に限定されない。 すな わち、 編集装置 2は、 外部から供給されたビデオデータを編集するよ うにしてもよい。
ビデオデータが H . 2 6 4 1 A V Cのエレメン夕リストリームの形 式で外部から供給される場合には、 例えば、 外部から供給されたエレ メンタリストリームがエディット部 4 0に入力され、 ハードディスク ドライブ 4 2に書き込まれる。 そして、 第 9図を用いて説明した手順 でデータストリームに埋め込まれたメーカ情報および機種または型番 情報に基づき判断処理を行い、 判断結果に応じて、 必要最小区間のみ を再エンコードする手法、 あるいは、 編集対象のビデオストリームの 全区間を再ェンコ一ドする手法の何れかにより、 編集処理を行う、 また、 ビデオデータがソースバケツ卜が連なるデータストリームの 形式や、 M P E G 2システムズによるトランスポートストリームの形 式で外部から供給される場合には、 例えば、 外部から供給されたデー 夕ストリームがデマルチプレクサ 3 2に入力され、 パケット構造が分 解され、 へッダ情報が抜き出されると共にペイロードのデータが取り 出されてエレメンタリス卜リームが再構築される。 このエレメンタリ ストリームがエディット部 40に供給され、 ハードディスクドライブ
42に書き込まれる。 以降の処理は、 上述と同様である。
上述の第 1 6図では、 この発明の実施の一形態による編集処理を行 う編集装置 2が専用的な八一ドウエアとして構成されているように説 明したが、 これはこの例に限られず、 例えば、 パーソナルコンビユー 夕といったコンピュータ装置で編集装置を構成することも可能である 第 17図は、 一般的なコンピュータ装置 3の一例の構成を概略的に 示す。 バス 50に対して CPU 51、 ROM 52および RAM 53が 接続される。 CPU 51は、 ROM 52や後述するハードディスクド ライブ 60に格納されたプログラムやデータに従い、 RAM 53をヮ ークメモリとして用い、 バス 50を介して各部と通信を行いながら、 このコンピュータ装置 3における各部の動作を制御する。
バス 50には、 また、 グラフィクス処理部 54および通信インタ一 フェイス （通信 IZF) 55が接続される。 グラフィクス処理部 54 には、 モニタ 54 Aが接続され、 CPU 51から供給された表示制御 信号を映像信号に変換してモニタ 54 Aに供給し、 モニタ 54 Aに対 して所定の画像を映出させることができる。 また、 通信 I/F 55は 、 例えばインタ一ネットや L AN (Local Area Network)といったネッ トワークと接続され、 CPU 55の命令に基づき、 ネットワークを介 してこのコンピュータ装置 3と外部との通信を制御する。
バス 50に対して、 さらに、 入力インターフェイス （入力 IZF)
56、 ビデオインターフェイス （ビデオ IZF) 57、 ドライブ装置 58およびハードディスクドライブ 60が接続される。
入力 I ZF 56には、 例えばマウス 56 Aなどのボインティングデ パイスや、 キーポ一ド 56 Bといったキャラクタ入力デバイスといつ た、 ユーザによる入力を受け付ける入力デバイスが接続される。 入力 I ZF 56に接続される入力デバイスは、 これらの例に限らず、 回転 角に応じた制御信号が出力される口一タリエンコーダや、 スティック を倒した方向や度合いに応じて制御信号を出力するジョイスティック 、 平面上の位置を指定することで値を出力する夕ブレットなど、 様々 に考えられる。
データ I ZF 5 7は、 このコンピュータ装置 3と外部の機器との間 でディジタルデータのやりとりを行うためのィンターフェイスであつ て、 例えば US B (Universal Serial Bus)や I EEE 1 3 94 (Insti tute Electrical and Electronics Engineers 1394)といったインタ —フェイスが適用可能である。 インターフェイスが対応する外部機器 が入出力端 5 7 Aに接続されると、 外部機器とデ一夕 I ZF 57との 間でィンターフェイスのプロトコルに従ってやりとりがなされ、 外部 機器とコンピュータ装置 3との間でデータ通信可能な状態とされる。
ドライブ装置 58は、 例えばディスク状記録媒体に対応し、 装填さ れた記録可能なタイプの記録媒体に対するデータの書き込みや、 記録 媒体からのデータの読み出しを行うことができる。 記録可能なタイプ の記録媒体は、 例えば記録可能なタイプの DVDを適用可能である。 これに限らず、 ドライブ装置 58は、 記録可能なタイプの CD (Compa ct Disc)や B l u— r a y D i s cに対応可能としてもよい。 さら に、 ドライブ装置 58は、 記録可能なタイプの記録媒体のみならず、 再生専用の記録媒体、 例えば DVD— R〇M、 CD— ROM (Co即 act Disc-Read Only Memory)からデータを読み出すことができる。 また 、 ドライブ装置 58は、 ディスク状記録媒体に対応可能であるのに限 られず、 例えばフラッシュメモリなどの半導体メモリを記録媒体 5 9 として対応してもよい。
ハ一ドディスクドライブ 60は、 上述したように、 CPU5 1で用 いるプログラムやデータが格納される。 勿論、 パス 5 0を介して供給 された他のデ一夕の書き込みおよび読み出しを行うことができる。 このようなコンピュータ装置 3に対して、 この発明の実施の一形態 による編集方法を実行するための編集プログラムを搭載させることで 、 このコンピュータ装置 3を AVCHDフォーマツトに対応したビデ ォストリームの編集装置として作動させることができる。 すなわち、 この編集プログラムにより、 第 1 6図を用いて説明した編集装置 2に おけるビデオエンコーダ 1 1、 マルチプレクサ 1 2、 デマルチプレク サ 32、 ビデオデコーダ 33およびエディット部 40の機能が CPU 5 1により実現される。 なお、 ビデオエンコーダ 1 1は、 処理の負荷 が大きいので、 バス 50に接続され CPU 5 1に制御される個別のハ 一ドウエアとしてもよい。
編集プログラムは、 例えば CD— ROMや DVD— ROMといった 記録媒体に記録されて提供される。 一例として、 編集プログラムが D VD— ROMに記録されている場合、 当該 DVD— ROMがドライブ 装置 58に装填されると、 例えば、 CPU 5 1の制御に基づき、 ドラ イブ装置 58により装填された DVD—； OMに記録された、 編集プ ログラムが格納されたプログラムファイルが読み出される。 編集プロ グラムは、 プログラムファイルから読み出され、 CPU 5 1により所 定に展開されてハードディスクドライブ 60に書き込まれると共に、 システムに登録され、 このコンピュータ装置 3上で実行可能な状態と される。
なお、 コンピュータ装置 3に対して編集プログラムを提供する方法 は、 記録媒体を介する方法に限られない。 例えば、 ネットワークに接 続されたサーバ上に当該プログラムファイルを用意しておき、 サーバ からネットワークを介して通信 I / F 5 5で取得するようにしてもよ レ^ また、 データ I / F 5 7を介してプログラムファイルを受け取る ようにもできる。
このように編集プログラムが実行可能に搭載されたコンピュータ装 置 3で、 この発明の実施の一形態による編集方法を実行する際の一例 の処理について、 概略的に説明する。 例えば、 第 1 5図で示した記録 装置 1でストリームファイルが記録された記録媒体 2 0をドライブ 5 8に装填し、 記録媒体 2 0に記録されたストリームファイルに対して 編集を行う。
ストリームファイルが記録された記録媒体 2 0がドライブ装置 5 8 に装填され、 ユーザにより入力 I Z F 5 6に接続された入力デバイス を用いて、 記録媒体 2 0に記録されたストリームファイルの編集が指 示される。
C P U 5 1は、 記録媒体 2 0に記録されたストリームファイルをハ ードディスクドライブ 6 0にコピ一するように制御する。 C P U 5 1 は、 ハードディスクドライブ 6 0に書き込まれたストリームファイル を読み込み、 R AM 5 3をワークメモリとして用いてバケツトを分解 し、 各パケットのヘッダから所定の情報を収集すると共に、 ビデオお よびオーディオのエレメンタリストリ一ムを再構築する。 エレメン夕 リストリームは、 ハードディスクドライブ 6 0に書き込まれる。 なお 、 以下では、 ビデオデータのエレメンタリストリームについて、 説明 を行う。
C P U 5 1は、 ハードディスクドライブ 6 0に書き込まれたエレメ ン夕リストリームを読み込んでデコードし、 ベースバンドのビデオデ 一夕を得る。 このベースバンドのビデオデ一夕は、 グラフィクス処理 部 54に供給され、 映像信号に変換され、 モニタ 54 Aに吠 me 4 LO 。 ユーザは、 モニタ 54 Aに映出された映像を見ながら入力 I /F 5 6に接続された入力デバイスを操作して、 編集点 Aおよび編集点 Bを 、 フレーム番号やタイムコードなどで指定する。 編集点 Aおよび編集 点 Bの情報は、 例えば R A M 53に保持される。
入力デバイスを用いて編集実行が指示されると、 CPU 5 1は、 ハ ードディスクドライブ 60に書き込まれたエレメンタリストリームに 対して編集処理を開始する。 すなわち、 第 9図を用いて既に説明した ように、 CPU 5 1は、 ハードディスクドライブ 60に書き込まれた エレメンタリストリ一ムの NALユニットを解析し、 S E 'User Da ta Unregistered SEI"を抽出する。 そして、 抽出された S E I"User Data Unregistered SEI"から、 記録媒体 20に編集対象のエレメン夕 リストリームが格納されたファイルを記録した記録装置の情報を示す データ modified_dv_packを含むブロック Modi f iedDVPackMetaOが検索 され、 さらに、 ブロック ModifiedDVPackMetaOから、 フィールド nipd— idの値に基づきブロック MAKER MODEL ID pack 0が検索される （第 9図のステップ S 1 0) 。
なお、 編集対象のストリームファイルにおける S E I "User Data U nregistered SEI"の情報は、 編集点 Aおよび編集点 Bを指定するため に当該ストリームファイルを再生する際に取得し、 RAM 53に保持 していてもよい。
CPU 5 1は、 検索されたブロック MAKER & MODEL ID pack 0に格 納されるフィールド maker— IDと、 フィールド makerjnodeし codeとに基 づき、 第 9図のステップ S 1 1による、 同じ属性でエンコードできる 機種のデータが存在するか否かの判断を行う。
なお、 このコンピュータ装置 3に搭載される編集プログラムと同じ 属性でエンコードできる機種の情報は、 例えば当該編集プログラムが 格納されるプログラムファイルに、 編集プログラムと共に格納される 。 これに限らず、 別のファイルとして当該プログラムファイルが記録 される記録媒体に記録されて提供されてもよいし、 ネットワークに接 続された外部のサーバなどからネットワークを介して提供されてもよ い。
同じ属性でエンコードできる機種のデータが存在すると判断されれ ば、 第 9図のステップ S 1 2による、 必要最小区間のみを再ェンコ一 ドする手法を用いて編集処理が行われる。
一例として、 第 10図 A、 第 1 0図 Bおよび第 1 0図 Cを用いて説 明したように CPU 5 1は、 ハードディスクドライブ 60に書き込ま れたエレメン夕リストリ一ムから、 編集点 Aを含む GOP # 3と、 G 〇P # 3の直前の GOP # 2とを読み出す。 例えば、 エディット部 4 0は、 エレメンタリストリームの N A Lュニットを所定に解析しなが ら GOPの位置を検出し、 所望の GOPを読み出す。 CPU 5 1は、 読み出された GOP # 2および GOP # 3をデコ一ドし、 ハードディ スクドライブ 60または RAM 53に書き込む。 CPU 5 1は、 ハー ドディスクドライブ 60または RAM 53に書き込まれた、 デコード 済みの GOP# 3について、 編集点 A以降を削除する。 同様に、 CP U5 1は、 ハードディスクドライブ 60に書き込まれたエレメンタリ ストリームの、 編集点 Bを含む GOP # 7と、 GOP # 7直後の GO P # 8とを読み出してデコードし、 ハードディスクドライブ 60また は RAM 53に書き込む。 CPU 5 1は、 ハードディスクドライブ 6 0または RAM 5 3に書き込まれた、 デコード済みの GO P # 7につ いて、 先頭から編集点 Bまでを削除する。
次に、 CPU 5 1は、 ハードディスクドライブ 60上または RAM 53上で、 編集点 A以降が削除された GOP# 3と、 先頭から編集点 Bまでが削除された GO P # 7とを接続し、 新たな GO Pである GO P # 3 + 7を作成する。 GOPの接続の際に、 接続された GOPに含 まれるピクチャ数が所定数にならないときは、 ピクチャの補間や間引 きなどを行い、 ピクチャ数が所定数になるようにする。
C PU 5 1は、 ハ一ドディスクドライブ 60または RAM 53に書 き込まれている GO P # 2、 GOP# 3 + 7および GOP # 8を再ェ ンコードし、 ハードディスクドライブ 60に書き込む。 このとき、 ハ 一ドディスクドライブ 60または RAM 53に最初に書き込まれた、 デコード前の GO P # 2を、 再エンコードされハードディスクドライ ブ 60に書き込まれた GOP # 2に上書きすることができる。 CPU 5 1は、 再エンコードされハードディスクドライブ 60に書き込まれ た GOP# l、 GOP# 2、 GOP # 3 + 7、 GOP# 8および GO P# 9を順次、 連続的に読み出すことで、 1本のエレメンタリストリ —ムを出力させることができる。
なお、 編集対象のエレメン夕リストリームに上述したバッファの畜 量情報が記述されている場合には、 CPU 5 1は、 この畜量情報に基 づき発生符号量を所定に制御して、 GO Pのエンコードを行う。
一方、 第 9図のステップ S 1 1において、 S E I "User Data Unreg istered SEI"内のブロック Modi fiedDVPackMetaOにおけるブロック MA KER δ MODEL ID packOの情報に基づき、 同じ属性でエンコードでき る機種のデータが存在しないと判断されれば、 第 9図のステップ S 1 3による、 編集対象のビデオストリームの全区間を再ェンコ一ドする 手法を用いて編集処理が行われる。
一例として、 第 1 1図 Aおよび第 1 1図 Bを用いて説明したように 、 CPU 5 1は、 ハードディスクドライブ 60に書き込まれたエレメ ン夕リストリームを読み出してデコードする。 デコ一 こ:^ "―ッ は、 ハードディスクドライブ 60に書き込まれる。 RAM 5 3の容量 が十分大きければ、 デコードされたデータを RAM 5 3に書き込むよ うにしてもよい。
CPU 5 1は、 デコードされたビデオデータに対し、 編集点 Aから 編集点 Bまでの間をフレーム単位で削除して編集点 Aおよび編集点 B を接続する。 このとき、 CPU 5 1は、 編集点 Aおよび編集点 Bの接 続の際に、 接続部を含む GO Pに含まれるピクチャ数が所定数になら ないときは、 ピクチャの補間や間引きなどを行い、 GO P内のピクチ ャ数が所定数となるようにする。 CPU5 1は、 編集点 Aおよび編集 点 Bが接続されたビデオデータを全長にわたって再エンコードして 1 本のエレメンタリストリームを生成する。 このエレメン夕リストリー ムは、 ハードディスクドライブ 60に書き込まれる。
なお、 2つのストリームファイルに対して編集点 Aおよび編集点 B をそれぞれ設定して編集して 1本のデータストリームを得る場合の処 理も、 上述の 1のストリームファイルに対して編集点 Aおよび編集点 Bをそれぞれ設定して編集処理を行う場合と同様の処理となるため、 説明を省略する。
編集処理が終了してハードディスクドライブ 60に書き込まれたェ レメン夕リストリームは、 CPU 5 1により、 PE Sパケット化、 T Sパケット化およびソースパケット化され、 MP E G 2システムズの トランスポートストリームとされる。 このデ一タストリームは、 ドラ イブ装置 58に供給され、 記録媒体に記録される。
編集結果のエレメン夕リストリームは、 ドライブ装置 58に装填さ れている記録媒体に書き込むのに限らず、 例えばハードディスクドラ イブ 60に蓄積的に保持していてもよい。 また、 当該エレメンタリス トリームをハードディスクドライブ 6 0から読み出して、 データ I / F 5 7を介して外部機器に対して出力するようにもできる。 通信 1 / F 5 5からネットワークを介して外部に送信することもできる。 また 、 編集結果のエレメン夕リストリームを所定にパケット化してトラン スポートストリームとして、 ハードディスクドライブ 6 0への蓄積、 データ I Z F 5 7を介しての外部機器への出力、 通信 I F 5 5から ネットワークを介しての外部への送信を行ってもよい。
また、 編集対象のビデオデータは、 ドライブ装置 5 8に装填された 記録媒体から読み出されるのに限らず、 外部から供給されたビデオデ 一夕を編集対象とすることもできる。 例えば、 編集対象のビデオデー 夕を入出力端 5 7 Aから入力し、 デ一夕 I Z F 5 7を介してハードデ イスクドライブ 6 0に書き込む。 C P U 5 1は、 上述と同様にして、 ハードディスクドライブ 6 0に書き込まれたビデオデータに対して編 集処理を行う。
なお、 上述では、 編集時のデコード処理において、 ビデオデコーダ 3 3が入力されたエレメンタリストリームをデコード可能であるとし て説明したが、 これはこの例に限定されない。 すなわち、 ビデオデコ ーダ 3 3は、 フォ一マツトに規定される全てのストリームをデコード できるとは限らない。 そのため、 例えば第 9図のステップ S 1 1にお ける同じ属性でエンコードできる機種のデータが存在するか否かの判 断の結果、 データが存在しないとされた場合には、 ビデオデコーダ 3 3に入力されるエレメンタリストリームをビデオデコーダ 3 3がデコ 一ドできない可能性もあり得る。
この場合には、 以下に示す 2つの方法のうち、 何れかを行うことが 考えられる。 第 1の方法は、 第 9図のステップ S 1 1における同じ属 性でェンコ一ドできる機種のデータが存在するか否かの判断の結果、 データが存在しないとされた場合でも、 上述したように、 当該エレメ ン夕リストリームをビデオデコーダ 3 3に入力してデコード処理を行 い、 ビデオデコーダ 3 3においてエラーが発生したらデコード失敗と する方法である。 この場合には、 デコードできなかった旨を、 所定の 表示手段などを用いて通知すると、 好ましい。
第 2の方法は、 当該エレメン夕リストリームの属性情報を用いる方 法である。 例えば、 A V C H Dフォーマットにおいては、 当該エレメ ン夕リストリームがパケット化されたビデオストリームが格納される ストリームファイルに対して、 当該ビデオストリームの属性を示す属 性情報が格納された属性情報ファイルを作成し、 当該ストリームファ ィルが記録される記録媒体に、 この属性情報ファイルを共に記録する ようにされている。 この属性情報ファイルには、 対 'るストリーム の本数や、 対応するストリームのそれぞれに対する符号化に関するパ ラメ一夕が記述されている。
そこで、 編集時のデコードの際にこの属性情報ファイルを参照して 符号化に関するパラメ一夕を抽出し、 対応可能か否かを判断する。 対 応不可であると判断されたら、 デコード処理を中止する。 このとき、 例えばその旨を所定の表示手段などを用いて警告すると好ましい。 一 方、 パラメータに基づき対応可能であると判断されたら、 当該エレメ ンタリストリームをビデオデコーダ 3 3に入力し、 デコードを開始す る。 デコード開始後は、 上述の第 1の方法と同様に、 ビデオデコーダ 3 3においてエラーが発生したらデコード失敗とする。

Claims

請 求 の 範 囲
1 . フレーム間圧縮を用いて圧縮符号化されたビデオデータを編集す る編集装置において、
フレーム間圧縮を用いて圧縮符号化されたビデオデータからなるデ 一夕ストリームが入力される入力部と、
上記デ一タストリームに埋め込まれた、 該データストリームを生成 した装置を識別する識別情報を該データストリームから抽出する抽出 部と、
上記データストリームをデコードするデコード部と、
ビデオデータをフレーム間圧縮を用いた圧縮符号化により、 所定の 属性で以てェンコ一ドするェンコ一ド部と、
上記データストリームに対して設定された編集点に基づき、 該デー タストリ一ムに対して上記デコードおよび上記エンコードを行い該デ 一夕ストリームを編集するようにした編集部と
を備え、
上記編集部は、
上記抽出部で上記ストリームデータから抽出された上記識別情報が 、 上記ェンコ一ド部による上記エンコードの際の上記所定の属性と同 一の属性でェンコ一ド可能な装置を示しているか否かを判断し、 示し ていると判断したら、 上記編集点を含む所定区間を上記デコードおよ び上記ェンコ一ドすることで編集を行う
ことを特徴とする編集装置。
2 . 請求の範囲 1に記載の編集装置において、
上記編集部は、 上記抽出部で上記ストリ一ムデータから抽出された 上記識別情報が、 上記エンコード部による上記エンコードの際の上記 所定の属性と同一の属性でェンコ一ド可能な装置を示していないと判 断したら、 上記デ一タストリームの全体を上記デコードおよび上記ェ ンコードすることで編集を行う
ことを特徴とする編集装置。
3 . 請求の範囲 1に記載の編集装置において、
上記識別情報は、 上記装置のメーカを識別する情報と、 上記装置の 機種または型番を識別する情報とからなる
ことを特徴とする編集装置。
4 . 請求の範囲 1に記載の編集装置において、
上記属性は、 上記ビデオデータの画枠サイズ、 アスペクト比、 フレ ームレート、 フレーム構造およびクローズドキャプション情報の有無 を含む
ことを特徴とする編集装置。
5 . 請求の範囲 1に記載の編集装置において、
上記抽出部は、 上記ストリームデータに埋め込まれた、 該ストリ一 ムデータをデコードする際のバッファ畜量情報をさらに抽出し、 上記 エンコード部は、 上記抽出部で抽出された該バッファ畜量情報に基づ き上記ェンコードを行うようにした
ことを特徴とする編集装置。
6 . フレーム間圧縮を用いて圧縮符号化されたビデオデータを編集す る編集方法において、
フレーム間圧縮を用いて圧縮符号化されたビデオデ一夕からなるデ 一タストリームに埋め込まれた、 該データストリ一ムを生成した装置 を識別する識別情報を該データストリームから抽出する抽出のステツ プと、
上記データストリームをデコードするデコードのステップと、 ビデオデータをフレーム間圧縮を用いた圧縮符号化により、 所定の 属性で以てェンコ一ドするエンコードのステップと、 上記データストリームに対して設定された編集点に基づき、 該デー タス卜リ一ムに対して上記デコ一ドおよび上記エンコードを行い該デ 一夕ストリームを編集するようにした編集のステップと
を備え、
上記編集のステップは、
上記抽出部で上記ストリームデータから抽出された上記識別情報が 、 上記ェンコ一ドのステップによる上記エンコードの際の上記所定の 属性と同一の属性でエンコード可能な装置を示しているか否かを判断 し、 示していると判断したら、 上記編集点を含む所定区間を上記デコ ―ドおよび上記ェンコ一ドすることで編集を行う
ことを特徴とする編集方法。
7 . フレーム間圧縮を用いて圧縮符号化されたビデオデータを編集す る編集方法をコンピュータ装置に実行させる編集プログラムにおいて 、
上記編集方法は、
フレーム間圧縮を用いて圧縮符号化されたビデオデータからなるデ 一タストリームに埋め込まれた、 該データストリームを生成した装置 を識別する識別情報を該データストリームから抽出する抽出のステツ プと、
上記データストリームをデコードするデコードのステップと、 ビデオデータをフレーム間圧縮を用いた圧縮符号化により、 所定の 属性で以てエンコードするエンコードのステップと、
上記データストリームに対して設定された編集点に基づき、 該デー タストリ一ムに対して上記デコードおよび上記ェンコ一ドを行い該デ 一タストリームを編集するようにした編集のステップと を備え、
上記編集のステップは、
上記抽出部で上記ストリームデータから抽出された上記識別情報が 、 上記エンコードのステップによる上記エンコードの際の上記所定の 属性と同一の属性でェンコ一ド可能な装置を示しているか否かを判断 し、 示していると判断したら、 上記編集点を含む所定区間を上記デコ 一ドおよび上記エンコードすることで編集を行う
ことを特徴とする編集プログラム。
8 . ビデオデ一夕をフレーム間圧縮を用いて圧縮符号化して記録媒体 に記録し、 記録媒体から再生されたフレーム間圧縮を用いて圧縮符号 化されたビデオデータを編集する編集システムにおいて、
ビデオデ一タをフレーム間圧縮を用いた圧縮符号化により所定の属 性で以てェンコ一ドしてデ一タストリームとして出力する第 1のェン コード部と、
上記第 1のエンコード部から出力された上記データストリームをス トリームファイルとして記録媒体に記録する記録部と
を備え、
上記データストリームに対して装置自体を識別する識別情報を埋め 込んで上記記録媒体に記録する
ようにした記録装置と、
上記記録媒体に記録された上記ストリームファイルを読み出して上 記データストリームを取り出す再生部と、
上記データストリームから上記識別情報を抽出する抽出部と、 上記データストリームをデコードするデコード部と、
ビデオデータをフレーム間圧縮を用いた圧縮符号化により、 上記所 定の属性で以てエンコードする第 2のェンコ一ド部と、 上記デ一夕ストリームに対して設定された編集点に基づき、 該デー タス卜リームに対して上記デコードおよび上記ェンコードを行い該デ 一夕ストリームを編集するようにした編集部と
を備え、
上記編集部は、
上記抽出部で上記ストリームデータから抽出された上記識別情報が
、 上記第 2のエンコード部による上記エンコードの際の上記所定の属 性と同一の属性でエンコード可能な装置を示しているか否かを判断し 、 示していると判断したら、 上記編集点を含む所定区間を上記デコー ドおよび上記ェンコ一ドすることで編集を行う
ようにした編集装置と
を有する
ことを特徴とする編集システム。
PCT/JP2007/065882 2006-08-10 2007-08-08 Edition device, edition method, edition program, and edition system WO2008018618A1 (en)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP20070792522 EP2051528B1 (en) 2006-08-10 2007-08-08 Edition device, edition method, edition program, and edition system
KR1020087008330A KR101323472B1 (ko) 2006-08-10 2007-08-08 편집 장치, 편집 방법, 편집 프로그램이 기록된 기록 매체 및 편집 시스템
CN2007800011466A CN101356826B (zh) 2006-08-10 2007-08-08 编辑装置、编辑方法及编辑系统
US12/083,180 US8189665B2 (en) 2006-08-10 2007-09-08 Editing apparatus, editing method, editing program, and editing system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2006219002A JP4737003B2 (ja) 2006-08-10 2006-08-10 編集装置、編集方法、編集プログラムおよび編集システム
JP2006-219002 2006-08-10

Publications (1)

Publication Number Publication Date
WO2008018618A1 true WO2008018618A1 (en) 2008-02-14

Family

ID=39033138

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2007/065882 WO2008018618A1 (en) 2006-08-10 2007-08-08 Edition device, edition method, edition program, and edition system

Country Status (7)

Country Link
US (1) US8189665B2 (ja)
EP (1) EP2051528B1 (ja)
JP (1) JP4737003B2 (ja)
KR (1) KR101323472B1 (ja)
CN (1) CN101356826B (ja)
TW (1) TW200908745A (ja)
WO (1) WO2008018618A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010045505A (ja) * 2008-08-11 2010-02-25 Sony Corp 情報記録装置、撮像装置、情報記録方法およびプログラム

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4325657B2 (ja) * 2006-10-02 2009-09-02 ソニー株式会社 光ディスク再生装置、信号処理方法、およびプログラム
JP5522725B2 (ja) * 2007-12-20 2014-06-18 日本電気株式会社 端末装置、端末装置の制御方法、及び制御プログラム
JP4445555B2 (ja) * 2008-02-06 2010-04-07 株式会社東芝 コンテンツ編集装置
WO2010064774A1 (ko) 2008-12-02 2010-06-10 (주)엘지전자 3차원 영상신호 전송 방법과, 3차원 영상표시 장치 및 그에 있어서의 신호 처리 방법
JP5553533B2 (ja) * 2009-06-08 2014-07-16 キヤノン株式会社 画像編集装置およびその制御方法およびプログラム
US8471890B1 (en) * 2009-12-30 2013-06-25 Insors Integrated Communications Adaptive video communication channel
HUE042458T2 (hu) * 2011-07-02 2019-07-29 Samsung Electronics Co Ltd Berendezés videoadatok multiplexelésére és demultiplexelésére videoadatok reprodukálási állapota azonosításához
US10051311B2 (en) * 2012-07-06 2018-08-14 Sharp Kabushiki Kaisha Electronic devices for signaling sub-picture based hypothetical reference decoder parameters
JP6463967B2 (ja) * 2014-12-25 2019-02-06 キヤノン株式会社 撮像装置及びその制御方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11196376A (ja) * 1997-12-26 1999-07-21 Victor Co Of Japan Ltd 画像圧縮ストリーム編集装置及びその方法
JPH11289541A (ja) * 1998-02-06 1999-10-19 Sony Corp 動画像符号化方法、動画像符号化装置及び記録媒体
JP2003085877A (ja) * 2001-09-10 2003-03-20 Hitachi Ltd ビットストリーム変換装置と多重化装置、記録装置、再生記録装置及びデータ集合体並びにコンピュータ・ソフトウエア
JP2004328450A (ja) * 2003-04-25 2004-11-18 Sony Corp 再生装置、再生方法、再生プログラムおよび記録媒体
JP2004350251A (ja) 2003-03-25 2004-12-09 Sony Corp 記録方法、記録装置、記録媒体、再生方法、再生装置および撮像装置
JP2006109160A (ja) * 2004-10-06 2006-04-20 Sony Corp 情報処理装置および方法、並びにプログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0935395A2 (en) 1998-02-06 1999-08-11 Sony Corporation Video encoding methods and apparatus
JP4545993B2 (ja) 2000-06-26 2010-09-15 パナソニック株式会社 光ディスクについての編集装置、コンピュータ読取可能な記録媒体、編集プログラム。
JP3932546B2 (ja) * 2001-01-24 2007-06-20 日本電気株式会社 Ｍｐｅｇビデオ編集装置及びｍｐｅｇビデオ編集方法
JP3896949B2 (ja) 2002-11-08 2007-03-22 日本電気株式会社 ビデオ編集装置及びビデオ編集プログラム
JP2004357055A (ja) 2003-05-29 2004-12-16 Toshiba Corp 編集装置及び編集方法
JP4127662B2 (ja) 2003-06-27 2008-07-30 株式会社東芝 編集方法及び編集装置
JP2009260933A (ja) * 2008-03-17 2009-11-05 Toshiba Corp 動画素材編集装置とそのプログラム及び動画素材編集方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11196376A (ja) * 1997-12-26 1999-07-21 Victor Co Of Japan Ltd 画像圧縮ストリーム編集装置及びその方法
JPH11289541A (ja) * 1998-02-06 1999-10-19 Sony Corp 動画像符号化方法、動画像符号化装置及び記録媒体
JP2003085877A (ja) * 2001-09-10 2003-03-20 Hitachi Ltd ビットストリーム変換装置と多重化装置、記録装置、再生記録装置及びデータ集合体並びにコンピュータ・ソフトウエア
JP2004350251A (ja) 2003-03-25 2004-12-09 Sony Corp 記録方法、記録装置、記録媒体、再生方法、再生装置および撮像装置
JP2004328450A (ja) * 2003-04-25 2004-11-18 Sony Corp 再生装置、再生方法、再生プログラムおよび記録媒体
JP2006109160A (ja) * 2004-10-06 2006-04-20 Sony Corp 情報処理装置および方法、並びにプログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010045505A (ja) * 2008-08-11 2010-02-25 Sony Corp 情報記録装置、撮像装置、情報記録方法およびプログラム
CN102682822A (zh) * 2008-08-11 2012-09-19 索尼株式会社 重放装置和重放方法
US8466985B2 (en) 2008-08-11 2013-06-18 Sony Corporation Information recording apparatus, imaging apparatus, information recording method and medium storing a program generating a transport data stream and utilizing a modified digital video pack

Also Published As

Publication number Publication date
CN101356826A (zh) 2009-01-28
EP2051528A4 (en) 2010-05-26
CN101356826B (zh) 2010-11-03
TWI346508B (ja) 2011-08-01
US20090136145A1 (en) 2009-05-28
EP2051528B1 (en) 2014-07-30
JP4737003B2 (ja) 2011-07-27
TW200908745A (en) 2009-02-16
JP2008047983A (ja) 2008-02-28
KR101323472B1 (ko) 2013-10-31
US8189665B2 (en) 2012-05-29
EP2051528A1 (en) 2009-04-22
KR20090048386A (ko) 2009-05-13

Similar Documents

Publication Publication Date Title
JP4737003B2 (ja) 編集装置、編集方法、編集プログラムおよび編集システム
JP4715633B2 (ja) 記録装置、記録方法および記録プログラム、ならびに、編集装置、編集方法および編集プログラム
KR100750520B1 (ko) 부호화 스트림 생성 장치 및 방법, 데이터 전송 시스템 및 방법, 편집 시스템 및 방법
US8442382B2 (en) Stream generation apparatus, stream generation method, coding apparatus, coding method, recording medium and program thereof
JP4138840B2 (ja) 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法、および記録方法
US7965858B2 (en) Data processing apparatus and method
KR101240089B1 (ko) 화상 부호화 장치 및 화상 복호화 장치
US8554055B2 (en) Editing device, editing method and editing program, and data processing device, data processing method and data processing program
WO2005122567A1 (ja) データ記録装置、方法およびプログラム、データ再生装置、方法およびプログラム、記録媒体、ならびに、データ構造
US8190000B2 (en) Recording apparatus, recording method, and recording program
JP2008035294A (ja) 画像データ記録装置及び画像データ符号化装置
JP2008011518A (ja) 符号化装置及び編集装置
JP2005198350A (ja) アフレコ信号再生方法
WO2004043065A1 (ja) データ処理装置
JP2005245006A (ja) アフレコ信号再生装置
JP2005198347A (ja) アフレコ信号生成方法
JP2005237021A (ja) アフレコ信号再生用プログラム
JP2005198351A (ja) アフレコ信号再生装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200780001146.6

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 12083180

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2007792522

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 1020087008330

Country of ref document: KR

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 07792522

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

NENP Non-entry into the national phase

Ref country code: RU