JP4737003B2 - Editing apparatus, editing method, editing program, and editing system - Google Patents
Editing apparatus, editing method, editing program, and editing system Download PDFInfo
- Publication number
- JP4737003B2 JP4737003B2 JP2006219002A JP2006219002A JP4737003B2 JP 4737003 B2 JP4737003 B2 JP 4737003B2 JP 2006219002 A JP2006219002 A JP 2006219002A JP 2006219002 A JP2006219002 A JP 2006219002A JP 4737003 B2 JP4737003 B2 JP 4737003B2
- Authority
- JP
- Japan
- Prior art keywords
- editing
- data
- encoding
- stream
- gop
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/91—Television signal processing therefor
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
- G11B20/10—Digital recording or reproducing
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
- G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/48—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
- H04N21/2368—Multiplexing of audio and video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
- H04N21/2383—Channel coding or modulation of digital bit-stream, e.g. QPSK modulation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
- H04N21/4341—Demultiplexing of audio and video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
- H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
- H04N21/4621—Controlling the complexity of the content stream or additional data, e.g. lowering the resolution or bit-rate of the video stream for a mobile client with a small screen
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/637—Control signals issued by the client directed to the server or network components
- H04N21/6377—Control signals issued by the client directed to the server or network components directed to server
- H04N21/6379—Control signals issued by the client directed to the server or network components directed to server directed to encoder, e.g. for requesting a lower encoding rate
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/84—Television signal recording using optical recording
- H04N5/85—Television signal recording using optical recording on discs or drums
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/91—Television signal processing therefor
- H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
- H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
- H04N9/806—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal
- H04N9/8063—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal using time division multiplex of the PCM audio and PCM video signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Computer Security & Cryptography (AREA)
- Television Signal Processing For Recording (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
- Management Or Editing Of Information On Record Carriers (AREA)
Description
この発明は、フレーム間圧縮を用いて圧縮符号化されたビデオデータの編集をより高速に行う編集装置、編集方法、編集プログラムおよび編集システムに関する。 The present invention relates to an editing apparatus, an editing method, an editing program, and an editing system for performing editing of video data compression-encoded using interframe compression at a higher speed.
従来から、記録可能で記録再生装置から取り外し可能とされると共に、記録容量が比較的大きく、ビデオデータとオーディオデータとからなるAV(Audio/Video)データを記録するのに適した記録媒体として、4.7GB(Giga Byte)以上の記録容量を有するDVD(Digital Versatile Disc)が普及している。特許文献1には、記録可能なタイプのDVDに対してDVD−Videoフォーマットで記録する撮像装置が記載されている。
この記録可能なタイプのDVDは、ファイルシステムにUDF(Universal Disk Format)が用いられており、UDFに対応するコンピュータ装置でアクセスが可能となっている。UDFは、ISO(International Organization for Standarization)9660によるフォーマットを含んでおり、コンピュータ装置に用いられる様々なファイルシステムでアクセス可能なようになっている。この記録可能なタイプのDVDに対し、例えば撮像装置で撮像されたビデオデータと撮像に伴い得られたオーディオデータとをファイルとして記録することで、撮像装置とコンピュータ装置などの他の装置との親和性が増し、記録されたデータをより有効に活用することが可能となる。 This recordable type DVD uses UDF (Universal Disk Format) as a file system and can be accessed by a computer device compatible with UDF. The UDF includes a format according to ISO (International Organization for Standarization) 9660, and can be accessed by various file systems used in computer devices. For this recordable type DVD, for example, video data captured by the imaging device and audio data obtained along with the imaging are recorded as files, so that the compatibility between the imaging device and other devices such as a computer device is achieved. Therefore, the recorded data can be used more effectively.
ところで、ビデオデータは、データ容量が膨大となるため、所定の方式で圧縮符号化されて記録媒体に記録されるのが一般的である。ビデオデータの圧縮符号化方式としては、MPEG2(Moving Picture Experts Group 2)方式が標準的な方式として知られている。また、近年では、MPEG2の圧縮符号化方式をさらに推し進めて効率的な符号化を行えるようにした、ITU−T(International Telecommunication Union-Telecommunication Standarization Sector)勧告H.264あるいはISO(International Organization for Standarization)/IEC(International Electrotechnical Commission)国際標準14496−10(MPEG−4パート10)Advanced Video Coding(以下、H.264|AVCと略称する)も、普及してきている。 By the way, since video data has an enormous amount of data, it is generally compressed and encoded by a predetermined method and recorded on a recording medium. An MPEG2 (Moving Picture Experts Group 2) system is known as a standard system for compressing and encoding video data. In recent years, the ITU-T (International Telecommunication Union-Telecommunication Standardization Sector) Recommendation H.264 has been proposed, which further promotes the MPEG2 compression coding system to enable efficient coding. H.264 or ISO (International Organization for Standarization) / IEC (International Electrotechnical Commission) International Standard 14496-10 (MPEG-4 Part 10) Advanced Video Coding (hereinafter abbreviated as H.264 | AVC) has also become widespread.
これらMPEG2およびH.264|AVCにおいては、直交変換などを用いたフレーム内符号化を行うと共に、動き補償を用いた予測符号化によるフレーム間符号化をさらに行い、圧縮率を高めている。以下、MPEG2方式を例にとって、予測符号化によるフレーム間圧縮について説明する。 These MPEG2 and H.264 In H.264 | AVC, intra-frame coding using orthogonal transformation or the like is performed, and inter-frame coding is further performed by predictive coding using motion compensation, thereby increasing the compression rate. Hereinafter, the interframe compression by predictive coding will be described by taking the MPEG2 system as an example.
先ず、MPEG2によるデータストリーム構造について、概略的に説明する。MPEG2は、動き補償を用いた予測符号化と、DCTによる圧縮符号化とを組み合わせたものである。MPEG2のデータ構造は、階層構造をなしており、下位から、ブロック層、マクロブロック層、スライス層、ピクチャ層、GOP層およびシーケンス層となっている。ブロック層は、DCTを行う単位であるDCTブロックからなる。マクロブロック層は、複数のDCTブロックで構成される。スライス層は、ヘッダ部と、1以上のマクロブロックより構成される。ピクチャ層は、ヘッダ部と、1以上のスライスとから構成される。ピクチャは、1画面に対応する。各層の境界は、それぞれ所定の識別符号で識別可能なようになっている。 First, a data stream structure according to MPEG2 will be schematically described. MPEG2 is a combination of predictive coding using motion compensation and compression coding using DCT. The data structure of MPEG2 has a hierarchical structure, and from the lower order is a block layer, a macroblock layer, a slice layer, a picture layer, a GOP layer, and a sequence layer. The block layer is composed of DCT blocks that are units for performing DCT. The macroblock layer is composed of a plurality of DCT blocks. The slice layer is composed of a header part and one or more macroblocks. The picture layer is composed of a header part and one or more slices. A picture corresponds to one screen. The boundary of each layer can be identified by a predetermined identification code.
GOP層は、ヘッダ部と、フレーム内符号化に基づくピクチャであるI(Intra-coded)ピクチャと、予測符号化に基づくピクチャであるP(Predictive-coded)ピクチャB(Bi-directionally predictive coded)ピクチャとから構成される。Iピクチャは、それ自身の情報のみでデコードが可能であり、PおよびBピクチャは、基準画像として前あるいは前後の画像が必要とされ、単独ではデコードされない。例えばPピクチャは、自身より時間的に前のIピクチャまたはPピクチャを基準画像として用いてデコードされる。また、Bピクチャは、自身の前後のIピクチャまたはPピクチャの2枚のピクチャを基準画像として用いてデコードされる。最低1枚のIピクチャを含むそれ自身で完結したグループをGOP(Group Of Picture)と呼び、MPEGのストリームにおいて独立してアクセス可能な最小の単位とされる。 The GOP layer includes a header part, an I (Intra-coded) picture that is a picture based on intra-frame coding, and a P (Predictive-coded) picture B (Bi-directionally predictive coded) picture that is a picture based on predictive coding. It consists of. The I picture can be decoded only by its own information, and the P and B pictures require the previous or previous image as a reference image and are not decoded alone. For example, a P picture is decoded using an I picture or a P picture temporally prior to itself as a reference image. In addition, the B picture is decoded using two pictures, an I picture or a P picture before and after itself, as reference pictures. A group completed by itself including at least one I picture is called GOP (Group Of Picture), and is the smallest unit that can be independently accessed in an MPEG stream.
GOPは、1または複数のピクチャから構成される。以下では、GOPは、複数のピクチャから構成されるものとする。GOPにおいて、GOP内で完全にデコードが可能な、GOPで閉じた構造を持つクローズドGOPと、デコードの際に符号化順で1つ前のGOPの情報を用いることができるオープンGOPとの2種類がある。オープンGOPは、クローズドGOPと比較して、より多くの情報を用いてデコードできるため高画質を得られ、一般的に用いられている。 A GOP is composed of one or more pictures. In the following, it is assumed that the GOP is composed of a plurality of pictures. There are two types of GOPs: a closed GOP with a GOP-closed structure that can be completely decoded within the GOP, and an open GOP that can use the information of the previous GOP in the coding order when decoding. There is. An open GOP can be decoded using more information than a closed GOP, so that a high image quality can be obtained and is generally used.
図16を用いて、フレーム間圧縮を行ったデータのデコード処理について説明する。ここでは、1GOPが1枚のIピクチャ、4枚のPピクチャおよび10枚のBピクチャの、計15枚のピクチャから構成されるものとし、GOPのタイプは、オープンGOPであるものとする。GOP内のI、PおよびBピクチャの表示順は、図16Aに一例が示されるように、「B0B1I2B3B4P5B6B7P8B9B10P11B12B13P14」のようになる。なお、添え字は表示順を示す。 Decoding processing of data subjected to inter-frame compression will be described with reference to FIG. Here, it is assumed that 1 GOP is composed of a total of 15 pictures of 1 I picture, 4 P pictures, and 10 B pictures, and the GOP type is an open GOP. As shown in FIG. 16A, the display order of the I, P, and B pictures in the GOP is “B 0 B 1 I 2 B 3 B 4 P 5 B 6 B 7 P 8 B 9 B 10 P 11 B is as 12 B 13 P 14 ". The subscript indicates the display order.
この例では、最初の2枚のB0ピクチャおよびB1ピクチャは、1つ前のGOPにおける最後尾のP14ピクチャと、このGOP内のI2ピクチャを用いて予測されデコードされたピクチャである。GOP内の最初のP5ピクチャは、I2ピクチャから予測されデコードされたピクチャである。他のP8ピクチャ、P11ピクチャおよびP14は、それぞれ1つ前のPピクチャを用いて予測されデコードされたピクチャである。また、Iピクチャ以降の各Bピクチャは、それぞれ前後のIおよび/またはPピクチャから予測されデコードされたピクチャである。 In this example, the first two B 0 and B 1 pictures are predicted and decoded using the last P 14 picture in the previous GOP and the I 2 picture in this GOP. . The first P 5 picture in the GOP is a picture predicted and decoded from the I 2 picture. Other P 8 picture, P 11 picture and P 14 are pictures decoded is predicted by using the preceding P-picture, respectively. Each B picture after the I picture is a picture predicted and decoded from the preceding and following I and / or P pictures.
一方、Bピクチャは、時間的に前後のIまたはPピクチャを用いて予測されデコードされるため、ストリームや記録媒体上におけるI、PおよびBピクチャの並び順は、デコーダにおけるデコードの順序を考慮して決める必要がある。すなわち、BピクチャをデコードするためのIおよび/またはPピクチャは、当該Bピクチャよりも常に先にデコードされていなければならない。 On the other hand, since B pictures are predicted and decoded using temporally preceding and following I or P pictures, the arrangement order of I, P, and B pictures on a stream or recording medium takes into account the decoding order in the decoder. It is necessary to decide. That is, an I and / or P picture for decoding a B picture must always be decoded before the B picture.
上述の例では、ストリームや記録媒体上の各ピクチャの配列は、図16Bに例示されるように、「I2B0B1P5B3B4P8B6B7P11B9B10P14B12B13」のようになり、この順でデコーダに入力される。なお、添え字は、図16Aに対応し、表示順を示す。 In the above example, the arrangement of each picture on the stream or the recording medium is “I 2 B 0 B 1 P 5 B 3 B 4 P 8 B 6 B 7 P 11 B 9 B as illustrated in FIG. 16B. 10 P 14 B 12 B 13 ”and are input to the decoder in this order. The subscripts correspond to FIG. 16A and indicate the display order.
デコーダにおけるデコード処理は、図16Cに示されるように、先ずI2ピクチャをデコードし、デコードされたこのI2ピクチャと1つ前のGOPにおける最後尾(表示順)のP14ピクチャとによりB0ピクチャおよびB1ピクチャを予測しデコードする。そして、B0ピクチャおよびB1ピクチャをデコードされた順にデコーダから出力し、次にI2ピクチャを出力する。B1ピクチャが出力されると、次にP5ピクチャがI2ピクチャを用いて予測されデコードされる。そして、I2ピクチャおよびP5ピクチャを用いてB3ピクチャおよびB4ピクチャが予測されデコードされる。そして、デコードされたB3ピクチャおよびB4ピクチャをデコードされた順にデコーダから出力し、次にP5ピクチャを出力する。 In the decoding process in the decoder, as shown in FIG. 16C, the I 2 picture is first decoded, and the decoded I 2 picture and the last P 14 picture in the previous GOP (display order) are B 0. Predict and decode pictures and B 1 pictures. Then, the B 0 picture and the B 1 picture are output from the decoder in the order of decoding, and then the I 2 picture is output. Once the B 1 picture is output, the P 5 picture is then predicted and decoded using the I 2 picture. Then, the B 3 picture and the B 4 picture are predicted and decoded using the I 2 picture and the P 5 picture. The decoded B 3 picture and B 4 picture are output from the decoder in the order of decoding, and then the P 5 picture is output.
以下、同様にして、Bピクチャの予測に用いるPまたはIピクチャをBピクチャより先にデコードし、このデコードされたPまたはIピクチャを用いてBピクチャを予測してデコードし、デコードされたBピクチャを出力してから、当該Bピクチャをデコードするために用いたPまたはIピクチャを出力する処理が繰り返される。記録媒体上やストリームにおける図16Bのようなピクチャ配列は、一般的に用いられるものである。 Hereinafter, similarly, the P or I picture used for prediction of the B picture is decoded before the B picture, the B picture is predicted and decoded using the decoded P or I picture, and the decoded B picture is decoded. Is output, the process of outputting the P or I picture used to decode the B picture is repeated. A picture arrangement as shown in FIG. 16B on a recording medium or in a stream is generally used.
なお、H.264|AVC方式においても、ビデオデータのエンコードおよびデコード処理は、概略的には、MPEG2方式における処理と略同様にして行われる。H.264|AVC方式においては、より柔軟にピクチャを用いてフレーム間予測を行うことできるようにされている。また、H.264|AVC方式においては、MPEG2方式におけるIピクチャに相当する、ランダムアクセス可能なピクチャをIDR(Instantaneous Decoding Refresh)ピクチャと呼ぶ。以下では、符号化方式をMPEG2方式に代表させて説明する。 H. Also in the H.264 | AVC format, video data encoding and decoding processes are generally performed in substantially the same manner as in the MPEG2 system. H. In the H.264 | AVC system, inter-frame prediction can be performed using pictures more flexibly. H. In the H.264 | AVC format, a randomly accessible picture corresponding to an I picture in the MPEG2 format is called an IDR (Instantaneous Decoding Refresh) picture. Hereinafter, the encoding method will be described as being representative of the MPEG2 method.
ここで、MPEG2方式のようにフレーム間圧縮を用いる符号化方式により圧縮符号化されたビデオデータを編集する場合について考える。編集処理の一例として、ビデオ映像における中間部のシーンを削除し、削除した区間の前後を結合する場合について説明する。例えば、図17Aに一例が示されるように、GOP#1、GOP#2、・・・、GOP#9、・・・のようにGOP構造が連なったビデオストリームに対し、削除するシーンに対応する区間A−Bを指定する。ここで、区間A−Bの前端の編集点Aと、後端の編集点Bは、それぞれGOP#3およびGOP#7の中間部分のピクチャであるものとする。編集により当該区間A−Bのピクチャを削除して、編集点Aおよび編集点Bを結合し、編集された1本のビデオストリームを得る(図17B)。
Here, consider a case where video data compression-encoded by an encoding method using inter-frame compression as in the MPEG2 method is edited. As an example of editing processing, a case will be described in which an intermediate scene in a video image is deleted and before and after the deleted section are combined. For example, as shown in FIG. 17A, the video stream corresponding to the GOP structure such as
このような編集を行う場合、単純に区間A−B内のピクチャを削除したのでは、結合後に結合部分を含むGOP#3+7においてGOP構造が破壊されてしまい、正常に再生できなくなるという不都合が生じる。そのため、フレーム精度での編集が行えず、編集がGOP単位での処理となってしまう。
When such editing is performed, if the picture in the section AB is simply deleted, the GOP structure is destroyed in
また、GOP単位で編集処理を行う例として、削除対象の区間A−Bに含まれるGOP#4〜GOP#6を削除し、GOP#3の後端とGOP#7の先頭とを結合する方法が考えられる。しかしながら、GOPがオープンGOP構造を取る場合、前側のGOPが削除されるGOP#7において、先頭側のBピクチャ群(図16の例ではBピクチャ0およびB1ピクチャ)がデコードできなくなってしまうという不都合が生じる。
Also, as an example of performing editing processing in units of GOP, a method of deleting
上述した不都合を解決するために、編集対象のビデオストリームを一旦デコードし、その上でフレーム精度での編集を行い、再びエンコードする方法が考えられる。しかしながら、対象となるビデオストリームの全体をデコードし、再エンコードする処理を編集の度毎に行うのでは、処理時間が膨大となる。また、一旦エンコードされたビデオストリームの全体をデコードし再エンコードするのでは、ビデオストリームの全体にわたって画質劣化を招いてしまう。 In order to solve the inconvenience described above, a method is conceivable in which a video stream to be edited is once decoded, then edited with frame accuracy, and encoded again. However, if the entire target video stream is decoded and re-encoded for each editing, the processing time becomes enormous. Also, if the entire encoded video stream is decoded and re-encoded, the image quality is deteriorated over the entire video stream.
また、これらの不都合は、複数のビデオストリームを結合する際にも発生するものである。 These inconveniences also occur when a plurality of video streams are combined.
そこで、従来から、編集点付近の必要最小区間のみをデコードし再エンコードする手法が知られている。すなわち、削除や結合を行う部分のGOPおよび当該GOPが変化することにより影響を受けるGOPのみをデコードおよび再エンコードし、それ以外のGOPについては、GOP単位でコピーを行う。この編集点付近の必要最小区間のみをデコードし再エンコードする手法の代表的な例としては、スマートレンダリングと呼ばれる手法が一般的に知られている。 Therefore, conventionally, a method for decoding and re-encoding only a necessary minimum section near the editing point is known. That is, only the GOP of the part to be deleted or combined and the GOP affected by the change of the GOP are decoded and re-encoded, and the other GOPs are copied in GOP units. As a typical example of a technique for decoding and re-encoding only a necessary minimum section near the editing point, a technique called smart rendering is generally known.
上述した図17を用いて、編集点付近の必要最小区間のみをデコードし再エンコードする一例の処理について、概略的に説明する。編集点Aおよび編集点Bによる区間A−Bを削除する場合、編集点A側においてデコードが必要な部分は、編集点Aを含むGOP#3と、GOP#3の直前のGOP#2となる。GOPがオープンGOPである場合、編集点Aを含むGOP#3の直前のGOP#2は、GOP#3の表示順で先頭のB0ピクチャおよびB1ピクチャをデコードするために必要である。また、編集点B側においてデコードが必要な部分は、編集点Bを含むGOP#7と、GOP#7の直後のGOP#8となる。オープンGOPでは、GOP#8の表示順で先頭のBピクチャ群をデコードするためには、GOP#7のデータを用いる必要がある。
An example of the process of decoding and re-encoding only the necessary minimum section near the editing point will be schematically described with reference to FIG. When the section A-B by the editing point A and the editing point B is deleted, the parts that need to be decoded on the editing point A side are
図17Aの状態において、例えば先ずGOP#4〜GOP#6を削除し、次にGOP#2およびGOP#3、ならびに、GOP#7およびGOP#8をそれぞれデコードする。そして、GOP#3においては、デコードされたピクチャのうち編集点A以降のピクチャを削除する。同様に、GOP#7においては、デコードされたピクチャのうち編集点B以前のピクチャを削除する。そして、編集点Aおよび編集点Bを結合し、新たに作成されたGOP#3+7を、前後のGOP#2およびGOP#8の符号量を参照しながら再エンコードする(図17B)。GOP#3+7の先頭のB0ピクチャおよびB1ピクチャは、デコードされたGOP#2の最後のP15ピクチャと、デコードされたGOP#3のI3ピクチャとを用いてエンコードする。GOP#2およびGOP#8については、デコード前のGOP#2およびGOP#8をメモリに記憶しておき、これを用いることができる。
In the state shown in FIG. 17A, for example,
このような処理は、複数のビデオストリームを結合するような編集の際にも、同様にして適用可能である。 Such a process can be applied in the same manner to an editing process in which a plurality of video streams are combined.
ところで、上述したような再エンコードを用いた編集を行うためには、結合するビデオストリームは、幾つかの制約を満足している必要がある。上述したように、ビデオストリームは、ファイルに格納されて記録媒体に記録される。このとき、1のファイルに記録されるビデオストリームに関する所定のパラメータについては、1ファイル中で値が固定的である必要がある。 By the way, in order to perform editing using re-encoding as described above, the video stream to be combined needs to satisfy some restrictions. As described above, the video stream is stored in a file and recorded on a recording medium. At this time, the value of a predetermined parameter related to the video stream recorded in one file needs to be fixed in one file.
例えば、あるパラメータについて異なる値を有するビデオストリームを、編集により1のビデオストリームに結合して1のファイルに格納し、このファイルに格納されたビデオストリームを再生機で再生する際に、この属性の値が再生中に変化した場合、再生機のデコーダがこのパラメータの値の変化に対応できない可能性がある。 For example, when a video stream having different values for a certain parameter is combined into one video stream by editing and stored in one file, and the video stream stored in this file is played back by a playback device, If the value changes during playback, the decoder of the player may not be able to cope with this parameter value change.
値が固定的であることが必要なパラメータの例としては、垂直および水平方向それぞれの画枠サイズ、アスペクト比(16:9または4:3など)、フレームレート(29.97Hz、59.94Hzなど)、フレームの構造、クローズドキャプションのデータの有無などがある。編集により再エンコードを行う際には、再エンコード区間において結合される前後のビデオストリームで、これらのパラメータの値が全て一致している必要がある。 Examples of parameters whose values need to be fixed include vertical and horizontal image frame sizes, aspect ratios (16: 9 or 4: 3, etc.), frame rates (29.97 Hz, 59.94 Hz, etc.) ), Frame structure, presence / absence of closed caption data, and the like. When re-encoding is performed by editing, it is necessary that the values of these parameters all match in the video streams before and after being combined in the re-encoding section.
編集装置において、これらのパラメータの全てに対応するエンコードが可能であれば、これらの属性に合わせて所定の値を設定してエンコードすればよい。しかしながらこの場合、編集装置は、ビデオストリームのフォーマットに規定される各パラメータについて、パラメータが取り得る値の全ての組み合わせに対応している必要があり、エンコーダの規模の増大や、コストの増大を招くことになるという問題点があった。 In the editing apparatus, if encoding corresponding to all of these parameters is possible, encoding may be performed by setting a predetermined value according to these attributes. However, in this case, the editing apparatus needs to support all combinations of values that the parameters can take for each parameter defined in the video stream format, which increases the scale of the encoder and the cost. There was a problem that it would be.
これを避けるために、編集装置側で、ある特定の記録装置で記録されたビデオストリームに対してのみ、編集が可能であるとすることも考えられる。このように編集対象のビデオストリームを制限することで、編集装置側では、その記録装置が対応しているパラメータのみに対応していればよい。ところがこの場合、この編集装置に対して他の記録装置で記録されたビデオストリームを供給した場合に、編集装置が誤動作してしまう可能性があるという問題点があった。 In order to avoid this, it is conceivable that the editing apparatus can edit only a video stream recorded by a specific recording apparatus. By restricting the video stream to be edited in this way, the editing apparatus only needs to support only the parameters supported by the recording apparatus. However, in this case, when a video stream recorded by another recording device is supplied to the editing device, there is a problem that the editing device may malfunction.
したがって、この発明の目的は、フレーム間圧縮を用いて圧縮符号化されたビデオデータの編集処理を適切に行うことができるようにした編集装置、編集方法、編集プログラムおよび編集システムを提供することにある。 Accordingly, an object of the present invention is to provide an editing apparatus, an editing method, an editing program, and an editing system capable of appropriately performing editing processing of video data compression-encoded using inter-frame compression. is there.
上述した課題を解決するために、第1の発明は、フレーム間圧縮を用いて圧縮符号化されたビデオデータを編集する編集装置において、フレーム間圧縮を用いて圧縮符号化されたビデオデータからなるデータストリームに埋め込まれた、データストリームを生成した装置を識別する識別情報をデータストリームから抽出する抽出部と、データストリームをデコードするデコード部と、ビデオデータをフレーム間圧縮を用いた圧縮符号化により、所定の属性で以てエンコードするエンコード部と、データストリームに対して設定された編集点に基づき、データストリームに対してデコードおよびエンコードを行いデータストリームを編集するようにした編集部とを備え、編集部は、抽出部でストリームデータから抽出された識別情報が、エンコード部によるエンコードの際の所定の属性と同一の属性でエンコード可能な装置を示しているか否かを判断し、示していると判断したら、編集点を含む所定区間をデコードおよびエンコードすることで編集を行うことを特徴とする編集装置である。 In order to solve the above-described problem, the first invention is an editing apparatus that edits video data that has been compression-encoded using inter-frame compression, and includes video data that has been compression-encoded using inter-frame compression. An extraction unit that extracts identification information that identifies the device that generated the data stream, embedded in the data stream, a decoding unit that decodes the data stream, and compression encoding using inter-frame compression An encoding unit that encodes with a predetermined attribute, and an editing unit that decodes and encodes the data stream to edit the data stream based on the editing points set for the data stream, The editing unit recognizes the identification information extracted from the stream data by the extraction unit. It is determined whether or not a device capable of encoding with the same attribute as the predetermined attribute at the time of encoding by the video section is indicated, and if it is determined, editing is performed by decoding and encoding a predetermined section including the editing point. An editing apparatus characterized by performing
また、第2の発明は、フレーム間圧縮を用いて圧縮符号化されたビデオデータを編集する編集方法において、フレーム間圧縮を用いて圧縮符号化されたビデオデータからなるデータストリームに埋め込まれた、データストリームを生成した装置を識別する識別情報をデータストリームから抽出する抽出のステップと、データストリームをデコードするデコードのステップと、ビデオデータをフレーム間圧縮を用いた圧縮符号化により、所定の属性で以てエンコードするエンコードのステップと、データストリームに対して設定された編集点に基づき、データストリームに対してデコードおよびエンコードを行いデータストリームを編集するようにした編集のステップとを備え、編集のステップは、抽出のステップでストリームデータから抽出された識別情報が、エンコードのステップによるエンコードの際の所定の属性と同一の属性でエンコード可能な装置を示しているか否かを判断し、示していると判断したら、編集点を含む所定区間をデコードおよびエンコードすることで編集を行うことを特徴とする編集方法である。 The second invention is an editing method for editing video data compression-encoded using interframe compression, embedded in a data stream composed of video data compression-encoded using interframe compression, An extraction step for extracting identification information for identifying a device that has generated the data stream from the data stream, a decoding step for decoding the data stream, and compression encoding using inter-frame compression with predetermined attributes. Thus, an encoding step for encoding and an editing step for editing the data stream by decoding and encoding the data stream based on the editing point set for the data stream are provided. It is extracted from the stream data in the extraction step It is determined whether or not the identified identification information indicates a device capable of encoding with the same attribute as the predetermined attribute at the time of encoding in the encoding step. An editing method is characterized in that editing is performed by decoding and encoding.
また、第3の発明は、フレーム間圧縮を用いて圧縮符号化されたビデオデータを編集する編集方法をコンピュータ装置に実行させる編集プログラムにおいて、編集方法は、フレーム間圧縮を用いて圧縮符号化されたビデオデータからなるデータストリームに埋め込まれた、データストリームを生成した装置を識別する識別情報をデータストリームから抽出する抽出のステップと、データストリームをデコードするデコードのステップと、ビデオデータをフレーム間圧縮を用いた圧縮符号化により、所定の属性で以てエンコードするエンコードのステップと、データストリームに対して設定された編集点に基づき、データストリームに対してデコードおよびエンコードを行いデータストリームを編集するようにした編集のステップとを備え、編集のステップは、抽出のステップでストリームデータから抽出された識別情報が、エンコードのステップによるエンコードの際の所定の属性と同一の属性でエンコード可能な装置を示しているか否かを判断し、示していると判断したら、編集点を含む所定区間をデコードおよびエンコードすることで編集を行うことを特徴とする編集プログラムである。 According to a third aspect of the present invention, there is provided an editing program for causing a computer apparatus to execute an editing method for editing video data compressed and encoded using interframe compression. The editing method is compressed and encoded using interframe compression. An extraction step for extracting from the data stream identification information identifying the device that generated the data stream embedded in the data stream comprising the video data, a decoding step for decoding the data stream, and inter-frame compression of the video data The data stream is edited by decoding and encoding the data stream based on the encoding step for encoding with a predetermined attribute and the editing point set for the data stream. Editing steps The step, step identification information extracted from the stream data in the extraction, it is determined whether shows encodable device in the same attribute and predetermined attributes during encoding by the encoding step, denoted If it is determined that there is an editing program, editing is performed by decoding and encoding a predetermined section including the editing point.
また、第4の発明は、ビデオデータをフレーム間圧縮を用いて圧縮符号化して記録媒体に記録し、記録媒体から再生されたフレーム間圧縮を用いて圧縮符号化されたビデオデータを編集する編集システムにおいて、ビデオデータをフレーム間圧縮を用いた圧縮符号化により所定の属性で以てエンコードしてデータストリームとして出力する第1のエンコード部と、第1のエンコード部から出力されたデータストリームをストリームファイルとして記録媒体に記録する記録部とを備え、データストリームに対して装置自体を識別する識別情報を埋め込んで記録媒体に記録するようにした記録装置と、記録媒体に記録されたストリームファイルを読み出してデータストリームを取り出す再生部と、データストリームから識別情報を抽出する抽出部と、データストリームをデコードするデコード部と、ビデオデータをフレーム間圧縮を用いた圧縮符号化により、所定の属性で以てエンコードする第2のエンコード部と、データストリームに対して設定された編集点に基づき、データストリームに対してデコードおよびエンコードを行いデータストリームを編集するようにした編集部とを備え、編集部は、抽出部でストリームデータから抽出された識別情報が、第2のエンコード部によるエンコードの際の所定の属性と同一の属性でエンコード可能な装置を示しているか否かを判断し、示していると判断したら、編集点を含む所定区間をデコードおよびエンコードすることで編集を行うようにした編集装置とを有することを特徴とする編集システムである。 Further, the fourth invention is an editing method in which video data is compressed and encoded using interframe compression, recorded on a recording medium, and the video data compressed and encoded using interframe compression reproduced from the recording medium is edited. In the system, a first encoding unit that encodes video data with a predetermined attribute by compression encoding using interframe compression and outputs the data stream as a data stream, and a data stream output from the first encoding unit A recording unit that records as a file on a recording medium, and includes a recording device that embeds identification information for identifying the device itself in the data stream and records the data on the recording medium, and reads the stream file recorded on the recording medium A playback unit for extracting the data stream and an extraction unit for extracting the identification information from the data stream A decoding unit that decodes the data stream, a second encoding unit that encodes video data with a predetermined attribute by compression encoding using inter-frame compression, and an editing point set for the data stream. And an editing unit that decodes and encodes the data stream to edit the data stream, and the editing unit encodes the identification information extracted from the stream data by the extracting unit by the second encoding unit. It is determined whether or not a device that can be encoded with the same attribute as the predetermined attribute at the time is indicated, and if it is determined, the predetermined section including the editing point is decoded and encoded to be edited. And an editing apparatus.
上述したように、第1、第2および第3の発明は、フレーム間圧縮を用いて圧縮符号化されたビデオデータからなるデータストリームに埋め込まれた、データストリームを生成した装置を識別する識別情報をデータストリームから抽出し、データストリームに対して設定された編集点に基づき、データストリームに対してデコードおよびエンコードを行いデータストリームを編集するようにされ、編集時に、抽出部でストリームデータから抽出された識別情報が、ビデオデータをフレーム間圧縮を用いた圧縮符号化によりなされるエンコードの際の所定の属性と同一の属性でエンコード可能な装置を示しているか否かを判断し、示していると判断したら、編集点を含む所定区間をデコードおよびエンコードすることで編集を行うようにしているため、データストリームに埋め込まれた、データストリームを生成した装置を識別する識別情報を見るだけで、編集点を含む所定区間のデコードおよびエンコードによる編集が可能か否かを判断することができる。 As described above, according to the first, second, and third inventions, identification information for identifying a device that generates a data stream embedded in a data stream composed of video data compression-encoded using interframe compression. Is extracted from the data stream, and based on the edit points set for the data stream, the data stream is decoded and encoded to edit the data stream. During editing, the data is extracted from the stream data by the extraction unit. It is determined whether or not the identification information indicates a device capable of encoding video data with the same attribute as a predetermined attribute when video data is encoded by compression encoding using inter-frame compression. If you decide, you can edit by decoding and encoding the specified section including the edit point. Therefore, embedded in the data stream, only looking at the identification information for identifying the device that generated the data stream, it can be determined whether it is possible to editing by decoding and encoding of the predetermined section including the editing point.
また、第4の発明は、記録装置は、ビデオデータをフレーム間圧縮を用いた圧縮符号化により所定の属性で以てエンコードして出力されたデータストリームをストリームファイルとして記録媒体に記録し、その際に、データストリームに対して装置自体を識別する識別情報を埋め込んで記録媒体に記録するようにされ、編集装置は、記録媒体に記録されたストリームファイルを読み出してデータストリームを取り出してデータストリームから識別情報を抽出し、データストリームに対して設定された編集点に基づき、データストリームに対してデコードおよびフレーム間圧縮を用いた圧縮符号化により所定の属性で以てエンコードを行ってデータストリームを編集するようにされ、編集の際に、ストリームデータから抽出された識別情報が、編集装置でのエンコードの際の所定の属性と同一の属性でエンコード可能な装置を示しているか否かを判断し、示していると判断したら、編集点を含む所定区間をデコードおよびエンコードすることで編集を行うようにしているため、編集装置は、データストリームを記録した装置を識別する識別情報に基づき、対応する記録装置で記録されたデータストリームであるか否かを知ることができ、対応する記録装置で記録されたデータストリームであると判断された場合に、編集点を含む所定区間のデコードおよびエンコードによる編集を行うことができる。 According to a fourth aspect of the present invention, a recording apparatus records a data stream output by encoding video data with a predetermined attribute by compression encoding using interframe compression as a stream file on a recording medium. At this time, identification information for identifying the device itself is embedded in the data stream and recorded on the recording medium. The editing apparatus reads the stream file recorded on the recording medium, extracts the data stream, and extracts the data stream from the data stream. Based on the editing points set for the data stream, the identification information is extracted, and the data stream is encoded with a predetermined attribute by decoding and compression encoding using inter-frame compression. The identification information extracted from the stream data at the time of editing is It is determined whether or not a device capable of encoding with the same attribute as the predetermined attribute at the time of encoding in the collecting device is indicated, and if it is determined, the predetermined section including the editing point is decoded and encoded. Since the editing is performed, the editing apparatus can know whether or not the data stream is recorded by the corresponding recording apparatus based on the identification information for identifying the apparatus that recorded the data stream. When it is determined that the data stream is recorded by the recording apparatus, it is possible to perform editing by decoding and encoding a predetermined section including the editing point.
第1、第2および第3の発明は、上述したように、フレーム間圧縮を用いて圧縮符号化されたビデオデータからなるデータストリームに埋め込まれた、データストリームを生成した装置を識別する識別情報をデータストリームから抽出し、データストリームに対して設定された編集点に基づき、データストリームに対してデコードおよびエンコードを行いデータストリームを編集するようにされ、編集時に、抽出部でストリームデータから抽出された識別情報が、ビデオデータをフレーム間圧縮を用いた圧縮符号化によりなされるエンコードの際の所定の属性と同一の属性でエンコード可能な装置を示しているか否かを判断し、示していると判断したら、編集点を含む所定区間をデコードおよびエンコードすることで編集を行うようにしているため、データストリームに埋め込まれた、データストリームを生成した装置を識別する識別情報を見るだけで、編集点を含む所定区間のデコードおよびエンコードによる編集が可能か否かを判断することができる効果がある。 As described above, the first, second, and third inventions are identification information for identifying a device that generates a data stream embedded in a data stream composed of video data compression-encoded using interframe compression. Is extracted from the data stream, and based on the edit points set for the data stream, the data stream is decoded and encoded to edit the data stream. During editing, the data is extracted from the stream data by the extraction unit. It is determined whether or not the identification information indicates a device capable of encoding video data with the same attribute as a predetermined attribute when video data is encoded by compression encoding using inter-frame compression. If you decide, you can edit by decoding and encoding the specified section including the edit point. Therefore, it is possible to determine whether or not editing by decoding and encoding of a predetermined section including an editing point is possible only by looking at identification information for identifying a device that has generated the data stream embedded in the data stream. is there.
また、第4の発明は、上述したように、記録装置は、ビデオデータをフレーム間圧縮を用いた圧縮符号化により所定の属性で以てエンコードして出力されたデータストリームをストリームファイルとして記録媒体に記録し、その際に、データストリームに対して装置自体を識別する識別情報を埋め込んで記録媒体に記録するようにされ、編集装置は、記録媒体に記録されたストリームファイルを読み出してデータストリームを取り出してデータストリームから識別情報を抽出し、データストリームに対して設定された編集点に基づき、データストリームに対してデコードおよびフレーム間圧縮を用いた圧縮符号化により所定の属性で以てエンコードを行ってデータストリームを編集するようにされ、編集の際に、ストリームデータから抽出された識別情報が、編集装置でのエンコードの際の所定の属性と同一の属性でエンコード可能な装置を示しているか否かを判断し、示していると判断したら、編集点を含む所定区間をデコードおよびエンコードすることで編集を行うようにしているため、編集装置は、データストリームを記録した装置を識別する識別情報に基づき、対応する記録装置で記録されたデータストリームであるか否かを知ることができ、対応する記録装置で記録されたデータストリームであると判断された場合に、編集点を含む所定区間のデコードおよびエンコードによる編集を行うことができる効果がある。 According to a fourth aspect of the present invention, as described above, the recording apparatus records, as a stream file, a data stream output by encoding video data with predetermined attributes by compression encoding using inter-frame compression. In this case, identification information for identifying the device itself is embedded in the data stream and recorded on the recording medium, and the editing apparatus reads the stream file recorded on the recording medium and reads the data stream. The identification information is extracted from the data stream, and the data stream is encoded with a predetermined attribute by compression and encoding using inter-frame compression based on the edit point set for the data stream. The data stream is edited and extracted from the stream data during editing. It is determined whether the identification information indicates a device capable of encoding with the same attribute as the predetermined attribute at the time of encoding by the editing device, and if it is determined, the predetermined section including the editing point is decoded. Since the editing is performed by encoding, the editing device knows whether or not the data stream is recorded by the corresponding recording device based on the identification information for identifying the device that recorded the data stream. Thus, when it is determined that the data stream is recorded by the corresponding recording apparatus, there is an effect that editing by decoding and encoding of a predetermined section including the editing point can be performed.
以下、この発明の実施の一形態を、図面を参照しながら説明する。先ず、理解を容易とするために、この発明に適用可能な一例のフォーマット(以下、AVCHDフォーマットと呼ぶ)について説明する。AVCHDフォーマットは、ビデオデータとオーディオデータとが所定に多重化されたAV(Audio/Video)ストリームを記録可能な記録媒体に記録する記録フォーマットであって、AVストリームを記録媒体にファイルとして記録し、記録されたAVストリームを、クリップ単位でプレイリストを用いて管理可能としている。 Hereinafter, an embodiment of the present invention will be described with reference to the drawings. First, in order to facilitate understanding, an example format (hereinafter referred to as AVCHD format) applicable to the present invention will be described. The AVCHD format is a recording format for recording an AV (Audio / Video) stream in which video data and audio data are multiplexed in a predetermined manner on a recordable recording medium, and recording the AV stream as a file on the recording medium, The recorded AV stream can be managed using a playlist for each clip.
AVCHDにおいては、符号化方式として、例えばITU−T(International Telecommunication Union-Telecommunication Standarization Sector)勧告H.264あるいはISO(International Organization for Standarization)/IEC(International Electrotechnical Commission)国際標準14496−10(MPEG−4パート10)Advanced Video Coding(以下、H.264|AVCと略称する)に規定される符号化方式を用い、MPEG2システムズの規定に従いビデオデータおよびオーディオデータを多重化する。 In AVCHD, as an encoding method, for example, ITU-T (International Telecommunication Union-Telecommunication Standardization Sector) recommendation H.264. H.264 or ISO (International Organization for Standarization) / IEC (International Electrotechnical Commission) International Standard 14496-10 (MPEG-4 Part 10) Advanced Video Coding (hereinafter abbreviated as H.264 | AVC) Is used to multiplex video data and audio data in accordance with the provisions of MPEG2 Systems.
H.264|AVC方式で符号化され、MPEG2システムズに従い多重化されたビットストリームは、クリップAVストリーム(またはAVストリーム)と称される。クリップAVストリームは、所定のファイルシステムによりファイルとして記録媒体に記録される。以下では、クリップAVストリームが記録されるファイルを、ストリームファイルと呼ぶ。 H. The bit stream encoded by the H.264 | AVC format and multiplexed in accordance with MPEG2 Systems is referred to as a clip AV stream (or AV stream). The clip AV stream is recorded on a recording medium as a file by a predetermined file system. Hereinafter, the file in which the clip AV stream is recorded is referred to as a stream file.
このAVCHDフォーマットによるデータ構造は、H.264|AVCに規定されるビットストリーム構造に準ずる。ここで、H.264|AVCに規定されるビットストリーム構造を概略的に説明する。H.264|AVCにおいては、動画像符号化処理そのものを扱うVCL(Video Coding Layer)と、符号化された情報の伝送や蓄積を行う下位システムとの間にあるNAL(Network Abstraction Layer)とが規定され、VCLとNALとが分離された構造とされる。また、シーケンスやピクチャのヘッダ情報に相当するパラメータセットも、VCLで生成した情報から分離して扱えるようになっている。 The data structure according to the AVCHD format is H.264. It conforms to the bit stream structure defined in H.264 | AVC. Here, H. The bit stream structure defined in H.264 | AVC will be schematically described. H. In H.264 | AVC, a VCL (Video Coding Layer) that handles video coding processing itself and a NAL (Network Abstraction Layer) between a lower system that transmits and stores encoded information are defined. , VCL and NAL are separated. Also, parameter sets corresponding to sequence and picture header information can be handled separately from information generated by the VCL.
H.264|AVCによるビットストリームの下位システム、例えばMPEG2システムズに対するマッピングは、NALの一区切りであるNALユニットを単位として行われる。図1は、NALユニットの一例の構成を示す。NALユニットは、NALヘッダおよびRBSP(Raw Byte Sequence Payload)から構成される。NALヘッダは、1ビットのデータ長を有する固定ビット部分に続けて、2ビットのデータ長を有する情報nal_ref_idcと、5ビットのデータ長を有する情報nal_unit_typeとが配される。情報nal_ref_idcは、このNALユニットに参照ピクチャとなり得るスライスが格納されているか否かを示す。情報nal_unit_typeは、このNALユニットの種類を示す。RBSPは、動画像の圧縮符号化された生データが格納される。 H. The mapping of the H.264 | AVC bit stream to a lower system, for example, MPEG2 Systems, is performed in units of NAL units, which are a delimiter of NAL. FIG. 1 shows an exemplary configuration of a NAL unit. The NAL unit includes a NAL header and an RBSP (Raw Byte Sequence Payload). In the NAL header, information nal_ref_idc having a data length of 2 bits and information nal_unit_type having a data length of 5 bits are arranged following a fixed bit portion having a data length of 1 bit. Information nal_ref_idc indicates whether or not a slice that can be a reference picture is stored in this NAL unit. Information nal_unit_type indicates the type of this NAL unit. The RBSP stores raw data that is compression-encoded for moving images.
なお、RBSPトレイリングビットは、このNALユニットのビット長を8ビットの倍数に調整するための調整用ビットである。RBSPトレイリングビットは、"1"から始まりその後ろに"0"が連なる構成とされており、最初のビット"1"を検出することにより、RBSPの最後のビット位置を特定することができる。また、"0"の後ろに"1"が検出されると、その位置がNALユニットの先頭であることが分かる。 The RBSP trailing bit is an adjustment bit for adjusting the bit length of the NAL unit to a multiple of 8 bits. The RBSP trailing bit starts from “1” and is followed by “0”, and the last bit position of the RBSP can be specified by detecting the first bit “1”. When “1” is detected after “0”, it is found that the position is the head of the NAL unit.
情報nal_unit_typeにより示されるNALユニットの種類には、符号化された各種ピクチャのスライス、SEI(Supplemental Enhancement Information)、SPS(Sequence Parameter Set)、PPS(Picture Parameter Set)、AU(Access Unit)デリミタ、シーケンスの終了(End Of Sequence:EOS)、ストリームの終了(End Of Stream:EOS)などがあり、情報nal_unit_typeの値により、RBSPに格納される情報がこれらのうち何れであるかが示される。 The types of NAL units indicated by the information nal_unit_type include slices of various encoded pictures, SEI (Supplemental Enhancement Information), SPS (Sequence Parameter Set), PPS (Picture Parameter Set), AU (Access Unit) delimiters, and sequences. The end of sequence (EOS), the end of stream (End Of Stream: EOS), etc., and the value of the information nal_unit_type indicates which of these is stored in the RBSP.
SEIは、補足的な付加情報であって、VCLの復号化に必須ではない付加情報が示される。SEIとしては、仮想参照デコーダに関連する各ピクチャのタイミング情報、パン・スキャン機能に関する情報、ランダムアクセスのために用いられる情報、ユーザの独自定義による情報(ユーザデータ)などが定義される。SPSは、シーケンス全体の符号化に関わる情報が含まれたヘッダである。PPSは、ピクチャ全体の符号化モードに関わる情報が含まれたヘッダである。また、AUデリミタは、後述するアクセスユニットの先頭を示す。 The SEI is supplementary additional information, and indicates additional information that is not essential for VCL decoding. As SEI, timing information of each picture related to the virtual reference decoder, information on the pan / scan function, information used for random access, information uniquely defined by the user (user data), and the like are defined. The SPS is a header including information related to encoding of the entire sequence. The PPS is a header including information related to the coding mode of the entire picture. The AU delimiter indicates the head of an access unit described later.
ビットストリーム中の情報をピクチャ単位でアクセスするために、幾つかのNALユニットを纏めた一区切りを、アクセスユニットと呼ぶ。図2は、アクセスユニットの一例の構成を示す。図2に示されるアクセスユニットの構成のうち、主ピクチャの各スライスに相当するNALユニットを除いた他の情報は、必ずしもアクセスユニットに存在している必要のない、オプションの情報である。これらオプションの情報を用いる場合には、図2に示されるように、AUデリミタ、SPS、PPS、SEI、主ピクチャ、冗長ピクチャ、EOS(End Of Sequence)およびEOS(End Of Stream)の順序で並んでいる必要がある。各NALユニットは、NALヘッダの情報に基づき識別される。なお、冗長ピクチャに関しては、この発明との関わりが薄いので、説明を省略する。 In order to access the information in the bitstream in units of pictures, a section obtained by collecting several NAL units is called an access unit. FIG. 2 shows an exemplary configuration of the access unit. In the configuration of the access unit shown in FIG. 2, other information excluding the NAL unit corresponding to each slice of the main picture is optional information that does not necessarily need to exist in the access unit. When using these optional information, as shown in FIG. 2, the AU delimiter, SPS, PPS, SEI, main picture, redundant picture, EOS (End Of Sequence) and EOS (End Of Stream) are arranged in this order. It is necessary to be out. Each NAL unit is identified based on information in the NAL header. The redundant picture is not related to the present invention, and the description is omitted.
図3は、この発明の実施の一形態に適用可能なビデオデータの一例の構造を、概略的に示す。この実施の一形態においては、ビデオデータは、GOP(Group Of Picture)構造をとり、GOPは、少なくとも1枚のIピクチャと、それぞれ1乃至複数枚のPピクチャおよびBピクチャとからなる。 FIG. 3 schematically shows a structure of an example of video data applicable to the embodiment of the present invention. In this embodiment, the video data has a GOP (Group Of Picture) structure, and the GOP includes at least one I picture and one or more P pictures and B pictures.
GOP毎に、ヘッダが設けられる。ヘッダは、図2に示したAUデリミタ、SPS、PPSおよびSEIに対応し、少なくともAUデリミタおよびSEIを含む。SEIは、H.264|AVCの規定において複数の名称が定義され、名称毎に異なる情報を伝送するようにされている。この発明の実施の一形態では、特に、SEIのうちユーザ独自の定義が可能とされたSEIである"User Data Unregistered SEI"に対して、記録装置固有の情報を格納するようにしている。 A header is provided for each GOP. The header corresponds to the AU delimiter, SPS, PPS, and SEI shown in FIG. 2, and includes at least the AU delimiter and SEI. SEI H.264 | AVC defines a plurality of names, and different information is transmitted for each name. In the embodiment of the present invention, in particular, information unique to the recording apparatus is stored in “User Data Unregistered SEI” which is SEI that can be defined by the user among SEI.
図4は、このSEI"User Data Unregistered SEI"に格納される情報の一例の構造を表すシンタクスを示す。ここでは、シンタクスをコンピュータ装置などのプログラムの記述言語として用いられるC言語の記述法に基づき示す。これは、他のシンタクスを表す図において、同様である。 FIG. 4 shows syntax that represents an example of the structure of information stored in the SEI “User Data Unregistered SEI”. Here, the syntax is shown based on a description method in C language used as a program description language such as a computer device. This is the same in the diagrams representing other syntaxes.
このSEI"User Data Unregistered SEI"は、図4の最初の行に"user_data_unregistered(payloadSize)"として示されるように、ペイロードサイズ、すなわち、このSEI"User Data Unregistered SEI"の全体のデータ長が指定されて参照される。図4において、128ビットのデータ長を有するフィールドuuid_iso_iec_11578は、所定の識別情報が格納される。次のデータ長が32ビットのフィールドtype_indicatorは、このSEI"User Data Unregistered SEI"のタイプを示す。フィールドtype_indicatorの値が"0x47413934"で、if文に従い、クローズドキャプションのデータが格納されるブロックcc_data()が配される。クローズドキャプションに関しては、この発明と関わりが薄いので、説明を省略する。 The SEI “User Data Unregistered SEI” is designated with the payload size, that is, the entire data length of the SEI “User Data Unregistered SEI”, as indicated by “user_data_unregistered (payloadSize)” in the first line of FIG. Referred to. In FIG. 4, a field uuid_iso_iec_11578 having a data length of 128 bits stores predetermined identification information. A field type_indicator whose next data length is 32 bits indicates the type of this SEI “User Data Unregistered SEI”. The value of the field type_indicator is “0x47413934”, and a block cc_data () in which closed caption data is stored is arranged according to the if statement. Since the closed caption is not related to the present invention, the description is omitted.
なお、数値の記述において"0x"は、その数値が16進表記されていることを示す。これは、以下の同様な表記について共通である。 In the numerical description, “0x” indicates that the numerical value is expressed in hexadecimal. This is common for the following similar notations.
フィールドtype_indicatorの値が"0x4D44504D"であれば、if文における"else if"の記述に従い、ブロックModifiedDVPackMeta()が記述される。このブロックModifiedDVPackMeta()は、このデータを記録した記録装置固有の情報が格納される。ブロックModifiedDVPackMeta()において、8ビットのデータ長を有するフィールドnumber_of_modified_dv_pack_entriesは、このブロックModifiedDVPackMeta()に格納されるデータmodified_dv_packの数を示す。次のforループ文に従い、このフィールドnumber_of_modified_dv_pack_entriesに示される数だけ、データmodified_dv_packすなわちブロックone_modified_dv_pack()が格納される。 If the value of the field type_indicator is “0x4D44504D”, the block ModifiedDVPackMeta () is described according to the description of “else if” in the if statement. This block ModifiedDVPackMeta () stores information specific to the recording apparatus that records this data. In the block ModifiedDVPackMeta (), a field number_of_modified_dv_pack_entries having a data length of 8 bits indicates the number of data modified_dv_pack stored in the block ModifiedDVPackMeta (). According to the next for loop statement, data modified_dv_pack, that is, block one_modified_dv_pack () is stored in the number indicated in this field number_of_modified_dv_pack_entries.
ブロックone_modified_dv_pack()は、8ビットのデータ長を有するフィールドmpd_idと、32ビットのデータ長を有するフィールドmpd_dataとからなる。図5は、ブロックone_modified_dv_pack()の構成の例を表すシンタクスを示す。図5Aは、ブロックone_modified_dv_pack()が、このデータを記録した記録装置を示す情報が格納されるブロックMAKER & MODEL ID pack()である例である。また、図5Bは、ブロックone_modified_dv_pack()が、記録時の画質モードを示す情報が格納されるブロックMAKER OPTION pack()である例である。 The block one_modified_dv_pack () includes a field mpd_id having a data length of 8 bits and a field mpd_data having a data length of 32 bits. FIG. 5 shows syntax that represents an example of the configuration of the block one_modified_dv_pack (). FIG. 5A is an example in which the block one_modified_dv_pack () is a block MAKER & MODEL ID pack () in which information indicating the recording device that has recorded this data is stored. FIG. 5B is an example in which the block one_modified_dv_pack () is a block MAKER OPTION pack () in which information indicating the image quality mode at the time of recording is stored.
図5AのブロックMAKER & MODEL ID pack()について説明する。フィールドmpd_idは、8ビットのデータ長を有し、このブロックone_modified_dv_pack()の種別を示す。すなわち、フィールドmpd_idが所定の値で、このブロックone_modified_dv_pack()がこのデータを記録した記録装置を示す情報が格納されるブロックMAKER & MODEL ID pack()であることが示される。図4で示したフィールドmpd_dataは、このブロックMAKER & MODEL ID pack()においては、それぞれ16ビットのデータ長を有するフィールドmaker_IDと、フィールドmaker_model_codeとに分けられている。フィールドmaker_IDは、このデータを記録した記録装置のメーカを識別するための識別情報を示す。フィールドmaker_model_codeは、当該記録装置の型番や機種を識別する識別情報を示す。 The block MAKER & MODEL ID pack () in FIG. 5A will be described. A field mpd_id has a data length of 8 bits and indicates the type of this block one_modified_dv_pack (). That is, it is indicated that the field mpd_id is a predetermined value, and this block one_modified_dv_pack () is a block MAKER & MODEL ID pack () in which information indicating the recording device that has recorded this data is stored. The field mpd_data shown in FIG. 4 is divided into a field maker_ID and a field maker_model_code each having a data length of 16 bits in the block MAKER & MODEL ID pack (). A field maker_ID indicates identification information for identifying the manufacturer of the recording apparatus that has recorded this data. A field maker_model_code indicates identification information for identifying the model number and model of the recording apparatus.
図5BのブロックMAKER OPTION pack()について説明する。このブロックMAKER OPTION pack()には、上述のように、記録時の画質モードを示す情報が格納される。すなわち、映像や音声を記録再生する装置において、ビットレートを段階的に切り換えることで記録時間と、画質または音質を切り換えることができるようにすることは、一般的に行われている。一例として、最もビットレートが高く高画質(または高音質)が得られるが、記録可能時間が短いHQ(High Quarity)モード、実用上十分な画質と記録可能時間とが保証され、ビットレートが中程度なLP(Long Play)モード、画質は実用上差し支えない程度とし、長時間記録を優先した、ビットレートが低いSP(Standard Play)モードが設定される。 The block MAKER OPTION pack () in FIG. 5B will be described. In this block MAKER OPTION pack (), information indicating the image quality mode at the time of recording is stored as described above. That is, in an apparatus for recording and reproducing video and audio, it is generally performed that the recording time and the image quality or the sound quality can be switched by gradually switching the bit rate. As an example, the highest bit rate and high image quality (or high sound quality) can be obtained, but HQ (High Quarity) mode with a short recordable time, practically sufficient image quality and recordable time are guaranteed, and the bit rate is medium. An LP (Long Play) mode with a low level and a low bit rate SP (Standard Play) mode giving priority to long-time recording is set.
一方、このような記録時の画質モードは、映像および音声の記録フォーマット上、必ずしも表現できる訳ではなく、例えばメーカや装置の型番、機種に固有の仕様である場合も多い。また、ユーザに対しては、再生時に、再生しようとするコンテンツがどのような記録モードで記録されたのかを通知可能とされていることが望ましい。 On the other hand, the image quality mode at the time of recording is not necessarily expressed on the video and audio recording formats, and is often a specification specific to, for example, the model number or model of the manufacturer or apparatus. In addition, it is desirable that the user can be notified of the recording mode in which the content to be reproduced is recorded during reproduction.
そこで、メーカや型番、機種に固有の記録モードを記述可能なブロックMAKER OPTION pack()を定義することが考えられる。このブロックMAKER OPTION pack()は、例えば上述したブロックMAKER & MODEL ID pack()と並列的に用いるとより好ましい。一例として、SEI"User Data Unregistered SEI"に対して、ブロックMAKER & MODEL ID pack()とブロックMAKER OPTION pack()とを併記する。 Therefore, it is conceivable to define a block MAKER OPTION pack () that can describe a recording mode specific to the manufacturer, model number, and model. The block MAKER OPTION pack () is more preferably used in parallel with, for example, the block MAKER & MODEL ID pack () described above. As an example, a block MAKER & MODEL ID pack () and a block MAKER OPTION pack () are written together for SEI “User Data Unregistered SEI”.
図5Bにおいて、フィールドmpd_idは、8ビットのデータ長を有し、このブロックone_modified_dv_pack()の種別を示す。すなわち、フィールドmpd_idが所定の値で、このブロックone_modified_dv_pack()がこのデータを記録した際の画質に関する記録モードを示す情報が格納されるブロックMAKER OPTION pack()であることが示される。 In FIG. 5B, a field mpd_id has a data length of 8 bits and indicates the type of this block one_modified_dv_pack (). That is, it is indicated that the field mpd_id is a predetermined value and this block one_modified_dv_pack () is a block MAKER OPTION pack () in which information indicating a recording mode relating to image quality when this data is recorded is stored.
図4で示したフィールドmpd_dataは、このブロックMAKER OPTION pack()においては、例えば32ビットのデータ長を有するフィールドREC_MODEに、このブロックMAKER OPTION pack()が格納されるSEI"User Data Unregistered SEI"を含むビデオデータが記録された際の、画質に関する記録モードが記述される。例えば、フィールドREC_MODEの値が"0"でHQモード、"1"でSPモード、"2"でLPモードを示す。記録モードは、この3種類に限らず、さらに多くてもよいし、HQモードとSPモードの2種類のみなど少なくてもよい。 The field mpd_data shown in FIG. 4 includes SEI “User Data Unregistered SEI” in which the block MAKER OPTION pack () is stored in the field REC_MODE having a data length of 32 bits, for example, in the block MAKER OPTION pack (). A recording mode relating to image quality when the included video data is recorded is described. For example, when the value of the field REC_MODE is “0”, the HQ mode is indicated, “1” is the SP mode, and “2” is the LP mode. The number of recording modes is not limited to these three types, and may be increased, or only two types of HQ mode and SP mode may be used.
このように、ビデオデータに対して、SEI"User Data Unregistered SEI"に当該ビデオデータを記録した際の画質に関する記録モードが記述されるブロックMAKER OPTION pack()と、当該ビデオデータを記録した記録機のメーカや型番、機種が記述されるブロックMAKER & MODEL ID pack()とを併記することで、当該ビデオデータを再生時に、ブロックMAKER & MODEL ID pack()から当該ビデオデータが自機あるいは自機と同メーカ、同機種、型番の記録機で記録されたか否かが判別できる。当該ビデオデータが自機あるいは自機と同メーカ、同機種、型番の記録機で記録されたと判別できれば、当該記録機に特有のデータの解釈や、処理を行うことができる。 As described above, for the video data, the block MAKER OPTION pack () in which the recording mode relating to the image quality when the video data is recorded in the SEI “User Data Unregistered SEI”, and the recorder that recorded the video data are recorded. By adding the block MAKER & MODEL ID pack () that describes the manufacturer, model number, and model, the video data from the block MAKER & MODEL ID pack () It can be discriminated whether or not the data is recorded by a recorder of the same manufacturer, model and model number. If it can be determined that the video data has been recorded by the recorder or a recorder of the same manufacturer, model, and model number, the interpretation and processing of data specific to the recorder can be performed.
一例として、再生時に、ブロックMAKER OPTION pack()から、再生されるビデオデータが記録された際の画質に関する記録モードを読み取り、例えば表示することができる。また、別の例として、画質に関する記録モードを、SEI"User Data Unregistered SEI"に格納されるブロックone_modified_dv_pack()に対して定義することで、当該記録モードを示す情報がビデオデータのストリーム中に埋め込まれるため、当該ビデオデータに対して編集作業を行った場合でも、記録モード情報を引き継ぐことができる。 As an example, during playback, a recording mode relating to image quality when video data to be played back is recorded can be read from the block MAKER OPTION pack () and displayed, for example. As another example, by defining a recording mode related to image quality for a block one_modified_dv_pack () stored in SEI “User Data Unregistered SEI”, information indicating the recording mode is embedded in a stream of video data. Therefore, even when an editing operation is performed on the video data, the recording mode information can be taken over.
次に、この発明の実施の一形態について説明する。編集点付近の必要最小区間のみを再エンコードすることで編集を行う際には、編集対象のビデオストリームに含まれる所定のパラメータの値がストリームファイル中で固定的である必要がある。例えば、AVCHDフォーマットにおいては、1のストリームファイル内で以下のパラメータ(1)〜(6)が一定でなければならないとして規定されている。
パラメータ(1):画枠の水平方向のサイズを示すパラメータ
パラメータ(2):画枠の垂直方向のサイズを示すパラメータ
パラメータ(3):表示画像のアスペクトを示すパラメータ
パラメータ(4):フレームレートを示すパラメータ
パラメータ(5):フレームの構造を示すパラメータ
パラメータ(6):クローズドキャプションデータの有無を示すパラメータ
Next, an embodiment of the present invention will be described. When editing is performed by re-encoding only the necessary minimum section near the editing point, the value of a predetermined parameter included in the video stream to be edited needs to be fixed in the stream file. For example, the AVCHD format stipulates that the following parameters (1) to (6) must be constant within one stream file.
Parameter (1): Parameter indicating the size of the image frame in the horizontal direction Parameter (2): Parameter indicating the size of the image frame in the vertical direction Parameter (3): Parameter indicating the aspect of the display image Parameter (4): Frame rate Parameter parameter (5): Parameter parameter indicating the structure of the frame (6): Parameter indicating the presence or absence of closed caption data
なお、AVCHDにおけるこれらパラメータ(1)〜(6)の具体的は、H.264|AVCの規定に基づき、下記のようになる。パラメータ(1)は、SPSにおいてコードpic_width_in_mbs_minus1として記述される。パラメータ(2)は、SPSにおいてコードpic_height_in_map_units_minus1として記述される。パラメータ(5)は、SPSにおいてコードframe_mbs_only_flagとして記述される。また、パラメータ(3)は、SPSにおいてコードaspect_ratio_idcとして記述される。パラメータ(4)は、例えばSPSにおけるコードvideo_formatに基づき求められる。これらコードaspect_ratio_idcおよびコードvideo_formatは、SPSにおいてオプションとして記述される。さらに、パラメータ(6)は、上述のSEI"User Data Unregistered SEI"において、フィールドtype_indicatorの値に基づき判断できる。すなわち、フィールドtype_indicatorの値が"0x47413934"のときに、クローズドキャプションのデータが存在すると判断される。 The specifics of these parameters (1) to (6) in AVCHD are described in H.264. Based on the H.264 | AVC rules, The parameter (1) is described as a code pic_width_in_mbs_minus1 in the SPS. The parameter (2) is described as a code pic_height_in_map_units_minus1 in the SPS. The parameter (5) is described as a code frame_mbs_only_flag in the SPS. The parameter (3) is described as a code aspect_ratio_idc in the SPS. The parameter (4) is obtained based on the code video_format in SPS, for example. These code aspect_ratio_idc and code video_format are described as options in the SPS. Further, the parameter (6) can be determined based on the value of the field type_indicator in the SEI “User Data Unregistered SEI” described above. That is, when the value of the field type_indicator is “0x47413934”, it is determined that the closed caption data exists.
ここで、編集対象のストリームファイル中のこれらのパラメータ(1)〜(6)の取り得る値の全てについて編集装置側がエンコード可能であれば、常に編集点付近の必要最小区間のみを再エンコードする方法での編集方法を適用して編集処理を高速に行うことができる。ところが、編集装置をパラメータ(1)〜(6)の取り得る値の全てに対して対応可能なように設計すると、エンコーダの規模が大きくなるのが避けられず、また、コストも嵩んでしまう。 Here, if the editing apparatus can encode all the possible values of these parameters (1) to (6) in the stream file to be edited, a method of always re-encoding only the necessary minimum section near the editing point. It is possible to perform the editing process at high speed by applying the editing method in. However, if the editing apparatus is designed so as to be compatible with all possible values of the parameters (1) to (6), it is inevitable that the encoder becomes large, and the cost increases.
そこで、この発明では、ビデオストリームを編集する際に、編集対象のビデオストリームの所定位置に配置された、当該ビデオストリームを生成した記録装置を示す情報を抽出し、編集対象のビデオストリームを生成した記録装置が特定の記録装置であるか否かを判断する。 Therefore, in the present invention, when a video stream is edited, information indicating the recording device that generated the video stream, which is arranged at a predetermined position of the video stream to be edited, is extracted, and the video stream to be edited is generated. It is determined whether or not the recording device is a specific recording device.
特定の記録装置とは、例えば、その記録装置で生成されたビデオストリームにおける上述のパラメータ(1)〜(6)それぞれの値に示される属性と同等の属性でのエンコードが、編集装置側で可能な値であるような記録装置である。特定の記録装置を示す情報は、例えば、図4および図5を用いて説明したSEI"User Data Unregistered SEI"において、ブロックModifiedDVPackMeta()に格納されるブロックMAKER & MODEL ID pack()に、フィールドmaker_IDおよびフィールドmaker_model_codeとして記述される。 With a specific recording device, for example, the editing device can encode with the attributes equivalent to the attributes shown in the values of the parameters (1) to (6) in the video stream generated by the recording device. It is a recording device that has a large value. For example, in the SEI “User Data Unregistered SEI” described with reference to FIGS. 4 and 5, the information indicating the specific recording device includes the field maker_ID in the block MAKER & MODEL ID pack () stored in the block ModifiedDVPackMeta (). And field maker_model_code.
判断の結果、編集対象のビデオストリームを生成した記録装置が特定の記録装置であるとされれば、編集点付近の必要最小区間のみを再エンコードする手法を用いてビデオストリームの編集を行う。若し、編集対象のビデオストリームを生成した記録装置が特定の記録装置ではないと判断されたら、編集対象のビデオストリームの全体をデコードし、デコードされたビデオデータに対してフレーム単位での編集を行い、編集されたビデオデータの全体を、再エンコードする。 If it is determined that the recording apparatus that generated the video stream to be edited is a specific recording apparatus, the video stream is edited using a method of re-encoding only the necessary minimum section near the editing point. If it is determined that the recording device that generated the video stream to be edited is not a specific recording device, the entire video stream to be edited is decoded, and the decoded video data is edited in units of frames. And re-encode the entire edited video data.
この発明によれば、ビデオストリームの編集時に、編集点付近の必要最小区間のみを再エンコードする手法が適用可能かを、編集対象のビデオストリーム中の情報に基づき容易に判断することできる。また、編集装置側では、特定の記録装置で記録されたストリームファイルを主な編集対象とする場合、編集装置のエンコーダは、対象となる特定の記録装置と同等のパラメータのみに対応するだけで、必要最小区間を再エンコードする手法を用いた編集処理を行うことができる。 According to the present invention, at the time of editing a video stream, it can be easily determined based on information in the video stream to be edited whether a method of re-encoding only the necessary minimum section near the editing point can be applied. On the editing device side, when a stream file recorded by a specific recording device is a main editing target, the encoder of the editing device only supports parameters equivalent to the target specific recording device, Editing processing using a technique for re-encoding the necessary minimum interval can be performed.
この発明の実施の一形態によるビデオストリームの一例の編集方法について説明する。図6Aに例示されるように、GOP#1〜GOP#9の9個のGOPからなるビデオストリームファイルを考える。GOP#1〜GOP#9に対して、ヘッダ#1〜ヘッダ#9がそれぞれ付加されている。ヘッダ#1〜ヘッダ#9のそれぞれには、上述した、このファイルを記録した記録装置の情報を示すデータmodified_dv_packを含むブロックModifiedDVPackMeta()が記述されるSEI"User Data Unregistered SEI"が格納されている。
An example of a video stream editing method according to an embodiment of the present invention will be described. As illustrated in FIG. 6A, a video stream file including nine
このファイルに格納されるビデオストリームに対して、図6Bに一例が示されるように、GOP#3内のあるピクチャに編集点Aを設定し、GOP#7内のあるピクチャに編集点Bを設定し、編集点Aおよび編集点Bの間の区間A−Bに含まれるピクチャを削除して編集点Aおよび編集点Bを結合する編集処理を行うものとする。編集結果は、図6Cに一例が示されるように、編集点Aおよび編集点B間のGOP#4〜GOP#6が削除され、編集点Aを含むGOP#3と、編集点Bを含むGOP#7とが編集点Aおよび編集点Bで結合されたGOP#3+7が生成され、全体として、GOP#1、GOP#2、GOP#3+7、GOP#8およびGOP#9の5個のGOPからなるビデオストリームが生成される。なお、図6Bおよび図6Cでは、繁雑さを避けるためにヘッダの記載を省略している。
For the video stream stored in this file, as shown in FIG. 6B, an edit point A is set for a picture in
図7は、この発明の実施の一形態による編集方法による一例の編集処理を示すフローチャートである。編集対象のファイルが指定されると、ステップS10で、編集対象とされたストリームファイルから、このファイルを記録した記録装置の情報を示すデータmodified_dv_packのブロックMAKER & MODEL ID pack()(図4および図5参照)が検索される。 FIG. 7 is a flowchart showing an example of editing processing by the editing method according to the embodiment of the present invention. When the file to be edited is designated, in step S10, the block MAKER & MODEL ID pack () of data modified_dv_pack indicating the information of the recording device that has recorded this file is selected from the stream file to be edited (FIG. 4 and FIG. 4). 5) is searched.
例えば、図6Aを参照し、編集対象とされたストリームファイルに格納されるビデオストリームの先頭のヘッダ#1のNALユニットが解析され、SEI"User Data Unregistered SEI"が抽出される。そして、SEI"User Data Unregistered SEI"から、このファイルを記録した記録装置の情報を示すデータmodified_dv_packを含むブロックModifiedDVPackMeta()が検索され、さらに、ブロックModifiedDVPackMeta()から、フィールドmpd_idの値に基づきブロックMAKER & MODEL ID pack()が検索される。
For example, referring to FIG. 6A, the NAL unit of the
次のステップS11で、ブロックMAKER & MODEL ID pack()に格納されるフィールドmaker_IDおよびフィールドmaker_model_codeがそれぞれ取得され、同じ属性でエンコードできる機種のデータが存在するか否かが判断される。なお、同じ属性とは、例えば、上述したパラメータ(1)〜(6)について、同一のパラメータ値で以てエンコード可能であることを意味する。 In the next step S11, the field maker_ID and the field maker_model_code stored in the block MAKER & MODEL ID pack () are respectively acquired, and it is determined whether or not there is model data that can be encoded with the same attribute. Note that the same attribute means that, for example, the above parameters (1) to (6) can be encoded with the same parameter value.
例えば、編集装置は、予めROM(Read Only Memory)やハードディスクドライブなどの記憶手段に、当該編集装置が対応可能なパラメータでエンコードを行う記録装置の特定情報(フィールドmaker_IDおよびフィールドmaker_model_codeの値)を記憶しておき、記憶されているフィールドmaker_IDおよびフィールドmaker_model_codeの値のうち、編集対象のビデオストリームから取得されたフィールドmaker_IDおよびフィールドmaker_model_codeの値が一致するものが存在するか否かが判断される。 For example, the editing device stores in advance storage device specific information (field maker_ID and field maker_model_code values) for encoding with parameters compatible with the editing device in a storage means such as a ROM (Read Only Memory) or a hard disk drive. In addition, it is determined whether or not the stored values of the field maker_ID and the field maker_model_code have the same values of the field maker_ID and the field maker_model_code acquired from the video stream to be edited.
若し、ステップS11で、同じ属性でエンコードできる機種のデータが存在すると判断されたら、処理はステップS12に移行され、編集対象のビデオストリームの、編集点付近の必要最小区間のみを再エンコードする手法を用いて編集を行う一方、ステップS11で、同じ属性でエンコードできる機種のデータが存在しないと判断されたら、処理はステップS13に移行され、編集対象のビデオストリームの全区間を再エンコードする手法を用いて編集を行う。 If it is determined in step S11 that there is data of a model that can be encoded with the same attribute, the process proceeds to step S12 to re-encode only the necessary minimum section near the editing point of the video stream to be edited. On the other hand, if it is determined in step S11 that there is no model data that can be encoded with the same attribute, the process proceeds to step S13 to re-encode all sections of the video stream to be edited. Use to edit.
なお、複数のストリームファイルを編集対象とする場合、例えば2つのストリームファイルのそれぞれに編集点を設けて、編集点に基づき当該2ファイルを結合する編集を行う場合、編集対象のそれぞれについて、ステップS10およびステップS11の処理を行う。例えば、編集対象の2ファイルについてそれぞれブロックMAKER & MODEL ID pack()を検索し(ステップS10)、それぞれのブロックMAKER & MODEL ID pack()におけるフィールドmaker_IDおよびフィールドmaker_model_codeの値についての判断がなされる(ステップS11)。 When a plurality of stream files are to be edited, for example, when editing points are provided in each of the two stream files and the two files are combined based on the editing points, step S10 is performed for each of the editing targets. And the process of step S11 is performed. For example, the block MAKER & MODEL ID pack () is searched for two files to be edited (step S10), and the values of the field maker_ID and the field maker_model_code in each block MAKER & MODEL ID pack () are determined ( Step S11).
そして、編集対象の2ファイルにいおけるフィールドmaker_IDおよびフィールドmaker_model_codeの値が、共に、編集装置に記憶されている値に一致していれば、ステップS12の編集点付近の必要最小区間のみの再エンコード処理を行うものとする。 If the values of the field maker_ID and the field maker_model_code in the two files to be edited both match the values stored in the editing device, only the necessary minimum section near the editing point in step S12 is re-encoded. Processing shall be performed.
ステップS12による、編集点付近の必要最小区間のみを再エンコードする手法による一例の編集処理について、図8を用いて概略的に説明する。なお、図8に例示されるビデオストリームの構成は、上述した図6に対応し、9個のGOP#1〜GOP#9からなる。このビデオストリームに対して、上述したようにしてGOP#3内に編集点Aを指定し、GOP#7内に編集点Bを指定し、区間A−Bを削除する編集を行う。
An example of the editing process by the method of re-encoding only the necessary minimum section near the editing point in step S12 will be schematically described with reference to FIG. Note that the configuration of the video stream illustrated in FIG. 8 corresponds to FIG. 6 described above and includes nine
先ず、図8Aに例示されるように、編集点Aを含むGOP#3の直後のGOP#4から、編集点Bを含むGOP#7の直前のGOP#6までがGOP単位で削除される。編集点Aを含むGOP#3と、当該GOP#3の直前のGOP#2とがデコードされる。同様に、編集点Bを含むGOP#7およびGOP#7の直後のGOP#8がデコードされる。
First, as illustrated in FIG. 8A,
次に、図8Bに例示されるように、デコード済みのGOP#3において、編集点AからGOP#3の終端までがフレーム単位で削除される。同様に、デコード済みのGOP#7において、GOP#7の先頭から編集点Bまでがフレーム単位で削除される。そして、図8Cに例示されるように、編集点Aと編集点Bとが結合され、GOP#2、GOP#3+7およびGOP#8が再エンコードされる。
Next, as illustrated in FIG. 8B, in the decoded
なお、上述の図8Aの状態においてデコード前のGOP#2をメモリなどに保持しておき、再エンコードをGOP#3+7およびGOP#8に対して行い、保持されているデコード前のGOP#2をエンコードされたGOP#3+7の直前に上書き複写することも考えられる。
In the state shown in FIG. 8A,
ステップS13による、編集対象のビデオストリームの全区間を再エンコードする手法による一例の編集処理について、図9を用いて概略的に説明する。編集対象のビデオストリームの構成は、上述の図6および図8と同等とする。この場合、図9Aに例示されるように、編集対象のビデオストリームの全体(図9の例ではGOP#1〜GOP#9)を対象としてデコードを行い、編集点Aから編集点Bまでをフレーム単位で削除して編集点Aおよび編集点Bを結合する。編集点Aおよび編集点Bを結合した結果、GOP#3+7が生成される。GOP#3+7が生成されたら、編集結果のGOP#1、GOP#2、GOP#3+7、GOP#8およびGOP#9の全体を再エンコードする(図9B)。
An example of the editing process by the method of re-encoding all sections of the video stream to be edited in step S13 will be schematically described with reference to FIG. The configuration of the video stream to be edited is equivalent to that shown in FIGS. In this case, as illustrated in FIG. 9A, decoding is performed for the entire video stream to be edited (
上述では、1のストリームファイルに格納されたビデオストリームに対して編集点Aおよび編集点Bを設定して編集する例について説明したが、上述の処理は、2つのストリームファイルに格納されたビデオストリームに対してそれぞれ編集点Aおよび編集点Bを設定して編集する場合についても、同様に適用可能である。 In the above description, the example in which the editing point A and the editing point B are set and edited with respect to the video stream stored in one stream file has been described. However, the above-described processing is performed on the video stream stored in two stream files. However, the same can be applied to the case where the editing point A and the editing point B are respectively set and edited.
図10は、2つのストリームファイルに格納されるビデオストリームに対して行う編集処理を概略的に示す。GOP#mを終端とするビデオストリーム100が格納される第1のストリームファイルと、GOP#1を先頭とするビデオストリーム101が格納される第2のストリームファイルとを考える(図10A)。ビデオストリーム100のGOP#m−1内に編集点Aを設定し、ビデオストリーム101のGOP#2内に編集点Bを設定する。そして、ビデオストリーム100の編集点Aから終端までを削除すると共に、ビデオストリーム101の先頭から編集点Bを削除し(図10B)、編集点Aおよび編集点Bを結合して1本のビデオストリーム102を作成する(図10C)。
FIG. 10 schematically shows an editing process performed on video streams stored in two stream files. Consider a first stream file in which a
上述のステップS12による、2つのストリームファイルに格納されるビデオストリームに対して編集を行う場合の、編集点付近の必要最小区間のみを再エンコードする手法による一例の編集処理について、図11を用いて概略的に説明する。なお、図11に例示されるビデオストリームの構成や編集点Aおよび編集点Bの設定、編集箇所などは、上述した図10と同等とする。 With reference to FIG. 11, an example of the editing process by the method of re-encoding only the necessary minimum section near the editing point when editing the video streams stored in the two stream files in step S12 described above will be described. A brief description will be given. The configuration of the video stream exemplified in FIG. 11, the setting of the editing point A and the editing point B, the editing location, and the like are the same as those in FIG.
先ず、図11Aに例示されるように、ビデオストリーム100において、編集点Aを含むGOP#m−1の直後のGOP#mがGOP単位で削除され、GOP#m−1および直前のGOP#m−2とがデコードされる。同様に、ビデオストリーム101において、編集点Bを含むGOP#2の直前のGOP#1がGOP単位で削除され、GOP#2と直後のGOP#3とがデコードされる。
First, as illustrated in FIG. 11A, in the
次に、図11Bに例示されるように、ビデオストリーム100のデコード済みのGOP#m−1において、編集点AからGOP#m−1の終端までがフレーム単位で削除される。同様に、ビデオストリーム101のデコード済みのGOP#2において、GOP#2の先頭から編集点Bまでがフレーム単位で削除される。そして、図11Cに例示されるように、編集点Aと編集点Bとが結合され、GOP#m−2、GOP#(m−1)+(2)およびGOP#3が再エンコードされ、1本のビデオストリーム102が作成される。
Next, as illustrated in FIG. 11B, in the decoded GOP # m-1 of the
なお、上述の図11Aの状態においてデコード前のGOP#2をメモリなどに保持しておき、再エンコードをGOP#3+7およびGOP#8に対して行い、保持されているデコード前のGOP#2をエンコードされたGOP#3+7の直前に上書き複写することも考えられる。
In the state shown in FIG. 11A,
上述のステップS13による、2つのストリームファイルに格納されるビデオストリームに対して編集を行う場合の、編集対象の全区間を再エンコードする手法による一例の処理について、図12を用いて概略的に説明する。なお、図12に例示されるビデオストリームの構成や編集点Aおよび編集点Bの設定、編集箇所などは、上述した図10と同等とする。この場合、図12Aに例示されるように、編集対象のビデオストリーム100の全体と、ビデオストリーム101の全体とをそれぞれを対象としてデコードを行い、ビデオストリーム100においては、編集点Aから終端までをフレーム単位で削除し、ビデオストリーム101においても同様に、先頭から編集点Bまでをフレーム単位で削除する。そして、図12Bに例示されるように、編集点Aと編集点Bとを結合して全体を再エンコードし、1本のビデオストリーム102を得る。
An example of processing by re-encoding all sections to be edited when editing the video streams stored in the two stream files in step S13 described above will be schematically described with reference to FIG. To do. The configuration of the video stream exemplified in FIG. 12, the setting of the editing point A and the editing point B, the editing location, and the like are the same as those in FIG. In this case, as illustrated in FIG. 12A, the
ここで、図8および図9、ならびに、図11および図12を用いて説明した各例のように、編集点Aおよび編集点Bを結合して新たなGOPを生成する際に、編集点Aおよび編集点BのGOP内での位置によっては、当該新たなGOPに含まれるピクチャ数が所定数に満たない場合や、所定数を超える場合が起こり得る。このような場合には、ピクチャの複製や間引きなどを行い、当該新たなGOP内のピクチャ数を所定数に収めることが考えられる。 Here, when the editing point A and the editing point B are combined to generate a new GOP as in the examples described with reference to FIGS. 8 and 9 and FIGS. 11 and 12, the editing point A is generated. Depending on the position of the editing point B in the GOP, the number of pictures included in the new GOP may be less than the predetermined number or may exceed the predetermined number. In such a case, it is considered that the number of pictures in the new GOP is kept within a predetermined number by duplicating or thinning out pictures.
なお、図8および図11を用いて説明した、編集点付近の必要最小区間のみを再エンコードする手法の手順は、この発明の実施の一形態を実施可能とするための一例であって、この方法に限定されるものではない。 The procedure of the method of re-encoding only the necessary minimum section near the editing point described with reference to FIGS. 8 and 11 is an example for enabling one embodiment of the present invention to be implemented. The method is not limited.
また、上述では、図7のステップS11における、同じ属性でエンコードできる機種のデータが存在するか否かの判断の結果、データが存在しないとされ、処理がステップS13に移行した際に、編集対象の全区間を再エンコードする手法を用いて編集を行うように説明したが、これはこの例に限定されない。例えば、編集対象のビデオストリームが装置に対応していない可能性がある旨を、所定の表示手段などを用いて警告するようにしてもよい。 Further, in the above description, it is determined that there is no model data that can be encoded with the same attribute in step S11 in FIG. 7. As a result, it is determined that there is no data. Although it has been described that editing is performed using a method of re-encoding all the sections, this is not limited to this example. For example, a warning may be given using predetermined display means that the video stream to be edited may not be compatible with the device.
図13は、この発明の実施の一形態に適用可能な記録装置1の一例の構成を示す。この記録装置は、入力されたビデオデータおよびオーディオデータを所定の方式で圧縮符号化し、圧縮符号化されたビデオデータおよびオーディオデータを多重化して1本のデータストリームとし、このデータストリームをファイルとして記録媒体に記録するようにしている。
FIG. 13 shows an example of the configuration of a
この図13に例示される記録装置1は、例えば、光学系や撮像素子などを備えたカメラブロックと組み合わせ、撮像した撮像信号に基づくビデオデータを記録媒体に記録する、ビデオカメラ装置の記録ブロックとして用いられるものである。これに限らず、記録装置1は、外部から入力されるビデオデータおよびオーディオデータを記録媒体に記録する、単独の記録装置として用いることもできる。
The
適用可能な圧縮符号化や多重化の方式としては、様々に考えられる。例えば、H.264|AVCに規定される方式を、この発明の実施の一形態の圧縮符号化として適用することができる。また、多重化方式は、例えばMPEG2システムズが適用される。 Various applicable compression encoding and multiplexing methods are conceivable. For example, H.M. H.264 | AVC can be applied as the compression coding according to the embodiment of the present invention. For example, MPEG2 Systems is applied as the multiplexing method.
データを記録する記録媒体20は、例えば記録可能なタイプのDVD(Digital Versatile Disc)を用いることができる。記録媒体20として、より大容量を実現したBlu−ray Disc(ブルーレイディスク:登録商標)を適用することも考えられる。これに限らず、記録媒体20として、半導体メモリを適用することもできるし、ハードディスクドライブを適用することもできる。
As the
制御部5は、例えばCPU(Central Processing Unit)、RAM(Random Access Memory)およびROM(Read Only Memory)などからなり(図示しない)、ROMに予め記憶されたプログラムやデータに基づき、RAMをワークメモリとして用いてこの記録装置1の全体を制御する。また、制御部5上で動作するプログラムにより、この記録装置で用いられるファイルシステムが提供される。例えば、制御部5は、このファイルシステムに基づき、データが記録媒体20に記録される際の、記録媒体20の物理的なアドレスと当該データが格納されるファイルとの関連付けを行うと共に、各データが格納されるファイルの論理的な管理情報を生成する。
The
UI(User Interface)部6は、この記録装置の動作をユーザが操作するための操作子が所定に設けられ、操作子に対する操作に応じた制御信号を出力する。この制御信号は、制御部5に供給される。制御部5は、ユーザ操作に応じてUI部6から供給された制御信号に基づきなされるプログラムの処理により、記録装置1の各部の動作を制御する。例えば、UI部6に対してなされた操作に応じて、記録装置による記録動作の開始および停止の動作が制御部5により制御される。
A UI (User Interface)
ベースバンドのディジタルビデオデータが端子10から入力され、ビデオエンコーダ11に供給される。ビデオエンコーダ11は、複数フレームのビデオデータを格納可能なバッファメモリを有し、供給されたベースバンドのディジタルビデオデータをバッファメモリに溜め込んで、所定の方式で以て圧縮符号化する。AVCHDフォーマットすなわちH.264|AVCに規定される方式に準じて圧縮符号化がなされるこの例では、例えば、DCT(Discrete Cosine Transform)と画面内予測とによりフレーム内圧縮を行うと共に、動きベクトルを用いたフレーム間圧縮を行い、さらにエントロピー符号化を行い圧縮効率を高める。
Baseband digital video data is input from a terminal 10 and supplied to a
ビデオエンコーダ11は、さらに、圧縮符号化されたビデオデータに基づきSPS、PPS、SEIなどの付加情報を所定に生成する。このとき、この記録装置1のメーカ名を識別する識別情報と、機種や型番を識別する識別情報とを、SEI"User Data Unregistered SEI"のブロックMAKER & MODEL ID pack()におけるフィールドmaker_IDおよびフィールドmaker_model_codeの値として生成する。これらメーカ名や、機種、型番の識別情報は、記録装置1が有する図示されないROMに予め記憶される。ビデオエンコーダ11は、圧縮符号化されたビデオデータや、これらSPS、PPS、SEIなどの付加情報からNALユニットを形成し、H.264|AVCエレメンタリストリーム(ES)として出力する。
The
なお、H.264|AVCの規定によれば、デコーダモデルにおいて、デコーダの入力側のバッファである符号化ピクチャバッファ(CPB:Coded Picture Buffer)と、出力側のバッファである復号ピクチャバッファ(DPB:Decoded Picture Buffer)とがそれぞれ定義され、エンコーダは、これらCPBおよびDPBを破綻させないように、ビットストリーム(エレメンタリストリーム)を生成しなければならないとされている。ビデオエンコーダ11は、発生される符号量がこの規定を満たすように、ビデオデータの符号化処理を制御する。
H. According to H.264 | AVC regulations, in a decoder model, a coded picture buffer (CPB) that is a buffer on the input side of the decoder and a decoded picture buffer (DPB: Decoded Picture Buffer) that is a buffer on the output side. Are defined, and the encoder must generate a bit stream (elementary stream) so that the CPB and DPB do not fail. The
その際、発生した符号量に基づき、CPBすなわちデコーダの入力側のバッファに対する畜量情報を求め、符号化で得られたエレメンタリストリームに所定に挿入することができる。例えば、NALユニットにおいて、SPSのオプションとされているコードbit_rate_scale、コードcpb_size_scale、コードbit_rate_value_minus1、コードcpb_size_value_minus1などに、バッファの畜量情報を記述することができる。この畜量情報は、ピクチャ毎に記述してもよいし、GOP毎に記述してもよい。 At this time, based on the generated code amount, the stock amount information for the CPB, that is, the buffer on the input side of the decoder, can be obtained and inserted into the elementary stream obtained by the encoding. For example, in the NAL unit, the buffer stock amount information can be described in a code bit_rate_scale, a code cpb_size_scale, a code bit_rate_value_minus1, a code cpb_size_value_minus1, and the like, which are SPS options. This stock quantity information may be described for each picture or for each GOP.
マルチプレクサ(MUX)12は、ビデオエンコーダ11から出力されたエレメンタリストリームと、図示されないオーディオエンコーダから出力されたオーディオデータのエレメンタリストリームを所定の方式で多重化し、1本のデータストリームとして出力する。MPEG2システムズに準じて多重化が行われるこの例では、MPEG2のトランスポートストリームを用いて、供給されたビデオデータのエレメンタリストリームと、オーディオデータのエレメンタリストリームとを時分割で多重化する。
The multiplexer (MUX) 12 multiplexes an elementary stream output from the
例えば、マルチプレクサ12は、バッファメモリを有し、供給されたエレメンタリストリームを一旦バッファメモリに格納する。バッファメモリに格納されたエレメンタリストリームは、所定サイズ毎に分割されヘッダが付加されて、PES(Packetized Elementary Stream)パケット化される。ヘッダには、パケットに格納されるデータの再生時刻を示すPTSや復号時刻を示すDTSといった、MPEG2システムズに規定される所定の情報が格納される。
For example, the
PESパケットは、さらに分割されてトランスポートパケット(TSパケット)のペイロードに詰め込まれる。TSパケットのヘッダには、ペイロードに詰め込まれたデータ種別などを識別するためのPID(Packet Identification)が格納される。TSパケットに対してさらに所定データ長のヘッダが付加され、ソースパケットが形成される。マルチプレクサ12は、このソースパケットを連ねて1本のデータストリームとして出力する。
The PES packet is further divided and packed in the payload of a transport packet (TS packet). The header of the TS packet stores a PID (Packet Identification) for identifying the data type packed in the payload. A header having a predetermined data length is further added to the TS packet to form a source packet. The
マルチプレクサ12から出力されたデータストリームは、ストリームバッファ13に一時的に格納される。ストリームバッファ13に対するデータストリームの書き込みのタイミングと、ストリームバッファ13からのデータストリームの読み出しのタイミングとをソースパケット単位で所定に制御することで、記録媒体20に対するアクセス速度と、オーディオおよびビデオデータのエンコードの信号処理速度との間の整合性がとられる。
The data stream output from the
ストリームバッファ13から読み出されたソースパケットは、データストリームとして記録処理部14に供給される。記録処理部14は、供給されたデータに対してエラー訂正符号化処理および記録符号化処理を施し、得られたディジタルデータを所定に変調して記録媒体20に記録する。このとき、記録処理部14は、制御部など上位からの命令に基づき、指定されたアドレスに対してデータを書き込む。
The source packet read from the
図14は、この発明の実施の一形態に適用可能な編集装置2の一例の構成を示す。この編集装置2は、例えば上述した記録装置1で記録媒体20に記録されたストリームファイルに格納されるビデオストリームを編集可能とされている。すなわち、編集装置2は、記録媒体20に記録されたストリームファイルを再生してビデオストリームを取り出し、所定にデコードおよびエンコードを行って再び記録媒体20に記録するようにされている。なお、編集装置2は、記録側の構成として上述した記録装置1と同様の構成を有するもので、図13と共通する部分には同一の符号を付し、詳細な説明を省略する。
FIG. 14 shows an example of the configuration of the
この編集装置2の全体は、図示されない制御部により、プログラムに従い制御される。制御部は、CPU(Central Processing Unit)、ROM(Read Only Memory)およびRAM(Random Access Memory)を有し、ROMに予め格納されるプログラムやデータに基づき、RAMをワークメモリとして動作し、編集装置2の各部とコマンドやステータス、データなどのやりとりを行い、編集装置2の動作を制御する。また、制御部上で動作するプログラムにより、この編集装置2で用いられるファイルシステムが提供される。例えば、制御部は、UI部41に対する所定の操作に応じて、ファイルシステムにより記録媒体20に記録されたファイルにアクセスすることができるようにされている。
The
再生処理部30は、記録媒体20に記録されたデータの再生を制御する。すなわち、再生処理部30は、制御部など上位からの命令に基づき記録媒体20の指定されたアドレスからデータの読み出しを行う。再生処理部30は、このデータの読み出しにより記録媒体20から再生された再生信号を復調して再生ディジタルデータとし、再生ディジタルデータの記録符号を復号化すると共にエラー訂正符号を復号してエラー訂正を行い、再生データストリームを得る。この再生データストリームは、ソースパケットが連なって1本のストリームをなしているものである。
The
再生処理部30から出力されたデータストリームは、ストリームバッファ31に一時的に格納される。ストリームバッファ31に対するデータストリームの書き込みのタイミングと、ストリームバッファ31からのデータストリームの読み出しのタイミングとをソースパケット単位で所定に制御することで、記録媒体20に対するアクセス速度と、オーディオおよびビデオデータのデコードの信号処理速度との間の整合性がとられる。
The data stream output from the
ストリームバッファ31から読み出されたデータストリームは、デマルチプレクサ(DEMUX)32に供給される。デマルチプレクサ32は、データストリームに所定に多重化されたビデオデータとオーディオデータとを分離してそれぞれ取り出す。この例では、デマルチプレクサ32は、供給されたデータストリームからソースパケットを抽出し、抽出されたソースパケットのヘッダを分離してTSパケットとする。デマルチプレクサ32は、さらに、TSパケットのヘッダからPIDを検出し、TSパケットをペイロードに格納されるデータ種別毎に振り分ける。そして、振り分けられたTSパケットのそれぞれについて、ペイロードに格納されたデータを取り出し、PESパケットを再構築する。さらに、PESパケットのペイロードに格納された圧縮ビデオデータや圧縮オーディオデータを取り出し、PESヘッダに格納された情報などに基づきヘッダ情報などを付加し、それぞれ1本のエレメンタリストリームとして出力する。
The data stream read from the
デマルチプレクサ32から出力された、オーディオデータのエレメンタリストリームは、図示されないオーディオ処理部に供給される。
The elementary stream of audio data output from the
デマルチプレクサ32から出力された、ビデオデータのエレメンタリストリームは、ビデオデコーダ33に供給される。ビデオデコーダ33は、複数フレームのビデオデータを格納可能なバッファメモリを有し、供給された圧縮ビデオデータをバッファメモリに溜め込んで、圧縮符号化方式に対応した復号化方式でデコードし、ベースバンドのディジタルビデオデータとして出力する。
The elementary stream of video data output from the
ビデオデータの圧縮符号化がH.264|AVCに規定される方式に準じて行われるこの例では、ビデオデコーダ33は、H.264|AVCに規定される方式に準じてデコード処理を行う。すなわち、ビデオデコーダ33は、NALユニットを解析し、圧縮符号化されたビデオデータやSPS、PPS、SEIなどの付加情報をNALユニットから取り出す。ビデオデコーダ33は、NALユニットから取り出した情報に基づき圧縮符号化されたビデオデータの復号化処理を行う。
The compression encoding of video data is H.264. In this example, which is performed in accordance with the method defined in H.264 | AVC, the
ビデオデコーダ33は、後述するデマルチプレクサ(DEMUX)32で抽出される、DTS(Decoding Time Stamp)およびPTS(Presentation Time Stamp)で示される時刻に基づき、デコードおよび出力を行うことができる。ビデオデコーダ33でデコードされて得られたベースバンドのディジタルビデオデータは、端子34から出力される。また、この編集装置2に映像表示を行うモニタ35が接続されている場合には、ビデオデコーダ33から出力されたベースバンドのディジタルビデオデータは、モニタ35にも供給される。なお、モニタ35は、ベースバンドのディジタルビデオデータに対応しているものとする。
The
なお、H.264|AVC規格では、適用可能な画像フォーマットは極めて多岐にわたる。AVCHDフォーマットは、記録可能な記録媒体に対する記録フォーマットであって、適用可能な画像フォーマットを、アスペクト比が16:9で画枠サイズが1920ライン×1080画素のHD(High Definition)フォーマットと、アスペクト比が4:3で画枠サイズが720ライン×480画素のSD(Standard Definition)フォーマットとに限定している。 H. In the H.264 | AVC standard, the applicable image formats are extremely diverse. The AVCHD format is a recording format for a recordable recording medium, and an applicable image format is an HD (High Definition) format having an aspect ratio of 16: 9 and an image frame size of 1920 lines × 1080 pixels, and an aspect ratio. Is 4: 3 and the frame size is limited to 720 lines × 480 pixels SD (Standard Definition) format.
ここで、ビデオデータの圧縮符号化処理と、圧縮符号化されたビデオデータの復号化処理とを比較した場合、一般的には、復号化処理の負荷よりも圧縮符号化処理の負荷の方が遙かに大きいとされている。そのため、この実施の一形態による編集装置2においては、ビデオエンコーダ11の機能を制限して例えばエンコード可能な画像フォーマットをHDフォーマットのみとしている。一方、比較的処理の負荷が小さいビデオデコーダ33は、SDフォーマットおよびHDフォーマットの両方に対応する。
Here, when comparing the compression encoding process of video data and the decoding process of compression encoded video data, generally, the load of the compression encoding process is greater than the load of the decoding process. It is said to be much larger. Therefore, in the
UI部41は、ビデオデータの編集を行うために必要な様々な操作子が設けられ、操作子の操作に対応した制御信号を出力する。エディット部40は、UI部41から供給された制御信号に基づき図示されない制御部とコマンドやデータのやりとりを行ってこの編集装置2の全体を制御し、記録媒体20に記録されるストリームファイルに格納されるビデオストリームに対して編集処理を行う。エディット部40は、ハードディスクドライブ42を有し、編集処理を、このハードディスクドライブ42を用いて行う。
The
ビデオエンコーダ11は、エディット部40から供給されるビデオデータをH.264|AVCに規定される方式に準じて圧縮符号化する。すなわち、図13を用いて説明した記録装置1の場合と同様にしてビデオデータを所定に圧縮符号化すると共に、圧縮符号化されたビデオデータに基づきSPS、PPS、SEIなどの付加情報を所定に生成する。このとき、この編集装置2のメーカ名を識別する識別情報と、機種や型番を識別する識別情報とを、SEI"User Data Unregistered SEI"のブロックMAKER & MODEL ID pack()におけるフィールドmaker_IDおよびフィールドmaker_model_codeの値として生成し、SEI"User Data Unregistered SEI"に追加する。ビデオエンコーダ11は、圧縮符号化されたビデオデータや、これらSPS、PPS、SEIなどの付加情報からNALユニットを形成し、H.264|AVCエレメンタリストリーム(ES)として出力する。
The
マルチプレクサ12は、エディット部40から供給されたエレメンタリストリームと、図示されないオーディオエンコーダから出力されたオーディオデータのエレメンタリストリームをMPEG2システムズに準じた方式で多重化する。すなわち、マルチプレクサ12は、供給されたエレメンタリストリームを所定サイズ毎に分割し、PTSやDTSなど所定の情報が格納されたヘッダを付加してPES(Packetized Elementary Stream)パケット化する。マルチプレクサ12は、PESパケットをさらに分割してTSパケットペイロードに詰め込み、PIDを所定に生成してヘッダを付加する。TSパケットに対してさらに所定データ長のヘッダを付加してソースパケットを形成し、ソースパケットを連ねて1本のデータストリームとして出力する。
The
マルチプレクサ12から出力されたデータストリームは、ストリームバッファ13を介して記録処理部14に供給され、所定にエラー訂正符号化および記録符号化され、変調処理されて記録信号とされ、記録媒体20に記録される。
The data stream output from the
この編集装置2による編集処理について、概略的に説明する。一例として、図6を用いて説明したような、1のストリームファイルに格納されるビデオストリームに対して編集点Aおよび編集点Bを指定して編集を行う場合について説明する。ユーザは、UI部41に対して所定の操作を行い、記録媒体20に記録されるストリームファイルのうち編集対象とするファイルを指定する。エディット部40は、UI部41から出力される制御信号に基づき編集対象のストリームファイルを記録媒体20から読み出すように制御する。ストリームファイルは、記録媒体20から読み出されると、エレメンタリストリームが抽出され、この抽出されたエレメンタリストリームがハードディスクドライブ42に書き込まれる。
The editing process by the
例えば、記録媒体20から読み出されたストリームファイルは、再生処理部30およびストリームバッファ31を介してデマルチプレクサ32に供給されて、パケット構造が分解され、ヘッダ情報が抜き出されると共にペイロードのデータが取り出されてエレメンタリストリームが再構築される。このエレメンタリストリームがエディット部40に供給され、ハードディスクドライブ42に書き込まれる。
For example, the stream file read from the
UI部41に対する所定の操作に応じて、ハードディスクドライブ42からエレメンタリストリームが読み出され、ビデオデコーダ33に供給されベースバンドのディジタルビデオデータとされる。このディジタルビデオデータは、モニタ35に供給され映出される。ユーザは、モニタ35に映出された映像を見ながらUI部41を操作して、編集点Aおよび編集点Bを指定する。編集点Aおよび編集点Bの指定は、例えばフレーム番号やタイムコードなどによりなされる。編集点Aおよび編集点Bの情報は、UI部41からエディット部40に供給され、保持される。そして、UI部41に対して例えば編集実行を指示する操作を行うと、エディット部40は、UI部41からの制御信号に基づき、編集処理を開始する。
An elementary stream is read from the
すなわち、図7を用いて既に説明したように、ハードディスクドライブ42に書き込まれたエレメンタリストリームがビデオデコーダ33に供給される。ビデオデコーダ33は、供給されたエレメンタリストリームのNALユニットを解析し、SEI"User Data Unregistered SEI"を抽出する。抽出されたSEI"User Data Unregistered SEI"は、エディット部40に供給される。
That is, as already described with reference to FIG. 7, the elementary stream written in the
エディット部40は、供給されたSEI"User Data Unregistered SEI"から、このファイルを記録した記録装置の情報を示すデータmodified_dv_packを含むブロックModifiedDVPackMeta()が検索され、さらに、ブロックModifiedDVPackMeta()から、フィールドmpd_idの値に基づきブロックMAKER & MODEL ID pack()が検索される(図7のステップS10)。エディット部40は、検索されたブロックMAKER & MODEL ID pack()に格納されるフィールドmaker_IDと、フィールドmaker_model_codeとに基づき、図7のステップS11による、同じ属性でエンコードできる機種のデータが存在するか否かの判断を行う。
The
なお、この編集装置2と同じ属性でエンコードできる機種の情報は、制御部が有する図示されないROMや、エディット部40に接続されるハードディスクドライブ42などに予め記憶されているものとする。また、編集対象のストリームファイルにおけるSEI"User Data Unregistered SEI"の情報は、編集点Aおよび編集点Bを指定するために当該ストリームファイルを再生する際に取得し、エディット部40に保持していてもよい。
It is assumed that information on the model that can be encoded with the same attribute as that of the
同じ属性でエンコードできる機種のデータが存在すると判断されれば、図7のステップS12による、必要最小区間のみを再エンコードする手法を用いて編集処理が行われる。 If it is determined that there is data of a model that can be encoded with the same attribute, editing processing is performed using a technique of re-encoding only the necessary minimum section in step S12 of FIG.
一例として、図8を用いて説明したように、エディット部40は、ハードディスクドライブ42に書き込まれたエレメンタリストリームから、編集点Aを含むGOP#3と、GOP#3の直前のGOP#2とを読み出す。例えば、エディット部40は、エレメンタリストリームのNALユニットを所定に解析しながらGOPの位置を検出し、所望のGOPを読み出す。読み出されたGOP#2およびGOP#3は、ビデオデコーダ33に供給され、デコードされる。デコードされたデータは、エディット部40に供給され、ハードディスクドライブ42に書き込まれる。エディット部40が有する図示されないRAMに書き込んでもよい。エディット部40は、ハードディスクドライブ42に書き込まれた、デコード済みのGOP#3について、編集点A以降を削除する。
As an example, as described with reference to FIG. 8, the
同様に、エディット部40は、ハードディスクドライブ42に書き込まれたエレメンタリストリームの、編集点Bを含むGOP#7と、GOP#7直後のGOP#8とを読み出す。読み出されたGOP#7およびGOP#8は、ビデオデコーダ33に供給され、デコードされる。デコードされたデータは、エディット部40に供給され、ハードディスクドライブ42などに書き込まれる。エディット部40は、ハードディスクドライブ42に書き込まれた、デコード済みのGOP#7について、先頭から編集点Bまでを削除する。
Similarly, the
次に、エディット部40は、編集点A以降が削除されたGOP#3と、先頭から編集点Bまでが削除されたGOP#7とを接続し、新たなGOPであるGOP#3+7を作成する。GOPの接続の際に、接続されたGOPに含まれるピクチャ数が所定数にならないときは、ピクチャの補間や間引きなどを行い、ピクチャ数が所定数になるようにする。
Next, the
エディット部40は、ハードディスクドライブ42に書き込まれているGOP#2、GOP#3+7およびGOP#8をビデオエンコーダ11に供給し、再エンコードする。再エンコードされたGOP#2、GOP#3+7およびGOP#8は、ハードディスクドライブ42に書き込まれる。このとき、ハードディスクドライブ42に最初に書き込まれた、デコード前のGOP#2を、再エンコードされハードディスクドライブ42に書き込まれたGOP#2に上書きすることができる。エディット部40は、ハードディスクドライブ42に書き込まれたGOP#1、GOP#2、GOP#3+7、GOP#8およびGOP#9を順次、連続的に読み出すことで、1本のエレメンタリストリームを出力させることができる。
The
なお、編集対象のエレメンタリストリームに上述したバッファの畜量情報が記述されている場合には、エディット部40は、この畜量情報に基づき発生符号量を所定に制御して、GOPのエンコードを行う。例えば、編集点Aが含まれるGOP#3の直前のGOP#2、編集点Aを含むGOP#3、編集点Bを含むGOP#7およびGOP#7直後のGOP#8についてNALユニットを解析してバッファの畜量情報を取得し、取得された畜量情報に基づき、各GOPがシームレスに接続されて再生可能なように、エンコード処理が行われる。
If the above-described buffer stock information is described in the elementary stream to be edited, the
一方、図7のステップS11において、SEI"User Data Unregistered SEI"内のブロックModifiedDVPackMeta()におけるブロックMAKER & MODEL ID pack()の情報に基づき、同じ属性でエンコードできる機種のデータが存在しないと判断されれば、図7のステップS13による、編集対象のビデオストリームの全区間を再エンコードする手法を用いて編集処理が行われる。 On the other hand, in step S11 of FIG. 7, it is determined that there is no model data that can be encoded with the same attribute based on the information of the block MAKER & MODEL ID pack () in the block ModifiedDVPackMeta () in the SEI “User Data Unregistered SEI”. Then, the editing process is performed using the technique of re-encoding all the sections of the video stream to be edited in step S13 in FIG.
一例として、図9を用いて説明したように、エディット部40は、ハードディスクドライブ42に書き込まれたエレメンタリストリームを読み出して、ビデオデコーダ33に供給する。ビデオデコーダ33は、供給されたエレメンタリストリームを全てデコードする。デコードされたデータは、エディット部40に供給され、ハードディスクドライブ42に供給される。
As an example, as described with reference to FIG. 9, the
エディット部40は、デコードされたビデオデータに対し、編集点Aから編集点Bまでの間をフレーム単位で削除して編集点Aおよび編集点Bを接続する。このとき、エディット部40は、編集点Aおよび編集点Bの接続の際に、接続部を含むGOPに含まれるピクチャ数が所定数にならないときは、ピクチャの補間や間引きなどを行い、GOP内のピクチャ数が所定数となるようにする。
The
編集点Aおよび編集点Bが接続されたビデオデータは、ビデオエンコーダ11に供給される。ビデオエンコーダ11は、供給されたビデオデータを全長にわたって再エンコードして1本のエレメンタリストリームとして出力する。このエレメンタリストリームは、エディット部40に供給され、ハードディスクドライブ42に書き込まれる。ハードディスクドライブ42に書き込まれたこのデータは、ハードディスクドライブ42から読み出してマルチプレクサ12、ストリームバッファ13および記録処理部14でそれぞれ所定に処理して記録媒体20に書き込んでもよいし、図示されない外部インターフェイスを介して外部に出力してもよい。
The video data to which the editing point A and the editing point B are connected is supplied to the
なお、2つのストリームファイルに対して編集点Aおよび編集点Bをそれぞれ設定して編集して1本のデータストリームを得る場合の処理も、上述の1のストリームファイルに対して編集点Aおよび編集点Bをそれぞれ設定して編集処理を行う場合と同様の処理となるため、説明を省略する。 Note that the processing for setting one editing point A and editing point B for two stream files and editing to obtain one data stream is the same as the processing for editing point A and editing for one stream file described above. Since the processing is the same as when the point B is set and editing processing is performed, the description thereof is omitted.
上述では、編集装置2は、記録媒体20を再生し、記録媒体20に記録されたストリームファイルに格納されたデータストリームに対して編集を行うように説明したが、これはこの例に限定されない。すなわち、編集装置2は、外部から供給されたビデオデータを編集するようにしてもよい。
In the above description, the
ビデオデータがH.264|AVCのエレメンタリストリームの形式で外部から供給される場合には、例えば、外部から供給されたエレメンタリストリームがエディット部40に入力され、ハードディスクドライブ42に書き込まれる。そして、図7を用いて説明した手順でデータストリームに埋め込まれたメーカ情報および機種または型番情報に基づき判断処理を行い、判断結果に応じて、必要最小区間のみを再エンコードする手法、あるいは、編集対象のビデオストリームの全区間を再エンコードする手法の何れかにより、編集処理を行う、
The video data is H.264. In the case of being supplied from the outside in the H.264 | AVC elementary stream format, for example, the elementary stream supplied from the outside is input to the
また、ビデオデータがソースパケットが連なるデータストリームの形式や、MPEG2システムズによるトランスポートストリームの形式で外部から供給される場合には、例えば、外部から供給されたデータストリームがデマルチプレクサ32に入力され、パケット構造が分解され、ヘッダ情報が抜き出されると共にペイロードのデータが取り出されてエレメンタリストリームが再構築される。このエレメンタリストリームがエディット部40に供給され、ハードディスクドライブ42に書き込まれる。以降の処理は、上述と同様である。
Further, when video data is supplied from the outside in the form of a data stream in which source packets are connected or in the form of a transport stream by MPEG2 Systems, for example, the data stream supplied from the outside is input to the
上述の図14では、この発明の実施の一形態による編集処理を行う編集装置2が専用的なハードウェアとして構成されているように説明したが、これはこの例に限られず、例えば、パーソナルコンピュータといったコンピュータ装置で編集装置を構成することも可能である。
In FIG. 14 described above, the
図15は、一般的なコンピュータ装置3の一例の構成を概略的に示す。バス50に対してCPU51、ROM52およびRAM53が接続される。CPU51は、ROM52や後述するハードディスクドライブ60に格納されたプログラムやデータに従い、RAM53をワークメモリとして用い、バス50を介して各部と通信を行いながら、このコンピュータ装置3における各部の動作を制御する。
FIG. 15 schematically illustrates an exemplary configuration of a
バス50には、また、グラフィクス処理部54および通信インターフェイス(通信I/F)55が接続される。グラフィクス処理部54には、モニタ54Aが接続され、CPU51から供給された表示制御信号を映像信号に変換してモニタ54Aに供給し、モニタ54Aに対して所定の画像を映出させることができる。また、通信I/F55は、例えばインターネットやLAN(Local Area Network)といったネットワークと接続され、CPU55の命令に基づき、ネットワークを介してこのコンピュータ装置3と外部との通信を制御する。
A
バス50に対して、さらに、入力インターフェイス(入力I/F)56、ビデオインターフェイス(ビデオI/F)57、ドライブ装置58およびハードディスクドライブ60が接続される。
An input interface (input I / F) 56, a video interface (video I / F) 57, a
入力I/F56には、例えばマウス56Aなどのポインティングデバイスや、キーボード56Bといったキャラクタ入力デバイスといった、ユーザによる入力を受け付ける入力デバイスが接続される。入力I/F56に接続される入力デバイスは、これらの例に限らず、回転角に応じた制御信号が出力されるロータリエンコーダや、スティックを倒した方向や度合いに応じて制御信号を出力するジョイスティック、平面上の位置を指定することで値を出力するタブレットなど、様々に考えられる。
For example, a pointing device such as a
データI/F57は、このコンピュータ装置3と外部の機器との間でディジタルデータのやりとりを行うためのインターフェイスであって、例えばUSB(Universal Serial Bus)やIEEE1394(Institute Electrical and Electronics Engineers 1394)といったインターフェイスが適用可能である。インターフェイスが対応する外部機器が入出力端57Aに接続されると、外部機器とデータI/F57との間でインターフェイスのプロトコルに従ってやりとりがなされ、外部機器とコンピュータ装置3との間でデータ通信可能な状態とされる。
The data I / F 57 is an interface for exchanging digital data between the
ドライブ装置58は、例えばディスク状記録媒体に対応し、装填された記録可能なタイプの記録媒体に対するデータの書き込みや、記録媒体からのデータの読み出しを行うことができる。記録可能なタイプの記録媒体は、例えば記録可能なタイプのDVDを適用可能である。これに限らず、ドライブ装置58は、記録可能なタイプのCD(Compact Disc)やBlu−ray Discに対応可能としてもよい。さらに、ドライブ装置58は、記録可能なタイプの記録媒体のみならず、再生専用の記録媒体、例えばDVD−ROM、CD−ROM(Compact Disc-Read Only Memory)からデータを読み出すことができる。また、ドライブ装置58は、ディスク状記録媒体に対応可能であるのに限られず、例えばフラッシュメモリなどの半導体メモリを記録媒体59として対応してもよい。
The
ハードディスクドライブ60は、上述したように、CPU51で用いるプログラムやデータが格納される。勿論、バス50を介して供給された他のデータの書き込みおよび読み出しを行うことができる。
The
このようなコンピュータ装置3に対して、この発明の実施の一形態による編集方法を実行するための編集プログラムを搭載させることで、このコンピュータ装置3をAVCHDフォーマットに対応したビデオストリームの編集装置として作動させることができる。すなわち、この編集プログラムにより、図14を用いて説明した編集装置2におけるビデオエンコーダ11、マルチプレクサ12、デマルチプレクサ32、ビデオデコーダ33およびエディット部40の機能がCPU51により実現される。なお、ビデオエンコーダ11は、処理の負荷が大きいので、バス50に接続されCPU51に制御される個別のハードウェアとしてもよい。
By installing an editing program for executing the editing method according to the embodiment of the present invention in such a
編集プログラムは、例えばCD−ROMやDVD−ROMといった記録媒体に記録されて提供される。一例として、編集プログラムがDVD−ROMに記録されている場合、当該DVD−ROMがドライブ装置58に装填されると、例えば、CPU51の制御に基づき、ドライブ装置58により装填されたDVD−ROMに記録された、編集プログラムが格納されたプログラムファイルが読み出される。編集プログラムは、プログラムファイルから読み出され、CPU51により所定に展開されてハードディスクドライブ60に書き込まれると共に、システムに登録され、このコンピュータ装置3上で実行可能な状態とされる。
The editing program is provided by being recorded on a recording medium such as a CD-ROM or a DVD-ROM. As an example, when the editing program is recorded on a DVD-ROM, when the DVD-ROM is loaded in the
なお、コンピュータ装置3に対して編集プログラムを提供する方法は、記録媒体を介する方法に限られない。例えば、ネットワークに接続されたサーバ上に当該プログラムファイルを用意しておき、サーバからネットワークを介して通信I/F55で取得するようにしてもよい。また、データI/F57を介してプログラムファイルを受け取るようにもできる。
Note that the method for providing the editing program to the
このように編集プログラムが実行可能に搭載されたコンピュータ装置3で、この発明の実施の一形態による編集方法を実行する際の一例の処理について、概略的に説明する。例えば、図13で示した記録装置1でストリームファイルが記録された記録媒体20をドライブ58に装填し、記録媒体20に記録されたストリームファイルに対して編集を行う。
An example of processing executed when the editing method according to the embodiment of the present invention is executed by the
ストリームファイルが記録された記録媒体20がドライブ装置58に装填され、ユーザにより入力I/F56に接続された入力デバイスを用いて、記録媒体20に記録されたストリームファイルの編集が指示される。
The
CPU51は、記録媒体20に記録されたストリームファイルをハードディスクドライブ60にコピーするように制御する。CPU51は、ハードディスクドライブ60に書き込まれたストリームファイルを読み込み、RAM53をワークメモリとして用いてパケットを分解し、各パケットのヘッダから所定の情報を収集すると共に、ビデオおよびオーディオのエレメンタリストリームを再構築する。エレメンタリストリームは、ハードディスクドライブ60に書き込まれる。なお、以下では、ビデオデータのエレメンタリストリームについて、説明を行う。
The
CPU51は、ハードディスクドライブ60に書き込まれたエレメンタリストリームを読み込んでデコードし、ベースバンドのビデオデータを得る。このベースバンドのビデオデータは、グラフィクス処理部54に供給され、映像信号に変換され、モニタ54Aに映出される。ユーザは、モニタ54Aに映出された映像を見ながら入力I/F56に接続された入力デバイスを操作して、編集点Aおよび編集点Bを、フレーム番号やタイムコードなどで指定する。編集点Aおよび編集点Bの情報は、例えばRAM53に保持される。
The
入力デバイスを用いて編集実行が指示されると、CPU51は、ハードディスクドライブ60に書き込まれたエレメンタリストリームに対して編集処理を開始する。すなわち、図7を用いて既に説明したように、CPU51は、ハードディスクドライブ60に書き込まれたエレメンタリストリームのNALユニットを解析し、SEI"User Data Unregistered SEI"を抽出する。そして、抽出されたSEI"User Data Unregistered SEI"から、記録媒体20に編集対象のエレメンタリストリームが格納されたファイルを記録した記録装置の情報を示すデータmodified_dv_packを含むブロックModifiedDVPackMeta()が検索され、さらに、ブロックModifiedDVPackMeta()から、フィールドmpd_idの値に基づきブロックMAKER & MODEL ID pack()が検索される(図7のステップS10)。
When editing is instructed using the input device, the
なお、編集対象のストリームファイルにおけるSEI"User Data Unregistered SEI"の情報は、編集点Aおよび編集点Bを指定するために当該ストリームファイルを再生する際に取得し、RAM53に保持していてもよい。
Note that the information of SEI “User Data Unregistered SEI” in the stream file to be edited may be acquired when the stream file is played back in order to designate the editing point A and the editing point B, and may be held in the
CPU51は、検索されたブロックMAKER & MODEL ID pack()に格納されるフィールドmaker_IDと、フィールドmaker_model_codeとに基づき、図7のステップS11による、同じ属性でエンコードできる機種のデータが存在するか否かの判断を行う。
Based on the field maker_ID and the field maker_model_code stored in the searched block MAKER & MODEL ID pack (), the
なお、このコンピュータ装置3に搭載される編集プログラムと同じ属性でエンコードできる機種の情報は、例えば当該編集プログラムが格納されるプログラムファイルに、編集プログラムと共に格納される。これに限らず、別のファイルとして当該プログラムファイルが記録される記録媒体に記録されて提供されてもよいし、ネットワークに接続された外部のサーバなどからネットワークを介して提供されてもよい。
Note that information on the model that can be encoded with the same attribute as the editing program installed in the
同じ属性でエンコードできる機種のデータが存在すると判断されれば、図7のステップS12による、必要最小区間のみを再エンコードする手法を用いて編集処理が行われる。 If it is determined that there is data of a model that can be encoded with the same attribute, editing processing is performed using a technique of re-encoding only the necessary minimum section in step S12 of FIG.
一例として、図8を用いて説明したようにCPU51は、ハードディスクドライブ60に書き込まれたエレメンタリストリームから、編集点Aを含むGOP#3と、GOP#3の直前のGOP#2とを読み出す。例えば、エディット部40は、エレメンタリストリームのNALユニットを所定に解析しながらGOPの位置を検出し、所望のGOPを読み出す。CPU51は、読み出されたGOP#2およびGOP#3をデコードし、ハードディスクドライブ60またはRAM53に書き込む。CPU51は、ハードディスクドライブ60またはRAM53に書き込まれた、デコード済みのGOP#3について、編集点A以降を削除する。同様に、CPU51は、ハードディスクドライブ60に書き込まれたエレメンタリストリームの、編集点Bを含むGOP#7と、GOP#7直後のGOP#8とを読み出してデコードし、ハードディスクドライブ60またはRAM53に書き込む。CPU51は、ハードディスクドライブ60またはRAM53に書き込まれた、デコード済みのGOP#7について、先頭から編集点Bまでを削除する。
As an example, as described with reference to FIG. 8, the
次に、CPU51は、ハードディスクドライブ60上またはRAM53上で、編集点A以降が削除されたGOP#3と、先頭から編集点Bまでが削除されたGOP#7とを接続し、新たなGOPであるGOP#3+7を作成する。GOPの接続の際に、接続されたGOPに含まれるピクチャ数が所定数にならないときは、ピクチャの補間や間引きなどを行い、ピクチャ数が所定数になるようにする。
Next, on the
CPU51は、ハードディスクドライブ60またはRAM53に書き込まれているGOP#2、GOP#3+7およびGOP#8を再エンコードし、ハードディスクドライブ60に書き込む。このとき、ハードディスクドライブ60またはRAM53に最初に書き込まれた、デコード前のGOP#2を、再エンコードされハードディスクドライブ60に書き込まれたGOP#2に上書きすることができる。CPU51は、再エンコードされハードディスクドライブ60に書き込まれたGOP#1、GOP#2、GOP#3+7、GOP#8およびGOP#9を順次、連続的に読み出すことで、1本のエレメンタリストリームを出力させることができる。
The
なお、編集対象のエレメンタリストリームに上述したバッファの畜量情報が記述されている場合には、CPU51は、この畜量情報に基づき発生符号量を所定に制御して、GOPのエンコードを行う。
When the above-described buffer stock amount information is described in the elementary stream to be edited, the
一方、図7のステップS11において、SEI"User Data Unregistered SEI"内のブロックModifiedDVPackMeta()におけるブロックMAKER & MODEL ID pack()の情報に基づき、同じ属性でエンコードできる機種のデータが存在しないと判断されれば、図7のステップS13による、編集対象のビデオストリームの全区間を再エンコードする手法を用いて編集処理が行われる。 On the other hand, in step S11 of FIG. 7, it is determined that there is no model data that can be encoded with the same attribute based on the information of the block MAKER & MODEL ID pack () in the block ModifiedDVPackMeta () in the SEI “User Data Unregistered SEI”. Then, the editing process is performed using the technique of re-encoding all the sections of the video stream to be edited in step S13 in FIG.
一例として、図9を用いて説明したように、CPU51は、ハードディスクドライブ60に書き込まれたエレメンタリストリームを読み出してデコードする。デコードされたデータは、ハードディスクドライブ60に書き込まれる。RAM53の容量が十分大きければ、デコードされたデータをRAM53に書き込むようにしてもよい。
As an example, as described with reference to FIG. 9, the
CPU51は、デコードされたビデオデータに対し、編集点Aから編集点Bまでの間をフレーム単位で削除して編集点Aおよび編集点Bを接続する。このとき、CPU51は、編集点Aおよび編集点Bの接続の際に、接続部を含むGOPに含まれるピクチャ数が所定数にならないときは、ピクチャの補間や間引きなどを行い、GOP内のピクチャ数が所定数となるようにする。CPU51は、編集点Aおよび編集点Bが接続されたビデオデータを全長にわたって再エンコードして1本のエレメンタリストリームを生成する。このエレメンタリストリームは、ハードディスクドライブ60に書き込まれる。
The
なお、2つのストリームファイルに対して編集点Aおよび編集点Bをそれぞれ設定して編集して1本のデータストリームを得る場合の処理も、上述の1のストリームファイルに対して編集点Aおよび編集点Bをそれぞれ設定して編集処理を行う場合と同様の処理となるため、説明を省略する。 Note that the processing for setting one editing point A and editing point B for two stream files and editing to obtain one data stream is the same as the processing for editing point A and editing for one stream file described above. Since the processing is the same as when the point B is set and editing processing is performed, the description thereof is omitted.
編集処理が終了してハードディスクドライブ60に書き込まれたエレメンタリストリームは、CPU51により、PESパケット化、TSパケット化およびソースパケット化され、MPEG2システムズのトランスポートストリームとされる。このデータストリームは、ドライブ装置58に供給され、記録媒体に記録される。
The elementary stream written to the
編集結果のエレメンタリストリームは、ドライブ装置58に装填されている記録媒体に書き込むのに限らず、例えばハードディスクドライブ60に蓄積的に保持していてもよい。また、当該エレメンタリストリームをハードディスクドライブ60から読み出して、データI/F57を介して外部機器に対して出力するようにもできる。通信I/F55からネットワークを介して外部に送信することもできる。また、編集結果のエレメンタリストリームを所定にパケット化してトランスポートストリームとして、ハードディスクドライブ60への蓄積、データI/F57を介しての外部機器への出力、通信I/F55からネットワークを介しての外部への送信を行ってもよい。
The elementary stream of the edited result is not limited to being written on the recording medium loaded in the
また、編集対象のビデオデータは、ドライブ装置58に装填された記録媒体から読み出されるのに限らず、外部から供給されたビデオデータを編集対象とすることもできる。例えば、編集対象のビデオデータを入出力端57Aから入力し、データI/F57を介してハードディスクドライブ60に書き込む。CPU51は、上述と同様にして、ハードディスクドライブ60に書き込まれたビデオデータに対して編集処理を行う。
Further, the video data to be edited is not limited to being read from the recording medium loaded in the
なお、上述では、編集時のデコード処理において、ビデオデコーダ33が入力されたエレメンタリストリームをデコード可能であるとして説明したが、これはこの例に限定されない。すなわち、ビデオデコーダ33は、フォーマットに規定される全てのストリームをデコードできるとは限らない。そのため、例えば図7のステップS11における同じ属性でエンコードできる機種のデータが存在するか否かの判断の結果、データが存在しないとされた場合には、ビデオデコーダ33に入力されるエレメンタリストリームをビデオデコーダ33がデコードできない可能性もあり得る。
In the above description, it has been described that the elementary stream to which the
この場合には、以下に示す2つの方法のうち、何れかを行うことが考えられる。第1の方法は、図7のステップS11における同じ属性でエンコードできる機種のデータが存在するか否かの判断の結果、データが存在しないとされた場合でも、上述したように、当該エレメンタリストリームをビデオデコーダ33に入力してデコード処理を行い、ビデオデコーダ33においてエラーが発生したらデコード失敗とする方法である。この場合には、デコードできなかった旨を、所定の表示手段などを用いて通知すると、好ましい。
In this case, it is conceivable to perform one of the following two methods. In the first method, as described above, even if it is determined that there is no model data that can be encoded with the same attribute in step S11 of FIG. Is input to the
第2の方法は、当該エレメンタリストリームの属性情報を用いる方法である。例えば、AVCHDフォーマットにおいては、当該エレメンタリストリームがパケット化されたビデオストリームが格納されるストリームファイルに対して、当該ビデオストリームの属性を示す属性情報が格納された属性情報ファイルを作成し、当該ストリームファイルが記録される記録媒体に、この属性情報ファイルを共に記録するようにされている。この属性情報ファイルには、対応するストリームの本数や、対応するストリームのそれぞれに対する符号化に関するパラメータが記述されている。 The second method uses attribute information of the elementary stream. For example, in the AVCHD format, an attribute information file in which attribute information indicating the attribute of the video stream is stored is created for the stream file in which the video stream in which the elementary stream is packetized is stored. The attribute information file is recorded together on a recording medium on which the file is recorded. In this attribute information file, the number of corresponding streams and parameters relating to encoding for each of the corresponding streams are described.
そこで、編集時のデコードの際にこの属性情報ファイルを参照して符号化に関するパラメータを抽出し、対応可能か否かを判断する。対応不可であると判断されたら、デコード処理を中止する。このとき、例えばその旨を所定の表示手段などを用いて警告すると好ましい。一方、パラメータに基づき対応可能であると判断されたら、当該エレメンタリストリームをビデオデコーダ33に入力し、デコードを開始する。デコード開始後は、上述の第1の方法と同様に、ビデオデコーダ33においてエラーが発生したらデコード失敗とする。
Therefore, when decoding at the time of editing, the attribute information file is referred to extract parameters relating to encoding, and it is determined whether or not it can be handled. If it is determined that the response is not possible, the decoding process is stopped. At this time, for example, it is preferable to warn to that effect using a predetermined display means or the like. On the other hand, if it is determined that the response is possible based on the parameters, the elementary stream is input to the
1 記録装置
2 編集装置
3 コンピュータ装置
11 ビデオエンコーダ
12 マルチプレクサ
13 ストリームバッファ
14 記録処理部
20 記録媒体
30 再生処理部
31 ストリームバッファ
32 デマルチプレクサ
33 ビデオデコーダ
40 エディット部
41 UI部
42 ハードディスクドライブ
51 CPU
52 ROM
53 RAM
58 ドライブ装置
60 ハードディスクドライブ
1
52 ROM
53 RAM
58
Claims (8)
フレーム間圧縮を用いて圧縮符号化されたビデオデータからなるデータストリームに埋め込まれた、該データストリームを生成した装置を識別する識別情報を該データストリームから抽出する抽出部と、
上記データストリームをデコードするデコード部と、
ビデオデータをフレーム間圧縮を用いた圧縮符号化により、所定の属性で以てエンコードするエンコード部と、
上記データストリームに対して設定された編集点に基づき、該データストリームに対して上記デコードおよび上記エンコードを行い該データストリームを編集するようにした編集部と
を備え、
上記編集部は、
上記抽出部で上記ストリームデータから抽出された上記識別情報が、上記エンコード部による上記エンコードの際の上記所定の属性と同一の属性でエンコード可能な装置を示しているか否かを判断し、示していると判断したら、上記編集点を含む所定区間を上記デコードおよび上記エンコードすることで編集を行う
ことを特徴とする編集装置。 In an editing apparatus that edits video data compression-encoded using inter-frame compression,
An extraction unit that extracts identification information for identifying a device that has generated the data stream embedded in a data stream including video data that has been compression-encoded using inter-frame compression ;
A decoding unit for decoding the data stream;
An encoding unit that encodes video data with a predetermined attribute by compression encoding using inter-frame compression;
An editing unit configured to edit the data stream by performing the decoding and the encoding on the data stream based on the editing point set for the data stream,
The editorial department
It is determined whether or not the identification information extracted from the stream data by the extraction unit indicates a device that can be encoded with the same attribute as the predetermined attribute at the time of encoding by the encoding unit. And editing the predetermined section including the editing point by decoding and encoding the predetermined section.
上記編集部は、上記抽出部で上記ストリームデータから抽出された上記識別情報が、上記エンコード部による上記エンコードの際の上記所定の属性と同一の属性でエンコード可能な装置を示していないと判断したら、上記データストリームの全体を上記デコードおよび上記エンコードすることで編集を行う
ことを特徴とする編集装置。 The editing apparatus according to claim 1,
When the editing unit determines that the identification information extracted from the stream data by the extraction unit does not indicate a device that can be encoded with the same attribute as the predetermined attribute at the time of encoding by the encoding unit. An editing apparatus for performing editing by decoding and encoding the entire data stream.
上記識別情報は、上記装置のメーカを識別する情報と、上記装置の機種または型番を識別する情報とからなる
ことを特徴とする編集装置。 The editing apparatus according to claim 1,
The editing apparatus according to claim 1, wherein the identification information includes information for identifying a manufacturer of the apparatus and information for identifying a model or model number of the apparatus.
上記属性は、上記ビデオデータの画枠サイズ、アスペクト比、フレームレート、フレーム構造およびクローズドキャプション情報の有無を含む
ことを特徴とする編集装置。 The editing apparatus according to claim 1,
The editing apparatus according to claim 1, wherein the attributes include an image frame size, an aspect ratio, a frame rate, a frame structure, and presence / absence of closed caption information of the video data.
上記抽出部は、上記ストリームデータに埋め込まれた、該ストリームデータをデコードする際のバッファ畜量情報をさらに抽出し、上記エンコード部は、上記抽出部で抽出された該バッファ畜量情報に基づき上記エンコードを行うようにした
ことを特徴とする編集装置。 The editing apparatus according to claim 1,
The extraction unit further extracts buffer livestock information embedded in the stream data when decoding the stream data, and the encoding unit performs the above-described buffer livestock information extracted by the extraction unit. An editing apparatus characterized by encoding.
フレーム間圧縮を用いて圧縮符号化されたビデオデータからなるデータストリームに埋め込まれた、該データストリームを生成した装置を識別する識別情報を該データストリームから抽出する抽出のステップと、
上記データストリームをデコードするデコードのステップと、
ビデオデータをフレーム間圧縮を用いた圧縮符号化により、所定の属性で以てエンコードするエンコードのステップと、
上記データストリームに対して設定された編集点に基づき、該データストリームに対して上記デコードおよび上記エンコードを行い該データストリームを編集するようにした編集のステップと
を備え、
上記編集のステップは、
上記抽出のステップで上記ストリームデータから抽出された上記識別情報が、上記エンコードのステップによる上記エンコードの際の上記所定の属性と同一の属性でエンコード可能な装置を示しているか否かを判断し、示していると判断したら、上記編集点を含む所定区間を上記デコードおよび上記エンコードすることで編集を行う
ことを特徴とする編集方法。 In an editing method for editing video data compression-encoded using inter-frame compression,
An extraction step of extracting identification information from the data stream, which is embedded in a data stream composed of video data compressed and encoded using inter-frame compression, identifying the device that generated the data stream;
A decoding step for decoding the data stream;
An encoding step of encoding video data with predetermined attributes by compression encoding using inter-frame compression;
An editing step for editing the data stream by performing the decoding and the encoding on the data stream based on the editing point set for the data stream,
The editing steps above are
Step the identification information extracted from the stream data of the extraction, it is determined whether the shows encodable device in the same attribute and the predetermined attributes during the encoding by step of the encoding, An editing method comprising: editing the predetermined section including the editing point by decoding and encoding the predetermined section when it is determined that the editing point is indicated.
上記編集方法は、
フレーム間圧縮を用いて圧縮符号化されたビデオデータからなるデータストリームに埋め込まれた、該データストリームを生成した装置を識別する識別情報を該データストリームから抽出する抽出のステップと、
上記データストリームをデコードするデコードのステップと、
ビデオデータをフレーム間圧縮を用いた圧縮符号化により、所定の属性で以てエンコードするエンコードのステップと、
上記データストリームに対して設定された編集点に基づき、該データストリームに対して上記デコードおよび上記エンコードを行い該データストリームを編集するようにした編集のステップと
を備え、
上記編集のステップは、
上記抽出のステップで上記ストリームデータから抽出された上記識別情報が、上記エンコードのステップによる上記エンコードの際の上記所定の属性と同一の属性でエンコード可能な装置を示しているか否かを判断し、示していると判断したら、上記編集点を含む所定区間を上記デコードおよび上記エンコードすることで編集を行う
ことを特徴とする編集プログラム。 In an editing program for causing a computer apparatus to execute an editing method for editing video data compressed and encoded using inter-frame compression,
The above editing method is
An extraction step of extracting identification information from the data stream, which is embedded in a data stream composed of video data compressed and encoded using inter-frame compression, identifying the device that generated the data stream;
A decoding step for decoding the data stream;
An encoding step of encoding video data with predetermined attributes by compression encoding using inter-frame compression;
An editing step for editing the data stream by performing the decoding and the encoding on the data stream based on the editing point set for the data stream,
The editing steps above are
Step the identification information extracted from the stream data of the extraction, it is determined whether the shows encodable device in the same attribute and the predetermined attributes during the encoding by step of the encoding, If it is determined that the editing point is indicated, the editing program is performed by performing the decoding and the encoding on a predetermined section including the editing point.
ビデオデータをフレーム間圧縮を用いた圧縮符号化により所定の属性で以てエンコードしてデータストリームとして出力する第1のエンコード部と、
上記第1のエンコード部から出力された上記データストリームをストリームファイルとして記録媒体に記録する記録部と
を備え、
上記データストリームに対して装置自体を識別する識別情報を埋め込んで上記記録媒体に記録する
ようにした記録装置と、
上記記録媒体に記録された上記ストリームファイルを読み出して上記データストリームを取り出す再生部と、
上記データストリームから上記識別情報を抽出する抽出部と、
上記データストリームをデコードするデコード部と、
ビデオデータをフレーム間圧縮を用いた圧縮符号化により、上記所定の属性で以てエンコードする第2のエンコード部と、
上記データストリームに対して設定された編集点に基づき、該データストリームに対して上記デコードおよび上記エンコードを行い該データストリームを編集するようにした編集部と
を備え、
上記編集部は、
上記抽出部で上記ストリームデータから抽出された上記識別情報が、上記第2のエンコード部による上記エンコードの際の上記所定の属性と同一の属性でエンコード可能な装置を示しているか否かを判断し、示していると判断したら、上記編集点を含む所定区間を上記デコードおよび上記エンコードすることで編集を行う
ようにした編集装置と
を有する
ことを特徴とする編集システム。 In an editing system that compresses and encodes video data using inter-frame compression and records it on a recording medium, and edits the compressed and encoded video data using inter-frame compression reproduced from the recording medium.
A first encoding unit that encodes video data with a predetermined attribute by compression encoding using inter-frame compression and outputs as a data stream;
A recording unit that records the data stream output from the first encoding unit on a recording medium as a stream file;
A recording device in which identification information for identifying the device itself is embedded in the data stream and recorded on the recording medium;
A reproducing unit that reads out the stream file recorded on the recording medium and extracts the data stream;
An extractor for extracting the identification information from the data stream;
A decoding unit for decoding the data stream;
A second encoding unit that encodes video data with the predetermined attribute by compression encoding using inter-frame compression;
An editing unit configured to edit the data stream by performing the decoding and the encoding on the data stream based on the editing point set for the data stream,
The editorial department
It is determined whether or not the identification information extracted from the stream data by the extraction unit indicates a device that can be encoded with the same attribute as the predetermined attribute at the time of encoding by the second encoding unit. An editing system comprising: an editing device that performs editing by decoding and encoding a predetermined section including the editing point when it is determined that the editing point is indicated.
Priority Applications (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006219002A JP4737003B2 (en) | 2006-08-10 | 2006-08-10 | Editing apparatus, editing method, editing program, and editing system |
PCT/JP2007/065882 WO2008018618A1 (en) | 2006-08-10 | 2007-08-08 | Edition device, edition method, edition program, and edition system |
EP20070792522 EP2051528B1 (en) | 2006-08-10 | 2007-08-08 | Edition device, edition method, edition program, and edition system |
CN2007800011466A CN101356826B (en) | 2006-08-10 | 2007-08-08 | Edition device, edition method and edition system |
KR1020087008330A KR101323472B1 (en) | 2006-08-10 | 2007-08-08 | Edition device, edition method, recording medium of edition program, and edition system |
TW96129438A TW200908745A (en) | 2006-08-10 | 2007-08-09 | Edition device, edition method, edition program, and edition system |
US12/083,180 US8189665B2 (en) | 2006-08-10 | 2007-09-08 | Editing apparatus, editing method, editing program, and editing system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006219002A JP4737003B2 (en) | 2006-08-10 | 2006-08-10 | Editing apparatus, editing method, editing program, and editing system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008047983A JP2008047983A (en) | 2008-02-28 |
JP4737003B2 true JP4737003B2 (en) | 2011-07-27 |
Family
ID=39033138
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006219002A Expired - Fee Related JP4737003B2 (en) | 2006-08-10 | 2006-08-10 | Editing apparatus, editing method, editing program, and editing system |
Country Status (7)
Country | Link |
---|---|
US (1) | US8189665B2 (en) |
EP (1) | EP2051528B1 (en) |
JP (1) | JP4737003B2 (en) |
KR (1) | KR101323472B1 (en) |
CN (1) | CN101356826B (en) |
TW (1) | TW200908745A (en) |
WO (1) | WO2008018618A1 (en) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4325657B2 (en) * | 2006-10-02 | 2009-09-02 | ソニー株式会社 | Optical disc reproducing apparatus, signal processing method, and program |
JP5522725B2 (en) * | 2007-12-20 | 2014-06-18 | 日本電気株式会社 | TERMINAL DEVICE, TERMINAL DEVICE CONTROL METHOD, AND CONTROL PROGRAM |
JP4445555B2 (en) * | 2008-02-06 | 2010-04-07 | 株式会社東芝 | Content editing device |
JP5085462B2 (en) * | 2008-08-11 | 2012-11-28 | ソニー株式会社 | Information recording apparatus, imaging apparatus, information recording method, and program |
US9288470B2 (en) | 2008-12-02 | 2016-03-15 | Lg Electronics Inc. | 3D image signal transmission method, 3D image display apparatus and signal processing method therein |
JP5553533B2 (en) * | 2009-06-08 | 2014-07-16 | キヤノン株式会社 | Image editing apparatus, control method thereof, and program |
US8471890B1 (en) * | 2009-12-30 | 2013-06-25 | Insors Integrated Communications | Adaptive video communication channel |
EP2728861B1 (en) * | 2011-07-02 | 2017-10-04 | Samsung Electronics Co., Ltd. | Method and apparatus for multiplexing and demultiplexing video data to identify reproducing state of video data. |
EP2870762A4 (en) * | 2012-07-06 | 2016-03-02 | Sharp Kk | Electronic devices for signaling sub-picture based hypothetical reference decoder parameters |
JP6463967B2 (en) * | 2014-12-25 | 2019-02-06 | キヤノン株式会社 | Imaging apparatus and control method thereof |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11196376A (en) * | 1997-12-26 | 1999-07-21 | Victor Co Of Japan Ltd | Image compression stream editing device and method therefor |
JPH11289541A (en) * | 1998-02-06 | 1999-10-19 | Sony Corp | Moving image coding method, moving image coder and recording medium |
JP2002218390A (en) * | 2001-01-24 | 2002-08-02 | Nec Corp | Mpeg video editor and mpeg video editing method |
JP2003085877A (en) * | 2001-09-10 | 2003-03-20 | Hitachi Ltd | Bit stream converter, multiplexer, recorder, reproducing and recording device, data aggregate and computer software |
JP2004328450A (en) * | 2003-04-25 | 2004-11-18 | Sony Corp | Reproducer, reproducing method, reproducing program, and recording medium |
JP2006109160A (en) * | 2004-10-06 | 2006-04-20 | Sony Corp | Information processing device and method therefor, and program |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0935395A2 (en) | 1998-02-06 | 1999-08-11 | Sony Corporation | Video encoding methods and apparatus |
JP4545993B2 (en) | 2000-06-26 | 2010-09-15 | パナソニック株式会社 | Editing device for optical disk, computer-readable recording medium, editing program. |
JP3896949B2 (en) | 2002-11-08 | 2007-03-22 | 日本電気株式会社 | Video editing apparatus and video editing program |
JP3912536B2 (en) | 2003-03-25 | 2007-05-09 | ソニー株式会社 | RECORDING METHOD, RECORDING DEVICE, RECORDING MEDIUM, IMAGING DEVICE, AND IMAGING METHOD |
JP2004357055A (en) | 2003-05-29 | 2004-12-16 | Toshiba Corp | Editing device and editing method |
JP4127662B2 (en) | 2003-06-27 | 2008-07-30 | 株式会社東芝 | Editing method and editing apparatus |
JP2009260933A (en) * | 2008-03-17 | 2009-11-05 | Toshiba Corp | Video contents editing apparatus, program therefor, and video contents editing method |
-
2006
- 2006-08-10 JP JP2006219002A patent/JP4737003B2/en not_active Expired - Fee Related
-
2007
- 2007-08-08 WO PCT/JP2007/065882 patent/WO2008018618A1/en active Application Filing
- 2007-08-08 EP EP20070792522 patent/EP2051528B1/en not_active Expired - Fee Related
- 2007-08-08 KR KR1020087008330A patent/KR101323472B1/en not_active IP Right Cessation
- 2007-08-08 CN CN2007800011466A patent/CN101356826B/en not_active Expired - Fee Related
- 2007-08-09 TW TW96129438A patent/TW200908745A/en not_active IP Right Cessation
- 2007-09-08 US US12/083,180 patent/US8189665B2/en not_active Expired - Fee Related
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11196376A (en) * | 1997-12-26 | 1999-07-21 | Victor Co Of Japan Ltd | Image compression stream editing device and method therefor |
JPH11289541A (en) * | 1998-02-06 | 1999-10-19 | Sony Corp | Moving image coding method, moving image coder and recording medium |
JP2002218390A (en) * | 2001-01-24 | 2002-08-02 | Nec Corp | Mpeg video editor and mpeg video editing method |
JP2003085877A (en) * | 2001-09-10 | 2003-03-20 | Hitachi Ltd | Bit stream converter, multiplexer, recorder, reproducing and recording device, data aggregate and computer software |
JP2004328450A (en) * | 2003-04-25 | 2004-11-18 | Sony Corp | Reproducer, reproducing method, reproducing program, and recording medium |
JP2006109160A (en) * | 2004-10-06 | 2006-04-20 | Sony Corp | Information processing device and method therefor, and program |
Also Published As
Publication number | Publication date |
---|---|
EP2051528A1 (en) | 2009-04-22 |
JP2008047983A (en) | 2008-02-28 |
EP2051528A4 (en) | 2010-05-26 |
CN101356826B (en) | 2010-11-03 |
TWI346508B (en) | 2011-08-01 |
TW200908745A (en) | 2009-02-16 |
US8189665B2 (en) | 2012-05-29 |
KR20090048386A (en) | 2009-05-13 |
CN101356826A (en) | 2009-01-28 |
EP2051528B1 (en) | 2014-07-30 |
US20090136145A1 (en) | 2009-05-28 |
WO2008018618A1 (en) | 2008-02-14 |
KR101323472B1 (en) | 2013-10-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4737003B2 (en) | Editing apparatus, editing method, editing program, and editing system | |
JP4715633B2 (en) | RECORDING DEVICE, RECORDING METHOD, RECORDING PROGRAM, EDITING DEVICE, EDITING METHOD, AND EDITING PROGRAM | |
JP4138840B2 (en) | Image encoding device, image decoding device, image encoding method, image decoding method, and recording method | |
US8817873B2 (en) | Image coding/recording apparatus and image coding/recording method | |
US8085851B2 (en) | Moving image encoding method and apparatus | |
WO2005122567A1 (en) | Data recording device, method, and program, data reproduction device, method, and program, recording medium, and data structure | |
WO2000014741A1 (en) | Method and device for managing multimedia file | |
JP2003169292A (en) | After-recording device, computer program, recording medium, transmission method and reproducing device | |
US8190000B2 (en) | Recording apparatus, recording method, and recording program | |
JP2008035294A (en) | Image data recording apparatus, and image data coding device | |
JP2005117660A (en) | Information storage medium with av data containing non-multiplexed streams recorded thereon, and method and apparatus for reproducing the same | |
JP6742515B2 (en) | CODED VIDEO REPRODUCTION DEVICE AND CODED VIDEO REPRODUCTION METHOD | |
JP2005198350A (en) | After-recording signal reproducing method | |
JP2005198349A (en) | Recording medium | |
JP2006121415A (en) | Moving image encoding device | |
JP2014127747A (en) | Image processing apparatus | |
JP2005245006A (en) | Postrecording signal reproducing apparatus | |
JP2005237021A (en) | After-recording signal reproduction program | |
JP2005198351A (en) | After-recording signal reproducing apparatus | |
JP2005198348A (en) | Transmission method | |
JP2005253093A (en) | After recording signal transmitting instrument | |
JP2005260979A (en) | Method for transmitting after-recording signal | |
JP2005260978A (en) | Program for generating after-recording signal | |
JP2005198347A (en) | Method for generating after-recording signal | |
JP2007074358A (en) | Video signal recording device, recording medium, and video signal reproducing device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101130 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110124 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110405 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110418 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140513 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |