WO1999036912A1 - Systeme d'edition, dispositif de commande d'edition et procede de commande d'edition - Google Patents

Systeme d'edition, dispositif de commande d'edition et procede de commande d'edition Download PDF

Info

Publication number
WO1999036912A1
WO1999036912A1 PCT/JP1999/000151 JP9900151W WO9936912A1 WO 1999036912 A1 WO1999036912 A1 WO 1999036912A1 JP 9900151 W JP9900151 W JP 9900151W WO 9936912 A1 WO9936912 A1 WO 9936912A1
Authority
WO
WIPO (PCT)
Prior art keywords
editing
picture
encoded
baseband
decoding
Prior art date
Application number
PCT/JP1999/000151
Other languages
English (en)
French (fr)
Inventor
Hiromi Yoshinari
Yoshihiro Murakami
Original Assignee
Sony Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corporation filed Critical Sony Corporation
Priority to JP53702799A priority Critical patent/JP3716328B2/ja
Priority to US09/381,190 priority patent/US7305040B1/en
Priority to KR1019997008583A priority patent/KR100548665B1/ko
Priority to EP99900350A priority patent/EP0982726A4/en
Priority to CA002284216A priority patent/CA2284216A1/en
Publication of WO1999036912A1 publication Critical patent/WO1999036912A1/ja
Priority to US11/334,168 priority patent/US7920634B2/en

Links

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/036—Insert-editing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/40—Combinations of multiple record carriers
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/40—Combinations of multiple record carriers
    • G11B2220/41—Flat as opposed to hierarchical combination, e.g. library of tapes or discs, CD changer, or groups of record carriers that together store one title

Definitions

  • the present invention relates to an editing system, an editing control device, and an editing control method applied when handling a bitstream.
  • the main advantage of applying compression technology such as MPEG to video materials in stations and the like is to save the capacity of the video material archiver Z server.
  • compression technology such as MPEG
  • the transmission system encodes the input video data D,., As a configuration related to the video data on the encoder 110 side.
  • the video encoder that outputs the video elementary stream ES, and the video elementary stream ES output from this video encoder coder are bucketed, and the header and the like are output.
  • a bucket packetizer 112 for outputting a video packetized elementary stream PES is provided.
  • the audio O encoder 1 1 3 which outputs the audio Oereme Ntarisu preparative rie beam ES, this audio O E emissions coder 1 1 3
  • a packetizer 111 that converts the audio elementary stream ES output from the MV into a bucket, adds a header, etc., and outputs a video bucketized elementary stream PES.
  • the elementary streams from the bucketizers 112 and 114 are multiplexed to create a transport stream bucket of length 188 bytes, which is referred to as a transport stream TS.
  • a multiplexer 1 15 for outputting the data.
  • a demultiplexer 1 2 1 for separating the transport stream received via the transmission medium 116 into a video PES and an audio PES and outputting them.
  • De-bucketizers 122, 124 for decomposing buckets of video PES and audio PES respectively, and video decoders 123 for decoding video ES and audio ES from de-bucketizers 122, 124, respectively, audio A decoder 125 is provided.
  • the video decoders 123 output baseband video signals D,., And audio signals D,.
  • Such a decoding side 120 is called an IRD (Integrated Receiver / Decoder).
  • each picture has the same bit amount.
  • Input video data D v with is encoded by the video encoder 1 1 1
  • each picture is converted into a bit quantity corresponding to its redundancy, is output as a video Ereme pointer list rie arm You.
  • the transport stream multiplexer 115 multiplexes the video bucketized elementary stream and the audio bucketized elementary stream output from the bucketizer 114 to multiplex the transport stream bucket. It is created and sent as a transport stream TS to the decoding device 120 via the transmission medium 116.
  • the transport stream is converted into a video bucketized elementary stream and an audio bucketized elementary stream by the transport stream demultiplexer 122. Separated.
  • the depacketizer 122 depackets the video packetized elementary stream and outputs it as a video elementary stream, and the video decoder 123 decodes the video elementary stream to obtain video data D and D. Will output.
  • the decoding device 120 performs control for extracting a variable bit amount for each playback picture from a fixed-rate arriving stream, for example, a 1.75 Mbit VBV (Video Buffer Buffer). ng Verifier) buffer. Therefore, the encoding apparatus 110 needs to control the bit generation amount of each picture so that the VBV buffer does not overflow or underflow. Such control is called VBV buffer processing.
  • MPEG performs coding using frame correlation in GOP (Group Of Picture) units.
  • GOP Group Of Picture
  • bit rate control (VBV buffer processing) is performed to satisfy the buffer conditions of the destination IRD.
  • bit rate control is performed according to the capacity of the transmission path.
  • Figure 16 shows the master server with the MPEG stream archiver and the interface of the editing studio.
  • the intra-station transmission is the baseband.
  • reference numeral 101 denotes a master-archive server in the station.
  • the archiver server 101 is a non-linear archiver, and accumulates MPEG compressed stream material in an accumulation unit in order to reduce the capacity.
  • the server and the server both store video material, and the server is a device dedicated to storage, whereas the server is a device that outputs video material in response to external requests. It is.
  • the archiver Z server 101 is provided with an MPEG decoder for decoding the MPEG stream from the storage unit.
  • the baseband video data S1 and S2 formed by the MPEG decoder are input to the editing studio 102.
  • the transmission protocol of the intra-office transmission line is based on It is a knowledge.
  • editing splice editing, AB roll, etc.
  • the archiver Z server 103 is provided with an MPEG encoder, and the edited result is stored in the storage unit as an MPEG stream.
  • FIG. 17 shows an example of the configuration of the editing studio 102. Since tape-based video data has a large data capacity (high bit rate), a tape-shaped medium is used as a recording medium. That is, the video data S1 is recorded on the linear storage 104a, and the video data S2 is recorded on the linear storage 104b.
  • the linear storages 104a and 104b are used as players, and the video data Sa and Sb are supplied to the editor and switcher 105, and the video data Sa and Sb are supplied to the editor and switcher 105.
  • the edited video data Sc is recorded in the linear storage 104c as a recorder.
  • the edited video data S3 is output from the linear storage 104c.
  • the editing studio 102 consists of non-linear storage media 106a, 106b and 106c that use non-linear recording media (hard disk, optical disk, etc.). It is also possible to do so.
  • non-linear recording media hard disk, optical disk, etc.
  • using a non-linear recording medium to transmit a baseband signal requires a large capacity and is expensive, and the configuration shown in FIG. 18 in which the baseband signal is placed in each editing studio is not practical.
  • decoding and encoding chains occur each time editing is performed, thereby deteriorating the image quality of the material and accumulating the deterioration.
  • Figure 19 shows the interface of the master server and editing studio when the transmission protocol of the intra-station transmission path is set to MPEG stream.
  • the archiver Z servers l 31 and 133 store the material of the MPEG stream.
  • the archiver Z server 13 1 outputs the MP EG stream to the editing stadium 13 2, and the archiver / server 13 1 outputs the MP EG stream from the editing stadium 13 2.
  • they are input they do not have MPEG decoders and MPEG encoders.
  • By transmitting video material in the MPEG stream two or more video materials can be multiplexed as streams TS1 and TS2.
  • the streams TS1 and TS2 may be any of an elementary stream and a transport stream.
  • FIGS. 20 and 21 An example of the editing studio 132 in the system of FIG. 19 and another example are shown in FIGS. 20 and 21, respectively.
  • the streams TS 1 a and TS 1 b are separated from the stream TS 1
  • the streams TS 1 a and TS 1 b are separated from each other by the MPEG decoders 134 a and 1.
  • each is converted to a baseband signal.
  • These baseband signals are recorded in linear storage 135a and 135b, respectively.
  • Baseband video data Sa and Sb obtained using the linear storages 135a and 135b as players are input to the baseband editor and switcher 136.
  • Video data Sc as an edited result from the baseband editor and the switcher 1336 is recorded by the linear storage 135c as a recorder.
  • Video data from the linear storage 135c is output as the MPEG stream Ts2 by the MPEG encoder 134c.
  • FIG. 21 Another example of the editing studio 13 2 shown in FIG. 21 is that the linear storages 135 a and 135 b are replaced by non linear storages 13 7 a, 13 7 b and 1 It uses 37 c.
  • the system shown in Figure 21 also The intra-station transmission path can be composed of an MPEG stream that can be easily converted to multiple channels.
  • decoding and encoding chains occur each time editing is performed, and the image quality of the material cannot be ignored each time. Invite.
  • the capacity is large and expensive to handle the baseband signal on the non-linear recording medium, and the configuration shown in FIG. 21 in which the baseband signal is arranged in units of editing studios is not realistic. If you want to avoid material degradation caused by chemical chains, you will naturally perform material archiving with baseband materials. In this case, the data amount of the video material becomes large, and it becomes difficult to store the video material on the non-linear recording medium.
  • Transcoding has been proposed in which necessary information (referred to as codec information) is multiplexed into a baseband, and codec information is reused during re-encoding to improve the accuracy of image reconstruction. ing.
  • codec information includes information such as motion vector information, quantization step, and picture type.
  • Codec information is not a small amount of information. Therefore, the baseband signal does not have sufficient auxiliary area to multiplex the codec information, and the remaining codec information that cannot be multiplexed is multiplexed into the effective image area or transmitted over a separate line. No choice but was.
  • FIG. 22 shows an editing studio that uses transcoding to solve the problem that decoding-encoding chains occur each time editing is performed, and this can lead to accumulation of image quality deterioration of the material that cannot be ignored every time.
  • FIG. 22 shows a configuration in which codec information is transmitted on a different path from the material signal line.
  • the streams TS1a and TS1b are converted into baseband signals by MPEG decoders 134a and 134b, respectively, and the baseband video data Sa and Sb are converted to baseband signals.
  • the video data Sc which is input to the band editor and switch 1336 and is edited by the base editor and switch 1336, is output from the MPEG EG stream TS 2 by the MPEG encoder 134c. Is re-encoded as
  • an information detector that detects the codec information from the stream or decoders 134a and 134b used in the MPEG decoders 134a and 134b.
  • a signal line for transmitting codec information a signal line for transmitting codec information to the encoder, and an information estimator for using the codec information in the encoder.
  • a codec information adapter 144 that organically combines the editing information of the span editor and switcher 136 is provided. As described above, when the code information is transmitted on a separate line, the editor and the switcher 136 edit the code information and also handle the code information transmitted from another system. It is necessary to add a special configuration such as codec information adapter 144. In other words, a problem arises in that the existing editing studio that handles baseband signals cannot be used.
  • FIG. 23 shows a configuration of an editing stadium in which codec information is multiplexed into a valid signal area of a base band in order to solve this problem.
  • Information detectors 144a and 144b are provided for detecting codec information from the input streams TS1a and TS1b or the decoders 134a and 134b, respectively.
  • the detected codec information is multiplexed with the baseband video data Sa and Sb in the importers 144a and 144b, respectively.
  • a spanned signal in which codec information is multiplexed is input to the baseband editor and the switcher 1336.
  • the multiplexing method a method in which codec information is randomly superimposed as the least significant bit of each sample of video data can be adopted.
  • Codec information is multiplexed in the video data output from the baseband editor and the switcher 136. This video data is supplied to the separator 146, and the codec information is separated. The video data Sc from the sensor 144 is re-encoded in the MPEG encoder 134c. At the time of re-encoding, the codec information from the separator 146 is used.
  • FIG. 24 shows a case where stream TS1 is recorded once and the reproduced stream is output to MPEG decoders 1334a and 134b in the configuration of FIG.
  • Non-linear storage 1 4 7 and non-linear storage for recording a T-encoded stream from MP EG 1 34 c Storage 1 4 8 is added.
  • the configuration in which codec information is multiplexed into a baseband signal and transmitted is based on a configuration in which the baseband editor and the switcher 1336 are specially configured such as a codec information adapter. There is no need to have equipment. However, the technique of inserting codec information in the effective video signal section gives distortion to the video and impairs S / N even if it is converted to random data and multiplexed.
  • FIG. 23 when codec information is multiplexed to a baseband signal, a configuration for multiplexing is provided in the editing studio.
  • Fig. 25 shows an example of a configuration in which codec information is multiplexed and demultiplexed in the archiver / server.
  • MP EG decoders 155a and 155b for decoding the MP EG stream from the storage unit 154 in the Z server 155, and a codec from the stream.
  • Information detectors 1556a and 156b for detecting information and importers 1557a and 1557b for multiplexing codec information with base video data are installed. Is done.
  • the spanned video data S 11 and S 12 in which codec information is multiplexed are input to the editing studio 15 2.
  • the editing studio 152 handles baseband signals, and includes a linear storage, a baseband editor, and a switcher as in the configuration shown in FIG. 24 described above.
  • An archiver z server 153 that stores video data of the edited result is input with baseband video data 13 in which codec information from the editing stadium 152 is multiplexed.
  • the codec information is separated by the separator 158, and the MPEG encoder 159 performs re-encoding using the codec information.
  • MPEG encoder 1 5 9 These streams are stored in the storage section 160.
  • Fig. 25 does not actually function properly, resulting in incorrect connection.
  • video data is recorded on a recording medium that has already spread, such as VTR ′ (Video Tape Recorder) for baseband use.
  • VTR ′ Video Tape Recorder
  • the existing VTR does not support the function of extracting codec information, storing it, and transmitting it to the next stage.
  • most digital VTRs that are currently in widespread use a compression method different from MPEG, so that information multiplexed in the effective signal area is subjected to compression and decompression processing in the same manner as video data.
  • the codeic information is also subjected to the same processing and is thus distorted, and cannot be used as codec information. For example, even if codec information is superimposed on the least significant bit of video data, the least significant bit changes due to VTR compression / expansion processing.
  • the configuration shown in Fig. 23 or Fig. 24 is a configuration for transmitting a stream, and additional components such as an MPEG decoder and an encoder for re-encoding are installed in the editing studio.
  • additional components such as an MPEG decoder and an encoder for re-encoding are installed in the editing studio.
  • This eliminates the possibility of interfacing the existing VTR with a baseband signal in which codec information is multiplexed.
  • codec information is multiplexed.
  • the video is distorted and the problem of impairing the SZN cannot be solved.
  • one object of the present invention is to make effective use of a storage medium and a transmission medium, to suppress deterioration of image quality, and to use an existing baseband editor.
  • An editing system, an editing control device, and an editing control method are provided.
  • Another object of the present invention is to provide an editing system, an editing control device, and an editing system that can detect an editing position without receiving editing position information from an editor.
  • An object of the present invention is to provide an editing control method.
  • Still another object of the present invention is to provide an editing system and an editing control apparatus which can use codec information for re-encoding in a unit finer than a picture, and prevent deterioration of image quality due to re-encoding. And an editing control method.
  • the invention according to claim 1 includes an editor for editing a baseband signal, and an editing controller connected to the editor.
  • First decoding means for decoding a first coded bitstream in which the material has been coded and outputting a first baseband signal
  • Second decoding means for decoding the second encoded bitstream in which the material is encoded and outputting a second base-span signal to the editor; And the third baseband signal resulting from editing the second baseband signal is re-encoded by using the codec information used in the first and second decoding means, and the third code Encoding means for outputting an encoded bitstream;
  • Control means for selecting codec information to be used in the encoding means based on the editing position information received from another device
  • An editing system comprising:
  • the invention according to claim 8 is characterized in that the first decoding means for decoding the first encoded bit stream in which the material is encoded and outputting the first baseband signal and the second decoding means in which the material is encoded.
  • a second decoding means for decoding the encoded bit stream of the first and second baseband signals to the editor, and editing the first and second baseband signals from the editor.
  • the result Encoding means for re-encoding the third baseband signal by using the codec information used in the first and second decoding means, and outputting a third encoded bit stream
  • Control means for selecting codec information used in the encoding means based on the editing position information
  • An editing control device comprising:
  • a first encoded bit stream in which a first material is encoded and a second encoded bit stream in which a second material is encoded are input.
  • First and second baseband signals obtained by decoding the first and second encoded bit streams, respectively, are sent to the editor,
  • the invention of claim 16 comprises an editor for editing a baseband signal, and an editing controller connected to the editor.
  • First decoding means for decoding a first coded bitstream in which the material is coded and outputting a first baseband signal
  • Second decoding means for decoding the second encoded bitstream in which the material has been encoded, and outputting a second baseband symbol to the editor; By comparing the first and second baseband signals with the third baseband signal in phase, the comparison means for detecting the editing position and the information on the editing position allow the recoding to be performed. Control means for selecting codec information to be used;
  • the third baseband signal resulting from editing the first and second baseband signals from the editor is re-encoded using the selected codec information, and the third encoded bit is re-encoded. And an encoding means for outputting a stream.
  • the invention according to claim 19 is characterized in that: a first decoding means for decoding a first encoded bitstream in which a material is encoded and outputting a first baseband signal;
  • Second decoding means for decoding the second coded bit stream in which the material has been coded and outputting a second baseband signal to the editor; and first and second baseband signals And a third baseband signal in phase with each other, and a comparison means for detecting an editing position, and a control for selecting codec information used in re-encoding based on the information on the editing position.
  • the third baseband signal resulting from editing the first and second baseband signals from the editor is re-encoded using the selected codec information, and the third encoded bit is An editing control device including an encoding unit that outputs a stream.
  • the invention according to claim 22 is characterized in that the first encoded bitstream in which the first material is encoded and the second encoded bitstream in which the second material is encoded are included. Entered, First and second baseband signals obtained by decoding the first and second encoded bit streams, respectively, are sent to the editor,
  • the editing position is detected by comparing the first and third base spanned signals with their phases matched and comparing the second and third base spanned signals with their phases matched.
  • An editing control method characterized by outputting a third encoded bit stream by re-encoding a third base-span signal using selected codec information.
  • the input / output signal form of the editing control device is a coded bitstream, it is easy to multiplex coded data of a plurality of video materials, and a transmission medium can be used effectively.
  • the editing control device interfaces with the editing device using a baseband signal, and codec information is not multiplexed in the baseband signal. Also, it is not necessary to transmit the codec information used for transcoding on another signal line, so that it is possible to prevent an increase in the number of signal lines and to make the editor edit the codec information.
  • the existing baseband editing device can be used as an editor without any modification-Also, the first and second baseband signals output to the editor and the return from the editor can be used.
  • the state where the phase is matched with the third baseband signal By comparing with, the editing position can be detected. Therefore, the line for transmitting the editing position information to the editor can be omitted, and there is no need to translate the editing position information to the stream time axis.
  • codec information can be used for re-encoding can be determined not only on a picture basis but also on a block basis. Therefore, even if the picture at the edit point is a mixture of two original materials, deterioration of the image quality due to re-encoding can be suppressed.
  • FIG. 1 is a block diagram showing the entire system in a station according to an embodiment of the present invention.
  • FIG. 2 is a block diagram showing an example of an editing stadium in one embodiment of the present invention.
  • FIG. 3 is a block diagram showing another example of the editing stadium in one embodiment of the present invention.
  • FIG. 4 is a block diagram showing an example of a broadcast network to which the present invention can be applied.
  • FIG. 5 is a block diagram showing an example of a splicer Z transcoder which is a main part in one embodiment of the present invention.
  • FIG. 6 is a block diagram showing an example of a configuration of a management information generation unit in the splicer Z transcoder.
  • FIG. 7 is a block diagram showing another example of a splicer / transcoder which is a main part in one embodiment of the present invention.
  • FIG. 8 is a block diagram showing an example of a splicer transcoder which is a main part in another embodiment of the present invention.
  • FIG. 9 is a schematic diagram for explaining a time relationship of baseband signals and a process for reusing codec information.
  • FIG. 10 is a schematic diagram showing the relationship between pictures and macroblocks.
  • FIG. 11 is a flowchart showing a determination process for reusing codec information.
  • FIG. 12 is a flowchart showing a picture subroutine in FIG.
  • FIG. 13 is a flowchart showing a macro block subroutine in FIG.
  • FIG. 14 is a schematic diagram for explaining reuse of codec information in macroblock units.
  • FIG. 15 is a block diagram of a conventional MPEG encoding / decoding system.
  • FIG. 16 is a block diagram showing an example of the configuration of an intra-station system for reference in the description of the present invention.
  • FIG. 17 is a block diagram showing an example of the editing studio in FIG.
  • FIG. 18 is a block diagram showing another example of the editing studio in FIG.
  • FIG. 19 is a block diagram showing another example of the configuration of the system in the station for reference in the description of the present invention.
  • FIG. 20 is a block diagram showing an example of the editing stadium in FIG.
  • FIG. 21 is a block diagram showing another example of the editing stadium in FIG.
  • FIG. 22 is a block diagram showing an example of the configuration of an editing studio for reference in the description of the present invention.
  • FIG. 23 is a block diagram showing another example of the configuration of the editing studio used as a reference for explaining the present invention.
  • FIG. 24 is a block diagram showing a configuration obtained by adding a non-linear storage to the configuration of FIG.
  • FIG. 25 is a block diagram showing a configuration of an intra-office system referred to in the description of the present invention.
  • FIG. 1 shows the configuration of an editing system according to the present invention.
  • the archiver servers 1 and 3 include storage units 4 and 5, respectively, for storing video material of an encoded bit stream, for example, an MPEG stream. Since the data is compressed by MPEG, non-linear recording media can be used as the storage units 4 and 5.
  • the archiver and the server both store video materials.
  • the archiver is a device dedicated to storage, whereas the server is a device that outputs video materials in response to external requests. Since the present invention has a common function as a video storage unit, it can be applied to both an archiver and a server. In that sense, the term of the archiver // server is used.
  • the transmission path between the archiver Z server 1, the editing studio 2 and the archiver / server 3 transmits an encoded bit stream, for example, an MPEG stream.
  • an encoded bit stream for example, an MPEG stream.
  • the stream TS2 is a stream of the edited result. If necessary, two or more original video Z audio materials can be multiplexed together with the edited result.
  • the streams TS1 and TS2 are transport streams, but may be elementary streams or bucket-tied elementary streams.
  • the editing studio 2 is configured as shown in FIG. 2 or FIG.
  • the stream TS 1 is input
  • the stream TS 2 is output
  • the splicer transcoder 21 and the baseband signal video data Sa and Sb are input.
  • a splicano transcoder 21 and a baseband editor and a switcher 22 having a baseband interface are provided so as to output the data Sc.
  • the splicer transcoder 21 is an editing control device, and the base editor and the switcher 22 are editors.
  • the splicer Z transcoder 21 basically performs a decoding process for converting an incoming stream into a base-span signal output to the editor and the switcher 22, and a return from the editor and the switcher 22.
  • This transcoder performs transcoding and re-encoding processing to convert the baseband signal into an output stream.
  • it is also possible to perform transcoding only for a predetermined period including the edit point, and to switch and output the input stream and the transcoding output. In other words, it may have a splicer function. Therefore, it is called a splicer / transcoder.
  • the input / output signal form of the splicer Z transcoder 21 is an MPEG stream, which makes it easy to increase the number of channels and makes effective use of transmission resources.
  • the baseband editor and switcher 22 are adapted to perform an interface with the baseband signal.
  • the splicer Z transcoder 21 performs transcoding, and does not need to output codec information required for re-encoding to the editor and the switcher 22. Therefore, it is possible to construct an editing system using the existing baseband editing device as it is as the baseband editor and switcher 22.
  • the splicer and transcoder 21 associates an MPEG picture (including codec information) included in the input stream ST 1 with a baseband input / output frame (or field). .
  • the time code based on the correspondence between the MPEG picture and the time code specified in the splicer transcoder 21 is not shown in the figure, but is a bidirectional signal line provided between the baseband editor and the switcher 22.
  • the time management information of the MPEG picture used in the splicer Z transcoder 21 and the time management information (time code) used in the editing process of the editor and the switcher 22 have a one-to-one correspondence.
  • the time when the edited baseband signal Sc returns from the baseband editor and the switcher 22 is based on the baseband time at the time of output. Adds the system delay of the command editor and switcher 22.
  • the association between the codec information for re-encoding and the frame of the returned baseband signal Sc can be obtained by recording the output time of the spanned signal from the splicer Z transcoder 21. It can be done easily.
  • the splicer / "transcoder 21" can be used from a baseband editor and switcher 22 or from a host CPU or control machine controlling the baseband editor and switcher 22. Receives editing position information such as cue information from one source and associates it with the MPEG picture, that is, the splicer transcoder 21 detects the edited frame based on the cue information and uses it when re-encoding. child -. selecting deck information codec information, motion vector, picture relevant Yataipu, quantization step size, which is information such as the quantization scale 0
  • a comparison table showing the relationship between PTS and timecode.
  • PTS Presentation Time Stamp
  • a table can be placed in a user area such as an extension on the stream syntax.
  • the time code itself associated with the MPEG picture may be inserted into the stream and transmitted. In this case, no control table is required: , Not just time code .
  • a picture index corresponding to the time code one-to-one may be transmitted as long as a sufficient time can be specified.
  • the time code can be obtained by using information such as the PTS, picture type, GOP, and the repeat fast field associated with pull-down and field flip, which are the syntaxes (rules of the encoded data stream) on the MPEG stream.
  • FIG. 4 shows a schematic configuration when the present invention is applied to a broadcasting system. 31 and a plurality of local stations 32 a, 32 b, 32 c, 32 d,..., Are connected via a transmission network 33.
  • the MPEG bitstream is transmitted via the transmission network. Multiple channels can be multiplexed and transmitted by the MPEG bitstream.
  • the main station 31 is provided with an antenna 35 for receiving radio waves from a communication or broadcasting satellite 34.
  • the program material received by the antenna 35, the live material sent from the site via the microwave line 36, the program material from the archiver server 41 in the station, and the CM material are the spacer Z transcoder 4 2 Is input in the form of an MPEG stream.
  • the splicer / transcoder 42 has a baseband interface between the baseband editor and the switcher 43.
  • the splicer / transcoder 42 switches the input program material to create a broadcast program (MPEG bitstream). This broadcast program is distributed from the main station 31 to the local stations 32a, 32b, ... via the network 33.
  • the local station 32a communicates the MPEG stream received from the main station 31 with the CM material from the CM (commercial) server 46a. Input to transcoder 44a. Splicer / Transco
  • the baseband interface is used to connect between the damper 44a and the CM insertion scheduler 45a.
  • the CM server 46a stores CM materials at the local station 32a.
  • the CM insertion scheduler 45a replaces the CM in the program bitstream sent from the main station 31 with a local CM unique to the local station 32a. With transcoding, CMs can be replaced with little deterioration. Similarly, CMs can be replaced in the other local stations 32b, 32c,.
  • the work of inserting the mouthpiece of the broadcasting station into the program bitstream can be performed.
  • the present invention can be similarly applied not only to terrestrial broadcasting but also to the relationship between a cable operator and a head-end station in CATV.
  • FIGS. 5 and 7 An example of the splicer transcoder 21 and another example are shown in FIGS. 5 and 7, respectively.
  • the example shown in FIG. 5 transcodes all of the incoming MPEG bitstream.
  • stream switching (splicing) is performed after partially transcoding the input MPEG bitstream.
  • the input of the MPEG bit stream S1 such as the output of the Kiba Z server, the signal received from the satellite, and the signal arriving via the microwave line.
  • This stream TS1 is a stream in which a plurality of programs (program materials) are multiplexed. It is not limited to a transport stream TS in which at least two or more programs are multiplexed.
  • Rementor lease stream ES is good. However, in the case of ES, an identification tag or input information for identifying which stream is currently being input is required.
  • a target program can be extracted by PID (packet ID).
  • PID packet ID
  • information such as an identification tag is necessary as described above.
  • the two streams A and B extracted by the filter 51 are decoded by the MPEG decoders 52a and 52b, respectively.
  • the baseband video Z audio data Sa of the program A is obtained by the MPEG decoder 52a
  • the baseband video Z audio data Sb of the program B is obtained by the MPEG decoder 52b.
  • These baseband data Sa and Sb are output to an external editor and switch 22.
  • the return baseband video z audio data Sc of the edited result is input.
  • the baseband data Sc is supplied to the MPEG re-encoder 53.
  • the re-encoder 53 receives the codec information for MPEG re-encoding corresponding to the video frame of the baseband data Sc from the information buffer 55 via the path 54. Based on the codec information for re-encoding, the data Sc is re-encoded into the: l PEG stream TS 2 to the requested target bit amount. Then, from the re-encoder 53, a stream TS 2 resulting from the AB roll editing of the input stream A and the stream B is output.
  • Codec information for re-encoding includes the motion vector, picture type, quantization step size, and quantization level. G The lance coding suppresses the deterioration of the image quality due to the decoding-encoding chain.
  • the transmission line for transmitting the time code to the slicer Z transcoder 21 in response to the data and the request from the switcher 22 is omitted.
  • the codec information used for decoding in each of the MPEG decoders 52a and 52b is input.
  • the information buffer 55 is supplied with the write address W AD and the write enable WE from the write controller 56.
  • the read address R AD from the read controller 57 is supplied to the information buffer 55.
  • codec information for re-encoding is supplied from the information buffer 55 to the re-encoder 53 in synchronization with the edit point of the stream Sc.
  • the video data Sc in which the video data Sb is connected at the edit point (in point) to the video data Sa returns, the video data Sa is recoded from the codec information for re-encoding the video data Sa.
  • the data Sb is switched to codec information for re-encoding.
  • the capacity of the information buffer 55 may correspond to the system delay (a few frame times) of the editor and the switcher 22.
  • the management table 62 controls the phase between the video data Sa and Sb output from the splicer Z transcoder 21 and the video data Sc returned from the baseband editor and switcher 22. For this reason, the write controller 56 and the read controller 57 are connected to the management table 62, and the management table 62 is stored in the input table.
  • the write Z-read of the information buffer 55 is controlled using the picture count value of the system and the frame count value of the return video data Sc.
  • the frame counter 58 counts the number of frames of the video data Sc, and gives a read request REQ to the management table 62 as a count value as an address.
  • the management table 62 has a configuration of a ring buffer, in which input information is sequentially written to an address to be incremented, and a read pointer is incremented in response to a read request REQ.
  • the re-encoding information of the address indicated by the read pointer is read from the information buffer 55 and sent to the MPEG re-encoder 53 via the path 54.
  • a management information generation unit 61 is provided in association with the management table 62. Queue information is input to the management information generator 61. The management information generator 61 will be described later.
  • the queue information for editing the program is supplied to the management information generator 61 of the splicer Z transcoder.
  • the cue information is usually editing position information specified by a time code. More specifically, information on the IN point and the Z out point is included in the queue information.
  • the codec information is selected such that the edit frame is detected based on the cue information and the codec information is used in synchronization with the baseband data Sc.
  • an enable signal indicating that the codec information can be used is supplied from the read controller 57 to the re-encoder 53. Is done.
  • the re-encoder 53 is connected to the bit amount estimator 59, and performs processing of the VBV buffer. That is, appropriate encoding is performed so that the buffer for decoding the MPEG bitstream TS2 obtained by the re-encoding does not overflow or underflow.
  • the target bit amount (allocation of bit generation amount, weighting information) near the edit point, which is written in the corresponding index slot of the management table 62, is a bit.
  • Re-encoding basically satisfies the target number of generated bits. What is done in normal coding control is that the set target bit amount is
  • the generated bit amount of the re-encoder 53 When the generated bit amount of the re-encoder 53 is insufficient, dummy data is added. In addition, when the generated bit amount exceeds the target bit amount, that is, when an underflow is likely to occur at the decoder side, the power to make a skipped macro block is used as the prediction residual (the difference from the predicted image macro block MB). ) Is set to 0. If this process cannot cope and the underflow occurs, the reproduced image will be affected depending on the processing method on the decoder side. Normally, a delay occurs until data is accumulated in the buffer, and as a result, the reproduced image freezes.
  • FIG. 6 shows a more detailed configuration of the management information generation unit 61.
  • the cue information as the editing position information is supplied to the interpreter 71 and is appropriately translated.
  • Information extracted from the interpreter 71 is supplied to a matching device 72.
  • the mapping unit 72 maps the cue information represented by the time code to the scale of the time stamp PTS (time management information of reproduction output) of the input stream 73 extracted by the filter 51. .
  • the picture counter 74 detects the picture header from the input stream 73 and counts the number of pictures.
  • the number of pictures counted by the picture counter 74 is fed to the picture Z-frame index generator 75:
  • the picture Z-frame index generator 75 is used to organize the picture and information management table 62. Therefore, an index corresponding to the picture is generated.
  • the management table 62 is stored in this index.
  • the management information is output with the count value of the number of frames of the video data Sc from the frame counter 58 as an address.
  • the time stamp reader 76 reads the time stamp PTS from the incoming stream 73.
  • the time stamp PTS and the output of the mapping unit 72 are supplied to the re-encoding strategy planner 77.
  • the output of the mapper 72 is the result of mapping the time code indicating the edit point for the video frame according to the time stamp scale. Therefore, the re-encoding strategy planner 77 associates the edit points with the pictures in the input stream 73.
  • the output of the re-encoding strategy planner 77 is written to the address of the management table 62 indicated by the index.
  • Reference numeral 78 denotes the number of bits generated in the input stream 73, supplies the count result to the VBV buffer simulator 79, and simulates the VBV buffer.
  • the VBV buffer is the capacity of the buffer on the decoder side assumed at the time of encoding by the encoder, and the simulation of the VBV buffer can prevent underflow or overflow of the buffer on the decoder side.
  • the result of the VBV buffer simulator 79 is sent to the re-encoding strategy planner 77, which assigns and weights the amount of bit generation near the edit point for re-encoding, and this is also used in the management table 6. Write to the corresponding index slot in 2.
  • FIG. 7 shows another example of the splicer Z transcoder 21.
  • Other examples include transcoding only for the minimum necessary period, including the parts that are actually affected by editing, and switching between the transcoded stream and the incoming stream. It is what you do.
  • Another example is image quality that can't be avoided by transcoding. Deterioration can be minimized.
  • the difference from the example of the above-described splicer / transcoder 21 shown in FIG. 5 is that the input stream 73 from the filter 51 is stored in the picture buffer 63, and the re-encoder 5 is switched by the switching circuit 66. This is to switch between the stream from 3 and the stream from the picture cuff 63.
  • a write controller 64 for controlling the light of the picture buffer 63 and a read controller 65 for controlling its read are provided.
  • the write controller 64 and the read controller 65 are controlled by a management table 62.
  • the same control as the above-described control for writing the codec information to the information buffer 55 and reading the codec information used for re-encoding from the information buffer 55 is applied to the picture buffer 63. Also applies.
  • the switching circuit 66 switches the data from the picture buffer 63 before the transcoding period before and after the edit point.
  • the stream corresponding to the data Sb from the picture buffer 63 is selected after this period, and the stream from the re-encoder 53 is selected during this period.
  • the selection operation of the switching circuit 66 is controlled by a control signal 67 from the read controller 65.
  • the capacity of the picture buffer 63 may be equivalent to the system delay of the editor and the switcher 22 (several frame times) + the encoding delay (several pictures), and the picture buffer 63 is burdened by the circuit configuration. do not become.
  • the outline of the editing system is the same as that of the embodiment described above (FIGS. 1, 2 and (See Fig. 3). It can also be applied to a broadcasting system as in the embodiment (see FIG. 4).
  • the above-described embodiment of the present invention decodes the stream of the original material, stores the codec information at that time, and transmits only the decoded baseband signal to the editor, The editor edits the baseband signal, matches the time (phase) relationship between the edited baseband signal and the stored codec information based on the queue information, and edits the edited result. In this configuration, the baseband signal is re-encoded and output as a stream.
  • the capacity of the storage medium of the storage means can be saved, the transmission medium can be used effectively, and the deterioration of the image quality can be minimized by transcoding.
  • the existing baseband editor can be used as the editor with little modification.
  • the editing position information includes information on the editing position in units of frames or fields and, when using a switcher function such as a wipe, the duration of the frame.
  • a switcher function such as a wipe
  • codec information that can be used for re-encoding could not be properly used in Frame II.
  • the first and second baseband signals output to the editor and the third baseband signal returned from the editor can be obtained without receiving the editing position information. With the phase matched By comparing, the editing position can be detected. Therefore, a line for transmitting the editing position information between the editing device and the editing device can be omitted, and there is no need to translate the editing position information into the time axis of the stream.
  • whether or not codec information can be used for re-encoding can be determined not only on a picture basis but also on a block basis. Therefore, even if the picture at the edit point is a mixture of two original materials, the deterioration of image quality due to re-encoding can be suppressed.
  • the splicer / transcoder 21 outputs the output baseband signals S a, S b and the return baseband signal. Compare with S c. Based on the result of this comparison, the editing position is detected, and codec information to be used at the time of re-encoding is selected.
  • the editing position information the editing position in frame (picture) units and the editing status in finer units in the picture can be obtained.
  • the codec information is information such as a motion vector, a picture type, a quantization step size, and a quantization scale.
  • a picture buffer that stores the original material is required to detect the editing position.
  • An information buffer for storing codec information is required for transcoding.
  • FIG. 8 An example of a splicer Z transcoder 21 according to another embodiment of the present invention is shown in FIG. 8:
  • the example shown in FIG. 8 transcodes all of the input MPEG bitstreams. However, after partially transcoding the incoming MPEG bitstream, It is good to perform stream switching (splice). That is, a stream in which the baseband signal Sc is transcoded is selected only for a predetermined period including before and after the edit point, and in a period other than the predetermined period,
  • Switching means for selecting a stream is provided so as to select an input stream.
  • the decoding-encoding chain is a part, the degradation of image quality due to the decoding-encoding chain cannot be avoided even in transcoding. Can be.
  • This stream T S1 is a stream in which a plurality of programs (program materials) are multiplexed. At least two programs have been duplicated. It is not limited to the transport stream TS, but may be a time-multiplexed elementary stream ES. However, in the case of ES, a tag for identification or input information for identifying which stream is the stream currently input is required.
  • Reference numeral 251 denotes a filter for extracting buckets of two programs (original materials) A and B to be edited.
  • a target program can be extracted by PID (packet ID).
  • PID packet ID
  • information such as an identification tag is required as described above.
  • a stream 268 is obtained in which the two selected programs A and B are multiplexed.
  • the two programs A and B extracted by the filter 25 1 are decoded by the MPEG decoders 25 2 a and 25 2 b, respectively: MP EG decoder 2 5 2a enables program A baseband video
  • the audio data Sa is obtained, and the baseband video Z audio data Sb of the program B is obtained by the MPEG decoder 25 2 b. These baseband data Sa and Sb are output to an external editor and switcher 22. At the same time, the baseband data Sa and Sb are stored in the picture buffer 263.
  • a light controller 264 for controlling the write of the picture buffer 263 and a read controller 265 for controlling the read thereof are provided.
  • the write address WAD and the write enable WE from the write controller 264 are supplied to the picture buffer 2643.
  • the read address RAD from the read controller 265 is supplied to the picture buffer 263.
  • the codec information used for decoding in each of the M PEG decoders 25 2 a and 25 2 b is input to the information buffer 255.
  • the information buffer 255 is supplied with a write address WAD and a write enable WE from the light controller 256.
  • the read address RAD from the read controller 255 is supplied to the information buffer 255.
  • the codec information for re-encoding needs to be supplied from the information buffer 255 to the re-encoder 25 3 in synchronization with the edit point of the stream Sc. . For example, when the video data S c connected to the video data S a at the edit point (in point) returns at the editing point (in point), the video data S a is converted from the codec information for re-encoding the video data S a. Switching to codec information for re-encoding data Sb is performed.
  • the capacity of the information buffer 255 and the picture buffer 263 depends on the system delay of the editor and the switcher 22 (a few frames).
  • the information buffer 255 and the picture buffer 263 do not burden the circuit configuration.
  • the baseband data Sc is supplied to the M PEG re-encoder 25 3.
  • the re-encoder 2553 receives the codec information for MPEG re-encoding corresponding to the video frame of the baseband data Sc from the information buffer 255 via the path 254. Based on the codec information for re-encoding, the data Sc is re-encoded into the M PEG stream T S2 to the requested target bit amount. Then, from the re-encoder 25 3, a stream TS 2 resulting from the AB roll editing of the input stream A and the stream B is output.
  • the codec information for re-encoding includes a motion vector, a picture type, a quantization step size, a quantization scale, and the like. Transcoding suppresses the deterioration of image quality due to the decoding-encoding chain.
  • the codec information is selected so that the codec information is used in synchronization with the baseband data Sc.
  • an enable signal indicating that the codec information can be used is supplied from the read controller 257 to the re-encoder 253. You.
  • the incoming stream 268 and the baseband signals S a and S b that are the decoding results are temporally associated one-to-one.
  • the codec information used for decoding by each of the MPEG decoders 252a and 252b is stored in the information buffer 255, it is used as an organization tag to take a one-to-one correspondence with time.
  • the codec information is stored in association with the codec information.
  • a management table 26 1 is provided in order to save codec information.
  • the write controllers 25 6 and 26 4 and the read controllers 25 7 and 26 5 control the writing and reading of the information buffer 25 5 and the picture buffer 26 3 respectively. It is connected to one bull 2 6 1.
  • the management table 261 controls the write / read of the information buffer 255 and the picture buffer 263 using the picture count value of the incoming stream and the frame count value of the video data Sc returned. I do.
  • the frame counter 258 counts the number of frames of the video data Sc, and gives a read request R EQ to the management table 261, using the count value as an address.
  • the number of pictures counted by the picture counter 271 is supplied to the picture / frame index generator 272.
  • the picture frame index generator 272 generates an index corresponding to a picture in order to organize the picture and information management table 261.
  • the management table 261 arranges the table by this index, and outputs the management information with the count value of the number of frames of the video data Sc from the frame counter 258 as an address.
  • the management table 261 which is configured as a ring buffer, sequentially writes input information at an address where it is incremented, and increments a read pointer in response to a read request REQ. It has been done.
  • the re-encoded information of the address indicated by the read pointer is read from the information buffer 255 and sent to the MPEG re-encoder 25 3 via the path 25 54-picture buffer 26 3 is controlled in the same manner as the information buffer 255.
  • the re-encoder 25 3 is connected to the bit amount estimator 2 59, and performs processing of the VBV buffer. That is, appropriate encoding is performed so that the buffer that decodes the MPEG bitstream TS2 obtained by the re-encoding does not overflow or underflow. Re-encoding basically satisfies the target number of generated bits. What is performed in normal encoding control is that dummy data is added when the generated bit amount of the re-encoder 253 is insufficient with respect to the set target bit amount.
  • the prediction residual (the difference between the predicted macro block MB and the predicted macro block MB) is set as the skipped macro block. (Difference) is set to 0. If this processing cannot be performed and an underflow occurs, the reproduced image is affected depending on the processing method on the decoder side. Normally, there is a wait until data accumulates in the buffer, and as a result, the playback image freezes
  • the 273 counts the number of bits generated in the input stream 268, supplies the count result to the VBV buffer simulator 274, and simulates the VBV buffer. .
  • the result of the VBV buffer simulator 274 is sent to the re-encoding-drainage strategy-planner 275, and the amount of bits generated near the edit point for re-encoding is assigned and weighted.
  • the target bit amount (allocation of bit generation amount, weighting information) near the editing point written in the corresponding index slot of the management table 26 1 is calculated by the bit amount estimator 2. 5 3 and the amount of bits generated by re-encoding It is controlled as follows.
  • the splicer Z transcoder shown in FIG. 8 is capable of detecting an editing point and obtaining the editing status of the baseband signal Sc without the editing position information from the editor.
  • a comparison unit 270 is provided for this purpose.
  • the comparison unit 270 is supplied with the original two baseband signals S a and S b from the picture buffer 263 and the returned baseband signal S c. Further, additional information such as a GOP header, a picture header, a macroblock type, a motion vector, and the like is supplied from the information buffer 255 to the comparison unit 270.
  • the comparison section 270 detects an edit point based on the detection of coincidence between the signals Sa and Sb output to the editor and the switcher 22 and the returned signal Sc. At the same time, it is determined whether codec information can be used for re-encoding on a picture-by-picture basis and on a macroblock basis.
  • FIG. 9 shows a result of editing a baseband signal S a (referred to as a picture Pic A) and a base spanned signal S b (referred to as a picture Pic B) used for describing another embodiment of the present invention.
  • An example of the base spanned signal S c (referred to as picture Pic C) of FIG. Codec information is stored for each picture and macroblock of the baseband signals Sa and Sc.
  • processing such as wipe, cross feed, etc.
  • the comparing section 270 performs coincidence detection between the pictures P ic A and P ic C whose phases have been temporally matched, and coincidence detection between the pictures P ic B and P ic C. If at least one of the two comparisons detects a mismatch, it detects the frame as the edit point. If the difference between the pixels at the same position in each picture is 0, it is determined that they match, otherwise, they are not matched and the two pictures are matched or mismatched. For example, the pixels of two pictures are sequentially input to the subtraction circuit in a state where the phases are adjusted in time, and if a pixel having a difference other than 0 occurs, it is determined that they do not match. In this case, if the number of pixels whose difference is not 0 reaches a predetermined number, it may be determined that they do not match.
  • codec information used for re-encoding in the re-encoder 253 is selected.
  • the codec information to be reused is also selected in picture units in accordance with the switching.
  • the process of selecting codec information in units of pictures requires the degradation of image quality due to re-encoding. Is not enough to prevent
  • the macroblock (expressed as MBA or MBB) included in picture Pic A (or Pic B) and picture P It is included in ic C and is compared spatially with the macro block MB A / MB B at the same position as the macro block (expressed as MB C).
  • a macro block has a size of (16 X 16).
  • Macroblock match Z mismatch detection is done in the same way as for pictures.
  • FIG. 11 is a flowchart showing a process for determining whether or not codec information can be reused.
  • an edited video signal Sc (picture Pic C) arrives from the editor and the switcher, the processing is started.
  • the original pictures A and B are read from the picture buffer 263.
  • comparison step S2 pictures A and C are compared. If pictures A and C do not match, pictures B and C are compared in step S3 of the comparison. If the pictures B and C do not match, the macroblocks MBA and MBC are compared in step S4 of the comparison. If the macroblocks MBA and MBC do not match, then in a comparison step S5, the macroblocks MBB and MBC are compared. As described above, two macroblocks at the same spatial position in each picture are compared.
  • the frame I coded image I ' Intra!
  • P Predictive
  • BiBidirectionally predictive picture which is a bidirectional predictive picture. Since the conditions for reuse differ depending on these picture types, the processing of the picture subroutine S6 is performed. Saburutin S 6 will be described later After the subroutine S6, the process of step S7 is performed. Steps
  • step S7 it is determined whether or not the picture to be predicted on the picture C is an element of the picture A (this is expressed as PICC (FWZBW), PICFg ⁇ 0?).
  • the codec information of the corresponding picture is prepared in order to reuse the codec information in picture units (step S8).
  • codec information is reused in units of pictures, use of codec information of one-sided pictures for re-encoding pictures in bidirectional prediction is also included.
  • step S7 If the condition in step S7 is not satisfied, the process proceeds to step S3, as in the case of Pic A ⁇ Pic C. That is, when the picture to be predicted on picture C is not an element of picture A, the following conditions are searched.
  • step S3 picture C is re-encoded by reusing the codec information of picture B.
  • the conditions of reuse differ depending on the picture type, so the processing of the picture subroutine S6 is performed.
  • step S9 as in step S7 of picture A, it is determined whether or not the picture to be predicted on picture C is an element of picture B. If this condition is satisfied, the process moves to step S8, where the codec information of the corresponding picture is prepared for reuse.
  • step S4 the codec information of the corresponding picture is read out from the information buffer 255 and given to the re-encoder 25 3-When the condition of step S9 is not satisfied, Pic ⁇ ⁇ Pic C As in the case, the process moves to step S4. That is, in the case of (Pic A CPic C) and (Pic B ⁇ Pic C), the comparison (MB A-MB C) is performed in units of macro blocks. As in the example shown in Fig. 9, When pictures A and B are mixed in the picture at the editing point of picture C, (Pic A ⁇ Pic C) and (Pic B ⁇ Pic C). In this case, codec information is reused on a macroblock basis.
  • macroblocks there are three types of macroblocks, similar to picture types. That is, a frame-coded (Intra) macroblock, a forward interframe prediction macroblock that predicts the future from the past, and a backward (Backwrd) frame that predicts the past from the future.
  • prediction macroblocks and interpolative macroblocks that predict from both forward and backward directions.
  • All macroblocks in an I-picture are intraframe coded macroblocks.
  • the P picture includes an intra-frame coded macro block and a forward inter-frame predicted macro block.
  • the B picture includes all four types of macro blocks described above. Since the conditions for reuse differ depending on the macroblock type, the processing of the macroblock subroutine S10 is performed. The subroutine S10 will be described later.
  • step S11 it is determined whether or not the macroblock to be predicted on picture C is an element of picture A (this is expressed as MB (FW / BW), MBFg ⁇ 0?).
  • the codec information of the corresponding macroblock is prepared in order to reuse the codec information in macroblock units (step S12).
  • step S11 If the condition in step S11 is not satisfied, the process moves to step S13. That is, if the macroblock to be predicted on picture C is not an element on picture A, codec information cannot be reused (step S13). In this case, no transcoding is performed, but simple encoding is performed.
  • step S12 the code block information of the corresponding macro block is prepared for reuse. Specifically, the codec information of the corresponding macroblock is read out from the information buffer 255 and given to the re-encoder 25. When the condition of step S14 is not satisfied, the codec information is not reused (step S13).
  • the picture subroutine S6 will be described in more detail with reference to FIG. First, in order to determine the picture type, in step S21, it is determined whether the picture is a ⁇ picture. Picture type is Information It can be seen from the information of the picture header stored in the queue 255.
  • the picture flag PICFg is set to 1 in step S22.
  • the picture flag PICFg indicating the presence or absence of the prediction target picture in picture units is defined as follows.
  • step S22 when codec information is reused, a picture flag PIC is used to indicate a picture in which a picture to be predicted exists.
  • This picture flag is used to determine whether or not to reuse the codec information and to specify the codec information to be given from the information buffer 255 to the re-encoder 25.
  • step S21 If it is determined in step S21 that the picture is not an I picture, it is determined in step S23 whether the picture is a P picture. In the case of a P picture, a search and a detection of a picture to be predicted are performed in step S24. In the case of a P picture, since the encoding is performed so as to be predicted from the past picture, the prediction target picture based on which the encoding is based is detected from the past picture. The position of the past prediction target picture is
  • the picture to be predicted on the detected picture C exists on picture A (for a subroutine following step S2 in FIG. 11) or picture B (for a subroutine following step S3 in FIG. 11). Is determined (step S25). This decision is made by comparing the picture to be predicted with a picture on picture A or B that has the same temporal relationship as the picture to be predicted. If the picture to be predicted exists on the picture A or B, the picture flag is set to 2 in step S22 as described above. If not, the picture flag PICFg is set to 0 (step S26).
  • step S23 When it is determined in step S23 that the picture is not a P picture, that is, in the case of a B picture, a picture to be predicted is searched and detected in step S27. Then, it is determined whether the detected picture to be predicted on the picture C is present on the picture A or the picture B (step S28). If not, the picture flag PICFg is set to 0 (step S26). If present, the picture flag PICF g is a B picture, as described above, depending on whether the picture to be predicted exists before (past), after (future), or in the forward or backward direction. Set to a value of 3, 4, or 5:
  • FIG. 9 shows a case where the picture at the edit point is a B picture.
  • the picture to be predicted (P picture) in the backward direction as viewed from the edit point are searched.
  • a comparison is made between the picture to be predicted in the forward direction and the corresponding picture on picture A. When they match, it is determined that the picture to be predicted exists in the forward direction.
  • the backward picture is compared with the corresponding picture on picture A, and if they match, it is determined that the picture to be predicted exists in the backward direction. In both directions, there may be matching pictures.
  • the target picture contains two pictures, none of the conditions in steps S2 and S3 are satisfied in the picture unit, and the discrimination in the macroblock unit is performed. Processing will shift.
  • FIG. 13 is a flowchart showing the reuse determination process (macroblock subroutine S10) of codec information in macroblock units.
  • the macroblock type is determined.
  • the macro block type is included in the macro block mode of the macro block layer 1 of the MPEG2 syntax, and the macro block type is determined based on this information.
  • step S31 it is determined whether or not the frame is an intra-frame coded macro block (IMB). If it is not IMB, it is determined in step S32 whether the macroblock is an interpolative (bidirectional) macroblock BidiMB. If it is not Bid MB, it is determined in step S33 whether or not it is a backward interframe prediction macroblock (shown as a backward macroblock). If it is neither an I MB, a Bid MB, nor a backward macroblock, the forward interframe prediction macroblock (shown as forward macroblock) ).
  • IMB intra-frame coded macro block
  • step S32 it is determined in step S32 whether the macroblock is an interpolative (bidirectional) macroblock BidiMB. If it is not Bid MB, it is determined in step S33 whether or not it is a backward interframe prediction macroblock (shown as a backward macroblock). If it is neither an I MB, a Bid MB, nor a backward macroblock, the forward interframe
  • step S31 when the macro block of interest is determined to be IMB, in step S34, the value of the macroblock flag MBFg force; 1 is set.
  • a motion vector is selected, and a macroblock corresponding to the macroblock to be predicted exists at a position shifted by the selected motion vector in picture A or B. Is determined. When these conditions are satisfied, codec information can be reused.
  • the macroblock flag MBFg which indicates the presence or absence of the macroblock to be predicted in picture A or B in macroblock units, is
  • This macro block flag is used to determine whether or not codec information can be reused on a macroblock basis. Used to specify.
  • step S32 the macroblock of interest to be determined is If the type is a two-way macro block, a forward motion vector and a backward motion vector are prepared (step S35). Using this motion vector, a macroblock to be predicted is searched and detected (step S36). Since the position of the macroblock to be predicted follows the GOP sequence, the macroblock to be predicted is detected based on the information of the GOP sequence included in the GOP header.
  • the macroblock to be predicted is picture A (for a subroutine following step S4 in FIG. 11) or picture B (for a subroutine following step S5 in FIG. 11). Is determined to be present. This determination is made by comparing the macroblock to be predicted with the image block corresponding to the macroblock on picture A or B at a position shifted from the macroblock to be predicted by the motion vector.
  • FIG. 14 when pictures A and B are mixed, the judgment is made in units of macro blocks.
  • the example in Fig. 14 shows the vicinity of the picture at the edit point in Fig. 9, where the picture type of the picture of interest is B, and two bidirectional macroblocks are shown. Is included in picture A in the edit point picture
  • the macroblock MB is compared with the macroblock-equivalent image block in the past picture A at the position shifted by the forward motion vector. In this example, both macroblocks match (shown as G0OD in the figure). It is also compared with the image block equivalent to the macroblock in the future picture B at the position shifted by the backward motion vector. Both blocks do not match (indicated as NG in the figure). Therefore, in this case, the value of the macroblock flag MBF g is set to 5.
  • the macroblock MB included in the picture B part in the picture at the edit point is also the macroblock equivalent picture of the pictures A and B shifted by the forward and backward motion vectors. Is compared to the As shown in Fig. 14, it matches a macroblock in a future picture (P picture in this example) shifted by a backward motion vector. Therefore, in this case, the value of the macroblock flag MBFg is set to 6. If pictures A and B are not mixed, there is an image block equivalent to the macroblock corresponding to the macroblock to be predicted in both the front and back directions, and the macroblock flag MBF g is set to a value of 4. Set.
  • step S44 If it is determined in step S43 that there is an image block equivalent to the macroblock corresponding to the macroblock to be predicted, then in step S44, the macroblock flag MBF g is set to a value of 3; Is performed. When there is no image block corresponding to the macroblock corresponding to the macroblock to be predicted, the macroblock flag MBFg is set to 0 in step S39.
  • step S33 if the macroblock of interest in picture C is not a back macroblock, that is, if it is a forward macroblock, a forward motion vector is prepared in step S45. You. Then, a macroblock-equivalent image block in the past picture A or B at a position shifted by the motion vector is searched and detected (step S46). The detected macroblock is compared with the prediction target macroblock of the target macroblock to determine whether there is a macroblock-equivalent image block corresponding to the prediction target macroblock (step S47). ).
  • step S48 the macroblock flag is set to the value of MBF g force; 2. You. When the corresponding macro port block corresponding image proc is not present, Makuroburo Kkufuragu MB ⁇ is set Bok to a value of 0 in step S 3 9.
  • the reuse of codec information in macro blocks is determined. Therefore, as shown in FIG. 9, even if the original picture A and the original picture B are mixed at the edit point, the codec information is reused in the macroblock unit to obtain the picture C. Can be re-encoded. Therefore, rather than re-encoding on a picture-by-picture basis, The codec information can be reused finely, and the deterioration of image quality can be reduced.
  • the input / output interface between the archiver / server and the like is an encoding stream
  • the interface with the editor is a baseband
  • Transcoding can minimize image quality degradation due to decoding-encoding chains. Since it is not necessary to add recoding information for transcoding to a base span signal and send it to an external editing device or storage device, editing can be performed without affecting external devices. Therefore, materials such as video materials can be stored in a stream. In addition, there is no need to change the configuration of existing editors installed in stations and stadiums. From the user's point of view, an editing system including an editor and an editing controller performs editing on a stream, but inside the editing system, a base band is edited.
  • the editing system since the editing system handles the MPEG stream as it is, it is possible to increase the number of channels of the network line already installed in the station and to effectively use the material transmission resources in the station.
  • Relationship between head office and local stations in terrestrial broadcasting in Japan, CATV
  • the CM of the broadcast material transmitted from the main station is replaced with the local CM, or the station is inserted. Work can be performed on the bitstream with little degradation.
  • the baseband signal obtained by decoding the encoded bitstream is edited, and the baseband signal resulting from the editing is re-encoded and the stream is generated.
  • a transmission line for transmitting the editing position information can be omitted, and a process of translating the editing information represented by the time code on the time axis of the stream can be omitted.
  • the present invention provides a method of reusing codec information for transcoding not only in picture units but also in finer units such as macroblocks. — Deck information can be selected. Therefore, even when two or more original materials are mixed in the image at the edit point, deterioration in image quality due to re-encoding can be suppressed.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)
  • Studio Circuits (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)

Description

明 細 書 -— 編集システム、 編集制御装置および編集制御方法
技術分野
この発明は、 ビッ トス ト リームを扱う場合に適用される編集システ ム、 編集制御装置および編集制御方法に関する。
背景技術
近年、 ディジタル放送において M P E G (Mov i ng P i c ture Experts Group)に代表される圧縮技術を利用することによって、 限られた伝送 媒体 （無線、 有線いずれも） を有効活用してよ り多数の番組を放送で きることが可能となりつつある。 同様に、 放送業者における素材伝送 についても、 衛星回線を利用する場合の トランスボンダの使用料は高 価であり、 占有する帯域を圧縮することは、 経済的メ リ ッ トが大きい 。 地上波を利用した素材伝送においてもまた同様である。 さらに、 商 用有線回線を利用した場合も同様である。 従って、 取材現場から局に 伝送する場合や、 局から局への局間伝送では、 M P E Gス ト リームを 利用する意義が大きい。
次に、 局内などで M P E Gなどの圧縮技術を映像素材に適用するメ リ ッ トの主たるものは、 映像素材アーカイバ Zサーバの容量の節約で ある。 ノ ンリニア編集が必要とされていなかった時代には、 ランニン グコス 卜の安いテープ上に映像素材をァーカイブしておけばこと足り たが、 ノ ンリニア編集の必要性が求められる現在においては、 ノ ンリ ニァ記録媒体 （ハー ドディスク、 D V Dなど） の記録容量を節約する ことが必須である。
ここで、 第 1 5図を参照して、 M P E G規格に従った伝送システム の概略について説明する。 伝送システムは、 エンコーダ 1 1 0側のビ デォデータに関連した構成と して、 入力されるビデオデータ D、. を符 号化し、 ビデオェレメ ンタリス ト リ一ム E Sを出力するビデオェンコ —ダ 1 1 1 と、 このビデオェンコーダ 1 1 1から出力されるビデオェ レメ ンタ リ ス ト リ一ム E Sをバケツ ト化し、 ヘッダ等を付加してビデ ォパケッタイズドエレメ ンタ リス ト リ一ム P E Sを出力するバケツタ ィザ 1 1 2 とが設けられている。 また、 オーディオデータに関連する 構成と して、 入力されるオーディオデータ D A を符号化し、 オーディ ォェレメ ンタリス ト リ ーム E Sを出力するオーディォエンコーダ 1 1 3 と、 このオーディォェンコーダ 1 1 3から出力されるオーディオェ レメ ンタ リ ス トリ一ム E Sをバケツ ト化し、 ヘッダ等を付加してビデ ォバケツタイズドエレメ ンタ リス トリ一ム P E Sを出力するパケッタ ィザ 1 1 4 とが設けられている。 さらに、 バケツタイザ 1 1 2および 1 1 4からのエレメンタ リ ス ト リ一ムを多重化し、 1 8 8バイ ト長の トランスポ一 トス ト リームバケツ トを作成し、 トランスポ一 トス ト リ —ム T S と して出力するマルチプレクサ 1 1 5 とが設けられている。 第 1 5図に示す伝送システムの復号側 1 2 0には、 伝送媒体 1 1 6 を介して受け取った トランスポートス ト リームをビデオ P E S とォ一 ディォ P E Sに分離して出力するデマルチプレクサ 1 2 1が設けられ る。 ビデオ P E Sおよびオーディォ P E Sのバケツ トをそれぞれ分解 するデバケツタイザ 1 2 2 、 1 2 4 と、 デバケツタイザ 1 2 2 、 1 2 4からのビデオ E Sおよびォ一ディォ E Sをそれぞれ復号するビデオ デコーダ 1 2 3、 オーディオデコーダ 1 2 5 とが設けられている。 ビ デォデコーダ 1 2 3からは、 ベースバン ドのビデオ信号 D、. 、 オーデ ィォ信号 D ,、 が出力される。 このよ うな復号側 1 2 0は、 I R D ( Int egrated Rece i ver/Decoder) と呼はれる。
ビデオデータを中心に、 第 1 5図に示すシステムの動作について説 明する。 まず、 符号化装置 1 1 0側では、 各ピクチャが同じビッ ト量 を持つ入力ビデオデータ D v は、 ビデオエンコーダ 1 1 1 により符号 化され、 各ピクチャ毎に、 その冗長度に応じたビッ ト量に変換され、 ビデオエレメ ンタ リス ト リ ームと して出力される。 バケツタイザ 1 1
2は、 ビデオエレメ ンタ リス ト リームを、 時間軸上のビッ ト量の変動 を吸収して （平均化して） パケッ ト化し、 ビデオバケツタイズドエレ メ ンタ リ ス ト リ一ムと して出力する。 トランスポ一 トス トリ一ムマル チプレクサ 1 1 5は、 ビデオバケツタイズドエレメンタリス ト リーム とバケツタイザ 1 1 4から出力されるオーディオバケツタイズドエレ メ ンタ リス トリームとを多重化して トランスポ一トス トリームバケツ トを作成し、 トランスポートス トリーム T S と して、 伝送媒体 1 1 6 を介して復号化装置 1 2 0に送る。
複号化装置 1 2 0側では、 トランスポ一トス ト リ一ムデマルチプレ クサ 1 2 1によって、 トランスポ一トス トリ一ムがビデオバケツタイ ズドエレメンタリス トリームとオーディオバケツタイズドエレメンタ リ ス ト リームとに分離される。 デバケツタイザ 1 2 2は、 ビデオパケ ッタイズドエレメ ンタリス ト リ一ムをデパケッ ト化し、 ビデオェレメ ンタ リス ト リームと して出力し、 ビデオデコーダ 1 2 3がビデオェレ メ ンタ リス ト リームを復号して、 ビデオデータ D、. を出力する。
復号化装置 1 2 0は、 固定レー トの到達ス ト リームから、 再生ピク チヤ毎の可変ビッ ト量の引き出しを行うための制御を、 例えば 1 . 7 5 Mビッ 卜の V B V (Vi deo Bufferi ng Ver i f i er)バッファを用いて行 う。 従って、 符号化装置 1 1 0側では、 この V B Vバッファをオーバ —フローまたはアンダーフローさせないように、 各ピクチャのビッ ト 発生量を制御する必要がある。 このような制御が V B Vバッファ処理 と称される。
上述したように、 多チヤンネル化に代表される限られた伝送資源の 有効活用や、 回線使用のランユングコス 卜の面から符号化ス ト リ一ム の活用は、 非常に魅力的である。 しかしながら、 一方で高能率の圧縮 方式である MP E Gス ト リームであるがゆえの制約が存在し、 放送素 材に M P E Gを広く活用することができない問題があった。
MP E Gの圧縮技術と してのいく つかの特徴を述べると、 第 1に、 MP EGでは、 GO P (Group Of Picture)単位のフ レーム相関を用い てコーディングを行なっている。 第 2に、 MP EGで符号化した結果 の各ピクチャが可変長のビッ ト長を持つ。 第 3に、 MP E G 2では、 伝送先の I R Dが持つバッファの条件を満足するように、 ビッ ト レー トコ ン ト ロール （VB Vバッファの処理） を行なっている。 第 4に、 MP EG 2ェンコ一 ドが最終的に伝送を目的とする場合、 伝送路の容 量にあわせてビッ トレ一 トコン トロールが行われている。
上述した MP EGの特徴によって、 MP E Gビッ トス ト リームを受 け取って編集を行う時には、 問題が発生する。 すなわち、 フ レーム単 位に編集を行なう場合には、 MP E Gス ト リ ームを MP E G復号で一 度ベースバン ドに戻してから、 編集を行なう必要がある。 ベースバン ドで編集してから、 再度符号化を行なって MP E Gス ト リ ームを得る 。 従って、 スイ ッチングを含め編集作業のたびに、 復号、 符号化を繰 り返すことになる。 通常、 ベースバン ド一 MP E Gス ト リ ーム間の復 号、 符号化チェインは、 大きな画質劣化を伴う。 また、 符号化ビッ ト ス ト リームの任意の位置でスィ ツチングを行なう場合、 それがたとえ 符号化単位の切れ目、 具体的には G O P間の相関を利用しないク口一 ズド G O P構造であっても、 バッファ コン ト ロールの連続性が途切れ る。 それによつて、 V B Vバッファ制約を満たせないことになり 、 そ の結果、 アンダーフ口一、 オーバ一フローによって復号後の映像にフ リ一ズゃ画像破綻が生じる。 これら問題点があるために、 MP E Gス ト リームによる編集は、 事- 実上不可能であると考えられていた。 したがって、 送出する放送形態 が MP E Gによる圧縮多チャンネル放送であっても、 ベースバン ドの 素材を編集した後に、 放送最終段で MP EGに符号化する手段がと ら れていた。 また、 オリジナルの素材が MP E Gス ト リームである場合 には、 MP EGス ト リ一ムを復号をした後のベースバン ド信号を従来 のべ一スバン ド編集器で編集を行っていた。 そのため、 編集処理後の 素材劣化がはなはだしい問題があった。 さらに、 ゲイン調整などの特 殊効果、 放送局の口ゴなどの挿入だけをとつても MP EGス トリ一ム が利用できない問題があった。
このよ う な問題点について、 放送局内の編集システムのいく つかの 例に基づいてより具体的に説明する。 第 1 6図は、 MP EGス トリー ムアーカイバを持つ、 マスタ一サーバと、 編集スタジオのインタ一フ エースを示し、 局内伝送は、 ベースバン ドである。 第 1 6図において 、 1 0 1は、 局内のマスタ一アーカイバノサーバを示している。 ァー カイバノサーバ 1 0 1は、 ノ ンリニアアーカイバで、 容量を削減する ために、 M P E G圧縮ス ト リ ームによる素材を蓄積部に蓄積する。 ァ 一力ィバとサーバは、 共に映像素材を蓄積するものであり、 ァ一カイ バが蓄積専用の装置であるのに対して、 サーバは、 外部からの要求に 従って映像素材を出力する装置である。 この発明は、 映像蓄積部と し ての機能を共通に有するので、 アーカイバとサーバのいずれに対して も適用でき、 その意味でアーカイバ /サーバの用語を使用している。 アーカイバ Zサーバ 1 0 1には、 蓄積部からの MP E Gス ト リーム を復号する MP E Gデコーダが設けられている。 MP E Gデコーダに よ り形成されたべ一スバン ドのビデオデータ S 1および S 2が編集ス タジォ 1 0 2に入力される。 局内伝送路の伝送プロ トコルは、 ベース ノくン ドである。 編集スタジオ 1 0 2では、 ビデオデータ S 1および S 2を接続するような編集 （スプライス編集、 A Bロール等） が行われ 、 編集処理後のビデオデータ S 3 (ベースバン ド信号） がアーカイバ Zサーバ 1 0 3に入力される。 アーカイバ Zサーバ 1 0 3には、 M P E Gエンコーダが設けられており、 編集結果が M P E Gス ト リームと して、 蓄積部に保管される。
第 1 7図は、 編集スタジオ 1 0 2の一例の構成を示す。 ベ一スパン ドのビデオデータは、 データ容量が大きい （ビッ トレートが高い） た めに、 記録媒体と してテープ状媒体が使われる。 すなわち、 ビデオデ —タ S 1がリニアス ト レージ 1 0 4 aに記録され、 ビデオデータ S 2 がリニアス ト レージ 1 0 4 bに記録される。 そして、 これらのリニア ス トレ一ジ 1 0 4 aおよび 1 0 4 bをプレーヤと し、 ビデオデータ S aおよび S bがエディタおよびスィッチヤ 1 0 5に供給され、 エディ タおよびスィッチヤ 1 0 5からの編集結果のビデオデータ S cがレコ —ダと してのリニアス トレ一ジ 1 0 4 cに記録される。 リ ニアス トレ —ジ 1 0 4 cから編集後のビデオデータ S 3が出力される。
編集スタジォ 1 0 2は、 第 1 8図に示すように、 ノ ンリニァ記録媒 体 （ハードディスク、 光ディスク等） を使用するノ ンリニアス トレー ジ 1 0 6 a 、 1 0 6 b , 1 0 6 cで構成すること も可能である。 し力 しながら、 ベースバン ド信号をノ ンリニア記録媒体で极うには容量が 大きく高価であり、 編集スタジオ単位に置く ようにした第 1 8図に示 す構成は、 現実的ではない。 また、 第 1 6図に示す編集システムは、 編集のたびに復号、 符号化チヱインが発生し、 それによつて、 素材の 画質劣化が発生し、 また、 この劣化の累積を招く。
第 1 9図は、 局内の伝送路の伝送プロ トコルを M P E Gス ト リ一ム にした場合のマスタ一サーバと編集ス タジオのィ ン タ一フェースを示 す。 アーカイバ Zサーバ l 3 1および 1 3 3には、 MP E Gス ト リ ー ムの素材が蓄積される。 アーカイバ Zサーバ 1 3 1は、 MP E Gス ト リ一ムを編集スタジォ 1 3 2に対して出力し、 アーカイバ/サーバ 1 3 1には、 編集スタジォ 1 3 2から MP EGス ト リ一ムが入力される ので、 これらは、 MP E Gデコーダ、 MP EGエンコーダを備えない 。 MP EGス ト リ ームで、 映像素材を伝送することによって、 2以上 の映像素材をス ト リ一ム T S 1、 T S 2と して多重化することができ る。 このような多チャンネル化によって、 伝送路を有効活用できる。 なお、 ス ト リーム T S 1、 T S 2は、 エレメ ンタ リ ス ト リ ームおよび トランスポ一トス トリームの何れであっても良い。
第 1 9図のシステムにおける編集スタジオ 1 3 2の一例および他の 例を第 2 0図および第 2 1図にそれぞれ示す。 第 20図の例は、 ス ト リ ーム T S 1からス ト リ 一ム T S 1 aおよび T S 1 bを分離し、 ス ト リーム T S 1 aおよび T S 1 bを MP EGデコーダ 1 34 aおよび 1 34 bによって、 それぞれベースバン ド信号に変換する。 これらのベ ースバン ド信号をリ ニアス ト レ一ジ 1 3 5 aおよび 1 3 5 bにそれぞ れ記録する。 リニアス ト レ一ジ 1 3 5 a、 1 3 5 bをプレーヤと して 得られたベースバン ドのビデオデータ S aおよび S bがべ一スバンド エディタおよびスィ ッチャ 1 3 6に入力される。 ベースバン ドエディ タおよびスィッチャ 1 3 6からの編集結果のビデオデータ S cがレコ —ダと してのリニアス ト レージ 1 3 5 cにより記録される。 リニアス ト レ一ジ 1 3 5 cからのビデオデ一タが M P E Gエンコーダ 1 3 4 c によって MP EGス ト リーム T S 2と して出力される。
第 2 1図に示す編集スタジォ 1 3 2の他の例は、 リニアス ト レ一ジ 1 3 5 a、 1 3 5 bの代わりにノ ンリニアス トレ一ジ 1 3 7 a、 1 3 7 b、 1 3 7 cを使用したものである。 第 2 1図に示すシステムも、 局内伝送路を多チヤンネル化が容易な M P E Gス ト リ一ムで構成でき る。 しかしながら、 第 2 0図および第 2 1図の構成は、 編集のたびに 復号、 符号化チェイ ンが発生し、 毎回無視し得ない、 素材の画質劣化 が発生し、 また、 この画質劣化の累積を招く。 また、 ベースバン ド信 号をノ ンリニア記録媒体で扱うには容量が大きく高価であり、 編集ス タジォ単位に置く よ うにした第 2 1図に示す構成は、 現実的ではない このような復号一符号化チエインにより生じる素材劣化を避けたい 場合、 当然のことながらベースバンド素材で素材アーカイブを行なう ことになる。 この場合には、 映像素材のデータ量が多くなり、 ノ ンリ ニァ記録媒体に映像素材を蓄積することが難しく なる。
上述のように、 素材劣化の問題と記録容量の問題を解決する手段と して、 ス ト リーム上で編集可能なことが望ましい。 しかしながら、 ス トリ一ムにおける編集を行うには、 前述したように、 M P E Gス トリ —ムの特徴に基づく問題が生じる。 この問題を解決するために、 いく つかの方法が考えられる。 まず、 オーバ一フローに対応するためには 、 ピクチャ単位のビッ ト量をカウン トして V B Vバッファをシミュレ 一トしてダミーデータを挿入することで解決する。 しかしアンダーフ ローの場合は、 補正のしょうが無く フリーズするしかない。
一方、 符号化時にあらかじめスイ ッチング点を決めておいて、 その 場所が規定のバッファ占有量になるようにビッ ト レ一 トコン トロール するという方法が在り、 この方法を使えば、 V B Vバッファの問題は 解決する。 しかし、 あらかじめ符号化前に決められたスイ ッチング点 でのみ解決可能であって、 適用範囲が限られる。
また、 復号ー符号化チェイ ンによる画質劣化の問題を解決するため に、 ス ト リームを一度復号して其の際に取り出した符号化、 復号に必 要な情報 （コ一ディ ック情報と称する） をべ一スバン ドに多重化しで 、 再符号化時に、 コーデック情報を再利用し画像の再構築の精度を高 める トランスコ一ディングが提案されている。 コ一デック情報には、 動きベク トルの情報、 量子化ステップ、 ピクチャタイプ等の情報が含 まれる。
コ一デック情報は、 少なくない情報量である。 従って、 ベースバン ド信号には、 コ一ディ ック情報を多重するのに十分な補助的な領域が なく、 多重できない残り コーディ ック情報は、 有効画像領域へ多重化 するか、 別回線で伝送せざるをえない。
第 2 2図は、 編集のたびに復号ー符号化チェインが発生し、 毎回無 視し得ない、 素材の画質劣化の累積を招く ことを解決するために、 ト ランスコ一ディングを使って編集スタジオを構成した例である。 第 2 2図では、 コ一デック情報を素材信号線と別径路で送る構成である。 ス トリ一ム T S 1 aおよび T S 1 bを MP E Gデコーダ 1 34 aおよ び 1 34 bによって、 それぞれベースバン ド信号に変換し、 ベ一スバ ン ドのビデオデ一タ S aおよび S bがべ一スバン ドエディタおよびス イ ツチヤ 1 3 6に入力され、 ベ一スパンドエディタおよびスィ ッチヤ 1 3 6からの編集結果のビデオデ一タ S cが M P E Gエンコーダ 1 3 4 cによって MP E Gス ト リーム T S 2と して再符号化される。
さらに、 MP E Gデコーダ 1 34 a、 1 34 bで利用される、 コー デック情報をス ト リ ームまたはデコーダ 1 3 4 a、 1 34 bから検出 する情報検出器 1 4 1 a、 1 4 l b と、 コ一デック情報を伝送する信 号線 1 4 2 a、 1 4 2 b , 1 4 2 c と、 コーデック情報をエンコーダ 1 34 cで利用するための情報見積器 1 44 と、 コーデック情報とベ —スパン ドエディタおよびスィ ッチャ 1 3 6の編集情報を有機的に結 合するコ一デック情報アダプタ 1 4 3が設けられる。 このよ うに、 別回線でコ一ディ ック情報を伝送する場合、 エディタ およびスィ ッチヤ 1 3 6が編集を行う と共に、 他に別系統で送られた コ一ディ ック情報を扱うために、 コ一デック情報アダプタ 1 4 3のよ うな特別の構成を付加する必要がある。 つまり、 ベースバン ド信号を 扱う既存の編集スタジォを利用できない問題が生じる。
第 2 3図は、 この問題を解決するために、 コ一デック情報をべ一ス バン ドの有効信号ェリァに多重するようにした編集スタジォの構成を 示す。 コ一デック情報を入カス トリ一ム T S 1 aおよび T S 1 bまた はまたはデコーダ 1 34 a、 1 34 bからそれぞれ検出する情報検出 器 1 4 1 aおよび 1 4 1 bが設けられる。 検出されたコ一デック情報 がインポ一ザ 1 4 5 aおよび 1 4 5 bにおいて、 ベースバンドのビデ ォデータ S aおよび S bに対してそれぞれ多重化される。 コ一デック 情報が多重化されたべ一スパンド信号がベースバン ドエディタおよび スィ ッチャ 1 3 6に入力される。 多重化の方法の一例は、 ビデオデ一 タの各サンプルの最下位ビッ トと して、 コ一デック情報をランダムに 重畳するものを採用できる。
ベースバン ドエディタおよびスィ ッチヤ 1 3 6から出力されるビデ ォデータには、 コーデック情報が多重化されている。 このビデオデ一 タがセパレ一タ 1 4 6に供給され、 コ一デック情報が分離される。 セ ノ レ一タ 1 4 6からのビデオデータ S cが M P E Gエンコーダ 1 34 cにおいて再符号化される。 再符号化の時に、 セパレータ 1 4 6から のコ一デック情報が利用される。
第 24図は、 第 2 3図の構成に対して、 ス ト リーム T S 1を一旦記 録し、 再生したス ト リ ームを MP E Gデコーダ 1 3 4 aおよび 1 34 bに対して出力するノ ン リ ニアス ト レージ 1 4 7 と、 MP E Gェンコ —ダ 1 34 cから T符号化されたス ト リームを記録するノ ン リニアス ト レージ 1 4 8 とを付加したものである。
第 2 3図または第 24図に示すよ うに、 コ一デック情報をべ一スバ ン ド信号に多重化して伝送する構成は、 ベースバン ドエディタおよび スィ ッチャ 1 3 6がコーデック情報アダプタのような特別な装置を持 つ必要がない。 しかしながら、 有効映像信号区間にコ一デック情報を 挿入するという手法は、 ランダムデータに変換して多重を行なったと しても、 映像に歪みをあたえ、 S/Nを損なう。
第 2 3図または第 24図の構成は、 ベースバンドの信号にコ一デッ ク情報を多重化する場合、 編集スタジォ內に多重化のための構成を設 置するものである。 一方、 アーカイバ/サーバ內にコ一デック情報の 多重化、 分離の構成を設けるよ うにした構成例を第 2 5図に示す。 ァ 一力ィバ Zサーバ 1 5 1内に、 蓄積部 1 54からの MP E Gス ト リー ムを復号する MP EGデコーダ 1 5 5 a、 1 5 5 bと、 ス ト リームか らコ一デック情報を検出する情報検出器 1 5 6 a、 1 5 6 b と、 ベ一 スパン ドのビデオデータに対してコ一デック情報を多重化するィンポ —ザ 1 5 7 a、 1 5 7 bが設置される。
コーデック情報が多重化されたべ一スパン ドのビデオデータ S 1 1 および S 1 2が編集スタジォ 1 5 2に入力される。 編集スタジォ 1 5 2は、 ベースバン ド信号を扱う もので、 前述した第 24図に示す構成 と同様に、 リニアス トレ一ジとベースバン ドエディタおよびスィ ッチ ャから構成される。
編集結果のビデオデ一タを蓄えるアーカイバ zサーバ 1 5 3には、 編集スタジォ 1 5 2からのコ一デック情報が多重化されたベースバン ドのビデオデ一タ 1 3が入力される。 セパレ一タ 1 5 8によってコ —デック情報が分離され、 MP E Gエンコーダ 1 5 9では、 このコ一 デック情報を使用して再符号化を ίίう。 M P E Gエン コーダ 1 5 9か らのス ト リームが蓄積部 1 6 0に蓄積される。
しかしながら、 第 2 5図の構成は、 実際には、 正しく機能せず、 誤 接続となる。 すなわち、 編集スタジォ 1 5 2では、 ベースバン ド用途 の V T R '： Vi deo Tape Recorder) 等の既に普及している記録媒体にビ デォデータを記録するようになされる。 当然のことながら、 既存の V T Rは、 コ一デック情報を取り出してそれを保存し次段に伝える機能 をサポートしていない。 さらに、 現在普及している、 殆どのディジタ ル V T Rは、 M P E Gと異なる圧縮方式を採用するので、 有効信号領 域に多重した情報がビデオデータと同様に、 圧縮 · 伸長の処理を受け る。 コ一ディ ック情報も同様の処理を受け、 それによつて歪みを受け ることになるため、 コ一デック情報と して利用できない。 例えばビデ ォデータの最下位ビッ 卜にコ一デック情報を重畳しても、 最下位ビッ 卜が V T Rの圧縮 · 伸長の処理によって変化する。
一方、 第 2 3図または第 2 4図の構成は、 ス ト リームを伝送する構 成と し、 編集スタジオ内に M P E Gデコーダ、 再符号化用のェンコ一 ダ等の付加的構成要素を設置して、 コ一デック情報が多重化されたべ —スバンド信号と既存の V T Rとのィンタ一フェースの可能性を排除 している。 しかしながら、 上述したよ うに、 有効映像信号区間にコ一 デック情報を挿入することによって、 映像に歪みが与えられ、 S Z N を損なう問題を解決することができない。
従って、 この発明の一つの目的は、 蓄積媒体、 伝送媒体を有効に活用 することができ、 また、 画質の劣化を抑えることができ、 さらに、 既存 のベースバン ド編集器を使う こ とが可能な編集システム、 編集制御装置 および編集制御方法を提供するこ とにある。
この発明の他の目的は、 編集器から編集位置情報をもらう必要がなく 、 編集位置を検出することができる編集システム、 編集制御装置および 編集制御方法を提供することにある。
この発明のさらに他の目的は、 ピクチャよ り きめ細かい単位で、 再符 号化のためのコーデック情報を利用することができ、 再符号化による画 質の劣化が防止された編集システム、 編集制御装置および編集制御方法 を提供することにある。
発明の開示
請求項 1の発明は、 ベースバン ド信号の編集を行う編集器と、 編集 器に対して接続される編集制御装置とからなり、
編集制御装置は、
素材が符号化された第 1 の符号化ビッ トス ト リ一ムを復号し、 第 1 のベースバン ド信号を出力する第 1の復号手段と、
素材が符号化された第 2の符号化ビッ トス ト リ ームを復号し、 第 2 のべ一スパン ド信号を編集器に対して出力する第 2の復号手段と、 編集器からの第 1および第 2のベースバンド信号を編集した結果の 第 3のべ一スバン ド信号を、 第 1および第 2の復号手段で使用された コ ーデック情報を利用して、 再符号化し、 第 3の符号化ビッ トス トリ ームを出力する符号化手段と、
他の装置から受け取った編集位置情報に基づいて、 符号化手段にお いて利用されるコ ーデック情報を選択する制御手段と
からなることを特徴とする編集システムである。
請求項 8の発明は、 素材が符号化された第 1の符号化ビッ トス トリ 一ムを復号し、 第 1のベースバン ド信号を出力する第 1の復号手段と 素材が符号化された第 2の符号化ビッ トス ト リ一ムを復号し、 第 2 のベースバン ド信号を編集器に対して出力する第 2の復号手段と、 編集器からの第 1および第 2のベースバン ド信号を編集した結果の 第 3のベースバン ド信号を、 第 1および第 2の復号手段で使用された コ一デック情報を利用して、 再符号化し、 第 3の符号化ビッ トス ト リ —ムを出力する符号化手段と、
編集位置情報に基づいて、 符号化手段において利用されるコ一デッ ク情報を選択する制御手段と
からなる編集制御装置である。
請求項 1 5の発明は、 第 1 の素材が符号化された第 1 の符号化ビッ トス ト リ一ムおよび第 2の素材が符号化された第 2の符号化ビッ トス ト リームが入力され、
第 1および第 2の符号化ビッ トス ト リームをそれぞれ復号した第 1 および第 2のベースバンド信号を編集器に対して送出し、
編集器からの第 1および第 2のべ一スパンド信号を編集した結果の 第 3のベースバン ド信号を受け取り、
他の装置から受け取った編集位置情報に基づいて、 第 1および第 2 の符号化ビッ トス ト リ一ムを復号するのに使用されたコ一デック情報 中の必要なコ一デック情報を選択し、
選択したコ一デック情報を利用して第 3のべ一スパン ド信号を再符 号化し、 第 3の符号化ビッ トス ト リ一ムを出力することを特徴とする 編集制御方法である。
請求項 1 6の発明は、 ベースバン ド信号の編集を行う編集器と、 編 集器に対して接続される編集制御装置とからなり、
編集制御装置は、
素材が符号化された第 1 の符号化ビッ トス ト リームを復号し、 第 1 のベースバン ド信号を出力する第 1 の復号手段と、
素材が符号化された第 2の符号化ビッ トス ト リ ームを復号し、 第 2 のベースバン ド ί言号を編集器に対して出力する第 2の復号手段と、 第 1および第 2のべ一スバン ド信号と第 3のベースバン ド信号を位 相を合わせて比較するこ とによって、 編集位置を検出する比較手段と 編集位置の情報に基づいて、 再符号化において利用されるコ一デッ ク情報を選択する制御手段と、
編集器からの第 1および第 2のベースバンド信号を編集した結果の 第 3のべ一スパン ド信号を、 選択されたコ一デック情報を利用して、 再符号化し、 第 3の符号化ビッ トス ト リームを出力する符号化手段と からなることを特徴とする編集システムである。
請求項 1 9の発明は、 素材が符号化された第 1 の符号化ビッ トス ト リームを復号し、 第 1のベースバン ド信号を出力する第 1の復号手段 と、
素材が符号化された第 2の符号化ビッ トス トリ一ムを復号し、 第 2 のベースバンド信号を編集器に対して出力する第 2の復号手段と、 第 1および第 2のベースバン ド信号と第 3のベースバンド信号を位 相を合わせて比較することによって、 編集位置を検出する比較手段と 編集位置の情報に基づいて、 再符号化において利用されるコ一デッ ク情報を選択する制御手段と、
編集器からの第 1および第 2のベースバンド信号を編集した結果の 第 3のべ一スバン ド信号を、 選択されたコ一デック情報を利用して、 再符号化し、 第 3の符号化ビッ トス ト リームを出力する符号化手段と からなる編集制御装置である。
請求項 2 2の発明は、 第 1 の素材が符号化された第 1 の符号化ビッ トス ト リ ームおよび第 2の素材が符号化された第 2の符号化ビッ トス ト リ ームが入力され、 第 1および第 2の符号化ビッ トス ト リームをそれぞれ復号した第 1 および第 2 のベースバン ド信号を編集器に対して送出し、
第 1および第 2 のベースバンド信号と、 第 1および第 2のべ一スバ ン ド信号を復号する時に使用したコ一デック情報とを保存し、
編集器からの第 1および第 2のベースバンド信号を編集した結果の 第 3のべ一スバン ド信号を受け取り、
第 1および第 3 のべ一スパンド信号を位相を合わせた状態で比較す ると共に、 第 2および第 3 のべ一スパン ド信号を位相を合わせた状態 で比較することによって、 編集位置を検出し、
検出された編集位置に基づいて、 第 3 のべ一スバン ド信号を再符号 化するために利用するコ一デック情報を選択し、
選択されたコ一デック情報を用いて第 3 のべ一スパンド信号を再符 号化することによって、 第 3の符号化ビッ トス トリ一ムを出力するこ とを特徴とする編集制御方法である。
この発明では、 編集制御装置の入出力信号形態を符号化ビッ トス ト リームと しているので、 複数の映像素材の符号化データを多重化する ことが容易であり、 伝送媒体を有効に利用できる。 また、 編集制御装 置は、 編集器とベースバンド信号でインタ一フェース し、 また、 ベ一 スバン ド信号には、 コ一デック情報が多重化されない。 しカゝも、 トラ ンスコ一ディングのための利用されるコーデック情報を別の信号線で 伝送する必要がなく、 信号線の増加を防止できると共に、 編集器がコ
—デック情報を极うための装置を備える必要がない。 これらの点から
、 編集器と して既存のベースバン ド編集装置を手を加えることなく使 用できる- また、 編集器に対して出力した第 1および第 2のべ一スバン ド信号と 、 編集器からの戻りの第 3のベースバン ド信号とを位相を合わせた状態 で比較することによって、 編集位置を検出することができる。 従つで、 編集器との間で、 編集位置情報を伝送する線を省略でき、 また、 編集位 置情報をス ト リ一ムの時間軸に翻訳する必要がない。
さらに、 再符号化のためのコ一デック情報の利用の可否をピクチャ単 位のみならず、 ブロック単位で判別できる。 従って、 編集点のピクチャ が二つのオリ ジナル素材が混在するものであっても、 再符号化による画 質の劣化を抑えることができる。
図面の簡単な説明
第 1図は、 この発明の一実施形態の局内のシステム全体を示すプロ ック図である。
第 2図は、 この発明の一実施形態中の編集スタジォの一例を示すプロ ック図である。
第 3図は、 この発明の一実施形態中の編集スタジォの他の例を示すブ 口 ック図である。
第 4図は、 この発明を適用できる放送ネッ トワークの一例を示すプロ ック図である。
第 5図は、 この発明の一実施形態中の主要部であるスプライサ Zトラ ンスコーダの一例を示すブロック図である。
第 6図は、 スプライサ Zトランスコーダ中の管理情報生成部の構成の 一例を示すブロック図である。
第 7図は、 この発明の一実施形態中の主要部であるスプライサ/トラ ンスコーダの他の例を示すプロ ック図である。
第 8図は、 この発明の他の実施形態中の主要部であるスプライサノト ランスコーダの一例を示すブロ ック図である。
第 9図は、 ベースバン ド信号の時間関係、 並びにコ一デック情報の再 利用のための処理を説明するための略線図である。 第 1 0図は、 ピクチャおよびマクロブロックの関係を示す略線図であ る。
第 1 1図は、 コ一デック情報の再利用のための判別処理を示すフロー チヤ一トである。
第 1 2図は、 第 1 1図中のピクチャサブルーチンを示すフローチヤ一 トである。
第 1 3図は、 第 1 1図中のマクロブロックサブルーチンを示すフロー チャートである。
第 1 4図は、 マクロブロック単位のコ一デック情報の再利用を説明す るための略線図である。
第 1 5図は、 従来の M P E Gの符号化、 復号システムのブロック図で ある。
第 1 6図は、 この発明の説明の参考と した局内のシステムの構成の一 例を示すブロック図である。
第 1 7図は、 第 1 6図中の編集スタジオの一例を示すプロック図であ る。
第 1 8図は、 第 1 6図中の編集スタジオの他の例を示すプロック図で ある。
第 1 9図は、 この発明の説明の参考と した局内のシステムの構成の他 の例を示すブロック図である。
第 2 0図は、 第 1 9図中の編集スタジォの一例を示すプロック図であ る。
第 2 1図は、 第 1 9図中の編集スタジォの他の例を示すプロ ック図で ある。
第 2 2図は、 この発明の説明の参考と した編集スタジオの構成の一例 を示すブロ ック図である。 第 2 3図は、 この発明の説明の参考と した編集スタジォの構成の他の 例を示すブロック図である。
第 2 4図は、 第 2 3図の構成に対してノンリニアス ト レ一ジを付加し た構成を示すプロック図である。
第 2 5図は、 この発明の説明の参考とした局内システムの構成を示す ブロ ック図である。
発明を実施するための最良の形態
以下、 この発明の一実施形態について図面を参照して説明する。 第 1図は、 この発明による編集システムの構成を示す。 アーカイバ サ —バ 1および 3は、 符号化ビッ トス ト リ一ム例えば M P E Gス ト リ一 ムの映像素材をそれぞれ蓄積する蓄積部 4および 5を備える。 M P E Gで圧縮されているので、 蓄積部 4および 5 と してノ ンリニァ記録媒 体が使用できる。 アーカイバとサーバは、 共に映像素材を蓄積するも のであり、 アーカイバが蓄積専用の装置であるのに対して、 サーバは 、 外部からの要求に従って映像素材を出力する装置である。 この発明 は、 映像蓄積部と しての機能を共通に有するので、 アーカイバとサー バのいずれに対しても適用でき、 その意味でアーカイバ //サーバの用 語を使用している。
また、 アーカイバ Zサーバ 1 と編集スタジオ 2 とアーカイバ/サー バ 3の間の伝送路は、 符号化ビッ トス ト リーム例えば M P E Gス トリ —ムを伝送するようになされる。 それによつて、 複数のチャンネルの 多重化が可能となり、 伝送資源を有効に利用できる。 すなわち、 ァ一 カイバ /サーバ 1からのス ト リ一ム T S 1には、 二つ以上のオリ ジナ ルのビデオ Zオーディォ素材が多重化される。 ス ト リ ーム T S 2は、 編集結果のス ト リームであるが、 必要に応じて、 編集結果と共に、 ォ リ ジナルの二つ以上のビデオ Zオーディォ素材を多重化できる。 なお 、 ス ト リーム T S 1、 T S 2は、 トランスポー トス ト リームであるが 、 エレメ ンタ リ ス ト リームまたはバケツ トタイズドエレメ ンタ リ ス ト リームでも良い。
編集スタジオ 2は、 第 2図または第 3図に示す構成とされている。 第 2図に示す例では、 ス ト リーム T S 1が入力され、 ス ト リーム T S 2が出力されるスプライサ トランスコーダ 2 1 と、 ベースバン ド信 号のビデオデータ S aおよび S bが入力され、 ビデオデータ S cを出 力するように、 スプライサノトランスコーダ 2 1 とべ一スバン ドのィ ンタ一フェースを有するベースバン ドエディタおよびスィ ッチャ 2 2 とが設けられている。 スプライサ トランスコーダ 2 1が編集制御装 置であり、 ベ一スパン ドエディタおよびスィ ッチャ 2 2が編集器であ る。
スプライサ Z トランスコーダ 2 1は、 基本的には、 エディタおよび スィ ッチャ 2 2に対して出力されるべ一スパンド信号へ入カス トリー ムを変換する復号処理と、 エディタおよびスィ ッチャ 2 2からの戻り のベースバンド信号を出カス ト リ一ムに変換する再符号化処理とをト ランスコーディングにより行う トランスコーダである。 但し、 後述す るように、 編集点を含む所定の期間のみトランスコ一ディングを行い 、 入力ス トリームと トランスコーディングの出力とをスイッチングし て出力することも可能である。 すなわち、 スプライサの機能を持つこ ともある。 従って、 スプライサ/ トランスコーダと呼ぶことにする。 第 3図に示す編集スタジォ 2の他の例は、 アーカイバ/サーバ 1か らのス ト リ一ム T S 1 を記録し、 スプライサ Z トランスコーダ 2 1に 対してス ト リーム T S 1 1 を供給するノンリニアス トレ一ジ 2 3 a と 、 スプライサノ トランスコーダ 2 1 からのス ト リ ーム T S 1 2 を記録 し、 ス ト リ一ム T S 2を出力するノ ンリニアス ト レージ 2 3 bを第 2 図の構成に対して付加したものである。 - 第 2図および第 3図から分かるよ うに、 スプライサ Z トランスコ一 ダ 2 1の入出力信号形態が M P E Gス ト リ ームであり、 多チャンネル 化が容易であり、 伝送資源を有効利用できる。 また、 ベースバンドエ ディタおよびスィ ッチヤ 2 2は、 ベースバンド信号でィンターフェ一 スを行なうようになされる。
また、 スプライサ Zトランスコーダ 2 1は、 トランスコーディング を行う ものであり、 再符号化に必要とされるコ一デック情報をエディ タおよびスィ ッチャ 2 2に対して出力する必要がない。 従って、 ベ一 スバン ドエディタおよびスィ ッチャ 2 2 として、 既存のベースバン ド 編集装置をそのまま利用して、 編集システムの構築が可能となる。
さらに、 スプライサおよびトランスコーダ 2 1は、 入力されるス ト リーム S T 1に含まれる M P E Gピクチャ （コーデック情報を含む） と、 ベースバン ド入出力のフレーム （またはフィ一ルド） との関連付 けを行なう。 スプライサ トランスコーダ 2 1において規定された M P E Gピクチャとタイムコードとの対応関係に基づく タイムコードは 、 図では省略されているが、 ベースバン ドエディタおよびスィッチャ 2 2 との間に設けられた双方向の信号線を介して、 エディタおよびス イ ツチヤ 2 2が要求する時には、 スプライサ Z トランスコーダ 2 1か らエディタおよびスィ ッチャ 2 2に対して渡される。 すなわち、 スプ ラィサ Zトランスコーダ 2 1 で使用される M P E Gピクチヤの時刻管 理情報と、 エディタおよびスィ ッチャ 2 2の編集処理に使用される時 刻管理情報 （タイムコード） とは、 1対 1 に対応するよ うになされる なお、 ベースバンドエディ タおよびスィ ッチャ 2 2から、 編集後の ベースバン ド信号 S cが戻ってく る時刻は、 出力時の時刻にベ一スバ ン ドエディタおよびスィ ッチヤ 2 2のシステム遅延を加えたものであ る。 再符号化のためのコ一デック情報と戻ってきたベースバン ド信号 S c のフ レームとの対応づけは、 スプライサ Z トランスコーダ 2 1 か らのべ一スパン ド信号の出力時刻を記録しておけば、 簡単に行う こと ができる。
さらに、 スプライサ/" トランスコーダ 2 1は、 ベースバン ドエディ タおよびスィッチャ 2 2から、 または、 ベースバン ドエディタおよび スィ ッチャ 2 2をコントロールしているホス ト C P Uあるいはコント ロールマシンから、 従来から活用されているタイムコ一ドによるキュ —情報等の編集位置情報を受け取り、 M P E Gピクチャ との対応づけ を行なう。 すなわち、 スプライサ トランスコーダ 2 1では、 キュー 情報をもとに編集フレームの検出を行ない、 再符号化時に利用するコ —デック情報を選択する。 コーデック情報は、 動きベク トル、 ピクチ ャタイプ、 量子化ステップサイズ、 量子化スケールなどの情報である 0
タイムコードと M P E Gピクチャとの対応づけのために、 例えば入 カス ト リーム中に、 任意の素材の P T S (Presentat i on Time Stamp ; 再生出力の時刻管理情報） とタイムコ一ドと関連付けを行なうための 、 P T S とタイムコード間の関係を示す対照テーブルを挿入する。 こ のような対照テーブルを伝送する方法は、 種々のものが可能である。 例えば、 セクショ ン形式の独立パケッ トでテーブルを伝送する。 また 、 ス ト リ 一ムシンタ ックス上のェクステンショ ンなどのユーザエリ ア にテーブルをのせることができる。
さらに、 M P E Gピクチャと対応付けられたタイムコー ド自身をス ト リ一ム中に挿入して伝送しても良い- その場合には、 対照テ一ブル が不要である： また、 伝送する時間情報は、 タイムコー ドに限らない 。 編集期間中、 十分な時間指定が可能な範囲でタイムコードと 1対 1 に対応するピクチャ用のイ ンデックスを伝送しても良い。 さらに、 M P E Gス ト リーム上のシンタ ックス （符号化データ列の規則） である P T S、 ピクチャタイプ、 GO P、 プルダウンやフィール ドフリ ップ に伴う リ ピートフアース トフィールドなどの情報を使うことによって タイムコ一ドによるキュー情報と対応づけを行なうことが可能である 第 4図は、 この発明を放送システムに対して適用した場合の概略的 構成を示す。 3 1で示す本局と、 複数の地方局 3 2 a、 3 2 b、 3 2 c , 3 2 d、 · · ' が伝送ネッ トワーク 3 3を介して結合されている 。 伝送ネッ トワークを介して MP E Gビッ トス ト リ一ムが伝送される 。 MP E Gビッ トス ト リームにより多チャンネルを多重化して伝送で きる。 本局 3 1には、 通信または放送衛星 3 4からの電波を受信する アンテナ 3 5が設置されている。 アンテナ 3 5で受信された番組素材 、 マイクロ波回線 3 6を介して現場から送られてきたライブ素材、 局 内のアーカイバ サーバ 4 1からの番組素材および CM素材がスプラ ィサ Zトランスコーダ 4 2に MP E Gス トリ一ムの形態でもって入力 される。
スプライサ/トランスコーダ 4 2は、 上述したように、 ベースバン ドエディタおよびスィ ッチヤ 4 3 との間にべ一スバン ドィンタ一フエ —スを有する。 スプライサ/トランスコーダ 4 2は、 入力される番組 素材をスィ ツチングして、 放送番組 （MP E Gビッ トス ト リ一ム） を 作成する。 この放送番組が本局 3 1からネッ トワーク 3 3を介して地 方局 3 2 a、 3 2 b、 · · · に対して配信される。
地方局 3 2 aは、 本局 3 1 から受け取った MP E Gス ト リ一ムと、 CM (コマーシャル） サーバ 4 6 aからの CM素材とがスブライサ/ トランスコーダ 44 aに対して入力される。 スプライサ/トランスコ
—ダ 44 a と C M挿入スケジユーラ 4 5 a との間は、 ベースバンドィ ンタ一フェースにより結合されている。 CMサーバ 4 6 aには、 地方 局 3 2 aで CM素材が蓄積されている。 CM挿入スケジューラ 4 5 a は、 本局 3 1から送られてきたプログラムビッ トス トリ一ム中の CM を地方局 3 2 aに特有の口一カル CMに差し替える。 トランスコ一デ イングによって、 殆ど劣化なく CMを差し替えることができる。 他の 地方局 3 2 b、 3 2 c、 · · ' においても同様に、 CMを差し替える ことができる。
CMの差し替えに限らず、 本局 3 1、 地方局 3 2 a、 3 2 b、 · ·
• において、 放送局の口ゴをプログラムビッ トス トリ一ム中に挿入す る作業を行う ことができる。 また、 地上波放送に限らず、 CATVに おけるケ一ブルオペレータとへッ ドエンド局との間の関係に対しても 、 この発明を同様に適用できる。
スプライサ トランスコーダ 2 1の一例および他の例を第 5図およ び第 7図にそれぞれ示す。 第 5図に示す例は、 入力される MP E Gビ ッ トス ト リ一ムの全てを トランスコ一ディングする。 第 7図に示す例 は、 入力される MP EGビッ トス ト リ一ムを部分的に トランスコ一デ イングした後、 ス ト リームスイ ッチング （スプライス） を行う もので ある。
第 5図のスプライサノトランスコーダの一例について説明する。 ァ —カイバ Zサーバの出力、 衛星からの受信信号、 マイクロ波回線を介 して到来した信号等の M P E Gビッ トス ト リ一ム丁 S 1が入力される 。 このス ト リ ーム T S 1は、 複数プログラム （番組素材） が多重化さ れたス ト リームである。 少なく と も 2以上のプログラムが多重化され ている ト ラ ンスポー トス ト リ ーム T Sに限らず、 時間多重されたェ レメ ンタ リ ース ト リ ーム E Sでも良レ、。 但し、 E Sの場合は、 識別用 のタグか、 または現在入力しているス ト リ ームがどのス ト リームかを 識別するための入力情報が必要と される。
5 1は、 編集対象の二つのプログラムのバケツ トを引き出すための フィルタである。 トランスポ一 トス ト リ一ム T Sであれば、 P I D ( パケッ ト I D) によって、 目的のプログラムを抽出できる。 エレメン タ リ一ス ト リーム E Sの場合では、 上述したように、 識別タグ等の情 報が必要である。
フィルタ 5 1によって抽出した二つのス ト リ一ム Aおよび Bを MP EGデコーダ 5 2 a、 5 2 bによってそれぞれ復号する。 M P E Gデ コーダ 5 2 aによって、 プログラム Aのベースバン ドビデオ Zオーデ ィォデータ S aが得られ、 MP EGデコーダ 5 2 bによって、 プログ ラム Bのベースバン ドビデオ Zオーディオデータ S bが得られる。 こ れらのべ一スバンドデータ S aおよび S bが外部のエディタおよびス イツチヤ 2 2に出力される。
ベースバン ドエディタおよびスィ ッチャ 2 2からは、 編集された結 果の戻りのベースバンドビデオ zオーディオデータ S cが入力される 。 このべ一スバンドデータ S cが MP EGリエンコーダ 5 3に供給さ れる。 リエンコーダ 5 3は、 ベースバンドデータ S cのビデオフレー ムに対応した MP E G再符号化用のコ一デック情報を径路 54を介し て情報バッファ 5 5から受け取る。 この再符号化用のコ一デック情報 に基づいて、 要求の目標ビッ ト量にデ一タ S cを:l P E Gス ト リ一ム T S 2へ再符号化する。 そして、 リエンコーダ 5 3からは、 入力ス ト リーム A、 ス ト リーム Bの ABロール編集の結果のス ト リ一ム T S 2 が出力される。 再符号化用のコーデック情報とは、 動きベク トル、 ピ クチャタイプ、 量子化ステップサイズ、 量子化レベルなどである。 ト ランスコーディングによって、 復号一符号化チエインによる画質の劣 化が抑えられる。
以上が本線系で、 エディタおよびスィ ッチヤ 2 2 との間に存在する 編集ス ト リーム用のインタ一フェースは、 ベースバンドデータ S a、 S b、 S cのみであり、 ベースバン ドのデータに対してコ一デック情 報を重畳する必要がない。 なお、 第 5図および第 7図においても、 ェ デイタおよびスィッチャ 2 2からの要求に応じてタイムコードをスプ ライサ Z ト ランスコーダ 2 1 へ伝送する伝送路は、 省略されている。 情報バッファ 5 5には、 M P E Gデコーダ 5 2 aおよび 5 2 bのそ れぞれで復号に使用されたコ一デック情報が入力される。 情報バッフ ァ 5 5には、 ライ トコン トローラ 5 6からのライ トア ドレス W A Dお よびライ トイネ一ブル W Eが供給される。 また、 リードコントローラ 5 7からのリ ードア ドレス R A Dが情報バッファ 5 5に供給される。 情報バッファ 5 5からリエンコーダ 5 3に対しては、 ス ト リ ーム S c の編集点と同期して、 再符号化用のコ一デック情報が供給されること が必要である。 例えばビデオデータ S aに対して編集点 （イ ン点） で ビデオデータ S bが接続されたビデオデータ S cが戻ってく る時には 、 ビデオデータ S aの再符号化用のコ一デック情報からビデオデータ S bの再符号化用のコ一デック情報への切替えがなされる。 情報バッ ファ 5 5の容量は、 エディタおよびスィ ッチャ 2 2のシステム遅延 （ 数フ レーム時間） に対応したもので良い。
スプライサ Zトランスコーダ 2 1 が出力したビデオデータ S a、 S b とべ一スバン ドエディタおよびスィ ッチヤ 2 2からの戻ってきたビ デォデータ S c との間の位相は、 管理テーブル 6 2によって管理され る。 このため、 ライ トコン トローラ 5 6およびリードコン トローラ 5 7が管理テーブル 6 2 と接続され、 管理テーブル 6 2が入カス ト リ一 ムのピクチャカウン 卜値と戻り のビデオデータ S c のフレームカウン ト値を用いて、 情報バッファ 5 5のライ ト Zリー ドを制御する。 フレ —ムカウンタ 5 8がビデオデータ S cのフレーム数をカウン トし、 力 ゥン ト値をァ ドレス と して管理テーブル 6 2に読出し要求 R E Qを与 える。 管理テーブル 6 2は、 リ ングバッファの構成と され、 入力情報 をインク リ メ ン トするァ ドレスに順次書込み、 読出し要求 R E Qに応 じてリードポインタをインク リ メントするようになされている。 リー ドポインタが指し示すァ ドレスの再符号化情報が情報バッファ 5 5か ら読出され、 経路 5 4を介して M P E Gリエンコーダ 5 3に送られる 。 管理テーブル 6 2 と関連して管理情報生成部 6 1が設けられる。 管 理情報生成部 6 1に対してキュー情報が入力される。 管理情報生成部 6 1については後述する。
エディタおよびスィ ッチャ 2 2、 またはコン ト ロールマスターから 、 プログラムの編集のキュー情報がスプライサ Zトランスコーダの管 理情報生成部 6 1 に供給される。 キュー情報は、 通常、 タイムコード で指定された編集位置情報である。 より具体的には、 イン点 Zアウ ト 点の情報がキュー情報に含まれる。 キュー情報をもとに編集フレーム の検出を行ない、 ベースバン ドデータ S c と同期してコ一デック情報 を利用するように、 コ一デック情報が選択される。 リードコン トロー ラ 5 7により所定のコ一デック情報が読出される時には、 このコ一デ ック情報を使用可能なことを示すイネ一ブル信号がリー ドコン トロー ラ 5 7からリエンコーダ 5 3に供給される。
また、 リエンコーダ 5 3は、 ビッ ト量見積器 5 9 と接続され、 V B Vバッファの処理がなされる。 すなわち、 再符号化によ り得られた M P E Gビッ トス ト リーム T S 2を復号する側のバッファがオーバ一フ ローまたはアンダーフローしないように、 適切な符号化がなされる。 この制御のために、 管理テーブル 6 2の該当するイ ンデックススロ ッ トに書込まれている、 編集点付近の目標ビッ ト量 （ビッ ト発生量の割 り振り、 重み付けの情報） がビッ ト量見積器 5 3に供給される。 再符 号化によって、 基本的に目標発生ビッ ト量が満足される。 通常の符号 化の制御において行われることは、 設定された目標ビッ ト量に対して
、 リエンコーダ 5 3の発生ビッ ト量が不足する時には、 ダミーデータ が付加される。 また、 発生ビッ ト量が目標ビッ ト量を超過する時、 つ まり、 デコーダ側でアンダ一フローが起きそうな場合、 スキップドマ クロブロックにする力 予測残差 （予測画マクロブロック M Bとの差 分） を 0にするなどの処理である。 この処理でも対応できず、 アンダ —フローしてしまう時には、 デコーダ側の処理方法に依存して再生画 像に対する影響が生じる。 通常は、 バッファにデータが溜まるまでゥ エイ 卜がかかり、 その結果と して再生画像がフリーズする。
第 6図は、 管理情報生成部 6 1 のよ り詳細な構成を示す。 編集位置 情報と してのキュー情報は、 インタープリ一タ 7 1に供給され、 適宜 翻訳される。 インタープリ一タ 7 1から取り出された情報がマツピン グ器 7 2に供給される。 マッピング器 7 2は、 タイムコードで表現さ れたキュー情報を、 フィルタ 5 1 で抽出された入カス ト リ一ム 7 3の タイムスタンプ P T S (再生出力の時刻管理情報） のスケールにマツ ビングする。
入力ス ト リーム 7 3からピクチャカウンタ 7 4がピクチャヘッダを 検出し、 ピクチャの数を数える。 ピクチャカウンタ 7 4で数えられた ピクチャの数がピクチャ Zフ レームイ ンデックス生成器 7 5に洪給さ れる： ピクチャ Zフレームインデックス生成器 7 5は、 ピクチャおよ び情報の管理テーブル 6 2の整理のために、 ピクチャに対応したイン デッ クスを発生する。 管理テーブル 6 2は、 このイ ンデッ クスでテ一 ブルを整理し、 フ レームカウンタ 5 8からのビデオデータ S c のフレ —ムの数のカウン ト値をァ ドレス と して管理情報を出力する。
タイムスタンプリーダ 7 6は、 入カス ト リーム 7 3からタイムスタ ンプ P T Sを読む。 このタイムスタンプ P T S と、 マツピング器 7 2 の出力とがリエンコーディングス トラテジ一プランナ 7 7に供給され る。 マッピング器 7 2の出力は、 ビデオフ レームに対する編集点を示 すタイムコードがタイムスタンプのスケールに合わせマッピングした 結果である。 従って、 リエンコーディングス トラテジープランナ 7 7 は、 編集点と入カス ト リ一ム 7 3のピクチャとの対応付けが行う。 リ エンコーディングス トラテジ一プランナ 7 7の出力がインデックスが 示す管理テーブル 6 2のァ ドレスに対して書き込まれる。
7 8は、 入カス ト リーム 7 3の発生ビッ ト量を力ゥントし、 カウン ト結果を V B Vバッファシミ ュ レータ 7 9に供給し、 V B Vバッファ のシミ ュ レーショ ンを行なう。 V B Vバッファは、 エンコーダが符号 化時に想定しているデコーダ側のバッファの容量であり、 V B Vバッ ファのシミュレ一ショ ンによって、 デコーダ側のバッファのアンダー フローまたはオーバーフローを防止することができる。 V B Vバッフ ァシミ ュ レータ 7 9の結果がリエンコーディングス トラテジ一プラン ナ 7 7に送られ、 再符号化のための編集点付近のビッ ト発生量の割り 振り、 重み付けを行ない、 これも管理テーブル 6 2の該当するインデ ックススロッ 卜に書き込む。
第 7図は、 スプライサ Z トランスコーダ 2 1 の他の例である。 他の 例は、 実際に編集によって影響を受ける部分を含む必要最小限の期間 でのみ、 トランスコーディングを行レ、、 トランスコーディング後のス ト リームと、 入カス ト リ一ムとのスイ ッチングを行う ものである。 他 の例は、 ト ラ ンスコ一ディ ングによっても避けるこ とができない画質 劣化を最小限に抑えることができる。
第 5図に示し、 上述したスプライサ/ トランスコーダ 2 1 の一例と 相違する点は、 フィルタ 5 1からの入カス ト リーム 7 3をピクチャバ ッファ 6 3に蓄え、 スイッチング回路 6 6によって、 リエンコーダ 5 3からのス トリ一ムとピクチヤノくッファ 6 3からのス ト リームとを切 り替えることである。
ピクチャバッファ 6 3のライ トを制御するためのライ トコン ト口一 ラ 6 4およびそのリ一ドを制御するためのリードコン トローラ 6 5が 設けられている。 ライ トコン トローラ 6 4およびリードコン トローラ 6 5は、 管理テ一ブル 6 2により制御される。 上述したコ一デック情 報を情報バッファ 5 5に書込み、 また、 情報バッファ 5 5から再符号 化に利用するコ一デック情報を読出すための制御と同様の制御がピク チヤバッファ 6 3に対しても適用される。
例えばビデオデータ S aから S bに切り替わるビデオデータ S cの 場合には、 スイッチング回路 6 6は、 編集点の前後の トランスコーデ ィングが施される期間より前までは、 ピクチャバッファ 6 3からのデ —タ S aに対応するス ト リームを選択し、 この期間中は、 リエンコー ダ 5 3からのス ト リームを選択し、 期間の後では、 ピクチャバッファ 6 3からのデータ S bに対応するス トリ一ムを選択する。 スィ ッチン グ回路 6 6の選択動作は、 リードコン ト ローラ 6 5からの制御信号 6 7によ り制御される。 ピクチャバッファ 6 3の容量は、 エディ タおよ びスィ ッチャ 2 2のシステム遅延 （数フレーム時間） +符号化遅延 （ 数ピクチャ） に相当するもので良く、 ピクチャバッファ 6 3が回路構 成上負担にならない。
次に、 この発明の他の実施形態について説明する。 編集システムの 概要は、 上述した一実施形態と同様の構成 （第 1図、 第 2図および第 3図参照） である。 また、 一実施形態と同様に放送システムに対して も適用できる （第 4図参照） 。 上述したこの発明の一実施形態は、 ォ リ ジナル素材のス ト リームを復号し、 その時のコ ーデック情報を保存 し、 編集器に対しては、 復号した結果のベースバン ド信号のみを伝送 し、 編集器は、 ベースバン ド信号の編集を行い、 編集結果のベ一スバ ン ド信号と保存していたコ一デック情報との時間 （位相） 関係をキュ —情報に基づいて合わせて、 編集結果のベースバンド信号を再符号化 し、 ス ト リ ームと して出力する構成である。 このような一実施形態に よれば、 ス ト リ ーム伝送によって、 蓄積手段の記憶媒体の容量を節減 できると共に、 伝送媒体を有効に利用でき、 また、 トランスコ一ディ ングによって画質の劣化を最小限に抑えることができ、 さらに、 編集 器と して既存のベースバンド編集器を殆ど手を加えずに活用すること ができる。
上述した一実施形態では、 ベースバンド信号を扱う既存の編集器は 、 タイムコードによって編集位置を表すので、 編集位置情報をス ト リ —ム上にマツビングするために、 編集位置情報を翻訳する必要があつ た。 また、 編集位置情報は、 フ レームまたはフィール ド単位の編集位 置の情報と、 ワイプ等のスィ ッチャの機能を使う ときには、 そのデュ レ一シヨ ンが含まれる程度であり、 フ レーム （ス ト リ ーム上ではピク チヤ） 内のスイ ッチングの遷移状態が分からなかった。 そのため、 再 符号化に使用できるコ一デック情報をフ レーム內できめこまかく使い 分けることができなかった。
この発明の他の実施形態は、 これらの問題点を解決することができ る。 すなわち、 他の実施形態は、 編集位置情報を受け取らなくても、 編集器に対して出力した第 1および第 2のべ一スバン ド信号と、 編集 器からの戻りの第 3のベースバン ド信^とを位相を合わせた状態で比 較することによって、 編集位置を検出することができる。 従って、 編 集器との間で、 編集位置情報を伝送する線を省略でき、 また、 編集位 置情報をス ト リームの時間軸に翻訳する必要がない。
さらに、 再符号化のためのコ一デック情報の利用の可否をピクチャ 単位のみならず、 ブロ ック単位で判別できる。 従って、 編集点のピク チヤが二つのオリジナル素材が混在するものであっても、 再符号化に よる画質の劣化を抑えることができる。
従って、 他の実施形態では、 第 1図、 第 2図および第 3図の構成に おいて、 スプライサ/トランスコーダ 2 1は、 出力したベースバンド 信号 S a 、 S b と、 戻りのベースバンド信号 S c とを比較する。 この 比較の結果をもとに編集位置の検出を行ない、 再符号化時に利用する コーデック情報を選択する。 編集位置の情報と して、 フレーム （ピク チヤ） 単位の編集位置と、 ピクチャ内のより細かな単位の編集状況か 得られる。 コ一デック情報は、 動きベク トル、 ピクチャタイプ、 量子 化ステップサイズ、 量子化スケールなどの情報である。 編集位置の検 出のために、 オリ ジナル素材を蓄えておく ピクチャバッファか必要と される。 トランスコーディ ングのために、 コ一デック情報を蓄えてお く情報バッファが必要と される。 これらのピクチャバッファおよび情 報バッファは、 エディタおよびスィッチャ 2 2で生じるシステム遅延 に対応した時間 （数フレーム程度） 、 ベースバン ド信号およびコーデ ック情報を遅延させる程度の容量であり、 それほど容量が大きいこと は、 必要とされない。
この発明の他の実施形態におけるスプライサ Z トランスコーダ 2 1 の一例を第 8図に示す： 第 8図に示す例は、 入力される M P E Gビッ トス ト リ ームの全てを トランスコーディングする。 但し、 入力される M P E G ビッ トス ト リ ームを部分的に トランスコ ーデイ ン グした後、 ス ト リ ームスイ ッチング （スプライス） を行うようにしても良レ、。 す なわち、 編集点の前後を含む所定期間のみで、 ベースバン ド信号 S c を ト ラ ンスコーディングしたス ト リームを選択し、 所定期間以外では
、 入力ス ト リ ームを選択するよ うに、 ス ト リームを選択するスィ ッチ ング手段が設けられる。 部分的な トランスコーディングを行う例では 、 復号一符号化のチヱインが一部であるため、 ト ランスコーディング であっても避けることができない、 復号一符号化チェインによる画質 の劣化を最小限とすることができる。
第 8図を参照してスプライサ Zトランスコーダの一例について説明 する。 アーカイバ Zサーバの出力、 衛星からの受信信号、 マイクロ波 回線を介して到来した信号等の M P E Gビッ トス ト リーム T S 1が入 力される。 このス ト リーム T S 1は、 複数プログラム （番組素材） が 多重化されたス ト リ一ムである。 少なく とも 2以上のプログラムが多 重化されている。 ト ランスポー トス ト リ ーム T Sに限らず、 時間多重 されたエレメ ンタ リ ース ト リ ーム E Sでも良い。 但し、 E Sの場合は 、 識別用のタグか、 または現在入力しているス ト リームがどのス トリ —ムかを識別するための入力情報が必要とされる。
2 5 1は、 編集対象の二つのプログラム （オリジナル素材） Aおよ び Bのバケツ トを引き出すためのフィルタである。 トランスポ一 トス ト リ一ム T Sであれば、 P I D (パケッ ト I D ) によって、 目的のプ ログラムを抽出できる。 エレメ ンタ リース ト リ一ム E Sの場合では、 上述したよ うに、 識別タグ等の情報が必要である。 フィ ルタ 2 5 1の 出力には、 選択された二つのプログラム Aおよび Bが多重化されたス ト リ 一ム 2 6 8が得られる。
フィ ルタ 2 5 1 によって抽出した二つのプログラム Aおよび Bを M P E Gデコーダ 2 5 2 a 、 2 5 2 bによってそれぞれ復号する： M P E Gデコーダ 2 5 2 aによって、 プログラム Aのべ一スバン ドビデオ
/オーディオデータ S aが得られ、 MP E Gデコーダ 2 5 2 bによつ て、 プログラム Bのべ一スバン ドビデオ Zオーディォデータ S bが得 られる。 これらのベースバン ドデータ S aおよび S bが外部のエディ タおよびスィ ッチャ 2 2に出力される。 これと共に、 ベースバンドデ —タ S aおよび S bがピクチャバッファ 2 6 3に記憶される。 ピクチ ャバッファ 2 6 3のライ トを制御するためのラィ トコン トローラ 2 6 4およびそのリードを制御するためのリードコントローラ 2 6 5が設 けられている。 ピクチヤノくッファ 2 6 3には、 ライ トコン ト ローラ 2 6 4からのライ トァ ドレス WADおよびライ トイネーブル WEが供給 される。 また、 リードコ ン ト ローラ 2 6 5からのリードア ドレス RA Dがピクチャバッファ 2 6 3に供給される。
情報バッファ 2 5 5には、 M P E Gデコーダ 2 5 2 aおよび 2 5 2 bのそれぞれで復号に使用されたコ一デック情報が入力される。 情報 ノくッファ 2 5 5には、 ライ トコ ン ト ローラ 2 5 6からのライ トァ ドレ ス WADおよびライ トイネ一ブル WEが供給される。 また、 リードコ ン トロ一ラ 2 5 7からのリードア ドレス RADが情報バッファ 2 5 5 に供給される。 情報バッファ 2 5 5からリエンコーダ 2 5 3に対して は、 ス ト リ ーム S cの編集点と同期して、 再符号化用のコ一デック情 報が供給されることが必要である。 例えばビデオデータ S aに対して 編集点 （イン点） でビデオデータ S bが接続されたビデオデータ S c が戻ってく る時には、 ビデオデータ S aの再符号化用のコ一デック情 報からビデオデータ S bの再符号化用のコーデック情報への切替えが なされる。
上述したように、 情報バッ フ ァ 2 5 5およびピクチャバッファ 2 6 3の容量は、 エディタおよびスィ ッチャ 2 2のシステム遅延 （数フ レ —ム時間） に対応したもので良く 、 情報バッファ 2 5 5およびピクチ ャバッファ 2 6 3が回路構成上負担にならなレ、。
ベースバン ドエディタおよびスィ ッチャ 2 2からは、 編集された結 果の戻り のべ一スパン ドビデオ/オーディォデータ S cが入力される 。 このベースバン ドデータ S cが M P E G リエンコーダ 2 5 3 に供給 される。 リ エンコーダ 2 5 3は、 ベースバン ドデータ S c のビデオフ レームに対応した M P E G再符号化用のコ一デック情報を径路 2 5 4 を介して情報バッファ 2 5 5から受け取る。 この再符号化用のコ一デ ック情報に基づいて、 要求の目標ビッ ト量にデータ S cを M P E Gス ト リ一ム T S 2へ再符号化する。 そして、 リエンコーダ 2 5 3からは 、 入力ス ト リ ーム A、 ス ト リ ーム Bの A B ロール編集の結果のス ト リ —ム T S 2が出力される。 再符号化用のコ一デック情報とは、 動きべ ク トル、 ピクチャタイプ、 量子化ステップサイズ、 量子化スケールな どである。 トランスコーディングによって、 復号一符号化チェインに よる画質の劣化が抑えられる。
ベースバン ドデータ S c と同期してコ一デック情報を利用するよう に、 コーデック情報が選択される。 リードコン トローラ 2 5 7により 所定のコーデック情報が読出される時には、 このコ一デック情報を使 用可能なことを示すイネ一ブル信号がリードコ ン ト ローラ 2 5 7から リエンコーダ 2 5 3に供給される。
入カス ト リーム 2 6 8 と、 その復号結果であるベースバン ド信号 S a、 S b とが時間的に 1対 1に対応付けられる。 M P E Gデコーダ 2 5 2 aおよび 2 5 2 bのそれぞれで復号に使用されたコ一デック情報 を情報バッファ 2 5 5に保存する時には、 時間的に 1対 1 の対応をと るための整理タグに関連付けてコ一デック情報が保存される。 このよ うに、 コーデック情報を保存するために、 また、 スプライサ/ トラン スコーダ 2 1が出力したビデオデ一タ S a 、 S b とベースバン ドェデ ィタおよびスィ ッチヤ 2 2からの戻ってきたビデオデータ S c との間 の位相を管理するために、 管理テーブル 2 6 1が設けられている。 情 報バッファ 2 5 5およびピクチャバッファ 2 6 3のそれぞれのライ ト およびリードを制御する、 ライ トコン ト ローラ 2 5 6および 2 6 4 と 、 リードコ ン ト ローラ 2 5 7および 2 6 5が管理テ一ブル 2 6 1 と接 続される。
管理テーブル 2 6 1が入カス トリ一ムのピクチャカウン ト値と戻り のビデオデータ S cのフ レームカウント値を用いて、 情報バッファ 2 5 5およびピクチャバッファ 2 6 3のライ ト/リードを制御する。 フ レームカウンタ 2 5 8がビデオデータ S cのフ レーム数をカウントし 、 カウント値をァ ドレスと して管理テーブル 2 6 1 に読出し要求 R E Qを与える。 入カス ト リ一ム 2 6 8からピクチャカウンタ 2 7 1がピ クチャヘッダを検出し、 ピクチャの数を数える。 ピクチャカウンタ 2 7 1で数えられたピクチャの数がピクチヤ/フレームインデックス生 成器 2 7 2に供給される。 ピクチャ フ レームイ ンデックス生成器 2 7 2は、 ピクチヤおよび情報の管理テーブル 2 6 1の整理のために、 ピクチャに対応したィンデックスを発生する。
管理テーブル 2 6 1は、 このインデックスでテーブルを整理し、 フ レームカウンタ 2 5 8からのビデオデータ S cのフ レームの数のカウ ン ト値をア ドレスと して管理情報を出力する。 管理テーブル 2 6 1は 、 リ ングバッ フ ァの構成とされ、 入力情報をイ ンク リ メ ン トするア ド レスに順次書込み、 読出し要求 R E Qに応じてリー ドポインタをイン ク リ メン トするよ うになされている。 リードポインタが指し示すァ ド レスの再符号化情報が情報バッファ 2 5 5から読出され、 経路 2 5 4 を介して M P E G リエンコーダ 2 5 3に送られる- ピクチャバッファ 2 6 3 も、 情報バッファ 2 5 5 と同様に制御される。
また、 リエンコーダ 2 5 3は、 ビッ ト量見積器 2 5 9 と接続され、 V B Vバッファの処理がなされる。 すなわち、 再符号化により得られ た M P E Gビッ トス ト リ一ム T S 2を復号する側のバッファがオーバ —フローまたはアンダーフローしないように、 適切な符号化がなされ る。 再符号化によって、 基本的に目標発生ビッ ト量が満足される。 通 常の符号化の制御において行われることは、 設定された目標ビッ ト量 に対して、 リエンコーダ 2 5 3の発生ビッ ト量が不足する時には、 ダ ミーデータが付加される。 また、 発生ビッ ト量が目標ビッ ト量を超過 する時、 つまり、 デコーダ側でアンダーフローが起きそうな場合、 ス キップドマクロブロ ックにするカ 予測残差 （予測画マクロブロック M Bとの差分） を 0にするなどの処理である。 この処理でも对応でき ず、 アンダーフローしてしまう時には、 デコーダ側の処理方法に依存 して再生画像に対する影響が生じる。 通常は、 バッファにデータが溜 まるまでウェイ トがかかり、 その結果と して再生画像がフリーズする
2 7 3は、 入力ス ト リーム 2 6 8の発生ビッ ト量をカウン トし、 力 ゥン ト結果を V B Vバッファシミ ュ レータ 2 7 4に供給し、 V B Vバ ッファのシミ ュ レーショ ンを行なう。 V B Vノくッファシミ ュ レータ 2 7 4の結果がリエンコ一ディンダス トラテジ一プランナ 2 7 5に送ら れ、 再符号化のための編集点付近のビッ ト発生量の割り振り、 重み付 けを行ない、 これも管理テーブル 2 6 1 の該当するイ ンデッ クススロ ッ トに書き込む。 そして、 管理テーブル 2 6 1 の該当するイ ンデック ススロ ッ トに書込まれている、 編集点付近の目標ビッ ト量 （ビッ ト発 生量の割り振り、 重み付けの情報） がビッ ト量見積器 2 5 3に供給さ れ、 リエンコーダ 2 5 3の再符号化により発生するビッ 卜量が適切と なるよ うに、 制御される。
第 8図に示すスプライサ Z ト ラ ンスコーダは、 編集器からの編集位 置情報なしに、 編集点を検出し、 ベースバン ド信号 S c の編集状況を 得ることが可能とされている。 この目的のために、 比較部 2 7 0が設 けられている。 比較部 2 7 0には、 ピクチャバッファ 2 6 3からのォ リ ジナルの二つのベースバンド信号 S a 、 S b と、 戻ってきたベース バン ド信号 S c とが供給される。 また、 情報バッファ 2 5 5から G O Pヘッダ、 ピクチャヘッダ、 マクロブロックタイプ、 動きべク トル等 の付加的情報が比較部 2 7 0に供給される。 比較部 2 7 0では、 ェデ イタおよびスィ ッチャ 2 2に出力した信号 S a 、 S b と、 戻ってきた 信号 S c との一致検出に基づいて、 編集点を検出する。 これと共に、 再符号化のためにコ一デック情報を利用する可能かどうかをピクチャ 単位およびマクロブ口ック単位で判別する。
第 9図は、 この発明の他の実施形態の説明に用いるベースバンド信 号 S a (ピクチャ P i c Aと称する） 、 ベ一スパンド信号 S b (ピク チヤ P i c Bと称する） を編集した結果のベ一スパンド信号 S c (ピ クチャ P i c Cと称する） の一例を示す。 ベースバンド信号 S aおよ び S cのそれぞれのピクチャ単位およびマクロブロック単位でコ一デ ック情報が保存される。 第 9図の例では、 編集点でもって、 ピクチャ P i c Aからピクチャ P i c Bへ単にスイ ッチングされるのではなく 、 ワイプ、 クロスフヱ一ド等の処理が二つのピクチャに対してなされ ている： すなわち、 ピクチャ P i c Cにおいては、 編集点の前までの 各フ レームは、 ピクチャ P 1 c Aのフ レームと一致したものであり、 編集点のフ レームが p i C Aおよび Bの両者を処理したものであり、 編集点よ り後の各フ レームは、 ピクチャ P i c Bのフ レームと一致し た ものである- ベースバン ド信号 S aおよび S b のそれぞれのピクチ ャ毎およびマクロブロ ック毎にコーデック情報が保存される。
比較部 2 7 0は、 時間的に位相が合わされたピクチャ P i c Aと P i c Cとの一致検出、 並びにピクチャ P i c Bと P i c Cとの一致検 出を行う。 この二つの比較の少なく とも一方において、 不一致が検出 される時には、 編集点のフレームであると検出する。 各ピクチャの同 一位置の画素同士の差が 0ならば、 一致、 0以外ならば、 不一致と、 2枚のピクチャの一致 Ζ不一致が決定される。 例えば時間的に位相を 合わせた状態で、 二つのピクチャの各画素を順に減算回路に入力し、 差が 0でない画素が発生したら、 不一致と決定する。 この場合、 差が 0でない画素が所定数に到達したら、 不一致と決定するようにしても 良い。
このような編集点の検出に合わせて、 リエンコーダ 2 5 3における 再符号化に使用するコ一デック情報が選択される。 スィ ツチングの例 のように、 ピクチャ （フ レーム） 単位で、 画像が切り替えられる場合 では、 再利用するコ一デック情報も、 それに合わせてピクチャ単位で 選択される。 しかしながら、 第 9図に示す例のように、 編集点のピク チヤに、 二つのピクチャを混在する場合には、 コ一デック情報をピク チヤ単位で選択する処理は、 再符号化による画質の劣化を防止するた めには不十分である。
従って、 この発明の他の実施形態では、 コ一デック情報の再利用 （ 再符号化のための利用を意味する） の判定をマク口プロ ック単位で行 う ことを可能と している。 以下、 マクロブロ ック単位のコ一デック情 報の再利用を可能とするための評価、 判定の処理について説明する。 この処理は、 比較部 2 7 0においてなされる。
第 1 0図に示すよ うに、 ピクチャ P i c A (または P i c B ) に含 まれるマク ロブロ ック （M B Aまたは M B B と表す） と、 ピクチャ P i c Cに含まれ、 空間的にマクロブロ ック MB A/MB Bと同一の位 置のマクロブロ ック （MB Cと表す） とが比較される。 例えばマクロ ブロ ックは、 （ 1 6 X 1 6 ) の大きさである。 マクロブロ ックの一致 Z不一致の検出は、 ピクチャの場合と同様になされる。
第 1 1図は、 コ一デック情報の再利用の可否を判別するための処理 を示すフローチヤ一トである。 エディタおよびスィ ッチヤから編集後 のビデオ信号 S c (ピクチャ P i c C) が到来すると、 処理が開始さ れる。 最初のステップ S 1において、 ピクチャバッファ 2 6 3からォ リジナルのピクチャ Aおよび Bが読出される。
比較のステップ S 2では、 ピクチャ Aおよび Cが比較される。 ピク チヤ Aおよび Cが不一致の場合では、 比較のステップ S 3で、 ピクチ ャ Bおよび Cが比較される。 ピクチャ Bおよび Cが不一致の場合では 、 比較のステップ S 4で、 マクロブロック M B Aおよび M B Cが比較 される。 マクロブロック MB Aおよび MB Cが不一致の場合では、 比 較のステップ S 5で、 マクロブロ ック M B Bおよび M B Cが比較され る。 上述したように、 各ピクチャ内で空間的に同一位置の二つのマク 口ブロ ックが比較される。
ステップ S 2において、 P i c A = P i c Cが満足される場合には 、 ピクチャ Aを復号するのに使用したコ一デック情報を再利用して、 ピクチャ Cの再符号化がなされる。 MP E Gの場合では、 ピクチャタ イブが 3種類ある。 すなわち、 フ レーム內符号化画像である I ':Intra ！ ピクチャと、 フ レーム間前方向予測符号化画像である P (Predictiv e) ピクチャと、 双方向予測画像である B iBidirectionally predictiv e) ピクチャとがある。 これらのピクチャタイプによって再利用の条件 が異なるので、 ピクチャサブルーチン S 6の処理がなされる。 サブル —チン S 6については、 後述する サブルーチン S 6の後でステ ップ S 7の処理がなされる。 ステップ
S 7では、 ピクチャ C上の予測対象ピクチャがピクチャ Aの要素であ るかどうかが決定される （これを P I C (FWZBW) , P I C F g≠ 0 ?と表す） 。 この条件が満足される時には、 ピクチャ単位でコ 一デック情報を再利用するために、 該当ピクチャのコ一デック情報を 準備する （ステップ S 8) 。 ピクチャ単位にコ一デック情報を再利用 する場合は、 両方向予測時のピクチャの再符号化のために、 片側ピク チヤのコ一デック情報を利用することも含む。
ステップ S 7における条件が満足されない場合には、 P i c A≠ P i c Cの場合と同様に、 ステップ S 3に処理が移る。 すなわち、 ピク チヤ C上の予測対象ピクチャがピクチャ Aの要素でない時は、 次の条 件が探される。
ステップ S 3において、 P i c B = P i c Cが満足される場合には 、 ピクチャ Bのコーデック情報を再利用して、 ピクチャ Cの再符号化 がなされる。 この場合も、 ピクチャタイプに応じて再利用の条件が異 なるので、 ピクチャサブルーチン S 6の処理がなされる。 そして、 ス テツプ S 9において、 ピクチャ Aのステップ S 7と同様に、 ピクチャ C上の予測対象ピクチャがピクチャ Bの要素であるかどうかが決定さ れる。 この条件が満たされる場合には、 ステップ S 8に処理が移り、 該当ピクチャのコ一デック情報を再利用するために、 それを準備する 。 具体的には、 情報バッファ 2 5 5から該当ピクチャのコ一デック情 報を読出してリエンコーダ 2 5 3に対して与える- ステップ S 9の条件が満足されない時には、 P i c Β≠ P i c Cの 場合と同様に、 ステップ S 4に処理が移る。 すなわち、 （ P i c A≠ P i c C ) 且つ （ P i c B≠ P i c C ) の場合に、 マクロブロ ック単 位で比較 （MB A-MB C) がなされる。 第 9図に示す例のよ うに、 ピクチャ Cの編集点のピクチャに、 ピクチヤ Aおよび Bが混在する時 には、 （P i c A≠ P i c C) 且つ （P i c B≠ P i c C) となる。 この場合では、 マクロブ口 ック単位でコ一デック情報を再利用するよ うになされる。
ステップ S 4において、 MB A = MB Cが満足される場合には、 マ クロブロ ック Aのコ一デック情報を再利用して、 マク ロブロック M B Cの再符号化がなされる。 MP EGの場合では、 ピクチャタイプと同 様に、 マクロブロ ックタイプが 3種類ある。 すなわち、 フ レーム內符 号化（Intra) マク ロブロックと、 過去から未来を予測する前方向（Fow ard)フレーム間予測マクロブロ ックと、 未来から過去を予測する後方 向（Backwrd) フ レーム間予測マクロブロック と、 前後両方向から予測 する内挿的（Interpolative) マクロブロ ック とがある。
I ピクチャ内の全てのマクロブロックは、 フ レーム内符号化マクロ ブロックである。 また、 Pピクチャ内には、 フ レーム内符号化マク ロ ブロック と前方向フ レーム間予測マクロブロックとが含まれる。 Bピ クチャ内には、 上述した 4種類の全てのタイプのマクロブ口 ックが含 まれる。 これらのマクロブ口ックタイプによって再利用の条件が異な るので、 マクロブロ ックサブルーチン S 1 0の処理がなされる。 サブ ルーチン S 1 0については、 後述する。
サブルーチン S 1 0の後でステップ S 1 1の処理がなされる。 ステ ップ S 1 1では、 ピクチャ C上の予測対象マクロブロックがピクチャ Aの要素であるかどうかが決定される （これを MB (FW/BW) ， MB F g≠ 0 ? と表す） c この条件が満足される時には、 マクロブ ロ ック単位でコ一デック情報を再利用するために、 該当マクロブロ ッ クのコ一デック情報を準備する （ステップ S 1 2 ) 。 マクロブロ ック 単位にコーデック情報を再利用する場合には、 両方向予測時のマク口
-1 2 ブロ ックに関して片側マク ロブ口 ックのコ一デック情報を利用する場 合も含まれる。
ステップ S 1 1における条件が満足されない場合には、 ステップ S 1 3に処理が移る。 すなわち、 ピクチャ C上の予測対象マクロブロッ クがピクチャ A上の要素でない時は、 コ一デック情報の再利用が不可 とされる （ステップ S 1 3) 。 この場合では、 トランスコーディング がされず、 単なる符号化がなされる。
ステップ S 4で、 MB A≠MB Cとされると、 ステップ S 5で、 M B B =MB Cが満足されるかどうかが決定される。 MB≠MB Cの場 合では、 ステップ S 1 3に処理が移り、 コーデック情報の再利用がさ れない。 ステップ S 5において、 MB B =MB Cが満足される場合に は、 マクロブロック M B Bのコ一デック情報を再利用して、 マクロブ ロ ック MB Cの再符号化がなされる。 この場合も、 マクロブロックタ ィプに応じて再利用の条件が異なるので、 マクロブロックサブル一チ ン S 1 0の処理がなされる。 そして、 ステップ S 1 4において、 ステ ップ S 1 1 と同様に、 ピクチャ C上の予測対象マクロブ口 ックがピク チヤ B上の要素であるかどうかが決定される。 この条件が満たされる 場合には、 ステップ S 1 2に処理が移り、 該当マクロブロ ックのコ一 デック情報を再利用するために、 それを準備する。 具体的には、 情報 ノくッファ 2 5 5から該当マクロブロックのコ一デック情報を読出して リエンコーダ 2 5 3に対して与える。 ステップ S 1 4の条件が満足さ れない時には、 コ一デック情報が再利用されない （ステップ S 1 3 ) ピクチャサブルーチン S 6について、 第 1 2図を参照してより詳細 に説明する。 まず、 ピクチャタイプを判別するために、 ステップ S 2 1では、 〖 ピクチャかどうかが決定される。 ピクチャタイプは、 情報 ノくッファ 2 5 5に格納されているピクチャヘッダの情報から分かる。
I ピクチャの場合では、 ステップ S 2 2において、 ピクチャフラグ P I C F gを 1 にセッ トする。 ピクチャ単位で予測対象ピクチャの存 在、 非存在を示すピクチャフラグ P I C F gは、 次のように定義さ れる。
P I C F g = 0 対応するピクチャが存在しない。
P I C F g = 1 フレーム内に対応するピクチャが存在する P I C F g = 2 Pピクチャで前方向に予測対象ピクチャが存在 する
P I C F g = 3 ； Bピクチャで前方向に予測対象ピクチャが存在 する
P I C F g = 4 ； Bピクチャで後方向に予測対象ピクチャが存在 する
P I C F g = 5 ； Bピクチャで前後方向に予測対象ピクチャが存 在する
ステップ S 2 2では、 コ一デック情報を再利用する場合に、 予測対 象ピクチャが存在するピクチャを示すために、 ピクチャフラグ P I C
F gがセッ トされる。 このピクチャフラグは、 コ一デック情報を再 利用するか否かの判定と、 情報バッファ 2 5 5から リエンコーダ 2 5 3に与えるコ一デック情報を規定するのに使用される。
ステップ S 2 1で、 I ピクチャでないと決定されると、 ステップ S 2 3で、 Pピクチャかどうかが決定される。 Pピクチャの場合には、 ステッブ S 2 4において、 予測対象ピクチャのサーチおよび検出がな される。 Pピクチャの場合では、 過去のピクチャから予測されるよう に符号化されているので、 過去のピクチャから符号化の基になってい る予測対象ピクチャが検出される。 過去の予測対象ピクチャの位置は
-1 4 、 G O Pヘッダに含まれる G O P シーケンスの情報に基づいて、 決定 される。
検出されたピクチャ C上の予測対象ピクチャがピクチャ A (第 1 1 図のステップ S 2に続くサブルーチンの場合） またはピクチャ B (第 1 1図のステップ S 3に続くサブルーチンの場合） 上に存在している かどうかが決定される （ステップ S 2 5 ) 。 この決定は、 予測対象ピ クチャと、 この予測対象ピクチャと同一の時間関係にある、 ピクチャ Aまたは B上のピクチャとを比較することでなされる。 予測対象ピク チヤがピクチャ Aまたは B上に存在している場合には、 ステップ S 2 2において、 ピクチャフラグが上述したように、 2の値にセッ トされ る。 若し、 存在していない場合には、 ピクチャフラグ P I C F gが 0 とされる （ステップ S 2 6 ) 。
ステップ S 2 3において、 Pピクチャでないと決定される時、 すな わち、 Bピクチャの場合には、 ステップ S 2 7において、 予測対象ピ クチャのサーチおよび検出がなされる。 そして、 検出されたピクチャ C上の予測対象ピクチャがピクチャ Aまたはピクチャ B上に存在して いるかどうかが決定される （ステップ S 2 8 ) 。 存在しない場合には 、 ピクチャフラグ P I C F gが 0 とされる （ステップ S 2 6 ) 。 存 在する場合には、 Bピクチャの場合で、 予測対象ピクチャが前 （過去 ) 、 後 （未来） 、 前後方向の何れの方向に存在しているかによって、 上述したように、 ピクチャフラグ P I C F gが 3 、 4または 5の値 にセッ トされる：
以上のようにして、 ピクチャ単位のコ一デック情報の再利用の判定 がなされる。 第 9図に示す例は、 編集点のピクチャが Bピクチャの場 合を示している。 Bピクチャの場合では、 第 1 2図のフローチャー ト に示すよ うに、 編集点から見た前方向の予測対象ピクチャ （ Pピクチ ャ） と、 編集点から見た後方向の予測対象ピクチャ （ Pピクチャ） と がサーチされる。 そして、 前方向の予測対象ピクチャと、 ピクチャ A 上の対応するピクチャとの比較がなされる。 両者が一致する時には、 前方向に予測対象ピクチャが存在しているものと決定される。 後方向 のピクチャと、 ピクチャ A上の対応するピクチャとの比較がなされ、 両者が一致する時には、 後方向に予測対象ピクチャが存在しているも のと決定される。 両方向で、 一致しているピクチャが存在する場合も ある。 但し、 第 9図の例では、 注目ピクチャには、 二つのピクチャが 混在しているので、 ピクチャ単位では、 ステップ S 2および S 3の何 れの条件も満足されず、 マクロブロック単位の判別に処理が移行する ことになる。
第 1 3図は、 マクロプロ ック単位のコ一デック情報の再利用判別処 理 （マクロブロックサブル一チン S 1 0) を示すフローチャートであ る。 まず、 ステップ S 3 1、 ステップ S 3 2およびステップ S 3 3に おいて、 マクロブロックタイプが決定される。 マクロブロ ックタイプ は、 MP E G 2シンタックスのマクロブロック レイヤ一のマクロブロ ックモー ド内に含まれており、 この情報に基づいてマクロブロックタ ィプが決定される。
ステップ S 3 1では、 フレーム内符号化マクロブロ ック （ I MB ) かどうかが決定される。 I MBでない場合には、 ステップ S 3 2 で、 内挿的 （両方向） マクロブロ ック B i d iM Bかどうかが決定さ れる。 B i d M Bでない場合には、 ステップ S 3 3で、 後方向フレ ーム間予測マクロブロ ック （バックワードマクロブロ ック と図示され ている） かどうかが決定される。 I MBでもなく 、 B i d MBで もなく 、 バックワー ドマクロブロ ックでもない場合は、 前方向フレー ム間予測マク ロブロ ッ ク （フォワー ドマク ロブロ ッ ク と図示されてい る） である。
これらのマクロブロ ックのタイプ毎に、 コ一デック情報を再利用可 能かどうかが決定される。 ステップ S 3 1で、 注目マクロブロックが I M Bと決定されると、 ステップ S 3 4では、 マクロブロックフラ グ M B F g力； 1 の値にセッ トされる。 I M B以外のマクロブロッ クの場合では、 動きべク トルを選択し、 選択した動きべク トルにより ずらされた位置に予測対象マク ロブロ ックに対応するマク口プロック がピクチャ Aまたは Bに存在するかどうかが判別される。 これらの条 件が満足される時には、 コ一デック情報の再利用が可能とされる。 マクロブロック単位で、 ピクチャ Aまたは Bにおいて予測対象マク ロブロ ックの存在、 非存在を示す、 マクロブロ ックフラグ M B F g は、
M B F g = 0 対応するマクロブ口ックが存在しない。
M B F g フレーム内に対応するマク口ブロックが存在する MM BB FF g g == 22 ； 前方向に対応するマクロブロックが存在する M B F g = 3 後方向に対応するマクロブロ ックが存在する M B F g = 4 両方向に対応するマク口ブロックが存在する M B F g = 5 両方向の前方向に対応するマクロブロックが存在 する
M B F g = 6 両方向の後方向に対応するマク口プロックが存在 する
と定義される。 このマク ロブロ ックフラグは、 マク ロブロック単位で コ一デック情報の再利用の可否を判定するのに使用され、 また、 情報 ノくッファ 2 5 5からリエンコーダ 2 5 3に与えるコ一デック情報を規 定するのに使用される。
ステップ S 3 2において、 判別の対象と している注目マクロブ口 ッ クタイプが両方向マクロブロ ックの場合には、 前方向の動きべク トル および後方向の動きべク トルが準備される （ステップ S 3 5 ) 。 この 動きべク トルを使用して、 予測対象マクロブロ ックがサーチ、 検出さ れる （ステップ S 3 6 ) 。 予測対象マクロブロ ックの位置は、 G O P シーケンスに従っているので、 G O Pヘッダに含まれる G O Pシ一ケ ンスの情報に基づいて、 予測対象マクロブロックが検出される。
次のステップ S 3 7で、 予測対象マクロブロ ックがピクチャ A (第 1 1図のステップ S 4に続くサブルーチンの場合） またはピクチャ B (第 1 1図のステップ S 5に続くサブルーチンの場合） 上に存在して いるかどうかが決定される。 この決定は、 予測対象マクロブロックと 、 この予測対象マクロブロ ックを動きベク トルでずらした位置の、 ピ クチャ Aまたは B上のマクロブロ ック相当画像ブロック とを比較する ことでなされる。
ステップ S 3 7において、 予測対象マクロブ口 ックがピクチャ Aお よび Zまたはピクチャ Bに存在していると決定されると、 ステップ S 3 8において、 マクロブロ ックフラグ M B ? カ；4、 5、 または 6 にセッ トされる。 若し、 予測対象マクロブ口 ックに対応するマクロブ ロ ックが存在しないと決定されると、 ステップ S 3 9において、 マク ロブロ ックフラグ M B F gが 0にセッ トされる。 M B F g = 0は 、 マクロブロ ック単位でコ一デック情報を再利用できないことを意味 する。
第 1 4図に示すよ うに、 ピクチャ Aおよび Bが混在している時には 、 マクロブロ ック単位で判定がなされる。 第 1 4図の例は、 第 9図中 の編集点のピクチャの付近を示しており、 注目 しているピクチャのピ クチャタイブが Bであり、 また、 2個の両方向マクロブロ ックが示さ れている 編集点のピクチャにおいて、 ピクチャ Aの部分に含まれる マクロブロ ック M Bが前方向の動きべク トルの分ずれた位置の過去の ピクチャ A内のマクロブロ ック相当画像ブロック と比較される。 この 例では、 両マクロブロ ックが一致する （図では G 0 O Dと示されてい る） 。 また、 後方向の動きべク トルの分ずれた位置の未来のピクチャ B内のマクロブロック相当画像ブロックと比較される。 両ブロックが 一致しない （図では N Gと示されている） 。 従って、 この場合では、 マクロブロックフラグ M B F gの値が 5にセッ トされる。
編集点のピクチャ中でピクチャ Bの部分に含まれるマクロブロック M Bについても、 前方向および後方向の動きべク トルによ りずれた位 置のピクチャ Aおよび Bのマクロブ口ック相当画像ブロ ックと比較さ れる。 第 1 4図に示すように、 後方向の動きべク トルでずれた未来の ピクチャ （この例では、 Pピクチャ） 内のマクロブロック と一致する 。 従って、 この場合では、 マクロブロックフラグ M B F gの値が 6 にセッ トされる。 若し、 ピクチャ A、 Bが混在していない時には、 前 後の両方向に予測対象マク口ブロ ックに対応するマク口プロ ック相当 画像ブロックが存在し、 マクロブロ ックフラグ M B F gが 4の値に セッ トされる。
第 1 3図に戻って説明すると、 ステップ S 3 3において、 ピクチャ C内の注目マク ロブロック力；バックワードマクロブロ ック と決定され ると、 ステップ S 4 1において後方向の動きベク トルが準備される。 そして、 動きべク トルによりずれた位置の未来のピクチャ Aまたは B 内のマクロブロ ック相当画像ブロ ックがサーチ、 検出される （ステツ ブ S 4 2 ) 。 検出されたマク ロブロ ック相当画像ブロ ック と、 注目マ クロブロックの予測対象マクロブロ ックとが比較され、 予測対象マク 口ブロ ックに対応するマクロブロ ック相当画像ブロ ックが存在するか どうかが決定される （ステップ S 4 3 ) =
-1 9 ステップ S 4 3において、 予測対象マクロブ口 ックに対応するマクー ロブ口 ック相当画像ブロ ックが存在すると決定されると、 ステップ S 4 4においてマクロブロ ックフラグ M B F g力； 3の値にセッ 卜され る。 予測対象マク口ブロ ックに対応するマク口ブロック相当画像プロ ックが存在しない時には、 ステップ S 3 9においてマクロブロックフ ラグ M B F gが 0の値にセッ トされる。
ステップ S 3 3において、 ピクチャ C内の注目マクロブロックがバ ックヮ一ドマクロブロックとない場合、 すなわち、 これがフォワー ド マクロブロックの場合では、 ステップ S 4 5において前方向の動きべ ク トルが準備される。 そして、 動きベク トルによりずれた位置の過去 のピクチャ Aまたは B内のマクロブロ ック相当画像ブロックがサーチ 、 検出される （ステップ S 4 6 ) 。 検出されたマクロブロックと、 注 目マクロブロックの予測対象マクロブロックとが比較され、 予測対象 マクロブロックに対応するマクロブ口ック相当画像ブロックが存在す るかどうかが決定される （ステップ S 4 7 ) 。
ステップ S 4 7において、 予測対象マクロブロックに対応するマク 口プロ ック相当画像ブロ ックが存在すると決定されると、 ステップ S 4 8においてマクロブロックフラグ M B F g力； 2の値にセッ 卜され る。 対応するマク口ブロック相当画像プロックが存在しない時には、 ステップ S 3 9においてマクロブロ ックフラグ M B §が 0の値に セッ 卜される。
以上のようにして、 マク ロブロ ック単位のコ一デック情報の再利用 の判定がなされる。 従って、 第 9図に示すように、 編集点のピクチャ が二つのオリジナルピクチャ Aおよび Bが混在している場合であって も、 マク ロブロック単位でコ一デック情報を再利用して、 ピクチャ C を再符号化できる。 それによつて、 ピクチャ単位の再符号化より も、 きめ細かく コ一デック情報を再利用でき、 画質の劣化を低減すること ができる。
なお、 以上の説明では、 M P E Gを圧縮符号化と して採用している 力 M P E G以外の圧縮符号化を採用することができる。
この発明による編集制御装置は、 アーカイバ/サーバ等との間の入 力 出力イ ンタ一フェースが符号化ス トリ一ムであり、 編集器とのィ ンタ一フェースは、 ベースバン ドであり 、 また、 トランスコ一ディン グによって、 復号ー符号化チェインによる画質劣化が最小限とできる 。 トランスコ一ディングのための再符号化情報をべ一スパンド信号に 付加して外部編集機器、 ス ト レージ機器に送る必要が無いため、 外部 機器に何ら影響をもたらすことなく編集を可能にする。 従って、 映像 素材等の素材をス ト リ一ムで蓄えることができる。 また、 局内、 スタ ジォ内に導入されている既存の編集器の構成を変える必要がない。 ュ —ザから見ると、 編集器および編集制御装置からなる編集システムは 、 ス ト リーム上の編集を行っているが、 編集システムの内部では、 ベ —スバン ドの編集がされている。
また、 ベースバン ド信号と、 ビッ トス ト リームを関係付けを行なう ことによって、 必要最小限のピクチャに対して トランスコ一ディング を行ない、 該当ビッ トス ト リ ームとスイ ッチングを行ない、 変換によ る歪みを最小限にすることが可能である。 さらに、 圧縮素材で受けた ものは、 圧縮素材で、 蓄積、 編集を行い、 ベースバン ド素材で受けた ものは、 ベースバン ド素材で、 蓄積、 編集を行なう という切り分けが できる。
また、 この発明は、 編集システムが M P E Gス ト リ ームをそのまま 扱うので、 既に局内に施設されているネッ トワーク線の多チャンネル 化が実現し、 局内の素材伝送資源を有効に利用でき る。 さらに、 現在 の地上波放送に見られる本局対地方局の関係、 C A T Vに見られるケ—
—ブルオペレータとへッ ドエン ド局との関係を考えた場合、 この発明 によれば、 メイン局から送られてきた放送素材の C Mとローカル C M の差し替えを行なったり、 局の口ゴを挿入する作業をほとんど劣化な く ビッ トス ト リ一ム上で行うことができる。
より さらに、 この発明では、 他の実施形態について説明したように 、 符号化ビッ トス ト リ一ムを復号したベースバンド信号を編集し、 編 集結果のベースバン ド信号を再符号化してス ト リ一ムと して出力する 時に、 編集位置情報を編集器から貰う必要がない。 従って、 編集位置 情報を伝送するための伝送線を省略でき、 また、 タイムコードで表さ れた編集情報をス ト リ一ムの時間軸上に翻訳する処理等を省略するこ とができる。
また、 この発明は、 他の実施形態について説明したように、 トラン スコーディングのために、 コーデック情報を再利用する場合に、 ピク チヤ単位のみならず、 マクロブロックのようなより細かい単位で、 コ —デック情報を選択することができる。 従って、 編集点の画像が二つ 以上のオリ ジナル素材が混在する場合でも、 再符号化による画質の劣 ィ匕を抑えることができる。

Claims

請求の範囲 一
1 . ベースバン ド信号の編集を行う編集器と、 上記編集器に対して接 続される編集制御装置とからなり、
上記編集制御装置は、
素材が符号化された第 1 の符号化ビッ トス 卜リームを復号し、 第 1 のベースバン ド信号を出力する第 1の復号手段と、
素材が符号化された第 2の符号化ビッ トス ト リ ームを復号し、 第 2 のベースバンド信号を上記編集器に対して出力する第 2の復号手段と 上記編集器からの上記第 1および第 2のべ一スパンド信号を編集し た結果の第 3 のベースバン ド信号を、 上記第 1および第 2の復号手段 で使用されたコーデック情報を利用して、 再符号化し、 第 3 の符号化 ビッ トス ト リ ームを出力する符号化手段と、
他の装置から受け取った編集位置情報に基づいて、 上記符号化手段 において利用されるコ一デック情報を選択する制御手段と
からなることを特徴とする編集システム。
2 . 請求の範囲 1において、
第 1および第 2 のベースバン ド信号が接続される編集位置を含む所 定期間でのみ、 上記第 3 の符号化ビッ トス ト リ ームを選択し、 上記所 定期間以外では、 上記第 1および第 2 の符号化ビッ トス ト リ ームの一 方を選択する選択手段をさらに有することを特徴とする編集システム
3 . 請求の範囲 1 において、
第 1および第 2の符号化ビッ トス ト リームと第 1および第 2のべ一 スパンド信号の対応付けを行う手段をさらに有することを特徴とする 編集システム：
4 . 請求の範囲 1 において、 - 第 1および第 2の符号化ビッ トス ト リ一ムが素材蓄積装置から入力 され、 上記第 3の符号化ビッ トス ト リ一ムを素材蓄積装置に出力する ことを特徴とする編集システム。
δ . 請求の範囲 1において、
上記第 1の符号化ビッ トス トリームが伝送媒体を介して他の局から 受け取った放送信号であり、 上記第 2の符号化ビッ トス トリ一ムが上 記放送信号に挿入される放送素材であることを特徴とする編集システ ム。
6 . 請求の範囲 5において、
上記放送素材が C M素材であることを特徴とする編集システム。 7 . 請求の範囲 5において、
上記放送素材がステーシヨ ンロゴであるこ とを特徴とする編集シス テム。
8 . 素材が符号化された第 1の符号化ビッ トス ト リームを復号し、 第 1のべ一スバン ド信号を出力する第 1 の復号手段と、
素材が符号化された第 2の符号化ビッ トス ト リ一ムを復号し、 第 2 のべ一スパン ド信号を編集器に対して出力する第 2の復号手段と、 編集器からの上記第 1および第 2のベースバンド信号を編集した結 果の第 3のベースバン ド信号を、 上記第 1および第 2の復号手段で使 用されたコ一デック情報を利用して、 再符号化し、 第 3の符号化ビッ トス ト リ ームを出力する符号化手段と、
編集位置情報に基づいて、 上記符号化手段において利用されるコ一 デック情報を選択する制御手段と
からなる編集制御装置 c
9 . 請求の範囲 8において、
5 .1 第 1および第 2のべ一スパン ド信号が接続される編集位置を含む 定期間でのみ、 上記第 3の符号化ビッ トス ト リームを選択し、 上記所 定期間以外では、 上記第 1および第 2の符号化ビッ トス ト リ一ムの一 方を選択する選択手段をさらに有することを特徴とする編集制御装置
1 0 . 請求の範囲 8において、
第 1および第 2の符号化ビッ トス ト リームと第 1および第 2のべ一 スパンド信号の対応付けを行う手段をさらに有することを特徴とする 編集制御装置。
1 1 . 請求の範囲 8において、
第 1および第 2の符号化ビッ トス ト リ一ムが素材蓄積装置から入力 され、 上記第 3の符号化ビッ トス ト リ一ムを素材蓄積装置に出力する ことを特徴とする編集制御装置。
1 2 . 請求の範囲 8において、
上記第 1 の符号化ビッ トス ト リ一ムが伝送媒体を介して他の局から 受け取った放送信号であり、 上記第 2の符号化ビッ トス ト リ一ムが上 記放送信号に挿入される放送素材であることを特徴とする編集制御装 置。
1 3 . 請求の範囲 1 2において、
上記放送素材が C M素材であることを特徴とする編集制御装置。
1 4 . 請求の範囲 1 2において、
上記放送素材がステ一シヨ ン口ゴであることを特徴とする編集制御
1 5 . 第 1 の素材が符号化された第 1 の符号化ビッ トス ト リ一ムおよ び第 2の素材が符号化された第 2の符号化ビッ トス ト リ一厶が入力さ れ、 上記第 1および第 2 の符号化ビッ トス ト リ一ムをそれぞれ復号した 第 1および第 2のべ一スパンド信号を編集器に対して送出し、
編集器からの上記第 1および第 2のべ一スパン ド信号を編集した結 果の第 3 のベースバン ド信号を受け取り 、
他の装置から受け取った編集位置情報に基づいて、 上記第 1および 第 2の符号化ビッ トス ト リ一ムを復号するのに使用されたコ一デック 情報中の必要なコ一デック情報を選択し、
選択したコ一デック情報を利用して上記第 3 のべ一スパンド信号を 再符号化し、 第 3 の符号化ビッ トス ト リ ームを出力することを特徴と する編集制御方法。
1 6 . ベースバン ド信号の編集を行う編集器と、 上記編集器に対して 接続される編集制御装置とからなり、
上記編集制御装置は、
素材が符号化された第 1の符号化ビッ トス トリ一ムを復号し、 第 1 のべ一スバン ド信号を出力する第 1の復号手段と、
素材が符号化された第 2 の符号化ビッ トス ト リームを復号し、 第 2 のベースバンド信号を上記編集器に対して出力する第 2の復号手段と 上記第 1および第 2のべ一スバンド信号と上記第 3のべ一スバンド 信号を位相を合わせて比較することによって、 編集位置を検出する比 較手段と、
上記編集位置の情報に基づいて、 再符号化において利用されるコ一 デック情報を選択する制御手段と、
上記編集器からの上記第 1および第 2のべ一スパン ド信号を編集し た結果の第 3 のベースバン ド信号を、 上記選択されたコ一デック情報 を利用して、 再符号化し、 第 3 の符号化ビッ トス ト リームを出力する 符号化手段と 一 からなることを特徴とする編集システム c
1 7 . 請求の範囲 1 6において、
第 1および第 2 のベースバン ド信号が接続される編集位置を含む所 定期間でのみ、 上記第 3の符号化ビッ トス ト リームを選択し、 上記所 定期間以外では、 上記第 1および第 2の符号化ビッ トス ト リ一ムの一 方を選択する選択手段をさらに有することを特徴とする編集システム
1 8 . 請求の範囲 1 6において、
第 1および第 2のべ一スパン ド信号と第 3のべ一スバン ド信号の時 間的な対応付けを行い、
第 1および第 2 のベースバンド信号を上記時間的な対応付けを行う ための整理タグに関連付けて保存する手段と、 第 1および第 2の符号 ィ匕ビッ トス ト リ一ムを復号する時に得られたコ ーデック情報を上記時 間的な対応付けを行うための整理タグに関連付けて保存する手段とを さらに有することを特徴とする編集システム。
1 9 . 素材が符号化された第 1 の符号化ビッ トス ト リ一ムを復号し、 第 1のベースバン ド信号を出力する第 1の復号手段と、
素材が符号化された第 2 の符号化ビッ トス ト リ ームを復号し、 第 2 のベースバン ド信号を編集器に対して出力する第 2の復号手段と、 上記第 1および第 2 のべ一スパン ド信号と上記第 3 のべ一スバン ド 信号を位相を合わせて比較することによって、 編集位置を検出する比 較手段と、
上記編集位置の情報に基づいて、 再符号化において利用されるコ一 デック情報を選択する制御手段と、
編集器からの上記第 1および第 2のベースバン ド信号を編集した結 果の第 3のべ一スパン ド信号を、 上記選択されたコーデック情報を利 用して、 再符号化し、 第 3の符号化ビッ トス ト リ ームを出力する符号 化手段と
からなる編集制御装置。
2 0 . 請求の範囲 1 9において、
第 1および第 2のべ一スパンド信号が接続される編集位置を含む所 定期間でのみ、 上記第 3の符号化ビッ トス ト リームを選択し、 上記所 定期間以外では、 上記第 1および第 2の符号化ビッ トス ト リ一ムの一 方を選択する選択手段をさらに有することを特徴とする編集制御装置 。
2 1 . 請求の範囲 1 9において、
第 1および第 2のベースバンド信号と第 3のベースバンド信号の時 間的な対応付けを行い、
第 1および第 2のベースバンド信号を上記時間的な対応付けを行う ための整理タグに関連付けて保存する手段と、 第 1および第 2の符号 化ビッ トス ト リ一ムを復号する時に得られたコ ーデック情報を上記時 間的な対応付けを行うための整理タグに関連付けて保存する手段とを さらに有することを特徴とする編集制御装置。
2 2 . 第 1 の素材が符号化された第 1 の符号化ビッ トス ト リームおよ び第 2の素材が符号化された第 2の符号化ビッ トス ト リ一ムが入力さ れ、
上記第 1および第 2の符号化ビッ トス ト リームをそれぞれ復号した 第 1および第 2のべ一スパン ド信号を編集器に対して送出し、 上記第 1および第 2のべ一スパンド信号と、 上記第 1および第 2の ベースバンド信号を復号する時に使用したコーデック情報とを保存し 編集器からの上記第 1および第 2のべ一スパン ド信号を編集した結 果の第 3のべ一スパン ド信号を受け取り 、
上記第 1および第 3のベースバン ド信号を位相を合わせた状態で比 較すると共に、 上記第 2および第 3のベースバン ド信号を位相を合わ せた状態で比較することによって、 編集位置を検出し、
検出された編集位置に基づいて、 上記第 3 のベースバンド信号を再 符号化するために利用するコ一デック情報を選択し、
選択されたコ一デック情報を用いて上記第 3 のベースバン ド信号を 再符号化することによって、 第 3の符号化ビッ トス ト リームを出力す ることを特徴とする編集制御方法。
2 3 . 請求の範囲 2 2において、
第 1および第 2 のべ一スバン ド信号と第 3のベースバン ド信号との 時間的な対応付けを行い、
第 1および第 2 の符号化ビッ トス ト リームを復号する時に得られた コ一デック情報を上記時間的な対応付けを行うための整理タグに関連 付けて保存することを特徴とする編集制御方法。
2 4 . 請求の範囲 2 2において、
編集位置を検出する時に、 ピクチャ単位で比較を行い、 ピクチャ単 位の編集位置を検出し、 検出された編集位置に対応してピクチャ単位 でコーデック情報を選択することを特徴とする編集制御方法。
2 5 . 請求の範囲 2 2において、
フレーム間予測符号化がされたピクチャを再符号化する時に、 上記 第 3のベースバン ド信号中の予測対象ピクチャと対応するピクチャが 上記第 1 または第 2 のベースバン ド信号中に存在する時に、 コ一デッ ク情報を再利用することを特徴とする編集制御方法。
2 6 . 請求の範囲 2 5において、 フレーム間予測符号化がされたピクチャを再符号化する時に、 上-記 第 3のベースバン ド信号中の予測対象ピクチャと対応するピクチャが 上記第 1 または第 2のベースバン ド信号中に存在する時に、 ピクチャ 単位のコ一デック情報を再利用し、
上記対応するピクチャが上記第 1 または第 2のベースバンド信号中 に存在しない時には、 上記ピクチャより小さいサイズの予測対象ブロ ックに対応するプロ ックが上記第 1または第 2のべ一スパン ド信号中 に存在するか否かを判別し、 上記対応するプロックが上記第 1 または 第 2 のべ一スパン ド信号中に存在する時に、 プロック単位のコ一デッ ク情報を再利用することを特徴とする編集制御方法。
2 7 . 請求の範囲 2 6において、
フレーム間予測符号化と動き補償がなされている場合に、 動きべク トルによりずれた位置に、 上記予測対象プロックに対応するプロ ック が存在するか否かを判別することを特徴とする編集制御方法。
PCT/JP1999/000151 1998-01-19 1999-01-19 Systeme d'edition, dispositif de commande d'edition et procede de commande d'edition WO1999036912A1 (fr)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP53702799A JP3716328B2 (ja) 1998-01-19 1999-01-19 編集装置および方法、再符号化装置および方法
US09/381,190 US7305040B1 (en) 1998-01-19 1999-01-19 Edit system, edit control device, and edit control method
KR1019997008583A KR100548665B1 (ko) 1998-01-19 1999-01-19 편집 시스템, 편집 제어 장치 및 편집 제어 방법
EP99900350A EP0982726A4 (en) 1998-01-19 1999-01-19 CUTTING SYSTEM, CUTTING CONTROL DEVICE AND CUTTING METHOD
CA002284216A CA2284216A1 (en) 1998-01-19 1999-01-19 Edit system, edit control device, and edit control method
US11/334,168 US7920634B2 (en) 1998-01-19 2006-01-18 Editing system, editing controlling apparatus, and editing controlling method

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP10/7689 1998-01-19
JP769098 1998-01-19
JP768998 1998-01-19
JP10/7690 1998-01-19

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US11/334,168 Continuation US7920634B2 (en) 1998-01-19 2006-01-18 Editing system, editing controlling apparatus, and editing controlling method

Publications (1)

Publication Number Publication Date
WO1999036912A1 true WO1999036912A1 (fr) 1999-07-22

Family

ID=26342024

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP1999/000151 WO1999036912A1 (fr) 1998-01-19 1999-01-19 Systeme d'edition, dispositif de commande d'edition et procede de commande d'edition

Country Status (7)

Country Link
US (2) US7305040B1 (ja)
EP (1) EP0982726A4 (ja)
JP (1) JP3716328B2 (ja)
KR (1) KR100548665B1 (ja)
CN (1) CN1157727C (ja)
CA (1) CA2284216A1 (ja)
WO (1) WO1999036912A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1130595A1 (en) * 1998-11-25 2001-09-05 Matsushita Electric Industrial Co., Ltd. Stream editing apparatus and stream editing method
DE10119214A1 (de) * 2001-04-19 2002-10-24 Highlight Comm Ag Pfaeffikon Verfahren zum Komprimieren von Videodaten

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7266150B2 (en) 2001-07-11 2007-09-04 Dolby Laboratories, Inc. Interpolation of video compression frames
JP4120934B2 (ja) 2003-06-16 2008-07-16 ソニー株式会社 画像処理装置および画像処理方法、記録媒体、並びに、プログラム
JP4470431B2 (ja) * 2003-10-01 2010-06-02 ソニー株式会社 データ処理装置およびその方法
US7502368B2 (en) * 2004-04-08 2009-03-10 John Sanders Method and apparatus for switching a source of an audiovisual program configured for distribution among user terminals
JP4207072B2 (ja) * 2006-04-07 2009-01-14 ソニー株式会社 情報処理装置および情報処理方法、記録媒体、並びに、プログラム
US8279928B2 (en) * 2006-05-09 2012-10-02 Canon Kabushiki Kaisha Image encoding apparatus and encoding method, image decoding apparatus and decoding method
JP2008066851A (ja) * 2006-09-05 2008-03-21 Sony Corp 情報処理装置および情報処理方法、記録媒体、並びに、プログラム
JP4221676B2 (ja) * 2006-09-05 2009-02-12 ソニー株式会社 情報処理装置および情報処理方法、記録媒体、並びに、プログラム
JP4325657B2 (ja) * 2006-10-02 2009-09-02 ソニー株式会社 光ディスク再生装置、信号処理方法、およびプログラム
US9872066B2 (en) * 2007-12-18 2018-01-16 Ibiquity Digital Corporation Method for streaming through a data service over a radio link subsystem
US8290036B2 (en) * 2008-06-11 2012-10-16 Optibase Technologies Ltd. Method, apparatus and system for concurrent processing of multiple video streams
US20100046623A1 (en) * 2008-08-19 2010-02-25 Chen Xuemin Sherman Method and system for motion-compensated frame-rate up-conversion for both compressed and decompressed video bitstreams
US9185426B2 (en) * 2008-08-19 2015-11-10 Broadcom Corporation Method and system for motion-compensated frame-rate up-conversion for both compressed and decompressed video bitstreams
US8510107B2 (en) * 2009-11-18 2013-08-13 General Instrument Corporation Audio data bit rate detector
US8755444B2 (en) 2010-08-06 2014-06-17 Qualcomm Incorporated Two-stage entropy decoding
CN102098500A (zh) * 2011-03-02 2011-06-15 天津大学 一种提高八视点自由立体视频网络传输性能的纠错方法
CN102164286B (zh) * 2011-05-27 2012-09-26 天津大学 一种八视点自由立体视频传输错误隐藏方法
US9223621B1 (en) * 2013-01-25 2015-12-29 Amazon Technologies, Inc. Organizing content using pipelines
US8813245B1 (en) 2013-01-25 2014-08-19 Amazon Technologies, Inc. Securing content using pipelines
US9183049B1 (en) 2013-01-25 2015-11-10 Amazon Technologies, Inc. Processing content using pipelines

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06253331A (ja) * 1993-03-01 1994-09-09 Toshiba Corp 可変長符号化信号に対応した編集装置
JPH089366A (ja) * 1994-06-15 1996-01-12 Nippon Telegr & Teleph Corp <Ntt> 符号化復号化画像の処理方法
JPH08130712A (ja) * 1994-10-31 1996-05-21 Sanyo Electric Co Ltd データ編集方法及び編集装置
JPH1098713A (ja) * 1996-09-20 1998-04-14 Sony Corp 映像信号切換装置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0492528B1 (en) 1990-12-27 1996-10-09 Kabushiki Kaisha Toshiba Recording/reproducing apparatus
US5265122A (en) * 1992-03-19 1993-11-23 Motorola, Inc. Method and apparatus for estimating signal weighting parameters in a diversity receiver
JP3196906B2 (ja) 1992-08-21 2001-08-06 富士ゼロックス株式会社 画像信号の符号化装置
JP3163830B2 (ja) 1993-03-29 2001-05-08 ソニー株式会社 画像信号伝送方法及び装置
NL9301358A (nl) 1993-08-04 1995-03-01 Nederland Ptt Transcodeerinrichting.
US5715009A (en) 1994-03-29 1998-02-03 Sony Corporation Picture signal transmitting method and apparatus
US5940130A (en) 1994-04-21 1999-08-17 British Telecommunications Public Limited Company Video transcoder with by-pass transfer of extracted motion compensation data
DE69535553T2 (de) 1994-06-17 2007-12-06 Snell & Wilcox Ltd., Havant Videokompression
US5828421A (en) * 1994-10-11 1998-10-27 Hitachi America, Ltd. Implementation efficient digital picture-in-picture decoding methods and apparatus
GB9501736D0 (en) 1995-01-30 1995-03-22 Snell & Wilcox Ltd Video signal processing
GB2307613B (en) * 1995-08-31 2000-03-22 British Broadcasting Corp Switching bit-rate reduced signals
JP3277787B2 (ja) * 1995-12-21 2002-04-22 ソニー株式会社 音声・映像データ記録・再生装置
JPH09322078A (ja) * 1996-05-24 1997-12-12 Toko Inc 画像伝送装置
US6137834A (en) * 1996-05-29 2000-10-24 Sarnoff Corporation Method and apparatus for splicing compressed information streams
US6262777B1 (en) * 1996-11-15 2001-07-17 Futuretel, Inc. Method and apparatus for synchronizing edited audiovisual files
JPH10150647A (ja) * 1996-11-19 1998-06-02 Fujitsu Ltd ビデオ会議システム
US6038256A (en) * 1996-12-31 2000-03-14 C-Cube Microsystems Inc. Statistical multiplexed video encoding using pre-encoding a priori statistics and a priori and a posteriori statistics
JP2933132B2 (ja) * 1997-01-09 1999-08-09 日本電気株式会社 多地点テレビ会議制御装置及び画面合成符号化方法
CN1161989C (zh) * 1997-07-25 2004-08-11 索尼公司 编辑装置、编辑方法、接续装置、接续方法、编码装置和编码方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06253331A (ja) * 1993-03-01 1994-09-09 Toshiba Corp 可変長符号化信号に対応した編集装置
JPH089366A (ja) * 1994-06-15 1996-01-12 Nippon Telegr & Teleph Corp <Ntt> 符号化復号化画像の処理方法
JPH08130712A (ja) * 1994-10-31 1996-05-21 Sanyo Electric Co Ltd データ編集方法及び編集装置
JPH1098713A (ja) * 1996-09-20 1998-04-14 Sony Corp 映像信号切換装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP0982726A4 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1130595A1 (en) * 1998-11-25 2001-09-05 Matsushita Electric Industrial Co., Ltd. Stream editing apparatus and stream editing method
US6683911B1 (en) 1998-11-25 2004-01-27 Matsushita Electric Industrial Co., Ltd. Stream editing apparatus and stream editing method
DE10119214A1 (de) * 2001-04-19 2002-10-24 Highlight Comm Ag Pfaeffikon Verfahren zum Komprimieren von Videodaten

Also Published As

Publication number Publication date
EP0982726A4 (en) 2003-06-04
CN1256782A (zh) 2000-06-14
JP3716328B2 (ja) 2005-11-16
US7305040B1 (en) 2007-12-04
US7920634B2 (en) 2011-04-05
CN1157727C (zh) 2004-07-14
EP0982726A1 (en) 2000-03-01
CA2284216A1 (en) 1999-07-22
KR20010005525A (ko) 2001-01-15
US20060120466A1 (en) 2006-06-08
KR100548665B1 (ko) 2006-02-03

Similar Documents

Publication Publication Date Title
US7920634B2 (en) Editing system, editing controlling apparatus, and editing controlling method
JP3736808B2 (ja) 編集装置、編集方法、再符号化装置及び再符号化方法
US5917988A (en) Editing apparatus, editing method and decoding apparatus for compressed video signal
KR100750520B1 (ko) 부호화 스트림 생성 장치 및 방법, 데이터 전송 시스템 및 방법, 편집 시스템 및 방법
KR100574186B1 (ko) 부호화 스트림 스플라이싱 장치 및 방법과 부호화 스트림 생성 장치 및 방법과 편집 장치 및 방법 및 편집 시스템
US6483945B1 (en) Moving picture encoding method and apparatus
US7024100B1 (en) Video storage and retrieval apparatus
JPH11187310A (ja) ディジタルデータ伝送方法およびディジタルデータ伝送装置
JPH11185317A (ja) ディジタルデータ記録再生方法および装置、ディジタルデータ記録方法および装置、ディジタルデータ再生方法および装置
JP2005278207A (ja) 編集装置および方法、再符号化装置および方法
US7650061B2 (en) Information recording apparatus, information reproducing apparatus, and related computer programs
JP2002171529A (ja) 映像符号化装置及び方法、記録媒体、並びに復号化装置
US9219930B1 (en) Method and system for timing media stream modifications
JPH11177921A (ja) ディジタルデータ編集方法、ディジタルデータ編集装置
JP2005245006A (ja) アフレコ信号再生装置
JP2005253093A (ja) アフレコ信号伝送装置
JP2005260979A (ja) アフレコ信号伝送方法
JP2005260978A (ja) アフレコ信号生成用プログラム
JP2005198351A (ja) アフレコ信号再生装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 99800241.0

Country of ref document: CN

AK Designated states

Kind code of ref document: A1

Designated state(s): CA CN JP KR US

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): AT BE CH CY DE DK ES FI FR GB GR IE IT LU MC NL PT SE

ENP Entry into the national phase

Ref document number: 2284216

Country of ref document: CA

Ref document number: 2284216

Country of ref document: CA

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 1019997008583

Country of ref document: KR

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 1999900350

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 09381190

Country of ref document: US

WWP Wipo information: published in national office

Ref document number: 1999900350

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 1019997008583

Country of ref document: KR

WWG Wipo information: grant in national office

Ref document number: 1019997008583

Country of ref document: KR