WO2004112397A1 - 画像処理装置および画像処理方法、情報処理装置および情報処理方法、情報記録装置および情報記録方法、情報再生装置および情報再生方法、記録媒体、並びに、プログラム - Google Patents

画像処理装置および画像処理方法、情報処理装置および情報処理方法、情報記録装置および情報記録方法、情報再生装置および情報再生方法、記録媒体、並びに、プログラム Download PDF

Info

Publication number
WO2004112397A1
WO2004112397A1 PCT/JP2004/008395 JP2004008395W WO2004112397A1 WO 2004112397 A1 WO2004112397 A1 WO 2004112397A1 JP 2004008395 W JP2004008395 W JP 2004008395W WO 2004112397 A1 WO2004112397 A1 WO 2004112397A1
Authority
WO
WIPO (PCT)
Prior art keywords
encoding
information
image data
processing
decoding
Prior art date
Application number
PCT/JP2004/008395
Other languages
English (en)
French (fr)
Inventor
Shojiro Shibata
Goro Kato
Hiromichi Ueno
Original Assignee
Sony Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corporation filed Critical Sony Corporation
Priority to US10/560,865 priority Critical patent/US7826669B2/en
Priority to EP20040745947 priority patent/EP1638335B1/en
Publication of WO2004112397A1 publication Critical patent/WO2004112397A1/ja
Priority to US12/912,106 priority patent/US8155458B2/en

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/775—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television receiver
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems

Definitions

  • Image processing apparatus and image processing method information processing apparatus and information processing method, information recording apparatus and information recording method, information reproducing apparatus and information reproducing method, recording medium, and program
  • the present invention relates to an image processing apparatus and an image processing method, an information processing apparatus and an information processing method, an information recording apparatus and an information recording method, an information reproducing apparatus and an information reproducing method, a recording medium, and a program.
  • the present invention relates to a method, information, a recording device, an information recording method, an information reproducing device and an information reproducing method, a recording medium, and a program.
  • a system for transmitting a moving image signal to a remote place such as a video conference system and a video telephone system
  • line correlation or inter-frame correlation of a video signal is used.
  • the image signal is compression-encoded.
  • encoding is performed such that a generated bit stream has a predetermined bit rate.
  • the editing is performed in seconds, so that the image information of a frame is preferably independent of the image information of other frames. Therefore, in order to prevent the image quality from deteriorating even when transferred at a low bit rate (for example, 3 to 9 Mbps), the long number of frames that compose a G0P (Group of Picture), which is a set of frames whose information is correlated, GOP and high bit Short GOPs, which are transmitted at a rate (18 to 50 Mbps) and have a small number of frames constituting a GOP, need to be converted mutually.
  • a G0P Group of Picture
  • Transmission line 1 transmits stream data of Long GOP suitable for transmission.
  • the transcoder 2 decodes the MPEG Long GOP stream data supplied via the transmission path 1 by the decoding unit 21 and decodes the stream data. Intra), and outputs the encoded All Intra stream 1 stream data (SDTI CP (Serial Data Transport Interface Contents Package) stream) to the frame editing device 3 of the SDTI CP interface.
  • SDTI CP Serial Data Transport Interface Contents Package
  • the stream data edited by the frame editing device 3 is supplied to the transcoder 4.
  • the transcoder 4 decodes the supplied All Intra stream data by the decoding unit 23, and then encodes the encoded data into the MPEG Long G0P by the encoding unit 24.
  • the long GOP stream data is output to a predetermined data transmission destination via the transmission path 1.
  • FIG. 2 For example, a case where encoding history information is used in a system capable of converting MPEG Long G0P into Short G0P capable of performing frame editing will be described with reference to FIGS. 2 and 3.
  • FIG. the part corresponding to the case in FIG. are denoted by the same reference numerals, and description thereof will be omitted as appropriate.
  • the transcoder 31 receives the supply of MPEG Long G0P via the transmission path 1.
  • the MPEG Long GOP is composed of three types of pictures (I picture, P picture, and B picture) with different encoding characteristics
  • the decoded video data and Some have the characteristics of I picture, P picture, and B picture. Therefore, when re-encoding this video data using MPEG Long GOP, video data having the characteristics of I-picture, P-picture, or B-picture are encoded using different picture types. Then, image degradation may occur. For example, before decoding, if video data that was a B-picture, which tends to have more distortion than an I-picture or P-picture, is encoded as an I-picture, the surrounding pictures will refer to the I-picture with much distortion. Since the image is predicted and coded, the image quality is degraded.
  • the transcoder 31 receives, for example, stream data encoded in the past by another transcoder via the transmission path 1,
  • the previously executed code That is, parameters such as the picture type and quantization value of the coding of the coded stream supplied to the decoding unit 41 are stored in the All Intra coded stream in SMPTE (Society of Motion Picture and Television Engineers). ) Add as 328M history data (History data) and supply it to the frame editing device 3.
  • the stream data frame-edited by the frame editing device 3 is supplied to the transcoder 32 again.
  • the transcoder 32 decodes the supplied All Intra stream data with the history information by the decoding unit 43.
  • Encoding unit 44 uses the necessary parameters such as the picture type and quantization value included in the decoded history information to re-encode it into Long G0P and outputs it to the transmission path 1.
  • the transcoder 51 receives MPEG Long GOP via the transmission path 1.
  • the decoding unit 61 obtains necessary encoding parameters at the time of decoding, and decodes the decoded video data and the obtained encoding parameters. 6 Feed to 2.
  • the encoding unit 62 converts the video data into an All Intra encoding stream using the supplied encoding parameters, and supplies the video data to the frame editing device 3.
  • the stream data frame-edited by the frame editing device 3 is supplied to the transcoder 52 again.
  • the transcoder 52 decodes the supplied stream data by the decoding unit 63.
  • the decoding unit 63 acquires necessary encoding parameters, and supplies the decoded video data and the acquired encoding parameters to the encoding unit 64.
  • the encoding unit 64 converts the video data into a Long GOP encoding stream using the supplied encoding parameters, and outputs it to the transmission path 1.
  • the past coding information (picture layers, macros such as picture types, motion vectors, and quantization values of coding performed in the past, etc.)
  • the past coding information By reusing and encoding the parameters of the block layer, it is possible to prevent image quality degradation.
  • a stream having a different bit rate, image frame, chroma format, or the like from the time of the previous encoding process may be replaced or imported due to, for example, editing.
  • encoding cannot be performed on all image data by reusing information related to previous encoding using history or parameter information. Disclosure of the invention The present invention has been made in view of such a situation, and it is possible to determine whether information about past encoding can be reused according to the state of image data to be encoded. It is to be.
  • An image processing apparatus includes: an acquiring unit configured to acquire information on encoding performed on image data in the past; and an image processing unit configured to acquire baseband image data or image data encoded up to an intermediate stage.
  • control means for controlling complete coding processing wherein the control means includes information on coding obtained by the obtaining means and coding processing when the coding picture type is a predetermined picture type. It is characterized in that it is determined whether or not information on encoding is used in the encoding process based on the condition on the encoding.
  • the control means uses the information about the coding based on whether or not the phase of the macroblock in the past coding described in the information about the coding matches the phase of the macroblock in the coding process. It can be made to determine whether or not there is.
  • the control means may determine whether or not to use the information on encoding based on whether or not the generated code amount at the time of decoding described in the information on encoding is equal to or less than a predetermined value. it can.
  • An output means for outputting the encoded data or the second encoded data may be further provided, and the control means may control the phase of the macroblock in the past encoding described in the information on encoding.
  • the phase of the macro block in the encoding process matches, the amount of generated code at the time of decoding described in the information on encoding is less than or equal to a predetermined value, and the past encoding described in the information on encoding
  • the output unit can be further controlled to output the first encoded data.
  • the image processing method of the present invention relates to encoding performed in the past on image data. If information is acquired and the picture type of the encoding is a predetermined picture type, based on the acquired information on the encoding and the condition on the encoding process performed on the image data by the image processing apparatus, It is characterized in that it is determined whether or not information on encoding is used in the encoding process.
  • the program recorded on the first recording medium of the present invention comprises: a first determining step of determining whether a coding picture type is a predetermined picture type; and a first determining step.
  • a comparison step of comparing the acquired information on the encoding with a condition on the encoding processing, and a comparison result by the processing of the comparison step
  • a second determining step of determining whether or not to use the information related to the encoding in the encoding process.
  • a first program includes: a first determining step for determining whether or not a picture type of encoding is a predetermined picture type; Step for comparing information about encoding with conditions for encoding processing, and a second determination for determining whether to use information about encoding for encoding processing based on the comparison result of the processing in the comparing step And a process characterized by including the steps. If it is determined that the picture type is the predetermined picture type, the obtained information on the coding is compared with the conditions on the coding processing, and based on the comparison result, the information on the coding is added to the coding processing. Is determined.
  • An information processing apparatus comprises: decoding means for completely or incompletely decoding supplied image data; baseband image data completely decoded by the decoding means; or incompleteness by decoding means.
  • Encoding means for encoding the image data, which has been decoded and generated to an intermediate stage, to the intermediate stage or completely, and wherein the encoding means performs On the encoding performed on An acquisition unit for acquiring information; and a control unit for controlling a halfway or complete encoding process of baseband image data or image data encoded to an intermediate stage, wherein the control unit includes: If the picture type of the encoding is a predetermined picture type, whether to use the information related to the encoding in the encoding process based on the information relating to the encoding acquired by the acquiring unit and the condition relating to the encoding process. It is characterized by judging whether or not.
  • An information processing method includes a decoding step of completely or incompletely decoding supplied image data, and a baseband image data completely decoded by the decoding step processing, or a processing of the decoding step
  • the encoding step includes a step of encoding the image data, which has been incompletely decoded by the encoding process, and which has been encoded to an intermediate stage, to an intermediate stage or completely.
  • the first determination step for determining whether the picture type is the predetermined picture type and the processing of the first determination step are obtained when the picture type is determined to be the predetermined picture type.
  • a comparison step for comparing the information about the encoded data with the conditions for the encoding processing, and a comparison result based on the comparison step processing.
  • the encoding process characterized in that it comprises a second judgment step of determining whether to use information about the encoding.
  • the program recorded on the second recording medium of the present invention is completely or incompletely decoded by a decoding step of completely or incompletely decoding the image data supplied to the computer, and a decoding step.
  • Encoding that encodes baseband image data or image data that has been incompletely decoded by the decoding step and that has been encoded to an intermediate stage, up to the intermediate stage or completely In the processing of the encoding step, the first determination step of determining whether or not the picture type of the encoding is a predetermined picture type, and the processing of the first determination step determines that the picture type is If it is determined that the picture type is the predetermined picture type, a comparison state for comparing the obtained information on the encoding with the condition on the encoding process. If, on the basis of the comparison result by the processing of the comparison step, the encoding process, the encoding And a second determining step of determining whether to use the related information.
  • a second program of the present invention provides a computer with a decoding step of completely or incompletely decoding supplied image data, and a baseband image data completely decoded by the decoding step processing.
  • the picture type is determined to be the predetermined picture type by the first determining step of determining whether the picture type of the encoding is the predetermined picture type, and the processing of the first determining step.
  • a comparison step of comparing the obtained information about the encoding with a condition relating to the encoding processing and a processing of the comparison step Based on the comparison result of, for the encoding process, to execute the processing, characterized in that it comprises a second determination step of determining whether to use information about the encoding.
  • the supplied image data is completely or incompletely decoded, and the fully decoded baseband image data, or the code generated up to the intermediate stage, generated incompletely by the decoding means
  • the encoded image data is subjected to an intermediate or complete encoding process, and in the encoding process, information on the encoding performed in the past on the image data is obtained, and the encoding picture type is changed.
  • the picture type is a predetermined picture type, it is determined whether or not to use the coding-related information for the coding process based on the obtained coding-related information and the coding-related conditions, and the baseband The process of encoding the image data or the image data coded to the intermediate stage up to the intermediate stage or completely is controlled.
  • the information recording apparatus of the present invention comprises: decoding means for completely or incompletely decoding supplied image data; baseband image data completely decoded by the decoding means; or imperfection by the decoding means.
  • Encoding means for processing the image data, which has been decoded and generated to an intermediate stage, to the intermediate stage or completely, and records the image data encoded by the encoding means.
  • Control means for controlling, when the coding picture type is a predetermined picture type, the control means based on the information on the coding obtained by the obtaining means and the condition on the coding processing. It is characterized in that it is determined whether or not information on encoding is used in the encoding process.
  • the recording control unit can control recording of image data encoded by the encoding unit and information on encoding performed on the image data at different positions.
  • An information recording method provides a decoding step of completely or incompletely decoding supplied image data, and a baseband image data completely decoded by the decoding step processing or a decoding step processing
  • An encoding step for encoding the image data, which has been incompletely decoded and generated to an intermediate stage, to an intermediate stage or completely, and an image encoded by the processing of the encoding step A recording control step of controlling data recording; wherein the encoding step includes: a first determining step of determining whether a coding picture type is a predetermined picture type; and a first determining step.
  • the picture type is determined to be the predetermined picture type by the processing of A comparison step of comparing conditions with the encoding process, and a second determination step of determining whether to use the information about the encoding in the encoding process based on the comparison result of the process of the comparison step. It is characterized by including.
  • the supplied image data is completely or incompletely decoded, and fully decoded baseband image data, or an incompletely decoded image generated to an intermediate stage
  • the data is processed to an intermediate stage or completely coded, the recording of the coded image data is controlled, and in the coding process, information about the coding performed in the past on the image data is controlled.
  • the encoding processing of the acquired and baseband image data or the image data encoded to an intermediate stage is performed by the encoding process. If the picture type is a predetermined picture type, it is determined whether or not to use the information on encoding in the encoding process based on the information on the encoding acquired by the acquiring unit and the condition on the encoding process. It is controlled based on the judgment.
  • An information reproducing apparatus comprises: a reproducing unit that reproduces image data recorded on a predetermined recording medium; a decoding unit that completely or incompletely decodes image data reproduced by the reproducing unit; Baseband image data that has been completely decoded by, or image data that has been generated by incomplete decoding by the decoding means and that has been coded to an intermediate stage, up to the intermediate stage or completely coded Encoding means for acquiring information on encoding performed in the past on image data; and baseband image data or image data encoded to an intermediate stage.
  • Control means for controlling the encoding process of the image data, wherein the control means obtains, when the picture type of the encoding is a predetermined picture type, Based on the condition related information and coding process relates to a coding which, in the encoding process, and wherein the determining whether to use information about the encoding.
  • An information reproducing method includes: a reproducing step of reproducing image data recorded on a predetermined recording medium; and a decoding step of completely or incompletely decoding image data reproduced by the processing of the reproducing step.
  • the baseband image data completely decoded by the decoding step processing, or the incompletely encoded image data generated by incomplete decoding by the decoding step Includes a coding step of performing a complete coding process, and in the processing of the coding step, when the picture type is determined to be a predetermined picture type by the determination step and the processing of the first determination step.
  • Image data recorded on a predetermined recording medium is reproduced, and the reproduced image data Completely or incompletely decoded and fully decoded baseband image data, or incompletely decoded and partially coded image data
  • the encoding process information about the encoding performed in the past on the image data is acquired, and the image data of the baseband or the image data encoded to an intermediate stage is obtained.
  • the encoding process is
  • control is performed on the basis of a determination as to whether or not the information on the encoding is used in the encoding process.
  • FIG. 1 is a diagram for explaining a conventional system in which re-encoding is performed when performing frame editing.
  • FIG. 2 is a diagram for explaining a case where encoding history information (history information) is used in a conventional system in which re-encoding is performed when performing frame editing.
  • FIG. 3 is a diagram for explaining a case where encoding history information (parameter information) is used in a conventional system in which re-encoding is performed when performing frame editing.
  • FIG. 4 is a diagram for explaining a broadcast data transfer system to which the present invention is applied.
  • FIG. 5 is a block diagram showing a configuration of the relay base shown in FIG.
  • FIG. 6 is a block diagram showing a configuration of the broadcasting station in FIG.
  • FIG. 7 is a block diagram showing the configuration of the encoding unit in FIGS. 5 and 6.
  • FIG. 8 is a flowchart illustrating the encoding control process 1 executed by the encoding unit in FIG.
  • FIG. 9A is a diagram for explaining code amount allocation.
  • FIG. 9B is a diagram for explaining code amount allocation.
  • FIG. 10 is a block diagram showing a configuration of an encoding unit capable of executing a back search process.
  • FIG. 11 is a flowchart illustrating the encoding control process 2 executed by the encoding unit in FIG. 10.
  • FIG. 12 is a diagram for explaining the configuration of a different device to which the present invention can be applied.
  • FIG. 13 is a diagram for explaining a configuration of an information recording apparatus to which the present invention can be applied.
  • FIG. 14 is a diagram for explaining a configuration of an information reproducing apparatus to which the present invention can be applied.
  • FIG. 15 is a diagram for explaining a configuration of an information recording apparatus to which the present invention can be applied.
  • FIG. 16 is a diagram for describing a configuration of an information reproducing apparatus to which the present invention can be applied.
  • FIG. 17 is a block diagram showing a configuration of a personal computer.
  • FIG. 1 is a diagram showing an example of a configuration of an embodiment of an information processing apparatus according to the present invention.
  • FIG. 4 shows a broadcast data transfer system to which the present invention is applied.
  • image data captured by the television camera 121 is transmitted as an SDTI (Serial Data Transport Interface Contents Package) signal coded by the MPEG All Intra compression method or uncompressed. Is output to the transcoder 122 as an SDI (Serial Digital Interface) signal.
  • SDTI CP is a global standard for the transmission method of transmitting MPEG data in real time (synchronous transfer), standardized as SMPTE326M by the promotion of the Pro-MPEG Forum.
  • SDI is an uncompressed digital video based on point-to-point transmission. This is an audio transmission system and is specified in ANSI (American National Standards Institute) / SMPTE (Society of Motion Picture and Television Engineers) 259M.
  • Transcoder 1 2 2 receives All Intra ⁇ Serial Data Transport Interface Contents Package (SDTI) signal or uncompressed SDI signal, and saves the bandwidth of transmission line 1 to reduce the compression efficiency of Long.
  • SDTI Serial Data Transport Interface Contents Package
  • the GOP is subjected to inter-frame compression and transmitted via the transmission path 1 to the broadcasting station 102-1, the broadcasting station 102-2, or the power input system 103.
  • the transcoder 131-1-1 of the broadcasting station 102-1 receives the supply of MPEG Long G0P stream data, converts the stream data into MPEG All Intra stream data that can be edited in frame units, Output to frame editor 3-1.
  • the frame editing device 3-1 has an interface, such as MXF (Material eXchange Format) or SDTI CP, that can directly input and output compressed streams.
  • MXF Magnetic eXchange Format
  • SDTI CP Secure Digital eXchange Format
  • the supplied MPEG All Intra format For example, the stream data is edited by editing the input image of a commercial, for example, and the edited data is broadcasted or stored in the digital input system 103.
  • the transcoder 1 3 1-1-1 converts the supplied MPEG All Intra stream data into MPEG Long G0P stream data suitable for transmission on transmission path 1, and transmits the archive system via transmission path 1. Transmit to 103.
  • MXF is a file format that is being standardized mainly by the Pro-MPEG Forum.
  • MXF is a format in which video data and audio data are multiplexed in fine units, such as for each frame, and in consideration of streaming as well as file exchange.
  • the transcoder 1 3 1-2 of the broadcasting station 102-2 receives MPEG Long G0P stream data and converts it into MPEG All Intra format stream data that can be edited in frame units. Output to the frame editing device 3-2.
  • the frame editing device 3-2 directly converts compressed streams such as MXF and SDTI CP. It has an interface that can input and output, and edits the supplied MPEG All Intra stream data, for example, processing of input / output images of commercials, and edits the edited data.
  • the transcoder 1 3 1-2 converts the supplied MPEG All Intra stream data into MPEG Long G0P stream data suitable for transmission over transmission path 1, and transmits the archive system via transmission path 1. Transmit to 103.
  • the archive system 103 stores stream data that is the material of the supplied program. In the archiving system 103, it is necessary to store data efficiently, so that the MPEG Long G0P stream data with a high compression ratio is stored.
  • the broadcasting stations 102 when it is not necessary to distinguish the broadcasting stations 1 ⁇ 2-1 and the broadcasting stations 102-2 individually, they are simply collectively referred to as the broadcasting stations 102, and the transcoders 13 1-1 and the transcoders 13 If it is not necessary to distinguish between 1 and 2 individually, it is simply referred to as transcoder 1 3 1. If there is no need to distinguish between frame editing device 3-1 and frame editing device 3-2, simply edit the frame.
  • Device 3 If there is no need to distinguish between frame editing device 3-1 and frame editing device 3-2, simply edit the frame.
  • FIG. 5 is a block diagram showing a more detailed configuration of the relay base 101. As shown in FIG. 5
  • the transcoder 122 replaces the encoding unit 64 with the encoding unit 151 capable of selecting reusable history information in accordance with the conditions of the supplied stream.
  • the encoding unit 151 shown in FIG. It has basically the same configuration as the transcoder 52.
  • image data captured by the television camera 122 is output to the transcoder 122 as an SDTI CP signal encoded by the MPEG All Intra compression method.
  • the decoder 63 of the transcoder 122 receives the supply of the SDTI CP signal of All Intra. When decoding, the necessary coding parameters are obtained, and the decoded video data and the obtained coding parameters are supplied to the coding unit 151.
  • the encoding unit 1551 encodes the video data into MPEG Long GOP by using the supplied encoding parameters as necessary, and sends the encoded data to the transmission path 1.
  • FIG. 6 is a block diagram showing a more detailed configuration of broadcast station 102.
  • the transcoder 13 1 converts the Long GOP stream data into All Intra stream data
  • the Transcoder 16 1 converts All Intra stream data into Long G0P stream data. It consists of a coder and a coder.
  • the transcoder 161 instead of the encoding unit 62, is provided with an encoding unit 152 that can select reusable history information according to the conditions of the supplied stream.
  • the encoding unit It is basically configured the same as the coder 51.
  • the transcoder 16 2 replaces the encoding unit 64 with an encoding unit 15 1 that can select reusable history information according to the conditions of the supplied stream.
  • the encoding unit 151 also has the configuration shown in FIG. The configuration is basically the same as that of the transcoder 52.
  • the decoding unit 61 of the transcoder 16 1 receives and supplies the MPEG Long GOP stream data, and at the time of decoding, obtains the necessary encoding parameters and obtains the decoded video data.
  • the encoded parameters are supplied to the encoding unit 152.
  • the encoding unit 152 encodes the video data into an All Intra SDTI CP signal using the supplied encoding parameters as necessary, and supplies the video data to the frame editing device 3. .
  • the stream data edited by the frame editing device 3 is The decoder 16 is supplied to the decoder 16 3 of the decoder 16 2.
  • the decoding unit 63 of the transcoder 16 2 receives and supplies the SDTI (Serial Data Transport Interface Contents Package) signal of All Intra and obtains the necessary coding parameters when decoding.
  • the obtained video data and the obtained coding parameters are supplied to the coding unit 151.
  • the encoding unit 151 using the supplied encoding parameters, encodes the video data into a MPEG Long GOP as necessary, and sends out the video data to the transmission path 1.
  • FIG. 7 is a block diagram showing a configuration of the encoding unit 151 and the encoding unit 152.
  • the parameter input unit 187 acquires the parameter information supplied from the decoding unit 61 or the decoding unit 63 and supplies the parameter information to the control unit 185.
  • the control unit 185 receives the supply of parameter information from the parameter input unit 187, and refers to the parameter information to determine whether the encoding condition to be executed matches the predetermined condition. In addition, it controls part or all of the processing of the image rearranging unit 172, the motion vector detecting unit 1774, the quantization value determining unit 1777, and the stream switch 1886.
  • control unit 1885 determines whether or not the picture type of the coding to be performed is I-picture, and whether or not the phase of the macroblock in the previous coding and the next coding matches.
  • the video rearranging unit 17 2 to the buffer 18 4 based on whether the amount of generated code per picture at the time of decoding is within a predetermined range and whether the image frame is the same.
  • the video rearrangement unit 172 rearranges each frame image of the sequentially input image data as necessary, and performs 16-pixel XI 6
  • the macroblock data generated by dividing the macroblock data into macroblocks composed of the luminance signal of the video signal and the color difference signal corresponding to the luminance signal is generated, and the calculation unit 173 and the motion vector detection unit 174 are generated. To supply.
  • the motion vector detection unit 174 receives the macroblock data, and, based on the control of the control unit 185, stores the motion vector of each macroblock in the macroblock data and the frame memory 1 8 based on the reference image data stored in 3 and sent to the motion compensation unit 18 2 as motion vector data, or the previous encoding supplied from the control unit 18 5 The motion vector is sent to the motion compensator 18.
  • the operation unit 173 performs motion compensation on the macroblock data supplied from the video rearrangement unit 172 based on the image type of each macroblock. Specifically, the arithmetic unit 173 performs motion compensation for the I picture in the intra mode, performs motion compensation for the P picture in the forward prediction mode, and performs the motion compensation for the B picture. Motion compensation is performed in the bidirectional prediction mode.
  • the intra mode is a method in which a frame image to be coded is used as it is as transmission data
  • the forward prediction mode is a method in which a prediction residual between the frame image to be coded and a past reference image is calculated.
  • the bidirectional prediction mode is a method in which the prediction residual between the frame image to be encoded and the past and future reference images is used as the transmission data.
  • the macroblock data is processed in intra mode. That is, the arithmetic unit 173 sends the macroblock of the input macroblock data to the DCT (Discrete Cosine Transform) unit 175 as the arithmetic data as it is.
  • the DCT section 175 performs DCT conversion processing on the input operation data to convert the input data into DCT coefficients, and sends the result to the quantization section 176 as DCT coefficient data.
  • the quantization unit 176 performs quantization processing on the input DCT coefficient data based on the quantization value Q supplied from the quantization value determination unit 177, and generates the quantized DCT coefficient data. It is sent to VLC (Variable Length Code) unit 178 and inverse quantization unit 179 as data.
  • VLC Very Length Code
  • the quantization unit 176 is generated by adjusting the quantization step size in the quantization process according to the quantization value Q supplied from the quantization value determination unit 177.
  • the code amount is controlled.
  • the quantized DCT coefficient data sent to the inverse quantization unit 179 is subjected to inverse quantization processing using the same quantization step size as the quantization unit 176, and is converted to DCT coefficient data as an inverse DCT unit 180.
  • Sent to The inverse DCT unit 180 performs inverse DCT processing on the supplied DCT coefficient data, and the generated operation data is sent to the operation unit 181, and stored in the frame memory 183 as reference image data .
  • the operation unit 1773 When the macroblock data is a P-picture, the operation unit 1773 performs a motion compensation process in the forward prediction mode on the macroblock data. Perform motion compensation processing in the prediction mode.
  • the motion compensating section 182 performs motion compensation on the reference image data stored in the frame memory 183 according to the motion vector data, and calculates forward prediction image data or bidirectional prediction image data. I do.
  • the operation unit 173 executes a subtraction process on the macroblock data using the forward prediction image data or the bidirectional prediction image data supplied from the motion compensation unit 1822.
  • the motion compensator 182 reads the reference image data by shifting the read address of the frame memory 183 according to the motion vector data, and reads the reference image data. Are supplied to the operation unit 173 and the operation unit 181.
  • the operation unit 173 subtracts the forward prediction image data from the supplied macroblock data to obtain difference data as a prediction residual. Then, the arithmetic unit 173 sends the difference data to the DCT unit 175.
  • the calculation unit 18 1 is supplied with forward prediction image data from the motion compensation unit 18 2 .
  • the calculation unit 18 1 adds the forward prediction image data to the calculation data supplied from the inverse DCT unit. By adding, the reference image data is locally reproduced and the frame memory 1 8 Output to 3 for storage.
  • the motion compensator 182 reads the reference image data by shifting the read address of the frame memory 183 according to the motion vector data, and transfers the read image data to the bidirectional prediction image.
  • the data is supplied to the operation unit 173 and the operation unit 181 as data.
  • the operation unit 173 subtracts the bidirectional predicted image data from the supplied macroblock data to obtain difference data as a prediction residual. Then, the arithmetic unit 173 sends the difference data to the DCT unit 175.
  • the operation unit 18 1 is supplied with bidirectional predicted image data from the motion compensation unit 18 2 .
  • the operation unit 18 1 adds the bidirectional predicted image data to the operation data supplied from the inverse DCT unit.
  • the reference image data is locally reproduced, output to the frame memories 1 and 83, and stored.
  • the image data input to the coding unit 151 or the coding unit 152 is subjected to motion compensation prediction processing, DCT processing, and quantization processing, and is converted to quantized DCT coefficient data by the VLC unit 17. Supplied to 8.
  • the unit 178 performs variable-length coding processing on the quantized DCT coefficient data based on a predetermined conversion table, and sends the resulting variable-length coded data to the buffer 184.
  • the buffer 184 buffers the supplied variable-length coded data and then outputs it to the stream switch 186.
  • the quantization value determination unit 177 constantly monitors the accumulation state of the variable-length coded data stored in the buffer 184, and based on the control of the control unit 185, the occupancy indicating the accumulation state.
  • the quantization step size is determined based on the information or the quantization value Q included in the past coding parameter supplied from the control unit 185.
  • the quantization value determination unit 1777 receives the quantization value Q included in the past coding parameters from the control unit 1885, and reuses the quantization value of the past coding. If the quantization step size can be determined, the quantization step size can be determined based on the quantization value Q included in the past coding parameter. In addition, when the quantization step size is not determined based on the parameter information, the quantization value determination unit 177, when the generated code amount of the actually generated macro block is larger than the target generated code amount, The quantization step size is increased to reduce the generated code amount, and when the actual generated code amount is smaller than the target generated code amount, the quantization step size is reduced to increase the generated code amount. ing.
  • the quantization value determination unit 177 assumes the buffer occupancy of the virtual buffer by assuming the transition of the accumulation state of the variable-length encoded data stored in the VBV (Video Buffer Verifier) buffer provided on the decoder side. The quantity is obtained, a quantization value Q is calculated, and this is supplied to the quantization unit 176.
  • VBV Video Buffer Verifier
  • the buffer occupancy d (j) of the virtual buffer in the j-th macroblock is expressed by the following equation (1), and the buffer occupancy d (j + 1) of the virtual buffer in the j + 1st macroblock Is expressed by the following equation (2).
  • the buffer occupancy d (j + 1) of the virtual buffer in the (j + 1) th macroblock is It is expressed as the following equation (3).
  • d (j) d (0) + B (j-1)- ⁇ T X (j-1) / MBcnt ⁇
  • d (0) is the initial buffer capacity
  • B (j) is the number of bits generated in the j-th macroblock
  • MBcnt is the number of macroblocks in the picture
  • T is the target in picture units. This is the generated code amount.
  • d (j + 1) d (0) + B (i)-(T X j) / MBcnt
  • d (j + 1) d (j) + ⁇ B (j) -B (j-1) ⁇ -T / MBcnt
  • the generated code amount control unit 92 substitutes the buffer occupation amount d (j + 1) and the constant r shown in Expression (4) into Expression (5) to obtain the macroblock (j + 1 ) Is calculated and supplied to the quantization unit 75.
  • r (2 X br) / pr (4)
  • b r is the bit rate and p r is the picture rate.
  • the quantization unit 176 determines the quantization step size in the next macroblock based on the quantization value Q, and quantizes the DCT coefficient data according to the quantization step size.
  • the quantization unit 176 determines the DCT based on the optimal quantization step size for the target generated code amount of the next picture, which is calculated based on the actual generated code amount of the previous picture.
  • the coefficient data can be quantized.
  • the quantization unit 176 can quantize the buffer 184 so that it does not overflow or underflow according to the amount of data occupied by the buffer 184, and the VBV buffer on the decoder side overflows. Quantized DCT coefficient data that has been quantized so as not to cause underflow or underflow can be generated.
  • the decoding unit 61 performs inverse quantization and inverse DCT. Is performed, and DCT transform and quantization processing are performed in the encoding unit 152.
  • the inverse DCT transform and DCT transform are orthogonal inverse transform and orthogonal transform
  • the I picture in the encoded stream of Long GOP has the same picture type even after the transform
  • the phase of the 8X8 DCT block specific to MPEG is in phase and the dct_type (field or frame) matches, if the calculation accuracy is sufficient, the product of the orthogonal inverse transform and the orthogonal transform becomes 0,
  • the image data of the I picture does not deteriorate due to the execution of the inverse DCT transform and the DCT transform.
  • the inverse quantization process is a multiplication process for each coefficient of an 8 ⁇ 8 DCT block
  • the quantization process is a division process for each coefficient of an 8 ⁇ 8 DCT block.
  • the quantization coefficient q_matrix matches and the quantization value for each macroblock quantaizer-scale matches, the value used for multiplication in the inverse quantization is reused for division in the quantization. Operation errors such as rounding are small enough In this case, the image data of the I picture does not deteriorate due to the execution of the inverse quantization process and the quantization process.
  • the phase of the 8X8 DCT block specific to MPEG matches, the dct_type (field or frame) matches, the q_matrix which is the quantization coefficient for each DCT coefficient matches, and the quantization
  • the quantaizer—scale matches the information of the picture type, motion vector, and quantization value is reused, so that the I picture input to the decoding unit 61 and the encoding unit 15 2 There is no image degradation between the I picture and the I picture output from.
  • the I picture input to the decoding unit 61 can be output from the encoding unit 152.
  • the decoding section 6 3 When converting a coded stream of All Intra into a long G0P coded stream, the decoding section 6 3 , An inverse quantization process and an inverse DCT transform are performed, and an encoding unit 151 executes a DCT transform and a quantization process.
  • the inverse DCT transform and DCT transform are orthogonal inverse transform and orthogonal transform, the picture type after conversion is the same for pictures encoded as I-pictures in Long G0P. If the phase of the 8X8 DCT block specific to MPEG is in phase and the dct_type (field or frame) matches, the product of the orthogonal inverse transform and orthogonal transform becomes 0 if the calculation accuracy is sufficient. However, the image data of the I picture does not deteriorate due to the execution of the inverse DCT transform and the DCT transform.
  • the inverse quantization process is a multiplication process for each coefficient of an 8 ⁇ 8 DCT block
  • the quantization process is a division process for each coefficient of an 8 ⁇ 8 DCT block.
  • match q_matrix guard is a coefficient, if match Quairtaizer_scal e gar a quantized value of each macro proc, by reusing the value used for multiplication in inverse quantization process on the division of the quantization process, If the calculation error such as rounding is sufficiently small, the image data of the I picture does not deteriorate due to the execution of the inverse quantization process and the quantization process.
  • the phase of the 8X8 DCT block specific to MPEG is matched, the dct—type (field or frame) matches, the q_matrix that is the quantization coefficient for each DCT coefficient matches, and the quantum
  • the quantized value quantaizer_scale matches, the I-picture input to the decoding unit 63 and the encoding unit 15 1 are re-used by reusing the information of the picture type, motion vector, and quantization value. There is no image degradation between the I picture and the I picture output from. Furthermore, when the image frames are the same, the I picture input to the decoding unit 63 can be output from the encoding unit 151.
  • the ordinary quantization value is determined by the quantization value determination unit 177 in the encoding unit 151 and the encoding unit 152, and the past quantization value is determined.
  • the encoding process is performed without using the encoding parameters.
  • the quantization value determination unit 177 When the quantization step size is not determined based on the parameter information, the quantization value determination unit 177 generates a signal when the generated code amount of the macroblock actually generated is larger than the target generated code amount. The quantization step size is increased to reduce the code amount, and when the actual generated code amount is smaller than the target generated code amount, the quantization step size is reduced to increase the generated code amount. . Therefore, the quantization value determination unit 177 determines the optimal quantization step size for the B picture and the P picture.
  • step S1 the control unit 185 determines whether or not the coding picture type is I-picture. If it is determined in step S1 that the picture type of the encoding is not an I picture, the process proceeds to step S7 described below. If it is determined in step S1 that the coding picture type is an I picture, in step S2, the control unit 185 receives supply of parameter information from the parameter input unit 187, Information indicating the macroblock phase included in the information (for example, information similar to v-phase and h_phase in SMPTE 329M) ), And determine whether the phase of the macroblock in the previous encoding is the same as the phase of the macroblock in the current encoding.
  • Information indicating the macroblock phase included in the information for example, information similar to v-phase and h_phase in SMPTE 329M
  • step S2 determines whether the phase of the macroblock in the previous encoding is not the same as the phase of the macroblock in the current encoding
  • step S3 when it is determined that the phase of the macroblock in the previous coding and the phase of the macroblock in the current coding match, in step S3, the control unit 185 sets the parameter input unit Based on the bit rate data included in the parameter information supplied from 187, the constant code is set as, for example, 1 ⁇ 2 2 and the generated code amount per picture at decoding ⁇ the target code amount X ⁇ Judge whether it is satisfied or not. If it is determined in step S3 that the generated code amount in decoding at the time of decoding ⁇ the target code amount X is not satisfied, the process proceeds to step S7 described below.
  • the image quality may be improved by assigning a larger amount of code to the P picture and the B picture.
  • the constant ⁇ is a value that is adjusted so that the code amount control does not fail.
  • the constant ⁇ is a weight coefficient of about 1 ⁇ H ⁇ 2.
  • step S3 when it is determined that the generated code amount per picture at the time of decoding ⁇ the target code amount X is satisfied, in step S4, the control unit 185 supplies from the parameter input unit 187 Refer to the information indicating the image frame included in the parameter information obtained (for example, information similar to horizontal-size-value and vertica-size-value in SMPTE 329 ⁇ ), It is determined whether or not the image frames of the encoding are the same.
  • step S5 the control unit 185 Picture type included in the supplied parameter information Re-use information of loops, motion vectors, and quantization values. That is, the control unit 185 performs the parameter information supplied from the parameter input unit 187 (for example, intra_quantizer_raatri [64] in SMPTE 329M or SMPTE 328M).
  • the parameter input unit 187 for example, intra_quantizer_raatri [64] in SMPTE 329M or SMPTE 328M.
  • step S4 when it is determined that the image frame in the previous encoding is the same as the image frame in the current encoding, in step S6, the control unit 1885 sets the stream switch 1886 to Under control, the stream data input to the decoding unit 63 is output, and the process is terminated.
  • step S1 If it is determined in step S1 that the picture type of the coding is not an I-picture, in step S2, the phase of the macroblock in the previous coding and the phase of the macroblock in the current coding match. If not, or if it is determined in step S3 that the generated code amount per picture at the time of decoding ⁇ the target code amount X is not satisfied, in step S7, the control unit 18 5 Controls the encoding unit 151 or each unit of the encoding unit 152 so that the encoding is performed without reusing the parameter, and the processing is terminated.
  • the image quality can be improved even if the allocation of the generated code amount is further increased.
  • the allocation of the generated code amount can be made the same in Long G0P and All Intra to prevent the allocation of an extra generated code amount. Therefore, it is possible to perform optimal code amount allocation, and accordingly, it is possible to allocate a sufficient code amount to the B picture and the P picture.
  • the present invention is applied to the coding section 15 1 of the second embodiment and the coding section 15 2 of the transcoder 16 1, the transcoder 13 1 of the broadcasting station 10 2 is described.
  • a transcoder 31 and a transcoder 32 for coding using the conventional history information described with reference to FIG. 2 may be used. You may do it. That is, the present invention is applied only to the transcoder 12. 2 of the relay base 101 in FIG. 4, and the parameter information (for example, Intra quantizer—matrix L64J, chroma_intra_quantizer_matrix [64], for SMPTE 329M and SMPTE 328M
  • the picture type and the motion vector are reused. It is also possible to use a technique called back search disclosed in, for example, Japanese Patent Application Publication No. Back search is based on the property that if the quantization step used in the previous compression coding or a quantization step that is a multiple of the quantization step is used, the sum of the remainder of the DCT coefficients is minimized, and the minimum minimum. This is a technology that determines the quantization step that indicates the value as the optimal quantization step.
  • an encoding unit 201 shown in FIG. 10 is replaced with an encoding unit 201 shown in FIG. 10 instead of the encoding unit 151 or the encoding unit 152 shown in FIGS. Used.
  • the same reference numerals are given to the portions corresponding to the case described with reference to FIG. 7, and the description thereof will not be repeated. That is, a control unit 215 is provided in place of the control unit 185, a quantization value determination unit 216 is provided in place of the quantization value determination unit 177, and a motion compensation unit is newly provided.
  • the encoding unit 201 in FIG. 10 is configured by using FIG. 7 except that the arithmetic unit 2 11, the DCT unit 2 13, and the back search processing unit 2 14 are provided. It has a configuration similar to that of the coding unit 151 or the coding unit 152 described above.
  • the control unit 215 determines whether the condition of the coding to be executed matches the predetermined condition based on the parameter information supplied from the parameter input unit 187 in the same manner as the control unit 185. Based on whether or not it is possible to control some or all of the processing of the image rearranging unit 172, motion vector detecting unit 174, quantized value determining unit 2 16 and stream switch 1886, The processing of the back search processing section 214 is controlled.
  • the quantization value determination unit 216 determines the quantization value in the same manner as the quantization value determination unit 177. However, when encoding an I-picture that satisfies the specified conditions, the quantization value is not determined.
  • the motion compensator 2 11 like the motion compensator 18 2, responds to the macroblock data output from the image reordering unit 17 2 with the motion vector input from the motion vector detector 17 4.
  • the motion compensation processing is performed using the vector, and the result is output to the operation unit 211.
  • the arithmetic unit 2 1 2 is a macroblock data output from the image rearranging unit 1 7 2. If necessary, the motion compensated predicted image data input from the motion compensation unit 211 is subtracted from the data to generate I picture video data and P picture or B picture prediction error data. Then, it outputs to DCT section 2 13.
  • the DCT transforms the I-picture video data or the P-picture or B-picture prediction error data input from the arithmetic unit 2 A coefficient is generated and supplied to the back search processing section 214.
  • the back search processing unit 214 quantizes the DCT coefficient supplied from the DCT unit 212 when encoding an I-picture that meets a predetermined condition, based on the control of the control unit 215. Generates quantized data, and based on the target data amount set externally by the user and the like, and the amount of generated quantized data (the amount of generated code), the difficulty of the pattern of the input video data ( Difficulty) is estimated for each unit period.
  • the difficulty of the picture corresponds to the encoding difficulty.
  • the encoding difficulty is high.
  • the difficulty of the pattern can be roughly estimated, for example, based on statistics such as intra-AC.
  • Intra AC is a parameter defined as the sum of the variance of the video data of each DCT block in the DCT processing unit in the MPEG format and indicates the complexity of the video. It has a correlation with the amount of data. That is, the intra AC is a sum in the screen of the absolute value sum of the pixel value of each pixel minus the average value of the pixel value of each block in the DCT block unit.
  • the back search processing unit 2 14 assigns a large amount of data (data rate) to a portion of the input video data where the pattern is difficult, and Allocate a small amount of data (data rate) to the parts with simple patterns to keep the quality of the output video data high as a whole, and actually use it so that the total amount of output video data does not exceed the allowable value.
  • the quantization index indicating the quantization step is calculated for each unit period.
  • the back search processing section 2 14 executes the input video data 8395
  • the back search processing unit 214 divides the DCT coefficient supplied from the DCT unit 213 by the quantization step indicated by the calculated quantization index and a value near the quantization step, and sums the remainder of the division result. If there is a quantization step with a significantly smaller value, the quantization step with the significantly smaller value is determined to be the quantization step used in the previous compression encoding, and this quantization step is indicated.
  • the quantization index is output to the quantization unit 176.
  • the quantization unit 176 uses the quantization index supplied from the back search processing unit 214 to use the DCT supplied from the DCT unit 175. Quantizes the coefficient data.
  • step S21 the control unit 215 determines whether the picture type of the encoding is I-picture. If it is determined in step S21 that the encoding picture type is not an I-picture, the process proceeds to step S28 described later.
  • step S21 when it is determined that the picture type of the encoding is an I picture, in step S22, the control unit 215 receives the supply of the parameter information from the parameter input unit 187, and Referring to the information indicating the phase of the macroblock included in the information (for example, information similar to v-phase and h_phase in SMPTE 329M), the phase of the macroblock in the previous coding and the macroblock in the current coding are referred to. It is determined whether or not the phases are in phase. If it is determined in step S22 that the phase of the macroblock in the previous encoding is not the same as the phase of the macroblock in the current encoding, the process proceeds to step S28 described later.
  • the control unit 215 receives the supply of the parameter information from the parameter input unit 187, and Referring to the information indicating the phase of the macroblock included in the information (for example, information similar to v-phase and h_phase in SMPTE 329M), the phase of the macroblock in the previous coding and the macro
  • step S22 the phase of the macroblock in the previous encoding and the If it is determined that the phases of the macroblocks of the first encoding are the same, in step S23, the control unit 215 determines the bits included in the parameter information supplied from the parameter input unit 187. Based on the rate data, the constant ⁇ is set to, for example, a value of 1 ⁇ H ⁇ 2, and it is determined whether or not the target code amount X in the picture unit at the time of decoding is satisfied. If it is determined in step S23 that the generated code amount per picture at decoding ⁇ the target code amount is not satisfied, the process proceeds to step S28 described later.
  • the image quality may be improved by assigning a larger amount of code to the P picture and the B picture.
  • the constant ⁇ is a value that is adjusted so that the code amount control does not fail.
  • the constant ⁇ is a weight coefficient of about 1 ⁇ hi ⁇ 2.
  • step S23 when it is determined that the target code amount X ⁇ is satisfied in the picture unit at the time of decoding at the time of decoding, in step S24, the control unit 215 sets the parameter input unit 187 Refers to the information indicating the image frame included in the parameter information supplied from (for example, information similar to horizontal—size_value and vertical_size_value in SMPTE 329 ⁇ ), and the image frame in the previous encoding and the current encoding It is determined whether or not the image frames are the same.
  • step S24 when it is determined that the image frame in the previous encoding and the image frame in the current encoding are not the same, in step S25, the control unit 2 15 Each part of the encoding unit 201 is controlled so that encoding is performed by reusing the picture type and the motion vector included in the parameter information supplied from 87.
  • step S26 the control unit 215 controls the back search processing unit 214 to obtain the quantization index used for encoding by the back search, and supplies the quantization index to the quantization unit 176.
  • the quantization unit 1 7 6 converts the supplied quantization index 04 008395
  • step S24 if it is determined that the image frame in the previous encoding is the same as the image frame in the current encoding, in step S27, the control unit 2 15 sends the stream switch 1 86 is output to output the stream data input to the decoding unit 63, and the processing is terminated.
  • step S21 If it is determined in step S21 that the coding picture type is not an I-picture, then in step S22, the phase of the macroblock in the previous coding and the phase of the macroblock in the current coding are determined. If it is determined that they do not match, or if it is determined in step S23 that the generated code amount per picture during decoding ⁇ the target code amount Xa; is not satisfied, step S28 In, the control unit 215 controls each unit of the encoding unit 201 so that the encoding is performed without reusing the parameters, and the process is terminated.
  • the stream data input to the decoding unit is output as it is, or a code using back search processing and parameter information is used. Since the encoding is performed, it is possible to prevent an extra generated code amount from being allocated to an I picture for which the image quality cannot be improved even if the allocated code amount is further increased.
  • the transcoder that converts stream data has been described as having a decoding unit and an encoding unit. However, the decoding unit and the encoding unit each have The present invention is applicable even when the decoding device and the encoding device are configured as independent devices.
  • each transcoder has been described as converting stream data.
  • the decoding device 251 which converts a signal into a signal
  • the coding device 25 which encodes a baseband signal and converts it into stream data
  • the decoding device 25 1 does not completely decode the supplied stream data
  • the corresponding coding device 25 2 The invention is also applicable when the corresponding part of the incompletely decoded data is partially encoded.
  • the encoding device 25 2 performs quantization and variable length coding. Performs processing, but does not perform DCT conversion processing.
  • the present invention can be applied to the determination of whether or not to reuse the quantization value in the quantization of the encoding device 255 that performs such partial encoding (encoding from an intermediate stage). It goes without saying.
  • the encoding device 252 encodes the baseband signal completely decoded by the decoding device 251, up to an intermediate stage (for example, DCT transform and quantization are performed, but the variable length encoding process is not performed). Etc.) and the decoding device 25 1 has not completely decoded (for example, only decoding and inverse quantization for VLC codes and no inverse DCT transform has been performed).
  • the present invention is also applicable to a case where the coding device 252 further encodes data to an intermediate stage (for example, performs quantization but does not perform variable-length coding). is there.
  • the present invention is also applicable to a transcoder 261, which is configured by a decoding device 251 that performs such partial decoding and an encoding device 252 that performs partial encoding.
  • a transcoder 261 is used, for example, when an editing device 262 that performs editing such as splicing is used.
  • the transcoder to which the present invention is applied is also applicable to an information recording device that records information on a recording medium and an information reproducing device that reproduces information recorded on a recording medium.
  • FIG. 13 is a block diagram showing a configuration of an information recording device 271 to which the present invention is applied.
  • the channel encoding unit 275 adds a parity code for error correction to the bit stream output from the transcoders 122, 161 and then applies, for example, an NRZI (Non Return to Zero Inversion) modulation method. Performs channel encoding processing and supplies the result to the recording unit 276.
  • NRZI Non Return to Zero Inversion
  • the recording medium 273 is, for example, an optical disk such as a CD-ROM (Compact Disk-Read Only Memory), a DVD (Digital Versatile Disk), a magneto-optical disk such as an MD (Mini-Disk) (trademark), a semiconductor memory, or Any form that can record information, such as a magnetic tape such as a video tape or the like, may be used.
  • an optical disk such as a CD-ROM (Compact Disk-Read Only Memory), a DVD (Digital Versatile Disk), a magneto-optical disk such as an MD (Mini-Disk) (trademark), a semiconductor memory, or Any form that can record information, such as a magnetic tape such as a video tape or the like, may be used.
  • the recording section 276 can record the supplied information on the recording medium 273 in a recording format corresponding to the recording medium 273. If it is an optical disk, it is configured to include a laser for irradiating the recording medium 273 with laser light, and if the recording medium 273 is a magnetic tape, it is configured to include a magnetic recording head. Is done.
  • FIG. 14 is a block diagram showing a configuration of an information reproducing apparatus 281 to which the present invention is applied.
  • the information reproducing device 281 includes a reproduction processing unit 285 for reproducing information from the recording medium 273, a channel decoding unit 286, and the transcoder 1 228 described with reference to FIGS. , 16 1.
  • the reproduction processing unit 285 reproduces the information recorded on the recording medium 273 by a method corresponding to the recording medium 273, and supplies the reproduced signal to the channel decoding unit 286.
  • the recording medium 273 is an optical disk, it is configured to include an optical pickup, and the recording medium 273 is a magnetic disk. If it is a tape, it includes a magnetic read head.
  • the channel decoding unit 286 channel-decodes the reproduction signal, performs error correction processing using the parity, and supplies the error-corrected reproduction information to the transcoders 122, 161.
  • the information supplied to the transcoders 122, 161 is processed and output by the transcoders 122, 161 in the same manner as described above.
  • FIG. 15 is a block diagram showing a configuration of an information recording apparatus 291 to which the present invention is applied.
  • Information input from the outside is processed by the transcoder 292 and supplied to the channel encoding unit 2775 in the same manner as described above.
  • the channel encoding unit After attaching a parity code for error correction to the bit stream output by the transcoder 2992, the channel encoding unit After performing the encoding process, it is supplied to the recording unit 276.
  • the recording unit 276 records the supplied information on the recording medium 273.
  • the encoding parameter ⁇ : and the video data may be recorded at different positions on the recording medium 273.
  • FIG. 16 is a block diagram showing a configuration of an information reproducing apparatus 295 to which the present invention is applied.
  • the information reproducing device 295 includes a reproduction processing unit 285 for reproducing information from the recording medium 273, a channel decoding unit 286, and a decoding unit 61 or a decoding unit 63, for example. It is composed of a transcoder 292 provided with the encoding unit 201 described using 10.
  • the reproduction processing unit 285 reproduces the information recorded on the recording medium 273 by a method corresponding to the recording medium 273, and supplies the reproduced signal to the channel decoding unit 286. I do.
  • the channel decoding unit 286 performs channel decoding on the reproduction signal, performs error correction processing using the parity, and then supplies the error-corrected reproduction information to the transcoder 292.
  • the information supplied to the transcoder 292 is processed and output by the transcoder 292 in the same manner as described above.
  • transcoders 122 and 131 are configured by a personal computer 301 shown in FIG.
  • a CPU (Central Processing Unit) 311 is loaded into a RAM (Random Access Memory) 313 from a program stored in a ROM (Read Only Memory) 312 or a storage unit 318 Performs various processes according to the specified program.
  • the RAM 313 also stores data and the like necessary for the CPU 313 to execute various processes.
  • CPU 311, ROM 312, and RAM 313 are mutually connected via a bus 314.
  • the input / output interface 315 is also connected to the bus 314.
  • the input / output interface 3 15 has an input section 3 16 consisting of a keyboard and a mouse, an output section 3 17 consisting of a display and speakers, a storage section 3 18 consisting of a hard disk, a modem, a terminal adapter, etc.
  • a communication unit 319 is connected. The communication unit 319 performs a communication process via a network including the Internet.
  • a drive 32 is connected to the input / output interface 315 as necessary, and a magnetic disk 331, an optical disk 332, a magneto-optical disk 333, or a semiconductor memory 334 is provided. Computers installed as appropriate and read from them The program is installed in the storage unit 318 as needed.
  • the programs that make up the software are installed in a computer that is built into dedicated hardware, or by installing various programs to perform various functions. It is installed on a general-purpose personal computer that can be executed, for example, from a network or a recording medium.
  • this recording medium is a magnetic disk 33 1 (including a floppy disk) storing the program, which is distributed to supply the program to the user separately from the main unit.
  • Optical disk 33 including CD-ROM (Compact Disk-Read Only Memory), DVD (Digital Versatile Disk)), magneto-optical disk 33 (including MD (Mini-Disk) (trademark)), or Not only is it comprised of package media consisting of semiconductor memory 334, etc., but it is also supplied to the user in a state of being incorporated in the main body of the device. It is composed of a hard disk and the like included in.
  • the steps of describing a program stored in a recording medium include not only processing performed in chronological order according to the order in which they are included, but also processing performed in parallel or individually, although not necessarily performed in chronological order. Also includes the processing executed in In this specification, the term “system” refers to an entire device including a plurality of devices. Industrial applicability
  • image data can be encoded.
  • stream data is converted from MPEG Long G0P to All Intra
  • encoding is performed from All Intra to Long GOP
  • an I-picture that satisfies predetermined conditions is encoded. Only when encoding, the stream data input to the decoding unit is output as it is, or encoding is performed using parameter information. Can be improved It is possible to prevent an extra generated code amount from being allocated to an I-picture that does not exist.
  • the stream data input to the decoding unit is output as it is, or encoding is performed using the parameter information only when encoding an I-picture that meets predetermined conditions.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本発明は、所定の条件に合致したＩピクチャを、パラメータ情報を用いて符号化することができるものである。ステップＳ１でピクチャタイプがＩピクチャであると判断された場合、ステップＳ２で以前と今回の符号化とのマクロブロックの位相があっているか否かが判断され、位相があっていれば、ステップＳ３で復号時のピクチャ単位の発生符号量≦目標符号量×αが満たされるか否かが判断される。条件が満たされていれば、ステップＳ４で以前と今回の符号化の画像枠が同一であるか否かが判断され、画像枠が同一ではなければ、パラメータ情報に含まれるピクチャタイプ、動きベクトル、および量子化値の情報が再利用され、画像枠が同一であれば、復号部へ入力されたストリームデータが出力される。以上の条件を満たさない場合、パラメータは再利用されない。本発明は、符号化部、符号化装置、情報記録装置、情報再生装置、またはトランスコーダに適用できる。

Description

明細書
画像処理装置および画像処理方法、 情報処理装置および情報処理方法、 情報記録 装置および情報記録方法、情報再生装置および情報再生方法、記録媒体、並びに、 プログラム 技術分野
本発明は、 画像処理装置および画像処理方法、 情報処理装置および情報処理方 法、 情報記録装置および情報記録方法、 情報再生装置および情報再生方法、 記録 媒体、 並びに、 プログラムに関し、 特に、 対応するデータに対して過去に施され た符号化に関する情報を用いて再符号化することが可能なようになされている場 合に用いて好適な、 画像処理装置および画像処理方法、 情報処理装置および情報 処理方法、情報,記録装置およぴ情報記録方法、情報再生装置および情報再生方法、 記録媒体、 並びに、 プログラムに関する。 背景技術
例えば、 テレビ会議システム、 テレビ電話システムなどのように、 動画像信号 を遠隔地に伝送するシステムにおいては、 伝送路を効率良く利用するため、 映像 信号のライン相関やフレーム間相関が利用されて、画像信号が圧縮符号化される。 画像信号が圧縮符号化される場合、 生成されるビットス トリームが、 所定のビ ットレートになるように符号化が行われる。 しかしながら、 実運用上において、 伝送路の都合により、 ビットスドリームのビットレートを変換する必要が生じる ことがある。
また、 例えば、 伝送された画像信号が、 放送局において編集される場合、 編集 は秒単位で行われるので、 フレームの画像情報は、 他のフレームの画像情報から 独立しているほうがよい。 そこで、 低いビットレート （例えば、 3乃至 9 Mbps) で転送しても画質が劣化しないように、 情報が相関関係にあるフレームの集合で ある G0P (Group of Picture)を構成するフレーム数が多い Long GOPと、 高ビッ ト レート （1 8乃至 5 0 Mbps) で転送される、 GOPを構成するフレーム数が少ない Short GOPとを、 相互に変換する必要があった。
例えば、 伝送路を介して送受信される Long GOPのス ト リームデータを、 Short GOPである全てイントラフレーム （All Intra) のストリームデータに符号化しな おして、. フレーム編集することが可能なシステムについて、 図 1を用いて説明す る。
伝送路 1には、 伝送に適した Long GOPのス トリームデータが伝送される。 トランスコーダ 2は、 伝送路 1を介して供給された、 MPEGの Long GOPのス ト リームデータを、 復号部 2 1でー且復号した後、 符号化部 2 2において、 全てィ ントラフレーム （All Intra) となるように符号化し、 符号化された Al l Intra のス 卜 1リームデータ (SDTI CP (Serial Data Transport Interface Contents Package) ス トリーム） を、 SDTI CPインタフェースのフレーム編集装置 3に出力 する。
フレーム編集装置 3にてフレーム編集されたストリームデータは、 トランスコ ーダ 4に供給される。 トランスコーダ 4は、 供給された All Intraのス トリーム データを、復号部 2 3でー且復号した後、符号化部 2 4において、 MPEGの Long G0P となるように符号化し、 符号化された MPEGの Long GOPのス トリームデータを、 伝送路 1を介して、 所定のデータ伝送先に出力する。
このように、 画像情報に対する符号化おょぴ復号が繰り返された場合、 符号化 の度に使用される符号化パラメータが変化してしまうと、 画像情報が劣化してし まう。 この画像情報の劣化を防止するため、 ビットストリームのピクチャ層のュ 一ザデータエリアに挿入された符号化履歴情報を用いることにより、 再符号化に 伴う画像の劣化を抑制することができる技術が、 特開 2 0 0 0— 0 5 9 7 8 8号 公報に記載されている。
例えば、 MPEGの Long G0Pを、 フレーム編集を行うことが可能な Short G0Pに 変換することが可能なシステムにおいて、 符号化履歴情報を利用する場合につい て、 図 2および図 3を用いて説明する。 なお、 図 1における場合と対応する部分 には同一の符号を付してあり、 その説明は適宜省略する。
まず、 図 2を用いて、 ヒス トリ一情報を用いる場合について説明する。
すなわち、 トランスコーダ 3 1は、 伝送路 1を介して、 MPEGの Long G0Pの供 給を受ける。
MPEGの Long GOPはそれぞれ符号化の素性の異なる 3種類のピクチャタイプの ピクチャ （ Iピクチャ、 Pピクチャ、 および、 Bピクチャ） により構成されるた め、 それを復号したビデオデータにも、 フレームによってそれぞれ Iピクチャ、 Pピクチャ、 Bピクチャの素性を持ったものが存在する。 したがつてこのビデオ データを MPEGの Long GOPで再符号化する場合、 Iピクチャ、 Pピクチャ、 また は、 Bピクチャの素性を持ったビデオデータに対して、 それぞれ別のピクチャタ イブで符号化してしまうと、画像劣化が発生する場合がある。例えば、復号前に、 Iピクチャおょぴ Pピクチヤより歪が多くなりやすい Bピクチャであったビデオ データを Iピクチャとして符号化してしまうと、 その周辺のピクチャが、 歪の多 い Iピクチャを参照画像として予測符号化されてしまうため、 画質が劣化してし まう。
このような再符号化による画質劣化を引き起こさないため、 トランスコーダ 3 1は、 例えば、 伝送路 1を介して、 他のトランスコーダによって過去に符号化さ れたストリームデータの供給を受けた場合、 供給された MPEGの Long GOPのス ト リームデータを、 復号部 4 1で一旦復号した後、 符号化部 4 2において、 全てィ ントラフレームとなるように符号化するとき、 過去に実行された符号化、 すなわ ち、 復号部 4 1に供給された符号化ストリームの符号化のピクチャタイプや量子 化値などのパラメータを、 All Intraの符号化ストリーム上に、 SMPTE (Society of Motion Picture and Television Engineers) 328Mのヒス トリ一情報 (History data) として付加し、 フレーム編集装置 3に供給する。
フレーム編集装置 3にてフレーム編集されたス トリームデータは、 再び、 トラ ンスコーダ 3 2に供給される。 トランスコーダ 3 2は、 供給された、 ヒス トリ一 情報つきの All Intraのス トリームデータを、 復号部 4 3で復号する。 符号化部 4 4は、 復号されたヒス トリ一情報に含まれている、 ピクチャタイプや量子化値 等の必要なパラメータを使用して、 Long G0Pに再符号化して、 伝送路 1に出力す る。
次に、 図 3を用いて、 パラメータ情報を用いる場合について説明する。
トランスコーダ 5 1は、伝送路 1を介して、 MPEGの Long GOPの供給を受ける。 MPEGの Long GOPのストリームデータの供給を受けた復号部 6 1は、 復号する ときに、 必要な符号化パラメータを取得して、 復号されたビデオデータと取得さ れた符号化パラメータを符号化部 6 2に供給する。 符号化部 6 2は、 供給された 符号化パラメータを用いて、 ビデオデータを、 Al l Intraの符号化ス トリームに 変換して、 フレーム編集装置 3に供給する。
フレーム編集装置 3にてフレーム編集されたストリームデータは、 再び、 トラ ンスコーダ 5 2に供給される。 トランスコーダ 5 2は、 供給されたストリームデ ータを、 復号部 6 3で復号する。 復号部 6 3は、 復号するときに、 必要な符号化 パラメータを取得して、 復号されたビデオデータと取得された符号化パラメータ を符号化部 6 4に供給する。 符号化部 6 4は、 供給された符号化パラメータを用 いて、 ビデオデータを、 Long GOPの符号化ス トリームに変換して、 伝送路 1に出 力する。
上述したように、 ヒス トリ一情報、 または、 符号化パラメータを用いて、 過去 の符号化の情報 （過去に行われた符号化のピクチャタイプ、 動きベクトル、 量子 化値等の、 ピクチャ層、 マクロブロック層のパラメータ） を再利用して符号化す ることにより、 画質劣化を防ぐことが可能である。 しかしながら、 例えば、 編集 などによって、 前の符号化処理時とは、 ビットレート、 画像枠、 クロマフォーマ ットなどが異なるストリームが、 置き換えられたり、 揷入される場合がある。 こ のような場合、 全ての画像データに対して、 ヒス トリ一またはパラメータ情報を 用いて以前の符号化に関する情報を再利用して符号化を行うことはできない。 発明の開示 本発明はこのような状況に鑑みてなされたものであり、 符号化する画像データ の状態に応じて、 過去の符号化に関する情報を再利用することができるか否かを 判断することができるようにするものである。
本発明の画像処理装置は、 画像データに対して過去に行われた符号化に関する 情報を取得する取得手段と、 ベースバンドの画像データまたは中途段階まで符号 化された画像データの、 中途段階まで、 または、 完全な符号化処理を制御する制 御手段とを備え、 制御手段は、 符号化のピクチャタイプが所定のピクチャタイプ であった場合、 取得手段により取得された符号化に関する情報と符号化処理に関 する条件とを基に、 符号化処理に、 符号化に関する情報を用いるか否かを判断す ることを特徴とする。
制御手段には、 符号化に関する情報に記載された過去の符号化におけるマクロ ブロックの位相が、 符号化処理のマク口プロックの位相と一致しているか否かを 基に、符号化に関する情報を用いるか否かを判断させるようにすることができる。 制御手段には、 符号化に関する情報に記載された復号時の発生符号量が所定の 値以下であるか否かを基に、 符号化に関する情報を用いるか否かを判断させるよ うにすることができる。
画像データを復号した他の画像処理装置に供給された第 1の符号化データ、 お よび制御手段により制御された符号化処理により生成された第 2の符号化データ の供給を受け、 第 1の符号化データまたは第 2の符号化データを出力する出力手 段を更に備えさせるようにすることができ、 制御手段には、 符号化に関する情報 に記載された過去の符号化におけるマクロプロックの位相が、 符号化処理のマク ロブロックの位相と一致し、 符号化に関する情報に記載された復号時の発生符号 量が所定の値以下であり、 かつ、 符号化に関する情報に記載された過去の符号化 における画像枠と、 符号化処理の画像枠との位置および大きさが一致している場 合、 出力手段を更に制御して、 第 1の符号化データを出力させるようにすること ができる。
本発明の画像処理方法は、 画像データに対して過去に行われた符号化に関する 情報を取得し、 符号化のピクチャタイプが所定のピクチャタイプであった場合、 取得された符号化に関する情報と画像処理装置が画像データに対して実行する符 号化処理に関する条件とを基に、 符号化処理に、 符号化に関する情報を用いるか 否かを判断することを特徴とする。
本発明の第 1の記録媒体に記録されているプログラムは、 コンピュータに、 符 号化のピクチャタイプが所定のピクチャタイプであるか否かを判断する第 1の判 断ステップと、 第 1の判断ステップの処理により、 ピクチャタイプが所定のピク チヤタイプであると判断された場合、 取得された符号化に関する情報と、 符号化 処理に関する条件とを比較する比較ステップと、 比較ステップの処理による比較 結果を基に、 符号化処理に、 符号化に関する情報を用いるか否かを判断する第 2 の判断ステップとを含むことを特徴とする処理を実行させる。
本発明の第 1のプログラムは、 コンピュータに、 符号化のピクチャタイプが所 定のピクチャタイプであるか否かを判断する第 1の判断ステップと、 第 1の判断 れた場合、 取得された符号化に関する情報と、 符号化処理に関する条件とを比較 する比較ステップと、比較ステップの処理による比較結果を基に、符号化処理に、 符号化に関する情報を用いるか否かを判断する第 2の判断ステップとを含むこと を特徴とする処理を実行させる。 クチャタイプが所定のピクチャタイプであると判断された場合、 取得された符号 化に関する情報と、 符号化処理に関する条件とが比較され、 比較結果を基に、 符 号化処理に、 符号化に関する情報を用いるか否かが判断される。
本発明の情報処理装置は、 供給された画像データを完全に、 または、 不完全に 復号する復号手段と、 復号手段により完全に復号されたベースバンドの画像デー タ、 または、 復号手段により不完全に復号されて生成された、 中途段階まで符号 化された画像データを、 中途段階まで、 または、 完全に符号化処理する符号化手 段とを備え、 符号化手段は、 画像データに対して過去に行われた符号化に関する 情報を取得する取得手段と、 ベースバンドの画像データまたは中途段階まで符号 化された画像データの、 中途段階まで、 または、 完全な符号化処理を制御する制 御手段とを備え、 制御手段は、 符号化のピクチャタイプが所定のピクチャタイプ であった場合、 取得手段により取得された符号化に関する情報と符号化処理に関 する条件とを基に、 符号化処理に、 符号化に関する情報を用いるか否かを判断す ることを特徴とする。
本発明の情報処理方法は、 供給された画像データを完全に、 または、 不完全に 復号する復号ステップと、 復号ステップの処理により完全に復号されたベースバ ンドの画像データ、 または、 復号ステップの処理により不完全に復号されて生成 された、 中途段階まで符号化された画像データを、 中途段階まで、 または、 完全 に符号化処理する符号化ステップとを含み、 符号化ステップの処理では、 符号化 のピクチャタイプが所定のピクチャタイプであるか否かを判断する第 1の判断ス テツプと、 第 1の判断ステップの処理により、 ピクチャタイプが所定のピクチャ タイプであると判断された場合、 取得された符号化に関する情報と、 符号化処理 に関する条件とを比較する比較ステップと、 比較ステップの処理による比較結果 を基に、 符号化処理に、 符号化に関する情報を用いるか否かを判断する第 2の判 断ステップとを含むことを特徴とする。
本発明の第 2の記録媒体に記録されているプログラムは、 コンピュータに、 供 給された画像データを完全に、 または、 不完全に復号する復号ステップと、 復号 ステップの処理により完全に復号されたベースバンドの画像データ、 または、 復 号ステップの処理により不完全に復号されて生成された、 中途段階まで符号化さ れた画像データを、 中途段階まで、 または、 完全に符号化処理する符号化ステツ プとを含み、 符号化ステップの処理では、 符号化のピクチャタイプが所定のピク チヤタイプであるか否かを判断する第 1の判断ステップと、 第 1の判断ステップ の処理により、ピクチャタイプが所定のピクチャタイプであると判断された場合、 取得された符号化に関する情報と、 符号化処理に関する条件とを比較する比較ス テツプと、 比較ステップの処理による比較結果を基に、 符号化処理に、 符号化に 関する情報を用いるか否かを判断する第 2の判断ステップとを含むことを特徴と する処理を実行させる。
本発明の第 2のプログラムは、 コンピュータに、 供給された画像データを完全 に、 または、 不完全に復号する復号ステップと、 復号ステップの処理により完全 に復号されたベースバンドの画像データ、 または、 復号ステップの処理により不 完全に復号されて生成された、 中途段階まで符号化された画像データを、 中途段 階まで、 または、 完全に符号化処理する符号化ステップとを含み、 符号化ステツ プの処理では、 符号化のピクチャタイプが所定のピクチャタイプであるか否かを 判断する第 1の判断ステップと、 第 1の判断ステップの処理により、 ピクチャタ イブが所定のピクチャタイプであると判断された場合、 取得された符号化に関す る情報と、 符号化処理に関する条件とを比較する比較ステップと、 比較ステップ の処理による比較結果を基に、 符号化処理に、 符号化に関する情報を用いるか否 かを判断する第 2の判断ステップとを含むことを特徴とする処理を実行させる。 供給された画像データが、 完全に、 または、 不完全に復号され、 完全に復号さ れたベースバンドの画像データ、 または、 復号手段により不完全に復号されて生 成された、 中途段階まで符号化された画像データが、 中途段階まで、 または、 完 全に符号化処理され、 符号化処理において、 画像データに対して過去に行われた 符号化に関する情報が取得され、 符号化のピクチャタイプが所定のピクチャタイ プであった場合、 取得された符号化に関する情報と符号化処理に関する条件とを 基に、 符号化処理に、 符号化に関する情報を用いるか否かが判断されて、 ベース バンドの画像データまたは中途段階まで符号化された画像データを、 中途段階ま で、 または、 完全に符号化処理する処理が制御される。
本発明の情報記録装置は、 供給された画像データを完全に、 または、 不完全に 復号する復号手段と、 復号手段により完全に復号されたベースバンドの画像デー タ、 または、 復号手段により不完全に復号されて生成された、 中途段階まで符号 化された画像データを、 中途段階まで、 または、 完全に符号化処理する符号化手 段と、 符号化手段により符号化された画像データの記録を制御する記録制御手段 とを備え、 符号化手段は、 画像データに対して過去に行われた符号化に関する情 報を取得する取得手段と、 ベースバンドの画像データまたは中途段階まで符号化 された画像データの符号化処理を制御する制御手段とを備え、 制御手段は、 符号 化のピクチャタイプが所定のピクチャタイプであつた場合、 取得手段により取得 された符号化に関する情報と符号化処理に関する条件とを基に、 符号化処理に、 符号化に関する情報を用いるか否かを判断することを特徴とする。
記録制御手段には、 符号化手段により符号化された画像データと、 画像データ に対して行われた符号化に関する情報との、 異なる位置への記録を制御させるよ うにすることができる。
本発明の情報記録方法は、 供給された画像データを完全に、 または、 不完全に 復号する復号ステップと、 復号ステップの処理により完全に復号されたベースバ ンドの画像データ、 または、 復号ステップの処理により不完全に復号されて生成 された、 中途段階まで符号化された画像データを、 中途段階まで、 または、 完全 に符号化処理する符号化ステップと、 符号化ステップの処理により符号化された 画像データの記録を制御する記録制御ステップとを含み、 符号化ステップの処理 では、 符号化のピクチャタイプが所定のピクチャタイプであるか否かを判断する 第 1の判断ステップと、 第 1の判断ステップの処理により、 ピクチャタイプが所 定のピクチャタイプであると判断された場合、取得された符号化に関する情報と、 符号化処理に関する条件とを比較する比較ステップと、 比較ステップの処理によ る比較結果を基に、 符号化処理に、 符号化に関する情報を用いるか否かを判断す る第 2の判断ステップとを含むことを特徴とする。
供給された画像データが、 完全に、 または、 不完全に復号され、 完全に復号さ れたベースバンドの画像データ、 または、 不完全に復号されて生成された、 中途 段階まで符号化された画像データが、 中途段階まで、 または、 完全に符号化処理 され、 符号化された画像データの記録が制御され、 符号化処理において、 画像デ ータに対して過去に行われた符号化に関する情報が取得され、 ベースバンドの画 像データまたは中途段階まで符号化された画像データの符号化処理が、 符号化の ピクチャタイプが所定のピクチャタイプであつた場合、 取得手段により取得され た符号化に関する情報と符号化処理に関する条件とを基に、 符号化処理に、 符号 化に関する情報を用レヽるか否かの判断を基に制御される。
本発明の情報再生装置は、 所定の記録媒体に記録された画像データを再生する 再生手段と、 再生手段により再生された画像データを完全に、 または、 不完全に 復号する復号手段と、 復号手段により完全に復号されたベースバンドの画像デー タ、 または、 復号手段により不完全に復号されて生成された、 中途段階まで符号 化された画像データを、 中途段階まで、 または、 完全に符号化処理する符号化手 段とを備え、 符号化手段は、 画像データに対して過去に行われた符号化に関する 情報を取得する取得手段と、 ベースバンドの画像データまたは中途段階まで符号 化された画像データの符号化処理を制御する制御手段とを備え、 制御手段は、 符 号化のピクチャタイプが所定のピクチャタイプであつた場合、 取得手段により取 得された符号化に関する情報と符号化処理に関する条件とを基に、符号化処理に、 符号化に関する情報を用いるか否かを判断することを特徴とする。
本発明の情報再生方法は、 所定の記録媒体に記録された画像データを再生する 再生ステップと、 再生ステップの処理により再生された画像データを完全に、 ま たは、 不完全に復号する復号ステップと、 復号ステップの処理により完全に復号 されたベースバンドの画像データ、 または、 復号ステップにより不完全に復号さ れて生成された、 中途段階まで符号化された画像データを、 中途段階まで、 また は、完全に符号化処理する符号化ステップとを含み、符号化ステップの処理では、 判断ステップと、 第 1の判断ステップの処理により、 ピクチャタイプが所定のピ クチャタイプであると判断された場合、 取得された符号化に関する情報と、 符号 化処理に関する条件とを比較する比較ステップと、 比較ステップの処理による比 較結果を基に、 符号化処理に、 符号化に関する情報を用いるか否かを判断する第 2の判断ステップとを含むことを特徴とする。
所定の記録媒体に記録された画像データが再生され、再生された画像データ力 完全に、 または、 不完全に復号され、 完全に復号されたベースバンドの画像デー タ、 または、 不完全に復号されて生成された、 中途段階まで符号化された画像デ ータが、 中途段階まで、 または、 完全に符号化処理され、 符号化処理において、 画像データに対して過去に行われた符号化に関する情報が取得され、 ベースバン ドの画像データまたは中途段階まで符号化された画像データの符号化処理が、 符
Figure imgf000013_0001
得された符号化に関する情報と符号化処理に関する条件とを基に、符号化処理に、 符号化に関する情報を用いるか否かの判断を基に制御される。 図面の簡単な説明
図 1は、 フレーム編集を行う場合の再符号化が行われる従来のシステムを説明 するための図である。
図 2は、 フレーム編集を行う場合の再符号化が行われる従来のシステムにおい て、 符号化履歴情報 （ヒス トリ一情報） を利用する場合について説明するための 図である。
図 3は、 フレーム編集を行う場合の再符号化が行われる従来のシステムにおい て、 符号化履歴情報 （パラメータ情報） を利用する場合について説明するための 図である。
図 4は、 本発明を適用した放送データの授受システムについて説明するための 図である。
図 5は、 図 4の中継基地の構成を示すプロック図である。
図 6は、 図 4の放送局の構成を示すブロック図である。
図 7は、 図 5および図 6の符号化部の構成を示すプロック図である。
図 8は、 図 7の符号化部が実行する符号化制御処理 1について説明するフロー チャートである。
図 9 Aは、 符号量割当てについて説明するための図である。
図 9 Bは、 符号量割当てについて説明するための図である。 図 1 0は、 バックサーチ処理を実行可能な符号化部の構成を示すプロック図で ある。
図 1 1は、 図 1 0の符号化部が実行する符号化制御処理 2について説明するフ ローチャートである。 図 1 2は、 本発明を適用可能な異なる装置の構成について説明するための図で ある。
図 1 3は、 本発明を適用可能な情報記録装置の構成について説明するための図 である。
図 1 4は、 本発明を適用可能な情報再生装置の構成について説明するための図 である。
図 1 5は、 本発明を適用可能な情報記録装置の構成について説明するための図 である。
図 1 6は、 本発明を適用可能な情報再生装置の構成について説明するための図 である。
図 1 7は、 パーソナルコンピュータの構成を示すブロック図である。
発明を実施するための最良の形態
以下、 図を参照して、 本発明の実施の形態について説明する。
図 1は、本発明に係る情報処理装置の一実施の形態の構成の例を示す図である。 図 4に、 本発明を適用した放送データの授受システムを示す。
例えば、 中継基地 1 0 1において、 テレビカメラ 1 2 1により撮影された画像 データは、 MPEG All Intraの圧縮方式で符号化された SDTI CP (Serial Data Transport Interface Contents Package)信号として、または、非圧縮の SDI (Serial Digital Interface)方式の信号として、 トランスコーダ 1 2 2に出力される。 SDTI CPとは、 Pro—MPEGフォーラムの推進で SMPTE326Mとして標準化された、 MPEGデ ータをリアルタイムに伝送 （同期転送） する伝送方式の世界標準規格である。 ま た、 SDIとは、 Point to Pointの伝送を基本に考えた、非圧縮のデジタルビデオ - オーディオの伝送方式であり、 ANSI (American National Standards Institute) /SMPTE (Society of Motion Picture and Televi sion Engineers) 259Mに規定 されている。
トランスコーダ 1 2 2は、 All Intra © SDTI CP (Serial Data Transport Interface Contents Package) 信号、 または、 非圧縮の SDI信号の供給を受け、 伝送路 1の帯域を節約するために、圧縮効率の良い Long GOPのフレーム間圧縮を 施して、 伝送路 1を介して、 放送局 1 0 2— 1、 放送局 1 0 2 - 2、 または、 ァー 力イブシステム 1 0 3に伝送する。
放送局 1 0 2— 1のトランスコーダ 1 3 1— 1は、 MPEG Long G0Pのストリー ムデータの供給を受け、 フレーム単位で編集を行うことが可能な MPEG All Intra 方式のス トリームデータに変換し、 フレーム編集装置 3— 1に出力する。 フレー ム編集装置 3— 1は、例えば、 MXF (Material eXchange Format)や SDTI CPなど、 圧縮したス トリームを直接入出力することが可能なィンタフェースを有しており、 供給された MPEG All Intra方式のス トリームデータに対して、 例えば、 コマーシ ャルの揷入ゃ画像の加工などの編集を行い、 編集後のデータを放送したり、 ァー 力イブシステム 1 0 3に保存させるために、 トランスコーダ 1 3 1— 1に出力す る。 トランスコーダ 1 3 1— 1は、 供給された MPEG Al l Intra方式のストリーム データを、伝送路 1の伝送に適した MPEG Long G0Pのス トリームデータに変換し、 伝送路 1を介して、 アーカイブシステム 1 0 3に伝送する。
MXFは、 Pro— MPEGフォーラムが中心となり標準化が進められているフアイル形 式である。 MXFは、 ビデオデータとオーディオデータが、 フレームごと等の細か い単位で多重化されており、 ファイル交換に加えて、 ス トリーミングを考慮した フォーマツトである。
放送局 1 0 2— 2のトランスコーダ 1 3 1— 2は、 MPEG Long G0Pのス トリー ムデータの供給を受け、 フレーム単位で編集を行うことが可能な MPEG All Intra 方式のス トリームデータに変換し、 フレーム編集装置 3— 2に出力する。 フレー ム編集装置 3— 2は、 例えば、 MXFや SDTI CPなど、 圧縮したストリームを直接 入出力することが可能なィンタフェースを有しており、 供給された MPEG All Intra方式のストリームデータに対して、 例えば、 コマーシャルの揷入ゃ画像の 加工などの編集を行い、 編集後のデータを放送したり、 アーカイブシステム 1 0 3に保存させるために、 トランスコーダ 1 3 1— 2に出力する。 トランスコーダ 1 3 1— 2は、 供給された MPEG Al l Intra方式のス トリームデータを、 伝送路 1 の伝送に適した MPEG Long G0Pのストリームデータに変換し、伝送路 1を介して、 アーカイブシステム 1 0 3に伝送する。
アーカイブシステム 1 0 3は、 供給された番組の素材となるストリームデータ を保存する。 アーカイブシステム 1 0 3においては、 効率良くデータを保存する 必要があるため、高圧縮率の MPEG Long G0P方式のストリームデータを保存する。 以下、 放送局 1 ◦ 2— 1および放送局 1 0 2— 2を個々に区別する必要がない 場合、 単に放送局 1 0 2と総称し、 トランスコーダ 1 3 1— 1およびトランスコ ーダ 1 3 1— 2を個々に区別する必要がない場合、 単にトランスコーダ 1 3 1と 総称し、 フレーム編集装置 3— 1およびフレーム編集装置 3— 2を個々に区別す る必要がない場合、 単にフレーム編集装置 3と総称する。
図 5は、 中継基地 1 0 1の更に詳細な構成を示すブロック図である。
なお、 従来の場合と対応する部分には同一の符号を付してあり、 その説明は適 宜省略する。 すなわち、 トランスコーダ 1 2 2は、 符号化部 6 4に代わって、 供 給されるストリームの条件に対応して、 再利用可能な履歴情報を選択することが 可能な符号化部 1 5 1が設けられ、 符号化部 1 5 1には、 復号部 6 3から出力さ れる復号された信号のほかに、 復号部 6 3に入力されているストリームデータも 入力されているほかは、 図 3のトランスコーダ 5 2と基本的に同様に構成されて いる。
中継基地 1 0 1において、テレビカメラ 1 2 1により撮影された画像データは、 MPEG Al l Intraの圧縮方式で符号化された SDTI CP信号として、 トランスコーダ 1 2 2に出力される。
トランスコーダ 1 2 2の復号部 6 3は、 All Intraの SDTI CP信号の供給を受 けて復号し、 復号するときに、 必要な符号化パラメータを取得して、 復号された ビデオデータと取得された符号化パラメータを、 符号化部 1 5 1に供給する。 符 号化部 1 5 1は、 必要に応じて、 供給された符号化パラメータを利用して、 ビデ ォデータを、 MPEGの Long GOPとなるように符号化し、 伝送路 1に送出する。 図 6は、 放送局 1 0 2の更に詳細な構成を示すブロック図である。
なお、 従来の場合と対応する部分には同一の符号を付してあり、 その説明は適 宜省略する。
トランスコーダ 1 3 1は、 Long GOPのス トリームデータを、 All Intraのスト リームデータに変換するトランスコーダ 1 6 1と、 Al l Intraのストリームデー タを、 Long G0Pのス トリームデータに変換するトランスコーダ 1 6 2とで構成さ れている。 トランスコーダ 1 6 1は、 符号化部 6 2に代わって、 供給されるス ト リームの条件に対応して、 再利用可能な履歴情報を選択することが可能な符号化 部 1 5 2が設けられ、 符号化部 1 5 2には、 復号部 6 1から出力される復号され た信号のほかに、 復号部 6 1に入力されているストリームデータも入力されてい るほかは、 図 3のトランスコーダ 5 1と基本的に同様に構成されている。
また、 トランスコーダ 1 6 2は、 符号化部 6 4に代わって、 供給されるストリ ームの条件に対応して、 再利用可能な履歴情報を選択することが可能な符号化部 1 5 1が設けられ、 符号化部 1 5 1には、 復号部 6 3から出力される復号された 信号のほかに、 復号部 6 3に入力されているストリームデータも入力されている ほかは、 図 3のトランスコーダ 5 2と基本的に同様に構成されている。
トランスコーダ 1 6 1の復号部 6 1は、 MPEGの Long GOPのストリームデータ の供給を受けて復号し、 復号するときに、 必要な符号化パラメータを取得して、 復号されたビデオデータと取得された符号化パラメータを、 符号化部 1 5 2に供 給する。 符号化部 1 5 2は、 必要に応じて、 供給された符号化パラメータを利用 して、 ビデオデータを、 All Intraの SDTI CP信号となるように符号化し、 フレ ーム編集装置 3に供給する。
フレーム編集装置 3にてフレーム編集されたス トリームデータは、 トランスコ ーダ 1 6 2の復号部 6 3に供給される。
トランスコーダ 1 6 2の復号部 6 3は、 All Intraの SDTI CP (Serial Data Transport Interface Contents Package) 信号の供給を受けて復号し、 復号する ときに、 必要な符号化パラメータを取得して、 復号されたビデオデータと取得さ れた符号化パラメータを、 符号化部 1 5 1に供給する。 符号化部 1 5 1は、 必要 に応じて、供給された符号化パラメータを利用して、ビデオデータを、 MPEGの Long GOPとなるように符号化し、 伝送路 1に送出する。
図 7は、符号化部 1 5 1および符号化部 1 5 2の構成を示すプロック図である。 パラメータ入力部 1 8 7は、 復号部 6 1または復号部 6 3から供給されるパラ メータ情報を取得して制御部 1 8 5に供給する。
制御部 1 8 5はノ ラメータ入力部 1 8 7から、パラメータ情報の供給を受け、 パラメータ情報を参照して、 実行される符号化の条件が所定の条件に合致してい るか否かを基に、 画像並べ替え部 1 7 2、 動きべク トル検出部 1 7 4、 量子化値 決定部 1 7 7、 および、 ストリームスィッチ 1 8 6の一部、 もしくは全ての処理 を制御する。
具体的には、 制御部 1 8 5は、 実行される符号化のピクチャタイプが Iピクチ ャであるか否か、 前の符号化と次の符号化におけるマクロプロックの位相が合致 しているか否か、 復号時のピクチャ単位の発生符号量が、 所定の範囲以内である か否か、 および、 画像枠が同一であるか否かを基に、 映像並び替え部 1 7 2乃至 バッファ 1 8 4の処理により符号化された符号化データを出力するカ 復号部 6 1または復号部 6 3に入力されたストリームデータを出力するかを判断し、 映像 並び替え部 1 7 2乃至バッファ 1 8 4の処理により符号化された符号化データを 出力する場合は、 更に、 パラメータの再利用を行うか否かを決定し、 画像並べ替 え部 1 7 2、 動きべクトル検出部 1 7 4、 量子化値決定部 1 7 7、 ストリームス イッチ 1 8 6の一部、 もしくは全ての処理を制御する。
映像並ぴ替え部 1 7 2は、 制御部 1 8 5の制御に基づいて、 順次入力される画 像データの各フレーム画像を、 必要に応じて、 並べ替えたり、 1 6画素 X I 6ラ ィンの輝度信号、 および輝度信号に対応する色差信号によつて構成されるマクロ プロックに分割したマクロプロックデータを生成して、 演算部 1 7 3、 および、 動きべク トル検出部 1 7 4に供給する。
動きベク トル検出部 1 7 4は、 マクロブロックデータの入力を受け、 制御部 1 8 5の制御に基づいて、 各マクロブロックの動きべク トノレを、 マクロプロックデ ータ、 および、 フレームメモリ 1 8 3に記憶されている参照画像データを基に算 出し、 動きべクトルデータとして、 動き補償部 1 8 2に送出するか、 もしくは、 制御部 1 8 5より供給された、 以前の符号化の動きべクトルを、 動き補償部 1 8 2に送出する。
演算部 1 7 3は、 映像並ぴ替え部 1 7 2から供給されたマクロプロックデータ について、 各マクロプロックの画像タイプに基づいた動き補償を行う。 具体的に は、 演算部 1 7 3は、 Iピクチャに対してはイントラモードで動き補償を行い、 Pピクチャに対しては、 順方向予測モードで動き補償を行い、 Bピクチャに対し ては、 双方向予測モードで動き補償を行うようになされている。
ここでイントラモードとは、 符号化対象となるフレーム画像をそのまま伝送デ ータとする方法であり、 順方向予測モードとは、 符号化対象となるフレーム画像 と過去参照画像との予測残差を伝送データとする方法であり、 双方向予測モード とは、 符号化対象となるフレーム画像と、 過去と将来の参照画像との予測残差を 伝送データとする方法である。
まず、 マクロブロックデータが Iピクチャであった場合、 マクロブロックデー タはイントラモードで処理される。 すなわち、 演算部 1 7 3は、 入力されたマク ロブ口ックデータのマクロブ口ックを、そのまま演算データとして DCT (Di screte Cosine Transform ：離散コサイン変換） 部 1 7 5に送出する。 DCT部 1 7 5は、 入力された演算データに対し DCT変換処理を行うことにより DCT係数化し、 これ を DCT係数データとして、 量子化部 1 7 6に送出する。
量子化部 1 7 6は、 量子化値決定部 1 7 7から供給される量子化値 Qに基づい て、 入力された DCT係数データに対して量子化処理を行い、 量子化 DCT係数デー タとして V L C (Variable Length Code；可変長符号化） 部 1 7 8およぴ逆量子 化部 1 7 9に送出する。 ここで、 量子化部 1 7 6は、 量子化値決定部 1 7 7力、ら 供給される量子化値 Qに応じて、 量子化処理における量子化ステップサイズを調 整することにより、 発生する符号量を制御するようになされている。
逆量子化部 1 7 9に送出された量子化 DCT係数データは、 量子化部 1 7 6と同 じ量子化ステップサイズによる逆量子化処理を受け、 DCT係数データとして、 逆 DCT部 1 8 0に送出される。 逆 DCT部 1 8 0は、 供給された DCT係数データに逆 DCT処理を施し、 生成された演算データは、 演算部 1 8 1に送出され、 参照画像 データとしてフレームメモリ 1 8 3に記憶される。
そして、 演算部 1 7 3は、 マクロブロックデータが Pピクチャであった場合、 マクロブロックデータについて、 順方向予測モードよる動き補償処理を行い、 B ピクチャであった場合、 マクロブロックデータについて、 双方向予測モードによ る動き補償処理を行う。
動き補償部 1 8 2は、 フレームメモリ 1 8 3に記憶されている参照画像データ を、 動きべク トルデータに応じて動き補償し、 順方向予測画像データ、 または、 双方向予測画像データを算出する。 演算部 1 7 3は、 マクロブロックデータにつ いて、 動き補償部 1 8 2より供給される順方向予測画像データ、 または、 双方向 予測画像データを用いて減算処理を実行する。
すなわち、 順方向予測モードにおいて、 動き補償部 1 8 2は、 フレームメモリ 1 8 3の読み出しァドレスを、動きべクトルデータに応じてずらすことによって、 参照画像データを読み出し、 これを順方向予測画像データとして演算部 1 7 3お よび演算部 1 8 1に供給する。 演算部 1 7 3は、 供給されたマクロブロックデー タから、順方向予測画像データを減算して、予測残差としての差分データを得る。 そして、 演算部 1 7 3は、 差分データを DCT部 1 7 5に送出する。
演算部 1 8 1には、 動き補償部 1 8 2より順方向予測画像データが供給されて おり、 演算部 1 8 1は、 逆 DCT部から供給された演算データに、 順方向予測画像 データを加算することにより、 参照画像データを局部再生し、 フレームメモリ 1 8 3に出力して記憶させる。
また、 双方向予測モードにおいて、 動き補償部 1 8 2は、 フレームメモリ 1 8 3の読み出しアドレスを、 動きベク トルデータに応じてずらすことによって、 参 照画像データを読み出し、 これを双方向予測画像データとして演算部 1 7 3およ び演算部 1 8 1に供給する。 演算部 1 7 3は、 供給されたマクロブロックデータ から、 双方向予測画像データを減算して、 予測残差としての差分データを得る。 そして、 演算部 1 7 3は、 差分データを DCT部 1 7 5に送出する。
演算部 1 8 1には、 動き補償部 1 8 2より双方向予測画像データが供給されて おり、 演算部 1 8 1は、 逆 DCT部から供給された演算データに、 双方向予測画像 データを加算することにより、 参照画像データを局部再生し、 フレームメモリ 1 , 8 3に出力して記憶させる。
かくして、 符号化部 1 5 1または符号化部 1 5 2に入力された画像データは、 動き補償予測処理、 DCT処理および量子化処理を受け、 量子化 DCT係数データと して、 V L C部 1 7 8に供給される。 〇部1 7 8は、 量子化 DCT係数データ に対し、 所定の変換テーブルに基づく可変長符号化処理を行い、 その結果得られ る可変長符号化データをバッファ 1 8 4に送出する。 バッファ 1 8 4は、 供給さ れた可変長符号化データをバッファリングした後、 ス トリ一ムスィツチ 1 8 6に 出力する。
量子化値決定部 1 7 7は、 バッファ 1 8 4に格納される可変長符号化データの 蓄積状態を常時監視しており、 制御部 1 8 5の制御に基づいて、 蓄積状態を表す 占有量情報、 または、 制御部 1 8 5から供給される、 過去の符号化パラメータに 含まれる量子化値 Qを基に、 量子化ステップサイズを決定するようになされてい る。
量子化値決定部 1 7 7は、 上述したように、 制御部 1 8 5から過去の符号化パ ラメータに含まれる量子化値 Qが供給され、 過去の符号化の量子化値を再利用す ることができる場合、 過去の符号化パラメータに含まれる量子化値 Qを基に、 量 子化ステップサイズを決定することができる。 また、 量子化値決定部 1 7 7は、 パラメータ情報を基に量子化ステップサイズ を決定しない場合においては、 目標発生符号量よりも実際に発生したマクロプロ ックの発生符号量が多いとき、 発生符号量を減らすために量子化ステツプサイズ を大きくし、 また目標発生符号量よりも実際の発生符号量が少ないとき、 発生符 号量を增やすために量子化ステップサイズを小さくするようになされている。 すなわち、 量子化値決定部 1 7 7は、 デコーダ側に設けられた VBV (Video Buffer Verifier) バッファに格納された可変長符号化データの蓄積状態の推移 を想定することにより、仮想バッファのバッファ占有量を求めて、量子化値 Qを 算出し、 これを量子化部 1 7 6に供給する。
j番目のマクロブロックにおける仮想バッファのバッファ占有量 d ( j ) は、 次の式 （1) によって表され、 また、 j + 1番目のマクロブロックにおける仮想 バッファのバッファ占有量 d ( j +1) は、 次の式 （2) によって表され、 （1) 式から （2) 式を減算することにより、 j + 1番目のマクロブロックにおける仮 想バッファのバッファ占有量 d ( j +1) は、 次の式 （3) として表される。
d ( j ) = d (0) +B ( j - 1) -{T X ( j - 1) /MBcnt}
• · ■ (1)
ここで、 d (0) は初期バッファ容量、 B ( j ) は、 j番目のマクロブロック における符号化発生ビット数、 MBcntは、 ピクチャ内のマクロブロック数、 そし て、 Tは、 ピクチャ単位の目標発生符号量である。
d ( j + 1) = d (0) +B ( i ) - (T X j ) /MBcnt
• · · (2)
d ( j + 1) = d ( j ) +{B ( j ) -B ( j - 1) }-T/MBcnt
• · · (3)
したがって、発生符号量制御部 9 2は、バッファ占有量 d ( j + 1) 、および、 式 （4) に示される定数 rを、 式 （5) に代入することにより、 マクロプロック ( j +1) の量子化インデックスデータ Q ( j +1) を算出し、 これを量子化部 7 5に供給する。 r = ( 2 X b r ) / p r · · · ( 4 )
Q ( j + 1 ) = d ( j + 1 ) X ( 3 1 / r ) · · · ( 5 )
ここで、 b rは、 ビットレートであり、 p rは、 ピクチャレートである。
量子化部 1 7 6は、 量子化値 Qに基づいて、 次のマクロブロックにおける量子 化ステップサイズを決定し、 量子化ステップサイズによって DCT係数データを量 子化する。
これにより、 量子化部 1 7 6は、 1つ前のピクチャにおける実際の発生符号量 に基づいて算出された、 次のピクチャの目標発生符号量にとつて最適な量子化ス テップサイズによって、 DCT係数データを量子化することができる。
かく して、 量子化部 1 7 6では、 バッファ 1 8 4のデータ占有量に応じて、 バ ッファ 1 8 4がオーバーフローまたはアンダー'フローしないように量子化し得る とともに、 デコーダ側の V B Vバッファがオーバーフロー、 またはアンダーフロ 一しないように量子化した量子化 DCT係数データを生成することができる。
例えば、 符号化部 1 5 2を含むトランスコーダ 1 6 1が、 Long GOPの符号化ス トリームを All Intraの符号化ストリームに変換する場合、復号部 6 1において、 逆量子化処理と逆 DCT変換が実行され、 符号化部 1 5 2において、 DCT変換およ ぴ量子化処理が実行される。 ここで、 逆 DCT変換と DCT変換は、 直交逆変換と直 交変換であるので、 Long GOPの符号化ストリーム中の Iピクチャに対しては、 変 換後も同一のピクチャタイプであることから、 MPEG 固有の 8 X 8の DCTプロック の位相が合っていて、 dct_type (fieldまたは frame) がー致している場合、 演算 精度が十分であれば、直交逆変換と直交変換との積は 0となり、逆 DCT変換と DCT 変換とが実行されることによる Iピクチャの画像データの劣化は発生しない。 また、 逆量子化処理は、 8 X 8の DCTプロックの係数ごとの乗算処理であり、 量子化処理は、 8 X 8の DCTブロックの係数ごとの除算処理であるから、 DCT係 数ごとの量子化係数である q_matrixがー致し、マクロブロックごとの量子化値で ある quantaizer— scaleがー致している場合、逆量子化処理における乗算に用いた 値を量子化処理の除算に再利用することにより、 丸めなどの演算誤差が十分小さ い場合、 逆量子化処理と量子化処理とが実行されることによる Iピクチャの画像 データの劣化は発生しない。
すなわち、 MPEG固有の 8 X 8の DCTプロックの位相が合っていて、 dct_type (fieldまたは frame) が一致し、 DCT係数ごとの量子化係数である q_matrixが 一致し、マク口プロックごとの量子化ィ直である quantaizer— scaleがー致している 場合、 ピクチャタイプ、 動きベクトル、 および量子化値の情報を再利用すること により、 復号部 6 1に入力された Iピクチャと、 符号化部 1 5 2から出力される Iピクチャとにおいて、 画像の劣化は発生しない。 更に、 画像枠が同一である場 合、 復号部 6 1に入力された Iピクチャを符号化部 1 5 2からの出力とすること が可能となる。
同様にして、 符号化部 1 5 1を含むトランスコーダ 1 2 2またはトランスコー ダ 1 6 2力 Al l Intraの符号化ストリームを Long G0Pの符号化ス トリームに変 換する場合、 復号部 6 3において、 逆量子化処理と逆 DCT変換が実行され、 符号 化部 1 5 1において、 DCT変換および量子化処理が実行される。 ここで、 逆 DCT 変換と DCT変換は、 直交逆変換と直交変換であるので、 Long G0Pにおいて Iピク チヤとして符号化されるピクチャに対しては、 変換後のピクチャタイプが同一で あることから、 MPEG 固有の 8 X 8の DCTプロックの位相が合っていて、 dct_type (fieldまたは frame) がー致している場合、演算精度が十分であれば、 直交逆変 換と直交変換との積は 0となり、 逆 DCT変換と DCT変換とが実行されることによ る Iピクチャの画像データの劣化は発生しない。
また、 逆量子化処理は、 8 X 8の DCTブロックの係数ごとの乗算処理であり、 量子化処理は、 8 X 8の DCTブロックの係数ごとの除算処理であるから、 DCT係 数ごとの量子化係数である q_matrixがー致し、マクロプロックごとの量子化値で ある quairtaizer_scaleがー致している場合、逆量子化処理における乗算に用いた 値を量子化処理の除算に再利用することにより、 丸めなどの演算誤差が十分小さ い場合、 逆量子化処理と量子化処理とが実行されることによる Iピクチャの画像 データの劣化は発生しない。 すなわち、 MPEG固有の 8 X 8の DCTプロックの位相が合っていて、 dct— type (fieldまたは frame) がー致し、 DCT係数ごとの量子化係数である q_matrixが 一致し、マク口プロックごとの量子化値である quantaizer_scaleが一致している 場合、 ピクチャタイプ、 動きベク トル、 および量子化値の情報を再利用すること により、 復号部 6 3に入力された Iピクチャと、 符号化部 1 5 1から出力される Iピクチャとにおいて、 画像の劣化は発生しない。 更に、 画像枠が同一である場 合、 復号部 6 3に入力された Iピクチャを符号化部 1 5 1からの出力とすること が可能となる。
これに対して、 符号化の条件が満たされない場合、 符号化部 1 5 1および符号 化部 1 5 2においては、量子化値決定部 1 7 7により通常の量子化値が決定され、 過去の符号化のパラメータを用いずに、 符号化処理が実行される。 量子化値決定 部 1 7 7は、 パラメータ情報を基に量子化ステップサイズを決定しない場合にお いては、 目標発生符号量よりも実際に発生したマクロプロックの発生符号量が多 いとき、 発生符号量を減らすために量子化ステップサイズを大きく し、 また目標 発生符号量よりも実際の発生符号量が少ないとき、 発生符号量を増やすために量 子化ステップサイズを小さくするようになされている。 したがって、 量子化値決 定部 1 7 7は、 Bピクチャおよび Pピクチャに対して、 最適な量子化ステップサ ィズを決定するようになされている。
次に、 図 8のフローチャートを参照して、 符号化部 1 5 1および符号化部 1 5 2が実行する符号化制御処理 1について説明する。
ステップ S 1において、 制御部 1 8 5は、 符号化のピクチャタイプは Iピクチ ャであるか否かを判断する。 ステップ S 1において、 符号化のピクチャタイプは Iピクチャではないと判断された場合、 処理は、 後述するステップ S 7に進む。 ステップ S 1において、 符号化のピクチャタイプは Iピクチャであると判断さ れた場合、 ステップ S 2において、 制御部 1 8 5は、 パラメータ入力部 1 8 7か らパラメータ情報の供給を受け、 パラメータ情報に含まれるマクロブロックの位 相を示す情報 （例えば、 SMPTE 329Mにおける v一 phaseおよび h_phaseと同様の情 報） を参照し、 以前の符号化におけるマクロプロックの位相と、 今回の符号化の マクロプロックの位相があっているか否かを判断する。 ステップ S 2において、 以前の符号化におけるマクロブロックの位相と、 今回の符号化のマクロプロック の位相があっていないと判断された場合、処理は、後述するステップ S 7に進む。 ステップ S 2において、 以前の符号化におけるマクロブロックの位相と、 今回 の符号化のマクロブロックの位相があっていると判断された場合、 ステップ S 3 において、 制御部 1 8 5は、 パラメータ入力部 1 8 7から供給されたパラメータ 情報に含まれるビッ トレートのデータを基に、 定数ひを、 例えば、 1≤ひく 2の 値として、 復号時のピクチャ単位の発生符号量≤目標符号量 X αが満たされるか 否かを判断する。 ステップ S 3において、 復号時のピクチャ単位の発生符号量≤ 目標符号量 X が満たされていないと判断された場合、 処理は、 後述するステツ プ S 7に進む。
ここで、 Long GOP の符号化で、動きべク トルの発生量の多い画像などにおいて は、 Pピクチャおよび Bピクチャに対して、より多く符号量を割り当てるほうが、 画質が良くなる場合がある。 また、 Long GOPの符号化レートが小さい場合に、 All Intra符号化における q_SCaleを再利用すると、 符号量制御ができなくなる場合 がある。 したがって、 定数 αは、 符号量制御が破綻しないように調整される値と なり、 例えば、 1≤ひ < 2程度の重み係数となる。
ステップ S 3において、 復号時のピクチャ単位の発生符号量≤目標符号量 X が満たされていると判断された場合、 ステップ S 4において、 制御部 1 8 5は、 パラメータ入力部 1 8 7から供給されたパラメータ情報に含まれる画像枠を示す 情報 （例えば、 SMPTE 329Μにおける horizontal— size— value、 および、 verticaし size— valueと同様の情報）を参照し、以前の符号化における画像枠と、 今回の符号化の画像枠が同一であるか否かを判断する。
ステップ S 4において、 以前の符号化における画像枠と、 今回の符号化の画像 枠が同一ではないと判断された場合、 ステップ S 5において、 制御部 1 8 5は、 パラメータ入力部 1 8 7から供給されたパラメータ情報に含まれるピクチャタイ プ、 動きベクトル、 および、 量子化値の情報を再利用する。 すなわち、 制御部 1 8 5は、 パラメータ入力部 1 8 7から供給されたパラメータ情報 （例えば、 SMPTE 329Mや SMPTE 328Mにおける intra_quantizer_raatri [64]
chroma— intra一 quantizer一 matrix [64]、 q一 scale一 typeヽ intra— dc— precisionヽ およ び、 q_SCale_tyPeに対応する情報） を再利用して、 符号化が実行されるように、 符号化部 1 5 1または符号化部 1 5 2の各部を制御し、 処理が終了される。
ステップ S 4において、 以前の符号化における画像枠と、 今回の符号化の画像 枠が同一であると判断された場合、 ステップ S 6において、 制御部 1 8 5は、 ス トリームスィッチ 1 8 6を制御して、 復号部 6 3へ入力されたストリームデータ を出力し、 処理が終了される。
ステップ S 1において、 符号化のピクチャタイプは Iピクチャではないと判断 された場合、 ステップ S 2において、 以前の符号化におけるマクロブロックの位 相と、 今回の符号化のマクロプロックの位相があっていないと判断された場合、 または、 ステップ S 3において、 復号時のピクチャ単位の発生符号量≤目標符号 量 Xひが満たされていないと判断された場合、 ステップ S 7において、 制御部 1 8 5は、 パラメータの再利用を行わないで符号化が実行されるように、 符号化部 1 5 1または符号化部 1 5 2の各部を制御し、 処理が終了される。
このような処理により、 所定の条件に合致した Iピクチャを符号化するときの み、 復号部へ入力されたストリームデータが、 そのまま出力されたり、 または、 パラメータ情報を用いた符号化が実行されるので、 これ以上発生符号量の割当て を増やしても画質を向上することができない Iピクチャに対して、 余分な発生符 号量を割り当てることを防ぐようにすることができる。
図 4を用いて説明したシステムにおいて、 いずれかのパラメータが予め定めら れているような場合、 そのパラメータに関する条件の判断を省略するようにして も良い。 例えば、 図 4を用いて説明したシステムにおいて、 全ての符号化におけ る q_scale_typeが同一の値で運用されている場合、 q_scale_typeに関する条件 の判断は省略可能である。 また、 ステップ S 1乃至ステップ S 3の処理における 条件判断の順番は変更してもかまわないことは言うまでもない。
Iピクチャに対して、 ピクチャタイプ、 動きベクトル、 および量子化値の情報 を再利用することにより、 図 9に示されるように、 これ以上発生符号量の割当て を増やしても画質を向上することができない Iピクチャに対して、 発生符号量の 割当てを Long G0Pと All Intraにおいて同一にし、 余分な発生符号量を割り当て ることを防ぐようにすることができる。 したがって、 最適な符号量割当てを行う ことが可能となるため、 その分、 Bピクチャおよび Pピクチャに対して、 十分な 符号量を割り当てるようにすることが可能となる。
なお、 以上の説明においては、 図 4の中継基地 1 0 1のトランスコーダ 1 2 2 の符号化部 1 5 1、 および、 放送局 1 0 2のトランスコーダ 1 3 1を構成するト ランスコーダ 1 6 2の符号化部 1 5 1およびトランスコーダ 1 6 1の符号化部 1 5 2において、 本発明を適用するものとして説明し が、 放送局 1 0 2のトラン スコーダ 1 3 1を構成する トランスコーダ 1 6 2およびトランスコーダ 1 6 1に 代わって、 図 2を用いて説明した、 従来のヒス トリ一情報を利用して符号化を行 うためのトランスコーダ 3 1およびトランスコーダ 3 2を用いるようにしてもよ い。 すなわち、 図 4の中継基地 1 0 1のトランスコーダ 1 2. 2においてのみ、 本 発明を適用して、 Iピクチャの符号化時において、 上述した所定の条件を満たす 場合のみ、 パラメータ情報 （例えば、 SMPTE 329Mや SMPTE 328Mにおける intra一 quantizer—matrix L64J、 chroma_intra_quantizer_matrix [64]、
q一 scale一 type、 intra— dc一 precision、 および、 q— scale—typeに;)^応 "る' 1"肯報) を 再利用して、 符号化を行うようにし、 それ以降の符号化においては、 トランスコ ーダ 1 2 2において実行された符号化に関する情報を、 ヒストリー情報としてス トリームデータとともに伝送するようにすることにより、 復号および符号化の繰 り返しによる画像データの劣化を防いで、 符号化時に、 最適な符号割当てを行う ようにすることができる。 ·
また、 所定の条件に合致した Iピクチャを符号化する場合、 ピクチャタイプお よび動きべクトルを再利用し、 量子化値の決定については、 例えば、 特開平 1 0 - 1 7 4 0 9 8号公報などに開示されている、 バックサーチと称される技術を用 いるようにすることも可能である。 バックサーチとは、 以前の圧縮符号化で使用 された量子化ステップ、 あるいは、 その倍数関係にある量子化ステップを用いる と、 DCT係数の剰余総和が極小になるという性質を利用し、 最小の極小値を示す 量子化ステップを、 最適な量子化ステップとして求める技術である。
本発明に、 バックサーチ技術を適用させるためには、 図 5および図 6の符号化 部 1 5 1または符号化部 1 5 2に代わって、 図 1 0に示される符号化部 2 0 1が 用いられる。 なお、 図 1 0の符号化部 2 0 1において、 図 7を用いて説明した場 合と対応する部分には同一の符号を付してあり、 その説明は適宜省略する。 すなわち、 制御部 1 8 5に代わって、 制御部 2 1 5が設けられ、 量子化値決定 部 1 7 7に代わって、 量子化値決定部 2 1 6が設けられ、 新たに、 動き補償部 2 1 1、 演算部 2 1 2、 DCT部 2 1 3、 および、 バックサーチ処理部 2 1 4が設け られている以外は、 図 1 0の符号化部 2 0 1は、 図 7を用いて説明した符号化部 1 5 1または符号化部 1 5 2と同様の構成を有するものである。
制御部 2 1 5は、 制御部 1 8 5と同様にして、 パラメータ入力部 1 8 7から供 給されるパラメータ情報を基に、 実行される符号化の条件が所定の条件に合致し ているか否かを基に、 画像並べ替え部 1 7 2、 動きベクトル検出部 1 7 4、 量子 化値決定部 2 1 6、 および、 ストリームスィッチ 1 8 6の一部、 もしくは全ての 処理を制御するとともに、 バックサーチ処理部 2 1 4の処理を制御する。
量子化値決定部 2 1 6は、 制御部 2 1 5の制御に基づいて、 パラメータの再利 用を行わない場合は、 量子化値決定部 1 7 7と同様にして、 量子化値の決定を行 うが、 所定の条件に合致した Iピクチャを符号化するときは、 量子化値の決定を 行わない
動き補償部 2 1 1は、 動き補償部 1 8 2と同様に、 画像並べ替え部 1 7 2から 出力されるマクロプロックデータに対して、 動きべクトル検出部 1 7 4から入力 される動きべク トルを用いて動き補償処理を行い、 演算部 2 1 2に対して出力す る。 演算部 2 1 2は、 画像並べ替え部 1 7 2から出力されるマクロブロックデー タから、 必要に応じて、 動き補償部 2 1 1から入力される動き補償された予測画 像データを減算し、 Iピクチャの映像データ、 および、 Pピクチャまたは Bピク チヤの予測誤差データを生成し、 DCT部 2 1 3に出力する。
0〇丁部2 1 3は、 演算部 2 1 2から入力された Iピクチャの映像データ、 また は、 Pピクチャもしくは Bピクチャの予測誤差データを DCT変換し、 DCT処理の 結果として得られた DCT係数を生成して、バックサーチ処理部 2 1 4に供給する。 バックサーチ処理部 2 1 4は、 制御部 2 1 5の制御に基づいて、 所定の条件に 合致した Iピクチャを符号化するとき、 DCT部 2 1 3から供給された DCT係数を 量子化して量子化データを生成して、 使用者等によつて外部から設定される目標 データ量、および、生成した量子化データのデータ量（発生符号量） に基づいて、 入力映像データの絵柄の難しさ （難度） を、 単位期間ごとに見積もる。
ここで、 絵柄の難しさとは、 符号化難易度に対応するものであり、 絵柄が難し いとき、 符号化難易度は高い。 絵柄の難しさは、 例えば、 イントラ A C等の統計 量に基づいて、 概算することができる。
イントラ A Cは、 M P E G方式における D C T処理単位の D C Tブロックごと の映像データとの分散値の総和として定義されるパラメータであって、 映像の複 雑さを指標し、 映像の絵柄の難しさおよび圧縮後のデータ量と相関性を有する。 すなわち、 イントラ A Cとは、 D C Tブロック単位で、 それぞれの画素の画素値 から、 ブロック毎の画素値の平均値を引いたものの絶対値和の、 画面内における 総和である。
そして、 バックサーチ処理部 2 1 4は、 見積もった入力映像データの絵柄の難 しさに応じて、 入力映像データの絵柄が難しい部分に多くのデータ量 （データレ ート） を割り当て、 入力映像データの絵柄が簡単な部分に少ないデータ量 （デー タレート）を割り当てて、出力映像データの品質を全体として高く保ち、 しかも、 出力映像データの総量が許容値を超えないようにするために実際に用いるべき量 子化ステップを示す量子化インデックスを、 単位期間ごとに算出する。
そして、 バックサーチ処理部 2 1 4は、 バックサーチにより、 入力映像データ 8395
29 が 1度以上の圧縮符号化を経ているか否かを判断し、 前回の圧縮符号化において 用いられた量子化ステップを示す量子化インデックスを生成し、 量子化部 1 7 6 に設定する。 つまり、 バックサーチ処理部 2 1 4は、 算出した量子化インデック スが示す量子化ステップおよびその近傍の値で、 DCT部 2 1 3から供給された DCT 係数を除算し、 除算結果の剰余の総和が著しく小さい値を示す量子化ステップが 存在する場合には、 この著しく小さい値を示す量子化ステップを、 前回の圧縮符 号化において用いられた量子化ステップと判定し、 この量子化ステップを示す量 子化インデックスを、 量子化部 1 7 6に対して出力する。
量子化部 1 7 6は、 所定の条件に合致した Iピクチャを符号化するとき、 バッ クサーチ処理部 2 1 4から供給された量子化インデックスを用いて、 DCT部 1 7 5から供給された DCT係数データを量子化する。
次に、 図 1 1のフローチャートを参照して、 符号化部 2 0 1が実行する符号化 制御処理 2について説明する。
ステップ S 2 1において、 制御部 2 1 5は、 符号化のピクチャタイプは Iピク チヤであるか否かを判断する。 ステップ S 2 1において、 符号化のピクチャタイ プは Iピクチャではないと判断された場合、 処理は、 後述するステップ S 2 8に 進む。
ステップ S 2 1において、 符号化のピクチャタイプは Iピクチャであると判断 された場合、 ステップ S 2 2において、 制御部 2 1 5は、 パラメータ入力部 1 8 7からパラメータ情報の供給を受け、 パラメータ情報に含まれるマクロブロック の位相を示す情報 （例えば、 SMPTE 329Mにおける v— phaseおよび h_phaseと同様 の情報） を参照し、 以前の符号化におけるマクロブロックの位相と、 今回の符号 化のマクロプロックの位相があっているか否かを判断する。 ステップ S 2 2にお いて、 以前の符号化におけるマクロブロックの位相と、 今回の符号化のマクロブ ロックの位相があっていないと判断された場合、 処理は、 後述するステップ S 2 8に進む。
ステップ S 2 2において、 以前の符号化におけるマクロブロックの位相と、 今 回の符号化のマクロブロックの位相があっていると判断された場合、 ステップ S 2 3において、 制御部 2 1 5は、 パラメータ入力部 1 8 7から供給されたパラメ ータ情報に含まれるビットレートのデータを基に、 定数 αを、 例えば、 1≤ひ < 2の値として、 復号時のピクチャ単位の発生符号量 目標符号量 X ひが満たされ るか否かを判断する。 ステップ S 2 3において、 復号時のピクチャ単位の発生符 号量≤目標符号量 が満たされていないと判断された場合、 処理は、 後述する ステップ S 2 8に進む。
ここで、 Long GOP の符号化で、動きべク トルの発生量の多い画像などにおいて は、 Pピクチャおよび Bピクチャに対して、より多く符号量を割り当てるほうが、 画質が良くなる場合がある。 また、 Long G0P符号化レートが小さい場合に、 All Intra符号化における q— scal eを再利用すると、 符号量制御ができなくなる場合 がある。 したがって、 定数 αは、 符号量制御が破綻しないように調整される値と なり、 例えば、 1 ≤ ひ < 2程度の重み係数となる。
ステップ S 2 3において、 復号時のピクチャ単位の発生符号量 目標符号量 X αが満たされていると判断された場合、 ステップ S 2 4において、 制御部 2 1 5 は、 パラメータ入力部 1 8 7から供給されたパラメータ情報に含まれる画像枠を 示す情報 （例えば、 SMPTE 329Μにおける horizontal— size_value、 および、 vertical_size_valueと同様の情報）を参照し、以前の符号化における画像枠と、 今回の符号化の画像枠が同一であるか否かを判断する。
ステップ S 2 4において、 以前の符号化における画像枠と、 今回の符号化の画 像枠が同一ではないと判断された場合、 ステップ S 2 5において、 制御部 2 1 5 は、 パラメータ入力部 1 8 7から供給されたパラメータ情報に含まれるピクチャ タイプ、 および、 動きベクトルを再利用して、 符号化が実行されるように、 符号 化部 2 0 1の各部を制御する。
ステップ S 2 6において、 制御部 2 1 5は、 バックサーチ処理部 2 1 4を制御 し、 バックサーチにより符号化に用いる量子化インデックスを求めさせて、 量子 化部 1 7 6に供給させる。 量子化部 1 7 6は、 供給された量子化インデックスを 04 008395
31
基に、 量子化を実行し、 符号化が実行されて、 処理が終了される。
ステップ S 2 4において、 以前の符号化における画像枠と、 今回の符号化の画 像枠が同一であると判断された場合、ステップ S 2 7において、制御部 2 1 5は、 ストリ一ムスィツチ 1 8 6を制御して、 復号部 6 3へ入力されたス トリ一ムデー タを出力し、 処理が終了される。
ステップ S 2 1において、 符号化のピクチャタイプは Iピクチャではないと判 断された場合、 ステップ S 2 2において、 以前の符号化におけるマクロプロック の位相と、 今回の符号化のマクロプロックの位相があっていないと判断された場 合、 または、 ステップ S 2 3において、 復号時のピクチャ単位の発生符号量≤目 標符号量 X a;が満たされていないと判断された場合、 ステップ S 2 8において、 制御部 2 1 5は、 パラメータの再利用を行わないで符号化が実行されるように、 符号化部 2 0 1の各部を制御し、 処理が終了される。
このような処理により、 所定の条件に合致した Iピクチャを符号化するときの み、 復号部へ入力されたス トリームデータが、 そのまま出力されたり、 または、 バックサーチ処理およびパラメータ情報を用いた符号化が実行されるので、 これ 以上発生符号量の割当てを増やしても画質を向上することができない Iピクチャ に対して、 余分な発生符号量を割り当てることを防ぐようにすることができる。 なお、 上述の実施の形態においては、 ス トリームデータを変換するトランスコ ーダが、 それぞれ、 復号部と符号化部を有しているものとして説明したが、 復号 部および符号化部が、 それぞれ、 復号装置および符号化装置として、 独立した装 置として構成されている場合においても、 本発明は適用可能である。
すなわち、 上述の実施の形態においては、.それぞれのトランスコーダが、 ス ト リームデータを変換するものとして説明したが、 例えば、 図 1 2に示されるよう に、 ス トリームデータを復号してベースバンド信号に変換する復号装置 2 5 1、 ベースバンド信号を符号化してストリームデータに変換する符号化装置 2 5 2力 それぞれ独立した装置として構成されていても良い。 更に、 復号装置 2 5 1が、 供給されたストリームデータを完全に復号せず、 対応する符号化装置 2 5 2が、 非完全に復号されたデータの対応する部分を部分的に符号化する場合においても、 本発明は適用可能である。
例えば、 復号装置 2 5 1が、 V L C符号に対する復号および逆量子化のみを行 い、 逆 DCT変換を実行していなかった場合、 符号化装置 2 5 2は、 量子化おょぴ 可変長符号化処理を行うが、 DCT変換処理は行わない。 このような部分的な符号 化 （中途段階からの符号化） を行う符号化装置 2 5 2の量子化における量子化値 を再利用するか否かの決定において、 本発明を適用することができるのは言うま でもない。
更に、 復号装置 2 5 1が完全に復号したベースバンド信号を、 符号化装置 2 5 2が中途段階まで符号化する場合 （例えば、 DCT変換および量子化を行うが可変 長符号化処理を行わないなど） や、 復号装置 2 5 1が完全に復号していない （例 えば、 V L C符号に対する復号および逆量子化のみを行い、 逆 DCT変換を実行し ていない） ため、 中途段階まで符号化されているデータに対して、 符号化装置 2 5 2が更に中途段階まで符号化する場合など （例えば、 量子化を行うが可変長符 号化処理を行わないなど） においても、 本発明は適用可能である。
更に、 このような部分的な復号を行う復号装置 2 5 1と部分的な符号化を行う 符号化装置 2 5 2で構成されたトランスコーダ 2 6 1においても、 本発明は適用 可能である。 このようなトランスコーダ 2 6 1は、 例えば、 スプライシングなど の編集を行う編集装置 2 6 2が利用される場合などに用いられる。
また、 本発明を適用したトランスコーダは、 記録媒体に情報を記録する情報記 録装置、 および、 記録媒体に記録されている情報を再生する情報再生装置におい ても適用可能である。
図 1 3は、 本発明を適用した情報記録装置 2 7 1の構成を示すブロック図であ る。
情報記録装置 2 7 1は、 図 5および図 6を用いて説明した、 復号部 6 3と符号 化部 1 5 1が設けられているトランスコーダ 1 2 2、 または、 復号部 6 1と符号 化部 1 5 2が設けられているトランスコーダ 1 6 1 (以下、 トランスコーダ 1 2 2 , 1 6 1と称する） 、 チャンネルエンコーディング部 2 7 5、 並びに、 記録媒 体 2 7 3に情報を記録する記録部 2 7 6で構成されている。
外部から入力された情報は、 上述した場合と同様にして、 トランスコーダ 1 2 2 , 1 6 1により処理されて、 チャンネルエンコーディング部 2 7 5に供給され る。 チャンネルエンコーディング部 2 7 5は、 トランスコーダ 1 2 2， 1 6 1に より出力されるビットストリームに、誤り訂正のためのパリティ符号をつけた後、 例えば、 NRZI (Non Return to Zero Inversion) 変調方式でチャンネルェンコ一 ディング処理を行い、 記録部 2 7 6に供給する。
記録媒体 2 7 3は、 例えば、 C D - R O M (Compact Disk-Read Only Memory) , D V D (Digital Versatile Disk) などの光ディスク、 MD (Mini-Disk) (商標） などの光磁気ディスク、 半導体メモリ、 または、 ビデオテープなどの磁気テープ など、 情報を記録することができるものであれば、 いずれの形態を有するもので もよい。
記録部 2 7 6は、 記録媒体 2 7 3に対応する記録形式で、 供給された情報を記 録媒体 2 7 3に記録することができるようになされており、 例えば、 記録媒体 2 7 3が光ディスクである場合は、 記録媒体 2 7 3にレーザ光を照射するためのレ 一ザを含んで構成され、 記録媒体 2 7 3が磁気テープである場合は、 磁気記録へ ッドを含んで構成される。
次に、 図 1 4は、 本発明を適用した情報再生装置 2 8 1の構成を示すブロック 図である。
情報再生装置 2 8 1は、記録媒体 2 7 3から情報を再生する再生処理部 2 8 5、 チャンネルデコーディング部 2 8 6、 並びに、 図 5および図 6を用いて説明した トランスコーダ 1 2 2， 1 6 1で構成されている。
再生処理部 2 8 5は、 記録媒体 2 7 3に対応する方法で、 記録媒体 2 7 3に記 録されている情報を再生し、 チャンネルデコーディング部 2 8 6に再生された信 号を供給することができるようになされており、 例えば、 記録媒体 2 7 3が光デ イスクである場合は、 光ピックアップを含んで構成され、 記録媒体 2 7 3が磁気 テープである場合は、 磁気再生ヘッドを含んで構成される。
チャンネルデコーディング部 2 8 6は、 再生信号をチャンネルデコードし、 パ リティを用いて誤り訂正処理を行った後、 誤り訂正後の再生情報をトランスコー ダ 1 2 2， 1 6 1に供給する。 トランスコーダ 1 2 2， 1 6 1に供給された情報 は、 上述した場合と同様にして、 トランスコーダ 1 2 2， 1 6 1により処理され て、 出力される。
図 1 5は、 本発明を適用した情報記録装置 2 9 1の構成を示すブロック図であ る。
情報記録装置 2 9 1は、 復号部 6 1または復号部 6 3、 および、 図 1 0を用い て説明した符号化部 2 0 1を備えたトランスコーダ 2 9 2、 チャンネルェンコ一 ディング部 2 7 5、 並びに、 記録媒体 2 7 3に情報を記録する記録部 2 7 6で構 成されている。
外部から入力された情報は、 上述した場合と同様にして、 トランスコーダ 2 9 2により処理されて、 チャンネルエンコーディング部 2 7 5に供給される。 チヤ ンネルエンコーディング部 2 7 5は、 トランスコーダ 2 9 2により出力されるビ ットストリームに、誤り訂正のためのパリティ符号をつけた後、例えば、皿 ZI (Non Return to Zero Inversion)変調方式でチャンネノレエンコーディング処理を行い、 記録部 2 7 6に供給する。 記録部 2 7 6は、 供給された情報を記録媒体 2 7 3に 記録する。
なお、 図 1 5の情報記録装置 2 9 1においては、 符号化パラメータ ί：、 ビデオ データとを、 記録媒体 2 7 3の異なる位置に記録するようにしてもよい。
次に、 図 1 6は、 本発明を適用した情報再生装置 2 9 5の構成を示すプロック 図である。
情報再生装置 2 9 5は、記録媒体 2 7 3から情報を再生する再生処理部 2 8 5、 チャンネルデコーディング部 2 8 6、 並びに、 復号部 6 1または復号部 6 3、 お ょぴ、 図 1 0を用いて説明した符号化部 2 0 1を備えたトランスコーダ 2 9 2で 構成されている。 再生処理部 2 8 5は、 記録媒体 2 7 3に対応する方法で、 記録媒体 2 7 3に記 録されている情報を再生し、 チャンネルデコーディング部 2 8 6に再生された信 号を供給する。 チャンネルデコーディング部 2 8 6は、 再生信号をチャンネルデ コードし、 パリティを用いて誤り訂正処理を行った後、 誤り訂正後の再生情報を トランスコーダ 2 9 2に供給する。 トランスコーダ 2 9 2に供給された情報は、 上述した場合と同様にして、 トランスコーダ 2 9 2により処理されて、 出力され る。
上述した一連の処理は、 ハードウェアにより実行させることもできるが、 ソフ トウエアにより実行させることもできる。 この場合、 例えば、 トランスコーダ 1 2 2や、 トランスコーダ 1 3 1は、 図 1 7に示されるようなパーソナルコンビュ ータ 3 0 1により構成される。
図 1 7において、 C P U (Central Processing Unit) 3 1 1は、 R O M (Read Only Memory) 3 1 2に記憶されているプログラム、 または記憶部 3 1 8から R A M (Random Access Memory) 3 1 3にロードされたプログラムに従って、 各種の 処理を実行する。 R AM 3 1 3にはまた、 C P U 3 1 1が各種の処理を実行する 上において必要なデータなども適宜記憶される。
C P U 3 1 1、 R OM 3 1 2、 および R AM 3 1 3は、 バス 3 1 4を介して相 互に接続されている。 このバス 3 1 4にはまた、 入出力インタフェース 3 1 5も 接続されている。
入出力インタフェース 3 1 5には、 キーボード、 マウスなどよりなる入力部 3 1 6、 ディスプレイやスピーカなどよりなる出力部 3 1 7、 ハードディスクなど より構成される記憶部 3 1 8、 モデム、 ターミナルアダプタなどより構成される 通信部 3 1 9が接続されている。 通信部 3 1 9は、 ィンターネットを含むネット ワークを介しての通信処理を行う。
入出力インタフェース 3 1 5にはまた、 必要に応じてドライブ 3 2 0が接続さ れ、磁気ディスク 3 3 1、光ディスク 3 3 2、光磁気ディスク 3 3 3、 もしくは、 半導体メモリ 3 3 4などが適宜装着され、 それらから読み出されたコンピュータ プログラムが、 必要に応じて記憶部 3 1 8にインストールされる。
一連の処理をソフトウェアにより実行させる場合には、 そのソフトウェアを構 成するプログラムが、 専用のハードウェアに組み込まれているコンピュータ、 ま たは、 各種のプログラムをインス トールすることで、 各種の機能を実行すること が可能な、 例えば汎用のパーソナルコンピュータなどに、 ネットワークや記録媒 体からインス トールされる。
この記録媒体は、 図 1 7に示されるように、 装置本体とは別に、 ユーザにプロ グラムを供給するために配布される、 プログラムが記憶されている磁気ディスク 3 3 1 (フロッピディスクを含む） 、 光ディスク 3 3 2 ( C D -R OM (Compact Disk-Read Only Memory) ， D V D (Digital Versatile Disk) を含む） 、 光磁気 ディスク 3 3 3 (MD (Mini-Disk) (商標） を含む） 、 もしくは半導体メモリ 3 3 4などよりなるパッケージメディアにより構成されるだけでなく、 装置本体に 予め組み込まれた状態でユーザに供給される、 プログラムが記憶されている R O M 3 1 2や、 記憶部 3 1 8に含まれるハードディスクなどで構成される。
なお、 本明細書において、 記録媒体に記憶されるプログラムを記述するステツ プは、 含む順序に沿って時系列的に行われる処理はもちろん、 必ずしも時系列的 に処理されなくとも、並列的もしくは個別に実行される処理をも含むものである。 なお、 本明細書において、 システムとは、 複数の装置により構成される装置全 体を表すものである。 産業上の利用可能性
本発明によれば、 画像データを符号化することができる。 特に、 ス トリームデ ータを MPEG Long G0Pから、 All Intraに変換するような場合、 および、 All Intra から、 Long GOPに変換するような場合の符号化処理において、 所定の条件に合致 した Iピクチャを符号化するときのみ、復号部へ入力されたストリームデータを、 そのまま出力したり、 または、 パラメータ情報を用いて符号化を実行するように したので、 これ以上発生符号量の割当てを増やしても画質を向上することができ ない Iピクチャに対して、 余分な発生符号量を割り当てることを防ぐようにする ことができる。
また、 他の本発明によれば、 画像データを変換することができるほか、 ストリ ームデータを MPEG Long GOP力、ら、 All Intraに変換するような場合、 および、 All Intraから、 Long GOPに変換するような場合の符号化処理において、 所定の 条件に合致した Iピクチャを符号化するときのみ、 復号部へ入力されたストリー ムデータを、 そのまま出力したり、 または、 パラメータ情報を用いて符号化を実 行するようにしたので、 これ以上発生符号量の割当てを增やしても画質を向上す ることができない Iピクチャに対して、 余分な発生符号量を割り当てることを防 ぐようにすることができる。

Claims

請求の範囲
1 . ベースバンドの画像データまたは中途段階まで符号化された画像データを、 中途段階まで、 または、 完全に符号化処理する画像処理装置において、
前記画像データに対して過去に行われた符号化に関する情報を取得する取得手 段と、
ベースバンドの前記画像データまたは中途段階まで符号化された前記画像デー タの、 中途段階まで、 または、 完全な符号化処理を制御する制御手段と
を備 、
前記制御手段は、 符号化のピクチャタイプが所定のピクチヤタイプであった場 合、 前記取得手段により取得された前記符号化に関する情報と前記画像処理装置 が前記画像データに対して実行する前記符号化処理に関する条件とを基に、 前記 符号化処理に、 前記符号化に関する情報を用いるか否かを判断する
ことを特徴とする画像処理装置。
2 . 前記制御手段は、 前記符号化に関する情報に記載された過去の符号化にお けるマクロブロックの位相が、 前記符号化処理のマクロブロックの位相と一致し ているか否かを基に、 前記符号化に関する情報を用いるか否かを判断する
ことを特徴とする請求の範囲第 1項に記載の画像処理装置。
3 . 前記制御手段は、 前記符号化に関する情報に記載された復号時の発生符号 量が所定の値以下であるか否かを基に、 前記符号化に関する情報を用いるか否か を判断する
ことを特徴とする請求の範囲第 1項に記載の画像処理装置。
4 . 前記画像データを復号した他の画像処理装置に供給された第 1の符号化デ ータ、 および、 前記符号化処理により生成された第 2の符号化データの供給を受 け、 前記第 1の符号化データまたは前記第 2の符号化データを出力する出力手段 を更に備え、
前記制御手段は、 前記符号化に関する情報に記載された過去の符号化における マクロプロックの位相が、 前記符号化処理のマクロブロックの位相と一致し、 前 記符号化に関する情報に記載された復号時の発生符号量が所定の値以下であり、 かつ、 前記符号化に関する情報に記載された過去の符号化における画像枠と、 前 記符号化処理の画像枠との位置および大きさが一致している場合、 前記出力手段 を更に制御して、 前記第 1の符号化データを出力させる
ことを特徴とする請求の範囲第 1項に記載の画像処理装置。
5 . ベースパンドの画像データまたは中途段階まで符号化された画像データを、 中途段階まで、 または、 完全に符号化処理する画像処理装置の画像処理方法にお いて、
前記画像データに対して過去に行われた符号化に関する情報を取得し、 符号化のピクチャタイプが所定のピクチャタイプであった場合、 取得された前 記符号化に関する情報と前記画像処理装置が前記画像データに対して実行する前 記符号化処理に関する条件とを基に、 前記符号化処理に、 前記符号化に関する情 報を用いるか否かを判断する
ことを特徴とする画像処理方法。
6 . 画像データに対して過去に行われた符号化に関する情報の供給を受けて、 ベースバンドの画像データまたは中途段階まで符号化された画像データの、 中途 段階まで、 または、 完全な符号化処理をコンピュータに実行させるためのプログ ラムであって、 の判断ステップと、
前記第 1の判断ステツプの処理により、 前記ピクチャタイプが前記所定のピク チヤタイプであると判断された場合、 取得された前記符号化に関する情報と、 前 記符号化処理に関する条件とを比較する比較ステップと、
前記比較ステップの処理による比較結果を基に、 前記符号化処理に、 前記符号 化に関する情報を用いるか否かを判断する第 2の判断ステップと
を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録され ている記録媒体。
7 . 画像データに対して過去に行われた符号化に関する情報の供給を受けて、 ベースバンドの画像データまたは中途段階まで符号化された画像データの、 中途 段階まで、 または、 完全な符号化処理をコンピュータに実行させるためのプログ ラムであって、
符号化のピクチャタイプが所定のピクチャタイプであるか否かを判断する第 1 の判断ステップと、
前記第 1の判断ステップの処理により、 前記ピクチャタイプが前記所定のピク チヤタイプであると判断された場合、 取得された前記符号化に関する情報と、 前 記符号化処理に関する条件とを比較する比較ステップと、
前記比較ステップの処理による比較結果を基に、 前記符号化処理に、 前記符号 化に関する情報を用いるか否かを判断する第 2の判断ステップと
を含むことを特徴とするプログラム。
8 . 画像データを変換する情報処理装置において、
供給された前記画像データを完全に、 または、 不完全に復号する復号手段と、 前記復号手段により完全に復号されたベースバンドの前記画像データ、または、 前記復号手段により不完全に復号されて生成された、 中途段階まで符号化された 前記画像データを、 中途段階まで、 または、 完全に符号化処理する符号化手段と を備え、
前記符号化手段は、
前記画像データに対して過去に行われた符号化に関する情報を取得する取得 手段と、
ベースバンドの前記画像データまたは中途段階まで符号化された前記画像デ ータの前記符号化処理を制御する制御手段と
を備え、
前記制御手段は、 符号化のピクチャタイプが所定のピクチャタイプであった 場合、 前記取得手段により取得された前記符号化に関する情報と前記符号化処理 に関する条件とを基に、 前記符号化処理に、 前記符号化に関する情報を用いるか 否かを判断する
ことを特徴とする情報処理装置。
9 . 画像データを変換する情報処理装置の情報処理方法において、 · 供給された前記画像データを完全に、 または、 不完全に復号する復号ステップ と、
前記復号ステップの処理により完全に復号されたベースバンドの前記画像デー タ、 または、 前記復号ステップの処理により不完全に復号されて生成された、 中 途段階まで符号化された前記画像データを、 中途段階まで、 または、 完全に符号 化処理する符号化ステツプと
を含み、
前記符号化ステップの処理では、 の判断ステップと、
前記第 1の判断ステツプの処理により、 前記ピクチャタイプが前記所定のピク チヤタイプであると判断された場合、 取得された前記符号化に関する情報と、 前 記符号化処理に関する条件とを比較する比較ステップと、
前記比較ステップの処理による比較結果を基に、 前記符号化処理に、 前記符号 化に関する情報を用いるか否かを判断する第 2の判断ステップと
を含むことを特徴とする情報処理方法。
1 0 . 画像データを変換する処理をコンピュータに実行させるためのプログラ ムであって、
供給された前記画像データを完全に、 または、 不完全に復号する復号ステップ と、
前記復号ステップの処理により完全に復号されたベースバンドの前記画像デー タ、 または、 前記復号ステップの処理により不完全に復号されて生成された、 中 途段階まで符号化された前記画像データを、 中途段階まで、 または、 完全に符号 化処理する符号化ステップと を含み、
前記符号化ステップの処理では、 の判断ステップと、
前記第 1の判断ステップの処理により、 前記ピクチャタイプが前記所定のピク チヤタイプであると判断された場合、 取得された前記符号化に関する情報と、 前 記符号化処理に関する条件とを比較する比較ステップと、
前記比較ステップの処理による比較結果を基に、 前記符号化処理に、 前記符号 化に関する情報を用いるか否かを判断する第 2の判断ステップと
を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録され ている記録媒体。
1 1 . 画像データを変換する処理をコンピュータに実行させるためのプロダラ ムであって、
供給された前記画像データを完全に、 または、 不完全に復号する復号ステップ と、
前記復号ステップの処理により完全に復号されたベースバンドの前記画像デー タ、 または、 前記復号ステップの処理により不完全に復号されて生成された、 中 途段階まで符号化された前記画像データを、 中途段階まで、 または、 完全に符号 化処理する符号化ステツプと
を含み、
前記符号化ステップの処理では、
符号化のピクチャタイプが所定のピクチャタイプであるか否かを判断する第 1 の判断ステップと、
前記第 1の判断ステップの処理により、 前記ピクチャタイプが前記所定のピク チヤタイプであると判断された場合、 取得された前記符号化に関する情報と、 前 記符号化処理に関する条件とを比較する比較ステップと、
前記比較ステップの処理による比較結果を基に、 前記符号化処理に、 前記符号 化に関する情報を用いるか否かを判断する第 2の判断ステップと を含むことを特徴とする処理をコンピュータに実行させるためのプログラム。
1 2 . 画像データを記録する情報記録装置において、
供給された前記画像データを完全に、 または、 不完全に復号する復号手段と、 前記復号手段により完全に復号されたベースバンドの前記画像データ、または、 前記復号手段により不完全に復号されて生成された、 中途段階まで符号化された 前記画像データを、中途段階まで、または、完全に符号化処理する符号化手段と、 前記符号化手段により符号化された前記画像データの記録を制御する記録制御 手段と
を備え、
前記符号化手段は、
前記画像データに対して過去に行われた符号化に関する情報を取得する取得 手段と、
ベースバンドの前記画像データまたは中途段階まで符号化された前記画像デ —タの前記符号化処理を制御する制御手段と
を備え、 場合、 前記取得手段により取得された前記符号化に関する情報と前記符号化処理 に関する条件とを基に、 前記符号化処理に、 前記符号化に関する情報を用いるか 否かを判断する
ことを特徴とする情報記録装置。
1 3 . 前記記録制御手段は、 前記符号化手段により符号化された前記画像デー タと、 前記画像データに対して行われた符号化に関する情報との、 異なる位置へ の記録を制御する
ことを特徴とする請求の範囲第 1 2項に記載の情報記録装置。
1 4 . 画像データを記録する情報記録装置の情報記録方法において、
供給された前記画像データを完全に、 または、 不完全に復号する復号ステップ と、
前記復号ステップの処理により完全に復号されたベースバンドの前記画像デー タ、 または、 前記復号ステップの処理により不完全に復号されて生成された、 中 途段階まで符号化された前記画像データを、 中途段階まで、 または、 完全に符号 化処理する符号化ステップと、
前記符号化ステップの処理により符号化された前記画像データの記録を制御す る記録制御ステップと
を含み、
前記符号化ステップの処理では、
符号化のピクチャタイプが所定のピクチャタイプであるか否かを判断する第 1 の判断ステップと、
前記第 1の判断ステツプの処理により、 前記ピクチャタイプが前記所定のピク チヤタイプであると判断された場合、 取得された前記符号化に関する情報と、 前 記符号化処理に関する条件とを比較する比較ステツプと、
前記比較ステップの処理による比較結果を基に、 前記符号化処理に、 前記符号 化に関する情報を用いるか否かを判断する第 2の判断ステップと
を含むことを特徴とする情報記録方法。
1 5 . 画像データを再生する情報再生装置において、
所定の記録媒体に記録された前記画像データを再生する再生手段と、 前記再生手段により再生された前記画像データを完全に、 または、 不完全に復 号する復号手段と、
前記復号手段により完全に復号されたベースバンドの前記画像データ、または、 前記復号手段により不完全に復号されて生成された、 中途段階まで符号化された 前記画像データを、 中途段階まで、 または、 完全に符号化処理する符号化手段と を備え、
前記符号化手段は、
前記画像データに対して過去に行われた符号化に関する情報を取得する取得 手段と、
ベースバンドの前記画像データまたは中途段階まで符号化された前記画像デ ータの前記符号化処理を制御する制御手段と
を備え、 場合、 前記取得手段により取得された前記符号化に関する情報と前記符号化処理 に関する条件とを基に、 前記符号化処理に、 前記符号化に関する情報を用いるか 否かを判断する
ことを特徴とする情報再生装置。
1 6 . 画像データを再生する情報再生装置の情報再生方法において、
所定の記録媒体に記録された前記画像データを再生する再生ステップと、 前記再生ステップの処理により再生された前記画像データを完全に、 または、 不完全に復号する復号ステップと、
前記復号ステップの処理により完全に復号されたベースバンドの前記画像デー タ、 または、 前記復号ステップにより不完全に復号されて生成された、 中途段階 まで符号化された前記画像データを、 中途段階まで、 または、 完全に符号化処理 する符号化ステップと
を含み、
前記符号化ステップの処理では、 の判断ステップと、
前記第 1の判断ステップの処理により、 前記ピクチャタイプが前記所定のピク チヤタイプであると判断された場合、 取得された前記符号化に関する情報と、 前 記符号化処理に関する条件とを比較する比較ステツプと、
前記比較ステップの処理による比較結果を基に、 前記符号化処理に、 前記符号 化に関する情報を用いるか否かを判断する第 2の判断ステップと
を含むことを特徴とする情報再生方法。
PCT/JP2004/008395 2003-06-16 2004-06-09 画像処理装置および画像処理方法、情報処理装置および情報処理方法、情報記録装置および情報記録方法、情報再生装置および情報再生方法、記録媒体、並びに、プログラム WO2004112397A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US10/560,865 US7826669B2 (en) 2003-06-16 2004-06-09 Image processing device, image processing method, information processing device, information processing method, information recording device, information recording method, information reproduction device, information reproduction method, recording medium and program
EP20040745947 EP1638335B1 (en) 2003-06-16 2004-06-09 Image processing device, image processing method, recording medium, and program
US12/912,106 US8155458B2 (en) 2003-06-16 2010-10-26 Image processing apparatus and image processing method, information processing apparatus and information processing method, information recording apparatus and information recording method, information reproducing apparatus and information reproducing method, recording medium and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2003-170724 2003-06-16
JP2003170724A JP4120934B2 (ja) 2003-06-16 2003-06-16 画像処理装置および画像処理方法、記録媒体、並びに、プログラム

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US10/560,865 A-371-Of-International US7826669B2 (en) 2003-06-16 2004-06-09 Image processing device, image processing method, information processing device, information processing method, information recording device, information recording method, information reproduction device, information reproduction method, recording medium and program
US12/912,106 Continuation US8155458B2 (en) 2003-06-16 2010-10-26 Image processing apparatus and image processing method, information processing apparatus and information processing method, information recording apparatus and information recording method, information reproducing apparatus and information reproducing method, recording medium and program

Publications (1)

Publication Number Publication Date
WO2004112397A1 true WO2004112397A1 (ja) 2004-12-23

Family

ID=33549434

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2004/008395 WO2004112397A1 (ja) 2003-06-16 2004-06-09 画像処理装置および画像処理方法、情報処理装置および情報処理方法、情報記録装置および情報記録方法、情報再生装置および情報再生方法、記録媒体、並びに、プログラム

Country Status (6)

Country Link
US (2) US7826669B2 (ja)
EP (1) EP1638335B1 (ja)
JP (1) JP4120934B2 (ja)
KR (1) KR100962761B1 (ja)
CN (1) CN100531377C (ja)
WO (1) WO2004112397A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101710619B1 (ko) * 2009-02-04 2017-02-28 삼성전자주식회사 단계적인 영상 부호화, 복호화 방법 및 장치
US9407924B2 (en) 2009-09-03 2016-08-02 Nec Corporation Video encoding device, video encoding method, and video encoding program
JP2012054818A (ja) * 2010-09-02 2012-03-15 Sony Corp 画像処理装置と画像処理方法
KR101805427B1 (ko) * 2011-04-19 2017-12-08 삼성전자주식회사 예약녹화된 방송을 출력하는 장치 및 그 제어 방법
JP2013121032A (ja) * 2011-12-07 2013-06-17 Sony Corp 画像処理装置および方法
JP5900163B2 (ja) * 2012-05-30 2016-04-06 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
US9667982B2 (en) * 2013-10-02 2017-05-30 Netapp, Inc. Techniques for transform based transcoding
CN104919764B (zh) * 2013-12-24 2019-04-26 华为终端（东莞）有限公司 一种媒体数据传输方法和设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0795090A (ja) * 1993-08-04 1995-04-07 Koninkl Ptt Nederland Nv トランスコーディング装置
JPH07312756A (ja) * 1994-03-25 1995-11-28 Sanyo Electric Co Ltd 圧縮動画像符号信号の情報量変換回路、装置、及び方法
JPH11313331A (ja) * 1998-02-27 1999-11-09 Sony Corp 画像信号処理システム、デコ―ダ、画像信号処理方法及び復号方法
JP2000299857A (ja) * 1999-02-09 2000-10-24 Sony Corp 符号化ストリーム記録装置および方法、符号化ストリーム再生装置および方法、トランスコーディングシステム、変換装置および方法、ビデオ符号化装置および方法、ストリーム処理装置および方法、ストリーム処理システム、ビデオ復号装置および方法、並びに記録媒体
JP2001186517A (ja) * 1999-12-24 2001-07-06 Nec Corp 圧縮動画像再符号化装置および圧縮動画像再符号化方法

Family Cites Families (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04120934A (ja) 1990-09-12 1992-04-21 Nec Corp パケット交換機における回線収容方式
JPH06292019A (ja) * 1993-04-02 1994-10-18 Fujitsu Ltd 画像データ圧縮装置と画像符号圧縮装置
JPH06348504A (ja) 1993-06-04 1994-12-22 Sharp Corp マイクロプロセッサシステム
US5754235A (en) * 1994-03-25 1998-05-19 Sanyo Electric Co., Ltd. Bit-rate conversion circuit for a compressed motion video bitstream
JP3265818B2 (ja) * 1994-04-14 2002-03-18 松下電器産業株式会社 動画符号化方法
JP3893480B2 (ja) * 1994-09-28 2007-03-14 株式会社リコー デジタル電子カメラ
US5623424A (en) * 1995-05-08 1997-04-22 Kabushiki Kaisha Toshiba Rate-controlled digital video editing method and system which controls bit allocation of a video encoder by varying quantization levels
US5774593A (en) * 1995-07-24 1998-06-30 University Of Washington Automatic scene decomposition and optimization of MPEG compressed video
JPH0974566A (ja) * 1995-09-04 1997-03-18 Sony Corp 圧縮符号化装置及び圧縮符号化データの記録装置
US5633678A (en) * 1995-12-20 1997-05-27 Eastman Kodak Company Electronic still camera for capturing and categorizing images
JPH09297827A (ja) 1996-04-30 1997-11-18 Matsushita Electric Ind Co Ltd デジタルカメラ
US6856650B1 (en) * 1996-07-16 2005-02-15 Kokusai Denshin Denwa Co., Ltd. Method and apparatus for second or later generation coding of video signal
US5819108A (en) * 1996-10-17 1998-10-06 Acer Peripherals, Inc. Programming of software into programmable memory within a peripheral device
WO1999036912A1 (fr) * 1998-01-19 1999-07-22 Sony Corporation Systeme d'edition, dispositif de commande d'edition et procede de commande d'edition
US6574274B2 (en) * 1998-02-27 2003-06-03 Sony Corporation Picture signal processing system, decoder, picture signal processing method, and decoding method
CA2265089C (en) * 1998-03-10 2007-07-10 Sony Corporation Transcoding system using encoding history information
JPH11306116A (ja) 1998-04-20 1999-11-05 Nippon Telegr & Teleph Corp <Ntt> １サイト複数表示システム
JP2000013237A (ja) 1998-06-23 2000-01-14 Victor Co Of Japan Ltd 携帯型データ再生装置及び半導体メモリ
US6208770B1 (en) 1998-09-18 2001-03-27 Eastman Kodak Company Digital colored corrected prints produced from colored film
US6445828B1 (en) * 1998-09-28 2002-09-03 Thomson Licensing S.A. Transform domain resizing of an image compressed with field encoded blocks
ES2569491T3 (es) 1999-02-09 2016-05-11 Sony Corporation Sistema de codificación y método asociado
JP2000305761A (ja) 1999-02-17 2000-11-02 Sony Corp 情報処理装置および方法、並びにプログラム格納媒体
JP4402203B2 (ja) 1999-06-30 2010-01-20 キヤノン株式会社 データ処理装置
US6704824B1 (en) * 1999-07-27 2004-03-09 Inline Connection Corporation Universal serial bus adapter with automatic installation
JP2001045178A (ja) 1999-08-03 2001-02-16 Fuji Photo Film Co Ltd 画像送信方法、画像送信システム、並びに電子カメラ及び画像送信装置
JP2001117783A (ja) 1999-08-10 2001-04-27 Seiko Epson Corp プログラム起動システム及びプログラム起動制御方法
US7003038B2 (en) * 1999-09-27 2006-02-21 Mitsubishi Electric Research Labs., Inc. Activity descriptor for video sequences
JP3694888B2 (ja) * 1999-12-03 2005-09-14 ソニー株式会社 復号装置および方法、符号化装置および方法、情報処理装置および方法、並びに記録媒体
JP2001166927A (ja) 1999-12-10 2001-06-22 Hitachi Ltd 情報処理装置
AU2001236622A1 (en) * 2000-02-04 2001-08-14 Ideo Product Development Inc. System and method for synchronization of image data between a handheld device and a computer
JP4380032B2 (ja) * 2000-07-19 2009-12-09 ソニー株式会社 情報処理システム及び情報処理方法、並びに記憶媒体
US6831754B1 (en) 2000-08-25 2004-12-14 Hewlett-Packard Development Company, L.P System for sending and printing images
US20020091659A1 (en) * 2000-09-12 2002-07-11 Beaulieu Christopher F. Portable viewing of medical images using handheld computers
JP2002091767A (ja) 2000-09-13 2002-03-29 Toshiba Corp コンテンツ蓄積装置および携帯型電子機器
GB2372657B (en) 2001-02-21 2005-09-21 Sony Uk Ltd Signal processing
US6944700B2 (en) * 2001-06-15 2005-09-13 Logitech Europe S.A. Method and system for transferring data between a digital camera and a host
JP2003008695A (ja) 2001-06-25 2003-01-10 Pioneer Electronic Corp 携帯情報端末機
US7068308B2 (en) * 2001-07-13 2006-06-27 Logitech Europe, S.A. Removable media host executables
JP2003125324A (ja) 2001-10-12 2003-04-25 Fuji Photo Film Co Ltd 画像蓄積装置
US20030076365A1 (en) * 2001-10-18 2003-04-24 Robert Sesek Preview and postview thumbnails
US7299304B2 (en) * 2001-11-20 2007-11-20 Intel Corporation Method and architecture to support interaction between a host computer and remote devices
US7535492B2 (en) * 2002-07-02 2009-05-19 Lightsurf Technologies, Inc. Imaging system providing automated fulfillment of image photofinishing based on location
EP1625526B1 (en) * 2003-04-03 2012-10-03 Commvault Systems, Inc. System and method for dynamically performing storage operations in a computer network
US20050015540A1 (en) * 2003-07-18 2005-01-20 Hung-Chou Tsai Auto-executable portable data storage device and the method of auto-execution thereof

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0795090A (ja) * 1993-08-04 1995-04-07 Koninkl Ptt Nederland Nv トランスコーディング装置
JPH07312756A (ja) * 1994-03-25 1995-11-28 Sanyo Electric Co Ltd 圧縮動画像符号信号の情報量変換回路、装置、及び方法
JPH11313331A (ja) * 1998-02-27 1999-11-09 Sony Corp 画像信号処理システム、デコ―ダ、画像信号処理方法及び復号方法
JP2000299857A (ja) * 1999-02-09 2000-10-24 Sony Corp 符号化ストリーム記録装置および方法、符号化ストリーム再生装置および方法、トランスコーディングシステム、変換装置および方法、ビデオ符号化装置および方法、ストリーム処理装置および方法、ストリーム処理システム、ビデオ復号装置および方法、並びに記録媒体
JP2001186517A (ja) * 1999-12-24 2001-07-06 Nec Corp 圧縮動画像再符号化装置および圧縮動画像再符号化方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
J WILKINSON: "Understanding MPEG concatenation and transcoding, ABU technical review", ASIAN BROADCASTING UNION, KUALA LUMPUR, 1998
OLIVER MORGAN: "Proposed SMPTE Standard for tleelvisoin-MPEG-2 Video elementary stream editing information", SMPTE
See also references of EP1638335A4 *

Also Published As

Publication number Publication date
US20060133674A1 (en) 2006-06-22
JP4120934B2 (ja) 2008-07-16
EP1638335A4 (en) 2009-06-24
JP2005012249A (ja) 2005-01-13
CN100531377C (zh) 2009-08-19
EP1638335A1 (en) 2006-03-22
KR100962761B1 (ko) 2010-06-09
CN1810032A (zh) 2006-07-26
KR20060015758A (ko) 2006-02-20
US8155458B2 (en) 2012-04-10
US20110058751A1 (en) 2011-03-10
EP1638335B1 (en) 2011-08-03
US7826669B2 (en) 2010-11-02

Similar Documents

Publication Publication Date Title
US7859956B2 (en) Image processing device and image processing method, information processing device and information processing method, information recording device and information recording method, information reproducing device and information reproducing method, storage medium, and program
JP4045553B2 (ja) 編集装置、編集方法、再符号化装置、再符号化方法、スプライシング装置及びスプライシング方法
KR20060045719A (ko) 고충실도 트랜스코딩
US8155458B2 (en) Image processing apparatus and image processing method, information processing apparatus and information processing method, information recording apparatus and information recording method, information reproducing apparatus and information reproducing method, recording medium and program
WO1998026602A1 (en) Equipment and method for compressing picture data
KR101194967B1 (ko) 정보 처리 장치 및 정보 처리 방법, 및 기록 매체
JP4224778B2 (ja) ストリーム変換装置および方法、符号化装置および方法、記録媒体、並びに、プログラム
JP4826533B2 (ja) 画像処理装置および画像処理方法、プログラム、並びに、記録媒体
JP2000312362A (ja) 画像符号化方式変換装置、画像符号化方式変換方法および記録媒体
JPH08251582A (ja) 符号化データ編集装置
JP3889552B2 (ja) 符号量割り当て装置および方法
JP4539028B2 (ja) 画像処理装置および画像処理方法、記録媒体、並びに、プログラム
JP2002218470A (ja) 画像符号化データのレート変換方法、及び画像符号化レート変換装置

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): BW GH GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LU MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2004745947

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2006133674

Country of ref document: US

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 10560865

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 1020057024094

Country of ref document: KR

WWE Wipo information: entry into national phase

Ref document number: 20048170030

Country of ref document: CN

WWP Wipo information: published in national office

Ref document number: 1020057024094

Country of ref document: KR

WWP Wipo information: published in national office

Ref document number: 2004745947

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 10560865

Country of ref document: US