WO1999023834A1 - Method for converting digital signal and apparatus for converting digital signal - Google Patents

Method for converting digital signal and apparatus for converting digital signal Download PDF

Info

Publication number
WO1999023834A1
WO1999023834A1 PCT/JP1998/004986 JP9804986W WO9923834A1 WO 1999023834 A1 WO1999023834 A1 WO 1999023834A1 JP 9804986 W JP9804986 W JP 9804986W WO 9923834 A1 WO9923834 A1 WO 9923834A1
Authority
WO
WIPO (PCT)
Prior art keywords
signal
digital signal
format
conversion
signal conversion
Prior art date
Application number
PCT/JP1998/004986
Other languages
English (en)
French (fr)
Inventor
Naofumi Yanagihara
Nobuaki Izumi
Original Assignee
Sony Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corporation filed Critical Sony Corporation
Priority to EP98951700A priority Critical patent/EP0951184A4/en
Priority to JP52594399A priority patent/JP4092734B2/ja
Priority to AU97618/98A priority patent/AU766680B2/en
Priority to US09/341,401 priority patent/US6963606B1/en
Priority to CNB988016842A priority patent/CN1251518C/zh
Priority to KR1019997006052A priority patent/KR100563756B1/ko
Publication of WO1999023834A1 publication Critical patent/WO1999023834A1/ja
Priority to US11/081,946 priority patent/US7221709B2/en
Priority to US11/081,208 priority patent/US7227898B2/en
Priority to US11/082,022 priority patent/US7593464B2/en
Priority to US11/818,036 priority patent/US7526030B2/en

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N11/00—Colour television systems
    • H04N11/04—Colour television systems using pulse code modulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H04N19/197—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters including determination of the initial value of an encoding parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/48—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/547—Motion estimation performed in a transform domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/57—Motion estimation characterised by a search window with variable size or shape
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Definitions

  • the present invention uses an orthogonal transform such as a discrete cosine transform (DCT)
  • DCT discrete cosine transform
  • the present invention relates to a digital signal conversion method and a digital signal conversion apparatus for converting resolution between compressed video signals different from each other.
  • Discrete Cosine Transform (DCT)
  • DCT Discrete Cosine Transform
  • the so-called MPEG1 format When converting into a second orthogonally transformed digitized signal having a resolution of 360 ⁇ 240 pixels, inverse orthogonal transform is performed on the first signal to obtain a spatial domain signal. After restoration, the necessary conversion processing such as interpolation and thinning Then, the orthogonal transform is again performed to convert the signal into the second signal. In this way, the orthogonally transformed digital signal is often inversely transformed and returned to the original signal, then subjected to a required transformation operation, and then orthogonally transformed again.
  • FIG. 28 shows a configuration example of a conventional digital signal processing apparatus for performing the above-described resolution conversion on a digital signal subjected to DCT conversion.
  • a video signal of a so-called “DV format” (hereinafter, referred to as a DV video signal), which is one of the formats of a home digital video signal, is a first format.
  • a video signal (hereinafter referred to as an MPEG video signal) which is input as a digital signal of a video signal and conforms to a so-called MPEG (Moving Picture Experts Group) format is used as a second format.
  • MPEG Motion Picture Experts Group
  • the deframing section 51 is for deframing a DV video signal.
  • the DV video signal framed according to the so-called DV format is returned to a variable length code.
  • variable length decoding (VLD) section 52 performs variable length decoding on the video signal returned to the variable length code by the deframming section 51.
  • the compressed data in the DV format is compressed at a fixed rate so that the amount of data becomes about 1/5 of the original signal, and is variable length to improve the data compression efficiency. Is encoded.
  • the variable length decoding unit 52 performs decoding according to the variable length coding.
  • the inverse quantization (IQ) unit 53 outputs the video decoded by the variable-length decoding unit 52. Dequantizes the signal.
  • the inverse weighting (IW) unit 54 performs inverse weighting, which is an inverse operation of the weighting applied to the video signal inversely quantized by the inverse quantization unit 53.
  • weighting means that the higher the frequency component of a video signal, the smaller the value of the DCT coefficient, using the property that human visual characteristics are not so sensitive to high-frequency distortion.
  • the number of high-frequency coefficients having a value of 0 increases, and the efficiency of variable-length coding can be improved.
  • the amount of computation for DCT conversion may be reduced in some cases.
  • the inverse discrete cosine transform (IDCT) unit 55 performs inverse DCT (inverse discrete cosine transform) on the video signal inversely weighted by the inverse weighting unit 54 to convert the DCT coefficients into spatial domain data, that is, pixel data. Return in the evening.
  • inverse DCT inverse discrete cosine transform
  • the resolution converter 56 performs a required resolution conversion on the video signal returned to the pixel data by the inverse discrete cosine converter 55.
  • a discrete cosine transform (DCT) unit 57 performs a discrete cosine transform (DCT) on the video signal whose resolution has been converted by the resolution converter 56, and converts the video signal again into an orthogonal transform coefficient (DCT coefficient).
  • the weighting (W) section 58 weights the video signal after the resolution conversion converted into the DCT coefficient. This weighting is as described above.
  • the quantization (Q) unit 59 quantizes the video signal weighted by the weighting unit 58.
  • the video signal quantized by the quantization unit 59 is variable-length coded by a variable-length coding (VLC) unit 60 to generate an MPEG video signal. Output.
  • VLC variable-length coding
  • MPEG is based on ISO / IECJTC 1 / SC 29 (International Organization ior Standardization / International Electrotechnical Commission, Joint Technical Co. It is an abbreviation of the Moving Picture Image Coding Experts Group, a joint technical committee 1 / technical subcommittee 29), which includes IS011172 as the MPEG1 standard and IS013818 as the MPEG2 standard.
  • IS011172-1 and IS013818-1 for multimedia multiplexing IS011172-2 and IS013818-2 for video
  • IS011172-3 and IS013818-3 for audio, respectively Standardized.
  • IS011172-2 or IS0113818-2 as image compression coding standards, image signals are compressed and encoded in units of pictures (frames or fields) using the correlation of the image in the time and space directions.
  • the use of spatial correlation is realized by using DCT coding.
  • the orthogonal transform such as DCT is widely used for various other types of image information compression coding such as JPEG (Joint Photographic Coding Experts group).
  • orthogonal transform enables compression coding with high compression efficiency and excellent reproducibility by transforming an original signal in a time domain or a space domain into an orthogonally transformed domain such as a frequency domain.
  • the “DV format” described above compresses the amount of digital video signal to about 1/5 and compresses it into a component on magnetic tape. It is used for recording and is used in some home and commercial digital video equipment. this
  • the DV format achieves efficient compression of video signals by combining Discrete Cosine Transform (DCT) and Variable Length Coding (VLC).
  • DCT Discrete Cosine Transform
  • VLC Variable Length Coding
  • the present invention has been made in order to solve such a problem, and has been made to reduce the amount of calculation processing of the data amount of a signal that has been subjected to processing such as resolution conversion in order to convert to a different format. It is an object of the present invention to provide a digital signal conversion method and a digital signal conversion device that can perform conversion processing such as resolution conversion efficiently by reducing the amount, and that cause less signal deterioration.
  • DCT discrete cosine transform
  • a digitized signal conversion method includes: a first format of a digitized signal having a predetermined unit of orthogonal transform coefficient blocks; A data extracting step of extracting a part to form a partial block; an inverse orthogonal transforming step of performing an inverse orthogonal transform on the orthogonal transform coefficient forming each partial block in units of the partial block; Each converted A partial block connecting step of connecting the partial blocks to form a new block of the predetermined unit; and orthogonally transforming the new block in units of the block and performing a new orthogonal transformation of the predetermined unit. And a quadrature transforming step of converting the digital signal into a second format consisting of blocks.
  • an inverse orthogonal transforming step of performing an inverse orthogonal transform on a digital signal of a first format composed of a predetermined unit of orthogonal transform coefficient block in units of the block is provided.
  • a block dividing step of dividing each block of the inverse orthogonal transformed digital signal of the first format, and an orthogonal transform coefficient forming each of the divided blocks An orthogonal transformation step of performing orthogonal transformation in units of units, and interpolating a predetermined value of orthogonal transformation coefficient in each of the orthogonally transformed blocks to form the predetermined unit to form a second format digit signal.
  • an enlarging step is provided.
  • a digital signal conversion device comprises: a decoding means for decoding a first format digital signal comprising orthogonal transform coefficients of a predetermined unit; An inverse quantization means for inversely quantizing the decoded digital signal; and a part of orthogonal transform coefficients from each adjacent block of the predetermined unit of orthogonal coefficient blocks of the inversely quantized digital signal.
  • Resolution converting means for extracting a resolution and converting the resolution by forming a partial block; quantizing means for quantizing the resolution-converted digit signal; and encoding the quantized digit signal.
  • Encoding means for converting the digital signal into a digital signal of a second format.
  • a decoding means for decoding a first format digital signal compressed and coded by using orthogonal transform, and the decoded digital signal An inverse quantization means for inversely quantizing the evening signal; interpolating a predetermined value of the orthogonal transformation coefficient into each of the predetermined blocks of the inversely quantized digitized signal to convert each of the blocks into the predetermined unit.
  • a digital signal of a first format comprising a predetermined unit of orthogonal transform coefficient blocks is converted from a new orthogonal transform coefficient block of another predetermined unit.
  • the data amount information included in the first format digit signal is used. It is characterized by controlling the amount of digital signal of the second format.
  • a digital signal of a first format comprising a predetermined unit of orthogonal transform coefficient is converted to a new orthogonal transform coefficient of another predetermined unit.
  • a digitizing signal conversion device for converting a digital signal of the first format into a digital signal of a second format comprising a block; decoding means for decoding the digitizing signal of the first format; Inverse quantization means for inversely quantizing the signal, signal conversion means for performing signal processing involving format conversion of the dequantized digitized signal, and signal processing described above.
  • Quantization means for quantizing the digitized signal; data amount control means for controlling the amount of data in the quantization means; and data amount control by the data amount control means for quantization.
  • an encoding means for encoding the digitized signal thus converted into a digitized signal of the second format.
  • a digital signal for converting a digital signal of a first format into a digital signal of a second format is provided.
  • a decoding step of decoding the digital signal of the first format, and converting the decoded digital signal of the first format into a digital signal of the second format is provided.
  • the present invention provides a digital signal conversion device for converting a digital signal of a first format into a digital signal of a second format.
  • Decoding means for decoding the digitized signal of the first format; and signal conversion for converting the decoded digitized signal of the first format into the digitized signal of the second format.
  • a weighting means for collectively performing the following.
  • an input information signal that has been compression-encoded with motion detection is decoded with motion compensation, and the decoded signal is subjected to signal conversion processing. Then, a compression encoding process is performed on the converted signal together with motion detection based on the motion vector information of the input information signal.
  • the present invention proposes a method of partially decoding an input information signal that has been subjected to compression coding including predictive coding with motion detection and orthogonal transform coding. Processing to obtain a decoded signal in the orthogonal transform area, perform signal conversion processing on the decoded signal in the orthogonal transform area, and use motion detection based on the motion vector information of the input information signal as the converted signal.
  • a compression coding including predictive coding and orthogonal transform coding with motion discovery is The input information signal that has been processed is partially decoded to obtain a signal in the orthogonal transform domain, the signal is subjected to signal conversion processing, and the conversion signal is subjected to the motion vector of the input information signal. Movement converted based on information Adding click Bok Le information subjected to compression encoding process.
  • the intra-frame coded signal subjected to intra-frame coding and the forward and bidirectional inter-frame predictive coding with motion detection are performed.
  • the first format digital signal consisting of the encoded forward prediction coded signal and the bidirectional prediction coded signal performs an inverse orthogonal transform on the intra-frame coded signal and the forward coded signal.
  • a motion compensation output for adding to the partially decoded forward prediction coded signal and bidirectional prediction coded signal is generated, and the motion compensation output is orthogonally transformed.
  • FIG. 1 is a block diagram showing a configuration example of a digital signal conversion device according to a first embodiment of the present invention.
  • FIG. 2 is a diagram for explaining the principle of resolution conversion in the orthogonal transform domain.
  • FIG. 3 is a diagram for explaining the principle of resolution conversion in the orthogonal transform domain.
  • FIG. 4A to FIG. 4C are diagrams schematically showing a state in which a DV video signal is converted to an MPEG video signal by the digital signal conversion according to the first embodiment of the present invention.
  • FIG. 5 is a diagram for explaining the relationship between the DV format and the MPEG format.
  • FIG. 6 is a diagram for explaining a basic calculation procedure for the resolution conversion process.
  • FIGS. 7A and 7B are diagrams for explaining the “still mode” and the “motion mode” of the DV format.
  • FIG. 8 is a diagram for explaining the procedure of the conversion process in the “stationary mode”.
  • FIGS. 9A to 9C are block diagrams illustrating a configuration example of a digital signal conversion device according to the second embodiment of the present invention.
  • FIG. 10 is a diagram for explaining a procedure of a conversion process when an image is enlarged.
  • FIG. 11 is a block diagram illustrating a configuration example of a digital signal conversion device according to a third embodiment of the present invention.
  • FIG. 12 is a block diagram showing a configuration example of the digital signal conversion device according to the fourth embodiment of the present invention.
  • FIG. 13 is a block diagram showing a configuration example of a digital signal conversion device according to a fifth embodiment of the present invention.
  • FIG. 14 is a block diagram illustrating a configuration example of a digital signal conversion device according to a sixth embodiment of the present invention.
  • FIG. 15 is a block diagram illustrating a configuration example of a digital signal conversion device according to a seventh embodiment of the present invention.
  • FIG. 16 shows a basic configuration in which a quantization scale is set for each macro block (MB) of each frame when a DV video signal is converted to an MPEG video signal in the seventh embodiment of the present invention.
  • 6 is a flowchart showing a typical procedure.
  • FIG. 17 is a flowchart showing a basic procedure for applying feedback to the next frame using the set quantization scale in the seventh embodiment of the present invention.
  • FIG. 18 is a block diagram showing a configuration example of a conventional digital signal conversion device that converts an MPEG video signal into a DV video signal.
  • FIG. 19 is a block diagram illustrating a configuration example of a digital signal conversion device according to an eighth embodiment of the present invention.
  • FIG. 20 is a block diagram showing a configuration example of the digital signal conversion device according to the ninth embodiment of the present invention.
  • FIG. 21 is a block diagram showing a configuration example of the digital signal conversion device according to the tenth embodiment of the present invention.
  • FIG. 22 is a block diagram illustrating a configuration example of the digital signal conversion device according to the first embodiment of the present invention.
  • FIG. 23 is a block diagram showing a configuration example of the digital signal conversion device according to the 12th embodiment of the present invention.
  • FIG. 24 is a diagram for explaining motion compensation and motion estimation processing in the orthogonal transform domain in the 12th embodiment of the present invention. Diagram showing how to straddle the macro block It is.
  • FIG. 25 is a diagram for explaining motion compensation and motion estimation processing in the orthogonal transform domain in the first and second embodiments of the present invention, and is a diagram showing conversion processing of a reference macroblock. is there.
  • FIG. 26 is a diagram for explaining motion compensation and motion estimation processing in the orthogonal transform domain in the 12th embodiment of the present invention, and is a diagram showing a conversion procedure of a reference macroblock. is there.
  • FIG. 27 is a block diagram showing a configuration example of the digital signal conversion device according to the thirteenth embodiment of the present invention.
  • FIG. 28 is a block diagram showing a configuration example of a conventional digital signal conversion device. BEST MODE FOR CARRYING OUT THE INVENTION
  • BEST MODE FOR CARRYING OUT THE INVENTION BEST MODE FOR CARRYING OUT THE INVENTION
  • FIG. 1 shows an example of a configuration of a main part of a digital signal conversion device according to a first embodiment of the present invention.
  • the signal conversion is exemplified by resolution conversion, but is not limited thereto.
  • the present invention can be applied to various signal conversions such as format conversion and fill processing.
  • a video signal of the so-called “DV format” (hereinafter referred to as a DV signal) is used as a first signal.
  • a video signal (hereinafter referred to as an MPEG video signal) which is input as a video signal and conforms to the format of MPEG (Moving Picture Experts Group) is output as a second digital signal.
  • the deframing section 11 is for deframing a DV video signal.
  • a DV video signal framed according to a predetermined format (so-called DV format) is returned to a variable length code.
  • variable length decoding (VLD) unit 12 performs variable length decoding on the video signal returned to the variable length code by the deframming unit 11.
  • the inverse quantization (IQ) unit 13 inversely quantizes the video signal that has been variable-length decoded by the variable-length decoding unit 12.
  • the inverse weighting (IW) unit 14 performs inverse: weighting, which is the inverse operation of the weighting applied to the video signal inversely quantized by the inverse quantization unit 14.
  • weighting is the inverse operation of the weighting applied to the video signal inversely quantized by the inverse quantization unit 14.
  • the resolution conversion unit 16 applies the required resolution conversion in the orthogonal transform domain (frequency domain) to the video signal de-weighted by the de-weighting unit 14. Is applied.
  • the weighting (W) section 18 weights the video signal after the resolution conversion.
  • the quantization (Q) unit 19 quantizes the video signal weighted by the weighting unit 18.
  • variable length coding (VLC) unit 20 performs variable length coding on the video signal quantized by the quantization unit 19 and outputs it as an MPEG video signal.
  • the digital signal conversion device according to the present invention illustrated in FIG. The configuration of each part of the device can be the same as that of the conventional digital signal conversion device illustrated in FIG.
  • the digital signal converter according to the present invention is different from the conventional digital signal converter in that an inverse cosine conversion (IDCT) section and a cosine conversion (DCT) section are not provided before and after the resolution conversion section 16. It is different from the conversion device.
  • IDCT inverse cosine conversion
  • DCT cosine conversion
  • the conventional digital signal converter performs an inverse orthogonal transform on the orthogonal transform coefficients of the input first format digital signal and returns the data to the spatial domain (on the frequency axis), and then performs the required conversion. Since the operation was performed, the operation of performing orthogonal transformation again to return to the orthogonal transformation coefficient was performed.
  • the digital signal conversion device performs a required conversion operation on the orthogonal transform coefficient of the input first format digital signal in the orthogonal transform coefficient domain (frequency domain). It is characterized in that there is no inverse orthogonal transformation means and orthogonal transformation means before and after means for performing conversion processing such as resolution conversion.
  • an input orthogonal transformation matrix generation unit 1 generates an inverse matrix T s ( k) 1 of an orthogonal transformation matrix T s ( k ) representing an orthogonal transformation performed in advance on the input digital signal 5, and performs conversion. It is sent to the matrix generator 3.
  • the output orthogonal transformation matrix generation unit 2 generates an orthogonal transformation matrix T d (u corresponding to the inverse orthogonal transformation T d (i ⁇ 1 ) indicating the inverse orthogonal transformation to be performed on the output digital signal. It is sent to the transformation matrix generation unit 3.
  • the transformation matrix generation unit 3 generates a transformation matrix D for performing conversion processing such as resolution conversion in the frequency domain. And sends it to the signal converter 4.
  • the signal conversion unit 4 converts the input digital signal 5, which has been converted into the frequency domain by the orthogonal transform, for example, in an orthogonally converted area such as the frequency domain, and outputs the output digital signal. 6.
  • the original signal in the time domain (or the spatial domain) (original signal A) is transformed into, for example, the frequency domain by the orthogonal transform matrix Ts ( k ), and the frequency signal B 1 (
  • the above-mentioned input digital signal 5) is converted to, for example, N / L (or expanded) by the signal conversion unit 4 to obtain a frequency signal B 2 (corresponding to the above-mentioned output digital signal 6).
  • the frequency signal B 2 is inversely orthogonally transformed by the inverse transformation matrix Tdu ′ to obtain a time-domain signal C.
  • the one-dimensional original signal A is orthogonally transformed for each transform block of length k, and m blocks adjacent to the obtained transform block in the frequency domain, that is, the length L
  • N the length of a (2 k x m) continuous frequency signal
  • the orthogonal transform basis base-vector of length n ⁇ Dan ,, 2, ..., ⁇ > were arranged in each row matrix (orthogonal transform matrix) and T (eta), T the inverse transformation matrix ( ⁇ ) — Write as 1 .
  • both matrices are ⁇ -order square matrices.
  • the inverse orthogonal transformation matrix Ts ( k ) 1 generated by the input orthogonal transformation matrix generation unit 1 corresponds to an orthogonal transformation process (an inverse process of) when the input digit signal 5 is generated.
  • the orthogonal transformation matrix Td generated by the output orthogonal transformation matrix generation unit 2 (or, when decoding the output digital signal converted by the signal conversion unit 14, It is assumed that both orthogonal transformation matrix generators 1 and 2 can generate a base vector of any length, corresponding to (reverse processing of) the intersection transformation processing.
  • these orthogonal transformation matrix generators 1 and 2 may be the same orthogonal transformation matrix generator, in which case the orthogonal transformation matrices Ts ( k) and Td) differ only in the length of the base. It becomes the same kind of orthogonal transformation matrix.
  • the orthogonal transformation matrix generator exists for each different orthogonal transformation scheme.
  • the transformation matrix generation unit 3 the inverse orthogonal transformation matrix Ts (k) 1 generated by the input orthogonal transformation matrix generation unit 1 is expressed on the diagonal by m as shown in the following equation (2). And create an L-order square matrix A.
  • the above orthogonal transformation matrix Td N low-frequency base vectors are taken out
  • a matrix B composed of N rows and L columns is created.
  • This matrix D is a conversion matrix for converting the resolution into the above-mentioned reduction ratio (or enlargement ratio) N / L.
  • ⁇ is a scalar value or a vector value and is a coefficient for level correction etc.
  • 4A to 4C schematically show processing when a DV video signal is converted to an MPEG video signal by digital signal conversion according to the embodiment of the present invention. This processing is mainly performed by the resolution conversion section 16 in the digital signal processing device according to the embodiment of the present invention shown in FIG.
  • each of the digital signal of the first format is composed of blocks (i) and blocks (i + 1) adjacent to each other, each of which is composed of eight DCT coefficients. Extract four low-frequency DCT coefficients. That is, of the eight DCT coefficients a0, al, a2, a3,..., A7 of the block (i), four DCT coefficients a0, a1, a2, a Take out only 3 and D CT Create a partial block with the number of coefficients reduced to 1/2.
  • the extraction of the DCT coefficient on the low frequency side is based on the property that when the frequency of a video signal is converted, energy is concentrated on the low frequency of DC and AC.
  • a 4-point inverse discrete cosine transform (4-point IDCT) is performed on each of the partial blocks, each of which includes four DCT coefficients, to obtain a reduced pixel data.
  • 4-point IDCT 4-point inverse discrete cosine transform
  • the partial blocks composed of the reduced pixel data subjected to the inverse discrete cosine transform are combined with each other to generate a block having the same size as the original block. That is, the pixel data ⁇ , pi, 2, ⁇ 3 and the pixel data ⁇ 4, ⁇ 5, ⁇ 6, ⁇ 7 are combined to generate a new block including eight pixel data.
  • a new block consisting of the above eight pixel data is subjected to an 8-point discrete cosine transform (8-point DCT), and as shown in FIG. 4C, the eight DCT coefficients c 0 , c 1, c 2, c 3,..., c 7 are generated as one block (j).
  • 8-point DCT 8-point discrete cosine transform
  • the number of orthogonal transform coefficients (DCT coefficients) per predetermined block unit can be halved and converted to a video signal of a format having a different resolution. For example, if you want to reduce the number of DCT coefficients to 1/4, repeat the above process twice. It can be realized by doing.
  • the above-described resolution conversion processing can be applied, for example, when converting from the DV format to the MPEG1 format.
  • the DV format has a resolution of 720 ⁇ 480 pixels, a sampling frequency of the luminance signal and a sampling of the two color difference signals.
  • the MPEG1 format has a resolution of 360 pixels x 240 pixels, a sampling frequency of the luminance signal and sampling of two color difference signals. This is a compressed video signal with a frequency ratio of 4: 2: 0.
  • the number of DCT coefficients in the horizontal and vertical directions of the luminance (Y) signal is reduced to 1/2 and the number of DCT coefficients in the vertical direction of the color difference (C) signal is reduced by the resolution conversion processing according to the present invention described above.
  • the number of DCT coefficients may be reduced to 1/4 each.
  • 4: 2: 0 represents one of the values because the odd line and the even line alternately become 4: 2: 0 and 4: 0: 2.
  • the DV format has a resolution of 720 pixels x 5776 pixels, and the ratio of the sampling frequency of the luminance signal to the sampling frequency of the two color difference signals is 4: 4. It is a 2: 0 compressed video signal.
  • the MPEG1 format has a resolution of 360 pixels x 288 pixels, and the ratio of the sampling frequency of the luminance signal to the sampling frequency of the two chrominance signals is 4: 4. 2: 0 compressed video signal It is. Therefore, in this case, the number of DCT coefficients in the horizontal and vertical directions of the Y signal is reduced to 1/2, and the number of DCT coefficients in the horizontal and vertical directions of the C signal is reduced by the above-described resolution conversion processing according to the present invention. Should be reduced to 1/2 each.
  • the above-described resolution conversion processing can be similarly applied to, for example, conversion from a DV format to an MPEG2 format.
  • the MPEG2 format has a resolution of 720 pixels x 480 pixels, and the ratio of the sampling frequency of the luminance signal to the sampling frequency of the two color difference signals. It is a 4: 2: 0 compressed video signal. Therefore, in this case, the conversion processing is not performed on the Y signal, and the number of DCT coefficients in the vertical direction of the C signal is reduced by half and the number of DCT coefficients in the horizontal direction of the C signal is doubled. or c Note be, it will be described later how this expansion.
  • the MPEG2 format When the video signal is in the PAL format, the MPEG2 format has a resolution of 720 pixels x 5776 pixels, the sampling frequency of the luminance signal and the sampling frequency of the two color difference signals. It is a compressed video signal with a ratio of 4: 2: 0. Therefore, in this case, there is no need to perform conversion processing on either the Y signal or the C signal.
  • FIG. 6 shows a basic calculation procedure for the resolution conversion process described above.
  • the matrix is multiplied by an (8x8) matrix that contains two inverse discrete cosine transform matrices (IDCT4), each given as a (4x4) matrix, with the other components being zero.
  • IDCT4 inverse discrete cosine transform matrices
  • DCT 8 discrete cosine transform matrix
  • the inverse DCT and DCT before and after the DCT domain are not required.
  • the product of the above (8 x 8) matrix containing the two (4 x 4) inverse discrete cosine transform matrices (DCT 4) on the diagonal and the above (8 x 8) discrete cosine transform matrix is By obtaining the transformation matrix D in advance, the amount of computation can be effectively reduced.
  • the above-mentioned DV format includes a “still mode” and a “motion mode” that are switched according to the result of motion detection of an image. These modes are determined by motion detection, for example, before the DCT of each (8x8) matrix in the video segment, and the DCT is performed in one of the modes depending on the result. .
  • Various methods are conceivable for the above-described motion detection. Specifically, there is a method of comparing the sum of absolute values of differences between fields with a predetermined threshold value.
  • the “still mode” is the basic mode of the DV format, and (8 ⁇ 8) DCT is applied to (8 ⁇ 8) pixels in the block. Note that the above (8 ⁇ 8) block is composed of one DC component and 63 AC components.
  • the “motion mode” is used to avoid that the energy is dispersed due to the interlaced scanning and the compression efficiency is reduced when the DCT is performed when the subject is moving.
  • the (8x8) block is divided into (4x8) blocks in the first field and (4x8) blocks in the second field, and the pixels of each (4x8) block
  • Each of the above (4 ⁇ 8) blocks is composed of one DC component and 31 AC components.
  • the motion mode block is After each (4 x 8) DCT, the (8 x 8) block is constructed by calculating the sum and difference between coefficients of the same order in each block.
  • the block in the motion mode can be regarded as being composed of one DC component and 63 AC components, similarly to the block in the stationary mode.
  • Fig. 7A schematically shows the process of separating fields when converting DCT coefficients in the “motion mode (2x4x8 DCT mode)” of the DV format into DCT coefficients in the MPEG1 format. Is shown.
  • the upper half (4x8) block 31a is the sum (A + B) of the coefficient of the first field and the coefficient of the second field. Yes, the lower half (4x8) block 31b of the above (8 x 8) DCT coefficient block 31 is the difference (A-B) between the coefficients of the two fields.
  • the upper half (4 ⁇ 8) block 31a of the (8 ⁇ 8) DCT coefficient block 31 and the lower half (4 ⁇ 8) block 31b are added, and the sum is 1 / If it is set to 2, a (4 ⁇ 8) block 35a consisting of only the DCT coefficient of the first field (A) can be obtained.
  • a (4 ⁇ 8) block 35a consisting of only the DCT coefficient of the first field (A) can be obtained.
  • the discrete value of the second field (B) can be obtained.
  • (4 x 8) block 35b consisting only of cosine coefficients can be obtained. That is, by the above processing, it is possible to obtain the (8 ⁇ 8) block 35 in which the fields are separated.
  • FIG. 7B schematically shows a process of separating fields in the “stationary mode (8 ⁇ 8DCT mode)”.
  • an input consisting of eight DCT coefficients d0, d1, d2, d3,..., D7 is multiplied by an 8th-order inverse discrete cosine transform matrix (IDCT8) to obtain pixel data. Is returned to.
  • IDCT8 8th-order inverse discrete cosine transform matrix
  • the upper and lower sides of the (8x8) block are divided into the first field and the second field of the (4x8) processor by multiplying by an (8x8) matrix for field separation.
  • the resolution conversion process described above is performed on one of these fields, for example, the DCT coefficient of the first field.
  • the digital signal conversion method according to the present invention since the resolution conversion is performed in the DCT domain (frequency domain), the inverse DCT and DCT before and after the DCT domain are not required.
  • the two (4 x 4) inverse discrete cosine transform matrices (IDCT 4) shown in Fig. 6 (8x8) matrix on the diagonal and the above (8 x 8) discrete cosine transform matrix By calculating the product in advance, the amount of calculation can be effectively reduced.
  • the resolution conversion processing described above is for the case of reducing an image.
  • the resolution conversion processing for the case of enlarging an image will be described as a second embodiment.
  • 9A to 9C schematically show how a DV video signal is converted to an MPEG2 video signal by the digital signal conversion method according to the present invention.
  • a one-dimensional DCT coefficient will be described as an example, but the same processing can be performed for a two-dimensional DCT coefficient.
  • an 8-point inverse discrete cosine transform (8-point ID CT) is applied to the block (u) consisting of eight orthogonal coefficients (DCT coefficients g0 to g7) shown in Fig. 9A.
  • DCT coefficients g0 to g7 Eight orthogonal coefficients
  • the block consisting of eight pixel data is divided into two, and two partial blocks each consisting of four pixel data are generated.
  • a DCT (4-point DCT) of 4 points is applied to each of the above two partial blocks each composed of four DCT coefficients, and two partial blocks each composed of four DCT coefficients ( i 0 to i 3 and j 0 to j 3) are generated.
  • FIG. 10 shows the procedure of the conversion process at this time.
  • an input consisting of eight DCT coefficients g 0, g 1, g 2, g 3,..., G 7 is multiplied by an 8th-order inverse discrete cosine transform (IDCT) matrix, and converted back to 8 pixel data. It is.
  • IDCT inverse discrete cosine transform
  • a block consisting of eight pixel data is divided into two, and two partial blocks each consisting of four pixel data are generated.
  • the DCT coefficients of two blocks can be obtained from one block, so that the resolution can be expanded in the frequency domain.
  • FIG. 11 shows a digital signal conversion according to the third embodiment of the present invention.
  • 1 shows a configuration example of a main part of the device. The same components as those in the first embodiment are given the same reference numbers. The difference from FIG. 1 is that the weighting unit 18 and the inverse weighting unit 14 are combined into a weighting processing unit 21.
  • the weighting processing (IW * W) section 21 performs inverse weighting, which is an inverse operation of the weighting applied to the DV video signal which is the input first format digital signal. And weighting for an output MPEG video signal, which is a digital signal of the second format.
  • the inverse weighting process for the input first format video signal and the weighting process for the output second format video signal can be performed together.
  • the amount of calculation can be reduced as compared with the case where the inverse weighting process and the IP finding process are performed separately.
  • the weighting processing unit 21 is arranged after the resolution conversion unit 16, but the weighting processing unit is replaced by the resolution conversion unit. It may be arranged before 16.
  • FIG. 12 shows a digital signal conversion apparatus according to a fourth embodiment of the present invention in which such a weighting processing section 22 is arranged before the resolution conversion section 16.
  • the configuration of each part of the digital signal processing device shown in this figure can be the same as that of each part of the digital signal conversion device shown in FIG.
  • the inverse weighting of the first format digit signal and the weighting of the second format signal are performed together.
  • the reason why the weighting process and the weighting process described above can be performed before and after the orthogonal transform such as the discrete cosine transform (DCT) is based on the fact that these arithmetic operations are linear operations.
  • the digital video signal conversion apparatus includes a decoding unit 8 for decoding the DV video signal and a resolution for performing a resolution conversion process for format conversion on the decoded output from the decoding unit 8.
  • a mode flag (for example, 1 bit), which is information indicating the still mode / movement mode, is added to each DCT block in advance to the DV video signal input to the digital video signal converter.
  • the determination unit 7 determines whether or not to perform forward inter-frame differential encoding for each predetermined block of the conversion output from the resolution conversion unit 16 based on the mode flag. . Details of this operation will be described later.
  • the de-framing unit 11 is a mode that indicates the static mode / moving mode.
  • the deshuffling unit 15 solves shuffling performed on the DV encoding side to equalize the amount of information in the video segment, which is a unit of fixed length.
  • the judgment section ⁇ ⁇ is composed of an adder 27 and an I (I picture) / P (P picture) judgment section & decision section 28.
  • the adder 27 adds a reference DCT coefficient stored in a frame memory (FM) unit 24 described later to the resolution conversion output as a negative value.
  • the I / P judgment & determination unit 28 to which the addition output from the adder 27 is supplied is also supplied with a mode flag indicating the still mode / movement mode from the deframing unit 11.
  • the operation of the I / P determination & determination unit 28 will be described in detail.
  • the conversion output from the resolution conversion unit 16 is in units of 8 ⁇ 8 DCT coefficients. Four of these 8 ⁇ 8 DCT coefficient blocks are allocated to the luminance signal and two to the color difference signal, and one predetermined block is constituted by a total of six DCT coefficient blocks. This predetermined block will be called a macro block.
  • the I / P judgment & decision unit 28 for example, When all the mode flags sent from the deframing for the macro indicate the motion mode,
  • the macro block is set to the P-picture.
  • an I-picture may be used as a macroblock.
  • the macroblock may be changed to a P-picture.
  • Each DCT coefficient for each macroblock determined as an I / P picture by the I / P determination & determination unit 28 is supplied to the encoding unit 9.
  • the encoding unit 9 includes a weighting (W) unit 18, a quantization (Q) unit 19, an inverse quantization (IQ) unit 26, an inverse weighting (IW) unit 25, an FM unit 24, and a variable It comprises a long coding (VLC) unit 20, a buffer memory 23, and a rate control unit 29.
  • W weighting
  • Q quantization
  • IQ inverse quantization
  • IW inverse weighting
  • VLC long coding
  • the weighting (W) unit 18 weights the DCT coefficient which is the conversion output from the conversion unit 16 via the determination unit 7.
  • the quantization (Q) unit 19 quantizes the DCT coefficients weighted by the weighting (W) unit 18. Then, the variable length coding (VLC) unit 20 performs variable length coding on the DCT coefficient quantized by the quantization unit 19 and supplies the result to the buffer memory 23 as MPEG coding data.
  • VLC variable length coding
  • the buffer memory 23 keeps the transfer rate of the MPEG encoded data constant, and outputs it as a bit stream.
  • the rate control unit 29 uses the change information of the increase or decrease of the buffer capacity in the buffer memory 23 to It controls the increase / decrease of the information generation amount in the quantization (Q) unit 19, that is, controls the quantization step.
  • the inverse quantization (IQ) unit 26 inversely quantizes the quantized DCT coefficient from the quantization (Q) unit 19 and supplies the inversely weighted (IW) unit 25.
  • the inverse weighting (I W) section 25 performs inverse weighting, which is an inverse operation of weighting, on the DCT coefficient from the inverse quantization (I Q) section 26.
  • the DCT coefficient inversely weighted by the inverse weighting (IW) section 25 is stored in the FM section 24 as a DCT coefficient for reference.
  • the digital video signal conversion device shown in FIG. 13 uses the determination unit according to the mode flag indicating the motion mode / stationary mode transmitted from the deflation unit 11. 7 uses the I / P determination & determination unit 28 to determine the I or P picture for each macroblock, so that a DV signal consisting of only I pictures can be converted to an MP EG picture using I or P pictures.
  • the compression rate can be converted to, and the advantage of an improved compression ratio, which is a feature of the MPEG video signal, can be used.
  • the digital video signal conversion device is a digital video signal conversion device having a configuration in which the judgment unit 7 shown in FIG. 13 is replaced with a judgment unit 30 shown in FIG.
  • a decoding unit 8 that performs a partial decoding process on the DV signal to obtain a signal in the orthogonal transform domain, for example, a DCT coefficient, and performs a signal conversion process for format conversion on the DCT coefficient from the decoding unit 8 Conversion unit 16 to be applied, and the conversion output from the conversion unit 16 in order for each predetermined block unit.
  • a determining unit 30 for determining whether or not to perform the directional inter-frame difference encoding according to the maximum value of the absolute value of the inter-frame difference of the conversion output, and the conversion based on the determination result from the determining unit 30
  • an encoding unit 9 for encoding the converted output from the unit 16 and outputting the MPEG video signal.
  • the judgment unit 30 looks at the maximum value of the absolute value of the AC coefficient when the difference between the converted DCT coefficient, which is the conversion output from the conversion unit 16, and the reference DCT coefficient from the FM unit 24 is taken, The maximum value is compared with a predetermined threshold value, and an I / P picture is assigned to each macroblock based on the comparison result.
  • the determination unit 30 includes a difference calculation unit 31, a maximum value detection unit 32, a comparison unit 33, and an I / P determination unit 35.
  • the difference calculator 31 calculates the difference between the converted DCT coefficient from the converter 16 and the reference DCT coefficient from the FM unit 24.
  • the difference output from the difference calculation section 31 is supplied to the maximum value detection section 32 and also to the I / P determination section 35.
  • the maximum value detector 32 detects the maximum value of the absolute value of the AC coefficient of the difference output. Basically, the larger the amount of information converted to the above DCT coefficient, the larger the AC coefficient, while the smaller the amount of information, the smaller the AC coefficient.
  • the comparing section 33 compares the maximum value of the absolute value from the maximum value detecting section 32 with a predetermined threshold value supplied from the terminal 34. If the predetermined threshold value is appropriately selected, it is possible to determine whether the amount of information converted into the DCT coefficient is large or small based on the magnitude of the maximum value of the absolute value of the AC coefficient. 1 / The determination unit 35 uses the comparison result from the comparison unit 33 to determine whether the difference in DCT coefficient from the difference calculation unit 31, that is, the difference in information amount is large or small. When it is determined that the difference is large, the macro block consisting of the transformed DCT coefficient block from the transform unit 16 is allocated to the I picture, and when it is determined that the difference is small, the macro block from the difference calculation unit 31 is assigned. Allocate P picture.
  • the macroblock is set as an I picture. If the absolute value of the maximum value is smaller than the threshold value, it is determined that the information amount of the difference is small, and the macroblock is set to a P picture.
  • the digital video signal converter according to the sixth embodiment can also convert a DV signal consisting essentially of I pictures into an MPEG picture using I pictures or P pictures.
  • the advantage of improving the compression ratio, which is a characteristic of video signals, can be used.
  • the digital video signal converter shown in Figures 13 and 14 uses the NTSC DV signal and the MPEG 1 video signal as input and output, but applies to each PAL signal. May be.
  • the above-described resolution conversion processing can be similarly applied to, for example, conversion from a DV format to an MPEG2 format.
  • the resolution conversion processing by the conversion unit 16 an example in which resolution conversion is performed mainly in the direction of reduction has been described, but enlargement is also possible. That is, generally, for an input digital signal in the frequency domain, By adding high-frequency components, the resolution can be increased at any magnification.
  • the signal when applying an MPEG2 video signal to a digital broadcast service, the signal is classified according to profile (function) / level (resolution). For example, it is used for digital HD TV in the United States.
  • the resolution can be expanded when converting the above DV signal to the main's profile / high level (MP @ HL) video signal.
  • processing of the sixth embodiment may be performed by software.
  • the rate control unit 40 controls the amount of data in the quantization unit 19 based on the quantizer number (Q_N0) and the class number (Class) from the deflation unit 11.
  • FIG. 16 shows a quantization scale for each macro block (MB) of each frame when a DV video signal is converted to an MPEG video signal by the digital signal conversion method in the seventh embodiment. This shows the basic procedure for setting.
  • step S1 first, a quantization number (Q_N0) and a class number (Class) are obtained for each macroblock.
  • This quantization number (Q_N0) is indicated by a value from 0 to 15 and is common to all six DCT blocks in the macroblock.
  • the class number (Class) is indicated by a value from 0 to 3 and includes six DCT programs. Is given for each workbook.
  • step S2 the quantization parameter (q-param) is calculated for each DCT block by the following procedure.
  • Quantization table q—table [4] ⁇ 9,6,3,0 ⁇
  • the quantization table has four values (9, 6, 3, 0), and each value is class number 0. Corresponding to 1, 2, 3. For example, when the class number is 2 and the quantizer number is 8, the quantization table value 3 corresponding to the class number 2 and the quantizer number 8 are added, and the quantization parameter is 1 1 Obviouslys
  • step S3 the average of the quantization parameters (q-param) of the six DCT blocks in the macroblock is calculated.
  • step S4 a quantizer scale of the macro block of MPEG is obtained by the following procedure, and the process is terminated.
  • the quantization table has 25 values (32-2), and each value corresponds to the quantization parameter calculated as described above.
  • the quantization template corresponding to the quantization parameter value 0 is 3 2
  • the quantization table corresponding to the quantization parameter value 1 is 16, and the quantization parameter corresponding to the quantization parameter value 5 is 5
  • the quantization table to be used is 8 is there.
  • the value 4 corresponding to the quantization parameter value 10 is the quantization scale value.
  • the quantization scale (quan tizer_scale) of the MPEG depending on the target rate is calculated in each frame based on the quantization parameter (q-param) for each macro block. You.
  • the above-described correspondence between the class numbers and the quantization tables and the relationship between the quantization parameters and the quantization tables are empirically obtained.
  • the above processing is performed based on the quantization number (Q_N0) and the class number (Class) sent from the deframing unit 11. This is performed in the rate control unit 40.
  • FIG. 17 shows a basic procedure for applying feedback to the next frame using the quantization scale set by the above procedure.
  • step S11 first, the number of evening get bits per frame at the bit rate set by the above-described procedure is set.
  • step S12 the total number of generated bits per frame is accumulated.
  • step S13 the difference (diff) between the number of target bits and the total number of generated bits is calculated.
  • step S14 the quantization scale is adjusted based on the above calculation result.
  • quantizer_scale q_table [q_param]
  • normalization is performed by multiplying the difference value diff obtained in step S13 by the constant cont.
  • the normalized difference value is multiplied by an empirically obtained function, and the result obtained by adding or subtracting the quantization parameter is regarded as the quantization parameter.
  • a value corresponding to the quantization parameter overnight value is selected from the above-described quantization table having 25 values, and is set as the quantization scale of the next frame.
  • a new quantization scale (quantizer_scale) is calculated based on the adjusted quantization parameter (q_param), and feedback between frames is performed using the new quantization scale (quantizer_scale).
  • the digital video signal converter shown in FIG. 18 includes an MPEG decoder 70 for decoding MPEG2 video data, and a DV encoder 80 for outputting DV video data.
  • the parser 71 to which the bit stream of the MPEG2 video data is supplied is connected to the MPS 71 Detects the header of the bit stream of the quantized DCT coefficient framed according to the EG2 format, and supplies the variable-length coded quantized DCT coefficient to the variable-length decoding (VLD) section 72. Then, a motion vector (mv) is extracted and supplied to a motion compensation (MC) unit 77.
  • VLD variable-length decoding
  • variable-length decoding (VLD) unit 72 performs variable-length decoding on the variable-length-coded quantized DCT coefficient, and supplies the result to the inverse quantization (IQ) unit 73.
  • the inverse quantization unit 73 performs inverse quantization by multiplying the quantized DCT coefficient decoded by the variable length decoding unit 72 by the quantization step used on the encoding side to obtain a DCT coefficient, It is supplied to the inverse discrete cosine transform (IDCT) unit 74.
  • IDCT inverse discrete cosine transform
  • the inverse discrete cosine transform unit 74 performs inverse DCT on the DCT coefficient from the inverse quantization unit 73, and returns the DCT coefficient to spatial domain data, that is, pixel data. Specifically, pixel values (luminance Y, color difference Cr, Cb) are calculated for each 8 ⁇ 8 pixel block by inverse DCT. However, the pixel value here is the value of the actual pixel value in an I picture, but is the difference value between the corresponding pixel values in a P picture and a B picture.
  • the motion compensation unit 77 generates a motion compensation output by using the image information stored in the two frame memories FM of the frame memory (FM) unit 76 and the motion vector mv extracted by the versar 71.
  • the motion compensation output is supplied to the adder 75.
  • the adder 75 adds the motion compensation output to the difference value from the inverse discrete cosine transform unit 74, and outputs the decoded image data to the discrete cosine transform (DCT) unit 81 of the DV encoder 80 and the frame memory unit. Supply to 7 6 I do.
  • DCT discrete cosine transform
  • the discrete cosine transform unit 81 performs a DCT process on the decoded image data to convert the data again into data in the orthogonal transform domain, that is, DCT coefficients, and outputs the data to the quantization (Q) unit 82. Supply.
  • the quantization unit 82 quantizes the DCT coefficient by using a matrix table in consideration of visual characteristics, and supplies the quantized DCT coefficient to the variable length coding (VLC) unit 83 as an I-picture in the DV format.
  • VLC variable length coding
  • variable length coding unit 83 applies variable length coding to the I picture in the DV format, compresses the I picture, and supplies the compressed picture to the framing unit 84.
  • the framing unit 84 frames the DV format data on which the above-mentioned variable length encoding processing has been performed, and outputs it as a bit stream of DV video data.
  • an MPEG video signal according to the above-mentioned MPEG format is input as a first digitizer signal, and a DV signal is converted to a second digitizer signal. It is output as a signal.
  • the processor 111 converts the header of an MPEG video signal which is a first format digital signal input as a bit stream.
  • the motion information of the image such as the motion vector mv and the quantization scale, is extracted with reference.
  • the above motion vector mv is sent to the motion compensation (MC) section 115 to perform motion compensation.
  • the above-mentioned quantization scale (quantizer ⁇ scale) is sent to an evaluation unit 123 described later.
  • variable-length decoding (VLD) section 112 performs variable-length decoding on the bit stream of the MPEG video signal from which the information required by the parser 111 has been extracted.
  • the inverse quantization (IQ) unit 113 dequantizes the MPEG video signal decoded by the variable length decoding unit 112.
  • the MPEG video signal dequantized by the dequantizer 113 is input to the adder 125.
  • the result of the motion compensation for the motion vector mv from the parser 111 is also input to the adder 125 from the motion compensator 115.
  • the output from the addition unit 125 is sent to the signal conversion unit 116 described later, and is input to the motion compensation unit 115 via the frame memory 114.
  • the signal conversion unit 116 performs required signal conversion processing such as resolution conversion in the orthogonal conversion domain (frequency domain) on the video signal input via the addition unit 125.
  • the video signal that has undergone the required signal conversion processing in the signal conversion unit 116 is shuffled in the shuffling unit 117, and the video signal and the classify unit (classify) unit 122 are shuffled. Sent to
  • the video signal sent to the NOS 118 is sent to the quantization (Q) section 119, where it is quantized, and is subjected to variable-length coding by the variable-length coding (VLC) section 120. , And the framing section 1 2 1 It is output as a bit stream of the DV video signal.
  • Q quantization
  • VLC variable-length coding
  • the classifier section 122 classifies the video signal shuffled by the shuffling section 117 and sends the result to the evaluation section 123 as class information.
  • the quantization number in the quantization unit 119 is determined based on the class information from the classifier unit 122 and the quantization scale (quantizer_scale) from the processor 111. Decide.
  • the amount of decoding of the DV video signal output as the video signal of the second format is included in the MPEG video signal input as the video signal of the first format. Since it can be determined based on the data amount of the data to be converted, the processing for further determining the data amount of the video signal of the second format generated by performing the signal conversion can be simplified. it can.
  • one of the first format digital signal and the second format digital signal is an MPEG-1 video signal
  • the present invention can be applied to a case where the other is an MPEG 2 video signal.
  • the MPEG2 format And the DV format are compressed video signals with a resolution of 720 pixels x 576 pixels and a ratio of the sampling frequency of the luminance signal to the sampling frequency of the two color difference signals of 4: 2: 0. There is no need to perform resolution conversion on either the signal or the C signal.
  • the MPEG decoder 100 includes a parser (Parse) 111, a variable length decoding (VLD) unit 112, an inverse quantization (IQ) unit 113, and an adder 125.
  • an inverse discrete cosine (IDCT) section 131 a frame memory (FM) section 132, a motion compensation (MC) section 115, and a discrete cosine transform (DCT) section 130 .
  • the frame memory FM section 132 is configured to be used as two prediction memories.
  • the inverse discrete cosine transform unit 131 is inverse discrete cosine transform to the I picture and the P picture partially decoded by the variable length decoding unit 112 and the inverse quantization unit 113. Performs cosine conversion processing.
  • the motion compensator 1 15 generates a motion compensation output based on the inverse discrete cosine transform output.
  • the discrete cosine transform unit 130 performs discrete cosine transform on the motion compensation output.
  • the adder 125 adds the motion compensation output from the discrete cosine transform unit 130 to the P picture and the B picture partially decoded by the variable length decoding unit 112 and the inverse quantization unit 113. .
  • the processor 111 refers to the above-mentioned MPEG2 video data header input as a bit stream, and is framed in accordance with the MPEG2 format.
  • the quantized DCT coefficient is returned to a variable-length code and supplied to the variable-length decoding unit 112, and a motion vector (mv) is extracted and supplied to the motion compensation unit 115.
  • the variable-length decoding unit 112 performs variable-length decoding on the quantized DCT coefficient returned to the variable-length code, and supplies it to the inverse quantization unit 113.
  • the inverse quantization unit 113 performs inverse quantization by multiplying the quantized DCT coefficient decoded by the variable length decoding unit 112 by the quantization step used on the encoding side, and performs DCT.
  • the coefficient is obtained and supplied to the adder 125.
  • the DCT coefficients obtained by the variable length decoding unit 112 and the inverse quantization unit 113 are output without being subjected to inverse discrete cosine transform and returned to pixel data, that is, added as partially decoded data. To the container 1 25.
  • the adder 125 is also supplied with the motion compensation output from the motion compensator 115 subjected to the orthogonal transform by the discrete cosine transformer 130. Then, the adder 125 adds the motion compensation output to the partially decoded data in the orthogonal transform domain, supplies the added output to the DV encoder 110, and outputs the result to the inverse discrete cosine transform unit. Supply to 1 3 1
  • the inverse discrete cosine transform unit 1331 performs an inverse discrete cosine transform process on the I picture and the P picture of the above-mentioned addition output, and makes the spatial domain data. The data in this spatial region becomes the reference image data used for motion compensation.
  • the reference image data for motion compensation is stored in the frame memory unit 132.
  • the motion compensation unit 115 generates a motion compensation output using the reference image data stored in the frame memory unit 132 and the motion vector mV extracted by the parser 111, This motion compensation output is supplied to the discrete cosine converter 130.
  • the discrete cosine transform unit 130 returns the motion compensated output processed in the spatial domain to the orthogonal transform domain again as described above, and then adds Supply 2 to 5.
  • the adder 125 adds the DCT coefficient of the motion compensation output from the discrete cosine transform unit 130 to the DCT coefficient of the difference signal of the partially decoded P and B pictures from the inverse quantization unit 113. to add. Then, the addition output from the adder 125 is supplied to the DV encoder 110 and the inverse discrete cosine transform unit 131 as partial decoding data in the orthogonal transform domain.
  • the partially decoded I picture from the inverse quantization unit 113 is an intra-frame coded image signal, the addition processing of motion compensation is unnecessary, and the above-mentioned inverse discrete cosine transform unit It is also supplied to DV encoder 110, as well as to DV encoder 110.
  • the DV encoder 110 includes a quantization (Q) section 1441, a variable length coding (VLC) section 142, and a framing section 144.
  • Q quantization
  • VLC variable length coding
  • the quantizing section 14 1 quantizes the decoded output of the I-picture, P-picture and B-picture as they are from the MPEG decoder 100, that is, the DCT coefficients, and the variable-length coding section 14 2 To supply.
  • the variable length coding unit 1442 performs a variable length coding process on the quantized DCT coefficient, and supplies the result to the framing unit 144.
  • the framing unit 1443 frames the compressed and coded data from the variable length coding unit 142 and outputs it as a bit stream of DV video data.
  • the MPEG decoder 100 orthogonally transforms the MPEG-2 video data by the variable length decoding unit 112 and the inverse quantization unit 113. Partial decoding is performed up to the region, and partial encoding is performed by the DV encoder 110 and the quantization unit 141 and the variable length encoding unit 142.
  • P / B picture reference In order to form an image, the inverse discrete cosine transform unit 1331 performs an inverse discrete cosine transform on the I-picture and stores the result in the frame memory unit 1332.
  • the process of generating the motion compensation output is performed in the spatial domain using the inverse discrete cosine transform unit 131, and the variable length decoding unit 112 and In addition to the difference signals that are the P picture and the B picture partially decoded by the inverse quantization unit 113, the part constituting the frame is performed in the discrete cosine transform region by the discrete cosine transform unit 130. After that, partial encoding is performed with the DV encoder 110.
  • a motion block in the motion compensator 1 15 converts the macroblock at the position indicated by the motion vector mv from the I picture in which the inverse discrete cosine transform 13 1 has performed the inverse discrete cosine transform. Brought by processing.
  • the macroblock is subjected to a discrete cosine transform process by a discrete cosine transform unit 130, and is added to the DCT coefficient of the P picture, which is a difference signal, in a discrete cosine transform domain using an adder 125. This is based on the fact that the result of adding the discrete cosine transform to the result of addition in the spatial domain is equivalent to the result of adding the discrete cosine transform.
  • the inverse discrete cosine transform unit 131 performs an inverse discrete cosine transform on the added output from the adder 125 for reference to the next B picture, and stores the result in the frame memory unit 132. Keep it.
  • the macroblock at the position indicated by the motion vector mv is fetched from the P-picture that has been subjected to inverse discrete cosine transform by the inverse discrete cosine transform unit 1331. Then, a discrete cosine transform is performed on the macroblock by a discrete cosine transform unit 130 to obtain a discrete cosine transform.
  • a discrete cosine transform is performed on the macroblock by a discrete cosine transform unit 130 to obtain a discrete cosine transform.
  • bidirectional take the average from two reference frames.
  • the result is partially encoded by the DV encoder 110. Since the B picture does not become a reference frame, the inverse discrete cosine transform unit 131 does not perform the inverse discrete cosine transform.
  • decoding of an I-picture conventionally requires both inverse discrete cosine transform (IDCT) and discrete cosine transform (DCT) processing.
  • IDCT inverse discrete cosine transform
  • DCT discrete cosine transform
  • decoding a P-picture requires 0T and 100T processing for reference, but decoupling a B-picture requires both DCT and IDCT, The DCT only eliminates the need for a reference IDCT.
  • the digital video signal conversion apparatus shown in FIG. 20 can greatly reduce the amount of data calculation processing for format conversion from MPEG2 video data to DV video data.
  • the tenth embodiment is also a digital video signal converter for converting MPEG video data according to the format of MPEG 2 into a DV video format according to the DV format.
  • the video data of MP EG2 is assumed to be a high resolution, for example, a compressed video signal of 144 pixels ⁇ 180 pixels.
  • the signal when applying an MPEG2 video signal to a digital broadcast service, the signal is classified according to profile (function) / level (resolution). For example, it is used for digital HD TV in the United States.
  • the main profile / high level (MP @ HL) video signal that is used has a high resolution as described above, and this is the case in which this is converted to the above DV video data.
  • the signal conversion unit 1 for performing the conversion process between the MPEG decoder 100 and the DV encoder 110 shown in FIG. It has 40.
  • the signal transform unit 140 converts an inverse orthogonal transform matrix corresponding to the orthogonal transform matrix used in the DCT coding performed in the above-mentioned MPEG coding process and a signal transform output signal in the time domain.
  • IDCT code to get A DCT coefficient in the DCT conversion area from the MPEG decoder 100 is subjected to resolution conversion processing using a conversion matrix generated based on the orthogonal transformation matrix corresponding to the inverse orthogonal transformation matrix used for the conversion.
  • the DCT coefficient which is the resolution conversion output from the signal conversion unit 140, is supplied to the DV encoder 110.
  • the DV encoder 110 subjects the DCT coefficient of the resolution conversion output to quantization and variable length coding, performs framing, and outputs the result as a bit stream of the DV video data.
  • the digital video signal converter converts the video signal of the main profile / high level (MP @ HL) in the MPE G2 video signal into a resolution by the signal conversion unit 140 and then converts the video signal into a DV signal. It is encoded by an encoder to produce DV video data.
  • DCT and IDCT for reference are performed, which is the same as before, but for B-pictures, both DCT and IDCT were required conventionally. No IDCT is required.
  • the digital video signal converter shown in Fig. 21 above can also significantly reduce the amount of data calculation processing required for format conversion from high-resolution MPEG 2 video data to DV video data format. I can do it.
  • the resolution conversion processing by the signal conversion unit 140 mainly includes As an example, resolution conversion is performed in the direction of reduction, but enlargement is also possible. That is, in general, the resolution can be increased at an arbitrary magnification by adding a high frequency component to the input digital signal in the frequency domain. For example, there is a case where format conversion of MPEG 1 video data to DV video data is performed.
  • the above processing may be performed by software.
  • a hybrid method combining orthogonal transform coding and predictive coding is used.
  • a tree compression coding method is used.
  • the re-prediction code is used.
  • the motion vector must be estimated even in the process for performing the encryption process.
  • the motion vector at the time of predictive coding may be used.However, when the resolution is converted, the conversion distortion changes. This is because the motion vector used in the re-prediction encoding step also changes.c In the re-prediction encoding step, it is necessary to estimate the motion vector. The computational complexity of was very large.
  • the digital signal converter according to the eleventh embodiment solves this problem.
  • the digital signal conversion method and apparatus according to the eleventh embodiment combine orthogonal transform coding and predictive coding.
  • the input information signal compressed and encoded by the hybrid compression encoding is subjected to signal conversion processing such as resolution conversion in the time domain or the orthogonal transform domain, and is returned to the orthogonal transform domain or re-entered in the orthogonal transform domain. It performs compression encoding.
  • hybrid compression coding examples include codes such as H.261 and H.263 recommended by the ITU-T (International Telecommunication Union-Telecommunication Standardization Sector), and MPEG and DV codes. Chemical standards.
  • H.261 is a video coding standard targeted at low bit rates, and has been proposed for videoconferencing and videophone by ISDN.
  • H.263 is a coding scheme that is an improvement of H.261 for GST videophone systems.
  • the MPEG encoded data is input according to the MPEG format, and the MPEG encoded data is subjected to a resolution conversion process as a signal conversion process, and then the MPEG is subjected to the resolution conversion.
  • This is a digital video signal conversion device that outputs as encoded data.
  • this digital video signal converter uses a motion compensation MC for a bit stream of MPEG-encoded data that is compression-encoded with motion vector (mv) detection.
  • a decoding unit 210 that performs decoding using the following, a resolution conversion unit 160 that performs resolution conversion processing on the decoded output from the decoding unit 210, and a conversion output image from the resolution conversion unit 160
  • the compression-encoding process is performed with motion detection based on the motion vector mv added to the MPEG encoded data, and the bit stream of the video encoded data whose resolution has been converted is obtained.
  • an encoding unit 220 for outputting.
  • a digital video signal conversion device composed of these units will be described.
  • the decoding unit 210 is the inverse of the variable length decoding (VLD) unit 112? (IQ) section 113, inverse discrete cosine transform (IDCT) section 150, adder 151, motion compensation (MC) section 152, frame memory (FM) section 15 And three.
  • VLD variable length decoding
  • IDCT inverse discrete cosine transform
  • MC motion compensation
  • FM frame memory
  • the FM unit 153 is composed of two frame memories FM used as prediction memories.
  • the VLD unit 112 decodes the above-described MPEG encoded data, that is, the encoded data in which the motion vector and the quantized DCT coefficient, which are the additional information, are variable-length encoded according to the variable-length encoding. And extract the motion vector mv.
  • the first unit 113 multiplies the quantized DCT coefficient decoded by the VLD unit 112 by the quantization step used on the encoding side and performs inverse quantization to obtain a DCT coefficient.
  • the IDCT section 150 performs inverse DCT on the DCT coefficient from the IQ section 113 to return the DCT coefficient to spatial domain data, that is, pixel data. Specifically, pixel values (luminance Y, color difference Cr, Cb) are calculated for each 8 ⁇ 8 pixel block by inverse DCT. However, the pixel value here is the value of the actual pixel value itself in the I picture, but is the difference value between the corresponding pixel values in the P picture and the B picture.
  • the MC unit 152 performs a motion compensation process on the image information stored in the two FM units of the FM unit 153 using the motion vector mv extracted by the VLD unit 112.
  • the motion compensation output is supplied to the adder 15 1.
  • the adder 1 51 adds the difference value from the IDCT section 150 to the MC And outputs the decoded image signal.
  • the resolution conversion section 160 performs a required resolution conversion process on the decoded image signal.
  • the converted output from the resolution converter 160 is supplied to the encoder 220.
  • the encoding section 220 includes a scale conversion section 171, a motion estimation ME section 172, an adder 173, a DCT section 175, a rate control section 183, and a quantization (Q) section 176. , Variable length coding (VLC) section 177, notch memory 178, IQ section 179, IDCT section 180, adder 181, FM section 182, and MC section 174 And
  • the scale conversion section 17 1 scales the motion vector mV extracted by the VLD section 112 according to the resolution conversion rate used in the resolution conversion section 160. For example, if the resolution conversion rate in the resolution conversion unit 160 is 1/2, the scale conversion is performed to 1/2 of the motion vector mv.
  • the ME unit 172 uses the scale conversion information from the scale conversion unit 171 to search for a narrow range of the conversion output from the resolution conversion unit 160, thereby finding the optimal motion vector at the converted resolution. presume.
  • the motion vector estimated by the ME unit 172 is used when the MC unit 174 performs motion compensation.
  • the converted output image from the resolution conversion unit 160 used when estimating the motion vector in the ME unit 172 is supplied to the adder 173.
  • the adder 173 takes a difference between a reference image described later and a converted output from the resolution converting unit 160, and supplies the difference to the DCT unit 175.
  • the DCT unit 175 converts the difference between the reference image obtained by motion compensation in the MC unit 174 and the above-mentioned converted output image into an 8 ⁇ 8 block size. Discrete cosine transform. Since I-pictures are intra-frame (frame) encoded, DCT computation is performed without taking the difference between frames.
  • the quantization (Q) unit 176 quantizes the DCT coefficient from the DCT unit 175 using a matrix table that takes into account visual characteristics.
  • VLC section 177 compresses the quantized DCT coefficient from Q section 176 by variable-length coding.
  • the noise memory 178 is a memory for keeping the transfer speed of the coded data compressed by the variable length coding in the VLC section 177 constant. Video encoded data whose resolution has been converted is output as a bit stream from the buffer memory 178 at a fixed transfer rate.
  • the rate control section 183 controls the increase / decrease of the information generation amount in the Q section 176, that is, the quantization step, based on the change information of the increase / decrease of the buffer capacity in the non-memory 178.
  • the IQ section 179 constitutes a local decoding section together with the IDCT section 180, and dequantizes the quantized DCT coefficient from the Q section 176, and supplies the DCT coefficient to the IDCT section 180.
  • the IDCT section 180 performs an inverse DCT conversion of the DCT coefficient from the IQ section 179, returns the pixel data to the pixel data, and supplies the pixel data to the adder 181.
  • the adder 181 adds the motion compensation output from the MC unit 174 to the pixel data that is the inverse DCT output from the IDCT unit 180.
  • Image information serving as an addition output from the adder 18 1 is supplied to the FM unit 182.
  • the image information stored in the FM section 182 is subjected to motion compensation processing in the MC section 174.
  • the MC unit 174 responds to the image information stored in the FM unit 182. Then, motion compensation processing is performed using the optimal motion vector estimated by the ME unit 172, and a motion compensation output serving as a reference image is supplied to the adder 173.
  • the adder 173 takes the difference between the converted output image from the resolution conversion unit 160 and the reference image, and supplies the difference to the DCT unit 175.
  • the DCT section 175, Q section 176, VLC section 177, and buffer memory 178 operate as described above, and finally the video whose resolution has been converted from this digital video signal converter. Encoded data is output as a bit stream at a fixed transfer rate.
  • the original compressed video when estimating a motion vector in the ME section 172 of the encoding section 220, instead of estimating from a state where there is no information at all, the original compressed video
  • the motion vector of the signal's MAC block is scale-converted by the scale converter 171, according to the resolution conversion rate of the resolution converter 160, and the scale converter 1 ⁇ 1 It estimates a motion vector for motion compensation by searching a narrow range of the conversion output image from the resolution conversion unit 160 based on the scale conversion information from. For this reason, the amount of calculation in the ME section 17 2 can be significantly reduced, so that the device can be downsized and the conversion processing time can be reduced.
  • This embodiment is also a digital video signal converter that performs resolution conversion processing on an MPEG video signal and outputs the result.
  • this digital video signal conversion apparatus is adapted to the above-described MPEG coded data subjected to the hybrid coding.
  • a decoding unit 211 that obtains a decoded data of the orthogonal transform domain that has been subjected to the orthogonal transform coding by performing only the prediction decoding process using the MC, and an orthogonal signal from the decoding unit 211.
  • a resolution conversion unit 260 that performs resolution conversion processing on the decoded data of the conversion area overnight, and a conversion output from the resolution conversion unit 260 detects the motion based on the motion vector information of the MPEG encoded data.
  • a coding unit 221 for performing a compression coding process with motion compensation prediction using the coding unit.
  • the digital video signal conversion apparatus has an IDCT section 150 in the decoding section 210, and a DCT section 175 and IDCT section 180 in the encoding section 220. Is unnecessary. In other words, this digital video signal converter performs resolution conversion processing on the decoded data as it is in the DCT area, and encodes this converted output.
  • Orthogonal transformations such as DCT and their inverse transformations generally require a large amount of computation. Therefore, there is a possibility that the resolution conversion as described above cannot be performed efficiently. In addition, errors accumulate as the amount of computation increases, and the signal may degrade.
  • the digital video signal conversion device shown in FIG. 23 omits the IDCT unit 150, DCT unit 175, and IDCT unit 150 in FIG. Has changed. Further, in the DCT domain, a resolution to be described later is calculated from the converted DCT coefficient from the resolution conversion unit 160, and the motion vector is estimated using the definition. 7 Substitute for 1 In addition, the definition calculation unit 200 is used.
  • the DCT coefficient obtained by inversely quantizing the quantized DCT coefficient decoded by the VLD section 212 by the IQ section 21 3 is subjected to motion compensation from the MC section 252.
  • the addition force (DCT coefficient) obtained by adding the output by the adder 251 is supplied.
  • the resolution conversion unit 260 obtains an inverse orthogonal transformation matrix corresponding to the orthogonal transformation matrix used in the DCT encoding performed in the MPEG encoding and the signal conversion output signal in the time domain.
  • a resolution conversion process is performed on the DCT coefficients in the DCT conversion domain from the decoding unit 211 using a transform matrix generated based on an orthogonal transform matrix corresponding to an inverse orthogonal transform matrix used for IDCT encoding for decoding.
  • the DCT coefficient which is the resolution conversion output from the resolution conversion unit 260, is supplied to the definition calculation unit 200.
  • the definition calculating unit 200 calculates the definition (Activity) of the space in units of macro blocks from the luminance component of the DCT coefficient from the resolution conversion unit 260. Specifically, the feature of the image is calculated using the maximum value of the AC value of the DCT coefficient. For example, a small high frequency component indicates a flat image.
  • the ME unit 272 estimates an optimal motion vector at the converted resolution based on the definition calculated by the definition calculation unit 200. That is, the ME unit 272 converts the motion vector mv extracted by the VLD 2 12 based on the definition calculated by the definition calculation unit 200, estimates the motion vector mv, and Supply the motion vector mv to the ME unit 272. Here, the ME unit 272 estimates the motion vector while keeping the orthogonal transform domain. The ME in the orthogonal transform domain will be described later.
  • the resolution conversion DCT coefficient from the resolution conversion unit 260 is supplied to the adder 273 via the definition calculation unit 2 ⁇ 0 and the ME unit 272.
  • the adder 273 takes a difference between a reference DCT coefficient described later and a transformed DCT coefficient from the resolution conversion unit 260 and supplies the difference to a quantization (Q) unit 276.
  • the Q section 276 quantizes the difference value (DCT coefficient), and supplies the quantized DCT coefficient to the VLC section 277 and the IQ section 279.
  • the rate control unit 283 increases or decreases the amount of information generated in the Q unit 276 by the definition information from the definition calculation unit 200 and the change information of the buffer capacity increase or decrease in the buffer memory 278. That is, the quantization step is controlled.
  • VLC part 277 is the amount from Q part 276?
  • the compressed DCT coefficients are compression-encoded by variable-length encoding and supplied to a buffer memory 278.
  • the buffer memory 278 keeps the transfer rate of the coded data compressed by the variable length coding in the VLC section 277 constant, and converts the resolution-converted video coded data at a fixed transfer rate. Output as a bitstream.
  • the IQ section 279 inversely quantizes the quantized DCT coefficient from the Q section 276 and supplies the DCT coefficient to the adder 281.
  • the adder 281 adds the motion compensation output from the MC unit 274 to the DCT coefficient which is the inverse Q output from the IQ unit 279.
  • the DCT coefficient information which is an addition output from the adder 281, is supplied to the FM unit 282.
  • the DCT coefficient information stored in the FM section 282 is subjected to motion compensation processing in the MC section 274.
  • the MC unit 274 uses the optimal motion vector estimated by the ME unit 272 for the DCT coefficient information stored in the FM unit 282, The motion compensation processing is performed, and a motion compensation output serving as a reference DCT coefficient is supplied to the adder 28 1.
  • the adder 273 takes the difference between the converted DCT coefficient from the resolution converting section 260 and the above-mentioned reference DCT coefficient, and supplies the difference to the Q section 276.
  • the Q section 276, the VLC section 277 and the buffer memory 278 operate as described above, and finally the video coded data whose resolution has been converted from this digital video signal converter is constant. It is output at the transfer rate of.
  • the MC unit 274 uses the optimal motion vector estimated by the ME unit 272 and the reference DCT coefficient stored in the FM 282, and is similar to the ME unit 272. , Motion compensation is performed in the orthogonal transform domain.
  • the solid line represents the Mac mouth block of image A to be compressed
  • the dotted line represents the Mac mouth block of reference image B.
  • the boundary of the macroblock may not coincide.
  • the macro block B are currently compression quotient, is 4 Tsunoma black block B of an image B for reference ,, B 2, B, the spans. Therefore, there is no Mac mouth block of the reference image B corresponding to the macro block B, and the DCT coefficient of the reference image B where the macro block B is located is calculated as follows. I can't get it.
  • the DCT coefficients of the four macroblocks of the reference image B that the macroblock B 'straddles are transformed, so that the macroblock B is located. It is necessary to obtain the DCT coefficient of the reference image B in the portion where the image is displayed.
  • FIG. 25 schematically shows the procedure of this conversion process.
  • the lower left portion of the Mc mouth block B i of the reference image B is the portion that overlaps with the Mc mouth block B ', but from the perspective of the macro block B', the upper right portion overlaps. !
  • the conversion section later the DCT coefficients, generating macro block B 13.
  • the lower right portion of the macro-mouth block B 2 of the reference image B is a portion that overlaps with the macro block B ′, but when viewed from the macro block B ′, the upper left portion is a portion where the macro block B ′ overlaps.
  • the same process is applied to macro blocks B and B to obtain macro block B: t !
  • DCT (B ') DCT (B i 3 ) + DCT (B 21 )
  • Figure 2 6 shows a mathematical model when seeking partial beta 42 by calculation, such as, for example, beta 4 in the spatial domain, the origination null block. Specifically, extracts of the upper left beta 4, interpolated by 0, are moved to the lower right. It's shows beta obtained by the calculation of equation (8) follows from the block beta 4.
  • B ⁇ 2 H
  • FIG. 2 6 Prima preparative Rikusu is first synthesized in B 4, as well as taking out a first column h, into a bottom, H 2 be made later if the B 4 is a w rows beginning Take it out and convert it to the right.
  • the DCT of B 42 can be directly calculated from the DCT of B 4 by the following equation (9).
  • the memory may be configured in advance. In this way, ⁇ and MC are possible even in the orthogonal transform domain.
  • the encoding unit 221 does not estimate the motion vector from the state without any information, but uses the macroblock of the original compressed video signal.
  • the motion vector is estimated by searching the converted output of the resolution conversion unit 260 in a narrow range according to the definition calculated by the definition calculation unit 200.
  • hybrid coding including predictive coding with motion detection and orthogonal transform coding is performed.
  • the encoding unit 222 when estimating the motion vector in the ME unit 272, does not estimate from the state without any information, but uses the macro block of the original compressed video signal.
  • the motion vector attached is searched in a narrow range according to the definition calculated from the resolution conversion output, and the motion vector is estimated. For this reason, the amount of calculation in the ME section 272 can be significantly reduced, so that downsizing of the device and shortening of the conversion process can be achieved.
  • a signal conversion process such as a resolution conversion process is performed on the MPEG encoded data and the It is a digital video signal converter that outputs data encoded data.
  • this digital video signal converter performs a partial decoding process on the above-described MPEG-encoded data that has been subjected to the high-speed encoding to obtain a data in the orthogonal transform area.
  • An encoding unit 350 that performs a compression encoding process by adding a motion vector based on vector information.
  • the decoding section 340 includes a VLD section 341 and an IQ section 342.
  • the VLD section 341 and the IQ section 342 have the same configuration as the VLD section 112 and the IQ section 113 shown in FIG. 21 and operate similarly.
  • a characteristic of the decoding unit 340 is that MC is not performed. In other words, the P picture and the B picture do not perform the MC, but the conversion section 343 performs resolution conversion on the DCT coefficient as difference information.
  • the transformed DCT coefficients obtained by the resolution conversion are quantized by a Q section 345 whose rate is controlled by a rate control section 348, and are variable-length decoded by a VLC section 346. --Output as a fixed rate.
  • the motion vector conversion unit 344 of the encoding unit 350 rescales the motion vector mv extracted by the V0 unit 341 according to the resolution conversion rate, and supplies it to the VLC unit 346.
  • the VLC section 346 adds the rescaled motion vector mv to the quantized DCT coefficient from the Q section 345, performs variable-length coding, and stores the coded data in the buffer memory 347. Supply.
  • the digital video signal converter shown in FIG. 27 does not perform the MC in the decoding unit 340 and the encoding unit 350, so that the calculation can be simplified and the hardware burden can be reduced. Can be reduced.
  • Rate conversion may be performed by each of the digital video signal converters described above. In other words, it may be applied when converting the transfer rate from 4 Mbps to 2 Mbps without changing the resolution.
  • the device configuration is described.
  • the above device may be configured by using the digital signal conversion method according to the present invention as software.
  • an input information signal that has been compression-encoded with motion detection is subjected to decoding with motion compensation, and the decoded signal is subjected to signal conversion processing.
  • a compression encoding process is performed on the motion vector information of the information signal with a certain motion detection.
  • the resolution conversion processing is applied as the signal conversion processing
  • the compression encoding processing with motion compensation based on information obtained by scaling conversion of the motion vector information according to the resolution conversion processing is performed by the above conversion.
  • Apply to signal
  • the motion vector information required for compression encoding is scale-converted according to the resolution conversion rate, and is searched for and estimated in a narrow range, so that the amount of calculation when estimating the motion vector is large. It is possible to reduce the size of the device and shorten the conversion processing time.
  • the present invention also provides a partial decoding process for an input information signal that has been subjected to compression encoding including predictive encoding with motion detection and orthogonal transform encoding to obtain a decoded signal in the orthogonal transform domain. Then, a signal conversion process is performed on the decoded signal in the orthogonal transform area, and the converted signal is accompanied by motion compensation prediction using motion detection based on the motion vector information of the input information signal. A compression encoding process is performed. At this time, when the resolution conversion processing is applied as the signal conversion processing, motion compensation based on the information obtained by converting the motion vector information according to the definition obtained from the resolution conversion processing is performed.
  • the motion vector information required for the compression encoding can be searched and estimated in a narrow range, and the amount of calculation can be greatly reduced.
  • the size and the conversion processing time can be reduced.
  • signal conversion processing can be performed in the orthogonal transform domain, inverse orthogonal transform processing is not required, and decoding into the time domain or space domain (inverse orthogonal transform) is not required, so that the calculation is simplified and the calculation error is small. Quality conversion can be performed.
  • the present invention also provides a partial decoding process for an input information signal that has been subjected to compression encoding including predictive encoding with motion detection and orthogonal transform encoding to obtain a decoded signal in the orthogonal transform domain. Then, a signal conversion process is performed on the decoded signal in the orthogonal transform region, and motion vector information converted based on the motion vector information of the input information signal is added to the converted signal to perform a compression coding process. Is applied. For this reason, when applying the resolution conversion processing as the signal conversion processing, the compression signal processing to which the information obtained by scale-converting the motion vector information is added according to the resolution conversion processing is applied to the conversion signal. Will be.
  • the motion vector information to be added at the time of compression encoding can be searched and estimated in a narrow range, so that the amount of calculation when estimating the motion vector can be greatly reduced.
  • signal conversion processing can be performed in the orthogonal transformation area, inverse orthogonal transformation processing can be omitted.
  • no motion compensation processing is used during decoding and encoding, it is possible to further reduce the amount of calculation.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Television Signal Processing For Recording (AREA)
  • Color Television Systems (AREA)

Description

明 細 書
ディジ夕ル信号変換方法およびディジ夕ル信号変換装置
技 術 分 野
本発明は、 離散コサイン変換 （D C T) などの直交変換を用いて 景
圧縮符号化されたディ ジタル信号の変換処理に関し、 特に、 フォー 技
マツ 卜が互いに異なる圧縮ビデオ信号の間で解像度を変換するディ ジ夕ル信号変換方法およびデイジ夕ル信号変換装置に関するもので ある。
従来、 静止画データや動画デ一夕等を効率よく圧縮符号化するた めの符号化方式として、 直交変換符号化の一種である離散コサイ ン 変換 （D C T ： Discrete Cosine Transform ) が用いられてい る . このような直交変換されたディ ジ夕ル信号を取り扱う際に、 解像度 や変換基底を変更することが必要とされることがある。
例えば、 家庭用のディジタルビデオのフォ一マツ トの一つである、 解像度が 7 2 0 x 48 0画素とされた第 1の直交変換されたディ ジ タル信号から、 いわゆる MP E G 1フォーマツ 卜の解像度が 3 6 0 X 24 0画素とされた第 2の直交変換されたディジ夕ル信号に変換 する場合には、 上記の第 1の信号に対して逆直交変換を行って空間 領域の信号に復元した後に、 必要とされる補間や間引き等の変換処 理を行い、 再び直交変換を施して上記の第 2の信号に変換している。 このように、 直交変換されたディ ジタル信号は、 一旦逆変換され て原信号に戻された後に所要の変換操作が行われ、 その後再び直交 変換されることが多い。
図 2 8は、 D C T変換されたディ ジ夕ル信号に対して上記のよう な解像度変換を施すための従来のディ ジ夕ル信号処理装置の構成例 を示している。
この従来のディジ夕ル信号変換装置は、 家庭用ディジ夕ルビデオ 信号のフォーマッ トの一つである、 いわゆる 「DVフォーマッ ト」 のビデオ信号 （以下では D Vビデオ信号という。 ） が第 1のフォー マッ トのディ ジタル信号として入力され、 いわゆる MP EG (Moving Picture Experts Group) のフォ一マツ 卜に従う ビデオ信 号 （以下では MP EGビデオ信号という。 ） を第 2のフォーマ、、ノ ト のディ ジ夕ル信号として出力するようにされている。
デフレ一ミング部 5 1は、 DVビデオ信号のフレ一ミングを解く ためのものである。 このデフレ一ミング部 5 1では、 いわゆる DV フォ一マツ トに従ってフレーミングされている D Vビデオ信号が、 可変長符号に戻される。
可変長復号 （VLD) 部 52は、 デフレ一ミング部 5 1で可変長 符号に戻されたビデオ信号を可変長復号する。 DVフォーマツ 卜に おける圧縮データは、 そのデ一夕量が原信号に対して約 1 /5にな るように固定レー卜で圧縮されており、 デ一夕圧縮効率を高めるた めに可変長符号化されている。 可変長復号部 52は、 この可変長符 号化に応じた復号を行う。
逆量子化 （ I Q) 部 53は、 可変長復号部 52で復号されたビデ ォ信号を逆量子化する。
逆重み付け （ I W) 部 54は、 逆量子化部 53で逆量子化された ビデオ信号に施された重み付けの逆操作である逆重み付けを行う。 ここで、 重み付けとは、 人間の視覚特性が高域のひずみに対して あまり敏感でない性質を利用して、 ビデオ信号の高域成分ほど D C T係数の値が小さくなるようにすることをいう。 これにより、 値が 0になる高域係数の数が多くなり、 可変長符号化の効率を向上させ ることができる。 また、 その結果として、 D CT変換の演算量を低 減することができる場合もある。
逆離散コサイ ン変換 （ I D CT) 部 55は、 逆重み付け部 54で 逆重み付けされたビデオ信号に逆 D CT (逆離散コサイン変換） を 施して、 D C T係数を空間領域のデータ、 すなわち画素デ一夕に戻 す。
そして、 解像度変換部 56で、 逆離散コサイン変換部 5 5で画素 データに戻されたビデオ信号に対して所要の解像度変換が施される。 次に、 離散コサイン変換 （D C T ) 部 57は、 解像度変換部 56 により解像度変換されたビデオ信号に、 離散コサイ ン変換 （D CT) が施され、 再び直交変換係数 （D CT係数） に変換される。
重み付け （W) 部 58は、 D C T係数に変換された解像度変換後 のビデオ信号に重み付けを行う。 この重み付けについては前述した 通りである。
量子化 （Q) 部 59は、 重み付け部 58で重み付けされたビデオ 信号を量子化する。
そして、 可変長符号化 （VL C) 部 60で、 量子化部 59で量子 化されたビデオ信号を可変長符号化して、 MPEGビデオ信号とし て出力する。
ここで、 上述した 「MP E G」 は、 I S O/I E C J T C 1 / S C 29 ( International Organization ior Standardization / International Electrotechnical Commission, Joint Technical Co腿 ittee 1 /Sub Co匪 ittee 29： 国際標準化機構/国際電気標準会 議 合同技術委員会 1 /専門部会 2 9 ) の動画圧縮符号化の検討組 織 (Moving Picture Image Coding Experts Group) の略称であり、 MP E G 1標準として IS011172が、 MP E G 2標準として IS013818 がある。 これらの国際標準において、 マルチメディア多重化の項目 で IS011172- 1および IS013818- 1が、 映像の項目で IS011172- 2および IS013818- 2が、 また音声の項目で IS011172- 3および IS013818-3が、 それぞれ標準化されている。
画像圧縮符号化規格としての IS011172- 2または IS013818- 2におい ては、 画像信号を、 ピクチャ （フレームまたはフィールド） 単位で、 画像の時間および空間方向の相関を利用して圧縮符号化を行ってお り、 空間方向の相関の利用は D C T符号化を用いることで実現して いる。
なお、 この D C T等の直交変換は、 この他にも、 J P E G (Joint Photographic Coding Experts group) 等の種々の画像情報圧縮符 号化に広く採用されている。
一般に直交変換は、 時間領域あるいは空間領域の原信号を周波数 領域等の直交変換された領域に変換することにより、 圧縮効率が高 く再現性に優れた圧縮符号化を可能にするものである。
また、 上述した 「DVフォーマッ ト」 は、 ディ ジタルビデオ信号 のデ一夕量を約 1 / 5にまで圧縮して磁気テープにコンポ一ネン ト 記録するためのものであり、 家庭用ディジ夕ルビデオ装置や業務用 のディ ジ夕ルビデオ装置の一部に用いられているものである。 この
D Vフォーマッ トは、 離散コサイン変換 （D C T ) と可変長符号化 ( V L C ) と組み合わせることにより、 ビデオ信号の効率的な圧縮 を実現している。
ところで、 離散コサイン変換 （D C T ) などの直交変換およびそ の逆変換には、 多くの計算量を要するのが通常であるため、 上述し たようなビデオ信号の解像度変換を効率良く行えないという問題が ある。 また、 計算量の増加に伴って誤差が蓄積されるため、 信号が 劣化するという問題もある。 発 明 の 開 示 本発明は、 このような問題を解決するためになされたものであり、 異なるフォーマッ トに変換するために解像度変換などの処理が施さ れた信号のデータ量の算出処理量を低減することによって、 解像度 変換等の変換処理を効率良く行うことができ、 しかも信号の劣化が 少ないディジタル信号変換方法およびディジタル信号変換装置を提 供することを目的とする。
上述したような課題を解決するために、 本発明に係るディジ夕ル 信号変換方法は、 所定単位の直交変換係数プロックからなる第 1の フォーマツ 卜のディジ夕ル信号の各プロックから直交変換係数の一 部を取り出して部分ブロックを構成するデ一夕取出し工程と、 上記 各部分プロックをなす直交変換係数を、 その部分プロック単位でそ れぞれ逆直交変換する逆直交変換工程と、 上記逆直交変換された各 部分ブロックどう しを連結して、 上記所定単位の新たなプロックを 構成する部分プロック連結工程と、 上記新たなブロックを、 そのブ 口ック単位で直交変換して上記所定単位の新たな直交変換プロック からなる第 2のフォーマツ トのディ ジ夕ル信号にする直交変換工程 とを有することを特徴としている。
また、 上記の課題を解決するために提案する本発明では、 所定単 位の直交変換係数プロックからなる第 1のフォーマツ トのディジ夕 ル信号をそのプロック単位で逆直交変換する逆直交変換工程と、 上 記逆直交変換された第 1のフォーマツ トのディ ジ夕ル信号の上記各 ブロックを分割するブロック分割工程と、 上記分割された各プロッ クをなす直交変換係数を、 その分割されたプロック単位でそれぞれ 直交変換する直交変換工程と、 上記直交変換された各プロックに所 定値の直交変換係数を補間して上記所定単位に構成して第 2のフォ 一マツ トのディ ジ夕ル信号にするデ一夕拡大工程とを有することを 特徴とするものである。
また、 上記の課題を解決するために、 本発明に係るディ ジタル信 号変換装置は、 所定単位の直交変換係数からなる第 1のフォーマッ 卜のディ ジ夕ル信号を復号する復号手段と、 上記復号されたディ ジ タル信号を逆量子化する逆量子化手段と、 上記逆量子化されたディ ジ夕ル信号の上記所定単位の直交係数プロックの互いに隣接する各 プロックから直交変換係数の一部を取り出して部分プロックを構成 して解像度を変換する解像度変換手段と、 上記解像度変換されたデ ィジ夕ル信号を量子化する量子化手段と、 上記量子化されたディ ジ 夕ル信号を符号化して第 2のフォーマツ 卜のディジ夕ル信号にする 符号化手段とを備えることを特徴としている。 また、 上記の課題を解決するために提案する本発明では、 直交変 換を用いて圧縮符号化された第 1のフォーマッ トのディジ夕ル信号 を復号する復号手段と、 上記復号されたディ ジ夕ル信号を逆量子化 する逆量子化手段と、 上記逆量子化されたディ ジ夕ル信号の上記所 定の各プロックに所定値の直交変換係数を補間して上記各プロック を上記所定単位に構成して解像度を変換する解像度変換手段と、 上 記解像度変換されたディジ夕ル信号を量子化する量子化手段と、 上 記量子化されたディジ夕ル信号を符号化して第 2のフォーマツ トの ディジタル信号にする符号化手段とを備えることを特徴とするもの である。
また、 上記の課題を解決するために提案する本発明では、 所定単 位の直交変換係数プロックからなる第 1のフォーマツ 卜のディジ夕 ル信号を、 別の所定単位の新たな直交変換係数プロックからなる第 2のフォ一マッ 卜のディ ジ夕ル信号に変換するディ ジ夕ル信号変換 方法において、 上記第 1のフォーマツ トのディジ夕ル信号に含まれ るデータ量情報を利用して、 上記第 2のフォーマッ 卜のディジ夕ル 信号のデ一夕量を制御することを特徴とするものである。
また、 上記の課題を解決するために提案する本発明では、 所定単 位の直交変換係数プロヅクからなる第 1のフォ一マッ 卜のディジ夕 ル信号を、 別の所定単位の新たな直交変換係数プロックからなる第 2のフォーマツ 卜のディジタル信号に変換するディジ夕ル信号変換 装置において、 上記第 1のフォーマツ 卜のディジ夕ル信号を復号す る復号手段と、 上記復号されたディ ジ夕ル信号を逆量子化する逆量 子化手段と、 上記逆量子化されたディジ夕ル信号のフォーマツ ト変 換を伴う信号処理を行う信号変換手段と、 上記信号処理が施された ディジ夕ル信号を量子化する量子化手段と、 上記量子化手段におけ るデ一夕量を制御するためのデータ量制御手段と上記デ一夕量制御 手段によりデータ量が制御されて量子化されたディ ジ夕ル信号を符 号化して上記第 2のフォーマツ 卜のディジ夕ル信号にする符号化手 段とを備えることを特徴とするものである。
また、 上記の課題を解決するために提案する本発明では、 第 1の フォ一マ ヅ 卜のディ ジ夕ル信号を、 第 2のフォーマ ツ 卜のディジタ ル信号に変換するディ ジ夕ル信号変換方法において、 上記第 1のフ ォーマッ 卜のディジタル信号を復号する復号工程と、 上記復号され た第 1のフォーマッ トのディ ジ夕ル信号を上記第 2のフォーマ ヅ ト のディ ジ夕ル信号に変換する信号変換工程と、 上記第 2のフォーマ ッ 卜のディジ夕ル信号を符号化する符号化工程と、 上記復号された 第 1のフォーマツ 卜のディジ夕ル信号に対する逆重み付けと上記第 2のフォーマツ 卜のディ ジ夕ル信号に対する重み付けとをまとめて 行う重み付け処理工程とを有することを特徴とするものである。
また、 上記の課題を解決するために提案する本発明では、 第 1の フォーマツ 卜のディジタル信号を、 第 2のフォーマツ 卜のディ ジタ ル信号に変換するディ ジ夕ル信号変換装置において、 上記第 1のフ ォーマッ トのディジ夕ル信号を復号する復号手段と、 上記復号され た第 1のフォーマツ 卜のディ ジ夕ル信号を上記第 2のフォーマツ ト のディ ジ夕ル信号に変換する信号変換手段と、 上記第 2のディジ夕 ル信号を符号化する符号化手段と、 上記第 1のフォーマツ 卜のディ ジ夕ル信号に対する逆重み付けと上記第 2のフォーマツ トのデイジ 夕ル信号に対する重み付けとをまとめて行う重み付け処理手段とを 備えることを特徴とするものである。 また、 上記の課題を解決するために提案する本発明では、 動き検 出を伴って圧縮符号化されている入力情報信号に対して動き補償を 伴った復号を施し、 この復号信号に信号変換処理を施し、 この変換 信号に、 上記入力情報信号の動きべク トル情報に基づいた動き検出 を伴って圧縮符号化処理を施す。
また、 上記の課題を解決するために提案する本発明では、 動き検 出を伴う予測符号化と直交変換符号化とを含む圧縮符号化が施され ている入力情報信号に対して、 一部復号処理を施して直交変換領域 の復号信号を得、 この直交変換領域の復号信号に信号変換処理を施 し、 この変換信号に、 上記入力情報信号の動きベク トル情報に基づ いた動き検出を用いて動き補償予測を伴った圧縮符号化処理を施す c また、 上記の課題を解決するために提案する本発明では、 動き検 出を伴う予測符号化と直交変換符号化とを含む圧縮符号化が施され ている入力情報信号に対して、 一部復号処理を施して直交変換領域 の信号を得、 この信号に信号変換処理を施し、 この変換信号に、 上 記入力情報信号の動きべク トル情報に基づいて変換した動きべク 卜 ル情報を付加して圧縮符号化処理を施す。
また、 上記の課題を解決するために提案する本発明では、 動きモ
―ド /静止モ一ド情報が予め付加されている第 1のフォ一マツ トの ディジタル信号を復号し、 この復号信号に信号変換処理を施し、 こ の変換信号の所定プロック単位毎にフレーム間差分符号化を施すか 否かを上記動きモード /静止モード情報に応じて判断し、 この判断 結果に基づいて上記変換信号に符号化を施して、 フレーム間差分を 用いた符号化を伴った第 2のフォーマツ 卜のディジ夕ル信号を出力 する。 また、 上記の課題を解決するために提案する本発明では、 第 1の フォーマッ トのディ ジ夕ル信号に一部復号処理を施して、 直交変換 領域の信号を得、 この直交変換領域の信号に信号変換処理を施し、 この変換信号の所定プロック単位毎にフレーム間差分符号化を施す か否かを、 上記変換信号のフレーム間差分の絶対値の最大値に応じ て判断し、 この判断結果に基づいて上記変換信号を符号化して上記 上記第 2のフォーマツ 卜のディジ夕ル信号を出力する。
また、 上記の課題を解決するために提案する本発明では、 フレー ム内符号化が施されたフレーム内符号化信号と、 動き検出を伴った 順方向及び双方向のフレーム間予測符号化が施された順方向予測符 号化信号及び双方向予測符号化信号とからなる第 1のフォーマツ ト のディ ジ夕ル信号の内、 フレーム内符号化信号と順方向符号化信号 に逆直交変換を施し、 この逆直交変換出力に基づいて、 一部復号さ れた順方向予測符号化信号及び双方向予測符号化信号に加算するた めの動き補償出力を生成し、 この動き補償出力を直交変換し、 直交 変換出力を上記一部復号された順方向予測符号化信号及び双方向予 測符号化信号に加算し、 加算出力に基づいた信号に圧縮符号化を施 して第 2のフォーマツ 卜のディジ夕ル信号を出力する。 図面の簡単な説明 図 1は、 本発明の第 1の実施の形態に係るディジ夕ル信号変換装 置の構成例を示すプロック図である。
図 2は、 直交変換領域における解像度変換の原理について説明す るための図である。 図 3は、 直交変換領域における解像度変換の原理について説明す るための図である。
図 4 A〜図 4 Cは、 本発明の第 1の実施の形態に係るディジ夕ル 信号変換により、 D Vビデオ信号が M P E Gビデオ信号に変換され る際の様子を模式的に示す図である。
図 5は、 D Vフォーマツ 卜と M P E Gフォーマツ 卜の関係を説明 するための図である。
図 6は、 解像度変換処理のための基本的な計算手順を説明するた めの図である。
図 7 A , 図 7 Bは、 D Vフォーマッ トの 「静止モード」 と 「動き モード」 とについて説明するための図である。
図 8は、 「静止モード」 における変換処理の手順を説明するため の図である。
図 9 A〜図 9 Cは、 本発明の第 2の実施の形態に係るディジ夕ル 信号変換装置の構成例を示すプロック図である。
図 1 0は、 画像を拡大する場合の変換処理の手順を説明するため の図である。
図 1 1は、 本発明の第 3の実施の形態に係るディ ジタル信号変換 装置の構成例を示すプロック図である。
図 1 2は、 本発明の第 4の実施の形態に係るディ ジ夕ル信号変換 装置の構成例を示すプロック図である。
図 1 3は、 本発明の第 5の実施の形態に係るディ ジタル信号変換 装置の構成例を示すプロック図である。
図 1 4は、 本発明の第 6の実施の形態に係るディジ夕ル信号変換 装置の構成例を示すプロック図である。 図 1 5は、 本発明の第 7の実施の形態に係るディ ジ夕ル信号変換 装置の構成例を示すプロック図である。
図 1 6は、 本発明の第 7の実施の形態において、 D Vビデオ信号 が M P E Gビデオ信号に変換される際に、 各フレームのマクロプロ ック （M B ) 毎に量子化スケールが設定される基本的な手順を示す フローチャートである。
図 1 7は、 本発明の第 7の実施の形態において、 設定された量子 化スケールを用いて、 次のフレームに対してフィードバックをかけ る基本的な手順を示すフローチャートである。
図 1 8は、 従来において、 M P E Gビデオ信号を D Vビデオ信号 に変換するディ ジ夕ル信号変換装置の構成例を示すプロック図であ る。
図 1 9は、 本発明の第 8の実施の形態に係るディ ジ夕ル信号変換 装置の構成例を示すプロック図である。
図 2 0は、 本発明の第 9の実施の形態に係るディ ジ夕ル信号変換 装置の構成例を示すプロック図である。
図 2 1は、 本発明の第 1 0の実施の形態に係るディ ジ夕ル信号変 換装置の構成例を示すプロック図である。
図 2 2は、 本発明の第 1 1の実施の形態に係るディジ夕ル信号変 換装置の構成例を示すプロック図である。
図 2 3は、 本発明の第 1 2の実施の形態に係るディジ夕ル信号変 換装置の構成例を示すプロック図である。
図 2 4は、 本発明の第 1 2の実施の形態おいて、 直交変換領域で の動き補償、 動き推定処理を説明するための図であり、 マクロプロ ック Bが参照用画像の複数のマクロプロックに跨った様子を示す図 である。
図 2 5は、 本発明の第 1 2の実施の形態おいて、 直交変換領域で の動き補償、 動き推定処理を説明するための図であり、 参照用マク 口プロックの変換処理を示す図である。
図 2 6は、 本発明の第 1 2の実施の形態おいて、 直交変換領域で の動き補償、 動き推定処理を説明するための図であり、 参照用マク 口プロックの変換手順を示す図である。
図 2 7は、 本発明の第 1 3の実施の形態に係るディ ジ夕ル信号変 換装置の構成例を示すプロック図である。
図 2 8は、 従来のディジ夕ル信号変換装置の構成例を示すプロッ ク図である。 発明を実施するための最良の形態 以下、 本発明に係る好ましい実施の形態について図面を参照しな がら説明する。
なお、 以下では、 まず本発明に係るディ ジタル信号変換装置の構 成について説明し、 次にその構成を参照しながら本発明に係るディ ジ夕ル信号変換方法について説明する。
図 1は、 本発明の第 1の実施の形態となるディジ夕ル信号変換装 置の主要部の一構成例を示し、 信号変換としては解像度変換を例示 しているが、 これに限定されず、 フォーマッ ト変換やフィル夕処理 等の種々の信号変換に適用できることは勿論である。
このディジタル信号変換装置は、 前述したいわゆる 「D Vフォー マッ ト」 のビデオ信号 （以下では D V信号という。 ） が第 1のディ ジ夕ル信号として入力され、 MPE G (Moving Picture Experts Group) のフォーマヅ トに従うビデオ信号 （以下では MP E Gビデオ 信号という。 ） を第 2のディジタル信号として出力するものである。 デフレ一ミ ング部 1 1は、 D Vビデオ信号のフレ一ミングを解く ためのものである。 このデフレ一ミ ング部 1 1では、 所定のフォ一 マッ ト （いわゆる DVフォーマッ ト） に従ってフレーミングされて いる DVビデオ信号が、 可変長符号に戻される。
可変長復号 （VLD) 部 1 2は、 デフレ一ミング部 1 1で可変長 符号に戻されたビデオ信号を可変長復号する。
逆量子化 （ I Q) 部 1 3は、 可変長復号部 1 2で可変長復号され たビデオ信号を逆量子化する。
逆重み付け （ I W) 部 14は、 逆量子化部 14で逆量子化された ビデオ信号に施された重み付けの逆操作である、 逆 : み付けを行う。 そして、 信号変換処理の一例として解像度変換を行う場合には、 解像度変換部 1 6で、 逆重み付け部 14で逆重み付けされたビデオ 信号に対して、 直交変換領域 （周波数領域） で所要の解像度変換が 施される。
重み付け （W) 部 1 8は、 解像度変換後のビデオ信号に重み付け を行う。
量子化 （Q) 部 1 9は、 重み付け部 1 8で重み付けされたビデオ 信号を量子化する。
そして、 可変長符号化 （VL C) 部 20で、 量子化部 1 9で量子 化されたビデオ信号を可変長符号化して、 MPEGビデオ信号とし て出力する。
以上説明した、 図 1に例示の本発明に係るディジ夕ル信号変換装 置の各部の構成は、 図 2 8に例示した従来のディジ夕ル信号変換装 置の各部と同様とすることができる。
しかし、 この本発明に係るディジタル信号変換装置は、 解像度変 換部 1 6の前後に逆コサイ ン変換 （ I D C T ) 部およびコサイ ン変 換 （D C T ) 部が配されていない点が従来のディジタル信号変換装 置と異なっている。
すなわち、 従来のディジタル信号変換装置は、 入力される第 1の フォーマツ トのディジ夕ル信号の直交変換係数を逆直交変換して空 間領域 （周波数軸上） のデータに戻した後に所要の変換操作を行う ようにされているため、 再び直交変換して直交変換係数に戻す操作 を行っていた。
これに対して、 本発明に係るディ ジタル信号変換装置は、 入力さ れる第 1のフォーマツ 卜のディジ夕ル信号の直交変換係数に対する 所要の変換操作を、 直交変換係数領域 （周波数領域） で行い、 解像 度変換等の変換処理を行うための手段の前後に逆直交変換手段およ び直交変換手段を備えていないことを特徴とする。
次に、 解像度変換部 1 6における解像度変換処理の原理について、 図 2および図 3を用いて説明する。
図 2において、 入力直交変換行列生成部 1では、 入力ディジタル 信号 5に対して予め施された直交変換を表す直交変換行列 T s (k)の 逆行列 T s (k ) 1を生成し、 変換行列生成部 3に送っている。 出力直 交変換行列生成部 2では、 出力ディ ジ夕ル信号に対して施される逆 直交変換を示す逆変換行列 T d (い—1に対応する直交変換行列 T d ( u を生成し、 変換行列生成部 3に送っている。 変換行列生成部 3では、 解像度変換等の変換処理を周波数領域で行うための変換行列 Dを生 成し、 信号変換部 4に送る。 この信号変換部 4は、 直交変換により 例えば周波数領域に変換された入力ディジ夕ル信号 5を、 例えば周 波数領域等の直交変換された領域のままで変換処理して、 出力ディ ジ夕ル信号 6とするものである。
すなわち、 図 3に例示するように、 元の時間領域 （あるいは空間 領域） の信号 （原信号 A) を、 上記直交変換行列 Ts(k)により例え ば周波数領域に変換して周波数信号 B 1 (上記入力ディ ジ夕ル信号 5に相当） とし、 これを上記信号変換部 4により例えば N/Lに縮 小 （又は拡大） して周波数信号 B2 (上記出力ディ ジタル信号 6に 相当） とし、 この周波数信号 B 2 を上記逆変換行列 Tdu 'によ り 逆直交変換して、 時間領域の信号 Cを得るようにしている。
ここで、 図 3に示す例では、 1次元の原信号 Aを、 長さ kの変換 プロック毎に直交変換し、 得られた周波数領域の変換プロックの隣 接する m個のブロック、 すなわち長さ L (二 k xm) の連続する周 波数信号を、 長さ N (ただし、 N< L) の 1つのプロヅクに変換す る場合、 すなわち全体を N Lに縮小する場合を示している。
以下の説明では、 長さ nの直交変換基底べク トル <旦，， 2，···， ^〉を各行に配列した行列 （直交変換行列） を Τ (η) 、 その逆変換 行列を Τ (π)— 1 のように記述する。 なお、 は、 Xのベク トル表現 を示す。 このとき、 いずれの行列も η次の正方行列である。 一例と して、 η= 8のときの 1次元 D C T変換行列 T (8) を、 次の式 （ 1 ) に示す。 COS(45JI/16)
(60^ 16) 16)
Figure imgf000019_0001
CD
上記図 3において、 既に直交変換行列 Ts(1 により周波数領域に 直交変換された入力ディジ夕ル信号 5について、 その直交変換プロ ックの大きさ、 すなわち基底の長さが kであるとき、 上記入力直交 変換行列生成部 1により逆直交変換行列 Ts(k 1を生成し、 また、 上記出力直交変換行列生成部 2により基底の長さが L (- k xm) の直交変換行列 Td (いを生成する。
このとき、 入力直交変換行列生成部 1により生成される逆直交変 換行列 Ts(k) 1は、 入力ディ ジ夕ル信号 5を生成する際の直交変換 処理 （の逆処理） に対応し、 出力直交変換行列生成部 2により生成 される直交変換行列 Td (いは、 信号変換部 1 4で変換された出力デ ィ ジ夕ル信号を復号する際、 すなわち時間領域に変換する際の逆直 交変換処理 （の逆処理） に対応し、 これらの直交変換行列生成部 1、 2共に、 任意の長さの基底べク トルを生成することができるものと する。
なお、 これらの直交変換行列生成部 1、 2は、 同一の直交変換行 列生成部であってもよく、 この場合、 直交変換行列 Ts(k) と Td ) とは、 基底の長さのみ異なる同一種の直交変換行列になる。 直交変 換行列生成部は、 異なる直交変換方式毎に存在するものである。 次に、 変換行列生成部 3においては、 入力直交変換行列生成部 1 により生成された上記逆直交変換行列 Ts(k) 1を、 次の式 （ 2 ) に 示すように、 対角上に m個配置して、 L次の正方行列 Aを作成する。 また、 出力ディ ジタル信号 6の基底の長さを Nとするとき、 上記直 交変換行列 Td (いの低周波基底べク トル N個を取り出し、 N行 L列 から成る行列 Bを作成する。 (
…（
Figure imgf000021_0001
£ ノ ただし、 ，旦 2 ,…， Nは、 Td (いを以下のように基底ベク トル で表したとき、 低周波の N個を取り出したものである。
, !ヽ lAel £12.
£21 £22 -2L-I
Τώ ϋ £22 - (斗)
、£LL 11 eUr\ £lLノ そして、
D =ひ · Β · Α · · · ( 5 )
を計算し、 Ν行 L列の行列 Dを作成する。 この行列 Dが、 上記縮小 率 （又は拡大率） N/Lに解像度を変換する変換行列になる。 なお、 ひはスカラー値又はべク トル値で、 レベル補正等のための係数であ る ο 上記図 2の信号変換部 4において、 図 3に示すように、 周波数領 域の入力ディジタル信号 B , のブロック m個をひとまとめにし、 L の大きさのメタブロック （ 1メタブロック = mブロック） に分割す る。 入力ディジタル信号 B! の長さが Lの倍数でない場合には、 信 号を補う等により、 例えば 0等のダミーデ一夕を充填 （スタッフィ ング） すること等により、 Lの倍数になるようにする。 このように してできたメタブロックを Mi ( i = 0, 1 , 2, · · · ) とする。 なお、 以上の解像度変換処理の原理については、 本出願人が 1 9 98年 6月 1 6曰に出願した P CT/J P 9 8 /0265 3に詳細 に記載されている。
次に、 第 1の実施の形態のディジタル信号変換方法について、 上 述したディジタル信号変換装置の構成を参照しながら説明する。 図 4 A~Cは、 本発明に係る実施の形態のディジタル信号変換に より、 DVビデオ信号が MP E Gビデオ信号に変換される際の処理 を模式的に示している。 この処理は、 図 1に示した本発明に係る実 施の形態のディジ夕ル信号処理装置においては、 主に解像度変換部 1 6で行われるものである。
なお、 以下では、 1次元の D C T係数ブロックを例として用いて 説明するが、 2次元の D C T係数に対する処理も同様である。
まず、 図 4 Aに示すように、 第 1のフォーマッ トのディ ジタル信 号の、 各々が 8つの D CT係数からなる、 互いに隣接するブロック ( i ) およびブロック （ i + 1 ) から、 それぞれの低域側の D C T 係数を 4つずつ取出す。 すなわち、 プロック （ i) の 8つの D C T 係数 a 0， a l， a 2 , a 3 , · · · , a 7のうちの、 低域側の 4 つの D CT係数 a 0， a 1 , a 2 , a 3のみを取り出して、 D CT 係数の数が 1 / 2にされた部分ブロックをつく る。 同様に、 プロッ ク （ i + 1 ) の 8つの D C T係数 b 0, b l， b 2 , b 3 , · · · , b 7のうちの、 低域側の 4つの D CT係数 b 0， b l , b 2 , b 3 のみを取り出して、 D C T係数の数が 1 /2にされた部分ブロック をつく る。 ここで、 低域側の D C T係数を取り出すのは、 ビデオ信 号を周波数変換すると、 D Cおよび A Cの低周波数にエネルギーが 集中するという性質に基づいている。
そして、 各々が 4つの D C T係数からなる上記の各部分プロック に対して、 それぞれ 4ポイ ン トの逆離散コサイン変換 （ 4 -point I D C T) を施して、 縮小された画素デ一夕を得る。 これらを、 図 48の画素デ一夕 0 , p 1 , 2 , p 3、 及び画素データ p 4， P 5 , p 6 , p 7としてそれぞれ示す。
次に、 それぞれ逆離散コサイン変換が施された上記の縮小された 画素データからなる各部分プロックどう しを結合して、 元のプロッ クと同じ大きさのブロックを生成する。 すなわち、 画素データ ρ θ , p i , 2 , ρ 3と、 画素データ ρ 4, ρ 5 , ρ 6 , ρ 7とを結合 して、 8つの画素データからなる新たなプロックを生成する。
そして、 上記の 8つの画素デ一夕からなる新たなブロックに、 8 ポイン トの離散コサイ ン変換 （ 8- point D CT) を施し、 図 4 C に示すように、 8つの D CT係数 c 0, c 1 , c 2 , c 3 , · · · , c 7からなる 1つのブロック （j ) を生成する。
以上のような手順により、 所定のプロック単位あたりの直交変換 係数 （D CT係数） の数を半分に間引きして、 解像度が異なるフォ —マツ トのビデオ信号に変換することができる。 また例えば D C T 係数の数を 1/4に間引きたい時には、 上述の処理を連続して 2回 行なうことで実現できる。
上記の解像度変換処理は、 例えば、 D Vフォーマッ トから MP E G 1フォーマツ 卜に変換する際に適用することができる。
ここで、 図 5を参照しながら、 DVフォーマッ トと MP E Gフォ —マツ トとの関係、 及びこれらの間のフォ一マツ ト変換について説 明する。
つま り、 図 5に示すようにビデオ信号が N T S C方式である場合 には、 DVフォーマツ トは、 解像度が 7 2 0画素 X 48 0画素， 輝 度信号のサンプリ ング周波数と 2つの色差信号のサンプリ ング周波 数の比が 4 : 1 : 1の圧縮ビデオ信号であり、 MP E G 1フォーマ ッ 卜は、 解像度が 3 6 0画素 X 24 0画素， 輝度信号のサンプリン グ周波数と 2つの色差信号のサンプリング周波数との比が 4 ： 2 ： 0の圧縮ビデオ信号である。 従って、 この場合には、 上述した本発 明に係る解像度変換処理により、 輝度 （Y) 信号の水平 · 垂直方向 の D C T係数の数を 1 / 2に、 また色差 （ C ) 信号の垂直方向の D C T係数の数を、 それぞれ 1 /4にすればよい。
なお、 4 ： 2 ： 0は、 奇数ラインと偶数ラインとが、 交互に 4 ： 2 ： 0と 4 ： 0 ： 2とになるため、 一方の値を代表させて表してい る。
また、 ビデオ信号が PAL方式である場合には、 DVフォーマツ トは、 解像度が 7 2 0画素 X 5 7 6画素， 輝度信号のサンプリ ング 周波数と 2つの色差信号のサンプリング周波数との比が 4 : 2 : 0 の圧縮ビデオ信号であり、 MP E G 1フォーマッ トは、 解像度が 3 6 0画素 X 2 8 8画素， 輝度信号のサンプリ ング周波数と 2つの色 差信号のサンプリング周波数との比が 4 ： 2 ： 0の圧縮ビデオ信号 である。 従って、 この場合には、 上述した本発明に係る解像度変換 処理により、 Y信号の水平 · 垂直方向の D C T係数の数をそれぞれ 1 / 2に、 また C信号の水平 ·垂直方向の D C T係数の数をそれぞ れ 1 / 2にすればよい。
また、 上記の解像度変換処理は、 例えば、 DVフォーマッ トから MP E G 2フォーマツ 卜に変換する際にも同様に適用することがで きる。
ビデオ信号が N T S C方式である場合には、 MP E G 2フォーマ ッ トは、 解像度が 7 2 0画素 X 4 8 0画素， 輝度信号のサンプリ ン グ周波数と 2つの色差信号のサンプリング周波数との比が 4 ： 2 ： 0の圧縮ビデオ信号である。 従って、 この場合には、 Y信号に対し ては変換処理を行わず、 C信号の垂直方向の D C T係数の数を 1 / 2に、 また C信号の水平方向の D C T係数の数を 2倍にすればよい c なお、 この拡大の方法については後述する。
また、 ビデオ信号が PAL方式である場合には、 MP E G 2フォ —マツ トは、 解像度が 7 2 0画素 X 5 7 6画素， 輝度信号のサンプ リング周波数と 2つの色差信号のサンプリング周波数との比が 4 ： 2 ： 0の圧縮ビデオ信号である。 従って、 この場合には、 Y信号お よび C信号のいずれに対しても変換処理を行う必要がない。
図 6は、 以上説明した解像度変換処理のための基本的な計算手順 を表している。
すなわち、 入力される第 1のフォーマッ トのディ ジ夕ル信号の互 いに隣接する 2つのブロックからそれぞれ取り出された 4つの D C T係数 a O , a 1 , a 2 , a 3と 4つの D C T係数 b 0， b l , b 2， b 3とを連結して作成された、 8つの D C T係数からなるプロ ヅクに、 各々が （4 x 4) 行列として与えられる 2つの逆離散コサ イン変換行列 （ I D CT 4) を対角に含み、 他の成分が 0である ( 8 X 8 ) 行列が乗じられる。
そして、 これらの積には、 さらに （8 x 8 ) 行列として与えられ る離散コサイン変換行列 （D CT 8) が乗じられ、 8つの D CT係 数 c 0 , c 1 , c 2 , c 3 , . . ， c 7からなる新たなブロックが 得られる。
ここで、 本発明に係るディ ジタル信号変換方法においては、 解像 度変換処理を D C T領域 （周波数領域） で行うようにしたため、 そ の前後の逆 D C Tおよび D C Tが不要になったことに加え、 上記の 2つの （4 x 4) 逆離散コサイン変換行列 （D C T 4 ) を対角に含 む （ 8 x 8) 行列と、 上記の （8 x 8) の離散コサイ ン変換行列と の積を、 変換行列 Dとして予め求めておく ことにより、 演算量を効 果的に低減することができる。
次に、 前述した第 1のフォーマッ トのディ ジ夕ル信号である DV ビデオ信号を、 第 2のフォーマツ 卜のディ ジ夕ル信号である MP E G 1ビデオ信号に変換する場合の処理について、 さらに詳細に説明 する。
上記の DVフォ一マツ トには、 画像の動き検出結果に応じて切り 換えられる 「静止モード」 と 「動きモード」 とがある。 これらのモ 一ドは、 例えば、 ビデオセグメン ト内の各 （ 8 x 8) 行列の D C T の前に、 動き検出により判別され、 その結果に応じてどちらか一方 のモ一 ドで D C Tが行われる。 上記の動き検出には種々の方法が考 えられ、 具体的には、 フィールド間の差分の絶対値の和を所定のし きい値と比較する方法などがある。 「静止モード」 は、 D Vフォーマッ トの基本モードとされ、 プロ ック内の （ 8 x 8 ) 画素に対して （ 8 x 8 ) D C Tが施される。 なお、 上記の （ 8 x 8 ) ブロックは、 1個の D C成分と 6 3個の AC成分から構成される。
また、 「動きモード」 は、 被写体が動いているときなどに D C T すると、 ィンターレ一ス走査のためにエネルギが分散して圧縮効率 が低下してしまうことを避けるために用いられる。 この動きモード では、 （ 8 x 8 ) ブロヅクを、 第 1フィール ドの （ 4 x 8 ) ブロッ クと第 2フィールドの （ 4 x 8 ) ブロックとに分割し、 各 （ 4 x 8 ) ブロックの画素デ一夕に対して （ 4 x 8 ) D C Tを施すことにより、 垂直方向の高周波成分の増加を抑えて圧縮率の低下を防ぐことがで ぎる。
なお、 上記の各 （ 4 x 8 ) ブロックは、 1個の D Cの成分と 3 1 個の A C成分から構成される。
このように、 DVフォーマッ トにおいては、 静止モードと動きモ —ドとで、 ブロックの構成が異なるため、 以降の処理を同様に行え るようにするために、 動きモードのブロックに対しては、 各 （ 4 X 8 ) の D C T後、 各ブロックの同じ次数の係数どう しで和および差 を求めて （ 8 x 8 ) ブロックを構成する。 この処理により、 動きモ —ドのブロックも、 静止モ一ドのブロックと同様に 1個の D C成分 と 6 3個の A C成分から構成されているようにみなすことができる。 ところで、 DVフォ一マツ 卜のビデオ信号を MP E G 1フォ一マ ッ トのビデオ信号に変換する際には、 MP E G 1フォーマッ トには 3 0フレーム/秒のビデオ信号しか扱わなく、 フィ一ルドの概念が ないため、 一方のフィールドのみを分離する必要がある。 図 7 Aは、 D Vフォーマッ トの 「動きモード （ 2 X 4 X 8 D C T モード） 」 による D C T係数を MP E G 1フォーマッ トの D C T係 数に変換する際に、 フィールドを分離する処理を模式的に示してい る。
( 8 x 8 ) の D C T係数ブロック 3 1の上半分の （ 4 x 8 ) ブロ ック 3 1 aは第 1フィ一ルドの係数と第 2フィール ドの係数との和 (A + B) であり、 上記 （ 8 x 8 ) の D C T係数プロック 3 1の下 半分の （ 4 x 8 ) ブロック 3 1 bは上記 2つのフィ一ルドの各係数 の差 （A— B) である。
従って、 （ 8 X 8 ) の D C T係数プロック 3 1の上半分の （ 4 X 8 ) ブロック 3 1 aと下半分の （ 4 x 8 ) ブロック 3 1 bとを加算 して、 その和を 1 /2にすれば、 第 1フィールド （A) の D C T係 数のみからなる （ 4 x 8 ) ブロック 3 5 aを得ることができる。 同 様に （ 4 x 8 ) ブロック 3 1 aと下半分の （ 4 x 8 ) ブロック 3 1 bとを減算して、 その差を 1 /2にすれば、 第 2フィール ド （B ) の離散コサイン係数のみからなる （ 4 x 8 ) ブロック 3 5 bを得る ことができる。 すなわち、 上記の処理により、 フィールドが分離さ れた （ 8 x 8 ) ブロック 3 5を得ることができる。
そして、 これらのいずれか一方のフィール ド、 例えば第 1フィ一 ルドの D C T係数に対して、 前述した解像度変換処理が施される。 図 7 Bは、 「静止モ一ド （ 8 X 8 D C Tモ一ド） 」 でフィールド を分離する処理を模式的に示している。
( 8 x 8 ) の D C T係数ブロック 3 2は、 第 1フィール ド （ A ) の D C T係数と第 2フィールド （B) の D C T係数が混合されてい る。 そこで、 これを以下に述べる処理でフィールド分離して、 第 1 フィールド （A) のみからなる （4 x 8) ブロック 35 aを得るこ とができ、 同様に （4 x 8) ブロック 3 1 aと下半分の （4 x 8 ) プロック 3 1 bとを減算すれば第 2フィールド （B) のみからなる (4 8) ブロック 35 bを得るための変換処理を行う必要がある, 図 8は、 「静止モード」 におけるフィール ド分離処理の手順を表 している。
まず、 8つの D CT係数 d 0， d 1 , d 2 , d 3 , · · · , d 7 からなる入力に 8次の逆離散コサイ ン変換行列 （ I D C T 8 ) が乗 じられて、 画素データに戻される。
次に、 フィールド分離のための （ 8 x 8) 行列が乗じられること により、 （ 8 x 8) ブロックの上下が、 それぞれ （4 x 8 ) プロ 'ソ クの第 1フィールドおよび第 2フィールドに分けられる。
そして、 各々が （4 x 4) 行列として与えられる 2つの離散コサ ィン変換行列 （ D C T 4 ) を対角に含む （ 8 x 8) 行列がさらに乗 じられる。
これにより、 第 1フィ一ルドの 4つの D C T係数 e 0 , e l , e 2 , e 3と、 第 2フィ一ルドの 4つの D C T係数 f 0 , f 1 , f 2 : f 3とからなる、 8つの D C T係数が得られる。
そして、 これらのいずれか一方のフィールド、 例えば第 1フィー ルドの D C T係数に対して、 前述した解像度変換処理が施される。 ここで、 本発明に係るディ ジタル信号変換方法においては、 解像 度変換を D CT領域 （周波数領域） で行うようにしたため、 その前 後の逆 D C Tおよび D C Tが不要になったことに加え、 図 6の 2つ の （4 x 4) 逆離散コサイン変換行列 （ I D C T 4 ) を対角に含む ( 8 x 8) 行列と、 上記の （ 8 x 8) の離散コサイ ン変換行列との 積を予め求めておく ことにより、 計算量を効果的に低減することが できる。
以上説明した解像度変換処理は画像を縮小する場合についてであ り、 以下では画像を拡大する場合の解像度変換処理について、 第 2 の実施の形態として説明する。
図 9 A〜Cは、 本発明に係るディ ジタル信号変換方法により、 D Vビデオ信号が MP E G 2ビデオ信号に変換される際の様子を模式 的に示している。
なお、 以下の説明においても、 1次元の D C T係数を例として説 明するが、 2次元の D C T係数についても同様に処理することがで きる。
まず、 図 9 Aに示す 8つの直交係数 （D CT係数 g 0〜g 7) か らなるブロック (u) に対して、 8ポイ ン トの逆離散コサイン変換 ( 8 -point I D CT) を施して、 8つの画素データ （h 0〜h 7) に戻す。
次に、 8つの画素データからなるプロックを 2分割して、 それぞ れ 4つの画素データからなる 2つの部分プロックを生成する。
次に、 各々が 4つの D C T係数からなる上記 2つの部分プロヅク に対して、 それぞれ 4ポイン トの D C T ( 4 -point D CT) を施し て、 各々が 4つの D C T係数からなる 2つの部分ブロック （ i 0〜 i 3及び j 0〜 j 3) を生成する。
そして、 図 9 Cに示すように、 上記 4つの画素デ一夕からなる 2 つの部分プロックの各々に対して、 その高域側に 4つの D C T係数 として 0を詰めて、 各々が 8つの D C T係数からなるブロック （ V ) およびブロック （v+ 1 ) を生成する。 以上のような手順により、 フォ一マツ 卜が互いに異なる圧縮ビデ ォ信号の間での解像度変換が、 直交変換領域で行われる。
図 1 0は、 このときの変換処理の手順を表している。
まず、 8つの D C T係数 g 0 , g 1 , g 2 , g 3 , · · · , g 7 からなる入力に 8次の逆離散コサイン変換 （ I D C T) 行列が乗じ られて、 8つの画素データに戻される。
次に、 8つの画素デ一夕からなるブロックを 2分割して、 それぞ れ 4つの画素データからなる 2つの部分プロックを生成する。
次に、 各々が 4つの D C T係数からなる上記 2つの部分ブロック それぞれに対して、 （ 4 x 4 ) 行列として与えられる 4ポイン トの 離散コサイン変換行列と （ 4 X 4 ) 行列として与えられる 0行列を 上:下に含む （ 4 X 8 ) 行列を乗じることによ り、 8つの D C T係数 を含んだ 2つの部分プロック （ i 0〜 i 7及び j 0〜 j 7 ) が生成 される。
このように処理することにより、 1つのブロックから 2つのプロ ックの D C T係数が得られるので、 解像度を周波数領域で拡大する ことができる。
なお、 NT S Cの場合、 D Vフォーマッ トを MP E G 2フォ一マ ッ 卜に変換するには、 図 5に示すように輝度信号 Yの水平 ·垂直方 向には変換を行なう必要はなく、 色差信号 Cの水平方向には 2倍に 拡大し、 色差信号 Cの垂直方向には 1/2に縮小する必要がある。 従って、 上述の拡大処理は、 D Vフォーマッ トから M P E G 2のフ ォーマツ 卜に変換する際の、 色差信号 Cの水平方向の解像度変換に 用いられることになる。
図 1 1は、 本発明の第 3の実施の形態に係るディ ジタル信号変換 装置の主要部の一構成例を示している。 なお、 上述の第 1の実施の 形態と同じ構成には同じリファレンス番号を付けてある。 図 1 と異 なるところは、 重み付け部 1 8 と逆重み付け部 1 4が重み付け処理 部 2 1にまとめられているところである。
つま り重み付け処理 （ I W * W ) 部 2 1 は、 入力される第 1のフ ォ一マヅ 卜のディジ夕ル信号である D Vビデオ信号に施されている 重み付けの逆操作である逆重み付けと、 出力される第 2のフォーマ ッ トのディジ夕ル信号である M P E Gビデオ信号のための重み付け とを、 併せて行う。
このような構成によれば、 入力される第 1のフォーマツ 卜のビデ ォ信号に対する逆重み付け処理と、 出力される第 2のフォーマツ ト のビデオ信号に対する重み付け処理とを併せて行うことができるた め、 上記の逆重み付け処理と IPみ付け処理とを別々に行う場合より も計算量を低減することができる。
なお、 図 1 1に例示した第 3の実施の形態におけるディ ジタル信 号変換装置では、 重み付け処理部 2 1が解像度変換部 1 6の後段に 配されているが、 重み付け処理部を解像度変換部 1 6の前段に配す るようにしてもよい。
図 1 2は、 このような、 重み付け処理部 2 2が解像度変換部 1 6 の前段に配された、 本発明の第 4の実施の形態におけるディジ夕ル 信号変換装置を示している。 この図に示すディジ夕ル信号処理装置 の各部の構成も、 図 1 1に示したディジタル信号変換装置の各部と 同様とすることができる。
ここで、 第 1のフォーマツ 卜のディジ夕ル信号に対する逆重み付 けと、 第 2のディジ夕ル信号に対する重み付けとを併せて行う重み 付け処理や、 上記の重み付け処理を離散コサイン変換 （D C T ) な どの直交変換の前後いずれでも行うことができるのは、 これらの演 算操作が線形操作であることに基づいている。
以下、 本発明に係る第 5の実施の形態におけるディジ夕ル信号変 換方法及び装置の実施の形態について図 1 3を参照しながら説明す る o
このディジタルビデオ信号変換装置は、 図 1 3に示すように、 上 記 D Vビデオ信号を復号する復号部 8 と、 この復号部 8からの復号 出力にフォーマッ ト変換のための解像度変換処理を施す解像度変換 部 1 6と、 この解像度変換部 1 6からの変換出力の所定ブロック単 位毎に順方向フレーム間差分符号化を施すか否かを上記動きモー ド /静止モード情報に応じて判断する判断部 7 と、 この判断部 7から の判断結果に基づいて上記解像度変換部 1 6からの変換出力を符号 化して上記 M P E Gビデオ信号を出力する符号化部 9 とを備えてな る。
なお、 以下では、 これらの各部により構成されるディジタルビデ ォ信号変換装置について述べるが、 各構成部が本発明に係るディ ジ タル信号変換方法の各工程の処理を実施するのはもちろんである。 このディジ夕ルビデオ信号変換装置に入力される D Vビデオ信号 には、 上記静止モード /動きモードを示す情報であるモ一ドフラグ (例えば 1 ビッ ト） が各 D C Tプロックに予め付加されている。 このディジ夕ルビデオ信号変換装置では、 このモ一ドフラグを基 に判断部 7が解像度変換部 1 6からの変換出力の所定プロック単位 毎に順方向フレーム間差分符号化を施すか否かを判断する。 この動 作についての詳細は後述する。 デフレ一ミング部 1 1は、 上記静止モード/動きモードを示すモ
—ドフラグを抽出し、 判断部 7に供給する。
デシャフリング部 1 5は、 D V符号化側で固定長化の単位である ビデオセグメン ト内の情報量を均一化するために行われたシャフ リ ングを解く。
判断部 Ίは、 加算器 2 7 と、 I ( I ピクチャ） / P ( Pピクチャ） 判断部&決定部 2 8 とからなる。 加算器 2 7は、 後述するフレーム メモリ （ F M ) 部 2 4に格納された参照用の D C T係数を負として 上記解像度変換出力に加算する。 加算器 2 7からの加算出力が供給 される I / P判断 &決定部 2 8には、 デフレ一ミング部 1 1からの 上記静止モ一ド /動きモードを示すモードフラグも供給される。 この I / P判断 &決定部 2 8の動作の詳細について説明する。 解 像度変換部 1 6からの変換出力は、 8 X 8個の D C T係数を単位と している。 この 8 X 8個の D C T係数プロックを輝度信号には 4つ、 色差信号には 2つ配分し、 計 6つの D C T係数ブロックから一つの 上記所定ブロックを構成している。 この所定ブロックをマクロブロ ックと呼ぶことにする。
ところで、 Pピクチャは単純に前のフレームとの差分をとること を前提としている。 静止画の場合は差分をとると情報量は減るが、 逆に動いている画の場合、 差分をとると情報量は増えてしまう。 こ のため、 上記静止モード /動きモ一ドを示すモードフラグを見て、 動いていると判断すれば、 情報量が増えるので、 上記マクロブロッ クを I ピクチャのままとし、 静止していると判断すれば差分を採つ て Pピクチャとすれば効率の良い符号化ができる。
I / P判断 &決定部 2 8は、 例えば上記 6つの D C T係数プロッ クについて上記デフレーミ ングから送られてく るモ一ドフラグが全 て上記動きモードを示すときには、 上記マクロブロックについては
Iピクチャにする。 また、 例えば上記 6つの D C Tブロック中で 1 つだけしか動きモードを示すフラグを検出することができなかった ときには、 上記マクロブロックについては Pビクチャにする。
また、 上記 6つの D C Tブロック中、 4つ以上の D C Tプロヅク に動きフラグが付加されていればマクロブロックとしては Iピクチ ャにしてもよい。 また、 6つの D C Tブロック中、 全てに静止モー ドを示すフラグが付加されているときにマクロブロックを Pピクチ ャにするようにしてもよい。
この I/P判断 &決定部 28で I/Pピクチャと決定されたマク ロブ口ック単位の各 D CT係数は、 符号化部 9に供給される。
符号化部 9は、 重み付け （W) 部 1 8と、 量子化 （Q) 部 1 9と、 逆量子化 （ I Q) 部 26と、 逆重み付け （ I W) 部 25と、 FM部 24と、 可変長符号化 （ V L C ) 部 20と、 ノ ッファメモリ 23と、 レ一ト制御部 29とを備えてなる。
重み付け （W) 部 1 8は、 判断部 7を介した上記変換部 1 6から の変換出力である D C T係数に重み付けを行う。
量子化 （Q) 部 1 9は、 重み付け （W) 部 1 8で重み付けされた D CT係数を量子化する。 そして、 可変長符号化 （VL C) 部 20 で、 量子化部 1 9で量子化された D C T係数を可変長符号化して M P E G符号化デ一夕としてバッファメモリ 23に供給する。
バッファメモリ 23は、 上記 MP E G符号化デ一夕の転送速度を 一定にし、 ビッ トス ト リームとして出力する。 レート制御部 29は、 バッファメモリ 23におけるバッファ容量の増減の変化情報により 量子化 （Q) 部 19における情報発生量の増減、 すなわち量子化ス テヅプを制御する。
逆量子化 （ I Q) 部 2 6は、 量子化 （Q) 部 1 9からの量子化 D C T係数を逆量子化し、 逆重み付け （ I W) 部 25に供給する。 逆 重み付け （ I W) 部 25は、 逆量子化 （ I Q) 部 2 6からの D C T 係数に重み付けの逆操作である逆重み付けを行う。 この逆重み付け ( I W) 部 25で逆重み付けされた D C T係数は、 F M部 24に参 照用の D C T係数として格納される。
以上説明したように、 図 1 3に示したディ ジタルビデオ信号変換 装置は、 デフレ一ミ ング部 1 1から送られてく る上記動きモ一ド / 静止モードを示すモー- ドフラグに応じて判断部 7が、 I /P判断 & 決定部 28を使って、 マクロプロック毎に I又は Pピクチャを判断 するので、 本来、 Iピクチャのみからなる D V信号を、 Iピクチャ 又は Pピクチャを使った MP E Gピクチャに変換することができ、 MPE Gビデオ信号の特徴である圧縮率の向上という利点を生かす ことができる。
次に、 本発明の第 6の実施の形態に係るディジ夕ル信号変換方法 及び装置について説明する。
この第 6の実施の形態に係るディジタルビデオ信号変換装置は、 上記図 13に示した判断部 7を図 14に示す判断部 30に置き換え た構成のディジ夕ルビデオ信号変換装置である。
すなわち、 上記 DV信号に一部復号処理を施して、 直交変換領域 の信号、 例えば D C T係数を得る復号部 8と、 この復号部 8からの D CT係数にフォーマツ ト変換のための信号変換処理を施す変換部 1 6と、 この変換部 1 6からの変換出力の所定プロック単位毎に順 方向フレーム間差分符号化を施す否かを、 上記変換出力のフレーム 間差分の絶対値の最大値に応じて判断する判断部 3 0と、 この判断 部 3 0からの判断結果に基づいて上記変換部 1 6からの変換出力に 符号化を施して上記 M P E Gビデオ信号を出力する符号化部 9 とを 備えてなる。
判断部 3 0は、 変換部 1 6からの変換出力である変換 D C T係数 と F M部 2 4からの参照用 D C T係数との差をとつたときの A C係 数の絶対値の最大値をみて、 この最大値と所定のしきい値とを比較 し、 比較結果に基づいて上記マクロプロック毎に I / Pピクチャを 割り当てる。
判断部 3 0は、 差分算出部 3 1 と、 最大値検出部 3 2と、 比較部 3 3と、 I / P決定部 3 5 とを備えてなる。
差分算出部 3 1は、 変換部 1 6からの変換 D C T係数と： F M部 2 4からの参照用 D C T係数との差分をとる。 この差分算出部 3 1か らの差分出力は最大値検出部 3 2に供給されると共に I / P決定部 3 5にも供給される。
最大値検出部 3 2は、 上記差分出力の A C係数の絶対値の最大値 を検出する。 基本的に、 上記 D C T係数に変換されている情報量が 多いと A C係数も大となるし、 一方情報量が少ないと A C係数は小 となる。
比較部 3 3は、 上記最大値検出部 3 2からの絶対値の最大値を端 子 3 4から供給される所定のしきい値と比較する。 この所定のしき い値を適切に選んでいれば、 上記 A C係数の絶対値の最大値の大小 により上記 D C T係数に変換された情報量の多い/少ないが判断で きる。 1 / 決定部 3 5は、 上記比較部 3 3からの比較結果を用い、 上 記差分算出部 3 1からの D C T係数の差分、 すなわち情報量の差分 が大であるか、 小であるかを判断し、 差分が大きいと判断したとき には、 変換部 1 6からの変換 D C T係数プロックからなるマクロブ ロックを I ピクチャに割り付け、 差分が小さいと判断したときには 差分算出部 3 1からのマクロブロックを Pピクチャを割り付ける。 つま り、 しきい値より上記最大値の絶対値が大であれば、 上記差 分の情報量が大であると判断し、 上記マクロブロックを I ピクチャ とする。 また、 しきい値より上記最大値の絶対値が小であれば、 上 記差分の情報量が小であると判断し、 上記マクロブロックを Pピク チヤとする。
これにより、 この第 6の実施の形態となるディジ夕ルビデオ信号 変換装置も、 本来、 I ピクチャのみからなる D V信号を、 I ピクチ ャ又は Pピクチャを使った M P E Gピクチャに変換することができ、 M P E Gビデオ信号の特徴である圧縮率の向上という利点を生かす ことができる。
なお、 t記図 1 3及び図 1 4に示したディ ジ夕ルビデオ信号変換 装置では、 N T S C方式の D V信号と、 M P E G 1 ビデオ信号とを 入力、 出力としたが、 P A L方式の各信号に適用してもよい。
また、 上記の解像度変換処理は、 例えば、 D Vフォーマッ トから M P E G 2フォ一マッ トに変換する際にも同様に適用することがで ぎる。
また、 上記変換部 1 6による解像度変換処理としては、 主として 縮小の向きに解像度変換を行う例について述べたが、 拡大も可能で ある。 すなわち、 一般に、 周波数領域の入力ディジタル信号に対し て、 高周波成分を追加することで、 任意の倍率で解像度を拡大する ことができる。
例えば、 MP E G 2ビデオ信号をディジ夕ル放送サービスに適用 するときに、 プロファイル （機能） /レベル （解像度） によってそ の信号を分類しているが、 例えば、 米国のディ ジタル HD TVで用 いられるメイン ' プロフアイル /ハイ · レベル （M P @ H L ) のビ デォ信号に、 上記 DV信号を変換する場合等に解像度の拡大を適用 できる。
また、 第 6の実施の形態の処理を、 ソフ トウェアで行なうように してもよい。
次に、 図 1 5を用いて、 本発明の第 7の実施の形態に係るディ ジ タル信号変換方法及び装置について説明する。 なお、 上述の実施の 形態と同じ構成には同じリ ファレンス番号を付けてある。
レート制御部 40は、 デフレ一ミ ング部 1 1からの量子化器番号 ( Q_N0) およびクラス番号 （Class) に基づいて、 量子化部 1 9に おけるデ一夕量制御を行う。
図 1 6は、 第 7の実施の形態においてディ ジ夕ル信号変換方法に より、 DVビデオ信号が MP E Gビデオ信号に変換される際に、 各 フレームのマクロプロック （MB) 毎に量子化スケールが設定され る基本的な手順を示している。
ステップ S 1では、 まず、 マクロブロック毎に、 量子化番号 （Q _N0) およびクラス番号 （Class) が取得される。 この量子化番号 (Q_N0) は、 0から 1 5までの値で示されており、 マクロプロック 内の 6個の D C Tブロック全てに共通である。 また、 クラス番号 (Class) は、 0から 3までの値で示されており、 6つの D C Tプロ ック毎に与えられている。
次に、 ステップ S 2で、 以下の手順で D C Tブロック毎に量子 化パラメ一夕 （q— param) が計算される。
量子化テ一ブル q— table[4 ] = { 9 , 6 , 3 , 0 }
量子ィ匕ノ ラメ一夕 q— param = Q_N0 + q _table[class] つま り、 量子化テーブルとしては 4通りの値 （ 9、 6、 3、 0 ) を有し、 それぞれの値はクラス番号 0、 1、 2、 3に対応する。 例 えば、 クラス番号が 2で、 量子化器番号が 8であるときには、 クラ ス番号 2に対応する量子化テーブル値 3と量子化器番号 8が加算さ れ、 量子化パラメ一夕は 1 1 となる。
次に、 ステップ S 3で、 マクロブロック内の 6つの D C Tブロ ヅ クの量子化パラメ一夕 （q— param) の平均が算出される。
そして、 ステップ S 4では、 以下の手順で MP E Gのマクロブロ ヅクの量子化スケール （quantizer— scale) が求められ、 処理を終了 する。
量子化テ一ブル q— table [25]
= {32, 16, 16, 16， 16, 8 , 8 , 8， 8 , 4 ,
4 , 4 , 2， 2 , 2， 2 , 2 , 2 , 2 , 2 , 2 , 2 , 2 , 2 }
quantizer— scale 二 q— table [q—pram]
つま り、 量子化テーブルとしては 2 5通りの値 （ 3 2〜 2 ) を有 し、 それそれの値は上述のように計算された量子化パラメ一夕に対 応する。 つまり量子化パラメ一夕値 0に対応する量子化テ一プルは 3 2であり、 量子化パラメ一夕値 1に対応する量子化テーブルは 1 6であり、 量子化パラメ一夕値 5に対応する量子化テーブルは 8で ある。 例えば、 上述のように求められた量子化パラメ一夕の平均値 が 1 0であるときには、 量子化パラメ一夕値 1 0に対応する 4とい う値が量子化スケール値となる。 以上の手順により、 各フ レーム内 で、 マクロプロック毎の、 量子化パラメ一夕 （ q— param) に基づい て、 ターゲッ ト レ一卜に依存する M P E Gの量子化スケール （quan tizer_scale) が計算される。 なお、 上述のクラス番号と量子化テ一 ブルとの対応関係および量子化パラメ一夕と量子化テーブルとの関 係は経験的に求められたものである。
上記の処理は、 図 1 5に例示した本発明に係るディジタル信号変 換装置においては、 デフレ一ミング部 1 1から送られる量子化番号 ( Q _N0) およびクラス番号 （C lass ) に基づいて、 レ一ト制御部 4 0において行われるものである。
図 1 7は、 上述の手順により設定された量子化スケールを用いて、 次のフ レームに対してフィードバックをかける基本的な手順を示し ている。
ステップ S 1 1では、 まず、 前述の手順により設定されたビッ ト レー トにおける、 フレームあたりの夕一ゲッ トビッ ト数が設定され る。
次に、 ステップ S 1 2で、 フレームあたりの総発生ビッ ト数が積 算される。
次に、 ステップ S 1 3で、 上記のターゲッ トビッ ト数と総発生ビ ッ ト数との差分 （diff ) が計算される。
そして、 ステップ S 1 4で、 上記の計算結果に基づいて、 量子化 スケールが調整される。
上記の各ステツプにおける計算は、 以下のように表される。 diff = cont * diff ( cont： 定数）
q _param = q—param ± f ( diff )
quantizer_scale = q _table [ q _param]
つま り、 ステップ S 1 3で求められた差分値 diffに定数 contが乗 じられることにより正規化が行われる。 この正規化された差分値に 経験的に求められた関数をかけて、 量子化パラメ一夕と加減算され たものを量子化パラメ一夕とされる。 この量子化パラメ一夕値に対 応する値を上述の 2 5通りの値をもつ量子化テーブルから選び出し て次のフレームの量子化スケールとする。
以上.の手順により、 調整された量子化パラメータ （ q _param) に 基づいて新しい量子化スケール （quanti zer_scale) が計算され、 それを次のフレームに用いるフレーム間のフィ一ドバックが行われ る。
次に、 第 8の実施の形態として、 本発明に係るディ ジタル信号変 換方法およびディ ジ夕ル信号変換装置について説明する。 上述の実 施の形態においては D Vフォーマツ トから M P E Gフォーマツ トに 変換する例を示したが、 以下の実施の形態では M P E Gフォーマツ 卜から D Vフォ一マッ トに変換する例について説明する。
まず図 1 8を用いて、 従来における M P E Gフォ一マツ トから D Vフォーマツ 卜に変換する装置について説明する。
図 1 8に示すディジ夕ルビデオ信号変換装置は、 M P E G 2 ビデ ォデ一夕を復号する M P E Gデコーダ 7 0と、 D Vビデオデ一夕を 出力する D Vエンコーダ 8 0からなる。
M P E Gデコーダ 7 0において、 上記 M P E G 2 ビデオデータの ビッ トス ト リームが供給されるパ一サ （Parser) 7 1は、 上記 M P EG2フォーマツ 卜にしたがってフレーミングされて来た量子化 D CT係数のビッ トス ト リームのヘッダを検出し、 可変長符号化され た量子化 D C T係数を可変長復号 （VLD) 部 72に供給すると共 に、 動きベク トル （mv) を抽出して動き補償 （Motion Compensation： M C ) 部 77に供給する。
可変長復号 （VLD) 部 7 2は、 可変長符号化された上記量子化 D C T係数を可変長復号し、 逆量子化 （ I Q) 部 73に供給する。 逆量子化部 73は、 可変長復号部 72で復号された上記量子化 D C T係数に、 符号化側で用いた量子化ステツプを乗算して逆量子化 処理を施し、 D CT係数を得て、 逆離散コサイン変換 （ I D CT) 部 74に供給する。
この逆離散コサイン変換部 74は、 逆量子化部 73からの D C T 係数に逆 D C Tを施して、 D C T係数を空間領域のデータ、 すなわ ち画素デ一夕に戻す。 具体的には、 逆 D CTによって、 8 x 8画素 ブロック毎にそれぞれの画素値 （輝度 Y、 色差 C r、 Cb) が算出 される。 ただし、 ここでの画素値は Iピクチャでは実際の画素値そ のものの値であるが、 Pピクチャと Bピクチャでは対応する画素値 間の差分値となる。
動き補償部 77は、 フレームメモリ （FM) 部 7 6の二つのフレ —ムメモリ FMに格納されている画像情報とバーサ 7 1で抽出した 動きべク トル mvとを用いて動き補償出力を生成し、 この動き補償 出力を加算器 75に供給する。
加算器 75は逆離散コサイ ン変換部 74からの上記差分値に上記 動き補償出力を加算し、 復号画像デ一夕を DVエンコーダ 80の離 散コサイン変換 （D CT) 部 8 1及びフレームメモリ部 7 6に供給 する。
D Vエンコーダ 8 0において、 離散コサイ ン変換部 8 1は上記復 号画像データに D C T処理を施して再び直交変換領域のデータ、 す なわち D C T係数に変換し、 量子化 （Q ) 部 8 2に供給する。
量子化部 8 2は、 上記 D C T係数を、 視覚特性を考慮したマ ト リ ヅクステーブルを用いて量子化し、 上記 D Vフォーマツ トの I ピク チヤとして可変長符号化 （V L C ) 部 8 3に供給する。
可変長符号化部 8 3は、 上記 D Vフォーマッ トの I ピクチャに可 変長符号化処理を施して圧縮し、 フレ一ミング部 8 4に供給する。 フレーミング部 8 4は、 上記可変長符号化処理が施された D Vフ ォ一マヅ トデ一夕をフレーミングし、 D Vビデオデータのビヅ トス ト リ一ムとして出力する。
ところで、 離散コサイン変換 （D C T ) 等の直交変換及びその逆 変換には、 多くの計算量を要するのが通常であるため、 上述したよ うなビデオデ一夕のフォーマッ ト変換が効率良く行えないという問 題がある。 また、 計算量の増加に伴って誤差が蓄積されるため、 信 号が劣化するという問題もある。
そこでこの問題を解決するためのディジタルビデオ信号変換装置 を第 8の実施の形態として図 1 9を用いて説明する。
図 1 9に示すディジ夕ル信号変換装置は、 前述した M P E Gのフ ォ一マツ 卜に従う M P E Gビデオ信号が第 1のディ ジ夕ル信号とし て入力され、 D V信号を第 2のディ ジ夕ル信号として出力するもの である。
パ一サ 1 1 1は、 ビッ トス ト リームとして入力される、 第 1のフ ォ一マヅ 卜のディジ夕ル信号である M P E Gビデオ信号のへッダを 参照して、 動きべク トル mvや量子化スケールなどの画像の動き情 報を抽出する。
上記の動きベク トル mvは、 動き補償 （M C) 部 1 1 5に送られ て動き補償が行われる。 また、 上記の量子化スケール （quantizer^ scale) は、 後述する評価部 1 2 3に送られる。
可変長復号 （ VL D ) 部 1 1 2は、 パーザ 1 1 1で必要な情報が 取り出された MP E Gビデオ信号のビッ トス 卜 リームを可変長復号 する。
逆量子化 （ I Q) 部 1 1 3は、 可変長復号部 1 1 2で復号された MP E Gビデオ信号を逆量子化する。
そして、 逆量子化部 1 1 3で逆量子化された MP E Gビデオ信号 は、 加算部 1 2 5に入力される。 この加算部 1 2 5には、 パーザ 1 1 1からの動きべク トル mvに対する動き補償の結果も、 動き補償 部 1 1 5から入力される。
また、 加算部 1 2 5からの出力は、 後述する信号変換部 1 1 6に 送られると共に、 フレームメモリ 1 1 4を介して上記の動き補償部 1 1 5に入力される。 信号変換部 1 1 6では、 加算部 1 2 5を介し て入力される上記のビデオ信号に対して、 直交変換領域 （周波数領 域） で解像度変換などの所要の信号変換処理が施される。
そして、 信号変換部 1 1 6で所要の信号変換処理が施されたビデ ォ信号は、 シャフリング部 1 1 7でシャフリングされ、 ノ'ヅファ 1 1 8とクラシフアイ （Classify) 部 1 2 2とに送られる。
ノ ソ フ ァ 1 1 8に送られたビデオ信号は、 量子化 （Q) 部 1 1 9 に送られて量子化され、 可変長符号化 （VL C) 部 1 2 0で可変長 符号化され、 さらにフレーミ ング部 1 2 1でフレーミングされて、 D Vビデオ信号のビッ トス ト リ一ムとして出力される。
一方、 クラシフアイ部 1 2 2では、 シャフ リング部 1 1 7でシャ フリングされたビデオ信号をクラス分けして、 その結果をクラス情 報として評価部 1 2 3に送る。
評価部 1 2 3では、 クラシフアイ部 1 2 2からのクラス情報と、 パ一サ 1 1 1からの量子化スケール （quantizer_scale) とに基づ いて、 量子化部 1 1 9での量子化番号を決める。
このような構成によれば、 第 2のフォーマツ 卜のビデオ信号とし て出力される D Vビデオ信号のデ一夕量を、 第 1のフォ一マツ 卜の ビデオ信号として入力される M P E Gビデオ信号に含まれるデ一夕 量情報に基づいて決めることができるため、 信号変換を行って生成 した第 2のフォーマヅ 卜のビデオ信号に対して、 さらにそのデータ 量を決定するための処理が簡略化することができる。
なお、 以上説明した第 7、 8の実施の形態は、 たとえば、 第 1の フォーマツ 卜のディジタル信号または第 2のフォ一マツ トのデイ ジ タル信号の一方が、 M P E G 1のビデオ信号であり、 他方が M P E G 2のビデオ信号である場合にも適用することができる。
次に、 図 2 0を用いて第 9の実施の形態として、 本発明に係るデ ィジ夕ル信号変換方法およびディジ夕ル信号変換装置について説明 する。
M P E G 2のフォ一マッ トに従う M P E Gビデオデータを、 上記 D Vフォーマツ トにしたがう D Vビデオデータに変換するディ ジ夕 ルビデオ信号変換装置であり、 共に P A L方式のデ一夕を想定して いる。
ビデオ信号が P A L方式である場合には、 M P E G 2フォーマヅ ト及び D Vフォーマッ トは、 解像度が 720画素 X 5 7 6画素， 輝 度信号のサンプリング周波数と 2つの色差信号のサンプリング周波 数との比が 4 ： 2 ： 0の圧縮ビデオ信号であるので、 Y信号および C信号のいずれに対しても特に解像度の変換処理を行う必要がない。 図 20において、 MP E Gデコーダ 1 00は、 パ一サ （Parse) 1 1 1と、 可変長復号 （VLD) 部 1 1 2と、 逆量子化 （ I Q) 部 1 1 3と、 加算器 1 25と、 逆離散コサイン （ I D CT) 部 1 3 1と、 フレームメモリ （FM) 部 1 32と、 動き補償 （M C) 部 1 1 5と、 離散コサイン変換 （D CT) 部 1 30とを備えてなる。 ここで、 フ レームメモリ F M部 1 32は、 二つの予測メモリ として用いられる ように構成されている。
この中で、 詳細は後述するが、 逆離散コサイン変換部 1 3 1は、 可変長復号部 1 1 2と逆量子化部 1 1 3により一部復号された Iピ クチャと Pピクチヤに逆離散コサイ ン変換処理を施す。 動き補償部 1 1 5は、 逆離散コサイン変換出力に基づいて、 動き補償出力を生 成する。 離散コサイン変換部 1 30は、 上記動き補償出力を離散コ サイン変換する。 加算器 1 2 5は、 可変長復号部 1 1 2と逆量子化 部 1 1 3により 一部復号された Pピクチャ及び Bピクチャに、 離散 コサイ ン変換部 1 30からの動き補償出力を加算する。
以下、 全体的な動作について説明する。 先ず、 パ一サ 1 1 1は、 ビッ トス ト リームとして入力される、 上記 MP EG 2ビデオデータ のへッダを参照して、 上記 M PEG 2フォーマツ 卜にしたがってフ レ一ミ ングされて来た量子化 D C T係数を可変長符号に戻して可変 長復号部 1 1 2に供給すると共に、 動きべク トル （mv) を抽出し て動き補償部 1 1 5に供給する。 可変長復号部 1 1 2は、 可変長符号に戻された上記量子化 D C T 係数を可変長復号し、 逆量子化部 1 1 3に供給する。
逆量子化部 1 1 3は、 可変長復号化部 1 1 2で復号された上記量 子化 D C T係数に、 符号化側で用いた量子化ステツプを乗算して逆 量子化処理を施し、 D C T係数を得て、 加算器 1 2 5に供給する。 この可変長復号部 1 1 2及び逆量子化部 1 1 3により得られる D C T係数は、 逆離散コサイン変換されて画素データに戻されることの 無い出力、 すなわち、 一部復号されたデータとして、 加算器 1 2 5 に供給される。
加算器 1 2 5には、 離散コサイン変換部 1 3 0で直交変換された 動き補償部 1 1 5からの動き補償出力も供給されている。 そして、 加算器 1 2 5は直交変換領域において上記 部復号されたデ一夕に 上記動き補償出力を加算し、 この加算出力を、 D Vエンコーダ 1 1 0に供給すると共に、 逆離散コサイ ン変換部 1 3 1に供給する。 逆離散コサイ ン変換部 1 3 1は、 上記加算出力の内の I ピクチャ 及び Pピクチャに逆離散コサイン変換処理を施し、 空間領域のデ一 夕にする。 この空間領域のデ一夕が、 動き補償に用いる参照画像デ —夕となる。 この動き補償のための参照画像デ一夕は、 フレームメ モリ部 1 3 2に格納される。
そして、 動き補償部 1 1 5はフレームメモリ部 1 3 2に格納され た参照画像デ一夕と、 パーザ 1 1 1で抽出された動きべク トル m V を用いて動き補償出力を生成し、 この動き補償出力を離散コサイ ン 変換部 1 3 0に供給する。
離散コサイン変換部 1 3 0では、 上記空間領域で処理された動き 補償出力を上述したように再度直交変換領域に戻してから加算器 1 2 5に供給する。
加算器 1 2 5は逆量子化部 1 1 3からの一部復号された P及び B ピクチャの差分信号の D C T係数に、 上記離散コサイ ン変換部 1 3 0からの動き補償出力の D C T係数を加算する。 そして、 この加算 器 1 2 5からの加算出力は、 直交変換領域での一部復号デ一夕とし て D Vエンコーダ 1 1 0及び逆離散コサイン変換部 1 3 1 に供給さ れる。
なお、 逆量子化部 1 1 3からの一部復号された I ピクチャは、 フ レーム内符号化画像信号であるので、 動き補償の加算処理は不要で あり、 そのまま上記逆離散コサイ ン変換部 1 3 1に供給されると共 に、 D Vエンコーダ 1 1 0にも供給される。
D Vエンコーダ 1 1 0は、 量子化 （ Q ) 部 1 4 1 と、 可変長符号 化 （V L C ) 部 1 4 2 と、 フレーミング部 1 4 3とからなる。
量子化部 1 4 1は、 M P E Gデコーダ 1 0 0からの I ピクチャ、 Pピクチャ及び Bビクチャの直交変換領域のままのデコ一ド出力、 すなわち D C T係数を量子化し、 可変長符号化部 1 4 2に供給する。 可変長符号化部 1 4 2は上記量子化 D C T係数に可変長符号化処 理を施し、 フレーミング部 1 4 3に供給する。 フレ一ミング部 1 4 3は可変長符号化部 1 4 2からの圧縮符号化データをフレーミング し、 D Vビデオデ一夕のビッ トス ト リ一ムとして出力する。
このように、 変換する M P E G 2ビデオデータが I ピクチャであ るとき、 M P E Gデコーダ 1 0 0は、 M P E G 2 ビデオデ一夕を可 変長復号部 1 1 2及び逆量子化部 1 1 3により直交変換領域まで一 部復号し、 D Vエンコーダ 1 1 0で量子化部 1 4 1及び可変長符号 化部 1 4 2により一部符号化する。 同時に、 P / Bピクチャの参照 画像とするため、 I ピクチャに逆離散コサイ ン変換部 1 3 1で逆離 散コサイン変換を施してフ レームメモリ部 1 3 2に格納する。
また、 変換する Pピクチャ及び Bピクチャであるときには、 上述 したように、 動き補償出力を生成する処理のみ逆離散コサイン変換 部 1 3 1を用いて空間領域で行い、 可変長復号部 1 1 2及び逆量子 化部 1 1 3で一部復号された Pピクチャ及び Bピクチャである差分 信号に加えてフレームを構成する部分は離散コサイ ン変換部 1 3 0 による離散コサイン変換領域で行う。 そして、 その後 D Vェンコ一 ダ 1 1 0で部分ェンコ一ドする。
特に、 Pピクチャの場合、 動きベク トル m vで示された位置のマ クロブロックを逆離散コサイ ン変換部 1 3 1で逆離散コサイン変換 された I ピクチャから動き補償部 1 1 5での動き補償処理により持 つてく る。 そのマクロブロックに離散コサイ ン変換部 1 3 0で離散 コサイ ン変換処理を施し、 離散コサイン変換領域にて、 差分信号で ある上記 Pピクチャの D C T係数に加算器 1 2 5を使って加算する c これは、 空間領域での足し算結果に離散コサイ ン変換を施したもの は、 離散コサイ ン変換したもの同士の足し算した結果と等価である ことに基づいている。 そして、 その結果を D Vエンコーダ 1 1 0で 部分エンコードする。 同時に、 次の Bピクチャの参照のために、 加 算器 1 2 5からの加算出力に逆離散コサイン変換部 1 3 1で逆離散 コサイ ン変換を施し、 フ レームメモリ部 1 3 2に格納しておく。
Bピクチャの場合には、 動きべク トル m vで示された位置のマク ロブ口ックを逆離散コサイ ン変換部 1 3 1で逆離散コサイ ン変換さ れた Pピクチヤから持ってく る。 そして、 そのマクロブロックに離 散コサイン変換部 1 3 0で離散コサイン変換を施し、 離散コサイ ン 変換領域にて、 差分信号である Bピクチャ D C T係数を足し算する。 ここで、 双方向の場合は、 二つの参照フレームより持ってきて平均 をとる。
その結果を D Vエンコーダ 1 1 0で部分エンコー ドする。 なお、 Bピクチャは、 参照フレームにはならないので、 逆離散コサイ ン変 換部 1 3 1で逆離散コサイン変換を施すことはない。
上述のような第 9の実施の形態によると、 Iピクチャをデコー ド するには、 従来、 逆離散コサイン変換 （ I D C T) と離散コサイ ン 変換 （D C T) 処理が共に必要であったのが、 本実施の形態のディ ジ夕ルビデオ信号変換装置では、 参照用に I D C Tを必要とするの みとなる。
また、 Pピクチャをデコードするには、 0〇丁と参照用の 100 T処理を必要とするが、 Bピクチャをデコ一 Kするには従来、 D C T及び I D C Tを共に必要としたのに比較し、 D C Tのみで参照用 の I D C Tを不要とする。
一般的な MP E G 2デ一夕、 例えば GO Pの数 N = 1 5、 順方向 予測のピクチャ間隔 M二 3の場合を例にとると、 I ピクチャは 1個、 Pピクチャは 4個、 Bピクチャは 1 0個である。 D C Tと I D C T の計算量をほぼ同じとみなすと、 上記 1 5フ レーム当たりの MP E G 2デ一夕は、 重み付けを省略したとき、 従来では、
2 X D C T ( 1 / 1 5 ) + 2 D C T X ( 4/ 1 5 )
+ 2 X D C T X ( 1 0/ 1 5 ) = 2 X D C T となるのに対し、 上記図 2 0に示したディジ夕ルビデオ信号変換装 置では、
1 X D C T X ( 1 / 1 5 ) + 2 X D C T X ( 4/ 1 5 ) + 1 X D C T X ( 1 0/ 1 5 ) = 1. 2 6 6 6 X D C T となり、 大幅に計算量を削減できる。 この式における D C Tは計算 量を示す。
すなわち、 上記図 2 0に示したディジ夕ルビデオ信号変換装置は、 MP E G 2ビデオデータから D Vビデオデ一夕にフォーマツ ト変換 するためのデ一夕算出処理量を大幅に削減することができる。
次に、 第 1 0の実施の形態におけるディジ夕ルビデオ信号変換装 置の他の実施の形態について図 2 1を参照しながら説明する。
この第 1 0の実施の形態も、 MP E G 2のフォーマツ 卜に従う M P E Gビデオデータを、 上記 D Vフォ一マツ 卜にしたがう D Vビデ ォデ一夕に変換するディ ジ夕ルビデオ信号変換装置であるが、 MP E G 2のビデオデ一夕は高解像度、 例えば 1 44 0画素 X 1 0 8 0 画素の圧縮ビデオ信号を想定している。
例えば、 MP E G 2ビデオ信号をディジ夕ル放送サービスに適用 するときに、 プロファイル （機能） /レベル （解像度） によってそ の信号を分類しているが、 例えば、 米国のディ ジタル HD TVで用 いられるメイン · プロフアイル /ハイ · レベル （M P @ H L ) のビ デォ信号は上述したように高解像度であり、 これを上記 D Vビデオ デ一夕に変換する場合である。
このため、 図 2 1に示すディ ジタルビデオ信号変換装置では、 図 2 0に示した MP E Gデコーダ 1 0 0と DVエンコーダ 1 1 0との 間に、 上記変換処理を行うための信号変換部 1 40を備えている。 この信号変換部 1 4 0は、 上記 MP E G符号化デ一夕に施されて いる D C T符号化で用いられた直交変換行列に対応する逆直交変換 行列と、 時間領域での信号変換出力信号を得るための I D C T符号 化に用いる逆直交変換行列に対応する直交変換行列とに基づいて生 成された変換行列によ り MPE Gデコーダ 1 00からの D CT変換 領域の D C T係数に解像度変換処理を施す。
この信号変換部 140からの解像度変換出力である D C T係数は、 h記 DVエンコーダ 1 1 0に供給される。
DVエンコーダ 1 1 0は、 解像度変換出力の D C T係数に量子化 と可変長符号化を施し、 フレーミングした後、 上記 DVビデオデ一 夕のビッ トス ト リームとして出力する。
このように、 このディ ジタルビデオ信号変換装置は、 MPE G 2 ビデオ信号内のメイン ' プロファイル/ハイ · レベル （MP@HL) のビデオ信号を、 信号変換部 140で解像度変換してから、 DVェ ンコーダで符号化して D Vビデオデータとしている。
このとき、 上記図 20に示したディジ夕ルビデオ信号変換装置と 同様に、 Iピクチャについては、 従来、 I D CTと D CTの処理が 共に必要であったのが、 この第 1 0の実施の形態のディジタルビデ ォ信号変換装置では、 参照用に I D CTするのみである。
Pピクチャについては D C Tと参照用に I D CTを施すことにな り従来と変わりが無いが、 Bピクチャについては従来、 D CT及び I D C Tを共に必要としたのに比較し、 D C Tのみで参照用の I D C Tを不要である。
すなわち、 上記図 2 1に示したディ ジ夕ルビデオ信号変換装置も、 高解像度の MP E G 2ビデオデ一夕から DVビデオデ一夕にフォー マッ ト変換するためのデータ算出処理量を大幅に削減することがで きる。
なお、 上記信号変換部 140による解像度変換処理としては、 主 として縮小の向きに解像度変換を行う例について述べたが、 拡大も 可能である。 すなわち、 一般に、 周波数領域の入力ディジタル信号 に対して、 高周波成分を追加することで、 任意の倍率で解像度を拡 大することができる。 例えば、 M P E G 1 ビデオデ一夕を上記 D V ビデオデ一夕にフォーマッ ト変換する場合等である。
また、 上記処理ををソフ トウエアで行なうようにしてもよい。 ところで上述の M P E Gフォーマツ トゃ D Vフォーマツ 卜の圧縮 方式では、 静止画データや動画デ一夕等を効率よく圧縮符号化する ためには、 直交変換符号化と、 予測符号化とを組み合わせたハイブ リ ツ ド圧縮符号化方法が用いられている。
ところで、 ハイプリ ッ ド圧縮符号化方法により圧縮符号化された 入力情報信号に解像度の変換処理を施した後、 再び直交変換を施す と共に再び動き補償を伴った予測符号化を施すときには、 再予測符 号化処理を行うための工程においても動きべク トルを推定しなけれ ばならない。
解像度の変換処理を施すことなく全く同じ解像度で再予測符号化 するのであれば、 予測符号化時の動きべク トルを用いれば良いが、 解像度を変換すると、 変換歪みが変わってく るので、 その分上記再 予測符号化工程で用いる動きベク トルも変化してしまうためである c そこで、 上記再予測符号化工程においては、 動きベク トルを推定 する必要があるが、 この動きべク トルの推定の演算量は非常に多く なってしまっていた。
この問題を解決するのが、 第 1 1の実施の形態によるディジタル 信号変換装置である。 第 1 1の実施の形態に係るディジタル信号変 換方法及び装置は、 直交変換符号化と予測符号化とを組み合わせた ハイプリ ッ ド圧縮符号化により圧縮符号化された入力情報信号に、 時間領域又は直交変換領域で例えば解像度変換のような信号変換処 理を施し、 再び直交変換領域に戻し又は直交変換領域のまま再圧縮 符号化を施すものである。
上記ハイブリ ッ ド圧縮符号化の具体例としては、 I TU— T (国 際電気通信連合一電気通信標準化部門） にて勧告された H. 26 1 や H. 263、 また MPEG、 D V等の符号化規格が挙げられる。
H. 26 1は、 低ビッ トレートを対象とした映像符号化規格であ り、 I SDNによるテレビ会議 · テレビ電話を主たる用途に閧発さ れた。 また、 H. 263は、 G S T Nテレビ電話システムのために H. 2 6 1を改良した符号化方式である。
以下、 第 1 1の実施の形態について図 22を参照しながら説明す る。 この実施の形態は、 MPE Gのフォーマッ トにしたがう MPE G符号化デ一夕が入力され、 この MP E G符号化デ一夕に信号変換 処理として解像度変換処理を施してから解像度変換された MP E G 符号化デ一夕として出力するディジ夕ルビデオ信号変換装置である。
このディジタルビデオ信号変換装置は、 図 22に示すように、 動 きべク トル （mv) 検出を伴って圧縮符号化されている MP E G符 号化データのビッ トス ト リームに対して動き補償 MCを用いた復号 を施す復号部 2 1 0と、 この復号部 2 1 0からの復号出力に解像度 変換処理を施す解像度変換部 1 60と、 この解像度変換部 1 60か らの変換出力画像に、 上記 MP E G符号化データに付加されている 動きべク トル mvに基づいた動き検出を伴って圧縮符号化処理を施 し、 解像度を変換したビデオ符号化デ一夕のビッ トス ト リ一ムを出 力する符号化部 220とを備えてなる。 なお、 以下では、 これらの各部により構成されるディジタルビデ ォ信号変換装置について述べるが、 各構成部が本発明に係るディジ タル信号変換方法の各工程の処理を実施するのはもちろんである。 復号部 2 1 0は、 可変長復号 （VL D) 部 1 1 2と、 逆量？化 ( I Q) 部 1 1 3と、 逆離散コサイ ン変換 （ I D C T) 部 1 5 0と、 加算器 1 5 1と、 動き補償 （MC) 部 1 5 2と、 フレームメモリ (FM) 部 1 5 3とを備えてなる。 ここで、 FM部 1 5 3は、 二つ の予測メモリとして用いるフレームメモリ FMにより構成されてい る。
V L D部 1 1 2は、 上記 M P E G符号化デ一夕、 すなわち付加情 報である動きベク トルと量子化 D C T係数が可変長符号化された符 号化データを、 可変長符号化に応じて復号すると共に、 動きべク ト ル mvを抽出する。 1 部 1 1 3は、 VLD部 1 1 2で復号された 量子化 D C T係数に、 符号化側で用いた量子化ステツプを乗算して 逆量子化処理を施し、 D C T係数を得る。
I D C T部 1 5 0は、 I Q部 1 1 3からの D C T係数に逆 D C T を施して、 D C T係数を空間領域のデータ、 すなわち画素デ一夕に 戻す。 具体的には、 逆 D C Tによって、 8 X 8画素ブロック毎にそ れそれの画素値 （輝度 Y、 色差 C r、 C b ) が算出される。 ただし、 ここでの画素値は Iピクチャでは実際の画素値そのものの値である が、 Pピクチャと Bピクチヤでは対応する画素値間の差分値となる。
M C部 1 5 2は、 FM部 1 5 3の二つの F Mに格納されている画 像情報に、 VL D部 1 1 2で抽出した動きベク トル mvを用いて動 き補償処理を施し、 この動き補償出力を加算器 1 5 1に供給する。 加算器 1 5 1は、 I D C T部 1 5 0からの差分値に M C部 1 5 2 からの動き補償出力を加算し、 復号画像信号を出力する。 解像度変 換部 1 60は、 上記復号画像信号に対して所要の解像度変換処理を 施す。 この解像度変換部 1 60からの変換出力は、 符号化部 220 に供給される。
符号化部 220は、 スケール変換部 1 7 1と、 動き推定 ME部 1 72と、 加算器 1 73と、 D CT部 1 75と、 レート制御部 1 83 と、 量子化 （Q) 部 1 76と、 可変長符号化 （VL C) 部 1 77と、 ノ ツファメモリ 1 78と、 I Q部 1 79と、 I D CT部 1 80と、 加算器 18 1と、 FM部 1 82と、 MC部 1 74とを備えてなる。 スケール変換部 1 7 1は、 解像度変換部 1 60で用いた解像度変 換率に応じて V L D部 1 1 2が抽出した動きべク トル m Vをスケ-- ル変換する。 例えば、 解像度変換部 1 60での解像度変換率が 1/ 2であった場合には、 動きべク トル mvの 1/2にスケール変換す る。
ME部 1 72は、 スケール変換部 1 7 1からのスケール変換情報 を用い、 解像度変換部 1 60からの変換出力の狭い範囲を探すこと により、 変換された解像度での最適な動きべク トルを推定する。
ME部 1 72で推定された動きベク トルは、 M C部 1 74による 動き補償時に用いられる。 また、 ME部 1 7 2で動きベク トルを推 定するときに用いた上記解像度変換部 1 60からの変換出力画像は 加算器 1 73に供給される。
加算器 1 73は、 後述する参照画像と解像度変換部 1 60からの 変換出力との差分を採り、 D C T部 1 75に供給する。
D CT部 1 75は、 MC部 1 74で動き補償することによって得 た参照画像と上記変換出力画像との差分を、 8 X 8のプロックサイ ズで離散コサイン変換する。 なお、 Iピクチャについては画面 （フ レーム） 内符号化であるのでフレーム間の差分を採らずに、 そのま ま D C T演算を行う。
量子化 （Q) 部 1 7 6は、 D CT部 1 75からの D C T係数を、 視覚特性を考慮したマ ト リ ックステーブルを用いて量子化する。 V LC部 1 77は、 Q部 1 76からの量子化 D CT係数を可変長符号 化により圧縮する。
ノ ソ ファメモリ 1 78は、 V L C部 1 77で可変長符号化により 圧縮された符号化データの転送速度を一定にするためのメモリであ る。 このバッファメモリ 1 78から解像度変換されたビデオ符号化 データが一定の転送レートでビッ トス ト リームとして出力される。
レ一ト制御部 1 83は、 ノ ソフ ァメモリ 1 78におけるバヅ フ ァ 容鼉の増減の変化情報により Q部 1 76における情報発生量の増減、 すなわち量子化ステツプを制御する。
I Q部 1 79は、 I D CT部 1 80と共に局部復号部を構成し、 Q部 1 76からの量子化 D C T係数を逆量子化し、 D C T係数を I D CT部 1 80に供給する。 I D CT部 1 80は、 I Q部 1 79か らの D C T係数を逆 D C T変換し、 画素デ一夕に戻して加算器 1 8 1に供給する。
加算器 1 8 1は、 I D CT部 1 80からの逆 D CT出力である画 素デ一夕に MC部 1 74からの動き補償出力を加算する。 加算器 1 8 1からの加算出力となる画像情報は FM部 1 82に供給される。 この FM部 1 82に格納された画像情報には M C部 1 74で動き補 償処理が施される。
MC部 1 74は、 FM部 1 82に格納されている画像情報に対し て ME部 1 7 2で推定された最適な動きべク トルを用いて、 動き補 償処理を施し、 参照画像となる動き補償出力を加算器 1 7 3に供給 する。
加算器 1 7 3は、 上述したように、 解像度変換部 1 6 0からの変 換出力画像と上記参照画像との差分を採って D C T部 1 7 5に供給 する。
D C T部 1 7 5、 Q部 1 7 6、 V L C部 1 7 7及びバッファメモ リ 1 7 8は、 上述したように動作し、 最終的にこのディジ夕ルビデ ォ信号変換装置から解像度変換されたビデオ符号化データが一定の 転送レートでビッ トス ト リ一ムとして出力される。
このディジ夕ルビデオ信号変換装置では、 符号化部 2 2 0の ME 部 1 7 2で動きベク トルを推定するときに、 全く情報が無い状態か ら推定するのではなく、 基の圧縮されたビデオ信号のマク口プロ ッ クについている動きべク トルを、 解像度変換部 1 6 0での解像度変 換率に応じてスケール変換部 1 7 1でスケール変換し、 このスケ一 ル変換部 1 Ί 1からのスケール変換情報を基に解像度変換部 1 6 0 からの変換出力画像の狭い範囲をサーチして動き補償用の動きべク トルを推定している。 このため、 ME部 1 7 2での計算量を大幅に 削減することができるので、 装置の小型化及び変換処理時間の短縮 化を達成できる。
次に、 第 1 2の実施の形態について説明する。 この実施の形態も、 MP E Gビデオ信号に解像度変換処理を施して出力するディジ夕ル ビデオ信号変換装置である。
このディジタルビデオ信号変換装置は、 図 2 3に示すように、 上 記ハイプリ ッ ド符号化が施されている MP E G符号化デ一夕に対し て、 M Cを用いた予測復号処理のみを施すことにより直交変換符号 化が施されたままの直交変換領域の復号デ一夕を得る復号部 2 1 1 と、 この復号部 2 1 1からの直交変換領域の復号デ一夕に解像度変 換処理を施す解像度変換部 260と、 この解像度変換部 260から の変換出力に、 上記 MP E G符号化データの動きべク トル情報に基 づいた動き検出を用いて動き補償予測を伴った圧縮符号化処理を施 す符号化部 22 1とを備えてなる。
なお、 以下でも、 これらの各部により構成されるディ ジタルビデ ォ信号変換装置について述べるが、 各構成部が本発明に係るディ ジ タル信号変換方法の各工程の処理を実施するのはもちろんである。 このディジ夕ルビデオ信号変換装置は、 上記図 22に示した装置 と比較すると、 復号部 2 1 0で I D CT部 1 50を、 また符号化部 220で D CT部 1 75と I D CT部 1 80を不要とする。 すなわ ち、 このディジタルビデオ信号変換装置は、 D CT領域のままの復 号データに解像度変換処理を施し、 この変換出力を符号化する。
D C T等の直交変換及びその逆変換には一般的に多くの計算量を 要する。 このため、 上述したような解像度の変換が効率良く行えな い可能性がある。 また、 計算量の増加に伴って誤差が蓄積されるた め、 信号が劣化する可能性もある。
そこで、 図 23に示したディジタルビデオ信号変換装置は、 図 2 2における I D CT部 1 50と、 D CT部 1 75と、 I D CT部 1 50を省略し、 さらに解像度変換部 1 60の機能を変更している。 また、 D C T領域において解像度変換部 1 60からの変換 D C T 係数から後述する精細度を算出し、 この精細度を用いて動きべク ト ルを推定するために、 図 22に示したスケール変換部 1 7 1の代わ りに精細度算出部 200を用いている。
図 23に示す解像度変換部 260には、 V L D部 2 1 2で復号さ れた量子化 D CT係数を I Q部 2 1 3で逆量子化して得た D C T係 数に MC部 252からの動き補償出力を加算器 25 1で加算した加 算出力 （D CT係数） が供給される。
この解像度変換部 260は、 上記 MP E G符号化デ一夕に施され ている D C T符号化で用いられた直交変換行列に対応する逆直交変 換行列と、 時間領域での信号変換出力信号を得るための I D C T符 号化に用いる逆直交変換行列に対応する直交変換行列とに基づいて 生成された変換行列により復号部 2 1 1からの D C T変換領域の D C T係数に解像度変換処理を施す。
この解像度変換部 2 60からの解像度変換出力である D CT係数 は、 精細度算出部 200に供給される。 精細度算出部 200は、 解 像度変換部 260からの D C T係数の輝度成分からマクロプロック 単位での空間の精細度 （Activity) を算出する。 具体的には、 D C T係数の A C値の最大値を用いて、 画像の特徴を算出する。 例えば、 高周波成分が少なければ、 平坦な画であることを示す。
ME部 272は、 精細度算出部 200が算出した精細度に基づい て、 変換された解像度での最適な動きベク トルを推定する。 すなわ ち、 ME部 272は、 VLD 2 1 2で抽出した動きべク トル mvを、 精細度算出部 200で算出した精細度に基づいて変換し、 動きべク トル mvを推定し、 この推定した動きべク トル mvを ME部 272 に供給する。 ここで、 ME部 272は、 直交変換領域のままで動き べク トルを推定する。 この直交変換領域での MEについては後述す る。 解像度変換部 2 6 0からの解像度変換 D C T係数は、 精細度算出 部 2 ◦ 0及び ME部 2 7 2を介して加算器 2 7 3に供給される。 加算器 2 7 3は、 後述する参照 D C T係数と解像度変換部 2 6 0 からの変換 D C T係数との差分を採り、 量子化 （Q) 部 2 7 6に供 給する。
Q部 2 7 6は、 上記差分値 （D C T係数） を量子化し、 量子化 D C T係数を VL C部 2 7 7及び I Q部 2 7 9に供給する。
また、 レート制御部 2 8 3は、 精細度算出部 2 0 0からの精細度 情報と、 バッファメモリ 2 7 8でのバッファ容量の増減の変化情報 により Q部 2 7 6における情報発生量の増減、 すなわち量子化ステ ップを制御する。
V L C部 2 7 7は、 Q部 2 7 6からの量？化 D C T係数を可変長 符号化により圧縮符号化し、 ノ ッファメモリ 2 7 8に供給する。 ノ ッファメモリ 2 7 8は、 V L C部 2 7 7で可変長符号化により圧縮 された符号化デ一夕の転送速度を一定にし、 解像度変換されたビデ ォ符号化デ一夕を一定の転送レートでビッ トス ト リームとして出力 する。
I Q部 2 7 9は、 Q部 2 7 6からの量子化 D C T係数を逆量子化 し、 D C T係数を加算器 2 8 1に供給する。 加算器 2 8 1は、 I Q 部 2 7 9からの逆 Q出力である D C T係数に MC部 2 74からの動 き補償出力を加算する。 加算器 2 8 1からの加算出力となる D C T 係数情報は F M部 2 8 2に供給される。 この FM部 2 8 2に格納さ れた D C T係数情報には MC部 2 7 4で動き補償処理が施される。
MC部 2 74は、 FM部 2 8 2に格納されている D C T係数情報 に対して M E部 2 7 2で推定された最適な動きべク トルを用いて、 動き補償処理を施し、 参照 D C T係数となる動き補償出力を加算器 2 8 1 に供給する。
加算器 2 7 3は、 上述したように、 解像度変換部 2 6 0からの変 換 D C T係数と上記参照 D C T係数との差分を採って Q部 2 7 6に 供給する。
そして、 Q部 2 7 6、 V L C部 2 7 7及びバッファメモリ 2 7 8 は、 上述したように動作し、 最終的にこのディ ジタルビデオ信号変 換装置から解像度変換されたビデオ符号化データが一定の転送レー トで出力される。
ここで、 M C部 2 7 4は、 M E部 2 7 2で推定された最適な動き べク トルと、 F M 2 8 2に格納されている参照 D C T係数とを用い、 M E部 2 7 2 と同様に直交変換領域のままで動き補償を行う。
直交変換領域での M E及び M Cについて図 2 4〜図 2 6を参照し ながら説明する。 図 2 4において、 実線は圧縮しょうとしている画 像 Aのマク口プロックを表し、 点線は参照用の画像 Bのマク口プロ ックを表す。 動きべク トルを用いて圧縮しょうとしている画像 Aと 参照用画像 Bとを図 2 4のように重ねあわせると、 マクロブロック の境界線が一致しない場合が起こる。 図 2 4の場合では、 現在圧縮 しょう としているマクロブロック B，は、 参照用の画像 Bの 4つのマ クロブロック B ,、 B 2、 B 、 に跨っている。 従って、 マクロブ ロック B，に一体一で対応する参照用画像 Bのマク口ブロックは存在 しないことになつてしまい、 マクロブロック ; B，が位置しているとこ ろの参照用画像 Bの D C T係数を得ることがきない。 そこでマクロ ブロック B 'が跨つている参照用画像 Bの 4つのマクロブロックの D C T係数を変換処理することによって、 マクロブロック B，が位置し ている部分の参照用画像 Bの D C T係数を得る必要がある。
図 2 5は、 この変換処理の手順を模式的に示したものである。 参 照用画像 Bのマク口ブロック B iの左下部分がマク口ブロヅク B'と 重なっている部分であるが、 マクロブロック B ' から見れば右上部 分が重なった部分であるので、 マクロブロック B！の D C T係数を後 述する変換によって、 マクロブロック B 13を生成する。 同様に参照 用画像 Bのマク口ブロック B 2の右下部分がマクロブロック B'と重 なっている部分であるが、 マクロブロック B ' から見れば左上部分 が重なつた部分であるので、 マクロブロック B 2の D C T係数を後述 する変換によって、 マクロプロック B 24を生成する。 同様の処理を マクロブロック B と B に施すことによってマクロブロ ック B :t！と を生成する。 こう して生成された 4つのマクロブロック B i 3、 B 、 B B を組み合わせることにより、 マクロブロック B'が 位置している部分の参照用画像 Bの D C T係数を得ることができる。 つまり、 次の式 （ 6 ) 、 ( 7 ) のように表すことができる。
B ' = B +B +B 6 )
D C T(B' ) = D C T (B i3) + D C T (B 21)
+ D C T ( B ！ ) + D C T ( B 2 ) … ( 7 ) 次にマクロプロヅクの D C T係数の変換について図 2 6を用いて 説明する。 図 2 6は、 空間領域における例えば Β4のような、 オリジ ナルブロックから計算によって部分的な Β42を求めるときの数学的 なモデルを示している。 具体的には、 上部左側の Β 4を抽出し、 0で 補間し、 下部右側に動かしている。 ブロック Β4から以下の式 （ 8 ) の計算により得られた Β を示しているのである。 B^2 = H| x x H2
Figure imgf000065_0001
ここで、 1 ^>と 1 «は、 ブロック B4から抽出した h及び wの列及び 行からなるサイズ h h及び w X wのそれぞれの行列の識別符号で ある。 図 2 6に示すように、 B 4 に先ず合成されるプリマ ト リクス は、 最初の h列を取り出すと共に、 底部に変換し、 B 4に後で合 成される H 2は始めの w行を取り出すと共に、 右側に変換する。
上記式 （ 8 ) を基に、 B42の D C Tを直接、 B 4の D C Tから次の 式 （ 9 ) により計算できる。
D C T ( B
Figure imgf000065_0002
C T(H i)x D C T (B 4)x D C T (H 2)
■ · · ( 9 ) これを、 全てのサブブロックに当てはめ、 合計すると、 次の式 ( 1 0 ) に示すように、 オリジナルのブロック B ,〜 B 4の D C Tか ら直接に新しいブロック B ' の D C T係数を得ることができる。
4
DCT B')^ ^DCT(H )x DCT(BI) DCT、Hn) (10) ここで、 H nと H i 2の D C Tを予め計算し、 メモリに格納してテ
—ブルメモリを構成しておいてもよい。 このようにして、 直交変換 領域でも Μ Ε及び M Cが可能である。
そして、 符号化部 2 2 1では、 M E部 2 7 2で動きべク トルを推 定するときに、 全く情報が無い状態から推定するのではなく、 元の 圧縮されたビデオ信号のマクロブロックについている動きべク トル を、 解像度変換部 2 6 0の変換出力から精細度算出部 2 0 0が算出 した精細度に応じて狭い範囲でサーチして推定している。
以上説明したように、 この他の実施の形態となるディジ夕ルビデ ォ信号変換装置の復号部 2 1 1では、 動き検出を伴う予測符号化と 直交変換符号化とを含むハイプリ ッ ド符号化が施された M P E G符 号化デ一夕に動き補償を伴う予測復号処理、 すなわち V L D後に I Qし、 そこで動き補償をし、 D C T領域のままの復号デ一夕を得、 この D C T領域の復号デ一夕に解像度変換を施しているので、 直交 変換された領域で解像度変換が直接に行え、 時間領域や空間領域へ の復号 （逆直交変換） が不要となり、 計算が簡略化され、 計算誤差 の小さい高品質の変換が行える。 さらに、 符 化部 2 2 1では、 M E部 2 7 2で動きべク トルを推定するときに、 全く情報が無い状態 から推定するのではなく、 基の圧縮されたビデオ信号のマクロプロ ックについている動きべク トルを、 解像度変換出力から算出した精 細度に応じて狭い範囲でサーチして動きべク トルを推定している。 このため、 M E部 2 7 2での計算量を大幅に削減することができる ので、 装置の小型化及び変換処理の短縮化を達成できる。
次に、 第 1 3の実施の形態について説明する。 この例も、 M P E G符号化デ一夕に解像度変換処理のような信号変換処理を施してビ デォ符号化データを出力するディジ夕ルビデオ信号変換装置である。 このディジタルビデオ信号変換装置は、 図 27に示すように、 上 記ハイプリ ッ ド符号化が施されている MPEG符号化データに対し て、 一部復号処理を施して直交変換領域のデ一夕を得る復号部 34 0と、 この復号部 340からの直交変換領域のデ一夕に解像度変換 処理を施す変換部 343と、 この変換部 343からの変換出力に、 上記 MP E G符号化データの動きべク トル情報に基づいた動きべク トルを付加して圧縮符号化処理を施す符号化部 350とを備えてな る。
復号部 340は、 VLD部 34 1と、 I Q部 342とを備えてな る。 この VLD部 34 1と I Q部 342は、 上記図 2 1に示した V LD部 1 1 2と I Q部 1 1 3と同様の構成であり、 同様に動作する。 この復号部 340で特徴的なのは、 MCを行っていない点である。 すなわち、 Pピクチャと Bピクチャは M Cをしないで、 差分情報 となる D C T係数に対して、 変換部 343で解像度の変換を行う。 解像度変換により得られた変換 D C T係数は、 レー ト制御部 348 でレ一 卜が制御される Q部 345により量子化され、 VL C部 34 6で可変長復号された後、 ノ ソ フ ァメモリ 347で - -定レ一トとさ れて出力される。
このとき、 符号化部 350の動きベク トル変換部 344では、 V 0部34 1で抽出された動きべク トル mvを解像度変換率に応じ て再スケーリングし、 V L C部 346に供給する。
VL C部 346は、 Q部 345からの量子化 D C T係数に再スケ —リングされた動きべク トル mvを付加して可変長符号化処理を施 し、 符号化デ一夕をバッファメモリ 347に供給する。 このように、 図 2 7に示したディ ジ夕ルビデオ信号変換装置は、 復号部 3 4 0及び符号化部 3 5 0で M Cを行わないので、 計算が簡 略化でき、 ハ一ドウエア負担を軽減できる。
上述の各ディ ジ夕ルビデオ信号変換装置でレ一ト変換を行っても よい。 つまり解像度をそのままで、 転送レートを 4 M b p sから 2 M b p sに変換するときに適用してもよい。
なお、 上記各実施の形態としては、 いずれも装置構成を挙げたが、 本発明に係るディジ夕ル信号変換方法をソフ トウエアとして用いる ことにより、 上記各装置を構成するようにしてもよい。
本発明によれば、 動き検出を伴って圧縮符号化されている入力情 報信号に対して動き補償を伴った復号を施し、 この復号信号に信号 変換処理を施し、 この変換信号に、 上記入力情報信号の動きべク ト ル情報に某づいた動き検出を伴って圧縮符号化処理を施す。 この信 号変換処理として解像度変換処理を適用するときには、 この解像度 変換処理に応じて上記動きベク トル情報をスケール変換して得られ る情報に基づいた動き補償を伴った圧縮符号化処理を上記変換信号 に施す。 特に、 圧縮符号化時に必要とする動きべク トル情報を、 解 像度変換率に応じてスケール変換し、 狭い範囲でサーチして推定し ているので、 動きベク トル推定時の計算量を大幅に削減でき、 装置 の小型化及び変換処理時間の短縮化を達成できる。
また、 本発明は、 動き検出を伴う予測符号化と直交変換符号化と を含む圧縮符号化が施されている入力情報信号に対して、 一部復号 処理を施して直交変換領域の復号信号を得、 この直交変換領域の復 号信号に信号変換処理を施し、 この変換信号に、 上記入力情報信号 の動きべク トル情報に基づいた動き検出を用いて動き補償予測を伴 つた圧縮符号化処理を施す。 このとき、 信号変換処理として、 解像 度変換処理を適用するときには、 この解像度変換処理から得られる 精細度に応じて上記動きべク トル情報を変換して得られる情報に基 づいた動き補償を伴って、 圧縮符号化処理を上記変換信号に施すの で、 圧縮符号化時に必要とする動きべク トル情報を狭い範囲でサー チして推定でき、 計算量を大幅に削減できるので、 装置の小型化及 び変換処理時間の短縮化を達成できる。 また、 直交変換領域で信号 変換処理を行えるので、 逆直交変換処理を不要とし、 時間領域や空 間領域への復号 （逆直交変換） が不要となり、 計算が簡略化され、 計算誤差の小さい高品質の変換が行える。
また、 本発明は、 動き検出を伴う予測符号化と直交変換符号化と を含む圧縮符号化が施されている入力情報信号に対して、 一部復号 処理を施して直交変換領域の復号信号を得、 この直交変換領域の復 号信号に信号変換処理を施し、 この変換信号に、 上記入力情報信号 の動きべク トル情報に基づいて変換した動きべク トル情報を付加し て圧縮符号化処理を施す。 このため、 信号変換処理として解像度変 換処理を適用するときには、 この解像度変換処理に応じて上記動き べク トル情報をスケール変換して得られる情報を付加した圧縮符号 化処理を上記変換信号に施すことになる。
すなわち、 圧縮符号化時に付加する動きべク トル情報を狭い範囲 でサーチして推定できるので、 動きべク トル推定時の計算量を大幅 に削減できる。 また、 直交変換領域で信号変換処理を行えるので、 逆直交変換処理を不要とできる。 また、 復号時及び符号化時に動き 補償処理を用いていないので、 計算量のさらなる削減を可能とする

Claims

請 求 の 範 囲
1 . 所定単位の直交変換係数プロックからなる第 1のフォーマツ 卜 のディ ジ夕ル信号の各プロックから直交変換係数の一部を取り出し て部分ブロックを構成するデ一夕取出し工程と、
上記各部分プロックをなす直交変換係数を、 その部分プロック単 位でそれぞれ逆直交変換する逆直交変換工程と、
上記逆直交変換された各部分プロックどう しを連結して、 ヒ記所 定単位の新たなブロックを構成する部分ブロック連結工程と、 上記 新たなプロックを、 そのプロック単位で直交変換して上記所定単位 の新たな直交変換係数プロックからなる第 2のフォ一マッ トのデノ ジ夕ル信号にする直交変換工程と
を有すること特徴とするディ ジ夕ル信号変換方法。
2 . ヒ記直交変換は離散コサイン変換であり、 上記第 1のフォーマ ッ 卜のディ ジタル信号は可変長符号を用いて所定の固定レートで圧 縮符号化されたビデオ信号であり、 上記第 2のフォーマツ トのディ ジ夕ル信号は可変レ一卜で圧縮符号化されたビデオ信号であるこ と を特徴とする請求の範囲第 1項記載のディ ジ夕ル信号変換方法。
3 . 上記データ取出し工程で、 上記第 1のフォーマッ トのディジ夕 ル信号の各プロックから低域側の離散コサイ ン変換係数を取り出し て、 輝度信号の水平方向成分の離散コサイ ン変換係数の数と色差信 号の水平方向成分の離散コサイン変換係数の数および垂直方向成分 の離散コサイン変換係数の数をそれぞれ低減すること
を特徴とする請求の範囲第 1項記載のディ ジタル信号変換方法。
4 . 上記第 1のフォーマヅ 卜のディ ジタル信号の 1 フレームが 2フ ィ一ルドから構成される場合には、
上記データ取出し工程で、 輝度信号の垂直方向成分の離散コサイ ン変換係数について、 上記フレームの奇数フィ一ルドのライ ンを構 成する離散コサイン変換係数と上記フレームの偶数フィ一ルドのラ ィンを構成する離散コサイン変換係数とを互いに分離して一方のフ ィ一ルドの離散コサイ ン変換係数のみからなるプロックを生成する フィ一ルド分離を行うこと
を特徴とする請求の範囲第 1項記載のディ ジタル信号変換方法。
5 . 上記第 1のフォーマツ 卜のディ ジタル信号は、 解像度が 7 2 0 画素 X 4 8 0画素， 輝度信号のサンプリ ング周波数と色差信 のサ ンプリ ング周波数の比が 4 ： 1 ： 1の圧縮ビデオ信号であり、 上記 第 2のフォーマヅ 卜のディジ夕ル信号は、 解像度が 3 6 0画素 X 2 4 0画素， 輝度信号のサンプリング周波数と色差信号のサンプリ ン グ周波数との比が 4 ： 2 ： 0の圧縮ビデオ信号であること
を特徴とする請求の範囲第 1項記載のディ ジ夕ル信号変換方法。
6 . 上記第 1のフォーマッ トのディ ジタル信号は、 解像度が 7 2 0 画素 X 4 8 0画素， 輝度信号のサンプリング周波数と色差信号のサ ンプリ ング周波数との比が 4 ： 2 ： 0の圧縮ビデオ信号であり、 上 記第 2のフォーマツ 卜のディ ジ夕ル信号は、 解像度が 3 6 0画素 X 2 4 0画素， 輝度信号のサンプリング周波数と色差信号のサンプリ ング周波数との比が 4 ： 2 ： 0の圧縮ビデオ信号であること を特徴とする請求の範囲第 1項記載のディ ジ夕ル信号変換方法。
7 . 上記デ一夕取出し工程で、 上記第 1のフォーマッ トのディジ夕 ル信号の各プロックから低域側の直交変換係数を取り出して、 色差 信号の垂直方向成分の離散コサイン変換係数の数を 1 Z 2にするこ と
を特徴とする請求の範囲第 1項記載のディ ジ夕ル信号変換方法。
8 . 上記第 1のフォーマッ トのディ ジタル信号は、 解像度が 7 2 0 画素 X 4 8 0画素， 輝度信号のサンプリング周波数と色差信号のサ ンプリ ング周波数との比が 4 ： 1 ： 1の圧縮ビデオ信号であり、 上 記第 2のフォーマツ トのディ ジ夕ル信号は、 解像度が 7 2 0画素 X 4 8 0画素， 輝度信号のサンプリング周波数と色差信号のサンプリ ング周波数との比が 4 ： 2 0の圧縮ビデオ信号であること を特徴とする請求の範囲第 7項記載のディ ジ夕ル信号変換方法。
9 . 所定単位の直交変換係数プロックからなる第 1のフォーマツ ト のディ ジタル信号をそのプロック単位で逆直交変換する逆直交変換 工程と、
上記逆直交変換された第 1のフォーマツ 卜のディ ジ夕ル信号の上 記各プロックを分割するプロック分割工程と、 上記分割された各ブ 口ックをなす直交変換係数を、 その分割されたプロック単位でそれ ぞれ直交変換する直交変換工程と、
ヒ記直交変換された各プロックの値に直交変換係数を補間して上 記所定単位に構成して第 2のフォーマツ 卜のディジ夕ル信号にする データ拡大工程と
を有することを特徴とするディジタル信号変換方法。
1 0 . 上記直交変換は離散コサイン変換であり、 上記第 1のフォー マッ トのディジ夕ル信号は可変長符号を用いて所定の固定レー卜で 圧縮符号化されたビデオ信号であり、 上記第 2のフォーマツ トのデ ィジタル信号は可変レー卜で圧縮符号化されたビデオ信号であるこ と
を特徴とする請求の範囲第 9項記載のディ ジ夕ル信号変換方法。
1 1 . 上記デ一夕拡大工程で、 上記第 1のフォーマッ 卜のディ ジ夕 ル信号の分割された各ブロックの直交変換係数を低域側に配置し、 その高域側に 0を補間して、 上記各プロックを上記所定単位に構成 すること
を特徴とする請求の範囲第 9項記載のディ ジ夕ル信号変換方法。
1 2 . 上記第 1のフォ一マツ 卜のディジ夕ル信号は、 解像度が 7 2 0画素 X 4 8 0画素， 輝度信号のサンプリング周波数と色差信号の サンプリング周波数との比が 4 ： 1 ： 1の圧縮ビデオ信号であり、 上記第 2のフォーマツ トのディ ジ夕ル信号は、 解像度が 7 2 0画素 X 4 8 0画素， 輝度信号のサンプリ ング周波数と色差信号のサンプ リング周波数との比が 4 ： 2 ： 0の圧縮ビデオ信号であること を特徴とする請求の範囲第 9項記載のディ ジ夕ル信号変換方法。
1 3 . 上記第 1のフォーマッ トのディジタル信号は、 解像度が 7 2 0画素 X 4 8 0画素， 輝度信号のサンプリング周波数と色差信号の サンプリ ング周波数との比が 4 ： 2 ： 0の圧縮ビデオ信号であり、 上記第 2のフォーマツ 卜のディ ジ夕ル信号は、 解像度が 7 2 0画素 X 4 8 0画素， 輝度信号のサンプリ ング周波数と色差信号のサンプ リング周波数との比が 4 ： 2 ： 0の圧縮ビデオ信号であること を特徴とする請求の範囲第 9項記載のディ ジ夕ル信号変換方法。
1 4 . 所定単位の直交変換係数プロックからなる第 1のフォーマッ 卜のディジ夕ル信号を復号する復号手段と、
上記復号されたディ ジ夕ル信号を逆量子化する逆量子化手段と、 上記逆量子化されたディジ夕ル信号の上記所定単位の直交変換係 数プロックの互いに隣接する各プロックから直交変換係数の一部を 取り出して部分ブロックを構成して解像度を変換する解像度変換手 段と、
上記解像度変換されたディ ジ夕ル信号を量子化する量子化手段と、 上記量子化されたディジ夕ル信号を符号化して第 2のフォーマツ 卜のディジタル信号にする符号化手段と
を備えること
を特徴とするディジ夕ル信号変換装置。
1 5 . 上記解像度変換手段は、 上記逆直交変換された各部分ブロッ クどう しを連結して、 上記所定単位の新たなプロックを構成するこ と
を特徴とする請求の範囲第 1 4項記載のディ ジ夕ル信号変換装置。
1 6 . 上記直交変換は離散コサイン変換であり、 上記第 1のフォー マッ トのディジ夕ル信号は可変長符号を用いて所定の固定レートで 圧縮符号化されたビデオ信号であり、 上記第 2のフォーマツ トのデ ィ ジ夕ル信号は可変レ一卜で圧縮符号化されたビデオ信号であるこ と
を特徴とする請求の範囲第 1 4項記載のディ ジ夕ル信号変換装置。
1 7 . 上記解像度変換手段は、 上記第 1のフォーマッ トのディジ夕 ル信号の各プロックから低域側の離散コサイ ン変換係数を取り出し て、 離散コサイン変換係数の数をそれぞれ 1 / 2にすること
を特徴とする請求の範囲第 1 6項記載のディ ジ夕ル信号変換装置。
1 8 . 所定単位の直交変換係数プロックからなる第 1のフォ一マツ 卜のディ ジタル信号を復号する復号手段と、
上記復号されたディ ジ夕ル信号を逆量子化する逆量子化手段と、 上記逆量子化されたディ ジ夕ル信号の上記所定単位の各プロック に所定値の直交変換係数を補間して上記各プロックを上記所定単位 に構成して解像度を変換する解像度変換手段と、
上記解像度変換されたディジ夕ル信号を量子化する量子化手段と、 上記量子化されたディ ジ夕ル信号を符号化して第 2のフォーマッ トのディジ夕ル信号にする符号化手段と
を備えること
を特徴とするディ ジ夕ル信号変換装置。
1 9 . 上記解像度変換手段は、 上記第 1のフォーマッ トのディ ジ夕 ル信号の分割された各プロックの直交変換係数の高域側に 0を補間 して、 上記各プロックを七記所定単位に構成すること
を特徴とする請求の範囲第 1 8項記載のディ ジ夕ル信号変換装置。
2 0 . 所定単位の直交変換係数プロックからなる第 1のフォーマツ トのディジ夕ル信号を、 別の所定単位の新たな直交変換係数プロッ クからなる第 2のフォーマッ トのディ ジタル信号に変換するデイ ジ タル信号変換方法において、
上記第 1のフォーマッ トのディジタル信号に含まれるデ一夕量情 報を利用して、 上記第 2のフォーマツ 卜のディ ジ夕ル信号のデ一夕 量を制御すること
を特徴とするディ ジ夕ル信号変換方法。
2 1 . 上記直交変換は離散コサイン変換であり、 上記第 1のフォー マツ 卜のディジ夕ル信号は所定の固定レー卜で圧縮符号化されたビ デォ信号であり、 上記第 2のフォ一マッ トのディジ夕ル信号は可変 レー卜で圧縮符号化されたビデオ信号であること
を特徴とする請求の範囲第 2 0項記載のディ ジ夕ル信号変換方法。
2 2 . 上記第 2のフォ一マツ 卜のディジ夕ル信号のデ一夕量の制御 は、 直交変換領域で行われること
を特徴とする請求の範囲第 2 0項記載のディジタル信号変換方法。
2 3 . 上記第 2のフォ一マツ 卜のディ ジ夕ル信号のデ一夕量の制御 は、 空間領域で行われること
を特徴とする請求の範囲第 2 0項記載のディジ夕ル信号変換方法。
2 4 . 上記第 1のフォ一マツ 卜のディジ夕ル信号の上記所定のプロ ック毎に、 量子化器番号およびクラス情報に基づいて量子化パラメ 一夕を計算する量子化パラメ一夕計算工程と、
上記ブロック毎に計算された量子化パラメ一夕を平均化して、 複 数の ヒ記ブロヅク単位からなるメタブロックの量子化パラメ一夕を 算出するメタプロック量子化パラメ一夕算出工程と、
上記メ夕ブ口ック毎に上記量子化パラメ一夕から上記第 2のフォ —マッ 卜のディ ジタル信号の量子化スケールを計算する量子化スケ —ル計算工程と
を有し、 上記計算された量子化スケールを用いて上記各プロック を量子化することを特徴とする請求の範囲第 2 0項記載のディジ夕 ル信号変換方法。
2 5 . 上記第 1のフォーマッ トのディジ夕ル信号のフレーム毎に総 発生ビッ ト数を計算する総発生ビッ ト計算工程と、
上記総発生ビッ ト数と夕一ゲッ トビッ ト数との差分を定数倍した 値を用いて上記量子化パラメ一夕を調整する量子化パラメ一夕調整 工程と
を有し、 上記調整された量子化パラメ一夕を用いて新たな量子化 スケールを計算することにより、 上記新たな量子化スケールを上記 第 2のフォ一マッ トのディジ夕ル信号の次フレームに使用すること を特徴とする請求の範囲第 2 0項記載のディ ジ夕ル信号変換方法。
2 6 . 所定単位の直交変換係数プロックからなる第 1のフォ一マッ トのディジ夕ル信号を、 別の所定単位の新たな直交変換係数プロッ クからなる第 2のフォーマツ 卜のディジタル信号に変換するディ ジ タル信号変換装置において、
上記第 1のフォーマッ トのディジ夕ル信号を復号する復号手段と、 上記復号されたディ ジ夕ル信号を逆量子化する逆量子化手段と、 上記逆量子化されたディ ジタル信号のフォーマツ ト変換を伴う信 号処理を行う信号変換手段と、
上記信号処理が施されたディ ジ夕ル信号を量子化する量子化手段 と、
上記量子化手段におけるデータ量を制御するためのデータ量制御 手段と
ヒ記デ一夕量制御手段によりデータ量が制御されて量子化された ディジ夕ル信号を符号化して上記第 2のフォーマツ 卜のディ ジ夕ル 信号にする符号化手段と
を備えること
を特徴とするディ ジ夕ル信号変換装置。
2 7 . 上記直交変換は離散コサイ ン変換であり、 上記第 1のフォー マツ 卜のディ ジタル信号は所定の固定レー卜で圧縮符号化されたビ デォ信号であり、 上記第 2のフォーマツ トのディジタル信号は可変 レ一トで圧縮符号化されたビデオ信号であること
を特徴とする請求の範囲第 2 6項記載のディ ジ夕ル信号変換装置。
2 8 . 上記信号変換手段は、 上記第 1のフォーマッ トのディジタル 信号に含まれるデ一夕量情報を利用して、 上記第 2のフォーマツ ト のディ ジ夕ル信号のデータ量を直交変換領域で制御すること
を特徴とする請求の範囲第 2 6項記載のディジ夕ル信号変換装置。
2 9 . 上記信号変換手段は、 上記第 1のフォーマッ トのディジタル 信号に含まれるデータ量情報を利用して、 上記第 2のフォーマツ ト のディ ジ夕ル信号のデータ量を空間領域で制御すること
を特徴とする請求の範囲第 2 6項記載のディジ夕ル信号変換装置。
3 0 . 上記信号変換手段は、 上記第 1のフォーマッ トのディ ジタル 信号に含まれるプロック毎に量子化器番号およびクラス情報に基づ いて量子化パラメ一夕を計算し、 上記プロック毎に計算された量子 化パラメ一夕を平均化して複数の上記ブロック単位からなるメタブ 口ヅクの量子化パラメ一夕を算出し、 上記メ夕ブロック毎に上記量 子化パラメ一夕から上記第 2のフォーマツ トのディ ジ夕ル信号の量 子化スケールを計算し、 上記計算された量子化スケールを用いて上 記各ブロックを量子化すること
を特徴とする請求の範囲第 2 6項記載のディ ジ夕ル信号変換装置。
3 1 . 第 1のフォーマッ トのディ ジタル信号を、 第 2のフォーマ ヅ 卜のディ ジ夕ル信号に変換するディ ジ夕ル信号変換方法において、 上記第 1のフォーマッ トのディ ジ夕ル信号を復号する復号工程と、 上記復号された第 1のフォーマツ トのディ ジ夕ル信号を上記第 2 のフォ一マッ トのディ ジ夕ル信号に変換する信号変換工程と、 上記第 2のフォーマツ トのディ ジ夕ル信号を符号化する符号化工 程と、
上記復号された第 1のフォーマツ 卜のディ ジ夕ル信号に対する逆 重み付けと上記第 2のフォーマッ 卜のディジ夕ル信号に対する重み 付けとをまとめて行う重み付け処理工程と
を有することを特徴とするディジ夕ル信号変換方法。
3 2 . 上記第 1のフォーマツ トのディジ夕ル信号は直交変換された ディ ジ夕ル信号であり、 上記重み付け処理工程が直交変換領域で行 われること
を特徴とする請求の範囲第 3 1項記載のディジ夕ル信号変換方法。
3 3 . 上記第 1のフォ一マツ トのディ ジ夕ル信号は直交変換された ディジタル信号であり、 上記重み付け処理工程が上記直交変換され たディ ジタル信号を逆直交変換した後に空間領域で行われること を特徴とする請求の範囲第 3 1項記載のディジ夕ル信号変換方法。
3 4 . 上:記第 1のフォーマヅ トのディジ夕ル信号は離散コサイン変 換により所定の固定レートで圧縮符号化されたビデオ信号であり、 上記第 2のフォーマツ 卜のディジ夕ル信号は離散コサイン変換によ り可変レー卜で圧縮符号化されたビデオ信号であること
を特徴とする請求の範囲第 3 1項記載のディ ジ夕ル信号変換方法。
3 5 . 上記重み付け処理工程が、 上記第 1のフォーマッ トのデイ ジ タル信号の逆量子化後であって上記信号変換工程よりも前に行われ ること
を特徴とする請求の範囲第 3 1項記載のディジ夕ル信号変換方法。
3 6 . 上記重み付け処理工程が、 上記信号変換工程よりも後であつ て上記第 2のフォーマツ 卜の量子化よりも前に行われること
を特徴とする請求の範囲第 3 1項記載のディ ジ夕ル信号変換方法。
3 7 . 第 1のフォ一マッ トのディ ジタル信号を、 第 2のフォーマツ 卜のディジタル信号に変換するディ ジ夕ル信号変換装置において、 上記第 1のフォーマッ トのディ ジ夕ル信号を復号する復号手段と、 上記復号された第 1のフォーマツ トのディ ジ夕ル信号を上記第 2 のフォーマツ 卜のディ ジ夕ル信号に変換する信号変換手段と、 上記第 2のディジ夕ル信号を符号化する符号化手段と、
上記第 1のフォーマッ 卜のディジ夕ル信号に対する逆重み付けと 上記第 2のフォーマツ トのディジ夕ル信号に対する重み付けとをま とめて行う重み付け処理手段と
を備えることを特徴とするディジ夕ル信号変換装置。
3 8 . 上記第 1のフォーマツ 卜のディ ジ夕ル信号は直交変換された ディジ夕ル信号であり、 上記重み付け処理手段は第 1のフォーマッ トのディ ジ夕ル信号に対する逆重み付けと上記第 2のフォーマツ ト のデイ ジ夕ル信号に対する重み付けとを直交変換領域で行うこと を特徴とする請求の範囲第 3 7項記載のディ ジタル信号変換装置,
3 9 . 上記第 1のフォーマツ 卜のディジ夕ル信号は直交変換された ディジ夕ル信号であり、 上記重み付け処理手段は第 1のフォーマッ トのディ ジタル信号に対する逆重み付けと上記第 2のフォーマツ ト のディ ジ夕ル信号に対する重み付けとを空間領域で行うこと
を特徴とする請求の範囲第 3 7項記載のディ ジ夕ル信号変換装置 (
4 0 . 上記第 1のフォーマツ 卜のディジ夕ル信号は離散コサイン変 換により所定の固定レー卜で圧縮符号化されたビデオ信号であり、 上記第 2のフォ一マツ 卜のディジ夕ル信号は離散コサイン変換によ り可変レー卜で圧縮符号化されたビデオ信号であること
を特徴とする請求の範囲第 3 7項記載のディ ジ夕ル信号変換装置 < 4 1 . 上記重み付け処理手段は、 上記信号変換手段よりも前段に配 され、 上記第 1のフォーマツ 卜のディジ夕ル信号に対する逆重み付 けと上記第 2のフォーマツ トのディ ジ夕ル信号に対する重み付けと を、 上記第 1のフォーマッ トのディ ジ夕ル信号の逆量子化よりも後 に行うこと
を特徴とする請求の範囲第 3 7項記載のディジ夕ル信号変換装置。 4 2 . 上記重み付け処理手段は、 上記信号変換手段よりも後段に配 され、 上記第 1のフォーマツ 卜のディ ジ夕ル信号に対する逆重み付 けと上記第 2のフォーマッ トのディ ジタル信号に対する重み付けと を、 上記第 2のフォーマツ 卜のディ ジタル信号の量子化よりも前に 行うこと
を特徴とする請求の範囲第 3 7項記載のディジ夕ル信号変換装置。 4 3 . 動き検出を伴って圧縮符号化されている入力情報信号に対し て動き補償を伴った復号を施す復号工程と、
上記復号工程からの復号信号に信号変換処理を施す信号変換処理 工程と、
上記信号変換処理工程からの変換信号に、 上記入力情報信号の動 きべク トル情報に基づいた動き検出を伴って圧縮符号化処理を施す 符号化処理工程と
を備えることを特徴とするディ ジ夕ル信号変換方法。
4 4 . 上記信号変換処理工程は、 上記復号信号に解像度変換処理を 施すこと
を特徴とする請求の範囲第 4 3項記載のディジ夕ル信号変換方法。 4 5 . 上記符号化処理工程は、 上記解像度変換処理に応じて上記動 きべク トル情報をスケール変換して得られる情報に基づいた圧縮符 号化処理を上記変換信号に施すこと
を特徴とする請求の範囲第 4 4項記載のディジ夕ル信号変換方法。 4 6 . 上記信号変換処理工程は、 上記復号信号にレート変換処理を 施すことを特徴とする請求の範囲第 4 3項記載のディ ジ夕ル信号変 換方法。
4 7 . 動き検出を伴って圧縮符号化されている入力情報信号に対し て動き補償を伴った復号を施す復号手段と、
上記復号手段からの復号信号に信号変換処理を施す信号変換処理 手段と、
上記信号変換処理手段からの変換信号に、 上記入力情報信号の動 きべク トル情報に基づいた動き検出を伴って圧縮符号化処理を施す 符号化処理手段とを備えること
を特徴とするディジ夕ル信号変換装置。
4 8 . 動き検出を伴う予測符号化と直交変換符号化とを含む圧縮符 号化が施されている入力情報信号に対して、 動き補償を伴った予測 復号処理のみを施すことにより直交変換符号化が施されたままの直 交変換領域の復号信号を得る復号工程と、
上記復号工程からの直交変換領域の復号佶号に信号変換処理を施 す信号変換処理工程と、
ヒ記信号変換処理ェ程からの変換信号に、 上記入力情報信号の動 きべク トル情報に基づいた動き検出を用いて動き補償予測を伴った 圧縮符号化処理を施す符号化処理工程と
を備えることを特徴とするディ ジ夕ル信号変換方法。
4 9 . 上記信号変換処理工程は、 上記入力情報信号に施されている 直交変換符号化で用いられた直交変換行列に対応する逆直交変換行 列と、 時間領域での信号変換出力信号を得るのに用いる逆直交変換 行列に対応する直交変換行列とに基づいて生成された変換行列によ り上記復号工程からの直交変換領域の復号信号に信号変換処理を施 すこと
を特徴とする請求の範囲第 4 8項記載のディジ夕ル信号変換方法。 5 0 . 上記信号変換処理工程は、 上記復号工程からの直交変換領域 の復号信号に解像度変換処理を施すこと
を特徴とする請求の範囲第 4 8項記載のディ ジ夕ル信号変換方法。 5 1 . 上記符号化処理工程は、 上記解像度変換処理に応じて上記動 きべク トル情報をスケール変換して得られる情報に基づいた圧縮符 号化処理を上記変換信号に施すこと
を特徴とする請求の範囲第 5 0項記載のディジ夕ル信号変換方法。 5 2 . 上記信号変換処理工程は、 上記復号工程からの直交変換領域 の復号信号にレート変換処理を施すこと
を特徴とする請求の範囲第 4 8項記載のディ ジ夕ル信号変換方法。
5 3 . 動き検出を伴う予測符号化と直交変換符号化とを含む圧縮符 号化が施されている入力情報信号に対して、 動き補償を伴った予測 復号処理のみを施すことにより直交変換符号化が施されたままの直 交変換領域の復号信号を得る復号手段と、
上記復号手段からの直交変換領域の復号信号に信号変換処理を施 す信号変換処理手段と、
上記信号変換処理手段からの変換信号に、 上記入力情報信号の動 きべク トル情報に基づいた動き検出を用いて動き補償予測を伴った 圧縮符号化処理を施す符号化処理手段と
を備えることを特徴とするディジ夕ル信号変換装置。
5 4 . 動き検出を伴う予測符号化と直交変換符号化とを含む圧縮符 号化が施されている入力情報信号に対して、 一部復号処理を施して 直交変換領域の信号を得る復号工程と、 上記復号工程からの直交変 換領域の信号に信号変換処理を施す信号変換処理工程と、
上記信号変換処理工程からの変換信号に、 上記入力情報信号の動 きべク トル情報に基づいて変換した動きべク トル情報を付加して圧 縮符号化処理を施す符号化処理工程と
を備えることを特徴とするディジ夕ル信 変換方法。
5 5 . 上記信号変換処理工程は、 上記入力情報信号に施されている 直交変換符号化で用いられた直交変換行列に対応する逆直交変換行 列と、 時間領域での信号変換出力信号を得るのに用いる逆直交変換 行列に対応する直交変換行列とに基づいて生成された変換行列によ り上記復号工程からの直交変換領域の復号信号に信号変換処理を施 すこと
を特徴とする請求の範囲第 5 4項記載のディ ジ夕ル信号変換方法 c 5 6 . 上記信号変換処理工程は、 上記復号工程からの 交変換領域 の復号信号に解像度変換処理を施すこと
を特徴とする請求の範囲第 5 4項記載のディジタル信号変換方法 c 5 7 . 上記符号化処理工程は、 上記解像度変換処理に応じて上記動 きべク トル情報をスケール変換して得られる情報を付加した圧縮符 号化処理を上記変換信号に施すこと
を特徴とする請求の範囲第 5 6項記載のディジ夕ル信号変換方法 c 5 8 . 上記信号変換処理工程は、 上記復号工程からの直交変換領域 の復号信号にレート変換処理を施すこと
を特徴とする請求の範囲第 5 4項記載のディジ夕ル信号変換方法 c 5 9 . 動き検出を伴う予測符号化と直交変換符号化とを含む圧縮符 号化が施されている入力情報信号に対して、 一部復号処理を施して 直交変換領域の信号を施す復号手段と、 上記復号手段からの直交変 換領域の信号に信号変換処理を施す信号変換処理手段と、
上記信号変換処理手段からの変換信号に、 上記入力情報信号の動 きべク トル情報に基づいて変換した動きべク トル情報を付加して圧 縮符号化処理を施す符号化処理手段と
を備えることを特徴とするディ ジ夕ル信号変換装置。
6 0 . 動きモード /静止モ一ド情報が予め付加されている第 1のフ ォーマツ 卜のディジ夕ル信号を、 フレーム間差分を用いた符号化を 伴った第 2のフォーマッ トのディ ジタル信号に変換するディジタル 信号変換方法であって、
上記第 1のフォーマツ トのディジタル信号を復号する復号工程と、 上記復号工程からの復号信号に信号変換処理を施す信号変換工程 と、
上記信号変換工程からの変換信号の所定プロック単位毎にフレー ム間差分符号化を施すか否かを上記動きモード /静止モード情報に 応じて判断する判断工程と、
上記判断工程からの判断結果に基づいて上記変換工程からの変換 信号を符号化して上記第 2のフォーマツ 卜のディジタル信号を出力 する符号化工程と
を備えることを特徴とするディジ夕ル信号変換方法。
6 1 . 上記復号工程は上記第 1のフォーマツ 卜のディジ夕ル信号を 一部復号して直交変換領域の信号を出力し、 上記信号変換工程は直 交変換領域の信号に信号変換処理を施すこと
を特徴とする請求の範囲第 6 0項記載のディジ夕ル信号変換方法。 6 2 . 上記直交変換は離散コサイ ン変換であること
を特徴とする請求の範囲第 6 1項記載のディジ夕ル信号変換方法。
6 3 . 上記信号変換工程は、 上記第 1のフォーマッ トのディジタル 信号に施されている直交変換符号化で用いられた直交変換行列に対 応する逆直交変換行列と、 上記第 2のフォーマツ トのディ ジ夕ル信 号を得るのに用いる逆直交変換行列に対応する直交変換行列とに基 づいて生成された変換行列により上記第 1のフォーマッ トのデイ ジ タル信号に信号変換処理を施すこと
を特徴とする請求の範囲第 6 0項記載のディ ジ夕ル信号変換方法。 6 4 . 上記判断工程は、 上記信号変換工程からの変換信号のマクロ プロック単位毎に上記フレーム間差分符号化を施すか否かの判断を 行うこと
を特徴とする請求の範囲第 6 0項記載のディ ジ夕ル信号変換方法。 6 5 . 動きモ一ド /静止モー ド情報が予め付加されている第 1のフ ォーマツ 卜のディジ夕ル信号を、 フレーム間差分を用いた符号化を 伴った第 2のフォーマツ トのデイジ夕ル信号に変換するディジ夕ル 信号変換装置において、
上記第 1のフォーマツ 卜のディジ夕ル信号を復号する復号手段と、 上記復号手段からの復号信号に信号変換処理を施す信号変換手段 と、
上記信号変換手段からの変換信号の所定プロック単位毎にフレー ム間差分符号化を施すか否かを上記動きモー ド /静止モード情報に 応じて判断する判断手段と、
上記判断手段からの判断結果に基づいて上記信号変換手段からの 変換信号に符号化を施して上記第 2のフォーマツ 卜のディ ジ夕ル信 号を出力する符号化手段と
を備えることを特徴とするディ ジ夕ル信号変換装置。
6 6 . 第 1のフォーマッ トのディジタル信号を、 フレーム間差分を 用いた符号化を伴った第 2のフォーマツ 卜のディジ夕ル信号に変換 するディジ夕ル信号変換方法であって、
上記第 1のフォーマッ 卜のディ ジ夕ル信号に 部復号処理を施し て、 直交変換領域の信号を得る復号工程と、
上記復号工程からの直交変換領域の信号に信号変換処理を施す信 号変換工程と、
上記信号変換工程からの変換信号の所定プロック単位毎にフレー ム間差分符号化を施すか否かを、 上記変換信号のフレーム間差分の 絶対値の最大値に応じて判断する判断ェ程と、
上記判断工程からの判断結果に基づいて上記信号変換工程からの 変換信号に符号化を施して上記第 2のフォーマツ 卜のディ ジ夕ル信 号を出力する符号化工程と
を備えることを特徴とするディ ジ夕ル信号変換方法。
6 7 . 上記直交変換は離散コサイン変換であることを特徴とする請 求の範囲第 6 6項記載のディ ジタル信号変換方法。
6 8 . ヒ記信号変換工程は、 上記第 1のフォーマッ トのディジタル 信号に施されている直交変換符号化で用いられた直交変換行列に対 応する逆直交変換行列と、 上記第 2のフォーマッ トのディ ジ夕ル信 号を得るのに用いる逆直交変換行列に対応する直交変換行列とに基 づいて生成された変換行列により上記第 1のフォーマッ トのデイ ジ タル信号に信号変換処理を施すこと
を特徴とする請求の範囲第 6 6項記載のディ ジ夕ル信号変換方法 c 6 9 . 上記判断工程は、 上記信号変換工程から変換信号のマクロブ 口ック単位毎に上記フレーム間差分符号化を施すか否かの判断を行 ラこと
を特徴とする請求の範囲第 6 6項記載のディジ夕ル信号変換方法。 7 0 . 第 1のフォーマッ トのディジタル信号を、 フレーム間差分を 用いた符号化を伴った第 2のフォーマッ 卜のディジ夕ル信号に変換 するディ ジ夕ル信号変換装置であって、
上記第 1のフォーマツ 卜のディ ジ夕ル信号に一部復号処理を施し て、 直交変換領域の信号を得る復号手段と、
上記復号手段からの直交変換領域の信号に信号変換処理を施す信 号変換手段と、
上記信号変換手段からの変換信号の所定プロック単位毎にフレー ム間差分符号化を施すか否かを、 上記変換信号のフレーム間差分の 絶対値の最大値に応じて判断する判断手段と、
上記判断手段からの判断結果に基づいて上記信号変換手段からの 変換信号に符号化を施して上記第 2のフォーマツ 卜のディ ジ夕ル信 号を出力する符号化手段と
を備えることを特徴とするディ ジタル信号変換装置。
7 1 . フレーム内符号化が施されたフレーム内符号化信号と、 動き 検出を伴った順方向及び双方向のフレーム間予測符号化が施された 順方向予測符号化信号及び双方向予測符号化信号とからなる第 1の フォーマツ トのディジ夕ル信号の内、 フレーム内符号化信号と順方 向符号化信号に逆直交変換を施す逆直交変換工程と、
上記逆直交変換工程からの変換出力に基づいて、 一部復号された 順方向予測符号化信号及び双方向予測符号化信号に加算するための 動き補償出力を生成する動き補償出力生成工程と、
上記動き補償出力生成工程からの動き補償出力を直交変換する直 交変換工程と、
上記直交変換工程からの直交変換出力を上記一部復号された順方 向予測符号化信号及び双方向予測符号化信号に加算する加算工程と、 上記加算工程からの出力に基づいた信号に圧縮符号化を施して第
2のフォーマツ 卜のディジ夕ル信号を出力する符号化工程と
を備えることを特徴とするディ ジタル信号変換方法。
7 2 . 上記加算工程と上記符号化工程との間に上記加算出力に信号 変換処理を施す変換工程を設け、 上記符号化工程はこの変換工程か らの変換信号に上記圧縮符号化処理を施すこと
を特徴とする請求の範囲第 7 1項記載のディジタル信号変換方法。 7 3 . 上記直交変換は、 離散コサイ ン変換であることを特徴とする 請求の範囲第 7 1項記載のディ ジ夕ル信号変換方法。
7 4 . 上記変換工程は、 上記第 1のフォーマッ トのディジタル信号 に施されている直交変換符号化で用いられた直交変換行列に対応す る逆直交変換行列と、 上記第 2のフォーマッ 卜のディジ夕ル信号を 得るのに用いる逆直交変換行列に対応する直交変換行列とに基づい て生成された変換行列により上記加算工程からの出力に信号変換を 施すこと
を特徴とする請求の範囲第 Ί 2項記載のディジ夕ル信号変換方法。 7 5 . フレーム内符号化が施されたフレーム内符号化信号と、 動き 検出を伴った順方向及び双方向のフレーム間予測符号化が施された 順方向予測符号化信号及び双方向予測符号化信号とからなる第 1の フォーマツ 卜のディジ夕ル信号の内、 フレーム内符号化信号と順方 向符号化信号に逆直交変換を施す逆直交変換手段と、
上記逆直交変換手段からの変換出力に基づいて、 一部復号された 順方向予測符号化信号及び双方向予測符号化信号に加算するための 動き補償出力を生成する動き補償出力生成手段と、
上記動き補償出力生成手段からの動き補償出力を直交変換する直 交変換手段と、
上記直交変換手段からの直交変換出力を t記一部復号された順方 向予測符号化信号及び双方向予測符号化信号に加算する加算手段と、 上記加算手段からの出力に基づいた信号に圧縮符号化を施して第
2のフォーマツ 卜のディ ジ夕ル信号を出力する符号化手段と
を備えることを特徴とするディジ夕ル信号変換装置。
7 6 . 上記加算手段と上記符号化手段との間に上記加算出力に信号 変換処理を施す変換手段を設け、 上記符号化手段は変換手段からの 変換信号に上記圧縮符号化処理を施すこと
を特徴とする請求の範囲第 7 5項記載のディ ジ夕ル信号変換装置。
PCT/JP1998/004986 1997-11-05 1998-11-05 Method for converting digital signal and apparatus for converting digital signal WO1999023834A1 (en)

Priority Applications (10)

Application Number Priority Date Filing Date Title
EP98951700A EP0951184A4 (en) 1997-11-05 1998-11-05 METHOD FOR CONVERTING DIGITAL SIGNALS AND APPARATUS FOR CONVERTING DIGITAL SIGNALS
JP52594399A JP4092734B2 (ja) 1997-11-05 1998-11-05 ディジタル信号変換方法およびディジタル信号変換装置
AU97618/98A AU766680B2 (en) 1997-11-05 1998-11-05 Method for converting digital signal and apparatus for converting digital signal
US09/341,401 US6963606B1 (en) 1997-11-05 1998-11-05 Digital signal conversion method and digital signal conversion device
CNB988016842A CN1251518C (zh) 1997-11-05 1998-11-05 数字信号转换方法和数字信号转换装置
KR1019997006052A KR100563756B1 (ko) 1997-11-05 1998-11-05 디지탈 신호 변환 방법 및 디지탈 신호 변환 장치
US11/081,946 US7221709B2 (en) 1997-11-05 2005-03-16 Information processing apparatus and method, and program storage medium
US11/081,208 US7227898B2 (en) 1997-11-05 2005-03-16 Digital signal conversion method and digital signal conversion device
US11/082,022 US7593464B2 (en) 1997-11-05 2005-03-16 Information processing apparatus and method, and program storage medium
US11/818,036 US7526030B2 (en) 1997-11-05 2007-06-13 Digital signal conversion method and digital signal conversion device

Applications Claiming Priority (12)

Application Number Priority Date Filing Date Title
JP9/303133 1997-11-05
JP9/303132 1997-11-05
JP30313397 1997-11-05
JP30313297 1997-11-05
JP9/304623 1997-11-06
JP30462397 1997-11-06
JP30595997 1997-11-07
JP9/305959 1997-11-07
JP31072197 1997-11-12
JP9/310721 1997-11-12
JP31407897 1997-11-14
JP9/314078 1997-11-14

Related Child Applications (3)

Application Number Title Priority Date Filing Date
US09341401 A-371-Of-International 1998-11-05
US11/082,022 Continuation US7593464B2 (en) 1997-11-05 2005-03-16 Information processing apparatus and method, and program storage medium
US11/081,946 Continuation US7221709B2 (en) 1997-11-05 2005-03-16 Information processing apparatus and method, and program storage medium

Publications (1)

Publication Number Publication Date
WO1999023834A1 true WO1999023834A1 (en) 1999-05-14

Family

ID=27554533

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP1998/004986 WO1999023834A1 (en) 1997-11-05 1998-11-05 Method for converting digital signal and apparatus for converting digital signal

Country Status (7)

Country Link
US (5) US6963606B1 (ja)
EP (6) EP1788816A3 (ja)
JP (1) JP4092734B2 (ja)
KR (1) KR100563756B1 (ja)
CN (1) CN1251518C (ja)
AU (1) AU766680B2 (ja)
WO (1) WO1999023834A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003052054A (ja) * 2001-08-07 2003-02-21 Sony Corp 画像処理装置および方法、記録媒体、並びにプログラム
US7630439B2 (en) * 2003-06-18 2009-12-08 Kddi Corporation Apparatus for converting conversion encoding coefficients using sampling/resolution conversion
US7809198B2 (en) * 2003-03-06 2010-10-05 Sony Corporation Coding apparatus having rate control to prevent buffer breakdown

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100563756B1 (ko) * 1997-11-05 2006-03-24 소니 가부시끼 가이샤 디지탈 신호 변환 방법 및 디지탈 신호 변환 장치
US6944226B1 (en) * 2000-10-03 2005-09-13 Matsushita Electric Corporation Of America System and associated method for transcoding discrete cosine transform coded signals
EP1211896A3 (en) * 2000-11-22 2006-04-19 Matsushita Electric Industrial Co., Ltd. System and method of providing data in one of a plurality of digital formats using an active disk
JP3921680B2 (ja) * 2001-01-24 2007-05-30 ソニー株式会社 記録再生装置および方法、プログラム格納媒体、並びにプログラム
US6700935B2 (en) * 2002-02-08 2004-03-02 Sony Electronics, Inc. Stream based bitrate transcoder for MPEG coded video
JP2003284092A (ja) * 2002-03-25 2003-10-03 Sanyo Electric Co Ltd 色特徴量演算装置及び色特徴量演算方法
AU2003207906A1 (en) * 2002-03-28 2003-10-13 Koninklijke Philips Electronics N.V. Video encoding with constrained fluctuations of quantizer scale
US7009655B2 (en) 2002-07-23 2006-03-07 Mediostream, Inc. Method and system for direct recording of video information onto a disk medium
JP4055203B2 (ja) 2002-09-12 2008-03-05 ソニー株式会社 データ処理装置およびデータ処理方法、記録媒体、並びにプログラム
SG140441A1 (en) * 2003-03-17 2008-03-28 St Microelectronics Asia Decoder and method of decoding using pseudo two pass decoding and one pass encoding
DE10331803A1 (de) * 2003-07-14 2005-02-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Umsetzen in eine transformierte Darstellung oder zum inversen Umsetzen der transformierten Darstellung
KR101169895B1 (ko) * 2004-01-20 2012-07-31 파나소닉 주식회사 화상 부호화 방법, 화상 복호화 방법, 화상 부호화 장치, 화상 복호화 장치 및 그 프로그램
JP2005287006A (ja) * 2004-03-05 2005-10-13 Canon Inc 画像処理方法、画像処理プログラム、画像処理プログラムを記録した記録媒体及び画像処理装置
JP4844741B2 (ja) * 2004-06-11 2011-12-28 日本電気株式会社 動画像符号化装置及び動画像復号装置と、その方法及びプログラム
DE102004038110B3 (de) * 2004-08-05 2005-12-29 Siemens Ag Verfahren zum Codieren und Decodieren, sowie Codier- und Decodiervorrichtung zur Videocodierung
JP4222982B2 (ja) * 2004-08-20 2009-02-12 富士フイルム株式会社 画像復号縮小装置および方法
US20060109900A1 (en) * 2004-11-23 2006-05-25 Bo Shen Image data transcoding
US20090261107A1 (en) * 2005-12-23 2009-10-22 Thorsten Allgeier Motor vehicle with a gas tank
KR20070081949A (ko) * 2006-02-14 2007-08-20 엘지전자 주식회사 트랜스코딩 장치 및 방법
US8982947B2 (en) * 2007-07-20 2015-03-17 The Hong Kong University Of Science And Technology Rate control and video denoising for noisy video data
EP2187648A4 (en) * 2007-09-12 2012-07-11 Sony Corp IMAGE PROCESSING DEVICE AND IMAGE PROCESSING METHOD
CN101632307B (zh) * 2007-09-12 2012-12-05 索尼株式会社 图像处理装置和图像处理方法
US8934539B2 (en) * 2007-12-03 2015-01-13 Nvidia Corporation Vector processor acceleration for media quantization
US8687875B2 (en) * 2007-12-03 2014-04-01 Nvidia Corporation Comparator based acceleration for media quantization
US8704834B2 (en) * 2007-12-03 2014-04-22 Nvidia Corporation Synchronization of video input data streams and video output data streams
US8750379B2 (en) * 2008-09-11 2014-06-10 General Instrument Corporation Method and apparatus for complexity-scalable motion estimation
TWI433542B (zh) * 2009-05-25 2014-04-01 Mstar Semiconductor Inc 反量化處理方法與裝置
JP2011244210A (ja) * 2010-05-18 2011-12-01 Sony Corp 画像処理装置および方法
ES2820437T3 (es) * 2010-07-20 2021-04-21 Ntt Docomo Inc Método de codificación predictiva de imágenes, dispositivo de decodificación predictiva de imágenes, método de decodificación predictiva de imágenes y programa de decodificación predictiva de imágenes
US8885701B2 (en) * 2010-09-08 2014-11-11 Samsung Electronics Co., Ltd. Low complexity transform coding using adaptive DCT/DST for intra-prediction
US20120275502A1 (en) * 2011-04-26 2012-11-01 Fang-Yi Hsieh Apparatus for dynamically adjusting video decoding complexity, and associated method
US9344742B2 (en) * 2012-08-10 2016-05-17 Google Inc. Transform-domain intra prediction
US9532051B2 (en) * 2012-10-05 2016-12-27 Futurewei Technologies, Inc. Architecture for hybrid video codec
JP6012555B2 (ja) * 2013-07-01 2016-10-25 小澤　直樹 画像信号のための補間信号生成方法
JP6664819B2 (ja) * 2014-11-14 2020-03-13 ホアウェイ・テクノロジーズ・カンパニー・リミテッド デジタル画像のブロックのマスクベースの処理のためのシステムおよび方法
CN107005702B (zh) 2014-11-14 2020-10-16 华为技术有限公司 用于处理数字图像的块的系统和方法
KR101978194B1 (ko) 2014-11-14 2019-05-14 후아웨이 테크놀러지 컴퍼니 리미티드 디지털 이미지를 처리하는 방법 및 시스템
US10015495B2 (en) * 2016-05-09 2018-07-03 Adobe Systems Incorporated Generating custom quantization tables for JPEG compression based on image content

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0670174A (ja) * 1992-08-19 1994-03-11 Fujitsu Ltd 符号化画像データのデータ量削減方法
JPH10164593A (ja) * 1996-11-25 1998-06-19 Toshiba Corp 画像符号化装置及び画像符号化方法

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05111005A (ja) 1991-10-15 1993-04-30 Matsushita Electric Ind Co Ltd 量子化幅決定装置
US5262854A (en) * 1992-02-21 1993-11-16 Rca Thomson Licensing Corporation Lower resolution HDTV receivers
JPH06237386A (ja) * 1993-02-10 1994-08-23 Ricoh Co Ltd 画像処理装置
JPH07203443A (ja) 1993-12-27 1995-08-04 Olympus Optical Co Ltd 動画像符号化装置
DE69535800D1 (de) * 1994-06-08 2008-09-11 Matsushita Electric Ind Co Ltd Bildumsetzungsvorrichtung
US5666163A (en) * 1994-07-12 1997-09-09 Sony Corporation Electronic image resolution enhancement by frequency-domain extrapolation
JPH0865663A (ja) 1994-08-19 1996-03-08 Canon Inc ディジタル画像情報処理装置
JP3579926B2 (ja) * 1994-08-25 2004-10-20 ソニー株式会社 デジタルビデオ信号の再生方法及び再生装置
JP3208039B2 (ja) * 1995-03-09 2001-09-10 ケイディーディーアイ株式会社 画像符号化データのレート変換装置
JP3732867B2 (ja) * 1995-03-09 2006-01-11 株式会社ルネサステクノロジ 画像伸張装置
WO1997001337A1 (en) 1995-06-29 1997-01-16 Mcneil-Ppc, Inc. The combination of topical nasal antihistamines and topical nasal steroids
WO1997013371A1 (en) * 1995-10-06 1997-04-10 Matsushita Electric Industrial Co., Ltd. Compressed video data processing with conversion of image compression format
US5737019A (en) * 1996-01-29 1998-04-07 Matsushita Electric Corporation Of America Method and apparatus for changing resolution by direct DCT mapping
JPH09219861A (ja) 1996-02-13 1997-08-19 Fuji Film Micro Device Kk デジタル画像伸張システム
JPH1067244A (ja) * 1996-08-27 1998-03-10 Honda Motor Co Ltd 変速機操作レバー
SE515535C2 (sv) * 1996-10-25 2001-08-27 Ericsson Telefon Ab L M En transkoder
JP3901287B2 (ja) * 1997-02-27 2007-04-04 松下電器産業株式会社 映像信号変換装置、映像信号変換方法及び映像提供システム
JP3844844B2 (ja) * 1997-06-06 2006-11-15 富士通株式会社 動画像符号化装置及び動画像符号化方法
JPH1173410A (ja) * 1997-06-16 1999-03-16 Sony Corp ディジタル信号変換方法及び装置並びに変換行列作成方法
KR100563756B1 (ko) * 1997-11-05 2006-03-24 소니 가부시끼 가이샤 디지탈 신호 변환 방법 및 디지탈 신호 변환 장치
JP3415765B2 (ja) * 1998-03-25 2003-06-09 富士写真光機株式会社 ズームレンズ
KR100275700B1 (ko) * 1998-07-10 2000-12-15 윤종용 영상신호 규격 변환장치
KR100433516B1 (ko) * 2000-12-08 2004-05-31 삼성전자주식회사 트랜스코딩 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0670174A (ja) * 1992-08-19 1994-03-11 Fujitsu Ltd 符号化画像データのデータ量削減方法
JPH10164593A (ja) * 1996-11-25 1998-06-19 Toshiba Corp 画像符号化装置及び画像符号化方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP0951184A4 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003052054A (ja) * 2001-08-07 2003-02-21 Sony Corp 画像処理装置および方法、記録媒体、並びにプログラム
US7809198B2 (en) * 2003-03-06 2010-10-05 Sony Corporation Coding apparatus having rate control to prevent buffer breakdown
US7630439B2 (en) * 2003-06-18 2009-12-08 Kddi Corporation Apparatus for converting conversion encoding coefficients using sampling/resolution conversion

Also Published As

Publication number Publication date
JP4092734B2 (ja) 2008-05-28
US7227898B2 (en) 2007-06-05
EP1788814A3 (en) 2008-10-15
AU9761898A (en) 1999-05-24
AU766680B2 (en) 2003-10-23
EP1788815A2 (en) 2007-05-23
KR100563756B1 (ko) 2006-03-24
US6963606B1 (en) 2005-11-08
EP1788821A2 (en) 2007-05-23
EP0951184A1 (en) 1999-10-20
CN1251518C (zh) 2006-04-12
EP1788821A3 (en) 2008-10-15
US7526030B2 (en) 2009-04-28
US7593464B2 (en) 2009-09-22
US20050157788A1 (en) 2005-07-21
US20050157787A1 (en) 2005-07-21
EP1788816A3 (en) 2008-10-15
EP1788816A2 (en) 2007-05-23
KR20000069864A (ko) 2000-11-25
US20050157786A1 (en) 2005-07-21
EP1788814A2 (en) 2007-05-23
EP1788815A3 (en) 2008-10-15
US7221709B2 (en) 2007-05-22
CN1243636A (zh) 2000-02-02
EP0951184A4 (en) 2006-08-30
EP1788818A2 (en) 2007-05-23
EP1788818A3 (en) 2008-10-15
US20070263728A1 (en) 2007-11-15

Similar Documents

Publication Publication Date Title
WO1999023834A1 (en) Method for converting digital signal and apparatus for converting digital signal
US6526099B1 (en) Transcoder
US8054883B2 (en) Method for transcoding compressed video signals, related apparatus and computer program product therefor
US7110451B2 (en) Bitstream transcoder
JP4847076B2 (ja) トランスコーディングのために出力マクロブロック及び動きベクトルを推定する方法及びトランスコーダ
JP2004520771A (ja) ドリフト補正を備えたビデオトランスコーダ
CN101964910B (zh) 基于码率型转码辅助的视频空间分辨率转换方法
JP2008109700A (ja) ディジタル信号変換方法およびディジタル信号変換装置
JP4605212B2 (ja) ディジタル信号変換方法およびディジタル信号変換装置
JP2002344973A (ja) 画像符号化データのサイズ変換方法、画像符号化データ伝送方法、及び画像符号化データサイズ変換装置
JP4513856B2 (ja) ディジタル信号変換方法およびディジタル信号変換装置
JP4363615B2 (ja) 符号化動画像変換装置
JP2008118693A (ja) ディジタル信号変換方法およびディジタル信号変換装置
JP2008109701A (ja) ディジタル信号変換方法およびディジタル信号変換装置
AU2003200519B2 (en) Method for Converting Digital Signal and Apparatus for Converting Digital Signal
Cieplinski A review of image and video coding standards
JP2002064826A (ja) 圧縮画像の解像度変換装置及び方法
JP2003134519A (ja) 画像情報符号化装置及び方法

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 98801684.2

Country of ref document: CN

AK Designated states

Kind code of ref document: A1

Designated state(s): AU CN JP KR US

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): AT BE CH CY DE DK ES FI FR GB GR IE IT LU MC NL PT SE

WWE Wipo information: entry into national phase

Ref document number: 1998951700

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 1019997006052

Country of ref document: KR

WWE Wipo information: entry into national phase

Ref document number: 97618/98

Country of ref document: AU

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 09341401

Country of ref document: US

WWP Wipo information: published in national office

Ref document number: 1998951700

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 1019997006052

Country of ref document: KR

WWG Wipo information: grant in national office

Ref document number: 97618/98

Country of ref document: AU

WWG Wipo information: grant in national office

Ref document number: 1019997006052

Country of ref document: KR