WO1994023535A1 - Method and apparatus for coding video signal, and method and apparatus for decoding video signal - Google Patents

Method and apparatus for coding video signal, and method and apparatus for decoding video signal Download PDF

Info

Publication number
WO1994023535A1
WO1994023535A1 PCT/JP1994/000499 JP9400499W WO9423535A1 WO 1994023535 A1 WO1994023535 A1 WO 1994023535A1 JP 9400499 W JP9400499 W JP 9400499W WO 9423535 A1 WO9423535 A1 WO 9423535A1
Authority
WO
WIPO (PCT)
Prior art keywords
image signal
signal
pixels
resolution
resolution image
Prior art date
Application number
PCT/JP1994/000499
Other languages
English (en)
French (fr)
Inventor
Tomoyuki Sato
Katsumi Tahara
Original Assignee
Sony Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corporation filed Critical Sony Corporation
Priority to US08/341,546 priority Critical patent/US5832124A/en
Priority to DE1994621868 priority patent/DE69421868T2/de
Priority to KR1019940704311A priority patent/KR100311294B1/ko
Priority to EP19940910550 priority patent/EP0643535B1/en
Publication of WO1994023535A1 publication Critical patent/WO1994023535A1/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation

Definitions

  • the present invention records a moving image signal on a recording medium such as a magneto-optical disk or a magnetic tape, reproduces the moving image signal, and displays it on a display or the like.
  • video signals are transmitted from the transmitting side to the receiving side via a transmission line in a video conference system, videophone system, broadcasting equipment, etc., and are received and displayed on the receiving side.
  • TECHNICAL FIELD The present invention relates to a suitable image signal encoding method and image signal encoding device, an image signal decoding method, and an image signal decoding device. 2. Background Art First, an encoding method and a decoding method that do not perform hierarchical encoding will be described, and then an encoding procedure when hierarchical encoding is performed will be described.
  • an image signal is utilized by utilizing a line correlation or an inter-frame correlation of the image signal in order to use the transmission path efficiently. Is compressed and encoded.
  • the image signal is (Discrete cosine transform) It can be compressed by processing.
  • the difference between the frame images PC2 and PC3 in FIG. 13A is calculated to generate the image PC23 in FIG.
  • the images of temporally adjacent frames do not have such a large change, and when the difference between them is calculated, the difference signal becomes a small value. That is, in the image PC12 shown in FIG. 22B, the difference between the frame image PC1 and the image signal of PC2 in FIG. A signal is obtained. Also, in the image PC 23 shown in B of FIG. 22, the difference between the image signals of the frame images PC 2 and PC 3 of A in FIG.
  • the signal indicated by the hatched portion in FIG. 3 is obtained. Therefore, if this difference signal is encoded, the code amount can be compressed.
  • the image of each frame is defined as an I-picture (intra-coded picture), a P-picture (predictive-coded picture) or a B-picture.
  • One of three types of pictures (bidirectionally-coded picture) is used to compress and encode the image signal.
  • Image signals of 17 frames from F17 to F17 are set as one unit of processing as a group of pictures. Then, the image signal of the first frame F1 is encoded as an I picture, the second frame F2 is processed as a .B picture, and the third frame F3 is processed as a P picture.
  • the fourth and subsequent frames F4 to F17 are alternately processed as B pictures or P pictures.
  • FIGS. 24A and B show the principle of the method of encoding a moving image signal in this manner.
  • a of FIG. 24 schematically shows frame data of a moving image video signal
  • B of FIG. 24 schematically shows frame data to be transmitted.
  • the first frame F1 is processed as an I picture, that is, a non-interpolated frame, it is transmitted as it is to the transmission path as transmission data FIX (transmission non-interpolated frame data).
  • transmission data FIX transmission non-interpolated frame data
  • the second frame F2 is processed as a B picture, that is, an interpolation frame, the frame F1 that precedes in time and the frame F3 that follows in time (interframe coding
  • the difference from the average value of the non-interpolated frames is calculated, and the difference is calculated as the transmission data (transmission interpolation frame data) F 2 X Transmitted.
  • the first process is to transmit the data of the original frame F2 as it is as the transmission data F2X as shown by the dashed arrow SP1 in the figure (intra coding mode). Similar processing is performed.
  • the second process is to calculate the difference from the frame F3 that is later in time and transmit the difference as indicated by the broken-line arrow SP2 in the figure (backward prediction mode).
  • the third process is to transmit the difference from the temporally preceding frame F 1 as indicated by the broken arrow SP 3 in the figure (forward prediction mode).
  • the fourth process generates a difference between the temporally preceding frame F 1 and the average frame of the succeeding frame F 3 as indicated by the broken arrow SP 4 in the figure, and this is referred to as the transmission data F 2 It is transmitted as X (bidirectional prediction mode).
  • the method that minimizes the transmission data is adopted for each macroblock.
  • the motion vector xl (the motion vector between frames F 1 and F 2 in the case of forward prediction) between the image of the frame (prediction image) for which the difference is to be calculated.
  • the motion vector X2 (the motion vector between frames F3 and F2 in the case of backward prediction) or both the motion vectors X1 and X2 (in the case of bidirectional prediction).
  • the frame F 3 of the P picture (a non-interpolated frame of inter-frame coding) is obtained by using the temporally preceding frame F 1 as a predicted image and a difference signal from the frame F 1 (indicated by a broken arrow SP 3). )
  • the vector x 3 is calculated and transmitted as transmission data F 3 X (forward prediction mode).
  • the data of the original frame F3 is transmitted as it is as the transmission data F3X (indicated by a broken arrow SP1) (intra-coding mode).
  • the method of transmission is the same as in the case of the B picture, and the one that transmits less data is selected in units of macro blocks.
  • the frame F 4 of the B picture and the P picture The frame F5 is also processed in the same manner as described above, and transmission data F4X, F5X, motion vectors X4, X5, X6, and the like are obtained.
  • FIG. 25 shows a configuration example of a device that encodes and transmits a moving image signal based on the above-described principle and decodes the encoded signal.
  • the encoding device 1 encodes an input video signal, transmits the encoded video signal to a recording medium 3 as a transmission path, and records it.
  • the decoding device 2 reproduces the signal recorded on the recording medium 3, and decodes and outputs the signal.
  • the video signal VD input via the input terminal 10 is input to the preprocessing circuit 11, where the luminance signal and the color signal (in this case, the color difference signal) are separated.
  • AZD conversion is performed by AZD converters 12 and 13, respectively.
  • the video signal converted into a digital signal by AZD conversion by the AZD converters 12 and 13 is supplied to and stored in the frame memory 14.
  • the luminance signal is stored in the luminance signal frame memory
  • the color difference signal is stored in the color difference signal frame memory 16.
  • the format conversion circuit 17 converts the frame format signal stored in the frame memory 14 into a block format signal. Replace. That is, as shown in (A) of FIG. 26, the video signal stored in the frame memory 14 is data of a frame format in which H dots are collected in V lines per line. .
  • the format conversion circuit 17 divides the signal of one frame into N slices in units of 16 lines. And each slice is
  • each macro block is composed of luminance signals corresponding to 16 ⁇ 16 pixels (dots) as shown in (C) of FIG. 26.
  • This luminance signal is further divided into blocks Y [1] to Y [4] in units of 8 ⁇ 8 dots, as shown in FIG. 26 (C).
  • the 16 ⁇ 16 dot luminance signal corresponds to an 8 ⁇ 8 dot Cb signal and an 8 ⁇ 8 dot Cr signal.
  • the data converted into the block format is supplied from the format conversion circuit 17 to the encoder 18, where the end code (encoding) is performed.
  • the end code encoding
  • the signal encoded by the encoder 18 is output to the transmission path as a bit stream, and is recorded on the recording medium 3, for example.
  • the data reproduced from the recording medium 3 is supplied to the decoder 31 of the decoding device 2 and decoded. See Figure 3 for more information on Decoder 31
  • the data decoded by the decoder 31 is input to a format conversion circuit 32, and is converted from a block format to a frame format.
  • the luminance signal of the frame format is supplied to the luminance signal frame memory 34 of the frame memory 33 and recorded.
  • the color difference signal is supplied to and stored in the color difference signal frame memory 35.
  • the luminance signal and the color difference signal read from the luminance signal frame memory 34 and the color difference signal frame memory 35 are DZA-converted by the DZA converters 36 and .37, respectively, and supplied to the post-processing circuit 38. Combined.
  • This output video signal is output from an output terminal 30 to a display such as a CRT (not shown) and displayed.
  • the image data to be coded supplied via the input terminal 49 is input to the motion vector detection circuit 50 on a macroblock basis.
  • the motion vector detection circuit 50 processes the image data of each frame as an I picture, P picture, or B picture according to a predetermined sequence set in advance. It is determined in advance which of the I, P, and B pictures to process the sequentially input image of each frame as a picture. For example, as shown in FIG. 23, a group-of-picture composed of frames F1 to F17 is processed as I, B, P, B,..., B, P.
  • Image data of a frame (for example, frame F1) processed as an I picture is transferred from the motion vector detection circuit 50 to the front original image section 51a of the frame memory 51, stored, and processed as a B picture.
  • the image data of the frame (eg, frame F 2) is transferred and stored in the original image section (reference original image section) 5 lb, and the image data of the frame (eg, frame F 3) processed as a P-picture is The image is transferred to and stored in the image section 51c.
  • a B picture for example, When an image of a frame to be processed as a frame F 4) or a P picture (the frame F 5) is input, the first P picture (frame F 3) previously stored in the rear original image section 51C is input.
  • the image data is transferred to the front original image section 51a, the image data of the next B picture (frame F4) is stored (overwritten) in the original image section 51b, and the next P picture ( The image data of the frame F5) is stored (overwritten) in the rear original image section 51c.
  • Such operations are sequentially repeated.
  • the signal of each picture stored in the frame memory 51 is read therefrom, and the prediction mode switching circuit 52 performs frame prediction mode processing or field prediction mode processing.
  • the calculation unit 53 performs a calculation in the intra-coding mode, the forward prediction mode, the backward prediction mode, or the bidirectional prediction mode. Which of these processes is to be performed is determined on a macroblock basis in accordance with the prediction error signal (the difference between the reference image to be processed and the predicted image corresponding thereto). For this reason, the motion vector detection circuit 50 calculates the sum of the absolute value of the prediction error signal used for this determination (or the sum of squares) and the evaluation value of the intra coding mode corresponding to the prediction error signal. Is generated on a per-block basis.
  • the prediction mode switching circuit 52 When the frame prediction mode is set, the prediction mode switching circuit 52 outputs the four luminance blocks Y [1] to Y [4] supplied from the motion vector detection circuit 50 as they are. It is output to the operation unit 53 in the subsequent stage. In other words, in this case, as described above, in each luminance block, the data of the line of the odd field and the data of the line of the even field are mixed. Note that the solid line in each macroblock in Fig. 28 represents the data of the line of the odd field (the line of the first field), and the broken line represents the data of the even field.
  • Line of the second field indicates the data of the line
  • a and b in FIG. 28 indicate units of motion compensation.
  • prediction is performed in units of four luminance blocks (macroblocks), and one motion vector corresponds to four luminance blocks.
  • the prediction mode switching circuit 52 converts the signal input from the motion vector detection circuit 50 with the configuration shown in FIG.
  • the luminance blocks Y [1] and Y [2] are composed only of dots of odd-numbered field lines, for example, and the other two luminance blocks Y [3] and Y [4] are composed of the data of the even field lines and output to the arithmetic unit 53.
  • one motion vector corresponds to two luminance blocks Y [1] and Y [2], and the other two luminance blocks Y [3] and Y [4].
  • One other motion vector corresponds to.
  • the chrominance signal is processed in a state where the data of the odd field lines and the data of the even field lines are mixed as shown in A of FIG. Supplied to In the field prediction mode, the upper half (4 lines) of each chrominance block Cb, Cr corresponds to the luminance block Y [1], Y [2] as shown in B of Fig. 28.
  • the color difference signal of the odd field is regarded as the lower half (4 Line) is the color difference signal of the even field corresponding to the luminance block Y [3], ⁇ [4].
  • the motion vector detection circuit 50 determines whether each macroblock has an intra coding mode, a forward prediction mode, a backward prediction mode, or a bidirectional prediction mode in the prediction determination circuit 54 as follows.
  • the evaluation value of the intra coding mode and the sum of the absolute value of each prediction error for determining whether to perform the shift prediction, the frame prediction mode or the field prediction mode, are generated for each macroblock. That is, the absolute value sum ⁇ ⁇ I Aij- (average value of Aij) I of the difference between the macroblock signal Aij of the reference image to be encoded and its average value is determined as the evaluation value of the intra-coding mode.
  • the difference (Aij-Bij) between the signal Aij of the macroblock of the reference image and the signal Bij of the macroblock of the predicted image in each of the frame prediction mode and the field prediction mode is calculated as the absolute value sum of the prediction errors of the forward prediction.
  • Absolute value I Aij—Bij I sum ⁇ I Aij-Bij I is calculated.
  • the sum of the absolute values of the prediction errors between the backward prediction and the bidirectional prediction is calculated in the same manner as in the forward prediction (by changing the predicted image to a different prediction image from that in the forward prediction) and the frame prediction mode and the field prediction. Determine for each of the modes.
  • the prediction determination circuit 54 determines the smallest of the absolute values of the prediction errors of the forward prediction, the backward prediction, and the bidirectional prediction in each of the frame prediction mode and the field prediction mode as the absolute value of the prediction error of the inter prediction. Select as sum. Furthermore, the absolute sum of the prediction errors of the inter prediction and the evaluation value of the intra coding mode are compared, and And the mode corresponding to the selected value is selected as the prediction mode and the frame field prediction mode. That is, if the evaluation value of the intra coding mode is smaller, the intra coding mode is set. If the absolute value sum of the prediction errors in the inter prediction is smaller, the mode with the smallest absolute value sum is the prediction mode or frame field prediction among the forward prediction mode, backward prediction mode, and bidirectional prediction mode. Set as mode.
  • the prediction mode switching circuit 52 converts the macroblock signal of the reference image into a mode selected by the prediction determination circuit 54 of the frame prediction mode or the field prediction mode.
  • the motion vector detection circuit 50 outputs a motion vector between the prediction image corresponding to the prediction mode selected by the prediction determination circuit 54 and the reference image, and outputs a variable length encoding circuit described later. 5 8 and motion compensation circuit 6 4 As the motion vector, the motion vector that minimizes the sum of the absolute values of the corresponding prediction errors is selected.
  • the prediction determination circuit 54 sets the intra-coding mode (motion compensation mode) as the prediction mode. Is set), and switch 53 d of operation unit 53 is switched to contact a. As a result, the image data of the I picture is input to the DCT mode switching circuit 55.
  • this DCT mode switching circuit 55 converts the data of the four luminance blocks into a state where the odd field lines and the even field lines are mixed (the frame DCT mode). Output) to the DCT circuit 56 in a state where the line of the odd field and the line of the even field are separated (field DCT mode).
  • the DCT mode switching circuit 55 provides the coding efficiency when the DCT processing is performed by mixing the data of the odd field and the even field, and the coding efficiency when the DCT processing is performed in the separated state. And select a mode having good coding efficiency.
  • the input signal is composed of a mixture of odd and even field lines, and the signal of the odd field line and the even field line that are vertically adjacent.
  • the difference between the signals is calculated, and the sum (or sum of squares) of the absolute values is calculated.
  • the input signal has a configuration in which the lines of the odd field and the even field are separated, and the signal difference between the lines of the odd field adjacent vertically and the signal of the even field Calculate the signal difference between the lines in the field and calculate the sum (or sum of squares) of the absolute values of each. Then, compare the two (sum of absolute values) and set the DCT mode corresponding to the smaller value. That is, if the former is smaller, the frame DCT mode is set, and if the latter is smaller, the field DCT mode is set.
  • the data having the configuration corresponding to the selected DCT mode is output to the DCT circuit 56, and the DCT flag indicating the selected DCT mode is output to the variable length encoding circuit 58.
  • the frame prediction mode (a mode in which odd-numbered lines and even-numbered lines are mixed)
  • the frame DCT mode (in which odd-numbered lines and even-numbered lines are mixed) is also used in the DCT mode switching circuit 55. If the prediction mode switching circuit 52 selects the field prediction mode (the mode in which the data of the odd field and the data of the even field are separated), In the DCT mode switching circuit 55, there is a high possibility that the field DCT mode (mode in which the odd field and the even field are separated) is selected.
  • the mode is determined so that the sum of absolute values of the prediction errors becomes small.
  • the mode is determined so that the conversion efficiency is good.
  • the I-picture image data output from the DCT mode switching circuit 55 is input to the DCT circuit 56, subjected to DCT (discrete cosine conversion) processing, and converted into DCT coefficients.
  • the DCT coefficient is input to a quantization circuit 57 and is quantized in a quantization step corresponding to the data storage amount (buffer storage amount) of the transmission buffer 59, and then to the variable length coding circuit 58. Is entered.
  • the variable-length encoding circuit 58 receives the image data (in this case, I-picture data) supplied from the quantization circuit 57 in accordance with the quantization step (scale) supplied from the quantization circuit 57. Into a variable length code such as a Huffman code, and Output.
  • a variable length code such as a Huffman code
  • the variable length coding circuit 58 also has a quantization step (scale) from the quantization circuit 57 and a prediction mode (intra coding mode, forward prediction mode, backward prediction mode or both directions) from the prediction decision circuit 54.
  • a mode indicating which of the prediction modes has been set) a motion vector from the motion vector detection circuit 50, and a prediction flag (either the frame prediction mode or the field prediction mode) from the prediction determination circuit 54.
  • a DCT flag (flag indicating whether the frame DCT mode or the field DCT mode has been set) output by the DCT mode switching circuit 55, and these are also variable-length codes.
  • the transmission buffer 59 temporarily stores the input data and outputs data corresponding to the storage amount to the quantization circuit 57.
  • the transmission buffer 59 When the remaining data amount increases to the permissible upper limit, the transmission buffer 59 reduces the data amount of the quantized data by increasing the quantization scale of the quantization circuit 57 by the quantization control signal. Conversely, when the remaining data amount decreases to the permissible lower limit value, the transmission buffer 59 reduces the quantization scale of the quantization circuit 57 by the quantization control signal, thereby obtaining the quantized data. Increase the amount of data. In this way, overflow or underflow of the transmission buffer 59 is prevented.
  • the data stored in the transmission buffer 59 is read at a predetermined timing, output to the transmission path via the output terminal 69, and recorded on the recording medium 3, for example.
  • the I-picture data output from the quantization circuit 57 is It is input to the quantization circuit 60 and inversely quantized according to the quantization step supplied from the quantization circuit 57.
  • the output of the inverse quantization circuit 60 is input to the IDCT (inverse DCT) circuit 61, subjected to inverse DCT processing, and then supplied to the forward prediction image section 63 a of the frame memory 63 via the arithmetic unit 62 Is stored.
  • IDCT inverse DCT
  • the motion vector detection circuit 50 processes the sequentially input image data of each frame, for example, as I, B, P, B, P, B,. After processing the image data of the first input frame as an I picture, before processing the image of the next input frame as a B picture, the image data of the next input frame is further processed as a P picture. Process as This is because a B picture may involve backward prediction and bidirectional prediction, and cannot be decoded unless a P picture as a backward prediction image is prepared beforehand.
  • the motion vector detection circuit 50 starts processing the image data of the P picture stored in the rear original image section 51c after the processing of the I picture. Then, as in the case described above, the sum of the absolute value of the evaluation value of the intra coding mode and the difference between frames (prediction error) in macroblock units is calculated from the motion vector detection circuit 50 to the prediction determination circuit 5. Supplied to 4.
  • the prediction determination circuit 54 determines whether the prediction mode in one of the frame prediction mode and the field prediction mode and the intra coding mode corresponds to the evaluation value of the intra coding mode of the macroblock of the P picture and the absolute value of the prediction error. Mode or forward prediction mode is set for each macroblock.
  • the operation unit 53 switches when the intra-coding mode is set. 5 Switch 3d to contact a as described above. Therefore, this data is transmitted via the DCT mode switching circuit 55, the DCT circuit 56, the quantization circuit 57, the variable length coding circuit 58, and the transmission buffer 59 in the same way as the I picture data. Is transmitted to Also, this data, the inverse quantization circuit 6 0, IDCT circuit 61, is supplied to and stored in the backward prediction picture unit 6 3 b of the frame memory 6 3 via the operation unit 6 2 c
  • the switch 53d is switched to the contact b, and the image (I-picture image in this case) data stored in the forward prediction image section 63a of the frame memory 63. Is read out, and motion compensation is performed by the motion compensation circuit 64 in accordance with the motion vector output by the motion vector detection circuit 50. That is, when the setting of the forward prediction mode is instructed by the prediction determination circuit 54, the motion compensation circuit 64 reads the read address of the forward prediction image section 63a, and the motion vector detection circuit 50 now outputs the read address. Data is read out from the position corresponding to the output macroblock position by the amount corresponding to the motion vector, and predicted image data is generated.
  • the predicted image data output from the motion compensation circuit 64 is supplied to a computing unit 53a.
  • the arithmetic unit 53 a calculates the predicted image data corresponding to the macroblock supplied from the motion compensation circuit 64 from the macroblock data of the reference image supplied from the prediction mode switching circuit 52. Subtract and output the difference (prediction error).
  • the difference data is transmitted to the transmission path via the DCT mode switching circuit 55, the DCT circuit 56, the quantization circuit 57, the variable length coding circuit 58, and the transmission buffer 59.
  • the difference data is locally decoded by the inverse quantization circuit 60 and the IDCT circuit 61, and is input to the arithmetic unit 62.
  • the same data as the predicted image data supplied to the calculator 53 a is supplied to the calculator 62.
  • the arithmetic unit 62 adds the prediction image data output from the motion compensation circuit 64 to the difference data output from the IDCT circuit 61. As a result, the original (decoded) P picture image data is obtained.
  • the image data of the P picture is supplied to and stored in the backward prediction image part 63 b of the frame memory 63.
  • the frame file prediction model is used. It is necessary to have a circuit to sort the data in case that the DCT mode is different from the field and frame field DCT mode, but this is omitted for simplicity.
  • the prediction decision circuit 54 sets the frame Z-field prediction mode in accordance with the evaluation value of the intra coding mode in macroblock units and the magnitude of the sum of absolute values of the differences between frames, and sets the prediction mode to intra. Set to one of the coding mode, forward prediction mode, backward prediction mode or bidirectional prediction mode.
  • the switch 53d is switched to the contact a or the contact b. At this time, the same processing as in the case of the P picture is performed, and the data is transmitted.o
  • the switch 53d is switched to contact c or contact d, respectively. It is.
  • the image (in this case, the image of the P picture) stored in the backward predicted image section 63b is read out and the motion is performed.
  • the motion is compensated by the compensation circuit 64 in accordance with the motion vector output from the motion vector detection circuit 50. That is, when the setting of the backward prediction mode is instructed by the prediction determination circuit 54, the motion compensation circuit 64 reads the read address of the backward prediction image section 63 b and the motion vector detection circuit 50.
  • the predicted image data output from the motion compensation circuit 64 is generated by reading the data from the position corresponding to the position of the currently output macroblock by a distance corresponding to the motion vector and reading the data. It is supplied to the arithmetic unit 53b.
  • the arithmetic unit 53b subtracts the predicted image data supplied from the motion compensation circuit 64 from the macroblock data of the reference image supplied from the prediction mode switching circuit 52 and outputs the difference. You. This difference data is transmitted to the transmission path via the DCT mode switching circuit 55, the DCT circuit 56, the quantization circuit 57, the variable length coding circuit 58, and the transmission buffer 59.
  • the image (in this case, the I-picture image) data stored in the forward prediction image section 6 3 a and the backward prediction image section 6 3 is read out, and the motion compensation circuit 64 reads the image corresponding to the motion vector output by the motion vector detection circuit 50. Motion compensated. In other words, when the setting of the bidirectional prediction mode is instructed by the prediction determination circuit 54, the motion compensation circuit 64 reads the forward prediction image section 63a and the backward prediction image section 63b.
  • the dress is moved from the position corresponding to the position of the macro block that the motion vector detection circuit 50 is currently outputting from the motion vector detection circuit 50 (in this case, the motion vector is forward in the frame prediction mode.
  • the predicted image data output from the motion compensation circuit 64 is supplied to a calculator 53c.
  • the arithmetic unit 53c subtracts the average value of the predicted image data supplied from the motion compensation circuit 64 from the macroblock data of the reference image supplied from the motion vector detection circuit 50, and calculates the difference. Output.
  • This difference data is transmitted to the transmission line via the DCT mode switching circuit 55, the DCT circuit 56, the quantization circuit 57, the variable length coding circuit 58, and the transmission buffer 59.
  • the picture of the B picture is not stored in the frame memory 63 because it is not regarded as a predicted picture of another picture.
  • the forward prediction image section 63a and the backward prediction image section 63b are switched as necessary, and stored in one or the other with respect to a predetermined reference image. This can be switched and output as a forward prediction image or a backward prediction image.
  • FIG. 30 is a block diagram showing a configuration of an example of the decoder 31 of FIG. 25.
  • the encoded image data transmitted via the transmission path (recording medium 3) is received by a receiving circuit (not shown) or reproduced by a reproducing device, and is transmitted to a receiving buffer 81 via an input terminal 80. After being temporarily stored, it is supplied to the variable length decoding circuit 82 of the decoding circuit 90.
  • variable length decoding circuit 82 performs variable length decoding on the data supplied from the reception buffer 81, and outputs the motion vector, the prediction mode, the prediction flag, and the DCT flag to the motion compensation circuit 87, and the quantization step. Is output to the inverse quantization circuit 83, and the decoded image data is output to the inverse quantization circuit 83.
  • the inverse quantization circuit 83 inversely quantizes the image data supplied from the variable-length decoding circuit 82 in accordance with the quantization step also supplied from the variable-length decoding circuit 82, and outputs the result to the IDCT circuit 84. Output.
  • the data (DCT coefficient) output from the inverse quantization circuit 83 is subjected to inverse DCT processing in the IDCT circuit 84 and supplied to the arithmetic unit 85.
  • the data supplied from the IDCT circuit 84 is the data of an I picture
  • the data is output from the arithmetic unit 85 and the image data (P or B picture
  • the data is supplied to and stored in the forward prediction image section 86 a of the frame memory 86 to generate the prediction image data of the data. This data is output to the format conversion circuit 32 (FIG. 25).
  • the image data supplied from the IDCT circuit 84 is P-picture data in which the image data one frame before that is predicted image data and is macroblock data encoded in the forward prediction mode
  • the frame It is stored in the forward prediction image section 86a of the memory 86.
  • the image data (I picture data) one frame before is read out, and the motion compensation circuit 87 performs motion compensation corresponding to the motion vector output from the variable length decoding circuit 82. .
  • the arithmetic unit 85 adds the image data (data of the difference) supplied from the IDCT circuit 84 and outputs the result.
  • the added data that is, the decoded P-picture data is used to generate a predicted image data of image data (B-picture or P-picture data) to be input later to the arithmetic unit 85. It is supplied to and stored in the backward prediction image section 86 b of the memory 86.
  • the forward prediction image section 8 of the frame memory 86 corresponds to the prediction mode supplied from the variable length decoding circuit 82.
  • 6 I-picture image data stored in a (for forward prediction mode), P-picture image data stored in backward prediction section 86 b (for backward prediction mode), or both images
  • the data (in the case of bidirectional prediction mode) is read out, and the motion compensation circuit 87 performs motion compensation corresponding to the motion vector output from the variable length decoding circuit 82.
  • a predicted image is generated.
  • motion compensation is not required (in the case of the intra-coding mode)
  • no predicted image is generated.
  • the data subjected to the motion compensation by the motion compensation circuit 87 in this way is added to the output of the IDCT circuit 84 in the arithmetic unit 85. This addition output is output to the format conversion circuit 32 via the output terminal 91.
  • this added output is a short-term image of the B picture, and is not used for generating a predicted image of another image, and thus is not stored in the frame memory 86.
  • the image data of the P picture stored in the backward prediction image section 86 b is read out and output as a reproduced image via the motion compensation circuit 87 and the arithmetic unit 85. You. However, at this time, motion compensation and addition are not performed.
  • the motion compensation circuit 87 executes the process of returning the configuration in which the signals of the lines of the odd field and the even field are separated to the original mixed configuration as necessary.
  • the processing of the luminance signal has been described, but the processing of the chrominance signal is also performed in the same manner.
  • the motion vector used for the luminance signal is 1Z2 in the vertical and horizontal directions.
  • a higher resolution image and a lower resolution can be obtained.
  • a high-resolution input image is down-sampled by a circuit as shown in FIG. That is, the signal of the high-resolution input image is input to the low-pass filter 91, and unnecessary high-frequency components are removed.
  • the signal limited to a predetermined frequency band by the low-pass filter 91 is input to the thinning circuit 92, and the pixels are thinned at a rate of one out of two. As a result, a signal having a resolution of 1 Z 4 is obtained.
  • An image signal having a resolution of 14 is encoded and transmitted as described above.
  • the high resolution image signal is also encoded and transmitted together with the 14 resolution image signal.
  • a predicted image signal of a high-resolution image signal is generated from a signal obtained by decoding a signal obtained by encoding a 1/4 resolution image signal.
  • an interpolation circuit 95 as shown in FIG. 32 is used.
  • a signal obtained by decoding a signal obtained by encoding an image signal having a resolution of 1Z4 is input to the interpolation circuit 95.
  • the interpolation circuit 95 interpolates (upsamples) this signal as shown in FIG. That is, the luminance data of a line having no luminance data is generated by adding (averaging) the values of the luminance data located on the upper and lower lines to 1 Z 2, respectively.
  • the down-sampling circuit shown in Fig. 31 since the band is limited, the spatial frequency is not expanded by this up-sampling, but the resolution can be doubled.
  • a high-resolution image signal is encoded and transmitted based on the predicted image signal thus generated.
  • the decoder decodes (decodes) a 1/4 resolution image signal in the same manner as described above.
  • a predicted image signal of a high-resolution image signal is generated.
  • the high-resolution image signal is decoded (decoded) using the predicted image signal. Even when a predicted image signal is generated on the decoder side, an interpolation circuit as shown in FIG. 32 is used.
  • the high-resolution image signal is down-sampled at a ratio of 2: 1 to the low-resolution image signal.
  • An image signal is generated.
  • a high-definition television signal represented by Hi-Vision is converted into a high-resolution image signal
  • a low-resolution image signal obtained by down-sampling this at a ratio of 2: 1 is encoded and transmitted. Since the aspect ratio remains 16: 9, it is possible to monitor a 1/4 resolution image signal on an NTSC television receiver having an aspect ratio of 4: 3. There was a task that could not be done.
  • the present invention has been made in view of such circumstances, and has been made in view of the above circumstances, and has been made of a low-resolution image obtained by down-sampling a high-resolution image signal having an aspect ratio of 16: 9. This enables the image signal to be monitored by a conventional NTSC receiver, for example.
  • the image signal encoding method includes: Generates a predicted image signal of a high-resolution image signal from a signal obtained by decomposing the image signal into a high-resolution image signal and decoding a signal obtained by encoding the low-resolution image signal, and generates the generated prediction.
  • an image signal encoding method for encoding a high-resolution image signal using an image signal spatial filtering is performed on a high-resolution image signal at a predetermined resolution so as to have different aspect ratios.
  • a low resolution image signal is generated, and a signal obtained by decoding a signal obtained by encoding the low resolution image signal is converted into a predetermined signal so as to have the original aspect ratio.
  • a feature is that a predicted image signal of a high-resolution image signal is generated by using spatial filtering at a resolution, and an image signal of a high resolution is encoded by using the generated predicted image signal.
  • a high-resolution image signal can be converted into a squeeze-type low-resolution image signal by multiplying it by 1 Z 2 vertically and 38 times horizontally.
  • a high-resolution predicted image signal can be generated by multiplying a signal obtained by decoding a signal obtained by decoding a low-resolution image signal by 2 times vertically and 8 times 3 times horizontally.
  • This method uses, for example, a high-resolution image signal having 192 pixels in the horizontal direction and 960 pixels in the vertical direction, or 192 pixels in the horizontal direction.
  • the present invention can be applied to a high-resolution image signal having 1152 pixels in the vertical direction.
  • a high-resolution image signal can be multiplied by 7/15 vertically and 3Z by 8 horizontally. This method can be applied to a high-resolution image signal having 192 pixels in the horizontal direction and 1204 pixels in the vertical direction.
  • An image signal encoding method decomposes an image signal into a low-resolution image signal and a high-resolution image signal, An image signal code that generates a predicted image signal of a high-resolution image signal from a signal obtained by decoding a signal obtained by encoding the signal, and encodes the high-resolution image signal using the generated predicted image signal.
  • the high resolution image signal is thinned out using spatial filtering at a resolution of 3/8 times vertically and 3/8 times horizontally, and a low resolution image signal of the letterbox method is used.
  • a prediction image signal of an image signal is generated, and a high-resolution image signal is encoded using the generated prediction image signal.
  • This method uses a high-resolution image signal with 920 pixels in the horizontal direction and 960 pixels in the vertical direction, or 192 pixels in the horizontal direction and 920 pixels in the vertical direction. It can be applied to high-resolution image signals with 1 152 pixels.
  • the spatial signal is used to generate a predicted image signal of a high-resolution image signal using spatial filtering with a resolution of 207 times vertically and 8 times 3 times horizontally. be able to.
  • This method can be applied to a high-resolution image signal having 192 pixels in the horizontal direction and 1204 pixels in the vertical direction.
  • a high resolution image signal can be multiplied by 1 Z 3 times vertically and 3 Z 8 times horizontally.
  • Image signal decoding methods corresponding to these image signal encoding methods are implemented. Can be manifested. Also, by applying these methods, an encoding device and a decoding device can be realized.
  • FIG. 1 is a block diagram showing a configuration of an embodiment of an image signal encoding device according to the present invention.
  • FIG. 2 is a block diagram showing a configuration example of the downsampling circuit 301 of FIG.
  • FIG. 3 is a block diagram showing a configuration example of the upsampling circuit 302 of FIG.
  • FIG. 4 is a block diagram showing a configuration of an embodiment of an image signal decoding device according to the present invention.
  • FIG. 5 is a diagram illustrating a first processing example in the downsampling circuit 301 of FIG.
  • FIG. 6 is a diagram illustrating horizontal downsampling in the embodiment of FIG.
  • FIG. 7 illustrates vertical downsampling in the embodiment of FIG. FIG.
  • FIG. 8 is a diagram illustrating an upsampling process corresponding to the downsampling of FIG.
  • FIG. 9 is a diagram illustrating an upsampling process corresponding to the downsampling of FIG.
  • FIG. 10 is a view for explaining a second processing example in the downsampling circuit 301 of FIG.
  • FIG. 11 is a view for explaining downsampling in the vertical direction in the embodiment of FIG.
  • FIG. 12 is a diagram for explaining an upsampling process corresponding to the downsampling of FIG.
  • FIG. 13 is a view for explaining a third processing example in the downsampling circuit 301 of FIG.
  • FIG. 14 is a diagram illustrating the downsampling in the vertical direction in the embodiment of FIG.
  • FIG. 15 is a diagram for explaining upsampling corresponding to the downsampling of FIG.
  • FIG. 16 is a diagram illustrating a fourth processing example in the downsampling circuit 301 of FIG.
  • FIG. 17 is a diagram illustrating the downsampling in the vertical direction in the embodiment of FIG.
  • FIG. 18 is a view for explaining upsampling corresponding to the downsampling of FIG.
  • FIG. 19 is a diagram illustrating another processing example of the downsampling in the vertical direction in the embodiment of FIG.
  • FIG. 20 is a diagram illustrating upsampling corresponding to the downsampling of FIG.
  • FIG. 21 is a diagram for explaining a method of manufacturing a disk on which data encoded by the image signal encoding method according to the present invention is recorded.
  • FIG. 22 is a diagram illustrating the principle of high-efficiency coding.
  • FIG. 23 is a diagram illustrating a picture type for encoding an image.
  • FIG. 24 is a diagram for explaining the principle of encoding a continuous moving image signal.
  • FIG. 25 is a block diagram showing a configuration of a conventional video encoding device and a conventional decoding device.
  • FIG. 26 is a diagram illustrating the structure of image data.
  • FIG. 27 is a block diagram showing a configuration example of the encoder 18 in FIG. 25.
  • FIG. 28 is a diagram for explaining the operation of the prediction mode switching circuit 52 of FIG.
  • FIG. 29 is a diagram illustrating the operation of the DCT mode switching circuit 55 of FIG.
  • FIG. 30 is a block diagram showing a configuration example of the decoder 31 in FIG. 25.
  • FIG. 31 is a block diagram showing a configuration example of a conventional downsampling circuit.
  • FIG. 32 is a block diagram showing a configuration example of a conventional upsampling circuit.
  • FIG. 33 is a diagram for explaining the operation of the interpolation circuit 95 of FIG. BEST MODE FOR CARRYING OUT THE INVENTION
  • FIG. 1 is a block diagram showing a configuration of an embodiment of an image signal encoding device (encoder) of the present invention. In this embodiment, hierarchical coding is performed. In the figure, blocks denoted by reference numerals in the 100's are blocks for processing low-resolution image signals, and blocks denoted by reference numerals in the 200's are high-resolution image signals. This is the block that processes the issue. Each block that performs the processing of each layer has basically the same configuration as the encoder shown in FIG. 27. In FIG.
  • the last two digits of the 100s and 200s codes are The two-digit code of the corresponding function block in FIG. 27 is matched.
  • the prediction mode switching circuit 52 and the DCT mode switching circuit 55 in FIG. 27 are not shown in FIG. 1 for simplicity, the corresponding circuit is also used in the embodiment of FIG. Is inserted.
  • the prediction determination circuit 54 in FIG. 27 is not shown in FIG. 1 for simplicity, but the calculation unit 1553 in FIG. 1 also includes this prediction determination circuit 54.
  • a high-resolution image 201 is prepared as an input image. This is converted to a 1Z4 resolution image 101 via a downsampling circuit 301 for hierarchical coding. As shown in FIG. 2, the downsampling circuit 301 includes a low-pass filter 901 for band limitation and a thinning circuit 902 for thinning data. The operation of the downsampling circuit 301 will be described later in detail.
  • the processing of the 1/4 resolution image 101 is basically the same as that shown in FIG. 27, and will be described briefly.
  • 1 no 4 resolution image 1 0 1 Input to the motion vector detection circuit 150.
  • the input image is read from the frame memory 151 in macroblock units according to a preset image sequence (the processing order of I-picture, P-picture, B-picture, etc.), and is read as a reference source.
  • a motion vector is detected between the image and the front original image or the rear original image, or both.
  • the operation unit 153 determines the prediction mode of the reference block based on the absolute value sum of the inter-frame difference in units of blocks calculated by the motion vector detection circuit 150. Further, the prediction mode determined by the arithmetic unit 153 is supplied to the variable length coding circuit (VLC) 158.
  • VLC variable length coding circuit
  • the calculation unit 153 switches between the intra coding mode, the forward prediction mode, the backward prediction mode, and the bidirectional prediction mode for each block, and in the case of the intra coding mode,
  • an inter-frame encoded data (difference data) is generated from each predicted image, and the difference data is calculated by the arithmetic unit 1.
  • the DCT circuit 156 uses the two-dimensional correlation of the image signal to perform discrete cosine transform of the input image data or difference data in units of blocks, and converts the resulting transform data to a quantization circuit (Q). 1 5 7 is output.
  • the quantization circuit 157 quantizes the DCT transform data with a quantization step size determined for each macroblock and slice, and converts the quantized data obtained at the output end to a variable length coding (VLC) circuit 157. 8 and the inverse quantization circuit (IQ) 160. Quantum used for quantization The conversion scale is determined by feeding back the remaining amount of the buffer in the transmission buffer memory 159 so that the transmission buffer memory 159 does not fail. This quantization scale is also supplied from the quantization circuit 157 to the variable-length encoding circuit 158 and the inverse quantization circuit 160 together with the quantized data.
  • VLC variable length coding
  • IQ inverse quantization circuit
  • the VLC circuit 158 performs variable-length coding on the quantized data together with the quantization scale, macroblock type (prediction mode), and motion vector, and supplies the same to the transmission buffer memory 159 as transmission data. .
  • the bit stream 109 of the 1Z4 resolution image is transmitted in the order of ⁇ prediction mode> ⁇ motion vector> ⁇ DCT coefficient>.
  • the inverse quantization circuit 160 converts the quantized data transmitted from the quantization circuit 157 into inverse quantized data by inversely quantizing the quantized data to a representative value, and converts the inverse quantized data to a discrete cosine inverse.
  • a conversion (IDCT) circuit is provided to supply the circuit.
  • the IDCT circuit 161 converts the inversely quantized data decoded by the inverse quantization circuit 160 into decoded image data by a conversion process reverse to that of the DCT circuit 156.
  • the data is output to the frame memory 163 via the external memory.
  • the motion compensation circuit (MC) 164 moves the data stored in the frame memory 163 based on the macroblock type, motion vector, Frame / Field prediction flag, and Frame / Field DCT Flag. Compensation is performed to generate a predicted image signal.
  • the arithmetic unit 162 adds the predicted image signal and the output data (difference data) of the IDCT circuit 161, and performs local decoding.
  • the decoded image is written to the frame memory 163 as a forward predicted image or a backward predicted image. In the frame memory 163, bank switching is performed as necessary. As a result, a single frame is output as a backward prediction image or is output as a forward prediction image depending on the image to be encoded.
  • the difference from the predicted image is sent as the output of the IDCT circuit 161, and this difference is output from the motion compensation circuit 1664 by the arithmetic unit 162.
  • Local decoding is performed by adding to the predicted image that is to be decoded. This predicted image is exactly the same image as the image decoded by the decoder, and the next processed image performs forward, backward or bidirectional prediction based on this predicted image.
  • the description so far is about the encoding procedure of the 14-resolution image.
  • the output of the arithmetic unit 162 described above is used as the spatial (Spatia 1) prediction image signal of the high-resolution image signal, It is supplied to the upsampling circuit 302 on the transformer side and used for prediction.
  • This encoding procedure is exactly the same as the encoding procedure of the 14-resolution image, except for the procedure of generating the predicted image signal.
  • the high-resolution image 201 is supplied to a calculation unit 253 via a motion vector detection circuit 250.
  • the arithmetic section 253 performs forward, backward or bidirectional prediction by motion compensation from the frame memory 263 or prediction from a 1Z4 resolution image together with the intra coding.
  • the image data output from the computing unit 162 is interpolated by the upsampling circuit 302 to the same resolution as the high-resolution image.
  • a typical upsampling circuit 302 is implemented by an interpolation circuit 903 as shown in FIG. 3, for example. Be composed. Details of the operation will be described later.
  • the interpolated image generated by the upsampling circuit 302 is input to the weighting circuit 303.
  • the output of the upsampling circuit 302 is multiplied by a weight (1 ⁇ W). This is used as a first predicted image signal.
  • a temporal (Temp oral) predicted image is output from the motion compensation circuit 26 4 in accordance with the forward, backward or bidirectional motion compensation c.
  • the weight W is multiplied by 6. This is used as a second predicted image signal.
  • the first and second predicted image signals are added by the adder 304 or 305 to generate a third predicted image signal.
  • the calculation unit 253 uses the third predicted image signal to performs prediction.
  • the weight W is determined by the weight determination circuit 307 so that the prediction efficiency of the third predicted image signal is maximized.
  • the weight W is supplied to a variable length coding circuit (VLC) 258 and coded and transmitted.
  • VLC variable length coding circuit
  • the calculation unit 2553 can obtain higher prediction efficiency by using the 14-resolution image as the spatial prediction image in addition to the conventional motion compensation.
  • the prediction mode is determined.
  • the determined prediction mode is supplied to the variable-length coding circuit 258 and coded and transmitted.
  • the prediction data is supplied to the DCT circuit 256.
  • Other processes are the same as those for encoding a 1Z4 resolution image.
  • the bit stream 209 of the high-resolution image is transmitted in the following order: prediction mode> motion vector> ⁇ weight W> ⁇ DCT coefficient>
  • Figure 4 shows a block diagram of the decoder for hierarchically encoded data.
  • reference numerals in the 400s represent blocks for decoding image signals of 1Z4 resolution
  • reference numerals in the 500s represent blocks for decoding image signals of high resolution.
  • the basic operation of each block is the same as that shown in Fig. 30.
  • the two digits of the last two digits of each block match the two digits of the corresponding block in Fig. 30.
  • the 1/4 resolution bit stream 401 (corresponding to the output 109 of the transmit buffer 159 in Figure 1) is decoded as before.
  • a 1 Z4 resolution bitstream 401 is input via a transmission medium (for example, recording medium 3 in FIG. 25).
  • This bit stream is input to a variable length decoding (IVLC) circuit 482 via a reception buffer 481.
  • the variable-length decoding circuit 48.2 decodes the quantized data, motion vector, macroblock type, quantization scale, Frame / Field prediction Flag, and Frame / Field DCT Flag from the bitstream.
  • the quantized data and the quantized scale are input to the next inverse quantization circuit (IQ) 483.
  • IQ inverse quantization circuit
  • a 1Z4 resolution image 408 is obtained.
  • the decoded image is stored in the frame memory 486 for prediction of the next image.
  • the image stored in the frame memory 486 is used as a spatial prediction image signal used for decoding a high-resolution image. Then, it is input to the upsampling circuit 602 of the high resolution decoding device.
  • This up-sampling circuit 602 like the up-sampling circuit 302 of FIG.
  • the data up-sampled by the up-sampling circuit 302 is supplied to a weighting circuit 603, and is multiplied by (11 W). This is the first predicted image for the high-resolution decoding device.
  • the high-resolution decoding device decoding is performed through exactly the same processing as for a 1Z4 resolution image signal. That is, the high-resolution bit stream 501 is input via the transmission medium. This bitstream is input to a variable length decoding (IVLC) circuit 583 via the reception buffer 581, and is decoded.
  • IVLC variable length decoding
  • variable-length decoded data is processed by an inverse quantization circuit (IQ) 583, an IDCT circuit 584, an arithmetic unit 5885, a frame memory 5886, and a motion compensation circuit 5887.
  • IQ inverse quantization circuit
  • IDCT IDCT
  • arithmetic unit 5885 arithmetic unit 5885
  • frame memory 5886 a frame memory 5886
  • motion compensation circuit 5887 The output from the motion compensation circuit 587 is input to a weighting circuit 604, and is multiplied by a weighting coefficient W to form a second predicted image signal.
  • the second predicted image signal and the I-th predicted image signal from the 1Z4 resolution image described above are added by an adder 605 to form a third predicted image signal for the high-resolution decoding device. .
  • This third predicted image signal is added to the difference data output from the IDCT circuit 584 in the arithmetic unit 585, and the original high-resolution image is decoded.
  • This high-resolution image 508 is simultaneously stored in the frame memory 586 for prediction of the next image.
  • the weight W used is used in the weighting circuit 306 in FIG.
  • the weight W is obtained from the IVLC circuit 582 through the decoding of the bit stream 209 (501).
  • the decoding of the high-resolution image is performed as described above.
  • Figure 5 shows an example of the relationship between the resolution of a high-resolution image and the resolution of a low-resolution image. That is, in this example, the high-resolution image 201 in FIG. 1 has a resolution of H horizontal pixels and V vertical pixels, and this is determined by the down-sampling circuit 301 so that the horizontal Hx 3Z8 pixels and the vertical Vx1 Z2 images are obtained. The image is converted to a low-resolution image 101 having a natural resolution. This low-resolution image is a so-called squeeze-type image (the image becomes vertically long).
  • Such downsampling is realized by the downsampling circuit having the configuration shown in FIG. That is, the input signal is band-limited by the low-pass filter 901 and then input to the decimating circuit 902, where it is decimated to 3/8 horizontally and 1Z2 vertically.
  • FIG. 6 shows the principle of horizontal thinning of the downsampling circuit 301 (thinning circuit 902).
  • the coefficients (1, 13, 2, 3) shown in Fig. 6 are calculated using the reciprocal of the ratio of the distance between adjacent input pixels corresponding to the output pixel position. expressed.
  • the value obtained by multiplying the pixel value of the adjacent pixel by this coefficient is the value of the output pixel.
  • the position of the input pixel is equal to the position of the output pixel, the value of the input pixel becomes the value of the output pixel as it is.
  • FIG. 7 shows the principle of vertical thinning of the downsampling circuit 301 (thinning circuit 902). In consideration of the interlaced structure of the image, 1Z2 is thinned out in the vertical direction.
  • the coefficients (1, 1 2) shown in Fig. 7 are expressed using the reciprocal of the ratio of the distance between adjacent input pixels corresponding to the output pixel position.
  • the value obtained by multiplying the pixel value of the adjacent pixel by this coefficient is the value of the output pixel.
  • the value of the input pixel becomes the value of the output pixel as it is.
  • every other line is thinned out.
  • the input pixels a and b, c and d, e and f, etc. of the vertically adjacent lines are multiplied by a factor of 1 2 and added, and the output pixels A, B, C etc. are configured o
  • the interpolating circuit 903 of FIG. 3 constituting the up-sampling circuits 302 and 602 of FIGS. , 8/3 times the width and 2 times the height.
  • FIG. 8 shows the principle of interpolation of 8 ⁇ 3 in the horizontal direction.
  • the coefficients (1, 7Z8, 6/8, 5/8, 4/8, 3/8, 2/8, 1Z8) shown in Fig. 8 It is expressed using the reciprocal of the distance between adjacent input pixels corresponding to the position.
  • Image of adjacent pixel The value obtained by multiplying the prime value by this coefficient is the value of the output pixel.
  • the position of the input pixel is equal to the position of the output pixel, the value of the input pixel becomes the value of the output pixel as it is.
  • the input pixel a is used as the output pixel A as it is.
  • the value obtained by multiplying the input pixel a by the coefficient 5/8 and the value obtained by multiplying the input pixel b by 38 are added to obtain the output pixel B.
  • output pixels are similarly interpolated.
  • Figure 9 shows the principle of double interpolation in the vertical direction. Double the interpolation in the vertical direction taking into account the interlacing structure of the image.
  • the coefficients (1, 3/4, 1/2, 1/4) shown in FIG. 9 are obtained by calculating the reciprocal of the distance between adjacent input pixels corresponding to the output pixel position. Is represented by The value obtained by multiplying the pixel value of the adjacent pixel by this coefficient is the value of the output pixel.
  • the position of the input pixel is equal to the position of the output pixel, the value of the input pixel becomes the value of the output pixel as it is. That is, in the first field F1, the input pixels a, b, c, etc.
  • the output pixels D are directly set as the output pixels A, C, E, etc., and the output pixel D, for example, is 1 It is generated by adding values multiplied by.
  • the second field F2 for example, a value obtained by multiplying the input pixel b by 3 ⁇ 4 and a value obtained by multiplying the input pixel c by 14 are added to generate an output pixel D. .
  • a high resolution image of 1920 pixels horizontally and 960 pixels vertically is converted into a low resolution image of 720 pixels horizontally and 480 pixels vertically
  • a high resolution image of 20 pixels and 1152 pixels in height can be converted to a low resolution image of 720 pixels in width and 576 pixels in height.
  • This allows, for example, a 16: 9 aspect ratio HDTV system.
  • Image can be monitored at a low resolution, NTSC receiver with an aspect ratio of 4: 3.
  • FIG. 10 shows another example of the relationship between the resolutions of the high-resolution image and the low-resolution image.
  • the high-resolution image in this example has a resolution of H horizontal pixels and V vertical pixels
  • the low-resolution image has a resolution of 8 horizontal HX pixels and 7 vertical VX pixels.
  • This low-resolution image is also a squeeze-type image.
  • FIG. 11 shows the principle of thinning out 7Z 15 in the vertical direction.
  • the output pixel z can be obtained by weighting the inverse of the ratio of the distances a and b to the input pixels x and y as shown in the following equation.
  • the output pixel z can be obtained by weighting the inverse of the ratio of the distances a and b corresponding to the input pixels X and y as shown in the following equation.
  • 15 output pixels may be generated from 7 input pixels.
  • the embodiment of FIG. 10 can be applied to a case where a high-resolution image having 1920 horizontal pixels and 120 vertical pixels is converted to a low-resolution image having 720 horizontal pixels and 483 vertical pixels. it can. If downsampling is performed 7 to 15 times in the vertical direction with respect to 104 pixels in the vertical direction, the number of pixels obtained will be less than 483 pixels in the vertical direction. Processing such as adding several lines of images is performed.
  • FIG. 13 shows still another embodiment.
  • a high-resolution image of horizontal H pixels and vertical V pixels is converted to a low-resolution image having a resolution of horizontal HX3 8 pixels and vertical VX3 / 8 pixels.
  • the low-resolution image since the high-resolution image is down-sampled at the same ratio in the horizontal and vertical directions, the low-resolution image has the same aspect ratio as the high-resolution image. become.
  • this low-resolution image is processed as a letterbox type image. That is, the required number of lines (no images) are added and displayed above and below the transmitted image.
  • Downsampling of 3Z8 in the horizontal direction can be realized according to the principle shown in FIG.
  • the downsampling of 3Z8 in the vertical direction can be realized, for example, according to the principle shown in FIG. That is, in this embodiment, the first field F 1 Then, input pixel a is output as output pixel A as it is, and output pixel B is generated by adding the value obtained by multiplying input pixel c by 1/3 and the value obtained by multiplying input pixel d by 2/3. I do. Also, the output pixel C is generated by adding the value obtained by multiplying the input pixel f by 1/3 and the value obtained by multiplying the input pixel g by 2/3.
  • the output pixel A is generated by multiplying the input pixel a by 1Z6, multiplying the input pixel b by 56, and adding both. Further, the input pixel d is multiplied by 2, the input pixel e is multiplied by 2, and the two are added to generate the output pixel B. Further, a value obtained by multiplying the input pixel g by 5Z6 and a value obtained by multiplying the input pixel h by 1Z6 are added to generate an output pixel C. In this way, three lines of data are generated from eight lines of data.
  • Upsampling by a factor of 83 in the horizontal direction can be realized according to the principle shown in FIG. 8, as described above.
  • Upsampling by 3 ⁇ 8Z in the vertical direction can be realized according to the principle shown in FIG. That is, in the first field F 1, the input pixel “a” is used as it is as the output pixel “A”. Output pixel B is generated by adding the value obtained by multiplying input pixel a by 58 and the value obtained by multiplying input pixel b by 38. The output pixel C is generated by adding the value obtained by multiplying the input pixel a by 2Z8 and the value obtained by multiplying the input pixel b by 6Z8.
  • a value obtained by multiplying an adjacent input pixel by the illustrated coefficient is added to generate data of an output pixel.
  • an output pixel is generated by multiplying an input pixel by a predetermined coefficient. In this way, three Eight lines of data are generated from the lines of data.
  • a high-resolution image of 1920 pixels horizontally and 960 pixels vertically is down-sampled to a low-resolution image of 720 pixels horizontally and 360 pixels vertically.
  • FIG. 16 shows still another embodiment.
  • the horizontal H pixels, vertical V high-resolution image of the pixel is converted horizontal HX 3Z8 pixels, in the vertical VX 1 7/2 0 pixels of the low resolution image.
  • This low-resolution image is a letterbox format image.
  • the output pixel z can be obtained by calculating the following equation corresponding to the distances a and b to the input pixels X and y.
  • data of seven lines may be generated from 20 lines in the first field F1 and the second field F2.
  • Upsampling by 20 ⁇ 7 times in the vertical direction can be realized, for example, according to the principle shown in FIG.
  • the input pixel X According to the distances a and b with respect to y and y, the following equation is used to obtain the output pixel z.
  • the embodiment shown in FIG. 16 is used to convert a high-resolution image of 1920 pixels horizontally and 120 pixels vertically into a low-resolution image of 720 pixels horizontally and 358 pixels vertically. It is possible to apply. If downsampling is performed 7 ⁇ 20 times the vertical 104 pixels, the number of pixels obtained will be larger than the vertical 358 pixels. It performs processing such as deleting the application.
  • FIG. 19 illustrates the principle of downsampling by 1 ⁇ 3. As shown in the figure, in the first field F 1 and the second field F 2, one line is thinned out (extracted) from three lines, thereby reducing the vertical down time by three times. Sampling is possible.
  • the vertical upsampling needs to be tripled, but this can be achieved, for example, according to the principle shown in FIG. That is, even in this case, a predetermined coefficient By multiplying and weighting, in each of the fields F1 and F2, data of one line is generated from data of one line.
  • the configuration can be simplified and a low-cost device can be realized. It can be realized.
  • This embodiment can be applied to the case where a high resolution image of 1920 pixels wide and 120 pixels high is converted into a low resolution image of 720 pixels wide and 34 pixels high. is there. If vertical downsampling is performed on 104 pixels in the vertical direction, the number of pixels obtained will be greater than the pixels in the vertical direction, but in this case, lines at the top or bottom of the screen may be deleted. Perform processing.
  • a high-resolution image and a low-resolution image can be encoded and transmitted, respectively, and decoded.
  • the high-resolution image and the low-resolution image are recorded on the optical disk.
  • FIG. 21 shows a method of manufacturing such a disk. That is, a master made of, for example, glass is prepared, and a recording material made of, for example, photoresist is applied thereon. As a result, a master for recording is manufactured.
  • the bit stream including the high-resolution image data and the low-resolution image data is once recorded on a magnetic tape or the like according to a predetermined format to produce a software.
  • the master is developed and pits appear on the master.
  • the master prepared in this way is subjected to, for example, processing such as electric power, to produce a metal master in which the pits on the glass master are transferred. From this metal master, a metal stamper is further manufactured and used as a molding die.
  • a material such as PMMA (acrylic) or PC (polycarbonate) is injected into the molding die by, for example, injection and solidified.
  • PMMA acrylic
  • PC polycarbonate
  • 2P ultraviolet curable resin
  • the pit on the metal stamper can be transferred onto a replica made of resin.
  • a reflective film is formed by vapor deposition or sputtering. Alternatively, it is formed by spin coating.
  • the image signal encoding method and the image signal encoding device of the present invention a high-resolution image signal is encoded so as to have a different aspect ratio, transmitted, and decoded. Because of this, it becomes possible to monitor, for example, a high-definition high-resolution image signal using, for example, an NTSC low-resolution receiver. Of course, depending on the HDTV receiver, it is not possible to view high-resolution images as they are.
  • an NTSC receiver whose aspect ratio is set to a ratio of 16: 9, for example, has a squeeze method with an aspect ratio of 4: 3. If a function to restore the image to the original 16: 9 aspect ratio image is provided, it will be possible to observe a normal ratio image.
  • a low-resolution image is transmitted as a letterbox image
  • the image will be observed as an image with the correct aspect ratio even on an NTSC type receiver with an aspect ratio of 4: 3. be able to.
  • an NTSC type receiver having an aspect ratio of 16: 9 it is necessary to display a large image over the entire screen without inserting substantially no image lines above and below the screen. Can be.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Signal Processing For Recording (AREA)
  • Television Systems (AREA)

Description

明 細 書 画像信号符号化方法及び画像信号符号化装置
並びに画像信号復号化方法及び画像信号復号化装置 技 術 分 野 本発明は、 動画像信号を、 例えば光磁気ディスクや磁気テープな どの記録媒体に記録し、 これを再生してディスプレイなどに表示し たり、 テレビ会議システム、 テレビ電話システム、 放送用機器など、 動画像信号を伝送路を介して送信側から受信側に伝送し、 受信側に おいて、 これを受信し、 表示する場合などに用いて好適な画像信号 符号化方法及び画像信号符号化装置並びに画像信号復号化方法及び 画像信号復号化装置に関する。 背 景 技 術 初めに階層符号化を行なわない符号化方法及び復号化手法につい て説明し、 次に階層符号化を行なつた場合の符号化手順に関して説 明する。
例えば、 テレビ会議システム、 テレビ電話システムなどのように 動画像信号を遠隔地に伝送するシステムにおいては、 伝送路を効率 良く利用するため、 映像信号のライン相関やフレーム間相関を利用 して画像信号を圧縮符号化するようになされている。
上記ライン相関を利用する場合には、 画像信号を、 例えば D C T (離散コサイン変換） 処理するなどして圧縮することができる。 また、 フレーム間相関を利用すると、 画像信号をさらに圧縮して 符号化することが可能となる。 例えば、 図 22の Aに示すように.、 時刻 t = t 1， t 2, t 3において、 フレーム画像 P C 1， P C 2, PC 3がそれぞれ発生しているとき、 フレーム画像 PC 1 と PC 2 の画像信号の差を演算して、 図 22の Bに示すように、 画像 PC 1
2を生成する。 また、 図 1 3の Aのフレーム画像 PC 2と PC 3の 差を演算して、 図 22の Bの画像 P C 23を生成する。 通常、 時間 的に隣接するフレームの画像は、 それ程大きな変化を有していない ため、 両者の差を演算すると、 その差分信号は小さな値のものとな る。 すなわち、 図 22の Bに示す画像 P C 1 2においては、 図 22 の Aのフレーム画像 PC 1 と PC 2の画像信号の差として図 22の Bの画像 PC 1 2の図中斜線で示す部分の信号が得られる。 また、 図 22の Bに示す画像 P C 23においては、 図 22の Aのフレーム 画像 PC 2と PC 3の画像信号の差として図 22の Bの画像 PC 2
3の図中斜線で示す部分の信号が得られる。 そこで、 この差分信号 を符号化すれば、 符号量を圧縮することができる。
しかしながら、 上記差分信号のみを伝送したのでは、 元の画像を 復元することができない。 そこで、 各フレームの画像を、 I ピクチ ャ （イン トラ符号化画像： Intra-coded picture), Pピクチャ （前 方予測符号化画像： Perdictive- coded picture)又は Bピクチャ
(両方向予測符号化画像： Bidirectionally-coded picture)の 3種 類のピクチャのいずれかのピクチャとし、 画像信号を圧縮符号化す るようにしている。
すなわち、 例えば図 23の A及び Bに示すように、 フレーム F 1 乃至 F 1 7までの 1 7フレームの画像信号をグループォブピクチャ として処理の 1単位とする。 そして、 その先頭のフレーム F 1の画 像信号は I ピクチャとして符号化し、 第 2番目のフレーム F 2は. B ピクチャとして、 また第 3番目のフレーム F 3は Pピクチヤとして、 それぞれ処理する。 以下、 第 4番目以降のフレーム F 4乃至 F 1 7 は、 Bピクチャ又は Pピクチャとして交互に処理する。
I ピクチャの画像信号としては、 その 1 フレーム分の画像信号を そのまま伝送する。 これに対して、 Pピクチャの画像信号としては、 基本的には、 図 2 3の Aに示すように、 それより時間的に先行する I ピクチャ又は Pピクチャの画像信号からの差分を符号化して伝送 する。 さらに Bピクチャの画像信号としては、 基本的には、 図 2 3 の Bに示すように、 時間的に先行するフレーム又は後行するフレー ムの両方の平均値からの差分を求め、 その差分を符号化して伝送す 図 2 4の A及び Bは、 このようにして動画像信号を符号化する方 法の原理を示している。 なお、 図 2 4の Aには動画映像信号のフレ —ムのデータを、 図 2 4の Bには伝送されるフレームデータを模式 的に示している。 この図 2 4に示すように、 最初のフレーム F 1 は I ピクチャすなわち非補間フレームとして処理されるため、 そのま ま伝送データ F I X (伝送非補間フレームデータ） として伝送路に 伝送される （イントラ符号化） 。 これに対して、 第 2のフレーム F 2は、 Bピクチャすなわち補間フレームとして処理されるため、 時 間的に先行する上記フレーム F 1 と、 時間的に後行するフレーム F 3 (フレーム間符号化の非補間フレーム） の平均値との差分が演算 され、 その差分が伝送データ （伝送補間フレームデータ） F 2 Xと して伝送される。
ただし、 この Bピクチャとしての処理は、 さらに細かく説明する と、 マクロブロック単位で切り替えが可能な 4種類のモードが存在 する。 その第 1の処理は、 元のフレーム F 2のデータを図中破線の 矢印 S P 1で示すようにそのまま伝送データ F 2 Xとして伝送する ものであり （ィントラ符号化モード） 、 I ピクチャにおける場合と 同様の処理となる。 第 2の処理は、 時間的に後のフレーム F 3から の差分を演算し、 図中破線矢印 S P 2で示すようにその差分を伝送 するものである （後方予測モー ド） 。 第 3の処理は、 図中破線矢印 S P 3で示すように時間的に先行するフレーム F 1 との差分を伝送 するものである （前方予測モード） 。 さらに第 4の処理は、 図中破 線矢印 S P 4で示すように時間的に先行するフレーム F 1 と後行す るフレーム F 3の平均俥との差分を生成し、 これを伝送データ F 2 Xとして伝送するものである （両方向予測モード） 。
この 4つの方法のうち、 伝送データが最も少なくなる方法がマク ロブ口ック単位で採用される。
なお、 差分データを伝送するときには、 差分を演算する対象とな るフレームの画像 （予測画像） との間の動きベク トル x l (前方予 測の場合のフレーム F 1 と F 2の間の動きべク トル） 、 もしくは動 きべク トル X 2 (後方予測の場合のフレーム F 3と F 2の間の動き ベク トル） 又は動きベク トル X 1 と X 2の両方 （両方向予測の場 合） が、 差分データとともに伝送される。
また、 Pピクチャのフレーム F 3 (フレーム間符号化の非補間フ レーム） は、 時間的に先行するフレーム F 1を予測画像として、 こ のフレーム F 1 との差分信号 （破線矢印 S P 3で示す） と、 動きべ ク トル x 3が演算され、 これが伝送データ F 3 Xとして伝送される (前方予測モード） 。 あるいは又、 元のフレーム F 3のデ一夕がそ のまま伝送データ F 3 Xとして伝送 （破線矢印 S P 1で示す） され る （イン トラ符号化モー ド） 。 この Pピクチャにおいて、 いずれの 方法により伝送されるかは Bピクチャにおける場合と同様であり、 伝送データがより少なくなる方がマクロプロック単位で選択される なお、 Bピクチャのフレーム F 4 と Pピクチヤのフレーム F 5 も 上述同様に処理され、 伝送データ F 4 X、 F 5 X、 動きべク トル X 4， X 5 , X 6等が得られる。
図 2 5は、 上述した原理に基づいて、 動画像信号を符号化して伝 送し、 これを復号化する装置の構成例を示している。 符号化装置 1 は、 入力された映像信号を符号化して伝送路としての記録媒体 3に 伝送して記録するようになされている。 そして、 復号化装置 2は、 記録媒体 3に記録された信号を再生し、 これを復号して出力するよ うになされている。
まず、 符号化装置 1においては、 入力端子 1 0を介して入力され た映像信号 V Dが前処理回路 1 1に入力され、 そこで輝度信号と色 信号 （この例の場合、 色差信号） が分離され、 それぞれ A Z D変換 器 1 2， 1 3で A Z D変換される。 A Z D変換器 1 2 , 1 3により A Z D変換されてディジタル信号となった映像信号は、 フレー厶メ モリ 1 4に供給され記憶される。 このフレームメモリ 1 4では、 輝 度信号を輝度信号フレームメモリ 1 5に、 また色差信号を色差信号 フレームメモリ 1 6に、 それぞれ記憶させる。
フォーマツ ト変換回路 1 7は、 フレームメモリ 1 4に記憶された フレー厶フォ一マッ トの信号を、 ブロックフォ一マツ トの信号に変 換する。 すなわち、 図 2 6の （A ) に示すように、 フレームメモリ 1 4に記憶された映像信号は、 1 ライン当り Hドッ トのラインが V ライン集められたフレームフォーマツ トのデータとされている。 フ ォーマツ ト変換回路 1 7は、 この 1 フレームの信号を 1 6ラインを 単位として N個のスライスに区分する。 そして、 各スライスは、 図
2 6の （B ) に示すように、 M個のマクロブロックに分割される。 各マクロブロックは、 図 2 6の （C ) に示すように、 1 6 X 1 6個 の画素 （ドッ ト） に対応する輝度信号により構成される。 この輝度 信号は、 図 2 6の （C ) に示すように、 さらに 8 X 8 ドッ トを単位 とするブロック Y [ 1 ] 乃至 Y [ 4 ] に区分される。 そして、 この 1 6 X 1 6 ドッ トの輝度信号には、 8 X 8 ドッ トの C b信号と、 8 X 8 ドッ トの C r信号が対応される。
このように、 ブロックフォーマツ トに変換されたデータは、 フォ 一マツ ト変換回路 1 7からエンコーダ 1 8に供給され、 ここでェン コード （符号化） が行われる。 その詳細については、 図 2 7を参照 して後述する。
エンコーダ 1 8によりエンコードされた信号は、 ビッ トストリ一 ムとして伝送路に出力され、 例えば記録媒体 3に記録される。
記録媒体 3より再生されたデータは、 複号化装置 2のデコーダ 3 1に供給されデコードされる。 デコーダ 3 1の詳細については、 図
3 0を参照して後述する。
デコーダ 3 1によりデコードされたデータは、 フォーマッ ト変換 回路 3 2に入力され、 ブロックフォーマツ トからフレームフォーマ ッ トに変換される。 そして、 フレームフォーマツ トの輝度信号は、 フレームメモリ 3 3の輝度信号フレームメモリ 3 4に供給されて記 憶され、 色差信号は色差信号フレームメモリ 3 5に供給されて記憶 される。 輝度信号フレームメモリ 3 4 と色差信号フレームメモリ 3 5より読み出された輝度信号と色差信号は、 D ZA変換器 3 6 と.3 7によりそれぞれ D ZA変換され、 後処理回路 3 8に供給され合成 される。 この出力映像信号は、 出力端子 3 0から図示せぬ例えば C R Tなどのディスプレイに出力され表示される。
つぎに、 図 2 7を参照してエンコーダ 1 8の構成例について説明 する。
入力端子 4 9を介して供給された符号化されるべき画像データは、 マクロプロック単位で動きべク トル検出回路 5 0に入力される。 動 きべク トル検出回路 5 0は、 予め設定されている所定のシーケンス に従って、 各フレームの画像データを I ピクチャ、 Pピクチャ又は Bピクチャとして処理する。 シーケンシャルに入力される各フレー ムの画像を、 I , P , Bのいずれのピクチャとして処理するかは、 予め定められている。 例えば、 図 2 3に示したように、 フレーム F 1乃至 F 1 7により構成されるグループォブピクチャが、 I , B， P , B , Ρ， · · · B , Pとして処理される。
I ピクチャとして処理されるフレーム （例えばフレーム F 1 ) の 画像データは、 動きべク トル検出回路 5 0からフレームメモリ 5 1 の前方原画像部 5 1 aに転送、 記憶され、 Bピクチャとして処理さ れるフレーム （例えばフレーム F 2 ) の画像データは、 原画像部 (参照原画像部） 5 l bに転送、 記憶され、 Pピクチャとして処理 されるフレーム （例えばフレーム F 3 ) の画像データは、 後方原画 像部 5 1 cに転送され記憶される。
また、 次のタイミ ングにおいて、 さらに Bピクチャ （例えば前記 フレーム F 4 ) 又は Pピクチャ （前記フレーム F 5 ) として処理す べきフレームの画像が入力されたとき、 それまで後方原画像部 5 1 Cに記憶されていた最初の Pピクチャ （フレーム F 3 ) の画像デ.一 夕が、 前方原画像部 5 1 aに転送され、 次の Bピクチャ （フレーム F 4 ) の画像データが、 原画像部 5 1 bに記憶 （上書き） され、 次 の Pピクチヤ （フレーム F 5 ) の画像データが、 後方原画像部 5 1 cに記憶 （上書き） される。 このような動作が順次繰り返される。 フレームメモリ 5 1 に記憶された各ピクチャの信号は、 そこから 読み出され、 予測モード切り換え回路 5 2において、 フレーム予測 モード処理又はフィールド予測モード処理が行なわれる。 ざらにま た予測判定回路 5 4の制御の下に、 演算部 5 3において、 イントラ 符号化モー ド、 前方予測モー ド、 後方予測モード又は両方向予測モ —ドによる演算が行なわれる。 これらの処理のうち、 いずれの処理 を行なうかは、 予測誤差信号 （処理の対象とされている参照画像と、 これに対する予測画像との差分） に対応してマクロプロック単位で 決定される。 このため、 動きベク トル検出回路 5 0は、 この判定に 用いられる予測誤差信号の絶対値和 （き乗和でもよい） 及び、 その 予測誤差信号に対応するイントラ符号化モードの評価値をマクロブ 口ック単位で生成する。
ここで、 予測モード切り換え回路 5 2におけるフレーム予測モー ドとフィールド予測モ一ドについて説明する。
フレーム予測モードが設定された場合においては、 予測モード切 り換え回路 5 2は、 動きべク トル検出回路 5 0より供給される 4個 の輝度ブロック Y [ 1 ] 乃至 Y [ 4 ] を、 そのまま後段の演算部 5 3に出力する。 すなわち、 この場合においては、 図 2 8の Aに示す ように、 各輝度ブロックに奇数フィールドのラインのデータと、 偶 数フィールドのラインのデータとが混在した状態となっている。 な お、 図 2 8の各マクロブロック中の実線は奇数フィールド （第 1 フ ィールドのライン） のラインのデータを、 破線は偶数フィールド
(第 2フィールドのライン） のラインのデータを示し、 図 2 8の図 中 a及び bは動き補償の単位を示している。 このフレーム予測モー ドにおいては、 4個の輝度ブロック （マクロブロック） を単位とし て予測が行われ、 4個の輝度プロックに対して 1個の動きべク トル が対応される。
これに対して、 予測モード切り換え回路 5 2は、 フィールド予測 モードが設定された場合、 図 2 8の Aに示す構成で動きべク トル検 出回路 5 0より入力される信号を、 図 2 8の Bに示すように、 4個 の輝度ブロックのうち、 輝度ブロック Y [ 1 ] と Y [ 2 ] を、 例え ば奇数フィールドのラインのドッ トによりのみ構成させ、 他の 2個 の輝度ブロック Y [ 3 ] と Y [ 4 ] を偶数フィールドのラインのデ 一夕により構成させ、 演算部 5 3に出力する。 この場合においては、 2個の輝度ブロック Y [ 1 ] と Y [ 2 ] に対して、 1個の動きべク トルが対応され、 他の 2個の輝度ブロック Y [ 3 ] と Y [ 4 ] に対 して、 他の 1個の動きベク トルが対応される。
なお、 色差信号は、 フレーム予測モードの場合、 図 2 8の Aに示 すように、 奇数フィ一ルドのラインのデータと偶数フィールドのラ インのデータとが混在する状態で、 演算部 5 3に供給される。 また、 フィールド予測モードの場合、 図 2 8の Bに示すように、 各色差ブ ロック C b， C rの上半分 （ 4ライン） が、 輝度プロック Y [ 1 ]， Y [ 2 ] に対応する奇数フィールドの色差信号とされ、 下半分 （ 4 ライン） が、 輝度ブロック Y [3] , Υ [4] に対応する偶数フィ ールドの色差信号とされる。
また、 動きベク トル検出回路 5 0は、 次のようにして、 予測判定 回路 54において、 各マクロブロックに対し、 ィン トラ符号化モー ド、 前方予測モード、 後方予測モード又は両方向予測モードのいず れの予測を行なうか、 フレーム予測モード又はフィールド予測モー ドのどちらで処理するかを決定するためのィントラ符号化モードの 評価値及び各予測誤差の絶対値和をマクロプロック単位で生成する。 すなわち、 イン トラ符号化モードの評価値として、 これから符号 化される参照画像のマクロプロックの信号 Aijとその平均値との差 の絶対値和∑ I Aij- (Aijの平均値） Iを求める。 また、 前方予 測の予測誤差の絶対値和として、 フレーム予測モード及びフィール ド予測モードそれぞれにおける、 参照画像のマクロプロックの信号 Aijと、 予測画像のマクロブロックの信号 Bijの差 （Aij— Bij) の絶対値 I Aij— Bij Iの和∑ I Aij-Bij Iを求める。 また、 後 方予測と両方向予測の予測誤差の絶対値和も、 前方予測における場 合と同様に （その予測画像を前方予測における場合と異なる予測画 像に変更して） フレーム予測モード及びフィールド予測モードの場 合のそれぞれに対して求める。
これらの絶対値和は、 予測判定回路 54に供給される。 予測判定 回路 54は、 フレーム予測モード、 フィールド予測モードそれぞれ における前方予測、 後方予測及び両方向予測の予測誤差の絶対値和 のうち、 最も小さいものを、 インター（inter) 予測の予測誤差の絶 対値和として選択する。 さらに、 このインター予測の予測誤差の絶 対値和と、 イントラ符号化モードの評価値とを比較し、 その小さい 方を選択し、 この選択した値に対応するモードを予測モード及びフ レーム フィールド予測モードとして選択する。 すなわち、 イント ラ符号化モードの評価値の方が小さければ、 ィントラ符号化モード が設定される。 ィンター予測の予測誤差の絶対値和の方が小さけれ ば、 前方予測モー ド、 後方予測モード又は両方向予測モードのうち、 対応する絶対値和が最も小さかったモードが予測モ一ド及びフレー ム フィールド予測モードとして設定される。
上述したように、 予測モード切り換え回路 5 2は、 参照画像のマ クロプロックの信号を、 フレーム予測モー ド又はフィ一ルド予測モ 一ドのうち、 予測判定回路 5 4により選択されたモードに対応する 図 2 8で示したような構成で、 演算部 5 3に供給する。 また、 動き べク トル検出回路 5 0は、 予測判定回路 5 4により選択された予測 モードに対応する予測画像と参照画像との間の動きべク トルを出力 し、 後述する可変長符号化回路 5 8と動き補償回路 6 4に供給する。 なお、 この動きベク トルとしては、 対応する予測誤差の絶対値和が 最小となるものが選択される。
予測判定回路 5 4は、 動きべク トル検出回路 5 0が前方原画像部 5 1 aより I ピクチャの画像データを読み出しているときに、 予測 モー ドとして、 ィントラ符号化モ一ド （動き補償を行わないモー ド） を設定し、 演算部 5 3のスィツチ 5 3 dを接点 a側に切り換え る。 これにより、 I ピクチャの画像データが D C Tモード切り換え 回路 5 5に入力される。
この D C Tモー ド切り換え回路 5 5は、 図 2 9の A又は Bに示す ように、 4個の輝度ブロックのデータを、 奇数フィールドのライン と偶数フィールドのラインが混在する状態 （フレーム D C Tモー ド） 又は奇数フィ一ルドのラインと偶数フィ一ルドのラインが分離 された状態 （フィールド DC Tモード） のいずれかの状態にして、 D CT回路 5 6に出力する。
すなわち、 DCTモード切り換え回路 5 5は、 奇数フィールドと 偶数フィールドのデ一夕を混在して DC T処理した場合における符 号化効率と、 分離した状態において DC T処理した場合の符号化効 率とを比較して符号化効率の良好なモードを選択する。
例えば、 入力された信号を、 図 2 9の Aに示すように、 奇数フィ ールドと偶数フィ一ルドのラインが混在する構成とし、 上下に隣接 する奇数フィールドのラインの信号と偶数フィールドのラインの信 号の差を演算し、 さらにその絶対値の和 （又は自乗和） を求める。 また、 入力された信号を、 図 2 9の Bに示すように、 奇数フィール ドと偶数フィ一ルドのラインが分離した構成とし、 上下に隣接する 奇数フィールドのライン同士の信号の差と、 偶数フィールドのライ ン同士の信号の差とを演算し、 それぞれの絶対値の和 （又は自乗 和） を求める。 さらに、 両者 （絶対値和） を比較し、 小さい値に対 応する D C Tモードを設定する。 すなわち、 前者の方が小さければ、 フレーム DCTモードを設定し、 後者の方が小さければ、 フィ一ル ド DCTモードを設定する。
そして、 選択した DCTモー ドに対応する構成のデータを DCT 回路 5 6に出力するとともに、 選択した D CTモードを示す D CT フラグを、 可変長符号化回路 5 8に出力する。
予測モード切り換え回路 5 2におけるフレーム Zフィールド予測 モード （図 2 8参照） と、 この DCTモード切り換え回路 5 5にお ける D CTモード （図 2 9参照） を比較して明らかなように、 輝度 プロックに関しては、 両者の各モードにおけるデータ構造は実質的 に同一である。
予測モード切り換え回路 5 2において、 フレーム予測モード （奇 数ラインと偶数ラインが混在するモード） が選択された場合、 D C Tモード切り換え回路 5 5においても、 フレーム D C Tモード （奇 数ラインと偶数ラインが混在するモ一ド） が選択される可能性が高 く、 また予測モード切り換え回路 5 2において、 フィールド予測モ ―ド （奇数フィールドと偶数フィールドのデータが分離されたモー ド） が選択された場合、 D C T乇一ド切り換え回路 5 5において、 フィールド D C Tモード （奇数フィールドと偶数フィ一ルドのデ一 夕が分離されたモー ド） が選択される可能性が高い。
しかしながら、 必ずしも常にそのようになされるわけではなく、 予測モード切り換え回路 5 2においては、 予測誤差の絶対値和が小 さくなるようにモードが決定され、 D.C Tモード切り換え回路 5 5 においては、 符号化効率が良好となるようにモ一ドが決定される。
D C Tモ一ド切り換え回路 5 5より出力された I ピクチャの画像 データは、 D C T回路 5 6に入力され、 D C T (離散コサイン変 換） 処理され、 D C T係数に変換される。 この D C T係数は、 量子 化回路 5 7に入力され、 送信バッファ 5 9のデータ蓄積量 （バッフ ァ蓄積量） に対応した量子化ステップで量子化された後、 可変長符 号化回路 5 8に入力される。
可変長符号化回路 5 8は、 量子化回路 5 7より供給される量子化 ステップ （スケール） に対応して、 量子化回路 5 7より供給される 画像データ （いまの場合、 I ピクチャのデータ） を、 例えばハフマ ン（Huf fman) 符号などの可変長符号に変換し、 送信バッファ 5 9に 出力する。
可変長符号化回路 5 8にはまた、 量子化回路 5 7より量子化ステ ップ （スケール） 、 予測判定回路 5 4より予測モード （イントラ符 号化モード、 前方予測モード、 後方予測モード又は両方向予測モー ドのいずれが設定されたかを示すモード） 、 動きべク トル検出回路 5 0より動きベク トル、 予測判定回路 5 4より予測フラグ （フレー ム予測モー ド又はフィールド予測モードのいずれが設定されたかを 示すフラグ） 及び D C Tモード切り換え回路 5 5が出力する D C T フラグ （フレーム D C Tモー ド又はフィールド D C Tモードのいず れが設定されたかを示すフラグ） が入力されており.、 これらも可変 長符号化される。
送信バッファ 5 9は、 入力されたデータを一時蓄積し、 蓄積量に 対応するデータを量子化回路 5 7に出力する。
送信バッファ 5 9は、 そのデータ残量が許容上限値まで増量する と、 量子化制御信号によって量子化回路 5 7の量子化スケールを大 きくすることにより、 量子化データのデータ量を低下させる。 また、 これとは逆にデータ残量が許容下限値まで減少すると、 送信バッフ ァ 5 9は、 量子化制御信号によって量子化回路 5 7の量子化スケ— ルを小さくすることにより、 量子化データのデータ量を増大させる。 このようにして、 送信バッファ 5 9のオーバフロー又はアンダフ口 —が防止される。
そして、 送信バッファ 5 9に蓄積されたデータは、 所定のタイミ ングで読み出されて出力端子 6 9を介して伝送路に出力され、 例え ば記録媒体 3に記録される。
一方、 量子化回路 5 7より出力された I ピクチャのデータは、 逆 量子化回路 6 0に入力され、 量子化回路 5 7より供給される量子化 ステップに対応して逆量子化される。 逆量子化回路 6 0の出力は、 I D C T (逆 D C T ) 回路 6 1に入力され、 逆 D C T処理された後、 演算器 6 2を介してフレームメモリ 6 3の前方予測画像部 6 3 aに 供給されて記憶される。
ところで動きべク トル検出回路 5 0は、 シーケンシャルに入力さ れる各フレームの画像データを、 たとえば、 前述したように I， B, P , B , P， B · · ·のピクチャとしてそれぞれ処理する場合、 最 初に入力されたフレームの画像データを I ピクチャとして処理した 後、 次に入力されたフレームの画像を Bピクチャとして処理する前 に、 さらにその次に入力されたフレームの画像データを Pピクチャ として処理する。 Bピクチャは、 後方予測及び両方向予測を伴う可 能性があるため、 後方予測画像としての Pピクチャが先に用意され ていないと、 復号することができないからである。
そこで動きべク トル検出回路 5 0は、 I ピクチャの処理の次に、 後方原画像部 5 1 cに記憶されている Pピクチャの画像データの処 理を開始する。 そして、 上述した場合と同様に、 マクロブロック単 位でのィントラ符号化モードの評価値及びフレーム間差分 （予測誤 差） の絶対値和が、 動きべク トル検出回路 5 0から予測判定回路 5 4に供給される。 予測判定回路 5 4は、 この Pピクチャのマクロブ ロックのイントラ符号化モードの評価値及び予測誤差の絶対値和に 対応して、 フレーム予測モード、 フィールド予測モードのいずれか の予測モード及びィントラ符号化モード、 前方予測モー ドのいずれ の予測モードかをマクロブロック単位で設定する。
演算部 5 3はイン トラ符号化モードが設定されたときにスィツチ 5 3 dを上述したように接点 a側に切り換える。 従って、 このデー 夕は、 I ピクチャのデータと同様に、 D C Tモード切り換え回路 5 5、 D C T回路 5 6、 量子化回路 5 7、 可変長符号化回路 5 8及び 送信バッファ 5 9を介して伝送路に伝送される。 また、 このデータ は、 逆量子化回路 6 0、 I D C T回路 6 1、 演算器 6 2を介してフ レームメモリ 6 3の後方予測画像部 6 3 bに供給されて記憶される c
—方、 前方予測モードの時、 スィッチ 5 3 dが接点 bに切り換え られるとともに、 フレームメモリ 6 3の前方予測画像部 6 3 aに記 憶されている画像 （いまの場合 I ピクチャの画像） データが読み出 され、 動き補償回路 6 4により、 動きべク トル検出回路 5 0が出力 する動きべク トルに対応して動き補償される。 すなわち、 動き補償 回路 6 4は、 予測判定回路 5 4より前方予測モー ドの設定が指令さ れたとき、 前方予測画像部 6 3 aの読み出しァドレスを、 動きべク トル検出回路 5 0がいま出力しているマクロプロックの位置に対応 する位置から動きべク トルに対応する分だけずらしてデータを読み 出し、 予測画像データを生成する。
動き補償回路 6 4より出力された予測画像データは、 演算器 5 3 aに供給される。 演算器 5 3 aは、 予測モード切り換え回路 5 2よ り供給された参照画像のマクロプロックのデータから、 動き補償回 路 6 4より供給された、 このマクロブロックに対応する予測画像デ 一夕を減算し、 その差分 （予測誤差） を出力する。 この差分データ は、 D C Tモード切り換え回路 5 5、 D C T回路 5 6、 量子化回路 5 7、 可変長符号化回路 5 8、 送信バッファ 5 9を介して伝送路に 伝送される。 また、 この差分データは、 逆量子化回路 6 0、 I D C T回路 6 1により局所的に復号され、 演算器 6 2に入力される。 この演算器 6 2には、 演算器 5 3 aに供給されている予測画像デ 一夕と同一のデータが供給されている。 演算器 6 2は、 I D C T回 路 6 1が出力する差分データに、 動き補償回路 6 4が出力する予測 画像データを加算する。 これにより、 元の （復号した） Pピクチャ の画像データが得られる。 この Pピクチャの画像データは、 フレー ムメモリ 6 3の後方予測画像部 6 3 bに供給され、 記憶される。 な お、 実際には、 演算器 6 2に供給される、 I D C T回路の出力する 差分データのデータ構造と予測画像データのデータ構造とは、 同じ である必要があるため、 フレーム フィ一ル予測モ一ドとフレーム フィールド D C Tモードが、 異なる場合に備えてデータの並べ換 えを行う回路が必要であるが、 簡単のため省略する。
動きベク トル検出回路 5 0は、 このように、 I ピクチャと Pピク チヤのデータが前方予測画像部 6 3 aと後方予測画像部 6 3 bにそ れぞれ記憶された後、 次に Bピクチャの処理を実行する。 予測判定 回路 5 4は、 マクロプロック単位でのィントラ符号化モードの評価 値及びフレーム間差分の絶対値和の大きさに対応して、 フレーム Z フィールド予測モードを設定し、 また、 予測モードをイントラ符号 化モード、 前方予測モード、 後方予測モード又は両方向予測モード のいずれかに設定する。
上述したように、 イントラ符号化モード又は前方予測モ一ドの時、 スィッチ 5 3 dは接点 a又は接点 bに切り換えられる。 このとき、 Pピクチャにおける場合と同様の処理が行われ、 データが伝送され る o
これに対して、 後方予測モード又は両方向予測モードが設定され た時、 スィツチ 5 3 dは、 接点 c又は接点 dにそれぞれ切り換えら れる。
スィッチ 5 3 dが接点 cに切り換えられている後方予測モ一ドの 時、 後方予測画像部 6 3 bに記憶されている画像 （いまの場合、 P ピクチャの画像） データが読み出され、 動き補償回路 6 4により、 動きべク トル検出回路 5 0が出力する動きべク トルに対応して動き 補償される。 すなわち、 動き補償回路 6 4は、 予測判定回路 5 4よ り後方予測モ一 ドの設定が指令されたとき、 後方予測画像部 6 3 b の読み出しァドレスを、 動きべク トル検出回路 5 0がいま出力して いるマクロブロックの位置に対応する位置から動きべク トルに対応 する分だけずらしてデータを読み出して予測画像データを生成する c 動き補償回路 6 4より出力された予測画像データは、 演算器 5 3 bに供給される。 演算器 5 3 bは、 予測モード切り換え回路 5 2よ り供給された参照画像のマクロプロックのデ一夕から、 動き補償回 路 6 4より供給された予測画像データを減算してその差分を出力す る。 この差分データは、 D C Tモード切り換え回路 5 5、 D C T回 路 5 6、 量子化回路 5 7、 可変長符号化回路 5 8、 送信バッファ 5 9を介して伝送路に伝送される。
スィツチ 5 3 dが接点 dに切り換えられている両方向予測モード の時、 前方予測画像部 6 3 aに記憶されている画像 （いまの場合、 I ピクチャの画像） データと、 後方予測画像部 6 3 bに記憶されて いる画像 （いまの場合、 Pピクチャの画像） データが読み出され、 動き補償回路 6 4により、 動きべク トル検出回路 5 0が出力する動 きべク トルに対応して動き補償される。 すなわち、 動き補償回路 6 4は、 予測判定回路 5 4より両方向予測モー ドの設定が指令された とき、 前方予測画像部 6 3 aと後方予測画像部 6 3 bの読み出しァ ドレスを、 動きべク トル検出回路 5 0がいま出力しているマクロブ 口ックの位置に対応する位置から動きべク トル （この場合の動きべ ク トルは、 フレーム予測モー ドの場合、 前方予測画像用と後方予測 画像用の 2つ、 フィールド予測モードの場合は、 前方予測画像用に 2つ、 後方予測画像用の 2つの計 4つとなる） に対応する分だけず らしてデータを読み出して予測画像データを生成する。
動き補償回路 6 4より出力された予測画像データは、 演算器 5 3 cに供給される。 演算器 5 3 cは、 動きべク トル検出回路 5 0より 供給された参照画像のマクロプロックのデータから、 動き補償回路 6 4より供給された予測画像データの平均値を減算し、 その差分を 出力する。 この差分データは、 D C Tモード切り換え回路 5 5、 D C T回路 5 6、 量子化回路 5 7、 可変長符号化回路 5 8、 送信バッ ファ 5 9を介して伝送路に伝送される。
Bピクチャの画像は、 他の画像の予測画像とされることがないた め、 フレームメモリ 6 3には記憶されない。
なお、 フレームメモリ 6 3において、 前方予測画像部 6 3 aと後 方予測画像部 6 3 bは、 必要に応じてバンク切り換えが行われ、 所 定の参照画像に対して、 一方又は他方に記憶されているものを、 前 方予測画像あるいは後方予測画像として切り換えて出力することが できる。
以上においては、 輝度ブロックを中心として説明をしたが、 色差 プロックについても同様に、 図 2 8及び図 2 9に示すマクロプロッ クを単位として処理されて伝送される。 なお、 色差ブロックを処理 する場合の動きべク トルは、 対応する輝度プロックの動きベク トル を垂直方向と水平方向に、 それぞれ 1 / 2にしたものが用いられる。 次に、 図 3 0は、 図 2 5のデコーダ 3 1の一例の構成を示すプロ ック図である。 伝送路 （記録媒体 3 ) を介して伝送された符号化さ れた画像データは、 図示せぬ受信回路で受信されたり、 再生装置で 再生され、 入力端子 8 0を介して受信バッファ 8 1に一時記憶され た後、 復号回路 9 0の可変長復号化回路 8 2に供給される。 可変長 復号化回路 8 2は、 受信バッファ 8 1 より供給されたデータを可変 長復号化し、 動きベク トル、 予測モード、 予測フラグ及び D C Tフ ラグを動き補償回路 8 7に、 また、 量子化ステップを逆量子化回路 8 3に、 それぞれ出力するとともに、 復号された画像データを逆量 子化回路 8 3に出力する。
逆量子化回路 8 3は、 可変長復号化回路 8 2より供給された画像 データを、 同じく可変長復号化回路 8 2より供給された量子化ステ ップに従って逆量子化し、 I D C T回路 8 4に出力する。 逆量子化 回路 8 3より出力されたデ一夕 （D C T係数） は、 I D C T回路 8 4で逆 D C T処理されて演算器 8 5に供給される。
I D C T回路 8 4より供給された画像データが、 I ピクチャのデ 一夕である場合、 そのデータは演算器 8 5より出力され、 演算器 8 5に後に入力される画像データ （P又は Bピクチャのデータ） の予 測画像データ生成のために、 フレームメモリ 8 6の前方予測画像部 8 6 aに供給されて記憶される。 また、 このデータは、 フォーマツ ト変換回路 3 2 (図 2 5 ) に出力される。
I D C T回路 8 4より供給された画像データが、 その 1 フレーム 前の画像データを予測画像データとする Pピクチャのデータであつ て、 前方予測モードで符号化されたマクロプロックのデータである 場合、 フレームメモリ 8 6の前方予測画像部 8 6 aに記憶されてい る、 1 フレーム前の画像デ一夕 （ I ピクチャのデータ） が読み出さ れ、 動き補償回路 8 7で可変長復号化回路 8 2より出力された動き べク トルに対応する動き補償が施される。 そして、 演算器 8 5にお いて、 I D C T回路 8 4より供給された画像データ （差分のデ一 夕） と加算されて出力される。 この加算されたデータ、 すなわち、 復号された Pピクチャのデータは、 演算器 8 5に後に入力される画 像データ （Bピクチャ又は Pピクチャのデータ） の予測画像デ一夕 生成のために、 フレームメモリ 8 6の後方予測画像部 8 6 bに供給 されて記憶される。
Pピクチャのデータであっても、 ィントラ符号化モードで符号化 されたマクロプロックのデ一夕は、 I ピクチャのデ一夕と同様に、 演算器 8 5で特に処理は行わず、 そのまま後方予測画像部 8 6 bに 己 e ¾ 0 o
この Pピクチャは、 次の Bピクチャの次に表示されるべき画像で あるため、 この時点では、 まだフォーマッ ト変換回路 3 2へ出力さ れない （上述したように、 Bピクチャの後に入力された Pピクチヤ 力 \ Bピクチャより先に処理され、 伝送されている） 。
I D C T回路 8 4より供給された画像データが、 Bピクチャのデ 一夕である場合、 可変長復号化回路 8 2より供給された予測モード に対応して、 フレームメモリ 8 6の前方予測画像部 8 6 aに記憶さ れている I ピクチャの画像データ （前方予測モードの場合） 、 後方 予測画像部 8 6 bに記憶されている Pピクチャの画像データ （後方 予測モードの場合） 又はその両方の画像データ （両方向予測モード の場合） が読み出され、 動き補償回路 8 7において、 可変長復号化 回路 8 2より出力された動きべク トルに対応する動き補償が施され て、 予測画像が生成される。 ただし、 動き補償を必要としない場合 (イントラ符号化モードの場合） 、 予測画像は生成されない。
このようにして、 動き補償回路 8 7で動き補償が施されたデータ は、 演算器 8 5において、 I D C T回路 8 4の出力と加算される。 この加算出力は、 出力端子 9 1を介してフォーマツ ト変換回路 3 2 に出力される。
ただし、 この加算出力は Bピクチャのデ一夕であり、 他の画像の 予測画像生成のために利用されることがないため、 フレームメモリ 8 6には記憶されない。
Bピクチャの画像が出力された後、 後方予測画像部 8 6 bに記憶 されている Pピクチャの画像データが読み出され、 動き補償回路 8 7及び演算器 8 5を介して再生画像として出力される。 ただし、 こ のとき、 動き補償及び加算は行われない。
なお、 このデコーダ 3 1には、 図 2 7のエンコーダ 1 8における 予測モード切り換え回路 5 2と D C Tモード切り換え回路 5 5に対 応ずる回路が図示されていないが、 これらの回路に対応する処理、 すなわち、 奇数フィールドと偶数フィールドのラインの信号が分離 された構成を、 元の混在する構成に必要に応じて戻す処理は、 動き 補償回路 8 7が実行する。
また、 以上においては、 輝度信号の処理について説明したが、 色 差信号の処理も同様に行われる。 ただし、 この場合、 動きベク トル は、 輝度信号用のものを、 垂直方向及び水平方向に 1 Z 2にしたも のが用いられる。
以上、 階層符号化を行わない符号化と復号化の例について説明し たが、 階層符号化することにより、 より高解像度の画像と低解像度 の画像を伝送することが知られている。 この場合、 例えば高解像度 の入力画像が、 図 3 1に示すような回路によってダウンサンプリン グされる。 すなわち、 高解像度の入力画像の信号がローパスフィル 夕 9 1に入力され、 不要な高域成分が除去される。 ローパスフィル 夕 9 1により所定の周波数帯域に制限された信号は、 間引き回路 9 2に入力され、 2個に 1個の割合で画素が間引かれる。 これにより、 1 Z 4の解像度の信号が得られる。
1 4の解像度の画像信号は、 上述したようにしてェンコ一ドさ れて伝送される。 一方、 高解像度の画像信号もエンコードされて 1 4の解像度の画像信号と共に伝送される。 この高解像度の画像信 号を符号化するのに、 1 / 4の解像度の画像信号を符号化した信号 を復号して得られる信号から、 高解像度の画像信号の予測画像信号 が生成される。 この予測画像信号を生成するのに、 例えば図 3 2に 示すような補間回路 9 5が用いられる。
この補間回路 9 5には、 1 Z 4の解像度の画像信号を符号化した 信号を復号して得られる信号が入力される。 補間回路 9 5は、 この 信号を図 3 3に示すように補間する （アップサンプリングする） 。 すなわち、 輝度データの存在しないラインの輝度データを、 その 上下のラインに位置する輝度データの値をそれぞれ 1 Z 2にした後、 加算する （平均する） ことにより生成する。 図 3 1に示したダウン サンプリング回路によりダウンサンプリングされたとき、 帯域制限 が行われているため、 このアップサンプリングにより空間周波数が 広がるわけではないが、 解像度は 2倍にすることができる。
このようにして生成された予測画像信号を元にして高解像度の画 像信号が符号化されて伝送される。 デコーダ側においては、 1 / 4の解像度の画像信号を、 上述した 場合と同様にして復号する （デコ一ドする） 。 また、 1 / 4の解像 度の画像信号を復号するとき、 高解像度の画像信号の予測画像信号 を生成する。 そして、 この予測画像信号を用いて高解像度の画像信 号をデコードする （復号する） 。 デコーダ側において予測画像信号 を生成する場合においても、 図 3 2に示したような補間回路が用い られる。
以上のように、 従来の画像信号符号化方法及び復号化方法におい ては、 階層符号化及び復号化を行う場合、 高解像度の画像信号を 2 ： 1の割合でダウンサンプリングして、 低解像度の画像信号を生 成するようにしている。 その結果、 例えばハイビジョンに代表され る高品位テレビジョン信号を高解像度の画像信号とするとき、 これ を 2 ： 1の割合でダウンサンプリングした低解像度の画像信号を符 号化し、 伝送した場合、 そのァスぺグト比は、 1 6 ： 9のままであ るので、 4 ： 3のアスペク ト比を有する N T S C方式のテレビジョ ン受像機において、 1 / 4の解像度の画像信号をモニタすることが できない課題があった。 発 明 の 開 示 本発明はこのような状況に鑑みてなされたものであり、 1 6 : 9 のァスぺク ト比を有する高解像度の画像信号をダウンサンプリング して得られた低解像度の画像信号を、 従来の例えば N T S C方式の 受像機でモニタすることができるようにするものである。
本発明に係る画像信号符号化方法は、 画像信号を、 解像度の低い 画像信号と、 解像度の高い画像信号とに分解し、 解像度の低い画像 信号を符号化した信号を復号して得られる信号から、 解像度の高い 画像信号の予測画像信号を生成し、 生成された予測画像信号を用い て、 解像度の高い画像信号を符号化する画像信号符号化方法におい て、 解像度の高い画像信号を、 異なるアスペク ト比となるように、 所定の解像度で空間フィル夕リ ングを用いて間引きを行って、 解像 度の低い画像信号を生成し、 解像度の低い画像信号を符号化した信 号を復号して得られる信号を、 元のアスペク ト比になるように、 所 定の解像度で空間フィルタリングを用いて、 解像度の高い画像信号 の予測画像信号を生成し、 生成された予測画像信号を用いて、 解像 度の高い画像信号を符号化することを特徴とする。
解像度の高い画像信号は、 縦に 1 Z 2倍し、 横に 3 8倍するこ とで、 スクイーズ方式の解像度の低い画像信号にすることができる。 このとき、 解像度の低い画像信号を符号化した信号を復号して得ら れる信号を、 縦に 2倍、 横に 8 Z 3倍して高解像度の予測画像信号 を生成することができる。 この方法は、 例えば、 横方向の画素数が 1 9 2 0個、 縦方向の画素数が 9 6 0個の高解像度の画像信号、 あ るいは、 横方向の画素数が 1 9 2 0個、 縦方向の画素数が 1 1 5 2 個の高解像度の画像信号に適用することができる。
また、 高解像度の画像信号を縦に 7 / 1 5倍し、 横に 3 Z 8倍す ることができる。 この方法は、 横方向の画素数が 1 9 2 0個、 縦方 向の画素数が 1 0 2 4個の高解像度の画像信号に適用することがで さる。
本発明に係る画像信号符号化方法は、 画像信号を、 解像度の低い 画像信号と、 解像度の高い画像信号とに分解し、 解像度の低い画像 信号を符号化した信号を復号して得られる信号から、 解像度の高い 画像信号の予測画像信号を生成し、 生成された予測画像信号を用い て、 解像度の高い画像信号を符号化する画像信号符号化方法におい て、 解像度の高い画像信号を、 縦に 3 / 8倍、 かつ横に 3 / 8倍の 解像度で、 空間フィルタリングを用いて間引きを行って、 レターボ ックス方式の解像度の低い画像信号を生成し、 解像度の低い画像信 号を符号化した信号を復号して得られる信号を、 縦に 8 3倍、 か つ横に 8 Z 3倍の解像度で、 空間フィルタリングを用いて、 解像度 の高い画像信号の予測画像信号を生成し、 生成された予測画像信号 を用いて、 解像度の高い画像信号を符号化することを特徴とする。 この方法は、 横方向の画素数が 1 9 2 0個、 縦方向の画素数が 9 6 0個の高解像度の画像信号、 あるいは、 横方向の画素数が 1 9 2 0個、 縦方向の画素数が 1 1 5 2個の高解像度の画像信号に適用す ることができる。
また、 解像度の高い画像信号を、 縦に 7 Z 2 0倍、 かつ横に 3 8倍して間引きを行って、 レターボックス方式の解像度の低い画像 信号を生成し、 解像度の低い画像信号を符号化した信号を復号して 得られる信号を、 縦に 2 0 7倍、 横に 8 Z 3倍の解像度で、 空間 フィルタリングを用いて、 解像度の高い画像信号の予測画像信号を 生成するようにすることができる。 この方法は、 横方向の画素数が 1 9 2 0個、 縦方向の画素数が 1 0 2 4個の高解像度の画像信号に 適用することができる。
あるいはまた、 解像度の高い画像信号を、 縦に 1 Z 3倍し、 横に 3 Z 8倍することも可能である。
これらの画像信号符号化方法に対応する画像信号復号化方法を実 現することができる。 また、 これらの方法を適用して、 符号化装置 と複号化装置を実現することができる。
本発明に係る画像信号符号化方法においては、 解像度の高い画像 信号から、 異なるァスぺグト比となるように、 解像度の低い画像信 号が生成される。 従って、 例えば 1 6 ： 9のァスぺク ト比を有する 高解像度の画像信号から、 4 ： 3のアスペク ト比を有する低解像度 の画像信号を生成することができる。 その結果、 例えばハイビジョ ンの画像信号を低解像度の画像信号に変換して伝送し、 N T S C方 式の受像機でモニタすることが可能となる。 図面の簡単な説明 図 1は、 本発明に係る画像信号符号化装置の一実施例の構成を示 すブロック図である。
図 2は、 図 1のダウンサンプリング回路 3 0 1の構成例を示すブ 口ック図である。
図 3は、 図 1のァップサンプリング回路 3 0 2の構成例を示すブ 口ック図である。
図 4は、 本発明に係る画像信号復号化装置の一実施例の構成を示 すプロック図である。
図 5は、 図 1のダウンサンプリング回路 3 0 1 における第 1の処 理例を説明する図ある。
図 6は、 図 5の実施例における横方向のダウンサンプリングを説 明する図である。
図 7は、 図 5の実施例における縦方向のダウンサンプリングを説 明する図である。
図 8は、 図 6のダウンサンプリングに対応するアツプサンプリ ン グの処理を説明する図である。
図 9は、 図 7のダウンサンプリングに対応するアツプサンプリン グの処理を説明する図である。
図 1 0は、 図 1のダウンサンプリング回路 3 0 1における第 2の 処理例を説明する図ある。
図 1 1は、 図 1 0の実施例の縱方向のダウンサンプリングを説明 する図である。
図 1 2は、 図 1 1のダウンサンプリングに対応するアップサンプ リングの処理を説明する図である。
図 1 3は、 図 1のダウンサンプリング回路 3 0 1における第 3の 処理例を説明する図ある。
図 1 4は、 図 1 3の実施例の縦方向のダウンサンプリングを説明 する図である。
図 1 5は、 図 1 4のダウンサンプリングに対応するアツプサンプ リングを説明する図である。
図 1 6は、 図 1のダウンサンプリング回路 3 0 1における第 4の 処理例を説明する図ある。
図 1 7は、 図 1 6の実施例の縦方向のダウンサンプリングを説明 する図である。
図 1 8は、 図 1 7のダウンサンプリングに対応するアップサンプ リングを説明する図である。
図 1 9は、 図 1 6の実施例の縦方向のダウンサンプリングの他の 処理例を説明する図である。 図 2 0は、 図 1 9のダウンサンプリングに対応するアツプサンプ リングを説明する図である。
図 2 1 は、 本発明に係る画像信号符号化方法により符号化したデ 一夕を記録したディスクを製造する方法を説明する図である。
図 2 2は、 高能率符号化の原理を説明する図である。
図 2 3は、 画像を符号化するピクチャタイプを説明する図である。 図 2 4は、 連続する動画像信号を符号化する原理を説明する図で あ 0
図 2 5は、 従来の動画像符号化装置と復号化装置の構成を示すブ ロック図である。
図 2 6は、 画像データの構造を説明する図である。
図 2 7は、 図 2 5のエンコーダ 1 8の構成例を示すプロック図で あ 0
図 2 8は、 図 2 7の予測モード切り替え回路 5 2の動作を説明す る図である。
図 2 9は、 図 2 7の D C Tモード切り替え回路 5 5の動作を説明 する図である。
図 3 0は、 図 2 5のデコーダ 3 1の構成例を示すプロック図であ る o
図 3 1 は、 従来のダウンサンプリ ング回路の構成例を示すプロッ ク図である。
図 3 2は、 従来のアップサンプリング回路の構成例を示すブロッ ク図である。
図 3 3は、 図 3 2の補間回路 9 5の動作を説明する図である。 発明を実施するための最良の形態 図 1は、 本発明の画像信号符号化装置 （エンコーダ） の一実施例 の構成を示すブロック図である。 この実施例においては、 階層符号 化が行われるようになされている。 図中、 1 0 0番台の符号を付し て示すプロックが、 低解像度の画像信号の処理を行うプロックであ り、 2 0 0番台の符号を付して示すブロックが、 高解像度の画像信 号を処理するプロックである。 各階層の処理を行う各プロックは、 基本的に、 図 2 7に示したエンコーダと同様の構成とされており、 図 1において、 1 0 0番台と 2 0 0番台の符号の下 2桁は、 図 2 7 における対応する機能のプロックの 2桁の符号と一致させてある。 なお、 図 1においては、 簡単のため、 図 2 7における予測モー ド 切り替え回路 5 2及び D C Tモード切り替え回路 5 5の図示を省略 しているが、 図 1の実施例においても.、 対応する回路が挿入されて いる。 また図 2 7における予測判定回路 5 4は、 簡単のため図 1に は示されていないが、 図 1における演算部 1 5 3は、 この予測判定 回路 5 4 も含むものとする。
入力画像として、 高解像度画像 2 0 1が用意される。 これは、 階 層符号化のために、 ダウンサンプリング回路 3 0 1を介して、 1 Z 4解像度画像 1 0 1 に変換される。 ダウンサンプリング回路 3 0 1 は、 図 2に示すように、 帯域制限のためのローパスフィルタ 9 0 1 と、 データを間引く間引き回路 9 0 2により構成される。 このダウ ンサンプリ ング回路 3 0 1の動作の詳細については後述する。
1 / 4解像度画像 1 0 1の処理は、 基本的に、 図 2 7に示した場 合と同様であるので、 簡単に説明する。 1ノ 4解像度画像 1 0 1は、 動きべク トル検出回路 1 5 0に入力される。 入力された画像は、 予 め設定された画像シーケンス （ I ピクチャ、 Pピクチャ、 Bピクチ ャなどの処理する順番） に従って、 フレームメモリ 1 5 1から必要 な画像をマクロプロック単位で読み出され参照原画像と前方原画像 又は後方原画像との間、 あるいはその両方との間で動きべク トルが 検出される。
演算部 1 5 3は、 動きべク トル検出回路 1 5 0で計算されたプロ ック単位でのフレーム間差分の絶対値和をもとに、 参照ブロックの 予測モードを決定する。 また、 演算部 1 5 3で決定された予測モー ドが可変長符号化回路 （V L C ) 1 5 8に供給される。
演算部 1 5 3は、 この予測モードをもとに、 プロック単位でィン トラ符号化モード、 前方予測モード、 後方予測モード又は両方向予 測モー ドの切り替えを行ない、 イントラ符号化モードの場合は、 入 力画像そのものを、 前方、 後方又は両方向予測モードの場合は、 そ れぞれの予測画像からのフレーム間符号化デ一夕 （差分データ） を 発生し、 当該差分データを、 演算部 1 5 3を介して D C T回路 1 5
6に供給する。
D C T回路 1 5 6は、 画像信号の 2次元相関を利用して、 入力画 像データ又は差分データをプロック単位でディスクリ一トコサイン 変換し、 その結果得られる変換データを、 量子化回路 （Q ) 1 5 7 に出力するようになされている。
量子化回路 1 5 7は、 マクロプロック及びスライス毎に定まる量 子化ステップサイズで D C T変換データを量子化し、 その結果出力 端に得られる量子化データを、 可変長符号化 （V L C ) 回路 1 5 8 及び逆量子化回路 （ I Q ) 1 6 0に供給する。 量子化に用いる量子 化スケールは、 送信バッファメモリ 1 5 9のバッファ残量をフィ一 ドバックすることによって、 送信バッファメモリ 1 5 9が破綻しな い値に決定される。 この量子化スケールも、 量子化回路 1 5 7から 可変長符号化回路 1 5 8及び逆量子化回路 1 6 0に、 量子化データ と共に供給される。
ここで V L C回路 1 5 8は、 量子化データを、 量子化スケール、 マクロプロックタイプ （予測モード） 、 動きべク トルと共に可変長 符号化処理し、 伝送データとして送信バッファメモリ 1 5 9に供給 する。
最終的に、 1 Z 4解像度画像のビッ トストリーム 1 0 9は、 <予 測モード > <動きベク トル > < D C T係数 >の順に伝送される。 逆量子化回路 1 6 0は、 量子化回路 1 5 7から送出される量子化 データを代表値に逆量子化することで逆量子化データに変換し、 逆 量子化データをディスクリ一トコサイン逆変換 （ I D C T ) 回路 1 6 1に供給するようになされている。 I D C T回路 1 6 1は、 逆量 子化回路 1 6 0で復号された逆量子化データを、 D C T回路 1 5 6 とは逆の変換処理で復号画像データに変換し、 演算器 1 6 2を介し てフレームメモリ 1 6 3に出力するようになされている。
動き補償回路 （M C ) 1 6 4は、 マクロブロックタイプ、 動きべ ク トル、 Frame/Fi eld 予測 Flag、 Frame/Field DCT Flagをもとに、 フレームメモリ 1 6 3に記憶されているデータに動き補償を行い、 予測画像信号を生成する。 演算器 1 6 2は、 この予測画像信号と I D C T回路 1 6 1の出力データ （差分データ） とを加算し、 局所的 な復号を行なう。 復号画像は、 前方予測画像もしくは後方予測画像 としてフレームメモリ 1 6 3に書き込まれる。 フレームメモリ 1 6 3では、 必要に応じてバンク切り替えが行わ れる。 これにより、 符号化する画像に応じて、 単一のフレームが、 後方予測画像として出力されたり、 前方予測画像として出力された りする。 前方、 後方又は両方向予測の場合は、 予測画像からの差分 が I D C T回路 1 6 1の出力として送られてくるために、 この差分 を、 演算器 1 6 2で動き補償回路 1 6 4より出力される予測画像に 対して足し込むことで、 局所的な復号を行なっている。 この予測画 像は、 デコーダで復号される画像と全く同一の画像であり、 次の処 理画像は、 この予測画像をもとに、 前方、 後方又は両方向予測を行 なう。
これまでの説明が 1 4解像度画像の符号化手順であるが、 上記 した演算器 1 6 2の出力は、 高解像度画像信号の空間的 （S p a t i a 1 ) 予測画像信号として、 高解像度画像の符号化器側のアップ サンプリング回路 3 0 2に供給され、 予測に利用される。
次に、 高解像度画像 2 0 1の符号化手順を説明する。 この符号化 手順は、 予測画像信号の生成手順を除いて、 1 4解像度画像の符 号化手順と全く同様である。
高解像度画像 2 0 1は、 動きべク トル検出回路 2 5 0を介して演 算部 2 5 3に供給される。 この演算部 2 5 3では、 ィントラ符号化 とともに、 フレームメモリ 2 6 3からの動き補償による前方、 後方 もしくは両方向予測又は 1 Z 4解像度画像からの予測を行なう。 1 4解像度画像の符号化において、 演算器 1 6 2から出力された 画像デ一夕は、 アップサンプリング回路 3 0 2によって高解像度画 像と同様の解像度に補間処理される。 一般的なァップサンプリング 回路 3 0 2は、 例えば図 3に示すように、 補間回路 9 0 3によって 構成される。 その動作の詳細は後述する。
アップサンプリング回路 3 0 2によって生成された補間画像は、 重み付け回路 3 0 3に入力される。 この重み付け回路 3 0 3では、 アップサンプリング回路 3 0 2の出力に、 重み （ 1 — W) が乗算さ れる。 これを第 1の予測画像信号とする。
—方、 動き補償回路 2 6 4からは、 前方、 後方又は両方向動き補 償に対応して、 時間的 （T emp o r a l ) 予測画像が出力される c この予測画像に対して、 重み付け回路 3 0 6によって重み Wが乗算 される。 これを第 2の予測画像信号とする。
上記、 第 1及び第 2の予測画像信号が加算器 3 0 4又は 3 0 5で 加算され、 第 3の予測画像信号が生成される。 この第 3の予測画像 信号を利用して、 演算部 2 5 3において予測が行なわれる。
重み Wは、 この第 3の予測画像信号の予測効率が最もよくなるよ うに、 重み判断回路 3 0 7で決定される。 同時に、 この重み Wは、 可変長符号化回路 （VL C) 2 5 8に供給され、 符号化伝送される。 演算部 2 5 3は、 上記した様に、 従来の動き補償に加えて、 1 4解像度画像を空間的予測画像として用いることによって、 さらに 高い予測効率を得ることができる。 ここで予測モードを決定する。 決定した予測モードは、 可変長符号化回路 2 5 8に供給され、 符 号化伝送される。 また、 この予測データは DCT回路 2 5 6に供給 される。 その他の処理は、 1 Z4解像度画像の符号化と同様である。 最終的に、 高解像度画像のビッ トストリーム 2 0 9は、 く予測モ ード〉く動きべク トル > <重み W> <DCT係数 >の順に伝送され る
次に、 このように階層符号化され、 伝送されたデータの復号化手 順に関して説明する。
図 4に階層符号化データのデコーダのプロックダイヤグラムを示 す。 同図において、 4 0 0番台の符号は、 1 Z4解像度の画像信号 をデコ一ドするプロックを表し、 5 0 0番台の符号は、 高解像度の 画像信号をデコードするプロックを表している。 各プロックの基本 的動作は、 図 3 0に示した場合と同様であり、 各プロックの下 2桁 の符号は、 図 3 0の対応するプロックの 2桁の番号と一致させてあ o
1 / 4解像度のビッ トストリーム 4 0 1 (図 1の送信バッファ 1 5 9の出力 1 0 9に対応する） は、 従来と同様に復号化される。 伝 送メディア （例えば、 図 25の記録媒体 3) を介して 1 Z4解像度 ビッ トス ト リーム 4 0 1が入力される。 このビッ トストリームは、 受信バッファ 4 8 1を介して可変長復号化 （ I VL C) 回路 4 8 2 に入力される。 可変長複号化回路 4 8.2は、 ビッ トストリー厶から 量子化データ、 動きベク トル、 マクロブロックタイプ、 量子化スケ —ル、 Frame/Field 予測 Flag、 Frame/Field DCT Flagを復号する。 この量子化データと量子化スケールは、 次の逆量子化回路 （ I Q) 4 8 3に入力される。
逆量子化回路 4 8 3、 I DCT回路 4 84、 演算器 4 8 5、 フレ ー厶メモリ 4 8 6、 動き補償回路 4 8 7の動作は、 図 3 0のデコー ダの説明で述べた場合と同様である。 これらの回路の処理出力とし て、 1 Z4解像度画像 4 0 8が得られる。 同時に、 復号化した画像 は、 次の画像の予測のためにフレームメモリ 4 8 6に蓄積される。 一方、 このフレームメモリ 4 8 6に蓄積される画像は、 高解像度 画像の復号化に用いる空間的 （Sp a t i a l ) 予測画像信号とし て、 高解像度復号化装置のアップサンプリング回路 6 0 2に入力さ れる。 このアップサンプリ ング回路 6 0 2は、 図 1のアップサンプ リング回路 3 0 2と同様に、 図 3に示すように、 補間回路 9 0 3に より構成される。 アップサンプリング回路 3 0 2によりアップサン プリングされたデータは、 重み付け回路 6 0 3に供給され、 （ 1 一 W) の重みが掛けられる。 これを、 高解像度復号化装置に対する第 1 の予測画像とする。
高解像度復号装置では、 1 Z 4解像度画像信号と全く同様の処理 を経て、 復号化が行なわれる。 すなわち、 伝送メディアを介して高 解像度ビッ トストリーム 5 0 1が入力される。 このビッ トストリー ムは、 受信バッファ 5 8 1を介して可変長復号化 （ I V L C ) 回路 5 8 3に入力されて復号化される。
可変長復号化されたデータは、 逆量子化回路 （ I Q ) 5 8 3、 I D C T回路 5 8 4、 演算器 5 8 5、 フレームメモリ 5 8 6、 動き補 償回路 5 8 7によって処理される。 動き補償回路 5 8 7からの出力 は、 重み付け回路 6 0 4に入力され、 重み付け係数 Wが乗算されて、 第 2の予測画像信号が形成される。
この第 2の予測画像信号と、 上記した 1 Z 4解像度画像からの第 I の予測画像信号は、 加算器 6 0 5で加算され、 高解像度復号化装 置に対する第 3の予測画像信号とされる。 この第 3の予測画像信号 が演算器 5 8 5において、 I D C T回路 5 8 4の出力する差分デー 夕と加算され、 元の高解像度の画像が復号される。 この高解像度画 像 5 0 8は、 同時に、 次の画像の予測のためにフレームメモリ 5 8 6に蓄積される。
ここで、 利用される重み Wは、 図 1の重み付け回路 3 0 6で用い られた重み Wであり、 ビッ トストリーム 2 0 9 ( 5 0 1 ) のデコー ドを経て I VL C回路 5 8 2から得られたものである。
以上のようにして、 高解像度画像のデコードが行われる。
図 5は、 高解像度画像と低解像度画像の解像度の関係の一例を示 したものである。 すなわち、 この例においては、 図 1の高解像度画 像 2 0 1は、 横 H画素、 縦 V画素の解像度を持ち、 これがダウンサ ンプリング回路 3 0 1により、 横 Hx 3Z8画素、 縦 Vx 1 Z2画 素の解像度をもつ低解像度画像 1 0 1に変換される。 この低解像度 画像は、 いわゆるスクイーズ方式 （画像が縦長になる） のフォーマ ッ トの画像である。
このようなダウンサンプリングは、 図 2に示す構成のダウンサン プリ ング回路により実現される。 すなわち、 入力信号はローバスフ ィル夕 9 0 1により帯域制限された後、 間引き回路 9 0 2に入力さ れ、 横 3/8、 縦 1Z2に間引きされる。
図 6は、 ダウンサンプリング回路 3 0 1 (間引き回路 9 0 2 ) の 横方向の間引きの原理を示す。 簡易的に間引きを行なう為の一例と して、 図 6に示される係数 （ 1， 1 3， 2ノ 3) は、 出力画素位 置に対応する隣接入力画素の距離の比の逆数を用いて表される。 隣 接画素の画素値に、 この係数を乗じて足し込んだ値が出力画素の値 となる。 ただし、 入力画素の位置と出力画素の位置が等しい時には、 入力画素の値がそのまま出力画素の値となる。
すなわち、 8個の入力画素 a乃至 hのうち、 入力画素 aは、 その まま出力画素 Aとして出力される。 入力画素 cに 1 / 3を乗算した 値と、 入力画素 dに 2Z3を乗算した値とが加算されて、 出力画素 Bが生成される。 また、 入力画素 ίに 1 Z3を乗算し、 入力画素 g に 2Z3を乗算し、 両方を加算して出力画素 Cが生成される。 この ようにして、 8個の入力画素から 3個の出力画素が補間される。 図 7は、 ダウンサンプリング回路 3 0 1 (間引き回路 9 0 2 ) の 縦方向の間引きの原理を示す。 画像のインターレース構造を考慮し て、 縦方向に 1 Z2に間引きを行う。 簡易的に間引きを行なう為の 一例として、 図 7に示される係数 （ 1， 1ノ2) は、 出力画素位置 に対応する隣接入力画素の距離の比の逆数を用いて表される。 隣接 画素の画素値に、 この係数を乗じて足し込んだ値が出力画素の値と なる。 ただし、 入力画素の位置と出力画素の位置が等しい時には、 入力画素の値がそのまま出力画素の値となる。
すなわち、 第 1 フィールド F 1においては、 1 ライン置きにライ ンが間引かれる。 そして、 第 2フィールド F 2においては、 上下に 隣接するラインの入力画素 aと b、 cと d、 eと f などが、 1ノ 2 の係数を乗算されて加算され、 出力画素 A, B， Cなどが構成され る o
このようにして、 図 5に示す横 3Z8倍、 縦 1 /2倍の低解像度 画像が得られる。
図 1のダウンサンプリング回路 3 0 1が以上のように動作すると き、 図 1 と図 4のアップサンプリング回路 3 0 2と 6 0 2を構成す る図 3の補間回路 9 0 3は、 データを、 横 8/3倍、 縦 2倍に補間 する。
図 8は、 横方向 8Z3倍の補間の原理を示す。 簡易的な補間を 行なう為の一例として、 図 8に示される係数 （ 1， 7Z8, 6/8, 5 / 8 , 4/8， 3/8, 2/8, 1 Z 8 ) は、 出力画素位置に対 応する隣接入力画素の距離の逆数を用いて表される。 隣接画素の画 素値にこの係数を乗じて足し込んだ値が出力画素の値となる。 ただ し、 入力画素の位置と出力画素の位置が等しい時には、 入力画素の 値がそのまま出力画素の値となる。
すなわち、 '入力画素 aは、 そのまま出力画素 Aとされる。 入力画 素 aに係数 5 / 8を乗算した値と、 入力画素 bに 3 8を乗算した 値とが加算されて、 出力画素 Bとされる。 以下同様に出力画素が補 間される。
図 9は、 縦方向の 2倍の補間の原理を示す。 画像のインターレー ス構造を考慮して縦方向に 2倍の補間を行なう。 簡易的な補間を行 なう為の一例として、 図 9に示される係数 （ 1， 3ノ4 , 1 / 2 , 1 / 4 ) は、 出力画素位置に対応する隣接入力画素の距離の逆数を 用いて表される。 隣接画素の画素値にこの係数を乗じて足し込んだ 値が出力画素の値となる。 ただし、 入力画素の位置と出力画素の位 置が等しい時には、 入力画素の値がそのまま出力画素の値となる。 すなわち、 第 1のフィールド F 1においては、 入力画素 a , b , cなどは、 そのまま出力画素 A , C , Eなどとされ、 その間の、 例 えば出力画素 Dは、 入力画素 bとじに 1 2を乗算した値を加算し て生成される。 第 2のフィールド F 2においては、 例えば入力画素 bに 3ノ4を乗算した値と、 入力画素 cに 1 4を乗算した値とを 加算して、 出力画素 Dが生成される。.
この図 5に示す実施例において、 横 1 9 2 0画素、 縱 9 6 0画素 の高解像度画像を、 横 7 2 0画素、 縦 4 8 0画素の低解像度画像に し、 また、 横 1 9 2 0画素、 縦 1 1 5 2画素の高解像度画像を、 横 7 2 0画素、 縦 5 7 6画素の低解像度画像とすることができる。 これにより、 例えば 1 6 ： 9のァスぺク ト比のハイビジョン方式 の画像を低解像度にして、 4 ： 3のアスペク ト比の NT S C方式の 受像機でモニタすることができる。
図 1 0は、 高解像度画像と低解像度画像の解像度の関係の他の例 を示したものである。 この例の高解像度画像は、 横 H画素、 縦 V画 素の解像度を持ち、 低解像度画像は、 横 HX 3ノ 8画素、 縦 VX 7 / 1 5画素の解像度をもつ。 この低解像度画像も、 スクイーズ方式 の画像である。
この実施例の場合、 間引きの比率を横 3/8、 縦 7Z1 5にする 必要がある。 横 3Z8倍のダウンサンプリングは、 図 6に示した原 理により実現できる。
図 1 1は、 縦方向に 7Z 1 5に間引きを行う原理を示している。 この場合においても、 入力画素 x， yに対する距離 a, bの比の逆 数で、 次式に示すように重み付けすることで、 出力画素 zを得るこ とができる。
z = X (bZ (a + b) ) + y (a/ (a + b) )
これにより、 1 5個の入力画素から 7個の出力画素が補間される。 また、 この実施例の場合、 アップサンプルにおいて、 間引きの比 率を横 8Z3、 縦 1 5Z7にする必要がある。 横方向の 8/3倍の 補間は、 図 8に示した原理により実現できる。
縦方向に 1 5 7倍するアップサンプリングは、 図 1 2に示すよ うな原理に基づいて実現することができる。 すなわち、 この場合に おいても、 入力画素 X, yに対応する距離 a， bの比の逆数で、 次 式に示すように重み付けすることで、 出力画素 zを得ることができ る o
z-x (b/ (a + b) ) +y (a/ (a + b) ) この原理に基づいて、 7個の入力画素から 1 5個の出力画素を生 成すればよい。
図 1 0の実施例は、 横 1 9 2 0画素、 縦 1 0 2 4画素の高解像度 画像を、 横 7 2 0画素、 縦 4 8 3画素の低解像度画像にする場合に 適用することができる。 縦 1 0 2 4画素に対し、 縦方向に 7ノ 1 5 倍のダウンサンプリングを行うと、 得られる画素は縦 4 8 3画素よ り少なくなるが、 この場合は、 画面の上下端部分に無画像の数ライ ンを付加する等の処理を行う。
図 1 3は、 さらに他の実施例を示している。 この実施例において は、 横 H画素、 縦 V画素の高解像度の画像が、 横 H X 3ノ 8画素、 縦 V X 3 / 8画素の解像度を有する低解像度画像に変換されている c この低解像度画像は、 レターボックス方式 （画素は歪まないが、 上 下に無画像データを挿入して表示する必要がある） のフォーマツ ト の画像となされている。
すなわち、 この実施例においては、 高解像度の画像が横方向と縦 方向において同じ割合でダウンサンプリングされるため、 低解像度 の画像は、 高解像度の画像と同一のァスぺク ト比を有することにな る。 例えば、 N T S C方式の受像機においては、 この低解像度画像 をレターボックス方式の画像として処理する。 すなわち、 伝送され てきた画像の上下に必要な数のライン （無画像） を付加して表示す る o
横方向の 3 Z 8のダウンサンプリ ングは、 図 6に示した原理に従 つて実現することができる。 また、 縦方向の 3 Z 8のダウンサンプ リ ングは、 例えば図 1 4に示す原理に従って実現することができる。 すなわち、 この実施例においては、 第 1のフィールド F 1におい て、 入力画素 aが出力画素 Aとして、 そのまま出力され、 入力画素 cに 1 / 3を乗算した値と、 入力画素 dに 2 / 3を乗算した値とを 加算して、 出力画素 Bを生成する。 また、 入力画素 f に 1 / 3を乗 算した値と、 入力画素 gに 2ノ3を乗算した値とを加算して、 出力 画素 Cを生成している。
一方、 第 2のフィールド F 2においては、 入力画素 aに 1 Z 6を 乗算し、 入力画素 bに 5 6を乗算し、 両者を加算して出力画素 A が生成されている。 また、 入力画素 dに 1 / 2が乗算され、 入力画 素 eに 1 / 2が乗算され、 両者を加算して出力画素 Bが生成される。 さらに、 入力画素 gに 5 Z 6が乗算された値と、 入力画素 hに 1 Z 6を乗算した値とを加算し、 出力画素 Cを生成している。 以上のよ うにして、 8本のラインのデ一夕から 3本のラインのデ一夕が生成 される。
横方向の 8 3倍のアップサンプリングは、 上述したように、 図 8に示す原理に従って実現することができる。
縦方向の 8 Z 3倍のアップサンプリングは、 図 1 5に示す原理に 従って実現することができる。 すなわち、 第 1のフィールド F 1 に おいては、 入力画素 aがそのまま出力画素 Aとされる。 出力画素 B は、 入力画素 aに 5 8を乗算した値と、 入力画素 bに 3 8を乗 算した値とを加算して生成される。 出力画素 Cは、 入力画素 aに 2 Z 8を乗算した値と、 入力画素 bに 6 Z 8を乗算した値とを加算し て生成される。 以下、 同様にして、 図示されている係数を隣接する 入力画素に乗算した値を加算して出力画素のデータが生成される。 第 2のフィールド F 2においても、 同様にして、 入力画素に所定 の係数を乗算して、 出力画素が生成される。 このようにして、 3本 のラインのデータから 8本のラインのデータが生成される。
この図 1 3に示す実施例は、 例えば、 横 1 9 2 0画素、 縦 9 6 0 画素の高解像度画像を、 横 7 2 0画素、 縦 3 6 0画素の低解像度画 像にダウンサンプリ ングする場合、 あるいは、 横 1 9 2 0画素、 縦 1 1 5 2画素の高解像度画像を、 横 7 2 0画素、 縦 4 3 2画素の低 解像度画像にダウンサンプリングする場合に適用することができる。 図 1 6は、 さらに他の実施例を示している。 この実施例において は、 横 H画素、 縦 V画素の高解像度画像が、 横 HX 3Z8画素、 縦 V X17 / 2 0画素の低解像度画像に変換される。 この低解像度画像 は、 レターボックス方式のフォーマッ トの画像となる。
横方向に 3Z 8倍するダウンサンプリングは、 図 6に示す原理に 従って実現することができる。
縦方向に 7Z2 0倍するダウンサンプリングは、 例えば、 図 1 7 に示す原理に従って実現することができる。 この場合においても、 入力画素 Xと yに対する距離 aと bに対応して、 次式を演算するこ とにより、 出力画素 zを得ることができる。
z = X (b/ ( a + b ) ) + y ( a/ ( a + b ) )
この演算により、 第 1のフィールド F 1及び第 2のフィールド F 2において、 それぞれ 2 0本のラインから 7本のラインのデ一夕を 生成すればよい。
横方向の 8Z3倍のアップサンプリングは、 図 8に示す原理に従 つて実現することができる。
縦方向の 2 0Z 7倍のアップサンプリングは、 例えば、 図 1 8に 示す原理に従って実現することができる。 この場合においても、 第 1のフィールド F 1 と第 2のフィールド F 2において、 入力画素 X と yに対する距離 aと bに対応して、 次式による演算を行い、 出力 画素 zを得ることができる。
z = x ( b / ( a + b ) ) + y ( a / ( a + b ) )
このようにして、 各フィールドにおいて、 7本のラインのデ一夕 から 2 0本のラインのデータを生成する。
この図 1 6に示す実施例は、 横 1 9 2 0画素、 縦 1 0 2 4画素の 高解像度画像を、 横 7 2 0画素、 縦 3 5 8画素の低解像度画像に変 換する場合に適用することが可能である。 縦 1 0 2 4画素に対し、 縦の 7 Z 2 0倍のダウンサンプリングを行うと、 得られる画素は、 縦 3 5 8画素より多くなるが、 この場合は、 画面の上又は下端のラ ィンを削除する等の処理を行う。
この図 1 6に示す縦の 7 Z 2 0倍のダウンサンプリングを行うに は、 重み付けのための係数の数が多くなり、 演算処理のための回路 構成が複雑となる。 そこで、 例えば、 この 7 2 0倍のダウンサン プリングに代えて、 1 Z 3倍のダウンサンプリングとすることがで きる。 この場合の横方向のダウンサンプリングは、 3 8倍で、 図 1 6における場合と同様である。
図 1 9は、 1 Z 3倍のダウンサンプリングの原理を示している。 同図に示すように、 第 1のフィールド F 1 と第 2のフィールド F 2 において、 それぞれ 3本のラインから 1本のラインを間引く （抽出 する） ことにより、 1ノ3倍の縦方向のダウンサンプリングが可能 こ'ある。
この場合、 縦方向のアップサンプリングを 3倍にする必要がある が、 これは、 例えば図 2 0に示す原理に従って実現することができ る。 すなわち、 この場合においても、 入力画素に対して所定の係数 を乗算して重み付けすることにより、 各フィールド F 1， F 2にお いて、 1本のラインのデータから 3本のラインのデータを生成する ようにする。
このように、 Ί / 2 0倍のダウンサンプリング及び 2 0 7倍の アップサンプリングを、 1 3倍のダウンサンプリング及び 3倍の アップサンプリングで近似することで、 構成を簡略化し、 低コスト の装置を実現することが可能となる。
この実施例は、 横 1 9 2 0画素、 縦 1 0 2 4画素の高解像度画像 を、 横 7 2 0画素、 縦 3 4 1画素の低解像度画像に変換する場合に 適用することが可能である。 縦 1 0 2 4画素に対し、 縦方向のダウ ンサンプリングを行うと、 得られる画素は縦 3 4 1画素より多くな るが、 この場合は、 画面の上又は下端のラインを削除する等の処理 を行う。
以上のようにして、 高解像度の画像と低解像度の画像を、 それぞ れ符号化して伝送し、 これを復号することができる。 この伝送メデ ィァとして、 例えば光ディスクを用いる場合には、 光ディスクに、 この高解像度の画像と低解像度の画像が記録されることになる。 図 2 1は、 このようなディスクを製造する方法を示している。 す なわち、 例えばガラスなどよりなる原盤が用意され、 その上に、 例 えばフォ トレジストなどよりなる記録材料が塗布される。 これによ り、 記録用原盤が製作される。 一方、 上述したようにして、 高解像 度の画像データと低解像度の画像データとを含むビッ トストリーム を所定のフォーマツ トに従って、 例えば磁気テープなどに一旦記録 し、 ソフ トを製作する。
このソフ トを必要に応じて編集し、 光ディスクに記録すべきフォ 一マッ トの信号を生成する。 そして、 この記録信号に対応して、 レ 一ザビームを変調し、 このレーザビームを原盤上のフォ トレジスト 上に照射する。 これにより、 原盤上のフォ トレジストが記録信号に 対応して露光される。
その後、 この原盤を現像し、 原盤上にピッ トを出現させる。 この ようにして用意された原盤に、 例えば電铸等の処理を施し、 ガラス 原盤上のピッ トを転写した金属原盤を製作する。 この金属原盤から、 さらに金属スタンパを製作し、 これを成形用金型とする。
この成形用金型に、 例えばィンジェクシヨンなどにより P MM A (ァクリル） 又は P C (ポリカーボネ一ト） などの材料を注入し、 固化させる。 あるいは、 金属スタンパ上に 2 P (紫外線硬化樹脂） などを塗布した後、 紫外線を照射して硬化させる。 これにより、 金 属スタンパ上のピッ トを、 樹脂よりなるレプリカ上に転写すること ができる。
このようにして生成されたレプリ力上に、 反射膜が蒸着あるいは スパッタリングなどにより形成される。 あるいはまた、 スピンコー トにより形成される。
その後、 このディスクに対して内外径の加工が施され、 2枚のデ イスクを張り合わせるなどの必要な処置が施される。 さらに、 ラベ ルを張り付けたり、 ハブが取り付けられて、 カートリ ッジに挿入さ れる。 このようにして、 光ディスクが完成する。 産業上の利用可能性 以上の如く本発明の画像信号符号化方法及び画像信号符号化装置 並びに画像信号複号化方法及び画像信号復号化装置によれば、 高解 像度の画像信号を、 異なるァスぺク ト比となるようにして符号化し、 伝送し、 これを復号化するようにしたので、 例えばハイビジョン方 式の高解像度の画像信号を、 例えば N T S C方式の低解像度の受像 機によりモニタすることが可能となる。 勿論、 ハイビジョン方式の 受像機によっては、 高解像度の画像をそのまま見ることが可能とな な
さらにまた、 低解像度の受像機ではあるが、 そのアスペク ト比が、 例えば 1 6 ： 9の比に設定されている N T S C方式の受像機におい ては、 4 ： 3のアスペク ト比のスクイーズ方式の画像を、 元の 1 6 ： 9のアスペク ト比の画像に戻す機能を有しておれば、 正常な比 の画像を観察することが可能となる。
さらにまた、 レターボックスの画像として、 低解像度の画像を伝 送した場合においては、 4 ： 3のアスペク ト比を有する N T S C方 式の受像機においても、 正しい縦と横の比の画像として観察するこ とができる。 また、 1 6 ： 9のァスぺク ト比を有する N T S C方式 の受像機においては、 画面の上下に実質的に無画像のラインを挿入 することなく、 画面の全体にわたって画像を大きく表示させること ができる。

Claims

請 求 の 範 囲
1 . 解像度の低い画像信号を符号化した信号を復号して得られる 信号から、 解像度の高い画像信号の予測画像信号を生成し、 生成さ れた上記予測画像信号を用いて前記解像度の高い画像信号を符号化 する画像信号符号化方法において、
解像度の低い画像信号を符号化した信号を復号化して得られる信 号を、 縦横異なる比率でアップサンプリングして、 前記解像度の高 い画像信号の予測画像信号を生成し、
生成された前記予測画像信号を用いて、 前記解像度の高い画像信 号を予測符号化する
ことを特徴とする画像信号符号化方法。
2 . 前記解像度の高い画像信号を、 前記縦横異なる比率でダウン サンプリングして、 前記解像度の低い画像信号を生成すること を特徴とする請求項 1に記載の画像信号符号化方法。
3 . 前記解像度の高い画像信号を、 縦に 1ノ2倍かつ横に 3 Z 8 倍、 縦に 7 1 5倍かつ横に 3 Z 8倍、 縦に 7 2 0倍かつ横に 3 / 8倍、 縦に 1 Z 3倍かつ横に 3 / 8倍の内の何れかの解像度にな るように上記ダウンサンプリングを行って、 前記解像度の低い画像 信号を生成し、
前記解像度の低い画像信号を符号化した信号を復号して得られる 信号を、 縦横それぞれ、 上記ダウンサンプリングの逆数倍の解像度 になるように上記ァップサンプリングを行って前記解像度の高い画 像信号の予測画像信号を生成する ことを特徴とする請求項 2に記 載の画像信号符号化方法。
4. 前記解像度の高い画像信号は、 横 1 9 2 0個、 縦 9 6 0個の 画素を有し、
前記解像度の低い画像信号は、 横 7 2 0個、 縦 4 8 0個の画素を 有する
ことを特徴とする請求項 1に記載の画像信号符号化方法。
5. 前記解像度の高い画像信号は、 横 1 9 2 0個、 縦 1 1 5 2個 の画素を有し、
前記解像度の低い画像信号は、 横 7 2 0個、 縦 5 7 6個の画素を 有する
ことを特徴とする請求項 1 に記載の画像信号符号化方法。
6. 前記解像度の高い画像信号は、 横 1 9 2 0個、 縱 1 0 2 4個 の画素を有し、
前記解像度の低い画像信号は、 横 7 2 0個、 縦 4 8 3個の画素を 有する
ことを特徴とする請求項 1に記載の画像信号符号化方法。
7. 前記解像度の高い画像信号は、 横 1 9 2 0個、 縦 1 0 2 4個 の画素を有し、
前記解像度の低い画像信号は、 横 7 2 0個、 縦 3 5 8個の画素を 有する
ことを特徴とする請求項 1に記載の画像信号符号化方法。
8. 前記解像度の高い画像信号は、 横 1 9 2 0個、 縦 1 0 2 4個 の画素を有し、
前記解像度の低い画像信号は、 横 7 2 0個、 縦 3 4 1個の画素を 有する
ことを特徴とする請求項 1に記載の画像信号符号化方法。
9 . 解像度の低い画像信号を符号化した信号を復号して得られる 信号から、 解像度の高い画像信号の予測画像信号を生成し、 生成さ れた上記予測画像信号を用いて前記解像度の高い画像信号を符号化 する画像信号符号化方法において、
解像度の低い画像信号を符号化した信号を復号して得られる信号 を、 縦に 8 Z 3倍、 かつ横に 8 Z 3倍の解像度になるようにアップ サンプリ ングして、 前記解像度の高い画像信号の予測画像信号を生 成し、
生成された前記予測画像信号を用いて、 前記解像度の高い画像信 号を予測符号化する
ことを特徴とする画像信号符号化方法。
1 0 . 前記解像度の高い画像信号を、 縦に 3 / 8倍、 かつ横に 3 8倍の解像度になるようにダウンサンプリングして、 前記解像度の 低い画像信号を生成するこ と
を特徴とする請求項 9に記載の画像信号符号化方法。
1 1 . 前記高い解像度の画像信号は、 横 1 9 2 0個、 縦 9 6 0個の 画素を有し、
前記解像度の低い画像信号は、 横 7 2 0個、 縦 3 6 0個の画素を 有する
ことを特徴とする請求項 9に記載の画像信号符号化方法。
1 2 . 前記高い解像度の画像信号は、 横 1 9 2 0個、 縦 1 1 5 2個 の画素を有し、
前記解像度の低い画像信号は、 横 7 2 0個、 縦 4 3 2個の画素を 有する
ことを特徴とする請求項 9に記載の画像信号符号化方法。
1 3 . 解像度の低い画像信号を符号化した信号を復号して得られる 信号から、 解像度の高い画像信号の予測画像信号を生成し、 生成さ れた上記予測画像信号を用いて前記解像度の高い画像信号を符号化 する画像信号符号化装置において、
解像度の低い画像信号を符号化した信号を復号化して得られる信 号を、 縦横異なる比率でアップサンプリングして、 前記解像度の高 い画像信号の予測画像信号を生成するアップサンプリング手段と、 生成された前記予測画像信号を用いて、 前記解像度の高い画像信 号を予測符号化する符号化手段と
を有することを特徴とする画像信号符号化装置。
1 . 前記解像度の高い画像信号を、 前記縦横異なる比率でダウン サンプリングして、 前記解像度の低い画像信号を生成するダウンサ ンプリ ング手段
を有することを特徴とする請求項 1 3に記載の画像信号符号化装 置。
1 5 . 前記ダウンサンプリング手段は、 前記解像度の高い画像信号 を、 縦に 1ノ 2倍かつ横に 3 8倍、 縦に 7ノ 1 5倍かつ横に 3 / 8倍、 縦に 7 Z 2 0倍かつ横に 3 Z 8倍、 縦に 1 Z 3倍かつ横に 3 / 8倍の内の何れかの解像度になるように上記ダウンサンプリング を行って、 前記解像度の低い画像信号を生成し、
前記アップサンプリング手段は、 前記解像度の低い画像信号を符 号化した信号を復号して得られる信号を、 縦横それぞれ、 上記ダウ ンサンプリングの逆数倍の解像度になるように上記ァップサンプリ ングを行って前記解像度の高い画像信号の予測画像信号を生成する ことを特徴とする請求項 1 4に記載の画像信号符号化装置。
1 6. 前記解像度の高い画像信号は、 横 1 9 2 0個、 縦 9 6 0個の 画素を有し、
前記解像度の低い画像信号は、 横 7 2 0個、 縦 4 8 0個の画素を 有する
ことを特徴とする請求項 1 3に記載の画像信号符号化装置。
1 7. 前記解像度の高い画像信号は、 横 1 9 2 0個、 縦 1 1 5 2個 の画素を有し、
前記解像度の低い画像信号は、 横 7 2 0個、 縦 5 7 6個の画素を 有する
ことを特徴とする請求項 1 3に記載の画像信号符号化装置。
1 8. 前記解像度の高い画像信号は、 横 1 9 2 0個、 縦 1 0 2 4個 の画素を有し、
前記解像度の低い画像信号は、 横 7 2 0個、 縦 4 8 3個の画素を 有する . .
ことを特徴とする請求項 1 3に記載の画像信号符号化装置。
1 9. 前記解像度の高い画像信号は、 横 1 9 2 0個、 縦 1 0 2 4個 の画素を有し、
前記解像度の低い画像信号は、 横 7 2 0個、 縦 3 5 8個の画素を 有する
ことを特徴とする請求項 1 3に記載の画像信号符号化装置。 2 0. 前記解像度の高い画像信号は、 横 1 9 2 0個、 縱 1 0 2 4個 の画素を有し、
前記解像度の低い画像信号は、 横 7 2 0個、 縱 3 4 1個の画素を 有する
ことを特徴とする請求項 1 3に記載の画像信号符号化装置。
2 1 . 解像度の低い画像信号を符号化した信号を復号して得られる 信号から、 解像度の高い画像信号の予測画像信号を生成し、 生成さ れた上記予測画像信号を用いて前記解像度の高い画像信号を符号化 する画像信号符号化装置において、
前記解像度の低い画像信号を符号化した信号を復号して得られる 信号を、 縦に 8 Z 3倍、 かつ横に 8ノ 3倍の解像度になるようにァ ップサンプリングして、 前記解像度の高い画像信号の予測画像信号 を生成するアップサンプリング手段と、
生成された前記予測画像信号を用いて、 前記解像度の高い画像信 号を予測符号化する符号化手段と
を有することを特徴とする画像信号符号化装置。
2 2 . 前記解像度の高い画像信号を、 縦に 3 8倍、 かつ横に 3 Z 8倍の解像度になるようにダウンサンプリングして、 前記解像度の 低い画像信号を生成するダウンサンプリング手段
を有することを特徴とする請求項 2 1に記載の画像信号符号化装 置 o
2 3 . 前記高い解像度の画像信号は、 横 1 9 2 0個、 縱 9 6 0個の 画素を有し、
前記解像度の低い画像信号は、 横 7 2 0個、 縦 3 6 0個の画素を 有する
ことを特徴とする請求項 2 1に記載の画像信号符号化装置。
2 4 . 前記高い解像度の画像信号は、 横 1 9 2 0個、 縦 1 1 5 2個 の画素を有し、
前記解像度の低い画像信号は、 横 7 2 0個、 縦 4 3 2個の画素を 有する ことを特徴とする請求項 2 1 に記載の画像信号符号化装置。 2 5 . 解像度の低い画像信号の符号化信号を復号して得られる信号 から、 解像度の高い画像信号の予測画像信号を生成し、 生成された 前記予測画像信号を用いて、 解像度の高い画像信号の符号化信号を 復号化する画像信号復号化方法において、
解像度の低い画像信号の符号化信号を復号して得られる第 1の復 号化信号を、 縦横異なる比率でアップサンプリングして解像度の高 い画像信号の予測画像信号を生成し、
生成された前記予測画像信号を用いて、 解像度の高い画像信号の 符号化信号を予測復号化して第 2の復号化信号を生成する
ことを特徵とする画像信号復号化方法。
2 6 . 前記第 1の復号化信号を、 縦に 2倍かつ横に 8 Z 3倍、 縦に 1 5 / 7倍かつ横に 8 Z 3倍、 縦に 2 0 / 7倍かつ横に 8 / 3倍、 縦に 3倍かつ横に 8 / 3倍の内の何れかの解像度になるように上記 アップサンプリングを行って、 前記解像度の高い画像信号の予測画 像信号を生成する
ことを特徵とする請求項 2 5に記載の画像信号復号化方法。 2 7 . 前記第 2の復号化信号は、 横 1 9 2 0個、 縦 9 6 0個の画素 を有し、
前記第 1の復号化信号は、 横 7 2 0.個、 縦 4 8 0個の画素を有す る
ことを特徴とする請求項 2 5に記載の画像信号復号化方法。 2 8 . 前記第 2の復号化信号は、 横 1 9 2 0個、 縦 1 1 5 2個の 画素を有し、
前記第 1の復号化信号は、 横 7 2 0個、 縦 5 7 6個の画素を有す る
ことを特徴とする請求項 2 5に記載の画像信号復号化方法。
2 9 . 前記第 2の復号化信号は、 横 1 9 2 0個、 縦 1 0 2 4個の画 素を有し、
前記第 1の復号化信号は、 横 7 2 0個、 縦 4 8 3個の画素を有す る
ことを特徴とする請求項 2 5に記載の画像信号復号化方法。
3 0 . 前記第 2の復号化信号は、 横 1 9 2 0個、 縦 1 0 2 4個の画 素を有し、
前記第 1の復号化信号は、 横 7 2 0個、 縦 3 5 8個の画素を有す る
ことを特徴とする請求項 2 5に記載の画像信号復号化方法。
3 1 . 前記第 2の復号化信号は、 横 1 9 2 0個、 縦 1 0 2 4個の画 素を有し、
前記第 1の復号化信号は、 横 7 2 0個、 縦 3 4 1個の画素を有す る
ことを特徴とする請求項 2 5に記載の画像信号複号化方法。
3 2 . 解像度の低い画像信号の符号化信号を復号して得られる信号 から、 解像度の高い画像信号の予測画像信号を生成し、 生成された 前記予測画像信号を用いて、 解像度の高い画像信号の符号化信号を 復号化する画像信号復号化方法において、
解像度の低い画像信号の符号化信号を復号して得られる第 1の復 号化信号を、 縦に 8 Z 3倍、 かつ横に 8 3倍の解像度になるよう にアップサンプリングして、 前記解像度の高い画像信号の予測画像 信号を生成し、 生成された前記予測画像信号を用いて、 解像度の高い画像信号の 符号化信号を予測復号化して第 2の復号化信号を生成する
ことを特徴とする画像信号復号化方法。
3 3 . 前記第 2の復号化信号は、 横 1 9 2 0個、 縦 9 6 0個の画素 を有し、
前記第 1の復号化信号は、 横 7 2 0個、 縦 3 6 0個の画素を有す る
ことを特徴とする請求項 3 2に記載の画像信号復号化方法。 3 4 . 前記第 2の復号化信号は、 横 1 9 2 0個、 縦 1 1 5 2個の画 素を有し、
前記第 1の復号化信号は、 横 7 2 0個、 縦 4 3 2個の画素を有す る
ことを特徴とする請求項 3 2に記載の画像信号複号化方法。 3 5 . 解像度の低い画像信号の符号化信号を復号して得られる信号 から、 解像度の高い画像信号の予測画像信号を生成し、 生成された 前記予測画像信号を用いて、 解像度の高い画像信号の符号化信号を 復号化する画像信号復号化装置において、
解像度の低い画像信号の符号化信号を復号して得られる第 1の復 号化信号を、 縦横異なる比率でアップサンプリングして解像度の高 い画像信号の予測画像信号を生成するアップサンプリング手段と、 生成された前記予測画像信号を用いて、 解像度の高い画像信号の 符号化信号を予測複号化して第 2の復号化信号を生成する復号化手 段と
を有することを特徴とする画像信号復号化装置。
3 6 . 上記アップサンプリング手段は、 前記第 1の復号化信号を、 縦に 2倍かつ横に 8 3倍、 縦に 1 5 Z 7倍かつ横に 8ノ 3倍、 縦 に 2 0 7倍かつ横に 8 3倍、 縦に 3倍かつ横に 8 3倍の内の 何れかの解像度になるように上記アップサンプリングを行って、 前 記解像度の高い画像信号の予測画像信号を生成する
ことを特徴とする請求項 3 5に記載の画像信号復号化装置。 3 7 . 前記第 2の復号化信号は、 横 1 9 2 0個、 縱 9 6 0個の画素 を有し、
前記第 1の復号化信号は、 横 7 2 0個、 縦 4 8 0個の画素を有す る
ことを特徴とする請求項 3 5に記載の画像信号復号化装置。
3 8 . 前記第 2の複号化信号は、 横 1 9 2 0個、 縦 1 1 5 2個の画 素を有し、
前記第 1の復号化信号は、 横 7 2 0個、 縦 5 7 6個の画素を有す る
ことを特徴とする請求項 3 5に記載の画像信号復号化装置。
3 9 . 前記第 2の復号化信号は、 横 1 9 2 0個、 縦 1 0 2 4個の画 素を有し、
前記第 1の復号化信号は、 横 7 2 0個、 縦 4 8 3個の画素を有す る
ことを特徴とする請求項 3 5に記載の画像信号復号化装置。
4 0 . 前記第 2の復号化信号は、 横 1 9 2 0個、 縦 1 0 2 4個の画 素を有し、
前記第 1の復号化信号は、 横 7 2 0個、 縦 3 5 8個の画素を有す る
ことを特徴とする請求項 3 5に記載の画像信号復号化装置。
4 1 . 前記第 2の複号化信号は、 横 1 9 2 0個、 縦 1 0 2 4個の画 素を有し、
前記第 1の複号化信号は、 横 7 2 0個、 縦 3 4 1個の画素を有す る
ことを特徴とする請求項 3 5に記載の画像信号復号化装置。 4 2 . 解像度の低い画像信号の符号化信号を復号して得られる信号 から、 解像度の高い画像信号の予測画像信号を生成し、 生成された 前記予測画像信号を用いて、 解像度の高い画像信号の符号化信号を 復号化する画像信号復号化装置において、
解像度の低い画像信号の符号化信号を復号して得られる第 1の復 号化信号を、 縦に 8 3倍、 かつ横に 8 3倍の解像度になるよう にアップサンプリングして、 前記解像度の高い画像信号の予測画像 信号を生成するアップサンプリング手段と、
生成された前記予測画像信号を用いて、 解像度の高い画像信号の 符号化信号を予測復号化して第 2の復号化信号を生成する復号化手 段と
を有することを特徴とする画像信号復号化装置。
4 3 . 前記第 2の復号化信号は、 横 1 9 2 0個、 縦 9 6 0個の画素 を有し、
前記第 1の復号化信号は、 横 7 2 0個、 縦 3 6 0個の画素を有す る .
ことを特徴とする請求項 4 2に記載の画像信号復号化装置。 4 4 . 前記第 2の複号化信号は、 横 1 9 2 0個、 縦 1 1 5 2個の画 素を有し、
前記第 1の復号化信号は、 横 7 2 0個、 縦 4 3 2個の画素を有す る
ことを特徴とする請求項 4 2に記載の画像信号復号化装置。
PCT/JP1994/000499 1993-03-26 1994-03-28 Method and apparatus for coding video signal, and method and apparatus for decoding video signal WO1994023535A1 (en)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US08/341,546 US5832124A (en) 1993-03-26 1994-03-28 Picture signal coding method and picture signal coding apparatus, and picture signal decoding method and picture signal decoding apparatus
DE1994621868 DE69421868T2 (de) 1993-03-26 1994-03-28 Verfahren und vorrichtung zur kodierung/dekodierung eines videosignals
KR1019940704311A KR100311294B1 (ko) 1993-03-26 1994-03-28 화상신호부호화방법및화상신호부호화장치및화상신호복호화방법및화상신호복호화장치
EP19940910550 EP0643535B1 (en) 1993-03-26 1994-03-28 Method and apparatus for coding/decoding a video signal

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP5/68785 1993-03-26
JP06878593A JP3374989B2 (ja) 1993-03-26 1993-03-26 画像信号符号化方法および画像信号符号化装置、ならびに画像信号復号化方法および画像信号復号化装置

Publications (1)

Publication Number Publication Date
WO1994023535A1 true WO1994023535A1 (en) 1994-10-13

Family

ID=13383734

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP1994/000499 WO1994023535A1 (en) 1993-03-26 1994-03-28 Method and apparatus for coding video signal, and method and apparatus for decoding video signal

Country Status (7)

Country Link
US (1) US5832124A (ja)
EP (1) EP0643535B1 (ja)
JP (1) JP3374989B2 (ja)
KR (1) KR100311294B1 (ja)
CN (1) CN1076932C (ja)
DE (1) DE69421868T2 (ja)
WO (1) WO1994023535A1 (ja)

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR970705240A (ko) * 1995-07-19 1997-09-06 니시무로 타이조 레터박스 변환 장치(letter-box transformation device)
KR100192270B1 (ko) * 1996-02-03 1999-06-15 구자홍 에이치디티브이 비데오 디코더 회로
US5907372A (en) * 1996-06-28 1999-05-25 Hitachi, Ltd. Decoding/displaying device for decoding/displaying coded picture data generated by high efficiency coding for interlace scanning picture format
AU731425B2 (en) * 1996-09-09 2001-03-29 Sony Corporation Picture encoding and decoding
JP3263807B2 (ja) * 1996-09-09 2002-03-11 ソニー株式会社 画像符号化装置および画像符号化方法
AU759558B2 (en) * 1996-09-09 2003-04-17 Sony Corporation Picture encoding and decoding
US6353703B1 (en) 1996-10-15 2002-03-05 Matsushita Electric Industrial Co., Ltd. Video and audio coding method, coding apparatus, and coding program recording medium
CN1474604A (zh) * 1996-12-06 2004-02-11 松下电器产业株式会社 图像信号传送、编码和解码方法和装置以及光盘记录和再现方法
DE69735437T2 (de) * 1996-12-12 2006-08-10 Matsushita Electric Industrial Co., Ltd., Kadoma Bildkodierer und bilddekodierer
JPH10248051A (ja) * 1997-03-05 1998-09-14 Matsushita Electric Ind Co Ltd ディジタルデータ送信方法、ディジタルデータ送信装置およびディジタルデータ受信装置
JPH10257502A (ja) * 1997-03-17 1998-09-25 Matsushita Electric Ind Co Ltd 階層画像符号化方法、階層画像多重化方法、階層画像復号方法及び装置
JPH10271504A (ja) * 1997-03-18 1998-10-09 Texas Instr Inc <Ti> 画像信号の符号化方法
MY129665A (en) * 1997-04-09 2007-04-30 Matsushita Electric Ind Co Ltd Image predictive decoding method, image predictive decoding apparatus, image predictive coding method, image predictive coding apparatus, and data storage media
JPH118856A (ja) * 1997-06-17 1999-01-12 Mitsubishi Electric Corp 画像符号化方法及びその装置
US6310918B1 (en) * 1997-07-31 2001-10-30 Lsi Logic Corporation System and method for motion vector extraction and computation meeting 2-frame store and letterboxing requirements
CN100459715C (zh) * 1997-07-31 2009-02-04 日本胜利株式会社 数字视频信号块间预测编码/解码装置及编码/解码方法
JP3813320B2 (ja) * 1997-08-27 2006-08-23 株式会社東芝 動きベクトル検出方法および装置
US6094225A (en) * 1997-12-02 2000-07-25 Daewoo Electronics, Co., Ltd. Method and apparatus for encoding mode signals for use in a binary shape coder
KR100252108B1 (ko) * 1997-12-20 2000-04-15 윤종용 Mpeg 압축부호화 및 복호화기를 채용한 디지털 기록 재생장치 및 그 방법
KR100281462B1 (ko) * 1998-03-30 2001-02-01 전주범 격행 부호화에서 이진 형상 신호의 움직임 벡터 부호화 방법
JP2940545B1 (ja) * 1998-05-28 1999-08-25 日本電気株式会社 画像変換方法および画像変換装置
JP3937028B2 (ja) * 1998-09-18 2007-06-27 富士フイルム株式会社 画像変換方法、画像変換装置及び画像変換プログラムを記録した記録媒体
US6115072A (en) * 1999-01-27 2000-09-05 Motorola, Inc. 16:9 aspect ratio conversion by letterbox method for an MPEG image
US7020195B1 (en) * 1999-12-10 2006-03-28 Microsoft Corporation Layered coding and decoding of image data
US6445832B1 (en) * 2000-10-10 2002-09-03 Lockheed Martin Corporation Balanced template tracker for tracking an object image sequence
US6765964B1 (en) * 2000-12-06 2004-07-20 Realnetworks, Inc. System and method for intracoding video data
JP3695451B2 (ja) * 2003-05-28 2005-09-14 セイコーエプソン株式会社 画像サイズの変更方法及装置
JP2005141722A (ja) * 2003-10-15 2005-06-02 Ntt Docomo Inc 画像信号処理方法、画像信号処理装置、及び画像信号プログラム
US7033355B2 (en) * 2004-01-15 2006-04-25 Muzzammel Mohiuddin M Endocervical electrode
US8358701B2 (en) * 2005-04-15 2013-01-22 Apple Inc. Switching decode resolution during video decoding
US8385427B2 (en) * 2005-04-15 2013-02-26 Apple Inc. Reduced resolution video decode
JP2007172170A (ja) * 2005-12-20 2007-07-05 Fujitsu Ltd 画像処理回路及び画像処理方法
US20070201833A1 (en) * 2006-02-17 2007-08-30 Apple Inc. Interface for defining aperture
JP2007271700A (ja) * 2006-03-30 2007-10-18 Fujitsu Ltd 画像情報送信装置及び画像情報受信装置
KR101619972B1 (ko) * 2008-10-02 2016-05-11 한국전자통신연구원 이산 여현 변환/이산 정현 변환을 선택적으로 이용하는 부호화/복호화 장치 및 방법
US8634466B2 (en) * 2009-03-17 2014-01-21 Freescale Semiconductor, Inc. Video decoder plus a discrete cosine transform unit
CN101742320B (zh) * 2010-01-20 2012-09-12 李博航 图像处理方法
IT1403450B1 (it) * 2011-01-19 2013-10-17 Sisvel S P A Flusso video costituito da frame video combinati, e procedimento e dispositivi per la sua generazione, trasmissione, ricezione e riproduzione
GB2527315B (en) * 2014-06-17 2017-03-15 Imagination Tech Ltd Error detection in motion estimation
JP2019519148A (ja) * 2016-05-13 2019-07-04 ヴィド スケール インコーポレイテッド ビデオ符号化のための一般化された多重仮説予測（Ｇｅｎｅｒａｌｉｚｅｄ Ｍｕｌｔｉ−Ｈｙｐｏｔｈｅｓｉｓ Ｐｒｅｄｉｃｔｉｏｎ）のためのシステムおよび方法
CN111801946A (zh) 2018-01-24 2020-10-20 Vid拓展公司 用于具有降低的译码复杂性的视频译码的广义双预测

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02214389A (ja) * 1989-02-15 1990-08-27 Kokusai Denshin Denwa Co Ltd <Kdd> 動画像の縦続的符号化方式

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3779345D1 (de) * 1986-03-20 1992-07-02 American Telephone & Telegraph Datenkompression mit listensformation.
US5068813A (en) * 1989-11-07 1991-11-26 Mts Systems Corporation Phased digital filtering in multichannel environment
KR920704513A (ko) * 1990-10-09 1992-12-19 프레데릭 얀 스미트 텔레비젼 영상에 상응하는 디지탈 신호 코딩 장치 및 디코딩 장치
US5367334A (en) * 1991-05-20 1994-11-22 Matsushita Electric Industrial Co., Ltd. Video signal encoding and decoding apparatus
US5184218A (en) * 1991-07-03 1993-02-02 Wavephore, Inc. Bandwidth compression and expansion system
DE69322769T2 (de) * 1992-03-03 1999-07-22 Toshiba Kawasaki Kk Koder für zeitveränderliche bilder
NL9201594A (nl) * 1992-09-14 1994-04-05 Nederland Ptt Systeem omvattende ten minste één encoder voor het coderen van een digitaal signaal en ten minste één decoder voor het decoderen van een gecodeerd digitaal signaal, en encoder en decoder voor toepassing in het systeem.
US5420891A (en) * 1993-03-18 1995-05-30 New Jersey Institute Of Technology Multiplierless 2-band perfect reconstruction quadrature mirror filter (PR-QMF) banks

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02214389A (ja) * 1989-02-15 1990-08-27 Kokusai Denshin Denwa Co Ltd <Kdd> 動画像の縦続的符号化方式

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP0643535A4 *

Also Published As

Publication number Publication date
KR100311294B1 (ko) 2001-12-15
JP3374989B2 (ja) 2003-02-10
DE69421868T2 (de) 2000-06-15
JPH06284413A (ja) 1994-10-07
EP0643535A4 (en) 1995-12-06
CN1076932C (zh) 2001-12-26
US5832124A (en) 1998-11-03
EP0643535B1 (en) 1999-12-01
CN1108462A (zh) 1995-09-13
EP0643535A1 (en) 1995-03-15
DE69421868D1 (de) 2000-01-05
KR950702082A (ko) 1995-05-17

Similar Documents

Publication Publication Date Title
WO1994023535A1 (en) Method and apparatus for coding video signal, and method and apparatus for decoding video signal
JP3381855B2 (ja) 画像信号符号化方法および画像信号符号化装置、並びに画像信号復号化方法および画像信号復号化装置
JP3092610B2 (ja) 動画像の復号化方法、該方法が記録されたコンピュータ読みとり可能な記録媒体、及び、動画像の復号化装置
EP0881835B1 (en) Interlaced video signal encoding and decoding method, using conversion of periodically selected fields to progressive scan frames
US5485279A (en) Methods and systems for encoding and decoding picture signals and related picture-signal records
US5504530A (en) Apparatus and method for coding and decoding image signals
JP4863333B2 (ja) 高分解能静止画像を創出するための方法及び装置
JP3189258B2 (ja) 画像信号符号化方法および画像信号符号化装置、並びに画像信号復号化方法および画像信号復号化装置
JPH07123447A (ja) 画像信号記録方法および画像信号記録装置、画像信号再生方法および画像信号再生装置、画像信号符号化方法および画像信号符号化装置、画像信号復号化方法および画像信号復号化装置、ならびに画像信号記録媒体
JPH0937243A (ja) 動画像符号化装置及び復号装置
JP3532709B2 (ja) 動画像符号化方法および装置
JP2998741B2 (ja) 動画像の符号化方法、該方法が記録されたコンピュータ読みとり可能な記録媒体、及び動画像の符号化装置
JP4193252B2 (ja) 信号処理装置及び方法、信号復号装置、並びに信号符号化装置
JP4526529B2 (ja) 階層画像を用いる映像信号変換装置
JP3407727B2 (ja) 記録媒体
JP3552045B2 (ja) 画像信号記録媒体の記録方法、画像信号記録装置、および、画像信号再生装置
JP3092614B2 (ja) ディジタル携帯端末
JP3410037B2 (ja) 復号化方法、復号化装置、および、コンピュータ読み取り可能な記録媒体
JP3407726B2 (ja) 符号化方法、符号化装置、および、コンピュータ読み取り可能な記録媒体
JP3092613B2 (ja) 記録媒体
JP3092612B2 (ja) 動画像の復号化方法、及び、動画像の復号化装置
JP3092611B2 (ja) 動画像の符号化方法、及び、動画像の符号化装置
JP2004088795A (ja) 画像信号生成装置および方法、並びに、画像信号再生装置および方法
JP2004147352A (ja) 画像信号生成装置および方法、並びに、画像信号再生装置および方法
JPH06189293A (ja) 画像符号化方法、画像復号化方法、画像符号化装置、画像復号化装置及び記録媒体

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): CN KR US

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): DE FR GB

WWE Wipo information: entry into national phase

Ref document number: 1994910550

Country of ref document: EP

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 08341546

Country of ref document: US

WWP Wipo information: published in national office

Ref document number: 1994910550

Country of ref document: EP

WWG Wipo information: grant in national office

Ref document number: 1994910550

Country of ref document: EP