WO2005081541A1 - 画像情報符号化装置および画像情報符号化方法 - Google Patents

画像情報符号化装置および画像情報符号化方法 Download PDF

Info

Publication number
WO2005081541A1
WO2005081541A1 PCT/JP2005/001560 JP2005001560W WO2005081541A1 WO 2005081541 A1 WO2005081541 A1 WO 2005081541A1 JP 2005001560 W JP2005001560 W JP 2005001560W WO 2005081541 A1 WO2005081541 A1 WO 2005081541A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
motion
encoding
block
motion vector
Prior art date
Application number
PCT/JP2005/001560
Other languages
English (en)
French (fr)
Inventor
Toshiharu Tsuchiya
Kazushi Sato
Toru Wada
Yoichi Yagasaki
Makoto Yamada
Original Assignee
Sony Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corporation filed Critical Sony Corporation
Priority to US10/590,413 priority Critical patent/US20070286281A1/en
Priority to EP20050709659 priority patent/EP1746842A1/en
Publication of WO2005081541A1 publication Critical patent/WO2005081541A1/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43—Hardware specially adapted for motion estimation or compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Definitions

  • the present invention relates to an image information encoding apparatus and an image information encoding method.
  • the present invention relates to image information (bit stream) compressed by orthogonal transform such as discrete cosine transform or force Lunen-Lébe transform and motion compensation, such as MPEG (Moving Picture Experts Group), H.26x, etc. )
  • orthogonal transform such as discrete cosine transform or force Lunen-Lébe transform
  • motion compensation such as MPEG (Moving Picture Experts Group), H.26x, etc.
  • MPEG Motion Picture Experts Group
  • H.26x Motion Compensation
  • the present invention relates to an information encoding device. Background art
  • image information has been treated as digital, and image information encoding and decoding devices compliant with methods such as MPEG that compress by orthogonal transform such as discrete cosine transform and motion compensation using the redundancy inherent in image information.
  • MPEG image information encoding and decoding devices compliant with methods such as MPEG that compress by orthogonal transform such as discrete cosine transform and motion compensation using the redundancy inherent in image information.
  • orthogonal transform such as discrete cosine transform and motion compensation using the redundancy inherent in image information.
  • Coandaition 1 3 8 1 8 -2) is defined as a general-purpose image coding method.
  • MPEG 2 is a standard that covers both interlaced and progressive scan images, as well as standard-resolution and high-definition images, and is currently widely used in a wide range of professional and consumer applications. ing.
  • this MPEG2 compression method for example, a standard resolution interlaced image having 720 ⁇ 480 pixels can be obtained. 4 to 8 Mb ps (Bit per Second) for images, and 18 to 22 Mb ps code rate (bit rate) for high-resolution interlaced images with 1920 x 1088 pixels As a result, a high compression rate and good image quality can be realized.
  • MP EG2 mainly targets high-quality coding suitable for broadcasting, but does not support a coding amount (low bit rate) smaller than MP EG 1, that is, a coding method with a higher compression rate.
  • a coding amount (low bit rate) smaller than MP EG 1 that is, a coding method with a higher compression rate.
  • MPEG4 encoding system was standardized.
  • the standard ISO OZ IEC 1449 6-2 was approved as an international standard in February 1998.
  • H.26L ITU (International Telecommunication Union)-TQ6 / 16 VCEG
  • H.26L requires more computation for encoding and decoding than conventional encoding methods such as MPEG2 and MPEG4, but achieves higher encoding efficiency It is known.
  • the Joint Model which is based on H.26L and incorporates functions that are not supported by H.26L, to achieve higher coding efficiency, has been developed.
  • Enhanced—Composure Video Video Coding In March 2003, the H.264ZAVC (Advanced Video Coding) standard was recognized as an international standard. This standard is also referred to as MPEG-4Part10. In this specification, this standard is hereinafter referred to as AVC (AVC standard) as appropriate. Reference 1 below describes the contents of processing based on this standard.
  • the image information encoding device 100 in FIG. 1 includes an AZD conversion unit 101, a screen rearrangement buffer 102, an adder 103, an orthogonal transformation unit 104, a quantization unit 105, and lossless encoding.
  • the input signal (image signal) is first provided to the A / D converter 101, where it is converted to a digital signal.
  • the frames are rearranged in the screen rearrangement buffer 102 according to the GOP (Group of Pictures) structure of the image compression information to be output.
  • GOP Group of Pictures
  • the input image and difference information of pixel values generated by the intra prediction unit 112 are input to the orthogonal transformation unit 104,
  • orthogonal transform such as discrete cosine transform and force Lunen * Loeve transform is performed.
  • the transform coefficient output from the orthogonal transform unit 104 is provided to a quantizing unit 105, where a quantization process is performed.
  • the quantized transform coefficient output from the quantization unit 105 is sent to the lossless encoding unit 106, where lossless encoding such as variable-length encoding and arithmetic encoding is performed.
  • the image data is accumulated in the accumulation buffer 107 and output from the image information encoding device 100 as image compression information.
  • the behavior of the quantization unit 105 is controlled by the rate control unit 114.
  • the quantized transform coefficient output from the quantization unit '105 is input to the inverse quantization unit 108, and further subjected to inverse orthogonal transform processing in the inverse orthogonal transform unit 109 to obtain a decoded image.
  • the intra prediction unit 112 information on the intra prediction mode applied to the block Z macroblock is transmitted to the lossless encoding unit 106 and encoded as part of header information in the image compression information. Is done.
  • an image to be coded using inter coding that is, coding using image information of a plurality of frames
  • information of the image to be coded is input to the motion prediction / compensation unit 113.
  • the image information of another frame to be referred to is input to the motion prediction / compensation unit 113 from the frame memory 111, where the motion prediction / compensation processing is performed to generate reference image information.
  • the adder 103 adds the reference image information with its phase inverted to the image information to obtain a difference signal.
  • the motion prediction / compensation unit 113 simultaneously outputs the motion vector information to the lossless encoding unit 106, and the information is also subjected to lossless encoding such as variable-length encoding and arithmetic encoding. It is inserted into the header of the compression information. Other processes are the same as those relating to the intra coding.
  • the image information decoding device 120 includes an accumulation buffer 121, a lossless decoding unit 122, an inverse quantization unit 123, an inverse orthogonal transform unit 124, an adder 125, and a screen rearrangement. It is composed of a buffer 126, a D / A conversion unit 127, a frame memory 128, a motion prediction / compensation unit 129, an intra prediction unit 130, and a deblock filter 1331.
  • the input information (image compression information) is first stored in the storage buffer 122, and then transferred to the lossless decoding unit 122.
  • processing such as variable-length decoding and arithmetic decoding is performed based on the determined image compression information format.
  • the lossless decoding unit 122 also decodes the intra prediction mode information stored in the header of the image compression information, and converts the information. It is transmitted to the intra prediction unit 130.
  • the lossless decoding unit 122 also decodes the motion vector information stored in the header of the image compression information, and predicts the information using motion prediction. ⁇ Transfer to the compensation section 1 2 9
  • the quantized transform coefficient output from the lossless decoding unit 122 is input to the inverse quantization unit 123, where it is output as a transform coefficient.
  • the transform coefficients are subjected to a fourth-order inverse orthogonal transform in the inverse orthogonal transform unit 124 ′ based on a predetermined method. If the frame has been subjected to the intra coding, the image information on which the inverse orthogonal transform processing has been performed and the predicted image generated in the intra prediction unit 130 are added by the adder 125. After being decomposed and deblocked by the deblocking filter 131, it is stored in the screen rearrangement buffer 126 and output after DZA conversion processing by the DZA conversion unit 127. .
  • the motion prediction / compensation unit 129 sends the motion vector information subjected to the lossless decoding process by the lossless decoding unit 122, and the frame memory.
  • a reference image is generated based on the image information stored in 128, and the reference image and the output of the inverse orthogonal transform unit 124 are combined in an adder 125.
  • Other processing is the same as that of the intra-coded frame.
  • the motion prediction / compensation unit 113 plays an important role to realize high compression efficiency.
  • it can be compared with conventional image encoding methods such as MPEG2 and MPEG4. To achieve high compression efficiency.
  • the first method refers to multiple frames (Multiple Reference Frame)
  • the second method uses motion estimation and compensation using a variable block size
  • the third method uses 1/4 This is motion compensation with pixel accuracy.
  • the first method refers to multiple frames.
  • one or more previous frames can be referred to for motion prediction 'compensation.
  • MPEG2 and MPEG4 only the previous frame was referenced during motion prediction and compensation.
  • the frame to be encoded can be reproduced using only the difference data between the object image and the motion vector representing the movement of the moved object, and the compression ratio of the encoded data can be reduced. Can be increased.
  • the difference data can be expected to be further reduced, and the compression ratio is further improved.
  • Such processing is performed by the motion prediction / compensation unit 113 of the image information encoding device 100 by storing the previous frame in the frame memory 111 so that the motion of the image information decoding device 120
  • the prediction / compensation unit 129 can be realized by storing the previous frame in the frame memory 128.
  • the second method is motion prediction and compensation using a variable block size.
  • AVC coding system as shown in Fig. 4, it is possible to divide one macro block into a minimum of 8 (pixels) x 8 (pixels) motion compensation blocks.
  • an 8 ⁇ 8 motion compensation block can be divided into at least 4 ⁇ 4 sub-macroblocks (partitions).
  • Locks can have separate motion vector information.
  • the hierarchy of the video sequence generated by the AVC coding system is expressed in the order of frame (picture)> slice> macroblock-> sub macroblock-> pixel .
  • 4 X4 sub-macroblocks are sometimes simply referred to as blocks.
  • macro blocks and sub-macro blocks are referred to as “blocks” as appropriate.
  • the third method is a motion compensation process with quarter-pixel accuracy. This processing will be described with reference to FIG. First, pixel values with 1Z2 pixel accuracy are generated, and then pixel values with 1/4 pixel accuracy are calculated. For generating pixel values with half-pixel accuracy, the following 6 tap FIR (Finite I immediate response) filter is defined.
  • FIR Finite I immediate response
  • Equation 1 the upper-case alphabetic portion represents an integer pixel (Integer Sample).
  • the lowercase letters represent fractional pixels (Fractional Sample, eg 1/2 pixel or 1Z4 pixel).
  • the pixel values b and h of 1 Z2 pixel precision are obtained as follows using the pixel values of neighboring integer pixel precision and the above filter.
  • Equation 9 For a pixel value j with half-pixel accuracy, aa, bb, cc, dd, ee, ff, gg, and hh are generated in the same way as b and h described above, and Alternatively, it can be obtained by Equation 9 based on j 1 obtained by either of Equations 8.
  • the pixel values e, g, p, and r of the 14-pixel accuracy are obtained by linear interpolation of the pixel values of the 1 / 2-pixel accuracy, as shown in Equations 18 to 21 below. (b + h + 1) »1 (Equation 18)
  • FIG. Figure 6 shows block E and its surrounding blocks A, B, C, and D.
  • blocks A through E may be macroblocks or sub-macroblocks.
  • motion vector information for the adjacent blocks A, B, and C is used.
  • Can be This process is called Median Prediction.
  • the motion compensation processing is performed. Uses the motion vector information and reference frame of block D instead of the motion vector information and reference frame of block C. Furthermore, when all of the motion compensation blocks B, C, and D do not exist in the picture or the slice, the motion vector information and the reference frame for the block A are used.
  • skip mode in P-picture (frame) is explained.
  • AVC a special coding method called “skip mode” is defined for P pictures. This is a mode in which the motion vector information and coefficient information are not embedded in the bit stream, and when decoding, the motion vector information is restored under a certain rule. The number can be saved, and higher coding efficiency can be realized.
  • This skip mode is a special mode only for blocks with a block size of 16x16.
  • the value of the reference index (re il dxLO) is 0, and if at least one of the following three conditions is satisfied, both components of the motion vector value (x , Y) are both 0, and in other cases, the result of the median prediction described above is used as the value of the motion vector.
  • the current block is block E.
  • Condition 1 When block A or block B cannot be used.
  • FIG. 7A shows an example in which the block sizes of blocks A to E described in FIG. 6 are all 16 ⁇ 16.
  • Fig. 7B shows a case where the current block E has a block size of 16 x 16 and block A is 8 x 4, block B is 4 x 8, and block C is 16 x 8 .
  • the skip mode is determined as described above.
  • the block adjacent to block E has a small size, a plurality of blocks will be in contact with block E, but the blocks in contact with the upper left corner of block E will be referred to as blocks A, D, and B, respectively.
  • the direct mode is a special mode for block size 16x16 or 8x8 and has no application to P-pictures. Similar to the skip mode described above, since motion vector information is not transmitted, at the time of decoding, these motion vector information are generated from information of adjacent blocks, but coefficient information of motion compensation processing in encoding is transmitted. Is done. In the direct mode, if the coefficient information becomes 0 as a result of the quantization processing for a 16 X 16 block, it can be treated as a skip mode having no coefficient information. .
  • the direct mode has a spatial direct mode and a temporal direct mode, as described later. It is possible to specify which one is used in the slice.
  • the spatial direct mode Before performing the direct direct mode prediction, the value of a predetermined flag (for example, “colZeroFlag”) is set as follows.
  • the value of the flag “colZeroFlag” is set to 1 in units of 4 ⁇ 4 blocks or in units of 8 ⁇ 8 blocks, and is set to 0 otherwise.
  • mv Col [0] and mv Col [1] are values between -1 and 1 with 1 Z4 pixel precision (the locator macro block is If it is a macroblock, the vertical direction is 1/4 pixel precision in field units.)
  • the reference index uses the minimum value of the proximity blocks A, B, C (or D) shown in Fig. 7 for both List 0 and List 1.
  • the forward motion vector MV0 and the backward motion vector MV1 are obtained from the motion vector MVC used in the collocation block of the subsequent frame (picture one) RL1.
  • the forward motion vector information for the previous frame RL0 for the predetermined block 15 1 of frame B is MV0
  • the motion vector information for the subsequent frame RL1 is MVI
  • the frame RL1 Let the motion vector information of the collocated block 150 be MVC.
  • MV0 and MV1 are generated from the MVC and the distances TDD, TDD on the time axis of the frame B and the reference frames RL0, RL1 by the following Expressions 22 and 23.
  • MV 0 (TDB / TDD) MV C (Equation 22)
  • MV 1 ((TDD -TD B) / TDD) MVC (Equation 23)
  • the following reference 2 discloses a motion vector search method for AVC standardization related to this technology. '
  • ⁇ ION is a Lagrange multiplier for the motion vector
  • R (m- ⁇ ) is the amount of generated motion vector difference information obtained by table lookup.
  • entropy coding uses UVLC
  • Equation 25 SAD ⁇ s, c (m))
  • s is the image signal of the current frame
  • c is the reference frame. Represents an image signal.
  • SADD Sud of Absolute Transform Difference
  • the Lagrangian multiplier ⁇ ION is given as follows. That is, for I and P frames, Equation 26 gives, and for B frames, Equation 27 gives.
  • QP means quantization parameter overnight.
  • Equation 28 As the reference frame, a frame that minimizes the value of Equation 28 below is selected.
  • R (REF) is the amount of information generated in the reference frame obtained by UVLC.
  • the prediction direction of the NXM block in the B frame is selected so as to minimize the value of Expression 29 below.
  • J (PD IR l AMOT I ON) SATD (s, c (PDIR, m (PDIR))) + ⁇ MOT I ON ⁇ (R (m (PD IR) — p (PDIR)) + R (REF ( (PDIR)))
  • the macroblock mode is selected so as to minimize the value of Equation 30 below.
  • QP indicates the quantization parameter of the macroblock
  • AMODE indicates the Lagrange multiplier for mode selection.
  • MODEs that are candidates for selection are grouped as shown in the following equation 3 1 or 3 3 for each frame type.
  • R represents the amount of information generated by the macroblock when MODE and QP are selected.
  • the amount of generated information includes those corresponding to all information such as headers, motion vectors, and orthogonal transform coefficients.
  • c Y [x, y, MODE I QP] and s Y [, y] represent the luminance components of the reconstructed image and the original image, and c U and c V, and s U and s V are the color difference components.
  • the Lagrange multiplier ⁇ MOT ION is given by the following equations 35 and 36 for the I frame, the P frame, and the P frame, respectively.
  • QP indicates the quantization parameter
  • QP represents the quantization parameter of the macroblock
  • ⁇ MODE represents the Lagrange multiplier used for mode selection.
  • the candidates for the selection mode represented by MOD E are determined for the P frame and the B frame as shown in the following equations 38 and 39, respectively.
  • Equation 39 By the way, when realizing the conventional image information encoding device 100 as shown in FIG. 1 as hardware that operates in real time, as a high-speed technology, such as a pipeline process, Parallel processing is essential. Also, depending on the motion search method for speeding up, the motion vector of the skip mode or the spatial direct mode calculated according to the rules defined by the standard is the motion vector search range. May not be included.
  • each macro block is processed by pipeline processing. If the processing for the mouthpiece does not end in a predetermined order, the motion vector information of these adjacent macroblocks cannot be obtained, and the skip mode and the spatial direct mode are determined. It hinders.
  • an object of the present invention is to provide an image information encoding device that outputs image compression information based on an image encoding method such as AVC, and obtains necessary vector information of adjacent blocks for parallel processing of a pipeline or the like. Even if this is not possible, it is to realize high-speed encoding processing by generating pseudo information.
  • a further object of the present invention is to provide an image information encoding apparatus that outputs image compression information based on an image encoding method such as AVC, wherein the motion information used to determine the skip mode or the spatial direct mode is determined.
  • An object of the present invention is to provide a means for performing an effective mode setting while realizing high-speed processing by parallel processing by calculating vector information and reference index information in a pseudo manner. Disclosure of the invention
  • At least one of the motion vector information and the coefficient information is omitted to perform coding on a block, and the decoding side can restore the omitted information according to a predetermined rule.
  • a determination unit that determines whether or not a block can be coded in the coding mode using candidate information including motion information of a predetermined adjacent block adjacent to the block; and
  • a pseudo-calculation unit that generates pseudo motion information instead of unusable motion information when motion information of one adjacent block is not available, and provides the motion information as candidate information.
  • At least one of the motion vector information and the coefficient information is One of them is omitted and the block is coded, and the decoding side has a coding mode that can restore the omitted information according to a predetermined rule, and the block is coded in the coding mode.
  • a third aspect of the present invention is a program for causing a computer to execute an image information encoding method for encoding image information using motion prediction.
  • a block is coded by omitting at least one of the vector information and the coefficient information, and the decoding side has a coding mode capable of restoring the omitted information according to a predetermined rule.
  • a pseudo calculation step of generating pseudo motion information in place of the unusable motion information and providing the generated motion information as candidate information.
  • an image information encoding device that outputs image compression information based on an image encoding method such as an AVC, when necessary vector information of an adjacent block cannot be obtained due to parallel processing of a pipeline or the like.
  • high-speed encoding can be realized by generating pseudo information.
  • an image information encoding device that outputs image compression information based on an image encoding method such as AVC
  • motion vector information used for determination of a skip mode or a spatial direct mode is included.
  • FIG. 1 is a block diagram showing a configuration of a conventional image information encoding device.
  • FIG. 2 is a block diagram showing a configuration of a conventional image information decoding device.
  • FIG. 3 is a schematic diagram showing reference to a plurality of frames in the motion prediction / compensation processing.
  • FIG. 4 is a schematic diagram showing a macro block and a sub macro block.
  • FIG. 5 is a schematic diagram for explaining a motion compensation process with quarter-pixel accuracy.
  • FIG. 6 is a schematic diagram for explaining median prediction in the motion vector coding method.
  • FIG. 7A and FIG. 7B are schematic diagrams used to explain the skip mode and the spatial direct mode.
  • FIG. 8 is a schematic diagram for explaining the temporal direct mode.
  • FIGS. 9A and 9B are schematic diagrams used to explain the procedure of the motion compensation processing of a macroblock.
  • FIG. 10 is a block diagram showing a configuration of an image information encoding device according to the first embodiment of the present invention.
  • FIG. 11 is a schematic diagram used to explain pseudo calculation of candidate motion vector information according to the present invention.
  • FIG. 12 is a schematic diagram used to explain pseudo calculation of candidate motion vector information according to the present invention.
  • FIG. 13 is a flowchart showing a processing request of the image information encoding device according to the first embodiment of the present invention.
  • FIG. 9 Before describing the image information encoding apparatus of the present invention, see FIG. 9 for a specific example in the case where necessary vector information or the like of an adjacent block cannot be obtained due to high-speed processing such as pipeline processing. Will be explained.
  • Fig. 9A if X is the macroblock currently being processed and A is the adjacent macroblock, the motion vector information for A is not necessarily determined at the time when the motion search process is performed for X. Not necessarily. This is because, as described above, each processing phase for each macro block is executed in parallel by parallel processing.
  • FIG. 9B if X is a macroblock currently being processed and B, C, and D are adjacent macroblocks, B, C, and The motion vector information for D is not always determined.
  • pseudo motion vector information can be generated by generating pseudo motion vector information even when vector information necessary for adjacent blocks cannot be obtained due to high-speed processing of a pipeline or the like.
  • the subsequent processing is smoothly performed, and as a result, a high-speed encoding processing is realized.
  • an image information encoding device includes an A / D converter, a screen rearrangement buffer, an adder, an orthogonal transformer, a quantizer, a lossless encoder, a storage buffer, and an inverse buffer. Equipped with quantization device, inverse orthogonal transform device, deblock filter, frame memory, intra prediction device, motion prediction / compensation device, candidate motion vector information calculation device, rate control device, skip mode and spatial direct mode.
  • motion vector information and the reference index (reference frame) information thus simulated do not match the motion vector information and the reference index information calculated according to the rules of the AVC standard, respectively.
  • Such motion vector information is for a 16x16 block for skip mode, while it is for a 16x16 or 8x8 block for special direct mode. It is.
  • the motion vector information and the reference index information are collectively referred to as “motion information” as appropriate.
  • FIG. 10 is a block diagram illustrating a configuration of an image information encoding device according to the first embodiment.
  • the image information encoding device 10 includes an A / D converter 11, a screen rearrangement buffer 12, an adder 13, an orthogonal transformer 14, a quantization unit 15, a lossless encoder 16, and a storage buffer. 17, inverse quantization section 18, inverse orthogonal transformation section 19, deblocking filter 20, frame memory 21, intra prediction section 22, motion prediction / compensation section 23, pseudo calculation section 24, mode
  • This is a device including a determination unit 25 and a rate control unit 26.
  • the A / D converter 11 converts the input analog image signal into a digital image signal, and sends the digital image signal to the screen rearrangement buffer 12.
  • the screen rearrangement buffer 12 rearranges each frame composed of the digital image signal according to the GOP structure of the image compression information to be output.
  • the adder 13 outputs the input frame When encoding is performed, the difference between the input frame and the reference frame is generated.
  • the orthogonal transform unit 14 performs orthogonal transform such as discrete cosine transform and Carinen-Loeve transform on the input frame or the difference value between the input frame and the reference frame, and the quantizing unit 15 performs orthogonal transform.
  • the quantization processing of the transformed coefficients subjected to is performed.
  • the lossless encoding unit 16 receives the quantized transform coefficient from the quantization unit 15, performs lossless encoding processing such as variable-length encoding and arithmetic encoding on this, and sends the result to the accumulation buffer 17. Send out.
  • the storage buffer 17 receives the reversibly transformed image compression information from the reversible encoding unit 16 and stores them.
  • the inverse quantization unit 18 receives the quantized transform coefficients from the quantization unit 15 and performs inverse quantization on them.
  • the inverse orthogonal transform unit 19 performs inverse orthogonal transform of the orthogonally transformed orthogonally-transformed coefficients, and the deblocking filter 20 removes block distortion included in the decoded image.
  • the decoded image is stored in the frame memory 21. The reason why these decoded images are stored in the frame memory 21 is for motion prediction and compensation processing.
  • the motion prediction / compensation unit 23 receives the decoded image stored in the frame memory 21 and searches for motion vector information and performs motion compensation processing.
  • the pseudo-calculation unit 2 pseudo-calculates the motion vector information used for the determination of the skip mode or the spatial direct mode for the purpose of increasing the speed by the parallel processing.
  • the intra prediction unit 22 receives the decoded image stored in the frame memory 21 and performs an intra prediction process.
  • the mode determination unit 25 receives outputs from the motion prediction / compensation unit 23 and the intra prediction unit 22 and determines the mode (skip mode, spatial mode).
  • the rate control unit 26 controls the operation of the quantization unit 15 by the feed knock control based on the information from the accumulation buffer 17.
  • the difference from the conventional image information encoding apparatus 100 shown in FIG. 1 is the processing contents in the motion prediction / compensation unit 23, the pseudo calculation unit 24, and the mode determination unit 25.
  • the processing of the image information encoding device 10 will be described focusing on the processing of these components.
  • the processing contents of the pseudo calculation unit 24 will be described with reference to FIG. As described with reference to FIG. 7, in FIG. 11, when the motion prediction / compensation processing is performed on the macroblock X, the determination of the skip mode or the spatial direct mode of the macroblock X is performed. To do this, the motion vectors and reference index (re fl dx) information of the macroblocks A, B, C, (if there is no C because X is at the frame boundary, etc., but instead of C) Must be confirmed.
  • motion vector information and reference index information for macroblocks A, B, C, and D instead of these, macroblocks A ', B', C ', D', and The motion vector information and reference index information for A ', B,', C, ', D,', ⁇ ⁇ ⁇ are simulated and used for mode judgment. That is, the motion vector information is used as a candidate motion vector.
  • the motion vector information and reference index information of block A ' Is used to determine the mode of macroblock X.
  • reference index information on block A ' is used.
  • the motion vector information (and reference index information) calculated by the pseudo-calculation unit 24 is completely different from the content of the motion vector information related to a predetermined macroblock, calculated according to the rules of the AVC standard. Does not always match. Similarly, the contents of the reference index information do not always match.
  • the mode determination unit 25 compares the macroblock motion vector information calculated according to the rules of the standard with the motion vector information pseudo-calculated by the pseudo-calculation unit 24. Further, in the case of the spatial direct mode, it is checked whether or not the reference index information matches for each of the reference frames List0 and List1.
  • the candidate motion vector calculated by the pseudo-calculation unit 24 is used as the candidate motion vector information of the skip mode or the spatial direct mode.
  • Perform mode determination processing At this time, the mode determination based on the RD optimization described above may be performed.
  • the candidate motion vector information calculated by the pseudo calculation unit 24 is discarded, or a 16 ⁇ 16 block candidate motion vector or 8 ⁇ 8 Let it be a candidate motion vector. Then, an arbitrary mode determination is performed. As described above, in the skip mode, it is used as the motion vector information of a 16 ⁇ 16 block, and in the skip-to-square direct mode, it is 16 ⁇ 16 or 8 ⁇ . It is used as motion vector information for block 8.
  • FIG. 13 shows three dotted blocks A or C.
  • the processing in the dotted block A is performed by the motion prediction-compensation unit 23, and the processing in the dotted block B is performed. This indicates that the process is performed by the intra prediction unit 22 and the process in the dotted block C is performed by the mode determination unit 25.
  • step S1 the motion vector information (and reference index information) force S and the pseudo-calculation section 24 are calculated for use in the determination of the skip mode or the single direct mode.
  • this information is referred to as X.
  • the pseudo-calculation unit 24 calculates the motion vector information of the macroblock A ′ as shown in FIG. If the processing of the motion vector information of macro block A 'has not been completed, the motion vector information of macro block A' '' is obtained. If the motion vector information cannot be obtained, The control is performed so as to obtain the motion vector information of a macroblock that is far from the macroblock X, that is, has a larger spatial distance than A-X.
  • A, A ', A "-... are selected regularly. That is, A' is in contact with the side of A opposite to the side of A in which X is in contact.
  • a ′ ′ is a professional and athlete in contact with the side of A ′ which is opposite to the side of A ′ in which A is in contact.
  • the operation of the pseudo calculation unit 24 is the same for the macroblocks B, C, and D.
  • the motion vector information of the macroblock A when the processing of the motion vector information of the macroblock A has not been completed, the motion vector information of the macroblock A 'is obtained instead, but the motion vector information is obtained.
  • the motion vector information of which macro block or relative position stakeholder is acquired is determined as appropriate, Can be Also, the motion vector information of a plurality of other macroblocks may be used instead of the motion vector information of the macroblock A.
  • step S4 an evaluation index used for mode determination is calculated for information X. These indices are needed to actually quantize several macroblocks and estimate the required code amount. Here, for example, processing such as Hadamard transformation is performed.
  • the motion prediction / compensation unit 23 searches for optimal motion vector information for each block size such as 16 ⁇ 16 or 16 ⁇ 8 (step S 2).
  • An evaluation index used for mode determination is calculated for the vector information (step S3).
  • the motion vector search does not use the motion vector information of the peripheral blocks. Therefore, even if all the vector information of the peripheral block has not been calculated, it can be calculated independently without waiting for the calculation result.
  • an evaluation index used for mode determination is calculated from information obtained from the one frame (step S5).
  • the processing of step S3 and step S5 does not need to be performed simultaneously with step S4, and it is sufficient that the processing is completed by the processing of step S10 described later.
  • step S6 the candidate motion vector information (and reference index information) in the skip mode or the spatial direct mode is calculated using the method of the above-described standard.
  • This information is hereinafter referred to as information Y. If such information has already been calculated in step S3, it may be configured to use the result.
  • step S7 information X and information Y are compared. Info X When the information Y is equal to the information Y, the process proceeds to step S9, and the information X is used as candidate motion vector information used for determining the skip mode and the spatial direct mode.
  • step S8 the process proceeds to step S8, where the information X is discarded, or the candidate motion vector information of the 16 ⁇ 16 block or the 8 ⁇ 8 block is used. Is done. In this case, the compression efficiency may be improved by using information X as a candidate motion vector.
  • step S11 When the candidate motion vector information is determined by the above procedure, an arbitrary mode determination is performed in step S11 based on the evaluation index of each candidate calculated in each process.
  • an image information encoding device according to a second embodiment of the present invention will be described.
  • the components of the image information coding apparatus according to this embodiment are the same as those of the image information coding apparatus according to the first embodiment shown in FIG. 10, and therefore, the block diagram is omitted.
  • the difference lies in the processing content of the pseudo calculation unit. Therefore, the description here will focus on the processing of the pseudo-calculation unit (hereinafter, the reference numeral 24 'is attached).
  • the pseudo calculation unit 24 'does not use the information of the determined peripheral block, but sets all information to a specific value, for example, 0. That is, in the skip mode, the value of the motion vector is set to 0 for each component, and in the single-shot direct mode, the value of the reference index for List 0 and List 1 is set to 0, and The value of the motion vector for L ist O and L istl is also set to 0. Other processes are the same as those of the first embodiment.
  • the pseudo-calculation unit 24 ′ uses the motion vector information for the determination of the skip mode or the spatial direct mode. Calculation can be omitted.
  • the image information encoding device is configured so as not to hinder the speed-up by the parallel processing.
  • the CPU may include a coprocessor such as a DSP (Digital Signal Processor).
  • the CPU executes the function of each unit such as the AZD conversion unit 11 described above based on the instructions of the program loaded into the memory. If necessary, use high-speed accessible memory for temporary storage of data. Memory is used for buffers such as the screen rearrangement buffer 12 and the accumulation buffer 17 and the frame memory 21.
  • a program that implements such a function is usually stored in an external storage device such as a hard disk, and is loaded into the memory when an encoding process is instructed by a user or the like.
  • the program can be stored in a ROM (Read Only Memory) or DVD (Digital Versatile Disk) ROM, and can be read into a hard disk or the like via a recording medium drive.
  • the program when the personal computer is connected to a network such as the Internet via a network interface, the program is transferred from another computer or site to a hard disk or the like via the network. Can be recorded.
  • the features of the present invention have been described by taking an image information encoding device that outputs AVC image compression information as an example, but the scope of application of the present invention is limited to this. is not.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

ＭＰＥＧ４／ＡＶＣ等の画像符号化方式に基づく画像圧縮情報を出力する画像情報符号化装置において、所定のブロックがスキップモードや、スペーシャルダイレクトモードであるか否かのモード判定を行う際に、所定の隣接ブロックの全てについて動きベクトル情報等が計算されている必要があるが、全体の処理を高速化するために各ブロックについて並列処理を行っている場合は、所定の隣接ブロックの動きベクトル情報等が全て得られるとは限らない。この場合に、隣接ブロックの動きベクトル情報等の計算を待つことなくモード判定が行えるよう、隣接ブロックの代わりに、他の近傍ブロックの動きベクトル情報等を擬似的に用いてモード判定を行う。

Description

明 細 書
画像情報符号化装置および画像情報符号化方法 技術分野
この発明は、 MP EG (Moving Picture Experts Group) 、 H.2 6 x等の様に、 離散コサイン変換または力ルーネン · レ一ベ変換等の直交 変換と動き補償によって圧縮された画像情報 （ビットストリーム） を、 衛星放送、 ケーブルテレビジョン、 インタ一ネット、 携帯電話などのネ ットワークを介して受信する際に、 若しくは光、 磁気ディスク、 フラッ シュメモリのような記憶媒体上で処理する際に用いられる画像情報符号 化装置に関する。 背景技術
近年、 画像情報をディジタルとして取り扱い、 画像情報特有の冗長性 を利用して、 離散コサイン変換等の直交変換と動き補償により圧縮する MP EGなどの方式に準拠した画像情報符号化装置や復号化装置が、 放 送局などの情報配信、 および一般家庭における情報受信の双方において 普及しつつある。
特に、 MP EG 2 ( I S O (International Organization for Standardization) Z I E C (International E lectrotechnical
Co匪 ition) 1 3 8 1 8 - 2) は、 汎用画像符号化方式として定義され ている。 また MP EG 2は、 飛び越し走査画像および順次走査画像の双 方、 並びに標準解像度画像および高精細画像を網羅する標準で、 現在、 プロフェツショナル用途およびコンシューマー用途の広範なアプリケ一 シヨンに広く用いられている。 この MP E G 2圧縮方式を用いることに より、 例えば 7 2 0 X 48 0の画素を持つ標準解像度の飛び越し走査画 像であれば 4〜 8Mb p s (Bit per Second) 、 1 9 2 0 X 1 0 88の 画素を持つ高解像度の飛び越し走査画像であれば 1 8〜 2 2Mb p sの 符号量 （ビットレート） を割り当てることで、 高い圧縮率と良好な画質 の実現が可能である。
MP EG2は、 主として放送用に適合する高画質符号化を対象として いたが、 MP EG 1より小さい符号量 （低ビットレート） 、 つまり、 よ り高い圧縮率の符号化方式には対応していなかった。 携帯端末の普及に より、 今後そのような符号化方式のニーズは高まると思われ、 これに対 応して MP EG 4符号化方式の標準化が行われた。 画像符号化方式に関 しては、 1 9 9 8年 1 2月に I S OZ I E C 1449 6— 2という規 格が国際標準として承認された。
さらに、 近年、 当初テレビ会議用の画像符号化を目的として策定され た H.26 L ( I TU (International Telecommunication Union) — T Q 6 / 1 6 VCEG) という標準の規格化が進んでいる。 H. 2 6 L は、 MP EG 2や MP E G 4といった従来の符号化方式に比べ、 その符 号化、 復号化により多くの演算量が要求されるものの、 より高い符号化 効率が実現されることが知られている。 また、 現在、 MPEG4の活動 の一環として、 この H. 2 6 Lをべ一スに、 H. 26 Lではサポートさ れない機能も取り入れ、 より高い符号化効率を実現する標準化が J o i n t Mo d e l o f E n h a n c e d— C omp r e s s i o n V i d e o C o d i n gとして行われ、 2 0 03年 3月には、 H. 2 64ZAVC (Advanced Video Coding) という規格が国際標準として 認められた。 この規格は、 MP EG— 4 P a r t 1 0とも称される。 この明細書では、 以降、 この規格を適宜 AVC (AVC規格） と称する。 また、 下記文献 1には、 この規格に基づく処理の内容が記載されている。
「Draft Errata List with Revision-Marked Correct ions for H.264/AVCJ ， JVT-1050, Thomas Wiegand et al. , Joint Video Team (JVT) of ISO/IEC MPEG & ITU-T VCEG, 2003
ここで、 A VC規格に基づいた従来の画像情報符号化装置を、 第 1図 のブロック図を参照して説明する。 第 1図の画像情報符号化装置 1 0 0 は、 AZD変換部 1 0 1、 画面並べ替えバッファ 1 02、 加算器 1 0 3、 直交変換部 1 04、 量子化部 1 0 5、 可逆符号化部 1 0 6、 蓄積バッフ ァ 1 0 7、 逆量子化部 1 0 8、 逆直交変換部 1 0 9、 デブロックフィル 夕 1 1 0、 フレームメモリ 1 1 1、 イントラ予測部 1 1 2、 動き予測 · 補償部 1 1 3、 およびレート制御部 1 14を含む。
入力信号 （画像信号） は、 まず、 A/D変換部 1 0 1に提供され、 そ こでディジタル信号に変換される。 次に、 出力となる画像圧縮情報の G 0 P (Group of Pictures) 構造に応じ、 画面並べ替えバッファ 1 0 2 においてフレームの並べ替えが行われる。
ィントラ符号化、 すなわち単一のフレームを用いて符号化が行われる 画像に関しては、 入力画像と、 イントラ予測部 1 1 2により生成される 画素値の差分情報が直交変換部 1 04に入力され、 ここで離散コサイン 変換、 力ルーネン * レーべ変換等の直交変換が施される。 直交変換部 1 04の出力となる変換係数は、 量子化部 1 0 5に提供され、 そこで量子 化処理が施される。 量子化部 1 0 5の出力となる、 量子化された変換係 数は、 可逆符号化部 1 0 6に送出され、 ここで可変長符号化、 算術符号 化等の可逆符号化が施された後、 蓄積バッファ 1 0 7に蓄積され、 画像 圧縮情報として画像情報符号化装置 1 0 0から出力される。
量子化部 1 0 5の挙動は、 レート制御部 1 14によって制御される。 量子化部' 1 0 5の出力である、 量子化された変換係数は、 逆量子化部 1 08に入力され、 さらに逆直交変換部 1 0 9において逆直交変換処理が 施されて復号化画像情報となり、 デブロックフィルタ 1 1 0においてブ ロック歪の除去が行われた後、 フレームメモリ 1 1 1に蓄積される。 ィ ントラ予測部 1 1 2において、 当該ブロック Zマクロブロックに対して 適用されたイントラ予測モードに関する情報は、 可逆符号化部 1 0 6に 伝送され、 画像圧縮情報におけるヘッダ情報の一部として符号化される。 一方、 インター符号化、 すなわち複数のフレームの画像情報を用いて 符号化が行われる画像に関しては、 まず、 符号化対象の画像の情報が、 動き予測 ·補償部 1 1 3に入力される。 これとともに、 参照される、 他 のフレームの画像情報がフレームメモリ 1 1 1より動き予測 ·補償部 1 1 3に入力され、 そこで動き予測 ·補償処理が行われ、 参照画像情報が 生成される。 この参照画像情報は、 加算器 1 0 3において、 当該画像情 報に対して位相が反転されて加算され、 差分信号が得られる。 動き予 測 ·補償部 1 1 3は、 同時に動きべクトル情報を可逆符号化部 1 0 6に 出力し、 その情報はやはり可変長符号化、 算術符号化といった可逆符号 化処理が施され、 画像圧縮情報のヘッダ部に挿入される。 その他の処理 はィントラ符号化に関するものと同様である。
次に、 第 2図のブロック図を参照して、 離散コサイン変換若しくは力 ルーネン · レーべ変換等の直交変換と動き補償により画像圧縮を実現す る画像情報復号化装置 1 2 0について説明する。 この画像情報復号化装 置 1 2 0は、 蓄積バッファ 1 2 1、 可逆復号化部 1 2 2、 逆量子化部 1 2 3、 逆直交変換部 1 2 4、 加算器 1 2 5、 画面並べ替えバッファ 1 2 6、 D / A変換部 1 2 7、 フレームメモリ 1 2 8、 動き予測 ·補償部 1 2 9、 イントラ予測部 1 3 0、 およびデブロックフィルタ 1 3 1から構 成される。
入力情報 （画像圧縮情報） は、 まず、 蓄積バッファ 1 2 1に格納され た後、 可逆復号化部 1 2 2に転送される。 ここで、 定められた画像圧縮 情報のフォーマッ トに基づき、 可変長復号化、 算術復号化等の処理が行 われる。 これとともに、 当該フレームがイントラ符号化されたものであ る場合、 可逆復号化部 1 2 2においては、 画像圧縮情報のヘッダ部に格 納されたィントラ予測モード情報をも復号化し、 その情報をィントラ予 測部 1 3 0に伝送する。 当該フレームがインタ一符号化されたものであ る場合、 可逆復号化部 1 2 2においては、 画像圧縮情報のヘッダ部に格 納された動きべクトル情報をも復号化し、 その情報を動き予測 ·補償部 1 2 9に転送する。
可逆復号化部 1 2 2の出力となる、 量子化された変換係数は、 逆量子 化部 1 2 3に入力され、 ここで変換係数として出力される。 変換係数は、 逆直交変換部 1 2 4'において、 定められた方式に基づき、 4次の逆直交 変換が施される。 当該フレームがィントラ符号化されたものである場合 には、 逆直交変換処理が施された画像情報と、 イントラ予測部 1 3 0に おいて生成された予測画像とが、 加算器 1 2 5において合成され、 さら に、 デブロックフィルタ 1 3 1においてブロック歪の除去が行われた後、 画面並べ替えバッファ 1 2 6に格納され、 D Z A変換部 1 2 7での D Z A変換処理の後に出力される。
当該フレームがィンター符号化されたものである場合には、 動き予 測 ·補償部 1 2 9において、 可逆復号化部 1 2 2で可逆復号化処理が施 された動きべクトル情報、 およびフレームメモリ 1 2 8に格納された画 像情報を元に参照画像が生成され、 この参照画像と、 逆直交変換部 1 2 4の出力とが、 加算器 1 2 5において合成される。 その他の処理はイン トラ符号化されたフレームと同様である。
ところで、 第 1図に示した画像情報符号化装置 1 0 0においては、 高 い圧縮効率を実現するために、 動き予測 ·補償部 1 1 3が重要な役割を 果たす。 A V C符号化方式においては、 以下に述べる 3つの方式を導入 することで、 従来の M P E G 2や M P E G 4等の画像符号化方式と比較 して高い圧縮効率を実現している。
すなわち、 第一の方式は、 複数フレームの参照 （Mu l t ip l e Re f erence Frame) 、 第二の方式は、 可変ブロックサイズを利用した動き予測 ·補 償、 第三の方式は、 1 / 4画素精度の動き補償である。
第一の方式は、 複数フレームの参照である。 A V C符号化方式におい ては、 動き予測 '補償に関して、 前のフレームを 1以上参照することが できる。 M P E G 2や M P E G 4では、 直前のフレームのみが動き予 測 ·補償の際に参照されていた。 直前のフレームを参照することによつ て、 符号化するフレームに関しては、 移動したオブジェクトの動きを表 す動きベクトルとオブジェクト画像の差分データのみで、 そのフレーム を再現でき、 符号化データの圧縮率を高めることができる。 しかしなが ら、 A V C符号化方式のように、 参照するフレームを複数にすれば、 差 分データをさらに低減させることが期待でき、 圧縮率がより向上する。 第 3図に示すように、 1つの当該 （カレント） フレームに属するマク ロブロックの処理に関して、 複数のフレームを参照することが可能であ る。 こうした処理は、 画像情報符号化装置 1 0 0の動き予測 ·補償部 1 1 3では、 以前のフレームをフレームメモリ 1 1 1に蓄積することによ つて、 画像情報復号化装置 1 2 0の動き予測 ·補償部 1 2 9では、 以前 のフレームをフレームメモリ 1 2 8に蓄積することによって実現可能で ある。
第二の方式は、 可変ブロックサイズを利用した動き予測 ·補償である。 A V C符号化方式においては、 第 4図に示すように、 一つのマクロブロ ックを最小で 8 (ピクセル） X 8 (ピクセル） の動き補償ブロックに分 割することが可能である。 さらに、 8 X 8の動き補償ブロックに関して は、 最小で 4 X 4のサブマクロブロック （パーティション） に分割する ことが可能である。 各マクロブロックにおいて、 それぞれの動き補償ブ ロックは、 別個の動きべクトル情報を持つことが可能である。
ここで、 A VC符号化方式で生成されたビデオシーケンスの階層を大 きな単位のものから表すと、 フレーム （ピクチャー） >スライス一 >マ クロブロック—>サブマクロブロック—>ピクセルの順となる。 4 X4 のサブマクロブロックを単にブロックと呼ぶこともある。 ここでは、 マ クロブロックおよびサブマクロブロックを適宜 「ブロック」 と称するこ ととする。
第三の方式は、 1/4画素精度の動き補償処理である。 この処理につ いて、 第 5図を参照して説明する。 最初に、 1Z2画素精度の画素値が 生成され、 その後 1/4画素精度の画素値が計算される。 1/2画素精 度の画素値の生成については、 以下の 6 t a p F I R (Finite I即 ulse Response) フィルタが定義されている。
{ 1 , - 5, 2 0, 2 0, - 5, 1 } · · · (式 1) 第 5図において、 大文字の英字で表記された部分は、 整数画素 (Integer Sample) を表しており、 小文字の英字で表記された部分は、 分数画素 （Fractional Sample, 例えば、 1/2画素または 1Z4画 素） を表している。 1 Z2画素精度の画素値 b、 および hに関しては、 近傍の整数画素精度の画素値と上記フィル夕を用いて以下のように求め られる。
b l = (E- 5 F+ 2 0 G+ 2 0 H- 5 I + J ) · · · (式 2 ) h l = (A- 5 C+ 2 0 G+ 2 0M- 5 R + T) · · · (式 3 ) さらに、 以下のようにクリップ処理を行い、 bおよび hを求める。
b = C 1 i p 1 ( (b 1 + 1 6 ) >> 5 ) · · · (式 4) h = C 1 i p 1 ( (h 1 + 1 6 ) >> 5) · · · (式 5 ) ここで、 C 1 i p 1 (x) = C 1 i p 3 (0, 2 5 5, x) であり、
C I i p 3は、 以下のように定義される。 他の塌合
Figure imgf000010_0001
·'，（式 6〉 また、 「x>>y」 は、 2の補数表記の 2進数である Xに対して、 右 に yビットシフトすることを表す。
1 /2画素精度の画素値 j については、 まず、 上述した bや hと同様 の方法で、 a a， b b , c c , d d， e e， f f , g g, および h hを 生成した後、 以下の式 7または式 8のうちいずれかで求められる j 1を 元にして、 式 9により求められる。
j l = c c - 5 d d + 2 0 h + 20m- 5 e e + f f - · · (式 7) j l = a a- 5 b b + 2 0 b + 20 s - 5 g g + h h - · · (式 8) j = C 1 i p 1 ( ( j 1 + 5 1 2) >> 1 0) · · · (式 9 )
1 /4画素精度の画素値、 a， c， d， n， f , i， k , qについて は、 以下の式 1 0ないし式 1 7のように、 整数画素精度の画素値と、 1
Z 2画素精度の画素値の線形内揷により求められる。
a = (G+ b + 1 ) >> 1 (式 1 0)
c = (H+ b + 1 ) >> 1 (式 1 1)
d = (G + h + 1 ) >> 1 (式 1 2)
n = (M+ h + 1 ) >> 1 (式 1 3)
f = ( b + j + 1 ) >> 1 (式 1 4)
i = (h+ j + 1) >> 1 (式 1 5)
k = ( j +m+ 1 ) >> 1 (式 1 6)
Q = ( j + s + 1 ) >> 1 (式 1 7)
また、 1 4画素精度の画素値 e， g， p, rは、 以下の式 1 8ない し式 2 1のように、 1/2画素精度の画素値の線形内挿により求められ (b + h + 1 ) » 1 (式 1 8)
(b +m+ 1 ) » 1 (式 1 9)
(h + s + 1 ) » 1 (式 2 0)
(m+ s + 1 ) » 1 (式 2 1)
次に、 AVC符号化方式において規定されている動きべクトル符号化 方式を、 第 6図を参照して説明する。 第 6図には、 ブロック Eと、 その 周囲のブロック A、 B, C、 および Dが表されてい ¾。 ここで、 ブロッ ク Aないし Eは、 マクロブロックやサブマクロプロックであってもよい。 カレントブロックである (すなわ 、 動き補償処理の対象となる） プロ ック Eに関する動きべクトルの予測値の生成には、 原則として隣接プロ ック A、 B、 Cに対する動きベクトル情報等が用いられる。 この処理は、 メディアン予測 （Median Prediction) と呼ばれる。
また、 ブロック Cが、 当該ピクチャー （フレーム） 内、 若しくは、 当 該スライス内に存在しない、 若しくは処理順序の都合により、 ブロック Cの動きべクトル情報および参照フレームを用いることができない時、 動き補償処理は、 ブロック Cの動きべクトル情報および参照フレームの 代わりに、 ブロック Dの動きべクトル情報および参照フレームを用いる。 またさらに、 動き補償ブロック B、 C、 Dが全て当該ピクチャー内、 若しくは当該スライス内に存在しない場合には、 ブロック Aに対する動 きべクトル情報および参照フレームが用いられる。
上記以外で、 イントラ符号化されている場合、 または当該ピクチャー 若しくはスライス内に存在しないなどの理由で動き補償に関する情報を 用いた符号化が不可能である場合、 その動きベクトル値は 0であり、 ま た、 参照インデックス （refldx) の値は一 1となる。
次に、 Pピクチャー （フレーム） におけるスキップモードに関して説 明する。 A V Cにおいては、 Pピクチャーで、 「スキップモード」 と呼 ばれる特殊な符号化方式が定義されている。 これは、 動きベクトル情報 と係数情報をビットストリーム中に埋め込まず、 復号化の際には、 ある 一定のルールの元に、 動きベクトル情報を復元するモードであり、 これ により、 符号化されるビット数を節約することができ、 より高い符号化 効率を実現することが可能となる。
このスキップモードは、 ブロックサイズが 1 6 X 1 6のブロックにつ いてのみの特殊なモ一ドとなっている。 スキップモ一ドの動きベクトル 情報等に関しては、 参照インデックス （re i l dxLO) の値は 0で、 以下に 示す 3つの条件の内一つでも成立した場合には、 動きベクトルの値の両 成分 （x、 y ) がともに 0となり、 その他の場合には、 上述のメディァ ン予測の結果を動きベクトルの値とする。 ここで、 カレントブロックは ブロック Eであるとする。
条件 1 ： ブロック Aまたはブロック Bが使用不可である場合。
条件 2 ： ブロック Aの参照インデックス （re f l dxLOA) の値が 0で、 且つ動きべクトル値が 0である場合。
条件 3 ： ブロック Bの参照インデックス （re f l dxLOB) の値が 0で、 且つ動きべクトル値が 0である場合。
第 7図 Aは、 第 6図で説明したブロック Aないし Eのブロックサイズ がすべて 1 6 X 1 6である例を示したものである。
第 7図 Bは、 カレントブロック Eが 1 6 X 1 6のブロックサイズであ り、 ブロック Aが 8 X 4、 ブロック Bが 4 X 8、 ブロック Cが 1 6 X 8 である場合を示している。 この場合も、 上記と同様、 スキップモードの 判定がされる。 ここで、 ブロック Eの隣接ブロックが小さなサイズであ る場合は、 複数のブロックがブロック Eに接することになるが、 ブロッ ク Eの左上の角が接するブロックをそれぞれブロック A、 D、 Bとし、 プロック Eの右上の角が接するブロックをブロック Cとする。
次に、 Bピクチャーのダイレクトモードについて説明する。 ダイレク トモ一ドは、 ブロックサイズ 1 6 X 1 6または 8 X 8についての特殊な モードであり、 Pピクチャーへの適用はない。 上述したスキップモード 同様、 動きベクトル情報が伝送されないため、 復号化の際には、 隣接す るプロックの情報からこれらの動きべクトル情報を生成するが、 符号化 における動き補償処理の係数情報は伝送される。 ダイレクトモ一ドのう ち、 1 6 X 1 6のブロックに関しては、 量子化処理の結果、 係数情報が 0となった場合には、 係数情報を有しないスキップモ一ドとして扱うこ とも可能である。
ダイレク卜モ一ドには、 後述するように、 スペーシャルダイレクトモ —ドと、 テンポラルダイレクトモードが存在し、 スライスのヘッダに含 まれるパラメ一夕 （例えば、 「direct— spatiaし mv_pred_nag」 ) を用 いて、 当該スライスではどちらが用いられるかを指定することが可能で ある。
最初に、 スペーシャルダイレクトモードに関して説明する。 スぺーシ ヤルダィレクトモード予測を行う前に、 以下のように所定のフラグ （例 えば、 「colZeroFlag」 ) の値を設定する。
すなわち、 以下の全てが 「真」 である時、 4 X 4ブロック単位、 ある いは 8 X 8ブロック単位でフラグ 「colZeroFlag」 の値を 1とし、 これ 以外の時、 0とする。
(a) RefPictListl [0]によって参照される参照フレーム （ピクチャ 一） が、 短期間の参照ピクチャー (short-term reference picture) と してマークされたものである
(b) コロケ一トマクロブロックに対する参照インデックスの値が 0で ある ( c ) コロケ一トブロックの動きべクトル情報 mv Col [0]および m v Col [1]の両方が、 1 Z4画素精度で- 1〜1の間の値である（コロケ一トマ クロブロックが、 フィールドマクロブロックである場合には、 垂直方向 に関しては、 フィールド単位での 1 / 4画素精度である）。
フラグ 「colZeroFlag」 の値が 1である時、 若しくは隣接ブロックが 全てイントラである等の状況により、 当該ブロックに対する動きべクト ル （pmv) を生成することが不可能である場合には、 mv (動きべク トル） 0を当該ブロックに対して適用する。 これ以外の時、 メディア ン予測により生成される動きべクトル値を当該プロックに対して適用す る。
参照ィンデックスは List 0、 List 1共に第 7図に示した近接プロック A、 B、 C (または D) の最小値を用いる。
次に、 テンポラルダイレクトモードについて説明する。 前向き動きべ クトル MV 0と後ろ向き動きべクトル MV 1は、 後続のフレーム （ピク チヤ一） R L 1のコロケーションブロックで用いられている動きべクト ル MVCから求められる。 第 8図において、 フレーム Bの所定のブロッ ク 1 5 1に関する前のフレーム R L 0に対する前向き動きべクトル情報 を MV 0、 後続のフレーム RL 1に対する動きべクトル情報を M VIと し、 フレーム R L 1のコロケートブロック 1 5 0の動きべクトル情報を MVCとする。 テンポラルダイレクトモ一ドにおいては、 MVCおよび、 フレーム Bおよび参照フレーム R L 0、 RL 1の時間軸上の距離 TDD、 TDDから、 MV 0および MV1を以下の式 22、 式 2 3により生成す る。
MV 0 = (TDB/TDD) MV C · · · (式 2 2 ) MV 1 = ( (TDD -TD B) /TDD) MVC · · · (式 2 3 ) ところで、 AVCにおいては、 上述の通り、 多くの動き補償モードが 定義されており、 第 1図に示したような従来の画像情報符号化装置 1 0 0において、 それぞれのマクロブロックに対して最適なモードの選択を 行うことは、 高圧縮率の画像圧縮情報の生成するために重要な技術であ る。
この技術に関連する、 AVC標準化のための動きベクトル探索方式が、 下記文献 2に開示されている。 '
「Rate_Distort ion Optimization for Video Compressionj ， G.
Sullivan and T. Wiegand, IEEE Signal Processing Magazine, Nov. 1998
この方式 （RD (Rate-Distortion) 最適化とも称される） では、 全 ての精度の動き探索において、 以下の値を最小にする動きべクトルが探 索結果として出力される。
J (m， λ MOT I ON) = S A (T) D ( s， c (m) ) + λ MO T I ON · R (m - p) · · · (式 24)
ここで、 m= (mx、 my) Tは動きベクトル、 ρ= (ρ χ, ρ y ) Τは予測動きべクトル、 λΜ〇Τ I ONは動きべクトルに対するラグラ ンジュ （Lagrange) 乗数を表す。 また、 R (m— ρ) は、 テーブルルツ クアップによって求められる動きべクトル差分の発生情報量である。 A VC符号化方式において、 エントロピー符号化は、 UVL C
(Universal Variable Length Code) に基づく方法と、 CABAC
(Context-based Adaptive Binary Arithmetic Coding) に基つく方法 の 2つが規定されているが、 発生情報量は、 CABACが用いられる場 合であっても UVL Cによるものを用いる。 歪は以下の式 2 5によって 求められる。 Β,Β
V、
SAD{s,c(m) ) |six,y】- cix inx,y™iny】 j …（式 25) 上記式 2 5において、 sは現フレームの画像信号を、 cは参照フレーム の画像信号を表す。 1ノ 2画素精度以下の動きべクトルの補正の際には、 離散コサイン変換でなく、 アダマール変換を用いて求められる S ATD (Sum of Absolute Transform Difference) が用いられる。 ラグランジ ュ乗数 λΜΟΤ I ONは以下のように与えられる。 すなわち、 Iおよび Pフレームに対しては、 式 2 6により、 Bフレームについては、 式 2 7 により与えられる。
λ MOD E, P = (0. 8 5 * 2 QP/3) 1 /2 · · · (式 2 6 ) λ MOD E, B= (4 * 0. 8 5 * 2 QP/3) 1 /2
• · · (式 2 7)
ここで、 QPは、 量子化パラメ一夕を意味する。
参照フレームとしては、 以下の式 2 8の値を最小にするフレームが選 択される。
J (R E F I λ MOT I ON) = S ATD ( s， c (RE F， m (R E F) ) ) + λ MOT I ON · (R (m (RE F) — p (RE F) ) + R (R E F) ) · · · (式 2 8 )
ここで、 R (RE F) は、 参照フレームの発生情報量を UVL Cで求 めたものである。
Bフレームにおける NXMブロックの予測方向は、 以下の式 2 9の値 を最小にするものが選択される。
J (PD I R l AMOT I ON) = SATD ( s , c (P D I R, m (P D I R) ) ) + λ MOT I ON · (R (m (PD I R) — p (P D I R) ) + R (RE F (P D I R) ) ) · · · (式 2 9) マクロプロックモードは、 以下の式 30の値を最小にするものが選択 される。
J ( s , c， MODE I QP, λ MOD E) = S S D ( s， c， MO DE l QP) + λ MOD E - R ( s , c , MODE I Q
P) · · · (式 3 0)
ここで、 QPは、 マクロブロックの量子化パラメ一夕を、 AMODE は、 モード選択のためのラグランジュ乗数を表す。
選択の候補となる MOD Eは、 フレームタイプ毎に以下の式 3 1ない し 3 3のようにまとめられ
MODE e (INTRA 4x4, INTRA 16x16}
(式 31)
Pフレーム MODES
Figure imgf000017_0001
(式 32) Jレーム MODES
Figure imgf000017_0002
…（式 33〉 ここで、 S K I Pは、 1 6 X 1 6モードで、 動きべクトル残差、 および 係数残差が送られないものを表し、 S SDは、 以下の式 34に定義され るような誤差二乗和を表す。 なお、 sは現フレームの画像信号、 cは参 照フレームの画像信号を表す。 SSD{srcfMODE jQP)= ^ ( sy[X,y】 - cy[x, y ,MODE | QP ) 2
X=l,y;l
8,8
Figure imgf000018_0001
8,8
+ ^ t £sv{x,y]-cv[x,F,MODE|QP] )2
…（式 34)
R ( s , c， MODE I Q P) は、 MO D Eと Q Pを選択した場合のマ クロブロックの発生情報量を表す。 発生情報量の中には、 ヘッダ、 動き ベクトル、 直交変換係数など全ての情報に対応するものが含まれる。 c Y [x， y , MODE I QP] 、 s Y [ , y] は、 再構成画像、 およ び元画像の輝度成分を表し、 c U、 c Vや、 s U、 s Vは色差成分を表 す。
ラグランジュ乗数 λ MOT I ONは、 Iフレーム、 Pフレーム、 およ び Pフレームに対して、 それぞれ以下の式 3 5、 3 6により与えられる。
I , Pフレーム ： AMODE, P = 0. 8 5 * 2 QP/3
• · · (式 3 5)
Bフレーム ： AM〇DE， B = 4 * 0. 8 5 * 2 QP/3
• · · (式 3 6)
ここで、 QPは、 量子化パラメ一夕を表す。
8 X 8ブロックの分割の際も、 マクロブロックのモード決定の場合と 同様の選択処理が行われる。 以下の式 3 7の値を最小にするような分割 モードが選択される。
16 J ( s , c , MODE I QP, λ MOD E) = S S D (s， c， MODE I Q P) + λ MOD E - R ( s , c , MODE I QP)
• · · (式 3 7)
ここで、 QPは、 マクロブロックの量子化パラメ一夕、 λ MODEは, モード選択の際に用いられるラグランジュ乗数を表す。
MOD Eで表される選択モードの候補は Pフレーム、 Bフレームにつ いてそれぞれ以下の式 3 8、 39のように定められる
INTRA 4x4,
Pフレーム MODE— 8χ8ι 8x4, 4x8, 4x4
(式 38〉
INTRA 4x4, DIRECT,
Βフレ""ム 8x8, 8x4, 4x8t 4x4
'(式 39) ところで、 第 1図に示したような従来の画像情報符号化装置 1 0 0を、 実時間で動作するハードウエアとして実現する場合、 高速化技術として， パイプライン処理のような並列処理が不可欠である。 また、 高速化のた めの動き探索の方法によっては、 規格が定めたルールに則った方法で算 出したスキップモ一ド、 またはスペーシャルダイレクトモ一ドの動きべ クトルが、 動きベクトルの探索範囲に含まれない場合も生じうる。
このような場合、 スキップモード、 またはスペーシャルダイレクトモ ードに関しては、 通常の動き探索処理とは別に、 それらの動きベクトル に対して別途動き探索処理を行う必要がある。
これらのモ一ド判定には、 隣接するマクロブロックの動きべクトル情 報が必要となる。 しかしながら、 パイプライン処理によって各マクロブ 口ックについての処理が所定の順序で終了しない場合は、 これらの隣接 するマクロブロックの動きべクトル情報が得られず、 スキップモ一ドお ょぴスペーシャルダイレクトモ一ドの判定をする際の妨げとなる。
従って、 この発明の目的は、 A V C等の画像符号化方式に基づく画 像圧縮情報を出力する画像情報符号化装置において、 パイプライン等の 並列処理のために隣接ブロックの必要なべクトル情報等が得られない場 合でも、 擬似的な情報を生成することによって、 高速な符号化処理を実 現することである。
また、 この発明のさらなる目的は、 A V C等の画像符号化方式に基づ く画像圧縮情報を出力する画像情報符号化装置において、 スキップモー ドまたはスペーシャルダイレクトモ一ドの判定に使用される動きべクト ル情報と参照ィンデックス情報を擬似的に算出することによって、 並列 処理による高速化処理を実現しつつ、 効果的なモード設定を行う手段を 提供することである。 発明の開示
この発明の第 1の態様は、 動きべクトル情報と係数情報のうち少なく とも 1つを省略してブロックについての符号化を行い、 復号側では、 所 定のルールによって省略された情報を復元可能である符号化モードを有 し、 ブロックが符号化モードで符号化可能か否かを、 ブロックに隣接す る所定の隣接ブロックの動き情報からなる候補情報を用いて判定する判 定部と、 少なくとも 1つの隣接ブロックの動き情報が利用できない場合 に、 利用できない動き情報に代えて擬似的な動き情報を生成し、 候補情 報として提供する擬似算出部とを有する、 動き予測を用いて画像情報の 符号化処理を行う画像情報符号化装置である。
この発明の第 2の態様は、 動きべクトル情報と係数情報のうち少なく とも 1つを省略してブロックについての符号化を行い、 復号側では、 所 定のルールによって省略された情報を復元可能である符号化モ一ドを有 し、 ブロックが符号化モードで符号化可能か否かを、 ブロックに隣接す る所定の隣接プロックの動き情報からなる候補情報を用いて判定する判 定ステップと、 少なくとも 1つの隣接ブロックの動き情報が利用できな い場合に、 利用できない動き情報に代えて擬似的な動き情報を生成し、 候補情報として提供する擬似算出ステップとを有する、 動き予測を用い て画像情報の符号化処理を行う画像情報符号化方法である。
この発明の第 3の態様は、 コンピュータに、 動き予測を用いて画像情 報の符号化処理を行う画像情報符号化方法を実行させるためのプロダラ ムであって、 画像情報符号化方法は、 動きベクトル情報と係数情報のう ち少なくとも 1つを省略してブロックについての符号化を行い、 復号側 では、 所定のルールによって省略された情報を復元可能である符号化モ —ドを有し、 ブロックが符号化モードで符号化可能か否かを、 ブロック に隣接する所定の隣接プロックの動き情報からなる候補情報を用いて判 定する判定ステップと、 少なくとも 1つの隣接ブロックの動き情報が利 用できない場合に、 利用できない動き情報に代えて擬似的な動き情報を 生成し、 候補情報として提供する擬似算出ステップとを有する。
この発明によれば、 A V C等の画像符号化方式に基づく画像圧縮情報 を出力する画像情報符号化装置において、 パイプライン等の並列処理の ために隣接ブロックの必要なべクトル情報等が得られない場合でも、 擬 似的な情報を生成することによって、 高速な符号化処理を実現すること ができる。
また、 この発明によれば、 A V C等の画像符号化方式に基づく画像圧 縮情報を出力する画像情報符号化装置において、 スキップモードまたは スペーシャルダイレク卜モードの判定に使用される動きべクトル情報と 参照ィンデックス情報を擬似的に算出することによって、 並列処理によ る高速化処理を実現しつつ、 効果的なモード設定を行う手段が提供され る 図面の簡単な説明
第 1図は、 従来の画像情報符号化装置の構成を示すブロック図である。 第 2図は、 従来の画像情報復号化装置の構成を示すブロック図である。 第 3図は、 動き予測 ·補償処理における複数フレームの参照を表す略 線図である。
第 4図は、 マクロブロックとサブマクロブロックを示す略線図である。 第 5図は、 1 / 4画素精度の動き補償処理を説明するための略線図で ¾る。
第 6図は、 動きべクトル符号化方式におけるメディアン予測を説明す るための略線図である。
第 7図 Aおよび第 7図 Bは、 スキップモ一ド、 スペーシャルダイレク トモ一ドを説明するために用いる略線図である。
第 8図は、 テンポラルダイレクトモ一ドを説明するための略線図であ る。
第 9図 Aおよび第 9図 Bは、 マクロブロックの動き補償処理の手順を 説明するために用いる略線図である。
第 1 0図は、 この発明の第 1の実施形態に係る画像情報符号化装置の 構成を示すブロック図である。
第 1 1図は、 この発明の候補動きベクトル情報の擬似的な算出を説明 するために用いる略線図である。
第 1 2図は、 この発明の候補動きベクトル情報の擬似的な算出を説明 するために用いる略線図である。 第 1 3図は、 この発明の第 1の実施形態に係る画像情報符号化装置の 処理手 J頼を表すフローチャートである。 発明を実施するための最良の形態
この発明の画像情報符号化装置について説明する前に、 パイプラ ィン等の高速化処理のために隣接ブロックの必要なべクトル情報等が得 られない場合の具体的な例について、 第 9図を参照して説明する。 今、 第 9図 Aにおいて、 Xを、 現在処理が行われているマクロブロック、 A を隣接マクロブロックとすると、 Xについて動き探索処理を行っている 時点で、 Aについての動きベクトル情報が必ずしも確定しているとは限 らない。 これは、 前述したように、 並列処理によって、 各マクロブロッ クに対する各処理フェーズが並行して実行されるためである。 また、 第 9図 B において、 Xを、 現在処理が行われているマクロブロック、 B、 C , Dを隣接マクロブロックとすると、 Xに対する動き補償処理を行つ ている時点で、 B、 C、 Dに対する動きベクトル情報が必ずしも確定し ている とは限らない。
この発明では、 このように、 パイプライン等の高速化処理のために隣 接プロ ックの必要なべクトル情報等が得られない場合でも、 擬似的な動 きべク トル情報を生成することによって、 後続の処理を円滑に実行し、 結果的に高速な符号化処理が実現される。
この発明の画像情報符号化装置は、 上述した課題を解決するために、 A/ D変換装置、 画面並べ替えバッファ、 加算器、 直交変換装置、 量子 化装置、 可逆符号化装置、 蓄積バッファ、 逆量子化装置、 逆直交変換装 置、 デブロックフィルタ、 フレームメモリ、 イントラ予測装置、 動き予 測 ·補償装置、 候補動きベクトル情報算出装置、 レート制御装置を備え、 スキップモードおよびスペーシャルダイレクトモ一ドの候補動きべクト ル情報として使用される動きべクトル情報を擬似的に算出する方法を導 入することにより、 パイプライン等による高速化処理を実 する手段を 提供する。
さらに、 こうして擬似的に求められた動きべクトル情報および参照ィ ンデックス （参照フレーム） 情報が、 A V C規格のルールに従って算出 された動きべクトル情報および参照ィンデックス情報とそれぞれ一致し なかった場合には、 これらの情報を、 スキップモードまたはスペーシャ ルダイレクトモ一ド以外のモードとして判定を行うことで、 圧縮効率の さらなる改善が期待できる。 こうした動きベクトル情報は、 スキップモ ードについては、 1 6 X 1 6のブロックに関してであり、 一方、 スぺ一 シャルダイレク卜モードに関しては、 1 6 X 1 6もしくは 8 X 8のプロ ックに関するものである。 また、 ここでは、 動きベクトル情報および参 照インデックス情報をまとめて適宜 「動き情報」 と呼ぶことにする。
ここで、 第 1 0図を参照して、 この発明の第 1の実施形態に係る画像 情報符号化装置について説明する。 第 1 0図は、 第 1の実施形態に係る 画像情報符号化装置の構成を表すブロック図である。 画像情報符号化装 置 1 0は、 A / D変換部 1 1、 画面並べ替えバッファ 1 2、 加算器 1 3、 直交変換部 1 4、 量子化部 1 5、 可逆符号化部 1 6、 蓄積バッファ 1 7、 逆量子化部 1 8、 逆直交変換部 1 9、 デブロックフィルタ 2 0、 フレ一 ムメモリ 2 1、 イントラ予測部 2 2、 動き予測 ·補償部 2 3、 擬似算出 部 2 4、 モード判定部 2 5、 およびレート制御部 2 6を含む装置である。
A / D変換部 1 1は、 入力となるアナログ画像信号をディジタル画像 信号に変換し、 そのディジ夕ル画像信号を画面並べ替えバッファ 1 2に 送出する。 ディジタル画像信号を受信した画面並べ替えバッファ 1 2は、 そのディジタル画像信号からなる各フレームを、 出力となる画像圧縮情 報の G O P構造に応じて並べ替える。 加算器 1 3は、 入力フレームがィ ン夕ー符号化される場合、 その入力フレームと参照フレ一ムの差分の生 成を行う。
直交変換部 1 4は、 入力フレーム、 または入力フレームと参照フレー ムの差分値に、 離散コサイン変換、 カル一ネン · レーべ変換等の直交変 換を施し、 量子化部 1 5は、 直交変換が施された変換係数の量子化処理 を行う。 可逆符号化部 1 6は、 量子化部 1 5から、 量子化された変換係 数を受信し、 これに可変長符号化、 算術符号化等の可逆符号化処理を行 い蓄積バッファ 1 7に送出する。 蓄積バッファ 1 7は、 可逆変換された 画像圧縮情報を可逆符号化部 1 6から受信し、 これらを蓄積する。
逆量子 ί匕部 1 8は、 量子化された変換係数の量子化部 1 5から受信し、 これらの逆量子化を行う。 逆直交変換部 1 9は、 逆量子化が施された直 交変換係数の逆直交変換を行い、 デブロックフィルタ 2 0は、 復号画像 に含まれるブロック歪の除去を行い、 これらの処理を経た復号画像がフ レ一ムメモリ 2 1に蓄積される。 フレームメモリ 2 1で、 これらの復号 画像が蓄積されるのは、 動き予測 ·補償処理のためである。
動き予測 ·補償部 2 3は、 フレームメモリ 2 1に格納された復号画像 を入力して、 動きベクトル情報の探索並びに動き補償処理を行う。 擬似 算出部 2 は、 並列処理による高速化を可能とすることを目的として、 スキップモードまたはスペーシャルダイレクトモ一ドの判定に使用され る動きベク トル情報を擬似的に算出する。 イントラ予測部 2 2は、 フレ —ムメモリ 2 1に格納された復号画像を入力して、 イントラ予測処理を 行う。 モード判定部 2 5は、 動き予測 ·補償部 2 3およびイントラ予測 部 2 2からの出力を受信して、 モード （スキップモード、 スペーシャル モード） の判定を行う。
また、 レート制御部 2 6は、 蓄積バッファ 1 7からの情報を元にした フィ一ドノヾック制御により、 量子化部 1 5の動作の制御を行う。 第 1図に示した従来の画像情報符号化装置 1 0 0と異なる点は、 動き 予測 ·補償部 2 3、 擬似算出部 2 4、 およびモード判定部 2 5における 処理内容である。 以下では、 これらの構成要素の処理を中心に画像情報 符号化装置 1 0の処理について説明する。
ここで、 第 1 1図を参照して、 擬似算出部 2 4の処理内容を説明する。 第 7図に関連して説明した通り、 第 1 1図において、 マクロブロック X に対する動き予測 ·補償処理が行われている場合、 当該マクロブロック のスキップモ一ドまたはスペーシャルダイレクトモ一ドの判定を行うた めには、 マクロブロック A、 B、 C , ( Xがフレームの境界にあたる等 の理由で Cがない場合は、 Cの代わりに D ) の動きベクトルと参照イン デックス （re f l dx) 情報が確定している必要がある。
しかしながら、 並列処理による画像符号化処理を行う場合は、 例えば、 各マクロブロックに対する各処理フエ一ズが並列に実行されるため、 あ るマクロブロックについて動き予測 ·補償処理が行われている時点で、 この処理に必要な他のマクロプロックの情報が既に得られているとは限 らない。
そこで、 マクロブロック A、 B、 C、 Dの動きベクトル情報および参 照インデックス情報がない場合は、 これらの代わりに、 第 1 1図に示す マクロブロック A '、 B '、 C '、 D '、 A '，、 B， '、 C，'、 D，'、 · · · の動きベク トル情報および参照インデックス情報を擬似的に算出し、 モ ード判定のために使用する。 すなわち、 これらの動きベクトル情報を候 補動きべク トルとして用いる。
例えば、 マクロブロック B、 Cの動きベクトル情報および参照インデ ックス情幸艮は確定しているが、 マクロブロック Aの動きべクトル情報お よび参照インデックス情報が確定していない場合にば、 第 1 2図に示す ように、 ブロック A 'の動きベクトル情報および参照インデックス情報 も用いて、 マクロブロック Xに対するモ一ド判定を行う。 スペーシャル ダイレクトモ一ドにおいては、 ブロック A 'についての参照ィンデック ス情報が用いられる。
次に、 モード判定部 2 5の処理について説明する。 上述のように、 擬 似算出部 2 4で算出された動きベクトル情報 （および参照インデックス 情報） は、 A V C規格のルールに従って算出される、 所定のマクロプロ ックに関する動きべクトル情報の内容と完全に一致するとは限らない。 同様に、 参照ィンデックス情報の内容も一致するとは限らない。
そこで、 モード判定部 2 5は、 規格のルールに従って算出した、 マク ロブロックの動きベクトル情報と、 擬似算出部 2 4で擬似的に算出した 動きベクトル情報との比較を行う。 さらに、 スペーシャルダイレクトモ ―ドの場合には、 L i s t 0および L i s t 1の各参照フレームに関し て参照インデックス情報が一致するかどうかも検査する。
動きべクトル情報と参照ィンデックス情報の内容が一致した場合、 擬 似算出部 2 4で算出した候補動きベクトルをスキップモード、 またはス ペーシャルダイレクトモ一ドの候補動きべクトル情報として用い、 任意 のモード判定処理を行う。 このとき、 上述した R D最適化に基づくモー ド判定を行っても良い。
また、 動きベクトル情報が一致しなかった場合には、 擬似算出部 2 4 で算出された候補動きベクトル情報を破棄するかまたは、 1 6 X 1 6の プロックの候補動きべクトルまたは 8 X 8の候補動きべクトルとする。 その後、 任意のモード判定を行う。 上述のように、 スキップモードの場 合は、 1 6 X 1 6のブロックの動きベクトル情報として用いられ、 スぺ —シヤルダィレクトモ一ドの場合には、 1 6 X 1 6もしくは 8 X 8のブ ロックの動きベクトル情報として用いられる。
次に、 上述したモード判定処理の手順について、 第 1 3図のフローチ ャ一トを参照して説明する。 第 1 3図には、 3つの点線ブロック Aない し Cが記されているが、 これは、 点線ブロック A内の処理は動き予測 - 補償部 2 3で行われ、 点線ブロック B内の処理はイントラ予測部 2 2で 行われ、 点線ブロック C内の処理はモード判定部 2 5で行われることを 表している。
まず、 ステップ S 1では、 スキップモードまたはスぺ一シヤルダィレ クトモードの判定に使用するために、 動きベクトル情報 （および参照ィ ンデックス情報） 力 S、 擬似算出部 2 4において算出される。 ここでは、 これらの情報を情幸 Xとする。 擬似算出部 2 4は、 第 1 1図に示したよ うに、 マクロブロック Xのモード判定に関しては、 マクロブロック Aの 動きべクトル情報の処理が終わっていない場合は、 マクロブロック A ' の動きベクトル情報を取得し、 さらに、 マクロブロック A 'の動きべク トル情報の処理が終わっていない場合は、 マクロブロック A ' 'の動きべ クトル情報を取得し、 動きベクトル情報が取得できない場合に、 順次マ クロブロック Xから遠い、 すなわち、 A— X間より空間的な距離が大き いマクロブロックの動きベクトル情報を取得するよう制御される。
第 1 1図に示す例では、 A、 A '、 A " - · · は規則的に選択される。 すなわち、 A 'は、 Xが接している Aの辺に対向する Aの辺に接してい るブロックであり、 A ' 'は、 Aが接している A 'の辺に対向する A 'の辺 に接しているプロ、ソクである。
このような擬似算出部 2 4の動作は、 マクロブロック B、 C , および Dについても同様である。 また、 この例では、 マクロブロック Aの動き べクトル情報の処理が終わっていない場合に、 その代わりとしてマクロ ブロック A 'の動きべクトル情報を取得するようにしているが、 動きべ クトル情報が求まっている限り、 どのマクロブロックのあるいは、 どの ような相対的位置鬨係にある動きべクトル情報を取得するかは、 適宜定 めることができる。 また、 マクロブロック Aの動きベクトル情報の代わ りに、 複数の他のマクロブロックの動きべクトル情報を使用するように してもよい。
ステップ S 1が終了すると、 ステップ S 4において、 情報 Xについて、 モード判定に使用する評価指標が算出される。 こうした指標は、 実際に いくつかのマクロブロックを対象に量子化を行って、 結果的に必要な符 号量を推定するために必要となる。 ここでは、 例えば、 アダマール変換 のような処理が行われる。
また、 動き予測 ·補償部 2 3においては、 1 6 X 1 6や 1 6 X 8とい つた各ブロックサイズに対して最適な動きベクトル情報を探索し （ステ ップ S 2 ) 、 さらに、 その動きベクトル情報について、 モード判定に使 用する評価指標を算出する （ステップ S 3 ) 。 ここで、 動きベクトルの 探索には、 周辺ブロックの動きベクトル情報等は使用されない。 従って、 周辺プロックのべクトル情報等が全て計算されていない場合でも、 その 計算結果を待たずに、 独自に算出することができる。
イントラ予測部 2 2においては、 その 1つのフレームから得られる情 報から、 モード判定に使用する評価指標が算出される （ステップ S 5 ) 。 ステップ S 3およびステップ S 5の処理は、 ステップ S 4と同時に実行 される必要はなく、 後述するステップ S 1 0の処理までに終了していれ ば足りる。
次に、 ステップ S 6において、 上述した規格の方法を用いて、 スキッ プモード、 またはスペーシャルダイレクトモードの候補動きべクトル情 報 （および参照インデックス情報） が算出される。 これらの情報を、 以 降では、 情報 Yと呼ぶことにする。 これらの情報は、 ステップ S 3で既 に算出されている場合には、 その結果を利用するように構成しても良い。 ステップ S 7において、 情報 Xと情報 Yとの比較が行われる。 情報 X と情報 Yが等しい場合、 ステップ S 9に処理が進み、 情報 Xが、 スキッ プモ一ドおよびスペーシャルダイレクトモ一ドの判定を行うために使用 される候補動きべク トル情報とされる。
一方、 情報 Xと情報 Υが等しくない場合、 処理がステップ S 8に進み、 そこで、 情報 Xが破棄され、 あるいは、 1 6 X 1 6のブロックまたは 8 X 8のプロックの候補動きべクトル情報とされる。 この場合に情報 Xを 候補動きべクトルとすることによって、 圧縮効率が改善する可能性があ る。
上記のような手順で候補動きべクトル情報が決定されると、 各処理で 算出された各候補の評価指標をもとに、 ステップ S 1 1で任意のモード 判定が行われる。
次に、 この発明の第 2の実施形態に係る画像情報符号化装置について 説明する。 この実施形態の画像情報符号化装置が有する構成要素は、 第 1 0図に示した第 1 の実施形態に係る画像情報符号化装置と同様のもの であるため、 ブロック図については省略する。 相違点は、 擬似算出部の 処理内容にある。 従って、 ここでは、 この擬似算出部 （以降では、 2 4 'の符号を付することにする） の処理を中心に説明する。
擬似算出部 2 4 'では、 確定した周辺ブロックの情報を使用せず、 全 ての情報を特定の値、 例えば 0にセットする。 すなわち、 スキップモー ドにおいては、 動きベクトルの値を各成分共に 0にセットし、 スぺ一シ ヤルダィレクトモ一ドでは、 L i s t 0、 L i s t 1についての参照ィ ンデックスの値を 0 とし、 かつ、 L i s t O、 L i s t lについての動 きベクトルの値も 0 とする。 その他の処理は、 上述した第 1の実施形態 と同様である。
第 2の実施形態では、 擬似算出部 2 4 'で、 スキップモード、 または スペーシャルダイレクトモードの判定のための動きべクトル情報に関す る計算を省く ことができる。
このように、 画像情報符号化装置は、 並列処理による高速化を妨げな いように構成されるが、 こうした機能の実装については、 例えば、 P C
(パーソナル ' コンピュータ） のようなコンピュータを用いてソフトゥ エアで行うことも可能である （ソフトウェア ·エンコーディング） 。 例 えば、 C PU (Central Processing Unit) 、 メモリ、 ハードディスク、 記録媒体駆動装置、 ネットワーク ·インタフェース、 およびこれらを互 いに接続するバスによって構成される P Cを用いた実施を考える。
ここで、 C PUは、 D S P (Digital Signal Processor) 等のコプロ セッサを備えるものであってもよい。 メモリにロードされたプログラム の指令に基づき、 C PUは、 上述した AZD変換部 1 1等の各部の機能 を実行する。 必要に応じて、 データの一時的な記憶には、 高速アクセス が可能なメモリを用いる。 画面並べ替えバッファ 1 2や蓄積バッファ 1 7といったバッファや、 フレームメモリ 2 1などには、 メモリが使用さ れる。
このような機能を実現するプログラムは、 通常ハードディスク等の外 部記憶装置に記憶されており、 ユーザ等によって符号化処理が指示され た場合にメモリに口一ドされる。 また、 プログラムは、 CD (Co即 act Disc) -RO M (Read Only Memory) や DVD (Digital Versatile Disk) 一 RO Mに記憶され、 記録媒体駆動装置を介して、 ハードデイス ク等に読み込まれうる。 また、 他の態様では、 パーソナルコンピュータ が、 ネットワーク ·インタフェースを介してインターネット等のネット ワークに接続されている場合、 プログラムは、 他のコンピュータやサイ 卜から、 当該ネットヮ一クを介してハードディスク等に記録されうる。 以上、 AV C画像圧縮情報を出力する画像情報符号化装置を例にこの 発明の特徴を述べてきたが、 この発明の適用範囲はこれに限られるもの ではない。 MP E G— 1 /2 4や、 H. 2 6 3等、 動き予測を用いて おり、 また動きべクトル符号化に D P CMを用いている任意の画像符号 化方式に基づく画像圧縮情報を出力する画像情報符号化装置に適用可能 である。

Claims

請 求 の 範 囲
1 . 動き予測を用いて画像情報の符号化処理を行う画像情報符号化方法 において、
前記符号化処理は、 動きべクトル情報と係数情報のうち少なくとも 1 つを省略してブロックについての符号化を行い、 復号側では、 所定のル —ルによって前言己省略された情報を復元可能である符号化モードを有し、 前記ブロック力 S前記符号化モードで符号化可能か否かを、 前記ブロッ クに隣接する所定の隣接ブロックの動き情報からなる候補情報を用いて 判定する判定ステップと、
少なくとも 1つの前記隣接ブロックの前記動き情報が利用できない場 合に、 前記利用できない動き情報に代えて擬似的な動き情報を生成し、 前記候補情報として提供する擬似算出ステップとを有することを特徴と する画像情報符号化方法。
2 . 請求の範囲 1に記載の画像情報符号化方法において、
前記擬似的な動き情報が、 前記利用できない動き情報を有する隣接ブ ロックの近傍にある近傍ブロックの、 利用可能な動き情報であることを 特徴とする画像 f青報符号化方法。
3 . 請求の範囲 1に記載の画像情報符号化方法において、
前記擬似的な動き情報が、 特定の値であることを特徴とする画像情報 符号化方法。
4 . 請求の範囲 1に記載の画像情報符号化方法において、
前記符号化モードには、 前記動きべクトル情報と前記係数情報を省略 して符号化する第 1のモードが含まれ、
前記判定ステップと前記擬似算出ステップは、 第 1のモ一ドの前記判 定および前記生成に関しては、 前記動きベクトル情報を前記動き情報と して扱うことを特徴とする画像情報符号化方法。
5. 請求の範囲 1に記載の画像情報符号化方法において、 前記符号化モードには、 前記動きべク卜ル情報を省略して符号化する 第 2のモ一ドが含まれ、
前記判定ステップと前記擬似算出ステップは、 前記第 2のモードの前 記判定および前記生成に関しては、 前記動きベクトル情報および参照ィ ンデックス情報を前記動き情報として扱うことを特徴とする画像情報符 号化方法。
6. 請求の範囲 2に記載の画像情報符号化方法において、
俞記符号化が、 MP E G 4/A V Cの規格に従って行われ、 前記判定ステップは、 前記擬似的な動き情報と、 前記 MPEG4/A VCの規格によって算出された動き情報が一致しない場合は、 前記擬似 的な動き情報を前記候補情報として用いないことを特徴とする画像情報 符号化方法。
7. 請求の範囲 2に記載の画像情報符号化方法において、
前記符号化が、 MP EG4ZAVCの規格に従って行われ、 前記判定ステップは、 前記擬似的な動き情報と、 前記 MPEG4ZA VCの規格によって算出された動き情報が一致しない場合、 前記擬似的 な動き情報は、
前記符号化モードが前記動きべクトル情報と前記係数情報を省略して 符号ィ匕する第 1のモードである場合には、 1 6 X 1 6のブロックの候補 動きべクトル情報とし、
前記符号化モ一ドが前記動きべクトル情報を省略して符号化する第 2 のモードである場合には、 1 6 X 1 6または 8 X 8のプロックの候補動 きべクトル情報とすることを特徴とする画像情報符号化方法。
8. 請求の範囲 2に記載の画像情報符号化方法において、
前記近傍ブロックは、 前記ブロックに関して、 前記利用できない動き 情報を有する隣接ブロックより空間的な距離が大きいものが選択される ことを特徴とする画像情報符号化方法。
9 . 動き予測を用いて画像情報の符号化処理を行う画像情報符号化装置 において、
前記符号化処理は、 動きベクトル情報と係数情報のうち少なくとも 1 つを省略してプロックについての符号化を行い、 復号側では、 所定のル —ルによって前記省略された情報を復元可能である符号化モードを有し、 前記ブロック;^前記符号化モードで符号化可能か否かを、 前記ブロッ クに隣接する所定の隣接プロックの動き情報からなる候補情報を用いて 判定する判定部と、
少なくとも 1つの前記隣接ブロックの前記動き情報が利用できない場 合に、 前記利用できない動き情報に代えて擬似的な動き情報を生成し、 前記候補情報として提供する擬似算出部とを有することを特徴とする画 像情報符号化装置。
1 0 . コンピュータに、 動き予測を用いて画像情報の符号化処理を行う 画像情報符号化方法を実行させるためのプログラムであって、
前記画像情報符号化方法は、 動きべクトル情報と係数情報のうち少な くとも 1つを省略してブロックについての符号化を行い、 復号側では、 所定のルールによって前記省略された情報を復元可能である符号化モー ドを有し、
前記ブロック力 S前記符号化モードで符号化可能か否かを、 前記ブロッ クに隣接する所定の隣接プロックの動き情報からなる候補情報を用いて 判定する判定ステップと、
少なくとも 1つの前記隣接ブロックの前記動き情報が利用できない場 合に、 前記利用できない動き情報に代えて擬似的な動き情報を生成し、 前記候補情報として提供する擬似算出ステップとを有することを特徴と n
°マ ^口。乙 §4
09ST00/S00Zdf/X3d OAV
PCT/JP2005/001560 2004-02-25 2005-01-27 画像情報符号化装置および画像情報符号化方法 WO2005081541A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US10/590,413 US20070286281A1 (en) 2004-02-25 2005-01-27 Picture Information Encoding Apparatus and Picture Information Encoding Method
EP20050709659 EP1746842A1 (en) 2004-02-25 2005-01-27 Image information encoding device and image information encoding method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2004050295A JP3879741B2 (ja) 2004-02-25 2004-02-25 画像情報符号化装置および画像情報符号化方法
JP2004-050295 2004-02-25

Publications (1)

Publication Number Publication Date
WO2005081541A1 true WO2005081541A1 (ja) 2005-09-01

Family

ID=34879580

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2005/001560 WO2005081541A1 (ja) 2004-02-25 2005-01-27 画像情報符号化装置および画像情報符号化方法

Country Status (6)

Country Link
US (1) US20070286281A1 (ja)
EP (1) EP1746842A1 (ja)
JP (1) JP3879741B2 (ja)
KR (1) KR20060127155A (ja)
CN (1) CN1910933A (ja)
WO (1) WO2005081541A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9667972B2 (en) 2006-05-24 2017-05-30 Panasonic Intellectual Property Management Co., Ltd. Image coding device, image coding method, and image coding integrated circuit
CN107483959A (zh) * 2012-02-03 2017-12-15 太阳专利托管公司 图像解码方法及图像解码装置
US10560716B2 (en) 2012-03-06 2020-02-11 Sun Patent Trust Moving picture coding method, moving picture decoding method, moving picture coding apparatus, moving picture decoding apparatus, and moving picture coding and decoding apparatus
US10616601B2 (en) 2012-01-20 2020-04-07 Sun Patent Trust Methods and apparatuses for encoding and decoding video using temporal motion vector prediction

Families Citing this family (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8761259B2 (en) * 2005-09-22 2014-06-24 Qualcomm Incorporated Multi-dimensional neighboring block prediction for video encoding
FR2893808A1 (fr) * 2005-11-22 2007-05-25 Thomson Licensing Sas Procede et dispositif de codage d'une image video
KR100750145B1 (ko) * 2005-12-12 2007-08-21 삼성전자주식회사 영상의 인트라 예측 부호화, 복호화 방법 및 장치
ZA200805337B (en) 2006-01-09 2009-11-25 Thomson Licensing Method and apparatus for providing reduced resolution update mode for multiview video coding
US7912123B2 (en) * 2006-03-01 2011-03-22 Streaming Networks (Pvt.) Ltd Method and system for providing low cost robust operational control of video encoders
JP4752631B2 (ja) 2006-06-08 2011-08-17 株式会社日立製作所 画像符号化装置、及び画像符号化方法
JP2008005163A (ja) * 2006-06-21 2008-01-10 Matsushita Electric Ind Co Ltd 画像符号化装置および画像符号化方法
JP4660433B2 (ja) 2006-06-29 2011-03-30 株式会社東芝 符号化回路、復号回路、エンコーダ回路、デコーダ回路、ｃａｂａｃ処理方法
MX357910B (es) * 2006-07-06 2018-07-30 Thomson Licensing Método y aparato para desacoplar el número de cuadro y/o la cuenta del orden de imagen (poc) para la codificación y decodificación de video de múltiples vistas.
ZA200900102B (en) 2006-07-06 2010-05-26 Thomson Licensing Method and apparatus for decoupling frame number and/or picture order count (poc) for multi-view video encoding and decoding
KR101366092B1 (ko) 2006-10-13 2014-02-21 삼성전자주식회사 다시점 영상의 부호화, 복호화 방법 및 장치
JP4898415B2 (ja) * 2006-12-19 2012-03-14 キヤノン株式会社 動画像符号化装置及び動画像符号化方法
KR100823287B1 (ko) * 2007-01-03 2008-04-21 삼성전자주식회사 전역 차이 벡터를 이용한 다시점 영상의 부호화, 복호화방법 및 장치
KR101365574B1 (ko) * 2007-01-29 2014-02-20 삼성전자주식회사 영상 부호화 방법 및 장치, 복호화 방법 및 장치
JP2008187694A (ja) * 2007-01-31 2008-08-14 Matsushita Electric Ind Co Ltd 画像符号化装置およびその方法
US8548261B2 (en) 2007-04-11 2013-10-01 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding multi-view image
US8526499B2 (en) * 2007-06-15 2013-09-03 Sungkyunkwan University Foundation For Corporate Collaboration Bi-prediction coding method and apparatus, bi-prediction decoding method and apparatus, and recording medium
WO2008153262A1 (en) 2007-06-15 2008-12-18 Sungkyunkwan University Foundation For Corporate Collaboration Bi-prediction coding method and apparatus, bi-prediction decoding method and apparatus, and recording midium
TWI375470B (en) * 2007-08-03 2012-10-21 Via Tech Inc Method for determining boundary strength
CN101415122B (zh) * 2007-10-15 2011-11-16 华为技术有限公司 一种帧间预测编解码方法及装置
JP5194833B2 (ja) * 2008-01-23 2013-05-08 ソニー株式会社 符号化装置および方法、記録媒体、並びにプログラム
JP4977094B2 (ja) * 2008-06-25 2012-07-18 株式会社東芝 画像符号化方法
CN101674474B (zh) * 2008-09-12 2011-08-24 华为技术有限公司 一种编码方法、装置及系统
CN101686388B (zh) * 2008-09-24 2013-06-05 国际商业机器公司 视频流编码装置及其方法
WO2010041856A2 (en) * 2008-10-06 2010-04-15 Lg Electronics Inc. A method and an apparatus for processing a video signal
US20100135396A1 (en) * 2008-12-03 2010-06-03 Suk Jung Hee Image processing device
WO2010070818A1 (ja) * 2008-12-16 2010-06-24 株式会社日立製作所 動画像符号化装置、動画像符号化方法、動画像復号化装置および動画像復号化方法
US8320455B2 (en) * 2009-03-05 2012-11-27 Qualcomm Incorporated System and method to process motion vectors of video data
JP5083248B2 (ja) * 2009-03-05 2012-11-28 富士通セミコンダクター株式会社 画像データ復号演算装置
RU2549170C2 (ru) * 2009-03-23 2015-04-20 Нтт Докомо, Инк. Устройство кодирования с предсказанием изображений, способ кодирования с предсказанием изображений, программа кодирования с предсказанием изображений, устройство декодирования с предсказанием изображений, способ декодирования с предсказанием изображений, программа декодирования с предсказанием изображений
CN104159111B (zh) * 2009-05-29 2018-11-06 三菱电机株式会社 图像解码装置以及图像解码方法
WO2011013253A1 (ja) * 2009-07-31 2011-02-03 株式会社 東芝 幾何変換動き補償予測を用いる予測信号生成装置、動画像符号化装置及び動画像復号化装置
CN101827269B (zh) * 2010-01-15 2012-10-17 香港应用科技研究院有限公司 视频编码方法和装置
KR101633153B1 (ko) * 2010-04-01 2016-06-23 소니 주식회사 화상 처리 장치 및 방법
JP5195875B2 (ja) * 2010-11-10 2013-05-15 ソニー株式会社 復号装置及び方法、記録媒体、並びにプログラム
CN102025992B (zh) * 2010-11-23 2012-11-21 浙江大学 用于h.264视频解码系统中帧间预测过程的参考图像管理方法
JP2012209911A (ja) * 2010-12-20 2012-10-25 Sony Corp 画像処理装置および方法
US9596467B2 (en) 2010-12-21 2017-03-14 Nec Corporation Motion estimation device for predicting a vector by referring to motion vectors of adjacent blocks, motion estimation method and storage medium of motion estimation program
GB2559226B (en) * 2011-09-09 2018-11-28 Kt Corp Method for deriving a temporal predictive motion vector
KR101617974B1 (ko) * 2011-09-28 2016-05-03 가부시키가이샤 제이브이씨 켄우드 동영상 인코딩 장치, 동영상 인코딩 방법, 동영상 인코딩 프로그램, 송신 장치, 송신 방법 및 송신 프로그램, 및 동영상 디코딩 장치, 동영상 디코딩 방법, 동영상 디코딩 프로그램, 수신 장치, 수신 방법 및 수신 프로그램
CN103959774B (zh) 2011-11-18 2017-11-24 谷歌技术控股有限责任公司 用于高效视频编码的运动信息的有效存储
US9392235B2 (en) 2011-11-18 2016-07-12 Google Technology Holdings LLC Explicit way for signaling a collocated reference picture for video coding
KR101606661B1 (ko) 2011-11-18 2016-03-25 모토로라 모빌리티 엘엘씨 고효율 비디오 코딩(ｈｅｖｃ)을 위한 병치된 화상을 시그널링하기 위한 명시적 방법
CN104137547B (zh) 2011-11-21 2018-02-23 谷歌技术控股有限责任公司 用于时间预测的共位图片的隐式确定以及组合隐式和显式确定
US9300959B2 (en) * 2011-12-26 2016-03-29 Google Technology Holdings LLC Implicit determination of collocated picture for temporal prediction
JP6144754B2 (ja) 2012-04-11 2017-06-07 モトローラ モビリティ エルエルシーＭｏｔｏｒｏｌａ Ｍｏｂｉｌｉｔｙ Ｌｌｃ 時間的予測のための時間的動きベクトル予測（ｍｖｐ）フラグのシグナリング
WO2013154674A1 (en) 2012-04-11 2013-10-17 Motorola Mobility Llc Evaluation of signaling of collocated reference picture for temporal prediction
JP5197864B2 (ja) * 2012-04-12 2013-05-15 株式会社東芝 画像復号化方法及び装置
US9319681B2 (en) 2012-07-18 2016-04-19 Google Technology Holdings LLC Signaling of temporal motion vector predictor (MVP) enable flag
JP6131652B2 (ja) 2013-03-18 2017-05-24 富士通株式会社 符号化装置、符号化方法、および符号化プログラム
JP6242139B2 (ja) * 2013-10-02 2017-12-06 ルネサスエレクトロニクス株式会社 動画像復号処理装置およびその動作方法
JP5931160B2 (ja) * 2014-11-05 2016-06-08 三菱電機株式会社 画像符号化装置およびビットストリーム
WO2017010073A1 (ja) * 2015-07-10 2017-01-19 日本電気株式会社 動画像符号化装置、動画像符号化方法および動画像符号化プログラムを記憶する記録媒体
JP6078138B1 (ja) * 2015-10-30 2017-02-08 Ｎｔｔエレクトロニクス株式会社 動画像符号化装置及び動画像符号化方法
JP6491587B2 (ja) * 2015-11-06 2019-03-27 日本電信電話株式会社 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法、映像符号化プログラム及び映像復号プログラム
KR20180111378A (ko) * 2017-03-31 2018-10-11 주식회사 칩스앤미디어 병렬 처리를 위한 움직임 정보를 처리하는 영상 처리 방법, 그를 이용한 영상 복호화, 부호화 방법 및 그 장치
JP6694086B2 (ja) * 2019-02-13 2020-05-13 日本電信電話株式会社 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法及びプログラム

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01114180A (ja) * 1987-10-27 1989-05-02 Canon Inc 画像処理装置
JPH04109789A (ja) * 1990-08-29 1992-04-10 Matsushita Electric Ind Co Ltd コンポジットビデオ信号の誤り修整方法
JPH06282946A (ja) * 1993-03-25 1994-10-07 Canon Inc 画像信号再生装置
JP2000023190A (ja) * 1998-06-26 2000-01-21 Sony Corp 動きベクトル生成方法、画像符号化装置、動き補償方法、動き補償装置、及び提供媒体
JP2000030047A (ja) * 1998-07-15 2000-01-28 Sony Corp 符号化装置とその方法および復号化装置とその方法
JP2000261797A (ja) * 1999-03-04 2000-09-22 Nippon Telegr & Teleph Corp <Ntt> 並列ソフトウェア画像符号化方法、および並列ソフトウェア画像符号化プログラムを記録した記録媒体
JP2001309386A (ja) * 2000-04-19 2001-11-02 Mitsubishi Electric Corp 画像処理装置
JP2004007563A (ja) * 2002-04-19 2004-01-08 Matsushita Electric Ind Co Ltd 動画像符号化方法および動画像復号化方法
JP2004007506A (ja) * 2002-04-15 2004-01-08 Matsushita Electric Ind Co Ltd 画像符号化方法および画像復号化方法
JP2004096705A (ja) * 2002-01-09 2004-03-25 Matsushita Electric Ind Co Ltd 動きベクトル符号化方法および動きベクトル復号化方法
JP2005005844A (ja) * 2003-06-10 2005-01-06 Hitachi Ltd 計算装置及び符号化処理プログラム
JP2005070938A (ja) * 2003-08-21 2005-03-17 Matsushita Electric Ind Co Ltd 信号処理装置及びそれを用いた電子機器

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7400681B2 (en) * 2003-11-28 2008-07-15 Scientific-Atlanta, Inc. Low-complexity motion vector prediction for video codec with two lists of reference pictures

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01114180A (ja) * 1987-10-27 1989-05-02 Canon Inc 画像処理装置
JPH04109789A (ja) * 1990-08-29 1992-04-10 Matsushita Electric Ind Co Ltd コンポジットビデオ信号の誤り修整方法
JPH06282946A (ja) * 1993-03-25 1994-10-07 Canon Inc 画像信号再生装置
JP2000023190A (ja) * 1998-06-26 2000-01-21 Sony Corp 動きベクトル生成方法、画像符号化装置、動き補償方法、動き補償装置、及び提供媒体
JP2000030047A (ja) * 1998-07-15 2000-01-28 Sony Corp 符号化装置とその方法および復号化装置とその方法
JP2000261797A (ja) * 1999-03-04 2000-09-22 Nippon Telegr & Teleph Corp <Ntt> 並列ソフトウェア画像符号化方法、および並列ソフトウェア画像符号化プログラムを記録した記録媒体
JP2001309386A (ja) * 2000-04-19 2001-11-02 Mitsubishi Electric Corp 画像処理装置
JP2004096705A (ja) * 2002-01-09 2004-03-25 Matsushita Electric Ind Co Ltd 動きベクトル符号化方法および動きベクトル復号化方法
JP2004007506A (ja) * 2002-04-15 2004-01-08 Matsushita Electric Ind Co Ltd 画像符号化方法および画像復号化方法
JP2004007563A (ja) * 2002-04-19 2004-01-08 Matsushita Electric Ind Co Ltd 動画像符号化方法および動画像復号化方法
JP2005005844A (ja) * 2003-06-10 2005-01-06 Hitachi Ltd 計算装置及び符号化処理プログラム
JP2005070938A (ja) * 2003-08-21 2005-03-17 Matsushita Electric Ind Co Ltd 信号処理装置及びそれを用いた電子機器

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ABE K. ET AL: "Complexity Reduction about Memory for B-picture.", JVT-F062,ISO/IEC JTC1/SG29/WG11 AND ITU-T SG16 Q.6, 13 December 2002 (2002-12-13), pages 5 - 6, XP002989538 *
WIEGAND T. ET AL: "Draft Errata List with Revision-Marked Corrections for H.264/AVC.", JVT-1050,ISO/IEC JTC1/SC29/WG11 AND ITU-T SG16, 5 September 2003 (2003-09-05), pages 110,113 - 116, XP002989537 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9667972B2 (en) 2006-05-24 2017-05-30 Panasonic Intellectual Property Management Co., Ltd. Image coding device, image coding method, and image coding integrated circuit
US10616601B2 (en) 2012-01-20 2020-04-07 Sun Patent Trust Methods and apparatuses for encoding and decoding video using temporal motion vector prediction
CN107483959A (zh) * 2012-02-03 2017-12-15 太阳专利托管公司 图像解码方法及图像解码装置
CN107483959B (zh) * 2012-02-03 2019-12-20 太阳专利托管公司 图像解码方法及图像解码装置
US10623762B2 (en) 2012-02-03 2020-04-14 Sun Patent Trust Image coding method and image coding apparatus
US10904554B2 (en) 2012-02-03 2021-01-26 Sun Patent Trust Image coding method and image coding apparatus
US11451815B2 (en) 2012-02-03 2022-09-20 Sun Patent Trust Image coding method and image coding apparatus
US11812048B2 (en) 2012-02-03 2023-11-07 Sun Patent Trust Image coding method and image coding apparatus
US10560716B2 (en) 2012-03-06 2020-02-11 Sun Patent Trust Moving picture coding method, moving picture decoding method, moving picture coding apparatus, moving picture decoding apparatus, and moving picture coding and decoding apparatus
US10880572B2 (en) 2012-03-06 2020-12-29 Sun Patent Trust Moving picture coding method, moving picture decoding method, moving picture coding apparatus, moving picture decoding apparatus, and moving picture coding and decoding apparatus
US11595682B2 (en) 2012-03-06 2023-02-28 Sun Patent Trust Moving picture coding method, moving picture decoding method, moving picture coding apparatus, moving picture decoding apparatus, and moving picture coding and decoding apparatus
US11949907B2 (en) 2012-03-06 2024-04-02 Sun Patent Trust Moving picture coding method, moving picture decoding method, moving picture coding apparatus, moving picture decoding apparatus, and moving picture coding and decoding apparatus

Also Published As

Publication number Publication date
CN1910933A (zh) 2007-02-07
EP1746842A1 (en) 2007-01-24
JP2005244503A (ja) 2005-09-08
US20070286281A1 (en) 2007-12-13
JP3879741B2 (ja) 2007-02-14
KR20060127155A (ko) 2006-12-11

Similar Documents

Publication Publication Date Title
JP3879741B2 (ja) 画像情報符号化装置および画像情報符号化方法
JP6672226B2 (ja) 大型マクロ・ブロックを用いたビデオ・コーディング
US10812803B2 (en) Intra prediction method and apparatus
RU2665877C2 (ru) Способ и устройство обработки изображения
JP6707678B2 (ja) 動き補償予測のための方法及び装置
JP5018085B2 (ja) 動き予測補償方法及び動き予測補償装置
KR102086029B1 (ko) 인터 예측 방법 및 그 장치
US9955155B2 (en) Method for encoding video information and method for decoding video information, and apparatus using same
KR100950743B1 (ko) 화상 정보 부호화 장치 및 방법, 및 화상 정보 복호 장치및 방법
US20110176614A1 (en) Image processing device and method, and program
EP2285114A2 (en) Advanced bi-directional predictive coding of interlaced video
KR102216320B1 (ko) 인터 예측 방법 및 그 장치
US20120106862A1 (en) Image processing device, method, and program
JP2013520875A (ja) ビデオコーディングのための適応動き解像度
WO2006035584A1 (ja) 符号化装置、符号化方法、符号化方法のプログラム及び符号化方法のプログラムを記録した記録媒体
WO2013009104A2 (ko) 인터 예측 방법 및 그 장치
US20120147960A1 (en) Image Processing Apparatus and Method
JP2022548650A (ja) 履歴ベースの動きベクトル予測
JP2009089332A (ja) 動き予測方法及び動き予測装置
JP7140908B2 (ja) 動きベクトル取得方法、装置、コンピュータ・デバイス及び記憶媒体
EP2314066A1 (en) Simple next search position selection for motion estimation iterative search
US20230209067A1 (en) Intra prediction method and apparatus
US20120121019A1 (en) Image processing device and method
KR102281514B1 (ko) 인터 예측 방법 및 그 장치
JP5513333B2 (ja) 動画像符号化装置、動画像符号化方法、およびプログラム

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200580002705.6

Country of ref document: CN

AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LT LU MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2005709659

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 1020067017020

Country of ref document: KR

WWP Wipo information: published in national office

Ref document number: 2005709659

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 10590413

Country of ref document: US

WWP Wipo information: published in national office

Ref document number: 10590413

Country of ref document: US