WO2010137324A1 - 画像符号化装置、画像復号装置、画像符号化方法、および画像復号方法 - Google Patents

画像符号化装置、画像復号装置、画像符号化方法、および画像復号方法 Download PDF

Info

Publication number
WO2010137324A1
WO2010137324A1 PCT/JP2010/003553 JP2010003553W WO2010137324A1 WO 2010137324 A1 WO2010137324 A1 WO 2010137324A1 JP 2010003553 W JP2010003553 W JP 2010003553W WO 2010137324 A1 WO2010137324 A1 WO 2010137324A1
Authority
WO
WIPO (PCT)
Prior art keywords
motion
motion vector
prediction
block
motion prediction
Prior art date
Application number
PCT/JP2010/003553
Other languages
English (en)
French (fr)
Inventor
関口俊一
杉本和夫
伊谷裕介
峯澤彰
加藤嘉明
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=43222450&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=WO2010137324(A1) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Priority to KR1020147002835A priority Critical patent/KR101455579B1/ko
Priority to US13/322,820 priority patent/US8934548B2/en
Priority to EP21183819.8A priority patent/EP3998776B1/en
Priority to CN201080023464.4A priority patent/CN102450017B/zh
Priority to KR1020147013628A priority patent/KR101514191B1/ko
Priority to JP2011515899A priority patent/JP5215462B2/ja
Priority to CA2763211A priority patent/CA2763211C/en
Priority to KR1020137024666A priority patent/KR101490646B1/ko
Priority to MX2011012672A priority patent/MX2011012672A/es
Priority to RU2011154147/08A priority patent/RU2509438C2/ru
Priority to EP21183815.6A priority patent/EP3998775B1/en
Priority to BR122015017701-4A priority patent/BR122015017701B1/pt
Priority to KR1020117030687A priority patent/KR101312213B1/ko
Priority to KR1020137012749A priority patent/KR101376018B1/ko
Priority to BR122015017700-6A priority patent/BR122015017700B1/pt
Priority to EP10780284.5A priority patent/EP2437500A4/en
Priority to SG2011085313A priority patent/SG176160A1/en
Priority to BR122015017699-9A priority patent/BR122015017699B1/pt
Priority to EP17178390.5A priority patent/EP3261346B1/en
Priority to BRPI1015415-9A priority patent/BRPI1015415B1/pt
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Publication of WO2010137324A1 publication Critical patent/WO2010137324A1/ja
Priority to ZA2011/09121A priority patent/ZA201109121B/en
Priority to HK12108525.3A priority patent/HK1167966A1/xx
Priority to US14/560,972 priority patent/US9036713B2/en
Priority to US14/626,616 priority patent/US9930356B2/en
Priority to US14/626,603 priority patent/US9930355B2/en
Priority to US14/626,625 priority patent/US9924190B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/57—Motion estimation characterised by a search window with variable size or shape
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/53—Multi-resolution motion estimation; Hierarchical motion estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/55—Motion estimation with spatial constraints, e.g. at image or region borders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/567—Motion estimation based on rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H04N19/619—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding the transform being operated outside the prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Definitions

  • the present invention relates to an image encoding device, an image decoding device, an image encoding method, and an image decoding method used for image compression encoding technology, compressed image data transmission technology, and the like.
  • MPEG and ITU-T H.264 In an international standard video encoding scheme such as 26x, compression processing is performed by dividing an input video frame into units of macroblocks composed of 16 ⁇ 16 pixel blocks.
  • the size of a conventional 16 ⁇ 16 pixel macroblock is expanded to a 32 ⁇ 32 pixel block as in Non-Patent Document 1, and the motion vector allocation unit is increased.
  • Techniques have been proposed in which the code amount of parameters necessary for prediction is reduced, or the block size for transform coding of a prediction error signal is increased to effectively remove the inter-pixel correlation of the signal.
  • FIG. 21 is a block diagram showing a configuration of an encoding apparatus according to Non-Patent Document 1.
  • an input video signal 1001 to be encoded is divided into units of macroblocks (rectangular blocks of 32 pixels ⁇ 32 lines corresponding to luminance signals) in a block dividing unit 1002 and encoded.
  • the converted video signal 1003 is input to the prediction unit 1004.
  • the prediction unit 1004 predicts the image signal of each color component in the macroblock between frames and between frames to obtain a prediction error signal 1005.
  • a prediction error signal 1005 is obtained by taking the difference from the normalized video signal 1003.
  • the compression unit 1006 performs DCT (Discrete Cosine Transform) processing on the prediction error signal 1005 while changing the block size in accordance with the size of the motion vector allocation unit region, removes the signal correlation, and then quantizes the prediction error signal 1005. Thus, compressed data 1007 is obtained.
  • the compressed data 1007 is entropy-encoded by the variable-length encoding unit 1008 and output as a bit stream 1009 and sent to the local decoding unit 1010 to obtain a decoded prediction error signal 1011.
  • DCT Discrete Cosine Transform
  • the decoded prediction error signal 1011 is added to the prediction signal 1012 used to generate the prediction error signal 1005 to obtain a decoded signal 1013, which is input to the loop filter 1014.
  • the decoded signal 1013 is stored in the memory 1016 as a reference image signal 1015 for generating a subsequent prediction signal 1012 after the processing for removing block distortion is performed by the loop filter 1014.
  • the prediction signal generation parameter 1017 determined by the prediction unit 1004 in order to obtain the prediction signal 1012 is sent to the variable length coding unit 1008, multiplexed with the bit stream 1009, and output.
  • the prediction signal generation parameter 1017 includes, for example, information such as an intra prediction mode indicating how to perform spatial prediction within a frame and a motion vector indicating a motion amount between frames.
  • Non-Patent Document 1 discloses a macroblock size of 32 ⁇ 32 pixel blocks (super macroblock: SMB). ) Is used.
  • FIG. 22 shows how the motion vector allocation region is divided when performing motion compensation prediction for each M ⁇ M pixel macroblock.
  • FIG. 22A shows SMB of Non-Patent Document 1
  • FIG. Conventional MPEG-4 AVC / H. H.264 see Non-Patent Document 2.
  • Non-Patent Document 2 a special mode in which no data to be encoded is generated for a motion vector or a prediction error signal is provided.
  • a special mode called a skip mode in which no data to be encoded is generated for a motion vector or a prediction error signal is provided.
  • the skip mode can be selected only when the area to which the motion vector is allocated is the same size as the macro block. Therefore, when the macroblock size is expanded as in Non-Patent Document 1, since the skip mode is set only for the motion prediction block of the maximum size, the skip mode is applied to the motion prediction block of a smaller size. There is a problem that it is difficult to improve the efficiency of encoding.
  • the present invention has been made to solve the above-described problems, has a good mounting load balance, and better removes signal correlation according to the statistical and local properties of the video signal to be encoded.
  • an image encoding device and method thereof and an image decoding device and method thereof, which realizes a video encoding method that performs efficient information compression and enhances the optimality for encoding an ultra-high definition video signal. For the purpose.
  • the image coding apparatus adaptively determines the size of a motion prediction unit block in a macroblock according to a predetermined condition, and searches for a motion vector by dividing the motion prediction unit block into motion vector allocation regions.
  • the motion vector is assigned to the entire prediction unit and the motion prediction unit block
  • the motion vector is equal to the prediction vector obtained from the motion vector of the surrounding motion prediction unit block, and is encoded as a motion prediction error signal
  • encoding is performed as the first skip mode
  • the motion vector allocation area is equal to or larger than a predetermined size and a motion vector is allocated to the entire motion vector allocation area, the motion vector is allocated to surrounding motion vectors.
  • Prediction vector obtained from area motion vector, etc. Ku and it is obtained by so and a coding unit for encoding is performed as a second skip mode if there is no data to be encoded as a motion prediction error signal.
  • the image decoding apparatus includes, from a bitstream, a motion prediction mode for specifying a size of a motion prediction unit block in a macroblock, a shape of a motion vector allocation region obtained by dividing the motion prediction unit block, and a motion vector allocation region
  • the data indicating the motion vector corresponding to is decoded to determine whether the motion prediction unit block is in the first skip mode and whether the motion vector allocation region is in the second skip mode from the motion prediction mode.
  • a prediction vector is obtained from the surrounding motion vectors and set as a motion vector.
  • Motion prediction error is generated by setting all motion prediction error signals to zero and generating a predicted image.
  • a prediction image is generated based on the motion prediction mode and the motion vector decoded by the decoding unit. Is provided with a predicting unit for generating.
  • the image coding method adaptively determines the size of a motion prediction unit block in a macro block according to a predetermined condition, and searches for a motion vector by dividing the motion prediction unit block into motion vector allocation regions. And when the motion vector is assigned to the entire motion prediction unit block, the motion vector is equal to the prediction vector obtained from the motion vector of the surrounding motion prediction unit block, and is encoded as a motion prediction error signal If there is no motion vector, encoding is performed as the first skip mode, and when the motion vector allocation area is equal to or larger than a predetermined size and a motion vector is allocated to the entire motion vector allocation area, the motion vector is allocated to surrounding motion vectors. Predictive vector obtained from region motion vector Equally, and it is obtained by so and a coding step of encoding is performed as a second skip mode if there is no data to be encoded as a motion prediction error signal.
  • the image decoding method includes, from a bitstream, a motion prediction mode for specifying a size of a motion prediction unit block in a macroblock, a shape of a motion vector allocation region obtained by dividing the motion prediction unit block, and a motion vector allocation region
  • the data indicating the motion vector corresponding to is decoded to determine whether the motion prediction unit block is in the first skip mode and whether the motion vector allocation region is in the second skip mode from the motion prediction mode.
  • a prediction vector is obtained from the surrounding motion vectors and set as a motion vector. Set the motion prediction error signal to all zeros to generate a predicted image.
  • the 4: 4: 4 format video signal is encoded.
  • FIG. 4 shows a 4: 4: 4 format to be processed by the image coding apparatus and the image decoding apparatus according to Embodiment 1 of the present invention.
  • 1 is a block diagram showing a configuration of an image encoding device according to Embodiment 1.
  • FIG. 3 is a flowchart illustrating an operation of a variable length coding unit illustrated in FIG. 2. It is explanatory drawing which shows the concept of a context model (ctx). It is explanatory drawing which shows the example of the context model (ctx) regarding a motion vector.
  • FIGS. 14A and 14B are diagrams for explaining a difference in correlation between motion prediction modes, and two states of motion prediction modes selected in the basic blocks B a and B b are shown in FIGS. It is a figure which shows the binarization result of the motion estimation mode of the binarization part shown in FIG. It is a figure explaining the binarization of the motion prediction mode by the binarization part shown in FIG. 10, and shows the context model selection method of bin0. It is a figure explaining the binarization of the motion prediction mode by the binarization part shown in FIG. 10, and shows the context model selection method of bin1. It is a figure explaining the binarization of the motion prediction mode by the binarization part shown in FIG. 10, and shows the context model selection method of bin2.
  • FIG. 10 is a block diagram showing a configuration of an image decoding device according to Embodiment 1.
  • FIG. 19 is a flowchart illustrating an operation of the variable length decoding unit illustrated in FIG. 18.
  • FIG. 18 It is a block diagram which shows the structure of the encoding apparatus by a nonpatent literature 1.
  • a state of a divided shape of a motion vector allocation region when motion compensation prediction is performed for each macroblock is shown.
  • Embodiment 1 FIG.
  • motion compensation prediction processing is performed in accordance with the state of each color component signal for an image encoding device and an image decoding device that compress and expand a digital video signal input in 4: 4: 4 format.
  • An image encoding device and an image decoding device will be described.
  • FIG. 1 shows a 4: 4: 4 format used as an input by the image encoding device and the image decoding device according to the first embodiment.
  • the 4: 4: 4 format refers to a format in which the number of pixels of the three signal components C0, C1, and C2 constituting the color moving image are all the same, as shown in FIG.
  • the color space of the three signal components may be RGB or XYZ, or may be luminance / color difference (YUV, YCbCr, or YPbPr).
  • 1B has a color space of YUV, YCbCr, or YPbPr, and a color difference signal component with respect to the number of pixels of luminance Y.
  • the image encoding device and the image decoding device described below are systems in which the 4: 4: 4 format color space is YUV, YCbCr, or YPbPr, and each color component is regarded as corresponding to a luminance component.
  • the description will be limited to. However, it is needless to say that the operation described below can be directly applied to the luminance signal in an image encoding device and an image decoding device for a video signal of 4: 2: 0 format.
  • FIG. 2 is a block diagram showing a configuration of the image encoding device according to the first embodiment.
  • the image encoding apparatus shown in FIG. 2 divides an input video frame in 4: 4: 4 format into blocks of a predetermined size, that is, M max ⁇ M max pixel blocks (hereinafter referred to as “reference blocks”), and Motion prediction is performed in units of blocks, and the prediction error signal is compressed and encoded.
  • reference blocks M max ⁇ M max pixel blocks
  • FIG. 3 shows a reference block generated by the block dividing unit 2.
  • the reference block is configured as reference block data of a unit in which rectangular blocks each having M max ⁇ M max pixels are collected.
  • the reference block size M max is determined and encoded at a frame or sequence, or an upper layer data level such as GOP (Group Of Pictures). Note that the reference block size Mmax may be changed within the frame, but in this case, the reference block size Mmax is designated in units of a plurality of macroblocks such as slices.
  • the reference block data is further divided into “motion prediction unit blocks” of L i ⁇ M i pixel blocks (i: color component identifiers), and motion prediction and encoding are performed based on the motion prediction unit blocks.
  • the reference block of each color component in the 4: 4: 4 format is the same for the three color components C0, C1, and C2, and three colors are used when the reference block size Mmax is changed. All components shall be changed to the same size.
  • Each of the motion prediction unit block sizes L i and M i can be selected for each of the color components C0, C1, and C2, and can be changed in units of sequence, GOP, frame, reference block, and the like. Also good. By adopting such a configuration, it is possible to flexibly determine the motion prediction unit block sizes L i and M i according to the difference in signal characteristics for each color component without changing the reference block size M max. In addition, it is possible to efficiently implement the coding / decoding processing in parallel / pipelining in units of reference blocks.
  • the prediction unit 4 obtains a prediction error signal (motion prediction error signal) 5 by performing motion compensation prediction on the image signal of each color component in the reference block. Since the operation of the prediction unit 4 is a feature of the image coding apparatus according to the first embodiment, it will be described in detail later.
  • the compression unit 6 performs conversion processing such as DCT processing on the prediction error signal 5 to remove the signal correlation, and then quantizes to obtain prediction error compressed data 7. At this time, the compression unit 6 performs orthogonal transform / quantization such as DCT on the prediction error signal 5 and outputs the prediction error compressed data 7 to the variable length encoding unit (encoding unit) 8 and the local decoding unit 10. .
  • the variable length coding unit 8 entropy codes the prediction error compressed data 7 and outputs it as a bit stream 9.
  • the local decoding unit 10 obtains a decoded prediction error signal 11 from the prediction error compressed data 7.
  • This decoded prediction error signal 11 is added to the prediction signal (prediction image) 12 used for generation of the prediction error signal 5 by the adding unit to become a decoded signal 13, which is input to the loop filter 14.
  • the prediction signal generation parameter 17 determined by the prediction unit 4 in order to obtain the prediction signal 12 is sent to the variable length coding unit 8 and output as the bit stream 9.
  • the contents of the prediction signal generation parameter 17 will be described in detail later together with the description of the prediction unit 4.
  • the encoding method of the prediction signal generation parameter 17 in the variable length encoding unit 8 is also one of the features in the first embodiment, and will be described in detail later.
  • the loop filter 14 applies a block distortion removal filter to the decoded signal 13 on which the block distortion generated along with the transform coefficient quantization in the compression unit 6 is superimposed using the prediction signal generation parameter 17 and the quantization parameter 19. .
  • the decoded signal 13 is stored in the memory 16 as a reference image signal 15 for generating a subsequent prediction signal 12 after being subjected to processing for removing coding noise by the loop filter 14.
  • Non-Patent Documents 1 and 2 when a reference block is a macroblock, a method of encoding while selecting intraframe encoding or interframe predictive encoding in units of macroblocks is generally used. is there. This is because when the motion prediction between frames is not sufficient, the use of the correlation within the frame may make the encoding more efficient.
  • the description of the intraframe coding and the selective use thereof will not be described in the text when explaining the points of the invention, but unless otherwise specified, the reference block The configuration is such that selective use of intra-frame coding in units of.
  • the reference block may be defined as a macro block, but the term “reference block” will be used in the following for description of motion prediction.
  • the detailed operation of the prediction unit 4 that is one of the features of the first embodiment will be described below.
  • the features of the prediction unit 4 of the first embodiment are the following three points. (1) Reference block / motion prediction unit Coordinated adaptation of block size and division shape used for motion prediction (2) Determination of motion prediction mode and motion vector according to the properties of each color component (3) Reference block / motion prediction unit Adaptive skip mode selection based on block size
  • the prediction unit 4 first divides the reference block into motion prediction unit blocks of L i ⁇ M i pixels in accordance with the characteristics of the signals of the respective color components, and further divides the motion prediction unit block into l i ⁇ . Divide into a plurality of shapes consisting of combinations of mi pixels. Then, the prediction unit 4 performs prediction by assigning a unique motion vector to each divided region, selects a shape having the highest prediction efficiency as a motion prediction mode, and uses each resultant divided motion vector as a motion vector. A prediction error signal 5 is obtained by performing a motion prediction on.
  • the division shape in the motion prediction unit block is assumed to be a shape constituted by a combination of “basic blocks” composed of l i ⁇ m i pixels.
  • FIG. 4 shows the basic block division shape determined by these conditions.
  • FIG. 4 is an explanatory diagram showing a shape example obtained by dividing the motion prediction unit block by the basic block unit by the prediction unit 4.
  • divided pattern patterns (divided patterns) mc_mode 0 to 7 shown in FIG. 4 are common to three color components.
  • the division patterns mc_mode 0 to 7 may be configured to be determined independently for the three color components.
  • the divided patterns mc_mode 0 to 7 are hereinafter referred to as “motion prediction mode”.
  • the shape of the motion prediction application region is limited to a rectangle, and diagonal division other than the rectangle as shown in FIG. 4 cannot be used.
  • Motion prediction can be performed with fewer motion vectors than division.
  • “S. Kondo and H. Sasai,“ A Motion Compensation Technique using Sliced Blocks and its Application to Hybrid Video Coding ”, VCIP 2005, July 2005” The diversification method is disclosed.
  • the division shape is expressed by the intersection position between a line segment for performing macroblock division and its block boundary.
  • this method is a method of increasing the division pattern in the reference block while the number of pixels M is fixed, and has the following problems.
  • the value of the size M max of the basic block is not changed locally within the frame or slice, but can be changed only at a higher data structure level such as a frame level or a frame sequence (sequence, GOP).
  • This mechanism makes it possible to adapt to differences in the meaning of the image signal patterns included in the reference block. For example, the meaning of the signal pattern in the same M max ⁇ M max pixel block is different between a video with a small resolution (Video Graphics Array, VGA, etc.) and a video with a large resolution (HDTV, etc.).
  • the processing unit for motion prediction can be optimized according to the signal characteristics of each color component. Furthermore, by providing a limited degree of freedom of the division pattern in the motion prediction unit block as shown in FIG.
  • the overall efficiency of motion prediction is suppressed while suppressing the amount of code required for the division pattern representation in the motion prediction unit block. Can be improved. Further, if the process of determining the value of the reference block size Mmax at the frame level is performed efficiently, then the variation of the division pattern to be inspected in the reference block can be reduced as compared with the prior art. The load can be reduced.
  • Examples of a method for determining the value of the reference block size M max include the following methods. (1) Determine based on the resolution of the video to be encoded. In the case of the same M max value, when the resolution is high, the image signal pattern in the reference block has a more noise component meaning, and the motion vector becomes difficult to capture the image signal pattern. In such a case, an image signal pattern can be captured by increasing the M max value. (2) Considering the difference value between frames as an activity, if the activity is large, the M max value is small. Motion prediction is performed with a large M max value. In addition, the size control at this time is determined based on the frame rate of the video to be encoded.
  • the motion prediction unit block sizes L i and M i are determined for each color component.
  • the input video signal 1 is a signal defined in a color space of YUV (or YCbCr or the like)
  • the U / V component that is a color signal has a narrower signal band than the luminance signal Y component. Therefore, the intra-block variance is smaller than the luminance.
  • an example of a judgment criterion such that the U / V component sizes L i and M i are configured to take values larger than the luminance signal Y component sizes L i and M i can be considered (FIG. 3). reference).
  • the image encoding device includes a reference block size determining unit that determines values of M max, L i, and M i and notifies the respective units to the reference block size.
  • the structure which determines the information 18 may be sufficient.
  • the prediction unit 4 executes a motion detection process using the division patterns of FIGS. 3 and 4 based on the motion prediction unit block sizes L i and M i derived from the reference block size information 18.
  • FIG. 5 is a flowchart showing the operation of the prediction unit 4.
  • the prediction unit 4 performs motion prediction on the C i component of the frame in units of motion prediction unit blocks of L i ⁇ M i pixels. Basically, in this process, the optimum motion vector for each divided region is detected in the designated motion search range for each of the divided patterns from mc_mode 0 to 7 in FIG. 4, and finally mc_mode 0 for the motion prediction unit block is detected. It is determined which of the motion prediction modes (1) to (7) is the best in prediction efficiency.
  • the prediction efficiency is calculated between the total code amount R of the motion vectors in the motion prediction unit block, the prediction signal 12 generated from the reference image stored in the memory 16 by applying the motion vector, and the input video signal 1. It is defined by the following cost J derived from the prediction error amount D.
  • the prediction unit 4 first calculates the cost J k for each motion prediction mode mc_mode k (step ST1).
  • FIG. 6 illustrates a method for calculating the cost J by taking the case of mc_mode5 as an example.
  • the motion prediction unit block to be predicted in the frame F (t) is composed of two divided regions B 0 and B 1 .
  • the memory 16 stores two encoded / locally decoded reference images F ′ (t ⁇ 1) and F ′ (t ⁇ 2), and the divided areas B 0 and B 1 are stored in these 2 regions. Assume that motion prediction can be performed using the reference images F ′ (t ⁇ 1) and F ′ (t ⁇ 2).
  • FIG. 6 illustrates a method for calculating the cost J by taking the case of mc_mode5 as an example.
  • the motion prediction unit block to be predicted in the frame F (t) is composed of two divided regions B 0 and B 1 .
  • the memory 16 stores two encoded / locally decoded reference images F ′ (t ⁇ 1)
  • the divided area B 0 uses the reference image F ′ (t ⁇ 2) to detect a motion vector MV t ⁇ 2 (B 0 ), and the divided area B 1 uses the reference image F ′ (t ⁇ 1).
  • the motion vector MV t-1 (B 1 ) is detected.
  • v is a motion vector
  • the prediction error amount D of the divided area B is the sum of absolute differences (Sum of Absolute Difference, SAD) can be used to calculate the following equation (2).
  • MVD (B 0 ) MV t ⁇ 2 (B 0 ) ⁇ PMV (B 0 ) (3)
  • MVD (B 1 ) MV t ⁇ 1 (B 1 ) ⁇ PMV (B 1 )
  • the prediction unit 4 calculates the cost J for all motion vectors to be inspected within the search range, and obtains a solution having the smallest cost J as the division pattern of mc_mode5.
  • Mc_mode7 for further l i ⁇ m i pixel block, to select the motion prediction mode corresponding to the mode of mc_mode0 ⁇ 7 Configure.
  • the name of the mode at this time is sub_mc_mode 0 to 7 for convenience.
  • l i ⁇ m i processing for determining the sub_mc_mode for a pixel block is assumed to conform to the processing flow shown in FIG. 5, L i ⁇ M i cost J 7 of mc_mode7 corresponding to a pixel block unit, l i ⁇ m i pixels The total cost obtained using sub_mc_mode determined in block units.
  • step ST2 “Yes” the prediction unit 4 outputs the motion prediction mode, the motion vector, and the prediction error signal 5 that have been held so far as a final solution (step ST5). ). Otherwise (step ST2 “No” or step ST4 “No”), the variable k is incremented in step ST6, and the process returns to step ST1 to verify the next motion prediction mode.
  • the motion vector matches the prediction vector (the prediction difference value to be encoded is zero), and all the coefficients after conversion and quantization of the prediction error signal are zero.
  • mc_skip mode first skip mode
  • sub_mc_skip mode second skip mode
  • FIG. 8 is a diagram for explaining the skip mode.
  • a rectangle surrounded by a single solid line indicates a motion prediction unit block, and its motion vector is MV.
  • the motion prediction unit block is regarded as the mc_skip mode.
  • FIG. 8B is an enlarged view centered on the basic block indicated by shading in FIG. 8A, and the thick line frame indicates the motion prediction unit block region. In this case, sub_mc_mode of the target basic block corresponds to sub_mc_mode0.
  • mc_mode0 that is, the largest motion prediction unit block (in Non-Patent Documents 1 and 2, the reference block and the motion prediction unit block in Embodiment 1 are The skip mode corresponding to only the same size and corresponding to the macroblock is provided, and the macroblock information is designed not to be encoded at all in the skip mode.
  • the first embodiment is characterized in that this is further defined in the sub_mc_mode hierarchy.
  • a motion prediction unit smaller than the size of the macroblock.
  • the skip mode for ultra-high-definition video exceeding HDTV and video signals with a high sampling rate such as 4: 4: 4 format, it is only necessary to provide a skip mode only for the size of the motion prediction unit block consisting of L i ⁇ M i pixel blocks.
  • the skip condition cannot be used effectively, and the zero-value motion vector and zero coefficient value are always explicitly coded. Encoding efficiency is poor.
  • the sub_mc_skip mode can be selected and used for each basic block.
  • the prediction error signal 5 and the prediction signal generation parameter 17 are output, and these are entropy encoded by the variable length encoding unit 8.
  • an entropy encoding method of the prediction signal generation parameter 17 which is one of the features of the image encoding apparatus according to the first embodiment will be described.
  • FIG. 9 is a diagram for explaining the entropy encoding method of the variable length encoding unit 8. In the image coding apparatus according to the first embodiment, as shown in FIG.
  • Entropy encoding is performed by selectively referring to the state of the motion prediction mode m (B c ) of the basic block B c at the position.
  • FIG. 10 shows the internal configuration of the variable-length encoding unit 8, and FIG. 11 shows its operation flow.
  • the variable length encoding unit 8 according to the first embodiment includes a context model determining unit 21 that determines a context model (described later) that is defined for each data type such as a motion prediction mode or a motion vector that is data to be encoded.
  • Binarization unit 22 for converting multilevel data into binary data in accordance with the binarization rule defined for each encoding target data type, occurrence probability of individual bin value (0/1) after binarization
  • the occurrence probability generating unit 23 for providing the occurrence probability
  • the encoding unit 24 for performing arithmetic coding based on the generated occurrence probability
  • the occurrence probability information storage memory 25 for storing the occurrence probability information.
  • the input to the context model determination unit 21 will be described by limiting to the motion prediction mode and the motion vector in the prediction image generation parameter 17.
  • a context model is a model of a dependency relationship with other information that causes fluctuations in the occurrence probability of an information source symbol.By switching the state of the occurrence probability according to this dependency relationship, the actual state of the symbol is determined. Thus, it is possible to perform encoding adapted to the occurrence probability.
  • FIG. 12 shows the concept of the context model ctx. In the figure, the information source symbol is binary, but it may be multi-valued. However, in the first embodiment, only binary arithmetic coding is handled.
  • the choices of the context model ctx of 0 to 2 in FIG. 12 are defined on the assumption that the state of occurrence probability of the information source symbol using this context model ctx will change depending on the situation.
  • the value of the context model ctx is switched according to the dependency between the coded data in a certain reference block and the coded data in the surrounding reference blocks.
  • FIG. 13 shows an example of a context model related to a motion vector disclosed in “D. Marpe et. Al.,“ Video Compression Using Context-Based Adaptive Arithmetic Coding ”, International Conference on Image Processing 2001”.
  • the motion vector of block C is an encoding target (more precisely, the prediction difference value mvd k (C) obtained by predicting the motion vector of block C from the vicinity is encoded).
  • ctx_mvd (C, k) represents a context model for the motion vector of block C.
  • mvd k (A) represents a motion vector prediction difference value in block A
  • mvd k (B) represents a motion vector prediction difference value in block B.
  • the evaluation value e k (C) indicates the degree of variation of nearby motion vectors. Generally, when this variation is small, the motion vector prediction difference value mvd k (C) is small, and conversely, the evaluation value When e k (C) is large, the motion vector prediction difference value mvd k (C) also tends to be large. Therefore, it is desirable that the symbol occurrence probability of the motion vector prediction difference value mvd k (C) is adapted based on the evaluation value e k (C).
  • This variation set of occurrence probability is a context model, and in this case, it can be said that there are three types of occurrence probability variations.
  • a context model is defined in advance for each encoding target data, and is shared by the image encoding device and the image decoding device.
  • the context model determination unit 21 performs a process of selecting a model determined in advance based on the type of encoding target data. Note that which occurrence probability variation in the context model is selected corresponds to the occurrence probability generation process (C) below.
  • the variable-length encoding unit 8 prepares a plurality of context model 26 candidates to be allocated to the motion prediction mode and the motion vector, and switches the context model 26 to be used according to the context model selection information 27. .
  • the motion prediction mode m (B x ) of the basic block B x to be predicted / coded is spatially adjacent in the same frame if the correlation between the motion states is low between frames. (Ie, the value of the motion prediction mode m (B x ) is strongly influenced by the divided shapes of the motion prediction modes m (B a ) and m (B b )).
  • FIG. 14A with respect to the division shape of the motion prediction mode m (B x ), the division breaks are naturally connected to both the basic blocks B a and B b .
  • FIG. 14A with respect to the division shape of the motion prediction mode m (B x ), the division breaks are naturally connected to both the basic blocks B a and B b .
  • the basic blocks B a and B b are not connected to each other.
  • this divided shape indicates the presence of a plurality of different motion regions existing in the reference block, and thus it is easy to reflect the structure of the video. Therefore, the state shown in FIG. 14A is considered to be a “prone state” than the state shown in FIG. That is, the occurrence probability of the motion prediction mode m (B x ) is affected according to the state of the motion prediction mode m (B a ), m (B b ).
  • variable-length encoding unit 8 moves the basic block B c at the same position as the basic block B x in the immediately preceding adjacent frame.
  • the prediction mode m (B c ) is used for determining the context model 26.
  • Variable length coding unit 8 as well in determining the context model 26 of the motion vector, the lower the correlation of the motion state between frames, the motion vector of the left block B a same frame, the upper block B The motion vector b is used to determine the context model 26.
  • the level of the correlation between the motion states between frames is detected by a predetermined method in the image encoding device, and the value of the context model selection information 27 is explicitly multiplexed on the bit stream 9 and transmitted to the image decoding device.
  • the value of the context model selection information 27 may be determined based on information that can be detected by both the image encoding device and the image decoding device. Since the video signal is non-stationary, the efficiency of arithmetic coding can be increased by enabling such adaptive control.
  • Binarization process (step ST12 in FIG. 11)
  • the data to be encoded is binarized by the binarization unit 22 and determined according to each bin (binary position) of the binary sequence.
  • conversion into a variable-length binary sequence is performed in accordance with a rough distribution of values that can be taken by each encoded data.
  • Binarization is a streamlined context model that can reduce the number of probabilistic linear divisions and simplify operations by encoding in bin units the original encoding target data that can take multiple values as it is. There are merits such as becoming possible.
  • Bin0 indicates whether or not the state of the motion prediction unit block at the upper (block A) / left (block B) position with respect to the encoding target data (block C) is “skip mode”. This is the basis for switching the probability of occurrence. As shown in FIG. 16A, Bin0 indicates whether or not the state of the motion prediction unit block at the upper (block A) / left (block B) position with respect to the encoding target data (block C) is “skip mode”. This is the basis for switching the probability of occurrence. As shown in FIG.
  • Bin1 uses the state of the motion prediction unit block at the upper (block A) / left (block B) position as “whether there is a motion prediction block division” or not as a basis for switching the occurrence probability.
  • Bin2 uses the occurrence probability switching criterion based on whether the state of the block at the upper (block A) / left (block B) position is “complex motion prediction mode”.
  • Bin3 does not define a context model and is fixed to a predetermined occurrence probability.
  • Bin4 uses the state of the block at the position of the left (block B) as “whether the motion prediction shape division is horizontal division or not” as the occurrence probability switching reference. As shown in FIG.
  • Bin5 uses the state of the block at the upper (block A) position as “whether or not the motion prediction shape division is a vertical division” as a reference for switching the occurrence probability.
  • step ST13 in FIG. 11 Occurrence probability generation process
  • the binarization of the multi-value encoding target data and the setting of the context model applied to each bin are completed, and the preparation for encoding is completed.
  • generation processing of generation probability information used for arithmetic coding is performed in the generation probability generation unit 23. Since each context model includes variations of occurrence probabilities for each value of 0/1, processing is performed with reference to the context model 26 determined in step ST11.
  • the occurrence probability generation unit 23 determines an evaluation value for selection of an occurrence probability such as the evaluation value e k (C) shown in FIG.
  • variable-length encoding unit 8 includes an occurrence probability information storage memory 25, and stores occurrence probability information 28 that is sequentially updated in the process of encoding for the variation of the context model used. It has a mechanism to do.
  • the occurrence probability generation unit 23 determines the occurrence probability information 28 used for the current encoding according to the value of the context model 26.
  • step ST14 Encoding process (step ST14 in FIG. 11)
  • the occurrence probability of each value of 0/1 on the probability number line necessary for the arithmetic coding process is obtained, so that the coding unit 24 performs arithmetic according to the process given in the conventional example.
  • Encoding is performed (step ST14).
  • the actual encoded value (0/1) 29 is fed back to the occurrence probability generation unit 23, and the occurrence frequency of 0/1 is counted for updating the occurrence probability information 28 used (step ST15). For example, when 100 bins are encoded using a specific occurrence probability information 28, the occurrence probability of 0/1 in the occurrence probability variation is 0.25 / 0.75. .
  • the arithmetic encoding result 30 generated by the encoding unit 24 becomes the output from the variable length encoding unit 8 and is output from the image encoding apparatus as the bit stream 9 (step ST16). ).
  • the input video signal 1 is encoded by the image encoding device of FIG. 2 based on the above processing, and is converted into an image as a bitstream 9 in a unit (hereinafter referred to as a slice) in which a plurality of reference blocks are bundled.
  • FIG. 17 shows a data array of the bit stream 9.
  • the bit stream 9 is configured as a collection of encoded data for the number of reference blocks included in a frame, and the reference blocks are unitized in units of slices.
  • a picture level header to which reference blocks belonging to the same frame refer as a common parameter is prepared, and reference block size information 18 is stored in the picture level header. If the reference block size M max is fixed in sequence units higher than the picture level, the reference block size information 18 may be multiplexed in the sequence level header.
  • Each slice starts from a slice header, followed by the encoded data of each reference block in the slice.
  • the reference block data includes a reference block header and prediction error compression data.
  • the reference block header includes a motion prediction mode mc_mode and a motion vector (corresponding to the prediction signal generation parameter 17) corresponding to the motion prediction unit block in the reference block.
  • the quantization parameter 19 used for generating the prediction error compression data 7 is arranged.
  • the motion prediction mode mc_mode As the motion prediction mode mc_mode, first, the type of mc_skip or mc_mode0 to 7 is encoded, and if it is mc_skip, all the macroblock encoding information is not transmitted thereafter. If mc_mode 0 to 6, motion vector information corresponding to the motion vector allocation region specified in the motion prediction mode is encoded. If it is mc_mode7, it is determined based on the reference block size information 18 whether sub_mc_skip is included in the code of sub_mc_mode.
  • the reference block size determining unit is configured so that the size L i and M i of the motion prediction unit block used in each reference block can be selected for each reference block.
  • the size may be multiplexed in each reference block header.
  • the size of the motion prediction unit block can be changed according to the nature of the local image signal, It becomes possible to perform motion prediction with higher adaptability.
  • Information indicating whether to be multiplexed on each reference block header or fixedly multiplexed on a higher level header such as a sequence, GOP, picture, slice, etc.
  • identification information in an upper level header such as a sequence, GOP, picture, slice, etc. As long as it is multiplexed. As a result, if there is little influence on the motion prediction performance even if it is fixed at a higher level, the overhead for encoding the sizes L i and M i of the motion prediction unit block is reduced for each reference block, and efficient coding is performed. Is possible.
  • FIG. 18 is a block diagram showing the configuration of the image decoding device according to the first embodiment.
  • the variable length decoding unit (decoding unit) 100 receives the bit stream 9 shown in FIG. 17, decodes the sequence level header, decodes the picture level header, and decodes the reference block size information.
  • the reference block size M max and the motion prediction unit block sizes L i and M i used in the picture are recognized, and the reference block size information 18 is notified to the prediction error decoding unit 101 and the prediction unit 102.
  • variable-length decoding unit 100 uses the motion prediction unit block sizes L i and M i. Is decoded in each reference block header, and the sizes L i and M i of the motion prediction unit blocks are recognized by decoding each reference block header based on the identification information. To be configured.
  • decoding of the reference block data is performed from decoding of the reference block header.
  • the variable length decoding unit 100 decodes the context model selection information 27.
  • the motion prediction mode to be applied per motion prediction unit block for each color component is decoded.
  • mc_mode is decoded in units of motion prediction unit blocks.
  • mc_skip a prediction vector is obtained from surrounding motion vectors based on the conditions shown in FIG. 8 and assigned to the current motion vector.
  • sub_mc_mode is decoded for each basic block based on the condition of FIG.
  • sub_mc_skip is determined from the reference block size information 18 based on the same determination criterion as that of the image encoding apparatus, and based on this determination, sub_mc_mode decoding processing is executed.
  • the motion vector is decoded based on the context model selection information 27 for the number of motion vector allocation regions, and information such as the quantization parameter 19 and the prediction error compression data 7 is sequentially decoded for each reference block. To do.
  • the prediction error compressed data 7 and the quantization parameter 19 are input to the prediction error decoding unit 101 and restored to the decoded prediction error signal 11.
  • the prediction error decoding unit 101 performs a process equivalent to the local decoding unit 10 in the image encoding device of FIG.
  • the prediction unit 102 generates the prediction signal 12 from the prediction signal generation parameter 17 decoded by the variable length decoding unit 100 and the reference image signal 15 in the memory 103.
  • the prediction unit 102 performs a process equivalent to the prediction unit 4 in the image coding apparatus, but does not include a motion vector detection operation.
  • the motion prediction mode is one of mc_modes 0 to 7 shown in FIG. 4, and the prediction unit 102 generates a predicted image 12 using a motion vector assigned to each basic block based on the division shape.
  • the decoded prediction error signal 11 and the prediction signal 12 are added by the adder and input to the loop filter 104 as the decoded signal 13.
  • the decoded signal 13 is subjected to processing for removing coding noise by the loop filter 104 and then stored in the memory 103 as a reference image signal 15 for generating the subsequent prediction signal 12.
  • the loop filter 104 uses the filter coefficient information 20 in addition to the prediction signal generation parameter 17 and the quantization parameter 19 decoded by the variable length decoding unit 100 to generate an image encoding device.
  • the reference image signal 15 is generated by a process equivalent to the loop filter 14 in FIG.
  • the difference between the loop filter 14 of the image encoding device and the loop filter 104 of the image decoding device is that the former generates the filter coefficient information 20 with reference to the encoded signal 3 which is the original image signal, whereas the latter The filter processing is performed with reference to the filter coefficient information 20 decoded from the bit stream 9.
  • FIG. 19 shows an internal configuration related to arithmetic decoding processing in the variable length decoding unit 100
  • FIG. 20 shows an operation flow thereof.
  • the variable length decoding unit 100 identifies individual decoding target data types such as a prediction signal generation parameter 17 including a motion prediction mode and a motion vector, prediction error compression data 7, and quantization parameter 19.
  • a context model determining unit 21 for defining a context model defined in common with the image encoding device, a binarizing unit 22 for generating a binarization rule determined based on the type of data to be decoded, and a binarization rule
  • an occurrence probability generation unit 23 for giving an occurrence probability of each bin (0/1), performing arithmetic decoding based on the generated occurrence probability, and a binary sequence obtained as a result, and the above binary And a generation probability information storage memory 25 for storing occurrence probability information 28. That. Among the units shown in FIG. 19, each unit given the same number as the internal component of the variable length coding unit 8 shown in FIG. 10 performs the same operation.
  • step ST11 to ST13 in FIG. 20 Context model determination process, binarization process, occurrence probability generation process (steps ST11 to ST13 in FIG. 20) Since these processes (steps ST11 to ST13) are in accordance with the processes (A) to (C) (steps ST11 to ST13 in FIG. 11) on the image coding apparatus side, description thereof is omitted. It should be noted that the decoded context model selection information 27 is referred to for determination of a context model used for motion prediction mode and motion vector decoding.
  • step ST21 Arithmetic decoding process (steps ST21, ST15, ST22 in FIG. 20) Since the occurrence probability of bin to be decoded is determined by the process up to (E), the decoding unit 105 restores the bin value according to a predetermined arithmetic decoding process (step ST21).
  • the bin restoration value 40 (FIG. 19) is fed back to the occurrence probability generation unit 23, and the occurrence frequency 0/1 is counted for updating the occurrence probability information 28 used (step ST15).
  • the decoding unit 105 confirms the match with the binary sequence pattern determined by the binarization rule, and outputs the data value indicated by the matched pattern as the decoded data value 106 ( Step ST22). Unless the decoded data is determined, the process returns to step ST11 and the decoding process is continued.
  • the unit for multiplexing the context model selection information 27 is the reference block unit, but may be multiplexed in units of slices or pictures. If sufficient coding efficiency can be ensured by switching in the upper layer above the slice by multiplexing as flags located in the upper data layer such as slices, pictures, sequences, etc., the context at the reference block level Overhead bits can be reduced without multiplexing the model selection information 27 one by one.
  • the context model selection information 27 may be information determined inside the image decoding apparatus based on related information included in a bit stream different from itself.
  • the variable length coding unit 8 and the variable length decoding unit 100 are described as performing arithmetic coding / arithmetic decoding processing.
  • the context model selection information 27 is variable by using these processes as Huffman coding processing.
  • the long coding table may be used as means for adaptively switching.
  • the hierarchical representation of the skip mode is possible, and the motion prediction mode and motion vector information are adaptively encoded according to the internal state of the encoding target reference block. Therefore, efficient encoding is possible.
  • the image coding apparatus adaptively determines the size of the motion prediction unit block according to the color component signal, and divides the motion prediction unit block into motion vector allocation regions.
  • the motion vector is allocated to the entire motion prediction unit block and the prediction unit 4 that searches for the motion vector
  • the motion vector is equal to the prediction vector obtained from the motion vector of the surrounding motion prediction unit block, and the prediction error signal If there is no data to be encoded as 5, the motion prediction mode is set to the mc_skip mode, encoding is performed, and when the motion vector allocation area is a predetermined size or more and a motion vector is allocated to the entire motion vector allocation area, The motion vector is estimated from the motion vectors in the surrounding motion vector allocation area.
  • a variable length encoding unit 8 that generates a bit stream 9 by performing the encoding with the motion prediction mode set to the sub_mc_skip mode if there is no data to be encoded as the prediction error signal 5 that is equal to the vector. Configured. For this reason, in order to efficiently encode a 4: 4: 4 format color video signal, it is possible to represent a hierarchical representation of the skip mode, adaptively according to the internal state of the reference block to be encoded, It is possible to provide an image encoding apparatus that can encode vector information and perform encoding while effectively suppressing the amount of code of a motion vector in low bit rate encoding with a high compression rate.
  • the image decoding apparatus performs a motion prediction mode that specifies the size of the motion prediction unit block and the shape of the motion vector allocation region obtained by dividing the motion prediction unit block from the input bitstream 9. And a prediction signal generation parameter 17 indicating the motion vector corresponding to the motion vector allocation region, the motion prediction unit block from the motion prediction mode is in the mc_skip mode, and the motion vector allocation region is in the sub_mc_skip mode.
  • the prediction vector is obtained from the surrounding motion vectors and set as the motion vector.
  • a prediction signal 12 is generated by setting all measurement error signals 11 to zero, and variable length decoding is performed when the motion prediction unit block is not in the mc_skip mode and the motion vector allocation region of the motion prediction unit block is not in the sub_mc_skip mode.
  • the prediction unit 102 that generates the prediction signal 12 based on the motion prediction mode and the motion vector decoded by the unit 100 is provided. For this reason, the video decoding apparatus corresponding to the said image coding apparatus can be provided.
  • the encoding / decoding process according to the present invention uses the conventional luminance / chrominance component format.
  • video coding for 4: 2: 0 or 4: 2: 2 format that has been subjected to color thinning in the above
  • the present invention can also be applied to the case of encoding / decoding in units of reference blocks such as macroblocks. Needless to say.
  • the image encoding device, the image decoding device, the image encoding method, and the image decoding method according to the present invention can perform an optimal encoding process on a video signal in 4: 4: 4 format, It is suitable for use in encoding technology and compressed image data transmission technology.

Abstract

　画像符号化装置を、動き予測単位ブロックのサイズを色成分信号に応じて適応的に決定すると共に、当該動き予測単位ブロックを動きベクトル割り当て領域に分割して動きベクトルを探索する予測部４と、動き予測単位ブロック全体に動きベクトルを割り当てる場合に、当該動きベクトルが予測ベクトルと等しく、かつ、予測誤差信号５が存在しなければｍｃ＿ｓｋｉｐモードにして符号化を行い、動きベクトル割り当て領域が所定のサイズ以上、かつ、動きベクトル割り当て領域全体に動きベクトルを割り当てる場合に、当該動きベクトルが予測ベクトルと等しく、かつ、予測誤差信号５が存在しなければｓｕｂ＿ｍｃ＿ｓｋｉｐモードにして符号化を行う可変長符号化部８とを備える。

Description

画像符号化装置、画像復号装置、画像符号化方法、および画像復号方法
　この発明は、画像圧縮符号化技術や圧縮画像データ伝送技術等に用いられる画像符号化装置、画像復号装置、画像符号化方法、および画像復号方法に関する。
　従来、ＭＰＥＧやＩＴＵ－Ｔ　Ｈ．２６ｘ等の国際標準映像符号化方式では、入力映像フレームを、１６×１６画素ブロックからなるマクロブロックの単位に分割して圧縮処理を行う。
　一方、近年、ＨＤＴＶ（Ｈｉｇｈ　Ｄｅｆｉｎｉｔｉｏｎ　ＴｅｌｅＶｉｓｉｏｎ，１９２０×１０８０画素）の４倍相当の空間解像度を有する４Ｋ×２Ｋ画素の映像フォーマット、さらにその４倍に相当する８Ｋ×４Ｋ画素の映像フォーマット、あるいは色信号のサンプル数を増やして色再現性を高める４：４：４映像信号フォーマット等の高精細・高品質映像を圧縮符号化する技術が望まれている。このような高精細・高品質映像を圧縮符号化する場合は、１６×１６画素のマクロブロックでは画像信号相関を十分に利用した符号化が行えなくなり、高い圧縮率を実現することが難しくなってくる。このような課題に対応するため、例えば、従来の１６×１６画素マクロブロックの大きさを、非特許文献１のように３２×３２画素ブロックへ拡張して、動きベクトルの割り当て単位を大きくして予測に必要なパラメータの符号量を削減したり、予測誤差信号の変換符号化のブロックサイズを大きくして、信号の画素間相関を効果的に除去したりする技術が提案されている。
　図２１は、非特許文献１による符号化装置の構成を示すブロック図である。非特許文献１による符号化では、まず、符号化対象となる入力映像信号１００１を、ブロック分割部１００２においてマクロブロック（輝度信号相当で３２画素×３２ラインの矩形ブロック）の単位に分割し、符号化映像信号１００３として予測部１００４へ入力する。
　予測部１００４では、マクロブロック内の各色成分の画像信号をフレーム内・フレーム間で予測して、予測誤差信号１００５を得る。特に、フレーム間で動き補償予測を行う場合、マクロブロック自体、またはマクロブロックをさらに細かく分割したサブブロックの単位で動きベクトルを探索し、動きベクトルに基づいて動き補償予測画像を生成して、符号化映像信号１００３との差分を取ることによって予測誤差信号１００５を得る。
　圧縮部１００６は、予測誤差信号１００５に対して、動きベクトルの割り当て単位領域の大きさに応じてブロックサイズを変更しながらＤＣＴ（離散コサイン変換）処理を施して信号相関を除去した後、量子化して圧縮データ１００７を得る。圧縮データ１００７は可変長符号化部１００８でエントロピー符号化されてビットストリーム１００９として出力されるとともに、局所復号部１０１０に送られ、復号予測誤差信号１０１１を得る。
　この復号予測誤差信号１０１１を、予測誤差信号１００５の生成に用いた予測信号１０１２と加算して復号信号１０１３にして、ループフィルタ１０１４に入力する。復号信号１０１３は、ループフィルタ１０１４でブロックひずみを除去する処理が施された後、以降の予測信号１０１２を生成するための参照画像信号１０１５としてメモリ１０１６に格納される。なお、予測信号１０１２を得るために予測部１００４において決定された予測信号生成用パラメータ１０１７は可変長符号化部１００８へ送られ、ビットストリーム１００９に多重されて出力される。ここで、予測信号生成用パラメータ１０１７には、例えば、フレーム内での空間予測をどのように行うかを示すイントラ予測モードや、フレーム間の動き量を示す動きベクトル等の情報が含まれる。
　従来のＭＰＥＧやＩＴＵ－Ｔ　Ｈ．２６ｘ等の国際標準映像符号化方式がマクロブロックサイズとして１６×１６画素ブロックを採用していたのに対して、非特許文献１では、３２×３２画素ブロックのマクロブロックサイズ（スーパーマクロブロック：ＳＭＢ）を用いる。図２２は、Ｍ×Ｍ画素マクロブロックごとに動き補償予測を行う際の動きベクトル割り当て領域の分割形状の様子を示し、図２２（ａ）は非特許文献１のＳＭＢ、図２２（ｂ）は従来のＭＰＥＧ－４　ＡＶＣ／Ｈ．２６４（非特許文献２参照）のマクロブロックである。ＳＭＢが画素数Ｍ＝３２として動きベクトル１本あたりがカバーする動き予測領域の面積を大きく取るのに対して、従来のマクロブロックは画素数Ｍ／２＝１６を用いている。これにより、ＳＭＢでは画面全体として必要になる動きベクトルの情報量が画素数Ｍ／２＝１６に比べて少なくなるため、ビットストリームとして伝送すべき動きベクトル符号量を抑制することが可能である。
Siwei Ma and C.-C. Jay Kuo, "High-definition Video Coding with Super-macroblocks", Proc. SPIE, Vol. 6508, 650816 (2007) MPEG-4 AVC(ISO/IEC 14496-10)/ITU-T H.264規格
　非特許文献１，２の従来方式では、上述の動き予測の結果、動きベクトルや予測誤差信号について符号化すべきデータが一切発生しないスキップモードという特別なモードを設けている。例えば、非特許文献２では、「動きベクトルがその予測値と一致し、かつ、予測誤差信号の変換係数がすべてゼロ」となるケースをスキップモードとして定義している。また、スキップモードが選択できるのは、動きベクトルを割り当てる領域がマクロブロックと同じサイズのときに限定されている。そのため、非特許文献１のようにマクロブロックサイズが拡張される場合は、最大サイズの動き予測ブロックに対してのみスキップモードが設定されるので、それより小さいサイズの動き予測ブロックはスキップモード適用がなく符号化を効率化することが難しいという課題がある。
　この発明は、上記のような課題を解決するためになされたもので、実装負荷バランスがよく、符号化対象となる映像信号の統計的・局所的性質に応じて信号相関をよりよく除去して効率的な情報圧縮を行う映像符号化方法を実現して、超高精細映像信号の符号化のために最適性を高めた画像符号化装置およびその方法、並びに画像復号装置およびその方法を提供することを目的とする。
　この発明に係る画像符号化装置は、マクロブロックにおいて動き予測単位ブロックのサイズを所定条件に応じて適応的に決定すると共に、当該動き予測単位ブロックを動きベクトル割り当て領域に分割して動きベクトルを探索する予測部と、動き予測単位ブロック全体に動きベクトルを割り当てる場合に、当該動きベクトルが周辺の動き予測単位ブロックの動きベクトルから求めた予測ベクトルと等しく、かつ、動き予測誤差信号として符号化するデータが存在しなければ第一のスキップモードとして符号化を行い、動きベクトル割り当て領域が所定のサイズ以上、かつ、動きベクトル割り当て領域全体に動きベクトルを割り当てる場合に、当該動きベクトルが周辺の動きベクトル割り当て領域の動きベクトルから求めた予測ベクトルと等しく、かつ、動き予測誤差信号として符号化するデータが存在しなければ第二のスキップモードとして符号化を行う符号化部とを備えるようにしたものである。
　この発明に係る画像復号装置は、ビットストリームから、マクロブロック内の動き予測単位ブロックのサイズと、動き予測単位ブロックを分割した動きベクトル割り当て領域の形状を特定する動き予測モードと、動きベクトル割り当て領域に対応する動きベクトルとを示したデータを復号して、当該動き予測モードから動き予測単位ブロックが第一のスキップモードか否か、および動きベクトル割り当て領域が第二のスキップモードか否かを特定する復号部と、動き予測単位ブロックが第一のスキップモードである場合または動きベクトル割り当て領域が第二のスキップモードである場合に、周辺の動きベクトルから予測ベクトルを求めて動きベクトルに設定すると共に動き予測誤差信号を全てゼロに設定して予測画像を生成し、動き予測単位ブロックが第一のスキップモードでなく、かつ、当該動き予測単位ブロックの動きベクトル割り当て領域が第二のスキップモードでない場合に、復号部が復号した動き予測モードと動きベクトルとに基づいて予測画像を生成する予測部を備えるようにしたものである。
　この発明に係る画像符号化方法は、マクロブロックにおいて動き予測単位ブロックのサイズを所定条件に応じて適応的に決定すると共に、当該動き予測単位ブロックを動きベクトル割り当て領域に分割して動きベクトルを探索する予測ステップと、動き予測単位ブロック全体に動きベクトルを割り当てる場合に、当該動きベクトルが周辺の動き予測単位ブロックの動きベクトルから求めた予測ベクトルと等しく、かつ、動き予測誤差信号として符号化するデータが存在しなければ第一のスキップモードとして符号化を行い、動きベクトル割り当て領域が所定のサイズ以上、かつ、動きベクトル割り当て領域全体に動きベクトルを割り当てる場合に、当該動きベクトルが周辺の動きベクトル割り当て領域の動きベクトルから求めた予測ベクトルと等しく、かつ、動き予測誤差信号として符号化するデータが存在しなければ第二のスキップモードとして符号化を行う符号化ステップとを備えるようにしたものである。
　この発明に係る画像復号方法は、ビットストリームから、マクロブロック内の動き予測単位ブロックのサイズと、動き予測単位ブロックを分割した動きベクトル割り当て領域の形状を特定する動き予測モードと、動きベクトル割り当て領域に対応する動きベクトルとを示したデータを復号して、当該動き予測モードから動き予測単位ブロックが第一のスキップモードか否か、および動きベクトル割り当て領域が第二のスキップモードか否かを特定する復号ステップと、動き予測単位ブロックが第一のスキップモードである場合または動きベクトル割り当て領域が第二のスキップモードである場合に、周辺の動きベクトルから予測ベクトルを求めて動きベクトルに設定すると共に動き予測誤差信号を全てゼロに設定して予測画像を生成するスキップモード予測ステップと、動き予測単位ブロックが第一のスキップモードでなく、かつ、動き予測単位ブロックの動きベクトル割り当て領域が第二のスキップモードでない場合に、動きベクトル割り当て領域に対応する動きベクトルを示したデータを復号して、当該動きベクトルと復号ステップで復号した動き予測モードとに基づいて予測画像を生成する予測ステップとを備えるようにしたものである。
　この発明によれば、動き予測単位ブロックと動きベクトル割り当て領域それぞれについて第一のスキップモードと第二のスキップモードを設定するようにしたので、４：４：４フォーマットの映像信号の符号化を行う場合において、スキップモードの階層表現を可能とし、各色成分信号の時間変化の特性に対して柔軟に適応する画像符号化装置および画像復号装置を構成することができ、４：４：４フォーマットの映像信号に対して最適な符号化処理を行うことができる。
この発明の実施の形態１に係る画像符号化装置および画像復号装置が処理対象とする４：４：４フォーマットを示す。 実施の形態１に係る画像符号化装置の構成を示すブロック図である。 図２に示すブロック分割部が生成する基準ブロックを示す説明図である。 図２に示す予測部による、動き予測単位ブロックを基本ブロック単位で分割した形状例を示す説明図である。 図２に示す予測部の動作を示すフローチャートである。 予測部によるコストＪの計算方法を説明するための図である。 予測部による動き予測モードｍｃ＿ｍｏｄｅ１～４の予測ベクトルＰＭＶの算出例を示す図である。 スキップモードを説明するための図である。 可変長符号化部のエントロピー符号化方法を説明するための図である。 図２に示す可変長符号化部の内部構成を示すブロック図である。 図２に示す可変長符号化部の動作を示すフローチャートである。 コンテクストモデル（ｃｔｘ）の概念を示す説明図である。 動きベクトルに関するコンテクストモデル（ｃｔｘ）の例を示す説明図である。 動き予測モードの相関の違いを説明する図であり、基本ブロックＢａ，Ｂｂで選ばれる動き予測モードの２つの状態を図１４（ａ），（ｂ）に示す。 図１０に示す二値化部の動き予測モードの二値化結果を示す図である。 図１０に示す二値化部による動き予測モードの二値化を説明する図であり、ｂｉｎ０のコンテクストモデル選択方法を示す。 図１０に示す二値化部による動き予測モードの二値化を説明する図であり、ｂｉｎ１のコンテクストモデル選択方法を示す。 図１０に示す二値化部による動き予測モードの二値化を説明する図であり、ｂｉｎ２のコンテクストモデル選択方法を示す。 図１０に示す二値化部による動き予測モードの二値化を説明する図であり、ｂｉｎ４のコンテクストモデル選択方法を示す。 図１０に示す二値化部による動き予測モードの二値化を説明する図であり、ｂｉｎ５のコンテクストモデル選択方法を示す。 ビットストリームのデータ配列を示す説明図である。 実施の形態１に係る画像復号装置の構成を示すブロック図である。 図１８に示す可変長復号部の内部構成を示すブロック図である。 図１８に示す可変長復号部の動作を示すフローチャートである。 非特許文献１による符号化装置の構成を示すブロック図である。 非特許文献１による符号化装置において、マクロブロックごとに動き補償予測を行う際の動きベクトル割り当て領域の分割形状の様子を示す。
実施の形態１．
　以下、この発明の実施の形態について図面を参照しながら詳細に説明する。
　本実施の形態では、４：４：４フォーマットで入力されるデジタル映像信号の圧縮伸張を行う画像符号化装置および画像復号装置につき、各色成分の信号の状態に適応して動き補償予測処理を行う画像符号化装置および画像復号装置について述べる。
　ここで、図１に、実施の形態１に係る画像符号化装置および画像復号装置が入力として用いる４：４：４フォーマットを示す。４：４：４フォーマットとは、図１（ａ）に示すように、カラー動画像を構成する３つの信号成分Ｃ０，Ｃ１，Ｃ２の画素数がすべて同じであるフォーマットのことを指す。３つの信号成分の色空間は、ＲＧＢまたはＸＹＺであってもよいし、輝度・色差（ＹＵＶ、ＹＣｂＣｒ、またはＹＰｂＰｒ）であってもよい。４：４：４フォーマットに対して、図１（ｂ）に示す４：２：０フォーマットは、色空間がＹＵＶ、ＹＣｂＣｒ、またはＹＰｂＰｒであり、かつ、輝度Ｙの画素数に対して色差信号成分（例えばＹＣｂＣｒならＣｂ，Ｃｒ）のそれが水平Ｗ・垂直Ｈそれぞれ２分の１となるフォーマットのことを呼ぶ。
　以下に説明する画像符号化装置および画像復号装置は、特に、４：４：４フォーマットの色空間がＹＵＶ、ＹＣｂＣｒ、またはＹＰｂＰｒであり、かつ、各色成分を輝度成分相当とみなして処理を行う方式に限定して説明する。ただし、以下に説明する動作は、４：２：０フォーマットの映像信号を対象とする画像符号化装置および画像復号装置においても、その輝度信号に対して直接適用できることは言うまでもない。
１．画像符号化装置
　図２は、実施の形態１に係る画像符号化装置の構成を示すブロック図である。図２に示す画像符号化装置は、４：４：４フォーマットの入力映像フレームを所定サイズのブロック、即ちＭｍａｘ×Ｍｍａｘ画素ブロック（以下、「基準ブロック」と呼ぶ）に分割し、同基準ブロックの単位で動き予測を行い、予測誤差信号を圧縮符号化するように構成する。
　まず、符号化対象となる入力映像信号１は、ブロック分割部２において基準ブロックの単位に分割されて符号化信号３として予測部４へ入力される。図３に、ブロック分割部２が生成する基準ブロックを示す。図３に示すように、基準ブロックは、Ｍｍａｘ×Ｍｍａｘ画素からなる矩形のブロックをまとめた単位の基準ブロックデータとして構成する。詳細は後述するが、基準ブロックサイズＭｍａｘはフレーム若しくはシーケンス、またはＧＯＰ（Ｇｒｏｕｐ　Ｏｆ　Ｐｉｃｔｕｒｅｓ）等の上位レイヤデータレベルで決定・符号化する。なお、フレーム内で基準ブロックサイズＭｍａｘを変更するように構成してもよいが、その場合は、スライス等の複数マクロブロックをまとめた単位で基準ブロックサイズＭｍａｘを指定するようにする。
　基準ブロックデータは、さらにＬｉ×Ｍｉ画素ブロック（ｉ：色成分識別子）の「動き予測単位ブロック」に分割され、動き予測単位ブロックをベースとして動き予測、符号化が行われる。図３（ａ）における動き予測単位ブロックのパターンはＬ０＝Ｍｍａｘ／２、Ｍ０＝Ｍｍａｘ／２、図３（ｂ）における動き予測単位ブロックのパターンはＬ０＝Ｍｍａｘ／２、Ｍ０＝Ｍｍａｘであり、図３（ａ），（ｂ）ともにＬ１＝Ｍ１＝Ｌ２＝Ｍ２＝Ｍｍａｘである。なお、以下の説明においては、４：４：４フォーマットの各色成分の基準ブロックについては、３つの色成分Ｃ０，Ｃ１，Ｃ２で同一とし、基準ブロックサイズＭｍａｘを変更する場合は、３つの色成分全てについて、同一サイズに変更するものとする。また、動き予測単位ブロックのサイズＬｉ，Ｍｉそれぞれについては、色成分Ｃ０，Ｃ１，Ｃ２ごとに選択可能として、シーケンス、ＧＯＰ、フレーム、基準ブロック等の単位で変更可能となるよう構成してもよい。このような構成をとることにより、基準ブロックサイズＭｍａｘは変更することなく、色成分ごとの信号の性質の違いに応じて、動き予測単位ブロックサイズＬｉ，Ｍｉを柔軟に決定することができ、基準ブロックを単位とする符号化・復号処理の並列化・パイプライン化を考慮した効率的な実装が可能である。
　予測部４では、基準ブロック内の各色成分の画像信号を動き補償予測して、予測誤差信号（動き予測誤差信号）５を得る。予測部４の動作は、本実施の形態１の画像符号化装置の特徴であるため詳しく後述する。圧縮部６は、予測誤差信号５に対してＤＣＴ処理などの変換処理を施して信号相関を除去した後、量子化して予測誤差圧縮データ７を得る。このとき、圧縮部６では予測誤差信号５に対してＤＣＴ等の直交変換・量子化を行い、予測誤差圧縮データ７を可変長符号化部（符号化部）８および局所復号部１０へ出力する。
　可変長符号化部８は、予測誤差圧縮データ７をエントロピー符号化してビットストリーム９として出力する。局所復号部１０は、予測誤差圧縮データ７から復号予測誤差信号１１を得る。この復号予測誤差信号１１が、予測誤差信号５の生成に用いた予測信号（予測画像）１２と加算部で加算されて復号信号１３となり、ループフィルタ１４へ入力される。なお、予測信号１２を得るために予測部４において決定された予測信号生成用パラメータ１７は可変長符号化部８へ送られ、ビットストリーム９として出力される。予測信号生成用パラメータ１７の内容については、予測部４の説明とともに以降で詳述する。また、可変長符号化部８における予測信号生成用パラメータ１７の符号化方法についても、本実施の形態１における特徴のひとつであるため、後で詳しく述べる。
　ループフィルタ１４は、圧縮部６における変換係数量子化に伴って発生するブロックひずみが重畳された復号信号１３に対し、予測信号生成用パラメータ１７および量子化パラメータ１９を用いてブロックひずみ除去フィルタを施す。復号信号１３は、ループフィルタ１４で符号化雑音を除去する処理が施された後、以降の予測信号１２を生成するための参照画像信号１５としてメモリ１６に格納される。
　非特許文献１，２等の映像符号化方式では、基準ブロックをマクロブロックとした場合、マクロブロックの単位でフレーム内符号化、フレーム間予測符号化を選択しながら符号化する方法が一般的である。これはフレーム間の動き予測が十分でない場合に、フレーム内の相関を利用する方が、符号化が効率化される場合があることに起因している。以降、本実施の形態１の画像符号化装置では、発明のポイントを説明するに際してフレーム内符号化についての記述やその選択的使用について文中での明記は行わないが、特に断らない限り、基準ブロックを単位とするフレーム内符号化の選択的使用が可能な構成とする。本実施の形態１の画像符号化装置において、基準ブロックをマクロブロックと定義してもよいが、動き予測の説明のために以降も基準ブロックという用語を用いる。
　以下、本実施の形態１の特徴のひとつである予測部４の詳細な動作について説明する。本実施の形態１の予測部４の特徴は以下の３点である。
（１）基準ブロック・動き予測単位ブロックのサイズと動き予測に用いる分割形状の連動適応化
（２）各色成分の性質に応じた動き予測モード、動きベクトルの決定
（３）基準ブロック・動き予測単位ブロックのサイズに基づく適応的なスキップモード選択
　上記（１）については、予測部４が、まず基準ブロックを、各色成分の信号の性質に合わせてＬｉ×Ｍｉ画素の動き予測単位ブロックへ分割し、さらに動き予測単位ブロックをｌｉ×ｍｉ画素の組み合わせからなる複数の形状に分割する。そして、予測部４は、各分割領域にそれぞれ固有の動きベクトルを割り当てて予測を行い、最も予測効率に優れる形状を動き予測モードとして選択し、その結果として得られる動きベクトルを用いて各分割領域に対する動き予測を行って、予測誤差信号５を得る。動き予測単位ブロック内の分割形状は、ｌｉ×ｍｉ画素からなる「基本ブロック」の組み合わせによって構成される形状をとるものとする。本実施の形態１の画像符号化装置においては、Ｍｉとｍｉ、Ｌｉとｌｉとの間に「ｍｉ＝Ｍｉ／２」、「ｌｉ＝Ｌｉ／２」なる制約を設ける。この条件によって定まる基本ブロックの分割形状を図４に示す。図４は、予測部４による、動き予測単位ブロックを基本ブロック単位で分割した形状例を示す説明図である。以下、本実施の形態１の画像符号化装置では、図４に示す分割形状のパターン（分割パターン）ｍｃ＿ｍｏｄｅ０～７は３つの色成分に対して共通であるものとする。ただし、分割パターンｍｃ＿ｍｏｄｅ０～７を３つの色成分に対して独立に定めるように構成してもよい。なお、この分割パターンｍｃ＿ｍｏｄｅ０～７のことを以下では「動き予測モード」と呼ぶこととする。
　非特許文献１，２の映像符号化方式では、動き予測適用領域の形状は矩形に限定されており、図４のような矩形以外の対角分割を用いることができない。これに対して本実施の形態１では図４のような動き予測を適用する領域の形状を多様化させることにより、動物体の輪郭部分など、基準ブロック内に複雑な動きを含む場合に、矩形分割よりも少ない動きベクトル本数で動き予測可能となる。
　また、「S.Kondo and H.Sasai, "A Motion Compensation Technique using Sliced Blocks and its Application to Hybrid Video Coding", VCIP 2005, July 2005」では、従来のマクロブロックに対して動き予測適用領域の分割形状の多様化手法が開示されている。この文献では、分割形状を、マクロブロック分割を行う線分とそのブロック境界との交点位置によって表現する。しかしながら、この方法は画素数Ｍを固定したままで基準ブロック内の分割パターンを増加させる方法であり、以下の問題がある。
問題１：
　基準ブロックの分割パターンを記述するための符号量が増加する。Ｍｍａｘ　ｍｏｄ　ｍｉ＝０なる任意のｍｉを許容することによって、基準ブロック内の分割パターンが増加し、そのパターンを指定するための情報をオーバヘッド情報として符号化する必要が生じる。分割パターンが増加するほど、ある特定の分割パターンの発生する確率が分散するため、分割パターンのエントロピー符号化が非効率となり、符号量としてのオーバヘッドとなって符号化トータルとしての性能に限界が生じる。
問題２：
　分割パターンが増加することによって、符号化時に最適な分割を選択するために必要な演算量が増大する。動き予測は符号化処理負荷の大半を占める高負荷処理であり、やみくもに分割パターンが増加するアルゴリズムでは、画像符号化装置はその中から特定の分割パターンのみを検証・利用するように設計せざるを得ない。したがって画像符号化装置は、アルゴリズムがもつ本来の性能を最大限活かしきることができない場合がある。
　これに対して、本実施の形態１の画像符号化装置における図４のアプローチは、まず、１）Ｍｍａｘの値を符号化の条件や映像信号の解像度や性質に基づいてフレーム等の上位レベルで変更可能とすること、２）Ｍｍａｘ×Ｍｍａｘの画素ブロックを色成分Ｃｉごとの特性に合わせて基本ブロックＬｉ×Ｍｉ画素へ分割可能とすること、３）基本ブロックの分割条件を「ｍｉ＝Ｍｉ／２」、「ｌｉ＝Ｌｉ／２」なる制約を満たす分割形状に限定した上で分割のバリエーションを確保すること、の３つの工夫により、上記問題を解決する。基本ブロックのサイズＭｍａｘの値はフレームやスライス内で局所的に変更せず、フレームレベルまたはフレーム列（シーケンス、ＧＯＰ）等の上位データ構造レベルでのみ変更可能とする。この仕組みは、基準ブロック内に含まれる画像信号パターンの意味の違いに対する適応化を可能とする。例えば、小さい解像度（Ｖｉｄｅｏ　Ｇｒａｐｈｉｃｓ　Ａｒｒａｙ，ＶＧＡ等）の映像と大きな解像度（ＨＤＴＶ等）の映像では、同じＭｍａｘ×Ｍｍａｘ画素ブロック内の信号パターンが表現する意味が異なる。同一の被写体を予測する場合、小さい解像度の映像では被写体の構造に近い信号パターンが捕捉されるが、大きな解像度の映像では、小さい解像度のときと同じブロックサイズを用いても被写体のより局所的な部位の信号パターンを捉えられるにすぎない。したがって、基準ブロックのサイズが解像度に拠らず同一の場合、解像度が高くなるにつれ、基準ブロック内の信号パターンはノイズ成分の要素が大きくなり、パターンマッチング技術としての動き予測の性能を向上させることができなくなる。
　そこで、基準ブロックサイズＭｍａｘの値を上位データ構造レベルでのみ変更可能とすることで、基準ブロックサイズＭｍａｘの値のシグナリングに要する符号量を抑制しつつ、映像の解像度やシーンチェンジ、画面全体のアクティビティ変化などの状況に応じて、基準ブロックに含まれる信号パターンを動き予測の意味において最適化することができる。この仕組みに加え、図３のように色成分ごとに動き予測単位ブロック内の分割パターンを変更可能とすることによって、各色成分の信号特性に応じて動き予測の処理単位を最適化可能とする。さらに、動き予測単位ブロック内に図４のように分割パターンの限定的自由度を与えることにより、動き予測単位ブロック内の分割パターン表現に要する符号量を抑制しながら、動き予測の全体的な効率を改善することができる。また、基準ブロックサイズＭｍａｘの値をフレームレベルで決定する処理を効率よく行えば、以降、基準ブロック内で検査すべき分割パターンのバリエーションは従来技術に比べ少なく抑えることができ、符号化処理の負荷を小さくすることができる。
　基準ブロックサイズＭｍａｘの値を決定する方法には、例えば以下のような方法がある。
（１）　符号化対象映像の解像度に基づいて決定する。同一Ｍｍａｘ値の場合、解像度が大きい場合は基準ブロック内の画像信号パターンがよりノイズ成分的な意味合いを持ち、動きベクトルが画像信号パターンを捉えにくくなる。そのような場合にＭｍａｘ値を大きくして画像信号パターンを捕捉できるようにする
（２）　フレーム間の差分値の大小をアクティビティとみなしてアクティビティが大きい場合は小さいＭｍａｘ値で、小さい場合は大きなＭｍａｘ値で動き予測を行う。また、この際の大きさ制御を、符号化対象映像のフレームレートに基づいて決定する。フレームレートが高いほどフレーム間相関が大きく動きベクトル自体のダイナミックレンジが小さくなりその符号量が小さくなるので、多少アクティビティが小さくてもＭｍａｘ値を大きすぎないように設定して細かい動きまで予測できるようにする、などの方法が考えられる
（３）　（１）と（２）の方法を重み付けで組み合わせて判断する
　基準ブロックサイズＭｍａｘの値が決まった後、色成分ごとに動き予測単位ブロックのサイズＬｉ，Ｍｉの決定を行う。例えば入力映像信号１がＹＵＶ（またはＹＣｂＣｒ等）の色空間で定義された信号の場合、色信号であるＵ／Ｖ成分は輝度信号Ｙ成分に比べて信号帯域が狭い。したがって、ブロック内分散は輝度に比べて小さくなる。これを根拠としてＵ／Ｖ成分のサイズＬｉ，Ｍｉについては輝度信号Ｙ成分のサイズＬｉ，Ｍｉよりも大きな値をとるように構成する、といった判断基準の例が考えられる（図３参照）。
　これら判断を行った結果として得られる各ブロックサイズＭｍａｘ，Ｌｉ，Ｍｉの値は、基準ブロックサイズ情報１８としてブロック分割部２、予測部４、可変長符号化部８へ通知される。なお、図３のように、Ｍｍａｘに対してＬｉ，Ｍｉを簡易な演算で導出可能な値に設定しておけば、Ｌｉ，Ｍｉを独立な値として符号化するのでなく、算出式の識別子を符号化すればよいため、基準ブロックサイズ情報１８に要する符号量を抑制できる。
　なお、図２では特に図示していないが、画像符号化装置は、Ｍｍａｘ，Ｌｉ，Ｍｉの値を決定して各部へ通知するための基準ブロックサイズ決定部を備えて、基準ブロックサイズ情報１８を決定する構成であってもよい。
　予測部４は、基準ブロックサイズ情報１８から導出される動き予測単位ブロックサイズＬｉ，Ｍｉに基づいて、図３、図４の分割パターンを用いる動き検出処理を実行する。図５は、予測部４の動作を示すフローチャートである。予測部４は、当該フレームのＣｉ成分をＬｉ×Ｍｉ画素の動き予測単位ブロックの単位で動き予測していく。基本的には、このプロセスでは図４のｍｃ＿ｍｏｄｅ０～７までの分割パターンのそれぞれについて、指定された動き探索範囲で分割領域ごとの最適動きベクトルを検出し、最終的に当該動き予測単位ブロックについてｍｃ＿ｍｏｄｅ０～７のいずれの動き予測モードを用いるのが最も予測効率がよいかを決定する。
　予測効率は、動き予測単位ブロック内の動きベクトルの総符号量Ｒと、該動きベクトルを適用してメモリ１６内に格納される参照画像から生成した予測信号１２と入力映像信号１との間の予測誤差量Ｄとから導出する下記コストＪで定義される。予測部４は、このコストＪが最小となる動き予測モードと動きベクトルとを出力するように構成する。
　　Ｊ＝Ｄ＋λＲ　（λ：定数）　　　　（１）
　そこで、予測部４はまず、各動き予測モードｍｃ＿ｍｏｄｅｋに対して、コストＪｋの計算を行う（ステップＳＴ１）。図６に、ｍｃ＿ｍｏｄｅ５のケースを例にとってコストＪの計算方法を説明する。このとき、フレームＦ（ｔ）内の被予測対象の動き予測単位ブロックは、２つの分割領域Ｂ０，Ｂ１からなる。また、メモリ１６内には２枚の符号化・局所復号済みの参照画像Ｆ’（ｔ－１），Ｆ’（ｔ－２）が格納されていて、分割領域Ｂ０，Ｂ１はこれら２枚の参照画像Ｆ’（ｔ－１），Ｆ’（ｔ－２）を使って動き予測できるものとする。図６では分割領域Ｂ０は参照画像Ｆ’（ｔ－２）を用いて動きベクトルＭＶｔ－２（Ｂ０）を検出し、分割領域Ｂ１は参照画像Ｆ’（ｔ－１）を用いて動きベクトルＭＶｔ－１（Ｂ１）を検出している。Ｂを分割領域、Ｓｎ（ｘ）を第ｎフレームの画面内位置ｘ＝（ｉ，ｊ）における画素値、ｖを動きベクトルとすると、分割領域Ｂの予測誤差量Ｄは、差分絶対値和（Ｓｕｍ　ｏｆ　Ａｂｓｏｌｕｔｅ　Ｄｉｆｆｅｒｅｎｃｅ，ＳＡＤ）を用いて、下式（２）として計算できる。
Figure JPOXMLDOC01-appb-I000001
　予測誤差量Ｄは、上式（２）計算の結果、得られる分割領域Ｂ０，Ｂ１に対応する予測誤差量Ｄ０，Ｄ１からＤ＝Ｄ０＋Ｄ１として求める。
　一方、総符号量Ｒは、予測ベクトルＰＭＶ（Ｂ０），ＰＭＶ（Ｂ１）を用いて、下式（３）から動きベクトル予測差分値ＭＶＤ（Ｂ０），ＭＶＤ（Ｂ１）を得て、これらの値を符号量換算して符号量Ｒ０，Ｒ１を得て、総符号量Ｒ＝Ｒ０＋Ｒ１として求める。
　　ＭＶＤ（Ｂ０）＝ＭＶｔ－２（Ｂ０）－ＰＭＶ（Ｂ０）　　　（３）
　　ＭＶＤ（Ｂ１）＝ＭＶｔ－１（Ｂ１）－ＰＭＶ（Ｂ１）
　以上により、コストＪが求まる。予測部４は、探索範囲内の検査対象となるすべての動きベクトルについてコストＪの計算を行い、ｍｃ＿ｍｏｄｅ５の分割パターンとして最もコストＪが小さい解を求める。なお、ｍｃ＿ｍｏｄｅ１～４の予測ベクトルＰＭＶの算出例を図７に示す。図７において、矢印は予測ベクトル導出に利用する周辺の動きベクトルＭＶを意味し、○で囲まれた３本の動きベクトルＭＶのメディアン（中央値）が、それが指し示す分割領域の予測ベクトルＰＭＶとなる。
　なお、Ｌｉ×Ｍｉ画素ブロックに対して、ｋ＝７即ちｍｃ＿ｍｏｄｅ７を選択した場合、さらにｌｉ×ｍｉ画素ブロックに対して、ｍｃ＿ｍｏｄｅ０～７のモードに相当する動き予測モードを選択するように構成する。このときのモードの名称は便宜上、ｓｕｂ＿ｍｃ＿ｍｏｄｅ０～７とする。ｌｉ×ｍｉ画素ブロックに対してｓｕｂ＿ｍｃ＿ｍｏｄｅを決定する処理は図５の処理フローに準ずるものとし、Ｌｉ×Ｍｉ画素ブロック単位に対応するｍｃ＿ｍｏｄｅ７のコストＪ７は、ｌｉ×ｍｉ画素ブロックの単位で定まるｓｕｂ＿ｍｃ＿ｍｏｄｅを用いて得られる総コストとする。
　続いて、予測部４は、このようにして求まるｍｃ＿ｍｏｄｅｋでのコストＪｋが、それまでに検証したｍｃ＿ｍｏｄｅｋでのコストよりも小さいかどうかを検証し（ステップＳＴ２）、小さい場合は（ステップＳＴ２“Ｙｅｓ”）、ｍｃ＿ｍｏｄｅｋをその時点までの最適な動き予測モードとして保持するとともに、その際の動きベクトルおよび予測誤差信号を保持しておく（ステップＳＴ３）。予測部４は、すべての動き予測モードを検証し終えると（ステップＳＴ４“Ｙｅｓ”）、それまでに保持されていた動き予測モード、動きベクトル、予測誤差信号５を最終解として出力する（ステップＳＴ５）。さもなければ（ステップＳＴ２“Ｎｏ”またはステップＳＴ４“Ｎｏ”）、ステップＳＴ６で変数ｋをインクリメントして、ステップＳＴ１に戻って次の動き予測モードを検証する。
　なお、ｍｃ＿ｍｏｄｅ０，ｓｕｂ＿ｍｃ＿ｍｏｄｅ０に相当する動き予測モードでは、その動きベクトルが予測ベクトルと一致（符号化すべき予測差分値がゼロ）、かつ予測誤差信号の変換・量子化後の係数がすべてゼロとなるケースを、それぞれ特別なスキップモードと定義する。以下では、ｍｃ＿ｍｏｄｅ０に対応するスキップモードはｍｃ＿ｓｋｉｐモード（第一のスキップモード）、ｓｕｂ＿ｍｃ＿ｍｏｄｅ０に対応するスキップモードはｓｕｂ＿ｍｃ＿ｓｋｉｐモード（第二のスキップモード）、と呼ぶこととする。図８は、スキップモードを説明するための図であり、図８（ａ）ではひとつの実線で囲まれた矩形が動き予測単位ブロックを示し、その動きベクトルがＭＶであることを示す。このとき、例えば周辺の動き予測単位ブロックの動きベクトルを用いて図８のように予測ベクトルＰＭＶを求める。動きベクトルの符号化は予測ベクトルとの予測差分値を符号化するので、予測差分値がゼロとなるケース（ＭＶ＝＝ＰＭＶ）で、かつ予測誤差信号５に符号化すべき非ゼロ係数がなければ、この動き予測単位ブロックをｍｃ＿ｓｋｉｐモードとみなす。また、図８（ｂ）は、図８（ａ）に網がけで示す基本ブロックを中心に拡大表示したものであり、太線枠が動き予測単位ブロック領域を示す。このケースでは対象の基本ブロックのｓｕｂ＿ｍｃ＿ｍｏｄｅはｓｕｂ＿ｍｃ＿ｍｏｄｅ０に対応する。このときの動きベクトルをＭＶｓ、また予測ベクトルをＰＭＶｓとしたとき、ｍｃ＿ｓｋｉｐの判断と同様に、予測差分値がゼロとなるケース（ＭＶｓ＝＝ＰＭＶｓ）で、かつ予測誤差信号５に符号化すべき非ゼロ係数がなければ、この基本ブロックに適用する動き予測モードをｓｕｂ＿ｍｃ＿ｓｋｉｐモードとみなす。
　非特許文献１，２等の従来の符号化方式では、一般に、ｍｃ＿ｍｏｄｅ０、即ち一番大きい動き予測単位ブロック（非特許文献１，２では、本実施の形態１における基準ブロックと動き予測単位ブロックは同サイズであり、かつマクロブロックに該当）にのみ対応するスキップモードを設けて、スキップモードの場合はマクロブロックの情報を一切符号化しないように設計されている。本実施の形態１では、これをさらにｓｕｂ＿ｍｃ＿ｍｏｄｅの階層においても定義する点が特徴である。非特許文献１，２等の従来の符号化方式では、扱っていた映像信号がＨＤＴＶ程度まで、と比較的サンプリングレートの低い映像信号であったことから、マクロブロックの大きさよりも小さい動き予測単位ブロックは、動きが複雑になることだけを意味し、スキップモードを考慮しても効率的な符号化が困難であった。一方、ＨＤＴＶを超える超高精細映像や４：４：４フォーマットなどのサンプリングレートの高い映像信号では、Ｌｉ×Ｍｉ画素ブロックからなる動き予測単位ブロックの大きさでのみスキップモードを設けるだけでは、それよりも小さい基本ブロック（またはその組み合わせによって定まる動きベクトル割り当て領域）を選ぶとき、スキップの条件を有効に活用することができず、常にゼロ値の動きベクトルやゼロ係数値を明示的に符号化することになり、符号化効率が悪い。したがって、本実施の形態１では、ｍｃ＿ｍｏｄｅ割り当ての単位であるＬｉ×Ｍｉ画素ブロックからなる動き予測単位ブロックの単位だけでなく、ｓｕｂ＿ｍｃ＿ｍｏｄｅ割り当ての単位であるｌｉ×ｍｉ画素ブロックからなる基本ブロックが一定の大きさ以上（ｌｉ＞ｌｔ，ｍｉ＞ｍｔ）の場合、基本ブロックごとにｓｕｂ＿ｍｃ＿ｓｋｉｐモードを選択・利用できるように構成する。閾値ｌｔ，ｍｔは、Ｍｉ，Ｌｉの値から一意に定めてもよいし（例えば、ｌｔ＝Ｌｉ／２，ｍｔ＝Ｍｉ／２等）、フレームやシーケンスのレベルでビットストリームに多重化して伝送するように構成してもよい。
　以上述べた予測部４における処理によって、予測誤差信号５と、予測信号生成用パラメータ１７（動き予測モードおよび動きベクトル）が出力され、これらは可変長符号化部８にてエントロピー符号化される。以下では、本実施の形態１の画像符号化装置の特徴のひとつである、予測信号生成用パラメータ１７のエントロピー符号化方法について述べる。
　以下で説明する予測信号生成用パラメータ１７の符号化においては、説明の対象を、動き予測モード、動きベクトルの２種類のパラメータとする。図９は、可変長符号化部８のエントロピー符号化方法を説明するための図である。本実施の形態１の画像符号化装置では、図９に示すように、被予測・符号化対象の基本ブロックＢｘの動き予測モードｍ（Ｂｘ）を符号化するにあたり、同一フレームＦ（ｔ）の左の基本ブロックＢａの予測モードｍ（Ｂａ）、上の基本ブロックＢｂの予測モードｍ（Ｂｂ）、直前の隣接フレームＦ’（ｔ－１）において基本ブロックＢｘと同一位置の基本ブロックＢｃの動き予測モードｍ（Ｂｃ）の状態を選択的に参照してエントロピー符号化を行う。
　図１０は可変長符号化部８の内部構成を、図１１はその動作フローを示す。本実施の形態１における可変長符号化部８は、符号化対象データである動き予測モードや動きベクトルなどの個々のデータタイプに対して定義されるコンテクストモデル（後述）を定めるコンテクストモデル決定部２１、各符号化対象データタイプについて定められる二値化規則にしたがって多値データを二値データに変換する二値化部２２、二値化後の個々のｂｉｎの値（０／１）の生起確率を与える生起確率生成部２３、生成された生起確率に基づいて算術符号化を実行する符号化部２４、生起確率情報を記憶する生起確率情報記憶メモリ２５から構成される。コンテクストモデル決定部２１への入力は、ここでは予測画像生成用パラメータ１７のうち、動き予測モードと、動きベクトルとに限定して説明する。
（Ａ）コンテクストモデル決定処理（図１１におけるステップＳＴ１１）
　コンテクストモデルとは、情報源シンボルの生起確率の変動要因となる他の情報との依存関係をモデル化したものであり、この依存関係に対応して生起確率の状態を切り替えることで、シンボルの実際の生起確率により適応した符号化を行うことが可能となる。図１２にコンテクストモデルｃｔｘの概念を示す。なお、同図では情報源シンボルは二値としているが、多値でも構わない。ただし、本実施の形態１では、二値算術符号化のみを扱う。
　図１２の０～２というコンテクストモデルｃｔｘの選択肢は、このコンテクストモデルｃｔｘを用いる情報源シンボルの生起確率の状態が、状況に応じて変化するであろうことを想定して定義されている。本実施の形態１における画像符号化装置で言えば、ある基準ブロックにおける符号化データとその周辺の基準ブロックの符号化データとの間の依存関係に応じてコンテクストモデルｃｔｘの値が切り替えられる。
　例えば、図１３に、「D. Marpe et. al., "Video Compression Using Context-Based Adaptive Arithmetic Coding", International Conference on Image Processing 2001」に開示された動きベクトルに関するコンテクストモデルの例を示す。図１３において、ブロックＣの動きベクトルが符号化対象である（正確には、ブロックＣの動きベクトルを近傍から予測した予測差分値ｍｖｄｋ（Ｃ）が符号化される）。また、ｃｔｘ＿ｍｖｄ（Ｃ，ｋ）がブロックＣの動きベクトルに対するコンテクストモデルを示す。ｍｖｄｋ（Ａ）はブロックＡにおける動きベクトル予測差分値、ｍｖｄｋ（Ｂ）はブロックＢにおける動きベクトル予測差分値をそれぞれ示し、これらの値がコンテクストモデルの切り替え評価値ｅｋ（Ｃ）の定義に用いられる。評価値ｅｋ（Ｃ）は、近傍の動きベクトルのばらつき具合を示すことになり、一般的にはこのばらつきが小さい場合には動きベクトル予測差分値ｍｖｄｋ（Ｃ）は小さく、逆に評価値ｅｋ（Ｃ）が大きい場合は動きベクトル予測差分値ｍｖｄｋ（Ｃ）も大きくなる傾向がある。したがって、動きベクトル予測差分値ｍｖｄｋ（Ｃ）のシンボル生起確率は、評価値ｅｋ（Ｃ）に基づいて適応化されることが望ましい。この生起確率のバリエーションセットがコンテクストモデルであり、このケースでは３種類の生起確率バリエーションがある、といえる。
　このように、符号化対象データそれぞれについてあらかじめコンテクストモデルが定義され、画像符号化装置と画像復号装置で共有される。コンテクストモデル決定部２１では、このような符号化対象データの種別に基づいてあらかじめ定められたモデルを選択する処理を行う。なお、コンテクストモデルの中のどの生起確率バリエーションを選択するかは下記（Ｃ）の生起確率生成処理に該当する。
　図１０において、可変長符号化部８は動き予測モード、動きベクトルに割り当てるコンテクストモデル２６の候補を複数用意しておき、コンテクストモデル選択情報２７によって、使用するコンテクストモデル２６を切り替えることを特徴とする。図９に示すように、被予測・符号化対象の基本ブロックＢｘの動き予測モードｍ（Ｂｘ）は、フレーム間で動きの状態についての相関が低ければ、同一フレーム内で空間的に隣接する画像領域の状態との相関が高い（即ち、動き予測モードｍ（Ｂｘ）の値は、動き予測モードｍ（Ｂａ），ｍ（Ｂｂ）の分割形状に強く影響される）と考えられるので、同一フレームの左の基本ブロックＢａの動き予測モードｍ（Ｂａ）、上の基本ブロックＢｂの動き予測モードｍ（Ｂｂ）をコンテクストモデル２６の決定に利用する。この考え方の根拠となる例を図１４に示す。図１４は、動き予測モードｍ（Ｂｘ）＝ｍｃ＿ｍｏｄｅ３の場合について、基本ブロックＢａ，Ｂｂで選ばれる動き予測モードの２つの状態を比較して示したものである。図１４（ａ）においては、動き予測モードｍ（Ｂｘ）の分割形状に対して、基本ブロックＢａ，Ｂｂともに分割の切れ目が自然につながっている。一方、図１４（ｂ）では基本ブロックＢａ，Ｂｂともに分割の切れ目がつながっていない。一般にこの分割形状は基準ブロック内に存在する複数の異なる動き領域の存在を示すものであるので、映像の構造を反映しやすい。したがって、図１４（ａ）に示す状態の方が、図１４（ｂ）に示す状態よりも「起こりやすい状態」であると考えられる。つまり、動き予測モードｍ（Ｂａ），ｍ（Ｂｂ）の状態に応じて、動き予測モードｍ（Ｂｘ）の生起確率が影響を受けることになる。
　同様に、フレーム間で動きの状態についての相関が高ければ、時間的に隣接する画像領域の状態との相関が高い（即ち動き予測モード、ｍ（Ｂｘ）は、動き予測モードｍ（Ｂｃ）の分割形状に対応してとりうる値の確率が変化する）と考えられるので、可変長符号化部８は、直前の隣接フレームにおいて基本ブロックＢｘと同一位置にある基本ブロックＢｃの動き予測モードｍ（Ｂｃ）をコンテクストモデル２６の決定に利用する。
　可変長符号化部８は、動きベクトルのコンテクストモデル２６の決定に際しても同様に、フレーム間で動きの状態についての相関が低ければ、同一フレームの左のブロックＢａの動きベクトル、上のブロックＢｂの動きベクトルをコンテクストモデル２６の決定に利用する。一方、フレーム間で動きの状態についての相関が高ければ、可変長符号化部８は、直前の隣接フレームにおいてブロックＢｘと同一位置にあるブロックＢｃの動きベクトルをコンテクストモデル２６の決定に利用する。動き予測モードと同様、動きベクトルについても色成分間の相関をコンテクストモデル２６の決定に利用してもよい。
　フレーム間で動きの状態についての相関の高低は、画像符号化装置において所定の方法によって検出して、コンテクストモデル選択情報２７の値を明示的にビットストリーム９に多重して画像復号装置に伝達してもよいし、画像符号化装置と画像復号装置の両者で検知可能な情報に基づいてコンテクストモデル選択情報２７の値をそれぞれ決定するように構成してもよい。映像信号は非定常であるため、このような適応制御が可能になることにより、算術符号化の効率を高めることができる。
（Ｂ）二値化処理（図１１におけるステップＳＴ１２）
　コンテクストモデルは、符号化対象データを二値化部２２にて二値系列化し、二値系列の各ｂｉｎ（バイナリ位置）に応じて定める。二値化の規則は、各符号化データの取りうる値のおおまかな分布に従い、可変長の二値系列への変換を行う。二値化は、本来多値を取りうる符号化対象データをそのまま算術符号化するよりもｂｉｎ単位で符号化することにより確率数直線分割数を削減でき演算を簡略化できる、コンテクストモデルのスリム化が可能になるなどのメリットがある。
　たとえば、Ｌｉ＝Ｍｉ＝３２，ｌｉ＝ｍｉ＝１６として符号化するとき、二値化部２２は、動き予測モードの二値化を図１５（ａ），（ｂ）のように行う。
　各ｂｉｎ０，１，２，４，５には、図１６Ａ～図１６Ｅに示すコンテクストモデルを適用する。Ｂｉｎ０は、図１６Ａに示すように、符号化対象データ（ブロックＣ）に対して上（ブロックＡ）・左（ブロックＢ）の位置の動き予測単位ブロックの状態が「スキップモードか否か」を生起確率の切り替え基準とする。Ｂｉｎ１は、図１６Ｂに示すように、上（ブロックＡ）・左（ブロックＢ）の位置の動き予測単位ブロックの状態が「動き予測ブロック分割があるか否か」を生起確率の切り替え基準とする。Ｂｉｎ２は、図１６Ｃに示すように、上（ブロックＡ）・左（ブロックＢ）の位置のブロックの状態が「複雑な動き予測モードか否か」を生起確率の切り替え基準とする。Ｂｉｎ３はコンテクストモデルを定義せず、所定の生起確率に固定化する。Ｂｉｎ４は、図１６Ｄに示すように、左（ブロックＢ）の位置のブロックの状態が「動き予測形状分割が水平分割であるか否か」を生起確率の切り替え基準とする。Ｂｉｎ５は、図１６Ｅに示すように、上（ブロックＡ）の位置のブロックの状態が「動き予測形状分割が垂直分割であるか否か」を生起確率の切り替え基準とする。このように、動き予測領域の形状に基づいてコンテクストモデル２６を定めることにより、局所的な映像信号の性質に適応化して動き予測モード情報に関する生起確率の選択が可能となり、算術符号化の符号化効率を高めることができる。なお、ｌｉ＝ｍｉ＝１６においてｓｕｂ＿ｍｃ＿ｓｋｉｐを使用しない選択を行う場合（閾値ｌｔ＞＝１６，ｍｔ＞＝１６）は、図１５（ｂ）のＢｉｎ０を符号化しないように構成する。
（Ｃ）生起確率生成処理（図１１におけるステップＳＴ１３）
　上記（Ａ），（Ｂ）のプロセス（ステップＳＴ１１，ＳＴ１２）で、多値の符号化対象データの二値化と、各ｂｉｎに適用するコンテクストモデルの設定が完了し、符号化準備が整う。次いで生起確率生成部２３にて算術符号化に用いる生起確率情報の生成処理が行われる。各コンテクストモデルには、０／１の各値に対する生起確率のバリエーションが含まれているので、ステップＳＴ１１で決定されたコンテクストモデル２６を参照して処理を行う。生起確率生成部２３は、図１３に示す評価値ｅｋ（Ｃ）のような生起確率選択のための評価値を定め、これに従って、参照するコンテクストモデルの選択肢の中からどの生起確率バリエーションを現在の符号化に用いるかを決定する。
　さらに、本実施の形態１における可変長符号化部８は、生起確率情報記憶メモリ２５を備え、符号化の過程で順次更新される生起確率情報２８を、使用されるコンテクストモデルのバリエーション分だけ記憶する機構を備える。生起確率生成部２３は、コンテクストモデル２６の値に応じて、現在の符号化に用いる生起確率情報２８を決定する。
（Ｄ）符号化処理（図１１におけるステップＳＴ１４）
　上記（Ｃ）のプロセス（ステップＳＴ１３）で、算術符号化プロセスに必要な確率数直線上の０／１各値の生起確率が得られるため、従来例にあげたプロセスに従って符号化部２４において算術符号化を行う（ステップＳＴ１４）。
　また、実際の符号化値（０／１）２９は、生起確率生成部２３へフィードバックされ、使用した生起確率情報２８の更新のため、０／１発生頻度のカウントが行われる（ステップＳＴ１５）。例えば、ある特定の生起確率情報２８を用いて１００個のｂｉｎの符号化処理が行われた時点で、当該生起確率バリエーションにおける０／１の生起確率が０．２５／０．７５であったとする。ここで、同じ生起確率バリエーションを用いて「１」が符号化されると、「１」の出現頻度が更新され、０／１の生起確率は０．２４７／０．７５２に変化する。このメカニズムにより、実際の生起確率に適応した効率的な符号化を行うことが可能となる。
　すべてのｂｉｎの符号化処理が終了すると、符号化部２４が生成した算術符号化結果３０が可変長符号化部８からの出力となり、ビットストリーム９として画像符号化装置から出力される（ステップＳＴ１６）。
２．符号化ビットストリームの構成
　入力映像信号１は、上記処理に基づいて図２の画像符号化装置で符号化され、複数の基準ブロックを束ねた単位（以下、スライスと呼ぶ）でビットストリーム９として画像符号化装置から出力される。
　図１７に、ビットストリーム９のデータ配列を示す。ビットストリーム９は、フレーム中に含まれる基準ブロック数分の符号化データが集められたものとして構成され、基準ブロックはスライス単位にユニット化される。同一フレームに属する基準ブロックが共通パラメータとして参照するピクチャレベルヘッダが用意され、このピクチャレベルヘッダには、基準ブロックサイズ情報１８が格納される。基準ブロックサイズＭｍａｘが、ピクチャレベルより上位のシーケンス単位で固定化されるのであれば、基準ブロックサイズ情報１８をシーケンスレベルヘッダに多重するように構成してもよい。
　各スライスはそれぞれスライスヘッダから始まり、続いてスライス内の各基準ブロックの符号化データが配列される。図１７の例では、第２スライスにＫ個の基準ブロックが含まれることを示す。基準ブロックデータは、基準ブロックヘッダと予測誤差圧縮データとから構成され、基準ブロックヘッダには基準ブロック内の動き予測単位ブロックの分の動き予測モードｍｃ＿ｍｏｄｅと動きベクトル（予測信号生成用パラメータ１７に相当する）、予測誤差圧縮データ７の生成に用いた量子化パラメータ１９などが配列される。
　動き予測モードｍｃ＿ｍｏｄｅとして、まずｍｃ＿ｓｋｉｐまたはｍｃ＿ｍｏｄｅ０～７の種別が符号化され、ｍｃ＿ｓｋｉｐであれば、以下すべてのマクロブロック符号化情報は伝送しないようにする。ｍｃ＿ｍｏｄｅ０～６であれば、動き予測モードで指定される動きベクトル割り当て領域の分の動きベクトル情報が符号化される。ｍｃ＿ｍｏｄｅ７であれば、基準ブロックサイズ情報１８に基づいて、ｓｕｂ＿ｍｃ＿ｍｏｄｅの符号にｓｕｂ＿ｍｃ＿ｓｋｉｐを含むか否かが決定される。ここでは、基準ブロックサイズＭｉ，Ｌiより、ｓｕｂ＿ｍｃ＿ｓｋｉｐ符号の有無の閾値をｌｔ＝Ｌｉ／２，ｍｔ＝Ｍｉ／2と定めることとする。その上で「ｌｉ＞ｌｔ，ｍｉ＞ｍｔ」の条件が満足されれば、図１５（ｂ）の二値化規則に基づいて、ｓｕｂ＿ｍｃ＿ｓｋｉｐの分を含めたｓｕｂ＿ｍｃ＿ｍｏｄｅの符号化が行われる。「ｌｉ＞ｌｔ，ｍｉ＞ｍｔ」が満たされなければ、図１５（ｂ）の二値化規則からＢｉｎ０の符号化のみが除外される。また、動き予測モードおよび動きベクトルの算術符号化におけるコンテクストモデル選択指針を示すコンテクストモデル選択情報２７が基準ブロックヘッダに含まれる。
　なお、図示していないが、各基準ブロック内で用いる動き予測単位ブロックのサイズＬｉ，Ｍｉを各基準ブロックごとに選択できるように基準ブロックサイズ決定部を構成しておき、基準ブロック内で用いる動き予測単位ブロックのサイズＬｉ，Ｍｉをシーケンス、またはピクチャレベルヘッダに多重する代わりに、各基準ブロックヘッダに多重するように構成してもよい。これにより、基準ブロックごとに動き予測単位ブロックのサイズＬｉ，Ｍｉを符号化する必要があるが、局所的な画像信号の性質に応じて動き予測単位ブロックのサイズを変化させることができ、より適応性の高い動き予測を行うことが可能となる。各基準ブロックヘッダに多重するか、シーケンス、ＧＯＰ、ピクチャ、スライス等の上位レベルのヘッダに固定的に多重するかを示す情報は、シーケンス、ＧＯＰ、ピクチャ、スライス等の上位レベルヘッダ中に識別情報として多重するように構成しておけばよい。これにより、上位レベルで固定化しても動き予測性能に影響が少ない場合は、基準ブロックごとに動き予測単位ブロックのサイズＬｉ，Ｍｉを符号化するオーバヘッドを削減して効率的な符号化を行うことが可能である。
３．画像復号装置
　図１８は、本実施の形態１における画像復号装置の構成を示すブロック図である。可変長復号部（復号部）１００は、図１７に示すビットストリーム９を入力とし、シーケンスレベルヘッダを復号した後、ピクチャレベルヘッダを復号して基準ブロックサイズの情報を復号する。これにより当該ピクチャで用いる基準ブロックのサイズＭｍａｘと動き予測単位ブロックのサイズＬｉ，Ｍｉを認識し、この基準ブロックサイズ情報１８を予測誤差復号部１０１および予測部１０２へ通知する。なお、動き予測単位ブロックのサイズＬｉ，Ｍｉを各基準ブロックヘッダ中に多重可能とするビットストリーム構成の場合には、可変長復号部１００は、動き予測単位ブロックのサイズＬｉ，Ｍｉが各基準ブロックヘッダ中に多重されているか否かを示す識別情報を復号し、同識別情報に基づいて、各基準ブロックヘッダを復号することによって動き予測単位ブロックのサイズＬｉ，Ｍｉを認識するように構成する。
　基準ブロックデータの復号はまず、基準ブロックヘッダの復号から行う。可変長復号部１００は、この過程で、コンテクストモデル選択情報２７を復号する。続いて、復号したコンテクストモデル選択情報２７に基づいて、色成分ごとに動き予測単位ブロックあたりに適用する動き予測モードの復号を行う。動き予測モードは、まず動き予測単位ブロックの単位でｍｃ＿ｍｏｄｅの復号を行い、ｍｃ＿ｓｋｉｐの場合は、図８の条件に基づき、周辺の動きベクトルから予測ベクトルを求めてそれをカレント動きベクトルに割り当てる。また、ｍｃ＿ｍｏｄｅ７である場合は、図８の条件に基づき、基本ブロックごとにｓｕｂ＿ｍｃ＿ｍｏｄｅの復号を行う。この際、基準ブロックサイズ情報１８から画像符号化装置側と同じ判断基準でｓｕｂ＿ｍｃ＿ｓｋｉｐ利用有無の判断を行い、この判断に基づいて、ｓｕｂ＿ｍｃ＿ｍｏｄｅの復号処理を実行する。ｓｕｂ＿ｍｃ＿ｓｋｉｐを利用する場合は、ｓｕｂ＿ｍｃ＿ｍｏｄｅ＝＝ｓｕｂ＿ｍｃ＿ｓｋｉｐならば、当該基本ブロックの符号化データの復号はスキップし、カレント動きベクトルは図８の方法で求める予測ベクトルを割り当てる。その他の場合は、動きベクトル割り当て領域の数分だけ、コンテクストモデル選択情報２７に基づいて動きベクトルの復号を行い、さらに基準ブロックごとに量子化パラメータ１９、予測誤差圧縮データ７などの情報を順次復号する。
　予測誤差圧縮データ７、量子化パラメータ１９は予測誤差復号部１０１に入力され、復号予測誤差信号１１に復元される。この予測誤差復号部１０１は、図２の画像符号化装置における局所復号部１０と等価な処理を行う。
　予測部１０２は、可変長復号部１００によって復号される予測信号生成用パラメータ１７とメモリ１０３内の参照画像信号１５とから予測信号１２を生成する。なお、予測部１０２は画像符号化装置における予測部４と等価な処理を行うが、動きベクトル検出動作は含まない。動き予測モードは図４に示すｍｃ＿ｍｏｄｅ０～７のいずれかであり、予測部１０２はその分割形状に基づいて各基本ブロックに割り当てられる動きベクトルを用いて予測画像１２を生成する。
　復号予測誤差信号１１と予測信号１２は加算部により加算され、復号信号１３としてループフィルタ１０４へ入力される。この復号信号１３は、ループフィルタ１０４で符号化雑音を除去する処理が施された後、以降の予測信号１２を生成するための参照画像信号１５としてメモリ１０３に格納される。図１８には図示していないが、ループフィルタ１０４は可変長復号部１００によって復号される予測信号生成用パラメータ１７、量子化パラメータ１９に加えて、フィルタ係数情報２０を用いて、画像符号化装置におけるループフィルタ１４と等価な処理により参照画像信号１５の生成を行う。画像符号化装置のループフィルタ１４と画像復号装置のループフィルタ１０４との違いは、前者が原画像信号である符号化信号３を参照してフィルタ係数情報２０を生成するのに対して、後者はビットストリーム９から復号したフィルタ係数情報２０を参照してフィルタ処理を行う点である。
　以下、可変長復号部１００による基準ブロックの動き予測モード、動きベクトルの復号処理について述べる。
　図１９は可変長復号部１００における算術復号処理に関わる内部構成を、図２０はその動作フローを示す。
　本実施の形態１における可変長復号部１００は、動き予測モード、動きベクトルなどを含む予測信号生成用パラメータ１７、予測誤差圧縮データ７、量子化パラメータ１９などの個々の復号対象データのタイプを特定して、それぞれに画像符号化装置と共通定義されるコンテクストモデルを定めるコンテクストモデル決定部２１、復号対象データのタイプに基づいて定まる二値化規則を生成する二値化部２２、二値化規則とコンテクストモデルに従って、個々のｂｉｎ（０／１）の生起確率を与える生起確率生成部２３、生成された生起確率に基づいて算術復号を実行し、その結果得られる二値系列と、上記二値化規則とから、符号化データを復号する復号部１０５、生起確率情報２８を記憶する生起確率情報記憶メモリ２５とから構成される。図１９に示す各部のうち、図１０に示す可変長符号化部８の内部構成要素と同一の番号を付与した各部はそれぞれ同じ動作を行うものとする。
（Ｅ）コンテクストモデル決定処理、二値化処理、生起確率生成処理（図２０のステップＳＴ１１～ＳＴ１３）
　これらのプロセス（ステップＳＴ１１～ＳＴ１３）は画像符号化装置側のプロセス（Ａ）～（Ｃ）（図１１のステップＳＴ１１～ＳＴ１３）に準ずるため、説明は省略する。なお、動き予測モード、動きベクトルの復号に用いるコンテクストモデルの決定には、上記復号したコンテクストモデル選択情報２７を参照する。
（Ｆ）算術復号処理（図２０のステップＳＴ２１，ＳＴ１５，ＳＴ２２）
　これから復号しようとするｂｉｎの生起確率が上記（Ｅ）までのプロセスで確定するため、復号部１０５において、所定の算術復号処理プロセスに従って、ｂｉｎの値を復元する（ステップＳＴ２１）。ｂｉｎの復元値４０（図１９）は、生起確率生成部２３へフィードバックされ、使用した生起確率情報２８の更新のため、０／１発生頻度のカウントが行われる（ステップＳＴ１５）。復号部１０５では、各ｂｉｎの復元値が確定するごとに、二値化規則で定められる二値系列パターンとの合致を確認し、合致したパターンが指し示すデータ値を復号データ値１０６として出力する（ステップＳＴ２２）。復号データが確定しない限りは、ステップＳＴ１１へ戻って復号処理を継続する。
　なお、上記説明では、コンテクストモデル選択情報２７を多重する単位は基準ブロック単位としたが、スライス単位やピクチャ単位などで多重化してもよい。スライス、ピクチャ、シーケンスなどの上位データレイヤに位置するフラグとして多重化されるようにすることで、スライス以上の上位レイヤでの切り替えで十分な符号化効率が確保できる場合は、基準ブロックレベルでコンテクストモデル選択情報２７を逐一多重化することなくオーバヘッドビットを削減できる。
　また、コンテクストモデル選択情報２７は、それ自体とは別のビットストリーム中に含まれる関連情報に基づいて画像復号装置の内部で定まる情報であってもよい。また、上記説明では可変長符号化部８および可変長復号部１００を算術符号化・算術復号処理を行うものとして説明したが、これらの処理をハフマン符号化処理として、コンテクストモデル選択情報２７は可変長符号化テーブルを適応的に切り替える手段として利用するように構成してもよい。
　以上の構成による画像符号化・復号装置によれば、スキップモードの階層表現が可能になり、符号化対象基準ブロックの内部状態に応じて適応的に動き予測モードや動きベクトルの情報を符号化することができ、効率的な符号化が可能となる。
　以上より、実施の形態１によれば、画像符号化装置を、動き予測単位ブロックのサイズを色成分信号に応じて適応的に決定すると共に、当該動き予測単位ブロックを動きベクトル割り当て領域に分割して動きベクトルを探索する予測部４と、動き予測単位ブロック全体に動きベクトルを割り当てる場合に、当該動きベクトルが周辺の動き予測単位ブロックの動きベクトルから求めた予測ベクトルと等しく、かつ、予測誤差信号５として符号化するデータが存在しなければ動き予測モードをｍｃ＿ｓｋｉｐモードにして符号化を行い、動きベクトル割り当て領域が所定のサイズ以上、かつ、動きベクトル割り当て領域全体に動きベクトルを割り当てる場合に、当該動きベクトルが周辺の動きベクトル割り当て領域の動きベクトルから求めた予測ベクトルと等しく、かつ、予測誤差信号５として符号化するデータが存在しなければ動き予測モードをｓｕｂ＿ｍｃ＿ｓｋｉｐモードにして符号化を行ってビットストリーム９を生成する可変長符号化部８とを備えるように構成した。このため、４：４：４フォーマットのカラー映像信号を効率よく符号化するために、スキップモードの階層表現を可能とし、符号化対象基準ブロックの内部状態に応じて適応的に動き予測モードや動きベクトルの情報を符号化することができ、高い圧縮率となる低ビットレート符号化において動きベクトルの符号量を効果的に抑制して符号化する画像符号化装置を提供することができる。
　また、実施の形態１によれば、画像復号装置を、入力されるビットストリーム９から、動き予測単位ブロックのサイズと、動き予測単位ブロックを分割した動きベクトル割り当て領域の形状を特定する動き予測モードと、動きベクトル割り当て領域に対応する動きベクトルとを示した予測信号生成用パラメータ１７を復号して、当該動き予測モードから動き予測単位ブロックがｍｃ＿ｓｋｉｐモードか否か、および動きベクトル割り当て領域がｓｕｂ＿ｍｃ＿ｓｋｉｐモードか否かを特定する可変長復号部１００と、動き予測単位ブロックがｍｃ＿ｓｋｉｐモードである場合または動きベクトル割り当て領域がｓｕｂ＿ｍｃ＿ｓｋｉｐモードである場合に、周辺の動きベクトルから予測ベクトルを求めて動きベクトルに設定すると共に復号予測誤差信号１１を全てゼロに設定して予測信号１２を生成し、動き予測単位ブロックがｍｃ＿ｓｋｉｐモードでなく、かつ、当該動き予測単位ブロックの動きベクトル割り当て領域がｓｕｂ＿ｍｃ＿ｓｋｉｐモードでない場合に、可変長復号部１００が復号した動き予測モードと動きベクトルとに基づいて予測信号１２を生成する予測部１０２を備えるように構成した。このため、上記画像符号化装置に対応した映像復号装置を提供することができる。
　なお、本実施の形態１では、４：４：４映像信号に対する符号化・復号の実施例を説明したが、前述のとおり、本発明における符号化・復号処理は、従来の輝度・色差成分フォーマットで色間引きを行った４：２：０または４：２：２フォーマットを対象とする映像符号化において、マクロブロックなどの基準ブロックの単位で符号化・復号を行う場合にも適用可能であることは言うまでもない。
　この発明に係る画像符号化装置、画像復号装置、画像符号化方法、および画像復号方法は、４：４：４フォーマットの映像信号に対して最適な符号化処理を行うことができるため、画像圧縮符号化技術や圧縮画像データ伝送技術等に用いるのに適している。

Claims (4)

  1. 　動画像信号の各フレームを所定サイズのブロック単位に分割して、当該ブロック単位で動き予測を行い予測符号化したビットストリームを生成する画像符号化装置であって、
    　前記ブロックにおいて動き予測単位ブロックのサイズを所定条件に応じて適応的に決定すると共に、当該動き予測単位ブロックを動きベクトル割り当て領域に分割して動きベクトルを探索する予測部と、
    　前記動き予測単位ブロック全体に動きベクトルを割り当てる場合に、当該動きベクトルが周辺の動き予測単位ブロックの動きベクトルから求めた予測ベクトルと等しく、かつ、動き予測誤差信号として符号化するデータが存在しなければ第一のスキップモードとして符号化を行い、
    　前記動きベクトル割り当て領域が所定のサイズ以上、かつ、前記動きベクトル割り当て領域全体に動きベクトルを割り当てる場合に、当該動きベクトルが周辺の動きベクトル割り当て領域の動きベクトルから求めた予測ベクトルと等しく、かつ、動き予測誤差信号として符号化するデータが存在しなければ第二のスキップモードとして符号化を行う符号化部とを備えることを特徴とする画像符号化装置。
  2. 　動画像信号の各フレームを所定サイズのブロック単位に分割して、当該ブロック単位で動き予測を行い予測符号化したビットストリームを入力として、前記動画像信号を復号する画像復号装置であって、
    　前記ビットストリームから、前記ブロック内の動き予測単位ブロックのサイズと、前記動き予測単位ブロックを分割した動きベクトル割り当て領域の形状を特定する動き予測モードと、前記動きベクトル割り当て領域に対応する動きベクトルとを示したデータを復号して、当該動き予測モードから前記動き予測単位ブロックが第一のスキップモードか否か、および前記動きベクトル割り当て領域が第二のスキップモードか否かを特定する復号部と、
    　前記動き予測単位ブロックが第一のスキップモードである場合または前記動きベクトル割り当て領域が第二のスキップモードである場合に、周辺の動きベクトルから予測ベクトルを求めて動きベクトルに設定すると共に動き予測誤差信号を全てゼロに設定して予測画像を生成し、動き予測単位ブロックが第一のスキップモードでなく、かつ、当該動き予測単位ブロックの動きベクトル割り当て領域が第二のスキップモードでない場合に、復号部が復号した動き予測モードと動きベクトルとに基づいて予測画像を生成する予測部を備えることを特徴とする画像復号装置。
  3. 　動画像信号の各フレームを所定サイズのブロック単位に分割して、当該ブロック単位で動き予測を行い予測符号化したビットストリームを生成する画像符号化方法であって、
    　前記ブロックにおいて動き予測単位ブロックのサイズを所定条件に応じて適応的に決定すると共に、当該動き予測単位ブロックを動きベクトル割り当て領域に分割して動きベクトルを探索する予測ステップと、
    　前記動き予測単位ブロック全体に動きベクトルを割り当てる場合に、当該動きベクトルが周辺の動き予測単位ブロックの動きベクトルから求めた予測ベクトルと等しく、かつ、動き予測誤差信号として符号化するデータが存在しなければ第一のスキップモードとして符号化を行い、前記動きベクトル割り当て領域が所定のサイズ以上、かつ、前記動きベクトル割り当て領域全体に動きベクトルを割り当てる場合に、当該動きベクトルが周辺の動きベクトル割り当て領域の動きベクトルから求めた予測ベクトルと等しく、かつ、動き予測誤差信号として符号化するデータが存在しなければ第二のスキップモードとして符号化を行う符号化ステップとを備えることを特徴とする画像符号化方法。
  4. 　動画像信号の各フレームを所定サイズのブロックに分割して、当該ブロック単位で動き予測を行い予測符号化したビットストリームを入力として、前記動画像信号を復号する画像復号方法であって、
    　前記ビットストリームから、前記ブロック内の動き予測単位ブロックのサイズと、前記動き予測単位ブロックを分割した動きベクトル割り当て領域の形状を特定する動き予測モードと、前記動きベクトル割り当て領域に対応する動きベクトルとを示したデータを復号して、当該動き予測モードから前記動き予測単位ブロックが第一のスキップモードか否か、および前記動きベクトル割り当て領域が第二のスキップモードか否かを特定する復号ステップと、
    　前記動き予測単位ブロックが第一のスキップモードである場合または前記動きベクトル割り当て領域が第二のスキップモードである場合に、周辺の動きベクトルから予測ベクトルを求めて動きベクトルに設定すると共に動き予測誤差信号を全てゼロに設定して予測画像を生成するスキップモード予測ステップと、
    　前記動き予測単位ブロックが第一のスキップモードでなく、かつ、前記動き予測単位ブロックの動きベクトル割り当て領域が第二のスキップモードでない場合に、前記動きベクトル割り当て領域に対応する動きベクトルを示したデータを復号して、当該動きベクトルと前記復号ステップで復号した動き予測モードとに基づいて予測画像を生成する予測ステップとを備えることを特徴とする画像復号方法。
PCT/JP2010/003553 2009-05-29 2010-05-27 画像符号化装置、画像復号装置、画像符号化方法、および画像復号方法 WO2010137324A1 (ja)

Priority Applications (26)

Application Number Priority Date Filing Date Title
KR1020117030687A KR101312213B1 (ko) 2009-05-29 2010-05-27 화상 복호 장치 및 화상 복호 방법
BRPI1015415-9A BRPI1015415B1 (pt) 2009-05-29 2010-05-27 Dispositivo de codificação de imagem
EP21183819.8A EP3998776B1 (en) 2009-05-29 2010-05-27 Image encoding device, image decoding device, image encoding method, and image decoding method
CN201080023464.4A CN102450017B (zh) 2009-05-29 2010-05-27 图像解码装置以及图像解码方法
KR1020147013628A KR101514191B1 (ko) 2009-05-29 2010-05-27 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법, 및 화상 복호 방법
JP2011515899A JP5215462B2 (ja) 2009-05-29 2010-05-27 画像復号装置、および画像復号方法
CA2763211A CA2763211C (en) 2009-05-29 2010-05-27 Image encoding device, image decoding device, image encoding method, and image decoding method
KR1020137024666A KR101490646B1 (ko) 2009-05-29 2010-05-27 화상 복호 장치 및 화상 복호 방법
MX2011012672A MX2011012672A (es) 2009-05-29 2010-05-27 Dispositivo de codificacion de imagen, dispositivo de decodificacion de imagen, metodo de codificacion de imagen y metodo de decodificacion de imagen.
RU2011154147/08A RU2509438C2 (ru) 2009-05-29 2010-05-27 Устройство кодирования изображений, устройство декодирования изображений, способ кодирования изображений и способ декодирования изображений
EP21183815.6A EP3998775B1 (en) 2009-05-29 2010-05-27 Image encoding device, image decoding device, image encoding method, and image decoding method
BR122015017701-4A BR122015017701B1 (pt) 2009-05-29 2010-05-27 Método de decodificação de imagem
KR1020137012749A KR101376018B1 (ko) 2009-05-29 2010-05-27 화상 복호 장치
KR1020147002835A KR101455579B1 (ko) 2009-05-29 2010-05-27 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법, 및 화상 복호 방법
EP17178390.5A EP3261346B1 (en) 2009-05-29 2010-05-27 Image encoding device, image decoding device, image encoding method, and image decoding method
EP10780284.5A EP2437500A4 (en) 2009-05-29 2010-05-27 IMAGE ENCRYPTION DEVICE, IMAGE KEYING DEVICE, IMAGE ENCRYPTION METHOD AND IMAGE KEYING PROCESS
SG2011085313A SG176160A1 (en) 2009-05-29 2010-05-27 Image encoding device, image decoding device, image encoding method, and image decoding method
BR122015017699-9A BR122015017699B1 (pt) 2009-05-29 2010-05-27 Dispositivo de decodificação de imagem
BR122015017700-6A BR122015017700B1 (pt) 2009-05-29 2010-05-27 Método de codificação de imagem
US13/322,820 US8934548B2 (en) 2009-05-29 2010-05-27 Image encoding device, image decoding device, image encoding method, and image decoding method
ZA2011/09121A ZA201109121B (en) 2009-05-29 2011-12-12 Image encoding device,image decoding device,image encoding method,and image decoding method
HK12108525.3A HK1167966A1 (en) 2009-05-29 2012-08-31 Image decoding device and image decoding method
US14/560,972 US9036713B2 (en) 2009-05-29 2014-12-04 Image encoding device, image decoding device, image encoding method, and image decoding method
US14/626,616 US9930356B2 (en) 2009-05-29 2015-02-19 Optimized image decoding device and method for a predictive encoded bit stream
US14/626,603 US9930355B2 (en) 2009-05-29 2015-02-19 Optimized image decoding device and method for a predictive encoded BIT stream
US14/626,625 US9924190B2 (en) 2009-05-29 2015-02-19 Optimized image decoding device and method for a predictive encoded bit stream

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009130433 2009-05-29
JP2009-130433 2009-05-29

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US13/322,820 A-371-Of-International US8934548B2 (en) 2009-05-29 2010-05-27 Image encoding device, image decoding device, image encoding method, and image decoding method
US14/560,972 Division US9036713B2 (en) 2009-05-29 2014-12-04 Image encoding device, image decoding device, image encoding method, and image decoding method

Publications (1)

Publication Number Publication Date
WO2010137324A1 true WO2010137324A1 (ja) 2010-12-02

Family

ID=43222450

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/003553 WO2010137324A1 (ja) 2009-05-29 2010-05-27 画像符号化装置、画像復号装置、画像符号化方法、および画像復号方法

Country Status (14)

Country Link
US (5) US8934548B2 (ja)
EP (4) EP3998776B1 (ja)
JP (6) JP5215462B2 (ja)
KR (5) KR101312213B1 (ja)
CN (5) CN104159111B (ja)
BR (4) BR122015017701B1 (ja)
CA (4) CA2904730C (ja)
ES (3) ES2902160T3 (ja)
HK (5) HK1203113A1 (ja)
MX (1) MX2011012672A (ja)
RU (7) RU2546325C2 (ja)
SG (2) SG176160A1 (ja)
WO (1) WO2010137324A1 (ja)
ZA (5) ZA201109121B (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013034037A (ja) * 2011-03-09 2013-02-14 Canon Inc 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
RU2617920C2 (ru) * 2012-04-12 2017-04-28 ДжейВиСи КЕНВУД КОРПОРЕЙШН Устройство кодирования движущегося изображения, способ кодирования движущегося изображения и программа кодирования движущегося изображения, а также устройство декодирования движущегося изображения, способ декодирования движущегося изображения и программа декодирования движущегося изображения

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SG176160A1 (en) * 2009-05-29 2011-12-29 Mitsubishi Electric Corp Image encoding device, image decoding device, image encoding method, and image decoding method
JP2013526199A (ja) * 2010-04-26 2013-06-20 パナソニック株式会社 予測誤差から導出されるブロック形状を用いた予測符号化
CN107071439B (zh) * 2011-03-10 2021-12-28 夏普株式会社 图像解码装置及方法、以及记录介质
US11317101B2 (en) * 2012-06-12 2022-04-26 Google Inc. Inter frame candidate selection for a video encoder
US20150334389A1 (en) * 2012-09-06 2015-11-19 Sony Corporation Image processing device and image processing method
US9813711B2 (en) * 2012-10-03 2017-11-07 Avago Technologies General Ip (Singapore) Pte. Ltd. Hybrid transform-based compression
JP6239838B2 (ja) * 2013-03-15 2017-11-29 キヤノン株式会社 動画像符号化装置、その制御方法、及び撮像装置
WO2014209296A1 (en) * 2013-06-26 2014-12-31 Intel Corporation Power efficient encoder architecture during static frame or sub-frame detection
JP6312312B2 (ja) * 2014-04-15 2018-04-18 日本放送協会 コンテキストモデル生成装置、符号化装置、および復号装置
US9456075B2 (en) * 2014-10-13 2016-09-27 Avaya Inc. Codec sequence detection
EP3468198A1 (en) 2017-10-05 2019-04-10 Thomson Licensing Method and apparatus for video encoding and decoding based on illumination compensation
CN110060195B (zh) 2018-01-19 2021-05-04 华为技术有限公司 一种数据处理的方法及装置
WO2019174567A1 (zh) * 2018-03-16 2019-09-19 华为技术有限公司 划分标志位的上下文建模方法及装置
US10516812B2 (en) 2018-04-02 2019-12-24 Intel Corporation Devices and methods for selective display frame fetch
US10887594B2 (en) * 2018-07-05 2021-01-05 Mediatek Inc. Entropy coding of coding units in image and video data
US11025969B1 (en) * 2018-11-06 2021-06-01 Amazon Technologies, Inc. Video packaging system using source encoding
WO2020171046A1 (en) * 2019-02-20 2020-08-27 Panasonic Intellectual Property Corporation Of America Image encoder and image decoder
CN110087077A (zh) * 2019-06-05 2019-08-02 广州酷狗计算机科技有限公司 视频编码方法及装置、存储介质
WO2021060834A1 (ko) 2019-09-24 2021-04-01 엘지전자 주식회사 서브픽처 기반 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003259377A (ja) * 2002-03-06 2003-09-12 Matsushita Electric Ind Co Ltd 動画像符号化方法、動画像復号化方法および符号列フォーマット
JP2008048289A (ja) * 2006-08-18 2008-02-28 Fujitsu Ltd フレーム間予測処理装置、画像符号化装置、及び画像復号化装置
JP2009246972A (ja) * 2008-03-28 2009-10-22 Samsung Electronics Co Ltd 動きベクトル情報の符号化／復号化方法及び装置

Family Cites Families (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2156889C (en) * 1994-09-30 1999-11-02 Edward L. Schwartz Method and apparatus for encoding and decoding data
JPH09135358A (ja) * 1995-11-08 1997-05-20 Nec Corp 算術符号を用いた画像符号化装置
JP2798035B2 (ja) * 1996-01-17 1998-09-17 日本電気株式会社 適応動きベクトル補間による動き補償フレーム間予測方法
KR100675392B1 (ko) * 1998-03-18 2007-01-29 코닌클리케 필립스 일렉트로닉스 엔.브이. 디지탈 정보신호를 송수신하는 송/수신 장치 및 방법
WO2002001883A1 (en) * 2000-06-28 2002-01-03 Mitsubishi Denki Kabushiki Kaisha Image encoder and image encoding method
WO2003003745A1 (en) * 2001-06-29 2003-01-09 Ntt Docomo, Inc. Image encoder, image decoder, image encoding method, and image decoding method
CN101409838B (zh) * 2001-09-14 2011-01-12 株式会社Ntt都科摩 编码方法、译码方法、编码装置、译码装置、图象处理系统
EP1445955A4 (en) * 2001-11-16 2009-10-28 Ntt Docomo Inc IMAGE ENCODING METHOD, IMAGE DECODING METHOD, ENCODER AND IMAGE DECODER, PROGRAM, COMPUTER DATA SIGNAL, AND IMAGE TRANSMISSION SYSTEM
EP1445956A4 (en) * 2001-11-16 2009-09-02 Ntt Docomo Inc IMAGE ENCODING METHOD, IMAGE DECODING METHOD, ENCODER AND IMAGE DECODER, PROGRAM, COMPUTER DATA SIGNAL, AND IMAGE TRANSMISSION SYSTEM
EP1670259A3 (en) * 2002-01-23 2010-03-03 Nokia Corporation Grouping of image frames in video coding
JP3944225B2 (ja) * 2002-04-26 2007-07-11 株式会社エヌ・ティ・ティ・ドコモ 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法、画像符号化プログラム及び画像復号プログラム
KR100865034B1 (ko) * 2002-07-18 2008-10-23 엘지전자 주식회사 모션 벡터 예측 방법
CN100536571C (zh) * 2003-01-08 2009-09-02 苹果公司 用于改进的编码模式选择的方法和装置
WO2005055612A1 (en) * 2003-12-02 2005-06-16 Sungkyunkwan University Method and apparatus for video encoding
KR20050061762A (ko) * 2003-12-18 2005-06-23 학교법인 대양학원 부호화 모드 결정방법, 움직임 추정방법 및 부호화 장치
JP4591657B2 (ja) * 2003-12-22 2010-12-01 キヤノン株式会社 動画像符号化装置及びその制御方法、プログラム
JP3879741B2 (ja) * 2004-02-25 2007-02-14 ソニー株式会社 画像情報符号化装置および画像情報符号化方法
JP2005348093A (ja) * 2004-06-03 2005-12-15 Sony Corp 画像処理装置、そのプログラムおよびその方法
KR100813958B1 (ko) * 2004-06-07 2008-03-14 세종대학교산학협력단 동영상의 무손실 인코딩 및 디코딩 방법, 그 장치
US20050286777A1 (en) * 2004-06-27 2005-12-29 Roger Kumar Encoding and decoding images
US8111752B2 (en) * 2004-06-27 2012-02-07 Apple Inc. Encoding mode pruning during video encoding
KR100627329B1 (ko) * 2004-08-19 2006-09-25 전자부품연구원 Ｈ.264 비디오 코덱을 위한 적응형 움직임 예측 및 모드결정 장치 및 그 방법
US8649436B2 (en) * 2004-08-20 2014-02-11 Sigma Designs Inc. Methods for efficient implementation of skip/direct modes in digital video compression algorithms
CN100345450C (zh) * 2005-01-31 2007-10-24 浙江大学 视频或图像去块滤波的方法和装置
JP4047879B2 (ja) * 2005-08-23 2008-02-13 松下電器産業株式会社 動きベクトル検出装置および動きベクトル検出方法
JP4828543B2 (ja) * 2005-09-26 2011-11-30 三菱電機株式会社 動画像符号化装置及び動画像復号装置
US8446954B2 (en) * 2005-09-27 2013-05-21 Qualcomm Incorporated Mode selection techniques for multimedia coding
KR100781524B1 (ko) * 2006-04-04 2007-12-03 삼성전자주식회사 확장 매크로블록 스킵 모드를 이용한 인코딩/디코딩 방법및 장치
KR101228109B1 (ko) * 2006-07-24 2013-01-31 삼성전자주식회사 움직임 예측장치 및 방법과 이를 채용하는 영상 부호화장치및 방법
JP4787100B2 (ja) * 2006-07-27 2011-10-05 パナソニック株式会社 画像符号化装置
CN101502120B (zh) * 2006-08-02 2012-08-29 汤姆逊许可公司 用于视频解码的自适应几何分割方法和设备
US7756348B2 (en) * 2006-10-30 2010-07-13 Hewlett-Packard Development Company, L.P. Method for decomposing a video sequence frame
US8804829B2 (en) * 2006-12-20 2014-08-12 Microsoft Corporation Offline motion description for video generation
KR101364532B1 (ko) * 2007-01-03 2014-02-18 삼성전자주식회사 인접 파티션의 크기를 고려한 움직임 벡터 예측 방법,장치, 인코더, 디코더 및 복호화 방법
DK2123052T3 (da) * 2007-01-18 2011-02-28 Fraunhofer Ges Forschung Kvalitetsskalerbar videodatastrøm
US8259793B2 (en) * 2007-03-19 2012-09-04 Sony Corporation System and method of fast MPEG-4/AVC quantization
CA2895854A1 (en) * 2007-03-20 2008-10-23 Fujitsu Limited Video encoding and decoding apparatus and method using quantization in sub-blocks
KR101366241B1 (ko) * 2007-03-28 2014-02-21 삼성전자주식회사 영상 부호화, 복호화 방법 및 장치
US8160150B2 (en) * 2007-04-10 2012-04-17 Texas Instruments Incorporated Method and system for rate distortion optimization
WO2008127597A2 (en) * 2007-04-12 2008-10-23 Thomson Licensing Method and apparatus for context dependent merging for skip-direct modes for video encoding and decoding
US8488677B2 (en) 2007-04-25 2013-07-16 Lg Electronics Inc. Method and an apparatus for decoding/encoding a video signal
US9357233B2 (en) * 2008-02-26 2016-05-31 Qualcomm Incorporated Video decoder error handling
KR20090129926A (ko) * 2008-06-13 2009-12-17 삼성전자주식회사 영상 부호화 방법 및 그 장치, 영상 복호화 방법 및 그 장치
US8213503B2 (en) * 2008-09-05 2012-07-03 Microsoft Corporation Skip modes for inter-layer residual video coding and decoding
CN102210153A (zh) * 2008-10-06 2011-10-05 Lg电子株式会社 用于处理视频信号的方法和设备
KR101233627B1 (ko) * 2008-12-23 2013-02-14 한국전자통신연구원 스케일러블 부호화 장치 및 방법
US8644389B2 (en) * 2009-05-15 2014-02-04 Texas Instruments Incorporated Real-time video image processing
SG176160A1 (en) * 2009-05-29 2011-12-29 Mitsubishi Electric Corp Image encoding device, image decoding device, image encoding method, and image decoding method
CN102439978A (zh) * 2010-03-12 2012-05-02 联发科技（新加坡）私人有限公司 运动预测方法
US9282338B2 (en) * 2011-06-20 2016-03-08 Qualcomm Incorporated Unified merge mode and adaptive motion vector prediction mode candidates selection

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003259377A (ja) * 2002-03-06 2003-09-12 Matsushita Electric Ind Co Ltd 動画像符号化方法、動画像復号化方法および符号列フォーマット
JP2008048289A (ja) * 2006-08-18 2008-02-28 Fujitsu Ltd フレーム間予測処理装置、画像符号化装置、及び画像復号化装置
JP2009246972A (ja) * 2008-03-28 2009-10-22 Samsung Electronics Co Ltd 動きベクトル情報の符号化／復号化方法及び装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
D. MARPE: "Video Compression Using Context-Based Adaptive Arithmetic Coding", INTERNATIONAL CONFERENCE ON IMAGE PROCESSING, 2001
S. KONDO; H. SASAI: "A Motion Compensation Technique using Sliced Blocks and its Application to Hybrid Video Coding", VCIP 2005, July 2005 (2005-07-01)
SIWEI MA; C.-C. JAY KUO: "High-definition Video Coding with Super-macroblocks", PROC. SPIE, vol. 6508, 2007, pages 650816

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013034037A (ja) * 2011-03-09 2013-02-14 Canon Inc 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
RU2617920C2 (ru) * 2012-04-12 2017-04-28 ДжейВиСи КЕНВУД КОРПОРЕЙШН Устройство кодирования движущегося изображения, способ кодирования движущегося изображения и программа кодирования движущегося изображения, а также устройство декодирования движущегося изображения, способ декодирования движущегося изображения и программа декодирования движущегося изображения
RU2617920C9 (ru) * 2012-04-12 2017-08-29 ДжейВиСи КЕНВУД КОРПОРЕЙШН Устройство кодирования движущегося изображения, способ кодирования движущегося изображения и программа кодирования движущегося изображения, а также устройство декодирования движущегося изображения, способ декодирования движущегося изображения и программа декодирования движущегося изображения

Also Published As

Publication number Publication date
CN104270635A (zh) 2015-01-07
CA2763211C (en) 2015-12-08
JP5840286B2 (ja) 2016-01-06
EP3998775A1 (en) 2022-05-18
BR122015017701B1 (pt) 2021-06-01
CA3160155A1 (en) 2010-12-02
HK1203113A1 (en) 2015-10-16
KR101490646B1 (ko) 2015-02-06
CN102450017A (zh) 2012-05-09
RU2673107C1 (ru) 2018-11-22
ES2954657T3 (es) 2023-11-23
BR122015017699B1 (pt) 2021-06-01
EP2437500A4 (en) 2013-04-17
US9930355B2 (en) 2018-03-27
US20150229946A1 (en) 2015-08-13
BR122015017700A2 (pt) 2016-05-10
JP6347860B2 (ja) 2018-06-27
RU2011154147A (ru) 2013-07-10
EP2437500A1 (en) 2012-04-04
BRPI1015415A2 (pt) 2016-04-19
EP3261346B1 (en) 2021-12-01
KR20140026649A (ko) 2014-03-05
US20150085937A1 (en) 2015-03-26
EP3998776B1 (en) 2023-08-30
KR101514191B1 (ko) 2015-04-21
CN104270636A (zh) 2015-01-07
KR20130076894A (ko) 2013-07-08
BR122015017700B1 (pt) 2021-06-01
CA3159686C (en) 2023-09-05
CN104159111B (zh) 2018-11-06
US9924190B2 (en) 2018-03-20
CN104159111A (zh) 2014-11-19
CN104270637A (zh) 2015-01-07
EP3998775B1 (en) 2023-08-02
KR101376018B1 (ko) 2014-03-27
HK1202197A1 (en) 2015-09-18
CA2763211A1 (en) 2010-12-02
EP3261346A1 (en) 2017-12-27
CA2904730A1 (en) 2010-12-02
BR122015017699A2 (pt) 2016-05-10
ES2958265T3 (es) 2024-02-06
ES2902160T3 (es) 2022-03-25
BR122015017701A2 (pt) 2016-05-10
EP3998776A1 (en) 2022-05-18
KR101455579B1 (ko) 2014-10-29
RU2013152317A (ru) 2015-01-20
JP2015084574A (ja) 2015-04-30
CN102450017B (zh) 2014-09-10
HK1203112A1 (en) 2015-10-16
JP6091585B2 (ja) 2017-03-08
RU2546325C2 (ru) 2015-04-10
US20120082213A1 (en) 2012-04-05
US9930356B2 (en) 2018-03-27
CN104270635B (zh) 2018-12-11
RU2509438C2 (ru) 2014-03-10
KR20140074401A (ko) 2014-06-17
ZA201506372B (en) 2016-12-21
SG176160A1 (en) 2011-12-29
US20150229949A1 (en) 2015-08-13
SG10201402451XA (en) 2014-07-30
JP2017118573A (ja) 2017-06-29
JP5674971B2 (ja) 2015-02-25
US8934548B2 (en) 2015-01-13
JP2016036176A (ja) 2016-03-17
US9036713B2 (en) 2015-05-19
RU2619891C1 (ru) 2017-05-19
CA3159686A1 (en) 2010-12-02
ZA201708216B (en) 2019-05-29
ZA201109121B (en) 2013-02-27
CN104270637B (zh) 2018-07-27
MX2011012672A (es) 2011-12-16
JPWO2010137324A1 (ja) 2012-11-12
RU2647655C1 (ru) 2018-03-16
JP2014132765A (ja) 2014-07-17
BRPI1015415B1 (pt) 2021-06-01
HK1167966A1 (en) 2012-12-14
HK1203114A1 (en) 2015-10-16
KR20130121987A (ko) 2013-11-06
KR101312213B1 (ko) 2013-09-27
JP2013138500A (ja) 2013-07-11
CN104270636B (zh) 2018-11-09
KR20120046119A (ko) 2012-05-09
JP5478748B2 (ja) 2014-04-23
CA2904730C (en) 2023-11-21
ZA201209367B (en) 2015-02-25
ZA201405602B (en) 2017-06-28
US20150304677A1 (en) 2015-10-22
JP5215462B2 (ja) 2013-06-19
RU2693651C1 (ru) 2019-07-03
RU2571596C1 (ru) 2015-12-20

Similar Documents

Publication Publication Date Title
JP6347860B2 (ja) 画像復号装置、画像復号方法、画像符号化装置および画像符号化方法
JP5289440B2 (ja) 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201080023464.4

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10780284

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2011515899

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 2763211

Country of ref document: CA

WWE Wipo information: entry into national phase

Ref document number: 13322820

Country of ref document: US

Ref document number: MX/A/2011/012672

Country of ref document: MX

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 20117030687

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 9834/CHENP/2011

Country of ref document: IN

REEP Request for entry into the european phase

Ref document number: 2010780284

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2010780284

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2011154147

Country of ref document: RU

Kind code of ref document: A

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: PI1015415

Country of ref document: BR

WWE Wipo information: entry into national phase

Ref document number: IDP00201501319

Country of ref document: ID

Ref document number: IDP00201501318

Country of ref document: ID

ENP Entry into the national phase

Ref document number: PI1015415

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20111129