WO2019189903A1 - 画像符号化装置、画像復号装置、及びプログラム - Google Patents

画像符号化装置、画像復号装置、及びプログラム Download PDF

Info

Publication number
WO2019189903A1
WO2019189903A1 PCT/JP2019/014365 JP2019014365W WO2019189903A1 WO 2019189903 A1 WO2019189903 A1 WO 2019189903A1 JP 2019014365 W JP2019014365 W JP 2019014365W WO 2019189903 A1 WO2019189903 A1 WO 2019189903A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
intra prediction
prediction modes
mode
code amount
Prior art date
Application number
PCT/JP2019/014365
Other languages
English (en)
French (fr)
Inventor
慎平 根本
俊輔 岩村
市ヶ谷　敦郎
Original Assignee
日本放送協会
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本放送協会 filed Critical 日本放送協会
Priority to JP2020509372A priority Critical patent/JP7249999B2/ja
Publication of WO2019189903A1 publication Critical patent/WO2019189903A1/ja
Priority to US17/036,931 priority patent/US11388414B2/en
Priority to US17/805,961 priority patent/US20220303543A1/en
Priority to JP2022093176A priority patent/JP7340658B2/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Definitions

  • the program according to the fourth feature causes the computer to function as an image decoding device according to the second feature.
  • the entropy encoding unit 130 performs entropy encoding on the quantized transform coefficient input from the quantization unit 122, performs data compression, generates encoded data (bit stream), and converts the encoded data into an image code. Output to the outside of the converter 1.
  • Huffman code Context-based Adaptive Binary Arithmetic Coding
  • CABAC Context-based Adaptive Binary Arithmetic Coding
  • the entropy encoding unit 130 receives information related to prediction from the intra prediction unit 170 and the inter prediction unit 162.
  • the entropy encoding unit 130 also performs entropy encoding of these pieces of information.
  • the inverse transform unit 212 performs an inverse orthogonal transform process corresponding to the orthogonal transform process performed by the transform unit 121 of the image encoding device 1.
  • the inverse transform unit 212 performs inverse orthogonal transform on the transform coefficient input from the inverse quantization unit 211 to restore the prediction residual, and outputs the restored prediction residual (restored prediction residual) to the synthesis unit 220. To do.
  • the inter prediction unit 232 performs inter prediction that predicts a prediction target block using a reconstructed image (decoded image) in units of frames stored in the memory 161 as a reference image.
  • the inter prediction unit 232 generates an inter prediction image by performing inter prediction according to the inter prediction information (such as motion vector information) input from the entropy code decoding unit 200, and outputs the inter prediction image to the switching unit 233.
  • the mode specifying unit 241 uses the intra prediction information (intra prediction mode identification information) input from the entropy code decoding unit 200 and the code amount assigned by the code amount assigning unit 250 to apply to the target block. Specify the prediction mode.
  • FIG. 4 is a diagram illustrating a configuration of the code amount assignment unit 180 of the image encoding device 1 according to the present embodiment. Note that the code amount allocation unit 250 of the image decoding device 2 has the same configuration as the code amount allocation unit 180 of the image encoding device 1.
  • the code amount allocating unit 180 includes a feature amount calculating unit 181, an MPM generating unit (first generating unit) 182a, a selection mode generating unit (second generating unit) 182b, and a non-selection mode generating unit.
  • the pixel values of a plurality of reference pixels adjacent to the intra prediction target block are input from the intra prediction unit 240 to the feature amount calculation unit 181.
  • the feature amount calculation unit 181 calculates a variance value or an average value of pixel values of a plurality of reference pixels as a feature amount.
  • the plurality of reference pixels include a plurality of reference pixel groups, and the feature amount calculation unit 181 calculates each feature amount of the plurality of reference pixel groups.
  • the plurality of reference pixel groups include a group of left reference pixels made up of reference pixels on the left side of the target block and a group of upper reference pixels made up of reference pixels on the upper side of the target block.
  • the left reference pixel may be further divided into a plurality of groups, and the upper reference pixel may be further divided into a plurality of groups.
  • a plurality of reference pixel groups are divided into two groups, a left reference pixel group and an upper reference pixel group.
  • the feature amount calculation unit 181 outputs the feature amount calculated for each reference pixel group to the assignment change unit 183.
  • the MPM generation unit 182a generates a plurality of MPMs (a plurality of first prediction modes) corresponding to the intra prediction modes applied to blocks around the target block for intra prediction.
  • the MPM generation unit 182a generates a total of six types of MPMs, MPM0 to MPM5. Specifically, the MPM generation unit 182a prioritizes the blocks around the intra prediction target block and the intra prediction mode applied thereto, and selects the intra prediction mode (or peripheral block) having the highest priority. MPM0 is generated, and the intra prediction mode (or peripheral block) having the lowest priority is set as MPM5, and MPMs are generated in the order of higher priority.
  • the MPM generation unit 182a outputs the generated MPM to the selection mode generation unit 182b, the non-selection mode generation unit 182c, and the assignment change unit 183.
  • the selection mode generation unit 182b generates a plurality of selection modes (second prediction modes) including some intra prediction modes among the intra prediction modes not included in the MPM. In the present embodiment, the selection mode generation unit 182b generates a total of 16 selection modes from selection mode 0 to selection mode 15. The selection mode generation unit 182b selects the intra prediction modes that are not included in the MPM in ascending order (order from the smallest to the largest) or descending order (order from the largest to the smallest) at a predetermined interval. The intra prediction mode is generated as the selection mode.
  • the non-selection mode generation unit 182c sets, as a plurality of non-selection modes (third prediction modes), intra prediction modes selected in ascending order or descending order of mode numbers from intra prediction modes not included in either the MPM or the selection mode. Generate.
  • the non-selection mode generation unit 182c generates a total of 45 non-selection modes from the non-selection mode 0 to the non-selection mode 44.
  • the non-selection mode is divided into a first half group and a second half group, and the bit length (code amount) assigned to the second half group is larger than that of the first half group.
  • the allocation changing unit 183 changes the code amount allocation method for the intra prediction mode based on the feature amount of each reference pixel group input from the feature amount calculating unit 181.
  • the allocation changing unit 183 includes a threshold comparing unit 183a, an MPM changing unit (first changing unit) 183b, a selection mode changing unit (second changing unit) 183c, and a non-selection mode changing unit (third changing unit) 183d. Is provided.
  • the MPM changing unit 183b changes the code amount allocation method for the MPM input from the MPM generating unit 182a.
  • the MPM changing unit 183b changes the code amount allocation method for the MPM by rearranging the MPM order input from the MPM generating unit 182a, and entropy-encodes the MPM after the rearranged order. To the unit 130. However, when the code amount allocation method is not changed, the MPM changing unit 183b outputs the MPM input from the MPM generating unit 182a as it is.
  • the non-selection mode changing unit 183d changes the code amount allocation method for the non-selection mode.
  • the non-selection mode changing unit 183d changes the code number allocation method by changing the order of the mode numbers of the intra prediction mode to be selected as the non-selection mode from ascending order to descending order, or changing from descending order to ascending order,
  • the changed non-selection mode is output to the entropy encoding unit 130.
  • FIG. 5 is a diagram illustrating an operation example of the code amount allocation unit 180 of the image encoding device 1 according to the present embodiment. Note that the code amount allocation unit 250 of the image decoding device 2 performs the same operation as the code amount allocation unit 180 of the image encoding device 1.
  • step S1 the feature amount calculation unit 181 calculates a feature amount P A of the upper reference pixels of the feature P L and target blocks of the left reference pixels of a target block of the intra prediction.
  • the feature amount is a variance value
  • the feature amount calculation unit 181 calculates the variance value P L of the left reference pixel and the variance value P A of the upper reference pixel by the following equations.
  • FIG. 6 is a diagram illustrating reference pixels used for calculating the feature amount.
  • the block size of the target block is 4 ⁇ 4.
  • the left reference pixel consists of four decoded pixels ⁇ L1, L2, L3, L4 ⁇
  • the upper reference pixel consists of four decoded pixels ⁇ A1, A2, A3, A4 ⁇ .
  • the pixels L5 to L8 and the pixels A5 to A8 can be referred to during intra prediction, but may not be decoded during intra prediction.
  • the pixel value of L4 is copied to the pixels of L5 to L8, or the pixel value of A4 is copied to the pixels of A5 to A8, so that it can be referred to during intra prediction. Therefore, the L5 to L8 pixels and the A5 to A8 pixels are not used for calculating the feature amount.
  • step S2 the threshold comparison unit 183a compares the variance value P L of the left reference pixel and the variance value P A of the upper reference pixel with the threshold values T min and T Max .
  • step S4 MPM changing unit 183b is, MPM of such relatively increased amount of codes DC mode Rearrange the order. Specifically, when both the variance value P L and the variance value P A exceed the threshold value T Max , it is estimated that the DC mode is unlikely to be selected. Therefore, while increasing the code amount of the DC mode, It changes so that the code amount of other intra prediction modes may be decreased.
  • step S6 the MPM changing unit 183b increases the code amount of the DC mode.
  • the order of the MPMs input from the MPM generation unit 182a is rearranged.
  • the selection mode changing unit 183c and the non-selection mode changing unit 183d change the code amount allocation method so as to reduce the code amount of the directionality prediction mainly using the left reference pixel. Specifically, since it is estimated that the directional prediction mainly using the left reference pixel is likely to be selected, the upper reference pixel is reduced while reducing the code amount of the directional prediction mainly using the left reference pixel. Is changed so as to increase the code amount of the directionality prediction.
  • step S8 the MPM changing unit 183b increases the code amount of the DC mode.
  • the order of MPM is rearranged.
  • the selection mode changing unit 183c and the non-selection mode changing unit 183d change the code amount allocation method so as to reduce the code amount of the directional prediction mainly using the upper reference pixel. Specifically, since it is estimated that the directionality prediction mainly using the upper reference pixel is likely to be selected, the left reference pixel while reducing the code amount of the directionality prediction mainly using the upper reference pixel. Is changed so as to increase the code amount of the directionality prediction.
  • Step S9 the threshold value comparison unit 183a determines that the code amount allocation method is not changed.
  • the MPM changing unit 183b rearranges the MPM order so that the DC mode code amount is relatively increased.
  • the MPM includes an MPM initial value, which is a default fixed value, and an MPM that is variable based on an intra prediction mode applied to neighboring blocks.
  • the MPM changing unit 183b changes the MPM initial value as follows.
  • the DC mode is MPM 1 before the change
  • the DC mode after the change is lowered to MPM 5
  • the code amount allocated to the DC mode is increased.
  • the MPM number is incremented by 1, and the allocated code amount is reduced.
  • the MPM changing unit 183b changes the MPM other than the initial value as follows.
  • the DC mode is MPM 3 before the change
  • the DC mode after the change is lowered to MPM 5.
  • the lower left block, the upper right block, and the upper left block are incremented by one MPM number.
  • Specific example 2 is an example in the case where the variance value P L is lower than the threshold value T min and the variance value P A is higher than the threshold value T Max (step S7: YES), and is a pixel of the left reference pixel and the upper reference pixel.
  • the value is:
  • the MPM changing unit 183b rearranges the MPM order so that the code amount of the DC mode is increased in the same manner as in the first specific example.
  • the selection mode changing unit 183c changes the code amount allocation method as follows so as to reduce the code amount of the directional prediction mainly using the upper reference pixel.
  • an intra prediction mode within the range of mode numbers “35” to “66”, which is directional prediction mainly using the upper reference pixel, can be included in the selection mode.
  • Intra prediction modes within the range of mode numbers “2” to “33”, which are directional predictions mainly using reference pixels, are not included in the selection mode.
  • the intra prediction modes within the range of mode numbers “2” to “33” are included in the non-selection mode with a larger code amount.
  • the non-selection mode changing unit 183d changes the code amount allocation method as follows so as to reduce the code amount of the directional prediction mainly using the upper reference pixels.
  • the non-selection mode before the change includes the intra prediction modes selected in ascending order of the mode numbers, but the selection mode after the change includes the intra prediction modes selected in the descending order of the mode numbers. It is. A code amount of 6 bits is assigned to the intra prediction mode within the range of the mode numbers “35” to “66” which is directional prediction mainly using the upper reference pixel, but after the change, A code amount of 5 bits is allocated and 1 bit is reduced.
  • the selection mode generation unit 182b may select an intra prediction mode to be included in the selection mode based on other selection criteria. For example, the selection mode generation unit 182b may determine the intra prediction mode included in the selection mode depending on the mode number of the intra prediction mode included in the MPM. For example, the selection mode generation unit 182b can change the intra prediction mode included in the selection mode by shifting the mode number of the intra prediction mode included in the MPM by a predetermined value. In such a case, the selection mode changing unit 183c can change the code amount allocation method by the same operation as in the above-described embodiment.
  • a program that causes a computer to execute each process performed by the image encoding device 1 and a program that causes a computer to execute each process performed by the image decoding device 2 may be provided.
  • the program may be recorded on a computer readable medium. If a computer-readable medium is used, a program can be installed in the computer.
  • the computer-readable medium on which the program is recorded may be a non-transitory recording medium.
  • the non-transitory recording medium is not particularly limited, but may be a recording medium such as a CD-ROM or a DVD-ROM.
  • a circuit that executes each process performed by the image encoding device 1 may be integrated, and the image encoding device 1 may be configured as a semiconductor integrated circuit (chip set, SoC).
  • a circuit that executes each process performed by the image decoding device 2 may be integrated, and the image decoding device 2 may be configured as a semiconductor integrated circuit (chip set, SoC).

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

・　画像符号化装置（１）は、動画像を構成するフレーム単位の原画像を分割して得られた各ブロックを符号化する。画像符号化装置（１）は、予め規定された複数のイントラ予測モードのそれぞれに符号量を割り当てる符号量割当部（１８０）と、複数のイントラ予測モードの中からイントラ予測の対象ブロックに適用するイントラ予測モードを選択するモード選択部（１７１）と、選択されたイントラ予測モードを示す識別情報を、割り当てられた符号量に従って符号化する符号化部（１３０）と、を備える。符号量割当部（１８０）は、対象ブロックに隣接する複数の参照画素の特徴量を算出し、算出された特徴量に基づいて、複数のイントラ予測モードに対する符号量の割当方法を変更する。

Description

画像符号化装置、画像復号装置、及びプログラム
　本発明は、画像符号化装置、画像復号装置、及びプログラムに関する。
　近年、映像符号化技術では８Ｋ－ＳＨＶに代表されるような超高解像度映像の普及が進んでおり、膨大なデータ量の動画像を伝送するための手法としてＡＶＣ／Ｈ．２６４やＨＥＶＣ／Ｈ．２６５などの符号化方式が知られている。
　かかる符号化方式ではフレーム内の空間的な相関を利用したイントラ予測が利用されている（例えば、非特許文献１）。イントラ予測では、予測対象のブロック（以下、「対象ブロック」という）に隣接する復号済みの参照画素を用いて予測画像を生成する。非特許文献１に記載のＨＥＶＣでは、Ｐｌａｎａｒ予測、ＤＣ予測、及び複数の方向性予測を含む計３５通りのイントラ予測モードから画像符号化装置側で最適なモードを選択し、そのモードを示す識別情報を画像復号装置側へ伝送する。
　また、ＨＥＶＣでは、対象ブロックの周辺のブロックに適用されたイントラ予測モードから３つの最確モード（ＭＰＭ：Ｍｏｓｔ　Ｐｒｏｂａｂｌｅ　Ｍｏｄｅ）を生成する。対象ブロックに適用するイントラ予測モードが３つの最確モードのいずれかである場合、その最確モードを示す識別情報を符号化することにより、イントラ予測モードの識別情報の符号量を削減している。
　さらに、次世代の画像符号化方式の性能評価用ソフトウェア（ＪＥＭ）では、ＨＥＶＣの拡張として６７通りのイントラ予測モードを導入しており、より精密なイントラ予測を可能としている。
Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ　ＩＴＵ－Ｔ　Ｈ．２６５，（１２／２０１６），　"Ｈｉｇｈ　ｅｆｆｉｃｉｅｎｃｙ　ｖｉｄｅｏ　ｃｏｄｉｎｇ"，　Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ　Ｕｎｉｏｎ
　ところで、対象ブロックに適用するイントラ予測モードを選択する際には、予め規定された複数のイントラ予測モードのそれぞれについて、参照画素を用いて予測画像を生成して評価し、最も良好な予測画像が得られるイントラ予測モードを選択することが一般的である。よって、選択されるイントラ予測モードは、予測画像を生成する際に用いる参照画素と相関関係を有する。
　しかしながら、非特許文献１に記載の方法は、イントラ予測モードの識別情報の符号量を削減するにあたり、対象ブロックの周辺のブロックに適用されたイントラ予測モードを考慮するものの、予測画像を生成する際に用いる参照画素を考慮していないため、イントラ予測モードの識別情報の符号量を効率的に削減する点において改善の余地があった。
　特に、次世代の画像符号化方式では、イントラ予測モードが６７通りに拡張されるため、イントラ予測モードの識別情報の符号量を効率的に削減することが望まれる。
　そこで、本発明は、イントラ予測モードの識別情報の符号量を効率的に削減可能な画像符号化装置、画像復号装置、及びプログラムを提供することを目的とする。
　第１の特徴に係る画像符号化装置は、動画像を構成するフレーム単位の原画像を分割して得られた各ブロックを符号化する。前記画像符号化装置は、予め規定された複数のイントラ予測モードのそれぞれに符号量を割り当てる符号量割当部と、前記複数のイントラ予測モードの中からイントラ予測の対象ブロックに適用するイントラ予測モードを選択するモード選択部と、前記選択されたイントラ予測モードを示す識別情報を、前記割り当てられた符号量に従って符号化する符号化部と、を備える。前記符号量割当部は、前記対象ブロックに隣接する複数の参照画素の特徴量を算出する特徴量算出部と、前記算出された特徴量に基づいて、前記複数のイントラ予測モードに対する符号量の割当方法を変更する割当変更部と、を備える。
　第２の特徴に係る画像復号装置は、動画像を構成するフレーム単位の画像を分割して得られた各ブロックを復号する。前記画像復号装置は、画像符号化装置により生成された符号化データを復号することにより、イントラ予測モードの識別情報を取得する復号部と、予め規定された複数のイントラ予測モードのそれぞれに符号量を割り当てる符号量割当部と、前記復号された識別情報と前記割り当てられた符号量とに基づいて、イントラ予測の対象ブロックに適用するイントラ予測モードを特定するモード特定部と、を備える。前記符号量割当部は、前記対象ブロックに隣接する複数の参照画素の特徴量を算出する特徴量算出部と、前記算出された特徴量に基づいて、前記複数のイントラ予測モードに対する符号量の割当方法を変更する割当変更部と、を備える。
　第３の特徴に係るプログラムは、コンピュータを第１の特徴に係る画像符号化装置として機能させる。
　第４の特徴に係るプログラムは、コンピュータを第２の特徴に係る画像復号装置として機能させる。
　本発明によれば、イントラ予測モードの識別情報の符号量を効率的に削減可能な画像符号化装置、画像復号装置、及びプログラムを提供できる。
実施形態に係る画像符号化装置の構成を示す図である。 実施形態に係るイントラ予測モードを示す図である。 実施形態に係る画像復号装置の構成を示す図である。 実施形態に係る符号量割当部の構成を示す図である。 実施形態に係る符号量割当部の動作例を示す図である。 実施形態に係る特徴量の算出に用いる参照画素を示す図である。
　図面を参照して、実施形態に係る画像符号化装置及び画像復号装置について説明する。実施形態に係る画像符号化装置及び画像復号装置は、ＭＰＥＧに代表される動画の符号化及び復号を行う。以下の図面の記載において、同一又は類似の部分には同一又は類似の符号を付している。
　（１．画像符号化装置の構成）
　図１は、本実施形態に係る画像符号化装置１の構成を示す図である。図１に示すように、画像符号化装置１は、ブロック分割部１００と、減算部１１０と、変換部１２１と、量子化部１２２と、エントロピー符号化部（符号化部）１３０と、逆量子化部１４１と、逆変換部１４２と、合成部１５０と、メモリ１６１と、インター予測部１６２と、イントラ予測部１７０と、切替部１６３と、符号量割当部１８０とを備える。
　ブロック分割部１００は、動画像を構成するフレーム（或いはピクチャ）単位の入力画像をブロック状の小領域に分割し、分割により得たブロックを減算部１１０に出力する。ブロックのサイズは、例えば３２×３２画素、１６×１６画素、８×８画素、又は４×４画素等である。ブロックの形状は正方形に限らず、長方形であってもよい。ブロックは、画像符号化装置１が符号化を行う単位及び画像復号装置２が復号を行う単位であり、符号化ユニット（ＣＵ）と称されることもある。
　減算部１１０は、ブロック分割部１００から入力されたブロックとこのブロックに対応する予測画像（予測ブロック）との間の画素単位での差分を示す予測残差を算出する。具体的には、減算部１１０は、ブロックの各画素値から予測画像の各画素値を減算することにより予測残差を算出し、算出した予測残差を変換部１２１に出力する。予測画像は、後述する切替部１６３から減算部１１０に入力される。
　変換部１２１及び量子化部１２２は、ブロック単位で直交変換処理及び量子化処理を行う変換・量子化部１２０を構成する。
　変換部１２１は、減算部１１０から入力された予測残差に対して直交変換を行って変換係数を算出し、算出した変換係数を量子化部１２２に出力する。直交変換とは、例えば、離散コサイン変換（ＤＣＴ：Ｄｉｓｃｒｅｔｅ　Ｃｏｓｉｎｅ　Ｔｒａｎｓｆｏｒｍ）や離散サイン変換（ＤＳＴ：Ｄｉｓｃｒｅｔｅ　Ｓｉｎｅ　Ｔｒａｎｓｆｏｒｍ）、カルーネンレーブ変換（ＫＬＴ：　Ｋａｒｈｕｎｅｎ-Ｌｏeｖｅ　Ｔｒａｎｓｆｏｒｍ）等をいう。
　量子化部１２２は、変換部１２１から入力された変換係数を量子化パラメータ（Ｑｐ）及び量子化行列を用いて量子化し、量子化変換係数を生成する。量子化パラメータ（Ｑｐ）は、ブロック内の各変換係数に対して共通して適用されるパラメータであって、量子化の粗さを定めるパラメータである。量子化行列は、各変換係数を量子化する際の量子化値を要素として有する行列である。量子化部１２２は、量子化制御情報、生成した量子化変換係数情報などをエントロピー符号化部１３０及び逆量子化部１４１に出力する。
　エントロピー符号化部１３０は、量子化部１２２から入力された量子化変換係数に対してエントロピー符号化を行い、データ圧縮を行って符号化データ（ビットストリーム）を生成し、符号化データを画像符号化装置１の外部に出力する。エントロピー符号化には、ハフマン符号やＣＡＢＡＣ（Ｃｏｎｔｅｘｔ－ｂａｓｅｄ　Ａｄａｐｔｉｖｅ　Ｂｉｎａｒｙ　Ａｒｉｔｈｍｅｔｉｃ　Ｃｏｄｉｎｇ；コンテキスト適応型２値算術符号）等を用いることができる。なお、エントロピー符号化部１３０には、イントラ予測部１７０及びインター予測部１６２から予測に関する情報が入力される。エントロピー符号化部１３０は、これらの情報のエントロピー符号化も行う。
　逆量子化部１４１及び逆変換部１４２は、ブロック単位で逆量子化処理及び逆直交変換処理を行う逆量子化・逆変換部１４０を構成する。
　逆量子化部１４１は、量子化部１２２が行う量子化処理に対応する逆量子化処理を行う。具体的には、逆量子化部１４１は、量子化部１２２から入力された量子化変換係数を、量子化パラメータ（Ｑｐ）及び量子化行列を用いて逆量子化することにより、変換係数を復元し、復元した変換係数を逆変換部１４２に出力する。
　逆変換部１４２は、変換部１２１が行う直交変換処理に対応する逆直交変換処理を行う。例えば、変換部１２１が離散コサイン変換を行った場合には、逆変換部１４２は逆離散コサイン変換を行う。逆変換部１４２は、逆量子化部１４１から入力された変換係数に対して逆直交変換を行って予測残差を復元し、復元した予測残差である復元予測残差を合成部１５０に出力する。
　合成部１５０は、逆変換部１４２から入力された復元予測残差を、切替部１６３から入力された予測画像と画素単位で合成する。合成部１５０は、復元予測残差の各画素値と予測画像の各画素値を加算してブロックを再構成（復号）し、再構成したブロックである再構成ブロックをメモリ１６１に出力する。かかる再構成ブロックは、復号済みブロックと称されることがある。
　メモリ１６１は、合成部１５０から入力された再構成ブロックを記憶する。メモリ１６１は、再構成ブロックをフレーム単位で記憶する。
　インター予測部１６２は、メモリ１６１に記憶されたフレーム単位の再構成画像（復号画像）を参照画像として用いて予測対象のブロックを予測するインター予測を行う。具体的には、インター予測部１６２は、ブロックマッチングなどの手法により動きベクトルを算出し、動きベクトルに基づいてインター予測画像を生成する。インター予測部１６２は、複数の参照画像を用いるインター予測（典型的には、双予測）や、１つの参照画像を用いるインター予測（片方向予測）の中から最適なインター予測方法を選択し、選択したインター予測方法を用いてインター予測を行う。インター予測部１６２は、生成したインター予測画像を切替部１６３に出力するとともに、選択したインター予測方法及び動きベクトルに関する情報をエントロピー符号化部１３０に出力する。
　イントラ予測部１７０は、メモリ１６１に記憶された再構成ブロック（復号済みブロック）のうち、予測対象のブロックに隣接する復号済み参照画素を参照してイントラ予測画像を生成する。また、イントラ予測部１７０は、予め規定された複数のイントラ予測モードの中から、対象ブロックに適用する最適なイントラ予測モードを選択するモード選択部１７１を含み、選択したイントラ予測モードを用いてイントラ予測を行う。
　モード選択部１７１は、予め規定された複数のイントラ予測モードのそれぞれについて、参照画素を用いて対象ブロックの予測画像を生成して評価し、最も良好な予測画像が得られるイントラ予測モードを選択する。例えば、モード選択部１７１は、ＲＤ（Ｒａｔｅ　Ｄｉｓｔｏｒｔｉｏｎ）コストに基づいて最適なイントラ予測モードを選択する。イントラ予測部１７０は、イントラ予測画像を切替部１６３に出力するとともに、選択したイントラ予測モードのモード番号をエントロピー符号化部１３０に出力する。なお、モード選択部１７１により選択されたイントラ予測モードのモード番号が画像復号装置２にそのまま伝送されるのではなく、モード番号に対応する識別情報がエントロピー符号化部１３０において符号化され、符号化された識別情報が画像復号装置２に伝送される。
　図２は、本実施形態に係る複数のイントラ予測モードを示す図である。図２に示すように、０から６６までの６７通りのイントラ予測モードが規定されている。イントラ予測モードのモード番号「０」はＰｌａｎａｒ予測であり、イントラ予測モードのモード番号「１」はＤＣ予測であり、イントラ予測モードのモード番号「２」～「６６」は方向性予測である。イントラ予測モードのモード番号は、イントラ予測モードに固有の番号であって、予め規定された固定の番号である。方向性予測において、矢印の方向は予測方向を示し、矢印の起点は予測対象の画素の位置を示し、矢印の終点はこの予測対象画素の予測に用いる参照画素の位置を示す。モード番号「２」～「３３」は、イントラ予測の対象ブロックの左側の参照画素を主として参照するイントラ予測モードである。一方で、モード番号「３５」～「６６」は、イントラ予測の対象ブロックの上側の参照画素を主として参照するイントラ予測モードである。
　切替部１６３は、イントラ予測部１７０から入力されるイントラ予測画像とインター予測部１６２から入力されるインター予測画像とを切り替えて、いずれかの予測画像を減算部１１０及び合成部１５０に出力する。
　符号量割当部１８０は、予め規定された複数のイントラ予測モードのそれぞれに符号量を割り当てる。また、符号量割当部１８０は、イントラ予測の対象ブロックに隣接する複数の参照画素の特徴量を算出し、算出した特徴量に基づいて、予め規定された複数のイントラ予測モードに対する符号量の割当方法を変更する。なお、参照画素は、復号済ブロックの一部であるため、画像符号化装置１側及び画像復号装置２側で一致する情報である。符号量割当部１８０の詳細については後述する。
　エントロピー符号化部１３０は、イントラ予測部１７０（モード選択部１７１）により選択されたイントラ予測モードを示す識別情報を、符号量割当部１８０により割り当てられた符号量に従って符号化する。具体的には、エントロピー符号化部１３０は、モード選択部１７１により選択されたイントラ予測モードのモード番号に対応する識別情報を符号化し、符号化した識別情報を符号化データに含める。
　（２．画像復号装置の構成）
　図３は、本実施形態に係る画像復号装置２の構成を示す図である。図３に示すように、画像復号装置２は、エントロピー符号復号部（復号部）２００と、逆量子化部２１１と、逆変換部２１２と、合成部２２０と、メモリ２３１と、インター予測部２３２と、イントラ予測部２４０と、切替部２３３と、符号量割当部２５０とを備える。
　エントロピー符号復号部２００は、画像符号化装置１により生成された符号化データを復号し、量子化変換係数を逆量子化部２１１に出力する。また、エントロピー符号復号部２００は、符号化データを復号し、予測（イントラ予測及びインター予測）に関する情報を取得し、予測に関する情報をイントラ予測部２４０及びインター予測部２３２に出力する。具体的には、エントロピー符号復号部２００は、イントラ予測モードの識別情報をイントラ予測部２４０に出力し、インター予測方法及び動きベクトルに関する情報をインター予測部２３２に出力する。
　逆量子化部２１１及び逆変換部２１２は、ブロック単位で逆量子化処理及び逆直交変換処理を行う逆量子化・逆変換部２１０を構成する。
　逆量子化部２１１は、画像符号化装置１の量子化部１２２が行う量子化処理に対応する逆量子化処理を行う。逆量子化部２１１は、エントロピー符号復号部２００から入力された量子化変換係数を、量子化パラメータ（Ｑｐ）及び量子化行列を用いて逆量子化することにより、変換係数を復元し、復元した変換係数を逆変換部２１２に出力する。
　逆変換部２１２は、画像符号化装置１の変換部１２１が行う直交変換処理に対応する逆直交変換処理を行う。逆変換部２１２は、逆量子化部２１１から入力された変換係数に対して逆直交変換を行って予測残差を復元し、復元した予測残差（復元予測残差）を合成部２２０に出力する。
　合成部２２０は、逆変換部２１２から入力された予測残差と、切替部２３３から入力された予測画像とを画素単位で合成することにより、元のブロックを再構成（復号）し、再構成ブロックをメモリ２３１に出力する。
　メモリ２３１は、合成部２２０から入力された再構成ブロックを記憶する。メモリ２３１は、再構成ブロックをフレーム単位で記憶する。メモリ２３１は、フレーム単位の再構成画像（復号画像）を画像復号装置２の外部に出力する。
　インター予測部２３２は、メモリ１６１に記憶されたフレーム単位の再構成画像（復号画像）を参照画像として用いて予測対象のブロックを予測するインター予測を行う。インター予測部２３２は、エントロピー符号復号部２００から入力されたインター予測情報（動きベクトル情報等）に従ってインター予測を行うことによりインター予測画像を生成し、インター予測画像を切替部２３３に出力する。
　イントラ予測部２４０は、メモリ２３１に記憶された再構成ブロックを参照し、エントロピー符号復号部２００から入力されたイントラ予測情報（イントラ予測モードの識別情報）に従ってイントラ予測を行うことによりイントラ予測画像を生成する。イントラ予測部２４０は、エントロピー符号復号部２００から入力された識別情報に基づいて、対象ブロックに適用するイントラ予測モードを特定するモード特定部２４１を含む。イントラ予測部２４０は、メモリ２３１に記憶された再構成ブロック（復号済みブロック）のうち、モード特定部２４１により特定されたイントラ予測モードに応じて定められる隣接参照画素を参照してイントラ予測画像を生成する。イントラ予測部２４０は、イントラ予測画像を切替部２３３に出力する。
　切替部２３３は、イントラ予測部２４０から入力されるイントラ予測画像とインター予測部２３２から入力されるインター予測画像とを切り替えて、いずれかの予測画像を合成部２２０に出力する。
　符号量割当部２５０は、予め規定された複数のイントラ予測モードのそれぞれに符号量を割り当てる。また、符号量割当部２５０は、イントラ予測の対象ブロックに隣接する複数の参照画素の特徴量を算出し、算出した特徴量に基づいて、予め規定された複数のイントラ予測モードに対する符号量の割当方法を変更する。なお、参照画素は、復号済ブロックの一部であるため、画像符号化装置１側及び画像復号装置２側で一致する情報である。符号量割当部２５０の詳細については後述する。
　モード特定部２４１は、エントロピー符号復号部２００から入力されたイントラ予測情報（イントラ予測モードの識別情報）と、符号量割当部２５０により割り当てられた符号量とに基づいて、対象ブロックに適用するイントラ予測モードを特定する。
　（３．符号量割当部の構成）
　図４は、本実施形態に係る画像符号化装置１の符号量割当部１８０の構成を示す図である。なお、画像復号装置２の符号量割当部２５０は、画像符号化装置１の符号量割当部１８０と同様の構成を有する。
　図４に示すように、符号量割当部１８０は、特徴量算出部１８１と、ＭＰＭ生成部（第１生成部）１８２ａと、選択モード生成部（第２生成部）１８２ｂと、非選択モード生成部（第３生成部）１８２ｃと、割当変更部１８３とを備える。
　特徴量算出部１８１には、イントラ予測部２４０から、イントラ予測の対象ブロックに隣接する複数の参照画素の画素値が入力される。特徴量算出部１８１は、複数の参照画素の画素値の分散値又は平均値を特徴量として算出する。本実施形態において、複数の参照画素が複数の参照画素グループを含み、特徴量算出部１８１は、複数の参照画素グループのそれぞれの特徴量を算出する。複数の参照画素グループは、対象ブロックの左側の参照画素からなる左側参照画素のグループと、対象ブロックの上側の参照画素からなる上側参照画素のグループとを含む。左側参照画素をさらに複数のグループに分割してもよいし、上側参照画素をさらに複数のグループに分割してもよい。以下において、一例として、複数の参照画素グループが左側参照画素のグループ及び上側参照画素のグループの２つのグループに分割する場合について説明する。特徴量算出部１８１は、参照画素グループごとに算出した特徴量を割当変更部１８３に出力する。
　ＭＰＭ生成部１８２ａは、イントラ予測の対象ブロックの周辺のブロックに適用されたイントラ予測モードに対応する複数のＭＰＭ（複数の第１予測モード）を生成する。本実施形態において、ＭＰＭ生成部１８２ａは、ＭＰＭ０～ＭＰＭ５の計６通りのＭＰＭを生成する。具体的には、ＭＰＭ生成部１８２ａは、イントラ予測の対象ブロックの周辺のブロック及びそれに適用されたイントラ予測モードについて優先順位付けをして、最も優先順位が高いイントラ予測モード（或いは周辺ブロック）をＭＰＭ０とし、最も優先順位が低いイントラ予測モード（或いは周辺ブロック）をＭＰＭ５とし、優先順位が高い順にＭＰＭを生成する。ＭＰＭ生成部１８２ａは、生成したＭＰＭを選択モード生成部１８２ｂ、非選択モード生成部１８２ｃ、及び割当変更部１８３に出力する。
　選択モード生成部１８２ｂは、ＭＰＭに含まれないイントラ予測モードのうち一部のイントラ予測モードからなる複数の選択モード（第２予測モード）を生成する。本実施形態において、選択モード生成部１８２ｂは、選択モード０～選択モード１５の計１６通りの選択モードを生成する。選択モード生成部１８２ｂは、ＭＰＭに含まれないイントラ予測モードの中からモード番号の昇順（小さい方から大きい方への順序）又は降順（大きい方から小さい方への順序）に所定間隔で選択したイントラ予測モードを選択モードとして生成する。以下において、選択モード生成部１８２ｂが、ＭＰＭに含まれないイントラ予測モードの中からモード番号の昇順に「４」間隔で選択したイントラ予測モードを選択モードとして生成する一例について説明する。選択モード生成部１８２ｂは、生成した選択モードを非選択モード生成部１８２ｃ及び割当変更部１８３に出力する。
　非選択モード生成部１８２ｃは、ＭＰＭ及び選択モードのいずれにも含まれないイントラ予測モードの中からモード番号の昇順又は降順に選択したイントラ予測モードを複数の非選択モード（第３予測モード）として生成する。本実施形態において、非選択モード生成部１８２ｃは、非選択モード０～非選択モード４４の計４５通りの非選択モードを生成する。非選択モードは、前半のグループと後半のグループとに分けられ、前半のグループよりも後半のグループの方が割り当てられるビット長（符号量）が多い。以下において、非選択モード生成部１８２ｃが、ＭＰＭ及び選択モードのいずれにも含まれないイントラ予測モードの中からモード番号の昇順に選択したイントラ予測モードを非選択モードとして生成する一例について説明する。よって、モード番号が小さい方のグループに属するイントラ予測モード（すなわち、左側参照画素を主に参照するイントラ予測モード）に割り当てられる符号量は、モード番号が大きい方のグループに属するイントラ予測モード（すなわち、上側参照画素を主に参照するイントラ予測モード）に割り当てられる符号量よりも少ない。非選択モード生成部１８２ｃは、生成した非選択モードを割当変更部１８３に出力する。
　ここで、ＭＰＭ、選択モード、及び非選択モードに割り当てられる符号量の一例を表１に示す。
Figure JPOXMLDOC01-appb-T000001
　表１に示すように、各イントラ予測モードは、ＭＰＭフラグ、選択モードフラグ、及び識別情報の組み合わせにより表現される。ＭＰＭフラグは、対応するイントラ予測モードがＭＰＭに属するか否かを示すフラグである。選択モードフラグは、対応するイントラ予測モードが選択モードに属するか否かを示すフラグである。なお、ＭＰＭにおいて選択フラグが「Ｎ／Ａ」である場合、ＭＰＭフラグの次に識別情報の先頭ビットが続く。
　ＭＰＭに割り当てられる識別情報の符号量は、１ビット～５ビットの範囲内である。ＭＰＭの番号が小さいほど、割り当てられる識別情報の符号量が少ない。選択モードに割り当てられる識別情報の符号量は、４ビットである。非選択モードの前半部分に割り当てられる識別情報の符号量は５ビットであり、非選択モードの後半部分に割り当てられる識別情報の符号量は６ビットである。
　上述のように、ＭＰＭ生成部１８２ａ、選択モード生成部１８２ｂ、及び非選択モード生成部１８２ｃのそれぞれが予め規定された選択規則に従ってイントラ予測モードを選択することにより、各イントラ予測モードに対して割り当てられる符号量が決定される。しかしながら、モード選択部１７１により選択される可能性が高いイントラ予測モードに対して多くの符号量が割り当てられている場合、発生する符号量が多くなり得るため、符号化効率の低下を引き起こす。
　そこで、本実施形態において、割当変更部１８３は、イントラ予測に用いる参照画素の特徴量に基づいて、モード選択部１７１により選択される可能性が高いと推定されるイントラ予測モードに対して少ない符号量を割り当てるように、各イントラ予測モードに対する符号量の割当方法を変更する。これにより、発生する符号量を削減して符号化効率を改善可能になる。
　割当変更部１８３は、特徴量算出部１８１から入力された各参照画素グループの特徴量に基づいて、イントラ予測モードに対する符号量の割当方法を変更する。割当変更部１８３は、閾値比較部１８３ａと、ＭＰＭ変更部（第１変更部）１８３ｂと、選択モード変更部（第２変更部）１８３ｃと、非選択モード変更部（第３変更部）１８３ｄとを備える。
　閾値比較部１８３ａは、各参照画素グループの特徴量を１又は複数の閾値と比較する。また、閾値比較部１８３ａは、各参照画素グループの特徴量と１又は複数の閾値との比較結果に応じて、各イントラ予測モードに対する符号量の割当方法を変更するか否か、及び、各イントラ予測モードに対する符号量の割当方法をどのように変更するかを決定する。以下において、閾値比較部１８３ａが、各参照画素グループ（左側参照画素、上側参照画素）の特徴量を２つの閾値Ｔmin、ＴMaxと比較する一例について説明する。なお、閾値は、定数であってもよいし、該当グループの参照画素の数、ブロックサイズ、ブロック形状の少なくともいずれか１つの要素に依存する値であってもよい。
　ＭＰＭ変更部１８３ｂは、ＭＰＭ生成部１８２ａから入力されたＭＰＭに対する符号量の割当方法を変更する。本実施形態において、ＭＰＭ変更部１８３ｂは、ＭＰＭ生成部１８２ａから入力されたＭＰＭの順番を並び替えることにより、ＭＰＭに対する符号量の割当方法を変更し、順番の並び替え後のＭＰＭをエントロピー符号化部１３０に出力する。但し、符号量の割当方法を変更しない場合には、ＭＰＭ変更部１８３ｂは、ＭＰＭ生成部１８２ａから入力されたＭＰＭをそのまま出力する。
　選択モード変更部１８３ｃは、選択モードに対する符号量の割当方法を変更する。選択モード変更部１８３ｃは、ＭＰＭに含まれないイントラ予測モードの中から選択モードに含めるイントラ予測モードの間隔（所定間隔）、及び選択モードとして選択され得るモード番号の範囲の少なくとも一方を変更することによって、符号量の割り当て方法を変更し、変更後の選択モードを非選択モード変更部１８３ｄ及びエントロピー符号化部１３０に出力する。但し、符号量の割当方法を変更しない場合には、選択モード変更部１８３ｃは、選択モード生成部１８２ｂから入力された選択モードをそのまま出力する。
　非選択モード変更部１８３ｄは、非選択モードに対する符号量の割当方法を変更する。非選択モード変更部１８３ｄは、非選択モードとして選択するイントラ予測モードのモード番号の順序を、昇順から降順に変更する、又は降順から昇順に変更することによって、符号量の割り当て方法を変更し、変更後の非選択モードをエントロピー符号化部１３０に出力する。
　（４．符号量割当部の動作例）
　図５は、本実施形態に係る画像符号化装置１の符号量割当部１８０の動作例を示す図である。なお、画像復号装置２の符号量割当部２５０は、画像符号化装置１の符号量割当部１８０と同様の動作を行う。
　図５に示すように、ステップＳ１において、特徴量算出部１８１は、イントラ予測の対象ブロックの左側参照画素の特徴量ＰL及び対象ブロックの上側参照画素の特徴量ＰAを算出する。本動作例においては、特徴量が分散値である一例について説明する。特徴量算出部１８１は、左側参照画素の分散値ＰL及び上側参照画素の分散値ＰAを下記の式によりそれぞれ算出する。
Figure JPOXMLDOC01-appb-M000002
　図６は、特徴量の算出に用いる参照画素を示す図である。図６において、対象ブロックのブロックサイズは４×４である。図６に示すように、左側参照画素は｛Ｌ１，Ｌ２，Ｌ３，Ｌ４｝の４つの復号済み画素からなり、上側参照画素は｛Ａ１，Ａ２，Ａ３，Ａ４｝の４つの復号済み画素からなる。なお、Ｌ５～Ｌ８の画素やＡ５～Ａ８の画素は、イントラ予測の際に参照され得るが、イントラ予測の際に復号済みではないことがある。かかる場合、Ｌ４の画素値をＬ５～Ｌ８の画素にコピーしたり、Ａ４の画素値をＡ５～Ａ８の画素にコピーしたりすることで、イントラ予測の際に参照可能としている。よって、特徴量の算出にはＬ５～Ｌ８の画素やＡ５～Ａ８の画素を用いない。
　ステップＳ２において、閾値比較部１８３ａは、左側参照画素の分散値ＰL及び上側参照画素の分散値ＰAを閾値Ｔmin、ＴMaxと比較する。
　分散値ＰL及び分散値ＰAのいずれも閾値ＴMaxを上回る場合（ステップＳ３：ＹＥＳ）、ステップＳ４において、ＭＰＭ変更部１８３ｂは、ＤＣモードの符号量を相対的に多くするようにＭＰＭの順番を並び替える。具体的には、分散値ＰL及び分散値ＰAのいずれも閾値ＴMaxを上回る場合、ＤＣモードが選択される可能性が低いと推定されるため、ＤＣモードの符号量を多くしつつ、他のイントラ予測モードの符号量を少なくするように変更する。
　分散値ＰLが閾値ＴMaxを上回り、且つ、分散値ＰAが閾値Ｔminを下回る場合（ステップＳ５：ＹＥＳ）、ステップＳ６において、ＭＰＭ変更部１８３ｂは、ＤＣモードの符号量を多くするように、ＭＰＭ生成部１８２ａから入力されたＭＰＭの順番を並び替える。また、選択モード変更部１８３ｃ及び非選択モード変更部１８３ｄは、左側参照画素を主に用いる方向性予測の符号量を少なくするように、符号量の割当方法を変更する。具体的には、左側参照画素を主に用いる方向性予測が選択される可能性が高いと推定されるため、左側参照画素を主に用いる方向性予測の符号量を少なくしつつ、上側参照画素を主に用いる方向性予測の符号量を多くするように変更する。
　分散値ＰLが閾値Ｔminを下回り、且つ、分散値ＰAが閾値ＴMaxを上回る場合（ステップＳ７：ＹＥＳ）、ステップＳ８において、ＭＰＭ変更部１８３ｂは、ＤＣモードの符号量を多くするようにＭＰＭの順番を並び替える。また、選択モード変更部１８３ｃ及び非選択モード変更部１８３ｄは、上側参照画素を主に用いる方向性予測の符号量を少なくするように、符号量の割当方法を変更する。具体的には、上側参照画素を主に用いる方向性予測が選択される可能性が高いと推定されるため、上側参照画素を主に用いる方向性予測の符号量を少なくしつつ、左側参照画素を主に用いる方向性予測の符号量を多くするように変更する。
　ステップＳ３、ステップＳ５、及びステップＳ７の何れもＮＯである場合、ステップＳ９において、閾値比較部１８３ａは、符号量の割当方法を変更しないと判定する。
　（５．具体例）
　図５に示す動作について具体例を挙げて説明する。
　（５．１．具体例１）
　具体例１は、分散値ＰL及び分散値ＰAのいずれも閾値ＴMaxを上回る場合（ステップＳ３：ＹＥＳ）の例であって、左側参照画素及び上側参照画素の画素値が次の値である。
　左側参照画素｛Ｌ１，Ｌ２，Ｌ３，Ｌ４｝＝｛２００，７００，８００，１００｝
　上側参照画素｛Ａ１，Ａ２，Ａ３，Ａ４｝＝｛８００，１００，２００，７００｝
　また、閾値｛Ｔmin，ＴMax｝＝｛１００，１００００｝である。
　このとき、
　ＰL＝ＰA＝９２５００
　であるため、
　ＰL＝ＰA＞ＴMax
　という結果を閾値比較部１８３ａが出力する。
　かかる場合、ＭＰＭ変更部１８３ｂは、ＤＣモードの符号量を相対的に多くするようにＭＰＭの順番を並び替える。ここで、ＭＰＭには、デフォルトの固定値であるＭＰＭ初期値と、周辺ブロックに適用されたイントラ予測モードに基づき可変なＭＰＭとがある。
　ＭＰＭ変更部１８３ｂは、ＭＰＭ初期値を次のように変更する。
　（変更前）｛Ｐｌａｎａｒモード，ＤＣモード，ＶＥＲモード，ＨＯＲモード，２，３４｝
　（変更後）｛Ｐｌａｎａｒモード，ＶＥＲモード，ＨＯＲモード，２，３４，ＤＣモード｝
　このように、変更前においてＤＣモードはＭＰＭ　１であるが、変更後におけるＤＣモードはＭＰＭ　５に繰り下がっており、ＤＣモードに割り当てられる符号量が増加している。代わりに、ＶＥＲモード，ＨＯＲモード，２，３４は、ＭＰＭ番号が１つ繰り上がっており、割り当てられる符号量が減少している。
　ＭＰＭ変更部１８３ｂは、初期値以外のＭＰＭを次のように変更する。
　（変更前）｛左ブロック，上ブロック，Ｐｌａｎａｒモード，ＤＣモード，左下ブロック，右上ブロック，左上ブロック｝　
　（変更後）｛左ブロック，上ブロック，Ｐｌａｎａｒモード，左下ブロック，右上ブロック，左上ブロック，ＤＣモード｝
　このように、変更前においてＤＣモードはＭＰＭ　３であるが、変更後におけるＤＣモードはＭＰＭ　５に繰り下がっている。代わりに、左下ブロック，右上ブロック，左上ブロックは、ＭＰＭ番号が１つ繰り上がっている。
　（５．２．具体例２）
　具体例２は、分散値ＰLが閾値Ｔminを下回り、且つ、分散値ＰAが閾値ＴMaxを上回る場合（ステップＳ７：ＹＥＳ）の例であって、左側参照画素及び上側参照画素の画素値が次の値である。
　｛Ｌ１，Ｌ２，Ｌ３，Ｌ４｝＝｛５１０，５００，４９０，５００｝
　｛Ａ１，Ａ２，Ａ３，Ａ４｝＝｛５００，３５０，３００，１５０｝
また、閾値｛Ｔmin，ＴMax｝＝｛１００，１００００｝である。
　このとき、
　ＰL＝５０，ＰA＝１５６２５
　であるため、
　ＰL＜Ｔmin，ＰA＞ＴMax
　という結果を閾値比較部１８３ａが出力する。
　かかる場合、ＭＰＭ変更部１８３ｂは、具体例１と同様にして、ＤＣモードの符号量を多くするようにＭＰＭの順番を並び替える。
　また、選択モード変更部１８３ｃは、上側参照画素を主に用いる方向性予測の符号量を少なくするように、符号量の割当方法を次のように変更する。
　（変更前）｛２，６，１０，１４，…｝：モード番号の昇順、間隔４
　（変更後）｛６６，６４，６２，６０，…｝：モード番号の降順、間隔２
　このように、変更前における選択モードにはモード番号の昇順に間隔４で選択されたイントラ予測モードが含まれているが、変更後における選択モードにはモード番号の降順に間隔２で選択されたイントラ予測モードが含まれている。
　かかる変更により間隔が半分になっているため、上側参照画素を主に用いる方向性予測であるモード番号「３５」～「６６」の範囲内のイントラ予測モードは選択モードに含まれ得るが、左側参照画素を主に用いる方向性予測であるモード番号「２」～「３３」の範囲内のイントラ予測モードは選択モードに含まれないことになる。その結果、モード番号「２」～「３３」の範囲内のイントラ予測モードは、より符号量の多い非選択モードに含まれることになる。
　さらに、非選択モード変更部１８３ｄは、上側参照画素を主に用いる方向性予測の符号量を少なくするように、符号量の割当方法を次のように変更する。
　（変更前）５ビット｛３，４，５，７，…｝、６ビット｛…，６２，６３，６４，６５｝：モード番号の昇順
　（変更後）５ビット｛６５，６３，６１，５９，…｝、６ビット｛…，７，５，４，３｝：モード番号の降順
　このように、変更前における非選択モードにはモード番号の昇順に選択されたイントラ予測モードが含まれているが、変更後における選択モードにはモード番号の降順に選択されたイントラ予測モードが含まれている。上側参照画素を主に用いる方向性予測であるモード番号「３５」～「６６」の範囲内のイントラ予測モードには、変更前において６ビットの符号量が割り当てられているが、変更後においては５ビットの符号量が割り当てられており、１ビット少なくなっている。
　（６．その他の実施形態）
　上述の実施形態において、選択モード生成部１８２ｂが、ＭＰＭに含まれないイントラ予測モードの中からモード番号の昇順に所定間隔で選択したイントラ予測モードを選択モードとして生成する一例について説明した。しかしながら、選択モード生成部１８２ｂは、選択モードに含めるイントラ予測モードを他の選択基準により選択してもよい。例えば、選択モード生成部１８２ｂは、選択モードに含めるイントラ予測モードを、ＭＰＭに含まれるイントラ予測モードのモード番号に依存して決定してもよい。例えば、選択モード生成部１８２ｂは、選択モードに含めるイントラ予測モードを、ＭＰＭに含まれるイントラ予測モードのモード番号を所定値だけずらしたものとすることができる。かかる場合において、選択モード変更部１８３ｃは、上述の実施形態と同様な動作により、符号量の割当方法を変更可能である。
　画像符号化装置１が行う各処理をコンピュータに実行させるプログラム及び画像復号装置２が行う各処理をコンピュータに実行させるプログラムが提供されてもよい。プログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、コンピュータにプログラムをインストールすることが可能である。ここで、プログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ－ＲＯＭやＤＶＤ－ＲＯＭ等の記録媒体であってもよい。また、画像符号化装置１が行う各処理を実行する回路を集積化し、画像符号化装置１を半導体集積回路（チップセット、ＳｏＣ）として構成してもよい。同様に、画像復号装置２が行う各処理を実行する回路を集積化し、画像復号装置２を半導体集積回路（チップセット、ＳｏＣ）として構成してもよい。
　以上、図面を参照して実施形態について詳しく説明したが、具体的な構成は上述のものに限られることはなく、要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
　なお、日本国特許出願第２０１８－０６６７１１号（２０１８年３月３０日出願）の全内容が、参照により、本願明細書に組み込まれている。

Claims (11)

  1. 　動画像を構成するフレーム単位の原画像を分割して得られた各ブロックを符号化する画像符号化装置であって、
    　予め規定された複数のイントラ予測モードのそれぞれに符号量を割り当てる符号量割当部と、
    　前記複数のイントラ予測モードの中からイントラ予測の対象ブロックに適用するイントラ予測モードを選択するモード選択部と、
    　前記選択されたイントラ予測モードを示す識別情報を、前記割り当てられた符号量に従って符号化する符号化部と、を備え、
    　前記符号量割当部は、
    　前記対象ブロックに隣接する複数の参照画素の特徴量を算出する特徴量算出部と、
    　前記算出された特徴量に基づいて、前記複数のイントラ予測モードに対する符号量の割当方法を変更する割当変更部と、を備える、
    　画像符号化装置。
  2. 　前記特徴量算出部は、前記複数の参照画素の画素値の分散値又は平均値を前記特徴量として算出する、
    　請求項１に記載の画像符号化装置。
  3. 　前記複数の参照画素は、複数の参照画素グループを含み、
    　前記特徴量算出部は、前記複数の参照画素グループのそれぞれの前記特徴量を算出し、
    　前記割当変更部は、前記複数の参照画素グループのそれぞれの前記特徴量を１又は複数の閾値と比較することにより、前記複数のイントラ予測モードに対する符号量の割当方法を変更する、
    　請求項１又は２に記載の画像符号化装置。
  4. 　前記符号量割当部は、前記対象ブロックの周辺のブロックに適用されたイントラ予測モードに対応する複数の第１予測モードを生成する第１生成部をさらに備え、
    　前記割当変更部は、前記特徴量算出部により算出された前記特徴量に基づいて、前記複数の第１予測モードに対する符号量の割当方法を変更する第１変更部を備える、
    　請求項１乃至３のいずれか１項に記載の画像符号化装置。
  5. 　前記符号量割当部は、前記複数の第１予測モードに含まれないイントラ予測モードのうち一部のイントラ予測モードからなる複数の第２予測モードを生成する第２生成部をさらに備え、
    　前記割当変更部は、前記特徴量算出部により算出された前記特徴量に基づいて、前記複数の第２予測モードに対する符号量の割当方法を変更する第２変更部をさらに備える、
    　請求項４に記載の画像符号化装置。
  6. 　前記第２生成部は、前記複数の第１予測モードに含まれないイントラ予測モードの中からモード番号の昇順又は降順に所定間隔で選択したイントラ予測モードを前記複数の第２予測モードとして生成し、
    　前記第２変更部は、前記所定間隔の長さ、及び前記複数の第２予測モードとして選択され得るモード番号の範囲の少なくとも一方を変更することによって、前記符号量の割り当て方法を変更する、
    　請求項５に記載の画像符号化装置。
  7. 　前記符号量割当部は、前記複数の第１予測モード及び前記複数の第２予測モードのいずれにも含まれないイントラ予測モードからなる複数の第３予測モードを生成する第３生成部をさらに備え、
    　前記割当変更部は、前記特徴量算出部により算出された前記特徴量に基づいて、前記複数の第３予測モードに対する符号量の割当方法を変更する第３変更部をさらに備える、
    　請求項５又は６に記載の画像符号化装置。
  8. 　前記第３生成部は、前記複数の第１予測モード及び前記複数の第２予測モードのいずれにも含まれないイントラ予測モードの中からモード番号の昇順又は降順に選択したイントラ予測モードを前記複数の第３予測モードとして生成し、
    　前記第３変更部は、前記複数の第３予測モードとして選択するイントラ予測モードのモード番号の順序を、昇順から降順に変更する、又は降順から昇順に変更することによって、前記符号量の割り当て方法を変更する、
    　請求項７に記載の画像符号化装置。
  9. 　動画像を構成するフレーム単位の画像を分割して得られた各ブロックを復号する画像復号装置であって、
    　画像符号化装置により生成された符号化データを復号することにより、イントラ予測モードの識別情報を取得する復号部と、
    　予め規定された複数のイントラ予測モードのそれぞれに符号量を割り当てる符号量割当部と、
    　前記復号された識別情報と前記割り当てられた符号量とに基づいて、イントラ予測の対象ブロックに適用するイントラ予測モードを特定するモード特定部と、を備え、
    　前記符号量割当部は、
    　前記対象ブロックに隣接する複数の参照画素の特徴量を算出する特徴量算出部と、
    　前記算出された特徴量に基づいて、前記複数のイントラ予測モードに対する符号量の割当方法を変更する割当変更部と、を備える、
    　画像復号装置。
  10. 　コンピュータを請求項１乃至８のいずれか１項に記載の画像符号化装置として機能させる、プログラム。
  11. 　コンピュータを請求項９に記載の画像復号装置として機能させる、プログラム。
PCT/JP2019/014365 2018-03-30 2019-03-29 画像符号化装置、画像復号装置、及びプログラム WO2019189903A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2020509372A JP7249999B2 (ja) 2018-03-30 2019-03-29 画像符号化装置、画像復号装置、及びプログラム
US17/036,931 US11388414B2 (en) 2018-03-30 2020-09-29 Device and method for allocating code amounts to intra prediction modes
US17/805,961 US20220303543A1 (en) 2018-03-30 2022-06-08 Device and method for allocating code amounts to intra prediction modes
JP2022093176A JP7340658B2 (ja) 2018-03-30 2022-06-08 画像符号化装置、画像復号装置、及びプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-066711 2018-03-30
JP2018066711 2018-03-30

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/036,931 Continuation US11388414B2 (en) 2018-03-30 2020-09-29 Device and method for allocating code amounts to intra prediction modes

Publications (1)

Publication Number Publication Date
WO2019189903A1 true WO2019189903A1 (ja) 2019-10-03

Family

ID=68060213

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/014365 WO2019189903A1 (ja) 2018-03-30 2019-03-29 画像符号化装置、画像復号装置、及びプログラム

Country Status (3)

Country Link
US (2) US11388414B2 (ja)
JP (2) JP7249999B2 (ja)
WO (1) WO2019189903A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010101063A1 (ja) * 2009-03-06 2010-09-10 ソニー株式会社 画像処理装置および方法
JP2012160991A (ja) * 2011-02-02 2012-08-23 Sony Corp 画像処理装置および方法、並びに、プログラム
JP2017228827A (ja) * 2016-06-20 2017-12-28 日本放送協会 イントラ予測器、画像符号化装置、画像復号装置およびプログラム
WO2018047952A1 (ja) * 2016-09-12 2018-03-15 日本電気株式会社 イントラ予測モード決定方法、イントラ予測モード決定装置およびイントラ予測モード決定プログラムを記憶する記憶媒体

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009060153A (ja) * 2005-12-21 2009-03-19 Panasonic Corp 面内予測モード決定方法及び装置及びプログラム
KR101677480B1 (ko) * 2010-09-07 2016-11-21 에스케이 텔레콤주식회사 효과적인 화면내 예측모드 집합 선택을 이용한 영상 부호화/복호화 방법 및 장치
WO2013109066A1 (ko) * 2012-01-20 2013-07-25 주식회사 팬택 화면 내 예측 모드 매핑 방법 및 이러한 방법을 사용하는 장치
WO2019107999A1 (ko) * 2017-11-30 2019-06-06 엘지전자 주식회사 비디오 신호의 처리 방법 및 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010101063A1 (ja) * 2009-03-06 2010-09-10 ソニー株式会社 画像処理装置および方法
JP2012160991A (ja) * 2011-02-02 2012-08-23 Sony Corp 画像処理装置および方法、並びに、プログラム
JP2017228827A (ja) * 2016-06-20 2017-12-28 日本放送協会 イントラ予測器、画像符号化装置、画像復号装置およびプログラム
WO2018047952A1 (ja) * 2016-09-12 2018-03-15 日本電気株式会社 イントラ予測モード決定方法、イントラ予測モード決定装置およびイントラ予測モード決定プログラムを記憶する記憶媒体

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
CHEN, JIANLE ET AL.: "Algorithm Description of Joint Exploration Test Model 7 (JEM 7", JOINT VIDEO EXPLORATION TEAM (JVET) OF ITU-T SG 16 WP 3, no. JVET-G1001-v1, 13 July 2017 (2017-07-13), Torino, IT, pages 1 - 51, XP055576095 *

Also Published As

Publication number Publication date
JP7340658B2 (ja) 2023-09-07
US20220303543A1 (en) 2022-09-22
JP2022111285A (ja) 2022-07-29
JPWO2019189903A1 (ja) 2021-04-08
US11388414B2 (en) 2022-07-12
US20210014501A1 (en) 2021-01-14
JP7249999B2 (ja) 2023-03-31

Similar Documents

Publication Publication Date Title
JP2022120012A (ja) クアッドツリー構造に基づく適応的量子化パラメータ符号化及び復号化方法及び装置
US10075725B2 (en) Device and method for image encoding and decoding
US8780980B2 (en) Video image encoding device
US9774872B2 (en) Color image encoding device, color image decoding device, color image encoding method, and color image decoding method
US11695955B2 (en) Image encoding device, image decoding device and program
JP7357736B2 (ja) 符号化装置、復号装置、及びプログラム
US20210014489A1 (en) Intra prediction device, image encoding device, image decoding device and program
US20160360231A1 (en) Efficient still image coding with video compression techniques
JP2024053019A (ja) 符号化装置、復号装置、及びプログラム
JP7415067B2 (ja) イントラ予測装置、画像復号装置、及びプログラム
JP7415058B2 (ja) 決定装置、符号化装置、復号装置及びプログラム
JP7340658B2 (ja) 画像符号化装置、画像復号装置、及びプログラム
JP7332385B2 (ja) イントラ予測装置、画像符号化装置、画像復号装置、及びプログラム
JP2020028066A (ja) 色差イントラ予測候補生成装置、画像符号化装置、画像復号装置、及びプログラム
JP7388900B2 (ja) 符号化装置、復号装置、及びプログラム
JP7449690B2 (ja) インター予測装置、画像符号化装置、画像復号装置、及びプログラム
WO2020184566A1 (ja) 画像符号化装置、画像復号装置、及びプログラム
JP6917718B2 (ja) 予測装置、符号化装置、復号装置、及びプログラム
JP2020195063A (ja) イントラ予測装置、画像符号化装置、画像復号装置、及びプログラム
JP2021093634A (ja) 符号化装置、復号装置、及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19777441

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020509372

Country of ref document: JP

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 19777441

Country of ref document: EP

Kind code of ref document: A1