JP6874804B2 - 画像復号装置、画像復号方法、及び画像復号プログラム - Google Patents

画像復号装置、画像復号方法、及び画像復号プログラム Download PDF

Info

Publication number
JP6874804B2
JP6874804B2 JP2019166981A JP2019166981A JP6874804B2 JP 6874804 B2 JP6874804 B2 JP 6874804B2 JP 2019166981 A JP2019166981 A JP 2019166981A JP 2019166981 A JP2019166981 A JP 2019166981A JP 6874804 B2 JP6874804 B2 JP 6874804B2
Authority
JP
Japan
Prior art keywords
prediction mode
intra
intra prediction
target block
candidate list
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019166981A
Other languages
English (en)
Other versions
JP2020058025A (ja
JP2020058025A5 (ja
Inventor
英樹 竹原
英樹 竹原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Priority to BR112021005523-1A priority Critical patent/BR112021005523A2/pt
Priority to KR1020217003082A priority patent/KR102702123B1/ko
Priority to RU2021107682A priority patent/RU2768956C1/ru
Priority to PCT/JP2019/036141 priority patent/WO2020066702A1/ja
Priority to MX2021003467A priority patent/MX2021003467A/es
Publication of JP2020058025A publication Critical patent/JP2020058025A/ja
Priority to US17/207,987 priority patent/US20210211651A1/en
Publication of JP2020058025A5 publication Critical patent/JP2020058025A5/ja
Priority to JP2021069712A priority patent/JP7160135B2/ja
Application granted granted Critical
Publication of JP6874804B2 publication Critical patent/JP6874804B2/ja
Priority to JP2022163084A priority patent/JP7494886B2/ja
Priority to JP2024083990A priority patent/JP2024109817A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/11Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/107Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/517Processing of motion vectors by encoding
    • H04N19/52Processing of motion vectors by encoding by predictive encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、イントラ予測を用いて画像の符号化及び復号化を行う技術に関する。
HEVC(H.265)などの画像符号化技術がある。HEVCではインター予測符号化(ピクチャ間予測符号化)に加えて、イントラ予測符号化(ピクチャ内予測符号化)が利用されている。
特開2016−213853号公報
HEVCでは、四本木分割された正方形のブロックについて、最大ブロックサイズが32画素×32画素でイントラ予測が実行される。4K画像や8K画像など高精細画像や360度画像ではより大きなブロックサイズで高効率となるイントラ予測が提供される。
本発明はこうした状況に鑑みてなされたものであり、その目的は、イントラ予測における符号化効率を向上させる技術を提供することにある。
上記課題を解決するために、本実施形態のある態様の画像復号化装置(200)は、予測対象ブロックに隣接するブロックのイントラ予測モードから第1のイントラ予測モード候補リストと第2のイントラ予測モード候補リストを生成する予測モード候補生成部(122)と、前記第1のイントラ予測モード候補リストと前記第2のイントラ予測モード候補リストからそれぞれ第1のイントラ予測モードと第2のイントラ予測モードを選択する予測モード選択部(123)と、前記第1のイントラ予測モードに基づいて前記予測対象ブロックに隣接する復号済みの画素から第1の予測値を算出し、前記第2のイントラ予測モードに基づいて前記予測対象ブロックに隣接する復号済みの画素から第2の予測値を算出する予測値算出部(124)と、前記第1の予測値と第2の予測値をもとに第3の予測値を算出する予測値重みづけ部(125)と、を有する。
本発明の別の態様は、画像復号方法である。この方法は、予測対象ブロックに隣接するブロックのイントラ予測モードから第1のイントラ予測モード候補リストと第2のイントラ予測モード候補リストを生成する予測モード候補ステップと、前記第1のイントラ予測モード候補リストと前記第2のイントラ予測モード候補リストからそれぞれ第1のイントラ予測モードと第2のイントラ予測モードを選択する予測モード選択ステップと、前記第1のイントラ予測モードに基づいて前記予測対象ブロックに隣接する復号済みの画素から第1の予測値を算出し、前記第2のイントラ予測モードに基づいて前記予測対象ブロックに隣接する復号済みの画素から第2の予測値を算出する予測値算出ステップと、前記第1の予測値と第2の予測値をもとに第3の予測値を算出する予測値重みづけステップと、を有する。
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
本発明によれば、イントラ予測における符号化効率を向上させることができる。
HEVCのイントラ予測モードを説明する図である。 HEVCのイントラ予測モードに関するシンタックスを説明する図である。 本発明の実施の形態1に係る画像符号化装置と画像復号装置を説明する図である。 画像符号化装置に入力される画像の一部の領域が、ブロックサイズ決定部で決定されたブロックサイズに基づいて、ブロックに分割されている例を示す図である。 実施の形態1のイントラ予測選択部の構成を示す図である。 実施の形態1のイントラ予測選択部の動作を説明するフローチャートである。 予測値の導出を説明する図である。 予測対象ブロックの隣接ブロックを説明する図である。 予測モード候補リスト0の生成処理の動作を説明するフローチャートである。 予測モード候補リスト0の生成処理に使用される、所定の予測モードの優先順位を示す表である。 予測モード候補リスト1の生成処理の動作を説明するフローチャートである。 予測モード候補リスト1の生成処理に使用される、所定の予測モードの優先順位を示す表である。 実施の形態1のイントラ予測モードに関するシンタックスを説明する図である。 実施の形態1の変形例4のイントラ予測モードに関するシンタックスを説明する図である。 実施の形態2のイントラ予測選択部の構成を示す図である。 実施の形態2のイントラ予測選択部の動作を説明するフローチャートである。 実施の形態2のイントラ予測モードに関するシンタックスを説明する図である。 intra_luma_merge_idxと隣接ブロックの関係を示す表である。 実施の形態2の変形例2のイントラ予測モードに関するシンタックスを説明する図である。 実施の形態2の変形例2のイントラ予測モードに関する別のシンタックスを説明する図である。
最初に、HEVCのイントラ予測について説明する。
図1は、HEVCのイントラ予測モードを説明する図である。図1のようにHEVCではイントラ予測モードとして予測モード0から予測モード34までの35モードが定義されている。予測モード0はINTRA_PLANARであり、予測対象ブロックの隣接画素をフィルタリングして生成した4つの参照画素を内挿予測して予測値を算出する。予測モード1はINTRA_DCであり、予測対象ブロックの予測ブロックの幅の2倍の水平方向の隣接画素と、予測ブロックの高さの2倍の垂直方向の隣接画素とを平均して予測値を算出する。予測モード2から予測モード34は、それぞれの角度に応じて予測対象ブロックの隣接画素をフィルタリングして生成した参照画素から予測値を算出する。ここで、予測対象ブロックの隣接画素のフィルタリングについては、予測対象ブロックのサイズが大きい場合に作用しやすく、予測対象ブロックのサイズが小さい場合に作用しにくくしている。なお、フィルタリングには1:2:1の3タップフィルタが利用される。
図2は、HEVCのイントラ予測モードに関するシンタックスを説明する図である。prev_intra_luma_pred_flagは予測対象ブロック毎に導出されるイントラ予測モード候補を利用するか否かを示すフラグである。prev_intra_luma_pred_flagが1の場合は、イントラ予測モード候補が利用され、prev_intra_luma_pred_flagが0の場合は、イントラ予測モード候補は利用されない。prev_intra_luma_pred_flagが1の場合は、mpm_idx(mpmインデックス)はイントラ予測モード候補の番号を示し、mpm_idxで示されるイントラ予測モード候補が予測対象ブロックのイントラ予測モードとなる。イントラ予測モード候補は予測対象ブロック毎に隣接ブロックのイントラ予測モードに基づいて全てのイントラ予測モード35個の中から3つ生成され、mpm_idxは0、1、または2の値になる。prev_intra_luma_pred_flagが0の場合は、rem_intra_luma_pred_modeからイントラ予測モードの番号を導出する。rem_intra_luma_pred_modeはイントラ予測モード候補以外のイントラ予測モードを示す。すなわち、rem_intra_luma_pred_modeは全てのイントラ予測モード35個からイントラ予測モード候補を除いた32個のイントラ予測モードのいずれか1つを示す。rem_intra_luma_pred_modeで示されるイントラ予測モードが予測対象ブロックのイントラ予測モードとなる。以上のように、HEVCでは35個の全てのイントラ予測モードがmpm_idxとrem_intra_luma_pred_modeの両方に符号化(復号)される可能性がある。prev_intra_luma_pred_flag、mpm_idx、rem_intra_luma_pred_modeはそれぞれ固定長2値化、トランケーティッド・ライス2値化、固定長2値化により2値算術符号化される。rem_intra_luma_pred_modeは5ビットの固定長2値化で2値算術符号化される。トランケーティッド・ライス2値化は値が小さいほど符号化効率が向上する。
以上のように、HEVCの予測モード2から予測モード34は、1つの角度に基づいてイントラ予測の予測値を算出している。これは、符号量増加の原因となる画像に含まれるエッジ方向を予測して差分をとることで符号量を削減している。そして、予測対象ブロックのサイズが大きい場合には、1つの角度から予測した場合にエッジ方向がブロック内でずれて、予測効率が十分に良くならない可能性がある。そのため、予測対象ブロックの隣接画素をフィルタリングしている。
HEVCにおける予測対象ブロックのサイズの最大サイズは32画素×32画素(以降、32×32とも記す)であった。これに対して、4K映像、8K映像などでは、より大きな予測対象ブロックのサイズを利用することで予測効率が向上することが知られており、予測対象ブロックのサイズを大きくすることは予測効率を向上させる上で重要である。
そこで、以下の実施の形態では、予測対象ブロックのサイズの最大サイズがより大きくなった場合に好適なイントラ予測を提供する。以下、複数のイントラ予測モードの内、予測に利用する隣接画素が角度依存性を持たないイントラ予測モードを非角度イントラ予測モードといい、予測に利用する隣接画素が角度依存性を持つイントラ予測モードを角度イントラ予測モードという。角度イントラ予測モードには、水平方向のイントラ予測モードと垂直方向のイントラ予測モードが含まれる。
HEVCでは、予測モード0と予測モード1が非角度イントラ予測モードであり、予測モード2から予測モード34が角度イントラ予測モードである。より具体的には、予測モード2から予測モード17が水平方向のイントラ予測モードであり、予測モード18から予測モード34が垂直方向のイントラ予測モードである。
(実施の形態1)
以下、図面とともに本発明の実施の形態に係る画像符号化装置、画像符号化方法、及び画像符号化プログラム、並びに画像復号装置、画像復号方法、及び画像復号プログラムの詳細について説明する。
図3は、本発明の実施の形態1に係る画像符号化装置100と画像復号装置200を説明する図である。実施の形態1に係る画像符号化装置100はブロックサイズ決定部110、イントラ予測選択部120、変換部130、及び符号化部140を含む。画像符号化装置100には入力画像が入力されて、符号化ストリームを出力する。
画像復号装置200は復号部210、ブロックサイズ取得部220、イントラ予測部230、及び逆変換部240を含む。画像復号装置200には符号化ストリームが入力されて、復号画像を出力する。
実施の形態1のイントラ予測部230では、HEVCと同じイントラ予測モードを利用する。画像符号化装置100と画像復号装置200は、CPU(Central Processing Unit)、フレームメモリ、ハードディスクなどを備える情報処理装置などのハードウェアにより実現される。
最初に、画像符号化装置100の各部の機能と動作について説明する。画像符号化装置100には入力画像が入力される。
ブロックサイズ決定部110は、入力画像に基づいてイントラ予測符号化するブロックサイズを決定し、決定したブロックサイズとブロックサイズに該当する入力画素(入力値)をイントラ予測選択部120に供給する。ブロックサイズを決定する手法についてはここでは詳細に説明しないが、HEVCの参照ソフトウェアなどに用いられているように、複数のブロックサイズの評価値を比較して最適なブロックサイズを選択するRDO(レート歪最適化)や評価値によるプリ判定でよい。
ここで、ブロックサイズについて説明する。
図4は、画像符号化装置100に入力される画像の一部の領域が、ブロックサイズ決定部110で決定されたブロックサイズに基づいて、ブロックに分割されている例を示す。ブロックサイズは4×4、8×4、4×8、8×8、16×8、8×16、32×32、・・・、128×64、64×128、128×128が存在し、入力される画像は各ブロックが重複しないように上記のブロックサイズを用いて分割される。
イントラ予測選択部120は、ブロックサイズ、入力画素、符号化済み画像に基づいて、複数のイントラ予測モードの中から1つのイントラ予測モードを選択し、選択したイントラ予測モードに基づいて符号化済みの画素から予測値を導出し、ブロックサイズ、選択したイントラ予測モード、入力値、及び予測値を変換部130に供給する。なお、符号化済みの画素は画像符号化装置100内の各部で共有されており、ここでは図示しない。イントラ予測選択部120の詳細については後述する。
変換部130は、入力値から予測値を減算して差分値を算出し、算出した差分値に直交変換と量子化などの処理を行って予測誤差データを算出し、ブロックサイズ、イントラ予測モード、及び算出した予測誤差データを符号化部140に供給する。
符号化部140は、必要に応じてヘッダやその他の情報を符号化し、変換部130から供給されたブロックサイズに関する符号列を符号化し、イントラ予測モードを符号列として符号化し、予測誤差データを符号化し、符号化ストリームとして出力する。イントラ予測モードの符号化処理の詳細については後述する。
画像符号化装置100は入力画像の全ての領域が符号化されるまで上記の処理を繰り返す。
ここで、イントラ予測選択部120の詳細について説明する。
図5は、実施の形態1のイントラ予測選択部120の構成を示す図である。イントラ予測選択部120はモード数判定部121、予測モード候補生成部122、予測モード選択部123、予測値算出部124、及び予測値重みづけ部125を含む。
図6は、実施の形態1のイントラ予測選択部120の動作を説明するフローチャートである。以降、図5と図6を用いてイントラ予測選択部120の詳細を説明する。最初に、モード数判定部121は、予測ブロック幅が所定の閾幅以上で且つ予測ブロック高が所定の閾高以上であるか否か検査する(S100)。ここでは、所定の閾幅と所定の閾高がそれぞれ32であるとするが、所定の閾幅が64及び所定の閾高が32のように、所定の閾幅と所定の閾高を異なる値にしてもよい。なお、所定の閾幅と所定の閾高をそれぞれヘッダに、拡張ゴロム符号列としてSPS(Sequence_parameter_set)などに符号化して格納してもよい。
次に、モード数判定部121は、予測ブロック幅が所定の閾幅以上で且つ予測ブロック高が所定の閾高以上であれば(S100のYES)、予測モード数を2に設定し(S101)、予測ブロック幅が所定の閾幅以上で且つ予測ブロック高が所定の閾高以上でなければ(S100のNO)、予測モード数を1に設定する(S102)。
次に、イントラ予測選択部120は、予測モード数が1である場合にはMを0とし、予測モード数が2である場合にはMを0と1としてS103からS107まで繰り返す。ここでは、ステップ数の削減を考慮して予測モード数が1である場合にはMを0のみ処理するとしたが、回路構成の単純化を考慮して予測モード数が1である場合でもMを0及び1としてS103からS107を繰り返してもよい。
予測モード候補生成部122は、予測対象ブロックの周辺に存在する符号化済みの隣接ブロックから予測モード候補リストMを生成し(S104)、生成した予測モード候補リストMを予測モード選択部123に供給する。予測モード候補リストの生成処理の詳細については後述する。
予測モード選択部123は、予測モード0から予測モード34の評価値をそれぞれ算出し、算出した各予測モードの評価値に基づいて、予測モード0から予測モード34の中から1つの選択予測モードMを選択し(S105)、選択した選択予測モードMを予測値算出部124に供給する。ここで、選択予測モードMは予測モード0から予測モード34の予測モードの中からRDO判定により1つ選択されるものとする。
予測値算出部124は、予測モード選択部123から入力される選択予測モードMに基づいて予測対象ブロックの予測値Mを算出し(S106)、算出した予測値Mを予測値重みづけ部125に供給する。ここで、予測値は隣接画素から導出する。
図7は、予測値の導出を説明する図である。図7の予測対象ブロックは32×32であり、予測対象ブロック内の各画素はP(0,0)からP(31,31)まで存在し、隣接画素はRH−1からRH63、RV0からRV63までを利用する。隣接画素が存在しない場合にはHEVCで定義されているような代替画素で補填するものとする。図7は、予測モード数が2、選択予測モード0が予測モード10、選択予測モード1が予測モード34である例を示している(図1参照)。
まず、選択予測モード0が予測モード10の場合の選択予測モード0の予測値の導出を説明する。P(0,0)、P(1,0)、・・・、P(31,0)はRV0を予測値とし、P(0,1)、・・・、P(31,1)はRV1を予測値とし、P(0,31)、・・・、P(31,31)はRV31を予測値とする。次に、選択予測モード1が予測モード34の場合の選択予測モード1の予測値の導出を説明する。P(0,0)はRH1を予測値とし、P(1,0)及びP(0,1)はRH2を予測値とし、P(31,31)はRH63を予測値とする。HEVCのように予測対象ブロックの隣接画素をフィルタリングして参照画素を生成せず、本実施の形態では隣接画素をそのまま利用するため、本実施の形態ではフィルタリング処理は不要である。参照画素から予測値を算出する点を除いて、予測値の算出はHEVCと同じであるとする。
S106に引き続いて、選択予測モードMが非角度イントラ予測モードでないことを検査する(S110)。選択予測モードMが非角度イントラ予測モードでなければ(S110のYES)、S107に進む。選択予測モードMが非角度イントラ予測モードであれば(S110のNO)、S108に進む。ここで、非角度イントラ予測モードとは、INTRA_PLANARとINTRA_DCであるとする。このように、INTRA_PLANARやINTRA_DCのように特定角度の隣接画素を利用するのみならず、複数の方向の隣接画素を用いたイントラ予測モードでは、予測モード数が2であることを許容せずに予測モード数は1とすることで、処理量の増加を抑制できる。すなわち、非角度イントラ予測モードに属する予測モードと、角度イントラ予測モードに属する予測モードを組み合わせることはない。
S107に引き続いて、予測値重みづけ部125は、予測モード数が1であるか、選択予測モード0が非角度イントラ予測モードであれば、予測値算出部124より供給された予測値をそのまま予測値として出力する。予測値重みづけ部125は、予測モード数が2であれば、予測値算出部124より供給された選択予測モード0の第1の予測値と選択予測モード1の第2の予測値を平均して第3の予測値として出力する(S108)。
続いて、画像復号装置200の各部の機能と動作について説明する。復号部210は、符号化ストリームから必要に応じてヘッダやその他の情報を復号し、ブロックサイズに関する符号列、イントラ予測モードの符号列、及び予測誤差データを符号化ストリームから復号し、復号したブロックサイズに関する符号列、イントラ予測モードの符号列、及び予測誤差データをブロックサイズ取得部220に供給する。イントラ予測モードの符号列の復号については後述するイントラ予測モードに関するシンタックスに基づいて復号される。
ブロックサイズ取得部220は、復号部210から供給されたブロックサイズに関する符号列からブロックサイズを取得し、ブロックサイズ、イントラ予測モードの符号列、及び予測誤差データをイントラ予測部230に供給する。
イントラ予測部230は、イントラ予測モードの符号列からイントラ予測モードを選択し、選択されたイントラ予測モードに基づいて復号済みの画素から予測値を導出し、予測値、ブロックサイズ、及び予測誤差データを逆変換部240に供給する。なお、復号済みの画素は画像復号装置200内の各部で共有されており、ここでは図示しない。
ここで、イントラ予測部230における予測値の算出は、イントラ予測選択部120における予測値の算出と同一であり、画像符号化装置100で得られる再生画像と画像復号装置200で出力される再生画像は同一となる。すなわち、イントラ予測部230とイントラ予測選択部120は同一の構成にすることができるため、本実施の形態ではイントラ予測部230とイントラ予測選択部120は同一の構成であるとして説明する。
イントラ予測部230の動作をイントラ予測選択部120の動作を説明するフローチャートである図6を用いて説明する。イントラ予測選択部120との差はS105であり、イントラ予測部230ではS105の代わりに下記のS105Dを実施する。
予測モード選択部123は、イントラ予測モードの符号列に基づいて1つの選択予測モードMを選択し(S105D)、選択した選択予測モードMを予測値算出部124に供給する。イントラ予測モードの符号列については後述する。
逆変換部240は、イントラ予測部230から供給された予測誤差データに逆直交変換と逆量子化などの処理を行って差分値を算出し、差分値と予測値を加算して再生画素を算出し、再生画素を出力する。
画像復号装置200は入力された符号化ストリームの全ての符号列を復号するまで上記の処理を繰り返す。
ここで、予測モード候補リストの生成処理の詳細について説明する。最初に、予測対象ブロックの周辺に存在する符号化済みの隣接ブロックについて説明する。
図8は、予測対象ブロックの隣接ブロックを説明する図である。図8において、ブロックXは予測対象ブロックであり、ブロックAからブロックEが隣接ブロックである。ここでは、隣接ブロックをブロックAからブロックEとしたが、ブロックAからブロックDでもよく、更に予測対象ブロックの左上(ブロックAの上)のブロックや左下(ブロックCの下)のブロックなどを追加してもよい。
図9は、予測モード候補リスト0の生成処理の動作を説明するフローチャートである。図9に基づいて予測モード候補リスト0の生成処理について説明する。最初は、予測モード候補リスト0は空であり、予測モード候補リスト0に含まれる候補数は0であるとする。予測モード候補リスト0を候補リスト0と略する。
ブロックXをブロックA、ブロックB、ブロックC、ブロックD、ブロックEの順にS210、S201、S202、S203のステップを繰り返す(S200及びS204)。
ブロックXがイントラ予測を利用しているか否か検査する(S210)。ブロックXがイントラ予測を利用していれば(S210のYES)、S201に進む。ブロックXがイントラ予測を利用していなければ(S210のNO)、S204に進む。
S210に引き続いて、候補リスト0にブロックXと同じ選択予測モード0が存在しなければ(S201のYES)、ブロックXの選択予測モード0を候補リスト0に追加(S202)する。続いて、候補リスト0に追加された予測モードの数が所定数に達したか否か検査し(S203)、候補リスト0に追加された予測モードの数が所定数に達していれば(S203のYES)、処理を終了する。候補リスト0に追加された予測モードの数が所定数に達していなければ(S203のNO)、S204に進む。ここで、所定数は3とする。候補リスト0にブロックXと同じ選択予測モード0が存在すれば(S201のNO)、S204に進む。
次に、候補リスト0に追加された予測モードの数が所定数未満であれば(S205のYES)、所定の予測モードの優先順位に基づいて、候補リスト0に同じ予測モードが重複しないように、優先順位の小さい順に候補リスト0に予測モード候補を追加して(S206)、処理を終了する。ここで、所定の予測モードの優先順位を示す表を図10に示す。候補リスト0に追加された予測モードの数が所定数未満でなければ(S205のNO)、処理を終了する。
図11は、予測モード候補リスト1の生成処理の動作を説明するフローチャートである。図11に基づいて予測モード候補リスト1の生成処理について説明する。最初は、予測モード候補リスト1は空であり、予測モード候補リスト1に含まれる候補数は0であるとする。予測モード候補リストを候補リストと略する。
ブロックXをブロックA、ブロックB、ブロックC、ブロックD、ブロックEの順にしてS310、S301、S302、S303、S304、S305のステップを繰り返す(S300及びS306)。
ブロックXが角度イントラ予測モードを利用しているか否か検査する(S310)。ブロックXが角度イントラ予測モードを利用していれば(S310のYES)、S301に進む。ブロックXが角度イントラ予測モードを利用していなければ(S310のNO)、S306に進む。
ブロックXの選択予測モードNについて選択予測モード1と選択予測モード0の順でS302、S303、S304のステップを繰り返す(S301及びS305)。
候補リスト1にブロックXと同じ選択予測モードNが存在しなければ(S302のYES)、ブロックXの予測モードを候補リスト1に追加する(S303)。続いて、候補リスト1に追加された予測モードの数が所定数に達したか否か検査し(S304)、候補リスト1に追加された予測モードの数が所定数に達していれば(S304のYES)、処理を終了する。候補リスト1に追加された予測モードの数が所定数に達していなければ(S304のNO)、S305に進む。ここで、所定数は3とする。候補リスト1にブロックXと同じ選択予測モードNが存在すれば(S302のNO)、S305に進む。
次に、候補リスト1に追加された予測モードの数が所定数未満であれば(S307のYES)、所定の予測モードの優先順位に基づいて、候補リスト1に同じ予測モードが重複しないように、優先順位の小さい順に候補リスト1に予測モード候補を追加して(S308)、処理を終了する。ここで、所定の予測モードの優先順位を示す表を図12に示す。図12の表は図10の表とは異なり、非角度イントラ予測モード(予測モード0と予測モード1)は含まれない。また、優先順位には、垂直方向のイントラ予測モードと水平方向のイントラ予測モードを交互に設定している。候補リストに追加された予測モードの数が所定数未満でなければ(S307のNO)、処理を終了する。
ここで、実施の形態1によって得られる効果について説明する。予測対象ブロックの大きさが大きい場合には、予測対象ブロック内に複数のエッジが含まれる可能性が高くなる。このように、予測対象ブロック内に複数のエッジが含まれている場合に、1つのイントラ予測モードだけで予測対象ブロックを予測すると、予測効率が低下する可能性が高い。
よって、以上で述べたように、予測対象ブロックの大きさが大きい場合には、2つのイントラ予測モードで予測することで、予測対象ブロックに2方向のエッジが存在する場合に対応することができ、予測効率を向上させることができる。
続いて、イントラ予測モードの符号化(イントラ予測モードの符号列)の詳細について説明する。
図13は、実施の形態1のイントラ予測モードに関するシンタックスを説明する図である。図13は予測ブロックのシンタックスであり、pbWidthは予測ブロックの幅、pbHeightは予測ブロックの高さを示す。pbWThreadは所定の閾幅、pbHThreadは所定の閾高を示す。イントラ予測モードの符号化やイントラ予測モードの復号は図13のシンタックスに基づいて行われる。
prev_intra_luma_pred_flag、mpm_idx、及びrem_intra_luma_pred_modeは選択予測モード0に関するシンタックスである。prev_intra_luma_pred_flagは、予測モード候補リスト0から選択予測モード0を選択するか否かを示すフラグである。prev_intra_luma_pred_flagが1であれば、予測モード候補リスト0から選択予測モード0が選択され、prev_intra_luma_pred_flagが0であれば、予測モード候補リスト0に含まれないイントラ予測モードから選択予測モード0が選択される。mpm_idxは予測モード候補リスト0に含まれる候補の中から選択された選択予測モード0を示すインデックスである。rem_intra_luma_pred_modeは予測モード候補リスト0に含まれない候補の中から選択された選択予測モード0を示すインデックスである。
2nd_prev_intra_luma_pred_flag、2nd_mpm_idx、及び2nd_rem_intra_luma_pred_modeは選択予測モード1に関するシンタックスである。2nd_prev_intra_luma_pred_flagは、予測モード候補リスト1から選択予測モード1を選択するか否かを示すフラグである。2nd_prev_intra_luma_pred_flagが1であれば、予測モード候補リスト1から選択予測モード1が選択され、2nd_prev_intra_luma_pred_flagが0であれば、予測モード候補リスト1に含まれないイントラ予測モードから選択予測モード1が選択される。2nd_mpm_idxは予測モード候補リスト1に含まれる候補の中から選択された選択予測モード1を示すインデックスである。2nd_rem_intra_luma_pred_modeは予測モード候補リスト1に含まれない候補の中から選択された選択予測モード1を示すインデックスである。
prev_intra_luma_pred_flag、rem_intra_luma_pred_mode、2nd_prev_intra_luma_pred_flag、及び2nd_rem_intra_luma_pred_modeは固定長(FL)2値化され、mpm_idx、2nd_mpm_idxはトランケーティドライス(TR)2値化される。
(実施の形態1の変形例1)
以下、実施の形態1の変形例1について説明する。角度イントラ予測モード(予測モード2から予測モード34)の予測値の算出において、それぞれの角度に応じて予測対象ブロックの隣接画素から予測値を算出するのではなく、予測対象ブロックの隣接画素をフィルタリングして生成した参照画素から予測値を算出してもよい。
また、予測モード数が1の場合は予測対象ブロックの隣接画素をフィルタリングして生成した参照画素から予測値を算出し、予測モード数が2の場合は予測対象ブロックの隣接画素から予測値を算出するようにすることもできる。このようにすることで、予測モード数が1の場合の処理量と予測モード数が2の場合の処理量を均一化することができる。
(実施の形態1の変形例2)
以下、実施の形態1の変形例2について説明する。実施の形態1では予測モード候補リスト1を予測モード候補リスト0とは異なる図11のように生成し、予測モード候補リスト1から選択予測モード1を選択したが、予測モード候補リスト0から選択予測モード1を選択してもよい。このようにすることで、予測モード候補リスト1を生成する処理を削減することができる。
また、予測モード候補リスト0の候補の所定数を3よりも大きくすることができる。例えば、予測モード候補リスト0の候補の所定数を5としてもよい。この場合、選択予測モード1が2nd_mpm_idxとして符号化される確率を高め、符号化効率を向上させることができる。所定数が3より大きい場合には所定の予測モードの優先順位も所定数に合わせて4以上用意する。このとき、優先順位順は、垂直方向のイントラ予測モードと水平方向のイントラ予測モードを交互に設定する。
(実施の形態1の変形例3)
以下、実施の形態1の変形例3について説明する。実施の形態1では選択予測モード1を予測モード0から予測モード34の中から1つ選択した。変形例3では、選択予測モード1を予測モード候補リスト1から選択してもよい。このとき、図13の2nd_prev_intra_luma_pred_flagと2nd_rem_intra_luma_pred_modeは不要となり、2nd_mpm_idxだけで済む。このようにすることで、選択予測モード1の符号化効率を向上させることができる。
(実施の形態1の変形例4)
以下、実施の形態1の変形例4について説明する。実施の形態1では予測モード候補リスト1を選択予測モード0とは無関係に図11のように生成した。変形例4では予測モード候補リスト1を選択予測モード0に基づいて生成する。
ここでは、下記(式1)、(式2)のように選択予測モード0の両隣のモードを予測モード候補リスト1として追加する。これにより、隣接する2つの予測モードの中間の予測モードを生成することができるようになる。
予測モード候補リスト1[0]=(選択予測モード0−1)%35 ・・・(式1)
予測モード候補リスト1[1]=(選択予測モード0+1)%35 ・・・(式2)
「%」は剰余演算子であり、「35」はイントラ予測モード数である。すなわち、(選択予測モード0−1)を35で割った余りが、予測モード候補リスト1[0]に追加される。同様に、(選択予測モード0+1)を35で割った余りが、予測モード候補リスト1[1]に追加される。余りは0〜34の範囲に収まる。
なお、選択予測モード0は非角度イントラ予測モードをとらないため、選択予測モード0が予測モード0または予測モード1をとることはない。そのため、選択予測モード0が予測モード2である場合、予測モード候補リスト1[0]は予測モード1となるが、予測モード1は非角度イントラ予測モードであるため無効とする。同様に、選択予測モード0が予測モード34である場合、予測モード候補リスト1[1]は予測モード0となるが、予測モード0は非角度イントラ予測モードであるため無効とする。
また、イントラ予測モードに関するシンタックスも異なる。
図14は、変形例4のイントラ予測モードに関するシンタックスを説明する図である。2nd_intra_luma_pred_0_flagが1であれば、選択予測モード1として予測モード候補リスト1[0]を選択し、2nd_intra_luma_pred_0_flagが0であれば、選択予測モード1として予測モード候補リスト1[1]を選択する。このようにすることで、選択予測モード1の符号化効率を向上させることができる。選択予測モード0が予測モード2または予測モード34である場合、イントラ予測モードは一意に0に決定される。そのため、2nd_intra_luma_pred_0_flagを符号化または復号する必要がない。これにより、符号化効率と処理効率をさらに向上させることができる。
(実施の形態1の変形例5)
以下、実施の形態1の変形例5について説明する。実施の形態1の予測値重みづけ部125は、予測モード数が2であれば、選択予測モード0の予測値と選択予測モード1の予測値を単純平均して予測値とした。変形例5では、選択予測モード0の予測値と選択予測モード1の予測値を距離に応じて加重平均して予測値とする。
予測対象画素と選択予測モード0の隣接画素N0との距離をd0、予測対象画素と選択予測モード1の隣接画素N1との距離をd1とすると、加重平均して予測値PPは(式3)で算出される。
PP=(N0*d1+N1*d0)/(d0+d1) ・・・(式3)
(実施の形態1の変形例6)
以下、実施の形態1の変形例6について説明する。実施の形態1では、予測モード数を1または2のいずれにするかは、予測対象ブロックの幅が所定の閾幅以上で且つ前記予測対象ブロックの高さが所定の閾高以上であるか否かで決定した。これを例えば、予測モード数が1であるか2であるかを示す予測モード数フラグを符号化(復号)して指定することもできる。この場合、フラグにより精細に制御できるため、予測効率が向上する。
(実施の形態2)
以下、実施の形態2について説明する。実施の形態1とはイントラ予測選択部の構成と動作が異なる。
図15は、本発明の実施の形態2のイントラ予測選択部120の構成を示す図である。イントラ予測選択部120は予測モード候補生成部122、予測モード選択部123、予測値算出部124、及び予測値重みづけ部125を含む。
図16は、イントラ予測選択部120の動作を説明するフローチャートである。以降、図15と図16を用いてイントラ予測選択部120の詳細を説明する。最初に、予測モード候補生成部122は、非角度イントラ予測モードKの数だけS501からS503を繰り返し、非角度イントラ予測モードKの評価値を算出する(S502)。Kが0の場合はINTRA_PLANARを、Kが1の場合はINTRA_DCの評価値を算出する。
次に、予測モード候補生成部122は、予測モード候補リストMの数だけS505からS508を繰り返す。予測モード候補生成部122は、予測対象ブロックの周辺に存在する符号化済みの隣接ブロックから予測モード候補リストMを生成し(S506)、生成した予測モード候補リストMを予測モード選択部123に供給する。予測モード候補リストMは、Mが0であれば水平方向のイントラ予測モードを含むように生成され、Mが1であれば垂直方向のイントラ予測モードを含むように生成される。予測モード候補リストMには非角度イントラ予測モードは含まれることはない。
予測モード候補生成部122は、予測モード候補リスト0の場合は、予測モード候補リスト0に含まれる水平方向のイントラ予測モードである予測モード2から予測モード17のそれぞれの予測値と評価値を算出し、算出した各予測モードの評価値に基づいて予測モード2から予測モード17の中から1つの選択予測モード0を選択する。
予測モード候補生成部122は、予測モード候補リスト1の場合は、予測モード候補リスト1に含まれる垂直方向のイントラ予測モードである予測モード18から予測モード34のそれぞれの予測値と評価値を算出して、算出した各予測モードの評価値に基づいて予測モード18から予測モード34の中から1つの選択予測モード1を選択する(S507)。以上のように、Mが0であれば水平方向のイントラ予測モードを示し、Mが1であれば垂直方向のイントラ予測モードを示す。すなわち、Mはイントラ予測モードの方向を示す。
次に、予測モード候補生成部122は、選択予測モード0の予測値と選択予測モード1の予測値を加重平均して予測モード数が2の評価値を算出する(S510)。次に、予測モード選択部123は、予測モード0と予測モード1及び予測モード数が2の評価値に基づいて、予測モード0と予測モード1及び予測モード数が2の中から1つのイントラ予測モードを選択する(S511)。次に、予測値重みづけ部125は、選択されたイントラ予測モードに基づいて予測値を出力する(S512)。
また、実施の形態2は、実施の形態1とはイントラ予測モードに関するシンタックスが異なる。
図17は、実施の形態2のイントラ予測モードに関するシンタックスを説明する図である。イントラ予測モードの符号化やイントラ予測モードの復号は図17のシンタックスに基づいて行われる。
intra_luma_merge_flagは、予測対象ブロックの予測モード数とイントラ予測モードとして、隣接ブロックの予測モード数とイントラ予測モードを利用するか否かを示すマージフラグである。
intra_luma_merge_idxは予測対象ブロックの予測モード数とイントラ予測モードとして利用する予測モード数とイントラ予測モードを有する隣接ブロックを示す。
図18は、intra_luma_merge_idxと隣接ブロックの関係を示す表である。例えば、intra_luma_merge_idxが0で、隣接ブロックAの予測モード数が1で、選択予測モード0が予測モード3である場合、予測対象ブロックの予測モード数は1で、選択予測モード0は予測モード3となる。また別の例では、intra_luma_merge_idxが2で、隣接ブロックCの予測モード数が2で、選択予測モード0が予測モード3で、選択予測モード1が予測モード20である場合、予測対象ブロックの予測モード数は2で、選択予測モード0は予測モード3で、選択予測モード1は予測モード20となる。
intra_luma_non_angular_pred_flagは非角度イントラ予測モードであるか否かを示すフラグである。非角度イントラ予測モードであるか否かを示すフラグが非角度イントラ予測モードであることを示す(intra_luma_non_angular_pred_flagが1)場合はnon_angular_idxを符号化(復号)し、non_angular_idxが示すイントラ予測モードが選択予測モードとして選択される。non_angular_idxは非角度イントラ予測モードの予測モードを示す。non_angular_idxが0であればINTRA_PLANARを、1であればINTRA_DCを示す。非角度イントラ予測モードであるか否かを示すフラグが非角度イントラ予測モードでないことを示す(intra_luma_non_angular_pred_flagが0)場合は、prev_intra_luma_pred_h_flag、mpm_idx_h、rem_intra_luma_pred_mode_h等のインデックスが符号化(復号)されて、非角度イントラ予測モード以外のイントラ予測モードが選択予測モードとして選択される。
intra_luma_pred_idcは予測モード数とイントラ予測の方向を示す。intra_luma_pred_idcが0であれば、予測モード数が1で水平方向のイントラ予測モードであることを示し、intra_luma_pred_idcが1であれば、予測モード数が1で垂直方向のイントラ予測モードを示し、intra_luma_pred_idcが2であれば予測モード数が2であることを示す。
prev_intra_luma_pred_h_flag、mpm_idx_h、及びrem_intra_luma_pred_mode_hは水平方向のイントラ予測モードに関するシンタックスである。prev_intra_luma_pred_v_flag、mpm_idx_v、及びrem_intra_luma_pred_mode_vは垂直方向のイントラ予測モードに関するシンタックスである。ここで、rem_intra_luma_pred_mode_hとrem_intra_luma_pred_mode_vには非角度イントラ予測モードは含まれることはない。
実施の形態2のように、予測対象ブロックの隣接ブロックのイントラ予測モードをそのまま利用するマージフラグを利用することで、予測モード数が2である場合や予測モード候補リストに存在しない予測モードの符号化効率を向上させることができる。
また、イントラ予測モードを非角度イントラ予測モードである予測モード0と予測モード1、水平方向のイントラ予測モードである予測モード2から予測モード17、垂直方向のイントラ予測モードである予測モード18から予測モード34に分類して、イントラ予測モードに関するシンタックスを非角度イントラ予測モード用のシンタックス要素、水平方向の予測用のシンタックス要素、垂直方向の予測用のシンタックス要素に分割することで、予測モード候補リストに存在しない予測モードを選択する場合に符号化効率を向上させることができる。
つまり、intra_luma_non_angular_pred_flagをrem_intra_luma_pred_mode_hやrem_intra_luma_pred_mode_vの前段に符号化(復号)することで、rem_intra_luma_pred_mode_hやrem_intra_luma_pred_mode_vに予測モード候補リストに含まれるイントラ予測モード候補に加えて、非角度イントラ予測モードを含める必要がなくなる。そのため、rem_intra_luma_pred_mode_hやrem_intra_luma_pred_mode_vで指定できる角度イントラ予測モードを増加させることができるため符号化効率を向上させることができる。増加させるイントラ予測モードは、例えば、水平方向のイントラ予測モードであれば、予測モード9と予測モード10の間や予測モード10と予測モード11の間に新たな角度を設けても良いし、垂直方向のイントラ予測モードであれば、予測モード25と予測モード26の間や予測モード26と予測モード27の間に新たな角度イントラ予測モードを設けても良い。
また、一般的に、非角度イントラ予測モードは角度イントラ予測モードよりも選択確率が高い。そのため、非角度イントラ予測モードを示す独立のシンタックスであるintra_luma_non_angular_pred_flagをmpm_idx_hやmpm_idx_vの前段に符号化(復号)することで、予測モード候補リスト0や予測モード候補リスト1に非角度イントラ予測モードを含める必要がなくなる。そのため、選択予測モードが非角度イントラ予測モードである場合、予測モード候補リスト0や予測モード候補リスト1を生成する処理コストを削減することができる。
さらに、非角度イントラ予測モードの数を2よりも多く増加させたり、非角度イントラ予測モードのタイプやイントラ予測モードの角度をさらに詳細に分類する場合に、マージフラグやシンタックスの分類は符号化効率の向上に有効に作用する。なお、intra_luma_merge_idx、intra_luma_merge_idxやintra_luma_non_angular_pred_flag、non_angular_idxは従来例の図2や実施の形態1の図13や図14のシンタックスにも同様にmpm_idxの前段に適用することもできる。
(実施の形態2の変形例1)
以下、実施の形態2の変形例1について説明する。実施の形態2では、予測モード候補リスト0は水平方向のイントラ予測モードとし、予測モード候補リスト1は垂直方向のイントラ予測モードとし、予測モード候補リストとイントラ予測モードに関するシンタックスの分類を一致させたが、これに限定されない。
予測モード候補リストは実施の形態1の予測モード候補リストのように、非角度イントラ予測モード、水平方向のイントラ予測モード、垂直方向のイントラ予測モードの全てを含んでいてもよい。
(実施の形態2の変形例2)
予測モード候補リストが水平方向のイントラ予測モードと垂直方向のイントラ予測モードのイントラ予測モードを含む場合について説明する。ただし、非角度イントラ予測モードは予測モード候補リストには含まれない。図19は、実施の形態2の変形例2のイントラ予測モードに関するシンタックスを説明する図である。イントラ予測モードに関するイントラ予測モードの符号化やイントラ予測モードの復号は図19のシンタックスに基づいて行われる。
prev_intra_luma_pred_flagが1であれば、非角度イントラ予測モードまたは予測モード候補リストから選択予測モードが選択される。非角度イントラ予測モードであるか否かを示すフラグが非角度イントラ予測モードであることを示す場合は、non_angular_idxで示される非角度イントラ予測モードが選択予測モードとして選択される。非角度イントラ予測モードであるか否かを示すフラグが非角度イントラ予測モードでないことを示す場合は、mpmインデックス(mpm_idx)が符号化(復号)されて、予測モード候補リストに含まれるmpm_idxで示されるイントラ予測モード候補が選択予測モードとして選択される。prev_intra_luma_pred_flagが0であれば、非角度イントラ予測モードでなく且つ予測モード候補リストに含まれないイントラ予測モードからrem_intra_luma_pred_modeで示されるイントラ予測モードが選択予測モードとして選択される。
図20は、実施の形態2の変形例2のイントラ予測モードに関する別のシンタックスを説明する図である。イントラ予測モードに関するイントラ予測モードの符号化やイントラ予測モードの復号は図20のシンタックスに基づいて行われる。
intra_luma_non_angular_pred_flagが1の場合は、non_angular_idxで示される非角度イントラ予測モードが選択予測モードとして選択される。intra_luma_non_angular_pred_flagが0で且つprev_intra_luma_pred_flagが1の場合は、予測モード候補リストに含まれるmpm_idxで示されるイントラ予測モード候補が選択予測モードとして選択される。intra_luma_non_angular_pred_flagが0で且つprev_intra_luma_pred_flagが0の場合は、非角度イントラ予測モードでなく且つ予測モード候補リストに含まれないイントラ予測モードからrem_intra_luma_pred_modeで示されるイントラ予測モードが選択予測モードとして選択される。
実施の形態2の変形例2では、rem_intra_luma_pred_modeは全てのイントラ予測モード35個からイントラ予測モード候補と非角度イントラ予測モードを除いた30個のイントラ予測モードを示すだけでよく、新たなイントラ予測モードを追加することで符号化効率を向上させることできる。ここで、新たなイントラ予測モードとして、例えば、予測モード9と予測モード10の間や予測モード10と予測モード11の間、予測モード25と予測モード26の間や予測モード26と予測モード27の間に新たな角度イントラ予測モードを設けても良い。また、図20では、非角度イントラ予測モードはintra_luma_non_angular_pred_flagとnon_angular_idxで符号化(復号)できるため、非角度イントラ予測モードの選択確率が他のイントラ予測モードよりも相対的に高い場合に処理効率と符号化効率が向上する。
(実施の形態2の変形例3)
続いて、予測モード候補リストが非角度イントラ予測モードのINTRA_DC、水平方向のイントラ予測モード、及び垂直方向のイントラ予測モードのイントラ予測モードを含む場合について説明する。ただし、INTRA_PLANARは予測モード候補リストには含まれない。実施の形態2では、非角度イントラ予測モードであるか否かを示すフラグ(intra_luma_non_angular_pred_flag)を符号化(復号)した。実施の形態2の変形例3では、非角度イントラ予測モードであるか否かを示すフラグをイントラ予測モードの中で最も選択確率の高いイントラ予測モードであるINTRA_PLANARであるか否かを示すフラグに限定して符号化(復号)する。選択予測モードがINTRA_PLANARである場合、non_angular_idxは符号化(復号)する必要はなく、INTRA_PLANARの符号化効率を改善できる。INTRA_PLANARであるか否かを示すフラグがINTRA_PLANARであることを示す場合は、INTRA_PLANARが選択予測モードとして選択される。図19では、INTRA_PLANARであるか否かを示すフラグがINTRA_PLANARでないことを示す場合は、mpm_idxが符号化(復号)されて、INTRA_PLANAR以外のイントラ予測モードが選択予測モードとして選択される。図20では、INTRA_PLANARであるか否かを示すフラグがINTRA_PLANARでないことを示す場合は、prev_intra_luma_pred_flag、mpm_idx等のインデックスが符号化(復号)されて、INTRA_PLANAR以外のイントラ予測モードが選択予測モードとして選択される。
実施の形態2の変形例3では、rem_intra_luma_pred_modeは全てのイントラ予測モード35個からイントラ予測モード候補とINTRA_PLANARを除いた31個のイントラ予測モードを示すだけでよく、新たなイントラ予測モードを追加することで符号化効率を向上させることできる。ここで、新たなイントラ予測モードとして、例えば、予測モード9と予測モード10の間や予測モード10と予測モード11の間、予測モード25と予測モード26の間や予測モード26と予測モード27の間に新たな角度イントラ予測モードを設けても良い。また、図20ではINTRA_PLANARはintra_luma_non_angular_pred_flagの1つのフラグだけで符号化できるため、INTRA_PLANARの選択確率が他のイントラ予測モードよりも相対的に高い場合に符号化効率と処理効率を最適化できる。また、図19ではINTRA_PLANARはprev_intra_luma_pred_flagとintra_luma_non_angular_pred_flagの2つのフラグで符号化できるため、INTRA_PLANARの選択確率が他のイントラ予測モードよりも相対的に高い場合に符号化効率と処理効率が向上する。
以上述べた実施の形態の画像符号化装置が出力する符号化ストリームは、実施の形態で用いられた符号化方法に応じて復号することができるように特定のデータフォーマットを有しており、画像符号化装置に対応する画像復号装置がこの特定のデータフォーマットの符号化ストリームを復号することができる。
画像符号化装置と画像復号装置の間で符号化ストリームをやりとりするために、有線または無線のネットワークが用いられる場合、符号化ストリームを通信路の伝送形態に適したデータ形式に変換して伝送してもよい。その場合、画像符号化装置が出力する符号化ストリームを通信路の伝送形態に適したデータ形式の符号化データに変換してネットワークに送信する画像送信装置と、ネットワークから符号化データを受信して符号化ストリームに復元して画像復号装置に供給する画像受信装置とが設けられる。
画像送信装置は、画像符号化装置が出力する符号化ストリームをバッファするメモリと、符号化ストリームをパケット化して符号化データとするパケット処理部と、パケット化された符号化データをネットワークを介して送信する送信部とを含む。画像受信装置は、パケット化された符号化データをネットワークを介して受信する受信部と、受信された符号化データをパケット処理して符号化ストリームとするパケット処理部と、符号化ストリームをバッファするメモリとを含み、バッファ内の符号化ストリームが画像復号装置に供給される。
また、画像復号装置で復号化された画像を表示する表示部を構成に追加することで、表示装置とすることも可能である。その場合、表示部は、画像復号装置で復号された復号画像信号を画面に表示する。
また、撮像部を構成に追加し、撮像した画像を画像符号化装置に入力することで、撮像装置とすることも可能である。その場合、撮像部は、撮像した画像信号をブロックサイズ決定部110に入力する。
以上の符号化及び復号に関する処理は、ハードウェアを用いた伝送、蓄積、受信装置として実現することができるのは勿論のこと、ROM(リード・オンリ・メモリ)やフラッシュメモリ等に記憶されているファームウェアや、コンピュータ等のソフトウェアによっても実現することができる。そのファームウェアプログラム、ソフトウェアプログラムをコンピュータ等で読み取り可能な記録媒体に記録して提供することも、有線あるいは無線のネットワークを通してサーバから提供することも、地上波あるいは衛星ディジタル放送のデータ放送として提供することも可能である。
以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。また、複数の実施の形態と変形例を記載したが、それぞれの実施形態や変形例をどのように組み合わせてもよい。
なお、実施の形態は、以下の項目によって特定されてもよい。
[項目1]
予測対象ブロックに隣接するブロックのイントラ予測モードから第1のイントラ予測モード候補リストと第2のイントラ予測モード候補リストを生成する予測モード候補生成部(122)と、
前記第1のイントラ予測モード候補リストと前記第2のイントラ予測モード候補リストからそれぞれ第1のイントラ予測モードと第2のイントラ予測モードを選択する予測モード選択部(123)と、
前記第1のイントラ予測モードに基づいて前記予測対象ブロックに隣接する符号化済みの画素から第1の予測値を算出し、前記第2のイントラ予測モードに基づいて前記予測対象ブロックに隣接する符号化済みの画素から第2の予測値を算出する予測値算出部(124)と、
前記第1の予測値と第2の予測値をもとに第3の予測値を算出する予測値重みづけ部(125)と、
を有することを特徴とする画像符号化装置(100)。
[項目2]
前記予測値重みづけ部(125)は、前記第1の予測値と第2の予測値を単純平均または加重平均して前記第3の予測値を算出することを特徴とする項目1に記載の画像符号化装置(100)。
[項目3]
前記予測モード候補生成部(122)は、イントラ予測モードの数が2であれば前記第2のイントラ予測モード候補リストを生成し、イントラ予測モードの数が1であれば前記第2のイントラ予測モード候補リストを生成せず、
前記予測モード選択部(123)は、イントラ予測モードの数が2であれば前記第2のイントラ予測モードを選択し、イントラ予測モードの数が1であれば前記第2のイントラ予測モードを選択せず、
前記予測値算出部(124)は、イントラ予測モードの数が2であれば第2の予測値を算出し、イントラ予測モードの数が1であれば第2の予測値を算出せず、
前記予測値重みづけ部(125)は、イントラ予測モードの数が2であれば前記第1の予測値と第2の予測値をもとに第3の予測値を算出し、イントラ予測モードの数が1であれば、前記第1の予測値をそのまま予測値とすることを特徴とする項目1または2に記載の画像符号化装置(100)。
[項目4]
前記予測対象ブロックの幅が所定の閾幅以上で且つ前記予測対象ブロックの高さが所定の閾高以上であれば、イントラ予測モードの数を2とし、前記予測対象ブロックの幅が所定の閾幅以上で且つ前記予測対象ブロックの高さが所定の閾高以上でなければ、イントラ予測モードの数を1とするモード数判定部(121)をさらに有することを特徴とする項目3に記載の画像符号化装置(100)。
[項目5]
前記モード数判定部(121)は、前記第1のイントラ予測モードが非角度イントラ予測モードのとき、イントラ予測モードの数を1とすることを特徴とする項目4に記載の画像符号化装置(100)。
[項目6]
イントラ予測モードの数が2のとき、前記第2のイントラ予測モードの情報を符号列として符号化する符号化部(140)をさらに有することを特徴とする項目3から5のいずれか1項に記載の画像符号化装置(100)。
[項目7]
前記予測対象ブロックに隣接する符号化済みの画素を用いてイントラ予測を行う複数のイントラ予測モードを、非角度イントラ予測モードと角度イントラ予測モードに分類して、前記非角度イントラ予測モードのシンタックス要素と前記角度イントラ予測モードのシンタックス要素に分割して符号列を生成する符号化部(140)をさらに有することを特徴とする項目1から5のいずれか1項に記載の画像符号化装置(100)。
[項目8]
前記予測対象ブロックに隣接するブロックの前記第1のイントラ予測モードと前記第2のイントラ予測モードを、前記予測対象ブロックの前記第1のイントラ予測モードと前記第2のイントラ予測モードとして取得し、1つのシンタックス要素に符号化する符号化部(140)をさらに有することを特徴とする項目1から4のいずれか1項に記載の画像符号化装置(100)。
[項目9]
予測対象ブロックに隣接するブロックのイントラ予測モードから第1のイントラ予測モード候補リストと第2のイントラ予測モード候補リストを生成する予測モード候補ステップと、
前記第1のイントラ予測モード候補リストと前記第2のイントラ予測モード候補リストからそれぞれ第1のイントラ予測モードと第2のイントラ予測モードを選択する予測モード選択ステップと、
前記第1のイントラ予測モードに基づいて前記予測対象ブロックに隣接する符号化済みの画素から第1の予測値を算出し、前記第2のイントラ予測モードに基づいて前記予測対象ブロックに隣接する符号化済みの画素から第2の予測値を算出する予測値算出ステップと、
前記第1の予測値と第2の予測値をもとに第3の予測値を算出する予測値重みづけステップと、
を有することを特徴とする画像符号化方法。
[項目10]
予測対象ブロックに隣接するブロックのイントラ予測モードから第1のイントラ予測モード候補リストと第2のイントラ予測モード候補リストを生成する予測モード候補ステップと、
前記第1のイントラ予測モード候補リストと前記第2のイントラ予測モード候補リストからそれぞれ第1のイントラ予測モードと第2のイントラ予測モードを選択する予測モード選択ステップと、
前記第1のイントラ予測モードに基づいて前記予測対象ブロックに隣接する符号化済みの画素から第1の予測値を算出し、前記第2のイントラ予測モードに基づいて前記予測対象ブロックに隣接する符号化済みの画素から第2の予測値を算出する予測値算出ステップと、
前記第1の予測値と第2の予測値をもとに第3の予測値を算出する予測値重みづけステップと、
をコンピュータに実行させることを特徴とする画像符号化プログラム。
[項目11]
予測対象ブロックに隣接する符号化済みの画素を用いてイントラ予測を行うイントラ予測モードが複数定義された画像符号化装置(100)であって、
前記複数のイントラ予測モードを非角度イントラ予測モードと角度イントラ予測モードに分類して、前記非角度イントラ予測モードのシンタックス要素と前記角度イントラ予測モードのシンタックス要素に分割して符号列を生成する符号化部(140)を有することを特徴とする画像符号化装置(100)。
[項目12]
予測対象ブロックに隣接する符号化済みの画素を用いてイントラ予測を行うイントラ予測モードが複数定義された画像符号化方法であって、
前記複数のイントラ予測モードを非角度イントラ予測モードと角度イントラ予測モードに分類して、前記非角度イントラ予測モードのシンタックス要素と前記角度イントラ予測モードのシンタックス要素に分割して符号列を生成する符号化ステップを有することを特徴とする画像符号化方法。
[項目13]
予測対象ブロックに隣接する符号化済みの画素を用いてイントラ予測を行うイントラ予測モードが複数定義された画像符号化プログラムであって、
前記複数のイントラ予測モードを非角度イントラ予測モードと角度イントラ予測モードに分類して、前記非角度イントラ予測モードのシンタックス要素と前記角度イントラ予測モードのシンタックス要素に分割して符号列を生成する符号化ステップをコンピュータに実行させることを特徴とする画像符号化プログラム。
[項目14]
予測対象ブロックに隣接する符号化済みの画素を用いてイントラ予測を行うイントラ予測モードが複数定義された画像符号化装置(100)であって、
予測対象ブロックに隣接するブロックの第1のイントラ予測モードと第2のイントラ予測モードを前記予測対象ブロックの第1のイントラ予測モードと第2のイントラ予測モードとして取得し、1つのシンタックス要素に符号化する符号化部(140)を有することを特徴とする画像符号化装置(100)。
[項目15]
予測対象ブロックに隣接する符号化済みの画素を用いてイントラ予測を行うイントラ予測モードが複数定義された画像符号化方法であって、
予測対象ブロックに隣接するブロックの第1のイントラ予測モードと第2のイントラ予測モードを前記予測対象ブロックの第1のイントラ予測モードと第2のイントラ予測モードとして取得し、1つのシンタックス要素に符号化する符号化ステップを有することを特徴とする画像符号化方法。
[項目16]
予測対象ブロックに隣接する符号化済みの画素を用いてイントラ予測を行うイントラ予測モードが複数定義された画像符号化プログラムであって、
予測対象ブロックに隣接するブロックの第1のイントラ予測モードと第2のイントラ予測モードを前記予測対象ブロックの第1のイントラ予測モードと第2のイントラ予測モードとして取得し、1つのシンタックス要素に符号化する符号化ステップをコンピュータに実行させることを特徴とする画像符号化プログラム。
[項目17]
予測対象ブロックに隣接するブロックのイントラ予測モードから第1のイントラ予測モード候補リストと第2のイントラ予測モード候補リストを生成する予測モード候補生成部(122)と、
前記第1のイントラ予測モードの符号列から第1のイントラ予測モードを選択し、前記第2のイントラ予測モードの符号列から第2のイントラ予測モードを選択する予測モード選択部(123)と、
前記第1のイントラ予測モードに基づいて前記予測対象ブロックに隣接する復号済みの画素から第1の予測値を算出し、前記第2のイントラ予測モードに基づいて前記予測対象ブロックに隣接する復号済みの画素から第2の予測値を算出する予測値算出部(124)と、
前記第1の予測値と第2の予測値をもとに第3の予測値を算出する予測値重みづけ部(125)と、
を有することを特徴とする画像復号装置(200)。
[項目18]
前記予測値重みづけ部(125)は、前記第1の予測値と第2の予測値を単純平均または加重平均して前記第3の予測値を算出することを特徴とする項目17に記載の画像復号装置(200)。
[項目19]
前記予測モード候補生成部(122)は、イントラ予測モードの数が2であれば前記第2のイントラ予測モード候補リストを生成し、イントラ予測モードの数が1であれば前記第2のイントラ予測モード候補リストを生成せず、
前記予測モード選択部(123)は、イントラ予測モードの数が2であれば前記第2のイントラ予測モードを選択し、イントラ予測モードの数が1であれば前記第2のイントラ予測モードを選択せず、
前記予測値算出部(124)は、イントラ予測モードの数が2であれば第2の予測値を算出し、イントラ予測モードの数が1であれば第2の予測値を算出せず、
前記予測値重みづけ部(125)は、イントラ予測モードの数が2であれば前記第1の予測値と第2の予測値をもとに第3の予測値を算出し、イントラ予測モードの数が1であれば、前記第1の予測値をそのまま予測値とすることを特徴とする項目17または18に記載の画像復号装置(200)。
[項目20]
前記予測対象ブロックの幅が所定の閾幅以上で且つ前記予測対象ブロックの高さが所定の閾高以上であれば、イントラ予測モードの数を2とし、前記予測対象ブロックの幅が所定の閾幅以上で且つ前記予測対象ブロックの高さが所定の閾高以上でなければ、イントラ予測モードの数を1とするモード数判定部(121)をさらに有することを特徴とする項目19に記載の画像復号装置(200)。
[項目21]
前記モード数判定部(121)は、前記第1のイントラ予測モードが非角度イントラ予測モードのとき、イントラ予測モードの数を1とすることを特徴とする項目20に記載の画像復号装置(200)。
[項目22]
イントラ予測モードの数が2のとき、前記第2のイントラ予測モードの符号列を復号する復号部(210)をさらに有することを特徴とする項目17から21のいずれか1項に記載の画像復号装置(200)。
[項目23]
前記予測対象ブロックに隣接する復号済みの画素を用いてイントラ予測を行う複数のイントラ予測モードを、非角度イントラ予測モードと角度イントラ予測モードに分類して、前記非角度イントラ予測モードのシンタックス要素と前記角度イントラ予測モードのシンタックス要素に分割して生成された符号列を復号する復号部(210)をさらに有することを特徴とする項目17から21のいずれか1項に記載の画像復号装置(200)。
[項目24]
前記予測対象ブロックに隣接するブロックの前記第1のイントラ予測モードと前記第2のイントラ予測モードを、前記予測対象ブロックの前記第1のイントラ予測モードと前記第2のイントラ予測モードとして取得し、1つのシンタックス要素に符号化された符号列を復号する復号部(210)をさらに有することを特徴とする項目17から21のいずれか1項に記載の画像復号装置(200)。
[項目25]
予測対象ブロックに隣接するブロックのイントラ予測モードから第1のイントラ予測モード候補リストと第2のイントラ予測モード候補リストを生成する予測モード候補生成ステップと、
前記第1のイントラ予測モードの符号列から第1のイントラ予測モードを選択し、前記第2のイントラ予測モードの符号列から第2のイントラ予測モードを選択する予測モード選択ステップと、
前記第1のイントラ予測モードに基づいて前記予測対象ブロックに隣接する復号済みの画素から第1の予測値を算出し、前記第2のイントラ予測モードに基づいて前記予測対象ブロックに隣接する復号済みの画素から第2の予測値を算出する予測値算出ステップと、
前記第1の予測値と第2の予測値をもとに第3の予測値を算出する予測値重みづけステップと、
を有することを特徴とする画像復号方法。
[項目26]
予測対象ブロックに隣接するブロックのイントラ予測モードから第1のイントラ予測モード候補リストと第2のイントラ予測モード候補リストを生成する予測モード候補生成ステップと、
前記第1のイントラ予測モードの符号列から第1のイントラ予測モードを選択し、前記第2のイントラ予測モードの符号列から第2のイントラ予測モードを選択する予測モード選択ステップと、
前記第1のイントラ予測モードに基づいて前記予測対象ブロックに隣接する復号済みの画素から第1の予測値を算出し、前記第2のイントラ予測モードに基づいて前記予測対象ブロックに隣接する復号済みの画素から第2の予測値を算出する予測値算出ステップと、
前記第1の予測値と第2の予測値をもとに第3の予測値を算出する予測値重みづけステップと、
をコンピュータに実行させることを特徴とする画像復号プログラム。
[項目27]
予測対象ブロックに隣接する復号済みの画素を用いてイントラ予測を行うイントラ予測モードが複数定義された画像復号装置(200)であって、
前記複数のイントラ予測モードを非角度イントラ予測モードと角度イントラ予測モードに分類して、前記非角度イントラ予測モードのシンタックス要素と前記角度イントラ予測モードのシンタックス要素に分割して生成された符号列を復号する復号部(210)を有することを特徴とする画像復号装置(200)。
[項目28]
予測対象ブロックに隣接する復号済みの画素を用いてイントラ予測を行うイントラ予測モードが複数定義された画像復号方法であって、
前記複数のイントラ予測モードを非角度イントラ予測モードと角度イントラ予測モードに分類して、前記非角度イントラ予測モードのシンタックス要素と前記角度イントラ予測モードのシンタックス要素に分割して生成された符号列を復号する復号ステップを有することを特徴とする画像復号方法。
[項目29]
予測対象ブロックに隣接する復号済みの画素を用いてイントラ予測を行うイントラ予測モードが複数定義された画像復号プログラムであって、
前記複数のイントラ予測モードを非角度イントラ予測モードと角度イントラ予測モードに分類して、前記非角度イントラ予測モードのシンタックス要素と前記角度イントラ予測モードのシンタックス要素に分割して生成された符号列を復号する復号化ステップをコンピュータに実行させることを特徴とする画像復号プログラム。
[項目30]
予測対象ブロックに隣接する復号済みの画素を用いてイントラ予測を行うイントラ予測モードが複数定義された画像復号装置(200)であって、
予測対象ブロックに隣接するブロックの第1のイントラ予測モードと第2のイントラ予測モードを前記予測対象ブロックの第1のイントラ予測モードと第2のイントラ予測モードとして取得し、1つのシンタックス要素に符号化された符号列を復号する復号部(210)を有することを特徴とする画像復号装置(200)。
[項目31]
予測対象ブロックに隣接する復号済みの画素を用いてイントラ予測を行うイントラ予測モードが複数定義された画像復号方法であって、
予測対象ブロックに隣接するブロックの第1のイントラ予測モードと第2のイントラ予測モードを前記予測対象ブロックの第1のイントラ予測モードと第2のイントラ予測モードとして取得し、1つのシンタックス要素に符号化された符号列を復号する復号ステップを有することを特徴とする画像復号方法。
[項目32]
予測対象ブロックに隣接する復号済みの画素を用いてイントラ予測を行うイントラ予測モードが複数定義された画像復号プログラムであって、
予測対象ブロックに隣接するブロックの第1のイントラ予測モードと第2のイントラ予測モードを前記予測対象ブロックの第1のイントラ予測モードと第2のイントラ予測モードとして取得し、1つのシンタックス要素に符号化された符号列を復号する復号ステップをコンピュータに実行させることを特徴とする画像復号プログラム。
100 画像符号化装置、 110 ブロックサイズ決定部、 120 イントラ予測選択部、 130 変換部、 140 符号化部、 200 画像復号装置、 210 復号部、 220 ブロックサイズ取得部、 230 イントラ予測部、 240 逆変換部。

Claims (6)

  1. 予測対象ブロックに隣接するブロックのイントラ予測モードに基づいて第1のイントラ予測モード候補リストと第2のイントラ予測モード候補リストを生成する予測モード候補生成部と、
    前記予測対象ブロックのイントラ予測モードが前記第1のイントラ予測モード候補リストに含まれるか否かを示す第1のフラグを復号し、前記第1のフラグが真であれば、第1の候補特定インデックスを復号し、前記第1のフラグが偽であれば、前記予測対象ブロックのイントラ予測モードが前記第2のイントラ予測モード候補リストに含まれるか否かを示す第2のフラグを復号し、前記第2のフラグが真であれば、第2の候補特定インデックスを復号し、前記第2のフラグが偽であれば、前記予測対象ブロックのイントラ予測モードを示す情報を復号する復号部と、
    前記第1のフラグが真であれば、前記第1の候補特定インデックスに基づいて前記第1のイントラ予測モード候補リストから前記予測対象ブロックのイントラ予測モードを選択し、前記第2のフラグが真であれば、前記第2の候補特定インデックスに基づいて前記第2のイントラ予測モード候補リストから前記予測対象ブロックのイントラ予測モードを選択し、前記第2のフラグが偽であれば、前記イントラ予測モードを示す情報に基づいて前記予測対象ブロックのイントラ予測モードを選択する予測モード選択部と、
    前記予測対象ブロックのイントラ予測モードに基づいて前記予測対象ブロックに隣接する復号済みの画素から前記予測対象ブロックの予測値を算出する予測値算出部とを有し、
    前記予測モード候補生成部は、前記第1のイントラ予測モード候補リストに含まれる候補と隣接する角度のイントラ予測モードを前記第2のイントラ予測モード候補リストに含めることを特徴とする画像復号装置。
  2. 予測対象ブロックに隣接するブロックのイントラ予測モードに基づいて第1のイントラ予測モード候補リストと第2のイントラ予測モード候補リストを生成する予測モード候補生成ステップと、
    前記予測対象ブロックのイントラ予測モードが前記第1のイントラ予測モード候補リストに含まれるか否かを示す第1のフラグを復号し、前記第1のフラグが真であれば、第1の候補特定インデックスを復号し、前記第1のフラグが偽であれば、前記予測対象ブロックのイントラ予測モードが前記第2のイントラ予測モード候補リストに含まれるか否かを示す第2のフラグを復号し、前記第2のフラグが真であれば、第2の候補特定インデックスを復号し、前記第2のフラグが偽であれば、前記予測対象ブロックのイントラ予測モードを示す情報を復号する復号ステップと、
    前記第1のフラグが真であれば、前記第1の候補特定インデックスに基づいて前記第1のイントラ予測モード候補リストから前記予測対象ブロックのイントラ予測モードを選択し、前記第2のフラグが真であれば、前記第2の候補特定インデックスに基づいて前記第2のイントラ予測モード候補リストから前記予測対象ブロックのイントラ予測モードを選択し、前記第2のフラグが偽であれば、前記イントラ予測モードを示す情報に基づいて前記予測対象ブロックのイントラ予測モードを選択する予測モード選択ステップと、
    前記予測対象ブロックのイントラ予測モードに基づいて前記予測対象ブロックに隣接する復号済みの画素から前記予測対象ブロックの予測値を算出する予測値算出ステップとを有し、
    前記予測モード候補生成ステップは、前記第1のイントラ予測モード候補リストに含まれる候補と隣接する角度のイントラ予測モードを前記第2のイントラ予測モード候補リストに含めることを特徴とする画像復号方法。
  3. 予測対象ブロックに隣接するブロックのイントラ予測モードに基づいて第1のイントラ予測モード候補リストと第2のイントラ予測モード候補リストを生成する予測モード候補生成ステップと、
    前記予測対象ブロックのイントラ予測モードが前記第1のイントラ予測モード候補リストに含まれるか否かを示す第1のフラグを復号し、前記第1のフラグが真であれば、第1の候補特定インデックスを復号し、前記第1のフラグが偽であれば、前記予測対象ブロックのイントラ予測モードが前記第2のイントラ予測モード候補リストに含まれるか否かを示す第2のフラグを復号し、前記第2のフラグが真であれば、第2の候補特定インデックスを復号し、前記第2のフラグが偽であれば、前記予測対象ブロックのイントラ予測モードを示す情報を復号する復号ステップと、
    前記第1のフラグが真であれば、前記第1の候補特定インデックスに基づいて前記第1のイントラ予測モード候補リストから前記予測対象ブロックのイントラ予測モードを選択し、前記第2のフラグが真であれば、前記第2の候補特定インデックスに基づいて前記第2のイントラ予測モード候補リストから前記予測対象ブロックのイントラ予測モードを選択し、前記第2のフラグが偽であれば、前記イントラ予測モードを示す情報に基づいて前記予測対象ブロックのイントラ予測モードを選択する予測モード選択ステップと、
    前記予測対象ブロックのイントラ予測モードに基づいて前記予測対象ブロックに隣接する復号済みの画素から前記予測対象ブロックの予測値を算出する予測値算出ステップとをコンピュータに実行させ、
    前記予測モード候補生成ステップは、前記第1のイントラ予測モード候補リストに含まれる候補と隣接する角度のイントラ予測モードを前記第2のイントラ予測モード候補リストに含めることを特徴とする画像復号プログラム。
  4. 予測対象ブロックに隣接するブロックのイントラ予測モードに基づいて第1のイントラ予測モード候補リストと第2のイントラ予測モード候補リストを生成する予測モード候補生成部と、
    前記予測対象ブロックのイントラ予測モードが前記第1のイントラ予測モード候補リストに含まれる場合、第1のフラグを真として符号化するとともに第1の候補特定インデックスを符号化し、前記予測対象ブロックのイントラ予測モードが前記第1のイントラ予測モード候補リストに含まれない場合、第1のフラグを偽として符号化するとともに前記予測対象ブロックのイントラ予測モードが前記第2のイントラ予測モード候補リストに含まれるか否かを示す第2のフラグを符号化し、前記第2のフラグが真であれば第2の候補特定インデックスを符号化し、前記第2のフラグが偽であれば、前記予測対象ブロックのイントラ予測モードを示す情報を符号化する符号化部と、
    前記第1のフラグが真であれば、前記第1の候補特定インデックスに基づいて前記第1のイントラ予測モード候補リストから前記予測対象ブロックのイントラ予測モードを選択し、前記第2のフラグが真であれば、前記第2の候補特定インデックスに基づいて前記第2のイントラ予測モード候補リストから前記予測対象ブロックのイントラ予測モードを選択し、前記第2のフラグが偽であれば、前記イントラ予測モードを示す情報に基づいて前記予測対象ブロックのイントラ予測モードを選択する予測モード選択部と、
    前記予測対象ブロックのイントラ予測モードに基づいて前記予測対象ブロックに隣接する符号化済みの画素から前記予測対象ブロックの予測値を算出する予測値算出部とを有し、
    前記予測モード候補生成部は、前記第1のイントラ予測モード候補リストに含まれる候補と隣接する角度のイントラ予測モードを前記第2のイントラ予測モード候補リストに含めることを特徴とする画像符号化装置。
  5. 予測対象ブロックに隣接するブロックのイントラ予測モードに基づいて第1のイントラ予測モード候補リストと第2のイントラ予測モード候補リストを生成する予測モード候補生成ステップと、
    前記予測対象ブロックのイントラ予測モードが前記第1のイントラ予測モード候補リストに含まれる場合、第1のフラグを真として符号化するとともに第1の候補特定インデックスを符号化し、前記予測対象ブロックのイントラ予測モードが前記第1のイントラ予測モード候補リストに含まれない場合、第1のフラグを偽として符号化するとともに前記予測対象ブロックのイントラ予測モードが前記第2のイントラ予測モード候補リストに含まれるか否かを示す第2のフラグを符号化し、前記第2のフラグが真であれば第2の候補特定インデックスを符号化し、前記第2のフラグが偽であれば、前記予測対象ブロックのイントラ予測モードを示す情報を符号化する符号化ステップと、
    前記第1のフラグが真であれば、前記第1の候補特定インデックスに基づいて前記第1のイントラ予測モード候補リストから前記予測対象ブロックのイントラ予測モードを選択し、前記第2のフラグが真であれば、前記第2の候補特定インデックスに基づいて前記第2のイントラ予測モード候補リストから前記予測対象ブロックのイントラ予測モードを選択し、前記第2のフラグが偽であれば、前記イントラ予測モードを示す情報に基づいて前記予測対象ブロックのイントラ予測モードを選択する予測モード選択ステップと、
    前記予測対象ブロックのイントラ予測モードに基づいて前記予測対象ブロックに隣接する符号化済みの画素から前記予測対象ブロックの予測値を算出する予測値算出ステップとを有し、
    前記予測モード候補生成ステップは、前記第1のイントラ予測モード候補リストに含まれる候補と隣接する角度のイントラ予測モードを前記第2のイントラ予測モード候補リストに含めることを特徴とする画像符号化方法。
  6. 予測対象ブロックに隣接するブロックのイントラ予測モードに基づいて第1のイントラ予測モード候補リストと第2のイントラ予測モード候補リストを生成する予測モード候補生成ステップと、
    前記予測対象ブロックのイントラ予測モードが前記第1のイントラ予測モード候補リストに含まれる場合、第1のフラグを真として符号化するとともに第1の候補特定インデックスを符号化し、前記予測対象ブロックのイントラ予測モードが前記第1のイントラ予測モード候補リストに含まれない場合、第1のフラグを偽として符号化するとともに前記予測対象ブロックのイントラ予測モードが前記第2のイントラ予測モード候補リストに含まれるか否かを示す第2のフラグを符号化し、前記第2のフラグが真であれば第2の候補特定インデックスを符号化し、前記第2のフラグが偽であれば、前記予測対象ブロックのイントラ予測モードを示す情報を符号化する符号化ステップと、
    前記第1のフラグが真であれば、前記第1の候補特定インデックスに基づいて前記第1のイントラ予測モード候補リストから前記予測対象ブロックのイントラ予測モードを選択し、前記第2のフラグが真であれば、前記第2の候補特定インデックスに基づいて前記第2のイントラ予測モード候補リストから前記予測対象ブロックのイントラ予測モードを選択し、前記第2のフラグが偽であれば、前記イントラ予測モードを示す情報に基づいて前記予測対象ブロックのイントラ予測モードを選択する予測モード選択ステップと、
    前記予測対象ブロックのイントラ予測モードに基づいて前記予測対象ブロックに隣接する符号化済みの画素から前記予測対象ブロックの予測値を算出する予測値算出ステップとをコンピュータに実行させ、
    前記予測モード候補生成ステップは、前記第1のイントラ予測モード候補リストに含まれる候補と隣接する角度のイントラ予測モードを前記第2のイントラ予測モード候補リストに含めることを特徴とする画像符号化プログラム。
JP2019166981A 2018-09-28 2019-09-13 画像復号装置、画像復号方法、及び画像復号プログラム Active JP6874804B2 (ja)

Priority Applications (9)

Application Number Priority Date Filing Date Title
BR112021005523-1A BR112021005523A2 (pt) 2018-09-28 2019-09-13 dispositivo de decodificação de imagem, método de decodificação de imagem, e programa de decodificação de imagem
KR1020217003082A KR102702123B1 (ko) 2018-09-28 2019-09-13 화상 복호 장치, 화상 복호 방법, 화상 복호 프로그램, 화상 부호화 장치, 화상 부호화 방법 및, 화상 부호화 프로그램
RU2021107682A RU2768956C1 (ru) 2018-09-28 2019-09-13 Устройство декодирования изображения, способ декодирования изображения, устройство кодирования изображения и способ кодирования изображения
PCT/JP2019/036141 WO2020066702A1 (ja) 2018-09-28 2019-09-13 画像復号装置、画像復号方法、及び画像復号プログラム
MX2021003467A MX2021003467A (es) 2018-09-28 2019-09-13 Dispositivo de decodificacion de imagenes, metodo de decodificacion de imagenes y programa de decodificacion de imagenes.
US17/207,987 US20210211651A1 (en) 2018-09-28 2021-03-22 Picture decoding device, picture decoding method, and picture decoding program, and picture coding device, picture coding method, and picture coding program
JP2021069712A JP7160135B2 (ja) 2018-09-28 2021-04-16 画像符号化装置、画像符号化方法及び画像符号化プログラム、並びに画像復号装置、画像復号方法、及び画像復号プログラム
JP2022163084A JP7494886B2 (ja) 2018-09-28 2022-10-11 画像符号化装置、画像符号化方法及び画像符号化プログラム、並びに画像復号装置、画像復号方法、及び画像復号プログラム
JP2024083990A JP2024109817A (ja) 2018-09-28 2024-05-23 画像符号化装置、画像符号化方法及び画像符号化プログラム、並びに画像復号装置、画像復号方法、及び画像復号プログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018183954 2018-09-28
JP2018183954 2018-09-28

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2021069712A Division JP7160135B2 (ja) 2018-09-28 2021-04-16 画像符号化装置、画像符号化方法及び画像符号化プログラム、並びに画像復号装置、画像復号方法、及び画像復号プログラム

Publications (3)

Publication Number Publication Date
JP2020058025A JP2020058025A (ja) 2020-04-09
JP2020058025A5 JP2020058025A5 (ja) 2021-03-25
JP6874804B2 true JP6874804B2 (ja) 2021-05-19

Family

ID=70107875

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2019166981A Active JP6874804B2 (ja) 2018-09-28 2019-09-13 画像復号装置、画像復号方法、及び画像復号プログラム
JP2021069712A Active JP7160135B2 (ja) 2018-09-28 2021-04-16 画像符号化装置、画像符号化方法及び画像符号化プログラム、並びに画像復号装置、画像復号方法、及び画像復号プログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2021069712A Active JP7160135B2 (ja) 2018-09-28 2021-04-16 画像符号化装置、画像符号化方法及び画像符号化プログラム、並びに画像復号装置、画像復号方法、及び画像復号プログラム

Country Status (6)

Country Link
US (1) US20210211651A1 (ja)
EP (1) EP3860122B1 (ja)
JP (2) JP6874804B2 (ja)
KR (1) KR102702123B1 (ja)
CN (2) CN112887719B (ja)
BR (1) BR112021005523A2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
MX2021003467A (es) * 2018-09-28 2021-06-18 Jvckenwood Corp Dispositivo de decodificacion de imagenes, metodo de decodificacion de imagenes y programa de decodificacion de imagenes.
JP6974377B2 (ja) * 2019-03-11 2021-12-01 Kddi株式会社 画像復号装置、画像復号方法及びプログラム
CN111741299B (zh) * 2020-07-09 2022-03-25 腾讯科技(深圳)有限公司 帧内预测模式的选择方法、装置、设备及存储介质
WO2022260339A1 (ko) * 2021-06-08 2022-12-15 현대자동차주식회사 비디오 부호화/복호화 방법 및 장치
WO2023122969A1 (zh) * 2021-12-28 2023-07-06 Oppo广东移动通信有限公司 帧内预测方法、设备、系统、及存储介质

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110249741A1 (en) * 2010-04-09 2011-10-13 Jie Zhao Methods and Systems for Intra Prediction
US8902978B2 (en) * 2010-05-30 2014-12-02 Lg Electronics Inc. Enhanced intra prediction mode signaling
PL3125556T3 (pl) 2010-08-17 2019-03-29 M&K Holdings Inc. Sposób kodowania trybu intra-predykcji
KR101538248B1 (ko) * 2010-12-17 2015-07-20 미쓰비시덴키 가부시키가이샤 화상 부호화 장치
AU2015202844B2 (en) * 2011-01-12 2016-03-17 Ntt Docomo, Inc. Image predict coding method, image predict coding device, image predict coding program, image predict decoding method, image predict decoding device, and image predict decoding program
KR101955051B1 (ko) * 2011-06-13 2019-03-06 선 페이턴트 트러스트 화상 복호 방법, 화상 부호화 방법, 화상 복호 장치, 화상 부호화 장치 및 화상 부호화 복호 장치
JP2013141075A (ja) * 2011-12-28 2013-07-18 Jvc Kenwood Corp 画像符号化装置、画像符号化方法及び画像符号化プログラム
CN109889830B (zh) * 2012-01-13 2023-08-08 夏普株式会社 图像解码装置及方法、图像编码装置及方法
US10666936B2 (en) * 2015-12-17 2020-05-26 Samsung Electronics Co., Ltd. Video decoding method and video decoding apparatus using merge candidate list
EP3453173B1 (en) * 2016-05-05 2021-08-25 InterDigital Madison Patent Holdings, SAS Control-point based intra direction representation for intra coding
US11722677B2 (en) * 2016-05-06 2023-08-08 Interdigital Madison Patent Holdings, Sas Method and system for decoder-side intra mode derivation for block-based video coding
US10547854B2 (en) * 2016-05-13 2020-01-28 Qualcomm Incorporated Neighbor based signaling of intra prediction modes
US10230961B2 (en) * 2016-06-03 2019-03-12 Mediatek Inc. Method and apparatus for template-based intra prediction in image and video coding
EP3910954A1 (en) * 2016-08-26 2021-11-17 SHARP Kabushiki Kaisha Image decoding apparatus, image coding apparatus
WO2018066863A1 (ko) * 2016-10-04 2018-04-12 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
US10506228B2 (en) * 2016-10-04 2019-12-10 Qualcomm Incorporated Variable number of intra modes for video coding
JP2019216294A (ja) * 2016-10-14 2019-12-19 シャープ株式会社 エントロピー復号装置、エントロピー符号化装置、画像復号装置および画像符号化装置
CN116781899A (zh) * 2016-10-28 2023-09-19 韩国电子通信研究院 视频编码/解码方法和设备以及存储比特流的记录介质

Also Published As

Publication number Publication date
JP2021114781A (ja) 2021-08-05
JP2020058025A (ja) 2020-04-09
BR112021005523A2 (pt) 2021-06-29
US20210211651A1 (en) 2021-07-08
CN112887719B (zh) 2022-03-15
EP3860122B1 (en) 2024-03-27
CN112887719A (zh) 2021-06-01
EP3860122A1 (en) 2021-08-04
CN112514378A (zh) 2021-03-16
KR20210022755A (ko) 2021-03-03
KR102702123B1 (ko) 2024-09-02
JP7160135B2 (ja) 2022-10-25
EP3860122A4 (en) 2021-12-01

Similar Documents

Publication Publication Date Title
JP6874804B2 (ja) 画像復号装置、画像復号方法、及び画像復号プログラム
US20230135855A1 (en) Method and apparatus for processing a video signal
KR20220044923A (ko) 인트라 예측 모드 부호화/복호화 방법 및 컴퓨터로 읽을 수 있는 기록 매체
JP5167233B2 (ja) 動きベクトル符号化方法、装置およびデータ記憶媒体
WO2013109066A1 (ko) 화면 내 예측 모드 매핑 방법 및 이러한 방법을 사용하는 장치
JP2014531851A (ja) 制限されたオフセット補償及びループフィルタに基づく映像符号化及び復号化方法、並びにその装置
JP2007074726A (ja) 映像のイントラ予測符号化及び復号化方法、並びに装置
KR20120129726A (ko) 인트라 예측 모드 복호화 방법 및 복호화 장치
US20150010069A1 (en) Intra video coding in error prone environments
JP7494886B2 (ja) 画像符号化装置、画像符号化方法及び画像符号化プログラム、並びに画像復号装置、画像復号方法、及び画像復号プログラム
CN114885160A (zh) 视频编解码方法、装置、计算机可读介质及电子设备
EP4322528A1 (en) Image encoding/decoding method and device for performing prediction of image on basis of multiple intra predictions, and method for transmitting bitstream
EP4309365A1 (en) Coding enhancement in cross-component sample adaptive offset
JP2007208543A (ja) 動画像符号化装置
JP2021192513A (ja) 画像復号装置、画像復号方法、及び画像復号プログラム
JP2014239504A (ja) 復号化装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210201

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210201

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20210201

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20210311

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210323

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210405

R150 Certificate of patent or registration of utility model

Ref document number: 6874804

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150