JP2024069447A - 画像処理装置及び画像処理方法 - Google Patents

画像処理装置及び画像処理方法 Download PDF

Info

Publication number
JP2024069447A
JP2024069447A JP2024039571A JP2024039571A JP2024069447A JP 2024069447 A JP2024069447 A JP 2024069447A JP 2024039571 A JP2024039571 A JP 2024039571A JP 2024039571 A JP2024039571 A JP 2024039571A JP 2024069447 A JP2024069447 A JP 2024069447A
Authority
JP
Japan
Prior art keywords
image
unit
prediction
pixel
intra prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2024039571A
Other languages
English (en)
Inventor
健治 近藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JP2024069447A publication Critical patent/JP2024069447A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

【課題】予測精度を高めることができるようにする。【解決手段】行列演算を用いたイントラ予測を行う際に、符号化／復号の対象のカレント予測ブロックの予測画像の上に隣接する上隣接画素として、参照画像のオリジナルの画素を用いて補間処理を行うことにより、カレント予測ブロックの予測画像が生成される。そして、予測画像を用いて、前記カレント予測ブロックの符号化／復号が行われる。本技術は、例えば、画像の符号化及び復号を行う場合に適用することができる。【選択図】図９

Description

本技術は、画像処理装置及び画像処理方法に関し、特に、例えば、予測精度を高めることができるようにする画像処理装置及び画像処理方法に関する。
ITU-TとISO/IECとの共同の標準化団体であるJVET（Joint Video Experts Team）では、H.265/HEVCよりも符号化効率をさらに向上することを目的として、次世代の画像符号化方式であるVVC（Versatile Video Coding）の標準化作業が進められている。
VVCの標準化作業では、非特許文献１において、参照画像の画素（の画素値）を平均化(Averaging)すること、平均化により得られる平均化画素を用いた行列演算（Matrix積）を行うこと、及び、行列演算の結果を用いるとともに、平均化画素を、予測ブロックの予測画像の上に隣接する上隣接画素として用いて補間処理を行うことにより、予測画像を生成することが提案されている。
JVET-N0217-v3: CE3: Affine linear weighted intra prediction (CE3-4.1, CE3-4.2) (version 7 - date 2019-01-17)
非特許文献１に記載の予測画像の生成では、常時、平均化画素を上隣接画素として用いて補間処理が行われる。このため、予測画像の予測精度を高めることができないことがある。
本技術は、このような状況に鑑みてなされたものであり、予測画像の予測精度を高めることができるようにするものである。
本技術の第１の画像処理装置は、行列演算を用いたイントラ予測を行う際に、符号化の対象のカレント予測ブロックの予測画像の上に隣接する上隣接画素として、参照画像のオリジナルの画素を用いて補間処理を行うことにより、前記カレント予測ブロックの予測画像を生成するイントラ予測部と、前記イントラ予測部により生成された前記予測画像を用いて、前記カレント予測ブロックを符号化する符号化部とを備える画像処理装置である。
本技術の第１の画像処理方法は、行列演算を用いたイントラ予測を行う際に、符号化の対象のカレント予測ブロックの予測画像の上に隣接する上隣接画素として、参照画像のオリジナルの画素を用いて補間処理を行うことにより、前記カレント予測ブロックの予測画像を生成するイントラ予測工程と、前記イントラ予測工程において生成された前記予測画像を用いて、前記カレント予測ブロックを符号化する符号化工程とを含む画像処理方法である。
本技術の第１の画像処理装置及び画像処理方法においては、行列演算を用いたイントラ予測を行う際に、符号化の対象のカレント予測ブロックの予測画像の上に隣接する上隣接画素として、参照画像のオリジナルの画素を用いて補間処理を行うことにより、前記カレント予測ブロックの予測画像が生成される。そして、前記予測画像を用いて、前記カレント予測ブロックが符号化される。
本技術の第２の画像処理装置は、行列演算を用いたイントラ予測を行う際に、復号の対象のカレント予測ブロックの予測画像の上に隣接する上隣接画素として、参照画像のオリジナルの画素を用いて補間処理を行うことにより、前記カレント予測ブロックの予測画像を生成するイントラ予測部と、前記イントラ予測部により生成された前記予測画像を用いて、前記カレント予測ブロックを復号する復号部とを備える画像処理装置である。
本技術の第２の画像処理方法は、行列演算を用いたイントラ予測を行う際に、復号の対象のカレント予測ブロックの予測画像の上に隣接する上隣接画素として、参照画像のオリジナルの画素を用いて補間処理を行うことにより、前記カレント予測ブロックの予測画像を生成するイントラ予測工程と、前記イントラ予測工程において生成された前記予測画像を用いて、前記カレント予測ブロックを復号する復号工程とを含む画像処理方法である。
本技術の第２の画像処理装置及び画像処理方法においては、行列演算を用いたイントラ予測を行う際に、復号の対象のカレント予測ブロックの予測画像の上に隣接する上隣接画素として、参照画像のオリジナルの画素を用いて補間処理を行うことにより、前記カレント予測ブロックの予測画像が生成される。そして、前記予測画像を用いて、前記カレント予測ブロックが復号される。
なお、画像処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
また、画像処理装置は、コンピュータにプログラムを実行させることにより実現することができる。プログラムは、記録媒体に記録して、又は、伝送媒体を介して伝送することにより、提供することができる。
JVET-N0217で提案されているMIP(Matrix-based Intra Prediction)の予測画像の生成方法を説明する図である。 本技術を適用した画像処理システムの一実施の形態の構成例を示すブロック図である。 エンコーダ１１の構成例を示すブロック図である。 エンコーダ１１の符号化処理の例を説明するフローチャートである。 デコーダ５１の構成例を示すブロック図である。 デコーダ５１の復号処理の例を説明するフローチャートである。 イントラ予測部３４の構成例を示すブロック図である。 予測画像生成部１１０が行うMIPの予測画像の生成の処理の例を説明するフローチャートである。 予測画像生成部１１０のMIPの予測画像の生成方法を説明する図である。 イントラ予測部３４の他の構成例を示すブロック図である。 予測画像生成部１２０のMIPの予測画像の生成方法を説明する図である。 予測モードkに応じて上隣接画素及び左隣接画素として選択される画素の例を示す図である。 本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
＜参照文献＞
本明細書で開示される範囲は、実施の形態の内容に限定されるものではなく、出願当時において公知となっている以下の参照文献REF1-REF6の内容も、参照により本明細書に組み込まれる。つまり、以下の参照文献REF1-REF6に記載されている内容もサポート要件について判断する際の根拠となる。例えば、Quad-Tree Block Structure、QTBT(Quad Tree Plus Binary Tree) Block Structure、MTT(Multi-type Tree) Block Structureが発明の詳細な説明において直接的に定義されていない場合でも、本開示の範囲内であり、特許請求の範囲のサポート要件を満たすものとする。また、例えば、パース(Parsing)、シンタクス(Syntax)、セマンティクス(Semantics)等の技術用語についても同様に、発明の詳細な説明において直接的に定義されていない場合でも、本開示の範囲内であり、特許請求の範囲のサポート要件を満たすものとする。
REF1: Recommendation ITU-T H.264 (04/2017) “Advanced video coding for generic audiovisual services”, April 2017
REF2: Recommendation ITU-T H.265 (02/2018) “High efficiency video coding”, February 2018
REF3: Benjamin Bross, Jianle Chen, Shan Liu, Versatile Video Coding (Draft 5), JVET-N1001-v7 (version 7 - date 2019-05-29)
REF4: Jianle Chen, Yan Ye, Seung Hwan Kim, Algorithm description for Versatile Video Coding and Test Model 5 (VTM 5), JVET- N1002-v1
REF5: JVET-N0217-v3: CE3: Affine linear weighted intra prediction (CE3-4.1, CE3-4.2) (version 7 - date 2019-01-17)
REF6: JVET-M0043-v2: CE3: Affine linear weighted intra prediction (test 1.2.1, test 1.2.2) (version 2 - date 2019-01-09)
＜定義＞
隣接するとは、注目するカレント画素に対して１画素分（１ライン分）隣接する場合だけでなく、複数画素分（複数ライン分）隣接する場合を含む。したがって、隣接する画素とは、カレント画素に直接隣接する１画素分の位置の画素の他、カレント画素に連続的に隣接する複数画素分の位置の画素を含む。
ダウンサンプルとは、画素数を少なくすることを意味する。したがって、ダウンサンプルには、平均やメディアン等の演算を用いて画素数を少なくすることや、演算なしで画素数を少なくすることが含まれる。
予測ブロックとは、イントラ予測を行う際の処理単位となるブロック(PU(Prediction Unit))を意味し、予測ブロック内のサブブロックも含む。予測ブロック、直交変換を行う際の処理単位となる直交変換ブロック(TU(Transform Unit))、符号化を行う際の処理単位となる符号化ブロック(CU(Coding Unit))が、同一のブロックに統一化されている場合、予測ブロック、直交変換ブロック、及び、符号化ブロックは、同一のブロックを意味する。
イントラ予測の予測モードとは、イントラ予測を行う際のモード番号、予測ブロックのブロックサイズ、行列演算を用いたイントラ予測(MIP(Matrix-based Intra Prediction))のモード番号、行列演算を行う際に用いる行列の種類、行列演算を行う際に用いる行列のサイズの種類等の、イントラ予測に関連する様々な事項を包括的に含む情報を意味する。
本技術では、複数のパターンを識別する識別データを、画像を符号化して得られるビットストリームのシンタクスとして設定することができる。ビットストリームには、様々なパターンを識別する識別データを含めることができる。
識別データとしては、例えば、イントラ予測の予測画像の生成において、予測ブロックに隣接する隣接画素として、参照画像のオリジナルの画素（の画素値）を用いるか、又は、ダウンサンプルされた画素（の画素値）を用いるかを識別するデータを採用することができる。また、識別データとしては、例えば、予測ブロックの予測画像の上に隣接する上隣接画素及び左に隣接する左隣接画素それぞれとして、参照画像のオリジナルの画素を用いるか、又は、ダウンサンプルされた画素を用いるかを識別するデータを採用することができる。
ビットストリームに識別データを含める場合、そのビットストリームを復号するデコーダでは、識別データをパースして参照することにより、より効率的に処理を行うことが可能となる。
＜JVET-N0217で提案されている予測画像の生成方法＞
図１は、JVET-N0217（参照文献REF5）で提案されているMIP(Matrix-based Intra Prediction)の予測画像の生成方法を説明する図である。
JVET-N0217では、MIPにおいて、参照画像（となった復号画像）の画素（の画素値）を平均化(Averaging)すること、平均化により得られる平均化画素を用いた行列演算(Matrix-Vector- Multiplication)を行うこと、及び、行列演算の結果と平均化画素とを用いて補間処理(interpolation)を行うことにより、予測画像を生成することが提案されている。
ここで、符号化／復号の対象の予測ブロックであるカレント予測ブロックの上に隣接する参照画像のオリジナルの画素を、上オリジナル画素ともいう。また、カレント予測ブロックの左に隣接する参照画像のオリジナルの画素を、左オリジナル画素ともいう。
さらに、ブロックの横方向のサイズ（横サイズ）を、Wで表すとともに、縦方向のサイズ（縦サイズ）を、Hで表すこととする。
図１では、カレント予測ブロックとして、W×H＝8×8画素のブロックが採用されている。
平均化では、カレント予測ブロックについて、参照画像の上オリジナル画素（の画素値）bdrytopが平均化され、ダウンサンプルされた画素としての複数の平均化画素（の画素値）bdryredが生成される。
さらに、平均化では、カレント予測ブロックについて、参照画像の左オリジナル画素bdryleftが平均化され、ダウンサンプルされた画素としての複数の平均化画素bdryredが生成される。
カレント予測ブロックが、W×H＝8×8画素のブロックである場合、上オリジナル画素bdrytopの平均化、及び、左オリジナル画素bdryleftの平均化では、参照画像の隣接する2個のオリジナルの画素の平均をとることにより、4個ずつの平均化画素bdryredが生成される。
行列演算では、イントラ予測の予測モードkに応じて、行列演算に用いる行列Ak及びオフセットbkが設定される。そして、行列演算では、行列Akと、平均化で得られた平均化画素bdryredを要素とするベクトルbdryredとの乗算が行われる。さらに、行列演算では、乗算の結果に、オフセットbkが加算される。これにより、カレント予測ブロックの予測画像の一部の画素predredが生成される。
補間処理では、カレント予測ブロックの予測画像の上に隣接する上隣接画素、カレント予測ブロックの予測画像の左に隣接する左隣接画素、及び、行列演算で生成されたカレント予測ブロックの予測画像の一部の画素predredを用いて補間が行われ、予測画像の残りの画素が生成される。
予測画像の上隣接画素としては、参照画像の平均化画素bdryredのうちの、上オリジナル画素bdrytopを用いて生成された平均化画素bdrytop redが用いられる。
予測画像の左隣接画素としては、参照画像の左オリジナル画素bdryleftが用いられる。
ここで、左からx番目で、上からy番目の画素の位置を、(x-1,y-1)と表し、位置(x-1,y-1)の画素を、画素(x-1,y-1)とも記載する。
カレント予測ブロックが、W×H＝8×8画素のブロックである場合、行列演算で生成される予測画像の一部の画素predredは、カレント予測ブロックの予測画像の画素のうちの、x-1及びy-1が奇数の位置の画素(x-1,y-1)（図中、斜線を付して示す）である。
補間処理では、カレント予測ブロックの予測画像の上に隣接するx-1が奇数の位置の4個の上隣接画素として、4個の平均化画素bdrytop redが配置される。さらに、カレント予測ブロックの予測画像の左に隣接する8個の左隣接画素として、8個の左オリジナル画素bdryleftが配置される。
そして、上隣接画素としての平均化画素bdrytop red、及び、行列演算で生成された画素predredである、x-1及びy-1が奇数の位置の画素(x-1,y-1)を用いた縦（垂直）方向の補間により、予測画像の、x-1が奇数で、y-1が偶数の位置の画素が生成される。
さらに、左隣接画素としての左オリジナル画素bdryleft、行列演算で生成された画素predred、及び、縦方向の補間により生成された画素を用いた横（水平方向）の補間により、予測画像の残りの画素が生成される。
そして、補間処理により生成された画素と、行列演算により生成された画素とを合わせることで、カレント予測ブロックの予測画像(pred)が生成される。
JVET-N0217では、補間処理において、カレント予測ブロックの予測画像の上に隣接する上隣接画素として、参照画像の上オリジナル画素bdrytopを用いて生成された平均化画素bdrytop redが用いられる。
すなわち、補間処理が、参照画像の実際の画素（オリジナルの画素）そのものではない画素を用いて行われる。
このため、行列演算後、補間処理を行う際に用いられる平均化画素bdrytop redを保持しておく必要があり、その保持のための記憶領域（メモリ）が必要となる。
さらに、補間処理が、常に、平均化画素bdrytop redを、上隣接画素として用いて行われるため、予測ブロックの画素と、平均化画素bdrytop redを用いて生成される予測画像の画素との相関が低下し、イントラ予測の予測精度、すなわち、予測画像の予測精度を高めることができないこと、又は、予測精度が低下するおそれがある。
そこで、本技術では、補間処理において、上隣接画素として、参照画像の上オリジナル画素bdrytopを用いることにより、予測画像の予測精度を高める。
＜本技術を適用した画像処理システム＞
図２は、本技術を適用した画像処理システムの一実施の形態の構成例を示すブロック図である。
画像処理システム１０は、エンコーダ１１としての画像処理装置、及び、デコーダ５１としての画像処理装置を有する。
エンコーダ１１は、そこに供給される符号化対象の元画像を符号化し、その符号化により得られる符号化ビットストリームを出力する。符号化ビットストリームは、図示せぬ記録媒体又は伝送媒体を介して、デコーダ５１に供給される。
デコーダ５１は、そこに供給される符号化ビットストリームを復号し、その復号により得られる復号画像を出力する。
＜エンコーダ１１の構成例＞
図３は、図２のエンコーダ１１の構成例を示すブロック図である。
なお、以下説明するブロック図については、図が煩雑になるのを避けるため、各ブロックの処理で必要となる情報（データ）を供給する線の記載を、適宜省略する。
図３において、エンコーダ１１は、A/D変換部２１、並べ替えバッファ２２、演算部２３、直交変換部２４、量子化部２５、可逆符号化部２６、及び、蓄積バッファ２７を有する。さらに、エンコーダ１１は、逆量子化部２８、逆直交変換部２９、演算部３０、フレームメモリ３２、選択部３３、イントラ予測部３４、動き予測補償部３５、予測画像選択部３６、及び、レート制御部３７を有する。また、エンコーダ１１は、デブロックフィルタ３１ａ、適応オフセットフィルタ４１、及び、ALF(adaptive loop filter)４２を有する。
A/D変換部２１は、アナログ信号の元画像（符号化対象）を、ディジタル信号の元画像にA/D変換し、並べ替えバッファ２２に供給して記憶させる。なお、エンコーダ１１にディジタル信号の元画像が供給される場合には、エンコーダ１１は、A/D変換部２１を設けずに構成することができる。
並べ替えバッファ２２は、元画像のフレームを、GOP（Group Of Picture）に応じて、表示順から符号化（復号）順に並べ替え、演算部２３、イントラ予測部３４、及び、動き予測補償部３５に供給する。
演算部２３は、並べ替えバッファ２２からの元画像から、予測画像選択部３６を介してイントラ予測部３４又は動き予測補償部３５から供給される予測画像を減算し、その減算により得られる残差（予測残差）を、直交変換部２４に供給する。
直交変換部２４は、演算部２３から供給される残差に対して、離散コサイン変換やカルーネン・レーベ変換等の直交変換を施し、その直交変換により得られる直交変換係数を量子化部２５に供給する。
量子化部２５は、直交変換部２４から供給される直交変換係数を量子化する。量子化部２５は、レート制御部３７から供給される符号量の目標値（符号量目標値）に基づいて量子化パラメータを設定し、直交変換係数の量子化を行う。量子化部２５は、量子化された直交変換係数である符号化データを、可逆符号化部２６に供給する。
可逆符号化部２６は、量子化部２５からの符号化データとしての量子化された直交変換係数を所定の可逆符号化方式で符号化する。
また、可逆符号化部２６は、エンコーダ１１での予測符号化に関する符号化情報のうちの、復号装置１７０での復号に必要な符号化情報を、各ブロックから取得する。
ここで、符号化情報としては、例えば、イントラ予測やインター予測の予測モード、動きベクトル等の動き情報、符号量目標値、量子化パラメータ、ピクチャタイプ(I,P,B)、デブロックフィルタ３１ａ及び適応オフセットフィルタ４１のフィルタパラメータ等がある。
予測モードは、イントラ予測部３４や動き予測補償部３５から取得することができる。動き情報は、動き予測補償部３５から取得することができる。デブロックフィルタ３１ａ及び適応オフセットフィルタ４１のフィルタパラメータは、デブロックフィルタ３１ａ及び適応オフセットフィルタ４１からそれぞれ取得することができる。
可逆符号化部２６は、符号化情報を、例えば、CAVLC（Context-Adaptive Variable Length Coding）やCABAC（Context-Adaptive Binary Arithmetic Coding）等の可変長符号化又は算術符号化その他の可逆符号化方式で符号化し、符号化後の符号化情報、及び、量子化部２５からの符号化データを含む（多重化した）符号化ビットストリームを生成して、蓄積バッファ２７に供給する。
ここで、以上の演算部２３ないし可逆符号化部２６が、画像を符号化する符号化部として機能する。
蓄積バッファ２７は、可逆符号化部２６から供給される符号化ビットストリームを、一時的に蓄積する。蓄積バッファ２７に蓄積された符号化ビットストリームは、所定のタイミングで読み出されて伝送される。
量子化部２５において量子化された直交変換係数である符号化データは、可逆符号化部２６に供給される他、逆量子化部２８にも供給される。逆量子化部２８は、量子化された直交変換係数を、量子化部２５による量子化に対応する方法で逆量子化し、その逆量子化により得られる直交変換係数を、逆直交変換部２９に供給する。
逆直交変換部２９は、逆量子化部２８から供給される直交変換係数を、直交変換部２４による直交変換処理に対応する方法で逆直交変換し、その逆直交変換の結果得られる残差を、演算部３０に供給する。
演算部３０は、逆直交変換部２９から供給される残差に、予測画像選択部３６を介してイントラ予測部３４又は動き予測補償部３５から供給される予測画像を加算し、これにより、元画像を復号した復号画像（の一部）を得て出力する。
演算部３０が出力する復号画像は、デブロックフィルタ３１ａ又はフレームメモリ３２に供給される。
フレームメモリ３２は、演算部３０から供給される復号画像、及び、ALF４２から供給される、デブロックフィルタ３１ａ、適応オフセットフィルタ４１、及び、ALF４２が適用された復号画像（フィルタ画像）を一時記憶する。フレームメモリ３２に記憶された復号画像は、必要なタイミングで、予測画像の生成に用いられる参照画像として、選択部３３に供給される。
選択部３３は、フレームメモリ３２から供給される参照画像の供給先を選択する。イントラ予測部３４においてイントラ予測が行われる場合、選択部３３は、フレームメモリ３２から供給される参照画像を、イントラ予測部３４に供給する。動き予測補償部３５においてインター予測が行われる場合、選択部３３は、フレームメモリ３２から供給される参照画像を、動き予測補償部３５に供給する。
イントラ予測部３４は、並べ替えバッファ２２から供給される元画像と、選択部３３を介してフレームメモリ３２から供給される参照画像とを用い、イントラ予測（画面内予測）を行う。イントラ予測部３４は、所定のコスト関数に基づいて、最適なイントラ予測の予測モードを選択し、その最適なイントラ予測の予測モードで参照画像から生成された予測画像を、予測画像選択部３６に供給する。また、イントラ予測部３４は、コスト関数に基づいて選択されたイントラ予測の予測モードを、可逆符号化部２６等に適宜供給する。
動き予測補償部３５は、並べ替えバッファ２２から供給される元画像と、選択部３３を介してフレームメモリ３２から供給される参照画像とを用い、動き予測を行う。さらに、動き予測補償部３５は、動き予測により検出される動きベクトルに応じて動き補償を行い、予測画像を生成する。動き予測補償部３５は、あらかじめ用意された複数のインター予測の予測モードで、インター予測を行い、参照画像から予測画像を生成する。
動き予測補償部３５は、所定のコスト関数に基づいて、複数のインター予測の予測モードから、最適なインター予測の予測モードを選択する。さらに、動き予測補償部３５は、最適なインター予測の予測モードで生成された予測画像を、予測画像選択部３６に供給する。
また、動き予測補償部３５は、コスト関数に基づいて選択された最適なインター予測の予測モードや、そのインター予測の予測モードで符号化された符号化データを復号する際に必要な動きベクトル等の動き情報等を、可逆符号化部２６に供給する。
予測画像選択部３６は、演算部２３及び演算部３０に供給する予測画像の供給元を、イントラ予測部３４及び動き予測補償部３５の中から選択し、その選択した方の供給元から供給される予測画像を、演算部２３及び演算部３０に供給する。
レート制御部３７は、蓄積バッファ２７に蓄積された符号化ビットストリームの符号量に基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部２５の量子化動作のレートを制御する。すなわち、レート制御部３７は、蓄積バッファ２７のオーバーフロー及びアンダーフローが生じないように、符号化ビットストリームの目標符号量を設定し、量子化部２５に供給する。
デブロックフィルタ３１ａは、演算部３０からの復号画像に、デブロックフィルタを必要に応じて適用し、デブロックフィルタが適用された復号画像（フィルタ画像）、又は、デブロックフィルタが適用されていない復号画像を、適応オフセットフィルタ４１に供給する。
適応オフセットフィルタ４１は、デブロックフィルタ３１ａからの復号画像に、適応オフセットフィルタを必要に応じて適用し、適応オフセットフィルタが適用された復号画像（フィルタ画像）、又は、適応オフセットフィルタが適用されていない復号画像を、ALF４２に供給する。
ALF４２は、適応オフセットフィルタ４１からの復号画像に、ALFを必要に応じて適用し、ALFが適用された復号画像、又は、ALFが適用されていない復号画像を、フレームメモリ３２に供給する。
＜符号化処理＞
図４は、図３のエンコーダ１１の符号化処理の例を説明するフローチャートである。
なお、図４に示す符号化処理の各ステップの順番は、説明の便宜上の順番であり、実際の符号化処理の各ステップは、適宜、並列的に、必要な順番で行われる。後述する処理についても、同様である。
エンコーダ１１では、ステップＳ１１において、A/D変換部２１は、元画像をA/D変換し、並べ替えバッファ２２に供給して、処理は、ステップＳ１２に進む。
ステップＳ１２において、並べ替えバッファ２２は、A/D変換部２１からの元画像を記憶し、符号化順に並べ替えて出力し、処理は、ステップＳ１３に進む。
ステップＳ１３では、イントラ予測部３４は、イントラ予測を行い、処理は、ステップＳ１４に進む。ステップＳ１４において、動き予測補償部３５は、動き予測や動き補償を行うインター予測を行い、処理は、ステップＳ１５に進む。
イントラ予測部３４のイントラ予測、及び、動き予測補償部３５のインター予測では、各種の予測モードのコスト関数が演算されるとともに、予測画像が生成される。
ステップＳ１５では、予測画像選択部３６は、イントラ予測部３４及び動き予測補償部３５で得られる各コスト関数に基づいて、最適な予測モードを決定する。そして、予測画像選択部３６は、イントラ予測部３４により生成された予測画像、及び、動き予測補償部３５により生成された予測画像の中から最適な予測モードの予測画像を選択して出力し、処理は、ステップＳ１５からステップＳ１６に進む。
ステップＳ１６では、演算部２３は、並べ替えバッファ２２が出力する元画像である符号化対象の対象画像と、予測画像選択部３６が出力する予測画像との残差を演算し、直交変換部２４に供給して、処理は、ステップＳ１７に進む。
ステップＳ１７では、直交変換部２４は、演算部２３からの残差を直交変換し、その結果得られる直交変換係数を、量子化部２５に供給して、処理は、ステップＳ１８に進む。
ステップＳ１８では、量子化部２５は、直交変換部２４からの直交変換係数を量子化し、その量子化により得られる量子化係数を、可逆符号化部２６及び逆量子化部２８に供給して、処理は、ステップＳ１９に進む。
ステップＳ１９では、逆量子化部２８は、量子化部２５からの量子化係数を逆量子化し、その結果得られる直交変換係数を、逆直交変換部２９に供給して、処理は、ステップＳ２０に進む。ステップＳ２０では、逆直交変換部２９は、逆量子化部２８からの直交変換係数を逆直交変換し、その結果得られる残差を、演算部３０に供給して、処理は、ステップＳ２１に進む。
ステップＳ２１では、演算部３０は、逆直交変換部２９からの残差と、予測画像選択部３６が出力する予測画像とを加算し、演算部２３での残差の演算の対象となった元画像に対応する復号画像を生成する。演算部３０は、復号画像を、デブロックフィルタ３１ａに供給し、処理は、ステップＳ２１からステップＳ２２に進む。
ステップＳ２２では、デブロックフィルタ３１ａは、演算部３０からの復号画像に、デブロックフィルタを適用し、その結果得られるフィルタ画像を、適応オフセットフィルタ４１に供給して、処理は、ステップＳ２３に進む。
ステップＳ２３では、適応オフセットフィルタ４１は、デブロックフィルタ３１ａからのフィルタ画像に、適応オフセットフィルタを適用し、その結果得られるフィルタ画像を、ALF４２に供給して、処理は、ステップＳ２４に進む。
ステップＳ２４では、ALF４２は、適応オフセットフィルタ４１からのフィルタ画像に、ALFを適用し、その結果得られるフィルタ画像を、フレームメモリ３２に供給して、処理は、ステップＳ２５に進む。
ステップＳ２５では、フレームメモリ３２は、ALF４２から供給されるフィルタ画像を記憶し、処理は、ステップＳ２６に進む。フレームメモリ３２に記憶されたフィルタ画像は、ステップＳ１３やＳ１４で、予測画像を生成する元となる参照画像として使用される。
ステップＳ２６では、可逆符号化部２６は、量子化部２５からの量子化係数である符号化データを符号化し、その符号化データを含む符号化ビットストリームを生成する。さらに、可逆符号化部２６は、量子化部２５での量子化に用いられた量子化パラメータや、イントラ予測部３４でのイントラ予測で得られた予測モード、動き予測補償部３５でのインター予測で得られた予測モードや動き情報、デブロックフィルタ３１ａ及び適応オフセットフィルタ４１のフィルタパラメータ等の符号化情報を必要に応じて符号化し、符号化ビットストリームに含める。
そして、可逆符号化部２６は、符号化ビットストリームを、蓄積バッファ２７に供給し、処理は、ステップＳ２６からステップＳ２７に進む。
ステップＳ２７において、蓄積バッファ２７は、可逆符号化部２６からの符号化ビットストリームを蓄積し、処理は、ステップＳ２８に進む。蓄積バッファ２７に蓄積された符号化ビットストリームは、適宜読み出されて伝送される。
ステップＳ２８では、レート制御部３７は、蓄積バッファ２７に蓄積されている符号化ビットストリームの符号量（発生符号量）に基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部２５の量子化動作のレートを制御し、符号化処理は終了する。
＜デコーダ５１の構成例＞
図５は、図２のデコーダ５１の詳細な構成例を示すブロック図である。
図５において、デコーダ５１は、蓄積バッファ６１、可逆復号部６２、逆量子化部６３、逆直交変換部６４、演算部６５、並べ替えバッファ６７、及び、D/A変換部６８を有する。さらに、デコーダ５１は、フレームメモリ６９、選択部７０、イントラ予測部７１、動き予測補償部７２、及び、選択部７３を有する。また、デコーダ５１は、デブロックフィルタ３１ｂ、適応オフセットフィルタ８１、及び、ALF８２を有する。
蓄積バッファ６１は、エンコーダ１１から伝送されてくる符号化ビットストリームを一時蓄積し、所定のタイミングにおいて、その符号化ビットストリームを、可逆復号部６２に供給する。
可逆復号部６２は、蓄積バッファ６１からの符号化ビットストリームを受信し、図３の可逆符号化部２６の符号化方式に対応する方式で復号する。
そして、可逆復号部６２は、符号化ビットストリームの復号結果に含まれる符号化データとしての量子化係数を、逆量子化部６３に供給する。
また、可逆復号部６２は、パースを行う機能を有する。可逆復号部６２は、符号化ビットストリームの復号結果に含まれる必要な符号化情報をパースし、符号化情報を、イントラ予測部７１や、動き予測補償部７２、デブロックフィルタ３１ｂ、適応オフセットフィルタ８１その他の必要なブロックに供給する。
逆量子化部６３は、可逆復号部６２からの符号化データとしての量子化係数を、図３の量子化部２５の量子化方式に対応する方式で逆量子化し、その逆量子化により得られる直交変換係数を、逆直交変換部６４に供給する。
逆直交変換部６４は、逆量子化部６３から供給される直交変換係数を、図３の直交変換部２４の直交変換方式に対応する方式で逆直交変換し、その結果得られる残差を、演算部６５に供給する。
演算部６５には、逆直交変換部６４から残差が供給される他、選択部７３を介して、イントラ予測部７１又は動き予測補償部７２から予測画像が供給される。
演算部６５は、逆直交変換部６４からの残差と、選択部７３からの予測画像とを加算し、復号画像を生成して、デブロックフィルタ３１ｂに供給する。
ここで、以上の可逆復号部６２ないし演算部６５が、画像を復号する復号部を構成する。
並べ替えバッファ６７は、ALF８２から供給される復号画像を一時記憶し、復号画像のフレーム（ピクチャ）の並びを、符号化（復号）順から表示順に並べ替え、D/A変換部６８に供給する。
D/A変換部６８は、並べ替えバッファ６７から供給される復号画像をD/A変換し、図示せぬディスプレイに出力して表示させる。なお、デコーダ５１に接続される機器がディジタル信号の画像を受け付ける場合には、デコーダ５１は、D/A変換部６８を設けずに構成することができる。
フレームメモリ６９は、ALF８２から供給される復号画像を一時記憶する。さらに、フレームメモリ６９は、所定のタイミングにおいて、又は、イントラ予測部７１や動き予測補償部７２等の外部の要求に基づいて、復号画像を、予測画像の生成に用いる参照画像として、選択部７０に供給する。
選択部７０は、フレームメモリ６９から供給される参照画像の供給先を選択する。選択部７０は、イントラ予測で符号化された画像を復号する場合、フレームメモリ６９から供給される参照画像をイントラ予測部７１に供給する。また、選択部７０は、インター予測で符号化された画像を復号する場合、フレームメモリ６９から供給される参照画像を動き予測補償部７２に供給する。
イントラ予測部７１は、可逆復号部６２から供給される符号化情報に含まれる予測モードに従い、図３のイントラ予測部３４と同様に、フレームメモリ６９から選択部７０を介して供給される参照画像を用いてイントラ予測を行う。そして、イントラ予測部７１は、イントラ予測により得られる予測画像を、選択部７３に供給する。
動き予測補償部７２は、可逆復号部６２から供給される符号化情報に含まれる予測モードに従い、図３の動き予測補償部３５と同様に、フレームメモリ６９から選択部７０を介して供給される参照画像を用いてインター予測を行う。インター予測は、可逆復号部６２から供給される符号化情報に含まれる動き情報等を必要に応じて用いて行われる。
動き予測補償部７２は、インター予測により得られる予測画像を、選択部７３に供給する。
選択部７３は、イントラ予測部７１から供給される予測画像、又は、動き予測補償部７２から供給される予測画像を選択し、演算部６５に供給する。
デブロックフィルタ３１ｂは、可逆復号部６２から供給される符号化情報に含まれるフィルタパラメータに従い、演算部６５からの復号画像に、デブロックフィルタを適用する。デブロックフィルタ３１ｂは、デブロックフィルタが適用された復号画像（フィルタ画像）、又は、デブロックフィルタが適用されていない復号画像を、適応オフセットフィルタ８１に供給する。
適応オフセットフィルタ８１は、可逆復号部６２から供給される符号化情報に含まれるフィルタパラメータに従い、デブロックフィルタ３１ｂからの復号画像に、適応オフセットフィルタを必要に応じて適用する。適応オフセットフィルタ８１は、適応オフセットフィルタが適用された復号画像（フィルタ画像）、又は、適応オフセットフィルタが適用されていない復号画像を、ALF８２に供給する。
ALF８２は、適応オフセットフィルタ８１からの復号画像に、ALFを必要に応じて適用し、ALFが適用された復号画像、又は、ALFが適用されていない復号画像を、並べ替えバッファ６７及びフレームメモリ６９に供給する。
＜復号処理＞
図６は、図５のデコーダ５１の復号処理の例を説明するフローチャートである。
復号処理では、ステップＳ５１において、蓄積バッファ６１は、エンコーダ１１から伝送されてくる符号化ビットストリームを一時蓄積し、適宜、可逆復号部６２に供給して、処理は、ステップＳ５２に進む。
ステップＳ５２では、可逆復号部６２は、蓄積バッファ６１から供給される符号化ビットストリームを受け取って復号し、符号化ビットストリームの復号結果に含まれる符号化データとしての量子化係数を、逆量子化部６３に供給する。
また、可逆復号部６２は、符号化ビットストリームの復号結果に含まれる符号化情報をパースする。そして、可逆復号部６２は、必要な符号化情報を、イントラ予測部７１や、動き予測補償部７２、デブロックフィルタ３１ｂ、適応オフセットフィルタ８１その他の必要なブロックに供給する。
そして、処理は、ステップＳ５２からステップＳ５３に進み、イントラ予測部７１又は動き予測補償部７２が、フレームメモリ６９から選択部７０を介して供給される参照画像、及び、可逆復号部６２から供給される符号化情報に従い、予測画像を生成するイントラ予測又はインター予測を行う。そして、イントラ予測部７１又は動き予測補償部７２は、イントラ予測又はインター予測により得られる予測画像を、選択部７３に供給し、処理は、ステップＳ５３からステップＳ５４に進む。
ステップＳ５４では、選択部７３は、イントラ予測部７１又は動き予測補償部７２から供給される予測画像を選択し、演算部６５に供給して、処理は、ステップＳ５５に進む。
ステップＳ５５では、逆量子化部６３は、可逆復号部６２からの量子化係数を逆量子化し、その結果得られる直交変換係数を、逆直交変換部６４に供給して、処理は、ステップＳ５６に進む。
ステップＳ５６では、逆直交変換部６４は、逆量子化部６３からの直交変換係数を逆直交変換し、その結果得られる残差を、演算部６５に供給して、処理は、ステップＳ５７に進む。
ステップＳ５７では、演算部６５は、逆直交変換部６４からの残差と、選択部７３からの予測画像を加算することにより、復号画像を生成する。そして、演算部６５は、復号画像を、デブロックフィルタ３１ｂに供給して、処理は、ステップＳ５７からステップＳ５８に進む。
ステップＳ５８では、デブロックフィルタ３１ｂは、可逆復号部６２から供給される符号化情報に含まれるフィルタパラメータに従い、演算部６５からの復号画像に、デブロックフィルタを適用する。デブロックフィルタ３１ｂは、デブロックフィルタの適用の結果得られるフィルタ画像を、適応オフセットフィルタ８１に供給して、処理は、ステップＳ５８からステップＳ５９に進む。
ステップＳ５９では、適応オフセットフィルタ８１は、可逆復号部６２から供給される符号化情報に含まれるフィルタパラメータに従い、デブロックフィルタ３１ｂからのフィルタ画像に、適応オフセットフィルタを適用する。適応オフセットフィルタ８１は、適応オフセットフィルタの適用の結果得られるフィルタ画像を、ALF８２に供給して、処理は、ステップＳ５９からステップＳ６０に進む。
ALF８２は、適応オフセットフィルタ８１からのフィルタ画像に、ALFを適用し、その結果得られるフィルタ画像を、並べ替えバッファ６７及びフレームメモリ６９に供給して、処理は、ステップＳ６１に進む。
ステップＳ６１では、フレームメモリ６９は、ALF８２から供給されるフィルタ画像を一時記憶し、処理は、ステップＳ６２に進む。フレームメモリ６９に記憶されたフィルタ画像（復号画像）は、ステップＳ５３のイントラ予測又はインター予測で、予測画像を生成する元となる参照画像として使用される。
ステップＳ６２では、並べ替えバッファ６７は、ALF８２から供給されるフィルタ画像を、表示順に並べ替えて、D/A変換部６８に供給し、処理は、ステップＳ６３に進む。
ステップＳ６３では、D/A変換部６８は、並べ替えバッファ６７からのフィルタ画像をD/A変換し、処理は、復号処理は終了する。D/A変換後のフィルタ画像（復号画像）は、図示せぬディスプレイに出力されて表示される。
＜イントラ予測部３４の構成例＞
図７は、イントラ予測部３４の構成例を示すブロック図である。
なお、図７では、イントラ予測部３４のうちの、MIPの予測画像を生成する部分である予測画像生成部１１０だけを図示してある。イントラ予測部７１も、予測画像生成部１１０と同様の予測画像生成部を有する。
予測画像生成部１１０は、平均化部１１１、行列ベクトル乗算部１１２、及び、補間部１１３を有する。
平均化部１１１には、カレント予測ブロックについて、選択部３３から参照画像（としての復号画像）が供給される。
平均化部１１１は、カレント予測ブロックについての参照画像の上オリジナル画素（の画素値）を平均化し、ダウンサンプルされた画素としての複数の平均化画素（の画素値）を生成する。
また、平均化部１１１は、カレント予測ブロックについての参照画像の左オリジナル画素を平均化し、ダウンサンプルされた画素としての複数の平均化画素を生成する。
平均化部１１１は、平均化画素を、行列ベクトル乗算部１１２に供給する。
行列ベクトル乗算部１１２には、イントラ予測の予測モードkが供給される。
行列ベクトル乗算部１１２は、予測モードkに応じて、行列演算に用いる行列Ak及びベクトルであるオフセットbkを設定する。そして、行列ベクトル乗算部１１２は、行列演算として、行列Akと、平均化部１１１の平均化画素を要素とするベクトルとの乗算を行う。さらに、行列ベクトル乗算部１１２は、行列演算として、乗算の結果に、オフセットbkの加算を行い、これにより、カレント予測ブロックの予測画像の一部の画素を生成し、補間部１１３に供給する。
補間部１１３には、参照画像が供給される。
補間部１１３は、カレント予測ブロックの予測画像の上に隣接する上隣接画素、カレント予測ブロックの予測画像の左に隣接する左隣接画素、及び、行列ベクトル乗算部１１２からのカレント予測ブロックの予測画像の一部の画素を用いて補間処理を行う。
補間部１１３は、補間処理により、カレント予測ブロックの予測画像の残りの画素を生成し、行列ベクトル乗算部１１２からの予測画像の一部の画素と合わせて、カレント予測ブロックの予測画像を生成する（完成させる）。
補間部１１３は、予測画像の上隣接画素として、参照画像の上オリジナル画素を用いるとともに、予測画像の左隣接画素として、参照画像の左オリジナル画素を用いる。
図８は、予測画像生成部１１０が行うMIPの予測画像の生成の処理の例を説明するフローチャートである。
ステップＳ１１１において、平均化部１１１は、参照画像の上オリジナル画素を平均化するとともに、参照画像の左オリジナル画素を平均化し、平均化画素を生成する。平均化部１１１は、平均化画素を、行列ベクトル乗算部１１２に供給して、処理は、ステップＳ１１１からステップＳ１１２に進む。
ステップＳ１１２では、行列ベクトル乗算部１１２は、予測モードkに応じて、行列演算に用いる行列Ak及びオフセットbkを設定する。さらに、行列ベクトル乗算部１１２は、行列Ak及びオフセットbkを用い、平均化部１１１からの平均化画素を要素とするベクトルを対象として、行列演算を行う。
すなわち、行列ベクトル乗算部１１２は、行列演算として、行列Akと、平均化部１１１の平均化画素を要素とするベクトルとの乗算を行う。さらに、行列ベクトル乗算部１１２は、行列演算として、乗算の結果に、オフセットbkの加算を行う。行列ベクトル乗算部１１２は、以上の行列演算により、カレント予測ブロックの予測画像の一部の画素を生成し、補間部１１３に供給して、処理は、ステップＳ１１２からステップＳ１１３に進む。
ステップＳ１１３では、補間部１１３は、上隣接画素として、参照画像の上オリジナル画素を用いるとともに、左隣接画素として、参照画像の左オリジナル画素を用い、これらの上隣接画素及び左隣接画素、並びに、行列ベクトル乗算部１１２からのカレント予測ブロックの予測画像の一部の画素を用いて補間処理を行う。
補間部１１３は、補間処理により、カレント予測ブロックの予測画像の残りの画素を生成し、行列ベクトル乗算部１１２からの予測画像の一部の画素と合わせて、カレント予測ブロックの予測画像を生成する。
図９は、予測画像生成部１１０のMIPの予測画像の生成方法を説明する図である。
図９では、図１と同様に、カレント予測ブロックとして、W×H＝8×8画素のブロックが採用されている。但し、予測ブロックは、W×H＝8×8画素のブロックに限定されるものではない。
平均化部１１１は、JVET-N0217と同様に、カレント予測ブロックについて、参照画像の上オリジナル画素bdrytopを平均化し、ダウンサンプルされた画素としての複数の平均化画素bdryredを生成する。
さらに、平均化部１１１は、JVET-N0217と同様に、カレント予測ブロックについて、参照画像の左オリジナル画素bdryleftを平均化し、ダウンサンプルされた画素としての複数の平均化画素bdryredを生成する。
カレント予測ブロックが、W×H＝8×8画素のブロックである場合、上オリジナル画素bdrytopの平均化は、参照画像の横方向に隣接する2個の上オリジナル画素bdrytopの平均をとることにより行われ、これにより、4個の平均化画素bdryredが生成される。同様に、左オリジナル画素bdryleftの平均化は、参照画像の縦方向に隣接する2個の左オリジナル画素bdryleftの平均をとることにより行われ、これにより、4個の平均化画素bdryredが生成される。
ここで、本実施の形態では、ダウンサンプルされた画素として、オリジナルの画素の平均をとることにより得られる平均化画素を採用するが、ダウンサンプルされた画素は、平均化画素に限定されるものではない。すなわち、ダウンサンプルは、複数の画素の平均をとる他、メディアン等の平均以外の演算を行うことや、単に、画素を間引くことによって行うことができる。
行列ベクトル乗算部１１２は、JVET-N0217と同様に、イントラ予測の予測モードkに応じて設定される行列Ak及びオフセットbkを用い、平均化画素bdryredを要素とするベクトルbdryredを対象とする行列演算としての式predred＝Ak・bdryred＋bkを演算する。
すなわち、行列ベクトル乗算部１１２は、行列演算として、行列Akと平均化画素bdryredを要素とするベクトルbdryredとの乗算Ak・bdryredを行う。さらに、行列ベクトル乗算部１１２は、乗算の結果Ak・bdryredに、オフセットbkを加算する。これにより、行列ベクトル乗算部１１２は、カレント予測ブロックの予測画像の一部の画素predredを生成する。
補間部１１３は、JVET-N0217と同様に、カレント予測ブロックの予測画像の上に隣接する上隣接画素、カレント予測ブロックの予測画像の左に隣接する左隣接画素、及び、行列演算で生成されたカレント予測ブロックの予測画像の一部の画素predredを用いた補間処理を行う。
補間部１１３は、補間処理により、予測画像の残りの画素（図中、白抜きの画素）を生成し、行列演算により生成された画素predredとを合わせることで、カレント予測ブロックの予測画像(pred)を生成する。
但し、JVET-N0217の補間処理では、図１で説明したように、予測画像の上隣接画素として、参照画像の平均化画素bdryredのうちの、上オリジナル画素bdrytopを用いて生成された平均化画素bdrytop redが用いられる。
これに対して、補間部１１３の補間処理では、予測画像の上隣接画素として、平均化画素bdrytop redではなく、参照画像の上オリジナル画素bdrytopそのものが用いられる。
以上のように、予測画像生成部１１０では、上隣接画素として、参照画像の上オリジナル画素bdrytopを用いるので、上隣接画素として、平均化画素を用いる場合に必要となる平均化画素（の画素値）bdrytop redの保持を行わずに済む。さらに、上隣接画素として、参照画像の上オリジナル画素bdrytopを用いる場合には、平均化画素bdrytop redを用いる場合に比較して、イントラ予測の予測精度が高まることを期待することができる。
＜イントラ予測部３４の他の構成例＞
図１０は、イントラ予測部３４の他の構成例を示すブロック図である。
なお、図１０では、図７と同様に、イントラ予測部３４のうちの、MIPの予測画像を生成する部分である予測画像生成部１２０だけを図示してある。イントラ予測部７１も、予測画像生成部１２０と同様の予測画像生成部を有する。
また、図中、図７の予測画像生成部１１０と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
予測画像生成部１２０は、平均化部１１１、行列ベクトル乗算部１１２、及び、補間部１２３を有する。
したがって、予測画像生成部１２０は、平均化部１１１及び行列ベクトル乗算部１１２を有する点で、図７の予測画像生成部１１０を共通する。但し、予測画像生成部１２０は、補間部１１３に代えて、補間部１２３を有する点で、予測画像生成部１１０と相違する。
予測画像生成部１２０では、補間部１２３に対して、参照画像と、行列ベクトル乗算部１１２で生成されたカレント予測ブロックの予測画像の一部の画素とが供給されるとともに、予測モードkと、平均化部１１１で生成された平均化画素とが供給される。
補間部１２３は、補間部１１３と同様に、予測画像の上隣接画素及び左隣接画素、並びに、行列ベクトル乗算部１１２からのカレント予測ブロックの予測画像の一部の画素を用いて補間処理を行い、その補間処理により生成される予測画像の残りの画素と、行列ベクトル乗算部１１２からの予測画像の一部の画素とを合わせて、予測画像を生成する。
但し、補間部１２３は、予測モードkに応じて、上隣接画素として、参照画像の上オリジナル画素を用いるか、又は、ダウンサンプルされた画素としての平均化画素を用いるかを選択することができる。また、補間部１２３は、予測モードkに応じて、左隣接画素として、参照画像の左オリジナル画素を用いるか、又は、ダウンサンプルされた画素としての平均化画素を用いるかを選択することができる。
図１１は、予測画像生成部１２０のMIPの予測画像の生成方法を説明する図である。
図１１では、図９と同様に、カレント予測ブロックとして、W×H＝8×8画素のブロックが採用されている。但し、予測ブロックは、W×H＝8×8画素のブロックに限定されるものではない。
予測画像生成部１２０では、平均化部１１１において、予測画像生成部１１０と同様に、カレント予測ブロックについて、参照画像の上オリジナル画素bdrytopを平均化した平均化画素bdryredと、左オリジナル画素bdryleftを平均化した平均化画素bdryredとが生成される。
さらに、予測画像生成部１２０では、行列ベクトル乗算部１１２において、予測画像生成部１１０と同様に、平均化画素bdryredを要素とするベクトルbdryredを対象とする行列演算としての式predred＝Ak・bdryred＋bkが演算され、カレント予測ブロックの予測画像の一部の画素predredが生成される。
そして、予測画像生成部１２０では、補間部１２３において、予測画像生成部１１０と同様に、カレント予測ブロックの予測画像の上に隣接する上隣接画素、カレント予測ブロックの予測画像の左に隣接する左隣接画素、及び、行列演算で生成されたカレント予測ブロックの予測画像の一部の画素predredを用いた補間処理が行われ、これにより、カレント予測ブロックの予測画像(pred)が生成される。
但し、補間部１２３では、予測モードkに応じて、上隣接画素として、参照画像の上オリジナル画素bdrytopを用いるか、又は、ダウンサンプルされた画素としての平均化画素bdrytop redを用いるかを選択することができる。また、補間部１２３では、予測モードkに応じて、左隣接画素として、参照画像の左オリジナル画素bdryleftを用いるか、又は、ダウンサンプルされた画素としての平均化画素bdryleft redを用いるかを選択することができる。
平均化画素bdrytop redは、平均化画素bdryredのうちの、上オリジナル画素bdrytopを用いて（上オリジナル画素bdrytopの平均をとることにより）生成された平均化画素である。平均化画素bdryleft redは、左オリジナル画素bdryleftを用いて生成された平均化画素である。
補間部１２３は、セレクタ１３１及び１３２を有する。
セレクタ１３１には、上オリジナル画素bdrytop及び平均化画素bdrytop redが供給される。セレクタ１３１は、予測モードkに応じて、上オリジナル画素bdrytop又は平均化画素bdrytop redを選択して出力する。補間部１２３では、上オリジナル画素bdrytop及び平均化画素bdrytop redのうちの、セレクタ１３１が出力する方の画素を、上隣接画素として用いて、補間処理が行われる。
セレクタ１３２には、左オリジナル画素bdryleft及び平均化画素bdryleft redが供給される。セレクタ１３２は、予測モードkに応じて、左オリジナル画素bdryleft又は平均化画素bdryleft redを選択して出力する。補間部１２３では、左オリジナル画素bdryleft及び平均化画素bdryleft redのうちの、セレクタ１３２が出力する方の画素を、左隣接画素として用いて、補間処理が行われる。
以上のように、予測画像生成部１２０において、上隣接画素として、参照画像の上オリジナル画素を用いるか、若しくは、平均化画素を用いるかを選択すること、及び／又は、左隣接画素として、参照画像の左オリジナル画素を用いるか、平均化画素を用いるかを選択することができる場合には、イントラ予測の予測精度がさらに高まることを期待することができる。
図１２は、予測モードkに応じて上隣接画素及び左隣接画素として選択される画素の例を示す図である。
ここで、上隣接画素若しくは左隣接画素又は両方を、隣接画素ともいう。また、上オリジナル画素若しくは左オリジナル画素又は両方を、オリジナル画素ともいう。
図１２では、予測モードkが、MIPモード（のモード番号）及びサイズ識別子MipSizeIdを表す情報を含む場合に、そのMIPモード及びサイズ識別子MipSizeIdに応じて隣接画素（上隣接画素、左隣接画素）として選択される画素が示されている。
図１２において、"Original"は、オリジナル画素（上オリジナル画素、左オリジナル画素）を表し、"Averaged"は、平均化画素を表す。図１２によれば、例えば、MIPモードが１で、サイズ識別子MipSizeIdが０である場合、左隣接画素として左オリジナル画素(Original)が選択され、上隣接画素として、平均的画素(Averaged)が選択される。
サイズ識別子MipSizeIdは、MIPで用いられる行列Akのサイズを表す識別子であり、カレント予測ブロックのブロックサイズに応じて設定される。したがって、予測モードkがサイズ識別子MipSizeIdを表す情報を含む場合、予測モードkは、カレント予測ブロックのブロックサイズを表す情報を含むということができる。
予測モードkは、イントラ予測の予測方向や、方向性予測、非方向性予測（例えば、プレーヤ予測やDC予測）を表す情報を含むことができる。イントラ予測の予測方向は、方向性予測の参照方向を含む。
予測モードkが、方向性予測を表す情報を含む場合、隣接画素として、オリジナル画素又は平均化画素を選択することができる。例えば、予測モードkが、方向性予測を表す情報を含む場合、その方向性予測の参照方向に応じて、隣接画素として、オリジナル画素又は平均化画素を選択することができる。
具体的には、例えば、カレント予測ブロックに、縦方向のエッジ等の模様が存在し、方向性予測の参照方向が縦方向に近い場合には、上隣接画素として、上オリジナル画素を選択することができる。また、例えば、カレント予測ブロックに、横方向のエッジ等の模様が存在し、方向性予測の参照方向が横方向に近い場合には、左隣接画素として、左オリジナル画素を選択することができる。この場合、予測精度を高めることができる。
予測モードkが、非方向性予測を表す情報を含む場合、例えば、イントラ予測として、DC予測が行われる場合、上隣接画素及び左隣接画素として、平均化画素を選択することができる。
その他、予測画像に隣接する隣接画素とする画素の選択は、予測モードkに応じて行う他、エンコーダ１１において、参照画像となる復号画像（ローカルデコード画像）に対する、インループフィルタの適用の有無、すなわち、デブロックフィルタ３１ａ、適応オフセットフィルタ４１、及び、ALF４２の一部又は全部が適用されたか否かに応じて行うことができる。例えば、シミュレーションを行い、インループフィルタの適用の有無に応じて、コストが小さくなるように、隣接画素とする画素の選択を行うことができる。
イントラ予測部３４は、イントラ予測の予測画像の生成において、予測画像に隣接する隣接画素として、参照画像のオリジナル画素を用いるか、又は、ダウンサンプルされた画素としての平均化画素を用いるかを識別する識別データを設定する設定部として機能させることができる。イントラ予測部３４で設定された識別データは、例えば、符号化情報の一部として、符号化ビットストリームに含めることができる。
識別データには、上隣接画素として、参照画像の上オリジナル画素を用いるか、又は、ダウンサンプルされた画素としての平均化画素を用いるかを識別するデータを含めることができる。また、識別データには、左隣接画素として、参照画像の左オリジナル画素を用いるか、又は、ダウンサンプルされた画素としての平均化画素を用いるかを識別するデータを含めることができる。
なお、隣接画素として、参照画像のオリジナル画素又はダウンサンプルされた画素としての平均化画素を用いるかは、予測モード等に応じて選択するのではなく、別個の予測モードとして扱い、コストが小さくなる方を選択することができる。
＜本技術を適用したコンピュータの説明＞
次に、上述したエンコーダ１１及びデコーダ５１の一連の処理は、ハードウエアにより行うこともできるし、ソフトウエアにより行うこともできる。一連の処理をソフトウエアによって行う場合には、そのソフトウエアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
図１３は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示すブロック図である。
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク９０５やROM９０３に予め記録しておくことができる。
あるいはまた、プログラムは、ドライブ９０９によって駆動されるリムーバブル記録媒体９１１に格納（記録）しておくことができる。このようなリムーバブル記録媒体９１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブル記録媒体９１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
なお、プログラムは、上述したようなリムーバブル記録媒体９１１からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク９０５にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
コンピュータは、CPU(Central Processing Unit)９０２を内蔵しており、CPU９０２には、バス９０１を介して、入出力インタフェース９１０が接続されている。
CPU９０２は、入出力インタフェース９１０を介して、ユーザによって、入力部９０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)９０３に格納されているプログラムを実行する。あるいは、CPU９０２は、ハードディスク９０５に格納されたプログラムを、RAM(Random Access Memory)９０４にロードして実行する。
これにより、CPU９０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU９０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース９１０を介して、出力部９０６から出力、あるいは、通信部９０８から送信、さらには、ハードディスク９０５に記録等させる。
なお、入力部９０７は、キーボードや、マウス、マイク等で構成される。また、出力部９０６は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
１０ 画像処理システム， １１ エンコーダ， ２１ A/D変換部， ２２ 並べ替えバッファ２２， ２３ 演算部， ２４ 直交変換部， ２５ 量子化部， ２６ 可逆符号化部， ２７ 蓄積バッファ， ２８ 逆量子化部， ２９ 逆直交変換部， ３０ 演算部， ３１ａ，３１ｂ デブロックフィルタ， ３２ フレームメモリ， ３３ 選択部， ３４ イントラ予測部， ３５ 動き予測補償部， ３６ 予測画像選択部， ３７ レート制御部， ４１ 適応オフセットフィルタ， ４２ ALF， ５１ デコーダ， ６１ 蓄積バッファ， ６２ 可逆復号部， ６３ 逆量子化部， ６４ 逆直交変換部， ６５ 演算部， ６７ 並べ替えバッファ， ６８ D/A変換部， ６９ フレームメモリ， ７０ 選択部， ７１ イントラ予測部， ７２ 動き予測補償部， ７３ 選択部， ８１ 適応オフセットフィルタ， ８２ ALF， １１０ 予測画像生成部， １１１ 平均化部， １１２ 行列ベクトル乗算部， １１３ 補間部， １２０ 予測画像生成部， １２３ 補間部， ９０１ バス， ９０２ CPU， ９０３ ROM， ９０４ RAM， ９０５ ハードディスク， ９０６ 出力部， ９０７ 入力部， ９０８ 通信部， ９０９ ドライブ， ９１０ 入出力インタフェース， ９１１ リムーバブル記録媒体
本技術の第１の画像処理装置は、行列演算を用いたイントラ予測を行う際に、符号化の対象のカレント予測ブロックの予測画像の上に隣接する上隣接画素として、参照画像のオリジナルの画素を用いて補間処理を行うことにより、前記カレント予測ブロックの予測画像を生成するイントラ予測部と、前記イントラ予測部により生成された前記予測画像を用いて、前記カレント予測ブロックを符号化する符号化部とを備える画像処理装置である。
本技術の他の第１の画像処理装置は、行列演算を用いたイントラ予測に対するカレント予測ブロックの予測画像に隣接する隣接画素として参照画像のオリジナルの画素を用いて補間処理を行うかを識別する識別データを設定する設定部と、前記カレント予測ブロックを符号化して、前記設定部により設定された前記識別データを含むビットストリームを生成する符号化部とを備える画像処理装置である。
本技術の第１の画像処理方法は、行列演算を用いたイントラ予測を行う際に、符号化の対象のカレント予測ブロックの予測画像の上に隣接する上隣接画素として、参照画像のオリジナルの画素を用いて補間処理を行うことにより、前記カレント予測ブロックの予測画像を生成するイントラ予測工程と、前記イントラ予測工程において生成された前記予測画像を用いて、前記カレント予測ブロックを符号化する符号化工程とを含む画像処理方法である。
本技術の他の第１の画像処理方法は、行列演算を用いたイントラ予測に対するカレント予測ブロックの予測画像に隣接する隣接画素として参照画像のオリジナルの画素を用いて補間処理を行うかを識別する識別データを設定することと、前記カレント予測ブロックを符号化して、前記識別データを含むビットストリームを生成することとを含む画像処理方法である。
本技術の第１の画像処理装置及び画像処理方法においては、行列演算を用いたイントラ予測を行う際に、符号化の対象のカレント予測ブロックの予測画像の上に隣接する上隣接画素として、参照画像のオリジナルの画素を用いて補間処理を行うことにより、前記カレント予測ブロックの予測画像が生成される。そして、前記予測画像を用いて、前記カレント予測ブロックが符号化される。
本技術の他の第１の画像処理装置及び画像処理方法においては、行列演算を用いたイントラ予測に対するカレント予測ブロックの予測画像に隣接する隣接画素として参照画像のオリジナルの画素を用いて補間処理を行うかを識別する識別データが設定される。そして、前記カレント予測ブロックが符号化されて、前記識別データを含むビットストリームが生成される。
本技術の第２の画像処理装置は、行列演算を用いたイントラ予測を行う際に、復号の対象のカレント予測ブロックの予測画像の上に隣接する上隣接画素として、参照画像のオリジナルの画素を用いて補間処理を行うことにより、前記カレント予測ブロックの予測画像を生成するイントラ予測部と、前記イントラ予測部により生成された前記予測画像を用いて、前記カレント予測ブロックを復号する復号部とを備える画像処理装置である。
本技術の他の第２の画像処理装置は、行列演算を用いたイントラ予測に対するカレント予測ブロックの予測画像に隣接する隣接画素として参照画像のオリジナルの画素を用いて補間処理を行うかを識別する識別データを含むビットストリームから、前記識別データをパースするパース部と、前記パース部によりパースされた前記識別データを用いて、前記カレント予測ブロックの予測画像を生成するイントラ予測部と、前記イントラ予測部により生成された前記予測画像を用いて、前記カレント予測ブロックを復号する復号部とを備える画像処理装置である。
本技術の第２の画像処理方法は、行列演算を用いたイントラ予測を行う際に、復号の対象のカレント予測ブロックの予測画像の上に隣接する上隣接画素として、参照画像のオリジナルの画素を用いて補間処理を行うことにより、前記カレント予測ブロックの予測画像を生成するイントラ予測工程と、前記イントラ予測工程において生成された前記予測画像を用いて、前記カレント予測ブロックを復号する復号工程とを含む画像処理方法である。
本技術の他の第２の画像処理方法は、行列演算を用いたイントラ予測に対するカレント予測ブロックの予測画像に隣接する隣接画素として参照画像のオリジナルの画素を用いて補間処理を行うかを識別する識別データを含むビットストリームから、前記識別データをパースすることと、前記識別データを用いて、前記カレント予測ブロックの予測画像を生成することと、前記予測画像を用いて、前記カレント予測ブロックを復号することとを含む画像処理方法である。
本技術の第２の画像処理装置及び画像処理方法においては、行列演算を用いたイントラ予測を行う際に、復号の対象のカレント予測ブロックの予測画像の上に隣接する上隣接画素として、参照画像のオリジナルの画素を用いて補間処理を行うことにより、前記カレント予測ブロックの予測画像が生成される。そして、前記予測画像を用いて、前記カレント予測ブロックが復号される。
本技術の他の第２の画像処理装置及び画像処理方法においては、行列演算を用いたイントラ予測に対するカレント予測ブロックの予測画像に隣接する隣接画素として参照画像のオリジナルの画素を用いて補間処理を行うかを識別する識別データを含むビットストリームから、前記識別データがパースされる。そして、前記識別データを用いて、前記カレント予測ブロックの予測画像が生成され、前記予測画像を用いて、前記カレント予測ブロックが復号される。

Claims (20)

  1. 行列演算を用いたイントラ予測を行う際に、符号化の対象のカレント予測ブロックの予測画像の上に隣接する上隣接画素として、参照画像のオリジナルの画素を用いて補間処理を行うことにより、前記カレント予測ブロックの予測画像を生成するイントラ予測部と、
    前記イントラ予測部により生成された前記予測画像を用いて、前記カレント予測ブロックを符号化する符号化部と
    を備える画像処理装置。
  2. 前記イントラ予測部は、前記カレント予測ブロックの予測画像の左に隣接する左隣接画素として、前記参照画像のオリジナルの画素を用いて補間処理を行うことにより、前記予測画像を生成する
    請求項１に記載の画像処理装置。
  3. 前記イントラ予測部は、前記補間処理において、イントラ予測の予測モードに応じて、前記上隣接画素として、前記参照画像のオリジナルの画素を用いるか、又は、ダウンサンプルされた画素を用いるかを選択する
    請求項１に記載の画像処理装置。
  4. 前記イントラ予測部は、前記補間処理において、前記イントラ予測の予測モードに応じて、前記カレント予測ブロックの予測画像の左に隣接する左隣接画素として、前記参照画像のオリジナルの画素を用いるか、又は、ダウンサンプルされた画素を用いるかを選択する
    請求項３に記載の画像処理装置。
  5. 前記イントラ予測の予測モードは、前記イントラ予測の予測方向を表す情報を含む
    請求項４に記載の画像処理装置。
  6. 前記イントラ予測の予測モードは、前記カレント予測ブロックのブロックサイズを表す情報を含む
    請求項５に記載の画像処理装置。
  7. 前記ダウンサンプルされた画素は、前記オリジナルの画素の平均をとった画素である
    請求項４に記載の画像処理装置。
  8. 前記イントラ予測部は、前記イントラ予測の予測モードが方向性予測を表す情報を含む場合に、前記カレント予測ブロックの予測画像に隣接する隣接画素として、前記参照画像のオリジナルの画素を用いるか、又は、ダウンサンプルされた画素を用いるかを選択する
    請求項４に記載の画像処理装置。
  9. 前記イントラ予測部は、前記方向性予測の参照方向が縦方向に近い場合に、前記上隣接画素として、前記オリジナルの画素を用いる
    請求項８に記載の画像処理装置。
  10. 前記イントラ予測部は、前記方向性予測の参照方向が横方向に近い場合に、前記左隣接画素として、前記オリジナルの画素を用いる
    請求項８に記載の画像処理装置。
  11. 前記イントラ予測部は、前記イントラ予測の予測モードが非方向性予測を表す情報を含む場合に、前記上隣接画素として、前記参照画像のダウンサンプルされた画素を用いる
    請求項４に記載の画像処理装置。
  12. 前記イントラ予測部は、前記イントラ予測の予測モードが非方向性予測を表す情報を含む場合に、前記左隣接画素として、前記参照画像のダウンサンプルされた画素を用いる
    請求項１１に記載の画像処理装置。
  13. 前記イントラ予測部は、前記参照画像となるローカルデコード画像にインループフィルタが適用されたか否かに応じて、前記上隣接画素として、前記参照画像のオリジナルの画素を用いるか、又は、ダウンサンプルされた画素を用いるかを選択する
    請求項３に記載の画像処理装置。
  14. 前記イントラ予測部は、前記ローカルデコード画像に前記インループフィルタが適用されたか否かに応じて、前記カレント予測ブロックの予測画像の左に隣接する左隣接画素として、前記参照画像のオリジナルの画素を用いるか、又は、ダウンサンプルされた画素を用いるかを選択する
    請求項１３に記載の画像処理装置。
  15. 前記カレント予測ブロックの予測画像に隣接する隣接画素として、前記参照画像のオリジナルの画素を用いるか、又は、ダウンサンプルされた画素を用いるかを識別する識別データを設定する設定部をさらに備える
    請求項４に記載の画像処理装置。
  16. 前記識別データは、前記上隣接画素として、前記参照画像のオリジナルの画素を用いるか、又は、ダウンサンプルされた画素を用いるかを識別するデータである
    請求項１５に記載の画像処理装置。
  17. 前記識別データは、前記左隣接画素として、前記参照画像のオリジナルの画素を用いるか、又は、ダウンサンプルされた画素を用いるかを識別するデータである
    請求項１５に記載の画像処理装置。
  18. 行列演算を用いたイントラ予測を行う際に、符号化の対象のカレント予測ブロックの予測画像の上に隣接する上隣接画素として、参照画像のオリジナルの画素を用いて補間処理を行うことにより、前記カレント予測ブロックの予測画像を生成するイントラ予測工程と、
    前記イントラ予測工程において生成された前記予測画像を用いて、前記カレント予測ブロックを符号化する符号化工程と
    を含む画像処理方法。
  19. 行列演算を用いたイントラ予測を行う際に、復号の対象のカレント予測ブロックの予測画像の上に隣接する上隣接画素として、参照画像のオリジナルの画素を用いて補間処理を行うことにより、前記カレント予測ブロックの予測画像を生成するイントラ予測部と、
    前記イントラ予測部により生成された前記予測画像を用いて、前記カレント予測ブロックを復号する復号部と
    を備える画像処理装置。
  20. 行列演算を用いたイントラ予測を行う際に、復号の対象のカレント予測ブロックの予測画像の上に隣接する上隣接画素として、参照画像のオリジナルの画素を用いて補間処理を行うことにより、前記カレント予測ブロックの予測画像を生成するイントラ予測工程と、
    前記イントラ予測工程において生成された前記予測画像を用いて、前記カレント予測ブロックを復号する復号工程と
    を含む画像処理方法。
JP2024039571A 2019-06-11 2024-03-14 画像処理装置及び画像処理方法 Pending JP2024069447A (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201962859838P 2019-06-11 2019-06-11
US62/859,838 2019-06-11
PCT/JP2020/021034 WO2020250693A1 (ja) 2019-06-11 2020-05-28 画像処理装置及び画像処理方法
JP2021525985A JP7456441B2 (ja) 2019-06-11 2020-05-28 画像処理装置及び画像処理方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2021525985A Division JP7456441B2 (ja) 2019-06-11 2020-05-28 画像処理装置及び画像処理方法

Publications (1)

Publication Number Publication Date
JP2024069447A true JP2024069447A (ja) 2024-05-21

Family

ID=73781973

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2021525985A Active JP7456441B2 (ja) 2019-06-11 2020-05-28 画像処理装置及び画像処理方法
JP2024039571A Pending JP2024069447A (ja) 2019-06-11 2024-03-14 画像処理装置及び画像処理方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2021525985A Active JP7456441B2 (ja) 2019-06-11 2020-05-28 画像処理装置及び画像処理方法

Country Status (7)

Country Link
US (1) US20220321910A1 (ja)
EP (1) EP3975564A4 (ja)
JP (2) JP7456441B2 (ja)
KR (1) KR20220019232A (ja)
CN (1) CN113994703A (ja)
TW (1) TW202106025A (ja)
WO (1) WO2020250693A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2588406B (en) * 2019-10-22 2022-12-07 British Broadcasting Corp Video encoding and video decoding
WO2024076134A1 (ko) * 2022-10-05 2024-04-11 세종대학교산학협력단 동영상 인코딩 및 디코딩 장치와 방법

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5696848A (en) * 1995-03-09 1997-12-09 Eastman Kodak Company System for creating a high resolution image from a sequence of lower resolution motion images
US6665344B1 (en) * 1998-06-29 2003-12-16 Zenith Electronics Corporation Downconverting decoder for interlaced pictures
KR101648098B1 (ko) * 2012-09-25 2016-08-12 니폰 덴신 덴와 가부시끼가이샤 영상 부호화 방법 및 장치, 영상 복호 방법 및 장치와 이들의 프로그램
CN104702962B (zh) * 2015-03-03 2019-04-16 华为技术有限公司 帧内编解码方法、编码器和解码器
EP3900342A2 (en) 2018-12-20 2021-10-27 FRAUNHOFER-GESELLSCHAFT zur Förderung der angewandten Forschung e.V. Intra predictions using linear or affine transforms with neighbouring sample reduction
CN112866699B (zh) * 2019-03-11 2022-11-01 杭州海康威视数字技术股份有限公司 一种编解码方法、装置及其设备
WO2020185018A1 (ko) * 2019-03-12 2020-09-17 엘지전자 주식회사 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
US11616966B2 (en) * 2019-04-03 2023-03-28 Mediatek Inc. Interaction between core transform and secondary transform
JP2022535726A (ja) * 2019-05-31 2022-08-10 北京字節跳動網絡技術有限公司 行列ベースイントラ予測における制約されたアップサンプリングプロセス

Also Published As

Publication number Publication date
JPWO2020250693A1 (ja) 2020-12-17
TW202106025A (zh) 2021-02-01
CN113994703A (zh) 2022-01-28
WO2020250693A1 (ja) 2020-12-17
JP7456441B2 (ja) 2024-03-27
US20220321910A1 (en) 2022-10-06
KR20220019232A (ko) 2022-02-16
EP3975564A1 (en) 2022-03-30
EP3975564A4 (en) 2022-08-03

Similar Documents

Publication Publication Date Title
US20190335202A1 (en) Low-complexity intra prediction for video coding
KR102512053B1 (ko) 스킵 모드를 이용한 영상 복호화 방법 및 이러한 방법을 사용하는 장치
US10623742B2 (en) Method of determining binary codewords for transform coefficients
KR20220116339A (ko) 루마 및 크로마 성분에 대한 ibc 전용 버퍼 및 디폴트 값 리프레싱을 사용하는 인코더, 디코더 및 대응하는 방법들
JP6315911B2 (ja) 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
JP2024069447A (ja) 画像処理装置及び画像処理方法
US20140056357A1 (en) Encoding device, decoding device, encoding method, and decoding method
JP2005070938A (ja) 信号処理装置及びそれを用いた電子機器
US20130114698A1 (en) Method of determining binary codewords for transform coefficients
KR20110135787A (ko) 엣지-적응 변환을 이용한 영상 부호화/복호화 시스템 및 방법
MX2014000718A (es) Exploracion de coeficientes en codificacion de video.
JP2014096638A (ja) 画像符号化装置、画像符号化方法、画像符号化プログラム、画像復号装置、画像復号方法及び画像復号プログラム
WO2020255769A1 (ja) 画像処理装置及び画像処理方法
JP6469277B2 (ja) 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
WO2021125317A1 (ja) 画像処理装置及び画像処理方法
JP7513027B2 (ja) 画像処理装置及び画像処理方法、並びにプログラム
WO2015045301A1 (ja) 映像符号化装置、映像符号化方法および映像符号化プログラム
WO2022039635A1 (en) Method and apparatus for hadamard transform domain filtering of the video signal with various bit depth
KR20220053561A (ko) 화상 처리 장치 및 화상 처리 방법
JP2021093634A (ja) 符号化装置、復号装置、及びプログラム
JP2022068378A (ja) 画像符号化装置、画像符号化方法、画像復号装置、および画像復号方法
JP2008061122A (ja) 制御装置、制御方法、符号化装置、及びプログラム
JP2012120086A (ja) 動画像符号化装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240410

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240410