JP6535744B2 - 画像符号化装置、画像復号化装置、及びこれらのプログラム - Google Patents

画像符号化装置、画像復号化装置、及びこれらのプログラム Download PDF

Info

Publication number
JP6535744B2
JP6535744B2 JP2017535584A JP2017535584A JP6535744B2 JP 6535744 B2 JP6535744 B2 JP 6535744B2 JP 2017535584 A JP2017535584 A JP 2017535584A JP 2017535584 A JP2017535584 A JP 2017535584A JP 6535744 B2 JP6535744 B2 JP 6535744B2
Authority
JP
Japan
Prior art keywords
prediction
block
image
signal
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017535584A
Other languages
English (en)
Other versions
JPWO2017030200A1 (ja
Inventor
俊輔 岩村
俊輔 岩村
市ヶ谷　敦郎
敦郎 市ヶ谷
境田　慎一
慎一 境田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Broadcasting Corp
Original Assignee
Japan Broadcasting Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Japan Broadcasting Corp filed Critical Japan Broadcasting Corp
Publication of JPWO2017030200A1 publication Critical patent/JPWO2017030200A1/ja
Application granted granted Critical
Publication of JP6535744B2 publication Critical patent/JP6535744B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H04N19/45—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder performing compensation of the inverse transform mismatch, e.g. Inverse Discrete Cosine Transform [IDCT] mismatch
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H04N19/619—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding the transform being operated outside the prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、ＭＰＥＧ-２、ＡＶＣ/Ｈ.２６４、ＭＰＥＧ-Ｈ、ＨＥＶＣ/Ｈ.２６５等の映像符号化方式に適用可能な画像符号化装置、画像復号化装置、及びこれらのプログラムに関する。
静止画、動画を問わず一般的に画像信号は隣接画素間の信号相関が高いことが知られている。この性質を利用して、例えば、ＭＰＥＧ-２、ＡＶＣ/Ｈ.２６４、ＭＰＥＧ-Ｈ、ＨＥＶＣ/Ｈ.２６５等の映像符号化方式では、イントラ予測及びインター予測の２つの予測モードが用意されている。イントラ予測は、符号化フレーム内の信号のみで信号予測を行う技法であり、原画像の符号化対象ブロック内の画素信号（原信号）に対して、当該符号化対象ブロックの左側や上側に隣接する符号化し復号済みのブロックの画素信号を用いてＤＣ予測、Ｐｌａｎｅｒ予測、或いは方向性予測を行い、外挿により予測された画素信号（予測信号）よりなる予測画像のブロックを生成する。このように、当該符号化対象ブロックに隣接した復号済みのブロックの画素信号を用いることによって当該符号化対象ブロック内の画素信号を効率的に予測している。
例えば、図２９を参照して、イントラ予測の水平方向による予測（水平予測）を例に、イントラ予測による予測残差信号の性質を説明する。図２９に示す例では、水平４画素×垂直４画素のブロックサイズ（以下、単に「４×４」と示し、他のブロックサイズも同様。）の画素信号ｐからなる原画像の符号化対象ブロックＢｋｏ内の原信号に対して（図２９（ａ）参照）、水平予測のため左隣りの復号済みのブロックの画素信号を参照信号Ｓｒとして用いて予測を行い、符号化対象ブロックの画素信号に対応する予測信号からなる予測画像のブロックＢｋｐを生成する（図２９（ｂ）参照）。
そして、原画像の符号化対象ブロックＢｋｏ内の原信号と、予測画像のブロックＢｋｐの予測信号との差分から予測残差信号のブロックＢｋｄを得ることができる（図２９（ｃ）参照）。このイントラ予測による予測残差信号は、参照信号に隣接する画素位置ほど予測効率が高くなるため残差成分が小さくなり（信号強度が小さい）、換言すれば、参照信号から遠ざかるにしたがって予測効率が低くなるため、残差成分が大きくなる（信号強度が大きくなる）性質がある（図２９（ｄ）参照）。
ここで、図２９に示した例では水平方向の画素間相関を利用して予測を行うものであるが、符号化し復号済みのブロックの信号は符号化対象ブロックの上側にも存在する。図２９に示した例においては、水平方向のイントラ予測によって水平方向の相関を利用して効率的に予測し予測残差信号を生成しているが、垂直方向の相関を利用していない。
そこで、現在規定されているＨ.２６５では符号化対象ブロックの上側のブロック内の画素信号との相関性が高いことを利用し、予測信号の精度向上のために当該予測画像のブロックＢｋｐ内の最上側の予測信号にのみ当該上側のブロックに対する信号変動を反映するフィルタ処理を適用する。これにより水平方向の予測による水平方向の相関を利用するのみでなく、垂直方向の相関を利用することができ、予測残差信号のブロックＢｋｄにおける平均的な残差成分が更に減少し、符号化効率が改善する。同様に垂直方向のイントラ予測の場合はその予測の際に利用していない水平方向の隣接画素を利用してフィルタ処理を適用し、水平及び垂直の隣接画素を利用しないＤＣ予測においては水平及び垂直の隣接画素を利用したフィルタ処理を適用することで、以前のＭＰＥＧ-２やＨ.２６４等の映像符号化方式に比べ大幅な符号化効率の改善を実現している。
また、インター予測では、時間的に近接する符号化し復号済の参照フレームから動き予測を行うことにより、動きベクトルを算出し、これを用いて予測画像を生成する。予測画像と原画像の差分が予測残差信号として生成される。ただし、従来技法では、隣接ブロックとの信号の相関の高さはイントラ予測において積極的に利用されているが、インター予測ではこのような隣接ブロックとの信号の相関の高さを示す性質は利用されていない。
そして、イントラ予測やインター予測を経て生成される予測残差信号のブロックは、直交変換処理及び量子化処理が施され、符号化される。
尚、現在規定されているＨ.２６５におけるイントラ予測の直交変換処理では主としてＤＣＴ（Discrete Cosine Transform：離散コサイン変換）が適用されるが、一部のブロックサイズのイントラ予測の予測残差信号に対しＤＳＴ（Discrete Sine Transform：離散サイン変換）による直交変換処理を適用するモードが用意されている。ただし、符号化対象ブロックのブロックサイズが大きい場合（４×４より大きい場合）にはその左側や上側のブロックの信号特徴によるＤＳＴ適用のメリットが減ることや、実装上のコストの問題からＤＳＴの適用が規格上許されていない。また、現在規定されているＨ.２６５におけるインター予測の直交変換処理では、ブロックサイズに係わらずＤＣＴが適用される。
インター予測における動き補償処理の特徴としてその符号化に係る予測領域の端点（即ち、予測画像のブロックの外周部に位置する画素信号に対する予測残差信号）では、予測誤差量が統計的に大きいことが示されている（例えば、非特許文献１参照）。そこで、この予測領域をさらにブロック分割して変換領域とする場合、その特徴が予測残差信号を符号化する際に使用されるＤＳＴの基底の特徴と合致する変換領域が存在する。これを利用してＤＳＴを適用する技法が開示されている（例えば、特許文献１参照）。
特開２０１４-３６２７８号公報
鄭 文涛、他，"統計的動き分布モデルに基づく動き補償フレーム間差分信号の特性解析"、D-II，Vol.J84-D-II, No．9，pp．2001-2010, 2001年09月01日
前述したように、非特許文献１では、インター予測における動き補償処理の特徴としてその符号化に係る当該予測領域の端点（即ち、予測画像のブロックの外周部に位置する画素信号に対する予測残差信号）では、予測誤差量が統計的に大きいことが示され、これに基づいて特許文献１ではＤＳＴを適用する技法が開示されている。
しかしながら、これは統計的に示されたものであるため、統計的に外れた画像について（例えば予測画像のブロックの外周付近に強いエッジなどの特徴がある場合など）では、ＤＳＴを適用することで、かえって符号化効率が低下してしまう問題がある。また、これらを解決するためにＤＳＴ，ＤＣＴのどちらを適用するかのフラグを立てて付帯情報として伝送するよう構成するとそのフラグの増加により符号化効率が低下してしまう恐れがある。
本発明の目的は、上述の問題に鑑みて、符号化効率を改善する画像符号化装置、画像復号化装置、及びこれらのプログラムを提供することにある。
本発明における画像符号化処理では、インター予測に用いる予測画像に対してもイントラ予測と同様に、符号化し復号済の隣接信号を利用して低域通過フィルタ処理を適用することで、インター予測の予測画像の最左側及び最上側の領域に対する予測残差信号を小さくするとともに、予測残差信号のブロックをブロック分割して、当該低域通過フィルタ処理の方向性に応じてＤＳＴ及びＤＣＴのいずれを適用するかをフラグ無しに決定し、対応する直交変換処理を実行するよう構成する。そして、本発明における画像復号処理においても、当該低域通過フィルタ処理の方向性に応じてＤＳＴ及びＤＣＴのいずれを適用するかをフラグ無しに決定し、原画像を復元する。
即ち、本発明の画像符号化装置は、動画像を構成するフレーム単位の原画像をブロック分割し符号化する画像符号化装置であって、ブロック単位の原画像の各画素信号に対して復号済み隣接信号を用いることなく信号予測を行う所定の隣接画素非参照予測によって予測信号よりなるブロック単位の予測画像を生成する隣接画素非参照予測手段と、前記予測画像のブロックに対して隣接する当該復号済み隣接信号を用いて、該予測画像のブロックの境界に位置する予測信号に対して低域通過フィルタ処理を施すことにより新たな予測画像のブロックを生成するフィルタ処理手段と、前記原画像の符号化対象ブロックの各画素信号に対する当該低域通過フィルタ処理後の予測画像のブロックの各予測信号の誤差を算出し、ブロック単位の予測残差信号を生成する予測残差信号生成手段と、前記ブロック単位の予測残差信号に対して予め指定されたブロック形状に分割するブロック分割手段、及びブロック分割された予測残差信号の各分割ブロックについて、当該低域通過フィルタ処理を適用した位置に応じた複数種の直交変換処理を選択適用する直交変換選択適用手段を有する直交変換手段と、を備えることを特徴とする。
また、本発明の画像符号化装置において、前記所定の隣接画素非参照予測は、インター予測、イントラブロックコピー予測、及びクロスコンポーネント信号予測うちいずれかを含むことを特徴とする。
また、本発明の画像符号化装置において、前記フィルタ処理手段は、前記隣接画素非参照予測手段によって生成された予測画像のブロック内の予測信号のうち、前記復号済み隣接信号と隣接する予測信号が平滑化されるよう当該低域通過フィルタ処理を施すことを特徴とする。
また、本発明の画像符号化装置において、前記直交変換手段におけるブロック分割手段は、予め規定したブロックサイズに対し縦・横に２倍したサイズよりも大きいブロックサイズの予測画像のブロックに対応する予測残差信号のブロックについて分割するときは、前記復号済み隣接信号と隣接する位置の分割ブロックを当該規定したブロックサイズとなるよう分割する手段を有することを特徴とする。
また、本発明の画像符号化装置において、前記直交変換手段におけるブロック分割手段は、当該低域通過フィルタ処理を適用した画素位置を含む分割ブロックについては、予め規定したブロックサイズとすることを特徴とする。
また、本発明の画像符号化装置において、前記直交変換手段における直交変換選択適用手段は、当該分割された予測残差信号の分割ブロックのうち、当該低域通過フィルタ処理を適用した画素が最上側にあり、当該低域通過フィルタ処理の適用方向が垂直方向である際には、当該最上側に位置する予測残差信号の分割ブロックに対して縦方向ＤＳＴ及び横方向ＤＣＴの第１直交変換処理を適用し、当該低域通過フィルタ処理を適用した画素が最左側にあり、当該低域通過フィルタ処理の適用方向が水平方向である際には、当該最左側に位置する予測残差信号の分割ブロックに対して横方向ＤＳＴ及び縦方向ＤＣＴの第２直交変換処理を適用し、当該低域通過フィルタ処理を適用した画素が当該最上側であり、且つ当該最左側にあるとともに、当該低域通過フィルタ処理の適用方向が角フィルタ処理の適用方向である際には、縦・横方向ＤＳＴの第３直交変換処理を適用し、当該低域通過フィルタ処理を適用した画素が存在しない予測残差信号の分割ブロックについては、縦・横方向にＤＣＴの第４直交変換処理を適用することを特徴とする。
また、本発明の画像符号化装置において、前記フィルタ処理手段は、前記ブロック分割手段に基づく分割ブロックごとの局部復号画像を取得し、該局部復号画像を取得する度に当該隣接画素非参照予測によって生成された予測画像のブロック内の予測信号を置き換えて、該分割ブロックのブロックサイズ単位で、当該置き換えられた予測画像のブロック内の予測信号のうち、該予測画像に対して隣接する当該復号済み隣接信号と、該分割ブロックごとの局部復号画像を用いて、それぞれのブロックサイズに応じた低域通過フィルタ処理を施す手段を有することを特徴とする。
更に、本発明の画像復号装置は、動画像を構成するフレームをブロック分割し符号化された信号を復号する画像復号装置であって、ブロック単位の各画素信号に対して復号済み隣接信号を用いることなく信号予測を行う所定の隣接画素非参照予測によって予測信号よりなるブロック単位の予測画像を生成する隣接画素非参照予測手段と、前記予測画像のブロックに対して隣接する当該復号済み隣接信号を用いて、該予測画像のブロックの境界に位置する予測信号に対して低域通過フィルタ処理を施すことにより新たな予測画像のブロックを生成するフィルタ処理手段と、当該復元したブロック単位の変換係数が画像符号化側によってブロック分割されていた変換係数に対して、当該低域通過フィルタ処理を適用した位置に応じた複数種の逆直交変換処理を選択適用し、予測残差信号の分割ブロックを生成する直交変換選択適用手段、及び当該予測残差信号の分割ブロックを基に当該予測画像のブロックサイズに対応するブロックを再構成するブロック再構成手段を有する逆直交変換手段と、を備えることを特徴とする。
また、本発明の画像復号装置において、前記フィルタ処理手段は、前記ブロック分割手段に基づく分割ブロックごとの局部復号画像を取得し、該局部復号画像を取得する度に当該隣接画素非参照予測によって生成された予測画像のブロック内の予測信号を置き換えて、該分割ブロックのブロックサイズ単位で、当該置き換えられた予測画像のブロック内の予測信号のうち、該予測画像に対して隣接する当該復号済み隣接信号と、該分割ブロックごとの局部復号画像を用いて、それぞれのブロックサイズに応じた低域通過フィルタ処理を施す手段を有することを特徴とする。
更に、本発明のプログラムは、コンピュータを、本発明の画像符号化装置又は画像復号装置として機能させる。
本発明によれば、予測画像の予測信号と、隣接する復号済みブロック信号との間に生じる信号誤差が低減され符号化効率が改善するため、符号化効率の高い映像符号化方式の画像符号化装置及び画像復号装置を実現することができる。即ち、符号化側では、予測残差信号における残差成分をより少なくすることができ、符号化伝送する情報量を低減させることにより符号化効率を改善することができる。また、復号側では、このように低減させた情報量でも復号することができる。
（ａ）は、本発明による第１実施形態の画像符号化装置における予測画像に係るフィルタ処理部周辺のブロック図であり、（ｂ）は、その予測画像のフィルタ処理例を示す説明図である。 （ａ），（ｂ），（ｃ）は、それぞれ本発明に係る隣接画素非参照予測を例示する説明図である。 本発明による第１実施形態の画像符号化装置の一実施例を示すブロック図である。 本発明による第１実施形態の画像符号化装置における予測画像のフィルタ処理に関するフローチャートである。 本発明による第１実施形態の画像符号化装置における予測画像のフィルタ処理に関する説明図である。 本発明による第１実施形態の画像復号装置における予測画像に係るフィルタ処理部周辺のブロック図である。 本発明による第１実施形態の画像復号装置の一実施例を示すブロック図である。 本発明による第２実施形態の画像符号化装置又は画像復号装置におけるフィルタ処理部のブロック図である。 本発明による第２実施形態の画像符号化装置又は画像復号装置における予測画像のフィルタ処理に関するフローチャートである。 （ａ），（ｂ）は、それぞれ本発明による第２実施形態の画像符号化装置又は画像復号装置における予測画像のフィルタ処理に関する説明図である。 （ａ）は、本発明による第３実施形態の画像符号化装置におけるフィルタ処理部及び直交変換選択制御部周辺のブロック図であり、（ｂ）,（ｃ）は、直交変換の基底波形の一例を示す図である。 本発明による第３実施形態の画像符号化装置における第１実施例を示すブロック図である。 本発明による第３実施形態の画像符号化装置における第１実施例の直交変換選択制御処理に関するフローチャートである。 本発明による第３実施形態の画像符号化装置における第２実施例を示すブロック図である。 本発明による第３実施形態の画像符号化装置における第２実施例の直交変換選択制御処理に関するフローチャートである。 本発明による第３実施形態の画像復号装置におけるフィルタ処理部及び逆直交変換選択制御部周辺のブロック図である。 本発明による第３実施形態の画像復号装置における一実施例を示すブロック図である。 本発明による第３実施形態の画像復号装置における一実施例の逆直交変換選択制御処理に関するフローチャートである。 （ａ）は、本発明による第４実施形態の画像符号化装置における予測画像に係るフィルタ処理部周辺のブロック図であり、（ｂ）は、その予測画像のフィルタ処理例を示す説明図である。 （ａ），（ｂ），（ｃ）は、それぞれ本発明に係る予測画像に関するブロック分割後の直交変換適用ブロックを例示する説明図である。 本発明による第４実施形態の画像符号化装置の一実施例を示すブロック図である。 本発明による第４実施形態の画像符号化装置における予測画像のフィルタ処理に関するフローチャートである。 本発明による第４実施形態の画像符号化装置における直交変換処理に関するフローチャートである。 本発明による第４実施形態の画像復号装置における予測画像に係るフィルタ処理部周辺のブロック図である。 本発明による第４実施形態の画像復号装置の一実施例を示すブロック図である。 （ａ），（ｂ）は、それぞれ本発明による第５実施形態の画像符号化装置及び画像復号装置におけるフィルタ処理部周辺のブロック図である。 本発明による第５実施形態の画像符号化装置又は画像復号装置における予測画像のフィルタ処理に関するフローチャートである。 本発明による第５実施形態の画像符号化装置又は画像復号装置における予測画像のフィルタ処理に関する説明図である。 （ａ），（ｂ），（ｃ），（ｄ）は、従来技法におけるイントラ予測に関する説明図である。
以下、本発明による各実施形態の画像符号化装置及び画像復号装置について順に説明する。
〔第１実施形態〕
（画像符号化装置）
まず、本発明による第１実施形態の画像符号化装置１における本発明に係る主要な構成要素である予測画像に係るフィルタ処理部１２について図１及び図２を参照して説明し、その具体的な典型例の画像符号化装置１について図３乃至図５を参照して説明する。
図１（ａ）は、本発明による第１実施形態の画像符号化装置１における予測画像に係るフィルタ処理部１２周辺のブロック図であり、図１（ｂ）は、フィルタ処理部１２によるその予測画像のフィルタ処理例を示す説明図である。
図１（ａ）に示すように、本発明による第１実施形態の画像符号化装置１では、隣接画素非参照予測部１１、フィルタ処理部１２、予測残差信号生成部１３、及び直交変換部１４を備えるように構成される。
隣接画素非参照予測部１１は、原画像の符号化対象領域について、隣接する復号済みの信号（復号済み隣接信号）を用いることなく予測画像を生成する信号予測処理を行う機能部である。本願明細書中、このような信号予測を「隣接画素非参照予測」と称しており、隣接画素非参照予測には、例えば、フレーム間の動き補償予測を行うインター予測、同一フレームの異なる復号済みの部分画像をコピーして予測画像を生成するイントラブロックコピー（Intra Block Copy）予測、及び或るフレームの対応するブロック位置の輝度信号と色差信号とのコンポーネント信号間の相関性を利用して予測画像を生成する信号予測（本願明細書中、「クロスコンポーネント信号予測」と称する）等が含まれる。
例えば、インター予測では、図２（ａ）に示すように、或るＧＯＰ構造の複数のフレームＦ１〜Ｆ６において、フレームＦ１をＩフレーム（イントラフレーム）とすると、Ｐフレーム（予測インターフレーム）のように過去のＩフレームやＰフレームを参照して予測画像を生成する場合や、Ｂフレーム（双予測インターフレーム）のように過去と将来のフレーム等複数のフレームを参照して予測画像を生成する。
また、イントラブロックコピー予測では、図２（ｂ）に示すように、同一フレームＦの異なる復号済みの部分画像Ｂｋｒを参照しコピーして予測画像Ｂｋｐを生成する。
また、クロスコンポーネント信号予測では、図２（ｃ）に示すように、コンポーネント信号間の相関性を利用し、或るフレームＦの対応するブロック位置の輝度信号（例えば、Ｙ信号）の局部復号画像Ｂｋｒを参照し色差信号（例えば、Ｕ/Ｖ信号）の予測画像に対して重み付け加算による合成処理を施して色差信号（例えば、Ｕ/Ｖ信号）の修正予測画像Ｂｋｐを生成する。このようなクロスコンポーネント信号予測に関する詳細は、特開２０１４-１５８２７０号公報を参照されたい。
これらの隣接画素非参照予測は、原画像の符号化対象領域のブロックに隣接する領域として復号済み領域を持ちながら、その隣接画素間の相関の高さを利用せず信号予測を行う点で共通している。
第１実施形態におけるフィルタ処理部１２は、隣接画素非参照予測部１１によって生成された予測画像のブロック内の画素信号（予測信号）のうち、該予測画像に対して左側と上側のそれぞれに隣接する復号済みの信号（復号済み隣接信号）を用いて、該予測信号に対して低域通過フィルタ処理を施すことにより新たな予測信号よりなる予測画像を生成し、予測残差信号生成部１３に出力する機能部である。
例えば、図１（ｂ）に示すように、フィルタ処理部１２は、原画像の符号化対象領域のブロックＢｋｏに対応する４×４の画素信号ｐよりなる予測画像のブロックＢｋｐが隣接画素非参照予測部１１によって生成されたとすると、該予測画像に対して左側と上側に隣接する当該予測画像のブロックＢｋｐのブロック境界周辺における復号済み隣接信号Ｓｏを用いて、当該予測画像における最左側及び最上側の画素信号（予測信号）をフィルタ対象領域の信号Ｓｆとして、それぞれ例えば水平方向及び垂直方向の平滑化フィルタ等の低域通過フィルタ処理を施すことにより、新たな予測信号よりなる予測画像を生成する。
予測残差信号生成部１３は、原画像の符号化対象領域のブロック（符号化対象ブロック）Ｂｋｏの各画素信号（原信号）に対する、フィルタ処理部１２から得られる予測画像のブロックＢｋｐの各画素信号（予測信号）の誤差を算出し、予測残差信号として直交変換部１４に出力する。
直交変換部１４は、予測残差信号生成部１３から入力された予測残差信号に対して所定の直交変換処理を施し、その変換係数の信号を生成する。例えば、この所定の直交変換処理として、ＤＣＴやＤＳＴ等符号化方式で用いられる直交変換処理、或いはそれを整数に近似したＨ.２６４やＨ.２６５で規定される整数直交変換処理とすることができ、利用する符号化方式に従うものであればよい。
第１実施形態の画像符号化装置１は、この変換係数の信号に対して量子化処理及びエントロピー符号化処理を施して外部に出力する。そして、エントロピー符号化処理では、各種符号化パラメータ等と一緒にＣＡＢＡＣで代表される算術符号化等で符号に変換して映像を伝送することができる。尚、符号化パラメータには、インター予測パラメータやイントラ予測パラメータ、ブロック分割に係るブロックサイズのパラメータ（ブロック分割パラメータ）や量子化処理に係る量子化パラメータ等の選択設定可能なパラメータを含めて伝送することができる。
次に、隣接画素非参照予測部１１の代表的な例としてインター予測によるインター予測部１１ａを説明し、その予測画像のブロックの予測信号に対して、フィルタ処理部１２によりフィルタ処理を施す画像符号化装置１の構成及びその動作例について、図３乃至図５を参照して説明する。
図３は、本発明による第１実施形態の画像符号化装置１の一実施例を示すブロック図である。図３に示す画像符号化装置１は、前処理部１０と、インター予測部１１ａと、フィルタ処理部１２と、予測残差信号生成部１３と、直交変換部１４と、量子化部１５と、逆量子化部１６と、逆直交変換部１７と、復号画像生成部１８と、ループ内フィルタ部１９と、フレームメモリ２０と、イントラ予測部２１と、動きベクトル計算部２２と、エントロピー符号化部２３と、予測画像選択部２４とを備える。
前処理部１０は、入力される動画像データのフレーム毎の原画像について所定のブロックサイズの符号化対象ブロックに分割し、所定の順序で予測残差信号生成部１３に出力する。
予測残差信号生成部１３は、符号化対象ブロックの各画素信号に対する、フィルタ処理部１２から得られる予測画像のブロックの各画素信号の誤差を算出し、ブロック単位の予測残差信号として直交変換部１４に出力する。
直交変換部１４は、予測残差信号生成部１３から入力された予測残差信号に対して所定の直交変換処理を施し、その変換係数の信号を生成する。
量子化部１５は、直交変換部１４から得られる変換係数の信号に対して所定の量子化処理を施し、エントロピー符号化部２３及び逆量子化部１６に出力する。
逆量子化部１６は、量子化部１５から得られる量子化後の変換係数の信号に対して逆量子化処理を施し、逆直交変換部１７に出力する。
逆直交変換部１７は、逆量子化部１６から得られる逆量子化後の変換係数の信号に対して逆直交変換処理を施すことにより予測残差信号を復元し、復号画像生成部１８に出力する。
復号画像生成部１８は、イントラ予測部２１又はインター予測部１１ａで予測され、フィルタ処理部１２から得られた予測画像のブロックに、逆直交変換部１７により復元された予測残差信号を加算して局部復号画像のブロックを生成し、ループ内フィルタ部１９に出力する。
ループ内フィルタ部１９は、復号画像生成部１８から得られる局部復号画像のブロックに関して、例えばアダプティブ・ループ・フィルタ（ＡＬＦ：Adaptive Loop Filter）や画素適応オフセット（ＳＡＯ：Sample Adaptive Offset）、デブロッキングフィルタ等のループ内フィルタ処理を施し、フレームメモリ２０に出力する。これらのフィルタ処理に関するフィルタパラメータは符号化処理の付帯情報とする符号化パラメータの１つとしてエントロピー符号化部２３に出力される。
フレームメモリ２０は、ループ内フィルタ部１９を経て得られる局部復号画像のブロックを格納し、イントラ予測部２１、インター予測部１１ａ及び動きベクトル計算部２２により利用可能な参照画像として保持する。
イントラ予測部２１は、予測画像選択部２４による予測対象のフレーム内の信号のみで信号予測を行う信号選択時に、原画像の符号化対象ブロック内の画素信号（原信号）に対して、フレームメモリ２０に参照画像として格納されている当該符号化対象ブロックの左側や上側に隣接する符号化し復号済みのブロックの画素信号を用いてＤＣ予測、Ｐｌａｎｅｒ予測、或いは方向性予測を行い、外挿により予測された画素信号（予測信号）よりなる予測画像のブロックを生成し、フィルタ処理部１２に出力する。
尚、イントラ予測部２１で用いるＤＣ予測、Ｐｌａｎｅｒ予測、或いは方向性予測を識別するイントラ予測パラメータは符号化処理の付帯情報とする符号化パラメータの１つとしてエントロピー符号化部２３に出力される。
インター予測部１１ａは、予測画像選択部２４によるＰ/Ｂフレームに対してフレーム間の動き補償予測を行う信号選択時に、原画像の符号化対象ブロック内の画素信号（原信号）に対して、フレームメモリ２０に参照画像として格納されているデータを動きベクトル計算部２２から提供される動きベクトルで動き補償することにより予測画像のブロックを生成し、フィルタ処理部１２に出力する。
動きベクトル計算部２２は、フレームメモリ２０に格納されている参照画像のデータに対して、ブロックマッチング技法等を用いて原画像の符号化対象ブロックに最も類似している位置を探索し、その空間的なずれを示す値を動きベクトルとして算出し、インター予測部１１ａに出力する。
尚、動きベクトル計算部２２で算出される動きベクトルを含むインター予測に用いたインター予測パラメータは符号化処理の付帯情報とする符号化パラメータの１つとしてエントロピー符号化部２３に出力される。
エントロピー符号化部２３は、量子化部１５からの出力信号や各種の符号化パラメータに対してエントロピー符号化処理を施し、符号化された動画像データのストリーム信号を出力する。
フィルタ処理部１２の一動作例について、図４及び図５を参照して説明する。図４に示すように、フィルタ処理部１２は、イントラ予測部２１又はインター予測部１１ａからの予測画像を入力すると（ステップＳ１）、当該予測画像が隣接画素非参照予測であるか否か、即ち本例では予測画像選択部２４による信号選択に基づいてインター予測であるか否かを識別する（ステップＳ２）。尚、隣接画素非参照予測が前述したイントラブロックコピー予測やクロスコンポーネント信号予測である場合も同様である。
続いて、フィルタ処理部１２は、当該予測画像が隣接画素非参照予測ではない、即ち本例ではイントラ予測であると判定するときは（ステップＳ２：Ｎｏ）、予め定めた処理方式によりフィルタ処理を実行するか否かを判定する（ステップＳ５）。イントラ予測の予測画像に対してフィルタ処理を実行しない場合（ステップＳ５：Ｎｏ）、フィルタ処理部１２は、当該予測信号に対してフィルタ処理を実行することなく予測残差信号生成部１３に出力する（ステップＳ６）。一方、イントラ予測の予測画像に対してフィルタ処理を実行する場合（ステップＳ５：Ｙｅｓ）、フィルタ処理部１２は、ステップＳ３に移行する。尚、イントラ予測の予測画像に対するフィルタ処理は、現在規定されているＨ.２６５と同様に処理すればよく、本発明の主旨とは直接関係していないため、ステップＳ３の説明はインター予測の予測画像に対してフィルタ処理を実行する例を説明する。
フィルタ処理部１２は、当該予測画像が隣接画素非参照予測である、即ち本例ではインター予測であると判定すると（ステップＳ２：Ｙｅｓ）、当該予測画像から予め定めたフィルタ処理対象領域の画素信号（予測信号）を選出する（ステップＳ３）。例えば、図５に例示するように、４×４の予測画像のブロック内の画素信号（予測信号）のうち、該予測画像の最左側と最上側の画素信号（予測信号）をフィルタ処理対象領域Ｓｆとして定める。
続いて、フィルタ処理部１２は、当該予測画像に対して左側と上側に隣接する復号済みの信号（復号済み隣接信号）を用いて、選出したフィルタ処理対象領域の画素信号（予測信号）に対して低域通過フィルタ処理を施すことにより新たな予測信号よりなる予測画像を生成し、予測残差信号生成部１３に出力する（ステップＳ４）。例えば、図５に例示するように、フィルタ処理部１２は、４×４の予測画像のブロックＢｋｐ内の画素信号（予測信号）のうち、フィルタ処理対象領域Ｓｆにおける水平フィルタ領域、垂直フィルタ領域、及び角フィルタ領域のそれぞれについて、予め定めた重み係数の平滑化フィルタ処理を施し、予測残差信号生成部１３に出力する。
尚、フィルタ処理部１２によるフィルタ処理は低域通過フィルタ処理であればよく、平滑化フィルタ以外のフィルタ処理を適用することもでき、そのフィルタ処理に利用する復号済み隣接信号の領域や重み係数も図５に示す例に限定する必要はない。例えば大サイズ符号化ブロックの場合、複数行または列に対してフィルタ処理を適用してもよい。また、フィルタ処理部１２によるフィルタ処理に係るフィルタ種別やフィルタ処理対象領域、及び重み係数は、符号化処理の付帯情報として伝送するように構成することもできるが、送受間（符号化・復号間）で予め定めておけば伝送する必要もない。
このようにフィルタ処理部１２によって予測画像に対してフィルタ処理を施すことで、直交変換部１４の直交変換処理の種別に関わらず、予測画像内の最左側と最上側の画素信号（予測信号）と、これに隣接する復号済み信号との間に生じる信号誤差が低減され、映像の符号化効率を改善することができる。
（画像復号装置）
次に、本発明による第１実施形態の画像復号装置５における本発明に係る主要な構成要素であるフィルタ処理部５４とその周辺機能ブロックについて図６を参照して説明し、その具体的な典型例の画像復号装置５について図７を参照して説明する。
図６は、本発明による第１実施形態の画像復号装置５における予測画像に係るフィルタ処理部５４周辺のブロック図である。図６に示すように、本発明による第１実施形態の画像復号装置５では、逆直交変換部５２、隣接画素非参照予測部５３、フィルタ処理部５４、及び復号画像生成部５５を備えるように構成される。
逆直交変換部５２は、画像符号化装置１側から伝送されたストリーム信号を受信しエントロピー復号処理及び逆量子化処理を経て復元された変換係数に対して、逆直交変換処理を施し、得られる予測残差信号を復号画像生成部５５に出力する。
隣接画素非参照予測部５３は、画像符号化装置１側の隣接画素非参照予測部１１と対応する機能部であり、隣接する復号済みの信号（復号済み隣接信号）を用いることなく予測画像を生成する信号予測処理を行う。隣接画素非参照予測には、例えば、フレーム間の動き補償予測を行うインター予測、同一フレームの異なる復号済みの部分画像をコピーして予測画像を生成するイントラブロックコピー（Intra Block Copy）予測、及び或るフレームの対応するブロック位置の輝度信号と色差信号とのコンポーネント信号間の相関性を利用して予測画像を生成するクロスコンポーネント信号予測等が含まれる。
第１実施形態のフィルタ処理部５４は、画像符号化装置１側のフィルタ処理部１２と対応する機能部であり、隣接画素非参照予測部５３によって生成された予測画像のブロック内の画素信号（予測信号）のうち、該予測画像に対して左側と上側のそれぞれに隣接する復号済みの信号（復号済み隣接信号）を用いて、該予測信号に対して低域通過フィルタ処理を施すことにより新たな予測信号よりなる予測画像を生成し、復号画像生成部５５に出力する。
復号画像生成部５５は、後述するフィルタ処理部５４から得られる予測画像のブロックに、逆直交変換部５２により復元された予測残差信号を加算して復号信号よりなる復号画像のブロックを生成する機能部である。
即ち、画像符号化装置１におけるフィルタ処理部１２によって予測画像に対してフィルタ処理を経て生成された予測残差信号は、映像の符号化効率が改善された状態で伝送されており、画像復号装置５は、この伝送に係る映像を効率よく復元することができる。尚、フィルタ処理部５４においても、フィルタ処理部１２の場合と同様に、そのフィルタ処理は低域通過フィルタ処理であればよく、平滑化フィルタ以外のフィルタを適用することもでき、そのフィルタ処理に利用する復号済み隣接信号の領域や重み係数も適宜定めればよい。そして、画像符号化装置１側からフィルタ処理部１２によるフィルタ処理に係るフィルタ種別やフィルタ処理対象領域、及び重み係数は、送受間（符号化・復号間）で予め定めておくか、又は符号化処理の付帯情報として伝送されているときは、これに従って画像復号装置５のフィルタ処理部５４も同様にフィルタ処理を行うことで、その復号信号の精度を高めることができる。
次に、隣接画素非参照予測部５３の代表的な例としてインター予測によるインター予測部５３ａを説明し、そのインター予測による予測信号に対して、フィルタ処理部５４によりフィルタ処理を施す画像復号装置５の構成及びその動作例について、図７を参照して説明する。
図７は、本発明による第１実施形態の画像復号装置５の一実施例を示すブロック図である。図７に示す画像復号装置５は、エントロピー復号部５０と、逆量子化部５１と、逆直交変換部５２と、インター予測部５３ａと、フィルタ処理部５４と、復号画像生成部５５と、ループ内フィルタ部５６と、フレームメモリ５７と、イントラ予測部５８と、予測画像選択部５９とを備える。
エントロピー復号部５０は、画像符号化装置１側から伝送されたストリーム信号を受信し、画像符号化装置１のエントロピー符号化処理に対応するエントロピー復号処理を施すことにより得られる各種符号化パラメータを各機能ブロックに出力するとともに、量子化された変換係数を逆量子化部５１に出力する。各種符号化パラメータとして、例えばフィルタパラメータ、イントラ予測パラメータ及びインター予測パラメータは、それぞれループ内フィルタ部５６、イントラ予測部５８、及びインター予測部５３ａに出力される。
逆量子化部５１は、エントロピー復号部５０から得られる量子化された変換係数に対して画像符号化装置１の量子化処理に対応する逆量子化処理を施し、その変換係数を逆直交変換部５２に出力する。
逆直交変換部５２は、逆量子化部５１から得られる変換係数に対して画像符号化装置１の直交変換処理に対応する逆直交変換処理を施すことにより予測残差信号を復元し、復号画像生成部５５に出力する。
復号画像生成部５５は、イントラ予測部５８又はインター予測部５３ａで予測され、フィルタ処理部５４によって低域通過フィルタを施すことにより生成された予測画像のブロックに、逆直交変換部５２により復元された予測残差信号を加算して復号画像のブロックを生成し、ループ内フィルタ部５６に出力する。
ループ内フィルタ部５６は、画像符号化装置１側のループ内フィルタ処理と対応するフィルタ処理を施し、フレームメモリ５７に出力する。
フレームメモリ５７は、ループ内フィルタ部５６を経て得られる復号画像のブロックを格納し、イントラ予測部５８及びインター予測部５３ａにより利用可能な参照画像として保持する。
イントラ予測部５８は、予測画像選択部５９による予測対象のフレーム内の信号のみで信号予測を行う信号選択時に、イントラ予測パラメータと、フレームメモリ５７に参照画像として格納されている当該復号対象ブロックの左側や上側に隣接する復号済みのブロックの画素信号を用いて、画像符号化装置１側のイントラ予測部２１と対応する予測処理を施すことにより予測画像のブロックを生成し、フィルタ処理部５４に出力する。
インター予測部５３ａは、予測画像選択部５９によるＰ/Ｂフレームに対してフレーム間の動き補償予測を行う信号選択時に、インター予測パラメータに含まれる動きベクトルを用いて、フレームメモリ２０に参照画像として格納されているデータを動き補償することにより予測画像のブロックを生成し、フィルタ処理部５４に出力する。
尚、フレームメモリ５７に格納された復号済のデータからフレームを構成し、復号画像として出力するよう構成することができる。
フィルタ処理部５４は、その動作として図４及び図５を参照して例示説明したものと同様に動作する。即ち、フィルタ処理部５４における本発明に係るフィルタ処理は、当該予測画像が隣接画素非参照予測である、即ち本例ではインター予測である際に、当該予測画像から予め定めたフィルタ処理対象領域の画素信号（予測信号）を選出し、当該予測画像に対して左側や上側に隣接する復号済みの信号（復号済み隣接信号）を用いて、当該選出したフィルタ処理対象領域の画素信号（予測信号）に対して低域通過フィルタ処理を施すことにより新たな予測信号よりなる予測画像を生成し、復号画像生成部５５に出力する。例えば、図５に例示したように、フィルタ処理部５４は、当該予測画像のブロックＢｋｐのブロック境界周辺における復号済み隣接信号Ｓｏを用いて、当該予測画像のブロックＢｋｐ内の画素信号（予測信号）のうち、フィルタ処理対象領域Ｓｆにおける水平フィルタ領域、垂直フィルタ領域、及び角フィルタ領域のそれぞれについて、予め定めた重み係数の平滑化フィルタ処理を施し、復号画像生成部５５に出力する。
以上のように構成された第１実施形態の画像符号化装置１及び画像復号装置５によれば、予測画像の予測信号と、隣接する復号済みブロック信号との間に生じる信号誤差が低減され符号化効率が改善するため、符号化効率の高い映像符号化方式の画像符号化装置及び画像復号装置を実現することができる。即ち、予測残差信号における残差成分をより少なくすることができ、符号化伝送する情報量を低減させることにより符号化効率を改善することができる。
〔第２実施形態〕
次に、本発明による第２実施形態の画像符号化装置１及び画像復号装置５におけるそれぞれのフィルタ処理部１２，５４について図８を参照して説明する。第１実施形態のフィルタ処理部１２，５４では、隣接画素非参照予測によって生成された予測画像のブロック内の画素信号（予測信号）のうち、該予測画像に対して左側と上側のそれぞれに隣接する復号済みの信号（復号済み隣接信号）を用いて、該予測信号に対して低域通過フィルタ処理を施すことにより新たな予測信号よりなる予測画像を生成する例を説明した。
一方、本実施形態のフィルタ処理部１２，５４では、隣接画素非参照予測によって生成された予測画像のブロック内の画素信号（予測信号）のうち、当該低域通過フィルタ処理で参照する当該復号済み隣接信号を用いて、当該低域通過フィルタ処理の対象とする予測信号に対して低域通過フィルタ処理を施すか否かを決定するための相関判定を行い、この相関判定の結果に応じて低域通過フィルタ処理を適用するか否かを決定するよう構成される。尚、同様な構成要素には同一の参照番号を付して説明する。従って、本実施形態のフィルタ処理部１２，５４は、図３及び図７にそれぞれ例示した画像符号化装置１及び画像復号装置５に適用することができるため、ここでは、本実施形態のフィルタ処理部１２，５４に係る処理内容についてのみ説明し、その更なる詳細な説明は省略する。
図８は、本実施形態の画像符号化装置１又は画像復号装置５におけるフィルタ処理部１２，５４のブロック図である。また、図９は、本実施形態の画像符号化装置１又は画像復号装置５における予測画像のフィルタ処理１２，５４に関するフローチャートである。
本実施形態のフィルタ処理部１２，５４は、水平方向相関判定部１０１と、垂直方向相関判定部１０２と、フィルタ処理決定部１０３と、フィルタ処理実行部１０４とを備える。これらの機能ブロックの動作について図９に示す処理例を参照しながら説明する。尚、本実施形態のフィルタ処理部１２，５４は、隣接画素非参照予測であるか否か、例えば、インター予測であるかイントラ予測であるかの区別なく処理するよう構成することもできるが、ここでは、本発明に係る隣接画素非参照予測の予測画像に対してフィルタ処理を施す例を説明する。
フィルタ処理部１２，５４は、予測画像を入力すると（ステップＳ１１）、水平方向相関判定部１０１及び垂直方向相関判定部１０２により、それぞれ個別に定められたフィルタ処理対象領域毎に、相関判定処理を実行する（ステップＳ１２）。
即ち、水平方向相関判定部１０１により該予測画像に対して左側に隣接する復号済み隣接信号との相関を判定し（ステップＳ１３）、水平方向の相関が高いと判定したときは（ステップＳ１３：Ｙｅｓ）、復号済み隣接信号を用いて水平フィルタ処理の実行を決定し（ステップＳ１４）、水平方向の相関が低いと判定したときは（ステップＳ１３：Ｎｏ）、水平フィルタ処理を非実行とする旨をフィルタ処理決定部１０３に出力する。
同様に、垂直方向相関判定部１０２により該予測画像に対して上側に隣接する復号済み隣接信号との相関を判定し（ステップＳ１５）、垂直方向の相関が高いと判定したときは（ステップＳ１５：Ｙｅｓ）、復号済み隣接信号を用いて垂直フィルタ処理の実行を決定し（ステップＳ１６）、垂直方向の相関が低いと判定したときは（ステップＳ１５：Ｎｏ）、垂直フィルタ処理を非実行とする旨をフィルタ処理決定部１０３に出力する。
フィルタ処理決定部１０３は、水平・垂直のフィルタ処理が共に実行するとして決定する旨を受け取ったか否かを判別し（ステップＳ１７）、水平・垂直のフィルタ処理を共に実行するとして決定する旨を受け取った場合には（ステップＳ１７：Ｙｅｓ）、水平・垂直双方のフィルタ処理と３タップの角フィルタ処理を実行するとして決定し（ステップＳ１８）、水平・垂直のフィルタ処理のいずれか一方又は双方を実行しないとする旨を受け取った場合には（ステップＳ１７：Ｎｏ）、水平の相関が高い時は水平方向のみのフィルタ処理、垂直方向の相関が高い時は垂直方向のみのフィルタ処理を実行するとして決定するとともに、それぞれ水平・垂直の一方のフィルタ処理のみの場合に角フィルタも水平、又は垂直のフィルタ処理を実行するとして決定する（ステップＳ１９）。
図９に示すステップＳ１３〜Ｓ１９までの処理順は単なる例であり順不同に構成することができる。したがって、フィルタ処理決定部１０３は、水平方向と垂直方向のそれぞれ個別に定められたフィルタ処理対象領域毎に相関判定を行い、フィルタ処理を「水平方向のみ実行」とするか、「垂直方向のみ実行」とするか、「水平・垂直・角の全てに実行」とするか、「水平・垂直・角のいずれも非実行」とするよう決定し、その旨をフィルタ処理実行部１０４に出力する。
フィルタ処理実行部１０４は、フィルタ処理決定部１０３の判定結果に応じたフィルタ処理を行ってフィルタ処理後の予測画像を出力し（ステップＳ２０）、フィルタ処理決定部１０３の判定結果が「水平・垂直・角のいずれも非実行」とする際には、フィルタ処理部１２，５４に入力された予測画像をそのまま出力する。
例えば、水平方向相関判定部１０１は、図１０（ａ）に示す４つの水平方向判定領域Ａ１〜Ａ４のそれぞれについて、隣接画素間の差分を求め、この差分の水平方向判定領域Ａ１〜Ａ４における合計値が所定の閾値以下であれば相関が高いと判定し、そうでなければ相関が低いと判定する。同様に、垂直方向相関判定部１０２は、図１０（ｂ）に示す４つの垂直方向判定領域Ｂ１〜Ｂ４のそれぞれについて、隣接画素間の差分を求め、この差分の垂直方向判定領域Ｂ１〜Ｂ４における合計値が所定の閾値以下であれば相関が高いと判定し、そうでなければ相関が低いと判定する。そして、相関が高い方向のフィルタ処理を図５に示すように適用することで、フィルタ処理を「水平方向のみ実行」とするか、「垂直方向のみ実行」とするか、「水平・垂直・角の全てに実行」とするか、「水平・垂直・角のいずれも非実行」とすることができる。そして、水平又は垂直のみのフィルタ処理を実行するときは、当該予測画像のブロックの角に位置する画素（予測信号）に対して水平又は垂直のフィルタを適用する。
尚、この相関判定領域と、フィルタ処理対象領域とを同じにする必要はないが同じくすることで処理が簡便になる。また、相関判定処理やフィルタ処理の具体的な処理方法は様々な技法が想定され、その一例を示したにすぎない点に留意する。
本実施形態のようにフィルタ処理部１２，５４を構成し、それぞれ画像符号化装置１及び画像復号装置５に適用することで、符号化効率を改善しつつ、これに起因する画質の劣化を抑制することができる。
〔第３実施形態〕
（画像符号化装置）
次に、本発明による第３実施形態の画像符号化装置１における本発明に係る主要な構成要素である予測画像に係るフィルタ処理部１２及び直交変換選択制御部２５について、図１（ｂ）及び図１１を参照して説明し、その具体的な２つの実施例の画像符号化装置１について図５、図１２乃至図１５を参照して説明する。以下の説明は、上述の実施形態との相違点に着目して行うものとする。即ち、本実施形態において、上述の実施形態と同様な構成要素には同一の参照番号を付しており、その更なる詳細な説明は省略する。
図１１（ａ）は、本実施形態の画像符号化装置１における予測画像に係るフィルタ処理部１２及び直交変換選択制御部２５周辺のブロック図であり、図１（ｂ）は、フィルタ処理部１２によるその予測画像のフィルタ処理例を示す説明図である。
図１１（ａ）に示すように、本実施形態の画像符号化装置１では、隣接画素非参照予測部１１、フィルタ処理部１２、予測残差信号生成部１３、直交変換部１４、及び直交変換選択制御部２５を備えるように構成される。
本実施形態におけるフィルタ処理部１２は、直交変換選択制御部２５の制御下で、隣接画素非参照予測部１１によって生成された予測画像のブロック内の画素信号（予測信号）のうち、該予測画像に対して左側と上側のそれぞれに隣接する復号済みの信号（復号済み隣接信号）を用いて、該予測信号に対して低域通過フィルタ処理を施すことにより新たな予測信号よりなる予測画像を生成し、予測残差信号生成部１３に出力する機能部である。
直交変換部１４は、直交変換選択制御部２５の制御下で、予測残差信号生成部１３から入力された予測残差信号に対して２種類の直交変換処理のうち一方を施し、その変換係数の信号を生成する。
例えば、この２種類の直交変換処理として、変換基底の端部が閉じた直交変換処理（例えば、ＤＳＴ（Discrete Sine Transform：離散サイン変換））か、又は変換基底の端部が開放した直交変換処理（例えば、ＤＣＴ（Discrete Cosine Transform：離散コサイン変換））とすることができ、実数精度とするか整数精度するかについて限定するものではないが、例えば整数に近似したＨ.２６４やＨ.２６５で規定される整数直交変換処理とすることができ、利用する符号化方式に従うものであればよい。
ここで、直交変換の基底波形の一例を図１１（ｂ）及び図１１（ｃ）に示す。図１１（ｂ）及び図１１（ｃ）に示す例は、４×４の予測残差信号のブロックに対し直交変換する際に利用可能な４点の変換基底（Ｎ＝４）について、ＤＣＴ変換基底（図１１（ｂ））及びＤＳＴ変換基底（図１１（ｃ））におけるそれぞれコサイン及びサインの各周波数成分のパターンとして、低域から高域までの変換基底波形（ＤＣＴではｕ＝０〜３、ＤＳＴではｕ＝１〜４）を例示している。図１１（ｂ）及び図１１（ｃ）に示すように、ＤＣＴのｕ＝０とＤＳＴのｕ＝４以外の主な違いは位相であり、対応する周波数の各変換基底（例えばｕ＝２）は、同じ周波数で画素間相関が同値（基底振幅が同じ）であるが、位相はπ/２ずれていることが分かる。そして、いずれの変換基底波形においても、ＤＣＴでは、図１１（ｂ）に示すように、その端点が大きい値を持ち開放となり、変換基底の端部が開放した直交変換処理を実現する。一方で、ＤＳＴでは、図１１（ｃ）に示すように、その端点が小さい値を持ち閉じており、変換基底の端部が閉じた直交変換処理を実現する。
なお、「変換基底の端部が閉じた直交変換処理」とは、予測残差信号のブロックにおいて当該予測参照ブロックに対し近接側となる一端が閉じたものを云い、例えば、図１１（ｃ）に示すように、他端が開放している変換基底の非対称ＤＳＴタイプ７としてもよい。
直交変換選択制御部２５は、隣接画素非参照予測時に、所定の評価基準の基で、フィルタ処理部１２により当該予測画像のブロック境界に位置する画素値（予測信号）に対し低域通過フィルタ処理を実行させたときは、この低域通過フィルタ処理後の予測画像のブロックを基に予測残差信号生成部１３から得られる予測残差信号のブロックに対し、変換基底の端部が閉じた直交変換処理（例えば、ＤＳＴ）を用いるよう直交変換部１４に指示し、当該所定の評価基準の基で、予測画像のブロックに当該低域通過フィルタ処理を実行させないときは、当該予測残差信号のブロックに対し、変換基底の端部が開放した直交変換処理（例えば、ＤＣＴ）を用いるよう直交変換部１４に指示することで、直交変換種別を選択制御する。尚、直交変換選択制御部２５は、２種類の直交変換処理のうちいずれを適用したかを示す変換種別識別信号を符号化パラメータの１つとして復号側に出力する。
直交変換選択制御部２５における所定の評価基準として、２つの実施例を説明する。
詳細は後述するが、第１実施例では、直交変換選択制御部２５は、フィルタ処理部１２に対し、図１（ｂ）に示すようなフィルタ処理対象領域の信号を選出させ、復号済み隣接信号を用いて低域通過フィルタ処理の仮実行を指示し、フィルタ処理部１２から、当該フィルタ処理の実行／非実行の各予測画像を予測ブロック情報（ｅｓｔ１）として取得する。続いて、直交変換選択制御部２５は、この予測ブロック情報（ｅｓｔ１）から、当該フィルタ処理の実行／非実行の各予測画像を比較し、その予測領域の端点（即ち、予測画像のブロックの外周部に位置する画素信号に対する予測残差信号）の影響が当該ブロックサイズ（本例では４×４を例示するが、ブロックサイズは問わない）に対し相対的に大きいと判断されるときは、当該フィルタ処理の実行後の予測画像をフィルタ処理部１２から予測残差信号生成部１３に出力させる。そして、直交変換選択制御部２５は、この低域通過フィルタ処理後の予測画像のブロックを基に予測残差信号生成部１３から得られる予測残差信号のブロックに対し、変換基底の端部が閉じた直交変換処理（例えば、ＤＳＴ）を用いるよう直交変換部１４に指示するよう制御する。
一方、直交変換選択制御部２５は、フィルタ処理部１２から得られる当該フィルタ処理の実行／非実行の各予測画像を比較し、その予測領域の端点（即ち、予測画像のブロックの外周部に位置する画素信号に対する予測残差信号）の影響が当該ブロックサイズ（本例では４×４を例示するが、ブロックサイズは問わない）に対し相対的に小さいと判断されるときは、当該フィルタ処理について非実行の予測画像をフィルタ処理部１２から予測残差信号生成部１３に出力させる。そして、直交変換選択制御部２５は、この低域通過フィルタ処理について非実行の予測画像のブロックを基に予測残差信号生成部１３から得られる予測残差信号のブロックに対し、変換基底の端部が開放した直交変換処理（例えば、ＤＣＴ）を用いるよう直交変換部１４に指示するよう制御する。
ここで、当該予測領域の端点の影響が当該ブロックサイズ（本例では４×４を例示するが、ブロックサイズは問わない）に対し相対的に大きいか否かは、様々な評価方法が想定されるが、例えば、当該予測領域の端点の密度分布の分散値と、当該ブロックサイズ全体の密度分布の分散値との割合比較で所定レベル以上であるか否かで判定すればよい。このように、第１実施例では、直交変換選択制御部２５は、当該フィルタ処理によるフィルタ処理効果が所定レベル以上であるか否かの判定基準を基に、フィルタ処理の実行の有無を決定し、更にフィルタ処理の実行の有無に応じて適用する直交変換処理の種別を決定し、フィルタ処理部１２及び直交変換部１４を制御する。
また、第２実施例では、直交変換選択制御部２５は、フィルタ処理部１２に対し、図１（ｂ）に示すようなフィルタ処理対象領域の信号を選出させ、復号済み隣接信号を用いて低域通過フィルタ処理の仮実行を指示し、そのフィルタ処理の実行時に変換基底の端部が閉じた直交変換処理（例えば、ＤＳＴ）を用いて直交変換して量子化処理及びエントロピー符号化処理した場合と、そのフィルタ処理の非実行時に変換基底の端部が開放した直交変換処理（例えば、ＤＣＴ）を用いて直交変換して量子化処理及びエントロピー符号化処理した場合における、発生符号化量（Ｒ）と符号化歪み量（Ｄ）のレート歪み情報（ｅｓｔ２）を取得して比較し、ＲＤコストとして優れている方の組み合わせ（例えばフィルタ処理の実行・ＤＳＴの組み合わせと、フィルタ処理の非実行・ＤＣＴの組み合わせ）を選択する。
このようなＲＤ最適化により、直交変換選択制御部２５は、「フィルタ処理の実行・変換基底の端部が閉じた直交変換処理」の組み合わせが優れていれば、当該フィルタ処理の実行後の予測画像をフィルタ処理部１２から予測残差信号生成部１３に出力させ、この低域通過フィルタ処理後の予測画像のブロックを基に予測残差信号生成部１３から得られる予測残差信号のブロックに対し、変換基底の端部が閉じた直交変換処理（例えば、ＤＳＴ）を用いるよう直交変換部１４に指示するよう制御する。
一方、「フィルタ処理の非実行・変換基底の端部が開放した直交変換処理」の組み合わせが優れていれば、直交変換選択制御部２５は、当該フィルタ処理について非実行の予測画像をフィルタ処理部１２から予測残差信号生成部１３に出力させ、この低域通過フィルタ処理について非実行の予測画像のブロックを基に予測残差信号生成部１３から得られる予測残差信号のブロックに対し、変換基底の端部が開放した直交変換処理（例えば、ＤＣＴ）を用いるよう直交変換部１４に指示するよう制御する。
このように、第２実施例では、直交変換選択制御部２５は、ＲＤ最適化を基に、フィルタ処理の実行の有無を決定し、更にフィルタ処理の実行の有無に応じて適用する直交変換処理の種別を決定し、フィルタ処理部１２及び直交変換部１４を制御する。
最終的に、本実施形態の画像符号化装置１は、直交変換部１４から得られる変換係数の信号に対して量子化処理及びエントロピー符号化処理を施して外部に出力する。そして、エントロピー符号化処理では、各種符号化パラメータなどと一緒にＣＡＢＡＣで代表される算術符号化などで符号に変換して映像を伝送することができる。尚、符号化パラメータには、本発明に係る変換種別識別信号の他、インター予測パラメータやイントラ予測パラメータ、ブロック分割に係るブロックサイズのパラメータ（ブロック分割パラメータ）や量子化処理に係る量子化パラメータなどの選択設定可能なパラメータを含めて伝送することができる。
以下、より具体的に、隣接画素非参照予測部１１の代表的な例としてインター予測によるインター予測部１１ａとし、直交変換選択制御部２５における所定の評価基準として、上述の各実施例を適用した画像符号化装置１の構成例をそれぞれ説明する。
（第１実施例）
図１２は、本実施形態の画像符号化装置１の第１実施例を示すブロック図である。図１２に示す画像符号化装置１は、前処理部１０と、インター予測部１１ａと、フィルタ処理部１２と、予測残差信号生成部１３と、直交変換部１４と、量子化部１５と、逆量子化部１６と、逆直交変換部１７と、復号画像生成部１８と、ループ内フィルタ部１９と、フレームメモリ２０と、イントラ予測部２１と、動きベクトル計算部２２と、エントロピー符号化部２３と、予測画像選択部２４と、直交変換選択制御部２５とを備える。
直交変換部１４は、直交変換選択制御部２５の制御下で、予測残差信号生成部１３から入力された予測残差信号に対して所定の直交変換処理を施し、その変換係数の信号を生成する。
第１実施例におけるフィルタ処理部１２は、直交変換選択制御部２５の制御下で、低域通過フィルタ処理の実行と非実行が制御され、該実行時に隣接画素非参照予測であるインター予測部１１ａによって生成された予測画像のブロック内の画素信号（予測信号）のうち、該予測画像に対して左側と上側のそれぞれに隣接する復号済みの信号（復号済み隣接信号）を用いて、該予測信号に対して低域通過フィルタ処理を施すことにより新たな予測信号よりなる予測画像を生成し、予測残差信号生成部１３に出力する。該非実行時にはインター予測部１１ａによって生成された予測画像を、予測残差信号生成部１３に出力する。尚、イントラ予測など隣接画素非参照予測以外の予測時には、フィルタ処理部１２は、フィルタ処理の実行の有無は予め定めた方式に従うものとする。
第１実施例における直交変換選択制御部２５の動作について図１３を参照して説明する。図１３は、本実施形態の画像符号化装置１における第１実施例の直交変換選択制御部２５の処理に関するフローチャートである。まず、直交変換選択制御部２５は、例えばフィルタ処理部１２又は予測画像選択部２４から通知を受けて、フィルタ処理部１２で処理する予測画像が隣接画素非参照予測であるか否かを判別する（ステップＳ１）。
隣接画素非参照予測時に（ステップＳ１：Ｙｅｓ）、直交変換選択制御部２５は、フィルタ処理部１２に対し、フィルタ処理対象領域の信号を選出させ、復号済み隣接信号を用いて低域通過フィルタ処理の仮実行を指示する（ステップＳ２）。
例えば、フィルタ処理部１２は、図５に例示するように、４×４の予測画像のブロック内の画素信号（予測信号）のうち、該予測画像の最左側と最上側の画素信号（予測信号）をフィルタ処理対象領域Ｓｆとして定める。続いて、フィルタ処理部１２は、当該予測画像に対して左側と上側に隣接する復号済みの信号（復号済み隣接信号）を用いて、選出したフィルタ処理対象領域の画素信号（予測信号）に対して低域通過フィルタ処理を施すことにより新たな予測信号よりなる予測画像を生成する。例えば、図５に例示するように、フィルタ処理部１２は、４×４の予測画像のブロックＢｋｐ内の画素信号（予測信号）のうち、フィルタ処理対象領域Ｓｆにおける水平フィルタ領域、垂直フィルタ領域、及び角フィルタ領域のそれぞれについて、予め定めた重み係数の平滑化フィルタ処理を施すことで当該フィルタ処理後の予測画像を生成する。
尚、フィルタ処理部１２によるフィルタ処理は低域通過フィルタ処理であればよく、平滑化フィルタ以外のフィルタ処理を適用することもでき、そのフィルタ処理に利用する復号済み隣接信号の領域や重み係数も図５に示す例に限定する必要はない。例えば大サイズ符号化ブロックの場合、複数行または列に対してフィルタ処理を適用してもよい。また、フィルタ処理部１２によるフィルタ処理に係るフィルタ種別やフィルタ処理対象領域、及び重み係数は、符号化処理の付帯情報として伝送するように構成することもできるが、送受間（符号化・復号間）で予め定めておけば伝送する必要もない。
続いて、図１３を参照するに、直交変換選択制御部２５は、フィルタ処理部１２から、当該フィルタ処理の実行／非実行の各予測画像を予測ブロック情報（ｅｓｔ１）として取得する（ステップＳ３）。
続いて、直交変換選択制御部２５は、この予測ブロック情報（ｅｓｔ１）から、当該フィルタ処理の実行／非実行の各予測画像を比較し、その予測領域の端点（即ち、予測画像のブロックの外周部に位置する画素信号に対する予測残差信号）の影響が当該ブロックサイズ（本例では４×４を例示するが、ブロックサイズは問わない）に対し相対的に大きいか否かにより、当該フィルタ処理の効果が所定レベル以上であるか否かを判定する（ステップＳ４）。
当該予測領域の端点の影響が当該ブロックサイズに対し相対的に大きいと判断されるとき（ステップＳ４：Ｙｅｓ）、直交変換選択制御部２５は、当該フィルタ処理の実行後の予測画像をフィルタ処理部１２から予測残差信号生成部１３に出力させ、この低域通過フィルタ処理後の予測画像のブロックを基に予測残差信号生成部１３から得られる予測残差信号のブロックに対し、変換基底の端部が閉じた直交変換処理（例えば、ＤＳＴ）を用いるよう直交変換部１４に指示する（ステップＳ５）。
一方、当該予測領域の端点の影響が当該ブロックサイズに対し相対的に小さいと判断されるとき（ステップＳ４：Ｎｏ）、直交変換選択制御部２５は、当該フィルタ処理について非実行の予測画像をフィルタ処理部１２から予測残差信号生成部１３に出力させ、この低域通過フィルタ処理について非実行の予測画像のブロックを基に予測残差信号生成部１３から得られる予測残差信号のブロックに対し、変換基底の端部が開放した直交変換処理（例えば、ＤＣＴ）を用いるよう直交変換部１４に指示する（ステップＳ６）。
尚、イントラ予測など隣接画素非参照予測以外の予測時には（ステップＳ１：Ｎｏ）、直交変換選択制御部２５は、フィルタ処理の実行の有無、及び直交変換種別は予め定めた方式に従って実行するようフィルタ処理部１２及び直交変換部１４を制御する（ステップＳ７）。
このように、第１実施例では、直交変換選択制御部２５は、当該フィルタ処理によるフィルタ処理効果が所定レベル以上であるか否かの判定基準を基に、フィルタ処理の実行の有無及び適用する直交変換処理の種別を決定するようフィルタ処理部１２及び直交変換部１４を制御する。そして、直交変換選択制御部２５は、当該２種類の直交変換処理のうちのいずれを適用したかを示す変換種別識別信号を符号化パラメータの１つとしてエントロピー符号化部２３を経て復号側に出力する。
以上のように、当該フィルタ処理によるフィルタ処理効果が所定レベル以上であるか否かの判定基準を基に、フィルタ処理の実行の有無及び適用する直交変換処理の種別を決定しフィルタ処理部１２及び直交変換部１４を制御するため、予測残差信号における残差成分をより少なくすることができ、符号化伝送する情報量を低減させることにより符号化効率を改善することができる。
特に、隣接画素非参照予測時でも、当該フィルタ処理後の予測画像のブロックを基に得られる予測残差信号のブロックに対し、隣接画素信号間の相関を利用し、また、変換基底の端部が閉じた直交変換処理（例えば、ＤＳＴ）を用いるため、位相のみならず当該予測領域の端点に対応する変換基底の特徴に合致し、より顕著に符号化効率を改善することができる。
（第２実施例）
次に、第２実施例を説明する。図１４は、本実施形態の画像符号化装置１の第２実施例を示すブロック図である。図１４において、図１２と同様な構成要素には同一の参照番号を付しており、その更なる詳細な説明は省略する。
第２実施例におけるフィルタ処理部１２は、第１実施例と同様に、直交変換選択制御部２５の制御下で、低域通過フィルタ処理の実行と非実行が制御され、該実行時に隣接画素非参照予測であるインター予測部１１ａによって生成された予測画像のブロック内の画素信号（予測信号）のうち、該予測画像に対して左側と上側のそれぞれに隣接する復号済みの信号（復号済み隣接信号）を用いて、該予測信号に対して低域通過フィルタ処理を施すことにより新たな予測信号よりなる予測画像を生成し、予測残差信号生成部１３に出力する。該非実行時にはインター予測部１１ａによって生成された予測画像を、予測残差信号生成部１３に出力する。尚、イントラ予測など隣接画素非参照予測以外の予測時には、フィルタ処理部１２は、フィルタ処理の実行の有無は予め定めた方式に従うものとする。
第２実施例における直交変換選択制御部２５の動作について図１５を参照して説明する。図１５は、本実施形態の画像符号化装置１における第２実施例の直交変換選択制御部２５の処理に関するフローチャートである。まず、直交変換選択制御部２５は、例えばフィルタ処理部１２又は予測画像選択部２４から通知を受けて、フィルタ処理部１２で処理する予測画像が隣接画素非参照予測であるか否かを判別する（ステップＳ１１）。
隣接画素非参照予測時に（ステップＳ１１：Ｙｅｓ）、直交変換選択制御部２５は、フィルタ処理部１２に対し、図１（ｂ）に示すようなフィルタ処理対象領域の信号を選出させ、復号済み隣接信号を用いて低域通過フィルタ処理の仮実行を指示する（ステップＳ１２）。
続いて、直交変換選択制御部２５は、フィルタ処理部１２のフィルタ処理の実行時に、直交変換部１４に対して変換基底の端部が閉じた直交変換処理（例えば、ＤＳＴ）を用いて当該フィルタ処理の実行後の予測画像をフィルタ処理部１２から予測残差信号生成部１３に出力させ、この低域通過フィルタ処理後の予測画像のブロックを基に予測残差信号生成部１３から得られる予測残差信号のブロックを直交変換させ、量子化部１５及びエントロピー符号化部２３により量子化処理及びエントロピー符号化処理した場合と、フィルタ処理部１２のフィルタ処理の非実行時に、直交変換部１４に対して変換基底の端部が開放した直交変換処理（例えば、ＤＣＴ）を用いて当該フィルタ処理について非実行の予測画像をフィルタ処理部１２から予測残差信号生成部１３に出力させ、この低域通過フィルタ処理について非実行の予測画像のブロックを基に予測残差信号生成部１３から得られる予測残差信号のブロックを直交変換させ、量子化部１５及びエントロピー符号化部２３により量子化処理及びエントロピー符号化処理した場合における、それぞれの発生符号化量（Ｒ）と符号化歪み量（Ｄ）のレート歪み情報（ｅｓｔ２）を、それぞれ量子化部１５及びエントロピー符号化部２３から取得する（ステップＳ１３）。
続いて、直交変換選択制御部２５は、このレート歪み情報（ｅｓｔ２）から、いずれの組み合わせ（例えばフィルタ処理の実行・ＤＳＴの組み合わせと、フィルタ処理の非実行・ＤＣＴの組み合わせ）がＲＤコストとして優れているかを比較して判定する（ステップＳ１４）。
当該フィルタ処理の実行、且つ変換基底の端部が閉じた直交変換処理（例えば、ＤＳＴ）を用いるほうがＲＤコストとして優れていると判断されるときは（ステップＳ１４：Ｙｅｓ）、当該フィルタ処理の実行後の予測画像をフィルタ処理部１２から予測残差信号生成部１３に出力させ、この低域通過フィルタ処理後の予測画像のブロックを基に予測残差信号生成部１３から得られる予測残差信号のブロックに対し、変換基底の端部が閉じた直交変換処理（例えば、ＤＳＴ）を用いるよう直交変換部１４に指示する（ステップＳ１５）。
一方、当該フィルタ処理の非実行、且つ変換基底の端部が開放した直交変換処理（例えば、ＤＣＴ）を用いるほうがＲＤコストとして優れていると判断されるときは（ステップＳ１４：Ｎｏ）、当該フィルタ処理について非実行の予測画像をフィルタ処理部１２から予測残差信号生成部１３に出力させ、この低域通過フィルタ処理について非実行の予測画像のブロックを基に予測残差信号生成部１３から得られる予測残差信号のブロックに対し、変換基底の端部が開放した直交変換処理（例えば、ＤＣＴ）を用いるよう直交変換部１４に指示する（ステップＳ１６）。
尚、イントラ予測など隣接画素非参照予測以外の予測時には（ステップＳ１１：Ｎｏ）、直交変換選択制御部２５は、フィルタ処理の実行の有無、及び直交変換種別は予め定めた方式に従って実行するようフィルタ処理部１２及び直交変換部１４を制御する（ステップＳ１７）。
このように、第２実施例では、直交変換選択制御部２５は、ＲＤ最適化により選択した結果を基に、フィルタ処理の実行の有無及び適用する直交変換処理の種別を決定しフィルタ処理部１２及び直交変換部１４を制御する。そして、直交変換選択制御部２５は、当該２種類の直交変換処理のうちのいずれを適用したかを示す変換種別識別信号を符号化パラメータの１つとしてエントロピー符号化部２３を経て復号側に出力する。
以上のように、直交変換選択制御部２５は、ＲＤ最適化により選択した結果を基に、フィルタ処理の実行の有無及び適用する直交変換処理の種別を決定しフィルタ処理部１２及び直交変換部１４を制御するため、予測残差信号における残差成分をより少なくすることができ、符号化伝送する情報量を低減させることにより符号化効率を改善することができる。
特に、隣接画素非参照予測時でも、当該フィルタ処理の実行を許容し、当該フィルタ処理後の予測画像のブロックを基に得られる予測残差信号のブロックに対し、隣接画素信号間の相関を利用し、また、変換基底の端部が閉じた直交変換処理（例えば、ＤＳＴ）を用いるため、位相のみならず当該予測領域の端点に対応する変換基底の特徴に合致し、より顕著に符号化効率を改善することができる。
（画像復号装置）
次に、本実施形態の画像復号装置５における本発明に係る主要な構成要素であるフィルタ処理部５４及び逆直交変換選択制御部６０の周辺機能ブロックについて図１６を参照して説明し、その具体的な典型例の画像復号装置５について図１７を参照して説明する。
図１６は、本実施形態の画像復号装置５における予測画像に係るフィルタ処理部５４及び逆直交変換選択制御部６０周辺のブロック図である。図１６に示すように、本実施形態の画像復号装置５では、逆直交変換部５２、隣接画素非参照予測部５３、フィルタ処理部５４、復号画像生成部５５、及び逆直交変換選択制御部６０を備えるように構成される。
逆直交変換部５２は、逆直交変換選択制御部６０の制御下で、画像符号化装置１側から伝送されたストリーム信号を受信しエントロピー復号処理及び逆量子化処理を経て復元された変換係数に対して、逆直交変換処理を施し、得られる予測残差信号を復号画像生成部５５に出力する。
フィルタ処理部５４は、画像符号化装置１側のフィルタ処理部１２と対応する機能部であり、逆直交変換選択制御部６０の制御下で、低域通過フィルタ処理の実行と非実行が制御され、該実行時に隣接画素非参照予測部５３によって生成された予測画像のブロック内の画素信号（予測信号）のうち、該予測画像に対して左側と上側のそれぞれに隣接する復号済みの信号（復号済み隣接信号）を用いて、該予測信号に対して低域通過フィルタ処理を施すことにより新たな予測信号よりなる予測画像を生成し、復号画像生成部５５に出力する。該非実行時には隣接画素非参照予測部５３によって生成された予測画像を、復号画像生成部５５に出力する。尚、イントラ予測など隣接画素非参照予測以外の予測時には、フィルタ処理部５４は、符号化側と対応し、フィルタ処理の実行の有無は予め定めた方式に従うものとする。
逆直交変換選択制御部６０は、隣接画素非参照予測時に、画像符号化装置１側から得られる変換種別識別信号を参照し、処理対象の変換係数に対し変換基底の端部が閉じた直交変換処理（例えば、ＤＳＴ）を用いた旨を示すとき、当該復元した変換係数に対し当該変換基底の端部が閉じた逆直交変換処理（例えば、ＩＤＳＴ）を適用するよう逆直交変換部５２に対して指示することで選択制御するとともに、対応する当該低域通過フィルタ処理を実行するようフィルタ処理部５４に指示する。
一方、画像符号化装置１側から得られる変換種別識別信号を参照し変換基底の端部が開放した直交変換処理（例えば、ＤＣＴ）を用いた旨を示すとき、逆直交変換選択制御部６０は、当該復元した変換係数に対し当該変換基底の端部が開放した逆直交変換処理（例えば、ＩＤＣＴ）を適用するよう逆直交変換部５２に対して指示することで選択制御するとともに、対応する当該低域通過フィルタ処理を非実行とするようフィルタ処理部５４に指示する。
即ち、画像符号化装置１におけるフィルタ処理部１２によって予測画像に対してフィルタ処理を経て生成された予測残差信号は、変換基底の端部が閉じた直交変換処理（例えば、ＤＳＴ）を経て、映像の符号化効率が改善された状態で伝送されており、画像復号装置５は、この伝送に係る映像を効率的に復元することができる。尚、フィルタ処理部５４においても、フィルタ処理部１２の場合と同様に、そのフィルタ処理は低域通過フィルタ処理であればよく、平滑化フィルタ以外のフィルタを適用することもでき、そのフィルタ処理に利用する復号済み隣接信号の領域や重み係数も適宜定めればよい。そして、画像符号化装置１側からフィルタ処理部１２によるフィルタ処理に係るフィルタ種別やフィルタ処理対象領域、及び重み係数は、送受間（符号化・復号間）で予め定めておくか、又は符号化処理の付帯情報として伝送されているときは、これに従って画像復号装置５のフィルタ処理部５４も同様にフィルタ処理を行うことで、その復号信号の精度を高めることができる。
次に、隣接画素非参照予測部５３の代表的な例としてインター予測によるインター予測部５３ａを説明し、そのインター予測による予測信号に対して、逆直交変換部５２及びフィルタ処理部５４を選択制御する逆直交変換選択制御部６０を適用した画像復号装置５の構成例を説明する。
図１７は、本実施形態の画像復号装置５の一実施例を示すブロック図である。図１７に示す画像復号装置５は、エントロピー復号部５０と、逆量子化部５１と、逆直交変換部５２と、インター予測部５３ａと、フィルタ処理部５４と、復号画像生成部５５と、ループ内フィルタ部５６と、フレームメモリ５７と、イントラ予測部５８と、予測画像選択部５９と、逆直交変換選択制御部６０とを備える。
逆直交変換部５２は、逆直交変換選択制御部６０の制御下で、逆量子化部５１から得られる変換係数に対して画像符号化装置１の直交変換処理に対応する逆直交変換処理を施すことにより予測残差信号を復元し、復号画像生成部５５に出力する。
フィルタ処理部５４は、逆直交変換選択制御部６０の制御下で、その動作として図５を参照して例示説明したものと同様に動作する。即ち、フィルタ処理部５４における本実施形態に係るフィルタ処理は、当該予測画像が隣接画素非参照予測である、即ち本例ではインター予測である際に、当該予測画像から予め定めたフィルタ処理対象領域の画素信号（予測信号）を選出し、当該予測画像に対して左側や上側に隣接する復号済みの信号（復号済み隣接信号）を用いて、当該選出したフィルタ処理対象領域の画素信号（予測信号）に対して低域通過フィルタ処理を施すことにより新たな予測信号よりなる予測画像を生成し、復号画像生成部５５に出力する。例えば、図５に例示したように、フィルタ処理部５４は、逆直交変換選択制御部６０の制御下で、当該予測画像のブロックＢｋｐのブロック境界周辺における復号済み隣接信号Ｓｏを用いて、当該予測画像のブロックＢｋｐ内の画素信号（予測信号）のうち、フィルタ処理対象領域Ｓｆにおける水平フィルタ領域、垂直フィルタ領域、及び角フィルタ領域のそれぞれについて、予め定めた重み係数の平滑化フィルタ処理を施し、復号画像生成部５５に出力する。
逆直交変換選択制御部６０の動作について図１８を参照して説明する。図１８は、本実施形態の画像復号装置５における一実施例の逆直交変換選択制御部６０の処理に関するフローチャートである。まず、逆直交変換選択制御部６０は、現在の処理状態が、隣接画素非参照予測であるか否かを予測画像選択部５９からの通知を受けて把握する（ステップＳ２１）。
続いて、逆直交変換選択制御部６０は、隣接画素非参照予測時に（ステップＳ２１：Ｙｅｓ）、画像符号化装置１から得られる変換種別識別信号を参照し、変換係数に対し変換基底の端部が閉じた直交変換処理（例えば、ＤＳＴ）を用いたものか、変換係数に対し変換基底の端部が開放した直交変換処理（例えば、ＤＣＴ）を用いたものかを判別する（ステップＳ２２）。
続いて、逆直交変換選択制御部６０は、変換係数に対し変換基底の端部が閉じた直交変換処理（例えば、ＤＳＴ）を用いたものと判別したとき（ステップＳ２３：Ｙｅｓ）、当該低域通過フィルタ処理を実行するようフィルタ処理部５４に指示するとともに、逆量子化部５１を経て復元した変換係数に対し当該変換基底の端部が閉じた逆直交変換処理（例えば、ＩＤＳＴ）を適用するよう逆直交変換部５２に対して指示することで選択制御し、フィルタ処理部５４を経て得られる予測画像に加算する予測残差信号を逆直交変換部５２に生成させる（ステップＳ２４）。
一方、変換係数に対し変換基底の端部が開放した直交変換処理（例えば、ＤＣＴ）を用いたものと判別したとき（ステップＳ２３：Ｎｏ）、逆直交変換選択制御部６０は、当該低域通過フィルタ処理を非実行とするようフィルタ処理部５４に指示するとともに、逆量子化部５１を経て復元した変換係数に対し当該変換基底の端部が開放した逆直交変換処理（例えば、ＩＤＣＴ）を適用するよう逆直交変換部５２に対して指示することで選択制御し、フィルタ処理部５４を経て得られる予測画像に加算する予測残差信号を逆直交変換部５２に生成させる（ステップＳ２５）。
尚、イントラ予測など隣接画素非参照予測以外の予測時には（ステップＳ２１：Ｎｏ）、逆直交変換選択制御部６０は、フィルタ処理の実行の有無、及び直交変換種別は予め定めた方式に従って実行するよう逆直交変換部５２及びフィルタ処理部５４を制御する（ステップＳ２６）。
以上のように、逆直交変換選択制御部６０は、画像符号化装置１から得られる変換種別識別信号を参照することで、適用する逆直交変換処理の種別及びフィルタ処理の実行の有無を決定し逆直交変換部５２及びフィルタ処理部５４を制御するため、画像符号化装置１側で予測残差信号における残差成分をより少なくし、少ない情報量で復号することができ、符号化側及び復号側の一連の処理で符号化効率を改善することができる。
特に、隣接画素非参照予測時でも、符号化装置１側と対応して、当該フィルタ処理後の予測画像のブロックを基に得られる予測残差信号のブロックに対し、変換基底の端部が閉じた逆直交変換処理（例えば、ＩＤＳＴ）を用いるため、位相のみならず当該予測領域の端点に対応する変換基底の特徴に合致し、より顕著に符号化効率を改善することができる。
以上のように構成された本実施形態の画像符号化装置１及び画像復号装置５によれば、予測画像の予測信号と、隣接する復号済みブロック信号との間に生じる信号誤差が低減され符号化効率が改善するため、符号化効率の高い映像符号化方式の画像符号化装置及び画像復号装置を実現することができる。
〔第４実施形態〕
（画像符号化装置）
次に、本発明による第４実施形態の画像符号化装置１における本発明に係る主要な構成要素である予測画像に係るフィルタ処理部１２について、図１９及び図２０を参照して説明し、その具体的な典型例の画像符号化装置１について、図４、図２１及び図２２を参照して説明する。以下の説明は、上述の実施形態との相違点に着目して行うものとする。即ち、本実施形態において、上述の実施形態と同様な構成要素には同一の参照番号を付しており、その更なる詳細な説明は省略する。
包括的には、本実施形態の画像符号化装置１は、インター予測に用いる予測画像に対してもイントラ予測と同様に、符号化し復号済の隣接信号を利用して例えば低域通過フィルタ処理を適用することで、インター予測の予測画像の最左側及び最上側の領域に対する予測残差信号を小さくするとともに、予測残差信号のブロックをブロック分割して、当該低域通過フィルタ処理の方向性に応じてＤＳＴ及びＤＣＴのいずれかを適用する。尚、現在のＨ.２６５の規格上では、ＤＳＴが適用できる予測画像のブロックサイズは小さいもの（例えば４×４）のみに制限されている。そこで、本実施形態の画像符号化装置１では、より大きい予測画像のブロックにおけるインター予測では、この予測画像に当該低域通過フィルタ処理を適用後、予め定めた規定のブロックサイズ（例えば、当該規格上のＤＳＴの適用が許されるブロックサイズ）までブロック分割を行った後、ＤＳＴ及びＤＣＴのいずれを適用するかをフラグ無しに決定し、対応する直交変換処理を実行するよう構成する。
図１９（ａ）は、本実施形態の画像符号化装置１における予測画像に係るフィルタ処理部１２周辺のブロック図であり、図１９（ｂ）は、フィルタ処理部１２によるその予測画像のフィルタ処理例を示す説明図である。
図１９（ａ）に示すように、本実施形態の画像符号化装置１では、隣接画素非参照予測部１１、フィルタ処理部１２、予測残差信号生成部１３、及び直交変換部１４を備えるように構成される。直交変換部１４は、ブロック分割部１４１及び直交変換選択適用部１４２を備える。
本実施形態におけるフィルタ処理部１２は、隣接画素非参照予測部１１によって生成された予測画像のブロック内の画素信号（予測信号）のうち、該予測画像に対して左側と上側のそれぞれに隣接する復号済みの信号（復号済み隣接信号）を用いて、該予測信号に対して低域通過フィルタ処理を施すことにより新たな予測信号よりなる予測画像を生成し、予測残差信号生成部１３に出力する機能部である。
例えば、図１９（ｂ）に示すように、フィルタ処理部１２は、原画像の符号化対象領域のブロックＢｋｏに対応する８×８の画素信号ｐよりなる予測画像のブロックＢｋｐが隣接画素非参照予測部１１によって生成されたとすると、該予測画像に対して隣接する当該予測画像のブロックＢｋｐのブロック境界周辺における復号済み隣接信号Ｓｏを用いて、当該予測画像における最左側及び最上側の画素信号（予測信号）をフィルタ対象領域の信号Ｓｆとして、それぞれ例えば水平フィルタ、垂直フィルタ及び角フィルタなどの平滑化フィルタ（図示する両矢印）などの低域通過フィルタ処理を施すことにより、新たな予測信号よりなる予測画像を生成する。
より具体的に、図１９（ｂ）に示す例では、予測画像のブロックＢｋｐの上側の平滑化フィルタ対象画素については、横方向に同一座標に位置する復号済み隣接信号（局部復号画像の画素信号）を用いて平滑化フィルタ処理を行い、左側の平滑化フィルタ対象画素については、縦方向に同一座標に位置する復号済み隣接信号（局部復号画像の画素信号）を用いて平滑化フィルタ処理を行う。上側且つ左側に位置する対象画素については、上側、左側の局部復号映像の画素を用いて平滑化フィルタ処理を行う。尚、図１９（ｂ）に示す例では、参照画素２画素を用いた３タップの平滑化フィルタ処理を適用している。例えば、１/４［１ ２ １］などの低域通過フィルタ処理を適用する。尚、低域通過フィルタ処理のタップ数や参照画素については、この例の限りではない。
直交変換部１４は、ブロック分割部１４１及び直交変換選択適用部１４２を備えており、ブロック分割部１４１は、予測残差信号生成部１３から入力された予測残差信号のブロックに対して予め指定されたブロック形状に分割して直交変換選択適用部１４２に出力し、直交変換選択適用部１４２は、ブロック分割された予測残差信号の各ブロックについて、フィルタ処理部１２によるフィルタ処理を適用した位置に応じた複数種の直交変換処理（縦方向/横方向ＤＳＴと、縦方向/横方向ＤＣＴの組み合わせ）を選択適用する。
例えば、図１９（ｂ）に示すように、ブロック分割部１４１は、８×８の画素信号ｐよりなる予測画像のブロックＢｋｐに対する予測残差信号のブロックを４×４の予測残差信号の４つのブロック（左上、右上、左下及び右下）に分割して直交変換選択適用部１４２に出力する。このとき、直交変換選択適用部１４２は、ブロック分割部１４１により分割された分割ブロックのうち、平滑化フィルタ処理を適用した画素位置を含む上端及び左端に位置する予測残差信号の分割ブロックに対して、復号済み隣接信号のブロックに対する相関性の高さを利用した変換係数を扱うことができるよう、平滑化フィルタ処理を適用した位置に応じた複数種の直交変換処理（縦方向/横方向ＤＳＴと、縦方向/横方向ＤＣＴの組み合わせ）を適用し、その他の分割ブロックについては縦・横方向ＤＣＴの直交変換処理を適用する。尚、縦方向とは垂直方向を意味し、横方向とは水平方向を意味する。ここでは、縦方向ＤＳＴ及び横方向ＤＣＴよりなる直交変換処理を第１直交変換処理とし、横方向ＤＳＴ及び縦方向ＤＣＴよりなる直交変換処理を第２直交変換処理とし、縦・横方向ＤＳＴよりなる直交変換処理を第３直交変換処理とし、縦・横方向ＤＣＴよりなる直交変換処理を第４直交変換処理とする。
尚、図１９（ｂ）に示す例では、８×８の画素信号ｐよりなる予測画像のブロックＢｋｐに対する予測残差信号のブロックを４×４の予測残差信号の４つのブロック（左上、右上、左下及び右下）に分割する例を示したが、予め定められた規定のブロックサイズ（本例では４×４）に対し縦・横に２倍したサイズ（本例では８×８）よりも大きいブロックサイズの予測画像のブロックに対応する予測残差信号のブロックについては、復号済み隣接信号と隣接する位置の分割ブロック（本例では上端及び左端に位置する分割ブロック）は、規定（本例では４×４）のブロックサイズとし、その他のブロックは可能な限り大きいブロックサイズとなるよう分割した上で、符号化する画像の特徴に応じた再分割を適宜行っていくのが好適である。例えば符号化する画像の特徴に応じて、図２０（ａ）に示すように、３２×３２のブロックサイズの予測残差信号のブロックの上端及び左端に位置する分割ブロックを４×４とし、その上端及び左端から遠ざかるに従って拡大したブロックサイズの分割ブロックとなるよう分割することができる。このようにブロック分割を行うことで、後段の直交変換選択適用部１４２では、平滑化フィルタ処理対象画素位置が含まれる予測残差信号の分割ブロックについて、その信号特性に適した直交変換を選択し適用することが可能となる。
例えば、直交変換選択適用部１４２は、図２０（ａ）に示すように、分割された予測残差信号の分割ブロックのうち、平滑化フィルタ処理を適用した画素が最上側にある場合（即ち平滑化フィルタ処理の適用方向が垂直方向である場合）、当該最上側に位置する予測残差信号の分割ブロックＢｋｔ１に対して縦方向ＤＳＴ及び横方向ＤＣＴの第１直交変換処理を適用し（図２０（ｂ）参照）、平滑化フィルタ処理を適用した画素が最左側にある場合（即ち平滑化フィルタ処理の適用方向が水平方向である場合）、当該最左側に位置する予測残差信号の分割ブロックＢｋｔ２に対して横方向ＤＳＴ及び縦方向ＤＣＴの第２直交変換処理を適用する（図２０（ｃ）参照）。そして、平滑化フィルタ処理を適用した画素が当該最上側であり、且つ当該最左側にある場合（即ち平滑化フィルタ処理の適用方向が角フィルタ処理の適用方向である場合）、当該角領域に位置する分割ブロックＢｋｔ３に対して縦・横方向ＤＳＴの第３直交変換処理を適用する。また、平滑化フィルタ処理を適用した画素が存在しない予測残差信号の分割ブロックＢｋｔ４については、縦・横方向にＤＣＴの第４直交変換処理を適用する。図１９（ｂ）のようにブロック分割した場合も同様に直交変換処理を行う。これにより、復号済み隣接信号のブロックに対する相関性の高さを最大限に利用した変換係数を扱うことができる。
次に、隣接画素非参照予測部１１の代表的な例としてインター予測によるインター予測部１１ａを説明し、その予測画像のブロックの予測信号に対して、フィルタ処理部１２によりフィルタ処理を施す画像符号化装置１の構成及びその動作例について、図２１乃至図２３を参照して説明する。
図２１は、本実施形態の画像符号化装置１の一実施例を示すブロック図である。図２１に示す画像符号化装置１は、前処理部１０と、インター予測部１１ａと、フィルタ処理部１２と、予測残差信号生成部１３と、直交変換部１４と、量子化部１５と、逆量子化部１６と、逆直交変換部１７と、復号画像生成部１８と、ループ内フィルタ部１９と、フレームメモリ２０と、イントラ予測部２１と、動きベクトル計算部２２と、エントロピー符号化部２３と、予測画像選択部２４とを備える。
直交変換部１４は、予測残差信号生成部１３から入力された予測残差信号に対して所定の直交変換処理を施し、その変換係数の信号を生成する。特に、直交変換部１４は、ブロック分割部１４１及び直交変換選択適用部１４２を備えており、ブロック分割部１４１は、予測残差信号生成部１３から入力された予測残差信号のブロックに対して予め指定されたブロック形状に分割して直交変換選択適用部１４２に出力し、直交変換選択適用部１４２は、ブロック分割された予測残差信号の各分割ブロックについて、フィルタ処理部１２によるフィルタ処理を適用した位置に応じた複数種の直交変換処理（縦方向/横方向ＤＳＴと、縦方向/横方向ＤＣＴの組み合わせ）を適用する。これらのブロック分割処理に関するブロック分割パラメータは符号化処理の付帯情報とする符号化パラメータの１つとしてエントロピー符号化部２３（及び逆直交変換部１７）に出力される。
逆直交変換部１７は、逆量子化部１６から得られる逆量子化後の変換係数の信号に対して逆直交変換処理を施すことにより予測残差信号を復元し、復号画像生成部１８に出力する。特に、逆直交変換部１７は、ブロック分割されていた変換係数に対して、図２０と同様に直交変換処理の種別を判定し、各直交変換処理と対応する逆直交変換処理を施し、並列処理可能に得られる予測残差信号の各分割ブロックを結合して予測画像のブロックサイズに対応するブロックを再構成し、復号画像生成部１８に出力する。
フィルタ処理部１２の一動作例について、図２２を参照して説明する。図２２に示すように、フィルタ処理部１２は、イントラ予測部２１又はインター予測部１１ａからの予測画像を入力すると（ステップＳ１）、当該予測画像が隣接画素非参照予測であるか否か、即ち本例では予測画像選択部２４による信号選択に基づいてインター予測であるか否かを識別する（ステップＳ２）。尚、隣接画素非参照予測が前述したイントラブロックコピー予測やクロスコンポーネント信号予測である場合も同様である。
続いて、フィルタ処理部１２は、当該予測画像が隣接画素非参照予測ではない、即ち本例ではイントラ予測であると判定するときは（ステップＳ２：Ｎｏ）、予め定めた処理方式によりフィルタ処理を実行するか否かを判定する（ステップＳ５）。イントラ予測の予測画像に対してフィルタ処理を実行しない場合（ステップＳ５：Ｎｏ）、フィルタ処理部１２は、当該予測信号に対してフィルタ処理を実行することなく予測残差信号生成部１３に出力する（ステップＳ６）。一方、イントラ予測の予測画像に対してフィルタ処理を実行する場合（ステップＳ５：Ｙｅｓ）、フィルタ処理部１２は、ステップＳ３に移行する。尚、イントラ予測の予測画像に対するフィルタ処理は、現在規定されているＨ.２６５と同様に処理すればよく、本発明の主旨とは直接関係していないため、ステップＳ３の説明はインター予測の予測画像に対してフィルタ処理を実行する例を説明する。
フィルタ処理部１２は、当該予測画像が隣接画素非参照予測である、即ち本例ではインター予測であると判定すると（ステップＳ２：Ｙｅｓ）、当該予測画像から予め定めたフィルタ処理対象領域の画素信号（予測信号）を選出する（ステップＳ３）。例えば、図１９（ｂ）に示す例では、８×８の予測画像のブロック内の画素信号（予測信号）のうち、該予測画像の最左側と最上側の画素信号（予測信号）をフィルタ処理対象領域Ｓｆとして定める。
続いて、フィルタ処理部１２は、当該予測画像に対して左側と上側に隣接する復号済みの信号（復号済み隣接信号）を用いて、選出したフィルタ処理対象領域の画素信号（予測信号）に対して低域通過フィルタ処理を施すことにより新たな予測信号よりなる予測画像を生成し、予測残差信号生成部１３に出力する（ステップＳ４）。
尚、フィルタ処理部１２によるフィルタ処理は低域通過フィルタ処理であればよく、平滑化フィルタ以外のフィルタ処理を適用することもでき、そのフィルタ処理に利用する復号済み隣接信号の領域や重み係数も図１９（ｂ）に示す例に限定する必要はない。また、フィルタ処理部１２によるフィルタ処理に係るフィルタ種別やフィルタ処理対象領域、及び重み係数は、符号化処理の付帯情報として伝送するように構成することもできるが、送受間（符号化・復号間）で予め定めておけば伝送する必要もない。
このようにフィルタ処理部１２によって予測画像に対してフィルタ処理を施すことで、直交変換部１４の直交変換処理の種別に関わらず、予測画像内の最左側と最上側の画素信号（予測信号）と、これに隣接する復号済み信号との間に生じる信号誤差が低減され、映像の符号化効率を改善することができる。
次に、直交変換部１４の一動作例について、図２３を参照して説明する。図２３に示すように、直交変換部１４は、ブロック分割部１４１により、予測残差信号生成部１３から入力された予測残差信号のブロックに対して予め指定されたブロック形状に分割する（ステップＳ１１）。このとき、ブロック分割部１４１は、８×８より大きいブロックサイズの予測画像のブロックに対して（例えば３２×３２のブロックサイズの予測画像に対して）、その上端及び左端に位置する予測残差信号の分割ブロックを規定（本例では４×４）のブロックサイズとし、その他のブロックは可能な限り大きいブロックサイズとなるよう分割した上で、符号化する画像の特徴に応じた再分割を適宜行う。
続いて、直交変換部１４は、直交変換選択適用部１４２により、分割された予測残差信号の分割ブロックに対して直交変換処理を施す際に、フィルタ処理部１２によるフィルタ処理を適用した画素位置を含むか否か（即ち、予測画像の最上側又は最左側の画素位置を含むブロックの予測残差信号であるか否か）を判定し（ステップＳ１２）、当該フィルタ処理を適用した画素位置を含む分割ブロックではないと判定したとき（ステップＳ１２：Ｎｏ）、当該予測残差信号の分割ブロックに対して縦・横方向にＤＣＴの第４直交変換処理を適用する（ステップＳ１５）。
一方、フィルタ処理部１２によるフィルタ処理を適用した画素位置を含む分割ブロックであると判定したとき（ステップＳ１２：Ｙｅｓ）、フィルタ処理部１２による垂直方向のフィルタ処理のみを適用したか（即ち、予測画像の最上側の画素のみを含むブロックの予測残差信号であるか）を判定し（ステップＳ１３）、当該垂直方向のフィルタ処理のみを適用したのであれば（ステップＳ１３：Ｙｅｓ）、当該予測残差信号の分割ブロックに対して縦方向ＤＳＴ及び横方向ＤＣＴの第１直交変換処理を適用する（ステップＳ１６）。
続いて、当該垂直方向のフィルタ処理のみを適用したものではないとき（ステップＳ１２：Ｎｏ）、フィルタ処理部１２による水平方向のフィルタ処理のみを適用したか（即ち、予測画像の最左側の画素のみを含むブロックの予測残差信号であるか）を判定し（ステップＳ１４）、当該水平方向のフィルタ処理のみを適用したのであれば（ステップＳ１４：Ｙｅｓ）、当該予測残差信号の分割ブロックに対して横方向ＤＳＴ及び縦方向ＤＣＴの第２直交変換処理を適用する（ステップＳ１７）。
そして、フィルタ処理部１２による水平及び垂直方向のフィルタ処理を適用したと判定されるとき（即ち、予測画像の最上側、且つ最左側の画素位置を含むブロックの予測残差信号であるとき）（ステップＳ１４：Ｎｏ）、当該予測残差信号の分割ブロックに対して縦・横方向ＤＳＴの第３直交変換処理を適用する（ステップＳ１８）。
尚、図２３では、その処理内容の理解を高めるために、逐次的に直交変換処理を行うように説明したが、実装上では並列処理可能である。これにより、復号済み隣接信号のブロックに対する相関性の高さを最大限に利用した変換係数を扱うことができる。
（画像復号装置）
次に、本実施形態の画像復号装置５における本発明に係る主要な構成要素であるフィルタ処理部５４とその周辺機能ブロックについて図２４を参照して説明し、その具体的な典型例の画像復号装置５について図２５を参照して説明する。
図２４は、本実施形態の画像復号装置５における予測画像に係るフィルタ処理部５４周辺のブロック図である。図２４に示すように、本実施形態の画像復号装置５では、逆直交変換部５２、隣接画素非参照予測部５３、フィルタ処理部５４、及び復号画像生成部５５を備えるように構成される。また、逆直交変換部５２は、逆直交変換選択適用部５２１及びブロック再構成部５２２を備える。
逆直交変換部５２は、画像符号化装置１側から伝送されたストリーム信号を受信しエントロピー復号処理及び逆量子化処理を経て復元された変換係数に対して、逆直交変換処理を施し、得られる予測残差信号を復号画像生成部５５に出力する。特に、逆直交変換部５２は、逆直交変換選択適用部５２１及びブロック再構成部５２２を備えており、逆直交変換選択適用部５２１は、画像符号化装置１側によってブロック分割されていた変換係数に対して、図２３と同様に直交変換処理の種別を判定し、画像符号化装置１における直交変換処理と対応する逆直交変換処理を施し、予測残差信号の分割ブロックをブロック再構成部５２２に出力する。ブロック再構成部５２２は、並列処理可能に得られる予測残差信号の分割ブロックを結合して予測画像のブロックサイズに対応するブロックを再構成し、復号画像生成部５５に出力する。
次に、隣接画素非参照予測部５３の代表的な例としてインター予測によるインター予測部５３ａを説明し、そのインター予測による予測信号に対して、フィルタ処理部５４によりフィルタ処理を施す画像復号装置５の構成及びその動作例について、図２５を参照して説明する。
図２５は、本実施形態の画像復号装置５の一実施例を示すブロック図である。図２５に示す画像復号装置５は、エントロピー復号部５０と、逆量子化部５１と、逆直交変換部５２と、インター予測部５３ａと、フィルタ処理部５４と、復号画像生成部５５と、ループ内フィルタ部５６と、フレームメモリ５７と、イントラ予測部５８と、予測画像選択部５９とを備える。
逆直交変換部５２は、逆量子化部５１から得られる変換係数に対して画像符号化装置１の直交変換処理に対応する逆直交変換処理を施すことにより予測残差信号を復元し、復号画像生成部５５に出力する。特に、逆直交変換部５２は、逆直交変換選択適用部５２１及びブロック再構成部５２２を備えており、逆直交変換選択適用部５２１は、画像符号化装置１側によってブロック分割されていた変換係数に対して逆直交変換処理を施し、予測残差信号の分割ブロックをブロック再構成部５２２に出力する。ブロック再構成部５２２は、並列処理可能に得られる予測残差信号の分割ブロックを結合して予測画像のブロックサイズに対応するブロックを構成し、復号画像生成部５５に出力する。
フィルタ処理部５４は、その動作として図２２を参照して例示説明したものと同様に動作する。即ち、フィルタ処理部５４における本発明に係るフィルタ処理は、当該予測画像が隣接画素非参照予測である、即ち本例ではインター予測である際に、当該予測画像から予め定めたフィルタ処理対象領域の画素信号（予測信号）を選出し、当該予測画像に対して左側や上側に隣接する復号済みの信号（復号済み隣接信号）を用いて、当該選出したフィルタ処理対象領域の画素信号（予測信号）に対して低域通過フィルタ処理を施すことにより新たな予測信号よりなる予測画像を生成し、復号画像生成部５５に出力する。例えば、図１９（ｂ）に例示したように、フィルタ処理部５４は、当該予測画像のブロックＢｋｐのブロック境界周辺における復号済み隣接信号Ｓｏを用いて、当該予測画像のブロックＢｋｐ内の画素信号（予測信号）のうち、フィルタ処理対象領域Ｓｆにおける水平フィルタ領域、垂直フィルタ領域、及び角フィルタ領域のそれぞれについて、予め定めた重み係数の平滑化フィルタ処理を施し、復号画像生成部５５に出力する。
以上のように構成された本実施形態の画像符号化装置１及び画像復号装置５によれば、予測画像の予測信号と、隣接する復号済みブロック信号との間に生じる信号誤差が低減され符号化効率が改善するため、符号化効率の高い映像符号化方式の画像符号化装置及び画像復号装置を実現することができる。即ち、予測残差信号における残差成分をより少なくすることができ、符号化伝送する情報量を低減させることにより符号化効率を改善することができる。
〔第５実施形態〕
次に、本発明による第５実施形態の画像符号化装置１及び画像復号装置５におけるそれぞれのフィルタ処理部１２，５４周辺の構成について図２６を参照して説明する。上述の第４実施形態のフィルタ処理部１２，５４では、隣接画素非参照予測によって生成された予測画像のブロック内の画素信号（予測信号）のうち、該予測画像に対して左側と上側のそれぞれに隣接する「復号済みの信号（復号済み隣接信号）のみ」を用いて、該予測信号に対して低域通過フィルタ処理を施すことにより新たな予測信号よりなる予測画像を生成する例を説明した。
一方、本実施形態のフィルタ処理部１２，５４では、ブロック分割部１４１のブロック分割処理に基づく分割ブロックごとの局部復号画像を取得し、この局部復号画像を取得する度に隣接画素非参照予測によって生成された予測画像のブロック内の画素信号（予測信号）を置き換えて、予測残差信号の分割ブロックのブロックサイズ単位で、当該置き換えられた予測画像のブロック内の画素信号（予測信号）のうち、該予測画像に対して左側と上側に隣接する復号済みの信号（復号済み隣接信号）及び分割ブロックごとの局部復号画像を用いて、それぞれのブロックサイズに応じた低域通過フィルタ処理を施すよう構成される。
従って、図２６（ａ），（ｂ）に示すように、フィルタ処理部１２，５４は、ブロック分割部１４１のブロック分割処理に基づく分割ブロックごとの局部復号画像を取得し、この局部復号画像を取得する度に隣接画素非参照予測によって生成された予測画像のブロック内の画素信号（予測信号）を置き換えて予測画像を更新し、この更新した予測画像に対して左側と上側に隣接する復号済みの信号（復号済み隣接信号）及び分割ブロックごとの局部復号画像を用いて、それぞれのブロックサイズに応じた低域通過フィルタ処理を施すよう構成される点で、それぞれ図１９（ａ）及び図２４に示す構成と相違しているが、他の構成要素の動作は同様である。
その一例の動作として、図２６（ｂ）に示す逆直交変換部５２におけるブロック再構成部５２２は、図２４に示す構成と相違して、処理対象の分割ブロックの位置を定めて予測画像と対応するブロックサイズに再構成する際に、処理対象の分割ブロック以外の領域はダミーデータで補完する。これにより、分割ブロックごとの局部復号画像が得られるように構成することができる。或いは、分割ブロックごとの局部復号画像が得られるように別ループを構成してもよい。従って、本実施形態の画像符号化装置１における逆直交変換部１７も、本実施形態の逆直交変換部５２と同様に構成すればよい。尚、第４実施形態の場合でも同様であるが、フレームメモリ２０では、分割ブロックごとの局部復号画像を参照信号として利用できるよう保持することができる。
図２７は、本実施形態の画像符号化装置１又は画像復号装置５における予測画像のフィルタ処理１２，５４に関するフローチャートである。また、図２８は、本実施形態の画像符号化装置１又は画像復号装置５における予測画像のフィルタ処理１２，５４に関する説明図である。
まず、フィルタ処理部１２，５４は、予測画像を入力すると、ブロック分割部１４１のブロック分割処理に基づく分割ブロックごとの局部復号画像を取得し、予測画像に対して置き換えて更新した予測画像を生成する（ステップＳ２１）。例えば、図２８に例示するように、８×８の予測画像のブロックＢｋｐは、例えば白抜き矢印に示す順に４分割されたブロックサイズの局部復号画像のブロックＢｋＬで逐次置き換えられて更新されることになるが、以下の処理は１つの分割ブロックごとの局部復号画像で予測画像を更新した際の動作を示している（例えば、図示“ＳＴＥＰ１”）。
続いて、フィルタ処理部１２，５４は、当該予測画像が隣接画素非参照予測であるか否か、例えばインター予測であるか否かを識別する（ステップＳ２２）。尚、隣接画素非参照予測が前述したイントラブロックコピー予測やクロスコンポーネント信号予測である場合も同様である。
続いて、フィルタ処理部１２，５４は、当該予測画像が隣接画素非参照予測ではない、例えばイントラ予測であると判定するときは（ステップＳ２２：Ｎｏ）、予め定めた処理方式によりフィルタ処理を実行するか否かを判定する（ステップＳ２５）。イントラ予測の予測画像に対してフィルタ処理を実行しない場合（ステップＳ２５：Ｎｏ）、フィルタ処理部１２，５４は、当該予測信号に対してフィルタ処理を実行することなく予測残差信号生成部１３や復号画像生成部５５に出力する（ステップＳ２６）。一方、イントラ予測の予測画像に対してフィルタ処理を実行する場合（ステップＳ２５：Ｙｅｓ）、フィルタ処理部１２，５４は、ステップＳ２３に移行する。尚、イントラ予測の予測画像に対するフィルタ処理は、現在規定されているＨ.２６５と同様に処理すればよく、本発明の主旨とは直接関係していないため、ステップＳ２３の説明はインター予測の予測画像に対してフィルタ処理を実行する例を説明する。
フィルタ処理部１２，５４は、当該予測画像が隣接画素非参照予測である、即ち本例ではインター予測であると判定すると（ステップＳ２２：Ｙｅｓ）、当該予測画像から予め定めたフィルタ処理対象領域の画素信号（予測信号）を選出する（ステップＳ２３）。例えば、図２８に例示するように、本例では４×４の分割ブロック単位で、隣接信号に対する最左側と最上側の画素信号（予測信号）をフィルタ処理対象領域Ｓｆとして定める。
続いて、フィルタ処理部１２，５４は、分割ブロックの局部復号画像で置換した予測画像に対して分割ブロックごとに左側及び／又は上側に隣接する復号済みの信号（復号済み隣接信号）及び当該局部復号画像を用いて、選出したフィルタ処理対象領域の画素信号（予測信号）に対して低域通過フィルタ処理を施すことにより新たな予測信号よりなる予測画像を生成し、予測残差信号生成部１３や復号画像生成部５５に出力する（ステップＳ２４）。
このように予測画像の左側及び/又は上側に隣接する復号済みの信号（復号済み隣接信号）と、分割ブロックごとに左側及び/又は上側に隣接する当該局部復号画像を用いて低域通過フィルタ処理を施すことにより、例えば、図２８に例示するように、８×８の予測画像のブロックＢｋｐは、その上側及び左側のみならず、本例では十字となる分割ブロックの境界位置で、その画素信号が平滑化される（例えば、図示“ＳＴＥＰ２”）。
本実施形態のようにフィルタ処理部１２，５４を構成し、それぞれ画像符号化装置１及び画像復号装置５に適用することで、符号化効率を改善しつつ、これに起因する画質の劣化を抑制することができる。特に、大きい値の予測残差信号となりうる予測画像の最左側又は最上側に位置する分割ブロック以外の分割ブロック（ブロック分割したときの予測画像の内側に位置するブロック）の信号においても、分割ブロックごとの最左側及び最上側の予測残差信号の値を小さくすることができる。
尚、本実施形態の例では、全ての分割ブロックがフィルタ処理対象の画素位置を含むこととなるため、縦方向又は横方向のＤＳＴを常時適用することになる。このため、本実施形態の例では、ブロック分割する際のブロック形状は、第４実施形態のように、対応する予測残差信号のブロックにおける上端及び左端に位置する分割ブロックは、規定（本例では４×４）のブロックサイズとし、その他のブロックは可能な限り大きいブロックサイズとなるよう分割した上で、符号化する画像の特徴に応じた再分割を適宜行っていくのが好適である。その上端及び左端から遠ざかるに従って拡大したブロックサイズとなるよう分割する必要は無く、全てＤＳＴの適用が可能な規定サイズ（本例では４×４）まで分割し、図２３に示すような処理順に従ってＤＳＴを適用することができる。
また、上述の第４実施形態と本実施形態とを比較すると、第４実施形態では予測残差信号の各分割ブロックが独立して処理できるため並列処理可能であるというメリットがあり、一方、本実施形態では分割ブロック単位の局部復号画像を逐次利用できるため、符号化効率のより大きな改善が期待できる。
また、符号化対象ブロックごとに、ブロック分割のブロック形状を可変に設定し、符号化パラメータの１つとしてブロック分割パラメータを伝送することができるため、第４実施形態と本実施形態とを組み合わせた実施形態とすることもできる。
各実施形態の画像符号化装置１、及び画像復号装置５をそれぞれコンピュータとして機能させることができ、当該コンピュータに、本発明に係る各構成要素を実現させるためのプログラムは、当該コンピュータの内部又は外部に備えられるメモリに記憶される。コンピュータに備えられる中央演算処理装置（ＣＰＵ）等の制御で、各構成要素の機能を実現するための処理内容が記述されたプログラムを、適宜、メモリから読み込んで、各実施形態の画像符号化装置１、及び画像復号装置５の各構成要素の機能をコンピュータに実現させることができる。ここで、各構成要素の機能をハードウェアの一部で実現してもよい。
以上、特定の実施形態の例を挙げて本発明を説明したが、本発明は前述した例に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。例えば、上述した各実施形態の例では、符号化対象領域、予測画像、及び直交変換処理対象のブロックサイズを同じとする例を説明したが、予測画像のブロックサイズを符号化対象領域よりも小さくすることや、直交変換処理対象のブロックサイズを予測画像よりも小さくして処理する場合にも同様に適用することができる。また、直交変換処理は、用途に応じて符号化処理に用いられているものをそのまま利用できるし、別のものとしてもよい。
また、上述した各実施形態の例では、画像復号装置５は、対応する画像符号化装置１によってフィルタ処理を施された予測画像に基づいて符号化された予測残差信号に関する変換係数を対象に復号する例を説明したが、原画像に対するブロック端部の復元精度を問題にしない用途であれば、本発明に係る画像復号装置５は、フィルタ処理を介することなく符号化された信号に対しても同じ処理で復号することができる。
本発明によれば、符号化効率の高い映像符号化方式の画像符号化装置及び画像復号装置を実現することができるので、映像伝送の符号化効率を改善したい用途に有用である。
１ 画像符号化装置
５ 画像復号装置
１０ 前処理部
１１ 隣接画素非参照予測部
１１ａ インター予測部
１２ フィルタ処理部
１３ 予測残差信号生成部
１４ 直交変換部
１５ 量子化部
１６ 逆量子化部
１７ 逆直交変換部
１８ 復号画像生成部
１９ ループ内フィルタ部
２０ フレームメモリ
２１ イントラ予測部
２２ 動きベクトル計算部
２３ エントロピー符号化部
２４ 予測画像選択部
２５ 直交変換選択制御部
５０ エントロピー復号部
５１ 逆量子化部
５２ 逆直交変換部
５３ 隣接画素非参照予測部
５３ａ インター予測部
５４ フィルタ処理部
５５ 復号画像生成部
５６ ループ内フィルタ部
５７ フレームメモリ
５８ イントラ予測部
５９ 予測画像選択部
６０ 逆直交変換選択制御部
１０１ 水平方向相関判定部
１０２ 垂直方向相関判定部
１０３ フィルタ処理決定部
１０４ フィルタ処理実行部
１４１ ブロック分割部
１４２ 直交変換選択適用部
５２１ 逆直交変換選択適用部
５２２ ブロック再構成部

Claims (11)

  1. 動画像を構成するフレーム単位の原画像をブロック分割し符号化する画像符号化装置であって、
    ブロック単位の原画像の各画素信号に対して復号済み隣接信号を用いることなく信号予測を行う所定の隣接画素非参照予測によって予測信号よりなるブロック単位の予測画像を生成する隣接画素非参照予測手段と、
    前記予測画像のブロックに対して隣接する当該復号済み隣接信号を用いて、該予測画像のブロックの境界に位置する予測信号に対して低域通過フィルタ処理を施すことにより新たな予測画像のブロックを生成するフィルタ処理手段と、
    前記原画像の符号化対象ブロックの各画素信号に対する当該低域通過フィルタ処理後の予測画像のブロックの各予測信号の誤差を算出し、ブロック単位の予測残差信号を生成する予測残差信号生成手段と、
    前記ブロック単位の予測残差信号をブロック分割して複数の分割ブロックを得るブロック分割手段、及び当該低域通過フィルタ処理を適用した前記境界の位置に基づいて、前記予測残差信号の各分割ブロックに対して複数種の直交変換処理を選択適用する直交変換選択適用手段を有する直交変換手段と、
    を備えることを特徴とする、画像符号化装置。
  2. 前記所定の隣接画素非参照予測は、インター予測、イントラブロックコピー予測、及びクロスコンポーネント信号予測のうちいずれかを含むことを特徴とする、請求項１に記載の画像符号化装置。
  3. 前記フィルタ処理手段は、前記隣接画素非参照予測手段によって生成された予測画像のブロック内の予測信号のうち、前記復号済み隣接信号と隣接する予測信号が平滑化されるよう当該低域通過フィルタ処理を施すことを特徴とする、請求項１又は２に記載の画像符号化装置。
  4. 前記直交変換手段におけるブロック分割手段は、予め定められた規定したブロックサイズに対し縦・横に２倍したサイズよりも大きいブロックサイズの予測画像のブロックに対応する予測残差信号のブロックについて分割するときは、前記復号済み隣接信号と隣接する位置の分割ブロックを当該規定したブロックサイズとなるよう分割する手段を有することを特徴とする、請求項１から３のいずれか一項に記載の画像符号化装置。
  5. 前記直交変換手段におけるブロック分割手段は、当該低域通過フィルタ処理を適用した画素位置を含む分割ブロックについては、予め規定したブロックサイズとすることを特徴とする、請求項１から４のいずれか一項に記載の画像符号化装置。
  6. 前記直交変換手段における直交変換選択適用手段は、当該分割された予測残差信号の分割ブロックのうち、当該低域通過フィルタ処理を適用した画素が最上側にあり、当該低域通過フィルタ処理の適用方向が垂直方向である際には、当該最上側に位置する予測残差信号の分割ブロックに対して縦方向ＤＳＴ及び横方向ＤＣＴの第１直交変換処理を適用し、当該低域通過フィルタ処理を適用した画素が最左側にあり、当該低域通過フィルタ処理の適用方向が水平方向である際には、当該最左側に位置する予測残差信号の分割ブロックに対して横方向ＤＳＴ及び縦方向ＤＣＴの第２直交変換処理を適用し、当該低域通過フィルタ処理を適用した画素が当該最上側であり、且つ当該最左側にあるとともに、当該低域通過フィルタ処理の適用方向が角フィルタ処理の適用方向である際には、縦・横方向ＤＳＴの第３直交変換処理を適用し、当該低域通過フィルタ処理を適用した画素が存在しない予測残差信号の分割ブロックについては、縦・横方向にＤＣＴの第４直交変換処理を適用することを特徴とする、請求項１から５のいずれか一項に記載の画像符号化装置。
  7. 前記フィルタ処理手段は、前記ブロック分割手段に基づく分割ブロックごとの局部復号画像を取得し、該局部復号画像を取得する度に当該隣接画素非参照予測によって生成された予測画像のブロック内の予測信号を置き換えて、該分割ブロックのブロックサイズ単位で、当該置き換えられた予測画像のブロック内の予測信号のうち、該予測画像に対して隣接する当該復号済み隣接信号と、該分割ブロックごとの局部復号画像を用いて、それぞれのブロックサイズに応じた低域通過フィルタ処理を施す手段を有することを特徴とする、請求項１から６のいずれか一項に記載の画像符号化装置。
  8. 動画像を構成するフレームをブロック分割し符号化された信号を復号する画像復号装置であって、
    ブロック単位の各画素信号に対して復号済み隣接信号を用いることなく信号予測を行う所定の隣接画素非参照予測によって予測信号よりなるブロック単位の予測画像を生成する隣接画素非参照予測手段と、
    前記予測画像のブロックに対して隣接する当該復号済み隣接信号を用いて、該予測画像のブロックの境界に位置する予測信号に対して低域通過フィルタ処理を施すことにより新たな予測画像のブロックを生成するフィルタ処理手段と、
    当該復号したブロック単位の変換係数が画像符号化側によってブロック分割されていた変換係数に対して、当該低域通過フィルタ処理を適用した前記境界の位置に応じた複数種の逆直交変換処理を選択適用し、予測残差信号の分割ブロックを生成する直交変換選択適用手段、及び当該予測残差信号の分割ブロックを基に当該予測画像のブロックサイズに対応するブロックを再構成するブロック再構成手段を有する逆直交変換手段と、を備えることを特徴とする、画像復号装置。
  9. 前記フィルタ処理手段は、前記ブロック分割に基づく分割ブロックごとの局部復号画像を取得し、該局部復号画像を取得する度に当該隣接画素非参照予測によって生成された予測画像のブロック内の予測信号を置き換えて、該分割ブロックのブロックサイズ単位で、当該置き換えられた予測画像のブロック内の予測信号のうち、該予測画像に対して隣接する当該復号済み隣接信号と、該分割ブロックごとの局部復号画像を用いて、それぞれのブロックサイズに応じた低域通過フィルタ処理を施す手段を有することを特徴とする、請求項８に記載の画像復号装置。
  10. コンピュータを、請求項１から７のいずれか一項に記載の画像符号化装置として機能させるためのプログラム。
  11. コンピュータを、請求項８又は９に記載の画像復号装置として機能させるためのプログラム。
JP2017535584A 2015-08-20 2016-08-19 画像符号化装置、画像復号化装置、及びこれらのプログラム Active JP6535744B2 (ja)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
JP2015163260 2015-08-20
JP2015163257 2015-08-20
JP2015163259 2015-08-20
JP2015163257 2015-08-20
JP2015163259 2015-08-20
JP2015163260 2015-08-20
PCT/JP2016/074293 WO2017030200A1 (ja) 2015-08-20 2016-08-19 画像符号化装置、画像復号化装置、及びこれらのプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2019073846A Division JP7186658B2 (ja) 2015-08-20 2019-04-08 画像符号化装置、画像復号化装置、及びこれらのプログラム

Publications (2)

Publication Number Publication Date
JPWO2017030200A1 JPWO2017030200A1 (ja) 2018-07-19
JP6535744B2 true JP6535744B2 (ja) 2019-06-26

Family

ID=58052066

Family Applications (6)

Application Number Title Priority Date Filing Date
JP2017535583A Active JP6464272B2 (ja) 2015-08-20 2016-08-19 画像符号化装置、画像復号化装置、及びこれらのプログラム
JP2017535584A Active JP6535744B2 (ja) 2015-08-20 2016-08-19 画像符号化装置、画像復号化装置、及びこれらのプログラム
JP2019073846A Active JP7186658B2 (ja) 2015-08-20 2019-04-08 画像符号化装置、画像復号化装置、及びこれらのプログラム
JP2021112030A Active JP7242768B2 (ja) 2015-08-20 2021-07-06 画像復号装置及び画像復号方法
JP2023035968A Active JP7445799B2 (ja) 2015-08-20 2023-03-08 画像復号装置及び画像復号方法
JP2024026562A Pending JP2024057033A (ja) 2015-08-20 2024-02-26 画像復号装置及び画像復号方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2017535583A Active JP6464272B2 (ja) 2015-08-20 2016-08-19 画像符号化装置、画像復号化装置、及びこれらのプログラム

Family Applications After (4)

Application Number Title Priority Date Filing Date
JP2019073846A Active JP7186658B2 (ja) 2015-08-20 2019-04-08 画像符号化装置、画像復号化装置、及びこれらのプログラム
JP2021112030A Active JP7242768B2 (ja) 2015-08-20 2021-07-06 画像復号装置及び画像復号方法
JP2023035968A Active JP7445799B2 (ja) 2015-08-20 2023-03-08 画像復号装置及び画像復号方法
JP2024026562A Pending JP2024057033A (ja) 2015-08-20 2024-02-26 画像復号装置及び画像復号方法

Country Status (5)

Country Link
US (5) US11076149B2 (ja)
EP (3) EP4178204A1 (ja)
JP (6) JP6464272B2 (ja)
CN (4) CN113596443A (ja)
WO (3) WO2017030198A1 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4178204A1 (en) * 2015-08-20 2023-05-10 Nippon Hoso Kyokai Image decoding device, and image decoding method
JP7159057B2 (ja) * 2017-02-10 2022-10-24 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 自由視点映像生成方法及び自由視点映像生成システム
KR102413038B1 (ko) 2018-04-04 2022-06-23 닛폰 호소 교카이 예측 화상 보정 장치, 화상 부호화 장치, 화상 복호 장치, 및 프로그램
AU2019298855B2 (en) * 2018-07-02 2022-10-20 Huawei Technologies Co., Ltd. Apparatus and method for filtering in video coding
CN112585975A (zh) * 2018-08-20 2021-03-30 日本放送协会 编码装置、解码装置以及程序
WO2020086317A1 (en) * 2018-10-23 2020-04-30 Tencent America Llc. Method and apparatus for video coding
US11330283B2 (en) * 2019-02-01 2022-05-10 Tencent America LLC Method and apparatus for video coding
JP7145793B2 (ja) * 2019-03-11 2022-10-03 Kddi株式会社 画像復号装置、画像復号方法及びプログラム
CN118118665A (zh) * 2019-04-16 2024-05-31 Lg电子株式会社 解码设备、编码设备和发送设备
CN114342383B (zh) * 2019-08-29 2024-05-03 日本放送协会 编码装置、解码装置及程序
JP7474772B2 (ja) * 2019-08-29 2024-04-25 日本放送協会 符号化装置、復号装置、及びプログラム
KR20210113464A (ko) * 2020-03-05 2021-09-16 삼성전자주식회사 이미징 장치 및 이를 포함하는 전자 기기
CN111885378B (zh) * 2020-07-27 2021-04-30 腾讯科技（深圳）有限公司 多媒体数据编码方法、装置、设备以及介质

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0319488A (ja) * 1989-06-15 1991-01-28 Matsushita Electric Ind Co Ltd ブロック符号化装置と復号化装置
JPH0813138B2 (ja) * 1990-11-28 1996-02-07 松下電器産業株式会社 画像符号化装置
US7747094B2 (en) * 2001-06-29 2010-06-29 Ntt Docomo, Inc. Image encoder, image decoder, image encoding method, and image decoding method
US7266150B2 (en) * 2001-07-11 2007-09-04 Dolby Laboratories, Inc. Interpolation of video compression frames
US7376186B2 (en) * 2002-07-15 2008-05-20 Thomson Licensing Motion estimation with weighting prediction
JP4808634B2 (ja) * 2004-11-19 2011-11-02 パナソニック株式会社 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、プログラム、および集積回路
KR100772873B1 (ko) 2006-01-12 2007-11-02 삼성전자주식회사 스무딩 예측을 이용한 다계층 기반의 비디오 인코딩 방법,디코딩 방법, 비디오 인코더 및 비디오 디코더
JP4730552B2 (ja) * 2006-07-14 2011-07-20 富士ゼロックス株式会社 復号化装置及びそのプログラム
KR100927733B1 (ko) 2006-09-20 2009-11-18 한국전자통신연구원 잔여계수의 상관성에 따라 변환기를 선택적으로 이용한부호화/복호화 장치 및 그 방법
US9014280B2 (en) * 2006-10-13 2015-04-21 Qualcomm Incorporated Video coding with adaptive filtering for motion compensated prediction
EP2082585A2 (en) * 2006-10-18 2009-07-29 Thomson Licensing Method and apparatus for video coding using prediction data refinement
JPWO2009133844A1 (ja) * 2008-04-30 2011-09-01 株式会社東芝 エッジを考慮したフィルタリング機能を備えた動画像符号化／復号化方法及び装置
JP5137687B2 (ja) * 2008-05-23 2013-02-06 キヤノン株式会社 復号装置及び復号方法、プログラム
FR2948845A1 (fr) * 2009-07-30 2011-02-04 Thomson Licensing Procede de decodage d'un flux representatif d'une sequence d'images et procede de codage d'une sequence d'images
JP5295053B2 (ja) * 2009-09-16 2013-09-18 日本電信電話株式会社 予測信号生成方法，予測信号生成装置および予測信号生成プログラム
WO2011083573A1 (ja) * 2010-01-07 2011-07-14 株式会社 東芝 動画像符号化装置及び動画像復号化装置
JP5302256B2 (ja) * 2010-03-05 2013-10-02 日本放送協会 符号化装置、復号装置及びプログラム
WO2011112239A1 (en) * 2010-03-10 2011-09-15 Thomson Licensing Methods and apparatus for constrained transforms for video coding and decoding having transform selection
JP2013524730A (ja) * 2010-04-12 2013-06-17 クゥアルコム・インコーポレイテッド 幾何学的動き区分のための固定小数点実装形態
US8805100B2 (en) * 2010-06-03 2014-08-12 Sharp Kabushiki Kaisha Filter device, image decoding device, image encoding device, and filter parameter data structure
WO2012029181A1 (ja) 2010-09-03 2012-03-08 株式会社 東芝 動画像符号化方法及び復号化方法、符号化装置及び復号化装置
CN105516722B (zh) * 2010-09-30 2018-12-07 三菱电机株式会社 运动图像编码装置及方法、运动图像解码装置及方法
KR101772046B1 (ko) * 2010-11-04 2017-08-29 에스케이텔레콤 주식회사 예측모드에 따라 필터링된 화소값으로 인트라예측을 수행하는 영상 부호화/복호화 방법 및 장치
US9807424B2 (en) * 2011-01-10 2017-10-31 Qualcomm Incorporated Adaptive selection of region size for identification of samples in a transition zone for overlapped block motion compensation
JP5298140B2 (ja) * 2011-01-12 2013-09-25 株式会社エヌ・ティ・ティ・ドコモ 画像予測符号化装置、画像予測符号化方法、画像予測符号化プログラム、画像予測復号装置、画像予測復号方法、及び画像予測復号プログラム
JP5291134B2 (ja) * 2011-03-09 2013-09-18 日本電信電話株式会社 映像符号化／復号方法，映像符号化／復号装置およびそのプログラム
WO2012172667A1 (ja) 2011-06-15 2012-12-20 株式会社 東芝 動画像符号化方法、動画像復号化方法及び装置
KR101362696B1 (ko) * 2011-10-19 2014-02-17 전북대학교산학협력단 하이브리드 아키텍쳐가 적용된 신호 변환 장치, 신호 변환 방법 및 기록매체
KR20130049523A (ko) 2011-11-04 2013-05-14 오수미 인트라 예측 블록 생성 장치
KR20130050149A (ko) * 2011-11-07 2013-05-15 오수미 인터 모드에서의 예측 블록 생성 방법
JP2014036278A (ja) * 2012-08-07 2014-02-24 Nippon Hoso Kyokai <Nhk> 画像符号化装置、画像復号装置及びプログラム
CN104838650B (zh) * 2012-09-28 2018-03-30 日本电信电话株式会社 帧内预测编码方法、帧内预测解码方法、帧内预测编码装置、帧内预测解码装置以及记录程序的记录介质
CN105580368B (zh) * 2013-09-30 2018-10-19 日本放送协会 图像编码装置和方法以及图像解码装置和方法
JP5802786B2 (ja) 2014-03-25 2015-11-04 日本放送協会 符号化装置、復号装置及びプログラム
EP4178204A1 (en) * 2015-08-20 2023-05-10 Nippon Hoso Kyokai Image decoding device, and image decoding method
EP3454557A1 (en) * 2016-05-02 2019-03-13 Sony Corporation Image processing device, and image processing method
WO2020184566A1 (ja) * 2019-03-11 2020-09-17 日本放送協会 画像符号化装置、画像復号装置、及びプログラム
EP3993415A4 (en) * 2019-06-25 2023-05-31 Nippon Hoso Kyokai ENCODING DEVICE, DECODING DEVICE, AND PROGRAM

Also Published As

Publication number Publication date
JP2019106742A (ja) 2019-06-27
CN113596443A (zh) 2021-11-02
JP7242768B2 (ja) 2023-03-20
WO2017030200A1 (ja) 2017-02-23
EP3340621A1 (en) 2018-06-27
JP6464272B2 (ja) 2019-02-06
CN108028926B (zh) 2021-08-24
JPWO2017030200A1 (ja) 2018-07-19
US20200260073A1 (en) 2020-08-13
US11843766B2 (en) 2023-12-12
JP2023063379A (ja) 2023-05-09
US20180176562A1 (en) 2018-06-21
EP3340621B1 (en) 2023-01-25
EP3340621A4 (en) 2019-03-20
JP7445799B2 (ja) 2024-03-07
US20180176557A1 (en) 2018-06-21
US20210321128A1 (en) 2021-10-14
JP2021180492A (ja) 2021-11-18
JP2024057033A (ja) 2024-04-23
CN108028927A (zh) 2018-05-11
JPWO2017030199A1 (ja) 2018-07-19
CN108028926A (zh) 2018-05-11
WO2017030198A1 (ja) 2017-02-23
US20240048690A1 (en) 2024-02-08
CN116760977A (zh) 2023-09-15
EP3340622A4 (en) 2019-03-20
US11076149B2 (en) 2021-07-27
EP3340622A1 (en) 2018-06-27
EP4178204A1 (en) 2023-05-10
US10681346B2 (en) 2020-06-09
WO2017030199A1 (ja) 2017-02-23
JP7186658B2 (ja) 2022-12-09

Similar Documents

Publication Publication Date Title
JP6535744B2 (ja) 画像符号化装置、画像復号化装置、及びこれらのプログラム
US11792409B2 (en) Method and apparatus for encoding/decoding an image
JP6588523B2 (ja) イントラ予測方法とそれを利用した符号化器及び復号化器
WO2012087034A2 (ko) 화면 내 예측 방법 및 이러한 방법을 사용하는 장치
US20110069752A1 (en) Moving image encoding/decoding method and apparatus with filtering function considering edges
KR20170108367A (ko) 인트라 예측 기반의 비디오 신호 처리 방법 및 장치
KR101653039B1 (ko) 복호화 정보를 이용한 해상도 변환 장치 및 그 방법
JP2013534384A (ja) イントラ予測復号化装置
KR20200026394A (ko) 화면내 예측을 이용한 부호화/복호화 방법 및 장치
KR102038818B1 (ko) 화면 내 예측 방법 및 이러한 방법을 사용하는 장치
KR20190023294A (ko) 영상 부호화/복호화 방법 및 장치
KR20180000886A (ko) 비디오 신호 처리 방법 및 장치
KR20170058854A (ko) 병렬처리 부호화 환경에서 적응적 움직임 탐색영역 설정 방법 및 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180216

AA64 Notification of invalidation of claim of internal priority (with term)

Free format text: JAPANESE INTERMEDIATE CODE: A241764

Effective date: 20180417

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180528

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181211

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20190212

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190408

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190507

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190603

R150 Certificate of patent or registration of utility model

Ref document number: 6535744

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D02

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250