JPWO2011070698A1 - 画像符号化装置、画像復号装置、画像符号化方法、および画像復号方法 - Google Patents

画像符号化装置、画像復号装置、画像符号化方法、および画像復号方法 Download PDF

Info

Publication number
JPWO2011070698A1
JPWO2011070698A1 JP2011545049A JP2011545049A JPWO2011070698A1 JP WO2011070698 A1 JPWO2011070698 A1 JP WO2011070698A1 JP 2011545049 A JP2011545049 A JP 2011545049A JP 2011545049 A JP2011545049 A JP 2011545049A JP WO2011070698 A1 JPWO2011070698 A1 JP WO2011070698A1
Authority
JP
Japan
Prior art keywords
wiener filter
image
filter processing
decoded image
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011545049A
Other languages
English (en)
Other versions
JP5340415B2 (ja
Inventor
関口 俊一
俊一 関口
杉本 和夫
和夫 杉本
彰 峯澤
彰 峯澤
裕介 伊谷
裕介 伊谷
山田 悦久
悦久 山田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2011545049A priority Critical patent/JP5340415B2/ja
Publication of JPWO2011070698A1 publication Critical patent/JPWO2011070698A1/ja
Application granted granted Critical
Publication of JP5340415B2 publication Critical patent/JP5340415B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • H04N19/463Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

デブロッキングフィルタ処理部30が復号信号13から第1の加工復号画像信号31を生成し、鮮鋭化フィルタ部32で第2の加工復号画像信号33にする。ウィーナフィルタ設計部34が、第1,第2の加工復号画像信号31,33に基づいてそれぞれ第1,第2のウィーナフィルタ係数35,36を設計する。ウィーナフィルタ処理部37は、第1のウィーナフィルタ係数35のウィーナフィルタ処理を施した第1の加工復号画像信号31か、第1,第2のウィーナフィルタ係数35,36のウィーナフィルタ処理を施した第2の加工復号画像信号33か、フィルタ処理なしの第1の加工復号画像信号31のいずれかを、参照画像信号15とする。

Description

この発明は、画像圧縮符号化技術や圧縮画像データ伝送技術等に用いられる画像符号化装置、画像復号装置、画像符号化方法、および画像復号方法に関する。
従来、MPEGやITU−T H.26x等の国際標準映像符号化方式では、入力映像フレームを、16×16画素ブロックからなるマクロブロックの単位に分割して、動き補償予測を行った後、生成した予測誤差信号をブロック単位に直交変換・量子化することによって情報圧縮を行う。この際、圧縮率が高くなると、動き補償予測のために用いる予測参照画像の品質が低下することに起因して圧縮効率が妨げられるという問題がある。そのため、MPRG−4 AVC/H.264符号化方式(非特許文献1参照)では、直交変換係数の量子化に伴って発生するブロックひずみを除去した後、予測参照画像として利用するループ内デブロッキングフィルタの処理が採用されている。
図15は、非特許文献1による符号化装置の構成を示すブロック図である。非特許文献1による符号化では、まず、符号化対象となる入力映像信号1001を、ブロック分割部1002において、輝度信号に基づいて16画素×16ラインの矩形画像領域に対応するマクロブロックの単位に分割し、符号化映像信号1003として予測部1004へ入力する。
予測部1004では、マクロブロック内の各色成分の画像信号をフレーム内・フレーム間で予測して、予測誤差信号1005を得る。特に、フレーム間で動き補償予測を行う場合、マクロブロック自体、またはマクロブロックをさらに細かく分割したサブブロックの単位で動きベクトルを探索し、動きベクトルに基づいて動き補償予測画像を生成して、符号化映像信号1003との差分を取ることによって予測誤差信号1005を得る。
圧縮部1006は、予測誤差信号1005に対して、DCT(離散コサイン変換)処理を施して隣接画素間の信号相関を除去した後、量子化して圧縮データ1007を得る。圧縮データ1007は可変長符号化部1008でエントロピー符号化されてビットストリーム1009として出力されると共に、局所復号部1010に送られ、復号予測誤差信号1011を得る。
この復号予測誤差信号1011を、予測誤差信号1005の生成に用いた予測信号1012と加算して復号信号1013にして、ループフィルタ1014に入力する。復号信号1013は、ループフィルタ1014で符号化ひずみを緩和するフィルタ処理が施された後、以降の予測信号1012を生成するための参照画像信号1015としてメモリ1016に格納される。なお、予測信号1012を得るために予測部1004において決定された予測信号生成用パラメータ1017は可変長符号化部1008へ送られ、ビットストリーム1009に多重されて出力される。ここで、予測信号生成用パラメータ1017には、例えば、フレーム内での空間予測をどのように行うかを示すイントラ予測モードや、フレーム間の動き量を示す動きベクトル等の情報が含まれる。
非特許文献1のループフィルタ1014では、非特許文献2に開示されるブロックひずみ除去フィルタの処理が行われる。この処理は、DCTのブロック境界の周辺画素に対して、量子化の粗さ、符号化モード、動きベクトルのばらつき度合い等の情報に基づいて円滑化強度を決定し、ブロック境界に発生するひずみの低減を図るものである。これによって、上述したように、参照画像信号1015の品質が改善され、以降の符号化における動き補償予測の効率を高めることができる。
一方、この方式では、DCT変換のブロックサイズが小さい場合、圧縮率が高くなると画面全体が過度に平滑化され、映像がぼやけてしまうという問題がある。この問題を解決するために、非特許文献3では、ループフィルタ1014にウィーナフィルタ(Wiener Filter)を適用して、原画像信号である入力映像信号1001とこれに対応する参照画像信号1015との二乗誤差ひずみを最小化するようにループフィルタ1014を構成する技術が提案されている。
図16は、非特許文献2による符号化装置において、ウィーナフィルタによる参照画像信号の品質改善の原理を説明するための図である。図16において、信号sは、符号化装置への入力映像信号1001に相当する信号であり、信号s’は、復号信号1013、または復号信号1013に対して非特許文献2のループフィルタ処理(ブロックひずみ除去処理)を施した信号に相当する信号である。つまり、信号s’は、信号sに符号化雑音eが重畳された信号である。ウィーナフィルタは、この符号化雑音eを二乗誤差ひずみの規範で最小化するように信号s’に対して施されるフィルタとして定義され、一般に、信号s’の自己相関行列Rs's'と、信号s,s’の相互相関行列Rss'とによって、下式(1)からフィルタ係数wを求めることができる。行列Rs's',Rss'の大きさは求められるフィルタタップ数に対応する。

Figure 2011070698
フィルタ係数wのウィーナフィルタを施すことにより、品質改善がなされた信号sハット(電子出願の関係上、アルファベット文字に付いた「^」をハットと表記する)が、参照画像信号1015に相当する信号として得られる。
MPEG-4 AVC(ISO/IEC 14496-10)/ITU-T H.264規格 P.List, A.Joch, J.Lainema, G.Bjontegaard, G.Karczewicz,"Adaptive Deblocking Filter", IEEE Transaction on Circuits and Systems for Video Technology, vol.13, no.7, July 2003 T.Chujoh, G.Yasuda, N.Wada, T.Watanabe, T.Yamakage,"Block-based Adaptive Loop Filter", VCEG-AI18, ITU-T SG16/Q.6 meeting, July 2008
上述したようにウィーナフィルタをループフィルタに適用する場合、復号装置側でも符号化装置と等価なループフィルタ処理を実行しなければならないが、復号装置では信号sは既知ではないため、求めたフィルタ係数wを符号化してビットストリームに多重し、復号装置に伝達しなければならない。
非特許文献3では、複数種類のタップ数のフィルタ係数wを映像フレーム全体で求め、フィルタ係数wの符号量とフィルタ処理実施後の雑音(e’=sハット−s)がレートひずみ規範で最適となるタップ数のフィルタを特定した後、さらに信号s’を複数サイズのブロックに分割し、ブロックごとに求めたウィーナフィルタを適用するか否かの選択を行って、フィルタON/OFFの情報をブロックごとに伝送する。これにより、ウィーナフィルタ処理に要する追加の符号量を抑制して予測画像品質を改善することができる。
しかしながら、非特許文献3の手法では、フィルタ係数wの決定がフレーム単位で行われるので、本来局所的な信号の性質に応じて変化すべき係数へのローカライズを行うことができない。このため、品質改善性能に限界がある。
この発明は、上記のような課題を解決するためになされたもので、符号化対象となる映像信号の統計的・局所的性質に応じて効率的な情報圧縮を行う映像符号化方法を実現して、最適性を高めた画像符号化装置およびその方法、並びに画像復号装置およびその方法を提供することを目的とする。
この発明に係る画像符号化装置は、局所復号画像の変換ブロック境界の画素に対してデブロッキングフィルタ処理を施して、第1の加工復号画像を生成するデブロッキングフィルタ処理部と、局所復号画像の変換ブロック境界の画素以外の画素に対して鮮鋭化フィルタ処理を施して、第2の加工復号画像を生成する鮮鋭化フィルタ処理部と、第1の加工復号画像に基づいて第1のウィーナフィルタ係数を設計し、第2の加工復号画像に基づいて第2のウィーナフィルタ係数を設計するウィーナフィルタ設計部と、第1の加工復号画像および第2の加工復号画像のうち少なくとも一方に対して、第1のウィーナフィルタ係数および第2のウィーナフィルタ係数のうち少なくとも一方を用いたウィーナフィルタ処理を施して参照画像を生成すると共に、用いたウィーナフィルタ係数、および当該ウィーナフィルタ処理の種別を識別するウィーナフィルタ処理識別情報を出力するウィーナフィルタ処理部とを有するようにしたものである。
この発明に係る画像復号装置は、復号画像の変換ブロック境界の画素に対してデブロッキングフィルタ処理を施して、第1の加工復号画像を生成するデブロッキングフィルタ処理部と、ウィーナフィルタ処理識別情報が第1のウィーナフィルタ処理を行うことを示す場合に、第1の加工復号画像に対してウィーナフィルタ係数を用いたウィーナフィルタ処理を施して参照画像を生成する第1のウィーナフィルタ処理部と、ウィーナフィルタ処理識別情報が第2のウィーナフィルタ処理を行うことを示す場合に、第1の加工復号画像のうち、デブロッキングフィルタ処理部でデブロッキング処理が行われなかった画素に対して鮮鋭化フィルタ処理を施して第2の加工復号画像を生成し、当該第2の加工復号画像のうち、デブロッキング処理が行われた画素とその他の画素に対して異なるウィーナフィルタ係数を用いたウィーナフィルタ処理を施して参照画像を生成する第2のウィーナフィルタ処理部とを有するようにしたものである。
この発明に係る画像符号化方法は、局所復号画像を変換ブロック境界の画素に対してデブロッキングフィルタ処理を施して、第1の加工復号画像を生成するデブロッキングフィルタ処理ステップと、局所復号画像の変換ブロック境界の画素以外の画素に対して鮮鋭化フィルタ処理を施して、第2の加工復号画像を生成する鮮鋭化フィルタ処理ステップと、第1の加工復号画像に基づいて第1のウィーナフィルタ係数を設計し、第2の加工復号画像に基づいて第2のウィーナフィルタ係数を設計するウィーナフィルタ設計ステップと、第1の加工復号画像および第2の加工復号画像のうち少なくとも一方に対して、第1のウィーナフィルタ係数および第2のウィーナフィルタ係数のうち少なくとも一方を用いたウィーナフィルタ処理を施して参照画像を生成すると共に、用いたウィーナフィルタ係数、および当該ウィーナフィルタ処理の種別を識別するウィーナフィルタ処理識別情報を出力するウィーナフィルタ処理ステップとを有するようにしたものである。
この発明に係る画像復号方法は、フィルタステップは、復号画像の変換ブロック境界の画素に対してデブロッキングフィルタ処理を施して、第1の加工復号画像を生成するデブロッキングフィルタ処理ステップと、ウィーナフィルタ処理識別情報が第1のウィーナフィルタ処理を行うことを示す場合に、第1の加工復号画像に対してウィーナフィルタ係数を用いたウィーナフィルタ処理を施して参照画像を生成する第1のウィーナフィルタ処理ステップと、ウィーナフィルタ処理識別情報が第2のウィーナフィルタ処理を行うことを示す場合に、第1の加工復号画像のうち、デブロッキングフィルタ処理ステップでデブロッキング処理が行われなかった画素に対して鮮鋭化フィルタ処理を施して第2の加工復号画像を生成し、当該第2の加工復号画像のうち、デブロッキング処理が行われた画素とその他の画素に対して異なるウィーナフィルタ係数を用いたウィーナフィルタ処理を施して参照画像を生成する第2のウィーナフィルタ処理ステップとを有するようにしたものである。
この発明によれば、局所復号画像にウィーナフィルタ処理を施す場合に、変換ブロック境界の画素に対してデブロッキングフィルタ処理を施して第1の加工復号画像を生成すると共に第1のウィーナフィルタ係数を設計し、その他の画素に対して鮮鋭化フィルタ処理を施して第2の加工復号画像を生成すると共に第2のウィーナフィルタ係数を設計して、第1の加工復号画像および第2の加工復号画像のうち少なくとも一方に対して第1のウィーナフィルタ係数および第2のウィーナフィルタ係数のうち少なくとも一方を用いたウィーナフィルタ処理を施して参照画像を生成するようにしたので、ディジタル映像信号の圧縮符号化を行う場合において、映像信号の各フレームの時間変化の特性に対して柔軟に適応する画像符号化装置およびその方法並びに画像復号装置およびその方法を構成することができ、最適な符号化処理を行うことができる。
この発明の実施の形態1に係る画像符号化装置および画像復号装置が処理対象とする4:4:4フォーマットを示す。 実施の形態1に係る画像符号化装置の構成を示すブロック図である。 図2に示すブロック分割部が生成する基準ブロックを示す説明図である。 図2に示す予測部による、動き予測単位ブロックを基本ブロック単位で分割した形状例を示す説明図である。 図2に示す予測部による、スライス分割およびMmax値指定方法を説明するための図である。 図2に示す予測部の動作を示すフローチャートである。 予測部によるコストJの計算方法を説明するための図である。 予測部による動き予測モードmc_mode1〜4の予測ベクトルPMVの算出例を示す図である。 図2に示すループフィルタの内部構成を示すブロック図である。 図9に示すウィーナフィルタ処理部の動作を示すフローチャートである。 ビットストリームのデータ配列を示す説明図である。 実施の形態1に係る画像復号装置の構成を示すブロック図である。 図12に示すループフィルタの内部構造を示すブロック図である。 図13に示すループフィルタの動作を示すフローチャートである。 非特許文献1による符号化装置の構成を示すブロック図である。 非特許文献2による符号化装置において、ウィーナフィルタによる参照画像信号の品質改善の原理を説明するための図である。
以下、この発明の実施の形態について図面を参照しながら詳細に説明する。
実施の形態1.
本実施の形態では、4:4:4フォーマットで入力されるデジタル映像信号の圧縮伸張を行う画像符号化装置および画像復号装置につき、各色成分の信号の状態に適応して動き補償予測処理を行う画像符号化装置および画像復号装置について述べる。
ここで、図1に、実施の形態1に係る画像符号化装置および画像復号装置が入力として用いる4:4:4フォーマットを示す。4:4:4フォーマットとは、図1(a)に示すように、カラー動画像を構成する3つの信号成分C0,C1,C2の画素数がすべて同じであるフォーマットのことを指す。3つの信号成分の色空間はRGBまたはXYZであってもよいし、輝度・色差(YUV、YCbCr、またはYPbPr)であってもよい。4:4:4フォーマットに対して、図1(b)に示す4:2:0フォーマットは、色空間がYUV、YCbCr、またはYPbPrであり、かつ、輝度Yの画素数に対して色差信号成分(例えばYCbCrならCb,Cr)のそれが水平W・垂直Hそれぞれ2分の1となるフォーマットのことを呼ぶ。
以下に説明する画像符号化装置および画像復号装置は、特に、4:4:4フォーマットの色空間がYUV、YCbCr、またはYPbPrであり、かつ、各色成分を輝度成分相当とみなして処理を行う方式に限定して説明する。ただし、以下に説明する動作は、4:2:0フォーマットの映像信号を対象とする画像符号化装置および画像復号装置においても、その輝度信号に対して直接適用できることは言うまでもない。
なお、非特許文献1にならい、以降、映像信号の各フレームの符号化データをピクチャと呼ぶ。また、一定枚数のピクチャの集合をGOP(Group Of Picture)と呼び、一定枚数のピクチャの集合または一定数のGOPの集合をシーケンスと呼ぶ。以下では特に断らない限り、映像信号はフレームの単位で処理することを前提に説明するが、符号化対象の映像信号がインタレース信号である場合は、1フィールド画像をピクチャとして処理するように構成すれば、本実施の形態1の装置構成を適用して同様の効果を奏することができる。
1.画像符号化装置
図2は、実施の形態1に係る画像符号化装置の構成を示すブロック図である。図2に示す画像符号化装置は、4:4:4フォーマットの入力映像フレームをMmax×Mmax画素ブロック(以下、「基準ブロック」と呼ぶ)に分割し、同基準ブロックの単位で動き予測を行い、予測誤差信号を圧縮符号化するように構成する。
まず、符号化対象となる映像信号はピクチャの単位で入力映像信号1として入力され、ブロック分割部2において基準ブロックの単位に分割されて符号化信号3として予測部4へ入力される。図3に、ブロック分割部2が生成する基準ブロックを示す。図3に示すように、基準ブロックは、Mmax×Mmax画素からなる矩形のブロックをまとめた単位の基準ブロックデータとして構成する。詳細は後述するが、基準ブロックサイズMmaxはシーケンス、GOP、ピクチャ等の上位レイヤデータレベルで決定・符号化するように構成してもよいし、ピクチャ内において、複数の基準ブロックをまとめた単位として構成するスライスごとに基準ブロックサイズMmaxを変更するように構成してもよい。
基準ブロックデータは、さらにLi×Mi画素ブロック(i:色成分識別子)の「動き予測単位ブロック」に分割され、動き予測単位ブロックをベースとして動き予測、符号化が行われる。図3(a)における動き予測単位ブロックのパターンはL0=Mmax/2、M0=Mmax/2、図3(b)における動き予測単位ブロックのパターンはL0=Mmax/2、M0=Mmaxであり、図3(a),(b)ともにL1=M1=L2=M2=Mmaxである。なお、以下の説明においては、4:4:4フォーマットの各色成分の基準ブロックについては、3つの色成分C0,C1,C2で同一とし、基準ブロックサイズMmaxを変更する場合は、3つの色成分全てについて、同一サイズに変更するものとする。また、動き予測単位ブロックのサイズLi,iそれぞれについては、色成分C0,C1,C2ごとに選択可能として、シーケンス、GOP、ピクチャ、スライス、基準ブロック等の単位で変更可能となるよう構成してもよい。このような構成をとることにより、基準ブロックサイズMmaxは変更することなく、色成分ごとの信号の性質の違いに応じて、動き予測単位ブロックサイズLi,Miを柔軟に決定することができ、基準ブロックを単位とする符号化・復号処理の並列化・パイプライン化を考慮した効率的な実装が可能である。
予測部4では、基準ブロック内の各色成分の画像信号を動き補償予測して、予測誤差信号5を得る。予測部4の動作は、本実施の形態1の画像符号化装置の特徴であるため詳しく後述する。圧縮部6は、予測誤差信号5に対してDCT処理などの変換処理を施して信号相関を除去した後、量子化して予測誤差圧縮データ7を得る。このとき、圧縮部6では予測誤差信号5に対してDCT等の直交変換・量子化を行い、予測誤差圧縮データ7を可変長符号化部8および局所復号部10へ出力する。
可変長符号化部8は、予測誤差圧縮データ7をエントロピー符号化してビットストリーム9として出力する。局所復号部10は、予測誤差圧縮データ7から復号予測誤差信号11を得る。この復号予測誤差信号11が、予測誤差信号5の生成に用いた予測信号(動き予測画像)12と加算部で加算されて復号信号(局所復号画像)13となり、ループフィルタ14へ入力される。なお、予測信号12を得るために予測部4において決定された予測信号生成用パラメータ17は可変長符号化部8へ送られ、ビットストリーム9として出力される。予測信号生成用パラメータ17の内容については、予測部4の説明とともに以降で詳述する。
ループフィルタ14は、圧縮部6における変換係数量子化に伴って発生するブロックひずみが重畳された復号信号13に対し、原画像信号である符号化信号3、予測信号生成用パラメータ17、量子化パラメータ19および加工強度制御パラメータ20を用いて符号化信号3に漸近するように信号補正を行う。このループフィルタ14の動作は、本実施の形態1の画像符号化装置の特徴であるため、後で詳しく述べる。
非特許文献1の映像符号化方式では、基準ブロックをマクロブロックとした場合、マクロブロックの単位でフレーム内符号化、フレーム間予測符号化を選択しながら符号化する方法が一般的である。これはフレーム間の動き予測が十分でない場合に、フレーム内の相関を利用する方が、符号化が効率化される場合があることに起因している。以降、本実施の形態1の画像符号化装置では、発明のポイントを説明するに際してフレーム内符号化についての記述やその選択的使用について文中での明記は行わないが、特に断らない限り、基準ブロックを単位とするフレーム内符号化の選択的使用が可能な構成とする。本実施の形態1の画像符号化装置において、基準ブロックをマクロブロックと定義してもよいが、動き予測の説明のために以降も基準ブロックという用語を用いる。
次に、本実施の形態1の予測部4の動作について説明する。
予測部4は、基準ブロックを、各色成分の信号の性質に合わせてLi×Mi画素の動き予測単位ブロックへ分割し、さらに動き予測単位ブロックをli×mi画素の組み合わせからなる複数の形状に分割する。そして、予測部4は、各分割領域にそれぞれ固有の動きベクトルを割り当てて予測を行い、最も予測効率に優れる形状を動き予測モードとして選択し、その結果として得られる動きベクトルを用いて各分割領域に対する動き予測を行って、予測誤差信号5を得る。動き予測単位ブロック内の分割形状は、li×mi画素からなる「基本ブロック」の組み合わせによって構成される形状をとるものとする。本実施の形態1の画像符号化装置においては、Miとmi、Liとliとの間に「mi=Mi/2」、「li=Li/2」なる制約を設ける。この条件によって定まる基本ブロックの分割形状を図4に示す。図4は、予測部4による、動き予測単位ブロックを基本ブロック単位で分割した形状例を示す説明図である。以下、本実施の形態1の画像符号化装置では、図4に示す分割形状のパターン(分割パターン)mc_mode0〜7は3つの色成分に対して共通であるものとする。ただし、分割パターンmc_mode0〜7を3つの色成分に対して独立に定めるように構成してもよい。なお、この分割パターンmc_mode0〜7のことを以下では「動き予測モード」と呼ぶこととする。
本実施の形態1の画像符号化装置における図4のアプローチは、まず、1)Mmaxの値を符号化の条件や映像信号の解像度や性質に基づいてピクチャ、スライス等の上位レベルで変更可能とし、2)Mmax×Mmaxの画素ブロックを色成分Ciごとの特性に合わせて基本ブロックLi×Mi画素へ分割可能とし、3)基本ブロックの分割条件を「mi=Mi/2」、「li=Li/2」なる制約を満たす分割形状に限定した上で分割のバリエーションを確保する。基準ブロックのサイズMmaxの値は隣接する基準ブロックごとに変更せず、ピクチャレベル、スライスレベル、ピクチャ列(シーケンス、GOP)等の上位データ構造レベルでのみ変更可能とする。この仕組みは、基準ブロック内に含まれる画像信号パターンの意味の違いに対する適応化を可能とする。例えば、小さい解像度(Video Graphics Array,VGA等)の映像と大きな解像度(HDTV等)の映像では、同じMmax×Mmax画素ブロック内の信号パターンが表現する意味が異なる。同一の被写体を予測する場合、小さい解像度の映像では被写体の構造に近い信号パターンが捕捉されるが、大きな解像度の映像のときと同じブロックサイズを用いても被写体のより局所的な部位の信号パターンを捉えられるにすぎない。したがって、基準ブロックのサイズが解像度に拠らず同一の場合、解像度が高くなるにつれ、基準ブロック内の信号パターンはノイズ成分の要素が大きくなり、パターンマッチング技術としての動き予測の性能を向上させることができなくなる。
そこで、基準ブロックサイズMmaxの値を上位データ構造レベルでのみ変更可能とすることで、基準ブロックサイズMmaxの値のシグナリングに要する符号量を抑制しつつ、映像の解像度やシーンチェンジ、画面全体のアクティビティ変化などの状況に応じて、基準ブロックに含まれる信号パターンを動き予測の意味において最適化することができる。この仕組みに加え、図3のように色成分ごとに動き予測単位ブロック内の分割パターンを変更可能とすることによって、各色成分の信号特性に応じて動き予測の処理単位を最適化可能とする。さらに、動き予測単位ブロック内に図4のように分割パターンの限定的自由度を与えることにより、動き予測単位ブロック内の分割パターン表現に要する符号量を抑制しながら、動き予測の全体的な効率を改善することができる。また、基準ブロックサイズMmaxの値をフレームレベルで決定する処理を効率よく行えば、以降、基準ブロック内で検査すべき分割パターンのバリエーションは従来技術に比べ少なく抑えることができ、符号化処理の負荷を小さくすることができる。
基準ブロックサイズMmaxの値を決定する方法には、例えば以下のような方法がある。なお、以下(1)〜(4)の方法は、単独で用いても、組み合わせて用いてもよい。
(1) 符号化対象映像の解像度に基づいてシーケンスの単位で決定する。同一Mmax値の場合、解像度が大きい場合は基準ブロック内の画像信号パターンがよりノイズ成分的な意味合いを持ち、動きベクトルが画像信号パターンを捉えにくくなる。そのような場合にMmax値を大きくして画像信号パターンを捕捉できるようにする。
(2) フレーム間の差分値の大小をアクティビティとみなしてアクティビティが大きい場合は小さいMmax値で、小さい場合は大きなMmax値で、フレームごとにMmax値を変化させて動き予測を行う。また、この際の大きさ制御を、符号化対象映像のフレームレートに基づいて決定する。フレームレートが高いほどフレーム間相関が大きく動きベクトル自体のダイナミックレンジが小さくなりその符号量が小さくなるので、多少アクティビティが小さくてもMmax値を大きすぎないように設定して細かい動きまで予測できるようにする、などの方法が考えられる。
(3) ピクチャの符号化モードに応じて決定する。すべての基準ブロックをイントラ符号化モードで符号化するイントラピクチャでは、主に空間予測を用いるため、Mmax値を小さくして隣接する基準ブロック間の画素相関を高くして予測効率を高めるように設定し、基準ブロックを主としてフレーム間動き補償予測で符号化するインターピクチャでは、Mmax値をイントラピクチャよりも大きくして予測効率を確保しつつ、動きベクトルとして符号化すべきオーバヘッド情報を削減した符号化を行う。
(4) フレーム内の局所的な信号の性質に合わせて、スライス分割の仕方を変化させ、スライス内は一定のMmax値、異なるスライス間ではMmax値を指定できるように構成する。この例を図5に示す。図5は、予測部4によるスライス分割およびMmax値指定方法を説明するための図である。映像中に、動きの激しい被写体領域(例えば人物の顔近辺)と、比較的静止している状態の領域(例えば人物の以外)が存在している場合、動きの激しい領域をスライスPとして独立なスライスとして構成し、その他の領域をスライスO,Qとする。予測部4は、スライスPの領域が細かい動きが多いことから、小さいMmax値を割り当てて動きの補足が細かく行えるようにし、他方、残りのスライスO,Qの領域は大きいMmax値を割り当てて、予測効率を大きく損なうことなく、かつ、符号化の際に動きベクトルのオーバヘッド情報を削減できるようにする。フレーム内で図5のようなスライス分割を可能とすることにより、動きを表現する情報へより多くの符号量を配分すべき領域と、動きを表現する情報を極力削減可能な領域とを、画面内で適応配置・決定することが可能となり、結果としてより効率的な符号化を行うことができる。
なお、非特許文献1にも規定されているように、スライスはそれ単独で独立して復号処理が可能となるように、スライス間をまたがる予測・符号化処理の依存性を断ち切って符号化することとする。本実施の形態1では、1つのスライスの内部ではMmax値を固定化するため、複数のスライスを並列処理するように構成しても、個々のスライス内では同一Mmax値を維持して処理することができる。そのため、画面内で常に同一のMmax値を用いるよりも柔軟な符号配分を可能としながら、簡潔な装置構成でスライス符号化・復号処理を実現できる。
基準ブロックサイズMmaxの値が決まった後、色成分ごとに動き予測単位ブロックのサイズLi,Miの決定を行う。例えば入力映像信号1がYUV(またはYCbCr等)の色空間で定義された信号の場合、色信号であるU/V成分は輝度信号Y成分に比べて信号帯域が狭い。したがって、ブロック内分散は輝度に比べて小さくなる。これを根拠としてU/V成分のサイズLi,Miについては輝度信号Y成分のサイズLi,Miよりも大きな値をとるように構成する、といった判断基準の例が考えられる(図3参照)。
これら判断を行った結果として得られる各ブロックサイズMmax,Li,Miの値は、基準ブロックサイズ情報18としてブロック分割部2、予測部4、可変長符号化部8へ通知される。なお、図3のように、Mmaxに対してLi,Miを簡易な演算で導出可能な値に設定しておけば、Li,Miを独立な値として符号化するのでなく、算出式の識別子を符号化すればよいため、基準ブロックサイズ情報18に要する符号量を抑制できる。
なお、以下の説明においては、すべての色成分のL,Mの値が等しい設定を前提とする。この前提の場合、4:2:0フォーマットの符号化においては、L=L=(L/2)、M=M=(M/2)となる。
予測部4は、基準ブロックサイズ情報18から導出される動き予測単位ブロックサイズLi,iに基づいて、図3、図4の分割パターンを用いる動き検出処理を実行する。図6は、予測部4の動作を示すフローチャートである。予測部4は、当該フレームのCi成分をLi×Mi画素の動き予測単位ブロックの単位で動き予測していく。基本的には、このプロセスでは図4のmc_mode0〜7までの分割パターンのそれぞれについて、指定された動き探索範囲で分割領域ごとの最適動きベクトルを検出し、最終的に当該動き予測単位ブロックについてmc_mode0〜7のいずれの動き予測モードを用いるのが最も予測効率がよいかを決定する。
予測効率は、動き予測単位ブロック内の動きベクトルの総符号量Rと、該動きベクトルを適用してメモリ16内に格納される参照画像から生成した予測信号12と入力映像信号1との間の予測誤差量Dとから導出する下記コストJで定義される。予測部4は、このコストJが最小となる動き予測モードと動きベクトルとを出力するように構成する。
J=D+λR (λ:定数)
そこで、予測部4はまず、各動き予測モードmc_modekに対して、コストJkの計算を行う(ステップST1)。図7に、mc_mode5のケースを例にとってコストJの計算方法を説明する。このとき、フレームF(t)内の被予測対象の動き予測単位ブロックは、2つの分割領域B0,B1からなる。また、メモリ16内には2枚の符号化・局所復号済みの参照画像F’(t−1),F’(t−2)が格納されていて、分割領域B0,1はこれら2枚の参照画像F’(t−1),F’(t−2)を使って動き予測できるものとする。図6では分割領域B0は参照画像F’(t−2)を用いて動きベクトルMVt-2(B0)を検出し、分割領域B1は参照画像F’(t−1)を用いて動きベクトルMVt-1(B1)を検出している。Bを分割領域、Sn(x)を第nフレームの画面内位置x=(i,j)における画素値、vを動きベクトルとすると、分割領域Bの予測誤差量Dは、差分絶対値和(Sum of Absolute Difference,SAD)を用いて、下式(3)として計算できる。

Figure 2011070698
予測誤差量Dは、上式(3)計算の結果、得られる分割領域B0,1に対応する予測誤差量D0,D1からD=D0+D1として求める。
一方、総符号量Rは、予測ベクトルPMV(B0),PMV(B1)を用いて、下式(4)から動きベクトル予測差分値MVD(B0),MVD(B1)を得て、これらの値を符号量換算して符号量R0,R1を得て、総符号量R=R0+R1として求める。
MVD(B0)=MVt-2(B0)−PMV(B0) (4)
MVD(B1)=MVt-1(B1)−PMV(B1
以上により、コストJが求まる。予測部4は、探索範囲内の検査対象となるすべての動きベクトルについてコストJの計算を行い、mc_mode5の分割パターンとして最もコストJが小さい解を求める。なお、mc_mode1〜4の予測ベクトルPMVの算出例を図8に示す。図8において、矢印は予測ベクトル導出に利用する周辺の動きベクトルMVを意味し、○で囲まれた3本の動きベクトルMVのメディアン(中央値)が、それが指し示す分割領域の予測ベクトルPMVとなる。図8では、mc_mode1〜4の予測ベクトルPMV算出例を示すが、これ以外のmc_mode0,5〜7については非特許文献1に例示されている。
なお、Li×Mi画素ブロックに対して、k=7即ちmc_mode7を選択した場合、さらにli×mi画素ブロックに対して、mc_mode0〜7のモードに相当する動き予測モードを選択するように構成する。このときのモードの名称は便宜上、sub_mc_mode0〜7とする。li×mi画素ブロックに対してsub_mc_modeを決定する処理は図6の処理フローに準ずるものとし、Li×Mi画素ブロック単位に対応するmc_mode7のコストJ7は、li×mi画素ブロックの単位で定まるsub_mc_modeを用いて得られる総コストとする。
続いて、予測部4は、このようにして求まるmc_modekでのコストJkが、それまでに検証したmc_modekでのコストよりも小さいかどうかを検証し(ステップST2)、小さい場合は(ステップST2“Yes”)、mc_modekをその時点までの最適な動き予測モードとして保持すると共に、その際の動きベクトルおよび予測誤差信号を保持しておく(ステップST3)。予測部4は、すべての動き予測モードを検証し終えると(ステップST4“Yes”)、それまでに保持されていた動き予測モード、動きベクトル、予測誤差信号5を最終解として出力する(ステップST5)。さもなければ(ステップST2“No”またはステップST4“No”)、ステップST6で変数kをインクリメントして、ステップST1に戻って次の動き予測モードを検証する。
以下、本実施の形態1の特徴であるループフィルタ14の詳細な動作について説明する。ループフィルタ14は、圧縮部6における変換係数量子化に伴って発生するブロックひずみが重畳された復号信号13に対し、原画像信号である符号化信号3、予測信号生成用パラメータ17、量子化パラメータ19および加工強度制御パラメータ20を用いて符号化信号3に漸近するように信号補正を行うウィーナフィルタ係数を定め、同ウィーナフィルタ係数を用いたフィルタリング処理を行った結果を参照画像信号15として出力し、かつ、実施したウィーナフィルタ処理を特定する情報(ウィーナフィルタ係数35,36、ウィーナフィルタ処理識別情報38等)を可変長符号化部8へ出力する。
非特許文献3においては、先立って説明したように、復号画像に対して非特許文献2のデブロッキングフィルタを施した画像データについて、複数種類のタップ数のフィルタ係数wを上式(1)に基づいてフレーム全体で求め、フィルタ係数の符号量とフィルタ処理実施後の符号化雑音e(=sハット−s)がレートひずみ規範で最適となるタップ数のフィルタを適用した後、さらに信号s’を複数サイズのブロックに分割し、ブロックごとに求めたフィルタ係数wのウィーナフィルタを適用する方がよいか否かの選択を行って、フィルタON/OFFの情報をブロックごとに伝送していた。
符号化ひずみが重畳される映像圧縮処理においては、入力映像信号にさまざまな形でひずみが加わる。例えば、ブロック単位でDCT等の変換符号化を施すことに伴うブロック境界の顕在化(ブロックひずみ)、並びにDCT係数の過度の量子化で特定の基底成分が不足することにより現れるモスキート雑音およびリンギング等の波形ひずみがある。また、エッジ成分を再現するために必要な周波数成分が不足することでエッジのボケが生じることもある。
非特許文献2のアプローチでは、これらの符号化ひずみが持つ特性を個別に考慮することなく、入力映像信号(即ち信号s)との間の平均二乗ひずみを一律に最小化するフィルタを設計しようとするため、特に高圧縮に伴う符号化ひずみにより、復号画像(即ち信号s’)がもとの入力映像信号で本来表現されていた信号波形とは大きくかけ離れた信号になってしまう場合、ウィーナフィルタの設計効率が高められないことがある。
そこで、本実施の形態1に係るループフィルタ14では、復号信号13に対して適応的な平滑化・鮮鋭化フィルタを施し、符号化ひずみにより符号化信号3からかけ離れた信号表現になってしまった箇所を符号化信号3へ近づける処理を行うこととする。
図9は、ループフィルタ14の内部構造を示すブロック図である。このループフィルタ14は、復号信号13を入力とし、デブロッキングフィルタ処理部30が、復号信号13のうちの変換ブロック境界の画素に対してデブロッキングフィルタ処理を施し、第1の加工復号画像信号31を生成する。
デブロッキングフィルタ処理部30は、復号信号13の、圧縮部6におけるDCT処理などを実施したブロック境界の周辺画素に対して、予測信号生成用パラメータ17と量子化パラメータ19とから得られる量子化の粗さ、符号化モード、および動きベクトルのばらつき度合い等の情報に基づいて円滑化強度を決定し、適応平滑化フィルタによってブロック境界に発生するひずみの低減を図る。
鮮鋭化フィルタ処理部32は、デブロッキングフィルタ処理部30によってフィルタ処理された第1の加工復号画像信号31に対して下式(2)の鮮鋭化処理を施し、第2の加工復号画像信号33を生成する。
I’(x,y)
=A・I(x,y)
+B{I(x−1,y)+I(x+1,y)
+I(x,y−1)+I(x,y+1)}
+C{I(x−1,y−1)+I(x+1,y−1)
+I(x−1,y+1)+I(x+1,y+1)} (2)
ここで、A=f(α,k),B=g(α,k),C=p(α,k)
αは加工強度制御パラメータ20を示し、kは色成分を示す。また、フィルタ係数A,B,Cはαおよびkの関数として表現される。また、I(x,y)は、フィルタ処理対象画素位置(x,y)の画素値を示す。したがって、加工強度制御パラメータ20は、色成分ごとにその強度が調整されて、各鮮鋭化フィルタの係数を動的に決定する。
この加工強度制御パラメータ20は、例えばスライス内のMmax値、量子化パラメータ19、またはMmax値と量子化パラメータ19の組み合わせ等により決定される。
図5の例では、スライス内のMmax値はスライス中の動きの細かさに応じて決定され、比較的映像ボケが少なく鮮明で、かつ、細かい動きを含むスライスに対してはMmax値を小さく設定する。そのような場合は、動き予測が困難で、高圧縮時には量子化によるエッジつぶれが生じやすい。したがって、Mmax値が小さくなるほど加工強度制御パラメータ20を大きくし、鮮鋭化フィルタ処理部32で鮮鋭化フィルタが強くかかるように設定する。
一方、比較的映像ボケが多く、かつ、広い領域に渡って動きが一様なスライスに対してはMmax値を大きく設定する。そのような場合は、急峻なエッジは存在しにくく、動き予測も比較的容易で、波形ひずみが生じにくい。したがって、Mmax値が大きくなるほど加工強度制御パラメータ20を小さくし、鮮鋭化フィルタ処理部32で鮮鋭化フィルタの強度を弱くするか、またはOFFとなるように設定する。
同様に、量子化パラメータ19も、量子化が粗くなるほどエッジつぶれが大きくなるため、量子化パラメータ19が粗い量子化を示す場合ほど加工強度制御パラメータ20を大きく設定して、鮮鋭化フィルタ処理部32で鮮鋭化フィルタが強くかかるように設定するといった制御を行うことが考えられる。
なお、鮮鋭化フィルタ処理部32は、上式(2)以外の方法を用いてもよく、フィルタ強度を適応制御可能な方法であればいかなる方法を用いてもよい。また、加工強度制御パラメータ20は、画像符号化装置で決定した値を符号化して画像復号装置に伝送する構成にして、画像復号装置で同じ値を用いることができるようにしてもよい。
ウィーナフィルタ設計部34は、ブロックひずみを平滑化除去して符号化信号3に近づけた第1の加工復号画像信号31と、復号信号13の局所的性質に適応して強度を制御した鮮鋭化フィルタ処理により特にエッジ領域周辺での符号化信号3との信号相関を高めるように復号信号13を加工した第2の加工復号画像信号33という、符号化信号3に近づけた2種類の信号を選択肢として得る。そして、ウィーナフィルタ設計部34は、非定常な映像信号の局所変動に適応するウィーナフィルタ処理を行うために、第1の加工復号画像信号31と第2の加工復号画像信号33の両方の信号領域でウィーナフィルタ係数を設計する。
ウィーナフィルタ設計部34におけるウィーナフィルタ係数の設計方法は、先述の式(1)を用いる方法とし、第1の加工復号画像信号31を用いて第1のウィーナフィルタ係数(w)35を生成すると共に、第2の加工復号画像信号33を用いて第2のウィーナフィルタ係数(w)36を生成する。
最後に、ウィーナフィルタ処理部37が、第1の加工復号画像信号31または第2の加工復号画像信号33に対して、第1のウィーナフィルタ係数35または第2のウィーナフィルタ係数36を選択的に適用してフィルタ処理を施し、参照画像信号15を得る。
図10は、ウィーナフィルタ処理部37の動作を示すフローチャートである。ウィーナフィルタ処理部37はまず、スライスまたはピクチャ内の所定ブロック単位で、第1の加工復号画像信号31に対して第1のウィーナフィルタ係数35を用いたフィルタ処理を行う(ステップST11)。このフィルタ処理した画像信号を画像データAとする。
続いてウィーナフィルタ処理部37は、スライスまたはピクチャ内の所定ブロック単位で、第2の加工復号画像信号33のうち、デブロッキングフィルタ処理部30の処理対象となった画素のみに対して第1のウィーナフィルタ係数35を用いたフィルタ処理を行う(ステップST12)。
続いてウィーナフィルタ処理部37は、スライスまたはピクチャ内の所定ブロック単位で、第2の加工復号画像信号33のうち、デブロッキングフィルタ処理部30の処理対象となった画素以外の画素に対して第2のウィーナフィルタ係数36を用いたフィルタ処理を行う(ステップST13)。ステップST12およびステップST13にてフィルタ処理した画像信号を合わせて画像データBとする。
続いてウィーナフィルタ処理部37は、ステップST11のフィルタ処理を施した画像データAと、ステップST12,ST13のフィルタ処理を施した画像データBと、フィルタ処理を一切行わない第1の加工復号画像信号31のままの画像データCのうち、最も効率のよい画像データを選択する(ステップST14)。効率の良さの判定方法としては、符号化信号3と画像データA,B,Cそれぞれとの差分量(例えば差分絶対値和、差分二乗和)に基づいて判定する方法があり、差分量が最も小さい画像データを最も効率のよい画像データとして選択する。
続いてウィーナフィルタ処理部37は、ステップST14にて選択した画像データを当該ブロックの参照画像信号15として確定する。また、どの画像データを選択するか(即ち、どのフィルタ処理を行うか)を示すウィーナフィルタ処理識別情報38を、ブロック単位で生成する。確定された参照画像信号15はメモリ16へ出力され、第1のウィーナフィルタ係数35、第2のウィーナフィルタ係数36およびウィーナフィルタ処理識別情報38はそれぞれ可変長符号化部8へ出力される(ステップST15)。
このようにして、ウィーナフィルタ処理部37による選択的フィルタ処理の結果、スライスまたはピクチャ内において、符号化信号3へより漸近した信号領域でのウィーナフィルタ処理結果を考慮した参照画像信号15の生成が可能となる。特定のウィーナフィルタの最適性が満たされない場合でも選択肢を増やしてウィーナフィルタ処理を行うことができるので、予測部4による、この参照画像信号15を用いたこれ以降の予測効率を改善することができる。
なお、ウィーナフィルタ処理部37の処理において、例えばステップST11を除外して処理するように構成することもできる。ステップST11に伴う効果が小さい場合は、ステップST11の処理を除外することにより、予測効率を落とすことなく所定のブロック単位でウィーナフィルタ処理識別情報38を削減することができる。
また、処理対象のスライスまたはピクチャ内のすべての所定ブロックが、画像データA,B,Cのいずれかに固定的に選択された場合は、可変長符号化部8がブロック単位でウィーナフィルタ処理識別情報38の符号化を行わずに、スライスまたはピクチャのレベルで画像データA,B,Cのいずれを参照画像信号15として用いるかを識別するウィーナフィルタ処理識別情報38相当の情報を多重するように構成してもよい。これにより、ウィーナフィルタ処理識別情報38の符号化に伴う符合量を効率的に削減できる。
2.符号化ビットストリームの構成
入力映像信号1は、上記処理に基づいて図2の画像符号化装置で符号化され、複数の基準ブロックを束ねた単位(以下、スライスと呼ぶ)でビットストリーム9として画像符号化装置から出力される。
図11に、ビットストリーム9のデータ配列を示す。ビットストリーム9は、ピクチャ中に含まれる基準ブロック数分の符号化データが集められたものとして構成され、基準ブロックはスライス単位にユニット化される。同一ピクチャに属する基準ブロックが共通パラメータとして参照するピクチャレベルヘッダ、および同一スライスに属する基準ブロックが共通パラメータとして参照するスライスレベルヘッダが用意され、このスライスレベルヘッダには、基準ブロックサイズ情報18が格納される。基準ブロックサイズMmaxが、シーケンス、GOPまたはピクチャのレベルで固定化されるのであれば、基準ブロックサイズ情報18をシーケンスレベルヘッダ、GOPレベルヘッダまたはピクチャレベルヘッダに多重するように構成してもよい。
各スライスはそれぞれスライスヘッダから始まり、続いてスライス内の各基準ブロックの符号化データが配列される。図10の例では、第2スライスにK個の基準ブロックが含まれることを示す。基準ブロックデータは、基準ブロックヘッダと予測誤差圧縮データとから構成され、基準ブロックヘッダには基準ブロック内の動き予測単位ブロックの分の動き予測モードおよび動きベクトル(予測信号生成用パラメータ17に相当する)、予測誤差圧縮データ7の生成に用いた量子化パラメータ19などが配列される。
動き予測モードとしては、まずmc_mode0〜7の種別が符号化され、mc_mode0〜6であれば、動き予測モードで指定される動きベクトル割り当て領域の分の動きベクトル情報が符号化される。mc_mode7であれば、基本ブロックごとにsub_mc_modeの符号化が行われる。
また、スライス単位にウィーナフィルタ処理識別情報38を多重する。ウィーナフィルタ処理識別情報38は、スライス中に含まれる所定のブロック分だけの参照画像信号15選択の識別情報を含む。さらに、第1のウィーナフィルタ係数35または第2のウィーナフィルタ係数36を、ウィーナフィルタ処理識別情報38の示す情報に応じて多重する。例えば、ウィーナフィルタ処理識別情報38がウィーナフィルタ処理部37による画像データAのみしか使用しないことを示す場合には第1のウィーナフィルタ係数35のみを多重し、画像データBのみしか使用しないことを示す場合には第1のウィーナフィルタ係数35および第2のウィーナフィルタ係数36ともに多重し、画像データCのみしか使用しないことを示す場合にはフィルタ係数を一切多重しない。
なお、図示はしていないが、ウィーナフィルタ処理部37がピクチャの単位で処理を実施する場合には、可変長符号化部8が、ウィーナフィルタ処理識別情報38をピクチャのデータの一部として符号化するようにしてもよい。このとき、ウィーナフィルタ処理識別情報38は、ピクチャ中に含まれる所定のブロック分だけの参照画像信号15選択の識別情報を含む。
同じく図示はしていないが、処理対象のスライスまたはピクチャ内のすべての所定のブロックが画像データA,B,Cのいずれかに固定的に選択される場合は、可変長符号化部8が、ウィーナフィルタ処理識別情報38の符号化を行わずに、スライスまたはピクチャレベルで画像データA,B,Cのいずれを参照画像信号15として用いるかを固定的に識別する情報を多重する。
また、ウィーナフィルタ処理部37が用いる加工強度制御パラメータ20を基準ブロック、スライス、ピクチャ等のレベルで明示的にビットストリームに多重化するように構成してもよい。図11では基準ブロックヘッダに多重化した例を示す。
3.画像復号装置
図12は、本実施の形態1における画像復号装置の構成を示すブロック図である。可変長復号部100は、図11に示すビットストリーム9を入力とし、シーケンスレベルヘッダおよびピクチャレベルヘッダを復号した後、スライスレベルヘッダを復号して基準ブロックサイズ情報18を復号する。これにより当該スライスで用いる基準ブロックのサイズMmaxと動き予測単位ブロックのサイズLi,Miを認識し、この基準ブロックサイズ情報18を予測誤差復号部101および予測部102へ通知する。
可変長復号部100は、基準ブロックデータの復号をまず、基準ブロックヘッダの復号から行う。次いで、可変長復号部100は、動き予測単位ブロックあたりに適用する動き予測モード、動きベクトルの復号を行って予測信号生成用パラメータ17を得て、予測部102へ出力する。
予測誤差圧縮データ7、量子化パラメータ19は予測誤差復号部101に入力され、復号予測誤差信号11に復元される。この予測誤差復号部101は、図2の画像符号化装置における局所復号部10と等価な処理を行う。
予測部102は、可変長復号部100によって復号される予測信号生成用パラメータ17とメモリ103内の参照画像信号15とから予測信号(動き予測画像)12を生成する。なお、予測部102は画像符号化装置における予測部4と等価な処理を行うが、動きベクトル検出動作は含まない。動き予測モードは図4に示すmc_mode0〜7のいずれかであり、予測部102はその分割形状に基づいて各基本ブロックに割り当てられる動きベクトルを用いて予測信号12を生成する。
復号予測誤差信号11と予測信号12は加算部により加算され、復号信号(復号画像)13としてループフィルタ104へ入力される。
可変長復号部100は、当該スライス内のすべての基準ブロックのビットストリーム多重データの解析を終えた後、スライスデータの一部として多重化されているウィーナフィルタ処理識別情報38を復号および解釈して、ループフィルタ104にて必要となる第1のウィーナフィルタ係数35または第2のウィーナフィルタ係数36を復号する。また、可変長復号部100は、加工強度制御パラメータ20が多重化されている場合はそれも復号する。
第1のウィーナフィルタ係数35、第2のウィーナフィルタ係数36、ウィーナフィルタ処理識別情報38および加工強度制御パラメータ20は、ループフィルタ104へ入力される。
復号信号13は、ループフィルタ104においてウィーナフィルタによって符号化雑音を除去する処理が施された後、以降の予測信号12を生成するための参照画像信号15としてメモリ103に格納される。このループフィルタ104は、図2の画像符号化装置におけるループフィルタ14と等価な処理を行う。
図13は、ループフィルタ104の内部構造を示すブロック図である。図13に示す各部のうち、図9に示すループフィルタ14の内部構成要素と同一の番号を付与した各部はそれぞれ同じ動作を行うものとする。また、図14に、ループフィルタ104の動作を表すフローチャートを示す。
このループフィルタ104には、ウィーナフィルタ処理識別情報38、第1のウィーナフィルタ係数35または第2のウィーナフィルタ係数36、予測信号生成用パラメータ17、量子化パラメータ19、および加工強度制御パラメータ20が入力され、同じく入力される復号信号13の信号補正を行って、参照画像信号15を生成する。
なお、上述したように、画像符号装置において、ループフィルタ14がブロック単位で画像データA,B,Cのうちのいずれかを参照画像信号15として出力するようにしたので、画像復号装置においては、ループフィルタ104が画像データA,B,Cのうちのいずれかに相当する参照画像信号15a,15b,15cを出力するように構成する。
デブロッキングフィルタ処理部30が、予測信号生成用パラメータ17および量子化パラメータ19に基づいて、復号信号13に対してデブロッキングフィルタ処理を行い、第1の加工復号画像信号31を生成する(ステップST21)。
続いて処理選択部105が、所定のブロック単位でウィーナフィルタ処理識別情報38をチェックし、当該ブロックに対応する参照画像信号15a,15b,15cのいずれかを生成する方法を特定する(ステップST22)。
ウィーナフィルタ処理識別情報38が、第1の加工復号画像信号31に対して第1のウィーナフィルタ係数35を用いたフィルタ処理を行うことを示す情報である場合には(ステップST22“A”)、処理選択部105がスイッチ(以下、SW)106を切り替えて、第1の加工復号画像信号31を第1のウィーナフィルタ処理部107へ入力させる。第1のウィーナフィルタ処理部107は、第1のウィーナフィルタ係数35を用いて、第1の加工復号画像信号31に対してウィーナフィルタ処理を行った結果得られる、当該ブロックの画像データを、参照画像信号15aとして出力する(ステップST23)。
なお、ステップST23は、第1のウィーナフィルタ処理を構成する。
ウィーナフィルタ処理識別情報38が、第2の加工復号画像信号33に対して第1のウィーナフィルタ係数35および第2のウィーナフィルタ係数36を用いたフィルタ処理を行うことを示す情報である場合には(ステップST22“B”)、処理選択部105がSW106を切り替えて、第1の加工復号画像信号31を鮮鋭化フィルタ処理部32へ入力させる。鮮鋭化フィルタ処理部32は、加工強度制御パラメータ20に基づいて、第1の加工復号画像信号31に対して画像符号化装置の鮮鋭化フィルタ処理部32の動作と等価な処理を施し、第2の加工復号画像信号33を生成する(ステップST24)。次いで第2のウィーナフィルタ処理部108が、第2の加工復号画像信号33のうち、デブロッキングフィルタ処理部30においてデブロッキングフィルタ処理の対象となった画素のみに対して第1のウィーナフィルタ係数35を用いたウィーナフィルタ処理を行い、第2の加工復号画像信号33のうち、デブロッキングフィルタ処理の対象となった画素以外の画素に対して第2のウィーナフィルタ係数36を用いたウィーナフィルタ処理を行う(ステップST25)。第2のウィーナフィルタ処理部108は、ウィーナフィルタ処理を行った結果得られる、当該ブロックの画像データを、参照画像信号15bとして出力する。
なお、ステップST24,ST25は、第2のウィーナフィルタ処理を構成する。
ウィーナフィルタ処理識別情報38が、所定ブロックの単位で、第1の加工復号画像信号31に対して一切のウィーナフィルタ処理を行わないことを示す情報である場合には(ステップST22“C”)、処理選択部105がSW106を切り替えて、当該ブロックの第1の加工復号画像信号31をそのまま参照画像信号15cとして出力する。
なお、加工強度制御パラメータ20は、画像符号化装置と等価な処理によって、スライス内のMmax値(即ち基準ブロックサイズ情報18)もしくは量子化パラメータ19、またはこれらの組み合わせ等に基づいて、ループフィルタ104等において導出するように構成してもよいし、予め画像符号化装置が加工強度制御パラメータ20をビットストリーム9に多重しておき、画像復号装置側では、可変長復号部100においてビットストリーム9に多重された加工強度制御パラメータ20を抽出・復号して用いるように構成してもよい。
前者の場合は、画像符号化装置で加工強度制御パラメータ20の情報を明示的に符号化しなくてすむため、ビットストリーム9の符号量を効率的に削減することができる。一方、後者の場合は、画像復号装置で加工強度制御パラメータ20に対応する値を導出する処理を省略できるため、装置構成を簡略化することができる。
以上の構成によるループフィルタ104の選択的フィルタ処理の結果、スライスまたはピクチャ内において、符号化信号3へより漸近した信号領域でのウィーナフィルタ処理結果を考慮した参照画像信号15の生成が可能となる。特定のウィーナフィルタの最適性が満たされない場合でも選択肢を増やしてウィーナフィルタ処理を行うことができるので、予測部102による、この参照画像信号15を用いたこれ以降の予測効率を改善することができる。
なお、ループフィルタ104の処理において、例えばステップST23を除外して処理するように構成することもできる。ステップST23に伴う効果が小さい場合は、ステップST23の処理を除外することにより、予測効率を落とすことなく所定のブロック単位でウィーナフィルタ処理識別情報38を削減することができる。
また、処理対象のスライスまたはピクチャ内のすべての所定ブロックが、参照画像信号15aを生成するための処理(ステップST23)、参照画像信号15bを生成するための処理(ステップST24,ST25)、および参照画像信号15cを生成するための処理のいずれかに固定的に選択される場合は、可変長復号部100がブロック単位でウィーナフィルタ処理識別情報38の復号を行わずに、スライスまたはピクチャのレベルで、参照画像信号15a,15b,15cのいずれの信号を参照画像信号15として用いるかを識別するウィーナフィルタ処理識別情報38相当の情報を復号するように構成してもよい。これにより、ウィーナフィルタ処理識別情報38のビットストリーム9への多重化に伴う符号量を効率的に削減できる。
以上より、実施の形態1によれば、画像符号化装置を、入力映像信号1を基準ブロックに分割するブロック分割部2と、当該ブロックを動きベクトル割り当て領域に分割して動きベクトルを探索し、当該動きベクトルによって生成される予測信号12とこの予測信号12を符号化信号3から差し引いた予測誤差信号5とを生成する予測部4と、予測誤差信号5を量子化して、変換ブロック単位で圧縮符号化する圧縮部6と、圧縮部6が量子化した予測誤差圧縮データ7を局所復号して復号予測誤差信号11を生成する局所復号部10と、復号予測誤差信号11と予測信号12とを加算して復号信号13を得る加算部と、復号信号13の変換ブロック境界の画素に対してデブロッキングフィルタ処理を施して第1の加工復号画像信号31を生成するデブロッキングフィルタ処理部30と、復号信号13の変換ブロック境界の画素以外の画素に対して鮮鋭化フィルタ処理を施して第2の加工復号画像信号33を生成する鮮鋭化フィルタ処理部32と、第1の加工復号画像信号31に基づいて第1のウィーナフィルタ係数35を設計し、第2の加工復号画像信号33に基づいて第2のウィーナフィルタ係数36を設計するウィーナフィルタ設計部34と、第1の加工復号画像信号31に対して第1のウィーナフィルタ係数35を用いたウィーナフィルタ処理を施して参照画像信号15を生成するか、第2の加工復号画像信号33に対して第1のウィーナフィルタ係数35および第2のウィーナフィルタ係数36を用いたウィーナフィルタ処理を施して参照画像信号15を生成するか、第1の加工復号画像信号31にフィルタ処理を施さずそのまま参照画像信号15にすると共に、用いた第1のウィーナフィルタ係数35または第2のウィーナフィルタ係数36、および当該ウィーナフィルタ処理の種別を識別するウィーナフィルタ処理識別情報38を出力するウィーナフィルタ処理部37と、予測誤差圧縮データ7並びに第1のウィーナフィルタ係数35、第2のウィーナフィルタ係数36およびウィーナフィルタ処理識別情報38を符号化する可変長符号化部8とを備えるように構成した。このため、符号化ひずみにより、入力映像信号である符号化信号3からかけ離れた信号表現になってしまった復号信号13を、ループフィルタ14が符号化信号3に近づけるように、かつ、非定常な映像信号の局所変動に適応するようにフィルタ処理を行って参照画像信号15を生成することができるようになるため、この参照画像信号15を用いることにより予測信号12の品質改善を実現することが可能となる。よって、ウィーナフィルタの最適性を高め、効率的な情報圧縮を行うことのできる画像符号化装置および画像符号化方法を提供することができる。
また、上記実施の形態1によれば、画像復号装置を、入力されたビットストリーム9から予測信号生成用パラメータ17と、予測誤差圧縮データ7と、ウィーナフィルタ処理識別情報38と、第1のウィーナフィルタ係数35および第2のウィーナフィルタ係数36とを抽出する可変長復号部100と、ビットストリーム9から抽出された予測誤差圧縮データ7を逆量子化して、変換ブロック単位で復号した復号予測誤差信号11を生成する予測誤差復号部101と、予測信号生成用パラメータ17に基づいて予測信号12を生成する予測部102と、復号予測誤差信号11と予測信号12とを加算して復号信号13を生成する加算部と、復号信号13の変換ブロック境界の画素に対してデブロッキングフィルタ処理を施して第1の加工復号画像信号31を生成するデブロッキングフィルタ処理部30と、ウィーナフィルタ処理識別情報38に従ってウィーナフィルタ処理を切り替える処理選択部105およびSW106と、ウィーナフィルタ処理識別情報38が第1のウィーナフィルタ処理を行うことを示す場合に、SW106の切替に応じて、第1の加工復号画像信号31に対して第1のウィーナフィルタ係数35を用いたウィーナフィルタ処理を施して参照画像信号15aを生成する第1のウィーナフィルタ処理部107と、ウィーナフィルタ処理識別情報38が第2のウィーナフィルタ処理を行うことを示す場合に、SW106の切替に応じて、第1の加工復号画像信号31のうちのデブロッキングフィルタ処理部30でデブロッキングフィルタ処理が行われなかった画素に対して、加工強度制御パラメータ20を用いた鮮鋭化フィルタ処理を施して第2の加工復号画像信号33を生成する鮮鋭化フィルタ処理部32と、第2の加工復号画像信号33のうちのデブロッキング処理が行われた画素に対して第1のウィーナフィルタ係数35を、その他の画素に対して第2のウィーナフィルタ係数36を用いてそれぞれウィーナフィルタ処理を施す第2のウィーナフィルタ処理部108とを備えるように構成した。このため、上記画像符号化装置に対応した画像復号装置および画像復号方法を提供することができる。
なお、本実施の形態1では、4:4:4映像信号に対する符号化・復号の実施例を説明したが、前述のとおり、本発明における符号化・復号処理は、従来の輝度・色差成分フォーマットで色間引きを行った4:2:0または4:2:2フォーマットを対象とする映像符号化において、マクロブロックなどの基準ブロックの単位で符号化・復号を行う場合にも適用可能であることは言うまでもない。
この発明に係る画像符号化装置、画像復号装置、画像符号化方法、および画像復号方法は、ディジタル映像信号の圧縮符号化を行う場合において、映像信号の各フレームの時間変化の特性に対して柔軟に適応する画像符号化装置およびその方法並びに画像復号装置およびその方法を構成することができ、最適な符号化処理を行うことができるため、画像圧縮符号化技術や圧縮画像データ伝送技術等に用いられる画像符号化装置、画像復号装置、画像符号化方法、および画像復号方法に利用するのに適している。

Claims (4)

  1. 入力画像フレームを所定の動きベクトル割り当て領域に分割して動きベクトルを探索し、当該動きベクトルによって生成される動き予測画像と、当該動き予測画像を前記入力画像から差し引いた予測誤差信号とを生成する予測部と、
    前記予測誤差信号を量子化して、所定の変換ブロック単位で圧縮符号化する圧縮部と、
    前記圧縮部が量子化した符号化データを局所復号して、前記予測誤差信号の復号値を生成する局所復号部と、
    前記予測誤差信号の復号値と前記動き予測画像とを加算して局所復号画像を得る加算部と、
    前記局所復号画像に対して、所定のウィーナフィルタ係数を用いたウィーナフィルタ処理を施して参照画像を生成すると共に、当該ウィーナフィルタ処理の種別を識別するウィーナフィルタ処理識別情報を出力するフィルタ部と、
    前記予測誤差信号の符号化データ、ならびに前記フィルタ部で用いた前記ウィーナフィルタ係数および前記ウィーナフィルタ処理識別情報を符号化する可変長符号化部とを備えるとともに、
    前記フィルタ部は、
    前記局所復号画像の前記変換ブロック境界の画素に対してデブロッキングフィルタ処理を施して、第1の加工復号画像を生成するデブロッキングフィルタ処理部と、
    前記局所復号画像の前記変換ブロック境界の画素以外の画素に対して鮮鋭化フィルタ処理を施して、第2の加工復号画像を生成する鮮鋭化フィルタ処理部と、
    前記第1の加工復号画像に基づいて前記第1のウィーナフィルタ係数を設計し、前記第2の加工復号画像に基づいて前記第2のウィーナフィルタ係数を設計するウィーナフィルタ設計部と、
    前記第1の加工復号画像および前記第2の加工復号画像のうち少なくとも一方に対して、前記第1のウィーナフィルタ係数および前記第2のウィーナフィルタ係数のうち少なくとも一方を用いたウィーナフィルタ処理を施して前記参照画像を生成すると共に、用いたウィーナフィルタ係数、および当該ウィーナフィルタ処理の種別を識別する前記ウィーナフィルタ処理識別情報を出力するウィーナフィルタ処理部とを有することを特徴とする画像符号化装置。
  2. 入力画像フレームにおいて動きベクトルを探索した動きベクトル割り当て領域の形状を特定する動き予測モードと、当該各動きベクトル割り当て領域に対応する動きベクトルと、動き予測に伴う予測誤差信号の符号化データと、局所復号画像に施したウィーナフィルタ処理を識別するウィーナフィルタ処理識別情報と、当該ウィーナフィルタ処理で用いたウィーナフィルタ係数とをビットストリームから抽出する可変長復号部と、
    前記ビットストリームから抽出された前記予測誤差信号の符号化データを逆量子化して、所定の変換ブロック単位で復号した復号予測誤差信号を生成する復号部と、
    前記ビットストリームから抽出された前記動き予測モードおよび前記動きベクトルに基づいて動き予測画像を生成する予測部と、
    前記復号予測誤差信号と前記動き予測画像とを加算して復号画像を生成する加算部と、
    前記ビットストリームから抽出された前記ウィーナフィルタ係数および前記ウィーナフィルタ処理識別情報に基づいて、前記復号画像に対してウィーナフィルタ処理を施して参照画像を生成するフィルタ部とを備えるとともに、
    前記フィルタ部は、
    前記復号画像の前記変換ブロック境界の画素に対してデブロッキングフィルタ処理を施して、第1の加工復号画像を生成するデブロッキングフィルタ処理部と、
    前記ウィーナフィルタ処理識別情報が第1のウィーナフィルタ処理を行うことを示す場合に、前記第1の加工復号画像に対して前記ウィーナフィルタ係数を用いたウィーナフィルタ処理を施して参照画像を生成する第1のウィーナフィルタ処理部と、
    前記ウィーナフィルタ処理識別情報が第2のウィーナフィルタ処理を行うことを示す場合に、前記第1の加工復号画像のうち、前記デブロッキングフィルタ処理部でデブロッキング処理が行われなかった画素に対して鮮鋭化フィルタ処理を施して第2の加工復号画像を生成し、当該第2の加工復号画像のうち、前記デブロッキング処理が行われた画素とその他の画素に対して異なる前記ウィーナフィルタ係数を用いたウィーナフィルタ処理を施して参照画像を生成する第2のウィーナフィルタ処理部とを有することを特徴とする画像復号装置。
  3. 入力画像フレームを所定の動きベクトル割り当て領域に分割して動きベクトルを探索し、当該動きベクトルによって生成される動き予測画像と、当該動き予測画像を前記入力画像から差し引いた予測誤差信号とを生成する予測ステップと、
    前記予測誤差信号を量子化して、所定の変換ブロック単位で圧縮符号化する圧縮ステップと、
    前記圧縮ステップで量子化した符号化データを局所復号して、前記予測誤差信号の復号値を生成する局所復号ステップと、
    前記予測誤差信号の復号値と前記動き予測画像とを加算して局所復号画像を得る加算ステップと、
    前記局所復号画像に対して、所定のウィーナフィルタ係数を用いたウィーナフィルタ処理を施して参照画像を生成すると共に、当該ウィーナフィルタ処理の種別を識別するウィーナフィルタ処理識別情報を出力するフィルタステップと、
    前記予測誤差信号の符号化データ、ならびに前記フィルタステップで用いた前記ウィーナフィルタ係数および前記ウィーナフィルタ処理識別情報を符号化する可変長符号化ステップとを備えるとともに、
    前記フィルタステップは、
    前記局所復号画像を前記変換ブロック境界の画素に対してデブロッキングフィルタ処理を施して、第1の加工復号画像を生成するデブロッキングフィルタ処理ステップと、
    前記局所復号画像の前記変換ブロック境界の画素以外の画素に対して鮮鋭化フィルタ処理を施して、第2の加工復号画像を生成する鮮鋭化フィルタ処理ステップと、
    前記第1の加工復号画像に基づいて前記第1のウィーナフィルタ係数を設計し、前記第2の加工復号画像に基づいて前記第2のウィーナフィルタ係数を設計するウィーナフィルタ設計ステップと、
    前記第1の加工復号画像および前記第2の加工復号画像のうち少なくとも一方に対して、前記第1のウィーナフィルタ係数および前記第2のウィーナフィルタ係数のうち少なくとも一方を用いたウィーナフィルタ処理を施して前記参照画像を生成すると共に、用いたウィーナフィルタ係数、および当該ウィーナフィルタ処理の種別を識別する前記ウィーナフィルタ処理識別情報を出力するウィーナフィルタ処理ステップとを有することを特徴とする画像符号化方法。
  4. 入力画像フレームにおいて動きベクトルを探索した動きベクトル割り当て領域の形状を特定する動き予測モードと、当該各動きベクトル割り当て領域に対応する動きベクトルと、動き予測に伴う予測誤差信号の符号化データと、局所復号画像に施したウィーナフィルタ処理を識別するウィーナフィルタ処理識別情報と、当該ウィーナフィルタ処理で用いたウィーナフィルタ係数とをビットストリームから抽出する可変長復号ステップと、
    前記ビットストリームから抽出された前記予測誤差信号の符号化データを逆量子化して、所定の変換ブロック単位で復号した復号予測誤差信号を生成する復号ステップと、
    前記ビットストリームから抽出された前記動き予測モードおよび前記動きベクトルに基づいて動き予測画像を生成する予測ステップと、
    前記復号予測誤差信号と前記動き予測画像とを加算して復号画像を生成する加算ステップと、
    前記ビットストリームから抽出された前記ウィーナフィルタ係数および前記ウィーナフィルタ処理識別情報に基づいて、前記復号画像に対してウィーナフィルタ処理を施して参照画像を生成するフィルタステップとを備えるとともに、
    前記フィルタステップは、
    前記復号画像の前記変換ブロック境界の画素に対してデブロッキングフィルタ処理を施して、第1の加工復号画像を生成するデブロッキングフィルタ処理ステップと、
    前記ウィーナフィルタ処理識別情報が第1のウィーナフィルタ処理を行うことを示す場合に、前記第1の加工復号画像に対して前記ウィーナフィルタ係数を用いたウィーナフィルタ処理を施して参照画像を生成する第1のウィーナフィルタ処理ステップと、
    前記ウィーナフィルタ処理識別情報が第2のウィーナフィルタ処理を行うことを示す場合に、前記第1の加工復号画像のうち、前記デブロッキングフィルタ処理ステップでデブロッキング処理が行われなかった画素に対して鮮鋭化フィルタ処理を施して第2の加工復号画像を生成し、当該第2の加工復号画像のうち、前記デブロッキング処理が行われた画素とその他の画素に対して異なる前記ウィーナフィルタ係数を用いたウィーナフィルタ処理を施して参照画像を生成する第2のウィーナフィルタ処理ステップとを有することを特徴とする画像復号方法。
JP2011545049A 2009-12-07 2010-10-04 画像符号化装置、画像復号装置、画像符号化方法、および画像復号方法 Expired - Fee Related JP5340415B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011545049A JP5340415B2 (ja) 2009-12-07 2010-10-04 画像符号化装置、画像復号装置、画像符号化方法、および画像復号方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2009277575 2009-12-07
JP2009277575 2009-12-07
JP2011545049A JP5340415B2 (ja) 2009-12-07 2010-10-04 画像符号化装置、画像復号装置、画像符号化方法、および画像復号方法
PCT/JP2010/005937 WO2011070698A1 (ja) 2009-12-07 2010-10-04 画像符号化装置、画像復号装置、画像符号化方法、および画像復号方法

Publications (2)

Publication Number Publication Date
JPWO2011070698A1 true JPWO2011070698A1 (ja) 2013-04-22
JP5340415B2 JP5340415B2 (ja) 2013-11-13

Family

ID=44145267

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011545049A Expired - Fee Related JP5340415B2 (ja) 2009-12-07 2010-10-04 画像符号化装置、画像復号装置、画像符号化方法、および画像復号方法

Country Status (2)

Country Link
JP (1) JP5340415B2 (ja)
WO (1) WO2011070698A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5728330B2 (ja) * 2011-08-24 2015-06-03 Kddi株式会社 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、およびプログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3392307B2 (ja) * 1995-11-02 2003-03-31 松下電器産業株式会社 画像信号平滑化装置および画像信号平滑化方法
CA2582665C (en) * 2001-09-12 2012-04-24 Matsushita Electric Industrial Co., Ltd. Picture coding method and picture decoding method
WO2005034517A1 (en) * 2003-09-17 2005-04-14 Thomson Licensing S.A. Adaptive reference picture generation
JP2006211152A (ja) * 2005-01-26 2006-08-10 Hokkaido Univ 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法、画像符号化用プログラム、画像復号用プログラム
US8189934B2 (en) * 2006-03-27 2012-05-29 Panasonic Corporation Image coding apparatus and image decoding apparatus
JPWO2009110160A1 (ja) * 2008-03-07 2011-07-14 株式会社東芝 動画像符号化/復号化方法及び装置
WO2009130942A1 (ja) * 2008-04-21 2009-10-29 シャープ株式会社 画像符号化装置および画像復号装置

Also Published As

Publication number Publication date
WO2011070698A1 (ja) 2011-06-16
JP5340415B2 (ja) 2013-11-13

Similar Documents

Publication Publication Date Title
JP6667609B2 (ja) 画像符号化装置、画像符号化方法、画像復号装置および画像復号方法
JP6082073B2 (ja) 画像復号装置、画像復号方法、画像符号化装置、画像符号化方法及びビットストリーム
KR101728285B1 (ko) 화상 부호화 장치, 화상 부호화 방법, 화상 복호 장치, 화상 복호 방법 및 기억 매체
KR101749855B1 (ko) 컬러 화상 부호화 장치, 컬러 화상 복호 장치, 컬러 화상 부호화 방법 및 컬러 화상 복호 방법
WO2010137323A1 (ja) 映像符号化装置、映像復号装置、映像符号化方法、および映像復号方法
KR20130070597A (ko) 화상 처리 장치와 화상 처리 방법
KR20140049095A (ko) 동영상 부호화 장치, 동영상 복호 장치, 동영상 부호화 방법 및 동영상 복호 방법
JP5361998B2 (ja) 画像符号化装置、画像復号装置、画像符号化方法、および画像復号方法
KR101530774B1 (ko) 영상 부호화 및 복호화 방법, 장치 및 시스템
WO2013001720A1 (ja) 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
JP5340415B2 (ja) 画像符号化装置、画像復号装置、画像符号化方法、および画像復号方法
JP2015080002A (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130423

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130606

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130709

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130806

R150 Certificate of patent or registration of utility model

Ref document number: 5340415

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees