JPWO2011064944A1 - 映像符号化装置および映像復号装置 - Google Patents

映像符号化装置および映像復号装置 Download PDF

Info

Publication number
JPWO2011064944A1
JPWO2011064944A1 JP2011543087A JP2011543087A JPWO2011064944A1 JP WO2011064944 A1 JPWO2011064944 A1 JP WO2011064944A1 JP 2011543087 A JP2011543087 A JP 2011543087A JP 2011543087 A JP2011543087 A JP 2011543087A JP WO2011064944 A1 JPWO2011064944 A1 JP WO2011064944A1
Authority
JP
Japan
Prior art keywords
pseudo
random noise
image block
block
reconstructed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2011543087A
Other languages
English (en)
Inventor
慶一 蝶野
慶一 蝶野
裕三 仙田
裕三 仙田
純二 田治米
純二 田治米
啓史 青木
啓史 青木
健太 先崎
健太 先崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2011064944A1 publication Critical patent/JPWO2011064944A1/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

【課題】輪郭および階段アーティファクトを効率的に低減する。【解決手段】映像符号化装置は、量子化インデックスを逆量子化して量子化代表値を得る逆量子化手段と、逆量子化手段によって得られた量子化代表値を逆変換して再構築画像ブロックを得る逆周波数変換手段と、再構築画像ブロックの伸張情報に基づいて擬似ランダム雑音混入位置を決定し、擬似ランダム雑音混入位置の画像に擬似ランダム雑音を混入させる雑音混入手段とを備えている。

Description

本発明は、輪郭および階段アーティファクトを低減する映像符号化技術が適用された映像符号化装置および映像復号装置に関する。
一般に、映像符号化装置は、外部から入力される動画像信号をディジタル化した後、所定の映像符号化方式に準拠した符号化処理を行うことで符号化データすなわちビットストリームを生成する。
所定の映像符号化方式として非特許文献１に記載されたＩＳＯ／ＩＥＣ 14496-10 Advanced Video Coding（ＡＶＣ）がある。ＡＶＣ方式の符号化器の参照モデルとしてJoint Model方式が知られている（以下、一般的な映像符号化装置という）。
図２８を参照して、ディジタル化された映像の各フレームを入力としてビットストリームを出力する一般的な映像符号化装置の構成と動作を説明する。
図２８に示すように、一般的な映像符号化装置は、ＭＢバッファ１０１、周波数変換部１０２、量子化部１０３、エントロピー符号化部１０４、逆量子化部１０５、逆周波数変換部１０６、ピクチャバッファ１０７、ブロック歪み除去フィルタ部１０８、デコードピクチャバッファ１０９、イントラ予測部１１０、フレーム間予測部１１１、符号化制御部１１２およびスイッチ１００を備えている。
一般的な映像符号化装置は、各フレームをＭＢ（Macro Block ：マクロブロック）とよばれる１６×１６画素サイズのブロックに分割し、さらにＭＢを４×４画素サイズのブロック分割し、分割して得られた４×４ブロックを符号化の最小構成単位とする。
図２９は、フレームの空間解像度がＱＣＩＦ（Quarter Common Intermediate Format）の場合のブロック分割の例を示す説明図である。以下、簡単のために、輝度の画素値のみに着目して、図２８に示された各部の動作を説明する。
ＭＢバッファ１０１には、入力画像フレームの符号化対象ＭＢの画素値が格納される。以下、符号化対象ＭＢを入力ＭＢという。
ＭＢバッファ１０１から供給される入力ＭＢは、スイッチ１００を介して、イントラ予測部１１０またはフレーム間予測部１１１から供給される予測信号が減じられる。以下、予測信号が減じられた入力ＭＢを予測誤差画像ブロックという。
イントラ予測部１１０は、ピクチャバッファ１０７に格納された再構築画像であって現在のフレームと表示時刻が同一である再構築画像を利用してイントラ予測信号を生成する。以下、イントラ予測信号を用いて符号化されるＭＢをイントラＭＢという。
フレーム間予測部１１１は、現在のフレームと表示時刻が異なる、デコードピクチャバッファ１０９に格納された参照画像を利用してフレーム間予測信号を生成する。以下、フレーム間予測信号を用いて符号化されるＭＢをインターＭＢという。
なお、イントラＭＢのみで符号化されたフレームはＩフレームと呼ばれる。イントラＭＢだけでなくインターＭＢも含めて符号化されたフレームはＰフレームと呼ばれる。フレーム間予測信号の生成に１枚の参照画像だけでなく同時に２枚の参照画像を用いるインターＭＢを含めて符号化されたフレームはＢフレームと呼ばれる。
符号化制御部１１２は、イントラ予測信号およびフレーム間予測信号とＭＢバッファ１０１に格納されている入力ＭＢとを比較して、予測誤差画像ブロックのエネルギーが小さくなる予測信号を選択し、スイッチ１００を制御する。選択された予測信号に関連する情報は、エントロピー符号化部１０４に供給される。
また、符号化制御部１１２は、入力ＭＢまたは予測誤差画像ブロックに基づいて、予測誤差画像ブロックの周波数変換に適した整数ＤＣＴの基底ブロックサイズを選択する。整数ＤＣＴは、一般的な映像符号化装置ではＤＣＴ基底を整数値で近似した基底による周波数変換を意味する。基底ブロックサイズの選択肢として、１６×１６、８×８、４×４の３つのブロックサイズがある。入力ＭＢまたは予測誤差画像ブロックの画素値が平坦になる程、より大きな基底ブロックサイズが選択される。選択された整数ＤＣＴの基底サイズに関する情報は、周波数変換部１０２およびエントロピー符号化部１０４に供給される。以下、選択された予測信号に関連する情報および選択された整数ＤＣＴの基底サイズに関する情報を補助情報という。
さらに、符号化制御部１１２は、目標ビット数以下でフレームを符号化するために、エントロピー符号化部１０４が出力するビットストリームのビット数を監視する。そして、出力されるビットストリームのビット数が目標ビット数よりも多ければ量子化ステップサイズを大きくする量子化パラメータを出力し、逆に出力されるビットストリームのビット数が目標ビット数よりも少なければ量子化ステップサイズを小さくする量子化パラメータを出力する。そのようにして、出力ビットストリームは目標のビット数に近づくように符号化される。
周波数変換部１０２は、選択された整数ＤＣＴの基底サイズで、予測誤差画像ブロックを周波数変換して、空間領域から周波数領域に変換する。周波数領域に変換された予測誤差を変換係数という。周波数変換には、ＤＣＴ（Discrete Cosine Transform ）やアダマール変換などの直交変換を利用することができる。
量子化部１０３は、符号化制御部１１２から供給される量子化パラメータに対応する量子化ステップサイズで、変換係数を量子化する。なお、量子化された変換係数の量子化インデックスはレベルとも呼ばれる。
エントロピー符号化部１０４は、補助情報と量子化インデックスとをエントロピー符号化して、そのビット列すなわちビットストリームとして出力する。
逆量子化部１０５および逆変換部１０６は、以後の符号化のために、量子化部１０３から供給される量子化インデックスを逆量子化して量子化代表値を得て、さらに逆周波数変換して元の空間領域に戻す。以下、元の空間領域に戻された予測誤差画像ブロックを再構築予測誤差画像ブロックという。
ピクチャバッファ１０７には、現在のフレームに含まれる全てのＭＢが符号化されるまで、再構築予測誤差画像ブロックに予測信号が加えられた再構築画像ブロックが格納される。以下、ピクチャバッファ１０７において再構築画像によって構成されるピクチャを再構築画像ピクチャという。
ブロック歪み除去フィルタ部１０８は、ピクチャバッファ１０７に格納された再構築画像ピクチャに対してブロック歪みを除去する。
デコードピクチャバッファ１０９は、ブロック歪み除去フィルタ部１０８から供給される、ブロック歪みが除去された再構築画像ピクチャを参照画像ピクチャとして格納する。なお、参照画像ピクチャの画像は、フレーム間予測信号を生成するための参照画像として利用される。
図２８に示された映像符号化装置は、上述した処理によって、ビットストリームを生成する。
特表２００７−５０３１６６号公報 特表２００７−５０７１６９号公報
ＩＳＯ／ＩＥＣ 14496-10 Advanced Video Coding L.G. Roberts，"Picture coding using pseudorandom noise "，IRE Trans. on Information Theory，vol. IT-8 ，pp145-154 ，1962年 2月 G. Conklin and N. Gokhale ，"Dithering 5-tap Filter for Inloop Deblocking"，Joint Video Team（JVT ） of ISO/IEC MPEG & ITU-T VCEG ，JVT-C056，2002年 5月 蝶野他，"アダマール変換の性質を利用したH.264 イントラ予測推定器の低演算量化方式"，電子情報通信学会大会講演論文集，D-11-52 ，2005年
上述した技術によって低ビットレートで圧縮され伸張された映像は、人間が認識可能なアーティファクトを発生する。ブロック歪みやリンギング歪みは、ブロックベース符号化に基づいて圧縮され伸張された映像に発生する典型的なアーティファクトである。
非特許文献２では、アーティファクトに対する人間の視覚感度を低下させるために、画像に擬似ランダム雑音を混入させることによってアーティファクトを低減することが提案されている。非特許文献３は、ブロックベース符号化である非特許文献１に開示されているブロック歪み除去フィルタにおいて、画像ブロック境界に対する画素の位置に従う量のランダムノイズディザを再構築画像に加えること、およびブロック歪み除去フィルタを適用する画像ブロック境界の順序を入れ替えることが提案されている。
特許文献１および特許文献２では、現在の画像の少なくとも一部の輝度に関連づけられた量、または前の画像の画素の付加的ノイズに関連する量の付加的ノイズを混入させることが提案されている。
しかし、上記の各文献には、ブロックベース符号化に基づく高解像度映像の圧縮および伸張において問題になる輪郭および階段アーティファクトを効率的に低減するための擬似ランダム雑音混入候補位置の決定方法が考慮されていない。従って、上記の各文献に記載された技術では、特に、高解像度映像の輪郭および階段アーティファクトを効率的に低減できない。なお、効率には、輪郭および階段アーティファクトの低減効率だけでなく、計算効率も含まれる。
そこで、本発明は、輪郭および階段アーティファクトを効率的に低減することができる映像符号化装置および映像復号装置を提供することを目的とする。
本発明による映像符号化装置は、量子化インデックスを逆量子化して量子化代表値を得る逆量子化手段と、前記逆量子化手段によって得られた量子化代表値を逆変換して再構築画像ブロックを得る逆周波数変換手段と、再構築画像ブロックの伸張情報に基づいて擬似ランダム雑音混入位置を決定し、擬似ランダム雑音混入位置の画像に擬似ランダム雑音を混入させる雑音混入手段とを備えたことを特徴とする。
本発明による映像復号装置は、ビット列をエントロピー復号して量子化インデックスを得るエントロピー復号手段と、画像ブロックに対するイントラ予測信号またはフレーム間予測信号を計算する予測手段と、前記量子化インデックスを逆量子化して量子化代表値を得る逆量子化手段と、前記逆量子化手段によって得られた量子化代表値を逆変換して再構築予測誤差画像ブロックを得る逆周波数変換手段と、イントラ予測信号またはフレーム間予測信号を前記逆周波数変換手段によって得られた再構築予測誤差画像ブロックに加えて再構築画像ブロックを得る再構築手段と、前記再構築画像ブロックの伸張情報に基づいて擬似ランダム雑音混入位置を決定し、前記擬似ランダム雑音混入位置の画像に擬似ランダム雑音を混入させる雑音混入手段とを備えたことを特徴とする。
本発明による映像符号化方法は、量子化インデックスを逆量子化して量子化代表値を得て、得られた量子化代表値を逆変換して再構築画像ブロックを得て、前記再構築画像ブロックの伸張情報に基づいて擬似ランダム雑音混入位置を決定し、前記擬似ランダム雑音混入位置の画像に擬似ランダム雑音を混入させることを特徴とする。
本発明による映像復号方法は、ビット列をエントロピー復号して量子化インデックスを得て、画像ブロックに対するイントラ予測信号またはフレーム間予測信号を計算し、前記量子化インデックスを逆量子化して量子化代表値を得て、得られた量子化代表値を逆変換して再構築予測誤差画像ブロックを得て、イントラ予測信号またはフレーム間予測信号を再構築予測誤差画像ブロックに加えて再構築画像ブロックを得て、前記再構築画像ブロックの伸張情報に基づいて擬似ランダム雑音混入位置を決定し、前記擬似ランダム雑音混入位置の画像に擬似ランダム雑音を混入させることを特徴とする。
本発明による映像符号化プログラムは、コンピュータに、量子化インデックスを逆量子化して量子化代表値を得る処理と、得られた量子化代表値を逆変換して再構築画像ブロックを得る処理と、前記再構築画像ブロックの伸張情報に基づいて擬似ランダム雑音混入位置を決定し、前記擬似ランダム雑音混入位置の画像に擬似ランダム雑音を混入させる処理ことを特徴とする。
本発明による映像復号プログラムは、コンピュータに、ビット列をエントロピー復号して量子化インデックスを計算する処理と、画像ブロックに対するイントラ予測信号またはフレーム間予測信号を計算する処理と、前記量子化インデックスを逆量子化して量子化代表値を得る処理と、得られた量子化代表値を逆変換して再構築予測誤差画像ブロックを得る処理と、イントラ予測信号またはフレーム間予測信号を前記再構築予測誤差画像ブロックに加えて再構築画像ブロックを得る処理と、前記再構築画像ブロックの伸張情報に基づいて擬似ランダム雑音混入位置を決定し、前記擬似ランダム雑音混入位置の画像に擬似ランダム雑音を混入させる処理ことを特徴とする。
本発明によれば、伸張画像のすべての画素値を比較して画素値の変動量を解析することなく、輪郭および階段アーティファクトが目立つ位置を正確に検出できる。従って、効率的に高解像度映像の輪郭および階段アーティファクトを低減できる映像符号化装置および映像復号装置を提供できる。
第１の実施形態の映像符号化装置のブロック図である。 平坦な予測信号となる予測の種類を説明するための説明図である。 平坦な予測信号となる予測の種類を説明するための説明図である。 ８×８ブロックサイズのＤＣＴ基底を示す説明図である。 ４×４ブロックサイズのＤＣＴ基底を示す説明図である。 １６×１６ブロックサイズのＤＣＴ基底を示す説明図である。 １６×１６ブロックサイズの整数ＤＣＴの構成例を示す説明図である。 第２の実施形態の映像符号化装置のブロック図である。 第３の実施形態の映像符号化装置のブロック図である。 ブロック歪み除去フィルタ部の動作を説明するための説明図である。 ブロック歪み除去フィルタ部の動作を説明するための説明図である。 ｂＳを決定する処理を示すフローチャートである。 ｂＳを決定する処理を示すフローチャートである。 第４の実施形態の映像復号装置のブロック図である。 第５の実施形態の映像復号装置のブロック図である。 第６の実施形態の映像復号装置のブロック図である。 第２の実施形態の映像符号化装置に対して擬似ランダム雑音混入候補位置の再構築画像ブロックについてのみ画素値の変動量を実際に計算し計算した画素値の変動量の大小に基づいて擬似ランダム雑音混入位置を決定する雑音混入器を適用した場合の構成を示すブロック図である。 第２の実施形態の映像符号化装置に対して擬似ランダム雑音混入候補位置の再構築画像ブロックについてのみ画素値の変動量を実際に計算し計算した画素値の変動量の大小に基づいて擬似ランダム雑音混入位置を決定する雑音混入器を適用した場合の構成を示すブロック図である。 第５の実施形態の映像復号装置に対して擬似ランダム雑音混入候補位置の再構築画像ブロックについてのみ画素値の変動量を実際に計算し計算した画素値の変動量の大小に基づいて擬似ランダム雑音混入位置を決定する雑音混入器を適用した場合の構成を示すブロック図である。 第３の実施形態の映像符号化装置に対して擬似ランダム雑音混入候補位置の再構築画像ブロックについてのみ画素値の変動量を実際に計算し計算した画素値の変動量の大小に基づいて擬似ランダム雑音混入位置を決定する雑音混入器を適用した場合の構成を示すブロック図である。 第６の実施形態の映像復号装置に対して擬似ランダム雑音混入候補位置の再構築画像ブロックについてのみ画素値の変動量を実際に計算し計算した画素値の変動量の大小に基づいて擬似ランダム雑音混入位置を決定する雑音混入器を適用した場合の構成を示すブロック図である。 擬似ランダム雑音の発生器のリセットを説明するための説明図である。 本発明による映像符号化装置および映像復号装置の機能を実現可能な情報処理システムの構成例を示すブロック図である。 本発明による映像符号化装置の主要構成を示すブロック図である。 本発明による映像復号装置の主要構成を示すブロック図である。 本発明による映像符号化装置の処理を示すフローチャートである。 本発明による映像復号装置の処理を示すフローチャートである。 一般的な映像符号化装置の構成を示すブロック図である。 ブロック分割の例を示す説明図である。
実施形態１．
図１は、本発明の第１の実施形態のブロック図であり、再構築画像ブロックの伸張途中の情報に基づいて擬似ランダム雑音混入候補位置を決定し、再構築予測誤差画像ブロックに擬似ランダム雑音を混入させる映像符号化装置を示すブロック図である。
図１に示すように、本実施形態の映像符号化装置は、ＭＢバッファ１０１、周波数変換部１０２、量子化部１０３、エントロピー符号化部１０４、逆量子化部１０５、逆周波数変換部１０６、ピクチャバッファ１０７、ブロック歪み除去フィルタ部１０８、デコードピクチャバッファ１０９、イントラ予測部１１０、フレーム間予測部１１１、符号化制御部１１２およびスイッチ１００に加えて、雑音混入器１１３を備えている。
本実施形態の映像符号化装置は、雑音混入器１１３が設けられている点と、雑音混入器１１３の出力が逆周波数変換部１０６に供給されている点とにおいて、図２８に示された一般的な映像符号化装置と異なる。よって、以下の説明では、特に、本実施形態の映像符号化装置の特徴である雑音混入器１１３と逆周波数変換部１０６との動作を詳細に説明する。
ＭＢバッファ１０１には、入力画像フレームの符号化対象ＭＢの画素値が格納される。
ＭＢバッファ１０１から供給される入力ＭＢから、スイッチ１００を介してイントラ予測部１１０またはフレーム間予測部１１１から供給される予測信号が減じられる。
ＭＢバッファ１０１から供給される入力ＭＢから、スイッチ１００を介してイントラ予測部１１０またはフレーム間予測部１１１から供給される予測信号が減じられる。
イントラ予測部１１０は、ピクチャバッファ１０７に格納された再構築画像であって現在のフレームと表示時刻が同一である再構築画像を利用してイントラ予測信号を生成する。イントラ予測に関連する情報として、イントラ予測のブロックサイズを示すイントラ予測モード、および方向を示すイントラ予測方向がある。
イントラ予測については、非特許文献１の8.3.1〜8.3.3に記載されているように、３種類のブロックサイズのイントラ予測モードIntra_４×４、Intra_８×８、Intra_１６×１６がある。
図２（ａ），（ｃ）を参照すると、Intra_４×４とIntra_８×８はそれぞれ４×４ブロックサイズと８×８ブロックサイズのイントラ予測であることがわかる。ただし、図中の丸（○）はイントラ予測の参照画素、つまり、ピクチャバッファ１０７に格納された再構築画像を示す。
Intra_４×４のイントラ予測では、再構築画像の周辺画素をそのまま参照画素とし、図２（ｂ）に示す９種類の方向に参照画素をパディング（外挿）して予測信号が形成される。Intra_８×８のイントラ予測では、図２（ｃ）における右矢印の直下に記載されているローパスフィルタ（１／２、１／４、１／２）によって再構築画像の周辺画素が平滑化された画素を参照画素として、図２（ｂ）に示す９種類の方向に参照画素を外挿して予測信号が形成される。
図３（ａ）を参照すると、Intra_１６×１６は１６×１６ブロックサイズのイントラ予測であることがわかる。図２に示された例と同様に、図３において、図中の丸（○）はイントラ予測の参照画素、つまり、ピクチャバッファ１０７に格納された再構築画像を示す。Intra_１６×１６のイントラ予測では、再構築画像の周辺画素をそのまま参照画素として、図３（ｂ）に示す４種類の方向に参照画素を外挿して予測信号が形成される。
以下、イントラ予測のブロックサイズをイントラ予測モードという。また、外挿の方向をイントラ予測方向という。
非特許文献４に記載されているように、ＤＣ（図２および図３（ｂ）の「２」参照）、水平（図２と図３（ｂ）の「１」参照）および垂直（図２および図３（ｂ）の「０」参照）それぞれのイントラ予測方向の予測信号のアダマール変換については、有意な変換係数は特定の成分のみにしか発生しない。具体的には、ＤＣのイントラ予測方向についてはＤＣのみの有意な変換係数、水平のイントラ予測方向についてはＤＣおよび垂直成分のＡＣのみの有意な変換係数、垂直のイントラ予測方向についてはＤＣおよび水平成分のＡＣのみの有意な変換係数になる。
有意な変換係数が特定の成分のみにしか発生しないことは、ＤＣのイントラ予測方向については画像の変動量がゼロ（すなわち、平坦な予測信号）、水平のイントラ予測方向については水平方向の画像の変動量がゼロ（すなわち、水平方向に平坦な予測信号）、垂直のイントラ予測方向については垂直方向の画像の変動量がゼロ（すなわち、垂直方向に平坦な予測信号）であることを示している。
イントラ予測方向の予測信号の整数ＤＣＴについても、一例として示す図４の説明図に示す８×８ブロックサイズのＤＣＴ基底から明らかなように、ＤＣのイントラ予測方向については画像の変動量がゼロ、水平のイントラ予測方向については水平方向の画像の変動量がゼロ、垂直のイントラ予測方向については垂直方向の画像の変動量がゼロとなる。なお、図５と図６にそれぞれ示す４×４ブロックサイズのＤＣＴ基底と１６×１６ブロックサイズのＤＣＴ基底からわかるように、ブロックサイズが４×４または１６×１６についても、８×８ブロックサイズのＤＣＴ基底の場合と同様に、ＤＣのイントラ予測方向については画像の変動量がゼロ、水平のイントラ予測方向については水平方向の画像の変動量がゼロ、垂直のイントラ予測方向については垂直方向の画像の変動量がゼロとなる。
以上のことから、ＤＣ、水平、垂直およびPlane （図３（ｂ）の「３」参照）のイントラ予測方向は平坦な予測の種類であることがわかる。つまり、イントラ予測方向によって、再構築画像の変動量の大小を推定できることがわかる。
符号化制御部１１２は、通常、それぞれのイントラ予測モードとそのイントラ予測方向との組み合わせである予測信号と、入力ＭＢとを比較して、予測誤差画像ブロックのエネルギーが小さくなる予測信号をイントラ予測信号とする。
フレーム間予測部１１１は、現在のフレームと表示時刻が異なる、デコードピクチャバッファ１０９に格納された参照画像を利用してフレーム間予測信号を生成する。フレーム間予測に関連する情報として、参照ピクチャインデックスや動きベクトルなどの情報がある。
符号化制御部１１２は、イントラ予測信号およびフレーム間予測信号とＭＢバッファ１０１に格納されている入力ＭＢとを比較して、予測誤差画像ブロックのエネルギーが小さくなる予測信号を選択し、スイッチ１００を制御する。選択された予測信号に関連する情報は、エントロピー符号化部１０４に供給される。
なお、予測誤差画像ブロックのエネルギーが小さくなる予測信号がイントラ予測信号である場合、選択された予測信号に関連する情報は、イントラ予測モードとイントラ予測方向である。
また、符号化制御部１１２は、入力ＭＢまたは予測誤差画像ブロックに基づいて、予測誤差画像ブロックの周波数変換に適した整数ＤＣＴの基底ブロックサイズを選択する。選択された整数ＤＣＴの基底サイズは、周波数変換部１０２およびエントロピー符号化部１０４に供給される。通常、入力ＭＢまたは予測誤差画像ブロックの画素値が平坦になる程、より大きな基底ブロックサイズが選択される。換言すると、大きな基底ブロックサイズの再構築画像ブロックでは再構築画像は平坦である。なお、予測誤差画像ブロックのエネルギーが小さくなる予測信号がイントラ予測信号である場合には、選択された整数ＤＣＴの基底サイズはイントラ予測モードのブロックサイズと同一である。
さらに、符号化制御部１１２は、目標ビット数以下でフレームを符号化するために、エントロピー符号化部１０４が出力するビットストリームのビット数を監視する。そして、出力されるビットストリームのビット数が目標ビット数よりも多ければ量子化ステップサイズを大きくする量子化パラメータを出力し、逆に、出力されるビットストリームのビット数が目標ビット数よりも少なければ量子化ステップサイズを小さくする量子化パラメータを出力する。そのようにして、出力ビットストリームは目標のビット数に近づくように符号化される。
周波数変換部１０２は、選択された整数ＤＣＴの基底サイズで、予測誤差画像ブロックを周波数変換して空間領域から周波数領域に変換する。
量子化部１０３は、変換係数を、符号化制御部１１２が供給する量子化パラメータに対応する量子化ステップサイズで量子化する。
ここで、図４に例示された８×８ブロックサイズのＤＣＴ基底からもわかるように、高周波数のＡＣの基底ほど（右矢印または下矢印の方向の基底ほど）変動量が大きいことに着目する。すると、有意なＡＣの量子化インデックスが少ないパターンの再構築画像では、その画素値の変動量が小さいと推定できることがわかる。つまり、有意なＡＣの量子化インデックスが少ないパターンの予測誤差画像ブロックについては、その再構築画像が平坦であることがわかる。
エントロピー符号化部１０４は、選択された予測信号に関連する情報、整数ＤＣＴの基底サイズ、および量子化インデックスをエントロピー符号化して、そのビット列すなわちビットストリームとして出力する。
逆量子化部１０５は、以後の符号化のために、量子化部１０３から供給される量子化インデックスを逆量子化する。逆量子化された量子化インデックスを量子化代表値という。
雑音混入器１１３は、エントロピー符号化部１０４に供給される予測誤差画像ブロックについて予測信号に関連する情報、整数ＤＣＴの基底サイズ、および量子化インデックスを監視する。
雑音混入器１１３は、選択された予測信号に関連する情報、整数ＤＣＴの基底サイズ、量子化インデックス、または、それらの何れかの組み合わせに基づいて、再構築画像すべての画素値を比較することなく画素値の変動量を推定し、擬似ランダム雑音混入候補位置を決定する。例えば、上述した平坦な予測の種類、大きな整数ＤＣＴの基底サイズ、および、有意なＡＣの量子化インデックスが少ないパターンの予測誤差画像ブロックについては、対応する再構築画像ブロックの画素値の変動量が小さくなる。従って、そのような予測誤差画像ブロックを擬似ランダム雑音混入候補位置と決定し、そうでない予測誤差画像ブロックについては、擬似ランダム雑音非混入候補位置と決定する。
なお、平坦な予測の種類の予測誤差画像ブロックに対応する再構築画像ブロック、大きな整数ＤＣＴの基底サイズ（あらかじめ定められた所定サイズよりも大きな基底サイズ）の予測誤差画像ブロックに対応する再構築画像ブロック、有意なＡＣの量子化インデックスが少ないパターンの予測誤差画像ブロックに対応する再構築画像ブロック、平坦な予測の種類および大きな整数ＤＣＴの基底サイズの予測誤差画像ブロックに対応する再構築画像ブロック、大きな整数ＤＣＴTの基底サイズおよび有意なＡＣの量子化インデックスが少ないパターンの予測誤差画像ブロックに対応する再構築画像ブロック、または、平坦な予測および有意なＡＣの量子化インデックスが少ないパターンの予測誤差画像ブロックに対応する再構築画像ブロックを、その画素値の変動量が小さいと推定してもよい（なお、前記有意なＡＣの量子化インデックスが少ないパターンには、あらかじめ定められた低周波数成分だけに有意なＡＣの量子化インデックスが存在するパターン、または、すべての周波数成分にわたって有意なＡＣの量子化インデックスが疎に存在するパターンが利用できる。）。
雑音混入器１１３は、擬似ランダム雑音混入候補位置について、擬似ランダム雑音ｎ（ｉ）を発生する。すなわち、本実施形態では、擬似ランダム雑音混入候補位置が、擬似ランダム雑音混入位置に相当する。擬似ランダム雑音ｎ（ｉ）を、例えば、式（１）による線形合同法などに基づいて発生すればよい。
ｎ（ｉ）＝（ａ×ｎ（ｉ−１）＋ｂ）％ｃ ・・・（１）
ただし、ａ，ｂおよびｃは擬似ランダム雑音の周期を決定するパラメータであり、ａ＞０，ｂ＞０，ａ≦ｃ，ｂ＜ｃである、また、ｘ％ｙは、ｘをｙで割った余りを返す処理を示す。
雑音混入器１１３は、擬似ランダム雑音非混入候補位置について、ゼロの擬似ランダム雑音を発生する。ゼロの擬似ランダム雑音の発生は、予測誤差画像ブロックに擬似ランダム雑音を混入させないことを示す。
逆変換部１０６は、量子化代表値を逆周波数変換し、さらに雑音混入器１１３から供給される擬似ランダム雑音を混入させて元の空間領域に戻す。以下、イントラ予測モードのブロックサイズ毎の具体的な処理を説明する。ただし、非特許文献１に記載されているＡＶＣでは、逆変換と逆量子化の処理が統合されているので、逆量子化を含めた説明になっている。
まず、Intra_１６×１６の場合の逆変換と逆量子化を説明する。すなわち、Intra_１６×１６の場合の、量子化代表値を逆周波数変換して雑音混入器１１３から擬似ランダム雑音を混入させる動作を説明する。本実施形態では、図７に示すように、１６×１６ブロックサイズの整数ＤＣＴが、４×４ブロックサイズの整数ＤＣＴと４×４ブロックサイズのアダマール変換とを組み合わせて構成されているとする。
Intra_１６×１６の４×４ＤＣブロックの逆周波数変換は、量子化インデックスをＬ16＝｛ｌ16００・・・ｌ16３３｝、逆変換係数をＦ16＝｛ｆ16００・・・ｆ16３３｝とすると、式（２）で定義される。
Figure 2011064944
Intra_１６×１６の４×４ＤＣブロックの逆量子化は、量子化パラメータをｑｐ、逆量子化の出力をｄｃＹｉｊとすると、式（３）で定義される。ただし、LevelScale（m,i,j ）は式（４）で表され、Ｍは式（５）で表される。
Figure 2011064944
Figure 2011064944
Figure 2011064944
さらに、逆量子化の出力は、図４に示すようにIntra_１６×１６の４×４ＡＣブロックのＤＣになる。各４×４ＡＣブロックに、以下に説明する４×４ブロック逆変換／逆量子化を適用する。
Intra_１６×１６の４×４ＡＣブロックでは、逆量子化を行った後に、逆変換を適用する。ＭＢ内での４×４ブロック座標を（ｉ，ｊ）、量子化インデックスをＬ＝｛ｌ００・・・ｌ３３｝、量子化代表値をｄｉｊとすると、４×４ＡＣブロックの逆量子化は式（６）で定義される。
Figure 2011064944
続いて、逆変換係数をＣ＝｛ｃ００・・・ｃ３３｝とすると、４×４ブロックの逆変換は式（７）で定義される。
Figure 2011064944
さらに、式（８）に示すように、逆変換係数Ｃに擬似ランダム雑音Ｎ＝｛ｎ００・・・ｎ３３｝（式（１）のｎ（ｉ）を適当な法則で並び変えたとする）を加えて正規化して、再構築予測誤差画像ブロックＰＤ｛pd００・・・pd３３｝を得る。すなわち逆変換係数を元の空間領域に戻す。
pdｉｊ＝（ｃｉｊ＋（ｎｉｊ％６４）＋３２）＞＞６ ・・・（８）
式（８）に示すように、擬似ランダム雑音の影響強度が絶対値で１画素以下になるように、６４で割った余りが加えられている。擬似ランダム雑音の影響強度を絶対値で１画素以下にすることによって、擬似ランダム雑音混入によるＰＳＮＲ（Peak Signal to Noise Ratio）の低下を抑制できる。
次に、Intra_８×８の場合の逆変換と逆量子化を説明する。すなわち、Intra_８×８の場合の、量子化代表値を逆周波数変換して雑音混入器１１３から擬似ランダム雑音を混入させる動作を説明する。
量子化インデックスをＬ8 ＝｛ｌ8 ００・・・ｌ8 ７７｝、量子化代表値をＤ8 ＝｛ｄ8 ００・・・ｄ8 ７７｝とすると、Intra_８×８の逆量子化は式（９）で定義される。ただし、LevelScale8（m,i,j ）は式（１０）で表され、Ｍ8 は式（１１）で表される。
Figure 2011064944
Figure 2011064944
Figure 2011064944
続いて、逆変換係数をＣ＝｛ｃ００・・・ｃ７７｝とすると、Intra_８×８の逆変換は式（１２）で定義される。ただし、Ｔ８は、式（１３）のように表される。
Ｃ８＝Ｔ８ｔＤ８Ｔ８ ・・・（１２）
Figure 2011064944
さらに、式（１４）に示すように、逆変換係数Ｃに擬似ランダム雑音Ｎ＝｛ｎ００・・・ｎ７７｝（式（１）のｎ（ｉ）を適当な法則で並び変えたとする）を加えて正規化して、再構築予測誤差画像ブロックＰＤ｛pd００・・・pd７７｝を得る。すなわち逆変換係数を元の空間領域に戻す。
pdｉｊ＝（ｃ8 ｉｊ＋（ｎｉｊ％６４）＋３２）＞＞６ ・・・（１４）
次に、Intra_４×４の場合の逆変換と逆量子化を説明する。すなわち、Intra_４×４の場合の、量子化代表値を逆周波数変換して雑音混入器１１３から擬似ランダム雑音を混入させる動作を説明する。
量子化インデックスをＬ＝｛ｌ００・・・ｌ３３｝、量子化代表値をｄｉｊとすると、Intra_４×４の逆量子化は式（１５）で定義される。
Figure 2011064944
続いて、逆変換係数をＣ＝｛ｃ００・・・ｃ３３｝とすると、４×４ブロックの逆変換は式（１６）で定義される。
Figure 2011064944
さらに、式（１７）に示すように、逆変換係数Ｃに擬似ランダム雑音Ｎ＝｛ｎ００・・・ｎ３３｝を加えて正規化して、再構築予測誤差画像ブロックＰＤ｛pd００・・・pd３３｝を得る。すなわち逆変換係数を元の空間領域に戻す。
pdｉｊ＝（ｃｉｊ＋（ｎｉｊ％６４）＋３２）＞＞６ ・・・（１７）
ピクチャバッファ１０７には、現在のフレームに含まれるすべてのＭＢが符号化されるまで、再構築予測誤差画像ブロックに予測信号が加えられた再構築画像ブロックが格納される。
ブロック歪み除去フィルタ部１０８は、ピクチャバッファ１０７に格納された再構築画像ピクチャに対してブロック歪みを除去する。
デコードピクチャバッファ１０９には、ブロック歪み除去フィルタ１０８から供給されるブロック歪みが除去された再構築画像ピクチャが参照画像ピクチャとして格納される。なお、参照画像ピクチャの画像は、フレーム間予測信号を生成するための参照画像として利用される。
本実施形態の映像符号化装置は、上記のような処理によってビットストリームを生成する。
本実施形態の映像符号化装置は、輪郭および階段アーティファクトを効率的に低減するための擬似ランダム雑音混入候補位置を、再構築画像ピクチャのすべての画素値を比較して画素値の変動量を解析することなく、伸張途中の情報に基づいて再構築画像における画素値の変動量の大小を推定することで決定する。よって、本実施形態の映像符号化装置は、効率的に高解像度映像の輪郭および階段アーティファクトを低減できる。
実施形態２．
図８は、本発明の第２の実施形態のブロック図であり、再構築画像ブロックの伸張途中の情報に基づいて擬似ランダム雑音混入候補位置を決定し、再構築予測誤差画像ブロックではなく、再構築画像ブロックに擬似ランダム雑音を混入させる映像符号化装置を示すブロック図である。
図８に示すように、本実施形態の映像符号化装置は、ＭＢバッファ１０１、周波数変換部１０２、量子化部１０３、エントロピー符号化部１０４、逆量子化部１０５、逆周波数変換部１０６、ピクチャバッファ１０７、ブロック歪み除去フィルタ部１０８、デコードピクチャバッファ１０９、イントラ予測部１１０、フレーム間予測部１１１、符号化制御部１１２およびスイッチ１００に加えて、雑音混入器１１３を備えている。
第１の実施形態とは異なり、本実施形態では、雑音混入器１１３から供給される擬似ランダム雑音は、逆周波数変換部１０６の出力に加算される。しかし、本実施形態の映像符号化装置における各部の処理は、図１に示された第１の実施形態の映像符号化装置における各部の処理と実質的に同じであるから、各部の動作説明を省略する。
実施形態３．
図９は、本発明の第３の実施形態のブロック図であり、再構築画像ブロックの伸張途中の情報に基づいて擬似ランダム雑音混入候補位置を決定し、再構築画像ピクチャに擬似ランダム雑音を混入させる映像符号化装置を示すブロック図である。
図９に示すように、本実施形態の映像符号化装置は、ＭＢバッファ１０１、周波数変換部１０２、量子化部１０３、エントロピー符号化部１０４、逆量子化部１０５、逆周波数変換部１０６、ピクチャバッファ１０７、ブロック歪み除去フィルタ部１０８、デコードピクチャバッファ１０９、イントラ予測部１１０、フレーム間予測部１１１、符号化制御部１１２およびスイッチ１００に加えて、雑音混入器１１３を備えている。本実施形態では、雑音混入器１１３から出力される擬似ランダム雑音は、ブロック歪み除去フィルタ部１０８に供給される。
本実施形態の映像符号化装置は、雑音混入器１１３が設けられている点と、雑音混入器１１３の出力がブロック歪み除去フィルタ部１０８に供給されている点とにおいて、図２８に示された一般的な映像符号化装置と異なる。よって、以下の説明では、特に、本実施形態の映像符号化装置の特徴であるブロック歪み除去フィルタ部１０８の動作を詳細に説明する。
ＭＢバッファ１０１には、入力画像フレームの符号化対象ＭＢの画素値が格納される。
ＭＢバッファ１０１から供給される入力ＭＢから、スイッチ１００を介してイントラ予測部１１０またはフレーム間予測部１１１から供給される予測信号が減じられる。
イントラ予測部１１０は、ピクチャバッファ１０７に格納された再構築画像であって現在のフレームと表示時刻が同一である再構築画像を利用してイントラ予測信号を生成する。
フレーム間予測部１１１は、現在のフレームと表示時刻が異なる、デコードピクチャバッファ１０９に格納された参照画像を利用してフレーム間予測信号を生成する。
符号化制御部１１２は、イントラ予測信号およびフレーム間予測信号とＭＢバッファ１０１の入力ＭＢとを比較して、予測誤差画像ブロックのエネルギーが小さくなる予測信号を選択し、スイッチ１００を制御する。選択された予測信号に関連する情報は、エントロピー符号化部１０４に供給される。
予測誤差画像ブロックのエネルギーが小さくなる予測信号がイントラ予測信号である場合、選択された予測信号に関連する情報とは、イントラ予測モードとイントラ予測方向である。
また、符号化制御部１１２は、入力ＭＢまたは予測誤差画像ブロックに基づいて、予測誤差画像ブロックの周波数変換に適した整数ＤＣＴの基底ブロックサイズを選択する。選択された整数ＤＣＴの基底サイズは、周波数変換部１０２およびエントロピー符号化部１０４に供給される。また、予測誤差画像ブロックのエネルギーが小さくなる予測信号がイントラ予測信号である場合、選択された整数ＤＣＴの基底サイズはイントラ予測モードのブロックサイズと同一である。
周波数変換部１０２は、選択された整数ＤＣＴの基底サイズで、予測誤差画像ブロックを周波数変換して空間領域から周波数領域に変換する。
量子化部１０３は、変換係数を、符号化制御部１１２が供給する量子化パラメータに対応する量子化ステップサイズで量子化する。
エントロピー符号化部１０４は、選択された予測信号に関連する情報、整数ＤＣＴの基底サイズ、および量子化インデックスをエントロピー符号化して、そのビット列すなわちビットストリームとして出力する。
逆量子化部１０５は、以後の符号化のために、量子化部１０３から供給される量子化インデックスを逆量子化する。
雑音混入器１１３は、エントロピー符号化部１０４に供給される予測誤差画像ブロックについて予測信号に関連する情報、整数ＤＣＴの基底サイズ、および量子化インデックスを監視する。
雑音混入器１１３は、選択された予測信号に関連する情報、整数ＤＣＴの基底サイズ、量子化インデックス、または、それらの何れかの組み合わせに基づいて、再構築画像を直接解析することなく画素値の変動量を推定し、擬似ランダム雑音混入候補位置を決定する。例えば、上述した平坦な予測の種類、大きな整数ＤＣＴの基底サイズ、および、有意なＡＣの量子化インデックスが少ないパターンの予測誤差画像ブロックについては、対応する画像ブロックの再構築画像の画素値の変動量が小さくなる。従って、予測誤差画像ブロックを擬似ランダム雑音混入候補位置と決定し、そうでない予測誤差画像ブロックを擬似ランダム雑音非混入候補位置と決定する。
雑音混入器１１３は、擬似ランダム雑音混入候補位置について、擬似ランダム雑音ｎ（ｉ）を発生する。すなわち、本実施形態では、擬似ランダム雑音混入候補位置が、擬似ランダム雑音混入位置に相当する。擬似ランダム雑音ｎ（ｉ）を、例えば、上記の式（１）による線形合同法などに基づいて発生すればよい。
雑音混入器１１３は、擬似ランダム雑音非混入候補位置について、ゼロの擬似ランダム雑音を発生する。ゼロの擬似ランダム雑音の発生は、予測誤差画像ブロックに擬似ランダム雑音を混入させないことを示す。
逆変換部１０６は、量子化代表値を逆周波数変換し、さらに雑音混入器１１３から供給される擬似ランダム雑音を混入させて元の空間領域に戻す。
ピクチャバッファ１０７には、現在のフレームに含まれるすべてのＭＢが符号化されるまで、再構築予測誤差画像ブロックに予測信号が加えられた再構築画像ブロックが格納される。
ブロック歪み除去フィルタ部１０８は、再構築画像の各ＭＢおよびその内部ブロックの境界にローパスフィルタを適用し、ピクチャバッファ１０７に格納された再構築画像に対してブロック歪みを除去する処理を行う。ただし、本実施形態のブロック歪み除去フィルタ部１０８は、雑音混入器１１３から供給される擬似ランダム雑音をローパスフィルタの中間データに混入させて、輪郭および階段アーティファクトも低減させる。
以下、ブロック歪み除去フィルタ部１０８の動作をより具体的に説明する。
図１０および図１１は、ブロック歪み除去フィルタ部１０８の動作を説明するための説明図である。ブロック歪み除去フィルタ部１０８は、図１０に示すように、ＭＢおよびその内部ブロックの水平方向のブロック境界に対して水平方向にローパスフィルタを適用する。また、図１１に示すように、ＭＢおよびその内部ブロックの垂直方向のブロック境界に対して垂直方向にローパスフィルタを適用する。水平方向のブロック境界は、０，４，８，１２の４×４ブロックの左側のブロック境界、１，５，９，１３の４×４ブロックの左側のブロック境界、２，６，１０，１４の４×４ブロックの左側のブロック境界、および３，７，１１，１５の４×４ブロックの左側のブロック境界である。また、垂直方向のブロック境界は、０，１，２，３の４×４ブロックの上側のブロック境界、４，５，６，７の４×４ブロックの上側のブロック境界、８，９，１０，１１の４×４ブロックの上側のブロック境界、および１２，１３，１４，１５の４×４ブロックの上側のブロック境界である。
ただし、８×８ブロックサイズの整数ＤＣＴでは、１，５，９，１３の４×４ブロックの左側のブロック境界、３，７，１１，１５の４×４ブロックの左側のブロック境界、４，５，６，７の４×４ブロックの上側のブロック境界、および１２，１３，１４，１５の４×４ブロックの上側のブロック境界は、ブロック歪み除去対象のブロック境界とはならない。また、１６×１６ブロックサイズの整数ＤＣＴの基底が１６×１６ブロックサイズのＤＣＴ基底を整数値で近似した基底である場合には、０，４，８，１２の４×４ブロックの左側のブロック境界、および、０，１，２，３の４×４ブロックの上側のブロック境界のみがブロック歪み除去対象のブロック境界になる。
水平方向のブロック境界に対するローパスフィルタの処理については、ブロック境界を中心とする左側のローパスフィルタ前の画素をｐ３，ｐ２，ｐ１，ｐ０、ローパスフィルタ後の画素をＰ３，Ｐ２，Ｐ１，Ｐ０とし、ブロック境界を中心とする右側のローパスフィルタ前の画素をｑ０，ｑ１，ｑ２，ｑ３、ローパスフィルタ後の画素をＱ０，Ｑ１，Ｑ２，Ｑ３とする。
垂直方向のブロック境界に対するローパスフィルタの処理については、ブロック境界を中心とする上側のローパスフィルタ前の画素をｐ３，ｐ２，ｐ１，ｐ０、ローパスフィルタ後の画素をＰ３，Ｐ２，Ｐ１，Ｐ０とし、ブロック境界を中心とする下側のローパスフィルタ前の画素をｑ０，ｑ１，ｑ２，ｑ３、ローパスフィルタ後の画素をＱ０，Ｑ１，Ｑ２，Ｑ３とする。
ただし、Ｐ３，Ｐ２，Ｐ１，Ｐ０，Ｑ０，Ｑ１，Ｑ２，Ｑ３は、ｐ３，ｐ２，ｐ１，ｐ０，ｑ０，ｑ１，ｑ２，ｑ３で初期化されているとする。
水平方向と垂直方向とでブロック境界に対するローパスフィルタ処理では同じである。そこで、以下、水平方向と垂直方向とを特に区別をせずに、ブロック境界に対するローパスフィルタ処理を説明する。
まず、ブロック境界のローパスフィルタ処理では、非特許文献１の8.7 Deblocking filter process を参照すると、ブロック境界強度ｂＳ（０≦ｂＳ≦４）を隣接ブロックに関連する伸張情報に基づいて決定する。図１２は、ｂＳを決定する処理を示すフローチャートである。
図１２に示すように、ブロック歪み除去フィルタ部１０８は、ローパスフィルタ処理が施される前のブロック境界の左側の画素ｐとブロック境界の右側の画素ｑとのいずれかがイントラＭＢの画素である場合には（ステップＳ１０１）、画素ｐと画素ｑとがＭＢの境界の左右の画素であるか否か判定する（ステップＳ１０２）。画素ｐと画素ｑとがＭＢの境界の左右の画素である場合にはｂＳを４に決定し、ＭＢの境界の左右の画素ではない場合にはｂＳを３に決定する。
ブロック歪み除去フィルタ部１０８は、画素ｐと画素ｑとのいずれもイントラＭＢの画素でない場合には、画素ｐと画素ｑとのいずれかに量子化インデックスが存在するか否か判定する（ステップＳ１０３）。ブロック歪み除去フィルタ部１０８は、画素ｐと画素ｑとのいずれかに量子化インデックスが存在する場合には、ｂＳを２に決定する。画素ｐと画素ｑとのいずれにも量子化インデックスが存在しない場合には、画素ｐと画素ｑとで、フレーム間予測に不連続があるか否か判定する（ステップＳ１０４）。フレーム間予測に不連続がある場合にはｂＳを１に決定し、フレーム間予測に不連続がない場合にはｂＳを０に決定する。
なお、ｂＳを決定する処理のより詳細な説明が、非特許文献１の8.7.2 Filtering process for a set of samples across a horizontal or vertical block edge に記載されている。
ｂＳが大きな値になるほど、ブロック境界の変動量が大きいと判定し、強度の高いローパスフィルタが適用される。ｂＳ＝０では、ローパスフィルタは適用されない。
続いて、ｂＳ＞０のブロック境界についてのみ、ブロック境界での画素を比較して、ブロック境界での不連続性を解析する。ｂＳ＝４とｂＳ＜４の場合に分けて、ブロック境界での不連続性を解析と擬似ランダム雑音を用いたローパスフィルタを説明する。
ｂＳ＝４の場合に、｜ｐ０−ｑ０｜＜α／４、かつ、｜ｐ１−ｐ０｜＜βのときには、擬似ランダム雑音（式（１）によるｎ（ｉ））を利用する式（１８）、式（１９）および式（２０）で表されるローパスフィルタでＰ０，Ｐ１，Ｐ２をそれぞれ更新する。
Ｐ０＝（ｐ２＋２×ｐ１＋２×ｐ０＋２×ｑ０＋ｑ１＋（ｎ（ｐｏｓ−１）％８）＋４）／８ ・・・（１８）
Ｐ１＝（ｐ２＋ｐ１＋ｐ０＋ｑ０＋（ｎ（ｐｏｓ−２）％４）＋２）／４ ・・・（１９）
Ｐ２＝（２×ｐ３＋３×ｐ２＋ｐ１＋ｑ０＋ｑ１＋（ｎ（ｐｏｓ−３）％８）＋４）／８ ・・・（２０）
｜ｐ０−ｑ０｜＜α／４、かつ、｜ｐ１−ｐ０｜＜βの条件が成立しないときには、擬似ランダム雑音（式（１）によるｎ（ｉ））を利用する式（２１）で表されるローパスフィルタでＰ０を更新する。なお、Ｐ１およびＰ２は更新されない。
Ｐ０＝（２×ｐ１＋ｐ０＋ｑ０＋（ｎ（ｐｏｓ−１）％４）＋２）／４ ・・・（２１）
ただし、αおよびβはそれぞれ量子化パラメータＱの値が大きくなるほど大きな値になるパラメータである。ｐｏｓは処理対象のブロック位置の座標に対する位置である。
ｂＳ＝４の場合に、｜ｐ０−ｑ０｜＜α／４、かつ、｜ｑ１−ｑ０｜＜βのときには、擬似ランダム雑音（式（１）によるｎ（ｉ））を利用する式（２２）、式（２３）および式（２４）で表されるローパスフィルタでＱ０，Ｑ１，Ｑ２をそれぞれ更新する。
Ｑ０＝（ｑ２＋２×ｑ１＋２×ｑ０＋２×ｐ０＋ｐ１＋（ｎ（ｐｏｓ）％８）＋４）／８ ・・・（２２）
Ｑ１＝（ｑ２＋ｑ１＋ｑ０＋ｐ０＋（ｎ（ｐｏｓ＋１）％４）＋２）／４ ・・・（２３）
Ｑ２＝（２×ｑ３＋３×ｑ２＋ｑ１＋ｐ０＋ｐ１＋（ｎ（ｐｏｓ＋２）％８）＋４）／８ ・・・（２４）
｜ｐ０−ｑ０｜＜α／４、かつ、｜ｑ１−ｑ０｜＜βの条件が成立しないときには、擬似ランダム雑音（式（１）によるｎ（ｉ））を利用する式（２５）で表されるローパスフィルタでＱ０を更新する。なお、Ｑ１およびＱ２は更新されない。
Ｑ０＝（２×ｑ１＋ｑ０＋ｐ０＋（ｎ（ｐｏｓ）％４）＋２）／４ ・・・（２５）
ｂＳ＝４の場合に、｜ｐ０−ｐ２｜＜βのときにのみ、擬似ランダム雑音（式（１）によるｎ（ｉ））を利用する以下の式（２６）で表されるローパスフィルタでＰ０を更新する。
Ｐ０＝ｐ０＋Ｃｌｉｐ３｛−ｔｃ，ｔｃ，（２×（ｑ０−ｐ０）＋ｐ１−ｑ１＋（ｎ（ｐｏｓ−１）％８）＋４）／８｝ ・・・（２６）
ただし、ｔｃは、量子化パラメータＱの値が大きくなるほど大きな値になるパラメータである。
ｂＳ＝４の場合に、｜ｑ０−ｑ２｜＜βのときにのみ、擬似ランダム雑音（式（１）によるｎ（ｉ））を利用する以下の式（２７）で表されるローパスフィルタでＱ０を更新する。
Ｑ０＝ｑ０−Ｃｌｉｐ３｛−ｔｃ，ｔｃ，（２×（ｑ０−ｐ０）＋ｐ１−ｑ１＋（ｎ（ｐｏｓ）％８）＋４）／８｝ ・・・（２７）
上記の式（１８）〜式（２７）において、擬似ランダム雑音の影響強度が１画素以下になるように４または８で割った余りが加えられている。擬似ランダム雑音の影響強度を１画素以下にすることによって、擬似ランダム雑音混入によるＰＳＮＲの低下を抑制できる。
なお、第１の実施形態で説明したように、雑音混入器１１３は、平坦な予測の種類、大きな整数ＤＣＴの基底サイズ、および有意なＡＣの量子化インデックスが少ないパターンの予測誤差画像ブロックに対応する画像ブロックの再構築画像の画素値の変動量が小さくなると推定する場合、変動量が多いと判断されて有意な擬似ランダム雑音が供給されるブロック境界は、イントラＭＢの再構築画像だけになる。
よって、本実施形態のブロック歪み除去フィルタ部１０８は、図１３のフローチャートに示すｂＳの決定処理を採用していることと等価である。このことは、ブロック歪み除去フィルタ部１０８がｂＳの決定処理で、再構築画像ブロックの伸張途中の情報に基づいて擬似ランダム雑音混入位置を決定する実装形態も可能であることを示している。
図１３に示す処理では、ブロック歪み除去フィルタ部１０８は、図１２に示されたステップＳ１０１〜Ｓ１０４の処理を実行することに加えて、画素ｐと画素ｑとがＭＢの境界の左右の画素である場合に、画素ｐと画素ｑとの間で変動量が小さいか否か判定する処理を実行する（ステップＳ１０５Ａ）。変動量が小さくない場合にはｂＳを４に決定し、変動量が小さい場合は擬似ランダム雑音を混入させることに決定するとともにｂＳを４に決定する。また、画素ｐと画素ｑとがＭＢの境界の左右の画素でない場合に、画素ｐと画素ｑとの間で変動量が小さいか否か判定する処理を実行する（ステップＳ１０５Ｂ）。変動量が小さくない場合にはｂＳを３に決定し、変動量が小さい場合は擬似ランダム雑音を混入させることに決定するとともにｂＳを３に決定する。
ブロック歪み除去フィルタ部１０８がｂＳの決定処理で擬似ランダム雑音混入候補位置を決定する実装形態においては、図１３に示すｂＳの決定フローから分かるように、擬似ランダム雑音混入候補位置と判定されたブロック境界のみに擬似ランダム雑音を混入させることを意味する。
デコードピクチャバッファ１０９には、ブロック歪み除去フィルタ１０８から供給されるブロック歪みが除去された再構築画像ピクチャが参照画像ピクチャとして格納される。なお、参照画像ピクチャの画像は、フレーム間予測信号を生成するための参照画像として利用される。
本実施形態の映像符号化装置は、上記のような処理によってビットストリームを生成する。
本実施形態の映像符号化装置は、第１の実施形態の映像符号化装置と同様に、効率的に高解像度映像の輪郭および階段アーティファクトを低減できる。
実施形態４．
図１４は、本発明の第４の実施形態のブロック図であり、再構築画像ブロックの伸張途中の情報に基づいて擬似ランダム雑音混入候補位置を決定し、再構築予測誤差画像ブロックに擬似ランダム雑音を混入させる映像復号装置を示すブロック図である。本実施形態の映像復号装置は、第１の実施形態の映像符号化装置に対応する映像復号装置である。
図１４に示すように、本実施形態の映像復号装置は、エントロピー復号部２０１、逆量子化部２０２、逆周波数変換部２０３、ピクチャバッファ２０４、ブロック歪み除去フィルタ部２０５、デコードピクチャバッファ２０６、イントラ予測部２０７、フレーム間予測部２０８、復号制御部２０９およびスイッチ２００に加えて、雑音混入器２１０を備えている。
エントロピー復号部２０１は、ビットストリームをエントロピー復号して、復号対象ＭＢの予測信号に関連する情報、整数ＤＣＴの基底サイズ、および量子化インデックスを出力する。予測信号に関連する情報は、第１の実施形態の場合と同様、イントラ予測モード、イントラ予測方向、およびフレーム間予測に関連する情報である。
イントラ予測部２０７は、現在復号中のフレームと表示時刻が同一である、ピクチャバッファ２０４に格納された再構築画像を利用してイントラ予測信号を生成する。
フレーム間予測部２０８は、現在復号中のフレームと表示時刻が異なる、デコードピクチャバッファ２０６に格納された参照画像を利用してフレーム間予測信号を生成する。
復号制御部２０９は、エントロピー復号したフレーム間予測に基づいて、スイッチ２００を制御し、イントラ予測信号またはフレーム間予測信号を供給する。
雑音混入器２１０は、第１の実施形態の雑音混入器１１３と同様に、エントロピー復号部２０１から供給される復号対象ＭＢの予測信号に関連する情報、整数ＤＣＴの基底サイズ、および量子化インデックスを監視する。
また、雑音混入器２１０は、第１の実施形態の雑音混入器１１３と同様に、予測信号に関連する情報、整数ＤＣＴの基底サイズ、量子化インデックス、または、それらの何れかの組み合わせに基づいて、再構築画像を直接解析することなく画素値の変動量を推定し、擬似ランダム雑音混入候補位置を決定する。
また、雑音混入器２１０は、擬似ランダム雑音混入候補位置については有意な擬似ランダム雑音を発生する。すなわち、本実施形態では、擬似ランダム雑音混入候補位置が、擬似ランダム雑音混入位置に相当する。擬似ランダム雑音非混入候補位置については、ゼロの擬似ランダム雑音を発生する。ゼロの擬似ランダム雑音の発生は復号対象ＭＢの予測誤差画像ブロックに擬似ランダム雑音を混入させないことを示す。
逆量子化部２０２は、エントロピー復号部２０１から供給される量子化インデックスを逆量子化する。
逆変換部２０３は、第１の実施形態の逆変換部１０６と同様に、量子化代表値を逆周波数変換し、さらに雑音混入器２１０から供給される擬似ランダム雑音を混入させて元の空間領域に戻す。
ピクチャバッファ２０４には、現在復号中のフレームに含まれるすべてのＭＢが復号されるまで、元の空間領域に戻された再構築予測誤差画像ブロックに予測信号が加えられた再構築画像ブロックが格納される。
ブロック歪み除去フィルタ部２０５は、現在のフレームに含まれるすべてのＭＢが復号された後、ピクチャバッファ２０４に格納された再構築画像に対してブロック歪みを除去する。
デコードピクチャバッファ２０６は、ブロック歪み除去フィルタ部２０５から供給されるブロック歪み除去された再構築画像を参照画像ピクチャとして格納する。参照画像ピクチャの画像は、フレーム間予測信号を生成するための参照画像として利用される。また、参照画像ピクチャは、適切な表示タイミングで伸張フレームとして出力される。
本実施形態の映像復号装置は、上記のような処理によってビットストリームを伸張する。
本実施形態の映像復号装置は、ブロックベース符号化に基づく高解像度映像の圧縮・伸張において問題となる、輪郭および階段アーティファクトを効率的に低減するための擬似ランダム雑音混入候補位置を、再構築画像のすべての画素値を比較して画素値の変動量を解析することなく、伸張途中の情報に基づいて再構築画像における画素値の変動量の大小を推定することで決定する。従って、本実施形態の映像復号装置は、効率的に高解像度映像の輪郭および階段アーティファクトを低減できる。
実施形態５．
図１５は、本発明の第５の実施形態のブロック図であり、再構築画像ブロックの伸張途中の情報に基づいて擬似ランダム雑音混入候補位置を決定し、再構築予測誤差画像ブロックではなく、再構築画像ブロックに擬似ランダム雑音を混入させる映像復号装置を示すブロック図である。本実施形態の映像復号装置は、第２の実施形態の映像符号化装置に対応する映像復号装置である。
図１５に示すように、本実施形態の映像復号装置は、エントロピー復号部２０１、逆量子化部２０２、逆周波数変換部２０３、ピクチャバッファ２０４、ブロック歪み除去フィルタ部２０５、デコードピクチャバッファ２０６、イントラ予測部２０７、フレーム間予測部２０８、復号制御部２０９およびスイッチ２００に加えて、雑音混入器２１０を備えている。
第４の実施形態とは異なり、本実施形態では、雑音混入器２１０から供給される擬似ランダム雑音は、逆周波数変換部２０３の出力に加算される。しかし、本実施形態の映像復号装置における各部の処理は、図１４に示された第４の実施形態の映像復号装置における各部の処理と実質的に同じであるから、各部の動作説明を省略する。
実施形態６．
図１６は、本発明の第６の実施形態のブロック図であり、再構築画像ブロックの伸張途中の情報に基づいて擬似ランダム雑音混入候補位置を決定し、再構築画像ピクチャに擬似ランダム雑音を混入させる映像復号装置を示すブロック図である。本実施形態の映像復号装置は、第３の実施形態の映像符号化装置に対応する映像復号装置である。
図１６に示すように、本実施形態の映像復号装置は、エントロピー復号部２０１、逆量子化部２０２、逆周波数変換部２０３、ピクチャバッファ２０４、ブロック歪み除去フィルタ部２０５、デコードピクチャバッファ２０６、イントラ予測部２０７、フレーム間予測部２０８、復号制御部２０９およびスイッチ２００に加えて、雑音混入器２１０を備えている。本実施形態では、雑音混入器２１０から出力される擬似ランダム雑音は、ブロック歪み除去フィルタ部２０５に供給される。
本実施形態における雑音混入器２１０は、第１の実施形態の映像符号化装置における雑音混入器１１３と等価である。また、本実施形態におけるブロック歪み除去フィルタ部２０５は、第３の実施形態の映像符号化装置における擬似ランダム雑音を用いるブロック歪み除去フィルタ１０８と等価である。
エントロピー復号部２０１は、ビットストリームをエントロピー復号して、復号対象ＭＢの予測信号に関連する情報、整数ＤＣＴの基底サイズ、および量子化インデックスを出力する。予測信号に関連する情報とは、第１実施形態の場合と同様に、イントラ予測モード、イントラ予測方向、およびフレーム間予測に関連する情報である。
イントラ予測部２０７は、現在復号中のフレームと表示時刻が同一である、ピクチャバッファ２０４に格納された再構築画像を利用してイントラ予測信号を生成する。
フレーム間予測部２０８は、現在復号中のフレームと表示時刻が異なる、デコードピクチャバッファ２０６に格納された参照画像を利用してフレーム間予測信号を生成する。
復号制御部２０９は、エントロピー復号したフレーム間予測に基づいて、スイッチ２００を制御し、イントラ予測信号またはフレーム間予測信号を供給する。
雑音混入器２１０は、エントロピー復号部２０１から供給される復号対象ＭＢの予測信号に関連する情報、整数ＤＣＴの基底サイズ、または量子化インデックスを監視する。
また、雑音混入器２１０は、予測信号に関連する情報、整数ＤＣＴの基底サイズ、量子化インデックス、または、それらの何れかの組み合わせに基づいて、再構築画像を直接解析することなく画素値の変動量を推定し、擬似ランダム雑音混入候補位置を決定する。
また、雑音混入器２１０は、擬似ランダム雑音混入候補位置については有意な擬似ランダム雑音を発生する。すなわち、本実施形態では、擬似ランダム雑音混入候補位置が、擬似ランダム雑音混入位置に相当する。擬似ランダム雑音非混入候補位置については、ゼロの擬似ランダム雑音を発生する。ゼロの擬似ランダム雑音の発生は、復号対象ＭＢの予測誤差画像ブロックに擬似ランダム雑音を混入させないことを示す。
逆量子化部２０２は、エントロピー復号部２０１から供給される量子化インデックスを逆量子化する。
逆変換部２０３は、量子化代表値を逆周波数変換して元の空間領域に戻す。
ピクチャバッファ２０４には、現在復号中のフレームに含まれるすべてのＭＢが符号化されるまで、再構築予測誤差画像ブロックに予測信号が加えられた再構築画像ブロックが格納される。
ブロック歪み除去フィルタ部２０５は、雑音混入器２１０から供給される擬似ランダム雑音を用いてピクチャバッファ２０４に格納された再構築画像に対してブロック歪みを除去する。
ブロック歪み除去フィルタ部２０５は、再構築画像の各ＭＢおよびその内部ブロックの境界にローパスフィルタを適用し、ピクチャバッファ２０４に格納された再構築画像に対してブロック歪みの除去を行う。ただし、本実施形態のブロック歪み除去フィルタ部２０５は、雑音混入器２１０から供給される擬似ランダム雑音をローパスフィルタの中間データに混入させて、輪郭および階段アーティファクトも低減させる。
デコードピクチャバッファ２０６は、ブロック歪み除去フィルタ部２０５から供給される擬似ランダム雑音を用いてブロック歪みが除去された再構築画像を参照画像ピクチャとして格納する。参照画像ピクチャの画像は、フレーム間予測信号を生成するための参照画像として利用される。また、参照画像ピクチャは、適切な表示タイミングで伸張フレームとして出力される。
本実施形態の映像復号装置は、上記のような処理によってビットストリームを伸張する。
本実施形態の映像復号装置は、第４の実施形態の映像復号装置と同様に、効率的に高解像度映像の輪郭および階段アーティファクトを低減できる。
第２の実施形態の映像符号化装置は、再構築画像ブロックの伸張情報に基づいて擬似ランダム雑音の混入位置を決定し、再構築画像ブロックに直接擬似ランダム雑音を混入させることによって、再構築画像に擬似ランダム雑音を混入させる映像符号化装置である。また、第２の実施形態の映像符号化装置に対応する第５の実施形態の映像復号装置は、再構築画像ブロックの伸張情報に基づいて擬似ランダム雑音の混入位置を決定し、再構築画像ブロックに直接擬似ランダム雑音を混入させることによって、再構築画像に擬似ランダム雑音を混入させる映像復号装置である。
上述したように、第２の実施形態および第５の実施形態における雑音混入器は、再構築画像ブロックの伸張情報として予測信号に関連する情報、整数ＤＣＴの基底サイズ、または量子化インデックスに基づいて、再構築画像ブロックの画素値の変動量の大小を推定し、変動量大と推定した再構築画像ブロックを擬似ランダム雑音混入位置と決定する。映像復号装置においても、伸張情報を、再構築画像すなわち伸張画像を求める前に、エントロピー復号などによって得られる情報である。
例えば、平坦な予測信号となる予測の種類、大きな整数ＤＣＴの基底サイズ、および有意なＡＣの量子化インデックスが少ないパターンの再構築画像ブロックは、ブロック内における画素値の変動量が小さい伸張画像やブロック境界における画素値の変動量が小さい伸張画像となる。
他の実施形態として、雑音混入器が、変動量が大きいと推定した再構築画像ブロックを擬似ランダム雑音混入候補位置とし、さらに、候補位置の再構築画像ブロックについてのみ、その画素値の変動量を実際に計算して、実際に計算した画素値の変動量の大小に基づいて擬似ランダム雑音混入位置を決定する実施形態も考えられる。そのように処理を実行する場合には、より相応しい位置の再構築画像に擬似ランダム雑音を混入させて、輪郭および階段アーティファクトに対する人間の視覚感度をより低減できる。
具体的には、雑音混入器は、擬似ランダム雑音混入候補位置の再構築画像ブロックの各位置（ｉ，ｊ）｛０≦ｉ≦ｂｓｉｚｅｘ−１，０≦ｊ≦ｂｓｉｚｅｙ−１｝の画素ｘｉｊについて、式（２８）によって周辺画素値（ｘｉ＋ｍ，ｊ＋ｎ｛−ｗ≦ｍ≦ｗ，−ｈ≦ｎ≦ｈ｝の変動量ｐＶｉ，ｊを計算する。
Figure 2011064944
そして、例えば式（２９）に基づいて、所定のしきい値ｔｈよりもｐＶｉ，ｊが小さい位置の画素ｘｉｊのみに擬似ランダム雑音ｎｉ，ｊを混入させる。
Figure 2011064944
ただし、ｂｓｉｚｅｘは整数ＤＣＴの基底サイズの水平方向のサイズ、ｂｓｉｚｅｙは整数ＤＣＴの基底サイズの垂直方向のサイズである。なお、候補位置ではない再構築画像ブロックの再構築画像には擬似ランダム雑音を混入させない。
また、伸張情報として量子化パラメータを利用し、量子化ステップサイズが小さい再構築画像に対して、擬似ランダム雑音を小さく調整して擬似ランダム雑音を混入させないようにする実施形態も考えられる。そのように構成することによって、量子化ステップサイズが小さくなる高ビットレート符号化において、擬似ランダム雑音混入による悪影響を低減できる。
第２および第５の実施形態の映像符号化装置および映像復号装置に対して、変動量が大きいと推定した再構築画像ブロックを擬似ランダム雑音混入候補位置とし、さらに、候補位置の再構築画像ブロックについてのみ、その画素値の変動量を実際に計算して、実際に計算した画素値の変動量の大小に基づいて擬似ランダム雑音混入位置を決定する雑音混入器を適用した場合には、映像符号化装置の構成は図１７に示すようになり、映像復号装置の構成は図１８に示すようになる。
すなわち、図１７に示すように、映像符号化装置において、雑音混入器１１３は、選択された予測信号に関連する情報、整数ＤＣＴの基底サイズ、量子化インデックス、または、それらの何れかの組み合わせに基づいて、再構築画像を直接解析することなく画素値の変動量を推定し、推定結果に基づいて擬似ランダム雑音混入候補位置を決定する。そして、擬似ランダム雑音混入候補位置について再構築画像の画素値の変動量を計算する。また、図１８に示すように、映像復号装置において、雑音混入器２１０は、選択された予測信号に関連する情報、整数ＤＣＴの基底サイズ、量子化インデックス、または、それらの何れかの組み合わせに基づいて、再構築画像を直接解析することなく画素値の変動量を推定し、推定結果に基づいて擬似ランダム雑音混入候補位置を決定する。そして、擬似ランダム雑音混入候補位置について再構築画像の画素値の変動量を計算する。
第３および第６の実施形態についても同様に、雑音混入器が、変動量が大きいと推定した再構築画像ブロックを擬似ランダム雑音混入候補位置とし、さらに、候補位置の再構築画像ブロックについてのみ、その画素値の変動量を実際に計算して、実際に計算した画素値の変動量の大小に基づいて擬似ランダム雑音混入位置を決定するようにしてもよい。
具体的には、第３の実施形態において、ブロック歪み除去フィルタ装置がｂＳの決定処理で擬似ランダム雑音混入位置を決定する場合には、図１３に示すｂＳの決定処理からわかるように、擬似ランダム雑音混入候補位置と判定されたブロック境界のみについて、例えば、以下の式（３０）に基づいて伸張画像の画素を比較して隣接画素変動量ｎｐＶを確認し、隣接画素変動量ｎｐＶが所定しきい値ｔｈ以下の場合にのみ、ローパスフィルタ処理で擬似ランダム雑音を混入させてもよい。
ｎｐＶ＝｜ｐ３−ｐ２｜＋｜ｐ２−ｐ１｜＋｜ｐ１−ｐ０｜＋｜ｐ０−ｑ０｜＋｜ｑ０−ｑ１｜＋｜ｑ１−ｑ２｜＋｜ｑ２−ｐ３｜ ・・・（３０）
上記のような処理によれば、擬似ランダム雑音混入候補位置と判定されたブロック境界のみについて画素変動量を計算するだけで、期待値として少ない演算量で、より相応しい擬似ランダム雑音の混入位置を決定できる。
第３および第６の実施形態の映像符号化装置および映像復号装置に対して、変動量が大きいと推定した再構築画像ブロックを擬似ランダム雑音混入候補位置とし、さらに、候補位置の再構築画像ブロックについてのみ、その画素値の変動量を実際に計算して、実際に計算した画素値の変動量の大小に基づいて擬似ランダム雑音混入位置を決定する雑音混入器を適用した場合には、映像符号化装置の構成は図１９に示すようになり、映像復号装置の構成は図２０に示すようになる。
すなわち、図１９に示すように、映像符号化装置において、雑音混入器１１３は、選択された予測信号に関連する情報、整数ＤＣＴの基底サイズ、量子化インデックス、または、それらの何れかの組み合わせに基づいて、再構築画像を直接解析することなく画素値の変動量を推定し、推定結果に基づいて擬似ランダム雑音混入候補位置を決定する。そして、擬似ランダム雑音混入候補位置の境界のみについて隣接画素変動量ｎｐＶを確認する。また、図２０に示すように、映像復号装置において、雑音混入器２１０は、選択された予測信号に関連する情報、整数ＤＣＴの基底サイズ、量子化インデックス、または、それらの何れかの組み合わせに基づいて、再構築画像を直接解析することなく画素値の変動量を推定し、推定結果に基づいて擬似ランダム雑音混入候補位置を決定する。そして、擬似ランダム雑音混入候補位置の境界のみについて隣接画素変動量ｎｐＶを確認する。
平坦領域において擬似ランダム雑音を混入させると、その影響によって、後続する平坦領域のイントラ予測の性能が低下する可能性がある。
イントラ予測の性能の低下を防止するために、例えば、第１、第２、第４および第５の実施形態それぞれにおける雑音混入器が、イントラ予測の被参照画像(後続する画像ブロックから見ると参照画像)の位置の再構築画像に擬似ランダム雑音を混入させないようにする実施形態が考えられる。イントラ予測の被参照画像は、図２１の説明図ではＬ字型の領域に相当する。
また、他の形態として、ブロック境界の変動量が大きいときに強度の高いローパスフィルタが適用される第３および第６の実施形態において、イントラ予測器が、より強いローパスフィルタによって再構築画像の周辺画素が平滑化された画素を参照画素として利用する実施形態も考えられる。
上記の各実施形態において、雑音混入器における擬似ランダム雑音の発生方法としてどのような発生方法も使用可能であるが、擬似ランダム雑音の発生器は所定の映像符号化単位または映像復号単位でリセットされることが可能であることが望ましい。
図２２は、擬似ランダム雑音の発生器を所定の映像符号化単位または映像復号単位でリセットする他の実施形態におけるリセットを説明するための説明図である。
所定の映像符号化単位または映像復号単位として、例えば、各フレームの先頭ＭＢ（図２２（ａ）参照）、各フレーム内での複数個のＭＢ毎（図２２（ｂ）参照）、再構築画像の画素の依存関係を利用したＭＢの組毎などがある。擬似ランダム雑音の発生器を所定の映像符号化単位または映像復号単位でリセットすることによって、例えば、図２２（ａ）に示された例では映像復号のためのランダムアクセス性を改善でき、図２２（ｂ）に示された例では映像符号化および映像復号それぞれの並列処理性を改善できる。
例えば、符号化制御部１１２は、所定の映像符号化単位で、上述した線形合同法に基づく擬似ランダム雑音の発生器における擬似ランダム雑音ｎ（ｉ）の初期値ｎ（０）を所定値でリセットすればよい。また、映像符号化装置は、リセットの所定値または所定値を同定するための情報をビットストリームに埋め込んでもよい。映像復号装置は、ビットストリームに埋め込まれたリセットの所定値または所定値を同定するための情報を読み出し、その情報に基づいて擬似ランダム雑音を発生することによって、映像符号化側と同一の擬似ランダム雑音を発生できるので、映像符号化と映像復号間での擬似ランダム雑音に起因する画像のミスマッチを回避できる。
静止や平行移動の領域では、フレーム間予測による予測誤差はほとんどゼロになる。しかし、擬似ランダム雑音を混入させることによって、静止や平行移動の領域における予測誤差が非ゼロとならないことが考えられる。そこで、さらに他の実施形態として、そのような事態が生ずることを防止するために、上記の各実施形態において、雑音混入器は、フレーム間予測を用いないＩフレームのみを対象として、その再構築画像に擬似ランダム雑音を混入させる実施形態が考えられる。
また、上記の各実施形態を、ハードウェアで構成することも可能であるが、コンピュータプログラムにより実現することも可能である。
図２３に示す情報処理システムは、プロセッサ１００１、プログラムメモリ１００２、映像データを格納するための記憶媒体１００３およびビットストリームを格納するための記憶媒体１００４を備えている。記憶媒体１００３と記憶媒体１００４とは、別個の記憶媒体であってもよいし、同一の記憶媒体からなる記憶領域であってもよい。記憶媒体として、ハードディスク等の磁気記憶媒体を用いることができる。
図２３に示された情報処理システムにおいて、プログラムメモリ１００２には、図１，図８，図９、図１４〜図２０のそれぞれに示された各ブロック（バッファのブロックを除く）の機能を実現するためのプログラムが格納される。そして、プロセッサ１００１は、プログラムメモリ１００２に格納されているプログラムに従って処理を実行することによって、図１，図８，図９、図１４〜図２０のそれぞれに示された映像符号化装置または映像復号装置の機能を実現する。
図２４は、本発明による映像符号化装置の主要構成を示すブロック図である。図２４に示すように、本発明による映像符号化装置は、量子化インデックスを逆量子化して量子化代表値を得る逆量子化手段１２と、逆量子化手段１２によって得られた量子化代表値を逆変換して再構築画像ブロックを得る逆周波数変換手段１３と、再構築画像ブロックの伸張情報に基づいて擬似ランダム雑音混入位置を決定し、擬似ランダム雑音混入位置の画像に擬似ランダム雑音を混入させる雑音混入手段１４とを備えている。
また、上記の各実施形態では、雑音混入手段が、伸張情報としての予測の種類、変換のブロックサイズ、量子化インデックス、または、それらのいずれかの組み合わせに基づいて擬似ランダム雑音混入位置を決定する映像符号化装置も開示されている。
また、上記の各実施形態では、雑音混入手段が、平坦な予測の種類、大きな変換のブロックサイズ、および有意なＡＣの量子化インデックスが少ないパターンの再構築画像ブロックを擬似ランダム雑音混入位置として決定する映像符号化装置も開示されている。
また、上記の各実施形態では、雑音混入手段が、量子化ステップサイズに従って調節された量の擬似ランダム雑音を混入させる映像符号化装置も開示されている。
また、上記の各実施形態では、雑音混入手段が、イントラ予測の参照画像となる位置の画像には、擬似ランダム雑音を混入させないように構成された映像符号化装置も開示されている。
また、上記の各実施形態では、雑音混入手段を所定の映像符号化単位でリセットするリセット手段（例えば、符号化制御部１１２で実現される。）を備えた映像符号化装置も開示されている。
図２５は、本発明による映像復号装置の主要構成を示すブロック図である。図２５に示すように、本発明による映像復号装置は、ビット列をエントロピー復号して量子化インデックスを得るエントロピー復号手段２０と、画像ブロックに対するイントラ予測信号またはフレーム間予測信号を計算する予測手段２１と、量子化インデックスを逆量子化して量子化代表値を得る逆量子化手段２２と、逆量子化手段２２によって得られた量子化代表値を逆変換して再構築予測誤差画像ブロックを得る逆周波数変換手段２３と、イントラ予測信号またはフレーム間予測信号を逆周波数変換手段によって得られた再構築予測誤差画像ブロックに加えて再構築画像ブロックを得る再構築手段２４と、再構築画像ブロックの伸張情報に基づいて擬似ランダム雑音混入位置を決定し、擬似ランダム雑音混入位置の画像に擬似ランダム雑音を混入させる雑音混入手段２５とを備えている。
また、上記の各実施形態では、雑音混入手段が、伸張情報としての予測の種類、変換のブロックサイズ、量子化インデックス、または、それらのいずれかの組み合わせに基づいて擬似ランダム雑音混入位置を決定する映像復号装置も開示されている。
また、上記の各実施形態では、雑音混入手段が、平坦な予測の種類、大きな変換のブロックサイズ、および有意なＡＣの量子化インデックスが少ないパターンの再構築画像ブロックを擬似ランダム雑音混入位置として決定する映像復号装置も開示されている。
また、上記の各実施形態では、雑音混入手段が、量子化ステップサイズに従って調節された量の擬似ランダム雑音を混入させる映像復号装置も開示されている。
また、上記の各実施形態では、雑音混入手段が、イントラ予測の参照画像となる位置の画像には、擬似ランダム雑音を混入させないように構成された映像復号装置も開示されている。
また、上記の各実施形態では、雑音混入手段を所定の映像復号単位でリセットするリセット手段（例えば、復号制御部２０９で実現される。）を備えた映像復号装置も開示されている。
図２６は、本発明による映像符号化方法の主要ステップを示すフローチャートである。図２６に示すように、本発明による映像符号化方法では、量子化インデックスを逆量子化して量子化代表値を得て、得られた量子化代表値を逆変換して再構築画像ブロックを得て、再構築画像ブロックの伸張情報に基づいて擬似ランダム雑音混入位置を決定し、擬似ランダム雑音混入位置の画像に擬似ランダム雑音を混入させる。
図２７は、本発明による映像復号方法の主要ステップを示すフローチャートである。図２７に示すように、本発明による映像復号方法では、ビット列をエントロピー復号して量子化インデックスを得て（ステップＳ２０）、画像ブロックに対するイントラ予測信号またはフレーム間予測信号を計算し（ステップＳ２１）、量子化インデックスを逆量子化して量子化代表値を得て（ステップＳ２２）、得られた量子化代表値を逆変換して再構築予測誤差画像ブロックを得て（ステップＳ２３）、イントラ予測信号またはフレーム間予測信号を再構築予測誤差画像ブロックに加えて再構築画像ブロックを得て（ステップＳ２４）、再構築画像ブロックの伸張情報に基づいて擬似ランダム雑音混入位置を決定し、擬似ランダム雑音混入位置の画像に擬似ランダム雑音を混入させる（ステップＳ２５）。
以上、実施形態および実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
この出願は、２００９年１１月３０日に出願された日本特許出願２００９−２７２１７８を基礎とする優先権を主張し、その開示の全てをここに取り込む。
１２ 逆量子化手段
１３ 逆周波数変換手段
１４ 雑音混入手段
２０ 量子化インデックス計算手段
２１ 予測手段
２２ 逆量子化手段
２３ 逆周波数変換手段
２４ 再構築手段
２５ 雑音混入手段
１００ スイッチ
１０１ ＭＢバッファ
１０２ 周波数変換部
１０３ 量子化部
１０４ エントロピー符号化部
１０５ 逆量子化部
１０６ 逆周波数変換部
１０７ ピクチャバッファ
１０８ ブロック歪み除去フィルタ部
１０９ デコードピクチャバッファ
１１０ イントラ予測部
１１１ フレーム間予測部
１１２ 符号化制御部
１１３ 雑音混入器
２００ スイッチ
２０１ エントロピー復号部
２０２ 逆量子化部
２０３ 逆周波数変換部
２０４ ピクチャバッファ
２０５ ブロック歪み除去フィルタ部
２０６ デコードピクチャバッファ
２０７ イントラ予測部
２０８ フレーム間予測部
２０９ 復号制御部
２１０ 雑音混入器
１００１ プロセッサ
１００２ プログラムメモリ
１００３ 記憶媒体
１００４ 記憶媒体

Claims (45)

  1. 量子化インデックスを逆量子化して量子化代表値を得る逆量子化手段と、
    前記逆量子化手段によって得られた量子化代表値を逆変換して再構築画像ブロックを得る逆周波数変換手段と、
    前記再構築画像ブロックの伸張情報に基づいて擬似ランダム雑音混入位置を決定し、前記擬似ランダム雑音混入位置の画像に擬似ランダム雑音を混入させる雑音混入手段と
    を備えた映像符号化装置。
  2. 画像ブロックに対するイントラ予測信号またはフレーム間予測信号を計算する予測手段と、
    画像ブロックからイントラ予測信号またはフレーム間予測信号を減じて予測誤差画像ブロックを得る予測誤差計算手段と、
    前記予測誤差計算手段によって得られた予測誤差画像ブロックを変換して変換係数を得る周波数変換手段と、
    前記周波数変換手段によって得られた変換係数を量子化して量子化インデックスを得る量子化手段と、
    前記量子化手段によって得られた量子化インデックスをエントロピー符号化してそのビット列を出力するエントロピー符号化手段とを備え、
    逆周波数変換手段は、量子化代表値を逆変換して再構築予測誤差画像ブロックを計算し、イントラ予測信号またはフレーム間予測信号を前記再構築予測誤差画像ブロックに加えて再構築画像ブロックを得る
    請求項１記載の映像符号化装置。
  3. 画像ブロックに対するイントラ予測信号またはフレーム間予測信号を計算する予測手段と、
    画像ブロックからイントラ予測信号またはフレーム間予測信号を減じて予測誤差画像ブロックを得る予測誤差計算手段と、
    前記予測誤差計算手段によって得られた予測誤差画像ブロックを変換して変換係数を得る周波数変換手段と、
    前記周波数変換手段によって得られた変換係数を量子化して量子化インデックスを得る量子化手段と、
    前記量子化手段によって得られた量子化インデックスをエントロピー符号化してそのビット列を出力するエントロピー符号化手段とを備え、
    逆周波数変換手段は、量子化代表値を逆変換して再構築予測誤差画像ブロックを計算し、イントラ予測信号またはフレーム間予測信号を前記再構築予測誤差画像ブロックに加えて再構築画像ブロックを得て、
    前記逆周波数変換手段によって得られた再構築画像ブロックを再構築画像ピクチャとして格納する再構築画像格納手段と、
    前記再構築画像ピクチャのブロック歪みを除去するブロック歪み除去手段とを備え、
    雑音混入手段は、前記ブロック歪みが除去された再構築画像ピクチャに擬似ランダム雑音を混入させる
    請求項１記載の映像符号化装置。
  4. 雑音混入手段は、伸張情報としての予測の種類、変換のブロックサイズ、量子化インデックス、または、それらのいずれかの組み合わせに基づいて擬似ランダム雑音混入位置を決定する
    請求項１から請求項３のうちのいずれか１項に記載の映像符号化装置。
  5. 雑音混入手段は、平坦な予測の種類、大きな変換のブロックサイズ、および有意なＡＣの量子化インデックスが少ないパターンの再構築画像ブロックを擬似ランダム雑音混入位置として決定する
    請求項４記載の映像符号化装置。
  6. 雑音混入手段は、量子化ステップサイズに従って調節された量の擬似ランダム雑音を混入させる
    請求項１から請求項５のうちのいずれか１項に記載の映像符号化装置。
  7. 雑音混入手段は、イントラ予測の参照画像となる位置の画像には、擬似ランダム雑音を混入させない
    請求項１から請求項６のうちのいずれか１項に記載の映像符号化装置。
  8. 雑音混入手段を所定の映像符号化単位でリセットするリセット手段を備えた
    請求項１から請求項７のうちのいずれか１項に記載の映像符号化装置。
  9. ビット列をエントロピー復号して量子化インデックスを得るエントロピー復号手段と、
    画像ブロックに対するイントラ予測信号またはフレーム間予測信号を計算する予測手段と、
    前記量子化インデックスを逆量子化して量子化代表値を得る逆量子化手段と、
    前記逆量子化手段によって得られた量子化代表値を逆変換して再構築予測誤差画像ブロックを得る逆周波数変換手段と、
    イントラ予測信号またはフレーム間予測信号を前記逆周波数変換手段によって得られた再構築予測誤差画像ブロックに加えて再構築画像ブロックを得る再構築手段と、
    前記再構築画像ブロックの伸張情報に基づいて擬似ランダム雑音混入位置を決定し、前記擬似ランダム雑音混入位置の画像に擬似ランダム雑音を混入させる雑音混入手段と
    を備えた映像復号装置。
  10. 再構築画像ブロックを再構築画像ピクチャとして格納する再構築画像格納手段と、
    前記再構築画像ピクチャのブロック歪みを除去するブロック歪み除去手段とを備え、
    雑音混入手段は、前記ブロック歪みが除去された再構築画像ピクチャに擬似ランダム雑音を混入させる
    請求項９記載の映像復号装置。
  11. 雑音混入手段は、伸張情報としての予測の種類、変換のブロックサイズ、量子化インデックス、または、それらのいずれかの組み合わせに基づいて擬似ランダム雑音混入位置を決定する
    請求項９または請求項１０記載の映像復号装置。
  12. 雑音混入手段は、平坦な予測の種類、大きな変換のブロックサイズ、および有意なＡＣの量子化インデックスが少ないパターンの再構築画像ブロックを擬似ランダム雑音混入位置として決定する
    請求項１１記載の映像復号装置。
  13. 雑音混入手段は、量子化ステップサイズに従って調節された量の擬似ランダム雑音を混入させる
    請求項９から請求項１２のうちのいずれか１項に記載の映像復号装置。
  14. 雑音混入手段は、イントラ予測の参照画像となる位置の画像には、擬似ランダム雑音を混入させない
    請求項９から請求項１３のうちのいずれか１項に記載の映像復号装置。
  15. 雑音混入手段を所定の映像復号単位でリセットするリセット手段を備えた
    請求項９から請求項１４のうちのいずれか１項に記載の映像復号装置。
  16. 量子化インデックスを逆量子化して量子化代表値を得て、
    得られた量子化代表値を逆変換して再構築画像ブロックを得て、
    前記再構築画像ブロックの伸張情報に基づいて擬似ランダム雑音混入位置を決定し、前記擬似ランダム雑音混入位置の画像に擬似ランダム雑音を混入させる
    映像符号化方法。
  17. 画像ブロックに対するイントラ予測信号またはフレーム間予測信号を計算し、
    画像ブロックからイントラ予測信号またはフレーム間予測信号を減じて予測誤差画像ブロックを得て、
    得られた予測誤差画像ブロックを変換して変換係数を得て、
    得られた変換係数を量子化して量子化インデックスを得て、
    得られた量子化インデックスをエントロピー符号化してそのビット列を出力し、
    量子化代表値を逆変換して再構築予測誤差画像ブロックを計算し、イントラ予測信号またはフレーム間予測信号を前記再構築予測誤差画像ブロックに加えて再構築画像ブロックを得る
    請求項１６記載の映像符号化方法。
  18. 画像ブロックに対するイントラ予測信号またはフレーム間予測信号を計算し、
    画像ブロックからイントラ予測信号またはフレーム間予測信号を減じて予測誤差画像ブロックを得て、
    得られた予測誤差画像ブロックを変換して変換係数を得て、
    得られた変換係数を量子化して量子化インデックスを得て、
    得られた量子化インデックスをエントロピー符号化してそのビット列を出力し、
    量子化代表値を逆変換して再構築予測誤差画像ブロックを計算し、イントラ予測信号またはフレーム間予測信号を前記再構築予測誤差画像ブロックに加えて再構築画像ブロックを得て、
    前記再構築画像ブロックを再構築画像ピクチャとして再構築画像格納手段に格納し、
    前記再構築画像ピクチャのブロック歪みを除去し、
    前記ブロック歪みが除去された再構築画像ピクチャに擬似ランダム雑音を混入させる
    請求項１６記載の映像符号化方法。
  19. 伸張情報としての予測の種類、変換のブロックサイズ、量子化インデックス、または、それらのいずれかの組み合わせに基づいて擬似ランダム雑音混入位置を決定する
    請求項１６から請求項１８のうちのいずれか１項に記載の映像符号化方法。
  20. 平坦な予測の種類、大きな変換のブロックサイズ、および有意なＡＣの量子化インデックスが少ないパターンの再構築画像ブロックを擬似ランダム雑音混入位置として決定する
    請求項１９記載の映像符号化方法。
  21. 量子化ステップサイズに従って調節された量の擬似ランダム雑音を混入させる
    請求項１６から請求項２０のうちのいずれか１項に記載の映像符号化方法。
  22. イントラ予測の参照画像となる位置の画像には、擬似ランダム雑音を混入させない
    請求項１６から請求項２１のうちのいずれか１項に記載の映像符号化方法。
  23. 擬似ランダム雑音として、所定の映像符号化単位でリセットされる擬似ランダム雑音を発生する
    請求項１６から請求項２２のうちのいずれか１項に記載の映像符号化方法。
  24. ビット列をエントロピー復号して量子化インデックスを得て、
    画像ブロックに対するイントラ予測信号またはフレーム間予測信号を計算し、
    前記量子化インデックスを逆量子化して量子化代表値を得て、
    得られた量子化代表値を逆変換して再構築予測誤差画像ブロックを得て、
    イントラ予測信号またはフレーム間予測信号を再構築予測誤差画像ブロックに加えて再構築画像ブロックを得て、
    前記再構築画像ブロックの伸張情報に基づいて擬似ランダム雑音混入位置を決定し、前記擬似ランダム雑音混入位置の画像に擬似ランダム雑音を混入させる
    映像復号方法。
  25. 再構築画像ブロックを再構築画像ピクチャとして再構築画像格納手段に格納し、
    前記再構築画像ピクチャのブロック歪みを除去し、
    前記ブロック歪みが除去された再構築画像ピクチャに擬似ランダム雑音を混入させる
    請求項２４記載の映像復号方法。
  26. 伸張情報としての予測の種類、変換のブロックサイズ、量子化インデックス、または、それらのいずれかの組み合わせに基づいて擬似ランダム雑音混入位置を決定する
    請求項２４または請求項２５記載の映像復号方法。
  27. 平坦な予測の種類、大きな変換のブロックサイズ、および有意なＡＣの量子化インデックスが少ないパターンの再構築画像ブロックを擬似ランダム雑音混入位置として決定する
    請求項２６記載の映像復号方法。
  28. 量子化ステップサイズに従って調節された量の擬似ランダム雑音を混入させる
    請求項２４から請求項２７のうちのいずれか１項に記載の映像復号方法。
  29. イントラ予測の参照画像となる位置の画像には、擬似ランダム雑音を混入させない
    請求項２４から請求項２８のうちのいずれか１項に記載の映像復号方法。
  30. 擬似ランダム雑音として、所定の映像復号単位でリセットされる擬似ランダム雑音を発生する
    請求項２４から請求項２９のうちのいずれか１項に記載の映像復号方法。
  31. コンピュータに、
    量子化インデックスを逆量子化して量子化代表値を得る処理と、
    得られた量子化代表値を逆変換して再構築画像ブロックを得る処理と、
    前記再構築画像ブロックの伸張情報に基づいて擬似ランダム雑音混入位置を決定し、前記擬似ランダム雑音混入位置の画像に擬似ランダム雑音を混入させる処理と
    を実行させるための映像符号化プログラム。
  32. コンピュータに、
    画像ブロックに対するイントラ予測信号またはフレーム間予測信号を計算する処理と、
    画像ブロックからイントラ予測信号またはフレーム間予測信号を減じて予測誤差画像ブロックを得る処理と、
    得られた予測誤差画像ブロックを変換して変換係数を得る処理と、
    得られた変換係数を量子化して量子化インデックスを得る処理と、
    得られた量子化インデックスをエントロピー符号化してそのビット列を出力する処理とを実行させ、
    量子化代表値を逆変換して再構築予測誤差画像ブロックを計算し、イントラ予測信号またはフレーム間予測信号を前記再構築予測誤差画像ブロックに加えて再構築画像ブロックを得る処理を実行させる
    請求項３１記載の映像符号化プログラム。
  33. コンピュータに、
    画像ブロックに対するイントラ予測信号またはフレーム間予測信号を得る処理と、
    画像ブロックからイントラ予測信号またはフレーム間予測信号を減じて予測誤差画像ブロックを得る処理と、
    得られた予測誤差画像ブロックを変換して変換係数を得る処理と、
    得られた変換係数を量子化して量子化インデックスを得る処理と、
    得られた量子化インデックスをエントロピー符号化してそのビット列を出力する処理とを実行させ、
    量子化代表値を逆変換して再構築予測誤差画像ブロックを計算し、イントラ予測信号またはフレーム間予測信号を前記再構築予測誤差画像ブロックに加えて再構築画像ブロックを得る処理を実行させ、
    前記逆周波数変換手段によって得られた再構築画像ブロックを再構築画像ピクチャとして再構築画像格納手段に格納する処理と、
    前記再構築画像ピクチャのブロック歪みを除去する処理とを実行させ、
    前記ブロック歪みが除去された再構築画像ピクチャに擬似ランダム雑音を混入させる処理を実行させる
    請求項３１記載の映像符号化プログラム。
  34. コンピュータに、伸張情報としての予測の種類、変換のブロックサイズ、量子化インデックス、または、それらのいずれかの組み合わせに基づいて擬似ランダム雑音混入位置を決定する処理を実行させる
    請求項３１から請求項３３のうちのいずれか１項に記載の映像符号化プログラム。
  35. コンピュータに、平坦な予測の種類、大きな変換のブロックサイズ、および有意なＡＣの量子化インデックスが少ないパターンの再構築画像ブロックを擬似ランダム雑音混入位置として決定する処理を実行させる
    請求項３４記載の映像符号化プログラム。
  36. コンピュータに、量子化ステップサイズに従って調節された量の擬似ランダム雑音を混入させる
    請求項３１から請求項３５のうちのいずれか１項に記載の映像符号化プログラム。
  37. コンピュータに、イントラ予測の参照画像となる位置の画像には、擬似ランダム雑音を混入させない
    請求項３１から請求項３６のうちのいずれか１項に記載の映像符号化プログラム。
  38. コンピュータに、擬似ランダム雑音として、所定の映像符号化単位でリセットされる擬似ランダム雑音を発生させる
    請求項３１から請求項３７のうちのいずれか１項に記載の映像符号化プログラム。
  39. コンピュータに、
    ビット列をエントロピー復号して量子化インデックスを計算する処理と、
    画像ブロックに対するイントラ予測信号またはフレーム間予測信号を計算する処理と、
    前記量子化インデックスを逆量子化して量子化代表値を得る処理と、
    得られた量子化代表値を逆変換して再構築予測誤差画像ブロックを得る処理と、
    イントラ予測信号またはフレーム間予測信号を前記再構築予測誤差画像ブロックに加えて再構築画像ブロックを得る処理と、
    前記再構築画像ブロックの伸張情報に基づいて擬似ランダム雑音混入位置を決定し、前記擬似ランダム雑音混入位置の画像に擬似ランダム雑音を混入させる処理と
    を実行させるための映像復号プログラム。
  40. コンピュータに、
    再構築画像ブロックを再構築画像ピクチャとして再構築画像格納手段に格納する処理と、
    前記再構築画像ピクチャのブロック歪みを除去する処理とを実行させ、
    前記ブロック歪みが除去された再構築画像ピクチャに擬似ランダム雑音を混入させる処理を実行させる
    請求項３９記載の映像復号プログラム。
  41. コンピュータに、伸張情報としての予測の種類、変換のブロックサイズ、量子化インデックス、または、それらのいずれかの組み合わせに基づいて擬似ランダム雑音混入位置を決定する処理を実行させる
    請求項３９または請求項４０記載の映像復号プログラム。
  42. コンピュータに、
    平坦な予測の種類、大きな変換のブロックサイズ、および有意なＡＣの量子化インデックスが少ないパターンの再構築画像ブロックを擬似ランダム雑音混入位置として決定する処理を実行させる
    請求項４１記載の映像復号プログラム。
  43. コンピュータに、量子化ステップサイズに従って調節された量の擬似ランダム雑音を混入させる
    請求項３９から請求項４２のうちのいずれか１項に記載の映像復号プログラム。
  44. コンピュータに、イントラ予測の参照画像となる位置の画像には、擬似ランダム雑音を混入させない
    請求項３９から請求項４３のうちのいずれか１項に記載の映像復号プログラム。
  45. コンピュータに、擬似ランダム雑音として、所定の映像復号単位でリセットされる擬似ランダム雑音を発生させる
    請求項３９から請求項４４のうちのいずれか１項に記載の映像復号プログラム。
JP2011543087A 2009-11-30 2010-10-27 映像符号化装置および映像復号装置 Pending JPWO2011064944A1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2009272178 2009-11-30
JP2009272178 2009-11-30
PCT/JP2010/006343 WO2011064944A1 (ja) 2009-11-30 2010-10-27 映像符号化装置および映像復号装置

Publications (1)

Publication Number Publication Date
JPWO2011064944A1 true JPWO2011064944A1 (ja) 2013-04-11

Family

ID=44066060

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011543087A Pending JPWO2011064944A1 (ja) 2009-11-30 2010-10-27 映像符号化装置および映像復号装置

Country Status (5)

Country Link
US (1) US20130114690A1 (ja)
EP (1) EP2509317A4 (ja)
JP (1) JPWO2011064944A1 (ja)
CN (1) CN102640494A (ja)
WO (1) WO2011064944A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8638395B2 (en) 2009-06-05 2014-01-28 Cisco Technology, Inc. Consolidating prior temporally-matched frames in 3D-based video denoising
KR101892329B1 (ko) * 2011-11-03 2018-08-27 톰슨 라이센싱 이미지 정교화에 기초한 비디오 인코딩 및 디코딩
US9872044B2 (en) * 2013-05-15 2018-01-16 Texas Instruments Incorporated Optimized edge order for de-blocking filter
EP3069513B1 (en) 2013-11-12 2019-03-13 Dolby Laboratories Licensing Corporation Pre-dithering in high dynamic range video coding
US9877034B2 (en) * 2014-04-14 2018-01-23 Avago Technologies General Ip (Singapore) Pte. Ltd. Pipelined video decoder system
EP4037316A1 (en) 2016-02-16 2022-08-03 Samsung Electronics Co., Ltd. Method for decoding an image
US9832351B1 (en) * 2016-09-09 2017-11-28 Cisco Technology, Inc. Reduced complexity video filtering using stepped overlapped transforms

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6295084A (ja) * 1985-10-22 1987-05-01 Sony Corp テレビジョン信号の高能率符号化及び復号化方法
JPH06284096A (ja) * 1993-03-25 1994-10-07 Sharp Corp 予測符号化装置および予測復号化装置
JPH10313458A (ja) * 1997-05-12 1998-11-24 Sony Corp 画像データ変換装置及び方法、予測係数生成装置及び方法、予測係数格納媒体
JP2002204357A (ja) * 2000-12-28 2002-07-19 Nikon Corp 画像復号化装置、画像符号化装置、および記録媒体
JP2007508788A (ja) * 2003-10-14 2007-04-05 トムソン ライセンシング ビットの正確な快適ノイズの付加方法及び装置
JP2007324923A (ja) * 2006-05-31 2007-12-13 Sharp Corp Ｍｐｅｇ画質補正装置、及びｍｐｅｇ画質補正方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020071140A1 (en) * 1998-06-03 2002-06-13 Takashi Suzuki Threshold matrix, and method and apparatus of reproducing gray levels using threshold matrix
WO2000002381A1 (en) * 1998-07-01 2000-01-13 Equator Technologies, Inc. Image processing circuit and method for modifying a pixel value
WO2003084234A2 (en) * 2002-03-22 2003-10-09 Realnetworks, Inc. Video picture compression artifacts reduction via filtering and dithering
JP2007503166A (ja) 2003-08-20 2007-02-15 トムソン ライセンシング アーティファクト低減方法及びデコーダ装置
KR20060090979A (ko) * 2003-09-23 2006-08-17 톰슨 라이센싱 영상 위로 잡음 추가 방법
US7680356B2 (en) * 2003-10-14 2010-03-16 Thomson Licensing Technique for bit-accurate comfort noise addition
US8013888B2 (en) * 2005-02-14 2011-09-06 Broadcom Corporation Method and system for implementing film grain insertion
GB2432069A (en) * 2005-11-03 2007-05-09 Tandberg Television Asa Reducing block noise by applying a dither signal in areas of low spatial detail
US20070237237A1 (en) * 2006-04-07 2007-10-11 Microsoft Corporation Gradient slope detection for video compression
JP5203036B2 (ja) 2008-05-08 2013-06-05 古河電気工業株式会社 接続構造
US8270498B2 (en) * 2009-03-26 2012-09-18 Apple Inc. Dynamic dithering for video compression

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6295084A (ja) * 1985-10-22 1987-05-01 Sony Corp テレビジョン信号の高能率符号化及び復号化方法
JPH06284096A (ja) * 1993-03-25 1994-10-07 Sharp Corp 予測符号化装置および予測復号化装置
JPH10313458A (ja) * 1997-05-12 1998-11-24 Sony Corp 画像データ変換装置及び方法、予測係数生成装置及び方法、予測係数格納媒体
JP2002204357A (ja) * 2000-12-28 2002-07-19 Nikon Corp 画像復号化装置、画像符号化装置、および記録媒体
JP2007508788A (ja) * 2003-10-14 2007-04-05 トムソン ライセンシング ビットの正確な快適ノイズの付加方法及び装置
JP2007324923A (ja) * 2006-05-31 2007-12-13 Sharp Corp Ｍｐｅｇ画質補正装置、及びｍｐｅｇ画質補正方法

Also Published As

Publication number Publication date
EP2509317A4 (en) 2016-03-09
CN102640494A (zh) 2012-08-15
EP2509317A1 (en) 2012-10-10
WO2011064944A1 (ja) 2011-06-03
US20130114690A1 (en) 2013-05-09

Similar Documents

Publication Publication Date Title
JP5454584B2 (ja) 映像符号化装置および映像復号装置
JP5807639B2 (ja) 映像符号化装置および映像復号装置
KR20140132313A (ko) 영상의 필터링 방법 및 장치와 그를 이용한 부호화/복호화를 위한 방법 및 장치
WO2011064944A1 (ja) 映像符号化装置および映像復号装置
KR102393178B1 (ko) 복원 블록을 생성하는 방법 및 장치
KR20130011878A (ko) 연성 디블록킹 필터링을 이용한 부호화/복호화 방법 및 장치
US8903184B2 (en) Image-encoding method, image-encoding device, and computer-readable recording medium storing image-encoding program
WO2012035749A1 (ja) 映像符号化装置および映像復号装置
WO2014084674A2 (ko) 잔차 변환을 이용한 인트라 예측 방법 및 장치
KR20130044263A (ko) 고해상도 동영상의 부호화/복호화 방법 및 장치
KR20170058870A (ko) 비선형 매핑을 통한 영상 부호화/복호화 방법 및 장치
JP7418152B2 (ja) 画像符号化装置、画像符号化方法、画像復号装置、画像復号方法
JP5812011B2 (ja) 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法及びプログラム
KR101537767B1 (ko) 서브블록 내 임의 화소를 이용한 영상 부호화/복호화 방법 및 장치
KR101483495B1 (ko) 서브블록 내 임의 화소를 이용한 영상 부호화/복호화 방법 및 장치
KR101544379B1 (ko) 고해상도 동영상의 부호화/복호화 방법 및 장치
KR101575634B1 (ko) 고해상도 동영상의 부호화/복호화 방법 및 장치
KR101379189B1 (ko) 움직임 보상 프레임의 필터링을 이용한 영상 부호화/복호화 방법 및 장치
KR20180041833A (ko) 화면 내 예측에 대한 참조 모드 리스트를 사용하는 비디오 코딩 방법 및 장치
KR101464949B1 (ko) 서브블록 내 임의 화소를 이용한 영상 부호화/복호화 방법 및 장치
KR101464944B1 (ko) 서브블록 내 임의 화소를 이용한 영상 부호화/복호화 방법 및 장치
KR101534014B1 (ko) 서브블록 내 임의 화소를 이용한 영상 부호화/복호화 방법 및 장치
KR101575638B1 (ko) 고해상도 동영상의 부호화/복호화 방법 및 장치
JP2023162377A (ja) デブロッキングフィルタ装置、復号装置、及びプログラム
JP5256095B2 (ja) 圧縮画像ノイズ除去装置と再生装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130904

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131203

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20140401