JP5812011B2 - 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法及びプログラム - Google Patents

映像符号化装置、映像復号装置、映像符号化方法、映像復号方法及びプログラム Download PDF

Info

Publication number
JP5812011B2
JP5812011B2 JP2012550718A JP2012550718A JP5812011B2 JP 5812011 B2 JP5812011 B2 JP 5812011B2 JP 2012550718 A JP2012550718 A JP 2012550718A JP 2012550718 A JP2012550718 A JP 2012550718A JP 5812011 B2 JP5812011 B2 JP 5812011B2
Authority
JP
Japan
Prior art keywords
planar
prediction
planar prediction
block
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012550718A
Other languages
English (en)
Other versions
JPWO2012090454A1 (ja
Inventor
慶一 蝶野
慶一 蝶野
裕三 仙田
裕三 仙田
啓史 青木
啓史 青木
健太 先崎
健太 先崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2012550718A priority Critical patent/JP5812011B2/ja
Publication of JPWO2012090454A1 publication Critical patent/JPWO2012090454A1/ja
Application granted granted Critical
Publication of JP5812011B2 publication Critical patent/JP5812011B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、映像符号化技術が適用された映像符号化装置および映像復号装置に関する。
一般に、映像符号化装置は、外部から入力される動画像信号をディジタル化した後、所定の映像符号化方式に準拠した符号化処理を行うことで符号化データすなわちビットストリームを生成する。
所定の映像符号化方式として非特許文献１に記載されたISO/IEC 14496-10 Advanced Video Coding（ＡＶＣ）がある。ＡＶＣ方式の符号化器の参照モデルとしてJoint Model 方式が知られている（以下、一般的な映像符号化装置という）。
図８を参照して、ディジタル化された映像の各フレームを入力としてビットストリームを出力する一般的な映像符号化装置の構成と動作を説明する。
図８に示された映像符号化装置は、変換／量子化器１０２、エントロピー符号化器１０３、逆変換／逆量子化器１０４、ピクチャバッファ１０５、デコードピクチャバッファ１０６、量子化／逆量子化器１０７、適応線形補間器１０８、フレーム間予測器（インター予測器）１１０、イントラ予測器１１１、符号化制御器１１２、スイッチ１２１、及びスイッチ１２２を備える。
一般的な映像符号化装置は、各フレームをＭＢ（Macro Block ：マクロブロック）とよばれる１６×１６画素サイズのブロックに分割し、さらにＭＢを４×４画素サイズのブロック分割し、分割して得られた４×４ブロックを符号化の最小構成単位とする。
図９は、フレームの空間解像度がＱＣＩＦ（Quarter Common Intermediate Format）の場合のブロック分割の例を示す説明図である。
以下、図８に示された各部の動作を説明する。
ＭＢブロックに分割された入力映像は、イントラ予測器１１１又はフレーム間予測器１１０から供給される予測信号が減じられて、変換／量子化器１０２に入力される。予測信号は、イントラ予測信号又はフレーム間予測信号である。以下、予測信号が減じられたＭＢブロックを予測誤差画像ブロックという。
イントラ予測器１１１は、ピクチャバッファ１０５に格納された再構築画像であって現在のフレームと表示時刻が同一である再構築画像を利用してイントラ予測信号を生成する。以下、イントラ予測信号を用いて符号化されるＭＢをイントラＭＢという。
フレーム間予測器１１０は、現在のフレームと表示時刻が異なる、デコードピクチャバッファ１０６に格納された参照画像を利用してフレーム間予測信号を生成する。以下、フレーム間予測信号を用いて符号化されるＭＢをインターＭＢという。
なお、イントラＭＢのみで符号化されたフレームはＩフレームと呼ばれる。イントラＭＢだけでなくインターＭＢも含めて符号化されたフレームはＰフレームと呼ばれる。フレーム間予測信号の生成に１枚の参照画像だけでなく同時に２枚の参照画像を用いるインターＭＢを含めて符号化されたフレームはＢフレームと呼ばれる。
符号化制御部１１２は、イントラ予測信号およびフレーム間予測信号とＭＢバッファ１０１に格納されている入力ＭＢとを比較して、予測誤差画像ブロックのエネルギーが小さくなる予測信号を選択し、スイッチ１２２を制御する。選択された予測信号に関連する情報（イントラ予測モード、イントラ予測方向、およびフレーム間予測に関連する情報）は、エントロピー符号化器１０３に供給される。
また、符号化制御部１１２は、入力ＭＢまたは予測誤差画像ブロックに基づいて、予測誤差画像ブロックの周波数変換に適した整数ＤＣＴ（Discrete Cosine Transform ）の基底ブロックサイズを選択する。整数ＤＣＴは、一般的な映像符号化装置ではＤＣＴ基底を整数値で近似した基底による周波数変換を意味する。基底ブロックサイズの選択肢として、１６×１６、８×８、４×４の３つのブロックサイズがある。入力ＭＢまたは予測誤差画像ブロックの画素値が平坦になる程、より大きな基底ブロックサイズが選択される。選択された整数ＤＣＴの基底サイズに関する情報は、エントロピー符号化器１０３に供給される。以下、選択された予測信号に関連する情報、選択された整数ＤＣＴの基底サイズなどに関する情報、および後述する量子化パラメータを補助情報と呼ぶ。
逆変換／逆量子化器１０４は、量子化ステップ幅Ｑs で、変換量子化値を逆量子化する。さらに、逆変換／逆量子化器１０４は、逆量子化した周波数変換係数を逆周波数変換する。逆周波数変換された再構築予測誤差画像は、予測信号（イントラ予測信号、又はインター予測信号）が加えられて、スイッチ１２１を介してピクチャバッファ１０５に供給される。なお、量子化／逆量子化器１０７および線形補間器１０８の動作については後述する。
ピクチャバッファ１０５には、現在のフレームに含まれる全てのＭＢが符号化されるまで、再構築予測誤差画像ブロックに予測信号が加えられた再構築画像ブロックが格納される。以下、ピクチャバッファ１０５において再構築画像によって構成されるピクチャを再構築画像ピクチャという。
エントロピー符号化器１０３は、補助情報と量子化インデックスとをエントロピー符号化して、そのビット列すなわちビットストリームとして出力する。
ISO/IEC 14496-10 Advanced Video Coding "Test Model under Consideration", Document: JCTVC-B205, Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 2nd Meeting: Geneva, CH, 21-28 July, 2010
非特許文献１は、一般的なイントラ予測を開示しているが、非特許文献２のTest Model under Consideration （ＴＭｕＣ方式）においては、5.1.1.3.1 Specification of intra planar predictionを引用すると、Planar予測という新たな概念のイントラ予測が導入されている。
Planar予測では、参照画像を用いた予測符号化に基づいて、符号化対象ブロックの右下画像（図１０参照）に対応する予測誤差量子化インデックス（planar_qdelta_indicator ）とその正負符号情報（planar_sign ）が映像符号化装置から映像復号装置に伝送される。planar_qdelta_indicator は、Planar予測ブロックの上と左側に隣接する画素の平均値DCpredを用いて予測された右下画像の予測誤差値（delta ）の量子化インデックスである。delta の量子化として、そのレンジに応じた線形量子化が適用される。なお、planar_sign は、delta の正負符号情報である（１： マイナス、0： プラス）。planar_qdelta_indicator とplanar_sign の計算を以下の（１）式及び（２）式に示す。
delta = p[PuPartSize - 1, PuPartSize - 1] - DCpred;
planar_sign = (delta < 0)? 1 : 0;
・・・（１）
Adelta = |delta |;
if (Adelta > 63)
planar_qdelta_indicator = (Adelta >> 3) + 14;
else if(Adelta > 9)
planar_qdelta_indicator = (Adelta >> 2) + 6;
else if (Adelta > 3)
planar_qdelta_indicator = (Adelta >> 1) + 2;
else
planar_qdelta_indicator = Adelta;
・・・（２）
ただし、p[PuPartSize - 1, PuPartSize - 1] は右下画像の画素である。また、Dcpredの詳細な計算方法が、非特許文献２の5.1.1.3.3.3 Specification of Intra_DC prediction modeに記載されている。
続いて、Planar予測では、Planar予測ブロック周辺の参照画像、及び、伝送されたplanar_qdelta_indicator とplanar_sign を用いて、右下画像を再構築する。planar_qdelta_indicator とplanar_sign に基づいて再構築予測誤差値qdeltaを計算し、右下画像の再構築画素値をqdelta+Dcpred とする。qdeltaの計算を以下の（３）式に示す。
if (planar_qdelta_indicator > 21)
qdelta = ((planar_qdelta_indicator - 14) << 3) + 4;
else if(planar_qdelta_indicator > 9)
qdelta = ((planar_qdelta_indicator - 6) << 2) + 2;
else if (planar_qdelta_indicator > 3)
qdelta = (planar_qdelta_indicator - 2) << 1;
else
qdelta = planar_qdelta_indicator;
if(planar_sign == 1)
qdelta = -1*qdelta
・・・（３）
続いて、右下画像の再構築画素値（図１０参照）、及び、Planar予測ブロック周辺の参照画像の一番右上の画素値との１次元線形補間に基づいて、Planar予測ブロックの右端の列の予測画像（図１１参照）を計算する。同様に、右下画像の再構築画素値（図１０参照）、及び、Planar予測ブロック周辺の参照画像の一番左下の画素値との１次元線形補間に基づいて、Planar予測ブロックの下端の行の予測画像（図１１参照）を計算する。
最後に、図１２に示すように、残りの領域の予測画像（図１２における最右列及び最下行以外の予測画像、すなわち、Planar予測ブロック境界の内部の予測画像）を２次元線形補間で計算する。なお、Planar予測（以後、Planarモードとも呼ぶ）を用いたブロックにおいては、予測誤差（原信号と補間画像の差分）は伝送されない。つまり、予測画像がそのまま再構築画像になる。
ゆえに、Planar intraのブロック境界には、通常のデブロックフィルタの代わりに、隣接ブロックそれぞれの画素を内挿するPlanarモードフィルタが適用される。具体的なフィルタ処理が、非特許文献２の5.4.1 Deblocking filter process のPlanar mode filtering に記載されている。Planarモードフィルタでは、隣接するPlanarモードブロックのブロック境界（図１３参照）を、ブロック境界左右の所定位置の画像を用いて一元内挿補間する（図１４参照）。水平方向のブロック境界では、ブロック境界の左にＭ／４番目と右にＭ／４番目が所定位置の画像となる。垂直方向のブロック境界では、ブロック境界の上にＭ／４番目と下にＭ／４番目が所定位置の画像となる。
図８に示された映像符号化装置では、量子化／逆量子化器１０７は、入力ＭＢブロックの右下の画素値から隣接する画素の平均値DCpredを減じた値をdelta として入力し、上記の（１）式及び（２）式の計算によってplanar_qdelta_indicator とplanar_sign とを得て、エントロピー符号化器１０３に供給する。
エントロピー符号化器１０３は、planar_qdelta_indicator とplanar_sign とを補助情報としてエントロピー符号化する。
また、量子化／逆量子化器１０７は、上記の（３）式によってqdeltaを計算し、qdeltaを適応線形補間器１０８に供給する。
適応線形補間器１０８は、右下画像の再構築画素値（qdelta+Dcpred ）と参照画像の一番右上の画素値との１次元線形補間によって、Planar予測ブロックの右端の列の予測画像（図１１参照）を得る。また、qdelta+Dcpred とPlanar予測ブロック周辺の参照画像の一番左下の画素値との１次元線形補間によって、Planar予測ブロックの下端の行の予測画像を得る。
また、適応線形補間器１０８は、２次元線形補間によって、Planar予測ブロック境界の内部の予測画像を得る（図１２参照）。適応線形補間器１０８が得た予測画像は、再構築画像として、スイッチ１２１を介してピクチャバッファ１０５に格納される。
qdeltaの絶対値がPlanarブロックのサイズ未満である場合には、Planarブロックのサイズの区間で滑らかに変化する信号を表現するダイナミックレンジが不十分であり、単純な線形補間では予測画像に階調歪みが発生する。例えば、Planarブロックのサイズが１６である場合、滑らかに変化する信号（例えば、１画素ずつ単調増加する信号）を表現するのに必要なダイナミックレンジは１６である。ゆえに、qdeltaの絶対値が１６以上であれば、単純な線形補間によって滑らかに変化する信号を再現することが可能であるが、qdeltaの絶対値が１６未満である場合には、滑らかに変化する信号を単純な線形補間では再現できず階調歪みが発生する。
本発明は、上述した階調歪みの発生を防止するために、階調歪みが発生する条件に基づいて、予測画像を計算する線形補間に擬似ランダム雑音を用いることによって効率的に階調歪みを抑制することを目的とする。
本発明による映像符号化装置は、Planar予測を用いるPlanar予測手段を備える映像符号化装置であって、Planar予測の再構築予測誤差値が、Planar予測ブロックのサイズで決定されるしきい値未満となる場合に、Planar予測ブロックの予測画像に擬似ランダム雑音を混入させる雑音混入手段を備えることを特徴とする。
本発明による映像復号装置は、Planar予測を用いるPlanar予測手段を備える映像復号装置であって、Planar予測の再構築予測誤差値が、Planar予測ブロックのサイズで決定されるしきい値未満となる場合に、Planar予測ブロックの予測画像に擬似ランダム雑音を混入させる雑音混入手段を備えることを特徴とする。
本発明による映像符号化方法は、Planar予測を用いる映像符号化方法であって、Planar予測の再構築予測誤差値が、Planar予測ブロックのサイズで決定されるしきい値未満となる場合に、Planar予測ブロックの予測画像に擬似ランダム雑音を混入させることを特徴とする。
本発明による映像復号方法は、Planar予測の再構築予測誤差値が、Planar予測ブロックのサイズで決定されるしきい値未満となる場合に、Planar予測ブロックの予測画像に擬似ランダム雑音を混入させることを特徴とする。
本発明による映像符号化プログラムは、コンピュータに、Planar予測処理と、Planar予測の再構築予測誤差値が、Planar予測ブロックのサイズで決定されるしきい値未満となる場合に、Planar予測ブロックの予測画像に擬似ランダム雑音を混入させる処理とを実行させることを特徴とする。
本発明による映像復号プログラムは、コンピュータに、Planar予測処理と、Planar予測の再構築予測誤差値が、Planar予測ブロックのサイズで決定されるしきい値未満となる場合に、Planar予測ブロックの予測画像に擬似ランダム雑音を混入させる処理とを実行させることを特徴とする。
本発明によれば、Planar予測に基づいた映像符号化技術において、階調歪みが発生する条件を検出し、予測画像を計算する線形補間に擬似ランダム雑音を用いることによって効率的に階調歪みを抑制できる。
第１の実施形態の映像符号化装置の構成を示すブロック図である。 映像符号化装置における適応線形補間器の動作を示すフローチャートである。 第２の実施形態の映像復号装置の構成を示すブロック図である。 映像符号化装置における適応線形補間器の動作を示すフローチャートである。 本発明による映像符号化装置および映像復号装置の機能を実現可能な情報処理システムの構成例を示すブロック図である。 本発明による映像符号化装置の主要部を示すブロック図である。 本発明による映像復号装置の主要部を示すブロック図である。 一般的な映像符号化装置の構成を示すブロック図である。 ブロック分割の例を示す説明図である。 Planar予測を説明するための説明図である。 Planar予測を説明するための説明図である。 Planar予測を説明するための説明図である。 Planarモードフィルタを説明するための説明図である。 Planarモードフィルタを説明するための説明図である。
実施形態１．
本実施形態においては、階調歪みが発生する条件を検出し、予測画像を計算する線形補間に擬似ランダム雑音を用いることによって階調歪みを抑制する映像符号化装置を説明する。
図１に示すように、本実施形態の映像符号化装置は、変換／量子化器１０２、エントロピー符号化器１０３、逆変換／逆量子化器１０４、ピクチャバッファ１０５、デコードピクチャバッファ１０６、量子化／逆量子化器１０７、適応線形補間器１０８、擬似ランダム雑音発生器１０９、フレーム間予測器（インター予測器）１１０、イントラ予測器１１１、符号化制御器１１２、スイッチ１２１、及びスイッチ１２２を備える。
以下、簡単のために、輝度の画素値のみに着目して、図１に示された各部の動作を説明する。
イントラ予測器１１１は、ピクチャバッファ１０５に格納された再構築画像であって現在のフレームと表示時刻が同一である再構築画像を利用してイントラ予測信号を生成する。
フレーム間予測器１１０は、現在のフレームと表示時刻が異なる、デコードピクチャバッファ１０６に格納された参照画像を利用してフレーム間予測信号を生成する。
符号化制御部１１２は、イントラ予測信号およびフレーム間予測信号とＭＢバッファ１０１に格納されている入力ＭＢとを比較して、予測誤差画像ブロックのエネルギーが小さくなる予測信号を選択し、スイッチ１２２を制御する。選択された予測信号に関連する情報（イントラ予測モード、イントラ予測方向、およびフレーム間予測に関連する情報）は、エントロピー符号化器１０３に供給される。
また、符号化制御部１１２は、入力ＭＢまたは予測誤差画像ブロックに基づいて、予測誤差画像ブロックの周波数変換に適した整数ＤＣＴ（Discrete Cosine Transform ）の基底ブロックサイズを選択する。選択された整数ＤＣＴの基底サイズに関する情報は、エントロピー符号化器１０３に供給される。
逆変換／逆量子化器１０４は、量子化ステップ幅Ｑs で、変換量子化値を逆量子化する。さらに、逆変換／逆量子化器１０４は、逆量子化した周波数変換係数を逆周波数変換する。逆周波数変換された再構築予測誤差画像は、予測信号（イントラ予測信号、又はインター予測信号）が加えられて、スイッチ１２１を介してピクチャバッファ１０５に供給される。
ピクチャバッファ１０５には、現在のフレームに含まれる全てのＭＢが符号化されるまで、再構築予測誤差画像ブロックに予測信号が加えられた再構築画像ブロックが格納される。
本実施形態では、イントラ予測器１１１は、Planar予測ブロックの上と左側に隣接する画素の平均値DCpredを出力する。量子化／逆量子化器１０７は、入力ＭＢブロックの右下の画素値から隣接する画素の平均値DCpredを減じた値をdelta として入力し、上記の（１）式及び（２）式によってplanar_qdelta_indicator とplanar_sign とを計算し、エントロピー符号化器１０３に供給する。
また、量子化／逆量子化器１０７は、上記の（３）式によってqdelta（再構築予測誤差値）を計算し、qdeltaを適応線形補間器１０８に供給する。適応線形補間器１０８には、再構築画素値（qdelta+Dcpred ）も供給される。
適応線形補間器１０８は、qdelta+Dcpred と参照画像の一番右上の画素値との１次元線形補間によって、Planar予測ブロックの右端の列の予測画像（図１１参照）を得る。また、qdelta+Dcpred とPlanar予測ブロック周辺の参照画像の一番左下の画素値との１次元線形補間によって、Planar予測ブロックの下端の行の予測画像を得る。
また、適応線形補間器１０８は、２次元線形補間によって、Planar予測ブロック境界の内部の予測画像を得る（図１４参照）。適応線形補間器１０８が得た予測画像は、再構築画像として、スイッチ１２１を介してピクチャバッファ１０５に格納される。
エントロピー符号化器１０３は、補助情報と量子化インデックスとをエントロピー符号化して、そのビット列すなわちビットストリームとして出力する。
図１に示す本実施形態の映像符号化装置は、図８に示す一般的な映像符号化装置と比較すると、擬似ランダム雑音発生器１０９が追加されていることが分かる。
擬似ランダム雑音発生器１０９は、Planar予測の再構築予測誤差値がPlanar予測ブロックのサイズで決定されるしきい値未満となる場合に、Planar予測ブロックの予測画像に擬似ランダム雑音を混入させる。
以下、擬似ランダム雑音を混入させる処理を具体的に説明する。
非特許文献２の5.1.1.3.1 Specification of intra planar predictionを参照すると、擬似ランダム雑音を反映した予測信号predPartL[ x, y ]（ x, y = 0,…,PuPartSize - 1）を、以下のように生成する。（４）式において、PuPartSizeは、planarブロックのサイズである。
predPartL[ x, y ] = Clip0-255(((PuPartSize - (y+1))*TR(x) + (y+1)*BR(x) + (PuPartSize - (x+1))*LC(y) + (x+1)*RC(y) + Dither [x, y] )/(PuPartSize*2))
・・・（４）
ＴＲは、以下のように表される。
画素p[ x, -1 ]（x = 0,…,PuPartSize - 1）がイントラ予測可能である場合：
TR(i) = p[ x, -1 ] （i = 0,…,PuPartSize - 1）
画素p[ -1, y ]（y = 0,…,PuPartSize - 1）がイントラ予測可能である場合：
TR(i) = ((PuPartSize - (i+1))*M(-1,0) + (i+1)*BRS + (PuPartSize>>1))/PuPartSize （i = 0,…,PuPartSize - 1）
その他の場合：
TR(i) = 128 （i = 0,…,PuPartSize - 1）
ＬＣは、以下のように表される。
画素p[ -1, y ]（y = 0,…,PuPartSize - 1）がイントラ予測可能である場合：
LC(i) = p[ -1, i ] （i = 0,…,PuPartSize - 1）
画素p[ x, -1 ]（x = 0,…,PuPartSize - 1）がイントラ予測可能である場合：
LC(j) = ((PuPartSize - (j+1))*M(0,-1) + (j+1)*BRS + (PuPartSize>>1))/PuPartSize
その他の場合：
LC(i) = 128 （i = 0,…,PuPartSize - 1）
ＢＲは、以下のように表される。
BR(i) = ((PuPartSize - (i+1)*LC[ PuPartSize-1 ] + (i+1)*BRS + (PuPartSize>>1))/PuPartSize i = 0,…,PuPartSize - 1）
ＲＣは、以下のように表される。
RC(i) = ((PuPartSize - (i+1))*TR[ PuPartSize-1 ] + (i+1)*BRS + (PuPartSize>>1))/PuPartSize
ＢＲＳは、以下のように表される。
BRS = DC + planar_delta_y
planar_delta_yは、輝度のqdeltaである。また、DCは、非特許文献２の5.1.1.3.3.3 に記載されているようなＤＣ予測値である。
なお、（４）式は、非特許文献２の5.1.1.3.1 Specification of intra planar predictionに記載されている該当する式において、”PuPartSize”（右辺の分子における最後部のもの）を”Dither [x, y] ”に置き換えた式に相当する。
よって、擬似ランダム雑音を混入させない場合には、（４）式におけるDither [x, y] を以下のようにする。
Dither [x, y] = PuPartSize
擬似ランダム雑音を混入させる場合には、内部の予測画像（図１２における最右列及び最下行以外の予測画像、すなわち、（ x,y = 1,…,PuPartSize - 2の座標の画素））に対して、（４）式におけるDither [x, y] を以下のようにする。
Dither [x, y] = NoiseTable [PuPartSize*y + x]
また、最右列及び最下行以外の予測画像に対して、（４）式におけるDither [x, y] を以下のようにする。
Dither [x, y] = PuPartSize
ただし、NoiseTable [PuPartSize*y + x] の値は０〜2*PuPartSizeである。NoiseTable [i]（i = 0,…,2*PuPartSize-1）は、一例として、2*PuPartSizeを変数とする擬似乱数を[0,1]に正規化した値である。
なお、本実施形態では、NoiseTable [i]を決定するための[0,1]での一様分布擬似ランダム変数rv[i] (i=0, …, PuPartSize*PuPartSize - 1) の発生方法を限定しないが、一様分布擬似ランダム変数の発生器を所定の符号化単位でリセットできるとする。
所定の符号化単位として、例えば、各フレームの先頭ＣＵ（Coding Unit ：符号化ユニット）、各フレーム内での複数個のＣＵ毎などがある。一様分布擬似ランダム変数の発生器を所定の符号化単位でリセットすることで、映像復号のためのランダムアクセス性、映像符号化および映像復号それぞれの並列処理性などを改善できる。例えば、線形合同法に基づく一様分布擬似ランダム変数の発生器では、所定の符号化単位で、その初期値rv[0] を所定値でリセットすればよい。
また、本実施形態では、擬似ランダム雑音を混入させるか否かを決定するためのしきい値は、一例として、PlanarブロックのサイズPuPartSizeに0.5を乗じた値とする。すなわち、| planar_delta_y |が0.5*PuPartSize以上であれば擬似ランダム雑音を混入させないが、0.5*PuPartSize未満であれば擬似ランダム雑音を混入させる。なお、planar_delta_yがしきい値未満であることは、Planarブロックのサイズの区間で滑らかに変化する信号を表現するダイナミックレンジが不十分であり、Dither [x, y] の混入なしでは、階調歪みが発生することを意味する。
図２は、本実施形態における適応線形補間器１０８の動作を示すフローチャートである。本実施形態では、適応線形補間器１０８は、再構築予測誤差値（qdelta）が入力されると（ステップＳ１０１）、qdelta（具体的には、planar_delta_yの絶対値）の値が0.5*PuPartSize未満であるか否か判定する（ステップＳ１０２）。qdeltaが0.5*PuPartSize以上である場合には、擬似ランダム雑音を混入させる処理を実行せず、図８に示された一般的な映像符号化装置の場合と同様にplanar予測を実行する（ステップＳ１０３）。
一方、適応線形補間器１０８は、qdeltaが0.5*PuPartSize未満である場合には、擬似ランダム雑音発生器１０９が発生する擬似ランダム雑音（Dither [x, y] ）を入力し、上記の（４）式によって、擬似ランダム雑音を混入させたPlanar予測ブロックの予測画像を生成する（ステップＳ１０４）。
本実施形態の映像符号化装置は、上記のような処理によってビットストリームを生成する。
なお、本実施形態では、しきい値を0.5*PuPartSizeとしたが、０．５よりも１．０に近い値をPuPartSizeに乗じたしきい値を用いてもよい。
上述したように、本実施形態の映像符号化装置は、Planar予測の再構築予測誤差値がPlanar予測ブロックのサイズで決定されるしきい値未満となる場合に、Planar予測ブロックの予測画像に擬似ランダム雑音を混入させる。ゆえに、Planarブロックのサイズの区間で滑らかに変化する信号を表現するダイナミックレンジが不十分であることに起因する階調歪みを抑制できる。
実施形態２．
本実施形態においては、階調歪みが発生する条件を検出し、予測画像を計算する線形補間に擬似ランダム雑音を用いることによって階調歪みを抑制する映像復号装置を説明する。なお、本実施形態の映像復号装置は、第１の実施形態の映像符号化装置に対応する映像復号装置である。
図３に示すように、本実施形態の映像復号装置は、エントロピー復号器２０１、逆変換／逆量子化器２０４、ピクチャバッファ２０５、デコードピクチャバッファ２０６、逆量子化器２０７、適応線形補間器２０８、擬似ランダム雑音発生器２０９、フレーム間予測器（インター予測器）２１０、イントラ予測部２１１、復号制御器２１２、及びスイッチ２２２を備える。
エントロピー復号器２０１は、ビットストリームをエントロピー復号して、復号対象ＭＢの予測信号に関連する情報、整数ＤＣＴの基底サイズ、および量子化インデックスを出力する。また、エントロピー復号器２０１は、補助情報としてのplanar_qdelta_indicator とplanar_sign とをエントロピー復号する。
逆量子化部／逆量子化器２０４は、エントロピー復号器２０１から供給される量子化インデックスを逆量子化し、量子化代表値を逆周波数変換して元の空間領域に戻す。
ピクチャバッファ２０５には、現在復号中のフレームに含まれるすべてのＭＢが復号されるまで、元の空間領域に戻された再構築予測誤差画像ブロックに予測信号が加えられた再構築画像ブロックが格納される。
デコードピクチャバッファ２０６は、再構築画像を参照画像ピクチャとして格納する。参照画像ピクチャの画像は、フレーム間予測信号を生成するための参照画像として利用される。また、参照画像ピクチャは、適切な表示タイミングで伸張フレームとして出力される。
フレーム間予測器２１０は、現在復号中のフレームと表示時刻が異なる、デコードピクチャバッファ２０６に格納された参照画像を利用してフレーム間予測信号を生成する。
イントラ予測器２１１は、現在復号中のフレームと表示時刻が同一である、ピクチャバッファ２０５に格納された再構築画像を利用してイントラ予測信号を生成する。
復号制御器２１２は、エントロピー復号したフレーム間予測に基づいて、スイッチ２２２を制御し、イントラ予測信号またはフレーム間予測信号を供給する。
逆量子化器２０７は、上記の（３）式によってqdeltaを計算し、qdeltaを適応線形補間器２０８に供給する。適応線形補間器２０８には、再構築画素値（qdelta+Dcpred ）も供給される。
本実施形態では、イントラ予測器２１１は、Planar予測ブロックの上と左側に隣接する画素の平均値DCpredを出力する。適応線形補間器２０８は、右下画像の再構築画素値（qdelta+Dcpred ）と参照画像の一番右上の画素値との１次元線形補間によって、Planar予測ブロックの右端の列の予測画像（図１１参照）を得る。また、qdelta+Dcpred とPlanar予測ブロック周辺の参照画像の一番左下の画素値との１次元線形補間によって、Planar予測ブロックの下端の行の予測画像を得る。
また、適応線形補間器２０８は、２次元線形補間によって、Planar予測ブロック境界の内部の予測画像を得る（図１４参照）。適応線形補間器２０８が得た予測画像は、再構築画像として、スイッチ２２１を介してピクチャバッファ２０５に格納される。
図４は、適応線形補間器２０８の動作を示すフローチャートである。適応線形補間器２０８は、第１の実施形態における適応線形補間器１０８と同様に、再構築予測誤差値（qdelta）が入力されると（ステップＳ２０１）、qdelta（具体的には、planar_delta_yの絶対値）の値が０．５未満であるか否か判定する（ステップＳ２０２）。qdeltaが０．５以上である場合には、擬似ランダム雑音を混入させる処理を実行せず、一般的な映像復号装置の場合と同様にplanar予測を実行する（ステップＳ２０３）。
一方、適応線形補間器２０８は、qdeltaが0.5*PuPartSize未満である場合には、擬似ランダム雑音発生器２０９が発生する擬似ランダム雑音（Dither [x, y] ）を入力し、上記の（４）式によって、擬似ランダム雑音を混入させたPlanar予測ブロックの予測画像を生成する（ステップＳ２０４）。
なお、擬似ランダム雑音発生器２０９は、第１の実施形態における擬似ランダム雑音発生器１０９と同様に、擬似ランダム雑音を発生する。
本実施形態の映像復号装置は、上記のような処理によってビットストリームを伸張する。
なお、本実施形態では、しきい値を0.5*PuPartSizeとしたが、０．５よりも１．０に近い値をPuPartSizeに乗じたしきい値を用いてもよい。
本実施形態の映像復号装置は、第１の実施形態の映像符号化装置と同様に、Planar予測の再構築予測誤差値がPlanar予測ブロックのサイズで決定されるしきい値未満となる場合に、Planar予測ブロックの予測画像に擬似ランダム雑音を混入させる。ゆえに、Planarブロックのサイズの区間で滑らかに変化する信号を表現するダイナミックレンジが不十分であることに起因する階調歪みを抑制できる。
また、上記の各実施形態を、ハードウェアで構成することも可能であるが、コンピュータプログラムにより実現することも可能である。
図５に示す情報処理システムは、プロセッサ１００１、プログラムメモリ１００２、記憶媒体１００３および記憶媒体１００４を備えている。記憶媒体１００３および記憶媒体１００４は、別個の記憶媒体であってもよいし、同一の記憶媒体からなる記憶領域であってもよい。記憶媒体として、ハードディスク等の磁気記憶媒体を用いることができる。
図５に示された情報処理システムにおいて、プログラムメモリ１００２には、図１、図３のそれぞれに示された各ブロック（バッファのブロックを除く）の機能を実現するためのプログラムが格納される。そして、プロセッサ１００１は、プログラムメモリ１００２に格納されているプログラムに従って処理を実行することによって、図１、図３のそれぞれに示された映像符号化装置または映像復号装置の機能を実現する。
図６は、本発明による映像符号化装置の主要部を示すブロック図である。図６に示すように、本発明による映像符号化装置は、Planar予測を用いるPlanar予測手段１１（一例として、適応線形補間器１０８）と、Planar予測の再構築予測誤差値が、Planar予測ブロックのサイズで決定されるしきい値未満となる場合に、Planar予測ブロックの予測画像に擬似ランダム雑音を混入させる雑音混入手段１２（一例として、適応線形補間器１０８及び擬似ランダム雑音発生器１０９）とを備える。
図７は、本発明による映像復号装置の主要部を示すブロック図である。図７に示すように、本発明による映像復号装置は、Planar予測を用いるPlanar予測手段２１（一例として、適応線形補間器２０８）と、Planar予測の再構築予測誤差値が、Planar予測ブロックのサイズで決定されるしきい値未満となる場合に、Planar予測ブロックの予測画像に擬似ランダム雑音を混入させる雑音混入手段２２（一例として、適応線形補間器２０８及び擬似ランダム雑音発生器２０９）とを備える。
以上、実施形態および実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
この出願は、２０１０年１２月２７日に出願された日本特許出願２０１０−２８９９４０を基礎とする優先権を主張し、その開示の全てをここに取り込む。
１１ Planar予測手段
１２ 雑音混入手段
２１ Planar予測手段
２２ 雑音混入手段
１０２ 変換／量子化器
１０３ エントロピー符号化器
１０４ 逆変換／逆量子化器
１０５ ピクチャバッファ
１０６ デコードピクチャバッファ
１０７ 量子化／逆量子化器
１０８ 適応線形補間器
１０９ 擬似ランダム雑音発生器
１１０ フレーム間予測器
１１１ イントラ予測部
１１２ 符号化制御器
１２１ スイッチ
１２２ スイッチ
２０２ エントロピー復号器
２０４ 逆変換／逆量子化器
２０５ ピクチャバッファ
２０６ デコードピクチャバッファ
２０７ 逆量子化器
２０８ 適応線形補間器
２０９ 擬似ランダム雑音発生器
２１０ フレーム間予測器
２１１ イントラ予測部
２１２ 復号制御部
１００１ プロセッサ
１００２ プログラムメモリ
１００３ 記憶媒体
１００４ 記憶媒体

Claims (6)

  1. Planar予測を用いるPlanar予測手段を備える映像符号化装置であって、
    Planar予測の再構築予測誤差値が、Planar予測ブロックのサイズで決定されるしきい値未満となる場合に、前記Planar予測ブロックの予測画像に擬似ランダム雑音を混入させる雑音混入手段を備えることを特徴とする映像符号化装置。
  2. Planar予測を用いるPlanar予測手段を備える映像復号装置であって、
    Planar予測の再構築予測誤差値が、Planar予測ブロックのサイズで決定されるしきい値未満となる場合に、前記Planar予測ブロックの予測画像に擬似ランダム雑音を混入させる雑音混入手段を備えることを特徴とする映像復号装置。
  3. Planar予測を用いる映像符号化方法であって、
    Planar予測の再構築予測誤差値が、Planar予測ブロックのサイズで決定されるしきい値未満となる場合に、前記Planar予測ブロックの予測画像に擬似ランダム雑音を混入させることを特徴とする映像符号化方法。
  4. Planar予測を用いる映像復号方法であって、
    Planar予測の再構築予測誤差値が、Planar予測ブロックのサイズで決定されるしきい値未満となる場合に、前記Planar予測ブロックの予測画像に擬似ランダム雑音を混入させることを特徴とする映像復号方法。
  5. コンピュータに、
    Planar予測処理と、
    Planar予測の再構築予測誤差値が、Planar予測ブロックのサイズで決定されるしきい値未満となる場合に、前記Planar予測ブロックの予測画像に擬似ランダム雑音を混入させる処理と
    を実行させるための映像符号化プログラム。
  6. コンピュータに、
    Planar予測処理と、
    Planar予測の再構築予測誤差値が、Planar予測ブロックのサイズで決定されるしきい値未満となる場合に、前記Planar予測ブロックの予測画像に擬似ランダム雑音を混入させる処理と
    を実行させるための映像復号プログラム。
JP2012550718A 2010-12-27 2011-12-22 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法及びプログラム Expired - Fee Related JP5812011B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012550718A JP5812011B2 (ja) 2010-12-27 2011-12-22 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法及びプログラム

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2010289940 2010-12-27
JP2010289940 2010-12-27
PCT/JP2011/007204 WO2012090454A1 (ja) 2010-12-27 2011-12-22 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法及びプログラム
JP2012550718A JP5812011B2 (ja) 2010-12-27 2011-12-22 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2012090454A1 JPWO2012090454A1 (ja) 2014-06-05
JP5812011B2 true JP5812011B2 (ja) 2015-11-11

Family

ID=46382594

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012550718A Expired - Fee Related JP5812011B2 (ja) 2010-12-27 2011-12-22 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法及びプログラム

Country Status (3)

Country Link
US (1) US10021385B2 (ja)
JP (1) JP5812011B2 (ja)
WO (1) WO2012090454A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3051309A1 (fr) * 2016-05-10 2017-11-17 Bcom Procedes et dispositifs de codage et de decodage d'un flux de donnees representatif d'au moins une image
US11070837B2 (en) 2018-04-02 2021-07-20 Panasonic Intellectual Property Corporation Of America Encoding method, decoding method, encoder, and decoder

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050201629A1 (en) * 2004-03-09 2005-09-15 Nokia Corporation Method and system for scalable binarization of video data
JP4074868B2 (ja) * 2004-12-22 2008-04-16 株式会社東芝 画像符号化制御方法及びその装置
DE602007009730D1 (de) 2007-06-29 2010-11-18 Fraunhofer Ges Forschung Skalierbare videocodierung, die pixelwert-verfeinerungsskalierbarkeit unterstützt
JP5427785B2 (ja) * 2007-09-28 2014-02-26 ドルビー ラボラトリーズ ライセンシング コーポレイション ビデオ圧縮技法及びビデオ伝達技法
RU2492586C2 (ru) 2008-10-27 2013-09-10 Ниппон Телеграф Энд Телефон Корпорейшн Способ автоматического формирования процедуры генерации прогнозируемого значения пикселя, способ кодирования изображений, способ декодирования изображений, соответствующее устройство, соответствующие программы и носители информации, которые хранят программы

Also Published As

Publication number Publication date
JPWO2012090454A1 (ja) 2014-06-05
US10021385B2 (en) 2018-07-10
US20130294510A1 (en) 2013-11-07
WO2012090454A1 (ja) 2012-07-05

Similar Documents

Publication Publication Date Title
JP6636573B2 (ja) 映像復号化方法
JP6345815B2 (ja) 映像データを復号化する方法
KR101785666B1 (ko) 비디오 신호의 처리 방법 및 장치
JP6005790B2 (ja) マージモードを利用する映像復号化装置
KR20190029732A (ko) 인트라 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
KR102140331B1 (ko) 인트라 예측 방법 및 그 장치
KR20160135226A (ko) 비디오 코딩에서 인트라 블록 카피를 위한 검색 영역 결정
JP6376130B2 (ja) 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法及びプログラム
KR20160031496A (ko) 인트라 모션 보상 확장
KR20140064972A (ko) 화상 부호화 및 복호 방법, 장치, 프로그램
KR20150140848A (ko) 화면 내 예측 방법 및 이러한 방법을 사용하는 장치
JP2014534755A (ja) 映像復号化装置
KR101377529B1 (ko) 적응적 움직임 벡터 부호화/복호화를 이용한 영상 부호화/복호화 방법 및 장치
JP5812011B2 (ja) 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法及びプログラム
JP5574072B1 (ja) 映像符号化装置、映像符号化方法および映像符号化プログラム
KR20090097016A (ko) 영상 부호화장치 및 영상 복호화장치
KR20160053848A (ko) 영상의 인트라 예측 부호화/복호화 방법 및 그 장치
KR101938389B1 (ko) 화면 내 예측 방법 및 이러한 방법을 사용하는 장치
JP2011166218A (ja) 画像信号符号化装置、画像信号符号化方法、画像信号復号装置、及び、画像信号復号方法
JP2012138774A (ja) 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20141107

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150825

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150907

R150 Certificate of patent or registration of utility model

Ref document number: 5812011

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees