JP4688170B2

JP4688170B2 - 動画像符号化装置

Info

Publication number: JP4688170B2
Application number: JP2007016299A
Authority: JP
Inventors: 知伸吉野; 整内藤; 淳小池
Original assignee: KDDI R&D Laboratories Inc
Current assignee: KDDI R&D Laboratories Inc
Priority date: 2007-01-26
Filing date: 2007-01-26
Publication date: 2011-05-25
Anticipated expiration: 2027-01-26
Also published as: JP2008187220A

Description

本発明は動画像符号化装置に関し、特に画面内のマクロブロック（以下，MBと記す）単位で符号化モードの決定を行う動画像符号化装置において、符号化映像の主観品質を向上させることのできる動画像符号化装置に関する。

MB単位で符号化モードの決定を行う動画像符号化装置の一例として、図８に示されているようなＨ．２６４符号化のリファレンス符号化器が知られている。該リファレンス符号化器は周知であるので詳細な説明は省略するが、該リファレンス符号化器では、画面内予測部５１および動き予測部５２にて、それぞれ画像のMB単位にイントラ符号化（画面内符号化）およびインター符号化（画面間符号化）を試み、コスト値算出部５３にて、それぞれの符号化コスト値を算出し、モード判定部５４では該符号化コスト値が小さい方の符号化モードを選択する。

ここで、前記コスト値は、例えば下記の非特許文献１の８０頁右欄〜８１頁左欄に記載されている（７）式と（８）式から求めることができる。すなわち、符号化対象のMBに対して、候補となる各符号化モードについて、符号化により発生する誤差D（二乗誤差または絶対値誤差）および符号量Rに対して、目標とする割り当て符号量をRcとするとき、 R＜Rcを条件として（subject to R＜Rc）Dが最小となる符号化モードを符号化効率が最大の符号化モードとする。このことは、下記の式（１）に示す最小化問題として定式化することができる。

min｛D}，subject to R＜Rc ・・・（１）
さらに、式（１）にラグランジュ乗数λを導入することで、下記の式（２）に示すコスト関数を定義する。

J＝D＋λ×R ・・・（２）
ここで、Jは符号化コスト値を表し、式（２）は、各符号化モードにおけるD，Rに対して、より小さいJが得られる符号化モードを選択することで、高い符号化効率が得られることを表している。

前記モード判定部５４からの指示により選択されたイントラ符号化画像またはインター符号化画像は、加算部５５で減算処理され、ＤＣＴ／量子化部５６でＤＣＴおよび量子化の処理をされ、さらにエントロピー符号化部５７でエントロピー符号化されて、符号化データとして出力される。

一方、前記ＤＣＴ／量子化部５６でＤＣＴおよび量子化の処理を受けた画像データは、ローカルデコード部５８で局部復号化され、加算器５９で画面内予測部５１からのイントラ符号化画像または動き予測部５２からのインター符号化画像と加算されて、メモリ６０に一旦蓄積される。

次に、下記の特許文献１には、動画像の符号化の際にMB単位でイントラ符号化／インター符号化を適応的に選択することで、効率よく符号化を行う符号化モード決定方法に関し、イントラ符号化／インター符号化の選択は、当該MBにおける入力画像と予測値の差分絶対値和および差分二乗和に基づいて行うことが記されている。

さらに、下記の特許文献２には、符号化モード選択のうち、インター符号化フレームにおけるイントラ符号化とインター符号化の選択に関し、各々の符号化間での輝度値の不連続性を解消することを目的とし、MB単位でのモード選択でイントラ符号化を行う際、予測値として近傍局所領域における画素値の平均値、サブバンド符号化の低周波成分および重複ブロック直交変換の低周波成分を用いることが記されている。
Gary J. Sullivan, Thomas Wiegand, " Rate-Distortion Optimization for Video Compression", IEEE Signal Processing Magazine, pp.74-90, Nov. 1998. 特開平１０−３２２６９６号公報特開２００１−１２８１８３号公報

前記非特許文献１および特許文献１に記されている発明は、高い符号化効率を得るための符号化モード選択方式を提供するものであるが、主観品質を考慮していないため、符号化効率の優劣と主観画質の優劣の相関性が低い場合に、符号化映像の主観品質が低下するという問題がある。特に、カメラワークにより画面全体が動くシーンにおいて、イントラ符号化が局所的に集中した場合、同領域の動きに関する質感が失われることにより主観画質の低下を招く。

また、前記特許文献２に記載の発明では、カメラパンシーンにおいて局所的にイントラ符号化MB集中することを避けられず、局所的に動きの質感が失われて主観画質が低下するという問題がある。

本発明は、前記した従来技術の課題を解消するためになされたものであり、その目的は、符号化効率の優劣と主観画質の優劣の相関性が低い場合にも、主観品質が低下しないようにする動画像符号化装置を提供することにある。

前記した目的を達成するために、本発明は、画面内のマクロブロック（以下、MB)単位で符号化モードの決定を行う動画像符号化装置において、入力映像データの動き特性に関する特徴量を抽出する動き特性抽出手段と、該入力映像データ内の符号化されるMBの周辺の符号化済みMBの分布を検出する符号化モード分布検出手段とを具備し、前記動き特性抽出手段により抽出された動き特性が予め定められた値より大きく、かつ前記符号化モード分布検出手段により検出された前記符号化されるMBの周辺の符号化済みMBのイントラ符号化の割合が予め定められた値より大きい時に、前記符号化されるMBに対してインター符号化を適用するようにした点に特徴がある。

また、本発明は、重み付けをしてイントラ符号化のコスト値を算出するコスト値算出手段をさらに具備し、該コスト値算出手段は、前記動き特性抽出手段により抽出された動き特性が予め定められた値より大きく、かつ前記符号化モード分布検出手段により検出された前記符号化されるMBの周辺の符号化済みMBのイントラ符号化の割合が予め定められた値より大きい時に、前記重みを反映させてコスト値を算出し該コスト値が大きくなるようにすることにより、前記符号化されるMBに対してイントラ符号化が選択される割合を低下させるようにした点に他の特徴がある。

本発明によれば、符号化効率の優劣と主観画質の優劣の相関性が低い場合、例えばカメラワークにより画面全体が動くシーンにおいてイントラ符号化MBが局所的に集中した場合や、カメラパンシーンにおいて局所的にイントラ符号化MBが集中する場合などにおいて、該イントラ符号化MBが集中した領域の動きに関する質感が失われることにより主観画質の低下を招くのを回避または低減できるという効果がある。

以下に、図面を参照して本発明を詳細に説明する。図１は、本発明を図８の符号化器に適用した場合のブロック図を示し、図２は図１中の「本発明の制御方式」の一実施形態の構成を示すブロック図である。なお、図１において、図８と同一または同等物には同じ符号が付されている。なお、以下では最良の実施形態として、本発明をＨ．２６４符号化のリファレンス符号化器に用いた場合について説明するが、本発明はこれに限定されず、周知のＪＭエンコーダやＪＳＶＭエンコーダ等にも用いることができる。

図１、２において、本発明の制御方式１は、符号化済みMBにおける符号化モードの分布と、入力映像データがもつ動き特性に関する特徴量に応じて、イントラ符号化の適用可否を判定する処理をする。該制御方式１は、入力映像データａ、符号化済みフレームおよび同フレーム内の符号化済みMBの符号化データｂ、および外部から提供される制御パラメータｃを入力とし、イントラ符号化の適用可否を示す２値データ（true；制限を行う／false；制限を行わない）ｄを出力する。

制御パラメータｃは、動きの特徴量を抽出するためのパラメータｃ１と、符号化モード分布に関する特徴を抽出するためのパラメータｃ２で構成される。前記動きの特徴量を抽出するためのパラメータｃ１には、同抽出の対象領域と、当該領域において特徴量の大きさに対してイントラ符号化の適用可否を判定するための閾値が含まれる。符号化モード分布に関する特徴を抽出するためのパラメータｃ２には、同抽出の対象領域と、当該領域におけるイントラ符号化とインター符号化の比率に対してイントラ符号化の適用可否を判定するための閾値が含まれる。

本発明の制御方式１は、動き特性抽出部１１と、符号化モード分布検出部１２と、これらの２出力を論理積処理して前記イントラ符号化の適用可否を示す２値データｄを生成する論理積処理部１３から構成されている。

前記動き特性抽出部１１では、入力映像ａおよび制御パラメータｃ１に基づき、当該MBおけるイントラ符号化の適用可否を判定し、イントラ符号化の適用可否を示す２値データ（true；制限を行う／false；制限を行わない）ｅを出力する。一方、前記符号化モード分布検出部１２では、符号化済みデータｂおよび制御パラメータｃ２に基づき、当該MBにおけるイントラ符号化の適用可否を判定し、イントラ符号化の適用可否を示す２値データ（true；制限を行う／false；制限を行わない）ｆを出力する。

次に、前記動き特性抽出部１１と、符号化モード分布検出部１２の処理の一例を、具体的に説明する。
・動き特性抽出部１１の処理

２枚のフレームＩ１，Ｉ２について、両フレーム間の画面全体の動き（特徴量）を検知（グローバル動き補償）し、動きの大きさが閾値ｚを上回るか否かを判定する関数をｇ（）とする。前記グローバル動き補償の方法の一例として、２フレーム間のパターンマッチングを行い、輝度値の平均二乗誤差が最小となる２フレームの位置関係をグローバル動きベクトルとすることができる。前記関数ｇ（）がtrueの時、動きの特徴に関して当該MBおけるイントラ符号化の適用を制限すると判定する。

なお、本発明は、前記したように、２枚のフレームＩ１，Ｉ２について、両フレーム間の画面全体の動きを検知することに限定されず、該画面全体の動きの検知に代えて、符号化されるMBを含む局所的な領域の両フレーム間の動きを検知するようにしてもよい。また、前記両フレーム間の画面全体の動きと前記局所的な領域の動きとの両方を検知するようにしてもよい。
・符号化モード分布検出部１２の処理

符号化モード分布検出部１２は、符号化されるMBとその周辺の符号化済みMB（イントラ符号化）との類似性または特性を検査し、該周辺の符号化済みMBと一定以上の類似性または類似する特性がある場合に、イントラ符号化の適用を制限する。

例えば、インター符号化フレーム（Ｐ，Ｂピクチャ）における各MBに対し、近傍ｎ個（ｎは１以上の整数）の符号化済みMBうち、ｍ個のMBにおいてイントラ符号化が選択されていたとする。近傍領域にてイントラ符号化の選択率（又は、割合）ｍ／ｎが閾値ＴＨを上回るとき、符号化モード分布に関して当該MBにおけるイントラ符号化の適用を制限する。例えば、図４の映像フレーム２０において、その左上のMBから水平方向に順次符号化が行われ、今度符号化処理される注目MBがMB２１とし、前記近傍ｎ個をMB21の左上、上および左隣の３個（ｎ＝３）とし、さらに前記閾値ＴＨ＝０．３３とすると、図４の場合には、ｍ／ｎ＝３／３＝１＞ＴＨ＝０．３３となる。したがって、この例の場合には、MB２１におけるイントラ符号化の適用を制限する。

以上を纏めると、本発明の制御方式１の処理は、以下のようになる。入力映像の各フレームをＩ（）、処理フレーム番号をｔとすると、

（i）ｇ（Ｉ（t），Ｉ（t-1），ｚ）＝trueかつｍ／ｎ＞ＴＨの時、当該MBにてのイントラ符号化の適用を制限する。

（ii）上記以外の時、当該MBにてのイントラ符号化の適用を制限しない。

図３は、図１のモード判定部５４の処理例を示すフローチャートである。いま、画面内予測部５１からは、イントラ符号化の符号化効率が最大の符号化モードの符号化により発生する誤差Ｄ１および符号量Ｒ１が出力され、動き予測部５２からは、インター符号化の符号化効率が最大の符号化モードの符号化により発生する誤差Ｄ２および符号量Ｒ２が出力され、コスト値算出部５３では、前記誤差Ｄ１および符号量Ｒ１を基に前記(2)式よりコスト値Ｊ１を求め、また、前記誤差Ｄ２および符号量Ｒ２を基にコスト値Ｊ２を求め、該コスト値Ｊ１とＪ２をモード判定部５４に出力するものとする。

さて、図３のステップＳ１では、本発明の制御方式１からの出力ｄがtrue（＝１）か否かの判断がされる。trueの時にはステップＳ２に進んで、前記コスト値Ｊ１を論理上の最大値に設定し、ステップＳ３に移行する。一方、trueでない時はステップＳ２をスキップしてステップＳ３へ移行する。ステップＳ３では、コスト値Ｊ１とＪ２の大小が比較され、コスト値Ｊ２の方が小さいとステップＳ４に進んで動き予測の指令がなされる。一方、コスト値Ｊ１の方が小さいとステップＳ５に進んで画面内予測の指令がなされる。スイッチング部６１は、この指令に基づいて、画面内予測部５１または動き予測部５２を選択する。

したがって、本実施形態によれば、前記出力ｄがtrueの時には必ず動き予測部５２が選択され、trueでない時にはコスト値Ｊ１、Ｊ２のうちの小さい方の予測部が選択されることになる。

次に、本発明の他の実施形態を図５、図６を参照して説明する。図５において、２は本発明の制御方式を示し、他の符号は図１と同一または同等物を示す。また、図６において、１４は乗算部、１５はコスト値算出部、Ｃ３は主観評価の重み付け係数を示し、他の符号は図２と同一または同等物を示す。

図６において、動き特性抽出部１１，符号化モード分布検出部１２および論理積処理部１３の動作は、図２で説明した動作と同一であるので説明を省略する。Ｃ３の重み付け係数（ω）は主観評価の重みを表すものであり、乗算部１４において、ｄと乗算されてコスト値算出部１５に入力する。コスト値算出部１５では、当該MB２１（図４参照）においてイントラ符号化を行った場合の符号化効率が最大の誤差Ｄおよび符号量Ｒを取得する。ここに、誤差Ｄは、イントラ符号化結果のローカルデコード結果と入力映像データとの差分をとり、二乗誤差若しくは絶対値誤差の演算により求められる。符号量Ｒは、イントラ符号化結果について符号化シンタックスの記述に要する情報量から求められる。

該コスト値算出部１５における符号化コスト値Ｊ’の算出は、例えば下記の式(３)により求められる。

Ｊ’＝Ｄ×（１＋ω）＋λ×Ｒ・・・（３）

ここに、重みωは、正の実数である。

コスト値算出部１５で求められた符号化コスト値Ｊ’は、図４のモード判定部５４に送られる。モード判定部５４では、該コスト値Ｊ’と、コスト値算出部５３からのコスト値Ｊ２とを比較し、Ｊ’＞Ｊ２であれば動き予測を選択する指令を出し、逆にＪ’＜Ｊ２であれば画面内予測を選択する指令を出す。この指令に従って、スイッチング部６１は制御され、画面内予測部または動き予測部５２のいずれかを選択する。

この実施形態によれば、重み付けすることによりイントラ符号化のコスト値Ｊ’は大きくなるので、イントラ符号化予測が選択される割合を低下させることができ、入力映像の主観品質を向上させることができるようになる。また、該重みωの値は適応的に設定することにより、イントラ符号化予測が選択される割合を適応的に低下させ、入力映像の主観品質を適応的に向上させることができるようになる。

本発明者は、本発明の第１実施形態をＨＤＴＶ標準動画像に適用して評価実験を行った。符号化モード分布に関する制御パラメータＣ２として、ｎ＝３、ＴＨ＝０．３３を用いた。また、処理MB２１（図４参照）の近傍３つのMBとして、該処理MB２１に対する左、上、左上のMBを用いた。また、動き特徴に関する制御パラメータＣ１の閾値ｚとして、ｚ＝８を用いた。該評価実験の結果、本発明により、同等の主観画質を保ったまま、１５％程度の符号量を削減することができた。

図７に、Ｐピクチャ、Ｂピクチャの中央２５６画素×２５６ラインにおいて、イントラ符号化が適用されるMBの割合を示す。図から、Ｐピクチャにおいては、イントラ符号化が適用されるMBの割合が大きく減少し、主観画質の改善効果が得られた。他の素材に関しても、同様の主観画質の改善効果が得られた。

本発明の制御方式が適用されたリファレンスエンコーダの構成を示すブロック図である。本発明の制御方式の一実施形態の構成を示すブロック図である。図１のモード判定部の動作例を示すフローチャートである。本発明によるイントラ符号化の適用をインター符号化に対して制限することの説明図である。本発明の制御方式が適用されたリファレンスエンコーダの他の構成を示すブロック図である。本発明の制御方式の他の実施形態の構成を示すブロック図である。Ｐピクチャ、Ｂピクチャの中央２５６画素×２５６ラインにおいて、イントラ符号化が適用されたMBの割合を示す本発明の実験例のグラフである。従来のリファレンスエンコーダの構成を示すブロック図である。

符号の説明

１，２・・・本発明の制御方式、１１・・・動き特性抽出部、１２・・・符号化モード分布検出部、１４・・・乗算器、１５・・・コスト値算出部、ｃ１・・・動き特性に関する制御パラメータ、ｃ２・・・符号化モード分布に関する制御パラメータ、ｃ３・・・重み付け係数、５１・・・画面内予測部、５２・・・動き予測部、５３・・・コスト値算出部、５４・・・モード判定部。

Claims

画面内のマクロブロック（以下、MB)単位で符号化モードの決定を行う動画像符号化装置において、
入力映像データの動き特性に関する特徴量を抽出する動き特性抽出手段と、
該入力映像データ内の符号化されるMBの周辺の符号化済みMBの分布を検出する符号化モード分布検出手段とを具備し、
前記動き特性抽出手段により抽出された動き特性が予め定められた値より大きく、かつ前記符号化モード分布検出手段により検出された前記符号化されるMBの周辺の符号化済みMBのイントラ符号化の割合が予め定められた値より大きい時に、前記符号化されるMBに対してインター符号化を適用するようにすることを特徴とする動画像符号化装置。
画面内のマクロブロック（以下、MB)単位で符号化モードの決定を行う動画像符号化装置において、
入力映像データの動き特性に関する特徴量を抽出する動き特性抽出手段と、
該入力映像データ内の符号化されるMBの周辺の符号化済みMBの分布を検出する符号化モード分布検出手段と、
重み付けをしてイントラ符号化のコスト値を算出するコスト値算出手段とを具備し、
前記コスト値算出手段は、前記動き特性抽出手段により抽出された動き特性が予め定められた値より大きく、かつ前記符号化モード分布検出手段により検出された前記符号化されるMBの周辺の符号化済みMBのイントラ符号化の割合が予め定められた値より大きい時に、前記重みを反映させてコスト値を算出し該コスト値が大きくなるようにすることにより、前記符号化されるMBに対してイントラ符号化が選択される割合を低下させることを特徴とする動画像符号化装置。
請求項１または２に記載の動画像符号化装置において、
前記動き特性抽出手段は、前記符号化されるMBを含むフレームと該フレームに近接する他のフレームの画面全体の動き特性に関する特徴量、または該符号化されるMBを含むフレームの局所的な領域の他のフレームに対する動き特性に関する特徴量を抽出することを特徴とする動画像符号化装置。
請求項１または２に記載の動画像符号化装置において、
前記符号化モード分布検出手段は、少なくとも、前記符号化されるMBに隣接する１つ以上の符号化済みMBのイントラ符号化の分布を検出することを特徴とする動画像符号化装置。
請求項２に記載の動画像符号化装置において、
前記コスト値算出手段は、前記重みをωとするとき、該重みωを前記コスト値に反映させて該コスト値Ｊ’を下記の式により算出することを特徴とする動画像符号化装置。
Ｊ’＝Ｄ×（１＋ω）＋λ×Ｒ
ここに、Ｄは符号化により発生する誤差、ωは正の実数、λはラグランジュ乗数、Ｒは符号量である。