JP6523324B2

JP6523324B2 - 画像符号化／復号方法及び装置

Info

Publication number: JP6523324B2
Application number: JP2016561065A
Authority: JP
Inventors: リン，タオ; リー，ミン; シャン，グオチアン
Original assignee: ZTE Corp
Current assignee: ZTE Corp
Priority date: 2013-12-28
Filing date: 2014-12-29
Publication date: 2019-05-29
Anticipated expiration: 2034-12-29
Also published as: EP3657800A1; JP2017508415A; EP3089453A4; KR20200040317A; CN104754361A; CN108271024B; CN104754361B; US20170013261A1; EP3089453A1; KR20160115924A; CN108271024A; US10194150B2; WO2015096822A1

Description

本発明は通信分野に関し、具体的には、画像符号化／復号方法及び装置に関するものである。

画像のデジタルビデオ信号は、画像のシーケンスを自然形態とする。１フレームの画像は、通常、若干の画素からなる矩形領域であり、デジタルビデオ信号は、数十フレーム乃至何千何万フレームの画像からなるビデオ画像シーケンスであり、単にビデオシーケンス又はシーケンスと呼ぶこともある。デジタルビデオ信号の符号化は、つまり、画像をフレームずつ符号化することである。

最新の国際ビデオ圧縮規格（High Efficiency Video Coding、単にＨＥＶＣという）では、１フレームの画像の符号化を行う場合、１フレームの画像を若干枚数のＭｘＭ画素の「符号化ユニット（Coding Unit、単にＣＵという）」と呼ばれるサブ画像に分割し、ＣＵを基本的符号化単位でサブ画像を１枚ずつ符号化する。Ｍの大きさは、８，１６，３２，６４がよくある。このため、１つのビデオ画像シーケンスの符号化は、各符号化ユニットを順次符号化することを意味する。同様に、その復号も、各符号化ユニットを順次復号し、最後にビデオ画像シーケンスを全体として最構成することを意味する。

１フレームの画像における異なる内容及び性質の各部分の画像に応じた標的な符号化を最も効果的に行うために、１フレームの画像における各ＣＵのサイズは、８ｘ８であったり、６４ｘ６４であったり等、異なってもよい。異なるサイズのＣＵのシームレス接合を可能にするために、１フレームの画像は、常にサイズがまったく同じであるＮｘＮ画素を有する「最大符号化ユニット（Largest Coding Unit、単にＬＣＵという）」に分割してから、ＬＣＵごとに複数のツリー型構造のサイズが同じでなくてもよいＣＵにさらに分割される。このため、ＬＣＵは「符号化ツリーユニット（Coding Tree Unit、単にＣＴＵという）」とも呼ばれる。例えば、１フレームの画像を、まず、サイズがまったく同じである６４ｘ６４画素のＬＣＵ（Ｎ＝６４）に分割する。あるＬＣＵは、３つの３２ｘ３２画素のＣＵと４つの１６ｘ１６画素のＣＵとからなり、これら７つのツリー型構造をなすＣＵにより１つのＣＴＵを構成する。また、もう１つのＬＣＵは、２つの３２ｘ３２画素のＣＵと、３つの１６ｘ１６画素のＣＵと、２０個の８ｘ８画素のＣＵとからなり、これら２５つのツリー型構造をなすＣＵによりもう１つのＣＴＵを構成する。このように、１フレームの画像を符号化することは、即ち、個々のＣＴＵにおける個々のＣＵを順次符号化することになる。

１つのカラー画素は、３つの要素（component）からなる。画素カラーフォーマット（pixel color format）のうち、緑要素、青要素、赤要素からなるＧＢＲカラーフォーマットと、１つの輝度（luma）要素及び２つの色度（chroma）要素からなるＹＣｂＣｒカラーフォーマットとも呼ばれるＹＵＶカラーフォーマットとが最も一般的な２種類である。したがって、１つのＣＵを符号化する場合、１つのＣＵを３つの要素平面（Ｇ平面、Ｂ平面、Ｒ平面又はＹ平面、Ｕ平面、Ｖ平面）に分割し、３つの要素平面をそれぞれ符号化するようにしてもよいし、１つの画素の３つの要素をまとめて１つのトリプルを合成し、これらトリプルからなるＣＵを全体として符号化するようにしてもよい。前者の画素及び要素の配列方式は、画像（及びそのＣＵ）のプレーンフォーマット（planar format）と呼ばれる一方、後者の画素及び要素の配列方式は、画像（及びそのＣＵ）のパックフォーマット（packed format）と呼ばれる。

ＹＵＶカラーフォーマットは、色度要素についてダウンサンプリングを行うか否かによって、さらに、１つの画素が１つのＹ要素、１つのＵ要素、１つのＶ要素からなるＹＵＶ４：４：４画素カラーフォーマットと、左右に隣り合う２つの画素が２つのＹ要素、１つのＵ要素、１つのＶ要素からなるＹＵＶ４：２：２画素カラーフォーマットと、上下左右に隣り合って２ｘ２空間位置で配列される４つの要素が４つのＹ要素、１つのＵ要素、１つのＶ要素からなるＹＵＶ４：２：０画素カラーフォーマットといういくつかのサブフォーマットに分割することができる。１つの要素は、一般的には、１つの８〜１６ビットの数字で表される。ＹＵＶ４：２：２画素カラーフォーマットも、ＹＵＶ４：２：０画素カラーフォーマットも、ＹＵＶ４：４：４画素カラーフォーマットに対して色度要素のダウンサンプリングを行って得られたものである。画素要素は、画素サンプル（pixel sample）とも呼ばれ、或いは、単にサンプル（sample）と呼ばれる。

１フレームの画像の符号化を行う場合、参照画素として同一フレーム内における画素を用いて符号化される画像は「Ｉ画像」と呼ばれ、参照画素として他のフレームの画素を用いて符号化される画像は「Ｉ以外の画像」と呼ばれる。

リモートデスクトップを代表的な表現形式とする新世代クラウドコンピューティングや情報処理モード及びプラットフォームの発展や普及につれ、複数台のコンピュータ間、メインフレームとスマートテレビ、スマートフォン、タブレット等、他のデジタル装置との間、及び様々なデジタル装置間の相互接続は、すでに実現されており、かつますます主流になっていく。これにより、サーバ側（クラウド）からユーザー側へのリアルタイム画面転送が、現在、きびしく要求される。転送の必要のある画面ビデオデータ量がかなり大きいため、コンピュータ画面画像に対して効率よくかつ高品質のデータ圧縮を行わなければならない。

コンピュータ画面画像の特徴を十分生かしてコンピュータ画面画像に対する超高効率の圧縮を図ることは、最新の国際ビデオ圧縮規格ＨＥＶＣの主な目標でもある。

コンピュータ画面画像の特徴のうち、同一フレームの画像において、通常、性質の異なる２種類の画像コンテンツが存在することが目立っている。その一種は、連続階調コンテンツであり、通常、ビデオカメラで撮像した、例えば、ストリーミングメディア、デジタルストリーム等のコンテンツであり、他の一種は、非連続階調コンテンツであり、通常、コンピュータで生成した、例えば、メニュー、アイコン、文字などのコンテンツである。

連続階調コンテンツの場合、ロッシー符号化及び復号を施された復元画像は、歪みが比較的大きくても、観察者が気づきにくい又は許容可能なものである。しかし、非連続階調コンテンツの場合、ロッシー符号化及び復号を施された復元画像は、歪みが非常に僅かであっても、観察者が気づきやすく、かつ許容不可なものである。

従来の画像やビデオ符号化及び復号技術において、全フレームの復元画像は、いずれも比較的均一な画像品質や歪率がある。非連続階調コンテンツを高品質かつ低歪率で復元するために、連続階調コンテンツをも高品質かつ低歪率の程度で復元しなければならず、これにより、ビット数を多く消費し、符号化後のビデオ圧縮コードストリームの高ビットレートを招く。また、連続階調コンテンツのビデオ圧縮コードストリームのビットレートを低くするために、復元品質を低下させなければならず、非連続階調コンテンツの復元品質も、観察者が許容できないほど、大幅に低下する。

このため、連続階調コンテンツと非連続階調コンテンツとに対する異なる復元品質及び歪率での符号化を適応的に行えるような、新しい符号化及び復号手段を探しなければならない。つまり、１フレームの画像における連続階調コンテンツは、比較的大きな歪みが許容されうるが、同一フレームにおける非連続階調コンテンツは、非常に僅かな歪みしか許容されない。

現在の一般的な画像圧縮技術において、符号化過程は、主に、予測符号化、マッチング符号化、変換符号化、量子化符号化、符号化マイナス効果（例えば、ブロッキングアーチファクト及びリンギングアーチファクト）除去のポスト処理等のステップを含む。予測符号化は、一般的には、数十種の符号化モード及びいくつかの符号化パラメータを有する。マッチング符号化も、一般的には、十数種の符号化モード及びいくつかの符号化パラメータを有する。変換符号化も、一般的には、複数種の符号化モード及びいくつかの符号化パラメータを有する。量子化符号化は、一般的には、数十個の量子化パラメータ（quantization parameter、単にＱＰという）を有する。量子化パラメータＱＰの大きさは、画像品質を大体決定する。大きなＱＰで低品質の復元画像を生成するが、小さなＱＰで高品質の復元画像を生成する。一方、大きなＱＰで低ビットレートのビデオ圧縮コードストリームを生成するが、小さなＱＰで高ビットレートのビデオ圧縮コードストリームを生成する。最適符号化とは、現在の符号化ユニットごとに、１つの目標ビットレートと１つの量子化パラメータ（Ｙ、Ｕ、Ｖ又はＲ、Ｇ、Ｂの３つの要素ごとに１つの量子化パラメータあるように、合わせて３つの量子化パラメータであってもよい）とを特定し、また、生成したビットレートが特定した目標ビットレートよりも小さくなるとともに、歪率が最小の復元画像を生成するように、あらゆる可能な予測符号化モード及びパラメータ、マッチング符号化モード及びパラメータ、変換符号化モード及びパラメータ、及び他の関連する符号化モード及びパラメータから、予測符号化モード及びパラメータ（又はマッチング符号化モード及びパラメータ）、変換符号化モード及びパラメータ、及び他の関連する符号化モード及びパラメータをそれぞれ１セット検索し選択することを指す。該セットの符号化モード及びパラメータを、最適符号化モード及びパラメータセットと呼ぶ。符号化過程の最終段階において、選定された最適符号化モード及びパラメータセット、特定された量子化パラメータ、及び残差データをエントロピー符号化して現在の符号化ユニットのビデオ圧縮コードストリームに書き込む。ビットレートを低くするために、量子化パラメータの差分符号化を行い、つまり、現在の符号化ユニットの圧縮コードストリームに書き込まれたのは、量子化パラメータそのものではなく、現在の符号化ユニットの量子化パラメータとそれより前の符号化ユニットの量子化パラメータとの差である。現在の一般的な画像圧縮技術において、１つの符号化ユニットから次の符号化ユニットへの量子化パラメータは、僅かに変化し、多くの場合、変化しない。それゆえ、量子化パラメータの差を現在の符号化ユニットに書き込まないことが多い。

現在の一般的な画像圧縮技術において、現在の符号化ユニットの復号過程として、ビデオ圧縮コードストリームから、エントロピー復号により、選定された符号化モード及びパラメータセット、特定された量子化パラメータ、及び残差データを読み出し、これらの情報に基づいて、異なる程度での部分復元画像（再構成画像ともいう）を算出してから、符号化マイナス効果（例えば、ブロッキングアーチファクト及びリンギングアーチファクト）除去のポスト処理を行ったうえで、完全復元画像を最後に得る。

関連技術において、連続階調コンテンツと非連続階調コンテンツとに対する異なる復元品質及び歪率での符号化を適応的に行える効果的な技術案がまだなされておらず、効果的な対策がまだ提示されていない。

上記課題を解決するために、本発明の実施例は、画像符号化／復号方法及び装置を提供する。

本発明の一実施例によれば、１フレームの画像における１つの符号化ブロックについて、最適符号化中、あらゆる符号化モード及びパラメータセットを、第１種の符号化モード及びパラメータセットと、第２種の符号化モード及びパラメータセットとの２種類に分類するとともに、１つの目標ビットレートと、２つの量子化パラメータである量子化パラメータ１及び量子化パラメータ２とを特定し、最適な１セットの符号化モード及びパラメータを検索し選択する場合、前記第１種の符号化モード及びパラメータセットを前記量子化パラメータ１と合わせて用い、前記第２種の符号化モード及びパラメータセットを前記量子化パラメータ２と合わせて用いるような規則に従って、最適符号化を行うステップ１）と、前記量子化パラメータ１と前記量子化パラメータ２との差を算出し、連続する２つの符号化ブロック又は連続する２つ以上の符号化ブロックにおいて定数になる量子化パラメータ差を得るステップ２）と、ロッシー符号化で発生するマイナス効果を除去し、完全再構成画素を生成するステップ３）と、前記量子化パラメータ差、選定された最適符号化モード及びパラメータセット、前記量子化パラメータ１、及び残差データをエントロピー符号化して、前記１フレームの画像における一部の符号化ブロックのビデオ圧縮コードストリームに書き込むステップ４）と、を含む画像符号化方法が提供される。

前記あらゆる符号化方式は、予測符号化モード、マッチング符号化モード、及び変換符号化モードを少なくとも１つ含み、前記パラメータセットは、前記予測符号化モードに対応するパラメータ、前記マッチング符号化モードに対応するパラメータ、及び前記変換符号化モードに対応するパラメータを含むことが好ましい。

ステップ１）を実行した後、選定された最適符号化モード及びパラメータセット、量子化パラメータ１、量子化パラメータ２、及び予測残差又はマッチング残差を少なくとも１つ出力することが好ましい。

前記マイナス効果が、ブロッキングアーチファクト及びリンギングアーチファクトを少なくとも１つ含むことが好ましい。

符号化モード及びパラメータセットを２種類に分類することは、Ｉ画像について、前記第１種の符号化モード及びパラメータセットが、フレーム内符号化モードを用いる符号化モード及びパラメータセットを含み、前記第２種の符号化モード及びパラメータセットが、フレーム内符号化モードを用いない符号化モード及びパラメータセットを含む一方、Ｉ以外の画像について、前記第１種の符号化モード及びパラメータセットが、フレーム内又はフレーム間符号化モードを用いる符号化モード及びパラメータセットを含み、前記第２種の符号化モード及びパラメータセットが、フレーム内符号化モードもフレーム間符号化モードも用いない符号化モード及びパラメータセットを含むようにすることを含むことが好ましい。

符号化モード及びパラメータセットを２種類に分類することは、Ｉ画像及びＩ以外の画像のそれぞれについて、前記第１種の符号化モード及びパラメータセットが、フレーム内符号化モードを用いる符号化モード及びパラメータセットを含み、前記第２種の符号化モード及びパラメータセットが、フレーム内符号化モードを用いない符号化モード及びパラメータセットを含むようにすることを含むことが好ましい。

符号化モード及びパラメータセットを２種類に分類することは、Ｉ画像及びＩ以外の画像のそれぞれについて、前記第１種の符号化モード及びパラメータセットが、非水平予測又は非垂直予測フレーム内符号化モードを用いる符号化モード及びパラメータセットを含み、前記第２種の符号化モード及びパラメータセットが、非水平予測又は非垂直予測フレーム内符号化モードを用いない符号化モード及びパラメータセットを含むようにすることを含むことが好ましい。

符号化ブロックの圧縮コードストリームに、隣り合って連続する２つ又は連続する２つ以上の符号化ブロックの圧縮コードストリームにおいて同時に１に等しいことが許可されないフラグビットを１つ設定し、前記フラグビットが１又は０に等しいことは、それぞれ、前記量子化パラメータ差の数値が現在の符号化ブロックにおいて変更あること又は変更ないことを表すことが好ましい。

前記量子化パラメータ差は、少なくとも４つの符号化ブロックを含む１つの符号化ツリーユニット範囲内において定数であり、或いは、前記量子化パラメータ差は、いくつかの符号化ツリーユニット範囲内において定数であり、或いは、前記量子化パラメータ差は、１つのスライスSlice範囲内において定数であり、或いは、前記量子化パラメータ差は、１つのタイルTile範囲内において定数であり、或いは、前記量子化パラメータ差は、１フレームの画像範囲内において定数であり、或いは、前記量子化パラメータ差は、１つのビデオシーケンス範囲内において定数であることが好ましい。

圧縮コードストリームの符号化ツリーユニットＣＴＵヘッダ情報において、前記量子化パラメータ差の数値が現在のＣＴＵにて一定に維持されることを表すフラグビットが１つあり、或いは、圧縮コードストリームにおいて、いくつかのＣＴＵおきに、前記量子化パラメータ差の数値が後続の複数のＣＴＵにて一定に維持されることを表すフラグビットが１つあり、或いは、圧縮コードストリームのSliceヘッダ情報において、前記量子化パラメータ差の数値が現在のSliceにて一定に維持されることを表すフラグビットが１つあり、或いは、圧縮コードストリームのTileヘッダ情報において、前記量子化パラメータ差の数値が現在のTileにて一定に維持されることを表すフラグビットが１つあり、或いは、圧縮コードストリームの１フレームの画像ヘッダ情報において、前記量子化パラメータ差の数値が現在の１フレームの画像にて一定に維持されることを表すフラグビットが１つあり、或いは、シーケンスヘッダ情報において、前記量子化パラメータ差の数値が現在のシーケンスにて一定に維持されることを表すフラグビットが１つあることが好ましい。

圧縮コードストリームにおける複数の符号化ブロックが１つの定数である量子化パラメータ差を共有する圧縮コードストリームデータセグメントは、少なくとも、順次配列される構文要素において間隔を置いて又は連続して出現する量子化パラメータ差と、ｎ番目（ｎが正整数である）の符号化ブロックの符号化モード及びパラメータセット、量子化パラメータ１、及び残差データと、を負荷する構文要素が順次配列されて構成されることが好ましい。

圧縮コードストリームにおける複数のＣＴＵが１つの定数である量子化パラメータ差を共有する圧縮コードストリームデータセグメントは、順次配列される構文要素において間隔を置いて又は連続して出現する量子化パラメータ差と、ｎ番目（ｎが正整数である）のＣＴＵの符号化モード及びパラメータセット、量子化パラメータ１、及び残差データと、を負荷する構文要素が順次配列されて構成されることが好ましい。

前記量子化パラメータ差は、画像のＹ、Ｕ、Ｖ又はＧ、Ｂ、Ｒの３つの要素に用いられる１つの非負整数であることが好ましい。

前記量子化パラメータ差は、画像のＹ、Ｕ、Ｖ又はＧ、Ｂ、Ｒの３つの要素に用いられる３つの非負整数であることが好ましい。

本発明の他の一実施例によれば、圧縮コードストリームを解析しエントロピー復号して得られた、連続する２つ又は連続する２つ以上の復号ブロックの圧縮コードストリームにおいて定数になる量子化パラメータ差と、現在の復号ユニットの復号ブロックの量子化パラメータ１と、復号ブロックに使用される符号化モード及びパラメータセットと、復号ブロックの予測残差又はマッチング残差データとを出力するステップ１）と、前記復号ブロックの符号化モード及びパラメータセットが第１種の符号化モード及びパラメータセットであれば、前記復号ブロックの量子化パラメータを前記量子化パラメータ１に設定し、そうでなければ、前記復号ブロックの量子化パラメータを、前記量子化パラメータ１と前記量子化パラメータ差との差に等しい量子化パラメータ２に設定するステップ２）と、ステップ１）で生成した前記復号ブロックの符号化モード及びパラメータセット、前記復号ブロックの予測残差又はマッチング残差データ、及びステップ２）で生成した前記復号ブロックの量子化パラメータを用いて、コモン復号及び再構成手順を完了させるステップ３）と、を含む画像復号方法がさらに提供される。

ステップ３）の実行後、完全再構成画素及び異なる程度での部分再構成画素を含む再構成画素であって、後続の復号及び再構成に必要な参照画素として用いられるよう再構成済み参照画素サンプルバッファーに投入される再構成画素を出力するステップをさらに含むことが好ましい。

前記コモン復号及び再構成手順は、フレーム内予測、フレーム間予測、ブロックマッチング、ストリングマッチング、マイクロブロックマッチング、マイクロブロックストリングマッチング、パレットマッチング、逆変換、逆量子化、予測残差及びマッチング残差に対応するオフセット、デブロッキングフィルタリング、及びサンプルアダプティブオフセットを少なくとも１つ含むことが好ましい。

Ｉ画像について、前記第１種の符号化モード及びパラメータセットが、フレーム内符号化モードを用いる符号化モード及びパラメータセットを含み、前記第２種の符号化モード及びパラメータセットが、フレーム内符号化モードを用いない符号化モード及びパラメータセットを含む一方、Ｉ以外の画像について、前記第１種の符号化モード及びパラメータセットが、フレーム内又はフレーム間符号化モードを用いる符号化モード及びパラメータセットを含み、前記第２種の符号化モード及びパラメータセットが、フレーム内符号化モードもフレーム間符号化モードも用いない符号化モード及びパラメータセットを含むことが好ましい。

Ｉ画像及びＩ以外の画像のそれぞれについて、前記第１種の符号化モード及びパラメータセットが、フレーム内符号化モードを用いる符号化モード及びパラメータセットを含み、前記第２種の符号化モード及びパラメータセットが、フレーム内符号化モードを用いない符号化モード及びパラメータセットを含むことが好ましい。

Ｉ画像及びＩ以外の画像のそれぞれについて、前記第１種の符号化モード及びパラメータセットが、非水平予測又は非垂直予測フレーム内符号化モードを用いる符号化モード及びパラメータセットを含み、前記第２種の符号化モード及びパラメータセットが、非水平予測又は非垂直予測フレーム内符号化モードを用いない符号化モード及びパラメータセットを含むことが好ましい。

前記復号ブロックの圧縮コードストリームに、隣り合って連続する２つ又は２つ以上の復号ブロックの圧縮コードストリームにおいて同時に１に等しいことが許可されないフラグビットを１つ設定し、前記フラグビットが１又は０に等しいことは、それぞれ、前記量子化パラメータ差の数値が現在の復号ブロックにおいて変更あること又は変更ないことを表すことが好ましい。

前記量子化パラメータ差は、少なくとも４つの復号ブロックを含む１つの符号化ツリーユニット範囲内において定数であり、或いは、前記量子化パラメータ差は、いくつかの符号化ツリーユニット範囲内において定数であり、或いは、前記量子化パラメータ差は、１つのスライスSlice範囲内において定数であり、或いは、前記量子化パラメータ差は、１つのタイルTile範囲内において定数であり、或いは、前記量子化パラメータ差は、１フレームの画像範囲内において定数であり、或いは、前記量子化パラメータ差は、１つのビデオシーケンス範囲内において定数であることが好ましい。

圧縮コードストリームのＣＴＵヘッダ情報において、前記量子化パラメータ差の数値が現在のＣＴＵにて一定に維持されることを表すフラグビットが１つあり、或いは、圧縮コードストリームにおいて、いくつかのＣＴＵおきに、前記量子化パラメータ差の数値が後続の複数のＣＴＵにて一定に維持されることを表すフラグビットが１つあり、或いは、圧縮コードストリームのSliceヘッダ情報において、前記量子化パラメータ差の数値が現在のSliceにて一定に維持されることを表すフラグビットが１つあり、或いは、圧縮コードストリームのTileヘッダ情報において、前記量子化パラメータ差の数値が現在のTileにて一定に維持されることを表すフラグビットが１つあり、或いは、圧縮コードストリームの１フレームの画像ヘッダ情報において、前記量子化パラメータ差の数値が現在の１フレームの画像にて一定に維持されることを表すフラグビットが１つあり、或いは、圧縮コードストリームのシーケンスヘッダ情報において、前記量子化パラメータ差の数値が現在のシーケンスにて一定に維持されることを表すフラグビットが１つあることが好ましい。

圧縮コードストリームにおける複数の復号ブロックが１つの定数である量子化パラメータ差を共有する圧縮コードストリームデータセグメントは、少なくとも、量子化パラメータ差と、１番目の復号ブロックの符号化モード及びパラメータセット、量子化パラメータ１、及び残差データと、２番目の復号ブロックの符号化モード及びパラメータセット、量子化パラメータ１、及び残差データと、…ｎ番目（ｎが正整数である）の復号ブロックの符号化モード及びパラメータセット、量子化パラメータ１、及び残差データと、量子化パラメータ差と、ｎ＋１番目の復号ブロックの符号化モード及びパラメータセット、量子化パラメータ１、及び残差データと、を負荷する構文要素が順次配列されて構成されることが好ましい。

圧縮コードストリームにおける複数のＣＴＵが１つの定数である量子化パラメータ差を共有する圧縮コードストリームデータセグメントは、量子化パラメータ差と、１番目のＣＴＵの符号化モード及びパラメータセット、量子化パラメータ１、及び残差データと、２番目のＣＴＵの符号化モード及びパラメータセット、量子化パラメータ１、及び残差データと、…ｎ番目（ｎが正整数である）のＣＴＵの符号化モード及びパラメータセット、量子化パラメータ１、及び残差データと、量子化パラメータ差と、ｎ＋１番目のＣＴＵの符号化モード及びパラメータセット、量子化パラメータ１、及び残差データと、を負荷する構文要素が順次配列されて構成されることが好ましい。

前記量子化パラメータ差は、画像のＹ、Ｕ、Ｖ又はＧ、Ｂ、Ｒの３つの要素に同時に用いられる１つの非負整数であることが好ましい。

前記量子化パラメータ差は、画像のＹ、Ｕ、Ｖ又はＧ、Ｂ、Ｒの３つの要素に同時に用いられる３つの非負整数であることが好ましい。

本発明の他の一実施例によれば、所定規則に従って、符号化ブロックの符号化方式パラメータ及びパラメータセットを、それぞれ複数種の符号化方式パラメータ及び前記複数種の符号化方式パラメータに対応するパラメータセットに分類するステップと、予め設定された目標符号化率に基づいて、前記複数種の符号化方式パラメータに含まれる量子化パラメータを決定するステップと、前記符号化ブロックに必要な復元品質に基づいて、前記符号化ブロックの量子化パラメータを決定するステップと、前記符号化ブロックの量子化パラメータに基づいて、前記複数種の符号化方式パラメータから使用される符号化方式パラメータを選択し、選定された符号化方式パラメータに対応するパラメータセットを設定して量子化パラメータ差を算出するステップと、前記符号化方式パラメータ、前記符号化ブロックに使用される前記パラメータセット、及び前記量子化パラメータ差をビデオコードストリームに書き込むステップと、を含む画像符号化方法がさらに提供される。

設定された目標符号化率に基づいて、前記複数種の符号化方式パラメータに含まれる量子化パラメータを決定するステップは、符号化中に使用されるべき複数のピクチャレベル及び／又はスライスレベルの量子化パラメータを決定することと、前記複数種の符号化方式パラメータに含まれる量子化パラメータについて、前記複数種の符号化方式パラメータのいずれも少なくとも１つのピクチャレベル及び／又はスライスレベルの量子化パラメータを含むような規則で決定することと、を含むことが好ましい。

複数のピクチャレベル及び／又はスライスレベルの量子化パラメータを決定した後、決定された前記複数のピクチャレベル及び／又はスライスレベルの量子化パラメータを、パラメータセットコードストリーム及び／又はスライスレベルヘッダ情報コードストリームに書き込むことをさらに含むことが好ましい。

前記ピクチャレベル及び／又はスライスレベルの量子化パラメータと、予め設定された参照量子化パラメータとの間の差を取得して前記ビデオコードストリームに書き込むステップをさらに含むことが好ましい。

前記パラメータセットは、前記複数種の符号化方式パラメータの選択指示情報、前記符号化ブロックの予測方式パラメータ、及び前記符号化ブロックの変換方式パラメータを少なくとも１つ含むことが好ましい。

前記量子化パラメータ差を算出するステップは、前記符号化ブロックの量子化パラメータと、前記パラメータセットの情報で指示される前記符号化方式パラメータに含まれる前記ピクチャレベル及び／又はスライスレベルの量子化パラメータとの差に基づいて、前記量子化パラメータ差を得る、或いは、前記符号化ブロックの量子化パラメータと、前記符号化ブロックにデフォルトで使用されるピクチャレベル及び／又はスライスレベルの量子化パラメータとの差に基づいて、前記量子化パラメータ差を得ることを含むことが好ましい。

本発明の他の一実施例によれば、ビデオコードストリームを復号して、複数種の復号方式パラメータを含む復号方式パラメータと、前記複数種の復号方式パラメータから選択されて復号ブロックの復号に用いられる１種類の復号方式パラメータの制御情報を含むパラメータセットと、量子化パラメータ差とを少なくとも１つ取得するステップと、前記パラメータセットの制御情報、及び／又は、予め設定された前記パラメータセットと前記複数種の復号方式パラメータとの間の対応関係に基づいて、前記複数種の復号方式パラメータから、前記復号ブロックの復号に用いられる復号方式パラメータを決定するステップと、前記決定された復号方式パラメータと前記量子化パラメータ差とに基づいて、前記復号ブロックの復号に用いられる量子化パラメータを決定するステップと、を含む画像復号方法がさらに提供される。

前記復号方式パラメータは、それぞれ復号中に使用されるべきピクチャレベル及び／又はスライスsliceレベルの量子化パラメータを含む前記複数種の復号方式パラメータを含むことが好ましい。

前記方法は、パラメータセット及び／又はスライスヘッダ情報コードストリームを復号して、複数の前記ピクチャレベル及び／又はスライスレベルの量子化パラメータを取得するステップをさらに含み、ここで、前記複数種の復号方式パラメータのそれぞれが、少なくとも１つのピクチャレベル及び／又はスライスレベルの量子化パラメータを含むことが好ましい。

前記方法は、前記復号ブロックに対応するブロックレベルコードストリームを復号して、前記パラメータセット及び前記量子化パラメータ差を得るステップと、前記パラメータセットに基づいて、前記複数種の復号方式パラメータから１種類の復号方式パラメータを選択して前記復号ブロックの復号を行うステップと、前記復号ブロックの量子化パラメータを、選択された復号方式パラメータに含まれるピクチャレベル及び／又はスライスレベルの量子化パラメータと前記量子化パラメータ差との和又は差に設定するステップと、をさらに含むことが好ましい。

前記パラメータセットは、前記複数種の復号方式パラメータの選択指示情報、前記復号ブロックの予測方式パラメータ、及び前記復号ブロックの変換方式パラメータを少なくとも１つ含むことが好ましい。

前記ピクチャレベル及び／又はスライスレベルの量子化パラメータを決定することは、前記ピクチャレベル及び／又はスライスレベルの量子化パラメータと予め設定された参照量子化パラメータとの間の差を取得し、前記ピクチャレベル及び／又はスライスレベルの量子化パラメータを前記差と前記参照量子化パラメータとの差又は和に設定することを含むが好ましい。

本発明の他の一実施例によれば、所定規則に従って、符号化ブロックの符号化方式パラメータ及びパラメータセットを、それぞれ複数種の符号化方式パラメータ及び複数種の符号化方式パラメータに対応するパラメータセットに分類するように構成される分類手段と、予め設定された目標符号化率に基づいて、前記複数種の符号化方式パラメータに含まれる量子化パラメータを決定するように構成される第１の決定手段と、前記符号化ブロックに必要な復元品質に基づいて、前記符号化ブロックの量子化パラメータを決定するように構成される第２の決定手段と、前記符号化ブロックの量子化パラメータに基づいて、前記複数種の符号化方式パラメータから使用される符号化方式パラメータを選択し、選定された符号化方式パラメータに対応するパラメータセットを設定するように構成される設定手段と、量子化パラメータ差を算出するように構成される算出手段と、前記符号化方式パラメータ、前記符号化ブロックに使用される前記パラメータセット、及び前記量子化パラメータ差をビデオコードストリームに書き込むように構成される書込手段と、を備える画像符号化装置がさらに提供される。

前記第１の決定手段は、符号化中に使用されるべき複数のピクチャレベル及び／又はスライスレベルの量子化パラメータを決定するように構成される第１の決定ユニットと、前記複数種の符号化方式パラメータに含まれる量子化パラメータについて、前記複数種の符号化方式パラメータのいずれも少なくとも１つのピクチャレベル及び／又はスライスレベルの量子化パラメータを含むような規則で決定するように構成される第２の決定ユニットと、を含むことが好ましい。

前記書込手段は、さらに、決定された前記複数のピクチャレベル及び／又はスライスレベルの量子化パラメータを、パラメータセットコードストリーム及び／又はスライスヘッダ情報コードストリームに書き込むように構成されることが好ましい。

前記ピクチャレベル及び／又はスライスレベルの量子化パラメータと、予め設定された参照量子化パラメータとの間の差を取得するように構成される取得手段をさらに備え、前記書込手段がさらに、前記差をコードストリームに書き込むように構成されることが好ましい。

前記分類手段により分類された前記パラメータセットは、前記複数種の符号化方式パラメータの選択指示情報、前記符号化ブロックの予測方式パラメータ、及び前記符号化ブロックの変換方式パラメータを少なくとも１つ含むことが好ましい。

前記算出手段は、前記符号化ブロックの量子化パラメータと、前記パラメータセットの情報で指示される前記符号化方式パラメータに含まれる前記ピクチャレベル及び／又はスライスレベルの量子化パラメータとの差に基づいて、前記量子化パラメータ差を得る、或いは、前記符号化ブロックの量子化パラメータと、前記符号化ブロックにデフォルトで使用されるピクチャレベル及び／又はスライスレベルの量子化パラメータとの差に基づいて、前記量子化パラメータ差を得るように構成されることが好ましい。

本発明の他の一実施例によれば、ビデオコードストリームを復号して、複数種の復号方式パラメータを含む復号方式パラメータと、前記複数種の復号方式パラメータから選択されて復号ブロックの復号に用いられる１種類の復号方式パラメータの制御情報を含むパラメータセットと、量子化パラメータ差とを少なくとも１つ取得するように構成される復号手段と、前記パラメータセットの制御情報、及び／又は、予め設定された前記パラメータセットと前記複数種の復号方式パラメータとの間の対応関係に基づいて、前記複数種の復号方式パラメータから、前記復号ブロックの復号に用いられる復号方式パラメータを決定し、そして、前記決定された復号方式パラメータと前記量子化パラメータ差とに基づいて、前記復号ブロックの復号に用いられる量子化パラメータを決定する決定手段と、を備える画像復号装置がさらに提供される。

前記復号手段により復号された前記復号方式パラメータは、それぞれ復号中に使用されるべきピクチャレベル及び／又はスライスレベルの量子化パラメータを含む前記複数種の復号方式パラメータを含むことが好ましい。

前記復号手段は、さらに、パラメータセットコードストリーム及び／又はスライスヘッダ情報コードストリームを復号して、複数の前記ピクチャレベル及び／又はスライスレベルの量子化パラメータを取得するように構成され、ここで、前記複数種の復号方式パラメータのそれぞれが、少なくとも１つのピクチャレベル及び／又はスライスレベルの量子化パラメータを含むことが好ましい。

前記復号手段は、さらに、前記復号ブロックに対応するブロックレベルコードストリームを解析して、前記パラメータセット及び前記量子化パラメータ差を得るように構成され、前記装置は、前記パラメータセットに基づいて、前記複数種の復号方式パラメータから１種類の復号方式パラメータを選択して、前記復号ブロックの復号を行うように構成される選択手段と、前記復号ブロックの量子化パラメータを、選択された復号方式パラメータに含まれるピクチャレベル及び／又はスライスレベルの量子化パラメータと前記量子化パラメータ差との和又は差に設定するように構成される設定手段と、をさらに備えることが好ましい。

前記復号手段により解析されて取得された前記パラメータセットは、前記複数種の復号方式パラメータの選択指示情報、前記復号ブロックの予測方式パラメータ、及び前記復号ブロックの変換方式パラメータを少なくとも１つ含むことが好ましい。

前記決定手段は、前記ピクチャレベル及び／又はスライスレベルの量子化パラメータと予め設定された参照量子化パラメータとの間の差を取得するように構成される取得ユニットと、前記ピクチャレベル及び／又はスライスレベルの量子化パラメータを、前記差と前記参照量子化パラメータとの差又は和に設定するように構成される設定ユニットと、を含むことが好ましい。

本発明の実施例によると、あらゆる符号化モード及びパラメータセットを、第１種の符号化モード及びパラメータセットと、第２種の符号化モード及びパラメータセットとに分類し、さらに、符号化ブロックの最適符号化を行う場合、符号化ブロックに必要な復元品質に基づいて、上記分類された２種類の符号化モード及びパラメータセットから適合した符号化方式を選択したうえで、画像の符号化を行うようにすることにより、関連技術において、連続階調コンテンツと非連続階調コンテンツとに対する異なる復元品質及び歪率での符号化を適応的に行える効果的な技術案がまだなされていない問題を解決し、さらに、現在の符号化ブロックに必要な目標ビットレートに基づいて、最適符号化方式を選択して現在の符号化ブロックの符号化を適応的に行うことが可能になる。

ここで説明した図面は、本発明をさらに理解させるためのものであり、本願の一部を構成し、また、本発明における模式的実施例及びその説明は本発明を説明するものであり、本発明を不当に限定するものではない。図面において、
本発明の実施例による画像符号化方法のフローチャートである。本発明の実施例による画像符号化装置の構造のブロック図である。本発明の実施例による画像符号化装置の構造の他のブロック図である。本発明の実施例による画像復号方法フローチャートである。本発明の実施例による画像復号装置の構造のブロック図である。本発明の実施例による画像復号装置の構造の他のブロック図である。本発明の好適な実施例による符号化方法を示すフローチャートである。本発明の好適な実施例による復号方法を示すフローチャートである。

以下、図面を参照しつつ実施例を結合して本発明を詳しく説明する。なお、衝突しない限り、本願の実施例及び実施例中の構成要件を組合わせることができる。

本発明の他の特徴及び利点を以下の詳細な説明において説明し、そして、その一部は、詳細な説明から自明になったり、本発明の実施により明らかとなる。本発明の目的や他の利点は、記載した明細書、特許請求の範囲、及び図面で特に説明した構造により実現され取得されることができる。

当業者に本発明の構成をよりよく理解してもらうように、以下、本発明の実施例の図面を結合して本発明の技術案を明瞭かつ完全に説明する。説明した実施例は本発明の実施例の一部に過ぎず、全部ではないことは、言うまでもないことである。当業者が本発明の実施例に基づいて、創造的な工夫無しに得られた他の実施例も、全て本発明の保護範囲内に含まれるべきである。

本実施例にて画像符号化方法が提供され、図１は、本発明の実施例による画像符号化方法のフローチャートであり、図１に示すように、そのフローは、以下のステップＳ１０２〜ステップＳ１１０を含む。

ステップＳ１０２：所定規則に従って、符号化ブロックの符号化方式パラメータ及びパラメータセットを、それぞれ複数種の符号化方式パラメータ及び上記複数種の符号化方式パラメータに対応するパラメータセットに分類する。

ステップＳ１０４：予め設定された目標符号化率に基づいて、上記複数種の符号化方式パラメータに含まれる量子化パラメータを決定する。

ステップＳ１０６：上記符号化ブロックに必要な復元品質に基づいて、上記符号化ブロックの量子化パラメータを決定する。

ステップＳ１０８：上記符号化ブロックの量子化パラメータに基づいて、上記複数種の符号化方式パラメータから使用される符号化方式パラメータを選択し、選定された符号化方式パラメータに対応するパラメータセットを設定して量子化パラメータ差を算出する。

ステップＳ１１０：上記符号化方式パラメータ、上記符号化ブロックに使用される上記パラメータセット、及び上記量子化パラメータ差をビデオコードストリームに書き込む。

上記各ステップを通じて、あらゆる符号化モード及びパラメータセットを、第１種の符号化モード及びパラメータセットと、第２種の符号化モード及びパラメータセットとに分類し、さらに、符号化ブロックの最適符号化を行う場合、符号化ブロックに必要な復元品質に基づいて、上記分類された２種類の符号化モード及びパラメータセットから適合した符号化方式を選択したうえで、画像の符号化を行うようにすることにより、関連技術において、連続階調コンテンツと非連続階調コンテンツとに対する異なる復元品質及び歪率での符号化を適応的に行える効果的な技術案がまだなされていない問題を解決し、さらに、現在の符号化ブロックに必要な目標ビットレートに基づいて、最適符号化方式を選択して現在の符号化ブロックの符号化を適応的に行うことが可能になる。

ステップＳ１０６を多くの方式で実現することができ、本発明の実施例において、符号化中に使用されるべき複数のピクチャレベル及び／又はスライスレベルの量子化パラメータを決定し、そして、上記複数種の符号化方式パラメータに含まれる量子化パラメータについて、上記複数種の符号化方式パラメータのいずれも少なくとも１つのピクチャレベル及び／又はスライスレベルの量子化パラメータを含むような規則で決定することにより実現することができる。

オプションとして、上記技術案を実行した後、つまり、複数のピクチャレベル及び／又はスライスレベルの量子化パラメータを決定した後、決定された上記複数のピクチャレベル及び／又はスライスレベルの量子化パラメータを、パラメータセットコードストリーム及び／又はスライスレベルヘッダ情報コードストリームに書き込む技術案をさらに実行してもよい。

上記方法は、上記ピクチャレベル及び／又はスライスレベルの量子化パラメータと、予め設定された参照量子化パラメータとの間の差を取得して上記ビデオコードストリームに書き込むステップをさらに含み、上記パラメータセットについて、上記複数種の符号化方式パラメータの選択指示情報、上記符号化ブロックの予測方式パラメータ、及び上記符号化ブロックの変換方式パラメータを少なくとも１つ含む。

上記ステップＳ１０８について、上記符号化ブロックの量子化パラメータと、上記パラメータセットの情報で指示される上記符号化方式パラメータに含まれる上記ピクチャレベル及び／又はスライスレベルの量子化パラメータとの差に基づいて、上記量子化パラメータ差を得る、或いは、上記符号化ブロックの量子化パラメータと、上記符号化ブロックにデフォルトで使用されるピクチャレベル及び／又はスライスレベルの量子化パラメータとの差に基づいて、上記量子化パラメータ差を得る、という２つの技術案により実現することができるが、これには限定されない。

本発明の実施例において、上記あらゆる符号化方式は、予測符号化モード、マッチング符号化モード、及び変換符号化モードを少なくとも１つ含み、上記パラメータセットは、上記予測符号化モードに対応するパラメータ、上記マッチング符号化モードに対応するパラメータ、及び上記変換符号化モードに対応するパラメータを含み、ステップ１）を実行した後、選定された最適符号化モード及びパラメータセット、量子化パラメータ１、量子化パラメータ２、及び予測残差又はマッチング残差を少なくとも１つ出力し、上記マイナス効果が、ブロッキングアーチファクト及びリンギングアーチファクトを少なくとも１つ含む。

なお、符号化モード及びパラメータセットを２種類に分類する場面が様々であり、以下、それぞれについて説明する。

（第１の場面）
Ｉ画像について、上記第１種の符号化モード及びパラメータセットが、フレーム内符号化モードを用いる符号化モード及びパラメータセットを含み、上記第２種の符号化モード及びパラメータセットが、フレーム内符号化モードを用いない符号化モード及びパラメータセットを含み、また、Ｉ以外の画像について、上記第１種の符号化モード及びパラメータセットが、フレーム内又はフレーム間符号化モードを用いる符号化モード及びパラメータセットを含み、上記第２種の符号化モード及びパラメータセットが、フレーム内符号化モードもフレーム間符号化モードも用いない符号化モード及びパラメータセットを含む。

（第２の場面）
Ｉ画像及びＩ以外の画像のそれぞれについて、上記第１種の符号化モード及びパラメータセットが、フレーム内符号化モードを用いる符号化モード及びパラメータセットを含み、上記第２種の符号化モード及びパラメータセットが、フレーム内符号化モードを用いない符号化モード及びパラメータセットを含む。

（第３の場面）
Ｉ画像及びＩ以外の画像のそれぞれについて、上記第１種の符号化モード及びパラメータセットが、非水平予測又は非垂直予測フレーム内符号化モードを用いる符号化モード及びパラメータセットを含み、上記第２種の符号化モード及びパラメータセットが、非水平予測又は非垂直予測フレーム内符号化モードを用いない符号化モード及びパラメータセットを含む。

本発明の実施例は、上記技術案に対して、隣り合って連続する２つ又は連続する２つ以上の符号化ブロックの圧縮コードストリームにおいて同時に１に等しいことが許可されないフラグビットを１つ設定し、上記フラグビットが１又は０に等しいことは、それぞれ、上記量子化パラメータ差の数値が現在の符号化ブロックにおいて変更あること又は変更ないことを表すようさらに改良する。

さらに、上記量子化パラメータ差は、少なくとも４つの符号化ブロックを含む１つの符号化ツリーユニット範囲内において定数であり、或いは、上記量子化パラメータ差は、いくつかの符号化ツリーユニット範囲内において定数であり、或いは、上記量子化パラメータ差は、１つのスライスSlice範囲内において定数であり、或いは、上記量子化パラメータ差は、１つのタイルTile範囲内において定数であり、或いは、上記量子化パラメータ差は、１フレームの画像範囲内において定数であり、或いは、上記量子化パラメータ差は、１つのビデオシーケンス範囲内において定数である。

オプションとして、圧縮コードストリームの符号化ツリーユニットＣＴＵヘッダ情報において、上記量子化パラメータ差の数値が現在のＣＴＵにて一定に維持されることを表すフラグビットが１つあり、或いは、圧縮コードストリームにおいて、いくつかのＣＴＵおきに、上記量子化パラメータ差の数値が後続の複数のＣＴＵにて一定に維持されることを表すフラグビットが１つあり、或いは、圧縮コードストリームのSliceヘッダ情報において、上記量子化パラメータ差の数値が現在のSliceにて一定に維持されることを表すフラグビットが１つあり、或いは、圧縮コードストリームのTileヘッダ情報において、上記量子化パラメータ差の数値が現在のTileにて一定に維持されることを表すフラグビットが１つあり、或いは、圧縮コードストリームの１フレームの画像ヘッダ情報において、上記量子化パラメータ差の数値が現在の１フレームの画像にて一定に維持されることを表すフラグビットが１つあり、或いは、シーケンスヘッダ情報において、上記量子化パラメータ差の数値が現在のシーケンスにて一定に維持されることを表すフラグビットが１つあるように構成してもよい。

ここで、圧縮コードストリームにおける複数の符号化ブロックが１つの定数である量子化パラメータ差を共有する圧縮コードストリームデータセグメントは、少なくとも、量子化パラメータ差と、ｎ番目の符号化ブロックの符号化モード及びパラメータセット、量子化パラメータ１、及び残差データと、を負荷する構文要素が順次配列されて構成され、但し、量子化パラメータ差は、順次配列される構文要素において間隔を置いて又は連続して出現するものであり、ｎが正整数である。

つまり、順次配列される構文要素は、量子化パラメータ差と、１番目の符号化ブロックの符号化モード及びパラメータセット、量子化パラメータ１、及び残差データと、２番目の符号化ブロックの符号化モード及びパラメータセット、量子化パラメータ１、及び残差データと、…ｎ番目の符号化ブロックの符号化モード及びパラメータセット、量子化パラメータ１、及び残差データと、量子化パラメータ差と、ｎ＋１番目の符号化ブロックの符号化モード及びパラメータセット、量子化パラメータ１、及び残差データとにより構成され、但し、ｎが正整数であり、本発明の実施例の一例において、量子化パラメータ差は、連続する複数の符号化ブロックで又は複数の符号化ブロックで間隔を置いて出現するものであってもよいが、本発明の実施例ではこれについて限定がなされない。

さらに、圧縮コードストリームにおける複数のＣＴＵが１つの定数である量子化パラメータ差を共有する圧縮コードストリームデータセグメントは、量子化パラメータ差と、ｎ番目のＣＴＵの符号化モード及びパラメータセット、量子化パラメータ１、及び残差データと、を負荷する構文要素が順次配列されて構成され、但し、量子化パラメータ差は、順次配列される構文要素において間隔を置いて又は連続して出現するものであり、ｎが正整数である。

つまり、順次配列される構文要素は、量子化パラメータ差と、１番目のＣＴＵの符号化モード及びパラメータセット、量子化パラメータ１、及び残差データと、２番目のＣＴＵの符号化モード及びパラメータセット、量子化パラメータ１、及び残差データと、…ｎ番目のＣＴＵの符号化モード及びパラメータセット、量子化パラメータ１、及び残差データと、量子化パラメータ差と、ｎ＋１番目のＣＴＵの符号化モード及びパラメータセット、量子化パラメータ１、及び残差データとにより構成され、但し、ｎが正整数であり、本発明の実施例の一例において、量子化パラメータ差は、連続する複数の符号化ブロックで又は複数のＣＴＵで間隔を置いて出現するものであってもよいが、本発明の実施例ではこれについて限定がなされない。

本発明の実施例において、上記量子化パラメータ差は、画像のＹ、Ｕ、Ｖ又はＧ、Ｂ、Ｒの３つの要素に用いられる１つの非負整数であり、また、上記量子化パラメータ差は、画像のＹ、Ｕ、Ｖ又はＧ、Ｂ、Ｒの３つの要素に用いられる３つの非負整数である。

上記画像符号化過程をまとめると、１フレームの画像における１つの符号化ブロックについて、最適符号化中、あらゆる符号化モード及びパラメータセットを、第１種の符号化モード及びパラメータセットと、第２種の符号化モード及びパラメータセットとの２種類に分類するとともに、１つの目標ビットレートと、２つの量子化パラメータである量子化パラメータ１及び量子化パラメータ２とを特定し、最適な１セットの符号化モード及びパラメータを検索し選択する場合、上記第１種の符号化モード及びパラメータセットを上記量子化パラメータ１と合わせて用い、上記第２種の符号化モード及びパラメータセットを上記量子化パラメータ２と合わせて用いるような規則に従って、最適符号化を行うステップ１）と、上記量子化パラメータ１と上記量子化パラメータ２との差を算出し、連続する２つの符号化ブロック又は連続する２つ以上の符号化ブロックにおいて定数になる量子化パラメータ差を得るステップ２）と、ロッシー符号化で発生するマイナス効果を除去し、完全再構成画素を生成するステップ３）と、上記量子化パラメータ差、選定された最適符号化モード及びパラメータセット、上記量子化パラメータ１、及び残差データをエントロピー符号化して、上記１フレームの画像における一部の符号化ブロックのビデオ圧縮コードストリームに書き込むステップ４）と、のようにすることができる。

本実施例において、上記実施例及び好適な実施形態を実現するための画像符号化装置がさらに提供され、説明したものについてその説明を省略するが、以下、該装置に係わる手段について説明する。以下で使用されるように、用語「手段」は、予め設定された機能のソフトウェア及び／又はハードウェアの組合せを実現することができる。以下の実施例で説明する装置をソフトウェアで実現することが好ましいが、ハードウェア、或いはソフトウェアとハードウェアとの組合せで実現することも可能であり、構想されることである。図２は、本発明の実施例による画像符号化装置の構造のブロック図である。図２に示すように、該装置は、
所定規則に従って、符号化ブロックの符号化方式パラメータ及びパラメータセットを、それぞれ複数種の符号化方式パラメータ及び複数種の符号化方式パラメータに対応するパラメータセットに分類するように構成される分類手段２０と、
分類手段２０に接続され、予め設定された目標符号化率に基づいて、上記複数種の符号化方式パラメータに含まれる量子化パラメータを決定するように構成される第１の決定手段２２と、
第１の決定手段２２に接続され、上記符号化ブロックに必要な復元品質に基づいて、上記符号化ブロックの量子化パラメータを決定するように構成される第２の決定手段２４と、
第２の決定手段２４に接続され、上記符号化ブロックの量子化パラメータに基づいて、上記複数種の符号化方式パラメータから使用される符号化方式パラメータを選択し、選定された符号化方式パラメータに対応するパラメータセットを設定するように構成される設定手段２６と、
設定手段２６に接続され、量子化パラメータ差を算出するように構成される算出手段２８と、
算出手段２８に接続され、上記符号化方式パラメータ、上記符号化ブロックに使用される上記パラメータセット、及び上記量子化パラメータ差をビデオコードストリームに書き込むように構成される書込手段３０と、を備える。

上記各手段による包括的な作用によって、あらゆる符号化モード及びパラメータセットを、第１種の符号化モード及びパラメータセットと、第２種の符号化モード及びパラメータセットとに分類し、さらに、符号化ブロックの最適符号化を行う場合、符号化ブロックに必要な復元品質に基づいて、上記分類された２種類の符号化モード及びパラメータセットから適合した符号化方式を選択したうえで、画像の符号化を行うようにすることにより、関連技術において、連続階調コンテンツと非連続階調コンテンツとに対する異なる復元品質及び歪率での符号化を適応的に行える効果的な技術案がまだなされていない問題を解決し、さらに、現在の符号化ブロックに必要な目標ビットレートに基づいて、最適符号化方式を選択して現在の符号化ブロックの符号化を適応的に行うことが可能になる。

オプションとして、第１の決定手段２２は、符号化中に使用されるべき複数のピクチャレベル及び／又はスライスレベルの量子化パラメータを決定するように構成される第１の決定ユニット２２０と、第１の決定ユニット２２０に接続され、上記複数種の符号化方式パラメータに含まれる量子化パラメータについて、上記複数種の符号化方式パラメータのいずれも少なくとも１つのピクチャレベル及び／又はスライスレベルの量子化パラメータを含むような規則で決定するように構成される第２の決定ユニット２２２と、を含んでもよい。

ここで、書込手段３０は、さらに、決定された上記複数のピクチャレベル及び／又はスライスレベルの量子化パラメータを、パラメータセットコードストリーム及び／又はスライスヘッダ情報コードストリームに書き込むように構成される。

本発明の実施例は、上記技術案に対して、図３に示すように、上記装置が、上記ピクチャレベル及び／又はスライスレベルの量子化パラメータと、予め設定された参照量子化パラメータとの間の差を取得するように構成される取得手段３２をさらに備え、書込手段３０がさらに、上記差をコードストリームに書き込むように構成されるようさらに改良する。

オプションとして、分類手段２０により分類された上記パラメータセットは、上記複数種の符号化方式パラメータの選択指示情報、上記符号化ブロックの予測方式パラメータ、及び上記符号化ブロックの変換方式パラメータを少なくとも１つ含んでもよい。

オプションとして、算出手段２８は、上記符号化ブロックの量子化パラメータと、上記パラメータセットの情報で指示される上記符号化方式パラメータに含まれる上記ピクチャレベル及び／又はスライスレベルの量子化パラメータとの差に基づいて、上記量子化パラメータ差を得る、或いは、上記符号化ブロックの量子化パラメータと、上記符号化ブロックにデフォルトで使用されるピクチャレベル及び／又はスライスレベルの量子化パラメータとの差に基づいて、上記量子化パラメータ差を得るように構成されてもよい。

本発明の実施例で提供される技術案を改善するために、本発明の実施例において、画像復号方法がさらに提供され、図４は、本発明の実施例による画像復号方法のフローチャートであり、図４に示すように、以下のステップＳ４０２〜ステップＳ４０６を含む。

ステップＳ４０２：ビデオコードストリームを復号して、複数種の復号方式パラメータを含む復号方式パラメータと、上記複数種の復号方式パラメータから選択されて復号ブロックの復号に用いられる１種類の復号方式パラメータの制御情報を含むパラメータセットと、量子化パラメータ差とを少なくとも１つ取得する。

ステップＳ４０４：上記パラメータセットの制御情報、及び／又は、予め設定された上記パラメータセットと上記複数種の復号方式パラメータとの間の対応関係に基づいて、上記複数種の復号方式パラメータから、上記復号ブロックの復号に用いられる復号方式パラメータを決定する。

ステップＳ４０６：上記決定された復号方式パラメータと上記量子化パラメータ差とに基づいて、上記復号ブロックの復号に用いられる量子化パラメータを決定する。

上記ステップを通じて、あらゆる符号化モード及びパラメータセットを、第１種の符号化モード及びパラメータセットと、第２種の符号化モード及びパラメータセットとに分類し、さらに、復号方式パラメータと上記量子化パラメータ差とに基づいて、符号化ブロックの復号に用いられる量子化パラメータを決定するようにすることにより、関連技術において、連続階調コンテンツと非連続階調コンテンツとの復号を適応的に行える効果的な技術案がまだなされていない問題を解決し、さらに、現在の符号化ブロックに必要な目標ビットレートに基づいて、最適符号化方式を選択して現在の符号化ブロックの符号化を適応的に行うことが可能になる。

上記復号方式パラメータは、それぞれ復号中に使用されるべきピクチャレベル及び／又はスライスsliceレベルの量子化パラメータを含む上記複数種の復号方式パラメータを含む。

オプションとして、上記方法は、パラメータセット及び／又はスライスヘッダ情報コードストリームを復号して、複数の上記ピクチャレベル及び／又はスライスレベルの量子化パラメータを取得するステップをさらに含み、ここで、上記複数種の復号方式パラメータのそれぞれが、少なくとも１つのピクチャレベル及び／又はスライスレベルの量子化パラメータを含み、また、上記方法は、上記復号ブロックに対応するブロックレベルコードストリームを復号して、上記パラメータセット及び上記量子化パラメータ差を得るステップと、上記パラメータセットに基づいて、上記複数種の復号方式パラメータから１種類の復号方式パラメータを選択して上記復号ブロックの復号を行うステップと、上記復号ブロックの量子化パラメータを、選択された復号方式パラメータに含まれるピクチャレベル及び／又はスライスレベルの量子化パラメータと上記量子化パラメータ差との和又は差に設定するステップと、をさらに含む。

なお、上記パラメータセットは、上記複数種の復号方式パラメータの選択指示情報、上記復号ブロックの予測方式パラメータ、及び上記復号ブロックの変換方式パラメータを少なくとも１つ含む。

本発明の実施例において、上記ピクチャレベル及び／又はスライスレベルの量子化パラメータと予め設定された参照量子化パラメータとの間の差を取得し、上記ピクチャレベル及び／又はスライスレベルの量子化パラメータを上記差と上記参照量子化パラメータとの差又は和に設定することにより、上記ピクチャレベル及び／又はスライスレベルの量子化パラメータを決定することができる。

上述したように、本発明の実施例で提供される画像復号方法をまとめると、圧縮コードストリームを解析しエントロピー復号して得られた、連続する２つ又は連続する２つ以上の復号ブロックの圧縮コードストリームにおいて定数になる量子化パラメータ差と、現在の復号ユニットの復号ブロックの量子化パラメータ１と、復号ブロックに使用される符号化モード及びパラメータセットと、復号ブロックの予測残差又はマッチング残差データとを出力するステップ１）と、上記復号ブロックの符号化モード及びパラメータセットが第１種の符号化モード及びパラメータセットであれば、上記復号ブロックの量子化パラメータを上記量子化パラメータ１に設定し、そうでなければ、上記復号ブロックの量子化パラメータを、上記量子化パラメータ１と上記量子化パラメータ差との差に等しい量子化パラメータ２に設定するステップ２）と、ステップ１）で生成した上記復号ブロックの符号化モード及びパラメータセット、上記復号ブロックの予測残差又はマッチング残差データ、及びステップ２）で生成した上記復号ブロックの量子化パラメータを用いて、コモン復号及び再構成手順を完了させるステップ３）と、のようにすることができ、ステップ３）の実行後、完全再構成画素及び異なる程度での部分再構成画素を含む再構成画素であって、後続の復号及び再構成に必要な参照画素として用いられるよう再構成済み参照画素サンプルバッファーに投入される再構成画素を出力するステップをさらに含む。

なお、本発明の実施例におけるコモン復号及び再構成手順は、フレーム内予測、フレーム間予測、ブロックマッチング、ストリングマッチング、マイクロブロックマッチング、マイクロブロックストリングマッチング、パレットマッチング、逆変換、逆量子化、予測残差及びマッチング残差に対応するオフセット、デブロッキングフィルタリング、及びサンプルアダプティブオフセットを少なくとも１つ含む。

本実施例において、上記実施例及び好適な実施形態を実現するための画像復号装置がさらに提供され、説明したものについてその説明を省略するが、以下、該装置に係わる手段について説明する。以下で使用されるように、用語「手段」は、予め設定された機能のソフトウェア及び／又はハードウェアの組合せを実現することができる。以下の実施例で説明する装置をソフトウェアで実現することが好ましいが、ハードウェア、或いはソフトウェアとハードウェアとの組合せで実現することも可能であり、構想されることである。図５は、本発明の実施例による画像復号装置の構造のブロック図である。図５に示すように、該装置は、
ビデオコードストリームを復号して、複数種の復号方式パラメータを含む復号方式パラメータと、上記複数種の復号方式パラメータから選択されて復号ブロックの復号に用いられる１種類の復号方式パラメータの制御情報を含むパラメータセットと、量子化パラメータ差とを少なくとも１つ取得するように構成される復号手段５０と、
復号手段５０に接続され、上記パラメータセットの制御情報、及び／又は、予め設定された上記パラメータセットと上記複数種の復号方式パラメータとの間の対応関係に基づいて、上記複数種の復号方式パラメータから、上記復号ブロックの復号に用いられる復号方式パラメータを決定し、そして、上記決定された復号方式パラメータと上記量子化パラメータ差とに基づいて、上記復号ブロックの復号に用いられる量子化パラメータを決定する決定手段５２と、を備える。

上記各手段による包括的な作用によって、あらゆる符号化モード及びパラメータセットを、第１種の符号化モード及びパラメータセットと、第２種の符号化モード及びパラメータセットとに分類し、さらに、復号方式パラメータと上記量子化パラメータ差とに基づいて、符号化ブロックの復号に用いられる量子化パラメータを決定するようにすることにより、関連技術において、連続階調コンテンツと非連続階調コンテンツとの復号を適応的に行える効果的な技術案がまだなされていない問題を解決し、さらに、現在の符号化ブロックに必要な目標ビットレートに基づいて、最適符号化方式を選択して現在の符号化ブロックの符号化を適応的に行うことが可能になる。

復号手段５０により復号された上記復号方式パラメータは、それぞれ復号中に使用されるべきピクチャレベル及び／又はスライスレベルの量子化パラメータを含む上記複数種の復号方式パラメータを含み、復号手段５０により解析されて取得された上記パラメータセットは、上記複数種の復号方式パラメータの選択指示情報、上記復号ブロックの予測方式パラメータ、及び上記復号ブロックの変換方式パラメータを少なくとも１つ含む。

さらに、復号手段５０は、さらに、パラメータセットコードストリーム及び／又はスライスヘッダ情報コードストリームを復号して、複数の上記ピクチャレベル及び／又はスライスレベルの量子化パラメータを取得するように構成され、ここで、上記複数種の復号方式パラメータのそれぞれが、少なくとも１つのピクチャレベル及び／又はスライスレベルの量子化パラメータを含む。

なお、もちろん、復号手段５０は、さらに、上記復号ブロックに対応するブロックレベルコードストリームを解析して、上記パラメータセットと上記量子化パラメータ差とを得るように構成され、図６に示すように、上記装置は、復号手段５０に接続され、上記パラメータセットに基づいて、上記複数種の復号方式パラメータから１種類の復号方式パラメータを選択して、上記復号ブロックの復号を行うように構成される選択手段５４と、選択手段５４に接続され、上記復号ブロックの量子化パラメータを、選択された復号方式パラメータに含まれるピクチャレベル及び／又はスライスレベルの量子化パラメータと上記量子化パラメータ差との和又は差に設定するように構成される設定手段５６と、をさらに備える。

本発明の実施例において、決定手段５２は、上記ピクチャレベル及び／又はスライスレベルの量子化パラメータと予め設定された参照量子化パラメータとの間の差を取得するように構成される取得ユニット５２０と、取得手段５２０に接続され、上記ピクチャレベル及び／又はスライスレベルの量子化パラメータを上記差と上記参照量子化パラメータとの差又は和に設定するように構成される設定ユニット５２２と、を含む。

上記端末機器による制御フローをよりよく理解するために、以下、図７〜８及び好適な実施例を結合しながら説明するが、本発明の実施例を限定することは意図しない。

本発明の好適な実施例で提供される符号化方式の主旨として、現在の符号化ユニットのそれぞれに対して最適符号化を行う場合、あらゆる符号化モード及びパラメータセット（予測符号化モード及びパラメータ、マッチング符号化モード及びパラメータ、変換符号化モード及びパラメータ、及び他の関連する符号化モード及びパラメータを含む）を、第１種の符号化モード及びパラメータセットと、第２種の符号化モード及びパラメータセットと呼ばれる２種類に分類するとともに、１つの目標ビットレートと、量子化パラメータ１及び量子化パラメータ２と呼ばれる２つの量子化パラメータとを特定する。最適な１セットの符号化モード及びパラメータを検索し選択する場合、上記第１種の符号化モード及びパラメータセットは、常に上記量子化パラメータ１に合わせて用いられる。また、上記第２種の符号化モード及びパラメータセットは、常に上記量子化パラメータ２に合わせて用いられる。上記量子化パラメータ１と上記量子化パラメータ２との差は、量子化パラメータ１‐２差と呼ばれ、１つの非負整数（或いは、Ｙ、Ｕ、Ｖ又はＲ、Ｇ、Ｂの３つの要素に対応する３つの非負整数）でありながら、隣り合って連続する２つ又は２つ以上の符号化ユニットにおいて同時に変化することが許可されず、ほぼ一定に維持されるものであり、つまり、上記量子化パラメータ１‐２差は、少なくとも２つの隣り合う符号化ユニット範囲内において定数になり、通常、１つの符号化ツリーユニット（ＣＴＵ）、或いは複数の符号化ツリーユニット、或いは１つのスライス（Slice）、或いは１つのタイル（Tile）、或いは１フレームの画像、さらには１つのビデオシーケンスの範囲内において定数になる。符号化中にビデオ圧縮コードストリームを生成する場合、まず、上記量子化パラメータ１‐２差をエントロピー符号化してビデオ圧縮コードストリームに書き込む。次に、複数の符号化ユニットで選定される最適符号化モード及びパラメータセットと、特定された量子化パラメータ１（＝量子化パラメータ２＋量子化パラメータ１‐２差）と、残差データとをエントロピー符号化してビデオ圧縮コードストリームに順に書き込む。上記量子化パラメータ１‐２差を符号化ユニットごとのビデオ圧縮コードストリームに書き込む必要がない。上記量子化パラメータ１‐２差に変更がある場合でなければ、新しい量子化パラメータ１‐２差をビデオ圧縮コードストリームに書き込む必要がない。また、ビットレートを低くするために、量子化パラメータ１に対して差分符号化を行い、つまり、現在の符号化ユニットの圧縮コードストリームに書き込まれたのは、量子化パラメータ１そのものではなく、現在の符号化ユニットの量子化パラメータ１とそれより前の符号化ユニットの量子化パラメータ１との差である。１つの符号化ユニットから次の符号化ユニットへの量子化パラメータ１は、僅かに変化し、多くの場合、変化しない。それゆえ、量子化パラメータ１の差を現在の符号化ユニットに書き込まないことが多い。

本発明の好適な実施例で提供される復号方法の主旨として、復号中、エントロピー復号により量子化パラメータ１‐２差を読み出す必要がある。現在の符号化ユニットの復号を行う場合、ビデオ圧縮コードストリームから、エントロピー復号により上記現在の符号化ユニットで選定された符号化モード及びパラメータセット、特定された量子化パラメータ１、残差データ等の情報を読み出す。読み出された符号化モード及びパラメータセットが第１種の符号化モード及びパラメータセットであれば、上記現在の符号化ユニットの量子化パラメータを量子化パラメータ１に設定し、そうでなければ、上記現在の符号化ユニットの量子化パラメータを量子化パラメータ２＝量子化パラメータ１−量子化パラメータ１‐２差に設定する。読み出された符号化モード及びパラメータセット、設定された量子化パラメータ、読み出された残差データ等の情報に基づいて、各復号ステップを通じて、異なる程度での部分復元画像（再構成画像ともいう）を算出する。そして、符号化マイナス効果（例えば、ブロッキングアーチファクト及びリンギングアーチファクト）を除去するポスト処理を行って、完全復元画像を最後に得る。

図７は、本発明の好適な実施例による符号化方法を示すフローチャートであり、図６に示すように、本発明の好適な実施例に係わる符号化方法は、以下のようなステップを含む。

１つの現在の符号化ユニット、即ちＣＵの最適符号化を行い、最適符号化中、あらゆる符号化モード及びパラメータセット（予測符号化モード及びパラメータ、マッチング符号化モード及びパラメータ、変換符号化モード及びパラメータ、及び他の関連する符号化モード及びパラメータを含む）を、第１種の符号化モード及びパラメータセットと、第２種の符号化モード及びパラメータセットと呼ばれる２種類に分類するとともに、１つの目標ビットレートと、量子化パラメータ１及び量子化パラメータ２と呼ばれる２つの量子化パラメータとを特定する。最適な１セットの符号化モード及びパラメータを検索し選択する場合、上記第１種の符号化モード及びパラメータセットは、常に上記量子化パラメータ１に合わせて用いられ、また、上記第２種の符号化モード及びパラメータセットは、常に上記量子化パラメータ２に合わせて用いられる。このステップにおいて、選定された最適符号化モード及びパラメータセットと、量子化パラメータ１と、量子化パラメータ２と、予測残差又はマッチング残差と、異なる程度での部分再構成画素とを出力する。

上記量子化パラメータ１と上記量子化パラメータ２との差として、量子化パラメータ１‐２差＝量子化パラメータ１−量子化パラメータ２を算出し、ここで、上記量子化パラメータ１‐２差は、隣り合って連続する２つ又は２つ以上の符号化ユニットにおいて同時に変化することが許可されず、ほぼ一定に維持されるものであり、少なくとも２つの隣り合うＣＵの範囲内において定数になる。

ロッシー符号化で発生するマイナス効果、例えばブロッキングアーチファクト及びリンギングアーチファクトを除去するポスト処理を行って、後続のＣＵの復号に必要な参照画素として用いられるように、ステップ１）における異なる程度での部分再構成画素とともに再構成済み参照画素サンプルバッファーに投入される完全再構成画素を生成する。

ＣＵごとの圧縮コードストリームにおいて同時に変化することが許可されない上記量子化パラメータ１‐２差と、上記最適符号化モード及びパラメータセットと、上記量子化パラメータ１と、上記残差データとをエントロピー符号化してビデオ圧縮コードストリームに書き込む。

図８は、本発明の好適な実施例による復号方法を示すフローチャートであり、図７に示すように、本発明の好適な実施例に係わる復号方法は、以下のようなステップを含む。

量子化パラメータ１‐２差及び他の符号化結果を含む圧縮コードストリームを解析しエントロピー復号し、１）解析及びエントロピー復号により得られた量子化パラメータ１‐２差であって、隣り合って連続する２つ又は２つ以上のＣＵの圧縮コードストリームにおいて同時に変化することが許可されない量子化パラメータ１‐２差と、２）解析及びエントロピー復号により得られた現在の復号ＣＵの量子化パラメータ１であって、ＣＵごとの圧縮コードストリームにおいてそれぞれ変化してもよいし、いずれのＣＵの圧縮コードストリームにおいても始終変化しなくてもよい量子化パラメータ１と、３）解析及びエントロピー復号により得られた現在の復号ＣＵの符号化モード及びパラメータセットと、４）解析及びエントロピー復号により得られた現在の復号ＣＵの予測残差又はマッチング残差データとを出力する。

上記現在の復号ＣＵの符号化モード及びパラメータセットが第１種の符号化モード及びパラメータセットであれば、上記現在の復号ＣＵの量子化パラメータが上記量子化パラメータ１に設定され、そうでなければ、上記現在の復号ＣＵの量子化パラメータが量子化パラメータ２＝上記量子化パラメータ１−上記量子化パラメータ１‐２差に設定される。

ステップ１）で生成した上記現在の復号ＣＵの符号化モード及びパラメータセット、上記現在の復号ＣＵの予測残差又はマッチング残差データ、及びステップ２）で生成した上記現在の復号ＣＵの量子化パラメータを用いて、残ったコモン復号及び再構成手順、例えば、フレーム内予測、フレーム間予測、ブロックマッチング、ストリングマッチング、マイクロブロックマッチング、マイクロブロックストリングマッチング、パレットマッチング、逆変換、逆量子化、予測残差及びマッチング残差に対応するオフセット（即ち、残差求め演算の逆演算）、デブロッキングフィルタリング、及びサンプルアダプティブオフセット（Sample Adaptive Offset）を完了させる。このステップでは、後続の復号及び再構成手順に必要な参照画素として用いられるよう再構成済み参照画素サンプルバッファーに投入される再構成画像（完全再構成画素及び異なる程度での部分再構成画素を含む）を出力する。そして、該復号方法では、上記完全再構成画素を最後に出力する。

（第１種の符号化モード及びパラメータセットと、第２種の符号化モード及びパラメータセットとの実施例１）
Ｉ画像について、上記第１種の符号化モード及びパラメータセットは、フレーム内符号化モードを用いる符号化モード及びパラメータセットの全部であり、上記第２種の符号化モード及びパラメータセットは、フレーム内符号化モードを用いない符号化モード及びパラメータセットの全部である。また、Ｉ以外の画像について、上記第１種の符号化モード及びパラメータセットは、フレーム内又はフレーム間符号化モードを用いる符号化モード及びパラメータセットの全部であり、上記第２種の符号化モード及びパラメータセットは、フレーム内符号化モードもフレーム間符号化モードも用いない符号化モード及びパラメータセットの全部である。

フレーム内符号化モードを用いない符号化モード及びパラメータセットは、様々なフレーム内マッチング符号化モードを用いる符号化モード及びパラメータセットを含むが、これには限定されない。

フレーム内符号化モードを用いない符号化モード及びパラメータセットは、様々なフレーム内ブロックマッチング符号化モードを用いる符号化モード及びパラメータセットを含むが、これには限定されない。

フレーム内符号化モードを用いない符号化モード及びパラメータセットは、様々なフレーム内ストリングマッチング符号化モードを用いる符号化モード及びパラメータセットを含むが、これには限定されない。

フレーム内符号化モードもフレーム間符号化モードも用いない符号化モード及びパラメータセットは、様々なフレーム内マッチング符号化モードを用いる符号化モード及びパラメータセットを含むが、これには限定されない。

フレーム内符号化モードもフレーム間符号化モードも用いない符号化モード及びパラメータセットは、様々なフレーム内ブロックマッチング符号化モードを用いる符号化モード及びパラメータセットを含むが、これには限定されない。

フレーム内符号化モードもフレーム間符号化モードも用いない符号化モード及びパラメータセットは、様々なフレーム内ストリングマッチング符号化モードを用いる符号化モード及びパラメータセットを含むが、これには限定されない。

（第１種の符号化モード及びパラメータセットと、第２種の符号化モード及びパラメータセットとの実施例２）
Ｉ画像及びＩ以外の画像について、上記第１種の符号化モード及びパラメータセットは、フレーム内符号化モードを用いる符号化モード及びパラメータセットの全部であり、上記第２種の符号化モード及びパラメータセットは、フレーム内符号化モードを用いない符号化モード及びパラメータセットの全部である。

フレーム内符号化モードを用いない符号化モード及びパラメータセットは、様々なフレーム内マッチング符号化モードを用いる符号化モード及びパラメータセットと、様々なフレーム間符号化モードを用いる符号化モード及びパラメータセットとを含むが、これには限定されない。

フレーム内符号化モードを用いない符号化モード及びパラメータセットは、様々なフレーム内ブロックマッチング符号化モードを用いる符号化モード及びパラメータセットと、様々なフレーム間符号化モードを用いる符号化モード及びパラメータセットとを含むが、これには限定されない。

フレーム内符号化モードを用いない符号化モード及びパラメータセットは、様々なフレーム内ストリングマッチング符号化モードを用いる符号化モード及びパラメータセットと、様々なフレーム間符号化モードを用いる符号化モード及びパラメータセットとを含むが、これには限定されない。

（第１種の符号化モード及びパラメータセットと、第２種の符号化モード及びパラメータセットとの実施例３）
Ｉ画像及びＩ以外の画像について、上記第１種の符号化モード及びパラメータセットは、非水平予測又は非垂直予測フレーム内符号化モードを用いる符号化モード及びパラメータセットの全部であり、上記第２種の符号化モード及びパラメータセットは、非水平予測又は非垂直予測フレーム内符号化モードを用いない符号化モード及びパラメータセットの全部である。

非水平予測又は非垂直予測フレーム内符号化モードを用いない符号化モード及びパラメータセットは、水平予測フレーム内符号化モードを用いる符号化モード及びパラメータセットと、垂直予測フレーム内符号化モードを用いる符号化モード及びパラメータセットと、様々なフレーム内マッチング符号化モードを用いる符号化モード及びパラメータセットと、様々なフレーム間符号化モードを用いる符号化モード及びパラメータセットとを含むが、これには限定されない。

（量子化パラメータがほぼ一定に維持される実施例１）
上記ＣＵごとの圧縮コードストリームのそれぞれにおいて１つのフラグビットがあり、上記フラグビットが１又は０に等しいことは、それぞれ、上記量子化パラメータ差の数値が現在のＣＵにおいて変更あること又は変更ないことを表し、但し、上記フラグビットは、隣り合って連続する２つ又は２つ以上のＣＵの圧縮コードストリームにおいて同時に１に等しいことは許可されない。

（量子化パラメータがほぼ一定に維持される実施例２）
上記量子化パラメータ差は、少なくとも４つのＣＵを含む１つの符号化ツリーユニット範囲内において定数になる。

（量子化パラメータがほぼ一定に維持される実施例３）
上記量子化パラメータ差は、いくつかの符号化ツリーユニット範囲内において定数になる。

（量子化パラメータがほぼ一定に維持される実施例４）
上記量子化パラメータ差は、１つのスライス（Slice）範囲内において定数になる。

（量子化パラメータがほぼ一定に維持される実施例５）
上記量子化パラメータ差は、１つのタイル（Tile）範囲内において定数になる。

（量子化パラメータがほぼ一定に維持される実施例６）
上記量子化パラメータ差は、１フレームの画像範囲内において定数になる。

（量子化パラメータがほぼ一定に維持される実施例７）
上記量子化パラメータ差は、１つのビデオシーケンス範囲内において定数になる。

（量子化パラメータがほぼ一定に維持される実施例８）
上記量子化パラメータ差及び他の符号化結果を含む圧縮コードストリームのＣＴＵヘッダ情報において、上記量子化パラメータ差の数値が現在のＣＴＵにて一定に維持されることを表すフラグビットが１つある。

（量子化パラメータがほぼ一定に維持される実施例９）
上記量子化パラメータ差及び他の符号化結果を含む圧縮コードストリームにおいて、いくつかのＣＴＵおきに、上記量子化パラメータ差の数値が後続の複数のＣＴＵにて一定に維持されることを表すフラグビットが１つある。

（量子化パラメータがほぼ一定に維持される実施例１０）
上記量子化パラメータ差及び他の符号化結果を含む圧縮コードストリームのSliceヘッダ情報において、上記量子化パラメータ差の数値が現在のSliceにて一定に維持されることを表すフラグビットが１つある。

（量子化パラメータがほぼ一定に維持される実施例１１）
上記量子化パラメータ差及び他の符号化結果を含む圧縮コードストリームのTileヘッダ情報において、上記量子化パラメータ差の数値が現在のTileにて一定に維持されることを表すフラグビットが１つある。

（量子化パラメータがほぼ一定に維持される実施例１２）
上記量子化パラメータ差及び他の符号化結果を含む圧縮コードストリームの１フレームの画像ヘッダ情報において、上記量子化パラメータ差の数値が現在の１フレームの画像にて一定に維持されることを表すフラグビットが１つある。

（量子化パラメータがほぼ一定に維持される実施例１３）
上記量子化パラメータ差及び他の符号化結果を含む圧縮コードストリームのシーケンスヘッダ情報において、上記量子化パラメータ差の数値が現在のシーケンスにて一定に維持されることを表すフラグビットが１つある。

（量子化パラメータ差及び他の符号化結果を含む圧縮コードストリームデータセグメントの実施例１）
上記量子化パラメータ差及び他の符号化結果を含む圧縮コードストリームにおける複数（ｎ個）のＣＵが１つの定数である量子化パラメータ差を共有する圧縮コードストリームデータセグメントは、
量子化パラメータ差と、ＣＵ＃１の符号化モード及びパラメータセット＋量子化パラメータ１＋残差データと、ＣＵ＃２の符号化モード及びパラメータセット＋量子化パラメータ１＋残差データと、…ＣＵ＃ｎの符号化モード及びパラメータセット＋量子化パラメータ１＋残差データと、量子化パラメータ差と、ＣＵ＃（ｎ＋１）の符号化モード及びパラメータセット＋量子化パラメータ１＋残差データと、を負荷する構文要素が順次配列されて構成される。

（量子化パラメータ差及び他の符号化結果を含む圧縮コードストリームデータセグメントの実施例２）
上記量子化パラメータ差及び他の符号化結果を含む圧縮コードストリームにおける複数（ｎ個）のＣＴＵが１つの定数である量子化パラメータ差を共有する圧縮コードストリームデータセグメントは、
量子化パラメータ差と、ＣＴＵ＃１の符号化モード及びパラメータセット＋量子化パラメータ１＋残差データと、ＣＴＵ＃２の符号化モード及びパラメータセット＋量子化パラメータ１＋残差データと、…ＣＴＵ＃ｎの符号化モード及びパラメータセット＋量子化パラメータ１＋残差データと、量子化パラメータ差と、ＣＴＵ＃（ｎ＋１）の符号化モード及びパラメータセット＋量子化パラメータ１＋残差データと、…とを負荷する構文要素が順次配列されて構成される。

（量子化パラメータ差の実施例１）
上記量子化パラメータ差は、画像のＹ、Ｕ、Ｖ又はＧ、Ｂ、Ｒの３つの要素に同時に用いられる１つの非負整数である。

（量子化パラメータ差の実施例２）
上記量子化パラメータ差は、画像のＹ、Ｕ、Ｖ又はＧ、Ｂ、Ｒの３つの要素にそれぞれ用いられる３つの非負整数である。

上述したように、本発明の実施例によると、関連技術において、連続階調コンテンツと非連続階調コンテンツとの復号を適応的に行える効果的な技術案がまだなされていない問題を解決し、さらに、現在の符号化ブロックに必要な目標ビットレートに基づいて、最適符号化方式を選択して現在の符号化ブロックの符号化を適応的に行うことが可能になる、との技術的効果を達成している。

以上の実施形態の説明から、上記実施例による方法を、ソフトウェアと必要な汎用ハードウェアプラットフォームとの組合せを介して実現することができ、もちろん、ハードウェアで実現してもよいが、多くの場合、前者を好適な実施形態として用いることは、当業者にとって明らかとなる。このように理解されると、本発明の実施例の技術案は、実質上、言い換えれば従来技術に貢献する部分は、ソフトウェア製品の形で表現されることができ、該コンピュータソフトウェア製品は、記憶媒体（例えば、リードオンリーメモリ（ＲＯＭ、Read Only Memory）、ランダムアクセスメモリ（ＲＡＭ、Random Access Memory）、磁気ディスク、光ディスク）に格納され、端末機器（携帯電話、コンピュータ、サーバ、又はネットワークデバイス等であってもよい）に本発明の各実施例に記載の方法を実行させるコマンドをいくつか含む。

他の一実施例において、上記実施例及び好適な実施形態に記載の技術案を実行するためのソフトウェアがさらに提供される。

他の一実施例において、上記ソフトウェアが格納される記憶媒体がさらに提供され、該記憶媒体は、光ディスク、ソフトディスク、ハードディスク、消去可能メモリ等を含むが、これには限定されない。

なお、本発明の明細書及び特許請求の範囲並びに上記図面における「第１」、「第２」等の用語は、類似した対象を区別するためのものであり、特定の順番又は前後順序を説明するためのものではない。ここで説明した本発明の実施例をここで図示した又は説明した順番以外の順番で実施可能なものにするために、このように使用された対象は適した場合であれば互いに取り替え可能なことは、理解されるべきである。また、用語である「含む」、「有する」及びそれらの如何なる変形は、排他的にならずに含まれたものをカバーすることがその意図であり、例えば、一連のステップ又はユニットを含むプロセス、方法、システム、製品又は機器は、明確に示したステップ又はユニットに限定される必要がなく、明確に示していなかったり、これらのプロセス、方法、製品又は機器に固有であったりの他のステップ又はユニットを含むことができる。

当業者にとって、上述の本発明の各手段又は各ステップは汎用の計算装置によって実現することができ、単独の計算装置に集成させることができれば、複数の計算装置から構成されるネットワークに分布させることもでき、さらに計算装置で実行可能なプログラムコードによって実現することもできるので、それらを記憶装置に格納して計算装置によって実行することができ、そして場合によって、示した又は説明したステップを上述と異なる手順で実行することができ、また、それぞれ集積回路手段に製作したり、これらのうち複数の手段又はステップを単独の集積回路手段に製作したりして実現することができることは、明らかなことである。このように、本発明は、如何なる特定のハードウェアとソフトウェアの結合に限定されない。

以上は、本発明の好適な実施例に過ぎず、本発明を限定することは意図していない。当業者であれば、本発明に様々な変更や変形が可能である。本発明の思想や原則内の如何なる修正、均等の置き換え、改良なども、本発明の保護範囲内に含まれるべきである。

本発明の実施例で提供される上記技術案は、画像符号化又は復号過程に適用されることができ、あらゆる符号化モード及びパラメータセットを、第１種の符号化モード及びパラメータセットと、第２種の符号化モード及びパラメータセットとに分類し、さらに、符号化ブロックの最適符号化を行う場合、符号化ブロックに必要な復元品質に基づいて、上記分類された２種類の符号化モード及びパラメータセットから適合した符号化方式を選択したうえで、画像の符号化を行うようにすることにより、関連技術において、連続階調コンテンツと非連続階調コンテンツとに対する異なる復元品質及び歪率での符号化を適応的に行える効果的な技術案がまだなされていない問題を解決し、さらに、現在の符号化ブロックに必要な目標ビットレートに基づいて、最適符号化方式を選択して現在の符号化ブロックの符号化を適応的に行うことが可能になる。

Claims

所定規則に従って、符号化ブロックの符号化方式パラメータ及びパラメータセットを、それぞれ複数種の符号化方式パラメータ及び前記複数種の符号化方式パラメータに対応するパラメータセットに分類するステップと、
予め設定された目標符号化率に基づいて、前記複数種の符号化方式パラメータに含まれる量子化パラメータを決定するステップと、
前記符号化ブロックに必要な復元品質に基づいて、前記符号化ブロックの量子化パラメータを決定するステップと、
前記符号化ブロックの量子化パラメータに基づいて、前記複数種の符号化方式パラメータから使用される符号化方式パラメータを選択し、選定された符号化方式パラメータに対応するパラメータセットを設定して量子化パラメータ差を算出するステップと、
前記符号化方式パラメータ、前記符号化ブロックに使用される前記パラメータセット、及び前記量子化パラメータ差をビデオコードストリームに書き込むステップと、
を含む画像符号化方法。
設定された目標符号化率に基づいて、前記複数種の符号化方式パラメータに含まれる量子化パラメータを決定するステップは、
符号化中に使用されるべき複数のピクチャレベル及び／又はスライスレベルの量子化パラメータを決定することと、
前記複数種の符号化方式パラメータに含まれる量子化パラメータについて、前記複数種の符号化方式パラメータのいずれも少なくとも１つのピクチャレベル及び／又はスライスレベルの量子化パラメータを含むような規則で決定することと、を含む
請求項１に記載の符号化方法。
複数のピクチャレベル及び／又はスライスレベルの量子化パラメータを決定した後、
決定された前記複数のピクチャレベル及び／又はスライスレベルの量子化パラメータを、パラメータセットコードストリーム及び／又はスライスレベルヘッダ情報コードストリームに書き込むことをさらに含む
請求項２に記載の符号化方法。
前記ピクチャレベル及び／又はスライスレベルの量子化パラメータと、予め設定された参照量子化パラメータとの間の差を取得して前記ビデオコードストリームに書き込むステップをさらに含む
請求項１に記載の符号化方法。
前記パラメータセットは、
前記複数種の符号化方式パラメータの選択指示情報、前記符号化ブロックの予測方式パラメータ、及び前記符号化ブロックの変換方式パラメータを少なくとも１つ含む
請求項１に記載の符号化方法。
前記量子化パラメータ差を算出するステップは、
前記符号化ブロックの量子化パラメータと、前記パラメータセットの情報で指示される前記符号化方式パラメータに含まれる前記ピクチャレベル及び／又はスライスレベルの量子化パラメータとの差に基づいて、前記量子化パラメータ差を得る、或いは、
前記符号化ブロックの量子化パラメータと、前記符号化ブロックにデフォルトで使用されるピクチャレベル及び／又はスライスレベルの量子化パラメータとの差に基づいて、前記量子化パラメータ差を得ることを含む
請求項１に記載の符号化方法。
ビデオコードストリームを復号して、複数種の復号方式パラメータを含む復号方式パラメータと、前記複数種の復号方式パラメータから復号ブロックの復号に用いられる１種類の復号方式パラメータを選択するための制御情報を含むパラメータセットと、量子化パラメータ差とを少なくとも１つ取得するステップと、
前記パラメータセットの制御情報、及び／又は、予め設定された前記パラメータセットと前記複数種の復号方式パラメータとの間の対応関係に基づいて、前記複数種の復号方式パラメータから、前記復号ブロックの復号に用いられる復号方式パラメータを決定するステップと、
前記決定された復号方式パラメータと前記量子化パラメータ差とに基づいて、前記復号ブロックの復号に用いられる量子化パラメータを決定するステップと、
を含む画像復号方法。
前記復号方式パラメータは、それぞれ復号中に使用されるべきピクチャレベル及び／又はスライスレベルの量子化パラメータを含む前記複数種の復号方式パラメータを含む
請求項７に記載の復号方法。
パラメータセット及び／又はスライスヘッダ情報コードストリームを復号して、複数の前記ピクチャレベル及び／又はスライスレベルの量子化パラメータを取得するステップをさらに含み、ここで、前記複数種の復号方式パラメータのそれぞれが、少なくとも１つのピクチャレベル及び／又はスライスレベルの量子化パラメータを含む
請求項８に記載の復号方法。
前記復号ブロックに対応するブロックレベルコードストリームを復号して、前記パラメータセット及び前記量子化パラメータ差を得るステップと、
前記パラメータセットに基づいて、前記複数種の復号方式パラメータから１種類の復号方式パラメータを選択して前記復号ブロックの復号を行うステップと、
前記復号ブロックの量子化パラメータを、選択された復号方式パラメータに含まれるピクチャレベル及び／又はスライスレベルの量子化パラメータと前記量子化パラメータ差との和又は差に設定するステップと、をさらに含む
請求項７に記載の復号方法。
前記パラメータセットは、
前記複数種の復号方式パラメータの選択指示情報、前記復号ブロックの予測方式パラメータ、及び前記復号ブロックの変換方式パラメータを少なくとも１つ含む
請求項１０に記載の復号方法。
前記ピクチャレベル及び／又はスライスレベルの量子化パラメータを決定することは、
前記ピクチャレベル及び／又はスライスレベルの量子化パラメータと予め設定された参照量子化パラメータとの間の差を取得し、前記ピクチャレベル及び／又はスライスレベルの量子化パラメータを、前記差と前記参照量子化パラメータとの差又は和に設定することを含む
請求項１１に記載の復号方法。
所定規則に従って、符号化ブロックの符号化方式パラメータ及びパラメータセットを、それぞれ複数種の符号化方式パラメータ及び複数種の符号化方式パラメータに対応するパラメータセットに分類するように構成される分類手段と、
予め設定された目標符号化率に基づいて、前記複数種の符号化方式パラメータに含まれる量子化パラメータを決定するように構成される第１の決定手段と、
前記符号化ブロックに必要な復元品質に基づいて、前記符号化ブロックの量子化パラメータを決定するように構成される第２の決定手段と、
前記符号化ブロックの量子化パラメータに基づいて、前記複数種の符号化方式パラメータから使用される符号化方式パラメータを選択し、選定された符号化方式パラメータに対応するパラメータセットを設定するように構成される設定手段と、
量子化パラメータ差を算出するように構成される算出手段と、
前記符号化方式パラメータ、前記符号化ブロックに使用される前記パラメータセット、及び前記量子化パラメータ差をビデオコードストリームに書き込むように構成される書込手段と、
を備える画像符号化装置。
前記第１の決定手段は、
符号化中に使用されるべき複数のピクチャレベル及び／又はスライスレベルの量子化パラメータを決定するように構成される第１の決定ユニットと、
前記複数種の符号化方式パラメータに含まれる量子化パラメータについて、前記複数種の符号化方式パラメータのいずれも少なくとも１つのピクチャレベル及び／又はスライスレベルの量子化パラメータを含むような規則で決定するように構成される第２の決定ユニットと、を含む
請求項１３に記載の符号化装置。
前記書込手段は、さらに、決定された前記複数のピクチャレベル及び／又はスライスレベルの量子化パラメータを、パラメータセットコードストリーム及び／又はスライスヘッダ情報コードストリームに書き込むように構成される
請求項１４に記載の符号化装置。
前記ピクチャレベル及び／又はスライスレベルの量子化パラメータと、予め設定された参照量子化パラメータとの間の差を取得するように構成される取得手段をさらに備え、
前記書込手段がさらに、前記差をコードストリームに書き込むように構成される
請求項１３に記載の符号化装置。
前記分類手段により分類された前記パラメータセットは、前記複数種の符号化方式パラメータの選択指示情報、前記符号化ブロックの予測方式パラメータ、及び前記符号化ブロックの変換方式パラメータを少なくとも１つ含む
請求項１３に記載の符号化装置。
前記算出手段は、前記符号化ブロックの量子化パラメータと、前記パラメータセットの情報で指示される前記符号化方式パラメータに含まれる前記ピクチャレベル及び／又はスライスレベルの量子化パラメータとの差に基づいて、前記量子化パラメータ差を得る、或いは、前記符号化ブロックの量子化パラメータと、前記符号化ブロックにデフォルトで使用されるピクチャレベル及び／又はスライスレベルの量子化パラメータとの差に基づいて、前記量子化パラメータ差を得るように構成される
請求項１３に記載の符号化装置。
ビデオコードストリームを復号して、複数種の復号方式パラメータを含む復号方式パラメータと、前記複数種の復号方式パラメータから選択されて復号ブロックの復号に用いられる１種類の復号方式パラメータの制御情報を含むパラメータセットと、量子化パラメータ差とを少なくとも１つ取得するように構成される復号手段と、
前記パラメータセットの制御情報、及び／又は、予め設定された前記パラメータセットと前記複数種の復号方式パラメータとの間の対応関係に基づいて、前記複数種の復号方式パラメータから、前記復号ブロックの復号に用いられる復号方式パラメータを決定し、そして、前記決定された復号方式パラメータと前記量子化パラメータ差とに基づいて、前記復号ブロックの復号に用いられる量子化パラメータを決定する決定手段と、
を備える画像復号装置。
前記復号手段により復号された前記復号方式パラメータは、それぞれ復号中に使用されるべきピクチャレベル及び／又はスライスレベルの量子化パラメータを含む前記複数種の復号方式パラメータを含む
請求項１９に記載の復号装置。
前記復号手段は、さらに、パラメータセットコードストリーム及び／又はスライスヘッダ情報コードストリームを復号して、複数の前記ピクチャレベル及び／又はスライスレベルの量子化パラメータを取得するように構成され、ここで、前記複数種の復号方式パラメータのそれぞれが、少なくとも１つのピクチャレベル及び／又はスライスレベルの量子化パラメータを含む
請求項２０に記載の復号装置。
前記復号手段は、さらに、前記復号ブロックに対応するブロックレベルコードストリームを解析して、前記パラメータセット及び前記量子化パラメータ差を得るように構成され、
前記装置は、
前記パラメータセットに基づいて、前記複数種の復号方式パラメータから１種類の復号方式パラメータを選択して、前記復号ブロックの復号を行うように構成される選択手段と、
前記復号ブロックの量子化パラメータを、選択された復号方式パラメータに含まれるピクチャレベル及び／又はスライスレベルの量子化パラメータと前記量子化パラメータ差との和又は差に設定するように構成される設定手段と、をさらに備える
請求項１９に記載の復号装置。
前記復号手段により解析されて取得された前記パラメータセットは、前記複数種の復号方式パラメータの選択指示情報、前記復号ブロックの予測方式パラメータ、及び前記復号ブロックの変換方式パラメータを少なくとも１つ含む
請求項１９に記載の復号装置。
前記決定手段は、
前記ピクチャレベル及び／又はスライスレベルの量子化パラメータと予め設定された参照量子化パラメータとの間の差を取得するように構成される取得ユニットと、
前記ピクチャレベル及び／又はスライスレベルの量子化パラメータを、前記差と前記参照量子化パラメータとの差又は和に設定するように構成される設定ユニットと、を含む
請求項１９に記載の復号装置。