JP6157614B2 - エンコーダ、デコーダ、方法、及びプログラム - Google Patents

Description

本発明は、画像を符号化または復号するための方法およびデバイスに関する。限定ではないが特に、本発明は、より具体的には、開発中の高効率映像符号化（ＨＥＶＣ）標準規格による画像の画像部分の符号化に関する。

映像アプリケーションは、より高い解像度に向かって進み続けている。大量の映像材料が、デジタル形式で、ブロードキャストチャネル、デジタルネットワーク、およびパッケージ化された媒体にわたって、より高い品質と解像度（たとえば、１フレームあたりのより多数のピクセル、より高いフレームレート、より大きなビット深度、または拡張された色域）に向けた絶え間ない進化を伴い、配信される。このテクノロジーの進化は、ＨＤＴＶ解像度と高いデータレートとを経済的にエンドユーザにもたらすという困難にすでに直面している配信ネットワークに、更に大きな圧力を与える。したがって、さらなるデータレートの増加は、ネットワークに更なる圧力を与えることになる。

この難題に対処するために、ＩＴＵ−ＴおよびＩＳＯ／ＭＰＥＧは、２０１０年１月、高効率映像符号化（ＨＥＶＣ）と称する新たな映像符号化標準規格プロジェクトの立ち上げを決定した。

ＨＥＶＣコーデックの設計は、Ｈ．２６３、Ｈ．２６４、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、やＳＶＣといった、従前のいわゆるブロックベースのハイブリッド変換コーデックの設計と同様である。標準化団体ＩＴＵ、ＩＳＯ、およびＳＭＰＴＥによって標準化されたアルゴリズムのような映像圧縮アルゴリズムは、映像シーケンスと比較して小さいサイズのデータビットストリームを生成するために、画像の空間的および時間的な冗長性を使用する。そのような圧縮技法は、映像シーケンスの送信および／または記憶を、より有効なものにする。

符号化または復号される元の映像シーケンスは一般的に、図１に示す連続したデジタル画像を備える。

図１は、ＨＥＶＣにおいて使用される符号化構造を示す。ＨＥＶＣおよびその前身の１つによると、元の映像シーケンス１０１は、連続したデジタル画像「画像ｉ」である。それ自体が公知であるように、デジタル画像は、その係数がピクセルを表現する１つ以上の行列によって表現される。

画像１０２は、スライス１０３に分割される。スライスは、画像の一部または画像全体である。ＨＥＶＣにおいて、これらのスライスは、一般的に６４ピクセル×６４ピクセルのサイズのブロックである非重複最大符号化単位（ＬＣＵ）に分割される。非重複最大符号化単位（ＬＣＵ）は符号化ツリーブロック（ＣＴＢ）１０４とも呼ばれる。各ＣＴＢも同じく、四分木分解を使用して、より小さな可変サイズの符号化単位（ＣＵ）１０５へと反復的に分割される。符号化単位は、基本の符号化要素であり、ＣＵのサイズと等しい最大サイズの予測単位（ＰＵ）および変換単位（ＴＵ）である２つの副次的単位で構成される。予測単位は、ピクセル値の予測のためのＣＵの区画に対応する。各ＣＵはさらに、最大４つの区画単位に区画化され得る（１０６）。変換単位は、変換（たとえば、ＤＣＴとして知られる直接コサイン変換が使用可能）によって空間的に変換される基本単位を表現するために使用される。ＣＵは、四分木表現に基づいてＴＵに区画化することが可能である（１０７）。

各スライスは、１つのネットワーク抽象化層（ＮＡＬ）単位に埋め込まれる。加えて、映像シーケンスの符号化パラメータが、パラメータセットと呼ばれる専用ＮＡＬ単位に記憶される。ＨＥＶＣでは、２種類のパラメータセットのＮＡＬ単位が用いられる。一つ目は、全映像シーケンス中で変化しないすべてのパラメータを集めたシーケンスパラメータセット（ＳＰＳ）のＮＡＬ単位であり、二つ目は、１つのフレームから別のフレームで変化し得る異なる値を符号化するピクチャパラメータセット（ＰＰＳ）である。ＨＥＶＣはまた、１つのスライスから別のスライスで変化し得るパラメータを包含する適応パラメータセット（ＡＰＳ）を含む。

各画像は、色コンポーネントまたは色チャネルとも呼ばれる１つ以上の画像コンポーネントで構成され得る。色コンポーネントは、サンプル値の二次元アレイのセットであり、その各項目は、輝度、明度の大きさおよびニュートラルグレースケールカラーから青または赤への色差（ＹＵＶ）、または、赤、緑、または青の光コンポーネント強度の大きさ（ＲＧＢ）といった、色コンポーネントの強度を表現する。ＹＵＶモデルは一般的に、１つの輝度（Ｙ）コンポーネントと２つのクロミナンス（ＵＶ）コンポーネントとの観点で色空間を定義する。一般的に、Ｙは、輝度コンポーネント（明度）を表し、ＵおよびＶは、クロミナンス（色）コンポーネントまたは色差コンポーネントである。たとえば、４：２：０のＹＵＶ画像は、１つの輝度コンポーネントに加えて、輝度コンポーネントの空間分解能の四分の一（二分の一の幅と二分の一の高さ）を有する２つの色差コンポーネントで構成される。

符号化および復号デバイスは、図２および図３にそれぞれ示す符号化／復号ステップを実行できるいくつかの手段を備える。

図２は、その前身（Ｈ．２６４／ＡＶＣ）の１つのスーパーセットとみなされ得る従来のＨＥＶＣ映像エンコーダ２０の図を示す。

元の映像シーケンス１０１の各フレームがまず、モジュール２０１によって符号化単位（ＣＵ）の格子に分割される。このモジュールは、スライスの画定をも制御する。

ＬＣＵのＣＵへの細区分およびＣＵのＴＵおよびＰＵへの区画化は、レート歪み基準に従って決定される。処理されているＣＵの各ＰＵは、「イントラ」予測子２１７によって空間的に、または「インター」予測子２１８によって時間的に、予測される。各予測子は、差分ブロック（または「残差」）が導出される、同一の画像または別の画像に由来するピクセルのブロックである。予測子ブロックの識別と残差の符号化のおかげで、実際に符号化される情報の量を減じることが可能である。

符号化されるフレームには、時間予測されたフレーム（１つの参照フレームから予測され、Ｐフレームと呼ばれるか、または２つの参照フレームから予測され、Ｂフレームと呼ばれるか、のいずれかである）と時間予測されたものでないフレーム（イントラフレームまたはＩフレームと呼ばれる）の２つのタイプがある。Ｉフレームでは、イントラ予測のみがＣＵ／ＰＵを符号化するために考慮される。ＰフレームおよびＢフレームでは、イントラ予測とインター予測がＣＵ／ＰＵを符号化するために考慮される。

「イントラ」予測処理モジュール２１７において、現在のブロック、現在の画像のすでに符号化された情報から構成されるピクセルのブロックであるが、「イントラ」予測子によって予測される符号化。モジュール２０２が、隣接するＰＵピクセルからピクセルを予測するために使用される予測モードを決定する。ＨＥＶＣでは、最大３５方向まで考慮される。残差ブロックが、イントラ予測されたブロックとピクセルの現在のブロックとの差分を算出することによって得られる。したがって、イントラ予測されたブロックは、残差とともに予測モードによって構成される。イントラ予測モードが、モジュール２０３において符号化される。

「インター」符号化のために使用される第２の処理モジュール２１８に関し、２つの予測タイプが可能である。単予測（Ｐタイプ）は、１つの参照ピクチャからの１つの参照ブロックを参照することによってブロックを予測することからなる。双予測（Ｂタイプ）は、１つまたは２つの参照ピクチャからの２つの参照ブロックを参照することによってブロックを予測することからなる。現在のＰＵと参照画像２１５との間の動きの推定が、モジュール２０４によって行われる。その目的の１つは、これらの参照画像２１５の１つまたはいくつかにおいて、この現在のブロックの予測子として使用するためのピクセルの１つ（Ｐタイプ）またはいくつか（Ｂタイプ）のブロックを識別することである。

参照ブロックは、現在のフレームにおけるＰＵをその参照ブロック（または予測ブロック）と関係づける動きベクトルにより参照フレームにおいて識別される。インター予測処理の次のステージは、モジュール２０５によって実現される。それは、予測ブロックと現在のブロックとの間の差分を算出することからなる。差分のこのブロックは、インター予測されたブロックの残差である。インター予測処理の終わりに、現在のＰＵは、１つの動きベクトルと残差とからなる。

最後に、現在のＰＵの動きベクトルが、モジュール２０６によって符号化される。これらの２つのタイプの符号化（インターまたはイントラ）はかくして、いくつかのテクスチャ残差（現在のブロックと予測子ブロックとの間の差分）を供給し、いくつかのテクスチャ残差は、最良の符号化モードを選択するためにモジュール２１６において比較される。

そして、インターまたはイントラ予測処理の最後に得られた残差が、変換モジュール２０７によって変換される。変換が、一つのＣＵに含まれる変換単位（ＴＵ）に適用される。一つのＴＵはさらに、モジュール２０６によって実現されるいわゆる残差四分木（ＲＱＴ）分解を使用して、より小さなＴＵに区分され得る。ＨＥＶＣでは、一般的に２つまたは３つのレベルの分解が使用され、許可される変換サイズは、３２×３２、１６×１６、８×８、および４×４からである。変換の基底は、離散コサイン変換ＤＣＴから導出される。

そして、残差変換された係数が、量子化モジュール２０８によって量子化される。次に量子化変換された残差の係数が、エントロピー符号化モジュール２０９により符号化され、続いて、圧縮されたビットストリーム２１０に挿入される。符号化シンタックス要素もまた、モジュール２０９を利用して符号化される。この処理モジュールは、符号化効率を増大させるために、シンタックス要素間の空間依存性を使用する。

「イントラ」予測子を計算し、「インター」予測子についての動きの推定を行うために、エンコーダは、いわゆる「復号」ループのモジュール（２１１、２１２、２１３、２１４、２１５）によって、すでに符号化されたブロックの復号を実行する。この復号ループは、量子化された変換された残差からブロックおよび画像を再構成することを可能にする。

かくして量子化された変換された残差は、モジュール２０８によって提供されたものに逆量子化を適用することによって、逆量子化モジュール２１１により逆量子化される。逆変換モジュール２１２が、モジュール２０７によって実現された変換について逆変換を適用することによりブロックを再構成することができる。

残差が「イントラ」符号化モジュール２１７からもたらされた場合、損失を有する変換、ここでは量子化演算、の結果として生じた損失によって変更された元のブロックに対応する再構成されたブロックを回復するために、使用された「イントラ」予測子がこの残差に加算される。

一方、残差が、「インター」符号化モジュール２１８からもたらされた場合、現在の動きベクトルによって指示されたブロック（これらのブロックは、現在の画像インデックスによって参照された参照画像２１５に属する）が、マージされ、次にこの復号された残差に加算される。このように、元のブロックは、量子化演算の結果として生じた損失によって変更される。

最終ループフィルタ２１９が、得られた残差の過重な量子化によって生じた影響を減じ、信号品質を改善するために、再構成された信号に適用される。現在のＨＥＶＣ標準規格では、３つのタイプのループフィルタ、デブロッキングフィルタ２１３、サンプル適応オフセット（ＳＡＯ）２２０、および適応ループフィルタ（ＡＬＦ）２１４が使用される。

再構成された画像とも呼ばれるフィルタリングされた画像は、次に、現在の映像シーケンスの次の画像の圧縮中に行われる後続の「インター」予測を可能にするために、参照画像２１５として記憶される。

対応するデコーダ３０を図３に示す。より正確には、図３は、ＨＥＶＣタイプの映像デコーダ３０のブロック図を示す。デコーダ３０は、図２におけるもののようなＨＥＶＣタイプのエンコーダによって圧縮された映像シーケンス１０１に対応するビットストリーム２１０を入力として受信する。

復号処理中、ビットストリーム２１０はまず、エントロピー復号モジュール３０１を利用して構文解析される。この処理モジュール３０１は、符号化されたデータを復号するために、以前にエントロピー復号された要素を使用する。それは特に、デコーダ３０を初期化するために映像シーケンスのパラメータセットを復号し、また、各映像フレームのＬＣＵを復号する。そして、スライスに対応する各ＮＡＬ単位が復号される。

ＬＣＵの区画が構文解析され、ＣＵ、ＰＵ、およびＴＵの細区分が識別される。デコーダ３０は、イントラ３０７およびインター３０６処理モジュールと、逆量子化および逆変換モジュールと、最終ループフィルタ２１９（エンコーダ２０におけるループフィルタと同一の構造を有する）とを使用して、各ＣＵを逐次的に処理する。

現在のブロックのための「インター」または「イントラ」予測モードが、構文解析処理モジュール３０１を利用してビットストリーム２１０から構文解析される。予測モードに応じて、イントラ予測処理モジュール３０７またはインター予測処理モジュール３０６のいずれかが用いられる。現在のブロックの予測モードが「イントラ」タイプである場合、予測モードが、ビットストリームから抽出され、イントラ予測処理モジュール３０７のステージ３０４の最中に、隣接するものの予測モードを利用して復号される。そして、イントラ予測されたブロックが、復号された予測モードと現在のＰＵの境界におけるすでに復号されたピクセルとを用いてモジュール３０３により算出される。現在のブロックに関連づけられた残差が、ビットストリーム３０１から回復され、続いてエントロピー復号される。

現在のブロックの予測モードが、このブロックは「インター」タイプのものであることを示す場合、動き情報が、ビットストリーム２１０から抽出され、モジュール３０４によって復号される。この動き情報は、デコーダ３０の参照画像２１５に包含される「インター」予測子ブロックを決定するために、逆動き補償モジュール３０５において使用される。エンコーダと同様に、これらの参照画像２１５は、現在復号されている画像に先行し、ビットストリームから再構成された（したがって、以前に復号された）、画像で構成される。

ビットストリームにおいて送信された残差ブロックを復号するために、構文解析モジュール３０１はまた、ビットストリーム２１０から残差係数を抽出することができる。モジュール２１１および２１２はそれぞれ、残差ブロックを得るために、逆量子化および逆変換を実行することができる。この残差ブロックは、イントラまたはインター処理モジュール３０６および３０７の出力で得られた、予測されたブロックに加算される。

現在の画像の全ブロックの復号の最後に、参照画像２１５を得るために、ループフィルタ２１９が、ブロックの影響を取り除き、信号品質を改善するために使用される。エンコーダで行われたように、この処理モジュールは、デブロッキングフィルタ２１３、続いてＳＡＯ２２０フィルタ、そして最後にＡＬＦ２１４（図３におけるループフィルタ２１９内には示さず）を用いる。

かくしてデコーダ３０により復号された画像は、デコーダの出力映像信号３０８を構成し、それが続いて表示され、使用され得る。

より具体的には、本発明の一実施形態は、ＨＥＶＣ標準規格において指定された、「変換スキップ」と称する、特定の符号化モードに関する。ＨＥＶＣでは、変換ステップ（図２におけるモジュール２０７によって実現される）および逆変換ステップ（図３におけるモジュール２１２によって実現される）をスキップすることを可能にするオプションが存在する。変換スキップモードは、文書ＪＣＴＶＣ−Ｈ０３６１およびＪＣＴＶＣ−Ｉ０４０８において、ＨＥＶＣ標準化グループに提案された。それは、２０１２年５月にＨＭ７（ＪＣＴＶＣ−Ｉ１００３）において採用された。

このモードでは、変換処理をスキップし、変換処理は、変換が適用された場合と同様の信号範囲を保つためにスケーリング処理によって置き換えられる。スキップは、ある特定の色コンポーネントブロック、たとえば輝度または色差コンポーネントイントラブロックのために可能にされ得る。

より正確には、その現在の設計（「ＨＭ７」と称する）では、イントラ予測の結果として生じ、４^＊４のサイズを有する、輝度または色差ブロックのみが、変換スキップモードのサポートを可能にされる。しかしながら、変換スキップモードは、この設計に限定されない。

そのようなブロックのためにこのモードを有効にするために、まず、ＳＰＳに立てられるハイレベルフラグが、シーケンスの画像のために変換スキップモードを有効または無効にするために使用される。加えて、別のフラグが、４×４のブロックの予測残差信号復号のシンタックスに挿入されて、変換スキップモードがブロックに適用されているか否かをシグナリングする。所与の４×４のブロックのためにこのモードを有効にするために、２つのフラグが真に設定されなくてはならない。

図４ａは、デコーダがノーマルモード（第１のモードとも呼ぶ）にある場合、すなわち、変換スキップモード（第２のモードとも呼ぶ）が所与のブロックに適用されていない場合の動作４０１を説明するために、ＨＥＶＣデコーダの一部をより詳細に示す。エントロピー復号モジュール３０１からもたらされた復号された係数が、逆量子化モジュール２１１によって、続いて逆変換モジュール２１２によって、処理される。結果として生じた信号は、予測残差サンプルに対応し、イントラ予測モジュール３０３からもたらされたイントラ予測信号に加算される。結果として生じた信号３０８は、ループフィルタ２１９によって続いて処理された、再構成されたサンプルに対応する。

比較のために、図４ｂは、変換スキップが、考慮される４^＊４のブロックのために有効にされている場合の動作４０２を説明するために、ＨＥＶＣデコーダの一部を示す。係数がエントロピーデコーダ３０１によって復号される。ブロックがノーマルモードを使用しているかまたは変換スキップモードを使用しているかをシグナリングする「ｔｓ＿ｆｌａｇ」と呼ばれるフラグが、復号モジュール４０３によって復号される。モジュール４０４によってチェックされた、このフラグの値に依存して、ノーマルモードまたは変換スキップモードが適用される。ノーマルモードでは、復号された係数が、逆量子化モジュール２１１によって、そして逆変換モジュール２１２によって、処理される。変換スキップモードでは、復号された係数が、逆量子化モジュール２１１によって、そして逆スケーリングモジュール４０５によって、処理される。続いて、結果として生じた信号は、予測残差サンプルに対応し、イントラ予測モジュール３０３からもたらされたイントラ予測信号に加算される。結果として生じた信号３０８は、ループフィルタ２１９によって続いて処理された、再構成されたサンプルに対応する。

図５は、ノーマルモードのみの、すなわち、変換スキップモードが無効にされている場合のＨＥＶＣエンコーダにおける動作５０１を示す。ノーマルモードでは、元の画像１０１からの信号と、イントラ予測モジュール２１７およびイントラ／インター選択モジュール２１６によって与えられた信号との間の差分の結果として生じたイントラ予測残差が、変換モジュール２０７によって変換され、量子化モジュール２０８によって量子化され、結果として生じた量子化された係数が、出力ビットストリーム２１０を与えることができるエントロピー符号化モジュール２０９に送られる。それらはまた、逆量子化モジュール２１１によって逆量子化され、逆変換モジュール２１２によって逆変換されて、復号された残差信号を再構成し、復号された残差信号は、イントラ予測信号に加算されて、再構成された信号を生成する。この再構成された信号は続いて、ループフィルタリング２１９によって処理される。インター予測のために、再構成されたピクチャは続いて、記憶され２１５、動き予測（２１８）のために使用される。

図６は、ノーマルモードと変換スキップモードの両方が元の画像１０１の４×４の輝度または色差ブロックのためにチェックされる場合のＨＥＶＣエンコーダにおける動作６０１を示す。ノーマルモードの処理（上述した変換、量子化、逆量子化、逆変換）に加えて、変換スキップモードの処理が次のモジュールを使用することによって行われる。元の画像１０１からの信号と、イントラ予測モジュール２１７およびイントラ／インター選択モジュール２１６によって与えられた信号との間の差分の結果として生じたイントラ予測残差が、スケーリングモジュール６０２によってスケーリングされ、量子化モジュール２０８によって量子化され、結果として生じた量子化された係数が、エントロピー符号化モジュール２０９に送られる。それらはまた、逆量子化モジュール２１１によって逆量子化され、逆スケーリングモジュール６０３によって逆スケーリングされて、残差信号を再構成し、残差信号は、イントラ予測信号に加算されて、再構成された信号を生成する。判定モジュール６０４によって行われる判定は、ノーマルモードと変換スキップモードとのどちらかを選ぶために、典型的には、両方のモードのレート歪みコストを比較し、最も低いレート歪みコストを有するものを選ぶレート歪み基準に基づいて、適用される。ノーマルモードが適用されているかまたは変換スキップモードが適用されているかを示すｔｓ＿ｆｌａｇと呼ばれるフラグが、符号化モジュール６０５によって出力ビットストリーム２１０の中に符号化される。この再構成された信号は続いて、ループフィルタリング２１９によって処理される。インター予測のために、再構成されたピクチャは続いて、記憶され２１５、動き予測２１８のために使用される。

発明者達は、統計的に、色差ブロックが、それらの対応する輝度ブロックの状態、または色差ブロックの予測モードのような他の特性、に関連した特定の構成において、変換スキップモードを使用することに注目した。これらの観察を受けて、変換スキップモードに関する符号化および復号処理をより効率的にすることが可能である。

提案されるソリューションは、規範的なものと非規範的なものとの２つの態様を有する。

第一に、規範的なソリューションは、符号化および復号処理の仕様を含む。現在のＨＥＶＣの仕様（ＨＭ７．０）によると、ブロックがＴスキップされているか（すなわち、変換スキップモードを適用しているか）否かをシグナリングするためのフラグが、各ブロック（輝度および色差）のために挿入される。しかしながら、本発明者達は、特定の構成において、このフラグは、推論することができ、符号化される必要がないことを認識した。かくして、すべてのケースでフラグを符号化することは、不要なビットがこのフラグを符号化するために費やされるので、符号化効率の欠如という結果を生じる。

第二に、非規範的なソリューションは、符号化処理の仕様を含む。符号化処理は、ノーマルモードまたは変換スキップモードによって符号化された各ブロックの処理を含む。典型的には、エンコーダは、まずノーマルモードによる符号化を実行し、対応するレート歪みコストを測定する。続いてそれは、変換スキップによる符号化を実行し、対応するレート歪みコストを測定する。保持されるモードは、レート歪みコストを最小化するものである。しかしながら、本発明者達は、特定の構成において、この処理は要求されず、ノーマルモードが何のチェックもなしに暗黙的に選ばれ得ることを認識した。かくして、現在のＨＥＶＣの仕様は、不要な複雑性という結果を生じる。

本発明は、上述した問題の１つ以上に対処するために考案された。

本発明のある態様のエンコーダは、第１の信号コンポーネントと、前記第１の信号コンポーネントに対応する第２の信号コンポーネントと、を少なくとも有する映像信号を符号化する符号化手段を有し、前記映像信号に基づく画像は、複数のブロックに分割され、前記ブロックは、１つ以上の所定の単位に分割して符号化可能であり、前記第２の信号コンポーネントにおける前記所定の単位の符号化には、前記所定の単位を係数に変換する変換処理を行う第１のモード、又は、前記変換処理を行わない第２のモードを用いることが可能であり、前記符号化手段は、前記第１の信号コンポーネントにおけるブロックに関する所定の条件が満たされる場合、その第１の信号コンポーネントにおけるブロックに対応する、前記第２の信号コンポーネントにおける所定の単位の符号化に前記第２のモードを使用することを除外し、前記所定の条件が満たされない場合、その第１の信号コンポーネントにおけるブロックに対応する、前記第２の信号コンポーネントにおける所定の単位の符号化に前記第２のモードを用いることを除外せず、前記所定の条件は、前記第２の信号コンポーネントにおける前記所定の単位に対応する前記第１の信号コンポーネントにおけるブロックが、複数の所定の単位を有するブロックであり、かつ、その複数の所定の単位がいずれも前記第２のモードを用いて符号化されないことである。
本発明のある態様のデコーダは、第１の信号コンポーネントと、前記第１の信号コンポーネントに対応する第２の信号コンポーネントと、を少なくとも有する映像データを復号する復号手段を有し、前記映像データに基づく画像は、複数のブロックに分割され、前記ブロックは、１つ以上の所定の単位に分割して復号可能であり、前記第２の信号コンポーネントにおける前記所定の単位の復号には、前記映像データに含まれる係数を前記所定の単位で変換する逆変換処理を行う第１のモード、または、前記逆変換処理を行わない第２のモードを用いることが可能であり、前記復号手段は、前記第１の信号コンポーネントにおける前記ブロックに関する所定の条件が満たされる場合、その第１の信号コンポーネントにおけるブロックに対応する、前記第２の信号コンポーネントにおける前記所定の単位の復号に前記第２のモードを使用することを除外し、前記所定の条件が満たされない場合、その第１の信号コンポーネントにおけるブロックに対応する、前記第２の信号コンポーネントにおける所定の単位の復号に前記第２のモードを用いることを除外せず、前記所定の条件は、前記第２の信号コンポーネントにおける前記所定の単位に対応する前記第１の信号コンポーネントにおけるブロックが、複数の所定の単位を有するブロックであり、かつ、その複数の所定の単位がいずれも前記第２のモードを用いて復号されないことである。
また、本発明の第１の態様によると、第１の色に対応する第１の信号コンポーネントと、第１の信号コンポーネントに関連づけられ、第２の色に対応する第２の信号コンポーネントと、を少なくとも有する映像信号を符号化する方法が提供され、各々の上記信号コンポーネントは、ブロックに分割され、各々の上記ブロックは、１つ以上の符号化可能な単位を有し、上記第２の信号コンポーネントの少なくとも１つの符号化可能な単位の符号化は、第１および第２のモード間で切り替え可能であり、前記方法は、
上記第２の信号コンポーネントの少なくとも１つの上記符号化可能な単位について、
・第２の信号コンポーネントの当該の符号化可能な単位に対応する上記第１の信号コンポーネントの符号化されたブロックまたは符号化可能な単位に関連する、少なくとも１つの所定の条件が、満たされる場合、および／または、
・第２の信号コンポーネントの当該の符号化可能な単位の、または第２の信号コンポーネントの当該の符号化可能な単位が属するブロックの、予測モードに関連する、少なくとも１つの所定の条件が、満たされる場合、
第２の信号コンポーネントの当該の符号化可能な単位の符号化のための上記第２のモードの使用を除外する。

このように、本発明の第１の態様は、符号化処理のスピードアップを可能にする。任意に、符号化可能な単位を符号化するためにエンコーダがどのモードを使用したかをシグナリングするために使用されるフラグが、第２のモードの使用が除外された場合、不要にすることができ、帯域幅を節約するという結果を生じる。

より正確には、このソリューションは、色差ブロックに関連する不要なチェックが符号化処理において回避されるので、符号化効率にほとんど何の影響もなく符号化処理をスピードアップさせる。

さらに、いくつかの色差ブロックのための変換スキップモードの使用をシグナリングする不要なフラグの符号化を回避することにより、符号化効率向上が出来、必要な帯域幅が減る。

符号化される映像信号は好ましくは、元の映像と予測信号、たとえば、イントラまたはインター予測信号との間の差分を形成することによって得られた映像残差である。

当然ながら、本発明の第１の態様は、３つ以上の色をそれぞれが表現する３つ以上の信号コンポーネントに適用され得る。たとえば、第１の信号コンポーネントは、輝度コンポーネントを表現することが出来、第２および第３の信号コンポーネントは、２つの色差コンポーネントを表現することが出来る。

たとえば、符号化可能な単位は、変換単位であり得る。

好ましい実施形態において、第１のモードでの符号化は、符号化可能な単位を係数に変換するための変換ステップを含んでも良く、第２のモードでの符号化は、変換ステップを除外する。

一実施形態によると、上記または１つの上記所定の条件は、第２の信号コンポーネントの当該の符号化可能な単位に対応する第１の信号コンポーネントのブロックが、符号化可能な単位を１つだけ備えることである。

別の実施形態によると、上記または１つの上記所定の条件は、第２の信号コンポーネントの当該の符号化可能な単位に対応する第１の信号コンポーネントのブロックが、少なくとも２つの符号化可能な単位を有する細区分されたブロックであること、および、第２のモードが、細区分された第１の信号コンポーネントのブロックの所定数より少ない符号化可能な単位を符号化するために使用されることである。

別の実施形態によると、上記または１つの上記所定の条件は、第２の信号コンポーネントの当該の符号化可能な単位に対応する第１の信号コンポーネントのブロックが、少なくとも２つの符号化可能な単位を有する細区分されたブロックであること、および、第２のモードが、細区分された第１の信号コンポーネントのブロックの符号化可能な単位のいずれを符号化するためにも使用されないことである。

別の実施形態によると、上記または１つの上記所定の条件は、第２の信号コンポーネントの当該のブロックの予測モードが、所定の予測モードまたは所定の予測モードのセットの各々の予測モードと異なることである。

好ましくは、所定の予測モードは、平面モード、ＤＣモード、水平モード、垂直モード、ＬＭモード、対角線左下、対角線右上、および対角線左上の１つであるか、または、所定の予測モードのセットが、これらの予測モードの１つまたは組み合わせを含む。

上述した実施形態は、組み合わせられることができ、たとえば、２つの所定の条件が満足されなくてはならない。

一実施形態によると、所定の条件が満足されないか、または、所定の条件のどれも満足されない場合、本方法は、所定の基準に基づいて、第２の色コンポーネントの当該の符号化可能な単位の符号化に使用するために、第１および第２の符号化モードのどちらかを選択することを含んでも良い。

好ましい実施形態において、第１の信号コンポーネントは、輝度信号コンポーネントであり、第２の信号コンポーネントは、色差信号コンポーネントである。

好ましい実施形態において、第１の信号コンポーネントは、色差信号コンポーネントであり、第２の信号コンポーネントは、輝度信号コンポーネントである。

好ましくは、上記または各々の上記符号化可能な単位は、変換単位である。

好ましい実施形態において、第１のモードは、ノーマルＨＥＶＣモードであり、第２のモードは、変換スキップＨＥＶＣモードである。

好ましくは、映像信号は予測残差を表現する。

一実施形態によると、方法はさらに、
上記第２のモードが除外されなかった各々の上記第２の信号コンポーネントの符号化可能な単位のためのフラグをデコーダに送信することを備え、そのフラグは、第１および第２のモードのどちらが当該の符号化可能な単位を符号化するために使用されたかを決定するためにデコーダによって使用可能であり、そのようなフラグは、上記第２のモードが除外された各々の上記第２の信号コンポーネントの符号化可能な単位のためにデコーダに送信されない。

本発明の別の態様によると、第１の色に対応する第１の信号コンポーネントと、第１の信号コンポーネントに関連づけられ、第２の色に対応する第２の信号コンポーネントと、を少なくとも有する映像信号の係数を復号する方法が提供され、各々の上記信号コンポーネントは、少なくとも１つの係数を備えるブロックに分割され、各々のブロックは、１つ以上の復号可能な単位を有し、第２の信号コンポーネントの少なくとも１つの復号可能な単位の復号は、第１および第２のモード間で切り替え可能であり、方法は、
第２の信号コンポーネントの少なくとも１つの復号可能な単位について、
・第２の信号コンポーネントの当該の復号可能な単位に対応する上記第１の信号コンポーネントの符号化されたブロックまたは復号可能な単位に関連する、少なくとも１つの所定の条件が、満たされる場合、および／または、
・第２の信号コンポーネントの当該の復号可能な単位の、または第２の信号コンポーネントの当該の復号可能な単位が属するブロックの、予測モードに関連する、少なくとも１つの所定の条件が、満たされる場合、
当該の復号可能な単位の復号のための上記第２のモードの使用を除外すること
を備える。

たとえば、復号可能な単位は、変換単位でも良い。

一実施形態において、方法は、上記または少なくとも１つの上記所定の条件が満たされる場合、エンコーダが上記第２のモードを使用しなかったことを示す所定の値を有するフラグを生成することを備える。

一実施形態によると、第１のモードでの復号は、係数を復号可能な単位に変換するための逆変換ステップを含み、第２のモードでの復号は、逆変換ステップを除外する。

一実施形態によると、上記または１つの上記所定の条件は、第２の信号コンポーネントの当該の復号可能な単位に対応する第１の信号コンポーネントのブロックが、復号可能な単位を１つだけ備えることである。

別の実施形態によると、上記または１つの上記所定の条件は、第２の信号コンポーネントの当該の復号可能な単位に対応する第１の信号コンポーネントのブロックが、少なくとも２つの復号可能な単位を有する細区分されたブロックであること、および、第２のモードが、細区分された第１の信号コンポーネントのブロックの所定数より少ない復号可能な単位を復号するために使用されることである。

別の実施形態によると、上記または１つの上記所定の条件は、第２の信号コンポーネントの当該の復号可能な単位に対応する第１の信号コンポーネントのブロックが、少なくとも２つの復号可能な単位を有する細区分されたブロックであること、および、第２のモードが、細区分された第１の信号コンポーネントのブロックの復号可能な単位のいずれを復号するためにも使用されないことである。

別の実施形態によると、上記または１つの上記所定の条件は、第２の信号コンポーネントの当該のブロックの予測モードが、所定の予測モードまたは所定の予測モードのセットの各々の予測モードと異なることであ得る。

一実施形態によると、所定の予測モードは、平面モード、ＤＣモード、水平モード、垂直モード、ＬＭモード、対角線左下、対角線右上、および対角線左上の１つであるか、または、所定の予測モードのセットが、これらの予測モードの１つまたは組み合わせを含む。

上述した実施形態は、組み合わせられることができ、たとえば、２つの所定の条件が満たされなくてはならない。

好ましい実施形態において、所定の条件が満足されないか、または、所定の条件のどれも満足されない場合、所定の基準に基づいて、第２の色コンポーネントの当該の復号可能な単位の復号に使用するために、第１および第２の符号化モードのどちらかに決めるため、エンコーダから受信されたフラグを用いる。

一実施形態によると、第１の信号コンポーネントは、輝度信号コンポーネントであり、第２の信号コンポーネントは、色差信号コンポーネントである。

別の実施形態によると、第１の信号コンポーネントは、色差信号コンポーネントであり、第２の信号コンポーネントは、輝度信号コンポーネントである。

たとえば、復号可能な単位は、変換単位である。

好ましい実施形態において、第１のモードは、ノーマルＨＥＶＣモードであり、第２のモードは、変換スキップＨＥＶＣモードである。

好ましくは、映像信号は予測残差を表現する。

本発明の別の態様によると、第１の色に対応する第１の信号コンポーネントと、第１の信号コンポーネントに関連づけられ、第２の色に対応する第２の信号コンポーネントと、を少なくとも有する映像信号を符号化するためのエンコーダが提供され、各々の上記信号コンポーネントは、ブロックに分割され、各々の上記ブロックは、１つ以上の符号化可能な単位を有し、上記第２の信号コンポーネントの少なくとも１つの符号化可能な単位の符号化は、第１および第２のモード間で切り替え可能であり、前記エンコーダは、
上記第２の信号コンポーネントの少なくとも１つの上記符号化可能な単位について、
・第２の信号コンポーネントの当該の符号化可能な単位に対応する上記第１の信号コンポーネントの符号化されたブロックまたは符号化可能な単位に関連する、少なくとも１つの所定の条件が、満たされる場合、および／または、
・第２の信号コンポーネントの当該の符号化可能な単位の、または第２の信号コンポーネントの当該の符号化可能な単位が属するブロックの、予測モードに関連する、少なくとも１つの所定の条件が、満たされる場合、
第２の信号コンポーネントの当該の符号化可能な単位の符号化のための上記第２のモードの使用を除外するための手段
を備える。

一実施形態によると、第１のモードでの符号化は、符号化可能な単位を係数に変換することを含み、第２のモードでの符号化は、上記符号化可能な単位を係数に変換することを除外する。

たとえば、符号化可能な単位は、変換単位である。

本発明の別の態様によると、第１の色に対応する第１の信号コンポーネントと、第１の信号コンポーネントに関連づけられ、第２の色に対応する第２の信号コンポーネントと、を少なくとも有する映像信号の係数を復号するためのデコーダが提供され、各々の上記信号コンポーネントは、少なくとも１つの係数を備えるブロックに分割され、各々のブロックは、１つ以上の復号可能な単位を有し、デコーダは、第２の信号コンポーネントの少なくとも１つの復号可能な単位の復号が第１および第２のモード間で切り替え可能であるように構成され、前記デコーダは、
上記第２の信号コンポーネントの少なくとも１つの上記復号可能な単位について、
・第２の信号コンポーネントの当該の復号可能な単位に対応する上記第１の信号コンポーネントの符号化されたブロックまたは復号可能な単位に関連する、少なくとも１つの所定の条件が、満たされる場合、および／または、
・第２の信号コンポーネントの当該の復号可能な単位の、または第２の信号コンポーネントの当該の復号可能な単位が属するブロックの、予測モードに関連する、少なくとも１つの所定の条件が、満たされる場合、
第２の信号コンポーネントの当該の復号可能な単位の符号化のための上記第２のモードの使用を除外するための手段
を備える。

一実施形態によると、前記デコーダはさらに、上記または１つの上記所定の条件が満たされる場合、エンコーダが上記第２のモードを使用しなかったことを示す所定の値を有するフラグを生成するための手段を備える。

一実施形態によると、第１のモードでの復号は、逆変換することを含み、第２のモードでの復号は、上記逆変換することを除外する。

たとえば、上記または各々の上記復号可能な単位は、変換単位でありうる。

本発明の別の態様によると、コンピュータまたはプロセッサによって実行された場合に、コンピュータまたはプロセッサに本明細書に説明される符号化の方法を実行させる、プログラムが提供される。

本発明の別の態様によると、コンピュータまたはプロセッサによって実行された場合に、コンピュータまたはプロセッサに本明細書に説明される復号の方法を実行させる、プログラムが提供される。

本発明の別の態様によると、本明細書において言及されるプログラムを記憶するコンピュータ可読記憶媒体が提供される。

図１は、ＨＥＶＣにおいて使用される符号化構造を示す図である。 図２は、従来技術に係るエンコーダの模式的なブロック図である。 図３は、従来技術に係るデコーダの模式的なブロック図である。 （ａ）図４ａは、使用されるモード、ノーマルモードに関する、従来技術に係るデコーダをより詳細に表現した模式的なブロック図である。（ｂ）図４ｂは、使用されるモード、変換スキップモードに関する、従来技術に係るデコーダをより詳細に表現した模式的なブロック図である。 図５は、使用されるモード、ノーマルモードに関する、従来技術に係るエンコーダをより詳細に表現した模式的なブロック図である。 図６は、使用されるモード、変換スキップモードに関する、従来技術に係るエンコーダをより詳細に表現した模式的なブロック図である。 図７は、本発明を具体化したエンコーダの例を表現する模式的なブロック図である。 図８は、本発明を具体化したエンコーダの例を表現する模式的なブロック図である。 図９は、本発明を具体化し、図８のエンコーダとともに使用されるのに適した、デコーダを表現する模式的なブロック図である。 （ａ）図１０ａは、本発明を具体化した符号化の方法における動作の説明に使用される図である。（ｂ）図１０ｂは、本発明を具体化した復号の方法における動作の説明に使用される図である。 （ａ）図１１ａは、本発明の第１の実施形態に係る符号化の方法のフローチャートである。（ｂ）図１１ｂは、本発明の第１の実施形態に係る復号の方法のフローチャートである。（ｃ）図１１ｃは、第１の実施形態に関する輝度および色差変換単位を示す図である。 （ａ）図１２ａは、本発明の第２の実施形態に係る符号化の方法のフローチャートである。（ｂ）図１２ｂは、本発明の第２の実施形態に係る復号の方法のフローチャートである。 （ａ）図１３ａは、本発明の第３の実施形態に係る符号化の方法のフローチャートである。（ｂ）図１３ｂは、本発明の第３の実施形態に係る復号の方法のフローチャートである。（ｃ）図１３ｃは、各々の予測モードに関連づけられたインデックスを模式的に示す図である。 （ａ）図１４ａは、第１および第２の実施形態の組み合わせの結果として生じた、本発明の別の実施形態に係る符号化の方法の実現のフローチャートである。（ｂ）図１４ｂは、第１および第２の実施形態の組み合わせの結果として生じた、本発明の別の実施形態に係る復号の方法の実現のフローチャートである。 （ａ）図１５ａは、第１および第２の実施形態の組み合わせの結果として生じた、本発明の別の実施形態に係る符号化の方法の別の実現のフローチャートである。（ｂ）図１５ｂは、第１および第２の実施形態の組み合わせの結果として生じた、本発明の別の実施形態に係る復号の方法の別の実現のフローチャートである。

本発明の１つの好ましい実施形態は、色差ブロックのための変換スキップモードのチェックに関する。この好ましい実施形態において、考慮される色差フォーマットは、ＹＵＶ４：２：０であり、それは、１つの２Ｎ×２Ｎの輝度ブロック（Ｙコンポーネント）が２つのＮ×Ｎの色差ブロック（ＵおよびＶコンポーネント）に対応し、Ｎがブロックのサイズに関連する整数値である、ということを意味する。処理される（符号化または復号のいずれかをされる）１つの色差ブロック（ＵまたはＶ）と、関連する２Ｎ×２Ｎの輝度ブロックが考慮される。本発明は、この色差ブロックの処理（符号化または復号のいずれか）に関する。その現在の設計の場合、ＨＥＶＣは、変換スキップモードを４×４のブロックのためにのみ考慮し、結局、４×４の色差ブロックと、それらに関連する８×８の輝度ブロックが考慮される。当然ながら、本発明は、他のブロックサイズ（たとえば、８×８の色差ブロックとそれらに関連する１６×１６の輝度ブロック）および他の色差フォーマット（たとえば、ＹＵＶ４：４：４またはＲＧＢ４：４：４）に一般化されることができる。

より具体的には、本発明は、第１および第２の信号コンポーネントによって表現される少なくとも２つの色またはスペクトルの映像コンテンツに関する。

以下の図は、符号化単位および変換単位について言及する。しかしながら、これらの符号化単位は、ブロックの単なる例にすぎず、これらの変換単位は、符号化可能な単位の単なる例にすぎない。

本発明の実施形態は、非規範的な手法（エンコーダのみを要する）または規範的な手法（エンコーダおよびデコーダならびにデコーダの仕様標準規格を要する）で実現出来る。両方のケースにおいて、原理は、考慮される色差ブロックの対応する輝度ブロックに関連する条件、またはこれらの考慮される色差ブロックの予測モードに関連する条件をチェックすることである。

好ましい実施形態において、本発明は、イントラ予測の結果として生じた残差ブロックに適用される。この概念はまた、インター予測残差ブロックにも適用することが出来る。両方の予測モードが当業者に周知である。

図７は、本発明に係るエンコーダ７０１の例を示す。非規範的なソリューションでは、エンコーダのみが影響を受ける。前の図においてすでに説明されたモジュールは再度詳述しれない。同一のモジュールは、同一の参照番号を付す。対応するデコーダの例は、図４ａおよび図４ｂに表現されたもので良く、それは、標準規格仕様の変更が必要ないことを意味する。

色差ブロックがイントラ符号化される場合、変換２０７、量子化２０８、逆量子化２１１、および逆変換２１２のための逐次的なモジュールを含むノーマルモードが常に評価される。

色差ブロックに関連する８×８の輝度ブロックが処理されると、この輝度ブロックに関連する、または色差ブロックのイントラ予測モードに関連する所定の条件が、チェックモジュール７０２によってチェックされる。それらの条件は、以下においてより詳細に説明されるだろう。

これらの条件が満たされる（真である）場合、変換スキップモードが評価され、それは、スケーリング６０２、量子化２０８、逆量子化２１１、および逆スケーリング６０３のための逐次的なモジュールが適用されることを意味する。また、ノーマルモードと変換スキップとのどちらを選ぶかは、モジュール６０４によって、たとえば、レート歪みコスト基準に基づき行われる。

これらの条件が満足されない（偽である）場合、ｔｓ＿ｆｌａｇがモジュール７０３によって強制的に０にされ、それは、変換スキップモードが評価されず、ノーマルモードが選択されたことを意味する。変換スキップモードの評価に関連する他のモジュールは、スキップされる。

この例では、両方のケース（条件が偽または真）において、ｔｓ＿ｆｌａｇが符号化モジュール６０５によって出力ビットストリーム２１０の中に符号化される。これは、このソリューションが、それが復号処理を変更しないので非規範的であるゆえんである。ｔｓ＿ｆｌａｇが（ここでは、４×４の色差ブロックのために）常に符号化されるので、デコーダは図４ｂに示すデコーダと比較して変更されない。

モジュール７０２においてテストされる条件が、色差ブロックのイントラ予測モードのみに関連し、輝度ブロックに関連しない場合、輝度ブロックを前もって処理していることは必要でなく、輝度および色差のための処理が、独立して（そして、たとえば、並行して）達成出来る。

図８は、本発明に係るエンコーダ８０１の別の例を示す。この例は、図７の例とは異なり、規範的なソリューションを表現し、エンコーダとデコーダの両方が影響を受ける。図７の例との相違は、輝度ブロックに関連する、または色差ブロックのイントラ予測モードに関連する、モジュール７０２によってチェックされる条件が偽である場合、何の動作も行われないことである。特に、ｔｓ＿ｆｌａｇが符号化されず、それは、このフラグを符号化するために要求されるビットを節約する。

図８のエンコーダとともに使用されるのに適したデコーダ９０１を図９に示す。まず、係数がエントロピーデコーダ３０１によって復号される。ｔｓ＿ｆｌａｇの復号に関し、考慮される色差ブロックの対応する輝度ブロックに関連する、またはこれらの考慮される色差ブロックの予測モードに関連する所定の条件についての事前のチェックが、チェックモジュール７０２によって行われる。このブロックの入力は、処理される考慮される色差ブロックを処理する前に前もって復号されたデータである。

条件が満たされる（真である）場合、モジュール７０３を参照すると、デコーダは、ｔｓ＿ｆｌａｇが０と等しいことを知り、それは、ノーマルモードが適用されていることを意味する。このケースでは、ｔｓ＿ｆｌａｇを復号する必要はない。

条件が満足されない（偽である）場合、デコーダは、モジュール４０３通してｔｓ＿ｆｌａｇを復号しなくてはならない。復号された値に基づいて、デコーダは続いて、ｔｓ＿ｆｌａｇ＝０である場合にはノーマルモードを適用し、それは、（上述した）逆量子化２１１および逆変換２１２の逐次的なモジュールを必要とし、また、ｔｓ＿ｆｌａｇ＝１である場合には変換スキップモードを適用し、それは、逆量子化２１１および逆スケーリング４０５の逐次的なモジュールを必要とする。

デコーダの残りの部分は、図４ｂに示したデコーダと比較して変わらないままである。

非規範的なソリューションについては、モジュール７０２においてテストされる条件が、色差ブロックのイントラ予測モードのみに関連し、輝度ブロックには関連しない場合、輝度ブロックを前もって処理していることは必要でなく、輝度および色差のための処理が、独立して（そして、例えば、並行して）達成することが出来る。

以下の図は、本発明に関する符号化および復号処理のいくつかの特定の実施形態を説明する。それらの図は、例として、８^＊８の輝度ブロックおよび４^＊４の色差ブロックに伴う処理を提案する。当然ながら、異なるサイズを有するブロックが処理できる。たとえば、それは、１６^＊１６の輝度ブロックおよび対応する８^＊８の色差ブロックに適用できる。

さらに、同一の参照番号を有するステップは、同一の処理を意味する。

図１０ａおよび図１０ｂはそれぞれ、本発明に係る符号化および復号処理の説明に使用されるブロック図を提示する。図は、変換ステップに焦点を当てる。

図１０ａは、符号化処理１００１を示す。８×８の輝度ブロック（または、より一般的には、第１の色に対応する第１の信号コンポーネントのブロック）が１００２で符号化されると、考慮される色差ブロック（または、より一般的には、第２の色に対応する第２の信号コンポーネントのブロック）の対応する輝度ブロックに関連する条件、またはこれらの考慮される色差ブロックの予測モードに関連する条件が、１００２ａでチェックされる。これらの条件が偽である場合、色差ブロックが１００３で、ノーマルモード（第１のモードとも呼ばれる）と、変換スキップモード（第２のモードとも呼ばれる）と、の両方で評価される。これは、上述され、主要フラグとも呼ばれる、ｔｓ＿ｆｌａｇと呼ばれるフラグの値を決定することを可能にする。これらの条件が真である場合、１００４で、色差ブロックはノーマルモードを使用するよう強制され、ｔｓ＿ｆｌａｇは強制的に「０」にされる。すなわち、変換スキップモード（またはＴＳモード）の使用が、この色差ブロックの符号化のために除外される。

図１０ｂは、対応する復号処理１００５を説明する。８×８の輝度ブロックが１００６で符号化されると、考慮される色差ブロックの対応する輝度ブロックに関連する条件、またはこれらの考慮される色差ブロックの予測モードに関連する条件が、１００２ａでチェックされる。これらの条件が偽である場合、ｔｓ＿ｆｌａｇが１００７で復号される。そうでなければ、ｔｓ＿ｆｌａｇは１００８で、このフラグの復号を必要とせずに、値「０」を有すると推論される。

本発明の実施形態において、（以下に説明される）テストされる条件は、８×８の輝度ブロックが、４つの４×４の輝度変換単位として符号化されているか、または１つの８×８の輝度変換単位として符号化されているかをチェックすることからなる。

図１１ａに示すように、符号化処理１１０１では、８×８の輝度ブロックが１００２で処理されると、輝度ＴＵのサイズについてのチェックが１１０２において達成される。輝度ＴＵが８×８のサイズでない場合、色差ブロックは１００３で、ノーマルモードと、変換スキップモードと、の両方で評価される。輝度ＴＵが８×８のサイズである場合、１００４で、色差ブロックはノーマルモードを使用するよう強制され、ｔｓ＿ｆｌａｇは強制的に「０」にされる。よって、条件のチェックが、１１０２において、このケースでは、輝度ＴＵのサイズをチェックすることからなることが理解される。

図１１ｂは、対応する復号処理１１０３を説明する。８×８の輝度ブロックが１００６で処理されると、輝度ＴＵのサイズについてのチェックが１１０２において達成される。輝度ＴＵが８×８のサイズでない場合、ｔｓ＿ｆｌａｇが１００７で復号される。そうでなければ、ｔｓ＿ｆｌａｇは１００８で、このフラグの復号を必要とせずに、０であると推論される。

概念が図１１ｃに示され、それは、変換スキップが、輝度ＴＵが８×８のサイズである場合には許可されないが、輝度ＴＵが４つの４×４のＴＵに区分されている場合には有効にされることを示す。

変更が規範的である場合、それは、復号処理の変更を必要とする。したがって、ＨＥＶＣの仕様が修正変更されなくてはならない。以下のシンタックスの変更は、ＨＭ７．０（２０１２年６月に発行されたＨＥＶＣの仕様）に対応する仕様と比較して行われる。

関数ｔｒａｎｓｆｏｒｍ＿ｕｎｉｔのためのシンタックスは以下のとおりである。ＨＭ７．０と比較した変更は、グレーでハイライトされ、太字である。

関数ｒｅｓｉｄｕａｌ＿ｃｏｄｉｎｇのシンタックスは以下のとおりである。

上記表において、ｕｓｅＴＳは、シンタックス要素ｔｓ＿ｆｌａｇが復号されなくてはならないか否かを示す、復号処理によって演繹された補助フラグまたは変数である。ｕｓｅＴＳが、ｔｓ＿ｆｌａｇが復号されないことを示す場合、ｔｓ＿ｆｌａｇは、強制的に０にされる。

ｔｒａｎｓｆｏｒｍ＿ｕｎｉｔ（．）の修正変更されたシンタックスを参照して、以下が適用される。

−ｕｓｅＴＳが輝度ＴＵのために１に設定される。

−ｌｏｇ２ＴｒａｆｏＳｉｚｅ＞２である（これは、輝度ＴＵが４×４より大きいサイズであることを示す）場合、ｕｓｅＴＳが２つの色差ブロックのために０に設定される。

−そうでない（ｌｏｇ２ＴｒａｆｏＳｉｚｅが２と等しく、これは、輝度ＴＵが４×４のサイズであることを示す）場合、ｕｓｅＴＳは、２つの色差ブロックのために１に設定される。

デコーダは、変換スキップモードの使用を除外すべきか否かを決めるために、エンコーダが適用したのと同一の条件に基づいて、補助フラグｕｓｅＴＳを推論することができるので、補助フラグｕｓｅＴＳは、エンコーダによってデコーダに送信されないことに注意する必要がある。余分なシグナリングが要求されない。

本発明の別の実施形態において、テストされる条件は、変換スキップされる８×８の輝度ブロックの４×４の変換単位の数に基づく。この数が所与のしきい値を上回る場合には、変換スキップモードが色差ブロックのために有効にされる。そうでなければ、それは無効にされる。

図１２ａに示すように、符号化処理１２０１について、８×８の輝度ブロックが１００２で処理されると、変換スキップを使用する８×８の輝度ブロックの４×４のＴＵの数が、１２０２で所与のしきい値λと比較される。この数がλ以上である場合、色差ブロックは１００３で、ノーマルモードと、変換スキップモードと、の両方で評価される。この数がλ未満である場合、１００４で、色差ブロックはノーマルモードを使用するよう強制され、ｔｓ＿ｆｌａｇは強制的に０にされる。従って、１２０２の条件のチェックが、このケースでは、スキップされる４×４の輝度ＴＵの数をチェックすることからなることが分かる。たとえば、λは、１で良い。

図１２ｂは、対応する復号処理１２０３を説明する。８×８の輝度ブロックが１００６で処理されると、スキップされる４×４の輝度ＴＵの数についてのチェックが１２０２で達成される。この数がλ以上である場合、ｔｓ＿ｆｌａｇが１００７で復号される。そうでなければ、ｔｓ＿ｆｌａｇは１００８で、このフラグの復号を必要とせずに、値「０」を有すると推論される。

好ましい実施形態において、λは１に設定され、それは、４つの４×４の輝度ＴＵがどれもスキップされない場合には、ｔｓ＿ｆｌａｇが色差ブロックのために強制的に０にされることを意味し、色差ブロックが強制で変換（符号化処理）または逆変換（復号処理）を適用されることを示す。

変更が（上述したように）規範的である場合、以下のシンタックスの変更が、ＨＭ７．０（２０１２年６月に発行されたＨＥＶＣの仕様）に対応する仕様と比較して行われる。

関数ｔｒａｎｓｆｏｒｍ＿ｕｎｉｔのためのシンタックスは以下のとおりである。ＨＭ７．０と比較した変更は、グレーでハイライトされ、太字である。

関数ｒｅｓｉｄｕａｌ＿ｃｏｄｉｎｇのシンタックスは、先の実施形態の場合と同一である。

ｔｒａｎｓｆｏｒｍ＿ｕｎｉｔ（．）の修正変更されたシンタックスを参照して、以下が適用される。

−ｕｓｅＴＳが輝度ＴＵのために１に設定される。

−ｌｏｇ２ＴｒａｆｏＳｉｚｅ＞２である（これは、輝度ＴＵが４×４より大きいサイズであることを示す）場合、ｕｓｅＴＳが２つの色差ブロックのために１に設定される。

−そうでない（ｌｏｇ２ＴｒａｆｏＳｉｚｅが２と等しく、これは、輝度ＴＵが４×４のサイズであることを示す）場合、ｕｓｅＴＳは、４つの４×４の輝度ＴＵのｔｓ＿ｆｌａｇの値の合計をしきい値λと比較することによって算出され、２つの色差ブロックの残差の復号が続いて、ｕｓｅＴＳのこの値に伴い呼び出される。

本発明の別の実施形態において、テストされる条件は、色差ブロックのイントラ色差予測モード（「ＩｎｔｒａＰｒｅｄＭｏｄｅＣ」と呼ばれる）に基づく。許可されたモードのセット（「ＭｏｄｅＳｅｔ」と呼ばれる）が定義される。このセットは、色差ブロックがスキップされた場合のイントラ色差予測モードの分布の統計的分析に基づいてアプリオリにオフラインで算出できる。それは、あるいは、動的に変更されてビットストリームの中に、たとえば、ＳＰＳ、ＰＰＳ、またはＡＰＳに埋め込まれることができる。

図１３ａに示すように、符号化処理１３０１では、８×８の輝度ブロックが１００２で処理されると、１３０２で、イントラ色差予測モードＩｎｔｒａＰｒｅｄＭｏｄｅＣが許可されたイントラモードのセットＭｏｄｅＳｅｔに属さないかどうかがチェックされる。この条件が偽である場合、色差ブロックは１００３で、ノーマルモードと、変換スキップモードと、の両方で評価される。この条件が真である場合、１００４で、色差ブロックはノーマルモードを使用するよう強制され、ｔｓ＿ｆｌａｇは強制的に「０」にされる。よって、条件のチェックが、このケースでは、イントラ色差予測モードが許可されたモードのセットの中にあるかをチェックすることからなることが分かる。

図１３ｂは、デコーダ側１３０３を説明する。８×８の輝度ブロックが１００６で処理されると、１３０２で、ＩｎｔｒａＰｒｅｄＭｏｄｅＣが許可されたイントラモードのセットＭｏｄｅＳｅｔに属さないかどうかがチェックされる。この条件が偽である場合、ｔｓ＿ｆｌａｇが１００７で復号される。そうでなければ、ｔｓ＿ｆｌａｇは１００８で、このフラグの復号を必要とせずに、０であると推論される。

好ましい実施形態において、ＭｏｄｅＳｅｔは、以下のモードで構成される（最新のＨＥＶＣの仕様であるＨＭ７における対応するモード番号もまた付与されている）。

−平面（モード０）
−ＤＣ（モード１）
−水平（１０）
−垂直（２６）
−対角線左下（２）
−対角線右上（３４）
−ＬＭ（３５）−このモードは、色差ブロックのために有効にされたとき
図１３ｃは、当業者に周知の現在のＨＥＶＣの仕様におけるイントラモードのナンバリングを示す。

追加の実施形態において、対角線左上モード（１８）がセットされたＭｏｄｅＳｅｔに挿入できる。

変更が規範的である場合、それは、復号処理の変更を必要とする。したがって、ＨＥＶＣの仕様が修正変更されなくてはならない。以下のシンタックスの変更は、ＨＭ７．０（２０１２年６月に発行されたＨＥＶＣの仕様）に対応する仕様と比較して行われる。関数ｔｒａｎｓｆｏｒｍ＿ｕｎｉｔのためのシンタックスは以下のとおりである。ＨＭ７．０と比較した変更は、グレーでハイライトされ、太字である。

ｔｒａｎｓｆｏｒｍ＿ｕｎｉｔ（．）の修正変更されたシンタックスを参照して、以下が適用される。

−ｕｓｅＴＳが輝度ＴＵのために１に設定される。

−ｕｓｅＴＳが次に、２つの色差ブロックのｉｎｔｒａＰｒｅｄＭｏｄｅＣのシンタックス要素が（同一の予測モードが両方のブロックに適用されているので）、許可されたイントラ予測モードの値のセットに含まれていないかどうかをチェックすることによって算出される。２つの色差ブロックの残差の復号が続いて、ｕｓｅＴＳのこの値に伴い呼び出される。

一実施形態において、同一の原理が輝度ＴＵに直接適用できる。輝度ブロックに適用されたイントラ予測モードに依存して、ｔｓ＿ｆｌａｇの値がこの輝度ブロックの輝度ＴＵのために直接推論される。モードのセットＭｏｄｅＳｅｔは、ｔｓ＿ｆｌａｇが（エンコーダおよびデコーダ側で）シグナリングされ、変換スキップを用いてまたは用いないでチェックすることによってエンコーダ側で評価されなくてはならない、モードであり得る。

別の実施形態では、変形として、色差ＴＵのためのｔｓ＿ｆｌａｇが、色差ブロックのではなく、輝度ブロックのイントラ予測の値から推論される。輝度ブロックのイントラ予測モードがオーソライズされたモードのセットの中にある場合には、ｔｓ＿ｆｌａｇは、輝度ブロックの対応する色差ＴＵのために、（エンコーダ側で）評価され、（エンコーダおよびデコーダ側で）シグナリングされなくてはならない。

図１１ａ〜図１３ｂにおいて提示された異なる実施形態は、結果を改善するために組み合わせることができる。図１４ａ〜図１５ｂは、さらなる例として、（符号化および復号処理の両方についての）２つの異なる種類の実施を示す。

図１４ａは、図１１ａおよび図１２ａに示した実施形態の組み合わせを示す。チェックステップ１４０２が、１１０２の輝度ＴＵが８×８であるかと、１２０２のスキップされた４×４の輝度ＴＵの数と、の組み合わせチェックである。

図１５ａに示すように、２つのチェックステップ１１０２および１２０２は、連続的に行うことができる。

すなわち、輝度ＴＵは、先の実施形態での１つのみの代わりに、２つの所定の条件を満足しなくてはならない。

図１４ｂおよび図１５ｂはそれぞれ、図１４ａおよび図１５ａに表現された符号化の方法に対応する復号の方法を示す。ステップは、先にすでに説明されている。

当然ながら、これらの例は限定ではない。たとえば、図１２ａに示した実施形態は、同様に、図１３ａにおいて示されたものと組み合わせることができる。

本願は、２０１２年６月２９日付けで出願された英国特許出願第１２１１６２４．０の優先権を主張し、その全内容は、参照により本明細書に組み込まれる。

Claims (29)

1. 第１の信号コンポーネントと、前記第１の信号コンポーネントに対応する第２の信号コンポーネントと、を少なくとも有する映像信号を符号化する符号化手段を有し、
   前記映像信号に基づく画像は、複数のブロックに分割され、
   前記ブロックは、１つ以上の所定の単位に分割して符号化可能であり、
   前記第２の信号コンポーネントにおける前記所定の単位の符号化には、前記所定の単位を係数に変換する変換処理を行う第１のモード、又は、前記変換処理を行わない第２のモードを用いることが可能であり、
   前記符号化手段は、
   前記第１の信号コンポーネントにおけるブロックに関する所定の条件が満たされる場合、その第１の信号コンポーネントにおけるブロックに対応する、前記第２の信号コンポーネントにおける所定の単位の符号化に前記第２のモードを使用することを除外し、
   前記所定の条件が満たされない場合、その第１の信号コンポーネントにおけるブロックに対応する、前記第２の信号コンポーネントにおける所定の単位の符号化に前記第２のモードを用いることを除外せず、
   前記所定の条件は、
   前記第２の信号コンポーネントにおける前記所定の単位に対応する前記第１の信号コンポーネントにおけるブロックが、複数の所定の単位を有するブロックであり、かつ、その複数の所定の単位がいずれも前記第２のモードを用いて符号化されないことである
   ことを特徴とするエンコーダ。
2. 前記第２の信号コンポーネントにおける前記所定の単位に対応する前記第１の信号コンポーネントにおけるブロックが、所定の単位を１つだけ有する場合も、その第１の信号コンポーネントにおけるブロックに対応する、前記第２の信号コンポーネントにおける所定の単位の符号化に前記第２のモードを使用することを除外する
   ことを特徴とする請求項１記載のエンコーダ。
3. 前記符号化手段は、前記第２の信号コンポーネントにおける前記所定の単位、または、その所定の単位が属するブロックについて、予測モードに関する条件が満たされる場合も、その所定の単位の符号化に前記第２のモードを使用することを除外する
   ことを特徴とする請求項１又は２に記載のエンコーダ。
4. 前記予測モードに関する条件は、前記第２の信号コンポーネントにおけるブロックの予測モードが、所定の予測モードと異なること、または、所定の予測モードのセットに含まれる各々の予測モードと異なること
   であることを特徴とする請求項３記載のエンコーダ。
5. 前記所定の予測モードは、平面モード、ＤＣモード、水平モード、垂直モード、ＬＭモード、対角線左下、対角線右上、および対角線左上の１つである、
   ことを特徴とする請求項４記載のエンコーダ。
6. 前記所定の予測モードのセットは、平面モード、ＤＣモード、水平モード、垂直モード、ＬＭモード、対角線左下、対角線右上、および対角線左上の内の１つまたはその組み合わせを含む
   ことを特徴とする請求項４記載のエンコーダ。
7. 前記第１の信号コンポーネントは輝度信号コンポーネントであり、前記第２の信号コンポーネントは色差信号コンポーネントである
   ことを特徴とする請求項１〜６のいずれか一項に記載のエンコーダ。
8. 前記第１の信号コンポーネントは色差信号コンポーネントであり、前記第２の信号コンポーネントは輝度信号コンポーネントである
   ことを特徴とする請求項１〜６のいずれか一項に記載のエンコーダ。
9. 前記所定の単位は変換単位である
   ことを特徴とする請求項１〜８のいずれか一項に記載のエンコーダ。
10. 前記第２のモードは変換スキップモードである
    ことを特徴とする請求項１〜９のいずれか一項に記載のエンコーダ。
11. 前記変換処理は周波数変換処理である
    ことを特徴とする請求項１〜１０のいずれか一項に記載のエンコーダ。
12. 前記変換処理はＤＣＴ変換処理である
    ことを特徴とする請求項１〜１１のいずれか一項に記載のエンコーダ。
13. 第１の信号コンポーネントと、前記第１の信号コンポーネントに対応する第２の信号コンポーネントと、を少なくとも有する映像データを復号する復号手段を有し、
    前記映像データに基づく画像は、複数のブロックに分割され、
    前記ブロックは、１つ以上の所定の単位に分割して復号可能であり、
    前記第２の信号コンポーネントにおける前記所定の単位の復号には、前記映像データに含まれる係数を前記所定の単位で逆変換する逆変換処理を行う第１のモード、または、前記逆変換処理を行わない第２のモードを用いることが可能であり、
    前記復号手段は、
    前記第１の信号コンポーネントにおける前記ブロックに関する所定の条件が満たされる場合、その第１の信号コンポーネントにおけるブロックに対応する、前記第２の信号コンポーネントにおける前記所定の単位の復号に前記第２のモードを使用することを除外し、
    前記所定の条件が満たされない場合、その第１の信号コンポーネントにおけるブロックに対応する、前記第２の信号コンポーネントにおける所定の単位の復号に前記第２のモードを用いることを除外せず、
    前記所定の条件は、
    前記第２の信号コンポーネントにおける前記所定の単位に対応する前記第１の信号コンポーネントにおけるブロックが、複数の所定の単位を有するブロックであり、かつ、その複数の所定の単位がいずれも前記第２のモードを用いて復号されないことである
    ことを特徴とするデコーダ。
14. 前記復号手段は、前記所定の条件が満たされる場合、前記映像データを符号化したエンコーダが前記第２のモードを使用しなかったことを示すフラグを導出する
    ことをさらに有することを特徴とする請求項１３記載のデコーダ。
15. 前記第２の信号コンポーネントにおける前記所定の単位に対応する前記第１の信号コンポーネントにおけるブロックが、前記所定の単位を１つだけ有する場合も、その第１の信号コンポーネントにおけるブロックに対応する、前記第２の信号コンポーネントにおける所定の単位の復号に前記第２のモードを使用することを除外する
    ことを特徴とする請求項１３又は１４に記載のデコーダ。
16. 前記復号手段は、前記第２の信号コンポーネントにおける前記所定の単位、または、その所定の単位が属するブロックについて、予測モードに関する条件が満たされる場合も、その所定の単位の復号に前記第２のモードを使用することを除外する
    ことを特徴とする請求項１３〜１５のいずれか一項に記載のデコーダ。
17. 前記予測モードに関する条件は、前記第２の信号コンポーネントにおけるブロックの予測モードが、所定の予測モードと異なること、または、所定の予測モードのセットに含まれる各々の予測モードと異なること
    であることを特徴とする請求項１６記載のデコーダ。
18. 前記所定の予測モードは、平面モード、ＤＣモード、水平モード、垂直モード、ＬＭモード、対角線左下、対角線右上、および対角線左上の１つである、
    ことを特徴とする請求項１７記載のデコーダ。
19. 前記所定の予測モードのセットは、平面モード、ＤＣモード、水平モード、垂直モード、ＬＭモード、対角線左下、対角線右上、および対角線左上の内の１つまたはその組み合わせを含む
    ことを特徴とする請求項１７記載のデコーダ。
20. 前記第１の信号コンポーネントは輝度信号コンポーネントであり、前記第２の信号コンポーネントは色差信号コンポーネントである
    ことを特徴とする請求項１３〜１９のいずれか一項に記載のデコーダ。
21. 前記第１の信号コンポーネントは色差信号コンポーネントであり、前記第２の信号コンポーネントは輝度信号コンポーネントである
    ことを特徴とする請求項１３〜１９のいずれか一項に記載のデコーダ。
22. 前記所定の単位は変換単位である
    ことを特徴とする請求項１３〜２１のいずれか一項に記載のデコーダ。
23. 前記第２のモードは変換スキップモードである
    ことを特徴とする請求項１３〜２２のいずれか一項に記載のデコーダ。
24. 前記逆変換処理は周波数変換に係る処理である
    ことを特徴とする請求項１３〜２３のいずれか一項に記載のデコーダ。
25. 前記逆変換処理はＤＣＴ変換に係る処理である
    ことを特徴とする請求項１３〜２４のいずれか一項に記載のデコーダ。
26. 第１の信号コンポーネントと、前記第１の信号コンポーネントに対応する第２の信号コンポーネントと、を少なくとも有する映像信号を符号化する方法であって、
    前記映像信号に基づく画像は、複数のブロックに分割され、
    前記ブロックは、１つ以上の所定の単位を有し、
    前記第２の信号コンポーネントにおける前記所定の単位の符号化には、前記所定の単位を係数に変換する変換処理を行う第１のモード、又は、前記変換処理を行わない第２のモードを用いることが可能であり、
    前記第１の信号コンポーネントにおけるブロックに関する所定の条件が満たされる場合、その第１の信号コンポーネントにおけるブロックに対応する、前記第２の信号コンポーネントにおける所定の単位の符号化に前記第２のモードを使用することを除外し、
    前記所定の条件が満たされない場合、その第１の信号コンポーネントにおけるブロックに対応する、前記第２の信号コンポーネントにおける所定の単位の符号化に前記第２のモードを用いることを除外せず、
    前記所定の条件は、
    前記第２の信号コンポーネントにおける前記所定の単位に対応する前記第１の信号コンポーネントにおけるブロックが、複数の所定の単位を有するブロックであり、かつ、その複数の所定の単位がいずれも前記第２のモードを用いて符号化されないことである
    ことを特徴とする方法。
27. 第１の信号コンポーネントと、前記第１の信号コンポーネントに対応する第２の信号コンポーネントと、を少なくとも有する映像データを復号する方法であって、
    前記映像データに基づく画像は、複数のブロックに分割され、
    前記ブロックは、１つ以上の所定の単位を有し、
    前記第２の信号コンポーネントにおける前記所定の単位の復号には、前記映像データに含まれる係数を前記所定の単位で逆変換する逆変換処理を行う第１のモード、または、前記逆変換処理を行わない第２のモードを用いることが可能であり、
    前記第１の信号コンポーネントにおける前記ブロックに関する所定の条件が満たされる場合、その第１の信号コンポーネントにおけるブロックに対応する、前記第２の信号コンポーネントにおける前記所定の単位の復号に前記第２のモードを使用することを除外し、
    前記所定の条件が満たされない場合、その第１の信号コンポーネントにおけるブロックに対応する、前記第２の信号コンポーネントにおける所定の単位の復号に前記第２のモードを用いることを除外せず、
    前記所定の条件は、
    前記第２の信号コンポーネントにおける前記所定の単位に対応する前記第１の信号コンポーネントにおけるブロックが、複数の所定の単位を有するブロックであり、かつ、その複数の所定の単位がいずれも前記第２のモードを用いて復号されないことである
    ことを特徴とする方法。
28. 請求項１〜１２のいずれか１項に記載のエンコーダの符号化手段としてコンピュータを機能させることを特徴とするプログラム。
29. 請求項１３〜２５のいずれか１項に記載のデコーダの復号手段としてコンピュータを機能させることを特徴とするプログラム。