JP5841944B2 - スケーラブルな画像符号化および復号化 - Google Patents

Description

本発明は、画像を、スケーラブルなビットストリームに符号化する方法および装置に関するものである。本発明はまた、かかるスケーラブルなビットストリームを復号する対応の方法ならびに装置、（トランケートされていてもよい）かかるスケーラブルなビットストリームの形式の符号化画像信号、およびかかる符号化画像信号が記録された記憶媒体にも関する。本発明は、とりわけ、高精細テレビ（ＨＤＴＶ）信号のビデオ画像を符号化するのに有用である。

スケーラブルビデオ符号化は、高精細テレビ信号の無線送信（ワイヤレスＨＤ）を想定して考えられており、とりわけ、壁に取り付けられたＨＤＴＶフラットスクリーンモニタを、外部のＨＤＴＶ信号源に、配線等が見えない状態で接続する目的のために考えられている。スケーラブルとは、エンコーダにより生成されたビットストリームが、トランケート可能であることを意味する。

スケーラブルなビットストリームを得るための先行技術に係る方法が、米国特許第６４６２６８１号に開示されている。この先行技術は、各画像を複数の画像ブロックに分割し、各画像ブロックを対応のブロックビットストリームに符号化して変換し、それらのブロックストリームを反復的にスキャンすることによりスケーラブルなビットストリームを形成する各工程を含んでいる。各スキャンは、それらブロックストリーム内のデータの一部を含んでいる。

ワイヤレスＨＤの状況中での実験的な評価において、本発明の発明者は、特定のコンピュータグラフィックコンテンツに対しては、圧縮性能の改善が望まれることを見出した。ワイヤレスＨＤ向けには、実写の画像コンテンツと、グラフィックコンテンツとの両方がサポートされるべきである。先行技術の方法は、実写の画像コンテンツ向けに設計されており、グラフィックコンテンツ向けには特に最適化されてはいない。

本発明の１つの目的は、先行技術の方法をさらに改善することである。

上記の目的のため、本発明に係る符号化方法は、複数の異なる符号化モードのうちの１つに従って各画像ブロックを符号化し、その符号化モードを表す１つまたは複数のタイプのデータを含む、対応のブロックビットストリームを取得する工程を含む。ブロックストリームを反復的にスキャンしてスケーラブルなビットストリームを形成する際の各スキャンは、上記のデータのタイプの少なくとも１つを選択する工程と、その選択されたデータのタイプを示すフラグをスケーラブルなビットストリーム内に含める工程とを含む。

本発明は、様々なブロックビットストリームの非常にフレキシブルな組合せを許容する、スケーラブルなビットストリームフォーマットを提供するものであり、これにより最適化されたビット割当てが可能となる。複数の符号化モードは、復号化される画像データの画質に関し、異なる有意度／優先度を有している。本発明は、まず初めに最も大幅な画質の改善が実現され、その後、より多くのビットストリームが受信された際に、より小幅な画質の精錬が連続して行われるよう、スケーラブルなビデオビットストリームを編成することを可能とする。こうすることにより、レートと画質劣化との間の最適なトレードオフが実現される。客観的／主観的な品質につき、複数のモードは異なる有意度を持つので、このビットストリームフォーマットは、どのビットを先に送出するかについて、エンコーダが非常にフレキシブルな選択を行うことを可能にする。

既知のビデオ符号化方法と似たように、ビデオ画像は、好ましくはスライスに分割され、各スライスは８×８ピクセルのブロックに分割される。この８×８ピクセルのブロックは、フレーム内符号化される。これは、他のフレームからの情報は一切使用されないことを意味する。

各ブロックは、以下の３つの符号化モードのうちの１つに従って符号化される。
− ナチュラルモードでは、ブロックは実写画像の一部を表すものと想定される。その場合、ブロックはＤＣＴ変換され、スケーラブルなブロックビットストリームに変換される。好ましくは、たとえばＷＯ２００５／１１２４６７号で開示されているような、スケーラブルなビット平面符号化が使用される。
− 人工モードあるいはスケーラブルグラフィックモードでは、ブロックは、特別なグラフィック用のスケーラブルなブロックビットストリームとしてより効率的に符号化可能な、グラフィックコンテンツを含むものと認められる。
− スキップモードでは、ブロックは、そのブロックが前のブロックと同一であると認められることを示す、１ビットのフラグにより表される。

本発明に従うビットストリームのフォーマットは、個々のブロックのスケーラブルなビットストリームに対する、複数回のスキャン／反復からなる。各スキャンにおいて、エンコーダは、そのスキャンが実写／ＤＣＴのブロックに関するビットストリーム内のビットを含むか、あるいは人工／グラフィックのブロックに関するビットストリーム内のビットを含むか、あるいはそれら両方を含むかを特定する。ＤＣＴブロックに関してはさらに、ＤＣ係数ビットとＡＣ係数ビットとの間で、選択を行うことができる。たとえば、エンコーダは、最初に数スキャン分のＤＣＴ ＤＣビットを送出し、その後、数スキャン分のグラフィックビットを送出し、その後さらに、いくらかのＤＣＴ ＡＣビットを送出することを選択し得る。それらスキャンは、異なるモードのビットが混在したものであってもよいし、単一のモードのビットの連続した複数のスキャンであってもよい。エンコーダが行う決定は、各ブロック部分（たとえば符号化されたビット平面）および／または複数のブロック（たとえばスライス）に先行する、フラグの形式で、受信器に通知される。

本発明の１つの実施形態では、ビットストリームのフォーマットは、各スキャンにつきブロックのスキャンの順序が変えられるようなフォーマットとされる。たとえば、複数のＤＣＴブロックに対するのと、複数のグラフィックブロックに対するのとでは、異なるスキャン順序が用いられ得る。典型的には、実写画像に対しては、まず画像の中心にあるブロックに対し、スキャン／ビット割当てを行うのが有利である。

別の１つの実施形態では、フォーマットは、ブロックごとに、ビットが送出されるか否かを示すことができるフォーマットとされる。この形態は、非常に詳細なビット割当てを可能とする（たとえば、関心領域の画質の強化を可能にする等）。

エンコーダはさらに、特定のＤＣＴ−ＡＣ係数データのより効率的な圧縮のため、算術符号化を使用するか否かを、スキャンごとに選択する選択肢を有するものとされてもよい。

本発明の方法はさらに、各画像を画像スライスに分割し、各スライスに、そのスライスに適用される符号化モードを示すフラグを含める工程を、さらに含んでいてもよい。ビットストリームの先頭において、画像スライス（８画像ライン）の圧縮中に用いられるモードを示せば、ブロックのモードタイプの符号化を最適化する（すなわち必要とされるビット数を最小限に抑える）ことができる。

本発明に従うビデオ信号の符号化方法を示したフローチャート グラフィック符号化モードおよびＤＣＴ符号化モードで取得されるスケーラブルなブロックビットストリームを模式的に示した図 本発明に従うスキャン工程の例を示した図 本発明に従うビデオビットストリーム信号を復号化する方法を示したフローチャート 本発明に従う符号化装置と復号化装置とを含む、エンターテイメントシステムのブロック図

図１は、本発明に従うビデオ信号の符号化方法を示したフローチャートである。ステップ１１において、ビデオ信号は、高さ８ラインのスライスに分割され、各スライスは、８×８ピクセルのブロックに分割される。

ステップ１２において、現在のスライスの各ブロックが、そのブロックが実写コンテンツを含んでいると認められるか、グラフィックコンテンツを含んでいると認められるかに応じて、離散コサイン変換（ＤＣＴ）またはグラフィック圧縮方法のいずれかにより符号化される。そのブロックが前のブロックと同一であることを示す、スキップモードが規定されてもよい。ブロック符号化のアルゴリズムは、スケーラブルなブロックビットストリームが生成されるように選択される。かかるスケーラブルなビットストリームは、いずれの位置でもトランケートされ得る。トランケートの度合いが少ないほど、ブロックを再構築した際の残存エラーは小さくなる。

図２のＡは、グラフィック符号化モードで得られるスケーラブルなブロックビットストリームを、模式的に示している。このモードでは、グラフィックエンコーダが、画像ブロックの個々の８×８ビット平面に対し、できる限り損失のない圧縮アルゴリズムを適用する。そうして得られたブロックビットストリームは、有意度の高い順に、グラフィックデータの８（ピクセルビット深さ）の可変長部分２１の連なりを含み、各可変長部分２１は、ピクセル値の１つのビット平面を表している。

図２のＢは、実写符号化モードで得られるスケーラブルなブロックビットストリームを、模式的に示している。このモードでは、８×８のピクセルブロックに離散コサイン変換（ＤＣＴ）が適用され、本願出願人の国際特許出願に係るＷＯ２００５／１１２４６７号で開示されているようにして、係数の各ビット平面を個別に圧縮することにより、それら８×８のピクセルブロックがスケーラブルなブロックビットストリームに変換される。この場合、ブロックビットストリームは、有意度の高い順に、係数値の１１（係数ビット深さ）のビット平面を含む。図２に示すように、各ビット平面は、ｄｃビット２２と、ａｃデータの可変長部分２３とを含む。

図１に戻り、現在のスライスを表すビデオビットストリームが形成されるルーチンが実行される。まず、ステップ１３において、スライス中の各ブロックにつき、そのブロックの符号化にどのブロック符号化モードが使用されているかを特定するため、アレイblock_modes()が生成される。続いて、ルーチンは、ステップ１２で生成されたブロックビットストリームの反復的なスキャン（ステップ１４）へと進む。各スキャン１４において、符号化プロセスは、グラフィックブロックビットストリームおよび／または実写ブロックビットストリームの一部を選択する。実写ブロックビットストリームの場合、プロセスは、各係数ビット平面のｄｃビットおよび／またはａｃデータ部分を選択する。ブロックビットストリームの選択可能な各部分は、画質の所与の精錬を表している。これらの選択は、スキャンプロセスが進むに従って、ビデオビットストリームに対し、より細かな精錬が逐次追加されていく態様で行われる。

各スキャン１４において、実際の精錬されたデータ部分（ステップ１４２）の前に、どのタイプの符号化データ（グラフィック、ｄｃビット、ａｃデータ）が選択されたかを示すフラグ、すなわち各符号化モードを特定するフラグが、ビットストリームに追加される（ステップ１４１）。これにより、エンコーダによりなされた選択が、受信器に通知される。このスキャンプロセスは、そのスライスのすべてのブロックビットストリームが完全に処理されるまで進められる（ステップ１５、１６）。その後、次のスライスに対して、上記のプロセスが実行される（ステップ１７）。

図３は、本発明に係るスキャンプロセスを説明するための例を示している。この図は、１つのスライスの最初の４つの画像ブロック（Ｂ０・・・Ｂ３）の、４つのブロックビットストリーム（ＢＳ０・・・ＢＳ３）が示している。第１および第４のブロックはグラフィックブロックであることが特定されている。対応のブロックビットストリームＢＳ０およびＢＳ３は、有意度の高い順に、８のグラフィック符号化されたビット平面２１を有しており、それらのうちのいくつかが図３に示されている。第２および第３のブロックは、実写ブロックである。対応のブロックビットストリームＢＳ１およびＢＳ２は、１１のｄｃビット２２および１１の符号化されたａｃビット平面２３を有しており、それらのうちのいくつかが図３に示されている。

矢印３１に沿って存在する黒点により規定されるように、これらのビットストリームに亘る第１のスキャンは、実写ブロック（Ｂ１、Ｂ２）のＤＣＴ係数の最も有意度の高いビット平面に関する情報、すなわち、ＤＣ係数およびＡＣ係数の各々のビットに関する情報を伝達する。第２のスキャン３２は、実写ブロックのＤＣ係数の次の（すなわち第２の）ビットを規定する。第３のスキャン３３は、実写ブロックのＡＣ係数データだけでなく、グラフィックデータも提供する。すなわち、この第３のスキャン３３は、グラフィックブロック（Ｂ０、Ｂ３）の第１のグラフィックビット平面と、実写ブロック（Ｂ１、Ｂ２）の次の（すなわち第２の）ＡＣ係数ビット平面とを提供する。第４のスキャン３４では、第２のグラフィックビット平面に関する情報が伝達され、以下同じようにスキャンが行われる。

以下の表Ｉは、上記のスライスにつき、結果として得られるビデオビットストリームを示している。各スキャンにおいて、後続するデータのタイプを示しているフラグは、dct_dc_data、dct_ac_dataおよびgraph_dataと示されている。右側の列は、実際のビットストリームデータを示しており、「１」および「０」はフラグ値を示し、「ｂ」は１データビットを表し、「ｄ」はある個数（可変であってもよい）のデータビットを示している。

図４は、（トランケートされていてもよい）ビデオビットストリーム信号を復号し、画像スライスを再構築する方法を図解したフローチャートを示している。ステップ４１は初期設定ステップであり、以下の処理が行われる。
− ブロック符号化モードが、読み取られ、記憶される。たとえば、表Ｉに示したビットストリームに関していえば、受信器は、ブロックＢ０、Ｂ３がグラフィックブロックであり、ブロックＢ１、Ｂ２が実写ブロックであることを認識できる。
− それぞれのブロックメモリアレイが生成される。
− 各ブロックにつき、ビット平面カウンタ（あるいは「ブロック完了」変数）が初期化される。実写ブロックは、ｄｃデータとａｃデータとにつき、別個のビット平面カウンタを有する。

ステップ４２において、受信器は、データタイプのフラグおよび符号化モードに関する既知の情報に基づいて、現在のスキャン内の精錬データ部分が、どのブロックに相当するかを特定する。たとえば、表Ｉのビットストリームの第１のスキャンは、ｄｃデータおよびａｃデータを有するものとしてフラグ付けされている。これらのデータタイプは実写ブロックに相当するので、受信器は、第１のスキャンはブロックＢ１およびＢ２のｄｃおよびａｃデータを含むであろうことを認識する。

ステップ４３において、ビットストリームからデータ部分が取り出される。このデータは、適切なブロックの現在のビット平面内に記憶され、それに続き、そのビット平面に付随するビット平面カウンタがインクリメントされる。この手順が、現在のスキャンに包含されているすべてのブロックに対して繰り返される（ステップ４４、４５）。この例では、ＤＣＴブロックＢ１およびＢ２の第１の（最も有意度の高い）係数ビット平面が、上記のようにして、第１のスキャンにおいて再構築される。

ステップ４６において、各スキャンの終了を示すend_of_streamフラグがチェックされる（表Ｉ参照）。このフラグの値が「０」である限りは、別のスキャンが後続しており、処理される（ステップ４７）。end_of_streamフラグの値「１」は、現在のスライスのビデオビットストリームの終端を表す。すると、スライス中のすべてのブロックが復号化され表示できることとなる（ステップ４８）。

以下、さらに本発明を、シンタックス記述の形式でも説明する。シンタックス要素は、太字、および右側の列のビット数で示されている。関連するフラグは１ビットである。長さＸを有するエンティティは、そのエンティティに先行するフラグにより特定されるコンテンツ（１つまたは複数のビット平面）を表す、符号化されたデータを示している。これは、１つのスライスについての圧縮されたビデオデータストリームのシンタックスを、正式に記述しており、同時に、復号化プロセスも記述している。

表ＩＩは、スライスレベルのシンタックスを規定している。この表はとりわけ、上記において図１のステップ１３との関連で説明されたアレイblock_modes()が、ビットストリーム内に存在することを記述している。上記において図１のステップ１４との関連で説明された反復的なスキャンは、block_bit_scan()として示されている。

表ＩＩＩは、block_bit_scan()のシンタックスをより詳細に説明している。この表中のフラグdct_dc_data、dct_ac_dataおよびgraph_data は、上記において図１のステップ１４との関連で説明したフラグに対応している。実際の画像データは、表中において、scan_dct_dc_data()、scan_dct_ac_data()およびscan_graph_data()で示されている。

上記のシンタックスはまた、本発明のさらなる実施形態のいくつかの追加の特徴を規定している。たとえば以下の特徴である。
− 表ＩＩ中のフラグnat_mode_used、graph_mode_usedおよびskip_mode_usedは、そのフラグに後続するデータ部分に、どの符号化モードが適用されるかを示している。スライスレベルでそのようなフラグを用いることにより、スキャンレベルでフラグを送出する効率が改善される。たとえば、あるスライスでグラフィック符号化モードが全く使用されていない場合は、各スキャンにおけるgraph_dataフラグの送出が省略されてもよい。
− 表ＩＩ中のサブルーチンscan_order()は、空間的順序のインデックスｉにスキャン順序インデックスscan_block[iを割り当てることにより、スライス中の複数のブロックをスキャンする順序を規定する。このことは、エンコーダが画像の中心にあるブロックを先にスキャンすることを可能とする。
− block_order_per_bit_scanフラグ（表ＩＩ）は、スキャン中における複数のブロックの順序が、すべてのスキャンについて同一か否かを示す。
− data_each_blockフラグ（表ＩＩＩ）は、関連するスキャンが各ブロックについてのデータを含むか否かを示す。
− 表ＩＩＩ中のフラグarithcodは、ＡＣ係数ビット平面を圧縮するのに、より効率的な算術符号化が使用されるか否かを、スキャンごとに示す。

図５は、本発明に従う符号化装置と復号化装置とを含む、エンターテイメントシステムのブロック図を示している。このエンターテイメントシステムは、ブルーレイディスクプレイヤー５２と、フラットＴＶモニタ５４とを含んでいる。プレイヤー５２は、ブルーレイディスク５１を再生し、ワイヤレスＨＤチャネル５３を通じてモニタへとＨＤ信号を送出する。プレイヤー５２は、再生モジュール５２１、ビデオエンコーダ５２２、およびワイヤレス送信ユニット５２３を含んでいる。モニタは、ワイヤレス受信ユニット５４１、ビデオデコーダ５４２、およびディスプレイ５４３を含んでいる。ビデオエンコーダ５２２は、図１を参照して上記で説明した符号化方法に従って、各ビデオ画像を、スケーラブルなビットストリームに符号化する。ビデオデコーダ５４２は、図４を参照して上記で説明した復号化方法に従って、受信したビットストリームを復号する。

要約すると、マルチモードのスケーラブルな画像／ビデオコーデックに関し、フレキシブルかつ効率的なビットストリームフォーマットが提案される。スケーラブルとは、そのビットストリームが、順次細かくなる画質の精錬を含み、かつトランケート可能であることを意味する。ビデオ画像は複数のスライスに分割され、各スライスは８×８ピクセルのブロックに分割される。各ブロックにつき、最適な符号化方法が選択される。そのブロックが実写の画像コンテンツを含むものと認められるか、人工の画像コンテンツを含むものと認められるかに応じて、変換コーディング（ＤＣＴ）またはグラフィック符号化が適用される。異なる符号化モードは、画質に関して異なる特性を有するので、ビットストリームのフォーマットは、どのビットを最初に送出するかをエンコーダが極めてフレキシブルに選択できるようなすフォーマットである必要がある。

本発明に従うビットストリームのフォーマットは、個別のブロックの連なり、たとえばスライスの符号化されたデータに亘る、多数回のスキャン（３１−３４）からなるフォーマットとなっている。各スキャンにおいて、エンコーダは、そのスキャンが実写ブロックのデータ（ＢＳ１、ＢＳ２）を含むのか、人工のブロックのデータ（ＢＳ０、ＢＳ３）を含むのか、あるいは両方を含むのかを特定する。ＤＣＴブロックについては、エンコーダはさらに、ＤＣ係数ビット（２２）とＡＣ係数ビット（２３）との間で選択を行ってもよい。たとえば、エンコーダは、まずＤＣＴ ＤＣビットのいくつかのスキャンを送出し、その後グラフィックビットのいくつかのスキャンを送出し、その後ＤＣＴ ＡＣビットをいくつか送出することを選択してもよい。エンコーダが行うこの決定は、各ブロック部分（たとえば符号化されたビット平面）および／または複数のブロック（たとえばスライス）に先行する、フラグの形式でデコーダに通知される。

本発明は、典型的には、画像およびビデオ圧縮の分野に適用することができ、とりわけ、次世代のワイヤレスＨＤに適用することができる。

Claims (13)

1. 画像をスケーラブルなビットストリームに符号化する方法であって、
   前記画像を画像ブロックに分割する工程と、
   各画像ブロックを、複数の異なる符号化モードのうちの１つに従って符号化し、該符号化モードを表す１つまたは複数のタイプのデータを含む、対応のブロックビットストリームを取得する工程と、
   前記ブロックビットストリームを反復的にスキャンすることにより、前記スケーラブルなビットストリームを形成する工程とを含み、
   各スキャンが、
   データの前記タイプの少なくとも１つを選択する工程と、
   前記ブロックビットストリームより、前記選択されたタイプのデータを、前記スケーラブルなビットストリーム内に含める工程と、
   データの前記選択されたタイプを示すフラグを、前記スケーラブルなビットストリーム内に含める工程とを含むことを特徴とする方法。
2. 前記符号化モードのうちの１つが変換コーディングであり、前記フラグはさらに、含められた前記データが、１ビットもしくは複数ビットのＤＣ係数、および／または１ビットもしくは複数ビットの１以上のＡＣ係数を含んでいるか否かを、示すことを特徴とする請求項１記載の方法。
3. １つの画像ブロックの前記ＡＣ係数が、複数のビット平面に分割され、各ビット平面が圧縮され、前記スケーラブルなビットストリームに含まれる前記ブロックビットストリームからのデータの量が、１つの圧縮されたビット平面に対応することを特徴とする請求項２記載の方法。
4. 各スキャンにおいて、前記ＡＣ係数に算術符号化が適用されるか否かを示すインジケータを含める工程をさらに含むことを特徴とする請求項２記載の方法。
5. 前記符号化モードのうちの１つが、グラフィック符号化モードであることを特徴とする請求項１記載の方法。
6. 前記符号化モードのうちの１つは、１の画像ブロックが、前の画像ブロックと同一であることを示す指標で表される、スキップモードであることを特徴とする請求項１記載の方法。
7. 各スキャンにおいて、スキャンされる画像ブロックの順序を含める工程をさらに含むことを特徴とする請求項１記載の方法。
8. 各スキャンにおいて、該スキャンが各ブロックのデータを含むか否かを示す、フラグを含める工程をさらに含むことを特徴とする請求項１記載の方法。
9. 各スキャンにおいて、各ブロックにつき、該スキャンが該ブロックのデータを含むか否かを示す、フラグを含める工程をさらに含むことを特徴とする請求項８記載の方法。
10. 各画像を画像スライスに分割する工程と、
    前記画像スライスに連続的に適用される前記スケーラブルなビットストリームを形成する工程と、
    各スライスに対する前記スケーラブルなビットストリームに、該スライスの前記画像ブロックに適用される前記符号化モードを示すフラグを、さらに含める工程とを、さらに含むことを特徴とする請求項１から９いずれか１項記載の方法。
11. 請求項１記載の方法を実行するように構成された、画像をスケーラブルなビットストリームに符号化する装置。
12. トランケートされていてもよいスケーラブルなビットストリームの形式で受け取った符号化画像信号を、復号する方法であって、前記スケーラブルなビットストリームは、複数の異なる符号化モードのうちの１つに従って符号化された画像ブロックを表すブロックビットストリームが反復的にスキャンされたデータと、前記符号化モードを表す１つまたは複数のタイプのデータとを含み、前記ブロックビットストリームの各スキャンは、該スキャン内のデータの前記タイプを示すフラグを含んでおり、当該復号する方法は、前記フラグに従って前記ブロックビットストリームを再構築する工程と、再構築された前記画像ブロックを復号する工程とを含むことを特徴とする方法。
13. 請求項１２記載の方法を実行するように構成された、トランケートされていてもよいビットストリームの形式で受け取った符号化画像信号を復号する装置。

Images